监控神器:Prometheus 轻松入门,真香!(下篇)
Prometheus是一个开源的完整监控解决方案,本文将从指标抓取到查询及可视化展示,以及最后的监控告警,对Prometheus做一个基本的认识。
监控神器:Prometheus 轻松入门,真香!(上篇)
Prometheus是一个开源的完整监控解决方案,本文将从指标抓取到查询及可视化展示,以及最后的监控告警,对Prometheus做一个基本的认识。
0到1搭建企业级数据治理体系
数据治理是企业数据建设必不可少的一个环节。好的数据治理体系可以盘活整条数据链路,最大化保障企业数据的采集、存储、计算和使用过程的可控和可追溯。如何构建企业数据治理体系?企业数据治理过程需要注意哪些问题?总体而言,不能一口一个胖子,路要一步一步地走。
Java内存泄漏+性能优化+宕机+死锁的N种姿势
本文介绍Java诸多优化实例:第一,排查堆上、堆外内存泄露;第二,使用arthas、jaeger、tcpdump、jstack做性能优化;第三,排查进程异常退出的原因,如被杀、System.exit、Java调用的C++发生Crash、Java内Crash;第四,排查死锁的原因,如log4j死锁、封装不严谨导致的死锁。
大数据专家级技能模型与学习指南
这篇文章从构思到最终成文,经过无数次的修改和校对,终于面世。我在写完此文的时候,窗外已经大亮。2022年正迎面走来,也代表着我从事大数据开发领域的第五个年头迎面走来。文章也仅仅是站在我从业4年多的时间点,基于我过去经历的总结以及对行业未来的思考,向大家展示一个我认为「比较全面」、「比较合理」、「未来天花板比较高」的技术栈模型。
祁国辉:技术发展的角度看,数据中台应该是数据仓库的下一代
随着中台概念的提出, 业界始终对中台毁誉参半。我想我们有必要思考,或者不得不重新思考这样的几个关键问题点,到底什么是数据中台?数据中台和数据仓库有什么区别?数据中台和数据挖掘机器学习有什么关系?
7.13事故 | 我们是这样崩的
713事故发生时,B站挂了迅速登上全网热搜,作为技术人员,身上的压力可想而知。此篇作为“713事故”系列之第一篇,向大家简要介绍了故障产生的诱因、根因、处理过程、优化改进。
告别宽表,用DQL成就新一代BI
BI 商业智能这个概念已经提出好几十年了,这个概念本身比较宽泛,不同人也有不同的理解和定义,但落实到技术环节,特别是面向业务用户的环节,所称的 BI,基本就是指的多维分析或者自助报表。 不管是叫自助报表还是多维分析,也都是一回事,都是让用户自己去通过拖拽的方式查询数据或制作报表。
不想只做Cruder?实体、聚合根,还不快去了解下
传统的设计方法由于只从数据出发,也就导致了在这些CRUD系统中创建出的业务模型,不具有表达业务的能力。而实体的引入,将数据跟业务紧密结合在一起,彼此呼应和更迭,在业务系统中具有更强的生命力,这也是为什么我们需要引入实体的原因。
数据分析应学习逻辑思维和分析方法
数据分析的下限,取决于逻辑归纳。与其说提高分析质量,不如说提升逻辑归纳能力。在数据分析中,其过程是与逻辑归纳相近的: 提出问题➟分析问题➟提出假设➟验证假设➟输出结论。
从0到1,数据治理一周年大纪实
在长达近18年的数据生涯中,自己一直从事数据仓库相关工作,去年一次偶然的机会开始做企业数据治理,现在相关工作逐步进入正轨。值此一周年之际,记录下自己做数据治理的22个关键事件,也许对大家也有启示吧。
于振:如何通过仓储,对实体进行持久化处理?
值对象比实体更容易使用和维护,这也是为什么推荐优先使用值对象进行建模的原因。关于值对象和实体更多的细节,感兴趣的同学可以有空的时候回过头去看下过往的分享。这些对象在创建出来后,总不能一直被保存在内存当中,因此,就需要在某个时刻持久化到数据库。
祁国辉:一学就会一用却废!到底用ETL还是ELT?
到底应该ETL 还是ELT,看上去只是简单地调换了一下字母的顺序,是个简单的问题,但是大多数的问题都是一学就会, 一用就废。而事实上,顺序一换,这是对数据处理流程和方法论上进一步深化的过程。
基础问题不简单 | 怎么合理使用值对象,让你的代码更清晰、更安全?
相信大家或多或少,都接手过一些遗留的业务系统,这些系统的代码大多都能正常工作,或许运行的还是某个关键业务。很多时候我们的代码不够清晰,没有很好地表达业务,看代码的人就只能靠猜。就此情况,该怎么合理使用值对象,让代码更清晰、更安全呢?
【观点探讨】陈珙:微服务,终究绕不过这4个坎?
大家曾经有没有遇过日常技术交流的时候,会讨论某某技术之间的关系是什么,某些技术是否应该用到微服务。我相信热爱技术交流的您,就算不是在微服务这个领域里,曾经或多或少也跟其他同行 做过一些争议性话题的探讨吧,而且我敢肯定讨论的绝对热火朝天。
郑建勋:代码优化的三重境界
除了上层建筑,我们也必然得考虑程序底层结构的性能。对性能问题,我采取的是分层击破的策略,今天我将带着大家,分析影响高性能程序的底层基石 —— 代码实施。
从一道场景面试题谈起
面试的经历,可能大多数DBA都有过。实际上现在的面试题越来越不靠谱,有时候完全按照技术去回答还真的没法答好。我结合几个真实例子分享一些看法,与大家交流一下。
国产数据库的文档真令人恼火
最近这段时间大多数时间都在研究国产数据库,为国产数据库编制知识图谱。同时发现一些新功能的时候简单的测试一下。去年的一个国产数据库相关的研讨会上我曾经说过,国产数据库的文档很差,可能会成为国产数据库发展中的一个比较严重的问题。这段时间对这个问题的认识就更加深刻了。
郑建勋:Go程序性能分层优化 | CPU篇
程序的性能问题,实际上贯穿于程序的整个生命周期。不管是程序正确的架构设计、快速的算法和数据结构设计,还是为了应对快速增长的需求或降低成本需要做的攻坚,可以说,这些都离不开性能的分析与优化。今天我们就一起聊聊这个话题。
王磊:Aerosplike 是怎么做到 TB 级数据毫秒级响应的
大型互联网架构中,数据量过 TB 是很平常的事情。那么 TB 级别的数据应该如何存储呢?这其实和数据的查询延迟需求有关。如果是报表需求,查询延迟时间在分钟甚至十几分钟返回,咱们可以将数据存储在文件系统中,使用Spark 或者Presto 进行查询。如果查询的延迟在秒级的话,我们可以使用 HBase 或者 Cassandra 来实现。但是如果查询延迟是毫秒级别呢?这时就需要用到我们今天的主角,Aerospike。