谈谈企业需要什么样的数据架构
在大数据和数据科学的新时代,企业拥有一个与业务流程保持一致的集中式数据架构至关重要,该架构可以随着业务增长而扩展,并随着技术进步而发展。一个成功的数据架构可以清晰地展示数据的各个方面,从而使数据科学家、数据分析师、业务人员能够高效地处理可信赖的数据并解决复杂的业务问题。它还使组织能够通过利用新兴技术快速应对新的商业机会,并通过管理整个企业的复杂数据和信息交付来提高运营效率。
聊聊 DevOps 发展史
当我们在搜索引擎搜索 DevOps 的时候,会出现很多其他的名词,例如,Agile(敏捷开发),Scrum,Lean,Kanban 等等。无形之中增加了我们的学习难度。
字节二面:引入RabbitMQ后,你如何保证全链路数据100%不丢失?
我们都知道,消息从生产端到消费端消费要经过3个步骤: 生产端发送消息到RabbitMQ; RabbitMQ发送消息到消费端; 消费端消费这条消息;
实现分布式实体追踪:提升系统可见性和故障排查能力
在当今复杂的分布式系统中,追踪用户请求的执行过程变得越来越重要。为了获得全面的系统可见性和更高效的故障排查能力,我们在Flipkart采用了分布式实体追踪的解决方案。本文将介绍我们的实施策略,以及如何使用结构化日志和集中式日志服务来生成和分析跟踪数据,从而提升系统的可靠性和性能。
项目管理新手常见误区揭秘~
如何完成新手项目经理的角色转换呢?
得物人事系统时间轴设计的演化历程
如果你看过《星际穿越》,应该对这一幕印象深刻,女儿墨菲所处的房间,按照时间分为了无数个三维空间实体。三维空间加时间组合成四维空间,即时空。 时间轴对于人事核心系统,就像四维时空中的时间,是类似生命周期的概念。了解HR工作的同事应该知道,员工在企业的生命周期,从招聘、offer、实习、入职、转正、晋升、调动、离职、重复雇佣,有一套复杂的生命周期,并且组织本身也是在随时间发展的。 员工、部门、职位等组织结构的发展和变化情况,均需要按照时间顺序准确记录,需要追溯到任意历史一天或未来一天展示当时的数据,并在某个时间做对应的调整。这个被人事系统高度依赖的时间维度,就是时间轴。
突破性革新!JDK21引入协程,再也不用为并发而头疼了
目前 Java 的最新稳定版是 JDK 20,但这是个过渡版,JDK21就是 LTS 版的了,也快要发布了,在今年9月份(也就是2023年9月)就要正式发布了。 但是,猜都不用猜,你肯定还在用 Java 8 吧!
如何避免写重复代码:善用抽象和组合
通过抽象和组合,我们可以编写出更加简洁、易于理解和稳定的代码。类似于金字塔的建筑过程,我们总是可以在一层抽象之上再叠加一层,从而达到自己的目的。但是在日常的开发工作中,我们如何进行实践呢?本文将以笔者在Akka项目中的一段社区贡献作为引子分享笔者的一点心得。
如何将千亿文件放进一个文件系统,EuroSys'23 CFS 论文背后的故事
在现实业务的压力和技术理想的感召下,带着模糊的地图,百度沧海·存储 CFS 和 TafDB 两个技术团队启程进入无人区,寻找解开「千亿文件的情况下,文件存储系统依然保持高性能」难题的钥匙。
请不要将数据中台做成BI!
如题:请不要将数据中台做成BI! 笔者在为企业做数据中台设计规划时,经常有客户这样叮嘱。话里话外都是对“数据中台”满满的期待和对“BI”的内心的失望! 为什么会这样呢?BI作为IT界“颜值担当”,那可是一直是一项叱咤风云的数据应用技术。曾几何时,为了一张报表、一个大屏,有多少企业都愿意为其“豪掷千金”!为什么现在很多企业又都对其失去了兴趣了呢? 今天我们一起聊聊这个话题!欢迎留言区谈谈您的观点。
Java中如何获得A<T>泛型中T的运行时类型及原理探究
本文从Java的泛型开始,研究反射针对泛型的扩展,类型擦除的影响。然后通过生成匿名类实例的小技巧,获得了泛型的运行时类型的技巧。
Kafka实时数据即席查询应用与实践
Kafka中的实时数据是以Topic的概念进行分类存储,而Topic的数据是有一定时效性的,比如保存24小时、36小时、48小时等。而在定位一些实时数据的Case时,如果没有对实时数据进行历史归档,在排查问题时,没有日志追述,会很难定位是哪个环节的问题。
DataOps成熟度框架 VS 云原生数据中台!
已有研究数据报道:99%的企业数字化转型以失败告终,84%的数字化转型项目未能达预期。
如何开发一个人人爱的组件?
本篇文章类似一个菜谱,比较零碎的记录一些组件设计的内容,作者分别按照 1~5 星 区分其重要性。
负载均衡最全详解(看这篇就够了)
负载均衡无处不在,无路是分布式,还是中间件,还是微服务,都需要涉及到负载均衡,本篇就接着分享负载均衡
谈谈工业企业如何将数据编织与传统数据仓库结合
将传统数据仓库大规模连接到高级分析需要数据编织,而不仅仅是数据可用性
得物前端巡检平台的建设和应用(建设篇)
我们所在的效能团队,对这个需求最原始的来源是在一次“小项目”的评审中,增长的业务同学提出来的,目的在于保障前端页面稳定性的同时减少大量测试人力的回归成本。 页面稳定性提升,之前迭代遇见过一些C端的线上问题,比如页面白屏、页面报错等不同类型的问题,严重影响了用户体验,需要针对这一专项进行优化,提高用户体验。 回归投入成本大,H5页面巡检在用户稳定性提升上具有较大意义,在每个迭代大概有近十万个页面需要巡检(比如双旦、情人节等大促活动期间则更多)。
你管这破玩意叫缓存穿透?还是缓存击穿?
今天分享一下Redis布隆过滤器的原理和应用场景,解决缓存穿透,实现快速入门,丰富个人简历,提高面试level,给自己增加一点谈资,秒变面试小达人,BAT不是梦。
分布式一致性协议Raft全面详解(建议收藏)
谈到分布式架构就不得不谈到相关的分布式一致性协议,比如:Pasox、Raft等分布式一致性协议,本篇就来谈谈目前主流的Raft协议
AI助力-58恒星数据标注平台的设计与实践
恒星标注平台是58为助力算法模型孵化以及各业务线数据标注需求,自研的数据标注SaaS平台,平台包含任务中心、数据管理、配置中心、标注中心等产品功能模块。平台建设目标聚焦于GUI工作台易用性、标注质量以及标注提效。目前平台已支持24种标注方式,支撑集团各业务产生500余万标注样本数据。本文从标注视角出发,根据58恒星标注平台从零到一的建设经历,试图对数据标注的平台化建设提供一些见解。