ITPub博客

Kafka 至今仍是当今大数据技术中当之无愧的王者，由于高吞吐量、可持久化、分布式、支持流数据处理等特性而被广泛应用。 这几年，大数据技术发展迅猛，其中 Kakfa 凭借高可靠、高吞吐、高可用、可伸缩几大特性，成为数据管道技术的首选。越来越多人开始使用 Kafka，对学习源码的需求也愈发强烈，原因主要有以下几个方面：1. 了解 Kafka 底层原理，从而搞懂 Kafka 高性能的实现机制

新一期学员相聚于奈学线上课堂，这一次，我们一同向P7冲刺！很多工作了3年的程序员习惯了每天机械性的写代码，但是如果一个程序员不能从架构师的角度思考问题，带领团队，整体完成一个复杂系统的架构设计与开发，就永远也不会了解如何做一个优秀的架构师；那么如何突破上述瓶颈？有两个关键点：一是技术够硬，作为技术领导者，具备统筹全局的技术思维；二是具备整体的项目分析能力，并有优秀的沟通能力。作为技术工作者，如何从

为什么会有ZooKeeper 我们知道要写一个分布式应用是非常困难的，主要原因就是局部故障。一个消息通过网络在两个节点之间传递时，网络如果发生故障，发送方并不知道接收方是否接收到了这个消息。有可能是收到消息以后发生了网络故障，也有可能是没有收到消息，又或者可能接收方的进程死了。发送方唯一的确认方法就是再次连接发送消息，并向他进行询问。这就是局部故障：根本不知道操作是否失败。因此，大部分分

“很多人可能对自由职业感兴趣，自由职业在欧美国家比较流行，韩国也越来越多的人开始自由职业方式办公，可能是因为文化观念的不同，欧美国家对各种各样的生活方式都会包容性更强一些，当然中国这方面在大城市也越来越好，所以当我们自由职业的时候，我们只是在体验不同的生活方式。这次我会毫无保留的把我的一些体验分享给大家。希望能给大家一些启发！"1. 为什么从事自由职业？很多人想要自由职业是因为我们可以自

这一篇文章系统的梳理主流定时器算法实现的差异以及应用地方。1. 定时器介绍程序里的定时器主要实现的功能是在未来的某个时间点执行相应的逻辑。在定时器模型中，一般有如下几个定义。 interval：间隔时间，即定时器需要在interval时间后执行StartTimer：添加一个定时器任务StopTimer：结束一个定时器任务PerTickBookkeeping: 检查定时器系统中，是否有定时

提起微服务架构，不可避免的两个话题就是服务治理和分布式事务。数据库和业务模块的垂直拆分为我们带来了系统性能、稳定性和开发效率的提升的同时也引入了一些更复杂的问题，例如在数据一致性问题上，我们不再能够依赖数据库的本地事务，对于一系列的跨库写入操作，如何保证其原子性，是微服务架构下不得不面对的问题。1 分布式事务解决方案针对分布式系统的特点，基于不同的一致性需求产生了不同的分布式事务解决方案，追求强一

电商行业在近十几年中，经历过大大小小的促销活动和秒杀上百次，每次做秒杀瞬时访问量会翻数十倍，甚至数百倍。对系统架构是巨大的考验，期间也曾经历过系统宕机，甚至整体雪崩。那么我们怎么设计秒杀系统，才能保证秒杀系统的高性能和稳定性，同时还要保证日常业务不受影响呢？先看看秒杀场景特点。秒杀开始前几分钟，大量用户开始进入秒杀商品详情页面，很多人开始频繁刷新秒杀商品详情页，这时秒杀商品详情页访问量会猛增。秒杀

从概念开始我们先从事务的定义开始。事务即一系列读存动作被当作一个执行单元，这些动作要么全成功，要么全失败，执行动作的过程中保证数据的隔离性和一致性。我们抛离数据库这个特定场景，先假设一个数据存储设备，我们定义两个标准操作，一个读一个写。当写操作依赖于读到的数据时，执行的顺序决定了得到的结果。当单线程时，任意读或写操作在这个数据容器上，他必然是符合上述所有的要求的。当多线程的时候，任意读写，实际上就

在人口流量红利不再，获客成本越来越高的时代，精益创业、MVP 的概念已经深入人心，精细化运营也是大势所趋，而这些背后本质上都依赖数据化运营，那如何根据现有业务，快速从 0 开始打造一个契合业务的数据产品呢？本文将以某二手交易平台业务为基础，讲述整个数据平台从 0 到 1 的演进与实践，希望对大家能有所启发。1、背景在某二手交易平台开始大数据平台建设之前，整个数据从需求提出到研发流程再到数据报表、数