ITPub博客

新一期学员相聚于奈学线上课堂，这一次，我们一同向P7冲刺！很多工作了3年的程序员习惯了每天机械性的写代码，但是如果一个程序员不能从架构师的角度思考问题，带领团队，整体完成一个复杂系统的架构设计与开发，就永远也不会了解如何做一个优秀的架构师；那么如何突破上述瓶颈？有两个关键点：一是技术够硬，作为技术领导者，具备统筹全局的技术思维；二是具备整体的项目分析能力，并有优秀的沟通能力。作为技术工作者，如何从

为什么会有ZooKeeper 我们知道要写一个分布式应用是非常困难的，主要原因就是局部故障。一个消息通过网络在两个节点之间传递时，网络如果发生故障，发送方并不知道接收方是否接收到了这个消息。有可能是收到消息以后发生了网络故障，也有可能是没有收到消息，又或者可能接收方的进程死了。发送方唯一的确认方法就是再次连接发送消息，并向他进行询问。这就是局部故障：根本不知道操作是否失败。因此，大部分分

“很多人可能对自由职业感兴趣，自由职业在欧美国家比较流行，韩国也越来越多的人开始自由职业方式办公，可能是因为文化观念的不同，欧美国家对各种各样的生活方式都会包容性更强一些，当然中国这方面在大城市也越来越好，所以当我们自由职业的时候，我们只是在体验不同的生活方式。这次我会毫无保留的把我的一些体验分享给大家。希望能给大家一些启发！"1. 为什么从事自由职业？很多人想要自由职业是因为我们可以自

这一篇文章系统的梳理主流定时器算法实现的差异以及应用地方。1. 定时器介绍程序里的定时器主要实现的功能是在未来的某个时间点执行相应的逻辑。在定时器模型中，一般有如下几个定义。 interval：间隔时间，即定时器需要在interval时间后执行StartTimer：添加一个定时器任务StopTimer：结束一个定时器任务PerTickBookkeeping: 检查定时器系统中，是否有定时

提起微服务架构，不可避免的两个话题就是服务治理和分布式事务。数据库和业务模块的垂直拆分为我们带来了系统性能、稳定性和开发效率的提升的同时也引入了一些更复杂的问题，例如在数据一致性问题上，我们不再能够依赖数据库的本地事务，对于一系列的跨库写入操作，如何保证其原子性，是微服务架构下不得不面对的问题。1 分布式事务解决方案针对分布式系统的特点，基于不同的一致性需求产生了不同的分布式事务解决方案，追求强一

电商行业在近十几年中，经历过大大小小的促销活动和秒杀上百次，每次做秒杀瞬时访问量会翻数十倍，甚至数百倍。对系统架构是巨大的考验，期间也曾经历过系统宕机，甚至整体雪崩。那么我们怎么设计秒杀系统，才能保证秒杀系统的高性能和稳定性，同时还要保证日常业务不受影响呢？先看看秒杀场景特点。秒杀开始前几分钟，大量用户开始进入秒杀商品详情页面，很多人开始频繁刷新秒杀商品详情页，这时秒杀商品详情页访问量会猛增。秒杀

从概念开始我们先从事务的定义开始。事务即一系列读存动作被当作一个执行单元，这些动作要么全成功，要么全失败，执行动作的过程中保证数据的隔离性和一致性。我们抛离数据库这个特定场景，先假设一个数据存储设备，我们定义两个标准操作，一个读一个写。当写操作依赖于读到的数据时，执行的顺序决定了得到的结果。当单线程时，任意读或写操作在这个数据容器上，他必然是符合上述所有的要求的。当多线程的时候，任意读写，实际上就

在人口流量红利不再，获客成本越来越高的时代，精益创业、MVP 的概念已经深入人心，精细化运营也是大势所趋，而这些背后本质上都依赖数据化运营，那如何根据现有业务，快速从 0 开始打造一个契合业务的数据产品呢？本文将以某二手交易平台业务为基础，讲述整个数据平台从 0 到 1 的演进与实践，希望对大家能有所启发。1、背景在某二手交易平台开始大数据平台建设之前，整个数据从需求提出到研发流程再到数据报表、数

架构师一直是程序员「羡慕且追求」的高度，今天来说说我（奈学教育CEO：孙玄）眼里优秀的架构师该如何定义。毕竟我也曾经是一名架构师：在开始今天的话题之前我说一个和我前公司P9现在已经是P10的对话。问题是这样的他说公司中间件架构师不熟悉公司业务，很多事落地不了，非常的疑惑。他最近主要任务就是和这些架构师聊天解惑：）接着他说了一个类比的故事大概是这样的，我们（架构师）要建设一条高速公路，来分别看看公路

经常思考一个问题，为什么我们需要分布式？很大程度或许是不得已而为之。如果摩尔定律不会失效，如果通过低成本的硬件就能解决互联网日益增长的计算存储需求，是不是我们也就不需要分布式了。过去的二三十年，是一场软件工程师们自我拯救的，浩浩荡荡的革命。分布式技术的发展，深刻地改变了我们编程的模式，改变了我们思考软件的模式。通过随处可见的 X86 或者 Arm 机器，构建出一个无限扩展的计算以及存储能力，这是软

1. Kafka为什么这么快 2. 如何对Kafka集群进行调优 3. Kafka的高性能网络架构是如何设计的 4. Kafka集群资源如何评估？

分布式一致性分布式场景下，多个服务同时对服务一个流程，比如电商下单场景，需要支付服务进行支付、库存服务扣减库存、订单服务进行订单生成、物流服务更新物流信息等。如果某一个服务执行失败，或者网络不通引起的请求丢失，那么整个系统可能出现数据不一致的原因。上述场景就是分布式一致性问题，追根到底，分布式一致性的根本原因在于数据的分布式操作，引起的本地事务无法保障数据的原子性引起。分布式一致性问题的解决思路有

5G时代，业务数据越来越丰富，业务使用MySQL数据库作为后台存储，存储引擎使用InnoDB，会带来哪些挑战？如何针对公司业务特点及MySQL数据库特性，制定若干数据库使用规范供一线RD在设计业务时参考部分内容要求强制执行。本文从介绍MySQL相关关键基础架构，并结合实际案例介绍表和索引的设计技巧，并对规范中重点内容做详细解读。一、基础知识1.1 InnoDB记录存储方式大家都知道在InnoDB存

2PC必须注意的问题咱们上文介绍了分布式事务的常见方案、类型划分、2PC的起源和流程。但是不幸的是2PC还是存在几个问题：1、全流程的同步阻塞：不管是第一阶段还是第二阶段，所有参与节点都是事务阻塞型。当参与者占有公共资源时，其他第三方访问公共资源可能不得不处于阻塞状态。2、TM单点故障：由于全流程依赖TM的协调，一旦TM发生故障。参与者会一直阻塞下去。尤其在第二阶段，TM发生故障，那么所有的参与者

本篇文章将从贝叶斯公式出发，探究贝叶斯到底是啥，以及其在认知层面的巨大作用。不过据说每出现 1 个公式，文章阅读将下降 1/3。华为大佬说：人工智能就是统计学。在我眼中，贝叶斯公式就是统计学走向机器学习的起点。贝叶斯公式 贝叶斯定理（Bayes’s Rule）：如果有k个相互独立事件 A1,A2···，Ak并且，P (A1) + P(A2) + ... + p(Ak)= 1 和一个可以观

Kafka 是一个高吞吐量的分布式的发布订阅消息系统，在全世界都很流行，在大数据项目里面使用尤其频繁。笔者看过多个大数据开源产品的源码，感觉 Kafka 的源码是其中质量比较上乘的一个，这得益于作者高超的编码水平和高超的架构设计能力。Kafka 的核心源码分为两部分：客户端源码和服务端源码，客户端又分为生产者和消费者，而个人认为 Kafka 的源码里面生产者的源码技术含量最高，所以今天给大家剖析

首先准备一个hadoop源码包，我选择的hadoop版本是：hadoop-2.7.7-src.tar.gz，在hadoop-2.7.7的源码包的根目录下有一个文档叫做BUILDING.txt，这其中说明了编译hadoop所需要的一些编译环境相关的东西。不同的hadoop版本的要求都不一样，对应的版本参照BUILDING.txt

1. Hive 架构设计； 2. HQL转换成MapReduce底层核心逻辑3. HQL转换MapReduce六大核心步骤及原理深度剖析；

昨天，我刚拿到朋友5月份刚琢磨出的 大数据开发工程师 的进阶技术大纲，他们年前就开始设计的 标准大数据体系的技术大纲，展开后非常的详细！！共有 787 个技术分支，必须让大家快速搭建个人技术体系、突破技术壁垒！！

最近公司急招架构师，形形色色的人面了很多，但真正懂得设计思维的真的是少之又少。印象最深刻的一个同学，面对我提问的这个问题的时候，回答真的是让我佩服的五体投地！问：“你们公司为什么会选择用RocketMQ，而不是ActiveMQ、RabbitMQ？”