ITPub博客

这个系列总共有三篇，分别在：肖宏辉：GCP网络系统Andromeda---概述篇肖宏辉：GCP网络系统Andromeda---控制面肖宏辉：GCP网络系统Andromeda---数据面Andromeda的控制面由三层组成：ClusterManagement层：这是用户接口层，接收用户请求来创建网络，

这个系列总共有三篇，分别在：肖宏辉：GCP网络系统Andromeda---概述篇肖宏辉：GCP网络系统Andromeda---控制面肖宏辉：GCP网络系统Andromeda---数据面下图展示了Andromeda的主机数据面，前面介绍过，主机数据面主要由两部分组成：FastPath和Coproces

我们无法否定数字化时代的存在，也无法阻止数字化时代的前进，就像我们无法对抗大自然的力量一样。”——尼古拉斯·尼葛洛庞帝在其1996年出版的《数字化生存》中这样写道。 　　的确，数字化转型浪潮已至，但“数字化”这三个字对政企行业来说，一直是机遇和挑战并存。

自从蚂蚁金服自研数据库OceanBase获得TPC-C测试第一名后，引起了行业内外大量关注，我们衷心的感谢大家对OceanBase的支持与厚爱，也虚心听取外界的意见和建议。为了让大家更好的了解测试的技术细节，我们特意邀请了OceanBase的核心研发人员对本次测试做专业的技术解读，本文为第一篇，后续文章也将于近日对外发布。

蚂蚁金服自研数据库OceanBase登顶TPC-C引起业内广泛关注，为了更清楚的展示其中的技术细节，我们特意邀请OceanBase核心研发人员对本次测试进行技术解读。

TPC-C是一个非常严苛的基准测试模型，考验的是一个完备的关系数据库系统全链路的能力。这也是为什么在TPC-C的榜单前列，出现的永远只是大家熟知的那几家在业界有着几十年积累、从关系数据库理论开始发展就差不多同步出现的数据库公司。接下来我们通过这篇文章为您分析在TPC-C测试中OceanBase数据库的SQL模块具体遇到了哪些挑战、做出了哪些优化。

如果读者翻看Oracle和DB2的TPC-C测试报告会发现，这些数据库都会使用专用的存储设备，例如前最高记录保持者Oracle在2010年的测试，使用了97台COMSTAR专用的存储设备，其中28台用来存储数据库的重做日志（Redo Log）。

TPC-C规范要求被测数据库的性能（tpmC）与数据量成正比。TPC-C的基本数据单元是仓库（warehouse），每个仓库的数据量通常在70MB左右（与具体实现有关）。TPC-C规定每个仓库所获得的tpmC上限是12.86（假设数据库响应时间为0）。

在 TPC-C 标准定义中，测试系统分为 RTE(Remote Terminal Emulator)和 SUT 两部分。在实际的 TPC-C 测试流程中，不只是对 DB 端能力的考验，对链路 中的所有组件都存在极大的资源消耗和压力。

前言：中国人民大学常被誉为是“中国人文社会科学的最高学府”，其实人民大学也是“中国数据库的发源地”。由中国人民大学教授萨师煊与王珊合作编写的《数据库系统概论》是国内第一部系统阐明数据库原理、技术和理论的教材，也被公认为是国内数据库领域的经典权威教材。

2019年双11来了。1分36秒100亿，5分25秒超过300亿，12分49秒超500亿……如果没有双11，中国的互联网技术要发展到今天的水平，或许要再多花20年。

最近在看Flink相关的东西，重读了下《Hadoop权威指南》，以下内容作为学习笔记，版本为第四版（代码已经根据最新的官网文档调整）。很多人对Hadoop有一种误解，觉得Hadoop慢，而Spark、Storm、Flink很快，实际上它们并不是一个层面的东西。Hadoop生态Hadoop是一个很大的

临近毕业，签的公司（国企），和新发offer的公司，都是数据挖掘的岗位，都要求会hadoop、spark等大数据框架，于是自己开始着手学习hadoop，断断续续摸索、看博客等两周时间才搞清楚基本的linux操作（CentOS7），和hadoop的安装。为了写这篇博文，及熟练hadoop分布式的安装，

Hadoop是目前最流行的大数据软件框架之一，它能利用简单的高级程序对大型数据集进行分布式存储和处理。接下来和大家分享几道经典的Hadoop面试真题，希望可以帮助到大家。1.什么是Hadoop？Hadoop是一个开源软件框架，用于存储大量数据，并发处理/查询在具有多个商用硬件（即低成本硬件）节点的集

一、Hadoop组成：1、Hadoop的核心是HDSF和MapReduce，Hadoop2.0以后引入了yarn。HDFS是一个分布式存储系统。MapReduce是分布式的计算框架。yarn是一个资源调度的工具。Hadoop2.0加入了zk的支持实现比较可靠的高可用。2、HDFS的启动过程：（1）、

「大数据」，想必大家经常听到这个被炒得很热的话题。随之而来的是各种看似高大上的专业术语，比如「扩展性」、「可靠性」、「容错性」，好像真的很高深，要积累多年经验才能学习。但另一方面，很多同学都刚刚进入互联网这个行业，对分布式计算还没有很多了解，那是不是就要花很多力气才能搞懂「大数据」呢？不必担心，包子

一个优秀的数据分析师，除了要掌握基本的统计学、数据库、数据分析方法、思维、数据分析工具技能之外，还需要掌握一些数据挖掘的思想，帮助我们挖掘出有价值的数据，这也是数据分析专家和一般数据分析师的差距之一。数据挖掘主要分为分类算法，聚类算法和关联规则三大类，这三类基本上涵盖了目前商业市场对算法的所有需求。

今天下午终于等到了心心念的字节跳动算法实习生的面试，我报的是算法实习生-数据挖掘、搜索、推荐三个访方面。等待面试心里十分慌张，把自我介绍翻来覆去的念。不过很快就收到了一面的短信。一面一面是一个特别和蔼的面试官，我们用Q来代表面试官。A表示我。A：面试官，你好Q：你好，先坐一下自我介绍吧A：好的,ba

前言很多还在实习或者刚毕业的小朋友，在面对职业选择的时候，会困惑不同的职业会做些什么，自己会不会感兴趣，这项工作往后的发展空间等等。想起我刚找工作那会，也在网上各种搜“数据分析”的工作内容啊、需要的技能啊、工资水平之类的。所以想写一篇文章，给还在门槛外的小朋友们介绍一下“数据分析”这个职位，它的工作

准备工作：下载示例数据，提取码：tkqn数据例子数据预览经过了数据读取、数据预览，接下来是要开始清洗数据了。今天涉及的清洗步骤有：格式修改、去除空格、替换、分列、合并。字符串格式→日期格式数据的Time列看似日期格式，但实际上是字符串格式。#导入库importdatetimeimportpandas