TPC-C解析系列03_TPC-C基准测试之SQL优化
TPC-C是一个非常严苛的基准测试模型,考验的是一个完备的关系数据库系统全链路的能力。这也是为什么在TPC-C的榜单前列,出现的永远只是大家熟知的那几家在业界有着几十年积累、从关系数据库理论开始发展就差不多同步出现的数据库公司。接下来我们通过这篇文章为您分析在TPC-C测试中OceanBase数据库的SQL模块具体遇到了哪些挑战、做出了哪些优化。
TPC-C解析系列04_TPC-C基准测试之数据库事务引擎的挑战
如果读者翻看Oracle和DB2的TPC-C测试报告会发现,这些数据库都会使用专用的存储设备,例如前最高记录保持者Oracle在2010年的测试,使用了97台COMSTAR专用的存储设备,其中28台用来存储数据库的重做日志(Redo Log)。
TPC-C解析系列05_TPC-C基准测试之存储优化
TPC-C规范要求被测数据库的性能(tpmC)与数据量成正比。TPC-C的基本数据单元是仓库(warehouse),每个仓库的数据量通常在70MB左右(与具体实现有关)。TPC-C规定每个仓库所获得的tpmC上限是12.86(假设数据库响应时间为0)。
TPC-C基准测试之链路层优化
在 TPC-C 标准定义中,测试系统分为 RTE(Remote Terminal Emulator)和 SUT 两部分。在实际的 TPC-C 测试流程中,不只是对 DB 端能力的考验,对链路 中的所有组件都存在极大的资源消耗和压力。
OceanBase数据库创始人阳振坤分享征战6088万tpmC的艰辛之路
前言:中国人民大学常被誉为是“中国人文社会科学的最高学府”,其实人民大学也是“中国数据库的发源地”。由中国人民大学教授萨师煊与王珊合作编写的《数据库系统概论》是国内第一部系统阐明数据库原理、技术和理论的教材,也被公认为是国内数据库领域的经典权威教材。
万字长文|1分36秒,100亿,支付宝技术双11答卷:没有不可能
2019年双11来了。1分36秒100亿,5分25秒超过300亿,12分49秒超500亿……如果没有双11,中国的互联网技术要发展到今天的水平,或许要再多花20年。
重读 《Hadoop 权威指南》
最近在看Flink相关的东西,重读了下《Hadoop权威指南》,以下内容作为学习笔记,版本为第四版(代码已经根据最新的官网文档调整)。很多人对Hadoop有一种误解,觉得Hadoop慢,而Spark、Storm、Flink很快,实际上它们并不是一个层面的东西。Hadoop生态Hadoop是一个很大的
Hadoop安装-超详细
临近毕业,签的公司(国企),和新发offer的公司,都是数据挖掘的岗位,都要求会hadoop、spark等大数据框架,于是自己开始着手学习hadoop,断断续续摸索、看博客等两周时间才搞清楚基本的linux操作(CentOS7),和hadoop的安装。为了写这篇博文,及熟练hadoop分布式的安装,
Hadoop面试,看这些就够了
Hadoop是目前最流行的大数据软件框架之一,它能利用简单的高级程序对大型数据集进行分布式存储和处理。接下来和大家分享几道经典的Hadoop面试真题,希望可以帮助到大家。1.什么是Hadoop?Hadoop是一个开源软件框架,用于存储大量数据,并发处理/查询在具有多个商用硬件(即低成本硬件)节点的集
Hadoop知识总结
一、Hadoop组成:1、Hadoop的核心是HDSF和MapReduce,Hadoop2.0以后引入了yarn。HDFS是一个分布式存储系统。MapReduce是分布式的计算框架。yarn是一个资源调度的工具。Hadoop2.0加入了zk的支持实现比较可靠的高可用。2、HDFS的启动过程:(1)、
五分钟零基础搞懂Hadoop
「大数据」,想必大家经常听到这个被炒得很热的话题。随之而来的是各种看似高大上的专业术语,比如「扩展性」、「可靠性」、「容错性」,好像真的很高深,要积累多年经验才能学习。但另一方面,很多同学都刚刚进入互联网这个行业,对分布式计算还没有很多了解,那是不是就要花很多力气才能搞懂「大数据」呢?不必担心,包子
数据挖掘的10大算法我用大白话讲清楚了,新手一看就懂
一个优秀的数据分析师,除了要掌握基本的统计学、数据库、数据分析方法、思维、数据分析工具技能之外,还需要掌握一些数据挖掘的思想,帮助我们挖掘出有价值的数据,这也是数据分析专家和一般数据分析师的差距之一。数据挖掘主要分为分类算法,聚类算法和关联规则三大类,这三类基本上涵盖了目前商业市场对算法的所有需求。
字节跳动算法岗-数据挖掘三面面经
今天下午终于等到了心心念的字节跳动算法实习生的面试,我报的是算法实习生-数据挖掘、搜索、推荐三个访方面。等待面试心里十分慌张,把自我介绍翻来覆去的念。不过很快就收到了一面的短信。一面一面是一个特别和蔼的面试官,我们用Q来代表面试官。A表示我。A:面试官,你好Q:你好,先坐一下自我介绍吧A:好的,ba
拉勾爬了1200个职位,告诉你什么是数据分析
前言很多还在实习或者刚毕业的小朋友,在面对职业选择的时候,会困惑不同的职业会做些什么,自己会不会感兴趣,这项工作往后的发展空间等等。想起我刚找工作那会,也在网上各种搜“数据分析”的工作内容啊、需要的技能啊、工资水平之类的。所以想写一篇文章,给还在门槛外的小朋友们介绍一下“数据分析”这个职位,它的工作
【Python代替Excel】4:数据的清洗
准备工作:下载示例数据,提取码:tkqn数据例子数据预览经过了数据读取、数据预览,接下来是要开始清洗数据了。今天涉及的清洗步骤有:格式修改、去除空格、替换、分列、合并。字符串格式→日期格式数据的Time列看似日期格式,但实际上是字符串格式。#导入库importdatetimeimportpandas
【Python代替Excel】3:数据的预览
之前已经讲到anaconda的安装,如何读取Excel数据。今天要学习读取了Excel数据之后,在Python里如何预览。当然print(amazon_data)可以查看数据,但是如果想知道data的其他信息,可以从下面的方法来看。查看列名:amazon_data.columns查看行数列数:ama
【Python代替Excel】2:数据的读取
之前写过两篇用Python代替Excel的文章,然后就一直没再写。想起我刚学Python的时候,也是走过许多弯路的。从Python语法呀、环境呀那些学,学得头大,而且一边学一边忘。经历了几年的工作,也对Python常用的模块和语法有了了解,所以打算写一个系列,手把手教大家用Python处理数据,现学
【Python代替Excel】1:Python与Anaconda
Python是款比较简单的编程工具,在数据分析当中使用很广泛,包括数据清洗、统计、分析、出图,都可以用Python实现。下载在Windows环境下,推荐用anaconda。anaconda是一个Python的集成平台,里面包含了很多Python工具包,而且界面也很友好。anaconda下载www.
做了三年数据分析,给你的几点建议
还有一个多月,我工作就满3年了。在职场上,3年是个坎,意味着从初级转到中高级,但前提是能力跟得上工作年限。我第一份和第二份工作,是做的数据运营,现在这份工作,title是商业分析师。因为专业不是数学、计算机类的,所以相当于转行,但也是理工科,有编程基础,所以相对文科生来说会稍微轻松点,但转行之路并不
如何画好看的可视化图片
作为一个全栈的数据分析师,必须能够操办从数据爬取,到数据存储,到数据清洗,到数据分析,到数据可视化一条龙的服务。很多人包括我自己会羡慕网上的一些可视化图片,怎么可以做的那么好看,将数据与UI完美地结合到一起,让冷冰冰的数据不那么枯燥甚至是生动有趣地展现在别人面前。复杂的比如这种比如这种结合地图的简单