-
编辑 删除
HDinsight超大规模数据的交互式查询新特性
最新的HDinsight中，引入了Hive on LLAP的新特性，可以使Hive基于PB级别的海量数据进行交互式的即席分析。这样很多基于Hive开发的应用不需要改变原有代码的条件下，性能就会有质的飞跃 。以下是一个与传统Hive性能基于TCPDS测试基准的一个比较除了性能提升外，由于引入了更精细化的资源管理能力，使得PowerBI, Tabl...
-
编辑 删除
hadoop + ffmpeg 分布式转码系统实践
hadoop + ffmpeg 分布式转码系统实践 hadoop 安装ffmpeg 安装mkvtoolnix 安装一、分割视频：mkvmerge --split size:32m ./heihu01.mp4 -o ./heihu01.%05d.mp4二、hdfs中创建存放分割后视频的目录hadoop fs ...
-
编辑 删除
Facebook的Hadoop应用与故障转移方案
在《数据大爆炸 一分钟=60秒=海量数据》一文中，我们曾提到在短短的60秒内，Facebook的用户会分享684478条信息，Like按钮被点击34772次。庞大的业务量时刻考验着Facebook的数据处理能力。我们知道，Facebook使用Hado...
-
编辑 删除
Hadoop 和DBMS 的互补性
随着Microsoft 也加入Hadoop 阵营，Hadoop 已经完全变成了DBMS 的好朋友了 , 2年之前的SIGMOD组织提出的“A Comparison of Approaches to Large-Scale Data Analysis”引发了关于并行数据库和MapReduce...
-
编辑 删除
Hadoop 0.23 性能笔记
Cloudera 的Hadoop World上看到的这个PPT: Hadoop and Performance,介绍了一些现在0.20 和0.23 版本性能优化的技巧，这里做个笔记 Hadoop 性能误区Java 很慢 Hadoop 主要的瓶颈在磁盘IO 或者网络传输上，不...
-
编辑 删除
Hadoop文件格式
以下内容转自infoQ1 SequenceFile SequenceFile是Hadoop API 提供的一种二进制文件，它将数据以的形式序列化到文件中。这种二进制文件内部使用Hadoop 的标准的Writable 接口实现序列化和反序列化。它与Hadoop A...
-
编辑 删除
Greenplum HD社区版下载
利用Hadoop处理大数据现在如火如荼，EMC发布了自己的Hadoop，社区版和企业版，可以与GPDB完美集成在一起实现结构化，半结构化，非结构化大数据的高效混合分析。其中社区版完全基于Apache Hadoop，企业版使用C语言实...
