￥9.92篇/更新中
￥1212篇/已完结
￥9.911篇/更新中
-
编辑 删除
beenline 详解
@TOC Survive by day and develop by night.talk is cheap, show me the code,make a better result. 目录 Hive客户端工具后续将使用Beeline 替代HiveCLI ，并且后续版本也会废弃掉HiveCLI 客户端工具,Beeline是 Hive 0.11版本引入的新命令行客户端工具,它是基于SQL
-
编辑 删除
Sqoop 并行抽数
@TOC Survive by day and develop by night.talk is cheap, show me the code,make a better result. 目录我们一般用sqoop抽取数据，可是有时由于单表数据量太大（每天千万级别）导致sqoop抽数使用单实例报内存溢出以及抽数时间过长，这时我们该怎么办？现总结方法如下供借鉴。 概述sqoop 的参数
-
编辑 删除
hive 的使用
hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来
-
编辑 删除
性能比较
Presto性能不足的原因split调度模式，线程切换极高，而有效利用率不高设计上嵌入了大量的实时统计，这些损耗太多谓词过滤性能不行，如TupleDomain体系的Predicate可能模糊/in/等条件没有spark的定向优化好内存数据结构，buff有限，又是流水线式作业，有类似flink的背压问题，缓存处理不了时导致上游阻塞 降低了吞吐（尤其是stage较多的时候）Task上的Pipeline
-
编辑 删除
prosto 分布式 sql 引擎
Presto简介Presto是Facebook开源的大数据分布式SQL查询引擎，可对从数G到数P的大数据进行交互式的查询，查询的速度达到商业数据仓库的级别。支持查询包括Hive、Cassandra以及某些商业的数据存储产品。单个Presto查询可合并来自多个数据源的数据进行统一分析。Presto不使用MapReduce，只需要HDFS。Facebook在内部已经在多个数据存储中使用Presto交互
