-
编辑 删除
将近2个多月没有写博客了，惰性还是咬牙废去吧。
????时间过得真快，从8月份下旬到10月份中旬，将近3个月没有写博客了，哎，有时在感叹自己的懒惰！！！不像刚开始学习大数据那么有劲头，天天做看视频和看牛人博客，搭建环境，做实验，写写过程和总结博客了。在这三个月里，主要做了几件事：1.参加IBM Spark比赛，我的职责：2.在新浪财经新闻，...
-
编辑 删除
Hive job,抛错java.io.FileNotFoundException:/.../container_000001(Is a directory)
场景: 跑hive job时,夯住 错误: 查看RM WebSLF4J: Class path contains multiple SLF4J bindings.SLF4J: Found binding in [jar:file:/hadoop/hadoop-2.7.2/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]SLF4J: Found binding in [jar:file:/home/hadoop-2.7.2/tm...
-
编辑 删除
Ganglia+Hadoop+Hbase监控搭建流程
Hadoop集群基本部署完成，接下来就需要有一个监控系统，能及时发现性能瓶颈，给故障排除提供有力依据。监控hadoop集群系统好用的比较少，自身感觉ambari比较好用，但不能监控已有的集群环境，挺悲催的。ganglia在网上看到原生支持Hadoop、Hbase性能监控，试用一段时间感觉还不错，监控项比较全面，配置简单，软件包在epel...
-
编辑 删除
CDH4/5集群正确启动和停止顺序
Stop:1.cm web http://172.16.102.63:7180/a.stop Cluster1b.stop Cloudera Management Service2.stop agent and server[root@sh-datascienceresearch-01 ~]# service cloudera-scm-agent stop[root@sh-datascienceresearch-02 ~]# service cloudera-scm-agent stop[root@sh-datascienceresearch-03 ~]# servic...
-
编辑 删除
Mahout 0.12.2 Install
Mahout 是一个很强大的数据挖掘工具，是一个分布式机器学习算法的集合，包括被称为Taste的分布式协同过滤的实现、分类、聚类等。Mahout最大的优点就是基于hadoop实现，把很多以前运行于单机上的算法，转化为了MapReduce模式，这样大大提升了算法可处理的数据量和处理性能。http://www.ha97.com/5803.html1.下载...
-
编辑 删除
MapReduce优化----Shuffle过程剖析及性能优化
1. Map端当Map 开始产生输出时，它并不是简单的把数据写到磁盘，因为频繁的磁盘操作会导致性能严重下降。它的处理过程更复杂，数据首先是写到内存中的一个缓冲区，并做了一些预排序，以提升效率。每个Map 任务都有一个用来写入输出数据的循环内存缓冲区。这个缓冲区默认大小是1...
-
编辑 删除
Spark2.0.0 Install And Examples
1.Scala 2.11.8 下载解压[root@sht-sgmhadoopnn-01 hadoop]# wget http://downloads.lightbend.com/scala/2.11.8/scala-2.11.8.tgz[root@sht-sgmhadoopnn-01 hadoop]# tar xzvf scala-2.11.8.tgz[root@sht-sgmhadoopnn-01 hadoop]# mv scala-2.11.8 scala[root@sht-sgmhadoopnn-01 hadoop]# 2.将scala文件夹同步...
-
编辑 删除
记录一次常见的错误:java.sql.SQLException: Got error 28 from storage engine
场景: mr或者hive job,check log 发现该错误;又或者kylin在data source sync时也会发生该错误,等等。原因分析:集群的机器的磁盘100%解决方法:(找占磁盘空间大的文件或者文件夹,rm -rf) 1. du -sh /* | sort -nr 2.&n...
-
编辑 删除
Sqoop1 From PostgreSQL to Hdfs
环境: Sqoop1 Install And Test MySQL/PostgreSQL 参数解析： --connect： JDBC连接URL --username：连接数据库用户名 --password：连接数据库密码 --table： 要读取的表 -m：map并行读取的数量 含义：读取user_info表数据到HDFS集群，并叧通过一个map任务 注意：此Sqoop命令没...
-
编辑 删除
Sqoop1 Install And Test MySQL/PostgreSQL
环境: Hadoop2.7.2(NameNode HA,ResourceManage HA)+HBASE+HIVE环境: Hadoop2.7.2(NameNode HA,ResourceManage HA)1.下载[root@sht-sgmhadoopnn-01 hadoop]# wget http://apache.01link.hk/sqoop/1.4.6/sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz[root@sht-sgmhadoopnn-01 hadoop]# tar xzvf sqoo...
-
编辑 删除
Sqoop1.99.6 Install And From MySQL To Hdfs
环境: Hadoop2.7.2(NameNode HA,ResourceManage HA)1.下载[root@sht-sgmhadoopnn-01 hadoop]# wget http://apache.mirrors.tds.net/sqoop/1.99.6/sqoop-1.99.6-bin-hadoop200.tar.gz[root@sht-sgmhadoopnn-01 hadoop]# tar -zxvf sqoop-1.99.6-bin-hadoop200.tar.gz[root@sht-sgmhadoopnn-01 hado...
-
编辑 删除
Apache Kylin1.5.2.1之订单案例详细构建流程
一.Hive订单数据仓库构建1. 创建事实表并插入数据 DROP TABLE IF EXISTS default.fact_order ;create table default.fact_order (time_key string,product_key string,salesperson_key string,custom_key string,quantity_ordered bigint,order_dollars bigint,cost_dollars bigint)ROW FORMAT DELIMITED...
-
编辑 删除
FileNotFoundException: .../logs/userlogs/application_/container_(Is a directory)
1.场景: 跑hive job时,夯住 2.错误: 查看RM WebSLF4J: Class path contains multiple SLF4J bindings.SLF4J: Found binding in [jar:file:/hadoop/hadoop-2.7.2/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]SLF4J: Found binding in [jar:file:/home/hadoop-2.7....
-
编辑 删除
Hadoop多用户资源管理–Fair Scheduler介绍与配置（Yarn）
Fair Scheduler将整个Yarn的可用资源划分成多个资源池，每个资源池中可以配置最小和最大的可用资源（内存和CPU）、最大可同时运行Application数量、权重、以及可以提交和管理Application的用户等。 如图所示，假设整个Yarn集群的可用资源为100vCPU，100GB内存，现在为3个业务各自规划一个资源池，另外，规划...
-
编辑 删除
Error:map.xml could only be replicated to 0 nodes instead of minReplication (=1)
1.场景: hive执行一条sql语句,然后map,reduce做完了,写数据over了2.错误:java.lang.RuntimeException: Error caching map.xml: org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /tmp/hive/root/675fa67b-59c3-4de7-99a9-3f5be9f6685c/hive_2016-07-19_16-11-06_796_8611429774960723114-1/-mr-...
-
编辑 删除
java.io.IOException: Timed out waiting 20000ms for a quorum of nodes to respond
一：任务：/datacenter/shell/user/full/bdl_social_test1.sh跑全量数据时！Namenode挂掉！二：报错日志：/var/log/hadoop-hdfs/hadoop-hdfs-namenode-yhbd01.log内容：2015-08-27 10:23:04,392 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: yhbd0...
-
编辑 删除
MapReduce1和Yarn和对比
在MRv1中，JobTracker是个重量级组件，集中了资源管理分配、作业控制两大核心功能，随着集群规模的增大，JobTracker处理各种RPC请求负载过重，这也是系统的最大瓶颈，严重制约了Hadoop集群的扩展性。相比之下，Yarn将JobTracker功能进行了拆分，拆分为全局组件ResourceManager、应用组件Applicat...
-
编辑 删除
Hadoop1.x MapReduce 程序执行的详细过程
1.Job类初始化JobClient实例，JobClient中生成JobTracker的RPC实例，这样可以保持与JobTracker的通讯，JobTracker的地址和端口等都是外部配置的，通过Configuration对象读取并且传入。 2.JobClient提交作业。 ...
-
编辑 删除
Hadoop1.x MapReduce的Slot的理解
1.首先，slot不是CPU的Core，也不是memory chip，它是一个逻辑概念，一个节点的slot的数量用来表示某个节点的资源的容量或者说是能力的大小，因而slot是 Hadoop的资源单位。 2.Hadoop利用slots来管理分配节点的资源。每个Job申请资源以slots为单位，每个节点会确定自己的计算能力以及memory确定自己包含的slots总量。当...
-
编辑 删除
ETL数据导入/导出工具 HData(支持JDBC、Hive、HDFS、HBase、Kafka等)
HData是一个异构的ETL数据导入/导出工具，致力于使用一个工具解决不同数据源（JDBC、Hive、HDFS、HBase、MongoDB、FTP、Http、CSV、Excel、Kafka等）之间数据交换的问题。HData在设计上同时参考了开源的Sqoop、DataX，却与之有不同的实现。HData采用“框架+插件”的结构，具有较好的扩展性，框架相当于数据缓冲区，插件则...
