-
编辑 删除
CDH5.8.2安装之Hash verification failed
一.问题 Hash verification failed 在cdh5.8.2web界面集群安装过程中,Parcelshash校验失败。 二.解决方法1(蒙蔽) 1.修改manifest.json的hash值 [root@hadoop-01 parcels]# cat CDH-5.8.2-1.cdh5.8.2.p0.3-el6.parcel.sha 227d11e344698c70e654ca6768fc017735b73ae3 ...
-
编辑 删除
HBase启动,出现 master.TableNamespaceManager: Namespace table not found
出现上述这个错误的原因是我之前已经安装了HBase。然后删除又重新安装的时候，启动hbase,其master 失败。 在这个/var/log/hbase目录的xxxx.out日志 或者 web界面查看，如下错误： 根据上面错误的我们可以很清楚的知道，在启动Hbase的时候，由于之前安装的HBase版本的数据还存在，因此重新安装的HBase会报T...
-
编辑 删除
泰为信息科技（上海）有限公司 基于E-MapReduce的考量与实践
1. 1.58元/小时起快速体验 Hadoop & Spark ，为你助力大数据计算???? ????? 阿里云EMR是基于 Hadoop 的生态环境来搭建，同时可以跟阿里云的对象存储服务OSS等云服务进行无缝数据交换，方便用户将数据在存储平台和计算平台之间进行输入输出，以满足不同业务类型的需要，所...
-
编辑 删除
CentOS6上Hadoop集群中服务器cpu sys态异常的定位与解决
问题现象在zabbix系统中，对Hadoop集群的历史监控数据分析时，发现在执行大Job任务时，某些服务节点的cpu sys态很高；具体以hadoop_A服务节点为例，在10:15-10:40这个时间段，cpu user态为60%，而sys态则高达35%；对于整个Hadoop集群，并不是所有的节点都会出现sys过高的问题，产生此类问题的都是部...
-
编辑 删除
携程大数据实践：高并发应用架构及推荐系统案例
本文来自携程技术中心基础业务研发部的《应用架构涅槃》系列分享。据基础业务研发部负责人李小林介绍，互联网二次革命的移动互联网时代，如何吸引用户、留住用户并深入挖掘用户价值，在激烈的竞争中脱颖而出，是各大电商的重要课题。通过各类大数据对用户进行研究，以数据驱动产品是解决这个课题的主要手段，携程的大数据...
-
编辑 删除
Flume+Hadoop+Hive的离线分析系统基本架构
最近在学习大数据的离线分析技术，所以在这里通过做一个简单的网站点击流数据分析离线系统来和大家一起梳理一下离线分析系统的架构模型。当然这个架构模型只能是离线分析技术的一个简单的入门级架构，实际生产环境中的大数据离线分析技术还涉及到很多细节的处理和高可用的架构。这篇文章的目的只是带大家入个...
-
编辑 删除
YARN的Memory和CPU调优配置详解
YARN作为一个资源调度器，应该考虑到集群里面每一台机子的计算资源，然后根据application申请的资源进行分配Container。Container是YARN里面资源分配的基本单位，具有一定的内存以及CPU资源。内存配置YARN以及MAPREDUCE所有可用的内存资源应该要除去系统运行需要的以及其他的hadoop的一些程序，总共保留的内存...
-
编辑 删除
YARN and MapReduce的【内存】优化配置详解
在Hadoop2.0中, YARN负责管理MapReduce中的资源(内存, CPU等)并且将其打包成Container. 这样可以精简MapReduce, 使之专注于其擅长的数据处理任务, 将无需考虑资源调度. 如下图所示?????????????YARN会管理集群中所有机器的可用计算资源. 基于这些资...
-
编辑 删除
记录一次帮网友调试ssh信任关系的过程
1.生成公钥和私钥$ ssh-keygen回车回车默认在 ~/.ssh目录生成两个文件： id_rsa ：私钥 id_rsa.pub ：公钥 2.导入公钥到认证文件 $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 3.测试本机无密码登录$ ssh master date回车需要输入密...
-
编辑 删除
linux,No package epel-release available.
[root@sht-sgmhadoopdn-01 ~]# yum install epel-release Loaded plugins: fastestmirror, securityLoading mirror speeds from cached hostfile * epel: ftp.cuhk.edu.hkSetting up Install ProcessResolving Dependencies--> Running transaction check---> Package epel-release.noarch...
-
编辑 删除
Hive job,抛错could only be replicated to 0 nodes instead of minReplication(=1)
场景: hive执行一条sql语句,然后map,reduce做完了,写数据over了hive> select dday.full_day, sum(quantity_ordered) from fact_order as fact inner join dim_day as dday on fact.time_key == dday.day_key and dday.full_day >= "2015-05-01" and dday.full_day <= "2015-05-02" group by dday.full_day order ...
-
编辑 删除
将近2个多月没有写博客了，惰性还是咬牙废去吧。
????时间过得真快，从8月份下旬到10月份中旬，将近3个月没有写博客了，哎，有时在感叹自己的懒惰！！！不像刚开始学习大数据那么有劲头，天天做看视频和看牛人博客，搭建环境，做实验，写写过程和总结博客了。在这三个月里，主要做了几件事：1.参加IBM Spark比赛，我的职责：2.在新浪财经新闻，...
-
编辑 删除
Hive job,抛错java.io.FileNotFoundException:/.../container_000001(Is a directory)
场景: 跑hive job时,夯住 错误: 查看RM WebSLF4J: Class path contains multiple SLF4J bindings.SLF4J: Found binding in [jar:file:/hadoop/hadoop-2.7.2/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]SLF4J: Found binding in [jar:file:/home/hadoop-2.7.2/tm...
-
编辑 删除
Ganglia+Hadoop+Hbase监控搭建流程
Hadoop集群基本部署完成，接下来就需要有一个监控系统，能及时发现性能瓶颈，给故障排除提供有力依据。监控hadoop集群系统好用的比较少，自身感觉ambari比较好用，但不能监控已有的集群环境，挺悲催的。ganglia在网上看到原生支持Hadoop、Hbase性能监控，试用一段时间感觉还不错，监控项比较全面，配置简单，软件包在epel...
-
编辑 删除
CDH4/5集群正确启动和停止顺序
Stop:1.cm web http://172.16.102.63:7180/a.stop Cluster1b.stop Cloudera Management Service2.stop agent and server[root@sh-datascienceresearch-01 ~]# service cloudera-scm-agent stop[root@sh-datascienceresearch-02 ~]# service cloudera-scm-agent stop[root@sh-datascienceresearch-03 ~]# servic...
-
编辑 删除
Mahout 0.12.2 Install
Mahout 是一个很强大的数据挖掘工具，是一个分布式机器学习算法的集合，包括被称为Taste的分布式协同过滤的实现、分类、聚类等。Mahout最大的优点就是基于hadoop实现，把很多以前运行于单机上的算法，转化为了MapReduce模式，这样大大提升了算法可处理的数据量和处理性能。http://www.ha97.com/5803.html1.下载...
-
编辑 删除
MapReduce优化----Shuffle过程剖析及性能优化
1. Map端当Map 开始产生输出时，它并不是简单的把数据写到磁盘，因为频繁的磁盘操作会导致性能严重下降。它的处理过程更复杂，数据首先是写到内存中的一个缓冲区，并做了一些预排序，以提升效率。每个Map 任务都有一个用来写入输出数据的循环内存缓冲区。这个缓冲区默认大小是1...
-
编辑 删除
Spark2.0.0 Install And Examples
1.Scala 2.11.8 下载解压[root@sht-sgmhadoopnn-01 hadoop]# wget http://downloads.lightbend.com/scala/2.11.8/scala-2.11.8.tgz[root@sht-sgmhadoopnn-01 hadoop]# tar xzvf scala-2.11.8.tgz[root@sht-sgmhadoopnn-01 hadoop]# mv scala-2.11.8 scala[root@sht-sgmhadoopnn-01 hadoop]# 2.将scala文件夹同步...
-
编辑 删除
记录一次常见的错误:java.sql.SQLException: Got error 28 from storage engine
场景: mr或者hive job,check log 发现该错误;又或者kylin在data source sync时也会发生该错误,等等。原因分析:集群的机器的磁盘100%解决方法:(找占磁盘空间大的文件或者文件夹,rm -rf) 1. du -sh /* | sort -nr 2.&n...
-
编辑 删除
Sqoop1 From PostgreSQL to Hdfs
环境: Sqoop1 Install And Test MySQL/PostgreSQL 参数解析： --connect： JDBC连接URL --username：连接数据库用户名 --password：连接数据库密码 --table： 要读取的表 -m：map并行读取的数量 含义：读取user_info表数据到HDFS集群，并叧通过一个map任务 注意：此Sqoop命令没...
