-
编辑 删除
参加“谛听金融大数据产品”的开发，赢得了IBM Spark全球大赛的中国大奖
项目可视化web:http://diting.tech/diting/视频与代码: http://diting.tech/diting/download_contact.html微信博文原处: http://mp.weixin.qq.com/s/ExfdB2ApLTfv6oYyxvH81g
-
编辑 删除
CentOS6.x使用163和epel yum源的选择
注：操作系统 CentOS 6.X ,CentOS 5.X EPEL，即Extra Packages for Enterprise Linux(http://fedoraproject.org/wiki/EPEL) 是由 Fedora 社区打造，为 RHEL 及衍生发行版如 CentOS、Scientific Linux 等提供高质量软件包的项目。在这里可以获得 RHEL 的高质量、高性能、高可靠性、免费、方便易用的软件包。 今天...
-
编辑 删除
正式开通GitHub啦
主要近期想要做一些代码的项目的学习，所以开通GitHub,当然ItPub 博客我也会接着写，写的不好，希望大家海涵！地址:https://github.com/Hackeruncle
-
编辑 删除
Centos6.5 python2.6.6 升级到2.7.5
查看python的版本 [plain] view plain copy print? #python -V Python 2.6.6 1.下载Python-2.7.5至/usr/local/[plain] view plain copy print? ...
-
编辑 删除
记录 libldap-2.4.so.2: cannot open shared object file: No such file or directory
1.背景: 卸载openldap相关的所有rpm包后，出现libldap-2.4.so.2: cannot open shared object file: No such file or directory [root@sht-sgmhadoopcm-01 ~]# rpm -qa|grep openldap openldap-2.4.23-32.el6_4.1.x86_64 openldap-devel-2.4.23-32.el6_4.1.x86_64 openldap-clients-2.4.23-32.el6_4.1.x86_64 ope...
-
编辑 删除
CDH集群机器,安装多个CDH版,会出现命令找不到,如hadoop,hdfs等等
1.想使用hadoop命令,发现无效[root@hadoopnn-01 ~]# which hadoop/usr/bin/which: no hadoop in (/usr/java/jdk1.7.0_67-cloudera/bin:/usr/java/jdk1.7.0_67-cloudera/bin:/usr/lib64/qt-3.3/bin:/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/root/bin)2.进/usr/bin/目录查看hadoop[root@hadoop...
-
编辑 删除
CDH5.8.2之Enabling NTP
一.问题 CDH requires that you configure the NetworkTime Protocol (NTP) service on each machine in your cluster. To start NTPand configure it to run automatically on reboot, perform the following steps oneach node in your cluster. 报错： 1）此角色的主机的运行状况为不良...
-
编辑 删除
Redis3.2.5部署(单节点)
1.安装jdk1.8 [root@sht-logstash-01~]# cd /usr/java/ [root@sht-logstash-01java]# wget --no-check-certificate --no-cookies --header "Cookie:oraclelicense=accept-securebackup-cookie" http://download.oracle.com/otn-pub/java/jdk/8u111-b14/jdk-8u111-linux-x64.tar.gz [root@sht-l...
-
编辑 删除
ELK之简介
一.简介 1. 核心组成 ELK由Elasticsearch、Logstash和Kibana三部分组件组成； Elasticsearch: 个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。 Logstash: 一个完全开源的工具，它可以对你的日志进行收集、...
-
编辑 删除
CDH5.8.2安装之Hash verification failed
一.问题 Hash verification failed 在cdh5.8.2web界面集群安装过程中,Parcelshash校验失败。 二.解决方法1(蒙蔽) 1.修改manifest.json的hash值 [root@hadoop-01 parcels]# cat CDH-5.8.2-1.cdh5.8.2.p0.3-el6.parcel.sha 227d11e344698c70e654ca6768fc017735b73ae3 ...
-
编辑 删除
HBase启动,出现 master.TableNamespaceManager: Namespace table not found
出现上述这个错误的原因是我之前已经安装了HBase。然后删除又重新安装的时候，启动hbase,其master 失败。 在这个/var/log/hbase目录的xxxx.out日志 或者 web界面查看，如下错误： 根据上面错误的我们可以很清楚的知道，在启动Hbase的时候，由于之前安装的HBase版本的数据还存在，因此重新安装的HBase会报T...
-
编辑 删除
泰为信息科技（上海）有限公司 基于E-MapReduce的考量与实践
1. 1.58元/小时起快速体验 Hadoop & Spark ，为你助力大数据计算???? ????? 阿里云EMR是基于 Hadoop 的生态环境来搭建，同时可以跟阿里云的对象存储服务OSS等云服务进行无缝数据交换，方便用户将数据在存储平台和计算平台之间进行输入输出，以满足不同业务类型的需要，所...
-
编辑 删除
CentOS6上Hadoop集群中服务器cpu sys态异常的定位与解决
问题现象在zabbix系统中，对Hadoop集群的历史监控数据分析时，发现在执行大Job任务时，某些服务节点的cpu sys态很高；具体以hadoop_A服务节点为例，在10:15-10:40这个时间段，cpu user态为60%，而sys态则高达35%；对于整个Hadoop集群，并不是所有的节点都会出现sys过高的问题，产生此类问题的都是部...
-
编辑 删除
携程大数据实践：高并发应用架构及推荐系统案例
本文来自携程技术中心基础业务研发部的《应用架构涅槃》系列分享。据基础业务研发部负责人李小林介绍，互联网二次革命的移动互联网时代，如何吸引用户、留住用户并深入挖掘用户价值，在激烈的竞争中脱颖而出，是各大电商的重要课题。通过各类大数据对用户进行研究，以数据驱动产品是解决这个课题的主要手段，携程的大数据...
-
编辑 删除
Flume+Hadoop+Hive的离线分析系统基本架构
最近在学习大数据的离线分析技术，所以在这里通过做一个简单的网站点击流数据分析离线系统来和大家一起梳理一下离线分析系统的架构模型。当然这个架构模型只能是离线分析技术的一个简单的入门级架构，实际生产环境中的大数据离线分析技术还涉及到很多细节的处理和高可用的架构。这篇文章的目的只是带大家入个...
-
编辑 删除
YARN的Memory和CPU调优配置详解
YARN作为一个资源调度器，应该考虑到集群里面每一台机子的计算资源，然后根据application申请的资源进行分配Container。Container是YARN里面资源分配的基本单位，具有一定的内存以及CPU资源。内存配置YARN以及MAPREDUCE所有可用的内存资源应该要除去系统运行需要的以及其他的hadoop的一些程序，总共保留的内存...
-
编辑 删除
YARN and MapReduce的【内存】优化配置详解
在Hadoop2.0中, YARN负责管理MapReduce中的资源(内存, CPU等)并且将其打包成Container. 这样可以精简MapReduce, 使之专注于其擅长的数据处理任务, 将无需考虑资源调度. 如下图所示?????????????YARN会管理集群中所有机器的可用计算资源. 基于这些资...
-
编辑 删除
记录一次帮网友调试ssh信任关系的过程
1.生成公钥和私钥$ ssh-keygen回车回车默认在 ~/.ssh目录生成两个文件： id_rsa ：私钥 id_rsa.pub ：公钥 2.导入公钥到认证文件 $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 3.测试本机无密码登录$ ssh master date回车需要输入密...
-
编辑 删除
linux,No package epel-release available.
[root@sht-sgmhadoopdn-01 ~]# yum install epel-release Loaded plugins: fastestmirror, securityLoading mirror speeds from cached hostfile * epel: ftp.cuhk.edu.hkSetting up Install ProcessResolving Dependencies--> Running transaction check---> Package epel-release.noarch...
-
编辑 删除
Hive job,抛错could only be replicated to 0 nodes instead of minReplication(=1)
场景: hive执行一条sql语句,然后map,reduce做完了,写数据over了hive> select dday.full_day, sum(quantity_ordered) from fact_order as fact inner join dim_day as dday on fact.time_key == dday.day_key and dday.full_day >= "2015-05-01" and dday.full_day <= "2015-05-02" group by dday.full_day order ...
