-
编辑 删除
HIVE随手记——Hive命令（?$HIVE_HOME/bin/hive）
HIVE版本：0.14.0$HIVE_HOME/bin/hive 这个shell 命令是通向包括命令行界面(CLI）等Hive服务的通道。注意，是Hive服务的通道。用户可以将$HIVE_HOME/bin加入到环境变量 PATH中。使用 hive --help 命令查询帮助选项（这里列出了相关的语法和参数）点击(此处)折叠或打开[zhang@namenode b...
-
编辑 删除
一个DATANODE无法启动的问题
java.io.IOException: File … could only be replicated to 0 nodes, instead of 1。使用dfsadmin -report报无数据节点，如下：[hadoop@namenode hadoop]$ hadoop dfsadmin -report Configured Capacity: 0 (0 KB)Present Capacity: 0 (0 KB)DFS Remaining: 0 (0 KB)DFS Used: 0 (0 KB)DFS Used%: ?%U...
-
编辑 删除
Hadoop 2.5.2版本安装部署
软件及版本：Hadoop版本hadoop-2.5.2操作系统Red Hat Linux 6.432bitJDK版本jdk-8u25-linux-i586.rpm...
-
编辑 删除
Linux 防火墙开放特定端口 （iptables）
iptables是linux下的防火墙，同时也是服务名称。service iptables status 查看防火墙状态service iptables start 开启防火墙service iptables stop 关闭防火墙service  ...
-
编辑 删除
搭建hadoop2/CDH4集群
版本及准备我部署的是hadoop-2.0.0-cdh4.2.0.tar.gz，下载地址为http://archive.cloudera.com/cdh4/cdh/4/hadoop-2.0.0-cdh4.2.0.tar.gz 。在http://archive.cloudera.com/cdh4/cdh/4/ 下还可以下载到CDH hadoop生态圈内相关的包。再准备一个jdk1.6+的java环境，设置好JAVA_HOME。需要注意的是，window...
-
编辑 删除
由hostname引起datanode无法正常启动的一个问题
安装hadoop 2.5.X版本的虚拟机群，在初始化 namenode 时候遇到了如下错误：SHUTDOWN_MSG: Shutting down NameNode at java.net.UnknownHostException: datanode: datanode: unknown error如果忽略该错误启动DFS，会发现datanode无法正常启动。原因： hadoop在格局化HDFS的时辰，经由过程host...
-
编辑 删除
SecureCRT的sz/rz工具包
新系统需要安装SZ.RZ工具包，才能在secureCRT下使用1、下载软件 rzsz-3.34.tar.gz,登录linux，用命令 wget http://freeware.sgi.com/source/rzsz/rzsz-3.48.tar.gz 下载。2、解压 tar zxvf rzsz-3.34.tar.gz3、进入解压后的SRC目录，make编译...
-
编辑 删除
MySql序列实现
小结一下：mysql 实现 oracle中序列的功能创建一张用于记录序列值的表：drop table if exists dpf_risk.seq_record;create table dpf_risk.seq_record(seq_name varchar(100) comment '序列名',val int(11) not null default 0 comment '序列值',primary key (seq_name)) comment '此表用于记录序列的值';/*初...
-
编辑 删除
用户画像数据建模方法
从1991年Tim Berners-Lee发明了万维网（World Wide Web）开始，到20年后2011年，互联网真正走向了一个新的里程碑，进入了“大数据时代”。经历了12、13两年热炒之后，人们逐渐冷静下来，更加聚焦于如何利用大数据挖掘潜在的商业价值，如何在企业中实实在在的应用大数据技术。伴随着大数据应用的讨论、创新，个性化技术成...
-
编辑 删除
MySql中时间和日期函数
一、MySQL 获得当前日期时间 函数1.1 获得当前日期+时间（date + time）函数：now()mysql> select now();+---------------------+| now() |+---------------------+| 20...
-
编辑 删除
用户与用户组的常用操作
用户操作：1.新增用户 useradd test 新增test用户 注意：使用root用户给test 初始化密码，否则无法登陆 2，修改用户usermod -d /home/test -G test2 test 将test用户的登录目录改成/home/test，并加入test2组gpasswd -...
-
编辑 删除
配置虚拟机集群常用设置主机IP操作
一.设置主机名 安装好linux虚拟机后，查看主机名： uname -n 或 hostname命令点击(此处)折叠或打开[zhang@localhost etc]$ uname -nlocalhost.localdomain[zhang@localhost etc]$ hostnamelocalhost.localdomain 1.临...
-
编辑 删除
Oracle Spool经典教程
Oracle Spool经典教程
-
编辑 删除
Sqoop安装及验证
环境：系统Red hat linux 6.4Hadoop版本1.2.1Sqoop版本1.4.4Mysql数据库版本5.6.15...
-
编辑 删除
Hbase分布式安装部署过程
基于hadoop 1.2.1版本，Hbase 0.94.16版本分布式安装部署过程。
-
编辑 删除
Hive安装（本地独立模式，MySql为元数据库）
部署环境：系统Red hat linux 6.4Hadoop版本1.2.1Hive版本0.11.0Mysql数据库版本5.6.15...
-
编辑 删除
Pig 的安装与测试
hadoop pig 安装测试。
-
编辑 删除
利用Workcount程序验证部署好机群可以正常工作
Step1 创建输入文件夹及输入文本文件 Step2 将输入文件放入HDFS进入Hadoop主目录bin目录下： Step3 执行workcount程序测试./bin/hadoop jar hadoop-examples-1.2.1.jarwordcount in out其中 in 为输入目录，out为输出目录，输入目录在HDFS内 Step4 查看...
-
编辑 删除
Hadoop分布式环境搭建总结(非生产：Rat hat linux 6.4 + hadoop_1.2.1)
Rat hat linux 6.4 + hadoop_1.2.1版本的完全分布式环境搭建总结。
-
编辑 删除
Oracle 会话(Session)
在Oracle体系结构中很重要的三个概念 数据库(database)、实例(instance)、会话(session)什么是会话(session)?会话描述的角度是客户端，由客户端发起请求，服务器端响应回复。这种交互的过程就叫做会话(session)。实验环境:Oracle 11g R2，专属服务器模式专属服务器session和进程应该是1对1的关系，方便理解。环境构...
