-
HDFS写流程及权限问题
drwxr-xr-xhadoop rwxsupergroup r-xother r-x1. root用户上传文件到hdfs的权限问题： su -c 命令： -c command 或 --command=command 变更为帐号为 USER 的使用者并执行指令（command）后再变回原来使用者。 以下命令是root用户使用 hado...
-
HDFS之垃圾回收箱配置及使用
HDFS为每个用户创建一个回收站:目录:/user/用户/.Trash/Current在系统回收站都有一个周期,周期过后hdfs会彻底删除清空,周期内可以恢复1.HDFS删除文件,无法恢复[hadoop@hadoop001 opt]$ hdfs dfs -rm /123.logDeleted /123.log2. 启用回收站功能[hadoop@hadoop001 hadoop]$ vim core-site.xml
-
Hadoop帮助命令一
[hadoop@hadoop001 /]$ hadoopUsage: hadoop [--config confdir] [COMMAND | CLASSNAME] CLASSNAME run the class named CLASSNAME or where COMMAND is one of: fs run a generic ...
-
HDFS的PID整理
前言: Linux中可以通过PID找到对相应的进程号和进程目录，ps -ef|grep pid可以单独kill想要的pid;如果生产上想通过shell脚本直接kill `ps -ef|grep 服务名 ,会把服务下所有多个进程和其他进程kill掉, 已hadoop为例可以读文件里进程号指定kill掉‘; Hodoop的PID默认存储路...
-
hadoop伪分布式 MapReduce+Yarn 部署
1. 先看看官网伪分布式关于yarn的配置信息：官网地址：http://hadoop.apache.org/docs/r2.8.4/hadoop-project-dist/hadoop-common/SingleCluster.html2. yarn 的配置操作 yarn的两个进程: ResourceManager （资源管理） NodeManage...
-
hadoop伪分布式安装(HDFS)
1. 解压缩 /opt/software/hadoop-2.8.1.tar.gz 文件 [root@hadoop002 software]$ cd /opt/software/ [root@hadoop002 software]$ pwd /opt/software [root@hadoop002 softwa...
-
Linux常用命令2
Linux常用命令二1.创建文件夹mkdir ruozedata 创建1个文件夹mkdir 1 5 7 并排mddir -p 2/3/5 级联2.创建文件vi jepson.log 空和不空touch www.log 创建空echo "" > ruoze.log 有1个字节cat /dev/null ...
-
Linux常用命令1
Linux常用命令使用CRT / Xshell 软件连接VM，编写虚拟机1.vi 编辑文件注意操作（i-->编辑 修改hadoop001-->ruozehadoop001ecs -->命令 shift+: --> 尾行 输入 wq）2.pwd 当前目录3.ls 查看 -l 权限信息 用户和用户组 时间 等价于 ll（在有些情况下，ll用不了，那么个人...
-
CentOS6.5的部署
1.下载VM8（注意原版文件，否则可能会有缺失而导致后期一些操作问题）2.下载CentOS6.5的镜像文件3.配置CentOS，有配置向导(大部分都是CentOS自动推荐的选项，需要注意选择Linux系统，使用30G到以上内存)4.注册CentOS账号（分为个人账号和root账号，学习使用root账号）5.基本配置完成（看到CentOS的桌面）...
-
Hadoop之HDFS文件读写流程说明
Hadoop之HDFS文件读写流程说明
-
Hadoop之HDFS主从架构及说明(一)
HDFD架构设计图及说明
-
CentOS6.5基于Hadoop用户的Yarn伪分布式部署(a Single Node Cluster)
yran on a single node cluster
-
Hadoop之JPS命令及真假现象(process information unavailable)
前言:jps(Java Virtual Machine Process Status Tool)是JDK 1.5提供的一个显示当前所有 java 进程 pid 的命令，简单实用，非常适合在 linux/unix 平台上简单察看当前java进程的一些简单情况。 jps 可以查看 hadoop 上 当前运行的java 进程。 jps命令是jdk下bin目录中的一个可执行文件，需要安装比 jdk6u17 更...
-
S3 服务(Simple Storage Service简单存储服务) 简介(与hdfs同一级)
S3 服务(Simple Storage Service简单存储服务) 简介(与hdfs同一级) 图1 spark 相关 亚马逊云存储之S3(Simple Storage Service简单存储服务)(转 )...
-
CentOS6.5基于Hadoop用户的HDFS伪分布式部署(a Single Node Cluster)
前言： 上一篇博客HDFS伪分布式部署基于管理员root部署成功，但是实际生产中使用Hadoop用户操作及配置? ? ? ? 官网参考：http://hadoop.apache.org/docs/r2.8.4/hadoop-project-dist/hadoop-common/SingleCluster.html1、检查hadoop用户是否存在[...
-
YARN的Memory和CPU调优配置详解
YARN作为一个资源调度器，应该考虑到集群里面每一台机子的计算资源，然后根据application申请的资源进行分配Container。Container是YARN里面资源分配的基本单位，具有一定的内存以及CPU资源。内存配置YARN以及MAPREDUCE所有可用的内存资源应该要除去系统运行需要的以及其他的hadoop的一些程序，总共保留的内存...
-
单节点KAFKA的安装部署
项目背景： 项目需要为使用增量数据同步工具，接入大数据平台，实现增量同步功能。根据公司要求kafka版本为0.11 本文搭建的是单节点的kafka。下载地址http://kafka.apache.org/downloads.html一、测试环境信息（个人虚拟机）tickTime=2000dataDir=/soft/zookeepe...
-
Hadoop 工具的认识
从只言片语中了解大数据的各种工具
-
Kafka Connect如何实现同步RDS binlog数据?
本文介绍如何在E-MapReduce上使用Kafka Connect实现同步RDS binlog数据。在我们的业务开发中，往往会碰到下面这个场景：业务更新数据写到数据库中，业务更新数据需要实时传递给下游依赖处理，所以传统的处理架构可能会这样.....
-
CentOS6.5基于ROOT用户的HDFS伪分布式部署(a Single Node Cluster)
CentOS6.5实现Hadoop编译及HDFS伪分布式部署Hadoop 2.x 三大组件MapReduce(Others) -- 计算YARN -- 资源和作业调度平台
