-
Hive架构设计及原理
Hive架构设计及原理1.什么是Hive：Hive是构建在Hadoop之上的数据仓库平台，可以结构化的数据文件映射为一张数据库表，并提供完整的SQL查询，然后将SQL语句转换为MapRuce任务进行运行，提交YARN平台调度，优点学习成本之低，通过SQL语句快速实现简单的MapReduce统计Hive没有专门的数据格式，可以很好的工作在Thrift之上...
-
MapReduce2架构设计
一、MapReduce2架构设计(与MapReduce1对比) 1. MapReduce1架构设计 Client: 客户端 JobTracker: 主要负责资源监控管理和作业调度。 a.监控所有TaskTracker与job的健康...
-
YARN and MapReduce的【内存】优化配置详解
在Hadoop2.x中, YARN负责管理MapReduce中的资源(内存, CPU等)并且将其打包成Container。使之专注于其擅长的数据处理任务, 将无需考虑资源调度. 如下图所示 YARN会管理集群中所有机器的可用计算资源. 基于这些资源YARN会调度应用(比如MapR...
-
YARN的Memory和CPU调优配置详解
Hadoop YARN同时支持内存和CPU两种资源的调度，本文介绍如何配置YARN对内存和CPU的使用。YARN作为一个资源调度器，应该考虑到集群里面每一台机子的计算资源，然后根据application申请的资源进行分配Container。Container是YARN里面资源分配的基本单位，具有一定的内存以及CPU资源。在YARN集群中，平衡内存、CPU、磁盘...
-
Hadoop之MapReduce2基础梳理及案例
基础梳理1.Mapreduce 分布式计算系统 一个分布式运算程序的编程框架也是hadoop的数据分析和应用的核心框架,将用户的业务逻辑代码和自带的默认组件整合一个完整的分布式用程序,并发运行在一个hadoop集群上2.为什么需要MapReduce 1.海量数据在单机上受硬件资源限制 2.单机程序...
-
国外两大知名银行Hadoop采用现状调查，Gartner所言非虚！
经历了近三个月对国内厂商及企业用户的走访调研，笔者发现国内大部分厂商及企业对Hadoop，尤其是其核心组件的未来十分看好，并且Hadoop已经成为国内大多数互联网公司和大数据厂商基础架构中很重要的一部分，似乎并未把Gartner的“Hadoop在到达生产成熟期之前即会被淘汰”的结论放在心上。然而，在近期对国外大数据厂商Teradata及其两大银行客户——富国银行和加拿大皇家银行的采访中，笔者收到了与国内用户截然不同的反馈。
-
使用Sqoop工具把mysql的表往Hive import的时候发生的错误解决
执行的语句：sqoop import --connect jdbc:mysql://master:3306/company --username root --password Omputer123? --table employee --delete-target-dir --num-mappers 1 --hive-import --fields-terminated-by "\t" --hive-overwrite --hive-table emp_hive发生如下错误：18/05/29 05:50:55 ERROR hive.HiveConfig: ...
-
MySQL的常规使用(Linux中)
1.show databases;2.use mysql转换database3.show tables 显示数据库里的表4.select user,host,password from user查询我的数据库mysql的user,host,password5.给账号设置密码mysql> update user set password=password('123456') where user='root';6.清除空用户delete From user where user='' ;...
-
MySQL部署（在Linux上）
配置SQL 1.用yum从windows下载SQL包到Linux 命令rz 找到SQL的tar包 上传2.检查是否安装好通过检查进程ps -ef|grep mysqld通过检查是否存在 rpm -qa|grep -i mysqld3.安装和改名tar安装tar包 tar -xzvf mysql-5.6.23-linux-glibc2.5-x86_64.tar.gzmv改名字 mv mysql-5.6.23-linux-glibc2.5-x86_64 ...
-
Hadoop之Yarn架构设计(command memory cpu)
待整理Hadoop之Yarn架构设计(command memory cpu)
-
Hadoop之MapReduce2架构设计
Hadoop之MapReduce2架构设计
-
Hadoop之MapReduce2基础梳理及案例
基础梳理1.Mapreduce 分布式计算系统 一个分布式运算程序的编程框架也是hadoop的数据分析和应用的核心框架,将用户的业务逻辑代码和自带的默认组件整合一个完整的分布式用程序,并发运行在一个hadoop集群上2.为什么需要MapReduce 1.海量数据在单机上受硬件资源限制 2.单机程序...
-
MapReduce1架构设计
MapReduces1架构设计
-
5.28早课
1.查看当前目录的命令A：pwd2.切换目录的命令是什么? A：cd3.切换到家目录哪几种?A：cd ~,cd4.切换到 上一次的目录是什么? A：cd -5.切换到 上一层的目录是什么? A：cd ../6.绝对路径和相对路径是什么?A：绝对路径要写出所有完整路径，但是相对路径可以用../7.查看历史命...
-
Linux基础命令3
1.权限问题文件夹：d开头文件：-开头r:read对应权限4（读的权限）w：write对应权限3（写的权限）x:implement对应权限1（执行的权限）-：空权限对应权限0（没有任何权限）则以以下代码为例子说明权限dr-xr-xr--. 2 root root 4096 May 19 19:16 Templates 以d开头则Templates为文件夹，其权限为"r-xr-x...
-
MapReduce工作原理图文详解
1.MapReduce作业运行流程下面贴出我用visio2010画出的流程示意图： 流程分析：1.在客户端启动一个作业。2.向JobTracker请求一个Job ID。3.将运行作业所需要的资源文件复制到HDFS上，包括MapReduce程序打包的JAR文件、配置文件和客户端计算所得的输入划分信息。...
-
YARN的Memory和CPU调优配置详解
YARN作为一个资源调度器，应该考虑到集群里面每一台机子的计算资源，然后根据application申请的资源进行分配Container。Container是YARN里面资源分配的基本单位，具有一定的内存以及CPU资源。内存配置YARN以及MAPREDUCE所有可用的内存资源应该要除去系统运行需要的以及其他的hadoop的一些程序，总共保留的内存...
-
HDFS垃圾回收站配置及使用
HDFS会为每一个用户创建一个回收站目录：/user/用户名/.Trash/，每一个被用户通过Shell删除的文件/目录，在系统回收站中都一个周期，也就是当系统回收站中的文件/目录在一段时间之后没有被用户恢复的话，HDFS就会自动的把这个文件/目录彻底删除，之后，用户就永远也找不回这个文件/目录了。1. HDFS默认会关闭回收站功能...
-
hadoop fs常用命令
1 介绍 Hadoop文件系统（FS）默认提供了各种shell命令，可用于与Hadoop分布式文件系统（HDFS）或任何其他使用Hadoop Shell的支持文件系统进行交互。 一些最常用的命令是用于诸如创建目录，复制文件，查看文件内容，更改文件的所有权或权限等操作。  ...
-
HDFS之pid文件
1. pid默认存储在/tmp目录中，pid文件的内容为进程号 [hadoop@hadoop002 ~]$ cd /tmp [hadoop@hadoop002 tmp]$ pwd /tmp [hadoop@hadoop002 tmp]$ ll total 132 drwxrw...
