-
hive 的架构及知识体系
1、Hive架构与基本组成Hive的体系结构可以分为以下几部分： （1）用户接口主要有三个：CLI，Client 和 WUI。其中最常用的是CLI。Client是Hive的客户端，用户连接至Hive Server。在启动 Client模式的时候，需要指出Hive Server所在节点，并且在该节点启动Hive Server。 WUI是通过浏览器访问Hive。&
-
Flume采集到HDFS
exec - memory - hdfs spooling - memory - logger taildir-memory-logger
-
Flume初识与部署
Flume初识与部署
-
扫盲：Hadoop分布式文件系统（HDFS）基础概念讲解！
无论你如何将Hadoop与Spark进行对比，无论Spark生态多么成熟和完善，其底层终归要基于HDFS，毕竟这是目前最成熟的分布式底层文件系统，几乎没有哪家公司愿意重新花费精力研发一个全新的文件系统。
-
Yarn的总结
1.YARN架构设计 ResourceManager(RM)： 负责对各NM上的资源进行统一管理和调度。将AM分配空闲的Container运行并监控其运行状态。对AM申请的资源请求分配相应的空闲Container。主要由两个组件构成： 调度器和应用程序管理器。调度器(Scheduler)：调度器根据容量、队列等限制条件（如每个队列分配一定的资源，最多执行一定数量的作业等），将系统中的资源分配给各个
-
MapReduce总结
1.MapReduce1 架构设计Client: 客户端JobTracker: 主要负责资源监控管理和作业调度。a.监控所有TaskTracker 与job的健康状况,一旦发现失败,就将相应的任务转移到其他节点;b.同时JobTracker会跟踪任务的执行进度、资源使用量等信息,并将这些信息告诉任务调度器,而调度器会在资源出现空闲时,选择合适的任务使用这些资源.TaskTracker:是JobTr
-
HDFS常用命令
1.hadoop fs == hdfs dfshadoop fs -ls /hadoop fs -lsrhadoop fs -mkdir /user/hadoophadoop fs -put a.txt /user/hadoop/hadoop fs -get /user/hadoop/a.txt /hadoop fs -cp src dsthadoop fs -mv src dsthadoop f
-
HDFS的读写流程
文件读流程1.Client通过FileSystem.open(filePath)方法,去与Namenode进行rpc通信,返回该文件的部分或全部的block列表(也包含该列表各block的分布在Datanode地址的列表),也就是返回FSDataInputStream对象;2.Client调用FSDataInputStream对象的read()方法,• a. 去与第一个块的最近的datanode进
-
HDFS的详解（一）
三个进程1)NameNode (NN): 名称节点 --》client第一个操作的对象NameNode的功能: 文件系统的命名空间
-
宝鲲财经外汇投资者做单要遵守的准则
不少人想要在外汇交易市场中一夜暴富，在外汇做单的时候不断的加重仓位，提高交易频率，但是这种方式正是导致了很多外汇投资者交易亏损的主要原因，外汇做单更重要的内容是遵守市场纪律。许多人想在外汇市场里一夜暴富，导致频繁做单。而频繁做单，正是专业人士亏损的直接原因——止损的次数太多了。而不专业的人的亏损不是频繁做单，而是不知道开平仓和止损位造成的。要补充说明的是止损单，也是整个交易的构成，一个成功的止损，
-
耗时两个月调研，国内传统企业对Hadoop到底什么态度？
年初，笔者开始调研Hadoop在国内企业的应用现状，在前期的互联网企业应用现状调研中，笔者发现目前比较知名的互联网企业基本都在使用Hadoop，其生态组件，比如HDFS、Zookeeper、MapReduce等出现频率极高。但是，Hadoop在国外却遇冷，前有Gartner报告对Hadoop发行版的看衰论断，后有加拿大皇家银行和富国银行对Hadoop应用的不看好，到底国内的传统企业对Hadoop持什么态度？是否与国内的互联网企业一致呢？
-
消息中间件Kafka+Zookeeper集群简介、部署和实践
Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。Kafka的目的是通过Hadoop并行加载机制统一线上和离线消息处理，并通过集群提供实时消息。本文内容较基础，主要围绕kafka的体系架构和功能展开。
-
Hybris Enterprise Commerce Platform 服务层的设计与实现
Hybris Enterprise Commerce Platform这个系列之前已经由我的同事，SAP成都研究院Hybris开发团队的同事张健(Zhang Jonathan)发布过两篇文章了。这里Jerry要特别感谢张健，尽管最近他的第二个孩子诞生了，工作之余的生活变得更加忙碌，然而张健仍然抽出少的可怜的业余时间完成了这个系列的第三篇文章。前两篇文章分别介绍了SAP Hybris的前端和DTO层
-
Oracle与Hadoop对比：强一致性和高性能不可兼得！
提起Hadoop，我们就可以想到大数据；提起Oracle，我们就可以想到数据库。国内确实有不少企业习惯于将Hadoop作为数据库使用，因此将其与数据库领域同样占据重要位置的Oracle进行对比是有意义的。
-
flume线上配置
flume线上配置
-
浅析HDFS
最近在学Hdoop,学到 HDFS，做一个小小的总结。简单的介绍下什么是HDFS！
-
【shuffle】 VS 【map shuffle】
【shuffle】 VS 【map shuffle】
-
Flume采集数据时在HDFS上产生大量小文件的问题
Flume采集数据时在HDFS上产生大量小文件的问题
-
从MySQL数据库中删除Hive元数据
Hive上所有元数据均保存在RDBMS中，所以删除RDBMS中的Hive的元数据，不会影响HDFS上的数据。目前针对MySQL数据库进行分析。Hive在MySQL数据库中的相关元数据的关系图：解决办法：先MySQL的库中建个存储过程P_TBL_DATA_DEL后，执行该存储过程就可以了。存储过程脚本：DELIMITER $$DROP PROCEDURE IF EXISTS P_TBL_DATA_D
-
使用ScalikeJDBC操作MySQL数据库
环境： IDEA+Maven+ScalikeJDBC+MySQL5.61 新建Maven的Scala工程2 pom.xml文件添加依赖： <properties> <scala.version>2.11.8</scala.version> <!-- 添加scalikejdbc 和 mysql
