-
编辑 删除
HBase的两种协处理器
1.起因(Why HBase Coprocessor)HBase作为列族数据库最经常被人诟病的特性包括：无法轻易建立“二级索引”，难以执行求和、计数、排序等操作。比如，在旧版本的(
-
编辑 删除
Mapreduce源码分析分片、处理流程
InputFormat（代码以TextInputFormat为例）：FileinputFormat中有三个重要方法： 1).isSplitable 2).getSplits &...
-
编辑 删除
yarn-RM-AM-NM之间的通讯
-
编辑 删除
Fair Scheduler与Capacity Scheduler介绍
原文：http://blog.163.com/ws__fyy/blog/static/122433817201392553459928/ 1 Fair SchedulerFacebook开发的适合共享环境的调度器，支持多用户多分组管理，每个分组可以配置资源量，也可限制每个用户和每个分组中的并发运行作业数量；每个用户的作业有优先级，优先级越高分配的资源...
-
编辑 删除
配置hadoop 使用fair scheduler调度器
配置步骤为1. 将$HADOOP_HOME/contrib/fairscheduler/hadoop-fairscheduler-0.20.2-cdh3u3.jar拷贝到$HADOOP_HOME/lib文件夹中2. 修改$HADOOP_HOME/conf/mapred-site.xml配置文件[html] view plaincopyprint?<property>  ...
-
编辑 删除
hadoop Capacity Scheduler计算能力调度器配置
计算能力调度器介绍Capacity Scheduler支持以下特性：(1) 计算能力保证。支持多个队列，某个作业可被提交到某一个队列中。每个队列会配置一定比例的计算资源，且所有提交到队列中的作业共享该队列中的资源。(2) 灵活性。空闲资源会被分配给那些未达到资源使用上限的队列，当某个未达到资源的队列需要资源...
-
编辑 删除
理解Hbase布隆过滤器原理
1.原理？ 数据块索引提供了一个有效的方法，在访问一个特定的行时用来查找应该读取的HFile的数据块。但是它的效用是有限的。HFile数据块的默认大小是64KB，这个大小不能调整太多。 如果你要查找一个短行，只在整个数据块的起始行键上建立索引无法给你细粒度的索引信息。例如，如果你的行占用100字节存储...
-
编辑 删除
zookeeper 集群安装（单点与分布式成功安装）
ZooKeeper是一个分布式开源框架，提供了协调分布式应用的基本服务，它向外部应用暴露一组通用服务——分布式同步（Distributed Synchronization）、命名服务（Naming Service）、集群维护（Group Maintenance）等，简化分布式应用协调及其管理的难度，提供高性能的分布式服务。ZooKeeper本身可以以Standalone模式安装运行...
-
编辑 删除
Spring Security3配置使用
使用Spring Security3的几种方法概述 原文:http://zhoualine.iteye.com/blog/1755233 一种是全部利用配置文件，将用户、权限、资源(url)硬编码在xml文件中，已经实现过。 二种...
-
编辑 删除
Call From localhost.localdomain/127.0.0.1 to localhost:40984
hadoop2.2 ：错误原因：datanode 主机名设置的不对解决：hadoop dfsadmin -report 先查看datanode状态和主机名在datanode修改hostname/etc/sysconfig/network然后重启/etc/rc.d/init.d/network restart 再次执行 OK
-
编辑 删除
Hadoop2.2.0安装配置手册！完全分布式Hadoop集群搭建过程
历时一周多，终于搭建好最新版本hadoop2.2集群，期间遇到各种问题，作为菜鸟真心被各种折磨，不过当wordcount给出结果的那一刻，兴奋的不得了~~（文当中若有错误之处或疑问欢迎指正，互相学习）PS：转载请注明来源：http://blog.csdn.net/licongcong_0224/article/details/12972889另外：欢迎配置过程中遇到问题...
-
编辑 删除
Hadoop的fsck工具
HDFS支持fsck命令用以检查各种不一致。fsck用以报告各种文件问题，如block丢失或缺少block等。fack命令用法如下：bin/hadoop fsck [-move | -delete | -openforwrite] [-files [-blocks [-locations | -racks]]]<path> 检查的起始目录-move &...
-
编辑 删除
MapReduce 大量小文件
我们知道Map的数量一般是由分片数量决定的，而当输入为大量的小文件时，可能就会产生大量的Map任务，并且每个Map任务的任务量都很小。所以，我们需要将多个小文件交由一个Map 任务来处理，开始想自己写一套InputFormat、RecordReader、FileSplit。后来得知其实Hadoop早已为我们提供了CombineFileInputFormat和CombineFil...
-
编辑 删除
巅峰对决：Hypertable(C++)吞吐率测试完胜HBase(Java)
导读：众所周知，2006年Google公布了自己的BigTable论文，作为Google继GFS和MapReduce两项创新之后的又一项创新，其在设计用来针对海量数据处理情形下的管理结构型数据方面具有着巨大的技术优势。而Hypertable和HBase是最知名的两款基于BigTable为蓝本设计的数据库，他们的不同之处在于Hypertable基于C++实现，而HBase则...
-
编辑 删除
Flume监听Nginx日志流向HDFS安装配置
一、Flume介绍Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。设计目标：(1) 可靠性当节点出现故障时，日志能够被传送到其他节点上而不会丢失。Flume提供了三种级别...
-
编辑 删除
理解FlumeNG的batchSize和transactionCapacity参数和传输事务的原理
很久没接触flume了，刚掀开官网一看，发现flume已然不是以前的那个flume了，其实早在flume技术群就听到NG这个字眼，以前没特注意，今天做了些对比，发现flume确实有了投胎换骨般的改变。首先介绍下Flume OG & Flume NG这两个概念Flume OG:Flume original generation 即Flume 0.9.x版本Flume NG:Flume next g...
-
编辑 删除
大数据时代的数据分析与数据挖掘 -- 基于Hadoop实现
Mahout12.1 简介Mahout为推荐引擎提供了一些可扩展的机器学习领域的经典算法实现,可以使开发人员更为快捷的创建智能应用程序。12.2 安装12.2.1 要求Hadoop集群已经正常启动12.2.2 配置这里选用0.7版本...
-
编辑 删除
MapReduce：抽样（Sampling）
抽样（Sampling）用基于MapReduce的程序来处理TB级的数据集，要花费的时间可能是数以小时计。仅仅是优化代码是很难达到良好的效果。在开发和调试代码的时候，没有必要处理整个数据集。但如果在这种情况下要保证数据集能够被正确地处理，就需要用到抽样了。抽样是统计学中的一个方法。它通过一定的过程从整个数...
-
编辑 删除
Hadoop 使用Combiner提高Map/Reduce程序效率
众所周知，Hadoop框架使用Mapper将数据处理成一个<key,value>键值对，再网络节点间对其进行整理(shuffle)，然后使用Reducer处理数据并进行最终输出。 在上述过程中，我们看到至少两个性能瓶颈：如果我们有10亿个数据，Mapper会生成10亿个键值对在网络间进行传输，但如果我们只是对数据求最大...
-
编辑 删除
linux下面tomcat域名配置
一、貌似多域名配置1：将默认的8080端口改成80，因为80是默认的网页端口。<Connector port="8080" protocol="HTTP/1.1" connectionTimeout="20000" redirectPort="8443" URIEncoding="UTF-8"/>2：复制下面的内容，到/conf/server.xml下面。<Host name="配置的域名" appBase="/home/...
