-
Titan-hadoop 分布式图计算框架
环境： Centos 5.7, titan-0.5.0-hadoop2titan-hadoop是一款支持在hadoop上做分布式图计算的框架， 它的前身是faunus，是图分析引擎，后来归并到titan项目上。 可以在http://s3.thinkaurelius.com/downloads/titan/titan-0.5.0-hadoop2.zip下载安装文件。 具体使用请参考 http://s3.thinkaurelius.com...
-
搭建Hadoop的Eclipse开发环境
经过一些列繁琐的配置后，hadoop集群终于可以跑起来了，wordcount例子也能正确运行，好了，我们可以进行Map-Reduce开发了。作为一个java程序员，最简单的做法是：把在eclipse中写好的mapreduce程序打成jar包，上传至hadoop集群上，然后启动mapreduce任务。可是我们不是大师，谁也不能保证自己写的代码一次就能正确，我们需...
-
sqoop的插件oraoop
环境: Centos 5.7, CDH 4.3, sqoop 1.6从http://downloads.cloudera.com/connectors/oraoop-1.6.0-cdh4.tgz 下载oraoop，解压生成[oracle@xxx ~]$ ls oraoop-1.6.0bin conf docs install.sh version.txt设置环境参数vi ~/.bash_profileexport SQOOP_CONF_DIR=/etc/sqoop/confexport...
-
Michael kors handbags such items
Michael kors handbags
-
log4j:ERROR Could not instantiate class [...log.metrics.EventCounter].
Hive 报下面的错： 我的 Hive 版本是 hive-0.9.0.tar.gz[root@hadoop lib]# hivelog4j:ERROR Could not instantiate class [org.apache.hadoop.log.metrics.EventCounter].java.lang.ClassNotFoundException: org.apache.hadoop.log.metrics.EventCounter at java.net.URLCl...
-
Hadoop 视频教程（ITPUB Tiger Fish）
hadoop01a_Hadoop的源起与体系介绍 hadoop01b_Hadoop的源起与体系介绍hadoop01c_Hadoop的源起与体系介绍 hadoop01c_Hadoop的源起与体系介绍 hadoop01c_Hadoop的源起与体系介绍 hadoop02a_实施Hadoop集群hadoop02b_实施Hadoop集群hadoop02c_实施Hadoo...
-
Storm DRPC 使用
欢迎转载,请注明出处:http://blog.csdn.net/jmppok/article/details/168393631. DRPC介绍Storm是一个分布式实时处理框架,它支持以DRPC方式调用.可以理解为Storm是一个集群,DRPC提供了集群中处理功能的访问接口.其实即使不通过DRPC，而是通过在Topoloye中的spout中建立一个TCP/HTTP监听来接收数据，在最后...
-
Hive安装（本地独立模式，MySql为元数据库）
部署环境：系统Red hat linux 6.4Hadoop版本1.2.1Hive版本0.11.0Mysql数据库版本5.6.15...
-
大数据时代的数据价值_hadoop视频教程精品推荐
大数据时代的数据价值随着大数据时代的数据价值大数据在各个领域的深入应用，大数据本身存在的价值也正在凸显， 研究人员与商业用户等分析大数据，是为了洞察客户的真正需求。数据有价值，公司离不开数据，但是大数据时代的数据价值究竟有多值钱呢？分析大数据并从中获取价值的成本到底有需要多少呢？在过去...
-
storm 启动异常 Error when processing event
因为电脑断电，没有正常退出storm引起的错误。2013-06-13 14:11:29 event [ERROR] Error when processing eventjava.lang.RuntimeException: java.io.EOFException at backtype.storm.utils.Utils.deserialize(Utils.java:68) at backtype.storm.ut...
-
storm0.9.0.1分布式安装
1.安装zk2.安装python（一般linux自带无须安装）3.安装zeromq# wget http://download.zeromq.org/historic/zeromq-2.1.7.tar.gz# tar zxf zeromq-2.1.7.tar.gz# cd zeromq-2.1.7# ./configure# make# sudo make install＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊如果报错configure: error: in ...
-
storm 入门原理介绍
1.hadoop有master与slave，Storm与之对应的节点是什么？2.Storm控制节点上面运行一个后台程序被称之为什么？3.Supervisor的作用是什么？4.Topology与Worker之间的关系是什么？5.Nimbus和Supervisor之间的所有协调工作有master来完成，还是Zookeeper集群完成？6.storm稳定的原因是什么？7.如何运行Topology？strom ja...
-
利用Accumulo的访问控制保护
Apache Accumulo是一个稀疏的、分布式的、有序的以及多维度的键/值存储，提供单元格级别的细粒度访问控制属性。它于2008年由NSA开发，基于Google BigTable的设计，于2011年发布到Apache开源社区，并且现在是顶级Apache项目。它是构建在Hadoop和Zookeeper之上的、高度可扩展的NoSQL数据库。开发它的部分原因是为了解决大数...
-
Hdfs的ACL测试
Hadoop从2.4.0版本开始支持hdfs的ACL，在CDH5.0当中也集成了该特性，下面对其进行一些测试：unnamed user (file owner)文件的拥有者unnamed group (file group)文件的所属组named user除了文件的拥有者和拥有组之外，...
-
hbase权威指南阅读随手笔记二之过滤器
base过滤器的比较操作符：LESS <LESS_OR_EQUAL <=EQUAL =NOT_EQUAL <>GREATER_OR_EQUAL >=GREATER >NO_OP no operation比较器：BinaryComparator 按字节索引顺序比较指定字节数组，采用Bytes.compareTo(byte[])BinaryPrefixComparator 跟前面相同，只是比较...
-
sbm lead the to new areas of sand making machine
The material is vertically fell to the impeller with the high speed rotation from the upper, and then combines with another part under the effect of centrifugal force with a high speed
-
Hadoop web监控界面设置安全机制
Hadoop集群配置完成，web监控界面的50070和50030端口不需用户验证即可访问，对生产环境是不容许的，需要加上安全机制。实验环境：OS：Centos 6.5 x64 & Soft：Hadoop 1.2.11、修改core-site.xml，增加如下内容，配置完成后拷贝到其他节点上。 hadoop.http.filter.initializers ...
-
hadoop Kerberos过程
Kerberos协议分为两个部分：1 . Client向KDC发送自己的身份信息，KDC从Ticket Granting Service得到TGT(ticket-granting ticket)， 并用协议开始前Client与KDC之间的密钥将TGT加密回复给Client。此时只有真正的Client才能利用它与KDC之间的密钥将加密后的TGT解密，从而获得TGT。（此过程避免了Client直接向KD...
-
mapreduce 编程SequenceFile类的使用
原：http://blog.csdn.net/zyj8170/article/details/7178371 1.对于某些应用而言，需要特殊的数据结构来存储自己的数据。对于基于MapReduce的数据处理，将每个二进制数据的大对象融入自己的文件中并不能实现很高的可扩展性，针对上述情况，Hadoop开发了一组更高层次的容器SequenceFile。 ...
-
安装Hadoop
JDK的安装：从Oracle官网下载，并且解压后即可。同时，需要配置环境变量。[root@fiona src]# nohup wget http://download.oracle.com/otn-pub/java/jdk/8u20-b26/jdk-8u20-linux-x64.tar.gz?AuthParam=1408785115_d5fd96ef9f02d68b433806110a2ff994 & //放到后...
