-
漫谈Hadoop HDFS Balancer
Hadoop的HDFS集群非常容易出现机器与机器之间磁盘利用率不平衡的情况，比如集群中添加新的数据节点。当HDFS出现不平衡状况的时候，将引发很多问题，比如MR程序无法很好地利用本地计算的优势，机器之间无法达到更好的网络带宽使用率，机器磁盘无法利用等等。可见，保证HDFS中的数据平衡是非常重要的。在Hadoop中，包含...
-
hadoop实验1 URLCat
hadoop权威指南3.1 实验JAVA代码import org.apache.hadoop.fs.FsUrlStreamHandlerFactory;import org.apache.hadoop.io.IOUtils;import java.io.InputStream;import java.net.URL;public class URLCat {static {URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());}public static void ma...
-
hadoop 2.8.5完全分布式环境搭建
zookeeper集群文档:https://zookeeper.apache.org/doc/r3.4.13/zookeeperAdmin.htmlnamenode HA文档:https://hadoop.apache.org/docs/r2.8.5/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html1.下载zookee
-
Hive学习
Hive学习
-
Hbase学习
Hbase学习
-
Hadoop——MapReduce学习
hadoop——MarReduce学习
-
Hadoop——HDFS学习
hadoop——hdfs学习
-
hadoop和关系型数据库系统比较
Hadoop提供了一个稳定的共享存储和分析系统，存储由HDFS实现，分析由MapReduce实现。针对每个查询，每个数据库集（至少是很大一部分）都会被处理。为什么不通过使用数据库加上更多磁盘来做大规模批量分析？为什么我们还需要MapReduce？1、磁盘驱动器寻址时间的速度远远慢于传输速率的提高速度，寻址就是将磁头移动到特...
-
mapreduce '找共同朋友'，面试题
mapred找共同朋友，数据格式如下： A B C D E F B A C D E C A B E D A B E E A B C D F A 第一字母表示本人，其他是他的朋友，找出有共同朋友的人，和共同朋友是谁 答案如下： 点击(此处)折叠或打开import java.io.IOException;import java.util....
-
spark检索hdfs记录
spark hdfs file.count
-
Hive随手记——建库
HiveSQL 是 Hive查询语言。和普遍使用的SQL很类似。（与Mysql 最接近）Hive不支持行级插入操作、更新操作和删除操作。Hive不支持事物。HiveSQL可以用于创建、修改、删除数据库、表、视图、函数和索引。一.创建数据库 Hive中数据库的概念本质上仅仅是表的一个目录或者命名空间。1.可以使用 SHOW DA...
-
金黄色的购房计划死的感觉很反感金士顿官方将会更加受到过
http://www.gogoqq.com/ASPX/1990411235/JournalContent/1423299349.aspxhttp://www.gogoqq.com/ASPX/1990411235/JournalContent/1423299236.aspxhttp://www.gogoqq.com/ASPX/1990411235/JournalContent/1423299110.aspxhttp://www.gogoqq.com/ASPX/1990411235/JournalContent/1423298988.aspxhttp://www.gogoqq.com/...
-
用Hadoop构建电影推荐系统
1. 推荐系统概述电子商务网站是个性化推荐系统重要地应用的领域之一，亚马逊就是个性化推荐系统的积极应用者和推广者，亚马逊的推荐系统深入到网站的各类商品，为亚马逊带来了至少30%的销售额。不光是电商类，推荐系统无处不在。QQ，人人网的好友推荐；新浪微博的你可能感觉兴趣的人；优酷，土豆的电影推荐；豆瓣...
-
Hadoop--family(转载)
好的东西要多多分享
-
Hadoop--HDFS简介(转载)
好的东西多多分享
-
主题模型-LDA浅析
（一）LDA作用 传统判断两个文档相似性的方法是通过查看两个文档共同出现的单词的多少，如TF-IDF等，这种方法没有考虑到文字背后的语义关联，可能在两个文档共同出现的单词很少甚至没有，但两个文档是相似的。 举个例子，有两个句子分别如下：&n...
-
Phoenix：在HBase上执行SQL查询
近日，Salesforce.com开源了 Phoenix，这是一个Java中间层，可以让开发者在Apache HBase上执行SQL查询。InfoQ有幸采访到了Salesforce.com的主开发者James Taylor以了解关于Phoenix的更多信息。除了无数的SQL、NoSQL与NewSQL数据库，Salesforce.com又 宣布了 Phoenix项目，这是构建在 Apache HBase（列式大数据存...
-
LSM树由来、设计思想以及应用到HBase的索引
讲LSM树之前，需要提下三种基本的存储引擎，这样才能清楚LSM树的由来：哈希存储引擎 是哈希表的持久化实现，支持增、删、改以及随机读取操作，但不支持顺序扫描，对应的存储系统为key-value存储系统。对于key-value的插入以及查询，哈希表的复杂度都是O(1)，明显比树的操作O(n)快,如果不需要有序的遍历数据...
-
利用Mahout实现在Hadoop上运行K-Means算法
K-Means算法是基于分划分的最基本的聚类算法，是学习机器学习、数据挖掘等技术的最基本的 知识，所以掌握其运行原理是很重要的。 转载请注明出处： http://hanlaiming.freetzi.com/?p=144 一、介绍Mahout Mahout是Apache下的开源机器学习软件包，目前实现的机器学习算法主要包含有协同过滤/推荐引擎，聚类和分类三个部分。Mahout从设计开始就旨在建立可扩展的机器学习软件包，用于处理大数据机器学习的问题，当你正在研究的数据量大到不能在一台机器上运行时，就可以选
-
HIVE配置启动Hwi方法，版本0.14.0
1.下载源码包： wget http://mirror.bit.edu.cn/apache/hive/hive-0.14.0/apache-hive-0.14.0-src.tar.gz2.解压，并找到 hwi/web点击(此处)折叠或打开[zhang@namenode Downloads]$ cd apache-hive-0.14.0-src[zhang@namenode apache-hive-0.14.0-src]$ lsa...
