按类别查询搜索结果
关于关键词 "HADOOP" 的检测结果,共 43
leniz | 2017-04-14 00:03:27 | 阅读(0) | 评论(0)
Technorati 标签: hadoop ORIGINALLY PUBLISHED JANUARY 2012 Apache hadoop is an excellent framework for processing, storing and analyzing large volumes of unstructured data - aka Big Data. But getting a handle on all the project’s myriad components and sub-components, with names like Pig and Mahout, can be a diffi【阅读全文】
babyyellow | 2017-03-16 15:03:23 | 阅读(0) | 评论(0)
hadoop 的日志 是log4j 负责的. 但是看文档之后发现, log4j 的配置是会被覆盖掉的. 那么就要去哪里覆盖的. 找到了几个地方. hadoop-env.sh 里有关于日志级别的配置. 把info 级别改为WARN 级别. 然后hadoop-daemon.sh 里也有关于日志级别的 环境变量. 需要. 【阅读全文】
xiaoyan5686670 | 2016-09-06 22:21:26 | 阅读(0) | 评论(0)
参考了:http://www.tuicool.com/articles/qY7F3q 插件名称:hadoop2x-eclipse-plugin 插件地址:https://github.com/winghc/hadoop2x-eclipse-plugin 1.下载并解压hadoop2.x,下载地址http://hadoop.apache.org/releases.html#Download(我下载的是编译好的包) 2.下载并解压eclipse(我的是4.5.2版本【阅读全文】
xiaoyan5686670 | 2016-09-06 22:06:25 | 阅读(270) | 评论(0)
hadoop异常:An internal error occurred during: “Map/Reduce location status updater”. java.lang.NullPointerException; 原因:在new hadoop location时配置不正确,本人正确配置: DFS master : 的端口为: /opt/hadoop-2.6.2/etc/hadoop/core-site.xml <property> <name>fs.defaultFS</name> <val【阅读全文】
hackeruncle | 2016-06-26 12:35:52 | 阅读(120) | 评论(0)
在安装部署的时候,遇到了问题 Unable to load native-hadoop library 原因1:64位linux使用了32位的hadoop native本地库 [root@hadoop-001hadoop-2.4.1]# hadoop fs -ls / 14/12/09 19:43:06 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applica【阅读全文】
hackeruncle | 2016-06-26 12:29:39 | 阅读(60) | 评论(0)
1.从哪些地方可以识别hadoop是32位还是64位? 2.hadoop本地库在什么位置? hadoop在安装的时候,我们需要知道hadoop版本是32位还是64位。 hadoop官网本来提供的都是32位,因为我们大部分都是64位,所以不得不编译。后来官网从hadoop2.5版本开始就提供了64位。 为了防止我们用错,下面我们来实际操作和观察。 我们来从官网下载【阅读全文】
selyco | 2015-07-16 10:33:57 | 阅读(1020) | 评论(0)
【Hadoop】 浅谈hadoop
w194034 | 2015-07-05 17:26:49 | 阅读(780) | 评论(0)
【Hadoop】 hadoop属性注释
长河BI | 2015-06-21 12:12:39 | 阅读(900) | 评论(0)
命令行显示数据库名 hive> set hive.cli.print.current.db=true; hive (default)> 显示查询结果的列名,默认为不显示 hive> select * from page_view; OK Time taken: 0.428 seconds hive> set hive.cli.print.header=true; hive> select * from page_view; OK page_view.viewtime page_view.userid page_vi【阅读全文】
【Hadoop】 hadoop命令别名
长河BI | 2015-06-20 16:16:27 | 阅读(840) | 评论(0)
[hadoop@master /]$ alias hdfs='hadoop dfs' [hadoop@master /]$ hdfs -ls /tmp DEPRECATED: Use of this script to execute hdfs command is deprecated. Instead use the hdfs command for it. Found 4 items drwxrwxrwx - hdfs supergroup 0 2015-06-20 16:14 /tmp/.cloudera_health_monitoring_canary_files drwxr-xr-x - h【阅读全文】
【Hadoop】 hadoop属性大全
长河BI | 2015-06-20 15:05:06 | 阅读(1260) | 评论(0)
2015-06-20 14:59:17,025 WARN [main] conf.HiveConf (HiveConf.java:initialize(1488)) - DEPRECATED: Configuration property hive.metastore.local no longer has any effect. Make sure to provide a valid value for hive.metastore.uris if you are connecting to a remote metastore. "hadoop.security.kms.client.encrypted.key.cach【阅读全文】
zicheng_789 | 2015-05-31 12:24:24 | 阅读(1260) | 评论(0)
sunjinshuang | 2015-05-22 13:49:32 | 阅读(2070) | 评论(0)
lpwebnet | 2015-05-21 21:21:27 | 阅读(1290) | 评论(0)
读后感 hadoop一直是我想学习的技术,正巧最近项目组要做电子商城,我就开始研究hadoop,虽然最后鉴定hadoop不适用我们的项目,但是我会继续研究下去,技多不压身。 《hadoop基础教程》是我读的第一本hadoop书籍,当然在线只能试读第一章,不过对hadoop历史、核心技术和应用场景有了【阅读全文】
sunjinshuang | 2015-05-14 14:31:07 | 阅读(2700) | 评论(0)
1联通投诉来源于哪儿呢? hadoop伴随大数据一同火爆起来。现如今,hadoop已经无人不知无人不晓。hadoop从它一诞生的那天开始就与大数据深深地关联到了一起。众所周知,大数据多是出现在这些领域,包括金融、电信、保险以及一些大型互联网企业等。以电信行业为例,hadoop在这些领域的应用情况是怎么样的呢? 电信业hadoop应用分析 【阅读全文】
sunjinshuang | 2015-05-14 14:10:11 | 阅读(2310) | 评论(0)
选择hadoop的原因最重要的就是这三点:1,可以解决问题; 2,成本低 ; 3,成熟的生态圈。 一,hadoop帮助我们解决了什么问题 无论国内还是国外的大公司对于数据都有着无穷无尽的渴望,都会想尽一切办法收集一切数据, 因为通过信息的不对称性可以不断变现,而大量的信息是可以通过数据分析得到的。 数据的来源途径非常的多,数据的格式【阅读全文】
sunjinshuang | 2015-05-11 10:18:38 | 阅读(2670) | 评论(0)
一、电信运营商上网日志处理的现状 在移动互联网如此普及的今天,每天会产生大量的上网日志,这些上网日志由于数据量巨大,产生后只能被保留3 天,就因为存储空间等原因被丢弃。目前,电信运营商只能基于CDR(详细通话记录)为主的客户行为分析可能缺失了大量的客户行为有效信息。例如,两个通话行为相似的人可能是完全不同【阅读全文】
超人学院1 | 2015-05-08 14:47:31 | 阅读(1140) | 评论(0)
既然是RPC,自然就有客户端和服务器,当然,org.apache.hadoop.rpc 也就有了类Client 和类Server。在这里我们来仔细考 察org.apache.hadoop.rpc.Client。下面的图包含了org.apache.hadoop.rpc.Client 中的关键类和关键方法。 由于Client 可能和多个Server 通信,典型的一次HDFS 读,需要和NameNode 打交道,也需要和某个/某些DataNode 通信。【阅读全文】
sunjinshuang | 2015-05-07 16:13:58 | 阅读(2100) | 评论(0)