-
Hadoop：The Definitive Guid 总结 Chapter 7 MapReduce的类型与格式
MapReduce数据处理模型非常简单：map和reduce函数的输入和输出是键/值对(key/value pair) 1.MapReduce的类型Hadoop的MapReduce一般遵循如下常规格式：map(K1, V1) –> list (K2, V2) combine(K2, li...
-
Hadoop：The Definitive Guid 总结 Chapter 6 MapReduce的工作原理（R1）
1.剖析MapReduce作业运行机制1).经典MapReduce--MapReduce1.0整个过程有有4个独立的实体客户端：提交MapReduceJobTracker：协调作业的运行TaskTracker：运行作业划分后的任务HDFS：用来在其他实体之间共享作业文件以下为运行整体图A.作业的提交JobClient的runJob...
-
Hadoop：The Definitive Guid 总结 Chapter 1~2 初识Hadoop、MapReduce
1.数据存储与分析问题：当磁盘的存储量随着时间的推移越来越大的时候，对磁盘上的数据的读取速度却没有多大的增长从多个磁盘上进行并行读写操作是可行的，但是存在以下几个方面的问题：1).第一个问题是硬件错误。使用的硬件越多出错的几率就越大。一种常用的解决方式是数据冗余，保留多分拷贝，即使一份数据...
-
关键词：车联网、云计算、大数据、北斗导航、智能家居、智慧城市、开芯猫商城
开芯猫商城 物联网是时下最火热的概念之一，我们从谷歌花32亿美元的天价收购了生产智能恒温器和烟雾报警器的智能家居初创企业Nest就可以感受一二。2014年，物联网的浪潮正席卷着整个电子产业链，在楼宇自动化、物流产业、医疗健康、工业自动化、智能电网、智慧城市、智能安防、智能家居等领域都有典型的应用，无处不在的物联网正悄然改变我们的生活。 如果说2013年的物联网在喧嚣中前行，那么2014年的物联网则是伴随着希望前行，而且曙光渐现。我们需要注意的几个重要关键词包括：车联网、云计算、大数据、北斗导航、智能家居
-
SAS将提供基于Hadoop的开创性大数据分析技术
SAS将提供基于Hadoop的开创性大数据分析技术 全球领先的商业分析软件与服务供应商SAS公司正在开发一种基于SAS内存分析技术，并适用于开源框架Hadoop的交互式分析编程环境。新软件通过更快地挖掘大数据获取更精确商业洞察，帮助企业提升盈利、降低风险、增进对客户的了解以及创造更多商业成功的机会。 SAS®In-MemoryStatisticsforHadoop能够让多用户同时并交互地管理、挖掘和分析数据，建立和比对模型，以及对Hadoop框架内的海量数据进行评分。Hadoop开源框架被广泛认为是大数据
-
学习hadoop 有感
3月4日国内第一部hadoop2视频发布者亲授：hadoop精华之MapReduce免费公开课第四季 http://bbs.superwu.cn/forum.php?mod=viewthread&tid=2&page=1&extra=#pid2
-
巧用百度云盘1秒下载门户视频网站大视频
我不得不说百度云盘的下载速度是秒下。无论多大都是秒下啊。有时候看到好的视频想保存怎么办，太大，或是没地方没时间。现在教你秒下，只需一秒。 工具/原料 百度云盘帐号一个 视频解析器一个，满大街都是，随便找一个就行 方法/步骤 1 百度云盘支持各种下载，但有个要求，必须是视频的真实存放地址连接。一般视频网站}f出的只是一个加工后的连接。要通过视频解析器解析一下，随便找一个，在视频右键一解析，立刻就能看到真实地址了。我们把这个连
-
提高MYSQL大数据量查询的速度
1.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。 2.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如：select id from t where num is null可以在num上设置默认值0，确保表中num列没有null值，然后这样查询：select id from t where num=0 3.应尽量避免在 where 子句中使用!=或<>操作符，否则引擎将放弃使用索引而进行全表扫描。 4.应尽量避免在 where 子句中使用or 来连接条件，否则将导致引擎放弃使
-
[初学hadoop]eclipse下运行wordcount程序
http://blog.csdn.net/napoleongjc/article/details/8741125[转] 在tmp下新建文本test.txt 复制到dfs下面 bin/hadoop dfs -copyFromLocal /tmp/test.txt input ecplise新建MapReduce工程，将hadoop 安装目录下/src/example/org/apache/hadoop/example/WordCount.java 代码复制到 项目src下 右键 run as-->run configurations->java applications 选择wordcount -->arguments 在program arguments:填入 hdfs://localhost:9000/user/hadoop/input hdf
-
开卷有益PDF教程
对于一些喜欢在手机上阅读杂志、人生传记的朋友来说，拥有一款不错的PDF阅读器，起着至关重要的作用。下面小编就介绍一下自己常常使用的pdf阅读器：开卷有益。 工具/原料 开卷有益 方法/步骤 1 开卷有益本身是一个小说阅读软件，不能直接打开pdf文件，但是通过插件可以实现这个功能。下载安装请百度搜索开卷有益。 2 打开开卷有益之后，是不能直接打开pdf文件的。需要到插件中心，下载安装pdf插件。点击上方的设置，进入插件中心，如图所示
-
Hadoop集群配置短记
2014-2-23 日配置一台master5个datanode的hadoop集群，遇到以下几个问题 1.按照教程配置ssh无密钥登录时，配置好之后仍需要输入密码，重做几次仍然如此。 问题出现在CentOs的selinux的安全机制，关掉selinux的安全机制即可 vi /etc/selinux/config SELINUX=disabled #SELINUXTYPE=targeted 保存之后setenforce 0 2.按照教程配置hadoop之后，复制到datanode节点之后，启动hadoop发现只有master启动了，其他没有启动，检查配置文件无误之后，在datanode节点的日志发现无路由可达master，无法返回应该信息，导致datanode节点起不来。 关
-
[初学hadoop]wordcount命令运行没有输出(datanode进程没有启动)
查看进程发现datanode进程没有启动 查看日志 DataNode和NameNode 的ID不一致 解决方案：删除home/haddop/tmp 文件夹 重新启动进程 进程： TaskTracker JobTracker NameNode DataNode SecondaryNameNode Jps 新建一个文件test.txt bin/hadoop -copyFromLocal ../test.txt(..为该文件的目录) input output , 运行命令则自动会创建一个input文件夹/uer/root/input bin/hadoop hadoop-examples-1.0.3.jar wordcount input output 运行命令，统计词频,其中 input和out
-
FMEA的理解与实际应用
我们知道FMEA主要应用在一些比较高风险的工程项目上，如汽车行业，航空航天行业，它是整个项目启动前的一种防患于未然的手段。通过头脑风暴、集思广益，对可能存在的风险进行评估、分析,以便在现有技术水平上降低这些风险到安全可接受的水平。 然而，我在实际的工作中发现，填写FMEA表十分痛苦（领导说每周都得至少提交一条FMEA，绞尽脑汁也出不来啊，这FMEA非但不能很好的服务于我，反而成为我的负担），对表里的每一项理解的不够清楚，如同一种失效模式存在多种原因，并且有直接原
-
sqoop的安装
sqoop的安装 sqoop是让hadoop技术支持的clouder公司开发的一个在关系数据库和hdfs,hive之间数据导入导出的一个工具 sqoop-1.2.0-CDH3B4依赖hadoop-core-0.20.2-CDH3B4.jar，所以你需要下载hadoop-0.20.2-CDH3B4.tar.gz，解压缩后将hadoop-0.20.2-CDH3B4/hadoop-core-0.20.2-CDH3B4.jar复制到sqoop-1.2.0-CDH3B4/lib中。我们只需要hadoop-core-0.20.2-CDH3B4.jar，hadoop的环境我们还可以使用Apache的开源hadoop。 下面是CDH3和SQOOP 1.2.0的下载地址 http://archive.cloudera.com/cdh/3/hadoop-0.20.2-CDH3B4.tar.gz http://arch
-
[Hadoop] Sqoop安装过程详解
Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。 Sqoop官方版本：http://apache.dataguru.cn/sqoop/1.4.2/ Sqoop CDH版本：http://archive.cloudera.com/cdh/3/sqoop-1.2.0-CDH3B4.tar.gz Hadoop CDH版本：http://archive.cloudera.com/cdh/3/hadoop-0.20.2-CDH3B4.tar.gz 之前已经安装Hadoop-0.20.2，因sqoop官方版本不支持此版本，但可使用CDH3版本，如上面的下载链
-
【309】#招聘数据分析师# 唯品会 广州 面议；
数据分析师 (招聘2人) 待遇面议,工作地点广州. 工作职责： 1）了解公司各部门业务，熟悉各系统架构，快速掌握底层数据逻辑与变化，并保证其准确性与口径一致性； 2）洞察管理层和业务部门需求，通过分析/挖掘方法发现业务改善点，提升公司运营效率。 能力要求： 1）有较强的逻辑思维能力与独立思考能力，能快速完成分析课题与报告展示； 2）有较强的自主学习能力，乐于接受新鲜事物，能不断适应变化； 3）熟练使用一种或以上分析或挖掘工具（如SQL/R/SAS）。有Greenplum、hive使用经验者优先； 4）熟悉一种或以上业务系统（如B2C/WM
-
看图让你轻松配置Tomcat环境
这次笔者分享一下配置Tomcat环境的方法，以图片为主，文字为辅。 工具/原料 Tomcat 1.6 win 7/8 方法/步骤 1 开始配置环境变量，依次按照图片在桌面我的电脑--〉属性--〉高级系统设置--〉然后找到环境变量，点击进入下一步。 2 环境变量配置如下图：依次按照图片所示新建CATALINA_HOME和TOMCAT_HOME两个变量，然后找到你安装的Tomcat的路径，将该路径作为上面两个变量的变量值。
-
产品经理，模型，ETL，JAVA,可视化工程师招聘
产品经理-数据产品方向 职位描述： 1、负责数据产品的市场调研、产品定位、规划意义、需求分析、及产品易用性； 2、负责编写产品需求文档、UE原型等产品策划管理工作； 3、负责相关产品开发项目周期和进度把控，确保对产品开发至最终上线运营； 4、负责跨部门协调与沟通，推动UI、开发、测试等人员紧密合作达成产品目标； 5、对数据要有较高敏感度，善于分析数据，通过对数据指标的解读，不断优化产品，提升产品质量； 任职资格： 1、3年以上互联网产品经理工作经验，经历过完整的产品生命周期； 2、熟悉产品的设计理念及方法，对用户
-
App Annie 2013年度报告
在最近 App Annie 发布了 2013 年年度报告，对 iOS 和 Google Play 应用市场做了细致总结，我们对报告做了部分整理，相信会给应用开发者带来价值：包括中国在内的金砖四国（BRIC：巴西、俄罗斯、印度、中国）， 游戏大观 | GameLook.com.cn
-
flume使用入门
一. flume是什么 flume是apache的一个数据收集框架。定义了一个数据流的模型。 二. 设计核心思想 对日志收集的三个核心要素进行了抽象： 1. Source：日志从哪里产生 2. Sink：日志会被推送到什么地方 3. Channel：Source通过什么样的渠道，送到Sink # 可以把Channel理解为一个queue，Source adds the events and Sink removes it. 三. flume的价值 1 得益于设计上的抽象，使得要素隔离得很清晰。使用上变得非常灵活。我们可以根据实际需要，对于这三个核心要素，选择合适的具体实现，完成我们工作场景下，日志收集的目的！ ap
