ITPub博客

首页 > 大数据 > 数据分析 > 从Hadoop开始的大数据之旅 - 75

从Hadoop开始的大数据之旅 - 75

原创 数据分析 作者:leniz 时间:2016-12-14 23:59:14 1 删除 编辑
非常忐忑,又不免憧憬即将到来的挑战。
这几天从基本的架构开始看起,比如什么是HDFS,MapReduce以及延伸出来的的HBase,Hive,PIG,或者是
更新换代的Yarn事务管理,Spark 生态圈等等。 

Cgywin安装单机模式一直无法定位namenode,所以直接用window 7搭建,然后通过命令行导入导出文件,做了一个简单的
体验,在跑出Word Count的那一刻还是充满喜悦和兴奋地。

这些都这是纯技术的体验,后面看了一些企业的实际架构,感觉还是没谱,因为没有体验的阅读难免肤浅,所以
后面的两本经典书籍必须的加紧看。 只有实践才能让自己更进一步。

此时心中也有很多疑问,比如文件的切割是否会破坏完整性,或者说怎么保持完整性,否则分布式处理在非完整数据块下,如何实现呢?

真正的企业实现,必然是Hadoop和OLAP再加BI前端的混合搭建,那么她们会是如何成型。 一堆疑问待征服。 


Yahoo 的Hadoop机房何其壮观

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/554557/viewspace-2130622/,如需转载,请注明出处,否则将追究法律责任。

下一篇: 好风凭借力 - 74
请登录后发表评论 登录
全部评论

注册时间:2008-05-31

  • 博文量
    448
  • 访问量
    1088876