list 集合去重
MapReduce
MapReduce是为能够在集群上分布式处理海量数据而量身订做的框架，MapReduce job可以分为三次连续过程。
Map 将输入数据划分为key-value集合
Shuffle 将Map产生的结果传输给Reduce
Reduce 则对接收到的key-value进一步处理
HDFS是Hadoop中经典的文件系统，但是Hadoop并不仅仅支持HDFS，它还支持其他的文件系统，比如Local file system, FTP, AWS S3, Azure’s file system, 和OpenStack’s Swift，这些文件系统可以在使用时根据不同URI进行区分。比如：
file: for the local file system
a loser.
————————————————
推荐阅读：
https://blog.csdn.net/m0_67391270/article/details/123738879
https://blog.csdn.net/wdj_yyds/article/details/123847206
来自 “ ITPUB博客 ” ，链接：https://blog.itpub.net/69949806/viewspace-2906849/ ，如需转载，请注明出处，否则将追究法律责任。
上一篇：
复杂SQL构造数据：
下一篇：
SQL groupby sum 用法
请登录后发表评论
登录
全部评论
