工作机制
- Copy阶段：ReduceTask从各个MapTask远程拷贝数据，超过阈值的数据写入磁盘，其余放入内存。
- Sort阶段：ReduceTask在拷贝数据时启动后台线程合并内存和磁盘文件，防止过多使用。为聚集key相同的数据，ReduceTask对所有数据进行一次归并排序。
- Reduce阶段：reduce()函数将计算结果写入HDFS。
来自 “ ITPUB博客 ” ，链接：https://blog.itpub.net/70024433/viewspace-2986835/ ，如需转载，请注明出处，否则将追究法律责任。
上一篇：
Hadoop maptask 工作机制
下一篇：
Flink CDC Mysql 启动模式
请登录后发表评论
登录
全部评论
