Spark RDD是被分区的，在生成RDD时候，一般可以指定分区的数量，如果不指定分区数量，当RDD从集合创建时候，则默认为该程序所分配到的资源的CPU核数，如果是从HDFS文件创建，默认为文件的Block数。
具体看例子：
//创建一个RDD，默认分区15个，因为我的spark-shell指定了一共使用15个CPU资源//–total-executor-cores 15
//统计rdd1每个分区中元素数量
//统计rdd1每个分区中有哪些元素
//从HDFS文件创建的RDD，包含65个分区，因为该文件由65个Block
//rdd2每个分区的元素数量
作者：ZyZhu
链接：https://www.jianshu.com/p/48d99cbfb824
来自 “ ITPUB博客 ” ，链接：https://blog.itpub.net/854/viewspace-2819008/ ，如需转载，请注明出处，否则将追究法律责任。
上一篇：
Atom使用指南
下一篇：
慕课网每周干货福利礼包（第十五棒）
请登录后发表评论
登录
全部评论
