Glossary

The following table summarizes terms you’ll see used to refer to cluster concepts:

Term	Meaning
Application	基于Spark的用户程序 (创建了一个SparkContext ) .由一个 *driver* 进程和N个 *executor* 进程 on the cluster模式下.
Application jar	Spark包含的jar包
Driver program	一个Driver进程运行 main() 方法,创建一个SparkContext
Cluster manager	提交集群(--master local/standalone/on yarn)模式下的资源管理(提交设置code memory....)
Deploy mode	区分Driver进程在什么地方cluster or client, 主要区别是Driver在本地还是集群的Container里
Worker node	运行Spark代码的应用程序的节点(standalone模式概念),在(on yarn)模式下是NodeManager
Executor	一个Executor进程,运行在Container里,能够运行我们Task,保存数据到内存里或者磁盘上，每一个应用程序有自己独立的Executor
Task	最小的工作单元,Driver发送代码到Executor然后Task执行
Job	每一个Action就会产生job(map,conllect)
Stage	每个Job被拆成Task集合,遇到shuffle会stage+1

ITPub博客