首页 > 大数据 > > Spark Client启动原理探索
在整体的流程图上是这样的:

大体的思路就是应用程序通过SparkSubmit提交程序后,自动在当前的JVM中启动Driver,然后与Master通信创建Excutor执行相应的任务。
自己整理了下流程图

以及的组件图:

可以看到大概是下面的步骤:
val (sched, ts) = SparkContext.createTaskScheduler(this, master, deployMode)
_schedulerBackend = sched
_taskScheduler = ts
...
_taskScheduler.start()CoarseGrainedSchedulerBackend的start方法override def start() {
super.start()
...
client = new StandaloneAppClient(sc.env.rpcEnv, masters, appDesc, this, conf)
client.start()
}DriverEndpoint和ClientEndpoint都会跟Master进行通信,接下来的处理就是编译驱动程序的代码,发送给excutor进行相应的处理。
《大数据成神之路》大纲
大数据成神之路
《几百TJava和大数据资源下载》
资源下载来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/31509949/viewspace-3147911/ ,如需转载,请注明出处,否则将追究法律责任。