Intellij IDEA 开发Saprk程序 —— 04. 将程序提
一. 提交前的准备：完善代码
程序在本机调试成功之后，就要将其提交到Spark集群中运行。在提交之前，对代码进行简单的修改，以便提交时修改运行参数。
二. 提交前的准备：生成JAR包
1.点击选择菜单栏FileProject StructureArtifacts，打开“Project Sructure”窗口。
2.点击“+”“JAR”“From modules with dependecies…”，打开“Create JAR from Modules”窗口。
3.点击“Main Class”右侧的“…”按钮，弹出“Select Main Class”窗口。双击列表中你要选择的Class，返回“Create JAR from Modules”窗口。
4.点击“OK”，返回“Project Sructure”窗口。
5.修改“Name”为您要的名称，点击“Apply”生效，点击“OK”，完成创建。
6.点击菜单栏“Build”“Build Artifacts…”,弹出“Build Artifact”菜单，选择“Build”Action，即可生成JAR包。
三. 提交JAR包到Spark集群运行
1.通过WinSCP工具将JAR包上传至Spark集群的master服务器（Linux系统）。
2.打开SSH工具，运行【su - hadoop】命令，切换到hadoop用户模式下
3.向Spark集群提交任务，运行命令：
【
spark-submit
--class SSTest.CountStat ——入口
--total-executor-cores 40 ——给任务分配40个core
/home/hadoop/JodieTest/SSTest.jar ——运行JAR包所在目录
3 spark://Master.Hadoop:7077 hdfs:///logs ——程序中定义的3个运行参数
>./JodieTest/SSTest.txt 2>&1 & ——运行日志保存到hadoop用户目录下的SSTest.txt
】
来自 “ ITPUB博客 ” ，链接：https://blog.itpub.net/1528/viewspace-2814044/ ，如需转载，请注明出处，否则将追究法律责任。
