### 欢迎访问我的GitHub
> 这里分类和汇总了欣宸的全部原创(含配套源码)：[https://github.com/zq2599/blog_demos](https://github.com/zq2599/blog_demos)

### 为什么要编译flink源码
- 用于学习，在IDEA上开发的flink job，能直接在IDEA运行，如果运行时依赖的flink框架是我们自己编译构建的，就做到了从业务到框架都可以修改源码并验证，起到了很好的学习和动手实践效果；
### 环境信息
1. 电脑：2019版13寸MacBook Pro，2.3 GHz 四核Intel Core i5，8 GB 2133 MHz LPDDR3
2. 操作系统：macOS Catalina 10.15.3
3. JDK：1.8.0_211
4. Maven：3.6.0
5. IDEA：2018.3.5 (Ultimate Edition)
### 关于正版IDEA
- 如何免费使用正版IDEA，可以参考[《免费申请和使用IntelliJ IDEA商业版License指南》](https://xinchen.blog.csdn.net/article/details/100014835)
### 全文概览
- 今天的实战由以下内容组成：
1. 开发一个最简单的flink任务，在IDEA上以local模式运行；
2. 下载flink1.9.2源码；
3. 修改flink1.9.2源码，并且编译构建；
4. 设置，让步骤1中的flink任务用上刚刚编译的flink1.9.2框架；
5. 再次运行flink任务，验证修改后的flink框架是否生效；
### IDEA上运行flink job工程
- 在IDEA上创建flink job的maven工程并运行，请参考[《IDEA上运行Flink任务》](https://blog.csdn.net/boling_cavalry/article/details/105459630)
- 假设您已按上面的步骤在IDEA建好了flink job工程；
- 运行起来，在浏览器打开flink页面，如下图，绿框中显示一共有8个Task Slot：
![在这里插入图片描述](https://img-blog.csdnimg.cn/20200411213138410.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)
- 之所以会有8个Task Slot，和下图红框中的代码有关，这是段flink框架源码(StreamExecutionEnvironment.java)，入参 **parallelism** 是CPU核数，我这里是开了超线程的四核i5处理器，所以 **parallelism** 等于8：
![在这里插入图片描述](https://img-blog.csdnimg.cn/20200411213153170.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)
- 今天的目标就是修改上图红框中的源码，然后在网页上看是不是生效了（Task Slot数量从8改成5）；
### 准备工作
- maven中央仓库地址建议用阿里云的，否则会经常遇到jar下载超时错误，地址：http://192.168.50.43:8081/repository/aliyun-proxy/
- flink1.9.2源码的maven工程依赖了一个中央仓库没有的jar，GAV是io.confluent:kafka-schema-registry-client:3.3.1，您需要下载下来在本地仓库做 **mvn install** 操作，下载地址：http://packages.confluent.io/maven/io/confluent/kafka-schema-registry-client/3.3.1/kafka-schema-registry-client-3.3.1.jar
- 上述准备工作都需要您在本地maven上操作，但是如果您的条件允许，还是强烈推荐在内网搭建maven私服nexus3，参考：[《群晖DS218+做maven私服(nexus3)》](https://blog.csdn.net/boling_cavalry/article/details/105458466)、[《Ubuntu部署和体验Nexus3》](https://xinchen.blog.csdn.net/article/details/104617262)、[《Nexus3常用功能备忘》](https://blog.csdn.net/boling_cavalry/article/details/105458882)
### 下载flink1.9.2源码
- flink1.9.2源码的下载地址：http://ftp.jaist.ac.jp/pub/apache/flink/flink-1.9.2/flink-1.9.2-src.tgz
### 修改和编译构建
- 将下载好的flink-1.9.2-src.tgz解压，得到文件夹flink-1.9.2
- 打开这个文件：flink-1.9.2/flink-streaming-java/src/main/java/org/apache/flink/streaming/api/environment/StreamExecutionEnvironment.java
- 如下图红框，找到 **createLocalEnvironment** 方法，把 **setParallelism** 的入参改成一个固定的数字(每个Task Slot都要分配内存，所以这个数字请不要改得太大，否则启动flink就会报错了，我这里改成了5)：
![在这里插入图片描述](https://img-blog.csdnimg.cn/20200411213538379.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)
- 在文件夹 **flink-1.9.2** 下，执行编译构建的命令： **mvn clean install -DskipTests -Dfast**
- 经历漫长等待后提示构建成功：
![在这里插入图片描述](https://img-blog.csdnimg.cn/20200411213606334.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)
- 确认这个文件已生成，稍后就要用到： **flink-1.9.2/flink-dist/target/flink-dist_2.11-1.9.2.jar**
### 设置
- 为了用上刚刚构建出来的flink框架jar，要做些设置，打开之前运行的flink job应用，在项目上点击右键，点击菜单 **Open Module Settings** ，如下图：
![在这里插入图片描述](https://img-blog.csdnimg.cn/2020041121364991.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)
- 接下来要做三个和jar有关的操作，注意每一步都很重要：
- 下图红框1中的flink-dist_2.11-1.9.2.jar文件，是[《IDEA上运行Flink任务》](https://blog.csdn.net/boling_cavalry/article/details/105459630)一文中添加的，目的是提供网页服务，现在将其删除，操作如下图红框所示：
![在这里插入图片描述](https://img-blog.csdnimg.cn/20200411213731427.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)
- 下图红框1中的maven依赖： **org.apache.flink:flink-streaming-java_2.11:1.9.2** ，也请删除，操作如下图红框所示：
![在这里插入图片描述](https://img-blog.csdnimg.cn/20200411213748146.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)
- 点击下图红框中的加号：
![在这里插入图片描述](https://img-blog.csdnimg.cn/20200411213810203.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)
- 在弹出的窗口选中刚才构建好的文件 **flink-1.9.2/flink-dist/target/flink-dist_2.11-1.9.2.jar** ：
![在这里插入图片描述](https://img-blog.csdnimg.cn/20200411213836267.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)
- 记得点击右下角的OK按钮保存，修改完毕，接下来验证咱们修改的flink框架源码是否生效了
### 验证
- 当前flink job工程来自[《IDEA上运行Flink任务》](https://blog.csdn.net/boling_cavalry/article/details/105459630)一文，StreamingJob的工作是读取本机18081端口的数据，所以我们要把18081端口的服务启动起来，不然StreamingJob运行时是连不上端口的，打开一个控制台，执行命令： **nc -l 18081**
- 现在可以将StreamingJob运行起来，如下图，右键点击StreamingJob，选择Run 'StreamingJob.main()'：即可启动flink任务：
![在这里插入图片描述](https://img-blog.csdnimg.cn/20200411213941485.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)
- 在IDEA的控制台搜索关键字 **localhost** ，如下图红框，可以查到flink网页的端口，我这里是 **52704** ：
![在这里插入图片描述](https://img-blog.csdnimg.cn/2020041121401032.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)
- 浏览器访问 **http://localhost:52704** ，如下图红框，Total Task Slots数量是5，我们修改的flink1.9.2的源码生效了：
![在这里插入图片描述](https://img-blog.csdnimg.cn/20200411214027562.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)
- 至此，Flink1.9.2的源码从修改到编译构建，再到验证都已经完成了，如果您也在学习flink，希望本文能给您一些参考，一起来动手实战吧；

### 欢迎关注ITpub：程序员欣宸
> [学习路上，你不孤单，欣宸原创一路相伴...](http://blog.itpub.net/70017844/)

ITPub博客

Flink1.9.2源码编译和使用

最新文章