ITPub博客

首页 > IT职业 > IT图书 > 大数据 Flink 1.8 最新版本使用

大数据 Flink 1.8 最新版本使用

IT图书 作者:greatleaf 时间:2021-09-09 10:13:04 0 删除 编辑

Flink 1.8 的快照版本已经发布,我们可以来使用一下,当然了,过程肯定还是有一些曲折的,这里已经帮大家给记录下来了,顺便给大家踩坑

图片描述

image.png

使用过程

下载

git clone https://github.com/apache/flink

编译(大概有20分钟这样)

cd flink
mvn clean package -DskipTests

编译通过版本在build-target目录中

[admin@storm1 flink]$ ls build-target
bin  conf  examples  lib  LICENSE  log  NOTICE  opt  README.txt

直接运行cluster版本是可以的

[admin@storm1 bin]$ ./start-cluster.sh
Setting HADOOP_CONF_DIR=/etc/hadoop/conf because no HADOOP_CONF_DIR was set.
Starting cluster.
Setting HADOOP_CONF_DIR=/etc/hadoop/conf because no HADOOP_CONF_DIR was set.
Setting HADOOP_CONF_DIR=/etc/hadoop/conf because no HADOOP_CONF_DIR was set.
Starting standalonesession daemon on host storm1.starsriver.cn.
Setting HADOOP_CONF_DIR=/etc/hadoop/conf because no HADOOP_CONF_DIR was set.
Setting HADOOP_CONF_DIR=/etc/hadoop/conf because no HADOOP_CONF_DIR was set.
Starting taskexecutor daemon on host storm1.starsriver.cn.

运行在yarn上,还需要做一些变动
lib中需要如下几个包 打包下载

flink-hadoop-compatibility_2.11-1.8-SNAPSHOT.jarjavax.ws.rs-api-2.0.1.jarjersey-common-2.27.jarjersey-core-1.9.jar

就可以启动yarn-session.sh了

bin/yarn-session.sh run -n 2 -tm 2048 -s 4

或者是单个yarn-job

flink run -d -m yarn-cluster  ./dataset-1.0-SNAPSHOT-all.jar -yn 2 -ytm 2048m



作者:dounine
链接:https://www.jianshu.com/p/a1ce14658244


来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/4236/viewspace-2818351/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2019-08-12

  • 博文量
    76
  • 访问量
    610