ITPub博客

首页 > 大数据 > Hadoop > Flink提交Job的方式以及参数设置

Flink提交Job的方式以及参数设置

原创 Hadoop 作者:元亨利贞 时间:2023-09-28 16:01:24 0 删除 编辑

参数介绍

./bin/flink run -t yarn-session \
  -Dyarn.application.id=application_XXXX_YY \
  ./examples/streaming/TopSpeedWindowing.jar
  
  
 ./bin/flink run -t yarn-per-job 
  --detached ./examples/streaming/TopSpeedWindowing.jar
  
  
 ./bin/flink run-application -t yarn-application 
 ./examples/streaming/TopSpeedWindowing.jar
 
 
yn(实际) = Math.ceil(p/ys)
ys(总共) = yn(实际) * ys(指定)
ys(使用) = p(指定)
flink run 
-c,--class Flink应用程序的入口
-C,--classpath 指定所有节点都可以访问到的url,可用于多个应用程序都需要的工具类加载
-d,--detached 是否使用分离模式,就是提交任务,cli是否退出,加了-d参数,cli会退出
-n,--allowNonRestoredState 允许跳过无法还原的savepoint。比如删除了代码中的部分operator
-p,--parallelism 执行并行度
-s,--fromSavepoint 从savepoint恢复任务
-sae,--shutdownOnAttachedExit 以attached模式提交,客户端退出的时候关闭集群
flink yarn-cluster 模式
-d,--detached 是否使用分离模式
-m,--jobmanager 指定提交的jobmanager
-yat,--yarnapplicationType 设置yarn应用的类型
-yD 使用给定属性的值
-yd,--yarndetached 使用yarn分离模式
-yh,--yarnhelp yarn session的帮助
-yid,--yarnapplicationId 挂到正在运行的yarnsession上
-yj,--yarnjar Flink jar文件的路径
-yjm,--yarnjobManagerMemory jobmanager的内存(单位M)
-ynl,--yarnnodeLabel 指定 YARN 应用程序 YARN 节点标签
-ynm,--yarnname 自定义yarn应用名称
-yq,--yarnquery 显示yarn的可用资源
-yqu,--yarnqueue 指定yarn队列
-ys,--yarnslots 指定每个taskmanager的slots数
-yt,--yarnship 在指定目录中传输文件
-ytm,--yarntaskManagerMemory 每个taskmanager的内存
-yz,--yarnzookeeperNamespace 用来创建ha的zk子路径的命名空间
-z,--zookeeperNamespace 用来创建ha的zk子路径的命名空间


来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/70024433/viewspace-2986669/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2022-11-21

  • 博文量
    383
  • 访问量
    247981