ITPub博客

首页 > IT职业 > IT生活 > Spark 错误记录

Spark 错误记录

IT生活 作者:eagleajy 时间:2021-09-09 10:00:47 0 删除 编辑
  1. scheduler.LiveListenerBus: Listener SQLListener threw an exception
    java.lang.NullPointerException

图片描述

image.png

在这个报错中没有显示自己编写代码的问题,一开始度娘了很久都没结果,一样的代码在其他地方能执行,在这里就执行不了。
由于我的每个任务都有不同的执行参数,所以每个参数都写在一个文件里面直接拷贝。这次出问题就出在

图片描述

image.png


--num-executors 16
--executor-cores 8
--executor-memory 16G


图片描述

image.png


--executor-memory 16G 这个参数漏了
贼低级错  但是很难排查出来



作者:利伊奥克儿
链接:https://www.jianshu.com/p/9f6de79c97c9


来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/2718/viewspace-2815158/ ,如需转载,请注明出处,否则将追究法律责任。

上一篇: 实用小工具集
下一篇: java基础02
请登录后发表评论 登录
全部评论

注册时间:2019-08-16

  • 博文量
    74
  • 访问量
    650