首页 > IT职业 > IT生活 > pycharm运行spark项目
centos
下载安装最新版本的PyCharm,官网地址: https://www.jetbrains.com/pycharm/download/
安装步骤:
tar -xzvf XXXX.tar.gz
2.避免出现pycharm只读文件的情况
进入到bin目录下
sudo ./pycharm.sh 安装
并且在最后一步安装界面的时候,要选择for all users
3.安装pip (yum install pip)
4.安装py4j:
sudo pip install py4j
选择“Run” ->“Edit Configurations” ->“Environment variables”
增加SPARK_HOME目录与PYTHONPATH目录。 - SPARK_HOME:Spark安装目录 - PYTHONPATH:Spark安装目录下的Python目录
因为我的spark集群建立在hadoop上
我还添加了HADOOP_HOME、JAVA_HOME

pycharm配置
问题
no ascii in /usr/bin/pythn2.7
解决
添加了两个/usr/bin/pythn2.7
未解决问题
kafka需要引入jar
pycharm 不知道如何引用
作者:玄月府的小妖在debug
链接:https://www.jianshu.com/p/ea3ac27bef79
来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/3378/viewspace-2818841/ ,如需转载,请注明出处,否则将追究法律责任。