ITPub博客

首页 > > > apache-spark导入eclipse环境

apache-spark导入eclipse环境

作者:zhmw 时间:2020-01-16 09:45:16 0 删除 编辑

工作中用到了apache-spark,想深入了解一下,决定从源码开始。

先导入到常用的ide,eclipse吧:

准备工作

 1.  下载Eclipse:http://scala-ide.org/

 2.  从github上下载源码:https://github.com/apache/spark

 

第一个实验品是Spark-Core项目

  1. exist maven project 导入Eclipse

  2. Eclipse自动导入依赖,这个过程时间较长,请等待

   完成后,发现报错:

  spark build path is cross-compiled with an incompatible version of Scala (2.10.0)。。。

  原因:版本不一致

  • Scala IDE uses Scala 2.11.7
  • Apache Spark built with Scala 2.10

      解决方法:

  选中scala libary container [2.11.7],点击右键,选中属性--->classpath container -->2.10 bundle.

  此时重新编译,编译完成ok,没有报错。

 

来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/69901620/viewspace-3156683/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2018-12-04

  • 博文量
    295
  • 访问量
    9531