ITPub博客

首页 > 大数据 > Spark > 通过spark将数据存储到elasticsearch

通过spark将数据存储到elasticsearch

原创 Spark 作者:hgs19921112 时间:2019-02-28 23:04:33 0 删除 编辑
	maven依赖
	<dependency>
	    <groupId>org.elasticsearch</groupId>
	    <artifactId>elasticsearch-spark-20_2.11</artifactId>
	    <version>6.6.0</version>
	</dependency>
package hgs.spark.es
import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.elasticsearch.spark._
import org.apache.spark.sql.SQLContext
object ViaSparkLoadDataToES {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("toEs").setMaster("local")
    conf.set("es.resource", "mtest/IT")
    conf.set("es.nodes", "bigdata00,bigdata01")
    conf.set("es.port", "9200")
    val context = new SparkContext(conf)
    
    val sqlContext = new SQLContext(context)
    
    
    import sqlContext.implicits._ 
    
    val rdd = context.textFile( "d:\\person",1)
    //val jsonrddDF = sqlContext.read.json(rdd)
    rdd.saveJsonToEs("mtest/IT")
    
    
   
    context.stop()
    
   
    
  }
 
  
}


来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/31506529/viewspace-2637249/,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2017-11-22

  • 博文量
    93
  • 访问量
    64398