etl 读写 elastic 同步数据 

Elasticsearch是什么

•  Elasticsearch一个基于Lucene的搜索服务器

• 它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口对外开放。

• Elasticsearch是用Java语言开发的，并作为Apache许可条款下的开放源码发布，是一种流行的企业级搜索引擎。Elasticsearch用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。

说的直白一点，你可以用Elasticsearch在企业内部搭建出类似百度、谷歌之类的搜索服务器。

通过etl实现对elastic的读写操作

Elasticsearch的部署和使用不在这里介绍，这里主要介绍如何通过etl engine对elastic进行读写访问。

下面我们给出一个样本，实现从index为es_db3中的 elastic 读取数据，写入到index为es_db4的elastic中

 elastic_to_elastic.grf 样本

<?xml version="1.0" encoding="UTF-8"?>
<Graph>
   <!--elastic 到 elastic-->
 
    <Node id="ELASTIC_READER_01" dbConnection="CONNECT_01"   
type="ELASTIC_READER" desc="节点2"  sourceFields="custom_type;username;desc;address" fetchSize="2" >
    <Script name="sqlScript"><![CDATA[
{
  "query" : {
   "bool":{
  "must":[
  //{
// "term": { "username.keyword": "王先生"  }
 //     "match": { "username": ""  }
 //  },
   {
 "term":   {   "custom_type":"t_user_info"  }
   }
  ]
   }
}
}
]]></Script>
      </Node>
     <Node id="ELASTIC_WRITER_01" dbConnection="CONNECT_02"   
type="ELASTIC_WRITER" desc="节点2"  outputFields="custom_type;username;desc;address;_id" renameOutputFields="custom_type1;username1;desc1;address1;id1"
idType="2" idExpress="id1">
      </Node>
  <Line id="LINE_01" type="STANDARD" from="ELASTIC_READER_01" to="ELASTIC_WRITER_01" order="0" metadata="METADATA_01">线标注</Line>
  <Metadata id="METADATA_01">
     <Field name="custom_type1" type="string" default="-1" nullable="false"/>
    <Field name="username1" type="string" default="-1" nullable="false"/>
    <Field name="desc1" type="string" default="-1" nullable="false"/>
    <Field name="address1" type="string" default="-1" nullable="false"/>
     <Field name="id1" type="string" default="-1" nullable="false"/>
  </Metadata>
    <Connection id="CONNECT_01" dbURL="http://127.0.0.1:9200" database="es_db3" username="elastic" password="123456" batchSize="1000" type="ELASTIC"/>
<Connection id="CONNECT_02" dbURL="http://127.0.0.1:9200" database="es_db4" username="elastic" password="123456" batchSize="1000" type="ELASTIC"/>
</Graph>

节点使用说明

调用方式

etl_engine.exe -fileUrl elastic_to_elastic.grf 

参考资料

https://github.com/hw2499/etl-engine