ITPub博客

首页 > 大数据 > Hadoop > datax-job-json

datax-job-json

原创 Hadoop 作者:hunterjoy 时间:2024-03-24 12:59:20 0 删除 编辑

mysql2hdfs.json:

{

    "job": {

        "content": [

            {

                "reader": {

                    "name": "mysqlreader",

                    "parameter": {

                        "column": [

     "id",

"name"

],               

                        "connection": [

                            {

                                "jdbcUrl": [

     "jdbc:mysql://192.168.1.71:3306/datax"

], 

                                "table": [

     "student"

]

                            }

                        ], 

                        "password": "111111", 

                        "username": "root", 

                        "where": ""

                    }

                }, 

                "writer": {

                    "name": "hdfswriter", 

                    "parameter": {

                        "column": [

   {

      "name": "id",

  "type": "int"

   },

   {

      "name": "name"

  "type": "string"

   }

], 

                        "compress": "", 

                        "defaultFS": "hdfs://192.168.1.51:9000", 

                        "fieldDelimiter": "\t", 

                        "fileName": "student.txt", 

                        "fileType": "text", 

                        "path": "/user/hive", 

                        "writeMode": "append"

                    }

                }

            }

        ], 

        "setting": {

            "speed": {

                "channel": "1"

            }

        }

    }

}



mysql2hive.json

{

"job": {

"content": [{

"reader": {

"name": "mysqlreader",

"parameter": {

"column": [

"id",

"name"

],

"connection": [{

"jdbcUrl": [

"jdbc:mysql://192.168.1.71:3306/datax"

],

"table": [

"student"

]

}],

"password": "111111",

"username": "root",

"where": ""

}

},

"writer": {

"name": "hdfswriter",

"parameter": {

"column": [{

"name": "id",

"type": "INT"

},

{

"name": "name",

"type": "VARCHAR"

}

],

"compress": "NONE",

"defaultFS": "hdfs://192.168.1.51:9000",

"fieldDelimiter": "\t",

"encoding": "UTF-8",

"fileName": "student",

"fileType": "orc",

"path": "/user/hive/warehouse/test.db/student",

"writeMode": "append"

}

}

}],

"setting": {

"speed": {

"channel": "1"

}

}

}

}


来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/543979/viewspace-3009938/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2007-12-31

  • 博文量
    168
  • 访问量
    389691