ITPub博客

首页 > IT职业 > IT图书 > 如何 部署 及 使用 etl crontab 和 etl engine

如何 部署 及 使用 etl crontab 和 etl engine

原创 IT图书 作者:hw2499 时间:2024-12-30 09:45:07 0 删除 编辑

如何部署及使用etl_crontab和etl_engine

内容详细,适合新人上手

1、前置条件

      获取到以下文件列表

        code.bin      (授权文件,必须)

        code.key (授权文件,必须)

        conf.cron (调度配置文件,使用etl_crontab必须)

        sys.properties (环境配置文件,使用etl_crontab必须)

        etllog_mysql.sql        (日志表结构文件,使用etl_crontab必须)

        etl_crontab.exe (管理端,用于配置etl任务、配置调度定期执行etl_engine、查看日志等功能)

        etl_engine.exe (ETL引擎,用于解析执行ETL任务,必须)

        readme_v1.2.7.txt (说明文件,非必须)

        etl-engine.pdf (说明文件,非必须)


2、准备用于存储日志的数据库

       将etllog_mysql.sql脚本文件导入到自己的MySQL数据库中,如数据库名称是db1


3、修改配置文件

   conf.cron 

      该文件配置了etl-engine引擎文件位置,每个etl任务在什么时刻执行,及日志输出级别,http服务端口号等信息,

      各参数可根据实际情况进行修改,具体参数可参看etl_engine.pdf文件或其它资料。

      如:下面两个配置要根据实际情况进行修改。

           engineFile 引擎文件存放位置(默认配置 d:/etl_crontab/etl_engine.exe)

           confDir etl任务配置文件所在目录(默认配置d:/etl_crontab/config)

   sys.properties 

      该文件是日志输出数据源配置(当前配置默认支持输出到mysql),和etl设计器登录等配置。


4、启动etl_crontab(管理端)

      执行以下命令:     

      etl_crontab.exe -fileUrl conf.cron 

      etl_crontab.exe运行后,默认会启动一个11100的http端口,用于和etl后台管理进行交互。

      http://127.0.0.1:11100/etl_designer

      用户名称:admin

      口令:123456

      默认会启动11101端口,用于向前端推送控制台日志信息(取消该功能可通过配置conf.cron文件中 webSocketPort="" 或 取消该设置)。


5、执行etl_engine(根据实际情况使用)

      1)由etl_crontab调度负责调用etl_engine执行,不需要人为干预。

      2)独立执行etl_engine

         执行以下命令:

etl_engine.exe -fileUrl d:/example.grf  -logLevel info 


6、查看相关日志(均可通过管理端查看)

    1)读写成功与失败的日志信息存储在数据库中

    2)etl_engine执行过程中的日志输出到etl_engine.log文件中

    3)etl_crontab执行过程中的日志输出到etl_crontab.log文件中




来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/70024931/viewspace-3061507/ ,如需转载,请注明出处,否则将追究法律责任。

下一篇: 没有了~
请登录后发表评论 登录
全部评论

注册时间:2022-12-05

  • 博文量
    20
  • 访问量
    10045