-
编辑 删除
datastage提取平面文件的分隔符问题
今天有使用ds提取平面文件，遇到了分隔符为多字节的问题。<br />1、使用server job只支持单字节的分隔符<br />2、使用parallel job可以支持多个字节的分隔符<br />例如分隔符为/x01<br />可以做如下的设置<br /><div><img src="file://C:\Users\liangxdong\AppData\Roaming\Tencent\Users\87113544\QQ\WinTemp\RichO...
-
编辑 删除
初识sed
LINUX下的流处理工具sed的具体用法sed options script file选项-e script 在处理输入时，将script中指定的命令添加到运行的命令中-f file 在处理输入时，将file中指定的命令添加到运行的命令中- 不要为每个命令生成输出，等待print命令来输出sed的替换echo "this is a dog" | sed 's/dog/cat'命令将每行中第一个...
-
编辑 删除
KETTLE批量导出数据（工作笔记）
在180.200.2.36的BI实例中1、配置表kt_extracted_from_eda，保存要提取的表的信息2、日志表kt_extracted_log，监控每天的提取情况提取程序绝对路径为（inittab中执行）J002:35:respawn:/home/lxd/data-integration/kitchen.sh -file=/home/lxd/kt_ex/extract_eda_tables.kjb > /home/lxd/kt_ex/extract_eda_tables.log...
-
编辑 删除
KETTLE监控程序（工作笔记）
在180.200.2.36的BI实例中，建立一个配置表Check_Data_Sqls。将所有的需要监控的表的信息，保存在这个表中编写kettle程序，保存一个JOB绝对路径为/home/lxd/check_data/check_data.kjb在inittab中设置执行，在JOB的start组件中设置每天运行的时间为8:15分J001:35:respawn:/home/lxd/data-integration/kitchen.sh -f...
-
编辑 删除
KETTLE远程执行任务
利用kettle远程调用linux平台的shell脚本两个平台都配置好kettle1、在job的view处右键点击slave server，进行新建子服务器server name自己命名一个输入linux子服务器IP，还有端口（这个端口也是子服务器carte服务的端口）username写clusterpassword写cluster2、在子服务器中开启carte在子服务器中执行carte...
-
编辑 删除
Oracle备份和恢复常见问题解答
在这里多备份给大家总结了一些Oracle备份和恢复常见问题，大家都认真看看吧。有需要的就收藏起来！ [Q]如何开启/关闭归档 [A]如果开启归档，请保证log_archive_start=true开启自动归档，否则只能手工归档，如果是关闭了归档，则设置该参数为false 注...
-
编辑 删除
KETTLE的动态数据库连接
最近有一个任务，就是利用KETTLE写一个监控程序，监控外部数据源的数据同步情况因为要监控多个数据库，所以需要在程序里设置动态的数据库连接串只要配置好参数，再按下图写就可以了，以ORACLE数据库的连接作为例子分别设置好IP，SID，USER，PASSWD四个参数PASSWD也可以使用参数的，虽然显示是*号这样就可以根据参...
-
编辑 删除
KETTLE的参数设置
KETTLE有多种参数，我主要用到的，分别是parameter，argument和自定义的参数。1、parameter使用这个参数相对比较简单，可以在job的空白处右键选job setting，可以看到tab parameter选项在parameter选项可以定义参数的名字和默认值，图形界面运行job时，可以直接在运行JOB前的lauch面板输入这个参数的值，命令行运行j...
-
编辑 删除
使用VNCSERVER登录图形界面
KETTLE开发使用是图形界面的，如果需要在服务器上进行KETTLE开发，可以使用VNCSERVER登录图形界面1、首先在服务器上部署VNCSERVER首先确认你服务器是否配置了VNCSERVER，可以在命令行下敲入以下命令查看：[root@localhost: ~]#rpm -qa |grep vnc如果有安装的话，会显示vnc的版本如果没有安装，可以下...
-
编辑 删除
KETTLE在LINUX系统上的安装和配置
1、环境测试环境 ip 180.200.2.36Linux 版本 2.6.18-274.el5数据库环境 oracle11g必须先安装好JDKJDK版本：java version "1.6.0_26"官网下载KETTLE免费版KETTLE版本：pdi-ce-5.2.0.0-209（要求JDK在版本java version "1.6.0_17"以上）2、解压pdi-ce-5.2.0.0-209.zip因为ket...
-
编辑 删除
ORACLE 数据库 建用户（工作笔记）
oracle建用户，必须有DBA权限登录数据库linux平台1、登录以root登录服务器su - oraclesqlplus "/as sysdba"2、建立相应的表空间可以通过dba_data_files表查询数据文件的路径和表空间的使用情况删除表空间drop tablespace TBS_BOSS including contents and datafiles cascade constraints;建新的表空间，指定数...
