kettle自动运行的bat文件
E:\pdi-ce-4.1.0-stable\data-integration\Kitchen.bat /norep -file=E:/WORK_HOME/kettle_jobs/job_all.kjb >>bat_log/%date:~0,4%%date:~5,2%%date:~8,2%%time:~0,2%%time:~3,2%%time:~6,2%log.txt
JDBC代码
可以建一个properties的文件jdbc.username=scottjdbc.password=tigerjdbc.driver=oracle.jdbc.driver.OracleDriverjdbc.url=jdbc\:oracle\:thin\:@localhost\:1521\:orcl然后建立一个JDBCUtil类package com.imooc.page.util;import java.io.InputStream;import java.sql.Connection;import java...
list,map,hashset
集合 Collection(单列集合) List(有序,可重复) ArrayList &nb...
shell编写wordcount
cat 11.txt | tr ' ' '\n' | sort -k 1 | uniq -c | awk '{print $2"\t"$1}' |sort -k2 -nr |head 空格变回车
JAVA面试题
面向对象编程(OOP)Java是一个支持并发、基于类和面向对象的计算机编程语言。下面列出了面向对象软件开发的优点:代码开发模块化,更易维护和修改。代码复用。增强代码的可靠性和灵活性。增加代码的可理解性。面向对象编程有很多重要的特性,比如:封装,继承,多态和抽象。下面...
linux shell 循环
#! /bin/bash#for((i=1;i
linux各种类型包的安装与卸载
(1)rpm –ivh rpm的软件包名 rpm参数 参数说明 -i 安装软件 -t 测试安装,不是真的安装 -p 显示安装进度 -f 忽略任何错误 -U 升级安装 -v 检测套件是否正确安装 -e 卸载(2) deb包安装方式步骤 1. 安装 dpkg –i deb的软件包名 如:dpkg –i software-...
hive的安装
以下操作在hdpsrc3 节点上操作一,下载安装包1,下载hive?http://mirrors.hust.edu.cn/apache/? ?得到apache-hive-1.1.0.tar.gz ?,放到该目录下 /home/hdpsrc/?2,下载mysql ??http://dev.mysql.com/downloads/mysql/5.5.html#downloads? ?得到?mysq...
orcle审计策略
Oracle审计功能一、 审计分类:Oracle中审计总体上可分为“标准审计”和“细粒度审计”后者也称为“基于政策的审计”,在Oracle10G之后功能得到很大增强。其中标准审计可分为用户级审计和系统级审计。用户级审计是任何Oracle用户可设置的审计,主要是用户针对自己创建的数据库表或视图进行审计...
oracle 添加审计策略
begin dbms_fga.add_policy(object_schema => 'KDCC',----所有者 object_name => 'XJY_1',----表名 ...
oracle分析函数
----取前面1行和后面一行与当前行的和select aa.a, aa.b, aa.c, sum(c) over(order by b range between 1 preceding and 1 following) from table aa group by aa.a, aa.b, aa.c...
mysql的安装
mysql安装
hadoop日志查看
1.检查自己的配置文件core-site.xml,yarn-site.xml,mapred-site.xml地址是否错误。2.在windows下C:\Windows\System32\drivers\etc\hosts,找到HOSTS这个文件,添加映射地址,如果不添加,在访问日志的History时会报错3.关闭防火墙 /etc/init.d/iptables stop 4.访问 http://192.168.1.120:...
hadoop启动后无namenode
一般都是由于两次或两次以上格式化NameNode造成的,有两种方法可以解决: 1.删除DataNode的所有资料 2.修改每个DataNode的namespaceID(位于/home/hdfs/data/current/VERSION文件中)或修改NameNode的namespaceID(位于/home/hdfs/name/current/VERSION文件中), 目的是两者一致。 但是查看...
hadoop 的wordcount java实验
1.导入hadoop需要用到的包hadoop-2.4.2/share/hadoop/mapreduce/*.jarhadoop-2.4.2/share/hadoop/mapreduce/lib/*.jarhadoop-2.4.2/share/hadoop/common/*.jarhadoop-2.4.2/share/hadoop/common/lib/*.jar2.编写java程序package demo;import java.io.IOException;import java.util.*;import o...
hadoop安装文件配置
1.目前只是单机环境,namenode和datanode都在一台机器。hadoop版本选的是2.7.2,jdk选的是jdk-8u131-linux-64.rpm2.安装jdk rpm -ivh jdk-8u111-linux-x64.rpm 3.安装密钥ssh -keygen -t rsa 在root目录下会自动生成.ssh目录 4.把公钥写到authorized_keys里面 ...
使用eclipse连接hadoop时,一直提示无法连接
1.使用eclipse创建hadoop连接时,报如下错误Retrying connect to server: 192.168.1.120/192.168.1.120:9000. Already tried 7 time(s); maxRetries=452.检查自己的core-site.xml是否与java程序中namenode的名称和地址一致<configuration> <property> <name>fs.defaultFS</name> &n...
eclipse搭建hadoop环境
一、安装Eclipse 下载Eclipse,解压安装,例如安装到/usr/local,即/usr/local/eclipse 4.3.1版本下载地址:http://pan.baidu.com/s/1eQkpRgu二、在eclipse上安装hadoop插件 1、下载hadoop插件 ...
oracle闪回
alter table 表名 enable row movement;flashback table 表名 to timestamp to_timestamp('2011-03-04 05:00:00','yyyy-mm-dd HH24:MI:SS'); 时间为需要恢复到的时间节点
hadoop启动后提示警告信息
启动hadoop时提示警告信息17/08/15 12:04:14 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable1.进入hadoop安装目录cd /hadoop_soft/hadoop-2.7.2/lib/native2.用ldd命令查看依赖库 3.可以看到依赖的都...