-
编辑 删除
MR多输入
MR多输入，MultipleInputFormat
-
编辑 删除
MR 博客记录
MapReduce过程详细说明
-
编辑 删除
flume线上配置
flume线上配置
-
编辑 删除
kafka 0.11查看offset命令
kafka-consumer-offset-checker.sh --zookeeper 10.69.43.32:2181 --group test_topology_realtime_gketl_es_001 --topic IRT_Dev_Status_STD
-
编辑 删除
netstat
netstat -anplt | grep -i esta| grep '10.0.15.16:8085'查看有哪些IP连接到10.0.15.16 这台机器的8085端口
-
编辑 删除
kettle
http://www.cnblogs.com/majinju/p/4455107.htmleova
-
编辑 删除
java 学习路线
http://blog.csdn.net/qq_25827845/article/details/52956630
-
编辑 删除
借助keepalived + nginx双机热备加固flume线路
原来的状况： 两台flume ,10.0.15.70,10.0.15.71。在这两台flume机器上，分别会启2个mina的server端，监听客户端发送到8080,8081端口的数据，flume收集数据写入到kafka及hdfs上。 由于现在flume单机的原因，如果出现问题，数据将无法转发到别的机器上。于是，做了以下方案用于加固。新方案：两个VIP（供keepalive...
-
编辑 删除
netcat 常用的几个命令，可用于创建TCP/UDP连接
111$ nc localhost 2389...
-
编辑 删除
eclipse 安装python后pydev不出现
参考下面的链接：http://blog.csdn.net/wwd0501/article/details/52130827还可能出现unknow host，可以修改eclipse 的proxy设置
-
编辑 删除
hive dynamic partition的使用
参考链接：http://www.cnblogs.com/xd502djj/archive/2013/12/11/3470074.html语句参考：set hive.exec.dynamic.partition=true;set hive.exec.dynamic.partition.mode=nonstrict;set hive.exec.max.dynamic.partitions.pernode=100000;set hive.exec.max.created.files=500000; set mapred.reduce.tasks = 3...
-
编辑 删除
hive 中使用avro
参考链接： http://my.oschina.net/weiqingbin/blog/194411创建hive 表时对avro使用snappy压缩：点击(此处)折叠或打开hive> set hive.exec.compress.output=true;hive> set avro.output.codec=snappy;创建hive表的语句：点击(此处)折叠或打开...
-
编辑 删除
Hadoop 中处理小文件的方式， Avro应用
hadoop中处理小文件，avro小文件的处理，hive 中使用avro
-
编辑 删除
hdfs 压缩
参考链接：http://blog.csdn.net/lastsweetop/article/details/9173061
-
编辑 删除
flume inteceptor
http://lxw1234.com/archives/2015/11/543.htm
-
编辑 删除
BASE644
点击(此处)折叠或打开<dependency> <groupId>commons-codec</groupId> <artifactId>commons-codec</artifactI...
-
编辑 删除
BASE643
点击(此处)折叠或打开public class SanyiDecodeTest { public static void main(String[] args) { String json="{\"ST_TOT\":12345...
-
编辑 删除
BASE642
点击(此处)折叠或打开/* * Licensed to the Apache Software Foundation (ASF) under one or more * contributor license agreements. See the NOTICE file distributed with * this work for additional information regarding cop...
-
编辑 删除
BASE641
点击(此处)折叠或打开import java.math.BigInteger;import java.util.Arrays;public class SanyiDecode extends SanyiCodec { private static final int BITS_PER_ENCODED_BYTE = 6;...
-
编辑 删除
maven assembly plugin,maven dependency plugin的使用
maven assembly plugin: 将第三方jar包和应用集成打成一个jar包maven dependency plugin: 将第三方jar包打包到一个文件夹中暂时理解Pom.xml文件中配置一个就可以了 如下：点击(此处)折叠或打开
