ITPub博客

hadoop的一些知识点 配置步骤

hadoop 通过cachefile来避免数据倾斜

hadoop mapreducez自定义分区

hadoop 自定义GroupComparator实现求最大值

通过将需要比较的值封装为一个bean 并且实现WritableComparable类，重写compareTo，来实现对自定义排序

有时候根据需求，一个mapreduce可能完不成我们的要求，需要两个甚至多个，但是第二个mapreduce要依赖第一个job的结果，这个时候可以根据以下实现

通过继承FileOutPutFormat来实现自定义文件输出 同时还需要自定义RecordWriter

java 环境变量的配置

java 回调函数示例 来参考：http://www.importnew.com/19301.html

java NIO SocketClinet ServerSocket

java NIO和Concurrent包的一些知识点

java 动态代理简单使用

java 反射简单使用

package test;public class ThreadLocalTest { public static void main(String[] args) { ThreadLocal tl = new ThreadLocal(); Local l = new Local()

package test;import java.io.PipedInputStream;import java.io.PipedOutputStream;public class PipeTest { public static void main(String[] args) throws Exception { PipedOutputStream pos = new PipedOutput

注：wait()和notify()应当用在synchronized内package com.test;import java.util.ArrayList;public class ThreadWaitTeste { public static void main(String[] args) { ArrayList ar = new ArrayList

package com.hgs.sharelocks;import java.util.Collections;import java.util.List;import org.apache.zookeeper.CreateMode;import org.apache.zookeeper.WatchedEvent;import org.apache.zookeeper.Watcher;import

服务端：package com.hgs.test;import java.io.IOException;import java.util.List;import org.apache.zookeeper.CreateMode;import org.apache.zookeeper.KeeperException;import org.apache.zookeeper.WatchedEvent;im

配置如下：export JAVA_HOME=/apps/jdk1.8.0_181export PATH=$JAVA_HOME/bin:$PATHexport CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

package com.jdbc.test;import java.sql.*;import java.util.List;import org.apache.commons.dbutils.QueryRunner;import org.apache.commons.dbutils.ResultSetHandler;import org.apache.commons.dbutils.handler