-
编辑 删除
hadoop 将文件上传到指定的datanode 查看文件所在的块
package hgs.dfsclient.test; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.CreateFlag; import org.apache.hadoop.fs.Path; import org.apache.hado
-
编辑 删除
hadoop 3.x安装注意事项
需要在环境变量中配置如下 hadoop_conf_direxport HADOOP_HOME=/opt/software/hadoop-3.2.1-bakexport PATH=$PATH:$HADOOP_HOME/binexport HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoopHADOOP_CONF_DIR主要是HADOOP_CONF_DIR 要不然运行所有的脚
-
编辑 删除
hadoop 合并sequcefie并在map中读取
hadoop 合并sequcefie并在map中读取
-
编辑 删除
hadoop archive合并小文件并进行mapreduce来减少map的数量
hadoop archive合并小文件并进行mapreduce来减少map的数量
-
编辑 删除
hadoop通过CombineFileInputFormat实现小文件合并减少map的个数
hadoop通过CombineFileInputFormat实现小文件合并减少map的个数 实现需要自定义三个类 如下： 参考： https://www.ibm.com/developerworks/library/bd-hadoopcombine/index.html https://data-flair.training/blogs/hadoop-recordreader/ http://www.idryman.org/blog/2013/09/22/process-small-files-on-hadoop-using-combinefileinputformat-1/
-
编辑 删除
hadoop之mapreduce.input.fileinputformat.split.minsize参数
hadoop之mapreduce.input.fileinputformat.split.minsize（旧版本中为mapred.max.split.size）
-
编辑 删除
hadoop 文件夹文件的创建与删除
hadoop 文件夹文件的创建与删除
-
编辑 删除
hadoop的一些知识点 配置步骤
hadoop的一些知识点 配置步骤
-
编辑 删除
hadoop 通过cachefile来避免数据倾斜
hadoop 通过cachefile来避免数据倾斜
-
编辑 删除
hadoop mapreducez自定义分区
hadoop mapreducez自定义分区
-
编辑 删除
hadoop 自定义GroupComparator实现求最大值
hadoop 自定义GroupComparator实现求最大值
-
编辑 删除
Hadoop自定义输出排序方式
通过将需要比较的值封装为一个bean 并且实现WritableComparable类，重写compareTo，来实现对自定义排序
-
编辑 删除
hadoop的mapreduce串联执行
有时候根据需求，一个mapreduce可能完不成我们的要求，需要两个甚至多个，但是第二个mapreduce要依赖第一个job的结果，这个时候可以根据以下实现
-
编辑 删除
hadoop 自定义格式化输出
通过继承FileOutPutFormat来实现自定义文件输出 同时还需要自定义RecordWriter
