-
编辑 删除
mahout0.6版本中，启动出现找不到PrepareTwentyNewsgroups的解决办法
安装完mahout后，会出现java.lang.ClassNotFoundException: org.apache.mahout.classifier.bayes.PrepareTwentyNewsgroups这个错，后详细看打印出的信息，说MAHOUT_LOCAL已设置，可是.bash_profile中的确没有设置这个参数，就丰常可疑。解决办法为：在.bash_profile文件中，增加如下一行：export MAHOUT_LOCAL=，再启...
-
编辑 删除
在Hadoop中，引入第三方JAR包时，报ClassNotFoundException问题的解决办法
本人在Windows下用Eclipse开发Hadoop程序，用常规的方法，把第三方的JAR包用Config Build Path的方法引入JAR包，但是运行报错，后来我把JAR包放到hadoop/lib目录，报错依然，解决办法是：在项目的根目录，建立lib目录，把JAR包放到这个目录下，再运行程序，程序就可以正常启动！！...
-
编辑 删除
关于在IE8下禁用兼容模式的方法
参见:http://www.iefans.net/ie-jianrong-moshi-mogui-tianshi/
-
编辑 删除
datafu-1.0.0.jar下载
https://www.versioneye.com/java/com.linkedin.datafu:datafu/1.0.0
-
编辑 删除
pig各版本下载
http://mirrors.hust.edu.cn/apache/pig/
-
编辑 删除
mahout各版本下载
http://archive.apache.org/dist/mahout/0.6/
-
编辑 删除
shell小工具查看Hadoop中System.out输出的日志
#!/bin/bashrm ~/log.logecho "Please Input JobID:"read NAMEmap_log="/home/grid/hadoop-1.2.1/logs/userlogs/${NAME}/attempt_${NAME#*job_}_m_000000_0/stdout"red_log="/home/grid/hadoop-1.2.1/logs/userlogs/${NAME}/attempt_${NAME#*job_}_r_000000_0/stdout"echo "========================================...
-
编辑 删除
Linux Shell脚本截取字符串
http://blog.csdn.net/gumanren/article/details/5601544
-
编辑 删除
在VI下进行搜索
你在命令模式下敲斜杆(/)这时在状态栏（也就是屏幕左下脚）就出现了 “/”然后输入你要查找的关键字如果你要继续查找此关键字，敲字符n就可以继续查找了。
-
编辑 删除
个人对shuffle的理解
1）shuffle的定义是：把key相同的行聚合到一起，形成一个{key， [value的数组]}这种形式
-
编辑 删除
关于运行Hadoop是报：Type mismatch in key from map
找了好久MaxTemperatureMapper的22行，好像也没有问题，结果在MaxTemperature.java中没有指定：job.setOutputValueClass(IntWritable.class);因为默认输出为Text，导致在reduce中，输入的类型不匹配，所以报上边的错
-
编辑 删除
以JAR包的形式运行Hadoop程序
1.先用带classpath的形式编译所有的java文件：javac -classpath ../hadoop-core-1.2.1.jar *.java2.把所有的class文件打成jar包：jar cvf MaxTemperature.jar *.class3.把目录下的所有的class文件删除：rm -rf *.class4.用Hadoop jar运行jar包：hadoop jar MaxTemperature.jar MaxTemperature...
-
编辑 删除
Hadoop下添加节点和删除节点
http://www.dataguru.cn/forum.php?mod=viewthread&tid=175348
-
编辑 删除
hadoop 1.2.1的API地址
http://hadoop.apache.org/docs/r1.2.1/api/index.html
-
编辑 删除
在Hadoop1.2.1上运行第一个Hadoop程序FileSystemCat
1.设置hadoop-env.sh的export HADOOP_CLASSPATH=/home/grid/hadoop-1.2.1/myclass2.设置JAVA_HOME和ClassPathexport PATH=:/home/grid/jdk1.6.0_30/binexport JAVA_HOME=/home/grid/jdk1.6.0_303.用javac命令编译javac -classpath ../hadoop-core-1.2.1.jar FileSystemCat...
-
编辑 删除
hadoop各版本下载地址
http://mirror.bit.edu.cn/apache/hadoop/common/
-
编辑 删除
Hadoop常用命令
1.向Hadoop中复制文件,一定要是目录对目录：bin/hadoop fs -put ../input in2.查看Hadoop的文件：bin/hadoop fs -ls ./in3.
-
编辑 删除
hadoop在子节点上没有datanode进程
经常会有这样的事情发生：在主节点上start-all.sh后，子节点有TaskTracker进程，而没有DataNode进程。环境：1NameNode 2DataNode三台机器，Hadoop为1.2.1解决办法：1.先停止Hadoop，bin/stop-all.sh2.三台机器都把hadoop1.2.1/tmp下所有文件删除，rm -rf tmp/*3.重新格式化DFS bin/hadoop namenode ...
-
编辑 删除
Linux下出现command not found的解决办法
不管是普通用户还是ROOT用户，修改~/.bash_profile文件，在文件最后加上：export PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/root/bin保存就可以了
-
编辑 删除
配置Hadoop1.2.1
1.从Apache官网上下载1.2.1，地址：http://apache.dataguru.cn/hadoop/common/hadoop-1.2.1/hadoop-1.2.1-bin.tar.gz2.拷贝文件到虚拟机下（vm9下直接拖拽就可以）3.到Hadoop的目录下的conf找到hadoop-env.sh，找到这行：# export JAVA_HOME=/usr/lib/j2sdk1.5-sun，解注并改成JAVA正确的路径4.修改core-site.xml。默认...
