全部博文
-
编辑 删除
关于Hadoop中文乱码的问题
同事在用Streaming方式处理日志链接的时候出现了中文乱码的问题，该日志的文件名格式为：/tmp/searchweblog.2012-09-13.bz，且其mapper和reducer的python代码如下： #!/usr/bin/env python import sys for line in sys.stdin: print line.strip() 解决该问题的第一步，认为是python在处理中文字符时需要转码，因为Hadoop的默认编码是UTF-8编码，是支持中文的，且通过hadoop fs –cat /tmp/searchweblog.2012-09-13.bz|bunzip2|more显示的中文并不乱码。改python脚本，代码如下： #!/usr/bin/env python import sys i
