ITPub博客

首页 > Linux操作系统 > Linux操作系统 > linux环境编码出现的问题

linux环境编码出现的问题

原创 Linux操作系统 作者:oc_jy 时间:2014-11-29 15:41:35 0 删除 编辑

问题描述:
       直接从windows环境ftp一份.txt文件到linux环境,发现记事本默认为ANSI格式,于是就转换为UTF-8格式编码(因为linux里有这个格式的嘛);用Python将txt文件读取到oracle数据库中,发现txt首行的第一个字符读到oracle中后会出现一个奇怪的点,将这个奇怪的字符拷贝到linux环境下的utf-8文件中,显示该点为,直接print出来却并没有不正常之处。


问题出现原因:
       网上搜索,原来这是个被称作BOM(Byte Order Mark)的不可见字符,是Unicode用来标识内部编码的排列方式的,在UTF-16、UTF-32编码里它是必需的,而在UTF-8里是可选的,因此,才会出现有的编辑器在文件头部添加添加BOM、而有的语法解析器又不作处理的的混乱情况。所谓 BOM,全称是Byte Order Mark,它是一个Unicode字符,通常出现在文本的开头,用来标识字节序 (Big/Little Endian),除此以外还可以标识编码(UTF-8/16/32),如果出现在文本中间,则解释为zero width no-break space。


问题解决方法:
    在windows桌面用editplus打开此文件,另存为Unicode(不是Unicode+uom)格式,将此文件ftp到linux中,问题就此解决。

问题反思:
  1、用print 打印出来为什么不会发现,print会对输出的文本做自动的编码转换, print转换的目的编码和环境变量有关。

来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/29926952/viewspace-1351150/ ,如需转载,请注明出处,否则将追究法律责任。

上一篇: 没有了~
下一篇: 没有了~
请登录后发表评论 登录
全部评论

注册时间:2014-10-02

  • 博文量
    1
  • 访问量
    3517