ITPub博客

首页 > Linux操作系统 > Linux操作系统 > 关于LINUX FILE命令是如何判断文件字符集的

关于LINUX FILE命令是如何判断文件字符集的

原创 Linux操作系统 作者:gaopengtttt 时间:2016-09-19 16:51:45 0 删除 编辑
今天在使用file -i 查看MYSQLDUMP文件的时候其输出为
charset=us-ascii with very long lines
我导出的文件应该是utf8的,为什么会显示ASCII呢,我们知道ASCII并没有中文编码,那么真的有问题吗?
然后用如下2个小程序测试了一下

点击(此处)折叠或打开

  1. #include<stdio.h>


  2. int main(void)
  3. {
  4.         FILE *p;
  5.         int i=0;
  6.         p=fopen("test11.txt","w+");
  7.         fputs("高鹏\n",p);
  8.         while(i<50000000)
  9.         {
  10.                 fputs("test",p);
  11.                 i++;
  12.         }

  13.         fputs("\n",p);
  14.         fclose(p);
  15.         return 0;
  16. }


点击(此处)折叠或打开

  1. #include<stdio.h>


  2. int main(void)
  3. {
  4.         FILE *p;
  5.         int i=0;
  6.         p=fopen("test10.txt","w+");
  7.         while(i<50000000)
  8.         {
  9.                 fputs("test",p);
  10.                 i++;
  11.         }

  12.         fputs("\n",p);
  13.         fputs("高鹏\n",p);
  14.         fclose(p);
  15.         return 0;
  16. }
实际上并没有什么不同这两个文件 test10 和test11 都有2行其中一个很长的行全部是test字符串,第二行是高鹏
明显他们应该返回UTF8编码,但是并不是
gaopeng@bogon:~$ file -i test10.txt 
test10.txt: text/plain; charset=us-ascii
gaopeng@bogon:~$ file -i test11.txt 
test11.txt: text/plain; charset=utf-8

可以看到如果"高鹏"字符串在第二行返回为ASCII而在第一行为UTF-8,我们可以推测出 file 命令是检测文件开头的某些字符而返回的,并没有全部查看,或者有什么其他算法,但是他不是全部查看。试想如果全部查看一遍 一个200G的备份文件瞬间就返回了结果也是不可能的。
在file的帮助中也明确的写着
   Once file has determined the character set used in a text-type file, it will attempt to determine in what language the file is written.  The language tests
     look for particular strings (cf.  ) that can appear anywhere in the first few blocks of a file.

当然要知道具体的方法估计只有源码。

所以file -i检测的并不一定是正确的字符集。


来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/7728585/viewspace-2125168/,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论
wxh gp_22389860

注册时间:2008-10-13

  • 博文量
    640
  • 访问量
    2819858