ITPub博客

首页 > 数据库 > > mysql字符集乱码问题

mysql字符集乱码问题

作者:yellowduck007 时间:2019-09-09 16:26:43 0 删除 编辑

MySQL处理连接时,外部连接发送过来的SQL请求会根据以下顺序进行转换:

character_set_client           //客户连接所采用的字符集

|

character_set_connection  //MySQL连接字符集

|

character_set_database    //数据库所采用的字符集(表,列)

|

character_set_results        //客户机显示所采用的字符集

一. 产生乱码的根本原因在于:

1.客户机没有正确地设置client字符集,导致原先的SQL语句被转换成connection所指字符集,而这种转换,是会丢失信息的,如果client是utf8格式,那么如果转换成gb2312格式,这其中必定会丢失信息,反之则不会丢失。一定要保证connection的字符集大于client字符集才能保证转换不丢失信息。

2. 数据库字体没有设置正确,如果数据库字体设置不正确,那么connection字符集转换成database字符集照样丢失编码,原因跟上面一样。

二.为什么set names 'gb2312'就可以了呢

set names 'gb2312'相当于这三条语句:

set character_set_client = gb2312;

set character_set_connection = gb2312;

set character_set_results = gb2312;

这样做的话,上述产生乱码的原因1就不存在了,因为编码格式都统一了,但是这样做并不是万金油。原因有:

1.你的client不一定是用gb2312编码发送SQL的,如果编码不是gb2312那么转换成gb2312就会产生问题。

2.你的数据库中的表不一定是gb2312格式,如果不是gb2312格式而是其他的比如说latin1,那么在存储字符集的时候就会产生信息丢失。

综上,终极解决方案如下:

1.首先要明确你的客户端时候何种编码格式,这是最重要的(IE6一般用utf8,命令行一般是gbk,一般程序是gb2312)

2.确保你的数据库使用utf8格式,很简单,所有编码通吃。

3.一定要保证connection字符集大于等于client字符集,不然就会信息丢失,比如latin1

若设置set character_set_client = gb2312,那么至少connection的字符集要大于等于gb2312,否则就会丢失信息

4.以上三步做正确的话,那么所有中文都被正确地转换成utf8格式存储进了数据库,为了适应不同的浏览器,不同的客户端,你可以修改character_set_results来以不同的编码显示中文字体,由于utf8是大方向,因此web应用是我还是倾向于使用utf8格式显示中文的。

我现在在mysql上遇到一个问题,我们的字符集是gb2312.在中文模糊查找时,会有不相关的结果集.

从问题的根本原因分析,还有下面的问题。

例:

汉字“不”的第1、2字节ascii值分别为:178与187

汉字“安”的第1、2字节ascii值分别为:176与178

汉字“花”的第1、2字节ascii值分别为:187与168

聪明的人已经看出来了:在字符串“安花”中模糊查找字符“不”字时,mysql系统也会认为两者匹配!

出现这个问题的原因是:MySQL在查询字符串时是大小写不敏感的,在编绎MySQL时一般以ISO-8859字符集作为默认的字符集,因此在比较过程中中文编码字符大小写转换造成了这种现象。

方法一:

解决方法是对于包含中文的字段加上"binary"属性,使之作为二进制比较,例如将"name char(10)"改成"name char(10)binary"。 

方法二:

如果你使用源码编译MySQL,可以编译MySQL时使用--with--charset=gbk 参数,这样MySQL就会直接支持中文查找和排序了。

方法三:

可以使用 Mysql 的 locate 函数来判断。以上述问题为例,使用方法为:

SELECT * FROM table WHERE locate(field,'李') > 0;

本站使用的就是这种方法,感觉还不错。:P

方法四:

把您的Select语句改成这样,SELECT * FROM TABLE WHERE FIELDS LIKE BINARY '%FIND%'即可!

升级的根本,如果想使用“正确”的字符集,还是先用mysqldump导出成文件,然后导入。

数据库编码格式为utf8,表和字段也都是utf8,存进去的格式是utf-8

但是用命令行工具查询命令select * from 表名; 查询出来的中文是乱码

原因:MySQL客户端根本就不能以utf8的形式返回数据

解决如下: SET NAMES GB2312;   在命令行执行即可解决。

关于GBK、GB2312、UTF8

UTF- 8:Unicode Transformation Format-8bit,允许含BOM,但通常不含BOM。是用以解决国际上字符的一种多字节编码,它对英文使用8位(即一个字节),中文使用24为(三个字节)来编码。UTF-8包含全世界所有国家需要用到的字符,是国际编码,通用性强。UTF-8编码的文字可以在各国支持UTF8字符集的浏览器上显示。如,如果是UTF8编码,则在外国人的英文IE上也能显示中文,他们无需下载IE的中文语言支持包。

GBK是国家标准GB2312基础上扩容后兼容GB2312的标准。GBK的文字编码是用双字节来表示的,即不论中、英文字符均使用双字节来表示,为了区分中文,将其最高位都设定成1。GBK包含全部中文字符,是国家编码,通用性比UTF8差,不过UTF8占用的数据库比GBK大。

GBK、GB2312等与UTF8之间都必须通过Unicode编码才能相互转换:

GBK、GB2312--Unicode--UTF8

UTF8--Unicode--GBK、GB2312

对于一个网站、论坛来说,如果英文字符较多,则建议使用UTF-8节省空间。不过现在很多论坛的插件一般只支持GBK。

GB2312是GBK的子集,GBK是GB18030的子集

GBK是包括中日韩字符的大字符集合

如果是中文的网站 推荐GB2312 GBK有时还是有点问题

为了避免所有乱码问题,应该采用UTF-8,将来要支持国际化也非常方便

UTF-8可以看作是大字符集,它包含了大部分文字的编码。

使用UTF-8的一个好处是其他地区的用户(如香港台湾)无需安装简体中文支持就能正常观看你的文字而不会出现乱码。

gb2312是简体中文的码

gbk支持简体中文及繁体中文

big5支持繁体中文

utf-8支持几乎所有字符

MySQL中涉及的几个字符集

character-set-server/default-character-set:服务器字符集,默认情况下所采用的。

character-set-database:数据库字符集。

character-set-table:数据库表字符集。

优先级依次增加。所以一般情况下只需要设置character-set-server,而在创建数据库和表时不特别指定字符集,这样统一采用character-set-server字符集。

character-set-client:客户端的字符集。客户端默认字符集。当客户端向服务器发送请求时,请求以该字符集进行编码。

character-set-results:结果字符集。服务器向客户端返回结果或者信息时,结果以该字符集进行编码。

在客户端,如果没有定义character-set-results,则采用character-set-client字符集作为默认的字符集。所以只需要设置character-set-client字符集。

要处理中文,则可以将character-set-server和character-set-client均设置为GB2312,如果要同时处理多国语言,则设置为UTF8。

关于MySQL的中文问题

解决乱码的方法是,在执行SQL语句之前,将MySQL以下三个系统参数设置为与服务器字符集character-set-server相同的字符集。

character_set_client:客户端的字符集。

character_set_results:结果字符集。

character_set_connection:连接字符集。

设置这三个系统参数通过向MySQL发送语句:set names gb2312 

mysql> show variables like '%character%';

+--------------------------+--------------------------------+

| Variable_name            | Value                          |

+--------------------------+--------------------------------+

| character_set_client     | utf8                           |

| character_set_connection | utf8                           |

| character_set_database   | utf8                           |

| character_set_filesystem | binary                         |

| character_set_results    | utf8                           |

| character_set_server     | utf8                           |

| character_set_system     | utf8

说明服务器端设置正常

然后我又用linux远程连接mysql,查询结果中文乱码

再次查看编码方式:

mysql> show variables like '%character%';

+--------------------------+--------------------------------+

| Variable_name            | Value                          |

+--------------------------+--------------------------------+

| character_set_client     | latin1                         |

| character_set_connection | latin1                         |

| character_set_database   | utf8                           |

| character_set_filesystem | binary                         |

| character_set_results    | latin1                         |

| character_set_server     | utf8                           |

| character_set_system     | utf8

每次查询前设置查询结果集编码为utf8 即set character_set_results=utf8  

解决Mysql导入乱码问题

方法一: 通过增加参数 –default-character-set = utf8 解决乱码问题 

C:\Users\Administrator>mysql -uroot -p yktgl < F:\YIKATONG\application\gl.sql --default-character-set=utf8

方法二: 在命令行导入乱码解决

1.mysql>use gl;

2.mysql> set names utf8; 

3.mysql>source example.sql

mysql -u root -p --default-character-set=utf8 

use dbname

source /root/newsdata.sql

方法三: 直接粘贴sql文件里的代码

1. 打开SQLyog客户端软件;

2. 定位到SQL编辑器,然后用记事本打开刚刚导出的SQL文件;

3. 复制文件中所有SQL语句到SQL编辑器当中,执行这些SQL代码;

二、导出数据

mysqldump -u root -p --default-character-set=utf8 gl> gl.sql

定义编码导入

mysql -u root -p --default-character-set=utf8 -f discuss_chi 如还是乱码使用二进导入

mysql -u root -p --default-character-set=binary -f discuss_chi 

还是不行,导出和导入都使用二进方式

导出

mysqldump -u root -p --default-character-set=binary discuss_chi> dis.sql

导入

mysql -u root -p --default-character-set=binary -f discuss_chi

统一字符集保证不乱码:建议中英文环境选择utf8

1.linux系统语言

/etc/sysconfig/i18n

LANG="zh_CN.utf8"

2.mysql客户端

临时:

set names utf8;

永久:

配置文件my.cnf

[client]

default-charater-set=utf8

3.mysql服务端

[mysqld]

character-set-server=utf8

4.mysql建库建表语句

指定字符集建库

create database oldboy_utf8 default character set uft8 collate utf8_general_ci;

指定字符集建表

create table student (

id int(4) not null auto_increment,

name char(20) not null,

primary key(id)

)engine=inonodb auto_increment=10 default charset=utf8

5.开发程序的字符集

模拟将latin1字符集的数据库修改成GBK字符集的实际过程

1.导出表结构

mysqldump -uroot -p --default-character-set=latin1 -d dbname >alltatale.sql

--default-character-set=latin1 以latin1连接 -d只导表结构

2.编辑alltable.sql将latin1改成gbk

sed替换

3.确保数据库不在更新,导出所有数据

mysqldump -uroot -p --quick --no-create-info --extended-insert --default-character-set=latin1 dbname >alldata.sql

4.打开alldata.sql将set names latin1修改成set names gbk;(或者修改系统的服务端和客户端)

5.建库

create database dbname default charset bgk;

6.创建表,执行alltable.sql

mysql -uroot -p dbname 

7.导入数据

mysql -uroot -dbname < alldata.sql

一,临时修改字符集

查看库表的字符集

show  create  database  库名\G;

根据结尾的字符集,进行临时修改

set  names 库表的字符集

二,永久更改字符集

这里说下不乱码的思想:把linux,Mysql客户端,Mysql服务端,库,表,程序的字符集全部统一(建议utf8)

1,改my.cnf

[client]

default-character-set=utf8

[mysqld]

default-character-set=utf8   #适合5.1及以前版本

character-set-server=utf8    #适合5.5版本

2,linux字符集修改

vim /etc/sysconfig/i18n

LANG="zh_CN.UTF-8"

3,库,表

create  database  test_utf8   DEFAULT CHARACTER  SET  utf8   COLLATE  utf8_general_ci;

4,应用程序

选择utf8版本下载

5,查看当前字符集,字符集全部一样修改成功

show   variables   like  'character_set%'; 

MySQL的字符集支持(Character Set Support)有两个方面:

1、字符集(Character set)

2、排序方式(Collation)。

对于字符集的支持细化到四个层次:

1、服务器(server)

2、数据库(database)

3、数据表(table)

4、连接(connection)

注意:MySQL对于字符集的指定可以细化到一个数据库,一张表,一列,应该用什么字符集。

###################################################################

第一问:mysql默认字符集能否进行修改呢?

1、修改配置文件:

[mysqld]

default-character-set = utf8

default-collation=utf8_general_ci

#character_set_server = utf8

#[client]

#default-character-set=utf8

修改完后,重启mysql的服务,service mysql restart

2、命令修改(不推荐,除非有特殊情况)

mysql> SET character_set_client = utf8 ;

mysql> SET character_set_connection = utf8 ;

mysql> SET character_set_database = utf8 ;

mysql> SET character_set_results = utf8 ;

mysql> SET character_set_server = utf8 ;

mysql> SET collation_connection = utf8 ;

mysql> SET collation_database = utf8 ;

mysql> SET collation_server = utf8 ;

有时候设置了表的默认字符集为utf8并且通过UTF-8编码发送查询,存入数据库的仍然是乱码。那connection连接层上可能出了问题。

解决方法是在发送查询前执行一下下面这句: SET NAMES 'utf8';它相当于下面的三句指令:

SET character_set_client = utf8;

SET character_set_results = utf8;

SET character_set_connection = utf8;

注意:具体的参数和MySQL的安装方式以及版本有密切关系,比较成熟的版本默认字符集是utf-8,当然具体怎么定义,可参考官方文档。

###################################################################

第二问:查看MySQL默认字符集(默认情况下,mysql的字符集是latin1)

通常,查看系统的字符集和排序方式的设定可以通过下面的两条命令:

SHOW VARIABLES LIKE 'character%';

SHOW VARIABLES LIKE 'collation_%';

###################################################################

第三问:传统的程序在创建数据库和数据表时并没有使用那么复杂的配置,它们用的是默认的配置,那么,默认的配置从何而来呢?

(1)编译MySQL 时,指定了一个MySQL默认的字符集,这个字符集是 latin1; 

(2)安装MySQL 时,可以在配置文件 (my.cnf,或者my.ini) 中指定一个默认的的字符集,如果没指定,这个值继承自编译时指定的;

(3)启动mysqld 时,可以在命令行参数中指定一个默认的的字符集,如果没指定,这个值继承自配置文件中的配置,此时 character_set_server 被设定为这个默认的字符集;

(4)当创建一个新的数据库时,除非明确指定,这个数据库的字符集被缺省设定为character_set_server;

(5)当选定了一个数据库时,character_set_database 被设定为这个数据库默认的字符集;

(6)在这个数据库里创建一张表时,表默认的字符集被设定为 character_set_database,也就是这个数据库默认的字符集;

(7)当在表内设置一栏时,除非明确指定,否则此栏缺省的字符集就是表默认的字符集;

简单的总结一下,如果什么地方都不修改,那么所有的数据库的所有表的所有栏位的都用 latin1 存储,不过我们如果安装 MySQL,一般都会选择多语言支持,也就是说,安装程序会自动在配置文件中把 default_character_set 设置为 UTF-8,这保证了缺省情况下,所有的数据库的所有表的所有栏位的都用 UTF-8 存储。

###################################################################

第四问:还有什么情况下会由于MySQL的原因导致乱码?

这种情况可能和使用高可用软件或者插件导致的,比如mysql-proxy等

例子:mysql proxy 乱码问题

有时候通过proxy连上数据库之后,查到的字符串始终是乱码,即便手工执行了set names ‘utf8′也没有效果。

解决办法,mysql server必须设置

修改my.cnf文件

[mysqld]

skip-character-set-client-handshake

init-connect='SET NAMES utf8'

default-character-set=utf8

###################################################################

第五问:什么原因还会导致乱码问题?

1、浏览器问题

2、代理问题

3、代码字符集问题

4、数据库代理字符集问题

一、查看 MySQL 数据库服务器和数据库字符集

mysql> show variables like '%char%';

+--------------------------+-------------------------------------+------

| Variable_name            | Value                               |......

+--------------------------+-------------------------------------+------

| character_set_client     | utf8                                |......   -- 客户端字符集

| character_set_connection | utf8                                |......

| character_set_database   | utf8                                |......   -- 数据库字符集

| character_set_filesystem | binary                              |......

| character_set_results    | utf8                                |......

| character_set_server     | utf8                                |......   -- 服务器字符集

| character_set_system     | utf8                                |......

| character_sets_dir       | D:\MySQL Server 5.0\share\charsets\ |......

+--------------------------+-------------------------------------+------

二、查看 MySQL 数据表(table) 的字符集

mysql> show table status from sqlstudy_db like '%countries%';

+-----------+--------+---------+------------+------+-----------------+------

| Name      | Engine | Version | Row_format | Rows | Collation       |......

+-----------+--------+---------+------------+------+-----------------+------

| countries | InnoDB |      10 | Compact    |   11 | utf8_general_ci |......

+-----------+--------+---------+------------+------+-----------------+------

三、查看 MySQL 数据列(column)的字符集

mysql> show full columns from countries;

+----------------------+-------------+-----------------+--------

| Field                | Type        | Collation       | .......

+----------------------+-------------+-----------------+--------

| countries_id         | int(11)     | NULL            | .......

| countries_name       | varchar(64) | utf8_general_ci | .......

| countries_iso_code_2 | char(2)     | utf8_general_ci | .......

| countries_iso_code_3 | char(3)     | utf8_general_ci | .......

| address_format_id    | int(11)     | NULL            | .......

+----------------------+-------------+-----------------+--------

四、查看当前安装的 MySQL 所支持的字符集

mysql> show charset;

+----------+-----------------------------+---------------------+--------+

| Charset | Description                 | Default collation   | Maxlen |

+----------+-----------------------------+---------------------+--------+

| big5     | Big5 Traditional Chinese    | big5_chinese_ci     |      2 |

| dec8     | DEC West European           | dec8_swedish_ci     |      1 |

| cp850    | DOS West European           | cp850_general_ci    |      1 |

| hp8      | HP West European            | hp8_english_ci      |      1 |

| koi8r    | KOI8-R Relcom Russian       | koi8r_general_ci    |      1 |

| latin1   | cp1252 West European        | latin1_swedish_ci   |      1 |

| latin2   | ISO 8859-2 Central European | latin2_general_ci   |      1 |

| swe7     | 7bit Swedish                | swe7_swedish_ci     |      1 |

| ascii    | US ASCII                    | ascii_general_ci    |      1 |

| ujis     | EUC-JP Japanese             | ujis_japanese_ci    |      3 |

| sjis     | Shift-JIS Japanese          | sjis_japanese_ci    |      2 |

| hebrew   | ISO 8859-8 Hebrew           | hebrew_general_ci   |      1 |

| tis620   | TIS620 Thai                 | tis620_thai_ci      |      1 |

| euckr    | EUC-KR Korean               | euckr_korean_ci     |      2 |

| koi8u    | KOI8-U Ukrainian            | koi8u_general_ci    |      1 |

| gb2312   | GB2312 Simplified Chinese   | gb2312_chinese_ci   |      2 |

| greek    | ISO 8859-7 Greek            | greek_general_ci    |      1 |

| cp1250   | Windows Central European    | cp1250_general_ci   |      1 |

| gbk      | GBK Simplified Chinese      | gbk_chinese_ci      |      2 |

| latin5   | ISO 8859-9 Turkish          | latin5_turkish_ci   |      1 |

| armscii8 | ARMSCII-8 Armenian          | armscii8_general_ci |      1 |

| utf8     | UTF-8 Unicode               | utf8_general_ci     |      3 |

| ucs2     | UCS-2 Unicode               | ucs2_general_ci     |      2 |

| cp866    | DOS Russian                 | cp866_general_ci    |      1 |

| keybcs2 | DOS Kamenicky Czech-Slovak | keybcs2_general_ci |      1 |

| macce    | Mac Central European        | macce_general_ci    |      1 |

| macroman | Mac West European           | macroman_general_ci |      1 |

| cp852    | DOS Central European        | cp852_general_ci    |      1 |

| latin7   | ISO 8859-13 Baltic          | latin7_general_ci   |      1 |

| cp1251   | Windows Cyrillic            | cp1251_general_ci   |      1 |

| cp1256   | Windows Arabic              | cp1256_general_ci   |      1 |

| cp1257   | Windows Baltic              | cp1257_general_ci   |      1 |

| binary   | Binary pseudo charset       | binary              |      1 |

| geostd8 | GEOSTD8 Georgian            | geostd8_general_ci |      1 |

| cp932    | SJIS for Windows Japanese   | cp932_japanese_ci   |      2 |

| eucjpms | UJIS for Windows Japanese   | eucjpms_japanese_ci |      3 |

+----------+-----------------------------+---------------------+--------+

以上查看 MySQL 字符集命令,适用于 Windows & Linux

Liunx下修改MySQL字符集:

1.查找MySQL的cnf文件的位置

find / -iname '*.cnf' -print

/usr/share/mysql/my-innodb-heavy-4G.cnf

/usr/share/mysql/my-large.cnf

/usr/share/mysql/my-small.cnf

/usr/share/mysql/my-medium.cnf

/usr/share/mysql/my-huge.cnf

/usr/share/texmf/web2c/texmf.cnf

/usr/share/texmf/web2c/mktex.cnf

/usr/share/texmf/web2c/fmtutil.cnf

/usr/share/texmf/tex/xmltex/xmltexfmtutil.cnf

/usr/share/texmf/tex/jadetex/jadefmtutil.cnf

/usr/share/doc/MySQL-server-community-5.1.22/my-innodb-heavy-4G.cnf

/usr/share/doc/MySQL-server-community-5.1.22/my-large.cnf

/usr/share/doc/MySQL-server-community-5.1.22/my-small.cnf

/usr/share/doc/MySQL-server-community-5.1.22/my-medium.cnf

/usr/share/doc/MySQL-server-community-5.1.22/my-huge.cnf

2. 拷贝 small.cnf、my-medium.cnf、my-huge.cnf

 my-innodb-heavy-4G.cnf,其中的一个到/etc下命名为my.cnf

 cp /usr/share/mysql/my-medium.cnf /etc/my.cnf

3. 修改my.cnf

vi /etc/my.cnf

在[client]下添加

default-character-set=utf8

在[mysqld]下添加

default-character-set=utf8

4.重新启动MySQL

[root@bogon ~]# /etc/rc.d/init.d/mysql restart

Shutting down MySQL                                         [ 确定 ]

Starting MySQL.                                                  [ 确定 ]

[root@bogon ~]# mysql -u root -p

Enter password:

Welcome to the MySQL monitor. Commands end with ; or \g.

Your MySQL connection id is 1

Server version: 5.1.22-rc-community-log MySQL Community Edition (GPL)

Type 'help;' or '\h' for help. Type '\c' to clear the buffer.

其他的一些设置方法:

修改数据库的字符集

mysql>use mydb

mysql>alter database mydb character set utf-8;

创建数据库指定数据库的字符集

mysql>create database mydb character set utf-8;

通过配置文件修改:

修改/var/lib/mysql/mydb/db.opt

default-character-set=latin1

default-collation=latin1_swedish_ci

为

default-character-set=utf8

default-collation=utf8_general_ci

重起MySQL:

[root@bogon ~]# /etc/rc.d/init.d/mysql restart

通过MySQL命令行修改:

mysql> set character_set_client=utf8;

Query OK, 0 rows affected (0.00 sec)

mysql> set character_set_connection=utf8;

Query OK, 0 rows affected (0.00 sec)

mysql> set character_set_database=utf8;

Query OK, 0 rows affected (0.00 sec)

mysql> set character_set_results=utf8;

Query OK, 0 rows affected (0.00 sec)

mysql> set character_set_server=utf8;

Query OK, 0 rows affected (0.00 sec)

mysql> set character_set_system=utf8;

Query OK, 0 rows affected (0.01 sec)

mysql> set collation_connection=utf8;

Query OK, 0 rows affected (0.01 sec)

mysql> set collation_database=utf8;

Query OK, 0 rows affected (0.01 sec)

mysql> set collation_server=utf8;

Query OK, 0 rows affected (0.01 sec)

清空缓存的方法主要用flush命令 为了执行FLUSH,你必须有reload权限

flush hosts主要是用来清空主机缓存表

flush logs主要是关闭当前的二进制日志文件并创建一个新文件

flush privileges主要是每当重新赋权后,为了以防万一,让新权限立即生效

flush tables主要是关闭所有打开的表,同时该操作将会清空查询缓存中的内容

flush tables with read lock主要是关闭所有打开的表同时对于所有数据库中的表都加一个读锁

flush status重置大多数状态变量到0

flush master删除所有的二进制日志索引文件中的二进制日志文件

flush query cache重整查询缓存,消除其中的碎片,提高性能

flush slave类似于重置复制,让从数据库忘记主数据库的复制位置

来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/2611/viewspace-3119942/ ,如需转载,请注明出处,否则将追究法律责任。

下一篇: Node.js 事件循环
请登录后发表评论 登录
全部评论

注册时间:2019-08-16

  • 博文量
    88
  • 访问量
    983