详解mysql中的字符集和校验规则

1几种常见字符集

在MySQL中,最常见的字符集有ASCII字符集、latin字符集、GB2312字符集、GBK字符集、UTF8字符集等,下面我们简单介绍下这些字符集:

ASCII字符集

这个字符集使用1个字节进行编码,一个字节具有8位,总共可以保存128个字符,具体的对应关系如下:

latin字符集

latin字符集一共可以保存256个字符,相比ASCII码,它又包含了128个西欧常用字符。

GB2312字符集

它包含了中文汉字、拉丁字符、希腊字符等,其中汉字占了大多数,有6763个,其他文字符号638个,而且它兼容ASCII字符。当对ASCII编码的时候,它采用1个字节进行编码,也就是128位,当对其他字符进行编码的时候,它采用2个字节进行编码。可以理解它是一种边长编码方式。

GBK字符集

该字符集是对GB2312字符集的一个扩充,它兼容GB2312字符集,一般采用两个字节进行编码。

UTF8字符集

它通常由1~4个字节来进行编码,根据使用字节的不同,也可以分为UTF8和utf8mb4两种,mb4的意思就是最多4个字节的意思,一般来讲UTF8采用三个字节进行编码,除此之外,还有utf16以及utf32,utf16使用2个或4个字节编码一个字符,utf32使用4个字节编码一个字符。

需要注意的是,一些emoji表情需要使用utf8mb4来表示。

2 mysql中支持的字符集

MySQL支持很多字符集,以我本地的字符集为例,使用show charset;命令查看当前服务器支持的字符集,结果如下:

mysql--dba_admin@127.0.0.1:(none) 22:46:48>>show charset;
+----------+-----------------------------+---------------------+--------+
| Charset | Description         | Default collation  | Maxlen |
+----------+-----------------------------+---------------------+--------+
| big5   | Big5 Traditional Chinese  | big5_chinese_ci   |   2 |
| dec8   | DEC West European      | dec8_swedish_ci   |   1 |
| cp850  | DOS West European      | cp850_general_ci  |   1 |
| hp8   | HP West European      | hp8_english_ci   |   1 |
| koi8r  | KOI8-R Relcom Russian    | koi8r_general_ci  |   1 |
| latin1  | cp1252 West European    | latin1_swedish_ci  |   1 |
| latin2  | ISO 8859-2 Central European | latin2_general_ci  |   1 |
| swe7   | 7bit Swedish        | swe7_swedish_ci   |   1 |
| ascii  | US ASCII          | ascii_general_ci  |   1 |
| ujis   | EUC-JP Japanese       | ujis_japanese_ci  |   3 |
| sjis   | Shift-JIS Japanese     | sjis_japanese_ci  |   2 |
| hebrew  | ISO 8859-8 Hebrew      | hebrew_general_ci  |   1 |
| tis620  | TIS620 Thai         | tis620_thai_ci   |   1 |
| euckr  | EUC-KR Korean        | euckr_korean_ci   |   2 |
| koi8u  | KOI8-U Ukrainian      | koi8u_general_ci  |   1 |
| gb2312  | GB2312 Simplified Chinese  | gb2312_chinese_ci  |   2 |
| greek  | ISO 8859-7 Greek      | greek_general_ci  |   1 |
| cp1250  | Windows Central European  | cp1250_general_ci  |   1 |
| gbk   | GBK Simplified Chinese   | gbk_chinese_ci   |   2 |
| latin5  | ISO 8859-9 Turkish     | latin5_turkish_ci  |   1 |
| armscii8 | ARMSCII-8 Armenian     | armscii8_general_ci |   1 |
| utf8   | UTF-8 Unicode        | utf8_general_ci   |   3 |
| ucs2   | UCS-2 Unicode        | ucs2_general_ci   |   2 |
| cp866  | DOS Russian         | cp866_general_ci  |   1 |
| keybcs2 | DOS Kamenicky Czech-Slovak | keybcs2_general_ci |   1 |
| macce  | Mac Central European    | macce_general_ci  |   1 |
| macroman | Mac West European      | macroman_general_ci |   1 |
| cp852  | DOS Central European    | cp852_general_ci  |   1 |
| latin7  | ISO 8859-13 Baltic     | latin7_general_ci  |   1 |
| utf8mb4 | UTF-8 Unicode        | utf8mb4_general_ci |   4 |
| cp1251  | Windows Cyrillic      | cp1251_general_ci  |   1 |
| utf16  | UTF-16 Unicode       | utf16_general_ci  |   4 |
| cp1256  | Windows Arabic       | cp1256_general_ci  |   1 |
| cp1257  | Windows Baltic       | cp1257_general_ci  |   1 |
| utf32  | UTF-32 Unicode       | utf32_general_ci  |   4 |
| binary  | Binary pseudo charset    | binary       |   1 |
| geostd8 | GEOSTD8 Georgian      | geostd8_general_ci |   1 |
| cp932  | SJIS for Windows Japanese  | cp932_japanese_ci  |   2 |
| eucjpms | UJIS for Windows Japanese  | eucjpms_japanese_ci |   3 |
+----------+-----------------------------+---------------------+--------+
39 rows in set (0.00 sec)

可以看到,一共支持39中字符集,当然,不同的版本这个数字还有一些出入。在这39中字符集里面,需要我们记住的主要有以下几个:

+----------+-----------------------------+---------------------+--------+
| Charset | Description         | Default collation  | Maxlen |
+----------+-----------------------------+---------------------+--------+
| latin1  | cp1252 West European    | latin1_swedish_ci  |   1 |
| ascii  | US ASCII          | ascii_general_ci  |   1 |
| gb2312  | GB2312 Simplified Chinese  | gb2312_chinese_ci  |   2 |
| gbk   | GBK Simplified Chinese   | gbk_chinese_ci   |   2 |
| utf8   | UTF-8 Unicode        | utf8_general_ci   |   3 |
| utf8mb4 | UTF-8 Unicode        | utf8mb4_general_ci |   4 |
+----------+-----------------------------+---------------------+--------+

这里,我们暂时只需要知道他们最大长度包含几个字节就ok了。

3 校验规则

字符集的校验规则,指的是字符集比较大小的时候依据的准则,比如我们比较a和B的大小,如果不考虑大小写,那么a<B,如果考虑大小写,则a>B,也就是说,同一字符集,不同的比较规则,对某列数据的排序结果也就会产生不同。

MySQL中的字符校验规则可以通过show collation;语法来查看,如下:

mysql--dba_admin@127.0.0.1:(none) 23:00:36>>show collation;
+-----------------------+----------+-----+---------+----------+---------+
| Collation       | Charset | Id | Default | Compiled | Sortlen |
+-----------------------+----------+-----+---------+----------+---------+
| big5_chinese_ci    | big5   |  1 | Yes   | Yes   |    1 |
| big5_bin       | big5   | 84 |     | Yes   |    1 |
| dec8_swedish_ci    | dec8   |  3 | Yes   | Yes   |    1 |
| dec8_bin       | dec8   | 69 |     | Yes   |    1 |
...........
| koi8r_general_ci   | koi8r  |  7 | Yes   | Yes   |    1 |
| koi8r_bin       | koi8r  | 74 |     | Yes   |    1 |
| latin1_german1_ci   | latin1  |  5 |     | Yes   |    1 |
| koi8u_general_ci   | koi8u  | 22 | Yes   | Yes   |    1 |
| utf8_general_ci    | utf8   | 33 | Yes   | Yes   |    1 |
| utf8_bin       | utf8   | 83 |     | Yes   |    1 |
| utf8_unicode_ci    | utf8   | 192 |     | Yes   |    8 |
| utf8_icelandic_ci   | utf8   | 193 |     | Yes   |    8 |
| utf8_latvian_ci    | utf8   | 194 |     | Yes   |    8 |
| utf8_romanian_ci   | utf8   | 195 |     | Yes   |    8 |
| utf8_slovenian_ci   | utf8   | 196 |     | Yes   |    8 |
| utf8_polish_ci    | utf8   | 197 |     | Yes   |    8 |
| utf8_estonian_ci   | utf8   | 198 |     | Yes   |    8 |
+-----------------------+----------+-----+---------+----------+---------+
195 rows in set (0.00 sec)

我们可以看到,结果中一共有195中比较规则,其中,每种字符集都包含自己默认的校验规则,我们简单解释一条:utf8_polish_ci以波兰语为规则进行对比,这个校验规则由三个部分组成,比较规则名称以与其关联的字符集的名称开头,utf8是指的是utf8字符集的比较规则,polish指的是波兰语,_ci指的是不区分大小写。

针对最后面的后缀,我们可以总结如下:

_ai    不区分重音

_as    区分重音

_ci    case insensitive(不敏感)   不区分大小写

_cs    case sensitive(敏感)         区分大小写

_bin  二进制

上面的结果中,我们还可以看到,一些校验规则的default列的值是yes,就代表这个校验规则是该字符集的默认校验规则。

4 服务器上的字符集和比较规则

mysql提供了两个系统变量来表示服务器级别的字符集和比较规则,一个是character_set_sever,另外一个是collation_server,我们可以查看它们的默认值:

mysql--dba_admin@127.0.0.1:(none) 23:12:28>>show variables like 'character_set_server' ;
+----------------------+-------+
| Variable_name    | Value |
+----------------------+-------+
| character_set_server | utf8 |
+----------------------+-------+
1 row in set (0.00 sec)

mysql--dba_admin@127.0.0.1:(none) 23:12:47>>show variables like 'collation_server';
+------------------+-----------------+
| Variable_name  | Value      |
+------------------+-----------------+
| collation_server | utf8_general_ci |
+------------------+-----------------+
1 row in set (0.00 sec)

mysql--dba_admin@127.0.0.1:(none) 23:12:57>>

在mysql中,字符集和校验规则分为4个级别,分别是服务器级别、数据库级别、表级别以及字段级别,这里我们分别举例子来看:

数据库级别
mysql 23:23:48>>create database yyz character set utf8 collate utf8_general_ci ;
Query OK, 1 row affected (0.01 sec)

表级别
mysql 23:24:23>>create table yyz.yyz ( name varchar(10) ) charset gb2312 collate gb2312_chinese_ci;
Query OK, 0 rows affected (0.04 sec)

字段级别
mysql 23:27:06>>
mysql--dba_admin@127.0.0.1:(none) 23:27:06>>alter table yyz.yyz add num varchar(10) charset gbk collate gbk_chinese_ci;
Query OK, 0 rows affected (0.11 sec)
Records: 0 Duplicates: 0 Warnings: 0

查看结果
mysql 23:28:27>>show create table yyz.yyz;
+-------+---------------------------------------------------------------------------------------------------------------------------------------------------+
| Table | Create Table                                                                   |
+-------+---------------------------------------------------------------------------------------------------------------------------------------------------+
| yyz  | CREATE TABLE `yyz` (
 `name` varchar(10) DEFAULT NULL,
 `num` varchar(10) CHARACTER SET gbk DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=gb2312 |
+-------+---------------------------------------------------------------------------------------------------------------------------------------------------+
1 row in set (0.00 sec)

由于字符集和比较规则是互相有联系的,如果我们只修改了字符集,比较规则也会跟着变化,如果只修改了比较规则,字符集也会跟着变化,具体规则如下:

只修改字符集,则比较规则将变为修改后的字符集默认的比较规则。
只修改比较规则,则字符集将变为修改后的比较规则对应的字符集。

还有下面4条需要记住:

  • 对于数据库来说,如果创建和修改数据库的语句中没有致命字符集和比较规则,将使用服务器级别的字符集和比较规则作为数据库的字符集和比较规则
  • 对于某个表来说,如果创建和修改表的语句中没有指明字符集和比较规则,将使用该表所在数据库的字符集和比较规则作为该表的字符集和比较规则;
  • 对于某个列来说,如果在创建和修改的语句中没有指明字符集和比较规则,将使用该列所在表的字符集和比较规则作为该列的字符集和比较规则。
  • 对于存储字符串的列,同一个表中的不同的列也可以有不同的字符集和比较规则

以上就是详解mysql中的字符集和校验规则的详细内容,更多关于mysql中的字符集和校验规则的资料请关注我们其它相关文章!

(0)

相关推荐

  • 关于mysql查询字符集不匹配问题的解决方法

    发现问题 最近在工作中遇到一个问题,MySQL数据库建表的时候采用的是latin的字符集,而网页中查询的是utf-8,当输入页面输入中文,然后再数据库中查询的时候,就会报出 ER_CANT_AGGREGATE_2COLLATIONS: Illegal mix of collations (latin1_swedish_ci,IMPLICIT) and (utf8_general_ci,COERCIBLE) for operation '=' 这个错误,所以在stackover flow 中找到了

  • MySQL中因字段字符集不同导致索引不能命中的解决方法

    什么是索引?为什么要建立索引? 索引用于快速找出在某个列中有一特定值的行,不使用索引,MySQL必须从第一条记录开始读完整个表,直到找出相关的行,表越大,查询数据所花费的时间就越多,如果表中查询的列有一个索引,MySQL能够快速到达一个位置去搜索数据文件,而不必查看所有数据,那么将会节省很大一部分时间. 例如:有一张person表,其中有2W条记录,记录着2W个人的信息.有一个Phone的字段记录每个人的电话号码,现在想要查询出电话号码为xxxx的人的信息. 如果没有索引,那么将从表中第一条记录

  • mysql如何在已有数据库上统一字符集

    前言 数据库里面,部分数据表和数据是latin1的,部分数据表和数据是UTF8,还有部分表,表结构是utf8而数据是latin1. 这种奇葩情况,工作了十几年的我,还是第一次碰到.下面说一下,怎么样字符集统一成utf8 1,建一个空数据库 2,把表结构和数据是utf8的表导出,然后直接导入到新的数据库中 3,数据表和数据都是latin1的表,先导出表结构和数据,加上--default-character-set=latin1,将导出文件中,latin1改为utf8,在导入到新的数据库中. 4,表

  • MySQL查看与修改字符集的方法实例教程

    一.查看字符集 1.查看MYSQL数据库服务器和数据库字符集 方法一:show variables like '%character%'; 方法二:show variables like 'collation%'; mysql> show variables like '%character%'; +--------------------------+--------------------------------------+ | Variable_name | Value | +-----

  • MySQL字符集utf8修改为utf8mb4的方法步骤

    对于mysql 5.5 而言,如果不设定字符集,mysql默认的字符集是 latin1 拉丁文字符集: 但随着各种业务的进一步发展,除了各个国家的本身语言字符,经常也会有一些表情符号出现在应用程序中,而在mysql 5.5 之前,UTF-8编码只支持1-3个字节,支持BMP这部分的Unicode编码区:从MySQL 5.5开始,可以支持4个字节UTF编码 utf8mb4 ,一个字符能够支持更多的字符集,也能够支持更多表情符号. utf8mb4兼容utf8,且比utf8能表示更多的字符,是utf8

  • 详解JDBC对Mysql utf8mb4字符集的处理

    写在前面 在开发微信小程序的时候,评论服务模块希望添加上emoji表情,但是emoji表情是4个字节长度的,所以需要进行设置 当前项目是JAVA编写, 使用JDBC连接操作数据库, 如下针对的JDBC操作的解决方案 一.JDBC的URL的正常操作 复制代码 代码如下: jdbc.url=jdbc:mysql://HOST:3306/your_database?useUnicode=true&characterEncoding=utf8&useSSL=false 在连接配置中,声明UTF-8

  • 如何修改MySQL字符集

    一.查看MySQL的字符集 show variables like '%char%'; 二.修改MySQL配置文件 不是安装目录,是数据目录. 我是用sublime打开的. 进去之后,在三个地方增加配置. 第一个: [client] default-character-set=utf8 第二个: [mysql] default-character-set=utf8 第三个: [mysqld] character-set-client-handshake = FALSE character-set

  • MySQL字符集乱码及解决方案分享

    前言 字符集是一套符号和编码的规则,不论是在oracle数据库还是在mysql数据库,都存在字符集的选择问题,而且如果在数据库创建阶段没有正确选择字符集,那么可能在后期需要更换字符集,而字符集的更换是代价比较高的操作,也存在一定的风险,所以,我们推荐在应用开始阶段,就按照需求正确的选择合适的字符集,避免后期不必要的调整. 实战 1.安装MySQL数据库 2.乱码演示 mysql> show variables like 'character_set%'; +-------------------

  • Docker下mysql设置字符集的方法

    Mysql的官方镜像mysql:8,可用以下命令启动容器: docker run --name mysql002 -p 3306:3306 -e MYSQL_ROOT_PASSWORD=888888 -idt mysql:8 如果用Springboot的JPA starter访问此数据库,由于数据库没有设置字符集,springboot应用会抛出以下异常: java.sql.SQLException: Unknown initial character set index '255' receiv

  • MAC下修改mysql默认字符集为utf8的方法

    1,检查默认安装的mysql的字符集 mysql> show variables like '%char%'; +--------------------------+--------------------------------------------------------+ | Variable_name            | Value                                                  | +---------------------

  • mysql数据库中字符集乱码问题原因及解决

    前言 有的时候我们在查看数据库数据时,会看到乱码.实际上,无论何种数据库只要出现乱码问题,这大多是由于数据库字符集设定的问题. 下面我们就介绍一下,数据库的字符集的设定及乱码问题的解决. mysql数据库的字符集 直白的说,字符就像是单个的文字,编码就像是给每个文字的编号,字符集就像是字符与编码的集合,校验规则就是字符集的对应的排序规则,字符集加上对应的校验规则就是语言.(每种字符集可以有多种校对规则,但都有一个默认的校对规则) mysql数据库可以通过设定字符集,来使用对应的字符集和检验规则来

随机推荐