MySQL 请不要使用“utf-8”

骑猪看日落 2021-07-31 14:55 367阅读 0赞

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg]

阅读用时 ：5 min

**用MySQL的朋友们请不要使用"utf8"，请使用"utf8mb4"**

今天我试图把UTF-8编码的字符串插入使用“utf8”编码的MariaDB数据库中，Rails抛出一个古怪的异常:

Incorrect string value: ‘\xF0\x9F\x98\x83 <…’ for column ‘summary’ at row 1

一切都很UTF-8：UTF-8 client，UTF-8的服务器，UTF-8编码的数据库，使用UTF-8的字符集。“? <…”是个有效的UTF-8字符串。

但是问题的关键是：MySQL数据库的 “**utf8**”并不是真正概念里的* UTF-8。*

MySQL中的“utf8”编码只支持最大3字节每字符。真正的大家正在使用的UTF-8编码是应该能支持4字节每个字符。

MySQL的开发者没有修复这个bug。他们在2010年增加了一个变通的方法：一个新的字符集“**utf8mb4**”

当然，他们并没有对外公布（可能因为这个bug有点尴尬）。现在很多指南推荐用户使用“utf8”其实都错了。

简单的说:

MySQL中的 “utf8mb4” 才是 真正意义上的“UTF-8”。

MySQL的“utf8”是个“特殊的字符编码”。这种编码很多Unicode字符保存不了。

我强烈建议MySQL和MariaDB用户使用“utf8mb4”而不是“utf8”。

**编码是什么？****什么是UTF-8？**

Joel on Software上有一遍我最喜欢的介绍，我精简描述如下：

计算机使用0和1存储文字。比如第一段第一个字符存储为“01000011”表示“C”，计算机通过以下两个步骤选择用“C”表示：

计算机读取到“01000011”后计算出这是数字67。

计算机通过查找Unicode字符集来确认67代表的“C”。

同样的事情发生在我打字输入C的时候。

计算机通过Unicode字符集将“C” 映射为67。

计算机把67编码为“01000011”发送给web服务器。

几乎所有的程序和互联网应用使用Unicode字符集。

Unicode字符集里有超过100万个字符(“C” 和 “?” 是两种不同的字符。)。UTF-32是最简单的编码方式，它在表示每个字符的时候使用32个bits。这样编码简单，但是并不实用，明显浪费了太多的空间。

UTF-8相比UTF-32更加节约空间。在UTF-8中，像“C”这样的字符占用8bits，“?”这样的占用32 bits。其他字符占用16或者24 bits。如本篇这样的文章用UTF-8存储比用UTF-32节省4倍左右的空间。更小的空间占用也意味着加载速度会快上4倍。

而MySQL中的 “utf8”字符集则和其他应用行为不一样。比如根本没法表示“?”。

**一点关于MySQL的历史**

为什么MySQL的开发者开发了一个奇怪的“utf8”。我们可以通过提交的日志来揣测一下。

MySQL从4.1版开始支持UTF-8。那是在比今天UTF-8 RFC 3629标准更早的2003年。

在此之前的UTF-8标准,RFC 2279中规定6个bytes表示一个字符。MySQL的开发者在2002.3.28编码实现了RFC 2279 。并发布了pre-pre-release 的 MySQL 4.1

然后在9月出现了一个神秘的字节调整。“UTF8 now works with up to3 byte sequences only.”

是谁提交了这次更新？为什么？我无法解答。MySQL的源码移到Git后丢失了旧的作者信息（MySQL 曾经和linux内核一样使用BitKeeper）

但是我大概能猜出来原因。

回到2002年，如果用户可以保证表中的每一行具有相同的字节数，MySQL就可以提高用户的速度。为了得到这个提升，用户就需要定义保存文字的列为“CHAR”。一个“CHAR”列总是拥有相同的字符数。如果存入的字符较少则会在最后补齐空白。如果存入的数据过多则会被抛弃多余的字符。

当MySQL的开发者第一次尝试以6字节每字符实现UTF-8时，他们意识到CHAR(1)的列会占用6字节，CHAR(2)会占用12字节，以此类推。

显而易见的是，这个没有被使用的实现方式是正确的，任何一个理解UTF-8的开发者将会认同这一点。

我的猜测是：MySQL的开发者违背了“utf8”编码去帮助那些1)试图去优化空间和速度的人，2）尝试优化空间和速度失败的人。

这是个无人获益的改动。那些想要更快性能，更小空间的得到的依然是比他们曾经使用版本更大更慢的实现，而那些想要正确的“utf8”的人得到的是个“?”都存储不了的实现。

MySQL发布了这个错误的版本后，在也没有修复它：因为那样很多使用者将被迫重建他们的数据库。MySQL最终在2010年更新了一个以“utf8mb4”命名的UTF-8实现。

**Why it’s so frustrating**

这周我过得很操蛋。我遇到一个很难发现的bug，就因为我被“utf8”这个名字给愚弄了。而且我也不是个案，我发现几乎每篇推荐使用“utf8”的文章都错了。

“utf8”的命名在mysql依然是错的。这是个专有的实现。这造成了新的问题，而且没有解决他应该解决的问题。

如果你使用MySQL或者 MariaDB,不要使用“utf8”，应该总是使用“utf8mb4”，否则总有一天会遇到头疼的事情。

译文 | https://www.jianshu.com/p/ab9aa8d4df7d

原文地址：https://medium.com/@adamhooper/in-mysql-never-use-utf8-use-utf8mb4-11761243e434

如果喜欢本篇文章，欢迎转发、点赞。关注订阅号「Web项目聚集地」，回复「技术博文」即可获取更多图文教程、技术博文。

**转发、留言、点个赞，你说咋办就咋办！**

--------------------

推荐阅读

***1.***

***2.***

***3.***

***4. ***

***5.***

***6.***

***7.***

***8. ***

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 1]

[640_wx_fmt_jpeg]: /images/20210731/7612e334e7094467a2205a083ad5ea18.png?wx_fmt=jpeg
[640_wx_fmt_jpeg 1]: /images/20210731/e6f9fab7b65040a7a9611367a688f026.png?wx_fmt=jpeg

发表评论取消回复

表情：

评论列表（有 0 条评论，367人围观）

还没有评论，来说两句吧...

相关阅读

相关 MySQL的“ utf8 ”和“utf8mb4”

mysql中的“utf8”最大只支持3 个bytes,而真正的utf8编码(大家都使用的标准)，最大支持4个bytes。正是由于mysql的utf8少一个b...

本是古典何须时尚/ 2024年04月17日 05:28/ 0 赞/ 63 阅读

相关不要在MySQL中使用"utf8"，请使用"utf8mb4"

最近我遇到了一个bug，我试着通过Rails在以“utf8”编码的MariaDB中保存一个UTF-8字符串，然后出现了一个离奇的错误： ![20190506104519963

红太狼/ 2023年10月18日 18:09/ 0 赞/ 105 阅读

相关请牢记：永远不要在MySQL中使用UTF-8

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ub

布满荆棘的人生/ 2023年01月19日 11:59/ 0 赞/ 2 阅读

相关 mysql 之utf8

因为要搞多语言版的项目，数据库是Mysql-4.1.9，使用PHP来操作Mysql，为了能使用utf8，今天搞了一天，终于搞定，期间也参考了好多资料，似乎都有问题，也许是没有找

偏执的太偏执、/ 2022年03月28日 16:07/ 0 赞/ 240 阅读

相关 MySql字符集：utf8和utf8mb4

结论： 1. 默认（MySql8.0.12版本）： ![在这里插入图片描述][20190122151253765.png] 2. 一般情况： ![

痛定思痛。/ 2022年03月24日 16:46/ 0 赞/ 357 阅读

相关记住：永远不要在MySQL中使用“utf8”，请使用“utf8mb4”

最近我遇到了一个bug，我试着通过Rails在以“utf8”编码的MariaDB中保存一个UTF-8字符串，然后出现了一个离奇的错误： Incorrect

我会带着你远行/ 2022年01月29日 20:07/ 0 赞/ 308 阅读

相关【开源组件】记住：不要在MySQL中使用UTF-8

最近我遇到了一个bug，我试着通过Rails在以“utf8”编码的MariaDB中保存一个UTF-8字符串，然后出现了一个离奇的错误： ![【开源组件】记住：不要在MySQ

迷南。/ 2022年01月16日 19:41/ 0 赞/ 212 阅读

相关 mysql 设置utf8

[client] default-character-set=utf8 [mysql] default-character-set=utf8 [mysqld] coll

川长思鸟来/ 2021年12月21日 07:15/ 0 赞/ 278 阅读

相关 MySQL中使用utf8mb4而不是utf-8

介绍 > “utf8”只支持每个字符最多三个字节，而真正的 UTF-8 是每个字符最多四个字节。详述 > MySQL 的“utf8mb4”是真正的“UTF-8”

红太狼/ 2021年10月31日 16:22/ 0 赞/ 323 阅读

相关 MySQL 请不要使用“utf-8”

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg] 阅读用时：5 min 用MySQL的朋友们请不要使用"utf8"，请使用"utf8mb4" 今

骑猪看日落/ 2021年07月31日 14:55/ 0 赞/ 368 阅读