UNICODE、UTF-8、UTF-16、ANSI的区别和联系

男娘i 2022-09-10 08:30 203阅读 0赞

**目录**

1.ASCII字符集(ASCII码)

2.ASCII扩展字符集

3.ANSI

3.UTF-8 编码

4.UCS-2 编码

5.UTF-16 编码

6.UTF-32 编码

7.Unicode字符集

--------------------

# 1.ASCII字符集(ASCII码) #

它是[美国标准信息交换代码][Link 1]（American Standard Code for Information Interchange）的缩写, 为美国英语通信所设计。它由128个[字符][Link 2]组成，包括大小写字母、数字0-9、标点符号、非[打印][Link 3]字符（换行符、[制表符][Link 4]等4个）以及[控制字符][Link 5]（退格、响铃等）组成。

# 2.ASCII扩展字符集 #

由于ASCII字符集是针对英语设计的，当处理带有音调标号（形如汉语的拼音）的亚洲文字时就会出现问题。因此，创建出了一些包括256个字符的由ASCII扩展的字符集。其中有一种通常被称为IBM字符集，它把值为128-255之间的字符用于画图和画线，以及一些特殊的欧洲字符。另一种8位字符集是[ISO 8859-1][]Latin 1，也简称为ISOLatin-1。它把位于128-255之间的[字符][Link 2]用于[拉丁字母表][Link 6]中特殊语言字符的编码，也因此而得名。

# 3.ANSI #

ANSI（American National Standard Institite）是美国国家标准学会（美国的一个非营利组织）的缩写。ANSI用来表示编码时不是指的一种特定的编码，它是WINDOWS为了语言本地化而生的，不同国家和地区的WINDOWS操作系统上面的语言会不一样，不同的语言就会有不同的编码，但是对同一台计算机而言，只会使用一种系统编码，可以理解为这台计算机的系统本地编码，微软把这各种各样的本地编码统称为**ANSI编码。ANSI只存在于Windows操作系统中。**

在简体中文Windows操作系统中，ANSI 编码代表 GB2312编码；在繁体中文Windows操作系统中，ANSI编码代表Big5；在日文Windows操作系统中，ANSI 编码代表 JIS 编码。

# 3.UTF-8 编码 #

**UTF-8 是 Unicode 的一种实现方式，UTF-8 是编码方式，而 Unicode 是字符集合。**

UTF-8是可变长的编码方式，UTF-8使用1~4字节为每个字符编码：

**·**一个ASCIl字符只需1字节编码（Unicode范围由U+0000~U+007F）。

**·**带有变音符号的拉丁文、希腊文、[西里尔字母][Link 7]、亚美尼亚语、希伯来文、阿拉伯文、叙利亚文等字母则需要2字节编码（Unicode范围由U+0080~U+07FF）。

**·**其他语言的字符（包括中日韩文字、东南亚文字、中东文字等）包含了大部分常用字，使用3字节编码。

**·**其他极少使用的语言字符使用4字节编码。

下表表示如何把一个从Unicode字符转化到UTF-8编码

<table style="width:392pt;"> 
 <tbody> 
 <tr> 
 <td style="vertical-align:bottom;width:126pt;">UNICODE编号</td> 
 <td style="vertical-align:bottom;width:266pt;">UTF-8字节流</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:bottom;">0x000000-0x00007F</td> 
 <td style="vertical-align:bottom;">0XXXXXXX</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:bottom;">0x000080-0x0007FF</td> 
 <td style="vertical-align:bottom;">110XXXXX 10XXXXXX</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:bottom;">0x008000-0x00FFFF</td> 
 <td style="vertical-align:bottom;">1110XXXX 10XXXXXX 10XXXXXX</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:bottom;">0x010000-0x10FFFF</td> 
 <td style="vertical-align:bottom;">11110XXXX 10XXXXXX 10XXXXXX 10XXXXXX</td> 
 </tr> 
 </tbody> 
</table>

例1：“汉”字的Unicode编码是0x6C49。0x6C49在0x0800-0xFFFF之间，使用用3字节模板了：1110xxxx 10xxxxxx 10xxxxxx。将0x6C49写成[二进制][Link 8]是： 0110 1100 0100 1001， 用这个[比特流][Link 9]依次代替模板中的x，得到：1110 0110 1011 0001 0100 1001，即E6 B1 89。

例2：[Unicode][]编码0x20C30在0x010000-0x10FFFF之间，使用用4字节模板了：11110xxx 10xxxxxx 10xxxxxx 10xxxxxx。将0x20C30写成21位[二进制数字][Link 10]（不足21位就在前面补0）：0 0010 0000 1100 0011 0000，用这个比特流依次代替模板中的x，得到：，即F0 A0 B0 B0。

UTF-8 是使用互联网上使用最广泛的 unicode 编码方式，市场份额占比90%以上。

# 4.UCS-2 编码 #

UCS-2 只使用了两个字节来表示1个字符，也就是说只能表示 65536 个字符，它只能表示 BMP 中的字符。

当前的 unicode 字符数量已远远超过了 UCS-2 的数量，因此 **UCS-2 虽然还在被好多软件使用，但它已经过期了。**

正因为 UCS-2 编码依然被许多软件使用，为了能够表示出 BMP 以外的平面内的字符，就产生了一种新的编码 UTF-16 编码。

# 5.UTF-16 编码 #

UTF-16 就是为了解决 UCS-2 编码的问题而生的，它扩展自 UCS-2。把Unicode编码记作U，则编码规则可表示为如下：

* 如果U<0x10000，使用2个字节表示
 * 如果U≥0x10000，使用 4 个字节表示

UTF-16 编码的市场份额和 UTF-8 比很小， 在web 页面中只占 0.01% 。而且主要在 windows 系统中使用， Unix/Linux 以及 MacOS 中很少使用。

# 6.UTF-32 编码 #

UTF-32 对 Unicode 中的每个字符都用 4 个字节来表示,占用的空间比其他编码要多的多，也正是这个原因，人们才用的很少。

# 7.Unicode字符集 #

Unicode只是规定了每个字符的编号，但是它并没有指定这些编号如何在计算机上存储。而不同的编码方式会以不同的规则对这些编号进行转换，使得字符能够被识别和传递。

[Link 1]: https://baike.baidu.com/item/%E7%BE%8E%E5%9B%BD%E6%A0%87%E5%87%86%E4%BF%A1%E6%81%AF%E4%BA%A4%E6%8D%A2%E4%BB%A3%E7%A0%81
[Link 2]: https://baike.baidu.com/item/%E5%AD%97%E7%AC%A6
[Link 3]: https://baike.baidu.com/item/%E6%89%93%E5%8D%B0
[Link 4]: https://baike.baidu.com/item/%E5%88%B6%E8%A1%A8%E7%AC%A6
[Link 5]: https://baike.baidu.com/item/%E6%8E%A7%E5%88%B6%E5%AD%97%E7%AC%A6
[ISO 8859-1]: https://baike.baidu.com/item/ISO%208859-1
[Link 6]: https://baike.baidu.com/item/%E6%8B%89%E4%B8%81%E5%AD%97%E6%AF%8D%E8%A1%A8/9753254
[Link 7]: https://baike.baidu.com/item/%E8%A5%BF%E9%87%8C%E5%B0%94%E5%AD%97%E6%AF%8D/11058406
[Link 8]: https://baike.baidu.com/item/%E4%BA%8C%E8%BF%9B%E5%88%B6/361457
[Link 9]: https://baike.baidu.com/item/%E6%AF%94%E7%89%B9%E6%B5%81/6435599
[Unicode]: https://baike.baidu.com/item/Unicode/750500
[Link 10]: https://baike.baidu.com/item/%E4%BA%8C%E8%BF%9B%E5%88%B6%E6%95%B0%E5%AD%97/5920908