字符集介绍

蔚落 2022-06-12 22:47 172阅读 0赞

从本质上来说，计算机只能识别二进制代码，因此，不论是计算机程序还是其处理的数  
据，最终都必须转换成二进制码，计算机才能认识。为了使计算机不仅能做科学计算，也能  
处理文字信息，人们想出了给每个文字符号编码以便于计算机识别处理的办法，这就是计算  
机字符集的由来。  
        简单地说字符集就是一套文字符号及其编码、比较规则的集合。1960 年代初期，美国  
标准化组织 ANSI 发布了第一个计算机字符集──ASCII（American Standard Code for  
Information Interchange），后来进一步变成了国际标准 ISO-646。这个字符集采用 7 位编码，  
定义了包括大小写英文字母、阿拉伯数字和标点符号，以及 33 个控制符号等。虽然现在看  
来，这个美式的字符集很简单，包括的符号也很少，但直到今天它依然是计算机世界里奠基  
性的标准，其后制定的各种字符集基本都兼容 ASCII 字符集。  
自 ASCII 之后，为了处理不同的文字，各大计算机公司、各国政府、标准化组织等先后  
        发明了几百种字符集，如大家熟悉的 ISO-8859 系列、GB2312-80、GBK、BIG5 等。这些五花  
八门的字符集，从收录的字符到编码规则各不相同，给计算机软件开发和移植带来了很大困  
难。一个软件要在使用不同文字的国家或地区发布，必须进行本地化开发！基于这个原因，  
统一字符编码，成了 1980 年代计算机业的迫切需要和普遍共识。  
        为了统一字符编码，国际标准化组织ISO（International Organization for Standardization）的一  
些成员国于1984年发起制定新的国际字符集标准，以容纳全世界各种语言文字和符号。这个  
标准最后叫做“Universal Multiple-Octet Coded Character Set” ，简称UCS，标准编号则定为  
ISO-10646。ISO-10646标准采用4字节（32bit）编码，因此简称UCS-4。具体编码规则是：将  
代码空间划分为组（group）、面（plane）、行（row）和格（ceil）；第1个字节代表组（group），  
第2个字节代表面（plane），第3个字节代表行（row），第4个字节代表格（ceil），并规定字  
符编码的第32位必须为0，且每个面（plane）的最后两个码位FFFEh和FFFFh保留不用；因此，  
ISO-1064共有128个群组（0～0x7F），每个群组有256个字面（00～0xFF），每个字面有256行  
（00～0xFF）， 每行包括256格 （0～0xFF）， 共有256 \* 128 = 32,768 个字面， 每个字面有256×256  
－2＝65,534个码位，合计65534×32768＝2,147,418,112 个码位。  
         ISO-10646发布以后，遭到了部分美国计算机公司的反对。1988年Xerox公司提议制定新的以  
16位编码的统一字符集Unicode，并联合Apple、IBM、DEC、Sun、Microsoft、Novell等公司成  
立Unicode协会（The Unicode Consortium），并成立Unicode技术委员会（Unicode Technical  
Committee），专门负责Unicode文字的搜集、整理和编码，并于1991年推出了Unicode 1.0。  
都是为了解决字符编码统一问题，ISO和Unicode协会却推出了两个不同的编码标准，这显然  
是不利的。 后来， 大家都认识到了这一点， 经过双方谈判， 1991年10月达成协议， ISO将Unicode  
编码并入ISO-10646的0组0字面，叫作基本多语言文字面（Basic Multi-lingual Plane, BMP），  
共有65,534个码位，并根据不同用途分为若干区域。除BMP外的32,767个字面又分为辅助字  
面（supplementary planes）和专用字面（private use planes）两部分，辅助字面用以收录  
ISO-10646后续搜集的各国文字， 专用字面供使用者自定义收录ISO-10646未收录的文字符号。  
其实， 大部分用户只使用BMP字面就足够了， 早期的ISO-10646-1标准也只要求实现BMP字面，  
这样只需要2字节来编码就足够了，Unicode也正是这么做的，这叫作ISO-10646编码的基本  
面形式，简称为UCS-2编码，UCS-2编码转换成UCS-4编码也很容易，只要在前面加两个取值  
为0的字节即可。  
        ISO-10646的编码空间足以容纳人类从古至今使用过的所有文字和符号，但其实许多文字符  
号都已经很少使用了，超过99%的在用文字符号都编入了BMP，因此，绝大部分情况下，  
Unicode的双字节编码方式都能满足需求，而这种双字节编码方式比起ISO-10646的4字节原  
始编码来说， 在节省内存和处理时间上都具有优势， 这也是Unicode编码方式更流行的原因。  
但如果万一要使用ISO-10646 BMP字面以外的文字怎么办呢？Unicode提出了名为UTF-16或  
代理法（surrogates）的解决方案，UTF是UCS/Unicode Transformation Format 的缩写。UTF-16  
的解决办法是：对BMP字面的编码保持二字节不变，对其他字面的文字按一定规则将其32  
位编码转换为两个16位的Unicode编码，其两个字节的取值范围分别限定为0xD800～0xDBFF  
和0xDC00～0xDFFF，因此，UTF-16共有（4×256）×（4×256）＝1048576个码位。  
虽然UTF-16解决了ISO-10646除BMP外第1至第15字面的编码问题，但当时的计算机和网络世  
界还是ASCII的天下，只能处理单字节数据流，UTF-16在离开Unicode环境后，在传输和处理  
中都存在问题。于是Unicode又提出了名为UTF-8的解决方案，UTF-8按一定规则将一个  
ISO-10646或Unicode字元码转换成1至4个字节的编码，其中将ASCII码（0～0x7F）转换成单  
字节编码，也就是严格兼容ASCII字符集；UTF-8的2字节编码，用以转换ISO-10646标准  
0x0080～0x07FF的UCS-4原始码；UTF-8的3字节编码，用以转换ISO-10646标准 0x0800～  
0xFFFF的UCS-4原始码；UTF-8的4字节编码，用以转换ISO-10646标准 0x00010000～0001FFFF  
的UCS-4原始码。  
        上述各种编码方式，看起来有点让人迷惑。其实，ISO-10646只是给每一个文字符号分配了  
一个4字节无符号整数编号 （UCS-4）， 并未规定在计算机中如何去表示这个无符号整数编号。  
UTF-16和UTF-8就是其两种变通表示方式。  
        ISO-10646与Unicode统一以后，两个组织虽然都继续发布各自的标准，但二者之间是一致的。  
由于Unicode最早投入应用，其编码方式更加普及，因此，许多人都知道Unicode，但对ISO-  
10646却了解不多。但由于二者是一致的，因此，区分ISO-10646和Unicode的意义也就不大  
了。现在，大家说Unicode和ISO-10646，一般指的是同一个东西，只是Unicode更直接、更普  
及罢了。二者不同版本的对应关系如下。  
   Unicode 2.0等同于ISO/IEC 10646-1:1993。  
   Unicode 3.0等同于ISO/IEC 10646-1:2000。  
   Unicode 4.0等同于ISO/IEC 10646:2003。  
        最后要说的是，UTF-16和UTF-32因字节序的不同，又有了UTF-16BE（Big Endian）、UTF-16LE  
（Little Endian）和UTF-32BE（Big Endian）、UTF-32LE（Little Endian）等，在此不做进一步介  
绍。  
       在计算机发展的不同阶段，我国也参照当时的国际标准和实际需要，制定了一些汉字字符集  
编码标准，主要包括：  
   GB2312-80：全称《信息交换用汉字编码字符集 基本集》，于 1980 年发布。根据 ISO/IEC  
2022 提供的字符编码扩充规范，形成双字节编码的字符集。收录了 6763 个常用汉字和 682  
个非汉字图形符号。  
   GB13000：全称《信息技术 通用多八位编码字符集(UCS) 第一部分：体系结构与基本多  
文种平面》，于 1993 年发布。根据 ISO/IEC 10646-1:1993，在 CJK（中、日、韩简称）统一汉  
字区和 CJK 统一汉字扩充区 A，除收录 GB2312-80 外，还收录了第 1、3、5、7 辅助集的全  
部汉字，共 27，484 个，以及一些偏旁部首等。但 GB13000 推出后，几乎没有得到业界的  
支持，也就成了一个形式上的标准。  
   GBK：全称《汉字内码扩展规范》1.0 版，发布于 1995 年。GBK 在 GB2312 内码系统的基  
础上进行了扩充，收录了 GB13000.1-1993 的全部 20902 个 CJK 统一汉字，包括 GB2312 的全  
部 6763 个汉字。 此外， 它增补编码了 52 个汉字， 13 个汉字结构符 （在 ISO/IEC 10646.1: 2000  
中称为表意文字描述符）和一些常用部首与汉字部件。在 GBK 的内码系统中，GB2312 汉字  
所在码位保持不便， 这样，保证了 GBK 对 GB2312 的完全兼容。同时， GBK 内码与 GB13000.1  
代码一一对应，为 GBK 向 GB13000.1 的转换提供了解决办法。有意思的是 GBK 并不是一个  
强制性的国家标准，只是一个行业指导规范，并没有强制力，但由于得到了 Microsoft  
Windows 95 的支持而大为流行。  
   GB18030：全称《信息技术信息交换用汉字编码字符集、基本集的扩充》，发布于 2000  
年。根据 ISO/IEC 10646-1:2000，收录了 ISO/IEC 10646.1: 2000 全部 27,484 个 CJK 统一汉字，  
13 个表意文字描述符、部分汉字部首和部件、欧元符号等。GB18030 采用 2 字节或 4 字节  
编码， 其二字节编码部分与 GBK 保持一致， 因此， GB18030 是 GBK 的超集， 也完全与 GB13000  
向上兼容，制定 GB18030 也是为了解决 GBK 强制力不够的问题。

以上简要介绍了几种汉字字符集，下面将一些常用字符集的特点归纳如图所示。

![Center][]

[Center]: /images/20220613/74909ba8f7644353b54bf07c613c1392.png