C/C++编程：字符编码和字符集

矫情吗；* 2022-05-19 12:47 277阅读 0赞

# 字符编码和字符集 #

## 多字节和宽字符文本 ##

对于多于256个字符的字符集，有两种不同的解决方案：多字节和宽字符表示法

*  在多字节表示法中，字符所用的byte个数是变动的，一个1-byte字符后面可跟一个3-byte字符，比如日本表意文字
 *  在宽字符表示法中，字符所用的byte个数是恒定的，与所表示的字符无关。典型的byte个数是2或者4。

多字节表示法比宽字符表示法更紧凑，所以：

*  多字节表示法常用来在程序外部存储数据
 *  宽字符表示法常在程序内部使用

宽字符：

#include <iostream>
    using namespace std;
     
    int main()
    {
    	const wchar_t *p(L"hello 星星");
     
    	cout << p << endl;   //p是地址
    	//wcout << p << endl;   //hello
    	wcout << *p << endl;     //h 
    }

结果：不能打印出宽字符

改进：

#include <iostream>
    #include <locale>
    using namespace std;
     
    int main()
    {
    	setlocale(LC_ALL, "zh-CN");
    	const wchar_t *p(L"hello 星星");
     
    	cout << p << endl;   //p是地址
    	wcout << p << endl;   //hello 星星
    	wcout << *p << endl;  //h 
    }

## 在C/C++中处理字符集 ##

C++提供如下字符类型用来处理不同的字符集

*  char、char16\_t，char32\_t
 *  wchar\_t：是所有被支持之locale中的最大扩充字符集内的字符，它通常等效于char16\_t或者char32\_t

注意，自C++11起，就可以在string literal(字符串字面量)时使用不同字符编码

## Character Trait ##

不同的字符集，不同的表述，这给string和IO的处理带来变数。比如对于不同表述，end-of-file值或字符的比较细节，都可能不同。

*  string和stream class可以针对内建类型实例化，特别是针对char、char16\_t、char32\_t、wchar\_t。但是内建类型的借口不可改变，因此引进了一个trait class（特征类），并将“如何处理和表述相关各方面”之细节统统放入该class中
 *  string和stream class都将trait class当作template实参：此实参的默认值是char\_traits并以string或stream获得的template实参为参数：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poaXpoZW5nZ3Vhbg_size_16_color_FFFFFF_t_70][]

*  Character trait的类型为char\_traits<>：

![20210301161744159.png][]

*  Trait class定义了字符类型的所有基本属性，并以静态组件形式定义出实现string和stream不可或缺的相关操作

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poaXpoZW5nZ3Vhbg_size_16_color_FFFFFF_t_70 1][]

## 特殊字符的国际化 ##

> 问：如何处理特殊字符（比如换行符）的国际化？

*  使用class basic\_ios<>的成员函数widen和narrow

![20210301162350984.png][]

![20210301162402195.png][]

# 常用字符集 #

ASCII及其扩展字符集  
作用：英语及西欧语言。  
位数：ASCII是用低7位（b7默认为0）表示，能表示128个字符；其扩展使用8位表示，表示256个字符。  
范围：ASCII从00到7F，扩展从00到FF。  
ISO-8859-1(1~16)字符集  
作用：扩展ASCII，表示西欧、希腊语等。  
位数：8位。  
范围：从00到FF，兼容ASCII字符集。  
[GB2312][]字符集  
作用：国家简体中文字符集，兼容ASCII。  
位数：使用2个字节表示，能表示7445个符号，包括6763个汉字，涵盖所有常用汉字。  
范围：高字节从A1到F7, 低字节从A1到FE。

[BIG5][]字符集  
作用：统一繁体字编码。  
位数：使用2个字节表示，总计13053个汉字。  
范围：高字节从A1到F9，低字节从40到7E，A1到FE。

SJIS字符集  
作用：日文字符编码。  
位数：使用2个字节表示，总计7724个字符。  
范围：高字节从81到9F, E0到FC，低字节从40到7E，80到FC。

EUC-KR字符集

作用：韩文字符编码。  
位数：使用2个字节表示，总结17048个字符  
范围：高字节从81到FD，低字节从40到7E，80到FE。

GBK字符集

作用：它是GB2312的扩展，加入对繁体字的支持，兼容GB2312。  
位数：使用2个字节表示，可表示21886个字符。  
范围：高字节从81到FE，低字节从40到FE （7F 除外）。  
GB18030字符集  
作用：它解决了中文、日文、朝鲜语等的编码，兼容GBK。  
位数：它采用变字节表示(1 ASCII，2，4字节)。可表示27484个文字。  
范围：1字节从00到7F; 2字节高字节从81到FE，低字节从40到7E和80到FE；4字节第一三字节从81到FE，第二四字节从30到39。  
UCS字符集  
作用：国际标准 ISO 10646 定义了通用字符集 (Universal Character Set)。它是与UNICODE同类的组织，UCS-2和UNICODE兼容。  
位数：它有UCS-2和UCS-4两种格式，分别是2字节和4字节。  
范围：目前，UCS-4只是在UCS-2前面加了0×0000。  
UNICODE字符集  
作用：为世界650种语言进行统一编码，兼容ISO-8859-1。  
位数：UNICODE字符集有多个编码方式，分别是UTF-8，UTF-16和UTF-32。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poaXpoZW5nZ3Vhbg_size_16_color_FFFFFF_t_70]: /images/20220519/dba5fc565a7b4a8692b9033320d7916a.png
[20210301161744159.png]: /images/20220519/2741cdd30a0e413980379121483f6c11.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poaXpoZW5nZ3Vhbg_size_16_color_FFFFFF_t_70 1]: /images/20220519/ca356177dd864c0d88ae69165d9e41fe.png
[20210301162350984.png]: /images/20220519/f0ff1abb3c7d41d7ac07d80bfd808080.png
[20210301162402195.png]: /images/20220519/154cc3eb31384672880ddf004720d68f.png
[GB2312]: http://blog.sina.com.cn/s/blog_5d8cc64101017x1d.html
[BIG5]: http://blog.sina.com.cn/s/blog_5d8cc64101017vzb.html