Ascii,Unicode和utf-8的发展演变,java下字符和字节关系

古城微笑少年丶 2022-06-08 09:57 104阅读 0赞

出现ascii码:

开始计算机只在美国用。八位的字节一共可以组合出256(2的8次方)种不同的状态,此时传输英文的各种字母字符或控制码足够了.

出现GB2312和GBK

后来计算机在中国使用,大家使用中文,但是中文很多7千多个中文,都需要表示,所以将ascii码改造(即一个小于127的字符的意义与原来相同，但两个大于127的字符连在一起时，就表示一个汉字,注意此时一定大于127)后产生了GB2312,此时包含7000多个简体汉字\\希腊字母和数字;后来发现还是不够用,于是不再要求低字节一定是127号之后的内码,只要第一个字节是大于127就固定表示这是一个汉字的开始,此时产生了GBK;

出现unicode

此后出现了很多类似中国对ascii码的改造;国际组织出现了,定义了unicode,其只是一个用来映射字符和数字的标准,对支持字符的数量没有限制,也不要求字符必须占两个字节;unicode目前的规划总空间是17个平面(0-16),每个平面有65536个码点;

出现utf-16

为解决unicode如何在网络上传输的问题,每次传输都是以16位(2字节)为单位.

为什么在utf-8下 英文1char=1byte 中文1char=3byte

但是此时如果传输的英文则会也是传输两个字节,而实际上一个字节刚刚好,这样就浪费了50%的带宽.所以出现了下面的utf-8编码;

是一种变长的编码方式。它可以使用1~4个字节表示一个符号，根据不同的符号而变化字节长度，当字符在ASCII码的范围时，就用一个字节表示，保留了ASCII字符一个字节的编码做为它的一部分，注意的是unicode一个中文字符占2个字节，而UTF-8一个中文字符占3个字节）

为什么utf-8编码时:英文 1char=1byte中文1char=3byte

首先当字符在ASCII码的范围时，就用一个字节表示，保留了ASCII字符一个字节的编码做为它的一部分,所以一个英文字符为1字节;

下面解决1中文字符对应三个字节的问题:

这是因为计算机并不知道到底是单个字节表示一个字符,还是连续多个字符一起表示一个字符;所以utf做了如下规定:

如果一个字符仅有一个字节,那么8位字节的第一位就为0

如果一个字符对应两个字节,规定第一个字节前两位都是1,然后第一个字节的第三位为0,第二个字节的前两位为10;

如果一个字符对应三个字节,规定第一个字节的前三位都是1,然后第一个字节的第四位为0,剩余两字节的前两位都是10;

有了以上规则,考虑中文字符如何用utf-8表示?

如果是两字节,此时因为第一个字节的前三位110,和第二个字节10共计占用了5位,所以真实用于表示中文的仅有11位,显然和unicode下一个字符由16位来表示相悖,所以使用三个字节来表示非ascii码.

有了上面的基础,回答以下问题:

Java中1字符等于几个字节?

Java规定:java的char是utf-16的code Unit,所以一定是16位(2字节),但是存在以下实例:

在utf-8的时候,new String(“字”).getBytes().length返回3,表示3个字节;其实应该区分内码和外码;

内码:程序内部使用的字符编码

外码:程序与外部交互时使用的字符编码

发表评论取消回复

表情：

评论列表（有 0 条评论，104人围观）

还没有评论，来说两句吧...

相关阅读

相关 COS系统的前端演变和发展

美团COS：全称美团网核心业务系统部，以持续整合O2O线下资源，共建高效率、低成本的供应链系统，高效推动O2O生态环境建设为业务目标，负责美团网核心业务系统的建设和管理。 C

桃扇骨/ 2023年10月17日 19:51/ 0 赞/ 17 阅读

相关 Unicode 和 UTF-8 之间的关系

一、ASCII 码我们知道，计算机内部，所有信息最终都是一个二进制值。每一个二进制位（bit）有`0`和`1`两种状态，因此八个二进制位就可以组合出256种状态，这被称

以你之姓@/ 2023年06月03日 11:51/ 0 赞/ 26 阅读

相关字符编码：ASCII，Unicode 和 UTF-8

以前遇到设置字符编码格式的时候，通常都是默认按照默认设置，一直以来都没有出什么问题，所以这块一直也就没有怎么管过。夜路走多了，总会遇到鬼，昨天就被字符的编码格式给坑了。学个乖，

亦凉/ 2022年11月20日 03:58/ 0 赞/ 302 阅读

相关 Python 字符编码学习-ascii编码，Unicode和UTF-8之间的关系

ascii编码，Unicode和UTF-8之间的关系 1，ascii编码，这是一种单字节编码，8位，一个char的长度。最多可以存放255中不同的字符。对于早期的计算机系

短命女/ 2022年08月17日 14:10/ 0 赞/ 197 阅读

相关 Java中的UTF-8、UTF-16编码字符所占字节数

> 前言：上一篇文章写了关于Unicode，以及utf-8、utf-16相关知识。所以本篇博文来验证在java环境下，字符在不同编码下所占的字计数。测试代码如下：

我就是我/ 2022年06月17日 13:12/ 0 赞/ 490 阅读

相关 UTF-8 GBK UTF8 GB2312 之间的区别和关系

UTF-8：Unicode TransformationFormat-8bit，允许含BOM，但通常不含BOM。是用以解决国际上字符的一种多字节编码，它对英文使用8位（即一个字

- 日理万妓/ 2022年06月12日 07:40/ 0 赞/ 231 阅读

相关 Ascii,Unicode和utf-8的发展演变,java下字符和字节关系

出现ascii码: 开始计算机只在美国用。八位的字节一共可以组合出256(2的8次方)种不同的状态,此时传输英文的各种字母字符或控制码足够了. 出现GB2312和GBK

古城微笑少年丶/ 2022年06月08日 09:57/ 0 赞/ 105 阅读

相关字符编码：ASCII，Unicode 和 UTF-8

字符编码是计算机技术的基石，想要熟练使用计算机，就必须懂得一点字符编码的知识。原文链接： [http://www.ruanyifeng.com/blog/2007/10

太过爱你忘了你带给我的痛/ 2022年05月31日 05:47/ 0 赞/ 405 阅读

相关字符编码：ASCII、Unicode和UTF-8

一、什么是字符编码？字符编码（英语：Character encoding）也称字集码，是把字符集中的字符编码为指定集合中某一对象（例如：比特模式、自然数序

分手后的思念是犯贱/ 2022年04月14日 07:13/ 0 赞/ 356 阅读

相关 unicode 和 utf-8字符编码的区别

作者：于洋链接：https://www.zhihu.com/question/23374078/answer/69732605 来源：知乎著作权归作者所有，转载

野性酷女/ 2022年03月30日 06:46/ 0 赞/ 251 阅读