计算机字符编码方式

📑来源

本文图片均收集自网络

⭐推荐

建议观看以下计算机字符编码方式科普视频

《锟斤拷是怎样炼成的——中文显示“入”门指南【柴知道】》，bilibili @ 柴知道

https://www.bilibili.com/video/BV1cB4y177QR

《你懂乱码吗？锟斤拷烫烫烫（详解 ASCII、Unicode、UTF-32、UTF-8编码）》，bilibili @ 林粒粒呀

https://www.bilibili.com/video/BV1xP4y1J7CS

基础概念

字符和字符集

**字符（character）**可以简单地理解为计算机表示信息的单位

像符号、数字、字母、文字、emoji 表情等肉眼能直接看见的文本或表情都是可见字符（打印字符）

像换行、回车、换页等肉眼不可见，但是却能对文本进行控制的不可见字符（控制字符）

不可见字符中，空格、回车、换行、水平制表、垂直制表还被称为空白字符

**字符集（character set）**就是字符的集合，如常见的 ASCII 字符集，GB2312 字符集，Unicode 字符集等

编号和编码

一个字符集会给每个字符都规定个数字编号

由于计算机只能识别 0 和 1，因而在计算机内部，所有的信息最终都表示为一个二进制串，比如 100111101100000，每一个二进制位（bit）有 0 和 1 两种状态，而将字符对应到一个二进制串的过程，叫做字符编码（character encoding）

💬注释

下文如无特殊说明，出于方便，编码均采用 16 进制数字进行表示，但实际上最终存储在计算机中还是 2 进制的数字

一般对于比较小的字符集不用考虑太多，一个字符集就只有一种编码方式，只要转换成二进制，一个字符的编号就是它的编码。但对像 Unicode 这种比较大的字符集就不一定是了，它有着多种编码方式，编号也不等于编码

字符集发展史

字符集有一个发展历史，ASCII 是最早出现的字符集，仅含有 128 个字符，但局限于英文字母和部分符号，无法适用于非英语国家和地区，即便是后来拓充成 ASICII 字符集也不够用

后来各个国家和地区都推出了自己的字符集，如中国大陆推出 GB2312、GBK、GB18030，中国港澳台地区推出 Big5 等

但各地标准不统一，同一个编码在不同字符集里对应的很可能是完全不同的字符，这就导致乱码现象，最终才出现相关组织意推出囊括全球的大一统字符集 UCS 和 Unicode

目前主流的字符集是 Unicode，采取 UTF-8 编码方式

GB2312、GBK、GB18030

发展历史

其实“GB”就是“国标”，“K”就是“扩”的意思

• 1980年， GB2312-80（我国的第一套汉字集标准），共包含7445个字符，其中6763个常用汉字
• 1995年，GBK，由GB2312-80（和港、台两种标准）扩展而来，共包含21886个字符，其中常用汉字14240个
• 2000年，GB18030-2000编码标准是由信息产业部和国家质量技术监督局在2000年3月17日联合发布的，并且作为一项国家标准在2001年的1月正式强制执行；增加了6351个字符，其中一部分为4字节字（four-byte encoding range）
• 2005年，GB18030-2005《信息技术中文编码字符集》是中国制订的以汉字为主并包含多种中国少数民族文字（如藏、蒙古、傣、彝、朝鲜、维吾尔文等）的超大型中文编码字符集强制性标准，其中收入汉字70000余个

GB2312 收录的是最常用的汉字，可以说我们用到的 99% 的汉字，都属于 GB2312 编码范围

目前用的最为广泛的中文字符集是 GBK

编码方式

📑对应

GB2312、GBK、GB18030 编码知识均学习自《彻底搞明白 GB2312、GBK 和 GB18030》

https://zhuanlan.zhihu.com/p/453675608

GB2312 把每个汉字都编码成两个字节，第一个字节称为"高位字节"，第二个字节称为"低位字节"

平常说的“英文字母单字节，中文汉字双字节”就出自于此

“半角”和“全角”的概念也出自于此，“半角”是占单字节的字符，“全角”是占双字节的字符，中文由于全是双字节因而没有半角和全角的区别，或者说中文全是全角。但英文和部分标点符号有半角和全角的区别，全角的英文和部分标点符号显示表现为更“胖”了

GBK 也是把每个汉字都编码成两个字节，但编码范围更广，涵盖字符数量更多

GB18030 是变长多字节编码，每个字或字符可以由一个，两个或四个字节组成

GB2312、GBK、GB18030 依次在前者的基础上扩充而来，因而都能向前兼容

Unicode

Unicode，也被称为万国码、统一码

狭义的 Unicode 就只是字符集，广义的 Unicode 是一套标准，包括了字符集和编码规则

Unicode 规定了每个字符的数字编号，这个 Unicode 编号被称为码点（code point）或码位（code position），通常在编号前面加上"U+"表示是 Unicode 的编号

Unicode 的实现方式，也就是编码方式，被称为 Unicode 转换格式（Unicode Transformation Format，UTF），目前有 UTF-8、UTF-16、UTF-32 几套方案

考虑到存储空间、格式识别等一系列因素，码点一般都不等于编码，需要进行一定的处理才形成编码

如对于字符“你”而言

💬相关

Unicode 字符百科

https://unicode-table.com/cn/blocks/

编码方式

📑对应

Unicode 编码知识部分学习自《UTF8、UTF16、UTF32区别》

https://blog.csdn.net/zhaohong_bo/article/details/89196938

UTF-8：当编码为一个字节，则设最高比特位为 0，当编码超过一个字节，则需要几个字节，就在第一个字节从最高位开始令连续的几个比特位为 1，之后的字节最高位为 10

UTF-16：使用2或4个字节进行存储。对于 Unicode 编号范围在 0~FFFF 之间的字符，统一用两个字节存储，无需字符转换，直接存储 Unicode 编号。对于 Unicode 字符编号在 10000-10FFFF 之间的字符，UTF-16 用四个字节存储

UTF-32：用固定长度的字节存储字符编码，不管 Unicode 字符编号需要几个字节，全部都用 4 个字节存储，直接存储Unicode 编号

平面

目前的 Unicode 字符分为 17 组编排，每组称为一个平面（Plane），而每平面拥有 65536（即 2¹⁶）个码点

每个平面还根据用途划分成若干个区块（Block），区块相当于把同类字符放在一起，方便检索和补充

而首个 16 位统一码字符的平面称为基本多文种平面（BMP），写成 16 进制就是从 U+0000 到 U+FFFF，剩下还有 16 个辅助平面（SMP），码点范围从 U+010000 一直到 U+10FFFF，绝大部分的常见字符都在首个平面

这 17 个平面结合起来至少需要占据 21 位的空间，也就是差不多 3 个字节（24 位），而辅助平面实际上是用 4 个字节表示，方便以后向后扩展。

• 第 0 平面称为BMP（Basic Multilingual Plane）平面，又称为基本多文种平面

• 第 1 辅助平面称为 SMP（Supplementary Multilingual Plane）平面，又称为多文种补充平面，主要摆放拼音文字及符号

• 第 2 辅助平面称为 SIP（Supplementary Ideographic Plane）平面，又称为表意文字补充平面，其范围为 20000-2FFFF。

• 第 3 辅助平面称为 TIP（Tertiary Ideographic Plane）平面，又称为表意文字第三平面，其范围为 30000-3FFFF

• 第 4 至 13 辅助平面尚未使用

• 第 14 辅助平面称为 SSP（Supplementary Special-purpose Plane）平面，又称为特殊用途补充平面，摆放语言标签（Language Tags）和异体字选择器（Variation Selectors）,这些都是控制字符，其范围为 E0000-EFFFF

• 第 15 辅助平面为补充私人使用区-A （Supplementary Private Use Area-A），其范围为 F0000-FFFFF

• 第 16 辅助平面为补充私人使用区-B（Supplementary Private Use Area-B），其范围为 100000-10FFFF

emoji

emoji 表情也可以被称作绘文字、彩色象形字符，算是一类特殊的字符，如 。最开始的 emoji 源于日语“絵文字”，是日本手机使用的表情，后来才被部分收录进 Unicode 字符集

起初，Unicode 中的 emoji 表情只有黑色，而随着 emoji 表情的发展，越来越多 emoji 表情开始有了彩色版本

此处额外提及一下另一个词“颜文字”，源于日语“顔文字（kaomoji）”，颜文字是指用若干个字符排列成表情的样子，如 O(∩_∩)O ，和 emoji 表情完全不是一个概念，但有的地方会把二者混为一谈

💬相关

目前 Unicode 中收录的所有 emoji 表情

https://www.unicode.org/emoji/charts/emoji-list.html

各版本 Unicode 中收录的 emoji 表情的相关数据

https://unicode.org/Public/emoji/

Unicode 只是规定了 emoji 的码点和含义，并没有规定它具体表现成什么形式，Unicode 联盟主要负责的就是 emoji 的审核、管理和编码等工作，而设计 emoji 外观的任务则交到了各平台手里

有的平台出于规避版权风险，有的平台出于自己的设计理论、品牌风格来重新设计 Emoji 表情。比如有的 Emoji 表情富有立体感，并含有着渐变和阴影的细节，有的 Emoji 表情趋于扁平简约化

因而发出去同个 emoji 表情（同个码位），在不同平台上看到的样式可能是截然不同的

💬相关

emoji 的百科网站

网站 Emojipedia

https://emojipedia.org/zh/

网站 EmojiXD

https://emojixd.com/

网站 EMOJIALL

https://www.emojiall.com/zh-hans

输入

emoji 表情没有办法直接通过键盘输入，但可以通过复制粘贴，或通过码点输入 emoji 表情（对于其他 Unicode 字符也同样适用）

• dddd是十进制码点，hhhh 是十六进制码点
• 在 HTML 中，可以写成 HTML 实体 &#dddd; 或 &#xhhhh;
• 在 CSS 中，可以写成 \hhhh
• 在 JavaScript 中，可以写成 \uhhhh
• 在部分平台上（如 GitHub、Slack 等），可以使用 emoji 简短代码（Emoji Shortcode）
• 有的平台可能会有特定的快捷输入 emoji 的方式

以 emoji 表情为例，可以将其码点 U+1F600 写成 HTML 形式 😀（十进制）或 😀（十六进制），CSS 形式 \1F600，JavaScript 形式 \uD83D\uDE00（辅助平面的字符需借助 UTF-16 编码成 8 位），在部分平台上简短代码 :grinning:，

💬相关

emoji 简短代码介绍

https://www.emojiall.com/zh-hans/help-shortcode

微信快捷输入 emoji 表情方法

https://www.emojiall.com/zh-hans/platform-wechat

序列

📑对应

emoji 序列相关知识学习自《emoji 编码规则介绍》

https://blog.csdn.net/chriscross/article/details/104746788

一个 emoji 表情，通常由一个 Unicode 码点表示，但也可以由多个 Unicode 码点组合成一个序列表示

但由于并不是所有的系统都支持最新的 emoji 标准，因而在有的系统上，多个 Unicode 码点组合成一个序列表示 emoji 表情会被拆成多个 emoji 表情进行显示

表示序列

有些字符，它既可以显示成黑白文本，也可以显示成彩色 emoji 表情，有的默认显示为前者，有的默认显示为后者，此处列举几个

表示序列（emoji presentation sequence），用于说明一个字符显示为文本还是 emoji 表情

如果一个字符后面加上 U+FE0E，那么它就作为文本显示

如果一个字符后面加上 U+FE0F，那么它就作为 emoji 表情显示

📋格式

基础字符 + 显示方式 = 文本/emoji表情

📝例子

⛄（U+26C4） + U+FE0E = ⛄︎（U+26C4 U+FE0E）

📝例子

修饰序列

修饰序列（emoji modifier sequence），由一个基础字符（base）和一个修饰字符（modifier）组成，主要用来修改 emoji 表情中人的肤色

📋格式

基础 emoji 表情 + 肤色 = 对应肤色的 emoji 表情

📝例子

🧑（U+1F9D1） + 🏾（U+1F3FE） = 👨🏾（U+1F9D1 U+1F3FE）

💬相关

emoji 肤色类型

https://www.arpansa.gov.au/sites/default/files/legacy/pubs/RadiationProtection/FitzpatrickSkinType.pdf

旗帜序列

旗帜序列（emoji flag sequence）

📋格式

区域指标字母1 + 区域指标字母2 = 2个字母组成的国家码对应的国旗

📝例子

🇨（U+1F1E8） + 🇳（U+1F1F3） = 🇨🇳（U+1F1E8 U+1F1F3）

键盘序列

键盘序列（emoji keycap sequence）

📋格式

数字 + U+FE0E + 方框 = 数字键盘

📝例子

2（U+0032） + U+FE0F + ⃣ （U+20E3） = 2️⃣ （U+0032 U+FE0F U+20E3）

零宽连接序列

零宽连接序列（emoji zero width joint sequence），通过 ZWJ 等宽连接符（U+200D），对多个 emoji 表情进行组合

目前有 5 种组合方式

📋格式

emoji 表情1 + U+200D + emoji 表情2 = 合成 emoji 表情

📝例子

👨‍（U+1F468） + U+200D + 👩‍（U+1F469） + U+200D + 👧‍（U+1F467）= 👨‍👩‍👧‍（U+1F468 U+200D U+1F469 U+200D U+1F467）