起源与发展

Unicode是为了解决传统的字符编码方案的局限而产生的，例如ISO 8859-1所定义的字符虽然在不同的国家中广泛地使用，可是在不同国家间却经常出现不兼容的情况。很多传统的编码方式都有一个共同的问题，即容许电脑处理双语环境（通常使用拉丁字母以及其本地语言），但却无法同时支持多语言环境（指可同时处理多种语言混合的情况）。

Unicode编码包含了不同写法的字，如“ ɑ ／ a ”、“強／强”、“戶／户／戸”。然而在汉字方面引起了一字多形的认定争议（详见中日韩统一表意文字主题）。

在文字处理方面，统一码为每一个字符而非字形定义唯一的代码（即一个整数）。换句话说，统一码以一种抽象的方式（即数字）来处理字符，并将视觉上的演绎工作（例如字体大小、外观形状、字体形态、文体等）留给其他软件来处理，例如网页浏览器或是文字处理器。

目前，几乎所有电脑系统都支持基本拉丁字母，并各自支持不同的其他编码方式。Unicode为了和它们相互兼容，其首256字符保留给ISO 8859-1所定义的字符，使既有的西欧语系文字的转换不需特别考量；并且把大量相同的字符重复编到不同的字符码中去，使得旧有纷杂的编码方式得以和Unicode编码间互相直接转换，而不会丢失任何信息。举例来说，全角格式区块包含了主要的拉丁字母的全角格式，在中文、日文、以及韩文字形当中，这些字符以全角的方式来呈现，而不以常见的半角形式显示，这对竖排文字和等宽排列文字有重要作用。

在表示一个Unicode的字符时，通常会用“U+”然后紧接着一组十六进制的数字来表示这一个字符。在基本多文种平面（英文：Basic Multilingual Plane，简写BMP。又称为“零号平面”、plane 0）里的所有字符，要用四个数字（即两个char,16bit ,例如U+4AE0，共支持六万多个字符）；在零号平面以外的字符则需要使用五个或六个数字。旧版的Unicode标准使用相近的标记方法，但却有些微小差异：在Unicode 3.0里使用“U-”然后紧接着八个数字，而“U+”则必须随后紧接着四个数字。

标准

位于美国加州的Unicode组织允许任何愿意支付会费的公司和个人加入，其成员包含了主要的电脑软硬件厂商，例如奥多比系统、苹果公司、惠普、IBM、微软、施乐等。

20世纪80年代末，组成Unicode组织的商业机构，和国际合作的国际标准化组织因为电脑普及和信息国际化的前提下，分别各自成立了Unicode组织 和ISO-10646工作小组。他们不久便发现对方的存在，大家为着相同的目的而工作。1991年，Unicode Consortium与ISO/IEC JTC1/SC2同意保持Unicode码表与ISO 10646标准保持兼容并密切协调各自标准进一步的扩展。虽然实际上两者的字集编码相同，但实质上两者确实为两个不同的标准。Unicode 1.1对应于ISO 10646-1:1993，Unicode 3.0对应于ISO 10646-1:2000，Unicode 3.2对应于ISO 10646-2:2001，Unicode 4.0对应于ISO 10646:2003，Unicode 5.0对应于ISO 10646:2003及附录1–3。

Unicode自版本2.0开始保持了向后兼容，即新的版本仅仅增加字符，原有字符不会或更名。

统一码联盟在1991年首次发布了 The Unicode Standard 。Unicode的开发结合了国际标准化组织所制定的ISO/IEC 10646，即通用字符集。Unicode与ISO/IEC 10646在编码的运作原理相同，但 The Unicode Standard 包含了更详尽的实现信息、涵盖了更细节的主题，诸如比特编码（bitwise encoding）、校对以及呈现等。 The Unicode Standard 也枚举了诸多的字符特性，包含了那些必须支持两种阅读方向的文字（由左至右或由右至左的文字阅读方向，例如阿拉伯文是由右至左）。Unicode与ISO/IEC 10646这两个标准在术语上的使用有些微的不同。

在2005年，Unicode的第十万个字符被引入成为标准之一，该字符被用于马拉雅拉姆语。

历史

截至目前的Unicode各版本及其发布时间如下：

Unicode的编码和实现

大概来说，Unicode编码系统可分为编码方式和实现方式两个层次。

10大设计原则

在《The Unicode Standard Version 6.2 – Core Specification》 ，给出了Unicode的十大设计原则：

Universality：提供单一、综合的字符集，编码一切现代与大部分历史文献的字符。

Efficiency：易于处理与分析。

Characters, not glyphs：字符，而不是字形。

Semantics：字符要有良好定义的语义

Plain text：仅限于文本字符

Logical order：默认内存表示是其逻辑序

Unification：把不同语言的同一书写系统（scripts）中相同字符统一起来。

Dynamic composition：附加符号可以动态组合。

Stability：已分配的字符与语义不再改变。

Convertibility：Unicode与其他著名字符集可以精确转换。

编码方式

统一码的编码方式与ISO 10646的通用字符集概念相对应。目前实际应用的统一码版本对应于UCS-2，使用16位的编码空间。也就是每个字符占用2个字节。这样理论上一共最多可以表示2 （即65536）个字符。基本满足各种语言的使用。实际上当前版本的统一码并未完全使用这16位编码，而是保留了大量空间以作为特殊使用或将来扩展。

上述16位统一码字符构成基本多文种平面。最新（但未实际广泛使用）的统一码版本定义了16个辅助平面，两者合起来至少需要占据21位的编码空间，比3字节略少。但事实上辅助平面字符仍然占用4字节编码空间，与UCS-4保持一致。未来版本会扩充到ISO 10646-1实现级别3，即涵盖UCS-4的所有字符。UCS-4是一个更大的尚未填充完全的31位字符集，加上恒为0的首位，共需占据32位，即4字节。理论上最多能表示2 个字符，完全可以涵盖一切语言所用的符号。

基本多文种平面的字符的编码为 U+hhhh ，其中每个 h 代表一个十六进制数字，与UCS-2编码完全相同。而其对应的4字节UCS-4编码后两个字节一致，前两个字节则所有位均为0。

关于统一码和ISO 10646及UCS的详细关系，见通用字符集。

实现方式

Unicode的实现方式不同于编码方式。一个字符的Unicode编码是确定的。但是在实际传输过程中，由于不同系统平台的设计不一定一致，以及出于节省空间的目的，对Unicode编码的实现方式有所不同。Unicode的实现方式称为 Unicode转换格式 （Unicode Transformation Format，简称为UTF）

例如，如果一个仅包含基本7位ASCII字符的Unicode文件，如果每个字符都使用2字节的原Unicode编码传输，其第一字节的8位始终为0。这就造成了比较大的浪费。对于这种情况，可以使用UTF-8编码，这是一种变长编码，它将基本7位ASCII字符仍用7位编码表示，占用一个字节（首位补0）。而遇到与其他Unicode字符混合的情况，将按一定算法转换，每个字符使用1-3个字节编码，并利用首位为0或1进行识别。这样对以7位ASCII字符为主的西文文档就大幅节省了编码长度（具体方案参见 UTF-8 ）。类似的，对未来会出现的需要4个字节的辅助平面字符和其他UCS-4扩充字符，2字节编码的UTF-16也需要通过一定的算法进行转换。

再如，如果直接使用与Unicode编码一致（仅限于BMP字符）的UTF-16编码，由于每个字符占用了两个字节，在麦金塔电脑（Mac）机和个人电脑上，对字节顺序的理解是不一致的。这时同一字节流可能会被解释为不同内容，如某字符为十六进制编码4E59，按两个字节拆分为4E和59，在Mac上读取时是从低字节开始，那么在Mac OS会认为此4E59编码为594E，找到的字符为“奎”，而在Windows上从高字节开始读取，则编码为U+4E59的字符为“乙”。就是说在Windows下以UTF-16编码保存一个字符“乙”，在Mac OS环境下打开会显示成“奎”。此类情况说明UTF-16的编码顺序若不加以人为定义就可能发生混淆，于是在UTF-16编码实现方式中使用了大端序（Big-Endian，简写为UTF-16 BE）、小端序（Little-Endian，简写为UTF-16 LE）的概念，以及可附加的字节顺序记号解决方案，目前在PC机上的Windows系统和Linux系统对于UTF-16编码默认使用UTF-16 LE。（具体方案参见 UTF-16 ）

此外Unicode的实现方式还包括UTF-7、Punycode、CESU-8、SCSU、UTF-32、GB18030等，这些实现方式有些仅在一定的国家和地区使用，有些则属于未来的规划方式。目前通用的实现方式是UTF-16小端序（LE）、UTF-16大端序（BE）和UTF-8。在微软公司Windows XP附带的记事本（Notepad）中，“另存为”对话框可以选择的四种编码方式除去非Unicode编码的ANSI（对于英文系统即ASCII编码，中文系统则为GB2312或Big5编码）外，其余三种为“Unicode”（对应UTF-16 LE）、“Unicode big endian”（对应UTF-16 BE）和“UTF-8”。

目前辅助平面的工作主要集中在第二和第三平面的中日韩统一表意文字中，因此包括GBK、GB18030、Big5等 中文、日文、韩文以及越南喃字的各种编码与Unicode的协调性被重点关注。考虑到Unicode最终要涵盖所有的字符。从某种意义而言，这些编码方式也可视作Unicode的出现于其之前的 既成事实 的实现方式，如同ASCII及其扩展Latin-1一样，后两者的字符在16位Unicode编码空间中的编码第一字节各位全为0，第二字节编码与原编码完全一致。但上述东亚语言编码与Unicode编码的对应关系要复杂得多。

Unicode字符平面映射

非Unicode环境

在非Unicode环境下，由于不同国家和地区采用的字符集不一致，很可能出现无法正常显示所有字符的情况。微软公司使用了代码页（Codepage）转换表的技术来过渡性的部分解决这一问题，即通过指定的转换表将非Unicode的字符编码转换为同一字符对应的系统内部使用的Unicode编码。可以在“语言与区域设置”中选择一个代码页作为非Unicode编码所采用的默认编码方式。在这种情况下，一些非英语的欧洲语言编写的软件和文档很可能出现乱码。而将代码页设置为相应语言中文处理又会出现问题，这一情况无法避免。只有完全采用统一编码才能彻底解决这些问题，但目前尚无法做到这一点。

代码页技术现在广泛为各种平台所采用。UTF-7的代码页是65000，UTF-8的代码页是65001。

XML和Unicode

XML及其子集XHTML采用UTF-8作为标准字集，理论上我们可以在各种支持XML标准的浏览器上显示任何地区文字的网页，只要电脑本身安装有合适的字体即可。可以利用 nnn ; 的格式显示特定的字符。 nnn 代表该字符的十进制Unicode代码。如果采用十六进制代码，在编码之前加上 x 字符即可。但部分旧版本的浏览器可能无法识别十六进制代码。

过去电脑编码的8位标准，使每个国家都只按国家使用的字符而编定各自的编码系统；而对于部分字符系统比较复杂的语言，如越南语，又或者东亚国家的大型字符集，都不能在8位的环境下正常显示。

只是最近才有在文本中对十六进制的支持，那么旧版本的浏览器显示那些字符或许可能有问题-大概首先会遇到的一个问题只是在对于大于8位Unicode字符的显示。解决这个问题的普遍做法仍然是将其中的十六进制码转换成一个十进制码（例如： ♠ 用 ♠ 代替 ♠ ）。

也有一些字符集标准将一些常用的标志存放在字符内码外面，那么你可能使用象 — 这样的文本标志来表示一个长划（—）的情况，即使它的字符内码已经被使用，这些标准也不包含那个字符。

然而部分由于Unicode版本发展原因，很多浏览器只能显示UCS-2完整字符集，也即现在使用的Unicode版本中的一个小子集。下表可以检验您的浏览器如何显示各种Unicode代码：

一些多语言支持的网页浏览器，比如微软Windows系统的Internet Explorer5.5及以上版本，以及跨平台的浏览器Mozilla／Netscape6，可以在安装时根据需要动态地使用相应的字符集，预先安装了合适的语言包，就可以同时显示页面上的各种Unicode字符。Internet Explorer5.5还提出用户可以在需要新字体时，即装即用。另外的浏览器如Netscape Navigator 4.77，则只能显示跟页面编码相应字符集中的文字。当你使用后一种浏览器时，你不大可能预先安装所有的字体，即使有了字体，浏览器也不一定能将这些字体完全应用起来。可能遇到的情况是，这种浏览器只能够显示部分文字，因为它们是按照标准进行编码，尽管理论上在兼容的系统中，只要有了相应的Code2000字体，就可以正确显示。一种变通的办法，是将某些少见的字符，通过“名称实体引用”的方式来使用。

输入方法

不同的操作系统，各有直接输入Unicode字符的方法：

基于X Window System的Linux系统，如Ubuntu的Gnome Terminal，首先按下 Ctrl + Shift + U ，然后输入16进制Unicode数，如interpunct间隔符输入 0 0 b 7 ，最后按空格键；

Microsoft Windows系统，按下 Alt + 0 1 8 3 表示interpunct间隔符。

在SGML、HTML、XML的文本中，使用字符值引用或字符实体引用表示一个Unicode字符。

中文输入法

截至2011年10月，可以使用微软拼音2003或2007版本，仓颉输入法第三代第五代第六代版本，郑码Unicode版本，海峰五笔9.3版本，新注音输入法和VimIM进行输入。

微软拼音在输入法引导状态下，单击语言栏上的“功能菜单”按钮，指向“辅助输入法”即可发现“Unicode码输入方式”，利用它可以直接输入Unicode相应十六进制值的方式输入相应文字。例如中文“胥”输入“5066”，朝字“셅”输入“c145”（不需要在前面加0x或x）。

仓颉输入法已为Unicode汉字、类汉字编码，可以在仓颉输入法方式下通过仓颉码输入方式输入Unicode内的中日韩汉字及韩文。以仓颉输入法第五代为例，例如汉字“㗎”输入“口大口木”，汉字“胥”输入“弓人月”，汉字“㿱”输入“手中木竹水”，朝字“닮”输入“尸卜尸女口”。

郑码已为Unicode汉字、类汉字编码，可以在郑码输入法方式下通过郑码字码输入方式输入Unicode内的中日韩汉字及韩文。例如汉字“㗎”输入“JYJF”，汉字“胥”输入“XIQ”，汉字“㿱”输入“DPXI”，朝字“길”输入“XIYY”。

海峰五笔此输入法已经直接支持通过五笔码输入方式输入Unicode内的任意中日韩汉字，但无法使用键入Unicode码的方式输入。例如汉字（Unicode部分）“㗎”为“keks”，CJK扩展B区的“?”为“iyho”和CJK扩展C区的“?”为“muih”。

新注音输入法在输入法引导状态时，打入键盘上的“多功能前导字符键”（及通用键盘上之“`”），第一次使用会弹出说明。输入Unicode字符“胥”则是在键盘上键入“`U5066”。而韩语中的“셅”，则输入“`UC145”。而要输入日语自制汉字“峠”，则是“`U5CE0”。

VimIM在Vim环境中，可以直接键入十进制或十六进制Unicode码。既不需要引导输入法，也不需要码表。

 日文输入法

使用Microsoft IME 2007，可以在IME PAD里找到Unicode的点击表。点击字符即可输入。选择字体可以预览字符效果。

其他

除了输入法外，操作系统也会提供另外几种方法输入Unicode。像是Windows 2000之后的Windows系统就提供一个可点击的字符映射表。又或者在Microsoft Word下，按下Alt键不放，输入0和某个字符的Unicode编码（十进制），再松开Alt键即可得到该字符，如 Alt + 033865 会得到Unicode字符 叶 。另外按 Alt + X 组合键，MS Word也会将光标前面的字符同其十六进制的四位Unicode编码进行互相转换。

汉字问题

在Unicode 5.0的99089个字符中，有71226个字符与汉字有关。它们的分布如下：

Unicode早期版本中，CJK统一汉字区的范围是0x4E00-0x9FA5，包含20902个汉字。当前版本的Unicode增加了22个字符，码位是0x9FA6-0x9FBB。

动态组字

统一码这种为数万汉字逐一编码的方式很浪费资源，且要把汉字增加到标准中也并不容易，因此去研究以汉字部件产生汉字的方法（如动态组字），期望取代为汉字逐一编码的方法。Unicode委员会在关于中文和日语的常用问题列表 里回答了此问题。主要问题是汉字中各个组件的相对大小不是固定的。比如“员”字，由“口”和“贝”组成，而“呗”也是由“口”和“贝”组成，但其相对位置和大小并不一致。还有一些其他原因，比如字符比较和排序时需要先对编码流进行分析后才能得到各个字符，增加处理程序复杂性等。

收录讹字

由于中国历代字书有收录讹字的习惯，因此Unicode编码中收入大量讹字，占据大量空间，引发批评。电脑文件中若使用错讹字，在用正确字做检索时，用错讹字写出的同一个词语无法检出。

注释

^ The number of characters listed for each version of Unicode is the total number of graphic, format and control characters (i.e., excluding private-use characters, noncharacters and surrogate code points).

参见

Unicode字符平面映射

Unicode联盟

Unicode字符列表

Unicode数字

中日韩统一表意文字（CJK / Unihan）

通用字符集

宽字符

UTF-8

免责声明：以上内容版权归原作者所有，如有侵犯您的原创版权请告知，我们将尽快删除相关内容。感谢每一位辛勤著写的作者，感谢每一位的分享。