编码解码UNICODE

2017-01-13 10:48:36来源:segmentfault作者:pinglikethinking人点击

1.字符集vs字符编码,编码&解码


Character----->code point----->bytes
前两者字符集的关系,可以统称为codepoint;从codepoint到在计算机上的存储形式,称为编码,反过来称为解码;
字符集:单个符号(character)对应一个无符号数字(通常16进制表示,称为代码点code point),这种对应关系称为字符集
字符编码:代码点与二进制的对应关系称为字符编码,内存或磁盘存储数据的形式为二进制

2.历史:UCS-2(两个字节定长编码)---USC-4,UTF-32(四个字节定长编码)----UTF-16------UTF-8


我国发布的:GB2312---GBK(GB2312的扩展)

3.GB2312:两个字节表示字符码


兼容ASCII
一个字节中的1位区分,1表示GB2312字符集,0表示ASCII字符集
最多可以表示94*94个字符,留有一部分扩展
编码主要是EUC-CN,兼容ASCII

4.Unicode:4个字节表示


UTF-8,UTF-16,变长编码
UTF-16,两个字节变长编码(2,4)
UTF-8,(1,2,3,4)
UTF-32,定长编码(4字节)

5.BMP:


Unicode 标识符通过一个明确的名字和一个整数来作为它的码位(code point).比如,“©” 字符的码位可以用“版权标志”和U+00A9(0xA9,也可以写作十进制 169)来表示。
Unicode 字符分为 17 组平面,每个平面拥有 2^16 (65,536)个码位.有一些码位没有分配字符,也有一些码位被保留,成为私有的,也有一些码位是永远被保留的,作为无字符的标志。每一个码位都可以用 16 进制 xy0000 到 xyFFFF 来表示,这里的 xy 是表示一个 16 进制的值,从 00 到 10。
这第一个位置(当 xy 是 00 的时候)被称为 BMP (基本多文种平面, Basic Multilingual Plane)。它包含了最常用的码位从 U+0000 到 U+FFFF。

6.JS的UTF-16(历史遗留问题,JS选用UTF-16):http://developer.51cto.com/ar...


两个字节为一个单元,LENGTH为1

7.BOM(BYTE ORDER MARK)


UTF-16 (BE)FE FF254 255big endian 大端
UTF-16 (LE)FF FE255 254little endian 小端
UTF-16 与 UTF-32 还有一个不明显的缺点。我们知道不同的计算机存储字节的顺序是不一样的,这也就意味着U+4E2D 在 UTF-16 可以保存为4E 2D,也可以保存成2D 4E,这取决于计算机是采用大端模式还是小端模式,UTF-32 的情况也类似。为了解决这个问题,引入了 BOM (Byte Order Mark),它是一特殊的不可见字符,位于文件的起始位置,标示该文件的字节序。对于 UTF-16 来说,BOM 为U+FEFF(FF 比 FE 大 1),如果 UTF-16 编码的文件以FF FE开始,那么就意味着其字节序为小端模式,如果以FE FF开始,那么就是大端模式。
其他 UTF-* 编码的 BOM 可以参考 Representations of byte order marks by encoding

8.UTF-8,UTF-16,UTF-32的选择:


1)不考虑随机访问,UTF-8,查找第N个字符时间复杂度(O(N))
2)随机访问,只用65535之内的字符,UTF-16,时间复杂度(O(1))
3)随机访问,超过了65535,UTF-32,O(1)

9.详解UTF-8编码


最新文章

123

最新摄影

微信扫一扫

第七城市微信公众平台