字符编码

基础知识：

1. 比特（bit）：信息量最小的单位。二进制数字中的位（0与1），如二进制数1010就是4比特。通常以小写b来表示。
2. 字节（byte）：计算机存储容量的计量单位。通常情况下，1个字节有8比特，即1 byte=8 bit。2^8^ = 256，代表1字节可表示最大的整数是256。通常以大写B来表示。
3. 字符：包括字母、数字、运算符号、标点符号和其他符号，以及一些功能性符号。一个字符代表一个符号，存储的大小依据系统和编码而定。

ASCII编码

基础包含了大小写英文字母，数字和一些符号，总共127个字符。

Unicode编码

涵括了所有语言。一般字符为2个字节，偏僻字符，一般为4个字节。现代操作系统和大多数编程语言都直接支持Unicode。

为了和ASCII码兼容，Unicode编码的前256个字符和ASCII码完全相同，即原本单字节的ASCII码字符，转换成Unicode码，只需在高位补充0即可。

UTF-8编码

把一个Unicode字符根据不同的数字大小编码成1-6个字节，常用的英文字母被编码成1个字节，汉字通常是3个字节，只有很生僻的字符才会被编码成4-6个字节。

UTF-8编码下的英文字符为1个字节，与ASCII编码一样。所以，在只输入英文字符的时候，ASCII编码实际上可以被看成是UTF-8编码的一部分。只支持ASCII编码的历史遗留软件可以在UTF-8编码下继续工作。

同时，又比Unicode编码节省存储空间。

Unicode与UTF8的转换规则

UTF-8的编码规则：

1）对于单字节的符号，字节的第一位设为0，后面7位为这个符号的unicode码。因此对于英语字母，UTF-8编码和ASCII码是相同的。

2）对于n字节的符号（n>1），第一个字节的前n位都设为1，第n+1位设为0，后面字节的前两位一律设为10。剩下的没有提及的二进制位，全部为这个符号的unicode码。

总结

1. 现在计算机系统通用的字符编码工作方式：在计算机内存中，统一使用Unicode编码，当需要保存到硬盘或者需要传输的时候，就转换为UTF-8编码。

   

   

2. 在操作字符串时，我们经常遇到str和bytes的互相转换。为了避免乱码问题，应当始终坚持使用UTF-8编码对str和bytes进行转换。

3. ==在网络传输或者存储在磁盘的字节流，数据均是bytes==。

   • 需要在客户端显示字符时需要decode()解码

     • 当bytes中包含无法完全解码的字节或只含有一小部分无效字节，是会报错。所以可以传入参数error='ignore'

      

     >>> b'\xe4\xb8\xad\xff'.decode('utf-8')
     Traceback (most recent call last):
      ...
     UnicodeDecodeError: 'utf-8' codec can't decode byte 0xff in position 3: invalid start byte
     
     >>> b'\xe4\xb8\xad\xff'.decode('utf-8', errors='ignore')
     '中'
     

   • 需要进行网络传输或者存储时需要encode()编码

      

      

     >>> 'ABC'.encode('ascii')
     b'ABC'
     >>> '中文'.encode('utf-8')
     b'\xe4\xb8\xad\xe6\x96\x87'
     
     

    

4. 在python3中字符串是以Unicode编码的，并且对bytes类型的数据用带b前缀的单引号或双引号表示：

   x = b'ABC'
   

   在bytes中，无法显示为ASCII字符的字节，用\x##显示。

5. len()函数应用在str字符串时，代表的是包含多少个字符。应用在bytes时，代表多少个字节数。（在ascii码中两者结果一样）