PYTHON3编码再探究

原文请戳

本文大概需要10分钟看完

1 看一段简单代码

要求：Linux编辑器，python3版本

  vim test1.py  

  # test1.py内容： import sys, locale s = "王佳" print(s) print(sys.getdefaultencoding()) print(locale.getdefaultlocale()) with open("utf8_1.txt","w",encoding = "utf-8") as f: f.write(s) with open("gbk_1.txt","w",encoding = "gbk") as f: f.write(s)  

sys.getdefaultencoding()：python编译器的编码
locale.getdefaultlocale()：本地操作系统的编码
上述代码返回结果：

  王佳 utf-8 # python编译器的编码 ('en_US', 'UTF-8') # 本地操作系统的编码  

再来看一下生成的两个文件中的内容，我们使用notepad打开，并且将这两个的文件编码都设置成utf-8
utf8_1.txt：

gbk_1.txt：

分析如下：

  #1 对于utf8_1.txt来说 # 第一步：由于linux的编辑器是utf8，所以： '王佳'.encode('utf8') = \xe7\x8e\x8b\xe4\xbd\xb3 （写入文件时） # 第二步：由于没有指定py文件的coding，所以python解释器将默认按照系统编码utf8进行解码 \xe7\x8e\x8b\xe4\xbd\xb3.decode('utf8') = '王佳' # 第三步：open时指定了encoding=utf8去编码写入到文件中 '王佳'.encode('utf8')= \xe7\x8e\x8b\xe4\xbd\xb3 # 第四步：在notepadd中指定了utf8去解码 \xe7\x8e\x8b\xe4\xbd\xb3.decode('utf8')='王佳' #2 对于gbk_1.txt来说 # 第一步：由于linux的编辑器是utf8，所以： '王佳'.encode('utf8') = \xe7\x8e\x8b\xe4\xbd\xb3 （写入文件时） # 第二步：由于没有指定py文件的coding，所以python解释器将默认按照系统编码utf8进行解码 \xe7\x8e\x8b\xe4\xbd\xb3.decode('utf8') = '王佳' # 第三步：open时指定了encoding=gbk去编码写入到文件中 '王佳'.encode('gbk')= \xcd\xf5\xbc\xd1 # 第四步：在notepadd中指定了utf8去解码 \xcd\xf5\xbc\xd1.decode('utf8')=这样写会报错，因为utf8编码，没有这几个。所以notepad就显示其gbk的字节码。  

再看一段代码

  # test2.py #coding=gbk import sys, locale s = "王佳" print(s) print(sys.getdefaultencoding()) print(locale.getdefaultlocale()) with open("utf8_2.txt","w",encoding = "utf-8") as f: f.write(s) with open("gbk_2.txt","w",encoding = "gbk") as f: f.write(s)  

此时，再看一下文件中的结果：
utf8_2.txt：

  # 出现 鐜嬩匠 的原因分析 # 第一步：由于linux的编辑器是utf8，所以： '王佳'.encode('utf8') = \xe7\x8e\x8b\xe4\xbd\xb3 （写入文件时） # 第二步：由于指定py文件的coding=gbk，所以python解释器将默认按照系统编码gbk进行解码读取 \xe7\x8e\x8b\xe4\xbd\xb3.decode('gbk') = '鐜嬩匠' # 第三步：open时指定了encoding=utf8去编码写入到文件中 '鐜嬩匠'.encode('utf8')= ??\xe5\x8c\xa0 # 第四步：在notepadd中指定了utf8去解码 ??\xe5\x8c\xa0.decode('utf8')='鐜嬩匠'  

gbk_2.txt：

  # 正常显示的原因 # 第一步：由于linux的编辑器是utf8，所以： '王佳'.encode('utf8') = \xe7\x8e\x8b\xe4\xbd\xb3 （写入文件时） # 第二步：由于指定py文件的coding=gbk，所以python解释器将默认按照系统编码gbk进行解码读取 \xe7\x8e\x8b\xe4\xbd\xb3.decode('gbk') = '鐜嬩匠' # 第三步：open时指定了encoding=gbk去编码写入到文件中 '鐜嬩匠'.encode('gbk')= \xe7\x8e\x8b\xe4\xbd\xb3 # 第四步：在notepadd中指定了utf8去解码 \xe7\x8e\x8b\xe4\xbd\xb3.decode('utf8')='王佳'