1 python3.x读写文件及BOM处理1.1 python3.x读取和写入Unicode

python3.x的字符串为unicode，可以调用encode()方法手动将字符串编码为字节串(原始字节)，也可以通过文件输入输出自动编码。

1.1.1 手动编码

描述

python3.x的字符串通过encode(编码名)方法，将字符串转换为原始字节串。

示例

 >>> s='梯' # python3.x 字符串 str 对应 unicode >>> s,type(s) ('梯', <class 'str'>) >>> s_gbk=s.encode('gbk') >>> s_utf8=s.encode('utf-8') # 1个汉字，gbk编码为2个字节， utf-8 编码为3个字节 # 2位16进制 占1个字节 >>> s_gbk,s_utf8 (b'\xcc\xdd', b'\xe6\xa2\xaf') >>> len(s_gbk),len(s_utf8) (2, 3)

1.1.2 写文件编码

描述

open写文件时，指定的encoding为文件保存到磁盘时的编码格式。

示例

 # 写文件时 encoding 表示文件存储到磁盘的编码格式 >>> open('gbk.txt','w',encoding='gbk').write('梯') 1 >>> open('utf8.txt','w',encoding='utf-8').write('梯') 1 # 'rb' 二进制模式，读取文件内容为bytes类型，为文件实际存储的字节串 # gbk编码，1个中文占2个字节 >>> open('gbk.txt','rb').read() b'\xcc\xdd' # utf-8编码，1个中文占3个字节 >>> open('utf8.txt','rb').read() b'\xe6\xa2\xaf'

1.1.3 读文件编码

描述

open读文件时，指定的encoding为解释器读取文件字节串解码使用的编码格式。

示例

 # 读文件时 encoding 表示解释器读取文件字节串解码使用的编码格式 # 需与文件存储时编码格式相同 >>> open('gbk.txt','r',encoding='gbk').read() '梯' >>> open('utf8.txt','r',encoding='utf-8').read() '梯' >>> dgbk=open('gbk.txt','rb').read();dgbk b'\xcc\xdd' >>> dutf8=open('utf8.txt','rb').read();dutf8 b'\xe6\xa2\xaf' # 二进制模式，读取文件内容后进行手动解码 # python3.x 解释器默认编码为utf-8 >>> dgbk.decode('gbk');dutf8.decode() '梯' '梯'

1.2 python读写文件默认编码1.2.1 locale.getpreferredencoding()

用法

 import locale locale.getpreferredencoding()

描述

python的locale.getpreferredencoding()用于获取用户的首选编码。

入参为False，表示不使用任何额外设置。

入参为True或空，表示考虑当前语言环境设置。

用户的首选编码用于python的open()函数读写文件的默认编码。

示例

 >>> import locale >>> locale.getpreferredencoding() 'cp936' >>> locale.getpreferredencoding(False) 'cp936'

1.2.2 获取梯的编码字节串

 >>> '梯'.encode() b'\xe6\xa2\xaf' >>> '梯'.encode('utf-8') b'\xe6\xa2\xaf' >>> '梯'.encode('gbk') b'\xcc\xdd' >>> '梯'.encode('cp936') b'\xcc\xdd' # utf-16 带小端字节序 >>> '梯'.encode('utf-16') b'\xff\xfe\xafh' # utf-16 忽略小端字节序(little BOM) >>> '梯'.encode('utf-16-le') b'\xafh'

1.2.3 python3.x读写文件默认编码

描述

python3.x通过文本模式的open()打开文件，

encoding未传时，默认编码取locale.getpreferredencoding(False)。

open().encoding获取文件对象的编码方式。

open()打开文件时指定encoding编码格式。

示例

 >>> fpath='temp.txt' # open()函数encoding未传时默认编码取 locale.getpreferredencoding(False) # 'r+' 文本模式打开文件 >>> f=open(fpath,'r+') # f.encoding 获取文件对象的编码方式 >>> f.encoding 'cp936' # 文件指针会停留在文件结尾 >>> f.write('梯') 1 # 文件指针移动到开头 >>> f.seek(0) 0 >>> f.read() '梯' >>> f.close() # 'rb' 二进制模式直接读取文件的字节串 # 与 cp936 编码一致 >>> open(fpath,'rb').read() b'\xcc\xdd' # 通过 相同的编码 cp936或gbk 读取文件内容 >>> open(fpath,'r',encoding='cp936').read() '梯' >>> open(fpath,'r',encoding='gbk').read() '梯' >>> open(fpath,'r',encoding='utf-8').read() Traceback (most recent call last):   File "<pyshell#24>", line 1, in <module>     open(fpath,'r',encoding='utf-8').read()   File "D:\python3\lib\codecs.py", line 322, in decode     (result, consumed) = self._buffer_decode(data, self.errors, final) UnicodeDecodeError: 'utf-8' codec can't decode byte 0xcc in position 0: invalid continuation byte

1.2.4 python2.x读写文件默认编码

描述

python2.x通过文本模式的open()打开文件，没有encoding入参，

写文件时默认编码取locale.getpreferredencoding(False)，

读文件时直接读取字节串。

python2.x通过codecs.open(encoding)指定文件编码格式。

如果要向文件写入write中文，需用Unicode字符串，通过u’梯’进行创建后写入。

示例

 # python2.x内置open()函数没有encoding入参，无法指定编码方法 >>> fpath='temp.txt' >>> f=open(fpath,'w') >>> f.write('a梯') >>> f.close() >>> open(fpath,'r').read() 'a\xcc\xdd' # 'rb' 二进制模式直接读取文件的字节串 # 与 cp936 编码一致 >>> open(fpath,'rb').read() 'a\xcc\xdd' >>> len('a梯') 3 # python2.x通过 codecs.open(encoding)指定编码 >>> import codecs >>> f=codecs.open(fpath,'w','utf-8') # 写入汉字时需要通过u'汉字'创建Unicode字符串 # 因为python2.x解释器默认编码为ASCII码， # '梯'字符串str用操作系统cp936自动编码为 '\xcc\xdd' # 解释器需要对其解码为Unicode，解码时 \xcc 不在ASCII范围内，会报错 >>> f.write(u'梯') >>> f.close() # 'rb' 二进制模式直接读取文件的字节串 # 与 utf-8 编码一致 >>> codecs.open(fpath,'rb').read() '\xe6\xa2\xaf'

1.3 python3.x处理BOM

描述

文件开始的字节顺序标记(BOM,Byte Order Mark)。

UTF-8的BOM：’\xef\xbb\xbf’，对应Unicode：'\ufeff’。

UTF-16的小端BOM：’ \xff\xfe’ 对应Unicode： ‘\ufeff’。

NO

写文件

文件开头带BOM读文件

1

UTF-8

文件开头不添加BOM

显示BOM的Unicode

2

UTF-8-sig

文件开头添加BOM

不显示BOM

3

UTF-16

文件开头默认添加当前系统字节序BOM

不显示BOM

4

UTF-16-le

文件开头不添加BOM

显示BOM的Unicode

示例

>>> fpath='utf8bom.txt'# encoding='utf-8-sig', 写文件时，会在文件开头加入 字节顺序标记>>> open(fpath,'w',encoding='utf-8-sig').write('梯')1>>> open(fpath,'rb').read()b'\xef\xbb\xbf\xe6\xa2\xaf'>>> open(fpath,'r',encoding='utf-8').read()'\ufeff梯'# encoding='utf-8-sig', 读文件时，忽略字节顺序标记>>> open(fpath,'r',encoding='utf-8-sig').read()'梯'>>> import sys# sys.byteorder 当前系统的字节序， 'little'（小端）或 'big'（大端）>>> sys.byteorder'little'# 写文件时，encoding='utf-16' ，默认添加当前系统字节序(little)>>> open(fpath,'w',encoding='utf-16').write('梯')1# 二进制模式，读取实际存放字节串，utf-16小端字节序为 \xff\xfe >>> open(fpath,'rb').read()b'\xff\xfe\xafh'>>> open(fpath,'r',encoding='utf-16').read()'梯'# encoding='utf-16-le'，读文件时，忽略字节顺序标记>>> open(fpath,'r',encoding='utf-16-le').read()'\ufeff梯'# encoding='utf-16-le'，写文件时，不添加BOM>>> open(fpath,'w',encoding='utf-16-le').write('梯')1>>> open(fpath,'rb').read()b'\xafh'>>> open(fpath,'r',encoding='utf-16-le').read()'梯'# encoding='utf-16-le'，写文件后，不能用 utf-16 读取>>> open(fpath,'r',encoding='utf-16').read()Traceback (most recent call last):  File "<pyshell#102>", line 1, in <module>    open(fpath,'r',encoding='utf-16').read()  File "D:\python3\lib\codecs.py", line 322, in decode    (result, consumed) = self._buffer_decode(data, self.errors, final)  File "D:\python3\lib\encodings\utf_16.py", line 67, in _buffer_decode    raise UnicodeError("UTF-16 stream does not start with BOM")UnicodeError: UTF-16 stream does not start with BOM

本文首发微信公众号：梯阅线条，

更多内容参考python知识分享或软件测试开发目录。