153 views
Python开发

11.Python编码转换问题

文章目录

unicode与utf8编码转换问题

8个bit=1个字节  最大数字255
2个字节         最大数字65535
-------------------------------------------
计算机只能处理数字,文本需要转换为数字才能处理。

- 计算机中8个bit作为一个字节,一个字节最大数字就是255
- 美国人发明的计算机,所以ASCII(一个字节)编码就成为美国人的标准编码
- 但是ASCII处理中文就不够,因为中文不止255个汉字,中国就制定了GB2312编码,用(两个字节)表示一个汉字
  GB2312还把ASCII包含进去了,日文韩文也是类似,都有自己的一套编码

乱码就是因为编码问题产生的,为了解决乱码,就出现了unicode编码

- unicode(两个字节)将所有语言统一到一套编码里面,不管你是哪种编码的,他都能存储;
- 但是unicode编码(占用两个字节)比ASCII编码需要多一倍的存储空间

- utf-8(可变长编码):如果是unicode编码下,英文占用的是2个字节,将它转换成utf8时,会把英文变成1个字节
- utf8会将汉字会变成3个字节,生僻字4-6个字节,传输大量英文的话utf8效果就很明显

重点:
- 在内存中,使用unicode进行编码解析会更方便,
- 在存储和传输的时候用utf8更方便,python默认使用unicode进行编码 

结论:读取文件时,将utf8的文件转换为unicode编码进行处理,在保存文件时将unicode转换为utf8进行保存

decode与encode

#-*-coding:utf-8
import sys
'''
*首先要搞清楚,字符串在Python内部的表示是unicode编码,因此,在做编码转换时,通常需要以unicode作为中间编码,
即先将其他编码的字符串解码(decode)成unicode,再从unicode编码(encode)成另一种编码。
decode的作用是将其他编码的字符串转换成unicode编码,如str1.decode('gb2312'),表示将gb2312编码的字符串str1转换成unicode编码。
encode的作用是将unicode编码转换成其他编码的字符串,如str2.encode('gb2312'),表示将unicode编码的字符串str2转换成gb2312编码。
总得意思:想要将其他的编码转换成utf-8必须先将其解码成unicode然后重新编码成utf-8,它是以unicode为转换媒介的

如:s='中文'
如果是在utf8的文件中,该字符串就是utf8编码,如果是在gb2312的文件中,则其编码为gb2312。这种情况下,要进行编码转换,都需要先用
decode方法将其转换成unicode编码,再使用encode方法将其转换成其他编码。通常,在没有指定特定的编码方式时,都是使用的系统默认编码创建的代码文件。
如下:
s.decode('utf-8').encode('utf-8')
decode():是解码
encode()是编码
isinstance(s,unicode):判断s是否是unicode编码,如果是就返回true,否则返回false*

'''
'''
s='中文'
s=s.decode('utf-8') #将utf-8编码的解码成unicode
print isinstance(s,unicode) #此时输出的就是True
s=s.encode('utf-8') #又将unicode码编码成utf-8
print isinstance(s,unicode) #此时输出的就是False
'''
print sys.getdefaultencoding()

s='中文'
if isinstance(s,unicode): #如果是unicode就直接编码不需要解码
print s.encode('utf-8')
else:
print s.decode('utf-8').encode('gb2312')

print sys.getdefaultencoding() #获取系统默认的编码
reload(sys)
sys.setdefaultencoding('utf8') #修改系统的默认编码
print sys.getdefaultencoding()

各个系统中编码实验结果

--------------------在linux系统中--------------------
- python2,定义一个字符串,他默认编码为utf8

Python 2.7.5  on linux2
>>> s='我用python'
>>> s.encode('utf8')
Traceback (most recent call last):
  File "", line 1, in 
UnicodeDecodeError: 'ascii' codec can't decode byte 0xe6 in position 0: ordinal not in range(128)
>>> s.decode('utf8').encode('utf8') 
'\xe6\x88\x91\xe7\x94\xa8python'

- python3,定义一个字符串,他默认编码为utf8

Python 3.6.2  on linux
>>> s='我用python'
>>> s.encode('utf8')
b'\xe6\x88\x91\xe7\x94\xa8python'


--------------------在windows系统中--------------------

- python2,定义一个字符串,他默认编码为gb2312

Python 2.7.16  on win32
>>> s = '我用python'
>>> s.encode('utf8')
Traceback (most recent call last):
  File "", line 1, in 
UnicodeDecodeError: 'ascii' codec can't decode byte 0xce in position 0: ordinal not in range(128)
>>> s.decode('utf8').encode('utf8')
Traceback (most recent call last):
  File "", line 1, in 
  File "C:\Python27\lib\encodings\utf_8.py", line 16, in decode
    return codecs.utf_8_decode(input, errors, True)
UnicodeDecodeError: 'utf8' codec can't decode byte 0xce in position 0: invalid continuation byte
>>> s.decode('gb2312').encode('utf8')
'\xe6\x88\x91\xe7\x94\xa8python'

- python3,定义一个字符串,他默认编码为utf8
Python 3.6.2  on win32
>>> s = '我用python'
>>> s.encode('utf8')
b'\xe6\x88\x91\xe7\x94\xa8python'