unicode与utf8编码转换问题
8个bit=1个字节 最大数字255
2个字节 最大数字65535
-------------------------------------------
计算机只能处理数字，文本需要转换为数字才能处理。
- 计算机中8个bit作为一个字节，一个字节最大数字就是255
- 美国人发明的计算机，所以ASCII（一个字节）编码就成为美国人的标准编码
- 但是ASCII处理中文就不够，因为中文不止255个汉字，中国就制定了GB2312编码，用（两个字节）表示一个汉字
GB2312还把ASCII包含进去了，日文韩文也是类似，都有自己的一套编码
乱码就是因为编码问题产生的，为了解决乱码，就出现了unicode编码
- unicode（两个字节）将所有语言统一到一套编码里面，不管你是哪种编码的，他都能存储；
- 但是unicode编码（占用两个字节）比ASCII编码需要多一倍的存储空间
- utf-8（可变长编码）：如果是unicode编码下，英文占用的是2个字节，将它转换成utf8时，会把英文变成1个字节
- utf8会将汉字会变成3个字节，生僻字4-6个字节，传输大量英文的话utf8效果就很明显
重点：
- 在内存中，使用unicode进行编码解析会更方便，
- 在存储和传输的时候用utf8更方便，python默认使用unicode进行编码
结论：读取文件时，将utf8的文件转换为unicode编码进行处理，在保存文件时将unicode转换为utf8进行保存
decode与encode
#-*-coding:utf-8
import sys
'''
*首先要搞清楚，字符串在Python内部的表示是unicode编码，因此，在做编码转换时，通常需要以unicode作为中间编码，
即先将其他编码的字符串解码（decode）成unicode，再从unicode编码（encode）成另一种编码。
decode的作用是将其他编码的字符串转换成unicode编码，如str1.decode('gb2312')，表示将gb2312编码的字符串str1转换成unicode编码。
encode的作用是将unicode编码转换成其他编码的字符串，如str2.encode('gb2312')，表示将unicode编码的字符串str2转换成gb2312编码。
总得意思:想要将其他的编码转换成utf-8必须先将其解码成unicode然后重新编码成utf-8,它是以unicode为转换媒介的
如：s='中文'
如果是在utf8的文件中，该字符串就是utf8编码，如果是在gb2312的文件中，则其编码为gb2312。这种情况下，要进行编码转换，都需要先用
decode方法将其转换成unicode编码，再使用encode方法将其转换成其他编码。通常，在没有指定特定的编码方式时，都是使用的系统默认编码创建的代码文件。
如下：
s.decode('utf-8').encode('utf-8')
decode():是解码
encode()是编码
isinstance(s,unicode):判断s是否是unicode编码，如果是就返回true,否则返回false*
'''
'''
s='中文'
s=s.decode('utf-8') #将utf-8编码的解码成unicode
print isinstance(s,unicode) #此时输出的就是True
s=s.encode('utf-8') #又将unicode码编码成utf-8
print isinstance(s,unicode) #此时输出的就是False
'''
print sys.getdefaultencoding()
s='中文'
if isinstance(s,unicode): #如果是unicode就直接编码不需要解码
print s.encode('utf-8')
else:
print s.decode('utf-8').encode('gb2312')
print sys.getdefaultencoding() #获取系统默认的编码
reload(sys)
sys.setdefaultencoding('utf8') #修改系统的默认编码
print sys.getdefaultencoding()
各个系统中编码实验结果
--------------------在linux系统中--------------------
- python2，定义一个字符串，他默认编码为utf8
Python 2.7.5 on linux2
>>> s='我用python'
>>> s.encode('utf8')
Traceback (most recent call last):
File "", line 1, in
UnicodeDecodeError: 'ascii' codec can't decode byte 0xe6 in position 0: ordinal not in range(128)
>>> s.decode('utf8').encode('utf8')
'\xe6\x88\x91\xe7\x94\xa8python'
- python3，定义一个字符串，他默认编码为utf8
Python 3.6.2 on linux
>>> s='我用python'
>>> s.encode('utf8')
b'\xe6\x88\x91\xe7\x94\xa8python'
--------------------在windows系统中--------------------
- python2，定义一个字符串，他默认编码为gb2312
Python 2.7.16 on win32
>>> s = '我用python'
>>> s.encode('utf8')
Traceback (most recent call last):
File "", line 1, in
UnicodeDecodeError: 'ascii' codec can't decode byte 0xce in position 0: ordinal not in range(128)
>>> s.decode('utf8').encode('utf8')
Traceback (most recent call last):
File "", line 1, in
File "C:\Python27\lib\encodings\utf_8.py", line 16, in decode
return codecs.utf_8_decode(input, errors, True)
UnicodeDecodeError: 'utf8' codec can't decode byte 0xce in position 0: invalid continuation byte
>>> s.decode('gb2312').encode('utf8')
'\xe6\x88\x91\xe7\x94\xa8python'
- python3，定义一个字符串，他默认编码为utf8
Python 3.6.2 on win32
>>> s = '我用python'
>>> s.encode('utf8')
b'\xe6\x88\x91\xe7\x94\xa8python'
8个bit=1个字节 最大数字255
2个字节 最大数字65535
-------------------------------------------
计算机只能处理数字，文本需要转换为数字才能处理。
- 计算机中8个bit作为一个字节，一个字节最大数字就是255
- 美国人发明的计算机，所以ASCII（一个字节）编码就成为美国人的标准编码
- 但是ASCII处理中文就不够，因为中文不止255个汉字，中国就制定了GB2312编码，用（两个字节）表示一个汉字
GB2312还把ASCII包含进去了，日文韩文也是类似，都有自己的一套编码
乱码就是因为编码问题产生的，为了解决乱码，就出现了unicode编码
- unicode（两个字节）将所有语言统一到一套编码里面，不管你是哪种编码的，他都能存储；
- 但是unicode编码（占用两个字节）比ASCII编码需要多一倍的存储空间
- utf-8（可变长编码）：如果是unicode编码下，英文占用的是2个字节，将它转换成utf8时，会把英文变成1个字节
- utf8会将汉字会变成3个字节，生僻字4-6个字节，传输大量英文的话utf8效果就很明显
重点：
- 在内存中，使用unicode进行编码解析会更方便，
- 在存储和传输的时候用utf8更方便，python默认使用unicode进行编码
结论：读取文件时，将utf8的文件转换为unicode编码进行处理，在保存文件时将unicode转换为utf8进行保存
#-*-coding:utf-8
import sys
'''
*首先要搞清楚，字符串在Python内部的表示是unicode编码，因此，在做编码转换时，通常需要以unicode作为中间编码，
即先将其他编码的字符串解码（decode）成unicode，再从unicode编码（encode）成另一种编码。
decode的作用是将其他编码的字符串转换成unicode编码，如str1.decode('gb2312')，表示将gb2312编码的字符串str1转换成unicode编码。
encode的作用是将unicode编码转换成其他编码的字符串，如str2.encode('gb2312')，表示将unicode编码的字符串str2转换成gb2312编码。
总得意思:想要将其他的编码转换成utf-8必须先将其解码成unicode然后重新编码成utf-8,它是以unicode为转换媒介的
如：s='中文'
如果是在utf8的文件中，该字符串就是utf8编码，如果是在gb2312的文件中，则其编码为gb2312。这种情况下，要进行编码转换，都需要先用
decode方法将其转换成unicode编码，再使用encode方法将其转换成其他编码。通常，在没有指定特定的编码方式时，都是使用的系统默认编码创建的代码文件。
如下：
s.decode('utf-8').encode('utf-8')
decode():是解码
encode()是编码
isinstance(s,unicode):判断s是否是unicode编码，如果是就返回true,否则返回false*
'''
'''
s='中文'
s=s.decode('utf-8') #将utf-8编码的解码成unicode
print isinstance(s,unicode) #此时输出的就是True
s=s.encode('utf-8') #又将unicode码编码成utf-8
print isinstance(s,unicode) #此时输出的就是False
'''
print sys.getdefaultencoding()
s='中文'
if isinstance(s,unicode): #如果是unicode就直接编码不需要解码
print s.encode('utf-8')
else:
print s.decode('utf-8').encode('gb2312')
print sys.getdefaultencoding() #获取系统默认的编码
reload(sys)
sys.setdefaultencoding('utf8') #修改系统的默认编码
print sys.getdefaultencoding()
各个系统中编码实验结果
--------------------在linux系统中--------------------
- python2，定义一个字符串，他默认编码为utf8
Python 2.7.5 on linux2
>>> s='我用python'
>>> s.encode('utf8')
Traceback (most recent call last):
File "", line 1, in
UnicodeDecodeError: 'ascii' codec can't decode byte 0xe6 in position 0: ordinal not in range(128)
>>> s.decode('utf8').encode('utf8')
'\xe6\x88\x91\xe7\x94\xa8python'
- python3，定义一个字符串，他默认编码为utf8
Python 3.6.2 on linux
>>> s='我用python'
>>> s.encode('utf8')
b'\xe6\x88\x91\xe7\x94\xa8python'
--------------------在windows系统中--------------------
- python2，定义一个字符串，他默认编码为gb2312
Python 2.7.16 on win32
>>> s = '我用python'
>>> s.encode('utf8')
Traceback (most recent call last):
File "", line 1, in
UnicodeDecodeError: 'ascii' codec can't decode byte 0xce in position 0: ordinal not in range(128)
>>> s.decode('utf8').encode('utf8')
Traceback (most recent call last):
File "", line 1, in
File "C:\Python27\lib\encodings\utf_8.py", line 16, in decode
return codecs.utf_8_decode(input, errors, True)
UnicodeDecodeError: 'utf8' codec can't decode byte 0xce in position 0: invalid continuation byte
>>> s.decode('gb2312').encode('utf8')
'\xe6\x88\x91\xe7\x94\xa8python'
- python3，定义一个字符串，他默认编码为utf8
Python 3.6.2 on win32
>>> s = '我用python'
>>> s.encode('utf8')
b'\xe6\x88\x91\xe7\x94\xa8python'
--------------------在linux系统中--------------------
- python2，定义一个字符串，他默认编码为utf8
Python 2.7.5 on linux2
>>> s='我用python'
>>> s.encode('utf8')
Traceback (most recent call last):
File "", line 1, in
UnicodeDecodeError: 'ascii' codec can't decode byte 0xe6 in position 0: ordinal not in range(128)
>>> s.decode('utf8').encode('utf8')
'\xe6\x88\x91\xe7\x94\xa8python'
- python3，定义一个字符串，他默认编码为utf8
Python 3.6.2 on linux
>>> s='我用python'
>>> s.encode('utf8')
b'\xe6\x88\x91\xe7\x94\xa8python'
--------------------在windows系统中--------------------
- python2，定义一个字符串，他默认编码为gb2312
Python 2.7.16 on win32
>>> s = '我用python'
>>> s.encode('utf8')
Traceback (most recent call last):
File "", line 1, in
UnicodeDecodeError: 'ascii' codec can't decode byte 0xce in position 0: ordinal not in range(128)
>>> s.decode('utf8').encode('utf8')
Traceback (most recent call last):
File "", line 1, in
File "C:\Python27\lib\encodings\utf_8.py", line 16, in decode
return codecs.utf_8_decode(input, errors, True)
UnicodeDecodeError: 'utf8' codec can't decode byte 0xce in position 0: invalid continuation byte
>>> s.decode('gb2312').encode('utf8')
'\xe6\x88\x91\xe7\x94\xa8python'
- python3，定义一个字符串，他默认编码为utf8
Python 3.6.2 on win32
>>> s = '我用python'
>>> s.encode('utf8')
b'\xe6\x88\x91\xe7\x94\xa8python'