一个字节一共可以用来表示256种不一致的意况,0–127代表的标记是同样的

ASCII码

咱俩精晓,在计算机内部,所有的新闻最后都表示为一个二进制的字符串。每一个二进制位(bit)有0和1三种情状,因而多少个二进制位就足以组成出256种情景,那被称作一个字节(byte)。也就是说,一个字节一共可以用来代表256种分裂的事态,每一个场合对应一个符号,就是256个标志,从0000000到11111111。
上个世纪60年份,米利坚制定了一套字符编码,对加泰罗尼亚语字符与二进制位之间的关系,做了统一规定。那被称呼ASCII码,一向沿用至今。
ASCII码一共规定了128个字符的编码,比如空格”SPACE”是32(二进制00100000),大写的字母A是65(二进制01000001)。那128个标志(包含32个不能打印出来的操纵符号),只占用了一个字节的前面7位,最前头的1位统一规定为0。

正文参考:http://www.ruanyifeng.com/blog/2007/10/ascii\_unicode\_and\_utf-8.html)

非ASCII编码

立陶宛语用128个记号编码就够了,不过用来代表其他语言,128个记号是不够的。比如,在匈牙利(Hungary)语中,字母上方有注音符号,它就不可能用ASCII码表示。于是,一些亚洲江山就控制,利用字节中不了了之的万丈位编入新的记号。比如,土耳其共和国(Türkiye Cumhuriyeti)语中的é的编码为130(二进制10000010)。那样一来,那几个北美洲江山选用的编码种类,能够表示最多256个记号。

但是,那里又出现了新的题材。分歧的国家有两样的假名,由此,哪怕它们都利用256个记号的编码格局,代表的假名却分裂。比如,130在爱沙尼亚语编码中表示了é,在阿尔巴尼亚语编码中却意味着了字母Gimel
(ג),在波兰语编码中又会表示另一个符号。可是无论怎么着,所有这一个编码格局中,0–127意味着的标志是一模一样的,差距的只是128–255的这一段。

关于亚洲国度的文字,使用的标记就越多了,汉字就多达10万左右。一个字节只可以表示256种标志,肯定是不够的,就务须利用七个字节表明一个标志。比如,简体中文常见的编码方式是GB2312,使用八个字节表示一个中国字,所以理论上最多可以象征256×256=65536个标志。

中文编码的标题亟需专文钻探,那篇笔记不关乎。那里只指出,就算都是用多个字节表示一个符号,不过GB类的汉字编码与后文的Unicode和UTF-8是毫无关系的。

1. ASCII码

Unicode

正如上一节所说,世界上设有着冒尖编码情势,同一个二进制数字可以被诠释成分歧的符号。由此,要想打开一个文书文件,就无法不明白它的编码方式,否则用错误的编码方式解读,就会现出乱码。为何电子邮件经常出现乱码?就是因为发信人和收信人使用的编码格局不等同。

可以想像,假设有一种编码,将世界上具有的标记都纳入其间。每一个标记都给予一个无比的编码,那么乱码难题就会破灭。那就是Unicode,就像是它的名字都代表的,那是一种具有符号的编码。

Unicode当然是一个很大的集结,现在的规模得以容纳100多万个标志。每个符号的编码都不均等,比如,U+0639表示阿拉伯字母Ain,U+0041象征法语的大写字母A,U+4E25代表汉字”严”。具体的标记对应表,可以查询unicode.org,或者特其他方块字对应表。

大家知晓,在微机内部,所有的新闻最后都意味着为一个二进制的字符串。每一个二进制位(bit)有0和1二种情景,由此多少个二进制位就足以整合出256种景况,那被称作一个字节(byte)。也就是说,一个字节一共可以用来代表256种不一致的事态,每一个场地对应一个符号,就是256个标志,从0000000到11111111。

Unicode的问题

亟待小心的是,Unicode只是一个符号集,它只确定了标记的二进制代码,却没有规定这么些二进制代码应该怎么存储。

诸如,汉字”严”的unicode是十六进制数4E25,转换成二进制数足足有15位(100111000100101),也就是说这一个标记的意味至少要求2个字节。表示其余更大的标志,可能需求3个字节或者4个字节,甚至更加多。

此地就有四个严重的标题,第四个难点是,怎么着才能分别Unicode和ASCII?计算机怎么了然八个字节表示一个标记,而不是个别代表四个记号呢?第四个难题是,大家早就清楚,英文字母只用一个字节表示就够了,假使Unicode统一规定,每个符号用多少个或八个字节表示,那么每个英文字母前都必将有二到多个字节是0,那对于仓储来说是高大的浪费,文本文件的高低会就此大出二三倍,那是无力回天接受的。

它们造成的结果是:1)出现了Unicode的有余储存方式,也就是说有成百上千种差其余二进制格式,能够用来代表Unicode。2)Unicode在很长一段时间内无法松开,直到网络的面世。

上个世纪60年代,美利坚合众国制定了一套字符编码,对阿尔巴尼亚语字符与二进制位之间的关系,做了合并确定。这被称之为ASCII码,一向沿用至今。

UTF-8

互连网的普及,强烈须求出现一种统一的编码格局。UTF-8就是在互连网上运用最广的一种Unicode的完成形式。其余落成格局还包含UTF-16(字符用多少个字节或多个字节表示)和UTF-32(字符用三个字节表示),不过在互连网上着力不用。重复四回,这里的涉及是,UTF-8是Unicode的兑现情势之一。

UTF-8最大的一个风味,就是它是一种变长的编码格局。它可以选用1~4个字节表示一个标志,依据分裂的记号而变化字节长度。
UTF-8的编码规则很粗略,唯有二条:

1)对于单字节的符号,字节的第四位设为0,后边7位为那个标记的unicode码。因而对于菲律宾语字母,UTF-8编码和ASCII码是均等的。

2)对于n字节的标记(n>1),第四个字节的前n位都设为1,第n+1位设为0,前边字节的前两位一律设为10。剩下的从未有过提及的二进制位,全体为这几个符号的unicode码。
下表总括了编码规则,字母x表示可用编码的位。

Unicode符号范围 | UTF-8编码格局

(十六进制) | (二进制)

——————–+———————————————

0000 0000-0000 007F | 0xxxxxxx

0000 0080-0000 07FF | 110xxxxx 10xxxxxx

0000 0800-0000 FFFF | 1110xxxx 10xxxxxx 10xxxxxx

0001 0000-0010 FFFF | 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx

跟据上表,解读UTF-8编码万分简单。如果一个字节的率先位是0,则那几个字节单独就是一个字符;要是第三位是1,则连年有多少个1,就意味着近来字符占用多少个字节。

上面,照旧以汉字”严”为例,演示怎样促成UTF-8编码。

已知”严”的unicode是4E25(100111000100101),根据上表,能够窥见4E25处在第三行的限量内(0000
0800-0000 FFFF),由此”严”的UTF-8编码要求三个字节,即格式是”1110xxxx
10xxxxxx
10xxxxxx”。然后,从”严”的结尾一个二进制位初步,依次从后迈入填入格式中的x,多出的位补0。那样就得到了,”严”的UTF-8编码是”11100100
10111000 10100101″,转换成十六进制就是E4B8A5。

ASCII码一共规定了128个字符的编码,比如空格”SPACE”是32(二进制00100000),大写的字母A是65(二进制01000001)。那128个记号(包括32个无法打印出来的主宰符号),只占用了一个字节的背后7位,最前面的1位统一规定为0。

python 中的字符串编码

在使用

#!/usr/bin/env python
# -*- coding:utf-8 -*-

默许的中文编码为utf8

>>> kel = '中' 
>>> kel
'\xe4\xb8\xad'

加入u以后,变成unicode

>>> kel = u'中'
>>> kel
u'\u4e2d'

2、非ASCII编码

python 文件字符串编码

保存Unicode字符到文本文档

#coding=utf-8
import os

def write_use_open(filepath):
    try:
        file = open(filepath, 'wb')
        try:
            content = '中华人民共和国abcd \r\nee ?!>??@@@!!!!!???¥@#%@%#xx学校ada\r\n'
            print file.encoding
            print file.newlines
            print file.mode
            print file.closed
            print content
            file.write(content)
        finally:
            file.close()
            print file.closed
    except IOError, e:
        print e


if __name__ == '__main__':
    filepath = os.path.join(os.getcwd(), 'file.txt')
    write_use_open(filepath)

开班自我是IDLE编写的,并直接按F5周转,没发现难题,文件也被正确地保存,文件的编码类型也是utf-8.

只是我用命令行运行,却发现显示出现乱码了,然后在打开文件发现文件被科学保存了,编码照旧utf-8:

图片 1

难点是命令行不可能自动识别字符编码吧,因为IDLE展现是正确的,它帮助utf-8。

于是自己修改了代码,在字符串前加了’u’,评释content是unicode:
content = u’中中原人民共和国abcd \r\nee
?!>??@@@!!!!!???¥@#%@%#xx学校ada\r\n’

只是运行发现,命令行是正确显示了,可是却出现非常:

图片 2

很明朗,content里带有了非ASCII码字符,肯定不可以采用ASCII来开展编码的,write方法是默许使用ascii来编码保存的。

很简单就可以想到,在保存从前,先对unicode字符举办编码,我选拔utf-8

#coding=utf-8
import os

def write_use_open(filepath):
    try:
        file = open(filepath, 'wb')
        try:
            content = u'中华人民共和国abcd \r\nee ?!>??@@@!!!!!???¥@#%@%#xx学校ada\r\n'
            print file.encoding
            print file.newlines
            print file.mode
            print file.closed
            print content
            print unicode.encode(content, 'utf-8')
            file.write(unicode.encode(content, 'utf-8'))
        finally:
            file.close()
            print file.closed
    except IOError, e:
        print e

if __name__ == '__main__':
    filepath = os.path.join(os.getcwd(), 'file.txt')
    write_use_open(filepath)

看望运行结果:

图片 3

OK了打开文档也是不易的。
读取文件又怎么着?同样道理,只是本次不是编码了,而解码:

def read_use_open(filepath):
    try:
        file = open(filepath, 'rb')
        try:
            content = file.read()
            content_decode = unicode(content, 'utf-8')
            print 'original text'
            print content
            print 'decode using utf-8'
            print content_decode
        finally:
            file.close()
    except IOError, e:
        print e

if __name__ == '__main__':
    filepath = os.path.join(os.getcwd(), 'file.txt')
    write_use_open(filepath)
    print 'read file ---------------------------'
    read_use_open(filepath)

图片 4

干什么不直接在open的时候就解码呢?呵呵,可以啊,可以利用codecs的open方法

import codecs
def read_use_codecs_open(filepath):
    try:
        file = codecs.open(filepath, 'rb', 'utf-8')
        try:
            print 'using codecs.open'
            content = file.read()
            print content
        finally:
            file.close()
    except IOError, e:
        print e

图片 5

拉脱维亚语用128个记号编码就够了,可是用来代表其余语言,128个记号是不够的。比如,在法语中,字母上方有注音符号,它就不能用ASCII码表示。于是,一些亚洲国度就控制,利用字节中不了了之的最高位编入新的记号。比如,乌Crane语中的é的编码为130(二进制10000010)。那样一来,这几个澳大利亚国度利用的编码种类,可以代表最多256个记号。

互联网中乱码的解决

中文网页中,有些网页抓取下来之后,由于网页编码的难题,需求展开解码。首先大家要求看清网页中到底使用的是怎么编码,在依照那些编码把字符串变成utf8编码。

在探测编码时,chardet第三方库非凡的便民。

网页编码判断:

import urllib
rawdata = urllib.urlopen('http://tech.163.com/special/00097UHL/tech_datalist.js').read()
import chardet
print chardet.detect(rawdata)

{'confidence': 0.99, 'language': 'Chinese', 'encoding': 'GB2312'}

通过 chardet
探测出,网页的字符编码为GB2312编码,通过unicode转化为utf8编码:

str_body = unicode(rawdata, "gb2312").encode("utf8")

越来越多入门教程可以参照:[http://www.bugingcode.com/python_start/]
(http://www.bugingcode.com/python_start/)

可是,那里又并发了新的难点。不一致的国度有差别的假名,由此,哪怕它们都施用256个记号的编码形式,代表的假名却差距等。比如,130在日语编码中意味了é,在印度语印尼语编码中却代表了字母Gimel
(ג),在葡萄牙语编码中又会意味着另一个标志。但是无论如何,所有这几个编码格局中,0–127代表的标记是如出一辙的,不相同的只是128–255的这一段。所以,在128–255那段中,同一个二进制数在分裂国家的文字中象征区其他字符。

至于北美洲江山的文字,使用的记号就更加多了,汉字就多达10万左右。一个字节只好表示256种标志,肯定是不够的,就非得采纳多少个字节表明一个符号。比如,简体普通话常见的编码格局是GB2312,使用四个字节表示一个汉字,所以理论上最多可以表示256×256=65536个标志。

中文编码的题材须要专文探讨,那篇笔记不涉及。那里只提出,纵然都是用七个字节表示一个标志,可是GB类的汉字编码与后文的Unicode和UTF-8是毫无关系的。

3.Unicode

正如上一节所说,世界上设有着冒尖编码格局,同一个二进制数字可以被讲演成分化的标志。因而,要想打开一个文书文件,就务须知道它的编码格局,否则用错误的编码情势解读,就会产出乱码。为何电子邮件平常出现乱码?就是因为发信人和收信人使用的编码情势分歧。

可以设想,借使有一种编码,将世界上有着的符号都纳入其间。每一个标记都予以一个独一无二的编码,那么乱码难点就会不复存在。那就是Unicode,就好像它的名字都意味的,那是一种具有符号的编码。

Unicode当然是一个很大的联谊,现在的局面得以容纳100多万个标志。每个符号的编码都不一样,比如,U+0639象征阿拉伯字母Ain,U+0041代表罗马尼亚语的大写字母A,U+4E25代表汉字”严”。具体的记号对应表,可以查询unicode.org,或者特其余汉字对应表

4. Unicode的问题

急需专注的是,Unicode只是一个符号集,它只规定了标记的二进制代码,却绝非确定那些二进制代码应该怎么着存储。

例如,汉字”严”的unicode是十六进制数4E25,转换成二进制数足足有15位(100111000100101),也就是说这几个符号的意味至少须求2个字节。表示其他更大的号子,可能需求3个字节或者4个字节,甚至越多。

那里就有四个严重的题材,第二个难题是,怎么着才能分别Unicode和ASCII?总括机怎么明白两个字节表示一个标志,而不是个别代表多个标志呢?第一个难点是,大家早已领会,英文字母只用一个字节表示就够了,如若Unicode统一规定,每个符号用多个或三个字节表示,那么每个英文字母前都自然有二到多少个字节是0,那对于仓储来说是石破天惊的荒废,文本文件的大大小小会为此大出二三倍,那是力不从心承受的。

它们造成的结果是:1)现身了Unicode的多样储存方式,也就是说有多如牛毛种分歧的二进制格式,可以用来代表Unicode。2)Unicode在很长一段时间内不可能松开,直到网络的出现。

5.UTF-8

网络的推广,强烈要求出现一种统一的编码情势。UTF-8就是在互连网上利用最广的一种Unicode的落到实处格局。其余完毕情势还包涵UTF-16(字符用多少个字节或多少个字节表示)和UTF-32(字符用多个字节表示),不过在网络上基本不用。再次一遍,那里的关系是,UTF-8是Unicode的落到实处格局之一。

UTF-8最大的一个风味,就是它是一种变长的编码格局。它可以接纳1~4个字节表示一个标志,根据区其他记号而变化字节长度。

UTF-8的编码规则很粗略,唯有二条:

1)对于单字节的符号,字节的万丈位设为0,后边7位为那些符号的unicode码。因而对于匈牙利(Hungary)语字母,UTF-8编码和ASCII码是均等的。

2)对于n字节的标记(n>1),第二个字节的前n位都设为1,第n+1位设为0,前面字节的前两位一律设为10。剩下的尚未提及的二进制位,全体为那几个标记的unicode码。

下表统计了编码规则,字母x表示可用编码的位。

Unicode符号范围 | UTF-8编码形式
(十六进制) | (二进制)
——————–+———————————————
0000 0000-0000 007F | 0xxxxxxx
0000 0080-0000 07FF | 110xxxxx 10xxxxxx
0000 0800-0000 FFFF | 1110xxxx 10xxxxxx 10xxxxxx
0001 0000-0010 FFFF | 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx

 

跟据上表,解读UTF-8编码相当简单。即使一个字节的首先位是0,则这些字节单独就是一个字符;如果首位是1,则连接有稍许个1,就象征近日字符占用多少个字节。

上面,仍旧以汉字”严”为例,演示怎样完毕UTF-8编码。

已知”严”的unicode是4E25(100111000100101),按照上表,可以发现4E25处于第三行的限定内(0000
0800-0000 FFFF),因而”严”的UTF-8编码必要多少个字节,即格式是”1110xxxx
10xxxxxx
10xxxxxx”。然后,从”严”的最终一个二进制位伊始,依次从后迈入填入格式中的x,多出的位补0。那样就取得了,”严”的UTF-8编码是”11100100
10111000 10100101″,转换成十六进制就是E4B8A5。