又是编码的问题
最近在Linux下使用SublimeText3进行Python编码,添加了Anaconda插件。然而在测试一个简单的文件时,出现了插件不工作的问题。分析插件给出的log,发现"UnicodeEncodeError: 'ascii' codec can't encode characters in position 24-25: ordinal not in range(128)"]'t encode characters in position 24-25: ordinal not in range(128)"。因为这个文件是放在一个中文目录下(/home/下载),因此怀疑是中文路径引起的问题。
做了如下测试:
>>>import os>>>os.getcwd()'/home/abcat/\xe9\x9f\xb3\xe4\xb9\x90'>>>type(os.getcwd())str>>>os.path.join(os.getcwd(),u"中文.txt")---------------------------------------------------------------------------UnicodeDecodeError Traceback (most recent call last)in ()----> 1 os.path.join(os.getcwd(),u"中文.txt")/usr/lib/python2.7/posixpath.pyc in join(a, *p) 78 path += b 79 else:---> 80 path += '/' + b 81 return path 82 UnicodeDecodeError: 'ascii' codec can't decode byte 0xe9 in position 12: ordinal not in range(128)>>> os.path.join(os.getcwd(),"中文.txt")'/home/abcat/\xe9\x9f\xb3\xe4\xb9\x90/\xe4\xb8\xad\xe6\x96\x87.txt' >>>os.path.join(unicode(os.getcwd(),'utf-8'),u"中文.txt")u'/home/abcat/\u97f3\u4e50/\u4e2d\u6587.txt'
join(arg1,arg2)函数处理路径,会自动根据输入参数的类型进行编码,在编码过程中,会有四种情况发生:
1、str+str,不进行编码处理;
2、str+unicode,会将arg1用defaultencoding进行编码,python2默认的编码是"ascii",如果arg1包含中文(中文在str中以bytestream表示),则无法使用"ascii"进行编码,出现UnicodeDecodeError错误;
3、unicode+str,同上,只是会用默认编码对arg2进行编码,如果是中文还会出现错误;
4、unicode+unicode,正常。
有时会想,一直使用str表示所有路径不行吗?答案是有时会出问题,至少anaconda(以及它利用的sublimeJEDI)会出现问题。
在Python3中,所有字符串都以unicode统一处理,而Python2中用str表示的中文则被称为bytestream。也就是中文的二进制编码,相同的文件名在不同的平台可能有不同的表示,具体表示方法由sys.getfilesystemencoding()取得。