python3暴力删除html中gbk不可编码字符

2017-09-13 08:20:33来源:CSDN作者:PoPoQQQ人点击

分享

苦逼大学僧的日常。。。

狗真是日了我了……
UnicodeEncodeError: ‘gbk’ codec can’t encode character u’/ufeff’ in position 0: illegal multibyte sequence
写个爬虫被这东西折磨了一天。。。不光BOM的feff,还有各种解码不出来的字符,啥玩意都有。。
各种二分找位置(他提示的位置是不准的),看是什么,加判断,最后我崩溃了……
决定把这些解码不出来的字符一一删除
利用输出的提示信息来确定不可见字符,然后将不可见字符删除,重复这个过程
缺点就是会建立一个kill.html的文件以及由于删除了开头的/ufeff所以生成的字符串输出到文件里打开会乱码。。。

def killAnUnseen(s):    try:        f = open('kill.html', 'w');        f.write(s);        f.close()    except UnicodeEncodeError as err:        info = str(err);        st = re.search('////u[a-f0-9]{4}|////x[a-f0-9]{2}', info).group()[2:];        x = int(st, 16);        return (s.replace(chr(x), ""), True)    return s, Falsedef killUnseen(s):    while(True):        s, res = killAnUnseen(s)        if res == False:            return s

最新文章

123

最新摄影

微信扫一扫

第七城市微信公众平台