记一次爬虫踩坑经历

2018-02-27 11:14:39来源:https://www.jianshu.com/p/b0b5b0038715作者:孙文研人点击

分享


昨天给我的另一篇文章 品牌企业舆情监控与处理 补充了一部分爬虫的内容,突然想到这部分内容可以单独拉出来写一篇文章。只是这个经历距离现在已有一年的时间,很多细节都记不清了,只能模糊地回忆个大概。这是我第一次写爬虫,水平基本上就是 copy and paste from stackoverflow,外加两本Python数据分析书随手翻。

当时需求是抓很多页面(大概几十万张)中的内容,并提取特定的字符串,如email,URL等。

当时的想法是: 因为数据量大,所以整个过程可以套在Python pandas里的dataframe里做,考虑到pandas是用c直接写的,所以性能要比Python 自带的循环高很多,而通过pandas,抓出来的字符串可以和URL匹配上,非常方便。

大概逻辑是这样:

URL导入pandas列中,然后开始遍历,每次遍历用scrapy请求URL,获取页面所有数据,匹配出来email或者URL,写回到pandas的dataframe中,再写库(比如MySQL)或者写到文件,释放内存,完成。

我是比较懒的一种人,喜欢写好脚本放到Linux上在后台自己跑,然后关掉终端自己干别的事去,过一会儿再去看看。结果就一直发现脚本跑到一定程度就自己停了。

这里主要会有这样几个坑:

1. 请求URL的问题,响应超时时间设置

2. 对于404,301,500等非200状态码的处理

3.对于页面编码的处理,几种中文编码都要考虑到:utf8,gbk,gb2312等

还有很多未知的问题,有时候脚本停了,没有记录抓到哪,又要重新开始抓。写库的时候写进去了好多重复数据,只能一遍遍清库重抓。

遇到的第二类坑,就是数据量:

数据量大,又涉及遍历,然而服务器配置又有限,所以先要把一个大的dataframe切成几个小的,就会一个循环套另一个循环,然后需要不停地把内存里的dataframe写到数据库里,以释放内存,那时候技术水平太差,不知道这种情况该如何多线程处理,所以抓的很慢。

还有,也是技术水平问题,就是正则表达式:

了解过一些正则,但在不同语言中,regex写法也有略微不同,所以我就直接搜索别人写好的,结果发现,别人写好的好多配出来的都有问题,无奈重新处理。

最后还是决定用现成的网站抓取工具了。主要是因为不容易出现未知exception而脚本突然停了,其实都可以用脚本实现,只不过进一步完善脚本的时候,感觉就是冲着开发一套网站抓取工具去了,有种重复造轮子的感觉。

现成的网站抓取工具也有诸多不便之处: 这类有界面的工具往往都是在Windows系统上跑,一台机器如果不装虚拟机只能跑一个工具,并且有时候界面真的不如命令行来的方便。

另外还是数据量问题,这类工具往往使用sqlite作为数据库,数据量一大,处理起来也不方便。

以上只是菜鸟的一次爬虫踩坑经历,欢迎交流。








最新文章

123

最新摄影

闪念基因

微信扫一扫

第七城市微信公众平台