通过curl工具写的一个C语言版网页爬虫工具,主要在vim里方便

2018-01-12 11:11:46来源:网络收集作者:管理员人点击

分享

阿里云爆款

这一篇,讲述了通过 curl工具进行网页内容爬取的工具,需要安装gcc,可以直接编译运行。


附源码:


源码


1. 前期准备工作

1.1 安装windows 版gcc。如下图所示:
https://chocolatey.org/packages/mingw
通过curl工具写的一个C语言版网页爬虫工具,主要在vim里方便
这里介绍一下 chocolatey 是windows上面的命令行软件安装工具,类似ubuntu的apt-get或者yum。


1.2编译源代码
安装好gcc之后,即可进行编译,直接make可以在源码根;目录生成spider.exe的可执行程序,或者直接使用我编译好的可执行程序,如下图所示:
通过curl工具写的一个C语言版网页爬虫工具,主要在vim里方便


1.3 工具的使用:
直接在cmd种运行 spider.exe可以查看帮助,不过建议直接使用即可命令参数:
spider.exe https://www..com/* 如下图所示:
通过curl工具写的一个C语言版网页爬虫工具,主要在vim里方便


最终会在spider.exe 路径下生成一个文件夹,里面对爬到的图片等资源进行了重定向,有兴趣的同学可以修改源码自己设定更合理路径以及更好的爬取相关网站的内容。


附源码:源码


最新文章

123

最新摄影

闪念基因

微信扫一扫

第七城市微信公众平台