爱站网关键字挖掘爬虫开发教程

2018-02-27 11:05:39来源:oschina作者:萧然668人点击

分享

本文主要介绍在神箭手上开发“爱站网关键字挖掘采集爬虫”的过程,爬虫主要实现批量输入关键字并爬取数据的功能,选择性登录功能(登录后爬取的数据更多),爬取字段包括长尾词数量、收录数和优化难度等字段。


爱站网是一个站长们经常使用的工具,是因为其具有长尾关键词挖掘的功能,做SEO的童鞋们都知道它的价值,而且对网站内容生产方向、结构规划,TDK编写都十分有帮助。


采集网站URL:https://ci.aizhan.com


使用功能点:


· 自定义设置


· initCrawl、beforeCrawl、onProcessContentPage和afterExtractField回调函数


下面,给你详细说明“爱站网关键字挖掘采集爬虫”在神箭手上的开发过程:


步骤1创建爬虫

注册并登录神箭手,进入神箭手控制台。


Img1


点击“新建应用”,选择“爬虫”,点击“下一步”。


Img2


输入爬虫名称“爱站网关键字挖掘采集爬虫”,选择“编辑模式”,点击“创建”,神箭手爬虫创建成功。


Img3


步骤2分析网页&开发爬虫

要在神箭手上开发爬虫,首先需要分析目标网站,本文使用Chrome浏览器分析爱站网关键字挖掘网页,按“F12”可以打开浏览器“开发者工具”。


Img4


1.“不登录”情况分析

不登录的话,一个关键字只能爬取最多100条数据。输入“旅游”并点击“查询”,网页加载完成后,是不是发现网页url变成了这个“https://ci.aizhan.com/65c56e38/”。


Img5


是不是很纳闷,怎么关键字变成一堆数字了?


Img6


其实,这是爱站网给你下的绊子,给关键字做了一次处理,不过这点困难阻挡不了我们前进的脚步。右击鼠标,查看“网页源码”,找到encode_unicode_param函数,关键字就是通过此函数进行处理的。


Img7


但函数源码并不在此,需要回到查询后的网页,按“F5”刷新网页,在浏览器“开发者工具”中选择“Sources”,找到“script.js?v=0108”文件,就能找到encode_unicode_param函数源码了,这样一来就可以顺利拼出关键词查询链接了,然后你就可以在神箭手爬虫编辑页开发非登录爬虫了。


Img8


2.“登录”情况分析

登录后,可爬取多页数据,打开爱站网登录页。


Img9


按“F12”打开**浏览器“开发者工具”**选择“Network”,勾选“Preserve Log”,输入“用户名、密码和验证码”,点击“登录”,分析发送的POST请求即可,并使用神箭手提供的solveCaptcha函数实现验证码识别逻辑。


注意:


· 文章结尾有爱站网登录的代码片段。


Img10


最后,结合“神箭手开发文档”,在神箭手爬虫编辑页开发爬虫即可。


Img11


步骤3测试并运行爬虫

爬虫开发完成后,点击“测试”按钮,检查爬虫的爬取结果是否正确。


Img12


测试通过后,进入“爬虫设置”页,设置“代理IP”、“文件云托管”,输入需要爬取的关键字,最后点“保存”。


Img13


返回爬虫总览页,点击“启动爬虫”,稍等片刻,爬虫就会爬到数据了。如果嫌弃爬虫的爬取速度,要么增加节点,要么优化爬虫代码。


Img14


步骤4数据发布与导出

爬虫爬到数据后,可以选择将数据“发布到网站或数据库”中,点此查看神箭手数据发布详细教程。


Img15


此外,还可选择将数据“导出”,点此查看神箭手数据导出详细教程。


Img16


神箭手上开发的“爱站网关键字挖掘采集爬虫”导出数据示例,如下图所示:


Img17


爱站网登录代码片段:


// 登录链接
var loginUrl = "https://www.aizhan.com/login.php";
// 登录时发送的POST请求参数
var options = {
method: "POST",
data: {
refer: "https://ci.aizhan.com/",
username: username,// 用户名
password: password,// 密码
code: code// 验证码
}
};
// 发送登录请求
site.requestUrl(loginUrl, options);
// 判断是否登录成功
if (site.getCookie("userSecure")) {
console.log("登录成功!");
return true;
}

最新文章

123

最新摄影

微信扫一扫

第七城市微信公众平台