centos7下python3安装且使用scrapy

2018-02-27 11:26:18来源:oschina作者:银装素裹人点击

分享

1.环境前提条件:安装并且配置好python3,配置好pip3,sqlite3可以使用.


可以查看centos7安装python3:https://my.oschina.net/u/3223370/blog/1621511


2.使用pip3安装scrapy


pip3 install scrapy


3.配置scrapy全局可以访问,删除掉已经有的scrapy(如果有)


rm -rf /usr/bin/scrapy


ln /usr/local/python3/bin/scrapy /usr/bin/scrapy


4.创建一个scrapy工程,测试目录:/data/www/


cd /data/www/


scrapy startproject quote


5.创建一个spider


cd /data/www/quote


scrapy genspider quotesquotes.toscrape.com


6.定义item


cd/data/www/quote/quote


vim items.py



保存退出!


7.编写spider


cd/data/www/quote/quote/spiders


vim quotes.py



保存退出!


7.运行scrapy


cd/data/www/quote


scrapy crawl quotes -o /data/www/quote/quotes.json


8.到此初步使用完毕!



最新文章

123

最新摄影

微信扫一扫

第七城市微信公众平台