python从零开始写爬虫(5)-- 数据入库

2017-01-12 19:08:05来源:CSDN作者:u011320740人点击

写好的爬虫,现在就让他跑起来,把数据load到数据库

具体操作:

1.安装python 链接mysql的库:pip install PyMySql

2.新建数据库及表:

DROP TABLE IF EXISTS `news`;CREATE TABLE `news` (  `newsid` varchar(255) DEFAULT NULL,  `title` varchar(255) DEFAULT NULL,  `newssource` varchar(255) DEFAULT NULL,  `dt` varchar(255) DEFAULT NULL,  `article` mediumtext,  `editor` varchar(255) DEFAULT NULL,  `id` int(11) NOT NULL AUTO_INCREMENT,  PRIMARY KEY (`id`)) ENGINE=InnoDB AUTO_INCREMENT=22 DEFAULT CHARSET=utf8;

3.操作数据库方法:

import pymysql def connDB():     #连接数据库     conn=pymysql.connect(host='localhost',user='root',passwd='',db='pythod_pacong',charset='utf8')     cur=conn.cursor()    return (conn,cur)def exeUpdate(conn,cur,sql):     #更新语句,可执行Update,Insert语句     sta=cur.execute(sql)    conn.commit()    return (sta)def exeQuery(cur,sql):     #查询语句     cur.execute(sql)    result = cur.fetchone()    return (result)def connClose(conn,cur):     #关闭所有连接     cur.close()    conn.close()

4.开始爬虫load数据入库:

connDB1 = connDB()sql = "insert into news(newsid,title,newssource,dt,article,editor) values"urls = getNewsURLs('http://news.sina.com.cn/china/')for url in urls:    sql1 = sql+ '("'+ getNewsDetail(url)["newsid"] +'","'+getNewsDetail(url)["title"]+'","'+getNewsDetail(url)["newssource"]+'","'+getNewsDetail(url)["dt"]+'","' +getNewsDetail(url)["article"] +'","' + getNewsDetail(url)["editor"]  + '")'    print(exeUpdate(connDB1[0],connDB1[1],sql1))connClose(connDB1[0],connDB1[1])

5.爬取结果如下:



最新文章

123

最新摄影

微信扫一扫

第七城市微信公众平台