1. 程式人生 > >4、Python將采集的信息保存

4、Python將采集的信息保存

enc lis iter names for utf8 option res esp

一、引言

前面小編已和各位童鞋分享了如何爬去歷史天氣網站的城市信息,下面將和大家分享如何將采集到的信息保存下來。

1、將采集到的信息保存在csv文件中

2、將采集到的信息保存在sql server 2014 中

二、將采集到的信息保存在csv文件中

在工程下新建一個area文件夾,由於代碼簡單,小編就直接貼出來了:

 1 # coding = utf-8
 2 
 3 import urllib
 4 import urllib.request
 5 from bs4 import BeautifulSoup
 6 import csv
7 import json 8 9 provincelst=[] 10 11 def getProvinces(): 12 url = http://lishi.tianqi.com/ 13 response = urllib.request.urlopen(url, timeout=20) 14 result = response.read() 15 soup = BeautifulSoup(result, "lxml") 16 provinces = soup.select(".nav_b .select #province option") 17
18 for priovince in provinces: 19 py = priovince.get(py) 20 id = priovince.get(value) 21 name = priovince.get_text().split( )[1] 22 provincelst.append([id,py,name]) 23 24 with open(area/province.csv, w, encoding=utf8, newline=‘‘) as csvfile: 25 fieldnames = [
id, py, name] 26 writer = csv.DictWriter(csvfile, fieldnames=fieldnames) 27 writer.writeheader() 28 for a in provincelst: 29 writer.writerow({id: a[0], py: a[1],name: a[2] }) 30 31 getProvinces()

24-29行為導出csv文件的代碼。

三、將采集到的信息保存在sql server 2014 中

4、Python將采集的信息保存