簡單爬取fx678得外匯資料

阿新 • • 發佈：2019-02-03

# -*- coding: utf-8 -*-

import requests
import pandas as pd
from lxml import etree
import time
from time import sleep
url = 'http://quote.fx678.com/exchange/WH'
headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'}

response=requests.get(url,headers=headers)
sleep(2 
)
html=etree.HTML(response.text)

names=html.xpath('//td[1]/a/text()')
prices=html.xpath('//td[2]/text()')
prices_change=html.xpath('//td[3]/span/text()')
price_high=html.xpath('//td[5]/text()')
price_low=html.xpath('//td[6]/text()')
price_yestday=html.xpath('//td[7]/text()')

dict={'names':names,'prices':prices,'prices_change' 
:prices_change,'price_high':price_high,'price_low':price_low,'price_yestday':price_yestday}

df=pd.DataFrame(dict)
df

names	price_high	price_low	price_yestday	prices	prices_change
0	美元指數	90.91	90.75	90.79	90.90	0.11
1	歐元美元	1.2239	1.2217	1.2233	1.2219	-0.0014
2	英鎊美元	1.3997	1.3970	1.3978	1.3971	-0.0007
3	美元日元	109.06	108.79	108.82	109.03	0.21
4	澳元美元	0.7606	0.7573	0.7604	0.7577	-0.0027
5	美元瑞郎	0.9812	0.9783	0.9789	0.9808	0.0019
6	美元加元	1.2846	1.2821	1.2833	1.2844	0.0011
7	美元港元	7.8486	7.8458	7.8461	7.8477	0.0016
8	美元在岸人民幣	6.3082	6.2982	6.3065	6.3061	-0.0004
9	美元離岸人民幣	6.3065	6.2881	6.2967	6.3056	0.0089
10	紐元加元	0.9137	0.9110	0.9136	0.9113	-0.0023
11	歐元紐元	1.7226	1.7179	1.7182	1.7221	0.0039
12	澳元日元	82.79	82.53	82.74	82.60	-0.14
13	澳元紐元	1.0693	1.0671	1.0681	1.0679	-0.0002
14	澳元加元	0.9759	0.9726	0.9758	0.9732	-0.0026
15	瑞郎日元	111.23	111.02	111.16	111.16	-0.01
16	澳元瑞郎	0.7450	0.7429	0.7443	0.7431	-0.0012
17	英鎊加元	1.7951	1.7929	1.7937	1.7945	0.0008
18	歐元英鎊	0.8753	0.8740	0.8752	0.8746	-0.0006
19	加元瑞郎	0.7647	0.7624	0.7628	0.7636	0.0008
20	英鎊日元	152.46	152.07	152.10	152.32	0.22
21	歐元日元	133.29	133.03	133.11	133.21	0.10
22	歐元瑞郎	1.1990	1.1973	1.1976	1.1985	0.0009
23	紐元日元	77.51	77.33	77.47	77.35	-0.12
24	英鎊瑞郎	1.3715	1.3673	1.3683	1.3703	0.0020
25	紐元瑞郎	0.6973	0.6957	0.6969	0.6959	-0.0010
26	加元日元	85.00	84.76	84.79	84.88	0.09
27	英鎊澳元	1.8449	1.8377	1.8384	1.8440	0.0056
28	歐元澳元	1.6133	1.6082	1.6088	1.6127	0.0039
29	英鎊紐元	1.9697	1.9628	1.9632	1.9691	0.0059
30	歐元加元	1.5699	1.5678	1.5698	1.5694	-0.0004
31	美元波蘭茲羅提	3.7395	3.7329	3.7334	3.7359	0.0025
32	美元墨西哥比索	18.857	18.795	18.819	18.852	0.033
33	美元匈牙利福林	275.76	275.29	275.30	275.70	0.40
34	美元土耳其里拉	4.0914	4.0831	4.0861	4.0877	0.0016
35	美元南非蘭特	12.372	12.321	12.326	12.368	0.041
36	美元捷克朗	23.706	23.666	23.669	23.693	0.024
37	美元丹麥克朗	6.0954	6.0850	6.0890	6.0946	0.0056
38	美元挪威	7.9197	7.8958	7.9026	7.9188	0.0162
39	美元盧布	61.987	61.441	61.523	61.656	0.133
40	美元瑞典	8.5209	8.5067	8.5077	8.5208	0.0131
41	美元新幣	1.3254	1.3218	1.3221	1.3251	0.0030
42	紐幣美元	0.7121	0.7092	0.7120	0.7095	-0.0025
43	比特幣美元	4153.62	4019.65	4073.00	4081.77	8.77

簡單爬取fx678得外匯資料

# -*- coding: utf-8 -*- import requests import pandas as pd from lxml import etree import time from time import sleep url = 'http:

Scrapy框架的學習(2.scrapy入門，簡單爬取頁面，並使用管道(pipelines)儲存資料)

上個部落格寫了： Scrapy的概念以及Scrapy的詳細工作流程 https://blog.csdn.net/wei18791957243/article/details/86154068 1.scrapy的安裝 pip install scrapy

C#簡單爬取資料（.NET使用HTML解析器ESoup和正則兩種方式匹配資料）

一、獲取資料想弄一個數據庫，由於需要一些人名，所以就去百度一下，然後發現了360圖書館中有很多人名然後就像去複製一下，發現複製不了，需要登陸此時f12檢視原始碼是可以複製的，不過就算可以複製想要插入資料也是很麻煩的。既然複製走不通，於是我抱著探索知識的精神，打開了Visual Studio 首先我

[python學習] 簡單爬取圖片站點圖庫中圖片

ctu while 要去文章 ava ges file cor nal 近期老師讓學習Python與維基百科相關的知識，無聊之中用Python簡單做了個爬取“遊訊網圖庫”中的圖片，由於每次點擊下一張感覺很浪費時間又繁瑣。主要分享的是怎樣爬取HTML

crawler碎碎念6 豆瓣爬取操作之獲取資料

import requests from lxml import etree s = requests.Session() for id in range(0,251,25): 　　url ='https://movie.douban.com/top250/?start-'+str(i

urllib:Post方式爬取AJAX載入的資料

Request請求物件的裡有data引數，它就是用在POST裡的，我們要傳送的資料就是這個引數data，data是一個字典，裡面要匹配鍵值對。 POST請求：程式碼模板匯入request模組 import urllib.request 程式碼模板 # 首先對data進行轉碼

urllib:爬取貼吧靜態資料

所謂網頁抓取，就是把URL地址中指定的網路資源從網路流中讀取出來，儲存到本地。在Python中有很多庫可以用來抓取網頁，其中最常用的就是urllib。 urllib庫的基本使用 urllib提供了一系列用於操作URL的功能

Python 爬蟲爬取單個基因表格資料的生物學功能（urllib+正則表示式）：

Python 爬蟲爬取單個基因的生物學功能（urllib+正則表示式）： import re import urllib from urllib import request url = 'https://www.ncbi.nlm.nih.gov/gene/?term=FUT1'

Python爬取網頁的圖片資料

本案例是基於PyCharm開發的，也可以使用idea。在專案內新建一個python檔案TestCrawlers.py TestCrawlers.py # 匯入urllib下的request模組 import urllib.request # 匯入正則匹配包 import re

爬蟲入門之爬取靜態網頁表格資料

我們的目標就是將這個表格中的資料爬下來儲存成csv檔案目標連結:http://www.zuihaodaxue.cn/zuihaodaxuepaiming2018.html 內容解析部分我更喜歡使用Pyquery 你也可以使用其他的解析方式 #!/usr/bin/env py

python用協程池非同步爬取音樂的json資料

# -*- coding: utf-8 -*- # @Author : Acm import gevent.monkey gevent.monkey.patch_all() from gevent.pool import Pool from Queue import Queue imp

簡單爬取github下載連結

這幾天在看《python3 網路爬蟲實戰》，裡面用到了tesseract和它對應的語言包，為了避免使用這個庫出錯，我就開始在github上下載對應的語言包，但是無論是使用瀏覽器，還是wget下載，都會在下載一大半的時候出錯，於是萌生了一個分開下載的念頭。轉念一想，自己手動根據連結下載比較簡單，但是麻

python爬取京東文胸資料(三)

上篇我們只爬了一個牌子的文胸，這次我們來多爬幾個牌子的 ##1.爬取不同牌子的url 其實可以直接爬那個href,但我發現有的帶了https有的沒帶就索性直接取id拼接了 import requests import json import threading imp

python爬取京東文胸資料(二)

##1.獲取js請求上一篇我們只抓取了一頁的評論，今天我們多抓點 ##2.比較異同 import requests import json import threading import time import re class cpu: def __init__(s

python爬取京東文胸資料(一)

##點選——>要爬取網址作為一個爬蟲小白解決問題是十分蛋疼的(Φ皿Φ)，就這幾行程式碼，我折磨了一下午，然後我發現，學習程式碼最大的難題是學習資源獲取的途徑並不是程式碼本身，只要學，任何人都能學會 **1.**先到達頁面開啟開發者模式(F12)，點選商品評論，我們隨便的複

爬取貓眼短評相關資料視覺化分析《悲傷逆流成河》 | 郭敬明五年電影最動人之作

本篇所有原始碼已上傳github,點選這裡獲取一、我的感受知道《悲傷逆流成河》上映還是在qq空間看見學弟發了說說，突然想起初中追小四的書，每天看到晚上10點多，昨天看了槍版的《悲傷逆流成河》，整個故事情節幾乎和小說一模一樣，唯一不一樣的是原著裡的易遙是跳樓自殺的

python爬蟲爬取今日頭條APP資料（無需破解as ,cp，_cp_signature引數）

#!coding=utf-8 import requests import re import json import math import random import time from requests.packages.urllib3.exceptions import Insecure

python簡單爬取網頁文字操作體會

自上次成功嘗試爬取了靜態頁面的圖片之後，本白又跟著另一篇博文做了一下爬取網頁文字的嘗試。基本程式碼都是來源於該篇博文，本人只是做了輕微修改。簡單的實現爬蟲爬取網頁文字和圖片以python3為背景，這裡還是先定義一個讀取html頁面資訊的函式： import urllib.

JAVA 爬取指定網站的資料並存入MySQL資料庫中 maven +httpclient+jsoup+mysql

最近在做一個小專案，因為要用的資料爬取，所以研究了好多天，分享一下自己的方法目錄結構：自己建立maven工程，匯入相關依賴：pom.xml <?xml version="1.0" enco

一起學爬蟲——如何爬取通過ajax載入資料的網站

目前很多網站都使用ajax技術動態載入資料，和常規的網站不一樣，資料時動態載入的，如果我們使用常規的方法爬取網頁，得到的只是一堆html程式碼，沒有任何的資料。請看下面的程式碼： url = 'https://www.toutiao.com/search/?keyword=美女' headers = {

簡單爬取fx678得外匯資料

相關推薦