環境搭建

準備工具：pyton3.5,selenium,phantomjs

我的電腦裡面已經裝好了python3.5

安裝Selenium

pip3 install selenium

安裝Phantomjs　　

按照系統環境下載phantomjs,下載完成之後，將phantomjs.exe解壓到python的script資料夾下

使用selenium+phantomjs實現簡單爬蟲

from selenium import webdriver
 
 
driver = webdriver.PhantomJS()
driver.get('http://www.baidu.com')  #載入網頁
data = driver.page_source  #獲取網頁文字
driver.save_screenshot('1.png')  #截圖儲存
print(data)
driver.quit()

selenium+phantomjs的一些使用方法

設定請求頭裡的user-Agent

from selenium import webdriver
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
 
 
dcap = dict(DesiredCapabilities.PHANTOMJS) #設定useragent
dcap['phantomjs.page.settings.userAgent'] = ('Mozilla/5.0 (Macintosh; Intel Mac OS X 10.9; rv:25.0) Gecko/20100101 Firefox/25.0 ') #根據需要設定具體的瀏覽器資訊
driver = webdriver.PhantomJS(desired_capabilities=dcap) #封裝瀏覽器資訊
driver.get('http://www.baidu.com')  #載入網頁
data = driver.page_source  #獲取網頁文字
driver.save_screenshot('1.png')  #截圖儲存
print(data)
driver.quit()

請求超時設定

webdriver類中有三個和時間相關的方法：

1.pageLoadTimeout 設定頁面完全載入的超時時間，完全載入即完全渲染完成，同步和非同步指令碼都執行完

2.setScriptTimeout 設定非同步指令碼的超時時間

3.implicitlyWait 識別物件的智慧等待時間

from selenium import webdriver
 
driver = webdriver.PhantomJS()
driver.set_page_load_timeout(5) #設定超時時間
driver.get('http://www.baidu.com')
print(driver.title)
driver.quit()

設定瀏覽器視窗大小

呼叫啟動的瀏覽器不是全屏的，有時候會影響我們的某些操作，所以我們可以設定全屏

driver.maximize_window() #設定全屏
driver.set_window_size('480','800') #設定瀏覽器寬480，高800　　

元素定位

from selenium import webdriver
 
driver = webdriver.PhantomJS()
driver.set_page_load_timeout(5)
driver.get('http://www.baidu.com')
try:
  driver.get('http://www.baidu.com')
  driver.find_element_by_id('kw') # 通過ID定位
  driver.find_element_by_class_name('s_ipt') # 通過class屬性定位
  driver.find_element_by_name('wd') # 通過標籤name屬性定位
  driver.find_element_by_tag_name('input') # 通過標籤屬性定位
  driver.find_element_by_css_selector('#kw') # 通過css方式定位
  driver.find_element_by_xpath("//input[@id='kw']") # 通過xpath方式定位
  driver.find_element_by_link_text("貼吧") # 通過xpath方式定位
  print(driver.find_element_by_id('kw').tag_name ) # 獲取標籤的型別
except Exception as e:
  print(e)
driver.quit()

操作瀏覽器前進或後退

from selenium import webdriver
driver = webdriver.PhantomJS()
try:
  driver.get('http://www.baidu.com')  #訪問百度首頁
  driver.save_screenshot('1.png')
  driver.get('http://www.sina.com.cn') #訪問新浪首頁
  driver.save_screenshot('2.png')
  driver.back()              #回退到百度首頁
  driver.save_screenshot('3.png')
  driver.forward()            #前進到新浪首頁
  driver.save_screenshot('4.png')
except Exception as e:
  print(e)
driver.quit()

到此這篇關於python+selenium+PhantomJS抓取網頁動態載入內容的文章就介紹到這了,更多相關python PhantomJS抓取內容內容請搜尋我們以前的文章或繼續瀏覽下面的相關文章希望大家以後多多支援我們！