PHP網路爬蟲實踐:抓取百度搜索結果,並分析資料結構
阿新 • • 發佈:2020-03-05
百度的搜尋引擎有反爬蟲機制,我先直接用guzzle試試水。程式碼如下:
PHP<?php /** * Created by Benjiemin * Date: 2020/3/5 * Time: 14:58 */ require ('./vendor/autoload.php'); use QL\QueryList; //進入網頁 $jar = new \GuzzleHttp\Cookie\CookieJar; $client = new GuzzleHttp\Client(['cookies' => true]); $ql = $client->request('GET', 'https://www.baidu.com', [ 'cookies' => $jar ]); if($ql->getStatusCode()!=200){ echo '網站狀態不正常';die; } echo $ql->getBody();
百度直接攔截了,進了跳轉頁面,我試試加個瀏覽器標頭檔案,再試試。
修改後的header如下:
PHP$ql = $client->request('GET', 'https://www.baidu.com', [ 'cookies' => $jar, 'headers' => [ 'Accept-Encoding' => 'gzip, deflate, br', 'Accept' => 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8', 'Accept-Language' => 'zh-CN,zh;q=0.9,en;q=0.8', 'Cache-Control' => 'no-cache', 'Connection' => 'keep-alive', 'User-Agent' => 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36', ] ]);
我測試了下,網站打開了。
我們繼續,輸入關鍵詞,並搜尋,結果發現被安全攔截了,所以我感覺直接用GuzzleHttp搞不動,於是我繼續我的神器:jaeger/querylist和jaeger/querylist-puppeteer。
安裝步驟:
1.安裝依賴
在這之前,要先啟用php的proc_open函式,否則無法安裝完整
composer install jaeger/querylist
composer install jaeger/querylist-puppeteer
2.安裝nodejs
yum install nodejs
3.安裝npm
4.安裝@nesk/puphpeteer
npm install @nesk/puphpeteer
5.PHP啟用proc_open
程式碼如下:
<?php
/**
* Created by Benjiemin
* Date: 2020/3/5
* Time: 14:58
*/
require ('./vendor/autoload.php');
use QL\QueryList;
use QL\Ext\Chrome;
$ql = QueryList::getInstance();
// 註冊外掛,預設註冊的方法名為: chrome
$ql->use(Chrome::class);
$ql->chrome(function ($page,$browser) {
$page->goto('https://www.baidu.com');
// 這裡故意設定一個很長的延長時間,讓你可以看到chrome瀏覽器的啟動
sleep(3);
//輸入關鍵詞
$wd = '簡慶旺部落格';
$page->type("input[id='kw']",$wd);
sleep(1);
//點選搜尋
$page->click("input[type='submit']");
//等待搜尋結果
sleep(3);
//獲取結果
$html = $page->content();
//用jquery選擇器抽取結果
$rules = array(
'title'=>['#content_left h3 a','text'],//標題
'url'=>['#content_left h3 a','href'],//跳轉網址
'description'=>['div .c-abstract','text'],//描述
);
$ql = QueryList::html($html);
$rt = $ql->rules($rules)->query()->getData();
//如果有需要,可以把$rt入庫,以及做其他操作
sleep(10);
$browser->close();
// 返回值一定要是頁面的HTML內容
return $html;
},[
'headless' => false, // 啟動視覺化Chrome瀏覽器,方便除錯
'devtools' => false, // 開啟瀏覽器的開發者工具
])->find('title')->text();
PHP
$rt是我的結果集合,列印下,如下
原文在我部落格: