1. 程式人生 > >JAVA爬蟲--JS文件數據快速解析

JAVA爬蟲--JS文件數據快速解析

tab cto ade shadow size 輸出 執行 文件的 開源

最近在做一個足球數據爬蟲,連接的是某常用足球比分直播平臺的網站。在抓取的過程中方法很簡單。打開網頁地址,進入開發者模式,查看其數據加載。

發現其比分數據是采用獲取平臺js文件的方式從服務器下載下來然後執行js進行比分展現的.

技術分享圖片

使用jsoup開源框架進行獲取,在代碼中合理的設置header。代碼如下:

技術分享圖片

解析方法如下:

技術分享圖片

輸出結果:

技術分享圖片

又或者使用以下方法解析,但相對復雜,沒有上述方法來的優雅,顯得繁瑣難懂:

技術分享圖片


JAVA爬蟲--JS文件數據快速解析