本文的文字及圖片來源於網路,僅供學習、交流使用,不具有任何商業用途,版權歸原作者所有,如有問題請及時聯絡我們以作處理。

以下文章來源於早起Python ，作者早起Python

轉載於

https://mp.weixin.qq.com/s?src=11×tamp=1600153733&ver=2585&signature=qiRlZpT8etc29k*HoQqLW*wXgJ0MAPwregBQ5HY12jAHI9YWXfTbMCJ83qr2PNpybbYMUk6g4BsgAO4PQJeCiW5qRv5ll8t11GDaWCGIeQD46rOQlN6aRBzfS1QnawGe&new=1
 

你用過騰訊微博嗎？9月4日，騰訊微博團隊突然釋出公告稱，將於9月28日停止服務和運營，此條訊息一出，新浪微博立馬安排了一條熱搜並引發網友熱議！

部分使用者很震驚騰訊微博居然關了，也有些使用者很震驚騰訊微博居然還活著，還有部分使用者甚至不知道騰訊微博的存在，騰訊微博已經被淹沒在網際網路的長流中，但網際網路是有記憶的，本文就將通過Python爬取歷史資料，嘗試探索背靠數億流量的騰訊微博是如何一步步退出舞臺。

為了研究騰訊微博的歷史資料，很自然的就想到從網頁入手，但是讓人遺憾的是，雖然官方公告說9月28日正式停止運營，實際上大概在去年就幾乎打不開了

而就算經過不斷嘗試成功開啟頁面，你會發現除了報錯程式碼後什麼內容都沒有，也無法登陸，那既然官方網站這條路走不通，要怎樣才能找到騰訊微博的歷史資料呢？

我們都知道搜尋引擎在收錄網頁時，會對網頁進行備份，以網頁快照的形式存在自己的伺服器快取裡，這樣我們就可以通過點選網頁快照來檢視網站的歷史狀態。除了搜尋引擎，還有一些網站會對網際網路做備份，比如Wayback Machine

https://web.archive.org/

自從1996年以來，Wayback Machine就在給整個網際網路做備份，現在已經儲存了3300億網頁，所以現在讓我們搭乘網頁時光機回到十年前吧！

時光機

首先開啟上述網站(國內暫時無法直接訪問，請自行探索解決辦法)並在位址列輸入t.qq.com

按下回車之後就會顯示該網站收錄的騰訊微博全部歷史網頁

並且自2010年2月1日以來，共採集了86942條歷史快照，開啟2012年的某一條微博

除了滿滿的年代感就是對青春的回憶，並且可以看到該網站對於騰訊微博最新的記錄是2020.9.10，可能這條關停通知就是騰訊微博最終的畫面

但是網際網路的記憶不會被時間磨滅，現在我們將使用Python爬取Wayback Machine網站資料並進行分析，本節將不會對爬取過程做過多說明，詳細的技術解析會在下一節進行講解。

歷史快照總量對比

如果一個網站熱度越高，那麼被收錄的次數就越多，首先來看對新浪微博與騰訊微博歷史快照的總量進行分析

我們可以看到，在這10年間新浪微博的歷史快照是騰訊微博的近2倍，而將資料單獨拆開來看的話，從2010年兩個微博網站被收錄以來，新浪微博就以碾壓的姿勢超越騰訊微博，在2012年兩者的新增快照數量均達到最高值，然後趨於穩定。

快照內容拆解分析

除了對比歷史快照數總量，所有的快照都是由一個個HTML檔案組成，現在我們將所有的快照內容進行拆解分析

可以看到，每一個快照檔案中，新浪微博除了html文字，還有一部分為應用、圖片、音視訊等多樣化內容，而騰訊微博基本上就是html文字組成，是不是和和QQ空間有種同樣的感覺，而微博卻應該給使用者提供一個不一樣的發聲平臺，這可能也是騰訊微博不敵新浪微博的一點因素。

粉絲活躍度分析

為了研究背靠龐大QQ流量的騰訊微博是在哪一年開始下滑，本小節將基於主持人何炅的騰訊微博歷史資料(頭部大V、2012年騰訊微博熱門第一名，有較多的歷史資料)進行分析，使用Python爬取該網站收錄的何炅的全部歷史微博

一共採集到1506條微博，每條微博分別有5條欄位：

• 年份
• 發博日期
• 內容
• 粉絲量
• 粉絲互動量(轉發與評論)

先對何炅的粉絲量變化進行視覺化

可以看到何炅粉絲主要增長集中在2012年間，但增勢放緩也發生在2012年末，因此2012年對於騰訊微博來說是非常關鍵的一年，在大量吸收粉絲後卻沒能留住粉絲。我們接著通過粉絲互動率來分析

通過對近十年粉絲的轉發回覆數量進行計算得到粉絲互動率，可以發現2012年依舊是騰訊微博最輝煌的一年，單條微博的互動率最高達到近2%，而後在2013年迅速下滑至0.19%，降低了10倍之多。

技術解析

本節我們將用Python示例如何爬取何炅的歷史微博，使用到的庫有:

• requests
• pandas
• bs4
• waybackpack

首先開啟https://web.archive.org/並搜尋t.qq.com/hejiong

如上圖所示，一共收錄了何炅的107條騰訊微博歷史資料，很自然的就想到如何把這些URL提取出來，此時我們只需要使用pip安裝waybackpack庫，並在Jupyter notebook中執行

!waybackpackt.qq.com/hejiong--list

該命令就會返回全部的URL，注意執行該命令依舊需要自行解決國內無法訪問的問題

現在我們開啟第一個網站並F12，按照下圖的指示找到儲存微博資料的資料包

接下來就是遍歷每一個url，使用requests構造請求，接著使用bs4解析資料，再使用pandas清洗儲存資料即可

weibo_hejiong=pd.DataFrame(columns=['年份','日期','內容','粉絲量','粉絲互動量'])
foriinrange(len(url_hejiong)):

url=url_hejiong[i]

res=requests.get(url=url,headers=headers)
soup=BeautifulSoup(res.text)

followNum=soup.find_all('strong',class_="followNum")[0].text#粉絲數
year=url[28:32]#年份
wb_time=soup.find_all('a',class_='time')[::-1]#發博時間
wb_text=soup.find_all('div',class_="msgCnt")[::-1]#部落格內容
wb_relayNum=soup.find_all('b',class_="relayNum")[::-1]#互動量

[wb_time.remove(k)forkinwb_timeif'rel'instr(k)]
[wb_text.remove(k)forkinwb_textif'strong'instr(k)]


forjinrange(len(wb_time)):

wb_time_t=wb_time[j].text
wb_text_t=wb_text[j].text
wb_relayNum_t=wb_relayNum[j].text
data=pd.Series([year,wb_time_t,wb_text_t,followNum,wb_relayNum_t],index=weibo_hejiong.columns)
weibo_hejiong=weibo_hejiong.append(data,ignore_index=True)