【Helltaker】同人漫畫《彈射狗子攻略》
阿新 • • 發佈：2022-03-31
一些說明
本系列是對馬耀、湯繼良老師《圖深度學習》的一個學習記錄和整理。由於作者錄製了本書的配套視訊，且視訊講解順序與書有細微差別，因此本系列編排順序與視訊一致，但是內容同時參考書籍以及視訊。
由於本系列是對《圖神經網路》的學習記錄和總結，因此只記錄關鍵知識、直觀理解以及必要的數學推導，一些嚴謹的數學定義可能適當忽略。
講解圖神經網路的書籍較多，我將按照書籍內容分別整理，這些內容將會陸續出現在“啃書-圖網路”目錄下。但是我們在學習的過程中，更應該自成體系，由於不同人有不同的梳理方式，並且為了避免文章的重複，我將不會把自己梳理的體系整理到部落格。
簡介
- 圖深度學習的動機
- 本書內容
- 圖特徵學習的發展史
圖深度學習的動機
- 為什麼將資料表示成圖？
- 圖提供了資料的通用表示形式，來自各個領域的系統的資料可以直接表示成圖。
- 很多現實問題可以通過圖上的計算任務解決，比如：
- 邊的預測：朋友推薦、知識圖譜補全，藥物相互作用預測
- 節點分類：使用者分類、交通預測、空氣質量預測
- 圖分類：藥物特性預測、蛋白質特性預測、大腦網路分析
- 圖上的節點是自然向量的，這表明節點不是獨立的。而傳統機器學習方法通常假設資料是獨立同分布的。解決這個問題的思路主要有兩種（以節點分類為例）：
- 建立一個特定於圖的新機制，這種針對圖設計的分類問題稱為集體分類問題。對於節點來說，不僅要考慮其特徵與其標籤之間的對映，而且還考慮其鄰域相應的對映。
- 構建一組特徵來表示其節點，在該表示上可以應用傳統分類技術。（主導地位）
- 在圖上進行深度學習面臨的挑戰：
- 節點的鄰居可以是任意數量
- 拓撲結構更為複雜
- 節點沒有固定的順序
本書內容
- 理論基礎
- 圖論基礎：圖的矩陣表示、圖的性質、複雜圖
- 深度學習基礎：前饋神經網路、卷積神經網路、迴圈神經網路、自編碼器
- 網路嵌入
- 簡單圖上的圖嵌入：保留節點共現、保留結構角色、保留節點狀態、保留社群結構
- 複雜圖上的圖嵌入：異質圖、二分圖、多維圖、符號圖。。。
- 圖神經網路
- 圖濾波：基於譜的圖濾波、基於空間的圖濾波
- 圖池化：平面圖池化、層次圖池化
- 圖神經網路的魯棒性與可拓展性
- 魯棒性
- 圖對抗攻擊：白盒攻擊、灰盒攻擊、黑盒攻擊
- 圖對抗防禦：對抗訓練、圖淨化、圖注意力機制、圖結構學習
- 可拓展性：逐點取樣法、逐層取樣法、子圖取樣法
- 其他圖上的深度學習模型
- 圖上的變分編碼器、圖上的對抗生成網路、Tree-LSTM。。。
- 圖深度學習的應用（上）
- 自然語言
- 資料探勘
- 推薦系統
- 圖深度學習的應用（下）
- 計算機視覺
- 生物醫療
- 圖深度學習的研究前沿
- 可表達性
- 更深的圖神經網路
- 過平滑問題：Jumping Knowledge，DropEdge，PairNorm
- 圖上的自監督學習
- 圖的結構、節點屬性、圖結構和節點屬性
- 可解釋性：樣本級的可解釋性、模型級的可解釋性
- 一些新的應用：圖上的組合優化、程式的表達、動態系統
圖特徵學習的簡要發展史
得到節點的表示形式的兩種方法：特徵工程和特徵學習
- 特徵工程依賴於手工設計的特徵，如：節點度的統計資訊
- 特徵學習是自動學習節點特徵。可以將技術粗略劃分為：圖特徵選擇，以移除節點上的無關和冗餘的特徵；圖表示學習，目標是生成一組新的節點特徵
圖特徵選擇
自動選擇一小部分特徵，這些子集具有最小的冗餘度，但與學習目標有最大相關性。
圖表示學習
- 早期階段：譜聚類、基於圖的降維、矩陣分解
- 譜聚類：將節點嵌入到低維空間，然後在使用傳統聚類演算法
- 降維：IsoMap、LLE、eigenmap
- 矩陣分解：將節點嵌入低維空間，在該空間中可以利用新的節點表示重建鄰接矩陣，如：LSI使用SVD學習文件和單詞的表示形式、推薦系統
- 網路嵌入，受到了Word2Vec的啟發，DeepWalk邁出第一步，後面有三個主要方向
- 儲存節點共現
- 儲存其他型別的資訊：節點的結構角色、社群資訊、節點狀態
- 設計複雜圖的嵌入框架
- 圖深度學習：空間方法和譜方法