[未完] 深度學習之詞向量(Word Embedding)篇：word2vec

歡迎參觀一> 個人小站

一. 詞向量表示形式

在使用神經網路模型進行文字分類或者機器翻譯時，前提工作是要對整理好的文字資料進行詞向量化 (Word Embedding) ，既使用向量形式代表詞。

1.1 One-hot representation

表示形式：向量維度的大小為資料中詞彙表的大小，每個單詞對應的位置置為1。例如 { I love china } ，love 的詞向量為 [ 0, 1, 0 ] 。該表達形式最為簡單，缺點是當詞彙表特別大時，所佔儲存空間也特別大。

1.2 Dristributed representation

表示形式：以稠密的低維向量表示每個詞。

二. 語言模型 ( Language Model )

如何判斷一個句子是否流暢？例如 我在學習 而不是 我玩學習 ，語言模型可以解決這個問題。

2.1 統計語言模型

2.1.1 背景

給定一段文字序列，符號表達形式為：

s = w_{1} w_{2} w_{3} . . . w_{m}

$w_{i}$ 通常是已經分好詞的“詞語”，稱為統計基元。那麼這段文字的概率為：

P (S) = p (w_{1}) p (w_{1} | w_{2}) p (w_{3} | w_{1} w_{2}) . . . p (w_{m} | w_{1} . . . w_{m - 1}) = \prod_{i = 1}^{m} p (w_{i} | w_{1} w_{2} . . . w_{i - 1})

為方便計算，每個詞只考慮與它前 n 個詞有關，這便是語言模型中經典的 n 元文法 (N-gram) 模型，一般 $n ⩽ 3$ 。求文字的概率公式變為：

P (S) = \prod_{i = 1}^{m} p (w_{i} | w_{i - n + 1}^{i - 1})

為了保證 $i = 1$ 時有意義，同時保證句子內所有詞語的概率和為 $1$ ，即 $\sum_{s} p (s) = 1$ ，在文字首尾兩端增加兩個標誌： $< B O S > w_{1} w_{2} . . . . . . w_{m} < E O S >$

EOS> ，那麼

w_{0}

為

< B O S >

，

w_{m + 1}

為

< E O S >

。

例如文字 $< B O S > A d o g w a s r u n n i n g i n a r o o m$ ，其基於 $2$ 元文法的文字概率為：

p (A d o g w a s r u n n i n g i n a r o o m) = p (A | < B O S >) \times p (d o g | A) \times p (w a s | d o g) \times p (r u n n i n g | w a s) \times p (i n | r u n n i n g) \times p (a | i n) \times p (r o o m | a) \times p (r o o m | < E O S >)

[未完] 深度學習之詞向量(Word Embedding)篇：word2vec

一. 詞向量表示形式

1.1 One-hot representation

1.2 Dristributed representation

二. 語言模型 ( Language Model )

2.1 統計語言模型

2.1.1 背景

[未完] 深度學習之詞向量(Word Embedding)篇：word2vec

PaddlePaddle | 深度學習 101- 詞向量

深度學習之視訊人臉識別系列一：介紹

深度學習之視訊人臉識別系列三：人臉表徵

Vue學習之路第十一篇：為頁面元素設置class類樣式

Vue學習之路第十六篇：車型列表的添加與刪除項目

Vue學習之路第十七篇：過濾器的使用

Vue學習之路第十九篇：按鍵修飾符的使用

【AI實戰】手把手教你深度學習文字識別（文字檢測篇：基於MSER, CTPN, SegLink, EAST等方法）

深度學習之五：序列模型與詞向量

深度學習之神經網路（CNN/RNN/GAN） (演算法原理+實戰) 完整版下載

深度學習之神經網路（CNN/RNN/GAN） (演算法原理+實戰)完整版

深度學習之收斂問題

1.深度學習之安裝教程

深度學習之tensorflow （一）

【深度學習】詞的向量化表示

深度學習之 seq2seq 進行英文到法文的翻譯

深度學習之圖片壓縮算法

Tensorflow深度學習之十二：基礎圖像處理之二

深度學習之 GRU 算法例子

[未完] 深度學習 之 詞向量(Word Embedding)篇 ：word2vec

一. 詞向量表示形式

1.1 One-hot representation

1.2 Dristributed representation

二. 語言模型 ( Language Model )

2.1 統計語言模型

2.1.1 背景

[未完] 深度學習之詞向量(Word Embedding)篇：word2vec