帶你瞭解3類預訓練語音模型預測方法
摘要：在調研多篇論文後，筆者發現預訓練語音模型的預測方法基本可以分為以下3類：<1>用前文預測當前及後文（自迴歸）<2> 隨機mask 一些幀並預測 <3> 用兩側上下文預測中間幀。
本文分享自華為雲社群《預訓練語音模型調研小結》，作者： Hudson。
在調研多篇論文後，筆者發現預訓練語音模型的預測方法基本可以分為以下3類：<1>用前文預測當前及後文（自迴歸）<2> 隨機mask 一些幀並預測 <3> 用兩側上下文預測中間幀。下文會按照這三類來介紹預訓練語音模型的方法。
1.用前文資訊預測當前資訊及後文資訊
（1）CPC & Modified CPC
CPC（Contrastive Predictive Coding）[1] 是預訓練語音模型中較早提出的模型。它的模型架構如下圖所示。
首先，語音訊號被分成段輸入到CNN模型，用於抽取特徵，CNN層的輸出Z再作為GRU層的輸入，拿到帶有時序資訊的輸出C，然後用當前時刻t的帶有時序資訊的Ct（見過序列前面的資訊），來預測後續k個時刻的CNN層輸出Zt+k。Loss的是一個contrastive loss，它的公式如下圖所示。
這個loss看起來複雜，其實原理很簡單，就是想讓基於Ct的預測值更接近 Zt+k （分子），而更遠離其他的CNN層輸出Z，即negative sample （分母）。最小化整體的loss，會使分子最大化，分母最小化。這就是CPC訓練的原理。
Modified CPC [2] 是對CPC的一個改進。其改進主要分成以下兩點：
<1> 由於batch normalization 會破壞sequence的資訊，他們用channel wise normalization替代batch normalization。
<2> 對模型的一些改進，包括將從Ct預測Zt+k的網路由linear layer替換成一層transformer；將CNN層的維度從512變為256 （memory小了但performance不變）; 用LSTM替換GRU。
（2）APC & VQ-APC
APC（Autoregressive Predictive Coding）[3] 以及它的改進，VQ-APC（Vector Quantization- Autoregressive Predictive Coding）[4] 也是一組基於自迴歸的預訓練語音模型，它們的模型架構如下圖所示。APC沒有VQ-layer，而VQ-APC添加了一個VQ layer。
APC模型的輸入是80維的log Mel spectrogram 特徵，其模型也十分簡單，就是一個3層的LSTM。訓練的loss如下圖所示。
這裡我們可以看出，這就是一個簡單的L1 loss，但其中不同的是，它並不是同一時刻的xi和yi之間做L1 loss，而是用xi+n和yi之間做L1 loss。也就是說，它希望能用第i時刻的資訊去預測n個時刻後的資訊，這麼做的原因是希望LSTM 不陷入Local information，從而可以infer 更多的全域性資訊（global structure）。
VQ-APC是在APC的基礎上加了一個VQ layer。VQ，向量量化，可以簡單的理解為對無限種可能的連續向量的一個聚類，讓語音的表徵vector也變為有限種可能，類似於NLP中有限數量的單詞表徵（一個單詞一個表徵，單詞數量有限）。實驗結果標明，在APC模型的LSTM層中間加入VQ layer會是最終學到的向量表徵更好，在下游任務（如 phone classification； speaker classification）中表現出更好的效能。
2. 隨機mask一些幀並預測
（1）VQ-wav2vec & wav2vec2.0
前面介紹的4個模型都是基於自迴歸的思想，用前文預測後文資訊，模型也是基於LSTM或者GRU模組來實現。隨著transformer在越來越多的任務上被證實有更優越的效能，很多預訓練語音模型的研究人員也把目光投入到了transformer模型上。VQ-wav2vec [5] 就是其中一個較早的嘗試。下圖是VQ-wav2vec模型架構圖。
原始音訊片段首先輸入到CNN層提取特徵，再做一個VQ，最後將VQ的output輸入下一個CNN層再進行一次特徵的抽象。最後用CNN層在第i個時刻的輸出Ci來預測後面k個時刻VQ的輸出Zi+k，並做一個contrastive loss，目的是讓Ci能更好的預測Zi+k，而更遠離negative sample（不是Zi+k的其他Z）。訓練完畢後，將VQ層的輸出作為後面BERT的輸入，隨機mask掉一些幀並預測，訓練一個BERT模型，得到擁有時序資訊的表徵。最後將這個資訊作為聲學模型的輸入，進行下游任務。
上面的模型是把BERT和VQ-wav2vec單獨訓練的，先訓練VQ-wav2vec，再訓練BERT模型。而wav2vec2.0 [6] 對VQ-wav2vec整體框架進行了改進，將VQ-wav2vec模型和BERT模型放在一起做一個jointly training，達到了非常好的效果（目前的state-of-the-art）。Wav2vec2.0的模型框架如下圖所示。
首先，音訊也是分段輸入CNN層提取特徵，然後一方面輸入到VQ層，另一方面隨機mask掉一些幀然後輸入到Transformer層提取context representation C。訓練的loss如下圖所示。
Loss是兩部分loss的疊加。第一部分loss是contrastive loss，目的就是讓同一時刻的Context representation (Ct)與Quantized representation (Qt) 的similarity越大越好，Ct與其他時刻的Quantized representation的similarity越小越好。第二部分loss是diversity loss，這個loss是用於鼓勵各個codeword（VQ操作後的離散的類別vector，類似於NLP中的詞典中的一個詞）被使用的概率相同。訓練好模型後，context representation可以被用於做下游任務。
（2）Mockingjay & Audio Albert & TERA
除上述兩個模型外，還有一個系列的模型（均來自臺灣大學語音組）也是基於transformer模型，用隨機mask掉一些幀並預測的方式做語音模型的預訓練。第一個工作是Mockingjay [7]，其模型框架如下圖所示。首先，提取一些handcrafted feature（fMLLR, MFCC, FBank）並做random masking，然後經過下采樣後，輸入到transformer模型中，來預測mask掉的幀，並做L1 loss。
在Mockingjay模型的基礎上，Audio Albert模型 [8] 進行了些許改進。下圖是Audio Albert和Mockingjay模型的區別。可以看出，Audio Albert基於Mockingjay的改進，是把多層的transformer都共享引數。其他地方沒有任何區別。通過這樣的改進，效過和不共享引數接近（comparable），但是確可以顯著的降低引數量。
還有一個基於Mockingjay改進的模型 —TERA （Transformer Encoder Representations from Alteration）[9]，是在輸入端上，對輸入進行了一些alteration，從而達到提升預訓練模型效果的作用。下圖是TERA如何進行輸入的alteration的示意圖。Alteration主要分為3種，在時間維度上mask，在特徵維度上mask，以及對於整個segment加一些高斯白噪聲。
3. 用兩側上下文資訊預測中間幀
除上述兩種預訓練方式外，還有一種預訓練方式 – 用兩側的資訊預測中間幀的資訊，NPC（Non-Autoregressive Predictive Coding）[10] 模型就是用這種方式進行的預訓練。下圖為NPC的模型框架。
輸入是MFCC （80dim），但NPC模型訓練時，輸入模型的並不是整個sequence，它只需要輸入被mask掉的幀前後的一些幀（例如前後各10幀），而被mask掉的幀一般為3幀。Mask掉3幀而不是1幀，可以防止模型直接複製mask 點的相鄰點（xt-1，xt+1）的值作為當前時刻輸入xt的預測值，從而防止預測值yt並沒有相對於xt的資訊增益。被mask的input輸入模型後，經過幾層ConvBlock，每層ConvBlock也會mask中間的幀，且會層層遞增，目的是防止輸出yt見到任何mask size內的資料。經過幾層ConvBlock後的資料會加到一起得到ht（當前時刻做VQ之前的hidden representation），ht再經過一個VQlayer和一個linear layer，最後預測中間幀xt，loss用L1 Loss。這個模型的效果比autoregressive的模型都要好，況且可以顯著的減小模型的大小。
總結
預訓練語音模型是現在語音界十分熱門的一個科研方向。目前來看，基於transformer 的模型要好於早期基於LSTM或GRU的模型。若追求效能，那目前公認最好的預訓練語音模型應該是wav2vec 2.0。但如果追求速度，那Audio ALBERT，以及NPC模型都是不錯的選擇，這兩個模型能夠在保證comparable的效能的情況下，減小模型的大小並提升模型的速度。相信不久的將來，隨著深度學習技術的進一步發展，預訓練語音模型無論在效能，還是在速度上，都會迎來新的提升。
Reference
[1] Oord, Aaron van den, Yazhe Li, and Oriol Vinyals. “Representation learning with contrastive predictive coding.” arXiv preprint arXiv:1807.03748 (2018).
[2] Riviere, Morgane, et al. “Unsupervised pretraining transfers well across languages.” ICASSP 2020-2020 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). IEEE, 2020.
[3] Chung, Yu-An, et al. “An unsupervised autoregressive model for speech representation learning.” arXiv preprint arXiv:1904.03240 (2019).
[4] Chung, Yu-An, Hao Tang, and James Glass. “Vector-quantized autoregressive predictive coding.” arXiv preprint arXiv:2005.08392 (2020).
[5] Baevski, Alexei, Steffen Schneider, and Michael Auli. “vq-wav2vec: Self-supervised learning of discrete speech representations.” arXiv preprint arXiv:1910.05453 (2019).
[6] Baevski, Alexei, et al. “wav2vec 2.0: A framework for self-supervised learning of speech representations.” arXiv preprint arXiv:2006.11477 (2020).
[7] Liu, Andy T., et al. “Mockingjay: Unsupervised speech representation learning with deep bidirectional transformer encoders.” ICASSP 2020-2020 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). IEEE, 2020.
[8] Chi, Po-Han, et al. “Audio albert: A lite bert for self-supervised learning of audio representation.” 2021 IEEE Spoken Language Technology Workshop (SLT). IEEE, 2021.
[9] Liu, Andy T., Shang-Wen Li, and Hung-yi Lee. “Tera: Self-supervised learning of transformer encoder representation for speech.” IEEE/ACM Transactions on Audio, Speech, and Language Processing 29 (2021): 2351-2366.
[10] Liu, Alexander H., Yu-An Chung, and James Glass. “Non-autoregressive predictive coding for learning speech representations from local dependencies.” arXiv preprint arXiv:2011.00406 (2020).