簡介

     非監督機器學習（Unsupervised Machine Learning）中的資料分佈密度估計（Density Estimation）、樣本取樣（Sampling）與生成（Generation，或Synthesis，即合成）等幾類任務具有重要的應用價值，這從近年來生成對抗網路（GAN）的流行就可以看出。完成這類任務的模型稱為生成式模型（Generative Model）。其實，另一種比GAN更早一點兒出現的生成式模型，即差分自編碼器（VAE），具有同樣的理論意義和實用價值。

      但要徹底搞懂VAE的思想脈絡，需要具有比較多的概率論、資訊理論、概率圖模型和機器學習的知識。本文將從與VAE有關的基本概念開始，逐步深入，詳細解讀VAE。已經知道這些基礎知識的讀者可以略過本文中的相應部分的內容。這裡介紹的基礎知識和概念針對VAE的內容作了簡化，也未刻意追求數學上的嚴密性，這一點需要注意。想全面深入瞭解這些內容的讀者可以很容易找到專門的書籍或文章，比如由Ian Goodfellow、YoshuaBengio和Aaron Courville寫的新書《Deep Learning》很全面地介紹了深度學習所使用的基礎知識，在網上可以免費閱讀（http://www.deeplearningbook.org/）。本文適合那些具有入門級的機器學習和最基本的概率論知識的讀者閱讀。

      本文第一章先簡要說明模型、模型對概率分佈的表達、以及概率模型的建模方法。第二章 介紹分佈密度估算的取樣方法，主要內容是MCMC演算法。第三章介紹分佈密度估算的優化方法，包括EM演算法和VB演算法。第四章詳細解釋自編碼VB方法及VAE模型。第五章是總結。本文實現的CVAE模型使用了Python語言及Keras/TensorFlow。