2018年自然語言處理最值得關注的研究、論文和程式碼
阿新 • • 發佈：2019-01-08
2018年對於自然語言處理（NPL）是很有意義的一年，見證了許多新的研究方向和尖端成果。Elvis Saravia 是計算語言學專家，也是2019 計算語言學會年度大會北美分部的專案委員之一。他總結了2018年 NLP 的重要進展，包括增強學習、情感分析和深度學習等領域。
點選文章中的連結，可獲得每一項研究的詳細資訊、論文或者程式碼。
綜合領域
- Facebook 研究員們發明了一種機器翻譯的新方法，只需要使用單一語言語料庫，這對於缺乏資料的語言非常有用。
- Young 和同事更新了他們近期發表的論文《基於深度學習的自然語言處理的最新趨勢》，增加了 NLP 文獻中最新的 SQuAD 結果。
- Bloomberg 研究員 Yi Yang 發表了 RNN 卷積篩選建模的最新論文及程式碼，稱體現了語言中的長期依存性和組合性。
- 百度釋出了 Deep Voice 3，是一項基於注意、完全卷積的文字語音轉換神經系統，比目前的迴圈系統在神經語音合成方面快幾個量級。
- Pair2vec 是一種學習文字嵌入對的新方法，能體現隱含關係的背景知識。
- 百度釋出了名為同聲翻譯與預測及可控延遲（STACL）的機器翻譯演算法，能夠同時進行多個翻譯。在同聲傳譯時，這項技術不需要等發言者暫停發言，而可以預測發言者的下一個詞語。
- Deep INFOMAX 是一種學習無監督表徵的方法，將輸入和高層特徵向量之間的共同資訊最大化。
- 蒙特利爾大學的 AI 研究團隊 MILA 發表了多個超讚的研究成果，記錄了自然語言生成（NLG）任務中 GAN 的限制。
- 聊天機器人是 NLP 的一個重要研究領域，創業公司 lang.ai 如何使用無監督 AI 來解決打造聊天機器人的重要挑戰之一：理解使用者到底想要什麼。
- 這個模型提供了一種新方法進行文字生成，可以實現更強的解讀性和控制性。
- 谷歌 AI 發表了論文，探索語言建模的極限。
- 亞馬遜研究員提出了一種語言建模方法，這種新的訓練策略的重要性在於，在現實中，要獲得大量的訓練資料來建立一種新能力經常是不現實的。
**增強學習
**
許多研究員認為增強學習是機器學習的最前端。 我們來看看這個領域內，2018年都有哪些重大進展。
- David Ha 的“世界模型”，目標是研究個體能否在其自身的夢境中學習，需要利用增強學習來學習一項規則，依靠世界模型中抽取的特徵來解決制定的任務。
- OpenAI 開發了一個類似人類的機器人手，通過增強學習演算法獲得操縱物體的靈活性。
- DeepMind 在《自然》雜誌釋出了一篇論文，討論虛擬環境中，人工個體的網格表徵怎樣通過向量導航找到解決。
- TextWorld 是以文字遊戲為靈感的學習環境，用於訓練增強學習代理。
- Google研究員開發了一項名為 MnasNet 的技術，是一種自動化神經網路架構搜尋方法，用於通過增強學習設計移動化機器學習模型。
- OpenAI Five 利用增強學習，能在複雜遊戲 Dota 2 中打敗業餘水準的人類選手。
- DeepMind 開發了名為 PopArt 的技術，利用增強學習在多工環境中具有高精確度。
- 三星的 CozNet 是一種增強學習演算法，在兩項知名的NPL比賽中展現了頂尖表現。
- Arel 使用對抗獎勵學習來講故事，解決故事評估維度的侷限。
- Metacar 是為無人駕駛汽車而設計的增強學習環境，在以 Tensorflow.js 打造的瀏覽器上使用。
- OpenAI 釋出的 Gym Retro 平臺提供 1000多個遊戲，進行增強學習研究。
情感分析
機器學習系統需要更深的理解能力，才能與人類在情感層面互動。
- 這篇新論文提出了“層級化CVAE用於精準的仇恨言論分類”，能夠理解40多個群體和13中不同類別的仇恨言論。
- 這篇論文討論如何使用簡單的支援向量機變數獲得最佳結果，並指出模型方面需要注意的幾點。目前大部分情感分析都是基於神經方法，研究時需要注意模型和特徵的選擇。
- 這篇論文定量分析了推特表情膚色修改器的使用效果。
- 這篇論文討論如何使用深度卷積神經網路檢測諷刺。另外，這項新研究使用眼動追蹤、NLP和深度學習演算法檢測諷刺。
- 研究員開發了一項成為“情感聊天機器”的方法，這個聊天機器人不僅能給出符合事實與邏輯的答案，還能在聊天中加入悲傷、厭煩等情緒。
- Lei Zhang 等研究員發表了一篇論文，綜合概括了深度學習方法如何用於情感分析。
- 這個雙向非同步框架可以在聊天中生成有意義的情感回覆。
- 這項研究使用計算機視覺方法，研究語境中的情感識別。
- 這篇在2018 NAACL 大會上發表的論文，提出了一種方法可以使用簡單的遞迴神經網路模擬情感流。
深度學習
- DeepMind 與哈佛大學教師 Wouter Kool 合作發表了論文，研究人類如何使用大腦來做決定，以及這些研究結果能如何啟發人工智慧的研究。
- 這篇論文引入了“群組歸一化”的概念，可以有效替代批歸一化，被認為是深度學習的一項重要技術。
- Sperichal CNN 是一種打造卷積神經網路的新方法。
- BAIR 釋出了一篇文章，討論目前迴圈神經網路和前饋神經網路在解決各種問題時的優缺點。
- Facebook 的 AI 研究小組開發了一項新技術，能將 AI 模型執行效率提升16%。這能提高 AI 模型的訓練速度，並簡化模型的量化和執行。
- 這篇《自然》雜誌論文，介紹了一種可以預測地震後餘震位置的深度學習方法。
- DeepMind 研究員開發了一種新方法，利用神經算數邏輯單元（NALU）改善神經網路，追蹤時間、用數字圖片執行算數、數圖片中的物體個數等等。
- DARTS 是一種架構搜尋演算法，可以設計高效能的影象分類卷積架構。
- 這篇論文《實證驗證序列建模中的通用卷積網路和神經網路》，討論了序列建模中 CNN 和 RNN 的區別。
- 圖形神經網路如何幫助推斷潛在關係結構、模擬多代理和物理動態。
- 谷歌 AI 研究團隊釋出了一篇論文，提出了一種改進版的 RNN，能夠提高自動資料解讀的精確度。
- Distill 釋出了新研究，可以在一個數據源的語境下分析另一個數據。
-
- 如果沒有任何資料、也沒有任何人類知識工程，有可能習得精準的認知模型嗎？這項研究會告訴你答案。
- 這篇論文詳細描述了針對深度神經網路的批歸一化研究。
- 這篇論文回顧了神經網路中，如何更好地進行批訓練。
- 這篇論文討論如何正確評估深度半監督學習演算法。
本文由阿里云云棲社群組織翻譯。
文章原標題《NLP Highlights of 2018》，譯者：炫，審校：袁虎。
文章簡譯，更為詳細的內容，請檢視原文。