1. 程式人生 > >2018年自然語言處理最值得關注的研究、論文和程式碼

2018年自然語言處理最值得關注的研究、論文和程式碼

2018年對於自然語言處理(NPL)是很有意義的一年,見證了許多新的研究方向和尖端成果。Elvis Saravia 是計算語言學專家,也是2019 計算語言學會年度大會北美分部的專案委員之一。他總結了2018年 NLP 的重要進展,包括增強學習、情感分析和深度學習等領域。
點選文章中的連結,可獲得每一項研究的詳細資訊、論文或者程式碼。

綜合領域

  • Facebook 研究員們發明了一種機器翻譯的新方法,只需要使用單一語言語料庫,這對於缺乏資料的語言非常有用。
  • Young 和同事更新了他們近期發表的論文《基於深度學習的自然語言處理的最新趨勢》,增加了 NLP 文獻中最新的 SQuAD 結果。
  • Bloomberg 研究員 Yi Yang 發表了 RNN 卷積篩選建模的最新論文及程式碼,稱體現了語言中的長期依存性和組合性。
  • 百度釋出了 Deep Voice 3,是一項基於注意、完全卷積的文字語音轉換神經系統,比目前的迴圈系統在神經語音合成方面快幾個量級。
  • Pair2vec 是一種學習文字嵌入對的新方法,能體現隱含關係的背景知識。
  • 百度釋出了名為同聲翻譯與預測及可控延遲(STACL)的機器翻譯演算法,能夠同時進行多個翻譯。在同聲傳譯時,這項技術不需要等發言者暫停發言,而可以預測發言者的下一個詞語。
  • Deep INFOMAX 是一種學習無監督表徵的方法,將輸入和高層特徵向量之間的共同資訊最大化。
    Screen_Shot_2019_01_07_at_15_20_18
  • 蒙特利爾大學的 AI 研究團隊 MILA 發表了多個超讚的研究成果,記錄了自然語言生成(NLG)任務中 GAN 的限制。
  • 聊天機器人是 NLP 的一個重要研究領域,創業公司 lang.ai 如何使用無監督 AI 來解決打造聊天機器人的重要挑戰之一:理解使用者到底想要什麼
  • 這個模型提供了一種新方法進行文字生成,可以實現更強的解讀性和控制性。
  • 谷歌 AI 發表了論文,探索語言建模的極限。
  • 亞馬遜研究員提出了一種語言建模方法,這種新的訓練策略的重要性在於,在現實中,要獲得大量的訓練資料來建立一種新能力經常是不現實的。

**增強學習
**
許多研究員認為增強學習是機器學習的最前端。 我們來看看這個領域內,2018年都有哪些重大進展。

  • David Ha 的“世界模型”,目標是研究個體能否在其自身的夢境中學習,需要利用增強學習來學習一項規則,依靠世界模型中抽取的特徵來解決制定的任務。
  • OpenAI 開發了一個類似人類的機器人手,通過增強學習演算法獲得操縱物體的靈活性。
  • DeepMind 在《自然》雜誌釋出了一篇論文,討論虛擬環境中,人工個體的網格表徵怎樣通過向量導航找到解決。
  • TextWorld 是以文字遊戲為靈感的學習環境,用於訓練增強學習代理。
    Screen_Shot_2019_01_07_at_15_41_14
  • Google研究員開發了一項名為 MnasNet 的技術,是一種自動化神經網路架構搜尋方法,用於通過增強學習設計移動化機器學習模型。
  • OpenAI Five 利用增強學習,能在複雜遊戲 Dota 2 中打敗業餘水準的人類選手。
  • DeepMind 開發了名為 PopArt 的技術,利用增強學習在多工環境中具有高精確度。
  • 三星的 CozNet 是一種增強學習演算法,在兩項知名的NPL比賽中展現了頂尖表現。
  • Arel 使用對抗獎勵學習來講故事,解決故事評估維度的侷限。
  • Metacar 是為無人駕駛汽車而設計的增強學習環境,在以 Tensorflow.js 打造的瀏覽器上使用。
  • OpenAI 釋出的 Gym Retro 平臺提供 1000多個遊戲,進行增強學習研究。

情感分析
機器學習系統需要更深的理解能力,才能與人類在情感層面互動。

  • 這篇新論文提出了“層級化CVAE用於精準的仇恨言論分類”,能夠理解40多個群體和13中不同類別的仇恨言論。
  • 這篇論文討論如何使用簡單的支援向量機變數獲得最佳結果,並指出模型方面需要注意的幾點。目前大部分情感分析都是基於神經方法,研究時需要注意模型和特徵的選擇。
  • 這篇論文定量分析了推特表情膚色修改器的使用效果。

Screen_Shot_2019_01_07_at_15_51_50

  • 這篇論文討論如何使用深度卷積神經網路檢測諷刺。另外,這項新研究使用眼動追蹤、NLP和深度學習演算法檢測諷刺。
  • 研究員開發了一項成為“情感聊天機器”的方法,這個聊天機器人不僅能給出符合事實與邏輯的答案,還能在聊天中加入悲傷、厭煩等情緒。
  • Lei Zhang 等研究員發表了一篇論文,綜合概括了深度學習方法如何用於情感分析。
  • 這個雙向非同步框架可以在聊天中生成有意義的情感回覆。
  • 這項研究使用計算機視覺方法,研究語境中的情感識別。
  • 這篇在2018 NAACL 大會上發表的論文,提出了一種方法可以使用簡單的遞迴神經網路模擬情感流。
    Screen_Shot_2019_01_07_at_15_49_09

深度學習

  • DeepMind 與哈佛大學教師 Wouter Kool 合作發表了論文,研究人類如何使用大腦來做決定,以及這些研究結果能如何啟發人工智慧的研究。
  • 這篇論文引入了“群組歸一化”的概念,可以有效替代批歸一化,被認為是深度學習的一項重要技術。
  • Sperichal CNN 是一種打造卷積神經網路的新方法。
  • BAIR 釋出了一篇文章,討論目前迴圈神經網路和前饋神經網路在解決各種問題時的優缺點。
  • Facebook 的 AI 研究小組開發了一項新技術,能將 AI 模型執行效率提升16%。這能提高 AI 模型的訓練速度,並簡化模型的量化和執行。
  • 這篇《自然》雜誌論文,介紹了一種可以預測地震後餘震位置的深度學習方法。
  • DeepMind 研究員開發了一種新方法,利用神經算數邏輯單元(NALU)改善神經網路,追蹤時間、用數字圖片執行算數、數圖片中的物體個數等等。
  • DARTS 是一種架構搜尋演算法,可以設計高效能的影象分類卷積架構。
  • 這篇論文《實證驗證序列建模中的通用卷積網路和神經網路》,討論了序列建模中 CNN 和 RNN 的區別。
  • 圖形神經網路如何幫助推斷潛在關係結構、模擬多代理和物理動態。
  • 谷歌 AI 研究團隊釋出了一篇論文,提出了一種改進版的 RNN,能夠提高自動資料解讀的精確度。
  • Distill 釋出了新研究,可以在一個數據源的語境下分析另一個數據。
    -Screen_Shot_2019_01_07_at_16_00_45
  • 如果沒有任何資料、也沒有任何人類知識工程,有可能習得精準的認知模型嗎?這項研究會告訴你答案。
  • 這篇論文詳細描述了針對深度神經網路的批歸一化研究。
  • 這篇論文回顧了神經網路中,如何更好地進行批訓練。
  • 這篇論文討論如何正確評估深度半監督學習演算法。

本文由阿里云云棲社群組織翻譯。
文章原標題《NLP Highlights of 2018》,譯者:炫,審校:袁虎。
文章簡譯,更為詳細的內容,請檢視原文