APPLYING DEEP LEARNING TO ANSWER SELECTION: A STUDY AND AN OPEN TASK 論文閱讀
阿新 • • 發佈：2019-02-03
論文名：APPLYING DEEP LEARNING TO ANSWER SELECTION:
A STUDY AND AN OPEN TASK
作者來自IBM Watson 團隊
思路
將QA問題轉換為 Text matching和text selection 的問題。該模型中，存在問題q，和候選答案集合A，目標是對與問題q，從集合A中選擇最合適的答案a。
問題q會和集合A中的每個答案a進行相關性計算，最後得分最高的答案a會被選中。
模型不能夠對需要推理的問題進行回答。
模型結構
HL是一個非線性變換g(W*x+b)，P是maxpooling，T是tanh啟用函式。問題Q和答案A分別通過模型，得到兩個向量。最後計算兩個向量的餘弦距離。
模型中，Q與A共用HL變化和CNN網路模型引數。
模型訓練：
訓練過程最小化ranking loss。具體做法是：
訓練模型時每個樣本包括問題Q，正確回答A+和錯誤回答A-。分別計算餘弦距離cos（Q，A+）與cos（Q，A-）。當滿足cos（Q，A+）- cos（Q，A-） < m 時，m為一閾值，說明模型不能夠將A+ 答案排在足夠靠前，那麼進行權重更新。如果cos（Q，A+）- cos（Q，A-） >= m，不需要更新模型，更換A-回答，直到cos（Q，A+）- cos（Q，A-） < m。
為了減少運算時間，需要設定最大重選A-次數，論文中設定為50。