機器閱讀理解中文章和問題的深度學習表示方法

/* 版權聲明：可以任意轉載，轉載時請標明文章原始出處和作者信息 .*/

                                       author: 張俊林

注：本文是《深度學習解決機器瀏覽理解任務的研究進展》節選，該文將于近期在“深度學習大講堂”公眾號發布。

2.1文章和問題的表示方法

   用神經網絡處理機器瀏覽理解問題，首先面臨的問題就是如何表示文章和問題這兩個最重要的研究對象。我們可以從現有機器瀏覽理解相干文獻中歸納總結出經常使用的表示方法，固然這些表示方法不單單局限于瀏覽理解問題，也常常見于NLP其他子領域中。

    圖4.文檔表示方法：模型1

首先，對機器瀏覽理解中的文章來講，有兩種常見的文章內容表達方式。最多見的1種即是將1篇文章看成有序的單詞流序列（參考圖4的模型1），在這個有序序列上使用RNN來對文章進行建模表達，每一個單詞Dt對應RNN序列中的1個時間步t的輸入，RNN的隱層狀態Ht代表融會了Dt本身詞義和其上下文語義的語言編碼。這類表示方法其實不對文章整體語義進行編碼，而是對每一個單詞及其上下文語義進行編碼，在實際使用的時候是使用每一個單詞的RNN隱層狀態Ht來進行相干計算。至于具體的RNN模型，常見的有標準RNN、LSTM、GRU及其對應的雙向版本等。對機器瀏覽理解來講雙向RNN是最經常使用的表示方法，1般每一個單詞的語義表示由正向RNN隱層狀態和反向RNN隱層狀態拼接來表示，即：

模型1常常在機器瀏覽理解系統的原始輸入部份對文章進行表征，由于對很多瀏覽理解任務來講，本質上是從文章中推導出某個幾率最大的單詞作為問題的答案，所以對文章以單詞的情勢來表征非常自然。

另外1種常見的文章內容表達方式則是從每一個單詞的語義表達推導出文章整體的Word Embedding表達，這類情勢常常是在對問題和文章進行推理的內部進程中使用的表達方式。典型的表達進程如圖5所示的模型2所示。

             圖5. 文檔表示方法：模型2

對機器瀏覽理解中的問題來講，有3種常見的語義表達方式。如果將查詢看做1種特殊的文章的話，很明顯文章的語義表達方式一樣可以用來表征問題的語義，也就是類似于文檔表示方法的模型1和模型2，除另外，還有另外1種不同的表達方式。問題的表示方法模型1如圖6所示，模型2如圖7所示，其代表的含義與文章表征方式類似，所以此處不贅述。

  圖6.問題表示方式：模型1

     圖7.問題表示方法：模型2

問題表示方法的另外1種表示如圖8所示，我們可以稱之為模型3。

              圖8.問題表示方法：模型3

模型3也是在模型1的基礎之上的改進模型，也是NLP任務中表達句子語義的最多見的表達方式。首先類似于模型1，使用雙向RNN來表征每一個單詞及其上下文的語義信息。對正向RNN來講，其尾部單詞（句尾詞）RNN隱層節點代表了融會了全部句子語義的信息；而反向RNN的頭部單詞（句首詞）則逆向融會了全部句子的語義信息，將這兩個時刻RNN節點的隱層狀態拼接起來則可以表征問題的整體語義：

理論上模型3也能夠用來表征文章的語義信息，但是1般不會這么用，主要緣由是文章常常都比較長，RNN對太長的內容表征能力不足，所以類似模型3的方法會存在大量的信息丟失，而“問題”1般來講都是比較短的1句話，所以用模型3表征是比較適合的。

以上介紹的幾個模型是在機器瀏覽理解領域里經常使用的表征文章和問題的表示方法。下面我們從機器瀏覽理解神經網絡結構的角度來進行經常使用模型的介紹。

掃1掃關注微信號：“布洛卡區” ，深度學習在自然語言處理等智能利用的技術研討與科普公眾號。

生活不易，碼農辛苦
如果您覺得本網站對您的學習有所幫助,可以手機掃描二維碼進行捐贈