學界 | 機器理解中的遷移學習, 斯坦福聯合微軟提出SynNet網絡

機器之心編譯

參與：李亞洲、Smith

近日，斯坦福大學、微軟聯合發表了一篇論文，提出了一種在機器理解（MC）中使用 2-階段合成網絡（SynNet) 進行遷移學習的技術。論文作者之一、前微軟人工智能首席科學家鄧力已經離職，加入對衝基金巨頭 Citadel。

我們開發了一種在機器理解（MC）中使用一個全新的 2-階段合成網絡（SynNet) 進行遷移學習的技術。在某個領域中給定一個高性能 MC，我們的技術旨在回答有關另一領域文檔的問題，其中我們使用的是無標記數據問答對。不使用提供的注釋的情況下，在 SQuAN 數據集預訓練的模型上使用我們提出的 SynNet，能夠在 NewsQA 數據集挑戰賽上取得 46.6% 的 F1 測量結果，接近領域內（in-domain) 模型的表現（F1 結果為 50.0%），超過域外（out-domain) 基線 7.6%。

圖 1：2-階段 SynNet 的圖釋。給定段落的情況下，訓練 SynNet 的目的是對問題與答案進行合成。模型的第一階段是一個答案合成模塊，使用一個雙向 LSTM 在輸入段落上預測 IOB 標簽，標記出可能是答案的關鍵語義概念。第二個階段是一個問題合成模塊，使用一個單向 LSTM 來生成問題，同時顧及段落中詞彙與 IOB id 的嵌入。盡管段落中的多個跨度（span) 可以被認為是潛在答案，但我們隻選擇了一個 span 來生成問題。

表 1：隨機采樣的段落和對應的來自 NewsAQ 訓練集的合成問題與人類問題的對比。

表 2：主要結果。使用我們的 SynNet 精調的 BIDAF 模型在 NewsQA 測試集上的精度匹配（EM）和 span F1 結果。

表 3：NewsQA 到 SQuAD。在 SQuAD 上開發的一係列 NewsQA BIDAF 模型與使用由 2-階段 SynNet 生成的數據精調的模型的 EM 和 span F1 結果對比。

表 4：Ablations Studies。使用一個 2-階段 SynNet 精調的 BIDAF 模型在 NewsQA 測試集上的精確匹配和跨距 F1 結果。

圖 2：在 SQuAD（黃色）上訓練的 BIDAF 模型基準的 NewsQA 準確率對比使用我們方法精調的模型對比在 NewsQA 上從頭開始訓練的一個模型（深藍）。