近期 ， 微軟研究團隊通過對上下文建模加以研究得出一種新的方法 ， 這種方法能夠讓 AI 模型通過上下文的歷史記錄來改寫對話中的最后話語 ， 那么 ， 這是一種怎樣的研究方法呢？KYLE WIGGERS 對此做了詳細的介紹 。 在一份預先出版的論文中 ， 微軟研究團隊詳細地介紹了他們的工作——為開放領(lǐng)域的對話進行無監(jiān)督的上下文重寫 。
他們聲稱 ， 在重寫質(zhì)量和多輪響應(yīng)生成方面 ， 他們的實驗結(jié)果已經(jīng)達到了最新基準 。
正如研究人員所解釋的那樣 ， 對話上下文提出了句子建模中所沒有的挑戰(zhàn) ， 比如主題轉(zhuǎn)換、共同引用（像他、她、它、他們這種）、長期依賴 。 大多數(shù)系統(tǒng)解決這些問題的方法是在最后一段話中添加關(guān)鍵字 ， 或者用 AI 模型學習數(shù)字表示 ， 但這種方法往往會遇到障礙 ， 比如無法選擇正確的關(guān)鍵詞、無法處理較長的上下文等 。
這時候 ， 就是微軟研究團隊的方法的用武之地了 。 它通過對語境信息的考量 ， 重新制定了對話中的最后一句話；這么做是為了生成一個獨立的話語 ， 既不存在相互參照 ， 也不依賴過去對話的其它話語 。
舉個例子 ， 如果將“我討厭喝咖啡 。 - - 為什么？它挺好喝的啊 。 ”轉(zhuǎn)化成“為什么會討厭喝咖啡呢？它挺好喝的啊 。 ” ， 這就借用了“它”和“為什么” 。 其中 ， “它”指代的是對話中提到的咖啡 ， “為什么”則是“為什么討厭喝咖啡”的縮寫形式 。
對此 ， 研究人員設(shè)計了一個機器學習系統(tǒng)——上下文重寫網(wǎng)絡(luò)（context rewriting network, CRN） ， 來實現(xiàn)端到端的流程自動化 。 這個系統(tǒng)是由一個序列到序列模型組成的 ， 它能夠?qū)⒐潭ㄩL度的話語映射到固定長度的重寫句子上 。 并且 ， 它還具有一個獨立的注意力機制 ， 這個機制能夠通過最后話語中的不同單詞來幫助它從上下文中復制單詞 。
那么 ， 這個系統(tǒng)是如何被設(shè)計出來的呢？
首先 ， 微軟研究團隊使用偽數(shù)據(jù)對模型進行了訓練 ， 這些偽數(shù)據(jù)是通過提取上下文的關(guān)鍵字 ， 將這些關(guān)鍵字插入到原始對話中的最后話語中來生成的 。 然后 ， 為了讓最后的響應(yīng)影響重寫過程 ， 他們利用了強化學習去推動系統(tǒng)朝著目標前進 。
在一系列實驗中 ， 該團隊評估了他們的方法在幾種重寫質(zhì)量 ， 多回合響應(yīng)生成 ， 多回合響應(yīng)選擇以及基于端到端檢索的任務(wù)上的應(yīng)用 。 他們注意到 ， 由于他們的模型更傾向于從上下文中提取更多的單詞 ， 因此該模型在強化學習后偶爾會變得不穩(wěn)定 ， 不過 ， 這也顯著地提升了話語的多樣性 。
微軟研究團隊認為 ， 他們的工作朝著更易解釋和更易控制的上下文建模中邁進了一步 。 另外 ， 該研究團隊還表示 ， 他們的模型可以從嘈雜的語境中提取出重要的關(guān)鍵詞 ， 然后將這些關(guān)鍵詞插入到最后的話語中 ， 使其不僅變得易于控制和解釋 ， 還有助于將信息直接傳遞到最后的話語中 。
【AI怎么知道人類對話在說什么？微軟研究團隊告訴你】本文編譯自 KYLE WIGGERS 發(fā)表在 venturebeat 上的文章 。
推薦閱讀
- 誰燴牛肉怎么做啊
- 誰教教我穿越火線怎么卡墻
- 誰教教我怎么玩伊澤瑞爾求高手
- 誰可以教我怎么開ebay店啊
- AI那廝：新理論該怎么為概念下定義？
- 誰老湯面怎么做
- 怎么知道豬過得開不開心？給它們用上豬臉識別就好了
- 誰能告訴我ATR指標怎么計算的
- 誰能告訴我OPPOr9怎么截圖
- 誰能告訴我冰淇淋怎么做