本公開總體上涉及使用單說話者電子文檔生成合成對話訓練數(shù)據(jù)。

背景技術：

1、諸如web搜索和問答的現(xiàn)代信息搜尋工具，擅長于有明確答案的問題，諸如“總統(tǒng)什么時候出生的？(when?was?the?president?born？)”。然而，許多重要的問題是更加開放式的，諸如“我如何才能吃得更健康？(how?do?i?eat?healthier？)”。這些開放式問題通常需要交談來引出上下文并進行深入探討。交談問答系統(tǒng)(“convqa”)將使用戶能夠回答這些問題，就像他們可以隨時與專家討論一樣。然而，由于缺乏交談或對話訓練數(shù)據(jù)，開發(fā)這些系統(tǒng)的進展受到了阻礙。某些交談數(shù)據(jù)在互聯(lián)網(wǎng)上是豐富的，諸如用戶之間在論壇和留言板上的交談。然而，這種交談主要集中在個人軼事和主觀意見上且無法進行事實檢查，這對于期望最小化個人偏見并引用可靠來源的響應的信息搜尋系統(tǒng)來說是不期望的。直接眾包對話和交談也是挑戰(zhàn)：最大的現(xiàn)存數(shù)據(jù)集每個只包含大約10,000個交談，并且仍然可在交談中包括不是主題專家或者只提供淺薄、無信息答案的參與者。因此，需要將高質量、專家創(chuàng)建的信息并入對話訓練集。

技術實現(xiàn)思路

1、本公開的實施例的各方面和優(yōu)點將在以下描述中部分地闡述，或者可從描述中學習，或者可通過實施例的實踐來學習。

2、本公開的一個示例方面涉及一種用于生成數(shù)據(jù)項的合成對話訓練集的方法。該方法包括接收電子文檔并對電子文檔執(zhí)行自然語言處理以獲得多個話語。該方法還包括，對于多個話語中的每個話語，使用機器學習的填補模型(inpainting?model)來生成該話語是其答案的所推斷提示，將每個話語和相關聯(lián)的所推斷提示存儲為數(shù)據(jù)項用于數(shù)據(jù)項的合成對話訓練集。

3、本公開的另一示例方面涉及一種非暫時性計算機可讀介質，所述非暫時性計算機可讀介質包括指令，所述指令在由一個或多個處理器執(zhí)行時使一個或多個處理器執(zhí)行過程。該過程包括接收電子文檔并對電子文檔執(zhí)行自然語言處理以獲得多個話語。該過程還包括，對于多個話語中的每個話語，使用機器學習的填補模型來生成該話語是其答案的所推斷提示，以及將每個話語和相關聯(lián)的所推斷提示存儲為數(shù)據(jù)項用于數(shù)據(jù)項的合成對話訓練集。

4、本公開的進一步示例方面涉及一種用于訓練機器學習的填補模型的計算機實現(xiàn)的方法。該方法包括：由包括一個或多個計算裝置的計算系統(tǒng)接收數(shù)據(jù)項的對話訓練集，每個數(shù)據(jù)項包括來自兩個說話者的對話的話語；以及由計算系統(tǒng)通過掩蔽至少一個數(shù)據(jù)項的話語來生成部分對話。該方法進一步包括：由計算系統(tǒng)基于所生成的部分對話來預測被掩蔽話語，由計算系統(tǒng)將所預測的被掩蔽話語與被掩蔽話語進行比較，以及由計算系統(tǒng)基于比較來訓練機器學習的填補模型。

5、本公開的其他方面涉及各種系統(tǒng)、設備、非暫時性計算機可讀介質、用戶接口和電子裝置。

6、將參考以下描述和隨附權利要求更好地理解本公開的各種實施例的這些和其他特征、方面和優(yōu)點。并入本說明書中并構成本說明書的一部分的附圖示出了本公開的示例實施例，并且連同描述一起用于解釋相關原理。

技術特征：

1.一種用于生成數(shù)據(jù)項的合成對話訓練集的方法，包括：

2.如權利要求1所述的方法，其中所述多個話語中的每個話語是句子或短語。

3.如權利要求1或權利要求2所述的方法，進一步包括：

4.如前述權利要求中任一項所述的方法，其中所推斷提示是使用貪婪解碼生成的。

5.如前述權利要求中任一項所述的方法，其中所述多個話語中的第一話語之后的每個話語是基于一個或多個之前的話語以及所述話語的相關聯(lián)的所推斷提示而生成的。

6.如前述權利要求中任一項所述的方法，其中使用所述合成對話訓練集來訓練話音助理的交談問答模型。

7.一種非暫時性計算機可讀介質，所述非暫時性計算機可讀介質包括指令，所述指令在由一個或多個處理器執(zhí)行時使所述一個或多個處理器執(zhí)行過程，所述過程包括：

8.如權利要求7所述的非暫時性計算機可讀介質，其中所述多個話語中的每個話語是句子或短語。

9.如權利要求7或權利要求8所述的非暫時性計算機可讀介質，所述過程進一步包括：

10.如權利要求7至9中任一項所述的非暫時性計算機可讀介質，其中所推斷提示是使用貪婪解碼生成的。

11.如權利要求7至10中任一項所述的非暫時性計算機可讀介質，其中所述多個話語中的第一話語之后的每個話語是基于一個或多個之前的話語以及所述話語的相關聯(lián)的所推斷提示而生成的。

12.如權利要求7至11中任一項所述的非暫時性計算機可讀介質，其中使用所述合成對話訓練集來訓練話音助理的交談問答模型。

13.一種用于訓練機器學習的填補模型的計算機實現(xiàn)的方法，包括：

14.如權利要求13所述的計算機實現(xiàn)的方法，其中所述被掩蔽話語是從數(shù)據(jù)項的所述對話訓練集中的每個話語中隨機選擇的。

15.如權利要求13或權利要求14所述的計算機實現(xiàn)的方法，其中生成所述部分對話進一步包括將說話者標識附加到每個非被掩蔽數(shù)據(jù)項，所述說話者標識識別所述兩個說話者中的哪一個說出了與所述數(shù)據(jù)項相關聯(lián)的所述話語。

16.如權利要求15所述的計算機實現(xiàn)的方法，其中將所述部分對話中的每個數(shù)據(jù)項連結成文本字符串。

17.如權利要求16所述的計算機實現(xiàn)的方法，其中所述被掩蔽話語在所述文本字符串中表示為符號。

18.如權利要求13至17中任一項所述的計算機實現(xiàn)的方法，其中訓練所述填補模型包括最小化損失函數(shù)。

19.如權利要求18所述的計算機實現(xiàn)的方法，其中所述損失函數(shù)是交叉熵損失函數(shù)。

20.如權利要求13至19中任一項所述的計算機實現(xiàn)的方法，其中所述對話訓練集是開源對話訓練集。

技術總結
提供了用于使用單說話者電子文檔來生成合成對話訓練數(shù)據(jù)的系統(tǒng)、方法和機器學習模型。該方法包括接收電子文檔并對電子文檔執(zhí)行自然語言處理以獲得多個話語。該方法還包括，對于多個話語中的每個話語，使用機器學習的填補模型來生成該話語是其答案的所推斷提示，將每個話語和相關聯(lián)的所推斷提示存儲為數(shù)據(jù)項用于數(shù)據(jù)項的合成對話訓練集。

技術研發(fā)人員：趙宇哲,A·T·查甘蒂,K·谷,戴竹韻
受保護的技術使用者：谷歌有限責任公司
技術研發(fā)日：
技術公布日：2024/12/26