本公開(kāi)涉及計(jì)算機(jī)，更具體地，涉及一種模型訓(xùn)練方法、信息預(yù)測(cè)方法、模型訓(xùn)練裝置、信息預(yù)測(cè)裝置、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)和電子設(shè)備。

背景技術(shù)：

1、隨著計(jì)算機(jī)技術(shù)領(lǐng)域的發(fā)展，在各種應(yīng)用場(chǎng)景下廣泛利用訓(xùn)練后的預(yù)測(cè)模型進(jìn)行用戶行為預(yù)測(cè)，并根據(jù)預(yù)測(cè)結(jié)果指導(dǎo)后續(xù)工作。

2、相關(guān)技術(shù)中的預(yù)測(cè)模型訓(xùn)練時(shí)存在長(zhǎng)尾分布的訓(xùn)練樣本，樣本分布不均的缺點(diǎn)，影響預(yù)測(cè)模型的預(yù)測(cè)精度，降低了用戶的預(yù)獲取行為的預(yù)測(cè)準(zhǔn)確性，進(jìn)而影響基于預(yù)測(cè)結(jié)果的實(shí)際作業(yè)效果。

3、需要說(shuō)明的是，在上述背景技術(shù)部分發(fā)明的信息僅用于加強(qiáng)對(duì)本公開(kāi)的背景的理解，因此可以包括不構(gòu)成對(duì)本領(lǐng)域普通技術(shù)人員已知的現(xiàn)有技術(shù)的信息。

技術(shù)實(shí)現(xiàn)思路

1、本公開(kāi)的目的在于提供一種模型訓(xùn)練方法及裝置、信息預(yù)測(cè)方法及裝置、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)和電子設(shè)備，進(jìn)而至少在一定程度上提高預(yù)測(cè)模型的預(yù)測(cè)精度，提高用戶的預(yù)獲取行為的預(yù)測(cè)準(zhǔn)確性。

2、本公開(kāi)的其他特性和優(yōu)點(diǎn)將通過(guò)下面的詳細(xì)描述變得顯然，或部分地通過(guò)本公開(kāi)的實(shí)踐而習(xí)得。

3、根據(jù)本公開(kāi)的一個(gè)方面，提供一種模型訓(xùn)練方法，包括：將用戶樣本特征輸入至多任務(wù)模型中的特征共享網(wǎng)絡(luò)，得到第一特征表示，所述用戶樣本特征為根據(jù)用戶特征和對(duì)應(yīng)的行為引導(dǎo)特征得到的；通過(guò)所述多任務(wù)模型中的注意力結(jié)構(gòu)對(duì)所述行為引導(dǎo)特征進(jìn)行處理，并結(jié)合得到的注意力特征和所述第一特征表示確定第二特征表示；將所述第二特征表示作為所述多任務(wù)模型中的雙塔模型結(jié)構(gòu)的輸入，通過(guò)所述雙塔模型結(jié)構(gòu)分別預(yù)測(cè)得到預(yù)獲取行為概率和對(duì)應(yīng)的預(yù)獲取金額，并基于所述預(yù)獲取行為概率和所述預(yù)獲取金額，結(jié)合樣本標(biāo)準(zhǔn)標(biāo)簽對(duì)所述多任務(wù)模型進(jìn)行調(diào)參。

4、在本公開(kāi)的一種示例性實(shí)施方式中，所述用戶特征包括用戶屬性特征和用戶行為特征，根據(jù)所述用戶特征和對(duì)應(yīng)的行為引導(dǎo)特征得到所述用戶樣本特征包括：將所述用戶屬性特征、所述用戶行為特征和所述行為引導(dǎo)特征進(jìn)行拼接，得到所述用戶樣本特征。

5、在本公開(kāi)的一種示例性實(shí)施方式中，所述雙塔模型結(jié)構(gòu)包括第一預(yù)測(cè)模型和第二預(yù)測(cè)模型；所述通過(guò)所述雙塔模型結(jié)構(gòu)分別預(yù)測(cè)得到預(yù)獲取行為概率和對(duì)應(yīng)的預(yù)獲取金額，并基于所述預(yù)獲取行為概率和所述預(yù)獲取金額，結(jié)合樣本標(biāo)準(zhǔn)標(biāo)簽對(duì)所述多任務(wù)模型進(jìn)行調(diào)參，包括：利用所述第一預(yù)測(cè)模型對(duì)所述第二特征表示進(jìn)行預(yù)測(cè)處理，得到所述用戶樣本特征對(duì)應(yīng)的所述預(yù)獲取行為概率；基于所述預(yù)獲取行為概率，根據(jù)所述第二預(yù)測(cè)模型對(duì)所述第二特征表示進(jìn)行預(yù)測(cè)處理，得到所述預(yù)獲取金額；根據(jù)所述預(yù)獲取行為概率和對(duì)應(yīng)的標(biāo)準(zhǔn)行為標(biāo)簽確定第一損失函數(shù)，并根據(jù)所述預(yù)獲取金額和對(duì)應(yīng)的標(biāo)準(zhǔn)金額標(biāo)簽確定第二損失函數(shù)，以結(jié)合所述第一損失函數(shù)和所述第二損失函數(shù)對(duì)所述多任務(wù)模型中的參數(shù)進(jìn)行調(diào)整。

6、在本公開(kāi)的一種示例性實(shí)施方式中，所述根據(jù)所述預(yù)獲取行為概率和對(duì)應(yīng)的標(biāo)準(zhǔn)行為標(biāo)簽確定第一損失函數(shù)，并根據(jù)所述預(yù)獲取金額和對(duì)應(yīng)的標(biāo)準(zhǔn)金額標(biāo)簽確定第二損失函數(shù)，以結(jié)合所述第一損失函數(shù)和所述第二損失函數(shù)對(duì)所述多任務(wù)模型中的參數(shù)進(jìn)行調(diào)整，包括：若所述預(yù)獲取金額為非空值，結(jié)合所述第一損失函數(shù)和所述第二損失函數(shù)對(duì)所述第一預(yù)測(cè)模型和所述第二預(yù)測(cè)模型中的參數(shù)進(jìn)行調(diào)整；若所述預(yù)獲取金額為空值，根據(jù)所述第一損失函數(shù)對(duì)所述第一預(yù)測(cè)模型中的參數(shù)進(jìn)行調(diào)整。

7、在本公開(kāi)的一種示例性實(shí)施方式中，在所述根據(jù)所述預(yù)獲取金額和對(duì)應(yīng)的標(biāo)準(zhǔn)金額標(biāo)簽確定第二損失函數(shù)之前，所述方法還包括：將樣本用戶的歷史預(yù)獲取金額劃分為多個(gè)組別；根據(jù)每個(gè)組別中樣本用戶的歷史預(yù)獲取金額確定所述組別對(duì)應(yīng)的標(biāo)準(zhǔn)金額標(biāo)簽。

8、根據(jù)本公開(kāi)的一個(gè)方面，提供一種信息預(yù)測(cè)方法，包括：將當(dāng)前用戶特征和第一行為引導(dǎo)特征作為預(yù)測(cè)模型的輸入，預(yù)測(cè)得到第一預(yù)獲取行為概率和所述第一預(yù)獲取行為概率對(duì)應(yīng)的第一預(yù)獲取金額；將所述當(dāng)前用戶特征和第二行為引導(dǎo)特征輸入至所述預(yù)測(cè)模型，預(yù)測(cè)得到第二預(yù)獲取行為概率和所述第二預(yù)獲取行為概率對(duì)應(yīng)的第二預(yù)獲取金額，所述第一行為引導(dǎo)特征和所述第二行為引導(dǎo)特征分別對(duì)應(yīng)是否進(jìn)行用戶行為引導(dǎo)；基于所述第一預(yù)獲取行為概率和所述第一預(yù)獲取金額確定第一期望金額，根據(jù)所述第二預(yù)獲取行為概率和所述第二預(yù)獲取金額確定第二期望金額，并根據(jù)所述第一期望金額和所述第二期望金額確定預(yù)測(cè)金額增益；其中，所述預(yù)測(cè)模型為根據(jù)上述中任一項(xiàng)所述的模型訓(xùn)練方法對(duì)多任務(wù)模型進(jìn)行訓(xùn)練后獲得的。

9、在本公開(kāi)的一種示例性實(shí)施方式中，在所述基于所述第一預(yù)獲取行為概率和所述第一預(yù)獲取金額確定第一期望金額，根據(jù)所述第二預(yù)獲取行為概率和所述第二預(yù)獲取金額確定第二期望金額之前，所述方法還包括：基于概率校準(zhǔn)模型對(duì)所述第一預(yù)獲取行為概率進(jìn)行校準(zhǔn)，并基于所述概率校準(zhǔn)模型對(duì)所述第二預(yù)獲取行為概率進(jìn)行校準(zhǔn)。

10、在本公開(kāi)的一種示例性實(shí)施方式中，所述基于所述第一預(yù)獲取行為概率和所述第一預(yù)獲取金額確定第一期望金額，根據(jù)所述第二預(yù)獲取行為概率和所述第二預(yù)獲取金額確定第二期望金額，包括：響應(yīng)于所述第一預(yù)獲取行為概率低于預(yù)設(shè)概率閾值，確定所述第一預(yù)獲取行為概率對(duì)應(yīng)的第一期望金額為空值；或者，響應(yīng)于所述第二預(yù)獲取行為概率低于所述預(yù)設(shè)概率閾值，確定所述第二預(yù)獲取行為概率對(duì)應(yīng)的第二期望金額為空值。

11、根據(jù)本公開(kāi)的一個(gè)方面，提供一種模型訓(xùn)練裝置，所述裝置包括：第一處理模塊，用于將用戶樣本特征輸入至多任務(wù)模型中的特征共享網(wǎng)絡(luò)，得到第一特征表示，所述用戶樣本特征為根據(jù)用戶特征和對(duì)應(yīng)的行為引導(dǎo)特征得到的；第二處理模塊，用于通過(guò)所述多任務(wù)模型中的注意力結(jié)構(gòu)對(duì)所述行為引導(dǎo)特征進(jìn)行處理，并結(jié)合得到的注意力特征和所述第一特征表示確定第二特征表示；模型調(diào)參模塊，用于將所述第二特征表示作為所述多任務(wù)模型中的雙塔模型結(jié)構(gòu)的輸入，通過(guò)所述雙塔模型結(jié)構(gòu)分別預(yù)測(cè)得到預(yù)獲取行為概率和對(duì)應(yīng)的預(yù)獲取金額，并基于所述預(yù)獲取行為概率和所述預(yù)獲取金額，結(jié)合樣本標(biāo)準(zhǔn)標(biāo)簽對(duì)所述多任務(wù)模型進(jìn)行調(diào)參。

12、根據(jù)本公開(kāi)的一個(gè)方面，提供一種信息預(yù)測(cè)裝置，包括：第一預(yù)測(cè)模塊，用于將當(dāng)前用戶特征和第一行為引導(dǎo)特征作為預(yù)測(cè)模型的輸入，預(yù)測(cè)得到第一預(yù)獲取行為概率和所述第一預(yù)獲取行為概率對(duì)應(yīng)的第一預(yù)獲取金額；第二預(yù)測(cè)模塊，用于將所述當(dāng)前用戶特征和第二行為引導(dǎo)特征輸入至所述預(yù)測(cè)模型，預(yù)測(cè)得到第二預(yù)獲取行為概率和所述第二預(yù)獲取行為概率對(duì)應(yīng)的第二預(yù)獲取金額，所述第一行為引導(dǎo)特征和所述第二行為引導(dǎo)特征分別對(duì)應(yīng)是否進(jìn)行用戶行為引導(dǎo)；增益預(yù)測(cè)模塊，用于基于所述第一預(yù)獲取行為概率和所述第一預(yù)獲取金額確定第一期望金額，根據(jù)所述第二預(yù)獲取行為概率和所述第二預(yù)獲取金額確定第二期望金額，并根據(jù)所述第一期望金額和所述第二期望金額確定預(yù)測(cè)金額增益；其中，所述預(yù)測(cè)模型為根據(jù)上述中任一項(xiàng)所述的方法對(duì)多任務(wù)模型進(jìn)行訓(xùn)練后獲得的。

13、根據(jù)本公開(kāi)的一個(gè)方面，提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述任意一項(xiàng)所述的方法。

14、根據(jù)本公開(kāi)的一個(gè)方面，提供一種電子設(shè)備，包括：處理器；以及存儲(chǔ)器，用于存儲(chǔ)所述處理器的可執(zhí)行指令；其中，所述處理器配置為經(jīng)由執(zhí)行所述可執(zhí)行指令來(lái)執(zhí)行上述任意一項(xiàng)所述的方法。

15、本公開(kāi)的示例性實(shí)施方式中提供的技術(shù)方案，在模型訓(xùn)練階段，一方面，通過(guò)多任務(wù)模型同時(shí)得到預(yù)獲取行為概率和該預(yù)獲取行為概率對(duì)應(yīng)的預(yù)獲取金額，可避免僅針對(duì)用戶預(yù)測(cè)預(yù)獲取金額時(shí)存在的樣本不均問(wèn)題，另一方面，結(jié)合用戶特征和行為引導(dǎo)特征作為用戶樣本特征，并利用注意力結(jié)構(gòu)對(duì)行為引導(dǎo)特征進(jìn)行處理后，將注意力特征與第一特征表示結(jié)合后繼續(xù)訓(xùn)練，基于行為引導(dǎo)特征實(shí)現(xiàn)對(duì)模型中間特征的增強(qiáng)處理，增加模型在行為引導(dǎo)特征上的表現(xiàn)，強(qiáng)化其對(duì)行為引導(dǎo)特征的區(qū)分能力，進(jìn)而提高模型的用戶行為預(yù)測(cè)準(zhǔn)確性。在模型應(yīng)用階段，一方面，可根據(jù)不同的用戶行為引導(dǎo)方式確定行為引導(dǎo)特征，并分別結(jié)合當(dāng)前用戶特征后輸入至預(yù)測(cè)模型，得到對(duì)應(yīng)于不同的用戶行為引導(dǎo)方式的用戶行為預(yù)測(cè)結(jié)果，均包括預(yù)獲取概率行為和對(duì)應(yīng)的預(yù)獲取金額，進(jìn)而基于對(duì)應(yīng)于不同的用戶行為引導(dǎo)方式的用戶行為預(yù)測(cè)結(jié)果確定對(duì)應(yīng)于不同的用戶行為引導(dǎo)方式的期望金額，進(jìn)一步地避免了直接預(yù)測(cè)金額時(shí)存在的樣本不均問(wèn)題，且通過(guò)對(duì)應(yīng)于不同的用戶行為引導(dǎo)方式的期望金額可獲得預(yù)測(cè)金額增益，利用預(yù)測(cè)金額增益可提高對(duì)后續(xù)工作的指導(dǎo)針對(duì)性，提高作業(yè)精準(zhǔn)性。

16、應(yīng)當(dāng)理解的是，以上的一般描述和后文的細(xì)節(jié)描述僅是示例性和解釋性的，并不能限制本公開(kāi)。