本公開(kāi)涉及人工智能，尤其涉及大模型、生成模型、深度學(xué)習(xí)、文本處理等領(lǐng)域，更具體地，本公開(kāi)提供了一種文本質(zhì)量評(píng)估方法、裝置、電子設(shè)備、存儲(chǔ)介質(zhì)以及計(jì)算機(jī)程序產(chǎn)品。

背景技術(shù)：

1、大語(yǔ)言模型或者其他人工智能模型有時(shí)需要使用文本進(jìn)行訓(xùn)練，在實(shí)際應(yīng)用中，需要對(duì)文本篩選、審核等處理，來(lái)提高文本的質(zhì)量，進(jìn)而保障模型的訓(xùn)練效果。可以采用人工審核文本質(zhì)量的方式，但是該種方式成本較高。

技術(shù)實(shí)現(xiàn)思路

1、本公開(kāi)提供了一種文本質(zhì)量評(píng)估方法、裝置、電子設(shè)備、存儲(chǔ)介質(zhì)以及計(jì)算機(jī)程序產(chǎn)品。

2、根據(jù)本公開(kāi)的一方面，提供了一種文本質(zhì)量評(píng)估方法，包括：根據(jù)待評(píng)估文本的總字符數(shù)量、內(nèi)容類別、重復(fù)率、與預(yù)定語(yǔ)言相關(guān)的字符中的至少一個(gè)，確定待評(píng)估文本是否滿足預(yù)定條件；在確定待評(píng)估文本滿足預(yù)定條件的情況下，根據(jù)與至少一個(gè)評(píng)估參數(shù)相對(duì)應(yīng)處理邏輯，確定至少一個(gè)評(píng)估參數(shù)的調(diào)整評(píng)估值；以及根據(jù)至少一個(gè)評(píng)估參數(shù)各自的基準(zhǔn)評(píng)估值和調(diào)整評(píng)估值，確定待評(píng)估文本的質(zhì)量評(píng)估結(jié)果。

3、根據(jù)本公開(kāi)的另一方面，提供了一種文本質(zhì)量評(píng)估裝置，包括：第一確定模塊、第二確定模塊、第三確定模塊。第一確定模塊用于根據(jù)待評(píng)估文本的總字符數(shù)量、內(nèi)容類別、重復(fù)率、與預(yù)定語(yǔ)言相關(guān)的字符中的至少一個(gè)，確定待評(píng)估文本是否滿足預(yù)定條件；第二確定模塊用于在確定待評(píng)估文本滿足預(yù)定條件的情況下，根據(jù)與至少一個(gè)評(píng)估參數(shù)相對(duì)應(yīng)處理邏輯，確定至少一個(gè)評(píng)估參數(shù)的調(diào)整評(píng)估值；第三確定模塊用于根據(jù)至少一個(gè)評(píng)估參數(shù)各自的基準(zhǔn)評(píng)估值和調(diào)整評(píng)估值，確定待評(píng)估文本的質(zhì)量評(píng)估結(jié)果。

4、根據(jù)本公開(kāi)的另一個(gè)方面，提供了一種電子設(shè)備，包括：至少一個(gè)處理器；以及與至少一個(gè)處理器通信連接的存儲(chǔ)器；其中，存儲(chǔ)器存儲(chǔ)有可被至少一個(gè)處理器執(zhí)行的指令，指令被至少一個(gè)處理器執(zhí)行，以使至少一個(gè)處理器能夠執(zhí)行本公開(kāi)提供的方法。

5、根據(jù)本公開(kāi)的另一個(gè)方面，提供了一種存儲(chǔ)有計(jì)算機(jī)指令的非瞬時(shí)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中，計(jì)算機(jī)指令用于使計(jì)算機(jī)執(zhí)行本公開(kāi)提供的方法。

6、根據(jù)本公開(kāi)的另一個(gè)方面，提供了一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，計(jì)算機(jī)程序在被處理器執(zhí)行時(shí)實(shí)現(xiàn)本公開(kāi)提供的方法。

7、應(yīng)當(dāng)理解，本部分所描述的內(nèi)容并非旨在標(biāo)識(shí)本公開(kāi)的實(shí)施例的關(guān)鍵或重要特征，也不用于限制本公開(kāi)的范圍。本公開(kāi)的其它特征將通過(guò)以下的說(shuō)明書(shū)而變得容易理解。

技術(shù)特征：

1.一種文本質(zhì)量評(píng)估方法，包括：

2.根據(jù)權(quán)利要求1所述的方法，其中，所述根據(jù)與至少一個(gè)評(píng)估參數(shù)相對(duì)應(yīng)處理邏輯，確定所述至少一個(gè)評(píng)估參數(shù)的調(diào)整評(píng)估值包括：

3.根據(jù)權(quán)利要求1所述的方法，其中，所述根據(jù)所述至少一個(gè)評(píng)估參數(shù)各自的基準(zhǔn)評(píng)估值和所述調(diào)整評(píng)估值，確定所述待評(píng)估文本的質(zhì)量評(píng)估結(jié)果包括：

4.根據(jù)權(quán)利要求3所述的方法，其中，所述根據(jù)所述至少一個(gè)評(píng)估參數(shù)的至少一個(gè)子評(píng)估值，確定所述質(zhì)量評(píng)估結(jié)果包括：

5.根據(jù)權(quán)利要求1至4中任意一項(xiàng)所述的方法，其中，所述至少一個(gè)評(píng)估參數(shù)包括以下中的至少一個(gè)：

6.根據(jù)權(quán)利要求1所述的方法，其中，所述預(yù)定條件包括：

7.根據(jù)權(quán)利要求6所述的方法，其中，在所述待評(píng)估文本包括表格的情況下，所述預(yù)定條件還包括以下中的至少一個(gè)：

8.一種文本質(zhì)量評(píng)估裝置，包括：

9.根據(jù)權(quán)利要求8所述的裝置，其中，所述第二確定模塊包括：

10.根據(jù)權(quán)利要求8所述的裝置，其中，所述第三確定模塊包括：

11.根據(jù)權(quán)利要求10所述的裝置，其中，所述結(jié)果確定子模塊包括：

12.根據(jù)權(quán)利要求8至11中任意一項(xiàng)所述的裝置，其中，所述至少一個(gè)評(píng)估參數(shù)包括以下中的至少一個(gè)：

13.根據(jù)權(quán)利要求8所述的裝置，其中，所述預(yù)定條件包括：

14.根據(jù)權(quán)利要求13所述的裝置，其中，在所述待評(píng)估文本包括表格的情況下，所述預(yù)定條件還包括以下中的至少一個(gè)：

15.一種電子設(shè)備，包括：

16.一種存儲(chǔ)有計(jì)算機(jī)指令的非瞬時(shí)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中，所述計(jì)算機(jī)指令用于使所述計(jì)算機(jī)執(zhí)行根據(jù)權(quán)利要求1至7中任一項(xiàng)所述的方法。

17.一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序在被處理器執(zhí)行時(shí)實(shí)現(xiàn)根據(jù)權(quán)利要求1至7中任一項(xiàng)所述的方法。

技術(shù)總結(jié)
本公開(kāi)提供了一種文本質(zhì)量評(píng)估方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，涉及人工智能技術(shù)領(lǐng)域，尤其涉及大模型、生成模型、深度學(xué)習(xí)、文本處理等領(lǐng)域。具體實(shí)現(xiàn)方案為：根據(jù)待評(píng)估文本的總字符數(shù)量、內(nèi)容類別、重復(fù)率、與預(yù)定語(yǔ)言相關(guān)的字符中的至少一個(gè)，確定待評(píng)估文本是否滿足預(yù)定條件；在確定待評(píng)估文本滿足預(yù)定條件的情況下，根據(jù)與至少一個(gè)評(píng)估參數(shù)相對(duì)應(yīng)處理邏輯，確定至少一個(gè)評(píng)估參數(shù)的調(diào)整評(píng)估值；以及根據(jù)至少一個(gè)評(píng)估參數(shù)各自的基準(zhǔn)評(píng)估值和調(diào)整評(píng)估值，確定待評(píng)估文本的質(zhì)量評(píng)估結(jié)果。

技術(shù)研發(fā)人員：宋濠志
受保護(hù)的技術(shù)使用者：北京百度網(wǎng)訊科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/17