本公開涉及計算機處理，具體涉及圖片對象處理方法、圖片處理模型的性能確定方法及裝置。

背景技術(shù)：

1、相關(guān)技術(shù)中，可以通過圖像識別的方式從包含多種元素的文件中識別目標元素。但如何提高目標元素的識別準確率亟需一種方式進行解決。

技術(shù)實現(xiàn)思路

1、有鑒于此，本公開提供了一種圖片對象處理方法、圖片處理模型的性能確定方法及裝置，以解決圖片轉(zhuǎn)換文本的準確性較低的問題。

2、第一方面，本公開提供了一種圖片對象處理方法，包括：

3、獲取目標文件，以得到目標文件中包含目標對象的第一圖片；

4、將第一圖片輸入目標圖片處理模型中，得到第一圖片對應(yīng)的第一文本，目標圖片處理模型是通過對初始圖片處理模型以及初始圖片判別模型進行聯(lián)合訓(xùn)練后得到的，初始圖片判別模型用于評估初始圖片處理模型的圖片處理性能。

5、第二方面，本公開提供了一種圖片處理模型的性能確定方法，方法包括：

6、獲取至少一個第一圖片處理模型，以及第一圖片處理模型對應(yīng)的第二圖片，第二圖片中包括目標對象；

7、將第二圖片輸入到對應(yīng)的第一圖片處理模型中得到處理文本，并利用目標圖片判別模型確定第二圖片的特征以及處理文本對應(yīng)的渲染后圖片的特征之間的相似度；目標圖片判別模型是通過對初始圖片處理模型以及初始圖片判別模型進行聯(lián)合訓(xùn)練后得到的，初始圖片判別模型用于評估初始圖片處理模型的圖片處理性能；

8、基于相似度確定第一圖片處理模型的處理性能。

9、第三方面，本公開提供了一種圖片對象處理裝置，裝置包括：

10、第一獲取模塊，用于獲取目標文件，以得到目標文件中包含目標對象的第一圖片；

11、識別模塊，用于將第一圖片輸入目標圖片處理模型中，得到第一圖片對應(yīng)的第一文本，目標圖片處理模型是通過對初始圖片處理模型以及初始圖片判別模型進行聯(lián)合訓(xùn)練后得到的，初始圖片判別模型用于評估初始圖片處理模型的圖片處理性能。

12、第四方面，本公開提供了一種圖片處理模型的性能確定裝置，裝置包括：

13、第二獲取模塊，用于獲取至少一個第一圖片處理模型，以及第一圖片處理模型對應(yīng)的第二圖片，第二圖片中包括目標對象；

14、第一處理模塊，用于將第二圖片輸入到對應(yīng)的第一圖片處理模型中得到處理文本，并利用目標圖片判別模型確定第二圖片的特征以及處理文本對應(yīng)的渲染后圖片的特征之間的相似度；目標圖片判別模型是通過對初始圖片處理模型以及初始圖片判別模型進行聯(lián)合訓(xùn)練后得到的，初始圖片判別模型用于評估初始圖片處理模型的圖片處理性能；

15、第二處理模塊，用于基于相似度確定第一圖片處理模型的處理性能。

16、第五方面，本公開提供了一種電子設(shè)備，包括：存儲器和處理器，存儲器和處理器之間互相通信連接，存儲器中存儲有計算機指令，處理器通過執(zhí)行計算機指令，從而執(zhí)行上述第一方面或其對應(yīng)的任一實施方式的圖片對象處理方法或者上述第二方面或其對應(yīng)的任一實施方式的圖片處理模型的性能確定方法。

17、第六方面，本公開提供了一種計算機可讀存儲介質(zhì)，該計算機可讀存儲介質(zhì)上存儲有計算機指令，計算機指令用于使計算機執(zhí)行上述第一方面或其對應(yīng)的任一實施方式的圖片對象處理方法或者上述第二方面或其對應(yīng)的任一實施方式的圖片處理模型的性能確定方法。

18、第七方面，本發(fā)明提供了一種計算機程序產(chǎn)品，包括計算機指令，計算機指令用于使計算機執(zhí)行上述第一方面或其對應(yīng)的任一實施方式的圖片對象處理方法或者上述第二方面或其對應(yīng)的任一實施方式的圖片處理模型的性能確定方法。

19、本實施例提供的圖片對象處理方法，基于初始圖片處理模型以及初始圖片判別模型進行聯(lián)合訓(xùn)練后得到的目標圖片處理模型進行圖文轉(zhuǎn)換處理，能夠有效增強目標圖片處理模型的理解和分析能力，從而能夠保障目標對象的識別質(zhì)量，有效提高識別準確率。

技術(shù)特征：

1.一種圖片對象處理方法，其特征在于，所述方法包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述初始圖片處理模型與所述初始圖片判別模型中分別包括結(jié)構(gòu)相同的第一視覺編碼器與第二視覺編碼器；

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述聯(lián)合訓(xùn)練的方式包括：

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述將所述預(yù)測文本輸入所述初始圖片判別模型中，得到所述判別損失，包括：

5.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述基于所述文本損失與所述判別損失的融合結(jié)果，對所述初始圖片處理模型與所述初始圖片判別模型進行聯(lián)合訓(xùn)練，以得到所述目標圖片處理模型以及目標圖片判別模型，包括：

6.根據(jù)權(quán)利要求1至5中任一項所述的方法，其特征在于，所述目標對象為公式類元素，所述第一文本的格式為指定文本格式。

7.一種圖片處理模型的性能確定方法，其特征在于，所述方法包括：

8.根據(jù)權(quán)利要求7所述的方法，其特征在于，所述第一圖片處理模型的獲取數(shù)量為多個，且所有所述第一圖片處理模型對應(yīng)的第二圖片均相同，所述方法還包括：

9.一種圖片對象處理裝置，其特征在于，所述裝置包括：

10.一種圖片處理模型的性能確定裝置，其特征在于，所述裝置包括：

11.一種電子設(shè)備，其特征在于，包括：

12.一種計算機可讀存儲介質(zhì)，其特征在于，所述計算機可讀存儲介質(zhì)上存儲有計算機指令，所述計算機指令用于使計算機執(zhí)行權(quán)利要求1至6中任一項所述的圖片對象處理或者權(quán)利要求7至8中任一項所述的圖片處理模型的性能確定方法。

13.一種計算機程序產(chǎn)品，其特征在于，包括計算機指令，所述計算機指令用于使計算機執(zhí)行權(quán)利要求1至6中任一項所述的圖片對象處理或者權(quán)利要求7至8中任一項所述的圖片處理模型的性能確定方法。

技術(shù)總結(jié)
本公開涉及計算機處理技術(shù)領(lǐng)域，公開了圖片對象處理方法、圖片處理模型的性能確定方法及裝置，本公開一種圖片對象處理方法，包括：獲取目標文件，以得到目標文件中包含目標對象的第一圖片；將第一圖片輸入目標圖片處理模型中，得到第一圖片對應(yīng)的第一文本，目標圖片處理模型是通過對初始圖片處理模型以及初始圖片判別模型進行聯(lián)合訓(xùn)練后得到的，初始圖片判別模型用于評估初始圖片處理模型的圖片處理性能。基于初始圖片處理模型以及初始圖片判別模型進行聯(lián)合訓(xùn)練后得到的目標圖片處理模型進行圖文轉(zhuǎn)換處理，能夠有效增強目標圖片處理模型的理解和分析能力，從而能夠保障目標對象的識別質(zhì)量，有效提高識別準確率。

技術(shù)研發(fā)人員：廖蕾,石威,黃燦
受保護的技術(shù)使用者：抖音視界有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/26