本發(fā)明涉及圖像處理，尤其涉及基于多模態(tài)信息對(duì)齊的狹義零樣本語(yǔ)義分割系統(tǒng)及方法。

背景技術(shù)：

1、圖像語(yǔ)義分割：圖像語(yǔ)義分割是計(jì)算機(jī)視覺(jué)領(lǐng)域中的一項(xiàng)關(guān)鍵任務(wù)，其目標(biāo)是對(duì)圖像進(jìn)行像素級(jí)別的分析和標(biāo)記，從而實(shí)現(xiàn)對(duì)圖像中不同物體或區(qū)域的精細(xì)區(qū)分和標(biāo)注。這種技術(shù)不僅僅將圖像分割成各個(gè)部分，更是致力于理解圖像并將其劃分為具有語(yǔ)義意義的區(qū)域。通過(guò)語(yǔ)義分割，計(jì)算機(jī)可以對(duì)圖像內(nèi)容進(jìn)行深入理解，為自動(dòng)駕駛、醫(yī)學(xué)影像分析等領(lǐng)域提供了重要的基礎(chǔ)支持。

2、零樣本圖像語(yǔ)義分割：零樣本圖像語(yǔ)義分割是圖像分割領(lǐng)域中的一種挑戰(zhàn)性任務(wù)，其特點(diǎn)在于訓(xùn)練階段缺乏與測(cè)試階段相似的樣本或類別信息。在這種情況下，傳統(tǒng)的學(xué)習(xí)方法無(wú)法直接應(yīng)用，因?yàn)槿狈ο闰?yàn)訓(xùn)練數(shù)據(jù)。這種分割方法嘗試通過(guò)利用類別描述符、屬性信息或其他先驗(yàn)知識(shí)，以及遷移學(xué)習(xí)等技術(shù)，實(shí)現(xiàn)對(duì)圖像進(jìn)行語(yǔ)義分割，即使在缺乏訓(xùn)練數(shù)據(jù)的情況下也能取得令人滿意的分割結(jié)果。

3、狹義語(yǔ)義分割：狹義語(yǔ)義分割是圖像語(yǔ)義分割的一種特定形式，其重點(diǎn)在于只分割特定類別的物體或區(qū)域。與全圖像語(yǔ)義分割不同，狹義語(yǔ)義分割專注于將圖像中特定類別的目標(biāo)或區(qū)域進(jìn)行準(zhǔn)確的分割。由于狹義語(yǔ)義分割專注于特定類別的目標(biāo)或區(qū)域，因此能夠提供更高精度的分割結(jié)果。相比于全圖像語(yǔ)義分割，狹義分割更能準(zhǔn)確地識(shí)別和分割特定目標(biāo)，有助于精細(xì)化的圖像分析。

4、訓(xùn)練類和測(cè)試類、已見(jiàn)過(guò)類和未見(jiàn)過(guò)類：零樣本語(yǔ)義分割是對(duì)沒(méi)有帶標(biāo)簽的樣本的測(cè)試類別進(jìn)行的語(yǔ)義分割任務(wù)，目前的方法都是基于遷移學(xué)習(xí)，模型先在一些訓(xùn)練類別(訓(xùn)練類別和測(cè)試類別不相交)上訓(xùn)練模型，訓(xùn)練的模型被期望能直接遷移到測(cè)試類上進(jìn)行測(cè)試。因此，在零樣本語(yǔ)義分割中出現(xiàn)的訓(xùn)練類是在訓(xùn)練階段用于訓(xùn)練模型的已見(jiàn)過(guò)類，測(cè)試類是指在測(cè)試階段用于檢測(cè)零樣本模型分割性能的未見(jiàn)過(guò)類。

5、圖像語(yǔ)義分割的作用在于實(shí)現(xiàn)對(duì)圖像中不同物體或區(qū)域的像素級(jí)別標(biāo)記和識(shí)別。它為計(jì)算機(jī)視覺(jué)領(lǐng)域提供了關(guān)鍵基礎(chǔ)，使計(jì)算機(jī)能夠準(zhǔn)確理解圖像內(nèi)容。通過(guò)語(yǔ)義分割，計(jì)算機(jī)可以將圖像中的每個(gè)像素劃分到相應(yīng)的語(yǔ)義類別中，這為自動(dòng)駕駛、醫(yī)學(xué)影像分析、安防監(jiān)控等應(yīng)用提供了重要支持。

6、零樣本分割的出現(xiàn)源于在許多實(shí)際場(chǎng)景中，很難收集到足夠多的帶標(biāo)注樣本進(jìn)行訓(xùn)練。這可能是由于數(shù)據(jù)采集成本高昂、標(biāo)注困難或數(shù)據(jù)量不足等原因?qū)е碌?。零樣本分割的?yōu)勢(shì)在于，在沒(méi)有任何與測(cè)試階段相似的樣本或類別信息可供使用的情況下，它嘗試通過(guò)利用類別描述符、屬性信息或其他先驗(yàn)知識(shí)，實(shí)現(xiàn)對(duì)圖像的有效語(yǔ)義分割。這樣可以擴(kuò)展模型的適用范圍，使其在面對(duì)未知類別或樣本時(shí)仍能取得令人滿意的分割結(jié)果。

7、然而，零樣本語(yǔ)義分割在實(shí)際應(yīng)用中面臨精度不高等問(wèn)題。由于缺乏大量先驗(yàn)數(shù)據(jù)，模型可能無(wú)法準(zhǔn)確地捕捉到新類別或樣本的特征，導(dǎo)致分割結(jié)果的準(zhǔn)確性下降。這限制了零樣本分割方法在某些復(fù)雜場(chǎng)景下的適用性，使得其在處理未知類別或樣本時(shí)存在一定的局限性，為了解決該技術(shù)問(wèn)題現(xiàn)提出基于多模態(tài)信息對(duì)齊的狹義零樣本語(yǔ)義分割系統(tǒng)及方法。

技術(shù)實(shí)現(xiàn)思路

1、為了解決上述現(xiàn)有技術(shù)中存在的技術(shù)問(wèn)題，本發(fā)明提供了一種基于多模態(tài)信息對(duì)齊的狹義零樣本語(yǔ)義分割方法、系統(tǒng)。

2、為實(shí)現(xiàn)上述目的，本發(fā)明實(shí)施例提供了如下的技術(shù)方案：

3、第一方面，在本發(fā)明提供的一個(gè)實(shí)施例中，提供了基于多模態(tài)信息對(duì)齊的狹義零樣本語(yǔ)義分割系統(tǒng)，該系統(tǒng)包括：預(yù)訓(xùn)練特征提取模塊、語(yǔ)義-視覺(jué)特征對(duì)齊模塊和原型度量分割模塊；

4、所述預(yù)訓(xùn)練特征提取模塊，用于對(duì)特處理圖片進(jìn)行語(yǔ)義特征和視覺(jué)特征提?。黄渲兴鲱A(yù)訓(xùn)練特征提取模塊包括特征提取器和預(yù)訓(xùn)練語(yǔ)言模型，預(yù)訓(xùn)練語(yǔ)言模型是基于詞袋模型，利用文本語(yǔ)義信息訓(xùn)練獲得的；

5、所述語(yǔ)義-視覺(jué)特征對(duì)齊模塊，用于對(duì)提取的語(yǔ)義特征和視覺(jué)特征進(jìn)行對(duì)齊處理，以獲得對(duì)齊后的語(yǔ)義特征；

6、所述原型度量分割模塊，利用對(duì)齊后的語(yǔ)義特征對(duì)待分割視覺(jué)特征進(jìn)行度量分割，獲得狹義語(yǔ)義分割結(jié)果。

7、作為本發(fā)明的進(jìn)一步方案，所述特征提取器獲得步驟包括：

8、利用訓(xùn)練集中帶標(biāo)簽的數(shù)據(jù)直接訓(xùn)練廣義語(yǔ)義分割網(wǎng)絡(luò)；

9、將廣義語(yǔ)義分割網(wǎng)絡(luò)中的特征提取器參數(shù)凍結(jié)，并將參數(shù)凍結(jié)后的特征提取器遷移到預(yù)訓(xùn)練特征提取模塊中。

10、作為本發(fā)明的進(jìn)一步方案，所述廣義語(yǔ)義分割網(wǎng)絡(luò)包括特征提取器和分割器；所述特征提取器用于提取圖片的三維深度視覺(jué)特征；所述分割器用于對(duì)三維深度視覺(jué)特征進(jìn)行像素級(jí)別分類。

11、作為本發(fā)明的進(jìn)一步方案，所述廣義語(yǔ)義分割網(wǎng)絡(luò)還可以包括空間信息捕捉模塊，該模塊用在特征提取器獲取的三維深度視覺(jué)特征進(jìn)行分析以獲得更多精細(xì)特征。

12、作為本發(fā)明的進(jìn)一步方案，語(yǔ)義-視覺(jué)特征對(duì)齊模塊包括語(yǔ)義特征映射器和相似度計(jì)算器；

13、所述語(yǔ)義特征映器用于將語(yǔ)義特征映射到和視覺(jué)特征相近的嵌入特征空間實(shí)現(xiàn)對(duì)齊，對(duì)齊損失計(jì)算過(guò)程用于計(jì)算相似度圖和視覺(jué)標(biāo)簽之間的交叉熵?fù)p失以實(shí)現(xiàn)語(yǔ)義特征和視覺(jué)特征之間的對(duì)齊；

14、所述相似度計(jì)算器用于計(jì)算語(yǔ)義特征和視覺(jué)特征之間的相似度關(guān)系，提供對(duì)齊支持。

15、作為本發(fā)明的進(jìn)一步方案，所述語(yǔ)義-視覺(jué)特征對(duì)齊模塊對(duì)提取的語(yǔ)義特征和視覺(jué)特征進(jìn)行對(duì)齊處理，以獲得對(duì)齊后的語(yǔ)義特征，包括如下步驟：

16、利用語(yǔ)義特征映射器將詞向量集合映射到一個(gè)與視覺(jué)特征相近的嵌入特征空間中，實(shí)現(xiàn)對(duì)齊；

17、將語(yǔ)義特征和由預(yù)訓(xùn)練特征提取模塊得到的訓(xùn)練圖片的視覺(jué)特征輸入相似度計(jì)算器，得到相似度圖；利用相似度圖得到圖片x的分割結(jié)果圖，利用分割結(jié)果圖和標(biāo)簽計(jì)算損失，監(jiān)督對(duì)齊過(guò)程，實(shí)現(xiàn)對(duì)齊。

18、作為本發(fā)明的進(jìn)一步方案，所述將語(yǔ)義特征fw和由預(yù)訓(xùn)練特征提取模塊得到的訓(xùn)練圖片x的視覺(jué)特征輸入相似度計(jì)算器，得到相似度圖；利用相似度圖得到圖片x的分割結(jié)果圖，利用分割結(jié)果圖和標(biāo)簽計(jì)算損失，監(jiān)督對(duì)齊過(guò)程，實(shí)現(xiàn)對(duì)齊，包括：

19、視覺(jué)特征進(jìn)行轉(zhuǎn)換維度計(jì)算；

20、語(yǔ)義特征和進(jìn)行轉(zhuǎn)換維度計(jì)算的視覺(jué)特征輸入相似度計(jì)算器，得到相似度圖，利用相似度圖計(jì)算損失，進(jìn)行語(yǔ)義特征和視覺(jué)特征的對(duì)齊。

21、作為本發(fā)明的進(jìn)一步方案，所述原型度量分割模塊用于利用對(duì)齊后的語(yǔ)義特征對(duì)待分割視覺(jué)特征進(jìn)行分割，獲得狹義語(yǔ)義分割結(jié)果，步驟如下：

22、從對(duì)齊后的語(yǔ)義特征中提取前景類別對(duì)應(yīng)的特征，以獲得前景原型集合；

23、將前景原型集中前景原型的分辨率擴(kuò)展至待分割語(yǔ)義特征的大小后，逐個(gè)與待分割語(yǔ)義特征拼接，再使用卷積結(jié)構(gòu)作為度量器得到度量結(jié)果，將度量結(jié)果上采樣至標(biāo)簽y大小以得到狹義語(yǔ)義分割結(jié)果。

24、第二方面，在本發(fā)明提供的又一個(gè)實(shí)施例中，提供了基于多模態(tài)信息對(duì)齊的狹義零樣本語(yǔ)義分割方法，該方法包括：

25、對(duì)特處理圖片進(jìn)行語(yǔ)義特征和視覺(jué)特征提取；

26、對(duì)提取的語(yǔ)義特征和視覺(jué)特征進(jìn)行對(duì)齊處理，以獲得對(duì)齊后的語(yǔ)義特征；

27、用于利用對(duì)齊后的語(yǔ)義特征對(duì)待分割視覺(jué)特征進(jìn)行分割，獲得狹義語(yǔ)義分割結(jié)果。

28、本發(fā)明提供的技術(shù)方案，具有如下有益效果：

29、本發(fā)明語(yǔ)義-視覺(jué)特征對(duì)齊模塊，該模塊通過(guò)計(jì)算詞向量特征和視覺(jué)特征之間的相似度關(guān)系來(lái)完成語(yǔ)義空間和視覺(jué)空間的對(duì)齊，原型度量分割模塊提取多類別原型，最后使用原型來(lái)分割特定類別，實(shí)現(xiàn)更精確的分割效果。

30、本發(fā)明的這些方面或其他方面在以下實(shí)施例的描述中會(huì)更加簡(jiǎn)明易懂。應(yīng)當(dāng)理解的是，以上的一般描述和后文的細(xì)節(jié)描述僅是示例性和解釋性的，并不能限制本發(fā)明。