專利名稱：一種基于監(jiān)督測地線傳播的場景語義遷移方法
技術領域：
本發(fā)明涉及計算機視覺和計算機圖像處理領域，具體地說是一種基于監(jiān)督測地線傳播的圖像場景語義遷移方法。
背景技術：
語義標記，也就是多類別分割，是計算機視覺和圖像場景理解領域的一個基礎而重要的問題。在過去的幾十年里，很多學者致力于該問題的研究并且取得了一定的進展。但是如何讓計算機視覺技術像人類視覺一樣去識別和分割對象，仍然是一個很有挑戰(zhàn)性的問題。最近，有些學者提出了一些用產(chǎn)生式或者判別式模型等經(jīng)典模型來解決這個問題的方法。這種經(jīng)典模型方法需要一個訓練數(shù)據(jù)集，該數(shù)據(jù)集的大小和所包含的類別是固定且已知的。另外還有一些學者提出，將底層視覺特征和高層上下文先驗知識集成到一個由底向上/由上到下的模型中來解決語義標記問題。這些方法都需要在固定的數(shù)據(jù)集上訓練模型以得到模型的參數(shù)，因此他們不能隨著對象類別數(shù)目的變化而變化。例如，當要增加一個新的對象類別到這些基于學習的模型中時，必須要重新訓練這個模型，使得參數(shù)適應新的語義類別。隨著圖像數(shù)據(jù)集越來越普及，很多大型的數(shù)據(jù)集已經(jīng)通過網(wǎng)絡在世界范圍內(nèi)共享，比如LabelMe數(shù)據(jù)集。大規(guī)模數(shù)據(jù)的驅(qū)動為非參數(shù)的模型和方法提供了潛在可能性，這種非參數(shù)的模型可以應用到對象和場景識別、語義標記和分割等領域中。麻省理工學院的Ce Liu等人于2009年第一次提出一種非參數(shù)的場景解析方法，稱之為語義遷移。此后，很多學者開始關注這一問題并取得了一些成果。語義遷移，顧名思義，就是利用已標注好的圖像場景，把它們的語義標記遷移到未知語義標記的圖像場景中，使得未知標記的圖像場景中每一個像素部有對應的語義類別。語義遷移有兩個需要解決的關鍵問題第一個是對于一張輸入的圖像，如何在數(shù)據(jù)集中找到合適的相似圖像。第二個是如何用相似圖像去解析輸入圖像。對于第一個問題，一些圖像搜索方面的工作已經(jīng)有了較深入的研究，如麻省理工學院的Antonio Torralba、Aude Oliva等人。因此第一個問題不是本發(fā)明的工作重點,本發(fā)明重點在于解決第二個問題。相似圖像和輸入圖像之間的精準匹配是解決第二個問題的關鍵點。值得注意的是，香港科技大學的Honghui Zhang等人提出了一種基于匹配相應的有監(jiān)督的語義遷移方法。以往的語義遷移方法通常的流程是，首先對輸入圖像和相似圖像進行像素級別或超像素級別的匹配，然后再使用馬爾科大隨機場優(yōu)化算法，最終得到輸入圖像的語義標記結果。但是，現(xiàn)有的產(chǎn)生式模型或判別式模型是在整個數(shù)據(jù)集上訓練得到的，當數(shù)據(jù)集龐大的時候，訓練過程是比較費時間的。并且，對于一張輸入圖像來說，它場景中的內(nèi)容是固定的，場景內(nèi)容中的對象類別是數(shù)據(jù)集中對象類別的真子集。因此在整個數(shù)據(jù)集上訓練得到的模型對于一張圖像來說，很有可能是冗余的。這種模型會把一些不存在于輸入圖像中的類別帶入到對輸入圖像的識別中，由此造成了一定程度上的識別結果的噪聲和誤差。在后續(xù)優(yōu)化過程中，未必能消除這種噪聲或誤差，因此會對最終結果產(chǎn)生影響，使得最終結果偏離了真實的語義標記。如果在訓練模型的時候就能夠?qū)⒄Z義類別縮小在一定范圍內(nèi)，而不是整個數(shù)據(jù)集，那么能對語義標記的結果產(chǎn)生較好的影響。

發(fā)明內(nèi)容
根據(jù)上述實際需求和關鍵問題，本發(fā)明的目的在于提供一種基于監(jiān)督測地線傳播的場景語義遷移方法，該方法能夠得到圖像場景準確的語義標記信息。為實現(xiàn)本發(fā)明目的而提供的一種基于監(jiān)督測地線傳播的場景語義遷移方法，該方法包括以下步驟步驟S100，利用特征匹配方法，在整個數(shù)據(jù)集中檢索得到與圖像場景最相似的N個圖像，構成圖像場景的相似圖像集合；其中，N為整數(shù)； 步驟S200，以相似圖像集合作為訓練集，利用已有的對象識別方法得到判別式模型，獲得圖像場景對應的粗略語義概率圖，確定全局概率最大的點作為測地線傳播的初始種子點；步驟S300，結合圖像的顏色特征和邊界特征，在圖結構上定義測地線傳播的初始
距離；步驟S400，以相似圖像集合作為訓練集，根據(jù)相似圖像的上下文信息，利用判別式方法得到傳播指示器，指導測地線傳播的方向；步驟S500，將傳播指示器應用到測地線傳播過程中，進行有監(jiān)督的測地線傳播處理，得到圖像場景的準確語義標記。作為一種可實施例，所述步驟SlOO包括如下步驟步驟S110，首先在歐式距離空間中根據(jù)吉斯特特征匹配得到圖像場景的K個最近鄰居，即得到了K個相似圖像；步驟S120，然后對這K個相似圖像進行相似度順序的重排列；在重排列之后，選取相似度最高的前N個圖像作為相似圖像集合；其中，K為整數(shù)，K彡N。作為一種可實施例，所述步驟S120包括如下步驟步驟121，對K個相似圖像進行相似度順序重排列時，首先將圖像場景和每個相似圖像部進行過分割處理，使得每張圖像部由若干超像素區(qū)域組成；每一個超像素區(qū)域部對應一個特征描述符；步驟S122，然后對于圖像場景中的每一個超像素區(qū)域，利用特征描述符度量并匹配該區(qū)域在每一張相似圖像中的最匹配的超像素區(qū)域，將兩個超像素區(qū)域之差記作區(qū)域相似差；步驟S123，以所有的超像素區(qū)域與其在相似圖像中的匹配區(qū)域的區(qū)域相似差之和作為圖像場景與相似圖像的相似差；步驟S124，根據(jù)圖像場景與K個相似圖像的相似差，選擇差異最小的前N個作為相似圖像集合。作為一種可實施例，所述步驟S200中訓練判別式對象識別模型是以相似圖像集合作為訓練集，對象的類別是相似圖像集合中所有的類別。作為一種可實施例，所述步驟S300中的測地線距離是定義在圖結構上的權重值；
圖像場景中的每個超像素區(qū)域?qū)獔D結構中的一個節(jié)點；連接兩個節(jié)點的邊上的權值代表這兩個超像素區(qū)域的底層特征相似度差異，以兩個區(qū)域的伯克利邊界特征值與區(qū)域顏色特征差異值的加權和來度量。作為一種可實施例，所述步驟S400中的傳播指示器，是以相似圖像中的相鄰超像素區(qū)域之間的上下文關系作為訓練數(shù)據(jù)，訓練得到的分類器。作為一種可實施例，所述步驟S500中進行有監(jiān)督的測地線傳播處理，是將傳播指示器應用到了測地線傳播過程中，用來判斷是否將當前種子點的語義標記值傳遞給它尚未確定最終語義標記的鄰居區(qū)域；
所述步驟S500中進行有監(jiān)督的測地線傳播處理，包括如下步驟步驟S510，在所有尚未確定最終語義標記的節(jié)點中，選擇測地線距離最小節(jié)點作為當前種子點；構建當前種子點區(qū)域和它鄰居區(qū)域的特征向量，利用種子點語義類別的傳播指示器來獲得該特征向量的置信值；步驟S520，如果置信值大于特定閾值，則鄰居區(qū)域和當前種子點屬于同一類別，將種子點的語義標記傳播到該鄰居區(qū)域并更新其測地線距離；否則，維持鄰居區(qū)域的當前語義類別和測地線距離；步驟S530，重復步驟S510和S520，直到所有節(jié)點都確定最終語義標記。與現(xiàn)有的技術相比，本發(fā)明有益的特點是I、本發(fā)明以相似圖像集合作為判別式對象識別模型的訓練集，在初始對象識別結果基礎上，將圖像場景語義遷移問題轉(zhuǎn)化為在超像素級別的圖結構上為節(jié)點標記多類對象類別的問題。2、本發(fā)明在整個數(shù)據(jù)集中檢索得到與圖像場景最相似的K個圖像，并對這K個圖像進行相似度的重排序，選取出重排序后的前N個圖像構成輸入圖像場景的相似圖像集
八
口 ο3、本發(fā)明根據(jù)初始對象識別結果定義超像素區(qū)域的初始測地線距離，并選取全局測地線距離最小點作為初始種子點。4、本發(fā)明在相似圖像集合上訓練傳播指示器，以相似圖像中的上下文信息指導語義標記的傳播方向。5、本發(fā)明提出了有監(jiān)督的測地線傳播算法。在每一步迭代過程中，選擇當前所有未標記節(jié)點中具有最小測地線距離的節(jié)點作為當前種子點，并確定該種子點的語義標記。查找與當前種子點相鄰且未標記的節(jié)點，根據(jù)邊權值和傳播指示器判斷該節(jié)點是否需要更新測地線距離及其語義標記。重復此步驟直到所有節(jié)點部確定最終語義標記。該算法能夠快速完成圖像場景的語義標記。


圖I是本發(fā)明實施例的基于監(jiān)督測地線傳播的場景語義遷移方法流程圖；圖2是本發(fā)明實施例的初始語義識別概率圖；圖3是本發(fā)明實施例的測地線距離示意圖；圖4是本發(fā)明實施例的有監(jiān)督的測地線傳播流程圖。
具體實施例方式為了使本發(fā)明的目的、技術方案及優(yōu)點更加清楚明白，以下結合附圖及實施例，對本發(fā)明的一種基于監(jiān)督測地線傳播的場景語義遷移方法進行解釋。應當理解，此處所描述的具體實施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。本發(fā)明針對現(xiàn)有技術中存在的問題，本發(fā)明實施例提供了一種基于監(jiān)督測地線傳播的語義遷移方法，使用了有監(jiān)督的學習方法去指導種子點的選擇和語義標記的傳播。包括對于一張輸入圖像，首先從已標注好的整體數(shù)據(jù)集中找到它的相似圖像集合。然后在這個集合上，訓練得到一個聯(lián)合增強判別式模型，再利用這個模型得到輸入圖像的初始概率圖。在根據(jù)初始概率圖定義初始測地線距離，概率越大，則測地線距離越小。在測地線傳播的每一步迭代過程中，選擇未確定標記的具有最小測地線距離的超像素作為種子點。本發(fā)明實施例在相似圖像集合上訓練得到指導測地線傳播方向的傳播指示器，訓練樣本是由相似圖像集合中的相鄰超像素對構成。在傳播迭代中，種子點鄰居區(qū)域的測地線距離根據(jù)顏色、邊界特征以及傳播指示器的值來更新。當?shù)諗繒r，輸入圖像得到最終的語義標記結果O·本發(fā)明實施例首先對一張輸入圖像，在數(shù)據(jù)集中搜索它的相似圖像，以此相似圖像集合作為訓練判別式識別模型的訓練集。根據(jù)上述技術方案，本發(fā)明實施例提供的圖像場景語義遷移方法首先獲得輸入圖像的相似圖像集合。相似的含義是，語義類別和類別之間的上下文關系相似。如何獲得合適的相似圖像不是本發(fā)明實施例的重點，因此本發(fā)明實施例采用了以往語義遷移方法中常用的吉斯特匹配從數(shù)據(jù)集中搜索得到輸入圖像的K近鄰。在吉斯特匹配時，能夠得到這K個鄰居與輸入圖像的相似度。之后，再對這K個近鄰按照以下的方法進行相似度的重排序。首先將輸入圖像和每個相似圖像都進行過分割處理，使得每張圖像都由若干超像素區(qū)域組成。一個超像素區(qū)域中所有的像素都對應同一個語義標記。每一個超像素區(qū)域都有一個特征描述符。在歐式空間中兩個區(qū)域間的特征描述符的距離越小，則認為這兩個區(qū)域越匹配。然后對于輸入圖像中的每一個超像素區(qū)域，找到該區(qū)域在每一張相似圖像中的最匹配的超像素區(qū)域，將兩個超像素區(qū)域之差記作區(qū)域相似差。計算輸入圖像所有的超像素區(qū)域與其在一張相似圖像中的匹配區(qū)域的區(qū)域相似差之和，以此作為輸入圖像與相似圖像的相似差。根據(jù)圖像場景與K個相似圖像的相似差，選擇差異最小的前N個作為相似圖像集合。K、N為整數(shù)，其中K彡N。本發(fā)明實施例提供了一種基于監(jiān)督測地線傳播的場景語義遷移方法，如圖I所示，該方法包括以下步驟步驟S100，利用特征匹配方法，在整個數(shù)據(jù)集中檢索得到與圖像場景最相似的N個圖像，構成圖像場景的相似圖像集合；其中，N為整數(shù)；步驟S200，以相似圖像集合作為訓練集，利用已有的對象只別方法得到判別式模型，從而獲得圖像場景對應的粗略語義概率圖，確定全局概率最大的點作為測地線傳播的初始種子點；步驟S300，結合圖像的顏色特征和邊界特征，在圖結構上定義測地線傳播的初始距離。
步驟S400，以相似圖像集合作為訓練集，根據(jù)相似圖像的上下文信息，利用判別式方法得到傳播指示器，該指示器指導測地線傳播的方向。步驟S500，將傳播指示器應用到測地線傳播過程中，進行有監(jiān)督的測地線傳播處理(即實現(xiàn)有監(jiān)督的測地線傳播算法)，將相似圖像中的語義標記遷移到場景中合適的每一像素，從而得到圖像場景的準確語義標記。較佳地，作為一種可實施方式，步驟SlOO包括如下步驟
步驟S110，在檢索相似圖像時，在歐式距離空間中根據(jù)吉斯特特征匹配得到圖像場景的K個最近鄰居，即得到了 K個相似圖像；其中，K彡N ;步驟S120，然后對這K個相似圖像進行相似度順序的重排列，在重排列之后，選取相似度最高的前N個圖像作為相似圖像集合。較佳地，作為一種可實施方式，所述步驟S120包括如下步驟步驟S121將圖像場景和每個相似圖像都進行過分割處理，使得每張圖像部由若干超像素區(qū)域組成；其中每一個超像素區(qū)域都對應一個22維的特征描述符；步驟S122，對于圖像場景中的每一個超像素區(qū)域，利用特征描述符度量并匹配該區(qū)域在每一張相似圖像中的最匹配的超像素區(qū)域，將兩個超像素區(qū)域之差記作區(qū)域相似差;步驟S123，以所有的超像素區(qū)域與其在相似圖像中的匹配區(qū)域的區(qū)域相似差之和作為圖像場景與相似圖像的相似差；步驟S124，根據(jù)圖像場景與K個相似圖像的相似差，選擇差異最小的前N個作為相似圖像集合。較佳地，作為一種可實施方式，所述步驟S200中訓練判別式對象識別模型是以相似圖像集合作為訓練集，而不是整個數(shù)據(jù)集中所有的類別，對象的類別是相似圖像集合中所有的類別。在獲得場景粗略語義概率圖后，以全局概率最大的超像素區(qū)域作為測地線傳播的初始種子點。較佳地，作為一種可實施方式，所述步驟S300中的測地線距離是定義在圖結構上的權重值。圖像場景中的每個超像素區(qū)域?qū)獔D結構中的一個節(jié)點。連接兩個節(jié)點的邊上的權值代表這兩個超像素區(qū)域的底層特征相似度差異，以兩個區(qū)域的伯克利邊界特征值與區(qū)域顏色特征差異值的加權和來度量。較佳地，作為一種可實施方式，所述步驟S400中的傳播指示器，是以相似圖像中的相鄰超像素區(qū)域之間的上下文關系作為訓練數(shù)據(jù)，訓練得到的分類器。每一組樣本數(shù)據(jù)是由兩個相鄰超像素區(qū)域的特征向量構成。如果兩個區(qū)域的語義標記一致，則該樣本記為正樣本，否則記為負樣本。相似圖像集合中的每一種對象類別，都有自己類別的傳播指示器。每一類別的指示器能指導本類別語義標記的傳播。較佳地，作為一種可實施方式，所述步驟S500，進行有監(jiān)督的測地線傳播處理(即實現(xiàn)有監(jiān)督的測地線傳播算法)，是將傳播指示器應用到了測地線傳播過程中，傳播指示器是用來判斷是否將當前種子點的語義標記值傳遞給它尚未確定最終語義標記的鄰居區(qū)域。所述步驟S500中進行有監(jiān)督的測地線傳播處理，包括如下步驟步驟S510，在所有尚未確定最終語義標記的節(jié)點中，選擇測地線距離最小節(jié)點作為當前種子點；構建當前種子點區(qū)域和它鄰居區(qū)域的特征向量，利用種子點語義類別的傳播指示器來獲得該特征向量的置信值；步驟S520，如果置信值大于預設閾值，則鄰居區(qū)域和當前種子點屬于同一類別，將種子點的語義標記傳播到該鄰居區(qū)域并更新其測地線距離；否則，維持鄰居區(qū)域的當前語義類別和測地線距離；；步驟S530，重復步驟S510和S520，直到所有節(jié)點都確定最終語義標記。本發(fā)明實施例提供了一種自動選擇測地線傳播種子點方法。相似圖像集合中的語義類別包含了輸入圖像的語義類別，因此以相似圖像集合作為訓練集來訓練判別式的對象識別模型。較佳地，作為一種可實施方式，本發(fā)明實施例使用了 17維的濾波器響應值作為訓練樣本的特征向量。然后在訓練集中隨機采樣樣本數(shù)據(jù)，訓練得到輸入圖像的聯(lián)合增強判別式模型。由該模型推理得到輸入圖像的粗略語義識別概率圖，再根據(jù)概率圖得到輸入圖像所有超像素區(qū)域的初始測地線距離圖。概率值越大的超像素區(qū)域其測地線距離越小。在每一部迭代過程中，測地線距離最小的那個超像素區(qū)域被選為當前種子點。
在本發(fā)明實施例所定義的在圖結構中，節(jié)點對應圖像場景中的每一個超像素區(qū)域，連接兩個節(jié)點的邊代表這兩個節(jié)點也就是區(qū)域之間有鄰接關系。本發(fā)明實施例的圖結構是定義在超像素級別上的，節(jié)點的信息是節(jié)點對應的區(qū)域內(nèi)所有像素信息的平均值。節(jié)點自身權重是以測地線距離來度量的，測地線距離越小，自身權重越小。同時，連接兩個節(jié)點的邊也有權值，用來度量兩個節(jié)點之間的一致性。作為一種可實施方式，本發(fā)明實施例采用顏色、紋理、邊界特征來定義邊上的權值。具體來說，邊權值由兩部分組成紋理特征部分和邊界特征部分。作為一種可實施方式，在本發(fā)明實施例中，求解圖像場景的語義標記結果，轉(zhuǎn)化為在圖結構上為未知標記節(jié)點賦值測地線距離最小的類別標記。節(jié)點到一個類別的測地線距離定義為，節(jié)點到這個類別所有已確定的點中測地線距離最小的值。本發(fā)明實施例在相似圖像集合上訓練了一種有監(jiān)督的傳播指示器。該指示器是基于以下設條件相似圖像中的對象類別之間的上下文關系與輸入圖像對象類別之間的上下文關系是相似的，因此可以用相似圖像的上下文信息來指導輸入圖像中的語義標記傳播。對于相似圖像集合中的每一種類別，都要訓練該類別的傳播指示器。該指示器用來判斷是否將當前區(qū)域的語義標記傳播到它相鄰的區(qū)域上，使得相鄰的區(qū)域被賦值和當前區(qū)域相同的語義標記。在獲得了圖結構信息、各節(jié)點的初始測地線距離以及各類別的傳播指示器后，本發(fā)明實施例將這些信息集成到有監(jiān)督的測地線傳播過程中，進行能夠確定性的快速求解。在每一步迭代過程中，先根據(jù)所有尚未確定標記節(jié)點的當前測地線距離，選擇一個距離最小的作為當前種子點，并使它的語義標記最終確定為當前狀態(tài)下的標記。這意味著在概率上已經(jīng)最大可能的確定了一個節(jié)點的標記。然后更新這個種子點周圍的尚未確定的鄰居節(jié)點的測地線距離。在更新的時候，本發(fā)明實施例用傳播指示器來指導是否要更新。更新之后，進入下一步迭代過程，如此直到所有的節(jié)點都確定最終標記，得到圖像場景的語義標記結果。下面進一步詳細說明本發(fā)明實施例的基于監(jiān)督測地線傳播的場景語義遷移方法。對于一張輸入圖像，首先利用吉斯特匹配方法從已標注好的整體數(shù)據(jù)集中找到它的相似圖像集合。然后在這個集合上，訓練得到一個聯(lián)合增強判別式模型，再利用這個模型得到輸入圖像的初始概率圖。在根據(jù)初始概率圖定義初始測地線距離，概率越大，則測地線距離越小。在測地線傳播的每一步迭代過程中，選擇未確定標記的具有最小測地線距離的超像素作為種子點。本發(fā)明實施例在相似圖像集合上訓練得到指導測地線傳播方向的傳播指示器，訓練樣本是由相似圖像集合中的相鄰超像素對構成。在傳播迭代中，種子點鄰居區(qū)域的測地線距離根據(jù)顏色、邊界特 征以及傳播指示器的值來更新。當?shù)諗繒r，輸入圖像得到最終的語義標記結果。本發(fā)明實施例提供的圖像場景語義遷移方法首先獲得輸入圖像的相似圖像集合。本發(fā)明實施例采用了以在語義遷移方法中的吉斯特匹配從數(shù)據(jù)集中搜索得到輸入圖像的K近鄰。在吉斯特匹配時，能夠得到這K個鄰居與輸入圖像的相似度。之后，再對這K個近鄰按照以下的方法進行相似度的重排序。首先將輸入圖像I和它的每個相似圖像R部進行過分割處理，使得每張圖像都由若干超像素區(qū)域組成；一個超像素區(qū)域中所有的像素都對應同一個語義標記，每一個超像素區(qū)域都有一個22維的特征描述符，在歐式空間中兩個區(qū)域間的特征描述符的距離越小，則認為這兩個區(qū)域越匹配。然后對于輸入圖像I中的每一個超像素區(qū)域i，找到該區(qū)域在每一張相似圖像R中的最匹配的超像素區(qū)域r(i)，然后根據(jù)以下(I)式計算輸入圖像I和它的相似圖像R的相似差。Dr(/,i )= Σ||(./Η_—Α )||2⑴
i&I其中，€\是超像素i的22維特征描述符，它由構成i中所有像素的HSV顏色通道的平均值、所有像素的坐標平均值、所有像素的17維濾波器響應平均值構成。根據(jù)Dr(I，R)值的大小對輸入圖像的K個相似圖像進行重排序，Dr(I，R)值越小的相似度越大。選擇DJI，R)值最小的前N個相似圖像作為輸入圖像的相似圖像集合，記作{Rn!在得到了相似圖像集合之后，本發(fā)明實施例充分利用相似圖像的上下文信息。相似圖像集合中的語義類別包含了輸入圖像的語義類別，因此以相似圖像集合作為訓練集來訓練判別式的對象識別模型。本發(fā)明實施例使用了 17維的濾波器響應值作為訓練樣本的特征向量，該特征向量的實質(zhì)是對紋理特征的描述。然后在訓練集中隨機采樣樣本數(shù)據(jù)，訓練得到輸入圖像的聯(lián)合增強判別式模型。由該模型推理得到輸入圖像的粗略語義識別概率圖，再根據(jù)概率圖得到輸入圖像所有超像素區(qū)域的初始測地線距離圖。概率值越大的超像素區(qū)域其測地線距離越小，如圖2所示。每一個超像素區(qū)域i都被賦予一個暫定的語義標記，即i的最大概率值pi (i)對應的語義類別。在每一步迭代過程中，測地線距離最小的那個超像素區(qū)域被選為當前種子點。超像素i的初始測地線距離計算公式⑵如下Disinitial (i) = 1-pl (i) (2)接下來，本發(fā)明實施例結合圖像的顏色特征和邊界特征，在圖結構上定義測地線傳播的初始距離。本發(fā)明實施例中的圖結構是定義在超像素級別上的，圖結構中每個節(jié)點對應圖像中每個超像素區(qū)域，節(jié)點之間有邊連接的代表這兩個超像素相鄰接，如圖3所示。邊上的權值Wij代表了兩個超像素區(qū)域i和j的一致性，權值越大，一致性越小。作為一種可實施方式，本發(fā)明實施例采用顏色、紋理、邊界特征來定義邊上的權值。具體來說，邊權值由兩部分組成紋理特征部分wtra￡tUM(i，j)和邊界特征部分Wbty(i，j)，如以下公式(3)所示ff(i,j) = λ !Wtexture (i, j) +A2Wbdry (i, j) (3)其中，λ i和λ 2是調(diào)節(jié)參數(shù)。WtextUM(i，j)是超像素區(qū)域i和j的紋理特征描述符在歐式空間的距離差，該描述符包含HSV特征、坐標值和17維濾波器響應值。對于邊界特征部分Wb&y(i，j)，本發(fā)明實施例使用伯克利邊界檢測器得到邊界置信值，如以下公式(4)所示，其中Θ為邊界閾值Wbdry(i,j) = Pb(i, j, θ ) (4)在獲得相似圖像集合之后，本發(fā)明實施例充分考慮相似圖像的上下文信息，利用隨機森林方法訓練得到傳播指示器，以該指示器來指導測地線傳播的方向。對于相似圖像 集合中的每一種類別，都要訓練該類別的傳播指示器。該指示器用來判斷是否將區(qū)域i的語義標記傳播到它相鄰的區(qū)域j上，使得區(qū)域j被賦值和區(qū)域i相同的語義標記。如果被該指示器判別為i和j屬于相同類別的區(qū)域的話，就傳播；否則，不傳播。作為一種可實施方式，本發(fā)明實施例以超像素對(i，j)為樣本數(shù)據(jù)，fv(i，j)=<fvi； fVj>為該樣本的44維特征向量，包含超像素區(qū)域i和j的HSV特征、坐標值、17維濾波器響應值。如果區(qū)域j的語義標記Ij與區(qū)域i的語義標記Ii 一致，那么fV(i，j)就作為類別Ii傳播指示器的正樣本；否則，作為負樣本。注意，fV(i，j)和fV(j，i)是不同的特征向量它們不僅是對應維度上的特征值不同，最重要的是，它們是不同語義類別的樣本。fv(i, j)是類別Ii的樣本，而fV(j，i)是類別L的樣本。所有的特征值部被歸一化在
區(qū)間內(nèi)。在測試階段，針對當前種子點Vi，本發(fā)明實施例提取Vi和它的鄰接超像素Vj的特征向量組成fV(Vi，Vj),放入Vi所屬類別I的傳播指示器，得到傳播指示器輸出的置信值conl(Vi，Vj)，然后根據(jù)如下公式(5)得到指示函數(shù)Tl (Vi，Vj)的值，其中爐是指示器的閾值。T1 (Vi, Vj) = Ucon1(VpVj) > Φ] (5)在經(jīng)過以上這些步驟之后，開始進入有監(jiān)督的測地線傳播過程。作為一種可實施方式，所述有監(jiān)督的測地線傳播，如圖4所示，包括如下步驟輸入圖結構中每個節(jié)點的初始測地線距離和初始語義標記；將所有未確定最終標記的節(jié)點放入到未標記序列Q中；在每一步迭代過程中，選擇當前未標記序列中具有最小測地線距離的節(jié)點Vi =minQ(Dis(Q))作為當前種子點，并將該種子點最小測地線距離對應的語義標記記為該種子點最終的語義標記，即確定該種子點的語義標記Ivi，將Vi從序列Q中刪除；查找與當前種子點Vi相鄰的未標記的節(jié)點集合{Vj}，更新{Vj}中每一個節(jié)點Vj的測地線距離；如果W(vi, vj) < Θ e并且T(vi, vj)為I,那么將Vj的測地線距離Dis (vj)更新為Dis(vi) + KW(Vi，Vj)，其中K為調(diào)節(jié)參數(shù)，并將Vi的語義標記Ii賦值給vj;否則不更新Vj的測地線距離和語義標記；重復以上過程，直到未標記序列Q為空；最后輸出每一個節(jié)點的最終語義標記。與現(xiàn)有的技術相比，本發(fā)明實施例有益的特點是I、本發(fā)明實施例以相似圖像集合作為判別式對象識別模型的訓練集，在初始對象識別結果基礎上，將圖像場景語義遷移問題轉(zhuǎn)化為在超像素級別的圖結構上為節(jié)點標記多類對象類別的問題。2、本發(fā)明實施例在整個數(shù)據(jù)集中檢索得到與圖像場景最相似的K個圖像，并對這K個圖像進行相似度的重排序，選取出重排序后的前N個圖像構成輸入圖像場景的相似圖
像集合。3、本發(fā)明實施例根據(jù)初始對象識別結果定義超像素區(qū)域的初始測地線距離，并選取全局測地線距離最小點作為初始種子點。4、本發(fā)明實施例在相似圖像集合上訓練傳播指示器，以相似圖像中的上下文信息指導語義標記的傳播方向。 5、本發(fā)明實施例提出了有監(jiān)督的測地線傳播算法。在每一步迭代過程中，選擇當前所有未標記節(jié)點中具有最小測地線距離的節(jié)點作為當前種子點，并確定該種子點的語義標記。查找與當前種子點相鄰且未標記的節(jié)點，根據(jù)邊權值和傳播指示器判斷該節(jié)點是否需要更新測地線距離及其語義標記。重復此步驟直到所有節(jié)點都確定最終語義標記。該算法能夠快速完成圖像場景的語義標記。最后應當說明的是，很顯然，本領域的技術人員可以對本發(fā)明進行各種改動和變型而不脫離本發(fā)明的精神和范圍。這樣，如果本發(fā)明的這些修改和變型屬于本發(fā)明權利要求及其等同技術的范圍之內(nèi)，則本發(fā)明也意圖包含這些改動和變型。
權利要求
1.一種基于監(jiān)督測地線傳播的場景語義遷移方法，其特征在于，該方法包括以下步驟 步驟S100，利用特征匹配方法，在整個數(shù)據(jù)集中檢索得到與圖像場景最相似的N個圖像，構成圖像場景的相似圖像集合；其中，N為整數(shù)；步驟S200，以相似圖像集合作為訓練集，利用已有的對象識別方法得到判別式模型，獲得圖像場景對應的粗略語義概率圖，確定全局概率最大的點作為測地線傳播的初始種子占. 步驟S300，結合圖像的顏色特征和邊界特征，在圖結構上定義測地線傳播的初始距離； 步驟S400，以相似圖像集合作為訓練集，根據(jù)相似圖像的上下文信息，利用判別式方法得到傳播指示器，指導測地線傳播的方向； 步驟S500，將傳播指示器應用到測地線傳播過程中，進行有監(jiān)督的測地線傳播處理，得到圖像場景的準確語義標記。
2.根據(jù)權利要求I所述的一種基于監(jiān)督測地線傳播的場景語義遷移方法，其特征在于 所述步驟Sioo包括如下步驟 步驟S110，首先在歐式距離空間中根據(jù)吉斯特特征匹配得到圖像場景的K個最近鄰居，即得到了K個相似圖像； 步驟S120，然后對這K個相似圖像進行相似度順序的重排列；在重排列之后，選取相似度最高的前N個圖像作為相似圖像集合； 其中，K為整數(shù)，K≥N。
3.根據(jù)權利要求2所述的一種基于監(jiān)督測地線傳播的場景語義遷移方法，其特征在于 所述步驟S120包括如下步驟 步驟121，對K個相似圖像進行相似度順序重排列時，首先將圖像場景和每個相似圖像都進行過分割處理，使得每張圖像都由若干超像素區(qū)域組成；每一個超像素區(qū)域都對應一個特征描述符； 步驟S122，然后對于圖像場景中的每一個超像素區(qū)域，利用特征描述符度量并匹配該區(qū)域在每一張相似圖像中的最匹配的超像素區(qū)域，將兩個超像素區(qū)域之差記作區(qū)域相似差; 步驟S123，以所有的超像素區(qū)域與其在相似圖像中的匹配區(qū)域的區(qū)域相似差之和作為圖像場景與相似圖像的相似差； 步驟S124，根據(jù)圖像場景與K個相似圖像的相似差，選擇差異最小的前N個作為相似圖像集合。
4.根據(jù)權利要求I所述的一種基于監(jiān)督測地線傳播的場景語義遷移方法，其特征在于 所述步驟S200中訓練判別式對象識別模型是以相似圖像集合作為訓練集，對象的類別是相似圖像集合中所有的類別。
5.根據(jù)權利要求I所述的一種基于監(jiān)督測地線傳播的場景語義遷移方法，其特征在于: 所述步驟S300中的測地線距離是定義在圖結構上的權重值； 圖像場景中的每個超像素區(qū)域?qū)獔D結構中的一個節(jié)點； 連接兩個節(jié)點的邊上的權值代表這兩個超像素區(qū)域的底層特征相似度差異，以兩個區(qū)域的伯克利邊界特征值與區(qū)域顏色特征差異值的加權和來度量。
6.根據(jù)權利要求I所述的一種基于監(jiān)督測地線傳播的場景語義遷移方法，其特征在于 所述步驟S400中的傳播指示器，是以相似圖像中的相鄰超像素區(qū)域之間的上下文關系作為訓練數(shù)據(jù)，訓練得到的分類器。
7.根據(jù)權利要求I所述的一種基于監(jiān)督測地線傳播的場景語義遷移方法，其特征在于 所述步驟S500中進行有監(jiān)督的測地線傳播處理，是將傳播指示器應用到了測地線傳播過程中，用來判斷是否將當前種子點的語義標記值傳遞給它尚未確定最終語義標記的鄰居區(qū)域； 所述步驟S500中進行有監(jiān)督的測地線傳播處理，包括如下步驟 步驟S510，在所有尚未確定最終語義標記的節(jié)點中，選擇測地線距離最小節(jié)點作為當前種子點；構建當前種子點區(qū)域和它鄰居區(qū)域的特征向量，利用種子點語義類別的傳播指示器來獲得該特征向量的置信值； 步驟S520，如果置信值大于特定閾值，則鄰居區(qū)域和當前種子點屬于同一類別，將種子點的語義標記傳播到該鄰居區(qū)域并更新其測地線距離；否則，維持鄰居區(qū)域的當前語義類別和測地線距離； 步驟S530，重復步驟S510和S520，直到所有節(jié)點都確定最終語義標記。
全文摘要
本發(fā)明公開了一種提供一種基于監(jiān)督測地線傳播的場景語義遷移方法，包括以下步驟利用特征匹配方法，在整個數(shù)據(jù)集中檢索得到與圖像場景最相似的N個圖像，構成圖像場景的相似圖像集合；以相似圖像集合作為訓練集，利用已有的對象識別方法得到判別式模型，獲得圖像場景對應的粗略語義概率圖，確定全局概率最大的點作為測地線傳播的初始種子點；結合圖像的顏色特征和邊界特征，在圖結構上定義測地線傳播的初始距離；以相似圖像集合作為訓練集，根據(jù)相似圖像的上下文信息，利用判別式方法得到傳播指示器，指導測地線傳播的方向；進行有監(jiān)督的測地線傳播處理，得到圖像場景的準確語義標記。該方法能夠得到圖像場景準確的語義標記信息。
文檔編號G06K9/62GK102867192SQ20121032483
公開日2013年1月9日 申請日期2012年9月4日 優(yōu)先權日2012年9月4日
發(fā)明者陳小武, 趙沁平, 李青, 宋亞斐, 金鑫, 趙東悅 申請人:北京航空航天大學