本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，具體涉及基于超像素的深度圖像預(yù)處理和深度空洞填充方法。

背景技術(shù)：
隨著多媒體技術(shù)的快速發(fā)展，立體圖像和立體視頻系統(tǒng)的研究引起越來越多研究者的關(guān)注。與傳統(tǒng)的二維圖像和二維視頻相比，立體圖像和立體視頻為使用者帶來更加身臨其境的感覺。立體視頻系統(tǒng)的核心問題是為使用者左眼和右眼提供存在一定視差的立體圖像對。例如，作為兩種最常見的立體視頻系統(tǒng)，立體電視(ThreeDimensionalTelevision,3DTV)和自由視點電視(Free-ViewpointTelevision,FTV)的播放端通常需要播放若干特定視點或者任意視點的立體視頻對。但是由于視頻采集成本和傳輸成本的限制，立體視頻系統(tǒng)不可能采集過多視點的視頻。因此，立體視頻系統(tǒng)中的一個關(guān)鍵問題就是如何利用已有的真實視點視頻合成虛擬視點視頻。當(dāng)前立體視頻系統(tǒng)中通常將參考視點的彩色視頻和其對應(yīng)的深度圖像傳輸至視頻播放端，然后采用基于深度圖像渲染(DepthImage-BasedRendering,DIBR)的視點合成方法生成虛擬視點圖像?；谏疃葓D像的虛擬視點合成中，深度圖像通常利用深度采集設(shè)備直接獲取或者利用立體匹配算法計算得到，而利用這些方法得到的立體視頻圖像中通常存在部分像素深度信息缺失的現(xiàn)象，因此，視點合成中首先需要對深度圖像進(jìn)行預(yù)處理。利用彩色圖像和預(yù)處理后的深度圖像進(jìn)行三維變換，生成虛擬視點的彩色圖像和深度圖像，但是由于前景物體的遮擋問題，在虛擬視點的彩色圖像和深度圖像前景物體邊緣部分通常會存在空洞區(qū)域，在視點合成中需要對虛擬視點深度圖像中的空洞區(qū)域進(jìn)行填充，然后再利用處理好的虛擬視點深度圖像對虛擬視點彩色圖像中的空洞區(qū)域進(jìn)行處理。由此可見，在基于深度信息的虛擬視點合成中深度圖像預(yù)處理和深度空洞填充具有重要的作用，直接影響視點合成彩色圖像的視覺質(zhì)量。當(dāng)前的視點合成算法中，通常采用基于濾波器的方法首先對深度圖像進(jìn)行處理，而這種處理方式通常會在一定程度上造成物體邊緣深度信息失真；另外，雖然當(dāng)前的研究提出了多種深度圖像空洞填充方法，但在空洞填充準(zhǔn)確性方面仍存在一定問題，并且當(dāng)前的深度填充方法計算復(fù)雜度較大，不利于視點合成的實時實現(xiàn)。

技術(shù)實現(xiàn)要素：
為解決現(xiàn)有技術(shù)存在的不足，本發(fā)明公開了基于超像素的深度圖像預(yù)處理和深度空洞填充方法，本發(fā)明的目的是利用基于超像素的深度圖像預(yù)處理和基于超像素的深度空洞處理技術(shù)實現(xiàn)彩色圖像的填充。為實現(xiàn)上述目的，本發(fā)明的具體方案如下：基于超像素的深度圖像預(yù)處理和深度空洞填充方法，包括以下步驟：步驟一：待處理的深度圖像的超像素分割：對于該待處理的深度圖像對應(yīng)的彩色圖像進(jìn)行超像素分割，然后利用彩色圖像的分割結(jié)果對該待處理的深度圖像進(jìn)行分割；步驟二：基于超像素的深度圖像預(yù)處理：將步驟一中分割后的深度圖像找出所有包含深度信息缺失像素的超像素并恢復(fù)缺失的深度信息；步驟三：虛擬視點深度圖像超像素分割：利用待處理的深度圖像對應(yīng)的彩色圖像和預(yù)處理后的深度圖像進(jìn)行三維變換，生成虛擬視點初始彩色圖像和虛擬視點初始深度圖像，對虛擬視點初始深度圖像進(jìn)行超像素分割；步驟四：虛擬視點深度圖像填充：找出步驟三中虛擬視點初始深度圖像中所有包含空洞區(qū)域的超像素并對空洞區(qū)域進(jìn)行填充。進(jìn)一步的，在利用彩色圖像的分割結(jié)果對該待處理的深度圖像進(jìn)行分割時，首先對彩色圖像進(jìn)行超像素分割，得到彩色圖像中每個超像素的超像素標(biāo)簽；利用到彩色圖像中每個超像素的超像素標(biāo)簽，對深度圖像進(jìn)行超像素分割，將深度圖像分割為和彩色圖像超像素相同的超像素。進(jìn)一步的，基于超像素的深度圖像預(yù)處理時，具體包括：統(tǒng)計深度圖像的超像素中有效像素集合；根據(jù)深度圖像的超像素中有效像素集合對深度圖像的超像素進(jìn)行分類；根據(jù)深度圖像的超像素類別恢復(fù)深度缺失像素的深度值。進(jìn)一步的，統(tǒng)計深度圖像的超像素中有效像素集合時，假設(shè)Sd是目標(biāo)深度圖像的超像素，Sc是其對應(yīng)的彩色圖像的超像素，M是Sd中深度缺失像素的集合，即無效像素的集合，那么Sd中有效像素的集合為V＝Sd-M，定義|Sd|表示Sd中像素的個數(shù)，|V|表示Sd中有效像素的個數(shù)。進(jìn)一步的，根據(jù)深度圖像的超像素中有效像素集合對深度圖像的超像素進(jìn)行分類，具體如下：如果|V|＝|Sd|，則表示Sd內(nèi)像素全部為有效像素，那么該超像素?zé)o需預(yù)處理；如果0＜|V|＜|Sd|，則表示Sd內(nèi)部分像素為無效像素，需要通過預(yù)處理方法恢復(fù)M中像素的深度值；如果|V|＝0，則表示Sd內(nèi)所有像素均為無效像素，需要通過預(yù)處理方法恢復(fù)Sd內(nèi)所有像素的深度值。進(jìn)一步的，根據(jù)深度圖像的超像素類別恢復(fù)深度缺失像素的深度值時，Sd內(nèi)部分像素為無效像素時，恢復(fù)M中像素的深度值的方法為：計算有效像素集合V中所有像素深度值的方差σV；若σV＜t，t為經(jīng)驗閾值，則判定V中所有像素屬于同一深度層次，即這些像素位于同一物體，將M中所有無效像素的深度值賦值為V中出現(xiàn)頻率最高的深度值；若σV＜t，則判定V中像素屬于不同的深度層次，那么利用k-means聚類將V中像素按照深度值的大小分為兩類：V1和V2；假設(shè)V1中像素的平均深度值小于V2中像素的平均深度值，將M中所有無效像素的深度值賦值為V1中出現(xiàn)頻率最高的深度值。進(jìn)一步的，根據(jù)深度圖像的超像素類別恢復(fù)深度缺失像素的深度值時，Sd內(nèi)所有像素均為無效像素，恢復(fù)Sd內(nèi)所有像素的深度值的方法為：統(tǒng)計所有與Sd相鄰且全部像素為有效像素的超像素，定義這些像素組成的集合為為中深度超像素對應(yīng)的彩色超像素；利用基于LAB顏色空間的超像素相似度計算方法從中找出與Sc相似度最高的超像素Rc，Rd為Rc對應(yīng)的深度超像素；計算Rd中所有像素深度值的方差σR；若σR＜t，t為經(jīng)驗閾值，則判定Rd中所有像素屬于同一深度層次，將M中所有無效像素的深度值賦值為Rd中出現(xiàn)頻率最高的深度值；若σR＞＝t，t為經(jīng)驗閾值，則判定Rd中像素屬于不同的深度層次，那么利用k-means聚類將Rd中像素按照深度值的大小分為兩類：Rd1和Rd2；假設(shè)Rd1中像素的平均深度值小于Rd2中像素的平均深度值，將M中無效像素的深度值賦值為Rd1中出現(xiàn)頻率最高的深度值。進(jìn)一步的，對虛擬視點初始深度圖像進(jìn)行超像素分割時，利用SLIC算法對虛擬視點初始深度圖像進(jìn)行超像素分割，得到虛擬視點初始深度圖像的深度超像素。進(jìn)一步的，虛擬視點深度圖像填充時，具體包括：統(tǒng)計虛擬視點初始深度圖像超像素中有效像素集合；根據(jù)有效像素集合對虛擬視點初始深度圖像的超像素進(jìn)行分類；根據(jù)虛擬視點初始深度圖像中超像素的分類，進(jìn)行空洞的填充。進(jìn)一步的，虛擬視點深度圖像填充時，以超像素為單位對虛擬視點初始深度圖像進(jìn)行空洞區(qū)域填充，假設(shè)D是包含空洞區(qū)域的超像素，D中非空洞部分為若D中只有部分像素點屬于空洞區(qū)域，則D中的空洞區(qū)域采用中出現(xiàn)概率最高的深度值進(jìn)行填充；若D中的像素全部都屬于空洞區(qū)域，假設(shè)為與D相鄰的不含空洞區(qū)域的超像素的集合，則利用集合中平均深度值最小的超像素Dmin中出現(xiàn)頻率最高的深度值對D中的空洞區(qū)域進(jìn)行填充。本發(fā)明的有益效果：本發(fā)明采用基于超像素的深度圖像預(yù)處理和基于超像素的深度空洞處理，空洞填充準(zhǔn)確性較高，計算量較小，有利于視點合成的實時實現(xiàn)。本發(fā)明以超像素為基本單位進(jìn)行深度圖像預(yù)處理和深度空洞處理。首先，充分利用了同一超像素內(nèi)部像素點屬于同一物體這一特性，解決了傳統(tǒng)的以像素為單位的深度圖像預(yù)處理方法和深度空洞填充方法造成的深度不一致問題，圖像預(yù)處理和空洞填充更加準(zhǔn)確；其次，傳統(tǒng)的以像素為單位的深度圖像預(yù)處理方法和深度空洞填充方法，在周圍一個較大的區(qū)域中選取深度候選值，而本發(fā)明方法中將候選值的區(qū)域限制在一個超像素內(nèi)，更加準(zhǔn)確；另外，本發(fā)明采用的超像素分割算法、k-means聚類算法、超像素相似度計算方法，以及本發(fā)明提出的方法中的深度超像素分類、深度值選取、深度填充和恢復(fù)計算量均比較??；最后，本發(fā)明的內(nèi)容是視點合成算法中的兩個重要步驟，可以用在任何基于深度圖像的視點合成算法中，和任何基于深度圖像的視點合成算法相結(jié)合。附圖說明圖1：本發(fā)明的深度圖像預(yù)處理和深度空洞填充方法的視點合成總體框圖圖2(a)：彩色圖像超像素分割；圖2(b)：深度圖像超像素分割；圖3(a)：預(yù)處理前的深度圖像；圖3(b)預(yù)處理后的深度圖像；圖4(a)：虛擬視點初始彩色圖像；圖4(b)虛擬視點初始深度圖像；圖5(a)：部分像素為空洞區(qū)域的超像素；圖5(b)部分像素為空洞區(qū)域的超像素填充效果；圖5(c)全部像素為空洞區(qū)域的超像素；圖5(d)全部像素為空洞區(qū)域的超像素填充效果。具體實施方式：下面結(jié)合附圖對本發(fā)明進(jìn)行詳細(xì)說明：本發(fā)明提出了一種虛擬視點合成中基于超像素的深度圖像預(yù)處理和深度空洞填充方法。利用超像素算法對需要預(yù)處理的深度圖像對應(yīng)的彩色圖像進(jìn)行分割，將彩色圖像分割成超像素；根據(jù)彩色圖像中的超像素對深度圖像進(jìn)行分割，將深度圖像分割成深度超像素，并對深度超像素進(jìn)行分類；然后，利用深度信息和彩色信息對深度信息缺失的像素點進(jìn)行處理；對彩色圖像和深度圖像進(jìn)行三維變換，得到存在空洞區(qū)域的虛擬視點初始彩色圖像和虛擬視點初始深度圖像；最后，將虛擬視點初始深度圖像進(jìn)行超像素分割，利用分割得到的超像素塊進(jìn)行空洞區(qū)域的填充。如圖1為視點合成總體框圖，虛線框圖內(nèi)部分即為本發(fā)明內(nèi)容，即基于超像素的深度圖像預(yù)處理和基于超像素的深度空洞填充過程。圖1中是結(jié)合虛擬視點合成算法展示本發(fā)明提出的深度圖像預(yù)處理方法和深度空洞填充方法。圖中所示的左右視點圖像只是視點合成方法中的一種，也可以在基于單視點的視點合成中采用本發(fā)明的方法。圖1中左右視點圖像處理是同時進(jìn)行的；三維變換后兩個視點的圖像分別生成包含空洞區(qū)域的虛擬視點圖像；這兩個虛擬視點的圖像疊加的方法是虛擬視點合成現(xiàn)有技術(shù)(如果相同像素點位置兩個虛擬視點圖像都有像素值，則取平均；如果相同像素點位置只有一個虛擬視點圖像具有像素值，則取該像素值；如果都沒有像素值，則該像素點疊加后為空洞像素點，利用本發(fā)明方法進(jìn)行空洞填充)，當(dāng)然現(xiàn)有虛擬視點合成算法中疊加方式有多種；左視點深度圖像是左視點彩色圖像對應(yīng)的深度圖，即左視點深度圖中每個像素的值代表了左視點彩色圖像中相同像素位置彩色像素的深度信息。一種虛擬視點合成中基于超像素的深度圖像預(yù)處理和深度空洞填充方法，具體步驟如下：(1)基于彩色信息的深度圖像超像素分割。利用簡單線性迭代聚類(SimpleLinearIterativeClustering,SLIC)(注：SLIC為現(xiàn)有常用的超像素分割算法)算法對彩色圖像進(jìn)行超像素分割，如圖2(a)所示；根據(jù)超像素分割結(jié)果得到彩色圖像中每個像素的超像素標(biāo)簽，利用每個像素的超像素標(biāo)簽對彩色圖像對應(yīng)的深度圖像進(jìn)行圖像分割，將深度圖像分割成和彩色圖像完全相同的超像素如圖2(b)所示。(2)基于超像素的深度圖像預(yù)處理。以超像素為基本處理單位，對深度圖像進(jìn)行預(yù)處理，找出深度圖像中所有包含深度信息缺失像素的超像素，對這些超像素進(jìn)行分類，分別采用不同的方法進(jìn)行處理，恢復(fù)缺失的深度信息。具體的：假設(shè)Sd是目標(biāo)深度圖像超像素，Sc是其對應(yīng)的彩色圖像超像素，M是Sd中深度缺失像素的集合，即無效像素的集合，那么Sd中有效像素的集合為V＝Sd-M。定義|Sd|表示Sd中像素的個數(shù)，|V|表示Sd中有效像素的個數(shù)。如果|V|＝|Sd|，則表示Sd內(nèi)像素全部為有效像素，那么該超像素?zé)o需預(yù)處理。如果0＜|V|＜|Sd|，則表示Sd內(nèi)部分像素為無效像素，需要通過預(yù)處理方法恢復(fù)M中像素的深度值：首先，計算有效像素集合V中所有像素深度值的方差σV；若σV＜t(t為經(jīng)驗閾值，取t＝10)，則判定V中所有像素屬于同一深度層次，即這些像素位于同一物體，那么我們將M中所有無效像素的深度值賦值為V中出現(xiàn)頻率最高的深度值；若σV＞＝t(t為經(jīng)驗閾值，取t＝10)，則判定V中像素屬于不同的深度層次，那么利用k-means聚類(k＝2)將V中像素按照深度值的大小分為兩類：V1和V2；假設(shè)V1中像素的平均深度值小于V2中像素的平均深度值，那么我們將M中所有無效像素的深度值賦值為V1中出現(xiàn)頻率最高的深度值。如果|V|＝0，則表示Sd內(nèi)所有像素均為無效像素，需要通過預(yù)處理方法恢復(fù)Sd內(nèi)所有像素的深度值：首先，統(tǒng)計所有與Sd相鄰且全部像素為有效像素的超像素，定義這些像素組成的集合為為中深度超像素對應(yīng)的彩色超像素；然后，利用基于LAB顏色空間的超像素相似度計算方法(注：該超像素相似度計算方法為現(xiàn)有方法)從中找出與Sc相似度最高的超像素Rc，Rd為Rc對應(yīng)的深度超像素；計算Rd中所有像素深度值的方差σR；若σR＜t(t為經(jīng)驗閾值，取t＝10)，則判定Rd中所有像素屬于同一深度層次，那么我們將M中所有無效像素的深度值賦值為Rd中出現(xiàn)頻率最高的深度值；若σR＞＝t(t為經(jīng)驗閾值，取t＝10)，則判定Rd中像素屬于不同的深度層次，那么利用k-means聚類(k＝2)將Rd中像素按照深度值的大小分為兩類：Rd1和Rd2；假設(shè)Rd1中像素的平均深度值小于Rd2中像素的平均深度值，那么我們將M中無效像素的深度值賦值為Rd1中出現(xiàn)頻率最高的深度值。圖3(a)和圖3(b)分別為預(yù)處理前和預(yù)處理后的深度圖像。(3)虛擬視點深度圖像超像素分割。利用彩色圖像和預(yù)處理后的深度圖像進(jìn)行三維變換(注：三維變換為現(xiàn)有技術(shù))，得到虛擬視點初始彩色圖像和虛擬視點初始深度圖像，由于遮擋原因，虛擬視點初始彩色圖像和虛擬視點初始深度圖像存在相同的空洞區(qū)域，如圖4(a)和圖4(b)所示；利用簡單線性迭代聚類(SimpleLinearIterativeClustering,SLIC)算法將虛擬視點初始深度圖像分割成超像素。(4)虛擬視點深度圖像填充。找出虛擬視點深度圖像中所有包含空洞區(qū)域的超像素，并對這些超像素進(jìn)行分類，分別采用不同的方法對空洞區(qū)域進(jìn)行填充。以超像素為單位對虛擬視點初始深度圖像進(jìn)行空洞區(qū)域填充，假設(shè)D是包含空洞區(qū)域的超像素，D中非空洞部分為若D中只有部分像素點屬于空洞區(qū)域，如圖5(a)所示，則D中的空洞區(qū)域采用中出現(xiàn)概率最高的深度值進(jìn)行填充；若D中的像素全部都屬于空洞區(qū)域，如圖5(c)所示，假設(shè)為與D相鄰的不含空洞區(qū)域的超像素的集合，則我們利用集合中平均深度值最小的超像素Dmin中出現(xiàn)頻率最高的深度值對D中的空洞區(qū)域進(jìn)行填充。圖5(a)和5(c)中空洞區(qū)域的填充效果分別如圖5(b)和5(d)所示。上述雖然結(jié)合附圖對本發(fā)明的具體實施方式進(jìn)行了描述，但并非對本發(fā)明保護(hù)范圍的限制，所屬領(lǐng)域技術(shù)人員應(yīng)該明白，在本發(fā)明的技術(shù)方案的基礎(chǔ)上，本領(lǐng)域技術(shù)人員不需要付出創(chuàng)造性勞動即可做出的各種修改或變形仍在本發(fā)明的保護(hù)范圍以內(nèi)。