專利名稱：使用修補技術進行圖像校正的制作方法
技術領域：
本發(fā)明通常屬于數(shù)字成像領域。更具體地，本發(fā)明涉及用于校正圖像或圖像序列 中的偽像(artifact)的修補(inpainting)。
背景技術：
修補是重建圖像和視頻的丟失或損壞的部分的過程。例如，在有價值的繪畫作品 的情況下，可以由熟練的圖像修復藝術家執(zhí)行該任務。在數(shù)字世界中，修補(也被稱作圖像 內(nèi)插或視頻內(nèi)插)是指應用復雜的算法來恢復圖像數(shù)據(jù)的丟失或損壞的部分。通過注解和傳播(annotation-and-propagation)創(chuàng)建深度是為圖像序列中的一 個圖像幀繪制深度圖的過程，即，注解它，并且然后利用所注解的對象的軟件追蹤把深度傳 播到圖像序列中的緊接著的/之前的幀。這是一種已知的半自動深度創(chuàng)建的方法。獨立于 其源而估計的深度信息典型地遭受諸如真實對象邊界未對準之類的問題。圖Ia示出了包括一個對象的圖像，其中如在暗區(qū)域之外的頂部和底部處突出的 亮區(qū)域所指示的，與對象的深度未對準是顯著的。圖Ia顯示了覆蓋到亮度上的深度分量。 該深度未對準是由于前景對象的較小部分被誤認為是背景的事實。通常，未對準發(fā)生在至 少兩個信號/數(shù)據(jù)之間，例如深度分量和視頻數(shù)據(jù)之間。當使用公知的有損視頻壓縮方案壓縮2. 5D視頻時，引入了對象周圍的偽像。2. 5D (2. 5個維度)是用于描述其中2D圖像伴隨有深度圖的表示的非正式術語，其中深度圖指示 2D圖像中每個元素的深度。視頻壓縮引起的某些偽像是蚊式噪聲、吉布斯效應(Gibbs effect)以及過沖/下 沖(overshoot/undershoot)偽像。圖Ib示出了利用這種有損視頻壓縮方案在對象周圍產(chǎn) 生光暈。這在2D圖像或2D視頻中都可能發(fā)生。上述偽像通常導致顯著降低的圖像質量，它們還將干擾任何隨后的視頻處理任 務，例如根據(jù)這種2. 5D表示進行的多視圖呈現(xiàn)。因此，允許移除由視頻壓縮引起的對象周圍的偽像和/或校正當前景對象的小部 分被誤認為是背景時關于深度圖未對準的圖像數(shù)據(jù)的改進的方法、處理單元以及計算機程 序產(chǎn)品是有利的。

發(fā)明內(nèi)容
因此，本發(fā)明優(yōu)選地尋求單獨地或者以任意組合方式減輕、緩和或消除本領域的 上述一個或多個缺陷并通過提供依照附加的專利權利要求的方法、處理單元和計算機程序 產(chǎn)品而至少解決上述問題。依照一個方面，提供了一種處理包括圖像和深度信息的圖像信號的方法。該方法 包括基于所述圖像信號的深度或視差分量對包含在所述圖像信號中的圖像執(zhí)行前景/背 景分割，從而產(chǎn)生前景掩模(mask)和背景掩模。該方法還包括在所述分割后的圖像的分割 過渡周圍創(chuàng)建區(qū)域，其中所述區(qū)域可能包括偽像。而且，該方法包括對該區(qū)域中的像素數(shù)據(jù)執(zhí)行前景/背景相關的處理，從而產(chǎn)生處理后的圖像。在另一方面，提供一種用于處理包括圖像和深度信息的圖像信號的處理單元。該 處理單元被配置為基于所述圖像信號的深度或視差分量對包含在所述圖像信號中的圖像 執(zhí)行前景/背景分割，從而產(chǎn)生前景掩模/背景掩模。該處理單元還被配置為在所述分割 后的圖像中鄰近分割過渡處創(chuàng)建區(qū)域，其中該區(qū)域包括偽像。而且，該處理單元被配置為對 該區(qū)域中的像素數(shù)據(jù)執(zhí)行前景/背景相關的處理，從而產(chǎn)生處理后的圖像。在一個方面中，提供了一種存儲在計算機可讀介質中的計算機程序產(chǎn)品，其包括 適于當在數(shù)據(jù)處理裝置上運行時執(zhí)行依照某些實施例的方法的步驟的軟件代碼。依照某些實施例的思想是處理視頻或圖像數(shù)據(jù)從而校正圖像中的編碼偽像和深 度未對準。依照某些實施例的思想是提供一種降低例如2. 5D視頻中對象周圍的壓縮偽像的方法。而且，依照某些實施例的思想是提供一種處理與圖像中的實際對象邊界未對準的 深度信息和深度表示的方法。當呈現(xiàn)以通常用于基于圖像的呈現(xiàn)的所謂的圖像和深度格式 表示的3D內(nèi)容時遇到該問題。該方法還可以解決典型地由視頻壓縮引起的對象周圍的噪聲區(qū)域的問題。利用依照某些實施例的方法來處理包括圖像和深度信息的圖像信號。該方法被配 置為基于在包括所述圖像的圖像信號中存在的深度/視差信息對圖像執(zhí)行分割，并且隨后 修補背景以將前景對象周圍的圖像中的差錯校正為延伸出前景對象的分割邊界外的區(qū)域， 和/或修補前景以將圖像中的差錯校正為延伸進前景對象的分割邊界內(nèi)的區(qū)域。這樣，可 以減少壓縮偽像和其它偽像。


根據(jù)參考附圖的本發(fā)明的實施例的下述描述，本發(fā)明能夠實現(xiàn)的這些和其它方 面、特征以及優(yōu)點將會顯而易見并且將被闡明，其中相似的附圖標號用于表示相似的部件 或功能，并且其中
圖Ia和Ib示出了顯示圖像質量問題的圖像，該圖像質量問題涉及與利用公知的有損 視頻壓縮方案來壓縮圖像或視頻有關的深度對準；
圖2示出了由依照實施例的方法的某些步驟進行處理之后的包括前景掩模23、區(qū)域 24、背景掩模22的圖像；
圖3是顯示依照實施例的方法的流程圖； 圖4a對應于由依照實施例的方法處理后的圖Ia ； 圖4b對應于由依照實施例的方法處理后的圖Ia ； 圖5是顯示依照實施例的處理單元的框圖；以及 圖6示出了依照實施例的計算機程序產(chǎn)品。
具體實施例方式下面將參照附圖更詳細地描述本發(fā)明的若干實施例，以便本領域技術人員能夠執(zhí) 行本發(fā)明。然而，本發(fā)明可以以許多不同的形式實現(xiàn)，并且不應當被解釋為限于這里闡述的
4實施例。相反，提供這些實施例，以使得本公開將是徹底和完全的并且將把本發(fā)明的范圍完 全傳達給本領域技術人員。實施例不限制本發(fā)明，而是本發(fā)明僅由所附的專利權利要求限 制。此外，在附圖中示出的特定實施例的詳細描述中使用的術語不意在限制本發(fā)明。下面 的描述集中在可應用于數(shù)字成像的本發(fā)明的實施例上并且尤其是使用修補來進行圖像和 深度校正的方法。然而，將理解本發(fā)明并不限于該應用，而是可以應用到許多其它應用。依照某些實施例的思想是提供一種利用圖像或視頻的深度信息執(zhí)行背景/前景 分割的方法以及用于對分割后的對象的邊界周圍的差錯進行校正的修補技術。在許多情況 下，當涉及壓縮時，已經(jīng)半自動地產(chǎn)生了深度圖。這樣，分割是由人操縱的并且因此具有高 質量。此外，在對象邊界處偽像將尤其可見，其中所述對象邊界由深度/視差過渡指示；因 此，由深度/視差圖操縱的分割是有利的。在實施例中，依照圖3，提供了一種處理包括圖像和深度信息的圖像信號的方法。 該方法包括
_基于所述圖像信號中的深度或視差分量對包含在所述圖像信號中的圖像執(zhí)行31前 景/背景分割，從而產(chǎn)生前景掩模23，以產(chǎn)生至少包括前景對象23和背景區(qū)域22的分割后 的圖像，
-在所述分割后的圖像中鄰近分割過渡(也稱為分割邊緣)處創(chuàng)建32區(qū)域24，區(qū)域24 可能包括偽像26，例如壓縮偽像26或深度未對準25，以及
-對區(qū)域24中的像素數(shù)據(jù)執(zhí)行33前景/背景相關的處理，從而產(chǎn)生處理后的圖像。圖2示出了在經(jīng)過方法的步驟31和32處理之后包括前景對象231和背景區(qū)域 221的圖像，其中顯示了從前景/背景分割中產(chǎn)生的前景掩模23和背景掩模22。在這種情 況下，在前景對象231外部以及背景區(qū)域22內(nèi)部創(chuàng)建區(qū)域24。在區(qū)域24內(nèi)指示了諸如壓 縮偽像26和深度未對準偽像25之類的偽像。31)前向/背景分割
在某些實施例中，如下執(zhí)行在執(zhí)行圖像分割的步驟中利用的圖像分割技術。為了得知在何處執(zhí)行前/背景相關的處理，該信息是典型地作為圖像處理算法的 輸入來提供的信息。在依照某些實施例的方法的情況下，可以基于深度過渡自動定位可能 包括偽像的問題區(qū)域，其中較大的深度不連續(xù)指示前景和背景之間的邊緣。然而，這種圖像分割用于定位問題區(qū)域的角色是雙重的不僅需要知道在何處執(zhí) 行用于校正偽像的隨后的圖像處理，還需要知道場景的哪些部分是前景和背景，并且此外 以便得知哪一部分應當用作用于隨后的圖像處理的參考材料?？梢砸勒漳承嵤├ㄟ^計算二元掩模執(zhí)行背景區(qū)域/對象和前景區(qū)域/對象的 分割。該掩模典型地根據(jù)深度圖逐行地計算，并且基于對于深度不連續(xù)的搜索。當遇到正 深度不連續(xù)時(即，從低深度到高深度，其中高深度值指示更加接近觀看者的深度，低深度 指示更加遠離觀看者的深度)，掩模被設定為前景。相似地，當發(fā)現(xiàn)負深度不連續(xù)時，假設前 景對象已完成并且掩模被設定為背景?？梢岳缛缦聢?zhí)行對每個像素的處理
權利要求
1.一種處理包括圖像和深度信息的圖像信號的方法(30)，包括-基于所述圖像信號的深度或視差分量對包含在所述圖像信號中的圖像執(zhí)行(31)前 景/背景分割，從而產(chǎn)生前景掩模(23)和背景掩模(22)，-在所述分割后的圖像中的分割過渡周圍創(chuàng)建(32)區(qū)域(24)，其中所述區(qū)域(24)包 括偽像(25，26)，并且-對該區(qū)域(24)中的像素數(shù)據(jù)執(zhí)行(33)前景/背景相關的處理，從而產(chǎn)生處理后的圖像。
2.如權利要求1所述的方法，其中，所述前景/背景相關的處理是時間修補、空間修 補、或空-時修補中的修補技術。
3.如權利要求1所述的方法，其中，所述前景/背景相關的處理包括使用所述圖像的 區(qū)域(24)外的像素數(shù)據(jù)代替該區(qū)域(24)中的所述像素數(shù)據(jù)。
4.如權利要求1所述的方法，其中，所述前景/背景相關的處理包括將該區(qū)域(24)中 的所述像素數(shù)據(jù)與位于所述圖像的區(qū)域(24)外的像素數(shù)據(jù)進行混合。
5.如權利要求4所述的方法，其中，混合因數(shù)是到該區(qū)域(24)的分割過渡處的距離的 函數(shù)。
6.如權利要求1所述的方法，其中，所述前景/背景相關的處理包括基于源自立體或 多視像對的像素數(shù)據(jù)來改變該區(qū)域(24)中的所述像素數(shù)據(jù)。
7.如權利要求1所述的方法，其中，通過利用來自該前景掩模(23)的前景顏色信息來 修補該區(qū)域(24)中的像素數(shù)據(jù)來執(zhí)行所述前景/背景相關的處理。
8.如權利要求1所述的方法，其中，通過利用來自該背景掩模(22)的背景顏色信息來 修補區(qū)域(24)中的像素數(shù)據(jù)來執(zhí)行所述前景/背景相關的處理。
9.如權利要求1所述的方法，其中，從比特流中的數(shù)據(jù)獲得所述區(qū)域(24)。
10.如權利要求9所述的方法，其中，所述數(shù)據(jù)是用于壓縮的塊大小。
11.如權利要求9所述的方法，其中，所述數(shù)據(jù)是量化參數(shù)。
12.如權利要求9所述的方法，其中，所述數(shù)據(jù)是解塊濾波器設定。
13.一種用于處理包括圖像和深度信息的圖像信號的處理單元(50)，被配置為-基于所述圖像信號的深度或視差分量對包含在所述圖像信號中的圖像執(zhí)行(51)前 景/背景分割，從而產(chǎn)生前景掩模(23)和背景掩模(22)，-在所述分割后的圖像中鄰近分割過渡處創(chuàng)建(52)區(qū)域(24)，其中所述區(qū)域(24)包 括偽像(25，26)，并且-對該區(qū)域(24)中的像素數(shù)據(jù)執(zhí)行(53)前景/背景相關的處理，從而產(chǎn)生處理后的圖像。
14.一種存儲在計算機可讀介質上的計算機程序產(chǎn)品(60)，包括軟件代碼，所述軟件 代碼當在數(shù)據(jù)處理裝置上執(zhí)行時適于執(zhí)行如權利要求1所述的方法的步驟。
全文摘要
提供了一種處理包括圖像和深度信息的圖像信號的方法。該方法被配置為基于包括圖像的圖像信號中存在的深度/視差信息對所述圖像執(zhí)行分割，并且隨后修補背景以將前景對象周圍的圖像中的差錯校正為延伸出前景對象的分割邊界外的區(qū)域，和/或修補前景以將圖像中的差錯校正為延伸進前景對象的分割邊界內(nèi)的區(qū)域。這樣，可以減少壓縮偽像和其它偽像。
文檔編號G06T5/00GK102113015SQ200980129684
公開日2011年6月29日 申請日期2009年7月22日 優(yōu)先權日2008年7月28日
發(fā)明者B·G·B·巴倫布魯格, J·P·馬加爾黑斯, L·邵, R·B·M·克萊因古尼韋克, R-P·M·貝雷蒂 申請人:皇家飛利浦電子股份有限公司