專利名稱：一種平面視頻的深度圖求取方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，特別涉及一種基于背景重構(gòu)及運動檢測的平面視頻的深度圖求取方法。
背景技術(shù)：
在立體視頻處理技術(shù)中，平面視頻的深度圖生成是指通過平面視頻得到標(biāo)識場景立體信息的深度圖序列。目前常用的深度圖生成方法主要是利用平面視頻的幾何信息，攝像機參數(shù)，平面視頻中物體的顏色特征等進行全局求取。另外可以通過關(guān)鍵幀圖像及對應(yīng)的深度圖對非關(guān)鍵幀的深度圖進行計算，計算方法主要包括深度擴散或輪廓跟蹤等方法。該方法在關(guān)鍵幀和非關(guān)鍵幀變化較小的場景有較好的效果。背景重構(gòu)和運動檢測是視頻處理中的關(guān)鍵技術(shù)，背景重構(gòu)是指從具有運動物體的場景中恢復(fù)靜態(tài)的背景。目前常用的方法是利用參數(shù)或非參數(shù)建模方法，對視頻中每個像素點建立模型，通過匹配模型對大量采樣進行判斷和參數(shù)變更。主要利用了像素的顏色信息以及視頻幀間的關(guān)聯(lián)性。運動檢測是指從有運動物體的視頻中提取運動物體的信息。目前常用的方法是將運動信息，顏色信息和物體的幾何形狀信息相結(jié)合，從而提取出前景物體?，F(xiàn)有的深度圖生成方法往往只能處理包含簡單場景和運動模式的平面視頻，對于具有復(fù)雜場景的處理缺乏魯棒性(robustness)，從而導(dǎo)致生成的深度圖精確度不高。

發(fā)明內(nèi)容
本發(fā)明的目的旨在至少解決上述技術(shù)缺陷之一，特別是提供一種能夠精確求取平面視頻中每一幀的深度圖像的方法。為達到上述目的，本發(fā)明提供一種平面視頻的深度圖求取方法，包括以下步驟SI :對原始平面視頻中的前景運動物體進行檢測和提取，計算所述前景運動物體的遮擋關(guān)系，得到所述前景運動物體的掩膜圖像；S2 :根據(jù)所述前景運動物體的掩膜圖像對所述原始平面視頻進行背景重構(gòu)，以得到去除所述前景運動物體的背景視頻序列；S3 :對所述背景視頻序列求取背景深度圖序列；S4 :對所述原始平面視頻求取初始深度圖序列；S5 :根據(jù)所述初始深度圖序列中所述前景運動物體的初始深度信息，以及所述背景深度圖序列中的所述前景運動物體的幾何信息，得到所述平面原始視頻的深度圖序列。在本發(fā)明的一個實施例中，所述步驟SOl進一步包括以下步驟S11 :通過運動檢測方法檢測并提取所述原始平面視頻中的所述前景運動物體；S12 :計算所述前景運動物體的面積，并將其中面積較小的物體去除；S13 :根據(jù)所述前景運動物體的顏色信息，判斷可能存在的多個所述前景物體之間的遮擋關(guān)系。在本發(fā)明的一個實施例中，步驟S2進一步包括以下步驟S21 :根據(jù)所述前景運動物體的掩膜圖像，得到去除所述前景運動物體的背景視頻序列；S22 :根據(jù)圖像相鄰像素的相似性對所述背景視頻序 列進行圖像修補；S23 :根據(jù)所述前景運動物體的運動信息和所述背景視頻序列幀間的像素關(guān)聯(lián)，填補所述背景視頻序列中的空白區(qū)域；S24 :根據(jù)圖像相鄰像素的相似性對所述背景視頻序列進行插值和平滑操作。在本發(fā)明的一個實施例中，步驟S22中所述圖像修補的算法包括inpaint算法、patch-match 算法。在本發(fā)明的一個實施例中，步驟S3包括對所述背景視頻序列使用靜態(tài)場景的深度圖生成算法，以得到所述背景深度圖序列。在本發(fā)明的一個實施例中，靜態(tài)場景的深度圖生成算法包括Bundle算法。在本發(fā)明的一個實施例中，步驟S4包括使用深度估計算法對所述原始平面視頻進行深度估計，以得到所述初始深度圖序列。在本發(fā)明的一個實施例中，所述深度估計算法包括BP算法。在本發(fā)明的一個實施例中，步驟S5進一步包括以下步驟S51 :由所述前景運動物體的掩膜圖像和所述初始深度圖序列得到所述前景運動物體的初始深度圖；S52 :結(jié)合所述背景深度圖序列的信息和所述前景運動物體的空間位置信息，對每一幀所述前景運動物體的初始深度圖進行修正，以得到包含所述前景運動物體和背景的深度圖序列；S53 :對包含所述前景運動物體和背景的深度圖序列進行濾波處理。在本發(fā)明的一個實施例中，步驟S52進一步包括計算攝像機參數(shù)，結(jié)合所述前景運動物體的空間位置信息估計所述前景運動物體所處的運動平面；在所述背景深度圖序列中，提取所述運動平面的深度信息，對每一幀所述前景運動物體的初始深度圖進行修正。在本發(fā)明的一個實施例中，步驟S53中所述濾波處理包括雙邊濾波，高斯濾波。在本發(fā)明的一個實施例中，步驟S5之后還包括對所述平面原始視頻的深度圖序列進行平滑后處理。本發(fā)明提供一種平面視頻的深度圖求取方法。通過運動檢測得到視頻的前景運動物體的掩膜圖像，根據(jù)該掩膜圖像對視頻進行背景重構(gòu)得到去除前景運動物體的背景視頻，然后對背景視頻進行深度圖求取以及對原視頻進行初始的深度圖估計，再結(jié)合二者的信息以及前景運動物體的運動信息和幾何信息，最終得到優(yōu)化的原視頻的深度圖序列。根據(jù)本發(fā)明實施例的方法能夠精確求取平面視頻中每一幀的深度圖，并且所求取的深度圖邊緣清楚、深度層次明確、平滑性能好且時域穩(wěn)定性高。此外，根據(jù)本發(fā)明實施例的平面視頻的深度圖求取方法能夠處理具有多個運動物體的復(fù)雜場景，適應(yīng)性強，應(yīng)用廣泛。本發(fā)明附加的方面和優(yōu)點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發(fā)明的實踐了解到。


本發(fā)明上述的和/或附加的方面和優(yōu)點從下面結(jié)合附圖對實施例的描述中將變得明顯和容易理解，其中圖I為本發(fā)明實施例的平面視頻的深度圖求取方法流程圖。
具體實施例方式下面詳細描述本發(fā)明的實施例，所述實施例的示例在附圖中示出，其中自始至終相同或類似的標(biāo)號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實施例是示例性的，僅用于解釋本發(fā)明，而不能解釋為對本發(fā)明的限制。圖1為本發(fā)明實施例的平面視頻的深度圖求取方法流程圖，該方法包括以下步驟步驟SI :對原始平面視頻中的前景運動物體進行檢測和提取，計算前景運動物體的遮擋關(guān)系，得到前景運動物體的掩膜圖像。具體地，可以包括以下步驟步驟Sll :通過運動檢測方法檢測并提取原始平面視頻中的前景運動物體，以得到初始前景掩膜圖像。例如，利用運動信息，顏色信息等，通過背景建模，輪廓跟蹤等運動檢測方法對原始平面視頻中的運動物體進行檢測并提取。需指出的是，本發(fā)明實施例可以運用于具有多個運動物體的復(fù)雜場景，故在該步驟中，可以檢測提取原始平面視頻中所有的前景運動物體。步驟S12 :計算前景運動物體的面積，并將其中面積較小的物體去除。在檢測中，由于抖動、光線變化等原因可能造成背景中某個物體的部分微小運動，而該微小運動也可能被認(rèn)定為前景運動，從而導(dǎo)致誤檢測。由于這類微小運動往往面積較小，故通過面積檢測可以修正背景物體微小運動導(dǎo)致的誤檢測。步驟S13 :根據(jù)前景運動物體的顏色信息，判斷可能存在的多個所述前景物體之間的遮擋關(guān)系。當(dāng)兩個物體出現(xiàn)遮擋時，被遮擋物體將出現(xiàn)明顯的顏色跳變，從而根據(jù)前景運動物體的顏色信息，可以計算原始平面視頻中可能存在的多個物體遮擋關(guān)系。步驟S12和S12是對步驟Sll得到的初始前景掩膜圖像進行修正。步驟S2 :根據(jù)前景運動物體的掩膜圖像對原始平面視頻進行背景重構(gòu)，以得到去除所述前景運動物體的背景視頻序列。具體地，可以包括以下步驟步驟S21 :根據(jù)步驟S14的結(jié)果，去除原始平面視頻每一幀中的前景運動物體部分，得到初始背景視頻序列；步驟S22 :根據(jù)圖像相鄰像素的相似性，例如顏色相關(guān)性，對初始背景視頻序列的每一幀進行圖像修補，得到粗略的背景圖像。在本實施例中，圖像修補算法可以是inpaint算法，patch-match算法等。步驟S23 :在步驟S22得到的背景圖像的基礎(chǔ)上，根據(jù)前景運動物體的運動信息和背景視頻序列幀間的像素關(guān)聯(lián)，填補該背景圖像中的空白區(qū)域。在本實施例中，運動信息包括原始平面視頻中的運動物體的運動方向和位移，對于具有復(fù)雜運動的物體，其運動信息包括物體每個部分的運動信息；幀間的像素關(guān)聯(lián)包括幀間的時間和空間連續(xù)性。步驟S24 :再次根據(jù)圖像相鄰像素的相似性對該背景圖像進行插值和平滑操作，得到僅包括背景信息的背景視頻序列。在本發(fā)明實施例中，通過將原始平面視頻中的前景信息和背景信息分離，以對前景視頻和背景視頻分開處理，從而降低處理難度，并且提高生成深度圖的精度。步驟S3 :對背景視頻序列求取背景深度圖序列。在本發(fā)明實施例中，可以對步驟S24得到的背景視頻序列，使用靜態(tài)場景的深度圖生成算法，如Bundle算法等，計算得到背景深度圖序列。步驟S4 :對原始平面視頻求取初始深度圖序列。在本發(fā)明實施例中，可以使用深度估計算法，如BP算法等，對原始平面視頻進行深度估計。
步驟S5 :根據(jù)初始深度圖序列中前景運動物體的初始深度信息，以及背景深度圖序列中的前景運動物體的幾何信息，得到平面原始視頻的深度圖序列。具體地，可以包括以下步驟 步驟S51 :結(jié)合前景運動物體的掩膜圖像和原始平面視頻的初始深度圖序列，得到前景運動物體的初始深度圖。步驟S52 :結(jié)合背景深度圖序列的信息和前景運動物體的運動信息和幾何信息，對每一幀前景運動物體的初始深度圖進行修正，以得到包含前景運動物體和背景的深度圖序列。例如在本實施例中，該步驟可以通過以下方式實現(xiàn)首先，計算攝像機參數(shù)，結(jié)合前景運動物體的運動信息和幾何信息估計該前景運動物體所處的運動平面，其中，幾何信息包括場景中的前景和背景的三維空間位置，三維空間結(jié)構(gòu)等；然后，在背景深度圖序列中，提取該運動平面的深度信息，與初始深度圖中的初始深度信息進行融合，優(yōu)化前景運動物體的深度信息，即對每一幀前景運動物體的初始深度圖進行修正。步驟S53 :對包含前景運動物體和背景的深度圖序列進行濾波處理，以保持深度圖序列中前景運動物體深度的時間和空間的連續(xù)性。在本實施例中，濾波處理的方法包括雙邊濾波，高斯濾波等。在本發(fā)明優(yōu)選的實施例中，在步驟S53之后還包括對平面原始視頻的深度圖序列進行平滑后處理，以提高深度圖的平滑性能。本發(fā)明提供一種平面視頻的深度圖求取方法。通過運動檢測得到視頻的前景運動物體的掩膜圖像，根據(jù)該掩膜圖像對視頻進行背景重構(gòu)得到去除前景運動物體的背景視頻，然后對背景視頻進行深度圖求取以及對原視頻進行初始的深度圖估計，再結(jié)合二者的信息以及前景運動物體的運動信息和幾何信息，最終得到優(yōu)化的原視頻的深度圖序列。根據(jù)本發(fā)明實施例的方法能夠精確求取平面視頻中每一幀的深度圖，并且所求取的深度圖邊緣清楚、深度層次明確、平滑性能好且時域穩(wěn)定性高。此外，根據(jù)本發(fā)明實施例的平面視頻的深度圖求取方法能夠處理具有多個運動物體的復(fù)雜場景，應(yīng)用前景廣泛。在本說明書的描述中，參考術(shù)語“一個實施例”、“一些實施例”、“示例”、“具體示例”、或“一些示例”等的描述意指結(jié)合該實施例或示例描述的具體特征、結(jié)構(gòu)、材料或者特點包含于本發(fā)明的至少一個實施例或示例中。在本說明書中，對上述術(shù)語的示意性表述不一定指的是相同的實施例或示例。而且，描述的具體特征、結(jié)構(gòu)、材料或者特點可以在任何的一個或多個實施例或示例中以合適的方式結(jié)合。盡管已經(jīng)示出和描述了本發(fā)明的實施例，對于本領(lǐng)域的普通技術(shù)人員而言，可以理解在不脫離本發(fā)明的原理和精神的情況下可以對這些實施例進行多種變化、修改、替換和變型，本發(fā)明的范圍由所附權(quán)利要求及其等同限定。
權(quán)利要求
1.一種平面視頻的深度圖求取方法，其特征在于，包括以下步驟 Si:對原始平面視頻中的前景運動物體進行檢測和提取，計算所述前景運動物體的遮擋關(guān)系，得到所述前景運動物體的掩膜圖像； 52:根據(jù)所述前景運動物體的掩膜圖像對所述原始平面視頻進行背景重構(gòu)，以得到去除所述前景運動物體的背景視頻序列； 53:對所述背景視頻序列求取背景深度圖序列； 54:對所述原始平面視頻求取初始深度圖序列； 55:根據(jù)所述初始深度圖序列中所述前景運動物體的初始深度信息 ，以及所述背景深度圖序列中的所述前景運動物體的幾何信息，得到所述平面原始視頻的深度圖序列。
2.如權(quán)利要求I所述的平面視頻的深度圖求取方法，其特征在于，所述步驟SOl進一步包括以下步驟 511:通過運動檢測方法檢測并提取所述原始平面視頻中的所述前景運動物體； 512:計算所述前景運動物體的面積，并將其中面積較小的物體去除； S13:根據(jù)所述前景運動物體的顏色信息，判斷可能存在的多個所述前景物體之間的遮擋關(guān)系。
3.如權(quán)利要求I所述的平面視頻的深度圖求取方法，其特征在于，步驟S2進一步包括以下步驟521:根據(jù)所述前景運動物體的掩膜圖像，得到去除所述前景運動物體的背景視頻序列； 522:根據(jù)圖像相鄰像素的相似性對所述背景視頻序列進行圖像修補； S23:根據(jù)所述前景運動物體的運動信息和所述背景視頻序列幀間的像素關(guān)聯(lián)，填補所述背景視頻序列中的空白區(qū)域； S24 :根據(jù)圖像相鄰像素的相似性對所述背景視頻序列進行插值和平滑操作。
4.如權(quán)利要求3所述的平面視頻的深度圖求取方法，其特征在于，步驟S22中所述圖像修補的算法包括inpaint算法、patch-match算法。
5.如權(quán)利要求I所述的平面視頻的深度圖求取方法，其特征在于，步驟S3包括對所述背景視頻序列使用靜態(tài)場景的深度圖生成算法，以得到所述背景深度圖序列。
6.如權(quán)利要求5所述的平面視頻的深度圖求取方法，其特征在于，靜態(tài)場景的深度圖生成算法包括Bundle算法
7.如權(quán)利要求I所述的平面視頻的深度圖求取方法，其特征在于，步驟S4包括使用深度估計算法對所述原始平面視頻進行深度估計，以得到所述初始深度圖序列。
8.如權(quán)利要求7所述的平面視頻的深度圖求取方法，其特征在于，所述深度估計算法包括BP算法。
9.如權(quán)利要求I所述的平面視頻的深度圖求取方法，其特征在于，步驟S5進一步包括以下步驟、 S51 :由所述前景運動物體的掩膜圖像和所述初始深度圖序列得到所述前景運動物體的初始深度圖； 、S52:結(jié)合所述背景深度圖序列的信息和所述前景運動物體的空間位置信息，對每一幀所述前景運動物體的初始深度圖進行修正，以得到包含所述前景運動物體和背景的深度圖序列； S53 :對包含所述前景運動物體和背景的深度圖序列進行濾波處理。
10.如權(quán)利要求9所述的平面視頻的深度圖求取方法，其特征在于，步驟S52進一步包括 計算攝像機參數(shù)，結(jié)合所述前景運動物體的空間位置信息估計所述前景運動物體所處的運動平面； 在所述背景深度圖序列中，提取所述運動平面的深度信息，對每一幀所述前景運動物體的初始深度圖進行修正。
11.如權(quán)利要求9所述的平面視頻的深度圖求取方法，其特征在于，步驟S53中所述濾波處理包括雙邊濾波，高斯濾波。
12.如權(quán)利要求I所述的平面視頻的深度圖求取方法，其特征在于，步驟S5之后還包括對所述平面原始視頻的深度圖序列進行平滑后處理。
全文摘要
本發(fā)明提供一種平面視頻的深度圖求取方法，包括以下步驟對原始平面視頻中的前景運動物體進行檢測和提取，計算前景運動物體的遮擋關(guān)系，得到前景運動物體的掩膜圖像；根據(jù)前景運動物體的掩膜圖像對原始平面視頻進行背景重構(gòu)，以得到去除前景運動物體的背景視頻序列；對背景視頻序列求取背景深度圖序列；對原始平面視頻求取初始深度圖序列；根據(jù)初始深度圖序列中前景運動物體的初始深度信息，以及背景深度圖序列中的前景運動物體的幾何信息，得到平面原始視頻的深度圖序列。根據(jù)本發(fā)明實施例的方法能夠精確求取平面視頻中每一幀的深度圖，并且所求取的深度圖邊緣清楚、深度層次明確、平滑性能好且時域穩(wěn)定性高。
文檔編號G06T5/00GK102622768SQ201210067349
公開日2012年8月1日 申請日期2012年3月14日 優(yōu)先權(quán)日2012年3月14日
發(fā)明者巨金龍, 戴瓊海, 林靖宇 申請人:清華大學(xué)