專利名稱：一種基于圖像分割和運(yùn)動(dòng)估計(jì)的雙目視頻深度圖求取方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計(jì)算機(jī)多媒體技術(shù)領(lǐng)域，特別涉及一種基于圖像分割和運(yùn)動(dòng)估計(jì)的雙目視頻深度圖求取方法。
背景技術(shù)：
立體視頻是一種能夠使人產(chǎn)生立體感的新型視頻技術(shù)，它可以使人通過視頻看到與真實(shí)世界幾乎完全一樣的景象，產(chǎn)生真實(shí)感和臨場感，所以必將成為未來多媒體技術(shù)的發(fā)展方向。目前，通常采用的立體視頻體系結(jié)構(gòu)為同時(shí)傳輸兩段視頻，其中一段是待轉(zhuǎn)換的平面視頻序列，另一段是相對(duì)應(yīng)的深度圖序列，其包含了各幀中每個(gè)像素的深度信息，通過DIBR (Depth Image Based Rendering,基于深度圖渲染)技術(shù),獲得真實(shí)世界場景在一個(gè)或多個(gè)方向上的虛擬視角，最終合成立體視頻。
這種使用DIBR技術(shù)的立體視頻體系結(jié)構(gòu)，最重要的和最困難的一步就是深度圖的獲取，目前，一種獲取方法是通過軟件算法，由一對(duì)從不同視角拍攝到的場景圖像恢復(fù)出場景的深度圖，還有一種方法是通過對(duì)平面圖像進(jìn)行手工或半自動(dòng)地處理，得到偽深度圖。但是，上述獲取雙目視頻深度圖的方法存在很多缺陷，例如邊緣不夠準(zhǔn)確，在遮擋部分得不到理想效果，準(zhǔn)確性和實(shí)時(shí)性無法兼顧，深度圖不能夠較真實(shí)的反映場景物體的遠(yuǎn)近關(guān)系等。

發(fā)明內(nèi)容
本發(fā)明旨在至少解決現(xiàn)有技術(shù)中存在的技術(shù)問題，特別創(chuàng)新地提出了一種基于圖像分割和運(yùn)動(dòng)估計(jì)的雙目視頻深度圖求取方法。為了實(shí)現(xiàn)本發(fā)明的上述目的，本發(fā)明提供了一種基于圖像分割和運(yùn)動(dòng)估計(jì)的雙目視頻深度圖求取方法，其包括如下步驟SI :對(duì)兩幅圖像分別進(jìn)行單幀圖像分割；S2 :利用基于圖像分割的立體匹配算法進(jìn)行深度計(jì)算；S3 :利用運(yùn)動(dòng)估計(jì)修正深度提取的結(jié)果。本發(fā)明的基于圖像分割和運(yùn)動(dòng)估計(jì)的雙目視頻深度圖求取方法提取的深度圖邊緣準(zhǔn)確，在遮擋部分也能夠得到理想效果，能夠兼顧準(zhǔn)確性和實(shí)時(shí)性，真實(shí)地反映出場景物體的遠(yuǎn)近關(guān)系。在本發(fā)明的優(yōu)選實(shí)施例中，采用自適應(yīng)grabcut算法對(duì)兩幅圖像分別進(jìn)行分割。該自適應(yīng)grabcut算法為假設(shè)前景為一個(gè)圓形，先對(duì)圖片進(jìn)行hough變換尋找前景,再進(jìn)行g(shù)rabcut算法進(jìn)行分割。本發(fā)明的圖像分割方法充分利用彩色圖像的彩色信息將圖像分割成不同區(qū)域，有效克服了視差圖邊界模糊問題，能較好處理大的低紋理區(qū)域。在本發(fā)明的另一優(yōu)選實(shí)施例中，計(jì)算初始匹配點(diǎn)的方法為計(jì)算各像素在不同視差的疊加匹配代價(jià)時(shí)采用改進(jìn)的SSD算法，窗口選取為3*3，在分析和利用計(jì)算圖像每個(gè)窗口的SSD值時(shí)的模板在水平方向和豎直方向上具有的平移特性，以及前后上下窗口模板的相互關(guān)系，利用已計(jì)算的值，來計(jì)算新的窗口的SSD值。本發(fā)明改進(jìn)了 grabcut和SSD算法，提出了新的能量函數(shù)和評(píng)價(jià)函數(shù)，得到了較好的深度圖效果。在本發(fā)明的另一優(yōu)選實(shí)施例中，進(jìn)行深度計(jì)算的方法時(shí)引入模板優(yōu)化和模板分配。該模板優(yōu)化和模板分配的方法為將不同時(shí)刻的同一不可靠區(qū)域的模板作為不同階段，此時(shí)對(duì)應(yīng)的全局能量函數(shù)值即為此階段的狀態(tài)，每次改變一個(gè)不可靠區(qū)域的模板，而同時(shí)其他區(qū)域模板均不作改變，采用自底向上的方式計(jì)算最優(yōu)值，最不同時(shí)刻的值依次計(jì)算，計(jì)算完成后，計(jì)算臨近幀能量函數(shù)值相差最小的一條最優(yōu)軌跡，同時(shí)，更新這些幀的模板區(qū)域分配，下一幀使用更新后的結(jié)果。本發(fā)明區(qū)域模板及模板優(yōu)化的弓I入使得整個(gè)算法具有更好的魯棒性。本發(fā)明的附加方面和優(yōu)點(diǎn)將在下面的描述中部分給出，部分將從下面的描述中變 得明顯，或通過本發(fā)明的實(shí)踐了解到。


本發(fā)明的上述和/或附加的方面和優(yōu)點(diǎn)從結(jié)合下面附圖對(duì)實(shí)施例的描述中將變得明顯和容易理解，其中圖I是本發(fā)明基于圖像分割和運(yùn)動(dòng)估計(jì)的雙目視頻深度圖求取方法的流程圖；圖2是本發(fā)明一個(gè)優(yōu)選實(shí)施例中提供的單幀場景圖像對(duì)；圖3是圖2中所示單幀場景圖像對(duì)利用基于圖像分割的立體匹配算法進(jìn)行深度計(jì)算后的深度圖；圖4是圖3中所示圖像利用運(yùn)動(dòng)估計(jì)進(jìn)行修正后的深度圖。
具體實(shí)施例方式下面詳細(xì)描述本發(fā)明的實(shí)施例，所述實(shí)施例的示例在附圖中示出，其中自始至終相同或類似的標(biāo)號(hào)表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實(shí)施例是示例性的，僅用于解釋本發(fā)明，而不能理解為對(duì)本發(fā)明的限制。圖I是本發(fā)明基于圖像分割和運(yùn)動(dòng)估計(jì)的雙目視頻深度圖求取方法的流程圖，從圖中可見，該基于圖像分割和運(yùn)動(dòng)估計(jì)的雙目視頻深度圖求取方法包括如下步驟SI :對(duì)兩幅圖像分別進(jìn)行單幀圖像分割；S2 :利用基于圖像分割的立體匹配算法進(jìn)行深度計(jì)算；S3 :利用運(yùn)動(dòng)估計(jì)修正深度提取的結(jié)果。在本實(shí)施方式中，步驟SI中采用自適應(yīng)grabcut算法對(duì)兩幅圖像分別進(jìn)行分割。該自適應(yīng)grabcut算法為假設(shè)前景為一個(gè)圓形，先對(duì)圖片進(jìn)行hough變換尋找前景,再進(jìn)行g(shù)rabcut算法進(jìn)行分割。對(duì)圖片進(jìn)行hough變換尋找前景的方法為先在2維平面的每個(gè)切面上檢測圓形，將每個(gè)切片圓心的累計(jì)值加到同一個(gè)二維累計(jì)數(shù)組中，最終累計(jì)數(shù)組最大值所在位置就是二維平面上的球心，利用這個(gè)球心在每個(gè)切片上估計(jì)圓的半徑，在第三維和半徑平面上進(jìn)行累計(jì)，取最大值即可得到球心在第三維位置和半徑。具體地，采用grabcut算法需要首先在圖像上人工通過筆畫標(biāo)定前景和背景，為了達(dá)到自適應(yīng)grabcut算法的效果，第一步需要標(biāo)定前景位置，為了處理方便，將物體的前景假設(shè)為圓形，采用hough變化確定位置。首先在xyz三維景物上做平行于xy平面的各個(gè)切片的采樣，并在這些平面上檢測圓形，先將所有檢測到的所有邊界標(biāo)記下來，將所有不過同一直線的邊界上3個(gè)點(diǎn)的組合看作一個(gè)圓形，計(jì)算這個(gè)圓形的圓心，將每個(gè)切片的圓心位置統(tǒng)計(jì)下來，將這些圓心的累計(jì)值都加到一個(gè)二維數(shù)組中，將數(shù)組中每個(gè)圓心對(duì)應(yīng)位置記為1，最終累計(jì)數(shù)組中最大值的所在位置就作為球心在xy平面上的投影位置，利用這個(gè)坐標(biāo)，可以得到關(guān)于這個(gè)坐標(biāo)在每個(gè)切片上圓半徑的估計(jì)值，利用這些值再關(guān)于z軸和球半徑r做累計(jì)，得到的累計(jì)最大值就作為球的半徑。估計(jì)出球心位置和半徑之后，可以得到在z軸上的起始和終止位置，將能量函數(shù)定義為
權(quán)利要求
1.一種基于圖像分割和運(yùn)動(dòng)估計(jì)的雙目視頻深度圖求取方法，其特征在于，包括如下步驟 Si:對(duì)兩幅圖像分別進(jìn)行單幀圖像分割； 52:利用基于圖像分割的立體匹配算法進(jìn)行深度計(jì)算； 53:利用運(yùn)動(dòng)估計(jì)修正深度提取的結(jié)果。
2.如權(quán)利要求I所述的基于圖像分割和運(yùn)動(dòng)估計(jì)的雙目視頻深度圖求取方法，其特征在于，采用自適應(yīng)grabcut算法對(duì)兩幅圖像分別進(jìn)行分割。
3.如權(quán)利要求2所述的基于圖像分割和運(yùn)動(dòng)估計(jì)的雙目視頻深度圖求取方法，其特征在于，所述自適應(yīng)grabcut算法為假設(shè)前景為一個(gè)圓形，先對(duì)圖片進(jìn)行hough變換尋找前景，再進(jìn)行g(shù)rabcut算法進(jìn)行分割。
4.如權(quán)利要求3所述的基于圖像分割和運(yùn)動(dòng)估計(jì)的雙目視頻深度圖求取方法，其特征在于，所述對(duì)圖片進(jìn)行hough變換尋找前景的方法為先在2維平面的每個(gè)切面上檢測圓形，將每個(gè)切片圓心的累計(jì)值加到同一個(gè)二維累計(jì)數(shù)組中，最終累計(jì)數(shù)組最大值所在位置就是二維平面上的球心，利用這個(gè)球心在每個(gè)切片上估計(jì)圓的半徑，在第三維和半徑平面上進(jìn)行累計(jì)，取最大值即可得到球心在第三維位置和半徑。
5.如權(quán)利要求I所述的基于圖像分割和運(yùn)動(dòng)估計(jì)的雙目視頻深度圖求取方法，其特征在于，所述利用基于圖像分割的立體匹配算法進(jìn)行深度計(jì)算的方法為先計(jì)算初始匹配點(diǎn)，然后計(jì)算模板和不同區(qū)域的合并，最后進(jìn)行模板優(yōu)化和模板分配。
6.如權(quán)利要求5所述的基于圖像分割和運(yùn)動(dòng)估計(jì)的雙目視頻深度圖求取方法，其特征在于，所述計(jì)算初始匹配點(diǎn)的方法為計(jì)算各像素在不同視差的疊加匹配代價(jià)時(shí)采用改進(jìn)的SSD算法，窗口選取為3*3，在分析和利用計(jì)算圖像每個(gè)窗口的SSD值時(shí)的模板在水平方向和豎直方向上具有的平移特性，以及前后上下窗口模板的相互關(guān)系，利用已計(jì)算的值，來計(jì)算新的窗口的SSD值。
7.如權(quán)利要求5所述的基于圖像分割和運(yùn)動(dòng)估計(jì)的雙目視頻深度圖求取方法，其特征在于，所述計(jì)算模板和不同區(qū)域的合并的方法為利用加權(quán)最小二乘法計(jì)算可靠區(qū)域的模板參數(shù)，對(duì)于不可靠區(qū)域，利用相同或相近的可靠區(qū)域模板代替，取可靠區(qū)域模板集合中相似度匹配代價(jià)最小的模板作為該區(qū)域的初始模板。
8.如權(quán)利要求5所述的基于圖像分割和運(yùn)動(dòng)估計(jì)的雙目視頻深度圖求取方法，其特征在于，所述模板優(yōu)化和模板分配的方法為將不同時(shí)刻的同一不可靠區(qū)域的模板作為不同階段，此時(shí)對(duì)應(yīng)的全局能量函數(shù)值即為此階段的狀態(tài)，每次改變一個(gè)不可靠區(qū)域的模板，而同時(shí)其他區(qū)域模板均不作改變，采用自底向上的方式計(jì)算最優(yōu)值，最不同時(shí)刻的值依次計(jì)算，計(jì)算完成后，計(jì)算臨近幀的能量函數(shù)值相差最小的一條最優(yōu)軌跡，同時(shí)，更新這些幀的模板區(qū)域分配，下一幀使用更新后的結(jié)果。
9.如權(quán)利要求I所述的基于圖像分割和運(yùn)動(dòng)估計(jì)的雙目視頻深度圖求取方法，其特征在于，所述利用運(yùn)動(dòng)估計(jì)修正深度提取的結(jié)果的方法為首先利用光流法進(jìn)行運(yùn)動(dòng)估計(jì)，利用同一鏡頭內(nèi)其他幀的信息提高預(yù)測精度，即提取出當(dāng)前幀前后的多個(gè)幀，用當(dāng)前幀和所有提取出來的幀之間尋找最優(yōu)匹配塊進(jìn)行運(yùn)動(dòng)補(bǔ)償，利用BP算法求解融入時(shí)間項(xiàng)后的能量函數(shù)。
全文摘要
本發(fā)明提出了一種基于圖像分割和運(yùn)動(dòng)估計(jì)的雙目視頻深度圖求取方法，其包括如下步驟對(duì)兩幅圖像分別進(jìn)行單幀圖像分割；利用基于圖像分割的立體匹配算法進(jìn)行深度計(jì)算；利用運(yùn)動(dòng)估計(jì)修正深度提取的結(jié)果。該基于圖像分割和運(yùn)動(dòng)估計(jì)的雙目視頻深度圖求取方法提取的深度圖邊緣準(zhǔn)確，在遮擋部分也能夠得到理想效果，能夠兼顧準(zhǔn)確性和實(shí)時(shí)性，真實(shí)地反映出場景物體的遠(yuǎn)近關(guān)系。
文檔編號(hào)H04N13/00GK102750711SQ20121018165
公開日2012年10月24日 申請日期2012年6月4日 優(yōu)先權(quán)日2012年6月4日
發(fā)明者戴瓊海, 曹汛, 王好謙, 馬瀟 申請人:清華大學(xué)