一種通過單視角彩色圖像序列生成深度圖序列的方法
【專利摘要】本發(fā)明涉及一種通過單視角彩色圖像序列生成深度圖序列的方法，包括以下步驟：（A1）輸入彩色圖像序列；（A2）按時(shí)域順序讀取彩色圖像序列中的一幀圖像，并將該幀彩色圖像轉(zhuǎn)換為灰度圖像；（A3）對所述灰度圖像按照Zig-Zag掃描方式進(jìn)行基于聯(lián)合時(shí)域空域的深度計(jì)算，得到深度圖序列；（A4）重復(fù)步驟A2～A3，直至所有序列中的所有彩色圖像全部處理完畢；（A5）輸出所述得到的深度圖序列。本發(fā)明具有以下優(yōu)點(diǎn)：生成深度圖序列的時(shí)域平穩(wěn)性好；生成深度圖序列的空域錯(cuò)誤減少。
【專利說明】一種通過單視角彩色圖像序列生成深度圖序列的方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種通過單視角二維彩色圖像序列生成對應(yīng)深度圖序列的方法。
【背景技術(shù)】
[0002]深度圖序列是重構(gòu)三維視頻的重要信息，當(dāng)前獲取深度圖序列方法主要有主動(dòng)式和被動(dòng)式兩種。主動(dòng)式獲取主要指利用深度相機(jī)對三維場景中的距離信息進(jìn)行測量，并將測量結(jié)果用圖的形式來表示。被動(dòng)式獲取主要通過二維彩色圖像序列進(jìn)行計(jì)算得到。其中，主動(dòng)式獲取深度信息只能在視頻采集階段實(shí)施，而對于已經(jīng)采集到的二維彩色圖像序列則已經(jīng)損失了三維場景的距離信息，需要利用被動(dòng)式獲取方式計(jì)算得到深度圖序列。
[0003]在被動(dòng)式獲取方式中，通常利用多視角的二維彩色圖像序列進(jìn)行匹配計(jì)算得到視差信息，再將視差信息利用空間幾何關(guān)系轉(zhuǎn)換成深度信息，保存為深度圖序列。但是這種方法必須具備多視角的二維彩色圖像序列以及視角之間的配準(zhǔn)參數(shù)，才能得到準(zhǔn)確的深度信息。并且在實(shí)際生活中，大量的視頻源都是已經(jīng)采集得到的二維視頻序列，只有單視角信息，無法再度采集得到其他視角信息。因此，在這種情況下如何通過已經(jīng)獲得的單視角二維彩色圖像序列獲得相應(yīng)的深度圖序列就成為一個(gè)迫切需要解決的問題。
[0004]在利用單視角彩色圖生成深度圖的時(shí)候，通常會借助視覺先驗(yàn)信息，比如幾何形狀、空間疊加關(guān)系等空域信息，對場景的深度值進(jìn)行估計(jì)，從而生成相應(yīng)的深度圖。該類技術(shù)已經(jīng)取得了一定的效果。但是對于圖像序列而言，以往方法一般是采用逐幀生成的方式，而沒有充分考慮到序列中圖像之間的時(shí)域特征，不僅會影響深度圖的生成質(zhì)量，甚至?xí)?dǎo)致深度圖序列出現(xiàn)時(shí)域上的錯(cuò)誤抖動(dòng)，從而影響最終效果。本發(fā)明針對單視角彩色圖像序列的情況，聯(lián)合利用圖像空域信息和序列時(shí)域信息，有效提高生成深度圖序列的質(zhì)量。

【發(fā)明內(nèi)容】

[0005]本發(fā)明的目的為了提升單視角二維彩色圖像序列生成深度圖序列的質(zhì)量、提升深度圖計(jì)算的準(zhǔn)確性，改進(jìn)深度圖時(shí)域抖動(dòng)、空域錯(cuò)誤、場景還原性低等缺陷，而提供的一種通過單視角彩色圖像序列生成深度圖序列的方法，本發(fā)明通過時(shí)域與空域聯(lián)合計(jì)算深度圖序列的方法，通過提取像素點(diǎn)在空域上和時(shí)域上的平滑性特征，并在讀取和掃描的過程中進(jìn)行深度圖序列的計(jì)算。這樣的方法，能有利于改進(jìn)深度圖時(shí)域抖動(dòng)、空域不穩(wěn)定、場景還原性低等缺陷的深度圖序列。
[0006]本發(fā)明的技術(shù)方案為:
[0007]—種通過單視角彩色圖像序列生成深度圖序列的方法，其特征在于包括以下步驟:
[0008](Al)輸入彩色圖像序列；
[0009](A2)按時(shí)域順序讀取彩色圖像序列中的一幀圖像，并將該幀彩色圖像轉(zhuǎn)換為灰度圖像；
[0010](A3)對所述灰度圖像按照Zig-Zag掃描方式進(jìn)行基于聯(lián)合時(shí)域空域的深度計(jì)算，得到深度圖序列；
[0011](A4)重復(fù)步驟A2?A3，直至所有序列中的所有彩色圖像全部處理完畢；
[0012](A5)輸出所述得到的深度圖序列。
[0013]所述步驟(A2)中的灰度圖像通過以下其中一種方式得到:
[0014](BI)通過彩色圖任一彩色分量而形成；
[0015]或，(B2)通過對彩色圖的彩色分量加權(quán)求和而形成；
[0016]或，(B3)轉(zhuǎn)換成其他色彩空間后，用任一彩色分量而形成；
[0017]或，(B4)轉(zhuǎn)換成其他色彩空間后，對新的彩色分量加權(quán)求和而成。
[0018]所述步驟(A3)中灰度圖像按照Zig-Zag掃描方式是指以下方式中的一種:
[0019](Cl)對所述圖像從上至下，以行像素為單位，首先從左至右進(jìn)行掃描，隨后從右至左進(jìn)行掃描，依此類推，直至圖像所有像素掃描完畢；或，(C2)對所述圖像從上至下，以行像素為單位，首先從右至左進(jìn)行掃描，隨后從左至右進(jìn)行掃描，依此類推，直至圖像所有像素掃描完畢。
[0020]所述步驟(A3)中所述基于聯(lián)合時(shí)域空域的深度計(jì)算的方法，包括以下步驟:
[0021](Dl)利用時(shí)域匹配技術(shù)，包括但不限于光流法，將當(dāng)前圖像和相鄰圖像進(jìn)行時(shí)域匹配，獲取每個(gè)像素點(diǎn)的時(shí)域特征；
[0022](D2)獲取當(dāng)前圖像每個(gè)像素點(diǎn)的空域特征；
[0023](D3)按照圖像Zig-Zag掃描方式對所述灰度圖進(jìn)行掃描，當(dāng)掃描方式是從左至右時(shí)，比較灰度圖上當(dāng)前像素點(diǎn)P(X，y)與其周邊3個(gè)像素點(diǎn)P(x-1, y)、P(X-1, y-1)、P(x, y-1)之間的時(shí)空域特征差異，分別計(jì)算得到對應(yīng)的候選深度值dl、d2、d3 ;或，(D4)按照圖像Zig-Zag掃描方式對所述灰度圖進(jìn)行掃描，當(dāng)掃描方式是從右至左時(shí)，比較灰度圖上當(dāng)前像素點(diǎn)P (X，y)與其周邊3個(gè)像素點(diǎn)P (x+1, y)、P (x+1, y-1)、P (x, y-1)之間的時(shí)空域特征差異，分別計(jì)算得到對應(yīng)的候選深度值dl、d2、d3 ；
[0024](D5)取dl、d2、d3中的最小值，如果該最小值超出閾值范圍，則像素點(diǎn)P (x，y)的深度值為設(shè)定的初值，否則，像素點(diǎn)P(x，y)的深度值為dl、d2、d3中的最小值；
[0025](D6)重復(fù)(D2)?(D5)直至所有像素點(diǎn)的深度值都計(jì)算完成，得到深度圖序列。
[0026]根據(jù)本發(fā)明實(shí)施例的深度圖序列生成方法，使用方便，處理效率高，并具有穩(wěn)定的質(zhì)量。具體而言，本發(fā)明實(shí)施例的深度圖序列生成方法包括以下優(yōu)點(diǎn):
[0027](I)生成深度圖序列的時(shí)域平穩(wěn)性好:在深度圖序列生成過程中引入了時(shí)域特征，因此生成的深度圖序列的時(shí)域穩(wěn)定性好。
[0028](2)生成深度圖序列的空域錯(cuò)誤減少:一般方法僅依據(jù)空域特征進(jìn)行深度值的生成，當(dāng)空域特征變化趨勢與深度值變化趨勢不一致時(shí)，容易引發(fā)深度值的生成錯(cuò)誤。本方法綜合考慮時(shí)域特征，極大的降低了這種錯(cuò)誤的發(fā)生。
【專利附圖】

【附圖說明】
[0029]圖1為本發(fā)明聯(lián)合時(shí)域空域深度計(jì)算時(shí)各像素點(diǎn)的位置分布圖。
【具體實(shí)施方式】
[0030]通過【具體實(shí)施方式】對作本發(fā)明作進(jìn)一步描述。[0031](Al)輸入彩色圖像序列；
[0032](A2)按時(shí)域順序讀取彩色圖像序列中的一幀圖像，并將該幀彩色圖像轉(zhuǎn)換為灰度圖像；灰度圖像通過彩色圖任一彩色分量而形成；當(dāng)然還可以通過以下方式之一得到:通過對彩色圖的彩色分量加權(quán)求和而形成；或，轉(zhuǎn)換成其他色彩空間后，用任一彩色分量而形成；或，轉(zhuǎn)換成其他色彩空間后，對新的彩色分量加權(quán)求和而成；
[0033](A3)對所述灰度圖像按照Zig-Zag掃描方式進(jìn)行基于聯(lián)合時(shí)域空域的深度計(jì)算，得到深度圖序列；所述灰度圖像按照Zig-Zag掃描方式是指以下方式中的一種:(Cl)對所述圖像從上至下，以行像素為單位，首先從左至右進(jìn)行掃描，隨后從右至左進(jìn)行掃描，依此類推，直至圖像所有像素掃描完畢；或，(C2)對所述圖像從上至下，以行像素為單位，首先從右至左進(jìn)行掃描，隨后從左至右進(jìn)行掃描，依此類推，直至圖像所有像素掃描完畢；
[0034](A4)重復(fù)步驟A2~A3，直至所有序列中的所有彩色圖像全部處理完畢；
[0035](A5)輸出所述得到的深度圖序列。
[0036]所述步驟( A3)中所述基于聯(lián)合時(shí)域空域的深度計(jì)算方法，包括以下步驟:
[0037](Dl)利用時(shí)域匹配技術(shù)也就是光流法，將當(dāng)前圖像和相鄰圖像進(jìn)行時(shí)域匹配，計(jì)算得到每一個(gè)像素點(diǎn)的運(yùn)動(dòng)矢量，并以運(yùn)動(dòng)矢量為基礎(chǔ)計(jì)算每一個(gè)像素點(diǎn)的時(shí)域特征值。設(shè)P為圖像中的任意一個(gè)像素點(diǎn)，Tp為像素點(diǎn)P的時(shí)域特征值，P’為像素點(diǎn)P在相鄰圖像中的匹配點(diǎn)，則Tp按照如下公式進(jìn)行計(jì)算得到:
[0038]Tp=f (MVxlMVy)
[0039]其中，MVx=I Xp-Xp, I, MVy= | yp-yp，|, /(λ% ν) = ^ +y2，其中 χρ 和 yp 是像素點(diǎn) P 的圖
像橫坐標(biāo)和縱坐標(biāo)。Xp，和yp，是像素點(diǎn)P’的圖像橫坐標(biāo)和縱坐標(biāo)。其中，f(x, y)的選取是開放性的，即任何合理的函數(shù)選取作為f(x，y)均是可行的。
[0040](D2)獲取當(dāng)前圖像每個(gè)像素點(diǎn)的空域特征。設(shè)P為圖像中的任意一個(gè)像素點(diǎn)，Sp為像素點(diǎn)P的空域特征值，Sp按照如下公式計(jì)算得到:
[0041]Sp=g(p)，其中函數(shù)g (P)代表像素點(diǎn)P的像素值。
[0042](D3)按照圖像Zig-Zag掃描方式對所述灰度圖進(jìn)行掃描，當(dāng)掃描方式是從左至右時(shí)，比較灰度圖上當(dāng)前像素點(diǎn)P(x，y)與其周邊3個(gè)像素點(diǎn)A、B、C之間的時(shí)空域特征差異，其中A、B、C的坐標(biāo)分別為(x-1，y)、(x-1, y-1)、(x, y-1)。然后再分別計(jì)算得到對應(yīng)的候選深度值(KA)、d(B)、d(C):
[0043]或，(D4)按照圖像Zig-Zag掃描方式對所述灰度圖進(jìn)行掃描，當(dāng)掃描方式是從右至左時(shí)，比較灰度圖上當(dāng)前像素點(diǎn)P (X，y)與其周邊3個(gè)像素點(diǎn)C、D、E之間的時(shí)空域特征差異,其中C、D、E的空間坐標(biāo)分別為(X，y-1)、(x+1, y)、(x+1, y-1)、分別計(jì)算得到對應(yīng)的候選深度值(1(0、(1(0)、(1?)；
[0044]其中，P、A、B、C、D、E的位置如圖1所示。
[0045]其中兩個(gè)像素點(diǎn)的時(shí)空域特征差異按照如下公式進(jìn)行計(jì)算:
[0046]TSp； q=a.h (Tp-Tq) + β.h (Sp-Sq),
[0047]其中h(x) = |x|，a和β為權(quán)重因子，是O~I之間的一個(gè)實(shí)數(shù)。在本實(shí)施例中，a = β =0.5 ο
[0048]然后，對于像素點(diǎn)P而言，候選深度值d(q)的計(jì)算如下:
[0049]d(q) ^ d(p)+TS/Ki/,
[0050]其中β (p)是P點(diǎn)的前一個(gè)已賦值像素點(diǎn)的深度值。對于(D3)中的情況，q點(diǎn)可以為A、B、C三點(diǎn)中的一個(gè)。對于(D4)中的情況，q點(diǎn)可以為C、D、E三點(diǎn)中的一個(gè)。
[0051](D5)取三個(gè)候選深度值中的最小值，如果該最小值超出閾值范圍，則像素點(diǎn)P(x, y)的深度值為已設(shè)定的初值，否則，像素點(diǎn)P(x，y)的深度值為候選深度值中的最小值，在本實(shí)施例中，閾值范圍為O~255。
[0052](D6)重復(fù)(D2)~ (D5)直至所有像素點(diǎn)的深度值都計(jì)算完成，得到深度圖序列。
【權(quán)利要求】
1.一種通過單視角彩色圖像序列生成深度圖序列的方法，其特征在于包括以下步驟: (Al)輸入彩色圖像序列； (A2)按時(shí)域順序讀取彩色圖像序列中的一幀圖像，并將該幀彩色圖像轉(zhuǎn)換為灰度圖像； (A3)對所述灰度圖像按照Zig-Zag掃描方式進(jìn)行基于聯(lián)合時(shí)域空域的深度計(jì)算，得到深度圖序列； (A4)重復(fù)步驟A2?A3，直至所有序列中的所有彩色圖像全部處理完畢； (A5)輸出所述得到的深度圖序列。
2.根據(jù)權(quán)利要求1所述的通過單視角彩色圖像序列生成深度圖序列的方法，其特征在于:所述步驟(A2)中的灰度圖像通過以下其中一種方式得到: (BI)通過彩色圖任一彩色分量而形成； 或，(B2)通過對彩色圖的彩色分量加權(quán)求和而形成； 或，(B3)轉(zhuǎn)換成其他色彩空間后，用任一彩色分量而形成； 或，(B4)轉(zhuǎn)換成其他色彩空間后，對新的彩色分量加權(quán)求和而成。
3.根據(jù)權(quán)利要求1所述的通過單視角彩色圖像序列生成深度圖序列的方法，其特征在于:所述步驟(A3)中灰度圖像按照Zig-Zag掃描方式是指以下方式中的一種: (Cl)對所述圖像從上至下，以行像素為單位，首先從左至右進(jìn)行掃描，隨后從右至左進(jìn)行掃描，依此類推，直至圖像所有像素掃描完畢；或，(C2)對所述圖像從上至下，以行像素為單位，首先從右至左進(jìn)行掃描，隨后從左至右進(jìn)行掃描，依此類推，直至圖像所有像素掃描完畢。
4.根據(jù)權(quán)利要求1所述的通過單視角彩色圖像序列生成深度圖序列的方法，其特征在于:所述步驟(A3)中所述基于聯(lián)合時(shí)域空域的深度計(jì)算的方法，包括以下步驟: (Dl)利用時(shí)域匹配技術(shù)，將當(dāng)前圖像和相鄰圖像進(jìn)行時(shí)域匹配，獲取每個(gè)像素點(diǎn)的時(shí)域特征； (D2)獲取當(dāng)前圖像每個(gè)像素點(diǎn)的空域特征； (D3)按照圖像Zig-Zag掃描方式對所述灰度圖進(jìn)行掃描，當(dāng)掃描方式是從左至右時(shí)，比較灰度圖上當(dāng)前像素點(diǎn)P(x, y)與其周邊3個(gè)像素點(diǎn)P(x-1, y)、P(x-1, y-1)、P(x, y-1)之間的時(shí)空域特征差異，分別計(jì)算得到對應(yīng)的候選深度值dl、d2、d3 ;或，(D4)按照圖像Zig-Zag掃描方式對所述灰度圖進(jìn)行掃描，當(dāng)掃描方式是從右至左時(shí)，比較灰度圖上當(dāng)前像素點(diǎn)P (X，y)與其周邊3個(gè)像素點(diǎn)P (x+1, y)、P (x+1, y-1)、P (x, y-1)之間的時(shí)空域特征差異，分別計(jì)算得到對應(yīng)的候選深度值dl、d2、d3 ； (D5)取dl、d2、d3中的最小值，如果該最小值超出閾值范圍，則像素點(diǎn)P(x，y)的深度值為設(shè)定的初值，否則，像素點(diǎn)P(x，y)的深度值為dl、d2、d3中的最小值； (D6)重復(fù)(D2)?(D5)直至所有像素點(diǎn)的深度值都計(jì)算完成，得到深度圖序列。
5.根據(jù)權(quán)利要求4所述的通過單視角彩色圖像序列生成深度圖序列的方法，其特征在于:所述的時(shí)域匹配技術(shù)為光流法。
【文檔編號】H04N13/02GK103945211SQ201410092424
【公開日】2014年7月23日 申請日期:2014年3月13日 優(yōu)先權(quán)日:2014年3月13日
【發(fā)明者】楊鈾, 于國星, 喻莉, 陳小平 申請人:華中科技大學(xué), 深圳深訊和科技有限公司