專利名稱：產(chǎn)生立體影片深度圖的方法
技術(shù)領(lǐng)域：
本發(fā)明是關(guān)于一種產(chǎn)生立體影片的深度圖的方法，特別有關(guān)一種能夠加速產(chǎn)生該立體影片的深度圖的方法。
背景技術(shù)：
目前三維立體呈像多半是利用視差原理來實(shí)現(xiàn)，藉由產(chǎn)生提供給左眼的影像及提供給右眼的影像，使觀者在適當(dāng)角度觀看畫面時(shí)產(chǎn)生三維空間感。雙視角(two-view)立體影片即是利用此原理制成的影片，其每一幅畫面均包含提供給左眼的影像及提供給右眼的影像。利用雙視角影片可計(jì)算出畫面中對(duì)象的相對(duì)距離的深度信息，各像素的深度信息即構(gòu)成深度圖(disparity map)。配合所得出的深度圖能夠?qū)㈦p視角立體影片進(jìn)一步合成以形成多視角(multi-view)的立體影片。然而，深度圖(或深度關(guān)系圖)的建構(gòu)非常耗時(shí)，在處理雙視角影片時(shí)，由于每一幅畫面均須計(jì)算出相對(duì)的深度圖，其計(jì)算量非常龐大。在現(xiàn)今已知的技術(shù)當(dāng)中，能夠計(jì)算出相對(duì)最精準(zhǔn)的深度圖的便是由Smith等人于CVPR 2009所發(fā)表的“Mereo Matching with Nonparametric Smoothness Priors in Feature Space，，。但是，此一方法的缺點(diǎn)在于計(jì)算時(shí)間冗長，以左右眼影像為分辨率720X576的雙視角立體圖片為例，計(jì)算其深度圖大略需要二至三分鐘，當(dāng)要計(jì)算出雙視角立體影片中每張畫面的深度圖時(shí)，其計(jì)算成本將會(huì)非常尚ο有些計(jì)算深度圖的算法則是希望可以達(dá)到比較快的速度，不過其深度圖便不夠精確，在目前已知的技術(shù)當(dāng)中，由Gupta及Cho于3DPVT 2010所發(fā)表的“Real-time Stereo Matching using Adaptive Binary Window”便是目前速度最快且效果上可被接受的方法。 此一方法的計(jì)算速度可以達(dá)到五秒一張，但是其所得到的深度圖仍然相當(dāng)不精準(zhǔn)。三維影片在制作上往往需要高精準(zhǔn)度的深度圖，然利用此一方法所得到的深度圖過于粗略，以致在后續(xù)合成時(shí)常有明顯的錯(cuò)誤發(fā)生。有鑒于此，如何提升立體影片的深度圖的計(jì)算效率，同時(shí)維持深度圖的精確度，實(shí)為目前企需努力之目標(biāo)。

發(fā)明內(nèi)容
本發(fā)明之一目的在于提供一種產(chǎn)生立體影片的深度圖的方法，其能夠加快該立體影片的深度圖的計(jì)算速度。為達(dá)前述目的，本發(fā)明提供一種產(chǎn)生立體影片的深度圖的方法，該立體影片為由前后兩相鄰的一第一畫面及一第二畫面構(gòu)成的影像串流，該方法包含步驟利用一預(yù)定的算法計(jì)算出相應(yīng)于該第一畫面的一第一深度圖；計(jì)算該第一畫面與該第二畫面中像素的平均顏色差異量；從該第一畫面選區(qū)復(fù)數(shù)個(gè)特征點(diǎn)，找出該等特征點(diǎn)在該第二畫面之位置，并計(jì)算該等特征點(diǎn)在該第一畫面與該第二畫面中的平均位移量；以及當(dāng)該平均顏色差異量小于一第一閾值，且當(dāng)該平均位移量小于一第二閾值，則根據(jù)該第一深度圖以及于該第一畫面所取的特征點(diǎn)在該第二畫面的位置，來得出相應(yīng)于該第二畫面的一第二深度圖，否則利用該預(yù)定的算法來計(jì)算出該第二深度圖。本發(fā)明中，某些相似的畫面中可利用前一張畫面的深度圖來推估后一張畫面的深度圖，其計(jì)算量會(huì)比利用特定算法重新計(jì)算深度圖來得小，因此應(yīng)用本發(fā)明來計(jì)算立體影片的深度圖可以減少運(yùn)算時(shí)間，加快立體影片的深度圖計(jì)算速度。經(jīng)過實(shí)測(cè)，大約55%的畫面可以利用光流法來做深度值計(jì)算的加速，因此計(jì)算整體影片的深度信息的速度將可大幅地增加。此外，利用光流法及前一張畫面的深度圖所推估出來的深度圖無法避免的勢(shì)必會(huì)產(chǎn)生破洞，此時(shí)可以找出后一張畫面中對(duì)應(yīng)該破洞的像素，參考其周圍鄰近像素(如周圍 3X3范圍內(nèi)的像素)中顏色最相近的像素，取該顏色最相近的像素的深度值作為對(duì)應(yīng)該破洞的像素的深度值。




圖。
圖1顯示本發(fā)明的產(chǎn)生立體影片的深度圖的方法的流程示意圖。 圖2顯示本發(fā)明中決定前后兩畫面中像素的平均顏色差異量的閾值的流程示意
圖3顯示本發(fā)明中決定前后兩畫面中特征點(diǎn)的平均位移量的閾值的流程示意圖。 圖4顯示本發(fā)明中利用光流法及前一張畫面的深度圖推估后一張畫面的深度圖的流程示意圖。 圖5顯示本發(fā)明利用內(nèi)插法得出被包圍的像素的特征向量的說明示意圖。 S12 S18步驟
S32 S38步驟
主要組件符號(hào)說明
S12 S18步驟
S32 S38步驟
S22 S28 S42"S46
S22"S28 S42"S46
步驟
BK BK BK
驟驟驟步 步步
具體實(shí)施例方式
雙視角(two-view)立體影片串流中，每一幅畫面均包含提供給左眼的影像及提供給右眼的影像，藉由此雙視角信息計(jì)算其深度關(guān)系是一項(xiàng)非常耗時(shí)的工作。本發(fā)明考慮到影片本身有所謂的時(shí)間軸關(guān)聯(lián)性(time coherence)，利用判斷前后畫面的相似度，來加快立體影片的深度圖的計(jì)算。在判斷前后畫面的相似度的部份，本發(fā)明采用兩個(gè)階段來進(jìn)行，第一階段先比較前后兩張畫面中像素的顏色相似度，第二階段從前一張畫面選區(qū)復(fù)數(shù)個(gè)特征點(diǎn)，找出這些特征點(diǎn)在后一張畫面的位置，并計(jì)算出這些特征點(diǎn)在前后兩張畫面中的位移程度。如果前后畫面頗為相似，則可根據(jù)前一張畫面的深度圖，得出下一張畫面的深度圖，依此來加快立體影片的深度圖的計(jì)算。配合所得出的深度圖，可將二維影片以三維顯示技術(shù)顯示而產(chǎn)生三維的效果，亦可配合深度圖將雙視角立體影片進(jìn)一步合成以形成多視角(multi-view)立體影片，此合成方法稱為基于深度圖像繪圖法(cbpth image based rendering)。
5
圖1顯示本發(fā)明產(chǎn)生立體影片的深度圖的方法的流程示意圖。首先，在步驟S12 中，將該立體影片中相鄰的前后兩張畫面進(jìn)行顏色比對(duì)，計(jì)算前后兩張畫面中像素的平均顏色差異量，以判斷其顏色相似度，如果這兩張畫面的顏色相似度很高，則進(jìn)行下一階段的比對(duì)，亦即步驟S14，從前一張畫面選取復(fù)數(shù)個(gè)特征點(diǎn)，利用光流法(optical flow)找出這些特征點(diǎn)在后一張畫面的位置，并計(jì)算出這些特征點(diǎn)在前后兩畫面中的平均位移量，以判斷前后兩張畫面中對(duì)象的移動(dòng)程度。如果這兩張畫面的顏色相似度很高，且該等特征點(diǎn)的平均位移量不大，亦即通過步驟S12及步驟S14的比對(duì)，表示這兩張畫面頗為類似，則可根據(jù)前一張畫面所取的特征點(diǎn)在后一張畫面的位置以及前一張畫面的深度圖，來對(duì)應(yīng)得出后一張畫面的深度圖，如步驟S16所示。在步驟S12的顏色比對(duì)中，若前后兩張畫面的顏色相似度很低，該平均顏色差異過大，則須重新計(jì)算后一張畫面的深度圖，以預(yù)定的算法計(jì)算出較為精確的深度圖，如步驟S18所示。在步驟S14的位移量比對(duì)中，若前后兩張畫面中對(duì)象的移動(dòng)程度很大，該等特征點(diǎn)的平均位移量過大，則須以預(yù)定的算法計(jì)算該后一張畫面的深度圖。只要沒有通過步驟S12及步驟S14任一步驟的比對(duì)，即需以預(yù)定的算法來重新計(jì)算深度圖。在本實(shí)施例中，是先進(jìn)行步驟S12的顏色比對(duì)，于步驟S12比對(duì)通過后，再進(jìn)行步驟 S14的位移量比對(duì)，此是因顏色差異的計(jì)算相較于光流法的計(jì)算量要小得許多，如果前后畫面的顏色差異已過大，則無必要進(jìn)行位移量的比較，因此可以在較短的時(shí)間內(nèi)決定是否重新計(jì)算較為精確的深度圖。此外，前述預(yù)定的算法可采用Smith等人所開發(fā)的算法，來計(jì)算出相對(duì)最精確的深度圖。此外，本發(fā)明不限于上述步驟S12的顏色比對(duì)及步驟S14的位移量比對(duì)，其它方式的比對(duì)亦能置入此一架構(gòu)中，來加速深度圖的計(jì)算。于步驟S12的顏色比對(duì)中，針對(duì)前后兩張畫面中的像素計(jì)算其顏色差異度，計(jì)算公式如下
i^coiar ==~⑴
liPixa
d(PsQ) = \Pr-Qr\x0.3+\Pg-Qg\KQ.59+\Ph-Qh\xQ.ll ⑵ 其中^cofor是代表像素的平均顏色差異量,Ii(X^y)是指在時(shí)間t時(shí)在& W位置的
像素則是一張影像當(dāng)中的像素個(gè)數(shù)，/7與c代表前后兩張畫面中在相同位置的像
素，/7與C的下標(biāo)r、g、b則代表了 P與Q這兩個(gè)像素的紅、綠、藍(lán)值。本發(fā)明不限于上述采用的方式，亦可利用其它方式來計(jì)算前后兩張畫面中像素的平均顏色差異量。當(dāng)利用上述方式計(jì)算出前后兩張畫面中眾像素的平均顏色差異量之后，將該平均顏色差異量與一第一閾值進(jìn)行比較。當(dāng)該平均顏色差異量小于該第一閾值，則判定為這兩張畫面的顏色相似度很高，可通過步驟S12的顏色比對(duì)，繼續(xù)進(jìn)行下一階段的比對(duì)，如步驟 S14的位移量比對(duì)。當(dāng)該平均顏色差異量大于該第一閾值，則判定為這兩張畫面的顏色相似度不夠高，亦即未通過步驟S12的顏色比對(duì)，則無必要進(jìn)行步驟S14的位移量比對(duì)，須直接進(jìn)行步驟S18中采用預(yù)定的算法來重新計(jì)算深度圖。配合參考圖2，該第一閾值可采用如下方式來決定
步驟S22 首先，選定任一立體影片的其中一個(gè)畫面，并采用預(yù)定的算法計(jì)算出該畫面的深度圖，其中所采用的算法能夠計(jì)算出較為精確的深度圖。步驟S24 從該選定的畫面選取復(fù)數(shù)個(gè)特征點(diǎn)，利用光流法找出該等特征點(diǎn)在下一個(gè)畫面的位置，并根據(jù)該選定之畫面的深度圖，對(duì)應(yīng)得出該下一個(gè)畫面的深度圖，依此方式一一推估后續(xù)畫面的深度圖。步驟S26 找出該等后續(xù)畫面之深度圖中，首先出現(xiàn)錯(cuò)誤的深度圖，并對(duì)應(yīng)取出首先出現(xiàn)錯(cuò)誤之深度圖的畫面。步驟S28 利用上述公式(1)及(2)，計(jì)算該選定的畫面及前述出現(xiàn)錯(cuò)誤的畫面中像素的平均顏色差異量，此平均顏色差異量即可作為該第一閾值。經(jīng)反復(fù)實(shí)驗(yàn)測(cè)試，如果前后兩張畫面中像素的平均顏色差異量(丑C0fe^ )超過5的
話，利用光流法以及前一張畫面的深度圖來推估后一張畫面的深度圖，其錯(cuò)誤率就會(huì)偏高，
所以如果前后兩個(gè)畫面的平均顏色差異量(丑―)超過該第一閾值的話，便應(yīng)該重新利
用該預(yù)定的算法，以較為精準(zhǔn)的方式來計(jì)算深度圖。經(jīng)過實(shí)測(cè)，在一段雙視角的立體測(cè)試影片當(dāng)中，透過步驟S12的顏色比對(duì)，平均有20%的畫面必須使用該預(yù)定的算法來重新計(jì)算深度圖。步驟S12的顏色比對(duì)有兩個(gè)主要的目的，一是為了加快是否需重新計(jì)算深度圖的判斷速度，由于直接比對(duì)顏色會(huì)比光流法的計(jì)算來得快速，所以一開始即采用顏色比對(duì)；二是如果兩張畫面顏色差異過大，像是鏡頭快速移動(dòng)或者轉(zhuǎn)換場(chǎng)景時(shí)，此時(shí)若只有使用步驟 S14位移量的比對(duì)來決定是否必須重新計(jì)算深度圖的話，其實(shí)并不太恰當(dāng)，因?yàn)檗D(zhuǎn)換場(chǎng)景或者快速移動(dòng)時(shí)，光流法可能無法正確算出每個(gè)像素的移動(dòng)量，導(dǎo)致無法精準(zhǔn)的掌握計(jì)算的結(jié)果，因此加上顏色差異度來加強(qiáng)判斷是否重新計(jì)算深度圖實(shí)有其必要性。若通過步驟S12的顏色比對(duì)，則進(jìn)行步驟S14的位移量比對(duì)。于步驟S14的位移量比對(duì)中，從前一張畫面選取復(fù)數(shù)個(gè)特征點(diǎn)，利用光流法找出這些特征點(diǎn)在后一張畫面的位置，并計(jì)算這些特征點(diǎn)在前后兩畫面中的位移量，在此采用的光流法是Lucas-Kanade算法，計(jì)算公式如下
權(quán)利要求
1.一種產(chǎn)生立體影片之深度圖的方法，其特征在于，該立體影片系為由前后兩相鄰的一第一畫面及一第二畫面構(gòu)成的影像串流，該方法包含步驟利用一預(yù)定的算法計(jì)算出相應(yīng)于該第一畫面的一第一深度圖；計(jì)算該第一畫面與該第二畫面中像素的平均顏色差異量；從該第一畫面選取復(fù)數(shù)個(gè)特征點(diǎn)，找出該等特征點(diǎn)在該第二畫面之位置，并計(jì)算該等特征點(diǎn)在該第一畫面與該第二畫面中的平均位移量；以及當(dāng)該平均顏色差異量小于一第一閾值，且當(dāng)該平均位移量小于一第二閾值，則根據(jù)該第一深度圖以及于該第一畫面所取的特征點(diǎn)在該第二畫面的位置，來得出相應(yīng)于該第二畫面的一第二深度圖，否則利用該預(yù)定的算法來計(jì)算出該第二深度圖。
2.根據(jù)權(quán)利要求1所述的產(chǎn)生立體影片的深度圖的方法，其特征在于，其中是先判斷該平均顏色差異量是否小于該第一閾值，再判斷該平均位移量是否小于該第二閾值。
3.根據(jù)權(quán)利要求1所述的產(chǎn)生立體影片的深度圖的方法，其特征在于，其中該平均位移量是利用光流法(optical flow)計(jì)算而得。
4.根據(jù)權(quán)利要求3所述的產(chǎn)生立體影片的深度圖的方法，其特征在于，其中該光流法的計(jì)算公式如下其中丑!《 ^是代表該等特征點(diǎn)在該第一畫面與該第二畫面中的平均位移量，為每個(gè)特征點(diǎn)對(duì)應(yīng)之特征向量(P)的長度，JV^ato 為該等特征向量的個(gè)數(shù)。
5.根據(jù)權(quán)利要求1所述的產(chǎn)生立體影片的深度圖的方法，其特征在于，其中該第一閾值是藉由下列步驟來決定選定一畫面，并根據(jù)該預(yù)定的算法計(jì)算出該畫面的深度圖；利用光流法以及前一張畫面的深度圖，一一推估后續(xù)畫面的深度圖，并找出首先出現(xiàn)錯(cuò)誤之深度圖的畫面；以及計(jì)算該選定的畫面及前述出現(xiàn)錯(cuò)誤的畫面中像素的平均顏色差異量，作為該第一閾值。
6.根據(jù)權(quán)利要求1所述的產(chǎn)生立體影片的深度圖的方法，其特征在于，其中該第二閾值是藉由下列步驟來決定選定一畫面，并根據(jù)該預(yù)定的算法計(jì)算出該畫面的深度圖；利用光流法以及前一張畫面的深度圖，一一推估后續(xù)畫面的深度圖，并找出首先出現(xiàn)錯(cuò)誤之深度圖的畫面；以及從該選定的畫面中選取復(fù)數(shù)個(gè)特征點(diǎn)，找出該等特征點(diǎn)在前述出現(xiàn)錯(cuò)誤的畫面的位置，并計(jì)算該等特征點(diǎn)在該選定的畫面與前述出現(xiàn)錯(cuò)誤的畫面中的平均位移量，作為該第二閾值。
7.根據(jù)權(quán)利要求1所述的產(chǎn)生立體影片的深度圖的方法，其特征在于，其中根據(jù)該第一畫面的該深度圖以推估得出該第二畫面的該第二深度圖是包含下列步驟利用從該第一畫面所選取該等特征點(diǎn)，計(jì)算出該等特征點(diǎn)在該第二畫面的位置以及該等特征點(diǎn)的特征向量；使用內(nèi)插法，將該等特征點(diǎn)的特征向量，內(nèi)插得出被該等特征點(diǎn)包圍之像素的特征向量，以得出被包圍之該像素在該第二畫面的位置；以及根據(jù)該第一畫面的該第一深度圖以及該第一畫面中該等特征點(diǎn)及被包圍之該像素在該第二畫面的位置，對(duì)應(yīng)得出該第二畫面的該第二深度圖。
8.根據(jù)權(quán)利要求7所述的產(chǎn)生立體影片的深度圖的方法，其特征在于，其中該內(nèi)插法是為一雙線性內(nèi)插法。
9.根據(jù)權(quán)利要求1所述的產(chǎn)生立體影片的深度圖的方法，其特征在于，其中當(dāng)該第二畫面的該第二深度圖具有破洞，則找出該第二畫面中對(duì)應(yīng)該破洞的像素，參考其周圍鄰近像素中顏色最相近的像素，取該顏色最相近的像素的深度值作為對(duì)應(yīng)該破洞的像素的深度值。
10.根據(jù)權(quán)利要求1所述的產(chǎn)生立體影片的深度圖的方法，其特征在于，其中該立體影片為一雙視角影片。
全文摘要
本發(fā)明利用判斷立體影片之前后畫面的相似度，來加快立體影片之深度圖的計(jì)算。第一階段先比較前后兩張畫面中像素的顏色相似度，第二階段從前一張畫面選取復(fù)數(shù)個(gè)特征點(diǎn)，找出該等特征點(diǎn)在后一張畫面的位置，并計(jì)算出該等特征點(diǎn)在前后兩張畫面中的平均位移量。如果前后畫面頗為相似，則根據(jù)前一張畫面的深度圖，得出下一張畫面的深度圖，依此來加快立體影片之深度圖的計(jì)算。應(yīng)用本發(fā)明來計(jì)算立體影片的深度圖可以減少運(yùn)算時(shí)間，加快立體影片的深度圖計(jì)算速度。此外，利用光流法及前一張畫面的深度圖所推估出來的深度圖無法避免的勢(shì)必會(huì)產(chǎn)生破洞，此時(shí)可以找出后一張畫面中對(duì)應(yīng)該破洞的像素，參考其周圍鄰近像素(如周圍3×3范圍內(nèi)的像素)中顏色最相近的像素，取該顏色最相近的像素的深度值作為對(duì)應(yīng)該破洞的像素的深度值。
文檔編號(hào)H04N13/00GK102307307SQ201110129959
公開日2012年1月4日 申請(qǐng)日期2011年5月19日 優(yōu)先權(quán)日2011年5月19日
發(fā)明者劉晟齊, 張哲維, 李坤庭, 林修宏, 陳炳宇 申請(qǐng)人:中華映管股份有限公司, 福州華映視訊有限公司