多視角視差圖的補(bǔ)洞方法
【專(zhuān)利摘要】本發(fā)明有關(guān)于一種多視角視差圖的補(bǔ)洞方法。此方法分別取得拍攝一目標(biāo)的多個(gè)視角中至少一個(gè)已知視角相對(duì)應(yīng)的影像視差圖。然后，針對(duì)這些視角中除已知視角外的多個(gè)虛擬視角，依照各個(gè)虛擬視角與所述已知視角之間的虛擬相機(jī)位置的距離或轉(zhuǎn)換角度，依序使用已知視角的影像視差圖來(lái)合成虛擬視角的影像視差圖。最后，使用所述距離或轉(zhuǎn)換角度小于虛擬視角的其他虛擬視角的影像視差圖的填補(bǔ)信息來(lái)填補(bǔ)所合成的虛擬視角的影像視差圖中至少一個(gè)未知區(qū)域的破洞。
【專(zhuān)利說(shuō)明】多視角視差圖的補(bǔ)洞方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明是有關(guān)于一種視差圖補(bǔ)洞方法，且特別是有關(guān)于一種多視角視差圖的補(bǔ)洞方法。
【背景技術(shù)】
[0002]隨著三維立體(3D)電視的崛起，如何利用少量的二維影像來(lái)產(chǎn)生多視角影像的技術(shù)也越來(lái)越重要。目前已有許多用以產(chǎn)生虛擬視角影像的方法，其大致上可分為兩種:一種是由一張影像來(lái)產(chǎn)生其他虛擬視角的影像；另一種則是由兩張影像來(lái)產(chǎn)生此兩張影像夾角內(nèi)的虛擬視角的影像。以上方法所模擬出來(lái)的虛擬視角因?yàn)檗D(zhuǎn)換角度不大，因此所產(chǎn)生的未知區(qū)域也不大。然而，裸視3D電視的影像內(nèi)容需要模擬大視角的轉(zhuǎn)換，從而會(huì)產(chǎn)生相當(dāng)大的未知區(qū)域，此將是以上方法所不能負(fù)荷的。若要產(chǎn)生擬真的虛擬視角影像，除了影像方面的模擬之外，視差圖的處理也是很重要的一環(huán)。其中，視差圖的值是否正確，關(guān)系著是否能將影像投影至正確的位置，而對(duì)于虛擬視角中未知區(qū)域的補(bǔ)洞，也會(huì)對(duì)影像信息的正確性造成影響。
[0003]一般補(bǔ)洞的方法大多適用于經(jīng)由小視角轉(zhuǎn)換所產(chǎn)生的小未知區(qū)域，而當(dāng)轉(zhuǎn)換視角變大時(shí)，未知區(qū)域也隨之?dāng)U大，此時(shí)前景與背景之間會(huì)因?yàn)橐暯寝D(zhuǎn)換的關(guān)系可能造成錯(cuò)位，從而導(dǎo)致左右關(guān)系與原先不同。也因此，未知區(qū)域的周?chē)鷽](méi)有正確的深度值，再怎么從鄰近區(qū)域抓值來(lái)填補(bǔ)也只會(huì)抓到錯(cuò)誤的值。舉例來(lái)說(shuō)，如圖1所示，圖1為一視角轉(zhuǎn)換后的視差圖，顏色較淺的表示物體較接近拍攝位置，顏色較深的表示物體較遠(yuǎn)離拍攝位置。未知區(qū)域18 (以黑色表示)原為石膏人像14背后的背景，此區(qū)域的視差值應(yīng)與視差圖的背景12相同。但因?yàn)橐暯寝D(zhuǎn)換顯露出來(lái)的未知區(qū)域18是產(chǎn)生在石膏人像14與三角錐16的中間，此未知區(qū)域18的周?chē)耆磺熬八鼑鴽](méi)有與它正確的背景值相接。
[0004]另外，一般的補(bǔ)洞方法是分別對(duì)所產(chǎn)生的不同虛擬角度的影像個(gè)別作補(bǔ)洞，此可能造成原本在3D空間中的同一個(gè)點(diǎn)，在不同虛擬視角的影像里卻補(bǔ)上不同的深度值，這樣的結(jié)果將會(huì)影響之后觀(guān)賞時(shí)的感官錯(cuò)亂，從而影響3D立體感。

【發(fā)明內(nèi)容】

[0005]本發(fā)明提出一種多視角視差圖的補(bǔ)洞方法，適用于電子裝置。此方法是針對(duì)拍攝一目標(biāo)的多個(gè)視角中的至少一個(gè)已知視角，分別取得對(duì)應(yīng)的影像視差圖。然后，針對(duì)這些視角中除已知視角外的多個(gè)虛擬視角，依照各個(gè)虛擬視角與所述已知視角之間的虛擬相機(jī)位置的距離或轉(zhuǎn)換角度，依序使用已知視角的影像視差圖來(lái)合成其他虛擬視角的影像視差圖。最后為填補(bǔ)虛擬視角中的未知區(qū)域，填補(bǔ)虛擬視角未知區(qū)域的順序?yàn)樘摂M相機(jī)位置的距離或虛擬視角轉(zhuǎn)換角度的大小，由距離或轉(zhuǎn)換角度小的開(kāi)始處理。每一個(gè)虛擬視角填補(bǔ)未知區(qū)域前利用距離或轉(zhuǎn)換角度小于該虛擬視角的其他虛擬視角的影像視差圖的填補(bǔ)信息來(lái)填補(bǔ)該虛擬視角的影像視差圖中至少一個(gè)未知區(qū)域的破洞。
[0006]本發(fā)明提出一種多視角視差圖的補(bǔ)洞方法，適用于電子裝置。此方法是針對(duì)拍攝一目標(biāo)的多個(gè)視角中的至少一個(gè)已知視角，分別取得對(duì)應(yīng)的影像視差圖。接著，針對(duì)這些視角中除已知視角外的多個(gè)虛擬視角，使用已知視角的影像視差圖來(lái)合成各個(gè)虛擬視角的影像視差圖，再對(duì)所合成的虛擬視角的影像視差圖中至少一個(gè)未知區(qū)域的破洞進(jìn)行填補(bǔ)。然后，將所述虛擬視角的影像視差圖的投影方式轉(zhuǎn)換為一水平方向?yàn)檎煌队耙约按怪狈较驗(yàn)橥敢曂队埃?duì)轉(zhuǎn)換后的虛擬視角的影像中至少一個(gè)未知區(qū)域的破洞進(jìn)行填補(bǔ)。
[0007]為讓本發(fā)明的上述特征能更明顯易懂，下文特舉實(shí)施例，并配合所附圖式作詳細(xì)說(shuō)明如下。
【專(zhuān)利附圖】

【附圖說(shuō)明】
[0008]圖1為現(xiàn)有補(bǔ)洞方式產(chǎn)生的視差圖；
[0009]圖2為依照本發(fā)明一實(shí)施例所繪示的由單張已知視差圖模擬其他虛擬視角俯視示意圖；
[0010]圖3為依照本發(fā)明一實(shí)施例所繪示的以?xún)蓮堃阎暡顖D模擬其他虛擬視角俯視示意圖；
[0011]圖4是依照本發(fā)明一實(shí)施例所繪示的多視角視差圖的補(bǔ)洞方法的流程圖；
[0012]圖5是依照本發(fā)明一實(shí)施例所繪示的多視角視差圖的補(bǔ)洞方法的流程圖；
[0013]圖6是依照本發(fā)明一實(shí)施例所繪示的多視角視差圖的補(bǔ)洞方法的流程圖；
[0014]圖7是依照本發(fā)明一實(shí)施例所繪示的多視角視差圖的補(bǔ)洞方法的范例；
[0015]圖8(a)至圖8(c)為本發(fā)明一實(shí)施例提出的方法與其他補(bǔ)洞方法的結(jié)果比較圖；
[0016]圖9 (a)及圖9(b)為本發(fā)明一實(shí)施例的兩種投影方式在同一個(gè)虛擬視角產(chǎn)生的不同視差圖；
[0017]圖10是依照本發(fā)明一實(shí)施例所繪示的多視角視差圖的補(bǔ)洞方法的流程圖；
[0018]圖11是依照本發(fā)明一實(shí)施例所繪示的多視角視差圖的補(bǔ)洞方法的流程圖。
[0019]其中，附圖標(biāo)記:
[0020]12:背景，與未知區(qū)域有相同的深度值
[0021]14:石膏人像
[0022]16:三角錐
[0023]18:未知區(qū)域
[0024]60、110:流程
[0025]62、112:左影像視差圖
[0026]64、114:右影像視差圖
[0027]66:傳遞圖
[0028]68:虛擬視角η的影像視差圖
[0029]116、118:多個(gè)虛擬視角的影像視差圖
[0030]S402~S406:本發(fā)明一實(shí)施例的多視角視差圖的補(bǔ)洞方法的步驟
[0031]S502^S510:本發(fā)明一實(shí)施例的多視角視差圖的補(bǔ)洞方法的步驟
[0032]S602~S614:本發(fā)明一實(shí)施例的多視角視差圖的補(bǔ)洞方法的步驟
[0033]S1002~S1010:本發(fā)明一實(shí)施例的多視角視差圖的補(bǔ)洞方法的步驟
[0034]S1102飛1112:本發(fā)明一實(shí)施例的多視角視差圖的補(bǔ)洞方法的步驟【具體實(shí)施方式】
[0035]以下結(jié)合附圖和具體實(shí)施例對(duì)本發(fā)明進(jìn)行詳細(xì)描述，但不作為對(duì)本發(fā)明的限定。
[0036]本發(fā)明提出一種多視角視差圖的補(bǔ)洞方法，可處理大角度虛擬視角的視差圖，且產(chǎn)生的影像視差圖能夠在空間中保有一致性，讓3D視覺(jué)效果達(dá)到最佳。本發(fā)明的特征為將一張或多張不同視角的視差圖(Disparity Map)轉(zhuǎn)換成多視角且大角度變換的虛擬視角視差圖，并用來(lái)合成立體影像的內(nèi)容。因?yàn)檩斎氲囊暡顖D有限，將其視角轉(zhuǎn)換后會(huì)產(chǎn)生一些未知區(qū)域，而在填補(bǔ)這些虛擬視角視差圖中的未知區(qū)域時(shí)，為了保持空間中的一致性，本發(fā)明定義了一個(gè)傳遞圖(Propagation Map),其可用以?xún)?chǔ)存已經(jīng)填補(bǔ)的未知區(qū)域的信息。
[0037]舉例來(lái)說(shuō)，圖2為依照本發(fā)明一實(shí)施例所繪示的由單張已知視差圖模擬其他虛擬視角俯視示意圖。圖3為依照本發(fā)明一實(shí)施例所繪示的以?xún)蓮堃阎暡顖D模擬其他虛擬視角俯視示意圖。其中，本實(shí)施例的傳遞圖固定在某一視角(如圖2、圖3中的三角點(diǎn))，或是其他正對(duì)影像中心相鄰的視角。另外，本實(shí)施例是以模擬14個(gè)虛擬視角為例，圖2、圖3中的圓點(diǎn)標(biāo)示所要模擬(輸出)的視差圖的虛擬視角，方形點(diǎn)標(biāo)示所輸入的已知視差圖的視角。以下介紹的實(shí)施方式以?xún)蓮堃阎囊暡顖D為例。
[0038]當(dāng)所要模擬的虛擬視角的轉(zhuǎn)換視角越大時(shí)，所產(chǎn)生的未知區(qū)域也越大，且前后物體的左右關(guān)系也已更改，此時(shí)未知區(qū)域的周?chē)赡軟](méi)有正確的值可以參考。對(duì)此，本發(fā)明提出的方法例如是先從轉(zhuǎn)換視角較小的虛擬視角的視差圖開(kāi)始著手，此轉(zhuǎn)換視角代表該虛擬視角與影像中央垂直線(xiàn)的夾角，例如圖3的第8個(gè)虛擬視角的轉(zhuǎn)換角度為Θ。因此，填補(bǔ)虛擬視角的順序例如為7，8，6，9，…，1，14。從轉(zhuǎn)換角度較小的視差圖開(kāi)始填補(bǔ)，因?yàn)樵撎摂M視角視差圖的未知區(qū)域較小，抓取鄰近視差值來(lái)填補(bǔ)準(zhǔn)確率較高。除了依虛擬視角轉(zhuǎn)換的角度的大小來(lái)決定處理順序外，在另一實(shí)施例中，也可以依照虛擬視角與任一已知視差圖的虛擬相機(jī)位置的距離來(lái)決定處理順序(由最小距離開(kāi)始)，也就是圖3中圓點(diǎn)與任一方形的距離。此處理順序是為了先 從未知區(qū)域最少的虛擬視角開(kāi)始著手，以增加填補(bǔ)的準(zhǔn)確率。
[0039]圖4是依照本發(fā)明一實(shí)施例所繪示的多視角視差圖的補(bǔ)洞方法流程圖。請(qǐng)參照?qǐng)D4，本實(shí)施例的補(bǔ)洞方法適于由電子裝置來(lái)執(zhí)行，此電子裝置例如是電腦、工作站、伺服器，或其他具有微處理器(Microprocessor)、數(shù)字信號(hào)處理器(Digital Signal Processor,DSP)、可程序化控制器、特殊應(yīng)用集成電路(Application Specific IntegratedCircuits, ASIC)、可程序化邏輯裝置(Programmable Logic Device, PLD)的裝置,而可用以執(zhí)行本實(shí)施例的補(bǔ)洞方法。本實(shí)施例方法的詳細(xì)步驟如下:
[0040]首先，由電子裝置分別取得拍攝一目標(biāo)的多個(gè)視角中至少一個(gè)已知視角相對(duì)應(yīng)的影像視差圖(步驟S402)，并針對(duì)這些視角中除已知視角外的多個(gè)虛擬視角，依照各個(gè)虛擬視角與已知視角之間的虛擬相機(jī)位置距離或轉(zhuǎn)換角度，依序使用已知視角的影像視差圖來(lái)合成虛擬視角的影像視差圖(步驟S404)。其中，電子裝置例如會(huì)先將所取得的已知視角的影像視差圖的視角轉(zhuǎn)換(或者投影)至所要模擬的虛擬視角，然后再將這些已經(jīng)過(guò)視角轉(zhuǎn)換的影像視差圖合成，以產(chǎn)生此虛擬視角的影像視差圖。
[0041]需說(shuō)明的是，在合成影像視差圖的過(guò)程中，電子裝置例如會(huì)針對(duì)此虛擬視角的影像視差圖中的每一個(gè)像素，選取所有影像視差圖的對(duì)應(yīng)像素中深度值較小的像素的像素值來(lái)作為此影像視差圖的像素的像素值。其中，若此像素在這些影像視差圖中皆無(wú)對(duì)應(yīng)的深度值，則電子裝置會(huì)將此像素標(biāo)示為未知區(qū)域。
[0042]最后，電子裝置會(huì)使用距離或轉(zhuǎn)換角度小于此虛擬視角的其他虛擬視角的影像視差圖的填補(bǔ)信息，來(lái)填補(bǔ)所合成的虛擬視角的影像視差圖中的未知區(qū)域的破洞(步驟S406)。其中，針對(duì)第一順位處理的虛擬視角，在填補(bǔ)其影像視差圖中的未知區(qū)域時(shí)，因?yàn)闆](méi)有先前的信息，所以由已知視角的影像視差圖轉(zhuǎn)換視角后直接對(duì)未知區(qū)域做填補(bǔ)。此處所使用的補(bǔ)洞方式不限定方法，例如可采用一般簡(jiǎn)單的補(bǔ)洞方式，即抓取未知區(qū)域的左邊與右邊深度較深的值來(lái)填補(bǔ)此區(qū)域，即可以有很好的效果。
[0043]需說(shuō)明的是，在取得轉(zhuǎn)換角度較小的虛擬視角的影像視差圖并填補(bǔ)破洞后，此影像視差圖即可和已知視角的影像視差圖一起用來(lái)合成轉(zhuǎn)換角度較大的虛擬視角的影像視差圖。以下則再舉一實(shí)施例詳細(xì)說(shuō)明。
[0044]圖5是依照本發(fā)明一實(shí)施例所繪示的多視角視差圖的補(bǔ)洞方法的流程圖。請(qǐng)參照?qǐng)D5，本實(shí)施例的補(bǔ)洞方法適于由電子裝置來(lái)執(zhí)行，其詳細(xì)步驟如下:
[0045]首先，由電子裝置分別取得拍攝一目標(biāo)的多個(gè)視角中至少一個(gè)已知視角相對(duì)應(yīng)的影像視差圖(步驟S502)，并針對(duì)這些視角中除已知視角外的多個(gè)虛擬視角，使用已知視角的影像視差圖來(lái)合成虛擬視角的影像視差圖(步驟S504)。上述步驟S502?S504的內(nèi)容與前述實(shí)施例的步驟S402?S404相同或相似，故在此不再贅述。
[0046]與前述實(shí)施例不同的是，本實(shí)施例的電子裝置在每次填補(bǔ)虛擬視角的影像視差圖中未知區(qū)域的破洞時(shí)，還會(huì)將其填補(bǔ)此未知區(qū)域的填補(bǔ)信息記錄于一個(gè)傳遞圖。藉此，當(dāng)電子裝置合成下一個(gè)虛擬視角的影像視差圖時(shí)，即可存取其先前填補(bǔ)其他虛擬視角的影像視差圖時(shí)所記錄的傳遞圖，而將此傳遞圖中的填補(bǔ)信息填入所合成的虛擬視角的影像視差圖中未知區(qū)域的破洞(步驟S506)。此外，電子裝置還可使用其他的補(bǔ)洞方法對(duì)虛擬視角的影像視差圖的破洞進(jìn)行填補(bǔ)(步驟S508)，例如，可取用未知區(qū)域周?chē)簧疃戎档南袼氐南袼刂祦?lái)填補(bǔ)未知區(qū)域的破洞。最后，電子裝置會(huì)將所有的填補(bǔ)信息回傳到傳遞圖中(步驟S510),以作為填補(bǔ)下一個(gè)影像視差圖的破洞的依據(jù)。其中，電子裝置例如會(huì)將此傳遞圖的視角轉(zhuǎn)換至預(yù)設(shè)視角，以作為填補(bǔ)下一個(gè)影像視差圖的破洞的依據(jù)，而在進(jìn)行影像視差圖的填補(bǔ)時(shí)，電子裝置則會(huì)將先前已轉(zhuǎn)換至預(yù)設(shè)視角的傳遞圖的視角轉(zhuǎn)換至目前要填補(bǔ)的影像視差圖的虛擬視角。此預(yù)設(shè)視角例如是正對(duì)影像中心或正對(duì)相鄰影像中心的視角，在此不設(shè)限。
[0047]舉例來(lái)說(shuō)，圖6是依照本發(fā)明一實(shí)施例所繪示的多視角視差圖的補(bǔ)洞方法的流程圖。請(qǐng)參照?qǐng)D6，本實(shí)施例的流程60是由電子裝置分別將已知視角的左影像視差圖62及右影像視差圖64轉(zhuǎn)換至所要模擬的虛擬視角η (步驟S602及S604)，而獲得視角轉(zhuǎn)換后的左影像視差圖及右影像視差圖。接著，將視角轉(zhuǎn)換后的左影像視差圖及右影像視差圖合成為所要模擬的虛擬視角的影像視差圖(步驟S606)，并使用先前處理過(guò)的虛擬視角的影像視差圖的填補(bǔ)信息，來(lái)填補(bǔ)所合成的虛擬視角的影像視差圖中未知區(qū)域的破洞。其中，電子裝置例如會(huì)先將其先前填補(bǔ)其他虛擬視角的影像視差圖所記錄的傳遞圖66，經(jīng)由轉(zhuǎn)換至所要模擬的虛擬視角(步驟S608)后，拿來(lái)填補(bǔ)目前所合成的虛擬視角的影像視差圖中未知區(qū)域的破洞(步驟S610)。
[0048]之后，電子裝置會(huì)利用其他補(bǔ)洞方法對(duì)該虛擬視角的影像視差圖進(jìn)行補(bǔ)洞(步驟S612)，例如是從該虛擬視角的影像視差圖中，取用未知區(qū)域周?chē)簧疃戎档南袼氐南袼刂祦?lái)填補(bǔ)未知區(qū)域的破洞，從而獲得所要模擬的虛擬視角η的影像視差圖68。其中，電子裝置例如還會(huì)將其填補(bǔ)破洞的填補(bǔ)信息，經(jīng)由視角轉(zhuǎn)換(步驟S614)后，用以更新傳遞圖66，藉以作為填補(bǔ)下一個(gè)虛擬視角的影像視差圖時(shí)的依據(jù)。
[0049]同理，在處理下一個(gè)虛擬視角的影像視差圖時(shí)，即可將轉(zhuǎn)換視角后的影像視差圖與轉(zhuǎn)換視角后的傳遞圖合并，以減少未知區(qū)域的大小，并利用補(bǔ)洞方法將剩下的未知區(qū)域填補(bǔ)。同樣的，此時(shí)的填補(bǔ)信息需轉(zhuǎn)換回傳遞圖以累積填補(bǔ)信息。接下來(lái)處理每個(gè)虛擬視角的方式都相同。
[0050]簡(jiǎn)而言之，上述流程大致上可分成四個(gè)步驟:即轉(zhuǎn)換已知影像視差圖的視角、加入傳遞圖的信息、填補(bǔ)未知區(qū)域、回傳填補(bǔ)信息至傳遞圖。舉例來(lái)說(shuō)，圖7是依照本發(fā)明一實(shí)施例所繪示的多視角視差圖的補(bǔ)洞方法的范例。請(qǐng)參照?qǐng)D7，本實(shí)施例分別繪示8th、lst、14th虛擬視角的影像視差圖經(jīng)由上述四個(gè)步驟處理后的結(jié)果。
[0051]綜上所述，本發(fā)明的補(bǔ)洞方法不會(huì)因?yàn)樘摂M視角的轉(zhuǎn)換角度過(guò)大，造成前后物體錯(cuò)位后未知區(qū)域難以填補(bǔ)回正確的值。圖8(a)?圖8(c)為本發(fā)明一實(shí)施例提出的方法與其他補(bǔ)洞方法的結(jié)果比較圖。其中，圖8(a)為補(bǔ)洞前的影像，黑色部分為未知區(qū)域；圖8(b)為利用其他補(bǔ)洞方法進(jìn)行補(bǔ)洞后的影像；圖8(c)為利用本發(fā)明提出的方法進(jìn)行補(bǔ)洞后的影像。
[0052]需說(shuō)明的是，因?yàn)閷?duì)所有產(chǎn)生的虛擬視角填補(bǔ)信息一致，符合之后要合成立體影像內(nèi)容的需求。目前立體電視所需要產(chǎn)生的虛擬視角，投影方式水平與垂直都為透視投影(Perspective projection,在此簡(jiǎn)稱(chēng)為PP投影)，例如多視角(Mult1-view)立體顯示器。這類(lèi)投影方式與本發(fā)明取用影像的投影方式相同。另一類(lèi)立體電視例如是采用水平視差積分成像(HPO II)的立體顯示器，其需要的虛擬視角在水平方向的投影為正交投影(Orthographic projection),而在垂直方向的投影為透視投影(在此簡(jiǎn)稱(chēng)為OP投影)。這種投影方式的虛擬視角所產(chǎn)生的未知區(qū)域的規(guī)則與一般因?yàn)橐暯寝D(zhuǎn)換所產(chǎn)生的未知區(qū)域的規(guī)則不同。舉例來(lái)說(shuō)，圖9(a)及圖9(b)為本發(fā)明一實(shí)施例的兩種投影方式在同一個(gè)虛擬視角產(chǎn)生的不同視差圖。其中，圖9(a)為PP投影；圖9(b)則為OP投影在同一個(gè)視角產(chǎn)生的虛擬視角視差圖與其未知區(qū)域。
[0053]因此，要填補(bǔ)這類(lèi)虛擬視角的未知區(qū)域需要分成兩階段來(lái)填補(bǔ)，第一階段為處理因?yàn)橐暯寝D(zhuǎn)換所產(chǎn)生的未知區(qū)域，第二階段為處理因?yàn)椴煌队胺绞剿a(chǎn)生的未知區(qū)域。以下則舉實(shí)施例詳細(xì)說(shuō)明。
[0054]圖10是依照本發(fā)明一實(shí)施例所繪示的多視角視差圖的補(bǔ)洞方法的流程圖。請(qǐng)參照?qǐng)D10，本實(shí)施例的補(bǔ)洞方法適于由電子裝置來(lái)執(zhí)行，其詳細(xì)步驟如下:
[0055]首先，由電子裝置分別取得拍攝一目標(biāo)的多個(gè)視角中至少一個(gè)已知視角相對(duì)應(yīng)的影像視差圖(步驟S1002)，并針對(duì)這些視角中除已知視角外的多個(gè)虛擬視角，使用所述已知視角的影像視差圖來(lái)合成各個(gè)虛擬視角的影像視差圖(步驟S1004)，以及對(duì)所合成的虛擬視角的影像視差圖中未知區(qū)域的破洞進(jìn)行填補(bǔ)(步驟S1006)。其中，電子裝置在合成影像視差圖及填補(bǔ)破洞時(shí)，例如會(huì)采用前述實(shí)施例的方式，意即，依照各個(gè)虛擬視角的虛擬相機(jī)位置，依序使用已知視角的影像視差圖來(lái)合成虛擬視角的影像視差圖，并且使用轉(zhuǎn)換角度小于目前虛擬視角的其他虛擬視角的影像視差圖的填補(bǔ)信息，來(lái)填補(bǔ)所合成的虛擬視角的影像視差圖中未知區(qū)域的破洞。上述方法的詳細(xì)實(shí)施方式已揭露于前述實(shí)施例中，在此不再贅述。
[0056]需說(shuō)明的是，在產(chǎn)生各個(gè)虛擬視角的影像之后，為了產(chǎn)生所要的三維立體影像，電子裝置會(huì)將這些虛擬視角的影像的投影方式轉(zhuǎn)換為OP投影(步驟S1008)，并對(duì)轉(zhuǎn)換后的虛擬視角的影像中未知區(qū)域的破洞進(jìn)行填補(bǔ)(步驟S1010)，最終填補(bǔ)后的虛擬視角的影像即可用以合成三維立體影像。
[0057]詳言之，若要產(chǎn)生虛擬視角的影像，必須先得到該虛擬視角的視差圖，而視差圖的正確率為之后合成該虛擬視角影像的一個(gè)非常重要的因素。因此，本發(fā)明提供了模擬準(zhǔn)確率極高的多個(gè)且大角度轉(zhuǎn)換虛擬視角的視差圖，以供之后模擬虛擬視角影像時(shí)使用，最后再將所有模擬的虛擬視角影像合成為一張三維立體影像。
[0058]舉例來(lái)說(shuō)，圖11是依照本發(fā)明一實(shí)施例所繪示的多視角視差圖的補(bǔ)洞方法的流程圖。請(qǐng)參照?qǐng)D11，本實(shí)施例的流程110是由電子裝置分別將已知視角的左影像視差圖112及右影像視差圖114轉(zhuǎn)換至所要模擬的虛擬視角(步驟S1102及S1104)，而獲得視角轉(zhuǎn)換后的左影像視差圖及右影像視差圖。接著，將視角轉(zhuǎn)換后的左影像視差圖及右影像視差圖合成為所要模擬的虛擬視角的影像視差圖(步驟S1106)，并使用其他虛擬視角的影像視差圖的填補(bǔ)信息，來(lái)填補(bǔ)所合成的虛擬視角的影像視差圖中未知區(qū)域的破洞(步驟S1108)。其中，電子裝置可利用其先前填補(bǔ)其他影像視差圖所記錄的傳遞圖中的填補(bǔ)信息，拿來(lái)填補(bǔ)目前所合成的虛擬視角的影像視差圖中未知區(qū)域的破洞。此處影像視差圖的轉(zhuǎn)換方式仍然采用PP投影，且是將轉(zhuǎn)換后的影像視差圖合并后進(jìn)行補(bǔ)洞，而可產(chǎn)生多個(gè)虛擬視角的影像視差圖116，以做為符合多視角三維立體顯示器的輸入。
[0059]另一方面，電子裝置會(huì)進(jìn)一步將上述虛擬視角的影像視差圖的投影方式轉(zhuǎn)換為OP投影(步驟S1110)，并對(duì)轉(zhuǎn)換后的這些虛擬視角的影像視差圖中的未知區(qū)域進(jìn)行破洞填補(bǔ)(步驟S1112)，最后這些虛擬視角的影像視差圖為符合水平視差積分成像立體顯示器所需的視差圖。詳言之，若要產(chǎn)生水平視差積分成像立體顯示器符合的輸入，需要將虛擬視角從PP投影轉(zhuǎn)換成OP投影，但這樣的轉(zhuǎn)換仍然會(huì)產(chǎn)生一些未知區(qū)域的破洞，此時(shí)再利用補(bǔ)洞的方法將此區(qū)域填補(bǔ)，最后即可獲得多個(gè)虛擬視角的影像視差圖118，以做為符合水平視差積分成像立體顯示器的輸入。
[0060]綜上所述，本發(fā)明的多視角視差圖的補(bǔ)洞方法將少量視差圖轉(zhuǎn)換至多個(gè)虛擬視角后，針對(duì)每一個(gè)虛擬視角的補(bǔ)洞考慮空間上的一致性，而將所有的補(bǔ)洞信息都轉(zhuǎn)存在同一個(gè)視角的傳遞圖里。而在多個(gè)虛擬視角里，采用轉(zhuǎn)換角度最小或是距離已知視角最小的視角開(kāi)始填補(bǔ)未知區(qū)域，接著再填補(bǔ)其他較大的虛擬視角。其中，藉由將先前在其他虛擬視角填補(bǔ)的信息用來(lái)幫助其他虛擬視角填補(bǔ)未知區(qū)域，從而可填補(bǔ)視差圖轉(zhuǎn)換視角時(shí)所產(chǎn)生的未知區(qū)域的破洞。此外，本發(fā)明可產(chǎn)生不同投影方式的立體視差圖，第一階段為將輸入的視差圖轉(zhuǎn)換成其相對(duì)應(yīng)的虛擬視角視差圖后，再填補(bǔ)因?yàn)橐暯寝D(zhuǎn)換而產(chǎn)生的未知區(qū)域的破洞，第二階段為將視差圖轉(zhuǎn)換投影方式后再進(jìn)行補(bǔ)洞，以填補(bǔ)因?yàn)橥队胺绞礁淖兌a(chǎn)生的未知區(qū)域的破洞。
[0061]雖然本發(fā)明已以實(shí)施例揭露如上，然其并非用以限定本發(fā)明，任何所屬【技術(shù)領(lǐng)域】中具有通常知識(shí)者，在不脫離本發(fā)明的精神和范圍內(nèi)，當(dāng)可作些許的更動(dòng)與潤(rùn)飾，故本發(fā)明的保護(hù)范圍當(dāng)視后附的申請(qǐng)專(zhuān)利范圍所界定者為準(zhǔn)。
【權(quán)利要求】
1.一種多視角影像視差圖的補(bǔ)洞方法，適用于一電子裝置，其特征在于，該方法包括下列步驟: 針對(duì)拍攝一目標(biāo)的多個(gè)視角中的至少一已知視角，分別取得對(duì)應(yīng)的一影像視差圖； 針對(duì)所述視角中除所述已知視角外的多個(gè)虛擬視角，依照各所述虛擬視角與所述已知視角之間的一虛擬相機(jī)位置的一距離或一轉(zhuǎn)換角度，依序使用所述已知視角的影像視差圖來(lái)合成該虛擬視角的影像視差圖；以及 使用該距離或該轉(zhuǎn)換角度小于該虛擬視角的其他虛擬視角的影像視差圖的一填補(bǔ)信息，填補(bǔ)所合成的該虛擬視角的影像視差圖中至少一未知區(qū)域的破洞。
2.根據(jù)權(quán)利要求1所述的多視角影像視差圖的補(bǔ)洞方法，其特征在于，使用所述已知視角的影像視差圖來(lái)合成該虛擬視角的影像視差圖的步驟包括: 取得所述已知視角的至少一影像視差圖； 轉(zhuǎn)換所述影像視差圖的視角至該虛擬視角；以及 合成轉(zhuǎn)換視角后的所述影像視差圖以產(chǎn)生該虛擬視角的影像視差圖。
3.根據(jù)權(quán)利要求2所述的多視角影像視差圖的補(bǔ)洞方法，其特征在于，合成轉(zhuǎn)換視角后的所述影像視差圖以產(chǎn)生該虛擬視角的影像視差圖的步驟包括: 針對(duì)該虛擬視角的影像視差圖中的每一個(gè)像素，選取所述影像視差圖的對(duì)應(yīng)像素中一深度值較小的像素的像素值來(lái)作為影像視差圖的該像素的像素值，若該像素皆無(wú)對(duì)應(yīng)的深度值，則標(biāo)示該像素為未知區(qū)域。
4.根據(jù)權(quán)利要求1所述的多視`角影像視差圖的補(bǔ)洞方法，其特征在于，使用該轉(zhuǎn)換角度小于該虛擬視角的其他虛擬視角的影像視差圖的該填補(bǔ)信息，填補(bǔ)所合成的該虛擬視角的影像視差圖中所述未知區(qū)域的破洞的步驟更包括: 記錄填補(bǔ)所合成的該虛擬視角的影像視差圖中所述未知區(qū)域的填補(bǔ)信息于一傳遞圖。
5.根據(jù)權(quán)利要求4所述的多視角影像視差圖的補(bǔ)洞方法，其特征在于，使用該轉(zhuǎn)換角度小于該虛擬視角的其他影像視差圖的該填補(bǔ)信息，填補(bǔ)所合成的該虛擬視角的影像視差圖中所述未知區(qū)域的破洞的步驟包括: 存取填補(bǔ)該其他虛擬視角的影像視差圖時(shí)所記錄的該傳遞圖，將該傳遞圖中的該填補(bǔ)信息填入所合成的該虛擬視角的影像視差圖中所述未知區(qū)域的破洞。
6.根據(jù)權(quán)利要求5所述的多視角影像視差圖的補(bǔ)洞方法，其特征在于，使用該轉(zhuǎn)換角度小于該虛擬視角的其他虛擬視角的影像視差圖的該填補(bǔ)信息，填補(bǔ)所合成的該虛擬視角的影像視差圖中所述未知區(qū)域的破洞的步驟更包括: 取用所述未知區(qū)域周?chē)簧疃戎档南袼氐南袼刂祦?lái)填補(bǔ)所述未知區(qū)域的破洞。
7.根據(jù)權(quán)利要求4所述的多視角影像視差圖的補(bǔ)洞方法，其特征在于，記錄填補(bǔ)所合成的該虛擬視角的影像視差圖中所述未知區(qū)域的填補(bǔ)信息于該傳遞圖的步驟更包括: 轉(zhuǎn)換該傳遞圖的視角至一預(yù)設(shè)視角。
8.根據(jù)權(quán)利要求7所述的多視角影像視差圖的補(bǔ)洞方法，其特征在于，存取填補(bǔ)該其他虛擬視角的影像視差圖時(shí)所記錄的該傳遞圖的步驟更包括: 轉(zhuǎn)換該傳遞圖的視角至該虛擬視角，以將轉(zhuǎn)換后的該傳遞圖中的該填補(bǔ)信息填入所合成的該虛擬視角的影像視差圖中的所述未知區(qū)域。
9.根據(jù)權(quán)利要求7所述的多視角影像視差圖的補(bǔ)洞方法，其特征在于，該預(yù)設(shè)視角為正對(duì)或正對(duì)相鄰一影像中心的視角。
10.根據(jù)權(quán)利要求1所述的多視角影像視差圖的補(bǔ)洞方法，其特征在于，該轉(zhuǎn)換角度為該虛擬視角與影像中心點(diǎn)所夾的角度。
11.一種多視角影像視差圖的補(bǔ)洞方法，適用于一電子裝置，其特征在于，該方法包括下列步驟: 針對(duì)拍攝一目標(biāo)的多個(gè)視角中的至少一已知視角，分別取得對(duì)應(yīng)的一影像視差圖； 針對(duì)所述視角中除所述已知視角外的多個(gè)虛擬視角，使用所述已知視角的影像視差圖來(lái)合成各所述虛擬視角的影像視差圖； 填補(bǔ)所合成的該虛擬視角的影像視差圖中至少一未知區(qū)域的破洞； 轉(zhuǎn)換所述虛擬視角的影像的一投影方式為一水平方向?yàn)檎煌队?，垂直方向?yàn)橥敢曂队?；以? 填補(bǔ)轉(zhuǎn)換后的所述虛擬視角的影像中所述未知區(qū)域的破洞。
12.根據(jù)權(quán)利要求11所述的多視角影像視差圖的補(bǔ)洞方法，其特征在于，針對(duì)所述視角中除所述已知視角外的多個(gè)虛擬視角，使用所述已知視角的影像視差圖來(lái)合成各所述虛擬視角的影像視差圖的步驟包括: 針對(duì)所述視角中除所述已知視角外的多個(gè)虛擬視角，使用所述已知視角的影像視差圖來(lái)合成該虛擬視角的影像視差圖。
13.根據(jù)權(quán)利要求12所述的多視角影像視差圖的補(bǔ)洞方法，其特征在于，使用所述已知視角的影像視差圖來(lái)合成該虛擬視角的影像視差圖的步驟包括: 取得所述已知視角的至少一影像視差圖； 轉(zhuǎn)換所述影像視差圖的視角至該虛擬視角；以及 合成轉(zhuǎn)換視角后的所述影像視差圖以產(chǎn)生該虛擬視角的影像視差圖。
14.根據(jù)權(quán)利要求13所述的多視角影像視差圖的補(bǔ)洞方法，其特征在于，合成轉(zhuǎn)換視角后的所述影像視差圖以產(chǎn)生該虛擬視角的影像視差圖的步驟包括: 針對(duì)該虛擬視角的影像視差圖中的每一個(gè)像素，選取所述影像視差圖的對(duì)應(yīng)像素中一深度值較小的像素的像素值來(lái)作為影像視差圖的該像素的像素值，若該像素皆無(wú)對(duì)應(yīng)的深度值，則標(biāo)示該像素為未知區(qū)域。
15.根據(jù)權(quán)利要求12所述的多視角影像視差圖的補(bǔ)洞方法，其特征在于，填補(bǔ)所合成的該虛擬視角的影像視差圖中所述未知區(qū)域的破洞的步驟包括: 使用一轉(zhuǎn)換角度小于該虛擬視角的其他虛擬視角的影像視差圖的一填補(bǔ)信息，填補(bǔ)所合成的該虛擬視角的影像視差圖中所述未知區(qū)域的破洞。
16.根據(jù)權(quán)利要求15所述的多視角影像視差圖的補(bǔ)洞方法，其特征在于，使用該轉(zhuǎn)換角度小于該虛擬視角的其他虛擬視角的影像視差圖的該填補(bǔ)信息，填補(bǔ)所合成的該虛擬視角的影像視差圖中所述未知區(qū)域的破洞的步驟更包括: 記錄填補(bǔ)所合成的該虛擬視角的影像視差圖中所述未知區(qū)域的填補(bǔ)信息于一傳遞圖。
17.根據(jù)權(quán)利要求16所述的多視角影像視差圖的補(bǔ)洞方法，其特征在于，使用該轉(zhuǎn)換角度小于該虛擬視角的其他虛擬視角的影像視差圖的該填補(bǔ)信息，填補(bǔ)所合成的該虛擬視角的影像視差圖中所述未知區(qū)域的破洞的步驟包括: 存取填補(bǔ)該其他虛擬視角的影像視差圖時(shí)所記錄的該傳遞圖，將該傳遞圖中的該填補(bǔ)信息填入所合成的該虛擬視角的影像視差圖中所述未知區(qū)域的破洞。
18.根據(jù)權(quán)利要求17所述的多視角影像視差圖的補(bǔ)洞方法，其特征在于，使用該轉(zhuǎn)換角度小于該虛擬視角的其他虛擬視角的影像視差圖的該填補(bǔ)信息，填補(bǔ)所合成的該虛擬視角的影像視差圖中所述未知區(qū)域的破洞的步驟更包括: 取用所述未知區(qū)域周?chē)簧疃戎档南袼氐南袼刂祦?lái)填補(bǔ)所述未知區(qū)域的破洞。
19.根據(jù)權(quán)利要求16所述的多視角影像視差圖的補(bǔ)洞方法，其特征在于，記錄填補(bǔ)所合成的該虛擬視角的影像視差圖中所述未知區(qū)域的填補(bǔ)信息于該傳遞圖的步驟更包括: 轉(zhuǎn)換該傳遞圖的視角至一預(yù)設(shè)視角。
20.根據(jù)權(quán)利要求19所述的多視角影像視差圖的補(bǔ)洞方法，其特征在于，存取填補(bǔ)該相鄰虛擬視角的影像視差圖時(shí)所記錄的該傳遞圖的步驟更包括: 轉(zhuǎn)換該傳遞圖的視角至該虛擬視角，以將轉(zhuǎn)換后的該傳遞圖中的該填補(bǔ)信息填入所合成的該虛擬視角的影像視差 圖中的所述未知區(qū)域。
【文檔編號(hào)】G06T3/40GK103458257SQ201310024329
【公開(kāi)日】2013年12月18日 申請(qǐng)日期:2013年1月23日 優(yōu)先權(quán)日:2012年5月31日
【發(fā)明者】陳曉薇, 汪德美, 李韋億 申請(qǐng)人:財(cái)團(tuán)法人工業(yè)技術(shù)研究院