專利名稱：多視角立體影像產(chǎn)生方法及其裝置的制作方法
多視角立體影像產(chǎn)生方法及其裝置技術(shù)領(lǐng)域
本發(fā)明是有關(guān)于多視角立體影像的技術(shù)領(lǐng)域，且特別是有關(guān)于一種多視角立體影像產(chǎn)生方法及采用此方法的多視角立體影像產(chǎn)生裝置。
背景技術(shù)：
近年來，影像處理的技術(shù)不斷進(jìn)步，代表著人類持續(xù)地追求更真實(shí)的視覺感受。而除了一般的影像與色彩的處理技術(shù)增進(jìn)之外，多視角立體影像的處理更進(jìn)一步增加了立體空間的視覺感受。
目前的多視角立體影像技術(shù)是利用一張二維影像與一張深度圖(cbpth map)來產(chǎn)生多張具有其它視角的二維影像。然而，這種技術(shù)會(huì)造成嚴(yán)重的影像失真問題，以圖1來說明之。
圖1所示即為現(xiàn)有多視角立體影像產(chǎn)生技術(shù)的示意圖。請(qǐng)參照?qǐng)D1，深度影像繪圖單元(cbpth image based rendering，DIBR) 100接收一張第一視角的二維影像view3與對(duì)應(yīng)于此二維影像view3的一張深度圖DM3，并依據(jù)此二者來產(chǎn)生四張具有其它視角的二維影像，分別以viewl、view2、view4與view5來標(biāo)示。而在產(chǎn)生出來的這四個(gè)二維影像中，二維影像view2與view4這二者的視角皆與二維影像view3的視角相鄰，而二維影像viewl 與view5這二者的視角則分別與二維影像view2與view4的視角相鄰。
由于上述的二維影像view2將二維影像view3中的像素重新投影，使得二維影像 view3向左位移預(yù)設(shè)位移量Δ shift而得，因此二維影像view2會(huì)因?yàn)檎诒涡?yīng)與視角的不同而產(chǎn)生影像缺口(holes)。同樣的，二維影像view4將二維影像view3中的像素重新投影，使得二維影像view3向右位移預(yù)設(shè)位移量Δ shift而得，因此二維影像view4也會(huì)因?yàn)檎诒涡?yīng)與視角的不同而產(chǎn)生影像缺口(holes)。
而由于上述的二維影像viewl將二維影像view3中的像素重新投影，使得二維影像view3向左位移二倍的預(yù)設(shè)位移量Δ shift而得，因此二維影像viewl會(huì)因?yàn)檎诒涡?yīng)與視角的不同而產(chǎn)生二倍大的影像缺口(holes)。同理，由于上述的二維影像view5 將二維影像view3中的像素重新投影，使得二維影像view3向右位移二倍的預(yù)設(shè)位移量 Δ shift而得，因此二維影像view5也會(huì)因?yàn)檎诒涡?yīng)與視角的不同而產(chǎn)生二倍大的影像缺口(holes)。如此一來，便造成了多視角立體影像的嚴(yán)重失真問題。
由上述的說明可知，當(dāng)產(chǎn)生的二維影像的視角越多時(shí)，多視角立體影像失真的情形就會(huì)越嚴(yán)重。發(fā)明內(nèi)容
本發(fā)明提供一種多視角立體影像產(chǎn)生方法，依照此方法所產(chǎn)生的多視角立體影像不會(huì)有嚴(yán)重失真的問題。
本發(fā)明提供一種多視角立體影像產(chǎn)生裝置，其采用上述的多視角立體影像產(chǎn)生方法。
本發(fā)明提出一種多視角立體影像產(chǎn)生方法，其包括下列步驟提供第一二維影像與對(duì)應(yīng)于第一二維影像的第一深度圖，其中第一二維影像具有第一視角；依據(jù)第一二維影像與第一深度圖來產(chǎn)生第二二維影像，其中第二二維影像具有第二視角，且第二視角與第一視角為相鄰的視角；依據(jù)第二二維影像來產(chǎn)生對(duì)應(yīng)的第二深度圖；以及依據(jù)第二二維影像與第二深度圖來產(chǎn)生第三二維影像，其中第三二維影像具有第三視角，且第三視角與第二視角為相鄰的視角。
本發(fā)明另提出一種多視角立體影像產(chǎn)生裝置，其包括有第一深度影像繪圖單元、 第一深度圖產(chǎn)生單元以及第二深度影像繪圖單元。上述的第一深度影像繪圖單元用以接收第一二維影像與對(duì)應(yīng)于第一二維影像的第一深度圖，并依據(jù)第一二維影像與第一深度圖來產(chǎn)生第二二維影像，其中第一二維影像具有第一視角，第二二維影像具有第二視角，且第二視角與第一視角為相鄰的視角。上述的第一深度圖產(chǎn)生單元用以接收第二二維影像，并據(jù)以產(chǎn)生對(duì)應(yīng)的第二深度圖。而上述的第二深度影像繪圖單元用以接收上述的第二二維影像與第二深度圖，并依據(jù)第二二維影像與第二深度圖來產(chǎn)生第三二維影像，其中第三二維影像具有第三視角，且第三視角與第二視角為相鄰的視角。
本發(fā)明解決上述問題的方式，乃是先依據(jù)一張二維影像與對(duì)應(yīng)于此二維影像的一張深度圖來產(chǎn)生具有相鄰視角的二維影像，并依據(jù)產(chǎn)生出來的二維影像來產(chǎn)生對(duì)應(yīng)的深度圖，然后再依據(jù)產(chǎn)生出來的二維影像及這些二維影像對(duì)應(yīng)的深度圖來進(jìn)一步產(chǎn)生具有相鄰視角的二維影像。由于每一新產(chǎn)生的二維影像是由具有相鄰視角的二維影像與其對(duì)應(yīng)的深度圖來產(chǎn)生，因此每一新產(chǎn)生的二維影像的位移量都只有一倍的預(yù)設(shè)位移量，而不會(huì)有數(shù)倍(例如是二倍)的預(yù)設(shè)位移量發(fā)生。因此，依照本發(fā)明的方法而產(chǎn)生的多視角立體影像不會(huì)有嚴(yán)重的影像失真問題。
為讓本發(fā)明的上述和其它目的、特征和優(yōu)點(diǎn)能更明顯易懂，下文特舉較佳實(shí)施例， 并配合所附圖式，作詳細(xì)說明如下。



以下結(jié)合附圖和具體實(shí)施例對(duì)本發(fā)明進(jìn)行詳細(xì)描述，但不作為對(duì)本發(fā)明的限定。
圖2為依照本發(fā)明一實(shí)施例的多視角立體影像產(chǎn)生裝置的示意圖。請(qǐng)參照?qǐng)D2，此多視角立體影像產(chǎn)生裝置20包括有深度影像繪圖單元200、深度圖產(chǎn)生單元210、深度影像繪圖單元220、深度圖產(chǎn)生單元230以及深度影像繪圖單元M0。深度影像繪圖單元200用以接收具有第一視角的二維影像view3與對(duì)應(yīng)于此二維影像view3的深度圖DM3，并依據(jù)這二者來產(chǎn)生二維影像view2與view4。上述的二維影像view3、view2與view4各自具有一視角，且二維影像view2與view4這二者的視角皆與二維影像view3的視角為相鄰的視角， 但二維影像view2與view4這二者的視角并非是相鄰的視角。
深度圖產(chǎn)生單元210用以接收具有第二視角的二維影像view2，并據(jù)以產(chǎn)生對(duì)應(yīng)于二維影像view2的深度圖DM2。此外，深度圖產(chǎn)生單元210還會(huì)將二維影像view2與深度圖DM2傳送給深度影像繪圖單元220。深度影像繪圖單元220用以接收二維影像view2與深度圖DM2，并依據(jù)此二者來產(chǎn)生具有第三視角的二維影像viewl。此二維影像viewl亦具有一視角，且二維影像viewl的視角與二維影像view2的視角亦為相鄰的視角。類似地，深度圖產(chǎn)生單元230用以接收具有第四視角的二維影像view4，并據(jù)以產(chǎn)生對(duì)應(yīng)于二維影像 view4的深度圖DM4。此外，深度圖產(chǎn)生單元230還會(huì)將二維影像view4與深度圖DM4傳送給深度影像繪圖單元M0。深度影像繪圖單元240用以接收二維影像view4與深度圖DM4， 并依據(jù)此二者來產(chǎn)生具有第五視角的二維影像view5。此二維影像view5亦具有一視角，且二維影像view5的視角與二維影像view4的視角亦為相鄰的視角。
藉由上述說明可以知道，由于每一新產(chǎn)生的二維影像是由具有相鄰視角的二維影像與其對(duì)應(yīng)的深度圖來產(chǎn)生，因此每一新產(chǎn)生的二維影像的位移量都只有一倍的預(yù)設(shè)位移量Δ shift，而不會(huì)有數(shù)倍(例如是二倍)的預(yù)設(shè)位移量Δ shift發(fā)生。因此，依照本發(fā)明的方法而產(chǎn)生的多視角立體影像不會(huì)有嚴(yán)重的影像失真問題。
值得一提的是，在此例中，深度影像繪圖單元200、220與240皆是采用深度影像繪圖法(cbpth-image-based rendering, DIBR)來依據(jù)所接收到的二維影像與深度圖來產(chǎn)生具有相鄰視角的一張新的二維影像，然此并非用以限制本發(fā)明。此外，雖然上述例子以產(chǎn)生 5個(gè)具有不同視角的二維影像為例，然此亦非用以限制本發(fā)明。舉例來說，若僅需要3個(gè)具有不同視角的二維影像，則僅需采用深度影像繪圖單元200、深度圖產(chǎn)生單元210與深度影像繪圖單元220來依據(jù)二維影像view3衍生出二維影像view2與viewl，或者是僅采用深度影像繪圖單元200、深度圖產(chǎn)生單元230與深度影像繪圖單元240來依據(jù)二維影像view3 衍生出二維影像view4與view5即可。當(dāng)然，若是需要6個(gè)具有不同視角的二維影像，甚至是更多個(gè)具有不同視角的二維影像，則可增設(shè)新的深度圖產(chǎn)生單元與深度影像繪圖單元來依據(jù)二維影像viewl與view5至少其中之一來衍生出其它具有不同視角的二維影像。
通過上述各實(shí)施的說明，本領(lǐng)域具有通常知識(shí)者當(dāng)可歸納出上述多視角立體影像產(chǎn)生裝置的一些基本操作步驟，一如圖3所示。圖3為依照本發(fā)明一實(shí)施例的多視角立體影像產(chǎn)生方法的流程圖。請(qǐng)參照?qǐng)D3，此多視角立體影像產(chǎn)生方法包括下列步驟首先，提供第一二維影像與對(duì)應(yīng)于第一二維影像的第一深度圖，其中第一二維影像具有第一視角(如步驟S31所示)。接著，依據(jù)上述第一二維影像與第一深度圖來產(chǎn)生第二二維影像，其中第二二維影像具有第二視角，且第二視角與第一視角為相鄰的視角(如步驟S32所示)。然后，依據(jù)上述第二二維影像來產(chǎn)生對(duì)應(yīng)的第二深度圖(如步驟S33所示)。再來，依據(jù)上述第二二維影像與第二深度圖來產(chǎn)生第三二維影像，其中第三二維影像具有第三視角，且第三視角與第二視角為相鄰的視角(如步驟S34所示)。
僅管在上述例子中，深度影像繪圖單元200直接接收具有第一視角的二維影像 view3與對(duì)應(yīng)于此二維影像view3的深度圖DM3來實(shí)現(xiàn)，然本領(lǐng)域具有通常知識(shí)者當(dāng)知在圖 2的深度影像繪圖單元200之前，亦可配置一個(gè)深度圖產(chǎn)生單元，一如圖4所標(biāo)示的深度圖產(chǎn)生單元410。在圖4中，標(biāo)示與圖2的標(biāo)示相同者表示為相同對(duì)象。而圖4所示的深度圖產(chǎn)生單元410，可用以接收具有第一視角的二維影像view3，并據(jù)以產(chǎn)生對(duì)應(yīng)于此二維影像 view3的深度圖DM3。接著，此深度圖產(chǎn)生單元410就會(huì)將二維影像view3與深度圖DM3傳送給深度影像繪圖單元200。
當(dāng)然，本領(lǐng)域具有通常知識(shí)者亦當(dāng)知在圖2的深度影像繪圖單元200之前，亦可透過一個(gè)深度圖產(chǎn)生單元來接收二個(gè)具有不同視角的二維影像(可視為接收一立體影像)， 一如圖5所標(biāo)示的深度圖產(chǎn)生單元510。在圖5中，標(biāo)示與圖2的標(biāo)示相同者表示為相同對(duì)象。而圖5所示的多視角立體影像產(chǎn)生裝置與圖2所示的多視角立體影像產(chǎn)生裝置20的不同之處，在于深度圖產(chǎn)生單元510用以接收具有第一視角的二維影像view3-l與具有第二視角的二維影像view3-2，并據(jù)以產(chǎn)生對(duì)應(yīng)于二維影像view3-l的深度圖DM3-1，或者是據(jù)以產(chǎn)生對(duì)應(yīng)于二維影像view3-2的深度圖DM3-2。接著，此深度圖產(chǎn)生單元510就會(huì)將二維影像view3-l與深度圖DM3-1，或者是將二維影像view3-2與深度圖DM3-2傳送給深度影像繪圖單元200。
綜上所述，本發(fā)明解決上述問題的方式，乃是先依據(jù)一張二維影像與對(duì)應(yīng)于此二維影像的一張深度圖來產(chǎn)生具有相鄰視角的二維影像，并依據(jù)產(chǎn)生出來的二維影像來產(chǎn)生對(duì)應(yīng)的深度圖，然后再依據(jù)產(chǎn)生出來的二維影像及這些二維影像對(duì)應(yīng)的深度圖來進(jìn)一步產(chǎn)生具有相鄰視角的二維影像。由于每一新產(chǎn)生的二維影像是由具有相鄰視角的二維影像與其對(duì)應(yīng)的深度圖來產(chǎn)生，因此每一新產(chǎn)生的二維影像的位移量都只有一倍的預(yù)設(shè)位移量， 而不會(huì)有數(shù)倍(例如是二倍)的預(yù)設(shè)位移量發(fā)生。因此，依照本發(fā)明的方法而產(chǎn)生的多視角立體影像不會(huì)有嚴(yán)重的影像失真問題。
雖然本發(fā)明已以較佳實(shí)施例揭露如上，然其并非用以限定本發(fā)明，任何熟習(xí)此技藝者，在不脫離本發(fā)明的精神和范圍內(nèi)，當(dāng)可作些許的更動(dòng)與潤飾，因此本發(fā)明的保護(hù)范圍當(dāng)視后附的申請(qǐng)專利范圍所界定者為準(zhǔn)。
權(quán)利要求
1.一種多視角立體影像產(chǎn)生方法，其特征在于，包括提供一第一二維影像與對(duì)應(yīng)于該第一二維影像的一第一深度圖，其中該第一二維影像具有一第一視角；依據(jù)該第一二維影像與該第一深度圖來產(chǎn)生一第二二維影像，其中該第二二維影像具有一第二視角，且該第二視角與該第一視角為相鄰的視角；依據(jù)該第二二維影像來產(chǎn)生對(duì)應(yīng)的一第二深度圖；依據(jù)該第二二維影像與該第二深度圖來產(chǎn)生一第三二維影像，其中該第三二維影像具有一第三視角，且該第三視角與該第二視角為相鄰的視角。
2.根據(jù)權(quán)利要求1所述的多視角立體影像產(chǎn)生方法，其特征在于，以一深度影像繪圖法來依據(jù)該第一二維影像與該第一深度圖來產(chǎn)生該第二二維影像，并以該深度影像繪圖法來依據(jù)該第二二維影像與該第二深度圖來產(chǎn)生該第三二維影像。
3.根據(jù)權(quán)利要求1所述的多視角立體影像產(chǎn)生方法，其特征在于，還包括依據(jù)該第一二維影像與該第一深度圖來產(chǎn)生一第四二維影像，其中該第四二維影像具有一第四視角，且該第四視角與該第一視角亦為相鄰的視角。
4.根據(jù)權(quán)利要求3所述的多視角立體影像產(chǎn)生方法，其特征在于，以一深度影像繪圖法來依據(jù)該第一二維影像與該第一深度圖來產(chǎn)生該第四二維影像。
5.根據(jù)權(quán)利要求3所述的多視角立體影像產(chǎn)生方法，其特征在于，還包括依據(jù)該第四二維影像來產(chǎn)生對(duì)應(yīng)的一第三深度圖，并依據(jù)該第四二維影像與該第三深度圖來產(chǎn)生一第五二維影像，其中該第五二維影像具有一第五視角，且該第五視角與該第四視角為相鄰的視角。
6.根據(jù)權(quán)利要求5所述的多視角立體影像產(chǎn)生方法，其特征在于，以一深度影像繪圖法來依據(jù)該第四二維影像與該第三深度圖來產(chǎn)生該第五二維影像。
7.一種多視角立體影像產(chǎn)生裝置，其特征在于，包括一第一深度影像繪圖單元，用以接收一第一二維影像與對(duì)應(yīng)于該第一二維影像的一第一深度圖，并依據(jù)該第一二維影像與該第一深度圖來產(chǎn)生一第二二維影像，其中該第一二維影像具有一第一視角，該第二二維影像具有一第二視角，且該第二視角與該第一視角為相鄰的視角；一第一深度圖產(chǎn)生單元，用以接收該第二二維影像，并據(jù)以產(chǎn)生對(duì)應(yīng)的一第二深度圖；以及一第二深度影像繪圖單元，用以接收該第二二維影像與該第二深度圖，并依據(jù)該第二二維影像與該第二深度圖來產(chǎn)生一第三二維影像，其中該第三二維影像具有一第三視角，且該第三視角與該第二視角為相鄰的視角。
8.根據(jù)權(quán)利要求7所述的多視角立體影像產(chǎn)生裝置，其特征在于，該第一深度影像繪圖單元以一深度影像繪圖法來依據(jù)該第一二維影像與該第一深度圖來產(chǎn)生該第二二維影像，而該第二深度影像繪圖單元以該深度影像繪圖法來依據(jù)該第二二維影像與該第二深度圖來產(chǎn)生該第三二維影像。
9.根據(jù)權(quán)利要求7所述的多視角立體影像產(chǎn)生裝置，其特征在于，該第一深度影像繪圖單元還依據(jù)該第一二維影像與該第一深度圖來產(chǎn)生一第四二維影像，其中該第四二維影像具有一第四視角，且該第四視角與該第一視角亦為相鄰的視角。
10.根據(jù)權(quán)利要求9所述的多視角立體影像產(chǎn)生裝置，其特征在于，該第一深度影像繪圖單元以一深度影像繪圖法來依據(jù)該第一二維影像與該第一深度圖來產(chǎn)生該第四二維影像。
11.根據(jù)權(quán)利要求9所述的多視角立體影像產(chǎn)生裝置，其特征在于，還包括一第二深度圖產(chǎn)生單元，用以依據(jù)該第四二維影像來產(chǎn)生對(duì)應(yīng)的一第三深度圖；以及一第三深度影像繪圖單元，用以依據(jù)該第四二維影像與該第三深度圖來產(chǎn)生一第五二維影像，其中該第五二維影像具有一第五視角，且該第五視角與該第四視角為相鄰的視角。
12.根據(jù)權(quán)利要求11所述的多視角立體影像產(chǎn)生裝置，其特征在于，該第三深度影像繪圖單元以一深度影像繪圖法來依據(jù)該第四二維影像與該第三深度圖來產(chǎn)生該第五二維影像。
全文摘要
本發(fā)明有關(guān)于一種多視角立體影像產(chǎn)生方法，包括下列步驟提供第一二維影像與對(duì)應(yīng)于第一二維影像的第一深度圖，其中第一二維影像具有第一視角；依據(jù)第一二維影像與第一深度圖來產(chǎn)生第二二維影像，其中第二二維影像具有第二視角，且第二視角與第一視角為相鄰的視角；依據(jù)第二二維影像來產(chǎn)生對(duì)應(yīng)的第二深度圖；以及依據(jù)第二二維影像與第二深度圖來產(chǎn)生第三二維影像，其中第三二維影像具有第三視角，且第三視角與第二視角為相鄰的視角。此外，一種采用此方法的多視角立體影像產(chǎn)生裝置亦被提出。本發(fā)明使得產(chǎn)生的多視角立體影像不會(huì)有嚴(yán)重失真。
文檔編號(hào)H04N13/02GK102497564SQ20111039673
公開日2012年6月13日 申請(qǐng)日期2011年11月29日 優(yōu)先權(quán)日2011年11月3日
發(fā)明者和家璞, 李信德, 楊智翔, 蘇峻賢, 蔡富全 申請(qǐng)人:友達(dá)光電股份有限公司