專利名稱：即時立體影像產(chǎn)生裝置與方法
技術領域：
本發(fā)明涉及一種影像處理技術，尤其是涉及將2D影像與影片轉(zhuǎn)換成3D影像與影片的裝置與方法。
背景技術：
一般產(chǎn)生立體影像的方式為DIBR(Depth-Image-Based Rendering),其利用影像的深度資訊與立體攝影機(Toe-in或Off-axis的立體攝影機設置方式)的幾何關系，以改變影像中物體的位置，產(chǎn)生一組有視差的虛擬雙眼立體影像。產(chǎn)生立體影像后，必須填補因像素位置變動所造成的空洞問題，一般影像填補的方法必須經(jīng)過空洞填補順序、影像方向性、相似度等復雜的計算，皆非常耗時；且為達及時產(chǎn)生立體影像，通常會以空洞旁的像素直接填補空洞區(qū)域。由于影像填補演算法必須不斷的更新填補優(yōu)先權，所以計算量非常的龐大，且計算方式屬于變動的，不適于硬件設計，必須由比較固定規(guī)則的計算方式方能克 服。現(xiàn)在3D立體視覺的產(chǎn)品越來越多，但是還是沒有辦法普及到一般的使用者；因為立體影像取得不易，拍攝的儀器也非常昂貴，且一般的電視業(yè)者并沒有辦法提供這種立體影片的服務，因此現(xiàn)在大多都只有應用在游戲以及電影上。現(xiàn)有的產(chǎn)生立體影像處理技術大都以軟件的運算方式來實現(xiàn)，且在應用上皆需要通過電腦的運算才能執(zhí)行，無法達到即時運算即時應用的目的，若要即時應用則需配合高單價的高速運算器如Compute UnifiedDevice Architecture (CUDA)來完成,成本太高,不符效益。因此，各種提升影像處理速度的方式相繼出現(xiàn)，然其計算仍占了整體運算的一大部分，實際影像填補所占的時間卻相對之少，主要是因其影像填補方式是以一個簡單的方式直接由空洞旁的像素向內(nèi)來做填補，這種填補方式在空洞小的情況下效果差強人意，若是空洞過大則會造成填補效果極不理想，同時空洞填補演算法，計算優(yōu)先權的動作不易于硬件電路設計，因為必須一直更新填補優(yōu)先權的值，每填補一個空洞，就要重新更新一次，非常耗時。
因此，申請人有鑒于現(xiàn)有技術的缺失，乃思一克服不規(guī)則的計算方式，完全以硬件的方式實現(xiàn)，簡化空洞填補演算法的步驟，達到2D影像即時轉(zhuǎn)換成3D雙眼立體影像的目標，同時可開發(fā)成芯片，具有低成本且可即時顯示的方法，進而發(fā)明出本案「即時立體影像產(chǎn)生裝置與方法」，用以改善上述現(xiàn)有手段的缺失。

發(fā)明內(nèi)容
本發(fā)明的目的即時立體影像產(chǎn)生裝置與方法，即是將一復雜的影像填補方法予以簡化且設計成一個適合硬件執(zhí)行的方法，并將其應用于立體影像產(chǎn)生時所需的空洞填補技術，因此本發(fā)明具有硬件直接運算與快速填補影像空洞以產(chǎn)生及時立體影像的功能。為達前述目的，本發(fā)明提供一種即時立體影像產(chǎn)生裝置，耦接至一立體影像顯示裝置，其基于一原始2D影像及一深度地圖影像即時產(chǎn)生一立體影像，該即時立體影像產(chǎn)生裝置包含一訊號控制器，耦接于該立體影像顯示裝置，用以控制該即時立體影像產(chǎn)生裝置的訊號時序及流程并輸出該立體影像至該立體影像顯示裝置；一 3D影像產(chǎn)生器，耦接于該訊號控制器，用以接收該原始2D影像及該深度地圖影像并轉(zhuǎn)換成一對有視差的雙眼影像；一雜散空洞處理器，耦接于該訊號控制器，其利用一第一遮罩，以填補一雜散空洞；一梯度產(chǎn)生器，耦接于該訊號控制器，其是利用一第二遮罩與一 RGB像素值以計算該對有視差的雙眼影像的一梯度方向，并產(chǎn)生一梯度方向值；以及一空洞填補處理器，耦接于該訊號控制器，用以重復搜尋一空洞邊緣參考點并依循該梯度方向搜尋一填補候選點，再以該填補候選點方向性的一點回填該空洞，直到搜尋不到該空洞邊緣參考點后，即傳送該立體影像至該訊號控制器，并耦接至立體影像顯示裝置。根據(jù)上述構(gòu)想，其中該空洞填補處理器在搜尋該填補參考點時，會先作色彩空間的轉(zhuǎn)換，即將RGB的色彩空間轉(zhuǎn)換到Y(jié)CbCr的色彩空間，并以YCbCr的色彩空間來計算一色差，并以該色差最接近的點做為該填補參考點，再以該填補參考點的一方向性的點填補該空洞邊緣點旁的一空洞內(nèi)。根據(jù)上述目的，本發(fā)明另一方面提出一種即時立體影像產(chǎn)生方法，應用于一立體 影像顯示裝置，包含下列步驟(a)轉(zhuǎn)換一原始影像成為一對雙眼立體影像；(b)填補該對雙眼立體影像的多個細小空洞區(qū)域；(C)搜尋一空洞的一邊緣參考點；(d)搜尋該空洞的一填補候選點，以該邊緣參考點的方向性搜尋，并以顏色色差最接近的點作為該填補候選點；(e)以該填補候選點方向性的點填回該空洞；以及(f)重復步驟(C) (e)，當搜尋不到該邊緣參考點時，即傳輸一立體影像至該立體影像顯示裝置。因此本發(fā)明的效能即在能夠?qū)a(chǎn)生立體影像的處理加以硬件化，使得立體影像能夠即時產(chǎn)生，讓使用者能夠更容易的就可以使用立體視覺的產(chǎn)品，符合3D顯示裝置的市場需求。


圖I顯示本發(fā)明的系統(tǒng)架構(gòu)示意圖。圖2顯示本發(fā)明一種即時立體影像產(chǎn)生方法的系統(tǒng)流程圖。圖3顯示本發(fā)明一種即時立體影像產(chǎn)生裝置的方塊圖。圖4顯示本發(fā)明一雜散空洞效果圖。圖5a、5b是本發(fā)明一實施例的兩組3X3雜訊濾除遮罩示意圖，其中‘I’代表正常像素，‘0’代表空洞像素，‘X’為不處理像素。圖6是本發(fā)明一實施例的雜散空洞填補處理完成影像效果圖。圖7是本發(fā)明一實施例3X3遮罩的控制訊號對應位置示意圖。圖8a、8b、8c是本發(fā)明一實施例的空洞填補演算法示意圖，其中圖8a所示為在來源區(qū)域搜尋空洞邊緣參考點、圖8b所示為在來源區(qū)域搜尋空洞填補候選點、圖Sc為填補空洞區(qū)域方式。圖9a、9b是本發(fā)明一實施例的空洞邊緣效果圖。
具體實施例方式本案將可由以下的實施例說明而得到充分了解，使得本領域技術人員可據(jù)以完成，然本案的實施并非可由下列實施例而被限制其實施型態(tài)。請參見圖1，其顯示本發(fā)明一種即時立體影像產(chǎn)生裝置的系統(tǒng)架構(gòu)圖，為了將原始的2D影像12直接轉(zhuǎn)換成3D立體影像，必須利用深度攝影機取得深度資訊，或是利用立體攝影機來計算相對的深度資訊，或是以影像分析的方式利用顏色、清晰度、幾何位置、物體大小等方法，來估算影像中的深度資訊，在本實施例中，是采影像分析的方式以獲得深度地圖影像11，接著將2D影像12與深度地圖影像11于3D影像位移13中，利用DIBR的方法產(chǎn)生一對左右立體影像。當產(chǎn)生立體影像的過程中，由于移動了影像的物體位置，造成影像中有空洞產(chǎn)生，必須利用影像填補(image inpainting)方法填補空洞，因此須分別實施左影像填補14與右影像填補15，填補完畢后將左影像與右影像輸出至3D影像顯示器，以供一般使用者更能方便地享受立體視覺。請參見圖2，其顯示本發(fā)明一種即時立體影像產(chǎn)生方法的系統(tǒng)流程圖，首先利用DIBR方法產(chǎn)生一對雙眼立體影像21，接著填補雜散空洞22，此空洞是因為深度連續(xù)變化時所產(chǎn)生的細小空洞區(qū)域，在本實施例中，以3X3的遮罩來執(zhí)行，填補完細小的空洞區(qū)域后，再計算影像的梯度方向23，以便接下來的影像填補法使用，接著再搜尋空洞邊緣參考點 24，找到邊緣參考點后再以邊緣參考點為顏色基礎，以方向性搜尋空洞填補候選點25，并以顏色色差最接近的點做為填補候選點，再以填補候選點的方向性的點做為填補的點填補邊緣點旁的空洞區(qū)域26，重復步驟24 26的搜尋與填補的動作直到?jīng)]有空洞為止，最后輸出立體影像27至一立體影像顯示裝置。請參見圖3，其顯示本發(fā)明一種即時立體影像產(chǎn)生裝置的方塊圖，包含一 3D影像產(chǎn)生器31、一雜散空洞處理器32、一梯度產(chǎn)生器33、一空洞填補處理器34、一存儲器35、以及一訊號控制器36，其中存儲器35儲存立體影像的像素值以及梯度值，并以訊號控制器控制每個區(qū)塊的輸入輸出。在3D影像產(chǎn)生器31中，以Shift-sensor立體攝影機的設定方式，可得到下列方程式
(ft ft λ (ft ft ΛLeft U+丄丄 Right -.U-
l2Zc 2Zj[2ZC 2Zj此方程式用以設計3D影像位移的功能，并將影像產(chǎn)生的位址加上計算的位移量，再將輸入的像素儲存到對應的存儲器位址內(nèi)。請參見圖4，其是本發(fā)明一雜散空洞效果圖，當產(chǎn)生雙眼影像時，會因為深度的變化較緩和，而產(chǎn)生雜散的空洞出現(xiàn)在影像中。為了填補這些雜散的區(qū)域，將兩組3X3遮罩對左右眼影像做掃描，兩組3 X 3的遮罩如圖5a及5b所示。以這兩組遮罩掃描，若有區(qū)塊符合任一個遮罩，則其空洞的像素值會由相符遮罩的其他像素色彩值的平均值填入，重復掃描直到完全沒有符合兩組遮罩為止，每一空格代表是否為空洞的旗標位元，若空格旗標=I表示有像素值，空格旗標=O則代表為空洞。處理完成的影像結(jié)果即如圖6所示。在雜散空洞處理器32中，由3X3遮罩所對應的存儲器位址讀出存儲器內(nèi)的數(shù)據(jù)，再判斷是否有符合其中一組的3X3遮罩，將符合遮罩的空洞由四周的像素平均值填補回存儲器中。3X3遮罩所對應的位址以及遮罩的控制訊號(0000 1000)的對應位置如圖7所示。
在梯度產(chǎn)生器33中，使用5X5的Sobel遮罩分別與影像的R、G、B像素值做計算，并計算影像中每一點的梯度方向，以便接下來的影像填補法來使用，計算梯度方向的公式如下，
權利要求
1.一種即時立體影像產(chǎn)生裝置，其特征在于，耦接至一立體影像顯示裝置，其基于一原始2D影像及一深度地圖影像即時產(chǎn)生一立體影像，該即時立體影像產(chǎn)生裝置包含 一訊號控制器，耦接于該立體影像顯示裝置，用以控制該即時立體影像產(chǎn)生裝置的訊號時序及流程并輸出該立體影像至該立體影像顯示裝置； 一 3D影像產(chǎn)生器，耦接于該訊號控制器，用以接收該原始2D影像及該深度地圖影像并轉(zhuǎn)換成一對有視差的雙眼影像； ー雜散空洞處理器，耦接于該訊號控制器，其利用一第一遮罩，以填補一空洞； 一梯度產(chǎn)生器，耦接于該訊號控制器，其是利用一第二遮罩與ー RGB像素值以計算該對有視差的雙眼影像的ー梯度方向，并產(chǎn)生ー梯度方向值；以及 一空洞填補處理器，耦接于該訊號控制器，用以重復搜尋一空洞邊緣參考點并依循該梯度方向搜尋ー填補候選點，再以該填補候選點方向性的一點回填該空洞，直到搜尋不到該空洞邊緣參考點后，即傳送該立體影像至該訊號控制器。
2.根據(jù)權利要求I所述的即時立體影像產(chǎn)生裝置，其特征在于，更包含一存儲器，耦接于該訊號控制器，用以儲存一位址、該RGB像素值及該梯度方向值。
3.根據(jù)權利要求I所述的即時立體影像產(chǎn)生裝置，其特征在于，該3D影像產(chǎn)生器是利用一深度影像繪圖法產(chǎn)生該對有視差的雙眼影像。
4.根據(jù)權利要求I所述的即時立體影像產(chǎn)生裝置，其特征在于，該對有視差的雙眼影像因深度連續(xù)變化，而產(chǎn)生該雜散空洞。
5.根據(jù)權利要求I所述的即時立體影像產(chǎn)生裝置，其特征在于，該第一遮罩是ー3X3遮罩。
6.根據(jù)權利要求I所述的即時立體影像產(chǎn)生裝置，其特征在于，該第二遮罩是ー5X5遮罩。
7.根據(jù)權利要求I所述的即時立體影像產(chǎn)生裝置，其特征在于，該空洞填補處理器在搜尋該填補參考點時，會先作色彩空間的轉(zhuǎn)換，即將RGB的色彩空間轉(zhuǎn)換到Y(jié)CbCr的色彩空間，并以YCbCr的色彩空間來計算一色差，并以該色差最接近的點做為該填補參考點，再以該填補參考點的一方向性的點填補該空洞邊緣點旁的一空洞內(nèi)。
8.根據(jù)權利要求7所述的即時立體影像產(chǎn)生裝置，其特征在于，該色差是由一前級填補參考點的一第一像素值與一次級填補參考點的一第二像素值計算而來，且各該像素值皆由各該填補參考點的位址與梯度方向值所產(chǎn)生，最后將色差最小的點的位址與梯度方向值輸出給下ー級空洞填補使用。
9.一種即時立體影像產(chǎn)生方法，其特征在干，應用于一立體影像顯示裝置，包含下列步驟 (a)轉(zhuǎn)換ー原始影像成為ー對雙眼立體影像； (b)填補該對雙眼立體影像的多個細小空洞區(qū)域； (C)搜尋一空洞的ー邊緣參考點； (d)搜尋該空洞的一填補候選點，以該邊緣參考點的方向性搜尋，并以顏色色差最接近的點作為該填補候選點； (e)以該填補候選點方向性的點填回該空洞；以及 (f)重復步驟(C) (e)，當搜尋不到該邊緣參考點吋，即傳輸一立體影像至該立體影像顯示裝置。
10.根據(jù)權利要求9所述的即時立體影像產(chǎn)生方法，其特征在于，步驟(a)是利用一深度影像繪圖法產(chǎn)生該對雙眼立體影像，其中該對雙眼立體影像是ー具有視差的虛擬影像，且因影像深度連續(xù)變化產(chǎn)生多個空洞區(qū)域于其上。
11.根據(jù)權利要求9所述的即時立體影像產(chǎn)生方法，其特征在于，步驟(b)是利用一3X3遮罩實施掃描以進行空洞填補作業(yè)。
12.根據(jù)權利要求9所述的即時立體影像產(chǎn)生方法，其特征在于，步驟(c)是以ーflag旗標訊號的上升緣與下降緣變化來找出該邊緣參考點。
13.根據(jù)權利要求9所述的即時立體影像產(chǎn)生方法，其特征在于，步驟(d)是利用一5X5遮罩分別與影像的RGB像素值，計算影像中每一點的梯度方向，產(chǎn)生ー梯度方向值，以供后續(xù)影像空洞填補應用。
14.根據(jù)權利要求9所述的即時立體影像產(chǎn)生方法，其特征在于，步驟(d)在搜尋該填補參考點時，會先作色彩空間轉(zhuǎn)換，即將ー RGB的色彩空間轉(zhuǎn)換到一 YCbCr的色彩空間，并以該YCbCr的色彩空間來計算一色差。
15.根據(jù)權利要求14所述的即時立體影像產(chǎn)生方法，其特征在于，該色差是由一前級填補參考點的一第一像素值與一次級填補參考點的一第二像素值計算而來，且各該像素值皆由各該填補參考點的位址與梯度方向值所產(chǎn)生。
全文摘要
本發(fā)明公開一種即時立體影像產(chǎn)生裝置與方法。其利用2D影像中物體的深度資訊以改變原2D影像內(nèi)物體的所在位置，以產(chǎn)生出一組有視差的雙眼影像，由于原影像經(jīng)由變動后的雙眼影像中會產(chǎn)生空洞的問題，因此以影像填補的方法，分別將雙眼影像的左眼以及右眼影像做填補，依照影像的結(jié)構(gòu)性將影像中的空洞填補起來，成為一個完整的3D雙眼立體影像。利用本發(fā)明的裝置與方法，可即時將2D影像直接轉(zhuǎn)換為3D雙眼立體影像。
文檔編號H04N13/00GK102695064SQ201110127160
公開日2012年9月26日 申請日期2011年5月17日 優(yōu)先權日2011年3月25日
發(fā)明者張祐維, 鄭芳炫 申請人:中華大學