一種可減緩死角的裸眼立體圖像合成系統(tǒng)及其合成方法
【專利摘要】本發(fā)明公開一種可減緩死角的裸眼立體圖像合成系統(tǒng)，其包括深度圖生成單元、基于深度圖像的繪制單元和存儲(chǔ)器，其還包括反視差圖像裝置、裸眼屏像素合成器和顯示屏，所述反視差圖像裝置的輸入端分別與深度圖生成單元、基于深度圖像的繪制單元的輸出端連接，反視差圖像裝置一輸出端與裸眼屏像素合成器的輸入端連接，裸眼屏像素合成器的輸出端與顯示屏連接。本發(fā)明采用反視差圖像裝置生成反視差圖像，替換或插入基于深度圖像的繪制單元生成的多視角圖像中，填補(bǔ)多視角圖像的空洞，使其合成的最終多視角視差變小，使人產(chǎn)生連續(xù)感，得到更舒服的多視圖,且生成的圖像空洞變少，空洞范圍變小，從而減少修補(bǔ)的工作量和時(shí)間，得到更接近實(shí)際圖像的多視圖。
【專利說明】一種可減緩死角的裸眼立體圖像合成系統(tǒng)及其合成方法
【技術(shù)領(lǐng)域】
[0001 ] 本發(fā)明涉及多視角與三維圖像合成【技術(shù)領(lǐng)域】，尤其涉及一種可減緩死角的裸眼立體圖像合成系統(tǒng)及其合成方法。
【背景技術(shù)】
[0002]繼高清晰度電視以后，立體電視(3DTV)將成為下一代電視技術(shù)的發(fā)展方向。傳統(tǒng)的立體視頻是將左右兩臺(tái)攝像機(jī)固定在場景中模擬人的雙眼從兩個(gè)不同角度拍攝得到的。這就造成在傳輸節(jié)目時(shí)需要傳輸兩路視頻。為了減少數(shù)據(jù)的傳輸，聯(lián)合視頻小組JVT和歐洲的ATTEST項(xiàng)目都建議采用“視頻+深度”的數(shù)據(jù)格式。這樣，左右視頻可以由中間視頻及其對應(yīng)的深度圖像(depth iamge)來合成,這便是3DTV中的基于深度圖形的繪制(DepthImage BasedRendering, DIBR)技術(shù)。DIBR能利用參考圖像及其對應(yīng)的深度圖合成任意視點(diǎn)的視圖，是一種比較有前途的方法。
[0003]如圖1所示，目前多視角圖像的合成方式是利用由兩張二維圖像合成出一張深度圖，再利用其中一張二維圖像與合成的深度圖配合采用基于深度圖形的繪制技術(shù)(DIBR)生成多張不同視角的圖像。
[0004]現(xiàn)有技術(shù)使用一張二維圖像與合成的深度圖來生成不同視角的圖像，且每一視角之間的視差均為固定方向。如圖2所示，通過原始二維圖影像I和一張深度圖，通過基于深度圖形的繪制技術(shù)(DIBR)生成六張不同視角的影像，分別為影像1-1，影像1-2、影像1-3、影像1-4、影像1_5、影像1-6,其中，以原始二維圖影像I為中心,影像1-1、影像1-3和影像1-5處于同一側(cè)，相鄰影像的視差角度分別為a，b，c ；a, b，c均為同一性質(zhì)的數(shù)值，a若為正值，b, c必定也為正值，a為負(fù)值，b, c必定也為負(fù)值。影像1-2、影像1_4和影像1_6處于原始二維圖影像I的另外一側(cè)，相鄰影像的視差角度分別為d，e，f，而a與d的性質(zhì)必定相反，a為正數(shù)的話，d必定為負(fù)數(shù)，反之亦然，而d，e, f則為同一性質(zhì)的數(shù)值。這樣需要生成的次數(shù)多、角度大(例如圖2中，影像1-1的視差角度為a，但影像1-5的視差角度為a+b+c)，生成的視圖產(chǎn)生的角度隨之變大，這就需要花費(fèi)更多的時(shí)間與成本做圖像生成與修補(bǔ)工作，且當(dāng)修補(bǔ)的部位越多，修補(bǔ)出來的圖像偏離原始圖像的情況就越嚴(yán)重。
[0005]圖3為現(xiàn)有DIBR技術(shù)所生成的視差圖與裸眼顯示屏之間的對應(yīng)圖，所生成的影像數(shù)為6，對應(yīng)到7個(gè)視角的裸眼顯示屏，當(dāng)用戶在觀看時(shí)，若是站在視差最大的相鄰兩視角的交界處(如圖4所示)會(huì)有明顯的不舒服感。

【發(fā)明內(nèi)容】

[0006]為了克服現(xiàn)有技術(shù)的不足，本發(fā)明的目的在于提供一種可改善死角所造成的不舒服感，且生成出的影像失真較小的可減緩死角的裸眼立體圖像合成系統(tǒng)及其合成方法。
[0007]本發(fā)明的技術(shù)方案為:一種可減緩死角的裸眼立體圖像合成系統(tǒng)，其包括深度圖生成單元、基于深度圖像的繪制單元和存儲(chǔ)器，深度圖生成單元的輸出端與基于深度圖像的繪制單元的輸入端連接，基于深度圖像的繪制單元的輸出端與存儲(chǔ)器連接，其還包括反視差圖像裝置、裸眼屏像素合成器和顯示屏，所述反視差圖像裝置的輸入端分別與深度圖生成單元、基于深度圖像的繪制單元的輸出端連接，反視差圖像裝置一輸出端與裸眼屏像素合成器的輸入端連接，另一端與存儲(chǔ)器連接，裸眼屏像素合成器的輸出端與顯示屏連接。
[0008]進(jìn)一步，所述反視差圖像裝置包括反視差圖像視差角度計(jì)算單元、圖像替代單元和內(nèi)插圖像計(jì)算單元，
[0009]所述反視差圖像視差角度計(jì)算單元:計(jì)算出反視差圖像的視差角度；
[0010]所述圖像替代單元:根據(jù)反視差圖像視差角度計(jì)算單元所計(jì)算出的視差角度，若反視差圖像與最接近的基于深度圖像的繪制單元產(chǎn)生的圖像的視差角度差在視覺容忍角度范圍內(nèi)，以最接近的基于深度圖像的繪制單元產(chǎn)生的圖像作為反視差圖像，并插入到基于深度圖像的繪制單元產(chǎn)生的圖像中；
[0011]所述內(nèi)插圖像計(jì)算單元:根據(jù)反視差圖像視差角度計(jì)算單元所計(jì)算出的視差角度，若反視差圖像與最接近的基于深度圖像的繪制單元產(chǎn)生的圖像的視差角度差超出視覺容忍角度范圍，則生成反視差圖像，并將生成的反視差圖像插入基于深度圖像的繪制單元產(chǎn)生的圖像中。
[0012]本發(fā)明所述的可減緩死角的裸眼立體圖像合成系統(tǒng)的合成方法包括以下步驟:
[0013]1)深度圖生成單元根據(jù)輸入的兩張二維圖像，生成一張深度圖；
[0014]2)基于深度圖像的繪制單元根據(jù)其中一張二維圖像和步驟I生成的深度圖生成N張多視角圖像，其中，往左生成的第一張圖像與中心線的視差角度為α，第W張圖像與中心線的視差角度為W* α，往右方生成M張圖像，往右生成的第一張圖像與中心線的視視差角
度為α，第M張圖像與中心線的視差角度為Μ*α，其中，W小于或等于M，
【權(quán)利要求】
1.一種可減緩死角的裸眼立體圖像合成系統(tǒng)，其包括深度圖生成單元、基于深度圖像的繪制單元和存儲(chǔ)器，深度圖生成單元的輸出端與基于深度圖像的繪制單元的輸入端連接，基于深度圖像的繪制單元的輸出端與存儲(chǔ)器連接，其特征在于:其還包括反視差圖像裝置、裸眼屏像素合成器和顯示屏，所述反視差圖像裝置的輸入端分別與深度圖生成單元、基于深度圖像的繪制單元的輸出端連接，反視差圖像裝置一輸出端與裸眼屏像素合成器的輸入端連接，另一端與存儲(chǔ)器連接，裸眼屏像素合成器的輸出端與顯示屏連接。
2.根據(jù)權(quán)利要求1所述的可減緩死角的裸眼立體圖像合成系統(tǒng)，其特征在于:所述反視差圖像裝置包括反視差圖像視差角度計(jì)算單元、圖像替代單元和內(nèi)插圖像計(jì)算單元， 所述反視差圖像視差角度計(jì)算單元:計(jì)算出反視差圖像的視差角度； 所述圖像替代單元:根據(jù)反視差圖像視差角度計(jì)算單元所計(jì)算出的視差角度，若反視差圖像與最接近的基于深度圖像的繪制單元產(chǎn)生的圖像的視差角度差在視覺容忍角度范圍內(nèi)，以最接近的基于深度圖像的繪制單元產(chǎn)生的圖像作為反視差圖像，并插入到基于深度圖像的繪制單元產(chǎn)生的圖像中； 所述內(nèi)插圖像計(jì)算單元:根據(jù)反視差圖像視差角度計(jì)算單元所計(jì)算出的視差角度，若反視差圖像與最接近的基于深度圖像的繪制單元產(chǎn)生的圖像的視差角度差超出視覺容忍角度范圍，則生成反視差圖像，并將生成的反視差圖像插入基于深度圖像的繪制單元產(chǎn)生的圖像中。
3.根據(jù)權(quán)利要求1或2所述的可減緩死角的裸眼立體圖像合成系統(tǒng)的合成方法，其特征在于:其包括以下步驟: 1)深度圖生成單元根據(jù)輸入的兩張二維圖像，生成一張深度圖； 2)基于深度圖像的繪制單元根據(jù)其中一張二維圖像和步驟I生成的深度圖生成N張多視角圖像，其中，往左生成的第一張圖像與中心線的視差角度為α，第W張圖像與中心線的視差角度為W* α，往右方生成M張圖像，往右生成的第一張圖像與中心線的視視差角度為α，第M張圖像與中心線的視差角度為Μ* α，其中，W小于或等于MK，M≤；同時(shí)，將原始的二維圖像放中心線位置；并將生成的多視角圖像及原始的二維圖像發(fā)送給反視差圖像裝置和存儲(chǔ)器； 3)所述反視差圖像裝置接收基于深度圖像的繪制單元發(fā)送的多視角圖像及原始的二維圖像，并分別存入圖像替代單元和內(nèi)插圖像計(jì)算單元； 設(shè)定要生成的反視差圖像張數(shù)為X，所述反視差圖像視差角度計(jì)算單元計(jì)算反視差圖像的視差角度β=，設(shè)定視差容忍角度為Y ;反視差圖像的視差角度β與最接近的基于深度圖像的繪制單元生成的圖像的視差角度Wa或Ma的差為或； 若=O或=O或≤Y或≤Y，視差角度為Wa或Ma的圖像為與反視差圖像最接近的圖像，將視差角度為Wa或Ma的圖像作為反視差圖像并插入到反視差圖像的位置，然后將插入了反視差圖像的多視角圖像及原始的二維圖像發(fā)送給裸眼屏像素合成器和存儲(chǔ)器； 若或≥Y，內(nèi)插圖像計(jì)算單元生成反視差圖像，并將生成的反視差圖像插入基于深度圖像的繪制單元發(fā)送的圖像中，然后將插入反視差圖像后的多視角圖像及原始的二維圖發(fā)送給裸眼屏像素合成器和存儲(chǔ)器； 4)裸眼屏像素合成器根據(jù)接收的圖像，按照裸眼屏的參數(shù)將多張視角圖合并成一張分辨率與裸眼顯示屏相同的影像，并發(fā)送到顯示屏上顯示。
4.根據(jù)權(quán)利要求3所述的可減緩死角的裸眼立體圖像合成系統(tǒng)的合成方法，其特征在于:所述基于深度圖像的繪制單元要生成的多視角圖像總數(shù)NS 5時(shí)，反視差圖像生成單元生成一張反視差圖像；當(dāng)要生成的圖像總數(shù)N> 5時(shí)，反視差圖像生成單元生成兩張以上反視差圖像。
5.根據(jù)權(quán)利要求4所述的可減緩死角的裸眼立體圖像合成系統(tǒng)的合成方法，其特征在于:所述插入的反視差圖像為一張時(shí)，其插入的方向與基于深度圖像的繪制單元要生成的第N張視角圖方向相反；若插入的反視差圖像為兩張時(shí)，第一張反視差圖像插入的方向與基于深度圖像的繪制單元要生成的第N張視角圖方向相反，第二張反視差圖像插入的方向與基于深度圖像的繪制單元要生成的第N張視角圖方向相同，三張以上的反視差圖像的方向則根據(jù)前兩張生成圖像的方向的周期不斷重復(fù)。
6.根據(jù)權(quán)利要求3所述的可減緩死角的裸眼立體圖像合成系統(tǒng)的合成方法，其特征在于:所述反視差圖像生成單元采用DIBR技術(shù)或MEMC技術(shù)生成反視差圖像。
7.根據(jù)權(quán)利要求3所述的可減緩死角的裸眼立體圖像合成系統(tǒng)的合成方法，其特征在于:所述基于深度圖像的繪 制單元采用深度圖像繪制技術(shù)生成多視角圖像。
【文檔編號】H04N13/00GK103747228SQ201410033385
【公開日】2014年4月23日 申請日期:2014年1月24日 優(yōu)先權(quán)日:2014年1月24日
【發(fā)明者】呂昭宏, 許勝允, 王孝艷 申請人:冠捷顯示科技（廈門）有限公司