一種針對(duì)多視點(diǎn)裸眼3d顯示的并行同步縮放引擎及方法
【專利摘要】本發(fā)明屬于圖像顯示處理【技術(shù)領(lǐng)域】，涉及到一種針對(duì)多視點(diǎn)裸眼3D顯示的并行同步縮放引擎及方法，首先對(duì)插值像素窗進(jìn)行選擇和組合計(jì)算，然后再對(duì)合成的合成視場(chǎng)插值像素窗進(jìn)行插值計(jì)算，計(jì)算結(jié)果直接在顯示終端顯示。即將已有方法所采用的先進(jìn)行圖像縮放，再進(jìn)行裸眼立體圖像合成的過(guò)程，改進(jìn)為先進(jìn)行像素點(diǎn)的篩選和組合，然后進(jìn)行縮放插值處理。本發(fā)明大幅減小了計(jì)算復(fù)雜度，易于實(shí)時(shí)硬件實(shí)現(xiàn)?？杉嫒莞鞣N視點(diǎn)數(shù)目、多種插值算法以及整型和浮點(diǎn)型像素排列的裸眼3D顯示，不會(huì)因視點(diǎn)數(shù)目的增加而增加計(jì)算資源，隨著視點(diǎn)數(shù)目的增加進(jìn)一步體現(xiàn)出本發(fā)明所提出的并行同步縮放引擎的性能優(yōu)勢(shì)。
【專利說(shuō)明】—種針對(duì)多視點(diǎn)裸眼3D顯示的并行同步縮放引擎及方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于視頻圖像顯示處理【技術(shù)領(lǐng)域】，具體涉及到一種應(yīng)用在多視點(diǎn)裸眼3D顯示技術(shù)中的易于硬件實(shí)現(xiàn)的多視場(chǎng)并行同步縮放引擎及方法。
【背景技術(shù)】
[0002]立體顯示技術(shù)可以表現(xiàn)圖像的深度信息和景深感，讓觀眾產(chǎn)生身臨其境的觀影體驗(yàn)，因此有著廣闊的市場(chǎng)前景。目前已經(jīng)商業(yè)化的3D顯示技術(shù)幾乎都是基于人眼雙目立體視覺(jué)原理，即讓左右眼分別接收不同視點(diǎn)的視場(chǎng)圖像，由于不同視點(diǎn)間視場(chǎng)圖像存在細(xì)微的差異，通過(guò)大腦融合讓觀眾產(chǎn)生立體感。相比傳統(tǒng)的眼鏡式3D顯示，裸眼3D顯示擺脫了需要佩戴3D眼鏡才能觀看到立體效果的束縛，因而更具市場(chǎng)優(yōu)勢(shì)。目前裸眼3D顯示主要分為:狹縫光柵式顯示、柱狀透鏡式顯示、體顯示和全息顯示。狹縫光柵式顯示和柱狀透鏡式顯示，是在顯示終端前方添加一層方向性阻擋或折射的光學(xué)介質(zhì)，從而將左右眼視場(chǎng)分離。本發(fā)明中如不做特殊說(shuō)明，裸眼3D顯示均是指狹縫光柵顯示以及柱狀透鏡顯示。
[0003]如圖1，以整型像素排列的1080P四視點(diǎn)裸眼3D顯示為例，簡(jiǎn)要說(shuō)明裸眼3D顯示處理過(guò)程。1080P四視點(diǎn)裸眼3D片源的4個(gè)子視場(chǎng)圖像分辨率均為960 X 540，呈四宮格排列。對(duì)應(yīng)的顯示處理過(guò)程主要分為以下幾步:
[0004]1、將四子視場(chǎng)圖像分割，得到四幅分辨率為960X540的子圖(a、b、c、d)；
[0005]2、將各子圖的分辨率分別插值縮放至顯示終端的物理分辨率(1920X 1080)，得到各子視場(chǎng)縮放后的圖像(A、B、C、D)；
[0006]3、根據(jù)光柵或者柱狀透鏡的相關(guān)系數(shù)和視點(diǎn)之間的加權(quán)組合關(guān)系，將A、B、C、D相應(yīng)位置的各子像素點(diǎn)重新計(jì)算組合，得出相應(yīng)位置裸眼立體圖像的顯示像素；
[0007]4、完成所合成得到的裸眼立體圖像的終端顯示。
[0008]如圖2所示，通過(guò)狹縫光柵或柱狀透鏡與裸眼立體合成圖之間對(duì)應(yīng)的光路選擇作用，在不同角度和距離下，觀看到的視場(chǎng)圖像不相同。由于用戶左右眼之間有大約五公分的距離，觀眾在合適的觀看位置觀看圖像時(shí)，用戶左右眼會(huì)接收到不同的視場(chǎng)圖像，經(jīng)過(guò)大腦合成處理產(chǎn)生立體景深感。需要說(shuō)明的是，圖2列舉了一種4視點(diǎn)整型排列的情形，僅代表了裸眼3D合成圖的一種像素排布方式。
[0009]與上述方法相對(duì)應(yīng)的裸眼立體顯示處理系統(tǒng)如圖3所示，主要包含四部分:輸入視頻解碼模塊，N視點(diǎn)視圖序列生成模塊，視頻圖像幀存儲(chǔ)控制模塊以及裸眼立體圖生成模塊。其中縮放引擎包含于裸眼立體圖生成模塊中，其輸入為各子視場(chǎng)插值像素窗，輸出為合成立體圖的顯示像素。
[0010]圖4所示為已有的裸眼3D顯示系統(tǒng)中的縮放引擎系統(tǒng)。主要包含以下幾步:
[0011]1、從SDRAM(包括DDRS DRAM\DDR2SDRAM\DDR3SDRAM)中分別獲取各子視場(chǎng)圖像數(shù)據(jù)，根據(jù)相關(guān)縮放算法，得出各子視場(chǎng)當(dāng)前插值像素點(diǎn)插值計(jì)算所需的插值像素窗數(shù)據(jù)；
[0012]2、根據(jù)相關(guān)縮放算法的縮放系數(shù)，將各子視場(chǎng)相應(yīng)的插值像素窗通過(guò)N個(gè)縮放插值模塊并行進(jìn)行縮放插值計(jì)算，得到N個(gè)縮放后的像素值數(shù)據(jù)；[0013]3、根據(jù)顯示終端像素排列要求，將N個(gè)子視場(chǎng)的N個(gè)插值縮放結(jié)果，通過(guò)多視點(diǎn)裸眼3D視頻圖像組合計(jì)算模塊進(jìn)行像素合成，得到當(dāng)前位置的顯示像素合成結(jié)果。重復(fù)上述步驟，直至一場(chǎng)圖像合成完畢，并將合成的裸眼3D圖像在裸眼立體顯示終端上顯示。
[0014]下面結(jié)合圖3、圖4，以N視點(diǎn)裸眼3D顯示為例，對(duì)以上步驟做具體描述:
[0015]首先將視頻信號(hào)(模擬信號(hào)或數(shù)字信號(hào))通過(guò)輸入視頻解碼模塊，解碼為視頻數(shù)字信號(hào)(即RGB\YUV\RGBY信號(hào))以及相對(duì)應(yīng)的視頻標(biāo)志信號(hào)。
[0016]如果直接將多視點(diǎn)裸眼3D片源解碼后得到的視頻數(shù)據(jù)信號(hào)投放在顯示終端上，并不能讓用戶感受到立體感。為了能夠顯示3D效果，首先通過(guò)N視點(diǎn)視圖序列生成模塊，進(jìn)行圖像分割或通過(guò)2D轉(zhuǎn)3D等方式獲得多個(gè)子視場(chǎng)圖像序列。然后通過(guò)視頻圖像幀存儲(chǔ)控制模塊將視頻圖像數(shù)據(jù)存入SDRAM (包括DDR SDRAM\DDR2SDRAM\DDR3SDRAM)。圖像存入SDRAM后，根據(jù)顯示終端的物理分辨率，通過(guò)裸眼立體圖生成模塊將各子視場(chǎng)圖像的分辨率均縮放至與顯示終端相同的物理分辨率(如1080P、4KX2K或8KX4K分辨率)，得到N幅與顯示終端物理分辨率相同的圖像。上述過(guò)程中，縮放引擎(如圖4所示)包含于裸眼立體圖生成模塊中，其運(yùn)行過(guò)程如下:取出SDRAM中各子視場(chǎng)圖像序列，將各子視場(chǎng)數(shù)據(jù)存入片上存儲(chǔ)器中，然后根據(jù)相應(yīng)縮放算法，取出縮放插值模塊計(jì)算所需使用到的插值像素窗數(shù)據(jù)。各子視場(chǎng)縮放插值模塊根據(jù)縮放算法以及相應(yīng)插值像素窗，并行進(jìn)行逐點(diǎn)插值計(jì)算。將插值縮放后得到的N幅子視場(chǎng)圖像序列，根據(jù)顯示終端的光柵或柱狀透鏡的立體圖像素排列要求將各子視場(chǎng)的縮放結(jié)果相應(yīng)位置的R\G\B(Y\U\V、R\G\B\Y)子像素點(diǎn)通過(guò)多視點(diǎn)裸眼3D視頻圖像組合計(jì)算模塊，完成組合計(jì)算得到對(duì)應(yīng)位置裸眼3D圖像的顯示像素。
[0017]最后，根據(jù)顯示終端的接口及相應(yīng)的編碼方式，將上述處理好的裸眼3D合成圖像數(shù)據(jù)輸送給顯示終端，進(jìn)行裸眼3D的顯示。重復(fù)上述過(guò)程，直至一場(chǎng)圖像結(jié)束。
[0018]現(xiàn)有方法的缺點(diǎn)在于:
[0019]隨著顯示終端分辨率的不斷提升，多視點(diǎn)裸眼3D視頻源的視點(diǎn)數(shù)目正朝著越來(lái)越多的方向發(fā)展，這樣各視點(diǎn)之間相互補(bǔ)充，會(huì)讓觀眾產(chǎn)生更好的觀影體驗(yàn)以及支持更多的用戶同時(shí)觀看。已有方法中每個(gè)子視場(chǎng)圖像均需單獨(dú)縮放，N個(gè)視場(chǎng)需要N個(gè)獨(dú)立的縮放插值模塊，而裸眼立體圖像合成時(shí)，只使用到了各子視場(chǎng)縮放結(jié)果的部分?jǐn)?shù)據(jù)，這樣多個(gè)縮放插值模塊計(jì)算了大量未使用的冗余數(shù)據(jù)，因此浪費(fèi)了大量的硬件計(jì)算資源。另一方面，隨著視點(diǎn)數(shù)目的進(jìn)一步增加，巨大的硬件計(jì)算資源消耗，最終將使得硬件資源難以滿足設(shè)計(jì)要求。

【發(fā)明內(nèi)容】

[0020]本發(fā)明的目的在于提供一種針對(duì)多視點(diǎn)裸眼3D顯示的并行同步縮放引擎及方法，其易于硬件實(shí)現(xiàn)，且能夠有效的節(jié)省硬件計(jì)算資源。圖3中所示現(xiàn)有縮放引擎可由本發(fā)明并行同步縮放引擎(如圖5所示)替代，在功能正確的情況下，優(yōu)化系統(tǒng)的資源利用率。本發(fā)明并行同步縮放引擎為裸眼3D顯示系統(tǒng)的關(guān)鍵功能模塊，縮放引擎的輸入為多視場(chǎng)圖像序列，輸出為裸眼合成立體圖，通過(guò)本發(fā)明提出的并行同步縮放引擎，大幅降低了裸眼3D顯示系統(tǒng)的硬件資源消耗。
[0021]為了實(shí)現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案:
[0022]一種針對(duì)多視點(diǎn)裸眼3D顯示的并行同步縮放引擎，包括:多路圖像組合計(jì)算模塊，用于從各子視場(chǎng)對(duì)應(yīng)的片上存儲(chǔ)單元中同步、并行的取出在插值縮放過(guò)程中使用到的插值像素窗數(shù)據(jù)，并對(duì)各子視場(chǎng)插值像素窗數(shù)據(jù)進(jìn)行組合運(yùn)算篩選，得出合成視場(chǎng)各子像素插值像素窗數(shù)據(jù)，并輸入像素拼接模塊；像素拼接模塊，用于對(duì)合成視場(chǎng)各子像素插值像素窗數(shù)據(jù)拼接得出合成視場(chǎng)插值像素窗，輸入縮放插值模塊；縮放插值模塊，用于根據(jù)相應(yīng)縮放算法的縮放系數(shù)，對(duì)合成視場(chǎng)插值像素窗數(shù)據(jù)插值計(jì)算出相應(yīng)位置的一個(gè)顯示像素。
[0023]本發(fā)明進(jìn)一步的改進(jìn)在于:縮放插值模塊在計(jì)算一場(chǎng)圖像顯示像素的同時(shí)，將合成圖像顯示像素在裸眼3D顯示終端上顯示，具有實(shí)時(shí)處理、實(shí)時(shí)顯示的特點(diǎn)，易于硬件實(shí)現(xiàn)。
[0024]本發(fā)明進(jìn)一步的改進(jìn)在于:各子視場(chǎng)視頻數(shù)據(jù)存入對(duì)應(yīng)片上存儲(chǔ)單元的過(guò)程中各子視場(chǎng)控制狀態(tài)保持一致，各子視場(chǎng)數(shù)據(jù)同步寫(xiě)入相應(yīng)片上存儲(chǔ)單元。
[0025]本發(fā)明進(jìn)一步的改進(jìn)在于:所述裸眼3D顯示終端為N視點(diǎn)整型或者浮點(diǎn)型像素排布的裸眼3D顯示終端；
[0026]所述裸眼3D顯示終端為整型像素排列時(shí)，N個(gè)G中有且僅有一個(gè)為一，其余為零；
[0027]所述裸眼3D顯示終端為浮點(diǎn)型像素排列時(shí)，N個(gè)F廣滿足
【權(quán)利要求】
1.一種針對(duì)多視點(diǎn)裸眼3D顯示的并行同步縮放引擎，其特征在于，包括: 多路圖像組合計(jì)算模塊，用于從各子視場(chǎng)對(duì)應(yīng)的片上存儲(chǔ)單元中同步、并行的取出在插值縮放過(guò)程中使用到的插值像素窗數(shù)據(jù)，并對(duì)各子視場(chǎng)插值像素窗數(shù)據(jù)進(jìn)行組合運(yùn)算篩選，得出合成視場(chǎng)各子像素插值像素窗數(shù)據(jù)，其結(jié)果輸出給像素拼接模塊； 像素拼接模塊，用于對(duì)合成視場(chǎng)各子像素插值像素窗數(shù)據(jù)拼接，得出合成視場(chǎng)插值像素窗，其結(jié)果輸出給縮放插值模塊； 縮放插值模塊，用于根據(jù)相應(yīng)縮放算法的縮放系數(shù)，對(duì)插值像素窗數(shù)據(jù)插值計(jì)算出相應(yīng)位置的一個(gè)顯示像素。
2.根據(jù)權(quán)利要求1所述的一種針對(duì)多視點(diǎn)裸眼3D顯示的并行同步縮放引擎，其特征在于，縮放插值模塊計(jì)算出一場(chǎng)圖像中所有顯示像素，并將合成圖像在裸眼3D顯示終端上顯/Jn ο
3.根據(jù)權(quán)利要求1所述的一種針對(duì)多視點(diǎn)裸眼3D顯示的并行同步縮放引擎，其特征在于，各子視場(chǎng)視頻數(shù)據(jù)存入對(duì)應(yīng)片上存儲(chǔ)單元的過(guò)程中，各子視場(chǎng)控制狀態(tài)保持一致，各子視場(chǎng)數(shù)據(jù)同步寫(xiě)入相應(yīng)片上存儲(chǔ)單元。
4.根據(jù)權(quán)利要求2所述的一種針對(duì)多視點(diǎn)裸眼3D顯示的并行同步縮放引擎，其特征在于，所述裸眼3D顯示終端為N視點(diǎn)整型或者浮點(diǎn)型像素排布的裸眼3D顯示終端； 所述裸眼3D顯示終端 為整型像素排列時(shí)，N個(gè)中有且僅有一個(gè)為一，其余為零； 所述裸眼3D顯示終端為浮點(diǎn)型像素排列時(shí)，N個(gè)滿足
5.一種針對(duì)多視點(diǎn)裸眼3D顯示的并行同步縮放方法，其特征在于，包括以下步驟: 1)、將各子視場(chǎng)圖像數(shù)據(jù)寫(xiě)入對(duì)應(yīng)的片上存儲(chǔ)單元； 2)、多路圖像組合計(jì)算模塊從各子視場(chǎng)對(duì)應(yīng)的片上存儲(chǔ)單元中同步、并行的取出在縮放插值過(guò)程中使用到的子視場(chǎng)插值像素窗； 3)、根據(jù)裸眼3D顯示終端物理分辨率以及合成立體圖像素排列要求，多路圖像組合計(jì)算模塊對(duì)各子視場(chǎng)插值像素窗進(jìn)行組合計(jì)算，得出新的合成視場(chǎng)各子像素插值像素窗；像素拼接模塊對(duì)合成視場(chǎng)各子像素插值像素窗進(jìn)行拼接得出合成視場(chǎng)插值像素窗； 4)、縮放插值模塊根據(jù)相應(yīng)縮放算法對(duì)合成視場(chǎng)插值像素窗進(jìn)行縮放插值計(jì)算，得出一個(gè)顯示像素。
6.根據(jù)權(quán)力要求5所述的一種針對(duì)多視點(diǎn)裸眼3D顯示的并行同步縮放方法，其特征在于，縮放插值模塊計(jì)算出一場(chǎng)圖像中所有顯示像素，并實(shí)時(shí)將合成圖像顯示像素在裸眼3D顯示終端上顯示。
7.根據(jù)權(quán)力要求6所述的一種針對(duì)多視點(diǎn)裸眼3D顯示的并行同步縮放方法，其特征在于，步驟I)中各子視場(chǎng)視頻數(shù)據(jù)存入對(duì)應(yīng)片上存儲(chǔ)單元的過(guò)程中各子視場(chǎng)控制狀態(tài)保持一致，各子視場(chǎng)數(shù)據(jù)同步寫(xiě)入相應(yīng)片上存儲(chǔ)單元。
8.根據(jù)權(quán)力要求6所述的一種針對(duì)多視點(diǎn)裸眼3D顯示的并行同步縮放方法，其特征在于，所述裸眼3D顯示終端為N視點(diǎn)整型或者浮點(diǎn)型像素排布的裸眼3D顯示終端；所述裸眼3D顯示終端為整型像素排列時(shí)，N個(gè)I?中有且僅有一個(gè)為一，其余為零； 所述裸眼3D顯示終端為浮點(diǎn)型像素排列時(shí)，
9.一種針對(duì)多視點(diǎn)裸眼3D顯示的并行同步縮放方法，其特征在于，首先根據(jù)裸眼3D顯示終端的裸眼立體圖像素排列要求進(jìn)行插值像素窗的篩選以及合成，將其余的冗余數(shù)據(jù)舍棄，然后進(jìn)行縮放插值計(jì)算，最終直接生成裸眼3D合成圖的顯示像素。
【文檔編號(hào)】H04N13/00GK103945208SQ201410167890
【公開(kāi)日】2014年7月23日 申請(qǐng)日期:2014年4月24日 優(yōu)先權(quán)日:2014年4月24日
【發(fā)明者】任鵬舉, 劉庚, 余江, 孫宏濱, 劉躍虎, 鄭南寧 申請(qǐng)人:西安交通大學(xué)