專利名稱：用于3d顯示器的經(jīng)濟(jì)有效的再現(xiàn)的制作方法
用于3D顯示器的經(jīng)濟(jì)有效的再現(xiàn)
本發(fā)明總體上屬于圖像信號處理領(lǐng)域。更具體地說，本發(fā)明涉及 處理用于在3D雙凸透鏡或柵欄式顯示器上顯示的圖像信號，尤其涉及 當(dāng)再現(xiàn)用于在3D雙凸透鏡或柵欄式顯示器上顯示的圖像信號時(shí)保持所 感知的圖像質(zhì)量。
3D成像是雙眼視差的函數(shù)，所述雙眼視差向觀察者提供相對深度 感知。當(dāng)被注視目標(biāo)的圖像落入到不對稱的視網(wǎng)膜點(diǎn)上時(shí)，得到的視 網(wǎng)膜差異給出了一種刺激，使得觀察者的視覺系統(tǒng)從中建立起立體視 覺感知。在視覺系統(tǒng)內(nèi)，專門負(fù)責(zé)立體視覺的不同方面(例如精或粗 立體視覺、深度運(yùn)動(dòng)、靜止或橫向運(yùn)動(dòng)立體視覺)、根據(jù)刺激聯(lián)合或 單獨(dú)執(zhí)行的分立神經(jīng)子系統(tǒng)為觀察者建立起3D圖像。當(dāng)前存在各種不 同的措施，用于將2D圖像作為3D圖像呈現(xiàn)給觀察者的視覺系統(tǒng)。
在文獻(xiàn)WO/99/05559中記載了一種方法，用于控制顯示設(shè)備的傳-素尋址，以4更當(dāng)覆蓋雙凸透鏡屏(lenticular screen)和提供用于多視圖
交錯(cuò)的圖像數(shù)據(jù)時(shí)將該顯示設(shè)備作為多視圖自動(dòng)立體顯示器來驅(qū)動(dòng)。 才艮據(jù)定義了至少雙凸透鏡屏透鏡體間距(lenticule pitch)的數(shù)據(jù)以及相
對于顯示設(shè)備的總的雙凸透鏡屏位置，對于每個(gè)顯示器彩色像素，導(dǎo) 出該像素將要攜帶N個(gè)視圖中的哪個(gè)視圖。然后把針對所分配視圖的 相應(yīng)像素?cái)?shù)據(jù)選作顯示器像素?cái)?shù)據(jù)。盡管按照文獻(xiàn)WO/99/05559中記 載的方法進(jìn)行控制的多視圖顯示設(shè)備的圖像質(zhì)量相對較好，但是產(chǎn)生 被顯示圖像所需的信號處理的量卻相當(dāng)大。
當(dāng)前采用2D光柵顯示器的3D圖形系統(tǒng)典型地通過使用透視算法 在2D圖形光柵顯示器上再現(xiàn)目標(biāo)來達(dá)到3D真實(shí)感效果。


圖1示出了用于在3D顯示器上再現(xiàn)2. 5D視頻信號的已知信號處 理系統(tǒng)，其中顯示器的構(gòu)造使得視圖被映射到單獨(dú)的子像素上。再現(xiàn)系 統(tǒng)IOO接收YUVD信號，該YUVD信號由轉(zhuǎn)換器102以一種已知的方式 轉(zhuǎn)換成RGBD信號。然后，換算器(scaler) 104將RGBD換算成單獨(dú)的 R、 G、 B、 D分量。視圖再現(xiàn)器106隨后再現(xiàn)RD、 GD和BD信號以產(chǎn)生 新的R、 G、 B信號。視圖再現(xiàn)器106被用具體示例說明了 9次。每次
示例都在單一的顏色分量上操作。然后，在合并單元108中將R、 G、 B 信號合并到一起，從而產(chǎn)生隨后可在顯示屏110上顯示的最終RGB信 號。
圖2示出了針對依照圖1中所示信號處理系統(tǒng)的9視圖顯示器的 各子像素上的視圖數(shù)。它執(zhí)行兩個(gè)主要功能深度變換和重采樣以便 生成合適的子像素網(wǎng)格?？紤]到當(dāng)前的技術(shù)，由于視圖再現(xiàn)器工作于 高顯示器分辨率的子像素位置，因此它的計(jì)算復(fù)雜度是很大的。另外， 針對每個(gè)顏色分量的計(jì)算負(fù)荷相同。因此，存在必須執(zhí)行的巨大的計(jì) 算量以便在3D顯示器上再現(xiàn)2. 5D視頻信號。由于計(jì)算是實(shí)時(shí)進(jìn)行的， 因而這種計(jì)算負(fù)荷要求相當(dāng)大的處理功率和能量。
因此，改進(jìn)的信號處理系統(tǒng)將顯出優(yōu)勢，特別是這樣的再現(xiàn)系統(tǒng)， 它顯著降低了在3D顯示器上再現(xiàn)圖像所需的計(jì)算量，同時(shí)平衡了空間 誤差和視圖誤差以便產(chǎn)生圖像質(zhì)量可接受的信號。
因此，本發(fā)明優(yōu)選地尋求以單一方式或任意組合方式減輕、緩解 或消除一個(gè)或多個(gè)上述現(xiàn)有技術(shù)的缺陷和不足，并且通過提供一種依 照所附的專利權(quán)利要求在3D顯示器上進(jìn)行圖像數(shù)據(jù)的有效再現(xiàn)的方 法、設(shè)備和計(jì)算機(jī)可讀介質(zhì)來至少(部分地)解決上述問題。
本發(fā)明的目的在于，當(dāng)在3D雙凸透鏡或柵欄式(barrier)顯示器 上再現(xiàn)圖像數(shù)據(jù)時(shí)，顯著地節(jié)省開銷，同時(shí)保持所感知的圖像質(zhì)量。 這主要是通過在YUV域進(jìn)行處理和降低U/V分辨率來實(shí)現(xiàn)的。通過在 YUV/RGB矩陣中重新選擇子像素值來平衡視圖誤差和空間誤差。感知 的圖像質(zhì)量只是略微有所降低。而且，YUV域中的處理允許自適應(yīng)處理 依賴于深度的亮度/對比度以便無縫接入處理鏈。這改善了所感知的深 度印象。該信息至少減少了 50%的計(jì)算負(fù)荷。
依照本發(fā)明的各方面，公開了一種用于在3D顯示器上再現(xiàn)圖像數(shù) 據(jù)的方法、設(shè)備和計(jì)算機(jī)可讀介質(zhì)。
依照本發(fā)明的一個(gè)方面，提供了一種用于在3D顯示器上再現(xiàn)圖像 數(shù)據(jù)的方法，所述方法包括以下步驟
-接收第一圖像信號；
-以降低的空間分辨率再現(xiàn)第 一 圖 <象信號的至少 一 個(gè)顏色分量以 產(chǎn)生第二圖像信號；以及
-空間濾波所述第二圖像信號，其中在為所述顯示器重構(gòu)完整分 辨率信號時(shí)平衡空間誤差和視圖誤差。
依照本發(fā)明的另一個(gè)方面， 一種用于在3D顯示器上再現(xiàn)圖像數(shù)據(jù) 的信號處理系統(tǒng)，包括
-用于接收第一圖像信號的裝置；
-用于以降低的空間分辨率再現(xiàn)第一圖像信號的至少一個(gè)顏色分 量以產(chǎn)生第二圖像信號的裝置；以及
-用于空間濾波所述第二圖像信號的裝置，其中在為所述顯示器 重構(gòu)完整分辨率信號時(shí)平衡空間誤差和視圖誤差。
依照本發(fā)明的另一個(gè)方面，提供了一種計(jì)算機(jī)可讀介質(zhì)，該計(jì)算 機(jī)可讀介質(zhì)在其上包含有用于為3D顯示器而再現(xiàn)圖像數(shù)據(jù)的計(jì)算機(jī)程 序，以供計(jì)算機(jī)處理，其中該計(jì)算機(jī)程序包括
-用于以降低的空間分辨率再現(xiàn)第一 圖像信號的至少 一個(gè)顏色分 量以產(chǎn)生第二圖像信號的代碼段；以及
-用于空間濾波所述第二圖像信號的代碼段，其中在為所述顯示 器重構(gòu)完整分辨率信號時(shí)平衡空間誤差和視圖誤差。
本發(fā)明優(yōu)于現(xiàn)有技術(shù)之處在于，它降低了再現(xiàn)系統(tǒng)上的計(jì)算負(fù) 荷，同時(shí)保持了在3D顯示器上顯示的圖像的感知圖像質(zhì)量。
根據(jù)本發(fā)明的下列實(shí)施例的描述以及參照附圖，本發(fā)明的這些和 其他方面、特征和優(yōu)勢將是顯而易見的，并且將對其加以闡述，其中 圖l示出了已知的信號處理系統(tǒng)；
圖2示出了針對依照圖1中所示信號處理系統(tǒng)的9視圖顯示器的
各子像素上的視圖數(shù)；
圖3示出了可用于本發(fā)明不同實(shí)施例中的多視圖顯示設(shè)備的透視
示意圖4示出了依照本發(fā)明的一個(gè)實(shí)施例的信號處理系統(tǒng)；
圖5示出了依照本發(fā)明的另一個(gè)實(shí)施例的信號處理系統(tǒng)；
圖6示出了針對依照圖5中所示信號處理系統(tǒng)的9視圖顯示器的
各子像素上的視圖數(shù)。
圖7示出了依照本發(fā)明的一個(gè)實(shí)施例的計(jì)算機(jī)可讀介質(zhì)。下列描述集中在可應(yīng)用到視頻顯示系統(tǒng)特別是3D視頻顯示系統(tǒng)的 本發(fā)明的實(shí)施例上。但是可以理解的是，本發(fā)明并不限于該應(yīng)用，而 是可以應(yīng)用到許多其他的視頻顯示系統(tǒng)。而且，本發(fā)明適用于再現(xiàn)2. 5D 信號(擴(kuò)充了深度的常規(guī)視頻)、立體信號(左眼和右眼常規(guī)視頻信 號)或者甚至再現(xiàn)多視圖(例如用于9視圖顯示的9幅圖像)。此夕卜， 本發(fā)明適用于任何類型的圖像數(shù)據(jù)(例如視頻信號、靜止圖像，等等)， 盡管由于要求實(shí)時(shí)處理，節(jié)約計(jì)算負(fù)荷對于視頻更為重要。
在下面的示例中，將首先參照圖3描述具有斜置雙凸透鏡的直視 型3D-LCD雙凸透鏡陣列顯示設(shè)備IOO，以便闡明本發(fā)明。
可以理解的是，這些附圖僅僅是示意性的并且不是按比例繪出。 為了說明清楚起見，有些尺寸可能被夸大，而有些尺寸可能被縮小。 還有，在合適的地方，所有這些附圖的相同附圖標(biāo)記表示相同的部件 和尺寸。
參照圖3，顯示設(shè)備10包含用作空間光調(diào)制器的傳統(tǒng)LC矩陣顯示 面板11 ，該嵌板11包括排列成彼此垂直的行和列的單獨(dú)可尋址和尺寸 相似的光發(fā)生元件12的平面陣列。雖然圖中只顯示了一些光發(fā)生元 件，實(shí)踐中可以有大約800列(或2400色彩列，其RGB三元組用于提 供全色顯示)和600行顯示元件。這些嵌板是眾所周知的，這里將不 再贅述。
這些光發(fā)生元件12的形狀基本上是矩形的，并且彼此有規(guī)則地隔 開，其中兩相鄰列中的光發(fā)生元件隔開一個(gè)沿列(垂直)方向延伸的 間隙，兩相鄰行中的顯示元件隔開一個(gè)沿行(水平)方向延伸的間隙。 嵌板11屬于有源矩陣類型，其中每個(gè)光發(fā)生元件與一個(gè)開關(guān)元件關(guān) 聯(lián)，該開關(guān)元件包括例如TFT或薄膜二極管、TDF，位于鄰近該光發(fā)生
元件的位置。
顯示面板11由光源14照明，在這個(gè)示例中，該光源14包括沿顯 示元件陣列的區(qū)域延伸的平面背光源。來自光源14的光射向并穿過該 嵌板，其中單獨(dú)的光發(fā)生元件通過施加適當(dāng)?shù)尿?qū)動(dòng)電壓來驅(qū)動(dòng)，以便 按照傳統(tǒng)的方式調(diào)制該光以產(chǎn)生顯示輸出。因此，構(gòu)成所產(chǎn)生的顯示 器的光發(fā)生元件陣列與光發(fā)生元件的結(jié)構(gòu)一致，每個(gè)光發(fā)生元件給出 相應(yīng)的顯示像素。計(jì)算裝置18根據(jù)輸入信號為各個(gè)光發(fā)生元件計(jì)算亮 度值。在嵌板11輸出側(cè)(與面向光源14的一側(cè)相對)上，放置了雙凸 透鏡板15，該雙凸透鏡板15包括伸長、平行的雙凸透鏡或透鏡元件， 用作光學(xué)導(dǎo)向器裝置以便向觀察者的眼睛提供單獨(dú)的圖像，向遠(yuǎn)離嵌 板11的、面向雙凸透鏡板15的一側(cè)的觀察者產(chǎn)生立體顯示。具有傳 統(tǒng)形狀的雙凸透鏡板15的雙凸透鏡包括光學(xué)(半)圓柱形會聚雙凸透 鏡，例如形如凸圓柱形透鏡或分級反射率圓柱形透鏡。使用這種雙凸 透鏡板和矩陣顯示面板的自動(dòng)立體顯示設(shè)備在本領(lǐng)域是眾所周知的， 但是與這種設(shè)備中的雙凸透鏡沿平行于顯示器像素列(對應(yīng)于顯示元 件列)方向延伸的傳統(tǒng)排列不同的是，圖3的設(shè)備中的雙凸透鏡相對 于光發(fā)生元件列傾斜排列，即它們的主縱軸與光發(fā)生元件結(jié)構(gòu)的列方 向成一定角度。這種排列被發(fā)現(xiàn)在降低分辨率損失和增強(qiáng)對光發(fā)生元 件間的黑色區(qū)域的掩蓋方面帶來許多好處，如申請?zhí)枮镋P-A-0791847 的專利申請中所記載的。專利申請PHNL050033EPP中記載了有關(guān)圖3 所示顯示器的操作的描述，在此引入作為參考。
簡而言之，再現(xiàn)過程包括幾個(gè)操作。首先，為(例如來自視頻+深 度，或來自立體的)每個(gè)視圖計(jì)算圖像。然后將該圖像適當(dāng)縮放到視 圖分辨率。然后將該圖像適當(dāng)變換到視圖的子像素位置。本領(lǐng)域技術(shù)
人員可以理解的是，可以組合這些操作中的一些或全部操作。例如， 如圖2所示，首先分開進(jìn)行垂直縮放，然后視圖再現(xiàn)器執(zhí)行這三個(gè)操
作的所有水平處理。
在人類視覺系統(tǒng)(HVS)中，銳度印象主要由亮度分量決定，受色 度分量的影響要小得多。研究指出，這對于深度感知同樣成立。此外， 考慮大部分的信號能量存在于亮度分量中。進(jìn)一步考慮與再現(xiàn)過程相 比，顏色空間轉(zhuǎn)換是一種相對低廉的操作。
由于銳度印象主要由亮度分量決定，并且亮度是G信號的最突出 的部分，用于降低垂直分辨率的最有希望的候選對象是B信號，其次 是R信號。依照本發(fā)明的第一實(shí)施例，并不為幀中的每行計(jì)算B和R 分量。例如，僅計(jì)算幀中每偶數(shù)行上的B和R分量，而利用偶數(shù)行的 垂直平均來計(jì)算奇數(shù)行上的B/R信號。結(jié)果，B和/或R分量的垂直分 辨率降低了 5 0°/。。
圖4示出了依照本發(fā)明的第一實(shí)施例的視頻信號處理系統(tǒng)。本領(lǐng) 域技術(shù)人員可以理解的是，該視頻處理系統(tǒng)可以是顯示設(shè)備200 (例如
電視、計(jì)算機(jī)監(jiān)視器、手持設(shè)備等等)的一部分。再現(xiàn)系統(tǒng)201接收 YUVD信號，該YUVD信號由轉(zhuǎn)換器2 02按照已知的方式轉(zhuǎn)換成RGBD信 號。然后，該RGBD信號由換算器204換算成R、 G、 B、 D分量。在這 個(gè)實(shí)施例中，將對應(yīng)幀中每個(gè)偶數(shù)行的RD、 GD和BD分量發(fā)送給至少 一個(gè)視圖再現(xiàn)器206，以便為偶數(shù)行產(chǎn)生新的R、 G、 B信號。然后在合 并單元210中將對應(yīng)偶數(shù)行的R、 G、 B信號合并在一起。此外，將幀 中每個(gè)奇數(shù)行的GD分量發(fā)送給視圖再現(xiàn)器208 (其作用與206相似)， 以便為幀中每個(gè)奇數(shù)行產(chǎn)生新的G信號。如下面將要更詳細(xì)地描述的， 視圖再現(xiàn)器206、 208按照這樣的方式分別對其輸出信號進(jìn)行空間濾 波，使得由再現(xiàn)過程中產(chǎn)生的空間和視圖誤差造成的可見偽像最小。 如上所述，在合并單元212中將奇數(shù)行每側(cè)上的偶數(shù)行的R和B信號 的平均值與所計(jì)算的G信號合并，以便得到幀的奇數(shù)行的RGB信號。 然后在單元214中將對應(yīng)奇數(shù)和偶數(shù)行的RGB信號合并以得到最終的 RGB信號，該最終的RGB信號被送往顯示器216。
如上所述，再現(xiàn)過程產(chǎn)生空間誤差和視圖誤差?？臻g誤差涉及空 間距離?？臻g距離越小，樣本值就越相關(guān)，因此緊密的空間位置得到 最小的誤差。視圖誤差涉及視圖數(shù)。大的視圖數(shù)差異關(guān)聯(lián)大的不對稱 性，因此最小的視圖差異得到最小的誤差。O視圖誤差僅允許使用來自 同一視圖的樣本值，造成很大的空間距離，從而導(dǎo)致顯著的總誤差。 在有些情況下，最小的空間誤差造成導(dǎo)致很大的不對稱性的很大的視 圖誤差，從而導(dǎo)致顯著的總誤差。在本發(fā)明的這個(gè)實(shí)施例中，利用空 間濾波平衡這兩個(gè)誤差，得到良好的圖像質(zhì)量。
實(shí)驗(yàn)表明，這種解決方案得到良好的結(jié)果。還要指出的是，誤差 不僅存在于垂直分辨率中，而且存在于深度中。垂直方向偏移一行導(dǎo) 致1個(gè)視圖誤差。通過選擇不同的濾波器拓樸結(jié)構(gòu)，可以用空間精度 換取深度精度。因此，空間濾波器設(shè)計(jì)要兼顧顯示器的空間特性和深 度特性。依照本發(fā)明的一個(gè)實(shí)施例，選取的空間濾波器盡量在空間誤 差校正和視圖誤差校正之間達(dá)到平衡，使得兩個(gè)誤差均不產(chǎn)生許多可 見的偽像。這種解決方案被證明幾乎不引入任何可見的偽像。由于相 對于視圖再現(xiàn)而言可以忽略取平均運(yùn)算的計(jì)算負(fù)荷，這將計(jì)算量減小 了 1/3。
本領(lǐng)域技術(shù)人員可以理解的是，本發(fā)明也可用來計(jì)算對應(yīng)奇數(shù)行
的R、 G、 B值，并且使用奇數(shù)行的R和B值來估計(jì)偶數(shù)行的R和B值。 此外，還可以理解的是，對于每兩個(gè)奇數(shù)行、每三個(gè)行、每四個(gè)行等 等，可以省略傳統(tǒng)的奇數(shù)行的R和B值的計(jì)算。
依照本發(fā)明的另一實(shí)施例，再現(xiàn)過程在YUV域?qū)崿F(xiàn)。圖5示出了 依照本發(fā)明的這個(gè)實(shí)施例的視頻信號處理系統(tǒng)。本領(lǐng)域技術(shù)人員可以 理解的是，該視頻處理系統(tǒng)可以是顯示設(shè)備300 (例如電視、計(jì)算機(jī)監(jiān) 視器、手持設(shè)備等等)的一部分。再現(xiàn)系統(tǒng)301接收YUVD信號，該YUVD 信號被施加到換算器302。換算器302將該YUVD信號換算成單獨(dú)的Y、 U、 V、 D分量。在這個(gè)實(shí)施例中，YD、 UD、 VD分量被送往視圖再現(xiàn)器 304以產(chǎn)生新的Y、 U、 V信號。然后在合并單元中將這些Y、 U、 V信 號合并在一起。然后轉(zhuǎn)換器308將該合并的YUV信號轉(zhuǎn)換成RGB信號。 YUV信號到RGB信號的轉(zhuǎn)換通過利用如上所述的特殊選擇的空間濾波 器而兼顧了顯示器的空間特性和深度特性。然后將RGB信號送往顯示 器310。
乍看起來，這在引入誤差的同時(shí)并不引起任何開銷的節(jié)省。首先， 應(yīng)當(dāng)盡可能地減小誤差。稍后將說明.U/V信號分辨率的降低是如何導(dǎo) 致開銷的顯著節(jié)省的。所設(shè)計(jì)的視圖再現(xiàn)器工作于屏幕的R、 G和B子 像素位置。為了在這些RGB位置上進(jìn)行最優(yōu)的YUV映射，考慮顏色空 間轉(zhuǎn)換矩陣；作為示例，給出如下的ITU-R BT. 601-5顏色矩陣
Y， = 0.299 * R， + 0.587 * G， + 0.U4 * B'
U，=-0.169 *R，—0.331 *G，+0.500 *B，
V， = 0.500 * R， — 0.419 * G， - 0.081 * B，
R， = Y，+1.402 *V，
G， = Y， 一 0.344 * U， - 0.714 * V'
B， = Y，+ 1.772 *U，
最理想的情況是使用最突出的顏色分量，因此將Y映射到G上 (即將它看作G信號進(jìn)行處理)；將U映射到B上，將V映射到R上。 這種從YUV到RGB子^f象素位置上的映射如圖6所示。
除非采取了合適的預(yù)防措施，從YUV到RGB的轉(zhuǎn)換會引起顯著的 深度誤差。應(yīng)當(dāng)使最主要的貢獻(xiàn)來自正確的位置。這導(dǎo)致如下用來計(jì) 算R、 G和B的像素
R —(Y[x+l]，V[x]) G " (Y[x], V[x-l], U[x+1]) B <~ (Y[x-l]， U[x〗) 其中x代表當(dāng)前的像素位置。
這種設(shè)置導(dǎo)致最大視圖誤差為1。注意到從相鄰像素([x-l]或 [x+l])取值并不是最接近的空間位置。如果僅考慮了最優(yōu)空間位置， 那么所有值都取自位置[x]。
實(shí)驗(yàn)表明，這種轉(zhuǎn)換只是引起感知圖像質(zhì)量的輕微退化。 作為進(jìn)一 步的改進(jìn)，可以利用線性或統(tǒng)計(jì)排序?yàn)V波器進(jìn)行某種濾 波。 一些示例如下
對于R，利用Y[y， x+l]和Y[y, x-2]的線性濾波器；
對于R，利用Y[y， x+l]、 Y[y-l， x+l]和Y[y， x-2]的中值濾波
器；
對于B，利用Y[y， x-l]和Y[y, x+2]的線性濾波器；
對于B，利用Y[y， x-l]、 Y[y+1， x-l]和Y[y, x+2]的中值濾波
器，
其中y代表當(dāng)前的行位置。
這樣一來，得到處理U/V信號的再現(xiàn)器示例。這允許通過以下措 施來利用這些通道上的降低的信號能量和帶寬以及感知靈敏度
-以降低的水平分辨率(典型的電視信號格式為4:2:2，其在垂直 標(biāo)量中將U/V數(shù)據(jù)量降低了 50%)執(zhí)行垂直標(biāo)量；
-降低垂直標(biāo)量的復(fù)雜度(例如濾波器抽頭數(shù)和降低的精度)；
-降低水平標(biāo)量/重采樣器的復(fù)雜度(例如濾波器抽頭數(shù)和降低的 精度)，所述水平標(biāo)量/重采樣器是再現(xiàn)器的一部分。
粗略地說，與Y處理相比，U/V處理的復(fù)雜度可以至少降低50%。 可以將YUV/RGB矩陣現(xiàn)在以更高的數(shù)據(jù)速率運(yùn)行這一事實(shí)忽略。那 么，這導(dǎo)致復(fù)雜度降低1/3。
依照本發(fā)明的另一實(shí)施例，上述U/V信號分辨率的降低得到利用。 注意到輸入信號的格式通常為4: 2: 2，在再現(xiàn)過程中應(yīng)當(dāng)只處理水平方 向的一半像素。為了簡化該解釋，建議以降低的U/V分辨率不加任何 修正地執(zhí)行深度再現(xiàn)器；僅僅只計(jì)算一半的輸出值。然后，需要在U/V 值缺失的每個(gè)奇數(shù)像素位置處調(diào)整YUV到RGB的轉(zhuǎn)換。對于這些奇數(shù)
位置，建議使用下面的數(shù)據(jù) R —(Y[y，x+l〗，V[y-2，x+l〗) G —(Y[y，x〗，V[y，x-l]，Uy，x+l]) B — (Y[y，x-l]， U[y-2，x+l])
但是，由于不能從相鄰像素位置獲得U/V值，還需要修改偶數(shù)位 置處的計(jì)算；解決方案如下 R — (Y[x+1〗，V[x]) G — (Y[x]， V[x+2]， U[x-2]) B — (Y[x-l]，U[x])
這導(dǎo)致最大視圖誤差為1。還應(yīng)注意使用了垂直距離為兩行(而不 是來自前一行)的數(shù)據(jù)。這允許該實(shí)施例與將垂直分辨率降低到1/2 的第一實(shí)施例的直接組合。還應(yīng)注意的是，較大的兩行空間誤差僅出 現(xiàn)在U和V信號中。
作為進(jìn)一步的改進(jìn)，可以利用線性或統(tǒng)計(jì)排序?yàn)V波器進(jìn)行某種濾 波。例如
對于R，利用V[y-2， x+l]和V[y+2， x-l]的線性濾波器； 對于B，利用U[y-2， x+l]和U[y+2， x-l]的線性濾波器。 這些像素位置反映了在所要求像素位置周圍的空間對稱性。 開銷的節(jié)省是顯而易見的垂直縮放和視圖再現(xiàn)器兩者都僅需50% 的U/V計(jì)算。因此，計(jì)算量減小了 1/3。
本發(fā)明的一個(gè)附加選項(xiàng)是應(yīng)用依賴于深度的信號處理。由知覺研 究可知，深度印象與亮度/對比度特性有關(guān)場景的遠(yuǎn)處部分看起來比 近處部分更加"霧蒙蒙"?？梢匀菀椎卦诒景l(fā)明的再現(xiàn)階段應(yīng)用這個(gè) 知識，因?yàn)楝F(xiàn)在在再現(xiàn)階段亮度和深度信息兩者都是可用的，并且可 以例如通過可變增益(受控的深度)或查找表容易地達(dá)到依賴于深度 的亮度/對比度調(diào)節(jié)。這使得深度印象有所改善。依賴于深度的信號處 理的另一示例涉及銳度。通常，背景中的目標(biāo)不在焦點(diǎn)上。這個(gè)觀察 可以應(yīng)用到信號處理中模糊背景可提高深度印象。因此，依賴于深 度的銳度的降低可以增強(qiáng)深度印象。由于銳度印象主要由視頻信號的 亮度分量決定，將這種依賴于深度的銳度濾波器應(yīng)用到Y(jié)UV域中是有 益的。此外，由于這種依賴于深度的濾波可以無縫地結(jié)合進(jìn)以相對較 低的附加開銷處理YD信號的再現(xiàn)單元中，本發(fā)明提供了 一種特別有益
的系統(tǒng)。所述再現(xiàn)過程的主要功能是向觀察者提供不對稱性深度暗 示。借助于相關(guān)的信號處理，得到了附加的深度暗示。
設(shè)計(jì)的這些不同的實(shí)施例便于組合以得到最大的開銷的節(jié)省在
甚至不考慮第二實(shí)施例的簡化濾波器的情況下，第一和笫三實(shí)施例兩 者都導(dǎo)致減少50%的U/V處理，因此，對于300y。的常規(guī)RGB處理，分 別對應(yīng)10(^的Y處理、25。乂的U和V處理。這使得總減小量為50%。
依照本發(fā)明的另一實(shí)施例，本發(fā)明可用于可切換2D/3D顯示器中， 其中該顯示器可設(shè)置在工作于常規(guī)2D顯示器的模式或者被切換到3D 模式。結(jié)果，用于YUV到RGB轉(zhuǎn)換的像素選擇取決于所選擇的2D或3D 顯示器模式。
在依照圖7的本發(fā)明的另一實(shí)施例中，示意性地示出了一種計(jì)算 機(jī)可讀介質(zhì)。計(jì)算機(jī)可讀介質(zhì)700在其上包含了用于在3D顯示器上再 現(xiàn)視頻數(shù)據(jù)的計(jì)算機(jī)程序710，以供計(jì)算機(jī)713處理。該計(jì)算機(jī)程序包 括用于以降低的空間分辨率再現(xiàn)第一視頻信號的至少一個(gè)顏色分量 以產(chǎn)生第二信號的代碼段714;以及用于空間濾波所述第二視頻信號的 代碼段715，其中在為所述顯示器重構(gòu)完整分辨率信號時(shí)平衡空間誤差 和視圖誤差。
本發(fā)明可以以任何適當(dāng)?shù)姆绞絹韺?shí)現(xiàn)，包括硬件、軟件、固件或 其任意組合。本發(fā)明的實(shí)施例中的元件和組件可以以任何適當(dāng)?shù)姆绞?從物理上、功能上和邏輯上實(shí)現(xiàn)。當(dāng)然，所述功能可以在單個(gè)單元中、 在多個(gè)單元中實(shí)現(xiàn)，或者作為其他功能單元的一部分。同樣地，本發(fā) 明可以在單個(gè)單元中實(shí)現(xiàn)，或者從物理上和功能上分布于不同的單元 和處理器之間。
盡管上面參照特定實(shí)施例對本發(fā)明進(jìn)行了描述，但并不意味著它 僅限于這里提到的特定形式。更確切地說，本發(fā)明僅由所附的權(quán)利要 求來限定，在這些所附的權(quán)利要求的范圍內(nèi)，不同于上述特定實(shí)施例 的其他實(shí)施例(例如有別于上述的信號處理系統(tǒng))同樣是可能的。
在所附的權(quán)利要求中，詞語"包括，，并不排除其他元件或步驟的 存在。此外，盡管單獨(dú)列出了多個(gè)裝置、元件或方法步驟，但是這些 裝置、元件或方法步驟可以通過例如單個(gè)單元或處理器來實(shí)現(xiàn)。另外， 盡管各個(gè)特征被包含在不同的權(quán)利要求中，但是這些特征的組合可能
是有益的，這些特征包含于不同的權(quán)利要求并不意味著特征的組合是
不可行的和/或不利的。而且，單數(shù)引用并不排除復(fù)數(shù)的存在。詞語 "一，，、"一個(gè)，，、"笫一，，、"第二"等等并不排除多個(gè)存在。權(quán) 利要求中的附圖標(biāo)記僅僅用來使示例更清楚，不應(yīng)當(dāng)被視為以任何方 式限制了權(quán)利要求的范圍。
權(quán)利要求
1.一種用于在3D顯示器上再現(xiàn)圖像數(shù)據(jù)的方法，所述方法包括-接收第一圖像信號；-以降低的空間分辨率再現(xiàn)第一圖像信號的至少一個(gè)顏色分量以產(chǎn)生第二圖像信號；以及-空間濾波所述第二圖像信號，使得在為所述3D顯示器重構(gòu)完整分辨率信號時(shí)平衡空間誤差和視圖誤差。
2. 依照權(quán)利要求1的方法，包括根據(jù)人類視覺系統(tǒng)(HVS)的靈 敏度來選擇更低分辨率的顏色分量。
3. 依照權(quán)利要求l的方法，其中所述空間濾波利用了具有最大視 圖誤差的空間最近可用像素值。
4. 依照權(quán)利要求l的方法，其中3D顯示器是RGB顯示器，具有 降低的空間分辨率的顏色分量是B和/或R分量。
5. 依照權(quán)利要求l的方法，其中用于所述空間濾波的空間濾波器 的選擇考慮了 3D顯示器的空間特性和視圖特性。
6. 依照權(quán)利要求4的方法，其中B和/或R分量具有降低了 5 0% 的垂直分辨率。
7. 依照權(quán)利要求6的方法，其中空間濾波器包括相鄰行間的垂直 平均運(yùn)算。
8. 依照權(quán)利要求1的方法，其中再現(xiàn)過程在不同于3D顯示器的 顯示顏色空間的顏色空間中進(jìn)行。
9. 依照權(quán)利要求8的方法，包括在再現(xiàn)至少一個(gè)顏色分量時(shí)應(yīng)用 依賴于深度的濾波，以便提供附加的深度暗示。
10. 依照權(quán)利要求8的方法，其中從再現(xiàn)顏色空間到顯示顏色空間的分量映射取決于再現(xiàn)分量中對顯示分量的最突出貢獻(xiàn)。
11. 依照權(quán)利要求10的方法，其中對于RGB顯示器而言，處理是 在YUV域中進(jìn)行的，并且映射是Y映射到G上、U映射到B上以及V 映射到R上。
12. 依照權(quán)利要求8的方法，其中再現(xiàn)顏色空間到顯示顏色空間的轉(zhuǎn)換考慮了顯示器的空間特性和深度特性。
13. 依照權(quán)利要求8的方法，其中處理是在YUV域中進(jìn)行的，并且U和V信號上的空間分辨率的水平分辨率降低了 50%。
14. 依照權(quán)利要求13的方法，其中U和V信號的分辨率的垂直分 辨率有所降低。
15. 依照權(quán)利要求13的方法，包括以低于在Y上再現(xiàn)的精度執(zhí)行 在U和V上的再現(xiàn)。
16. 依照權(quán)利要求ll的方法，其中用于YUV到RGB轉(zhuǎn)換的像素選 擇取決于所選擇的顯示器模式。
17. —種用于在3D顯示器上再現(xiàn)圖像數(shù)據(jù)的信號處理系統(tǒng)，包括 -用于接收第一圖像信號的裝置(201、 301);-用于以降低的空間分辨率再現(xiàn)笫一圖像信號的至少一個(gè)顏色分 量以產(chǎn)生第二圖像信號的裝置(204、 30";以及-用于空間濾波所述第二圖像信號的裝置(206、 208、 304 )，其 中在為所述3D顯示器重構(gòu)完整分辨率信號時(shí)平衡空間誤差和視圖誤 差。
18. 用于為3D顯示器再現(xiàn)圖像數(shù)據(jù)的顯示設(shè)備，包括 -用于接收第一圖像信號的裝置(201、 301);-用于以降低的空間分辨率再現(xiàn)第 一圖像信號的至少 一個(gè)顏色分 量以產(chǎn)生第二圖像信號的裝置(204、 302 );以及-用于空間濾波所述第二圖像信號的裝置(206、 208、 304 )，其 中在為所述3D顯示器重構(gòu)完整分辨率信號時(shí)平衡空間誤差和視圖誤 差。
19. 一種計(jì)算機(jī)可讀介質(zhì)(700 )，在其上包含有用于為3D顯示 器而再現(xiàn)圖像數(shù)據(jù)的計(jì)算機(jī)程序(710),以供計(jì)算機(jī)(713)處理， 該計(jì)算機(jī)程序(710)包括-用于以降低的空間分辨率再現(xiàn)第一圖像信號的至少一個(gè)顏色分 量以產(chǎn)生第二圖像信號的代碼段(714);以及-用于空間濾波所述第二圖像信號的代碼段("5)，其中在為所述顯示器重構(gòu)完整分辨率信號時(shí)平衡空間誤差和視圖誤差。
全文摘要
公開了一種用于在3D顯示器上再現(xiàn)圖像數(shù)據(jù)的方法和設(shè)備。接收第一圖像信號，然后以降低的空間分辨率再現(xiàn)第一圖像信號的至少一個(gè)顏色分量以產(chǎn)生第二圖像信號。對該第二圖像信號進(jìn)行空間濾波，其中在為所述顯示器重構(gòu)完整分辨率信號時(shí)平衡空間誤差和視圖誤差。
文檔編號H04N13/00GK101176354SQ200680016580
公開日2008年5月7日 申請日期2006年5月2日 優(yōu)先權(quán)日2005年5月13日
發(fā)明者A·K·里門斯, R·-p·M·伯雷蒂 申請人:皇家飛利浦電子股份有限公司