專利名稱：圖像信號的深度相關的濾波的制作方法
圖像信號的深度相關的濾波
本發(fā)明涉及呈現(xiàn)用于多視圖顯示器(multi-view display )的圖像數(shù) 據(jù)的方法。具體地，本發(fā)明涉及藉助于深度相關(depth dependent)的空 間濾波器來呈現(xiàn)(render)用于多視圖顯示器的圖像數(shù)據(jù)的方法。本發(fā)明 還涉及多視圖顯示器、信號呈現(xiàn)系統(tǒng)和用于實施所述方法的計算機可讀代碼。
多視圖顯示器是能夠根據(jù)觀看方向給觀眾呈遞不同圖像的顯示器，這 樣，圖像中的對象可以從不同的角度被觀看。多視圖顯示器的例子是自動 立體顯示器，其能夠給觀眾的左眼呈遞與右眼不同的圖像。存在有各種多 視圖顯示技術， 一種這樣的技術M于透鏡的。透鏡顯示器是能夠?qū)Σ煌?的水平觀看方向顯示多個圖像的視差3D顯示器。這樣，觀眾可以體驗例 如運動視差和立體提示(cue)。
與多視圖顯示器有關的一個問題在于，用于不同的觀看方向的圖像可 能交疊，由此引起重影圖像(ghost image)或圖像之間的串擾。另一個 問題涉及到觀看方向的數(shù)目可能是相當小的，典型地是8或9，這可能引 起在某些觀看方向上的混疊效應(aliazing effect)。
公布的美國專利申請US 2003/0117489公開了一種減小在三維(3D) 自動立體顯示器的左眼和右眼圖像之間的串擾的三維顯示器和方法。所公 開的減小串擾的方法是基于把基本灰度級加到左和右圖像的每個像素，以 便提升背景灰度級。
本發(fā)明的發(fā)明人已經(jīng)認識到 一種改進的呈現(xiàn)圖像數(shù)據(jù)的方法是有利 的，且因此設計了本發(fā)明。
本發(fā)明尋求提供用來呈現(xiàn)用于多視圖顯示器的圖像數(shù)據(jù)的改進的裝 置，它可以被看作是本發(fā)明的目的以提供一種有效的濾波技術，該濾波技 術改善了多視圖顯示器的觀眾或用戶感知的圖像質(zhì)量。優(yōu)選地，本發(fā)明單 個地或組合地緩和、減輕或消除了 一個或更多個以上的或其它的缺點。
按照本發(fā)明的第 一方面，提供了呈現(xiàn)用于多視圖顯示器的圖像數(shù)據(jù)的 方法，該方法包括以下步驟
-接收代表第 一 圖像的圖像信號，第 一 圖像包括3D圖像數(shù)據(jù)，
-空間濾波第一圖像信號以提供第二圖像信號，第二圖像信號代表第二圖像，空間濾波包括在第 一 圖像的圖像元素與第二圖像的圖像元素之間 的映射，空間濾波器的強度由第 一 圖像的參考深度和第 一 圖像的圖像元素 的深度來確定，
-將第二圖像采樣成多個子圖像，每個子圖像與該圖像的一個觀看方 向相關聯(lián)。
在多視圖顯示器中，圖像數(shù)據(jù)典型地被呈現(xiàn)用于恰當?shù)谋磉_。這種呈
現(xiàn)可能是需要的，因為圖像可能是基于以這樣的方式投影給觀眾的2D圖 像數(shù)據(jù)的，即觀眾感知該圖像的空間或3D維數(shù)。對于圖像的每個觀看 方向，如從那個觀看方向看的、圖像的子圖像被生成，以及子圖像被投影 到相關聯(lián)的觀看方向。
呈現(xiàn)過程典型地包括幾個操作或步驟，例如，這取決于圖像數(shù)據(jù)的輸 入格式、顯示設備、圖像數(shù)據(jù)的類型等等。第一圖像的圖像數(shù)據(jù)在第一步 驟被提供。這個第一步驟不必是整個呈現(xiàn)過程的第一步驟。笫一圖像典型 地是采用包括圖像加深度數(shù)據(jù)的格式，或相關聯(lián)的深度映射可被供以圖像 數(shù)椐，使得可以確定3D圖像數(shù)據(jù)。
本發(fā)明人已經(jīng)領悟到，用于特別地在串擾和混疊效應方面改進所感知 的圖像質(zhì)量的空間濾波是在輸出域中執(zhí)行的，即，它是在呈現(xiàn)級執(zhí)行的， 這里輸入圖像已經(jīng)為多視圖顯示而被采樣至少達到某個程度。通過空間濾 波第 一圖像信號以提供第二圖像，以及第二圖像被采樣成用于多視圖的多 個子圖像，諸如串擾和混疊效應那樣的人工產(chǎn)物(artefact)在單個圖像 上的輸入域中被處理，而不是在多個圖像上的輸出域中被處理，由此以有
效的方式處理人工產(chǎn)物。
雖然與在輸出域中全面地濾波很多圖像相比，濾波輸入域中的單個圖
像而不是輸出域中的很多圖像可能是不太完美的，但大多數(shù)人工產(chǎn)物仍可 以避免或減少，由此可以提供在處理功率和時間方面的低成本的替換例。
按照第 一 方面的本發(fā)明的另外優(yōu)點包括用于多視圖顯示器的圖像的 呈現(xiàn)流水線容易實現(xiàn)。本發(fā)明可以在實際的多視圖呈現(xiàn)之前在單獨的流水 線步驟中被實現(xiàn)，從而允許更多的流水線化的并行實現(xiàn)。
而且，本方法有效地應對人工產(chǎn)物，諸如串擾和混疊人工產(chǎn)物的減小， 由此使得進一步去除或減少串擾或混疊人工產(chǎn)物的預處理或后處理是不 必要的。
如在從屬權利要求2和3中限定的任選特征是有利的，因為通過帶通濾波、高通濾波、和/或二者的組合完成的帶通濾波是可以以各種不同的 方式被實施的熟知的帶通濾波技術，由此保證魯棒的和通用的實施方案。 在低通濾波中，可以去除高于奈奎斯特頻率的頻率，而高通濾波器放大高 頻，例如奈奎斯特頻率之下的頻率。
如在從屬權利要求4和5中限定的任選特征是有利的，因為通過將空 間濾波器的強度確定為第二圖像的圖像元素組的尺寸，諸如圖像元素組的 分布濾波器的半徑或延伸，保證了接近參考平面的對象不會受空間濾波很 大的影響，而遠離參考平面的對象受空間濾波影響。
如在從屬權利要求6和7中限定的任選特征是有利的，因為通過用可 視性因子更新第二圖像的圖像元素，與前景和背景對象的混合有關的問題 可以以有效的方式來對抗(counter)，這樣的問題可能在經(jīng)空間濾波的 圖像被呈現(xiàn)用于移位的視點時出現(xiàn)。
如在從屬權利要求8中限定的任選特征是有利的，因為通過更新第二 圖像的圖像元素的深度，可以提供對于視點改變的改進的處理。深度是通 過把第二圖像的圖像元素的深度設置為在第一圖像的圖像元素的深度與 第二圖像的圖像元素的深度之間的值而被更新的。這樣，當?shù)诙D像的圖 像元素基本上由前景和僅僅一點背景組成時，深度可被設置為基本上趨于 前景的深度的值，逐漸的深度過渡軟化了深度邊緣。在一個實施例中，深 度值可被設置為第 一 圖像的圖像元素的深度與第二圖像的圖像元素的深 度的最大值。
如在從屬權利要求10中限定的任選特征是有利的，因為通過應用空 間濾波器、使得第 一圖像的圖像元素和第二圖像的圖像元素沿第 一圖像的 水平行對準，對于在多個水平取向的方向上投影不同視圖的多視圖顯示
器，在觀看方向上粗采樣的影響和串擾可被有效地對抗。
如在從屬權利要求11中限定的任選特征是有利的，因為2.5D視頻圖
像格式是 一 個標準和廣泛使用的格式。
按照本發(fā)明的第二方面，提供了多視圖顯示設備，包括
-顯示板，包括顯示元件陣列，顯示元件凈皮安排成組，每組與圖像的
一個觀看方向相關聯(lián)，
-光學元件，用于引導從顯示板發(fā)射的光，這樣，從一組顯示元件發(fā)
射的光被引導成與該組的觀看方向相關聯(lián)的角分布， -輸入模塊，用于接收第一圖像信號，-呈現(xiàn)模塊，用于空間濾波第一圖像信號以提供第二圖像信號，第二 圖像信號代表第二圖像，空間濾波包括在第一圖像的圖像元素與第二圖像 的圖像元素之間的映射，空間濾波器的強度由第 一 圖像的參考深度與第一 圖像的圖像元素的深度確定，
-輸出模塊，用于把第二圖像采樣成多個子圖像，每個子圖像與該圖 像的一個觀看方向相關聯(lián)。
顯示設備是通過第一方面的呈現(xiàn)方法增強的多視圖顯示設備。本發(fā)明
的優(yōu)點是，多視圖顯示設備可以是生而享有(born with)按照本發(fā)明的 第一方面的功能性的顯示設備，或是未生而享有按照本發(fā)明的第一方面的 功能性的顯示設備，但它隨后用本發(fā)明的功能性被增強。
輸入模塊、呈現(xiàn)模塊和輸出模塊可被提供做為按照本發(fā)明的第三方面 的信號呈現(xiàn)系統(tǒng)。
按照本發(fā)明的第四方面，提供了用于實施按照第 一 方面的方法的計算
機可讀代碼。
通常，本發(fā)明的各個方面可以以本發(fā)明范圍內(nèi)的任何可能的方式^t組 合和耦聯(lián)。參照此后描述的實施例，將明白和闡述本發(fā)明的這些和其它方 面、特征、和/或優(yōu)點。
下面將參照附圖僅僅作為例子描述本發(fā)明的實施例，其中


圖1圖解3D透鏡顯示器的原理，
圖2以頂視圖顯示透鏡顯示器的略圖，
圖3圖解來自相鄰的視圖的子圖像之間的串擾，
圖4圖解由于照相機以特定深度聚焦造成的圖像模糊的例子，
圖5A-5C圖解在空間濾波過程中從第一圖像到第二圖像映射的實施
例，
圖6A和6B圖解具有相關聯(lián)的深度圖的2D輸入圖像的例子， 圖7A和7B圖解輸入圖像的深度相關的空間濾波和相同圖像的移位的 視圖(或情景)，
圖8A和8B圖解其中已經(jīng)應用可見度因子的、輸入圖像的深度相關的 空間濾波和經(jīng)濾波的圖像的移位的視圖，
圖9A和9B圖解其中已經(jīng)應用調(diào)節(jié)的可見度因子的、輸入圖像的深度 相關的空間濾波和經(jīng)濾波的圖像的移位的視圖，圖IOA和10B圖解空間濾波的深度圖和用經(jīng)濾波的深度圖的輸入圖像 的深度相關的空間濾波，
圖11A和11B圖解對于ID情形的輸入圖像的深度相關的空間濾波和 經(jīng)濾波的圖像的移位的視圖，
圖12A-12F圖解有關高通空間濾波的應用的方面。
圖1和2圖解多^L圖顯示器的實施例，即，7人側(cè)面看的(圖l)和以頂 視圖(圖2)的3D透鏡顯示器的略圖。
圖1圖解3D透鏡顯示器的原理。透鏡顯示器是基于LCD板顯示器1， 在它的前面附帶有透鏡2。透鏡適應于對于特定的視角cp，觀眾3只看到 在下面的LCD的像素的子組。如果把適當?shù)闹翟O置到與各種不同的觀看方 向相關聯(lián)的像素的子組，則觀眾將從不同的觀看方向看到不同的圖像。這 樣，觀眾3看見圖像的中心視圖，而觀眾將從指示為6的視角看到圖像的 側(cè)面視圖。
每個透鏡覆蓋多個像素4， 5，以及把像素投影出，正如由指示為7的 多個像素圖解的。觀眾用右眼看見一個子組的像素4,以及用左眼看見另 一個子組的像素5。由此得到3D體驗。 圖2A以頂視圖來圖解透鏡顯示器的概貌。顯示器包括顯示元件"或 像素的陣列，諸如傳統(tǒng)的LC矩陣顯示板，其中像素被安排成組，每個組 與圖像的一個觀看方向相關聯(lián)。每個像素組構成子圖像，每個子圖像與一 個觀看方向相關聯(lián)。光學元件，即透鏡，引導從像素發(fā)射的光，這樣，從 一組像素發(fā)射的光被引導到與該組的觀看方向相關聯(lián)的角分布，由此把分 開的圖像提供給觀眾的眼睛。
雙凸透鏡(lenticular lense)在圖解的實施例中被安排成相對于像 素的列成很小的角度或是傾斜的，這樣，它們的主縱軸是相對于顯示元件 的列方向成一定的角度。在這種配置下，觀眾將看到沿透鏡的方向22采 樣的點。在一個九視圖顯示器中，九個圖像-每個觀看方向一個圖像-同
時被計算和被顯示在與子圖像相關聯(lián)的像素組上。當像素被照亮時，在像 素上方的整個透鏡被照明21—這被示于圖2B--這樣，對于特定的觀看方 向，是所看到的像素上方的整個透鏡發(fā)射那個像素的顏色。
圖1和2描述LCD透鏡顯示器，然而，應當理解，本發(fā)明不限于這種 類型的顯示器。例如本發(fā)明可被應用于這樣的顯示器，比如遮障型顯示器(barrier-type display)，以及矩陣顯示板可以不同于LC板，諸如其 它形式的空間光調(diào)制器，或其它類型的顯示板，諸如電致發(fā)光或等離子體板。
來自相鄰視圖的子圖像的、從單個觀看方向看的可視度可能引起諸如 串擾那樣的人工產(chǎn)物。這被圖解于圖3,其將可見光I示為對于4 2/3-顯 示器，即對于其中每個透鏡在水平方向上覆蓋4 2/3像素的顯示器的視角 的函數(shù)。已看到，來自不同的子圖像的角分布30-34交疊。觀眾的感知的 圖像是來自每個角分布的光的總和，且可以看到，對于這個特定的例子， 三個子圖像促成了每個觀看方向的感知的圖像。
本發(fā)明的發(fā)明人已經(jīng)認識到，通過適當?shù)目臻g濾波，與串擾有關的、 與重影圖像和混疊有關的問題可被去除或至少減輕。而且，通過在呈現(xiàn)圖 像以用于多視圖顯示器之前對輸入圖像進行空間濾波，僅僅需要濾波單個 圖像(以及按照某些實施例，可能是深度圖)。由此提供操控多視像數(shù) 據(jù)的空間濾波的有效方法。
進行深度相關的空間濾波以對抗串擾和/或混疊效應。然而，對隨后 被對于不同的視點呈現(xiàn)的輸入圖像進行深度相關的空間濾波，可能會通過 呈現(xiàn)而引入新的人工產(chǎn)物。諸如與彼前景和背景對象有關的人工產(chǎn)物對于 帶有移位的視點的被呈現(xiàn)圖像混合，由此降低了在不同視點處3D圖像的 所感知的圖像質(zhì)量。
為了給3D圖像提供高的感知圖像質(zhì)量，圖像的深度相關的濾波可以 是使得圖像的模糊與由照相機聚焦在特定深度時引入的模糊相 一致，這圖 解于圖4。圖上示出來自電視系列"星際旅行之進取號(Star Trek Enterprise)的場景，示出了在模糊的背景44之前的兩個演員。指示為 42的演員也是焦點失調(diào)的，且因此是模糊的?？纯粗甘緸?1的演員的肩 部，很明顯，背景并不比前景目標模糊，因為看得見肩部的清晰輪廓43。 然而，指示為42的演員的肩部輪廓45是模糊的，表明前景對象確實比背 景對象模糊。在圖像呈現(xiàn)過程中，遵循在圖像上什么比什么模糊的這些規(guī) 則導致3D圖像上增加的感知的空間維數(shù)。
帶通濾波器典型地是低通或高通濾波器。低通濾波器緩和了與根據(jù)顯 示器的視圖數(shù)目、把強度函數(shù)采樣成低數(shù)目(比如8個或者9個)的子閨 像有關的問題，典型地是混疊問題。高通濾波器緩和了與在觀看方向上強 加模糊的串擾有關的問題?？梢詧?zhí)行高通濾波與低通濾波的組合，以使得感知的圖像質(zhì)量最佳化，或者濾波器可以分開地被應用。
圖5A-5C圖解在空間濾波過程中從第一圖像到第二圖像的映射的實施例。
首先，接收或提供代表包括3D圖像數(shù)據(jù)的第一圖像的圖像信號。3D 圖像數(shù)據(jù)可以以任何適當?shù)淖鴺吮硎緛泶?。在典型的坐標表示中，圖像 是按照指出圖像平面中的位置的空間坐標組和圖像在垂直于圖像平面的 方向上的深度被描述的。然而，應當理解，可以設想替換的坐標表示。
濾波可以被輸入驅(qū)動，且對于每個輸入像素，該輸入像素也稱為源元 素，確定在源元素與參考深度之間的深度差。參考深度被設置為圖像中處 在焦點上的或應當保持在焦點上的深度層。深度差然后被用作為對于空間 濾波器的強度的測度。濾波器的強度，在一個實施例中，可以是受源元素 的強度影響的像素的數(shù)目，即，作為第二圖像的圖像元素組的尺寸。圖像 元素組的尺寸可以是把源元素的強度分布到目的元素的組的分布濾波器 的半徑。下面，可以把源元素和目的元素分別稱為源像素和目的像素。
圖5A示意地圖解使用在給定像素的深度與參考深度之間的差值 d-dref作為分布濾波器的半徑r的測度的原理。同樣的內(nèi)容被圖解于圖 5B和5C，但具體化以諸如LCD顯示器那樣的矩陣顯示板的部分，包括多 個圖像元素或像素51。參考深度是對于整個圖像設置的，以及對于每個像 素，確定像素的深度。像素52的強度值被分布在第二圖像53的像素組中， 第二圖像是第一圖像50的更新的版本，這里對于所有的像素52，像素的 強度被分布到包圍該像素的像素元素組，受影響的像素的區(qū)域55的組的 尺寸或半徑r根據(jù)d-dref被確定。在像素組55中的像素的強度可被確定 為Ip:-Ip+f (r)*Iq，這里Ip是像素的強度，即，積累中的輸出強度f(r) 是分布函數(shù)，以及Iq是在目的的距離r處源像素的強度。分布濾波器可 以是三次b-樣條。
對于其中深度值接近于參考深度的區(qū)域，分布濾波器的半徑是小的， 所以目的像素只接收來自相應的源像素的貢獻。對于其中深度非常不同于 參考值的區(qū)域，源像素強度被分布在大的區(qū)域上以及混合，導致模糊。
為了生成與照相機聚焦在特定深度而引入的模糊相一致的模糊，可見 度因子v被乘以分布函數(shù)，這樣，Ip:=Ip+f (r)*Iq*v。當目的像素比起源
像素更接近于視點時，可見度因子等于零，由此保證背景的模糊不會超過 前景。當源像素比起源像素更接近于視點時，可見度因子等于1,并具有在兩個值之間的逐漸過渡。源像素、目的像素和視點之間的距離可以通過 以下方式來從源像素、目的像素和視點的空間坐標被評估，即例如通過 比較在源像素與視點之間和在目的像素與視點之間的距離與一個或多個 最小距離，以便確定何時源像素比起目的像素更接近于視點，且反之亦然。
可見度因子具有的效果是目的地顏色必須已經(jīng)按照權重之和被歸一化，
因為權重之和不能事先保持為常量。
下面，專注于與深度相關的模糊有關的實施例。深度相關的空間濾波 器仍然可被使用到深度相關的模糊(低通濾波)和深度相關的銳化(高通濾
波)，后者將結(jié)合圖12討論。
圖6到11圖解對來自游戲QuakeTM的情景施加按照本發(fā)明的深度濾波 器的效果。
圖6A圖解如在游戲中使用的情景，以及圖6B圖解圖像(或情景)的深 度圖。在深度圖上，灰度級相應于差異度(disparity)，這樣，亮的對 象是比暗的對象更近的。參考深度被設置為在中間的柱子60。在下面的圖 像中，圖6A的圖像是通過按照本發(fā)明的空間濾波要被映射到第二圖像中 的第一圖像。與圖6B的深度圖相組合的圖6A的圖像此后被稱為源圖像。 第二圖像此后可稱為目的圖像。
圖7A和7B圖解沒有可見度因子的深度相關的模糊。圖7A示出沒有 可見度因子的源圖像的模糊，即，在沒有可見度因子的情況下得到的目的 圖像。圖7B的圖像是使用圖6B所示的深度圖、對于移位的視點從圖7A 的目的圖像得到的。
在圖7A上可以看到，背景是比前景更模糊的。這例如可以通過比柱 子70模糊的白色背景區(qū)域看到。這個模糊對于移位的視點有影響(圖7B), 因為盡管某個白色區(qū)域71不應當是從特定的視角可看見的，但仍可以看 到它。背景比前景模糊導致阻礙遮擋(occlusion)的光牽效應 (halo-effeet )。
圖8A和8B圖解通過可見度因子的深度相關的^f莫糊。圖8A示出通過 可見度因子的源圖像的模糊，即，用可見度因子得到的目的圖像。圖8B 的圖像，類似于圖7B,是對于移位的視點從圖8A的目的圖像得到的。
在目的圖像(圖8A)和移位的視點圖像(圖8B)中，去除了結(jié)合圖7A和 7B討論的人工產(chǎn)物。對于柱子80的左側(cè)得到了銳邊，且柱子遮擋了在移 位的視圖81上的白色區(qū)域。然而，對于側(cè)影仍有光暈人工產(chǎn)物，這里前景比背景模糊。對于左下
角M處的對象出現(xiàn)的解除遮擋(de-occlusion)并不只是背景顏色的重 復，而是大部分由前景顏色組成的顏色的重復，即，引入了半透明性。
在其中圖像的附加視點是被從圖像加深度信息呈現(xiàn)的情形下，關于如 何減小或甚至去除光暈效應，存在不同的解決方案。
在一個實施例中，可見度因子被修改，以使得源像素僅僅貢獻到相似 深度的目的像素。這樣的濾波的結(jié)果被示出于圖9A和9B?？梢钥吹?，光 暈效應被去除，但前景對象90, 91的銳邊仍保持。盡管對象的內(nèi)部被模 糊化，這樣的銳側(cè)影邊緣仍可能由于串擾而導致雙圖像。
在另一個實施例中，光暈效應通過濾波深度圖而被阻遏。如在圖8B 的左下角看到的光暈效應84很大程度上是由于前景顏色被重復而導致， 因為原先僅僅包含背景顏色的像素在模糊后包含許多前景顏色。當計算移 位的視圖時，光暈人工產(chǎn)物被擴大，因為大部分包含前景顏色的顏色現(xiàn)在 被使用來填充解除遮擋區(qū)域。
至少很大地減小人工產(chǎn)物的解決方案也要對深度圖本身濾波，由此保 證人工產(chǎn)物不會經(jīng)由呈現(xiàn)而同樣擴大。
前景顏色被分布到的任何目的像素也應當具有前景深度，由此避免這 樣的像素在多視圖呈現(xiàn)中將被使用來填充解除遮擋區(qū)域。這可以通過應用 深度相關的形態(tài)(morphological)濾波器而完成當源像素被分布到目 的像素時，目的像素的深度被設置為源像素的深度和那個目的像素的以前 的深度的最大值。這自然遵從可視度準則來自背景對象的深度信息不改 變前景對象的深度信息(這，舉例而言，將保持例如柱子到它的背景的深 度過渡在顏色和深度上都較銳利)。通常，深度圖的更新可以通過代替把 目的像素的深度設置為如上所述的最大值，而把目的像素的深度設置為在 源像素的深度與目的像素的深度之間的值來完成。
在其中圖像濾波器使得前景比背景模糊的情形下，深度圖用前景深度 更新，以便擴展前景對象。該結(jié)果被示出于圖10A,圖上示出經(jīng)更新的深 度圖。比較圖6B的深度圖與圖1 OA的深度圖，前景對象的膨脹是明顯的(在 左下角101、但也是在柱子IOO右面的背景中的對象)。
使用這個濾波的深度圖，連同來自圖8A的濾波的圖像一起，導致圖 IOB所示的替換的視圖。某些光暈102仍舊是可見的，這是由于現(xiàn)在被呈 現(xiàn)在前景深度處的模糊的邊緣的半透明性，也是由于解除遮擋現(xiàn)在被填充以源自離邊緣相當遠處的顏色信息而導致，但顯然沒有圖8B所示的那些 那樣嚴重。
結(jié)合圖5到10討論的空間濾波在目的像素組是圖像平面上的像素組 的意義上是2D濾波。這樣的2D濾波可能是必須的，以便模仿實際照相機 的焦點失調(diào)的模糊，且由此改進觀眾的感知的圖像質(zhì)量。然而，為了對抗 如可能在多視圖顯示設備中存在的、在觀看方向上的粗采樣以及串擾的影 響，水平濾波器可能是足夠的。在水平濾波器或1D濾波器中，代替把目 的像素組包括在圖5C所示的區(qū)域55內(nèi)，目的像素組沿水平方向在源像素 的兩側(cè)延伸。對于1D水平的深度相關的空間濾波，圖像和具有移位的視 點的圖像的例子被示于圖11。正如當比較圖IIA與圖6A時可以看到的， 已經(jīng)應用了水平模糊。圖IIB示出了在其中深度圖已經(jīng)被濾波的情形下具 有移位的視點的情形，正如與圖10A和IOB有關的。同樣，在1D情形下， 阻止了大的光暈人工產(chǎn)物出現(xiàn)。
在水平濾波中，垂直的光暈效應對于移位的視點被避免。在這種情形 下被避免的垂直光暈效應的例子可以通過比較圖11B與圖7B的柱子110 的頂部而看到。在7B上，垂直光暈效應通過視點的位移而被引入。
高通濾波典型地被應用，以便例如結(jié)合圖像的多視圖呈現(xiàn)或采樣來預 補償隨后引入的圖像的模糊。
圖12A示意地圖解具有邊緣的輸入圖像。多視圖呈現(xiàn)將按照深度移位 這個圖像，這樣，第二視圖將是圖像的移位的版本(在這種情形下假設在 那個區(qū)域中有恒定的深度)。這被示于圖12B中。在展現(xiàn)串擾的多視圖顯 示器上，觀眾將不是單純地看見一個視圖(比如說視圖1)，而是看見人們 應當看見的視圖和相鄰視圖的混合。作為例子，圖12C圖解其中看見I/8 的相鄰視圖的情形，因此圖12C圖解1/8的相鄰視圖(圖12B)與7/8的視 圖本身(圖12A)的組合。邊緣被分到2個更小的梯級，即，邊緣被模糊。
為了對抗這一點，輸入圖像可被高通濾波。通常導致在邊緣之前和之 后的某些過沖，使得邊緣"更高"。這被示意地在圖12D中畫出。圖12E示 出圖12D的移位的版本，以及圖12E圖解其中串擾已經(jīng)被引入的情形，即， 圖12F是圖12E(移位的視圖)與圖12D(原先的視圖)的組合。如圖所示， 不管串擾如何，邊緣仍舊是銳利的。
對于具有與參考深度相似的深度的高通濾波區(qū)域，沒有出現(xiàn)或僅僅出 現(xiàn)很小的銳化，隨著在參考深度與區(qū)域的深度之間的差異增加，被銳化影響的區(qū)域的半徑或范圍增加，匹配于在相鄰視圖中邊緣之間的距離。
在 一 個實施例中，包括要被呈現(xiàn)給觀眾的圖像數(shù)據(jù)的信號作為第 一 圖 像信號被輸入到輸入模塊。在呈現(xiàn)模塊進行第 一 圖像的深度相關的空間濾 波以提供第二圖像，呈現(xiàn)模塊典型地是處理器單元。輸入模塊、呈現(xiàn)模塊 和輸出模塊不需要、但可能是分開的實體。
呈現(xiàn)模塊也可以把附加呈現(xiàn)功能應用到圖像數(shù)據(jù)，例如，圖像數(shù)據(jù)可 被適當?shù)乜s放到觀看分辨率，顏色可被調(diào)節(jié)等等。圖像信號的呈現(xiàn)可以對 于不同的顏色分量分開地完成，以及視圖相關的強度函數(shù)可以對于圖像的 至少一個顏色分量被確定，以及帶通濾波被應用到圖像的至少一個顏色分
量。例如，由于在RGB信號中綠色分量是最明亮的分量，所以空間濾波在 一個實施例中可以僅僅應用于綠色分量。
本發(fā)明可以以任何適當?shù)男问奖粚嵤?，包括硬件、軟件、固件或這些 的任何組合。本發(fā)明或本發(fā)明的某些特征可被實施為在一個或多個數(shù)據(jù)處 理器和/或數(shù)字信號處理器上運行的計算機軟件。本發(fā)明的實施例的元件 和部件可以以任何適當?shù)姆绞轿锢淼?、功能地和邏輯?故實施。事實上， 功能性可以在單個單元、多個單元或作為其它功能單元的一部分被實施。 這樣，本發(fā)明可以在單個單元被實施，或可以物理地和功能地被分布在不
同的單元與處理器之間。
雖然本發(fā)明已結(jié)合優(yōu)選實施例描述，但它不打算限于這里闡述的特定 形式。而是，本發(fā)明的范圍只由所附權利要求限制。
在本節(jié)中，公開的實施例的某些特定細節(jié)是為了解釋而不是為了限制 而闡述的，以便提供對于本發(fā)明的清晰的和透徹的理解。然而，本領域技 術人員應當容易理解，本發(fā)明可以以不完全與這里闡述的細節(jié)一致的其它 實施例被實踐，而不較大地脫離本公開內(nèi)容的精神和范圍。而且，在本上 下文中，以及為了概略和清晰起見，熟知的設備、電路和方法的詳細說明 已經(jīng)被省略，以避免不必要的細節(jié)和可能的混淆。
參考標號被包括在權利要求中，然而，包括參考標號僅僅是為了清楚 的原因，而不應當解讀為限制權利要求的范圍。
權利要求
1.呈現(xiàn)用于多視圖顯示器(1)的圖像數(shù)據(jù)的方法，該方法包括以下步驟-接收代表第一圖像(50)的圖像信號，第一圖像包括3D圖像數(shù)據(jù)，-空間濾波第一圖像信號以提供第二圖像信號，第二圖像信號代表第二圖像(53)，空間濾波包括在第一圖像的圖像元素(52)與第二圖像的圖像元素(52，55)之間的映射，空間濾波器的強度由第一圖像的參考深度和第一圖像的圖像元素的深度確定，-將第二圖像采樣成多個子圖像，每個子圖像與圖像的一個觀看方向相關聯(lián)。
2. 按照權利要求l的方法，其中空間濾波器是帶通濾波器。
3. 按照權利要求2的方法，其中帶通濾波器是從高通濾波器、低通 濾波器和高通濾波器與低通濾波器的組合的組中選擇的。
4. 按照權利要求1的方法，其中第一圖像的圖像元素被映射到第二 圖像的圖像元素(55)組，以及其中空間濾波器的強度被確定為第二圖像的 圖像元素組的尺寸。
5. 按照權利要求4的方法，其中第二圖像的圖像元素組的尺寸是分 布濾波器的半徑(r)或范圍。
6. 按照權利要求1的方法，其中目的元素用可見度因子來更新，可 見度因子從在視點與第 一 圖像的圖像元素的空間坐標之間的距離和在該 視點與第二圖像的圖像元素的空間坐標之間的距離來確定。
7. 按照權利要求6的方法，其中當目的像素比源像素更接近于到視 點的第一最小距離時，可見度因子等于零，以及當源像素比目的像素更接 近于到視點的第二最小距離時，可見度因子等于1,以及其中該因子遵循 在兩個值之間的逐漸過渡。
8. 按照權利要求l的方法，其中第二圖像的圖像元素的深度被更新， 以使得第二圖像元素的圖像元素的經(jīng)更新的深度被設置為在第 一 圖像的 圖像元素的深度與第二圖像的圖像元素的深度之間的值，這樣，第二圖像 的采樣通過使用第二圖像的圖像元素的經(jīng)更新的深度而完成。
9. 按照權利要求4的方法，其中第一圖像的圖像元素與第二圖像的 圖像元素組沿第 一 圖像的水平行被對準。
10. 按照權利要求1的方法，其中第一圖像信號的圖像格式是2. 5D視頻圖像格式。
11. 多視圖顯示設備，包括-顯示板(l)，包括顯示元件(20， 51)的陣列，顯示元件被安排成 組，每組與圖像的一個觀看方向(cp)相關聯(lián)，-光學元件(2)，用于引導從顯示板發(fā)射的光，這樣，從一組顯示元 件發(fā)射的光被引導成與該組的觀看方向相關聯(lián)的角分布(30-34)，-輸入模塊，用于接收代表第一圖像(50)的第一圖像信號，-呈現(xiàn)模塊，用于空間濾波第一圖像信號以提供第二圖像信號，第二 圖像信號代表第二圖像(5 3),空間濾波包括在第 一 圖像的圖像元素(52)與 第二圖像的圖像元素(52，55)之間的映射，空間濾波器的強度由第一圖像 的參考深度與第 一圖像的圖像元素的深度確定，-輸出模塊，用于把第二圖像采樣成多個子圖像，每個子圖像與該圖 像的一個觀看方向相關聯(lián)。
12. 信號呈現(xiàn)系統(tǒng)，包括-輸入模塊，用于接收代表第一圖像(50)的第一圖像信號， -呈現(xiàn)模塊，用于空間濾波第一圖像信號以提供第二圖像信號，第二圖像信號代表第二圖像(53)，空間濾波包括在第 一圖像的圖像元素(52)與第二圖像的圖像元素(52, 55)之間的映射，空間濾波器的強度由第一圖像的參考深度與第 一圖像的圖像元素的深度確定，-輸出模塊，用于把第二圖像采樣成多個子圖像，每個子圖像與該圖像的一個觀看方向相關聯(lián)。
13. 用于實施權利要求1的方法的計算機可讀代碼。
全文摘要
本發(fā)明涉及用于多視圖顯示器的圖像數(shù)據(jù)，諸如用于透鏡的自動立體顯示器的圖像數(shù)據(jù)的呈現(xiàn)。該方法包括以下步驟接收代表第一圖像的圖像信號，第一圖像包括3D圖像數(shù)據(jù)，空間濾波第一圖像信號以提供第二圖像信號，第二圖像信號代表第二圖像，空間濾波是諸如低通濾波器、高通濾波器或低通與高通濾波器的組合，空間濾波器的強度由第一圖像的參考深度和第一圖像的圖像元素的深度確定，以及將第二圖像采樣成多個子圖像，每個子圖像與圖像的一個觀看方向相關聯(lián)。
文檔編號H04N13/04GK101322418SQ200680045378
公開日2008年12月10日 申請日期2006年11月27日 優(yōu)先權日2005年12月2日
發(fā)明者B·G·B·巴倫布魯格 申請人:皇家飛利浦電子股份有限公司