專利名稱：深度感知的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種基于輸入圖像和視差數(shù)據(jù)對多視點圖像進(jìn)行渲染 的方法。本發(fā)明還涉及一種基于輸入圖像和視差數(shù)據(jù)對多視點圖像進(jìn)行渲染的渲染單元。本發(fā)明還涉及一種包括所述渲染單元的圖像處理設(shè)備。 本發(fā)明還涉及一種由計算機配置加載的計算機程序產(chǎn)品，其包括基于輸入圖像和視差數(shù)據(jù)對多視點圖像進(jìn)行渲染的指令，所述計算機配置包括處理器件和存儲器。
背景技術(shù)：
自從引入顯示裝置以來，許多人開始夢想著逼真的3-D顯示裝置。 已經(jīng)研究了許多可以實現(xiàn)這樣的顯示裝置的原理。 一些原理試圖在一 定空間中創(chuàng)建逼真的3-D對象。例如，A. Sullivan在proceedings of SID，03 ( 153卜15"， 2003)的文章"Solid-state Multi-planar Volumetric Display"中公開了一種顯示裝置，其通過快速投影儀在 一系列平面上移動可視數(shù)據(jù)。每個平面是一個可切換的散射器。如果 平面的數(shù)量足夠大，則人腦組合圖畫并觀察到逼真的3-D對象，該原 理允許觀看者在一定范圍里環(huán)顧對象。在此顯示裝置中，所有對象都 是(半)透明的。許多其它的原理試圖只基于雙目視差來創(chuàng)建3-D顯示裝置。在這 些系統(tǒng)中，觀看者的左右眼感知不同圖像，因此觀看者感知到3-D圖 像。可以在Princeton University Press, 1993的圖書《Stereo Computer Graphics and Other True 3-D Technologies》 (D. F. McAllister (Ed.))中找到這些概念的概述。第一個原理使用立體眼 鏡與例如CRT組合。如果顯示奇數(shù)幀，則對左眼阻斷光，并且如果顯 示偶數(shù)幀，則對右眼阻斷光。不需要附加工具來顯示3-D的顯示裝置被稱為自動-立體鏡顯示裝置。
第一個無眼鏡顯示裝置包括遮光板，以創(chuàng)建針對準(zhǔn)觀看者的左右 眼的錐形光。例如，所述錐形光例如相應(yīng)于奇數(shù)和偶數(shù)子^f象素列。利 用適宜的信息對這些列進(jìn)行尋址，如果觀看者處于正確的位置點，則在他的左右眼中獲得不同的圖像，并能夠感知到3-D圖畫。第二個無眼鏡顯示裝置包括一 系列透鏡，以將奇數(shù)和偶數(shù)子像素 列的光成像給觀看者的左眼和右眼。上述無眼鏡顯示裝置的缺陷在于觀看者必須保持在固定位置。為 了引導(dǎo)觀看者，已經(jīng)提議使用指示器來顯示處在正確位置的觀看者。 例如參見美國專利US5986804,其中遮光板與紅和綠發(fā)光二極管組合 在一起。在觀看者正確定位的情況下，他看到綠光或紅光。為了觀看者免于處在固定的位置，已經(jīng)提出了多視點自動-立體鏡 顯示裝置。例如參見美國US60064424和US20000912。在US60064424 和US20000912所公開的顯示裝置中，使用傾斜的雙凸透鏡，由此雙凸 透鏡的寬度大于兩個子像素。這種方式中存在著若干相鄰的圖像，并 且觀看者可以稍顯自由地向左右移動為了在多視點顯示裝置上生成3-D印象，必須從不同的虛擬視點 渲染圖像。這需要有多個輸入視圖或一些3-D或深度的信息。該深度 信息可以從多視點照像系統(tǒng)記錄、生成，或從傳統(tǒng)的2-D視頻材料生 成。為了從2-D視頻生成深度信息，可以采用幾種深度暗示例如運 動結(jié)構(gòu)、聚焦信息、幾何形狀和動態(tài)隱面(dynamic occlusion)。 目的是生成密集深度圖，即每個像素一個深度值。接下來，將深度圖 用于渲染多視點圖像以供給觀看者深度印象。在P. A. Redert， E. A. Hendriks和J. Biemond的文章"Synthesis of multi viewpoint images at non-intermediate positions" (Proceedings of International Conference on Acoustics, Speech and Signal Processing, Vol. IV， ISBN 0-8186-7919-0，第2749-2752頁，IEEE Computer Society, Los Alamitos, California, 1997 )中公開了 一種提取深度信息以及基于輸入圖像和深度圖對多視點圖像進(jìn)行渲染 的方法。多視點圖像是將由多視點顯示裝置顯示以創(chuàng)建3-D印象的一 組圖像。典型地，基于輸入圖像創(chuàng)建該組圖像。通過將輸入圖像的像 素移位相應(yīng)的偏移量來創(chuàng)建這些圖像之一。這些偏移量被稱為視差。 因此，典型地，對于每個像素來說存在一個對應(yīng)的視差值，它們一起形成視差圖。典型地，視差值和深度值成反比，即 S-萬 (1)其中S為視差，C為常數(shù)和D為深度。創(chuàng)建深度圖視為等同于創(chuàng)建 視差圖。對于2-D輸入圖像的均勻區(qū)域，即基本上無紋理的區(qū)域來說，難 以或有時不可能從多視點顯示裝置來推斷其深度是多少。通常，這將 作為相應(yīng)于處于屏幕水平的均勻區(qū)域的對象而被感知。在具有例如藍(lán) 天的均勻背景的情況下，所感知的多視點顯示裝置的深度相對較小。 在天空無云的情況下，天空被感知處于屏幕水平，因此對于正確的深 度印象，不可能將其它對象置于屏幕后面，這嚴(yán)重降低了深度印象。發(fā)明內(nèi)容本發(fā)明的一個目的是提供一種首段中描述的方法，從而增加深度 印象。本發(fā)明的上述目的是這樣實現(xiàn)的，該方法包括 -創(chuàng)建包括不規(guī)則形狀對象的調(diào)制圖像；-在調(diào)制圖像的其他像素值的基礎(chǔ)上調(diào)制輸入圖像的一部分的像 素值，從而形成中間圖像；和-通過在視差數(shù)據(jù)的基礎(chǔ)上扭曲(warping)中間圖像而生成多視 點圖4象。在多視點顯示裝置上給觀看者3-D印象取決于將第一輸出圖像示 于左眼和將第二輸出圖像示于右眼。這些輸出圖像之間的差別通過人 腦而被演繹成3-D圖像。通過相對于彼此移位輸入圖像的各對象，構(gòu) 建輸出圖像。偏移量由對象的深度決定。大腦以不同的視點識別對象 之間的對應(yīng)，即輸出圖像，并從差別來推斷幾何形狀。如果對象基本 上無紋理，則難以形成這樣的對應(yīng)，因為不存在眼睛"鎖定，，的特征。 成像一個均勻黑表面。將它移位到左或右都不會改變它。因此，基于 視差并不能推斷該表面所處的深度。通過基于調(diào)制圖像的其他像素值來調(diào)制輸入圖像的一部分的像素 值，引入特征。這些對應(yīng)于不規(guī)則形狀對象的特征首先在輸入圖像的 基本上均勻的區(qū)域中是可見的。接著，可以對看起來在某些區(qū)域有所不同的第一輸出圖像和第二輸出圖像進(jìn)行渲染，該區(qū)域?qū)?yīng)于在進(jìn)行 調(diào)制之前基本上是均勻的那部分輸入圖像?，F(xiàn)在，用戶可以在笫一和 第二輸出圖像中所各自引入的不規(guī)則形狀對象之間形成對應(yīng)。優(yōu)選地，不規(guī)則形狀對象的尺寸與視差數(shù)據(jù)相關(guān)。例如，不規(guī)則 形狀對象的平均尺寸和視差數(shù)據(jù)的平均值具有相同的數(shù)量級。假設(shè)視差數(shù)據(jù)包括1-15個像素范圍內(nèi)的值，則優(yōu)勢在于尺寸，即不規(guī)則形狀 對象的高度和寬度，基本上在相同的范圍中。優(yōu)選地，不規(guī)則形狀對象 的平均直徑對于1000*1000像素的圖像大約為7-8個像素。平均直徑 是指兩個邊緣之間的平均距離。輸入圖像的像素值的調(diào)制可以覆蓋遍布在輸入圖像上的像素。該 調(diào)制優(yōu)選地覆蓋對應(yīng)于基本上均勻的區(qū)域的那部分輸入圖像。優(yōu)選 地，該調(diào)制是這樣的，提高輸入圖像的第一部分像素的亮度值，同時 降低輸入圖像的第二部分像素的亮度值。例如，輸入圖像的第一部分 像素對應(yīng)于代表不規(guī)則形狀對象的調(diào)制圖像的像素集合，而輸入圖像 的第二部分像素對應(yīng)于代表背景的調(diào)制圖像的另一個像素集合。優(yōu)選地，平均亮度值不受調(diào)制影響，即輸入圖像的平均亮度值和中間圖像 的平均亮度值基本上彼此相等。在根據(jù)本發(fā)明的方法的實施例中，創(chuàng)建調(diào)制圖像包括-通過生成噪聲而創(chuàng)建第一圖像；-使用低通濾波器過濾第一圖像，從而形成第二圖像；和 -通過閾值來劃分第二圖像的像素，從而形成調(diào)制圖像。 優(yōu)選地，由隨機噪聲發(fā)生器生成噪聲。低通濾波器的特點優(yōu)選地 與視差數(shù)據(jù)相關(guān)，以便創(chuàng)建具有適宜尺寸的不規(guī)則形狀對象。這樣進(jìn) 行劃分，即將已連接的像素組標(biāo)記為屬于各自的不規(guī)則形狀對象，同 時將已連接的像素的其它組標(biāo)記為背景。在根據(jù)本發(fā)明的方法的實施例中，基于視差數(shù)據(jù)調(diào)制像素值。優(yōu) 選地，亮度值的提高和降低取決于局部深度值，并因此取決于像素的 局部視差值。優(yōu)選地，對于遠(yuǎn)離觀看者的輸入圖像的對象而言，提高 和/或降低的量較高。在根據(jù)本發(fā)明的方法的實施例中，基于運動矢量創(chuàng)建調(diào)制圖像， 所述運動矢量是在輸入圖像所屬的一系列輸入圖像的基礎(chǔ)上計算的。 假設(shè)把根據(jù)本發(fā)明的方法應(yīng)用于代表運動的一系列輸入圖像，例如一
系列視頻圖像。例如對應(yīng)于搖拍照相機。如果該輸入圖像序列的每個 輸入圖像都由相同調(diào)制圖像進(jìn)行調(diào)制，并被顯示在多視點顯示裝置 上，則結(jié)果可能就好像是在通過臟的窗戶觀看輸出圖像序列。為了防 止這個，優(yōu)選每個輸入圖像通過自己的調(diào)制圖像來進(jìn)行調(diào)制。用于調(diào) 制特定輸入圖像的調(diào)制圖像可以基于其它調(diào)制圖像，該其它調(diào)制圖像 是為之前的輸入圖像(即在特定輸入圖像之前的圖像)而創(chuàng)建的。優(yōu) 選地，所述其它調(diào)制圖像基于在一個方向上為調(diào)制特定輸入圖像而對 調(diào)制圖像進(jìn)行移位，并且所述其它調(diào)制圖像與場景中的運動相關(guān)。優(yōu) 選地，為獲得所述其它調(diào)制圖像，采用一運動矢量來移位用于調(diào)制特 定輸入圖像的調(diào)制圖像，其中，該運動矢量是通過分析或模擬對應(yīng)于 特定輸入圖像的運動矢量場而計算的。本發(fā)明的另一目的是提供一種首段中描述的渲染單元，從而增加 深度印象。本發(fā)明的上述目的是這樣實現(xiàn)的，該渲染單元包括-用于創(chuàng)建包括不規(guī)則形狀對象的調(diào)制圖像的創(chuàng)建器件；-用于在調(diào)制圖像的其他像素值的基礎(chǔ)上調(diào)制輸入圖像的一部分的像素值而形成中間圖像的調(diào)制器件；和-通過在視差數(shù)據(jù)的基礎(chǔ)上扭曲中間圖像而生成多視點圖像。 本發(fā)明的另一目的是提供一種包括首段所述的渲染單元的圖像處理設(shè)備，從而增加深度印象。本發(fā)明的上述目的是這樣實現(xiàn)的，所述渲染單元包括-用于創(chuàng)建包括不規(guī)則形狀對象的調(diào)制圖像的創(chuàng)建器件；—用于在調(diào)制圖像的其他像素值的基礎(chǔ)上調(diào)制輸入圖像的一部分的像素值從而形成中間圖像的調(diào)制器件；和-通過在視差數(shù)據(jù)的基礎(chǔ)上扭曲中間圖像而生成多視點圖像。 本發(fā)明的另一目的是提供一種首段所述的計算機程序產(chǎn)品，從而增加深度印象。本發(fā)明的上述目的是這樣實現(xiàn)的，上述計算機程序產(chǎn)品在被加載 之后，向所述處理器件提供執(zhí)行下列操作的能力 -創(chuàng)建包括不規(guī)則形狀對象的調(diào)制圖像；-在調(diào)制圖像的其他像素值基礎(chǔ)上調(diào)制輸入圖像的一部分的像素 值，從而形成中間圖l象；和
-通過在視差數(shù)據(jù)的基礎(chǔ)上扭曲中間圖像而生成多視點圖像。 渲染單元的修改及其變化可以對應(yīng)于圖像處理設(shè)備、方法和計算 機程序產(chǎn)品的修改及其變化。


參照下面對執(zhí)行和實施例的描述并參考附圖，根據(jù)本發(fā)明的渲染 單元、圖像處理設(shè)備、方法和計算機程序產(chǎn)品的這些和其它方面將變
得明顯并得以闡明，附圖中
圖1示出根據(jù)本發(fā)明的調(diào)制圖像、輸入圖像和中間圖像；
圖2示意性地示出了根據(jù)本發(fā)明的渲染單元的實施例；
圖3示意性地示出了包括根據(jù)本發(fā)明的渲染單元的實施例的多視
點圖像生成單元；
圖4示意性地示出了調(diào)制圖像創(chuàng)建裝置的實施例；和
圖5示意性地示出了根據(jù)本發(fā)明的圖像處理設(shè)備的實施例。
所有附圖中相同的附圖標(biāo)記用于表示相似的部件。
具體實施例方式
圖1示出根據(jù)本發(fā)明的調(diào)制圖像IOO、輸入圖像102和中間圖像 104。輸入圖像102是來自視頻序列的圖像。調(diào)制圖像100和輸入圖像 102具有相同的尺寸，即包括相同數(shù)量的像素。則直接用調(diào)制圖像IOO 對輸入圖像102進(jìn)行調(diào)制。對于輸入圖像102的每個像素，在調(diào)制圖 像IOO中存在相應(yīng)的像素，其直接與各自的亮度值的提高量或降低量 相關(guān)?；蛘?，調(diào)制圖像100和輸入圖像102具有彼此不同的尺寸。則 通過多次應(yīng)用調(diào)制圖像100或只應(yīng)用調(diào)制圖像100的一部分來執(zhí)行對 輸入圖像102的調(diào)制?；蛘?，只對輸入圖像的一部分像素進(jìn)行調(diào)制。
優(yōu)選地，調(diào)制圖像100包括第一組已連接的像素114和第二組像 素，其中，第一組像素共同形成背景，而第二組像素形成前景對象 106-112。這些前景對象是不規(guī)則形狀對象。這些不規(guī)則形狀對象 106-112看起來象污點。優(yōu)選地，這些不規(guī)則形狀對象106-112的形 狀與輸入圖像102中的對象的形狀并不相關(guān)。
這些不規(guī)則形狀對象106-112的平均尺寸與視差量相關(guān)，并且因 此與深度相關(guān)。注意，不同的不規(guī)則形狀對象106-112可能具有彼此
不同的尺寸。而且，典型地，輸入圖像102的不同像素的視差量顯示 出偏離，并且因此中間圖像104的視差量也顯示出偏離。然而，視差 的平均尺寸和不規(guī)則形狀對象106-112的平均尺寸優(yōu)選地具有相同的 數(shù)量級。
圖1示出根據(jù)本發(fā)明的中間圖像104。不規(guī)則形狀對象106-112 清楚可見。注意，所示中間圖像104只是示例，以說明被夸張的調(diào)制 效果。優(yōu)選地，不規(guī)則形狀對象較難覺察得到。這就意味著它們不應(yīng) 當(dāng)是如此明顯的。典型地，調(diào)制圖像IOO中明顯的亮度值的范圍和數(shù) 量與輸入圖像102中亮度值的數(shù)量相比相對較小。假設(shè)輸入圖像102 的亮度值范圍包括256個不同值。則典型地調(diào)制圖像IOO的亮度值范 圍包括值[-2， 2]。例如，第一組像素的亮度值，即背景114的亮度值， 都等于-2或-1，同時第二組像素的亮度值，即不規(guī)則形狀對象106-112 的亮度值，都等于+ 2或+ l。
圖2示意性地示出了根據(jù)本發(fā)明的渲染單元200的實施例。渲染 單元200用于在輸入圖像102的基礎(chǔ)上對包括第一輸出圖像和第二輸 出圖像的多視點圖像進(jìn)行渲染。在圖像輸入連接器208處提供輸入圖 像102。渲染單元200在它的圖像輸出連接器210和212處提供第一 輸出圖像和第二輸出圖像。所述渲染單元200包括
-調(diào)制圖像創(chuàng)建裝置206，用于創(chuàng)建包括不規(guī)則形狀對象106-112 的調(diào)制圖像100;
-調(diào)制裝置202，用于在調(diào)制圖像IOO的其他像素值的基礎(chǔ)上調(diào)制 輸入圖像102的一部分的像素值，從而形成中間圖像104;和
-生成裝置204，用于生成笫一輸出圖像和第二輸出圖像其中，第 一輸出圖像是通過在基于視差數(shù)據(jù)的第一轉(zhuǎn)化的基礎(chǔ)上扭曲中間圖像 而生成的，第二輸出圖像是通過在基于視差數(shù)據(jù)的第二轉(zhuǎn)化的基礎(chǔ)上 扭曲中間圖像而生成的。
可以使用一個處理器來實現(xiàn)調(diào)制圖像創(chuàng)建裝置206、調(diào)制裝置202 和生成裝置204。通常，在軟件程序產(chǎn)品的控制下執(zhí)行這些功能。在執(zhí) 行期間，通常將軟件程序產(chǎn)品載入例如RAM的存儲器，并從那里執(zhí)行。 所述程序可以從后臺存儲器，例如ROM、硬盤或磁和/或光存儲器加栽， 亦或經(jīng)由如互聯(lián)網(wǎng)的網(wǎng)絡(luò)而加載?？蛇x地，專用集成電路提供所述功
結(jié)合圖4，描述調(diào)制圖像創(chuàng)建裝置206的實施例。 優(yōu)選地，將調(diào)制裝置202設(shè)置為執(zhí)行如等式2所規(guī)定的功能。 L福(x， y) =Ln (x， y) +g (x， y) *Ln0d (x， y) ( 2 )
其中，
- Lin (x， y)是輸入圖像102的坐標(biāo)為(x, y)的像素的亮度值；
-L。" (x， y)是中間圖像104的坐標(biāo)為(x， y)的像素的亮度值，即調(diào) 制裝置的輸出；
- L,d(x，y)是調(diào)制圖像lOO的坐標(biāo)為(x,y)的像素的亮度值；和
- g (x， y)是增益因子，優(yōu)選地它可以由用戶調(diào)節(jié)。所述增益g (x， y) 對于所有像素可以是相等的，但是優(yōu)選地，每個像素?fù)碛衅渥约旱脑?益因子。可以通過增益輸入連接器214提供增益g (x， y)的實際值。
將生成裝置204設(shè)置為渲染第一輸出圖像和第二輸出圖像。例如， 該渲染正如在P. A. Redert、 E. A. Hendriks和J. Biemond的文章
"Synthesis of 邁ulti viewpoint images at non-intermediate positions" (Proceedings of International Conference on Acoustics, Speech and Signal Processing, Vol. IV， ISBN O-8186-7919-0，第2749-2752頁，IEEE Computer Society, Los Alamitos， California, 1997 )中所描述的。或者，該渲染正如在R. P. Berretty和F. E. Ernst的文章"High-quality images from 2. 5D video" ( Proceedings Eurographics, Granada, 2003， Short Note 124 )中所描述的。為了該渲染，生成裝置204需要視差輸入連接器216 所提供的視差或深度信息。
調(diào)制圖像創(chuàng)建裝置206可以包括下列兩個可選輸入連接器清晰 度輸入連接器220和運動矢量輸入連接器218。
優(yōu)選地，在輸入圖像中引入不規(guī)則形狀對象僅限于基本上均勻的 那部分輸入圖像。這可以通過只在局部，即在基本上均勻的區(qū)域中， 調(diào)制輸入圖像而實現(xiàn)?；蛘?，調(diào)制圖像創(chuàng)建裝置206考慮了關(guān)于輸入 圖1象的圖4象內(nèi)容的信息，特別是均勻區(qū)域的存在和位置。該信息可以 通過外部清晰度計算裝置302提供，或者可以由渲染單元200自己計
算。在兩種情況下，基于對圖像像素的清晰度值的計算，來確定清晰 度信息。優(yōu)選地，它是特定的輸入圖像，調(diào)制圖像可以加入其中，或 者調(diào)制圖像可以與之合并?；蛘?，基于對另一圖像像素的清晰度值的
計算，來確定清晰度信息，其中該另一圖像來自該特定輸入圖像所屬 的圖像序列。
優(yōu)選地，通過計算特定像素的亮度和/或色彩值與該特定像素的鄰 接像素的亮度和/或色彩值之間的差別，來確定該特定像素的清晰度 值。通過計算圖像的各個像素的清晰度值，來形成清晰度圖。亮度和/ 或色彩值之間的相對較大的差別意味著相對較高的清晰度值。接下 來，分析并選擇性地修改清晰度圖。這意味著確定了具有較多清晰度 值較低的像素的第一區(qū)域，并確定了具有較多清晰度值較高的像素的 第二區(qū)域。假設(shè)第一區(qū)域為均勻區(qū)域，設(shè)第二區(qū)域為紋理區(qū)域或細(xì)節(jié)
區(qū)域(detailed region)。基于該劃分，確定增益因子g (x, y)的值， 并創(chuàng)建調(diào)制圖像IOO。典型地，這意味著對應(yīng)于第一區(qū)域的調(diào)制圖像 100的亮度值Lm。d (x， y)是這樣的，即在調(diào)制期間它們對輸入圖像100 沒有或基本沒有任何影響，例如Lm。d(x，y)-0，同時對應(yīng)于笫二區(qū)域的 調(diào)制圖像100的亮度值L。d (x, y)是這樣的，即在調(diào)制期間它們對輸入 圖像100有影響，^!|:ftpLmod(x，y)=-2、 -1、 1或2。
通過清晰度輸入連接器2 2 0將包括劃分信息的清晰度圖提供給渲 染單元200。
對應(yīng)于后續(xù)的輸入圖像，創(chuàng)建后續(xù)的調(diào)制圖像可以彼此完全獨立 地進(jìn)行?；蛘?，在創(chuàng)建特定調(diào)制圖像和后續(xù)調(diào)制圖像之間存在關(guān)聯(lián)。 通過創(chuàng)建后續(xù)的調(diào)制圖像而考慮后續(xù)輸入圖像之間的運動是有益的。 通過分析特定輸入圖像及其后續(xù)者之間的動作，可以確定移位。優(yōu)選 地，將該移位應(yīng)用于移位特定調(diào)制圖像，以便獲得下一調(diào)制圖像。優(yōu) 選地，后續(xù)的輸入圖像之間的運動取決于在運動矢量場的基礎(chǔ)上建立 運動模型。通過運動估計器確定該運動矢量場。該運動估計器例如可 見于G. de Haan等人的文章"True-Motion Estimation with 3-D Recursive Search Block Matching" (IEEE Transactions on circuits and systems for video technology, vol. 3， no.5， 1993 年10月，368-379頁)。
通過運動矢量輸入連接器218將運動信息提供給渲染單元200。 圖3示意性地示出了包括根據(jù)本發(fā)明的渲染單元200的實施例的 多視點圖像生成單元300。將多視點圖像生成單元300設(shè)置為在一系列 視頻圖像的基礎(chǔ)上生成一系列多視點圖像。多視點圖像生成單元300
在輸入連接器308處備有視頻圖像流，并分別在輸出連接器310和312 處提供兩個相關(guān)的視頻圖像流。將這兩個相關(guān)的視頻圖像流提供給多 視點顯示裝置，所述多視點顯示裝置用于使基于該相關(guān)視頻圖像流中 的第一個視頻圖像流的第一系列視圖可視化，并使基于該相關(guān)視頻圖 像流中的第二個視頻圖像流的第二系列視圖可視化。如果用戶，即觀 看者，用他的左眼觀察第一系列視圖，并用他的右眼觀察第二系列視 圖，則他獲得3-D印象。相關(guān)的視頻圖像流中的第一個視頻圖像流可 以對應(yīng)于接收到的視頻圖像序列，并且，根據(jù)本發(fā)明的方法可以基于 接收到的視頻圖像序列對相關(guān)的視頻圖像流中的第二個視頻圖像流進(jìn) 行渲染。優(yōu)選地，基于接收到的視頻圖像序列，根據(jù)本發(fā)明的方法對 兩個視頻圖像流進(jìn)行渲染。
多視點圖像生成單元300還包括
—清晰度計算裝置302，用于確定輸入圖像的哪些區(qū)域是均勻的。 通過清晰度輸入連接器220將清晰度計算裝置302的輸出提供給渲染 單元200。
-運動估計器304，用于估計后續(xù)輸入圖像之間的運動。通過運動 矢量輸入連接器218將運動估計器304的輸出提供給渲染單元200; 和
-深度創(chuàng)建單元306，用于確定輸入圖像中各個對象的深度信息。 基于該深度信息確定視差圖，所述視差圖通過視差輸入連接器216被 供給渲染單元300。
注意，雖然將多視點圖像生成單元300設(shè)計為處理視頻圖像，但 也可以設(shè)置多視點圖像生成單元300的替代實施例，以基于單獨的圖 像，即靜止畫面，來生成多視點圖像。
注意，雖然所述多視點圖像生成單元300具有兩個輸出連接器310 和312，但也可以有替代的輸出方式。除此之外，形成一個多視點圖像 的輸出圖像的數(shù)量并不嚴(yán)格限于2個。
圖4示意性地示出了根據(jù)本發(fā)明的調(diào)制圖像創(chuàng)建裝置206的實施 例。所述調(diào)制圖像創(chuàng)建裝置包括
-用于創(chuàng)建第一圖像的隨機噪聲發(fā)生器402;
-低通濾波器404，用于過濾第一圖像，從而形成第二圖像。低通 濾波器的特點與視差數(shù)據(jù)相關(guān)，以便創(chuàng)建具有適宜尺寸的不規(guī)則形狀
對象；和
-比較裝置406，用于將第二圖像的像素值與預(yù)定閾值進(jìn)行比較， 以便劃分第二圖像的像素，從而形成調(diào)制圖像。這樣進(jìn)行劃分，即將 已連接的像素的組標(biāo)記為屬于各不規(guī)則形狀對象，同時將已連接的像 素的其它組標(biāo)記為背景。
圖5示意性地示出了根據(jù)本發(fā)明的圖像處理設(shè)備500的實施例， 包括
-接收單元502，用于接收表示輸入圖像的視頻信號；
-多視點圖像生成單元300，用于基于接收到的輸入圖像生成多視
點圖《象，如結(jié)合圖3所述；和
-多視點顯示裝置504，用于顯示由多視點圖像生成單元300提供
的多視點圖《象。
視頻信號可以是經(jīng)由天線或線纜接收到的廣播信號，但也可以是 來自例如VCR (錄像機)或數(shù)字化通用光盤(DVD)之類的存儲裝置的 信號。在輸入連接器506處提供信號。圖像處理設(shè)備500例如可以是 TV?；蛘?，圖像處理設(shè)備500不包括可選的顯示裝置，而是向包括顯 示裝置504的設(shè)備提供輸出圖像。則圖像處理設(shè)備500可以是例如機 頂盒、衛(wèi)星調(diào)諧器、VCR播放器、DVD播放器或記錄器?？蛇x地，圖像 處理設(shè)備500包括例如硬盤的存儲器件或用于在例如光盤的可移動介 質(zhì)上進(jìn)行存儲的器件。圖像處理設(shè)備500還可以是由電影公司或廣播 公司所應(yīng)用的系統(tǒng)。
應(yīng)該注意，上述實施例說明而非限制本發(fā)明，并且，本領(lǐng)域技術(shù) 人員可以設(shè)計替代實施方式，而不脫離權(quán)利要求的范圍。權(quán)利要求中， 括號中的任何附圖標(biāo)記不構(gòu)成對權(quán)利要求的限制。詞語"包括"不排 除權(quán)利要求中未列舉的元件或步驟。元件前面的詞語"一"或"一個" 不排除存在多個這樣的元件。通過包括若干確切的元件的硬件和通過 合適的編程計算機可以實現(xiàn)本發(fā)明。在列舉了若干器件的單元權(quán)利要 求中，這些器件中的一些可以由一個和相同項的硬件實現(xiàn)。詞語第一、 第二和第三等等的使用不指示任何排序。可以將這些詞語解釋為相同。
權(quán)利要求
1、一種基于輸入圖像(102)和視差數(shù)據(jù)對多視點圖像進(jìn)行渲染的方法，包括-創(chuàng)建包括不規(guī)則形狀對象(106-112)的調(diào)制圖像(100)；-在調(diào)制圖像(100)的其他像素值的基礎(chǔ)上調(diào)制輸入圖像(102)的一部分的像素值，從而形成中間圖像(104)；和-通過在視差數(shù)據(jù)的基礎(chǔ)上扭曲中間圖像(104)而生成多視點圖像。
2、 如權(quán)利要求1所述的方法，不規(guī)則形狀對象(106-112)的尺 寸與視差數(shù)據(jù)相關(guān)。
3、 如權(quán)利要求2所述的方法，不規(guī)則形狀對象(106-112)的平 均尺寸和視差數(shù)據(jù)的平均值具有相同的數(shù)量級。
4、 如上述任一權(quán)利要求所述的方法，輸入圖像(102)的該部分基本上是基本上均勻的區(qū)域。
5、 如上述任一權(quán)利要求所述的方法，創(chuàng)建調(diào)制圖像(IOO)包括-通過生成噪聲而創(chuàng)建第一圖像；-使用低通濾波器過濾第一圖像，從而形成第二圖像；和-通過閾值劃分第二圖像的像素，從而形成調(diào)制圖像(100)。
6、 如上述任一權(quán)利要求所述的方法，基于視差數(shù)據(jù)來調(diào)制像素值。
7、 如上述任一權(quán)利要求所述的方法，基于運動矢量來創(chuàng)建調(diào)制圖 像(100)，所述運動矢量是基于輸入圖像所屬的一系列輸入圖像(102)而計算的。
8、 一種用于基于輸入圖像(102)和視差數(shù)據(jù)對多視點圖像進(jìn)行 渲染的渲染單元(200 ),所述渲染單元包括-用于創(chuàng)建包括不規(guī)則形狀對象(106-112)的調(diào)制圖像(100) 的創(chuàng)建器件(206 );-用于在調(diào)制圖像(100)的其他像素值的基礎(chǔ)上調(diào)制輸入圖像的 一部分的像素值而形成中間圖像U04)的調(diào)制器件(2(>2);和-通過在視差數(shù)據(jù)的基礎(chǔ)上扭曲中間圖像(104)而生成多視點圖 像的生成器件(204 )。
9、 一種圖像處理設(shè)備(400 )，包括-用于接收對應(yīng)于輸入圖像(100)的信號的接收器件(402 ); -如權(quán)利要求8所述的用于渲染多視點圖像的渲染單元(200 );和-用于顯示多視點圖像的顯示裝置(504 )。
10、 一種由計算機配置加載的計算機程序產(chǎn)品，包括基于輸入圖 像(102 )和視差數(shù)據(jù)對多視點圖像進(jìn)行渲染的指令，所述計算機配置 包括處理器件和存儲器，上述計算機程序產(chǎn)品在被加栽之后，向所述 處理器件提供執(zhí)行下列操作的能力-創(chuàng)建包括不規(guī)則形狀對象(106-112)的調(diào)制圖像(100); -在調(diào)制圖像(100)的其他像素值的基礎(chǔ)上調(diào)制輸入圖像的一部 分的像素值，從而形成中間圖像(104);和-通過在視差數(shù)據(jù)的基礎(chǔ)上扭曲中間圖像(104)而生成多視點圖
全文摘要
本發(fā)明公開了一種基于輸入圖像(102)對包括第一輸出圖像和第二輸出圖像的多視點圖像進(jìn)行渲染的方法。該方法包括創(chuàng)建包括不規(guī)則形狀對象(106-112)的調(diào)制圖像(100)；在調(diào)制圖像(100)的其他像素值的基礎(chǔ)上調(diào)制輸入圖像(102)的一部分的像素值，從而形成中間圖像(104)；和通過在視差數(shù)據(jù)的基礎(chǔ)上扭曲中間圖像而生成多視點圖像。
文檔編號H04N13/00GK101103380SQ200680002261
公開日2008年1月9日 申請日期2006年1月12日 優(yōu)先權(quán)日2005年1月12日
發(fā)明者C·瓦雷坎普, F·E·厄恩斯特, M·J·R·奧普德比克 申請人:皇家飛利浦電子股份有限公司