專利名稱：差異圖的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種計算輸出差異圖的方法，該差異圖包括具有對應(yīng)于施加到第一圖像的各個像素的偏移的輸出值以計算第二圖像的輸出成分，基于輸入差異圖的計算包括具有輸入值的各個輸入成分。
本發(fā)明還涉及計算輸出差異圖的器件，該差異圖包括具有對應(yīng)于施加到第一圖像的各個像素的偏移的輸出值以計算第二圖像的輸出成分，基于輸入差異圖的計算包括具有輸入值的各個輸入成分。
本發(fā)明還涉及包括上述計算輸出差異圖的器件的圖像處理設(shè)備。
本發(fā)明還涉及可供計算機設(shè)備裝載的計算機程序產(chǎn)品，其包括計算輸出差異圖的指令，該差異圖包括具有對應(yīng)于施加到第一圖像的各個像素的偏移的輸出值以計算第二圖像的輸出成分，基于輸入差異圖的計算包括具有輸入值的各個輸入成分。
背景技術(shù)：
因為顯示裝置的引入，逼真3-D顯示裝置已經(jīng)是多數(shù)人的夢想。已經(jīng)研究了很多能實現(xiàn)上述顯示裝置的原理。一些原理試圖在特定容積內(nèi)創(chuàng)建一種逼真3-D物體。例如，在2003年的SID’03的會議記錄第1531-1533頁由Sullivan提出的題目為“solid state Multi planarVolumetric Display(固態(tài)多面容積顯示器)”內(nèi)公開的顯示裝置中，借助于一個快速投影儀在平面陣列內(nèi)使視頻數(shù)據(jù)被移位。每個平面都是一個可切換的擴散器。如果平面的數(shù)量足夠多，則人的大腦將上述圖片集中起來并能觀察到逼真的3-D物體。上述原理使觀察者能在很大范圍內(nèi)觀察到物體。在該顯示裝置內(nèi)所有物體都是(半)透明的。
還有很多試圖僅僅基于雙目視差來得到3-D顯示裝置。在上述系統(tǒng)中，觀察者的左眼和右眼感覺到不同的圖像并且從而觀察者可以感覺到3-D圖像?？偟脕碚f，上述概念可以在1993年普林斯頓大學出版社出版的、D.F.McAllister(學者)編著的、書名為“Stereo Computer Graphicsand Other True 3D Technologies(立體計算機圖形以及其它真實的3-D技術(shù))”中找到。第一原理利用快門眼鏡與例如CRT組合。如果奇數(shù)幀被顯示則對于左眼光是被阻擋的，如果偶數(shù)幀被顯示則對于右眼光是被阻擋的。
僅顯示3-D而不需要附加應(yīng)用的顯示裝置稱之為自動立體顯示裝置。
第一沒有眼鏡的顯示裝置包括一個產(chǎn)生針對觀察者的左眼和右眼的光的圓錐體的障礙物。該圓錐體對應(yīng)于例如奇數(shù)和偶數(shù)子像素列。通過尋址上述具有適當信息的列，如果觀察者位于適當?shù)奈恢?，則其左眼和右眼能得到不同的圖像，從而能感覺到3-D圖像。
第二沒有眼鏡的顯示裝置包括透鏡陣列以將奇數(shù)和偶數(shù)子像素列的光映象到觀察者的左眼和右眼。
上面提到的沒有眼鏡的顯示裝置的缺點是觀察者必須保持在固定的位置。為了引導(dǎo)觀察者，必須有指示器來指示觀察者處于正確的位置。從例如美國專利US5986804可以看到，一個阻擋板與一個紅和綠LED結(jié)合在一起。如果觀察者在適當?shù)奈恢脛t他能看到綠光，并且否則能看到紅光。
為了緩解對觀察者坐在固定位置的要求，已經(jīng)提出了多角度自動立體顯示裝置。例如可以從美國專利US60064424和US20000912中看到。在US60064424和US20000912公開的顯示裝置內(nèi)，使用了一種傾斜透鏡，其中透鏡的寬度比兩個子像素寬。以這種方式，很多圖像依次出現(xiàn)并且觀察者可以自由地向左和向右移動。
為了在多角度顯示裝置上產(chǎn)生3D印痕，必須提供來自于不同虛擬觀察點的圖像。這需要多個輸入視圖或者多個3D或者存在的深度信息。該深度信息可以被記錄、從多視圖相機系統(tǒng)產(chǎn)生或從傳統(tǒng)2D視頻材料中產(chǎn)生。對于來自于2D視頻產(chǎn)生的深度信息，可以采用多種類型的深度指示如來自于運動的結(jié)構(gòu)、焦點信息、幾何形狀以及動態(tài)阻塞。其目的是產(chǎn)生密集深度圖，也就是，每個像素的深度值。該深度圖將隨后被用在再現(xiàn)多視像以給觀察者一個深度印象。在題目為“Synthesis of multiviewpoint images ar non-intermediate positions(在非中間位置內(nèi)合成多觀察點圖像)”中，P.A.Redert，E.A.Hendriks，和J.Biemond在聲學、語言和信號處理國際會議上提出的，Vol.IV，ISBN 0-8186-7919-0，第2749-2752頁，IEEE計算機協(xié)會，洛杉磯，加利福尼亞，1997年，公開了一種基于輸入圖像和深度圖抽取深度信息并再現(xiàn)多視像的方法。多視像是一組利用多視圖顯示器顯示以產(chǎn)生3D印象的圖像。典型地，該組圖像是基于輸入圖像產(chǎn)生的。通過使輸入圖像的像素偏移一定數(shù)量的偏移量來產(chǎn)生其中一幅上述圖像。上述偏移量稱之為差異(disparity)。因此，典型地對于每個像素，存在一個相應(yīng)的差異值，一起形成一幅差異圖。差異值和深度值典型地是反相相關(guān)，也就是S=CD---(1)]]>其中S是差異，C是固定值并且D是深度。
假定存在一個圖像處理設(shè)備，如設(shè)置為接收表示一系列2D圖像并對應(yīng)于深度圖的信號并設(shè)置為將上述輸入轉(zhuǎn)換為一系列多視像的多視圖顯示裝置。假定上述多視圖顯示裝置設(shè)置為同時顯示9幅圖像，也就是每幅多視像包括一組9幅不同的圖像。深度圖通過等式1中表示的線性操作基于多視圖顯示裝置的能力并可選擇地基于用戶喜好被轉(zhuǎn)換為差異圖并被用于計算多視像。上述轉(zhuǎn)換意味著將深度值的范圍映射為差異值的范圍。例如深度值的范圍是[50，200]米并且差異值的范圍是
像素。典型地上述映射對應(yīng)于一種線性縮放，其中深度范圍的最小值直接被映射為差異值范圍的最小值并且深度范圍的最大值直接被映射為差異圖的最大值。不幸的是這不能得到多視像的最好的圖像質(zhì)量。

發(fā)明內(nèi)容
本發(fā)明的一個目的是提供一種在開始段中描述的當輸出差異圖用于計算在多視圖顯示裝置內(nèi)顯示的多視像時產(chǎn)生相對高質(zhì)量的多視像的方法。
本發(fā)明的上述目的可以在下述方法中得到，該方法包括基于預(yù)定標準并基于輸入差異圖確定特定輸入值；基于特定輸入值確定映射函數(shù)，映射函數(shù)使特定輸入值被映射為基本上等于零的預(yù)定輸出值；并且基于映射函數(shù)將輸入成分的輸入值映射到輸出成分的各個輸出值。
多視圖顯示裝置典型地以下述方式驅(qū)動，從而使景物的一部分看起來位于顯示裝置的屏幕平面的前面并且其另一部分位于屏幕平面的后面。這可以使顯示裝置的深度范圍得到最佳使用。由于顯示裝置示出的不同圖像之間的串擾，遠離屏幕的、或位于其前面或位于其后面的物體看起來很模糊，這是因為景物的上述部分的移位方式看起來是混和的。這種效果被認為是重影。然而，離屏幕平面相對較近的物體看起來相對清晰。典型地，景物中重要的物體必須顯示為相對較清晰而不重要的物體必須顯示為相對不清晰。本發(fā)明基于上述觀察。這意味著基于預(yù)定標準確定特定輸入成分的輸入值，其中預(yù)定標準典型地滿足特定輸入成分對應(yīng)于相對重要物體的條件。輸入成分的輸入值到輸出成分的相應(yīng)輸出值的映射使得特定輸入成分映射到基本上等于零的預(yù)定輸出值。其效果在于再現(xiàn)多視像中沒有或基本沒有必須施加到對應(yīng)于特定輸入成分的各個像素的像素偏移的不同圖像。應(yīng)用沒有或基本沒有像素偏移會導(dǎo)致離屏幕平面相對較近的地方變?yōu)榭梢姟Ｈ缟纤?，這意味著可以得到相對較清晰的表示。結(jié)果是，具有深度值也就是與特定輸入成分的值有很大不同的差異值的物體將被更模糊地顯現(xiàn)。
根據(jù)本發(fā)明的方法的一個實施例中，映射函數(shù)對應(yīng)于從輸入成分的輸入值增加或減去一固定值，該固定值是基于計算特定輸入成分的輸入值和預(yù)定輸出值之間的差。典型地，輸入值和預(yù)定輸出值之間的差對應(yīng)于一個補償值，該補償值被用作根據(jù)補償值的符號被增加或減小的一固定值。
在根據(jù)本發(fā)明的方法的一個實施例中，預(yù)定標準是基于第一圖像的。這意味著其是基于分析第一圖像的亮度和/或顏色值而建立特定輸入值的。
在根據(jù)本發(fā)明的方法的一個實施例中，其中預(yù)定標準是基于第一圖像的，預(yù)定標準是其中特定輸入值屬于對應(yīng)于第一圖像的特定像素的特定輸入成分，第一圖像的特定像素與第一圖像的各個其他像素的清晰度值相比具有相對較高的清晰度值。優(yōu)選地，特定像素的清晰度值是通過計算特定像素的亮度和/或顏色值與該特定像素的相鄰像素的亮度和/或顏色值之間的差確定的。通過相機獲得的典型圖像是這樣的，即其位于圖像采集光學器件的焦點處的景物部分相對較清晰，而景物的其他部分相對不清晰，也就是比較模糊。根據(jù)本發(fā)明的方法的本實施例的優(yōu)點在于在圖像獲得期間位于焦點處的景物部分被映射到顯示裝置的屏幕平面內(nèi)。而不在焦點處的景物的其他部分將出現(xiàn)在顯示裝置的屏幕平面的前面或后面。
在根據(jù)本發(fā)明的方法的一個實施例中，預(yù)定標準是其中特定輸入值屬于對應(yīng)于位于預(yù)定位置的第一圖像的特定像素的特定輸入成分。典型地，相對重要的物體出現(xiàn)在圖像中的預(yù)定位置，例如，因為形成圖像的人像上述一個合成。例如，預(yù)定位置接近于第一圖像的中心。假定具有一個人的圖像在中間。作為選擇，預(yù)定位置接近于第一圖像的邊緣。假定具有兩個互相講話的人并分別位于圖像的相應(yīng)邊界。根據(jù)本發(fā)明的方法的該實施例的優(yōu)點在于比較簡單。應(yīng)當注意，其能相對容易地基于上述標準(也就是坐標)確定特定輸入成分的輸入值。
在根據(jù)本發(fā)明的方法的一個實施例中，預(yù)定標準是基于以第一圖像和第三圖像為基礎(chǔ)而計算的運動向量域，第一和第三圖像屬于一系列暫時連續(xù)圖像。運動向量域的分析也提供關(guān)于圖像內(nèi)物體的相對重要性的信息。在靜止背景情況下，前景區(qū)內(nèi)相對快速運動的物體比較重要。因此，預(yù)定標準可以是其中特定輸入值屬于對應(yīng)于具有相對較大運動向量的第一圖像的特定像素的特定輸入成分。作為選擇，預(yù)定標準是其中特定輸入成分對應(yīng)于具有相對較小運動向量的第一圖像的特定像素。這對應(yīng)于為了跟隨運動物體相機是隨動攝影的情況。
在根據(jù)本發(fā)明的方法的一個實施例中，預(yù)定標準是特定輸入值等于可能的輸入值的范圍值，其在輸入差異圖的一部分內(nèi)具有相對較高的出現(xiàn)頻率。根據(jù)本發(fā)明的本實施例的優(yōu)點在于其相對較穩(wěn)固。典型地，對于暫時連續(xù)差異圖的出現(xiàn)頻率的頻譜相對固定。連續(xù)多視像將這樣被再現(xiàn)，即相同物體保持在相對于顯示裝置的屏幕平面的相同深度。
在根據(jù)本發(fā)明的方法的一個實施例內(nèi)，特定輸入值是基于兩個其它的輸入值的組合，其中兩個其它的輸入值是基于前面所述的預(yù)定標準確定的。其可能是在景物中存在很多物體，這多個物體是兩兩相關(guān)但具有不同的差異圖。從上述物體中選擇其中一個以便在多視圖顯示裝置內(nèi)相對清楚地再現(xiàn)它可能導(dǎo)致再現(xiàn)比較模糊的其他物體。采取一個折中的辦法，也就是兩個適度清楚的物體，在這種情況下是優(yōu)選的。典型地，其組合是兩個其它輸入值的加權(quán)平均。
在根據(jù)本發(fā)明的方法的一個實施例內(nèi)，映射函數(shù)是基于清晰度圖的，其包括清晰度值是基于第一圖像的相應(yīng)像素和其他各個相鄰像素之間的差的成分。典型地，不但是前面所述的補償值而且是比例因數(shù)都需要定義映射函數(shù)。其優(yōu)點是限制了輸出范圍以及基于輸入圖像的清晰度的比例因數(shù)。基于第一圖像固有的清晰度以及相應(yīng)的差異值，最佳的比例因數(shù)是根據(jù)本發(fā)明的方法的本實施例確定的。
本發(fā)明的另一目的是提供一種在開始段中描述的當輸出差異圖用于計算在多視圖顯示裝置內(nèi)顯示的多視像時產(chǎn)生相對高質(zhì)量的多視像的器件。
本發(fā)明的該目的可以通過下面的器件得到，該器件包括基于預(yù)定標準確定輸入差異圖的特定輸入值的第一確定裝置；基于特定輸入值確定映射函數(shù)的第二確定裝置，該映射函數(shù)使特定輸入值被映射為基本上等于零的預(yù)定輸出值；并且基于映射函數(shù)將輸入成分的輸入值映射到輸出成分的相應(yīng)輸出值的映射裝置。
本發(fā)明的再一目的是提供一種在開始段中描述的當輸出差異圖用于計算在圖像處理設(shè)備內(nèi)顯示的多視像時產(chǎn)生相對高質(zhì)量的多視像的圖像處理設(shè)備。
本發(fā)明的該目的是通過包括計算輸出差異圖的器件的圖像處理設(shè)備得到的，如權(quán)利要求16所述的。
本發(fā)明的再一目的是提供一種在開始段中描述的當輸出差異圖用于計算在多視圖顯示裝置內(nèi)顯示的多視像時產(chǎn)生相對高質(zhì)量的多視像的計算機程序產(chǎn)品。
本發(fā)明的該目的是通過下面的能被裝載的計算機程序產(chǎn)品得到的，其提供了能執(zhí)行下述步驟的所述處理裝置基于預(yù)定標準確定輸入差異圖的特定輸入值；基于特定輸入值確定映射函數(shù)，該映射函數(shù)使特定輸入值被映射為基本上等于零的預(yù)定輸出值；并且基于映射函數(shù)將輸入成分的輸入值映射到輸出成分的相應(yīng)輸出值。
對于計算輸出差異圖的器件的修改和變化可以對應(yīng)于將要描述的圖像處理設(shè)備、方法及其計算機程序產(chǎn)品的修改和變化。


根據(jù)本發(fā)明的圖像處理設(shè)備、方法及計算機程序產(chǎn)品的用于計算輸出差異圖的器件的上述和其他方面關(guān)于后面描述的實施方式和實施例以及參考附圖將變得顯而易見，其中圖1示意性地示出了計算輸出差異圖的器件；圖2示意性地示出了輸入差異圖的范圍值和輸出差異圖的范圍值；圖3示意性地示出了計算輸出差異圖的器件和再現(xiàn)器件的第一實施例；圖4示意性地示出了計算輸出差異圖的器件和再現(xiàn)器件的第二實施例；圖5示意性地示出了計算輸出差異圖的器件和再現(xiàn)器件的第三實施例；圖6示意性地示出了包括根據(jù)本發(fā)明的計算輸出差異圖的器件的圖像處理設(shè)備；在所有附圖中相同的附圖標記表示相同的部件。
具體實施例方式
圖1示意性地示出了基于包括具有輸入值的各個輸入成分的輸入差異圖計算輸出差異圖的器件100。輸出差異圖包括具有對應(yīng)于提供到第一圖像的各個像素的偏移量的輸出值以計算第二圖像的輸出成分。該偏移量可以對應(yīng)于整數(shù)偏移量。作為選擇，使用非整數(shù)值，意味著需要內(nèi)插法來計算第二圖像的像素值。典型地，輸入差異圖被提供在輸入連接器108處。作為選擇，深度圖被提供在輸入連接器108處。在那種情況下，從深度圖到輸入差異圖的轉(zhuǎn)換是利用計算輸出差異圖的器件100來實現(xiàn)的。
輸出差異圖被提供在輸出連接器112處。可選擇地，可以提供一組輸出差異圖，其中該組差異圖對應(yīng)于多視像的相應(yīng)圖像。
計算輸出差異圖的器件100包括基于預(yù)定標準確定輸入差異圖的特定輸入成分的輸入值的第一確定裝置102；基于特定輸入成分的輸入值確定映射函數(shù)的第二確定裝置104，映射函數(shù)使特定輸入成分的輸入值被映射為基本上等于零的預(yù)定輸出值；并且基于映射函數(shù)將輸入成分的輸入值映射為輸出成分的相應(yīng)輸出值的映射裝置106。
第一確定裝置102、第二確定裝置104和映射裝置106可以利用一個處理器來實現(xiàn)。正常地，上述功能是在軟件程序產(chǎn)品的控制下實現(xiàn)的。在執(zhí)行過程中，軟件程序產(chǎn)品正常地被載入到存儲器，如RAM，并從存儲器開始執(zhí)行軟件程序。該程序可以從后臺存儲器，例如ROM、硬盤、或磁性和/或光學存儲裝置載入，或可以通過網(wǎng)絡(luò)如Internet被裝載?？蛇x擇地，專用集成電路提供上述公開的功能。
可選擇地，計算輸出差異圖的器件100包括提供附加信息如分別在圖4和圖5公開的視頻數(shù)據(jù)或運動向量域的第二輸入連接器110。
映射函數(shù)可以是將輸入成分映射到相應(yīng)輸出成分的各種操作。典型地，輸入成分具有在輸入范圍內(nèi)的值并且輸出成分具有在輸出范圍內(nèi)的值，其中輸入范圍和輸出范圍是不同的。圖2示意性地示出了輸入差異圖的輸入值的輸入范圍200以及第一輸出差異圖的輸出值的輸出范圍202和第二輸出差異圖的輸出范圍。從圖2內(nèi)可以看到，輸入差異圖的輸入成分可以具有范圍在0到10的值。計算第一輸出差異圖包括下述步驟第一，基于預(yù)定標準確定輸入差異圖的特定成分的輸入值206。在這種情況下，很明顯特定成分的輸入值206等于1.5。
第二，基于特定輸入成分的輸入值206確定映射函數(shù)。映射函數(shù)使特定輸入成分的輸入值208被映射為基本上等于零的預(yù)定輸出值208。在這種情況下，映射函數(shù)相對容易。從而通過計算在輸入值206和輸出值208之間的差來計算出補償值。補償值為1.5。
第三，基于映射函數(shù)將輸入成分的輸入值映射到輸出成分的相應(yīng)輸出值。這意味著從每個輸入成分減去補償值1.5來計算相應(yīng)的輸出成分。這種結(jié)果就是第一輸出差異圖。
可選擇地，為了將值的范圍映射為適用于顯示裝置或與用戶喜好對應(yīng)的值的范圍204，將第一輸出差異圖202縮放為第二輸出差異圖。應(yīng)當注意，縮放應(yīng)該是沒有范圍偏移發(fā)生，也就是，第二輸出差異圖的特定值210對應(yīng)于第一輸出差異圖的輸出值208。
優(yōu)選地，映射函數(shù)包括基于清晰度圖的縮放，其中清晰度圖包括基于基于第一圖像的相應(yīng)像素和它們的各個相鄰像素之間的差的清晰度值的成分。如果一些已經(jīng)不清楚了，則接下來不存在給出其相對大的差異的問題，也就是在離顯示裝置的屏幕平面相對較遠的地方對其顯示。因為相對較大的差異，附加的不清晰幾乎不能被看到。然而，對相對較清楚的物體應(yīng)該利用相對少數(shù)量的差異再現(xiàn)以防止模糊。
為了確定比例因數(shù)G，應(yīng)用該比例因數(shù)G以便將輸入差異圖縮放到輸出差異圖，下述方法是優(yōu)選的。假定存在包括圖像像素的各個清晰度值的清晰度圖并存在包括圖像像素的各個差異值的輸入差異圖。坐標為(x，y)的像素的清晰度值表示為E(x，y)并且坐標為(x，y)的像素的輸入差異值表示為Sin(x，y)。假定對于每個清晰度值E(i)，存在一個允許的最大差異值Smax(i)。這意味著存在將清晰度值映射到最大差異值的函數(shù)。
f(E(i))＝Smax(i) (2)典型地，函數(shù)使相對低的清晰度值映射為相對高的最大差異值。該函數(shù)可以是線性函數(shù)，如等式3描述的。
f(E(i))＝C1E(i)+C2特定像素的允許最大差異和輸入差異之間的關(guān)系是由特定像素的最大允許比例因數(shù)g(x，y)確定的。
g(x,y)=Smax(x,y)Sin(x,y)=f(E(x,y))Sin(x,y)=C1E(x,y)+C2Sin(x,y)---(3)]]>為了確定全部輸入差異圖的比例因數(shù)G，首先必須確定輸入差異圖的最大允許比例因數(shù)g(x，y)的最小值。應(yīng)當注意，大于特定像素的最大比例因數(shù)的特定比例因數(shù)會導(dǎo)致高于特定像素的允許最大差異值的輸出差異值。因此，為了找到輸入差異圖的比例因數(shù)G，必須建立最小值g(x，y)。
G＝min(x，y)(g(x，y)) (4)圖3示意性地計算輸出差異圖的器件100和再現(xiàn)器件302的第一實施例。在第一輸入連接器310處提供視頻數(shù)據(jù)并且在第二輸入連接器308處提供相應(yīng)的差異數(shù)據(jù)。典型地，這意味著對每個視頻幀提供有相應(yīng)的差異圖或可選擇的深度圖。差異圖可以從包括器件100的圖像處理設(shè)備內(nèi)的視頻數(shù)據(jù)獲得。作為選擇，差異圖在外面確定并且與視頻數(shù)據(jù)結(jié)合被提供。將計算輸出差異圖的器件100的第一實施例設(shè)置成為每個接收到的輸入差異圖確定一組9個不同的輸出差異圖。再現(xiàn)器件302設(shè)置成基于一組9個不同的輸出差異圖，從每個接收到的輸入視頻圖像計算包括這一組9個輸出圖像的多視像。
計算輸出差異圖的器件100的第一實施例設(shè)置為基于輸入差異圖確定映射函數(shù)。優(yōu)選地通過繪制差異值的柱狀圖，也就是對不同差異值的出現(xiàn)頻率進行計數(shù)來實現(xiàn)。接下來的步驟是確定具有相對較高出現(xiàn)頻率的特定值。該特定值應(yīng)該映射為基本上等于零的預(yù)定輸出值?；旧系扔诹阋馕吨档姆秶鷮?yīng)于用于再現(xiàn)沒有施加或施加有限的偏移，從而使圖像的選擇區(qū)域出現(xiàn)在顯示裝置的屏幕平面上。
代替確定具有相對高出現(xiàn)頻率的特定值，選擇上述值的有限組，如兩個或三個值。隨后，該組值的平均值被計算并且被用作映射為預(yù)定值也就是零的值?？蛇x擇地，將各個確定的出現(xiàn)頻率用于對該值加權(quán)以便計算加權(quán)的平均值。
可選擇或與確定值的柱狀圖結(jié)合，計算輸出差異圖的器件100的第一實施例設(shè)置為基于其他預(yù)定標準確定映射為預(yù)定值的特定值。該標準可以是基于其坐標，例如位于圖像的中心或邊緣，因而分別被輸入在中心或邊緣差異圖內(nèi)，選擇特定值。
為了避免連續(xù)差異圖內(nèi)的某種變化以及由此發(fā)生的景物的向前或向后移動，連續(xù)的輸入或輸出差異圖被低通濾波，例如其是具有多個視頻幀的一半時間的IIR濾波器。
圖4示意性地示出了計算輸出差異圖的器件100、再現(xiàn)器件302以及圖像內(nèi)容分析器件402的第二實施例。優(yōu)選地，圖像內(nèi)容分析器件402設(shè)置為確定視頻圖像中相對重要的區(qū)域。從數(shù)碼攝像機的應(yīng)用領(lǐng)域，將相機感應(yīng)到的原像用于將景物聚焦到相機的傳感器的多個自動焦點算法是公知的。典型地，原像內(nèi)的一個或多個區(qū)域被檢測，并且焦點被設(shè)置為使得圖像內(nèi)大量高能量最小化的結(jié)構(gòu)。在該設(shè)置內(nèi)，假定再現(xiàn)多視像，優(yōu)選地屏幕平面設(shè)置為對應(yīng)于圖像內(nèi)最清晰的區(qū)域的深度，因為當?shù)玫皆?D圖像時其幾乎在焦點內(nèi)，并且當再現(xiàn)多視圖顯示裝置時應(yīng)該在焦點內(nèi)。優(yōu)選地，圖像內(nèi)容分析器件402設(shè)置為確定焦點圖。這意味著對于輸入圖像的每個像素，焦點值被確定為表示其相關(guān)的清晰度或也稱之為模糊半徑。通過檢測像素和其相鄰像素之間的差來計算像素的模糊半徑。亮度和/或顏色值之間的相對高的差意味著相對高的清晰度值。圖像內(nèi)具有相對多的相對高清晰度值的像素的區(qū)域假定是重要的區(qū)域。從上述區(qū)域選擇特定像素，例如位于上述區(qū)域的中心的像素或具有最高清晰度值的像素。該像素的坐標用于選擇輸入差異圖的特定成分。特定成分的值是映射為預(yù)定值的值。
圖5示意性地示出了計算輸出差異圖的器件100、再現(xiàn)器件302和運動域分析器件502的第三實施例。運動域分析器件502包括基于視頻數(shù)據(jù)的連續(xù)圖像計算運動向量域的運動估計器。運動估計器可以是例如在G.de Haan等編著的題目為“True Motion Estimation with 3DRecursive Search Block Matching(具有3-D循環(huán)搜索塊匹配的真實-運動估計)”中描述的，在用于視頻技術(shù)的電路和系統(tǒng)IEEE學報內(nèi)，vol.3，no.5，1993年10月，第368-379頁。運動域分析器件502設(shè)置為分析通過運動估計器計算的運動向量域。分析意味著例如搜索具有相對高的值的運動向量或可選擇地搜索具有相對低的值的運動向量。優(yōu)選地，運動域分析器件502設(shè)置成為圖像確定球狀運動模型?；谏鲜瞿Ｐ停_定圖像序列是否對應(yīng)于運動物體的軌跡是可能的。在這種情況下，相機跟隨運動物體。背景的運動向量相對較高并且低運動向量對應(yīng)上述物體。接下來，對應(yīng)于其相對低運動向量已經(jīng)被確定的一個像素的輸入差異圖的特定成分被選擇為這樣的特定成分其值必須被映射為預(yù)定輸出值。
作為選擇，圖像序列對應(yīng)于運動物體前面的靜止背景。在這種情況下，相對高的運動向量對應(yīng)于運動物體。接下來，對應(yīng)于其相對高運動向量已經(jīng)被確定的一個像素的輸入差異圖的特定成分被選擇為這樣的特定成分其值必須已經(jīng)被映射為預(yù)定輸出值。
圖6示意性地示出了一種圖像處理設(shè)備600，其包括接收表示視頻圖像的信號的接收裝置602；處理器件604的組合，其包括在圖3-5內(nèi)公開的計算輸出差異圖的器件100和再現(xiàn)器件302；以及顯示再現(xiàn)器件302的輸出圖像的顯示裝置606。
上述信號可以是通過天線或電纜接收到的廣播信號并也可以是來自于存儲裝置如VCR(盒式磁帶錄像機)或數(shù)字化視頻光盤(DVD)的信號。上述信號被提供在輸入連接器610處。圖像處理設(shè)備600可以是例如TV。作為選擇，圖像處理設(shè)備600不包括任意的顯示裝置而是提供輸出圖像給包括有顯示裝置606的設(shè)備。接下來圖像處理設(shè)備600可以是例如機頂盒、衛(wèi)星調(diào)諧器、VCR播放器、DVD播放器或記錄器?？蛇x擇地，圖像處理設(shè)備600包括存儲裝置，如硬盤或用于存儲在可拆卸媒介上的裝置，如光盤。圖像處理設(shè)備600還可以是電影制作室或廣播間使用的系統(tǒng)。
應(yīng)當理解，上述實施例是說明性的而不限制本發(fā)明，并且本領(lǐng)域的普通技術(shù)人員能設(shè)計出可替換的實施例而沒有脫離附加權(quán)利要求的范圍。在權(quán)利要求中，括號內(nèi)的附圖標記不限制權(quán)利要求。單詞“包括”不排除權(quán)利要求中未列舉的元件或步驟的存在。元件前的單詞“一個”不排除多個上述元件的存在。本發(fā)明可以通過包括多個特殊元件的硬件以及適當?shù)挠嬎銠C程序?qū)崿F(xiàn)。在列舉了多個裝置的器件權(quán)利要求中，多個上述裝置可以具體為硬件的一個或相同的項。單詞第一、第二和第三以及等等的使用不表示順序。上述單詞僅解釋為是名稱。
權(quán)利要求
1.一種計算輸出差異圖的方法，該輸出差異圖包括具有對應(yīng)于應(yīng)用到第一圖像的各個像素的偏移的輸出值以計算第二圖像的輸出成分，基于輸入差異圖的計算包括具有輸入值的各個輸入成分，該方法包括步驟基于預(yù)定標準確定輸入差異圖的特定輸入值(206)；基于特定輸入值(206)確定映射函數(shù)，該映射函數(shù)使特定輸入值(206)被映射為基本上等于零的預(yù)定輸出值(208)；并且基于映射函數(shù)將輸入成分的輸入值映射到輸出成分的相應(yīng)輸出值。
2.根據(jù)權(quán)利要求1所述的方法，其中映射函數(shù)對應(yīng)于從輸入成分的輸入值增加或減小一個固定值，該固定值是基于計算特定輸入值(206)和預(yù)定輸出值(208)之間的差。
3.根據(jù)前面任一權(quán)利要求所述的方法，其中預(yù)定標準是基于第一圖像的。
4.根據(jù)權(quán)利要求3所述的方法，其中預(yù)定標準是特定輸入值屬于對應(yīng)于第一圖像的特定像素的特定輸入成分，該第一圖像具有與該第一圖像的其它各個像素的其它清晰度值相比為相對高的清晰度值。
5.根據(jù)權(quán)利要求4所述的方法，其中特定像素的清晰度值是通過計算特定像素的亮度和/或顏色值與該特定像素的相鄰像素的亮度和/或顏色值之間的差來確定的。
6.根據(jù)權(quán)利要求1或2所述的方法，其中預(yù)定標準是特定輸入值屬于對應(yīng)于位于預(yù)定位置的第一圖像的特定像素的特定輸入成分。
7.根據(jù)權(quán)利要求6所述的方法，其中預(yù)定位置是接近于第一圖像的邊緣的位置。
8.根據(jù)權(quán)利要求6所述的方法，其中預(yù)定位置是接近于第一圖像的中心的位置。
9.根據(jù)權(quán)利要求3所述的方法，其中預(yù)定標準是基于運動向量域的，該運動向量域是基于第一圖像和第三圖像計算的，該第一圖像和第三圖像屬于暫時連續(xù)圖像序列。
10.根據(jù)權(quán)利要求9所述的方法，其中預(yù)定標準是特定輸入值屬于對應(yīng)于具有相對較大的運動向量的第一圖像的特定像素的特定輸入成分。
11.根據(jù)權(quán)利要求9所述的方法，其中預(yù)定標準是特定輸入值屬于對應(yīng)于具有相對較小的運動向量的第一圖像的特定像素的特定輸入成分。
12.根據(jù)權(quán)利要求1或2所述的方法，其中預(yù)定標準是特定輸入值(206)等于可能的輸入值的范圍值，其在輸入差異圖的一部分中具有相對較高的出現(xiàn)頻率。
13.根據(jù)權(quán)利要求1或2所述的方法，其中特定輸入值(206)是基于兩個其它輸入值的組合，其中該兩個其它輸入值是基于前面任一權(quán)利要求所述的預(yù)定標準而確定的。
14.根據(jù)權(quán)利要求13所述的方法，其中所述組合是兩個其它輸入值的加權(quán)平均值。
15.根據(jù)權(quán)利要求1所述的方法，其中映射函數(shù)包括基于清晰度圖的縮放，該清晰度圖包括基于第一圖像的相應(yīng)像素和它們的各個相鄰像素之間的差的清晰度值的成分。
16.根據(jù)權(quán)利要求15所述的方法，其中映射函數(shù)包括基于清晰度圖的削波。
17.一種計算輸出差異圖的器件，該輸出差異圖包括具有對應(yīng)于應(yīng)用到第一圖像的各個像素的偏移的輸出值以計算第二圖像的輸出成分，基于輸入差異圖的計算包括具有輸入值的各個輸入成分，該器件包括基于預(yù)定標準確定輸入差異圖的特定輸入值(206)的第一確定裝置(102)；基于特定輸入值(206)確定映射函數(shù)的第二確定裝置(104)，該映射函數(shù)使特定輸入值(206)被映射為基本上等于零的預(yù)定輸出值(208)；和基于映射函數(shù)將輸入成分的輸入值映射到輸出成分的相應(yīng)輸出值的映射裝置(106)。
18.一種圖像處理設(shè)備，包括接收對應(yīng)于第一圖像的信號的接收裝置(602)；如權(quán)利要求17所述的計算輸出差異圖的器件(100)；和基于第一圖像和輸出差異圖計算第二圖像的再現(xiàn)裝置(302)。
19.一種可供計算設(shè)備裝載的計算機程序產(chǎn)品，包括計算輸出差異圖的指令，該輸出差異圖包括具有對應(yīng)于應(yīng)用到第一圖像的各個像素的偏移的輸出值以計算第二圖像的輸出成分，基于輸入差異圖的計算包括具有輸入值的各個輸入成分，該計算機設(shè)備包括處理裝置和存儲器，隨后被裝載的計算機程序產(chǎn)品，該計算機程序產(chǎn)品提供具有執(zhí)行下述步驟的能力的所述處理裝置，該步驟包括基于預(yù)定標準確定輸入差異圖的特定輸入值(206)；基于特定輸入值(206)確定映射函數(shù)，該映射函數(shù)使特定輸入值(206)被映射為基本上等于零的預(yù)定輸出值(208)；和基于映射函數(shù)將輸入成分的輸入值映射到輸出成分的相應(yīng)輸出值。
全文摘要
一種計算輸出差異圖的方法，該輸出差異圖包括具有對應(yīng)于應(yīng)用到第一圖像的各個像素的偏移的輸出值以計算第二圖像的輸出成分。計算基于包括具有輸入值的各個輸入成分的輸入差異圖。上述方法包括步驟基于預(yù)定標準確定輸入差異圖的特定輸入值(206)；基于特定輸入成分的輸入值(206)確定映射函數(shù)，映射函數(shù)使特定輸入成分的輸入值(206)被映射為基本上等于零的預(yù)定輸出值(208)；并且基于映射函數(shù)將輸入成分的輸入值映射到輸出成分的相應(yīng)輸出值。
文檔編號G06T15/10GK101048803SQ200580036903
公開日2007年10月3日 申請日期2005年10月21日 優(yōu)先權(quán)日2004年10月26日
發(fā)明者R·-p·M·伯雷蒂, B·G·B·巴倫布魯格 申請人:皇家飛利浦電子股份有限公司