專利名稱：調(diào)節(jié)數(shù)字圖像的曝光和色標(biāo)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明的領(lǐng)域涉及數(shù)字照相機(jī)以及用于根據(jù)距離信息進(jìn)行曝光調(diào)節(jié)和色標(biāo)(tone scale)調(diào)節(jié)的圖像處理。
技術(shù)背景當(dāng)前的成像系統(tǒng)具有許多缺陷，因?yàn)橐坏┎东@了圖像，該圖像往往 因?yàn)槠毓狻⑸珮?biāo)的原因而不令人滿意。在一種介質(zhì)(例如底片)上捕獲的圖像的動態(tài)范圍可能超過圖像在 其上再現(xiàn)(render)的介質(zhì)(例如照相紙)的動態(tài)范圍。這導(dǎo)致在再現(xiàn) 圖像中圖像細(xì)節(jié)的丟失。所述細(xì)節(jié)可能在圖像的高亮部分中丟失(例如 當(dāng)背光圖像被印制得足夠亮以便適當(dāng)?shù)卦佻F(xiàn)陰影細(xì)節(jié)，但是再現(xiàn)得太亮 而不能顯示諸如天空中的云朵之類的高亮細(xì)節(jié)時)?；蛘撸黾?xì)節(jié)可 能在圖像的陰影部分中丟失(例如當(dāng)"面部閃光"圖像針對圖片的主題 (subject)被適當(dāng)再現(xiàn)，但是背景被再現(xiàn)得太暗而不能顯示背景中的 細(xì)節(jié)時)。這些問題通過曝光調(diào)節(jié)過程(或者調(diào)節(jié)用于捕獲圖像的照相機(jī)的曝 光，或者通過調(diào)節(jié)捕獲的圖像的曝光)來解決。確定圖像的曝光，使得 圖像主題的亮度最佳地復(fù)現(xiàn)在再現(xiàn)介質(zhì)上。典型的曝光調(diào)節(jié)算法利用統(tǒng) 計量來估計用于圖像的正確曝光。因?yàn)閳D像的主題未知，這種曝光通常 不是最佳的。眾所周知，照相紙的動態(tài)范圍低于通常的場景動態(tài)范圍。這種不一 致的結(jié)果是，大量的場景內(nèi)容在影印中被再現(xiàn)成黑色或白色。因此，在 圖像處理環(huán)境中，可以使用色標(biāo)函數(shù)來降低場景動態(tài)范圍以便將更多的 信息映射到顯示介質(zhì)上。存在用于在圖像相關(guān)的基礎(chǔ)上創(chuàng)建色標(biāo)函數(shù)的 許多過程(例如參見Nakazawa等人的美國專利No. 5471987 (此后稱為 "Nakazawa"),該專利在此引用以供參考)。這些常規(guī)色標(biāo)函數(shù)過程 的每一個都檢查被考慮圖像的某些統(tǒng)計特征以便自動地生成色標(biāo)函數(shù)。 此外，可以用人工交互工具來生成色標(biāo)函數(shù)。但是，由于只有圖像像素 的值已知，這些方法都存在不足。例如，難于確定暗像素是主題只有少量曝光的結(jié)果，還是因?yàn)橹黝}具有少量的反射率。 發(fā)明內(nèi)容本發(fā)明的目的是基于距離信息調(diào)節(jié)曝光標(biāo)或者色標(biāo)。對于曝光調(diào)節(jié)而言，這個目的是通過基于距離信息調(diào)節(jié)數(shù)字照相機(jī)的膝光的方法來實(shí)現(xiàn)的，該方法包括(a )數(shù)字照相機(jī)以選定的曝光捕獲包含目標(biāo)的場景的第一數(shù)字圖像；(b) 提供具有兩個或更多距離值的距離信息，所述距離值指示從 數(shù)字照相機(jī)到場景中的目標(biāo)的距離；(c) 使用該距離信息以及捕獲的數(shù)字圖像的像素值來確定對于選 定曝光的曝光調(diào)節(jié)量；以及(d) 施加該曝光調(diào)節(jié)量到數(shù)字圖像，以產(chǎn)生具有調(diào)節(jié)的曝光的第 二數(shù)字圖像。對于色標(biāo)調(diào)節(jié)而言，這個目的是通過調(diào)節(jié)包含目標(biāo)的場景的捕獲的 數(shù)字圖像的色標(biāo)的方法來實(shí)現(xiàn)的，該方法包括(a)提供具有兩個或更多距離值的距離信息，所述距離值指示場 景中目標(biāo)的距離；(b )使用該距離信息以及捕獲的數(shù)字圖像的像素值來確定色標(biāo)調(diào) 節(jié)；以及(c)施加該色標(biāo)調(diào)節(jié)給捕獲的數(shù)字圖像，以產(chǎn)生具有調(diào)節(jié)的色標(biāo) 的第二數(shù)字圖像。本發(fā)明的一個優(yōu)點(diǎn)在于，通過使用距離信息，可以產(chǎn)生提供改善的 均衡化圖像的有效曝光調(diào)節(jié)。本發(fā)明的另一個優(yōu)點(diǎn)在于，通過使用距離信息，可以產(chǎn)生提供具有 改善的色調(diào)再現(xiàn)的圖像的有效色標(biāo)調(diào)節(jié)。


圖1為可以實(shí)現(xiàn)本發(fā)明的成像系統(tǒng)的框圖； 圖2A為示例圖像；圖2B為與圖2A中的圖像對應(yīng)的示例距離圖像； 圖2C為描述用于生成距離圖像的方法的流程圖；圖3為用于檢測和分類平坦表面并且建立幾何變換的本發(fā)明實(shí)施例 的流程圖4為用于檢測數(shù)字圖像中的目標(biāo)的本發(fā)明實(shí)施例的流程圖； 圖5A為用于基于距離信息調(diào)節(jié)圖像曝光的本發(fā)明實(shí)施例的流程圖； 圖5B為圖像中的距離值與相對重要性W之間的關(guān)系曲線圖； 圖5C為用于基于距離信息調(diào)節(jié)圖像曝光的本發(fā)明實(shí)施例的流程圖； 圖6A為用于基于距離信息調(diào)節(jié)圖像色標(biāo)的本發(fā)明實(shí)施例的流程圖； 圖6B為用于基于距離信息調(diào)節(jié)圖像色標(biāo)的本發(fā)明實(shí)施例的更詳細(xì) 流程圖6C為用于基于距離信息調(diào)節(jié)圖像色標(biāo)的本發(fā)明實(shí)施例的流程圖； 圖6D為色標(biāo)函數(shù)的曲線圖，該色標(biāo)函數(shù)應(yīng)當(dāng)是輸入和輸出像素值 之間的關(guān)系。
具體實(shí)施例方式
圖1示出了本發(fā)明的數(shù)字照相機(jī)IO。照相機(jī)IO包括用戶輸入22。 如圖所示，用戶輸入22為按鈕，但是用戶輸入22也可以是操縱桿、觸 摸屏等等。用戶使用用戶輸入22來例如通過選擇照相機(jī)的操作沖莫式控 制照相機(jī)10的操作。照相機(jī)10還包括顯示設(shè)備30，當(dāng)按下捕獲按鈕 15時，用戶可以在該顯示設(shè)備30上預(yù)覽由照相機(jī)IO捕獲的圖像。顯示 設(shè)備30也和用戶輸入22—起使用，使得用戶可以通過菜單導(dǎo)航。顯示 設(shè)備30可以是例如數(shù)字照相機(jī)上常用的LCD或OLED屏幕。所述菜單允 許用戶選擇對于照相機(jī)操作的偏好。照相機(jī)10可以捕獲靜止圖像或者 諸如視頻流之類的快速連續(xù)圖像。
本領(lǐng)域技術(shù)人員應(yīng)當(dāng)認(rèn)識到，盡管在優(yōu)選實(shí)施例中數(shù)椐處理器20、 圖像處理器36、用戶輸入22、顯示設(shè)備30和存儲設(shè)備70與照相機(jī)10 形成整體，〗旦是這些部件可以位于照相才幾的外部。例如，前述部件可以 位于臺式計算機(jī)系統(tǒng)中，或者位于例如零售機(jī)構(gòu)中的具有圖像處理能力 的售貨亭。
圖1中示出的通用控制計算機(jī)40可以將本發(fā)明作為存儲于計算機(jī) 可讀存儲介質(zhì)上的計算機(jī)程序存儲起來，所述計算機(jī)可讀存儲介質(zhì)可以 包括例如諸如磁盤(例如軟盤)或磁帶之類的磁存儲介質(zhì)；諸如光盤、 光帶或機(jī)器可讀條形碼之類的光存儲介質(zhì)；諸如隨機(jī)存取存儲器(RAM)或只讀存儲器(ROM)之類的固態(tài)電子存儲設(shè)備。本發(fā)明的相關(guān)計算機(jī) 程序?qū)崿F(xiàn)也可以存儲在用來存儲計算機(jī)程序的、由存儲設(shè)備70表示的 任何其他物理設(shè)備或介質(zhì)上?？刂朴嬎銠C(jī)40負(fù)責(zé)控制照相機(jī)10的部件 之間的數(shù)據(jù)傳輸。例如，控制計算機(jī)40確定用戶按壓了捕獲按鈕15并 且啟動圖像傳感器34捕獲圖像。照相機(jī)IO還包括用于設(shè)置照相機(jī)的聚 焦的聚焦機(jī)構(gòu)(focus mechanism) 33。
距離圖像傳感器32生成距離圖像38,該距離圖像38指示從照相機(jī) 的節(jié)點(diǎn)到被^t聶影場景中的目標(biāo)的距離。距離圖像將在下面加以更詳細(xì)的 描述。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)認(rèn)識到，距離圖像傳感器32可以位于與照 相機(jī)10分開的設(shè)備上。不過，在優(yōu)選實(shí)施例中，距離圖像傳感器32與 照相4幾10形成一體。
圖像處理器36可以用來處理數(shù)字圖像以便以一定方式對數(shù)字圖像 的總體亮度、色標(biāo)、圖像結(jié)構(gòu)等進(jìn)行調(diào)節(jié)，使得由圖像顯示設(shè)備30生 成看起來令人滿意的圖像。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)認(rèn)識到，本發(fā)明并不僅 限于所提及的這些圖像處理功能。
數(shù)據(jù)處理器20用來處理來自數(shù)字圖像以及來自距離圖像傳感器32 的距離圖像38的圖像信息，以便生成用于圖像處理器36或者用于控制 計算機(jī)40的元數(shù)據(jù)。數(shù)椐處理器20的操作將在下面進(jìn)行更詳細(xì)的描述。
還應(yīng)當(dāng)指出的是，本發(fā)明可以以軟件和/或硬件的組合來實(shí)現(xiàn)，并 不限于物理連接和/或位于相同物理位置的設(shè)備。圖1中示出的設(shè)備中 的一個或多個可以位于遠(yuǎn)處，并且可以經(jīng)由無線連接來連接。
數(shù)字圖像包括一個或多個數(shù)字圖像通道。每個數(shù)字圖像通道包括二 維像素陣列。每個像素值與成像捕獲設(shè)備接收的、對應(yīng)于該像素的物理 區(qū)域的光量有關(guān)。對于彩色成像應(yīng)用，數(shù)字圖像通常包括紅色、綠色和 藍(lán)色數(shù)字圖像通道。運(yùn)動成像應(yīng)用可以被認(rèn)為是數(shù)字圖像序列。本領(lǐng)域 技術(shù)人員應(yīng)當(dāng)認(rèn)識到，本發(fā)明可以應(yīng)用于但不限于上述任何應(yīng)用的數(shù)字 圖像通道。盡管數(shù)字圖像通道被描述成具有行列排列的二維像素值陣 列，本領(lǐng)域技術(shù)人員應(yīng)當(dāng)認(rèn)識到，本發(fā)明可以應(yīng)用于非矩形線性陣列而 具有相同的效果。本領(lǐng)域技術(shù)人員還應(yīng)當(dāng)認(rèn)識到，下面將數(shù)字圖像處理 步驟描述成用經(jīng)過處理的像素值替換原始像素值，在功能上等價于將相 同的處理步驟描述成用這些經(jīng)過處理的像素值生成新的數(shù)字圖像同時 保留原始像素值。圖2A示出了示例數(shù)字圖像，圖2B中示出了與該圖像對應(yīng)的深度圖 像。更亮的色澤(shade)意味著距圖像平面更遠(yuǎn)的距離。
數(shù)字圖像D包括描述與場景中的空間位置關(guān)聯(lián)的光強(qiáng)度的像素值。 一般情況下，在數(shù)字彩色圖像中，圖像平面上每個(x,y)像素位置處 的光強(qiáng)度對于每個紅色、綠色和藍(lán)色通道都是已知的。
距離圖像38 R直接編碼場景內(nèi)的目標(biāo)表面的位置。距離圖包含與 表面和已知參考系之間的距離相關(guān)的距離信息。例如，距離圖可以包含 像素值，其中每個像素值(或距離點(diǎn))是場景中所述表面上的點(diǎn)的三維 [X Y Z]位置?？蛇x地，距離圖的像素值可以是照相機(jī)節(jié)點(diǎn)(原點(diǎn))和 所述表面之間的距離。當(dāng)照相機(jī)焦距f已知時，距離圖的表示之間的轉(zhuǎn) 換是很容易的。例如，距離圖像素值為
R(x，y)=d
其中d表示照相機(jī)節(jié)點(diǎn)到場景中表面的距離。
該距離圖像素值可以通過以下關(guān)系式轉(zhuǎn)換成所述表面的真實(shí)位置
X- (x*d) /sqrt (x*x+y*y)
Y= (y*d) /sqrt (x*x+y*y)
Z=(f *d) /sqrt (x*x+y*y)
其中sqrt()為平方根算子。
距離圖可以與數(shù)字圖像具有相同的維數(shù)。也就是說，對于數(shù)字圖像 的每個像素，可以存在關(guān)聯(lián)的距離像素值。可選地，距離圖可以存在于 比數(shù)字圖像具有更粗分辨率的網(wǎng)格上。例如，只有8行12列像素的距 離圖R可以與具有1000行xl500行像素的數(shù)字圖像D關(guān)聯(lián)。距離圖R必 須包含至少2個不同的距離點(diǎn)。此外，距離圖可以只包含散布在圖像上 的一組點(diǎn)的列表。這種類型的距離圖也稱為稀疏距離圖。如美國專利 6507665中所描述的，當(dāng)根據(jù)立體數(shù)字圖像對來計算距離圖時，通常出 現(xiàn)這種情況。
如圖2C所示，聚焦機(jī)構(gòu)33可以用來產(chǎn)生距離圖像38。如第一步驟 41所示，聚焦機(jī)構(gòu)33用于在將照相機(jī)透鏡系統(tǒng)聚焦從近焦位置調(diào)節(jié)到 遠(yuǎn)焦位置的同時通過利用圖像傳感器34捕獲一組(例如10個)預(yù)覽圖 像來選擇該透鏡系統(tǒng)的焦點(diǎn)位置。在第二步驟43中，通過對每個預(yù)覽 圖像的每個區(qū)域(例如8x8像素塊)計算聚焦值來對這些預(yù)覽圖像進(jìn)行
分析。聚焦值是圖像區(qū)域中的高頻分量的度量。例如，聚焦值是區(qū)域中的像素值的標(biāo)準(zhǔn)偏差?？蛇x地，聚焦值可以是該區(qū)域的平均絕對差、該
區(qū)域的最大像素值減最小像素值。因?yàn)閷?in-focus)圖像信號包含 比離焦圖像信號更大的高頻分量，這個聚焦值是有用的。然后，聚焦機(jī) 構(gòu)33確定在一組相關(guān)區(qū)域上最大化聚焦值的預(yù)覽圖像。之后，依照與 最大化聚焦值的預(yù)覽圖像關(guān)聯(lián)的聚焦位置(focus position)來設(shè)置照 相機(jī)的聚焦位置。
在第三步驟45中，通過比較每個預(yù)覽圖像的該區(qū)域的聚焦值來找 出最大聚焦值。與該區(qū)域關(guān)聯(lián)的距離圖值等于對于該區(qū)域具有最大聚焦 值的預(yù)覽圖像的相應(yīng)焦距。
通過這種方式，聚焦機(jī)構(gòu)33分析來自圖像傳感器34的數(shù)據(jù)并且確 定距離圖像38。于是，不需要單獨(dú)的距離圖像傳感器32來產(chǎn)生距離圖 像38。
數(shù)字圖像的像素的距離像素值可以通過基于距離圖的值的內(nèi)插或 外插來確定，這在本領(lǐng)域中是眾所周知的。內(nèi)插可以例如利用雙線性或 雙三次濾波技術(shù)或者利用諸如中值濾波之類的非線性技術(shù)來實(shí)現(xiàn)。同 樣，可以對數(shù)字圖像數(shù)據(jù)D進(jìn)行插值以確定給定位置處的近似圖像強(qiáng)度
值，對于所述給定位置距離信息是已知的。但是應(yīng)當(dāng)指出的是，距離數(shù) 據(jù)的內(nèi)插或外插不可能沒有誤差地實(shí)現(xiàn)。
在圖3中，示出了圖1的系統(tǒng)的更詳細(xì)的視圖。距離圖像38被輸 入到數(shù)椐處理器20以提取平坦表面(planar surface) 142。數(shù)據(jù)處理 器20使用平坦表面模型39來從距離圖像38的距離信息中定位平坦表 面。平坦表面模型39是平坦表面或者近似平面的表面的數(shù)學(xué)描述。場 景中平面的知識提供了有關(guān)場景以及照相機(jī)位置相對于場景的關(guān)系的 重要線索。
下面的穩(wěn)健估計過程由平坦表面模型39來描述并且由數(shù)據(jù)處理器 20用來基于距離圖像檢測場景中的平坦表面
a) 考慮距離點(diǎn)三元組R「[Xi YiZi]T，其中i-0，1，2?？梢噪S機(jī)選擇 這些三元纟且。
b) 對于每個距離點(diǎn)三元組，執(zhí)行下列步驟
bl)檢查點(diǎn)三元組的共線性。當(dāng)三個點(diǎn)位于一條直線上時，不能確 定包含所有三個點(diǎn)的唯一平面。當(dāng) |R0 R, IU-O時，這三個點(diǎn)共線。
在所述點(diǎn)三元組共線的情況下，丟棄該三元組并且考慮下一個點(diǎn)三 元組。
b2)通過公知的方法來計算穿過所述三個點(diǎn)中的每一個的平面P。 將平面P表示為
P=[xp yp zp c]t，使得
對于i=0， 1， 2,
尸7
《 1
=0
(1)
可以例如通過計算矢量R,-R。和R廣R。的叉積來得到系數(shù)xp、 yp和zp。 然后，通過求解方程(1)來得到系數(shù)c。
b3)對于計算的平面P，從整個距離圖像38中找出|PT[X Y Z 1]T| 不大于T,的距離點(diǎn)的數(shù)目N。T,是用戶可選的鬧值，其缺省值為T,=0. 05Z。 L的值可以依賴于距離圖像38的誤差分布。
c) 選擇具有最大N的平面P，條件是N大于T2 (缺省T2-0. 2*距離 圖像38中距離點(diǎn)的總數(shù))。
d) 從滿足上面b3)中的條件的N個距離點(diǎn)的集合中估計最佳的P。 這是通過求解最小化誤差項(xiàng)E的P來實(shí)現(xiàn)的
r7"1—
《i尸1
i ■ 1
i1
求解這樣的優(yōu)化問題的技術(shù)在本領(lǐng)域中是眾所周知的，并且將不作 進(jìn)一步的討論。
數(shù)據(jù)處理器20執(zhí)行的用于找出平坦表面的過程可以通過排除 (eliminate)與檢測的平坦表面P關(guān)聯(lián)的距離點(diǎn)并且重復(fù)以便生成一 組平面142來迭代進(jìn)行。
圖像中平坦表面的知識能夠?qū)崿F(xiàn)若干圖像增強(qiáng)算法，如圖3所示。 首先，將數(shù)據(jù)處理器20確定的平坦表面142輸入到平面型分類器144， 以便依照類型和/或依照語義標(biāo)簽來分類這些平坦表面。人工構(gòu)造中存 在許多平坦平面或近似平坦的平面。例如，地板幾乎總是平坦的并且平行于地面(即大多數(shù)平坦地板的法向量為重力方向)。天花板也是如此。 明顯的區(qū)別在于，天花板傾向于處于接近數(shù)字圖像頂部的位置，而地板 一般處于接近數(shù)字圖像底部的位置。墻壁一般是垂直于地平面的平坦表 面。(即法向量平行于地面)。在被攝影的場景中存在許多其他平坦表 面，例如水箱或桌子的側(cè)面或頂部，或者既不平行于也不垂直于地面的 平面(例如斜面)。
平面型分類器144分析來自數(shù)字圖像102的平坦表面和其他信息以 確定用于已檢測的平坦表面142的分類。分類類別優(yōu)選地為 墻壁(即垂直于地平面的平面) 天花板(即平行于地平面并且接近圖像頂部的平面) 地板(即平行于地平面并且接近圖像底部的平面) 其他(既不平行于也不垂直于地面)。
平面型分類器144可以分配所述平坦表面屬于特定類別的概率或置 信度。 一般情況下，根據(jù)在數(shù)據(jù)處理器20執(zhí)行的平坦表面檢測期間被 發(fā)現(xiàn)落入所述平面P上的距離值的位置，將yp的絕對值小的大平坦表面
分類為天花板或地板平坦表面。將Xp的絕對值小的大平坦表面分類為墻
壁。否則，將所述平坦表面分類為"其他"。
圖3示出了可以將幾何變換146施加到數(shù)字圖像102中以產(chǎn)生改善 的數(shù)字圖像120。幾何變換146優(yōu)選地利用已檢測的平坦表面142和平 面型分類144來產(chǎn)生。
幾何變換146的操作取決于操作模式42。操作模式42允許用戶選 擇幾何變換146的所希望的功能。例如，如果操作模式42為"減小照 相機(jī)的旋轉(zhuǎn)"，那么幾何變換146的目的是執(zhí)行數(shù)字圖像102的旋轉(zhuǎn)以 抵消非故意的照相機(jī)旋轉(zhuǎn)(照相機(jī)繞z軸旋轉(zhuǎn)，結(jié)果不處于水平位置) 的不希望的影響。在這種情況下，幾何變換146是單應(yīng)性矩陣Hu
當(dāng)P=[xp yp zp c]T為天花板或地板的已知平坦表面時，那么可選地，可以從為墻壁的兩個或更多個平坦表面通過計算與所述墻壁關(guān)
聯(lián)的法向量的叉積確定角度a。結(jié)果為地平面的法向量，其可以用于上 面的式(3)中。
變換H1R用于消除當(dāng)照相機(jī)相對于場景旋轉(zhuǎn)時在圖像中明顯可見的 傾斜。當(dāng)照相機(jī)傾斜時，墻壁、天花板和地板的平坦表面經(jīng)歷可預(yù)測的 變化。這是因?yàn)檫@種平坦表面的方位是事先已知的(即或者平行于地平 面或者平行于它)。角度a代表照相機(jī)從豎直方位的旋轉(zhuǎn)角的負(fù)數(shù)，并 且圖像處理器36施加變換Hu來產(chǎn)生相對于原始圖像102旋轉(zhuǎn)了角度a 的增強(qiáng)數(shù)字圖像120,從而消除了照相機(jī)相對于所述圖像的不希望旋轉(zhuǎn) 的影響。
可選地，如果操作^t式42為"矯正(rectify)平面，，，那么幾何 變換146的目的是執(zhí)行檢測的平坦表面142的圖像的矯正。透視變形發(fā) 生在圖像捕獲期間，并且例如平行場景線在圖像中看起來要會聚在一 起。矯正是執(zhí)行幾何變換以從場景平面的圖像中消除透視變形的過程， 其導(dǎo)致圖像看起來是在正視該平面時捕獲的。在這種情況下，幾何變換 是單應(yīng)寸生殺巨卩車HRP。 i口 Harley和Zisserman在"Multiple View Geometry" (第13-14頁)中所描述的，當(dāng)已知四個非共線對應(yīng)點(diǎn)(即其中沒有3 個點(diǎn)共線的場景平面坐標(biāo)和圖像平面坐標(biāo)中的4對對應(yīng)點(diǎn))時，可以設(shè) 計單應(yīng)性矩陣來執(zhí)行矯正。這些對應(yīng)點(diǎn)通過了解所迷平坦平面的方程 P=[xp yp zp c]t來生成。所述平坦表面上的坐標(biāo)系統(tǒng)必須被定義。這是 通過在平坦表面上選擇兩個單位長度正交基矢量來實(shí)現(xiàn)的。所述平坦表 面的法線為PN=[xp yp zp]T。可以簡單地選擇第一基矢量為PB1=
T，那么平面基矢
量為<formula>formula see original document page 12</formula>假定焦距為l個 單位。那么，可以確定出四個對應(yīng)點(diǎn)場景坐標(biāo) 場景平面坐標(biāo) 圖像平面坐標(biāo)T [—2/7 5/# if
TT —, if [1/4 0 1〗TT j一V 5/7^ if
TT —, if [1/2 1/2 1]T
將圖像坐標(biāo)映射到被矯正坐標(biāo)的單應(yīng)性矩陣L可以計算為
0 0.447 —0.894—
—3.83 1.83 0.913 —3.0 2.0 1.0
因此，已經(jīng)證明用于矯正場景平坦表面的圖像的幾何變換146可以 使用平坦表面142的方程來導(dǎo)出。
應(yīng)當(dāng)注意，幾何變換142可以只施加到數(shù)字圖像102的那些與平坦 表面142關(guān)聯(lián)的像素，或者幾何變換146可以施加到數(shù)字圖像102的所 有像素。圖像掩模發(fā)生器150可以用來創(chuàng)建指示數(shù)字圖像102中與平坦 表面142關(guān)聯(lián)的那些像素的圖像掩模152。優(yōu)選地，圖像掩模152具有 與數(shù)字圖像102行列數(shù)相同的像素。如果像素的關(guān)聯(lián)三維位置落在平坦 表面142上或附近，那么該像素的位置與平坦表面142關(guān)聯(lián)。優(yōu)選地， 如果圖像掩模152中的像素位置與平坦表面142關(guān)聯(lián)，則給其賦予值(例 如1),否則，賦予值(例如0)。通過給每個平坦表面賦予特定的值 (例如對于第一平坦表面賦予1，對于第二平坦表面賦予2,等等)， 圖像掩模152可以指示與若千不同平坦表面關(guān)聯(lián)的像素。
除了對于施加幾何變換146有用之外，圖像掩模152對于材料/目 標(biāo)檢測器154也是有用的。材料/目標(biāo)檢測器154確定數(shù)字圖像102的 像素或區(qū)域(像素組)代表特定材料(例如天空、草地、路面、人體等) 或目標(biāo)(例如人臉、汽車、房屋等)的可能性。這在下面將進(jìn)行更詳細(xì) 的描述。
圖像處理器36對具有X行Y列像素的數(shù)字圖像102 i (x，y)施加幾 何變換146，以產(chǎn)生改善的數(shù)字圖像120。優(yōu)選地，圖像平面和光軸的 交點(diǎn)處的位置(即數(shù)字圖像102的中心)的坐標(biāo)為(O，O)。優(yōu)選地， 改善的數(shù)字圖像o (m， n)具有M行和N列，并且具有與數(shù)字圖像102行列 數(shù)相同的像素。換言之，M-X并且卜Y。輸出圖像o(m。，n。)中的每個像素 位置被映射到輸入數(shù)字圖像i (x。， y。)中的特定位置。 一般情況下，(x。， y。)<formula>formula see original document page 14</formula>將不對應(yīng)于精確的整數(shù)位置，而將落在輸入數(shù)字圖像i (x，y)上的像素之 間。像素o (m。， n。)的值是通過對來自i (x。， y。)附近的像素值進(jìn)行插值來 確定的。這種類型的插值在圖像處理領(lǐng)域中是眾所周知的，并且可以通 過最近鄰插值、雙線性插值、雙三次插值或者任何數(shù)量的其他插值方法 來實(shí)現(xiàn)。
幾何變換146規(guī)定了輸出圖像位置0n， n)到輸入圖像位置(x， y)的映 射。在優(yōu)選實(shí)施例中，將輸出圖像的特定位置(m。，n。)映射到輸入圖像中 的位置(x。， y。)的映射如下給出
其中[Xt y wt]t^(戈表齊,欠坐才示(homogenous coordinate)下y^、i會數(shù) 字圖像102中的位置。因此
本領(lǐng)域技術(shù)人員應(yīng)當(dāng)認(rèn)識到，點(diǎn)(x。， y。)可能在輸入數(shù)字圖像的范圍 之外(即可能不存在任何附近的像素值)。在另一極端情況下，改善的 輸出圖像的全體像素位置可能映射到輸入圖像102內(nèi)部的小區(qū)域，從而 進(jìn)行了大量的縮放。這個問題可以通過圖像處理器36確定代表幾何變 換146的縮放效應(yīng)的縮放因子z來解決，并且通過如下修改輸入到圖像 處理器36的幾何變換146來產(chǎn)生最終的Hf:
其中H-
<formula>formula see original document page 14</formula>
其中z為改善的輸出數(shù)字圖像12 0的所有像素位置映射到輸入數(shù)字圖像 102的范圍內(nèi)部的最大數(shù)量。
與所有重采樣搡作一樣，必須注意避免混疊效應(yīng)。 一般情況下，通過在采樣之前模糊數(shù)字圖像102來避免混疊。然而，由于幾何變換l46 的采樣率在整個圖像上是變化的，因而可能難于選取模糊濾波器。存在處理這個問題的若干技術(shù)。對于超采樣或者自適應(yīng)超采樣，每個像素值 o (m。， n。)可以通過將接近(m。， n。)的 一 組坐標(biāo)位置變換回輸入數(shù)字圖像 102以便進(jìn)行插值來估計。例如，可以使用一組位置[(m。+l/3，n。+l/3) (m0+l/3，n。) (m。+l/3，n。-1/3) (mo，no+l/3) (m。， n。) (m。，n。+l/3) (m。-l/3，n。+l/3) (m。-l/3，n。) (m。-l/3, n。-l/3)]。最終的像素值o (m。， n。) 是所有與變換到輸入圖像102坐標(biāo)的所述位置組關(guān)聯(lián)的經(jīng)過插值的值的 線性組合(例如平均)。上述幾何變換146 ("減小照相機(jī)的旋轉(zhuǎn)"和"矯正平面，，)用3x3 矩陣表示，并且操作在圖像平面坐標(biāo)上以產(chǎn)生改善的數(shù)字圖像120。更 靈活的幾何變換使用3x4矩陣并且操作在由距離圖像38提供的三維像 素坐標(biāo)上。該模型的應(yīng)用允許場景繞任意軸旋轉(zhuǎn)，產(chǎn)生看起來像是從另 一個有利位置捕獲的改善的數(shù)字圖像?？梢岳闷矫嫘头诸惼?44的輸出來設(shè)計3x4幾何變換146以例如 定位"地板"平面，使得其法向量為[l 0 0],或者定位"墻壁"平面， 使得其法向量垂直于x軸。在應(yīng)用期間，當(dāng)填充改善的數(shù)字圖像120的像素值時，可能會發(fā)現(xiàn) 沒有原始的三維像素坐標(biāo)映射到特定的位置。必須給這些位置賦予缺省 值(例如黑或白)或者賦予通過分析局部鄰域(例如通過使用中值濾波 器)得到的計算值。此外，還可能發(fā)現(xiàn)來自改善的數(shù)字圖像120的不止一個像素值映射 到改善的數(shù)字圖像120中的單個位置。這導(dǎo)致"爭議"。該爭議通過忽 略與離照相機(jī)最遠(yuǎn)的距離關(guān)聯(lián)的像素值來解決。這對其中靠近照相機(jī)的 目標(biāo)遮擋了遠(yuǎn)離照相機(jī)10的目標(biāo)的情況進(jìn)行了建模。應(yīng)當(dāng)注意，在每種情況下，除了數(shù)字圖像102之外，還可以將幾何 變換146施加到距離圖像38，以便創(chuàng)建更新的距離圖像121。更新的距 離圖像121是與改善的數(shù)字圖像120對應(yīng)的距離圖像。圖4示出了使用距離圖像38識別數(shù)字圖像102中的目標(biāo)和材料的 方法。距離圖像38和數(shù)字圖像102被輸入到材料/目標(biāo)檢測器154。材 料/目標(biāo)檢測器154確定數(shù)字圖像102的像素或區(qū)域(像素組)代表特 定材料(例如天空、草地、路面、人體等)或目標(biāo)(例如人臉、汽車、房屋等)的可能性。材料/目標(biāo)檢測器154的輸出是一個或多個置信度 圖162。置信度圖162指示數(shù)字圖像的特定像素或區(qū)域或若干像素代表 了特定的材料或目標(biāo)。優(yōu)選地，置信度圖162具有與數(shù)字圖像102行列 數(shù)相同的像素，但這不是必需的。對于一些應(yīng)用而言，置信度圖162具 有低于數(shù)字圖像102的分辨率是方便的。任選地，材料/目標(biāo)檢測器154可以輸入圖像掩模152,該圖像掩模 152指示圖3的圖像掩模發(fā)生器150計算的平坦表面的位置。圖像掩模 152對于材料/目標(biāo)識別相當(dāng)有用。例如，當(dāng)在數(shù)字圖像102中搜索人臉 時，圖像掩?？梢杂脕肀苊庠谂c平坦表面關(guān)聯(lián)的數(shù)字圖像102的區(qū)域中 錯誤地檢測人臉。這是因?yàn)槿四槻皇瞧矫娴模虼瞬槐厮阉髋c平坦表面 關(guān)聯(lián)的數(shù)字圖像102的區(qū)域。對于材料/目標(biāo)檢測器154存在若干操作模式。在稱為"確認(rèn)模式" 的第 一種模式下，出現(xiàn)僅利用數(shù)字圖像102的傳統(tǒng)的材料/目標(biāo)檢測級。 例如，可以使用 Jones, M. J. ; Viola, P., "Fast Multi-view Face Detection" , IEEE Conference on Computer Vision and Pattern Recognition (CVPR) ， June 2003描述的用于找出人臉的方法。然后， 當(dāng)檢測到目標(biāo)時，利用已檢測的目標(biāo)和照相機(jī)捕獲信息(例如照相機(jī)的 焦距或放大率)來估計到目標(biāo)的距離。例如，如果已檢測的目標(biāo)是人臉， 那么當(dāng)在圖像中檢測到候選人臉時，也可以確定到該臉的距離，因?yàn)槿?的頭部尺寸只有少量的變化。對于圖像中感興趣的候選目標(biāo)，照相機(jī)到 目標(biāo)距離的估計D?？梢杂嬎銥镈e-f/X*S其中f為照相機(jī)的焦距，X為數(shù)字圖像中感興趣的候選目標(biāo)的尺寸 S為感興趣的目標(biāo)的物理(已知)尺寸分類是通過比較照相機(jī)到目標(biāo)距離的估計D。和感興趣的候選目標(biāo) 的對應(yīng)距離值來實(shí)現(xiàn)的。當(dāng)"與距離值匹配良好(例如在15%以內(nèi))時， 該感興趣的候選目標(biāo)很可能實(shí)際代表感興趣的目標(biāo)。當(dāng)"不是距離值的 良好匹配(例如在15%以內(nèi))時，那么該感興趣的候選目標(biāo)很可能實(shí)際 上不代表感興趣的目標(biāo)。實(shí)際上，感興趣的目標(biāo)(頭部)的物理尺寸是已知的?？梢栽趯?yīng) 候選的已檢測的臉的區(qū)域上比較這個計算的距離與來自距離圖像38的照相機(jī)到主題的距離。當(dāng)這個計算的距離與來自距離圖像38的距離之 間存在差異時，候選人臉實(shí)際上是人臉的置信度降低，或者候選人臉被 分類為"非人臉"。這種方法通過減少虛正檢測而改進(jìn)了材料/目標(biāo)檢 測器154的性能。這個實(shí)施例適用于檢測具有窄的尺寸分布的目標(biāo)，例 如汽車、人、人臉等。此外，距離圖像對于代表天空的區(qū)域具有"無限 遠(yuǎn)，，的距離或者非常大的距離。因此，當(dāng)考慮候選天空區(qū)域時，對應(yīng)距 離值被考慮。當(dāng)距離值小時，那么丟棄候選天空區(qū)域?？偟恼f來，圖4 描述了用于通過以下步驟來改善目標(biāo)檢測結(jié)果的方法首先檢測圖像中 感興趣的候選目標(biāo)；然后確定對應(yīng)于感興趣的已檢測的目標(biāo)的距離值并 且使用這些距離值以及感興趣目標(biāo)的已知尺寸來確定(即分類)感興趣 的已檢測的目標(biāo)的正確性。在稱為"完全才莫型模式，，的第二種操作模式下，距離圖像38只是 提供輸入到分類器的附加特征。對于圖像區(qū)域，計算特征(例如顏色、 紋理和距離值的分布)并且將其輸入到分類器以便確定P (reg i on-m | f)， 該分布表示給定特征f時所述區(qū)域代表材料或目標(biāo)m的概率。分類器通 過從許多訓(xùn)練實(shí)例中學(xué)習(xí)分布P(region-mlf)而經(jīng)歷訓(xùn)練過程,所述訓(xùn) 練實(shí)例包括其中已知區(qū)域代表材料或目標(biāo)m的樣本以及其中已知區(qū)域不 代表材料或目標(biāo)m的樣本。例如，利用貝葉斯定理■P(/ I re^/ow - ;w)P(reg/ow =加)+尸(/ | reg/ow ;t /M)尸(reg/ow #附) 其中f為特征集合。圖5A示出了用于利用距離圖來確定圖像均衡的方法。將數(shù)字圖像 102和距離圖像38輸入到數(shù)據(jù)處理器20。數(shù)據(jù)處理器20確定由圖像處 理器36施加到數(shù)字圖像102的圖像變換60 (曝光調(diào)節(jié)量)，產(chǎn)生改善 的數(shù)字圖像120。圖像變換60是修改輸入圖像(例如數(shù)字圖像102)的 一個或多個像素值以便產(chǎn)生輸出圖像(改善的數(shù)字圖像120)的操作。在第一實(shí)施例中，圖像變換60用于改善圖像的均衡或曝光。數(shù)字 圖像的適當(dāng)曝光取決于圖像的主題。用于確定適當(dāng)?shù)膱D像曝光的算法稱 為場景均衡算法或曝光確定算法。這些算法通常通過確定圖像像素子集 的平均、最小、最大或中值來工作。(參見例如美國專利No. 4945406 )。當(dāng)數(shù)字圖像102的像素值代表曝光的對數(shù)時，那么通過筒單地向像 素值添加偏移來施加曝光調(diào)節(jié)量(也稱為均衡調(diào)節(jié))。當(dāng)數(shù)字圖像102的像素值與曝光成比例時，那么通過以常數(shù)乘法器縮放像素值來施加均 衡調(diào)節(jié)。在這二者中任何一種情況下，均衡調(diào)節(jié)都對縮放場景中的光量 (例如調(diào)暗或調(diào)亮光源照明)的物理過程進(jìn)行了建模。而且，當(dāng)數(shù)字圖像102的像素值被再現(xiàn)成sRGB顏色空間中的像素值時，那么均衡調(diào)節(jié) 在美國專利No. 6931131中有所描述。簡而言之，均衡調(diào)節(jié)是通過向每 個像素值施加下列公式來實(shí)現(xiàn)的Io-(卜(Hi/255)A(2. 065Aa))255其中Io代表輸出像素值，Ii代表輸入像素值，a代表以啄光光團(tuán) 數(shù)表示的曝光調(diào)節(jié)量。 一個光圏數(shù)代表雙倍的曝光。盡管在前面的討論中均衡調(diào)節(jié)被施加到現(xiàn)有的數(shù)字圖像102中，但 是本領(lǐng)域技術(shù)人員應(yīng)當(dāng)認(rèn)識到，已確定的均衡可以由照相機(jī)用來捕獲場 景的新圖像。為了簡單起見，下面的討論將假定數(shù)字圖像的像素值與對 數(shù)曝光量成比例。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)認(rèn)識到，當(dāng)數(shù)字圖像像素值代表 其他量時，可能需要對各個參數(shù)和方程進(jìn)行修改。數(shù)據(jù)處理器20利用某個過程來確定曝光調(diào)節(jié)量a。對距離圖像38 進(jìn)行插值，使得它具有與數(shù)字圖像102相同的維數(shù)(即行列值)。然后， 通過取數(shù)字圖像102的曝光值的加權(quán)平均來確定加權(quán)曝光值t。數(shù)字圖 像中的每個像素根據(jù)如已插值的深度圖所指示的其與該照相機(jī)的對應(yīng) 距離來接收權(quán)重。用來確定平均所用的權(quán)重來自其中在數(shù)字圖像像素的所有行和列上進(jìn)行雙重求和。 權(quán)重W為位置(x,y)處距離圖像值的函數(shù)。 一般情況下，W(x，y)被 歸一化，使得W(x,y)在整個圖像上的和為零。權(quán)重W和距離值之間的關(guān) 系示于圖5B中。這個關(guān)系基于主要的主題(main subject)相對于照 相機(jī)的距離分布。實(shí)際上，該關(guān)系是假定像素屬于圖像的主要主題的情 況下，該距離為特定距離的概率。除了基于距離值的權(quán)重之外，可以使 用另外的權(quán)重，所述權(quán)重基于例如像素相對于圖像光學(xué)中心的位置(例 如接近中心的像素#:賦予更大的權(quán)重)或者邊緣狀態(tài)(edgeiness )(位 于或接近具有高邊緣梯度的圖像位置的像素被賦予更大的權(quán)重)。 然后，通過取加權(quán)平均與目標(biāo)值之差來確定曝光調(diào)節(jié)量。例如a=T—t其中T為目標(biāo)值曝光值。因此，暗圖像具有的加權(quán)平均t小于目標(biāo)值T將導(dǎo)致正的a (指示圖像需要調(diào)亮)。此外，亮圖像具有的加權(quán)平 均t大于目標(biāo)值T,導(dǎo)致負(fù)的a,指示圖像需要調(diào)暗。 一般是通過在大 的數(shù)據(jù)庫上找出使圖像質(zhì)量最優(yōu)的值來選擇值T的。在其中距離圖是稀疏距離圖的可選實(shí)施例中，平均值a可以僅根據(jù) 對應(yīng)位置處的數(shù)字圖像的已插值的值處的那些值(未插值距離值)來計 算?？蛇x地，加權(quán)平均是通過以下步驟來計算的首先通過使用例如公 知的iso-data算法對區(qū)域(具有相似的距離值的組)進(jìn)行聚類來分割 距離圖像；接著確定每個區(qū)域的加權(quán)平均；然后通過依照圖5C中示出 的函數(shù)對每個區(qū)域使用平均距離值導(dǎo)出的權(quán)重對每個區(qū)域的加權(quán)平均 進(jìn)行加權(quán)來計算總體加權(quán)平均。圖5C示出了數(shù)據(jù)處理器20的詳細(xì)視圖，其圖解說明了用于計算曝 光調(diào)節(jié)量176的另一可選方案。距離邊緣檢測器170例如通過利用著名 的Canny邊緣檢測器進(jìn)行濾波，或者通過計算每個位置處距離圖像的梯 度幅度并且接著進(jìn)行閾值操作來操作距離圖像38。距離邊緣檢測器170 的輸出是具有與距離圖像38相同的(行列值)維數(shù)的距離邊緣圖像172。 距離邊緣圖像172在與距離圖像38中的邊緣關(guān)聯(lián)的位置處具有大的值， 在與距離圖像38的非邊緣關(guān)聯(lián)的位置處具有小的值，并且在與距離圖 像38中介于邊緣和非邊緣之間的位置關(guān)聯(lián)的位置處具有中間值。優(yōu)選 地，歸一化距離邊緣圖像172，使得所有像素值之和為1。然后，加權(quán) 平均器174通過將距離邊緣圖像172的值用作權(quán)重來確定數(shù)字圖像102 的加權(quán)平均t。加權(quán)平均器174通過如前所述找出t和T之差來輸出曝 光調(diào)節(jié)量176。因此，使用對應(yīng)于數(shù)字圖像102的距離圖像38確定曝光調(diào)節(jié)量。 而且，利用距離邊緣檢測器17G對距離圖像進(jìn)行濾波以生成用于確定曝 光調(diào)節(jié)量的權(quán)重(斜坡邊緣圖像172)。應(yīng)當(dāng)注意，盡管在圖像處理領(lǐng)域中經(jīng)常使用邊緣檢測器，但是它們 找出的是具有大的編碼值差異的局部區(qū)域而不是場景中的真實(shí)不連續(xù) 性區(qū)域。例如，邊緣檢測器經(jīng)常會檢測出斑馬上的斑紋，但是這些斑紋 僅僅是具有不同反射率的鄰接區(qū)域而不是真實(shí)結(jié)構(gòu)的場景邊緣。距離邊 緣檢測器只有在局部區(qū)域包含截然不同的距離處的目標(biāo)時才表現(xiàn)出大 的響應(yīng)，并且對于場景中平滑表面上的不同材料反射率會表現(xiàn)出大的響應(yīng)。
圖6A示出了使用距離圖像38來確定用于將圖像強(qiáng)度映射到優(yōu)選值 的色標(biāo)函數(shù)的方法。這個過程通常有益于動態(tài)范圍壓縮的目的。換言之， 一般的場景包含的亮度范圍約為1000: 1，而一般的打印機(jī)或顯示器只能 有效地再現(xiàn)大約100: 1的亮度范圍。因此，動態(tài)范圍壓縮對于"重新照 亮"場景會是有用的，其允許更加令人滿意的再現(xiàn)。
將數(shù)字圖像102和距離圖像38輸入到數(shù)椐處理器20。數(shù)據(jù)處理器 20確定由圖像處理器36施加到數(shù)字圖像102從而產(chǎn)生改善的數(shù)字圖像 120的圖像變換(色標(biāo)函數(shù)140)。圖像變換是修改輸入圖像(例如數(shù) 字圖像102 )的一個或多個像素值以產(chǎn)生輸出圖像(改善的數(shù)字圖像120 ) 的操作。
圖6B示出了圖像處理器36的詳細(xì)視圖。通過顏色空間矩陣變換(例 如亮度色度轉(zhuǎn)換器84 )將一般在RGB顏色空間中的數(shù)字圖像變換到亮度 色度顏色空間，得到亮度通道neu 82和兩個或更多色度通道gm和ill 86。從一組紅色、綠色和藍(lán)色通道到亮度和兩個色度通道的變換可以通 過矩陣乘法來實(shí)現(xiàn)，所述矩陣乘法例如
加W—1/31/31/3
，——_1/41/2一1/4gm
///—1/201/2
其中neu、 gm和ill代表亮度和色度通道的像素值，red、 grn和 blu代表數(shù)字圖像102的紅色、綠色和藍(lán)色通道的像素值。
這種矩陣旋轉(zhuǎn)提供了其上r-g=b的中性軸以及兩個顏色差異軸(綠 色-品紅色和光源)?？蛇x地，不同于該矩陣提供的變換(例如三維查 找表(LUT))可以用于將數(shù)字圖像變換成亮度-色度形式，在給定本公 開的情況下這是本領(lǐng)域技術(shù)人員所熟悉的。
旋轉(zhuǎn)到亮度-色度空間的目的是分離出色標(biāo)函數(shù)操作于其上的單一 通道。色標(biāo)處理器90的用途和目標(biāo)是允許色標(biāo)函數(shù)調(diào)節(jié)數(shù)字圖像通道 的宏觀對比度，但是保持?jǐn)?shù)字圖像通道的細(xì)節(jié)內(nèi)容或紋理。為此，色標(biāo) 處理器90使用距離圖像38、色標(biāo)函數(shù)NO和亮度通道82來生成增強(qiáng)的 亮度通道94。常規(guī)的色度處理器88對色度通道進(jìn)行常規(guī)的處理。色度 處理器88可以按照與色標(biāo)函數(shù)相關(guān)的方式來修改色度通道。例如，美 國專利No. 6438264描述了 一種修改色度通道的、與施加的色標(biāo)函數(shù)的斜率相關(guān)的方法，該專利在此引入以供參考。色度處理器的操作不是本 發(fā)明的重點(diǎn)并且將不作進(jìn)一步的討論。
優(yōu)選地，通過逆顏色空間矩陣變換(RGB轉(zhuǎn)換器92)將數(shù)字圖像變 換回RGB顏色空間，以便生成允許打印出硬拷貝或者在輸出設(shè)備上顯示 的增強(qiáng)的改善的數(shù)字圖像120。
參照圖6C,其示出了色標(biāo)處理器90的更詳細(xì)的視圖。將亮度通道 neu 82表示成基座(pedestal )信號neuped、紋理信號neu^和p桑聲信 號neiin之和
neu=iieupcd+neiit"+neun ( 1 )
如果假定噪聲可以忽略不計，那么
neu-neUpeo+neu," ( 2 )
如下面詳加描述的，亮度/色度轉(zhuǎn)換器84輸出的數(shù)字圖像通道的亮 度部分neu 82由基座分離器(pedestal splitter) 114分成兩個部分 以產(chǎn)生基座信號neup。d 112和紋理信號neutx, 116。色標(biāo)施加器 (applicator) 118將色標(biāo)函數(shù)138施加到基座信號112以便改變圖像 的特性來進(jìn)行圖像增強(qiáng)。色標(biāo)函數(shù)138可以用于改變數(shù)字圖像的相對亮 度或?qū)Ρ榷鹊哪康?。色?biāo)施加器118通過施加查找表(LUT)到輸入信 號來實(shí)現(xiàn)，如本領(lǐng)域中眾所周知的。圖6D中圖解說明了一種示出了輸 入值到輸出值的一對一映射的示例色標(biāo)函數(shù)。色標(biāo)函數(shù)138可以與圖像 無關(guān)，或者可以從數(shù)字圖像像素值的分析中導(dǎo)出，如例如在美國專利 No. 6717698中所描述的。這個分析是在數(shù)據(jù)處理器20中執(zhí)行的，如圖 6A所示。數(shù)據(jù)處理器20在構(gòu)造色標(biāo)函數(shù)140時可以同時考慮距離圖像 38以及數(shù)字圖像102的像素值。例如，色標(biāo)函數(shù)140通過首先從與距離 圖像38的鄰域?qū)?yīng)的數(shù)字圖像像素值中構(gòu)造圖像活性直方圖(activity histogram)來計算，所述距離圖像38的鄰域具有大于閾值T3的方差。 因此，圖像活性直方圖基本上是接近由距離圖像38限定的真實(shí)遮擋邊 界(occlusion boundary)的像素的像素值直方圖。然后，按照美國專 利No. 6717698中描述的方式從圖像活性直方圖中構(gòu)造出圖像相關(guān)色標(biāo) 曲線。
如果希望的話，紋理信號116可以由紋理修改器130進(jìn)行放大，或 者按照本領(lǐng)域技術(shù)人員可能希望的某種其他方式來改變。該紋理修改器 130可以是標(biāo)量常量乘以紋理信號116。然后，由加法器132將修改的紋理信號和修改的基座信號相加到一起，形成增強(qiáng)的亮度通道94。由加 法器132對兩個信號相加是本領(lǐng)域中眾所周知的。這個過程也可以用以 下等式來描述
neup=. function. (neuped)+neum (3)
其中function.()表示施加色標(biāo)函數(shù)138， neUp代表具有降低的動 態(tài)范圍的增強(qiáng)的亮度通道94。在施加色標(biāo)的整個過程中，很好地保留了 數(shù)字圖像通道的細(xì)節(jié)信息。
不管圖6B中所示的內(nèi)容如何，亮度通道經(jīng)歷色標(biāo)處理器90進(jìn)行的 修改不是必需的。例如，RGB圖像的每個顏色通道可以經(jīng)歷這種處理， 或者單色圖像也可以由這個過程來進(jìn)行變換。然而，為了本申請的其余 部分的目的，假定只有亮度通道(具體而言，即中性通道neu)將經(jīng)歷 細(xì)節(jié)保持色標(biāo)函數(shù)施加器的處理。
再次參照圖6C，基座分離器114將輸入數(shù)字圖像通道neu分解成"基 座"信號112 neu—和"紋理"116信號neuut，其和等于原始數(shù)字圖像 通道(例如亮度信號)82?；蛛x器114的操作對于輸出圖像具有重 大的影響。基座分離器114施加具有與來自距離圖像38的距離值有關(guān) 的系數(shù)的非線性空間濾波器，以便生成基座信號112?；盘?12 neiva 除了與主要場景照明或目標(biāo)不連續(xù)性關(guān)聯(lián)的大的變化之外，總體上是平 滑的。紋理信號116 neiit"是原始信號和基座信號之差。因此，紋理信 號包含細(xì)節(jié)。
基座信號由基座分離器114通過將非線性空間濾波器施加到輸入亮 度通道neu 82而生成。濾波器的系數(shù)取決于距離圖像38的值。
(^，>0= S 2X附，")"0^w，少+")
其中所述非線性濾波器為w(m， n)并且依照
來計算系數(shù)，其中w(m，n)用于設(shè)置高斯包絡(luò)并且限制所述濾波器 的空間展度(extent )。
<formula>formula see original document page 22</formula>其中7t是近似為3. 1415926的常數(shù)。cj為調(diào)節(jié)濾波器尺寸的參數(shù)'優(yōu)選地，(T為沿最短圖像維度的像素數(shù)的0.25倍。W2(m,n)用于減小 (reduce)濾波器系數(shù)以便防止在伴隨有距離圖像38中的大的不連續(xù) 性的目標(biāo)邊界處出現(xiàn)模糊。
min(a， 6)
>v2(a，6)= exp
其中T4為允許調(diào)節(jié)在距離圖像38中的變化中的濾波器衰減陡度的 調(diào)整參數(shù)。特定位置處的濾波器系數(shù)隨著對應(yīng)的距離值變得更加不同于 對應(yīng)于濾波器中心位置的距離值而減小。通常，在應(yīng)用之前對濾波器w 的系數(shù)的和進(jìn)行歸一化，使得它們的和為l.O。
因此，通過利用從來自距離圖像的距離值的分析中導(dǎo)出的權(quán)重對圖 像進(jìn)行濾波而改善了圖像的色標(biāo)，所述距離值描述了場景中的目標(biāo)相對 于照相機(jī)的距離。
涉及本發(fā)明濾波器設(shè)計的術(shù)語"自適應(yīng)"指的是構(gòu)造的濾波器的權(quán) 重依照濾波器位置的鄰域中的結(jié)構(gòu)而變化。換言之，本發(fā)明通過其系數(shù) 依賴于距離值的統(tǒng)計參數(shù)的濾波器來對數(shù)字圖像信號進(jìn)行濾波，所述距 離值對應(yīng)于被濾波的特定像素的鄰域。
本領(lǐng)域技術(shù)人員應(yīng)當(dāng)認(rèn)識到，可以通過從亮度通道82中生成圖像 金字塔(pyramid)并且對金子塔層級中的一層或多層進(jìn)行濾波來用多 分辨率濾波過程近似濾波器w。這記載于例如美國專利申請公開 No. 2004/0096103中。此外，濾波器w可以是如例如美國專利No. 6728416 中所描述的自適應(yīng)遞歸濾波器。
除了基于距離值和高斯包絡(luò)的權(quán)重之外，可以使用另外的權(quán)重，其 基于例如像素相對于圖像光學(xué)中心的位置(例如接近中心的像素被賦 予更大的權(quán)重)或者邊緣狀態(tài)(位于或接近具有高邊緣梯度的圖像位置 的像素被賦予更大的權(quán)重)。
還可以通過作為距離圖像38的函數(shù)修改圖像的亮度通道來直接修 改圖像的色標(biāo)。通過如下修改亮度通道來創(chuàng)建改善的數(shù)字圖像120:
濾波器系數(shù)取決于距離圖像38的值。
neup(x， y)=f (neu (x， y) ， R (x， y)) (4) 該等式允許基于距離值修改圖像的強(qiáng)度。這用來校正背后照明或正 面照明的圖像，其中圖像照明是非均勻的并且一般隨距離而變化。當(dāng)圖 像信號neu(x，y)與場景曝光量的對數(shù)成比例時，等式(4)的優(yōu)選形式為
neiip (x， y)=f (R (x， y))+neu (x, y) (5)
函數(shù)f ()通過分析圖像像素值和對應(yīng)的距離值來形成，使得等式(5) 的應(yīng)用產(chǎn)生具有降低的動態(tài)范圍的增強(qiáng)的亮度通道94。在施加色標(biāo)的整 個過程中，很好地保留了數(shù)字圖像通道的細(xì)節(jié)信息。
回頭參照圖1，照相機(jī)10整體包含距離圖像傳感器32,該距離圖 像傳感器32用于在任意時間測量照相機(jī)10和場景中的目標(biāo)之間的物理 距離。在數(shù)字視頻序列(即由單一相機(jī)時間上順序地捕獲的數(shù)字圖像的 集合)中，對應(yīng)的距離圖像序列由深度圖像傳感器32生成。n個距離圖 1象凈皮表示成矢量Rn。
前面已經(jīng)特別地參照特定的優(yōu)選實(shí)施例描述了本發(fā)明，但是應(yīng)當(dāng)理 解的是，在本發(fā)明的精神和范圍內(nèi)，可以實(shí)現(xiàn)各種變化和修改。部件列表
10 照相機(jī)
15 捕獲按鈕 20數(shù)椐處理器
22 用戶輸入設(shè)備
30 顯示設(shè)備
32 距離圖像傳感器
33 聚焦機(jī)構(gòu)
34 圖像傳感器 36 圖像處理器
38 距離圖像
39 平坦表面模型
40 控制計算機(jī)
41 第一步驟 42操作模式 43 第二步驟 45 第三步驟 60 圖像變換 7 0 存儲設(shè)備 82 亮度通道
84亮度色度轉(zhuǎn)換器
86 色度通道
88 色度處理器
90 色標(biāo)處理器
92 RGB轉(zhuǎn)換器
94 增強(qiáng)的亮度通道
102 數(shù)字圖像 112基座信號
114 基座分離器
116 紋理信號
118 色標(biāo)施加器
120 改善的數(shù)字圖像121 130 132 138 140 142 144 146 150 152 154 162 170 172 174 176
更新的距離圖像
紋理修改器
加法器
色標(biāo)函數(shù)
色標(biāo)函數(shù)
平坦表面
平面型分類器
幾何變換
圖像掩模發(fā)生器
圖像掩模 材料/目標(biāo)檢測器
置信度圖
距離邊緣檢測器
距離邊緣圖像
加權(quán)平均器
曝光調(diào)節(jié)量
權(quán)利要求
1.一種基于距離信息調(diào)節(jié)數(shù)字照相機(jī)的曝光的方法，包括(a)數(shù)字照相機(jī)以選定的曝光捕獲包含目標(biāo)的場景的第一數(shù)字圖像；(b)提供具有兩個或更多距離值的距離信息，所述距離值指示從數(shù)字照相機(jī)到場景中的目標(biāo)的距離；(c)使用該距離信息以及捕獲的數(shù)字圖像的像素值來確定對于選定曝光的曝光調(diào)節(jié)量；以及(d)施加該曝光調(diào)節(jié)量給所述數(shù)字圖像，以產(chǎn)生具有調(diào)節(jié)的曝光的第二數(shù)字圖像。
2. 權(quán)利要求l的方法，其中步驟b進(jìn)一步包括(i )使用所述距離信息來確定一組加權(quán)系數(shù)；以及Ui )使用這些加權(quán)系數(shù)和所述數(shù)字圖像來確定曝光調(diào)節(jié)量。
3. 權(quán)利要求2的方法，其中所述加權(quán)系數(shù)指示所述數(shù)字圖像內(nèi)基 于所述距離值的相對重要性。
4. 權(quán)利要求2的方法，進(jìn)一步包括(e) 基于距離信息調(diào)節(jié)第二數(shù)字圖像的色標(biāo)。
5. —種調(diào)節(jié)包含目標(biāo)的場景的捕獲的數(shù)字圖像的曝光的方法，包括(a)提供具有兩個或更多距離值的距離信息，所述距離值指示場 景中目標(biāo)的距離；(b )使用該距離信息以及捕獲的數(shù)字圖像的像素值來確定曝光調(diào) 節(jié)量；以及(c) 施加該曝光調(diào)節(jié)量給捕獲的數(shù)字圖像，以產(chǎn)生具有調(diào)節(jié)的曝 光的第二數(shù)字圖像。
6. 權(quán)利要求5的方法，其中步驟b)進(jìn)一步包括(i)使用所述距離信息來確定一組加權(quán)系數(shù)；以及(i i )使用這些加權(quán)系數(shù)和所述數(shù)字圖像來確定曝光調(diào)節(jié)量。
7. 權(quán)利要求6的方法，其中所述加權(quán)系數(shù)指示所述數(shù)字圖像內(nèi)基 于所述距離值的相對重要性。
8. 權(quán)利要求5的方法，進(jìn)一步包括(d) 基于距離信息調(diào)節(jié)第二數(shù)字圖像的色標(biāo)。
9. 權(quán)利要求8的方法，其中步驟d)包括i)將捕獲的數(shù)字圖像分成基座信號和紋理信號；(ii )將色標(biāo)函數(shù)施加到基座信號以產(chǎn)生修改的基座信號，其中距離信息用于步驟i或用于步驟ii或者用于這兩個步驟；以及(iii )將紋理信號添加到修改的基座信號以產(chǎn)生具有調(diào)節(jié)的色標(biāo)的第二數(shù)字圖像；
10. —種調(diào)節(jié)包含目標(biāo)的場景的捕獲的數(shù)字圖像的色標(biāo)的方法，包括(a) 提供具有兩個或更多距離值的距離信息，所述距離值指示場 景中的目標(biāo)的距離；(b) 使用該距離信息以及該捕獲的數(shù)字圖像的像素值來確定色標(biāo) 調(diào)節(jié)；以及(c) 施加該色標(biāo)調(diào)節(jié)給捕獲的數(shù)字圖像，以產(chǎn)生具有調(diào)節(jié)的色標(biāo) 的第二數(shù)字圖像。
11. 權(quán)利要求10的方法，其中步驟b包括(i )將捕獲的數(shù)字圖像分成基座信號和紋理信號；(ii )將色標(biāo)函數(shù)施加到基座信號以產(chǎn)生修改的基座信號，其中距離信息用于步驟(i)或用于步驟(ii)或者用于這兩個步驟；以及 (iii )將紋理信號添加到修改的基座信號以產(chǎn)生具有調(diào)節(jié)的色標(biāo)的第二數(shù)字圖像；
12. 權(quán)利要求ll的方法，其中步驟b) i)包括使用從來自距離圖 像的距離值的分析中導(dǎo)出的權(quán)重來對捕獲的數(shù)字圖像的像素進(jìn)行濾波。
13. —種對場景的數(shù)字圖像進(jìn)行濾波的方法，包括(a) 提供具有兩個或更多距離值的距離信息，所述距離值指示場 景中的目標(biāo)距已知參考系的距離；以及(b) 使用從來自距離圖像的距離值的分析中導(dǎo)出的權(quán)重來對所述 數(shù)字圖像的像素進(jìn)行濾波。
14. 權(quán)利要求13的方法，其中所述已知參考系是照相機(jī)的位置。
全文摘要
一種基于距離信息調(diào)節(jié)數(shù)字照相機(jī)的曝光的方法，包括數(shù)字照相機(jī)以選定的曝光捕獲包含目標(biāo)的場景的第一數(shù)字圖像；提供具有兩個或更多距離值的距離信息，所述距離值指示從數(shù)字照相機(jī)到場景中的目標(biāo)的距離；使用該距離信息以及捕獲的數(shù)字圖像的像素值來確定對于選定曝光的曝光調(diào)節(jié)量；以及施加該曝光調(diào)節(jié)量給所述數(shù)字圖像，以產(chǎn)生具有調(diào)節(jié)的曝光的第二數(shù)字圖像。
文檔編號G06T5/00GK101322153SQ200680044984
公開日2008年12月10日 申請日期2006年11月17日 優(yōu)先權(quán)日2005年11月30日
發(fā)明者A·C·加拉赫爾, E·B·金代爾, G·費(fèi)爾丁, L·雷, N·D·卡希爾 申請人:伊斯曼柯達(dá)公司