專利名稱：使用泊松量化噪聲模型確定弱光條件下的強(qiáng)度相似度的制作方法
專利說明使用泊松量化噪聲模型確定弱光條件下的強(qiáng)度相似度 背景 噪聲在任何成像設(shè)備中是不可避免的。在由照明正被拍攝的對象的弱光源或試圖拍攝對象的設(shè)備使用小或低質(zhì)量鏡片而引起的弱光情形下尤其如此。在上述任何一種情況下，弱光的情形經(jīng)常妨礙對高質(zhì)量圖像的捕獲和呈現(xiàn)。
概述 提供本概述以便以簡化的形式介紹將在以下詳細(xì)描述中進(jìn)一步描述的一些概念。本概述并非意在確定所請求保護(hù)的主題的關(guān)鍵特征或必要特征，也并非意在用來幫助確定所請求保護(hù)的主題的范圍。
鑒于上述情況，描述了用于對弱光條件下的噪聲進(jìn)行建模的泊松量化噪聲模型。在一個方面，接收圖像信息。然后，根據(jù)泊松噪聲模型和量化噪聲模型生成泊松量化噪聲模型。接著，使用泊松量化噪聲模型估計圖像信息中的泊松量化噪聲。
附圖簡述 在以下討論的附圖中，組件的附圖標(biāo)記的最左位數(shù)字標(biāo)識該組件首先在其中出現(xiàn)的特定附圖。


圖1示出包括一種用于視頻內(nèi)容分析的視頻內(nèi)容分析引擎的示例性系統(tǒng)。
圖2是示例性視頻內(nèi)容分析引擎駐留在其上的計算設(shè)備的框圖。
圖3包括示出泊松量化噪聲的示例性均值和方差屬性的兩個圖表。
圖4示出用于泊松噪聲模型的示例性強(qiáng)度相似度函數(shù)。
圖5是標(biāo)識兩幀圖像信息之間的像素相關(guān)性的示例性方法的流程圖。
圖6是確定強(qiáng)度相似度函數(shù)的示例性方法的流程圖。
圖7示出可在其中基于泊松量化噪聲建立強(qiáng)度相似度函數(shù)的合適的計算環(huán)境的示例。
詳細(xì)描述 概要 以下公開的內(nèi)容描述了可用來對弱光條件下的噪聲進(jìn)行建模的泊松量化(PQ)噪聲模型。在一個實施例中，PQ噪聲模型可用來創(chuàng)建強(qiáng)度相似度函數(shù)。將理解的是，此處所使用的術(shù)語“強(qiáng)度相似度函數(shù)“和”強(qiáng)度相似度量度”是可互換的。一般而言，強(qiáng)度相似度量度表示一種概率，即對三維場景中同一點(或相同顏色的)的兩個略微不同的觀察是對同一點的觀察的概率。
在一個實施例中，強(qiáng)度相似度量度可用來計算強(qiáng)度相似度以處理視頻內(nèi)容。這些計算可能需要在視頻幀中找出像素對應(yīng)關(guān)系，該像素對應(yīng)關(guān)系可用于例如(尤其在弱光條件下的)降噪、對象跟蹤、圖案匹配等各種圖像處理操作。
現(xiàn)在更詳細(xì)地描述用于對泊松量化噪聲建模并基于此生成強(qiáng)度相似度函數(shù)的系統(tǒng)和方法的這些和其它方面。
示例性系統(tǒng) 盡管不是必需的，但在正由諸如個人計算機(jī)等計算設(shè)備執(zhí)行的計算機(jī)可執(zhí)行指令(程序模塊)的一般上下文中描述生成弱光條件下的泊松量化噪聲模型和強(qiáng)度相似度量度的系統(tǒng)和方法。程序模塊一般包括執(zhí)行特定任務(wù)或?qū)崿F(xiàn)特定抽象數(shù)據(jù)類型的例程、程序、對象、組件、數(shù)據(jù)結(jié)構(gòu)等。盡管在上述的上下文中描述系統(tǒng)和方法，但是將理解的是，以下所描述的動作和操作可在任何合適的硬件、軟件、固件或其組合中實現(xiàn)。
圖1示出用于處理視頻內(nèi)容的示例性系統(tǒng)100。在一個實現(xiàn)中，系統(tǒng)100可用來通過使用泊松量化噪聲模型來計算泊松量化噪聲。在一個實現(xiàn)中，經(jīng)計算的泊松量化噪聲被用來創(chuàng)建強(qiáng)度相似度量度。該強(qiáng)度相似度量度可用來處理由系統(tǒng)100捕獲的視頻內(nèi)容。例如，在一個實現(xiàn)中，強(qiáng)度相似度量度被用來找出諸視頻圖像之間的對應(yīng)關(guān)系。
系統(tǒng)100包括諸如照相機(jī)102的成像設(shè)備。照相機(jī)102包括光學(xué)器件、光檢測器106和視頻內(nèi)容分析引擎108。盡管成像設(shè)備被示出為數(shù)字照相機(jī)102，但是成像設(shè)備還可以是諸如常規(guī)模擬照相機(jī)、配備有成像設(shè)備的蜂窩電話、配備有成像設(shè)備的個人數(shù)字助理(PDA)、網(wǎng)絡(luò)攝像頭等任何類型的成像設(shè)備。被成像設(shè)備捕獲的對象圖像信息通常包括被光學(xué)器件104接收并發(fā)送到光檢測器106的光子噪聲112。光子噪聲112是由于光子不以穩(wěn)定的流到達(dá)光學(xué)器件104而產(chǎn)生的。取而代之，光子以一種與泊松噪聲模型相一致的起伏的方式到達(dá)。到達(dá)光檢測器106處的光子在這個強(qiáng)度上的瞬時波動在弱光條件下變得特別明顯，而在該弱光條件下，進(jìn)入的光子數(shù)是受限制的。
除了光子噪聲112之外，照相機(jī)102還會遇上包括量化噪聲的其它類型的噪聲。當(dāng)光檢測器106將輸入的光子能量數(shù)字化成量化的值而由此通過將入射光強(qiáng)度轉(zhuǎn)換成檢測器電流或信號來將光子變成電子時，產(chǎn)生量化噪聲。在光子受限的情況下，由于在受限的動態(tài)范圍中缺少強(qiáng)度分辨率，因此光子噪聲和量化噪聲成為主導(dǎo)。因此，量化噪聲和光子噪聲可對諸如夜視、醫(yī)學(xué)成像、水下成像、顯微鏡成像、天文成像和/或其它應(yīng)用等弱光視覺應(yīng)用產(chǎn)生特別有害的作用。
除了光子噪聲112和量化噪聲之外，諸如復(fù)位噪聲、暗電流噪聲和讀取噪聲等其它類型的噪聲也可能是顯著的。一般而言，這些類型的噪聲可能會嚴(yán)重降低照相機(jī)102中形成的圖像114的質(zhì)量。在高速成像中，泊松噪聲經(jīng)常變得顯著，并且泊松噪聲和量化噪聲的組合會大大造成觀測的不確定性。復(fù)位噪聲、暗電流噪聲和讀取噪聲可遵循泊松分布。然而，有時，也可用高斯噪聲對讀取噪聲建模。這是因為如果σ足夠大，則具有方差σ2和均值σ2的高斯噪聲與具有均值σ2的泊松噪聲幾乎完全一致而造成的。例如，當(dāng)在室溫下且采用高讀取頻率操作照相機(jī)102時，σ可足夠大以致滿足該條件。
視頻內(nèi)容分析引擎108可用來影響光子受限的圖像的圖像復(fù)原，否則這些圖像將遭受嚴(yán)重的惡化。如以下所討論的，視頻內(nèi)容分析引擎108通過對光子噪聲112、量化噪聲、復(fù)位噪聲、暗電流噪聲和讀取噪聲建模并創(chuàng)建強(qiáng)度相似度量度來實現(xiàn)此功能。這些操作在過濾各種類型的噪聲以改善圖像114的質(zhì)量方面是有用的。
計算機(jī)116被示為臺式計算機(jī)。然而，計算機(jī)116可替換地包括諸如筆記本或便攜式計算機(jī)、平板PC、蜂窩電話、個人數(shù)字助理(PDA)、工作站、大型計算機(jī)、服務(wù)器、因特網(wǎng)設(shè)備、機(jī)頂盒、以上的組合等各種其它類型的計算機(jī)和類似計算機(jī)的設(shè)備。在一個實現(xiàn)中，視頻內(nèi)容分析引擎108在計算機(jī)116上實現(xiàn)。在另一個實現(xiàn)中，視頻內(nèi)容分析引擎108的一部分駐留在計算機(jī)116上，而視頻內(nèi)容分析引擎108的另一部分駐留在計算機(jī)116外部的計算機(jī)可讀介質(zhì)上，或駐留在諸如照相機(jī)102等與計算機(jī)116分開的設(shè)備上。
計算機(jī)116通過本領(lǐng)域中公知的包括電話線、ISDN線的任何可能的連接類型耦合至諸如因特網(wǎng)等網(wǎng)絡(luò)120。此外，其它計算機(jī)122(1)-122(N)可連接至網(wǎng)絡(luò)120。按這種方式，計算機(jī)122(1)-122(N)可彼此、并與計算機(jī)116共享數(shù)據(jù)和指令。在一個實現(xiàn)中，這包括由計算機(jī)116通過網(wǎng)絡(luò)120與計算機(jī)122(1)-122(N)共享由照相機(jī)102捕獲的并由視頻內(nèi)容分析引擎108處理的視頻內(nèi)容。例如，在一個實現(xiàn)中，照相機(jī)102包括帶有成像設(shè)備的蜂窩電話。在該示例中，成像設(shè)備拍攝的圖像被視頻內(nèi)容分析引擎108處理。然后，這些圖像被傳送到計算機(jī)116、網(wǎng)絡(luò)120或計算機(jī)122(1)-122(N)。
示例性計算設(shè)備 盡管不是必需的，但在由諸如個人計算機(jī)等計算設(shè)備執(zhí)行的計算機(jī)可執(zhí)行指令(程序模塊)的一般上下文中描述基于PQ噪聲模型創(chuàng)建泊松量化噪聲模型和強(qiáng)度相似度量度的系統(tǒng)和方法。程序模塊一般包括執(zhí)行特定任務(wù)或?qū)崿F(xiàn)特定抽象數(shù)據(jù)類型的例程、程序、對象、組件、數(shù)據(jù)結(jié)構(gòu)等。盡管在上述上下文中描述系統(tǒng)和方法，但是以下描述的動作和操作也可在硬件、軟件、固件或硬件、軟件、固件等組合中實現(xiàn)。
圖2示出包括程序模塊202和程序數(shù)據(jù)204的示例性計算設(shè)備200。程序模塊202包括視頻內(nèi)容分析引擎108。視頻內(nèi)容分析引擎108包括PQ噪聲建模模塊206和強(qiáng)度相似度量度模塊208。程序模塊202還包括其它程序模塊210，諸如操作系統(tǒng)、像素對應(yīng)關(guān)系模塊和基于由PQ噪聲建模模塊206生成的PQ噪聲模型212和/或由強(qiáng)度相似度量度模塊208生成的強(qiáng)度相似度量度214執(zhí)行降噪應(yīng)用程序的一個或多個應(yīng)用程序。程序數(shù)據(jù)204包括PQ噪聲模型212、強(qiáng)度相似度量度214和例如輸入圖像數(shù)據(jù)、中間值和結(jié)果、以及強(qiáng)度觀測值等其它程序數(shù)據(jù)216。
對圖像序列的降噪可通過在序列中的圖像中找出像素對應(yīng)關(guān)系來實現(xiàn)。一旦獲得對應(yīng)關(guān)系，則通過為序列中的圖像中所找到的對應(yīng)像素的顏色/強(qiáng)度值選擇平均值或均值來平滑像素的顏色/強(qiáng)度值。按這種方式，可降低圖像中的噪聲。
強(qiáng)度相似度量度模塊208可用于尋找弱光條件下的像素對應(yīng)關(guān)系，因為強(qiáng)度相似度量度是構(gòu)建在基于物理的噪聲模型(即，PQ噪聲模型212)上的。為了計算強(qiáng)度相似度量度214，確定PQ噪聲模型212的參數(shù)q和q1。如將在下面更詳細(xì)地描述，這通過將觀測的噪聲數(shù)據(jù)應(yīng)用于校準(zhǔn)階段來實現(xiàn)。一旦獲得PQ噪聲模型212的參數(shù)q和q1，則可獲得該強(qiáng)度相似度量度214。以下還將更詳細(xì)地描述如何獲得相似度量度214的方法。將理解的是，如果圖像中的增益和白平衡參數(shù)是固定的，該計算只需要完成一次。
下面，導(dǎo)出作為弱光條件下的現(xiàn)實噪聲模型的PQ噪聲模型212。PQ噪聲模型212構(gòu)建在弱光條件中的兩個不可避免的噪聲源之上泊松噪聲和量化噪聲。PQ噪聲模型212針對由光子到達(dá)的本質(zhì)以及由光檢測器106處執(zhí)行的數(shù)字化處理而引起的不確定度。強(qiáng)度相似度量度214是基于PQ噪聲模型212的。強(qiáng)度相似度量度214在涉及強(qiáng)度區(qū)分的例如塊匹配、立體視覺、光流和圖像對齊等許多計算機(jī)視覺應(yīng)用中是有用的。強(qiáng)度相似度量度214可基于歐幾里德距離替換現(xiàn)有的強(qiáng)度距離函數(shù)。
泊松-量化噪聲模型 如以上所述，照相機(jī)102捕獲的視頻內(nèi)容的質(zhì)量易受由光子噪聲112和量化噪聲產(chǎn)生的不確定度影響。以下描述的泊松-量化(PQ)噪聲模型212針對該不確定度。
泊松噪聲模型 泊松噪聲由具有參數(shù)λ、對所有k∈N被以下概率所定義的泊松分布來建模 其中均值E和方差V定義如下 量化噪聲模型 如上面指出的，量化噪聲是圖像數(shù)據(jù)中被觀測的幅值在光檢測器106中的被舍入到離散值時所引起的不確定度。這是由于任何數(shù)字系統(tǒng)內(nèi)固有的有限的幅值分辨率(即，在模數(shù)轉(zhuǎn)換中，假定信號位于預(yù)先定義的范圍內(nèi))而引起的。
如果將觀測的強(qiáng)度提升一個級數(shù)所需的電子的最小數(shù)目為q，且eq是量化噪聲，則電子數(shù)按照光電轉(zhuǎn)換效率因子(傳感器的量子效率)與光子數(shù)成正比。由此，量化噪聲可建模為
其中N是由測量產(chǎn)生的電子的數(shù)目。更詳細(xì)的計算機(jī)視覺中的量化誤差分析可在B.Kamgar-Parsi和B.Kamgar-Parsi的“Evaluation of Quantization Errorin Computer Vision”(計算機(jī)視覺中量化誤差的估計)，IEEE Trans.Pattern Anal.Mach.Intell.，11(9)929940，1989中找到，它通過引入被納入于此。
泊松量化噪聲模型 根據(jù)到上述討論的泊松噪聲模型和量化噪聲模型，PQ噪聲模型212可按如下來形成。具有參數(shù)λ和量化變量Q＝{q0＝0，...，qk，...，qn+1＝∞}的泊松分布、對于所有k∈{0，...，n}可由概率p(k，λ，Q)定義為 其中量化參數(shù)qk表示用于產(chǎn)生強(qiáng)度級數(shù)為k的最小電子數(shù)。
在一個實現(xiàn)中，認(rèn)為量化間隔是不變的，即qk＝kq，并且觀測值被認(rèn)為是遠(yuǎn)沒有達(dá)到飽和。在這種情況中，量化間隔可被定義為賦予同樣輸出級數(shù)的輸入值的范圍，并且可以看出PQ噪聲模型212的行為與泊松噪聲模型的行為不同。
為了導(dǎo)出PQ噪聲模型212的均值E(λ，q)和方差V(λ，q)，X∈Z被認(rèn)為是具有特性函數(shù)φ(t)＝E(eitX)的離散隨機(jī)變量。由此，經(jīng)量化的版本Xq可由下式定義
此外，Xq的特性函數(shù)φq由下式給出 這可通過令pn＝P(X＝n)來證明。因此，Xq的特性函數(shù)φq為
由于函數(shù)
是以q為周期的，所以它可寫為三角多項式 使用離散傅里葉變換，它可以表示為 從而， 推論1.Xq的均值Eq和Xq的方差Vq可由均值E，方差V以及X的特性函數(shù)φ寫成 使用公式Eq＝-iφq′(0)和從對φq的求導(dǎo)計算產(chǎn)生以上這些公式。
此外，通過使用具有特性函數(shù)的泊松分布，獲得以下公式 (6) 注解1通過允許X成為

中的隨機(jī)變量并允許φX(t)成為X的特性函數(shù)，這個結(jié)果可擴(kuò)展至連續(xù)隨機(jī)變量的情形。然后可允許

作為X的量化版本。通過使用由在

上定義的周期為1的函數(shù)的傅里葉級數(shù)，即


的特性函數(shù)

可示出為
其中如果不存在收斂的話，則通過將n到-n的項集合在一起來求和。均值

可由下式獲得
這應(yīng)用于任何類型的分布，例如，可通過允許X作為遵循高斯定律N(μ，σ2)的隨機(jī)變量來導(dǎo)出高斯分布的均值。特性函數(shù)變?yōu)樗裕?
因為右邊的級數(shù)隨n成指數(shù)級減少，所以可獲得一個計算

的實用方法。
圖3示出普通泊松(P)噪聲模型和PQ噪聲模型212之間的區(qū)別(由以上示出的均值和方差等式來描繪)。在圖302中，示出對于P噪聲和PQ噪聲兩者關(guān)于具有q＝100的λ的均值的開方。由于量化噪聲的緣故，所以在PQ噪聲的均值中觀測到強(qiáng)烈振蕩，而對于λ，p噪聲的均值幾乎為線性。
類似地，圖304示出對于均值具有q＝100的P噪聲和PQ噪聲兩者的方差的開方。再次，由于量化噪聲，在PQ噪聲的均值中觀測到強(qiáng)烈的振蕩，而P噪聲的方差展現(xiàn)出與P噪聲的均值接近線性的關(guān)系。
圖302中的PQ噪聲的均值的振蕩，以及圖304中的PQ噪聲的方差按照以下公式成指數(shù)衰減 線性范圍的最小強(qiáng)度級數(shù)對應(yīng)于 在實踐中，由于由偏置電壓引起的函數(shù)偏移，使得q1不等于q。然而，在PQ噪聲模型212下，假設(shè)q0＝0且qk＝q1+(k-1)q，則通過用于上述等式(5)和(6)的相同推導(dǎo)是可能獲得滿足這個條件的E(λ，q)和V(λ，q)的。因此，當(dāng)E(λ，q)合理高時，即，當(dāng) 則E(λ，q)和V(λ，q)之間的以下關(guān)系保持在線性范圍中 這個結(jié)果的產(chǎn)生是因為假定所觀測的強(qiáng)度遠(yuǎn)沒有到達(dá)飽和從而可使用n＝∞的近似。將該問題一分為二，形成兩種情況。
情況1.如果q1≤q，且X(λ)是下式定義的偏移后的泊松分布中的離散隨機(jī)變量 則，
擁有期望的PQ分布。因此，可以看出，EX(λ)＝λ+q1-q且VX(λ)＝λ。
情況2.如果q1＞q，且X(λ)是離散隨機(jī)變量，它滿足 則
具有期望的PQ分布。當(dāng)λ為大時，近似式P(X＝0)≈0成立。因此，推得EX(λ)≈λ+q1-q和VX(λ)≈λ。
采用示出了的推論1和注解1，可推出 和 是位于線性范圍內(nèi)的。因此 PQ噪聲模型具有兩個未知參數(shù)q和q1。這些未知參數(shù)可通過將觀測到的噪聲數(shù)據(jù)代入上述等式(7)來測量得到。
強(qiáng)度相似度量度 兩個強(qiáng)度觀測值k和l之間的相似度經(jīng)常通過歐幾里德距離來測量，其中假定k和l是真實的信號，或者正采用的噪聲模型是沒有偏差的。然而，這種假定在弱光條件中不成立。對比之下，強(qiáng)度相似度量度214基于兩個強(qiáng)度觀測值來自同一個源強(qiáng)度的概率。為簡明起見，將在導(dǎo)出對PQ噪聲模型212的強(qiáng)度相似度量度之前導(dǎo)出對泊松噪聲情況的強(qiáng)度相似度量度。將理解的是，泊松噪聲模型可被認(rèn)為是PQ噪聲的一特殊情形，其中量化參數(shù)q＝q1＝1。
泊松噪聲情形 在泊松噪聲模型中，當(dāng)兩個觀測的強(qiáng)度來自同一個強(qiáng)度分布時，可假定這兩個觀測的強(qiáng)度共享同一個參數(shù)λ。鑒于此，獲得兩個觀測值k和l的概率為 由于參數(shù)λ是未知的，所以實際概率是無法計算的。然而，通過參考λ最大化該概率的最佳情況，可找到最大化k和l之間的相似度的量度。這個方法對應(yīng)于(k，l)對的觀測值的ML估計。因此，可通過令一階導(dǎo)數(shù)為零來獲得最佳
從而獲得 等式9最大化等式8中定義的概率。以此方式，按下式定義強(qiáng)度相似度函數(shù) 因為如果k＞0則d(k，k)＞0，所以這個相似度量度與距離的確切定義不一致。然而，該相似度量度不產(chǎn)生兩個觀測值之間的相似度。
圖4以圖示化的函數(shù)402示出等式(10)中定義的強(qiáng)度相似度函數(shù)。當(dāng)兩個觀測的強(qiáng)度級數(shù)都為高時，圖示化的函數(shù)402類似于范數(shù)l2。事實上，當(dāng)k和l足夠大時，d(k，l)與經(jīng)平方的范數(shù)l2有關(guān)。這可通過采用近似式ln(k！)≈kln(k)-k重寫等式(10)來示出 (11) 泊松量化噪聲情形 使用前一節(jié)中的推導(dǎo)，可公式化PQ噪聲模型212的強(qiáng)度相似度函數(shù)。聯(lián)合概率P由下式被定義為用量化Q觀察分別具有參數(shù)λk和λl的k和l的概率。
P(k，l，λk，λl，Q)＝p(k，λk，Q)p(l，λl，Q)， (12) 首先確定最大化概率P的參數(shù)

這等效于最大化兩個強(qiáng)度觀測值共享相同強(qiáng)度源的概率。當(dāng)λk＝λl時，認(rèn)為P(k，l，λ，Q)＝P(k，l，λk，λl，Q)。由于概率的對數(shù)-lnP是凸形的，所以存在這個最佳
等式(12)中的概率的對數(shù)-lnP的凸性可由以下示出 命題

是凸形的。
證明 因此，f是凸的。
返回到對PQ噪聲模型212的強(qiáng)度相似度函數(shù)的公式化 (1)如果k＝l，則P(k，k，λ，Q)的最大值由下式給出 這可從以上證明概率的對數(shù)-lnP的凸性中所描述該函數(shù)的一階導(dǎo)數(shù)中獲得。
(2)如果k≠l，則可通過最小化凸函數(shù)-lnP來獲得最佳

這可通過描述用于采用在P的一階導(dǎo)數(shù)上進(jìn)行二分搜索找出最佳

的簡單算法來實現(xiàn)。

P′的符號可通過計算下式的符號來確定 或者，為了找到最佳

還可使用諸如梯度下降、牛頓-拉夫遜等其它下降法。
通過使用等式(4)和(12)，將最佳

插入到以下函數(shù)來最終確定強(qiáng)度相似度函數(shù)。
處理視頻內(nèi)容的示例性程序 圖5a示出用于創(chuàng)建強(qiáng)度相似度量度表的示例性程序500。為了方便理解，方法500被描繪成圖5a中的獨立框所表示的各分立步驟。然而，這些分開描繪的步驟不應(yīng)被理解為依賴于它們執(zhí)行的必要順序。另外，出于討論目的，參考圖1-2中的元素描述方法500。這個流程圖可在任何合適的硬件、軟件、固件或其組合中實現(xiàn)。在軟件和固件的情況下，這個圖示表示實現(xiàn)為計算機(jī)可執(zhí)行指令的各組操作。組件的附圖標(biāo)記的最左位數(shù)字標(biāo)識該組件首先在其中出現(xiàn)的特定附圖。
在框502處，接收圖像信息。例如，使用照相機(jī)102或任何其它合適的攝像設(shè)備來采集視頻信息?；蛘撸障鄼C(jī)102或其它任何合適的攝像設(shè)備可用來采集目標(biāo)對象的若干靜態(tài)幀。
在框504處，累積并存儲框502接收到的圖像信息。圖像的累積可包括例如搜集大約1000張圖像。然而，還將理解的是，可在框504處積累更多或更少的圖像。累積的圖像信息可存儲在包括與計算機(jī)116、照相機(jī)102或視頻內(nèi)容分析引擎108相關(guān)聯(lián)的存儲器的任何合適的存儲設(shè)備中。
在框506處，框504所存儲的積累的圖像信息被用來校準(zhǔn)未校準(zhǔn)的泊松量化(PQ)噪聲模型(框508) 其中量化參數(shù)qk表示產(chǎn)生強(qiáng)度級數(shù)k的最小電子數(shù)目。PQ噪聲模型具有兩個未知的參數(shù)q和q1。事實上，由于偏置電壓引起的函數(shù)偏移，使得q1不等于q。然而，可通過將觀測的噪聲數(shù)據(jù)代入下式(7)來估計這些未知參數(shù)(框506) 一旦估計了參數(shù)q和q1，它們和等式4一起使用以建立具有確定的參數(shù)q和q1的經(jīng)校準(zhǔn)的PQ噪聲模型(框510)。
然后，這個具有確定的參數(shù)q和q1的經(jīng)校準(zhǔn)的PQ噪聲模型被用來建立強(qiáng)度相似度量度(框514)。基于強(qiáng)度測量值來自同一源強(qiáng)度的概率計算強(qiáng)度相似度量度。在一個實現(xiàn)中，強(qiáng)度相似度量度根據(jù)遵循以下公式的強(qiáng)度相似度函數(shù)來計算 一旦經(jīng)計算，強(qiáng)度相似度量度被用來建立強(qiáng)度相似度量度表(框516)。在創(chuàng)建強(qiáng)度相似度量度表(框516)時，對觀測值k和l的每個組合計算強(qiáng)度相似度。因此，該表變成對稱正方矩陣，其中行和列的數(shù)目是離散觀測值的數(shù)目，例如，當(dāng)觀測的范圍是0-255時，則行和列的數(shù)目變成256。一旦被創(chuàng)建，強(qiáng)度相似度表(框518)對兩個強(qiáng)度觀測值提供強(qiáng)度相似度量度。例如，當(dāng)觀測了兩個強(qiáng)度值k和l，則可通過查找強(qiáng)度相似度量度表518來測量強(qiáng)度相似度。
處理視頻內(nèi)容的示例性程序 圖5b示出尋找圖像信息的兩個幀之間的像素對應(yīng)關(guān)系的示例性程序530。為了便于理解，方法500被描繪為圖5b中的獨立框所表示的分立步驟。然而，這些分開描繪的步驟不應(yīng)被理解為依賴于它們執(zhí)行的必要順序。另外，出于討論目的，參考圖1-2和5a中的元素描述方法530。這個流程圖可在任何合適的硬件、軟件、固件或其組合中實現(xiàn)。在軟件和固件的情況下，這個圖示表示實現(xiàn)為計算機(jī)可執(zhí)行指令的各組操作。組件的附圖標(biāo)記的最左位數(shù)字標(biāo)識該組件首先在其中出現(xiàn)的特定附圖。
一旦創(chuàng)建了強(qiáng)度量度表518，可利用它找出兩個圖像之間的像素對應(yīng)關(guān)系。例如，在框532處，接收圖像信息。這個圖像信息可以是在方法500中的框502處接收到的同一圖像信息，或者它可以是新的圖像信息。該圖像信息還可包括使用照相機(jī)102或任何其它合適的攝像設(shè)備所采集到的視頻信息?；蛘?，在另一個可能的實施中，照相機(jī)102或任何其它合適的攝像設(shè)備可用來采集目標(biāo)對象的若干靜態(tài)幀。
在框534處，選擇來自視頻信息或?qū)o態(tài)幀的采集中的兩個幀。
在框536處，使用預(yù)先計算出的強(qiáng)度相似度量度表(框518)比較兩個圖像，并且可使用本領(lǐng)域中已知的塊匹配光流估計(block matching opticalflow estimation)或任何其它合適的方法找出兩個幀之間的像素對應(yīng)關(guān)系。
創(chuàng)建PQ噪聲模型的示例性程序 圖6示出導(dǎo)出強(qiáng)度相似度量度的示例性程序600。為了便于理解，方法600被描繪為圖6中的獨立框所表示的分立步驟。然而，這些分開描繪的步驟不應(yīng)被理解為依賴于它們執(zhí)行的必要順序。另外，出于討論目的，參考圖1-2中的元素描述方法600。這個流程圖可在任何合適的硬件、軟件、固件或其組合中實現(xiàn)。在軟件和固件的情況下，這個圖示表示實現(xiàn)為計算機(jī)可執(zhí)行指令的各組操作。組件的附圖標(biāo)記的最左位數(shù)字標(biāo)識該組件首先在其中出現(xiàn)的特定附圖。
方法600被用來基于兩個強(qiáng)度觀測值來自同一源強(qiáng)度的概率來導(dǎo)出強(qiáng)度相似度量度。在框602處，聯(lián)合概率P由下式被定義為用量化Q觀察分別具有參數(shù)λk和λl的k和l的概率 P(k，l，λk，λl，Q)＝p(k，λk，Q)p(l，λl，Q)， (12) 在框604處，孤立聯(lián)合函數(shù)P的各最大值，以致

這等效于找出兩個強(qiáng)度觀測值共享同一強(qiáng)度源的概率的各最大值。當(dāng)λk＝λl，認(rèn)為P(k，l，λ，Q)＝P(k，l，λk，λl，Q)。然而，由于概率的對數(shù)-lnP是凸形，所以存在對應(yīng)于

的各最大值。
在框606處，觀測強(qiáng)度觀測值k和l以確定它們是否相等。如果是(框606的“是”路徑)，則使用以下公式找出P(k，k，λ，Q)的各最大值 (框608) 或者，如果在框606處，強(qiáng)度觀測值k和l被確定為不相等(框606的“否”路徑)，則對P的一階導(dǎo)數(shù)進(jìn)行二分搜索以找到對應(yīng)于凸函數(shù)-lnP的各最小值的

(框610)。在一個實現(xiàn)中，使用以下算法對P的一階導(dǎo)數(shù)進(jìn)行二分搜索
或者，為了找到最佳

還可使用諸如梯度下降、牛頓-拉夫遜等其它下降方法。
P′的符號可通過計算下式的符號來確定(框612) 一旦在框608或框610-612處找到最佳

則方法600利用

的最佳值通過將最佳

插入到以下函數(shù)中來確定強(qiáng)度相似度函數(shù)(框614) 根據(jù)該強(qiáng)度相似度函數(shù)可計算強(qiáng)度相似度量度。
示例性操作環(huán)境 圖7示出合適的計算環(huán)境的示例，其中可使用泊松量化(PQ)噪聲模型來創(chuàng)建強(qiáng)度相似度量度。示例性計算環(huán)境700只是圖1的示例性系統(tǒng)、圖2的示例性計算設(shè)備和圖5-6的示例性操作的合適計算環(huán)境的一個示例，而并不意在暗示對此處描述的系統(tǒng)和方法的使用或功能的范圍的任何限制。也不應(yīng)將計算環(huán)境700解釋為對計算環(huán)境700所示出的組件中的任何一個或其組合具有任何依賴或要求。
此處所描述的方法和系統(tǒng)可采用眾多其它通用或?qū)Ｓ糜嬎阆到y(tǒng)來操作。適用的眾知的計算系統(tǒng)、環(huán)境和/或配置的示例包括，但不限于，個人計算機(jī)、服務(wù)器計算機(jī)、多處理器系統(tǒng)、基于微處理器的系統(tǒng)、網(wǎng)絡(luò)PC、小型計算機(jī)、大型計算機(jī)、包括任何以上系統(tǒng)或設(shè)備的分布式計算環(huán)境等。該框架的壓縮或子集版本也可在諸如手持式計算機(jī)或其它計算設(shè)備等具有有限資源的客戶機(jī)上實現(xiàn)。本發(fā)明在分布式計算環(huán)境中被實踐，在該環(huán)境中，由通過通信網(wǎng)絡(luò)鏈接的遠(yuǎn)程處理設(shè)備執(zhí)行任務(wù)。在分布式計算環(huán)境中，程序模塊可位于本地和遠(yuǎn)程存儲器存儲設(shè)備兩者上。
參考圖7，一種用于基于PQ噪聲模型來計算強(qiáng)度相似度量度的示例性系統(tǒng)包括一通用計算設(shè)備，該設(shè)備采用實現(xiàn)例如圖2的計算設(shè)備200的計算機(jī)710的形式。計算機(jī)710的以下所描述的各方面是計算設(shè)備200、計算機(jī)116計算機(jī)122(1)-122(N)和照相機(jī)102的示例性實現(xiàn)。計算機(jī)710的組件可包括(但不限于)(諸)處理單元720、系統(tǒng)存儲器730以及將包括系統(tǒng)存儲器的各種系統(tǒng)組件耦合至處理單元720的系統(tǒng)總線721。系統(tǒng)總線721可以是幾種類型的總線結(jié)構(gòu)中的任一種，包括存儲器總線或存儲器控制器、外圍總線、和采用各種總線體系結(jié)構(gòu)中的任一種的局部總線。作為示例，而并非限制，這樣的體系結(jié)構(gòu)包括工業(yè)標(biāo)準(zhǔn)體系結(jié)構(gòu)(ISA)總線、微通道體系結(jié)構(gòu)(MCA)總線、增強(qiáng)型ISA(EISA)總線、視頻電子標(biāo)準(zhǔn)協(xié)會(VESA)局部總線、以及也被稱為夾層(Mezzanine)總線的外圍部件互聯(lián)(PCI)總線。
計算機(jī)710通常包括各種計算機(jī)可讀介質(zhì)。計算機(jī)可讀介質(zhì)可以是能被計算機(jī)710訪問的任何可用介質(zhì)，包括易失性和非易失性介質(zhì)、可移動和不可移動介質(zhì)。作為示例，而并非限制，計算機(jī)可讀介質(zhì)可包括計算機(jī)存儲介質(zhì)和通信介質(zhì)。計算機(jī)儲存介質(zhì)包括以用來存儲諸如計算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或其它數(shù)據(jù)等信息的任何方法或技術(shù)實現(xiàn)的易失性和非易失性的、可移動的和不可移動的介質(zhì)。計算機(jī)存儲介質(zhì)包括，但不限于，RAM、ROM、EEPROM、閃存或其它存儲器技術(shù)、CD-ROM、數(shù)字多功能盤(DVD)或其它光盤存儲、磁帶盒、磁帶、磁盤存儲或其它磁存儲設(shè)備、或可用來儲存所期望的信息并能被計算機(jī)710訪問的任何其它介質(zhì)。
通信介質(zhì)通常以諸如載波或其它傳輸機(jī)制等已調(diào)制數(shù)據(jù)信號來體現(xiàn)計算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或其它數(shù)據(jù)，并包括任何信息傳遞介質(zhì)。術(shù)語″已調(diào)制數(shù)據(jù)信號″指的是將其一個或多個特性以在該信號中編碼信息的方式來設(shè)置或改變的信號。作為示例而非限制，通信介質(zhì)包括有線介質(zhì)，例如有線網(wǎng)絡(luò)或直接線連接，以及無線介質(zhì)，例如聲學(xué)、RF、紅外線和其它無線介質(zhì)。上述的任何一種的組合也應(yīng)該被包括在計算機(jī)可讀介質(zhì)的范圍之內(nèi)。
系統(tǒng)存儲器730包括諸如只讀存儲器(ROM)731和隨機(jī)存取存儲器(RAM)732等易失性和/或非易失性存儲器形式的計算機(jī)存儲介質(zhì)。包含(例如在啟動期間)幫助在計算機(jī)710內(nèi)的元件之間傳輸信息的基本例程的基本輸入/輸出系統(tǒng)733(BIOS)通常存儲在ROM 731中。RAM 732通常包含處理單元720直接可訪問和/或當(dāng)前正在操作的數(shù)據(jù)和/或程序模塊。作為示例，而不是限制，圖7示出了操作系統(tǒng)734、應(yīng)用程序735、其它程序模塊736以及程序數(shù)據(jù)737。
計算機(jī)710還可包括其它可移動/不可移動、易失性/非易失性計算機(jī)存儲介質(zhì)。僅作為示例，圖7示出了讀取和寫入不可移動、非易失性磁介質(zhì)的硬盤驅(qū)動器741，讀取和寫入可移動、非易失性磁盤752的磁盤驅(qū)動器751，以及讀取和/或?qū)懭胫T如CD ROM或其它光介質(zhì)等可移動、非易失性光盤756的光盤驅(qū)動器755。能用于該示例性操作環(huán)境的其它可移動/不可移動、易失性/非易失性計算機(jī)存儲介質(zhì)包括，但不限于，磁帶盒、閃存卡、數(shù)字多功能盤、數(shù)字視頻帶、固態(tài)RAM、固態(tài)ROM等等。硬盤驅(qū)動器741通常通過諸如接口740等不可移動存儲器接口與系統(tǒng)總線721相連，磁盤驅(qū)動器751和光盤驅(qū)動器755通常由諸如接口750等可移動存儲器接口與系統(tǒng)總線721相連。
上面討論的并在圖7中示出的驅(qū)動器及其相關(guān)聯(lián)的計算機(jī)存儲介質(zhì)為計算機(jī)710提供了對計算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊及其它數(shù)據(jù)的存儲。在圖7中，例如，硬盤驅(qū)動器741被示為存儲操作系統(tǒng)744、應(yīng)用程序745、其它程序模塊746、及程序數(shù)據(jù)747。注意，這些組件可以與操作系統(tǒng)734、應(yīng)用程序735、其它程序模塊736、以及程序數(shù)據(jù)737相同或不同。應(yīng)用程序735包括例如圖1的計算設(shè)備102或104的程序模塊。操作系統(tǒng)744、應(yīng)用程序745、其它程序模塊746、及程序數(shù)據(jù)747在此處被賦予不同的標(biāo)號用來說明至少它們是不同的副本。
用戶可以通過諸如鍵盤762和定點設(shè)備761(通常指鼠標(biāo)、跟蹤球或觸摸墊)等輸入設(shè)備將命令和信息輸入到計算機(jī)710中。其它輸入設(shè)備(未示出)可以包括話筒、操縱桿、游戲手柄、圓盤式衛(wèi)星天線、掃描儀等等。這些及其它輸入設(shè)備通常通過耦合至系統(tǒng)總線721的用戶輸入接口760連接至處理單元720，但也可通過其它接口和總線結(jié)構(gòu)，例如并行端口、游戲端口、或通用串行總線(USB)來連接。
監(jiān)視器791或其它類型的顯示設(shè)備也通過諸如視頻接口790等接口連接至系統(tǒng)總線721。除了監(jiān)視器之外，計算機(jī)還可包括諸如打印機(jī)796和(諸)音頻設(shè)備797等其它外圍輸出設(shè)備，它們可通過輸出外圍接口795被連接。
計算機(jī)710采用與諸如遠(yuǎn)程計算機(jī)780等一個或多個遠(yuǎn)程計算機(jī)的邏輯連接在聯(lián)網(wǎng)環(huán)境中操作。在一個實現(xiàn)中，遠(yuǎn)程計算機(jī)780表示圖1的計算設(shè)備102或聯(lián)網(wǎng)的計算機(jī)104。遠(yuǎn)程計算機(jī)780可以是個人計算機(jī)、服務(wù)器、路由器、網(wǎng)絡(luò)PC、對等設(shè)備、或其它常見的網(wǎng)絡(luò)節(jié)點，并且作為其特定實現(xiàn)的一個功能，它可包括許多或全部以上關(guān)于計算機(jī)710所描述的元件，盡管圖7中只示出一個存儲器存儲設(shè)備781。圖7所示的邏輯連接包括局域網(wǎng)(LAN)771和廣域網(wǎng)(WAN)773，但還可包括其它網(wǎng)絡(luò)。這樣的網(wǎng)絡(luò)連接環(huán)境在辦公室、企業(yè)范圍計算機(jī)網(wǎng)絡(luò)、內(nèi)聯(lián)網(wǎng)和因特網(wǎng)中是常見的。
當(dāng)在LAN網(wǎng)絡(luò)連接環(huán)境中使用時，計算機(jī)710通過網(wǎng)絡(luò)接口或適配器770連接至LAN 771。當(dāng)在WAN網(wǎng)絡(luò)連接環(huán)境中使用時，計算機(jī)710通常包括調(diào)制解調(diào)器772，或用于通過諸如因特網(wǎng)等WAN 773建立通信的其它裝置。可內(nèi)置或外置的調(diào)制解調(diào)器772可通過用戶輸入接口760或其它合適的機(jī)制連接至系統(tǒng)總線721。在聯(lián)網(wǎng)環(huán)境中，相對于計算機(jī)710所描繪的程序模塊或其部分可以存儲在遠(yuǎn)程存儲器存儲設(shè)備中。作為示例，而非限制，圖7將遠(yuǎn)程應(yīng)用程序785示為駐留在存儲設(shè)備781中。所示出的網(wǎng)絡(luò)連接是示例性的，并且可以采用在計算機(jī)之間建立通信鏈路的其它手段。
結(jié)論 盡管用對結(jié)構(gòu)性特征和/或方法性動作專用的語言描述了該主題，但應(yīng)該理解，所附權(quán)利要求中定義的主題并不必然局限于所描述的具體特征或動作。相反，這些具體特征和動作是作為實現(xiàn)所請求保護(hù)的發(fā)明的示例性形式而公開的。
權(quán)利要求
1.一種計算機(jī)實現(xiàn)的方法，包括
接收圖像信息；
從泊松噪聲模型和量化噪聲模型生成泊松量化噪聲模型；以及
使用所述泊松量化噪聲模型來估計所述圖像信息中的泊松量化噪聲。
2.如權(quán)利要求1所述的方法，其特征在于，所述接收包括接收圖像信息中的至少兩幀。
3.如權(quán)利要求1所述的方法，其特征在于，所述生成包括組合所述泊松噪聲模型和所述量化噪聲模型。
4.如權(quán)利要求1所述的方法，其特征在于，所述泊松噪聲模型包括
其中k表示強(qiáng)度級數(shù)，λ表示強(qiáng)度源，以及Q表示量化變量。
5.如權(quán)利要求1所述的方法，其特征在于，還包括
使用所述泊松量化噪聲模型來確定強(qiáng)度相似度函數(shù)；以及
使用所述強(qiáng)度相似度函數(shù)來尋找像素對應(yīng)關(guān)系。
6.如權(quán)利要求5所述的方法，其特征在于，所述強(qiáng)度相似度函數(shù)包括
其中k和l表示兩個強(qiáng)度觀測值，λ表示強(qiáng)度源，P表示聯(lián)合概率，
表示最大化所述聯(lián)合概率P的強(qiáng)度源，以及Q表示量化變量。
7.如權(quán)利要求5所述的方法，其特征在于，所述確定包括尋找兩個強(qiáng)度觀測值k和l共享同一強(qiáng)度源的最大聯(lián)合概率。
8.如權(quán)利要求7所述的方法，其特征在于，所述尋找包括對所述聯(lián)合概率的一階導(dǎo)數(shù)進(jìn)行二分搜索以尋找對應(yīng)于凸函數(shù)-ln(P)的各最小值的
9.如權(quán)利要求7所述的方法，其特征在于，所述尋找包括執(zhí)行梯度下降法和執(zhí)行牛頓-拉夫遜下降法中的一個以尋找所述最佳
10.一個或多個具有處理器可執(zhí)行的計算機(jī)程序指令的計算機(jī)可讀介質(zhì)，所述指令用于
接收圖像信息中的兩個幀；
估計泊松量化噪聲模型的量化參數(shù)；以及
建立強(qiáng)度相似度量度。
11.如權(quán)利要求10所述的一個或多個計算機(jī)可讀介質(zhì)，其特征在于，所述估計包括將觀測的噪聲數(shù)據(jù)代入下式
其中V表示方差，E表示均值，q表示將觀測的強(qiáng)度提升一個級數(shù)所必需的電子數(shù)目，以及q1表示產(chǎn)生強(qiáng)度級數(shù)為1的最小電子數(shù)目。
12.如權(quán)利要求10所述的一個或多個計算機(jī)可讀介質(zhì)，其特征在于，所述泊松量化噪聲模型包括
其中k表示強(qiáng)度級數(shù)，λ表示強(qiáng)度源，Q表示量化變量，以及qk表示產(chǎn)生強(qiáng)度級數(shù)為k的最小電子數(shù)目。
13.如權(quán)利要求10所述的一個或多個計算機(jī)可讀介質(zhì)，其特征在于，所述計算機(jī)程序指令還包括用于基于所述強(qiáng)度相似度量度來尋找所述兩幀之間的像素對應(yīng)關(guān)系的指令。
14.如權(quán)利要求10所述的一個或多個計算機(jī)可讀介質(zhì)，其特征在于，所述建立包括計算所述強(qiáng)度相似度量度
其中k和l表示兩個強(qiáng)度觀測值，λ表示強(qiáng)度源，P表示聯(lián)合概率，
表示最大化所述聯(lián)合概率P的強(qiáng)度源，Q表示量化變量，以及qk表示產(chǎn)生強(qiáng)度級數(shù)為k的最小電子數(shù)目。
15.一種計算設(shè)備，包括
處理器；
估計泊松量化噪聲的、可在所述處理器上執(zhí)行的泊松量化噪聲建模模塊；以及
用于基于所述估計的泊松量化噪聲來確定強(qiáng)度相似度函數(shù)的、可在所述處理器上執(zhí)行的強(qiáng)度相似度量度模塊。
16.如權(quán)利要求16所述的計算設(shè)備，其特征在于，所述泊松量化噪聲建模模塊使用包括下式的泊松量化噪聲模型來估計泊松量化噪聲
其中k表示強(qiáng)度級數(shù)，λ表示強(qiáng)度源，Q表示量化變量，以及qk表示產(chǎn)生強(qiáng)度級數(shù)為k的最小電子數(shù)目。
17.如權(quán)利要求16所述的計算設(shè)備，其特征在于，所述泊松量化噪聲模塊估計用于兩個圖像幀的量化參數(shù)。
18.如權(quán)利要求16所述的計算設(shè)備，其特征在于，所述強(qiáng)度相似度函數(shù)包括
其中k和l表示兩個強(qiáng)度觀測值，λ表示強(qiáng)度源，P表示聯(lián)合概率，
表示最大化所述聯(lián)合強(qiáng)度P的強(qiáng)度源，Q表示量化變量，以及qk表示產(chǎn)生強(qiáng)度級數(shù)為k的最小電子數(shù)目。
19.如權(quán)利要求16所述的計算設(shè)備，其特征在于，所述計算設(shè)備被用來改善夜視、醫(yī)療成像、水下成像、顯微鏡成像和天文成像之一的圖像。
20.如權(quán)利要求16所述的計算設(shè)備，還包括
用于基于所述強(qiáng)度相似度函數(shù)來尋找各圖像幀之間的像素對應(yīng)關(guān)系的像素對應(yīng)關(guān)系模塊。
全文摘要
描述一種用于對弱光條件下的噪聲進(jìn)行建模的泊松量化噪聲模型。在一個方面，接收圖像信息。然后，從泊松噪聲模型和量化噪聲模型生成泊松量化噪聲模型。接著，使用該泊松量化噪聲模型估計圖像信息中的泊松量化噪聲。
文檔編號G06K9/62GK101341497SQ200680048131
公開日2009年1月7日 申請日期2006年12月19日 優(yōu)先權(quán)日2005年12月21日
發(fā)明者Y·松下, X·湯, F·奧爾特 申請人:微軟公司