專利名稱：用于去除運(yùn)動(dòng)模糊效應(yīng)的方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及運(yùn)動(dòng)模糊的檢測(cè)和去除，具體地說，本發(fā)明涉及一 種用于運(yùn)動(dòng)校正和產(chǎn)生無(wú)運(yùn)動(dòng)模糊的圖像的方法和裝置。
背景技術(shù)：
數(shù)字?jǐn)z影已經(jīng)越來(lái)越引人注意和流行。對(duì)于業(yè)余攝影師來(lái)說尤 其如此。還發(fā)現(xiàn)數(shù)字?jǐn)z影越來(lái)越多的用在商業(yè)和貿(mào)易中。能夠?qū)?shù)字 圖像加入電子文件中的即時(shí)轉(zhuǎn)變和簡(jiǎn)單性已經(jīng)使數(shù)字圖像技術(shù)成為 記錄圖像的最理想的形式之一。
傳統(tǒng)市場(chǎng)已經(jīng)銷售許多具有內(nèi)置模糊校正功能的手持裝置(例 如數(shù)字式攝像機(jī)等)，其能夠防止由模糊(例如在圖像拍攝期間由用 戶所引起的相機(jī)震動(dòng))所引起的對(duì)拍攝圖像的不利影響。同樣，在快 速移動(dòng)物體的圖像拍攝期間在手持裝置上拍攝的圖像可能會(huì)由于不 必要的震動(dòng)而引起〃運(yùn)動(dòng)模糊〃。對(duì)于曝光時(shí)間有可能相當(dāng)長(zhǎng)的靜止圖 像以及對(duì)于難以穩(wěn)定地進(jìn)行圖像拍攝的輕型手持裝置(例如移動(dòng)電話 照相機(jī))來(lái)說尤其如此。
典型地，已經(jīng)應(yīng)用各種模糊校正技術(shù)來(lái)抵消運(yùn)動(dòng)模糊對(duì)拍攝圖
像的不利影響。例如，US 2004/0130628 Al披露了這樣一種方法，
其中數(shù)字圖像的拍攝被延遲，直到數(shù)字照相機(jī)的運(yùn)動(dòng)滿足一種特定的
運(yùn)動(dòng)標(biāo)準(zhǔn)。依據(jù)這種方法，分析所述運(yùn)動(dòng)因數(shù)并延遲圖像的拍攝，直
到通過跟蹤方法和用來(lái)延遲圖像拍攝的控制邏輯檢測(cè)到?jīng)]有進(jìn)一步
的運(yùn)動(dòng)。然而，一旦拍攝了圖像，則不再對(duì)拍攝的圖像執(zhí)行進(jìn)一步的運(yùn)
動(dòng)處理或分析。
另外，其它模糊校正功能可被分成兩類。第一，在機(jī)械和光學(xué)校 正系統(tǒng)中，通過機(jī)械傳感器(加速度計(jì))來(lái)捕獲像集(image set) 的運(yùn)動(dòng)，并通過光學(xué)裝置(例如形變棱鏡)進(jìn)行補(bǔ)償以使得所述圖像在所述傳感器上保持穩(wěn)定。例如，諸如振動(dòng)陀螺儀的傳感器對(duì)運(yùn)動(dòng)進(jìn) 行檢測(cè)并根據(jù)檢測(cè)結(jié)果改變可變頂角棱鏡的頂角或者偏移圖像感測(cè) 透鏡的一部分，由此防止圖像感測(cè)表面上的捕獲圖像變得模糊。
其次，在數(shù)字圖像處理校正系統(tǒng)中，通過對(duì)圖像進(jìn)行靜態(tài)分析 來(lái)估計(jì)導(dǎo)致模糊的運(yùn)動(dòng)、然后應(yīng)用校正以對(duì)其進(jìn)行補(bǔ)償?shù)姆椒?，?lái)對(duì) 所述捕獲的圖像進(jìn)行"脫機(jī)"處理。換句話說，根據(jù)相機(jī)震動(dòng)來(lái)改變將 在顯示器上顯示的通過圖像感測(cè)器件(諸如CCD)感測(cè)的圖像的部分， 從而在顯示器上顯示沒有模糊的圖像。
然而，這些傳統(tǒng)的模糊去除技術(shù)由于種種因素常常不令人滿意。 雖然機(jī)械和光學(xué)校正系統(tǒng)能給出優(yōu)秀的結(jié)果，但由于將它們集成到手 持裝置中所需的高成本使得它們主要用在高端裝置上。此外它們的尺 寸使它們不適于裝配到愈來(lái)愈小的手持裝置中。另一個(gè)限制是它們只 能補(bǔ)償相機(jī)運(yùn)動(dòng)，而不能對(duì)圖像去模糊以補(bǔ)償運(yùn)動(dòng)物體的模糊效應(yīng)。
類似地，數(shù)字圖像處理校正方法的質(zhì)量有限，因?yàn)閳D像恢復(fù)對(duì) 于運(yùn)動(dòng)的精確模型是非常敏感的。首先，運(yùn)動(dòng)信息在處理時(shí)是不可用 的，并且可以通過靜態(tài)圖像分析來(lái)執(zhí)行的運(yùn)動(dòng)估計(jì)是困難且不穩(wěn)定 的。尤其是，該系統(tǒng)受限于對(duì)象運(yùn)動(dòng)涉及任意方向的全局平移的情況， 即不必平行于所述圖像的水平或者垂直軸之一的情況。此外，該系統(tǒng) 在運(yùn)動(dòng)不是全局平移但是還包括旋轉(zhuǎn)的情況下、以及運(yùn)動(dòng)不是均勻的 而是圖像的一些區(qū)域具有不同的特定運(yùn)動(dòng)的情形下也執(zhí)行不好。
因此，期望實(shí)現(xiàn)一種主要用于對(duì)通過手持裝置(例如攝像機(jī)、
移動(dòng)電話攝像頭等)獲得的運(yùn)動(dòng)圖像的模糊進(jìn)行校正的改進(jìn)的數(shù)字運(yùn) 動(dòng)模糊去除方法和一種相應(yīng)的裝置，其能避免上述的問題并且可以低
廉簡(jiǎn)單地實(shí)現(xiàn)。

發(fā)明內(nèi)容
因此，本發(fā)明的目的是提供一種通過使用從就在將要被校正的 圖像被捕獲之前捕獲圖像序列所提取的運(yùn)動(dòng)信息中去除與圖像或者 畫面的不穩(wěn)定捕獲有關(guān)的運(yùn)動(dòng)模糊來(lái)生成并顯示沒有模糊的數(shù)字圖 像的改進(jìn)的方法和裝置。具體地說，本發(fā)明包括估計(jì)先前圖像序列的運(yùn)動(dòng)信息，使用運(yùn)動(dòng)估計(jì)技術(shù)對(duì)它們進(jìn)行分析，然后根據(jù)所述運(yùn)動(dòng)估 計(jì)信息外推將要被校正的圖像的運(yùn)動(dòng)。
具體地說，本發(fā)明提供一種對(duì)進(jìn)行運(yùn)動(dòng)校正的數(shù)字圖像去除運(yùn) 動(dòng)模糊效應(yīng)的方法，其中所述方法包括步驟(a)從在捕獲所述數(shù)字 圖像之前捕獲的圖像序列中提取運(yùn)動(dòng)信息；(b)提取捕獲數(shù)字圖像的 開始時(shí)間和結(jié)束時(shí)間的定時(shí)信息；(C)通過根據(jù)運(yùn)動(dòng)估計(jì)技術(shù)使用所 述提取的運(yùn)動(dòng)信息和定時(shí)信息對(duì)圖像執(zhí)行圖像分析來(lái)產(chǎn)生用于所述 圖像序列的估計(jì)運(yùn)動(dòng)信息；(d)使用所述估計(jì)的運(yùn)動(dòng)信息來(lái)外推在捕 獲所述數(shù)字圖像的開始時(shí)間和結(jié)束時(shí)間之間的時(shí)間間隔中數(shù)字圖像 的運(yùn)動(dòng)信息；以及(e)使用所述外推的運(yùn)動(dòng)信息補(bǔ)償數(shù)字圖像的運(yùn)動(dòng) 以去除數(shù)字圖像的模糊效應(yīng)。
還可以包括下面的一個(gè)或者多個(gè)特征。
在本發(fā)明的一個(gè)方面中，產(chǎn)生估計(jì)運(yùn)動(dòng)信息的步驟包括為所述 圖像的每個(gè)像素或者像素塊提供估計(jì)運(yùn)動(dòng)矢量。
在另一個(gè)方面中，所述方法還包括使用全局運(yùn)動(dòng)估計(jì)模型來(lái)提 供估計(jì)運(yùn)動(dòng)矢量。而且，從一個(gè)圖像至下一個(gè)圖像使用全局運(yùn)動(dòng)估計(jì) 模型的步驟包括將圖像細(xì)分成塊，對(duì)每個(gè)塊應(yīng)用塊匹配算法，以及 產(chǎn)生與塊的數(shù)量相同的運(yùn)動(dòng)矢量。
在又一個(gè)方面中，所述方法還包括關(guān)于塊運(yùn)動(dòng)矢量使用一個(gè)中 值濾波器和導(dǎo)出一個(gè)全局運(yùn)動(dòng)矢量。
此外，所述方法還可以包括產(chǎn)生對(duì)應(yīng)于水平(dx)運(yùn)動(dòng)平移和 垂直(dy)運(yùn)動(dòng)平移的運(yùn)動(dòng)矢量，以及產(chǎn)生對(duì)應(yīng)于運(yùn)動(dòng)的旋轉(zhuǎn)平移的 運(yùn)動(dòng)矢量。
此外，產(chǎn)生估計(jì)運(yùn)動(dòng)信息的步驟可以包括為每個(gè)運(yùn)動(dòng)矢量計(jì)算 一個(gè)逼近時(shí)間函數(shù)，并且使得圖像序列(n-l)的估計(jì)偏移的誤差判據(jù) 最小化。
本發(fā)明還涉及一種被配置用于對(duì)受到運(yùn)動(dòng)校正的數(shù)字圖像去除 模糊效應(yīng)的裝置，其中所述裝置包括適于從在捕獲所述數(shù)字圖像之前 捕獲的圖像序列中提取運(yùn)動(dòng)信息的圖像傳感器；適于提取圖像捕獲的 開始時(shí)間和結(jié)束時(shí)間的定時(shí)信息的捕獲模塊；適于使用所提取的運(yùn)動(dòng)信息和定時(shí)信息根據(jù)運(yùn)動(dòng)估計(jì)技術(shù)執(zhí)行逐圖像分析來(lái)產(chǎn)生圖像序列 的估計(jì)運(yùn)動(dòng)信息的運(yùn)動(dòng)估計(jì)器；適于使用所述估計(jì)的運(yùn)動(dòng)信息估計(jì)所 述數(shù)字圖像在圖像捕獲的開始時(shí)間和結(jié)束時(shí)間之間的時(shí)間間隔中的 運(yùn)動(dòng)信息的運(yùn)動(dòng)外推器；和被配置用于通過使用所述外推的運(yùn)動(dòng)信息 補(bǔ)償所述數(shù)字圖像的運(yùn)動(dòng)以去除所述數(shù)字圖像的模糊效應(yīng)的運(yùn)動(dòng)去 模糊模塊。
所述方法和裝置的其它特征還被列舉在從屬權(quán)利要求中。 本發(fā)明的更進(jìn)一步的目的和優(yōu)點(diǎn)對(duì)于讀取和理解了下面的附圖 和優(yōu)選實(shí)施例的詳細(xì)說明的本領(lǐng)域普通技術(shù)人員來(lái)說將變得顯而易 見。本領(lǐng)域技術(shù)人員就會(huì)意識(shí)到，本發(fā)明可采用各種形式，并且可以 包括各種部件和步驟及其布置。
因此，本發(fā)明的這些和其它方面通過在下面說明中所述的實(shí)施 例、附圖和從權(quán)利要求將變得顯而易見并將參照所述實(shí)施例對(duì)其進(jìn)行 說明和所述附圖是對(duì)于闡釋本發(fā)明優(yōu)選實(shí)施例的目的并不被理解為 限制本發(fā)明。


圖1為根據(jù)本發(fā)明實(shí)施例的用于運(yùn)動(dòng)模糊去除的改進(jìn)方法的實(shí) 施方案的示意圖；和
圖2為使用圖1的方法的裝置的示意功能和方框圖。
具體實(shí)施例方式
本發(fā)明在于通過從就在將要被校正的圖像被拍攝之前捕獲的圖 像序列中提取的運(yùn)動(dòng)信息來(lái)幫助數(shù)字運(yùn)動(dòng)模糊去除。
圖1表示拍攝圖像的時(shí)序圖10。在第一橫軸14 (時(shí)間T)上的 預(yù)覽格12中，捕獲緊靠在將要對(duì)運(yùn)動(dòng)模糊進(jìn)行校正的圖像n之前的 圖像0至n-l (捕獲步驟ll)。換句話說，例如，當(dāng)用戶使用手持相 機(jī)裝置照相時(shí)，在用戶按下"拍照片"動(dòng)作按鈕之前，所述裝置連續(xù)地 分析可以在所述手持相機(jī)裝置的取景器屏幕上預(yù)覽的圖像序列。第一 橫軸14上的預(yù)覽格12表示這些預(yù)覽圖像。在所述預(yù)覽格12圖像序列期間，分析從每個(gè)圖像到其下一個(gè)圖 像的運(yùn)動(dòng)，所述分析步驟13例如是基于對(duì)相機(jī)運(yùn)動(dòng)進(jìn)行建模的全局 運(yùn)動(dòng)估計(jì)技術(shù)。另一種方案是，可通過運(yùn)動(dòng)場(chǎng)技術(shù)來(lái)執(zhí)行所述分析， 所述運(yùn)動(dòng)場(chǎng)技術(shù)對(duì)圖像的各種區(qū)域的運(yùn)動(dòng)能夠進(jìn)行更精確地建模。
在所述時(shí)序圖10中，根據(jù)從圖像至圖像的全局平移對(duì)預(yù)覽格12 圖像的運(yùn)動(dòng)進(jìn)行分析。在橫軸16和18中，平移矢量的水平和垂直分 量HC和VC的漸進(jìn)變化被分別表示為曲線20和22。所述平移矢量的 水平和垂直分量的漸進(jìn)變化被累加，并且相對(duì)于所述第一圖像的最終 偏移被畫在所述圖像的底部的兩個(gè)曲線上。從一個(gè)圖像至下一個(gè)圖像 的全局運(yùn)動(dòng)估計(jì)技術(shù)可以通過將所述圖像細(xì)分成塊并對(duì)每個(gè)像素塊 使用塊匹配算法、產(chǎn)生與塊同樣多的運(yùn)動(dòng)矢量來(lái)執(zhí)行。那么就能使用 關(guān)于所有塊運(yùn)動(dòng)矢量的中值濾波來(lái)得出全局運(yùn)動(dòng)矢量。
仍然參考圖1， 一旦用戶捕獲所述圖像(周期11)并〃拍攝所述 圖像"，有關(guān)圖像捕獲開始24和圖像捕獲結(jié)束26的定時(shí)信息將被系 統(tǒng)提供給〃運(yùn)動(dòng)外推器〃 27。 〃運(yùn)動(dòng)外推器"執(zhí)行的外推27對(duì)在所述分 析步驟13獲得的信息以及所述圖像捕獲開始24和圖像捕獲結(jié)束26 的定時(shí)信息進(jìn)行處理，并且提供在所述最終圖像的捕獲開始24和結(jié) 束26之間的時(shí)間間隔中的運(yùn)動(dòng)估計(jì)。這在橫軸16和18中分別被表 示為虛曲線28和30。
在所述時(shí)序圖IO上所示的特定實(shí)施例中，這將產(chǎn)生運(yùn)動(dòng)矢量分 量dx 32和運(yùn)動(dòng)矢量分量dy 34，這提供了從圖像捕獲的開始24到 結(jié)束26之間的平移。用于產(chǎn)生這種外推的技術(shù)可對(duì)所述矢量的每個(gè) 坐標(biāo)計(jì)算一個(gè)逼近函數(shù)，使得對(duì)所述預(yù)覽序列的估計(jì)偏移的誤差判據(jù) (一般為線性最小平方)最小化。在所述圖像捕獲的開始24和結(jié)束 26處計(jì)算所述函數(shù)的值，并且它們的差將提供外推運(yùn)動(dòng)矢量分量dx 32和dy 34。
然后將所述外推運(yùn)動(dòng)信息提供給能夠通過圖像分析選擇性地消 除所述運(yùn)動(dòng)的運(yùn)動(dòng)去模糊裝置。這能產(chǎn)生比根據(jù)靜態(tài)圖片分析的常規(guī) 方法所獲得的模型更加可靠的運(yùn)動(dòng)模型。另外，該運(yùn)動(dòng)模型用于確定 對(duì)捕獲圖像進(jìn)行校正的參數(shù)，其可使用已知的去巻積技術(shù)?？蓪?shí)現(xiàn)的用于去巻積的典型參數(shù)集是點(diǎn)分布函數(shù)(PSF)，其表示圖像上單一 像素的模糊效果。
圖2為表示本發(fā)明的運(yùn)動(dòng)模糊去除方法和裝置的功能部件的示
圖。首先，圖像傳感器50將聚焦在所述傳感器上的由手持裝置捕獲 的光學(xué)圖像轉(zhuǎn)換成電信號(hào)。對(duì)先前的圖像執(zhí)行分析52并捕獲期望的 圖像(54)。當(dāng)今大多數(shù)成像系統(tǒng)和圖像檢測(cè)裝置(例如攝像機(jī)和數(shù) 碼相機(jī))使用電荷耦合器件(CCD)圖像傳感器。CCD圖像傳感器在 現(xiàn)有技術(shù)中是公知的，此處將不對(duì)其進(jìn)行說明。另外，CMOS技術(shù)提 供了在相同的芯片上集成圖像感測(cè)功能和數(shù)字信號(hào)處理功能的可能 性，從而能夠產(chǎn)生更快速的、較小的、價(jià)格低廉、和更低功耗的圖像 感測(cè)裝置。
隨后，運(yùn)動(dòng)估計(jì)器56接收預(yù)覽圖像的圖像像素IP并提供用于 每個(gè)像素的估計(jì)運(yùn)動(dòng)矢量。換句話說，運(yùn)動(dòng)估計(jì)器56估計(jì)在所捕獲 圖像的捕獲周期之前的n-l個(gè)畫面/圖像幀的運(yùn)動(dòng)。如上所述，可以 使用運(yùn)動(dòng)估計(jì)技術(shù)的若干個(gè)改進(jìn)變體(1)全局運(yùn)動(dòng)模型，其給出 了一個(gè)參數(shù)集，例如平移、縮放旋轉(zhuǎn)值，它們對(duì)于整個(gè)圖像是唯一的； 所述全局運(yùn)動(dòng)模型可用來(lái)推導(dǎo)圖像每個(gè)像素的運(yùn)動(dòng)矢量；(2)基于 塊的運(yùn)動(dòng)模型，其用于提供類似圖像的每個(gè)塊的平移等參數(shù)，所述基 于塊的運(yùn)動(dòng)模型可用來(lái)推導(dǎo)所述塊中每個(gè)像素的運(yùn)動(dòng)矢量；或者(3) 像素流技術(shù)，其明確地提供每個(gè)像素的估計(jì)運(yùn)動(dòng)。這些不同類型的運(yùn) 動(dòng)估計(jì)技術(shù)之間的差別是它們從運(yùn)動(dòng)估計(jì)器56發(fā)送給用于對(duì)運(yùn)動(dòng)估 計(jì)器56的結(jié)果進(jìn)行處理的功能模塊(即，運(yùn)動(dòng)外推器58)的信息(預(yù) 覽的運(yùn)動(dòng)MP)量不同。然而所得結(jié)果均是每個(gè)像素的運(yùn)動(dòng)矢量，這 與在所述裝置中執(zhí)行何種運(yùn)動(dòng)估計(jì)技術(shù)無(wú)關(guān)。
而且，根據(jù)所使用的改進(jìn)的運(yùn)動(dòng)估計(jì)技術(shù)，可以改進(jìn)運(yùn)動(dòng)估計(jì) 的品質(zhì)。這種改進(jìn)例如可包括除了上述一般方法之外的快速檢索算法 或者有效計(jì)算方案。這些方法在編碼技術(shù)中是公知的。
因此，運(yùn)動(dòng)估計(jì)器56將預(yù)覽圖像的運(yùn)動(dòng)估計(jì)信息MP提供給運(yùn) 動(dòng)外推器58。接著，所述運(yùn)動(dòng)外推器58對(duì)所述運(yùn)動(dòng)估計(jì)信息連同與 圖像捕獲開始24和圖像捕獲結(jié)束26的定時(shí)信息(圖1)相關(guān)的由捕獲模塊60提供的定時(shí)信息T 一起處理。然后運(yùn)動(dòng)外推器58將所述外 推的運(yùn)動(dòng)信息EMI提供給圖像去模糊模塊62，所述圖像去模糊模塊 62使用所述外推的運(yùn)動(dòng)信息對(duì)捕獲的圖像信息(即，圖像像素IMP)
進(jìn)行分析和處理以補(bǔ)償所述捕獲圖像的運(yùn)動(dòng)并產(chǎn)生期望的去模糊圖 像或者畫面(64)?？稍谒鲲@示模塊64的輸出端處獲得所述去模
糊的圖像。
另外，例如可在PC上執(zhí)行本發(fā)明以進(jìn)行脫機(jī)運(yùn)動(dòng)補(bǔ)償或者恢 復(fù)。在脫機(jī)恢復(fù)情況中，運(yùn)動(dòng)估計(jì)信息或者數(shù)據(jù)必須附加于將要進(jìn)行 運(yùn)動(dòng)恢復(fù)或者校正的圖像。另外，除了手提式照相機(jī)裝置之外，還可 將本發(fā)明集成到攝像機(jī)裝置中。在手持視頻設(shè)備的情況中，應(yīng)注意的 特定特征是因?yàn)椴东@時(shí)間受到幀周期的限制，所以可采用根據(jù)在所 校正的幀之前捕獲的若干個(gè)幀的滑動(dòng)窗口進(jìn)行分析所得到的運(yùn)動(dòng)來(lái) 對(duì)每個(gè)幀應(yīng)用運(yùn)動(dòng)去除和校正。同樣，各式各樣的手持或者小型便攜 式裝置都能集成本發(fā)明的方法和裝置。即，數(shù)字照相機(jī)、帶有照相機(jī) 傳感器的USB鑰、帶有照相機(jī)傳感器的移動(dòng)式電話、錄像攝像機(jī)，它 們包括集成到這些類型的流行消費(fèi)類裝置中的各種用于圖像處理的 集成電路。
雖然已經(jīng)圖示和說明了目前被看作本發(fā)明優(yōu)選實(shí)施例的內(nèi)容， 但本領(lǐng)域普通技術(shù)人員應(yīng)該理解在不脫離本發(fā)明范圍的情況下可以 做出各種其它修改和可以代替等效內(nèi)容。
另外，在不脫離此處說明的核心發(fā)明構(gòu)思的情況下可以做出許 多修改以使得特定的情形可以適用本發(fā)明。此外，本發(fā)明的實(shí)施例可 以不包括上述的全部特征。因此，本發(fā)明并不局限于所披露的特定實(shí) 施例，而是包括符合權(quán)利要求及其等同物范圍的所有實(shí)施例。
權(quán)利要求
1.一種對(duì)進(jìn)行運(yùn)動(dòng)校正的數(shù)字圖像(n)去除運(yùn)動(dòng)模糊效應(yīng)的方法，其中所述方法包括步驟-從緊跟在數(shù)字圖像(n)捕獲之前所捕獲的圖像序列(n-1)中提取運(yùn)動(dòng)信息；-提取捕獲數(shù)字圖像(n)的開始時(shí)間和結(jié)束時(shí)間的定時(shí)信息；-通過根據(jù)運(yùn)動(dòng)估計(jì)技術(shù)使用所述提取的運(yùn)動(dòng)信息和定時(shí)信息對(duì)圖像執(zhí)行圖像分析來(lái)產(chǎn)生所述圖像序列(n-1)的估計(jì)運(yùn)動(dòng)信息；-使用所述估計(jì)運(yùn)動(dòng)信息來(lái)外推在捕獲所述數(shù)字圖像的開始時(shí)間和結(jié)束時(shí)間之間的時(shí)間間隔中數(shù)字圖像的運(yùn)動(dòng)信息；以及-通過根據(jù)所述外推的運(yùn)動(dòng)信息補(bǔ)償所述數(shù)字圖像的運(yùn)動(dòng)來(lái)去除所述數(shù)字圖像的運(yùn)動(dòng)模糊效應(yīng)。
2. 根據(jù)權(quán)利要求1所述的方法，其中產(chǎn)生估計(jì)運(yùn)動(dòng)信息的步驟 包括為所述圖像的每個(gè)像素或像素塊提供估計(jì)運(yùn)動(dòng)矢量。
3. 根據(jù)權(quán)利要求2所述的方法，其中產(chǎn)生估計(jì)運(yùn)動(dòng)信息的步驟 包括使用全局運(yùn)動(dòng)估計(jì)模型來(lái)提供估計(jì)運(yùn)動(dòng)矢量。
4. 根據(jù)權(quán)利要求3所述的方法，其中在所述圖像序列中從一個(gè) 圖像至下一個(gè)圖像使用所述全局運(yùn)動(dòng)估計(jì)模型的步驟包括將圖像細(xì) 分成塊，對(duì)每個(gè)塊應(yīng)用塊匹配算法，以及產(chǎn)生與塊的數(shù)量相同的運(yùn)動(dòng)
5. 根據(jù)權(quán)利要求4所述的方法，還包括對(duì)塊運(yùn)動(dòng)矢量應(yīng)用中值 濾波器，以及從所述中值濾波器導(dǎo)出全局運(yùn)動(dòng)矢量。
6. 根據(jù)權(quán)利要求2所述的方法，其中產(chǎn)生估計(jì)運(yùn)動(dòng)信息的步驟 包括使用基于塊的運(yùn)動(dòng)模型來(lái)提供估計(jì)運(yùn)動(dòng)矢量。
7. 根據(jù)權(quán)利要求2所述的方法，其中產(chǎn)生估計(jì)運(yùn)動(dòng)信息的步驟 包括使用像素流模型來(lái)提供估計(jì)運(yùn)動(dòng)矢量。
8. 根據(jù)前述任何一個(gè)權(quán)利要求所述的方法，其中產(chǎn)生估計(jì)運(yùn)動(dòng) 信息的步驟包括產(chǎn)生對(duì)應(yīng)于水平(dx)運(yùn)動(dòng)平移和垂直(dy)運(yùn)動(dòng)平移的運(yùn)動(dòng)矢量。
9. 根據(jù)前述任何一個(gè)權(quán)利要求所述的方法，其中產(chǎn)生估計(jì)運(yùn)動(dòng)信息的步驟包括產(chǎn)生對(duì)應(yīng)于旋轉(zhuǎn)運(yùn)動(dòng)平移的運(yùn)動(dòng)矢量。
10. 根據(jù)權(quán)利要求2到9中的任何一項(xiàng)所述的方法，其中產(chǎn)生 估計(jì)運(yùn)動(dòng)信息的步驟包括為每個(gè)運(yùn)動(dòng)矢量計(jì)算一個(gè)逼近時(shí)間函數(shù)，并 且使得圖像序列(n-l)的估計(jì)偏差的誤差判據(jù)最小化。
11. 一種用于對(duì)進(jìn)行運(yùn)動(dòng)校正的數(shù)字圖像(n)去除運(yùn)動(dòng)模糊效 應(yīng)的裝置，其中所述裝置包括-適于從緊跟在數(shù)字圖像(n)的捕獲之前所捕獲的圖像序列 (n-l)中提取運(yùn)動(dòng)信息的圖像傳感器；-適于提取圖像捕獲的開始時(shí)間和結(jié)束時(shí)間的定時(shí)信息的捕獲模塊；-適于使用所提取的運(yùn)動(dòng)信息和定時(shí)信息根據(jù)運(yùn)動(dòng)估計(jì)技術(shù)執(zhí) 行逐圖像分析來(lái)產(chǎn)生圖像序列(n-l)的估計(jì)運(yùn)動(dòng)信息的運(yùn)動(dòng)估計(jì)器；-適于使用所述估計(jì)運(yùn)動(dòng)信息估計(jì)在圖像捕獲的開始時(shí)間和結(jié) 束時(shí)間之間的時(shí)間間隔中所述數(shù)字圖像的運(yùn)動(dòng)信息的運(yùn)動(dòng)外推器；以 及-被配置用于通過使用所述外推的運(yùn)動(dòng)信息補(bǔ)償數(shù)字圖像的運(yùn) 動(dòng)以去除數(shù)字圖像的模糊效應(yīng)的運(yùn)動(dòng)去模糊模塊。
12. 根據(jù)權(quán)利要求ll所述的裝置，其中所述運(yùn)動(dòng)估計(jì)器使用全局運(yùn)動(dòng)估計(jì)模型來(lái)為圖像的每個(gè)像素提供估計(jì)運(yùn)動(dòng)矢量。
13. 根據(jù)權(quán)利要求ll所述的裝置，其中所述運(yùn)動(dòng)估計(jì)器使用基 于塊的運(yùn)動(dòng)模型來(lái)提供估計(jì)運(yùn)動(dòng)矢量。
14. 根據(jù)權(quán)利要求ll所述的裝置，其中所述運(yùn)動(dòng)估計(jì)器使用像 素流模型來(lái)提供估計(jì)運(yùn)動(dòng)矢量。
15. 一種與權(quán)利要求10到13中的任何一項(xiàng)所述的裝置相關(guān)的計(jì)算機(jī)可讀介質(zhì)，在其上存儲(chǔ)有指令序列，當(dāng)所述指令序列被所述裝 置的微處理器執(zhí)行時(shí)，所述指令序列命令所述處理器從緊跟在數(shù)字圖像(n)捕獲之前所捕獲的圖像序列(n-l)提 取運(yùn)動(dòng)信息；提取圖像捕獲的開始時(shí)間和結(jié)束時(shí)間的定時(shí)信息；通過使用所述提取的運(yùn)動(dòng)信息和定時(shí)信息根據(jù)運(yùn)動(dòng)估計(jì)技術(shù)執(zhí) 行逐圖像分析來(lái)產(chǎn)生所述圖像序列(n-1)的估計(jì)運(yùn)動(dòng)信息；使用所估計(jì)的運(yùn)動(dòng)信息外推所述數(shù)字圖像在捕獲數(shù)字圖像的開 始時(shí)間和結(jié)束時(shí)間之間的時(shí)間間隔中的運(yùn)動(dòng)信息；以及通過使用所述外推的運(yùn)動(dòng)信息補(bǔ)償數(shù)字圖像的運(yùn)動(dòng)來(lái)去除數(shù)字 圖像的模糊效應(yīng)。
全文摘要
本發(fā)明提供一種用于通過使用從緊跟在要校正的圖像被捕獲之前所捕獲的圖像序列中提取的運(yùn)動(dòng)信息來(lái)去除數(shù)字圖像的運(yùn)動(dòng)模糊效應(yīng)的改進(jìn)的方法和裝置。具體地說，本發(fā)明包括估計(jì)(56)先前圖像序列的運(yùn)動(dòng)信息并根據(jù)運(yùn)動(dòng)估計(jì)技術(shù)對(duì)它們進(jìn)行分析然后根據(jù)所述運(yùn)動(dòng)估計(jì)外推(58)將要校正的圖像的運(yùn)動(dòng)以便去除(62)所期望捕獲的圖像中的運(yùn)動(dòng)模糊效應(yīng)。因此可以執(zhí)行本發(fā)明的方法的各種類型的裝置將能夠顯示(64)沒有模糊的數(shù)字圖像。
文檔編號(hào)G06T5/00GK101305396SQ200680025347
公開日2008年11月12日 申請(qǐng)日期2006年7月3日 優(yōu)先權(quán)日2005年7月12日
發(fā)明者讓·戈貝爾 申請(qǐng)人:Nxp股份有限公司