專利名稱：圖像處理方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像處理方法，該方法包括提供至少兩個圖像幀的序 列，計算代表至少部分所述圖像幀的相對運動的運動矢量，根據(jù)計算得到的運 動矢量重新配置圖像幀中的至少所述部分幀，并結(jié)合圖像幀形成合成圖像幀。 本發(fā)明還涉及一種圖像處理系統(tǒng)，一種配置為使可編程處理器件能執(zhí)行該方法 的計算機程序，和包括圖像處理系統(tǒng)的數(shù)碼相機。在國際專利申請
PCT/EP04/05108中描述了這樣一種圖像處理方法和系統(tǒng)。如本申請所述，該 圖像處理方法和系統(tǒng)可用于，例如數(shù)碼相機中。盡管現(xiàn)有的方法和系統(tǒng)主要提 供高質(zhì)量的合成圖像幀，包含旋轉(zhuǎn)和移動的相機復(fù)雜運動需要大量的處理以對 齊圖像，并需要計算起來非常耗時的圖像的縮放比例。此外，在包含旋轉(zhuǎn)和移 動的復(fù)雜運動情形下，現(xiàn)有的方法和系統(tǒng)可能導(dǎo)致無法補償?shù)腻e位現(xiàn)象。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種上述類型的改進的圖像處理方法和系統(tǒng)。
為此依照本發(fā)明的圖像處理方法的特點在于將圖像幀分成塊，計算代 表每個塊的相對運動的塊運動矢量，根據(jù)計算得到的塊運動矢量重新配置每個 塊，以及組合各塊以形成合成的塊，從而獲得合成圖像幀。
從多個圖像幀形成合成圖像的圖像處理系統(tǒng)包括用于裝載第一圖像的像 素值陣列以及至少另一圖像的像素值陣列的配置，所述圖像處理系統(tǒng)配置成實 現(xiàn)以下步驟計算代表至少部分所述圖像幀的相對運動的運動矢量，根據(jù)計算 得到的運動矢量重新配置圖像幀中的至少所述部分幀，以及結(jié)合圖像幀形成合 成圖像幀。
根據(jù)本發(fā)明該圖像處理系統(tǒng)還配置成將圖像幀分成塊，計算代表每個 塊的相對運動的塊運動矢量，根據(jù)計算得到的塊運動矢量重新配置每個塊，以 及組合各塊以形成合成的塊，從而獲得合成幀。
以這種方式獲得一種方法和系統(tǒng)，其中圖像分解成塊，且對于每個塊計 算塊運動矢量。移動至少第二圖像幀的塊以對齊第一圖像幀的塊，然后，組合各塊以獲得具有高圖像質(zhì)量的合成圖像幀。本發(fā)明的方法允許在圖像的特定區(qū) 域中計算簡單的運動模型，而不需要對整個圖像計算高度精確的復(fù)雜模型。不 需要以對齊目的來縮放圖像。


現(xiàn)在參考附圖對本發(fā)明進行進一步詳細的描述，其中 ' 圖1示意性地示出了示例性數(shù)碼相機的布局； 圖2以示意形式示出了相機中圖像采集器件的組件； 圖3是示出采集圖像幀并形成合成的最后圖像的方法的流程圖； 圖4示意性示出了劃分成塊的第一圖像以及與第一圖像的塊對齊的第二 圖像的兩個塊。
具體實施例方式
這里概述的方法的上下文中可用的圖像處理系統(tǒng)的一個示例是數(shù)碼相機 1的一部分。圖像處理系統(tǒng)和方法的應(yīng)用的其它示例包括影印機、掃描器件以 及個人電腦或工作站。
數(shù)碼相機1包括用于在場景(scene)中聚焦到一個或多個物體上的鏡頭 系統(tǒng)2。當(dāng)快門3打開后，場景通過光圈4投射到圖像采集器件6的光敏區(qū)域 5上(圖2)?？扉T時間是可控的，就像光圈的直徑。作為快門3的備選或附加， 可以電性控制圖像采集器件以產(chǎn)生相同的效果(電子快門)。圖像采集器件6 可以是互補型金屬氧化物半導(dǎo)體(CMOS)工藝中實現(xiàn)的器件或電荷耦合器件 (CCD)傳感器。
參考圖2，光敏區(qū)域5被分成由像素單元7a-i占據(jù)的數(shù)個區(qū)域，為了清晰 起見只示出了九個區(qū)域。每個像素單元7包括用于產(chǎn)生指示光線強度信號的器 件，其中在光敏區(qū)域5內(nèi)的區(qū)域曝光于該光線。注意到占據(jù)像素單元7a-i的器 件通常作為一個集成電路的組件。在曝光期間形成由器件產(chǎn)生的積分信號，如 通過電容器內(nèi)光電流的積聚。在曝光光敏區(qū)域5持續(xù)一段曝光間隔時間之后， 通過行選擇電路8和列選擇與讀取電路9而讀出所產(chǎn)生信號的積分值。
應(yīng)該注意，為了簡便，本說明將不集中討論采集彩色圖像的方式。只注 意到任何已知的技術(shù)都可以使用，如濾色片、圖像采集器件6的色彩感光變化等。在這方面，還注意到光敏區(qū)域5不需要是包含在圖像采集器件中的集成電 路的表面區(qū)域，或至少不是對于所有的顏色成分。此外，盡管在本申請中圖像 幀將被稱為連續(xù)采集的，但不排除其中順序采集不同顏色成分的圖像幀的實施 例，因此詳述顏色成分的"連續(xù)地"采集的圖像幀可被其它顏色成分替換。
列選擇和讀取電路9的輸出以一個或多個模擬信號的形式被提供給模數(shù)
轉(zhuǎn)換器(A/D轉(zhuǎn)換器)10。 A/D轉(zhuǎn)換器10采樣并量化從圖像采集器件6接收 到的信號，例如，記錄在離散的刻度上，離散值由A/D轉(zhuǎn)換器10輸出的信號 字的分辨率比特數(shù)確定。在輸出對采集的圖像幀進行譯碼的像素值陣列時， A/D轉(zhuǎn)換器IO提供。
數(shù)字信號處理器(DSP) 11執(zhí)行該特征作為在圖像的像素和隨意壓縮之 間的插入(interpolation)。曝光時間間隔期間圖像采集器件的每次曝光都產(chǎn)生 至少一個幀。
數(shù)碼相機1包括存儲器件12，用于存儲對采集的圖像或圖像幀譯碼的圖 像數(shù)據(jù)。該存儲器件可為任意常用類型的存儲器件，如，內(nèi)置閃存、插入式閃 存模組、帶軟盤的磁盤驅(qū)動、PCMCIA格式的硬盤或光盤驅(qū)動。
微處理器13通過執(zhí)行存儲在非易失性存儲器中的指令而控制數(shù)碼相機1 的操作，在本示例中，非易失性存儲器為只讀存儲器(ROM) 14。 ROM14中 的指令，在有些實施例中結(jié)合由DSP執(zhí)行的例程，使數(shù)碼相機l能執(zhí)行圖像 處理以及本申請中概述的采集方法。
有利地，微處理器13與協(xié)處理器15通信，在協(xié)處理器中至少部分圖像 壓縮算法是在硬件中執(zhí)行。例如，根據(jù)JPEG標(biāo)準(zhǔn)的圖像壓縮算法可用。例如， 部分壓縮算法是可行的。作為壓縮算法的一部分，圖像數(shù)據(jù)被變換到空間頻域。 協(xié)處理器15在大多數(shù)情況下利用離散余弦變換(DCT)至少執(zhí)行該變換。
數(shù)碼相機1的操作條件和設(shè)置指示是通過諸如液晶顯示器的輸出器件16 提供，還可能結(jié)合語音產(chǎn)生器件(圖中沒有分別示出)。
示意性地示出了表示控制的輸入器件7，通過輸入器件7數(shù)碼相機的用戶 提供指令。此外，圖1中所示的數(shù)碼相機1包括閃存驅(qū)動器電路18，用于為 一個或多個閃存光源提供適當(dāng)?shù)尿?qū)動信號。所示的數(shù)碼相機1還包括運動傳感 器19，用于提供表示數(shù)碼相機1的運動的信號，并從而提供表示圖像采集器 件6的移動的信號。此外，數(shù)碼相機1包括曝光計量器件20。曝光計量器件20的目的是測量環(huán)境光線的強度，從而結(jié)合確定曝光的設(shè)置的校正值，其中 對于每個采集圖像幀所述曝光包括時間間隔，微處理器13可確定任何連接的 閃存發(fā)出的光線的強度。
應(yīng)注意到被像素單元7a-i占據(jù)的區(qū)域的密度確定了采集圖像幀的最高可 達到的空間分辨率。讀取時間由像素單元數(shù)決定。在諸如圖2所示的實施例中， 讀出時間相對較長，因為每行都利用行選擇電路8輪流選擇，于是，列選擇與 讀取電路9感應(yīng)存儲在該列中像素單元的光敏元件中的積聚的光電荷值。為減 少重復(fù)曝光光敏區(qū)域和采集圖像幀的總時間，可將空間分辨率在曝光期間設(shè)置 為不同值。
在一個實施例中，微處理器13以這樣的方式控制圖像采集器件6:每集 區(qū)(cluster area) 21讀出的一個像素值代表在位于集區(qū)21內(nèi)的其中一個像素 單元7中產(chǎn)生的積分信號。此實施例的優(yōu)點為其能與任何類型的圖像采集器件 6 —起使用。
在一個優(yōu)選實施例中，圖像采集器件6有將多個像素單元的輸出"裝箱 (bin)"的能力。在這個實施例中，微處理器13指導(dǎo)圖像采集器件6以如下 方式產(chǎn)生像素值陣列(每個像素值與限定的集區(qū)21之一關(guān)聯(lián))每個像素值代 表由占據(jù)相同的限定集區(qū)21的像素單元中至少兩個器件產(chǎn)生的信號和的積 分。在這個示出的實例中，這意味著一個集區(qū)21的像素值為所有示出的9 個像素單元7a-i產(chǎn)生的信號積分的總和，或可選地為其平均值。這個實施例是 優(yōu)選的，因為其提高了靈敏性。有效地，每個像素值代表落在整個所限定集區(qū) 21上的光線量，而不僅是被一個像素單元7占據(jù)的區(qū)域上的光線量。因此， 較小的光流量也可檢測。此外，裝箱降低了噪音量，即，獲得具有較高信噪比 (SNR)的低分辨率圖像。由于裝箱容量是圖像采集器件在硬件中執(zhí)行的一項 功能，所以裝箱不增加一點點讀出時間。由于裝箱使得待讀出的像素更少，所 以讀取時間實際上減少了。優(yōu)選地，以最高的分辨率采集的圖像幀的數(shù)量等于， 更優(yōu)選地小于，以較低空間分辨率采集的圖像幀的數(shù)量。在這樣的一系列圖像 幀基礎(chǔ)上所形成的合成的最終圖像將具有良好的SNR。
在一個實施例中，在從用戶接收到采集圖像的命令時，微處理器13控制 數(shù)碼相機1以執(zhí)行一系列步驟22-25。對于合成的最終圖像，數(shù)碼相機1的用 戶可輸入期望的曝光時間，以及決定閃光量、光圈4的直徑和像素單元7中光敏元件靈敏度的設(shè)置。在可選實施例中，微處理器利用曝光計量器件20輸出 的信號自動確定一個或多個值，并可能確定一個或多個預(yù)先定義的值的組合。
隨后，在接收到采集合成的最終圖像的實際命令時，微處理器13執(zhí)行采集多 個圖像幀的第一步驟22。第一步驟22包括檢索合成的最終圖像的期望曝光時 間，確定待采集的圖像幀的數(shù)量，以及對于每個圖像幀，計算確定適用于該圖 像幀的曝光等級的曝光設(shè)置。所述設(shè)置包括所述幀的曝光時間間隔。優(yōu)選地， 確定其它的設(shè)置，以使圖像幀的曝光時間間隔合起來比合成的最終圖像的期望 曝光時間短。應(yīng)注意，因為"裝箭'提高了靈敏度，在其中執(zhí)行了"裝箱"的實施 例允許圖像幀的曝光時間間隔縮短。有效地，"裝箱"導(dǎo)致了額外放大的光電信 號的引入。微處理器13有利地考慮到了這點。其依靠空間分辨率值，g卩"裝箱" 的量，在較低的空間分辨率值下計算所述圖像幀可用的曝光時間間隔的長度。 當(dāng)計算確定所述圖像幀可用的曝光時間間隔的設(shè)置時，微處理器13優(yōu)選 地執(zhí)行國際專利申請PCT/EP04/051080中概述的一個或多個方法。gp，對它們 進行計算，使得被確定為合成的最終圖像所期望的總曝光級別在整個圖像幀上 不均衡地分布。
在其中采集圖像幀的第一步驟22之后，在第二步驟23中存儲對圖像幀 進行譯碼的像素值陣列。在第二步驟23之后，在第三步驟24中使其對齊并進 行處理。在最終步驟25中將從第三步驟得到的合成的最終圖像存儲在存儲器 件12中。盡管本說明現(xiàn)在將繼續(xù)在數(shù)碼相機1執(zhí)行所有步驟22-25的假設(shè)上 進行描述，但是第三和第四步驟24、 25可在單獨的圖像處理系統(tǒng)中執(zhí)行，例 如，個人電腦或工作站。這種情況下，第二步驟將包括調(diào)撥所產(chǎn)生的像素值陣 列以存儲在存儲器件12中或通過數(shù)據(jù)鏈路(未示出)將其傳輸?shù)诫娔X。
本發(fā)明尤其涉及在第三步驟24中執(zhí)行的對齊。在包括旋轉(zhuǎn)和移動的數(shù)碼 相機1的復(fù)雜運動情況中，依靠國際專利申請PCT/EP04/051080中描述的全局 運動失量，圖像幀序列的對齊可能不在整個圖像中提供精確的對齊。本發(fā)明的 圖像處理方法將從兩個圖像幀的序列開始描述，其中優(yōu)選地，第一圖像幀為高 分辨率圖像幀，而第二圖像幀為低分辨率圖像幀。然而，使用的圖像幀序列可 包括任意其它數(shù)量的圖像幀，且圖像幀可有相同的分辨率。
圖4示意性的示出了分成具有例如16x16像素的初始尺寸的塊27的第一 圖像幀26。第二圖像幀分成具有相同大小的塊28。在圖4中，示出了第二圖像幀的兩個塊28，所述塊28利用本發(fā)明的方法與第一圖像幀26的相應(yīng)塊27 對齊。在描述的對齊過程中，高分辨率圖像幀26的塊27保持彼此相對固定。 移動低分辨率圖像幀的塊28以與高分辨率圖像幀的塊27對齊。為確定塊28 的運動量，在將圖像幀劃分成塊27、 28后，計算代表每個塊28的相對運動的 塊運動失量。根據(jù)相應(yīng)計算得到的塊運動失量移動或重置每個塊28，并將塊 27、 28結(jié)合起來形成提供合成的圖像幀的合成塊。 '
塊的大小取決于要求補償?shù)淖兓?。在第一實施例中，可以檢驗整個圖 像上的運動矢量平均值周圍的變化或分布。如果整個圖像上的運動矢量具有大 的變化，則塊的尺寸降低。可以利用上述國際專利申請中描述的方法或通過 RANSAC算法或任意其它適用的算法確定全局運動矢量。參考采樣塊確定運 動矢量的變化，其作為RANSAC算法的一部分以及檢驗關(guān)于全局運動矢量的 每個采樣塊的矢量值是可行的。如果偏差太大，則減小塊的尺寸。
在可選實施例中，可確定運動矢量塊，并且如果塊A的矢量與塊B的矢 量有顯著的差別，則減小塊尺寸以更精確的對齊。
在本發(fā)明的另一個變型中，檢測了整個圖像的兩幀之間差值的幅值。這 可通過塊對齊后比較像素值而逐塊進行測量。如果某個塊的差值幅度大于特定 的閾值，則該塊將被劃分成更小的塊，并重新計算更小塊的對齊。
應(yīng)注意，如果變化量顯示需要減小塊尺寸，則可能減小整個圖像上所有 塊的尺寸或只減小塊之間的變化超過所使用閾值的部分塊的尺寸。還應(yīng)注意， 還可以使用不同方法的任意組合，用于檢測變化量。
當(dāng)已經(jīng)確定可利用塊27、 28的初始尺寸或減小后的尺寸補償變化量，且 尚未確定檢測變化量時，計算塊運動矢量。根據(jù)第一實施例，可利用單-一或全 局運動矢量以及關(guān)于單一運動矢量涉及的圖像點的各塊27、 28的位置計算所 述塊運動矢量。通過計算由圖像幀旋轉(zhuǎn)引起的各塊的偏移，每個塊的運動矢量 從全局運動矢量內(nèi)插得到。 一定角度的旋轉(zhuǎn)導(dǎo)致x域和y域的偏移，偏移量由 旋轉(zhuǎn)角度和各塊從圖像幀旋轉(zhuǎn)點的距離決定。
在第二方法中，利用上述國際專利申請?zhí)岬降姆椒ɑ蛞阎姆椒ǎ?RANSAC或均方根算法計算每個塊28的塊運動矢量。
如圖4示意性所示，塊28的重置將導(dǎo)致塊28在其交界處重疊。由于邊 界區(qū)域中像素間對不齊引起的問題可有幾種解決方法。作為第一選擇，尤其在其中第二和可能更多的圖像具有低分辨率的情況 中，可假設(shè)在邊界處的像素對不準(zhǔn)不會有任何明顯的影響。未對準(zhǔn)的量可通過 比較邊界區(qū)內(nèi)像素的像素值進行檢測。如果未對準(zhǔn)的量超過閾值，則可減小塊 尺寸以確保過渡不明顯。
作為第二選擇，邊界區(qū)的像素值可計算如下。邊界區(qū)的每個像素將具有 由一個塊預(yù)測的第一個值和由另一'個塊預(yù)測的第二個值。最終的像素值由這兩 個像素值取平均而得到。在四個塊的角落處，像素將具有四個預(yù)測值，每個值 對應(yīng)于在該角落相交的其中一個塊。最終的像素值通過再次對這四個預(yù)測像素 值取平均而計算得到。
作為這種平均法的改進，可依靠塊內(nèi)像素的位置而加權(quán)平均值。例如，
對于接近塊A中5個像素的位于塊A和塊B之間邊界處的像素，將有與塊A關(guān) 聯(lián)的像素的卯％加權(quán)。這在與塊B的交界處將降至5 0 %，并且然后在塊B 中的五個像素將降至l 0 %。
通常，可使用根據(jù)與兩個相鄰塊的中心等距的像素指派兩個預(yù)測值的平 均值的算法。對于離一個塊中心較近，而離另一個塊中心較遠的像素，其平均 值可根據(jù)距離的比值進行加權(quán)。
所述方法允許在圖像的特定區(qū)域中計算更簡單的運動模型，而不需要為 整個圖像計算高精確度的復(fù)雜模型。此外，如果主體圖象中有運動，則此運動 可利用所述方法進行補償，每個獨立塊的運動可以不同以補償主體的運動。
應(yīng)注意，措辭運動矢量應(yīng)理解為描述一個或多個像素的陣列的運動變化 的任意組合。
本發(fā)明不限于上述實施方式，其在本發(fā)明的范圍內(nèi)可以多種方式變化。
權(quán)利要求
1.一種圖像處理方法，包括提供至少兩個圖像幀的序列；計算代表至少部分所述圖像幀的相對運動的運動矢量；根據(jù)計算得到的運動矢量重新配置在所述圖像幀中至少所述部分；結(jié)合所述圖像幀以形成合成的圖像幀，其特征在于將所述圖像幀分成塊；計算代表每個塊的相對運動的塊運動矢量；根據(jù)計算得到的塊運動矢量而重新配置每個塊；以及組合所述各塊以形成合成的塊，從而獲得合成圖像幀。
2. 根據(jù)權(quán)利要求1所述的方法，其特征在于，根據(jù)所述圖像幀中的變 化量而確定所述塊的尺寸。
3. 根據(jù)權(quán)利要求2所述的方法，其特征在于，所述變化的量通過確定 距離全局運動矢量平均值的偏離而確定，其中如果所述變化量超過閾值，則關(guān) 于初始尺寸降低所述塊的尺寸。
4. 根據(jù)權(quán)利要求2或3所示的方法，其特在在于，所述圖像幀被劃分成具有初始尺寸的塊，其中確定至少多個具有所述初始尺寸的塊的塊運動矢 量，且所述塊運動矢量間的差值用作表示變化量，其中如果變化量超過閾值則 所述圖像幀被劃分為具有降低尺寸的塊。
5. 根據(jù)權(quán)利要求2、 3或4所述的方法，其特征在于，比較圖像幀序列的對應(yīng)塊的像素值以確定變化量，其中如果變化量超過閾值則所述圖像幀劃 分為具有降低尺寸的塊。
6. 根據(jù)前述權(quán)利要求任一項所述的方法，其特征在于，確定所述圖像 幀的全局運動矢量，其中，依靠所述全局運動矢量和所述圖像幀中塊的位置而 確定每個塊的塊運動矢量。
7. 根據(jù)前述權(quán)利要求任一項所述的方法，其特征在于，對于未對準(zhǔn)， 檢測重置塊的邊界區(qū)域中的像素值，如果像素值間的未對準(zhǔn)超過閾值，則降低 塊的尺寸，且重復(fù)獲得合成的圖像幀的步驟。
8. 根據(jù)前述權(quán)利要求任一項所述的方法，其特征在于，平均重置塊的邊界區(qū)域中的所述像素值。
9 .根據(jù)權(quán)利要求8所述的方法，其特征在于，根據(jù)加權(quán)算法平均重置 的塊的邊界區(qū)域中的像素值。
10 .根據(jù)前述權(quán)利要求任一項所述的方法，其特征在于，高分辨率的 圖像用作第一圖像，其中每個另外圖像的塊關(guān)于所述高分辨率圖像的塊而重新 配置。' '
11. 一種由多個圖像幀形成合成圖像的圖像處理系統(tǒng)，其中該圖像處 理系統(tǒng)包括用于裝載第一圖像的像素值陣列和至少另一圖像的像素值陣列的 配置，所述圖像處理系統(tǒng)配置成實施以下步驟計算代表至少部分所述圖像幀的相對運動的運動矢量， 根據(jù)計算得到的運動矢量而重新配置所述圖像幀中的至少所述部分，結(jié)合所述圖像幀以形成合成圖像幀，其中所述系統(tǒng)還配置成 將所述圖像幀分成塊，計算代表每個塊的相對運動的塊運動矢量， 根據(jù)計算得到的塊運動矢量而重新配置每塊，以及 組合各塊以形成合成的塊，從而獲得所述合成圖像幀。
12 . —種配置的計算機程序，當(dāng)其加載到可編程處理器件(l)使所述可 編程處理器件能執(zhí)行根據(jù)權(quán)利要求1 一 1 0的任一項所述的方法。
13. —種數(shù)碼相機，其特征在于，其包括根據(jù)權(quán)利要求l l所述的圖
全文摘要
在一種圖像處理方法中，提供了至少兩個圖像幀的序列，計算了代表至少部分所述圖像幀的相對運動的運動矢量。根據(jù)計算得到的運動矢量而重新配置圖像幀中的至少所述部分，并組合圖像幀以形成合成的圖像幀。所述圖像幀劃被分成塊，且計算出代表各塊相對運動的塊運動矢量。根據(jù)計算得到的塊運動矢量重新配置各塊，并組合各塊以形成合成的塊，從而獲得合成圖像幀。
文檔編號G06T7/00GK101305400SQ200580052010
公開日2008年11月12日 申請日期2005年10月12日 優(yōu)先權(quán)日2005年10月12日
發(fā)明者安德魯·奧古斯丁·韋茨 申請人:有源光學(xué)有限公司