專利名稱：用于圖像配準和視頻編碼的共享的塊比較架構(gòu)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像和視頻處理，且更特定來說，涉及用于在圖像俘獲應(yīng)用中的圖像 配準和穩(wěn)定的技術(shù)和用于在視頻俘獲應(yīng)用中的視頻編碼的技術(shù)。
背景技術(shù)：
在成像裝置中，由此些裝置俘獲的圖像或視頻序列常易受歸因于在圖像俘獲期間 裝置的非故意振動的質(zhì)量降級。在視頻俘獲中，成像裝置的振動可導致所俘獲視頻序列中 的不合意的運動或抖動。在靜態(tài)圖像俘獲中，振動可導致所俘獲圖像的模糊。模糊或抖動 可使人的視覺系統(tǒng)難以聚焦并集中于圖像內(nèi)的感興趣的區(qū)域或目標上。在任何情況下，視 頻或圖像的觀看體驗的質(zhì)量降低。圖像配準技術(shù)可用以補償非故意的振動以產(chǎn)生更好的圖像質(zhì)量。圖像配準系統(tǒng)大 體上分成三個主要類別光學圖像穩(wěn)定器(OIS)、機械圖像穩(wěn)定器(MIS)和電子圖像穩(wěn)定器 (EIS)。0IS系統(tǒng)使用可調(diào)整透鏡，其在圖像到達傳感器之前使圖像變形以減小振動的效應(yīng)。 MIS系統(tǒng)(例如)使用相機的重心、抗衡系統(tǒng)和/或相機操作者的身體以最小化振動而使整 個相機穩(wěn)定。EIS系統(tǒng)使用信號處理算法以更改所俘獲的圖像且借此解決振動的效應(yīng)。在 一些圖像處理應(yīng)用中，圖像配準還可用以將圖像的短序列融合成一個圖片。EIS系統(tǒng)實施起 來可比OIS系統(tǒng)和MIS系統(tǒng)廉價，且可能優(yōu)于例如配備有成像能力的無線無線電電話手持 機(例如，所謂的相機電話)的裝置的OIS系統(tǒng)和MIS系統(tǒng)。對于視頻俘獲，成像裝置可實施基于塊的視頻壓縮技術(shù)，例如由高級視頻編碼 (AVC)標準，第 10 部分，MPEG-2、MPEG-4、ITU-T H. 261、H. 263 或 H. 264/MPEG-4 所定義的那 些技術(shù)。視頻壓縮技術(shù)執(zhí)行空間預測和時間預測以減少或移除在視頻序列中所固有的冗 余。運動估計和運動補償(例如)為用以移除經(jīng)編碼的視頻序列中的時間冗余且借此實現(xiàn) 數(shù)據(jù)壓縮的常見且有效的基于塊的視頻編碼技術(shù)。

發(fā)明內(nèi)容
本發(fā)明描述支持靜態(tài)圖像的圖像配準和視頻序列的視頻編碼的成像裝置的有效 架構(gòu)。對于圖像配準，所描述的架構(gòu)可使用經(jīng)俘獲的圖像的圖像塊相對于另一參考圖像的 塊的基于塊的比較以支持在逐塊基礎(chǔ)上的圖像配準。任選地，基于像素的配準還可用于任 何塊的圖像配準中，對于所述任何塊，在參考圖像中未識別充分匹配的塊。對于視頻編碼， 所描述的架構(gòu)可使用基于塊的比較(例如)以支持運動估計和運動補償。根據(jù)本發(fā)明的一些方面，可經(jīng)由塊比較引擎執(zhí)行基于塊的比較，所述塊比較引擎 形成圖像配準架構(gòu)與視頻編碼架構(gòu)兩者的部分。換句話說，本發(fā)明描述用于基于塊的圖像 配準和基于塊的視頻編碼的共享塊比較引擎的使用。以此方式，可實施針對基于塊的比較 而設(shè)計的硬件單元，以便在用于靜態(tài)圖像的圖像配準過程與用于編碼視頻序列的視頻編碼 過程兩者中工作。在一個實例中，本發(fā)明提供一種方法，其包含對視頻序列的圖像幀執(zhí)行視頻編碼
6過程，其中執(zhí)行視頻編碼過程包括使用塊比較引擎來比較經(jīng)編碼的圖像幀的視頻塊與搜索 空間的視頻塊；以及執(zhí)行圖像配準過程，其中執(zhí)行圖像配準過程包括使用所述塊比較引擎 來比較第一圖像的塊與第二圖像的塊。在另一實例中，本發(fā)明提供一種設(shè)備，其包含塊比較引擎；視頻編碼器，其對視 頻序列的圖像幀執(zhí)行視頻編碼過程，其中視頻編碼過程包括使用塊比較引擎來比較經(jīng)編碼 的圖像幀的視頻塊與搜索空間的視頻塊；以及圖像配準單元，其執(zhí)行圖像配準過程，其中所 述圖像配準過程包括使用塊比較引擎來比較第一圖像的塊與第二圖像的塊。在另一實例中，本發(fā)明提供一種裝置，其包含用于對視頻序列的圖像幀執(zhí)行視頻 編碼過程的裝置，其中用于執(zhí)行視頻編碼過程的裝置包括用于使用塊比較引擎來比較經(jīng)編 碼的圖像幀的視頻塊與搜索空間的視頻塊的裝置；以及用于執(zhí)行圖像配準過程的裝置，其 中用于執(zhí)行圖像配準過程的裝置包括用于使用塊比較引擎來比較第一圖像的塊與第二圖 像的塊的裝置。可以硬件、軟件、固件或其組合實施本發(fā)明中所描述的技術(shù)的各種方面。如果以軟 件實施，則軟件可執(zhí)行于處理器中，所述處理器可指代一個或一個以上處理器，例如，微處 理器、專用集成電路(ASIC)、現(xiàn)場可編程門陣列(FPGA)、或數(shù)字信號處理器(DSP)，或其它 等效集成或離散邏輯電路。軟件可執(zhí)行于包括塊比較引擎的成像裝置中，如本文所描述。執(zhí) 行所述技術(shù)的軟件指令可最初存儲于計算機可讀媒體中且由成像裝置的處理器加載并執(zhí) 行。因此，本發(fā)明還涵蓋包含包含指令的計算機可讀媒體的計算機可讀媒體，所述指 令當在包括塊比較引擎的成像裝置的處理器中執(zhí)行后便致使所述處理器對視頻序列的圖 像幀執(zhí)行視頻編碼過程，其中所述視頻編碼過程包括使用塊比較引擎比較經(jīng)編碼的圖像幀 的視頻塊與搜索空間的視頻塊；以及執(zhí)行圖像配準過程，其中基于塊的圖像配準過程包括 使用塊比較引擎來比較第一圖像的塊與第二圖像的塊。在附圖和以下描述中闡述一個或一個以上實例的細節(jié)。將從描述和圖式以及從權(quán) 利要求書明白其它特征、目的和優(yōu)點。


圖1為說明包括由圖像配準單元與視頻編碼器兩者使用的塊比較引擎的實例成 像裝置的框圖。圖2為與本發(fā)明的技術(shù)一致的耦合到存儲器的示范性圖像配準單元的框圖。圖3為與本發(fā)明的技術(shù)一致的耦合到存儲器的示范性視頻編碼器的框圖。圖4為說明根據(jù)本發(fā)明的執(zhí)行圖像配準和視頻編碼的成像裝置的實例操作的流 程圖。圖5為說明與本發(fā)明一致的示范性圖像配準過程的流程圖。
具體實施例方式成像裝置(尤其是小且輕的那些成像裝置，例如所謂的相機電話)易受在圖像俘 獲期間由裝置的用戶產(chǎn)生的不合意的移動影響。此些不合意的移動(有時稱為手抖動)大 體上歸因于模糊或其它視覺假影而導致降低的圖像質(zhì)量。為補償所述移動，成像裝置可使
7用本發(fā)明中描述的圖像配準技術(shù)來提供圖像穩(wěn)定。一般來說，圖像配準指代一技術(shù)，在所 述技術(shù)中兩個或兩個以上靜態(tài)圖像經(jīng)俘獲、經(jīng)對準并組合以形成復合(“配準的”)靜態(tài)圖 像。相對于所述兩個或兩個以上靜態(tài)圖像，圖像配準可用以減少經(jīng)組合的靜態(tài)圖像中的抖 動，或用以組合兩個或兩個以上圖像以將圖像的序列融合成一個圖片。對于圖像配準，本文所述的架構(gòu)使用經(jīng)俘獲的圖像的圖像塊相對于另一參考圖像 的塊的基于塊的比較以支持在逐塊基礎(chǔ)上的圖像配準。可將兩個或兩個以上圖像分成若干 塊或窗，其可類似于視頻編碼中定義的所謂的“宏塊”?？蓪⑦@些塊或窗與另一圖像的塊或 窗比較以支持在逐塊基礎(chǔ)上的圖像配準。所述塊可為不相交的、接合的(非重疊)的或重 疊的。任選地，基于像素的配準還可用于任何塊，對于所述任何塊，在參考圖像中未識別充 分匹配的塊。本發(fā)明描述一種在共享基礎(chǔ)上使用共同塊比較引擎支持靜態(tài)圖像的圖像配準和 視頻序列的視頻編碼的圖像俘獲裝置的有效架構(gòu)。通過圖像配準與視頻編碼兩者共享塊比 較引擎，減小成像裝置中的尺寸、處理和存儲器開銷可成為可能。對于視頻編碼，所描述的架構(gòu)還使用基于塊的比較(例如)以支持運動估計和運 動補償。根據(jù)本發(fā)明，如上文所描述，可經(jīng)由塊比較引擎執(zhí)行基于塊的比較，所述塊比較引 擎形成圖像配準架構(gòu)與視頻編碼架構(gòu)兩者的共享部分。換句話說，本發(fā)明描述用于在基于 塊的圖像配準和基于塊的視頻編碼中使用的共享塊比較引擎的使用。以此方式，可實施針 對基于塊的比較而設(shè)計的硬件單元，以便在靜態(tài)圖像的圖像配準過程與用于編碼視頻序列 的視頻編碼過程兩者中工作。圖像配準過程還可結(jié)合視頻俘獲一起使用，其中視頻序列的 每一圖像幀為與多個短曝光圖像相關(guān)聯(lián)的經(jīng)配準的幀。在此情況下，與圖像幀的產(chǎn)生相關(guān) 聯(lián)的圖像配準和用于編碼序列的此些圖像幀的視頻編碼過程仍將使用同一塊比較引擎。圖1為說明實例成像裝置2的框圖，所述成像裝置2包括由圖像配準單元16與視 頻編碼器18兩者使用的塊比較引擎20。盡管塊比較引擎20經(jīng)說明為單獨組件，但其實際 上可形成圖像配準單元16與視頻編碼器18兩者的部分。塊比較引擎20可包含在圖像配 準期間由圖像配準單元16調(diào)用以及在視頻編碼期間由視頻編碼器18調(diào)用的硬件單元?；?者，塊比較引擎20可包含硬件單元，所述硬件單元實質(zhì)上與圖像配準單元16和視頻編碼器 18兩者集成，使得其形成圖像配準單元16與視頻編碼器18兩者的部分。可以硬件、軟件、 固件或其任何組合來實施圖像配準單元16和視頻編碼器18。成像裝置2可包含數(shù)碼相機，其支持一個或一個以上數(shù)字靜態(tài)圖像俘獲模式和視 頻俘獲模式。成像裝置2可包含獨立的成像裝置(例如，獨立的相機)，或可形成例如無線 手持機(通常稱為蜂窩式無線電電話)的另一裝置的部分。作為一實例，成像裝置2可包 含所謂的相機電話或視頻電話。在此情況下，裝置2可包括許多其它組件(例如，接收器、 發(fā)射器、調(diào)制解調(diào)器和天線)以促進無線通信。為簡單和易于說明起見，未展示這些無線通 信組件。如圖1中所示，成像裝置2可包括經(jīng)由專用總線11耦合到圖像處理單元12的相機 10。圖像裝置2可界定隨著靜態(tài)圖像或視頻幀由相機10俘獲而自動處理所述圖像和/或 幀的“內(nèi)嵌(in-line)”架構(gòu)。然而，本發(fā)明的技術(shù)不需要相機10和處理單元12。相反，相 對于已由另一裝置俘獲的數(shù)據(jù)、從另一裝置發(fā)送的數(shù)據(jù)、已存儲于存儲器14中的數(shù)據(jù)等， 也可應(yīng)用本文描述的視頻編碼和圖像配準過程，其使用同一塊比較引擎。
8
相機10可支持靜態(tài)圖像俘獲，其中對于每一圖像以相對短的曝光時間俘獲圖像 的短序列，且接著將其組合以形成如本文所述的經(jīng)配準的靜態(tài)圖像。相機10還可支持視頻 俘獲，其中幀的序列經(jīng)俘獲且經(jīng)編碼以形成視頻序列。本文將圖像配準過程主要描述為圖 像俘獲模式的部分，但還可在視頻俘獲(例如，其中視頻序列的每一圖像幀自身為基于兩 次或兩次以上曝光而形成的經(jīng)配準的幀)期間使用圖像配準過程。相機10可包括(例如)以行和列布置的個別圖像傳感器元件的二維陣列。在一 些方面中，相機10的圖像傳感器元件中的每一者可與單一像素相關(guān)聯(lián)。換句話說，可能在 圖像傳感器元件與像素之間存在一一對應(yīng)。或者，可存在與每一像素相關(guān)聯(lián)的一個以上圖 像傳感器元件或與每一圖像傳感器元件相關(guān)聯(lián)的一個以上像素。相機10可包含(例如) 固態(tài)傳感器的陣列，所述固態(tài)傳感器例如為互補金屬氧化物半導體(CMOS)傳感器、電荷耦 合裝置(CCD)傳感器或在數(shù)碼相機應(yīng)用中使用的任何其它傳感器元件。此外，相機10可維 持一個或一個以上圖像緩沖器，相機10即時地將所俘獲圖像的圖像信息存儲到所述一個 或一個以上圖像緩沖器。相機10可包括一個或一個以上透鏡、快門、用以照亮圖像場景的 閃光裝置和(可能地)顯示器(如果需要的話)。圖1中所說明的架構(gòu)僅為示范性的，因為 可以多種其它架構(gòu)來實施本發(fā)明中所描述的技術(shù)。為俘獲一圖像，相機10將其傳感器元件暴露于圖像場景。相機10內(nèi)的圖像傳感器 元件可(例如)俘獲表示在特定像素位置處的場景的光的強度的強度值。在一些情況下， 相機10的圖像傳感器元件中的每一者可歸因于覆蓋傳感器的彩色濾光片而僅對一種色彩 或色帶敏感。舉例來說，相機10可包含具有適當濾光片的傳感器的陣列以便界定紅色、綠 色和藍色傳感器。然而，相機10可利用其它類型的彩色濾光片，例如CMYK彩色濾光片或其 它類型的彩色濾光片。相機10的圖像傳感器中的每一者可俘獲對于僅一種色彩的強度值。 圖像信息可包括由相機10的傳感器元件俘獲的像素強度和/或色彩值。圖像處理器單元12接收來自相機10的原始圖像數(shù)據(jù)，且可對此數(shù)據(jù)執(zhí)行廣泛多 種圖像處理技術(shù)中的任一者。圖像處理單元12可稱為成像“前端”，且可執(zhí)行例如縮放、白 平衡、色彩平衡、修剪、信號噪聲減少、銳化或任何其它前端圖像數(shù)據(jù)處理的功能。所俘獲的 圖像數(shù)據(jù)存儲于存儲器14中。圖像處理單元12、存儲器14、圖像配準單元16和視頻編碼 器18可經(jīng)由共享數(shù)據(jù)通信總線15而彼此通信地耦合。存儲器14可包含任何形式的易失性或非易失性存儲器，例如只讀存儲器(ROM)、 一形式的隨機存取存儲器(RAM)、電可擦除可編程只讀存儲器(EEPROM)、快閃存儲器，或某 一類型的數(shù)據(jù)存儲驅(qū)動器或單元。通常，存儲器14可實施為某一類型的RAM或快閃存儲器 以確保在裝置2的不同組件之間的快速數(shù)據(jù)傳送。可在裝置2的靜態(tài)圖像俘獲模式期間使用圖像配準單元16，而可在視頻俘獲模式 期間使用視頻編碼器18。圖像配準單元16可組合兩個或兩個以上圖像以形成經(jīng)配準的圖 像。在圖像俘獲模式期間，舉例來說，相機10可俘獲幾個連續(xù)短曝光圖像(例如，四個連續(xù) 0.25秒圖像)，而非俘獲長曝光圖像(例如，1秒圖像)。圖像配準單元16可將四個連續(xù) 0. 25秒圖像組合成經(jīng)配準的圖像。相對于持續(xù)1秒曝光的圖像來說，經(jīng)配準的圖像可具有 改進的圖像質(zhì)量。以此方式，配準可(例如)通過減少抖動而改進靜態(tài)圖像的質(zhì)量?？稍谝曨l俘獲期間使用視頻編碼器18。視頻編碼器18可根據(jù)例如高級視頻編碼 (AVC)，第 10 部分，MPEG-2、MPEG-4、ITU-T H. 261、H. 263 或 H. 264/MPEG-4 等標準執(zhí)行視頻
9壓縮。以此方式，視頻編碼器18壓縮視頻幀的序列以形成經(jīng)編碼的視頻序列。而且，圖像 配準無需限于圖像俘獲模式，而是還可用于視頻俘獲模式中，使得視頻序列的每一圖像幀 為基于兩次或兩次以上圖像曝光而產(chǎn)生的經(jīng)配準的幀。根據(jù)本發(fā)明的技術(shù)，由圖像配準單元16與視頻編碼器18兩者使用塊比較引擎20。 而且，盡管塊比較引擎20經(jīng)說明為單獨的組件，但其實際上可形成圖像配準單元16與視頻 編碼器18兩者的部分。或者，塊比較引擎20可被視為在圖像配準期間由圖像配準單元16 調(diào)用以及在視頻編碼期間由視頻編碼器18調(diào)用的單獨組件?？傊?，圖像配準單元16和視 頻編碼器18兩者均利用塊比較引擎20。以此方式，可在成像裝置2中避免塊比較引擎20 的重復，以使裝置2的架構(gòu)更有效。舉例來說，共享的塊比較引擎20可產(chǎn)生具有比在使用 單獨的塊比較引擎的情況下將需要的芯片面積小的芯片面積(較少硅)的集成電路。相對 于僅軟件解決方案，還可通過實施塊比較引擎20而減少存儲器需求。另外，相對于其它架 構(gòu)或僅軟件解決方案，可改進處理速度。圖像配準16可執(zhí)行基于塊的圖像配準。在此情況下，將圖像分割成像素的塊(在 本發(fā)明中稱為“塊”)。塊表示圖像信息的鄰接部分，且可被稱為“窗”或其它術(shù)語。在一些情 況下，經(jīng)界定用于圖像配準的塊可類似于H. 264視頻編碼標準中所界定的所謂的“宏塊”、 “分割”或“子分割”。所述塊具有任何尺寸，例如，16X16個像素、8X8個像素、4X8個像素、 8X4個像素、4X4個像素或任何其它尺寸。在視頻編碼的情境下，塊可被稱為宏塊、分割或 子分割，但在圖像配準中，塊可被稱為窗或其它術(shù)語。塊可包含在像素域(pixel domain) 中或在變換域(transform domain)(例如，離散余弦變換(DCT)域)中的圖像數(shù)據(jù)的集合。 舉例來說，塊可包含形成正方形或矩形的像素值或變換系數(shù)值。塊可為不相交的、接合(非 重疊)的或重疊的。圖像配準模塊16執(zhí)行基于塊的圖像配準過程，在所述過程中比較第一圖像(當前 圖像)的塊與第二圖像(參考圖像)的塊。第一圖像和第二圖像可包含具有短曝光時間的 連續(xù)圖像，如上文所解釋。如果在配準過程中組合兩個以上圖像，則第二圖像自身可為兩 次曝光的經(jīng)配準的版本，且第一圖像可為待與前兩次曝光的經(jīng)配準的組合相組合的第三曝 光。為了加速此比較過程，圖像配準模塊16使用塊比較引擎20。塊比較引擎20比較第一 圖像的塊與第二圖像的塊。圖像配準單元16識別、匹配并組合第一圖像的塊與第二圖像的 匹配塊。圖像配準單元16將經(jīng)配準的塊轉(zhuǎn)發(fā)到存儲器14，以便在存儲器14中以逐塊的方 式組裝經(jīng)配準的圖像。在組合第一圖像的塊與第二圖像的塊的過程中，圖像配準單元16可平均化最近 俘獲的圖像的像素的像素值(例如，強度和/或色彩值)與時間上在前面的圖像的像素的 像素值。圖像配準單元16可使用第一圖像與第二圖像的直接平均、第一圖像與第二圖像的 加權(quán)平均、第一圖像與第二圖像的和，或用于組合兩個或兩個以上圖像的圖像信息以供圖 像配準的任何其它技術(shù)。圖像配準單元16可將最近俘獲的圖像的像素位置處的經(jīng)平均化 像素值存儲于存儲器14中。以此方式，圖像配準單元16可在圖像配準期間以經(jīng)平均化像 素值來替代經(jīng)俘獲圖像中的一者的像素的像素值。此經(jīng)平均化圖像信息(即，像素值)通 常展現(xiàn)比未配準的圖像信息少的模糊，由此提供增強的圖像質(zhì)量，尤其在出現(xiàn)上文提及的 振動或移動的例子中。經(jīng)平均化圖像數(shù)據(jù)還可致使經(jīng)配準的圖像展現(xiàn)比第一圖像和第二圖 像少的模糊和可能少的噪聲。
10
根據(jù)本發(fā)明，圖像配準可在逐塊基礎(chǔ)上發(fā)生。然而，在一些情況下，如果對于所述 塊中的一些，未識別充分匹配的塊，則可由圖像配準單元16對此些塊執(zhí)行逐像素的比較。 圖像配準可用以組合場景的多次短曝光且將這些多次曝光合并在一起以減少噪聲，增加信 號且改進圖像銳度。例如照明差和視景移位(旋轉(zhuǎn)、平移)等問題是針對此類型處理的挑 戰(zhàn)。下文提供圖像配準過程的額外細節(jié)。視頻編碼器18實施基于塊的視頻壓縮技術(shù)，例如由高級視頻編碼(AVC)標準，第 10 部分，MPEG-2、MPEG-4、ITU-T H. 261、H. 263 或 H. 264/MPEG-4 所界定的那些技術(shù)。具體 來說，視頻編碼器18可執(zhí)行空間預測和時間預測以減少或移除在由相機10俘獲并由圖像 處理單元12處理的視頻幀的序列中所固有的冗余?？臻g預測減少由相機10所俘獲的給定 視頻幀內(nèi)的相鄰視頻塊之間的冗余。時間預測(還稱為運動估計和補償)減少視頻序列的 過去和/或?qū)硪曨l幀中的視頻塊之間的時間冗余。對于時間預測，視頻編碼器18執(zhí)行運動估計以追蹤兩個或兩個以上鄰近幀之間 的匹配視頻塊的移動。視頻編碼器18可界定運動向量以指示視頻塊相對于搜索空間的一 個或一個以上參考幀中的對應(yīng)預測視頻塊的位移。運動補償使用運動向量以從參考幀識別 預測視頻塊。經(jīng)由減法運算(例如，通過從待編碼的原始視頻塊減去預測視頻塊)形成殘 余視頻塊。可將殘余視頻塊連同運動向量一起發(fā)送到視頻解碼器。為了進行空間預測和時間預測所必需的基于塊的比較，視頻編碼器18使用由圖 像配準單元16在圖像配準中使用以用于基于塊的比較的同一塊比較引擎20。然而，視頻編 碼器18從數(shù)據(jù)的塊中減去塊以形成殘余塊，而非將數(shù)據(jù)的塊組合(如由圖像配準單元16 進行)。因為針對圖像配準而執(zhí)行的基于塊的比較操作類似于針對視頻編碼而執(zhí)行的基于 塊的比較操作，所以可由圖像配準單元16與視頻編碼器18兩者使用同一塊比較引擎20。 而且，共享的塊比較引擎20可產(chǎn)生具有比在使用單獨塊比較引擎的情況下將需要的芯片 面積小的芯片面積(較少硅)的集成電路裝置。相對于僅軟件解決方案，還可通過實施塊 比較引擎20而減少存儲器需求。另外，相對于其它架構(gòu)或僅軟件解決方案，可改進處理速 度。在下文論述中，將視頻編碼器18主要描述為執(zhí)行時間預測，例如運動估計和運動 補償。然而，視頻編碼器18還可執(zhí)行空間預測，且可實施塊比較引擎20以用于此空間預測。 然而，在此情況下，將給定視頻幀的塊與同一視頻幀的其它塊進行比較，以界定可用以在空 間上壓縮數(shù)據(jù)的類似性。塊比較引擎20可包含硬件單元。圖像配準單元16和視頻編碼器18可經(jīng)實施為 硬件、軟件、固件，或硬件、軟件或固件的廣泛多種組合中的任一者。圖像配準單元16和視 頻編碼器18可由一個或一個以上微處理器、數(shù)字信號處理器(DSP)、專用集成電路(ASIC)、 現(xiàn)場可編程門陣列(FPGA)，或任何其它等效離散或集成邏輯電路，或其組合來實現(xiàn)。在一些 實施例中，視頻編碼器18可包含支持編碼和解碼功能性的編碼器-解碼器(CODEC)。圖2為與本發(fā)明的技術(shù)一致的耦合到存儲器14的示范性圖像配準單元16的框 圖。圖2中的所說明組件為圖1中所示的圖像配準單元16和存儲器14的一個實例。如圖 2中所示，存儲器14接收來自圖像處理單元(例如，圖1的單元12)的圖像數(shù)據(jù)。在圖2和 圖3中，說明同一塊比較引擎20。虛線環(huán)繞塊比較引擎20以說明塊比較引擎20形成圖像 配準單元16 (圖2)的部分，而且形成視頻編碼器18 (圖3)的部分的想法。如上文所提及，可將塊比較引擎20視為由圖像配準單元16和由視頻編碼器18調(diào)用的引擎，或可將其視為 經(jīng)集成為圖像配準單元16和視頻編碼器18的部分的硬件單元?？梢灾饓K的方式在存儲器中在交替(ping pong)輸入緩沖器22處接收輸入。交 替輸入緩沖器22可包含所謂的“交替”緩沖器布置。在此情況下，數(shù)據(jù)僅在需要其時存儲 于緩沖器22中，且一旦在圖像配準單元16中處理此數(shù)據(jù)便將數(shù)據(jù)蓋寫。舉例來說，可將第 一圖像塊存儲于交替輸入緩沖器22中且將其轉(zhuǎn)發(fā)到圖像配準單元16以供處理。此時，可 在交替輸入緩沖器22中從圖像處理單元12接收數(shù)據(jù)的第二塊。一旦數(shù)據(jù)的第一塊由圖像 配準單元16處理，便可將數(shù)據(jù)的第二塊轉(zhuǎn)發(fā)到圖像配準單元16。此時，可在交替輸入緩沖 器22中接收數(shù)據(jù)的第三塊。此外，數(shù)據(jù)的此第三塊可蓋寫交替輸入緩沖器22中的數(shù)據(jù)的 第一塊。此實現(xiàn)存儲器14的有效使用，使得一旦已由圖像配準單元16處理數(shù)據(jù)，數(shù)據(jù)便無 需存儲于存儲器14中?？山?jīng)由數(shù)據(jù)通信總線15在存儲器14與圖像配準單元16之間傳送 數(shù)據(jù)。交替輸入緩沖器22可包括用于任何數(shù)目的塊的存儲空間，但一般支持一旦已處 理數(shù)據(jù)塊便蓋寫此些塊。如進一步解釋，交替輸入緩沖器22可包括兩個或兩個以上并行緩 沖器。當寫入到一個緩沖器時，可從另一緩沖器讀取數(shù)據(jù)，且反之亦然。因此，交替緩沖器 22可支持在從一個緩沖器讀取的同時大體上同時蓋寫另一緩沖器，使得讀取操作和寫入操 作在兩個或兩個以上并行緩沖器之間在交替基礎(chǔ)上交替。圖像配準單元16以逐塊的方式執(zhí)行圖像配準過程。具體來說，圖像配準單元16從 交替輸入緩沖器22接收第一圖像的數(shù)據(jù)的塊，且接收與第二圖像(例如，參考圖像24)相 關(guān)聯(lián)的塊的集合。參考圖像24可為先前俘獲的圖像(先前在與靜態(tài)圖像俘獲相關(guān)聯(lián)的短 時間序列中)，或可包含與兩個或兩個以上先前俘獲的圖像相關(guān)聯(lián)的復合配準的圖像。圖像配準單元16調(diào)用塊比較引擎20以將第一圖像的塊與第二圖像的一個或一個 以上塊進行比較。塊比較引擎20將第一圖像的塊的像素與第二圖像的不同塊的像素進行 比較，且產(chǎn)生指示第一圖像的塊與第二圖像的不同塊之間的匹配的水平的匹配值。塊比較 引擎20可實施絕對差和(SAD)技術(shù)、平方差和(SSD)技術(shù)或任何其它合適的比較技術(shù)以產(chǎn) 生匹配值。塊匹配單元27從塊比較引擎20接收匹配值且將這些值與一個或一個以上閾值 進行比較以確定是否已識別充分匹配。SAD技術(shù)涉及在第一圖像的塊的值與第二(參考)圖像的塊的像素值之間執(zhí)行絕 對差計算的任務(wù)。將這些絕對差計算的結(jié)果求和(即，累加)，以便界定指示所述塊之間的 差的值。作為實例，對于8乘8像素塊，可計算64個差并對其求和，且對于16乘16像素塊， 可計算256個差并對其求和。較低差值大體上指示與另一塊比較的一塊為更好匹配。SSD技術(shù)還涉及在第一圖像的塊的像素值與第二(參考)圖像的塊的像素值之間 執(zhí)行差計算的任務(wù)。在SSD技術(shù)中，將絕對差計算的結(jié)果平方，且接著將平方值求和(即， 累加)，以便界定指示所述塊之間的差的差值?；蛘?，塊比較引擎20可實施其它比較技術(shù)， 例如均方誤差(MSE)、歸一化互相關(guān)函數(shù)(NCCF)或另一合適的比較技術(shù)。如果由塊匹配單元27識別充分匹配，則塊組合器28組合第一圖像的塊與第二圖 像的匹配塊以(例如)通過平均化或以其它方式組合塊中的對應(yīng)像素的值而產(chǎn)生經(jīng)配準的 塊。接著將經(jīng)配準的塊從圖像配準單元的塊組合器28發(fā)送到存儲器14，其中塊組合器28 用以組裝經(jīng)配準的圖像26的部分。為了組合塊，如上文所提及，塊組合器28可執(zhí)行加法運算、平均化運算、加權(quán)平均化運算，或通常用于圖像配準過程中的用以組合匹配塊內(nèi)的對應(yīng) 像素值的任何運算。另一方面，如果塊匹配單元27未識別充分匹配，則幾個不同可能性中的一者可能 發(fā)生。在一個實例中，如果塊匹配單元27未識別充分匹配，則塊組合器28可避免任何組合， 且可將第一圖像的塊直接轉(zhuǎn)發(fā)到存儲器14以供在組裝經(jīng)配準的圖像26的過程中使用。在 此情況下，經(jīng)配準的圖像的那個給定塊可僅包括與第一圖像的塊相關(guān)聯(lián)的數(shù)據(jù)，而無與第 二圖像的塊的任何組合。在一些情況下，如果塊組合器28因任何原因而避免組合，則塊組 合器28可在第一圖像的塊與第二圖像的塊之間進行選擇且轉(zhuǎn)發(fā)所選的塊。在此情況下，可 基于塊的已知或所測量性質(zhì)進行選擇，例如，當避免組合時可轉(zhuǎn)發(fā)展現(xiàn)最小噪聲的塊。或者，如果塊匹配單元27未識別充分匹配，則塊組合器28可將第一圖像的塊和最 佳匹配(即使對于塊組合來說不夠好)轉(zhuǎn)發(fā)到像素組合器29。在此情況下，像素組合器29 可執(zhí)行第一圖像的塊相對于由塊比較引擎20和塊匹配單元27識別的最佳匹配塊的像素的 基于像素的比較。像素組合器29可組合第一圖像的塊的充分匹配的像素與第二圖像的最 佳匹配塊的像素。然而，不具有充分匹配的任何像素可能仍未組合。在產(chǎn)生具有一個或一 個以上經(jīng)組合像素的經(jīng)配準塊后，像素組合器29可將經(jīng)配準的塊轉(zhuǎn)發(fā)到存儲器，其中經(jīng)配 準的塊經(jīng)存儲以供在組裝經(jīng)配準的圖像26的過程中使用。像素組合器29為任選的，且在 一些實施例中可除去。在一些情況下，一旦經(jīng)配準的圖像26經(jīng)完全組裝，經(jīng)配準的圖像26接著便用作參 考圖像24。如果在圖像配準過程中組合三個或三個以上圖像，則此特別有用。在此情況下， 以逐塊的方式組合前兩個圖像以產(chǎn)生經(jīng)配準的圖像26，其接著變?yōu)閰⒖紙D像24。接著，將 第三圖像與參考圖像24進行比較并將其組合以產(chǎn)生新的經(jīng)配準的圖像26，此時新的經(jīng)配 準的圖像26為三個圖像的組合。此過程可繼續(xù)用于待組合成經(jīng)配準的圖像的任何數(shù)目的 圖像。如果(例如)相對于已可用且未實時俘獲的經(jīng)預先俘獲的圖像或數(shù)據(jù)而離線執(zhí)行配 準過程，則可將任何圖像視為第一參考圖像。如上文所提及，塊比較引擎20不僅用于針對圖像配準的基于塊的比較，而且用于 針對視頻編碼的基于塊的比較。圖3為與本發(fā)明的技術(shù)一致的耦合到存儲器14的示范性 視頻編碼器18的框圖。圖3中的所說明組件為圖1中所示的視頻編碼器18和存儲器14 的一個實例。如圖3中所示，存儲器14從圖像處理單元(例如，圖1的單元12)接收數(shù)據(jù)。 此數(shù)據(jù)為形成視頻序列的圖像幀的序列。可在存儲器中在輸入緩沖器32處接收輸入。輸入緩沖器32可類似于交替輸入緩 沖器22，且可包含所謂的“交替”緩沖器布置，(例如)如先前所描述。然而，可根據(jù)許多其 它類型的緩沖器布置來布置輸入緩沖器32。對于視頻編碼，存儲器14將第一圖像幀的塊存儲于輸入緩沖器32中，且存儲搜索 空間34。搜索空間34可包含對應(yīng)于視頻序列的先前編碼的圖像幀(或?qū)τ陔p向預測的可 能的后續(xù)幀)的像素(或像素的塊)的集合。搜索空間可包含全部先前幀或后續(xù)幀，或幀 的子集(如果需要的話)。搜索空間可為矩形形狀或可采用廣泛多種形狀和尺寸中的任一
者ο視頻編碼器18從輸入緩沖器32接收待編碼的圖像幀的塊，且接收搜索空間34。 可經(jīng)由數(shù)據(jù)通信總線15將數(shù)據(jù)從存儲器14傳送到視頻編碼器18。視頻編碼器16包括運動估計(ME)單元42、運動補償(MC)單元44和差單元46。在圖3的實例中，塊比較引擎20 形成視頻編碼器18的部分，且可被視為由ME單元42調(diào)用的比較引擎，或可被視為ME單元 42的集成部分。視頻編碼器18經(jīng)說明為包括用于基于運動的時間編碼的ME單元42和MC 單元44，但還可包括用于空間預測編碼的組件，且此些組件還可使用同一塊比較引擎20。 為簡單和易于說明起見，圖3中未展示空間預測組件。經(jīng)由ME單元42和MC單元44的幀間編碼依賴于時間預測以減少或移除視頻序列 的連續(xù)圖像幀的塊之間的時間冗余。對于幀間編碼，ME單元42追蹤兩個或兩個以上鄰近 幀之間的匹配塊的移動。運動估計產(chǎn)生運動向量，其指示塊相對于一個或一個以上參考幀 中的對應(yīng)預測塊的位移。MC單元44使用運動向量以從參考幀產(chǎn)生預測塊。在運動補償后， 差單元46通過從待編碼的原始塊減去預測塊而產(chǎn)生殘余塊?？蓪堄鄩K和用以產(chǎn)生殘余 塊的運動向量從視頻編碼器16傳送到存儲器14，其中此數(shù)據(jù)經(jīng)存儲并組裝為視頻序列的 經(jīng)編碼幀的殘余數(shù)據(jù)36。而且，根據(jù)本發(fā)明，由圖像配準單元16使用的同一塊比較引擎20還由視頻編碼器 18使用以促進塊比較。然而，在視頻編碼中，塊比較促進視頻序列的基于塊的編碼而非圖 像配準。塊比較引擎20可實施如上文所概述的SAD技術(shù)、SSD技術(shù)或任何合適的塊比較技 術(shù)。如果需要，視頻編碼器18可應(yīng)用變換、量化和熵編碼過程以進一步減小與殘余塊 相關(guān)聯(lián)的位速率。變換技術(shù)可包含離散余弦變換(DCT)。量化可包括將系數(shù)量化到降低的 分辨率水平以改進壓縮。熵編碼可包括可變長度編碼、二進制算術(shù)編碼(CABAC)、霍夫曼編 碼、行程編碼、編碼塊模式(CBP)編碼等。為簡單和易于說明起見，圖3中未說明這些額外 組件。這些或其它編碼方法可輔助殘余數(shù)據(jù)的數(shù)據(jù)壓縮，尤其在將要在裝置之間發(fā)射數(shù)據(jù) 的情況下。圖4為說明根據(jù)本發(fā)明的執(zhí)行圖像配準和視頻編碼的成像裝置2的實例操作的流 程圖。如上文所提及，本發(fā)明的技術(shù)不需要任何圖像俘獲，但可相對于已由另一裝置俘獲的 數(shù)據(jù)、從另一裝置發(fā)送的數(shù)據(jù)、已存儲于存儲器中的數(shù)據(jù)等應(yīng)用所述技術(shù)。然而，圖4(其展 示圖像俘獲步驟)說明在此情境下本文中所描述的技術(shù)。如圖4中所示，成像裝置2操作于 視頻模式或靜態(tài)圖像俘獲模式中(400)。當成像裝置2為視頻模式(400的視頻分支)時， 成像裝置2的相機10俘獲視頻序列(401)。成像裝置2的視頻編碼器18使用塊比較引擎 20以對所俘獲的視頻序列執(zhí)行基于塊的視頻編碼(402)?；蛘撸敵上裱b置2為靜態(tài)圖像俘獲模式(400的靜態(tài)圖像分支)時，成像裝置2 俘獲靜態(tài)圖像(403)。在此情況下，成像裝置2的圖像配準單元16使用塊比較引擎20來圖 像配準(404)。以此方式，塊比較引擎20執(zhí)行雙重功能性，從而加速圖像配準過程和視頻編 碼過程。盡管圖像配準過程經(jīng)描述為主要適用于靜態(tài)圖像，但圖像配準過程還可用以(例 如)在視頻編碼之前配準視頻序列的圖像幀。簡而言之，裝置2對視頻序列的圖像幀執(zhí)行視頻編碼過程，其中執(zhí)行視頻編碼過 程包括使用塊比較20引擎將正被編碼的圖像幀的視頻塊與搜索空間的視頻塊進行比較。 另外，裝置2執(zhí)行圖像配準過程，其中執(zhí)行所述圖像配準過程包括使用塊比較引擎20將第 一圖像的塊與第二圖像的塊進行比較。所述技術(shù)可應(yīng)用于俘獲圖像和視頻的裝置中，或應(yīng) 用于僅存儲圖像和視頻的裝置中。
14
如本文所描述，視頻編碼過程包括使用塊比較引擎20的運動估計、運動補償，和 在正被編碼的圖像幀的視頻塊與搜索空間的匹配視頻塊之間的差計算。所述差計算包含減 法運算。圖像配準過程包括使用塊比較引擎20以比較第一圖像的塊與第二圖像的塊，且組 合第一圖像與第二圖像的匹配塊以產(chǎn)生經(jīng)配準的圖像的塊。匹配塊的組合可包含加法運算 和平均化運算中的至少一者。與塊比較引擎20相關(guān)聯(lián)的減小的芯片面積和減少的等待時間是視頻編碼和圖像 配準共享塊比較引擎20而可實現(xiàn)的兩個優(yōu)點。通過圖像配準實施共享引擎，可避免對在集 成電路中添加用于圖像配準的專用芯片空間的需要。此外，與用于視頻編碼和圖像配準的 僅軟件解決方案相比，通過實施用于視頻編碼和圖像配準的基于硬件的塊比較引擎20，可 加速處理。圖5說明與本發(fā)明一致的示范性圖像配準過程。如圖5中所示，存儲器14存儲參 考圖像(其可稱為“第二圖像”)。存儲器14根據(jù)交替緩沖器布置接收并處理待配準的第一 圖像的塊(402)，所述布置可經(jīng)由交替輸入緩沖器22而實施。在此情況下，交替輸入緩沖器 22將第一圖像的塊緩沖于緩沖器布置中，使得當?shù)谝粓D像的給定塊與第二圖像的給定塊組 合以產(chǎn)生經(jīng)配準的圖像的給定塊時，在所述緩沖器布置中蓋寫第一圖像的給定塊。如進一 步解釋，交替緩沖器布置通常具有兩個或兩個以上并行緩沖器。當寫入到一個緩沖器時，可 從另一者讀取數(shù)據(jù)，且反之亦然。圖像配準單元16使用塊比較引擎20以用于輸入緩沖器22中的第一圖像的塊相 對于存儲為參考圖像24的第二圖像的塊的圖像配準(503)。塊匹配單元27確定任何參考 塊是否具有大于閾值的與第一圖像的塊的匹配水平(504)。如果塊匹配單元27識別針對第 一圖像的一個或一個以上“第一”塊的匹配水平大于閾值(504的是分支)，則塊組合器28 組合所述一個或一個以上第一塊與第一圖像的相應(yīng)塊以產(chǎn)生經(jīng)配準的塊(505)。如果塊匹配單元27未識別針對第一圖像的一個或一個以上“第二”塊的匹配水平 大于閾值(504的否分支)，則塊組合器28不組合所述一個或一個以上第二塊與第一圖像的 塊以產(chǎn)生經(jīng)配準的塊(506)。而是，塊組合器將這些第二塊轉(zhuǎn)發(fā)到像素組合器29。像素組 合器29針對第一圖像的第二塊的個別像素執(zhí)行基于像素的比較和組合(507)。下文論述所 述基于像素的組合的更多細節(jié)?；蛘撸蓪⑨槍ζ湮醋R別匹配塊的“第二”塊存儲于經(jīng)配準 的圖像中，而不與參考圖像的塊進行任何組合。在存儲器14中組裝經(jīng)配準的圖像26 (508)。具體來說，圖像配準單元18以逐塊的 方式將經(jīng)配準的塊寫入到存儲器14，以便組裝經(jīng)配準的圖像26。此經(jīng)配準的圖像26可包 括來自塊組合器28的完全配準的塊，和具有來自像素組合器29的一個或一個以上經(jīng)配準 的像素和一個或一個以上未配準的像素的塊?？蓪⒔?jīng)配準的圖像26存儲為最終經(jīng)配準的 圖像，或如果將要組合額外圖像以用于多圖像配準，則可將經(jīng)配準的圖像26用作參考圖像 24。根據(jù)本發(fā)明，執(zhí)行圖像配準過程可包括以逐塊的方式接收第一圖像的塊；組合 第一圖像的塊與第二圖像的塊以產(chǎn)生經(jīng)配準的圖像的經(jīng)配準塊；將第一圖像的塊緩沖于緩 沖器布置中，使得當?shù)谝粓D像的給定塊與第二圖像的給定塊組合以產(chǎn)生經(jīng)配準的圖像的給 定塊時，在緩沖器布置中蓋寫第一圖像的給定塊；以及組裝經(jīng)配準的塊以產(chǎn)生經(jīng)配準的圖像。
在一些情況下，如果針對給定塊未識別充分匹配的塊，則可將所述給定塊存儲為 經(jīng)配準的塊而不與參考圖像24的參考塊進行任何組合。在其它情況下，圖像配準過程可包 括當識別閾值匹配水平時，組合第一圖像的第一塊與第二圖像的塊以產(chǎn)生經(jīng)配準的圖像 的經(jīng)配準塊；當未識別閾值匹配水平時，不組合第一圖像的第二塊與第二圖像的塊；且針 對第一圖像的第二塊，執(zhí)行相對于第二圖像的像素的基于像素的比較；且組合第一圖像的 第二塊的一個或一個以上像素與第二圖像的像素以產(chǎn)生經(jīng)配準的像素。圖像配準過程可涉及將兩個或兩個以上圖像的塊組合于相對于所述兩個或兩個 以上圖像的經(jīng)組合圖像中。此可用以實現(xiàn)手抖動減少，即，減少在圖像俘獲期間由圖像俘獲 裝置的運動引起的抖動。或者，如本發(fā)明中所描述的圖像配準可用以實行所謂的高動態(tài)范 圍處理。在高動態(tài)范圍處理中，使用不同曝光俘獲場景的多個圖片。所述圖像中的一些經(jīng) 過度曝光以俘獲陰影細節(jié)，一些圖片經(jīng)不足曝光以保留輝亮部分，而一些經(jīng)曝光以用于場 景中的中間色調(diào)。通過在圖像配準單元20中具有靈活性，可使用內(nèi)嵌架構(gòu)將多個曝光實時組合成 高動態(tài)范圍圖像，如本文所描述。在又一實例中，圖像配準過程可包括組合兩個或兩個以上 圖像的塊以將圖像的序列融合成一個圖片。在此情況下，可執(zhí)行圖像配準以將圖像的序列 融合在一起以形成俘獲運動(例如，某人步行或跑步的前進)的一個圖片。如本文所描述，圖像配準為將兩個或兩個以上圖像組合(例如，相加或平均化)在 一起的程序。所述兩個或兩個以上圖像可具有水平和垂直像素移位(如果需要的話)以對 準圖像中的對應(yīng)對象或特征。像素移位可與位置無關(guān)(在整個圖像中恒定)或與位置相關(guān) (在整個圖像中不恒定)?；趬K的配準將第一圖像分成若干塊(例如，8個像素、16個像 素或32個像素的塊)且對于每一塊形成對最接近正被配準的塊的來自第二圖像(參考圖 像)的塊的搜尋。(例如)由圖像配準單元18執(zhí)行的圖像配準過程可由下式表示 其中V和H表示最小化求和的ν和h的值，Sl表示來自第一圖像的塊，S2表示來自第二圖像的塊，i和j橫跨塊空間，h和ν為兩個塊之間的假定水平和垂直偏移，M表示宏塊支持空間(例如，8 X 8、16 X 16等)，運算(IIdist)表示測量兩個向量之間的距離的一般方式，min表示最小化運算，且Σ表示求和運算。作為一替代方案，平方距離計算可用以界定塊類似性。如果平方距離用以界定塊 類似性，則(例如)由圖像配準單元18執(zhí)行的圖像配準過程可由下式表示 一旦估計了塊偏移，圖像配準單元18便可使用所述塊偏移以產(chǎn)生像素偏移并以逐塊的方式組合兩個圖像。對于此類型的基于塊的實施方案，可假定塊內(nèi)的像素偏移為恒 定的且同一塊偏移用于給定塊中的所有像素。然而，歸因于來自第一圖像的特定塊與第二(參考)圖像的塊之間的極佳匹配可 能不存在(例如，因為來自第二圖像的塊可以消除塊匹配的某一方式旋轉(zhuǎn)或移動)的可能 性，以簡單移位來組合這些塊可能是不可能的。一種解決問題(其可能在于場景中存在移 動對象時出現(xiàn))的方式為在未發(fā)現(xiàn)足夠緊密的匹配的情況下不組合塊來用于圖像配準。此 外，一種驗證以上最小化結(jié)果是否為緊密匹配的方式是建立預定閾值，以便決定是否將組 合塊或是否僅第一塊將用于最終圖像中。此過程可由下式表示 其中T表示預定閾值。因此，如果以上求和小于閾值T，則將由圖像配準單元18組 合兩個塊，且如果以上求和等于或大于閾值T，則圖像配準單元18將不組合兩個圖像塊。是否基于閾值來組合塊的決策可另外包括挑選不具有充分匹配(歸因于旋轉(zhuǎn)或 范圍外的移動)的塊和以不同方式威脅(threat)此些塊。然而，因為由圖像配準單元18 基于總塊差作出決策，所以有可能累積(或平均)差對于塊的一些像素來說相對小，且對于 塊的其它像素來說較大。在此情況下，可基于所測量的像素差作出像素水平?jīng)Q策以組合像 素(或不組合像素)。此可為任選的像素組合器28的功能，如圖2中所示。在支持不具有充分塊匹配的塊的基于像素的比較的實施方案中，可根據(jù)下式來使 用像素RGB向量之間的差 其中R1、G1和Bl為來自第一圖像的塊的像素的紅、綠和藍分量，且圖像R2、G2和 B2為來自第二(參考)圖像的塊的像素的紅、綠和藍分量。M可表示基于像素的閾值，在所 述閾值以下發(fā)生組合。因此，如果以上計算小于M，則像素組合器28可針對那個給定像素執(zhí) 行基于像素的組合，且如果以上計算大于或等于M,則像素組合器28可避免那個給定像素 的組合?？梢杂布?、軟件、固件或其任何組合來實施本文中所描述的技術(shù)。描述為模塊或組 件的任何特征可一起實施于集成邏輯裝置中或單獨地實施為離散但可互操作的邏輯裝置。 如果以軟件實施，則可至少部分由包含指令的計算機可讀媒體實現(xiàn)所述技術(shù)，所述指令在 執(zhí)行時執(zhí)行上述方法中的一者或一者以上且實施塊比較引擎以如此進行。計算機可讀媒體 可形成可包括封裝材料的計算機程序產(chǎn)品的部分。計算機可讀媒體可包含例如同步動態(tài)隨 機存取存儲器(SDRAM)的隨機存取存儲器(RAM)、只讀存儲器(ROM)、非易失性隨機存取存 儲器(NVRAM)、電可擦除可編程只讀存儲器(EEPROM)、快閃存儲器、磁性或光學數(shù)據(jù)存儲媒 體等。除此之外或替代地，可至少部分由以指令或數(shù)據(jù)結(jié)構(gòu)的形式載運或傳送代碼且可由 計算機存取、讀取和/或執(zhí)行的計算機可讀通信媒體來實現(xiàn)所述技術(shù)。代碼可由一個或一個以上處理器執(zhí)行，所述處理器例如為一個或一個以上DSP、通
17用微處理器、ASIC、現(xiàn)場可編程邏輯陣列FPGA或其它等效集成或離散邏輯電路。因此，本 文中所使用的術(shù)語“處理器”可指代上述結(jié)構(gòu)或適于實施本文中所描述的技術(shù)的任何其它 結(jié)構(gòu)中的任一者。另外，在一些方面中，本文中所描述的功能性可提供于為編碼和解碼而配 置的專用軟件模塊或硬件模塊內(nèi)，或并入于經(jīng)組合的視頻編碼器-解碼器(CODEC)中。因 此，本發(fā)明還涵蓋包括用以實施本發(fā)明中所描述的技術(shù)中的一者或一者以上的電路的多種 集成電路裝置中的任一者?？稍趩我患呻娐沸酒蛟诙鄠€可互操作的集成電路芯片中提 供此電路。 已描述各種技術(shù)。這些和其它實例方面處于所附權(quán)利要求書的范圍內(nèi)。
權(quán)利要求
一種方法，其包含對視頻序列的圖像幀執(zhí)行視頻編碼過程，其中執(zhí)行所述視頻編碼過程包括使用塊比較引擎將正被編碼的圖像幀的視頻塊與搜索空間的視頻塊進行比較；以及執(zhí)行圖像配準過程，其中執(zhí)行所述圖像配準過程包括使用所述塊比較引擎將第一圖像的塊與第二圖像的塊進行比較。
2.根據(jù)權(quán)利要求1所述的方法，其中所述視頻編碼過程包括使用所述塊比較引擎的運動估計、運動補償和所述正被編 碼的圖像幀的所述視頻塊與所述搜索空間的匹配視頻塊之間的差計算，且其中所述圖像配準過程包括在使用所述塊比較引擎將所述第一圖像的所述塊與所述 第二圖像的所述塊進行比較后，組合所述第一圖像和所述第二圖像的匹配塊以產(chǎn)生經(jīng)配準 的圖像的塊。
3.根據(jù)權(quán)利要求2所述的方法， 其中所述差計算包含減法運算，且其中組合匹配塊包含應(yīng)用加法運算和應(yīng)用平均化運算中的至少之一。
4.根據(jù)權(quán)利要求1所述的方法，其中執(zhí)行所述圖像配準過程包括 以逐塊的方式接收所述第一圖像的所述塊；組合所述第一圖像的所述塊與所述第二圖像的所述塊以產(chǎn)生經(jīng)配準的圖像的經(jīng)配準塊；將所述第一圖像的所述塊緩沖于緩沖器布置中，使得當所述第一圖像的給定塊與所述 第二圖像的給定塊組合以產(chǎn)生所述經(jīng)配準的圖像的給定塊時，在所述緩沖器布置中蓋寫所 述第一圖像的所述給定塊；以及組裝所述經(jīng)配準塊以產(chǎn)生所述經(jīng)配準的圖像。
5.根據(jù)權(quán)利要求1所述的方法，其中執(zhí)行所述圖像配準過程包括當識別出閾值匹配水平時，組合所述第一圖像的第一塊與所述第二圖像的塊以產(chǎn)生經(jīng) 配準的圖像的經(jīng)配準塊；當未識別出所述閾值匹配水平時，不組合所述第一圖像的第二塊與所述第二圖像的 塊；以及針對所述第一圖像的所述第二塊，執(zhí)行相對于所述第二圖像的像素的基于像素的比 較，且組合所述第一圖像的所述第二塊的一個或一個以上像素與所述第二圖像的像素以產(chǎn) 生經(jīng)配準的像素。
6.根據(jù)權(quán)利要求1所述的方法，其中執(zhí)行所述圖像配準過程包括組合兩個或兩個以 上圖像的塊以減少相對于所述兩個或兩個以上圖像的經(jīng)組合圖像中的抖動。
7.根據(jù)權(quán)利要求1所述的方法，其中執(zhí)行所述圖像配準過程包括組合兩個或兩個以 上圖像的塊以將圖像的序列融合成一個圖片。
8.根據(jù)權(quán)利要求1所述的方法，其中執(zhí)行所述圖像配準過程包括組合所述第一圖像和 所述第二圖像的塊，且其中使用不同曝光來捕獲所述第一圖像和所述第二圖像。
9.一種設(shè)備，其包含 塊比較引擎；視頻編碼器，其對視頻序列的圖像幀執(zhí)行視頻編碼過程，其中所述視頻編碼過程包括2使用所述塊比較引擎將正被編碼的圖像幀的視頻塊與搜索空間的視頻塊進行比較；以及圖像配準單元，其執(zhí)行圖像配準過程，其中所述圖像配準過程包括使用所述塊比較引 擎將第一圖像的塊與第二圖像的塊進行比較。
10.根據(jù)權(quán)利要求9所述的設(shè)備，其中所述視頻編碼器包括使用所述塊比較引擎的運動估計單元、運動補償單元和執(zhí)行所述 正被編碼的圖像幀的所述視頻塊與所述搜索空間的匹配視頻塊之間的差計算的差計算單 元，且所述圖像配準單元包括用以通過比較所述第一圖像和所述第二圖像的塊來執(zhí)行所述 圖像配準過程的所述塊比較引擎、用以識別匹配塊的塊匹配單元和執(zhí)行所述第一圖像和所 述第二圖像的所述匹配塊的組合以產(chǎn)生經(jīng)配準的圖像的塊的組合單元。
11.根據(jù)權(quán)利要求10所述的設(shè)備，其中所述差計算包含減法運算，且其中匹配塊的所述組合包含以下至少之一加法運算和平均化運算。
12.根據(jù)權(quán)利要求9所述的設(shè)備，其中所述設(shè)備包括包含緩沖器布置的存儲器，其中對 于所述圖像配準過程所述存儲器以逐塊的方式接收所述第一圖像的所述塊；所述圖像配準單元組合所述第一圖像的所述塊與所述第二圖像的所述塊以產(chǎn)生經(jīng)配 準的圖像的經(jīng)配準塊；所述存儲器將所述第一圖像的所述塊緩沖于緩沖器布置中，使得當所述第一圖像的給 定塊與所述第二圖像的給定塊組合以產(chǎn)生所述經(jīng)配準的圖像的給定塊時，在所述緩沖器布 置中蓋寫所述第一圖像的所述給定塊；且所述圖像配準單元將所述經(jīng)配準塊發(fā)送到所述存儲器以組裝所述經(jīng)配準的圖像。
13.根據(jù)權(quán)利要求9所述的設(shè)備，其中所述圖像配準單元包括塊匹配單元，其確定所述第一圖像的一個或一個以上塊相對于所述第二圖像的一個或 一個以上塊之間是否存在閾值匹配水平；塊組合器，其在識別所述閾值匹配水平時組合所述第一圖像的第一塊與所述第二圖像 的塊以產(chǎn)生經(jīng)配準的圖像的經(jīng)配準塊，且在未識別所述閾值匹配水平時不組合所述第一圖 像的第二塊與所述第二圖像的塊；以及像素組合器，其針對所述第一圖像的所述第二塊執(zhí)行所述第一圖像的所述第二塊的像 素相對于所述第二圖像的像素的基于像素的比較，且組合所述第一圖像的所述第二塊的一 個或一個以上像素與所述第二圖像的像素以產(chǎn)生經(jīng)配準的像素。
14.根據(jù)權(quán)利要求9所述的設(shè)備，其中執(zhí)行所述圖像配準過程包括組合兩個或兩個以 上圖像的塊以減少相對于所述兩個或兩個以上圖像的經(jīng)組合圖像中的抖動。
15.根據(jù)權(quán)利要求9所述的設(shè)備，其中執(zhí)行所述圖像配準過程包括組合兩個或兩個以 上圖像的塊以將圖像的序列融合成一個圖片。
16.根據(jù)權(quán)利要求9所述的設(shè)備，其中執(zhí)行所述圖像配準過程包括組合所述第一圖像 和所述第二圖像的塊，且其中所述第一圖像和所述第二圖像是使用不同曝光而捕獲的。
17.根據(jù)權(quán)利要求9所述的設(shè)備，其中所述設(shè)備包含包括成像裝置的無線手持機。
18.根據(jù)權(quán)利要求9所述的設(shè)備，其中所述設(shè)備包含集成電路。
19.根據(jù)權(quán)利要求9所述的設(shè)備，其中所述設(shè)備包含成像裝置。
20.一種包含指令的計算機可讀媒體，當所述指令在包括塊比較引擎的成像裝置的處 理器中執(zhí)行后致使所述處理器對視頻序列的圖像幀執(zhí)行視頻編碼過程，其中所述視頻編碼過程包括使用所述塊比較 引擎將正被編碼的圖像幀的視頻塊與搜索空間的視頻塊進行比較；以及執(zhí)行圖像配準過程，其中所述基于塊的圖像配準過程包括使用所述塊比較引擎將第一 圖像的塊與第二圖像的塊進行比較。
21.根據(jù)權(quán)利要求20所述的計算機可讀媒體，其中所述視頻編碼過程包括使用所述塊比較引擎的運動估計、運動補償和所述正被編 碼的圖像幀的所述視頻塊與所述搜索空間的匹配視頻塊之間的差計算，且其中所述圖像配準過程包括在使用所述塊比較引擎比較所述第一圖像和所述第二圖 像的所述塊后組合所述第一圖像和所述第二圖像的匹配塊以產(chǎn)生經(jīng)配準的圖像的塊。
22.根據(jù)權(quán)利要求21所述的計算機可讀媒體， 其中所述差計算包含減法運算，且其中組合所述匹配塊包含應(yīng)用加法運算和應(yīng)用平均化運算中的至少之一。
23.根據(jù)權(quán)利要求20所述的計算機可讀媒體，其中執(zhí)行所述圖像配準過程包括 以逐塊的方式接收所述第一圖像的所述塊；組合所述第一圖像的所述塊與所述第二圖像的所述塊以產(chǎn)生經(jīng)配準的圖像的經(jīng)配準塊；將所述第一圖像的所述塊緩沖于緩沖器布置中，使得當所述第一圖像的給定塊與所述 第二圖像的給定塊組合以產(chǎn)生所述經(jīng)配準的圖像的給定塊時，在所述緩沖器布置中蓋寫所 述第一圖像的所述給定塊；以及組裝所述經(jīng)配準塊以產(chǎn)生所述經(jīng)配準的圖像。
24.根據(jù)權(quán)利要求20所述的計算機可讀媒體，其中執(zhí)行所述圖像配準過程包括當識別閾值匹配水平時，組合所述第一圖像的第一塊與所述第二圖像的塊以產(chǎn)生經(jīng)配 準的圖像的經(jīng)配準塊；當未識別所述閾值匹配水平時，不組合所述第一圖像的第二塊與所述第二圖像的塊;以及針對所述第一圖像的所述第二塊，執(zhí)行相對于所述第二圖像的像素的基于像素的比 較，且組合所述第一圖像的所述第二塊的一個或一個以上像素與所述第二圖像的像素以產(chǎn) 生經(jīng)配準的像素。
25.根據(jù)權(quán)利要求20所述的計算機可讀媒體，其中執(zhí)行所述圖像配準過程包括組合 兩個或兩個以上圖像的塊以減少相對于所述兩個或兩個以上圖像的經(jīng)組合圖像中的抖動。
26.根據(jù)權(quán)利要求20所述的計算機可讀媒體，其中執(zhí)行所述圖像配準過程包括組合 兩個或兩個以上圖像的塊以將圖像的序列融合成一個圖片。
27.根據(jù)權(quán)利要求20所述的計算機可讀媒體，其中執(zhí)行所述圖像配準過程包括組合 所述第一圖像和所述第二圖像的塊，且其中所述第一圖像和所述第二圖像是使用不同曝光 而捕獲的。
28.一種裝置，其包含用于對視頻序列的圖像幀執(zhí)行視頻編碼過程的裝置，其中用于執(zhí)行所述視頻編碼過程 的裝置包括用于使用塊比較引擎將正被編碼的圖像幀的視頻塊與搜索空間的視頻塊進行 比較的裝置；以及用于執(zhí)行圖像配準過程的裝置，其中用于執(zhí)行所述圖像配準過程的裝置包括用于使用 所述塊比較引擎將第一圖像的塊與第二圖像的塊進行比較的裝置。
29.根據(jù)權(quán)利要求28所述的裝置，其中用于執(zhí)行所述視頻編碼過程的裝置包括用于使用所述塊比較引擎執(zhí)行運動估計 的裝置、用于執(zhí)行運動補償?shù)难b置和用于執(zhí)行所述正被編碼的圖像幀的所述視頻塊與所述 搜索空間的匹配視頻塊之間的差計算的裝置，且其中所述用于執(zhí)行所述圖像配準過程的裝置包括用于執(zhí)行所述第一圖像和所述第二 圖像的匹配塊的組合以產(chǎn)生經(jīng)配準的圖像的塊的裝置。
30.根據(jù)權(quán)利要求29所述的裝置，其中所述用于執(zhí)行差計算的裝置包含用于執(zhí)行減法運算的裝置，且其中所述用于執(zhí)行匹配塊的組合的裝置包含以下至少之一用于執(zhí)行加法運算的裝置 和用于執(zhí)行平均化運算的裝置。
31.根據(jù)權(quán)利要求28所述的裝置，其中用于執(zhí)行所述圖像配準過程的裝置包括用于以逐塊的方式接收所述第一圖像的所述塊的裝置；用于組合所述第一圖像的所述塊與所述第二圖像的所述塊以產(chǎn)生經(jīng)配準的圖像的經(jīng) 配準塊的裝置；用于將所述第一圖像的所述塊緩沖于緩沖器布置中以使得當所述第一圖像的給定塊 與所述第二圖像的給定塊組合以產(chǎn)生所述經(jīng)配準的圖像的給定塊時在所述緩沖器布置中 蓋寫所述第一圖像的所述給定塊的裝置；以及用于組裝所述經(jīng)配準塊以產(chǎn)生所述經(jīng)配準的圖像的裝置。
32.根據(jù)權(quán)利要求28所述的裝置，其中用于執(zhí)行所述圖像配準過程的裝置包括用于在識別閾值匹配水平時組合所述第一圖像的第一塊與所述第二圖像的塊以產(chǎn)生經(jīng)配準的圖像的經(jīng)配準塊的裝置；用于在未識別所述閾值匹配水平時不組合所述第一圖像的第二塊與所述第二圖像的 塊的裝置；以及針對所述第一圖像的所述第二塊，用于執(zhí)行相對于所述第二圖像的像素的基于像素的 比較的裝置，和用于組合所述第一圖像的所述第二塊的一個或一個以上像素與所述第二圖 像的像素以產(chǎn)生經(jīng)配準的像素的裝置。
33.根據(jù)權(quán)利要求28所述的裝置，其中用于執(zhí)行所述圖像配準過程的裝置包括用于組 合兩個或兩個以上圖像的塊以減少相對于所述兩個或兩個以上圖像的經(jīng)組合圖像中的抖 動的裝置。
34.根據(jù)權(quán)利要求28所述的裝置，其中用于執(zhí)行所述圖像配準過程的裝置包括用于組 合兩個或兩個以上圖像的塊以將圖像的序列融合成一個圖片的裝置。
35.根據(jù)權(quán)利要求28所述的裝置，其中用于執(zhí)行所述圖像配準過程的裝置包括用于組 合所述第一圖像和所述第二圖像的塊的裝置，其中所述第一圖像和所述第二圖像是使用不 同曝光而捕獲的。
全文摘要
本發(fā)明描述一種用于支持靜態(tài)圖像的圖像配準和視頻序列的視頻編碼的成像裝置的有效架構(gòu)。對于圖像配準，所述所描述的架構(gòu)使用經(jīng)俘獲的圖像的圖像塊相對于另一參考圖像的塊的基于塊的比較來支持逐塊基礎(chǔ)上的圖像配準。對于視頻編碼，所述所描述的架構(gòu)使用基于塊的比較(例如)來支持運動估計和運動補償。根據(jù)本發(fā)明，共同塊比較引擎在共享基礎(chǔ)上用于基于塊的圖像配準和基于塊的視頻編碼兩者。以此方式，可實施針對基于塊的比較而設(shè)計的硬件單元，以便在用于靜態(tài)圖像的所述圖像配準過程與用于編碼視頻序列的所述視頻編碼過程兩者中工作。
文檔編號G06T5/50GK101911701SQ200980101498
公開日2010年12月8日 申請日期2009年2月12日 優(yōu)先權(quán)日2008年2月13日
發(fā)明者卡林·阿塔納索夫, 李向川, 黃豪 申請人:高通股份有限公司