專利名稱：用于視頻穩(wěn)定化的系統(tǒng)和方法
用于視頻穩(wěn)定化的系統(tǒng)和方法發(fā)明領(lǐng)域本發(fā)明涉及視頻圖像處理，更具體地，涉及用于使無意識(shí)圖像運(yùn) 動(dòng)穩(wěn)定化的視頻處理。發(fā)明背景諸如數(shù)字?jǐn)z像機(jī)的圖像捕獲設(shè)備正在日益并入到諸如無線通信設(shè) 備的手持設(shè)備中。用戶可以在其無線通信設(shè)備上捕獲視頻并且經(jīng)由基 站收發(fā)信機(jī)將文件發(fā)射到接收方。通常，圖像序列包含序列中連貫幀 之間的多余的運(yùn)動(dòng)。特別地，手搖動(dòng)將不需要的全局運(yùn)動(dòng)引入到通過 并入到諸如蜂窩電話的手持設(shè)備中的相機(jī)捕獲的視頻中。多余運(yùn)動(dòng)的 其他起因可包括圖像捕獲設(shè)備在采集序列過程中的振動(dòng)、波動(dòng)或微振 蕩。無線移動(dòng)設(shè)備技術(shù)持續(xù)發(fā)展，該設(shè)備日益變得更小。因此，由于 更加緊張的尺寸限制，諸如無線通信設(shè)備中包括的圖像捕獲設(shè)備可能 具有更加有限的處理能力和功能。盡管存在現(xiàn)有的補(bǔ)償技術(shù)，其嘗試 修正任何"抖動(dòng)"，但是處理指令常常需要分析相對(duì)較大的數(shù)據(jù)量并 且需要較高的處理功率量。特別地，具有圖像捕獲設(shè)備的無線通信設(shè) 備的用戶時(shí)常使其設(shè)備多任務(wù)化，因此利用處理器密集型補(bǔ)償技術(shù)處 理視頻可能使其他應(yīng)用程序變慢，或者可能受到其他應(yīng)用程序的阻礙。附圖簡述

圖1示出了具有圖像捕獲能力的無線通信設(shè)備的示例性實(shí)施例； 圖2呈現(xiàn)了幀序列中的單個(gè)幀；圖3在時(shí)間上示出了兩個(gè)序列幀，其均具有角區(qū)(corner sector); 圖4是說明了如此處描述的方法的實(shí)施例的流程圖；以及圖5示出了評(píng)估和穩(wěn)定化過程的步驟。
具體實(shí)施方式
公開了一種用于使由圖像捕獲設(shè)備生成的圖像序列中的運(yùn)動(dòng)穩(wěn)定 化的方法和電路。該圖像序列是由幀的時(shí)間序列形成的，每個(gè)幀具有 區(qū)域。圖像通常是像素的二維陣列。幀的區(qū)域通?？蓜澐譃榍熬皡^(qū)域 部分和背景區(qū)域部分。從幀的背景區(qū)域部分中選擇用于評(píng)估的背景像 素域。背景像素域用于生成用于后繼的穩(wěn)定化處理的評(píng)估，其是在選 定幀中對(duì)應(yīng)的子序列對(duì)之間計(jì)算的。在一個(gè)實(shí)施例中，確定幀序列中 的幀的角區(qū)(corner sector)，并且背景像素域被形成為對(duì)應(yīng)于該角區(qū)。 基于幀序列中的幀的評(píng)估來施加穩(wěn)定化處理。所描述的是補(bǔ)償方法和 一種用于使非主動(dòng)運(yùn)動(dòng)穩(wěn)定化的電路，其使用全局運(yùn)動(dòng)向量計(jì)算，同 時(shí)使諸如搖拍的主動(dòng)相機(jī)運(yùn)動(dòng)保持恒定。本公開被提供用于以有效的方式進(jìn)一步解釋實(shí)現(xiàn)和使用根據(jù)本發(fā) 明的多種實(shí)施例的最佳模式。本公開被進(jìn)一步提供用于增強(qiáng)對(duì)本發(fā)明 的原理及其優(yōu)點(diǎn)的理解和認(rèn)識(shí)，而非以任何方式限制本發(fā)明。本發(fā)明 由后附權(quán)利要求唯一限定，其包括本申請(qǐng)的任何修改以及所要求的權(quán) 利要求的所有等效物。應(yīng)當(dāng)進(jìn)一步理解，關(guān)系性術(shù)語的使用(如果有的話)，諸如第一 和第二、頂部和底部等，唯一地用于使一個(gè)實(shí)體或動(dòng)作區(qū)別于另一實(shí) 體或動(dòng)作，沒有必要要求或意指該實(shí)體或動(dòng)作之間的任何實(shí)際的該關(guān) 系或順序。很多本發(fā)明的功能和很多本發(fā)明的原理最佳地通過軟件程 序或指令和諸如專用集成電路(IC)的IC實(shí)現(xiàn)或者在其中實(shí)現(xiàn)。可以 預(yù)見，普通技術(shù)人員盡管可能付出很大的努力并且在由例如可用時(shí)間、 當(dāng)前技術(shù)和經(jīng)濟(jì)考慮帶來的許多設(shè)計(jì)方案中進(jìn)行選擇，但是在此處公 開的概念和原理的引導(dǎo)下，將容易地能夠通過最少的實(shí)驗(yàn)生成該軟件 指令和程序以及IC。因此，為了簡化并且使混淆根據(jù)本發(fā)明的原理和 概念的任何風(fēng)險(xiǎn)最小，該軟件和IC的進(jìn)一步的討論將限于與優(yōu)選實(shí)施例中的原理和概念相關(guān)的基本要素。圖1示出了具有圖像捕獲能力的無線通信設(shè)備102的實(shí)施例。設(shè) 備102表示包括通信設(shè)備的廣泛的多種手持設(shè)備，該通信設(shè)備已被發(fā) 展用于在多種網(wǎng)絡(luò)中使用。該手持通信設(shè)備包括例如，蜂窩電話、消 息傳遞設(shè)備、移動(dòng)電話、個(gè)人數(shù)字助理(PDA)、并入了通信調(diào)制解 調(diào)器的筆記本計(jì)算機(jī)或膝上型計(jì)算機(jī)、移動(dòng)數(shù)據(jù)終端、專用游戲設(shè)備、 并入了無線調(diào)制解調(diào)器的視頻游戲設(shè)備等。任何該便攜式設(shè)備可被稱 為移動(dòng)站或用戶設(shè)備。此處，無線和有線通信技術(shù)包括傳輸高內(nèi)容數(shù) 據(jù)的能力。例如，移動(dòng)通信設(shè)備102可以提供互聯(lián)網(wǎng)接入和多媒體內(nèi) 容接入，并且還可以發(fā)射和接收視頻文件。在移動(dòng)電話相機(jī)中圖像穩(wěn)定化的施加可能不同于其在視頻通信或 攝像放像機(jī)中的施加，這是因?yàn)殡娫捪鄼C(jī)由于具有小的顯示器而具有 減小的圖片尺寸，其由較少數(shù)目的像素、不同的幀速率和低計(jì)算復(fù)雜 度的要求組成。盡管此處參考手持無線通信設(shè)備討論了圖像捕獲設(shè)備， 但是圖像捕獲設(shè)備同樣可以應(yīng)用于未并入通信能力(無線或其他通信 能力)的孤立的設(shè)備，諸如攝像放像機(jī)或數(shù)字相機(jī)。應(yīng)當(dāng)進(jìn)一步理解， 圖像捕獲設(shè)備可以并入到可以應(yīng)用本申請(qǐng)的另外類型的設(shè)備中。而且， 本申請(qǐng)可以應(yīng)用于執(zhí)行圖像后捕獲圖像處理(post capture image processing)的、具有或不具有圖像捕獲能力的設(shè)備，諸如個(gè)人計(jì)算機(jī)， 其中圖像序列可以下載到該設(shè)備上。用于形成視頻的順序圖像和其他的顯示標(biāo)記可以顯示在顯示設(shè)備 104上。設(shè)備102包括諸如鍵盤106的輸入能力、發(fā)射機(jī)和接收機(jī) 108、存儲(chǔ)器110、處理器112、相機(jī)114 (圖1中的箭頭指出，用于相 機(jī)的孔位于設(shè)備102的相反側(cè))、和模塊116，該模塊116能夠引導(dǎo)作 為硬件(即，邏輯門、順序狀態(tài)機(jī)等)或軟件(即， 一個(gè)或多個(gè)預(yù)存 指令集等)的設(shè)備的至少某些方面的操作。下文結(jié)合圖4的討論詳細(xì) 描述了模塊116。盡管這些無線通信設(shè)備的元件被示出為該設(shè)備的部件，但是通過無線地或者經(jīng)由導(dǎo)線向遠(yuǎn)離設(shè)備102的電子元件傳輸或 者自其接收，可以實(shí)現(xiàn)根據(jù)本公開的任何這些元件功能。所描述的方法和電路可應(yīng)用于由圖像捕獲設(shè)備捕獲的視頻數(shù)據(jù)。 先前未根據(jù)此處描述的方法和電路進(jìn)行處理的視頻可被發(fā)送到接收 方，并且接收方可以將所描述的方法和電路應(yīng)用于該未經(jīng)處理的視頻， 以便于使運(yùn)動(dòng)穩(wěn)定化。因此，本方法可應(yīng)用于任何階段的視頻文件。 在存儲(chǔ)之前、在存儲(chǔ)之后和在傳輸之后，本方法和電路均可以實(shí)現(xiàn)穩(wěn) 定化。用于發(fā)射和接收視頻的通信網(wǎng)絡(luò)可以包括用于通過射頻鏈路發(fā)射 數(shù)字?jǐn)?shù)據(jù)的網(wǎng)絡(luò)。該鏈路可以位于兩個(gè)或更多個(gè)設(shè)備之間，并且可以 牽涉無線通信網(wǎng)絡(luò)基礎(chǔ)設(shè)施，其包括基站收發(fā)信機(jī)或者任何其他的配 置。通信網(wǎng)絡(luò)的示例是電話網(wǎng)絡(luò)、消息傳遞網(wǎng)絡(luò)和互聯(lián)網(wǎng)網(wǎng)絡(luò)。該網(wǎng) 絡(luò)可以包括陸線、無線電鏈路和衛(wèi)星鏈路，并且為此目的可單獨(dú)地或 者組合地用作蜂窩電話系統(tǒng)、互聯(lián)網(wǎng)系統(tǒng)、計(jì)算機(jī)網(wǎng)絡(luò)、消息傳遞系 統(tǒng)和衛(wèi)星系統(tǒng)。仍然參考圖1，如此處描述的，自動(dòng)圖像穩(wěn)定化可以在獲取圖片 或視頻時(shí)移除不需要的運(yùn)動(dòng)的影響(特別地，與人手的移動(dòng)相關(guān)聯(lián)的 抖動(dòng))。在沒有來自例如三腳架的機(jī)械穩(wěn)定化時(shí)，未能使手持的相機(jī) 保持于穩(wěn)定位置產(chǎn)生了兩種主要的影響。首先，當(dāng)獲取高分辨率的圖 片時(shí)，圖像捕獲占用高達(dá)數(shù)秒，并且手搖動(dòng)導(dǎo)致了模糊的圖像。其次， 在拍攝視頻時(shí)，手搖動(dòng)產(chǎn)生了不需要的全局圖片移動(dòng)。不需要的圖像運(yùn)動(dòng)可以表示為相對(duì)相機(jī)透鏡主軸的轉(zhuǎn)動(dòng)和/或平 移。非隨意的手移動(dòng)的頻率通常約為2 Hz。如下文詳細(xì)描述的，當(dāng)移 動(dòng)對(duì)象位于穩(wěn)定背景前方時(shí)，可以對(duì)視頻背景執(zhí)行穩(wěn)定化。通過評(píng)估 背景而非圖像序列的全部圖像，以無意識(shí)運(yùn)動(dòng)為目標(biāo)進(jìn)行穩(wěn)定化，并 且有意識(shí)(即所需)運(yùn)動(dòng)基本上不受影響。在另一實(shí)施例中，當(dāng)對(duì)圖像的中心部分執(zhí)行穩(wěn)定化時(shí)，可以對(duì)視頻前景執(zhí)行穩(wěn)定化，其中在該 中心部分中實(shí)現(xiàn)了接近于完美的焦距對(duì)準(zhǔn)。仍然參考圖l，人的未經(jīng)處理的圖像118a被示出為顯示在顯示屏 幕104上。下面將提取的子圖像的經(jīng)處理的圖像118b示出在顯示屏幕 104上。經(jīng)處理的圖像118b示出了圖像118a的外部邊界已被消除。如 下文將更加詳細(xì)討論的，通過計(jì)算預(yù)期未移動(dòng)的圖像部分的位移，該 評(píng)估操作確定將施加的移位量，并且穩(wěn)定化操作使順序幀的圖像移位， 因此消除了至少一部分外部邊界。特別地，當(dāng)圖像組成包括中心對(duì)象時(shí)，如圖像118a和118b示出 的，幀可以包括外部邊界，由該外部邊界形成緩沖區(qū)。該緩沖區(qū)可以 包括部分的或所有的外部邊界。該緩沖區(qū)在下文中可被稱為背景像素 域。當(dāng)圖像被移位以修正幀之間的無意識(shí)抖動(dòng)時(shí)，緩沖區(qū)用于在穩(wěn)定 化處理過程中提供圖像信息，包括所需用于任何修正性平移的備用行 數(shù)據(jù)和列數(shù)據(jù)。在穩(wěn)定化中，在跨越幀序列之間，以變化的程度地重新引入原始 形成外部邊界120外的一部分緩沖區(qū)的數(shù)據(jù)，作為穩(wěn)定化圖像的一部 分。在計(jì)算圖像的全局運(yùn)動(dòng)向量(下文描述)時(shí)，確定經(jīng)調(diào)節(jié)的外部 邊界的位置。在至少某些實(shí)施例中，通過改變從中讀取圖像數(shù)據(jù)的存 儲(chǔ)器中的位置并且改變被讀出用于顯示圖像數(shù)據(jù)的存儲(chǔ)器量，可以執(zhí) 行運(yùn)動(dòng)補(bǔ)償(即，移位)。換言之，在通過改變較大的捕獲圖像中的 起始地址和顯示圖像范圍來執(zhí)行補(bǔ)償時(shí)，發(fā)生穩(wěn)定化。在比例調(diào)整圖 像以填充顯示器時(shí)，如圖所示的結(jié)果是放大的圖像118b?？商鎿Q地， 切除的穩(wěn)定化圖像可以縮放回顯示器的原始尺寸，由此其呈現(xiàn)為如圖 像118a所示的。圖2示出了單個(gè)幀，其具有等于水平軸乘以垂直軸的區(qū)域202。 如上文討論的，圖像序列由幀的時(shí)間序列形成，每個(gè)幀具有區(qū)域。在組成上對(duì)應(yīng)于圖1中示出圖像的圖像中，幀的區(qū)域被劃分為一個(gè)或多個(gè)前景區(qū)域部分204和一個(gè)或多個(gè)背景區(qū)域部分206。在所說明的實(shí)施 例中，前景像素域基本上對(duì)應(yīng)于內(nèi)部區(qū)域部分，而背景像素域基本上 對(duì)應(yīng)于外部邊界。然而，前景和背景可以倒轉(zhuǎn)，或者并置，或者依賴 于圖像組成具有任何配置。換言之，前景部分通常包括作為捕獲圖像 的主要對(duì)象的圖像部分，并且更加可能在時(shí)間上順序幀之間具有有意 的移動(dòng)。背景部分通常包括穩(wěn)定的或者以特意的速率擺拍的圖像部分。對(duì)于評(píng)估和穩(wěn)定化處理，可以通過不同的方式使背景區(qū)別于前景， 此處描述了許多該方式。在至少某些實(shí)施例中，通過隔離幀序列中的 幀的角區(qū)并且隨后形成背景像素域以對(duì)應(yīng)于該角區(qū)(corner sector)， 可以確定背景?？梢园A(yù)定數(shù)目的背景像素域，諸如角區(qū)。簡短地回到圖3，示出了四個(gè)角區(qū)。優(yōu)選的是，將幀的區(qū)域劃分 為包括前景區(qū)域部分和背景區(qū)域部分的子區(qū)域。在任何情況中，前景 和背景可以包括不同類型的運(yùn)動(dòng)和/或運(yùn)動(dòng)量。在其他情況下基本上靜 態(tài)(或者基本上均勻移動(dòng)的)的背景可用于更加容易地識(shí)別和/或隔離 與手的運(yùn)動(dòng)相一致的運(yùn)動(dòng)。前景可以包括額外的運(yùn)動(dòng)，例如，談話中 的人的運(yùn)動(dòng)。因此，在另一實(shí)施例中，通過定位具有低于預(yù)定閾值(諸 如對(duì)應(yīng)于手的運(yùn)動(dòng)的閾值)的運(yùn)動(dòng)幅度值的子區(qū)域，可以定位背景區(qū) 域部分。在另一實(shí)施例中，選擇背景像素域包括定位一個(gè)或多個(gè)子 區(qū)域，該子區(qū)域在被評(píng)估的幀之間是基本上靜態(tài)的或者基本上均勻移 動(dòng)?？商鎿Q地，通過定位具有對(duì)應(yīng)于前景區(qū)域的運(yùn)動(dòng)的子區(qū)域，可以 提供幀的區(qū)域的劃分。圖2呈現(xiàn)了幀序列中的單個(gè)幀，在圖2中示出的標(biāo)準(zhǔn)配置中，從 幀的背景區(qū)域部分中選擇用于評(píng)估的背景像素域。背景像素域用于生 成評(píng)估。后繼的穩(wěn)定化處理可以在選定幀中對(duì)應(yīng)的子序列對(duì)之間進(jìn)行 進(jìn)行計(jì)算。圖3示出了時(shí)間上的兩個(gè)幀，其均具有角區(qū)。該示例中的子圖像 是角區(qū)S1、 S2、 S3和S4，并且對(duì)應(yīng)于圖像的潛在背景區(qū)域部分。圖3 進(jìn)一步說明了，幀1和幀2是幀的時(shí)間序列。應(yīng)當(dāng)理解，幀序列可以 包括多于兩個(gè)幀。選定幀的子序列可以包括連續(xù)(consecutive)的選定 幀。選定幀序列也可以包括交替的幀或者使用任何所需的標(biāo)準(zhǔn)選擇的 幀，其中得到的選定幀具有己知的時(shí)間位移。應(yīng)當(dāng)進(jìn)一步理解，幀的任何選擇均在此處的討論范圍內(nèi)。通常，序列中的幀可以保持其順序 的次序。在圖3中，在時(shí)間U生成幀1，并且在時(shí)間t2生成幀2，其中 t2>tlD下文將更加詳細(xì)地討論用于幀序列穩(wěn)定化的子圖像的評(píng)估。圖4是說明了如此處描述的方法的實(shí)施例的流程圖。如上文討論 的，圖像被劃分為前景和背景區(qū)域部分402。從背景區(qū)域中選擇背景像 素域用于評(píng)估404?？梢赃x擇四個(gè)角，如圖3中所示。如下文將更加詳 細(xì)地討論的，評(píng)估背景像素域(這里是四個(gè)角)，用于施加穩(wěn)定化406。 即，評(píng)估包括求和和位移確定。然后是穩(wěn)定化，該穩(wěn)定化包括計(jì)算全 局運(yùn)動(dòng)向量并且在圖像序列中施加對(duì)應(yīng)圖像的移位408。評(píng)估406和穩(wěn) 定化408被分組在一起410，其將在下文中結(jié)合圖5進(jìn)一步討論。應(yīng)當(dāng) 理解，為了達(dá)到相同的結(jié)果，此處描述的步驟的順序可以進(jìn)行不同的 排序。相似地，圖1中示出了可以執(zhí)行該方法的模塊。硬件(諸如電路 部件)或軟件模塊116或者其組合，可以包括用于確定幀背景部分的 確定模塊122。該模塊進(jìn)一步包括形成模塊124，用于從背景部分形 成背景像素域；評(píng)估模塊126，用于評(píng)估背景像素域以生成用于后繼穩(wěn) 定化處理的評(píng)估；和施加模塊128，用于基于對(duì)幀序列中的幀的區(qū)域的 評(píng)估，施加穩(wěn)定化處理。此外，圖1示出了用于執(zhí)行如下步驟的決定 模塊130:確定幀序列中的幀的垂直像素列的水平位移分量和水平像素 行的垂直位移分量，以生成評(píng)估。還示出了計(jì)算模塊132，用于通過確 定水平位移分量的中間范圍值的平均值和垂直位移分量的中間范圍值 的平均值，來計(jì)算全局運(yùn)動(dòng)向量。圖5示出了圖4的評(píng)估406和穩(wěn)定化408過程的步驟的更多的細(xì) 節(jié)。背景像素域的評(píng)估步驟406包括計(jì)算像素分組中的元素的位移 分量。幀包括像素，其典型地被設(shè)置為二維(例如，水平和垂直)像 素陣列。在該實(shí)施例中，位移分量包括基本上正交的位移向量對(duì)。像 素還可以被安置在其他的規(guī)則的或不規(guī)則的設(shè)置中。應(yīng)當(dāng)理解，此處 公開的方法的步驟可以容易地適于任何像素設(shè)置。在此處討論的實(shí)施 例中，角區(qū)包括正交像素陣列。為了計(jì)算位移分量，垂直方向中的像 素值被求和502，以確定水平位移向量504，并且水平方向中的像素值 被求和506，以確定垂直位移向量508。幀的時(shí)間序列的背景像素域中的像素陣列之間的顯見位移 (apparent displacement)是運(yùn)動(dòng)的指示。該顯見位移是通過上文描述 的水平和垂直位移向量的計(jì)算來確定的。通過考慮背景像素域而非整 個(gè)區(qū)域的位移，可以提供低的計(jì)算復(fù)雜度。在穩(wěn)定化408中，隨后， 背景像素域位移計(jì)算510的結(jié)果可被轉(zhuǎn)化為施加到幀序列的整體圖像 512的全局運(yùn)動(dòng)向量?；诒尘霸u(píng)估施加穩(wěn)定化處理包括計(jì)算用于施 加到幀510的全局運(yùn)動(dòng)向量。計(jì)算全局運(yùn)動(dòng)向量包括確定垂直位移 分量的中間范圍值的平均值和水平位移分量的中間范圍值的平均值。 在穩(wěn)定化中，補(bǔ)償位移包括通過改變從中讀取像素陣列的存儲(chǔ)器中的地址，使圖像移位并且重新使用某些或所有外部邊界作為穩(wěn)定化圖像的一部分514。下文是上文描述的方法和電路的特定方面的更加詳細(xì)的描述。在 評(píng)估406之前，可以對(duì)捕獲的圖像幀執(zhí)行圖片預(yù)處理，以增強(qiáng)或提取 將用于運(yùn)動(dòng)向量估計(jì)的信息。可以根據(jù)工業(yè)標(biāo)準(zhǔn)將像素值格式化。例 如，當(dāng)圖片具有Bayer格式時(shí)，綠色的值通常用于整體的全局運(yùn)動(dòng)估計(jì) 過程?？商鎿Q地，如果圖片具有YCbCr格式時(shí)，則可以使用亮度(Y) 數(shù)據(jù)。預(yù)處理可以包括下述步驟對(duì)圖像施加帶通濾波器，以移除由 噪聲產(chǎn)生的高頻和由閃爍(flicker)和遮蔽(shading)產(chǎn)生的低頻。在評(píng)估406中，從背景區(qū)域部分(特別是圖像數(shù)據(jù)的子圖像(參 看圖3))，生成兩個(gè)投射像素陣列。通過下述方式創(chuàng)建投射像素陣列 即，對(duì)在子圖像中具有特定水平索引的像素進(jìn)行求和來將二維像素值 投射到一維陣列上，導(dǎo)致投射到原始的二維子圖像的水平軸上。對(duì)于 垂直索引執(zhí)行對(duì)應(yīng)的過程。因此， 一個(gè)投射像素陣列由沿每列的值的 求和組成，并且另一投射像素陣列由沿每行的值的求和組成，如下列 數(shù)學(xué)式中呈現(xiàn)的。<formula>formula see original document page 15</formula>，對(duì)于j-l到圖像中的列數(shù)<formula>formula see original document page 15</formula>，對(duì)于i=1到圖像中的行數(shù)子圖像可以相對(duì)于在前的選定幀中的對(duì)應(yīng)子圖像在水平方向中移位士N個(gè)像素，并且在垂直方向中移位土M個(gè)像素，或者移位在此限 制內(nèi)的任何數(shù)目個(gè)像素。選定幀的子圖像之間的移位對(duì)應(yīng)性的集合構(gòu) 成了候選運(yùn)動(dòng)向量。對(duì)于每個(gè)候選運(yùn)動(dòng)向量，可以如下文所述確定誤 差準(zhǔn)則的值。對(duì)多種運(yùn)動(dòng)向量候選者，可以定義和計(jì)算兩個(gè)連續(xù)的對(duì)應(yīng)子圖像 之間的誤差準(zhǔn)則。該候選者可以對(duì)應(yīng)于(2M+1)像素x(2N+l)像素的搜 索窗口。對(duì)于每個(gè)子圖像均存在搜索窗口。該搜索窗口可以比子圖像 大出緩沖區(qū)的量。該搜索窗口可以是正方形的，盡管其也可以采用任 何形狀。提供誤差準(zhǔn)則的最低值的候選者可以用作子圖像運(yùn)動(dòng)向量。 確定運(yùn)動(dòng)的準(zhǔn)確性可取決于所調(diào)査的候選者的數(shù)目和子圖像的尺寸。(用于行和列的)兩個(gè)投射陣列可以單獨(dú)使用，并且對(duì)水平候選者的 2N+1個(gè)移位值以及對(duì)垂直候選者的2M+1個(gè)移位值，計(jì)算誤差準(zhǔn)則， 其是絕對(duì)差值的求和。<formula>formula see original document page 15</formula>使列求和的陣列(ckx)的準(zhǔn)則最小的水平移位可被選擇為子圖像運(yùn)動(dòng)向量的水平分量。使行求和(CkY)的陣列的準(zhǔn)則最小的垂直移位可被選擇為子圖像運(yùn)動(dòng)向量的垂直分量。從子圖像運(yùn)動(dòng)向量，可以選擇水平分量的中值和垂直分量的中值。 選擇該中值可以從具有行為類似脈沖的不同于全局運(yùn)動(dòng)的局部運(yùn)動(dòng)的 區(qū)域中消除脈沖和不可靠的運(yùn)動(dòng)向量。先前幀的子圖像運(yùn)動(dòng)向量和全 局運(yùn)動(dòng)向量可以進(jìn)一步用于產(chǎn)生輸出。先前幀的全局運(yùn)動(dòng)向量可以用 作后繼幀的全局運(yùn)動(dòng)向量的基礎(chǔ)，這是因?yàn)?，可以預(yù)見到兩個(gè)連續(xù)的幀將具有相似的運(yùn)動(dòng)。對(duì)于四個(gè)子圖像的情況，全局圖像運(yùn)動(dòng)向量(Vg) 被計(jì)算為《=中值W.W,W'W^卜1》其中V/、 V2l、 V 和V4t是為四個(gè)子圖像選擇的運(yùn)動(dòng)向量。應(yīng)當(dāng)理解，為了符號(hào)便利起見，此處使用了 "t"和"t+l"，但是其并非意 指有必要使用緊密連續(xù)的幀。如前面提及的，可以使用交替的幀或者 幀序列的其他選擇，并且其在本公開內(nèi)容的范圍內(nèi)。而且，可以使用過程來評(píng)估從捕獲開始的相機(jī)運(yùn)動(dòng)并且進(jìn)行與有 意識(shí)相機(jī)運(yùn)動(dòng)(諸如搖拍)相適應(yīng)的補(bǔ)償。該方法包括計(jì)算合成運(yùn)動(dòng)向量，其是當(dāng)前運(yùn)動(dòng)向量與具有阻尼系數(shù)(damping coefficient)的先 前運(yùn)動(dòng)向量的線性組合。當(dāng)不存在相機(jī)運(yùn)動(dòng)時(shí)，合成運(yùn)動(dòng)向量匯聚于零。，)=&，(卜1) + 、(0 (2)在上式中，Vi表示用于估計(jì)相機(jī)運(yùn)動(dòng)的合成運(yùn)動(dòng)向量，并且Vg 表示時(shí)刻(t-l)和t處的連續(xù)圖片的全局運(yùn)動(dòng)向量。阻尼系數(shù)k可被選擇 為具有0.9和0.999之間的值，以實(shí)現(xiàn)對(duì)手搖動(dòng)引起抖動(dòng)的平滑相機(jī)運(yùn) 動(dòng)補(bǔ)償，同時(shí)適合有意識(shí)的相機(jī)運(yùn)動(dòng)(搖拍)。除了所觀察的序列的主觀改善外，視頻穩(wěn)定化的另一方面是減少用于對(duì)穩(wěn)定化序列編碼的比特率的能力。在穩(wěn)定化過程中計(jì)算的全局運(yùn)動(dòng)向量可以改善運(yùn)動(dòng)補(bǔ)償并且減少需要進(jìn)行離散余弦變換(DCT) 編碼的殘余數(shù)據(jù)量。在將穩(wěn)定化與視頻編碼組合時(shí)，考慮兩個(gè)不同的 情況。第一，穩(wěn)定化可以作為單獨(dú)的預(yù)處理步驟在視頻編碼之前執(zhí)行， 并且穩(wěn)定化圖像可由視頻編碼器使用。第二，穩(wěn)定化變?yōu)橐曨l編碼器 中的附加階段，其中從先前已經(jīng)計(jì)算的運(yùn)動(dòng)向量中提取全局運(yùn)動(dòng)信息 并且隨后在另外的編碼階段中使用該全局運(yùn)動(dòng)。如上文詳細(xì)描述的，全局運(yùn)動(dòng)向量可被定義為從一個(gè)幀到另一幀 的二維(水平和垂直)位移，其是通過考慮子圖像由背景像素域評(píng)估 的。而且，定義了誤差準(zhǔn)則并且對(duì)不同的運(yùn)動(dòng)向量候選者確定該準(zhǔn)則 的值。具有最低的準(zhǔn)則值的候選者可被選擇為子圖像的結(jié)果。最普通 的準(zhǔn)則是絕對(duì)差值的求和?？梢詫?duì)水平和垂直方向分離地計(jì)算運(yùn)動(dòng)向 量的選擇，并且可以使用這些分量來定義全局二維運(yùn)動(dòng)向量。例如， 為每個(gè)子圖像選擇的候選者中的中值水平值和為每個(gè)子圖像選擇的候 選者中的中值垂直值可被選擇為全局運(yùn)動(dòng)向量的兩個(gè)分量。因此可以 通過下述方式可以計(jì)算全局運(yùn)動(dòng)即，將圖像劃分為子圖像，計(jì)算子 圖像的運(yùn)動(dòng)向量，并且使用評(píng)估或判定過程來從子圖像確定整個(gè)圖像 全局運(yùn)動(dòng)。圖像序列中的圖像可以據(jù)此移位，消除部分或所有外部邊 界，以減少或消除圖像序列的無意識(shí)運(yùn)動(dòng)。本公開內(nèi)容的目的在于解釋如何實(shí)現(xiàn)和使用根據(jù)本發(fā)明的技術(shù)的 多種實(shí)施例，而非限制本發(fā)明的真實(shí)的、預(yù)期的和公平的范圍和精神。 前面的描述并非是窮盡的，或者并非限于所公開的具體形式。根據(jù)上 文的教導(dǎo)內(nèi)容，修改方案或變化方案也是可行的。實(shí)施例被選擇和描 述為提供所描述的技術(shù)的原理及其實(shí)際應(yīng)用的最佳說明，并且使本領(lǐng) 域的普通技術(shù)人員能夠利用多種實(shí)施例中的技術(shù)，并且利用多種適當(dāng) 的修改方案使其用于預(yù)期的特定用途。在根據(jù)本發(fā)明的公平、合法和 公正的范圍進(jìn)行解釋時(shí)，所有該修改方案和變化方案涵蓋于如后附權(quán) 利要求及其等效物限定的本發(fā)明的范圍內(nèi)，其中后附權(quán)利要求在本專利申請(qǐng)的未決期間可能進(jìn)行修改。
權(quán)利要求
1.一種用于使圖像序列中的元素穩(wěn)定化的方法，所述圖像序列由幀的時(shí)間序列形成，每個(gè)幀具有區(qū)域，所述圖像序列由圖像捕獲設(shè)備生成，所述方法包括將幀序列中的所述幀的所述區(qū)域劃分為包括前景區(qū)域部分和背景區(qū)域部分的子區(qū)域；從所述幀的所述背景區(qū)域部分中選擇背景像素域用于評(píng)估；評(píng)估所述背景像素域，以生成評(píng)估用于后繼穩(wěn)定化處理，該后繼穩(wěn)定化處理是在選定幀中對(duì)應(yīng)的子序列對(duì)之間計(jì)算的；以及基于所述評(píng)估向所述幀序列中的所述幀施加穩(wěn)定化處理。
2. 如權(quán)利要求l所述的方法，其中在施加所述穩(wěn)定化處理之前， 所述幀包括外部邊界，由所述外部邊界形成緩沖區(qū)，其中所述緩沖區(qū) 在所述穩(wěn)定化處理過程中用于提供圖像信息，該圖像信息包括備用行 數(shù)據(jù)和列數(shù)據(jù)。
3. 如權(quán)利要求1所述的方法，其中選定幀的所述子序列包括連續(xù) 的選定幀。
4. 如權(quán)利要求l所述的方法，其中從所述幀中的所述背景區(qū)域部 分中選擇所述背景像素域的步驟包括確定所述幀序列中的所述幀的角區(qū)；以及 形成所述背景像素域，以對(duì)應(yīng)于所述角區(qū)。
5. 如權(quán)利要求l所述的方法，其中從所述幀中的所述背景區(qū)域部 分中選擇所述背景像素域的步驟包括-確定基本上對(duì)應(yīng)于所述前景區(qū)域部分的中心區(qū)；以及 形成所述背景像素域，以基本上對(duì)應(yīng)于所述中心區(qū)外部的所述幀 序列的所述幀中的區(qū)域部分。
6. 如權(quán)利要求l所述的方法，其中選擇進(jìn)一步包括從所述幀序 列的所述幀中的所述背景區(qū)域部分中選擇多個(gè)背景像素域，所述方法 包括選擇預(yù)定數(shù)目的背景像素域。
7. 如權(quán)利要求l所述的方法，其中選擇進(jìn)一步包括從所述幀序 列的所述幀中的所述背景區(qū)域部分中選擇多個(gè)背景像素域，所述方法 包括選擇四個(gè)背景像素域。
8. 如權(quán)利要求l所述的方法，其中背景像素域包括選定的像素分 組，并且其中評(píng)估所述背景像素域用于后繼穩(wěn)定化處理的步驟包括計(jì)算所述像素分組中的元素的位移分量，以生成所述評(píng)估。
9. 如權(quán)利要求8所述的方法，其中所述位移分量包括基本上正交 的位移向量對(duì)。
10. 如權(quán)利要求8所述的方法，其中所述像素陣列包括像素值， 并且其中計(jì)算位移分量包括對(duì)垂直方向中的所述像素值進(jìn)行求和，以確定水平位移向量；以及對(duì)水平方向中的所述像素值進(jìn)行求和，以確定垂直位移向量。
11. 如權(quán)利要求10所述的方法，其中基于所述評(píng)估施加穩(wěn)定化處 理的步驟包括通過確定所述垂直位移向量的中間范圍值的平均值和所述水平位 移向量的中間范圍值的平均值，來計(jì)算全局運(yùn)動(dòng)向量。
12. 如權(quán)利要求1所述的方法，其中將所述幀序列中所述幀的區(qū)域劃分為包括前景區(qū)域部分和背景區(qū)域部分的子區(qū)域的步驟是手動(dòng)執(zhí) 行的。
13. 如權(quán)利要求1所述的方法，其中將所述幀序列中所述幀的區(qū) 域劃分為包括前景區(qū)域部分和背景區(qū)域部分的子區(qū)域的步驟包括通過定位包括低于預(yù)定閾值的運(yùn)動(dòng)幅度值的子區(qū)域，來確定所述 背景區(qū)域部分。
14. 如權(quán)利要求1所述的方法，其中選擇所述背景像素域的步驟包括定位在被評(píng)估的幀之間的、處于基本上均勻靜態(tài)的一個(gè)或多個(gè)子 區(qū)域。
15. 如權(quán)利要求1所述的方法，其中將幀序列中幀的區(qū)域劃分為 包括前景區(qū)域部分和背景區(qū)域部分的子區(qū)域的步驟包括通過定位具有運(yùn)動(dòng)的子區(qū)域，來確定所述前景區(qū)域部分。
16. 如權(quán)利要求l所述的方法，包括當(dāng)由所述圖像捕獲設(shè)備正在生成由所述時(shí)間序列形成的所述圖像 序列中的所述幀時(shí)，處理所述劃分、選擇、評(píng)估和施加步驟。
17. —種用于使圖像序列中的元素穩(wěn)定化的方法，所述圖像序列 由幀的時(shí)間序列形成，每個(gè)幀具有區(qū)域，所述圖像序列由圖像捕獲設(shè) 備生成，所述方法包括確定幀序列中的所述幀的邊界區(qū)； 選擇所述邊界區(qū)，用于評(píng)估所述幀；評(píng)估對(duì)應(yīng)的選定邊界區(qū)，以生成評(píng)估用于后繼穩(wěn)定化處理，該后繼穩(wěn)定化處理是在選定幀中對(duì)應(yīng)的子序列對(duì)之間計(jì)算的；以及 基于所述評(píng)估，向所述幀序列中的所述幀施加穩(wěn)定化處理。
18. 如權(quán)利要求17所述的方法，其中所述選定邊界區(qū)包括一個(gè)或 多個(gè)角區(qū)。
19. 如權(quán)利要求17所述的方法，其中所述選定邊界區(qū)基本上包括 背景區(qū)域部分。
20. 如權(quán)利要求18所述的方法，其中所述角區(qū)包括被正交地排列 以形成像素陣列的像素，并且其中評(píng)估所述選定邊界區(qū)用于后繼穩(wěn)定 化處理的步驟包括計(jì)算所述選定邊界區(qū)中的選定像素分組的位移分量，以生成所述 評(píng)估。
21. 如權(quán)利要求20所述的方法，其中所述像素包括像素值，并且 其中計(jì)算位移分量的步驟包括對(duì)垂直方向中的所述像素值進(jìn)行求和，以確定水平位移分量；以及對(duì)水平方向中的所述像素值進(jìn)行求和，以確定垂直位移分量。
22. 如權(quán)利要求21所述的方法，其中評(píng)估所述垂直位移分量和水 平位移分量的步驟包括分離地評(píng)估所述垂直位移分量和所述水平位移分量。
23. —種用于使由幀序列形成的圖像序列穩(wěn)定化的電路，每個(gè)幀 具有區(qū)域，所述圖像序列由圖像捕獲設(shè)備生成，所述方法包括確定模塊，用于確定所述幀序列中所述幀的所述區(qū)域中的角區(qū)； 形成模塊，用于形成背景像素域，以對(duì)應(yīng)于所述角區(qū)； 評(píng)估模塊，用于評(píng)估所述背景像素域，以生成評(píng)估用于后繼穩(wěn)定 化處理；和施加模塊，用于基于所述評(píng)估向所述幀序列中所述幀的所述區(qū)域 施加穩(wěn)定化處理。
24. 如權(quán)利要求23所述的電路，其中所述背景像素域包括垂直像 素列和水平像素行，并且其中所述評(píng)估模塊包括決定模塊，用于確定所述幀序列中所述幀的所述垂直像素列的垂 直位移分量和所述水平像素行的所述水平位移分量，以生成所述評(píng)估。
25. 如權(quán)利要求23所述的電路，其中所述評(píng)估模塊包括 分離評(píng)估模塊，用于分離地評(píng)估所述垂直位移分量和所述水平位移分量。
26. 如權(quán)利要求25所述的電路，進(jìn)一步包括計(jì)算模塊，該計(jì)算模塊通過確定所述垂直位移分量的中間范圍值 的平均值和所述水平位移分量的中間范圍值的平均值，來計(jì)算全局運(yùn) 動(dòng)向量。
全文摘要
公開了一種用于使由圖像捕獲設(shè)備(102)生成的圖像序列中的無意識(shí)運(yùn)動(dòng)穩(wěn)定化的方法和電路。該圖像序列是由幀的時(shí)間序列形成的，每個(gè)幀(202)具有區(qū)域和外部邊界。圖像是像素的二維陣列。幀的區(qū)域被劃分為前景區(qū)域部分(204)和背景區(qū)域部分(206)。從幀的背景區(qū)域部分中選擇用于評(píng)估(404)的背景像素域。背景像素域用于生成用于后繼穩(wěn)定化處(408)的評(píng)估(406)，其是在選定幀中對(duì)應(yīng)的子序列對(duì)之間計(jì)算的。
文檔編號(hào)H04N5/14GK101278551SQ200680036450
公開日2008年10月1日 申請(qǐng)日期2006年8月15日 優(yōu)先權(quán)日2005年9月30日
發(fā)明者多依娜·I·彼得雷斯庫 申請(qǐng)人:摩托羅拉公司