專利名稱：基于魯棒主運(yùn)動(dòng)估計(jì)的數(shù)字視頻穩(wěn)定的制作方法
基于魯棒主運(yùn)動(dòng)估計(jì)的數(shù)字視頻穩(wěn)定
背景技術(shù)：
許多種運(yùn)動(dòng)裝置，諸如視頻相機(jī)、電影模式中的靜態(tài)相機(jī)、以及蜂窩電話和個(gè)人數(shù)字助理(PDA)中的相機(jī)，允許捕獲圖像序列，所 捕獲的用戶所需的數(shù)字媒體量正在顯著增長(zhǎng)。然而，在大多數(shù)情況下， 在非理想條件下使用非理想獲取設(shè)備捕獲視頻。例如，在諸如從運(yùn)動(dòng) 交通工具或在體育活動(dòng)中拍攝的情況下，多數(shù)視頻顯示了高度有害的 運(yùn)動(dòng)或抖動(dòng)。甚至在正常條件下獲取的視頻也顯示了一定量的有害顫 抖。大多數(shù)不昂貴的和普通的視頻裝置不提供用于穩(wěn)定視頻序列以補(bǔ) 償這種抖動(dòng)的特征。
雖然一些最昂貴的裝置提供機(jī)械的圖像穩(wěn)定，通常使用數(shù)字技術(shù)，該技術(shù)典型地包括基于圖像內(nèi)被假定為含有基本背景信息的預(yù)選擇 圖像區(qū)域，計(jì)算圖像運(yùn)動(dòng)。如果感興趣的對(duì)象在該區(qū)域出現(xiàn)，則違背 基本假設(shè)，并且背景運(yùn)動(dòng)估計(jì)將是錯(cuò)誤的。
其它數(shù)字穩(wěn)定技術(shù)包括通過(guò)分別沿水平和垂直坐標(biāo)對(duì)圖像積分， 然后通過(guò)連續(xù)幀中兩個(gè)一維信號(hào)的簡(jiǎn)單相互計(jì)算運(yùn)動(dòng)，來(lái)估計(jì)整個(gè)圖 像的運(yùn)動(dòng)。這種技術(shù)速度快并且能夠在嵌入于圖像裝置內(nèi)的硬件中實(shí) 施，但是通過(guò)計(jì)算圖像中所有對(duì)象的平均運(yùn)動(dòng)，容易導(dǎo)致不精確并可 能導(dǎo)致有偏運(yùn)動(dòng)估計(jì)。
因此，需要改進(jìn)的數(shù)字視頻穩(wěn)定技術(shù)，可以在捕獲圖像序列時(shí)運(yùn) 用該技術(shù)或在捕獲后通過(guò)后處理所捕獲的圖像序列來(lái)運(yùn)用該技術(shù)，以 增強(qiáng)數(shù)字媒體的觀看效果。


圖1示出根據(jù)一個(gè)或多個(gè)實(shí)施例的媒體處理系統(tǒng)；
圖2示出根據(jù)一個(gè)或多個(gè)實(shí)施例的幀間主運(yùn)動(dòng)估計(jì)模塊；
圖3示出根據(jù)一個(gè)或多個(gè)實(shí)施例的典型圖像序列的估計(jì)和平滑軌跡；
圖4示出根據(jù)一個(gè)或多個(gè)實(shí)施例對(duì)兩幀的穩(wěn)定結(jié)果；
圖5示出根據(jù)一個(gè)或多個(gè)實(shí)施例的邏輯流程；
圖6示出根據(jù)一個(gè)或多個(gè)實(shí)施例的制造物品。
具體實(shí)施例
多個(gè)實(shí)施例針對(duì)執(zhí)行數(shù)字視頻穩(wěn)定以從圖像序列去除有害運(yùn)動(dòng)或 抖動(dòng)。可以在獲取圖像序列時(shí)執(zhí)行數(shù)字視頻穩(wěn)定。例如，可以在圖像 獲取時(shí)在諸如視頻相機(jī)或具有嵌入式成像功能的移動(dòng)裝置這樣的圖 像獲取裝置內(nèi)執(zhí)行數(shù)字視頻穩(wěn)定，以自動(dòng)校正和去除由相機(jī)顫抖引起 的有害的抖動(dòng)，并仍然允許相機(jī)移動(dòng)鏡頭。
還可以在獲取圖像后執(zhí)行數(shù)字視頻穩(wěn)定，以處理和觀看視頻流。 例如，可以由基于網(wǎng)絡(luò)的媒體服務(wù)器、移動(dòng)計(jì)算平臺(tái)、桌面平臺(tái)、娛樂(lè)個(gè)人計(jì)算機(jī)(PC)、機(jī)頂盒(STB)、數(shù)字電視(TV)、視頻流增強(qiáng) 芯片組、媒體播放器、媒體編輯應(yīng)用裝置、或其它合適的可視化裝置 執(zhí)行數(shù)字視頻穩(wěn)定，以增強(qiáng)數(shù)字媒體的觀看效果。
在多個(gè)實(shí)施例中，可以通過(guò)如下步驟執(zhí)行數(shù)字視頻穩(wěn)定接收輸入圖像序列，估計(jì)輸入圖像序列中相鄰圖像幀之間的主運(yùn)動(dòng)，基于相 鄰圖像幀之間的主運(yùn)動(dòng)確定估計(jì)的軌跡，確定平滑的軌跡，基于估計(jì) 的軌跡和平滑的軌跡之間的偏差計(jì)算估計(jì)的抖動(dòng)，然后補(bǔ)償估計(jì)的抖 動(dòng)以產(chǎn)生穩(wěn)定圖像序列?？梢酝ㄟ^(guò)純數(shù)字技術(shù)來(lái)實(shí)施數(shù)字視頻穩(wěn)定， 其中該純數(shù)字技術(shù)通過(guò)使用視頻序列中的信息而不需要任何外部傳 感器信息來(lái)執(zhí)行。
數(shù)字視頻穩(wěn)定可以包括通過(guò)魯棒統(tǒng)計(jì)自動(dòng)選擇要補(bǔ)償?shù)恼_運(yùn)動(dòng) 的統(tǒng)計(jì)技術(shù)。該技術(shù)在圖像中自動(dòng)選擇包含主運(yùn)動(dòng)的像素集，而不需 預(yù)選感興趣的區(qū)域。通過(guò)基于使用魯棒統(tǒng)計(jì)提供主運(yùn)動(dòng)和估計(jì)過(guò)程的 形式定義，所得到的數(shù)字圖像穩(wěn)定技術(shù)不需要主運(yùn)動(dòng)或用于估計(jì)運(yùn)動(dòng) 的區(qū)域選擇的特定定義，而是基于排除具有與主運(yùn)動(dòng)非常不同(統(tǒng)計(jì) 學(xué)意義上)的運(yùn)動(dòng)的區(qū)域，來(lái)提供主運(yùn)動(dòng)的估計(jì)。因此，在具有多個(gè) 運(yùn)動(dòng)對(duì)象的序列中可以獲得極佳的結(jié)果，而與場(chǎng)景中對(duì)象的相對(duì)位置 無(wú)關(guān)。
圖1示出根據(jù)一個(gè)或多個(gè)實(shí)施例的媒體處理系統(tǒng)100。 一般地， 媒體處理系統(tǒng)100可以包括各種用于傳送信息的物理和/或邏輯組件，
這些組件可以如期望的以給定的設(shè)計(jì)參數(shù)或性能約束，以硬件、軟件、 或它們的任意組合來(lái)實(shí)現(xiàn)。雖然圖1以示例方式示出有限數(shù)量的組 件，應(yīng)當(dāng)理解對(duì)于給定的實(shí)現(xiàn)可以使用更大或更小數(shù)量的組件。
在各個(gè)實(shí)施例中，可以設(shè)置媒體處理系統(tǒng)100對(duì)PC、消費(fèi)電子 (CE)、和/或移動(dòng)平臺(tái)執(zhí)行一個(gè)或多個(gè)網(wǎng)絡(luò)、多媒體、和/或通信應(yīng) 用。在一些實(shí)施例中，可以對(duì)PC、 CE、和/或移動(dòng)平臺(tái)實(shí)現(xiàn)媒體處理 系統(tǒng)IOO，作為諸如個(gè)人PC、 STB、數(shù)字TV裝置、英特網(wǎng)協(xié)議TV (IPTV)裝置、數(shù)字相機(jī)、媒體播放器、和/或蜂窩電話內(nèi)的和/或與 之連接的系統(tǒng)。這種裝置的其他示例可以包括但不限于工作站、終 端、服務(wù)器、媒體工具、音/視頻(A/V)接收器、數(shù)字音樂(lè)播放器、 娛樂(lè)系統(tǒng)、數(shù)字TV (DTV)裝置、高清晰度TV (HDTV)裝置、直 播衛(wèi)星TV (DBS)裝置、視頻隨選(VOD)裝置、網(wǎng)絡(luò)TV裝置、 數(shù)字視頻記錄器(DVR)裝置、數(shù)字通用光碟(DVD)裝置、高清 晰度DVD (HD-DVD)裝置、藍(lán)光光碟(BD)裝置、視頻家庭系統(tǒng) (VHS)裝置、數(shù)字VHS裝置、游戲控制臺(tái)、顯示裝置、筆記本PC、 膝上型計(jì)算機(jī)、便攜式計(jì)算機(jī)、手持計(jì)算機(jī)、個(gè)人數(shù)字助理(PDA)、 IP話音(VoIP)裝置、組合蜂窩電話/PDA、靈巧電話、尋呼機(jī)、消 息裝置、無(wú)線接入點(diǎn)(AP)、無(wú)線客戶裝置、無(wú)線站(STA)、基站(BS)、 用戶站(SS)、移動(dòng)用戶中心(MSC)、移動(dòng)單元等。
例如，在移動(dòng)應(yīng)用中，媒體處理系統(tǒng)100可以實(shí)現(xiàn)在和/或連接到 一個(gè)裝置中，該裝置包括一個(gè)或多個(gè)接口和/或用于無(wú)線通信的組件， 諸如一個(gè)或多個(gè)發(fā)射器、接收器、收發(fā)器、芯片組、放大器、濾波器、 控制邏輯、網(wǎng)絡(luò)接口卡(NIC)、天線等。天線的示例可以包括但不 限于內(nèi)部天線、全向天線、單極天線、雙極天線、端部饋電天線、 環(huán)形極化天線、微帶天線、分集式天線、雙天線、天線陣等。
在各個(gè)實(shí)施例中，媒體處理系統(tǒng)IOO可以形成有線通信系統(tǒng)、無(wú) 線通信系統(tǒng)、或二者組合的一部分。例如，媒體處理系統(tǒng)100可以在
一種或多種類型的有線通信鏈路上傳輸信息。有線通信鏈路的示例可 以包括但不限于電線、電纜、總線、印刷電路板(PCB)、以太網(wǎng) 連接、對(duì)等(P2P)連接、底板、切換結(jié)構(gòu)、半導(dǎo)體材料、雙絞線、 同軸電纜、光纖光連接等。媒體處理系統(tǒng)100還可以在一種或多種無(wú)線通信鏈路上傳輸信息。無(wú)線通信鏈路的示例可以包括但不限于無(wú)線電頻道、衛(wèi)星頻道、電視信道、廣播信道、紅外信道、射頻(RF) 信道、無(wú)線保真(WiFi)信道、射頻譜的部分、和/或一個(gè)或多個(gè)注 冊(cè)或免注冊(cè)頻帶。雖然特定實(shí)施例是通過(guò)示例方式使用特定通信媒體 說(shuō)明的，應(yīng)當(dāng)理解，可以使用各種通信媒體和附加技術(shù)實(shí)施這里討論 的原理和技術(shù)。
在各個(gè)實(shí)施例中，媒體處理系統(tǒng)100可以在諸如以下的網(wǎng)絡(luò)中操 作廣域網(wǎng)(WAN)、局域網(wǎng)(LAN)、城域網(wǎng)(MAN)、無(wú)線WAN (WWAN)、無(wú)線LAN (WLAN)、無(wú)線MAN (WMAN)、無(wú)線個(gè)域 網(wǎng)(WPAN)、微波接入全球互通(WiMAX)網(wǎng)、寬帶無(wú)線接入(BWA) 網(wǎng)、英特網(wǎng)、萬(wàn)維網(wǎng)、電話網(wǎng)、無(wú)線電網(wǎng)、電視網(wǎng)、電纜網(wǎng)、諸如直 播衛(wèi)星(DBS)網(wǎng)的衛(wèi)星網(wǎng)、碼分多址(CDMA)網(wǎng)、諸如寬帶CDMA (WCDMA)的第三代(3G)網(wǎng)、第四代(4G)網(wǎng)、時(shí)分多址(TDMA) 網(wǎng)、擴(kuò)展TDMA (E-TDMA)蜂窩無(wú)線電話網(wǎng)、移動(dòng)通信全球系統(tǒng) (GSM)網(wǎng)、具有通用分組無(wú)線服務(wù)(GPRS)系統(tǒng)的GSM (GSM/GPRS)網(wǎng)、同步分多址(SDMA)網(wǎng)、時(shí)分同步CDMA (TD-SCDMA)網(wǎng)、正交頻分復(fù)用(OFDM)網(wǎng)、正交頻分多址 (OFDMA)網(wǎng)、北美數(shù)字蜂窩(NADC)蜂窩無(wú)線電電話網(wǎng)、窄帶 高級(jí)移動(dòng)電話服務(wù)(NAMPS)網(wǎng)、通用移動(dòng)電話系統(tǒng)(UMTS)網(wǎng)、 和/或配置為根據(jù)上述實(shí)施例傳送數(shù)據(jù)的任何其它有線或無(wú)線通信 網(wǎng)。
媒體處理系統(tǒng)100可以傳輸一種或多種信息，比如媒體信息和控 制信息。媒體信息通?？梢灾副硎居脩粜枰膬?nèi)容的任何數(shù)據(jù)，比如 是圖像信息、視頻信息、音頻信息、A/V信息、圖形信息、語(yǔ)音信息、 文本信息、數(shù)值信息、字母數(shù)字符號(hào)、字符符號(hào)、等等?？刂菩畔⑼?常指表示自動(dòng)系統(tǒng)需要的命令、指令、或控制字的任何數(shù)據(jù)。例如，控制信息可用于通過(guò)系統(tǒng)路由媒體信息，或指示節(jié)點(diǎn)以某種方式處理 媒體信息?？梢詮暮拖蚨鄠€(gè)不同裝置或網(wǎng)絡(luò)傳送媒體和控制信息。
在各個(gè)實(shí)施例中，媒體信息和控制信息可以被分成一系列的信息 包。每個(gè)包可以包括例如具有以比特或字節(jié)表示的固定或變化大小的 離散數(shù)據(jù)組。應(yīng)當(dāng)理解，所述實(shí)施例適用于任何類型的通信內(nèi)容或格 式，比如是信息包、幀、片段、信元、窗、單元、等等。
媒體處理系統(tǒng)100可以根據(jù)一個(gè)或多個(gè)協(xié)議傳送信息。協(xié)議可以包括一組預(yù)定的規(guī)則或指令，用于管理節(jié)點(diǎn)間的通信。例如，在各個(gè)實(shí)施例中，媒體處理系統(tǒng)ioo可以使用一個(gè)或多個(gè)協(xié)議，諸如媒體訪問(wèn)控制(MAC)協(xié)議、物理層匯聚協(xié)議(PLCP)、簡(jiǎn)單網(wǎng)絡(luò)管理協(xié)議 (SNMP)、異步傳輸模式(ATM)協(xié)議、幀中繼協(xié)議、系統(tǒng)網(wǎng)絡(luò)架 構(gòu)(SNA)協(xié)議、傳輸控制協(xié)議(TCP)、英特網(wǎng)協(xié)議(IP)、 TCP/IP、 X.25、超文本傳輸協(xié)議(HTTP)、用戶數(shù)據(jù)報(bào)協(xié)議(UDP)、等等。
媒體處理系統(tǒng)100可以根據(jù)標(biāo)準(zhǔn)組織公布的一個(gè)或多個(gè)標(biāo)準(zhǔn)來(lái)傳 輸信息，標(biāo)準(zhǔn)組織諸如是國(guó)際電信聯(lián)盟(ITU)、國(guó)際標(biāo)準(zhǔn)化組織 (ISO)、國(guó)際電工技術(shù)委員會(huì)(IEC )、電氣和電子工程師協(xié)會(huì)(IEEE )、 英特網(wǎng)工程任務(wù)組(IETF)、等等。例如，在各個(gè)實(shí)施例中，媒體處 理系統(tǒng)100可以根據(jù)媒體處理標(biāo)準(zhǔn)傳輸信息，媒體處理標(biāo)準(zhǔn)諸如是， 例如，ITU/IEC H.263標(biāo)準(zhǔn)(低比特率通信視頻編碼，ITU-T推薦 H.263v3， 2000年11月公布)，ITU/IEC H.264標(biāo)準(zhǔn)(甚低比特率通 信視頻編碼，ITU-T推薦H.264, 2003年5月公布)，運(yùn)動(dòng)圖像專家 組(MPEG)標(biāo)準(zhǔn)(例如MPEG-1， MPEG-2， MPEG-4)，數(shù)字視頻 廣播(DVB)地面(DVB-T)標(biāo)準(zhǔn)、DVB衛(wèi)星(DVB-S或-S2)標(biāo)準(zhǔn)， DVB電纜(DVB-C)標(biāo)準(zhǔn)、手持式DVB地面(DVB-H)、國(guó)家電視 系統(tǒng)委員會(huì)(NTSC)和遂行倒相(PAL)標(biāo)準(zhǔn)、高級(jí)電視系統(tǒng)委員 會(huì)(ATSC)標(biāo)準(zhǔn)、諸如基于Windows Media Video(WMV)版本9的 SMPTE 421 M或VC-1標(biāo)準(zhǔn)這樣的運(yùn)動(dòng)圖像和電視工程師協(xié)會(huì) (SMPTE)標(biāo)準(zhǔn)、IP網(wǎng)絡(luò)數(shù)字傳輸內(nèi)容保護(hù)(DTCP-IP)標(biāo)準(zhǔn)、高性 能無(wú)線電局域網(wǎng)(HiperLAN)標(biāo)準(zhǔn)、等等。
在一些實(shí)施例中，媒體處理系統(tǒng)1oo可以從媒體源接收媒體內(nèi)容。
媒體源通常可以包括能夠向媒體處理系統(tǒng)100傳送靜態(tài)或動(dòng)態(tài)媒體
內(nèi)容的多個(gè)裝置和/或系統(tǒng)。例如，在一些實(shí)施例中，媒體源可以包 括或形成諸如視頻相機(jī)或具有成像能力的移動(dòng)裝置這樣的圖像獲取 裝置的一部分。媒體源還可以包括提供廣播或流媒體內(nèi)容的多媒體服
務(wù)器。在另一些實(shí)施例中，媒體源可以包括或形成媒體分配系統(tǒng)(DS) 或廣播系統(tǒng)的一部分，媒體分配系統(tǒng)(DS)或廣播系統(tǒng)諸如是空中
(OTA)廣播系統(tǒng)、DVB系統(tǒng)、無(wú)線電廣播系統(tǒng)、衛(wèi)星廣播系統(tǒng)、 等等?？梢栽赩OD系統(tǒng)或允許用戶通過(guò)網(wǎng)絡(luò)選擇、接收、并觀看視 頻內(nèi)容的交互電視系統(tǒng)內(nèi)實(shí)現(xiàn)媒體源。媒體源還可以包括或形成 IPTV系統(tǒng)的一部分，IPTV系統(tǒng)通過(guò)諸如寬帶連接的IP連接傳送數(shù) 字電視內(nèi)容。各個(gè)實(shí)施例在上下文中不受限制。
媒體處理系統(tǒng)100可以通過(guò)多種類型能夠攜帶信息信號(hào)的通信信 道連接到媒體源，對(duì)于給定的實(shí)現(xiàn)，該通信信道諸如是有線通信鏈路、 無(wú)線通信鏈路、或二者組合。媒體處理系統(tǒng)100還可以通過(guò)多種類型 的組件或接口從媒體源接收媒體內(nèi)容。例如，媒體處理系統(tǒng)100可以 通過(guò)一個(gè)或多個(gè)調(diào)諧器和/或接口接收媒體內(nèi)容，調(diào)諧器和/或接口諸 如是開(kāi)放線纜(OC)調(diào)諧器、NTSC/PAL調(diào)諧器、調(diào)諧器/解調(diào)器、 配置點(diǎn)(POD) /DVB公共接口 (DVB-CI)、 A/V解碼器接口、以太 網(wǎng)接口、 PCI接口、等等。
傳送給媒體處理系統(tǒng)100的媒體內(nèi)容可以包括多種類型的信息， 諸如圖像信息、音頻信息、視頻信息、A/V信息、和/或其它數(shù)據(jù)。 在一些實(shí)現(xiàn)中，媒體源可以以多種格式傳送媒體內(nèi)容，供諸如STB、 IPTV裝置、VOD裝置、媒體播放器等使用。
媒體內(nèi)容可以作為壓縮的媒體內(nèi)容傳送，以允許媒體處理系統(tǒng)100 高效地存儲(chǔ)和/或傳輸數(shù)據(jù)。在多個(gè)實(shí)現(xiàn)中，可以通過(guò)使用諸如利用 離散余弦變換(DCT)的空間壓縮、時(shí)間壓縮、運(yùn)動(dòng)補(bǔ)償和量化的技 術(shù)，壓縮媒體內(nèi)容。例如，可以根據(jù)諸如H.264、 MPEG-2、 MPEG-4、 VC-1等等的標(biāo)準(zhǔn)，執(zhí)行媒體內(nèi)容的視頻壓縮。在一些情況下，可以 將媒體內(nèi)容以加擾和/或加密媒體內(nèi)容的方式進(jìn)行傳送，以防止未授 權(quán)的接收、復(fù)制、和/或觀看。
在多個(gè)實(shí)施例中，媒體處理系統(tǒng)ioo可以執(zhí)行數(shù)字視頻穩(wěn)定，以從圖像序列去除有害的運(yùn)動(dòng)或抖動(dòng)?？梢栽讷@取圖像序列時(shí)執(zhí)行數(shù)字視頻穩(wěn)定。例如，媒體處理系統(tǒng)100可以實(shí)現(xiàn)在諸如視頻相機(jī)或具有嵌入式成像功能的移動(dòng)裝置這樣的圖像獲取裝置中，并且在圖像獲取 期間執(zhí)行數(shù)字視頻穩(wěn)定，以去除由于相機(jī)顫抖引起的有害的抖動(dòng)，并 仍然允許相機(jī)移動(dòng)鏡頭。
還可以在圖像獲取后執(zhí)行數(shù)字視頻穩(wěn)定，以處理并觀看視頻流。 例如，可以通過(guò)基于網(wǎng)絡(luò)的媒體服務(wù)器、移動(dòng)計(jì)算平臺(tái)、桌面平臺(tái)、娛樂(lè)PC、數(shù)字TV、視頻流增強(qiáng)芯片組、媒體播放器、媒體編輯應(yīng)用 裝置、或其它合適的可視化裝置來(lái)實(shí)現(xiàn)媒體處理系統(tǒng)100，以增強(qiáng)數(shù) 字媒體的觀看效果。在一些實(shí)施例中，用戶能夠有選擇地打開(kāi)或關(guān)閉 數(shù)字視頻穩(wěn)定特征，以允許穩(wěn)定的觀看效果，而不改變?cè)济襟w內(nèi)容。 用戶還可以改變?cè)家曨l序列，或可以不改變?cè)夹蛄卸４嬉曨l序 列的穩(wěn)定版本。 一旦對(duì)圖像序列進(jìn)行穩(wěn)定處理，由于改善的運(yùn)動(dòng)向量 估計(jì)，數(shù)字視頻穩(wěn)定還能夠用于更有效的壓縮(例如，使用MPEG 壓縮)。
在各個(gè)實(shí)施例中，媒體處理系統(tǒng)100可以執(zhí)行統(tǒng)計(jì)技術(shù)，其通過(guò) 魯棒統(tǒng)計(jì)自動(dòng)選擇要補(bǔ)償?shù)恼_運(yùn)動(dòng)。該技術(shù)在圖像中自動(dòng)選擇包含 主運(yùn)動(dòng)的像素集，而不需預(yù)選感興趣的區(qū)域。通過(guò)基于使用魯棒統(tǒng)計(jì) 提供主運(yùn)動(dòng)和估計(jì)過(guò)程的形式定義，所得到的數(shù)字圖像穩(wěn)定技術(shù)不需 要主運(yùn)動(dòng)或用于估計(jì)運(yùn)動(dòng)的區(qū)域選擇的特定定義，而是基于排除具有 與主運(yùn)動(dòng)非常不同(統(tǒng)計(jì)學(xué)意義上)的運(yùn)動(dòng)的區(qū)域，來(lái)提供主運(yùn)動(dòng)的 估計(jì)。因此，在具有多個(gè)運(yùn)動(dòng)對(duì)象的序列中可以獲得極佳的結(jié)果，而 與場(chǎng)景中對(duì)象的相對(duì)位置無(wú)關(guān)。
媒體處理系統(tǒng)100可以如下執(zhí)行數(shù)字視頻穩(wěn)定接收輸入圖像序 歹ij，估計(jì)輸入圖像序列中相鄰圖像幀之間的主運(yùn)動(dòng)，基于相鄰圖像幀 之間的主運(yùn)動(dòng)確定估計(jì)的軌跡，確定平滑的軌跡，基于估計(jì)的軌跡和 平滑的軌跡之間的偏差計(jì)算估計(jì)的抖動(dòng)，然后補(bǔ)償估計(jì)的抖動(dòng)以產(chǎn)生 穩(wěn)定圖像序列。
如圖1中所示，媒體處理系統(tǒng)100可以包括多個(gè)功能單元或模塊。這些模塊可以由一個(gè)或多個(gè)芯片或集成電路(IC)實(shí)現(xiàn)，并可以包括
例如硬件和/或軟件，諸如由邏輯裝置執(zhí)行的邏輯(例如指令、數(shù)據(jù)、
和/或代碼)。邏輯裝置的示例包括但不限于中央處理單元(CPU)、 微控制器、微處理器、通用處理器、專用處理器、單芯片多處理器
(CMP)、媒體處理器、數(shù)字信號(hào)處理器(DSP)、網(wǎng)絡(luò)處理器、協(xié)處 理器、輸入/輸出(I/O)處理器、專用集成電路(ASIC)、場(chǎng)可編程 門陣列(FPGA)、可編程邏輯裝置(PLD)、等等。
可以在一種或多種類型的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上將可執(zhí)行邏輯存 儲(chǔ)到邏輯裝置內(nèi)部或外部，計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)諸如是易失或非易失 存儲(chǔ)器、可移動(dòng)或不可移動(dòng)存儲(chǔ)器、可擦除或不可擦除存儲(chǔ)器、可寫 或可重寫存儲(chǔ)器、等等。根據(jù)給定實(shí)施例的需要，這些模塊可以物理 地或邏輯地耦合和/或連接到通信媒體，通信媒體包括有線通信媒體、 無(wú)線通信媒體、或二者組合。這些實(shí)施例在上下文中不受限制。
在各個(gè)實(shí)施例中，媒體處理系統(tǒng)100可以包括幀間主運(yùn)動(dòng)估計(jì)模 塊102、軌跡計(jì)算模塊104、軌跡平滑模塊106、和抖動(dòng)補(bǔ)償模塊108。
幀間主運(yùn)動(dòng)估計(jì)模塊102可以接收包括一系列數(shù)字視頻圖像的輸 入圖像序列110。圖像序列110中的每個(gè)數(shù)字圖像或幀可以包括水平 (x)和垂直(y)圖像數(shù)據(jù)或信號(hào)，它們表示區(qū)域、對(duì)象、條、宏塊、 塊、像素、等等。分配給像素的值可以包括實(shí)數(shù)和/或整數(shù)。
幀間主運(yùn)動(dòng)估計(jì)模塊102可以估計(jì)圖像序列110中相鄰圖像之間 的主運(yùn)動(dòng)。主運(yùn)動(dòng)可以是整體位移，其對(duì)應(yīng)于以下假設(shè):相機(jī)運(yùn)動(dòng)是 包含在成像平面內(nèi)的平移。主運(yùn)動(dòng)還可以是整體位移加上兩個(gè)圖像之 間的旋轉(zhuǎn)，其對(duì)應(yīng)于以下假設(shè)相機(jī)運(yùn)動(dòng)是包含在成像平面內(nèi)的平移 加上繞與圖像平面正交的軸的旋轉(zhuǎn)。在這種情況下，兩個(gè)相鄰的圖像 可以互為近似位移和潛在旋轉(zhuǎn)形式。
幀間主運(yùn)動(dòng)估計(jì)模塊102可以估計(jì)用于基于兩幅圖像的灰度水平 最佳地校準(zhǔn)兩幅圖像的運(yùn)動(dòng)模塊參數(shù)，其中，所估計(jì)的校準(zhǔn)對(duì)應(yīng)于使 兩個(gè)圖像之一與另一圖像的空間變換形式之間的差異最小。幀間主運(yùn) 動(dòng)估計(jì)模塊102可以包括魯棒估計(jì)器，諸如使用魯棒函數(shù)的魯棒M-估計(jì)器，魯棒函數(shù)諸如是Tukey函數(shù)、Huber函數(shù)、Cauchy函數(shù)、絕對(duì)值函數(shù)、或其它合適的魯棒函數(shù)。使用魯棒估計(jì)器處理由于經(jīng)歷與 相機(jī)的運(yùn)動(dòng)不同或不相關(guān)的運(yùn)動(dòng)的對(duì)象的存在所引起的問(wèn)題。這些對(duì) 象的不相關(guān)的運(yùn)動(dòng)可能違背主要的整體運(yùn)動(dòng)假設(shè)，并且能夠偏移主運(yùn) 動(dòng)的估計(jì)。
魯棒估計(jì)器可以自動(dòng)檢測(cè)離群值(outlier),該離群值對(duì)應(yīng)于經(jīng)歷 與主運(yùn)動(dòng)非常不同或不相關(guān)的運(yùn)動(dòng)的像素。通過(guò)降低對(duì)應(yīng)因素的權(quán) 重，魯棒估計(jì)器在估計(jì)過(guò)程中可以忽略這些離群值。通過(guò)使用基于魯 棒統(tǒng)計(jì)的估計(jì)技術(shù)，自動(dòng)地忽視被認(rèn)為是離群值(例如，獨(dú)立移動(dòng)對(duì) 象)的數(shù)據(jù)點(diǎn)。因此，產(chǎn)生與主趨勢(shì)或主運(yùn)動(dòng)對(duì)應(yīng)的估計(jì)，其最佳地 說(shuō)明了兩個(gè)連續(xù)幀之間的變化。
軌跡計(jì)算模塊104可以確定估計(jì)的軌跡。 一旦估計(jì)了每?jī)蓭g 的相對(duì)運(yùn)動(dòng)，軌跡計(jì)算模塊104可以計(jì)算相機(jī)相對(duì)于第一幀的估計(jì)的 軌跡，作為所有相對(duì)校準(zhǔn)的組合。作為示例，在考慮純平移模式的情 況下，這對(duì)應(yīng)于直到當(dāng)前幀的所有位移的積累向量和。
軌跡平滑模塊106可以確定平滑的軌跡。例如，通過(guò)使用具有給 定標(biāo)準(zhǔn)偏差的低通濾波器(例如，低通高斯濾波器)在水平和垂直方 向上對(duì)位移進(jìn)行濾波，軌跡平滑模塊106可以計(jì)算平滑形式的軌跡。
抖動(dòng)補(bǔ)償模塊108可以執(zhí)行運(yùn)動(dòng)補(bǔ)償，以補(bǔ)償估計(jì)的抖動(dòng)，并產(chǎn) 生穩(wěn)定的圖像序列112。在各個(gè)實(shí)施例中，可以通過(guò)從估計(jì)的軌跡減 去平滑形式的軌跡，來(lái)計(jì)算估計(jì)的抖動(dòng)。圖像穩(wěn)定的目標(biāo)是補(bǔ)償有害 的相機(jī)抖動(dòng)，而不是補(bǔ)償真實(shí)的相機(jī)運(yùn)動(dòng)，諸如移動(dòng)鏡頭、真實(shí)的相 機(jī)位移等。軌跡的高頻率變化與有害相機(jī)抖動(dòng)相關(guān)或?qū)?yīng)，而軌跡的 低頻率或平滑變化可以與期望的相機(jī)運(yùn)動(dòng)相關(guān)或?qū)?yīng)。
對(duì)于純位移模式，位移能夠近似為整數(shù)。因此，運(yùn)動(dòng)補(bǔ)償可以包 括選擇合適圖像子區(qū)域，該子區(qū)域具有由與抖動(dòng)對(duì)應(yīng)的位移給出的原 點(diǎn)。在旋轉(zhuǎn)加平移模式的情況下，需要補(bǔ)償這種剛體變換，其可能需 要使用諸如雙線性或雙三次插值的合適插值技術(shù)，在旋轉(zhuǎn)像素網(wǎng)格上 內(nèi)插像素值。
圖2示出根據(jù)一個(gè)或多個(gè)實(shí)施例的幀間主運(yùn)動(dòng)估計(jì)模塊200。幀 間主運(yùn)動(dòng)模塊200可以由圖1的媒體處理系統(tǒng)100實(shí)現(xiàn)，但是在該上下文中不受限制于此。在各個(gè)實(shí)施例中，幀間主運(yùn)動(dòng)估計(jì)模塊200可 以通過(guò)估計(jì)最佳地校準(zhǔn)當(dāng)前圖像和先前相鄰圖像的運(yùn)動(dòng)模式參數(shù)，來(lái) 執(zhí)行主運(yùn)動(dòng)估計(jì)，以支持圖像穩(wěn)定。
如圖所示，幀間主運(yùn)動(dòng)估計(jì)模塊200可以包括錐體計(jì)算部分202、 梯度計(jì)算部分204、以及位移估計(jì)部分206，根據(jù)給定的設(shè)計(jì)參數(shù)或 性能約束集合，可以將它們作為硬件、軟件、或它們的任何組合來(lái)實(shí) 現(xiàn)。
錐體計(jì)算部分202可以以期望的分辨率水平獲得圖像或幀的多分 辨率錐體。在各個(gè)實(shí)施例中，錐體計(jì)算部分202可以執(zhí)行級(jí)聯(lián)操作， 包括在水平和垂直方向上連續(xù)地濾波和下采樣，直到達(dá)到期望的分辨 率為止。應(yīng)當(dāng)理解，可以基于原始圖像的大小、期望的精度、可用的 計(jì)算功率等等，調(diào)整錐體水平的數(shù)量。濾波和下采樣通常迭代地執(zhí)行以減小計(jì)算量，但是實(shí)施例在上下文中不受限制于此。
如圖2中所示，錐體計(jì)算部分202可以用水平低通濾波器(cx) 210和垂直低通濾波器(Cy) 212對(duì)新的幀208進(jìn)行濾波，然后通過(guò) 抽取因子(S) 214執(zhí)行下采樣，得到減小的圖像216。進(jìn)一步，可以 使用水平低通濾波器(cx) 218、垂直低通濾波器(Cy) 220、抽取因 子(S) 222執(zhí)行濾波和下采樣，得到進(jìn)一步減小的圖像224。可以使 用水平低通濾波器(cx) 226、垂直低通濾波器(Cy) 228、抽取因子 (S) 230再次執(zhí)行濾波和下采樣，得到更進(jìn)一步減小的圖像232。在 一個(gè)實(shí)施例中，可以將低通濾波器實(shí)現(xiàn)為高斯濾波器，諸如具有巻積 掩碼c二 (0.0625 0.25 0.375 0.25 0.0625)的三次B樣條濾波器，并且 可以在兩個(gè)方向上使用抽取因子S = 2。然而，實(shí)施例在上下文中不 受限制于此。
梯度計(jì)算部分204可以通過(guò)使用光流梯度約束來(lái)估計(jì)整體運(yùn)動(dòng)模 式參數(shù)，從而將當(dāng)前圖像與先前相鄰圖像進(jìn)行校準(zhǔn)。在各個(gè)實(shí)施例中， 梯度計(jì)算部分204可以在當(dāng)前圖像和先前相鄰圖像之間獲得時(shí)空梯 度，包括水平(x)和垂直(y)方向上的空間梯度和時(shí)間(t)上的 時(shí)間梯度。
可以通過(guò)用合適的高斯微分內(nèi)核對(duì)兩個(gè)圖像進(jìn)行濾波或巻積，然后取兩個(gè)結(jié)果的平均，獲得空間梯度。可以通過(guò)用合適的高斯內(nèi)核對(duì) 兩個(gè)圖像進(jìn)行濾波或巻積，然后取兩個(gè)結(jié)果的差，獲得時(shí)間梯度。
如圖2中所示，減小的圖像232可以被提供給梯度計(jì)算部分204， 并且通過(guò)水平高斯微分濾波器(dx) 234和垂直低通濾波器(gy) 236 對(duì)其進(jìn)行濾波，得到圖像(Ix) 238。還可以由水平低通濾波器(gx) 240對(duì)圖像232進(jìn)行濾波。垂直高斯微分濾波器(dy) 242可以對(duì)水 平低通濾波器(gx) 240濾波后的圖像進(jìn)行濾波，得到圖像(Iy) 244。 垂直低通濾波器(gy) 246也可以對(duì)水平低通濾波器(gx) 240濾波后 的圖像進(jìn)行濾波，得到圖像(Ib) 248。在一個(gè)實(shí)施例中，低通濾波器 可以被實(shí)現(xiàn)為具有巻積掩碼g= (0.03505 0.24878 0.43234 0.24878 0.03504)，以及巻積掩碼d= (0.10689 0.28461 0.0 -0.28461 -0.10689)。 然而，實(shí)施例在上下文中不受限制于此。
為了減小計(jì)算和存儲(chǔ)量，可以通過(guò)抽取因子(S)250下采樣圖像(Ix) 238，得到圖像(/，) 252，可以通過(guò)抽取因子(S)254下采樣圖像(Iy) 244，得到圖像(《)256，可以通過(guò)抽取因子(S)258下采樣圖像(Ib) 248，得到圖像(")260。在一個(gè)實(shí)施例中，可以在兩個(gè)方向上使用 抽取因子S二2。然而，實(shí)施例在上下文中不受限制于此。
在梯度計(jì)算部分204中，可以存儲(chǔ)當(dāng)前幀的圖像(")252、圖像 (《)256、圖像(")260，然后將它們與從先前幀存儲(chǔ)的圖像(") 262、圖像(")264、圖像(/f) 266適當(dāng)?shù)亟M合，以獲得當(dāng)前圖像 和先前相鄰圖像之間的時(shí)空梯度。在各個(gè)實(shí)施例中，時(shí)空梯度可以包 括水平空間梯度(A ) 268、垂直空間梯度() 270、時(shí)間梯度(A/) 272。
可以獲得兩幀之間的時(shí)空梯度，其中(,，是在像素i 處兩幀的時(shí)空梯度。假定純位移模式，在像素i處位移由以下方程約束,dx+y;dy+"=o，其中(力，/;， 是在像素i處兩幀的 時(shí)空梯度，而d二 (dx， dy) T是與水平和垂直方向上的主運(yùn)動(dòng)對(duì)應(yīng)的 未知位移。
位移估計(jì)部分206可以確定與主運(yùn)動(dòng)對(duì)應(yīng)的水平和垂直方向上的 未知位移(dx， dy) 274。通過(guò)將與當(dāng)前圖像中的像素對(duì)應(yīng)的約束條件匯聚起來(lái)，可以形成超定線性系統(tǒng)，其將時(shí)空梯度與未知位移關(guān)聯(lián)起來(lái)，具有形式Fsd二Ft，其中，矩陣Fs包含空間梯度，而列向量Ft包 含時(shí)間梯度。應(yīng)當(dāng)理解，可以使用當(dāng)前圖像中的所有像素或像素子集 來(lái)減小計(jì)算量。
在各個(gè)實(shí)施例中，位移估計(jì)部分206可以包括諸如魯棒M-估計(jì)器 的魯棒估計(jì)器，以求解超定線性系統(tǒng)。在這樣的實(shí)施例中，M-估計(jì) 器可以使用諸如Tukey函數(shù)、Huber函數(shù)、Cauchy函數(shù)、絕對(duì)值函數(shù)、 或其它合適的魯棒函數(shù)，而不是在最小平方中使用的平方函數(shù)。使用 魯棒估計(jì)器來(lái)處理由于經(jīng)歷與相機(jī)的運(yùn)動(dòng)不同或不相關(guān)的運(yùn)動(dòng)的對(duì) 象的存在所引起的問(wèn)題。這些對(duì)象的不相關(guān)運(yùn)動(dòng)可能違背主要的整體 運(yùn)動(dòng)假設(shè)，并且會(huì)偏移主運(yùn)動(dòng)的估計(jì)。
1魯棒估計(jì)器可以自動(dòng)檢測(cè)離群值，其對(duì)應(yīng)于經(jīng)歷了與主運(yùn)動(dòng)非常 不同或不相關(guān)的運(yùn)動(dòng)的像素。通過(guò)降低對(duì)應(yīng)因素的權(quán)重，魯棒估計(jì)器 在估計(jì)過(guò)程中可以忽略這些離群值。通過(guò)使用基于魯棒統(tǒng)計(jì)的估計(jì)技 術(shù)，自動(dòng)忽視被認(rèn)為是離群值(例如，獨(dú)立運(yùn)動(dòng)對(duì)象)的數(shù)據(jù)點(diǎn)。因 此，得到了與主趨勢(shì)或主運(yùn)動(dòng)對(duì)應(yīng)的估計(jì)，其最佳地說(shuō)明了兩個(gè)連續(xù) 幀之間的變化。
在各個(gè)實(shí)施例中，可以通過(guò)根據(jù)當(dāng)前估計(jì)處理圖像之一并且重復(fù) 估計(jì)過(guò)程，迭代地改善主運(yùn)動(dòng)估計(jì)。 一旦達(dá)到最大迭代數(shù)或估計(jì)中的 變化低于給定閾值，則將估計(jì)過(guò)程停止于當(dāng)前的錐體水平，并且將該 估計(jì)用作先前錐體水平的初始估計(jì)。
基于相機(jī)運(yùn)動(dòng)是成像平面內(nèi)含有的平移的假設(shè)，與主運(yùn)動(dòng)對(duì)應(yīng)的 水平和垂直方向上的位移(dx， dy) 274可以是整體位移。然而，在 一些情況下，主運(yùn)動(dòng)可以是整體位移加上兩圖像間的旋轉(zhuǎn)，這對(duì)應(yīng)于 以下假設(shè)相機(jī)運(yùn)動(dòng)是包含在成像平面內(nèi)的平移加上繞與成像平面正 交的軸的旋轉(zhuǎn)。在這種情況下，兩個(gè)相鄰的圖像可以互為近似位移和 潛在旋轉(zhuǎn)形式。
在考慮旋轉(zhuǎn)加平移模式的情況下，要估計(jì)的參數(shù)可以包括位移加 旋轉(zhuǎn)角，并且估計(jì)它們的過(guò)程相似。在各個(gè)實(shí)施例中，該過(guò)程可以包 括將與旋轉(zhuǎn)加平移對(duì)應(yīng)的兩個(gè)矩陣相乘，比如從幀1到幀2的矩陣乘 以從幀3到幀4的矩陣。在一個(gè)實(shí)施例中，每個(gè)旋轉(zhuǎn)加平移矩陣可以 包括3x3矩陣，其中，矩陣的第一2x2塊是旋轉(zhuǎn)矩陣，最后一列的前 兩個(gè)元素是位移4和dy，而最底一行為
。然而，實(shí)施例在上下 文中不受限制于此。
圖3示出根據(jù)一個(gè)或多個(gè)實(shí)施例的典型圖像序列的估計(jì)的和平滑 的軌跡。如圖所示，圖300包括對(duì)于典型圖像序列表示估計(jì)的軌跡的 藍(lán)線302、表示平滑的軌跡的紅線304。這些值以像素為單位。應(yīng)當(dāng) 理解，為說(shuō)明目的提供了該示例，并且實(shí)施例在上下文中不受限制于 此。
圖4示出測(cè)試序列中兩個(gè)相鄰幀的典型穩(wěn)定結(jié)果的一個(gè)實(shí)施例。 將紅色網(wǎng)格疊加在所有圖像上，以方便對(duì)穩(wěn)定的視覺(jué)比較。在頂行， 在序列的原始連續(xù)幀401-a和402-a之間顯示了由于有害的相機(jī)運(yùn)動(dòng) 導(dǎo)致的大抖動(dòng)。在中間行，在使用純平移校準(zhǔn)模式進(jìn)行穩(wěn)定后，在連 續(xù)兩幀401-b和402-b之間補(bǔ)償了有害的抖動(dòng)。在底行，在使用旋轉(zhuǎn) 加平移校準(zhǔn)模式進(jìn)行穩(wěn)定后，在連續(xù)兩幀401-c和402-c之間補(bǔ)償了 有害的抖動(dòng)。應(yīng)當(dāng)理解，為說(shuō)明目的提供了該示例，并且實(shí)施例在上 下文中不受限制于此。
圖5示出根據(jù)一個(gè)或多個(gè)實(shí)施例的邏輯流程500。邏輯流程500 可以通過(guò)各種系統(tǒng)和/或裝置來(lái)執(zhí)行，并且可以根據(jù)給定的設(shè)計(jì)參數(shù) 或性能約束集的需要，作為硬件、軟件、或它們的任意組合來(lái)實(shí)現(xiàn)。 例如，邏輯流程500可以通過(guò)邏輯裝置(例如處理器)和/或包括由 邏輯裝置執(zhí)行的指令、數(shù)據(jù)、和/或代碼的邏輯(例如線程邏輯)來(lái) 實(shí)現(xiàn)。
邏輯流程500可以包括估計(jì)輸入圖像序列中相鄰圖像幀之間的主 運(yùn)動(dòng)(塊502)。與主運(yùn)動(dòng)對(duì)應(yīng)的位移(例如dx和dy)可以是兩幅圖 像之間的整體位移和/或整體位移加旋轉(zhuǎn)?？梢杂芍T如使用魯棒函數(shù) (例如Tukey函數(shù)、Huber函數(shù)、Cauchy函數(shù)、絕對(duì)值函數(shù)、等)的 魯棒M-估計(jì)器這樣的魯棒估計(jì)器來(lái)執(zhí)行主運(yùn)動(dòng)估計(jì)。魯棒估計(jì)器可 以自動(dòng)檢測(cè)并忽略離群值，該離群值對(duì)應(yīng)于經(jīng)歷了與主運(yùn)動(dòng)非常不同 或不相關(guān)的運(yùn)動(dòng)的像素。
邏輯流程500可以包括基于相鄰圖像幀之間的主運(yùn)動(dòng)確定估計(jì)的 軌跡(塊504)。可以相對(duì)于第一幀確定相機(jī)的估計(jì)的軌跡，作為所 有相對(duì)校準(zhǔn)的組合。在純平移模式的情況下，例如，估計(jì)的軌跡可以 對(duì)應(yīng)于直到當(dāng)前幀的所有位移的累加和。
邏輯流程500可以包括確定平滑的軌跡(塊506)。可以通過(guò)用具 有給定標(biāo)準(zhǔn)偏差的低通濾波器(例如，低通高斯濾波器)對(duì)水平和垂 直位移進(jìn)行濾波，來(lái)計(jì)算平滑形式的軌跡。
邏輯流程500可以包括基于估計(jì)的軌跡和平滑的軌跡之間的偏差 來(lái)計(jì)算估計(jì)的抖動(dòng)(塊508)。可以通過(guò)從估計(jì)的軌跡減去平滑形式 的軌跡，來(lái)計(jì)算估計(jì)的抖動(dòng)。軌跡的高頻率變化可以與有害相機(jī)抖動(dòng) 相關(guān)或?qū)?yīng)，而軌跡的低頻率或平滑變化可以與期望的相機(jī)運(yùn)動(dòng)相關(guān) 或?qū)?yīng)。
邏輯流程500可以包括補(bǔ)償估計(jì)的抖動(dòng)以產(chǎn)生穩(wěn)定的圖像序列 (塊510)。對(duì)于純位移模式，位移能夠近似為整數(shù)。因此，運(yùn)動(dòng)補(bǔ) 償可以包括選擇圖像的合適子區(qū)域，其具有由位移給定的原點(diǎn)。在旋 轉(zhuǎn)加平移模式的情況下，補(bǔ)償可以包括使用諸如雙線性或雙三次插值 的合適插值技術(shù)在旋轉(zhuǎn)像素網(wǎng)格上內(nèi)插像素值。
圖6示出制造物品600的一個(gè)實(shí)施例。如圖所示，物品600可以 包括存儲(chǔ)介質(zhì)602，其存儲(chǔ)視頻穩(wěn)定邏輯504,用于執(zhí)行根據(jù)上述實(shí) 施例的各種操作。在各個(gè)實(shí)施例中，物品600可以通過(guò)各種系統(tǒng)、組 件、和/或模塊來(lái)實(shí)現(xiàn)。
物品600和/或計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)602可以包括能夠存儲(chǔ)數(shù)據(jù)的 一種或多種類型的存儲(chǔ)介質(zhì)，包括易失存儲(chǔ)器或非易失存儲(chǔ)器、可移 動(dòng)或不可移動(dòng)存儲(chǔ)器、可擦除或不可擦除存儲(chǔ)器、可寫或可重寫存儲(chǔ) 器、等等。計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)的例子可以包括但不限于RAM、 DRAM、雙數(shù)據(jù)率DRAM (DDRAM)、同步DRAM (SDRAM)、靜 態(tài)RAM (SRAM)、 ROM、可編程ROM (PROM)、可擦可編程ROM (EPROM)、 EEPROM、光盤ROM(CD-ROM)、可記錄光盤(CD-R)、 可重寫光盤(CD-RW)、閃存(例如NOR或NAND閃存)、內(nèi)容可 尋址存儲(chǔ)器(CAM)、聚合物存儲(chǔ)器(例如鐵電聚合物存儲(chǔ)器)、相
變存儲(chǔ)器(例如雙向存儲(chǔ)器)、鐵電存儲(chǔ)器、硅氧氮氧硅(SONOS) 存儲(chǔ)器、盤(例如軟盤、硬驅(qū)、光盤、磁盤、磁-光盤)、或卡(例如磁 卡、光卡)、磁帶、盒式磁帶、或適合于存儲(chǔ)信息的任何其它類型的 計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。
物品600和/或計(jì)算機(jī)可讀介質(zhì)602可以存儲(chǔ)包括指令、數(shù)據(jù)和/ 或代碼的視頻穩(wěn)定邏輯604,如果系統(tǒng)執(zhí)行該指令、數(shù)據(jù)和/或代碼， 可以使得系統(tǒng)執(zhí)行根據(jù)上述實(shí)施例的方法和/或操作。這樣的系統(tǒng)可 以包括，例如，任何合適的處理平臺(tái)、計(jì)算平臺(tái)、計(jì)算裝置、處理裝 置、計(jì)算系統(tǒng)、處理系統(tǒng)、計(jì)算機(jī)、處理器等，并且可以使用硬件和 /或軟件的任何合適組合來(lái)實(shí)現(xiàn)。
視頻穩(wěn)定邏輯604可以包括或被實(shí)現(xiàn)為軟件、軟件模塊、應(yīng)用 程序、程序、子例程、指令、指令集、計(jì)算代碼、字、值、符號(hào)或其 組合。指令可以包括任何合適類型的代碼，比如源代碼、編譯代碼、 解釋代碼、執(zhí)行代碼、靜態(tài)代碼、動(dòng)態(tài)代碼、等等?？梢愿鶕?jù)預(yù)定的 計(jì)算機(jī)語(yǔ)言、方式、或語(yǔ)法來(lái)實(shí)現(xiàn)指令，以控制處理器執(zhí)行特定功能。 可以使用任何合適的高級(jí)別的、低級(jí)別的、面向?qū)ο蟮摹⒖梢暤?、?譯的和/或解釋的編程語(yǔ)言，比如C、 C++、 Java、 BASIC、 Perl、 Matlab、 Pascal、 Visual BASIC、匯編語(yǔ)言、機(jī)器碼等等，來(lái)實(shí)現(xiàn)該指令。實(shí) 施例在上下文中不受限制于此。
這里提出了許多具體細(xì)節(jié)以提供對(duì)實(shí)施例的徹底理解。然而，本 領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，可以不用這些具體細(xì)節(jié)來(lái)實(shí)現(xiàn)實(shí)施例。在另 一示例中，沒(méi)有詳細(xì)描述公知的操作、組件和電路以免混淆實(shí)施例。 應(yīng)當(dāng)理解，這里公開(kāi)的特定結(jié)構(gòu)和功能細(xì)節(jié)可以是代表性的，但不限 定這些實(shí)施例的范圍。
各個(gè)實(shí)施例可以包括一個(gè)或多個(gè)組件。 一個(gè)組件可以包括執(zhí)行某 些操作的任何結(jié)構(gòu)。每個(gè)組件可以根據(jù)給定的設(shè)計(jì)參數(shù)或性能約束集 合的要求，實(shí)現(xiàn)為硬件、軟件、或它們的任意組合。雖然作為示例在 特定拓?fù)洳季种幸韵薅〝?shù)目的組件描述了實(shí)施例，但是根據(jù)給定實(shí)現(xiàn) 的要求，實(shí)施例在其他拓?fù)洳季种锌梢园ɑ蚨嗷蛏俚慕M件。
應(yīng)當(dāng)注意，文中出現(xiàn)的任何"一個(gè)實(shí)施例"意指，結(jié)合該實(shí)施例
描述的特定的特征、結(jié)構(gòu)或特性包括在至少一個(gè)實(shí)施例中。說(shuō)明書中 的短語(yǔ)"在一個(gè)實(shí)施例中"不一定都指同一實(shí)施例。
雖然可以將一些實(shí)施例說(shuō)明和描述為包括執(zhí)行各種操作的示例性 功能組件或模塊，但是應(yīng)當(dāng)理解，可以通過(guò)一個(gè)或多個(gè)硬件組件、軟 件組件、和/或其組合來(lái)實(shí)現(xiàn)這樣的組件或模塊。例如，可以通過(guò)要 由邏輯裝置(例如處理器)執(zhí)行的邏輯(例如指令、數(shù)據(jù)和/或代碼) 來(lái)實(shí)現(xiàn)功能組件和/或模塊?？梢栽谶壿嬔b置內(nèi)部或外部將這樣的邏 輯存儲(chǔ)到一種或多種類型的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上。
還應(yīng)當(dāng)理解，所述實(shí)施例說(shuō)明了示例性實(shí)現(xiàn)，且可以用符合所述 實(shí)施例的各種其它方式來(lái)實(shí)現(xiàn)功能組件和/或模塊。此外，對(duì)于給定 的實(shí)現(xiàn)，可以將這些組件或模塊執(zhí)行的操作進(jìn)行組合和/或分割，并 且可以由更多或更少組件或模塊執(zhí)行操作。
除非專門說(shuō)明，應(yīng)當(dāng)理解，諸如"處理"、"運(yùn)算"、"計(jì)算"、"確 定"等的術(shù)語(yǔ)指計(jì)算機(jī)或計(jì)算機(jī)系統(tǒng)、或相似電子計(jì)算裝置的動(dòng)作或 處理，所述相似電子計(jì)算裝置對(duì)寄存器和/或存儲(chǔ)器中表示為物理量 (例如電子)的數(shù)據(jù)進(jìn)行操作，并且/或者將其轉(zhuǎn)換成在存儲(chǔ)器、寄 存器、或其它類似信息存儲(chǔ)、發(fā)射或顯示裝置內(nèi)的同樣表示為物理量 的其它數(shù)據(jù)。
應(yīng)當(dāng)注意，使用了表述"耦合"和"連接"及其派生詞來(lái)描述一 些實(shí)施例。不意味這些術(shù)語(yǔ)相互為同義詞。例如，可以使用術(shù)語(yǔ)"連 接的"和/或"耦合的"描述一些實(shí)施例，以表明兩個(gè)或多個(gè)組件相 互直接物理或電接觸。然而，術(shù)語(yǔ)"耦合的"還可以指兩個(gè)或多個(gè)組 件不直接相互接觸，但是仍然相互協(xié)作或交互。關(guān)于軟件組件，例如，
術(shù)語(yǔ)"耦合的"可以指接口、消息接口、 API、交換消息等。
一些圖可以包括流程圖。雖然這樣的圖可以包括特定的邏輯流程， 但是應(yīng)當(dāng)理解，邏輯流程僅僅提供通用功能的示例性實(shí)施例。此外， 除非另有說(shuō)明，不必以表述的順序執(zhí)行邏輯流程。另外，可以通過(guò)硬 件組件、由處理器執(zhí)行的軟件組件、或其任意組合來(lái)實(shí)現(xiàn)邏輯流程。 雖然如上述說(shuō)明了實(shí)施例的某些特征，但是本領(lǐng)域技術(shù)人員可以 作出許多修改、替代、變化、等同。因此，應(yīng)當(dāng)理解所附權(quán)利要求旨在覆蓋落入這些實(shí)施例本質(zhì)內(nèi)的所有修改和變化.
權(quán)利要求
1、一種裝置，包括幀間主運(yùn)動(dòng)估計(jì)模塊，其接收輸入圖像序列，并估計(jì)所述圖像序列中相鄰圖像之間的主運(yùn)動(dòng)，所述幀間主運(yùn)動(dòng)估計(jì)模塊包括魯棒估計(jì)器，其自動(dòng)檢測(cè)并忽視與獨(dú)立運(yùn)動(dòng)對(duì)象對(duì)應(yīng)的離群值。
2、 如權(quán)利要求1所述的裝置，其中，所述主運(yùn)動(dòng)包括至少所述 相鄰圖像之間的整體位移和整體位移加旋轉(zhuǎn)中的一個(gè)。
3、 如權(quán)利要求1所述的裝置，其中，所述魯棒估計(jì)器使用魯棒 函數(shù)。
4、 如權(quán)利要求3所述的裝置，所述魯棒函數(shù)包括至少Tukey函 數(shù)、Huber函數(shù)、Cauchy函數(shù)、絕對(duì)值函數(shù)中的一個(gè)。
5、 如權(quán)利要求1所述的裝置，還包括軌跡計(jì)算模塊，其基于所 述主運(yùn)動(dòng)確定估計(jì)的軌跡。
6、 如權(quán)利要求5所述的裝置，還包括軌跡平滑模塊，其確定平 滑的軌跡。
7、 如權(quán)利要求6所述的裝置，還包括抖動(dòng)補(bǔ)償模塊，其補(bǔ)償估 計(jì)的抖動(dòng)，所述估計(jì)的抖動(dòng)基于所述估計(jì)的軌跡和所述平滑的軌跡 之間的偏差。
8、 如權(quán)利要求1所述的裝置，其中，所述裝置包括圖像獲取裝 置。
9、 一種系統(tǒng)，包括連接到天線的裝置，所述裝置包括幀間主運(yùn)動(dòng)估計(jì)模塊，其接收 輸入圖像序列，并估計(jì)所述圖像序列中相鄰圖像之間的主運(yùn)動(dòng)，所 述幀間主運(yùn)動(dòng)估計(jì)模塊包括魯棒估計(jì)器，其自動(dòng)檢測(cè)并忽視與獨(dú)立 運(yùn)動(dòng)對(duì)象對(duì)應(yīng)的離群值。
10、 如權(quán)利要求9所述的系統(tǒng)，其中，所述主運(yùn)動(dòng)包括至少所述 相鄰圖像之間的整體位移和整體位移加旋轉(zhuǎn)中的一個(gè)。
11、 如權(quán)利要求9所述的系統(tǒng)，其中，所述魯棒估計(jì)器使用魯棒 函數(shù)。
12、 如權(quán)利要求11所述的系統(tǒng)，所述魯棒函數(shù)包括至少Tukey 函數(shù)、Huber函數(shù)、Cauchy函數(shù)、絕對(duì)值函數(shù)中的一個(gè)。
13、 如權(quán)利要求9所述的系統(tǒng)，還包括軌跡計(jì)算模塊，其基于所 述主運(yùn)動(dòng)確定估計(jì)的軌跡。
14、 如權(quán)利要求13所述的系統(tǒng)，還包括軌跡平滑模塊，其確定 平滑的軌跡。
15、 如權(quán)利要求14所述的系統(tǒng)，還包括抖動(dòng)補(bǔ)償模塊，其補(bǔ)償 估計(jì)的抖動(dòng)，所述估計(jì)的抖動(dòng)基于所述估計(jì)的軌跡和所述平滑的軌 跡之間的偏差。
16、 一種方法，包括通過(guò)使用魯棒估計(jì)器自動(dòng)檢測(cè)并忽視與獨(dú)立運(yùn)動(dòng)對(duì)象對(duì)應(yīng)的離 群值，估計(jì)圖像序列中相鄰圖像之間的主運(yùn)動(dòng)。
17、 如權(quán)利要求16所述的方法，其中，所述主運(yùn)動(dòng)包括至少所 述相鄰圖像之間的整體位移和整體位移加旋轉(zhuǎn)中的一個(gè)。
18、 如權(quán)利要求16所述的方法，其中，所述魯棒估計(jì)器使用魯 棒函數(shù)。
19、 如權(quán)利要求18所述的方法，所述魯棒函數(shù)包括至少Tukey 函數(shù)、Huber函數(shù)、Cauchy函數(shù)、絕對(duì)值函數(shù)中的一個(gè)。
20、 如權(quán)利要求16所述的方法，還包括基于所述主運(yùn)動(dòng)確定估 計(jì)的軌跡。
21、 如權(quán)利要求20所述的方法，還包括確定平滑的軌跡。
22、 如權(quán)利要求21所述的方法，還包括補(bǔ)償估計(jì)的抖動(dòng)，所述 估計(jì)的抖動(dòng)基于所述估計(jì)的軌跡和所述平滑的軌跡之間的偏差。
23、 一種包括含有指令的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)的物品，如果執(zhí)行 所述指令，使得系統(tǒng)通過(guò)使用魯棒估計(jì)器自動(dòng)檢測(cè)并忽視與獨(dú)立運(yùn)動(dòng)對(duì)象對(duì)應(yīng)的離 群值，估計(jì)圖像序列中相鄰圖像之間的主運(yùn)動(dòng)。
24、 如權(quán)利要求23所述的物品，其中，所述主運(yùn)動(dòng)包括至少所 述相鄰圖像之間的整體位移和整體位移加旋轉(zhuǎn)中的一個(gè)。
25、 如權(quán)利要求23所述的物品，其中，所述魯棒估計(jì)器使用魯 棒函數(shù)。
26、 如權(quán)利要求25所述的物品，所述魯棒函數(shù)包括至少Tukey 函數(shù)、Huber函數(shù)、Cauchy函數(shù)、絕對(duì)值函數(shù)中的一個(gè)。
27、 如權(quán)利要求23所述的物品，還包括指令，如果執(zhí)行該指令，使得所述系統(tǒng)基于所述主運(yùn)動(dòng)確定估計(jì)的軌跡。
28、 如權(quán)利要求27所述的物品，還包括指令，如果執(zhí)行該指令， 使得所述系統(tǒng)確定平滑的軌跡。
29、 如權(quán)利要求28所述的物品，還包括指令，如果執(zhí)行該指令， 使得所述系統(tǒng)補(bǔ)償估計(jì)的抖動(dòng)，所述估計(jì)的抖動(dòng)基于所述估計(jì)的軌 跡和所述平滑的軌跡之間的偏差。
全文摘要
描述了基于魯棒主運(yùn)動(dòng)估計(jì)執(zhí)行數(shù)字視頻穩(wěn)定的多個(gè)實(shí)施例。在一個(gè)實(shí)施例中，裝置可以接收輸入圖像序列，并估計(jì)輸入圖像序列中相鄰圖像之間的主運(yùn)動(dòng)。所述裝置可以使用魯棒估計(jì)器來(lái)自動(dòng)檢測(cè)并忽視與獨(dú)立運(yùn)動(dòng)對(duì)象對(duì)應(yīng)的離群值。描述了其它的實(shí)施例并要求了權(quán)利。
文檔編號(hào)H04N7/26GK101202911SQ20071017008
公開(kāi)日2008年6月18日 申請(qǐng)日期2007年11月9日 優(yōu)先權(quán)日2006年11月9日
發(fā)明者H·W·豪斯科爾, O·內(nèi)斯塔雷斯 申請(qǐng)人:英特爾公司