用于視頻穩(wěn)定化的基于運動傳感器的虛擬三腳架方法
【專利摘要】一種用于基于運動傳感器的用于視頻穩(wěn)定化的裝置、方法和計算機可讀介質(zhì)。運動傳感器可捕獲視頻序列的運動數(shù)據(jù)?？刂破骺苫趤碜赃\動傳感器的運動數(shù)據(jù)計算用于捕獲視頻序列的攝像機的平均運動數(shù)據(jù)?？刂破魅缓罂纱_定實際攝像機運動和平均攝像機運動之間的差，以便為視頻序列中的幀設(shè)置視頻穩(wěn)定化強度參數(shù)。視頻穩(wěn)定化單元可利用該強度參數(shù)來穩(wěn)定視頻序列中的幀。
【專利說明】用于視頻穩(wěn)定化的基于運動傳感器的虛擬三腳架方法
【背景技術(shù)】
[0001]本公開整體涉及圖像處理領(lǐng)域。更具體地，但并非作為限制，本公開涉及對視頻圖像捕獲操作期間經(jīng)歷的無益運動進行補償。
[0002]當今，許多個人電子設(shè)備都配備了具有視頻功能的數(shù)字攝像機。示例性個人電子設(shè)備包括但不限于移動電話、個人數(shù)字助理、便攜式音樂播放器、便攜式視頻播放器和便攜式計算機系統(tǒng)，諸如膝上型計算機、筆記本電腦和平板電腦。視頻捕獲的一個常見問題是攝像機會有無益運動。盡管某些運動可能是期望的(如攝像機在整個場景上的平穩(wěn)搖攝)，但其他運動則是不可取的(如由于走動或手的晃動而導(dǎo)致的運動)。
[0003]許多視頻捕獲設(shè)備包括陀螺傳感器，所述陀螺傳感器可用于輔助各種設(shè)備功能，包括消除由攝像機捕獲到的運動。然而，在消除由攝像機捕獲的運動時，并非始終清楚所捕獲的運動是預(yù)期的運動還是非預(yù)期的運動。因此，需要有效的方法來區(qū)分預(yù)期的運動和非預(yù)期的運動，以便僅消除非預(yù)期的運動。
【專利附圖】

【附圖說明】
[0004]圖1是根據(jù)本發(fā)明的一個實施例的具有攝像機功能的設(shè)備的簡化框圖。
[0005]圖2示出了在一個實施例中的視頻處理系統(tǒng)的功能框圖。
[0006]圖3示出了在 一個實施例中攝像機、陀螺單元、控制器和穩(wěn)定器的示例性操作。
[0007]圖4示出了在一個實施例中將視頻穩(wěn)定化強度映射到變化的旋轉(zhuǎn)角△的示例性圖示。
[0008]圖5示出了在一個實施例中對視頻幀選擇性地應(yīng)用穩(wěn)定化的方法。
[0009]圖6是根據(jù)一個實施例結(jié)合有數(shù)字視頻捕獲能力的電子設(shè)備的簡化功能框圖。
【具體實施方式】
[0010]本發(fā)明的實施例提供了基于從運動傳感器獲得的信息來穩(wěn)定視頻幀的技術(shù)。運動傳感器可捕獲視頻序列的運動數(shù)據(jù)?？刂破骺苫趤碜赃\動傳感器的運動數(shù)據(jù)來計算用于捕獲視頻序列的攝像機的平均運動數(shù)據(jù)?？刂破魅缓罂纱_定實際攝像機運動和平均攝像機運動之間的差，以便為視頻序列中的幀設(shè)置視頻穩(wěn)定化強度參數(shù)。視頻穩(wěn)定化單元可利用該強度參數(shù)來穩(wěn)定視頻序列中的幀。
[0011]圖1是根據(jù)本發(fā)明的一個實施例的具有攝像機功能的設(shè)備100的簡化框圖。設(shè)備100可包括攝像機110、運動傳感器120、視頻穩(wěn)定器130和控制器140 (圖1(a))。攝像機110可捕獲視覺信息并由其生成視頻數(shù)據(jù)。運動傳感器120可檢測設(shè)備100 (并且，在擴展意義上，攝像機110)的運動并向控制器140輸出運動數(shù)據(jù)。視頻穩(wěn)定器130可對輸入視頻序列執(zhí)行視頻穩(wěn)定化技術(shù)，以試圖消除由于攝像機運動而出現(xiàn)的視頻序列中的偽影。視頻穩(wěn)定器130可根據(jù)多種工作參數(shù)(未示出)工作，這些工作參數(shù)可由控制器140供應(yīng)給視頻穩(wěn)定器的強度參數(shù)來控制。控制器140可基于其對運動傳感器所供應(yīng)的運動數(shù)據(jù)的解譯來推導(dǎo)強度參數(shù)。[0012]在工作期間，攝像機110可輸出預(yù)定尺寸的視頻幀。視頻穩(wěn)定器130可以較小的尺寸從幀提取圖像數(shù)據(jù)以補償在圖像內(nèi)容內(nèi)檢測到的運動。視頻穩(wěn)定器130然后可將經(jīng)過運動補償?shù)膸糯蠡爻跏汲叽?即，由攝像機110輸出的幀的尺寸)。控制器140可基于運動數(shù)據(jù)針對數(shù)據(jù)的每個幀確定用于視頻穩(wěn)定器130的工作強度。控制器140可在三維中估計攝像機110的運動(如傾斜/轉(zhuǎn)動/側(cè)滑，四元單元或X、1、Z坐標)。
[0013]由攝像機110捕獲的視頻可與來自運動傳感器120的運動數(shù)據(jù)相關(guān)。攝像機110和運動傳感器120可異步工作。可使用公共時鐘對視頻數(shù)據(jù)和運動數(shù)據(jù)都打上時間戳，以便通過將它們置于公共時間線上而有利于異步捕獲的圖像和運動數(shù)據(jù)的同步。
[0014]運動傳感器120可向控制器140輸出代表每個幀期間攝像機運動的數(shù)據(jù)。通常，運動傳感器120將在每個巾貞期間輸出多個數(shù)據(jù)樣本。在一個實施例中，運動傳感器的米樣速率可為200Hz。因此，如果攝像機以每秒30幀的速率輸出視頻數(shù)據(jù)，運動傳感器可對于每個視頻幀生成200/30個運動數(shù)據(jù)的樣本。在另一個實施例中，運動采樣速率可介于50Hz和200Hz之間。在一個實施例中，運動傳感器120可以是加速器、數(shù)字式羅盤、MEMS運動傳感器設(shè)備或陀螺儀?？蓪⑦\動傳感器120安裝在攝像機110的公共外殼內(nèi)或如設(shè)備100內(nèi)的攝像機110的公共板(未示出)上。
[0015]在圖1中，設(shè)備100被示為智能電話，但本發(fā)明的原理不受此限制?？稍诙喾N類型的設(shè)備中，包括例如便攜式計算機、平板電腦、網(wǎng)絡(luò)攝像頭、數(shù)字攝像機和/或攝錄一體機中應(yīng)用本發(fā)明的實施例。因此，攝像機Iio可包括前向攝像機或后向攝像機。
[0016]常規(guī)來講，在圖1(a)中所示的每個部件之間存在存儲緩沖區(qū)。例如，視頻穩(wěn)定化單元130可從緩沖區(qū)讀取視頻數(shù)據(jù)，然后向另一緩沖區(qū)中寫入穩(wěn)定的視頻數(shù)據(jù)。存儲緩沖區(qū)也可呈現(xiàn)在編碼引擎(未示出)的部件之間。為了便于討論，圖1中未示出這些緩沖區(qū)。
[0017]另外，可在多種使用案例中應(yīng)用本發(fā)明的原理。在一個使用案例中，由設(shè)備100捕獲的視頻可存儲在設(shè)備上以用于層回放。因此，圖1(a)示出設(shè)備100可包括視頻編碼器150和存儲裝置160，所述視頻編碼器用于壓縮由視頻穩(wěn)定器130輸出的視頻序列，而所述存儲裝置用于存儲壓縮的視頻。在一個實施例中，由視頻穩(wěn)定器130輸出的未壓縮的視頻序列可直接存儲在存儲裝置160中。圖1(a)還示出了顯示器170 ;在用戶選擇以及必要的解壓縮(操作未示出)之后，可在顯示器上呈現(xiàn)視頻序列。
[0018]在圖1(b)中所示的另一個使用案例中，可將視頻序列上載到主機。在這種情況下，設(shè)備100還可采用視頻編碼器150和存儲裝置160來存儲壓縮的視頻，直到經(jīng)由通信端口 180將其上載到主機。
[0019]在同樣于圖1(b)中所示的另一個使用案例中，可作為設(shè)備間實時通信(例如視頻會議)的一部分將視頻序列與另一設(shè)備交換。在這種情況下，設(shè)備100可采用視頻編碼器150來壓縮視頻序列并采用發(fā)射器190通過有線或無線通信連接向其他設(shè)備傳輸壓縮的視頻。盡管通常在傳輸之前對壓縮的視頻進行緩存，但圖1(a)示出了發(fā)射器190直接從視頻編碼器150接收壓縮的視頻，以表示視頻序列不需要由設(shè)備100永久存儲。
[0020]視頻穩(wěn)定器130可使用工作參數(shù)對源視頻執(zhí)行視頻穩(wěn)定化，所述工作參數(shù)可由控制器140向視頻穩(wěn)定器輸入的強度參數(shù)來導(dǎo)出。圖2示出了在視頻數(shù)據(jù)的示例幀的情境中的視頻穩(wěn)定器的操作。在該實例中，視頻穩(wěn)定器130可以MXN像素的預(yù)定尺寸接收視頻數(shù)據(jù)幀，并可從視頻穩(wěn)定器以XX Y像素的尺寸提取子幀。視頻穩(wěn)定器130可在幀之間執(zhí)行運動搜索以識別幀和幀之間視頻內(nèi)容的位移。視頻穩(wěn)定器130可將提取窗口與檢測到的位移對準以便將它們抵消。因此，在圖2的實例中，視頻穩(wěn)定器130可針對當前幀在位置X1、Y1處限定尺寸為XXY像素的提取窗口 210。根據(jù)在圖像內(nèi)容內(nèi)檢測到的運動，視頻穩(wěn)定器130可在不同的位置處為其他幀(未示出的幀)限定提取窗口 220、230。
[0021]本發(fā)明的實施例可基于由控制器140應(yīng)用的強度參數(shù)來調(diào)節(jié)視頻穩(wěn)定器的工作參數(shù)(通俗講，即其“強度”)。例如，可基于強度參數(shù)來改變提取窗口 210的尺寸。一般而言，較小的提取窗口能夠比更大的提取窗口提供更強的視頻穩(wěn)定化，因為它為視頻穩(wěn)定器賦予了更大的靈活性以在由攝像機輸入到其中的MXN幀內(nèi)移動所述提取窗口。類似地，由運動搜索操作提供的搜索窗口可響應(yīng)于強度參數(shù)而改變尺寸。搜索窗口的尺寸約束著可被視頻穩(wěn)定器檢測到的運動量。
[0022]圖3是示出了根據(jù)本發(fā)明的一個實施例的導(dǎo)出強度參數(shù)的數(shù)據(jù)流程圖。在用于新幀i的運動數(shù)據(jù)302被導(dǎo)出時，控制器可對運動數(shù)據(jù)執(zhí)行旋轉(zhuǎn)分析(方框310)以針對攝像機確定旋轉(zhuǎn)運動?？刂破骺稍诎ㄐ聨琲的預(yù)定數(shù)量的幀上確定平均攝像機運動(方框320)。然后，控制器可計算在幀i處的攝像機旋轉(zhuǎn)與幀i的平均攝像機旋轉(zhuǎn)之間的運動差Δ ROT (減法器 330)。
[0023]控制器可將運動差Λ ROT與一對閾值TH高、行比較(方框340、350)，并可基于所述比較來設(shè)置強度參數(shù)(方框360)。在一個實施例中，如果運動差A(yù)ROT小于TH低，控制器可將強度參數(shù)設(shè)置為最大設(shè)置，并且如果運動差Λ ROT大于THs,控制器可將強度參數(shù)設(shè)置為最小設(shè)置。如果運動差Λ ROT落在兩個閾值之間，則控制器可基于輸入幀i的運動302將強度參數(shù)設(shè)置為中間設(shè)置?？刂破骺稍俅吾槍γ總€輸入幀來計算強度設(shè)置，并可向視頻穩(wěn)定器輸出強度設(shè)置以用于處理所述輸入幀。
[0024]針對輸入幀i的運動數(shù)據(jù)302可包括運動速率信息:例如在該速率下將攝像機移入3個軸(x、y和z)的每個中。可對速率信息進行整合以生成瞬時位置和旋轉(zhuǎn)信息(也在3個軸線的每個中)。旋轉(zhuǎn)信息可以是四元數(shù)據(jù)。在一個實施例中，可分析旋轉(zhuǎn)數(shù)據(jù)以估計在捕獲對應(yīng)視頻幀時的時間點處的預(yù)期的攝像機運動。為了這樣做，可從運動數(shù)據(jù)302提取旋轉(zhuǎn)數(shù)據(jù)310，并與來自一組視頻幀的旋轉(zhuǎn)數(shù)據(jù)的平均值320進行比較。該組視頻幀可以是在當前處理的幀之前捕獲的一組視頻幀。旋轉(zhuǎn)數(shù)據(jù)的平均值可以表示在記錄當前視頻幀時的時間點之前所述攝像機的估計的預(yù)期位置?？赏ㄟ^低通濾波器饋送先前幀的旋轉(zhuǎn)數(shù)據(jù)來計算先前幀的平均旋轉(zhuǎn)數(shù)據(jù)以消除高頻分量。低通濾波器可以是無限脈沖響應(yīng)(IIR)低通濾波器。然后可由減法器330通過從當前幀的旋轉(zhuǎn)數(shù)據(jù)減去平均旋轉(zhuǎn)數(shù)據(jù)來獲得當前幀的旋轉(zhuǎn)角Δ。旋轉(zhuǎn)角Δ，AROT,可表示當前巾貞的預(yù)期攝像機運動。預(yù)期攝像機運動可包括其中手持攝像機的用戶正通過在軸線上旋轉(zhuǎn)攝像機來平移攝像機的情況。例如，用戶可平移攝像機以在用戶靜止不動的同時捕獲行駛通過用戶的移動車輛的視頻序列。
[0025]在一個實施例中，控制器可將運動差Λ ROT與一對閾值TH高、TH低進行比較(方框340、350)。在另一個實施例中，可將旋轉(zhuǎn)角Λ，Λ R0T，發(fā)送到高閾值比較器340和低閾值比較器350。高閾值比較器340可確定AROT是否等于或高于特定閾值。低閾值比較器350可確定AROT是否等于或低于特定閾值。可使用來自比較器340和350的信息來導(dǎo)出強度參數(shù)(方框360)。可將導(dǎo)出的強度參數(shù)用作視頻穩(wěn)定器130的輸入(圖1)。視頻穩(wěn)定化的目的是最小化在視頻數(shù)據(jù)中捕獲的無意晃動、急動或高頻運動(例如，手持攝像機的人的手晃動的結(jié)果)的量?？捎蔁o意晃動導(dǎo)出高強度參數(shù)，而可由有意運動導(dǎo)出低強度參數(shù)。
[0026]圖4示出了在一個實施例中的示例性圖示400，其將不同的強度參數(shù)映射到旋轉(zhuǎn)角Λ，Λ R0T。圖中的X軸上是旋轉(zhuǎn)角Λ 410，而圖中的y軸上是強度參數(shù)420。如在圖中看出，有兩個閾值點:一個低閾值(THis)430和一個高閾值(THS)440。在一個實施例中，當旋轉(zhuǎn)角△低于低閾值430時，可導(dǎo)出恒定的高強度參數(shù)。換句話講，旋轉(zhuǎn)角△低于閾值的所有幀都應(yīng)用了相同的視頻穩(wěn)定化強度。在一個實施例中，當旋轉(zhuǎn)角△高于高閾值440時，可導(dǎo)出恒定的低強度參數(shù)。在一個實施例中，低閾值430始終低于高閾值440。在一個實施例中，如果旋轉(zhuǎn)角△介于高閾值和低閾值之間，則強度參數(shù)可作為旋轉(zhuǎn)角△的函數(shù)被導(dǎo)出。在一個實施例中，該函數(shù)可以是旋轉(zhuǎn)角△的線性函數(shù)。在另一個實施例中，該函數(shù)可以是非線性函數(shù)，例如旋轉(zhuǎn)角△的指數(shù)函數(shù)。在一個實施例中，該函數(shù)可具有負斜率，即強度參數(shù)可隨著旋轉(zhuǎn)角△增大而減小。在一個實施例中，可將該函數(shù)實現(xiàn)為數(shù)學計算。在另一個實施例中，可經(jīng)由查找表實現(xiàn)該函數(shù)。
[0027] 圖5示出了在一個實施例中用于對視頻流的幀選擇性地應(yīng)用穩(wěn)定化的方法500。對于視頻流的每個連續(xù)幀，從與捕獲當前經(jīng)處理的視頻幀幾乎同時捕獲的運動數(shù)據(jù)提取并計算當前經(jīng)處理的幀的旋轉(zhuǎn)數(shù)據(jù)(方框540)。旋轉(zhuǎn)數(shù)據(jù)可以是四元數(shù)據(jù)。通過將一組幀的平均旋轉(zhuǎn)數(shù)據(jù)與當前經(jīng)處理的幀的旋轉(zhuǎn)數(shù)據(jù)進行比較來計算當前經(jīng)處理的幀的旋轉(zhuǎn)角Λ，Λ ROT (方框550)。在一個實施例中，該組幀可以是在當前經(jīng)處理的視頻幀之前捕獲的一組視頻幀?？蓜討B(tài)地計算先前幀的平均旋轉(zhuǎn)數(shù)據(jù)，其中每個當前經(jīng)處理的幀的旋轉(zhuǎn)數(shù)據(jù)用于在每次迭代期間更新所述平均旋轉(zhuǎn)數(shù)據(jù)。旋轉(zhuǎn)數(shù)據(jù)的平均值可表示在當前視頻幀被記錄的時間點之前所述攝像機的估計的預(yù)期位置?？赏ㄟ^低通濾波器饋送先前幀的旋轉(zhuǎn)數(shù)據(jù)來計算先前幀的平均旋轉(zhuǎn)數(shù)據(jù)以消除高頻分量。低通濾波器可以是無限脈沖響應(yīng)(IIR)低通濾波器。旋轉(zhuǎn)角△可以是先前幀的平均旋轉(zhuǎn)數(shù)據(jù)和當前經(jīng)處理的幀的旋轉(zhuǎn)數(shù)據(jù)之間的差。
[0028]旋轉(zhuǎn)角Λ，Λ R0T，可指示當前視頻幀的預(yù)期攝像機運動(例如，當用戶在捕獲視頻期間平移攝像機時)。然而，在某些情況下，旋轉(zhuǎn)角Λ可以是用戶無意地移動攝像機，諸如在手持攝像機時手的微小晃動。無意和有意攝像機運動之間的區(qū)別因素可以是旋轉(zhuǎn)角Δ的量值。在一個實施例中，可將旋轉(zhuǎn)角△與低閾值進行比較(方框560)。如果旋轉(zhuǎn)角Λ低于低閾值(方框560)，可對當前經(jīng)處理的視頻幀應(yīng)用高視頻穩(wěn)定化(方框570)。低旋轉(zhuǎn)角Λ可指示手持攝像機的用戶無意地移動攝像機，而寧可說是所述移動是由攝像機的輕微無意晃動導(dǎo)致的。在一個實施例中，如果旋轉(zhuǎn)角△不低于低閾值，可將旋轉(zhuǎn)角△與高閾值進行比較(方框580)。如果旋轉(zhuǎn)角△高于高閾值(方框580)，可對當前經(jīng)處理的視頻幀應(yīng)用低視頻穩(wěn)定化(方框590)。高旋轉(zhuǎn)角Λ可指示手持攝像機的用戶在有意地移動攝像機，例如平移攝像機以捕獲運動物體的視頻。在一個實施例中，如果旋轉(zhuǎn)角Λ介于高閾值和低閾值之間，則可作為旋轉(zhuǎn)角Λ的函數(shù)來應(yīng)用穩(wěn)定化(方框595)。在一個實施例中，該函數(shù)可以是旋轉(zhuǎn)角△的線性函數(shù)。在另一個實施例中，該函數(shù)可以是非線性函數(shù)，例如旋轉(zhuǎn)角Λ的指數(shù)函數(shù)。在另一個實施例中，可經(jīng)由查找表實現(xiàn)該函數(shù)。
[0029]圖6是根據(jù)一個實施例示出了結(jié)合有數(shù)字視頻捕獲能力的代表性電子設(shè)備600的簡化功能框圖。電子設(shè)備600可包括處理器605、顯示器610、設(shè)備傳感器615 (如陀螺儀、加速器、接近、和環(huán)境光傳感器)、麥克風620、音頻編解碼器625、揚聲器630、通信電路635、具有關(guān)聯(lián)攝像機和視頻硬件的圖像傳感器640、用戶界面645、存儲器650、存儲設(shè)備655、一個或多個視頻編解碼器660和通信總線665。
[0030]處理器605可以是任何合適的可編程控制設(shè)備或通用或?qū)Ｓ锰幚砥骰蚣呻娐?，并且可?zhí)行對于實施或控制許多功能的操作所必需的指令，諸如生成和/或處理圖像元數(shù)據(jù)以及由電子設(shè)備600執(zhí)行的其他功能。處理器605可例如驅(qū)動顯示器610并可從用戶界面645接收用戶輸入。處理器605也可以例如是芯片上系統(tǒng)，諸如應(yīng)用程序的處理器，諸如存在于移動設(shè)備或?qū)Ｓ脠D形處理單元(GPU)中的那些。處理器605可基于精簡指令集計算機(RISC)或復(fù)雜指令集計算機(CISC)架構(gòu)或任何其他合適的架構(gòu)，并且可包括一個或多個處理內(nèi)核。
[0031]存儲器650可包括由處理器605使用以執(zhí)行設(shè)備功能的一個或多個不同類型的存儲介質(zhì)。存儲器650可包括例如高速緩存、只讀存儲器(ROM)和/或隨機存取存儲器(RAM)。通信總線660可提供數(shù)據(jù)傳輸路徑，以用于向至少存儲設(shè)備655、存儲器650、處理器605和攝像機電路系統(tǒng)640傳輸數(shù)據(jù)，或從這些設(shè)備傳輸數(shù)據(jù)，或在這些設(shè)備之間傳輸數(shù)據(jù)。用戶界面645可允許用戶與電子設(shè)備600交互。例如，用戶界面645可呈多種形式，諸如按鈕、小鍵盤、刻度盤、點擊式轉(zhuǎn)盤或觸摸屏。
[0032]非暫時性存儲設(shè)備655能夠存儲介質(zhì)(如圖像和視頻文件)、計算機程序指令或軟件、偏好信息、設(shè)備概況信息和任何其他合適的數(shù)據(jù)。存儲設(shè)備655可包括一個或多個存儲介質(zhì)，包括例如磁盤(固定盤、軟盤和可移除盤)和磁帶、光學介質(zhì)(諸如CD-ROM和數(shù)字化視頻光盤(DVD))、以及半導(dǎo)體存儲設(shè)備(諸如電可編程只讀存儲器(EPROM)和電可擦除可編程只讀存儲器(EEPROM))。
[0033]視頻編解碼器660可以是能夠?qū)?shù)字視頻進行視頻壓縮和/或解壓的硬件設(shè)備、軟件模塊、或硬件與軟件的組合。例如，視頻編解碼器660可實施H.264視頻標準。通信總線665可以是任何一種或多種通信路徑，并且采用適于特定具體實施的任何技術(shù)或其組
八
口 ο
[0034]可將軟件組織成一個或多個模塊并可以任何合適的計算機編程語言(或多于一種語言)編寫。例如，在由處理器605執(zhí)行時，此類計算機程序代碼或軟件可實施本文所述的方法中的一種或多種。
[0035]在不脫離以下權(quán)利要求的范圍的情況下，在材料、部件、電路元件中以及在示出的操作方法的細節(jié)中的各種變化都是可能的。例如，可使用可通信地耦合的兩個或更多個程序控制設(shè)備來實現(xiàn)處理器605。每個程序控制設(shè)備可包括上述引用的處理器、專用處理器或定制設(shè)計的狀態(tài)機，其可在諸如專用集成電路(ASIC)或現(xiàn)場可編程門陣列(FPGA)的硬件設(shè)備中體現(xiàn)。此外，可對先前捕獲的視頻序列應(yīng)用本文所公開的技術(shù)，提供針對每個視頻幀所捕獲的必要元數(shù)據(jù)。
[0036]在以上描述中，為了解釋的目的，已經(jīng)闡述了很多具體細節(jié)以便提供對發(fā)明構(gòu)思的透徹理解。作為本描述的一部分，已以框圖形式示出了一些結(jié)構(gòu)和設(shè)備以避免使本發(fā)明模糊。在說明書中提到“一個實施例”或“一種實施例”意指在本發(fā)明的至少一個實施例中包括的結(jié)合該實施例描述的特定特征、結(jié)構(gòu)或特性，并且多次提到“一個實施例”或“一種實施例”不應(yīng)被理解為全部必然地參考相同的實施例。
[0037]應(yīng)當理解，在任何實際具體實施的開發(fā)中(如在任何開發(fā)項目中那樣)，必須要做出許多決策以實現(xiàn)開發(fā)者的特定目標(例如符合與系統(tǒng)和商務(wù)相關(guān)的約束條件)，并且這些目標將在不同具體實施之間變化。還應(yīng)當理解，此類開發(fā)工作可能是復(fù)雜的且費時的，但盡管如此，對于受益于本公開的數(shù)字視頻捕獲和處理領(lǐng)域的那些普通技術(shù)人員而言，這仍然是他們的日常工作。
[0038]應(yīng)當理解，以上描述旨在是示例性的而非限制性的。例如，可彼此結(jié)合地使用上述實施例。在回顧以上描述時，很多其他的實施例對于本領(lǐng)域的技術(shù)人員而言將是顯而易見的。因此，應(yīng)當參考所附權(quán)利要求與此權(quán)利要求被授權(quán)的等價物的完整范圍來確定本發(fā)明的范圍。在所附權(quán)利要求中，術(shù)語“包括(including)”和“其中(in which)”被用作相應(yīng)術(shù)語“包括(comprising) ”和“其中(wherein) ”的通俗的英語等價詞。
【權(quán)利要求】
1.一種視頻穩(wěn)定化方法，包括，對于視頻序列內(nèi)的幀: 響應(yīng)于與所述視頻序列相關(guān)聯(lián)的運動傳感器數(shù)據(jù): 在關(guān)于所述幀的捕獲期期間，計算攝像機的平均運動； 確定所述幀的實際攝像機運動與所述平均攝像機運動之間的差； 基于所述相應(yīng)幀的差值為所述幀設(shè)置視頻穩(wěn)定化強度參數(shù)；以及 根據(jù)所述幀的強度參數(shù)對所述幀執(zhí)行視頻穩(wěn)定化。
2.根據(jù)權(quán)利要求1所述的方法，其中所述視頻穩(wěn)定化強度參數(shù): 在所述相應(yīng)幀的差值低于第一閾值時被設(shè)置為高強度值， 在所述相應(yīng)幀的差值高于第二閾值時被設(shè)置為低強度值，以及 在所述相應(yīng)幀的差值高于所述第一閾值且低于所述第二閾值時被設(shè)置為介于所述高強度值和所述低強度值之間的中間值。
3.根據(jù)權(quán)利要求1所述的方法，其中所述運動傳感器數(shù)據(jù)是從陀螺傳感器數(shù)據(jù)導(dǎo)出 的。
4.根據(jù)權(quán)利要求1所述的方法，其中所述運動傳感器數(shù)據(jù)是從加速器傳感器數(shù)據(jù)導(dǎo)出的。
5.根據(jù)權(quán)利要求1所述的方法，其中所述運動傳感器數(shù)據(jù)為旋轉(zhuǎn)數(shù)據(jù)。
6.根據(jù)權(quán)利要求1所述的方法，其中計算所述平均運動包括過濾所述運動傳感器數(shù)據(jù)。
7.根據(jù)權(quán)利要求1所述的方法，其中所述攝像機為便攜式電子設(shè)備。
8.根據(jù)權(quán)利要求2所述的方法，其中所述中間值基于所述幀的差值的函數(shù)。
9.一種包含計算機可執(zhí)行指令以用于使計算機執(zhí)行指令的物理計算機可讀介質(zhì)，所述計算機指令包括: 由與視頻序列相關(guān)聯(lián)的運動傳感器數(shù)據(jù)來計算攝像機的平均運動，其中在關(guān)于所述視頻序列中的幀的捕獲期期間計算所述平均運動； 確定所述幀的實際攝像機運動與所述平均攝像機運動之間的差； 基于所述相應(yīng)幀的差值為所述幀設(shè)置視頻穩(wěn)定化強度參數(shù)；以及 根據(jù)所述幀的強度參數(shù)對所述幀執(zhí)行視頻穩(wěn)定化。
10.根據(jù)權(quán)利要求9所述的物理計算機可讀介質(zhì)，其中所述視頻穩(wěn)定化強度參數(shù): 在所述相應(yīng)幀的差值低于第一閾值時被設(shè)置為高強度值， 在所述相應(yīng)幀的差值高于第二閾值時被設(shè)置為低強度值，以及在所述相應(yīng)幀的差值高于所述第一閾值且低于所述第二閾值時被設(shè)置為介于所述高強度值和所述低強度值之間的中間值。
11.根據(jù)權(quán)利要求9所述的物理計算機可讀介質(zhì)，其中所述運動傳感器數(shù)據(jù)是從陀螺傳感器數(shù)據(jù)導(dǎo)出的。
12.根據(jù)權(quán)利要求9所述的物理計算機可讀介質(zhì)，其中所述運動傳感器數(shù)據(jù)是從加速器傳感器數(shù)據(jù)導(dǎo)出的。
13.根據(jù)權(quán)利要求9所述的物理計算機可讀介質(zhì)，其中所述運動傳感器數(shù)據(jù)為旋轉(zhuǎn)數(shù)據(jù)。
14.根據(jù)權(quán)利要求9所述的物理計算機可讀介質(zhì)，其中計算所述平均運動包括過濾所述運動傳感器數(shù)據(jù)。
15.根據(jù)權(quán)利要求9所述的物理計算機可讀介質(zhì)，其中所述攝像機為便攜式電子設(shè)備。
16.根據(jù)權(quán)利要求10所述的物理計算機可讀介質(zhì)，其中所述中間值基于所述幀的差值的函數(shù)。
17.一種裝置，包括: 用于執(zhí)行計算機指令的處理器，所述計算機指令使所述處理器: 響應(yīng)于與視頻序列相關(guān)聯(lián)的運動傳感器數(shù)據(jù): 在關(guān)于所述視頻序列內(nèi)的幀的捕獲期期間，計算攝像機的平均運動； 確定所述幀的實際攝像機運動與所述平均攝像機運動之間的差； 基于所述相應(yīng)幀的差值為所述幀設(shè)置視頻穩(wěn)定化強度參數(shù)；以及 根據(jù)所述幀的強度參 數(shù)對所述幀執(zhí)行視頻穩(wěn)定化。
18.根據(jù)權(quán)利要求17所述的裝置，其中所述視頻穩(wěn)定化強度參數(shù): 在所述相應(yīng)幀的差值低于第一閾值時被設(shè)置為高強度值， 在所述相應(yīng)幀的差值高于第二閾值時被設(shè)置為低強度值，以及 在所述相應(yīng)幀的差值高于所述第一閾值且低于所述第二閾值時被設(shè)置為介于所述高強度值和所述低強度值之間的中間值。
19.根據(jù)權(quán)利要求17所述的裝置，其中所述運動傳感器數(shù)據(jù)是從陀螺傳感器數(shù)據(jù)導(dǎo)出的。
20.根據(jù)權(quán)利要求17所述的裝置，其中所述運動傳感器數(shù)據(jù)是從加速器傳感器數(shù)據(jù)導(dǎo)出的。
21.根據(jù)權(quán)利要求17所述的裝置，其中所述運動傳感器數(shù)據(jù)為旋轉(zhuǎn)數(shù)據(jù)。
22.根據(jù)權(quán)利要求17所述的裝置，其中計算所述平均運動包括過濾所述運動傳感器數(shù)據(jù)。
23.根據(jù)權(quán)利要求17所述的裝置，其中所述攝像機為便攜式電子設(shè)備。
24.根據(jù)權(quán)利要求18所述的裝置，其中所述中間值基于所述幀的差值的函數(shù)。
25.一種裝置，包括: 攝像機，所述攝像機用于捕獲視頻序列； 運動傳感器，所述運動傳感器用于捕獲與所述視頻序列相關(guān)聯(lián)的運動數(shù)據(jù)； 控制器，所述控制器用于: 在關(guān)于所述視頻序列內(nèi)的幀的捕獲期期間，計算所述攝像機的平均運動； 確定所述幀的實際攝像機運動與所述平均攝像機運動之間的差；以及 基于所述相應(yīng)幀的差值為所述幀設(shè)置視頻穩(wěn)定化強度參數(shù)；以及 視頻穩(wěn)定化單元，所述視頻穩(wěn)定化單元用于根據(jù)所述幀的強度參數(shù)對所述幀執(zhí)行視頻穩(wěn)定化。
26.根據(jù)權(quán)利要求25所述的裝置，其中所述視頻穩(wěn)定化強度參數(shù): 在所述相應(yīng)幀的差值低于第一閾值時被設(shè)置為高強度值， 在所述相應(yīng)幀的差值高于第二閾值時被設(shè)置為低強度值，以及 在所述相應(yīng)幀的差值高于所述第一閾值且低于所述第二閾值時被設(shè)置為介于所述高強度值和所述低強度值之間的中間值。
27.根據(jù)權(quán)利要求26所述的裝置，其中所述中間值基于所述幀的差值的函數(shù)。
28.一種存儲根據(jù)以下方法生成的視頻數(shù)據(jù)的物理存儲介質(zhì)，所述方法包括: 利用攝像機捕獲視頻數(shù)據(jù)， 利用運動傳感器捕獲運動傳感器數(shù)據(jù)， 利用處理器通過以下方式處理所述視頻數(shù)據(jù): 在關(guān)于來自所述視頻數(shù)據(jù)的幀的捕獲期期間，由所述運動傳感器數(shù)據(jù)來計算攝像機的平均運動； 確定所述幀的實際攝像機運動與所述平均攝像機運動之間的差； 基于所述相應(yīng)幀的差值為所述幀設(shè)置視頻穩(wěn)定化強度參數(shù)； 根據(jù)所述幀的強 度參數(shù)對所述幀執(zhí)行視頻穩(wěn)定化；以及在所述存儲介質(zhì)上存儲所述穩(wěn)定化的視頻數(shù)據(jù)。
【文檔編號】H04N5/232GK103988491SQ201280061516
【公開日】2014年8月13日 申請日期:2012年12月5日 優(yōu)先權(quán)日:2011年12月15日
【發(fā)明者】周劍平 申請人:蘋果公司