專利名稱：使用選擇準(zhǔn)則確定關(guān)鍵視頻片段以形成視頻概要的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及數(shù)字視頻處理領(lǐng)域，更具體地涉及一種用于選擇關(guān)鍵視頻幀并且形成視頻概要的方法。
背景技術(shù)：
許多數(shù)字捕捉裝置能夠捕捉視頻以及靜止圖像。然而，管理數(shù)字視頻內(nèi)容可能是困難的任務(wù)。視頻常常在視覺上用視頻的第一幀的縮略像來表示。這可能不提供對(duì)視頻的內(nèi)容的許多深入了解。確定具體的事件是否包含在所給出的視頻中常常需要觀看整個(gè)視頻。對(duì)于冗長的視頻，用戶可能更喜歡能夠得到視頻的快速概要而不必要觀看視頻的全部內(nèi)容。從共享的觀點(diǎn)來看，數(shù)字視頻也可能呈現(xiàn)實(shí)際的問題。許多數(shù)字捕捉裝置以每秒30或60幀、以高達(dá)1920 X 1080像素的空間分辨率來記錄視頻。即使在被壓縮的情況下，所產(chǎn)生的數(shù)據(jù)的量也可能使得共享甚至相對(duì)短的視頻是不切實(shí)際的。視頻編輯軟件可以用于將視頻人工地概括成能夠更容易地被共享的較短的版本。然而，人工視頻編輯可能是冗長的、費(fèi)力的過程，而且許多用戶對(duì)人工編輯不感興趣。還存在自動(dòng)視頻概括算法。這些方案開始于作為輸入的捕捉到的視頻，并對(duì)該視頻進(jìn)行分析以確定視頻概要。然而，這樣的算法非常復(fù)雜，因?yàn)楸仨殞?duì)該視頻進(jìn)行解碼來執(zhí)行確定視頻概要所需要的分析。因而，不可能在數(shù)字捕捉裝置上立即觀看對(duì)應(yīng)于剛捕捉到的視頻的視頻概要。這個(gè)缺點(diǎn)使得難以便利于快速回顧和共享捕捉到的視頻。因而，期望提供用于在數(shù)字捕捉裝置中計(jì)算視頻概要的系統(tǒng)和方法。具體地，期望提供允許在視頻捕捉完成時(shí)以最小延遲在數(shù)字捕捉裝置上產(chǎn)生視頻概要的方案。

發(fā)明內(nèi)容
本發(fā)明提供了一種用于形成用于具有視頻幀時(shí)間序列的數(shù)字視頻的視頻概要的方法，該方法包括使用處理器來執(zhí)行以下步驟a)確定用于數(shù)字視頻的一組關(guān)鍵視頻幀；b)響應(yīng)于預(yù)定準(zhǔn)則對(duì)關(guān)鍵視頻幀進(jìn)行排名；c)根據(jù)預(yù)定的一組準(zhǔn)則形成對(duì)應(yīng)于一個(gè)或多個(gè)最高排名關(guān)鍵視頻幀的關(guān)鍵視頻片段，所述預(yù)定的一組準(zhǔn)則包括指定用于視頻概要的總持續(xù)時(shí)間的準(zhǔn)則和指定用于每個(gè)關(guān)鍵視頻片段的最小持續(xù)時(shí)間的準(zhǔn)則；d)匯集關(guān)鍵視頻片段以形成視頻概要；以及e)將視頻概要的表示存儲(chǔ)在處理器可存取存儲(chǔ)器中。本發(fā)明具有下述優(yōu)點(diǎn)本發(fā)明提供了一種用于形成由高重要性關(guān)鍵視頻片段的序列構(gòu)成的視頻概要的方法。本發(fā)明具有下述另一個(gè)優(yōu)點(diǎn)視頻概要是根據(jù)指定的總持續(xù)時(shí)間準(zhǔn)則和最小視頻片段持續(xù)時(shí)間準(zhǔn)則來提供的。
本發(fā)明具有下述又一個(gè)優(yōu)點(diǎn)音頻分析被用于選擇用于與低水平音頻活動(dòng)對(duì)應(yīng)的視頻片段的開始時(shí)間和結(jié)束時(shí)間。還提供另外的準(zhǔn)則來勸阻具有相似內(nèi)容的關(guān)鍵視頻片段的形成并且避免提供被分開小的時(shí)間間隔的關(guān)鍵視頻片段。


圖I是示出根據(jù)本發(fā)明的實(shí)施方式的用于形成視頻概要的系統(tǒng)的部件的高級(jí)圖；圖2是根據(jù)本發(fā)明的實(shí)施方式的用于確定用于數(shù)字視頻序列的關(guān)鍵視頻幀的方法的流程圖；圖3是根據(jù)本發(fā)明的實(shí)施方式的用于將視頻幀分類的方法的流程圖；圖4示出被劃分成一組相等的數(shù)字視頻間隔的數(shù)字視頻序列；圖5示出圖4所示的數(shù)字視頻序列的扭曲(warped)時(shí)間表示； 圖6示出將扭曲時(shí)間表示細(xì)分成相等時(shí)間間隔的細(xì)分；圖7示出圖6的時(shí)間間隔相對(duì)于圖4的原始數(shù)字視頻序列的對(duì)應(yīng)位置；圖8是根據(jù)本發(fā)明的實(shí)施方式的用于形成視頻概要的方法的流程圖；圖9是根據(jù)本發(fā)明的實(shí)施方式的用于確定最高排名關(guān)鍵視頻幀的方法的流程圖；圖10和圖11示出固定位置直方圖；圖12示出圖11中所給出的固定位置直方圖的數(shù)字表示；圖13不出對(duì)于確定最聞排名關(guān)鍵視頻巾貞有用的排名處理的例子；圖14示出根據(jù)一個(gè)實(shí)施方式的關(guān)鍵視頻片段的形成；以及圖15示出根據(jù)另一個(gè)實(shí)施方式的關(guān)鍵視頻片段的形成。
具體實(shí)施例方式在以下描述中，將從通常作為軟件程序來實(shí)施的方面對(duì)本發(fā)明的優(yōu)選實(shí)施方式進(jìn)行描述。本領(lǐng)域技術(shù)人員將容易認(rèn)識(shí)到這種軟件的等效替換還可以構(gòu)造在硬件中。因?yàn)閳D像處理算法和系統(tǒng)是公知的，所以本發(fā)明的描述將具體地涉及形成根據(jù)本發(fā)明的系統(tǒng)和方法的一部分的或與根據(jù)本發(fā)明的系統(tǒng)和方法更直接配合的算法和系統(tǒng)。用于產(chǎn)生并且以其他方式處理隨其具有的圖像信號(hào)的這樣的算法和系統(tǒng)以及硬件或軟件的在本文中沒有具體示出或描述的其他方面可以從本領(lǐng)域已知的這樣的系統(tǒng)、算法、部件和元件中選擇。給出如在以下材料中根據(jù)本發(fā)明所描述的系統(tǒng)，對(duì)于本發(fā)明的實(shí)施有用的在本文中未具體示出、建議或描述的軟件是常規(guī)的并且在這樣的技術(shù)領(lǐng)域技術(shù)人員的范圍內(nèi)。此外，如本文中所使用的這樣，用于執(zhí)行本發(fā)明的方法的計(jì)算機(jī)程序可以存儲(chǔ)在計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)可以包括例如磁存儲(chǔ)介質(zhì)如磁盤(比如硬驅(qū)動(dòng)器或軟盤)或磁帶；光學(xué)存儲(chǔ)介質(zhì)如光盤、光帶或機(jī)器可讀條形碼；固態(tài)電子存儲(chǔ)裝置如隨機(jī)存取存儲(chǔ)器(RAM)或只讀存儲(chǔ)器(ROM);或者用于存儲(chǔ)具有用于控制一臺(tái)或更多臺(tái)計(jì)算機(jī)來實(shí)施根據(jù)本發(fā)明的方法的指令的計(jì)算機(jī)程序的任何其他物理裝置或介質(zhì)。本發(fā)明包括本文中所描述的實(shí)施方式的組合。提及“具體的實(shí)施方式”等指的是存在于本發(fā)明的至少一個(gè)實(shí)施方式之中的特征。單獨(dú)地提及“實(shí)施方式”或“具體的實(shí)施方式”等未必指的是同樣的一個(gè)或多個(gè)實(shí)施方式；然而，這樣的實(shí)施方式不互相排斥，除非如此指示出或?qū)Ρ绢I(lǐng)域技術(shù)人員來說是顯然明顯的。在提及“方法”等中單數(shù)或復(fù)數(shù)的使用不受限制。應(yīng)該注意的是除非不另外明確地提出或上下文所需，“或”字以非排他的意思用在本公開內(nèi)容中。因?yàn)椴捎贸上裱b置及相關(guān)電路來進(jìn)行信號(hào)捕捉和處理以及顯示的數(shù)字相機(jī)是公知的，所以本描述將尤其涉及形成根據(jù)本發(fā)明的方法和設(shè)備的一部分的或與根據(jù)本發(fā)明的方法和設(shè)備更直接配合的元件。本文中未具體示出或描述的元件選擇自根據(jù)本領(lǐng)域已知的元件。實(shí)施方式的待描述的某些方面設(shè)置在軟件中。給出如在以下材料中根據(jù)本發(fā)明所示出和描述的系統(tǒng)，對(duì)于本發(fā)明的實(shí)施有用的在本文中未具體示出、描述或建議的軟件是常規(guī)的并且在這樣的技術(shù)領(lǐng)域技術(shù)人員的范圍內(nèi)。對(duì)數(shù)字相機(jī)的以下描述對(duì)本領(lǐng)域技術(shù)人員來說將是熟悉的。將明顯的是存在許多本實(shí)施方式的變化，所述本實(shí)施方式的變化是合理的并且被選擇以減少成本、增加特征或提聞相機(jī)的性能。圖I描繪了數(shù)字?jǐn)z影系統(tǒng)的框圖，所述數(shù)字?jǐn)z影系統(tǒng)包括能夠根據(jù)本發(fā)明捕捉視頻圖像的數(shù)字相機(jī)10。優(yōu)選地，數(shù)字相機(jī)10是便攜式電池操作的裝置，足夠小以使用戶在 捕捉和回顧圖像時(shí)容易地手持。數(shù)字相機(jī)10產(chǎn)生通過使用圖像存儲(chǔ)器30被存儲(chǔ)為數(shù)字圖像文件的數(shù)字圖像。本文中所使用的短語“數(shù)字圖像”或“數(shù)字圖像文件”指的是任何數(shù)字圖像文件，例如數(shù)字靜止圖像或數(shù)字視頻文件。在一些實(shí)施方式中，數(shù)字相機(jī)10捕捉運(yùn)動(dòng)視頻圖像和靜止圖像二者。在其他實(shí)施方式中，數(shù)字相機(jī)10是僅捕捉運(yùn)動(dòng)視頻圖像的數(shù)字視頻相機(jī)。數(shù)字相機(jī)10還可以包括其他功能，包括但不限于下述功能數(shù)字音樂播放器(例如MP3播放器)、移動(dòng)電話、GPS接收器或可編程數(shù)字助理(PDA)。數(shù)字相機(jī)10包括具有可調(diào)整光圈和可調(diào)整快門6的鏡頭4。在優(yōu)選實(shí)施方式中，鏡頭4是變焦鏡頭并且由變焦和聚焦電動(dòng)機(jī)驅(qū)動(dòng)器8控制。鏡頭4將來自場(chǎng)景(未示出)的光聚焦到圖像傳感器14例如單片彩色CCD或CMOS圖像傳感器上。鏡頭4是用于將場(chǎng)景的圖像形成在圖像傳感器14上的一種典型的光學(xué)系統(tǒng)。在其他實(shí)施方式中，光學(xué)系統(tǒng)可以使用具有可變的或固定的聚焦的固定焦距鏡頭。圖像傳感器14的輸出通過模擬信號(hào)處理器(ASP)和模擬數(shù)字(A/D)轉(zhuǎn)換器16轉(zhuǎn)換成數(shù)字形式并且暫時(shí)存儲(chǔ)在緩沖存儲(chǔ)器18中。存儲(chǔ)在緩沖存儲(chǔ)器18中的圖像數(shù)據(jù)隨后由處理器20通過使用存儲(chǔ)在固件存儲(chǔ)器28中的嵌入式軟件程序(例如固件)來處理。在一些實(shí)施方式中，通過使用只讀存儲(chǔ)器(ROM)將軟件程序永久地存儲(chǔ)在固件存儲(chǔ)器28中。在其他實(shí)施方式中，可以通過使用例如閃存EPROM存儲(chǔ)器來修改固件存儲(chǔ)器28。在這樣的實(shí)施方式中，外部裝置可以使用有線接口 38或無線調(diào)制解調(diào)器50來更新存儲(chǔ)在固件存儲(chǔ)器28中的軟件程序。在這樣的實(shí)施方式中，固件存儲(chǔ)器28還可以用于存儲(chǔ)圖像傳感器校準(zhǔn)數(shù)據(jù)、用戶設(shè)置選擇和在關(guān)閉相機(jī)時(shí)必須保存的其他數(shù)據(jù)。在一些實(shí)施方式中，處理器20包括程序存儲(chǔ)器(未示出)，并且在由處理器20運(yùn)行之前將存儲(chǔ)在固件存儲(chǔ)器28中的軟件程序復(fù)制到程序存儲(chǔ)器中。要理解的是可以通過使用單個(gè)可編程處理器或者通過使用多個(gè)可編程處理器來設(shè)置處理器20的功能，所述可編程處理器包括一個(gè)或多個(gè)數(shù)字信號(hào)處理器(DSP)裝置。可替選地，可以通過常規(guī)電路系統(tǒng)(例如通過為了在數(shù)字相機(jī)中使用而專門設(shè)計(jì)的一個(gè)或多個(gè)常規(guī)集成電路(IC))，或者通過一個(gè)或多個(gè)可編程處理器與常規(guī)電路的組合來提供處理器20。將要理解的是處理器20與圖I中所示的一些或所有各種部件之間的連接器可以使用普通數(shù)據(jù)總線來制成。例如，在一些實(shí)施方式中處理器20、緩沖存儲(chǔ)器18、圖像存儲(chǔ)器30與固件存儲(chǔ)器28之間的連接可以使用普通數(shù)據(jù)總線來制成。然后，使用圖像存儲(chǔ)器30來存儲(chǔ)經(jīng)處理的圖像。理解的是圖像存儲(chǔ)器30可以是本領(lǐng)域技術(shù)人員已知的任何形式的存儲(chǔ)器，包括但不限于可移動(dòng)閃存存儲(chǔ)器卡、內(nèi)部閃存存儲(chǔ)器芯片、磁存儲(chǔ)器或光學(xué)存儲(chǔ)器。在一些實(shí)施方式中，圖像存儲(chǔ)器30可以包括內(nèi)部閃存存儲(chǔ)器芯片和對(duì)可移動(dòng)閃存存儲(chǔ)器卡例如安全數(shù)字(SD)卡的標(biāo)準(zhǔn)接口二者?？商孢x地，可以使用不同的存儲(chǔ)器卡格式，例如微SD卡、緊湊式閃存(CF)卡、多介質(zhì)卡(MMC)、xD卡或記憶棒。圖像傳感器14由時(shí)序發(fā)生器12控制，所述時(shí)序發(fā)生器12產(chǎn)生各種時(shí)鐘控制信號(hào)以選擇行和像素并且使ASP和A/D轉(zhuǎn)換器16的工作同步。圖像傳感器14可以具有例如
12.4兆像素(4088 X 3040像素)以提供約4000 X 3000像素的靜止圖像文件。為了提供彩色圖像，圖像傳感器通常覆蓋有彩色濾光器陣列，這提供具有包括不同的有色像素的像素陣·列的圖像傳感器。不同的彩色像素可以以許多不同的圖案來布置。作為一個(gè)例子，不同的彩色像素可以使用Bayer的共同轉(zhuǎn)讓的美國專利3，971，065“Colorimaging array”中所描述的公知的Bayer彩色濾光器陣列來布置，該專利的公開內(nèi)容通過引用而合并在本文中。作為第二例子，可以布置Compton和Hamilton的2007年7月28日提交的共同轉(zhuǎn)讓的名稱為“Image sensorwith improved light sensitivity” 的美國專利申請(qǐng)公布 2005/191729 中所描述的不同的彩色像素，該專利的公開內(nèi)容通過引用而合并在本文中。這些例子不是限制性的，并且可以使用許多其他彩色圖案。將理解的是圖像傳感器14、時(shí)序發(fā)生器12以及ASP和A/D轉(zhuǎn)換器16可以是分立制造的集成電路，或者它們可以被制造成單個(gè)集成電路，就如同CMOS圖像傳感器通常所實(shí)現(xiàn)的那樣。在一些實(shí)施方式中，該單個(gè)集成電路可以執(zhí)行圖I中所示的其他功能中的一些功能，包括由處理器20所提供的一些功能。當(dāng)時(shí)序發(fā)生器12以第一模式致動(dòng)圖像傳感器14時(shí)，圖像傳感器14對(duì)提供較低分辨率傳感器圖像數(shù)據(jù)的運(yùn)動(dòng)序列有效，在捕捉視頻圖像時(shí)以及還在預(yù)覽待捕捉的靜止圖像時(shí)使用所述較低分辨率傳感器圖像數(shù)據(jù)的運(yùn)動(dòng)序列以構(gòu)成圖像。該預(yù)覽模式傳感器圖像數(shù)據(jù)可以被設(shè)置為例如具有1280X720像素的HD分辨率圖像數(shù)據(jù)或者例如具有640X480像素的VGA分辨率圖像數(shù)據(jù)，或者使用相比于圖像傳感器的分辨率具有顯著較少的列和行的數(shù)據(jù)的其他分辨率。可以通過組合具有相同顏色的相鄰像素的值、或通過除去一些像素值、或通過組合一些彩色像素值同時(shí)除去其他彩色像素值來提供預(yù)覽模式傳感器圖像數(shù)據(jù)?？梢匀绻餐D(zhuǎn)讓的 Parulski 等人的名稱為 “Electroniccamera for initiating capture of stillimages while previewing motionimages”的美國專利6，292，218中所描述的那樣處理預(yù)覽模式傳感器圖像數(shù)據(jù)，該專利通過弓I用而合并在本文中。當(dāng)時(shí)序發(fā)生器12以第二模式致動(dòng)圖像傳感器14時(shí)，圖像傳感器14又對(duì)提供高分辨率靜止圖像數(shù)據(jù)有效。該最后模式傳感器圖像數(shù)據(jù)被設(shè)置為針對(duì)具有高照度水平的場(chǎng)景包括圖像傳感器的所有像素的高分辨率輸出圖像數(shù)據(jù)，并且可以為例如具有4000X3000像素的12兆像素最后圖像數(shù)據(jù)。在較低照度水平下，可以在通過對(duì)圖像傳感器上的一些數(shù)目的偽彩色像素來提供最后圖像數(shù)據(jù)進(jìn)行“面元?jiǎng)澐?binning)”，以提高信號(hào)電平并且因而提高傳感器的“ISO速率”。通過由處理器20所供給的控制信號(hào)來控制變焦和聚焦電動(dòng)機(jī)驅(qū)動(dòng)器8，從而提供適當(dāng)?shù)慕咕嘣O(shè)置并且將場(chǎng)景聚焦到圖像傳感器14上。圖像傳感器14的曝光水平是通過控制可調(diào)整光圈和可調(diào)整快門6的光圈數(shù)(f/number)和曝光時(shí)間、通過經(jīng)由時(shí)序發(fā)生器12控制圖像傳感器14的曝光周期以及通過控制ASP和A/D轉(zhuǎn)換器16的增益(即ISO速率)設(shè)置來控制的。處理器20還控制可以照亮場(chǎng)景的閃光燈2。數(shù)字相機(jī)10的鏡頭4通過使用“穿過鏡頭(through-the-lens)”自動(dòng)聚焦來以第一模式聚焦，如共同轉(zhuǎn)讓的Parulski等人的名稱為“ElectronicCamera with RapidAutomatic Focus of an Image upon a ProgressiveScan Image Sensor，，的美國專利5，668，597中所描述的那樣，該專利通過引用而合并在本文中。這通過使用變焦和聚焦電動(dòng) 機(jī)驅(qū)動(dòng)器8將鏡頭4的焦點(diǎn)位置調(diào)整到范圍在近焦點(diǎn)位置與無窮大焦點(diǎn)位置之間的一定數(shù)目的位置來實(shí)現(xiàn)，、同時(shí)處理器20確定對(duì)通過圖像傳感器14捕捉到的圖像的中心部分提供了峰銳度值的最靠近的焦點(diǎn)位置。然后，對(duì)應(yīng)于最靠近的焦點(diǎn)位置的焦點(diǎn)距離可以用于幾個(gè)目的例如自動(dòng)設(shè)置適當(dāng)?shù)膱?chǎng)景模式并且可以同其他鏡頭和相機(jī)設(shè)置一起被存儲(chǔ)在圖像文件中作為元數(shù)據(jù)。處理器20產(chǎn)生菜單以及暫時(shí)存儲(chǔ)在顯示存儲(chǔ)器36中并且顯示在圖像顯示器32上的低分辨率彩色圖像。圖像顯示器32通常是有源矩陣彩色液晶顯示器(IXD)，盡管可以使用其他類型的顯示器例如有機(jī)發(fā)光二極管(OLED)顯示器。視頻接口 44將視頻輸出信號(hào)從數(shù)字相機(jī)10提供至視頻顯示器46例如平板HDTV顯示器。在預(yù)覽模式下或者視頻模式下，來自緩沖存儲(chǔ)器18的數(shù)字圖像數(shù)據(jù)由處理器20處理以形成通常作為彩色圖像而顯示在圖像顯示器32上的一系列運(yùn)動(dòng)預(yù)覽圖像。在預(yù)覽模式下，使用來自存儲(chǔ)在圖像存儲(chǔ)器30中的數(shù)字圖像文件的圖像數(shù)據(jù)來產(chǎn)生被顯示圖像顯示器32上的圖像。圖像顯示器32上所顯示的圖形用戶界面是響應(yīng)于由用戶控件34提供的用戶輸入而被控制的。用戶控件34用于選擇各種相機(jī)模式例如視頻捕捉模式、靜止捕捉模式和預(yù)覽模式，并且用于啟動(dòng)對(duì)靜止圖像的捕捉和以及對(duì)動(dòng)態(tài)圖像的記錄。在一些實(shí)施方式中，當(dāng)用戶局部地壓下作為用戶控件34中之一的快門按鈕時(shí)啟動(dòng)上述第一模式(即靜止預(yù)覽模式)，并且當(dāng)用戶完全壓下快門按鈕時(shí)啟動(dòng)第二模式(即靜止圖像捕捉模式)。用戶控件34還用于開啟相機(jī)、控制鏡頭4以及啟動(dòng)照片攝取處理。用戶控件34通常包括按鈕、搖桿開關(guān)、操縱桿或旋轉(zhuǎn)式撥盤的某種組合。在一些實(shí)施方式中，通過使用覆蓋在圖像顯示器32上的觸摸屏來提供用戶控件34中的一些用戶控件34。在其他實(shí)施方式中，可以使用附加狀態(tài)顯示器或圖像顯示器。可以使用用戶控件34選擇的相機(jī)模式包括“定時(shí)器”模式。在“定時(shí)器”模式被選擇的情況下，在用戶完全按下快門按鈕之后在處理器20啟動(dòng)對(duì)靜止圖像的捕捉之前出現(xiàn)短的延遲(例如10秒)。連接到處理器20的音頻編解碼器22接收來自麥克風(fēng)24的音頻信號(hào)并且將音頻信號(hào)提供至揚(yáng)聲器26。這些部件可以將音頻軌道連同視頻序列或靜止圖像一起記錄并且重放。如果數(shù)字相機(jī)10為多功能裝置例如組合相機(jī)和移動(dòng)電話，那么麥克風(fēng)24和揚(yáng)聲器26可以用于電話會(huì)話。
在一些實(shí)施方式中，揚(yáng)聲器26可以用作用戶界面的一部分例如以提供多種可聽見的信號(hào)，所述可聽見的信號(hào)指示用戶控制已經(jīng)被按下或者已經(jīng)選擇了具體的模式。在一些實(shí)施方式中，麥克風(fēng)24、音頻編解碼器22和處理器20可以用于提供聲音識(shí)別，以使得用戶可以通過使用聲音命令而不是用戶控件34將用戶輸入提供至處理器20。揚(yáng)聲器26還可以用于向用戶通知來電呼叫。這可以通過使用存儲(chǔ)在固件存儲(chǔ)器28中的標(biāo)準(zhǔn)鈴聲或通過使用從無線網(wǎng)絡(luò)58所下載并且存儲(chǔ)在圖像存儲(chǔ)器30中的常規(guī)鈴聲來實(shí)現(xiàn)。另外，振動(dòng)裝置(未示出)可以用于提對(duì)來電呼叫的無聲的(例如聽不見的)通知。在一些實(shí)施方式中，數(shù)字相機(jī)10還包含提供與相機(jī)的運(yùn)動(dòng)有關(guān)的數(shù)據(jù)的加速度計(jì)27。優(yōu)選地，加速度計(jì)27檢測(cè)三個(gè)正交方向中的每個(gè)正交方向的線性加速度和轉(zhuǎn)動(dòng)加速度二者(針對(duì)輸入的總共6個(gè)維度)。處理器20還提供對(duì)來自圖像傳感器14的圖像數(shù)據(jù)的附加處理，以在圖像存儲(chǔ)器30中產(chǎn)生著色的sRGB圖像數(shù)據(jù)，所述著色的sRGB圖像數(shù)據(jù)被壓縮并且存儲(chǔ)在“完成的”圖像文件例如公知的Exif-JPEG圖像文件內(nèi)。
數(shù)字相機(jī)10可以經(jīng)由有線接口 38連接至接口 /再充電器48，所述接口 /再充電器48連接至可以為設(shè)置在家或辦公室的桌上型計(jì)算機(jī)或便攜式計(jì)算機(jī)的計(jì)算機(jī)40。有線接口 38能夠符合例如公知的USB 2. O接口規(guī)范。接口 /再充電器48可以經(jīng)由有線接口 38將功率提供至數(shù)字相機(jī)10中的一組可再充電的電池(未示出)。數(shù)字相機(jī)10可以包括無線調(diào)制解調(diào)器50，所述無線調(diào)制解調(diào)器50在無線電頻帶52上與無線網(wǎng)絡(luò)58接口。無線調(diào)制解調(diào)器50可以使用各種無線接口協(xié)議例如公知的藍(lán)牙無線接口或公知的802. 11無線接口。計(jì)算機(jī)40可以經(jīng)由因特網(wǎng)70將圖像上載至相片服務(wù)提供商72例如KodakEasyShare Gallery (柯達(dá)易分享畫廊)。其他裝置(未不出)可以存取由相片服務(wù)提供商72存儲(chǔ)的圖像。在可替選實(shí)施方式中，無線調(diào)制解調(diào)器50在無線電頻率(例如無線)鏈路之上與移動(dòng)電話網(wǎng)絡(luò)(未示出)例如3GSM網(wǎng)絡(luò)通信，所述移動(dòng)電話網(wǎng)絡(luò)與因特網(wǎng)70連接以上載來自數(shù)字相機(jī)10的數(shù)字圖像文件?？梢詫⑦@些數(shù)字圖像文件提供至計(jì)算機(jī)40或相片服務(wù)提供商72?，F(xiàn)在將參考圖2對(duì)本發(fā)明進(jìn)行描述，圖2詳述了使用處理器20來確定用于具有視頻幀時(shí)間序列的數(shù)字視頻序列200的關(guān)鍵視頻幀的方法。初始時(shí),使用分析數(shù)字視頻步驟210分析數(shù)字視頻序列200以確定作為時(shí)間的函數(shù)的重要性值215。形成扭曲時(shí)間表示步驟220通過響應(yīng)于作為時(shí)間的函數(shù)的重要性值215在時(shí)間上重新定位視頻幀來形成用于數(shù)字視頻序列200的扭曲時(shí)間表示225。細(xì)分扭曲時(shí)間表示步驟230將扭曲時(shí)間表示225細(xì)分成一組相等的時(shí)間間隔235。選擇關(guān)鍵視頻幀步驟240通過分析每個(gè)時(shí)間間隔235內(nèi)的視頻幀來選擇用于每個(gè)時(shí)間間隔的關(guān)鍵視頻幀245。存儲(chǔ)關(guān)鍵視頻幀的指示步驟250將用于數(shù)字視頻序列200的關(guān)鍵視頻幀245的指示存儲(chǔ)在處理器可存取存儲(chǔ)器中?，F(xiàn)在將對(duì)圖2中的步驟進(jìn)行更詳細(xì)的描述。分析數(shù)字視頻步驟210確定作為時(shí)間的函數(shù)的重要性值215。重要性值215是將數(shù)字視頻序列200的幀的重要性作為時(shí)間的函數(shù)來表示的量。優(yōu)選地，重要性值215是為數(shù)字視頻序列200的每個(gè)幀定義的數(shù)值。例如，被確定為具有高重要性的視頻幀比如包含臉的視頻幀可以被分配相對(duì)較高的重要性值215。被確定為具有低重要性的視頻幀比如包含快速搖攝運(yùn)動(dòng)的視頻幀可以被分配相對(duì)較低的重要性值215。本領(lǐng)域技術(shù)人員將認(rèn)識(shí)到存在可關(guān)于 數(shù)字視頻序列200中的視頻幀而計(jì)算的許多特征，可用于確定作為時(shí)間的函數(shù)的重要性值215。在本發(fā)明的優(yōu)選實(shí)施方式中，分析數(shù)字視頻步驟210包括全局運(yùn)動(dòng)分析和局部運(yùn)動(dòng)分析。全局運(yùn)動(dòng)分析確定通常對(duì)應(yīng)于捕捉裝置的運(yùn)動(dòng)的全局運(yùn)動(dòng)信息，而局部運(yùn)動(dòng)分析確定對(duì)應(yīng)于目標(biāo)在場(chǎng)景內(nèi)的移動(dòng)的局部運(yùn)動(dòng)信
肩、O在一些實(shí)施方式中，使用提供作為時(shí)間的函數(shù)的平移偏移信息(水平平移和豎直平移)的雙參數(shù)的全局運(yùn)動(dòng)模型進(jìn)行全局運(yùn)動(dòng)分析。在其他實(shí)施方式中，可以使用更復(fù)雜的全局運(yùn)動(dòng)模型以提供附加信息例如三個(gè)正交軸上的轉(zhuǎn)動(dòng)信息和標(biāo)度(變焦)信息。使用提供致密局部運(yùn)動(dòng)信息的局部運(yùn)動(dòng)模型進(jìn)行局部運(yùn)動(dòng)分析。在一些實(shí)施方式中，局部運(yùn)動(dòng)模型提供作為時(shí)間的函數(shù)的每個(gè)像素的平移運(yùn)動(dòng)值。局部運(yùn)動(dòng)模型還提供粗略運(yùn)動(dòng)估值，例如提供每個(gè)8X8或16X16像素塊的平移運(yùn)動(dòng)值。在優(yōu)選實(shí)施方式中，局部運(yùn)動(dòng)信息提供對(duì)發(fā)生在視頻幀的中心區(qū)域中的運(yùn)動(dòng)的程度的指示。這可以例如通過對(duì)視頻幀的被標(biāo)識(shí)為運(yùn)動(dòng)區(qū)域的一部分的中心區(qū)域中的像素的數(shù)目進(jìn)行技術(shù)來計(jì)算。在一些實(shí)施方式中，在數(shù)字視頻序列200被捕捉、壓縮并且存儲(chǔ)在處理器可存取存儲(chǔ)器中之后進(jìn)行全局運(yùn)動(dòng)信息和局部運(yùn)動(dòng)信息的計(jì)算。這需要在可以分析被壓縮的數(shù)字視頻序列之前將壓縮的數(shù)字圖像序列解壓縮。在其他實(shí)施方式中，先于對(duì)數(shù)字視頻序列200進(jìn)行壓縮在數(shù)字視頻捕捉處理期間確定全局運(yùn)動(dòng)信息和局部運(yùn)動(dòng)信息。這緩和為了進(jìn)行全局運(yùn)動(dòng)分析和局部運(yùn)動(dòng)分析而解壓縮數(shù)字視頻序列的需要。在此情況下，所計(jì)算的全局和局部運(yùn)動(dòng)信息可以存儲(chǔ)為與數(shù)字視頻序列200關(guān)聯(lián)的元數(shù)據(jù)。元數(shù)據(jù)可以存儲(chǔ)在數(shù)字視頻文件中，或存儲(chǔ)為與所存儲(chǔ)的數(shù)字視頻序列關(guān)聯(lián)的單獨(dú)的文件。在共同轉(zhuǎn)讓的共同未決的名稱為“Video summary method andsystem”的美國專利申請(qǐng)12/786，483中描述了該方法。在優(yōu)選實(shí)施方式中，分析數(shù)字視頻步驟210包括對(duì)多個(gè)視頻幀進(jìn)行分類的步驟。圖3描述關(guān)于本發(fā)明的優(yōu)選實(shí)施方式的分類處理。由全局運(yùn)動(dòng)分析和局部運(yùn)動(dòng)分析所確定的全局運(yùn)動(dòng)信息310和局部運(yùn)動(dòng)信息320分別輸入到確定多個(gè)視頻幀的視頻幀分類340的分類器330。在優(yōu)選實(shí)施方式中，為視頻幀分配的視頻幀分類340包括變焦、快速搖攝、感興趣和不活躍。無論相機(jī)在捕捉視頻幀時(shí)進(jìn)行放大還是縮小，分類器330將該幀分類為變焦視頻幀。可以通過使用包括標(biāo)度縮放參數(shù)的全局運(yùn)動(dòng)模型以檢測(cè)變焦的數(shù)字圖像分析來檢測(cè)變焦處理。還可以在捕捉時(shí)間通過識(shí)別被發(fā)送至變焦電動(dòng)機(jī)驅(qū)動(dòng)器8以調(diào)整變焦鏡頭4的信號(hào)來檢測(cè)變焦處理。只要在視頻幀期間發(fā)生的平移運(yùn)動(dòng)的幅度超過閾值，分類器330就將該視頻幀分類為快速搖攝視頻幀。對(duì)應(yīng)于快速搖攝運(yùn)動(dòng)的各個(gè)視頻幀通常非常模糊并且因此不是表示數(shù)字視頻序列的關(guān)鍵視頻幀的好的候選。只要全局平移運(yùn)動(dòng)的幅度和變焦運(yùn)動(dòng)的幅度以及局部運(yùn)動(dòng)的幅度低于指定的閾值，分類器330就將視頻幀分類為不活躍視頻幀。這種視頻幀指示出相對(duì)靜止的捕捉裝置和具有相對(duì)小的目標(biāo)運(yùn)動(dòng)的場(chǎng)景。單個(gè)關(guān)鍵視頻幀常常足以表示數(shù)字視頻序列的不活躍片段。缺乏附加類別時(shí)，可以將所有剩余視頻幀分類為感興趣的視頻幀。感興趣的視頻中貞表不最可能包含表不數(shù)字視頻序列的關(guān)鍵視頻巾貞的好的候選的數(shù)字視頻序列的片段。在本發(fā)明的優(yōu)選實(shí)施方式中，為每個(gè)視頻幀分配重要性值215 (圖2)?？梢愿鶕?jù)視頻幀分類340、通過將不同的視頻幀分類340中的每個(gè)不同視頻幀分類與適當(dāng)?shù)闹匾灾店P(guān)聯(lián)來確定重要性值215。下面的表格示出用于上述視頻幀分類340中的每個(gè)視頻幀分類的示例重要性值215 :表I :視頻幀分類重要性值
視頻幀分類j重要性值^
Ε O· 快速搖攝~02 不活躍 0.6 感興趣 TTo形成扭曲時(shí)間表示步驟220 (圖2)通過響應(yīng)于作為時(shí)間的函數(shù)的重要性值215在時(shí)間上重新定位視頻幀來形成用于數(shù)字視頻序列的扭曲時(shí)間表示225。圖4和圖5示出根據(jù)本發(fā)明的一個(gè)實(shí)施方式的這種扭曲處理。圖4示出數(shù)字視頻序列400，所述數(shù)字視頻序列400開始于時(shí)間單位O并且結(jié)束于時(shí)間單位100，被劃分成每個(gè)都是5個(gè)時(shí)間單位長的相等數(shù)字視頻間隔410。每個(gè)時(shí)間單位的絕對(duì)值對(duì)以下討論是不重要的，但是作為一個(gè)例子，每個(gè)時(shí)間單位可以表示10毫秒并且每5個(gè)時(shí)間單位長的數(shù)字視頻序列段可以表示一個(gè)視頻幀。在此情況下，每個(gè)視頻幀為50毫秒，以使得以每秒20個(gè)視頻幀來捕捉數(shù)字視頻序列。在其他實(shí)施方式中，數(shù)字視頻間隔410可以包括多個(gè)視頻幀而不是單個(gè)視頻幀。圖5表示該數(shù)字視頻序列200的扭曲時(shí)間表示225，其中，響應(yīng)于基于數(shù)字視頻幀的對(duì)應(yīng)視頻幀類別與數(shù)字視頻幀相關(guān)聯(lián)的重要性值215而在時(shí)間上重新定位每個(gè)數(shù)字視頻幀。將數(shù)字視頻序列的每一段作為單個(gè)視頻幀并且使用表I中定義的重要性值，圖5示出由用于數(shù)字視頻序列400的扭曲數(shù)字視頻間隔510所構(gòu)成的扭曲時(shí)間表示500。在該例子中，視頻幀I被分類為“感興趣”，視頻幀2-8被分類為“快速搖攝”，視頻幀9-12被分類為“感興趣”，視頻幀13-16被分類為“不活躍”，而視頻幀17-20被分類為“感興趣”。對(duì)于具有5. O個(gè)時(shí)間單位的時(shí)間范圍并且具有為“變焦”的視頻幀類別和對(duì)應(yīng)的為O. 3的重要性值的數(shù)字視頻間隔410 (視頻幀)，將5. 0X0. 3=1. 5個(gè)時(shí)間單位的時(shí)間范圍分配給扭曲數(shù)字視頻間隔510。類似地，對(duì)于具有5. O個(gè)時(shí)間單位的時(shí)間范圍并且具有為“快速搖攝”的視頻幀類別和對(duì)應(yīng)的為O. 2的重要性值的數(shù)字視頻間隔410，為將5.0X0. 2=1. O個(gè)時(shí)間單位的時(shí)間范圍分配給扭曲數(shù)字視頻間隔510 ;對(duì)于具有5. O個(gè)時(shí)間單位的時(shí)間范圍并且具有為“不活躍”的視頻幀類別和對(duì)應(yīng)的為O. 6的重要性值的數(shù)字視頻間隔410，將5. 0X0. 6=3. O個(gè)時(shí)間單位的時(shí)間范圍分配給扭曲數(shù)字視頻間隔510 ;以及對(duì)于具有5. O個(gè)時(shí)間單位的時(shí)間范圍并且具有為“感興趣”的視頻幀類別和對(duì)應(yīng)的為I. O的重要性值的數(shù)字視頻間隔410，將5. OX I. 0=5. O個(gè)時(shí)間單位的時(shí)間范圍分配給扭曲數(shù)字視頻間隔510。
在優(yōu)選實(shí)施方式中，通過分配較短的時(shí)間范圍給數(shù)字視頻的各個(gè)部分中具有較低重要性值215的數(shù)字視頻間隔410并且分配較長的時(shí)間范圍給數(shù)字視頻的各個(gè)部分中具有較高重要性值215的視頻幀來形成扭曲時(shí)間表示500。細(xì)分扭曲時(shí)間表示步驟230 (圖2)將扭曲時(shí)間表示225細(xì)分成一組相等的時(shí)間間隔235。圖6針對(duì)下述情況示出該步驟其中扭曲時(shí)間表示500被細(xì)分成一組5個(gè)相等的時(shí)間間隔520。注意在扭曲時(shí)間表示中，包含在每個(gè)相等時(shí)間間隔520中的數(shù)字視頻幀(即扭曲數(shù)字視頻間隔510)的絕對(duì)數(shù)目將通常不是常數(shù)。圖7示出對(duì)應(yīng)時(shí)間間隔420相對(duì)于數(shù)字視頻序列400的原始表示的位置。在該例子中，可以看出第一時(shí)間間隔420包含了比包含在數(shù)字視頻序列400中的數(shù)字視頻幀的總數(shù)目的40%更多的數(shù)目，而第二時(shí)間間隔420包含了比包含在數(shù)字視頻序列400中的數(shù)字視頻幀的總數(shù)目的15%更少的數(shù)目。使用扭曲時(shí)間表示225 (圖2)具有下述優(yōu)點(diǎn)其允許從每個(gè)時(shí)間間隔內(nèi)以下述方式選擇一個(gè)關(guān)鍵視頻幀，所述方式使得關(guān)鍵視頻幀具有遍及整個(gè)數(shù)字視頻序列的寬度、同 時(shí)偏向于偏好高重要性值的區(qū)域?？梢曰诶鐢?shù)字視頻序列的扭曲時(shí)間表示的總時(shí)間范圍自動(dòng)地確定時(shí)間間隔235 (圖2)的數(shù)目?？商孢x地，時(shí)間間隔的數(shù)目可以是用戶指定的。選擇關(guān)鍵視頻幀步驟240 (圖2)通過分析每個(gè)時(shí)間間隔235內(nèi)的視頻幀來選擇用于每個(gè)時(shí)間間隔235的關(guān)鍵視頻幀245。在本發(fā)明的優(yōu)選實(shí)施方式中，該分析包括將選擇得分分配給每個(gè)時(shí)間間隔235內(nèi)的多個(gè)視頻幀，其中，選擇得分是全局運(yùn)動(dòng)和局部運(yùn)動(dòng)的函數(shù)?？梢詫⒃跁r(shí)間間隔235內(nèi)具有最高選擇得分的視頻幀選擇作為用于該時(shí)間間隔235的關(guān)鍵視頻幀245。用于壓縮數(shù)字視頻序列的大部分方法涉及將一些視頻幀編碼為經(jīng)獨(dú)立編碼的視頻幀而將其他視頻幀編碼為經(jīng)預(yù)測(cè)性編碼的視頻幀。在本發(fā)明的一些實(shí)施方式中，僅將經(jīng)獨(dú)立編碼的視頻幀認(rèn)為是每個(gè)時(shí)間間隔235內(nèi)的關(guān)鍵視頻幀的候選，并且僅針對(duì)經(jīng)獨(dú)立編碼的視頻幀計(jì)算選擇得分。經(jīng)獨(dú)立編碼的視頻幀指的是不對(duì)其他視頻幀進(jìn)行任何參考而被編碼的視頻幀。這種視頻幀可以被解碼而不需要來自其他視頻幀的任何信息。與之相對(duì)，經(jīng)預(yù)測(cè)性編碼的視頻幀基于根據(jù)一個(gè)或多個(gè)相鄰視頻幀的預(yù)測(cè)而被編碼。因此，經(jīng)預(yù)測(cè)性編碼的視頻幀不能被獨(dú)立地解碼，因?yàn)檫@需要知道一個(gè)或多個(gè)其他視頻幀。在許多視頻編碼方案下，經(jīng)獨(dú)立編碼的視頻幀以高質(zhì)量被編碼，具體地因?yàn)榻?jīng)獨(dú)立編碼的視頻幀被用作對(duì)后續(xù)視頻幀的預(yù)測(cè)，并且高質(zhì)量預(yù)測(cè)產(chǎn)生對(duì)后續(xù)視頻幀的高效編碼。因而，經(jīng)獨(dú)立編碼的視頻幀是關(guān)鍵視頻幀245的優(yōu)選的候選，既因?yàn)榻?jīng)獨(dú)立編碼的視頻幀通常具有高圖像質(zhì)量并且還因?yàn)榻?jīng)獨(dú)立編碼的視頻幀可以從經(jīng)壓縮的數(shù)字視頻序列中被快速解碼而不需要對(duì)任何附加視頻幀進(jìn)行解碼。關(guān)于視頻幀的選擇得分可以是多個(gè)不同輸入的函數(shù)，所述輸入包括全局平移運(yùn)動(dòng)、變焦、局部運(yùn)動(dòng)和與在前的關(guān)鍵視頻幀的近似性。在優(yōu)選實(shí)施方式中，具有對(duì)應(yīng)高的全局平移運(yùn)動(dòng)幅度的視頻幀被分配以相對(duì)低的選擇得分，因?yàn)楦呒?jí)的全局運(yùn)動(dòng)通常在視頻幀中產(chǎn)生運(yùn)動(dòng)模糊。同樣地，接著變焦序列的結(jié)束的視頻幀基于以下假設(shè)被分配以相對(duì)高的選擇得分，所述假設(shè)為用戶有意地進(jìn)行變焦以將注意力聚焦于感興趣的特別的區(qū)域。因此，在變焦結(jié)束(許可給捕捉裝置一些時(shí)間以重距焦)之后不久的視頻幀很可能具有高重要性并且是被認(rèn)為是關(guān)鍵視頻幀245的好的候選。具有非常低水平的目標(biāo)運(yùn)動(dòng)的視頻幀基于以下假設(shè)被分配以相對(duì)低的選擇得分，所述假設(shè)為感興趣的視頻幀很可能包括一些目標(biāo)活動(dòng)。與其他關(guān)鍵視頻幀245在時(shí)間上具有極大的近似性的視頻幀基于以下假設(shè)被分配以較低的選擇得分，所述假設(shè)為捕捉到的視頻具有高的時(shí)間相關(guān)性，并且因此在時(shí)間上具有極大的近似性的視頻幀更可能包括冗余信息。在其中對(duì)于每個(gè)時(shí)間間隔連續(xù)地選擇關(guān)鍵視頻幀的實(shí)施方式中，可以相對(duì)于在前的關(guān)鍵視頻幀度量時(shí)間近似性。關(guān)于其中以同時(shí)考慮所有關(guān)鍵視頻幀的選擇的共同最優(yōu)化的方式選擇關(guān)鍵視頻幀的實(shí)施方式，可以相對(duì)于在前的關(guān)鍵視頻幀和后續(xù)的關(guān)鍵視頻幀二者度量時(shí)間近似性。在一些實(shí)施方式中，關(guān)于視頻幀的選擇得分包括多個(gè)部分并且由以下公式給出S (n) =GM (n) +LM (η) +Z (η) +P (η) (I)其中，S(η)為選擇得分，GM(η)為全局運(yùn)動(dòng)項(xiàng)，LM(η)為局部運(yùn)動(dòng)項(xiàng)，Z(η)為變焦
項(xiàng)，Ρ(η)為近似性項(xiàng)而η為視頻幀。在該公式中，關(guān)于選擇得分的各個(gè)項(xiàng)取可以決于視頻幀的特點(diǎn)各自從值O至值I改變。可以使用本領(lǐng)域中已知的任何方法計(jì)算全局運(yùn)動(dòng)項(xiàng)(GM)。在一些實(shí)施方式中，對(duì)于超過閾值TeM的所有視頻幀全局運(yùn)動(dòng)幅度值，全局運(yùn)動(dòng)項(xiàng)的值為O ;對(duì)于為O的視頻幀全局運(yùn)動(dòng)幅度值，全局運(yùn)動(dòng)項(xiàng)的值為I ;并且對(duì)于在O與Tta之間的視頻幀全局運(yùn)動(dòng)幅度值，全局運(yùn)動(dòng)項(xiàng)的值為從I到O線性地遞減的值
權(quán)利要求
1.一種用于形成用于具有視頻幀時(shí)間序列的數(shù)字視頻的視頻概要的方法，所述方法包括使用處理器來執(zhí)行以下步驟 a)確定用于所述數(shù)字視頻的一組關(guān)鍵視頻幀； b)響應(yīng)于預(yù)定準(zhǔn)則對(duì)所述關(guān)鍵視頻幀進(jìn)行排名； c)根據(jù)預(yù)定的一組準(zhǔn)則形成對(duì)應(yīng)于一個(gè)或多個(gè)最高排名關(guān)鍵視頻幀的關(guān)鍵視頻片段，所述預(yù)定的一組準(zhǔn)則包括指定用于所述視頻概要的總持續(xù)時(shí)間的準(zhǔn)則和指定用于每個(gè)所述關(guān)鍵視頻片段的最小持續(xù)時(shí)間的準(zhǔn)則； d)匯集所述關(guān)鍵視頻片段以形成視頻概要；以及 e)將所述視頻概要的表示存儲(chǔ)在處理器可存取存儲(chǔ)器中。
2.根據(jù)權(quán)利要求I所述的方法，其中，將每個(gè)最高排名關(guān)鍵視頻幀包括在關(guān)鍵視頻片段中。
3.根據(jù)權(quán)利要求I所述的方法，其中，分析所述數(shù)字視頻以確定作為時(shí)間的函數(shù)的重要性值，并且其中，響應(yīng)于鼓勵(lì)包括具有高重要性值的視頻幀的準(zhǔn)則來確定用于關(guān)鍵視頻片段的開始時(shí)間和結(jié)束時(shí)間。
4.根據(jù)權(quán)利要求I所述的方法，其中，分析所述數(shù)字視頻以確定作為時(shí)間的函數(shù)的音頻活動(dòng)的水平，并且其中，響應(yīng)于鼓勵(lì)選擇對(duì)應(yīng)于低水平音頻活動(dòng)的開始時(shí)間和結(jié)束時(shí)間的準(zhǔn)則來確定用于關(guān)鍵視頻片段的開始時(shí)間和結(jié)束時(shí)間。
5.根據(jù)權(quán)利要求I所述的方法，其中，根據(jù)勸阻形成具有相似內(nèi)容的關(guān)鍵視頻片段的準(zhǔn)則來形成所述關(guān)鍵視頻片段。
6.根據(jù)權(quán)利要求I所述的方法，其中，用于所述視頻概要的所述總持續(xù)時(shí)間是用戶指定的。
7.根據(jù)權(quán)利要求I所述的方法，其中，將被分開小于指定閾值的時(shí)間間隔的最高排名關(guān)鍵視頻幀所對(duì)應(yīng)的所述關(guān)鍵視頻片段合并以形成單個(gè)關(guān)鍵視頻片段。
8.根據(jù)權(quán)利要求I所述的方法，其中，根據(jù)偏好在視頻幀的編碼組的開始處開始關(guān)鍵視頻片段并且在視頻幀的編碼組的結(jié)束處結(jié)束關(guān)鍵視頻片段的準(zhǔn)則來形成所述關(guān)鍵視頻片段。
9.根據(jù)權(quán)利要求I所述的方法，其中，所述確定用于所述數(shù)字視頻的一組關(guān)鍵視頻幀的步驟進(jìn)一步包括 i)分析所述數(shù)字視頻以確定作為時(shí)間的函數(shù)的重要性值； ii)通過響應(yīng)于作為時(shí)間的函數(shù)的所述重要性值在時(shí)間上重新定位所述視頻幀來形成扭曲時(shí)間表不； iii)將所述扭曲時(shí)間表示細(xì)分成一組相等的間隔；以及 iv)通過分析每個(gè)間隔內(nèi)的所述視頻幀來選擇用于每個(gè)間隔的關(guān)鍵視頻幀。
10.根據(jù)權(quán)利要求I所述的方法，其中，所述響應(yīng)于預(yù)定準(zhǔn)則對(duì)所述關(guān)鍵視頻幀進(jìn)行排名的步驟進(jìn)一步包括 i)分析所述數(shù)字視頻以確定相機(jī)固定圖案； )響應(yīng)于所述相機(jī)固定圖案對(duì)所述關(guān)鍵幀進(jìn)行排名。
11.一種數(shù)字視頻相機(jī)系統(tǒng)，包括 圖像傳感器；用于將場(chǎng)景的圖像形成在所述圖像傳感器上的光學(xué)系統(tǒng)； 數(shù)據(jù)處理系統(tǒng)；以及 存儲(chǔ)器系統(tǒng)，所述存儲(chǔ)器系統(tǒng)在通信上連接到所述數(shù)據(jù)處理系統(tǒng)并且存儲(chǔ)被配置成使得所述數(shù)據(jù)處理系統(tǒng)實(shí)施用于形成用于數(shù)字視頻的視頻概要的方法的指令，其中，所述指令包括 使用所述圖像傳感器捕捉數(shù)字視頻，所述數(shù)字視頻具有視頻幀時(shí)間序列； 確定用于所述數(shù)字視頻的一組關(guān)鍵視頻巾貞; 響應(yīng)于預(yù)定準(zhǔn)則對(duì)所述關(guān)鍵視頻幀進(jìn)行排名； 根據(jù)預(yù)定的一組準(zhǔn)則形成對(duì)應(yīng)于一個(gè)或多個(gè)最高排名關(guān)鍵視頻幀的關(guān)鍵視頻片段，所述預(yù)定的一組準(zhǔn)則包括指定用于所述視頻概要的總持續(xù)時(shí)間的準(zhǔn)則和指定用于每個(gè)所述關(guān)鍵視頻片段的最小持續(xù)時(shí)間的準(zhǔn)則； 匯集所述關(guān)鍵視頻片段以形成視頻概要；以及 將所述視頻概要的表示存儲(chǔ)在處理器可存取存儲(chǔ)器中。
全文摘要
一種用于形成用于具有視頻幀時(shí)間序列的數(shù)字視頻的視頻概要的方法，該方法包括使用處理器來執(zhí)行以下步驟確定用于數(shù)字視頻的一組關(guān)鍵視頻幀；響應(yīng)于預(yù)定準(zhǔn)則對(duì)關(guān)鍵視頻幀進(jìn)行排名；根據(jù)預(yù)定的一組準(zhǔn)則形成對(duì)應(yīng)于一個(gè)或多個(gè)最高排名關(guān)鍵視頻幀的關(guān)鍵視頻片段，所述預(yù)定的一組準(zhǔn)則包括指定用于視頻概要的總持續(xù)時(shí)間的準(zhǔn)則和指定用于每個(gè)關(guān)鍵視頻片段的最小持續(xù)時(shí)間的準(zhǔn)則；匯集關(guān)鍵視頻片段以形成視頻概要；以及將視頻概要的表示存儲(chǔ)在處理器可存取存儲(chǔ)器中。
文檔編號(hào)G06T7/20GK102906745SQ201180025483
公開日2013年1月30日 申請(qǐng)日期2011年5月10日 優(yōu)先權(quán)日2010年5月25日
發(fā)明者阿倫·托馬斯·迪弗 申請(qǐng)人:伊斯曼柯達(dá)公司