專利名稱：用于生成要被顯示而同時(shí)伴隨有音頻的多個(gè)圖像的序列的方法和設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于生成多個(gè)圖像的序列的方法和設(shè)備。具體地，本發(fā)明涉及用于生成要被顯示而同時(shí)伴隨有音頻項(xiàng)目的多個(gè)圖像的序列的方法和設(shè)備。
背景技術(shù)：
存儲(chǔ)設(shè)備的價(jià)格最近幾年來大幅度地下降。其結(jié)果是，用戶擁有數(shù)以千計(jì)的圖像 (照片)的收集，瀏覽和觀看它們是很單調(diào)乏味且很困難的。這導(dǎo)致對(duì)呈現(xiàn)這樣的圖像的新的和不同方式的不斷增長(zhǎng)的需求。與朋友和家人分享值得紀(jì)念的時(shí)刻已經(jīng)從更傳統(tǒng)的影集和相框轉(zhuǎn)移到數(shù)字媒體， 諸如個(gè)人計(jì)算機(jī)、電視機(jī)和數(shù)碼相框，它們帶來了它們自身的困難。人們往往會(huì)拍攝相同物體的許多相似的圖片，這樣，他們可以確?？傆幸粡埦哂羞m當(dāng)?shù)恼彰?、色彩和?gòu)圖。然而，由于存儲(chǔ)設(shè)備的低廉價(jià)格，他們似乎很少刪除冗余的照片。這樣，以前的、與其他人分享記憶的愉快活動(dòng)現(xiàn)在變成靜靜地觀看無休止的單調(diào)的幻燈片放映。所以，已經(jīng)有對(duì)供給組合音樂和照片的更動(dòng)人呈現(xiàn)的不斷增長(zhǎng)的需求，以允許消費(fèi)者再次享受單獨(dú)地或與家人和朋友一起觀看照片的體驗(yàn)。已經(jīng)開發(fā)了許多系統(tǒng)來組合音樂和圖像呈現(xiàn)。具體地，按照音樂的節(jié)拍改變圖像， 就像例如由US20070101355所公開的那樣。然而，這種系統(tǒng)不一定提供在視覺上令人愉悅的顯示。

發(fā)明內(nèi)容
本發(fā)明尋求提供在視覺上更令人愉悅的圖像的顯示。按照第一方面，這是通過生成要被顯示而同時(shí)伴隨有音頻項(xiàng)目的多個(gè)圖像的序列的方法而達(dá)到的，該方法包括以下步驟提取音頻項(xiàng)目的至少一個(gè)特征；提取多個(gè)圖像的每個(gè)圖像的至少一個(gè)特征；以及根據(jù)所提取的、該音頻項(xiàng)目的至少一個(gè)特征并且根據(jù)所提取的、該圖像的至少一個(gè)特征確定下一個(gè)圖像，以便生成要被顯示而同時(shí)伴隨有音頻項(xiàng)目的所述多個(gè)圖像的被選擇圖像的序列。在第二方面，這也是通過用于生成要被顯示而同時(shí)伴隨有音頻項(xiàng)目的多個(gè)圖像的序列的設(shè)備而達(dá)到的，該設(shè)備包括第一提取器，用于提取音頻項(xiàng)目的至少一個(gè)特征；第二提取器，用于提取多個(gè)圖像的每個(gè)圖像的至少一個(gè)特征；處理器，用于根據(jù)所提取的、該音頻項(xiàng)目的至少一個(gè)特征并且根據(jù)所提取的、該圖像的至少一個(gè)特征來確定下一個(gè)圖像，以便生成要被顯示而同時(shí)伴隨有音頻項(xiàng)目的該多個(gè)圖像的被選擇圖像的序列。這樣，考慮音頻的特性和每個(gè)圖像的內(nèi)容來生成要被顯示而同時(shí)伴隨有音頻項(xiàng)目的圖像的序列，從而提供更令人愉悅的觀看體驗(yàn)。而且，該多個(gè)圖像(304_1到304_n，306_l,306_n)的所選擇組的序列的每個(gè)圖像的顯示持續(xù)時(shí)間可以根據(jù)所提取的、該音頻的至少一個(gè)特征而被確定。
在一個(gè)實(shí)施例中，可以按照音樂的節(jié)奏(pace)創(chuàng)建幻燈片放映。照片觀看時(shí)間和/或下一個(gè)顯示哪張照片的選擇是根據(jù)音樂節(jié)奏的數(shù)值測(cè)度和在照片和/或照片組之間的距離或相似性的數(shù)值表示的組合而被實(shí)行的。例如，在快節(jié)奏音樂的情形下，圖像可被選擇為相互非常不同，而如果音樂是慢的，則圖像可被選擇為相似的。結(jié)果，非常相似的圖像被聚集成組以呈現(xiàn)圖像的更平滑過渡，這些圖像也可以被顯示得更長(zhǎng)，以便遵從 (compliment)慢節(jié)奏的音樂，且進(jìn)一步地，以更快節(jié)奏的音樂來呈現(xiàn)不相似的圖像的序列。 因此，創(chuàng)建了圖像的自然的觀看流，其遵循音樂節(jié)律。


為了更全面地理解本發(fā)明，結(jié)合附圖來參考以下的說明，其中 圖1是按照本發(fā)明的實(shí)施例的設(shè)備的簡(jiǎn)化示意圖2是按照本發(fā)明的實(shí)施例的方法的流程圖；以及圖3圖示了由本發(fā)明的實(shí)施例創(chuàng)建的圖像的呈現(xiàn)的例子。
具體實(shí)施例方式參照?qǐng)D1到3，將描述本發(fā)明的實(shí)施例。在圖1上顯示本發(fā)明的實(shí)施例的設(shè)備。該設(shè)備包括第一存儲(chǔ)設(shè)備101，用于存儲(chǔ)音頻項(xiàng)目庫(kù)。這可以是個(gè)人計(jì)算機(jī)或PDA的本地存儲(chǔ)設(shè)備或⑶ROM、存儲(chǔ)卡、快閃存儲(chǔ)器、或通過互聯(lián)網(wǎng)訪問的遠(yuǎn)端存儲(chǔ)裝置。該設(shè)備還包括第二存儲(chǔ)設(shè)備103，用于存儲(chǔ)數(shù)字圖像(照片)庫(kù)。這可以是個(gè)人計(jì)算機(jī)、數(shù)碼相機(jī)、移動(dòng)電話或類似設(shè)備的本地存儲(chǔ)設(shè)備、CD ROM、存儲(chǔ)卡、快閃存儲(chǔ)器、或通過互聯(lián)網(wǎng)訪問的遠(yuǎn)端存儲(chǔ)裝置。第一和第二存儲(chǔ)設(shè)備101、103可以被集成在一起。第一存儲(chǔ)設(shè)備101被連接到第一提取器105。第二存儲(chǔ)設(shè)備103被連接到第二提取器107。第一和第二提取器105、107的輸出被連接到處理器109的相應(yīng)的輸入。處理器的輸出被連接到顯示器111，諸如計(jì)算機(jī)監(jiān)視器、手持設(shè)備的顯示器、投影儀屏幕、電視機(jī)、 數(shù)碼相框等等。第一存儲(chǔ)設(shè)備101被連接到揚(yáng)聲器113?，F(xiàn)在將參照?qǐng)D2和3描述圖1的設(shè)備的運(yùn)行。在步驟201，從第二存儲(chǔ)設(shè)備103檢索多個(gè)301圖像302_1到302_n。這可以由用戶選擇為例如在特定事件中拍攝的圖像的收集，或者可以是用戶在他們的收集中所擁有的全部圖像。在步驟207，從第一存儲(chǔ)設(shè)備101 檢索音頻項(xiàng)目。這可以由用戶進(jìn)行選擇，或被隨機(jī)地選擇。音頻項(xiàng)目可包括單個(gè)音樂曲目 (music track)或多個(gè)音樂曲目的播放列表。在步驟209，第一提取器105從所檢索的音頻項(xiàng)目中提取至少一個(gè)特征，舉例而言，諸如拍子(每分鐘的節(jié)拍數(shù)目)、節(jié)律(節(jié)拍結(jié)構(gòu))、節(jié)律改變或旋律，以便確定音頻項(xiàng)目的節(jié)奏。在步驟203，第二提取器107從所檢索的圖像中提取至少一個(gè)特征，諸如色彩、紋理、捕獲時(shí)間、捕獲日期、捕獲地點(diǎn)、存在和使用已知面部識(shí)別技術(shù)的面部的識(shí)別。在步驟 205，計(jì)算在每個(gè)圖像之間的距離測(cè)度。這個(gè)距離測(cè)度是相似性的測(cè)度，且它反映圖像有多相似或相關(guān)，以及它可以是基于所提取的特征之一或特征的組合。然后，在步驟211，根據(jù)所提取的音頻項(xiàng)目和圖像的特征，選擇多個(gè)圖像(304_1到304_n，306_l到306_n)的組(303，305)。這當(dāng)然可以導(dǎo)致選擇所有的圖像。在步驟213、215，在所檢索的圖像的序列的顯示期間，例如，在幻燈片放映期間 (或當(dāng)離線地準(zhǔn)備幻燈片放映時(shí))，對(duì)于每個(gè)圖像，由處理器109確定每個(gè)圖像的顯示的持續(xù)時(shí)間和在該序列中下一個(gè)要顯示哪個(gè)圖像。每個(gè)圖像的顯示持續(xù)時(shí)間被確定為該圖像在屏幕上被顯示的時(shí)間量，且對(duì)于快節(jié)奏的音頻項(xiàng)目較短，而對(duì)于慢節(jié)奏的音頻項(xiàng)目較長(zhǎng)。為了確定序列內(nèi)要顯示的下一個(gè)圖像，對(duì)于快節(jié)奏音樂，例如，所提取的節(jié)奏高于閾值，選擇非常不同的(不相似的——例如，在大距離內(nèi)的)圖像306_1到306_n，正如舉例而言在圖3的組305中所顯示的。在慢節(jié)奏音樂的情形下，例如，所提取的節(jié)奏低于閾值， 則選擇相似的——例如在小距離內(nèi)的——圖像304_1到304_n，正如在圖3的組303中所顯示的。所以，當(dāng)伴隨有音頻時(shí)，在匯編要被顯示的圖像的序列時(shí)，考慮了圖像內(nèi)容和音頻內(nèi)容。結(jié)果，得到了遵循自然的音樂流的、動(dòng)態(tài)的快節(jié)奏音樂照片呈現(xiàn)或平滑的慢節(jié)奏音樂照片呈現(xiàn)。除了基本系統(tǒng)以外，在幻燈片放映內(nèi)可以使用不同的過渡。例如，當(dāng)音樂是快節(jié)奏時(shí)，可以使用在兩個(gè)照片之間的突然的過渡。如果音樂是慢節(jié)奏的，則可以代之以使用在照片之間的慢的漸隱。另一個(gè)實(shí)施例可包括預(yù)定義的情緒組(例如，快樂的、輕松的、情緒激動(dòng)的、喜慶的等等)，其中音樂和圖像都試圖傳達(dá)某種情緒。例如，古典音樂和風(fēng)景圖片可以處于輕松的組中，而爵士樂和帶有許多面孔的圖片可以處于情緒激動(dòng)的組中。雖然本發(fā)明的實(shí)施例已在附圖中圖示并在以上的詳細(xì)說明中描述，但應(yīng)理解，本發(fā)明不限于所公開的實(shí)施例，而是能夠有許多的修改，而不背離如在以下的權(quán)利要求中闡述的本發(fā)明的范圍。正如本領(lǐng)域技術(shù)人員將明白的，‘裝置’是打算包括任何硬件(諸如分開的或集成的電路或電子元件)或軟件(諸如程序或程序的組成部分)，它們?cè)谶\(yùn)行時(shí)再現(xiàn)或被設(shè)計(jì)成再現(xiàn)規(guī)定的功能，不管其是單獨(dú)地或是與其它功能相結(jié)合地，不管其是孤立地或是與其它單元合作地。本發(fā)明可以借助于包括幾個(gè)不同的單元的硬件，以及借助于適當(dāng)?shù)鼐幊痰挠?jì)算機(jī)而被實(shí)施。在列舉幾個(gè)裝置的設(shè)備權(quán)利要求中，這些裝置中的幾個(gè)裝置可以由同一個(gè)硬件項(xiàng)目來體現(xiàn)?！?jì)算機(jī)程序產(chǎn)品’要被理解為是指任何軟件產(chǎn)品，它們是被存儲(chǔ)在諸如軟盤那樣的計(jì)算機(jī)可讀介質(zhì)上的、是經(jīng)由諸如互聯(lián)網(wǎng)那樣的網(wǎng)絡(luò)可下載的、或是以任何其它方式在市場(chǎng)上可購(gòu)買的。
權(quán)利要求
1.一種生成要被顯示而同時(shí)伴隨有音頻項(xiàng)目的多個(gè)圖像(304_1到304_n，306_1到 306_n)的序列(303，305)的方法，該方法包括以下步驟提取(209)音頻項(xiàng)目的至少一個(gè)特征；提取(203)多個(gè)圖像(302_1到302_n)的每個(gè)圖像的至少一個(gè)特征；以及根據(jù)所述提取的、所述音頻項(xiàng)目的至少一個(gè)特征并且根據(jù)所述提取的、所述圖像 (302_1到302_n)的至少一個(gè)特征，確定015)下一個(gè)圖像，以便生成要被顯示而同時(shí)伴隨有所述音頻項(xiàng)目的所述多個(gè)圖像(304_1到304_n，306_1到306_n)的被選擇圖像的序列 (303，305)。
2.按照權(quán)利要求1的方法，其中該方法還包括以下步驟根據(jù)所述提取的、所述音頻項(xiàng)目的至少一個(gè)特征，確定(213)所述多個(gè)圖像(304_1到304_n，306_1到306_n)的所述被選擇圖像的所述序列(303，305)的每個(gè)圖像(304_1到304_n，306_1到306_n)的顯示的持續(xù)時(shí)間。
3.按照權(quán)利要求2的方法，其中所述多個(gè)圖像的所述被選擇圖像的所述序列 (303，305)的每個(gè)圖像(304_1到304_n，306_1到306_n)的顯示的持續(xù)時(shí)間對(duì)應(yīng)于所述音頻項(xiàng)目的提取的節(jié)奏。
4.按照權(quán)利要求1的方法，其中提取(209)音頻項(xiàng)目的至少一個(gè)特征的步驟包括以下步驟提取所述音頻項(xiàng)目的節(jié)奏。
5.按照權(quán)利要求4的方法，其中確定(21 下一個(gè)圖像的步驟包括以下步驟根據(jù)所述提取的、所述音頻項(xiàng)目的節(jié)奏并且根據(jù)在所述提取的、所述圖像(304_1到 304_n, 306_1到306_n)的所述被選擇圖像的至少一個(gè)特征之間的相似度，確定下一個(gè)圖像。
6.按照權(quán)利要求4的方法，其中該方法還包括比較Q05)所述提取的、多個(gè)圖像(304_1到304_n，306_1到306_n)的每個(gè)圖像的至少一個(gè)特征，以便確定在所述圖像 (304_1到304_n，306_1到306_n)的每個(gè)圖像之間的相似性。
7.按照權(quán)利要求6的方法，其中比較Q05)所述提取的、多個(gè)圖像的每個(gè)圖像的至少一個(gè)特征的步驟包括以下步驟測(cè)量在所述提取的、所述多個(gè)圖像(304_1到304_n，306_1到306_n)的每個(gè)圖像的至少一個(gè)特征之間的距離。
8.一種計(jì)算機(jī)程序產(chǎn)品，其包括用于實(shí)行按照前述權(quán)利要求的任一項(xiàng)的方法的多個(gè)程序代碼部分。
9.用于生成要被顯示而同時(shí)伴隨有音頻項(xiàng)目的多個(gè)圖像(304_1到304_n，306_1到 306_n)的序列(303, 305)的設(shè)備，該設(shè)備包括第一提取器(105)，用于提取(209)音頻項(xiàng)目的至少一個(gè)特征；第二提取器(107)，用于提取Q03)多個(gè)圖像(302_1到302_n)的每個(gè)圖像的至少一個(gè)特征；處理器(109)，用于根據(jù)所述提取的、所述音頻項(xiàng)目的至少一個(gè)特征并且根據(jù)所述提取的、所述圖像的至少一個(gè)特征，確定015)下一個(gè)圖像，以便生成要被顯示而同時(shí)伴隨有所述音頻項(xiàng)目的所述多個(gè)圖像(304_1到304_n，306_1到306_n)的被選擇圖像的序列(303，305)。
10.按照權(quán)利要求9的設(shè)備，其中所述處理器(109)根據(jù)所述提取的、所述音頻項(xiàng)目的至少一個(gè)特征，確定所述多個(gè)圖像(304_1到304_n，306_1到306_n)的所述被選擇圖像的所述序列(303，305)的每個(gè)圖像(304_1到304_n, 306_1到306_n)的顯示的持續(xù)時(shí)間。
全文摘要
要被顯示為幻燈片放映而同時(shí)伴隨有音頻項(xiàng)目的多個(gè)圖像的序列通過以下步驟被生成提取(209)音頻項(xiàng)目的至少一個(gè)特征，諸如節(jié)奏；提取(203)多個(gè)圖像的每個(gè)圖像的至少一個(gè)特征；以及根據(jù)所提取的、音頻項(xiàng)目的至少一個(gè)特征并且根據(jù)所提取的、圖像的至少一個(gè)特征確定(215)下一個(gè)圖像，以便生成要被顯示而同時(shí)伴隨有音頻項(xiàng)目的所述多個(gè)圖像的被選擇圖像的序列。
文檔編號(hào)H04N1/00GK102177703SQ200980139653
公開日2011年9月7日 申請(qǐng)日期2009年9月28日 優(yōu)先權(quán)日2008年10月7日
發(fā)明者M·A·彼得斯, P·方塞卡, T·K·特索尼瓦 申請(qǐng)人:皇家飛利浦電子股份有限公司