專利名稱：信息處理設(shè)備、信息處理方法和程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及信息處理設(shè)備、信息處理方法和程序。
背景技術(shù)：
伴隨著信息處理技術(shù)的進(jìn)步，諸如數(shù)字靜止相機(jī)和數(shù)字視頻相機(jī)之類的數(shù)字成像 設(shè)備被廣泛使用。對(duì)于這些數(shù)字成像設(shè)備，不僅用于提高拍攝圖片的便利性的技術(shù)而且用 于向用戶顯示所拍攝的圖片的技術(shù)都有明顯發(fā)展。 例如，日本專利申請(qǐng)?zhí)亻_2008-22300號(hào)公報(bào)公開了一種用于提高拍攝圖片的便 利性的技術(shù)，即，用于檢測(cè)人的面部區(qū)域作為對(duì)象并且基于該面部區(qū)域的尺寸的變化和移 動(dòng)速度來確定該圖片中發(fā)生模糊的可能性的技術(shù)。 此外，例如，日本專利申請(qǐng)?zhí)亻_2005-141297號(hào)公報(bào)公開了一種用于將所拍攝的 圖片顯示給用戶的技術(shù)的示例。在該技術(shù)中，在顯示屏上顯示有關(guān)用戶所經(jīng)歷過的事件 的縮略圖像，并且在代表該事件的重要縮略圖像上的發(fā)言氣球框中顯示根據(jù)事件生成的詞 語。

發(fā)明內(nèi)容
回顧能夠拍攝運(yùn)動(dòng)圖片的成像設(shè)備(例如，數(shù)字視頻相機(jī))中所生成運(yùn)動(dòng)圖片的 內(nèi)容要花大量時(shí)間，這是因?yàn)?，隨著技術(shù)的幾步，最大記錄時(shí)間增加了。在這種情況中，即使 是使用日本專利申請(qǐng)文件特開2005-141297號(hào)公報(bào)中所記載的技術(shù)來顯示多個(gè)縮略圖像 和重要的縮略圖像上的發(fā)言氣球框，仍然可能存在這樣的情況用戶很難理解附有發(fā)言氣 球框的圖像與其它圖像之間的關(guān)系。因此，需要自動(dòng)提取并且顯示運(yùn)動(dòng)圖片的有用圖像以 使用戶能夠容易地理解運(yùn)動(dòng)圖片的內(nèi)容的這樣一種技術(shù)。 鑒于以上所述，需要提供能夠自動(dòng)提取對(duì)于理解運(yùn)動(dòng)圖片的內(nèi)容有用的圖像并且 以內(nèi)容可以容易地被理解的方式顯示這些圖像的新穎的改進(jìn)的信息處理設(shè)備、信息處理方 法和程序。 為了解決上述問題，根據(jù)本發(fā)明實(shí)施例，提供了一種信息處理設(shè)備，包括用于分 析運(yùn)動(dòng)圖片數(shù)據(jù)并且用于生成運(yùn)動(dòng)圖片元數(shù)據(jù)的運(yùn)動(dòng)圖片分析單元，運(yùn)動(dòng)圖片數(shù)據(jù)是包括 與時(shí)間信息相關(guān)聯(lián)的多個(gè)圖像和音頻的運(yùn)動(dòng)圖片的數(shù)據(jù)，運(yùn)動(dòng)圖片元數(shù)據(jù)是與表征該運(yùn)動(dòng) 圖片的多個(gè)特征量有關(guān)的元數(shù)據(jù)；連環(huán)畫顯示變換單元，該連環(huán)畫顯示變換單元用于基于 運(yùn)動(dòng)圖片元數(shù)據(jù)來從運(yùn)動(dòng)圖片數(shù)據(jù)中提取多個(gè)圖像，并且用于將預(yù)定的顯示區(qū)域劃分成 幀，用于將多個(gè)所提取出圖像的布置變換成連環(huán)畫式的布置，以及用于生成包括有關(guān)被布 置在這些幀的各個(gè)幀中的圖像的信息的幀信息；以及用于生成連環(huán)畫顯示數(shù)據(jù)的連環(huán)畫顯 示數(shù)據(jù)生成單元，連環(huán)畫顯示數(shù)據(jù)至少包括幀信息、所提取出的圖像的數(shù)據(jù)和該運(yùn)動(dòng)圖片 的音頻數(shù)據(jù)。 利用這樣的配置，運(yùn)動(dòng)圖片分析單元分析運(yùn)動(dòng)圖片數(shù)據(jù)，即包括與時(shí)間信息相關(guān) 聯(lián)的多個(gè)圖像的運(yùn)動(dòng)圖片的數(shù)據(jù)，并且生成運(yùn)動(dòng)圖片元數(shù)據(jù)，即，與表征該運(yùn)動(dòng)圖片的多個(gè)特征量有關(guān)的元數(shù)據(jù)。此外，連環(huán)畫顯示變換單元基于運(yùn)動(dòng)圖片元數(shù)據(jù)從運(yùn)動(dòng)圖片數(shù)據(jù)提取多個(gè)圖像，并且將預(yù)定的顯示區(qū)域劃分成幀，將這多個(gè)提取出的圖像的布置變換成連環(huán)畫式的布置，并且生成包括有關(guān)被布置在各個(gè)幀中的圖像的的幀信息。此外，連環(huán)畫顯示數(shù)據(jù)生成單元生成連環(huán)畫顯示數(shù)據(jù)，該連環(huán)畫顯示數(shù)據(jù)至少包括幀信息、所提取出的圖像的數(shù)據(jù)和運(yùn)動(dòng)圖片的音頻數(shù)據(jù)。 連環(huán)畫顯示變換單元還可以包括用于基于所述運(yùn)動(dòng)圖片元數(shù)據(jù)來計(jì)算摘要得分的摘要得分計(jì)算單元，摘要得分是通過對(duì)構(gòu)成所述運(yùn)動(dòng)圖片的多個(gè)圖像中的每一個(gè)圖像的多個(gè)特征量求加權(quán)和獲得的值；縮略圖數(shù)目確定單元，該縮略圖數(shù)目確定單元用于基于摘要得分來從構(gòu)成運(yùn)動(dòng)圖片數(shù)據(jù)的多個(gè)圖像中提取要被布置在所述幀中的縮略圖像，并且用于確定所述縮略圖像的數(shù)目；用于基于摘要得分來確定被布置在預(yù)定的顯示區(qū)域中的縮略圖像的大小的幀圖像布置單元；以及用于生成與布置了所述縮略圖像的幀有關(guān)的幀信息的幀信息生成單元。 縮略圖數(shù)目確定單元還可以提取與預(yù)定時(shí)間的所提取的縮略圖像相連接的多個(gè)圖像，作為動(dòng)畫圖像。 運(yùn)動(dòng)圖片元數(shù)據(jù)可以包括與拍攝運(yùn)動(dòng)圖片時(shí)的攝影操作有關(guān)的運(yùn)動(dòng)圖片元數(shù)據(jù)，并且連環(huán)畫顯示變換單元還可以包括攝影操作元數(shù)據(jù)利用單元，該攝影操作元數(shù)據(jù)利用單元用于基于與攝影操作有關(guān)的運(yùn)動(dòng)圖片元數(shù)據(jù)來確定被縮略圖數(shù)目確定單元提取作為動(dòng)畫圖像的圖像的數(shù)目。 攝影操作元數(shù)據(jù)利用單元可以從所提取出的縮略圖像與在攝影操作的積分值達(dá)到預(yù)定的閾值時(shí)的圖像之間存在的多個(gè)圖像中選擇動(dòng)畫圖像。 攝影操作元數(shù)據(jù)利用單元可以根據(jù)攝影操作的積分值的大小來設(shè)置包括縮略圖像和動(dòng)畫圖像的動(dòng)畫的再現(xiàn)速度。 信息處理設(shè)備還可以包括靜止圖片分析單元，該靜止圖片分析單元用于分析作為與靜止圖片相對(duì)應(yīng)的數(shù)據(jù)的靜止圖片數(shù)據(jù)并且用于生成作為與表征所述靜止圖片的多個(gè)特征量有關(guān)的元數(shù)據(jù)的靜止圖片元數(shù)據(jù)。圖像大小確定單元可以基于靜止圖片元數(shù)據(jù)來確定被布置在預(yù)定的顯示區(qū)域中的靜止圖片的大小。 幀圖像布置單元可以基于與靜止圖片數(shù)據(jù)相關(guān)聯(lián)的有關(guān)靜止圖片數(shù)據(jù)被生成的時(shí)間的時(shí)間信息，確定靜止圖片被布置的順序。 連環(huán)畫顯示變換單元還可以包括效果圖像布置單元，該效果圖像布置單元用于基于運(yùn)動(dòng)圖片元數(shù)據(jù)來在布置所述縮略圖像的幀上布置發(fā)言氣球框和屏幕效果中的至少任何一種。 效果圖像布置單元可以通過使用與運(yùn)動(dòng)圖片數(shù)據(jù)中所包括的音頻數(shù)據(jù)有關(guān)的運(yùn)動(dòng)圖片元數(shù)據(jù)來布置發(fā)言氣球框和屏幕效果中的任何一種。 效果圖像布置單元可以通過使用與攝影操作有關(guān)的運(yùn)動(dòng)圖片元數(shù)據(jù)在縮略圖像上布置屏幕效果。 對(duì)于運(yùn)動(dòng)圖片元數(shù)據(jù)指示圖像包括臉的運(yùn)動(dòng)圖片，圖像大小確定單元可以通過放大示出臉的面部區(qū)域來制作縮略圖像。 運(yùn)動(dòng)圖片元數(shù)據(jù)還可以包括指示圖像包括人的運(yùn)動(dòng)圖片元數(shù)據(jù)、與圖像中的對(duì)象有關(guān)的運(yùn)動(dòng)圖片元數(shù)據(jù)和與圖像中存在的先前登記的物體有關(guān)的運(yùn)動(dòng)圖片元數(shù)據(jù)中的至少任一個(gè)。并且，效果圖像布置單元可以，基于指示圖像包括人的運(yùn)動(dòng)圖片元數(shù)據(jù)、與圖像中的對(duì)象有關(guān)的運(yùn)動(dòng)圖片元數(shù)據(jù)和與圖像中存在的先前登記的物體有關(guān)的運(yùn)動(dòng)圖片元數(shù)據(jù)，來布置屏幕效果。 靜止圖片元數(shù)據(jù)可以包括指示圖像包括臉的靜止圖片元數(shù)據(jù)、指示圖像包括人的靜止圖片元數(shù)據(jù)、與圖像中的對(duì)象有關(guān)的靜止圖片元數(shù)據(jù)和與所述圖像中存在的先前登記的物體有關(guān)的靜止圖片元數(shù)據(jù)中的至少任個(gè)。并且，效果布置單元可以，基于指示圖像包括臉的靜止圖片元數(shù)據(jù)、指示圖像包括人的靜止圖片元數(shù)據(jù)、與圖像中的對(duì)象有關(guān)的靜止圖片元數(shù)據(jù)和與圖像中存在的先前登記的物體有關(guān)的靜止圖片元數(shù)據(jù)，來布置屏幕效果。
效果圖像布置單元可以，基于所述縮略圖像中預(yù)定的顯示區(qū)域的重心與所述縮略圖像中檢測(cè)到預(yù)定的物體的區(qū)域的重心之間的相對(duì)位置關(guān)系，來將所述屏幕效果布置在除了所述預(yù)定的物體被檢測(cè)到的區(qū)域以外的區(qū)域中。 當(dāng)圖像包括所述多個(gè)面部區(qū)域時(shí)，圖像大小確定單元可以通過執(zhí)行放大處理以包括所有的面部區(qū)域來制作縮略圖像。 此外，為了解決上述問題，根據(jù)本發(fā)明另一實(shí)施例，提供了一種信息處理方法，包括以下步驟分析運(yùn)動(dòng)圖片數(shù)據(jù)并且生成運(yùn)動(dòng)圖片元數(shù)據(jù)，所述運(yùn)動(dòng)圖片數(shù)據(jù)是包括與時(shí)間信息相關(guān)聯(lián)的多個(gè)圖像和音頻的運(yùn)動(dòng)圖片的數(shù)據(jù)，所述運(yùn)動(dòng)圖片元數(shù)據(jù)是與表征所述運(yùn)動(dòng)圖片的特征量有關(guān)的元數(shù)據(jù)；基于所述運(yùn)動(dòng)圖片元數(shù)據(jù)來從所述運(yùn)動(dòng)圖片數(shù)據(jù)中提取多個(gè)圖像，將預(yù)定的顯示區(qū)域劃分成幀，將多個(gè)所提取出圖像的布置變換成連環(huán)畫式的布置，生成包括有關(guān)被布置在所述幀的各個(gè)幀中的圖像的信息的幀信息；以及生成連環(huán)畫顯示數(shù)據(jù)，所述連環(huán)畫顯示數(shù)據(jù)至少包括所述幀信息、所提取出的圖像的數(shù)據(jù)和所述運(yùn)動(dòng)圖片的音頻數(shù)據(jù)。 此外，為了解決上述問題，根據(jù)本發(fā)明另一實(shí)施例，提供了一種程序，該程序使得使得計(jì)算機(jī)實(shí)現(xiàn)以下功能分析運(yùn)動(dòng)圖片數(shù)據(jù)并且生成運(yùn)動(dòng)圖片元數(shù)據(jù)，所述運(yùn)動(dòng)圖片數(shù)據(jù)是包括與時(shí)間信息相關(guān)聯(lián)的多個(gè)圖像和音頻的運(yùn)動(dòng)圖片的數(shù)據(jù)，所述運(yùn)動(dòng)圖片元數(shù)據(jù)是與表征所述運(yùn)動(dòng)圖片的特征量有關(guān)的元數(shù)據(jù)；基于所述運(yùn)動(dòng)圖片元數(shù)據(jù)來從所述運(yùn)動(dòng)圖片數(shù)據(jù)中提取多個(gè)圖像，將預(yù)定的顯示區(qū)域劃分成幀，將多個(gè)所提取出圖像的布置變換成連環(huán)畫式的布置，以及生成包括有關(guān)被布置在所述幀的各個(gè)幀中的圖像的信息的幀信息；以及生成連環(huán)畫顯示數(shù)據(jù)，所述連環(huán)畫顯示數(shù)據(jù)至少包括所述幀信息、所提取出的圖像的數(shù)據(jù)和所述運(yùn)動(dòng)圖片的音頻數(shù)據(jù)。 如上所述，根據(jù)本發(fā)明，對(duì)于用戶理解運(yùn)動(dòng)圖片的內(nèi)容有用的圖像可以被自動(dòng)提取并且以使得用戶容易理解內(nèi)容的方式被顯示，以用于基于與表征運(yùn)動(dòng)圖片的特征量有關(guān)的運(yùn)動(dòng)圖片元數(shù)據(jù)從運(yùn)動(dòng)圖片中提取出多個(gè)圖像并且用于以連環(huán)畫式的方式布置和顯示這多個(gè)提取出的圖像。


圖1是用于圖示出根據(jù)本發(fā)明第一實(shí)施例的運(yùn)動(dòng)圖片的連環(huán)畫式的表示的說明性示圖。
圖2是用于圖示出根據(jù)該實(shí)施例的信息處理設(shè)備的配置的框 圖3是用于說明連環(huán)畫顯示數(shù)據(jù)的說明性示 圖4是用于圖示出根據(jù)該實(shí)施例的運(yùn)動(dòng)圖片分析單元的配置的框圖； 圖5是用于圖示出運(yùn)動(dòng)圖片元數(shù)據(jù)的說明性示圖； 圖6是用于圖示出運(yùn)動(dòng)圖片元數(shù)據(jù)的說明性示圖； 圖7是用于圖示出根據(jù)該實(shí)施例的連環(huán)畫顯示變換單元的配置的框圖； 圖8是用于圖示出根據(jù)該實(shí)施例的計(jì)算摘要得分的方法的說明性示圖； 圖9是用于圖示出根據(jù)該實(shí)施例的提取代表幀圖像的方法的說明性示圖； 圖10是用于圖示出根據(jù)該實(shí)施例的動(dòng)畫幀圖像的說明性示圖； 圖11A是用于圖示出根據(jù)該實(shí)施例的攝影操作元數(shù)據(jù)利用單元的說明性示圖； 圖11B是用于圖示出根據(jù)該實(shí)施例的攝影操作元數(shù)據(jù)利用單元的說明性示圖； 圖12是用于圖示出根據(jù)該實(shí)施例的圖像大小確定單元的說明性示圖； 圖13是用于圖示出根據(jù)該實(shí)施例的圖像大小確定單元的說明性示圖； 圖14是用于圖示出根據(jù)該實(shí)施例的幀圖像布置單元的說明性示圖； 圖15是用于圖示出根據(jù)該實(shí)施例的幀圖像布置單元的說明性示圖； 圖16是用于圖示出根據(jù)該實(shí)施例的幀圖像布置單元的說明性示圖； 圖17是用于圖示出根據(jù)該實(shí)施例的幀圖像布置單元的說明性示圖； 圖18是用于圖示出考慮攝影操作的圖像布置的說明性示圖； 圖19是用于圖示出考慮攝影操作的圖像布置的說明性示圖； 圖20是用于圖示出根據(jù)該實(shí)施例的效果圖像布置單元的說明性示圖； 圖21是用于圖示出根據(jù)該實(shí)施例的效果圖像布置單元的說明性示圖； 圖22是用于圖示出根據(jù)該實(shí)施例的效果圖像布置單元的說明性示圖； 圖23是用于圖示出根據(jù)該實(shí)施例的信息處理方法的總體流程的流程圖； 圖24是用于圖示出根據(jù)該實(shí)施例的選擇代表幀圖像的方法的流程圖； 圖25是用于圖示出根據(jù)該實(shí)施例的根據(jù)攝影操作來選擇動(dòng)畫幀圖像的方法的流
程圖； 圖26A是用于圖示出根據(jù)該實(shí)施例的動(dòng)態(tài)布置代表幀圖像的方法的流程圖； 圖26B是用于圖示出根據(jù)該實(shí)施例的動(dòng)態(tài)布置代表幀圖像的方法的流程圖； 圖27是用于圖示出考慮攝影操作來布置代表幀圖像的方法的流程圖； 圖28是用于圖示出考慮攝影操作來布置效果圖像的方法的流程圖； 圖29是用于圖示出用于確定縮略圖動(dòng)畫的再現(xiàn)速度的方法的流程圖； 圖30是用于圖示出根據(jù)該實(shí)施例的運(yùn)動(dòng)圖片分析單元的第一變形例的框圖； 圖31A是用于圖示出根據(jù)該變形例的布置效果圖像的方法的說明性示圖； 圖31B是用于圖示出根據(jù)該變形例的布置效果圖像的方法的說明性示圖； 圖31C是用于圖示出根據(jù)該變形例的布置效果圖像的方法的說明性示圖； 圖31D是用于圖示出根據(jù)該變形例的布置效果圖像的方法的說明性示圖； 圖31E是用于圖示出根據(jù)該變形例的布置效果圖像的方法的說明性示圖； 圖32是用于圖示出根據(jù)該變形例的布置效果圖像的方法的說明性示圖； 圖33是用于圖示出根據(jù)本發(fā)明第二實(shí)施例的信息處理設(shè)備的配置的框圖； 圖34是用于圖示出根據(jù)該實(shí)施例的靜止圖片分析單元的配置的說明性示圖； 圖35是用于圖示出根據(jù)該實(shí)施例的連環(huán)畫顯示變換單元的配置的說明性示 圖36是用于圖示出根據(jù)該實(shí)施例的信息處理方法的總體流程的流程圖； 圖37是用于圖示出確定靜止圖片的圖像大小的方法的流程圖； 圖38是用于圖示出根據(jù)本發(fā)明第三實(shí)施例的信息處理方法的配置的框圖； 圖39是用于圖示出根據(jù)本發(fā)明各個(gè)實(shí)施例的信息處理設(shè)備的硬件配置的框圖。
具體實(shí)施例方式
以下，將參考附圖來詳細(xì)描述本發(fā)明的優(yōu)選實(shí)施例。注意，在本說明書和附圖中，用相同的標(biāo)號(hào)來標(biāo)注具有基本相同的功能和結(jié)構(gòu)的結(jié)構(gòu)元件，并且省略對(duì)這些結(jié)構(gòu)元件的重復(fù)描述。 將按照以下次序進(jìn)行說明。
(1)第一實(shí)施例 (1-1)連環(huán)畫式表示的概覽 (1-2)信息處理設(shè)備的配置 (1-3)信息處理方法 (1-4)第一變形例 (2)第二實(shí)施例 (2-1)信息處理設(shè)備的配置 (2-2)信息處理方法 (3)第三實(shí)施例 (3-1)信息處理設(shè)備的配置 (4)根據(jù)本發(fā)明各個(gè)實(shí)施例的信息處理設(shè)備的硬件配置 (5)總結(jié)(第一實(shí)施例)〈連環(huán)畫式表示的概覽> 首先，在詳細(xì)說明根據(jù)本發(fā)明第一實(shí)施例的信息處理設(shè)備和信息處理方法之前，將參考圖1來描述根據(jù)本發(fā)明的運(yùn)動(dòng)圖片的連環(huán)畫式的表示的概覽。圖1是用于圖示根據(jù)本實(shí)施例的運(yùn)動(dòng)圖片的連環(huán)畫式的表示的說明性示圖。 當(dāng)單個(gè)或多個(gè)運(yùn)動(dòng)圖片數(shù)據(jù)被指定時(shí)，根據(jù)本發(fā)明的信息處理設(shè)備自動(dòng)從運(yùn)動(dòng)圖片數(shù)據(jù)中所包括的多個(gè)圖像中提取重要的場(chǎng)景。例如，信息處理設(shè)備將所提取出的圖像的編排變換成連環(huán)畫式的編排，并且顯示所提取出的圖像，如圖1中所示。
將考慮如圖1中所示的顯示區(qū)域301。顯示區(qū)域301相當(dāng)于一頁普通連環(huán)畫。顯示區(qū)域301被劃分成多個(gè)幀303。在這多個(gè)幀303中的每一幀中，編排運(yùn)動(dòng)圖片數(shù)據(jù)中所包括的圖像(例如，縮略圖像)305。 諸如各種發(fā)言氣球框307、射線309和效果線311之類的屏幕效果基于稍后描述的運(yùn)動(dòng)圖片元數(shù)據(jù)被自動(dòng)布置在縮略圖像305上。發(fā)言氣球框307、射線309、效果線311等可以以與普通紙質(zhì)連環(huán)畫相同的方式被自由布置在幀303中或幀303的外部。
可能存在這樣的情況信息處理設(shè)備的用戶想要知道某一縮略圖像305表示何種場(chǎng)景。在該情況中，用戶操作信息處理設(shè)備上所布置的輸入設(shè)備(例如，鼠標(biāo)和鍵盤)來將諸如鼠標(biāo)指針之類的位置選擇對(duì)象313移動(dòng)到所希望的縮略圖像305以產(chǎn)生所謂的鼠標(biāo)懸停(mouseover)狀態(tài)。作為響應(yīng)，信息處理設(shè)備針對(duì)位置選擇對(duì)象313所置于其上的縮略圖像305執(zhí)行動(dòng)畫(animation)。該動(dòng)畫從該幀中相應(yīng)的縮略圖像305的場(chǎng)景開始。
在圖1中，僅示出一個(gè)顯示區(qū)域301。然而，顯示區(qū)域301的大小可以根據(jù)顯示屏等的大小而改變?？商鎿Q地，在一個(gè)顯示屏中可以布置多個(gè)顯示區(qū)域301。
信息處理設(shè)備以與各個(gè)圖像相關(guān)聯(lián)的時(shí)間信息的順序來編排構(gòu)成運(yùn)動(dòng)圖片的圖像，并且因此，用戶可以以與他讀普通連環(huán)畫相同的方式容易地理解運(yùn)動(dòng)圖片數(shù)據(jù)的內(nèi)容。此外，根據(jù)與縮略圖像相關(guān)聯(lián)的運(yùn)動(dòng)圖片元數(shù)據(jù)自動(dòng)布置了諸如發(fā)言氣球框之類的屏幕效果(以下，也稱為效果)，并且因此，用戶可以享受評(píng)論運(yùn)動(dòng)圖片數(shù)據(jù)的內(nèi)容的樂趣。
〈信息處理設(shè)備的配置> 以下，將參考圖2至圖22來詳細(xì)描述能夠?qū)崿F(xiàn)運(yùn)動(dòng)圖片的上述連環(huán)畫式的表示的
信息處理設(shè)備的配置。[信息處理設(shè)備的總體配置] 首先，將參考圖2來詳細(xì)描述根據(jù)本實(shí)施例的信息處理設(shè)備的總體配置。圖2是用于圖示出根據(jù)本實(shí)施例的信息處理設(shè)備的配置的框圖。 例如，如圖2中所示，根據(jù)本實(shí)施例的信息處理設(shè)備10包括運(yùn)動(dòng)圖片數(shù)據(jù)獲取單元101、運(yùn)動(dòng)圖片分析單元103、音頻提取單元105、連環(huán)畫顯示變換單元107、幀圖像數(shù)據(jù)生成單元109和連環(huán)畫顯示數(shù)據(jù)生成單元111。信息處理設(shè)備IO還包括連環(huán)畫顯示執(zhí)行單元113、顯示控制單元115和存儲(chǔ)單元117。除了上述單元以外，信息處理設(shè)備IO例如可以包括用于控制經(jīng)由任何通信網(wǎng)絡(luò)與任何設(shè)備的通信的通信控制單元(未示出)。
運(yùn)動(dòng)圖片數(shù)據(jù)獲取單元101例如是由CPU(中央處理單元)、R0M(只讀存儲(chǔ)器)和RAM(隨機(jī)存取存儲(chǔ)器)、通信設(shè)備等構(gòu)成。運(yùn)動(dòng)圖片數(shù)據(jù)獲取單元101根據(jù)對(duì)信息處理設(shè)備IO執(zhí)行的用戶操作，從稍后描述的存儲(chǔ)單元117和信息處理設(shè)備10中所插入的各種記錄介質(zhì)中獲取與用戶所指定的運(yùn)動(dòng)圖片相對(duì)應(yīng)的運(yùn)動(dòng)圖片數(shù)據(jù)。這里所稱的運(yùn)動(dòng)圖片是指包括與時(shí)間信息相關(guān)聯(lián)的多個(gè)圖像和音頻的運(yùn)動(dòng)圖片的數(shù)據(jù)?？商鎿Q地，運(yùn)動(dòng)圖片數(shù)據(jù)獲取單元101可以從連接到信息處理設(shè)備10的其它設(shè)備獲取運(yùn)動(dòng)圖片數(shù)據(jù)，并且可以從經(jīng)由諸如因特網(wǎng)等的通信網(wǎng)絡(luò)連接的各種服務(wù)器獲取運(yùn)動(dòng)圖片數(shù)據(jù)。運(yùn)動(dòng)圖片數(shù)據(jù)獲取單元101將所獲得的運(yùn)動(dòng)圖片數(shù)據(jù)分別傳送到運(yùn)動(dòng)圖片分析單元103和音頻提取單元105。
運(yùn)動(dòng)圖片分析單元103例如由CPU、ROM、RAM等構(gòu)成。運(yùn)動(dòng)圖片分析單元103分析所傳送的運(yùn)動(dòng)圖片數(shù)據(jù)，并且提取表征運(yùn)動(dòng)圖片特征的特征量。運(yùn)動(dòng)圖片分析單元103通過使用所提取出的特征量來生成運(yùn)動(dòng)圖片元數(shù)據(jù)，即，有關(guān)特征量的元數(shù)據(jù)。這些特征量是針對(duì)構(gòu)成運(yùn)動(dòng)圖片數(shù)據(jù)的圖像數(shù)據(jù)和音頻數(shù)據(jù)兩者來提取的。所生成的運(yùn)動(dòng)圖片元數(shù)據(jù)不僅包括與圖像數(shù)據(jù)有關(guān)的特征量元數(shù)據(jù)，也包括與音頻數(shù)據(jù)有關(guān)的特征量元數(shù)據(jù)。運(yùn)動(dòng)圖片分析單元103將所生成的運(yùn)動(dòng)圖片元數(shù)據(jù)傳送給稍后描述的連環(huán)畫顯示變換單元107。運(yùn)動(dòng)圖片分析單元103不僅可以使用通過分析運(yùn)動(dòng)圖片生成的運(yùn)動(dòng)圖片元數(shù)據(jù)，也可以使用能在諸如便攜式攝像機(jī)之類的成像設(shè)備上獲得的元數(shù)據(jù)，來作為要由連環(huán)畫顯示變換單元107使用的運(yùn)動(dòng)圖片元數(shù)據(jù)。這里，能在成像設(shè)備上獲得的元數(shù)據(jù)例如包括所記錄的快照、最喜愛的按鈕、放大(zoom-in)按鈕、縮小(zoom-out)按鈕等的操作歷史。此外，運(yùn)動(dòng)圖片分析單元103將從運(yùn)動(dòng)圖片數(shù)據(jù)獲取單元101傳送的運(yùn)動(dòng)圖片數(shù)據(jù)中所包括的圖像數(shù)據(jù)傳送給稍后描述的幀圖像數(shù)據(jù)生成單元109。
稍后將再詳細(xì)描述運(yùn)動(dòng)圖片分析單元103。 音頻提取單元105例如由CPU、R0M、RAM等構(gòu)成。音頻提取單元105從自運(yùn)動(dòng)圖片數(shù)據(jù)獲取單元101傳送的運(yùn)動(dòng)圖片數(shù)據(jù)中提取音頻數(shù)據(jù)。當(dāng)音頻提取單元105提取音頻數(shù)據(jù)時(shí)，音頻提取單元105可以關(guān)于ROM、存儲(chǔ)單元117等中所存儲(chǔ)的運(yùn)動(dòng)圖片數(shù)據(jù)的格式等來參考數(shù)據(jù)庫等。此外，音頻提取單元105可以在必要時(shí)執(zhí)行諸如壓縮所提取出的音頻數(shù)據(jù)之類的變換處理。音頻提取單元105將所提取出的音頻數(shù)據(jù)傳送給稍后描述的連環(huán)畫顯示數(shù)據(jù)生成單元111。 連環(huán)畫顯示變換單元107例如由CPU、ROM、RAM等構(gòu)成。連環(huán)畫顯示變換單元107基于運(yùn)動(dòng)圖片元數(shù)據(jù)來從運(yùn)動(dòng)圖片數(shù)據(jù)中提取多個(gè)圖像。連環(huán)畫顯示變換單元107還將預(yù)定的顯示區(qū)域劃分成幀，并且將所提取出的多個(gè)圖像的布置變換成連環(huán)畫式的布置。此外，連環(huán)畫顯示變換單元107生成包括有關(guān)各個(gè)幀中所布置的圖像的信息的幀信息。連環(huán)畫顯示變換單元107將所生成的幀信息傳送給稍后描述的幀圖像數(shù)據(jù)生成單元109和連環(huán)畫顯示數(shù)據(jù)生成單元111。 以下將再詳細(xì)描述連環(huán)畫顯示變換單元107。 幀圖像數(shù)據(jù)生成單元109例如由CPU、ROM、RAM等構(gòu)成。幀圖像數(shù)據(jù)生成單元109基于從運(yùn)動(dòng)圖片分析單元103傳送的圖像數(shù)據(jù)和從連環(huán)畫顯示變換單元107傳送的幀信息來生成幀圖像數(shù)據(jù)。更具體而言，幀圖像數(shù)據(jù)生成單元109從構(gòu)成運(yùn)動(dòng)圖片的多個(gè)幀圖像中提取幀信息中所描述的幀圖像。此外，幀圖像數(shù)據(jù)生成單元109基于幀信息中所描述的信息來放大或縮小所提取出的幀圖像，從而使得幀圖像成為與幀的大小相對(duì)應(yīng)的縮略圖像。此外，幀圖像數(shù)據(jù)生成單元109基于幀信息來生成用于動(dòng)畫再現(xiàn)的圖像。然后，幀圖像數(shù)據(jù)生成單元109將所生成的幀圖像數(shù)據(jù)(g卩，縮略圖像數(shù)據(jù)和用于動(dòng)畫再現(xiàn)的圖像數(shù)據(jù))傳送給連環(huán)畫顯示數(shù)據(jù)生成單元111。 連環(huán)畫顯示數(shù)據(jù)生成單元111例如由CPU、ROM、RAM等構(gòu)成。連環(huán)畫顯示數(shù)據(jù)生成單元111通過使用從存儲(chǔ)單元117等獲得的效果數(shù)據(jù)和從音頻提取單元105、連環(huán)畫顯示變換單元107和幀圖像數(shù)據(jù)生成單元109傳送的各種信息來生成連環(huán)畫顯示數(shù)據(jù)。例如，如圖3中所示，連環(huán)畫顯示數(shù)據(jù)至少包括例如XML格式的幀信息、幀圖像數(shù)據(jù)、音頻數(shù)據(jù)和效果數(shù)據(jù)。信息處理設(shè)備IO和其它設(shè)備可以通過讀和顯示XML格式的幀信息來在各種應(yīng)用程序、諸如中生成連環(huán)畫顯示屏幕。 連環(huán)畫式的表示例如可以在使用Visual 0++(注冊(cè)商標(biāo))等的單獨(dú)網(wǎng)絡(luò)應(yīng)用程序、諸如Java Brew之類的用于便攜式電話的應(yīng)用程序和使用Flash、 JavaScript等的瀏覽器應(yīng)用程序中實(shí)現(xiàn)。例如， 一般可用的web瀏覽器可以通過使用具有Action Script的Flash文件(SWF文件)來讀XMI的用作連環(huán)畫圖像的布置信息的幀信息而顯示連環(huán)畫顯示屏幕。 當(dāng)連環(huán)畫顯示數(shù)據(jù)是利用Flash生成的時(shí)，可以更互動(dòng)地顯示這些內(nèi)容，例如，可以利用按鈕來翻動(dòng)或利用鼠標(biāo)輪來巻動(dòng)頁面。當(dāng)這些幀是按時(shí)間順序用動(dòng)畫顯示的時(shí)，用戶可以流暢地回顧具有許多幀的內(nèi)容而不混亂。當(dāng)用戶點(diǎn)擊縮略圖像來再現(xiàn)音頻時(shí)，在除了所點(diǎn)擊的幀以外的幀中的透明度可以被增大，使得可以以容易理解的方式強(qiáng)調(diào)當(dāng)前再現(xiàn)的幀。如上所述，當(dāng)幀信息被輸出作為AML格式的文件時(shí)，包括Flash的各種應(yīng)用程序可以參考幀信息。
11
連環(huán)畫顯示數(shù)據(jù)生成單元111將所生成的連環(huán)畫顯示數(shù)據(jù)傳送給連環(huán)畫顯示執(zhí) 行單元113。連環(huán)畫顯示數(shù)據(jù)生成單元111還可以將所生成的連環(huán)畫顯示數(shù)據(jù)經(jīng)由諸如 CD-ROM和DVD-ROM之類的各種記錄介質(zhì)和經(jīng)由諸如因特網(wǎng)等的通信網(wǎng)絡(luò)提供給其它信息 處理設(shè)備。 連環(huán)畫顯示執(zhí)行單元113例如由CPU、ROM、RAM等構(gòu)成。連環(huán)畫顯示執(zhí)行單元113 例如可以通過執(zhí)行用于執(zhí)行從連環(huán)畫顯示數(shù)據(jù)生成單元111傳送的連環(huán)畫顯示數(shù)據(jù)的應(yīng) 用程序來顯示如圖1中所示的連環(huán)畫。用于執(zhí)行連環(huán)畫顯示數(shù)據(jù)的應(yīng)用程序可以是用于執(zhí) 行連環(huán)畫顯示的專用應(yīng)用程序或可以是諸如web瀏覽器之類的一般可用的應(yīng)用程序。連環(huán) 畫顯示執(zhí)行單元113執(zhí)行連環(huán)畫顯示數(shù)據(jù)來使得連環(huán)畫經(jīng)由稍后描述的顯示控制單元115 被顯示在顯示單元(未在圖中示出)上。 顯示控制單元115例如由CPU、ROM、RAM等構(gòu)成。顯示控制單元115獲取存儲(chǔ)單元 117等中所記錄的與顯示屏幕上所要顯示的內(nèi)容相對(duì)應(yīng)的數(shù)據(jù)，并且在顯示屏幕上顯示所 獲得的數(shù)據(jù)。當(dāng)顯示控制單元115從信息處理設(shè)備10上所布置的輸入單元接收表示諸如 鼠標(biāo)指針之類的位置選擇對(duì)象的移動(dòng)的信號(hào)時(shí)，顯示控制單元115根據(jù)所接收到的信號(hào)在 顯示屏幕上顯示位置選擇對(duì)象的移動(dòng)。當(dāng)連環(huán)畫顯示執(zhí)行單元113請(qǐng)求顯示控制單元115 改變顯示內(nèi)容時(shí)，顯示控制單元115基于來自連環(huán)畫顯示執(zhí)行單元113的請(qǐng)求來改變顯示 屏幕上所顯示的顯示內(nèi)容。 存儲(chǔ)單元117存儲(chǔ)利用視頻相機(jī)、便攜式電話等拍攝的運(yùn)動(dòng)圖片數(shù)據(jù)，并且還存 儲(chǔ)各種運(yùn)動(dòng)圖片數(shù)據(jù)(例如，諸如TV內(nèi)容之類的運(yùn)動(dòng)圖片內(nèi)容)。存儲(chǔ)單元117還存儲(chǔ)顯 示屏幕上所要顯示的對(duì)象數(shù)據(jù)。這里所提及的對(duì)象數(shù)據(jù)例如是構(gòu)成諸如圖標(biāo)、按鈕和縮略 之類的圖形用戶接口 (GUI)的任何部分。 存儲(chǔ)單元117也可以在必要時(shí)存儲(chǔ)當(dāng)根據(jù)本實(shí)施例的信息處理設(shè)備10執(zhí)行某些 處理時(shí)被保存的各種數(shù)據(jù)庫或中間數(shù)據(jù)和各種參數(shù)。存儲(chǔ)單元117可以被以下單元自由讀 寫運(yùn)動(dòng)圖片數(shù)據(jù)獲取單元101、運(yùn)動(dòng)圖片分析單元103、音頻提取單元105、連環(huán)畫顯示變 換單元107、幀圖像數(shù)據(jù)生成單元109、連環(huán)畫顯示數(shù)據(jù)生成單元111、連環(huán)畫顯示執(zhí)行單元 113、顯示控制單元115等。 [cms][運(yùn)動(dòng)圖片分析單元103的配置] 隨后，將參考圖4至圖6來詳細(xì)描述根據(jù)本實(shí)施例的運(yùn)動(dòng)圖片分析單元103的配 置。圖4是圖示出根據(jù)本實(shí)施例的運(yùn)動(dòng)圖片分析單元103的配置的框圖。圖5和圖6是用 于圖示出運(yùn)動(dòng)圖片元數(shù)據(jù)的說明性示圖。 例如，如圖4中所示，運(yùn)動(dòng)圖片分析單元103主要包括運(yùn)動(dòng)圖片數(shù)據(jù)劃分單元131、 臉檢測(cè)單元133、場(chǎng)景轉(zhuǎn)變檢測(cè)單元135、攝影操作檢測(cè)單元137、音頻分析單元139和運(yùn)動(dòng) 圖片元數(shù)據(jù)生成單元141。 運(yùn)動(dòng)圖片數(shù)據(jù)劃分單元131例如由CPU、ROM、RAM等構(gòu)成。運(yùn)動(dòng)圖片數(shù)據(jù)劃分單元 131將從運(yùn)動(dòng)圖片數(shù)據(jù)獲取單元101傳送的運(yùn)動(dòng)圖片數(shù)據(jù)劃分成圖像數(shù)據(jù)和音頻數(shù)據(jù)。運(yùn) 動(dòng)圖片數(shù)據(jù)劃分單元131將所獲得的運(yùn)動(dòng)圖片數(shù)據(jù)傳送給幀圖像數(shù)據(jù)生成單元109、臉檢 測(cè)單元133、場(chǎng)景轉(zhuǎn)變檢測(cè)單元135和攝影操作檢測(cè)單元137。運(yùn)動(dòng)圖片數(shù)據(jù)劃分單元131 還將所獲得的音頻數(shù)據(jù)傳送給音頻分析單元139。臉檢測(cè)單元133例如由CPU、ROM、RAM等構(gòu)成。臉檢測(cè)單元133在構(gòu)成運(yùn)動(dòng)圖片的幀圖像的每一個(gè)幀圖像中檢測(cè)人臉。當(dāng)在幀圖像中存在人臉時(shí)，臉檢測(cè)單元133還執(zhí)行對(duì) 有關(guān)人臉的各種信息(例如，圖像中存在的臉的數(shù)目、臉是否正在笑、臉的位置、臉的方向 以及臉是否被縮放)的檢測(cè)。當(dāng)臉檢測(cè)單元133執(zhí)行以上檢測(cè)時(shí)，臉檢測(cè)單元133例如可 以參考存儲(chǔ)單元117等中之前存儲(chǔ)的檢測(cè)數(shù)據(jù)庫等并且可以執(zhí)行檢測(cè)程序等。
在以上檢測(cè)結(jié)果中，對(duì)于可以用兩個(gè)值(S卩"是/否")來表示的諸如臉是否存在、 臉是否在笑以及臉是否被縮放之類的項(xiàng)目的檢測(cè)結(jié)果，臉檢測(cè)單元133在"是"的情況中輸 出值"1"，并且在"否"的情況中輸出值"0"。對(duì)于諸如臉的方向和圖像中所存在的臉的數(shù) 目之類的項(xiàng)目，臉檢測(cè)單元133可以原樣輸出檢測(cè)結(jié)果或可以輸出被根據(jù)預(yù)定的變換方法 變換成值的檢測(cè)結(jié)果。 臉檢測(cè)單元133將這些檢測(cè)結(jié)果傳送給稍后描述的運(yùn)動(dòng)圖片元數(shù)據(jù)生成單元 141。 場(chǎng)景轉(zhuǎn)變檢測(cè)單元135例如由CPU、 R0M、 RAM等構(gòu)成。場(chǎng)景轉(zhuǎn)變檢測(cè)單元135在 構(gòu)成運(yùn)動(dòng)圖片的幀圖像中的每個(gè)幀圖像中是否發(fā)送場(chǎng)景轉(zhuǎn)變，并且輸出檢測(cè)結(jié)果作為被稱 為場(chǎng)景變化得分的值。場(chǎng)景變化得分是表示感興趣的幀圖像與之前的幀圖像有多不同的數(shù) 值。換而言之，場(chǎng)景變化得分表示感興趣的幀圖像和之前的幀圖像之間的類似程度。該場(chǎng)景 變化得分例如可以用色彩柱狀圖來定義。當(dāng)場(chǎng)景轉(zhuǎn)變檢測(cè)單元135執(zhí)行以上檢測(cè)時(shí)，場(chǎng)景 轉(zhuǎn)變檢測(cè)單元135例如可以參考存儲(chǔ)單元117等中之前所存儲(chǔ)的場(chǎng)景轉(zhuǎn)變檢測(cè)數(shù)據(jù)庫等， 并且可以執(zhí)行檢測(cè)程序等。 場(chǎng)景轉(zhuǎn)變檢測(cè)單元135向稍后描述的運(yùn)動(dòng)圖片元數(shù)據(jù)生成單元141傳送所獲得的 場(chǎng)景變化得分。 攝影操作檢測(cè)單元137例如由CPU、R0M、RAM等構(gòu)成。攝影操作檢測(cè)單元137檢測(cè) 構(gòu)成運(yùn)動(dòng)圖片的幀圖像中的每一個(gè)幀圖像的攝影操作。攝影操作表示當(dāng)拍攝運(yùn)動(dòng)圖片時(shí)諸 如視頻相機(jī)之類的成像設(shè)備是如何移動(dòng)的。更具體而言，例如，攝影操作檢測(cè)單元137比較 感興趣的幀圖像和之前的幀圖像來檢測(cè)成像設(shè)備移動(dòng)的方向并且檢測(cè)成像設(shè)備移動(dòng)的距 離。在這種情況中，攝影操作檢測(cè)單元137可以基于場(chǎng)景轉(zhuǎn)變檢測(cè)單元135的檢測(cè)結(jié)果來 執(zhí)行對(duì)攝影操作的檢測(cè)處理。攝影操作檢測(cè)單元137例如可以參考存儲(chǔ)單元117等中之前 所存儲(chǔ)的攝影操作檢測(cè)數(shù)據(jù)庫，并且可以執(zhí)行檢測(cè)程序等。 這里，成像設(shè)備的移動(dòng)距離例如可以由圖像在幀之間移動(dòng)的像素?cái)?shù)來表示。這樣 檢測(cè)到的攝影操作的示例例如包括固定、左右移動(dòng)、上下移動(dòng)、旋轉(zhuǎn)、放大、縮小等。這里，固 定是指在成像設(shè)備被固定的情況下拍攝運(yùn)動(dòng)圖片。左右移動(dòng)(Panoramic Viewing)是指在 成像設(shè)備在水平方向移動(dòng)的情況下拍攝運(yùn)動(dòng)圖片。上下移動(dòng)是指在成像設(shè)備在垂直方向移 動(dòng)的情況下拍攝運(yùn)動(dòng)圖片。旋轉(zhuǎn)是指在成像設(shè)備沿軸旋轉(zhuǎn)的情況下拍攝運(yùn)動(dòng)圖片。
攝影操作檢測(cè)單元137向稍后描述的運(yùn)動(dòng)圖片元數(shù)據(jù)生成單元141傳送攝影操作 的以上檢測(cè)結(jié)果。 音頻分析單元139例如由CPU、R0M、RAM等構(gòu)成。音頻分析單元139分析從運(yùn)動(dòng)圖 片數(shù)據(jù)劃分單元131傳送的音頻數(shù)據(jù)并且計(jì)算與有關(guān)運(yùn)動(dòng)圖片的音頻數(shù)據(jù)有關(guān)的特征量。 更具體而言，音頻分析單元139分析在與構(gòu)成運(yùn)動(dòng)圖片的幀圖像的每一個(gè)幀圖像相關(guān)聯(lián) 的音頻數(shù)據(jù)中是否存在以下聲音。換而言之，音頻分析單元139對(duì)音頻數(shù)據(jù)執(zhí)行分類處理， 以確定聲音是否是語音、笑聲、諸如"哇"之類的喝彩聲、諸如"砰"之類的鼓掌聲(擬聲)、諸如鼓掌聲之類的歡呼聲或音樂。對(duì)音頻數(shù)據(jù)的分類處理例如可以通過參考存儲(chǔ)單元117
等中之前所存儲(chǔ)的音頻分析數(shù)據(jù)庫等并且執(zhí)行音頻分析程序等來執(zhí)行。 例如，音頻分析單元139也可以分析聲音數(shù)據(jù)的音量，并且例如可以對(duì)聲音進(jìn)行
量化并且將其作為數(shù)值輸出。當(dāng)音頻數(shù)據(jù)包括人發(fā)出的聲音(例如，語音或笑聲)時(shí)，音頻
分析單元139還可以執(zhí)行確定該聲音是由男人、女人還是孩子等發(fā)出的分析。以上分析例
如可以通過參考表示音頻的譜并且分析相應(yīng)波形的幅度、音頻數(shù)據(jù)的頻率等來執(zhí)行。 音頻分析單元139向運(yùn)動(dòng)圖片元數(shù)據(jù)生成單元141傳送以上分析結(jié)果。 運(yùn)動(dòng)圖片元數(shù)據(jù)生成單元141例如由CPU、R0M、RAM等構(gòu)成。運(yùn)動(dòng)圖片元數(shù)據(jù)生成
單元141收集從臉檢測(cè)單元133、場(chǎng)景轉(zhuǎn)變檢測(cè)單元135、攝影操作檢測(cè)單元137、音頻分析
單元139等傳送的檢測(cè)結(jié)果和分析結(jié)果，并且生成與表征運(yùn)動(dòng)圖片特征的特征量有關(guān)的運(yùn)
動(dòng)圖片元數(shù)據(jù)。 圖5示出由運(yùn)動(dòng)圖片元數(shù)據(jù)生成單元141生成的運(yùn)動(dòng)圖片元數(shù)據(jù)中所包括的檢測(cè) 結(jié)果或分析結(jié)構(gòu)的示例。如圖5中所示，運(yùn)動(dòng)圖片元數(shù)據(jù)包括與從圖像數(shù)據(jù)提取出的特征 量有關(guān)的元數(shù)據(jù)和與從音頻數(shù)據(jù)提取出的特征量有關(guān)的元數(shù)據(jù)。圖6圖示出與運(yùn)動(dòng)圖片元 數(shù)據(jù)中所包括的多個(gè)特征量中的"是否為臉"、"臉的數(shù)量"、"是否存在語音"、"是否存在笑 聲"有關(guān)的特征量。在圖6中，在圖表中表示出特征量的各個(gè)值。在圖6中所示的每個(gè)圖表 中，橫坐標(biāo)表示與運(yùn)動(dòng)圖片數(shù)據(jù)相關(guān)聯(lián)的時(shí)間或附到構(gòu)成運(yùn)動(dòng)圖片的幀圖像的編號(hào)，并且 縱坐標(biāo)表示特征量。圖6示出每個(gè)特征量是1或0任一者的情況，但是，即使在每個(gè)特征量 是0和1之間的連續(xù)值的情況中，也可以以相同方式應(yīng)用本實(shí)施例。 如圖6中所示，在運(yùn)動(dòng)圖片元數(shù)據(jù)中，針對(duì)構(gòu)成運(yùn)動(dòng)圖片的所有圖像以及針對(duì)與 這些圖像相關(guān)聯(lián)的音頻，按照時(shí)間順序分別描述各個(gè)特征量的值。運(yùn)動(dòng)圖片元數(shù)據(jù)不必是 圖6中所示的形式。運(yùn)動(dòng)圖片元數(shù)據(jù)可以是描述特征量的表格的形式，在表格中，每一列表 示附到構(gòu)成運(yùn)動(dòng)圖片的幀圖像的編號(hào)。 運(yùn)動(dòng)圖片元數(shù)據(jù)生成單元141向連環(huán)畫顯示變換單元107傳送這樣生成的運(yùn)動(dòng)圖 片元數(shù)據(jù)。 由處理單元執(zhí)行的以上分析方法僅僅是示例，本實(shí)施例不限于以上示例。運(yùn)動(dòng)圖 片分析單元103根據(jù)所要生成的運(yùn)動(dòng)圖片元數(shù)據(jù)可以包括除了以上處理單元以外的各種 分析單元。[連環(huán)畫顯示變換單元107的配置] 接著，將參考圖7至圖22來詳細(xì)描述根據(jù)本實(shí)施例的連環(huán)畫顯示變換單元107的 配置。首先，將參考圖7來詳細(xì)描述連環(huán)畫顯示變換單元107的整體配置。圖7是用于圖 示出根據(jù)本實(shí)施例的連環(huán)畫顯示變換單元107的配置的框圖。 例如，如圖7中所示，連環(huán)畫顯示變換單元107包括摘要得分計(jì)算單元151、縮略圖 數(shù)目確定單元153、攝影操作元數(shù)據(jù)利用單元155、圖像大小確定單元157、幀圖像布置單元 159和效果圖像布置單元161。連環(huán)畫顯示變換單元107還包括用于收集由以上處理單元 生成的各種信息并且用于生成幀信息的幀信息生成單元163。 摘要得分計(jì)算單元151例如由CPU、ROM、RAM等構(gòu)成。對(duì)于構(gòu)成運(yùn)動(dòng)圖片的多個(gè)圖 像中的每一個(gè)圖像，摘要得分計(jì)算單元151基于所傳送的運(yùn)動(dòng)圖片元數(shù)據(jù)來計(jì)算摘要得分 (以下簡(jiǎn)稱為DS)，即通過對(duì)多個(gè)特征量求加權(quán)和獲得的值。
例如，如圖8中所示，針對(duì)用于計(jì)算摘要得分的運(yùn)動(dòng)圖片元數(shù)據(jù)中的特征量設(shè)置 加權(quán)系數(shù)。在圖8中，例如，與"是否存在臉"有關(guān)的特征量"臉"被設(shè)置加權(quán)系數(shù)0.7，并且 與"臉的數(shù)量"有關(guān)的特征量"臉計(jì)數(shù)"被設(shè)置加權(quán)系數(shù)1. 2。與"臉是否被縮放"有關(guān)的特 征量"臉縮放"被設(shè)置加權(quán)系數(shù)1. 5，并且與"臉是否在笑"有關(guān)的特征量"笑檢"被設(shè)置加 權(quán)系數(shù)1.0。 此外，不僅與圖像數(shù)據(jù)有關(guān)的以上運(yùn)動(dòng)圖片元數(shù)據(jù)而且與音頻數(shù)據(jù)有關(guān)的運(yùn)動(dòng)圖 片元數(shù)據(jù)都被以相同方式設(shè)置加權(quán)系數(shù)。例如，在圖8中，與"是否存在語音"有關(guān)的特征 量"語音"被設(shè)置加權(quán)系數(shù)1.0，并且與"是否存在笑聲"有關(guān)的特征量"笑聲"被設(shè)置加權(quán) 系數(shù)2. 2。與"是否存在喝彩聲"有關(guān)的特征量"喝彩"被設(shè)置加權(quán)系數(shù)3. 6，并且與"是否 存在鼓掌聲"有關(guān)的特征量"鼓掌聲"被設(shè)置加權(quán)系數(shù)1.8。與"是否存在鼓掌聲"有關(guān)的特 征量"鼓掌聲"被設(shè)置加權(quán)系數(shù)2.7，并且與"是否存在音樂"有關(guān)的特征量"音樂"被設(shè)置 加權(quán)系數(shù)1.2。 摘要得分DS是使用這些加權(quán)系數(shù)和運(yùn)動(dòng)圖片元數(shù)據(jù)中所包括的特征量來計(jì)算 的。摘要得分DS是通過分別將特征量乘以它們的加權(quán)系數(shù)并且將DS的計(jì)算中使用的所有 經(jīng)加權(quán)的特征量加和來計(jì)算的。 圖8中的所示的加權(quán)系數(shù)表示每個(gè)特征量對(duì)使得視頻場(chǎng)景令人興奮有多大貢獻(xiàn)。 在圖8的示例中，以下特征量的加權(quán)系數(shù)被設(shè)置成相對(duì)較大的值與"臉是否被縮放"有關(guān) 的特征量的加權(quán)系數(shù)，與"是否存在笑聲"有關(guān)的特征量的加權(quán)系數(shù)，與"是否存在喝彩聲" 有關(guān)的特征量的加權(quán)系數(shù)，與"是否存在鼓掌聲"有關(guān)的特征量的加權(quán)系數(shù)以及與"是否存 在歡呼聲"有關(guān)的特征量的加權(quán)系數(shù)。這基于以下經(jīng)驗(yàn)規(guī)則具有聲音的視頻場(chǎng)景和人被 縮放的視頻場(chǎng)景更有可能"令人感興趣"或"令人興奮"。可替換地，通過統(tǒng)計(jì)學(xué)習(xí)獲得的參 數(shù)可以用作加權(quán)系數(shù)，或者可以允許用戶輸入和設(shè)置加權(quán)系數(shù)。此外，這些加權(quán)系數(shù)可以響 應(yīng)于來自用戶的反饋被更新。 如上所述，各種運(yùn)動(dòng)圖片元數(shù)據(jù)被加權(quán)，并且具有各種特征的場(chǎng)景可以被提取出 作為令人興奮的場(chǎng)景。這些令人興奮的場(chǎng)景可以被自動(dòng)檢測(cè)到以反映運(yùn)動(dòng)圖片的特征。
摘要得分計(jì)算單元151可以向稍后描述的縮略圖數(shù)目確定單元153傳送這樣計(jì)算 出的摘要得分DS。 縮略圖數(shù)目確定單元153例如由CPU、ROM、RAM等構(gòu)成?？s略圖數(shù)目確定單元153 基于所傳送的摘要得分從構(gòu)成運(yùn)動(dòng)圖片數(shù)據(jù)的多個(gè)圖像中提取要被布置在幀中的縮略圖 像，并且確定縮略圖像的數(shù)目。以下，將參考圖9來詳細(xì)描述縮略圖像的提取方法。
如上所述，摘要得分計(jì)算單元151針對(duì)構(gòu)成運(yùn)動(dòng)圖片的所有幀圖像來計(jì)算摘要得 分。然后，縮略圖數(shù)目確定單元153計(jì)算摘要得分在構(gòu)成運(yùn)動(dòng)圖片的所有幀圖像中的分布， 并且計(jì)算感興趣的運(yùn)動(dòng)圖片數(shù)據(jù)的摘要得分的中值(Median)。以下，例如，如圖9中所示， 縮略圖數(shù)目確定單元153提取出所具有的摘要得分等于或大于所計(jì)算出的中值的幀圖像 作為縮略圖像的候選。當(dāng)縮略圖像的候選是以這種方式提取的時(shí)，有可能在剪除具有低摘 要得分并且被認(rèn)為是不令人興奮的幀圖像的同時(shí)提取令人興奮的場(chǎng)景。
以下，將按照步驟順次具體描述縮略圖數(shù)目確定單元153如何從所具有的摘要得 分等于或大于中值的幀圖像中采用用于縮略圖像的幀。在這種情況中，如果縮略圖數(shù)目確 定單元153簡(jiǎn)單地采用所具有的摘要得分等于或大于中值的所有幀圖像，則將列出大量類似圖像的幀，這會(huì)引起幀的布置變得單調(diào)的問題。可替換地，如果縮略圖數(shù)目確定單元153 簡(jiǎn)單地按照摘要得分的降序來采用幀圖像，則列出相似大小的大幀，這可能無法實(shí)現(xiàn)動(dòng)態(tài) 的幀布置。因此，為了避免這樣的情況，如下選擇縮略圖像。 首先，縮略圖數(shù)目確定單元153判斷運(yùn)動(dòng)圖片元數(shù)據(jù)中所包括的場(chǎng)景變化得分是 否等于或大于預(yù)定的閾值。當(dāng)該場(chǎng)景變化得分大時(shí)，認(rèn)為該場(chǎng)景已經(jīng)變?yōu)榱硪粓?chǎng)景，并且可 以檢測(cè)場(chǎng)景中的變化。當(dāng)場(chǎng)景變化得分大于閾值時(shí)，縮略圖數(shù)目確定單元153認(rèn)定該圖片 由于相機(jī)移動(dòng)太多是模糊的，并且不采用該圖像作為縮略圖像并且移除該圖像。具體地，在 私人的視頻內(nèi)容中，當(dāng)相機(jī)快速移動(dòng)時(shí)，場(chǎng)景變換得分趨向于快速增大。在這樣的情況中拍 攝的圖像通常是模糊的和不太好的，并且因此，這樣的圖像不被用作縮略圖像。
接著，縮略圖數(shù)目確定單元153計(jì)算摘要得分的分布和中值。如上所述，中值被用 來確定幀圖像是否要被用作縮略圖像。 當(dāng)作為縮略圖像的候選的幀圖像的數(shù)目等于或大于預(yù)定的設(shè)置值m時(shí)，縮略圖數(shù) 目確定單元153設(shè)置閾值T二中值。當(dāng)作為縮略圖像的候選的幀圖像的數(shù)目少于設(shè)置值m 時(shí)，縮略圖數(shù)目確定單元153設(shè)置閾值T二最小摘要得分。應(yīng)當(dāng)注意，以上設(shè)置值例如可以 被設(shè)置為約100。該處理被執(zhí)行以防止當(dāng)再現(xiàn)時(shí)間很短時(shí)，所顯示的幀的數(shù)目太少。
隨后，縮略圖數(shù)目確定單元153確定不采用連續(xù)地具有相同摘要得分或具有小于 T的摘要得分的候選者。該處理被執(zhí)行來避免具有高的摘要得分的幀被用作令人興奮的場(chǎng) 景以及相同場(chǎng)景中具有相同興奮度的幀被連續(xù)采用的情況。如果具有相同興奮度的幀連續(xù) 出現(xiàn)，則連續(xù)列出相同大小的類似幀，這會(huì)給出單調(diào)的印象。因此，不采用這樣的幀。
以下，縮略圖數(shù)目確定單元153計(jì)算所采用的幀圖像的總數(shù)，并且當(dāng)該總數(shù)等于 或大于預(yù)定閾值時(shí)，執(zhí)行跳過處理。這里使用的閾值是根據(jù)所要顯示的頁面數(shù)來確定的。從 所采用的幀中，僅可以安插在頁面中的幀被用作縮略圖像。例如，縮略圖數(shù)目確定單元153 可以按摘要得分的降序排列幀圖像并且以恒定間隔跳過幀圖像。從而，可以執(zhí)行跳過處理， 而同時(shí)保持摘要得分的分布。 最終，縮略圖數(shù)目確定單元153在具有小的摘要得分的幀連續(xù)出現(xiàn)的情況中執(zhí)行 跳過處理。當(dāng)類似的小幀在運(yùn)動(dòng)圖片的連環(huán)畫式的顯示中連續(xù)出現(xiàn)時(shí)，幀的布置是按順序 的，這給出非常單調(diào)的印象。由于小的幀趨向于具有小的摘要得分，所以，通過優(yōu)選跳過這 樣的幀可以使幀的布置更類似連環(huán)畫。縮略圖數(shù)目確定單元153采用在以上放映之后仍然 保留的幀圖像，作為連環(huán)畫顯示中的幀(即，縮略圖像)。此后，這些縮略圖像可以稱為代表 幀(或代表幀圖像)。 當(dāng)縮略圖數(shù)目確定單元153如上所述選擇要被用作縮略圖像的幀圖像時(shí)，縮略圖 數(shù)目確定單元153隨后選擇要用于幀中縮略圖像的動(dòng)畫的圖像(以下，可以稱為動(dòng)畫幀圖 像)。更具體而言，如圖10中所示，縮略圖數(shù)目確定單元153提取預(yù)定時(shí)間的與所提取出 的縮略圖像(代表幀圖像)中的每一個(gè)連接的幀圖像作為動(dòng)畫幀圖像。當(dāng)提取動(dòng)畫幀圖像 時(shí)，不考慮摘要得分的大小。提取幀圖像的"預(yù)定時(shí)間"可以被設(shè)置為任何值。例如，預(yù)定 時(shí)間可以被設(shè)置為使得包括代表幀的動(dòng)畫持續(xù)l秒的值。例如，當(dāng)運(yùn)動(dòng)圖片數(shù)據(jù)的幀頻是 30FPS(幀每秒)時(shí)，1秒的幀圖像數(shù)約為30幀。 縮略圖數(shù)目確定單元153設(shè)置圖像數(shù)目信息，S卩，有關(guān)如上所述所提取的縮略圖 像(代表幀)和縮略圖像的數(shù)目的信息和有關(guān)動(dòng)畫幀的信息。這里，有關(guān)縮略圖像和縮略
16圖像的數(shù)目的信息例如描述從運(yùn)動(dòng)圖片的第個(gè)幀圖像開始哪些編號(hào)的幀圖像被選作縮略 圖像以及總共存在多少縮略圖像?？s略圖數(shù)目確定單元153將該圖像數(shù)目信息傳送給后述 圖像大小確定單元157和幀信息生成單元163。 在以上說明中，已經(jīng)描述了縮略圖數(shù)目確定單元153選擇預(yù)設(shè)時(shí)間的動(dòng)畫幀圖像 的情況?？商鎿Q地，可以使用運(yùn)動(dòng)圖片元數(shù)據(jù)中所包括的有關(guān)攝影操作的特征量來動(dòng)態(tài)地 改變所選擇的動(dòng)畫幀圖像的數(shù)目。該處理例如由稍后描述的攝影操作元數(shù)據(jù)利用單元155 執(zhí)行。 攝影操作元數(shù)據(jù)利用單元155例如由CPU、R0M、RAM等構(gòu)成。攝影操作元數(shù)據(jù)利用 單元155基于有關(guān)攝影操作的運(yùn)動(dòng)圖片元數(shù)據(jù)來確定由縮略圖數(shù)目確定單元153提取作為 動(dòng)畫幀圖像的的圖像的數(shù)目。 在說明攝影操作元數(shù)據(jù)利用單元155之前，將首先簡(jiǎn)要描述如果不考慮攝影操作 來選擇動(dòng)畫幀圖像將發(fā)生什么。 例如，如圖1中所示，當(dāng)諸如鼠標(biāo)指針之類的位置選擇對(duì)象被置于圖像上時(shí)開始 的動(dòng)畫(縮略圖動(dòng)畫)對(duì)于理解整個(gè)運(yùn)動(dòng)圖片的內(nèi)容是有用的，并且還可以用作運(yùn)動(dòng)圖片 的內(nèi)容的索引或概要。然而，當(dāng)動(dòng)畫在沒有考慮攝影操作的情況下被簡(jiǎn)單再現(xiàn)時(shí)，由相機(jī)的 大量移動(dòng)引起的屏幕上的主要變化使得用戶難以看見屏幕(幀)，因?yàn)槠聊?幀)很小。結(jié) 果，動(dòng)畫有可能看起來不自然。當(dāng)圖像快速改變時(shí)(例如，屏幕上所示出的圖像快速地從一 個(gè)人變成另一個(gè)人的情況)，用作運(yùn)動(dòng)圖片內(nèi)容概要的動(dòng)畫的故事可能變得不一致。當(dāng)動(dòng)畫 被簡(jiǎn)單地再現(xiàn)時(shí)，動(dòng)畫可能看起來單調(diào)。因此，需要一種例如用于剪除動(dòng)畫中相機(jī)移動(dòng)大的 部分并且響應(yīng)于場(chǎng)景變化而進(jìn)一步切換再現(xiàn)的技術(shù)。在本實(shí)施例中，如下所述的攝影操作 元數(shù)據(jù)利用單元155被設(shè)置為使得能夠考慮攝影操作來選擇動(dòng)畫幀圖像。
攝影操作元數(shù)據(jù)利用單元155從縮略圖數(shù)目確定單元153接收?qǐng)D像數(shù)目信息。攝 影操作元數(shù)據(jù)利用單元155基于與圖像數(shù)目信息中所描述的與動(dòng)畫幀圖像有關(guān)的運(yùn)動(dòng)圖 片元數(shù)據(jù)中所描述的攝影操作有關(guān)的特征量來計(jì)算攝影操作的積分值。這里，存在兩種攝 影操作積分值，即，通過對(duì)攝影操作的絕對(duì)值進(jìn)行積分獲得的積分值和通過對(duì)攝影操作本 身的值進(jìn)行積分(而不考慮攝影操作的絕對(duì)值)獲得的積分值。在本實(shí)施例中，可以使用 以上兩種攝影操作。攝影操作的絕對(duì)值的積分值是指相機(jī)移動(dòng)的總距離。當(dāng)在不考慮絕對(duì) 值的情況下使用積分值時(shí)，當(dāng)相機(jī)返回移動(dòng)前原來的位置或原來的方向時(shí)，攝影操作的積 分值返回0，這使得除非基于關(guān)于初始位置的相對(duì)值，否則不可能估計(jì)攝影操作的量。然而， 在不考慮絕對(duì)值的情況下使用的積分值具有能夠容忍相機(jī)的晃動(dòng)和噪聲的優(yōu)勢(shì)。相對(duì)地， 攝影操作的絕對(duì)值的積分值可能受手的晃動(dòng)和噪聲的影響，但是不論相機(jī)向哪個(gè)方向移動(dòng) 總是增加，因此，具有可以基于相機(jī)的總的移動(dòng)距離來容易地估計(jì)積分值的優(yōu)勢(shì)。
攝影操作元數(shù)據(jù)利用單元155通過使用所計(jì)算出的攝影操作積分值和預(yù)設(shè)的閾 值TH來確定動(dòng)畫幀圖像的數(shù)目。以下，將參考圖IIA和圖IIB來詳細(xì)描述由攝影操作元數(shù) 據(jù)利用單元155用來確定動(dòng)畫幀圖像的數(shù)目的方法。圖IIA和圖IIB示出通過使用攝影操 作的絕對(duì)值的積分值來確定動(dòng)畫幀圖像的數(shù)目的方法。當(dāng)在不考慮絕對(duì)值的情況下使用攝 影操作的積分值時(shí)，積分值可能是負(fù)值，并且因此，可以通過設(shè)置絕對(duì)值相等的正的和負(fù)的 閾值TH( S卩，通過設(shè)置閾值+TH和-TH)來確定圖像的數(shù)目。 例如，如圖IIA和圖11B中所示，攝影操作元數(shù)據(jù)利用單元155檢測(cè)攝影操作的絕對(duì)值的積分值等于或大于預(yù)定閾值TH的i個(gè)幀，并且利用預(yù)定設(shè)置值n將從0到i的區(qū)間
劃分成n個(gè)相等的部分。以下，攝影操作元數(shù)據(jù)利用單元155通過使用i/n的值來選擇動(dòng)
畫幀圖像。例如，在圖IIA和圖IIB中，在原點(diǎn)O為代表幀的位置的情況中，具有的幀編號(hào)
與(i/n)，2X (i/n)，…，nX(i/n) = i最接近的幀圖像被選作動(dòng)畫幀圖像。 這里，設(shè)置值是根據(jù)攝影操作的積分值來確定的，以與動(dòng)畫幀圖像的數(shù)目相對(duì)應(yīng)。
例如，n被設(shè)置為使得n = 2至12，并且n根據(jù)積分值被設(shè)置為n = 2，4，S，12等。更具體
而言，當(dāng)攝影操作的積分值大時(shí)，n被設(shè)置為小的值。當(dāng)攝影操作的積分值小時(shí)，n被設(shè)置為
大的值。可以通過任何使用攝影操作的積分值的方法來確定設(shè)置值n。例如，可以基于以下
準(zhǔn)則來確定設(shè)置值n。以下，F(xiàn)PS表示運(yùn)動(dòng)圖片數(shù)據(jù)的幀頻。("n = 2，其中，攝影操作的積分值> (0. 1XFPSX2) (2)n = 4，其中，(0. 1XFPSX2) >攝影操作的積分值> (0. 1XFPSX1) (3)n = 8，其中，(0. 1XFPSX1) >攝影操作的積分值> (0. 1XFPSX0.5) (4)n = 12，其中，(0. 1XFPSX0. 5) ^攝影操作的積分值 如上所述，與動(dòng)畫幀圖像的數(shù)目相對(duì)應(yīng)的設(shè)置值n被確定，使得動(dòng)畫幀圖像可以 根據(jù)攝影操作是大還是小被動(dòng)態(tài)確定。換而言之，在如圖IIA中所示，攝影操作相對(duì)小的情 況中，攝影操作的積分值不容易達(dá)到閾值TH。因此，當(dāng)攝影操作的積分值達(dá)到閾值TH時(shí)，幀 的數(shù)目趨向于為接近30的值。在攝影操作的積分值相對(duì)小的情況中，設(shè)置值n被設(shè)置為大 的值，并且因此，可以自從O至i的相對(duì)大的區(qū)間中選擇許多圖像。在圖像是利用小的攝影 操作拍攝的情況中，圖像幾乎不改變。因此，通過增加動(dòng)畫幀圖像的數(shù)目可以流暢地再現(xiàn)動(dòng) 畫。 相對(duì)地，在如圖11B中所示攝影操作相對(duì)大的情況中，攝影操作的積分值容易達(dá) 到閾值TH。因此，當(dāng)攝影操作的積分值達(dá)到閾值TH時(shí)，值i趨向于是小的值。在攝影操作 的積分值相對(duì)大的情況中，設(shè)置值n被設(shè)置為小的值，并且因此，從自0至i的相對(duì)小的區(qū) 間中選擇較少的圖像。在圖像是利用大的攝影操作拍攝的情況中，圖像大大改變。因此，通 過減少動(dòng)畫的數(shù)目n可以選擇最接近的幀圖像(g卩，高度類似的圖像)。
此外，攝影操作元數(shù)據(jù)利用單元155根據(jù)攝影操作的積分值的大小來設(shè)置包括縮 略圖像和動(dòng)畫幀圖像的動(dòng)畫的再現(xiàn)速度。更具體而言，當(dāng)所選擇的動(dòng)畫幀圖像的數(shù)目大時(shí)， 攝影操作元數(shù)據(jù)利用單元155將再現(xiàn)速度設(shè)置為大的值來快速再現(xiàn)動(dòng)畫。當(dāng)所選擇的動(dòng)畫 幀圖像的數(shù)目小時(shí)，攝影操作元數(shù)據(jù)利用單元155將再現(xiàn)速度設(shè)置為小的值來以慢速再現(xiàn) 動(dòng)畫。具體地，例如，如下設(shè)置動(dòng)畫的再現(xiàn)速度 (1)再現(xiàn)速度=l(FPS)，其中，動(dòng)畫圖像的數(shù)目(n)是2或更少
(2)再現(xiàn)速度=2(FPS)，其中，動(dòng)畫圖像的數(shù)目(n)是多于2少于4或是4
(3)再現(xiàn)速度=8(FPS)，其中，動(dòng)畫圖像的數(shù)目(n)是多于4少于8或是8
(4)再現(xiàn)速度=24(FPS)，其中，動(dòng)畫圖像的數(shù)目(n)多于8 攝影操作元數(shù)據(jù)利用單元155可以通過執(zhí)行如上所述的處理來從多個(gè)候選的動(dòng) 畫幀圖像中采用類似的幀圖像，從而能夠防止突然的場(chǎng)景變化并且能夠生成自然的動(dòng)畫。
接著，將參考圖7來描述圖像大小確定單元157。圖像大小確定單元157例如由 CPU、ROM、RAM等構(gòu)成。圖像大小確定單元157基于摘要得分來確定預(yù)定顯示區(qū)域中所放置 的縮略圖像的大小。
更具體而言，例如如圖12中所示，圖像大小確定單元157按照摘要得分的降序來 對(duì)構(gòu)成運(yùn)動(dòng)圖片的所有圖像進(jìn)行分類。然后，圖像大小確定單元157確定具有最高的若干 百分比的摘要得分(例如，最高的3%)的圖像不用于確定圖像的大小，因?yàn)檫@樣的圖像是 離群值(outlier value)。以下，圖像大小確定單元157根據(jù)摘要得分的大小來劃分摘要得 分等于或大于中值但是小于離群值的圖像劃分成m個(gè)相等的部分，并且生成m個(gè)級(jí)別的圖 像大小。這里，設(shè)置值m可以根據(jù)屏幕上所顯示的顯示區(qū)域的大小等被設(shè)置為任何值。例 如，設(shè)置值m可以被設(shè)為2或3 。 圖12示出設(shè)置兩個(gè)級(jí)別的圖像大小的情況。在圖12中，圖像大小B小于圖像大 小A。圖像大小確定單元157針對(duì)從縮略圖數(shù)目確定單元153傳送的圖像數(shù)目信息中所描 述的縮略圖像，確定相應(yīng)圖像的摘要得分屬于圖12中所示的圖像大小A中的區(qū)域或圖像 大小B中的區(qū)域中的哪一個(gè)。根據(jù)該確定結(jié)果，圖像大小確定單元157確定圖像數(shù)目信息 中所描述的所有縮略圖像的圖像大小。當(dāng)圖像大小被以這種方式確定時(shí)，具有相對(duì)大的摘 要得分的圖像具有相對(duì)大的圖像大小，并且具有相對(duì)小的摘要得分的圖像具有小的圖像大 小。從而，在根據(jù)本實(shí)施例的信息處理設(shè)備10中，可以根據(jù)興奮度來自動(dòng)確定圖像大小。
當(dāng)所選擇的縮略圖像具有指示了在圖像中存在臉的運(yùn)動(dòng)圖片數(shù)據(jù)時(shí)，圖像大小確 定單元157以放大面部區(qū)域(即示出臉的區(qū)域)的方式來確定圖像大小。當(dāng)圖像中存在多 個(gè)面部區(qū)域時(shí)，圖像大小確定單元157以使得所有面部區(qū)域都被包括在該圖像中的方式來 放大圖像數(shù)據(jù)的大小。 例如，如圖13中所示，僅包括一個(gè)面部區(qū)域的幀圖像a被選作縮略圖像，圖像大小 確定單元157以放大面部區(qū)域的方式來確定連環(huán)畫顯示屏幕的圖像大小。當(dāng)包括兩個(gè)面部 區(qū)域的幀圖像b被選作縮略圖像時(shí)，圖像大小確定單元157以使得這兩個(gè)面部區(qū)域都被包 括在圖像中的方式放大圖像。 圖像大小確定單元157設(shè)置幀圖像信息，S卩，有關(guān)這樣設(shè)置的縮略圖像的大小的 信息(動(dòng)畫幀圖像的大小)，并且將幀圖像信息傳送給稍后描述的幀圖像布置單元159和幀 信息生成單元163。 隨后，將還參考圖7來描述幀圖像布置單元159。幀圖像布置單元159例如由CPU、 R0M、RAM等構(gòu)成。幀圖像布置單元159將已圖像大小確定的縮略圖像以預(yù)定次序布置到幀 中。以下，將參考圖14至圖17來詳細(xì)描述由幀圖像布置單元159執(zhí)行的幀布置處理。
如上所述，幀圖像布置單元159將圖像大小已確定的縮略圖像布置到顯示區(qū)域 上。在這種情況中，幀圖像布置單元159通過按照視頻的時(shí)間順序布置圖像來實(shí)現(xiàn)反映視 頻內(nèi)容的幀布置。普通的連環(huán)畫書基本上在一頁中包括多行，并且每一行包括多個(gè)幀。這 樣的連環(huán)畫書的讀者通過從左到右讀一行中包括的幀并且在到達(dá)這些幀的結(jié)尾時(shí)移到下 一行來理解連環(huán)畫書的內(nèi)容。在該方法中，以與實(shí)際的連環(huán)畫書相同的方式，將縮略圖像從 左到右布置在每一行中，并且從上到下布置行。 為了實(shí)現(xiàn)與右翻書相同的頁面順序，幀圖像布置單元159在將縮略圖像布置到某 一行中時(shí)從右向左布置縮略圖像。相反，為了實(shí)現(xiàn)與左翻書相同的頁面順序，幀圖像布置單 元159在將縮略圖像布置在某一行中時(shí)，從左向右布置縮略圖像。 圖14是示出縮略圖像的示例性布置的說明性示圖。在圖14中，假定為與右翻書相 同的頁面順序。在顯示區(qū)域301中，布置16個(gè)縮略圖像(在圖中表示為Pic. l至Pic. 16)。在圖14中，所附加的編號(hào)Pic. 1至Pic. 16是依照運(yùn)動(dòng)圖片的時(shí)間順序的。 在這種情況中，幀圖像布置單元159定義具有與最小的縮略圖像的大小相同的大
小的區(qū)域作為布置單位框501。布置單位框501用作布置縮略圖像的一行。幀圖像布置單
元159可以通過在放大布置單位框501的同時(shí)布置縮略圖像來實(shí)現(xiàn)如圖14中所示的圖像
布置。然而，如果縮略圖像被簡(jiǎn)單地布置，可能在圖像之間存在空缺。在這樣的情況中，放
大縮略圖像以實(shí)現(xiàn)連環(huán)畫式的幀布置。 以下，將參考圖15至圖17來以具體方式進(jìn)行說明。首先，幀圖像布置單元159 基于所要布置的圖像的最小大小(最小高度)來設(shè)置布置單位框501(以下，稱為單位幀 501)。幀圖像布置單元159通過使用單位幀501來布置縮略圖像。
如圖15中所示，幀圖像布置單元159判斷縮略圖像是否小于單位幀501，并且按照 時(shí)間順序布置第一縮略圖像，即圖像Pic. 1。當(dāng)布置隨后的縮略圖像Pic.2時(shí)，幀圖像布置 單元159比較單位幀501的高度和縮略圖像Pic. 2的高度并且判斷是否布置該圖像。在圖 15中所示的示例中，縮略圖像Pic. 1的高度和縮略圖像Pic. 2的高度相同，所以，幀圖像布 置單元159將縮略圖像Pic. 2布置為與縮略圖像Pic. 1相鄰并且在其右邊。
隨后，如圖15B中所示，將描述要布置具有比單位幀501大的高度的縮略圖像 Pic.3的情況。幀圖像布置單元159比較單位幀501的高度和縮略圖像Pic.3的高度。在 這種情況中，縮略圖像的高度大于單位幀501的高度，因此，如圖15C中所示，幀圖像布置單 元159增大單位幀501的高度，并且從該行的開始起重新布置縮略圖像。
當(dāng)縮略圖像的高度小于單位幀501的高度時(shí)，幀圖像布置單元159判定是否可以 布置該縮略圖像。當(dāng)可以布置縮略圖像時(shí)，幀圖像布置單元159將圖像布置在該位置，并且 移動(dòng)到被布置的圖像下一行處的位置并且判斷是否可以在那布置隨后的縮略圖像。結(jié)果， 如圖15C中所示，Pic. 2被布置在Pic. 1下面，Pic. 3被布置為與Pic. 1和Pic. 2相鄰并且 在它們的右邊。 當(dāng)如圖16(a)中所示布置的縮略圖像Pic.6朝向下方超出單位幀501時(shí)，幀圖像 布置單元159改變單位幀501的大小，并且從大小已改變的行的開始起重新布置縮略圖像。 在這種情況中，隨Pic. 5之后放置的圖像Pic. 6的圖像大小大于Pic. 5的圖像大小。因此， 如果圖像Pic. 6被放在圖像Pic. 5之下，則圖像Pic. 6超出單位幀501。為了避免這樣的 情況，幀圖像布置單元159將縮略圖像布置為與Pic.5相鄰并且在其右邊。當(dāng)如圖16(b) 所示在當(dāng)前的圖像與之前的圖像之間存在空缺時(shí)，幀圖像布置單元159放大之前的縮略圖 像以填充它們之間的空缺。換而言之，在如圖16(b)所示的情況中，如圖16(c)中所示放大 Pic. 5來填充它們之間的空缺。 如圖17A中所示，當(dāng)圖像Pic.4朝向右方超出顯示區(qū)域301的右端時(shí)，幀圖像布置 單元159認(rèn)識(shí)到當(dāng)前行已被填充，并且移動(dòng)到下一行。在下一行，幀圖像布置單元159在通 過以上方法改變單位幀501的大小的同時(shí)如圖17(b)中所示布置縮略圖像Pic.4。還在這 種情況中，當(dāng)在之前的圖像和當(dāng)前圖像之間存在空缺時(shí)，以與圖16的情況相同的方式放大 之前的圖像來填充空缺。在圖17中所示的情況中，如圖17(c)中所示，幀圖像布置單元159 放大Pic. 3來消除空缺。 幀圖像布置單元159根據(jù)如上所述程序來布置縮略圖像。當(dāng)所有的縮略圖像都被 布置時(shí)，幀圖像布置單元159結(jié)束布置處理。
20
當(dāng)縮略圖像的布置結(jié)束時(shí)，幀圖像布置單元159將幀布置信息傳送給稍后描述的 效果圖像布置單元161和幀信息生成單元163。幀布置信息表示哪些縮略圖像被布置，這 些縮略圖像被變成多大的大小，以及，這些縮略圖像被布置在哪里。當(dāng)針對(duì)縮略圖像的放大 處理被執(zhí)行來填充圖像布置中發(fā)生的空缺時(shí)，幀圖像布置單元159可以向圖像大小確定單 元157和幀信息生成單元163通知該效果，并且可以請(qǐng)求圖像大小確定單元157和幀信息 生成單元163校正幀圖像信息。 應(yīng)當(dāng)注意，當(dāng)圖像大小確定單元157確定縮略圖像的大小和幀圖像布置單元159 布置縮略圖像時(shí)，可以考慮攝影操作。例如，如圖18中所示，將考慮這樣的情況存在3個(gè)縮 略圖像Pic. 1至Pic. 3，并且這些圖像中的每個(gè)圖像的攝影操作方向是在水平方向上(即， 攝影操作是左右移動(dòng))。在這種情況中，圖像大小確定單元157可以根據(jù)攝影操作方向和攝 影操作速度來確定縮略圖像中每一個(gè)的大小和形狀。可替換地，幀圖像布置單元159可以 沿?cái)z影操作方向布置這些縮略圖像中的每一個(gè)。 在如圖18中所示的示例中，攝影操作是左右移動(dòng)，因此，幀圖像布置單元159如圖 18的較低列中所示在水平方向布置縮略圖像。此外，圖像大小確定單元157處理這些縮略 圖像使得這些縮略圖像垂直方向上很長(zhǎng)，并且可以根據(jù)攝影操作速度來確定縮略圖像的寬 度。換而言之，當(dāng)攝影操作速度慢時(shí)，縮略圖像的寬度被設(shè)置為大，并且當(dāng)攝影操作速度快 時(shí)，縮略圖像的寬度被設(shè)置為窄。 此外，如圖19中所示，當(dāng)攝影操作是上下移動(dòng)時(shí)，幀圖像布置單元159可以在垂直
方向上布置縮略圖像。可替換地，圖像大小確定單元157可以處理這些縮略圖像使得縮略
圖像在水平方向上很長(zhǎng)，并且可以根據(jù)攝影操作速度來確定縮略圖像的高度。 如上所述，圖像大小、圖像形狀和圖像布置方向根據(jù)攝影操作的方向和速度而改
變。因此，可以以更加類似連環(huán)畫的方式顯示縮略圖像。 將還參考圖7來描述效果圖像布置單元161。效果圖像布置單元161例如由CPU、 R0M、RAM等構(gòu)成。效果圖像布置單元161基于運(yùn)動(dòng)圖片元數(shù)據(jù)在布置了縮略圖像的幀上布 置發(fā)言氣球框和屏幕效果中的至少一個(gè)。例如，效果圖像布置單元161通過使用與運(yùn)動(dòng)圖 片數(shù)據(jù)中所包括的音頻數(shù)據(jù)有關(guān)的運(yùn)動(dòng)圖片元數(shù)據(jù)來布置發(fā)言氣球框和屏幕效果中的至 少一個(gè)。 圖20示出音頻元數(shù)據(jù)與發(fā)言氣球框之間的關(guān)系。如圖20中所示，效果圖像布置 單元161在布置了具有相應(yīng)音頻元數(shù)據(jù)的縮略圖像的幀上布置發(fā)言氣球框，這允許根據(jù)本 實(shí)施例的信息處理設(shè)備10實(shí)現(xiàn)連環(huán)畫式的表示。假定，將在Web上顯示發(fā)言氣球框，則其 可能被生成為諸如SWF格式之類的向量數(shù)據(jù)，這使得不僅能夠節(jié)省容量還可以實(shí)現(xiàn)諸如放 大和縮小操作之類的動(dòng)畫處理。 當(dāng)縮略圖像具有指示存在臉的運(yùn)動(dòng)圖片元數(shù)據(jù)時(shí)，效果圖像布置單元161布置發(fā) 言氣球框以免覆蓋面部區(qū)域。從而，可以以連環(huán)畫式的方式創(chuàng)建連環(huán)畫顯示圖像。此外，這 允許要表示的預(yù)定發(fā)言氣球框，使得發(fā)言氣球框表述在相應(yīng)顯示圖像中出現(xiàn)的人的話語。 更具體而言，首先，效果圖像布置單元161比較幀的水平和垂直比。當(dāng)幀在垂直方向上長(zhǎng) 時(shí)，在垂直方向上布置發(fā)言氣球框。當(dāng)幀在水平方向上長(zhǎng)時(shí)，在水平方向上布置發(fā)言氣球 框。在這種情況中，效果圖像布置單元161比較面部區(qū)域的中心的坐標(biāo)和幀的中心的坐標(biāo)， 并且在與臉存在的位置相反的那側(cè)布置發(fā)言氣球框。例如，當(dāng)幀在垂直方向上長(zhǎng)時(shí)，并且面部區(qū)域的中心的坐標(biāo)低于幀的中心的坐標(biāo)時(shí)，效果圖像布置單元161在幀的上側(cè)布置發(fā)言 氣球框。 此外，效果圖像布置單元161可以根據(jù)音頻元數(shù)據(jù)的持續(xù)時(shí)間來改變發(fā)言氣球框 的大小。例如，可以設(shè)置3個(gè)級(jí)別的時(shí)間長(zhǎng)度，S卩l(xiāng)秒或更少，3秒或更少，以及多于3秒。 音頻持續(xù)越長(zhǎng)，音頻元數(shù)據(jù)的重要性被確定為越高。以這種方式，效果圖像布置單元161可 以強(qiáng)調(diào)更重要的場(chǎng)景。 效果圖像布置單元161可以根據(jù)音頻元數(shù)據(jù)的類型來改變發(fā)言氣球框的顏色。例 如，元數(shù)據(jù)"語音"被附到包括音頻的會(huì)話場(chǎng)景，并且3中分類"男"、"女"和"孩子"可以被 添加到元數(shù)據(jù)"語音"。這3個(gè)分類"男"、"女"和"孩子"是在男人、女人和孩子的會(huì)話音頻 分別被提取之后附加的元數(shù)據(jù)。效果圖像布置單元161可以針對(duì)每個(gè)元數(shù)據(jù)預(yù)設(shè)諸如藍(lán) 色、紅色和黃色之類的顏色，并且可以改變發(fā)言氣球框的顏色。從而，在連環(huán)畫中，不同的發(fā) 言者可以由不同的顏色來表示。 此外，效果圖像布置單元161可以基于運(yùn)動(dòng)圖片元數(shù)據(jù)中所包括的攝影操作的特 征量來布置諸如射線和效果線之類的屏幕效果。效果線是在水平方向上布置的多根水平 線。射線是以從某一區(qū)域的中心射出的方式布置的多根線。效果圖像布置單元161可以根 據(jù)攝影操作的方向的類型來布置射線和效果線，并且可以根據(jù)攝影操作的速度來增加或減 少射線和效果線的線的數(shù)目或線的集中度。 例如，如圖21中所示，當(dāng)縮略圖像具有指示存在面部區(qū)域的運(yùn)動(dòng)圖片元數(shù)據(jù)和具 有指示執(zhí)行了所謂的放大的攝影操作的運(yùn)動(dòng)圖片元數(shù)據(jù)時(shí)，多根射線309被布置在面部區(qū) 域周圍。以這種方式，示出如圖21中所示的以放大的臉的縮略圖像被布置在布置了射線的 縮略圖像上，連環(huán)畫顯示屏幕變得更加類似連環(huán)畫。應(yīng)當(dāng)注意，當(dāng)放大的速度快時(shí)，布置許 多射線309，而當(dāng)放大速度低時(shí)，布置少數(shù)射線309。 在具有指示攝影操作是左右移動(dòng)的運(yùn)動(dòng)圖片元數(shù)據(jù)的縮略圖像中，效果圖像布置
單元161例如如圖22中所示沿?cái)z影操作方向布置效果線。以與射線相同的方式，當(dāng)攝影操
作速度快時(shí)，布置許多效果線，而當(dāng)攝影操作速度慢時(shí)，布置少數(shù)效果線。 以這種方式，根據(jù)攝影操作布置與諸如射線和效果線之類的屏幕效果有關(guān)的圖
像，使得漫漶顯示屏幕變得更加類似連環(huán)畫。從而，信息處理設(shè)備10的用戶可以在享受觀
看運(yùn)動(dòng)圖片的樂趣的同時(shí)理解運(yùn)動(dòng)圖片的內(nèi)容。 將還參考圖7來描述幀信息生成單元163。幀信息生成單元163例如由CPU、ROM、 RAM等構(gòu)成。幀信息生成單元163生成與布置了縮略圖像的每一幀有關(guān)的幀信息。幀信息 包括由連環(huán)畫顯示變換單元107的各個(gè)處理單元生成的各種信息，例如圖像數(shù)目信息、幀 圖像信息、幀布置信息和效果布置信息。通過參考該幀信息，信息處理設(shè)備io可以獲得用 來生成連環(huán)畫顯示屏幕的信息，例如縮略圖像要被布置在哪兒、縮略圖像要被變成多大大 小以及何種效果要被布置。 以上，已經(jīng)描述了根據(jù)本實(shí)施例的信息處理設(shè)備10的示例性功能。以上構(gòu)成元件 中的每一個(gè)可以利用通用組件或電路來制造，或者可以利用專用于每個(gè)構(gòu)成元件的功能的 硬件來制造。可替換地，構(gòu)成元件的所有功能可以通過CPU等來執(zhí)行。因此，可以根據(jù)執(zhí)行 本實(shí)施例的技術(shù)水平，在必要時(shí)改變所使用的配置。 有可能制造用于實(shí)現(xiàn)根據(jù)本實(shí)施例的上述信息處理設(shè)備的功能的計(jì)算機(jī)程序，并且計(jì)算機(jī)程序可以在個(gè)人計(jì)算機(jī)等上被執(zhí)行。還可以提供存儲(chǔ)了這樣的計(jì)算機(jī)程序的計(jì)算 機(jī)可讀記錄介質(zhì)。記錄介質(zhì)的示例包括磁盤、光盤、磁-光盤和閃存。此外，以上計(jì)算機(jī)程 序例如可以經(jīng)由網(wǎng)絡(luò)來分發(fā)，而不使用記錄介質(zhì)。
〈信息處理方法〉 以下，將參考圖23至圖29來詳細(xì)描述根據(jù)本實(shí)施例的信息處理方法(更具體而 言，運(yùn)動(dòng)圖片數(shù)據(jù)的連環(huán)畫顯示方法)。圖23至圖29是用于圖示出根據(jù)本實(shí)施例的信息處 理方法的流程圖。[信息處理方法的總體流程] 首先，將參考圖23來詳細(xì)描述根據(jù)本實(shí)施例的信息處理方法的總體流程。
首先，根據(jù)本實(shí)施例的信息處理設(shè)備10的運(yùn)動(dòng)圖片數(shù)據(jù)獲取單元101根據(jù)用戶的 操作獲取與用戶所指定的運(yùn)動(dòng)圖片相對(duì)應(yīng)的運(yùn)動(dòng)圖片數(shù)據(jù)(步驟SIOI)。運(yùn)動(dòng)圖片數(shù)據(jù)獲 取單元101可以從信息處理設(shè)備10中的存儲(chǔ)單元117等或者從信息處理設(shè)備10中所集成 的各種記錄介質(zhì)獲取運(yùn)動(dòng)圖片數(shù)據(jù)?？商鎿Q地，運(yùn)動(dòng)圖片數(shù)據(jù)獲取單元101可以從無線或 有線連接的另一些設(shè)備獲取運(yùn)動(dòng)圖片數(shù)據(jù)，并且可以從經(jīng)由諸如因特網(wǎng)之類的通信網(wǎng)絡(luò)連 接的另一些設(shè)備獲取運(yùn)動(dòng)圖片數(shù)據(jù)。運(yùn)動(dòng)圖片數(shù)據(jù)獲取單元IOI向運(yùn)動(dòng)圖片分析單元103 和音頻提取單元105傳送所獲得的運(yùn)動(dòng)圖片數(shù)據(jù)。 音頻提取單元105從自運(yùn)動(dòng)圖片數(shù)據(jù)獲取單元101傳送的運(yùn)動(dòng)圖片數(shù)據(jù)提取音頻
數(shù)據(jù)(步驟S103)，并且向連環(huán)畫顯示數(shù)據(jù)生成單元111傳送所獲得的音頻數(shù)據(jù)。 另一方面，運(yùn)動(dòng)圖片分析單元103分析從運(yùn)動(dòng)圖片數(shù)據(jù)獲取單元101傳送的運(yùn)動(dòng)
圖片數(shù)據(jù)，并且生成運(yùn)動(dòng)圖片元數(shù)據(jù)，即，與表征與所傳送的運(yùn)動(dòng)圖片數(shù)據(jù)相對(duì)應(yīng)的運(yùn)動(dòng)圖
片的特征量有關(guān)的元數(shù)據(jù)(步驟S105)。運(yùn)動(dòng)圖片分析單元103向連環(huán)畫顯示變換單元107
傳送所生成的運(yùn)動(dòng)圖片元數(shù)據(jù)。 隨后，連環(huán)畫顯示變換單元107的摘要得分計(jì)算單元151基于所傳送的運(yùn)動(dòng)圖片 元數(shù)據(jù)來計(jì)算構(gòu)成運(yùn)動(dòng)圖片的所有圖像(幀圖像)的摘要得分。摘要得分計(jì)算單元151向 縮略圖數(shù)目確定單元153傳送所計(jì)算出的摘要得分。 隨后，縮略圖數(shù)目確定單元153通過使用所傳送的摘要得分和運(yùn)動(dòng)圖片元數(shù)據(jù)來 選擇用作縮略圖像的代表幀圖像(步驟S107)。當(dāng)縮略圖數(shù)目確定單元153結(jié)束選擇代表 幀圖像時(shí)，縮略圖數(shù)目確定單元153選擇用于縮略圖動(dòng)畫的動(dòng)畫幀圖像?？s略圖數(shù)目確定 單元153生成圖像數(shù)目信息，圖像數(shù)目信息包括用于識(shí)別所選擇的代表幀圖像的信息、有 關(guān)代表幀圖像的數(shù)目的信息、有關(guān)與代表幀圖像有關(guān)的動(dòng)畫幀圖像的信息等?？s略圖數(shù)目 確定單元153向圖像大小確定單元157和幀信息生成單元163傳送所生成的圖像數(shù)目信 息。 當(dāng)確定動(dòng)畫幀圖像和縮略圖動(dòng)畫的再現(xiàn)速度時(shí)，有可能反映攝影操作元數(shù)據(jù)利用 單元155所提供的分析結(jié)果。 隨后，圖像大小確定單元157基于已經(jīng)傳送的圖像數(shù)目信息、運(yùn)動(dòng)圖片元數(shù)據(jù)、摘 要得分等，確定要被顯示為連環(huán)畫的所選擇的代表幀圖像的圖像大小(步驟S109)。圖像大 小確定單元157生成包括與代表幀圖像的圖像大小有關(guān)的信息的幀圖像信息，并且向幀圖 像布置單元159和幀信息生成單元163傳送幀圖像信息。 隨后，幀圖像布置單元159通過使用已經(jīng)傳送的幀圖像信息、運(yùn)動(dòng)圖片元數(shù)據(jù)等，自動(dòng)將代表幀圖像布置到顯示區(qū)域并且確定代表幀圖像的布置(步驟Slll)。當(dāng)幀圖像布 置單元159確定代表幀圖像的布置時(shí)，幀圖像布置單元159生成包括有關(guān)哪些代表幀圖像 被布置在哪些位置的信息的幀布置信息，并且向效果圖像布置單元161和幀信息生成單元 163傳送所生成的幀布置信息。 隨后，效果圖像布置單元161基于已經(jīng)傳送的幀布置信息、運(yùn)動(dòng)圖片元數(shù)據(jù)等來
布置諸如發(fā)言氣球框等的效果圖像(步驟S113)。當(dāng)效果圖像布置單元161結(jié)束布置效果
圖像時(shí)，效果圖像布置單元161生成包括有關(guān)哪些效果被布置并且這些效果被布置在哪的
信息的效果布置信息，并且向幀信息生成單元163傳送所生成的效果布置信息。 當(dāng)圖像大小被確定并且?guī)瑘D像和效果圖像被布置時(shí)，有可能使用與運(yùn)動(dòng)圖片元數(shù)
據(jù)中所包括的攝影操作有關(guān)的特征量。 隨后，幀信息生成單元163基于從各個(gè)處理單元傳送的圖像數(shù)目信息、幀圖像信 息、幀布置信息、效果布置信息等來生成幀信息(步驟S115)。幀信息生成單元163向幀圖 像數(shù)據(jù)生成單元109和連環(huán)畫顯示數(shù)據(jù)生成單元111傳送所生成的幀信息。
隨后，幀圖像數(shù)據(jù)生成單元109基于圖像數(shù)據(jù)和幀信息來執(zhí)行用于調(diào)節(jié)用于顯示 連環(huán)畫的幀圖像的大小和形狀的處理(步驟S117)。幀圖像數(shù)據(jù)生成單元109向連環(huán)畫顯 示數(shù)據(jù)生成單元111傳送所生成的幀圖像數(shù)據(jù)。 連環(huán)畫顯示數(shù)據(jù)生成單元111基于從音頻提取單元105傳送的音頻數(shù)據(jù)和從連環(huán) 畫顯示變換單元107傳送的幀信息，生成用于顯示連環(huán)畫的音頻數(shù)據(jù)。此外，連環(huán)畫顯示數(shù) 據(jù)生成單元111通過使用幀信息、音頻數(shù)據(jù)、幀圖像數(shù)據(jù)和效果數(shù)據(jù)來生成連環(huán)畫顯示數(shù) 據(jù)，即，一組用來顯示連環(huán)畫的數(shù)據(jù)(步驟S119)。 信息處理設(shè)備10通過執(zhí)行所生成的連環(huán)畫顯示數(shù)據(jù)來在顯示屏幕上顯示用作運(yùn)
動(dòng)圖片的內(nèi)容的概要的連環(huán)畫。[用于選擇代表幀圖像的方法] 接著，將參考圖24來詳細(xì)描述用于選擇代表幀圖像的方法的流程。圖24是用于 圖示出根據(jù)本實(shí)施例的用于選擇代表幀圖像的方法的流程圖。 首先，縮略圖數(shù)目確定單元153判斷運(yùn)動(dòng)圖片元數(shù)據(jù)中所包括的場(chǎng)景變化得分 (SCS)是否等于或大于預(yù)定閾值(步驟S201)。當(dāng)場(chǎng)景變化得分大于閾值時(shí)，縮略圖數(shù)目確 定單元153認(rèn)定該圖片由于相機(jī)移動(dòng)太多而模糊，并且確定不選擇該圖像作為代表幀圖像 (步驟S203)。 隨后，縮略圖數(shù)目確定單元153計(jì)算摘要得分(DS)的分布和中值(步驟S205)。 如上所述，中值被用來判斷幀圖像是否要被選作代表幀圖像。 然后，縮略圖數(shù)目確定單元153判斷作為代表幀圖像的候選有用的幀的數(shù)目是否 等于或大于預(yù)定設(shè)置值N(步驟S207)。當(dāng)有用的幀的數(shù)目等于或大于m時(shí)，閾值T被設(shè)置 為使得閾值T =中值。當(dāng)有用的幀的數(shù)目小于m時(shí)，閾值T被設(shè)置為使得閾值T =最小的 摘要得分。 隨后，縮略圖數(shù)目確定單元153判定不選擇連續(xù)具有相同摘要得分或據(jù)喲小于T 的摘要得分的候選作為代表幀圖像?？s略圖數(shù)目確定單元153從代表幀圖像候選中選擇具 有等于或大于T的摘要得分但是并不連續(xù)具有相同摘要得分的候選。 隨后，縮略圖數(shù)目確定單元153判斷是否已對(duì)所有的幀執(zhí)行了以上處理(步驟S211)。當(dāng)已經(jīng)對(duì)所有的幀執(zhí)行了該處理時(shí)，流程返回步驟S207來執(zhí)行該處理。
當(dāng)已經(jīng)對(duì)所有幀執(zhí)行了該處理時(shí)，縮略圖數(shù)目確定單元153計(jì)算所采用的幀圖像 的總數(shù)，并且判斷該總數(shù)是否等于或大于預(yù)定閾值(步驟S213)。當(dāng)所采用的幀圖像的數(shù)目 等于或大于預(yù)定閾值時(shí)，縮略圖數(shù)目確定單元153以恒定間隔執(zhí)行跳過處理以保持摘要得 分的分布(步驟S215)。 隨后，縮略圖數(shù)目確定單元153在具有相同摘要得分的幀連續(xù)出現(xiàn)的情況中執(zhí)行 跳過處理(步驟S217)?？s略圖數(shù)目確定單元153選擇在以上放映之后仍然保留的幀圖像 作為連環(huán)畫顯示中的幀(即，代表幀圖像)(步驟S219)。
[用于根據(jù)攝影操作來選擇動(dòng)畫幀圖像的方法] 接著，將參考圖25來詳細(xì)描述根據(jù)攝影操作選擇動(dòng)畫幀圖像的方法。圖25是用 于圖示出根據(jù)攝影操作選擇動(dòng)畫幀圖像的方法的流程圖。 首先，攝影操作元數(shù)據(jù)利用單元155判斷當(dāng)前的幀是否超過最后的幀圖像(步驟 S301)。當(dāng)當(dāng)前的幀圖像超過最后的幀圖像時(shí)，攝影操作元數(shù)據(jù)利用單元155結(jié)束處理。當(dāng) 當(dāng)前的幀圖像沒有超過最后的幀圖像時(shí)，攝影操作元數(shù)據(jù)利用單元155執(zhí)行以下處理。
隨后，攝影操作元數(shù)據(jù)利用單元155判斷當(dāng)前的幀圖像是否是要被顯示的代表幀 圖像(步驟S303)。當(dāng)當(dāng)前幀不是要被顯示的代表幀時(shí)，攝影操作元數(shù)據(jù)利用單元155對(duì)下 一代表幀執(zhí)行處理(步驟S305)。當(dāng)當(dāng)前的幀是要被顯示的代表幀時(shí)，攝影操作元數(shù)據(jù)利用 單元155參考運(yùn)動(dòng)圖片元數(shù)據(jù)中所包括的與攝影操作有關(guān)的特征量。更具體而言，攝影操 作元數(shù)據(jù)利用單元155計(jì)算與左右移動(dòng)、上下移動(dòng)、旋轉(zhuǎn)和縮放有關(guān)的攝影操作的絕對(duì)值 (步驟S307)。 隨后，攝影操作元數(shù)據(jù)利用單元155對(duì)關(guān)于代表幀圖像選擇的動(dòng)畫幀圖像執(zhí)行積 分處理，即，按次序?qū)z影操作的絕對(duì)值相加。每次攝影操作元數(shù)據(jù)利用單元155結(jié)束對(duì)一 個(gè)動(dòng)畫幀圖像的絕對(duì)值的相加時(shí)，攝影操作元數(shù)據(jù)利用單元155判斷積分值是否等于或大 于預(yù)定的閾值(步驟S309)。當(dāng)積分值等于或大于預(yù)定的閾值時(shí)，攝影操作元數(shù)據(jù)利用單元 155執(zhí)行稍后將描述的步驟S313的處理。當(dāng)積分值小于預(yù)定的閾值時(shí)，攝影操作元數(shù)據(jù)利 用單元155判斷是否針對(duì)預(yù)定時(shí)間或更多(例如，l秒)對(duì)與攝影操作有關(guān)的幀的特征量進(jìn) 行相加(步驟S311)。當(dāng)已經(jīng)針對(duì)預(yù)定時(shí)間或更多幀的特征量進(jìn)行了相加時(shí)，攝影操作元數(shù) 據(jù)利用單元155保存當(dāng)前正被處理的幀數(shù)(步驟S313)。當(dāng)沒有針對(duì)預(yù)定時(shí)間或更多對(duì)幀 的特征量進(jìn)行了相加時(shí)，攝影操作元數(shù)據(jù)利用單元155繼續(xù)進(jìn)行到隨后的動(dòng)畫幀圖像(步 驟S317)，并且返回步驟S307來繼續(xù)處理。 隨后，攝影操作元數(shù)據(jù)利用單元155根據(jù)攝影操作的積分值來確定動(dòng)畫幀圖像的 數(shù)目(步驟S315)。隨后，攝影操作元數(shù)據(jù)利用單元155基于已被確定的動(dòng)畫幀圖像和已被 保存的幀數(shù)來確定用于縮略圖動(dòng)畫的動(dòng)畫幀圖像。 利用以上處理，根據(jù)本實(shí)施例的信息處理方法可以實(shí)現(xiàn)根據(jù)攝影操作的自然的縮 略圖動(dòng)畫。[用于動(dòng)態(tài)地布置代表幀圖像的方法] 隨后，將參考圖26A和圖26B來詳細(xì)描述根據(jù)本實(shí)施例的用于動(dòng)態(tài)布置代表幀圖 像的方法。圖26A和圖26B是用于圖示出根據(jù)本實(shí)施例的用于動(dòng)態(tài)布置代表幀圖像的方法 的流程圖。
25
首先，幀圖像布置單元159生成用于布置代表幀圖像的布置單位框(步驟S401)。 在這種情況中，幀圖像布置單元159使得布置單位框的高度與圖像大小確定單元157所確 定的圖像大小的最小高度相同。 隨后，幀圖像布置單元159判斷正被布置的代表幀圖像是否小于布置單位框(步 驟S403)。當(dāng)正被布置的代表幀圖像小于布置單位框的高度時(shí)，幀圖像布置單元159執(zhí)行稍 后描述的步驟S405至步驟S409的處理。當(dāng)正被布置的代表幀圖像等于或小于布置單位框 的高度時(shí)，幀圖像布置單元159執(zhí)行稍后描述的步驟S411和隨后的步驟的處理。
當(dāng)正被布置的代表幀圖像的高度大于布置單位框的高度時(shí)，幀圖像布置單元159 將布置單位框的高度布置為正被布置的代表幀圖像的高度(步驟S405)。隨后，幀圖像布置 單元159返回該行的開始(即，高度已被放大的布置單位框中的開始)(步驟S407)，并且開 始從該行的開始布置圖像(步驟S409)。 當(dāng)正被布置的代表幀圖像的高度等于或小于布置單位框的高度時(shí)，幀圖像布置單 元159判斷正被布置的代表幀圖像是否能夠被布置(步驟S411)。 當(dāng)正被布置的代表幀圖像能夠被布置時(shí)，幀圖像布置單元159將代表幀圖像布置 到相應(yīng)的位置(步驟S413)。隨后，幀圖像布置單元159將該圖像所要布置于的幀移動(dòng)到 相鄰的幀(步驟S415)。當(dāng)步驟S413中所布置的代表幀圖像的高度小于布置單位框的高 度時(shí)，幀圖像布置單元159將在步驟S413中圖像所布置于的幀下面的幀設(shè)置為步驟S415 的相鄰幀。當(dāng)步驟S413中所布置的代表幀圖像的高度等于布置單位框的高度時(shí)，幀圖像布 置單元159將在步驟S413中圖像所布置于的幀的右邊或左邊的幀設(shè)置為步驟S415的相鄰 幀。 隨后，幀圖像布置單元159判斷是否所有的代表幀圖像都已被布置(步驟S417)。 當(dāng)所有的代表幀圖像都已被布置時(shí)，幀圖像布置單元159結(jié)束幀布置處理。當(dāng)不是所有的 代表幀圖像圖像都已被布置時(shí)，幀圖像布置單元159對(duì)隨后的代表幀圖像執(zhí)行步驟S403和 隨后的步驟的處理。 在步驟S411中，當(dāng)正被布置的代表幀圖像在垂直方向(高度方向)上超出布置單 位框時(shí)，幀圖像布置單元159放大在當(dāng)前正被布置的圖像之前的幀中所布置的圖像(步驟 S419)。隨后，幀圖像布置單元159將當(dāng)前的幀改為相鄰的幀(步驟S421)。之后，幀圖像布 置單元159返回該行的開始(步驟S423)，并且從該行的開始處開始重新布置圖像(步驟 S425)。 此外，在步驟S411中，當(dāng)正被布置的代表幀圖像在水平方向(寬度方向)上超出 布置單位框時(shí)，幀圖像布置單元159放大在當(dāng)前正被布置的圖像之前的幀中所布置的圖像 (步驟S427)。隨后，幀圖像布置單元159繼續(xù)移到下一行(步驟S429)，并且將布置單位框 的大小設(shè)置為其原來的大小(步驟S431)。之后，幀圖像布置單元159返回步驟S401，并且 重新開始代表幀圖像的布置處理。 代表幀圖像的布置處理是根據(jù)如上所述的程序來執(zhí)行的。從而，根據(jù)本實(shí)施例的 信息處理設(shè)備10能夠按時(shí)間順序動(dòng)態(tài)布置代表幀圖像。
[用于考慮攝影操作來布置代表幀圖像的方法] 接著，將參考圖27來詳細(xì)描述用于考慮攝影操作來布置代表幀圖像的方法。圖27 是用于圖示出用于考慮攝影操作來布置代表幀圖像的方法的流程圖。
以下，將描述這樣的情況在代表幀圖像已如參考圖26A和圖26B所述被布置之 后，執(zhí)行用于考慮攝影操作來布置代表幀圖像的方法。然而，要理解，也可以在圖26A和圖 26B中考慮攝影操作來布置代表幀圖像。 首先，幀圖像布置單元159判定是否存在指示左右移動(dòng)或上下移動(dòng)攝影操作被執(zhí) 行的任何運(yùn)動(dòng)圖片元數(shù)據(jù)(步驟S501)。當(dāng)攝影操作既不是左右移動(dòng)也不是上下移動(dòng)時(shí)， 幀圖像布置單元159結(jié)束考慮攝影操作的代表幀圖像布置處理。當(dāng)攝影操作是左右移動(dòng)或 上下移動(dòng)時(shí)，幀圖像布置單元159判斷相應(yīng)的圖像是否是通過提取面部區(qū)域產(chǎn)生的(步驟 S503)。當(dāng)不包括面部區(qū)域時(shí)，幀圖像布置單元159等分進(jìn)行了攝影操作的幀區(qū)間(步驟 S505)。 隨后，幀圖像布置單元159保存所有刪除的面部區(qū)域以及它們的幀數(shù)(步驟 S507)。 隨后，幀圖像布置單元159基于運(yùn)動(dòng)圖片元數(shù)據(jù)來判斷相應(yīng)代表幀圖像中的攝影 操作是否是左右移動(dòng)或上下移動(dòng)(步驟S509)。當(dāng)攝影操作是左右移動(dòng)時(shí)，幀圖像布置單元 159將代表幀圖像(幀圖像)設(shè)置為垂直方向上長(zhǎng)，并且沿?cái)z影操作方向，即水平方向布置 相應(yīng)的圖像(步驟S511)。當(dāng)攝影操作是上下移動(dòng)時(shí)，幀圖像布置單元159將代表幀圖像 (幀圖像)設(shè)置為水平方向上長(zhǎng)，并且沿?cái)z影操作方向，即垂直方向布置相應(yīng)的圖像(步驟 S513)。 隨后，圖像大小確定單元157根據(jù)從幀圖像布置單元159傳送的有關(guān)代表幀圖像 是在垂直方向上還是水平方向上長(zhǎng)的指定以及根據(jù)從與運(yùn)動(dòng)圖片元數(shù)據(jù)獲得的攝影操作 速度來確定代表幀圖像(幀圖像)的大小(步驟S515)。 隨后，幀圖像布置單元159在必要時(shí)校正其它幀的布置(步驟S617)。 用于考慮攝影操作來布置代表幀圖像的上述方法使得連環(huán)畫的顯示在連環(huán)畫式
的表現(xiàn)方面更豐富。[用于考慮攝影操作來布置效果圖像的方法] 接著，將參考圖28來詳細(xì)描述用于考慮攝影操作來布置效果圖像的方法。圖28 是用于圖示出用于考慮攝影操作來布置效果圖像的方法的流程圖。 首先，效果圖像布置單元161判斷是否存在任何指示左右移動(dòng)或上下移動(dòng)攝影操 作被執(zhí)行的運(yùn)動(dòng)圖片元數(shù)據(jù)(步驟S601)。當(dāng)攝影操作是左右移動(dòng)或上下移動(dòng)時(shí)，效果圖像 布置單元161執(zhí)行效果線的效果圖像的生成處理(步驟S603)。當(dāng)攝影操作既不是左右移 動(dòng)又不是上下移動(dòng)時(shí)，例如，當(dāng)攝影操作是縮放等時(shí)，效果圖像布置單元161執(zhí)行射線的效 果圖像的生成處理(步驟S605)。 首先，以下將描述生成效果線的效果圖像的情況。效果圖像布置單元161提取攝
影操作開始處的幀圖像和攝影操作結(jié)束處的幀圖像(步驟S607)。隨后，效果圖像布置單元
161基于運(yùn)動(dòng)圖片元數(shù)據(jù)來判斷圖像是否存在面部區(qū)域(步驟S609)。 當(dāng)存在面部區(qū)域時(shí)，效果圖像布置單元161從圖像的邊緣到面部區(qū)域周圍生成效
果線的效果圖像(步驟S611)。當(dāng)不存在面部區(qū)域時(shí)，效果圖像布置單元161在圖像的外圍
中生成效果線的效果圖像(步驟S613)。應(yīng)當(dāng)注意，效果圖像布置單元161根據(jù)攝影操作速
度來確定效果線的效果圖像的密度、長(zhǎng)度、數(shù)目等。 當(dāng)效果線的效果圖像的生成結(jié)束時(shí)，效果圖像布置單元161保存有關(guān)效果線的效果圖像的大小以及效果圖像被布置給哪個(gè)幀圖像的信息(步驟S615)。 接著，將描述生成射線的效果圖像的情況。效果圖像布置單元161檢測(cè)攝影操作 開始處的幀圖像和攝影操作結(jié)束處的幀圖像(步驟S617)。隨后，效果圖像布置單元161基 于運(yùn)動(dòng)圖片元數(shù)據(jù)來判斷圖像中是否存在任何面部區(qū)域(步驟S619)。 當(dāng)存在面部區(qū)域時(shí)，效果圖像布置單元161在面部區(qū)域周圍生成射線的效果圖像 (步驟S621)。當(dāng)不存在面部區(qū)域時(shí)，效果圖像布置單元161在圖像的外圍生成射線的效果 圖像(步驟S623)。應(yīng)當(dāng)注意，效果圖像布置單元161根據(jù)攝影操作速度來確定射線的效果 圖像的密度、長(zhǎng)度、數(shù)目等。 當(dāng)射線的效果圖像的生成結(jié)束時(shí)，效果圖像布置單元161保存有關(guān)射線的效果圖 像的大小以及效果圖像被布置到哪個(gè)幀圖像的信息(步驟S615)。 用于考慮攝影操作來布置效果圖像的上述處理使得連環(huán)畫的顯示在連環(huán)畫式的 表現(xiàn)方面更豐富。[用于確定動(dòng)畫再現(xiàn)速度的方法] 接著，將參考圖29來詳細(xì)描述確定縮略圖動(dòng)畫的再現(xiàn)速度的方法。圖29是用于 圖示出確定縮略圖動(dòng)畫的再現(xiàn)速度的方法的流程圖。 在以上說明中，已經(jīng)描述了攝影操作元數(shù)據(jù)利用單元155之前確定動(dòng)畫的再現(xiàn)速 度的情況?？商鎿Q地，如下所述，連環(huán)畫顯示執(zhí)行單元113可以確定當(dāng)動(dòng)畫被再現(xiàn)時(shí)的再現(xiàn) 首先，連環(huán)畫顯示執(zhí)行單元113參考連環(huán)畫顯示數(shù)據(jù)，并且判斷圖像是否是布置 了效果圖像的幀(代表幀圖像)(步驟SMI)。 當(dāng)圖像是布置了效果圖像的幀時(shí)，連環(huán)畫顯示執(zhí)行單元113基于連環(huán)畫顯示數(shù)據(jù)
來再現(xiàn)效果線的效果(步驟S703)，并且進(jìn)行到步驟S705?？商鎿Q地，當(dāng)圖像是沒有布置任
何效果圖像的幀時(shí)，連環(huán)畫顯示執(zhí)行單元113執(zhí)行如下所述的步驟S705的處理。 隨后，連環(huán)畫顯示執(zhí)行單元113參考連環(huán)畫顯示數(shù)據(jù)，并且獲得用于縮略圖動(dòng)畫
的圖像的數(shù)目(步驟S405)。連環(huán)畫顯示執(zhí)行單元113基于動(dòng)畫幀圖像的數(shù)目并且基于例
如如下所述的標(biāo)準(zhǔn)來確定動(dòng)畫的再現(xiàn)速度(步驟S707)。 (1)再現(xiàn)速度=l(FPS)，其中，動(dòng)畫圖像的數(shù)目(n)為2或更少。
(2) 再現(xiàn)速度=2(FPS)，其中，動(dòng)畫圖像的數(shù)目(n)多于2少于4或是4。
(3) 再現(xiàn)速度二8(FPS)，其中，動(dòng)畫圖像的數(shù)目(n)多于4少于8或是8。
(4) 再現(xiàn)速度=24(FPS)，其中，動(dòng)畫圖像的數(shù)目(n)多于8。 隨后，連環(huán)畫顯示執(zhí)行單元113基于所確定的再現(xiàn)速度來再現(xiàn)縮略圖動(dòng)畫(步驟


S709)


形例。 根據(jù)本變形例的信息處理設(shè)備10的運(yùn)動(dòng)圖片分析單元103不僅具有根據(jù)第一實(shí) 施例的運(yùn)動(dòng)圖片分析單元103的功能，而且具有用于從運(yùn)動(dòng)圖片數(shù)據(jù)檢測(cè)人、檢測(cè)用戶注 意的對(duì)象、檢測(cè)用戶指定的物體等的檢測(cè)功能。此外，根據(jù)本變形例的信息處理設(shè)備10的
以上處理使得能夠在縮略圖動(dòng)畫被再現(xiàn)時(shí)考慮攝影操作來確定再現(xiàn)速度。 〈第一變形例>
隨后，將參考圖30至圖32來詳細(xì)描述根據(jù)本實(shí)施例的信息處理設(shè)備10的第一變
28連環(huán)畫顯示變換單元107具有根據(jù)運(yùn)動(dòng)圖片分析單元103的檢測(cè)結(jié)果來布置效果圖像以避
免遮擋(occlusion)的功能。[運(yùn)動(dòng)圖片分析單元的配置] 首先，將參考圖30來詳細(xì)描述根據(jù)本變形例的運(yùn)動(dòng)圖片分析單元103。圖30是用 于圖示出根據(jù)本變形例的運(yùn)動(dòng)圖片分析單元103的配置的框圖。 根據(jù)本變形例的運(yùn)動(dòng)圖片分析單元103具有運(yùn)動(dòng)圖片數(shù)據(jù)劃分單元131、臉檢測(cè) 單元133、場(chǎng)景轉(zhuǎn)變檢測(cè)單元135、攝影操作檢測(cè)單元137、音頻分析單元139和運(yùn)動(dòng)圖片元 數(shù)據(jù)生成單元141 。此外，運(yùn)動(dòng)圖片分析單元103還具有如下所述的處理單元，S卩，人檢測(cè)單 元171、對(duì)象檢測(cè)單元173和物體檢測(cè)單元175。 根據(jù)本變形例的運(yùn)動(dòng)圖片數(shù)據(jù)劃分單元131、臉檢測(cè)單元133、場(chǎng)景轉(zhuǎn)變檢測(cè)單元 135、攝影操作檢測(cè)單元137和音頻分析單元139與本發(fā)明第一實(shí)施例的各個(gè)處理單元分別 具有相同的配置，并且分別實(shí)現(xiàn)相同的效果。因此，在以下說明中省略有關(guān)的詳細(xì)描述。
此外，根據(jù)本變形例的運(yùn)動(dòng)圖片元數(shù)據(jù)生成單元141基于由臉檢測(cè)單元133、場(chǎng)景 轉(zhuǎn)變檢測(cè)單元135、攝影操作檢測(cè)單元137、人檢測(cè)單元171、對(duì)象檢測(cè)單元173和物體檢測(cè) 單元175輸出的結(jié)果等來生成運(yùn)動(dòng)圖片元數(shù)據(jù)。根據(jù)本變形例的運(yùn)動(dòng)圖片元數(shù)據(jù)生成單元 141的其它功能和根據(jù)本發(fā)明第一實(shí)施例的運(yùn)動(dòng)圖片元數(shù)據(jù)生成單元141的功能相同，并 且本變形例可以提供基本相同的效果。因此，在以下說明中省略有關(guān)的詳細(xì)描述。
人檢測(cè)單元171例如由CPU、R0M、RAM等構(gòu)成。人檢測(cè)單元171通過使用之前利用 諸如AdaBoost方法之類的統(tǒng)計(jì)學(xué)習(xí)處理生成的分類器來從所傳送的圖像數(shù)據(jù)檢測(cè)與人相 對(duì)應(yīng)的部分。 該分類器例如是通過組合衣服分類器和輪廓分類器而生成的。衣服分類器是由通 過統(tǒng)計(jì)學(xué)習(xí)生成的多個(gè)弱分類器構(gòu)成的相對(duì)強(qiáng)的分類器。當(dāng)基于人的衣服的特征進(jìn)行有關(guān) 所傳送的圖像是否包括人的圖像的區(qū)域的判斷時(shí)，使用衣服分類器。輪廓分類器是由通過 統(tǒng)計(jì)學(xué)習(xí)生成的多個(gè)弱分類器構(gòu)成的相對(duì)強(qiáng)的分類器。當(dāng)基于人的輪廓來進(jìn)行有關(guān)所傳送 的圖像是否包括人的圖像的區(qū)域的判定時(shí)，使用輪廓分類器。 當(dāng)人檢測(cè)單元171接收到從運(yùn)動(dòng)圖片數(shù)據(jù)劃分單元131傳送的圖像數(shù)據(jù)時(shí)，人檢 測(cè)單元171從所傳送的圖像數(shù)據(jù)提取衣服特征和輪廓特征。人檢測(cè)單元171基于所提取的 特征來計(jì)算衣服特征量和輪廓特征量。人檢測(cè)單元171通過將所計(jì)算出的衣服特征量和所 計(jì)算出的輪廓特征量代入分類器來進(jìn)行計(jì)算，基于所獲得的計(jì)算結(jié)果來判斷人是否在圖像 中被識(shí)別(檢測(cè))出，并且輸出識(shí)別結(jié)果。 根據(jù)本變形例的人檢測(cè)單元171通知兩種特征量，即，人的衣服和輪廓。從而，人 檢測(cè)單元171可以從圖像中檢測(cè)人，只要人檢測(cè)單元171能夠從所傳送的圖像中充分提取 特征量中的至少一個(gè)。 人檢測(cè)單元171向運(yùn)動(dòng)圖片元數(shù)據(jù)生成單元141傳送有關(guān)所傳送的圖像是否包括 人的檢測(cè)結(jié)果。此外，當(dāng)人檢測(cè)單元171在圖像中檢測(cè)到多個(gè)人時(shí)，人檢測(cè)單元171可以向 運(yùn)動(dòng)圖片元數(shù)據(jù)生成單元141傳送所檢測(cè)到的人的數(shù)目。 當(dāng)圖像包括人時(shí)，人檢測(cè)單元171可以向運(yùn)動(dòng)圖片元數(shù)據(jù)生成單元141傳送表示 與人相對(duì)應(yīng)的像素的位置的位置信息。這樣輸出的位置信息允許根據(jù)本變形例的其它處理 單元容易地識(shí)別人存在于該圖像中的哪個(gè)位置。此外，人檢測(cè)單元171可以向運(yùn)動(dòng)圖片元數(shù)據(jù)生成單元141傳送被執(zhí)行了人檢測(cè)處理的圖像的計(jì)算結(jié)果(分類器輸出的得分)。
對(duì)象檢測(cè)單元173例如由CPU、R0M、RAM等構(gòu)成。對(duì)象檢測(cè)單元173在所傳送的圖 像數(shù)據(jù)中檢測(cè)預(yù)期當(dāng)用戶看到圖像時(shí)會(huì)感興趣的物體，即認(rèn)為用戶會(huì)注視的物體，作為要 被照下來的對(duì)象。 對(duì)象檢測(cè)單元173例如基于所傳送的圖像的模糊程度(失焦程度)、曝光適當(dāng)程 度、白平衡適當(dāng)程度等來檢測(cè)對(duì)象。對(duì)象檢測(cè)單元173所執(zhí)行的對(duì)象檢測(cè)處理將被具體描 述如下。 當(dāng)對(duì)象檢測(cè)單元173接收到從運(yùn)動(dòng)圖片數(shù)據(jù)劃分單元131傳送的圖像數(shù)據(jù)時(shí)，對(duì) 象檢測(cè)單元173基于所傳送的圖像針對(duì)相對(duì)應(yīng)的圖像的各個(gè)區(qū)域生成表示有關(guān)亮度的信 息的亮度信息圖。此外，對(duì)象檢測(cè)單元173還基于所傳送的圖像來針對(duì)相對(duì)應(yīng)的圖像的每 個(gè)區(qū)域來生成表示有關(guān)構(gòu)成圖像的顏色的信息的顏色信息圖。對(duì)象檢測(cè)單元173還基于所 傳送的圖像來針對(duì)相對(duì)應(yīng)的圖像的各個(gè)區(qū)域生成表示有關(guān)邊緣的信息的邊緣信息圖。對(duì)象 檢測(cè)單元173還基于所傳送的圖像來針對(duì)相對(duì)應(yīng)的圖像的每個(gè)區(qū)域生成表示有關(guān)人的臉 的信息的面部信息圖。對(duì)象檢測(cè)單元173還基于所傳送的圖像來針對(duì)相對(duì)應(yīng)的圖像的各個(gè) 區(qū)域生成表示有關(guān)移動(dòng)的信息的移動(dòng)信息圖。 這些信息圖中所包括的信息是指示包括對(duì)象的區(qū)域中明顯存在的特征的特征量 的信息。在這些信息圖中，該信息與所傳送的圖像的各個(gè)區(qū)域相關(guān)聯(lián)。換而言之，這些信息 圖是表示所傳送的圖像的各個(gè)區(qū)域中的特征量的信息。上述信息圖僅僅是示例?？梢陨?除了以上之外的信息圖?？商鎿Q地，可以生成上述信息圖中的某些。 對(duì)象檢測(cè)單元173通過對(duì)所生成的信息圖進(jìn)行線性組合來生成對(duì)象圖。換而言 之，對(duì)象圖是通過對(duì)上述信息圖的各個(gè)區(qū)域的信息(特征量)求加權(quán)和生成的，因?yàn)檫@各個(gè) 區(qū)域共址。 隨后，對(duì)象檢測(cè)單元173通過使用所傳送的圖像和所生成的對(duì)象圖，關(guān)于所傳送 的圖像中的對(duì)象的區(qū)域生成表示對(duì)象的模糊程度的指數(shù)(失焦指數(shù))。對(duì)象檢測(cè)單元173 還基于所傳送的圖像生成表示整個(gè)所傳送的圖像中的曝光適當(dāng)程度的指數(shù)(曝光指數(shù))。 對(duì)象檢測(cè)單元173還基于所傳送的圖像生成表示整個(gè)所傳送的圖像中的白平衡適當(dāng)程度 的指數(shù)(白平衡指數(shù))。 對(duì)象檢測(cè)單元173通過使用預(yù)設(shè)的權(quán)重對(duì)這些所生成的指數(shù)進(jìn)行線性組合來得 出所傳送的圖像的對(duì)象得分。對(duì)象檢測(cè)單元173檢測(cè)所計(jì)算出的對(duì)象得分等于或大于預(yù)定 閾值的區(qū)域作為對(duì)象。 對(duì)象檢測(cè)單元173向運(yùn)動(dòng)圖片元數(shù)據(jù)生成單元141傳送有關(guān)所傳送的圖像是否包 括對(duì)象的檢測(cè)結(jié)果。當(dāng)在圖像中檢測(cè)到多個(gè)對(duì)象時(shí)，對(duì)象檢測(cè)單元173可以向運(yùn)動(dòng)圖片元 數(shù)據(jù)生成單元141傳送所檢測(cè)到的對(duì)象的數(shù)目。 當(dāng)圖像包括對(duì)象時(shí)，對(duì)象檢測(cè)單元173可以向運(yùn)動(dòng)圖片元數(shù)據(jù)生成單元141傳送 表示與對(duì)象相對(duì)應(yīng)的像素的位置的位置信息。這樣的位置信息的輸出允許根據(jù)本變形例的 其它處理單元容易地識(shí)別對(duì)象存在于圖像中的哪個(gè)位置?？商鎿Q地，對(duì)象檢測(cè)單元173可 以向運(yùn)動(dòng)圖片元數(shù)據(jù)生成單元141傳送已經(jīng)計(jì)算出的對(duì)象得分、失焦指數(shù)、曝光指數(shù)、白平 衡指數(shù)中的任何或全部。物體檢測(cè)單元175例如由CPU、R0M、RAM等構(gòu)成。物體檢測(cè)單元175從所傳送的圖
30像中檢測(cè)數(shù)據(jù)庫中之前所登記的物體。因此，當(dāng)根據(jù)本變形例的信息處理設(shè)備10的用戶之 前向數(shù)據(jù)庫登記了各種表征物體特征的數(shù)據(jù)時(shí)，有可能從圖像中檢測(cè)出反映用戶偏好的物 體。 物體檢測(cè)單元175通過對(duì)包括一般物體和信息處理設(shè)備10的用戶所指定的物體 的圖像執(zhí)行邊緣檢測(cè)處理來生成邊緣圖像。物體檢測(cè)單元175提取所生成的邊緣圖像上的 邊緣點(diǎn)處的區(qū)域特征量和支持這些邊緣點(diǎn)的點(diǎn)，利用幾何位置關(guān)系來關(guān)聯(lián)所提取出的點(diǎn)， 并且將它們登記到數(shù)據(jù)庫。 當(dāng)物體檢測(cè)單元175接收到從運(yùn)動(dòng)圖片數(shù)據(jù)劃分單元131傳送的圖像數(shù)據(jù)時(shí)，物 體檢測(cè)單元175通過對(duì)所傳送的圖像執(zhí)行邊緣檢測(cè)處理來生成邊緣圖像。物體檢測(cè)單元 175通過使用所生成的邊緣圖像來計(jì)算邊緣圖像上的邊緣點(diǎn)處的區(qū)域特征量。物體檢測(cè)單 元175搜索數(shù)據(jù)庫中所登記的邊緣點(diǎn)的特征量和集合位置關(guān)系，并且判斷數(shù)據(jù)庫是否包括 與所生成的區(qū)域特征量等類似的數(shù)據(jù)。當(dāng)數(shù)據(jù)庫包括之前所登記的類似數(shù)據(jù)時(shí)，物體檢測(cè) 單元175向運(yùn)動(dòng)圖片元數(shù)據(jù)生成單元141輸出檢測(cè)結(jié)果，因?yàn)閳D像包括相對(duì)應(yīng)的物體。當(dāng) 在圖像中檢測(cè)到多個(gè)物體時(shí)，物體檢測(cè)單元175可以向運(yùn)動(dòng)圖片元數(shù)據(jù)生成單元141傳送 所檢測(cè)到的物體的類型和數(shù)目。 除了根據(jù)第一實(shí)施例的運(yùn)動(dòng)圖片分析單元103的功能之外，還設(shè)有這些處理單 元，使得根據(jù)本變形例的運(yùn)動(dòng)圖片分析單元103可以從運(yùn)動(dòng)圖片中檢測(cè)人、用戶注意的對(duì) 象和用戶指定的物體等。從而，根據(jù)本變形例的運(yùn)動(dòng)圖片分析單元103可以關(guān)于各種點(diǎn)來 分析運(yùn)動(dòng)圖片的內(nèi)容。結(jié)果，根據(jù)本變形例的信息處理設(shè)備io可以生成以更加自然和印象 深刻的方式反映運(yùn)動(dòng)圖片的內(nèi)容的連環(huán)畫顯示屏幕。 以上說明中的人檢測(cè)方法、對(duì)象檢測(cè)方法和物體檢測(cè)達(dá)到僅僅是示例。由根據(jù)本 變形例的運(yùn)動(dòng)圖片分析單元103執(zhí)行的檢測(cè)處理的細(xì)節(jié)不限于上述示例。根據(jù)本變形例的 運(yùn)動(dòng)圖片分析單元103還可以通過使用除了上述方法以外的處理來檢測(cè)人、對(duì)象和物體。
可替換地，臉檢測(cè)單元133、人檢測(cè)單元171、對(duì)象檢測(cè)單元173和物體檢測(cè)單元 175中的每一個(gè)可以被配置為優(yōu)選檢測(cè)預(yù)定的檢測(cè)對(duì)象，例如，最先檢測(cè)到的圖像中的人 (物體)、檢測(cè)出具有最高精度的人(物體)、朝向預(yù)定方向的人(臉)、正在笑的人等。
在以上說明中，傳送給運(yùn)動(dòng)圖片元數(shù)據(jù)生成單元141的檢測(cè)結(jié)果等僅僅是示例。 如果可以獲得除了上述檢測(cè)結(jié)果以外的檢測(cè)結(jié)果來用作表征運(yùn)動(dòng)圖片的特征量，則這樣的 檢測(cè)結(jié)果可以用作運(yùn)動(dòng)圖片元數(shù)據(jù)。
[效果圖像的布置處理] 接著，將參考圖31A至圖31E和圖32來詳細(xì)描述根據(jù)本變形例的連環(huán)畫顯示變換 單元107所執(zhí)行的效果圖像的布置處理。圖31A至圖31E和圖32是用于圖示出根據(jù)本變 形例的效果圖像的布置方法的說明性示圖。 連環(huán)畫顯示變換單元107的效果圖像布置單元161可以按照以下所述的策略、根 據(jù)運(yùn)動(dòng)圖片分析單元103所提供的運(yùn)動(dòng)圖片分析結(jié)果來布置效果圖像。
例如，當(dāng)圖像包括檢測(cè)到高精度面部區(qū)域時(shí)，效果圖像布置單元161可以在包括 面部區(qū)域的整個(gè)幀上布置射線的效果以強(qiáng)調(diào)面部區(qū)域，如圖31A中所示。這里，檢測(cè)到高精 度面部區(qū)域的示例包括臉檢測(cè)處理中所計(jì)算出的數(shù)值(得分)等于或大于預(yù)定閾值的區(qū) 域。結(jié)果，如圖31A所示，整個(gè)幀變成效果圖像布置區(qū)域，S卩，布置效果圖像的區(qū)域，并且效果圖像布置單元161在該效果圖像布置區(qū)域中布置射線的效果。 可能存在這樣的情況運(yùn)動(dòng)圖片分析單元103向連環(huán)畫顯示變換單元107通知沒 有檢測(cè)到具體區(qū)域(面部區(qū)域、人區(qū)域、對(duì)象區(qū)域、物體區(qū)域)等并且僅檢測(cè)到音頻的結(jié)果。 在該情況中，效果圖像布置單元161可以在整個(gè)幀區(qū)域上布置指示音頻的存在的預(yù)定效果 圖像，如圖31B中所示。 可能還存在這樣的情況，運(yùn)動(dòng)圖片分析單元103向連環(huán)畫顯示變換單元107通知 檢測(cè)到不是高精度的區(qū)域并且與此檢測(cè)到音頻的結(jié)果。在這種情況中，效果圖像布置單元 161可以布置效果圖像布置區(qū)域以避開所檢測(cè)到的區(qū)域(所檢測(cè)到的不是高精度的區(qū)域) 并且在該效果圖像布置區(qū)域中布置與音頻相對(duì)應(yīng)的發(fā)言氣球框等的效果。在該情況中，效 果圖像布置單元161優(yōu)選考慮所檢測(cè)到的不是高精度的區(qū)域與效果圖像布置區(qū)域之間的 相對(duì)位置關(guān)系并且設(shè)置正被布置的效果圖像的方向。必要時(shí)，這里設(shè)置的效果圖像布置區(qū) 域是根據(jù)幀的高寬比(aspect ratio)等來確定的。 例如，如圖31C中所示，當(dāng)在幀的右側(cè)檢測(cè)到不是高精度的面部區(qū)域并且還與此 檢測(cè)到音頻時(shí)，效果圖像布置單元161在幀的左側(cè)布置效果圖像布置區(qū)域以避開所檢測(cè)到 的面部區(qū)域。此外，所檢測(cè)到的音頻常常與所檢測(cè)到的面部區(qū)域具有關(guān)系，效果圖像布置單 元161在從存在面部區(qū)域的幀的右側(cè)向左側(cè)這樣的方向上設(shè)置發(fā)言氣球框的效果。
當(dāng)檢測(cè)到不是高精度的區(qū)域并且布置了效果圖像以強(qiáng)調(diào)所檢測(cè)到的區(qū)域時(shí)，產(chǎn)生 這樣的可能性如果檢測(cè)失敗，則強(qiáng)調(diào)了不正確的檢測(cè)結(jié)果。為了避免這樣的情況，如圖 31C中所示，效果圖像被布置為避開所檢測(cè)到區(qū)域。因此，即使不正確的結(jié)果被輸出，也很有 可能對(duì)正被處理的圖像施加自然的效果。 此外，可能存在這樣的情況運(yùn)動(dòng)圖片分析單元103向連環(huán)畫顯示變換單元107通
知檢測(cè)到多個(gè)區(qū)域并且還與此檢測(cè)到音頻的結(jié)果。在這種情況中，效果圖像布置單元161
設(shè)置較大的區(qū)域以包括多個(gè)所檢測(cè)到的區(qū)域。效果圖像布置單元161可以設(shè)置效果圖像布
置區(qū)域以避開所布置的區(qū)域，并且可以在該效果圖像布置區(qū)域中布置與音頻相對(duì)應(yīng)的發(fā)言
氣球框的效果等。在這種情況中，效果圖像布置單元161優(yōu)選考慮所布置的較大的區(qū)域與
效果圖像布置區(qū)域之間的相對(duì)位置關(guān)系，并且設(shè)置布置效果圖像的方向。 效果圖像布置單元161，不僅可以在檢測(cè)到人和臉時(shí)，還可以在如圖31E所示檢測(cè)
到被檢測(cè)作為要被照下來的對(duì)象的物體和一般的物體時(shí)，如上所述布置效果圖像。 當(dāng)效果圖像布置單元161不考慮效果圖像的方向來布置效果圖像時(shí)，例如如圖32
所示，效果圖像布置單元161在計(jì)算整個(gè)幀的中心位置與所檢測(cè)的區(qū)域的重心位置之間的
相對(duì)關(guān)系之后確定效果圖像的方向。從而，效果圖像布置單元161可以在避免遮擋并且提
高效果圖像與所檢測(cè)到的區(qū)域之間的關(guān)連性的同時(shí)有效布置效果圖像。(第二實(shí)施例) 隨后，將參考圖33至圖37來詳細(xì)描述根據(jù)本發(fā)明第二實(shí)施例的信息處理設(shè)備和 信息處理方法。在根據(jù)本實(shí)施例的信息處理設(shè)備和信息處理方法中，通過使用對(duì)運(yùn)動(dòng)圖片 和靜止圖片的分析的結(jié)果來自動(dòng)提取用于識(shí)別運(yùn)動(dòng)圖片和靜止圖片的內(nèi)容的有用圖像，并 且以允許用戶容易地理解內(nèi)容的方式顯示所提取出的圖像。從而，當(dāng)使用運(yùn)動(dòng)圖片和靜 止圖片兩者記錄事件時(shí)，可以在不區(qū)分運(yùn)動(dòng)圖片和靜止圖片的情況下容易地理解事件的內(nèi) 容。
〈信息處理設(shè)備的配置> 首先，將參考圖33至圖35來詳細(xì)描述根據(jù)本實(shí)施例的信息處理設(shè)備的配置。圖 33是用于圖示出根據(jù)本實(shí)施例的信息處理設(shè)備的配置的框圖。圖34是用于圖示出根據(jù)本 實(shí)施例的靜止圖片分析單元1003的配置的框圖。圖35是用于圖示出根據(jù)本實(shí)施例的連環(huán) 畫顯示變換單元1005的配置的框圖。
[信息處理設(shè)備的總體配置] 例如，如圖33中所示，根據(jù)本實(shí)施例的信息處理設(shè)備IO包括運(yùn)動(dòng)圖片數(shù)據(jù)獲取單 元101、運(yùn)動(dòng)圖片分析單元103、音頻提取單元105、幀圖像數(shù)據(jù)生成單元109、連環(huán)畫顯示 數(shù)據(jù)生成單元111和連環(huán)畫顯示執(zhí)行單元113。此外，信息處理設(shè)備10包括顯示控制單元 115、存儲(chǔ)單元117、靜止圖片數(shù)據(jù)獲取單元1001、靜止圖片分析單元1003和連環(huán)畫顯示變 換單元1005。處理上述處理單元以外，信息處理設(shè)備IO例如可以包括用于控制經(jīng)由任何通 信網(wǎng)絡(luò)與任何設(shè)備的通信的通信控制單元(未示出)。 在該第二實(shí)施例中，運(yùn)動(dòng)圖片數(shù)據(jù)獲取單元101、運(yùn)動(dòng)圖片分析單元103、音頻提 取單元105、幀圖像數(shù)據(jù)生成單元109、連環(huán)畫顯示數(shù)據(jù)生成單元111、連環(huán)畫顯示執(zhí)行單元 113、顯示控制單元115和存儲(chǔ)單元117具有與根據(jù)第一實(shí)施例的處理單元基本相同的配 置，并且實(shí)現(xiàn)基本相同的效果。因此，在以下說明中，將省略有關(guān)的詳細(xì)描述。
靜止圖片數(shù)據(jù)獲取單元1001例如由CPU、 ROM、 RAM、通信設(shè)備等構(gòu)成。靜止圖片 數(shù)據(jù)獲取單元1001根據(jù)信息處理設(shè)備10上所執(zhí)行的用戶操作，從存儲(chǔ)單元117或信息處 理設(shè)備10中所插入的各種記錄介質(zhì)中獲取與用戶所指定的靜止圖片相對(duì)應(yīng)的靜止圖片數(shù) 據(jù)。這里，假定靜止圖片數(shù)據(jù)與有關(guān)靜止圖片數(shù)據(jù)被生成的時(shí)間的時(shí)間信息相關(guān)聯(lián)?？商鎿Q 地，靜止圖片數(shù)據(jù)獲取單元1001可以從連接到信息處理設(shè)備10的另一設(shè)備獲取靜止圖片 數(shù)據(jù)，并且可以從經(jīng)由諸如因特網(wǎng)之類的通信網(wǎng)絡(luò)連接的各種服務(wù)器獲取靜止圖片數(shù)據(jù)。 靜止圖片數(shù)據(jù)獲取單元1001向靜止圖片分析單元1003和幀圖像數(shù)據(jù)生成單元109傳送所 獲得的靜止圖片數(shù)據(jù)。 靜止圖片分析單元1003例如由CPU、 ROM、 RAM等構(gòu)成。靜止圖片分析單元1003 分析所傳送的靜止圖片數(shù)據(jù)并且提取表征靜止圖片的特征量。靜止圖片分析單元1003通 過使用所提取出的特征量來生成靜止圖片元數(shù)據(jù)，即有關(guān)這些特征量的元數(shù)據(jù)。靜止圖片 分析單元1003向稍后描述的連環(huán)畫顯示變換單元1005傳送所生成的靜止圖片元數(shù)據(jù)。靜 止圖片分析單元1003不僅可以使用通過分析靜止圖片生成的靜止圖片元數(shù)據(jù)而且可以使 用可從諸如靜止相機(jī)之類的成像設(shè)備獲取的元數(shù)據(jù)來作為將由稍后描述的連環(huán)畫顯示變 換單元1005使用的靜止圖片元數(shù)據(jù)。這里，可從成像設(shè)備獲得的元數(shù)據(jù)例如包括喜歡的按 鈕、放大按鈕、縮小按鈕等的操作歷史。
以下，將再詳細(xì)描述靜止圖片分析單元1003。 連環(huán)畫顯示變換單元1005例如由CPU、 ROM、 RAM等構(gòu)成。連環(huán)畫顯示變換單元 1005基于運(yùn)動(dòng)圖片元數(shù)據(jù)和靜止圖片元數(shù)據(jù)從與運(yùn)動(dòng)圖片數(shù)據(jù)和靜止圖片數(shù)據(jù)中提取多 個(gè)圖像。連環(huán)畫顯示變換單元1005還將預(yù)定的顯示區(qū)域劃分成幀，并且將所提取出的多個(gè) 圖像的布置變換成連環(huán)畫式的布置。此外，連環(huán)畫顯示變換單元1005生成包括有關(guān)被布置 在各幀中的圖像的信息的幀信息。連環(huán)畫顯示變換單元1005向幀圖像數(shù)據(jù)生成單元109 和連環(huán)畫顯示數(shù)據(jù)生成單元111傳送所生成的幀信息。
33
以下，將再詳細(xì)描述連環(huán)畫顯示變換單元1005。 [O340][靜止圖片分析單元1003的配置] 隨后，將參考圖34來詳細(xì)描述根據(jù)本實(shí)施例的靜止圖片分析單元1003的配置。
例如，如圖34中所示，根據(jù)本實(shí)施例的靜止圖片分析單元1003主要包括臉檢測(cè)單 元1011、人檢測(cè)單元1013、對(duì)象檢測(cè)單元1015、物體檢測(cè)單元1017、時(shí)間戳確定單元1019 和靜止圖片元數(shù)據(jù)生成單元1021。 這里，臉檢測(cè)單元1011、人檢測(cè)單元1013、對(duì)象檢測(cè)單元1015、物體檢測(cè)單元1017 具有與根據(jù)第一實(shí)施例和本發(fā)明第一實(shí)施例的變形例的處理單元相同的配置，并且實(shí)現(xiàn)相 同的效果。因此，省略有關(guān)的詳細(xì)描述。 時(shí)間戳確定單元1019例如由CPU、ROM、RAM等構(gòu)成。時(shí)間戳確定單元1019參考與 從靜止圖片數(shù)據(jù)獲取單元1001傳送的靜止圖片數(shù)據(jù)相關(guān)聯(lián)的時(shí)間信息，并且確定靜止圖 片數(shù)據(jù)被生成的時(shí)間。時(shí)間戳確定單元1019向稍后描述的靜止圖片元數(shù)據(jù)生成單元1021 傳送靜止圖片數(shù)據(jù)的時(shí)間戳。 傳送給靜止圖片元數(shù)據(jù)生成單元1021的這樣的時(shí)間戳，即靜止圖片元數(shù)據(jù)之一 使得信息處理設(shè)備10中的其它處理單元能夠確定相應(yīng)的靜止圖片被生成的時(shí)間。當(dāng)這樣 的時(shí)間戳被識(shí)別時(shí)，連環(huán)畫顯示變換單元1005的幀圖像布置單元159可以容易地確定所提 取出的靜止圖片要被插入從運(yùn)動(dòng)圖片選出的這多個(gè)圖像中的哪個(gè)位置。
靜止圖片元數(shù)據(jù)生成單元1021例如由CPU、ROM、 RAM等構(gòu)成。靜止圖片元數(shù)據(jù)生 成單元1021基于從臉檢測(cè)單元1011、人檢測(cè)單元1013、對(duì)象檢測(cè)單元1015、物體檢測(cè)單元 1017、時(shí)間戳確定單元1019傳送的檢測(cè)結(jié)果等，生成與表征靜止圖片的特征量有關(guān)的靜止 圖片元數(shù)據(jù)。換而言之，靜止圖片元數(shù)據(jù)包括與從圖像數(shù)據(jù)提取的幀特征量有關(guān)的元數(shù)據(jù)。
靜止圖片元數(shù)據(jù)生成單元1021向連環(huán)畫顯示變換單元1005傳送如上所述生成的 靜止圖片元數(shù)據(jù)。 以上，已經(jīng)描述了根據(jù)本實(shí)施例的靜止圖片分析單元1003的配置。圖34示出靜 止圖片分析單元1003具有臉檢測(cè)單元1011、人檢測(cè)單元1013、對(duì)象檢測(cè)單元1015、物體檢 測(cè)單元1017的情況。可替換地，靜止圖片分析單元1003可以僅具有以上處理單元中的某 些處理單元。 在根據(jù)本實(shí)施例的信息處理設(shè)備10中，運(yùn)動(dòng)圖片分析單元103和靜止圖片分析單 元1003中的每一個(gè)都具有相同功能的處理單元(檢測(cè)單元)。可替換地，信息處理設(shè)備10 可以設(shè)有檢測(cè)單元。這些檢測(cè)單元中的每一個(gè)被運(yùn)動(dòng)圖片分析單元103和靜止圖片分析單 元1003兩者共享。[連環(huán)畫顯示變換單元1005的配置] 隨后，將參考圖35來詳細(xì)描述根據(jù)本實(shí)施例的連環(huán)畫顯示變換單元1005的配置。
連環(huán)畫顯示變換單元1005主要包括摘要得分計(jì)算單元151、縮略圖數(shù)目確定單 元153、攝影操作元數(shù)據(jù)利用單元155、幀圖像布置單元159、效果圖像布置單元161、幀信息 生成單元163和圖像大小確定單元1031。 這里，摘要得分計(jì)算單元151、縮略圖數(shù)目確定單元153、攝影操作元數(shù)據(jù)利用單 元155、幀圖像布置單元159、效果圖像布置單元161和幀信息生成單元163具有與根據(jù) 第一實(shí)施例和本發(fā)明第一實(shí)施例的變形例的處理單元基本相同的配置，并且實(shí)現(xiàn)相同的效果。因此，省略有關(guān)的詳細(xì)描述。 圖像大小確定單元1031例如由CPU、R0M、RAM等構(gòu)成。圖像大小確定單元1031以 與根據(jù)第一實(shí)施例的圖像大小確定單元157相同的方式，基于摘要得分來確定要被布置在 預(yù)定的顯示區(qū)域中的運(yùn)動(dòng)圖片的縮略圖像的大小。 當(dāng)所選擇的縮略圖像具有指示存在臉的運(yùn)動(dòng)圖片數(shù)據(jù)時(shí)，圖像大小確定單元1031 以放大面部區(qū)域，即，示出臉的區(qū)域的方式來確定圖像大小。當(dāng)在圖像中存在多個(gè)面部區(qū)域 時(shí)，圖像大小確定單元1031以在圖像中包括所有面部區(qū)域的方式放大圖像數(shù)據(jù)的大小。
圖像大小確定單元1031基于從靜止圖片分析單元1003傳送的靜止圖片元數(shù)據(jù)來 確定要被布置在預(yù)定的顯示區(qū)域中的靜止圖片的縮略圖像的大小。圖像大小確定單元1031 還可以基于靜止圖片元數(shù)據(jù)和靜止圖片的大小來從輸入到信息處理設(shè)備10的多個(gè)靜止圖 片中選擇用于顯示連環(huán)畫的靜止圖片。例如，圖像大小確定單元1031可以優(yōu)選地選擇具有 指示對(duì)臉、人、對(duì)象等的選擇的元數(shù)據(jù)的靜止圖片。圖像大小確定單元1031可以基于通過 以下所述用于確定圖像大小的方法所確定的靜止圖片的圖像大小來選擇具有大的圖像大 小的靜止圖片。以下，將再詳細(xì)描述用于基于靜止圖片元數(shù)據(jù)來確定靜止圖片的圖像大小 的方法。 圖像大小確定單元1031向幀圖像布置單元159和幀信息生成單元163傳送有關(guān) 這樣設(shè)置的運(yùn)動(dòng)圖片和靜止圖片的縮略圖像的大小(此外，動(dòng)畫幀圖像的大小)的信息作 為幀圖像信息。 以上已經(jīng)描述了根據(jù)本實(shí)施例的信息處理設(shè)備10的示例性功能。以上構(gòu)成元件 中的每一個(gè)可以利用同樣組件或電路來制造，或可以利用專用于各個(gè)構(gòu)成元件的功能的硬 件來制造?？商鎿Q地，構(gòu)成元件的所有功能可以通過CPU等來執(zhí)行。因此，可以根據(jù)執(zhí)行本 實(shí)施例時(shí)的技術(shù)水平在必要時(shí)改變所使用的配置。 有可能制造用于實(shí)現(xiàn)根據(jù)本實(shí)施例的上述信息處理設(shè)備的功能的計(jì)算機(jī)程序，并 且計(jì)算機(jī)程序可以在個(gè)人計(jì)算機(jī)等上被執(zhí)行。還可以提供存儲(chǔ)了這樣的計(jì)算機(jī)程序的計(jì)算 機(jī)可讀記錄介質(zhì)。記錄介質(zhì)的示例包括磁盤、光盤、磁-光盤和閃存。此外，以上計(jì)算機(jī)程 序例如可以經(jīng)由網(wǎng)絡(luò)來分發(fā)，而不使用記錄介質(zhì)。
〈信息處理方法> 隨后，將參考圖36至圖37來詳細(xì)描述根據(jù)本實(shí)施例的信息處理方法。圖36是用 于描述根據(jù)本實(shí)施例的信息處理方法的總體流程的流程圖。圖37是用于圖示出用于確定 靜止圖片的圖像大小的方法的流程圖。
[信息處理方法的總體流程] 首先，將參考圖36來詳細(xì)描述根據(jù)本實(shí)施例的信息處理方法的總體流程。
首先，根據(jù)本實(shí)施例的信息處理設(shè)備10的運(yùn)動(dòng)圖片數(shù)據(jù)獲取單元101根據(jù)用戶的 操作獲取與用戶所指定的運(yùn)動(dòng)圖片相對(duì)應(yīng)的運(yùn)動(dòng)圖片數(shù)據(jù)(步驟SIOOI)。運(yùn)動(dòng)圖片數(shù)據(jù)獲 取單元101可以從信息處理設(shè)備10中的存儲(chǔ)單元117等或者附接到信息處理設(shè)備10的各 種記錄介質(zhì)獲取運(yùn)動(dòng)圖片數(shù)據(jù)。可替換地，運(yùn)動(dòng)圖片數(shù)據(jù)獲取單元101可以從無線或有線 連接的其它設(shè)備獲取運(yùn)動(dòng)圖片數(shù)據(jù)，并且可以從經(jīng)由諸如因特網(wǎng)之類的通信網(wǎng)絡(luò)連接的其 它設(shè)備獲取運(yùn)動(dòng)圖片數(shù)據(jù)。運(yùn)動(dòng)圖片數(shù)據(jù)獲取單元101向運(yùn)動(dòng)圖片分析單元103和音頻提 取單元105傳送所獲得的運(yùn)動(dòng)圖片數(shù)據(jù)。
此外，根據(jù)本實(shí)施例的信息處理設(shè)備10的靜止圖片數(shù)據(jù)獲取單元1001根據(jù)用戶 的操作獲取與用戶所指定的靜止圖片相對(duì)應(yīng)的靜止圖片數(shù)據(jù)(步驟S1001)。靜止圖片數(shù)據(jù) 獲取單元1001可以從信息處理設(shè)備10中的存儲(chǔ)單元117等或者附接到信息處理設(shè)備10 的各種記錄介質(zhì)獲取靜止圖片數(shù)據(jù)?？商鎿Q地，靜止圖片數(shù)據(jù)獲取單元1001可以從無線或 有線連接的其它設(shè)備獲取靜止圖片數(shù)據(jù)，并且可以從經(jīng)由諸如因特網(wǎng)之類的通信網(wǎng)絡(luò)連接 的其它設(shè)備獲取靜止圖片數(shù)據(jù)。靜止圖片數(shù)據(jù)獲取單元1001向靜止圖片分析單元1003和 幀圖像數(shù)據(jù)生成單元109傳送所獲得的靜止圖片數(shù)據(jù)。 運(yùn)動(dòng)圖片分析單元103分析從運(yùn)動(dòng)圖片數(shù)據(jù)獲取單元101傳送的運(yùn)動(dòng)圖片數(shù)據(jù)， 并且生成運(yùn)動(dòng)圖片元數(shù)據(jù)，即，與表征與所傳送的運(yùn)動(dòng)圖片數(shù)據(jù)相對(duì)應(yīng)的運(yùn)動(dòng)圖片的特征 量有關(guān)的元數(shù)據(jù)(步驟S 1003)。運(yùn)動(dòng)圖片分析單元103向連環(huán)畫顯示變換單元1005傳送 所生成的運(yùn)動(dòng)圖片元數(shù)據(jù)。 音頻提取單元105從自運(yùn)動(dòng)圖片數(shù)據(jù)獲取單元101傳送的運(yùn)動(dòng)圖片數(shù)據(jù)提取音頻 數(shù)據(jù)(步驟S1005)，并且向連環(huán)畫顯示數(shù)據(jù)生成單元111傳送所獲得的音頻數(shù)據(jù)。
另一方面，靜止圖片分析單元1003分析從靜止圖片數(shù)據(jù)獲取單元1001傳送的靜 止圖片數(shù)據(jù)，并且生成靜止圖片元數(shù)據(jù)，即，與表征與所傳送的靜止圖片數(shù)據(jù)相對(duì)應(yīng)的靜止 圖片的特征量有關(guān)的元數(shù)據(jù)(步驟S1007)。靜止圖片分析單元1003向連環(huán)畫顯示變換單 元1005傳送所生成的靜止圖片元數(shù)據(jù)。 隨后，連環(huán)畫顯示變換單元1005的摘要得分計(jì)算單元151基于所傳送的運(yùn)動(dòng)圖片 元數(shù)據(jù)來計(jì)算構(gòu)成運(yùn)動(dòng)圖片的所有圖像(幀圖像)的摘要得分。摘要得分計(jì)算單元151向 縮略圖數(shù)目確定單元153傳送所計(jì)算出的摘要得分。 隨后，縮略圖數(shù)目確定單元153通過使用所傳送的摘要得分和運(yùn)動(dòng)圖片元數(shù)據(jù)來 選擇用作縮略圖像的代表幀圖像(步驟S1009)。當(dāng)縮略圖數(shù)目確定單元153結(jié)束選擇代表 幀圖像時(shí)，縮略圖數(shù)目確定單元153選擇用于縮略圖動(dòng)畫的動(dòng)畫幀圖像?？s略圖數(shù)目確定 單元153生成圖像數(shù)目信息，圖像數(shù)目信息包括用于識(shí)別所選擇的代表幀圖像的信息、有 關(guān)代表幀圖像的數(shù)目的信息、有關(guān)與代表幀圖像有關(guān)的動(dòng)畫幀圖像的信息等。縮略圖數(shù)目 確定單元153向圖像大小確定單元1031和幀信息生成單元163傳送所生成的圖像數(shù)目信 息。 在確定動(dòng)畫幀圖像和縮略圖動(dòng)畫的再現(xiàn)速度時(shí)，有可能反映出攝影操作元數(shù)據(jù)利 用單元155所提供的分析結(jié)果。 隨后，圖像大小確定單元1031基于已經(jīng)傳送的圖像數(shù)目信息、運(yùn)動(dòng)圖片元數(shù)據(jù)、 摘要得分等，確定要被顯示為連環(huán)畫的所選擇的代表幀圖像的圖像大小(步驟SlOll)。圖 像大小確定單元1031基于從靜止圖片分析單元1003傳送的靜止圖片元數(shù)據(jù)等來確定靜止 圖片的圖像大小(步驟S1013)。圖像大小確定單元1031生成包括與代表幀圖像的圖像大 小有關(guān)的信息的幀圖像信息，并且向幀圖像布置單元159和幀信息生成單元163傳送幀圖 像信息。 圖像大小確定單元1031還可以基于靜止圖片元數(shù)據(jù)和靜止圖片的大小來從輸入 信息處理設(shè)備10的多個(gè)靜止圖片中選擇用于顯示連環(huán)畫的靜止圖片。例如，圖像大小確定 單元1031可以優(yōu)先選擇具有指示出檢測(cè)到臉、人、物體等的元數(shù)據(jù)的靜止圖片。圖像大小 確定單元1031可以優(yōu)選基于通過下述用于確定圖像大小的方法所確定的靜止圖片的圖像大小來選擇具有大的圖像大小的靜止圖片。 隨后，幀圖像布置單元159通過使用已經(jīng)傳送的幀圖像信息、運(yùn)動(dòng)圖片元數(shù)據(jù)等， 自動(dòng)將代表幀圖像布置到顯示區(qū)域并且確定代表幀圖像的布置(步驟S1015)。當(dāng)幀圖像布 置單元159確定代表幀圖像的布置時(shí)，幀圖像布置單元159生成包括有關(guān)哪些代表幀圖像 被布置在哪些位置的信息的幀布置信息，并且向效果圖像布置單元161和幀信息生成單元 163傳送所生成的幀布置信息。 隨后，效果圖像布置單元161基于已經(jīng)傳送的幀布置信息、運(yùn)動(dòng)圖片元數(shù)據(jù)、靜止 圖片元數(shù)據(jù)等來布置諸如發(fā)言氣球框等的效果圖像(步驟S1017)。此時(shí)，效果圖像布置單 元161根據(jù)如本發(fā)明第一實(shí)施例和第一實(shí)施例的第一變形例中所描述的用于布置效果圖 像的方法來布置效果圖像。當(dāng)效果圖像布置單元161結(jié)束布置效果圖像時(shí)，效果圖像布置 單元161生成包括有關(guān)哪些效果被布置并且這些效果被布置在哪的信息的效果布置信息， 并且向幀信息生成單元163傳送所生成的效果布置信息。 在布置圖像大小、幀圖像和效果圖像時(shí)，有可能使用與運(yùn)動(dòng)圖片元數(shù)據(jù)中所包括 的攝影操作有關(guān)的特征量。 隨后，幀信息生成單元163基于從各個(gè)處理單元傳送的圖像數(shù)目信息、幀圖像信 息、幀布置信息、效果布置信息等來生成幀信息(步驟S1019)。幀信息生成單元163向幀圖 像數(shù)據(jù)生成單元109和連環(huán)畫顯示數(shù)據(jù)生成單元111傳送所生成的幀信息。
隨后，幀圖像數(shù)據(jù)生成單元109基于圖像數(shù)據(jù)和幀信息來執(zhí)行用于調(diào)節(jié)用于顯示 連環(huán)畫的幀圖像的大小和形狀的處理(步驟S1021)。幀圖像數(shù)據(jù)生成單元109向連環(huán)畫顯 示數(shù)據(jù)生成單元111傳送所生成的幀圖像數(shù)據(jù)。 連環(huán)畫顯示數(shù)據(jù)生成單元111基于從音頻提取單元105傳送的音頻數(shù)據(jù)和從連環(huán) 畫顯示變換單元1005傳送的幀信息，生成用于顯示連環(huán)畫的音頻數(shù)據(jù)。此外，連環(huán)畫顯示 數(shù)據(jù)生成單元111通過使用幀信息、音頻數(shù)據(jù)、幀圖像數(shù)據(jù)和效果數(shù)據(jù)來生成連環(huán)畫顯示 數(shù)據(jù)，即，一組用來顯示連環(huán)畫的數(shù)據(jù)(步驟S1023)。 信息處理設(shè)備10通過執(zhí)行所生成的連環(huán)畫顯示數(shù)據(jù)來在顯示屏幕上顯示用作運(yùn) 動(dòng)圖片的內(nèi)容的概要的連環(huán)畫。 當(dāng)在生成連環(huán)畫之后觀看從靜止圖片生成的幀圖像時(shí)，可以通過移動(dòng)一個(gè)靜止圖 片來制作動(dòng)畫。此外，對(duì)于從靜止圖片生成的幀圖像，可以通過靜止圖片聚合來從多個(gè)靜止 圖片中選擇用于動(dòng)畫的圖像，并且可以使用所選擇的圖片來制作動(dòng)畫。
[用于確定靜止圖片的圖像大小的方法] 隨后，將參考圖37來詳細(xì)描述由圖像大小確定單元1031執(zhí)行的用于確定靜止圖 片的圖像大小的方法。 當(dāng)確定靜止圖片的圖像大小時(shí)，圖像大小確定單元1031首先對(duì)表示靜止圖片的 圖像大小的參數(shù)設(shè)置初始值(步驟S1101)。 隨后，圖像大小確定單元1031參考從靜止圖片分析單元1003傳送的靜止圖片元 數(shù)據(jù)，并且判斷在正被處理的靜止圖片中是否存在兩個(gè)或更多面部區(qū)域(步驟S 1103)。當(dāng) 沒有檢測(cè)到兩個(gè)或更多面部區(qū)域時(shí)，圖像大小確定單元1031執(zhí)行稍后描述的步驟Sllll。 當(dāng)檢測(cè)到兩個(gè)或更多面部區(qū)域時(shí)，圖像大小確定單元1031增大表示圖像大小的參數(shù)(步驟 S1105)。隨后，圖像大小確定單元1031判斷所檢測(cè)到的面部區(qū)域的大小是否等于或大于80個(gè)像素(步驟S1107)。當(dāng)面部區(qū)域的大小等于或大于80個(gè)像素時(shí)，圖像大小確定單元1031 增大表示圖像大小的參數(shù)(步驟S1109)。當(dāng)面部區(qū)域的大小不等于或大于80像素時(shí)，圖像 大小確定單元1031執(zhí)行稍后描述的步驟Sllll。 隨后，圖像大小確定單元1031參考靜止圖片元數(shù)據(jù)，并且判斷靜止圖片的失焦指 數(shù)是否等于或大于50 (步驟Sllll)。當(dāng)失焦指數(shù)等于或大于50時(shí)，可能存在圖像模糊的可 能性。因此，圖像大小確定單元1031減小表示圖像大小的參數(shù)(步驟S1113)，并且之后，執(zhí) 行稍后描述的步驟S1115。當(dāng)失焦指數(shù)不等于或大于50時(shí)，圖像大小確定單元1031執(zhí)行稍 后描述的步驟S1117。 隨后，圖像大小確定單元1031計(jì)算被定義為(作為對(duì)象檢測(cè)到的面積/離圖像中 心的距離)的對(duì)象區(qū)域得分(步驟S1115)，并且判斷所計(jì)算出的對(duì)象區(qū)域得分是否是0. 75 或更大(步驟S1117)。當(dāng)對(duì)象區(qū)域得分為0. 75或更大時(shí)，圖像大小確定單元1031增大表 示圖像大小的參數(shù)(步驟S1119)，并且執(zhí)行稍后描述的步驟S1121。當(dāng)對(duì)象區(qū)域得分不是 0. 75或更大時(shí)，圖像大小確定單元1031執(zhí)行稍后描述的步驟S1121。 隨后，圖像大小確定單元1031參考所產(chǎn)生的表示圖像大小的參數(shù)，并且基于該參 數(shù)來確定圖像大小(步驟S1121)。 圖像大小確定單元1031可以通過根據(jù)這樣的程序、基于靜止圖片元數(shù)據(jù)執(zhí)行這 些處理來確定用于顯示連環(huán)畫的圖像大小。 以上說明中所示出的各個(gè)閾值僅僅是示例，并且可以根據(jù)諸如圖像大小確定單元
1031所處理的靜止圖片的拍照條件、大小等各種因素被設(shè)置為任何值。(第三實(shí)施例) 接著，將參考圖38來描述根據(jù)本方面第三實(shí)施例的信息處理設(shè)備。根據(jù)本實(shí)施例 的信息處理設(shè)備通過使用分析結(jié)果來自動(dòng)提取對(duì)一連串靜止圖片的內(nèi)容的識(shí)別有用的圖 像，并且以使得用戶能夠容易地理解內(nèi)容的方式顯示所提取出的圖像。
〈信息處理設(shè)備的配置> 圖38是用于圖示出根據(jù)本實(shí)施例的信息處理設(shè)備的配置的框圖。例如，如圖38 中所示，根據(jù)本實(shí)施例的信息處理設(shè)備10包括幀圖像數(shù)據(jù)生成單元109、連環(huán)畫顯示數(shù)據(jù) 生成單元111、連環(huán)畫顯示執(zhí)行單元113、顯示控制單元115和存儲(chǔ)單元117。此外，根據(jù)本 實(shí)施例的信息處理設(shè)備10包括靜止圖片數(shù)據(jù)獲取單元1001、靜止圖片分析單元1003和連 環(huán)畫顯示變換單元1101。 幀圖像數(shù)據(jù)生成單元109、連環(huán)畫顯示數(shù)據(jù)生成單元111、連環(huán)畫顯示執(zhí)行單元 113、顯示控制單元115和存儲(chǔ)單元117具有與根據(jù)第一實(shí)施例、第一變形例和第二實(shí)施例 的處理單元基本相同的配置，并且實(shí)現(xiàn)基本相同的效果。因此，在以下說明中將省略有關(guān)的 詳細(xì)描述。 此外，靜止圖片數(shù)據(jù)獲取單元1001和靜止圖片分析單元1003具有與根據(jù)第二實(shí) 施例的靜止圖片數(shù)據(jù)獲取單元1001和靜止圖片分析單元1003基本相同的配置，并且實(shí)現(xiàn) 基本相同的效果。因此，在以下說明中將省略有關(guān)的詳細(xì)描述。 連環(huán)畫顯示變換單元1101例如由CPU、 ROM、 RAM等構(gòu)成。連環(huán)畫顯示變換單元 1101基于從靜止圖片分析單元1003傳送的靜止圖片數(shù)據(jù)將預(yù)定的顯示區(qū)域劃分成幀，并 且將所提取出的多個(gè)靜止圖像的布置變換成連環(huán)畫式的布置。此外，連環(huán)畫顯示變換單元1101生成有關(guān)被布置在各個(gè)幀中的圖像的信息的幀信息。連環(huán)畫顯示變換單元1101向幀
圖像數(shù)據(jù)生成單元109和連環(huán)畫顯示數(shù)據(jù)生成單元111傳送所生成的幀信息。 以上連環(huán)畫顯示變換單元1101的詳細(xì)配置與根據(jù)本發(fā)明的第二實(shí)施例的連環(huán)畫
顯示變換單元1005的詳細(xì)配置基本相同。因此，將省略有關(guān)的詳細(xì)描述。 根據(jù)本實(shí)施例的信息處理設(shè)備10的靜止圖片數(shù)據(jù)獲取單元1001根據(jù)信息處理設(shè)
備10上所執(zhí)行的用戶操作來從存儲(chǔ)單元117獲取與用戶所指定的靜止圖片相對(duì)應(yīng)的靜止
圖片數(shù)據(jù)，并且向靜止圖片分析單元1003傳送所獲得的靜止圖片數(shù)據(jù)。靜止圖片分析單元
1003分析從靜止圖片數(shù)據(jù)獲取單元1001傳送的靜止圖片數(shù)據(jù)，并且生成靜止圖片元數(shù)據(jù)，
即，與表征與所傳送的靜止圖片元數(shù)據(jù)相對(duì)應(yīng)的靜止圖片的特征量有關(guān)的元數(shù)據(jù)。靜止圖
片分析單元1003向連環(huán)畫顯示變換單元1101傳送所生成的靜止圖片元數(shù)據(jù)。 連環(huán)畫顯示變換單元1101的圖像大小確定單元1031基于從靜止圖片分析單元
1003傳送的靜止圖片元數(shù)據(jù)等來確定靜止圖片的圖像大小。圖像大小確定單元1031生成
包括與代表幀圖像的圖像大小有關(guān)的信息的幀圖像信息，并且向連環(huán)畫顯示變換單元1101
的幀圖像布置單元159和幀信息生成單元163傳送所生成的幀圖像信息。 連環(huán)畫顯示變換單元1101的幀圖像布置單元159通過使用已經(jīng)傳送的幀圖像信
息、靜止圖片元數(shù)據(jù)等來將代表幀圖像自動(dòng)布置到顯示區(qū)域中，并且確定代表幀圖像的步
驟。當(dāng)幀圖像布置單元159確定代表幀圖像的布置時(shí)，幀圖像布置單元159生成包括有關(guān)
哪些代表幀圖像被布置在哪些位置的信息的幀布置信息，并且向連環(huán)畫顯示變換單元1101
的效果圖像布置單元161和幀信息生成單元163傳送所生成的幀布置信息。 隨后，連環(huán)畫顯示變換單元1101的效果圖像布置單元161基于已經(jīng)傳送的幀布置
信息、運(yùn)動(dòng)圖片元數(shù)據(jù)、靜止圖片元數(shù)據(jù)等來布置諸如發(fā)言氣球框等的效果圖像。此時(shí)，效
果圖像布置單元161根據(jù)如本發(fā)明第一實(shí)施例和第一實(shí)施例的第一變形例中所描述的用
于布置效果圖像的方法來布置效果圖像。當(dāng)效果圖像布置單元161結(jié)束布置效果圖像時(shí)，
效果圖像布置單元161生成包括有關(guān)哪些效果被布置并且這些效果被布置在哪的信息的
效果布置信息，并且向幀信息生成單元163傳送所生成的效果布置信息。 隨后，連環(huán)畫顯示變換單元1101的幀信息生成單元163基于從各個(gè)處理單元傳送
的幀圖像信息、幀布置信息、效果布置信息等來生成幀信息。幀信息生成單元163向幀圖像
數(shù)據(jù)生成單元109和連環(huán)畫顯示數(shù)據(jù)生成單元111傳送所生成的幀信息。 隨后，幀圖像數(shù)據(jù)生成單元109基于圖像數(shù)據(jù)和幀信息來執(zhí)行用于調(diào)節(jié)用于顯示
連環(huán)畫的幀圖像的大小和形狀的處理。幀圖像數(shù)據(jù)生成單元109向連環(huán)畫顯示數(shù)據(jù)生成單
元111傳送所生成的幀圖像數(shù)據(jù)。 連環(huán)畫顯示數(shù)據(jù)生成單元111通過使用幀信息、幀圖像數(shù)據(jù)和效果數(shù)據(jù)來生成連 環(huán)畫顯示數(shù)據(jù)，即一組用來顯示連環(huán)畫的數(shù)據(jù)。 信息處理設(shè)備10可以通過執(zhí)行所生成的連環(huán)畫顯示數(shù)據(jù)來在顯示屏幕上顯示用 作運(yùn)動(dòng)圖片的內(nèi)容的概要的連環(huán)畫。 以上，已經(jīng)描述了根據(jù)本實(shí)施例的信息處理設(shè)備10的示例功能。以上構(gòu)成元件中 的每一個(gè)可以利用通用組件或電路來制造，或者可以利用專用于每個(gè)構(gòu)成元件的功能的硬 件來制造?？商鎿Q地，構(gòu)成元件的所有功能可以通過CPU等來執(zhí)行。因此，可以根據(jù)執(zhí)行本 實(shí)施例的技術(shù)水平，在必要時(shí)改變所使用的配置。
39
有可能制造用于實(shí)現(xiàn)根據(jù)本實(shí)施例的上述信息處理設(shè)備的功能的計(jì)算機(jī)程序，并 且計(jì)算機(jī)程序可以在個(gè)人計(jì)算機(jī)等上被執(zhí)行。還可以提供存儲(chǔ)了這樣的計(jì)算機(jī)程序的計(jì)算 機(jī)可讀記錄介質(zhì)。記錄介質(zhì)的示例包括磁盤、光盤、磁-光盤和閃存。此外，以上計(jì)算機(jī)程 序例如可以經(jīng)由網(wǎng)絡(luò)來分發(fā)，而不使用記錄介質(zhì)。
〈硬件配置> 隨后，將參考圖39來詳細(xì)描述根據(jù)本發(fā)明各個(gè)實(shí)施例的信息處理設(shè)備10的硬件 配置。圖39是用于圖示出根據(jù)本發(fā)明各個(gè)實(shí)施例的信息處理設(shè)備10的硬件配置的框圖。
信息處理設(shè)備10主要包括CPU 901、R0M 903和RAM 905。信息處理設(shè)備10還包 括主機(jī)總線907、橋接器909、外部總線911、接口 913、輸入裝置915、輸出裝置917、存儲(chǔ)裝 置919、驅(qū)動(dòng)器921、連接端口 923和通信裝置925。 CPU 901用作算術(shù)處理單元和控制設(shè)備，并且根據(jù)ROM 903、 RAM905、存存儲(chǔ)裝置 919或可移除記錄介質(zhì)927上所存儲(chǔ)的各種程序來控制信息處理設(shè)備10中的全部操作或某 些操作。ROM 903存儲(chǔ)由CPU 901使用的程序、操作參數(shù)等。RAM 905主要在必要時(shí)存儲(chǔ)在 CPU 901的執(zhí)行期間使用的程序以及在執(zhí)行期間變化的參數(shù)等。這些裝置經(jīng)由由諸如CPU 總線之類的內(nèi)部總線構(gòu)成的主機(jī)總線907彼此連接。 主機(jī)總線907經(jīng)由橋接器909連接到諸如PCI (外圍組件互連/接口 )之類的外 部總線911。 輸入裝置915用戶操作的操作裝置，例如，鼠標(biāo)、鍵盤、觸摸面板、按鈕、開關(guān)或控 制桿之類的操作裝置。輸入裝置915可以是例如使用紅外線或其它無線電波的遙控裝置 (所謂的遙控器)，或可以是能夠操作信息處理設(shè)備10的諸如便攜式電話和PDA之類的外 部地連接的裝置929。輸入裝置915由用于例如基于用戶例如以上操作裝置輸入的信息來 生成輸入信息并且向CPU 901輸出該輸出信號(hào)的輸入控制電路等構(gòu)成。通過操作輸入裝置 915，信息處理設(shè)備10的用戶可以向信息處理設(shè)備IO輸入各種數(shù)據(jù)，或者可以向信息處理 設(shè)備10給出有關(guān)處理操作的指令。 輸出裝置917是由能夠可聽見地或可看見地向用戶通知所獲得信息的裝置構(gòu)成。 輸出裝置917的示例包括諸如CRT顯示裝置、液晶顯示裝置、等離子顯示裝置、EL顯示裝置 和燈光之類的顯示裝置，諸如揚(yáng)聲器和頭戴式耳機(jī)之類的音頻輸出裝置，打印機(jī)，便攜式電 話，傳真機(jī)等等。輸出裝置917例如輸出利用信息處理設(shè)備IO所執(zhí)行的各種處理獲得的結(jié) 果。更具體而言，顯示裝置將利用信息處理設(shè)備io所執(zhí)行的各種處理獲得的結(jié)果作為文本 或圖像進(jìn)行顯示。另一方面，音頻輸出裝置將諸如所再現(xiàn)的音頻數(shù)據(jù)和聲音數(shù)據(jù)變換成模 擬信號(hào)，并且輸出模擬信號(hào)。 存儲(chǔ)裝置919是用于存儲(chǔ)數(shù)據(jù)的裝置，其是信息處理設(shè)備10的存儲(chǔ)單元的示例。 存儲(chǔ)裝置919例如由諸如HDD(硬盤驅(qū)動(dòng)器)之類的磁存儲(chǔ)裝置、半導(dǎo)體存儲(chǔ)裝置、光存儲(chǔ) 裝置、磁-光存儲(chǔ)裝置等構(gòu)成。存儲(chǔ)裝置919存儲(chǔ)由CPU 901執(zhí)行的程序以及從外部獲得 的各種數(shù)據(jù)、聲學(xué)信號(hào)數(shù)據(jù)和圖像信號(hào)數(shù)據(jù)。 驅(qū)動(dòng)器921是用于記錄介質(zhì)的閱讀器/寫入器，并且被嵌入在信息處理設(shè)備10中 或外部地附接到信息處理設(shè)備10。驅(qū)動(dòng)器921讀諸如磁盤、光盤、磁-光盤或半導(dǎo)體存儲(chǔ)器 之類的所附接的可移除記錄介質(zhì)927中所存儲(chǔ)的信息，并且向RAM 905輸出所讀出的信息。 驅(qū)動(dòng)器921也可以將記錄寫入諸如磁盤、光盤、磁-光盤或半導(dǎo)體存儲(chǔ)器之類的所附接的可質(zhì)、HD-DVD介質(zhì)、Blu-ray介質(zhì) 等?？梢瞥涗浗橘|(zhì)927可以是CompactFlash(注冊(cè)商標(biāo))(CompactFlash :CF)、記憶棒、 SD存儲(chǔ)卡(安全數(shù)字存儲(chǔ)卡)等?？商鎿Q地，可移除記錄介質(zhì)927例如可以是電子產(chǎn)品或 裝有非接觸IC芯片的IC卡。 連接端口 923是用于允許設(shè)備直接連接到信息處理設(shè)備10的端口。連接端口 923 的示例包括USB (通用串行總線)端口 、諸如i. Link之類的IEEE1394端口 、SCSI (小型計(jì)算 機(jī)系統(tǒng)接口 )端口等。連接端口 923的其它示例包括RS-232C端口 、光學(xué)音頻端子、HDMI (高 清晰多媒體接口 )等。當(dāng)外部地連接的設(shè)備929連接到連接端口 923時(shí)，信息處理設(shè)備10 直接地從外部地連接的設(shè)備929獲取聲學(xué)信號(hào)數(shù)據(jù)和圖像信號(hào)數(shù)據(jù)，或向外部地連接的設(shè) 備929饋送聲學(xué)信號(hào)數(shù)據(jù)和圖像信號(hào)數(shù)據(jù)。 通信裝置925是例如由用于連接到通信網(wǎng)絡(luò)931的通信裝置等構(gòu)成的通信接口 。 通信裝置925例如是有線或無線LAN(局域網(wǎng))、Bluetooth、用于WUSB (無線USB)的通信卡 等?？商鎿Q地，通信裝置925可以是用于光通信的路由器、用于ADSL(非對(duì)稱數(shù)字訂戶線) 的路由器、用于各種通信的調(diào)制解調(diào)器等。通信裝置925可以利用因特網(wǎng)和其它通信設(shè)備 來根據(jù)諸如TCP/IP之類的預(yù)定協(xié)議發(fā)送和接收信號(hào)等。通信裝置925連接到的通信網(wǎng)絡(luò) 931是由有線或無線連接的網(wǎng)絡(luò)等構(gòu)成。例如，通信網(wǎng)絡(luò)931可以是因特網(wǎng)、家庭LAN、紅外 通信、無線電通信、衛(wèi)星通信等。 以上，已經(jīng)描述了能夠?qū)崿F(xiàn)根據(jù)本發(fā)明各個(gè)實(shí)施例的信息處理設(shè)備10的功能的 硬件配置的示例。以上構(gòu)成元素的每一個(gè)可以使用通用組件來制造或使用專用于構(gòu)成元件 的功能的硬件來制造。因此，可以根據(jù)執(zhí)行本實(shí)施例時(shí)的技術(shù)水平在必要時(shí)改變所使用的配置。〈概要> 如上所述，利用該方法，可以以連環(huán)畫式的方式來顯示各種事件(例如，聚會(huì)、旅 行等)的私人視頻。具有若干分鐘的持續(xù)時(shí)間的私人視頻可以根據(jù)幀的大小被表示為若干 頁面。因此，用戶可以在短時(shí)間內(nèi)觀看私人視頻。當(dāng)連環(huán)畫顯示數(shù)據(jù)被生成為諸如Flash 之類的內(nèi)容時(shí)，用戶可以在Web瀏覽器上翻頁，并且在收聽指定幀的再現(xiàn)音頻的同時(shí)讀這 些內(nèi)容。 以這種方法，運(yùn)動(dòng)圖片分析單元通過分析運(yùn)動(dòng)圖片數(shù)據(jù)來提取運(yùn)動(dòng)圖片元數(shù)據(jù)。 可替換地，當(dāng)運(yùn)動(dòng)圖片包括TV內(nèi)容時(shí)，還可以獲得諸如標(biāo)題數(shù)據(jù)和EPG數(shù)據(jù)之類的信息，這 使得例如能夠在發(fā)言氣球框中顯示人所講的話語。 如上所述，根據(jù)該方法，可以以使得用戶一瞥就理解運(yùn)動(dòng)圖片的內(nèi)容的方式來總 結(jié)運(yùn)動(dòng)圖片的內(nèi)容。從而，運(yùn)動(dòng)圖片可以在較短的時(shí)間中被再現(xiàn)，并且用戶可以察看整個(gè)內(nèi) 容而不錯(cuò)過重要的場(chǎng)景。此外，通過幀的大小來反映場(chǎng)景的興奮度，使得令人興奮的場(chǎng)景可 以被有效表示。此外，可以容易地從許多運(yùn)動(dòng)圖片中搜索具體的運(yùn)動(dòng)圖片，這是因?yàn)檫\(yùn)動(dòng)圖 片被以一瞥就理解的方式表示。 此外，根據(jù)該方法，使能各種連環(huán)畫表現(xiàn)，例如幀劃分和發(fā)言氣球框，使得用戶感 覺在看運(yùn)動(dòng)圖片。從而，所提取的令人興奮的場(chǎng)景被劃分并且被制成動(dòng)態(tài)幀，這使得連環(huán)畫 更有趣。利用臉提取功能，包括拍得好的臉的幀可以以臉不被發(fā)言氣球框覆蓋的方式被用 到連環(huán)畫。利用音頻數(shù)據(jù)的分類功能，可以根據(jù)音頻中所講的話語來生成發(fā)言氣球框。各種發(fā)言氣球框使得用戶能夠更容易地理解運(yùn)動(dòng)圖片中的場(chǎng)景。此外，有可能防止用戶由于失
去看的熱情而不管所拍的運(yùn)動(dòng)圖片這樣的情況，并且有可能使得用戶對(duì)運(yùn)動(dòng)圖片感興趣。
被表示為連環(huán)畫圖像的運(yùn)動(dòng)圖片可以消除私人視頻中的冗長(zhǎng)的感覺?？梢杂弥T如Flash、 JavaScript和Java/BREW之類的各種Script和語言來描述根
據(jù)該方法的連環(huán)畫顯示數(shù)據(jù)。例如，當(dāng)連環(huán)畫顯示數(shù)據(jù)被實(shí)現(xiàn)為Flash等時(shí)，可以制成交互
式的內(nèi)容使得用戶可以翻頁和再現(xiàn)音頻。此外，可以在一般可用的web瀏覽器上觀看連環(huán)
畫顯示數(shù)據(jù)，這消除了諸如專用應(yīng)用程序的安裝之類的麻煩。此外，有可能提高共享網(wǎng)站的
運(yùn)動(dòng)圖片的表現(xiàn)和可用性，因?yàn)檫\(yùn)動(dòng)圖片的內(nèi)容可以作為列表被顯示。因此，有可能邀請(qǐng)?jiān)?br> 來越多的人來將連環(huán)畫顯示數(shù)據(jù)上載到網(wǎng)絡(luò)以與其它人共享運(yùn)動(dòng)圖片。以這種方法，以一
瞥就理解的方式來表現(xiàn)內(nèi)容，并且表現(xiàn)內(nèi)容的方式令人感興趣。因此，該方法可以提高與例
如粘貼到主頁和博客上的兼容性。 通過不僅使用面部區(qū)域的檢測(cè)結(jié)果還使用諸如人檢測(cè)、對(duì)象檢測(cè)利物體檢測(cè)之類 的各種識(shí)別和檢測(cè)技術(shù)，可以提取對(duì)于理解內(nèi)容有用的各種圖像，并且內(nèi)容可以被更容易 地理解。 布置效果圖像的位置根據(jù)例如所檢測(cè)到的區(qū)域的位置或檢測(cè)所檢測(cè)到的區(qū)域的 精度而改變。因此，可以以強(qiáng)調(diào)的方式顯示圖像中的重要物體，并且有可能防止重要的物體 被效果圖像覆蓋。 此外，用戶的各種媒體的內(nèi)容，例如運(yùn)動(dòng)圖片內(nèi)容和靜止圖片內(nèi)容，可以被全體變 換成連環(huán)畫式的表示。因此，用戶可以輕松享受看多個(gè)媒體的摘要的樂趣。
本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，可以根據(jù)設(shè)計(jì)要求和其它因素進(jìn)行各種修改、組合、子 組合和更改，只要它們?cè)谒綑?quán)利要求及其等價(jià)物的范圍以內(nèi)即可。 本發(fā)明包含與2009年1月20日在日本專利局提交的日本優(yōu)先權(quán)專利申 請(qǐng)JP 2009-009920和2009年7月30日在日本專利局提交的日本優(yōu)先權(quán)專利申請(qǐng)JP 2009-177877中所公開的主題有關(guān)的主題，其全部?jī)?nèi)容通過引用被結(jié)合于此。
權(quán)利要求
一種信息處理設(shè)備，包括運(yùn)動(dòng)圖片分析單元，用于分析運(yùn)動(dòng)圖片數(shù)據(jù)，并且用于生成運(yùn)動(dòng)圖片元數(shù)據(jù)，所述運(yùn)動(dòng)圖片數(shù)據(jù)是包括與時(shí)間信息相關(guān)聯(lián)的多個(gè)圖像和音頻的運(yùn)動(dòng)圖片的數(shù)據(jù)，所述運(yùn)動(dòng)圖片元數(shù)據(jù)是與表征所述運(yùn)動(dòng)圖片的多個(gè)特征量有關(guān)的元數(shù)據(jù)；連環(huán)畫顯示變換單元，用于基于所述運(yùn)動(dòng)圖片元數(shù)據(jù)來從所述運(yùn)動(dòng)圖片數(shù)據(jù)中提取多個(gè)圖像，用于將預(yù)定的顯示區(qū)域劃分成幀，用于將多個(gè)提取出的圖像的布置變換成連環(huán)畫式的布置，并且用于生成含有與各個(gè)幀中所布置的圖像有關(guān)的信息的幀信息；以及連環(huán)畫顯示數(shù)據(jù)生成單元，用于生成連環(huán)畫顯示數(shù)據(jù)，所述連環(huán)畫顯示數(shù)據(jù)至少包括所述幀信息、所提取出的圖像的數(shù)據(jù)以及所述運(yùn)動(dòng)圖片的音頻數(shù)據(jù)。
2. 根據(jù)權(quán)利要求1所述的信息處理設(shè)備，其中，所述連環(huán)畫顯示變換單元還包括摘要得分計(jì)算單元，用于基于所述運(yùn)動(dòng)圖片元數(shù)據(jù)來計(jì)算摘要得分，所述摘要得分是通過對(duì)構(gòu)成所述運(yùn)動(dòng)圖片的多個(gè)圖像中的每一個(gè)圖像的多個(gè)特征量加權(quán)并求和而獲得的值；縮略圖數(shù)目確定單元，用于基于所述摘要得分，來從構(gòu)成所述運(yùn)動(dòng)圖片數(shù)據(jù)的多個(gè)圖像中提取要被布置在所述幀中的縮略圖像，并且用于確定所述縮略圖像的數(shù)目；圖像大小確定單元，用于基于所述摘要得分，來確定被布置在所述預(yù)定的顯示區(qū)域中的縮略圖像的大??；幀圖像布置單元，用于將圖像大小已確定的所述縮略圖像按預(yù)定的順序布置到所述幀中；以及幀信息生成單元，用于生成與布置了所述縮略圖像的幀有關(guān)的幀信息。
3. 根據(jù)權(quán)利要求2所述的信息處理設(shè)備，其中，所述縮略圖數(shù)目確定單元還提取與所提取的縮略圖像連續(xù)預(yù)定時(shí)間的多個(gè)圖像，作為動(dòng)畫圖像。
4. 根據(jù)權(quán)利要求3所述的信息處理設(shè)備，其中，所述運(yùn)動(dòng)圖片元數(shù)據(jù)包括與拍攝所述運(yùn)動(dòng)圖片時(shí)的攝影操作有關(guān)的運(yùn)動(dòng)圖片元數(shù)據(jù)，并且所述連環(huán)畫顯示變換單元還包括攝影操作元數(shù)據(jù)利用單元，所述攝影操作元數(shù)據(jù)利用單元用于基于與所述攝影操作有關(guān)的運(yùn)動(dòng)圖片元數(shù)據(jù)來確定被所述縮略圖數(shù)目確定單元提取作為動(dòng)畫圖像的圖像的數(shù)目。
5. 根據(jù)權(quán)利要求4所述的信息處理設(shè)備，其中，所述攝影操作元數(shù)據(jù)利用單元從在所提取出的縮略圖像和在攝影操作的積分值達(dá)到預(yù)定閾值時(shí)的圖像之間存在的多個(gè)圖像中，選擇所述動(dòng)畫圖像。
6. 根據(jù)權(quán)利要求5所述的信息處理設(shè)備，其中，所述攝影操作元數(shù)據(jù)利用單元根據(jù)所述攝影操作的積分值的大小，設(shè)置包括所述縮略圖像和所述動(dòng)畫圖像的動(dòng)畫的再現(xiàn)速度。
7. 根據(jù)權(quán)利要求2所述的信息處理設(shè)備，還包括靜止圖片分析單元，所述靜止圖片分析單元用于分析作為與靜止圖片相對(duì)應(yīng)的數(shù)據(jù)的靜止圖片數(shù)據(jù)，并且用于生成靜止圖片元數(shù)據(jù)，所述靜止圖片元數(shù)據(jù)是與表征所述靜止圖片的多個(gè)特征量有關(guān)的元數(shù)據(jù)，其中，所述圖像大小確定單元基于所述靜止圖片元數(shù)據(jù)，確定被布置在所述預(yù)定的顯示區(qū)域中的靜止圖片的大小。
8. 根據(jù)權(quán)利要求7所述的信息處理設(shè)備，其中，所述幀圖像布置單元基于與所述靜止圖片數(shù)據(jù)相關(guān)聯(lián)的關(guān)于所述靜止圖片數(shù)據(jù)何時(shí)被生成的時(shí)間信息，確定所述靜止圖片被布置的順序。
9. 根據(jù)權(quán)利要求4所述的信息處理設(shè)備，其中，所述連環(huán)畫顯示變換單元還包括效果圖像布置單元，所述效果圖像布置單元用于基于所述運(yùn)動(dòng)圖片元數(shù)據(jù)，在布置了所述縮略圖像的幀上布置發(fā)言氣球框和屏幕效果中的至少任一種。
10. 根據(jù)權(quán)利要求9所述的信息處理設(shè)備，其中，所述效果圖像布置單元通過使用與所述運(yùn)動(dòng)圖片數(shù)據(jù)中所包括的音頻數(shù)據(jù)有關(guān)的運(yùn)動(dòng)圖片元數(shù)據(jù)來布置所述發(fā)言氣球框和所述屏幕效果中的任一種。
11. 根據(jù)權(quán)利要求io所述的信息處理設(shè)備，其中，所述效果圖像布置單元通過使用與所述攝影操作有關(guān)的運(yùn)動(dòng)圖片元數(shù)據(jù)來對(duì)所述縮略圖像布置所述屏幕效果。
12. 根據(jù)權(quán)利要求2所述的信息處理設(shè)備，其中，對(duì)于運(yùn)動(dòng)圖片元數(shù)據(jù)指示出圖像包括臉的運(yùn)動(dòng)圖片，所述圖像大小確定單元通過放大示出臉的面部區(qū)域來制作所述縮略圖像。
13. 根據(jù)權(quán)利要求2所述的信息處理設(shè)備，其中，所述運(yùn)動(dòng)圖片元數(shù)據(jù)還包括指示所述圖像包括人的運(yùn)動(dòng)圖片元數(shù)據(jù)、與所述圖像中的對(duì)象有關(guān)的運(yùn)動(dòng)圖片元數(shù)據(jù)、與所述圖像中存在的先前登記的物體有關(guān)的運(yùn)動(dòng)圖片元數(shù)據(jù)中的至少任一種，并且所述效果圖像布置單元基于指示所述圖像包括人的運(yùn)動(dòng)圖片元數(shù)據(jù)、與所述圖像中的對(duì)象有關(guān)的運(yùn)動(dòng)圖片元數(shù)據(jù)或者與所述圖像中存在的先前登記的物體有關(guān)的運(yùn)動(dòng)圖片元數(shù)據(jù)，來布置所述屏幕效果。
14. 根據(jù)權(quán)利要求7所述的信息處理設(shè)備，其中，所述靜止圖片元數(shù)據(jù)包括指示所述圖像包括臉的靜止圖片元數(shù)據(jù)、指示所述圖像包括人的靜止圖片元數(shù)據(jù)、與所述圖像中的對(duì)象有關(guān)的靜止圖片元數(shù)據(jù)、與所述圖像中存在的先前登記的物體有關(guān)的靜止圖片元數(shù)據(jù)中的至少任一種，并且所述效果布置單元，基于指示所述圖像包括臉的靜止圖片元數(shù)據(jù)、指示所述圖像包括人的靜止圖片元數(shù)據(jù)、與所述圖像中的對(duì)象有關(guān)的靜止圖片元數(shù)據(jù)或者與所述圖像中存在的先前登記的物體有關(guān)的靜止圖片元數(shù)據(jù)，來布置所述屏幕效果。
15. 根據(jù)權(quán)利要求2所述的信息處理設(shè)備，其中，所示效果圖像布置單元基于所述縮略圖像中預(yù)定的顯示區(qū)域的重心與所述縮略圖像中檢測(cè)到了預(yù)定的物體的區(qū)域的重心之間的相對(duì)位置關(guān)系，來將所述屏幕效果布置在除了所述預(yù)定的物體被檢測(cè)到的區(qū)域之外的區(qū)域中。
16. 根據(jù)權(quán)利要求12所述的信息處理設(shè)備，其中，當(dāng)所述圖像包括多個(gè)面部區(qū)域時(shí)，所述圖像大小確定單元通過執(zhí)行放大處理來制作所述縮略圖像，使得包括所有面部區(qū)域。
17. —種信息處理方法，包括以下步驟分析運(yùn)動(dòng)圖片數(shù)據(jù)并且生成運(yùn)動(dòng)圖片元數(shù)據(jù)，所述運(yùn)動(dòng)圖片數(shù)據(jù)是包括與時(shí)間信息相關(guān)聯(lián)的多個(gè)圖像和音頻的運(yùn)動(dòng)圖片的數(shù)據(jù)，所述運(yùn)動(dòng)圖片元數(shù)據(jù)是與表征所述運(yùn)動(dòng)圖片的特征量有關(guān)的元數(shù)據(jù)；基于所述運(yùn)動(dòng)圖片元數(shù)據(jù)來從所述運(yùn)動(dòng)圖片數(shù)據(jù)中提取多個(gè)圖像，將預(yù)定的顯示區(qū)域劃分成幀，將多個(gè)提取出的圖像的布置變換成連環(huán)畫式的布置，并生成含有與各個(gè)幀中所布置的圖像有關(guān)的信息的幀信息；以及生成連環(huán)畫顯示數(shù)據(jù)，所述連環(huán)畫顯示數(shù)據(jù)至少包括所述幀信息、所提取出的圖像的數(shù)據(jù)以及所述運(yùn)動(dòng)圖片的音頻數(shù)據(jù)。
18. —種程序，所述程序使得計(jì)算機(jī)實(shí)現(xiàn)以下功能分析運(yùn)動(dòng)圖片數(shù)據(jù)并且生成運(yùn)動(dòng)圖片元數(shù)據(jù)，所述運(yùn)動(dòng)圖片數(shù)據(jù)是包括與時(shí)間信息相關(guān)聯(lián)的多個(gè)圖像和音頻的運(yùn)動(dòng)圖片的數(shù)據(jù)，所述運(yùn)動(dòng)圖片元數(shù)據(jù)是與表征所述運(yùn)動(dòng)圖片的特征量有關(guān)的元數(shù)據(jù)；基于所述運(yùn)動(dòng)圖片元數(shù)據(jù)來從所述運(yùn)動(dòng)圖片數(shù)據(jù)中提取多個(gè)圖像，將預(yù)定的顯示區(qū)域劃分成幀，將多個(gè)提取出的圖像的布置變換成連環(huán)畫式的布置，并生成含有與各個(gè)幀中所布置的圖像有關(guān)的信息的幀信息；以及生成連環(huán)畫顯示數(shù)據(jù)，所述連環(huán)畫顯示數(shù)據(jù)至少包括所述幀信息、所提取出的圖像的數(shù)據(jù)以及所述運(yùn)動(dòng)圖片的音頻數(shù)據(jù)。
全文摘要
本發(fā)明提供了一種信息處理設(shè)備、信息處理方法和程序。該信息處理設(shè)備設(shè)有運(yùn)動(dòng)圖片分析單元，其用于分析是包括與時(shí)間信息相關(guān)聯(lián)的多個(gè)圖像和音頻的運(yùn)動(dòng)圖片的數(shù)據(jù)的運(yùn)動(dòng)圖片數(shù)據(jù)并且用于生成是與描述運(yùn)動(dòng)圖片的特征的多個(gè)特征量有關(guān)的元數(shù)據(jù)的運(yùn)動(dòng)圖片元數(shù)據(jù)；連環(huán)畫顯示變換單元，其用于基于運(yùn)動(dòng)圖片元數(shù)據(jù)來從運(yùn)動(dòng)圖片數(shù)據(jù)中提取多個(gè)圖像，并且用于將預(yù)定的顯示區(qū)域劃分成幀，用于將多個(gè)所提取出圖像的布置變換成連環(huán)畫式的布置，以及用于生成包括有關(guān)被布置在這些幀的各個(gè)幀中的圖像的信息的幀信息；以及連環(huán)畫顯示數(shù)據(jù)生成單元，其用于生成至少包括幀信息、所提取出的圖像的數(shù)據(jù)和運(yùn)動(dòng)圖片的音頻數(shù)據(jù)的連環(huán)畫顯示數(shù)據(jù)。
文檔編號(hào)G06T11/60GK101783886SQ20101000430
公開日2010年7月21日 申請(qǐng)日期2010年1月20日 優(yōu)先權(quán)日2009年1月20日
發(fā)明者佐藤浩司, 小形崇, 福本康隆 申請(qǐng)人:索尼公司