本發(fā)明涉及圖像處理裝置以及圖像選擇方法。

背景技術：

過去，如特開2010-177731號公報記載的那樣，有通過將多種圖像合成來生成幻燈片那樣的動態(tài)圖像的技術。

但在上述的專利文獻1所記載的技術中，以固定值對選擇對象的圖像的全部總括設定幻燈片中所顯示的每1張圖像的重放時間，為了配合整體的重放時間而選擇圖像，但在各圖像的個別的重放時間不同的情況下不能進行圖像選擇。

技術實現(xiàn)要素：

本發(fā)明鑒于這樣的狀況而提出，目的在于，即使在選擇對象的圖像的個別重放時間不同的情況下，也能進行用于動態(tài)圖像生成的圖像選擇。

本發(fā)明的圖像處理裝置的特征在于，具備：圖像取得單元，其取得多個圖像；評價單元，其評價所述多個圖像；重放總時間設定單元，其設定多個圖像所構(gòu)成的數(shù)據(jù)的重放總時間；個別重放時間設定單元，其對所述多個圖像各自設定個別重放時間；和選擇單元，其基于所述多個圖像的評價結(jié)果、所述個別重放時間和所述重放總時間，從所述多個圖像選擇與所述重放總時間相應的給定數(shù)量的圖像。

本發(fā)明的圖像選擇方法的特征在于，包括：圖像取得步驟，取得多個圖像；評價步驟，評價通過所述圖像取得步驟取得的所述多個圖像；重放總時間設定步驟，設定多個圖像所構(gòu)成的數(shù)據(jù)的重放總時間；個別重放時間設定步驟，對所述多個圖像各自設定個別重放時間；和選擇步驟，基于所述多個圖像的評價結(jié)果、所述個別重放時間和所述重放總時間，從所述多個圖像選擇與所述重放總時間相應的給定數(shù)量的圖像。

本發(fā)明的圖像處理裝置的其特征在于，具備：取得單元，其取得多個圖像；個別重放時間設定單元，其對由所述取得單元取得的所述多個圖像各自設定個別重放時間；重放總時間設定單元，其設定重放總時間；切換時間點設定單元，其在由所述重放總時間設定單元設定的所述重放總時間中設定圖像的切換時間點；和選擇單元，其基于所述切換時間點和所述重放總時間從所述多個圖像中選擇給定數(shù)量的圖像以成為所述重放總時間內(nèi)。

本發(fā)明的圖像處理方法的特征在于，包括：取得步驟，取得多個圖像；個別重放時間設定步驟，對通過所述取得步驟取得的所述多個圖像各自設定個別重放時間；重放總時間設定步驟，設定重放總時間；切換時間點設定步驟，在通過所述重放總時間設定步驟設定的所述重放總時間中設定圖像的切換時間點；和選擇步驟，基于所述切換時間點和所述重放總時間來從所述多個圖像選擇給定數(shù)量的圖像以成為所述重放總時間內(nèi)。

發(fā)明的效果

根據(jù)本發(fā)明，即使在選擇對象的圖像的個別重放時間不同的情況下，也能進行用于動態(tài)圖像生成的圖像選擇。

附圖說明

圖1是表示本發(fā)明的1個實施方式所涉及的攝像裝置的硬件的構(gòu)成的框圖。

圖2a是表示按評分最優(yōu)化的具體例的示意圖。

圖2b是表示按評分最優(yōu)化的具體例的示意圖。

圖3a是表示排除了冗余的按評分最優(yōu)化的具體例的示意圖。

圖3b是表示排除了冗余的按評分最優(yōu)化的具體例的示意圖。

圖3c是表示排除了冗余的按評分最優(yōu)化的具體例的示意圖。

圖4(a)是用于說明進行了關鍵點同步最優(yōu)化的情況下的圖像的重放位置的示意圖。

圖4(b)是用于說明進行了關鍵點同步最優(yōu)化的情況下的圖像的重放位置的示意圖。

圖4(c)是用于說明進行了關鍵點同步最優(yōu)化的情況下的圖像的重放位置的示意圖。

圖5a是表示關鍵點同步最優(yōu)化的具體例的示意圖。

圖5b是表示關鍵點同步最優(yōu)化的具體例的示意圖。

圖5c是表示關鍵點同步最優(yōu)化的具體例的示意圖。

圖6(a)是用于說明進行了高等級圖像的關鍵點優(yōu)先設定中的關鍵點同步最優(yōu)化的情況下的圖像的重放位置的示意圖。

圖6(b)是用于說明進行了高等級圖像的關鍵點優(yōu)先設定中的關鍵點同步最優(yōu)化的情況下的圖像的重放位置的示意圖。

圖6(c)是用于說明進行了高等級圖像的關鍵點優(yōu)先設定中的關鍵點同步最優(yōu)化的情況下的圖像的重放位置的示意圖。

圖6(d)是用于說明進行了高等級圖像的關鍵點優(yōu)先設定中的關鍵點同步最優(yōu)化的情況下的圖像的重放位置的示意圖。

圖7a是用于說明高等級圖像的關鍵點優(yōu)先設定中的關鍵點同步最優(yōu)化的具體例的示意圖。

圖7b是用于說明高等級圖像的關鍵點優(yōu)先設定中的關鍵點同步最優(yōu)化的具體例的示意圖。

圖7c是用于說明高等級圖像的關鍵點優(yōu)先設定中的關鍵點同步最優(yōu)化的具體例的示意圖。

圖7d是用于說明高等級圖像的關鍵點優(yōu)先設定中的關鍵點同步最優(yōu)化的具體例的示意圖。

圖8(a)是用于說明進行關鍵點同步最優(yōu)化而存在短時間重放圖像的情況下的圖像的重放位置的示意圖。

圖8(b)是用于說明進行關鍵點同步最優(yōu)化而存在短時間重放圖像的情況下的圖像的重放位置的示意圖。

圖8(c)是用于說明進行關鍵點同步最優(yōu)化而存在短時間重放圖像的情況下的圖像的重放位置的示意圖。

圖9a是用于說明進行關鍵點同步最優(yōu)化而存在短時間重放圖像的情況下的重放時間調(diào)整的具體例的示意圖。

圖9b是用于說明進行關鍵點同步最優(yōu)化而存在短時間重放圖像的情況下的重放時間調(diào)整的具體例的示意圖。

圖9c是用于說明進行關鍵點同步最優(yōu)化而存在短時間重放圖像的情況下的重放時間調(diào)整的具體例的示意圖。

圖10是表示圖1的攝像裝置的功能性構(gòu)成當中用于執(zhí)行精彩動態(tài)圖像生成處理的功能性構(gòu)成的功能框圖。

圖11是說明具有圖10的功能性構(gòu)成的圖1的攝像裝置所執(zhí)行的精彩動態(tài)圖像生成處理的流程的流程圖。

標號的說明

1攝像裝置

11cpu

12rom

13ram

14總線

15輸入輸出接口

16攝像部

17傳感器部

18輸入部

19輸出部

20存儲部

21通信部

22驅(qū)動器

31可移動介質(zhì)

51模式設定部

52圖像取得部

53特征量算出部

54動態(tài)圖像重放時間設定部

55圖像重放時間設定部

56路徑設定部

57評分補正部

58圖像選擇部

59動態(tài)圖像生成部

71圖像存儲部

具體實施方式

以下，關于本發(fā)明的實施方式，利用附圖進行說明。

圖1是表示本發(fā)明的第1實施方式所涉及的攝像裝置1的硬件的構(gòu)成的框圖。

攝像裝置1例如構(gòu)成為數(shù)字攝像機。

攝像裝置1如圖1所示那樣具備cpu(centralprocessingunit，中央處理器)11、rom(readonlymemory，只讀存儲器)12、ram(randomaccessmemory，隨機存取存儲器)13、總線14、輸入輸出接口15、攝像部16、傳感器部17、輸入部18、輸出部19、存儲部20、通信部21和驅(qū)動器22。

cpu11遵循記錄于rom12的程序或從存儲部20載入到ram13的程序來執(zhí)行各種處理。

在ram13中還適宜存儲cpu11為了執(zhí)行各種處理所需的數(shù)據(jù)等。

cpu11、rom12以及ram13經(jīng)由總線14相互連接。在該總線14另外還連接輸入輸出接口15。在輸入輸出接口15連接攝像部16、傳感器部17、輸入部18、輸出部19、存儲部20、通信部21以及驅(qū)動器22。

雖未圖示，但攝像部16具備光學鏡頭部和圖像傳感器。

光學鏡頭部為了拍攝被攝體而由匯聚光的透鏡例如聚焦透鏡、變焦透鏡等構(gòu)成。

聚焦透鏡是使被攝體像成像在圖像傳感器的受光面的透鏡。變焦透鏡是使焦距在一定的范圍內(nèi)自由變化的透鏡。

光學鏡頭部另外還根據(jù)需要設置調(diào)整焦點、曝光、白平衡等設定參數(shù)的外圍電路。

圖像傳感器由光電變換元件、afe(analogfrontend，模擬前端)等構(gòu)成。

光電變換元件例如由cmos(complementarymetaloxidesemiconductor，互補金屬氧化物半導體)型的光電變換元件等構(gòu)成。

對光電變換元件從光學鏡頭部入射被攝體像。

為此，光電變換元件對被攝體像進行光電變換(攝像)并將圖像信號積蓄一定時間，將積蓄的圖像信號作為模擬信號依次提供給afe。

afe對該模擬的圖像信號執(zhí)行a/d(analog/digital，模擬/數(shù)字)變換處理等各種信號處理。

通過各種信號處理而生成數(shù)字信號，將其作為攝像部16的輸出信號輸出。

將這樣的攝像部16的輸出信號在以下稱作「攝像圖像的數(shù)據(jù)」。攝像圖像的數(shù)據(jù)被適宜提供給cpu11、未圖示的圖像處理部等。

傳感器部17由取得加速度、角速度的信息的加速度傳感器、陀螺儀傳感器這樣的各種傳感器構(gòu)成。

在本實施方式中，在攝像部16中進行了拍攝的情況下，取得拍攝時的傳感器信息，并將其與拍攝的圖像建立對應來存儲。

輸入部18由各種按鈕等構(gòu)成，對應于用戶的指示操作輸入各種信息。

輸出部19由顯示器、揚聲器等構(gòu)成，輸出圖像、聲音。

存儲部20由硬盤或dram(dynamicrandomaccessmemory，動態(tài)隨機存取存儲器)等構(gòu)成，存儲各種圖像的數(shù)據(jù)。

通信部21控制經(jīng)由包括因特網(wǎng)在內(nèi)的網(wǎng)絡在與其他裝置(未圖示)之間進行的通信。

在驅(qū)動器22適宜裝備由磁盤、光盤、光磁盤或半導體存儲器等構(gòu)成的可移動介質(zhì)31。

由驅(qū)動器22從可移動介質(zhì)31讀出的程序根據(jù)需要安裝在存儲部20。

另外，可移動介質(zhì)31與存儲部20同樣地，還對存儲部20中所存儲的圖像的數(shù)據(jù)等各種數(shù)據(jù)進行存儲。

在如此構(gòu)成的攝像裝置1中，在要瀏覽存儲的多個圖像的情況下，由于瀏覽全部需要龐大的時間，因此具有僅選擇少于存儲的多個圖像的總數(shù)的數(shù)量的特征性的圖像以供用戶瀏覽的功能。

在本實施方式的攝像裝置1中，將選擇的圖像作為幀圖像來動態(tài)圖像化，生成僅集中了特征性的場景的概括動態(tài)圖像(以下也稱作「精彩動態(tài)圖像」)，以供用戶瀏覽。

[圖像的組合的選擇手法(按評分最優(yōu)化)的基本流程]

在本實施方式中，在攝像裝置1中，基于圖像的拍攝時的傳感器信息(加速度信息或角速度信息)、圖像解析結(jié)果(臉等特定的被攝體的有無等)以及與使用狀況相關的信息(重放次數(shù)、向sns的上傳信息等)這樣的屬性信息，來算出成為精彩動態(tài)圖像的生成對象的候補的圖像(以下也稱作「候補圖像」)的特征量。

然后基于算出的特征量來設定評分(以下稱作「圖像評分」)，作為圖像的價值。

另外，圖像評分也可以基于人的主觀按照特征量算出中所用的項目唯一設定。

另外，也可以將主觀的評價結(jié)果作為訓練數(shù)據(jù)，基于機器學習對特征量的項目分別進行加權，按照加權來綜合設定圖像評分。

另外，在攝像裝置1中，基于圖像評分來進行等級附注。

等級為了決定生成的精彩動態(tài)圖像中的圖像的個別重放時間而使用。另外，等級既可以由用戶任意附注，也可以按照對圖像設定的圖像評分來附注。

另外，在攝像裝置1中，將精彩動態(tài)圖像的最大重放時間作為上限，在個別重放時間的合計(合計重放時間)收納在最大重放時間內(nèi)的圖像的組合中，按照圖像的攝像順序搜索成為將各圖像的圖像評分累計得到的評分(以下稱作「累計評分」)最大的組合的路徑。

在此，在本實施方式中，將在動態(tài)圖像的最大重放時間的制約下，選擇累計評分的最大的路徑稱作「按評分最優(yōu)化」。

圖2a以及2b是表示按評分最優(yōu)化的具體例的示意圖。在本示例中，精彩動態(tài)圖像的最大重放時間被設定為6sec。

另外，在圖2b中，作為從起點節(jié)點起的路徑，將未成為從個別重放時間的組合或圖像評分等觀點來看合適的路徑的路徑表示為「淘汰路線」，將能設定的路徑表示為「母體路線」，將累計評分最高的路徑表示為「最優(yōu)路線」。

例如在本實施方式中，在個別重放時間與拍攝順序的圖像的矩陣中設定按照拍攝順序組合圖像的路徑。

選擇各路徑的組合當中將位于路徑的圖像的圖像評分累計得到的累計評分成為最大的路徑的組合，作為構(gòu)成精彩動態(tài)圖像的圖像群。

所謂「按照拍攝順序組合圖像的路徑」，在本實施方式中，是通過按照圖像的拍攝順序從最初的圖像向最后的圖像依次進行路徑搜索而算出的路徑。

在圖2a的示例中，按照拍攝順序?qū)D像a到圖像d作為構(gòu)成精彩動態(tài)圖像的幀圖像的候補的圖像。

在圖像a到圖像d中，設定基于圖像的特征量算出的圖像評分，為圖像a[score：8]、圖像b[score：5]、圖像c[score：10]、圖像d[score：6]。另外，設定圖像的個別重放時間，設定圖像a[time：2sec]、圖像b[time：3sec]、圖像c[time：1sec]、圖像d[time：2sec]。

另外，個別重放時間也可以構(gòu)成為對應于圖像評分等來設定。

例如可以構(gòu)成為：圖像評分高的圖像將個別重放時間設定得長，圖像評分低的圖像將個別重放時間設定得短。

在這樣設定了圖像評分和個別重放時間的圖像群中，如圖2b所示那樣，在縱軸為圖像的拍攝順序、橫軸為動態(tài)圖像的重放時間的矩陣中，設定按照拍攝順序組合圖像的路徑以收納在設定的動態(tài)圖像的最大重放時間內(nèi)。

在設定的路徑中算出構(gòu)成路徑的全部圖像的累計評分，并選擇最大的累計評分的路徑的組合。

在本示例中，各路徑當中、累計評分[24]的路徑成為累計評分最大的路徑。

該路徑將圖像a作為起點節(jié)點，由其與圖像c與圖像d的組合構(gòu)成。即，圖像a→圖像c→圖像d的路徑成為最優(yōu)路線。

另外，在本示例中，進行僅考慮累計評分的按評分最優(yōu)化，但也可以構(gòu)成為進行考慮了使合計重放時間延長的按評分最優(yōu)化。

在該情況下，選擇如下那樣的路徑：合計重放時間也成為最大的6sec，累計評分也比較高為[23]，以圖像a為起點節(jié)點，是圖像a、圖像b和圖像c的組合。

之后，在攝像裝置1中，根據(jù)決定的圖像的組合順序、合計重放時間來從幀圖像作成精彩動態(tài)圖像。

[不相似性的提升(冗余的排除)]

在進行了上述那樣按評分最優(yōu)化的情況下，由于特征量和評分關聯(lián)，因此有時會在所選擇的組合中包含相似的圖像。

在本手法中，算出圖像間的不相似度，將圖像間的相似度換算成罰分并給予圖像評分。

通過進行補正，降低與接近的圖像的相似度高的圖像的圖像評分，作為結(jié)果讓圖像評分的合計即累計評分變低，因此變得難以選擇相似的圖像的組合的路徑。

另外，在本實施方式中，進行補正，降低在圖像間相似度高的圖像的圖像評分，但也可以構(gòu)成為進行補正，對圖像間相似度低的圖像提高圖像評分。

在本示例中，首先在上游1個路徑的圖像(1世代前的路徑的圖像[母體])和判定不相似度的圖像(以下也稱作「關注圖像」)中，算出不相似的程度即不相似度[式(1)]。

另外，「dissimilarity」是不相似度，「ip」是圖像p，「iq」是圖像q，「^pifeat」是圖像p的i特征量，「^qifeat」是圖像q的i的特征量，「featvari」是i的特征量的偏差，「wi」是i特征量的負荷系數(shù)。

然后算出與不相似度相應的罰分量[式(2)]。

另外，罰分不僅對相鄰的圖像的排序考慮，還對遠離的圖像考慮。

在本實施方式中，算出罰分量，世代越遠離則罰分變得越小。

penapq＝dissimilarity(ip，iq)×g(dist(p，q))…(2)

另外，「dissimilarity」是不相似度，「ip」是圖像p，「iq」是圖像q，「g」是世代間距離的負荷函數(shù)，「dist」是世代間距離。

所謂本實施方式中的「世代間距離」，是指在路徑中從關注圖像看到的與其他圖像的在組合下的距離。

例如將關注圖像的前后的相鄰圖像作為1世代，將其再下一個圖像作為2世代，根據(jù)圖像p與圖像q之間的圖像數(shù)來決定。

算出上游的世代的圖像與關注圖像的罰分量，將最小的罰分量乘以關注圖像的圖像評分，由此決定為選擇賦予罰分的圖像時所用的圖像評分[式(3)]。

scorep＝minq∈r(penapq)

…(3)

另外，「scorep」是圖像p的最終的評分，「q」是母體節(jié)點圖像?！竢」是考慮冗余的區(qū)域，「penapq」是圖像p與圖像q間的冗余罰分量。

另外，圖像評分的決定式也可以使用以下的式(3-1)，使算出的罰分從上游的世代起累積，乘以關注圖像的圖像評分，由此決定為賦予罰分后的圖像評分。

scorep-imgscorep×∑q∈rpenapq…(3-1)

另外，「scorep」是圖像p的最終的評分，「imgscorep」是根據(jù)特征量算出的圖像p的評分。

「q」是母體節(jié)點圖像，「r」是考慮冗余的區(qū)域，「penapq」是圖像p與圖像q間的冗余罰分量。

上述那樣組合的各個路徑中按照圖像間的相似度對各圖像的圖像評分賦予罰分，來算出累計評分。

之后，將累計評分最高的組合的路徑選擇為最優(yōu)路徑。

圖3a～3c是表示排除了冗余的按評分最優(yōu)化的具體例的示意圖。

另外，在本示例中，精彩動態(tài)圖像的最大重放時間被設定為6sec。

另外，在本示例中，將考慮的世代r僅設為1世代前(相鄰)，將abs(fp-fq)設為罰分。

各圖像p中的圖像評分s和個別重放時間τ在圖3a的示例中成為以下那樣。圖像a的圖像評分為[score：8]，個別重放時間為[time：2]，圖像的特征量為[feat：1]。

另外，圖像b的圖像評分為[score：5]，個別重放時間為[time：3]，圖像的特征量為(feat：3)。

另外，圖像c的圖像評分為[score：10]，個別重放時間為[time：1]，圖像的特征量為[feat：2]。

另外，圖像d的圖像評分為[score：6]，個別重放時間為[time：2]，圖像的特征量為[feat：2]。

另外，在本實施方式中，特征量feat的值越接近，則圖像彼此越相似，相似度越高。

在上述的圖像a到d中不考慮冗余的情況下，如圖3b所示那樣，以圖像a為起點節(jié)點選擇圖像c、圖像d的組合，累計評分為最大的[24]。即，圖像a→圖像c→圖像d的路徑成為最優(yōu)路線。

與此相對，在利用了上述那樣的排除冗余的手法的情況下，如圖3c所示那樣，通過以圖像a為起點節(jié)點選擇圖像b、圖像c的組合，累計評分成為最大的[28]。

即，圖像a→圖像b→圖像c的路徑成為最優(yōu)路線。

在此，在未利用上述的手法的情況下，[feat：1]的圖像a、特征量的差小的[feat：2]的圖像c以及圖像d的路徑的組合是累計評分最大的路徑的組合，但通過利用本手法，與起點節(jié)點即圖像a的特征量的差大的[feat：3]的圖像b、圖像c的路徑的組合成為累計評分最大的路徑的組合。另外，在以圖像b為起點節(jié)點接下來組合圖像c的情況下，累計評分不會成為最大。

因此，通過利用本手法，將與圖像間的相似度相應的罰分賦予圖像評分，由此排除冗余并提升不相似性，例如能在時間和張數(shù)等的制約內(nèi)高速選擇累計評分盡可能成為最大的路徑的組合。

[聲音同步重放：關鍵點同步最優(yōu)化]

在本實施方式的攝像裝置1中，也可以構(gòu)成為在生成的精彩動態(tài)圖像的重放中重放bgm。

這時，使精彩動態(tài)圖像的圖像的切換和bgm的節(jié)拍或樂句這樣的切換部位一致，來使精彩動態(tài)圖像和bgm連系起來。例如在精彩動態(tài)圖像的作成時，考慮bgm的內(nèi)容(例如節(jié)拍的定時或節(jié)拍發(fā)生變化的地點、樂句的開始/結(jié)束地點、換調(diào)地點等)來進行圖像的選擇順序、選擇數(shù)或圖像的個別重放時間的調(diào)整。

通過如此使精彩動態(tài)圖像的場面的切換(向不同種類的幀圖像的切換)和音樂的切換一致，能進行有影像和音樂的協(xié)調(diào)性的適合的動態(tài)圖像的顯示。

關于和動態(tài)圖像一起重放的音樂，在音樂的重放時間內(nèi)設定希望切換圖像的位置(以下稱作「關鍵點」)。

關鍵點例如可以自動設定為音壓的極值、節(jié)奏的變化點等能看作音樂內(nèi)的一定的變化的點，也可以由用戶設定在任意的位置。

還能調(diào)整該精彩動態(tài)圖像內(nèi)的圖像的個別重放時間、重放定時等，以使預先生成的精彩動態(tài)圖像的各圖像的切換位置與和該精彩動態(tài)圖像一起重放的音樂的關鍵點一致。

在該情況下，使跨關鍵點的圖像的顯示開始/結(jié)束定時向圖像的前后的時間點滑動變更，以使關鍵點成為圖像的切換的點。

另外，也可以構(gòu)成為與預先設定的關鍵點對應地選擇圖像，來生成精彩動態(tài)圖像。

圖4(a)～4(c)是用于說明對精彩動態(tài)圖像進行了關鍵點同步最優(yōu)化的情況下的圖像的重放位置的示意圖。

另外，在本示例中，如圖4(a)所示那樣，精彩動態(tài)圖像的最大重放時間被設定為8.0sec。另外，音樂的關鍵點例如自動設定在構(gòu)成音樂的聲音信息中能看作一定的變化的位置，各關鍵點被設定在關鍵點1：1.3sec、關鍵點2：2.6sec、關鍵點3：3.2sec、關鍵點4：5.4sec、關鍵點5：6.7sec、關鍵點6：7.1sec。

在不進行關鍵點同步最優(yōu)化地進行累計評分最高的最優(yōu)的組合的搜索的情況下，如圖4(b)所示那樣，成為圖像a：2.0sec、圖像b：3.0sec、圖像c：1.0sec、圖像d：1.0sec、圖像e：1.0sec。由于未考慮關鍵點，因此選擇的圖像的重放開始/結(jié)束的位置與關鍵點的位置一致。

與此相對，在考慮關鍵點而選擇進行了圖像的重放開始/結(jié)束的位置的同步的最優(yōu)化(以下稱作「關鍵點同步最優(yōu)化」)的圖像的組合的情況下，如圖4(c)所示那樣，雖然圖像a被設定為個別重放時間：2.0sec，但若作為設定的個別重放時間則關鍵點1已經(jīng)到來，為此調(diào)整重放定時，使得在關鍵點1的經(jīng)過時間：1.3sec結(jié)束顯示，接下來開始圖像b的重放。

另外，雖然圖像b被設定為個別重放時間：3.0sec，但若作為設定的個別重放時間則下一關鍵點已經(jīng)到來，為此將個別重放時間調(diào)整為1.3sec，使得從關鍵點1起在關鍵點2的經(jīng)過時間：2.6sec結(jié)束。

另外，圖像c被設定為個別重放時間：1.0sec，但若作為設定的個別重放時間則下一關鍵點已經(jīng)到來，為此將個別重放時間調(diào)整為0.6sec，使得從關鍵點2起在關鍵點3的經(jīng)過時間：3.2sec結(jié)束。

另外，圖像d被設定為個別重放時間：1.0sec，由于下一關鍵點未到來，因此從關鍵點3起顯示1.0sec的期間。(經(jīng)過時間：4.2sec)

另外，圖像e被設定為個別重放時間：1.0sec，由于下一關鍵點未到來，因此從圖像d的重放結(jié)束后起顯示1.0sec的期間。(經(jīng)過時間：5.2sec)

在進行關鍵點同步最優(yōu)化的情況下，相比于不進行關鍵點同步最優(yōu)化的情況，由于圖像的切換部位增加，因此要選擇的圖像數(shù)增加。為此在進行關鍵點同步最優(yōu)化的情況下，由于需要選擇因切換部位的增加而變得不足的份的圖像，因此在顯示圖像e以后，直到動態(tài)圖像的結(jié)束時間的8.0sec為止，都考慮關鍵點來進一步選擇圖像。另外，在本示例，以后選擇的圖像f以后的圖像將個別重放時間設為2.0sec。

選擇的圖像f被設定為個別重放時間2.0sec，但由于下一關鍵點已經(jīng)到來，因此將個別重放時間調(diào)整到0.2sec，從圖像e的重放結(jié)束后起在關鍵點4的經(jīng)過時間：5.4結(jié)束。

另外，圖像g被設定為個別重放時間：2.0sec，但由于下一關鍵點已經(jīng)到來，因此將個別重放時間調(diào)整為1.3sec，使得從圖像f的重放結(jié)束后起在關鍵點5的經(jīng)過時間：6.7結(jié)束。

另外，圖像h被設定為個別重放時間：1.0sec，但由于下一關鍵點已經(jīng)到來，因此將個別重放時間調(diào)整為0.4sec，使得從圖像g的重放結(jié)束后起在關鍵點6的經(jīng)過時間：7.1結(jié)束。

最后，圖像i被設定為個別重放時間：1.0sec，但由于動態(tài)圖像的最大重放時間已經(jīng)到來，因此將個別重放時間調(diào)整為0.9sec，使得從圖像h的重放結(jié)束后起在動態(tài)圖像的最大重放時間的經(jīng)過時間：8.0sec結(jié)束。

圖5a～5c是表示關鍵點同步最優(yōu)化的具體例的示意圖。另外，在本示例中，將最大重放時間設為6sec，關鍵點被設定為動態(tài)圖像的重放時間：4sec經(jīng)過的時間點。

各圖像p中的圖像評分s和個別重放時間τ如圖5a的示例所示那樣，在圖像a中被設定為圖像評分：8、個別重放時間：2sec。另外，在圖像b中被設定為圖像評分：5、個別重放時間：3sec。另外，在圖像c中被設定為圖像評分：10、個別重放時間：1sec。另外，在圖像d中被設定為圖像評分：6、個別重放時間：2sec。另外，在圖像e中被設定為圖像評分：7、個別重放時間：2sec。

在這樣的圖像的個別重放時間/圖像評分下不考慮關鍵點而進行了按評分最優(yōu)化的情況下，如圖5b所示那樣，從成為起點節(jié)點的圖像a：2sec起，選擇成為圖像c：3sec、圖像e：5sec的路徑的組合，由此累計評分成為最大的[25]。即，在進行了按評分最優(yōu)化的情況下，圖像a→圖像c→圖像e的路徑成為最優(yōu)路線。

與此相對，在進行了關鍵點同步最優(yōu)化的情況下，在選擇的圖像的個別重放時間內(nèi)有關鍵點時，為了進行在關鍵點的圖像的卻換而將該圖像的個別重放時間調(diào)整短。

不是將該圖像的個別重放時間設為事前設定了的個別重放時間[τ]，而是設為從圖像a的顯示結(jié)束時間點[t]起以關鍵點k[t‘]進行限幅的(k[t’]-t)sec。若使用圖5c進行說明，則在將圖像a：t＝2設為起點節(jié)點的情況下，若要在t＝2的時間點選擇圖像b，則圖像b的個別重放時間會跨關鍵點k(t＝4)。為此，為了在關鍵點確實地切換圖像，將圖像b的個別重放時間調(diào)整為2sec，使得從圖像a的顯示結(jié)束的t＝2的時間點到關鍵點k(t＝4)為止的期間顯示圖像b。

由此將跨關鍵點重放圖像的情況排除，結(jié)果在關鍵點上必然發(fā)生圖像的切換。

即，在圖5c的示例中，由于削減的圖像d的個別重放時間，向圖像e的切換在關鍵點上進行，因此通過從成為起點節(jié)點的圖像a起選擇圖像c、圖像d、圖像e的路徑的組合，在最大重放時間的條件下下累計評分成為最大的[31]。即，在進行了關鍵點同步最優(yōu)化的情況下，圖像a→圖像c→圖像d→圖像e的路徑成為最優(yōu)路線。

因此，通過利用本手法，通過對以價值為根據(jù)而評分化的圖像群將圖像的個別重放時間以關鍵點的時刻進行限幅，能與bgm的節(jié)奏同步切換圖像，并在例如時間或張數(shù)等制約內(nèi)選擇累計評分盡可能最大的路徑。由此，能與bgm的節(jié)奏同步地高速實現(xiàn)給定的制約內(nèi)的評分最大的圖像的組合。

[關鍵點同步最優(yōu)化：高等級圖像的關鍵點優(yōu)先]

另外，也可以構(gòu)成為進行調(diào)整，使在向樂曲中的副歌部分的切換那樣重要的時間點的關鍵點切換的幀圖像成為高等級的圖像。高等級的幀圖像由于對用戶而言是印象深的圖像的可能性高，因此通過在動態(tài)圖像中在重要的時間點的關鍵點進行切換，能進行對用戶而言更適合的動態(tài)圖像的重放。

圖6(a)～6(d)是用于說明進行了高等級圖像的關鍵點優(yōu)先設定中的關鍵點同步最優(yōu)化的情況下的圖像的重放位置的示意圖。

另外，在本示例中，如圖6(a)所示那樣，精彩動態(tài)圖像的最大重放時間被設定為6.0sec。另外，音樂的關鍵點例如自動設定在構(gòu)成音樂的聲音信息中能看作一定的變化的位置，優(yōu)先度高的關鍵點1被設定為4.0sec。

在進行了按評分最優(yōu)化的情況下，如圖6(b)的示例所示那樣成為圖像a：2.0sec、圖像c：1.0sec、圖像e：3.0sec。將圖像e的個別重放時間拉長了最大重放時間所不夠的1.0sec。另外，在圖6(b)中，由于未考慮關鍵點，因此決定的圖像的重放開始/結(jié)束的位置和關鍵點的位置不一致。

在進行了關鍵點同步最優(yōu)化的情況下，如圖6(c)的示例所示那樣，成為圖像a：2.0sec、圖像c：1.0sec、圖像d：1.0sec、圖像e：2.0sec。由于未考慮關鍵點的優(yōu)先度，因此未在優(yōu)先度高的關鍵點切換為評分高的圖像。

與此相對，在高等級圖像的關鍵點優(yōu)先設定中進行了關鍵點同步最優(yōu)化的情況下，如圖6(d)的示例所示那樣，圖像a：2.0sec、圖像b：2.0sec、圖像c：2.0sec的組合成為最優(yōu)。將圖像c的個別重放時間拉長了最大重放時間所不夠的1.0sec。

進而，由于選擇圖像從而在優(yōu)先度高的關鍵點切換評分高的圖像，因此在圖6(d)中選擇不同于圖6(c)的路徑作為最優(yōu)的路徑。

圖6(d)中最初選擇的圖像a被設定為個別重放時間：2.0sec，由于在個別重放時間內(nèi)關鍵點1未到來，因此重放2.0sec，并切換到圖像b。

圖像b被設定為個別重放時間：3.0sec，但由于在決定的個別重放時間內(nèi)關鍵點已經(jīng)到來，為此將個別重放時間調(diào)整為2.0sec，使得在與關鍵點的位置對應的經(jīng)過時間：4.0sec結(jié)束。

另外，圖像c被設定為個別重放時間：1.0sec，但由于相比于其他圖像而言圖像評分也更高，因此將個別重放時間調(diào)整為2.0sec，使得在關鍵點被切換那樣選擇且在經(jīng)過時間：6.0sec結(jié)束。

圖7a～7d是用于說明高等級圖像的關鍵點優(yōu)先設定中的關鍵點同步最優(yōu)化的具體例的示意圖。另外，在本示例中，最大重放時間被設定為6sec，圖7c以及d中，關鍵點被設定在重放經(jīng)過時間：4sec。在圖7d中對關鍵點設定優(yōu)先度信息。

各圖像p中的圖像評分s和個別重放時間τ如圖7a的示例所示那樣，在圖像a中被設定為評分：8、等級：3、個別重放時間：2sec。另外，在圖像b被設定為評分：5、等級：2、個別重放時間：3sec。另外，在圖像c中被設定為評分：10、等級：5、個別重放時間：1sec。另外，在圖像d中被設定為評分：6、等級：2、個別重放時間：2sec。另外，在圖像e中被設定為評分：7、等級：3、個別重放時間：2sec。

在如此設定的圖像的個別重放時間/圖像評分進行按評分最優(yōu)化以收納在最大重放時間內(nèi)的情況下，如圖7b所示那樣，通過從成為起點節(jié)點的圖像a：2sec起選擇成為圖像c：3sec、圖像e：5sec的路徑的組合，累計評分成為最大的[25]。即，在進行了按評分最優(yōu)化的情況下，圖像a→圖像c→圖像e的路徑成為最優(yōu)路線。

另外，在進行了按評分最優(yōu)化從而在關鍵點切換圖像的情況下，如圖7c所示那樣，從成為起點節(jié)點的圖像a：2sec起選擇成為圖像c：3sec、圖像d：4sec、圖像e：6sec的路徑的組合。

這時，圖像d由于跨關鍵點，個別重放時間被從3sec調(diào)整為1sec。選擇的路徑中的累計評分成為最大的[31]。即，在考慮關鍵點進行了按評分最優(yōu)化的情況下，圖像a→圖像c→圖像d→圖像e的路徑成為最優(yōu)路線。

與此相對，在進行了關鍵點中的高等級圖像的優(yōu)先設定的最優(yōu)化的情況下，在母體位于關鍵點時刻上時，若接下來選擇的圖像為高等級，則不是設為預先設定的評分，而是對該評分乘上與等級相應的獎勵(乘數(shù)bonus)。

由此，由于通過該節(jié)點的路線的評分相對變高，因此結(jié)果是更高等級的圖像被在關鍵點上切換。

即，在圖7d的示例中，由于對高等級的圖像c賦予5倍的獎勵，因此被選擇為從關鍵點開始的圖像，通過從成為起點節(jié)點的圖像a：2sec起選擇圖像b：4sec、圖像c：5sec的路徑的組合，累計評分成為最大的[53]。即，在進行了關鍵點中的高等級圖像的優(yōu)先設定的最優(yōu)化的情況下，圖像a→圖像b→圖像c的路徑成為最優(yōu)路線。

因此，通過利用本手法，對于以圖像各自的價值為根據(jù)而評分化的圖像群，在母體節(jié)點位于聲音關鍵點上的情況下，通過在從該母體節(jié)點起的追加節(jié)點的圖像等級高時賦予獎勵，能使更高等級的圖像在關鍵點上切換且在某種制約(時間、張數(shù))內(nèi)選擇累計評分盡可能成為最大的路徑。由此，能與bgm的節(jié)奏同步地高速實現(xiàn)例如在時間或張數(shù)等的制約內(nèi)的評分最大的圖像組合。

[關鍵點同步最優(yōu)化：短時間重放圖像存在時的個別重放時間調(diào)整]

另外，在過短的個別重放時間下，即使顯示圖像也沒有效果，因此能設定成為每1張圖像的重放時間的最短的長度的閾值的最低個別重放時間。在本示例中，將0.5sec設定為最低個別重放時間。即，進行制止，將重放時間不足0.5sec的幀圖像從路徑搜索的選項排除(以下稱作「短時間重放制止」)。

圖8(a)～8(c)是用于說明進行關鍵點同步最優(yōu)化而存在短時間重放圖像的情況下的圖像的重放位置的示意圖。

另外，在本示例中，如圖8(a)所示那樣，精彩動態(tài)圖像的最大重放時間被設定為8.0sec。另外，音樂的關鍵點例如自動設定在構(gòu)成音樂的聲音信息中能看作一定的變化的位置，各關鍵點被設定在關鍵點1：1.3sec、關鍵點2：2.6sec、關鍵點3：3.2sec、關鍵點4：5.4sec、關鍵點5：6.7sec、關鍵點6：7.1sec。

在進行了關鍵點同步最優(yōu)化的情況下，如圖8(b)所示那樣存在個別重放時間不足0.5sec的圖像f：0.2sec、圖像h：0.4sec。為此，由于存在重放時間短的幀圖像，成為圖像的切換快、對用戶而言不適合的動態(tài)圖像。

在本示例中，如圖8(c)所示那樣，構(gòu)成為通過將圖像f的前1個像e的個別重放時間延長相當于個別重放時間為0.2sec的圖像f的區(qū)間的部分，來使個別重放時間不低于最低個別重放時間。即，圖像e從個別重放時間成為1.3sec。這以后考慮關鍵點進行再設定。

圖像f被設定為個別重放時間：2.0sec，但由于下一關鍵點已經(jīng)到來，因此將個別重放時間調(diào)整為1.3sec，使得從圖像e的重放結(jié)束后起在關鍵點5的經(jīng)過時間：6.7sec結(jié)束。

另外，雖然圖像g被設定為個別重放時間：2.0sec，但由于雖然下一關鍵點已經(jīng)到來但到下一關鍵點為止是不足0.5sec的0.4sec，因此不考慮關鍵點，將個別重放時間調(diào)整為1.3sec，使得從圖像g的重放結(jié)束后起在動態(tài)圖像的最大重放時間的經(jīng)過時間：8.0sec結(jié)束。

圖9a～9c是用于說明進行關鍵點同步最優(yōu)化而存在短時間重放圖像的情況下的個別重放時間調(diào)整的具體例的示意圖。

另外，各圖像p中的圖像評分s和個別重放時間τ如圖9a的示例所示那樣，在圖像a中被設定為評分：4、個別重放時間：1sec。另外，在圖像b中設定為評分：10、個別重放時間：2sec。另外，在圖像c中沒定為評分：5、個別重放時間：3sec。另外，在圖像d中設定為評分：6、個別重放時間：2sec。另外，在圖像e中設定為評分：7、個別重放時間：2sec。

在這樣的圖像的個別重放時間/評分下進行了關鍵點同步最優(yōu)化的情況下，如圖9b的示例所示那樣，通過從成為起點節(jié)點的圖像a：1sec起選擇圖像b：3sec、圖像d：2sec、圖像e：2sec的路徑的組合，累計評分成為最大的[27]。在該情況下，由于在圖像b的重放時間存在關鍵點，因此圖像b的重放時間從3sec縮短到1sec。

即，在進行了關鍵點同步最優(yōu)化的情況下，圖像a→圖像b→圖像c→圖像e的路徑成為最優(yōu)路線。

但還考慮例如在個別重放時間為1sec那樣的短時間進行切換的圖像根據(jù)圖像內(nèi)容不同，而有不能使精彩動態(tài)圖像的瀏覽者認識內(nèi)容的情況。

為此在本示例中，在如圖9c的示例所示那樣在關鍵點時刻1sec前的t＝3產(chǎn)生節(jié)點的情況下，由于預想到因圖像的切換的影響，而從那起的個別重放時間成為短時間，因此將之前的母體圖像的個別重放時間相應延長來應對。

例如在選擇圖像a后追加圖像b的路線中，圖像b的個別重放時間由于是2sec期間，因此本來應該成為t＝3，但使其移動到t＝4。即，這通過使圖像b的重放延長到3sec來制止下一圖像因關鍵點限幅而成為1sec重放。

在圖9b的示例中，作為最優(yōu)路線而選擇圖像a→圖像b→圖像c→圖像e的路徑，結(jié)果在圖9c中，在關鍵點前的節(jié)點時間點發(fā)生短時間重放，在該情況下，由于在進行上述的延長處理的基礎上進行路徑搜索，因此避免了選擇圖像a的路線，選擇不含短時間重放、累計評分最高的路徑即圖像b→圖像d→圖像e的路徑。

另外，在構(gòu)成精彩動態(tài)圖像的幀圖像是動態(tài)圖像的情況下，也可以通過進行限幅以及拉長處理來使圖像、動態(tài)圖像的評分以重放時間比率等變化。例如在重放時間通過限幅而減少到α倍(1＞α≥0)的情況下，通過使賦予該節(jié)點的評分也減少到α倍，能使最優(yōu)路線難以通過該節(jié)點。由此變得易于選擇盡可能維持本來的個別重放時間的路徑。另外，也可以通過一開始就不進行拉長處理，對有發(fā)生短時間重放的可能性的路線賦予大的罰分，使最優(yōu)路線難以通過節(jié)點。

因此，在相比關鍵點時刻在某閾值內(nèi)的近前發(fā)生節(jié)點的情況下，通過將母體的節(jié)點的重放時間延長到關鍵點時刻，能壓制短時間重放。另外，通過使限幅以及拉長處理所帶來的重放時間變化也影響到圖像評分，來控制最優(yōu)路線向節(jié)點的回避以及引導。因而，能壓制短時間重放并與bgm的節(jié)奏同步來高速實現(xiàn)動態(tài)圖像的重放時間的制約內(nèi)的圖像評分最大的圖像的組合。

圖10是圖1的攝像裝置1的功能性構(gòu)成當中用于執(zhí)行精彩動態(tài)圖像生成處理的功能性構(gòu)成的功能框圖。

所謂精彩動態(tài)圖像生成處理，是指從多個候補圖像中生成由選擇的圖像評分高的組合候補圖像構(gòu)成的精彩動態(tài)圖像的一系列處理。

在執(zhí)行精彩動態(tài)圖像生成處理的情況下，如圖10所示那樣，在cpu11中，模式設定部51、圖像取得部52、特征量算出部53、動態(tài)圖像重放時間設定部54、圖像重放時間設定部55、路徑設定部56、評分補正部57、圖像選擇部58和動態(tài)圖像生成部59發(fā)揮功能。

另外，在存儲部20的1個域設定動態(tài)圖像存儲部71。

在動態(tài)圖像存儲部71存儲與拍攝時取得的傳感器信息建立對應的圖像的數(shù)據(jù)。

模式設定部51例如由用戶經(jīng)由輸入部18設定模式。

在本實施方式中，能設定「通常模式」、「不相似性提升模式」和「關鍵點切換模式」的模式。

「通常模式」是如下那樣的模式：在收納在設定的動態(tài)圖像的最大重放時間內(nèi)的時間內(nèi)選擇成為最高的評分的組合的路徑，將構(gòu)成選擇的路徑的圖像選擇為幀圖像。在「通常模式」下，使用上述的[按評分最優(yōu)化]的手法來進行圖像的組合的路徑選擇。

「不相似性提升模式」是如下那樣的模式：通過避免選擇相似的圖像來排除冗余，由此使不相似性提升。在「不相似性提升模式」下，使用上述的[不相似性的提升(冗余的排除)]的手法來進行圖像的組合的路徑選擇。

「關鍵點切換模式」是如下那樣的模式：在動態(tài)圖像的重放時同時重放bgm，在bgm的關鍵點切換圖像，在關鍵點切換等級高的圖像，或者在關鍵點切換圖像來抑制圖像的切換成為短時間。在「關鍵點切換模式」下，使用[聲音同步重放：關鍵點同步最優(yōu)化]、[關鍵點同步最優(yōu)化：高等級圖像的關鍵點優(yōu)先]、[關鍵點同步最優(yōu)化：短時間重放圖像存在時的重放時間調(diào)整]的手法來進行圖像的組合的路徑選擇。

圖像取得部52從動態(tài)圖像存儲部71取得成為精彩動態(tài)圖像的對象的多個候補圖像。

特征量算出部53對取得的每個候補圖像算出特征量。在本實施方式中，對候補圖像進行圖像解析，基于解析出的圖像內(nèi)的特征點等來算出特征量。另外，基于特征量來算出候補圖像的評分，按照評分來進行候補圖像的等級附注。即，將評分和等級對候補圖像附注。

動態(tài)圖像重放時間設定部54，由用戶經(jīng)由輸入部18設定精彩動態(tài)圖像的最大重放時間(例如6sec)。

圖像重放時間設定部55按照基于評分而決定的候補圖像的等級來設定動態(tài)圖像內(nèi)的候補圖像的個別重放時間。另外，候補圖像的個別重放時間也可以構(gòu)成為不管評分或等級如何都能由用戶設定。

路徑設定部56基于圖像的拍攝順序和所設定的候補圖像的個別重放時間來設定能成為由精彩動態(tài)圖像的個別重放時間和候補圖像構(gòu)成的矩陣的路徑的組合(排列)。

評分補正部57按照所設定的模式來補正評分。

另外，在「不相似性提升模式」的情況下，在相似度高的幀圖像連續(xù)的情況下，補正為乘以罰分的評分。另外，在「關鍵點切換模式」的情況下，在關鍵點進行了限幅的情況下，對限幅后有選擇的可能性的圖像當中等級高的圖像加上與等級相應的獎勵來補正評分。

圖像選擇部58選擇累計評分最高的路徑，并選擇構(gòu)成路徑的候補圖像。另外，在「關鍵點切換模式」的情況下，按照進行限幅來與關鍵點一致后所剩余時間，來選擇候補圖像。其中使用補正后的累計評分來選擇路徑。另外，例如在有個別重放時間不足0.5sec那樣短的候補圖像的情況下，延長位于路徑的上游的候補圖像的母體(前1個候補圖像)的重放時間，從而使子體(下一候補圖像)在關鍵點進行切換。

動態(tài)圖像生成部59生成構(gòu)成為使由圖像選擇部58選擇的路徑的候補圖像收納在所設定的最大重放時間內(nèi)的精彩動態(tài)圖像。

圖11是說明有圖10的功能性構(gòu)成的圖1的攝像裝置1所執(zhí)行的精彩動態(tài)圖像生成處理的流程的流程圖、。

精彩動態(tài)圖像生成處理，通過用戶對輸入部18的精彩動態(tài)圖像生成處理開始的操作而開始。

在步驟s1，模式設定部51例如由用戶經(jīng)由輸入部18設定模式。

在本實施方式中，能設定「通常模式」、「不相似性提升模式」和「關鍵點切換模式」的模式。

「通常模式」是如下那樣的模式：在收納在設定的動態(tài)圖像的最大重放時間內(nèi)的時間內(nèi)選擇成為最高的評分的組合的路徑，將構(gòu)成選擇的路徑的圖像選擇為幀圖像。

「不相似性提升模式」是如下那樣的模式：通過避免選擇內(nèi)容相似、相似度高的圖像，來排除冗余。

「關鍵點切換模式」是如下那樣的模式：在動態(tài)圖像的重放時同時重放bgm，在bgm的關鍵點切換圖像，通過在關鍵點切換等級高的圖像，或者在關鍵點切換圖像來來抑制圖像的重放時間成為短時間。

在步驟s2，圖像取得部52從動態(tài)圖像存儲部71取得成為精彩動態(tài)圖像的對象的多個候補圖像。

在步驟s3，特征量算出部53對取得的每個候補圖像算出特征量。在本實施方式中，對候補圖像進行圖像解析，基于解析出的圖像內(nèi)的特征點等來算出特征量。之后，基于特征量來算出候補圖像的評分，按照評分來進行候補圖像的等級附注。即，將評分和等級對候補圖像附注。

在步驟s4，動態(tài)圖像重放時間設定部54由用戶經(jīng)由輸入部18設定精彩動態(tài)圖像的最大重放時間(例如6sec)。

在步驟s5，圖像重放時間設定部55按照基于評分而決定的候補圖像的等級來設定動態(tài)圖像內(nèi)的候補圖像的個別重放時間。另外，候補圖像的重放時間也可以構(gòu)成為不管評分或等級如何都能由用戶設定。

在步驟s6，路徑設定部56基于圖像的拍攝順序和所設定的候補圖像的個別重放時間，來設定能成為由精彩動態(tài)圖像的最大重放時間和候補圖像構(gòu)成的矩陣的路徑的組合(排列)。

在步驟s7，評分補正部57按照所設定的模式來補正評分。

在「不相似性提升模式」的情況下，在相似度高的幀圖像連續(xù)的情況下，補正為乘以罰分的評分。

在「關鍵點切換模式」的情況下，在關鍵點進行了限幅的情況下，對限幅后有選擇的可能性的圖像當中等級高的圖像，加上與等級相應的獎勵來補正評分。

在步驟s8，圖像選擇部58選擇累計評分最高的路徑，并選擇構(gòu)成路徑的候補圖像。

在「關鍵點切換模式」的情況下，按照進行限幅來與關鍵點匹配后所剩余的重放時間，來選擇候補圖像。在該情況下，使用補正后的累計評分來選擇路徑。另外，例如在有成為個別重放時間不足0.5sec的短的重放時間的候補圖像的情況下，將位于路徑的上游的候補圖像的母體(前1個候補圖像)的個別重放時間延長，從而使子體(下一候補圖像)在關鍵點切換。

在步驟s9，動態(tài)圖像生成部59生成構(gòu)成為使由圖像選擇部58選擇的路徑的候補圖像收納在所設定的最大重放時間內(nèi)的精彩動態(tài)圖像。

之后，精彩動態(tài)圖像生成處理結(jié)束。

以上那樣構(gòu)成的攝像裝置1具備圖像取得部52、特征量算出部53、動態(tài)圖像重放時間設定部54、圖像重放時間設定部55和圖像選擇部58。

圖像取得部52取得多個圖像。

特征量算出部53評價由圖像取得部52取得的多個圖像。

動態(tài)圖像重放時間設定部54設定多個圖像所構(gòu)成的數(shù)據(jù)的重放總時間。

圖像重放時間設定部55對多個圖像各自設定個別重放時間。

圖像選擇部58基于多個圖像的評價結(jié)果和個別重放時間，從多個圖像選擇與重放總時間相應的給定數(shù)量的圖像。

因此在攝像裝置1中，在選擇對象的圖像的個別重放時間不同的情況下，也能進行用于動態(tài)圖像生成的圖像選擇。

圖像選擇部58選擇給定數(shù)量的圖像，使得所選擇的圖像的評價結(jié)果高且所選擇的多個圖像的個別重放時間的合計時間處于不超過重放總時間的范圍。

因此在攝像裝置1中，能在成為設定的時間內(nèi)地選擇圖像。

還具備判定圖像中的相似度的評分補正部56。

圖像選擇部58基于評分補正部56的判定結(jié)果來選擇圖像。

因此在攝像裝置1中，能按照相似度來進行用于動態(tài)圖像生成的圖像選擇。

評分補正部56基于與圖像的內(nèi)容關聯(lián)的信息或與拍攝的定時關聯(lián)的信息來判定相似度。

因此在攝像裝置1中，能判定與圖像的內(nèi)容關聯(lián)的信息或與拍攝的定時關聯(lián)的信息所關系的圖像的相似度。

評分補正部56將在判定相似度的對象的圖像中由圖像選擇部58選擇的順序接近的前后的圖像作為比較對象。

因此在攝像裝置1中，能判定選擇的順序接近的圖像的相似度。

圖像重放時間設定部55，基于特征量算出部53的評價結(jié)果來設定個別重放時間。

因此在攝像裝置1中，能設為與評價結(jié)果有關系的個別重放時間。

特征量算出部53基于與圖像的內(nèi)容關聯(lián)的信息或與拍攝的定時關聯(lián)的信息來評價圖像。

因此在攝像裝置1中，進行與圖像的內(nèi)容關聯(lián)的信息或與拍攝的定時關聯(lián)的信息所關系的評價。

特征量算出部53從多種不同觀點來評價圖像。

因此在攝像裝置1中，能從多種不同的觀點來綜合評價圖像。

圖像選擇部58選擇給定數(shù)量的圖像，讓與拍攝的圖像的拍攝定時相關的信息分散。

因此在攝像裝置1中，能進行使成為選擇對象的圖像分散的用于動態(tài)圖像生成的圖像選擇。

另外，攝像裝置1具備設定重放開始定時的模式設定部51。

圖像選擇部58考慮由模式設定部51設定的重放開始定時來選擇給定數(shù)量的圖像。

因此在攝像裝置1中，能與設定的重放開始定時匹配地進行用于動態(tài)圖像生成的圖像選擇。

模式設定部51與樂音對應地設定重放開始定時。

因此在攝像裝置1中，能與樂音匹配地進行用于動態(tài)圖像生成的圖像選擇。另外，由多個樂音有機地構(gòu)成的產(chǎn)物為樂曲。

需要說明的是，本發(fā)明并不限定于上述實施方式，在能夠?qū)崿F(xiàn)本發(fā)明目的的范圍內(nèi)的變形、改良等也包含于本發(fā)明。

在上述的實施方式中，作為精彩動態(tài)圖像的制約而設為動態(tài)圖像的最大重放時間，但并不限于此，例如也可以將構(gòu)成動態(tài)圖像的幀圖像的最大張數(shù)作為制約條件。

另外，在上述的實施方式中，構(gòu)成為取得多個靜態(tài)圖像作為候補圖像，從取得的候補圖像選擇圖像來生成精彩動態(tài)圖像，但例如也可以在1個或多個動態(tài)圖像中，將構(gòu)成動態(tài)圖像的幀圖像作為候補圖像。

另外，也可以取代精彩動態(tài)圖像，生成多個靜態(tài)圖像成為一張圖像那樣的圖像。

另外，在上述的實施方式中，構(gòu)成為在合計選擇的圖像的個別重放時間的情況下，讓合計的合計重放時間成為不超過所設定的最大重放時間的最大的重放時間，但并不限于此。例如也可以構(gòu)成為在設定的重放時間(重放總時間)附近選擇成為最大的評分那樣的圖像。

另外，在上述的實施方式中，構(gòu)成為不連續(xù)選擇相似度高的圖像，但并不限于此，也可以構(gòu)成為積極選擇相似度高的圖像。

另外，相似度例如能基于圖像中的構(gòu)圖、視角、顏色等圖像的內(nèi)容、或拍攝時間、拍攝時的傳感器信息等拍攝時的信息來決定。

另外，在圖像的評價中，例如能基于圖像中的構(gòu)圖、視角、顏色等圖像的內(nèi)容、或拍攝時間、拍攝時的傳感器信息等拍攝時的信息來進行。另外，圖像的評價可以在圖像單體中進行，但也可以在與其他圖像的比較中進行。例如可以構(gòu)成為雖然根據(jù)圖像的內(nèi)容作為圖像單體而成為高的評價，但在同時期相同的圖像集中的情況下，根據(jù)與其他圖像的關系而去掉同時期評價最高的圖像讓評價降低。

另外，在上述的實施方式中，切換點基于樂曲的內(nèi)容來設定，但并不限于此。切換點例如能根據(jù)樂曲的內(nèi)容舉出多個候補，對該各個候補分配重要度。將所分配的重要度當中給定的重要度以上的候補設定為切換點。另外，也可以構(gòu)成為對設定的切換點按照所分配的重要度來判斷是否進行切換，從而選擇圖像。

另外，在上述的實施方式中，構(gòu)成為最大重放時間由用戶任意設定，但并不限于此，也可以構(gòu)成為將作為bgm使用的樂曲的長度設定為最大重放時間。

另外，在上述的實施方式中，基于與動態(tài)圖像一起進行重放的樂曲的內(nèi)容來設定切換點，但例如也可以構(gòu)成為按照所選擇的圖像的張數(shù)來設定切換點。在該情況下，能構(gòu)成為在基于樂曲的內(nèi)容而切換點的數(shù)量多于所選擇的圖像的情況下，將內(nèi)容的變化少的點從切換點排除，或者在基于樂曲的內(nèi)容而切換點的數(shù)量少于所選擇的圖像的情況下，將內(nèi)容的變化第二多的點設定為切換點。另外，切換點也可以按照前半/中間/后半和重放時期來使數(shù)量增減。

另外，在上述的實施方式中，運用本發(fā)明的攝像裝置1以數(shù)字攝像機為例進行了說明，但并不特別限定于此。

例如本發(fā)明一般能運用在具有精彩動態(tài)圖像生成處理功能的電子設備中。例如本發(fā)明能運用在筆記本型的個人計算機、打印機、電視接收機、視頻攝像機、便攜型導航裝置、便攜電話機、智能手機、掌上游戲機等中。

上述的一系列處理既能通過硬件執(zhí)行，也能通過軟件執(zhí)行。

換言之，圖10的功能構(gòu)成只是例示，并沒有特別限定。即，在攝像裝置1中具備能將上述的一系列處理作為整體來執(zhí)行的功能即可，為了實現(xiàn)該功能而使用怎樣的功能塊則并不限定于圖10的示例。

另外，1個功能塊既可以由硬件單體構(gòu)成，也可以由軟件單體構(gòu)成，還可以由它們的組合構(gòu)成。

在通過軟件執(zhí)行一系列處理的情況下，將構(gòu)成該軟件的程序從網(wǎng)絡或記錄介質(zhì)安裝到計算機等。

計算機可以是裝入到專用的硬件中的計算機。另外，計算機也可以是通過安裝各種程序而能執(zhí)行各種功能的計算機，例如是通用的個人計算機。

包含這樣的程序的記錄介質(zhì)不僅由為了向用戶提供程序而與裝置主體分開分發(fā)的圖1的可移動介質(zhì)31構(gòu)成，還由以預先裝入裝置主體的狀態(tài)提供給用戶的記錄介質(zhì)等構(gòu)成?？梢苿咏橘|(zhì)31例如由磁盤(包括軟盤)、光盤或光磁盤等構(gòu)成。光盤例如由cd-rom(compactdisk-readonlymemory，只讀光盤)、dvd(digitalversatiledisk，數(shù)字多功能盤)、blu-ray(注冊商標)disc(藍光盤)等構(gòu)成。光磁盤由md(mini-disk)等構(gòu)成。另外，以預先裝入裝置主體的狀態(tài)提供給用戶的記錄介質(zhì)例如由記錄有程序的圖1的rom12、圖1的存儲部20中所含的硬盤等構(gòu)成。

另外，在本說明書中，描述記錄于記錄介質(zhì)的程序的步驟當然可以是按照其順序而在時間序列上進行的處理，但不一定非要是時間序列上的處理，還包含并行或個別執(zhí)行的處理。

以上說明了本發(fā)明的幾個實施方式，但這些實施方式只是例示，并不限定本發(fā)明的技術的范圍。本發(fā)明還能取其他各種實施方式，進而能在不脫離本發(fā)明的要旨的范圍內(nèi)進行省略或置換等種種變更。這些實施方式和其變形包含在本說明書等所記載的發(fā)明的范圍、要旨中，也包含在權利要求的范圍所記載的發(fā)明和與其等同的范圍內(nèi)。