專(zhuān)利名稱(chēng)：信息處理裝置、程序和信息處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及信息處理裝置、程序和信息處理方法。
背景技術(shù)：
數(shù)碼相機(jī)目前被廣泛使用，并且在PC上編輯數(shù)碼相機(jī)所捕獲的照片圖像 (photographic image)、執(zhí)行順次顯示照片圖像的幻燈片放映等被普遍地執(zhí)行。
雖然在幻燈片放映中獨(dú)立地執(zhí)行音樂(lè)的回放(playback)和照片圖像的顯示，但 是可以通過(guò)以下方法來(lái)執(zhí)行幻燈片放映。 (1)基于諸如音樂(lè)進(jìn)行(music progression)或節(jié)拍(beat)之類(lèi)的音樂(lè)進(jìn)行信息 來(lái)調(diào)整切換照片圖像的定時(shí)。 (2)當(dāng)回放特定音樂(lè)時(shí)，使用模板來(lái)匹配該音樂(lè)，在該模板中設(shè)定了切換照片圖像 的定時(shí)以及淡入和淡出模式。 幻燈片放映中的淡入和淡出例如在日本未實(shí)審專(zhuān)利申請(qǐng)公布No. 2006-166164中
有所描述。

發(fā)明內(nèi)容
在上述方法(1)中，音樂(lè)進(jìn)行信息僅用于幻燈片放映的回放控制，并且要回放的 照片圖像獨(dú)立于音樂(lè)。此外，在上述方法(2)中，可用的音樂(lè)是有限的并且用戶(hù)無(wú)法使用所 需的音樂(lè)。 鑒于前述情況，希望提供一種新穎且改進(jìn)的信息處理裝置、程序和信息處理方法， 其能夠通過(guò)進(jìn)行與要回放的音樂(lè)相對(duì)應(yīng)的校正來(lái)顯示圖像。 根據(jù)本發(fā)明的一個(gè)實(shí)施例，提供了一種信息處理裝置，該信息處理裝置包括回 放單元，用于回放音樂(lè)數(shù)據(jù)；分析單元，用于分析音樂(lè)數(shù)據(jù)的相關(guān)圖像的特征；圖像校正單 元，用于利用多種校正類(lèi)型中的任一種來(lái)執(zhí)行圖像校正；存儲(chǔ)單元，用于存儲(chǔ)一個(gè)或多于一 個(gè)圖像；第一選擇單元，用于從多種校正類(lèi)型中選擇與被分析單元分析的相關(guān)圖像的特征 相對(duì)應(yīng)的校正類(lèi)型；校正控制單元，用于利用第一選擇單元所選擇的校正類(lèi)型來(lái)使得圖像 校正單元對(duì)存儲(chǔ)單元中存儲(chǔ)的圖像執(zhí)行圖像校正；以及輸出單元，用于輸出經(jīng)圖像校正單 元校正的圖像。 信息處理裝置還可以包括用于創(chuàng)建顯示畫(huà)面的創(chuàng)建單元，該顯示畫(huà)面包括經(jīng)圖像 校正單元校正的圖像和相關(guān)圖像并被從輸出單元輸出。 校正控制單元可以隨著時(shí)間的流逝而利用第一選擇單元所選擇的校正類(lèi)型來(lái)改 變圖像校正單元進(jìn)行的圖像校正的細(xì)節(jié)。 信息處理裝置還可以包括第二選擇單元，用于根據(jù)音樂(lè)數(shù)據(jù)的特征從存儲(chǔ)單元所
存儲(chǔ)的一個(gè)或多于一個(gè)圖像中選擇由圖像校正單元進(jìn)行圖像校正的目標(biāo)圖像。 信息處理裝置還可以包括第二選擇單元，用于根據(jù)相關(guān)圖像的特征從存儲(chǔ)單元所
存儲(chǔ)的一個(gè)或多于一個(gè)圖像中選擇由圖像校正單元進(jìn)行圖像校正的目標(biāo)圖像。
信息處理裝置還可以包括第二選擇單元，用于根據(jù)音樂(lè)數(shù)據(jù)的附加信息從存儲(chǔ)單
元所存儲(chǔ)的一個(gè)或多于一個(gè)圖像中選擇由圖像校正單元進(jìn)行圖像校正的目標(biāo)圖像。 分析單元還可以分析相關(guān)圖像中所包含的字符的字體，并且顯示畫(huà)面還可以包括
由與分析單元所分析的字體相同或相似的字體所表現(xiàn)的相關(guān)圖像的附加信息。 顯示畫(huà)面還可以包括由與音樂(lè)數(shù)據(jù)的特征相對(duì)應(yīng)的字體所表現(xiàn)的相關(guān)圖像的附
加信息。 根據(jù)本發(fā)明的另一實(shí)施例，提供了一種用于使得計(jì)算機(jī)用作信息處理裝置的程 序，該信息處理裝置包括回放單元，用于回放音樂(lè)數(shù)據(jù)；分析單元，用于分析音樂(lè)數(shù)據(jù)的 相關(guān)圖像的特征；圖像校正單元，用于利用多種校正類(lèi)型中的任一種來(lái)執(zhí)行圖像校正；選 擇單元，用于從多種校正類(lèi)型中選擇與被分析單元分析的相關(guān)圖像的特征相對(duì)應(yīng)的校正類(lèi)
型；校正控制單元，用于利用選擇單元所選擇的校正類(lèi)型來(lái)使得圖像校正單元對(duì)存儲(chǔ)介質(zhì) 中所存儲(chǔ)的一個(gè)或多于一個(gè)圖像進(jìn)行校正；以及輸出單元，用于輸出經(jīng)圖像校正單元校正 的圖像。 根據(jù)本發(fā)明的另一實(shí)施例，提供了一種信息處理方法，該信息處理方法包括以下 步驟回放音樂(lè)數(shù)據(jù)；分析音樂(lè)數(shù)據(jù)的相關(guān)圖像的特征；從多種校正類(lèi)型中選擇與相關(guān)圖 像的特征相對(duì)應(yīng)的校正類(lèi)型；利用所選擇的校正類(lèi)型來(lái)校正存儲(chǔ)介質(zhì)中所存儲(chǔ)的一個(gè)或多 于一個(gè)圖像；以及輸出經(jīng)校正的圖像。 在根據(jù)上述本發(fā)明實(shí)施例的信息處理裝置、程序和信息處理方法中，可以通過(guò)進(jìn) 行與要回放的音樂(lè)相對(duì)應(yīng)的校正來(lái)顯示圖像。


圖1是示出PC的硬件配置的框圖。 圖2是示出根據(jù)本發(fā)明一實(shí)施例的PC的配置的功能框圖。 圖3是示出音樂(lè)組成的示例的說(shuō)明圖。 圖4是示出用于創(chuàng)建帶有音樂(lè)的幻燈片放映的一系列處理步驟的流程圖。 圖5是示出布局(layout)控制單元用來(lái)設(shè)定音樂(lè)數(shù)據(jù)的高潮部分(highlight
part)的處理流程的流程圖。 圖6是示出根據(jù)基調(diào)(mood)來(lái)設(shè)定布局的示例的說(shuō)明圖。 圖7是示出根據(jù)基調(diào)來(lái)設(shè)定布局的示例的說(shuō)明圖。 圖8是示出運(yùn)動(dòng)模式的具體示例的說(shuō)明圖。 圖9是示出表現(xiàn)運(yùn)動(dòng)模式的參數(shù)的含義的說(shuō)明圖。 圖10是示出在切換時(shí)多個(gè)圖像的關(guān)系的說(shuō)明圖。 圖11是示出獲得效果信息的示例的說(shuō)明圖。 圖12是示出獲得效果信息的另一示例的說(shuō)明圖。 圖13是示出執(zhí)行效果處理的示例的說(shuō)明圖。 圖14是示出參數(shù)p對(duì)效果細(xì)節(jié)的影響的說(shuō)明圖。 圖15是示出時(shí)間的流逝與參數(shù)p之間的關(guān)系示例的說(shuō)明圖。 圖16是示出由噪聲效果器(effector)所添加的噪聲的說(shuō)明圖。 圖17是示出由噪聲效果器所添加的噪聲的說(shuō)明圖。
5
圖18是示出閾值thl和閾值th2與參數(shù)p的關(guān)系的說(shuō)明圖。 圖19是對(duì)色彩模仿效果器的處理的圖像圖示。 圖20是示出當(dāng)效果類(lèi)型選擇單元選擇每個(gè)封皮(jacket)照片的效果類(lèi)型時(shí)的流 程的流程圖。 圖21是示出對(duì)其進(jìn)行單色(monochrome)確定的封皮圖像的具體示例的說(shuō)明圖。 圖22是示出對(duì)其進(jìn)行噪聲確定的封皮圖像的具體示例的說(shuō)明圖。 圖23是示出對(duì)其進(jìn)行多色調(diào)分色(posterization)確定的封皮圖像的具體示例
的說(shuō)明圖。 圖24是示出對(duì)其進(jìn)行色調(diào)效果(tone effect)確定的封皮圖像的具體示例的說(shuō) 明圖。 圖25是示出對(duì)其進(jìn)行色彩模仿(color imitation)確定的封皮圖像的具體示例 的說(shuō)明圖。 圖26是示出效果處理之前的照片圖像的具體示例的說(shuō)明圖。 圖27是示出對(duì)圖26所示的照片圖像執(zhí)行效果處理"單色"的結(jié)果的說(shuō)明圖。 圖28是示出對(duì)圖26所示的照片圖像執(zhí)行效果處理"噪聲"的結(jié)果的說(shuō)明圖。 圖29是示出對(duì)圖26所示的照片圖像執(zhí)行效果處理"多色調(diào)分色"的結(jié)果的說(shuō)明圖。 圖30是示出對(duì)圖26所示的照片圖像執(zhí)行效果處理"色調(diào)效果"的結(jié)果的說(shuō)明圖。 圖31是示出對(duì)圖26所示的照片圖像執(zhí)行效果處理"色彩模仿"的結(jié)果的說(shuō)明圖。 圖32是示出在幻燈片放映開(kāi)始時(shí)顯示在視頻輸出單元上的顯示畫(huà)面的示例的說(shuō) 明圖。 圖33是示出音樂(lè)基調(diào)和字體的關(guān)系示例的說(shuō)明圖。 圖34是示出基于封皮圖像的圖像分析信息來(lái)選擇字體的說(shuō)明圖。 圖35是示出音樂(lè)流派和字體的關(guān)系示例的說(shuō)明圖。 圖36是示出從幻燈片放映開(kāi)始時(shí)所顯示的顯示畫(huà)面切換到被執(zhí)行了效果處理的 照片圖像的說(shuō)明圖。
具體實(shí)施例方式
以下將參考附圖來(lái)詳細(xì)描述本發(fā)明的優(yōu)選實(shí)施例。注意，在該說(shuō)明書(shū)和附圖中，基 本具有相同功能和結(jié)構(gòu)的結(jié)構(gòu)元件用相同的標(biāo)號(hào)表示，并且省略對(duì)這些結(jié)構(gòu)元件的重復(fù)描 述。 將以如下順序來(lái)描述
具體實(shí)施例方式
1. PC的硬件配置 2. PC的功能和操作概述 3.回放持續(xù)時(shí)間的設(shè)定 4.布局的決定 5.圖像選擇 6.效果處理的概述 7.參數(shù)p
8.效果類(lèi)型的說(shuō)明
[單色]
[噪聲] [OOSS][多色調(diào)分色] [OO69][色調(diào)效果]
[色彩模仿]
9.效果類(lèi)型的選擇
10.幻燈片放映的執(zhí)行
11.總結(jié)和補(bǔ)充
〈l.PC的硬件配置〉 根據(jù)本發(fā)明一實(shí)施例的PC 20可與音樂(lè)數(shù)據(jù)的回放一同順次顯示照片圖像，其中 對(duì)照片圖像執(zhí)行根據(jù)音樂(lè)數(shù)據(jù)的效果。在描述根據(jù)該實(shí)施例的PC 20的功能之前，以下參 考圖1來(lái)描述PC 20的硬件配置。 圖1是示出PC 20的硬件配置的框圖。PC 20包括CPU(中央處理單元)201、R0M(只 讀存儲(chǔ)器)202、RAM(隨機(jī)存取存儲(chǔ)器203)、主機(jī)總線(xiàn)204、橋205、外部總線(xiàn)206、接口 207、 輸入設(shè)備208、輸出設(shè)備210、存儲(chǔ)設(shè)備(HDD)211、驅(qū)動(dòng)器212和通信設(shè)備215。
CPU 201用作處理設(shè)備和控制設(shè)備，并且根據(jù)每個(gè)程序來(lái)控制PC 20中的整體操 作。CPU 201可以是微處理器。ROM 202存儲(chǔ)將由CPU 201使用的程序、處理參數(shù)等。RAM 203臨時(shí)存儲(chǔ)將在CPU 201上執(zhí)行時(shí)所使用的程序、在執(zhí)行期間變化的參數(shù)等。CPU 201、 ROM 202和RAM 203通過(guò)主機(jī)總線(xiàn)204彼此連接，主機(jī)總線(xiàn)204可以是CPU總線(xiàn)等。
主機(jī)總線(xiàn)204經(jīng)由橋205連接到諸如PCI (外圍組件互連/接口 )之類(lèi)的外部總 線(xiàn)206。主機(jī)總線(xiàn)204、橋205和外部總線(xiàn)206不一定是彼此分離的，它們的功能可在單條 總線(xiàn)上實(shí)現(xiàn)。 輸入設(shè)備208可以包括供用戶(hù)輸入信息的輸入裝置(例如鼠標(biāo)、鍵盤(pán)、觸摸板、按 鈕、麥克風(fēng)、開(kāi)關(guān)或者操作桿)以及輸入控制電路，該輸入控制電路基于用戶(hù)輸入來(lái)生成輸 入信號(hào)并將輸入信號(hào)輸出到例如CPU201。 PC 20的用戶(hù)操縱輸入設(shè)備208，從而輸入各種數(shù) 據(jù)或者將處理操作引導(dǎo)至PC 20。 輸出設(shè)備210可以包括視頻輸入設(shè)備和音頻輸入設(shè)備，視頻輸入設(shè)備例如是 CRT(陰極射線(xiàn)管)顯示設(shè)備、LCD(液晶顯示)設(shè)備、OLED(有機(jī)發(fā)光顯示)設(shè)備或者燈，音 頻輸出設(shè)備例如是揚(yáng)聲器或頭戴式耳機(jī)。輸出設(shè)備210例如可以輸出再現(xiàn)內(nèi)容。具體地， 視頻輸出設(shè)備顯示諸如再現(xiàn)的照片圖像之類(lèi)的信息。音頻輸出設(shè)備將再現(xiàn)的音樂(lè)數(shù)據(jù)等轉(zhuǎn) 換為聲音并將其輸出。 存儲(chǔ)設(shè)備211是用于數(shù)據(jù)存儲(chǔ)的設(shè)備，根據(jù)該實(shí)施例，該設(shè)備被配置為PC 20的存 儲(chǔ)單元。存儲(chǔ)設(shè)備211可以包括存儲(chǔ)介質(zhì)、將數(shù)據(jù)記錄到存儲(chǔ)介質(zhì)上的記錄設(shè)備、從記錄介 質(zhì)讀取數(shù)據(jù)的讀取設(shè)備、刪除記錄介質(zhì)上所記錄的數(shù)據(jù)的刪除設(shè)備等等。存儲(chǔ)設(shè)備211例 如可包括HDD(硬盤(pán)驅(qū)動(dòng)器)。存儲(chǔ)設(shè)備211驅(qū)動(dòng)硬盤(pán)并存儲(chǔ)將由CPU 201執(zhí)行的程序或者 各種數(shù)據(jù)。稍后描述的音樂(lè)數(shù)據(jù)、效果信息等被記錄在存儲(chǔ)設(shè)備211上。
驅(qū)動(dòng)器212是用于存儲(chǔ)介質(zhì)的讀寫(xiě)器，并且可內(nèi)置于PC 20中或者外部地附接。驅(qū) 動(dòng)器212讀取附接到其的可移除記錄介質(zhì)24(例如磁盤(pán)、光盤(pán)、磁光盤(pán)或者半導(dǎo)體存儲(chǔ)器)上所記錄的信息，并將信息輸出到RAM203。 通信設(shè)備215可以是由通信設(shè)備等構(gòu)成的用于與通信網(wǎng)絡(luò)12建立連接的通信接 口。通信設(shè)備215可以是兼容無(wú)線(xiàn)LAN(局域網(wǎng))的通信設(shè)備、兼容無(wú)線(xiàn)USB的通信設(shè)備或 者執(zhí)行有線(xiàn)通信的有線(xiàn)通信設(shè)備。 在本說(shuō)明書(shū)中，PC 20僅被描述為信息處理裝置的示例，信息處理裝置不限于此。 例如，信息處理裝置可以是家用視頻處理設(shè)備(例如，DVD記錄器、錄像帶記錄器等)、蜂窩 電話(huà)、PHS(個(gè)人手持電話(huà)系統(tǒng))、便攜式音樂(lè)回放設(shè)備、便攜式視頻處理設(shè)備等。此外，信息 處理裝置可以是PDA(個(gè)人數(shù)字助理)、家用游戲機(jī)、便攜式游戲機(jī)、家用電氣設(shè)備等。
〈2. PC的功能和操作概述> 以下參考圖2至圖4來(lái)示意性地描述根據(jù)該實(shí)施例的PC 20的功能和操作。圖2 是示出根據(jù)該實(shí)施例的PC 20的配置的功能框圖。參考圖2，PC 20包括幻燈片放映播放器、 基調(diào)確定單元224、封皮分析單元228、效果類(lèi)型選擇單元232、布局控制單元236、效果控制 單元252、操作單元264和設(shè)定管理單元268?；脽羝庞巢シ牌靼ù鎯?chǔ)單元220、圖像選 擇單元240、解碼器244、混合器/效果器(mixer/effector)電路248、音頻輸出單元256、 視頻輸出單元260、字體選擇單元272和顯示創(chuàng)建單元276。 存儲(chǔ)單元220是用于存儲(chǔ)執(zhí)行幻燈片放映所使用的音樂(lè)數(shù)據(jù)、封皮圖像、效果信 息、音樂(lè)特征量、照片圖像等。 例如，每首音樂(lè)對(duì)應(yīng)于任一封皮圖像并且被存在與音樂(lè)數(shù)據(jù)相關(guān)聯(lián)的存儲(chǔ)單元 220中。音樂(lè)數(shù)據(jù)和封皮圖像可以是從光盤(pán)獲得的，或者可以是通過(guò)通信網(wǎng)絡(luò)12從內(nèi)容分 發(fā)服務(wù)器獲得的。 音樂(lè)特征量指示出音樂(lè)數(shù)據(jù)的特征，并且是通過(guò)分析音樂(lè)數(shù)據(jù)而獲得的。例如，音 樂(lè)特征量可以是基調(diào)特征量、音樂(lè)組成信息、音樂(lè)進(jìn)行信息、基調(diào)等等。各個(gè)音樂(lè)特征量在 以下描述。(基調(diào)特征量) 基調(diào)特征量是通過(guò)將音樂(lè)的印象、氛圍或情緒(例如"愉快的"、"高興的"、"傷心 的"和"清爽的")轉(zhuǎn)換為數(shù)字而獲得的。作為較高階(higher-order)特征量的基調(diào)特 征量可通過(guò)以下步驟來(lái)提取通過(guò)對(duì)音樂(lè)數(shù)據(jù)的信號(hào)處理(聲音分析)來(lái)提取基本特征 量(例如速度(tempo)、以下描述的音樂(lè)進(jìn)行信息等)，然后利用基本特征量來(lái)進(jìn)行機(jī)器 學(xué)習(xí)和聲音估計(jì)。更具體的分析方法例如在日本未實(shí)審專(zhuān)利申請(qǐng)公開(kāi)No. 2005-274708、 2005-275068、2008-27538、2008-65905等中有所公開(kāi)。
(音樂(lè)組成信息) 音樂(lè)組成信息是指示出諸如獨(dú)唱部分(verse)、過(guò)渡樂(lè)節(jié)(bridge)、合唱部分 (chorus)和結(jié)尾之類(lèi)的音樂(lè)組分的開(kāi)始相對(duì)于音樂(lè)開(kāi)頭的定時(shí)的信息。參考圖3，更具體 地描述音樂(lè)組成信息。 圖3是示出音樂(lè)組成的一個(gè)示例的說(shuō)明圖。圖3示出了以前奏(introduction)、 獨(dú)唱部分、過(guò)渡樂(lè)節(jié)、合唱部分、間奏(interlude)、過(guò)渡樂(lè)節(jié)、合唱部分等的順序來(lái)布置組 分的情況。在這種情況下，前奏切換到獨(dú)唱部分的時(shí)間tl、獨(dú)唱部分切換到過(guò)渡樂(lè)節(jié)的時(shí)間 t2、過(guò)渡樂(lè)節(jié)切換到合唱部分的時(shí)間t3以及相同方式的t4至t6是音樂(lè)組成信息。
在本說(shuō)明書(shū)中，音樂(lè)的印象最深部分稱(chēng)為合唱部分。因?yàn)樵诶缛毡疚磳彶閷?zhuān)利
8公開(kāi)No. 2007-156434中公開(kāi)了一種分析音樂(lè)組成信息的方法，所以本說(shuō)明書(shū)中省略詳細(xì) 說(shuō)明。(音樂(lè)進(jìn)行信息) 音樂(lè)進(jìn)行信息是指示出音樂(lè)中的每個(gè)節(jié)拍、小節(jié)(measure)及和弦(C大調(diào)、A小 調(diào)等)相對(duì)于音樂(lè)開(kāi)頭的定時(shí)的信息。例如，在圖3所示的情況下，到C和弦的切換所發(fā) 生的時(shí)間tll、到G和弦的切換所發(fā)生的時(shí)間tl2、到Am和弦的切換所發(fā)生的時(shí)間t13、 到Em和弦的切換所發(fā)生的時(shí)間t14等是音樂(lè)進(jìn)行信息。因?yàn)樵诶缛毡疚磳彶閷?zhuān)利公開(kāi) No. 2007-183417中公開(kāi)了一種分析音樂(lè)進(jìn)行信息的方法，所以本說(shuō)明書(shū)中省略詳細(xì)說(shuō)明。
(基調(diào)) 音樂(lè)的基調(diào)是由基調(diào)確定單元224基于基調(diào)特征量確定的。基調(diào)確定單元224 可以利用例如PlayStation3(注冊(cè)商標(biāo))中使用的"自動(dòng)選擇通道"算法來(lái)執(zhí)行基調(diào)確 定。此外，音樂(lè)的基調(diào)可表示音樂(lè)的氛圍、通過(guò)音樂(lè)所回想起的抽象主題(abstract theme) (氣候、地點(diǎn)、季節(jié)、情緒、事件等)等等。以下描述基于下面的假定基調(diào)確定單元224 將音樂(lè)的基調(diào)確定為Energetic (充滿(mǎn)活力的)、Relaxing (放松的)、Dramatic (戲劇性 的)、H即py(高興的)和Electronic (電子的)。如果音樂(lè)對(duì)應(yīng)于多個(gè)基調(diào)，則基調(diào)確定 單元224可以根據(jù)給定的優(yōu)先級(jí)來(lái)選擇一種基調(diào)。較高的優(yōu)先級(jí)可以被賦予給音樂(lè)在統(tǒng) 計(jì)上不太可能對(duì)應(yīng)于的基調(diào)，最低的優(yōu)先級(jí)可被賦予給Dramatic,并且更高的優(yōu)先級(jí)可 被以Relalxing、 Energetic、 Electronic禾口 Happy的順序賦予給Relalxing、 Energetic、 Electronic禾口 Happy。 效果信息包括通過(guò)封皮分析單元228對(duì)封皮圖像的分析所獲得的圖像分析信息 和由效果類(lèi)型選擇單元232選擇的效果類(lèi)型。圖像分析信息的要素以及每個(gè)要素在本說(shuō)明 書(shū)中的意義示例在以下描述。-平均色彩通過(guò)對(duì)封皮圖像中所有像素的色彩進(jìn)行平均所獲得的值。
-對(duì)比度封皮圖像中所有像素的亮度值的標(biāo)準(zhǔn)偏差。-特征值、特征向量通過(guò)對(duì)在3D色彩空間(本實(shí)施例中為RGB空間)上繪制封 皮圖像中所有像素的集合的主要組分分析(principalcomponent)所獲得的特征值和特征 向量，其是以第一主要組分、第二主要組分和第三主要組分的順序布置的。第一主要組分的 特征值和特征向量分別稱(chēng)為第一特征值和第一特征向量，第二主要組分的特征值和特征向 量分別稱(chēng)為第二特征值和第二特征向量，第三主要組分的特征值和特征向量分別稱(chēng)為第三 特征值和第三特征向量。具體地，作為對(duì)集合的主要組分分析的結(jié)果，在RGB空間中獲得三 條直線(xiàn)，并且這三條直線(xiàn)中最長(zhǎng)的線(xiàn)、第二長(zhǎng)的線(xiàn)和最短的線(xiàn)分別對(duì)應(yīng)于第一主要組分、第 二主要組分和第三主要組分。每條直線(xiàn)的方向?qū)?yīng)于特征向量，并且每條直線(xiàn)的長(zhǎng)度對(duì)應(yīng) 于特征值。如果封皮圖像中的特別色彩(peculiar color)是可分離的，則可通過(guò)將該特別 色彩作為點(diǎn)色彩而去除并且對(duì)去除了點(diǎn)色彩的一組色彩執(zhí)行主要組分分析來(lái)獲得特征值 和特征向量。-色彩直方圖當(dāng)封皮圖像的色彩被減少至指定數(shù)目的色彩(本實(shí)施例中為32種 色彩)時(shí)的每個(gè)色彩值及其含量。-亮度直方圖將封皮圖像轉(zhuǎn)換成灰度級(jí)圖像并利用指定數(shù)目(本實(shí)施例中最大 為32種色彩)來(lái)創(chuàng)建其像素值(亮度值)的直方圖所得的結(jié)果。
-面部信息通過(guò)面部識(shí)別技術(shù)從封皮圖像檢測(cè)到的信息，其例如包括封皮圖像 中所包含的面部的數(shù)目、每個(gè)面部的位置、大小或傾斜等等。-點(diǎn)色彩構(gòu)成封皮圖像的色彩中的特別色彩。例如僅在單色背景的一部分中包
含紅色物體的封皮圖像中，點(diǎn)色彩是該物體的紅色值。-字體封皮圖像中所包含的字符的字體和字符色彩。 以下描述效果類(lèi)型(校正類(lèi)型)的具體示例。以下描述基于下面的假定從存儲(chǔ) 單元220選擇的照片圖像是輸入圖像。 _單色以?xún)H包括兩種色彩的線(xiàn)性和所表現(xiàn)的色彩的方式來(lái)處理照片圖像。 一種 示例是所謂的灰色圖像(白色和黑色的線(xiàn)性和)。在本實(shí)施例中，基于封皮圖像的圖像分析 信息來(lái)決定作為兩種色彩的適當(dāng)色彩。
_噪聲在對(duì)照片圖像執(zhí)行與單色相同的處理之后，添加噪聲并且進(jìn)一步增強(qiáng)對(duì) 比度。單色效果執(zhí)行和對(duì)比度增強(qiáng)的程度是基于封皮圖像的圖像分析信息來(lái)決定的。
-多色調(diào)分色通過(guò)少數(shù)色彩(例如三種色彩)來(lái)表現(xiàn)照片圖像。所用的色彩是 基于封皮圖像的圖像分析信息來(lái)決定的。-色調(diào)效果在與封皮圖像的圖像分析信息相對(duì)應(yīng)的方向上總體移動(dòng)封皮圖像的 色彩分布。-色彩模仿處理封皮圖像的色彩分布以便增強(qiáng)封皮圖像中所包含的色彩成分。
因?yàn)樵趫?zhí)行上述每種效果處理時(shí)使用了封皮圖像的圖像分析信息，所以封皮圖像 的氛圍在不小的程度上被反映在被執(zhí)行了效果處理的照片圖像上。此外，在本實(shí)施例中，為 了使得被執(zhí)行了效果處理的照片圖像的氛圍更好地與封皮圖像的氛圍相匹配，效果類(lèi)型選 擇單元232選擇對(duì)封皮圖像而言適當(dāng)?shù)男Ч?lèi)型。如稍后在〈9.效果類(lèi)型的選擇〉中所描 述的，效果類(lèi)型選擇單元232為作為灰色圖像的封皮圖像選擇單色，并且為利用數(shù)目顯著 小于最大色彩數(shù)的色彩所表現(xiàn)的封皮圖像選擇多色調(diào)分色。 存儲(chǔ)單元220中所存儲(chǔ)的照片圖像可被選擇為幻燈片放映執(zhí)行期間的顯示對(duì)象。 PC 20例如可從攝像裝置或者通過(guò)通信網(wǎng)絡(luò)12來(lái)獲得照片圖像?？杀贿x擇為幻燈片放映執(zhí) 行期間的顯示對(duì)象的圖像不限于照片圖像，可以是任意圖像。 上述用于存儲(chǔ)音樂(lè)數(shù)據(jù)、封皮圖像、效果信息、音樂(lè)特征量和照片圖像的存儲(chǔ)單元 220可以是諸如非易失性存儲(chǔ)器、磁盤(pán)、光盤(pán)或者M(jìn)0(磁光)盤(pán)之類(lèi)的存儲(chǔ)介質(zhì)。非易失性 存儲(chǔ)器的示例是EEPROM(電可擦除可編程只讀存儲(chǔ)器)、EPROM(可擦除可編程只讀存儲(chǔ)器) 等。磁盤(pán)的示例是硬盤(pán)、圓盤(pán)狀磁盤(pán)等。光盤(pán)的示例是CD(緊致盤(pán))、DVD-R(數(shù)字通用盤(pán)可 錄型)、BD(藍(lán)光光盤(pán)(Blu-ray Disc，注冊(cè)商標(biāo)))等。音樂(lè)數(shù)據(jù)、封皮圖像、效果信息、音 樂(lè)特征量、照片圖像等可存儲(chǔ)在物理上不同的存儲(chǔ)介質(zhì)中。 布局控制單元236設(shè)定幻燈片放映執(zhí)行期間的音樂(lè)回放持續(xù)時(shí)間，參考布局信息 表，并且將回放持續(xù)時(shí)間分成多個(gè)圖像顯示幀(即，決定布局)。布局信息表包含關(guān)于將回 放持續(xù)時(shí)間分成多個(gè)圖像顯示幀的多種方法的信息，并且布局控制單元236基于這些方法 中的任意方法來(lái)確定布局。在每個(gè)圖像顯示幀中顯示不同的圖像。 此外，布局控制單元236具有包含圖像的多個(gè)運(yùn)動(dòng)模式的動(dòng)畫(huà)信息表，并且從動(dòng) 畫(huà)信息表中選擇每個(gè)圖像顯示幀中將顯示的圖像的運(yùn)動(dòng)模式。 圖像選擇單元240根據(jù)布局控制單元236的對(duì)布局的決定結(jié)果，從存儲(chǔ)單元220選擇〉中詳細(xì)描述選擇 照片圖像的方法。 解碼器244對(duì)存儲(chǔ)單元220中所存儲(chǔ)的音樂(lè)數(shù)據(jù)和圖像選擇單元240所選擇的照 片圖像進(jìn)行解碼。例如，解碼器244將MP3 (MPEG1音頻第3層)格式或者ATRAC (自適應(yīng)變 換聲學(xué)編碼)格式的音樂(lè)數(shù)據(jù)解碼成PCM格式。 混合器/效果器電路248用作圖像校正單元，其對(duì)經(jīng)解碼器244解碼的音樂(lè)數(shù)據(jù) 和照片圖像執(zhí)行給定處理。例如，混合器/效果器電路248對(duì)經(jīng)解碼器244解碼的照片圖 像執(zhí)行由布局控制單元236設(shè)定的動(dòng)畫(huà)處理或者執(zhí)行基于效果控制單元252的控制的效果 處理。根據(jù)本實(shí)施例的混合器/效果器電路248可以用作單色效果器、噪聲效果器、多色調(diào) 分色效果器、色調(diào)效果器或者色彩模仿效果器。 效果控制單元252用作校正控制單元，其控制混合器/效果器電路248對(duì)照片圖
像的效果。例如，效果控制單元252控制效果類(lèi)型、效果處理的細(xì)節(jié)、稍后描述的參數(shù)p等等。 音頻輸出單元256例如將從混合器/效果器電路248提供的音樂(lè)數(shù)據(jù)轉(zhuǎn)換為空氣 振動(dòng)，并輸出結(jié)果。因此，解碼器244、混合器/效果器電路248和音頻輸出單元256用作彼 此協(xié)作地回放音樂(lè)數(shù)據(jù)的回放單元。音頻輸出單元256可將從混合器/效果器電路248提 供的音樂(lè)數(shù)據(jù)提供給外部設(shè)備。 視頻輸出單元260用作輸出單元，其顯示從混合器/效果器電路248提供的在效 果處理之后的照片圖像以便對(duì)用戶(hù)而言是可見(jiàn)的。視頻輸出單元260可將從混合器/效果 器電路248提供的在效果處理之后的照片圖像提供給外部設(shè)備。 操作單元264是用戶(hù)接口，用戶(hù)向該用戶(hù)接口輸入各種信息和各種指令。設(shè)定管 理單元268例如基于對(duì)操作單元264的用戶(hù)操作來(lái)作出各種設(shè)定。各種設(shè)定包括回放持續(xù) 時(shí)間的設(shè)定、布局的設(shè)定、效果的設(shè)定、圖像選擇等，這在稍后描述。稍后在〈10.幻燈片放 映的執(zhí)行 > 中描述字體選擇單元272和顯示創(chuàng)建單元276。 以下參考圖4來(lái)描述根據(jù)本實(shí)施例的PC 20用來(lái)創(chuàng)建帶有音樂(lè)的幻燈片放映的一 系列處理步驟。 圖4是示出用于創(chuàng)建帶有音樂(lè)的幻燈片放映的一系列處理步驟的流程圖。如圖4 所示，如果要回放的音樂(lè)數(shù)據(jù)是由用戶(hù)通過(guò)操作單元264選擇的(S204)，則布局控制單元 236設(shè)定音樂(lè)數(shù)據(jù)的回放持續(xù)時(shí)間(S208)?；胤懦掷m(xù)時(shí)間可以是音樂(lè)的整個(gè)部分或者是音 樂(lè)的高潮部分，如稍后詳細(xì)所述。雖然圖4示出了用戶(hù)選擇音樂(lè)數(shù)據(jù)的示例，但是本實(shí)施例 不限于此。例如，可以隨機(jī)選擇音樂(lè)數(shù)據(jù)，或者從被分類(lèi)到特定基調(diào)的音樂(lè)數(shù)據(jù)中自動(dòng)選擇 音樂(lè)數(shù)據(jù)。 接下來(lái)，布局控制單元236將音樂(lè)回放持續(xù)時(shí)間分成多個(gè)圖像顯示幀(S212)。音 樂(lè)回放持續(xù)時(shí)間可被利用固定時(shí)間來(lái)劃分、針對(duì)每個(gè)小節(jié)來(lái)劃分、根據(jù)和弦改變來(lái)劃分或 者自動(dòng)劃分，如稍后詳細(xì)所述。布局控制單元236可為每個(gè)圖像顯示幀設(shè)定將應(yīng)用于所顯 示的圖像的運(yùn)動(dòng)模式。 然后，圖像選擇單元240選擇用于在音樂(lè)回放持續(xù)時(shí)間中回放的必要數(shù)目的照片 圖像(S216)。此后，開(kāi)始音樂(lè)數(shù)據(jù)的回放，并且開(kāi)始對(duì)由圖像選擇單元240所選擇并由解碼 器244所解碼的照片圖像的效果處理以及對(duì)被執(zhí)行了效果處理的照片圖像的顯示(S220)。
對(duì)照片圖像的效果處理是作為以下處理結(jié)果而執(zhí)行的效果控制單元252基于與 要回放的音樂(lè)數(shù)據(jù)的封皮圖像相對(duì)應(yīng)的效果信息來(lái)控制混合器/效果器電路248。因此，根 據(jù)本實(shí)施例，可以顯示對(duì)其執(zhí)行了效果處理的照片圖像，以便與帶有音樂(lè)的幻燈片放映中 要回放的音樂(lè)數(shù)據(jù)的封皮圖像的氛圍相匹配。以下具體描述本實(shí)施例中的各個(gè)處理。
〈3.回放持續(xù)時(shí)間的設(shè)定〉 音樂(lè)數(shù)據(jù)的回放持續(xù)時(shí)間可從音樂(lè)數(shù)據(jù)的整個(gè)部分(全部回放)或者音樂(lè)數(shù)據(jù)的 高潮部分(摘要(digest)回放)中選擇。音樂(lè)數(shù)據(jù)的整個(gè)部分或者音樂(lè)數(shù)據(jù)的高潮部分 中的哪個(gè)被選為回放持續(xù)時(shí)間可由用戶(hù)通過(guò)操作單元264來(lái)選擇或者被預(yù)設(shè)給PC 20。音 樂(lè)數(shù)據(jù)的高潮部分可通過(guò)由布局控制單元236例如執(zhí)行圖5所示的處理來(lái)設(shè)定。
圖5是示出布局控制單元236用來(lái)設(shè)定音樂(lè)數(shù)據(jù)的高潮部分的處理流程的流程 圖。如圖5所示，布局控制單元236首先基于存儲(chǔ)單元220中所存儲(chǔ)的音樂(lè)組成信息(被 包括在音樂(lè)特征量中)來(lái)獲得合唱部分開(kāi)始位置(S560)。然后，布局控制單元236以如下 方式來(lái)臨時(shí)設(shè)定起點(diǎn)(startpoint)和終點(diǎn)(end point):在合唱開(kāi)始位置處摘要時(shí)間被分 成兩半，如圖5的右上部分所示(S562)。 然后，如果臨時(shí)設(shè)定的起點(diǎn)不是第一節(jié)拍(S564)，則布局控制單元236將起點(diǎn)向 后設(shè)定為第一節(jié)拍(S566)，并且如果臨時(shí)設(shè)定的終點(diǎn)不是第一節(jié)拍(S568)，則其將終點(diǎn)向 前設(shè)定為第一節(jié)拍(S570)。圖5的右側(cè)中間部分示出如下示例因?yàn)榕R時(shí)設(shè)定的起點(diǎn)是第 二節(jié)拍，所以起點(diǎn)被向后設(shè)定為第一節(jié)拍，并且因?yàn)榕R時(shí)設(shè)定的終點(diǎn)是第三節(jié)拍，因此終點(diǎn) 被向前設(shè)定為第一節(jié)拍。 此外，布局控制單元236搜索起點(diǎn)之前的N個(gè)(N > l，例如N = 4)小節(jié)(S572)， 并且如果存在音樂(lè)組分改變的組成改變點(diǎn)(S574)，則將起點(diǎn)更新為組成改變點(diǎn)(S576)。同 樣，布局控制單元236搜索終點(diǎn)之后的N個(gè)(N^ 1，例如N二4)小節(jié)(S578)，并且如果存 在音樂(lè)組分改變的組成改變點(diǎn)(S580)，則將終點(diǎn)更新為組成改變點(diǎn)(S582)。圖5的右下部 分示出如下示例因?yàn)樵诟虑暗钠瘘c(diǎn)之前的N個(gè)小節(jié)中存在從獨(dú)唱部分到過(guò)渡樂(lè)節(jié)的組 成改變點(diǎn)，所以起點(diǎn)被更新為組成改變點(diǎn)，并且因?yàn)樵诟虑暗慕K點(diǎn)之后的N個(gè)小節(jié)中存 在從合唱部分到間奏的組成改變點(diǎn)，所以終點(diǎn)被更新為組成改變點(diǎn)。 這樣，由布局控制單元236獲得的從起點(diǎn)到終點(diǎn)的持續(xù)時(shí)間被設(shè)定為摘要回放 (高潮部分)的回放持續(xù)時(shí)間。雖然在圖5中圖示出在S572中搜索起點(diǎn)之前的N個(gè)小節(jié) 的時(shí)段的情況，但是本實(shí)施例不限于此。例如，布局控制單元236可以包括起點(diǎn)之后的N個(gè) 小節(jié)作為搜索目標(biāo)時(shí)段。同樣，雖然圖示出在S578中搜索終點(diǎn)之后的N個(gè)小節(jié)的時(shí)段的情 況，但是本實(shí)施例不限于此。例如，布局控制單元236可以包括終點(diǎn)之前的N個(gè)小節(jié)的時(shí)段 作為搜索目標(biāo)時(shí)段。
〈4.布局的決定〉 布局控制單元236例如通過(guò)以下方法將音樂(lè)數(shù)據(jù)的回放持續(xù)時(shí)間分成多個(gè)圖像 顯示幀。-時(shí)間固定 這是一種將音樂(lè)數(shù)據(jù)的回放持續(xù)時(shí)間劃分為使得以規(guī)則的時(shí)間間隔(例如十秒) 來(lái)切換圖像的布局方法。在該方法中，音樂(lè)特征量不被特別地使用。
-小節(jié)劃分
這是一種將音樂(lè)數(shù)據(jù)的回放持續(xù)時(shí)間劃分為使得每一定數(shù)目的小節(jié)就切換圖像 的布局方法。布局控制單元236可以基于小節(jié)被切換的時(shí)間(這包含在音樂(lè)進(jìn)行信息中) 來(lái)指定在從回放持續(xù)時(shí)間的開(kāi)頭起多少毫秒之后切換圖像。因?yàn)樵谒墓?jié)拍的音樂(lè)中，曲調(diào) (tune) —般傾向于每四個(gè)小節(jié)或八個(gè)小節(jié)改變，所以布局控制單元236例如可以每四個(gè)小 節(jié)或者每八個(gè)小節(jié)來(lái)劃分回放持續(xù)時(shí)間。
-和弦劃分 這是一種將音樂(lè)數(shù)據(jù)的回放持續(xù)時(shí)間劃分為使得同步于和弦進(jìn)行的改變而切換 圖像。布局控制單元236可以基于和弦被切換的時(shí)間(這包含在音樂(lè)進(jìn)行信息中)來(lái)指定 在從回放持續(xù)時(shí)間的開(kāi)頭起多少毫秒之后切換圖像。例如，當(dāng)和弦在從回放持續(xù)時(shí)間的開(kāi) 頭起1000毫秒之后從C大調(diào)變?yōu)锳小調(diào)時(shí)，布局控制單元236可以在從回放持續(xù)時(shí)間的開(kāi) 頭起1000毫秒之后劃分回放持續(xù)時(shí)間。因?yàn)樵跁r(shí)間固定和小節(jié)劃分的情況下，以規(guī)則的間 隔來(lái)劃分回放持續(xù)時(shí)間，所以在幻燈片放映中周期性地切換圖像。另一方面，因?yàn)樵诤拖覄?分的情況下以不規(guī)則的間隔(一個(gè)小節(jié)、兩個(gè)小節(jié)、一個(gè)小節(jié)和兩個(gè)節(jié)拍等)來(lái)劃分回放持 續(xù)時(shí)間，所以幻燈片放映中的圖像切換周期不是恒定的，從而使得幻燈片放映的創(chuàng)建更好 地匹配音樂(lè)流。-根據(jù)基調(diào)的自動(dòng)布局 這是一種根據(jù)與音樂(lè)的基調(diào)相對(duì)應(yīng)的規(guī)則來(lái)劃分音樂(lè)數(shù)據(jù)的回放持續(xù)時(shí)間的布 局方法。音樂(lè)的基調(diào)是由基調(diào)確定單元224基于音樂(lè)特征量來(lái)確定的。這在以下參考圖6 和圖7來(lái)描述。 圖6和圖7是示出根據(jù)基調(diào)來(lái)設(shè)定布局的示例的說(shuō)明圖。圖6和圖7所示的切換 周期指的是切換圖像的周期，其是圖像顯示幀的周期。如圖6所示，當(dāng)基調(diào)是Energetic時(shí)， 在合唱部分之前的四個(gè)小節(jié)的位置處、合唱部分之前的一個(gè)小節(jié)的位置處和合唱部分開(kāi)始 位置處劃分回放持續(xù)時(shí)間。于是，切換周期在直到合唱部分之前的一個(gè)小節(jié)的位置為止被 設(shè)定為一個(gè)小節(jié)，在合唱部分之前的一個(gè)小節(jié)的位置與合唱部分開(kāi)始位置之間被設(shè)定為一 個(gè)節(jié)拍，并且在合唱部分開(kāi)始位置之后被設(shè)定為兩個(gè)節(jié)拍。可以為各回放持續(xù)時(shí)間設(shè)定不 同的運(yùn)動(dòng)模式。 此外，如圖6所示，在基調(diào)為Relaxing的情況下，回放持續(xù)時(shí)間被設(shè)定為兩次和弦 改變。此外，如圖6所示，在基調(diào)為Dramatic的情況下，回放持續(xù)時(shí)間在直到合唱部分之前 的兩個(gè)小節(jié)的位置為止被設(shè)定為一次和弦改變，在合唱部分之前的兩個(gè)小節(jié)的位置與合唱 部分開(kāi)始位置之間被設(shè)定為兩個(gè)節(jié)拍，并且在合唱部分開(kāi)始位置之后被設(shè)定為一次和弦改 變。另一方面，如圖7所示，在基調(diào)為Electronic的情況下，基本上根據(jù)和弦改變來(lái)切換照 片圖像，并且當(dāng)和弦改變?yōu)樗膫€(gè)節(jié)拍或更少時(shí)，每個(gè)節(jié)拍都切換照片圖像。此外，如圖7所 示，在基調(diào)為Happy的情況下，切換周期在直到合唱部分開(kāi)始位置為止被設(shè)定為一個(gè)小節(jié)， 并且在合唱部分開(kāi)始位置之后被根據(jù)和弦改變來(lái)設(shè)定。 如上所述，通過(guò)相對(duì)于合唱部分開(kāi)始位置來(lái)區(qū)分照片圖像的切換周期，可以創(chuàng)建 如下的幻燈片放映該幻燈片放映在音樂(lè)回放位置更靠近于合唱部分時(shí)變得更加印象深刻 (即，視覺(jué)效果變得強(qiáng)烈)。 此外，在決定布局之后，布局控制單元236選擇每個(gè)圖像顯示幀中將要顯示的圖 像所適用的運(yùn)動(dòng)模式。以下參考圖8至10來(lái)描述運(yùn)動(dòng)模式。
圖8是示出運(yùn)動(dòng)模式的具體示例的說(shuō)明圖。圖9是示出表現(xiàn)運(yùn)動(dòng)模式的參數(shù)的含 義的說(shuō)明圖。圖IO是示出在切換時(shí)多個(gè)圖像的關(guān)系的說(shuō)明圖。如圖8所示，每個(gè)運(yùn)動(dòng)模式 具有在起點(diǎn)(在圖像顯示幀的開(kāi)始)和終點(diǎn)(在圖像顯示幀的結(jié)束)處的多個(gè)參數(shù)。例如， 圖8示出了作為參數(shù)的位置(X，Y，Z)、比例、X旋轉(zhuǎn)(與圖9所示的作為旋轉(zhuǎn)軸的X軸所成 的角度)、Y旋轉(zhuǎn)(與圖9所示的作為旋轉(zhuǎn)軸的Y軸所成的角度)和Z旋轉(zhuǎn)(與圖9所示的 作為旋轉(zhuǎn)軸的Z軸所成的角度)。 例如，如果在某一圖像顯示幀中選擇圖8所示的運(yùn)動(dòng)模式01，則在該圖像顯示幀
中，圖像從位置(452,345,489)移到位置(262,243,1237)并且沿著Y軸從-28。旋轉(zhuǎn)到
+33° 。此外，如圖IO所示，可按交叉衰落的方式來(lái)切換圖像。具體地，當(dāng)圖像被切換時(shí)，下
一圖像可在前一圖像完全消失之前出現(xiàn)，以使得兩個(gè)圖像被彼此重疊地顯示。 布局控制單元236可以在每個(gè)圖像顯示幀中隨機(jī)選擇這種運(yùn)動(dòng)模式。 或者，布局控制單元236可以根據(jù)要回放的音樂(lè)的基調(diào)來(lái)選擇或者生成運(yùn)動(dòng)模
式，或者根據(jù)要顯示的照片圖像的內(nèi)容來(lái)選擇或者生成運(yùn)動(dòng)模式。
要回放的音樂(lè)的基調(diào)與將選擇或生成的運(yùn)動(dòng)模式之間的關(guān)系示例如下。 音樂(lè)的基調(diào) 運(yùn)動(dòng)模式
Energetic 具有大運(yùn)動(dòng)和快速運(yùn)動(dòng)的模式 Relaxing 具有小運(yùn)動(dòng)和慢速運(yùn)動(dòng)的模式 Electronic 具有線(xiàn)性運(yùn)動(dòng)的模式
此外，要顯示的照片圖像的內(nèi)容與將選擇或生成的運(yùn)動(dòng)模式之間的關(guān)系示例如



下。




照片圖像的內(nèi)容 運(yùn)動(dòng)模式
包含人物 具有面部的放大或縮小的模式 垂直拍攝、水平拍攝以照片的末端不在顯示區(qū)域之外的方式
來(lái)設(shè)定縮放和旋轉(zhuǎn)
布局控制單元236如上所述選擇音樂(lè)回放持續(xù)時(shí)間、布局和每個(gè)圖像顯示幀中的
運(yùn)動(dòng)模式，然后決定用于執(zhí)行幻燈片放映的照片圖像的必要數(shù)目。然后，圖像選擇單元240 從存儲(chǔ)單元220中所存儲(chǔ)的照片圖像中選擇由布局控制單元236所決定的多個(gè)照片圖像。 以下描述圖像選擇單元240對(duì)照片圖像的選擇。
〈5.圖像選擇〉 因?yàn)樵诒緦?shí)施例中對(duì)照片圖像執(zhí)行與封皮圖像相對(duì)應(yīng)的效果，所以可以使得任何 照片圖像能夠與要回放的音樂(lè)數(shù)據(jù)的封皮圖像的氛圍相匹配。因此，圖像選擇單元240可 以從存儲(chǔ)單元220所存儲(chǔ)的照片圖像中隨機(jī)選擇由布局控制單元236決定的多個(gè)照片圖 像。在這種配置中，希望存儲(chǔ)單元220中所存儲(chǔ)的照片圖像以等頻度出現(xiàn)，從而提供向用戶(hù) 呈現(xiàn)用戶(hù)通常不會(huì)有意選擇的照片圖像的機(jī)會(huì)。 或者，還使用以下描述的使用照片圖像的圖像特征量的選擇方法。 例如，圖像選擇單元240可以根據(jù)要回放的音樂(lè)數(shù)據(jù)的特征(例如基調(diào))來(lái)選擇
照片圖像。在這種配置中，與要回放的音樂(lè)數(shù)據(jù)相匹配的照片圖像被選擇，從而希望音樂(lè)數(shù)
據(jù)和照片圖像彼此互補(bǔ)。要回放的音樂(lè)的基調(diào)與將選擇的照片圖像之間的關(guān)系示例如下。
音樂(lè)的基調(diào) 將選擇的照片圖像
Relaxing 具有許多綠色和藍(lán)色的照片圖像 H即py 具有笑容的照片圖像
Electronic 不包含人物的照片圖像 此外，圖像選擇單元240可以根據(jù)要回放的音樂(lè)數(shù)據(jù)的封皮圖像的特征(例如，由
效果類(lèi)型選擇單元232選擇的效果類(lèi)型)來(lái)選擇照片圖像。在這種配置中，例如對(duì)于將執(zhí)
行的效果而言合適的照片圖像被選擇，從而希望改善該效果所帶來(lái)的優(yōu)點(diǎn)。要回放的音樂(lè)
數(shù)據(jù)的封皮圖像的效果類(lèi)型與將選擇的照片圖像之間的關(guān)系示例如下。
效果類(lèi)型 將選擇的照片圖像 噪聲 老照片 多色調(diào)分色 不包含人物的照片圖像 色彩模仿 具有與封皮圖像接近的色調(diào)的圖像 此外，圖像選擇單元240可以根據(jù)要回放的音樂(lè)數(shù)據(jù)的附加信息(例如發(fā)行日期、 音樂(lè)標(biāo)題、流派等)來(lái)選擇照片圖像。在這種配置中，希望選擇與音樂(lè)數(shù)據(jù)具有一些關(guān)聯(lián)性 的照片圖像。要回放的音樂(lè)數(shù)據(jù)的附加信息與將選擇的照片圖像之間的關(guān)系示例如下。
附加信息 將選擇的照片圖像 發(fā)行日期 與發(fā)行日期大約在同一時(shí)間的照片圖像 音樂(lè)標(biāo)題 具有音樂(lè)標(biāo)題中所包括的關(guān)鍵字的照片
圖像 在如上所述通過(guò)非隨機(jī)方法選擇照片圖像的情況下，假定特定照片圖像被以高頻 度選擇并且其他照片圖像幾乎不被選擇。為了抑制選擇頻度的不均勻性，圖像選擇單元240 可以累積以前的選擇頻度并且優(yōu)先選擇具有較低的以前選擇頻度的照片圖像。此外，上述 多種對(duì)照片圖像的選擇方法中的每一種可被單獨(dú)使用或者組合使用。 此外，可能存在以下情況圖像選擇單元240所選擇的照片圖像的數(shù)目不滿(mǎn)足由 布局控制單元236所決定的用于執(zhí)行幻燈片放映的照片圖像的必要數(shù)目。在這種情況下， 布局控制單元236可以將同一照片圖像分配給多個(gè)圖像顯示幀，或者可以將照片圖像的一 部分分配給與該照片圖像的圖像顯示幀不同的圖像顯示幀。具體地，當(dāng)提取照片圖像的一 部分時(shí)，可通過(guò)利用圖像特征量中所包含的面部位置對(duì)照片圖像中所包含的每一個(gè)面部進(jìn) 行放大，來(lái)創(chuàng)建部分圖像。
〈6.效果處理的概述〉 以下參考圖11至圖13來(lái)描述根據(jù)該實(shí)施例的用于實(shí)現(xiàn)效果處理的流程的概述。 在下面，封皮圖像被概括并被稱(chēng)為參考圖像，并且照片圖像被概括并被稱(chēng)為輸入圖像。
根據(jù)該實(shí)施例的效果處理是通過(guò)以下處理實(shí)現(xiàn)的如圖11或12所示對(duì)參考圖像 執(zhí)行圖像分析從而獲得諸如圖像分析信息和效果類(lèi)型之類(lèi)的效果信息，并且如圖13所示 使用所獲得的效果信息和參數(shù)P。 圖11是示出獲得效果信息的示例的說(shuō)明圖。如圖11所示，首先執(zhí)行對(duì)參考圖像
的圖像分析，從而獲得參考圖像的圖像分析信息和最佳效果類(lèi)型。然后，諸如圖像分析信息 和效果類(lèi)型之類(lèi)的效果信息與音樂(lè)數(shù)據(jù)相關(guān)聯(lián)地被存儲(chǔ)到存儲(chǔ)單元220中。例如，如果參
考圖像是封皮圖像，則效果信息與對(duì)應(yīng)于封皮圖像的音樂(lè)數(shù)據(jù)相關(guān)聯(lián)地被存儲(chǔ)到存儲(chǔ)單元 220中。
因?yàn)樾Ч畔⒈灰赃@種方式存儲(chǔ)在存儲(chǔ)單元220中，所以可以利用效果信息以不 同于幻燈片放映的執(zhí)行的定時(shí)來(lái)執(zhí)行參考圖像的圖像分析。例如，可在音樂(lè)數(shù)據(jù)和參考圖 像被存儲(chǔ)到存儲(chǔ)單元220中時(shí)(之前或者之后)執(zhí)行參考圖像的圖像分析。
雖然在圖11中示出直接分析參考圖像并確定效果類(lèi)型的情況(對(duì)應(yīng)于圖2所示 的配置)，但是本實(shí)施例不限于這種示例，如圖12所示。 圖12是示出獲得效果信息的另一示例的說(shuō)明圖。如圖12所示，可以通過(guò)參考圖 像的圖像分析來(lái)獲得確定效果類(lèi)型所必須的圖像分析信息，并且可以基于所獲得的圖像分 析信息來(lái)確定效果類(lèi)型。 圖13是示出執(zhí)行效果處理的示例的說(shuō)明圖。如圖13所示，如果決定了要回放的 音樂(lè)數(shù)據(jù)，則從存儲(chǔ)單元220獲得與音樂(lè)數(shù)據(jù)相關(guān)聯(lián)的圖像分析信息和效果類(lèi)型，以確定 與回放音樂(lè)數(shù)據(jù)一同顯示的輸入圖像的效果細(xì)節(jié)。 然后，根據(jù)所獲得的效果類(lèi)型來(lái)確定使用單色、噪聲、多色調(diào)分色、色調(diào)效果和色 彩模仿中的哪一種。此外，用于產(chǎn)生與參考圖像相似的氛圍的效果細(xì)節(jié)是通過(guò)使用參考圖 像的圖像分析信息來(lái)決定的。效果細(xì)節(jié)的決定是由圖2所示的效果控制單元252執(zhí)行的。
此后，由混合器/效果器電路248利用所決定的效果細(xì)節(jié)對(duì)輸入圖像執(zhí)行效果處 理。在該步驟中，可向混合器/效果器電路248指定參數(shù)p，其中參數(shù)p影響效果細(xì)節(jié)。因 此，通過(guò)根據(jù)音樂(lè)數(shù)據(jù)的回放來(lái)改變參數(shù)P，輸出圖像改變，從而產(chǎn)生與動(dòng)畫(huà)類(lèi)似的效果。以 下描述參數(shù)P。
〈7.參數(shù)p〉 參數(shù)p是影響混合器/效果器電路248所執(zhí)行的效果的細(xì)節(jié)的一維數(shù)值，其值在 0. 0到1. 0之間。在描述參數(shù)p對(duì)根據(jù)本實(shí)施例的每種效果的處理細(xì)節(jié)所施加的影響之前， 下面通過(guò)使用簡(jiǎn)單效果作為示例來(lái)描述由參數(shù)P的改變所引起的效果細(xì)節(jié)的改變。
圖14是示出參數(shù)p對(duì)效果細(xì)節(jié)的影響的說(shuō)明圖。具體地，圖14示出將照片圖像 改變?yōu)闊o(wú)彩色圖像的結(jié)果與參數(shù)P的每個(gè)值的關(guān)系。如圖14所示，因?yàn)閰?shù)p的值對(duì)效果 細(xì)節(jié)施加了影響，所以效果處理的結(jié)果依賴(lài)于參數(shù)P的值而變化。雖然圖14為了方便而示 出了效果細(xì)節(jié)僅由參數(shù)P決定的情況，但是效果細(xì)節(jié)不僅受參數(shù)P影響，而且受封皮圖像的 圖像分析信息影響。 參數(shù)p對(duì)根據(jù)本實(shí)施例的各效果處理的細(xì)節(jié)施加例如有關(guān)以下各項(xiàng)的影響
-效果深度將對(duì)照片圖像執(zhí)行的效果處理的程度。在參數(shù)p = 0. 0時(shí)，照片圖像 在效果處理之前和之后沒(méi)有改變，在參數(shù)P = 1.0時(shí)，對(duì)照片圖像執(zhí)行最高程度的效果處 理。在O.O 〈參數(shù)p < 1.0時(shí)，對(duì)照片圖像執(zhí)行與參數(shù)p的值相對(duì)應(yīng)程度的效果處理。
-亮度對(duì)照片圖像的亮度改變程度。在參數(shù)p < 0. 5時(shí)，執(zhí)行根據(jù)參數(shù)p的值的 使照片圖像變暗的處理，在參數(shù)P > 0. 5時(shí)，執(zhí)行根據(jù)參數(shù)p的值的使照片圖像變亮的處 理。-對(duì)每種效果的依賴(lài)度的改變將參數(shù)p分配給對(duì)每種效果中的處理細(xì)節(jié)施加影 響的數(shù)值。在這種情況下，參數(shù)P對(duì)處理細(xì)節(jié)的改變依賴(lài)于效果處理而有所不同。
雖然在下面的〈8.效果類(lèi)型的說(shuō)明〉中描述參數(shù)p對(duì)每種效果處理所施加的影 響，但是效果類(lèi)型和參數(shù)P的影響可以彼此獨(dú)立并且組合使用。此外，可通過(guò)諸如參數(shù)pl、 p2、 p3等的多個(gè)參數(shù)pn來(lái)調(diào)整每種效果處理。
此外，在本實(shí)施例中，可以通過(guò)與音樂(lè)數(shù)據(jù)的回放時(shí)間相關(guān)聯(lián)地改變參數(shù)p的值 來(lái)獲得像動(dòng)畫(huà)一樣表現(xiàn)的照片圖像。例如，可通過(guò)以下處理來(lái)隨著時(shí)間的流逝而改變效果 的細(xì)節(jié)在顯示某一照片圖像的開(kāi)始時(shí)設(shè)定參數(shù)p = 0. 0，隨著音樂(lè)數(shù)據(jù)回放的進(jìn)行而增大 參數(shù)P的值，并且在切換到下一照片圖像時(shí)設(shè)定參數(shù)P = i.o。 雖然以上描述了參數(shù)p從0. 0到1. 0單調(diào)增大的情況，但是本實(shí)施例不限于這種 示例，如圖15所示。 圖15是示出時(shí)間的流逝與參數(shù)p之間的關(guān)系示例的說(shuō)明圖。在圖15中，改變模 式1表示參數(shù)P從0. 0到1. 0單調(diào)增大的情況。或者，如改變模式2所示，參數(shù)p可從1. 0 到0. 0單調(diào)減小。此外，如改變模式3所示，參數(shù)p可從第一值(例如0. 5)到第二值(例 如0.8)單調(diào)增大。此外，如改變模式4所示，參數(shù)p可從0.0到1.0單調(diào)增大，然后單調(diào)減 小到0. 0。 如改變模式5所示，參數(shù)p可保持為0. 0。此外，如改變模式6所示，參數(shù)p可在 0. 0和1. 0之間切換。此外，如改變模式7所示，參數(shù)p可在從某一圖像的顯示起經(jīng)過(guò)給定 長(zhǎng)度的時(shí)間時(shí)突然從O. 0向1. 0單調(diào)增大?；蛘?，如改變模式8所示，參數(shù)p可保持為給定 值。 此外，可為每種效果類(lèi)型固定地設(shè)定以上用于效果處理的改變模式，或者可從用 于每個(gè)圖像或音樂(lè)數(shù)據(jù)的多個(gè)改變模式中隨機(jī)選擇以上用于效果處理的改變模式。
雖然以上描述了在一個(gè)照片圖像的顯示時(shí)段期間參數(shù)p的改變，但是通過(guò)根據(jù)音 樂(lè)特征量來(lái)改變參數(shù)P，效果可能依賴(lài)于音樂(lè)本身。例如，如果亮度根據(jù)參數(shù)P而改變，則參 數(shù)P可隨著回放位置更靠近合唱部分而急劇增大。此外，如果某一照片圖像的顯示時(shí)段較 長(zhǎng)，則參數(shù)P可反復(fù)增大和減小，參數(shù)P的改變斜率可被設(shè)定為與速度相匹配，或者例如在 具有激烈曲調(diào)的部分中參數(shù)P可被在0. 0和1. 0之間切換。
〈8.效果類(lèi)型的說(shuō)明> 以下參考圖16至19來(lái)詳細(xì)描述作為本實(shí)施例中所使用的效果類(lèi)型的單色、噪聲、
多色調(diào)分色、色調(diào)效果和色彩模仿。
[單色] 單色效果器以?xún)H包括兩種色彩的線(xiàn)性和所表現(xiàn)的色彩的方式來(lái)處理照片圖像。僅 包括兩種色彩的線(xiàn)性和所表現(xiàn)的色彩的圖像例如是灰色圖像、褐色圖像(s印ia image)等。 單色效果器使用圖像分析信息中所包含的RGB空間中的第一特征向量和平均色彩的信息。
具體地，因?yàn)橹甘境鯮GB空間中的第一特征向量直線(xiàn)穿過(guò)封皮圖像的平均色彩 (這是與指示出另一特征向量的直線(xiàn)的交點(diǎn))，所以可從第一特征向量和圖像的平均色彩 得到表示直線(xiàn)的數(shù)學(xué)表達(dá)式。單色效果器基于該數(shù)學(xué)表達(dá)式執(zhí)行將照片圖像中的所有像素 的色彩映射到該直線(xiàn)所指示出的一維空間上并將所映射的位置處的值設(shè)定為像素的新色 彩的處理。單色效果器可能不會(huì)特別受參數(shù)P的影響并且針對(duì)參數(shù)P總是輸出相同結(jié)果。 此外，單色效果器可使封皮圖像的點(diǎn)色彩覆蓋在照片圖像的給定位置處的高斯點(diǎn)上，并且 還根據(jù)參數(shù)P的值來(lái)改變?cè)摻o定位置。
[噪聲] 噪聲效果器在與單色效果器執(zhí)行相同處理之后添加噪聲并且還在此之后增強(qiáng)對(duì) 比度。噪聲效果器使用封皮圖像的圖像分析信息中所包含的第一特征向量、平均色彩和對(duì)
17比度的信息。具體地，噪聲效果器通過(guò)使用第一特征向量和平均色彩的信息執(zhí)行與單色效果器相同的處理，然后根據(jù)對(duì)比度值執(zhí)行對(duì)比度增強(qiáng)。 例如存在以下三種用于添加噪聲的方法，并且效果控制單元252可以隨機(jī)決定使用這三種方法中的哪一種。-點(diǎn)噪聲將照片圖像中的若干像素值增大或減小隨機(jī)值。-顆粒噪聲將照片圖像中的若干像素值增大或減小隨機(jī)值，并且也增大或減小周?chē)南袼刂怠＠?，如果如圖16所示，像素C的像素值被增大x，則像素C的上側(cè)、下側(cè)、左側(cè)和右側(cè)的像素值被分別增大x/2，并且像素C的左上、右上、左下、右下的像素值被分別增大x/3。-抓撓噪聲(scratch noise):將照片圖像中的若干像素設(shè)定為噪聲開(kāi)始點(diǎn)。然后，將噪聲開(kāi)始點(diǎn)處的噪聲設(shè)定為0，隨著像素在水平方向上逐個(gè)移動(dòng)而隨機(jī)反復(fù)增大和減小噪聲值，并且當(dāng)噪聲值變?yōu)镺時(shí)結(jié)束，如圖17所示?？刂圃肼曋档慕^對(duì)值以便不超過(guò)預(yù)設(shè)的閾值。此外，可以通過(guò)以下處理在垂直方向上也添加抓撓噪聲將噪聲開(kāi)始點(diǎn)處的噪聲值設(shè)定為0，并且隨著像素在垂直方向上逐個(gè)移動(dòng)而隨機(jī)反復(fù)增大和減小噪聲值。
此外，噪聲效果器根據(jù)下面的表達(dá)式1來(lái)執(zhí)行對(duì)比度增強(qiáng)。在表達(dá)式1中，v表示照片圖像中某一像素的原始亮度值，v'表示像素的對(duì)比度增強(qiáng)之后的亮度值，并且m表示照片圖像的平均亮度值。此外，v的值滿(mǎn)足O. 0《v《1. O，并且"contrast"是表示對(duì)比度增強(qiáng)程度的值。"contrast"的值與封皮圖像的對(duì)比度之間的對(duì)應(yīng)關(guān)系可按如下方式來(lái)預(yù)設(shè)"contrast"的值隨著封皮圖像的對(duì)比度變大而變大。
[表達(dá)式1] V' = W X (丄)(:。"麵'& < m) 此外，噪聲效果器改變當(dāng)根據(jù)參數(shù)p來(lái)添加噪聲時(shí)所使用的隨機(jī)序列。例如，噪聲效果器可以預(yù)先準(zhǔn)備利用不同隨機(jī)序列對(duì)其執(zhí)行了效果處理的照片圖像，并且根據(jù)參數(shù)P的改變來(lái)切換輸出的照片圖像。此外，噪聲效果器可以基于例如根據(jù)圖15所示的改變模式1而改變的參數(shù)P來(lái)執(zhí)行效果處理。
[多色調(diào)分色] 多色調(diào)分色效果器利用諸如兩種或三種色彩(本實(shí)施例中最多三種色彩)之類(lèi)的少數(shù)色彩來(lái)表現(xiàn)照片圖像。多色調(diào)分色效果器參考封皮圖像的圖像分析信息中所包含的色彩直方圖的信息，并且從色彩直方圖中隨機(jī)選擇三種色彩。 如果有一種色彩在色彩直方圖中具有一定含量，則多色調(diào)分色效果器可以將該色彩與白色和黑色相比較，并且進(jìn)一步選擇色彩空間中具有更大距離的色彩。此外，如果有兩種色彩在色彩直方圖中具有一定含量，則多色調(diào)分色效果器可以選擇同一色彩作為色彩l和色彩3 。此外，效果控制單元252可以選擇色彩直方圖中具有最大含量的色彩并且將其選擇為色彩2。 多色調(diào)分色效果器具有將亮度值的范圍劃分為三部分的閾值thl和閾值th2(thl< th2)。如果效果控制單元252選擇三種色彩，則多色調(diào)分色效果器將色彩1分配給照片圖像中亮度值等于或小于閾值thl的像素。同樣，多色調(diào)分色效果器將色彩2分配給照片圖像中亮度值大于閾值thl并且等于或小于閾值th2的像素，并且將色彩3分配給照片圖像中亮度值大于閾值th2的像素。 此外，多色調(diào)分色效果器將根據(jù)下面的表達(dá)式2混合的色彩分配給在閾值thl附近或者在閾值th2附近的像素。在表達(dá)式2中，coll表示色彩1， co12表示色彩2， co13表示色彩3， c表示像素的原始色彩值，并且c'表示色彩混合之后的像素色彩值。此外，"margin"表示作為色彩混合目標(biāo)的亮度值的范圍，其可被預(yù)先設(shè)定。
[表達(dá)式2]
thl_d = thl-marg in
thl_u = thl+marg in
th2_d = th2-marg in
th2_u = th2+marg in c' = coll (c《thl_d)
示。
<formula>formula see original document page 19</formula>
此外，多色調(diào)分色效果器根據(jù)參數(shù)P來(lái)改變閾值thl和閾值th2的值，如圖18所
圖18是示出閾值thl和閾值th2與參數(shù)p的關(guān)系的說(shuō)明圖。如圖18所示，在參0. 0時(shí)，色彩1被分配給照片圖像中的所有像素，并且隨著參數(shù)p增大，色彩2被分配給具有較高亮度值的像素。然后，當(dāng)參數(shù)P超過(guò)pl時(shí)，色彩3被分配給亮度值高于閾值th2的像素，色彩1被分配給亮度值等于或低于閾值thl的像素，并且色彩2被分配給其他像素，使得照片圖像由三種色彩來(lái)表現(xiàn)。此外，當(dāng)參數(shù)P超過(guò)p2時(shí)，色彩3被分配給亮度值高于閾值th2的像素，并且色彩2被分配給亮度值等于或低于閾值th2的像素，使得照片圖像由兩種色彩來(lái)表現(xiàn)。然后，在參數(shù)P = 1.0時(shí)，色彩3被分配給照片圖像中的所有像素。
為了總是由三種色彩來(lái)表現(xiàn)照片圖像，參數(shù)p可僅在pl與p2之間改變。此外，雖然以上描述了通過(guò)參數(shù)P來(lái)改變閾值thl和閾值th2的情況，但是可通過(guò)參數(shù)p來(lái)改變表達(dá)式2中的"margin"。此外，效果控制單元252可以將根據(jù)圖15所示的改變模式1和改變模式2改變的參數(shù)p提供給混合器/效果器電路248。
[色調(diào)效果] 色調(diào)效果器通過(guò)利用封皮圖像的圖像分析信息中所包含的平均色彩的信息，在某一方向上總體移動(dòng)照片圖像的色彩分布。具體地，色調(diào)效果器計(jì)算照片圖像的平均色彩，并且通過(guò)計(jì)算(封皮圖像的平均色彩-輸入圖像的平均色彩)而獲得差分向量diffvec。當(dāng)c是照片圖像的某一像素的色彩值、c'是效果處理之后像素的色彩值并且g是像素的灰色轉(zhuǎn)換之后的色彩值時(shí)，效果處理之后像素的色彩值c'可由下面的表達(dá)式3來(lái)計(jì)算。雖然表達(dá)式3通過(guò)將某一像素的色彩值c和灰色轉(zhuǎn)換之后的色彩值g之和除以二而將色度(chroma)切成兩半，但是也可以通過(guò)另一方法來(lái)減小色度。
[表達(dá)式3] C' = + 4^k'C (表達(dá)式3) 色調(diào)效果器根據(jù)參數(shù)p而改變亮度。例如，在參數(shù)p = 0. 5時(shí)，色調(diào)效果器輸出通過(guò)使用以上表達(dá)式3的處理所獲得的照片圖像。另一方面，在p = 0. 0時(shí)，色調(diào)效果器通過(guò)將亮度整體減小一定量而輸出照片圖像，并且在P = 1. 0時(shí)，色調(diào)效果器通過(guò)將亮度整體增大一定量而輸出照片圖像。此外，在0 〈參數(shù)p < 0. 5時(shí)，色調(diào)效果器通過(guò)將亮度整體減小與參數(shù)P相對(duì)應(yīng)的量而輸出照片圖像，并且在O. 5 〈參數(shù)p < 1. 0時(shí)，色調(diào)效果器通過(guò)將亮度整體增大與參數(shù)p相對(duì)應(yīng)的量而輸出照片圖像。 實(shí)際上，色調(diào)效果器可以預(yù)先計(jì)算在參數(shù)p = 0. 0和p = 1. 0時(shí)輸出的照片圖像，并且通過(guò)根據(jù)參數(shù)P的值來(lái)執(zhí)行這兩個(gè)照片圖像的a混合(a-blending)而獲得所需的照片圖像。此外，效果控制單元252可以將例如根據(jù)圖15所示的改變模式1改變的參數(shù)p提供給混合器/效果器電路248。
[色彩模仿] 色彩模仿效果器執(zhí)行在照片圖像的色彩分布中增強(qiáng)封皮圖像中所包含的色彩成分的處理。色彩模仿效果器使用圖像分析信息中所包含的色彩直方圖的信息。
色彩模仿效果器首先將照片圖像轉(zhuǎn)換到諸如YUV空間或者L*a*b空間之類(lèi)的色彩空間(其中亮度和色差成分正交地存在)中。下面描述色彩模仿效果器將照片圖像轉(zhuǎn)換到Y(jié)UV空間中的情況。在這種情況下，色彩模仿效果器還將封皮圖像的色彩直方圖中的每種色彩轉(zhuǎn)換成YUV空間中的表示。 假定照片圖像的色彩分布和封皮圖像的色彩直方圖中的色彩被投影在UV平面上，如圖19的左側(cè)部分所示。在圖19中，圓形區(qū)域?qū)?yīng)于封皮圖像的色彩直方圖中的色彩，并且圓形區(qū)域的大小表示含量。在這種情況下，照片圖像的每個(gè)像素的色彩被投影在UV平面上的色彩直方圖的所有色彩根據(jù)含量和距離而拉動(dòng)一強(qiáng)度。具體地，照片圖像的每個(gè)像素的色彩隨著與色彩空間上色彩直方圖中的色彩的距離變短而被更強(qiáng)地拉動(dòng)，并且隨著色彩的含量變大而被更強(qiáng)地拉動(dòng)。 每個(gè)像素被某個(gè)色彩直方圖中的色彩c_uv拉動(dòng)的權(quán)重"weigh—uv(c—uv)"可由下面的表達(dá)式4來(lái)表示。在表達(dá)式4中，uv表示照片圖像中某個(gè)像素的原始色彩的UV值，并且n表示色彩直方圖中的色彩的含量。
[表達(dá)式4] dist(c_uv) = | c_uv_uv | (表達(dá)式4)[固]M和^^ 因此，每個(gè)像素被拉動(dòng)的量可由下面的表達(dá)式5來(lái)表示。
[表達(dá)式5] d_uv(c_uv) = uvX weight_uv(c_uv) (表達(dá)式5) 基于對(duì)色彩直方圖中的所有色彩進(jìn)行表達(dá)式5的計(jì)算的結(jié)果，處理之后的像素色彩的UV值uv'可由下面的表達(dá)式6來(lái)計(jì)算。<formula>formula see original document page 21</formula> 色彩模仿效果器在參數(shù)p = 0.0時(shí)原樣輸出照片圖像，并且在參數(shù)p = 1.0時(shí)輸出通過(guò)以上表達(dá)式6所獲得的照片圖像。在0. 0 <參數(shù)p < 1. 0時(shí)，色彩模仿效果器輸出在達(dá)到參數(shù)P = 1.0時(shí)的結(jié)果的處理中的中間圖像數(shù)據(jù)。 實(shí)際上，色彩模仿效果器可以預(yù)先計(jì)算參數(shù)p二 l.O時(shí)要輸出的照片圖像，并通過(guò)
根據(jù)參數(shù)P的值執(zhí)行該照片圖像與處理前的照片圖像的a混合來(lái)獲得所需的照片圖像。
此外，效果控制單元252可以將例如根據(jù)圖15所示的改變模式7改變的參數(shù)p提供給混合器/效果器電路248。具體地，如果某一照片圖像的顯示時(shí)段是t，則參數(shù)p在0. 0《t《0. 4期間可以是0. 0，參數(shù)p在O. 4《t《0. 6期間可以從0. 0向1. 0單調(diào)增大，并且參數(shù)P在0.6《t《l.O期間可以是1.0。在這種配置中，可以產(chǎn)生這樣的表現(xiàn)未經(jīng)處理的照片圖像從顯示開(kāi)始時(shí)被暫時(shí)維持，然后在大約t = 0. 5(這是中點(diǎn))突然變?yōu)榻?jīng)處理的照片圖像。此外，可以按如下方式來(lái)調(diào)整照片圖像的亮度直方圖照片圖像的亮度分布與封皮圖像的亮度直方圖相匹配。
〈9.效果類(lèi)型的選擇> 如前所述，封皮圖像的圖像分析信息在執(zhí)行每種效果處理時(shí)被使用，因此封皮圖像的氛圍在不小程度上被反映在執(zhí)行了效果處理的照片圖像上。此外，在本實(shí)施例中，為了使得被執(zhí)行了效果處理的照片圖像的氛圍更好地匹配封皮圖像的氛圍，效果類(lèi)型選擇單元232選擇適合于封皮圖像的效果類(lèi)型。以下參考圖20至25來(lái)描述效果類(lèi)型選擇單元232對(duì)每個(gè)封皮圖像的效果類(lèi)型的選擇。 圖20是示出當(dāng)效果類(lèi)型選擇單元232選擇每個(gè)封皮照片的效果類(lèi)型時(shí)的流程的流程圖。圖21至25是示出封皮圖像A至E的具體示例的說(shuō)明圖。以下參考圖20所示的流程圖來(lái)描述為各個(gè)封皮圖像A至E選擇哪種效果類(lèi)型。 在圖21至25中，色品(hue)由陰影線(xiàn)的種類(lèi)來(lái)表現(xiàn)，并且色度或亮度由陰影線(xiàn)的密度來(lái)表現(xiàn)。例如，圖21所示的封皮圖像A由從四個(gè)角向中心變亮的黑色(傾斜陰影線(xiàn))背景和黑色字符"TANGIBLE"構(gòu)成。圖22所示的封皮圖像B由白色背景和包含白色和黑色的各種混合色彩的犀牛構(gòu)成。圖23所示的封皮圖像C由黑色背景、黃色(分散的點(diǎn)陰影)月亮的圖像和白色字符"moontan"構(gòu)成。圖24所示的封皮圖像D由具有從左上方向右下方增大的黃色色度的背景和綠色的(傾斜交叉陰影線(xiàn))花的圖像構(gòu)成。圖25所示的封皮圖像E由白色背景和具有各種色彩的多個(gè)絲帶構(gòu)成。 參考圖20，效果類(lèi)型選擇單元232首先確定封皮圖像的線(xiàn)性分布分?jǐn)?shù)是否高于指定值(S304)。因?yàn)榫€(xiàn)性分布分?jǐn)?shù)是通過(guò)將圖像分析信息中所包含的第一特征值除以第二特征值而獲得的值，所以隨著封皮圖像的像素值在色彩空間中形成更加線(xiàn)性的分布而變得更高。因此，效果類(lèi)型選擇單元232確定封皮圖像A和B(對(duì)應(yīng)于單色圖像)的線(xiàn)性分布分?jǐn)?shù)高于指定值，并且其他分配圖像C至E的線(xiàn)性分布分?jǐn)?shù)等于或低于指定值。
接下來(lái)，效果類(lèi)型選擇單元232確定其線(xiàn)性分布分?jǐn)?shù)被確定為高于指定值的封皮圖像的對(duì)比度是否低于指定值(S308)。然后，效果類(lèi)型選擇單元232為對(duì)比度低于指定值
21的封皮圖像選擇效果類(lèi)型"單色"，并且為對(duì)比度等于或高于指定值的封皮圖像選擇效果類(lèi) 型"噪聲"。因此，效果類(lèi)型選擇單元232為封皮圖像A選擇效果類(lèi)型"單色"，并且為封皮 圖像B選擇效果類(lèi)型"噪聲"。 另一方面，效果類(lèi)型選擇單元232確定線(xiàn)性分布分?jǐn)?shù)被確定為等于或低于指定值 的封皮圖像的色彩梯度(gradient)分?jǐn)?shù)是否低于指定值(S312)。然后，效果類(lèi)型選擇單 元232為色彩梯度分?jǐn)?shù)低于指定值的封皮圖像選擇效果類(lèi)型"多色調(diào)分色"。色彩梯度分?jǐn)?shù) 是當(dāng)封皮圖像由一組沒(méi)有色彩改變的單色區(qū)域構(gòu)成的(例如海報(bào)圖像)時(shí)具有較低值的分 數(shù)。 因此，效果類(lèi)型選擇單元232確定包含均一黑色的背景的均一黃色的月亮圖像的 封皮圖像C的色彩梯度分?jǐn)?shù)低于指定值，并因此為封皮圖像C選擇效果類(lèi)型"多色調(diào)分色"。 另一方面，效果類(lèi)型選擇單元232確定其他封皮圖像D和E的色彩梯度分?jǐn)?shù)等于或高于指 定值。具體地，色彩梯度分?jǐn)?shù)被如下計(jì)算。 例如通過(guò)利用索貝爾(Sobel)濾波器來(lái)執(zhí)行變換提取。通過(guò)索貝爾濾波器獲得指 示出每個(gè)點(diǎn)處的色彩梯度的響應(yīng)值，并且通過(guò)響應(yīng)值是否大于預(yù)設(shè)閾值的二值判斷來(lái)執(zhí)行 邊緣檢測(cè)。此外，響應(yīng)值等于或小于閾值的所有點(diǎn)(它們是非邊緣點(diǎn))處的響應(yīng)值之和被 除以非邊緣點(diǎn)的總數(shù)并被歸一化，從而計(jì)算色彩梯度分?jǐn)?shù)。 此后，效果類(lèi)型選擇單元232確定色彩梯度分?jǐn)?shù)被確定為等于或高于指定值的封 皮圖像的色度分?jǐn)?shù)是否低于指定值(S316)。然后，效果類(lèi)型選擇單元232為色度分?jǐn)?shù)低于 指定值的封皮圖像選擇效果類(lèi)型"色調(diào)效果"，并為色度分?jǐn)?shù)等于或高于指定值的封皮圖像 選擇效果類(lèi)型"色彩模仿"。色度分?jǐn)?shù)指示出封皮圖像的色度并且在具有更低色度的封皮圖 像中變得更低。 因此，效果類(lèi)型選擇單元232為整體具有低色度的封皮圖像D選擇效果類(lèi)型"色調(diào) 效果"，并為包含各種色彩的封皮圖像E選擇效果類(lèi)型"色彩模仿"。 如果封皮圖像的第二特征值非常小，則封皮圖像在色彩空間中的色彩分布是線(xiàn)性 的。因此，封皮圖像的第二特征值可用作指示符，該指示符指示出封皮圖像在色彩空間中的 色彩分布的線(xiàn)性程度。此外，因?yàn)樵谏士臻g中的色彩分布接近于線(xiàn)性的圖像被認(rèn)為接近 單色，所以在本實(shí)施例中使用封皮圖像的第二特征值來(lái)代替色度分?jǐn)?shù)。 雖然以上描述了在確定色彩梯度分?jǐn)?shù)之后執(zhí)行對(duì)色度分?jǐn)?shù)的確定，但是本實(shí)施例 不限于此。例如，可以先執(zhí)行對(duì)色度分?jǐn)?shù)的確定從而為色度分?jǐn)?shù)低于指定值的封皮圖像選 擇效果類(lèi)型"色調(diào)效果"，然后可以對(duì)其他封皮圖像執(zhí)行色彩梯度分?jǐn)?shù)的確定。然后，可以為 色彩梯度分?jǐn)?shù)低于指定值的封皮圖像選擇效果類(lèi)型"多色調(diào)分色"，并且可以為色彩梯度分 數(shù)等于或高于指定值的封皮圖像選擇效果類(lèi)型"色彩模仿"。 以下參考圖26至31來(lái)描述作為通過(guò)以上各種效果類(lèi)型的效果處理的結(jié)果，某一 照片圖像如何改變。 圖26是示出效果處理之前的照片圖像的具體示例的說(shuō)明圖。圖26所示的照片圖
像是海邊的圖像，其由白色的云、藍(lán)色的(點(diǎn)陰影)天空和海、包含紅色(三角陰影)的海
灘遮陽(yáng)傘、具有綠色條帶的救生圈等構(gòu)成。圖27至31示出了對(duì)照片圖像分別執(zhí)行效果處
理"單色"、"噪聲"、"多色調(diào)分色"、"色調(diào)效果"和"色彩模仿"所得到的結(jié)果。 圖27是示出對(duì)圖26所示的照片圖像執(zhí)行效果處理"單色"的結(jié)果的說(shuō)明圖。如圖27所示，圖26所示的包含各種色彩的照片圖像通過(guò)效果處理"單色"而被轉(zhuǎn)換成單色圖像。 圖28是示出對(duì)圖26所示的照片圖像執(zhí)行效果處理"噪聲"的結(jié)果的說(shuō)明圖。如 圖28所示，通過(guò)效果處理"噪聲"，圖26所示的包含各種色彩的照片圖像被轉(zhuǎn)換成單色圖像 (隨機(jī)噪聲被添加到該圖像)并且對(duì)比度被增強(qiáng)。 圖29是示出對(duì)圖26所示的照片圖像執(zhí)行效果處理"多色調(diào)分色"的結(jié)果的說(shuō)明 圖。如圖29所示，通過(guò)效果處理"多色調(diào)分色"，圖26所示的照片圖像被轉(zhuǎn)換成由少數(shù)色彩 構(gòu)成的圖像。因?yàn)樵趫D29中假定了基于圖23所示的封皮圖像C的圖像分析信息的處理， 所以示出了將照片圖像轉(zhuǎn)換為由黃色、白色和黑色(包含在封皮圖像C中)構(gòu)成的圖像。
圖30是示出對(duì)圖26所示的照片圖像執(zhí)行效果處理"色調(diào)效果"的結(jié)果的說(shuō)明圖。 如圖30所示，通過(guò)效果處理"色調(diào)效果"，圖26所示的照片圖像被轉(zhuǎn)換成整體具有與圖24 所示的封皮圖像D相似色調(diào)的圖像。具體地，因?yàn)閳D24所示的封皮圖像D整體由色度低的 黃色和綠色構(gòu)成，所以圖26所示的照片圖像被轉(zhuǎn)換成整體色度低的黃綠色圖像。
圖31是示出對(duì)圖26所示的照片圖像執(zhí)行效果處理"色彩模仿"的結(jié)果的說(shuō)明圖。 如圖31所示，在圖26所示的照片圖像中，封皮圖像中所包含的色彩通過(guò)效果處理"色彩模 仿"而被增強(qiáng)。例如，如果封皮圖像是圖25所示的包含紅色(三角陰影)和綠色(傾斜交 叉陰影線(xiàn))的封皮圖像E，則照片圖像中的紅色和綠色部分被增強(qiáng)，如圖31所示。
〈10.幻燈片放映的執(zhí)行> 以下參考圖32至36來(lái)描述通過(guò)幻燈片放映而顯示在視頻輸出單元260上的顯示 畫(huà)面。 如前所述，在本實(shí)施例中，對(duì)照片圖像執(zhí)行效果處理以便匹配封皮圖像的氛圍。此
外，在本實(shí)施例中，為了使得用戶(hù)知道對(duì)照片圖像執(zhí)行了與封皮圖像的氛圍相對(duì)應(yīng)的效果
處理，在音樂(lè)數(shù)據(jù)的回放開(kāi)始時(shí)顯示音樂(lè)數(shù)據(jù)的封皮圖像，如圖32所示。 圖32是示出將在幻燈片放映開(kāi)始時(shí)顯示在視頻輸出單元260上的顯示畫(huà)面的示
例的說(shuō)明圖。如圖32所示，顯示畫(huà)面包括封皮圖像的顯示區(qū)域282和諸如音樂(lè)數(shù)據(jù)的標(biāo)題、
藝術(shù)家等的附加信息的顯示區(qū)域284。具體地，在圖32的顯示畫(huà)面上的附加信息顯示區(qū)域
284中描述了附加信息"Mr. finalist TANGIBLE"。 附加信息的字體不是統(tǒng)一的，而是可根據(jù)音樂(lè)數(shù)據(jù)的音樂(lè)特征量等來(lái)選擇。具體 地，字體選擇單元272可以根據(jù)音樂(lè)數(shù)據(jù)來(lái)選擇字體和字符色彩，并且顯示創(chuàng)建單元276可 以顯示包含由所選字體和字符色彩所代表的附加信息的顯示畫(huà)面。以下參考圖33至35來(lái) 描述由字體選擇單元272來(lái)選擇字體的方法。 圖33是示出音樂(lè)基調(diào)和字體的關(guān)系示例的說(shuō)明圖。如圖33所示，字體選擇單 元272可以選擇與音域特征量中的音樂(lè)基調(diào)相對(duì)應(yīng)的字體。例如，如果音樂(lè)的基調(diào)是 Energetic,則字體選擇單元272可以選擇字體"Helvetica Neue 95 Black"。
圖34是示出基于封皮圖像的圖像分析信息來(lái)選擇字體的說(shuō)明圖。如上所述，如果 封皮圖像中包含字符，則在作為封皮分析單元228的圖像分析結(jié)果而獲得的圖像分析信息 中包含該字符的字體和字符色彩。因此，字體選擇單元272可以選擇與圖像分析信息中所 包含的字體相同或相似的字體。例如，如果封皮圖像包含圖34所示的字符"TANGIBLE",則 字體選擇單元272可以選擇與字符"TANGIBLE"的字體相似的字體"ArialBlack"。
圖35是示出音樂(lè)流派和字體的關(guān)系示例的說(shuō)明圖。如圖35所示，字體可與音樂(lè) 數(shù)據(jù)的各種流派(例如古典(classic)、流行(pops)、爵士 (jazz)或者搖滾(rock))相關(guān) 聯(lián)，并且字體選擇單元272可以選擇與音樂(lè)的流派相對(duì)應(yīng)的字體。 在顯示含有通過(guò)上述字體所寫(xiě)入的音樂(lè)數(shù)據(jù)的附加信息和封皮圖像的顯示畫(huà)面 之后，畫(huà)面被切換到對(duì)被執(zhí)行了效果處理的照片圖像的顯示，如圖36所示。
圖36是示出從幻燈片放映開(kāi)始時(shí)所顯示的顯示畫(huà)面切換到被執(zhí)行了效果處理的 照片圖像的說(shuō)明圖。在從顯示圖36的上面部分所示的顯示畫(huà)面時(shí)起經(jīng)過(guò)了給定時(shí)間段之 后，顯示創(chuàng)建單元276將封皮圖像顯示區(qū)域282移至顯示畫(huà)面的左下端部分，其中顯示區(qū)域 282部分地旋轉(zhuǎn)并縮小，如圖36的中間部分所示。在與顯示圖36的上面部分所示的顯示畫(huà) 面同時(shí)開(kāi)始音樂(lè)數(shù)據(jù)的回放。 此后，顯示被執(zhí)行了與封皮圖像相對(duì)應(yīng)的效果處理的照片圖像，如圖36的下面部 分所示。在照片圖像的顯示開(kāi)始之后，顯示創(chuàng)建單元276保持顯示在視頻輸出單元260上 的封皮圖像和音樂(lè)數(shù)據(jù)的附加信息。在這種配置中，封皮圖像和被執(zhí)行了效果處理的照片 圖像被顯示在同一畫(huà)面上，以使得用戶(hù)可以容易地知道對(duì)照片圖像執(zhí)行了效果處理以便匹 配封皮圖像。 〈11.總結(jié)和補(bǔ)充〉 如前所述，根據(jù)實(shí)施例，可以通過(guò)執(zhí)行與將在帶有音樂(lè)的幻燈片放映的執(zhí)行期間 回放的音樂(lè)數(shù)據(jù)的封皮圖像相對(duì)應(yīng)的效果處理，來(lái)顯示用戶(hù)的照片圖像。此外，根據(jù)實(shí)施 例，可以通過(guò)與音樂(lè)數(shù)據(jù)的回放時(shí)間相關(guān)聯(lián)改變參數(shù)p的值來(lái)獲得像動(dòng)畫(huà)一樣表現(xiàn)的照片 圖像。 此外，在本實(shí)施例中，在幻燈片放映的開(kāi)始時(shí)顯示包含音樂(lè)數(shù)據(jù)的封皮圖像和音 樂(lè)數(shù)據(jù)的附加信息在內(nèi)的顯示畫(huà)面。因?yàn)橐魳?lè)數(shù)據(jù)的附加信息的字體是基于音樂(lè)數(shù)據(jù)的音 樂(lè)特征量或者封皮圖像中的字符的字體來(lái)選擇的，所以除了對(duì)照片圖像執(zhí)行的效果處理之 外，還可以使得附加信息的字體與要回放的音樂(lè)數(shù)據(jù)相匹配。此外，在本實(shí)施例中，因?yàn)榉?皮圖像和被執(zhí)行了效果處理的照片圖像被顯示在同一畫(huà)面上，所以用戶(hù)可以容易地知道對(duì) 照片圖像執(zhí)行了效果處理以便匹配封皮圖像。 本領(lǐng)域技術(shù)人員應(yīng)當(dāng)了解，依賴(lài)于設(shè)計(jì)要求和其他因素，可以進(jìn)行各種修改、組 合、子組合和變更，只要這些修改、組合、子組合和變更在權(quán)利要求或其等同物的范圍內(nèi)。
例如，雖然前面描述了根據(jù)音樂(lè)數(shù)據(jù)的封皮圖像來(lái)選擇效果類(lèi)型的情況，但是本 發(fā)明不限于此。作為替代示例，可以準(zhǔn)備效果類(lèi)型和圖像分析信息的多種組合，并且可以隨 機(jī)選擇或者根據(jù)音樂(lè)數(shù)據(jù)的音樂(lè)特征量來(lái)選擇要使用的組合。例如，如果音樂(lè)數(shù)據(jù)的曲調(diào) 是激烈的，則效果控制單元252可以使用包含紅色的色彩直方圖和多色調(diào)分色的組合，并 且如果音樂(lè)數(shù)據(jù)的曲調(diào)是平靜的，則效果控制單元252可以使用包含藍(lán)色的色彩直方圖和 色調(diào)效果的組合。 此外，雖然封皮圖像被描述為音樂(lè)數(shù)據(jù)的相關(guān)圖像，但是本發(fā)明不限于此。例如， 相關(guān)圖像可以是音樂(lè)數(shù)據(jù)的藝術(shù)家的圖像、藝術(shù)家的網(wǎng)頁(yè)中所包含的圖像等等。此外，雖然 前面描述了PC 20存儲(chǔ)作為相關(guān)圖像的封皮圖像的情況，但是PC 20在回放音樂(lè)數(shù)據(jù)時(shí)可 以從外部獲得相關(guān)圖像。例如，PC 20可通過(guò)使用音樂(lè)數(shù)據(jù)的附加信息中所包含的標(biāo)題或者 藝術(shù)家名字作為關(guān)鍵字來(lái)在通信網(wǎng)絡(luò)12上搜索音樂(lè)數(shù)據(jù)的相關(guān)圖像。然后，效果類(lèi)型選擇單元232可以基于所檢索到的相關(guān)圖像的圖像分析信息來(lái)選擇效果類(lèi)型。在這種情況下， 因?yàn)榇嬖跈z索到與音樂(lè)數(shù)據(jù)不那么相關(guān)的圖像的可能性，所以可在封皮圖像顯示區(qū)域282 中例如顯示字符"沒(méi)有圖像"而不顯示所檢索到的圖像，同時(shí)將檢索到的圖像用于對(duì)效果類(lèi) 型的確定。或者，可在封皮圖像顯示區(qū)域282中什么也不顯示。 本發(fā)明可適用于除了帶有音樂(lè)的幻燈片放映之外的用途。例如，本發(fā)明可適用于 在背景圖像上顯示任意顯示圖像的情況。具體地，該任意顯示圖像可用作參考圖像(封皮 圖像)，并且背景圖像可用作輸入圖像(照片圖像)。在這種情況下，對(duì)背景圖像執(zhí)行效果 處理以便與顯示圖像的氛圍相匹配，這提供了統(tǒng)一性的感覺(jué)。這能夠用于例如實(shí)現(xiàn)計(jì)算機(jī) 上的偽剪貼板的應(yīng)用。 此外，不必總是根據(jù)流程圖中所示序列來(lái)按時(shí)間順序執(zhí)行實(shí)施例中PC 20的處理 中的各個(gè)步驟。例如，PC 20的處理中的各個(gè)步驟可以包括并行或者單獨(dú)執(zhí)行的處理(例 如并行處理或者對(duì)象處理)。 此外，可以創(chuàng)建使得PC 20中所包含的硬件(例如CPU 201、R0M202或者RAM 203) 執(zhí)行與上述PC 20的各個(gè)元件等同的功能的計(jì)算機(jī)程序。此外，可以提供存儲(chǔ)這種計(jì)算機(jī) 程序的存儲(chǔ)介質(zhì)。圖2的功能框圖中所示的各個(gè)功能塊可由硬件實(shí)現(xiàn)，從而對(duì)硬件實(shí)現(xiàn)一 系列處理。 本申請(qǐng)包含與2008年IO月10日向日本專(zhuān)利局提交的日本在先專(zhuān)利申請(qǐng)JP 2008-264564中所公開(kāi)的主題有關(guān)的主題，該申請(qǐng)的全部?jī)?nèi)容通過(guò)引用結(jié)合于此。
權(quán)利要求
一種信息處理裝置，包括回放單元，用于回放音樂(lè)數(shù)據(jù)；分析單元，用于分析所述音樂(lè)數(shù)據(jù)的相關(guān)圖像的特征；圖像校正單元，用于利用多種校正類(lèi)型中的任一種來(lái)執(zhí)行圖像校正；存儲(chǔ)單元，用于存儲(chǔ)一個(gè)或多于一個(gè)圖像；第一選擇單元，用于從所述多種校正類(lèi)型中選擇與被所述分析單元分析的所述相關(guān)圖像的特征相對(duì)應(yīng)的校正類(lèi)型；校正控制單元，用于利用所述第一選擇單元所選擇的校正類(lèi)型來(lái)使得所述圖像校正單元對(duì)所述存儲(chǔ)單元中存儲(chǔ)的圖像執(zhí)行圖像校正；以及輸出單元，用于輸出經(jīng)所述圖像校正單元校正的圖像。
2. 根據(jù)權(quán)利要求1所述的信息處理裝置，還包括創(chuàng)建單元，用于創(chuàng)建顯示畫(huà)面，該顯示畫(huà)面包括經(jīng)所述圖像校正單元校正的圖像和所 述相關(guān)圖像，并被從所述輸出單元輸出。
3. 根據(jù)權(quán)利要求2所述的信息處理裝置，其中所述校正控制單元隨著時(shí)間的流逝，利用所述第一選擇單元所選擇的校正類(lèi)型來(lái)改變 所述圖像校正單元進(jìn)行的圖像校正的細(xì)節(jié)。
4. 根據(jù)權(quán)利要求3所述的信息處理裝置，還包括第二選擇單元，用于根據(jù)所述音樂(lè)數(shù)據(jù)的特征從所述存儲(chǔ)單元所存儲(chǔ)的一個(gè)或多于一 個(gè)圖像中選擇由所述圖像校正單元進(jìn)行圖像校正的目標(biāo)圖像。
5. 根據(jù)權(quán)利要求3所述的信息處理裝置，還包括第二選擇單元，用于根據(jù)所述相關(guān)圖像的特征從所述存儲(chǔ)單元所存儲(chǔ)的一個(gè)或多于一 個(gè)圖像中選擇由所述圖像校正單元進(jìn)行圖像校正的目標(biāo)圖像。
6. 根據(jù)權(quán)利要求3所述的信息處理裝置，還包括第二選擇單元，用于根據(jù)所述音樂(lè)數(shù)據(jù)的附加信息從所述存儲(chǔ)單元所存儲(chǔ)的一個(gè)或多 于一個(gè)圖像中選擇由所述圖像校正單元進(jìn)行圖像校正的目標(biāo)圖像。
7. 根據(jù)權(quán)利要求2所述的信息處理裝置，其中所述分析單元還分析所述相關(guān)圖像中所包含的字符的字體，并且所述顯示畫(huà)面還包括由與所述分析單元所分析的字體相同或相似的字體所表現(xiàn)的所 述相關(guān)圖像的附加信息。
8. 據(jù)權(quán)利要求2所述的信息處理裝置，其中所述顯示畫(huà)面還包括由與所述音樂(lè)數(shù)據(jù)的特征相對(duì)應(yīng)的字體所表現(xiàn)的所述相關(guān)圖像 的附加信息。
9. 一種用于使得計(jì)算機(jī)用作信息處理裝置的程序，該信息處理裝置包括 回放單元，用于回放音樂(lè)數(shù)據(jù)；分析單元，用于分析所述音樂(lè)數(shù)據(jù)的相關(guān)圖像的特征； 圖像校正單元，用于利用多種校正類(lèi)型中的任一種來(lái)執(zhí)行圖像校正； 選擇單元，用于從所述多種校正類(lèi)型中選擇與被所述分析單元分析的所述相關(guān)圖像的特征相對(duì)應(yīng)的校正類(lèi)型；校正控制單元，用于利用所述選擇單元所選擇的校正類(lèi)型來(lái)使得所述圖像校正單元對(duì)存儲(chǔ)介質(zhì)中所存儲(chǔ)的一個(gè)或多于一個(gè)圖像進(jìn)行校正；以及 輸出單元，用于輸出經(jīng)所述圖像校正單元校正的圖像。
10. —種信息處理方法，包括以下步驟 回放音樂(lè)數(shù)據(jù)；分析所述音樂(lè)數(shù)據(jù)的相關(guān)圖像的特征；從多種校正類(lèi)型中選擇與所述相關(guān)圖像的特征相對(duì)應(yīng)的校正類(lèi)型； 利用所選擇的校正類(lèi)型來(lái)校正存儲(chǔ)介質(zhì)中所存儲(chǔ)的一個(gè)或多于一個(gè)圖像；以及 輸出經(jīng)校正的圖像。
全文摘要
本發(fā)明公開(kāi)了信息處理裝置、程序和信息處理方法。信息處理裝置包括回放單元，用于回放音樂(lè)數(shù)據(jù)；分析單元，用于分析音樂(lè)數(shù)據(jù)的相關(guān)圖像的特征；圖像校正單元，用于利用多種校正類(lèi)型中的任一種來(lái)執(zhí)行圖像校正；存儲(chǔ)單元，用于存儲(chǔ)一個(gè)或多于一個(gè)圖像；選擇單元，用于從多種校正類(lèi)型中選擇與被分析單元分析的相關(guān)圖像的特征相對(duì)應(yīng)的校正類(lèi)型；校正控制單元，用于利用選擇單元所選擇的校正類(lèi)型來(lái)使得圖像校正單元對(duì)存儲(chǔ)單元中存儲(chǔ)的圖像執(zhí)行圖像校正；以及輸出單元，用于輸出經(jīng)圖像校正單元校正的圖像。
文檔編號(hào)G06F17/30GK101727476SQ20091017936
公開(kāi)日2010年6月9日 申請(qǐng)日期2009年10月10日 優(yōu)先權(quán)日2008年10月10日
發(fā)明者后藤智彥, 奧村光男, 望月大介, 木村隆臣, 西澤一登 申請(qǐng)人:索尼株式會(huì)社