專利名稱：圖像處理裝置、圖像處理方法和計(jì)算機(jī)程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理裝置、圖像處理方法和計(jì)算機(jī)程序，更具體地說，本發(fā)明涉及 顯示伴隨圖像中的特征點(diǎn)顯示的附加信息的圖像處理裝置、圖像處理方法和計(jì)算機(jī)程序。
背景技術(shù)：
為了使由諸如數(shù)字?jǐn)z像機(jī)或數(shù)字靜止照相機(jī)的成像裝置成像的圖像成為更加令 人感興趣的圖像，用戶對(duì)圖像添加注釋或聲音效果以產(chǎn)生新穎的圖像。例如，可以在圖像中 的人的臉部附近設(shè)置球狀物以寫入注釋，或者可以添加印戳(stamp)以突顯人的運(yùn)動(dòng)。在現(xiàn)有技術(shù)中，當(dāng)將另一圖像添加到運(yùn)動(dòng)圖像內(nèi)容時(shí)，用戶指示了在確認(rèn)運(yùn)動(dòng)圖 像內(nèi)容的內(nèi)容的同時(shí)根據(jù)時(shí)間變化改變附加圖像的顯示位置，以便根據(jù)運(yùn)動(dòng)圖像的運(yùn)動(dòng)改 變附加圖像。此外，用戶產(chǎn)生了與運(yùn)動(dòng)圖像內(nèi)容的時(shí)間變化同步的改變的圖像，以便根據(jù)運(yùn) 動(dòng)圖像的運(yùn)動(dòng)改變附加圖像。引用列表專利文獻(xiàn)非專利文獻(xiàn) 1 =Decorate and Upload images (eDeco)，[參見 2009 年 4 月 7 日]，互 聯(lián)網(wǎng) <URL::http://support, d-imaging. sony. co. jp/www/disoft/jp/pmb/feature/web/ edeco. html>

發(fā)明內(nèi)容
技術(shù)問題然而，例如，難以將圖像添加到圖像中的運(yùn)動(dòng)的人上，并且，現(xiàn)有的方法會(huì)花費(fèi)大 量的精力和時(shí)間去設(shè)定附加圖像顯示。當(dāng)設(shè)定多個(gè)附加圖像時(shí)，操作復(fù)雜，并且，這種問題 變得更加嚴(yán)重。鑒于上述問題而作出了本發(fā)明，本發(fā)明的目的在于提供一種新的、改進(jìn)的并且能 夠簡(jiǎn)單地將附加圖像添加到運(yùn)動(dòng)圖像中的運(yùn)動(dòng)對(duì)象的圖像處理裝置、圖像處理方法和計(jì)算 機(jī)程序。解決問題的方案根據(jù)本發(fā)明的第一方面，為了實(shí)現(xiàn)上述目的，提供了一種圖像處理裝置，該圖像處 理裝置包括特征點(diǎn)檢測(cè)單元，用于從運(yùn)動(dòng)圖像數(shù)據(jù)檢測(cè)特征點(diǎn)；關(guān)聯(lián)處理單元，用于使特 征點(diǎn)與附加信息相關(guān)聯(lián)，所述特征點(diǎn)是基于用于選擇顯示伴隨所述特征點(diǎn)顯示的附加信息 的一個(gè)或至少兩個(gè)特征點(diǎn)的特征點(diǎn)選擇信息選擇的；運(yùn)動(dòng)分析單元，用于通過運(yùn)動(dòng)圖像數(shù) 據(jù)的再現(xiàn)分析變化的特征點(diǎn)的行為；以及數(shù)據(jù)生成單元，用于基于指示由運(yùn)動(dòng)分析單元分 析的特征點(diǎn)的行為的運(yùn)動(dòng)信息、和指示根據(jù)特征點(diǎn)的行為改變添加到特征點(diǎn)的附加信息的 變化模式的顯示情景，生成指示改變與特征點(diǎn)相關(guān)聯(lián)的附加信息的顯示的變化內(nèi)容的數(shù) 據(jù)。根據(jù)本發(fā)明，當(dāng)伴隨運(yùn)動(dòng)圖像數(shù)據(jù)中的特征點(diǎn)顯示附加信息時(shí)，由數(shù)據(jù)生成單元基于指示特征點(diǎn)的行為的運(yùn)動(dòng)信息和指示變化模式的顯示情景自動(dòng)生成數(shù)據(jù)，以根據(jù)特征 點(diǎn)的行為改變添加到特征點(diǎn)的附加信息。因此，可以簡(jiǎn)單地將附加信息添加到運(yùn)動(dòng)圖像中 的運(yùn)動(dòng)對(duì)象。本發(fā)明的圖像處理裝置可以包括輸入單元，特征點(diǎn)選擇信息被輸入到該輸入單 元。這里，圖像處理裝置可以包括顯示情景存儲(chǔ)單元，該顯示情景存儲(chǔ)單元用于存儲(chǔ)由特征 點(diǎn)的行為模式以及添加到與所述行為模式匹配的特征點(diǎn)的附加信息的顯示方法指示的一 個(gè)或至少兩個(gè)顯示情景。將用于選擇改變添加到所選擇的特征點(diǎn)的附加信息的顯示情景的 顯示情景選擇信息進(jìn)一步輸入到輸入單元。當(dāng)數(shù)據(jù)生成單元針對(duì)由特征點(diǎn)選擇信息選擇的 特征點(diǎn)，從運(yùn)動(dòng)信息檢測(cè)到與所選擇的顯示情景的特征點(diǎn)的行為模式匹配的特征點(diǎn)的行為 時(shí)，數(shù)據(jù)生成單元生成使用在顯示情景中限定的顯示方法來顯示附加信息的數(shù)據(jù)。另外，本發(fā)明的圖像處理裝置可以包括附加信息存儲(chǔ)單元，用于存儲(chǔ)一個(gè)或至少 兩個(gè)附加信息。在這種情況下，將用于選擇伴隨特征點(diǎn)的附加信息的選擇信息輸入到輸入 單元。此外，圖像處理裝置還可以包括手繪數(shù)據(jù)輸入單元，通過手繪將添加到運(yùn)動(dòng)圖像數(shù)據(jù) 的附加信息輸入到該手繪數(shù)據(jù)輸入單元。數(shù)據(jù)生成單元可以基于從運(yùn)動(dòng)信息識(shí)別的特征點(diǎn)在運(yùn)動(dòng)圖像數(shù)據(jù)的圖像中的位 置生成改變與特征點(diǎn)相關(guān)聯(lián)的附加信息的顯示位置的數(shù)據(jù)。此外，數(shù)據(jù)生成單元可以基于 從運(yùn)動(dòng)信息識(shí)別的特征點(diǎn)相對(duì)于運(yùn)動(dòng)圖像數(shù)據(jù)的顯示尺寸的尺寸生成改變與特征點(diǎn)相關(guān) 聯(lián)的附加信息的尺寸的數(shù)據(jù)。此外，數(shù)據(jù)生成單元可以根據(jù)從運(yùn)動(dòng)信息識(shí)別的特征點(diǎn)的臉部表情的變化生成顯 示與特征點(diǎn)相關(guān)聯(lián)的附加信息的數(shù)據(jù)。此外，數(shù)據(jù)生成單元可以根據(jù)從運(yùn)動(dòng)信息識(shí)別的特 征點(diǎn)的移動(dòng)速度生成改變與特征點(diǎn)相關(guān)聯(lián)的附加信息的顯示的數(shù)據(jù)。當(dāng)從輸入單元輸入了 選擇至少兩個(gè)特征點(diǎn)的選擇信息時(shí)，數(shù)據(jù)生成單元可以根據(jù)特征點(diǎn)之間的距離生成改變與 特征點(diǎn)相關(guān)聯(lián)的附加信息的顯示尺寸的數(shù)據(jù)。根據(jù)本發(fā)明的第二方面，為了實(shí)現(xiàn)上述目的，提供了一種圖像處理方法，該圖像處 理方法包括下述步驟從運(yùn)動(dòng)圖像數(shù)據(jù)檢測(cè)特征點(diǎn)；使一個(gè)或至少兩個(gè)特征點(diǎn)與附加信息 相關(guān)聯(lián)，所述特征點(diǎn)顯示伴隨所述特征點(diǎn)顯示的附加信息；通過運(yùn)動(dòng)圖像數(shù)據(jù)的再現(xiàn)分析 變化的特征點(diǎn)的行為；以及基于指示所分析的特征點(diǎn)的行為的運(yùn)動(dòng)信息、和指示根據(jù)特征 點(diǎn)的行為改變添加到特征點(diǎn)的附加信息的變化模式的顯示情景，生成指示改變與特征點(diǎn)相 關(guān)聯(lián)的附加信息的顯示的變化內(nèi)容的數(shù)據(jù)。此外，為了實(shí)現(xiàn)上述目的，根據(jù)本發(fā)明的另一方面，提供一種使計(jì)算機(jī)起圖像處理 裝置的作用的計(jì)算機(jī)程序。該計(jì)算機(jī)程序存儲(chǔ)在計(jì)算機(jī)中所包含的存儲(chǔ)裝置中，并且由包 含在計(jì)算機(jī)中的CPU讀取和執(zhí)行，從而使得計(jì)算機(jī)起圖像處理裝置的作用。此外，還提供一 種記錄有計(jì)算機(jī)程序的計(jì)算機(jī)可讀記錄介質(zhì)。例如，記錄介質(zhì)是磁盤、光盤等。本發(fā)明的有益效果根據(jù)本發(fā)明，如上所述，可以提供能夠簡(jiǎn)單地將附加信息添加到運(yùn)動(dòng)圖像中的運(yùn) 動(dòng)對(duì)象的圖像處理裝置、圖像處理方法和計(jì)算機(jī)程序。


圖1是示出根據(jù)本發(fā)明實(shí)施例的圖像處理裝置的配置的功能框圖。5
圖2是示出根據(jù)本實(shí)施例的元數(shù)據(jù)存儲(chǔ)單元的配置例子的說明圖。圖3A是示出根據(jù)本實(shí)施例的將手繪數(shù)據(jù)添加到運(yùn)動(dòng)圖像內(nèi)容的處理的流程圖。圖;3B是示出根據(jù)本實(shí)施例的將手繪數(shù)據(jù)添加到運(yùn)動(dòng)圖像內(nèi)容的處理的流程圖。圖4是示出根據(jù)本實(shí)施例的顯示情景的附加數(shù)據(jù)顯示處理的流程圖。圖5是示出根據(jù)本實(shí)施例的再現(xiàn)期間的手繪處理的流程圖。圖6是示出繪畫菜單屏幕的例子的說明圖。圖7是示出手繪繪畫屏幕的例子的說明圖。圖8是示出模式繪畫屏幕(pattern drawing screen)的一個(gè)例子的說明圖。圖9是示出運(yùn)動(dòng)設(shè)定屏幕的例子的說明圖。圖10是示出特征點(diǎn)選擇屏幕的例子的說明圖。圖11是示出特征點(diǎn)選擇屏幕的另一例子的說明圖。圖12是示出根據(jù)運(yùn)動(dòng)圖像內(nèi)容的特征點(diǎn)的行為改變附加數(shù)據(jù)的顯示的一個(gè)例子 的說明圖。圖13是示出顯示情景選擇屏幕的一個(gè)例子的說明圖。圖14是示出這樣的顯示情景的一個(gè)內(nèi)容例子的說明圖 笑臉時(shí)顯示附加數(shù)據(jù)。圖15是示出這樣的顯示情景的一個(gè)內(nèi)容例子的說明圖 改變附加數(shù)據(jù)的顯示位置。圖16是示出這樣的顯示情景的一個(gè)內(nèi)容例子的說明圖 改變附加數(shù)據(jù)的尺寸。圖17是示出這樣的顯示情景的一個(gè)內(nèi)容例子的說明圖 速度改變附加數(shù)據(jù)。圖18是示出這樣的顯示情景的一個(gè)內(nèi)容例子的說明圖 的軌跡。圖19是示出這樣的顯示情景的一個(gè)內(nèi)容例子的說明圖 距離改變附加數(shù)據(jù)的顯示。圖20是示出這樣的顯示情景的一個(gè)內(nèi)容例子的說明圖 點(diǎn)，并且，隨著時(shí)間的流逝順序地顯示文本。圖21示出根據(jù)本實(shí)施例的圖像處理裝置的配置的硬件配置。附圖標(biāo)記列表100圖像處理裝置110輸入顯示單元112輸入檢測(cè)單元114顯示單元120附加數(shù)據(jù)產(chǎn)生單元130特征點(diǎn)跟蹤單元140解碼單元150存儲(chǔ)單元152元數(shù)據(jù)存儲(chǔ)單元其中，在檢測(cè)到特征點(diǎn)的 其中，根據(jù)特征點(diǎn)的位置 其中，根據(jù)特征點(diǎn)的尺寸 其中，根據(jù)特征點(diǎn)的移動(dòng) 其中，示出特征點(diǎn)的運(yùn)動(dòng) 其中，根據(jù)特征點(diǎn)之間的 其中，附加數(shù)據(jù)追隨特征
154 實(shí)際數(shù)據(jù)存儲(chǔ)單元156 繪畫數(shù)據(jù)存儲(chǔ)單元158 顯示情景存儲(chǔ)單元
具體實(shí)施例方式在下文中，將參照附圖詳細(xì)地描述本發(fā)明的優(yōu)選實(shí)施例。請(qǐng)注意，在本說明書和附 圖中，基本上具有相同的功能和結(jié)構(gòu)的元件用相同的附圖標(biāo)記表示，并且省略重復(fù)的解釋。而且，將按照下面的順序給出描述。1.圖像處理裝置的配置2.圖像處理裝置的顯示處理方法<1.圖像處理裝置的配置〉
首先，將基于圖1和2描述根據(jù)本發(fā)明實(shí)施例的圖像處理裝置100的示意配置。此 外，圖1是示出根據(jù)本實(shí)施例的圖像處理裝置100的配置的功能框圖。圖2是示出根據(jù)本 實(shí)施例的元數(shù)據(jù)存儲(chǔ)單元152的配置例子的說明圖。例如，根據(jù)本實(shí)施例的圖像處理裝置100是能夠再現(xiàn)由諸如數(shù)字?jǐn)z像機(jī)或數(shù)字靜 止照相機(jī)的成像裝置成像的運(yùn)動(dòng)圖像內(nèi)容的再現(xiàn)裝置、能夠記錄和再現(xiàn)運(yùn)動(dòng)圖像內(nèi)容的記 錄和再現(xiàn)裝置等。此外，根據(jù)本實(shí)施例的圖像處理裝置100可以被實(shí)現(xiàn)為由個(gè)人計(jì)算機(jī)執(zhí) 行的應(yīng)用。如圖1所示，這種圖像處理裝置100包括輸入顯示單元110、附加數(shù)據(jù)產(chǎn)生單元 120、特征點(diǎn)跟蹤單元130、解碼單元140和存儲(chǔ)單元150。輸入顯示單元110是這樣的功能單元通過該功能單元執(zhí)行來自用戶的信息的輸 入，或者該功能單元向用戶輸出信息，并且，輸入顯示單元110包括輸入檢測(cè)單元112和顯 示單元114。本實(shí)施例的輸入顯示單元110可以是這樣的觸摸面板，該觸摸面板包含諸如觸 摸墊(touch pad)的傳感器作為輸入檢測(cè)單元112，輸入檢測(cè)單元112在由例如液晶顯示 元件或有機(jī)EL元件構(gòu)成的顯示單元114的表面上。輸入檢測(cè)單元112可以檢測(cè)例如觸針 (stylus)或手指與輸入顯示單元110的表面的接觸。接觸輸入顯示單元110的表面的觸摸 操縱的軌跡可以從輸入檢測(cè)單元112的檢測(cè)結(jié)果獲取并作為手繪數(shù)據(jù)輸入，或者，例如，可 以選擇在顯示單元114上顯示的圖標(biāo)。顯示單元114顯示運(yùn)動(dòng)圖像內(nèi)容、手繪數(shù)據(jù)等，并且 向用戶顯示它們。附加數(shù)據(jù)產(chǎn)生單元120產(chǎn)生諸如手繪數(shù)據(jù)的附加數(shù)據(jù)或附加數(shù)據(jù)元數(shù)據(jù)，并且執(zhí) 行控制以顯示運(yùn)動(dòng)圖像內(nèi)容、附加數(shù)據(jù)等。這里，運(yùn)動(dòng)圖像內(nèi)容是由成像裝置成像的實(shí)際運(yùn) 動(dòng)圖像數(shù)據(jù)，并且，附加數(shù)據(jù)是添加用來裝飾運(yùn)動(dòng)圖像內(nèi)容的運(yùn)動(dòng)圖像的數(shù)據(jù)。此外，附加 數(shù)據(jù)元數(shù)據(jù)是其顯示隨著運(yùn)動(dòng)圖像內(nèi)容的時(shí)間的流逝而變化的附加數(shù)據(jù)的信息。例如，附加數(shù)據(jù)產(chǎn)生單元120從由輸入檢測(cè)單元112輸入的檢測(cè)結(jié)果獲取接觸輸 入顯示單元110的表面的觸摸操縱的軌跡，并且生成手繪數(shù)據(jù)作為附加數(shù)據(jù)。附加數(shù)據(jù)產(chǎn) 生單元120在顯示單元114上顯示生成的手繪數(shù)據(jù)，并且將手繪數(shù)據(jù)記錄在稍后將描述的 存儲(chǔ)單元150中。此外，基于在顯示單元114上顯示的運(yùn)動(dòng)圖像的內(nèi)容和輸入檢測(cè)單元112 的檢測(cè)結(jié)果，附加數(shù)據(jù)產(chǎn)生單元120從稍后將描述的特征點(diǎn)跟蹤單元130檢測(cè)的運(yùn)動(dòng)圖像 中的特征點(diǎn)之中指定要添加附加數(shù)據(jù)的一個(gè)或至少兩個(gè)特征點(diǎn)。附加數(shù)據(jù)產(chǎn)生單元120基 于來自輸入檢測(cè)單元112的輸入信息使指定的特征點(diǎn)與伴隨該特征點(diǎn)顯示的附加數(shù)據(jù)相關(guān)聯(lián)，并且將這種關(guān)聯(lián)性記錄在存儲(chǔ)單元150中。此外，使用輸入顯示單元110中的接觸位置信息、特征點(diǎn)的運(yùn)動(dòng)信息和附加數(shù)據(jù)， 附加數(shù)據(jù)產(chǎn)生單元120根據(jù)顯示情景產(chǎn)生附加數(shù)據(jù)元數(shù)據(jù)。這里，顯示情景是指示根據(jù)特 征點(diǎn)的行為改變添加到特征點(diǎn)的附加數(shù)據(jù)的顯示的變化模式的信息。附加數(shù)據(jù)產(chǎn)生單元 120從由特征點(diǎn)跟蹤單元130檢測(cè)的每個(gè)時(shí)刻的特征點(diǎn)的位置信息生成指示特征點(diǎn)的行為 的運(yùn)動(dòng)信息。附加數(shù)據(jù)產(chǎn)生單元120產(chǎn)生附加數(shù)據(jù)元數(shù)據(jù)并將該附加數(shù)據(jù)元數(shù)據(jù)記錄在存 儲(chǔ)單元150中。因此，附加數(shù)據(jù)產(chǎn)生單元120執(zhí)行用于產(chǎn)生附加數(shù)據(jù)元數(shù)據(jù)的顯示處理。此 外，稍后將詳細(xì)地描述附加數(shù)據(jù)產(chǎn)生單元120中的顯示處理。特征點(diǎn)跟蹤單元130是提取運(yùn)動(dòng)圖像中的特征點(diǎn)并跟蹤提取的特征點(diǎn)的功能單 元。例如，特征點(diǎn)跟蹤單元130從構(gòu)成運(yùn)動(dòng)圖像內(nèi)容的給定圖像提取具有諸如人的臉部的 特征的部分作為特征點(diǎn)。特征點(diǎn)的提取可以使用現(xiàn)有的方法來執(zhí)行。此外，特征點(diǎn)跟蹤單 元130可以通過運(yùn)動(dòng)圖像內(nèi)容的再現(xiàn)識(shí)別和跟蹤運(yùn)動(dòng)特征點(diǎn)的位置。特征點(diǎn)跟蹤單元130 可以將提取的特征點(diǎn)的信息輸出到顯示單元114并在顯示于顯示單元114上的特征點(diǎn)處顯 示諸如框架的標(biāo)記。此外，特征點(diǎn)跟蹤單元130將特征點(diǎn)的信息輸出到附加數(shù)據(jù)產(chǎn)生單元 120，以便產(chǎn)生附加數(shù)據(jù)元數(shù)據(jù)。解碼單元140對(duì)運(yùn)動(dòng)圖像內(nèi)容或靜止圖像內(nèi)容進(jìn)行解碼。解碼單元140讀取在存 儲(chǔ)單元150中存儲(chǔ)的運(yùn)動(dòng)圖像內(nèi)容或靜止圖像內(nèi)容，對(duì)該內(nèi)容進(jìn)行解碼，并且將所得到的 內(nèi)容輸出到顯示單元114。因此，可以在顯示單元114上顯示運(yùn)動(dòng)圖像內(nèi)容或靜止圖像內(nèi)容。存儲(chǔ)單元150是存儲(chǔ)各種信息的存儲(chǔ)單元。根據(jù)本實(shí)施例的存儲(chǔ)單元150包括 元數(shù)據(jù)存儲(chǔ)單元152、實(shí)際數(shù)據(jù)存儲(chǔ)單元154、繪畫數(shù)據(jù)存儲(chǔ)單元156和顯示情景存儲(chǔ)單元 158。元數(shù)據(jù)存儲(chǔ)單元152是存儲(chǔ)諸如手繪數(shù)據(jù)的附加數(shù)據(jù)或附加數(shù)據(jù)元數(shù)據(jù)的存儲(chǔ)單元。 如圖2所示，例如，元數(shù)據(jù)存儲(chǔ)單元152將作為顯示處理對(duì)象的繪畫數(shù)據(jù)1521、執(zhí)行顯示處 理的時(shí)刻1522和指示繪畫數(shù)據(jù)的處理內(nèi)容的動(dòng)作(action) 1523相互關(guān)聯(lián)地存儲(chǔ)。繪畫數(shù) 據(jù)1521是例如從輸入顯示單元110輸入的諸如手繪數(shù)據(jù)的附加數(shù)據(jù)或者預(yù)先設(shè)定的印戳。 時(shí)刻1522指示附加數(shù)據(jù)元數(shù)據(jù)所對(duì)應(yīng)的運(yùn)動(dòng)圖像內(nèi)容中的時(shí)刻。例如，在圖2的例子中， 在元數(shù)據(jù)存儲(chǔ)單元152中存儲(chǔ)處理內(nèi)容，例如在時(shí)刻“00:01:05” “固定顯示”的繪畫數(shù)據(jù) “圖像01”，以及在時(shí)刻“00:01:21” “在跟蹤特征點(diǎn)A的同時(shí)顯示”的繪畫數(shù)據(jù)“圖像02”。實(shí)際數(shù)據(jù)存儲(chǔ)單元IM存儲(chǔ)由成像裝置成像的運(yùn)動(dòng)圖像內(nèi)容或靜止圖像內(nèi)容。繪 畫數(shù)據(jù)存儲(chǔ)單元156存儲(chǔ)從輸入顯示單元110輸入的諸如手繪數(shù)據(jù)的附加數(shù)據(jù)或者預(yù)先設(shè) 定的印戳。此外，關(guān)于產(chǎn)生手繪數(shù)據(jù)所需的繪畫工具的信息也可以存儲(chǔ)在繪畫數(shù)據(jù)存儲(chǔ)單 元156中。例如，存儲(chǔ)在繪畫數(shù)據(jù)存儲(chǔ)單元156中的附加數(shù)據(jù)可以與諸如圖2中所示的“圖 像01”和“圖像02”的唯一名稱相關(guān)聯(lián)地存儲(chǔ)。顯示情景存儲(chǔ)單元158存儲(chǔ)顯示情景。顯 示情景可以由用戶預(yù)先設(shè)定或添加。已經(jīng)描述了根據(jù)本實(shí)施例的圖像處理裝置100的配置。圖像處理裝置100可以基 于指示運(yùn)動(dòng)圖像內(nèi)容的特征點(diǎn)的行為的運(yùn)動(dòng)信息和顯示情景來改變添加到特征點(diǎn)的附加 數(shù)據(jù)的顯示，并且自動(dòng)地生成附加數(shù)據(jù)元數(shù)據(jù)。在下文中，將詳細(xì)地描述圖像處理裝置100 中的圖像處理方法。<2.圖像處理裝置中的顯示處理方法〉
[將手繪數(shù)據(jù)添加到運(yùn)動(dòng)圖像內(nèi)容的處理]首先，將基于圖3A和:3B描述根據(jù)本實(shí)施例的將手繪數(shù)據(jù)添加到運(yùn)動(dòng)圖像內(nèi)容的 處理。此外，圖3A和;3B是示出根據(jù)本實(shí)施例的將手繪數(shù)據(jù)添加到運(yùn)動(dòng)圖像內(nèi)容的處理的 流程圖?？梢酝ㄟ^下述方式開始將手繪數(shù)據(jù)添加到運(yùn)動(dòng)圖像內(nèi)容的處理使用解碼單元 140對(duì)存儲(chǔ)在存儲(chǔ)單元150的實(shí)際數(shù)據(jù)存儲(chǔ)單元154中的運(yùn)動(dòng)圖像內(nèi)容進(jìn)行解碼；以及在 顯示單元114上顯示所得到的運(yùn)動(dòng)圖像內(nèi)容。將附加數(shù)據(jù)添加到運(yùn)動(dòng)圖像內(nèi)容的顯示處理 包括這里描述的添加手繪數(shù)據(jù)的處理、下面描述的基于顯示情景的顯示處理、通過在再現(xiàn) 運(yùn)動(dòng)圖像內(nèi)容的同時(shí)輸入手繪數(shù)據(jù)執(zhí)行的顯示處理等等。首先，用戶選擇要執(zhí)行的顯示處 理。例如，用戶選擇是否使用手繪來執(zhí)行手動(dòng)繪畫(步驟S100)。當(dāng)用戶選擇不執(zhí)行手 動(dòng)繪畫時(shí)，執(zhí)行下面描述的顯示情景選擇處理。另一方面，當(dāng)用戶選擇執(zhí)行手動(dòng)繪畫時(shí)，用 戶接著選擇在運(yùn)動(dòng)圖像內(nèi)容的再現(xiàn)期間是否執(zhí)行繪畫(步驟S102)。當(dāng)用戶選擇在再現(xiàn)期 間執(zhí)行繪畫時(shí)，執(zhí)行下面描述的再現(xiàn)期間的手繪處理。另一方面，當(dāng)用戶選擇在再現(xiàn)期間不 執(zhí)行手繪處理時(shí)，開始運(yùn)動(dòng)圖像內(nèi)容的再現(xiàn)(步驟S104)。當(dāng)再現(xiàn)運(yùn)動(dòng)圖像內(nèi)容時(shí)，用戶觀看在顯示單元114上顯示的運(yùn)動(dòng)圖像內(nèi)容，并且 在希望添加附加數(shù)據(jù)的時(shí)候暫停運(yùn)動(dòng)圖像內(nèi)容的再現(xiàn)。繼續(xù)再現(xiàn)運(yùn)動(dòng)圖像內(nèi)容，直到暫停 運(yùn)動(dòng)圖像內(nèi)容的再現(xiàn)(步驟S106)為止。當(dāng)在步驟S106中暫停運(yùn)動(dòng)圖像內(nèi)容的再現(xiàn)時(shí)，在 顯示單元114上顯示繪畫菜單屏幕(步驟S108)。例如，繪畫菜單屏幕200a可以基于如圖6所示的屏幕配置。繪畫菜單屏幕200a包 括內(nèi)容顯示區(qū)域210和操縱圖標(biāo)顯示區(qū)域220，在內(nèi)容顯示區(qū)域210中顯示運(yùn)動(dòng)圖像內(nèi)容， 在操縱圖標(biāo)顯示區(qū)域220中顯示諸如播放圖標(biāo)22 、倒退圖標(biāo)222b和快進(jìn)圖標(biāo)222c的操 縱圖標(biāo)。在內(nèi)容顯示區(qū)域210的邊緣處顯示開始手繪數(shù)據(jù)輸入處理的手繪圖標(biāo)230、用于顯 示預(yù)先設(shè)定的附加數(shù)據(jù)的固定圖標(biāo)M0、以及用于顯示預(yù)先登記的附加數(shù)據(jù)元數(shù)據(jù)的列表 的列表顯示圖標(biāo)250。在這種情況下，用戶在暫停時(shí)刻釋放(release)對(duì)作為預(yù)先登記的附加數(shù)據(jù)的繪 畫數(shù)據(jù)的顯示。也就是說，用戶可以設(shè)定刪除這樣的繪畫數(shù)據(jù)的顯示該繪畫數(shù)據(jù)在比當(dāng)前 時(shí)刻早的時(shí)刻開始顯示并且甚至在當(dāng)前時(shí)刻仍繼續(xù)顯示。在用戶選擇是否執(zhí)行繪畫數(shù)據(jù)的 顯示(步驟S110)并選擇釋放繪畫數(shù)據(jù)的顯示的操縱的情況下，用戶通過例如使用觸針觸 摸繪畫菜單屏幕200a中的列表顯示圖標(biāo)250來選擇列表顯示圖標(biāo)250 (步驟SlU)。然后， 在暫停時(shí)刻在顯示單元114上顯示預(yù)先登記的繪畫數(shù)據(jù)的列表。在這個(gè)列表中，例如，顯示 圖2中所示的附加數(shù)據(jù)元數(shù)據(jù)之中的繪畫數(shù)據(jù)和動(dòng)作。用戶例如使用觸針觸摸來觸摸要釋 放顯示的繪畫數(shù)據(jù)，并且選擇釋放對(duì)象(步驟S114)。當(dāng)確定在步驟S114中選擇的釋放對(duì) 象時(shí)，此時(shí)刪除繪畫數(shù)據(jù)，并且，附加數(shù)據(jù)產(chǎn)生單元120主要保存諸如記錄于存儲(chǔ)單元150 的元數(shù)據(jù)存儲(chǔ)單元152中的信息之類的信息。將圖6中所示的繪畫菜單屏幕200a再次顯 示在顯示單元114的顯示表面上。當(dāng)在步驟SllO中用戶選擇不執(zhí)行繪畫數(shù)據(jù)顯示釋放時(shí)，或者在通過步驟S114確 定釋放對(duì)象時(shí)，用戶然后選擇是否通過手繪執(zhí)行數(shù)據(jù)輸入(步驟S116)。當(dāng)用戶選擇通過手 繪執(zhí)行數(shù)據(jù)輸入時(shí)，可以通過手繪工具執(zhí)行繪畫(步驟S118)。例如，可以通過選擇圖6中9所示的手繪圖標(biāo)230來執(zhí)行手繪的數(shù)據(jù)輸入。當(dāng)用戶通過例如使用觸摸筆(touch pen)觸 摸手繪圖標(biāo)230來選擇手繪圖標(biāo)230時(shí)，例如，屏幕從繪畫菜單屏幕200a轉(zhuǎn)變到圖7中所 示的手繪繪畫屏幕200b。當(dāng)在步驟S106中暫停再現(xiàn)的時(shí)候運(yùn)動(dòng)圖像內(nèi)容顯示在手繪繪畫屏幕200b中，并 且，用于輸入手繪數(shù)據(jù)的工具圖標(biāo)232顯示在其邊緣處。例如，工具圖標(biāo)232包括顏色選擇 圖標(biāo)23 、線類型圖標(biāo)232b和刪除圖標(biāo)232c。用戶例如使用觸針16從工具圖標(biāo)232選擇 繪畫線或顏色，并且通過在輸入顯示單元100的表面上進(jìn)行描畫(trace)來執(zhí)行繪畫。附 加數(shù)據(jù)產(chǎn)生單元120在顯示單元114上顯示來自輸入檢測(cè)單元112的檢測(cè)結(jié)果的軌跡作為 手繪數(shù)據(jù)300。當(dāng)輸入了手繪數(shù)據(jù)300時(shí)，例如，用戶選擇圖7的OK圖標(biāo)234，以確定在顯 示于顯示單元114上的時(shí)候顯示運(yùn)動(dòng)圖像內(nèi)容中的輸入手繪數(shù)據(jù)300。附加數(shù)據(jù)產(chǎn)生單元 120主要保存諸如在存儲(chǔ)單元150的元數(shù)據(jù)存儲(chǔ)單元152中記錄的信息之類的信息。當(dāng)用戶在步驟S116中沒有選擇手繪輸入時(shí)，或者，當(dāng)在步驟S118中終止手繪數(shù)據(jù) 輸入時(shí)，用戶選擇是否輸入預(yù)先設(shè)定的附加數(shù)據(jù)(在下文中稱為“模式數(shù)據(jù)”)，如圖3B所示 (步驟S120)。當(dāng)用戶選擇通過模式數(shù)據(jù)執(zhí)行數(shù)據(jù)輸入時(shí)，用戶可以通過模式數(shù)據(jù)執(zhí)行繪畫 (步驟S122)。例如，可以通過選擇圖6中所示的固定圖標(biāo)240來執(zhí)行通過模式數(shù)據(jù)的數(shù)據(jù) 輸入。當(dāng)用戶通過例如使用觸針觸摸固定圖標(biāo)240來選擇固定圖標(biāo)240時(shí)，例如，屏幕從繪 畫菜單屏幕200a轉(zhuǎn)變到圖8中所示的模式繪畫屏幕200c。如圖8所示，多個(gè)模式圖形242顯示在模式繪畫屏幕200c上。當(dāng)所述模式圖形難 以都顯示在一個(gè)屏幕上時(shí)，如圖8所示的那樣顯示“下一頁(yè)”圖標(biāo)M4，并且，可以通過選擇 圖標(biāo)244在顯示單元114上顯示下一個(gè)模式圖形M2的列表。在下一個(gè)屏幕上顯示“前一 頁(yè)”。當(dāng)選擇一個(gè)模式圖形242作為添加到運(yùn)動(dòng)圖像內(nèi)容的附加數(shù)據(jù)時(shí)，顯示當(dāng)在步驟S106 中暫停再現(xiàn)的時(shí)候的運(yùn)動(dòng)圖像內(nèi)容。當(dāng)用戶將例如觸摸筆116與屏幕上的輸入顯示單元 110的表面接觸時(shí)，在此時(shí)的運(yùn)動(dòng)圖像內(nèi)容中顯示所選的模式圖形M2。在這種屏幕上，可 以適當(dāng)?shù)馗淖兡Ｊ綀D形242的顏色、尺寸等。當(dāng)確定顯示內(nèi)容時(shí)，附加數(shù)據(jù)產(chǎn)生單元120主 要保存諸如在存儲(chǔ)單元150的元數(shù)據(jù)存儲(chǔ)單元152中記錄的信息之類的信息。其后，屏幕 返回到圖6中所示的繪畫菜單屏幕200a。此外，通過選擇圖8的模式繪畫屏幕200c上的 “返回”圖標(biāo)M6，可以取消將模式圖形242顯示到運(yùn)動(dòng)圖像內(nèi)容上。當(dāng)通過在步驟S116至S122中的處理完成了運(yùn)動(dòng)圖像內(nèi)容中顯示的繪畫數(shù)據(jù)的輸 入時(shí)，用戶選擇繪畫數(shù)據(jù)的運(yùn)動(dòng)(步驟SlM)。用戶首先從顯示在顯示單元114上的繪畫數(shù) 據(jù)選擇設(shè)定運(yùn)動(dòng)的繪畫數(shù)據(jù)。當(dāng)選擇設(shè)定運(yùn)動(dòng)的繪畫數(shù)據(jù)時(shí)，例如，顯示如圖9中所示的運(yùn) 動(dòng)設(shè)定屏幕200d。在運(yùn)動(dòng)設(shè)定屏幕200d上顯示指示繪畫數(shù)據(jù)的運(yùn)動(dòng)的類型的運(yùn)動(dòng)圖標(biāo)。 例如，運(yùn)動(dòng)圖標(biāo)包括“固定”圖標(biāo)25 、“跟蹤”圖標(biāo)252b、“滾動(dòng)”圖標(biāo)252c等。用戶從運(yùn) 動(dòng)設(shè)定屏幕200d的運(yùn)動(dòng)圖標(biāo)選擇繪畫數(shù)據(jù)的運(yùn)動(dòng)，并且選擇OK圖標(biāo)254以確定運(yùn)動(dòng)。此 外，用戶可以通過選擇運(yùn)動(dòng)設(shè)定屏幕200d中的“返回”圖標(biāo)256來取消對(duì)繪畫數(shù)據(jù)的運(yùn)動(dòng) 設(shè)定。然后，由附加數(shù)據(jù)產(chǎn)生單元120確定固定顯示是否被選擇為繪畫數(shù)據(jù)的運(yùn)動(dòng)(步 驟S126)。例如，基于在圖9中所示的運(yùn)動(dòng)設(shè)定屏幕200d上是否選擇“固定”圖標(biāo)25 ，可 以執(zhí)行這樣的確定。當(dāng)在步驟SU6中附加數(shù)據(jù)產(chǎn)生單元120確定除固定顯示以外的顯示 被選擇為繪畫數(shù)據(jù)的運(yùn)動(dòng)時(shí)，在顯示單元114上顯示特征點(diǎn)選擇屏幕200e (步驟SU8)，在特征點(diǎn)選擇屏幕200e上顯示作為與繪畫數(shù)據(jù)相關(guān)聯(lián)的對(duì)象的運(yùn)動(dòng)圖像內(nèi)容中的所有的特 征點(diǎn)。例如，如圖10所示，特征點(diǎn)選擇屏幕200e可以被構(gòu)造為對(duì)于在暫停再現(xiàn)的時(shí)候 的運(yùn)動(dòng)圖像內(nèi)容的顯示，通過在特征點(diǎn)處顯示框架260a和^Ob,顯示由特征點(diǎn)跟蹤單元 130提取的特征點(diǎn)?；蛘?，如圖11所示，在暫停再現(xiàn)的時(shí)候的運(yùn)動(dòng)圖像內(nèi)容中的所有的特征 點(diǎn)264可以被顯示為一個(gè)列表。用戶從顯示在特征點(diǎn)選擇屏幕200e上的特征點(diǎn)選擇與繪 畫數(shù)據(jù)相關(guān)聯(lián)的一個(gè)或至少兩個(gè)特征點(diǎn)，并且選擇OK圖標(biāo)沈2以確定與繪畫數(shù)據(jù)的關(guān)聯(lián)性 (步驟S130)。因此，確定此時(shí)或者稍后的繪畫數(shù)據(jù)的運(yùn)動(dòng)。然后，用戶選擇是否設(shè)定繪畫數(shù)據(jù)的顯示結(jié)束時(shí)刻(步驟S132)。當(dāng)用戶選擇設(shè) 定繪畫數(shù)據(jù)的顯示結(jié)束時(shí)刻時(shí)，可以設(shè)定該結(jié)束時(shí)刻，并且，用戶設(shè)定該結(jié)束時(shí)刻(步驟 S134)。其后，當(dāng)終止結(jié)束時(shí)刻設(shè)定時(shí)，確定此時(shí)的繪畫數(shù)據(jù)的顯示內(nèi)容(步驟S136)。例 如，通過選擇繪畫菜單屏幕200的播放圖標(biāo)22 ，執(zhí)行顯示內(nèi)容的確定。由附加數(shù)據(jù)產(chǎn)生單 元120將確定的顯示內(nèi)容作為元數(shù)據(jù)記錄在存儲(chǔ)單元150的元數(shù)據(jù)存儲(chǔ)單元152中(步驟 S138)。因此，將由附加數(shù)據(jù)產(chǎn)生單元120產(chǎn)生的附加數(shù)據(jù)元數(shù)據(jù)疊加并顯示在運(yùn)動(dòng)圖像 內(nèi)容上，使得可以裝飾該運(yùn)動(dòng)圖像，從而根據(jù)運(yùn)動(dòng)圖像內(nèi)容的特征點(diǎn)的行為改變附加信息。 例如，假設(shè)這樣進(jìn)行設(shè)定使得附加數(shù)據(jù)300根據(jù)圖12中所示的特征點(diǎn)沈4的運(yùn)動(dòng)追隨特 征點(diǎn)沈4。在某一時(shí)刻，特征點(diǎn)264和附加數(shù)據(jù)300顯示在由虛線所指示的位置上。其后， 當(dāng)特征點(diǎn)264移動(dòng)到實(shí)線所指示的位置時(shí)，附加數(shù)據(jù)300根據(jù)特征點(diǎn)沈4的運(yùn)動(dòng)也移動(dòng)到 另一實(shí)線所指示的位置。因此，僅僅通過產(chǎn)生要添加到運(yùn)動(dòng)圖像內(nèi)容的附加數(shù)據(jù)并確定要 添加附加數(shù)據(jù)的特征點(diǎn)和附加數(shù)據(jù)顯示方法，用戶可以將根據(jù)特征點(diǎn)的行為改變的附加數(shù) 據(jù)添加到運(yùn)動(dòng)圖像內(nèi)容。已經(jīng)描述了將手繪數(shù)據(jù)添加到運(yùn)動(dòng)圖像內(nèi)容的處理。接下來，將基于圖4描述顯 示情景的附加數(shù)據(jù)顯示處理。此外，圖4是根據(jù)本實(shí)施例的顯示情景的附加數(shù)據(jù)顯示處理 的流程圖。[顯示情景的附加數(shù)據(jù)顯示處理]當(dāng)用戶在圖3A的步驟SlOO中選擇不執(zhí)行手動(dòng)繪畫時(shí)，執(zhí)行圖4中所示的顯示情 景的附加數(shù)據(jù)顯示處理。也就是說，它是這樣的情況根據(jù)顯示情景，基于運(yùn)動(dòng)圖像內(nèi)容的 特征點(diǎn)的運(yùn)動(dòng)信息，自動(dòng)地執(zhí)行繪畫。當(dāng)用戶選擇這種處理時(shí)，例如，在顯示單元114上顯 示如圖13中所示的顯示情景選擇屏幕200f (步驟S210)。例如，如圖13中所示，顯示情景選擇屏幕200f包括分類區(qū)域271a和詳細(xì)區(qū)域 271b，在分類區(qū)域271a中顯示用于選擇預(yù)先設(shè)定的顯示情景的顯示情景圖標(biāo)270，詳細(xì)區(qū) 域271b用于執(zhí)行顯示內(nèi)容的詳細(xì)設(shè)定。例如，顯示情景包括變化模式，以在運(yùn)動(dòng)圖像內(nèi)容 中的特征點(diǎn)的臉部表情是笑臉時(shí)顯示給定的附加數(shù)據(jù)，或者根據(jù)特征點(diǎn)的行為的特征改變 和顯示附加數(shù)據(jù)。用戶選擇與在分類區(qū)域271a中顯示的變化模式相關(guān)聯(lián)的顯示情景圖標(biāo) 270，該顯示情景圖標(biāo)270包括“笑臉”圖標(biāo)272、“移動(dòng)”圖標(biāo)274和“其它”圖標(biāo)等276。因 此，可以在運(yùn)動(dòng)圖像內(nèi)容上顯示附加數(shù)據(jù)(步驟S220)。在詳細(xì)區(qū)域271b中顯示用于執(zhí)行所選的顯示情景圖標(biāo)270的詳細(xì)設(shè)定的信息。例 如，如果在特征點(diǎn)的臉部表情是笑臉時(shí)用戶選擇顯示情景以顯示附加數(shù)據(jù)，則附加數(shù)據(jù)產(chǎn)生單元120通過參考存儲(chǔ)單元150的顯示情景存儲(chǔ)單元158在詳細(xì)區(qū)域271b中顯示一個(gè) 或至少兩個(gè)附加數(shù)據(jù)顯示例子。在圖13的例子中，顯示兩個(gè)顯示例子27 和272b。用戶 可以通過從顯示例子27 和272b選擇希望添加到特征點(diǎn)的附加數(shù)據(jù)并選擇OK圖標(biāo)277 來確定附加數(shù)據(jù)。此外，用戶從存在于運(yùn)動(dòng)圖像內(nèi)容中的特征點(diǎn)選擇要添加附加數(shù)據(jù)的一個(gè)或至少 兩個(gè)特征點(diǎn)(步驟S230)?？梢匀绮襟ESU8和S130中的上述處理中一樣，執(zhí)行特征點(diǎn)的選 擇。當(dāng)上述處理終止并且釋放運(yùn)動(dòng)圖像內(nèi)容暫停狀態(tài)時(shí)，執(zhí)行基于設(shè)定的顯示情景的繪畫 處理(步驟S240)。設(shè)定的顯示情景作為附加數(shù)據(jù)元數(shù)據(jù)被存儲(chǔ)在元數(shù)據(jù)存儲(chǔ)單元152中 (步驟 S250)。例如，繼續(xù)執(zhí)行基于顯示情景的繪畫處理，直到用戶釋放該處理。因此，在對(duì)所有 的運(yùn)動(dòng)圖像內(nèi)容施加相同的顯示情景的情況下，只有用戶僅僅設(shè)定一次顯示情景，才在出 現(xiàn)相同的場(chǎng)面時(shí)基于設(shè)定的顯示情景將附加數(shù)據(jù)自動(dòng)地添加到特征點(diǎn)。例如，當(dāng)設(shè)定在從 特征點(diǎn)檢測(cè)到笑臉時(shí)顯示給定的附加數(shù)據(jù)的顯示情景時(shí)，每當(dāng)檢測(cè)到特征點(diǎn)的笑臉時(shí)就自 動(dòng)地顯示附加數(shù)據(jù)。因此，用戶不必若干次地設(shè)定相同的處理，從而可以容易地將附加數(shù)據(jù) 添加到運(yùn)動(dòng)圖像。[顯示情景例子]這里，將使用圖14至20描述顯示情景的內(nèi)容例子。如上所述，顯示情景指示根據(jù) 特征點(diǎn)的行為改變添加到特征點(diǎn)的附加數(shù)據(jù)的變化模式的內(nèi)容。在圖14中，示出在檢測(cè)到特征點(diǎn)的笑臉時(shí)顯示附加數(shù)據(jù)的顯示情景的例子。在這 種顯示情景中，當(dāng)特征點(diǎn)202的臉部表情如圖14(a)中所示不是笑臉時(shí)，附加數(shù)據(jù)產(chǎn)生單元 120不會(huì)顯示附加數(shù)據(jù)，然而，當(dāng)特征點(diǎn)202的臉部表情是笑臉時(shí)，附加數(shù)據(jù)產(chǎn)生單元120顯 示附加數(shù)據(jù)410，如圖14(b)中所示。此外，使用現(xiàn)有的方法，例如，可以通過特征點(diǎn)跟蹤單 元130檢測(cè)特征點(diǎn)的笑臉。接下來，在圖15中，示出根據(jù)特征點(diǎn)的位置顯示附加數(shù)據(jù)的顯示位置的顯示情景 的例子。特征點(diǎn)通常在運(yùn)動(dòng)圖像內(nèi)容中移動(dòng)，并且，圖像中的特征點(diǎn)的位置時(shí)刻地變化。即 使當(dāng)特征點(diǎn)的位置變化時(shí)，這種顯示情景也允許通過追隨特征點(diǎn)而在圖像中顯示附加數(shù) 據(jù)。例如，如圖15(a)中所示的位于圖像200的右邊的特征點(diǎn)202假設(shè)移動(dòng)到如圖15(b) 中所示的圖像200的左邊。將球狀物中的附加數(shù)據(jù)420添加到特征點(diǎn)202。在這種情況下， 使用這種顯示情景，在圖15(a)的狀態(tài)下顯示在位于圖像200的右端的特征點(diǎn)202的左邊 的附加數(shù)據(jù)420，在特征點(diǎn)202在圖15(b)的狀態(tài)下移動(dòng)并且位于圖像200的左邊時(shí)顯示在 特征點(diǎn)202的右邊。因此，即使當(dāng)特征點(diǎn)202的位置變化時(shí)，附加數(shù)據(jù)420的顯示位置也自 動(dòng)地改變，從而附加數(shù)據(jù)420不會(huì)從圖像200突出。此外，在圖16中，示出根據(jù)特征點(diǎn)的尺寸改變附加數(shù)據(jù)的尺寸的顯示情景的例 子。例如，當(dāng)如圖16(a)中所示特征點(diǎn)202的尺寸相對(duì)于圖像200的尺寸而言較小時(shí)，添加 到特征點(diǎn)202的附加數(shù)據(jù)430的尺寸變小。另一方面，當(dāng)如圖16(b)中所示特征點(diǎn)202的尺 寸相對(duì)于圖像200的尺寸而言較大時(shí)，添加到特征點(diǎn)202的附加數(shù)據(jù)430的尺寸變大。例 如，根據(jù)特征點(diǎn)202相對(duì)于圖像200的尺寸，可以改變附加數(shù)據(jù)430的放大率。在這種情況 下，當(dāng)附加數(shù)據(jù)430通過顯示情景而變大時(shí)，附加數(shù)據(jù)430被處理使得不從圖像200突出。此外，在圖17中，示出根據(jù)特征點(diǎn)的移動(dòng)速度改變附加數(shù)據(jù)的顯示情景的例子。12可以從給定時(shí)間的圖像中的特征點(diǎn)的位置的變化量計(jì)算特征點(diǎn)的移動(dòng)速度。例如，當(dāng)特征 點(diǎn)202的移動(dòng)速度如圖17(a)中所示基本上等于0時(shí)，顯示添加到特征點(diǎn)202的基本上圓 形的附加數(shù)據(jù)440，以包圍特征點(diǎn)202 —次。另一方面，當(dāng)特征點(diǎn)202的移動(dòng)速度增加時(shí)，附 加數(shù)據(jù)440包圍特征點(diǎn)202兩至三次，如圖17(b)中所示。因此，可以通過根據(jù)特征點(diǎn)202 的速度變化改變附加數(shù)據(jù)440的顯示來表現(xiàn)特征點(diǎn)202的行為的特征。在圖18中，示出顯示特征點(diǎn)的移動(dòng)的軌跡的顯示情景的例子。例如，如圖18(a) 中所示，假設(shè)特征點(diǎn)202從圖像200的右上方移動(dòng)到左下方。在這種情況下，使用這種顯示 情景，特征點(diǎn)的移動(dòng)的軌跡被顯示為附加數(shù)據(jù)450，如圖18(b)中所示。因此，可以提高運(yùn)動(dòng) 圖像內(nèi)容的視覺效果。此外，在圖19中，示出根據(jù)特征點(diǎn)之間的距離改變附加數(shù)據(jù)的顯示的顯示情景的 例子。例如，假設(shè)兩個(gè)特征點(diǎn)202A和202B與一個(gè)附加數(shù)據(jù)460相關(guān)聯(lián)，如圖19 (a)中所示。 在這種情況下，使用這種顯示情景，根據(jù)特征點(diǎn)之間的距離L的大小，改變附加數(shù)據(jù)460的 尺寸或顯示位置。當(dāng)特征點(diǎn)之間的距離L如圖19(a)中一樣大時(shí)，附加數(shù)據(jù)產(chǎn)生單元120 基本上在特征點(diǎn)之間的中間處顯示小的附加數(shù)據(jù)460。另一方面，當(dāng)特征點(diǎn)之間的距離L較 小時(shí)，例如，附加數(shù)據(jù)產(chǎn)生單元120在特征點(diǎn)202A和特征點(diǎn)202B之間顯示比圖19(a)中所 示的附加數(shù)據(jù)大的附加數(shù)據(jù)460，如圖19(b)中所示?；蛘撸郊訑?shù)據(jù)產(chǎn)生單元120可以顯 示附加數(shù)據(jù)460以包圍接近的特征點(diǎn)202A和202B，如圖19(c)中所示。因此，通過根據(jù)特 征點(diǎn)之間的距離改變附加數(shù)據(jù)460的顯示，可以有效地顯示運(yùn)動(dòng)圖像內(nèi)容中的多個(gè)特征點(diǎn) 之間的關(guān)系。在圖20中，示出使附加數(shù)據(jù)追隨特征點(diǎn)移動(dòng)的顯示情景的例子。例如，這種顯示 情景包括在隨著時(shí)間的流逝而順序地顯示作為附加數(shù)據(jù)的文本的同時(shí)使得該文本追隨特 征點(diǎn)的變化模式。如圖20(a)中所示，在某一時(shí)刻，一行文本作為追隨特征點(diǎn)202的附加數(shù) 據(jù)480a顯示在球狀物中。其后，隨著時(shí)間的流逝，附加數(shù)據(jù)480b隨著特征點(diǎn)202的移動(dòng)而 移動(dòng)，并且，兩行文本顯示在附加數(shù)據(jù)480b中，如圖20(b)中所示。由此，使用這種顯示情 景能夠使得附加數(shù)據(jù)追隨特征點(diǎn)的行為，并且能夠顯示移動(dòng)的附加數(shù)據(jù)。已經(jīng)描述了顯示情景的內(nèi)容例子。根據(jù)本實(shí)施例，當(dāng)用戶執(zhí)行特征點(diǎn)與附加數(shù)據(jù) 的關(guān)聯(lián)并選擇改變附加數(shù)據(jù)的顯示情景時(shí)，附加數(shù)據(jù)產(chǎn)生單元120根據(jù)運(yùn)動(dòng)圖像內(nèi)容中的 特征點(diǎn)的行為基于該顯示情景自動(dòng)地產(chǎn)生附加數(shù)據(jù)元數(shù)據(jù)。此外，由于根據(jù)顯示情景產(chǎn)生 附加數(shù)據(jù)元數(shù)據(jù)，所以僅僅通過改變顯示情景可以容易地改變附加數(shù)據(jù)元數(shù)據(jù)的內(nèi)容。也 就是說，可以產(chǎn)生根據(jù)一個(gè)附加數(shù)據(jù)顯示多個(gè)附加數(shù)據(jù)的顯示模式。對(duì)于一個(gè)運(yùn)動(dòng)圖像內(nèi)容，產(chǎn)生一個(gè)附加數(shù)據(jù)元數(shù)據(jù)。根據(jù)一個(gè)或至少兩個(gè)顯示情 景的附加數(shù)據(jù)的變化模式存儲(chǔ)在附加數(shù)據(jù)元數(shù)據(jù)中?？梢酝ㄟ^圖3A JB和4以及稍后描述 的圖5中所示的方法來設(shè)定附加數(shù)據(jù)的變化模式。因此，可以容易地設(shè)定多個(gè)附加數(shù)據(jù)的 變化模式，并且，在某一時(shí)刻，容易在運(yùn)動(dòng)圖像內(nèi)容中添加多個(gè)附加數(shù)據(jù)。[再現(xiàn)期間的手繪處理]接下來，將基于圖5描述在運(yùn)動(dòng)圖像內(nèi)容的再現(xiàn)期間執(zhí)行繪畫的顯示處理。此外， 圖5是示出根據(jù)本實(shí)施例的再現(xiàn)期間的手繪處理的流程圖。當(dāng)在運(yùn)動(dòng)圖像內(nèi)容的再現(xiàn)期間 繪畫附加數(shù)據(jù)時(shí)，能夠在確認(rèn)運(yùn)動(dòng)圖像內(nèi)容的特征點(diǎn)的運(yùn)動(dòng)的同時(shí)進(jìn)行繪畫，并且，容易產(chǎn) 生例如運(yùn)動(dòng)的附加數(shù)據(jù)，如圖20中所示。
當(dāng)用戶在圖3A的步驟S102中選擇執(zhí)行再現(xiàn)期間的手繪處理時(shí)，執(zhí)行圖5中所示 的再現(xiàn)期間的手繪處理。當(dāng)用戶選擇這種處理時(shí)，首先，在顯示單元114上顯示用來選擇通 過手繪產(chǎn)生附加數(shù)據(jù)的繪畫工具的屏幕。在這種屏幕上，用戶設(shè)定繪畫的線類型、顏色等 (步驟S310)。此外，在繪畫附加數(shù)據(jù)之后，可以再次設(shè)定附加數(shù)據(jù)的線類型、顏色等。然后，用戶在再現(xiàn)運(yùn)動(dòng)圖像內(nèi)容的同時(shí)繪畫附加數(shù)據(jù)(步驟S320)。如圖3A的步 驟S118中一樣，可以執(zhí)行附加數(shù)據(jù)的繪畫。當(dāng)用戶完成附加數(shù)據(jù)的繪畫時(shí)，例如，用戶暫停 運(yùn)動(dòng)圖像內(nèi)容的再現(xiàn)并確定這種附加數(shù)據(jù)。因此，產(chǎn)生運(yùn)動(dòng)的附加數(shù)據(jù)。產(chǎn)生的附加數(shù)據(jù) 與要在其上顯示這種附加數(shù)據(jù)的運(yùn)動(dòng)圖像內(nèi)容的時(shí)間相關(guān)聯(lián)，并且，關(guān)聯(lián)數(shù)據(jù)作為附加數(shù) 據(jù)元數(shù)據(jù)記錄在元數(shù)據(jù)存儲(chǔ)單元152中。已經(jīng)描述了在運(yùn)動(dòng)圖像內(nèi)容的再現(xiàn)期間執(zhí)行繪畫的顯示處理。在這種情況下，可 能不會(huì)特別地執(zhí)行附加數(shù)據(jù)與特征點(diǎn)的關(guān)聯(lián)，但是，當(dāng)存在運(yùn)動(dòng)圖像內(nèi)容中的特征點(diǎn)的相 似行為時(shí)，可以將附加數(shù)據(jù)與特征點(diǎn)相關(guān)聯(lián)并將附加數(shù)據(jù)添加到特征點(diǎn)。因此，通過根據(jù)本實(shí)施例的圖像處理裝置100，將使用各種方法產(chǎn)生的附加數(shù)據(jù)與 特征點(diǎn)相關(guān)聯(lián)，并且，自動(dòng)地生成使得附加數(shù)據(jù)根據(jù)特征點(diǎn)的行為改變的附加數(shù)據(jù)元數(shù)據(jù)。 因此，可以簡(jiǎn)單地將附加信息添加到運(yùn)動(dòng)圖像中的運(yùn)動(dòng)對(duì)象。雖然圖6至13中所示的屏幕例子使得通過例如用觸針116選擇與執(zhí)行的處理相 關(guān)聯(lián)的圖標(biāo)來輸入操縱信息，但是本發(fā)明并不局限于這些例子。例如，用諸如觸針116或手 指的操縱體(操縱體的操作)在顯示單元114的表面上描繪可以執(zhí)行與這種操縱相關(guān)聯(lián)的 給定的處理。具體地說，可以使給定的處理與執(zhí)行屏幕操縱的給定的操作相關(guān)聯(lián)，如在用操 縱體觸摸屏幕的右側(cè)時(shí)頁(yè)面移動(dòng)到下一頁(yè)，并且當(dāng)觸摸屏幕的左側(cè)時(shí)頁(yè)面移動(dòng)到前一頁(yè)。[硬件配置例子]根據(jù)本實(shí)施例的圖像處理裝置100的圖像處理可以通過硬件來執(zhí)行，也可以通過 軟件來執(zhí)行。在這種情況下，在圖像處理裝置100中包含圖21中所示的計(jì)算機(jī)。在下文中， 將基于圖21描述根據(jù)本實(shí)施例的圖像處理裝置100的硬件配置的例子。此外，圖21示出 顯示根據(jù)本實(shí)施例的圖像處理裝置100的硬件配置。本實(shí)施例的圖像處理裝置100包括中央處理單元(CPU) 101、只讀存儲(chǔ)器 (ROM) 102、隨機(jī)存取存儲(chǔ)器(RAM) 103和主機(jī)總線l(Ma。此外，圖像處理裝置100包括橋接 器104、外部總線104b、接口 105、輸入裝置106、輸出裝置107、存儲(chǔ)裝置(HDD) 108、驅(qū)動(dòng)器 109、連接端口 111和通信裝置113。CPU 101起操作處理裝置和控制裝置的作用，并且根據(jù)各自程序控制圖像處理裝 置100的全體操作。此外，CPU 101可以是微處理器。ROM 102存儲(chǔ)由CPU 101使用的程 序、操作參數(shù)等。RAM 103臨時(shí)存儲(chǔ)在執(zhí)行CPU 101中使用的程序、在執(zhí)行中適當(dāng)?shù)刈兓?參數(shù)等。通過包含CPU總線的主機(jī)總線10 將它們相互連接。主機(jī)總線10 經(jīng)由橋接器104與諸如外圍部件互連/接口(PCI)總線的外部總 線104b連接。此外，主機(jī)總線104a、橋接器104和外部總線104b不必單獨(dú)地配置，并且，一 個(gè)總線可以具有這些功能。輸入裝置106包括能夠使用戶輸入信息的輸入裝置，例如，鼠標(biāo)、鍵盤、觸摸屏 幕、按鈕、傳聲器、開關(guān)和控制桿(lever)；用于基于用戶的輸入生成輸入信號(hào)并將該輸入 信號(hào)輸出到CPU 101的輸入控制電路等等。圖像處理裝置100的用戶可以通過操縱輸入裝置106將各種數(shù)據(jù)輸入到圖像處理裝置100或者指示處理操作。在本實(shí)施例中，如圖1中 所示，輸入裝置106包括觸摸屏幕。例如，輸出裝置107包括顯示裝置，例如，陰極射線管(CRT)顯示裝置、液晶顯示 (LCD)裝置、有機(jī)發(fā)光二極管(OLED)裝置和燈。此外，輸出裝置107包括諸如揚(yáng)聲器和頭戴 式受話器的聲音輸出裝置。在本實(shí)施例中，輸入顯示單元110的顯示單元114被設(shè)置為輸 出裝置107，如圖1中所示。存儲(chǔ)裝置108是作為圖像處理裝置100的存儲(chǔ)單元的一個(gè)例子的數(shù)據(jù)存儲(chǔ)裝置。 存儲(chǔ)裝置108可以包括記錄介質(zhì)、用于在記錄介質(zhì)中記錄數(shù)據(jù)的記錄裝置、用于從記錄介 質(zhì)讀取數(shù)據(jù)的讀取裝置、用于刪除在記錄介質(zhì)中記錄的數(shù)據(jù)的刪除裝置等。例如，存儲(chǔ)裝置 108包括硬盤驅(qū)動(dòng)器(HDD)。該存儲(chǔ)裝置108存儲(chǔ)通過驅(qū)動(dòng)硬盤由CPU 101執(zhí)行的程序、或 者各種數(shù)據(jù)。驅(qū)動(dòng)器109是用于記錄介質(zhì)的讀取器/寫入器，嵌入在圖像處理裝置100中或者 作為外部裝置設(shè)置。驅(qū)動(dòng)器109讀取在諸如磁盤、光盤、磁光盤或半導(dǎo)體存儲(chǔ)器的安裝的可 移動(dòng)記錄介質(zhì)中記錄的信息，并且將該信息輸出到RAM 103。連接端口 111是與外部裝置連接的接口，即，與能夠例如經(jīng)由通用串行總線(USB) 傳送數(shù)據(jù)的外部裝置的連接端口。此外，例如，通信裝置113是由例如用于與通信網(wǎng)絡(luò)15 連接的通信裝置構(gòu)成的通信接口。此外，通信裝置113可以是無線局域網(wǎng)(LAN)兼容通信 裝置(compliant communication device)、無線USB兼容通信裝置、或者用于執(zhí)行有線通信 的有線通信裝置。雖然已經(jīng)參照附圖描述了本發(fā)明的優(yōu)選實(shí)施例，但是，本發(fā)明當(dāng)然并不局限于上 述例子。在所附權(quán)利要求的范圍內(nèi)，本領(lǐng)域的技術(shù)人員可以找到各種替換和修改，并且，應(yīng) 該明白，這些替換和修改自然地在本發(fā)明的技術(shù)范圍內(nèi)。例如，雖然在實(shí)施例中運(yùn)動(dòng)圖像內(nèi)容和附加數(shù)據(jù)元數(shù)據(jù)作為分別的數(shù)據(jù)保存，但 是本發(fā)明并不局限于這種例子。例如，附加數(shù)據(jù)元數(shù)據(jù)可以與運(yùn)動(dòng)圖像內(nèi)容一起被編碼并 存儲(chǔ)在存儲(chǔ)單元中。
權(quán)利要求
1.一種圖像處理裝置，包括特征點(diǎn)檢測(cè)單元，用于從運(yùn)動(dòng)圖像數(shù)據(jù)檢測(cè)特征點(diǎn)；關(guān)聯(lián)處理單元，用于使特征點(diǎn)與附加信息相關(guān)聯(lián)，所述特征點(diǎn)是基于用于選擇顯示伴 隨所述特征點(diǎn)顯示的附加信息的一個(gè)或至少兩個(gè)特征點(diǎn)的特征點(diǎn)選擇信息選擇的；運(yùn)動(dòng)分析單元，用于通過運(yùn)動(dòng)圖像數(shù)據(jù)的再現(xiàn)分析變化的特征點(diǎn)的行為；以及數(shù)據(jù)生成單元，用于基于指示由運(yùn)動(dòng)分析單元分析的特征點(diǎn)的行為的運(yùn)動(dòng)信息、和指 示根據(jù)特征點(diǎn)的行為改變添加到特征點(diǎn)的附加信息的變化模式的顯示情景，生成指示改變 與特征點(diǎn)相關(guān)聯(lián)的附加信息的顯示的變化內(nèi)容的數(shù)據(jù)。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，包括輸入單元，特征點(diǎn)選擇信息被輸入到該 輸入單元。
3.根據(jù)權(quán)利要求2所述的圖像處理裝置，包括顯示情景存儲(chǔ)單元，用于存儲(chǔ)由特征點(diǎn) 的行為模式以及添加到與所述行為模式匹配的特征點(diǎn)的附加信息的顯示方法指示的一個(gè) 或至少兩個(gè)顯示情景，其中，將用于選擇改變添加到所選擇的特征點(diǎn)的附加信息的顯示情景的顯示情景選擇 信息進(jìn)一步輸入到輸入單元，并且當(dāng)數(shù)據(jù)生成單元針對(duì)由特征點(diǎn)選擇信息選擇的特征點(diǎn)，從運(yùn)動(dòng)信息檢測(cè)到與所選擇的 顯示情景的特征點(diǎn)的行為模式匹配的特征點(diǎn)的行為時(shí)，數(shù)據(jù)生成單元生成使用在顯示情景 中限定的顯示方法來顯示附加信息的數(shù)據(jù)。
4.根據(jù)權(quán)利要求2所述的圖像處理裝置，包括附加信息存儲(chǔ)單元，用于存儲(chǔ)一個(gè)或至 少兩個(gè)附加信息，其中，將用于選擇伴隨特征點(diǎn)的附加信息的選擇信息輸入到輸入單元。
5.根據(jù)權(quán)利要求1所述的圖像處理裝置，包括手繪數(shù)據(jù)輸入單元，通過手繪將添加到 運(yùn)動(dòng)圖像數(shù)據(jù)的附加信息輸入到該手繪數(shù)據(jù)輸入單元。
6.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，數(shù)據(jù)生成單元基于從運(yùn)動(dòng)信息識(shí)別的 特征點(diǎn)在運(yùn)動(dòng)圖像數(shù)據(jù)的圖像中的位置生成改變與特征點(diǎn)相關(guān)聯(lián)的附加信息的顯示位置 的數(shù)據(jù)。
7.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，數(shù)據(jù)生成單元基于從運(yùn)動(dòng)信息識(shí)別的 特征點(diǎn)相對(duì)于運(yùn)動(dòng)圖像數(shù)據(jù)的顯示尺寸的尺寸生成改變與特征點(diǎn)相關(guān)聯(lián)的附加信息的尺 寸的數(shù)據(jù)。
8.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，數(shù)據(jù)生成單元根據(jù)從運(yùn)動(dòng)信息識(shí)別的 特征點(diǎn)的臉部表情的變化生成顯示與特征點(diǎn)相關(guān)聯(lián)的附加信息的數(shù)據(jù)。
9.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，數(shù)據(jù)生成單元根據(jù)從運(yùn)動(dòng)信息識(shí)別的 特征點(diǎn)的移動(dòng)速度生成改變與特征點(diǎn)相關(guān)聯(lián)的附加信息的顯示的數(shù)據(jù)。
10.根據(jù)權(quán)利要求2所述的圖像處理裝置，其中，當(dāng)從輸入單元輸入了選擇至少兩個(gè)特 征點(diǎn)的選擇信息時(shí)，數(shù)據(jù)生成單元根據(jù)特征點(diǎn)之間的距離生成改變與特征點(diǎn)相關(guān)聯(lián)的附加 信息的顯示尺寸的數(shù)據(jù)。
11.一種圖像處理方法，包括下述步驟從運(yùn)動(dòng)圖像數(shù)據(jù)檢測(cè)特征點(diǎn)；使一個(gè)或至少兩個(gè)特征點(diǎn)與附加信息相關(guān)聯(lián)，所述特征點(diǎn)顯示伴隨所述特征點(diǎn)顯示的附加信息；通過運(yùn)動(dòng)圖像數(shù)據(jù)的再現(xiàn)分析變化的特征點(diǎn)的行為；以及基于指示所分析的特征點(diǎn)的行為的運(yùn)動(dòng)信息、和指示根據(jù)特征點(diǎn)的行為改變添加到特 征點(diǎn)的附加信息的變化模式的顯示情景，生成指示改變與特征點(diǎn)相關(guān)聯(lián)的附加信息的顯示 的變化內(nèi)容的數(shù)據(jù)。
12. —種計(jì)算機(jī)程序，用于使計(jì)算機(jī)起圖像處理裝置的作用，該圖像處理裝置包括 特征點(diǎn)檢測(cè)部件，用于從運(yùn)動(dòng)圖像數(shù)據(jù)檢測(cè)特征點(diǎn)；關(guān)聯(lián)處理部件，用于使特征點(diǎn)與附加信息相關(guān)聯(lián)，所述特征點(diǎn)是基于用于選擇顯示伴 隨所述特征點(diǎn)顯示的附加信息的一個(gè)或至少兩個(gè)特征點(diǎn)的特征點(diǎn)選擇信息選擇的； 運(yùn)動(dòng)分析部件，用于通過運(yùn)動(dòng)圖像數(shù)據(jù)的再現(xiàn)分析變化的特征點(diǎn)的行為；以及 數(shù)據(jù)生成部件，用于基于指示由運(yùn)動(dòng)分析部件分析的特征點(diǎn)的行為的運(yùn)動(dòng)信息、和指 示根據(jù)特征點(diǎn)的行為改變添加到特征點(diǎn)的附加信息的變化模式的顯示情景，生成指示改變 與特征點(diǎn)相關(guān)聯(lián)的附加信息的顯示的變化內(nèi)容的數(shù)據(jù)。
全文摘要
本發(fā)明提供圖像處理裝置、圖像處理方法和計(jì)算機(jī)程序。特征點(diǎn)檢測(cè)單元從運(yùn)動(dòng)圖像數(shù)據(jù)檢測(cè)特征點(diǎn)。關(guān)聯(lián)處理單元使特征點(diǎn)與附加信息相關(guān)聯(lián)，所述特征點(diǎn)是基于用于選擇顯示伴隨所述特征點(diǎn)顯示的附加信息的一個(gè)或至少兩個(gè)特征點(diǎn)的特征點(diǎn)選擇信息選擇的。運(yùn)動(dòng)分析單元通過運(yùn)動(dòng)圖像數(shù)據(jù)的再現(xiàn)分析變化的特征點(diǎn)的行為。數(shù)據(jù)生成單元基于指示由運(yùn)動(dòng)分析單元分析的特征點(diǎn)的行為的運(yùn)動(dòng)信息、和指示根據(jù)特征點(diǎn)的行為改變添加到特征點(diǎn)的附加信息的變化模式的顯示情景，生成指示改變與特征點(diǎn)相關(guān)聯(lián)的附加信息的顯示的變化內(nèi)容的數(shù)據(jù)。
文檔編號(hào)G06T13/00GK102057400SQ201080001766
公開日2011年5月11日 申請(qǐng)日期2010年3月2日 優(yōu)先權(quán)日2009年4月8日
發(fā)明者增田徹 申請(qǐng)人:索尼公司