專利名稱：圖像處理裝置、圖像處理方法和程序的制作方法
圖像處理裝置、圖像處理方法和程序
背景技術(shù)：
本發(fā)明涉及一種圖像處理裝置、圖像處理方法和程序。近來，用于保持或改善健康或者從創(chuàng)傷恢復(fù)的運(yùn)動已變?yōu)槿粘Ｉ畹囊徊糠?。肌肉力量?xùn)練、康復(fù)、塑形等是這種運(yùn)動的例子。日本未審專利申請公開(PCT申請的譯本)N0.2000-504854提出一種用于在顯示器上并行顯示教師的運(yùn)動的圖像序列和學(xué)生的運(yùn)動的圖像序列的技術(shù)。根據(jù)這種技術(shù)，作為學(xué)生的用戶容易模仿教師的運(yùn)動，并且預(yù)期更高效地提高用戶的運(yùn)動能力。

發(fā)明內(nèi)容
然而，通常，據(jù)稱為了使運(yùn)動高效，重要的是，對進(jìn)行運(yùn)動的人給出關(guān)于運(yùn)動有效性的充分反饋。由日本未審專利申請公開(PCT申請的譯本)N0.2000-504854提出的技術(shù)僅呈現(xiàn)視為目標(biāo)的運(yùn)動，而不對用戶給出充分反饋。例如，當(dāng)人與目標(biāo)運(yùn)動的差距或人的健康的改善以可見的方式呈現(xiàn)時，人繼續(xù)進(jìn)行運(yùn)動的動力增強(qiáng)，并且人也被激發(fā)以通過改進(jìn)他/她自己的運(yùn)動執(zhí)行有效的運(yùn)動。因此，優(yōu)選地提供一種能夠以可見的形式把關(guān)于運(yùn)動的有效性的反饋呈現(xiàn)給用戶的結(jié)構(gòu)。根據(jù)本發(fā)明的實(shí)施例，提供了一種圖像處理裝置，包括:識別單元，識別輸入圖像中反映的人的運(yùn)動；和顯示控制單元，在輸入圖像上疊加虛擬對象，所述虛擬對象根據(jù)由識別單元識別的運(yùn)動的有效性而變化。根據(jù)本發(fā)明的另一實(shí)施例，提供了一種圖像處理方法，包括:識別輸入圖像中反映的人的運(yùn)動；以及在輸入圖像上疊加虛擬對象，所述虛擬對象根據(jù)識別的運(yùn)動的有效性而變化。根據(jù)本發(fā)明的另一實(shí)施例，提供了一種程序，該程序用于使控制圖像處理裝置的計算機(jī)用作:識別單元，識別輸入圖像中反映的人的運(yùn)動；和顯示控制單元，在輸入圖像上疊加虛擬對象，所述虛擬對象根據(jù)由識別單元識別的運(yùn)動的有效性而變化。根據(jù)本發(fā)明的實(shí)施例，可以以可見的形式把關(guān)于運(yùn)動的有效性的反饋呈現(xiàn)給用戶。


圖1A是表示根據(jù)本發(fā)明的圖像處理裝置的概述的第一解釋示圖；圖1B是表示根據(jù)本發(fā)明的圖像處理裝置的概述的第二解釋示圖；圖1C是表示根據(jù)本發(fā)明的圖像處理裝置的概述的第三解釋示圖；圖2是顯示根據(jù)一個實(shí)施例的圖像處理裝置的硬件結(jié)構(gòu)的例子的方框圖；圖3是顯示根據(jù)第一實(shí)施例的圖像處理裝置的邏輯功能的結(jié)構(gòu)的例子的方框圖；圖4是表示由圖3中例示的運(yùn)動識別單元執(zhí)行的運(yùn)動識別處理的例子的解釋示圖5是表示由圖3中例示的得分計算單元計算的有效性得分的例子的解釋示圖；圖6A是表示用于計算有效性得分的第一方法的解釋示圖；圖6B是表示用于計算有效性得分的第二方法的解釋示圖；圖6C是表示用于計算有效性得分的第三方法的解釋示圖；圖6D是表示用于計算有效性得分的第四方法的解釋示圖；圖7A是表示第一實(shí)施例中顯示的虛擬對象的第一例子的解釋示圖；圖7B是表示第一實(shí)施例中顯示的虛擬對象的第二例子的解釋示圖；圖7C是表示第一實(shí)施例中顯示的虛擬對象的第三例子的解釋示圖；圖8是顯示關(guān)于第一實(shí)施例的圖像處理流程的例子的流程圖；圖9是顯示關(guān)于第二實(shí)施例的圖像處理裝置的邏輯功能的結(jié)構(gòu)的例子的方框圖；圖10是表示由圖9中例示的模型產(chǎn)生單元執(zhí)行的模型產(chǎn)生處理的例子的解釋示圖；圖11是顯示在第二實(shí)施例中在運(yùn)動開始時顯示的圖像的例子的解釋示圖；圖12是表示第二實(shí)施例中顯示的虛擬對象的例子的解釋示圖；圖13是顯示關(guān)于第二實(shí)施例的圖像處理流程的例子的流程圖；圖14是顯示關(guān)于第三實(shí)施例的圖像處理裝置的邏輯功能的結(jié)構(gòu)的例子的方框圖；圖15是顯示生活歷史數(shù)據(jù)的例子的解釋示圖；圖16是顯示在第三實(shí)施例中在運(yùn)動開始時顯示的圖像的例子的解釋示圖；圖17是表示由圖4中例示的對象產(chǎn)生單元執(zhí)行的對象產(chǎn)生處理的例子的解釋示圖；圖18是表示第三實(shí)施例中顯示的虛擬對象的例子的解釋示圖；和圖19是顯示關(guān)于第三實(shí)施例的圖像處理流程的例子的流程圖。
具體實(shí)施例方式以下，將參照附圖詳細(xì)描述本發(fā)明的優(yōu)選實(shí)施例。需要注意的是，在本說明書和附圖中，具有基本上相同的功能和結(jié)構(gòu)的結(jié)構(gòu)元素由相同的標(biāo)號表示，并且省略這些結(jié)構(gòu)元
素的重復(fù)解釋。將按照下面的次序進(jìn)行描述。1.概述2.第一實(shí)施例2-1.硬件結(jié)構(gòu)2-2.功能結(jié)構(gòu)2-3.處理的流程2-4.第一實(shí)施例的總結(jié)3.第二實(shí)施例3-1.功能結(jié)構(gòu)3-2.處理的流程3-3.第二實(shí)施例的總結(jié)
4.第三實(shí)施例4-1.功能結(jié)構(gòu)4-2.處理的流程4-3.第三實(shí)施例的總結(jié)〈1.概述〉圖1A至圖1C是表示根據(jù)本發(fā)明的圖像處理裝置的概述的解釋示圖。參照圖1A，作為示例顯示圖像處理裝置100a。圖像處理裝置IOOa包括:成像單元102,具有朝著運(yùn)動者的鏡頭；和顯示單元110，用于顯示圖像。在圖1A的例子中，用戶Ua站在圖像處理裝置IOOa前面，并且由成像單元102拍攝的用戶Ua的圖像由顯示單元110顯示。圖像處理裝置IOOa獲取這種捕捉的圖像作為輸入圖像，并執(zhí)行將在稍后詳細(xì)描述的用于支持運(yùn)動的各種圖像處理。在這種情況下，用戶Ua進(jìn)行運(yùn)動，例如肌肉力量訓(xùn)練、康復(fù)、塑形等。在圖1B的例子中，圖像處理裝置IOOa還包括通信單元112。通信單元112與由例如用戶Ua操縱的終端裝置10通信。在對輸入圖像執(zhí)行的圖像處理中，圖像處理裝置IOOa可使用通過這種通信連接獲取的另外的數(shù)據(jù)。在圖1A和圖1B中，數(shù)字電視裝置顯示為圖像處理裝置IOOa的例子。然而，圖像處理裝置IOOa不限于這個例子。圖像處理裝置IOOa可以是任意裝置，例如桌上型PC、平板PC、筆記本PC、智能電話、數(shù)字照相機(jī)、游戲終端等。此外，圖像處理裝置IOOa的顯示單元110的屏幕可以是這樣的屏幕:在該屏幕的表面上，安裝半反光鏡。在這種情況下，用戶Ua能夠在運(yùn)動期間看見由半反光鏡反射的他/她自己的圖像，還能夠看見由顯示單元110部分地顯示的圖像。參照圖1C，圖像處理裝置IOOb顯示為另一例子。圖像處理裝置IOOb是具有頭戴式顯示器的可穿戴裝置。用戶Ub裝備有圖像處理裝置100b。當(dāng)用戶Ub運(yùn)動時，圖像處理裝置IOOb可拍攝用戶Ub的身體的一部分(例如，手臂等)。另一方面，圖像處理裝置IOOb可拍攝運(yùn)動的用戶Uao用戶Ub通過頭戴式顯示器看見由圖像處理裝置IOOb拍攝并處理的圖像。圖像處理裝置IOOb的頭戴式顯示器可以是透明類型或非透明類型。在隨后部分中描述的根據(jù)本發(fā)明的三個實(shí)施例中，由這種裝置以可見的形式把關(guān)于運(yùn)動的有效性的反饋呈現(xiàn)給用戶。在下面的描述中，圖像處理裝置IOOa和IOOb—般稱為圖像處理裝置100。<2.第一實(shí)施例>[2-1.硬件結(jié)構(gòu)]圖2是顯示根據(jù)第一實(shí)施例的圖像處理裝置100的硬件結(jié)構(gòu)的例子的方框圖。參照圖2，圖像處理裝置100包括成像單元102、傳感器單元104、輸入單元106、存儲單元108、顯示單元110、通信單元112、總線116和控制單元118。(I)成像單元成像單元102是拍攝圖像的照相機(jī)模塊。成像單元102使用成像元件(諸如，電荷耦合器件(CCD)、互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)等)拍攝被攝體，并產(chǎn)生捕捉的圖像。成像單元102不必是圖像處理裝置100的一部分。例如，以有線方式或以無線方式與圖像處理裝置100連接的成像裝置可用作成像單元102。(2)傳感器單元
傳感器單元104是產(chǎn)生用于支持在圖像處理裝置100中執(zhí)行的處理的傳感器數(shù)據(jù)的傳感器模塊。例如，傳感器單元104可包括通過連接到用戶的皮膚的電極感測用戶的肌肉的動作的肌電傳感器。此外，傳感器單元104可包括測量用戶的體表的溫度的紅外溫度傳感器。另外，傳感器單元104可包括測量應(yīng)用于用戶的特定部位的加速度的加速度計。(3)輸入單元輸入單元106是用于使用戶操縱圖像處理裝置100或者在圖像處理裝置100中輸入信息的輸入裝置。輸入單元106可包括檢測例如由用戶在顯示單元110的屏幕上進(jìn)行的觸摸的觸摸傳感器。替代于觸摸傳感器(或者除了觸摸傳感器之外)，輸入單元106可包括定點(diǎn)裝置，諸如鼠標(biāo)、觸摸板等。另外，輸入單元106可包括另一類型的輸入裝置，諸如鍵盤、小鍵盤、按鈕、開關(guān)、遙控器等。(存儲單元)存儲單元108包括存儲介質(zhì)(諸如，半導(dǎo)體存儲器或硬盤)，并存儲用于由圖像處理裝置100執(zhí)行的處理的程序和數(shù)據(jù)。存儲在存儲單元108中的數(shù)據(jù)可包括例如由成像單元102產(chǎn)生的捕捉的圖像數(shù)據(jù)、由傳感器單元104產(chǎn)生的傳感器數(shù)據(jù)和數(shù)據(jù)庫中的各種數(shù)據(jù)，稍后將對此進(jìn)行描述。此外，能夠從外部數(shù)據(jù)源(例如，數(shù)據(jù)服務(wù)器、網(wǎng)絡(luò)存儲器、外部存儲器)獲取在本說明書中描述的程序和數(shù)據(jù)的一些或全部，而不必存儲在存儲單元108中。(5)顯示單元顯示單元110是包括液晶顯示器(IXD)、有機(jī)發(fā)光二極管(OLED)、陰極射線管(CRT)等的顯示模塊。在這個實(shí)施例中，顯示單元110能夠用于把用于支持用戶的運(yùn)動的虛擬對象疊加在輸入圖像上。顯示單元110也不必是圖像處理裝置100的一部分。例如，以有線方式或以無線方式與圖像處理裝置100連接的顯示裝置可用作顯示單元110。(6)通信單元通信單元112是中繼轉(zhuǎn)發(fā)圖像處理裝置100和另一裝置之間的通信的通信接口。通信單元112支持任意無線通信協(xié)議或有線通信協(xié)議，由此與另一裝置建立通信連接。(7)總線總線116把成像單元102、傳感器單元104、輸入單元106、存儲單元108、顯示單元110、通信單元112和控制單元118彼此連接在一起。(8)控制單元控制單元118對應(yīng)于處理器，諸如中央處理單元(CPU)、數(shù)字信號處理器(DSP)等。控制單元118執(zhí)行存儲在存儲單元108或另一存儲介質(zhì)中的程序，由此導(dǎo)致執(zhí)行將在稍后描述的圖像處理裝置100的各種功能。[2-2.功能結(jié)構(gòu)]圖3是顯示由圖2中顯示的圖像處理裝置100的存儲單元108和控制單元118實(shí)現(xiàn)的邏輯功能的結(jié)構(gòu)的例子的方框圖。參照圖3，圖像處理裝置100包括:輸入圖像獲取單元120、運(yùn)動識別單元130、運(yùn)動模型數(shù)據(jù)庫(DB) 140、用戶DB150、得分計算單元160、對象產(chǎn)生單元170和顯示控制單元180。(I)輸入圖像獲取單元輸入圖像獲取單元120獲取由成像單元102產(chǎn)生的捕捉圖像作為輸入圖像。在輸入圖像中，顯示運(yùn)動者，諸如圖1A至圖1C等例示的用戶Ua或Ub。由輸入圖像獲取單元120獲取的一系列輸入圖像通常構(gòu)成移動畫面。輸入圖像獲取單元120順序地把獲取的輸入圖像輸出到運(yùn)動識別單元130和顯示控制單元180。(2)運(yùn)動識別單元運(yùn)動識別單元130識別來自輸入圖像獲取單元120的輸入圖像中反映的人的運(yùn)動。由運(yùn)動識別單元130識別的運(yùn)動可以是任何運(yùn)動，諸如關(guān)節(jié)彎曲和伸直(例如，腹部運(yùn)動或下蹲運(yùn)動)、跑步、跳舞、瑜伽、健身操、體育動作(例如，高爾夫揮桿或網(wǎng)球揮拍)等。運(yùn)動識別單元130根據(jù)已知的姿勢識別技術(shù)識別輸入圖像中反映的人的運(yùn)動。此外，運(yùn)動識別單元130可使用來自加速度計的傳感器數(shù)據(jù)識別輸入圖像中反映的人的運(yùn)動。圖4是表示由運(yùn)動識別單元130執(zhí)行的運(yùn)動識別處理的例子的解釋示圖。參照圖4，沿著時間軸顯示一系列輸入圖像中所包括的七個幀F(xiàn)Ol至R)7。在幀F(xiàn)Ol至F04中，顯示這些幀中反映的人的一組腹部運(yùn)動。在幀F(xiàn)05和后面的幀中反映下一組腹部運(yùn)動。運(yùn)動識別單元130識別一組腹部運(yùn)動作為一個姿勢單位，并在時間軸上確定與每個識別的姿勢單位對應(yīng)的區(qū)段。在圖4的例子中，確定與幀F(xiàn)Ol至F04對應(yīng)的區(qū)段SEGOl和與幀F(xiàn)05至R)7對應(yīng)的區(qū)段SEG02。對于以這種方法確定的每個區(qū)段，將在稍后描述的得分計算單元160計算顯示由運(yùn)動識別單元130識別的運(yùn)動的有效性的得分。(3)運(yùn)動模型 DB140運(yùn)動模型DB140是積累運(yùn)動模型的數(shù)據(jù)庫(DB)，運(yùn)動模型是通過對視為目標(biāo)的運(yùn)動建模獲得的數(shù)據(jù)。運(yùn)動模型可以是反映運(yùn)動者的移動畫面數(shù)據(jù)、包括一組運(yùn)動者的特征點(diǎn)位置的幀數(shù)據(jù)、包括視為目標(biāo)的運(yùn)動的次數(shù)和參數(shù)(諸如，強(qiáng)度等)的數(shù)值數(shù)據(jù)或者這些數(shù)據(jù)的組合。在這個實(shí)施例中，運(yùn)動模型是通過提前對作為教師的人的運(yùn)動建模獲得的數(shù)據(jù)。從通過對其屬性(諸如，年齡、性別等)彼此不同的教師的運(yùn)動建模獲得的多個運(yùn)動模型，能夠選擇適合用戶的運(yùn)動模型。在另一實(shí)施例中，根據(jù)每個個體用戶的運(yùn)動的歷史和目標(biāo)自適應(yīng)地產(chǎn)生運(yùn)動模型。(4)用戶 DBl5O用戶DB150是積累為每個個體用戶準(zhǔn)備的各種數(shù)據(jù)的DB。在這個實(shí)施例中，用戶DB150存儲屬性數(shù)據(jù)152，屬性數(shù)據(jù)152可包括用戶的基本屬性(諸如，年齡、性別等)和體型屬性(諸如，身高、坐高、胸圍、腰圍等)。(5)得分計算單元得分計算單元160計算顯示由運(yùn)動識別單元130識別的運(yùn)動的有效性的得分。更具體地講，在這個實(shí)施例中，得分計算單元160首先獲取由運(yùn)動模型DB140存儲的任何運(yùn)動模型。得分計算單元160可選擇性地從多個運(yùn)動模型獲取適合運(yùn)動者的基本屬性的運(yùn)動模型。此外，得分計算單元160可根據(jù)運(yùn)動者的體型屬性修改獲取的運(yùn)動模型(例如，執(zhí)行歸一化以使教師的身高變?yōu)榕c運(yùn)動者的身高相同)。當(dāng)運(yùn)動被運(yùn)動識別單元130識別時，得分計算單元160在識別的運(yùn)動和運(yùn)動模型之間的差異的基礎(chǔ)上針對由運(yùn)動識別單元130確定的每個區(qū)段計算有效性得分。圖5是表示由得分計算單元160計算的有效性得分的例子的解釋示圖。參照圖5，有效性得分的計算結(jié)果顯示在表中。在圖5的例子中，針對區(qū)段SEGOl和SEG02計算的所有有效性得分是四。針對區(qū)段SEG03計算的有效性得分是三。針對區(qū)段SEGlO計算的有效性得分是二。在圖5的例子中，有效性得分按照五個級別顯示從一到五的值，并且值越大，運(yùn)動越有效。然而，有效性得分不限于這個例子，并且可使用以其它形式定義的有效性得分。以下將參照圖6A至圖6D描述用于計算有效性得分的四種示例性方法。(5-1)第一方法圖6A是表示用于計算有效性得分的第一方法的解釋示圖。在附圖的左上側(cè)，顯示運(yùn)動模型Ma中反映的教師的輪廓(例如，相對于背景的差異)，運(yùn)動模型Ma是移動畫面數(shù)據(jù)。在附圖的右上側(cè)，顯示從輸入圖像提取的用戶Ua的輪廓。得分計算單元160重疊這兩個輪廓，并隨著由這些輪廓占據(jù)的重疊區(qū)域的比例增加而增加有效得分值。(5-2)第二方法圖6B是表示用于計算有效性得分的第二方法的解釋示圖。在附圖的左上側(cè)，顯示構(gòu)成運(yùn)動模型Mb中所包括的教師的幀的三個特征點(diǎn)位置Pml、Pm2和Pm3，運(yùn)動模型Mb是幀數(shù)據(jù)。在附圖的右上側(cè)，顯示構(gòu)成從輸入圖像提取的用戶的幀的三個特征點(diǎn)位置P11、P12和P13。特征點(diǎn)位置Pml和Pll可對應(yīng)于頭，特征點(diǎn)位置Pm2和P12可對應(yīng)于肩，并且特征點(diǎn)位置Pm3和P13可對應(yīng)于髖關(guān)節(jié)。得分計算單元160調(diào)整例如特征點(diǎn)位置Pm3和P13以重疊，然后計算從位置Pml到位置Pll的位移和從位置Pm2到位置P12的位移之和，隨著計算的和減小而增加有效性得分。(5-3)第三方法圖6C是表示用于計算有效性得分的第三方法的解釋示圖。圖6C再次顯示作為圖6B中例示的幀數(shù)據(jù)的運(yùn)動模型Mb和從輸入圖像提取的用戶Ua的幀。得分計算單元160從這些幀數(shù)據(jù)計算教師的髖關(guān)節(jié)的角度Rm和用戶Ua的髖關(guān)節(jié)的角度Ru，由此計算角度差Ru-Rm。然后，得分計算單元160隨著計算的角度差減小而增加有效性得分值。上述第一至第三方法可應(yīng)用于與每個區(qū)段對應(yīng)的所有幀或者一個或多個幀。例如，得分計算單元160可從與每個區(qū)段對應(yīng)的幀中選擇一個或多個區(qū)別幀(例如，反映運(yùn)動期間的預(yù)定姿勢的幀)，并確定從選擇的幀計算的得分(得分的總和)作為該區(qū)段的有效性得分。(5-4)第四方法圖6D是表示用于計算有效性得分的第四方法的解釋示圖。在圖6D的上部，針對用戶Ua顯示一個運(yùn)動單位的區(qū)段特定所需時間和區(qū)段特定最大加速度作為運(yùn)動識別單元130的運(yùn)動識別結(jié)果，區(qū)段特定所需時間和區(qū)段特定最大加速度是基于傳感器數(shù)據(jù)的統(tǒng)計值。最大加速度是補(bǔ)充地表示運(yùn)動的有效性的參數(shù)。圖6D的下部顯示運(yùn)動模型Mc，運(yùn)動模型Mc是教師的運(yùn)動的同種數(shù)據(jù)。得分計算單元160針對每個區(qū)段比較這種運(yùn)動識別結(jié)果與運(yùn)動模型，并隨著識別的運(yùn)動的值變得接近運(yùn)動模型的值而增加有效性得分值。在圖6D的例子中，區(qū)段SEGOl的有效性得分計算為四，區(qū)段SEG02和SEG03的有效性得分計算為三，并且區(qū)段SEGlO的有效性得分計算為二。得分計算單元160可僅使用上述四種方法中的任何一種方法，或者通過諸如加權(quán)加法等的計算組合多種方法。以這種方式，得分計算單元160針對每個區(qū)段計算顯示運(yùn)動的有效性的有效性得分，并把計算的有效性得分輸出到對象產(chǎn)生單元170。(6)對象產(chǎn)生單元對象產(chǎn)生單元170產(chǎn)生根據(jù)識別的運(yùn)動的有效性而變化的虛擬對象。由對象產(chǎn)生單元170產(chǎn)生的虛擬對象可通常是代表由得分計算單元160計算的有效性得分的大小程度的對象。視為用于產(chǎn)生虛擬對象的基礎(chǔ)的有效性得分的大小程度可以是針對每個區(qū)段計算的有效性得分的大小程度、如圖5中所例示的有效性得分的累加值或者它們的組合。在這個實(shí)施例中，由對象產(chǎn)生單元170產(chǎn)生的虛擬對象是強(qiáng)調(diào)運(yùn)動的目標(biāo)部位的對象。運(yùn)動的目標(biāo)部位能夠在腹部運(yùn)動的情況下對應(yīng)于例如腹部，并且在下蹲運(yùn)動的情況下對應(yīng)于股骨部位。運(yùn)動的目標(biāo)部位可結(jié)合運(yùn)動的類型預(yù)先定義，或者動態(tài)地確定，諸如由來自紅外溫度傳感器的傳感器數(shù)據(jù)指示的具有高溫的部位。虛擬對象可按照各種方法強(qiáng)調(diào)運(yùn)動的目標(biāo)部位。例如，有效性得分的大小程度可由模仿位于目標(biāo)部位周圍的火焰或光的虛擬對象的顏色、數(shù)量或尺寸來表示。此外，可根據(jù)有效性得分的大小程度夸張地表達(dá)目標(biāo)部位的外觀的變化。稍后將更詳細(xì)地描述能夠由對象產(chǎn)生單元170產(chǎn)生的虛擬對象的一些例子。(7)顯示控制單元顯示控制單元180把由對象產(chǎn)生單元170產(chǎn)生的虛擬對象疊加在來自輸入圖像獲取單元120的輸入圖像上，由此把虛擬對象呈現(xiàn)給用戶。顯示控制單元180可把強(qiáng)調(diào)目標(biāo)部位的虛擬對象疊加在輸入圖像中的顯示目標(biāo)部位的位置上。此時，通過把虛擬對象設(shè)置為半透明，顯示控制單元180可使用戶能夠看見并檢查運(yùn)動者和虛擬對象的圖像。另一方面，顯示控制單元180可把虛擬對象疊加在輸入圖像中的運(yùn)動者周圍。此外，顯示控制單元180可把代表選擇的運(yùn)動模型的虛擬對象疊加在輸入圖像上。以下將參照圖7A至圖7C描述由顯示控制單元180顯示的虛擬對象的三個例子。(7-1)第一例子圖7A是表示在這個實(shí)施例中顯示的虛擬對象的第一例子的解釋示圖。在圖7A中，輸出圖像Iml顯示為能夠由顯示單元110顯示的例子，并且輸出圖像Iml顯示正在執(zhí)行腹部運(yùn)動的用戶Ua0此外，在輸出圖像Iml中，虛擬對象Al疊加在用戶Ua的腹部上，用戶Ua的腹部是腹部運(yùn)動的目標(biāo)部位。虛擬對象Al是強(qiáng)調(diào)運(yùn)動的目標(biāo)部位并且還使用它的顏色代表由得分計算單元160計算的有效性得分的大小程度的對象。在圖7A的例子中，虛擬對象Al的中心部分的顏色設(shè)置為代表高有效性得分。通過觀看虛擬對象Al，用戶Ua能夠直觀而清楚地知道他的/她的運(yùn)動對哪個目標(biāo)部位產(chǎn)生多大效果。另外，代表運(yùn)動模型Ma的虛擬對象也疊加在輸出圖像Iml上。(7-2)第二例子圖7B是表示在這個實(shí)施例中顯示的虛擬對象的第二例子的解釋示圖。在圖7B中，輸出圖像Im2顯示為能夠由顯示單元110顯示的例子，并且輸出圖像Im2顯示正在執(zhí)行腹部運(yùn)動的用戶Ua。此外，在輸出圖像Im2中，虛擬對象A2疊加在用戶Ua的腹部上，用戶Ua的腹部是腹部運(yùn)動的目標(biāo)部位。虛擬對象A2是強(qiáng)調(diào)運(yùn)動的目標(biāo)部位并且還根據(jù)有效性得分的大小程度夸張地表示目標(biāo)部位的外觀的變化的對象。在圖7B的例子中，根據(jù)有效性得分的大小程度夸大用戶Ua的腰圍的減小。通過觀看虛擬對象A2，用戶Ua能夠直觀且清楚地知道他的/她的運(yùn)動對哪個目標(biāo)部位產(chǎn)生多大效果。此外，通過觀看變得接近目標(biāo)的他的/她的圖像，用戶Ua運(yùn)動的動力能夠增強(qiáng)。(7-3)第三例子圖7C是表示在這個實(shí)施例中顯示的虛擬對象的第三例子的解釋示圖。在圖7C中，輸出圖像Im3顯示為能夠由顯示單元110顯示的例子，并且輸出圖像Im3顯示正在執(zhí)行腹部運(yùn)動的用戶Ua。此外，代表用戶Ua的虛擬對象A3緊挨著用戶Ua疊加在輸出圖像Im3上。圖7A中例示的虛擬對象Al還疊加在虛擬對象A3的腹部上。在圖7C的例子中，用戶Ua的圖像未被虛擬對象遮掩，因此用戶Ua能夠清楚地看見并檢查他的/她的運(yùn)動，并且還同時知道運(yùn)動的效果。[2-3.處理的流程]圖8是顯示根據(jù)這個實(shí)施例的圖像處理裝置100的圖像處理的流程的例子的流程圖。參照圖8，在大約開始運(yùn)動時，得分計算單元160獲取存儲在運(yùn)動模型DB140中的任何運(yùn)動模型(步驟S100)。對于一系列輸入圖像中的每個圖像重復(fù)下面的步驟SllO至S190的處理。首先，輸入圖像獲取單元120獲取由成像單元102產(chǎn)生的捕捉圖像作為輸入圖像(步驟 SI 10)。接下來，運(yùn)動識別單元130識別來自輸入圖像獲取單元120的輸入圖像中反映的人的運(yùn)動(步驟S120)。運(yùn)動識別單元130確定輸入圖像所屬于的時間軸上的區(qū)段(步驟S130)。例如，當(dāng)識別出新的姿勢單位開始時，運(yùn)動識別單元130能夠確定輸入圖像屬于新的區(qū)段。同時，當(dāng)識別出姿勢從前一輸入圖像繼續(xù)進(jìn)行時，運(yùn)動識別單元130能夠確定輸入圖像屬于與前一輸入圖像相同的區(qū)段。接下來，得分計算單元160確定是否針對輸入圖像計算有效性得分(步驟S140)。例如，當(dāng)僅針對反映預(yù)定姿態(tài)的幀計算有效性得分并且在輸入圖像中未反映所述預(yù)定姿態(tài)時，能夠跳過針對輸入圖像的有效性得分的計算。當(dāng)在步驟S140中確定計算有效性得分時，得分計算單元160比較由運(yùn)動識別單元130識別的運(yùn)動與運(yùn)動模型，并在它們之間的差異的基礎(chǔ)上計算有效性得分(步驟S150)。接下來，對象產(chǎn)生單元170產(chǎn)生代表由得分計算單元160計算的有效性得分的大小程度的虛擬對象(步驟S160)。這里，產(chǎn)生的虛擬對象可以是諸如圖7A至圖7C中例示的虛擬對象Al至A3。此外，對象產(chǎn)生單元170根據(jù)設(shè)置確定是否需要顯示運(yùn)動模型(步驟S170)，并且在需要顯示運(yùn)動模型時還產(chǎn)生代表運(yùn)動模型的虛擬對象(步驟S180)。顯示控制單元180把由對象產(chǎn)生單元170產(chǎn)生的虛擬對象疊加在輸入圖像上，并使顯示單元Iio顯示虛擬對象(步驟S190)。[2-4.第一實(shí)施例的總結(jié)]到目前為止，已描述根據(jù)本發(fā)明的技術(shù)的第一實(shí)施例。在這個實(shí)施例中，產(chǎn)生根據(jù)輸入圖像中反映的人的運(yùn)動的有效性而變化的虛擬對象，并且產(chǎn)生的虛擬對象被疊加在輸入圖像上。因此，可以以可見的形式把關(guān)于運(yùn)動的有效性的反饋呈現(xiàn)給用戶。此外，在這個實(shí)施例中，運(yùn)動的有效性被定量地計算為有效性得分。在運(yùn)動和被運(yùn)動者視為目標(biāo)的運(yùn)動模型之間的差異的基礎(chǔ)上，能夠計算有效性得分。因此，有效性得分的大小程度根據(jù)目標(biāo)的實(shí)現(xiàn)的程度而變化，并且用戶實(shí)現(xiàn)目標(biāo)的動力能夠增強(qiáng)。 此外，在這個實(shí)施例中，疊加在輸入圖像上的虛擬對象是強(qiáng)調(diào)運(yùn)動的目標(biāo)部位的對象。由于通過根據(jù)有效性得分的大小程度的方法強(qiáng)調(diào)運(yùn)動的目標(biāo)部位，所以用戶能夠直觀且清楚地知道運(yùn)動對哪個目標(biāo)部位產(chǎn)生多大效果。另外，運(yùn)動者和觀看來自圖像處理裝置100的輸出圖像的用戶不必是同一人。例如，通過執(zhí)行由圖像處理裝置100提供的結(jié)構(gòu)的實(shí)際應(yīng)用，如同在視頻聊天中一樣在多個用戶之間交換圖像以互相檢查運(yùn)動的效果，并且激發(fā)用戶之間的競爭精神，從而能夠進(jìn)一步提聞運(yùn)動的效果?！?.第二實(shí)施例〉在這個章節(jié)中描述的第二實(shí)施例中，產(chǎn)生適合運(yùn)動者的情況的運(yùn)動模型。根據(jù)這個實(shí)施例的圖像處理裝置200處理例如用于康復(fù)的運(yùn)動。然而，這個實(shí)施例不限于這個例子，并且也能夠應(yīng)用于其它類型的運(yùn)動。[3-1.功能結(jié)構(gòu)]圖像處理裝置200的硬件結(jié)構(gòu)可等同于圖2中例示的圖像處理裝置100的硬件結(jié)構(gòu)。圖9是顯示在圖像處理裝置200中實(shí)現(xiàn)的邏輯功能的結(jié)構(gòu)的例子的方框圖。參照圖9，圖像處理裝置200包括:輸入圖像獲取單元120、用戶接口單元225、運(yùn)動識別單元130、運(yùn)動模型DB140、用戶DB250、模型產(chǎn)生單元255、得分計算單元160、對象產(chǎn)生單元270和顯示控制單元180。(I)用戶接口單元用戶接口單元225為用戶提供用戶接口，該用戶接口接收用于產(chǎn)生運(yùn)動模型的目標(biāo)數(shù)據(jù)的輸入，稍后將對此進(jìn)行描述。目標(biāo)數(shù)據(jù)能夠包括例如視為運(yùn)動的目標(biāo)的參數(shù)值和必須實(shí)現(xiàn)目標(biāo)的日期。視為運(yùn)動的目標(biāo)的參數(shù)的類型可以是任何類型，例如用于關(guān)節(jié)彎曲和伸直運(yùn)動的彎曲角度、用于步行運(yùn)動的步行速度等。用于康復(fù)運(yùn)動的目標(biāo)數(shù)據(jù)可由運(yùn)動的病人或醫(yī)生或管理運(yùn)動的教練輸入。⑵用戶DB用戶DB250是積累為每個個體用戶準(zhǔn)備的各種數(shù)據(jù)的DB。用戶DB250存儲已結(jié)合第一實(shí)施例描述的屬性數(shù)據(jù)152。另外，在這個實(shí)施例中，用戶DB250存儲運(yùn)動歷史數(shù)據(jù)254，在運(yùn)動歷史數(shù)據(jù)254中保持每個運(yùn)動者的運(yùn)動的目標(biāo)和實(shí)際成績。運(yùn)動的目標(biāo)由通過用戶接口單元225獲取的目標(biāo)數(shù)據(jù)給出。作為運(yùn)動識別單元130和得分計算單元160的運(yùn)動識別的結(jié)果輸入并積累運(yùn)動的實(shí)際成績。運(yùn)動歷史數(shù)據(jù)254用于由模型產(chǎn)生單元255產(chǎn)生運(yùn)動模型。(3)模型產(chǎn)生單元模型產(chǎn)生單元255產(chǎn)生用于在運(yùn)動者的運(yùn)動情況的基礎(chǔ)上計算有效性得分的運(yùn)動模型。在這個實(shí)施例中，運(yùn)動情況由被用戶DB250存儲的運(yùn)動歷史數(shù)據(jù)254代表。圖10是表示由模型產(chǎn)生單元255執(zhí)行的模型產(chǎn)生處理的例子的解釋示圖。在圖10中的左側(cè)，顯示運(yùn)動歷史數(shù)據(jù)254作為例子。運(yùn)動歷史數(shù)據(jù)254具有五個數(shù)據(jù)種類，稱為“人員ID”、“記錄類型”、“日期”、“參數(shù)”和“次數(shù)”?！叭藛TID”是用于唯一地標(biāo)識運(yùn)動者的標(biāo)識符?！坝涗涱愋汀笔潜硎痉Q為“目標(biāo)”或“實(shí)際成績”的任何值的分類值?！叭掌凇北硎咎岢鲇蓪?yīng)記錄表示的目標(biāo)的日期或達(dá)到由對應(yīng)記錄表示的實(shí)際成績的日期?！皡?shù)”表示作為目標(biāo)輸入的參數(shù)值或?qū)崿F(xiàn)的參數(shù)值?！按螖?shù)”表示作為目標(biāo)輸入的運(yùn)動的次數(shù)或?qū)崿F(xiàn)運(yùn)動的次數(shù)。使用像這樣的運(yùn)動歷史數(shù)據(jù)254，模型產(chǎn)生單元255在運(yùn)動者的運(yùn)動的目標(biāo)和實(shí)際成績的基礎(chǔ)上產(chǎn)生在圖10中的右側(cè)例示的運(yùn)動模型242。在圖10的例子中，運(yùn)動模型242表示人員ID為“UA”的人必須在“2011年11月I日”執(zhí)行運(yùn)動“50”次并具有參數(shù)值“P24”的目標(biāo)?？赏ㄟ^以前實(shí)際成績值和未來目標(biāo)值之間的內(nèi)插計算目標(biāo)參數(shù)值。此外，可通過計算并使用類似的人(例如，具有有著類似癥狀的疾病的另一康復(fù)病人)的一般統(tǒng)計數(shù)據(jù)計算目標(biāo)參數(shù)值。像在第一實(shí)施例中一樣，圖像處理裝置200的運(yùn)動識別單元130識別來自輸入圖像獲取單元120的輸入圖像中反映的人的運(yùn)動。然后，得分計算單元160在由模型產(chǎn)生單元255產(chǎn)生的運(yùn)動模型和識別的運(yùn)動之間的差異的基礎(chǔ)上針對由運(yùn)動識別單元130確定的每個區(qū)段計算有效性得分。(4)對象產(chǎn)生單元對象產(chǎn)生單元270產(chǎn)生代表由得分計算單元160計算的有效性得分的大小程度的虛擬對象。在這個實(shí)施例中，由對象產(chǎn)生單元270產(chǎn)生的虛擬對象可以是例如根據(jù)得分的大小程度夸張地表示目標(biāo)部位的移動的對象。圖11是顯示在這個施例中在運(yùn)動開始時顯示的圖像的例子的解釋示圖。參照圖11，在輸出圖像Im4中反映執(zhí)行肘關(guān)節(jié)的康復(fù)運(yùn)動的用戶Ua的右臂。特征點(diǎn)位置P21是右臂的手掌將會最終到達(dá)的目標(biāo)位置。特征點(diǎn)位置P23是右臂的手掌已在以前康復(fù)運(yùn)動中到達(dá)的位置。特征點(diǎn)位置P24是右臂的手掌將會在這次的康復(fù)運(yùn)動中到達(dá)的目標(biāo)位置。另夕卜，輸出圖像Im4不僅可以在運(yùn)動開始時顯示，還可以在運(yùn)動期間(例如，當(dāng)運(yùn)動暫停時)顯不O圖12是表示在這個實(shí)施例中顯示的虛擬對象的例子的解釋示圖。在圖12中，輸出圖像Im5顯示為能夠由圖像處理裝置200的顯示單元110顯示的例子，并且輸出圖像Im5顯示正在執(zhí)行肘部的康復(fù)運(yùn)動的用戶Ua的右臂。虛擬對象A4疊加在輸出圖像Im5上。通過處理作為運(yùn)動的目標(biāo)部位的右臂的圖像產(chǎn)生虛擬對象A4，并且虛擬對象A4根據(jù)得分的大小程度夸張地表示目標(biāo)部位的移動。換句話說，在圖12的例子中，手掌的實(shí)際到達(dá)位置P25不同于虛擬對象A4的手掌的到達(dá)位置P26。到達(dá)位置P26被確定為隨著有效性得分增加而接近目標(biāo)位置P21。像這樣的虛擬對象A4被顯示給康復(fù)病人，并且病人由此變?yōu)橹涝趶陌Y狀恢復(fù)之后他的/她的圖像，從而康復(fù)運(yùn)動的動力能夠增強(qiáng)。[3-2.處理的流程]圖13是顯示根據(jù)這個實(shí)施例的圖像處理裝置200的圖像處理的流程的例子的流程圖。參照圖13，在大約開始運(yùn)動時，模型產(chǎn)生單元255在運(yùn)動者的運(yùn)動的目標(biāo)和實(shí)際成績的基礎(chǔ)上產(chǎn)生運(yùn)動模型(步驟S200)。對于一系列輸入圖像中的每個圖像重復(fù)下面的步驟S210至S290的處理。首先，輸入圖像獲取單元120獲取由成像單元102產(chǎn)生的捕捉圖像作為輸入圖像(步驟 S210)。接下來，運(yùn)動識別單元130識別來自輸入圖像獲取單元120的輸入圖像中反映的人的運(yùn)動(步驟S220)。然后，運(yùn)動識別單元130確定輸入圖像所屬于的時間軸上的區(qū)段(步驟 S230)。接下來，得分計算單元160確定是否針對輸入圖像計算有效性得分(步驟S240)。當(dāng)在步驟S240中確定計算有效性得分時，得分計算單元160比較輸入圖像中反映的人的運(yùn)動與由模型產(chǎn)生單元255產(chǎn)生的運(yùn)動模型，并在它們之間的差異的基礎(chǔ)上計算有效性得分(步驟 S250)。接下來，對象產(chǎn)生單元270產(chǎn)生根據(jù)由得分計算單元160計算的有效性得分的大小程度夸大目標(biāo)部位的移動的虛擬對象(步驟S260)。此外，對象產(chǎn)生單元270根據(jù)設(shè)置確定是否需要顯示運(yùn)動模型(步驟S270)，并且在需要顯示運(yùn)動模型時還產(chǎn)生代表運(yùn)動模型的虛擬對象(步驟S280)。顯示控制單元180把由對象產(chǎn)生單元270產(chǎn)生的虛擬對象疊加在輸入圖像上，并使顯示單元Iio顯示虛擬對象(步驟S290)。[3-3.第二實(shí)施例的總結(jié)]到目前為止，已描述根據(jù)本發(fā)明的技術(shù)的第二實(shí)施例。在這個實(shí)施例中，計算代表輸入圖像中反映的人的運(yùn)動的有效性的有效性得分，并且代表計算的有效性得分的大小程度的虛擬對象疊加在輸入圖像上。因此，可以以可見的形式把關(guān)于運(yùn)動的有效性的反饋呈現(xiàn)給用戶。此外，由于在視為目標(biāo)的運(yùn)動模型和運(yùn)動之間的差異的基礎(chǔ)上計算有效性得分，所以用戶的實(shí)現(xiàn)目標(biāo)的動機(jī)能夠增強(qiáng)。 此外，在這個實(shí)施例中，在運(yùn)動的目標(biāo)和實(shí)際成績的基礎(chǔ)上產(chǎn)生適合運(yùn)動者的運(yùn)動模型。因此，當(dāng)每個個人需要運(yùn)動管理時，計算更加適合運(yùn)動情況的有效性得分，并且能夠有效地支持每個運(yùn)動。此外，在這個實(shí)施例中，根據(jù)有效性得分的大小程度由虛擬對象夸張地表示運(yùn)動的目標(biāo)部位的移動。換句話說，當(dāng)日常運(yùn)動(諸如，康復(fù)運(yùn)動等)的結(jié)果顯示為幾乎不像實(shí)際移動時，結(jié)果被以強(qiáng)調(diào)的形式呈現(xiàn)給用戶。因此，用戶的運(yùn)動的動力能夠進(jìn)一步增強(qiáng)?！?.第三實(shí)施例〉在這個章節(jié)中描述的第三實(shí)施例中，運(yùn)動者的外觀的預(yù)期變化被呈現(xiàn)給用戶。根據(jù)這個實(shí)施例的圖像處理裝置300處理例如用于訓(xùn)練的運(yùn)動。然而，這個實(shí)施例不限于這個例子，并且也能夠應(yīng)用于其它類型的運(yùn)動。[4-1.功能結(jié)構(gòu)]圖像處理裝置300的硬件結(jié)構(gòu)可等同于圖2中例示的圖像處理裝置100的硬件結(jié)構(gòu)。圖14是顯示在圖像處理裝置300中實(shí)現(xiàn)的邏輯功能的結(jié)構(gòu)的例子的方框圖。參照圖14，圖像處理裝置300包括:輸入圖像獲取單元120、用戶接口單元325、運(yùn)動識別單元130、運(yùn)動模型DB140、用戶DB350、得分計算單元360、對象產(chǎn)生單元370和顯示控制單元180。(I)用戶接口單元用戶接口單元325為用戶提供用戶接口，該用戶接口接收用于從有效性得分到體型得分的轉(zhuǎn)換的生活歷史數(shù)據(jù)的輸入，稍后將對此進(jìn)行描述。生活歷史數(shù)據(jù)能夠包括以預(yù)定時間段(一天、一周等)輸入的例如用戶飯量、在用戶外出時的運(yùn)動量、睡眠量等?？赏ㄟ^圖像處理裝置300的輸入單元106輸入這些數(shù)據(jù)，或者這些數(shù)據(jù)輸入到如圖1B中所例示的終端裝置10并通過通信單元112被接收。⑵用戶DB用戶DB350是積累為每個個體用戶準(zhǔn)備的各種數(shù)據(jù)的DB。用戶DB350存儲已結(jié)合第一實(shí)施例描述的屬性數(shù)據(jù)152。另外，在這個實(shí)施例中，用戶DB350存儲通過用戶接口單元325獲取的前述生活歷史數(shù)據(jù)356。參照圖15，生活歷史數(shù)據(jù)356顯示為存儲在用戶DB350中的例子。生活歷史數(shù)據(jù)356具有五個數(shù)據(jù)種類，稱為“人員ID”、“日期”、“飯量”、“運(yùn)動量”和“睡眠量”?！叭藛TID”是用于唯一地標(biāo)識運(yùn)動者的標(biāo)識符?！叭掌凇北硎九c由對應(yīng)記錄表示的生活歷史相關(guān)的日期。“飯量”表示在對應(yīng)時間段中由人員ID標(biāo)識的人吃飯的量?！斑\(yùn)動量”表示在對應(yīng)時間段中在人在外出時他/她已執(zhí)行的運(yùn)動的量等?！八吡俊北硎驹趯?yīng)時間段中人已經(jīng)睡眠的時間的量。(3)得分計算單元得分計算單元360計算代表由運(yùn)動識別單元130識別的運(yùn)動的有效性的得分，像根據(jù)第一實(shí)施例的得分計算單元160 —樣。更具體地講，當(dāng)運(yùn)動被運(yùn)動識別單元130識別時，得分計算單元360根據(jù)參照圖6A至圖6D描述的任何方法(或另一方法)在識別的運(yùn)動和運(yùn)動模型之間的差異的基礎(chǔ)上計算有效性得分。另外，在這個實(shí)施例中，得分計算單元360從用戶DB350獲取運(yùn)動者的生活歷史數(shù)據(jù)356，并使用獲取的數(shù)據(jù)把有效性得分轉(zhuǎn)換成體型得分。這里，作為例子，體型得分越大，人越重。根據(jù)至少以下的基準(zhǔn)Cl計算體型得分。此外，基準(zhǔn)C2至基準(zhǔn)C4中的一種或多種可與基準(zhǔn)Cl組合。-基準(zhǔn)Cl:有效性得分越大，體型得分越小-基準(zhǔn)C2:在預(yù)定時間段中的飯量越大，體型得分越大-基準(zhǔn)C3:在預(yù)定時間段中的運(yùn)動量越大，體型得分越小-基準(zhǔn)C4:在預(yù)定時間段中的睡眠量越大，體型得分越大得分計算單元360以這種方法針對每個區(qū)段計算體型得分，并把計算的體型得分輸出到對象產(chǎn)生單元370。(4)對象產(chǎn)生單元對象產(chǎn)生單元370產(chǎn)生代表有效性得分的大小程度的虛擬對象。在這個實(shí)施例中，對象產(chǎn)生單元370實(shí)際上根據(jù)從有效性得分轉(zhuǎn)換的體型得分的值產(chǎn)生將要疊加在輸入圖像上的虛擬對象。由對象產(chǎn)生單元370產(chǎn)生的虛擬對象可以是代表針對當(dāng)前執(zhí)行的運(yùn)動被持續(xù)地執(zhí)行的情況下的目標(biāo)部位的未來外觀的對象。圖16是顯示在第三施例中在運(yùn)動開始時顯示的圖像的例子的解釋示圖。圖16顯示用于使用戶選擇根據(jù)運(yùn)動時間的長度分類的課程和未來時間點(diǎn)的用戶界面的圖像Im6。在運(yùn)動開始時，用戶選擇課程和未來時間點(diǎn)。這里，當(dāng)對象產(chǎn)生單元370估計目標(biāo)部位的未來外觀時，由用戶選擇的未來時間點(diǎn)變?yōu)闀r間基準(zhǔn)。圖17是表示由對象產(chǎn)生單元370執(zhí)行的目標(biāo)產(chǎn)生處理的例子的解釋示圖。在圖17的左上側(cè)，顯示作為運(yùn)動者的用戶Ua的輪廓。這里，運(yùn)動的目標(biāo)部位是軀干。根據(jù)與由用戶選擇的課程對應(yīng)的運(yùn)動時間的長度、到未來時間點(diǎn)為止過去的時間的長度和由得分計算單元360在運(yùn)動期間計算的體型得分，對象產(chǎn)生單元370估計在選擇的未來時間點(diǎn)的目標(biāo)部位的外觀。例如，針對一天一次持續(xù)地執(zhí)行相同課程的運(yùn)動直至未來時間點(diǎn)為止的情況，能夠估計目標(biāo)部位的外觀。這里，重要的是，以可見的形式改變估計的體型，并且估計的準(zhǔn)確性不重要。因此，估計可以不是精確的。圖17中顯示的虛擬對象A51是代表用戶Ua的稍微變細(xì)的軀干的對象，并且當(dāng)選擇“ 10分鐘課程”和“在一個月之后”時能夠產(chǎn)生該虛擬對象A51。虛擬對象A52是代表用戶Ua的進(jìn)一步變細(xì)的軀干的對象，并且當(dāng)選擇“30分鐘課程”和“在六個月之后”時能夠產(chǎn)生虛擬對象A52。此外，針對不執(zhí)行運(yùn)動的情況，對象產(chǎn)生單元370可產(chǎn)生代表目標(biāo)部位的未來外觀的對象。圖17中顯示的虛擬對象A59是代表當(dāng)假設(shè)不執(zhí)行運(yùn)動時的用戶Ua的肥胖的軀干的對象。圖18是表示在這個實(shí)施例中顯示的虛擬對象的例子的解釋示圖。在圖18中，輸出圖像Im7顯示為能夠由圖像處理裝置300的顯示單元110顯示的例子，并且輸出圖像Im7顯示正在執(zhí)行塑形運(yùn)動的用戶Ua。在塑形運(yùn)動開始時，已選擇“10分鐘課程”和“在一個月之后”。在輸出圖像Im7中，圖17中例示的虛擬對象A51疊加在用戶Ua的軀干上。此外，虛擬對象A61疊加在用戶Ua的頭部。各虛擬對象A51和A61代表用戶Ua的在選擇的未來時間點(diǎn)稍微變細(xì)的目標(biāo)部位。雖然在圖中未示出，但代表當(dāng)假設(shè)不執(zhí)行運(yùn)動時估計的外觀的虛擬對象(圖17中例示的虛擬對象A59等)可另外疊加在用戶Ua附近。這些虛擬對象被顯示給用戶，并且用戶由此變?yōu)橹肋\(yùn)動的預(yù)期結(jié)果，從而能夠激發(fā)用戶繼續(xù)執(zhí)行塑形運(yùn)動。[4-2.處理的流程]圖19是顯示根據(jù)這個實(shí)施例的圖像處理裝置300的圖像處理的流程的例子的流程圖。參照圖19，在大約開始運(yùn)動時，得分計算單元360獲取用戶DB350中積累的生活歷史數(shù)據(jù)356 (步驟S300)。此外，得分計算單元360獲取由運(yùn)動模型DB140存儲的任何運(yùn)動模型(步驟S304)。對象產(chǎn)生單元370標(biāo)識已由用戶通過用戶接口單元325選擇的運(yùn)動課程和未來時間點(diǎn)(步驟S308)。對于一系列輸入圖像中的每個圖像重復(fù)下面的步驟S310至S390的處理。首先，輸入圖像獲取單元120獲取由成像單元102產(chǎn)生的捕捉圖像作為輸入圖像(步驟 S310)。接下來，運(yùn)動識別單元130識別來自輸入圖像獲取單元120的輸入圖像中反映的人的運(yùn)動(步驟S320)。然后，運(yùn)動識別單元130確定輸入圖像所屬于的時間軸上的區(qū)段(步驟 S330)。接下來，得分計算單元360確定是否針對輸入圖像計算得分(步驟S340)。當(dāng)在步驟S340中確定計算得分時，得分計算單元360比較輸入圖像中反映的人的運(yùn)動與運(yùn)動模型，并在它們之間的差異的基礎(chǔ)上計算有效性得分(步驟S350)。此外，得分計算單元360使用生活歷史數(shù)據(jù)356把有效性得分轉(zhuǎn)換成體型得分(步驟S355)。接下來，對象產(chǎn)生單元370根據(jù)從得分計算單元360輸入的體型得分以及由用戶選擇的課程和未來時間點(diǎn)產(chǎn)生代表目標(biāo)部位的未來外觀的虛擬對象(步驟S360)。此外，對象產(chǎn)生單元370根據(jù)設(shè)置確定是否需要顯示運(yùn)動模型(步驟S370)，并且在需要顯示運(yùn)動模型時還產(chǎn)生代表運(yùn)動模型的虛擬對象(步驟S380)。顯示控制單元180把由對象產(chǎn)生單元370產(chǎn)生的虛擬對象疊加在輸入圖像上，并使顯示單元110顯示虛擬對象(步驟S390)。[4-3.第三實(shí)施例的總結(jié)]到目前為止，已描述根據(jù)本發(fā)明的技術(shù)的第三實(shí)施例。在這個實(shí)施例中，表示輸入圖像中反映的人的運(yùn)動的有效性的有效性得分被轉(zhuǎn)換成體型得分，并且代表體型得分的大小程度的虛擬對象疊加在輸入圖像上。因此，可以以稱為用戶的虛擬體型的可見的形式把關(guān)于運(yùn)動的有效性的反饋呈現(xiàn)給用戶。此外，在這個實(shí)施例中，疊加在輸入圖像上的虛擬對象根據(jù)體型得分的大小程度夸張地表示運(yùn)動的目標(biāo)部位的外觀的變化。此外，針對持續(xù)地執(zhí)行運(yùn)動的情況估計的目標(biāo)部位的未來外觀被呈現(xiàn)給用戶。因此，用戶能夠清楚地知道未來預(yù)期的運(yùn)動的結(jié)果，并且能夠被激發(fā)以繼續(xù)執(zhí)行運(yùn)動。到目前為止，已詳細(xì)描述根據(jù)本發(fā)明的三個實(shí)施例。這些實(shí)施例的各種特性可按照任何形式組合。例如，在第一實(shí)施例和第三實(shí)施例的應(yīng)用中，可在運(yùn)動的目標(biāo)和實(shí)際成績的基礎(chǔ)上產(chǎn)生適合運(yùn)動者的運(yùn)動模型。此外，例如在第一實(shí)施例和第二實(shí)施例的應(yīng)用中，通過計算并使用生活歷史數(shù)據(jù)可計算有效性得分。另外，根據(jù)各種運(yùn)動情況，有效性得分可以以某種方式被修改或轉(zhuǎn)換成另一類型的得分?？墒褂密浖?、硬件以及軟件和硬件的組合中的任何一種實(shí)現(xiàn)由本說明書中描述的各裝置執(zhí)行的一系列控制處理。構(gòu)成該軟件的程序被提前包含在例如安裝在每個裝置中或在每個裝置外面的存儲介質(zhì)中。在執(zhí)行時，每個程序由例如隨機(jī)存取存儲器(RAM)讀取并由處理器(諸如，中央處理單元(CPU)等)執(zhí)行。此外，每個裝置的一些邏輯功能可安裝在存在于云計算環(huán)境中的裝置上而非安裝在對應(yīng)裝置上。在這種情況下，能夠通過圖2中例示的通信單元112在裝置之間發(fā)送或接收在邏輯功能之間交換的信息。本領(lǐng)域技術(shù)人員應(yīng)該理解，在不脫離所附權(quán)利要求或其等同物的范圍的情況下，可以根據(jù)設(shè)計的需要和其它因素做出各種變型、組合、子組合和替換。另外，本技術(shù)也可如下構(gòu)造。(I) 一種圖像處理裝置，包括:識別單元，識別輸入圖像中反映的人的運(yùn)動；和顯示控制單元，在輸入圖像上疊加虛擬對象，所述虛擬對象根據(jù)由識別單元識別的運(yùn)動的有效性而變化。(2)如(I)所述的圖像處理裝置，還包括:得分計算單元，計算表示由識別單元識別的運(yùn)動的有效性的得分，其中顯示控制單元在輸入圖像上疊加代表由得分計算單元計算的得分的大小的虛擬對象。(3)如⑵所述的圖像處理裝置，其中所述得分計算單元基于視為目標(biāo)的運(yùn)動模型和運(yùn)動之間的差異計算得分。(4)如(3)所述的圖像處理裝置，其中所述運(yùn)動模型是通過預(yù)先對作為教師的人的運(yùn)動建模獲得的數(shù)據(jù)。(5)如(3)所述的圖像處理裝置，還包括:模型產(chǎn)生單元，在人的運(yùn)動的目標(biāo)和實(shí)際成績的基礎(chǔ)上產(chǎn)生運(yùn)動模型。(6)如(2)至(5)中任何一項(xiàng)所述的圖像處理裝置，其中所述虛擬對象是強(qiáng)調(diào)運(yùn)動的目標(biāo)部位的對象。(7)如(6)所述的圖像處理裝置，其中所述虛擬對象根據(jù)得分的大小夸張地表示目標(biāo)部位的外觀的變化。(8)如(7)所述的圖像處理裝置，其中所述虛擬對象代表針對持續(xù)地執(zhí)行運(yùn)動的情況下的目標(biāo)部位的未來外觀。(9)如(6)所述的圖像處理裝置，其中所述虛擬對象根據(jù)得分的大小夸張地表示目標(biāo)部位的移動。
(10)如(6)至(9)中任何一項(xiàng)所述的圖像處理裝置，其中所述顯示控制單元把虛擬對象疊加在輸入圖像中的反映目標(biāo)部位的位置上。(11)如⑵至(9)中任何一項(xiàng)所述的圖像處理裝置，其中所述顯示控制單元把虛擬對象疊加在輸入圖像中的人附近。(12)如⑵至(11)中任何一項(xiàng)所述的圖像處理裝置，其中所述得分計算單元通過另外使用補(bǔ)充地表示運(yùn)動的有效性的傳感器數(shù)據(jù)來計算得分。(13)如⑵至(11)中任何一項(xiàng)所述的圖像處理裝置，其中所述得分計算單元通過另外使用代表人的生活歷史的生活歷史數(shù)據(jù)來計算得分。(14)如⑵至(13)中任何一項(xiàng)所述的圖像處理裝置，其中由存在于云計算環(huán)境中的裝置來替代所述圖像處理裝置實(shí)現(xiàn)識別單元、得分計算單元和顯示控制單元中的至少一個。(15) —種圖像處理方法，包括:識別輸入圖像中反映的人的運(yùn)動；以及在輸入圖像上疊加虛擬對象，所述虛擬對象根據(jù)識別的運(yùn)動的有效性而變化。(16) 一種程序，用于使控制圖像處理裝置的計算機(jī)用作:識別單元，識別輸入圖像中反映的人的運(yùn)動；和顯示控制單元，在輸入圖像上疊加虛擬對象，所述虛擬對象根據(jù)由識別單元識別的運(yùn)動的有效性而變化。本發(fā)明包含與2011年11月15日提交給日本專利局的日本優(yōu)先權(quán)專利申請JP2011-249751中公開的主題相關(guān)的主題，該專利申請的全部內(nèi)容通過引用包含于此。
權(quán)利要求
1.一種圖像處理裝置，包括: 識別單元，識別輸入圖像中反映的人的運(yùn)動；和 顯示控制單元，在輸入圖像上疊加虛擬對象，所述虛擬對象根據(jù)由識別單元識別的運(yùn)動的有效性而變化。
2.如權(quán)利要求1所述的圖像處理裝置，還包括: 得分計算單元，計算表示由識別單元識別的運(yùn)動的有效性的得分， 其中顯示控制單元在輸入圖像上疊加代表由得分計算單元計算的得分的大小的虛擬對象。
3.如權(quán)利要求2所述的圖像處理裝置，其中 所述得分計算單元基于視為目標(biāo)的運(yùn)動模型和運(yùn)動之間的差異計算得分。
4.如權(quán)利要求3所述的圖像處理裝置，其中 所述運(yùn)動模型是通過預(yù)先對作為教師的人的運(yùn)動建模獲得的數(shù)據(jù)。
5.如權(quán)利要求3所述的圖像處理裝置，還包括: 模型產(chǎn)生單元，在人的運(yùn)動的目標(biāo)和實(shí)際成績的基礎(chǔ)上產(chǎn)生運(yùn)動模型。
6.如權(quán)利要求2所述的圖像處理裝置， 其中所述虛擬對象是強(qiáng)調(diào)運(yùn)動的目標(biāo)部位的對象。
7.如權(quán)利要求6所述的圖像處理裝置， 其中所述虛擬對象根據(jù)得分的大小夸張地表示目標(biāo)部位的外觀的變化。
8.如權(quán)利要求7所述的圖像處理裝置， 其中所述虛擬對象代表針對持續(xù)地執(zhí)行運(yùn)動的情況下的目標(biāo)部位的未來外觀。
9.如權(quán)利要求6所述的圖像處理裝置， 其中所述虛擬對象根據(jù)得分的大小夸張地表示目標(biāo)部位的移動。
10.如權(quán)利要求6所述的圖像處理裝置， 其中所述顯示控制單元把虛擬對象疊加在輸入圖像中的反映目標(biāo)部位的位置上。
11.如權(quán)利要求2所述的圖像處理裝置， 其中所述顯示控制單元把虛擬對象疊加在輸入圖像中的人附近。
12.如權(quán)利要求2所述的圖像處理裝置， 其中所述得分計算單元通過另外使用補(bǔ)充地表示運(yùn)動的有效性的傳感器數(shù)據(jù)來計算得分。
13.如權(quán)利要求2所述的圖像處理裝置， 其中所述得分計算單元通過另外使用代表人的生活歷史的生活歷史數(shù)據(jù)來計算得分。
14.如權(quán)利要求2所述的圖像處理裝置， 其中由存在于云計算環(huán)境中的裝置來替代所述圖像處理裝置實(shí)現(xiàn)識別單元、得分計算單元和顯示控制單元中的至少一個。
15.—種圖像處理方法,包括: 識別輸入圖像中反映的人的運(yùn)動；以及 在輸入圖像上疊加虛擬對象，所述虛擬對象根據(jù)識別的運(yùn)動的有效性而變化。
16.一種程序，用于使控制圖像處理裝置的計算機(jī)用作: 識別單元，識別輸入圖像中反映的人的運(yùn)動；和顯示控制單元，在輸入圖像上疊加虛擬對象，所述虛擬對象根據(jù)由識別單元識別的運(yùn)動的有效性而變化 。
全文摘要
提供了一種圖像處理裝置，包括識別單元，識別輸入圖像中反映的人的運(yùn)動；和顯示控制單元，在輸入圖像上疊加虛擬對象，所述虛擬對象根據(jù)由識別單元識別的運(yùn)動的有效性而變化。圖像處理裝置還包括得分計算單元，計算表示由識別單元識別的運(yùn)動的有效性的得分，并且顯示控制單元在輸入圖像上疊加代表由得分計算單元計算的得分的大小的虛擬對象。
文檔編號A63B69/00GK103100193SQ20121044240
公開日2013年5月15日 申請日期2012年11月8日 優(yōu)先權(quán)日2011年11月15日
發(fā)明者下村秀樹, 蘆原隆之, 脅田能宏, 小林誠司 申請人:索尼公司