本公開涉及一種效果生成裝置、效果生成方法以及程序。具體地，本公開涉及使得能夠根據(jù)物理對象之間的交互生成新效果的效果生成裝置、效果生成方法以及程序。

背景技術(shù)：

在過去，應(yīng)用增強(qiáng)現(xiàn)實(ar)技術(shù)的產(chǎn)品或服務(wù)已被推廣。增強(qiáng)現(xiàn)實(ar)技術(shù)實現(xiàn)了在智能手機(jī)或游戲機(jī)的屏幕中真實世界中的對象和虛擬世界中的對象之間的交互。在這樣的技術(shù)中，其中一種技術(shù)是使用多張卡(物理對象)來實現(xiàn)與屏幕(虛擬世界)中的與各個卡相關(guān)聯(lián)的角色(虛擬對象)的交互，其示例包括卡片游戲。

根據(jù)該技術(shù)，在大多數(shù)情況下，僅基于物理對象之間的位置關(guān)系來指定交互內(nèi)容，因此，不僅在物理世界中實施的操作內(nèi)容受到限制，而且與該操作內(nèi)容相對應(yīng)的虛擬對象的交互內(nèi)容也受到限制。

與之相比，例如，專利文獻(xiàn)1提出了一種用于分析面部、事物等的各個特征點并且隨后使用特征點分析的結(jié)果來改變要伴隨各個特征點的、虛擬效果的類型或呈現(xiàn)虛擬效果的方式的方法。

同時，專利文獻(xiàn)2提出了一種方法，該方法用于分析面部、事物等的各個特征點，并且甚至對特征點賦予含義(例如，當(dāng)觀察到彎曲的手指運動時，賦予“抓握”)，以利用通過以此方式賦予含義而獲得的結(jié)果。例如，這實現(xiàn)了相關(guān)的虛擬對象(例如，在屏幕中的手)或者受該相關(guān)的虛擬對象影響的虛擬對象(例如，在屏幕中的球)的變換，或者替選地，實現(xiàn)了它們之間的交互(例如，在屏幕中手抓握球)。

引用列表

專利文獻(xiàn)

專利文獻(xiàn)1：日本專利申請?zhí)亻_第2014-006912號。

專利文獻(xiàn)2：日本專利申請?zhí)乇淼?012-521039號。

技術(shù)實現(xiàn)要素：

本發(fā)明要解決的問題

順帶一提，專利文獻(xiàn)1和2均僅實現(xiàn)了在多個物理對象在真實世界中交互時與這些物理對象分別相關(guān)聯(lián)的虛擬對象之間的交互，但未實現(xiàn)在這種場景中新的虛擬效果的呈現(xiàn)。例如，在真實世界中進(jìn)行在手中傾斜杯子的動作的情況下，在虛擬世界中同樣通過與手和杯子相關(guān)聯(lián)的虛擬對象簡單地實現(xiàn)類似的交互，但不會呈現(xiàn)喝杯子中的水的虛擬效果。

本公開已對這種情況進(jìn)行了考慮，并且本公開的目的是使得能夠根據(jù)物理對象之間的交互生成新的效果。

解決問題的方案

根據(jù)本公開的一方面的一種效果生成裝置包括：檢測器，其從輸入圖像檢測至少包括面部的兩個或更多個目標(biāo)對象；以及效果生成器，其根據(jù)由檢測器檢測到的目標(biāo)對象之間的關(guān)系生成預(yù)定的對應(yīng)效果。

根據(jù)本公開的一方面的一種效果生成方法或程序包括：從輸入圖像檢測至少包括面部的兩個或更多個目標(biāo)對象的步驟；以及根據(jù)檢測到的目標(biāo)對象之間的關(guān)系生成預(yù)定的對應(yīng)效果的步驟。

根據(jù)本公開的一方面，從輸入圖像檢測至少包括面部的兩個或更多個目標(biāo)對象，隨后，根據(jù)這些檢測到的目標(biāo)對象之間的關(guān)系生成預(yù)定的對應(yīng)效果。

本發(fā)明的效果

本公開的一方面使得能夠根據(jù)物理對象之間的交互生成新的效果。

附圖說明

圖1是示出了根據(jù)應(yīng)用本技術(shù)的實施方式的圖像處理裝置的示例配置的框圖。

圖2是用于說明由圖像處理裝置進(jìn)行的示例圖像處理的圖。

圖3是示出了在面部解讀處理期間參考的示例模型數(shù)據(jù)的圖。

圖4是示出了檢測到的對象的示例的圖。

圖5是示出了在對象解讀處理期間參考的示例模型數(shù)據(jù)的圖。

圖6是示出了在交互解讀處理期間參考的示例交互模型數(shù)據(jù)的圖。

圖7是用于說明圖(map)創(chuàng)建處理的圖。

圖8是用于說明圖像處理的流程圖。

圖9是用于說明面部相關(guān)處理的流程圖。

圖10是用于說明對象相關(guān)處理的流程圖。

圖11是用于說明與兩個主體人物的面部之間的交互相對應(yīng)的虛擬效果的圖。

圖12是用于說明與大量的主體人物之間的交互相對應(yīng)的虛擬效果的圖。

圖13是用于說明改變虛擬效果的示例的圖。

圖14是用于說明圖像處理裝置進(jìn)行的其他示例圖像處理的圖。

圖15是示出了根據(jù)應(yīng)用本技術(shù)的實施方式的計算機(jī)示例配置的框圖。

具體實施方式

下文中，將參考附圖詳細(xì)地描述應(yīng)用本技術(shù)的具體的實施方式。

圖1是示出了用作根據(jù)應(yīng)用本技術(shù)的實施方式的效果生成裝置的圖像處理裝置的示例配置的框圖。

圖1中所示的圖像處理裝置11能夠通過將由成像單元12捕獲到的圖像作為輸入圖像而使用在記錄單元13中記錄的各種數(shù)據(jù)對輸入圖像應(yīng)用圖像處理，隨后將已應(yīng)用了圖像處理的該圖像輸出作為輸出圖像以顯示于顯示單元14上。例如，圖像處理裝置11可以作為諸如數(shù)字?jǐn)z像裝置的成像裝置提供的一個功能而被置于該成像裝置中。

圖像處理裝置11的配置包括數(shù)字信號處理單元21、面部檢測器22、對象檢測器23、距離測量單元24、面部特征點分析器25、對象特征點分析器26、面部解讀單元27、對象解讀單元28、交互解讀單元29、圖創(chuàng)建單元30以及顯示圖像創(chuàng)建單元31。

由成像單元12捕獲到的運動圖像被逐幀地提供到數(shù)字信號處理單元21。隨后，數(shù)字信號處理單元21對每幀的圖像依次應(yīng)用圖像處理裝置11執(zhí)行圖像處理所需的各種類型的數(shù)字信號處理，隨后將結(jié)果圖像提供到面部檢測器22、對象檢測器23和距離測量單元24。

面部檢測器22進(jìn)行面部檢測處理，以從由數(shù)字信號處理單元21提供圖像檢測主體人物的面部作為要被檢測的目標(biāo)對象，并且當(dāng)面部的檢測成功時，將面部區(qū)域提供到面部特征點分析器25，其中，該面部區(qū)域是通過從圖像中裁剪出面部出現(xiàn)的區(qū)域而獲得的。面部檢測器22還找出指示面部在圖像中的位置的面部位置信息(例如，在圖像上的x坐標(biāo)和y坐標(biāo))，以提供到交互解讀單元29和圖創(chuàng)建單元30。

對象檢測器23進(jìn)行對象檢測處理，以從由數(shù)字信號處理單元21提供的圖像檢測特定對象作為要被檢測的目標(biāo)對象，并且當(dāng)對象的檢測成功時，將對象區(qū)域提供到對象特征點分析器26，其中，該對象區(qū)域是通過從圖像中裁剪出對象出現(xiàn)的區(qū)域而獲得的。對象檢測器23還找出指示對象在圖像中的位置的對象位置信息(例如，在圖像上的x坐標(biāo)和y坐標(biāo))，以提供到交互解讀單元29和圖創(chuàng)建單元30。

距離測量單元24在從數(shù)字信號處理單元21提供的整個圖像中測量從成像裝置12到在圖像中出現(xiàn)的所有事物的距離，隨后例如找出關(guān)于構(gòu)成圖像的每個像素的深度信息(例如，在與圖像表面垂直相交的z方向上的距離)。隨后，距離測量單元24將關(guān)于每個像素的深度信息連同從數(shù)字信號處理單元21提供的圖像一起提供到交互解讀單元29和圖創(chuàng)建單元30。應(yīng)注意的是，距離測量單元24可以例如被配置成使得至少能測量距由面部檢測器22檢測到的面部的距離以及距由對象檢測器23檢測到的對象的距離。

一旦從面部檢測器22提供了面部區(qū)域，面部特征點分析器25就進(jìn)行分析處理，以提取包括在該面部區(qū)域中的多個特征點(例如，用于定位面部的各個部分(諸如眼睛、鼻子和嘴巴)的點)。隨后，面部特征點分析器25獲取這些特征點的位置作為分析結(jié)果，以提供到面部解讀單元27。

一旦從對象檢測器23提供了對象區(qū)域，對象特征點分析器26就進(jìn)行分析處理，以提取包括在該對象區(qū)域中的多個特征點(例如，用于定位構(gòu)成對象的各個部分(諸如外形和標(biāo)識)的點)。隨后，對象特征點分析器26獲取這些特征點的位置作為分析結(jié)果，以提供到對象解讀單元28。

面部解讀單元27基于從面部特征點分析器25提供的分析結(jié)果、通過參考如圖3(稍后描述)所示的模型數(shù)據(jù)進(jìn)行面部解讀處理，以解讀圖像中出現(xiàn)的面部的狀態(tài)并且隨后對該面部狀態(tài)賦予含義。隨后，面部解讀單元27將指示通過面部解讀處理確定的面部狀態(tài)的標(biāo)志名稱提供到交互解讀單元29。應(yīng)注意的是，稍后將參考圖3中所示的模型數(shù)據(jù)描述面部解讀單元27進(jìn)行的面部解讀處理。

對象解讀單元28基于從對象特征點分析器26提供的分析結(jié)果、通過參考如圖5(稍后描述)所示的模型數(shù)據(jù)進(jìn)行對象解讀處理，以解讀圖像中出現(xiàn)的對象的狀態(tài)并且隨后對該對象狀態(tài)賦予含義。隨后，對象解讀單元28將指示通過對象解讀處理確定的對象狀態(tài)的標(biāo)志名稱提供到交互解讀單元29。應(yīng)注意的是，稍后將參考圖5中所示的模型數(shù)據(jù)描述對象解讀單元28進(jìn)行的對象解讀處理。

面部位置信息從面部檢測器22被提供到交互解讀單元29，對象位置信息從對象檢測器23被提供到交互解讀單元29，每個像素的深度信息從距離測量單元24被提供到交互解讀單元29，指示面部狀態(tài)的標(biāo)志名稱從面部解讀單元27被提供到交互解讀單元29，并且指示對象狀態(tài)的標(biāo)志名稱從對象解讀單元28被提供到交互解讀單元29。交互解讀單元29使用這些信息項進(jìn)行交互解讀處理，其中，在該交互解讀處理中，參考如圖6(稍后描述)中所示的交互模型數(shù)據(jù)，以便解讀(確定)面部和對象之間的關(guān)系，并且隨后對該關(guān)系賦予含義。隨后，交互解讀單元29將用于指示通過交互解讀處理確定的面部和對象之間的關(guān)系的、用于交互的標(biāo)志名稱提供到圖創(chuàng)建單元30和顯示圖像創(chuàng)建單元31。應(yīng)注意的是，稍后將參考圖6中所示的交互模型數(shù)據(jù)描述交互解讀單元29進(jìn)行的交互解讀處理。

面部位置信息從面部檢測器22被提供到圖創(chuàng)建單元30，對象位置信息從對象檢測器23被提供到圖創(chuàng)建單元30，每個像素的深度信息從距離測量單元24被提供到圖創(chuàng)建單元30，并且用于交互的標(biāo)志名稱從交互解讀單元29被提供到圖創(chuàng)建單元30。圖創(chuàng)建單元30使用這些信息項進(jìn)行圖創(chuàng)建處理，其中，在該圖創(chuàng)建處理中，創(chuàng)建當(dāng)創(chuàng)建顯示圖像時顯示圖像創(chuàng)建單元31所使用的圖數(shù)據(jù)，以使得虛擬效果被適當(dāng)?shù)爻尸F(xiàn)，此后，圖創(chuàng)建單元30將創(chuàng)建的圖數(shù)據(jù)提供到顯示圖像創(chuàng)建單元31。應(yīng)注意的是，稍后將參考圖7描述由圖創(chuàng)建單元30進(jìn)行的圖創(chuàng)建處理。

顯示圖像創(chuàng)建單元31根據(jù)從交互解讀單元29提供的用于交互的標(biāo)志名稱，生成用于遮住面部和對象的虛擬對象和與面部和對象之間的關(guān)系相對應(yīng)的虛擬效果。隨后，顯示圖像創(chuàng)建單元31通過將生成的虛擬對象和虛擬效果添加到輸入到圖像處理裝置11的圖像來創(chuàng)建圖像。例如，顯示圖像創(chuàng)建單元31創(chuàng)建如下顯示圖像：其中，與面部和對象分別相關(guān)聯(lián)的虛擬對象重疊于面部和對象上以致面部和對象被覆蓋，并且此外，虛擬效果重疊在面部和對象之上。另外，此時，顯示圖像創(chuàng)建單元31根據(jù)從圖創(chuàng)建單元30提供的圖數(shù)據(jù)來創(chuàng)建顯示圖像，使得虛擬效果被適當(dāng)?shù)爻尸F(xiàn)。應(yīng)注意的是，稍后將參考圖7描述顯示圖像創(chuàng)建單元31進(jìn)行的顯示圖像創(chuàng)建處理。

如上述配置的圖像處理裝置11能夠創(chuàng)建如下顯示圖像：其中，與面部和對象分別相關(guān)聯(lián)的虛擬對象與真實世界中面部和對象各自的動作一致地移動，并且同時，根據(jù)面部和對象之間的相互關(guān)系來呈現(xiàn)虛擬效果。

在這里參考圖2描述圖像處理裝置11進(jìn)行的圖像處理的示例。

圖2的左側(cè)示出了從輸入到圖像處理裝置11的圖像檢測到的面部和對象的示例，而圖2的右側(cè)示出了顯示圖像創(chuàng)建單元31創(chuàng)建的圖像上的示例虛擬效果。

圖2示出了根據(jù)面部中的嘴的張開狀態(tài)和杯子的傾斜狀態(tài)的組合呈現(xiàn)喝杯子中的飲品的虛擬效果的示例。即是，圖像處理裝置11在面部中的嘴張開且杯子向面部傾斜時(更詳細(xì)地，在面部和杯子具有彼此接觸的位置關(guān)系時)呈現(xiàn)喝杯子中的飲品的虛擬效果。

具體地，來自圖2左側(cè)的頂部的第一組合表示面部中的嘴閉合的狀態(tài)以及杯子向面部傾斜的狀態(tài)。在這個組合的情況下，不會呈現(xiàn)喝杯子中的飲品的虛擬效果。類似地，來自圖2的頂部的第二組合表示面部中的嘴張開的狀態(tài)以及杯子向面部的相對側(cè)傾斜的狀態(tài)。在這個組合的情況下，不會呈現(xiàn)喝杯子中的飲品的虛擬效果。另外，來自圖2的頂部的第三組合表示面部中的嘴閉合的狀態(tài)以及杯子向面部的相對側(cè)傾斜的狀態(tài)。在這個組合的情況下，不會呈現(xiàn)喝杯子中的飲品的虛擬效果。

與上述組合相反，來自圖2的頂部的第四組合表示面部中的嘴張開的狀態(tài)以及杯子向面部傾斜的狀態(tài)。在這個組合的情況下，呈現(xiàn)喝杯子中的飲品的虛擬效果。

例如，當(dāng)提供指示面部“嘴張開”的狀態(tài)的標(biāo)志名稱且同時提供指示對象“溢出”的狀態(tài)的標(biāo)志名稱時，只要杯子傾斜的方向是以預(yù)定的角度或更大角度朝向面部，交互解讀單元29就基于面部和對象的位置信息輸出用于交互的標(biāo)志名稱“人物喝對象。接下來，顯示圖像創(chuàng)建單元31生成角色在他的/她的嘴張開的狀態(tài)下喝飲品的遮蓋圖像，以與由成像單元12捕獲到的圖像合成。更進(jìn)一步，雖然省略了圖示，可呈現(xiàn)飲料從杯子流出的虛擬效果或表達(dá)“咕嘟咕嘟”的聲音效果的虛擬效果。

同時，在圖2的示例中，主體人物的臉被遮蓋圖像覆蓋，而在輸入圖像中出現(xiàn)的杯子照原樣顯示在顯示圖像上。此時，如果杯子被遮蓋圖像覆蓋，則難以正確地識別喝飲品的情形。為了解決這個問題，圖像處理裝置11能夠根據(jù)由圖創(chuàng)建單元30創(chuàng)建的圖數(shù)據(jù)生成顯示圖像，以便杯子被顯示在遮蓋圖像之上。由此，避免杯子被遮蓋圖像覆蓋，并且能生成允許正確地辨認(rèn)喝飲品的狀態(tài)的顯示圖像。

下面，圖3示出了在面部解讀處理期間面部解讀單元27參考的模型數(shù)據(jù)的示例。

如圖3所示，模型數(shù)據(jù)相對于面部中的特征表情和動作定義了各個特征點的位置關(guān)系和運動。具體地，指示面部的狀態(tài)的標(biāo)志名稱(例如，嘴張開、笑以及生氣)與要被登記到模型數(shù)據(jù)的多個特征點的位置(例如，在面部區(qū)域上的x坐標(biāo)和y坐標(biāo))相關(guān)聯(lián)。

在面部解讀處理期間，面部解讀單元27執(zhí)行從面部特征點分析器25提供的分析結(jié)果中的面部的特征點的位置和每個標(biāo)志名稱的模型數(shù)據(jù)中登記的特征點的位置之間的、對應(yīng)的特征點的匹配。隨后，在通過匹配找出的匹配度等于或高于預(yù)定的閾值時，面部解讀單元27假定成功地對面部的狀態(tài)賦予了含義，并且隨后確定與同圖像中出現(xiàn)的面部的狀態(tài)匹配度最高的特征點相關(guān)聯(lián)的標(biāo)志名稱。此后，面部解讀單元27將指示面部狀態(tài)的該標(biāo)志名稱提供到交互解讀單元29。

下面，圖4示出了作為由對象檢測器23檢測到的對象的示例的飲料瓶。同時，圖5示出了作為在對象解讀處理期間被對象解讀單元28參考的模型數(shù)據(jù)示例的、用于圖4中的飲料瓶的模型數(shù)據(jù)。

例如，對象特征點分析器26提取用于定位飲料瓶的外部形式的特征點、用于定位在瓶中的飲料的液面的特征點、用于定位瓶上的標(biāo)識標(biāo)記的特征點等，以作為分析結(jié)果提供到對象解讀單元28。

在對象解讀處理期間，對象解讀單元28基于從對象特征點分析器26提供的分析結(jié)果中的對象的特征點的位置來確定檢測到的對象是飲料瓶，隨后參考與之相對應(yīng)的模型數(shù)據(jù)。隨后，對象解讀單元28根據(jù)用于定位瓶子上的標(biāo)識標(biāo)記的特征點來確定標(biāo)識標(biāo)記，或者根據(jù)用于定位飲料瓶的外部形式的特征點確定傾斜，或者根據(jù)用于定位瓶中的飲料的液面的特征點來確定飲料的剩余量、液面的運動等。

結(jié)果是，對象解讀單元28在飲料瓶的傾斜大于40°的情況下輸出指示對象“溢出”的狀態(tài)的標(biāo)志名稱。同時，在瓶中的液面接近瓶子底部的情況下，對象解讀單元28輸出指示對象“差不多喝完”的狀態(tài)的標(biāo)志名稱。替選地，在瓶中的液面反復(fù)地上下移動的情況下，對象解讀單元28輸出指示對象“被搖晃”的狀態(tài)的標(biāo)志名稱。

如上述，對象解讀單元28根據(jù)對檢測到的對象狀態(tài)的解讀結(jié)果，將指示該對象的狀態(tài)的標(biāo)志名稱提供到交互解讀單元29。

下面，圖6示出了在交互解讀處理期間被交互解讀單元29參考的交互模型數(shù)據(jù)的示例。

如圖6所示，用于面部的含義標(biāo)志(指示面部的狀態(tài)的標(biāo)志名稱)、用于對象的含義標(biāo)志(指示對象的狀態(tài)的標(biāo)志名稱)、面部和對象之間的位置關(guān)系、面部和對象之間的深度關(guān)系、用于交互的標(biāo)志名稱以及顯示效果名稱彼此相關(guān)地登記到交互模型數(shù)據(jù)。

例如，交互解讀單元29參考該交互模型數(shù)據(jù)，以根據(jù)從面部解讀單元27提供的指示面部的狀態(tài)的標(biāo)志名稱、從對象解讀單元28提供的指示對象的狀態(tài)的標(biāo)志名稱、從面部檢測器22提供的面部位置信息、從對象檢測器23提供的對象位置信息以及從距離測量單元24提供的深度信息來確定用于交互的相應(yīng)標(biāo)志名稱。

具體地，交互解讀單元29在指示面部的狀態(tài)的標(biāo)志名稱是“嘴張開”、指示對象的狀態(tài)的標(biāo)志名稱是“溢出”、面部和對象之間的位置關(guān)系是“面部和對象接觸”并且面部和對象之間的深度關(guān)系是“對象位于面部前”的情況下，確定用于交互的標(biāo)志名稱為“人物喝對象”。

接下來，顯示圖像創(chuàng)建單元31從記錄單元13讀取與對應(yīng)于用于交互的標(biāo)志名稱“人物喝對象”的顯示效果名稱“咕嘟咕嘟”相對應(yīng)的、用于遮蓋面部和對象的虛擬對象以及與面部和對象之間的關(guān)系相對應(yīng)的虛擬效果，并且隨后創(chuàng)建顯示圖像。應(yīng)注意的是，虛擬對象以及與在交互模型數(shù)據(jù)中登記的虛擬效果名稱相對應(yīng)的效果部件被保存在記錄單元13中，以被保存在其中。

下面，將參考圖7描述由圖創(chuàng)建單元30進(jìn)行的圖創(chuàng)建處理以及由顯示圖像創(chuàng)建單元31進(jìn)行的顯示圖像創(chuàng)建處理。

圖7示出了一個示例，其中，出現(xiàn)拿著飲料瓶的人物的圖像p1被輸入到圖像處理裝置11，然后，在應(yīng)用了圖像處理之后，圖像p2顯示在顯示單元14上，以使得呈現(xiàn)諸如飲料從瓶中飛濺于人物上的虛擬效果。

圖創(chuàng)建單元30根據(jù)從距離測量單元24提供的深度信息識別出瓶子位于人物前面，并且隨后創(chuàng)建圖數(shù)據(jù)m，在該圖數(shù)據(jù)m中，檢測到的瓶子的區(qū)域被表示為使得該區(qū)域可以跟整個圖像p1區(qū)分開。

顯示圖像創(chuàng)建單元31將由圖創(chuàng)建單元30創(chuàng)建的圖數(shù)據(jù)m與從記錄單元13讀取的虛擬對象v1合成，從而創(chuàng)建瓶子的區(qū)域被裁剪掉的虛擬對象v1’。另外，顯示圖像創(chuàng)建單元31將由圖創(chuàng)建單元30創(chuàng)建的圖數(shù)據(jù)m與從記錄單元13讀取的虛擬效果v2合成，從而創(chuàng)建瓶子的區(qū)域被裁剪掉的虛擬對象v2’。

隨后，顯示圖像創(chuàng)建單元31將虛擬對象v1’重疊于圖像p1上，并且進(jìn)一步將虛擬對象v2’重疊于其上，從而可以創(chuàng)建圖像p2。即是，避免瓶子被虛擬對象覆蓋，并且同時，在圖像p2中將虛擬效果呈現(xiàn)于虛擬對象之上。

下面，圖8是用于說明在圖像處理裝置11進(jìn)行的圖像處理的流程圖。

例如，當(dāng)成像單元12開始捕獲動態(tài)圖像以一幀一幀地提供構(gòu)成該動態(tài)圖像的圖像時處理開始。在步驟s11，由面部檢測器22、面部特征點分析器25以及面部解讀單元27進(jìn)行面部相關(guān)處理。在面部相關(guān)處理期間，如稍后將參考圖9中的流程圖描述的，當(dāng)成功地檢測到面部且成功地對面部的狀態(tài)賦予含義時，將指示面部的狀態(tài)的標(biāo)志名稱提供到交互解讀單元29。

在步驟s12，由對象檢測器23、對象特征點分析器26和對象解讀單元28進(jìn)行對象相關(guān)處理。在對象相關(guān)處理期間，如稍后將參考圖10的流程圖描述的，當(dāng)成功地檢測到對象且成功地向?qū)ο蟮臓顟B(tài)賦予含義時，將指示對象的狀態(tài)的標(biāo)志名稱提供到交互解讀單元29。

在步驟s13，距離測量單元24找出構(gòu)成圖像的每個像素的深度信息，以提供到交互解讀單元29和圖創(chuàng)建單元30。

在步驟s14，交互解讀單元29判斷是否已提供了指示面部狀態(tài)的標(biāo)志名稱和指示對象的狀態(tài)的標(biāo)志名稱。

例如，在步驟s11處的面部相關(guān)處理期間未成功地檢測到面部或未成功地對面部的狀態(tài)賦予含義的情況下，不將指示面部狀態(tài)的標(biāo)志名稱提供到交互解讀單元29。同樣地，在步驟s12處的對象相關(guān)處理期間未成功地檢測到對象或未成功地向?qū)ο蟮臓顟B(tài)賦予含義的情況下，不將指示對象狀態(tài)的標(biāo)志名稱提供到交互解讀單元29。因此，在這些情況下，交互解讀單元29在步驟s14判斷未提供指示面部的狀態(tài)的標(biāo)志名稱和指示對象的狀態(tài)的標(biāo)志名稱。接下來，處理回到步驟s11，此后，通過將后續(xù)幀的圖像當(dāng)做要處理的圖像，重復(fù)相似的處理。

另一方面，在步驟s11處的面部相關(guān)處理期間提供了指示面部的狀態(tài)的標(biāo)志名稱以及在步驟s12處的對象相關(guān)處理期間提供了指示對象的狀態(tài)的標(biāo)志名稱的情況下，交互解讀單元29在步驟s14判斷已提供了指示面部的狀態(tài)的標(biāo)志名稱和指示對象的狀態(tài)的標(biāo)志名稱，然后，處理進(jìn)行至步驟s15。

交互解讀單元29在步驟s15分析面部和對象之間的交互。即是，交互解讀單元29參考圖6中所示的交互模型數(shù)據(jù)，以進(jìn)行交互解讀處理，隨后將指示面部和對象之間的關(guān)系的用于交互的標(biāo)志名稱提供到圖創(chuàng)建單元30和顯示圖像創(chuàng)建單元31。

在步驟s16，圖創(chuàng)建單元30進(jìn)行圖創(chuàng)建處理，在該圖創(chuàng)建處理中，創(chuàng)建顯示圖像創(chuàng)建單元31在創(chuàng)建顯示圖像時所使用的圖數(shù)據(jù)，以便適當(dāng)?shù)爻尸F(xiàn)虛擬效果，隨后將創(chuàng)建的圖數(shù)據(jù)提供到顯示圖像創(chuàng)建單元31。

在步驟s17，顯示圖像創(chuàng)建單元31根據(jù)從交互解讀單元29提供的用于交互的標(biāo)志名稱，從記錄單元31讀取用于遮蓋面部和對象的虛擬對象以及與面部和對象之間的關(guān)系相對應(yīng)的虛擬效果。隨后，顯示圖像創(chuàng)建單元31通過根據(jù)從圖創(chuàng)建單元30提供的圖數(shù)據(jù)編輯虛擬對象和虛擬效果并且隨后將編輯的虛擬對象和虛擬效果添加到輸入到圖像處理裝置11的圖像來創(chuàng)建圖像。在步驟s17的處理之后，處理回到步驟s11，此后，通過將后續(xù)幀的圖像當(dāng)做要處理的圖像來重復(fù)相似的處理。

下面，圖9是用于說明在圖8中的步驟s11進(jìn)行的面部相關(guān)處理的流程圖。

面部檢測器22在步驟s21獲取從數(shù)字信號處理單元21提供的圖像，并且隨后在步驟s22進(jìn)行面部檢測處理，以從該圖像檢測面部。

面部檢測器22在步驟s23判斷在步驟s22的面部檢測處理期間的面部檢測是否成功。例如，在圖像中無面部出現(xiàn)的情況下，無法檢測到面部。因此，面部檢測器22在步驟s23判斷面部檢測不成功，并且處理因此終止。

另一方面，在步驟s22的面部檢測處理期間從圖像成功地檢測到面部的情況下，面部檢測器22在步驟s23判斷面部檢測成功，并且隨后處理進(jìn)行至步驟s24。

在步驟s24，面部檢測器22將通過從圖像裁剪出在步驟s22檢測到的面部出現(xiàn)的區(qū)域而獲得的面部區(qū)域提供到面部特征點分析器25，以便面部特征點分析器25進(jìn)行分析處理，以提取包括在該面部區(qū)域中的多個特征點。隨后，面部特征點分析器25將通過分析處理提取的特征點的位置信息作為分析結(jié)果提供到面部解讀單元27。

在步驟s25，面部解讀單元27基于在步驟s24提供的分析結(jié)果進(jìn)行面部解讀處理，以解讀出現(xiàn)在圖像中的面部的狀態(tài)，并且隨后對該面部的狀態(tài)賦予含義。

面部解讀單元27在步驟s26判斷在步驟s25的面部解讀處理期間是否成功地對面部的狀態(tài)賦予含義，并且在判斷未成功賦予含義的情況下，處理終止。

另一方面，在面部解讀單元27在步驟s26判斷在步驟s25的面部解讀處理期間對面部的狀態(tài)成功地賦予含義的情況下，處理進(jìn)行至步驟s27。在步驟s27，面部解讀單元27將指示在步驟s25被賦予了含義的面部狀態(tài)的標(biāo)志名稱提供到交互解讀單元29，并且隨后，處理終止。

下面，圖10是用于說明在圖8中的步驟s12進(jìn)行的對象相關(guān)處理的流程圖。

對象檢測器23在步驟s31獲取從數(shù)字信號處理單元21提供的圖像，并且隨后在步驟32進(jìn)行對象檢測處理，以從該圖像檢測對象。

對象檢測器23在步驟s33判斷在步驟s32的對象檢測處理期間的對象檢測是否成功。例如，在對象沒有在圖像中出現(xiàn)的情況下，無法檢測到對象。因此，對象檢測器23在步驟s33判斷對象檢測不成功，并且處理因此終止。

另一方面，在步驟s32的對象檢測處理期間從圖片成功地檢測到對象的情況下，對象檢測器23在步驟s33判斷對象檢測成功，并且隨后，處理進(jìn)行至步驟s34。

在步驟s34，對象檢測器23將通過從圖像裁剪出檢測到的對象出現(xiàn)的區(qū)域而獲得的對象區(qū)域提供到對象特征點分析器26，以便對象特征點分析器26進(jìn)行分析處理，以提取包括在該對象區(qū)域中的多個特征點。隨后，對象特征點分析器26將通過分析處理提取的特征點的位置信息作為分析結(jié)果提供到對象解讀單元28。

在步驟s35，對象解讀單元28基于在步驟s34提供的分析結(jié)果進(jìn)行對象解讀處理，以解讀在圖像中出現(xiàn)的對象的狀態(tài)，并且隨后對該對象的狀態(tài)賦予含義。

對象解讀單元28在步驟s36判斷在步驟s35的對象解讀處理期間是否成功地向?qū)ο蟮臓顟B(tài)賦予含義，并且在判斷出未成功地賦予含義的情況下，處理終止。

另一方面，在對象解讀單元28在步驟s36判斷出在步驟s35的對象解讀處理期間向?qū)ο蟮臓顟B(tài)成功地賦予含義的情況下，處理進(jìn)行至步驟s37。在步驟s37，對象解讀單元28將指示在步驟s35被賦予了含義的對象狀態(tài)的標(biāo)志名稱提供到交互解讀單元29，并且隨后，處理終止。

如上述，圖像處理裝置11能夠根據(jù)指示面部的狀態(tài)的標(biāo)志名稱和指示對象的狀態(tài)的標(biāo)志名稱，基于指示面部和對象之間的關(guān)系的用于交互的標(biāo)志名稱，創(chuàng)建添加有虛擬對象和虛擬效果的顯示圖像。

應(yīng)注意的是，盡管上面的實施方式描述了面部和對象之間的交互，但是圖像處理裝置11能夠呈現(xiàn)例如與多個面部之間的交互相對應(yīng)的虛擬效果。

將參考圖11描述與兩個主體人物的面部之間的交互相對應(yīng)的虛擬效果。

圖11的左側(cè)示出了輸入到圖像處理裝置11的圖像，而圖11的右側(cè)示出了在圖像處理裝置11應(yīng)用了圖像處理的顯示圖像。

如圖11的上部分所示，當(dāng)輸入兩個主體人物在他們的面部向前的情況下并排出現(xiàn)的圖像時，生成用于面部的虛擬對象重疊于對應(yīng)的主體人物的面部上的顯示圖像。另外，如圖11的下部分所示，當(dāng)一個主體人物將他的/她的面部移動靠近另一主體人物的面部以撅出他的/她的嘴時，交互解讀單元29通過交互解讀處理確定這些面部之間的關(guān)系為“親吻臉頰”。接下來，在圖11的下部分所示的顯示圖像中，使得用于一個主體人物的面部的虛擬對象撅起他的/她的嘴，并且另外地，心形標(biāo)記的虛擬效果被呈現(xiàn)在用于另一主體人物的面部的虛擬對象的眼睛上。更進(jìn)一步，在兩個人物之間呈現(xiàn)多個心形標(biāo)記的虛擬效果。

如上述，圖像處理裝置11還能夠呈現(xiàn)與多個面部之間的交互相對應(yīng)的虛擬效果。

同時，圖像處理裝置11不僅能處理兩個項目之間的交互，例如面部和對象或面部和面部之間的交互，而且還能處理三個或更多項目之間的交互。

將參考圖12描述與三個主體人物和三個對象之間的交互相對應(yīng)的虛擬效果。

圖12的左側(cè)示出了輸入到圖像處理裝置11的圖像，而圖12的右側(cè)示出了在圖像處理裝置11應(yīng)用了圖像處理的顯示圖像。

如圖12的上部分所述，當(dāng)輸入每個人都簡單地拿著一杯啤酒并且在他們的面部向前的情況下并排出現(xiàn)的三個主體人物的圖像時，生成如下顯示圖像：在該顯示圖像中，用于面部的虛擬對象被重疊于對應(yīng)的主體人物的面部上，并且額外地，用于對象的虛擬對象(例如啤酒的溢出泡沫)重疊于杯子上。

另外，如圖12的下部分所示，當(dāng)三個主體人物拿著的杯子彼此接觸時，交互解讀單元29通過交互解讀處理將它們之間的關(guān)系確定為“一起干杯”。接下來，在圖12的下部分所示的顯示圖像中，呈現(xiàn)用于面部的虛擬效果，例如，隨著干杯而興奮，并且另外地，呈現(xiàn)諸如由于在干杯時的杯子接觸而飛出啤酒泡沫的虛擬效果。更進(jìn)一步，例如，呈現(xiàn)表示干杯聲音的虛擬效果。

如上述，例如，圖像處理裝置11在多個主體人物和對象出現(xiàn)在圖像中的情況下能夠呈現(xiàn)用于面部和面部的組合或者多個面部和多個對象的組合的虛擬效果。

同時，例如，圖像處理裝置11可以通過通信單元(未示出)連接到網(wǎng)絡(luò)，例如互聯(lián)網(wǎng)，從而能夠通過網(wǎng)絡(luò)傳遞顯示在顯示單元14上的顯示圖像。此時，圖像處理裝置11能夠改變虛擬效果，以便實現(xiàn)與通過網(wǎng)絡(luò)連接的另一用戶的互相影響。

例如，如圖13所示，當(dāng)一個用戶在食用特定的甜甜圈之后做出“開心的表情”時，圖像處理裝置11將用戶在食用該甜甜圈之后做出“開心的表情”的信息通過網(wǎng)絡(luò)傳輸?shù)椒?wù)器裝置。同時，圖像處理裝置11呈現(xiàn)“開心地吃”的效果。

隨后，服務(wù)器裝置可以將通過對用戶在食用特定的甜甜圈(同樣的產(chǎn)品)之后做出“開心的表情”的次數(shù)(使用“開心地吃”的效果的次數(shù))進(jìn)行計數(shù)而獲得的計數(shù)值顯示作為虛擬效果，例如，在甜甜圈旁邊顯示的數(shù)值。換言之，圖像處理裝置11能夠通過服務(wù)器裝置將計數(shù)值傳輸?shù)酵ㄟ^網(wǎng)絡(luò)連接的另一圖像處理裝置11以及從通過網(wǎng)絡(luò)連接的另一圖像處理裝置11接收計數(shù)值，從而能夠根據(jù)包括在另一圖像處理裝置11獲得的計數(shù)值的總和來改變虛擬效果(例如，增大數(shù)值)。因此，假定用于虛擬效果的數(shù)值隨著做出“開心的表情”的用戶的增加而增加。例如，圖13中的示例顯示示出了“3562很棒！”的最新計數(shù)值。

如上述，圖像處理裝置11能夠關(guān)于“它是否味道不錯”評估特定的甜甜圈，并且還能夠?qū)崟r地連續(xù)改變虛擬效果，以便指示此時給出好評的用戶在累積總數(shù)中的位置。即是，“開心地吃”的效果內(nèi)容不變，但可以根據(jù)“開心地吃”的效果被使用的次數(shù)在視覺上識別多大量的人已對該甜甜圈給出過好評。

如所述的，例如，不僅對單個用戶，而且對世界各地的所有用戶一起，圖像處理裝置11都能夠連續(xù)地改變對交互賦予含義的結(jié)果以及與之相對應(yīng)的虛擬效果。當(dāng)然，圖像處理裝置11可根據(jù)各種情況(例如，預(yù)定的關(guān)系被確定的次數(shù))單獨改變虛擬對象或虛擬效果，而不受其他用戶影響。

同時，除了如上述的由于與另一用戶的互相影響而改變虛擬效果之外，圖像處理裝置11還能夠按時間序列來改變對交互賦予的含義。

例如，圖像處理裝置11通常在特定的時段期間實施一次“喝啤酒”的情況下顯示效果“喝啤酒”。此后，當(dāng)在特定的時間段實施了五次或更多次“喝啤酒”時，圖像處理裝置11可以賦予“喝大量的啤酒”的含義，從而能夠?qū)⑼ǔＰЧ兂尚Ч昂绕【坪茸砹恕币赃M(jìn)行呈現(xiàn)。

另外，圖像處理裝置11能夠僅對在多個用戶出現(xiàn)的圖像中的特定用戶呈現(xiàn)特定的虛擬效果。

例如，將參考圖14描述圖像處理裝置11進(jìn)行的其他示例圖像處理。

圖14示出了圖像處理裝置11對多個用戶享受卡拉ok的圖像進(jìn)行圖像處理的示例。圖14的左側(cè)示出了從輸入到圖像處理裝置11的圖像檢測到的面部和對象的示例，而圖14的右側(cè)示出了顯示圖像創(chuàng)建單元31創(chuàng)建的圖像上的示例虛擬效果。

圖14示出了根據(jù)在面部中的嘴張開的狀態(tài)和麥克風(fēng)的方向的組合來呈現(xiàn)唱卡拉ok的虛擬效果的示例。即是，如圖14左側(cè)上的最下部分所示，圖像處理裝置11在面部中的嘴張開且麥克風(fēng)指向面部時(更詳細(xì)地，當(dāng)面部和麥克風(fēng)具有彼此接觸的位置關(guān)系時)呈現(xiàn)對著麥克風(fēng)唱歌的虛擬效果。

例如，盡管過去可能根據(jù)輸入到麥克風(fēng)的音頻來識別在卡拉ok中唱歌的動作，但這難以從多個用戶中確定誰在唱，因此難以在唱歌的用戶上呈現(xiàn)虛擬效果(諸如聚光燈)。另外，還難以在除唱歌的用戶之外的用戶演奏樂器的情況下在樂器上呈現(xiàn)虛擬效果。

與這種情況相反，圖像處理裝置11識別用戶的嘴的張開和閉合、麥克風(fēng)的位置和方向以及輸入到麥克風(fēng)的音頻，因此可以確定唱歌的用戶，并且在該唱歌的用戶上呈現(xiàn)虛擬效果(諸如聚光燈)。圖像處理裝置11基于面部和麥克風(fēng)之間的交互呈現(xiàn)虛擬效果，以使得能夠產(chǎn)生更令人興奮的氣氛。

更進(jìn)一步，通過預(yù)先登記特定的肢體動作，圖像處理裝置11還能在唱歌的用戶做出該肢體動作時生成特定的虛擬效果。另外，除了對象檢測器23進(jìn)行的對象檢測處理之外，當(dāng)為了識別麥克風(fēng)的位置信息而在圖像處理裝置11中建立了用于定位麥克風(fēng)的位置的機(jī)構(gòu)(例如，位置發(fā)射器或發(fā)光材料)時，能更精確地識別麥克風(fēng)。

應(yīng)注意的是，圖6中所示的上述交互模型數(shù)據(jù)用作示例，并且交互解讀單元29用于進(jìn)行交互分析處理的信息并不限制于如圖6所示的信息。例如，當(dāng)進(jìn)行交互分析處理時，交互解讀單元29可使用輔助信息(例如，音頻識別信息，肢體動作識別信息，日期和時間信息，當(dāng)前位置信息，天氣信息，周圍區(qū)域事件信息和通過網(wǎng)絡(luò)獲得的信息)。例如，在訪問特定區(qū)域喝啤酒的情況下，圖像處理裝置11可以創(chuàng)建合成了背景和與該特定區(qū)域有關(guān)的角色喝醉了的虛擬效果的顯示圖像。

更進(jìn)一步，在圖像處理裝置11中，在面部解讀處理期間面部解讀單元27參考的模型數(shù)據(jù)并不限制于預(yù)先定義的數(shù)據(jù)(諸如圖3中所示的數(shù)據(jù))的使用。例如，用戶可個人指定與表情、動作等相對應(yīng)的特征點的組合，以登記到模型數(shù)據(jù)，以便面部解讀單元27執(zhí)行與用戶登記的特征點的組合進(jìn)行匹配，以確定面部的狀態(tài)。同樣地，由用戶登記的數(shù)據(jù)還能用于在對象解讀處理期間被對象解讀單元28參考的模型數(shù)據(jù)以及在交互解讀處理期間被交互解讀單元29參考的交互模型數(shù)據(jù)。

同時，作為對象檢測器23在從圖像檢測對象時所使用的方法，圖像處理裝置11可以使用檢測在對象上的標(biāo)識標(biāo)記的方法，或者替選地，可以使用檢測附在對象上的預(yù)定代碼的方法或檢測對象的輪廓或顏色的方法。對象檢測器23還可使用由距離測量單元24找出的深度信息，以檢測對象的表面形狀(諸如不平整度)。

另外，圖像處理裝置11可以將能購買對象的在線頁面的鏈接、產(chǎn)品信息頁面的鏈接等添加到重疊于該對象上的虛擬對象。這樣，通過操作(觸摸)虛擬對象，瀏覽該圖像的瀏覽者能夠容易地購買對象或者獲取該對象的詳細(xì)信息。

在圖像處理裝置11中，除了圖像之外，顯示圖像創(chuàng)建單元31還可以使用動畫作為虛擬效果。顯示圖像創(chuàng)建單元31還可以將虛擬效果呈現(xiàn)在除了目標(biāo)對象(例如，在圖像中出現(xiàn)的面部或?qū)ο?外的部分上，或者直接轉(zhuǎn)換虛擬對象。即是，可僅在除了面部和對象外的部分上呈現(xiàn)虛擬效果，而不呈現(xiàn)用于遮蓋面部和對象的虛擬對象。

如上所述，根據(jù)圖像處理裝置11，作為人身體的一部分的面部和除面部之外的物理對象之間的交互可以被反映在與之相關(guān)的虛擬對象之間的交互中。因此，在人在真實世界中使用東西的情況下，圖像處理裝置11能使用真實世界中的大量行為作為觸發(fā)器來產(chǎn)生大量的虛擬效果。

當(dāng)考慮諸如作為人身體的一部分的面部或手的物理對象以及除人身體的一部分外的物理對象(諸如茶杯或玻璃杯)時，如上述地，通過在這些物理對象在真實世界中交互時呈現(xiàn)新的虛擬效果以及實現(xiàn)分別與這些物理對象相關(guān)聯(lián)的虛擬對象之間的交互，能提供更獨特的交流。

應(yīng)注意的是，本技術(shù)并不限制于應(yīng)用到圖像處理裝置11，而是還可以被應(yīng)用于被配置為使用聲音效果、音頻、氣味、發(fā)光等作為效果來生成各種效果的效果生成裝置。另外，效果生成裝置可以組合使用這些虛擬效果的某些元素。例如，效果生成裝置可以根據(jù)喝預(yù)定飲料的交互而輸出該飲料的廣告歌。同時，除了上述圖像裝置之外，本技術(shù)可以被應(yīng)用于例如便攜裝置(諸如智能手機(jī)或可穿戴終端)以及包括網(wǎng)絡(luò)攝像頭的個人計算機(jī)。

另外，參考上面的流程圖描述的每個處理過程并不是必須按照沿時間序列的流程圖中提到的順序進(jìn)行處理。也可包括并行或分開進(jìn)行的處理(例如，并行處理或?qū)ο筇幚?。對于程序，可以采用單個cpu用于其處理，或者替選地，可以采用多個cpu用于其分布式處理。

更進(jìn)一步，一系列上述處理過程(信息處理方法)可以通過硬件進(jìn)行，并且也可以通過軟件進(jìn)行。當(dāng)通過軟件進(jìn)行一系列處理過程時，從記錄有程序的程序記錄介質(zhì)將構(gòu)成軟件的程序安裝到置于專用硬件中的計算機(jī)或當(dāng)安裝有各種類型的程序時能夠執(zhí)行各種類型的功能的計算機(jī)，例如，通用個人計算機(jī)。

圖15是示出了使用程序進(jìn)行上述一系列處理過程的計算機(jī)的示例硬件配置的框圖。

在計算機(jī)中，中央處理單元(cpu)101、只讀存儲器(rom)102和隨機(jī)存取存儲器(ram)103通過總線104互相連接。

另外，輸入/輸出接口105連接到總線104。輸入單元106、輸出單元107、存儲單元108、通信單元109以及驅(qū)動器110連接到輸入/輸出接口105。輸入單元106包括鍵盤、鼠標(biāo)和麥克風(fēng)。輸出單元107包括顯示器和揚聲器。存儲單元108包括硬盤和非易失性存儲器。通信單元109包括網(wǎng)絡(luò)接口。驅(qū)動器110驅(qū)動可移除介質(zhì)111(諸如磁盤、光盤、磁光盤或半導(dǎo)體存儲器)。

例如，如上述配置的計算機(jī)中，以這樣的方式進(jìn)行上述一系列處理過程：cpu101通過輸入/輸出接口105和總線104將存儲在存儲單元108中的程序加載到ram103以執(zhí)行。

例如，計算機(jī)(cpu101)執(zhí)行的程序通過被記錄在作為由磁盤(包括軟盤)，光盤(例如，光盤只讀存儲器(cd-rom)和數(shù)字通用盤(dvd))、磁光盤、半導(dǎo)體存儲器等構(gòu)成的封裝介質(zhì)的可移除介質(zhì)111中來提供。替選地，通過有線或無線傳輸介質(zhì)(例如，局域網(wǎng)、互聯(lián)網(wǎng)或數(shù)字廣播)來提供程序。

另外，通過將可移除介質(zhì)11安裝于驅(qū)動器110中，程序可以通過輸入/輸出接口105被安裝到存儲單元108。當(dāng)被通信單元109接收時，程序還可以通過有線或無線傳輸介質(zhì)被安裝到存儲單元108。作為替選方式，程序可以預(yù)先被安裝到rom102或存儲單元108。

應(yīng)注意的是，本技術(shù)還可以如下進(jìn)行配置。

(1)一種效果生成裝置，包括：

檢測器，其從輸入圖像檢測至少包括面部的兩個或更多個目標(biāo)對象；以及

效果生成器，其根據(jù)由所述檢測器檢測到的目標(biāo)對象之間的關(guān)系而生成預(yù)定的相應(yīng)效果。

(2)根據(jù)上述(1)所述的效果生成裝置，還包括確定單元，所述確定單元確定多個目標(biāo)對象之間的關(guān)系，所述關(guān)系包括目標(biāo)對象的位置和至少一個目標(biāo)對象的狀態(tài)，其中

所述效果生成器基于由所述確定單元確定的目標(biāo)對象之間的關(guān)系而生成所述效果。

(3)根據(jù)上述(2)所述的效果生成裝置，其中

所述確定單元將構(gòu)成由所述檢測器檢測到的面部的部分的狀態(tài)以及由所述檢測器檢測到的對象的狀態(tài)確定為目標(biāo)對象的狀態(tài)，而將所述面部和所述對象之間的位置關(guān)系確定為目標(biāo)對象之間的關(guān)系，并且

所述效果生成器基于由所述確定單元確定的、構(gòu)成所述面部的所述部分的狀態(tài)、所述對象的狀態(tài)以及所述面部和所述對象之間的位置關(guān)系而生成所述效果。

(4)根據(jù)上述(1)至(3)中任一項所述的效果生成裝置，其中

所述效果生成器生成遮住所述目標(biāo)對象的遮蓋圖像以及表示目標(biāo)對象之間的關(guān)系的顯示效果，并且創(chuàng)建輸出圖像，所述輸出圖像呈現(xiàn)被重疊于所述輸入圖像上的所述遮蓋圖像和所述顯示效果。

(5)根據(jù)上述(2)至(4)中任一項所述的效果生成裝置，還包括面部特征點分析器，所述面部特征點分析器提取多個特征點，所述多個特征點用于定位構(gòu)成所述面部的所述部分，所述面部作為從所述輸入圖像檢測到的目標(biāo)對象，其中

所述確定單元基于由所述面部特征點分析器檢測到的多個特征點確定構(gòu)成從所述輸入圖像檢測到的面部的所述部分的狀態(tài)。

(6)根據(jù)上述(2)至(5)中任一項所述的效果生成裝置，還包括對象特征點分析器，所述對象特征點分析器提取用于定位構(gòu)成如下對象的部分的多個特征點：該對象是從所述輸入圖像檢測到的、除所述面部之外的目標(biāo)對象，其中

所述確定單元基于由所述對象特征點分析器檢測到的多個特征點確定從所述輸入圖像檢測到的所述對象的狀態(tài)。

(7)根據(jù)上述(2)至(6)中任一項所述的效果生成裝置，其中

所述確定單元基于構(gòu)成所述面部的所述部分的狀態(tài)、所述對象的狀態(tài)以及在所述輸入圖像中的所述面部和所述對象之間的位置關(guān)系，確定所述面部和所述對象之間的相互關(guān)系。

(8)根據(jù)上述(2)至(7)中任一項所述的效果生成裝置，還包括距離測量單元，所述距離測量單元測量距所述輸入圖像中出現(xiàn)的所述對象和所述面部的距離，并且找出所述面部和所述對象在與所述輸入圖像垂直相交的方向上的深度，其中

所述確定單元使用所述面部和所述對象之間的深度關(guān)系來確定所述面部和所述對象之間的相互關(guān)系。

(9)根據(jù)上述(8)所述的效果生成裝置，還包括圖創(chuàng)建單元，所述圖創(chuàng)建單元基于由所述距離測量單元找出的關(guān)于從所述輸入圖像檢測到的面部和從所述輸入圖像檢測到的對象的深度關(guān)系而創(chuàng)建圖數(shù)據(jù)，所述圖數(shù)據(jù)用于防止被配置為遮蓋所述面部的用于面部的遮蓋圖像遮住所述對象。

(10)根據(jù)上述(4)至(9)中任一項所述的效果生成裝置，其中

所述效果生成器根據(jù)情況改變所述遮蓋圖像或所述顯示效果。

(11)根據(jù)上述(10)所述的效果生成裝置，其中

所述效果生成器根據(jù)所述確定單元確定預(yù)定的目標(biāo)對象之間的預(yù)定關(guān)系的次數(shù)來改變所述遮蓋圖像或所述顯示效果。

(12)根據(jù)上述(10)或(11)所述的效果生成裝置，其中

所述效果生成器根據(jù)通過對預(yù)定顯示效果被使用的次數(shù)進(jìn)行計數(shù)而獲得的計數(shù)值來改變該預(yù)定顯示效果。

(13)根據(jù)上述(12)所述的效果生成裝置，其中

所述效果生成器根據(jù)傳輸?shù)酵ㄟ^網(wǎng)絡(luò)連接的另一效果生成裝置的計數(shù)值以及從所述另一效果生成裝置接收的計數(shù)值的總和來改變所述預(yù)定顯示效果。

(14)根據(jù)上述(2)至(13)中任一項所述的效果生成裝置，其中

所述確定單元還基于音頻識別信息、姿勢識別信息、日期和時間信息、當(dāng)前位置信息、天氣信息、周圍區(qū)域事件信息或經(jīng)由網(wǎng)絡(luò)可獲得的信息來確定目標(biāo)對象之間的關(guān)系。

(15)一種效果生成方法，其包括下列步驟：

從輸入圖像檢測至少包括面部的兩個或更多個目標(biāo)對象；以及

根據(jù)檢測到的目標(biāo)對象之間的關(guān)系生成預(yù)定的相應(yīng)效果。

(16)一種程序，其使得計算機(jī)進(jìn)行處理，所述處理包括下列步驟：

從輸入圖像檢測至少包括面部的兩個或更多個目標(biāo)對象；以及

根據(jù)檢測到的目標(biāo)對象之間的關(guān)系生成預(yù)定的相應(yīng)效果。

實施方式并不限制于上述實施方式，并且在不偏離本公開的范圍的情況下可以進(jìn)行各種修改。

附圖標(biāo)記列表

11圖像處理裝置

12成像單元

13記錄單元

14顯示單元

21數(shù)字信號處理單元

22面部檢測器

23對象檢測器

24距離測量單元

25面部特征點分析器

26對象特征點分析器

27面部解讀單元

28對象解讀單元

29交互解讀單元

30圖創(chuàng)建單元

31顯示圖像創(chuàng)建單元