用于移動(dòng)終端中的用戶界面方法和系統(tǒng)的制作方法
【專利摘要】一種用于移動(dòng)終端中的用戶界面方法激活攝像機(jī)模塊以支持視頻聊天功能并使用攝像機(jī)模塊獲取目標(biāo)對(duì)象的圖像。響應(yīng)于在所獲取的圖像中檢測(cè)到面部，通過(guò)識(shí)別面部特征并將所識(shí)別的面部特征與跟情緒相關(guān)聯(lián)的預(yù)定特征進(jìn)行比較，來(lái)分析面部圖像數(shù)據(jù)以識(shí)別面部的當(dāng)前情緒狀態(tài)。將所識(shí)別的當(dāng)前情緒狀態(tài)與目標(biāo)對(duì)象的先前獲取的面部圖像的先前情緒狀態(tài)進(jìn)行比較。響應(yīng)于所述比較，產(chǎn)生情緒表示圖像，并將所產(chǎn)生的情緒表示圖像發(fā)送到視頻聊天中使用的對(duì)端終端。
【專利說(shuō)明】用于移動(dòng)終端中的用戶界面方法和系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本公開(kāi)涉及一種例如在雙向圖像通信的移動(dòng)終端中采用面部識(shí)別的用戶界面，更具體地涉及用于移動(dòng)終端中的用戶界面方法和系統(tǒng)。
【背景技術(shù)】
[0002]已知的移動(dòng)終端具有視頻呼叫能力，包括支持雙向圖像通/[目的攝像機(jī)|旲塊。響應(yīng)于建立了呼叫，移動(dòng)終端提供視頻呼叫菜單。此外，響應(yīng)于對(duì)應(yīng)的對(duì)端用戶接受視頻呼叫請(qǐng)求，移動(dòng)終端可以獲取并發(fā)送圖像。在視頻呼叫中，當(dāng)實(shí)時(shí)獲取并發(fā)送圖像時(shí)，希望終端提供低延時(shí)和高數(shù)據(jù)吞吐量。由于所發(fā)送的數(shù)據(jù)量是確定呼叫相關(guān)費(fèi)用的主要因素，視頻呼叫可能是昂貴的通信方式。因此，盡管視頻呼叫能夠進(jìn)行面對(duì)面對(duì)話，它可能被認(rèn)為是很少使用的特征或在特殊情況下使用的特征。此外，在視頻呼叫期間，攝像機(jī)模塊保持連續(xù)獲取圖像以實(shí)時(shí)發(fā)送。這比僅進(jìn)行語(yǔ)音呼叫所消耗的功率量大得多，減少了移動(dòng)終端在電池重新充電之間的連續(xù)操作時(shí)間并縮短了電池壽命。

【發(fā)明內(nèi)容】

[0003]本公開(kāi)提供的系統(tǒng)解決上述缺點(diǎn)和/或相關(guān)問(wèn)題。該系統(tǒng)響應(yīng)于檢測(cè)到的發(fā)言用戶面部表情的改變，提供了支持雙向靜態(tài)圖像通信的基于面部識(shí)別的用戶界面。采用面部識(shí)別的用戶界面可以用于雙向圖像通信的移動(dòng)終端中，以在降低功率消耗的同時(shí)輔助視頻呼叫功能以及數(shù)據(jù)管理。
[0004]根據(jù)本公開(kāi)的一個(gè)方面的用于移動(dòng)終端中的用戶界面方法激活攝像機(jī)模塊以支持視頻聊天功能并使用攝像機(jī)模塊獲取目標(biāo)對(duì)象的圖像。響應(yīng)于在所獲取的圖像中檢測(cè)到面部，通過(guò)識(shí)別面部特征并將所識(shí)別的面部特征與跟情緒相關(guān)聯(lián)的預(yù)定特征進(jìn)行比較，來(lái)分析面部圖像數(shù)據(jù)以識(shí)別面部的當(dāng)前情緒狀態(tài)。將所識(shí)別的當(dāng)前情緒狀態(tài)與目標(biāo)對(duì)象的先前獲取的面部圖像的先前情緒狀態(tài)進(jìn)行比較。響應(yīng)于所述比較，產(chǎn)生情緒表示圖像，并將所產(chǎn)生的情緒表示圖像發(fā)送到視頻聊天中使用的對(duì)端終端。
[0005]可選地，所述識(shí)別面部的當(dāng)前情緒狀態(tài)包括:通過(guò)特征邊界邊緣檢測(cè)來(lái)識(shí)別面部特征，所述特征邊界邊緣檢測(cè)包括確定像素亮度的過(guò)渡；以及使用所識(shí)別的面部特征的變換，將所識(shí)別的面部特征與跟情緒相關(guān)聯(lián)的預(yù)定特征進(jìn)行比較，所述變換包括平移、縮放以及旋轉(zhuǎn)操作中的至少一個(gè)?？蛇x地，所述方法還包括:當(dāng)所識(shí)別的當(dāng)前情緒狀態(tài)與所述先前情緒狀態(tài)相同時(shí)，發(fā)送對(duì)當(dāng)前情緒狀態(tài)與先前情緒狀態(tài)之間的相似性加以表示的消息，而不產(chǎn)生和傳輸情緒表示圖像。響應(yīng)于以下中的至少一個(gè)來(lái)執(zhí)行攝像機(jī)模塊的激活:視頻聊天中的時(shí)間段期滿、激活支持視頻聊天的消息應(yīng)用、產(chǎn)生用于在視頻聊天期間寫(xiě)入消息的輸入事件、產(chǎn)生用于在視頻聊天期間發(fā)送所寫(xiě)消息的輸入事件、或產(chǎn)生閱讀或回復(fù)所接收消息的輸入事件。獲取目標(biāo)對(duì)象的圖像包括以下中的至少一個(gè):從攝像機(jī)模塊提供的系列預(yù)覽圖像中選擇圖像；以及在輸出預(yù)定通知之后獲取目標(biāo)對(duì)象的圖像。
[0006]可選地，產(chǎn)生情緒表示圖像包括:通過(guò)調(diào)整攝像機(jī)獲取的圖像的分辨率以及尺寸并將與所識(shí)別的當(dāng)前情緒狀態(tài)有關(guān)的文本信息并入所述情緒表示圖像，來(lái)產(chǎn)生預(yù)定尺寸的情緒表示圖像。響應(yīng)于確定所獲取的圖像不包括目標(biāo)對(duì)象的面部，產(chǎn)生表示用戶離開(kāi)的消息，并將表示用戶離開(kāi)的消息發(fā)送到對(duì)端終端。
[0007]可選地，該用戶界面方法包括:接收情緒表示圖像相關(guān)信息，所述情緒表示圖像相關(guān)信息標(biāo)識(shí)響應(yīng)于對(duì)視頻聊天期間由對(duì)端終端獲取的圖像進(jìn)行分析而推斷的情緒；以及輸出從所接收的情緒表示圖像相關(guān)信息中提取的情緒表示圖像。接收情緒表示圖像相關(guān)信息包括:接收涉及所標(biāo)識(shí)的情緒狀態(tài)的文本信息，以及當(dāng)與當(dāng)前所接收情緒表示圖像相關(guān)聯(lián)的情緒狀態(tài)類似于與先前所接收的情緒表示圖像相關(guān)聯(lián)的情緒狀態(tài)時(shí)，接收對(duì)情緒表示圖像的相似性加以表示的消息。輸出情緒表示圖像包括將文本信息和情緒表示圖像一起輸出。輸出情緒表示圖像包括:在顯示圖像中輸出情緒表示圖像區(qū)域以用于輸出情緒表示圖像；輸出用于輸出向?qū)Χ私K端發(fā)送的和從對(duì)端終端接收的消息的聊天消息區(qū)域；以及輸出用于輸入聊天會(huì)話的信息的輸入?yún)^(qū)域。
[0008]可選地，該用戶界面方法接收對(duì)用于選擇在情緒表示圖像區(qū)域中輸出的情緒表示圖像的輸入事件加以表示的數(shù)據(jù)，該方法向?qū)Χ私K端發(fā)送對(duì)所選情緒表示圖像的原始圖像請(qǐng)求，并以全屏形式顯示所選情緒表示圖像。響應(yīng)于所接收的表示輸入事件的數(shù)據(jù)，該方法選擇情緒表示圖像以在情緒表示圖像區(qū)域中輸出；并執(zhí)行對(duì)情緒表示圖像區(qū)域中輸出的情緒表示圖像的幻燈片放映。該方法還輸出用于在所顯示圖像中輸出消息的聊天消息區(qū)域，并輸出用于輸入聊天會(huì)話的信息的輸入?yún)^(qū)域。響應(yīng)于所接收的數(shù)據(jù)表示輸入事件，所述方法瀏覽所發(fā)送的和接收的情緒表示圖像的記錄，并將所發(fā)送的和接收的情緒表示圖像按用戶進(jìn)行分組，針對(duì)單獨(dú)用戶輸出分組后的情緒表示圖像，并將接收的與情緒表示圖像相關(guān)聯(lián)的消息和相應(yīng)的情緒表示圖像一起輸出。所述方法響應(yīng)于確定對(duì)端終端所獲取的圖像不包含面部，接收表示用戶離開(kāi)的消息。此外，響應(yīng)于接收到表示用戶離開(kāi)的消息顯示用戶離開(kāi)表示，并以與其他情緒表示圖像容易區(qū)分的方式顯示與新接收消息相關(guān)聯(lián)的情緒表示圖像。
[0009]根據(jù)本公開(kāi)另一方面的用于移動(dòng)終端中的用戶界面系統(tǒng)響應(yīng)于預(yù)定命令激活攝像機(jī)模塊，并使用該攝像機(jī)模塊獲取目標(biāo)對(duì)象的圖像。響應(yīng)于在所獲取的圖像中檢測(cè)到面部，該系統(tǒng)通過(guò)識(shí)別面部特征并將所識(shí)別的面部特征與跟情緒相關(guān)聯(lián)的預(yù)定特征進(jìn)行比較，來(lái)分析面部圖像數(shù)據(jù)以識(shí)別面部的當(dāng)前情緒狀態(tài)。該系統(tǒng)確定所識(shí)別的面部的當(dāng)前情緒狀態(tài)與目標(biāo)對(duì)象的先前獲取的面部圖像的先前情緒狀態(tài)之間的相似性。響應(yīng)于所識(shí)別的當(dāng)前情緒狀態(tài)與所述先前情緒狀態(tài)不具有相似性，該系統(tǒng)基于所獲取的圖像產(chǎn)生情緒表示圖像，并將所產(chǎn)生的情緒表示圖像發(fā)送到對(duì)端終端，以及響應(yīng)于所識(shí)別的當(dāng)前情緒狀態(tài)與所述先前情緒狀態(tài)具有相似性,發(fā)送表示所識(shí)別的當(dāng)前情緒狀態(tài)與所述先前情緒狀態(tài)之間的相似性的消息。
[0010]根據(jù)本公開(kāi)又一方面的用于移動(dòng)終端中的用戶界面方法響應(yīng)于發(fā)生預(yù)設(shè)事件激活攝像機(jī)模塊，并使用該攝像機(jī)模塊獲取目標(biāo)對(duì)象的圖像。響應(yīng)于在所獲取的圖像中檢測(cè)到面部，所述方法分析面部圖像數(shù)據(jù)以識(shí)別面部的情緒狀態(tài)，并響應(yīng)于對(duì)面部圖像數(shù)據(jù)的分析輸出情緒狀態(tài)信息以及情緒表示圖像。該方法存儲(chǔ)情緒狀態(tài)信息以及情緒表示圖像，并臨時(shí)存儲(chǔ)情緒表示圖像的原始圖像。響應(yīng)于以下中的至少一個(gè)來(lái)執(zhí)行攝像機(jī)模塊的激活:激活用戶功能、在聊天會(huì)話期間寫(xiě)入消息、在聊天會(huì)話期間發(fā)起消息發(fā)送請(qǐng)求、以及在視頻呼叫期間收集語(yǔ)音信號(hào)。
[0011]根據(jù)本公開(kāi)再一方面的用于移動(dòng)終端中的用戶界面系統(tǒng)包括:攝像機(jī)模塊，響應(yīng)于在視頻聊天期間產(chǎn)生表示預(yù)設(shè)事件的數(shù)據(jù)，獲取目標(biāo)對(duì)象的圖像；以及控制單元，響應(yīng)于在所獲取的圖像中檢測(cè)到面部，控制:通過(guò)識(shí)別面部特征并將所識(shí)別的面部特征與跟情緒相關(guān)聯(lián)的預(yù)定特征進(jìn)行比較，來(lái)分析面部圖像數(shù)據(jù)以識(shí)別面部的當(dāng)前情緒狀態(tài)；確定所識(shí)別的面部的當(dāng)前情緒狀態(tài)與目標(biāo)對(duì)象的先前獲取的面部圖像的先前情緒狀態(tài)之間的相似性；以及響應(yīng)于所識(shí)別的當(dāng)前情緒狀態(tài)與所述先前情緒狀態(tài)不具有相似性，基于所獲取的圖像產(chǎn)生情緒表示圖像，并將所產(chǎn)生的情緒表示圖像發(fā)送到對(duì)端終端，以及響應(yīng)于所識(shí)別的當(dāng)前情緒狀態(tài)與所述先前情緒狀態(tài)具有相似性，發(fā)送表示所識(shí)別的當(dāng)前情緒狀態(tài)與所述先前情緒狀態(tài)之間的相似性的消息。顯示單元將文本情緒狀態(tài)信息重疊顯示在顯示情緒表示圖像的區(qū)域上。當(dāng)在情緒表示圖像區(qū)域中產(chǎn)生用于選擇一個(gè)情緒表示圖像的輸入事件時(shí)，所述顯示單元以全屏形式顯示所選情緒表示圖像，或輸出與所選情緒表示圖像相關(guān)的情緒表示圖像的幻燈片。控制單元控制輸出以下中的至少一個(gè)以通知使用攝像機(jī)模塊獲取了圖像:燈光閃爍、模式振動(dòng)、聲音通知、增亮、和彈出窗口，以通知使用攝像機(jī)模塊獲取了圖像。視頻聊天支持即時(shí)消息服務(wù)或視頻呼叫服務(wù)。
【專利附圖】

【附圖說(shuō)明】
[0012]根據(jù)結(jié)合附圖的以下詳細(xì)描述，將更清楚本公開(kāi)的特定實(shí)施例的以上和其他方面、特征和優(yōu)點(diǎn)，附圖中:
[0013]圖1示出了根據(jù)本發(fā)明原理支持基于面部識(shí)別的消息功能的系統(tǒng)；
[0014]圖2示出了根據(jù)本發(fā)明原理支持基于面部識(shí)別的消息功能的移動(dòng)終端；
[0015]圖3示出了根據(jù)本發(fā)明原理的圖2中的移動(dòng)終端的控制單元；
[0016]圖4示出了根據(jù)本發(fā)明原理支持視頻聊天模式的方法的流程圖；
[0017]圖5示出了根據(jù)本發(fā)明原理支持視頻聊天模式的另一方法的流程圖；
[0018]圖6示出了根據(jù)本發(fā)明原理的移動(dòng)終端的屏幕界面；
[0019]圖7和圖8示出了根據(jù)本發(fā)明原理的面部情緒表示圖像輸出；
[0020]圖9示出了根據(jù)本發(fā)明原理向面部情緒表示圖像顯示施加的視覺(jué)效果；
[0021]圖10示出了根據(jù)本發(fā)明原理的先前情緒表示圖像瀏覽。
[0022]圖11示出了根據(jù)本發(fā)明原理在視頻聊天會(huì)話中對(duì)用戶離開(kāi)的處理:
[0023]圖12示出了根據(jù)本發(fā)明原理瀏覽對(duì)情緒表示圖像的記錄；以及
[0024]圖13和14示出了根據(jù)本發(fā)明原理在聊天會(huì)話中顯示情緒表示的圖像。
【具體實(shí)施方式】
[0025]下文中，參考附圖詳細(xì)描述了本公開(kāi)的示例性實(shí)施例?？梢允÷赃@里包括的公知功能和結(jié)構(gòu)的詳細(xì)描述，以避免混淆本公開(kāi)的主題。還省略了對(duì)具有實(shí)質(zhì)上相同配置和功能的組件的詳細(xì)描述。在附圖中，夸大或僅簡(jiǎn)述了一些元件，因此可能不是按比例進(jìn)行繪制的。本公開(kāi)不受附圖中對(duì)象的相對(duì)尺寸和對(duì)象之間的間隔的限制。
[0026]以下描述中，將消息功能用作基于面部識(shí)別的用戶功能的主要示例。然而，本公開(kāi)不限于此。本公開(kāi)可以應(yīng)用于涉及面部圖像獲取和發(fā)送的移動(dòng)終端的任何用戶功能，例如，視頻呼叫功能。
[0027]圖1示出了支持基于面部識(shí)別的消息功能的系統(tǒng)10。支持系統(tǒng)10包括發(fā)送方終端101、接收方終端102以及通信系統(tǒng)300，通信系統(tǒng)300在發(fā)送方終端101和接收方終端102之間執(zhí)行數(shù)據(jù)發(fā)送。攝像機(jī)用于獲取用戶的面部圖像。對(duì)所獲取的圖像進(jìn)行分析以檢測(cè)用戶的情緒改變。根據(jù)檢測(cè)結(jié)果確定是發(fā)送所獲取的圖像還是發(fā)送情緒表示圖像。因此，支持系統(tǒng)10可以通過(guò)發(fā)送面部情緒表示圖像產(chǎn)生視頻呼叫效果。具體地，根據(jù)附加設(shè)置，支持系統(tǒng)10可以響應(yīng)于檢測(cè)到的情緒改變，發(fā)送情緒表示圖像，從而在保持視頻呼叫效果的同時(shí)顯著降低數(shù)據(jù)發(fā)送量。支持系統(tǒng)10允許攝像機(jī)響應(yīng)于激活消息功能并滿足預(yù)設(shè)條件來(lái)進(jìn)行操作，以降低由攝像機(jī)消耗的功率。支持系統(tǒng)10使得移動(dòng)終端能夠響應(yīng)于消息功能產(chǎn)生視頻呼叫效果，并以比視頻呼叫小得多的功耗進(jìn)行操作。
[0028]當(dāng)響應(yīng)于用戶請(qǐng)求進(jìn)入與基于面部識(shí)別的消息功能相對(duì)應(yīng)的視頻聊天模式時(shí)，發(fā)送方終端101響應(yīng)于發(fā)生預(yù)設(shè)事件條件激活攝像機(jī)模塊，以獲取用戶的面部圖像并分析所獲取的面部圖像。發(fā)送方終端101可以發(fā)送情緒表示圖像以及相關(guān)的分析信息，用減少的數(shù)據(jù)傳輸資源產(chǎn)生視頻呼叫效果。當(dāng)所獲取的面部圖像表示與先前情緒狀態(tài)實(shí)質(zhì)上相同的情緒狀態(tài)時(shí)，發(fā)送方終端101可以跳過(guò)對(duì)所獲取的面部圖像的發(fā)送?？梢栽诩せ钕⒐δ芷陂g以固定間隔執(zhí)行或響應(yīng)于發(fā)送方終端101發(fā)送了消息來(lái)執(zhí)行選擇發(fā)送所獲取的圖像。發(fā)送方終端101可以在它的顯示單元上輸出面部情緒表示圖像。
[0029]發(fā)送方終端101可以包括攝像機(jī)模塊、支持即時(shí)消息或聊天的消息功能程序、以及發(fā)送和接收所獲取的圖像和消息的通信單元。為了進(jìn)行情緒分析，發(fā)送方終端101支持根據(jù)面部特征要素(例如，眼睛、鼻子、耳朵、前額、顴骨、下巴、臉頰以及面部外貌)的改變進(jìn)行情緒分類。例如，發(fā)送方終端101可以配備情緒分類數(shù)據(jù)庫(kù)，以支持根據(jù)例如眼睛形狀改變、嘴巴張開(kāi)或嘴角改變、耳朵改變、前額褶皺改變、下巴位置改變、臉頰形狀改變、面部陰影改變來(lái)識(shí)別用戶的情緒狀態(tài)。當(dāng)獲取了用戶的面部圖像時(shí)，發(fā)送方終端101可以通過(guò)將所獲取的面部圖像與情緒分類數(shù)據(jù)庫(kù)進(jìn)行比較，來(lái)識(shí)別用戶的當(dāng)前情緒狀態(tài)。
[0030]情緒分類數(shù)據(jù)庫(kù)支持識(shí)別對(duì)情緒狀態(tài)(例如，高興、悲傷、生氣、驚訝、害怕和討厭)的識(shí)別，并且可以根據(jù)所存儲(chǔ)數(shù)據(jù)的詳細(xì)級(jí)別支持更詳細(xì)的情緒分類。發(fā)送方終端101可以預(yù)存情緒分類數(shù)據(jù)情緒分類數(shù)據(jù)庫(kù)，或存儲(chǔ)通過(guò)通信單元從外部接收的情緒分類數(shù)據(jù)庫(kù)，并且可以以規(guī)則間隔更新該數(shù)據(jù)庫(kù)或當(dāng)產(chǎn)生新信息時(shí)更新該數(shù)據(jù)庫(kù)，以實(shí)現(xiàn)更準(zhǔn)確和詳細(xì)的情緒分析。
[0031]接收方終端102從發(fā)送方終端101接收情緒表示圖像，并輸出所接收的情緒表示圖像。接收方終端102可以響應(yīng)于發(fā)送方終端101的發(fā)送模式，執(zhí)行圖像接收和更新。例如，在激活消息功能期間，響應(yīng)于發(fā)送方終端101在預(yù)設(shè)周期內(nèi)獲取面部圖像并且在檢測(cè)到情緒狀態(tài)改變時(shí)發(fā)送所獲取的圖像，接收方終端102可以接收情緒表示圖像并響應(yīng)于該周期輸出該情緒表示圖像。響應(yīng)于發(fā)送方終端101發(fā)送情緒表示圖像以及消息，接收方終端102可以接收對(duì)情緒狀態(tài)不同于先前情緒狀態(tài)加以表示的情緒表示圖像以及消息，或接收對(duì)沒(méi)有情緒狀態(tài)改變加以表示的信息和消息。
[0032]接收方終端102在顯示單元的消息功能支持界面上輸出情緒表示圖像。接收方終端102可以響應(yīng)于不同設(shè)置，輸出所接收的情緒表示圖像。例如，接收方終端102可以為顯示的圖像配置用于輸出使用消息功能的用戶的情緒表示圖像的單獨(dú)區(qū)域，并在該單獨(dú)配置的區(qū)域中輸出當(dāng)前用戶的情緒表示圖像。接收方終端102可以在輸出所交換的消息的消息輸出屏幕上布置關(guān)于用戶的圖像的區(qū)域，并在該消息輸出屏幕的所配置的區(qū)域中輸出當(dāng)前用戶的情緒表示圖像。
[0033]通信系統(tǒng)300配置為支持發(fā)送方終端101和接收方終端102之間的數(shù)據(jù)交換。具體地，當(dāng)發(fā)送方終端101或接收方終端102中的至少一個(gè)是移動(dòng)通信設(shè)備時(shí)，通信系統(tǒng)300可以包括支持移動(dòng)通信的網(wǎng)絡(luò)實(shí)體，例如，基站、基站控制器以及移動(dòng)交換中心。當(dāng)終端能夠進(jìn)行互聯(lián)網(wǎng)接入時(shí)，通信系統(tǒng)300可以包括支持互聯(lián)網(wǎng)連接的無(wú)線接入網(wǎng)絡(luò)。此外，通信系統(tǒng)300可以包括2G、3G以及4G網(wǎng)絡(luò)實(shí)體，以支持終端的多個(gè)通信方案。
[0034]通信系統(tǒng)300可以支持發(fā)送方終端101和接收方終端102之間的消息交換。具體地，通信系統(tǒng)300可以支持終端101和102之間的即時(shí)消息(頂)功能。為了支持即時(shí)消息功能，即時(shí)消息服務(wù)器裝置可以附連到通信系統(tǒng)300。終端101和102可以執(zhí)行由即時(shí)消息服務(wù)器裝置提供的消息支持程序，并通過(guò)通信系統(tǒng)300連接到即時(shí)消息服務(wù)器裝置，以使用即時(shí)消息服務(wù)器裝置執(zhí)行有利地基于面部識(shí)別的消息功能。當(dāng)通過(guò)終端101和102之間的直接消息交換執(zhí)行即時(shí)消息功能時(shí)，可以省略即時(shí)消息服務(wù)器裝置。如上所述，通信系統(tǒng)300不限于具體通信方案或通信模塊，并且可以理解為能夠從發(fā)送方終端101向接收方終端102中繼情緒表示圖像和消息的方法。
[0035]典型終端可以在向另一終端發(fā)送消息時(shí)作為發(fā)送方，而在從另一終端接收消息時(shí)作為接收方。因此，在以下描述中，將發(fā)送方終端101和接收方終端102全部描述為移動(dòng)終端100，該移動(dòng)終端100可以根據(jù)上下文用作發(fā)送方或接收方。
[0036]圖2示出了支持基于面部識(shí)別的消息功能的移動(dòng)終端100。移動(dòng)終端100可以包括通信單元110、輸入單元120、音頻處理單元130、顯示單元140、存儲(chǔ)單元150、攝像機(jī)模塊170以及控制單元160。響應(yīng)于激活消息功能，具有上述配置的移動(dòng)終端100激活攝像機(jī)模塊170以獲取面部圖像，使用所獲取的圖像執(zhí)行情緒分析，并向另一移動(dòng)終端發(fā)送情緒表示圖像。在情緒分析期間，移動(dòng)終端100識(shí)別多個(gè)不同預(yù)定情緒狀態(tài)中與所獲取的圖像相對(duì)應(yīng)的情緒狀態(tài)，并且可以響應(yīng)于所識(shí)別的情緒狀態(tài)不同于先前情緒狀態(tài)，發(fā)送與所獲取的圖像相關(guān)聯(lián)的情緒表示圖像。也就是說(shuō)，移動(dòng)終端100可以響應(yīng)于檢測(cè)到用戶的情緒狀態(tài)改變來(lái)發(fā)送圖像數(shù)據(jù)，以最小化對(duì)情緒信息的多余數(shù)據(jù)傳輸。
[0037]當(dāng)從另一移動(dòng)終端接收到情緒表示圖像時(shí)，則移動(dòng)終端100可以在單獨(dú)配置的輸出區(qū)域中輸出所接收的情緒表示圖像，使得可以容易地識(shí)別發(fā)送方用戶的情緒狀態(tài)改變。備選地，移動(dòng)終端100可以在消息輸出區(qū)域中輸出所接收的情緒表示圖像，以容易識(shí)別響應(yīng)于消息交換的情緒狀態(tài)改變。
[0038]為此，通信單元110配置為支持消息和圖像數(shù)據(jù)的傳輸。通信單元110可以包括至少一個(gè)通信模塊以支持至少一個(gè)通信方案。例如，通信單元110可以包括支持2G、3G和4G移動(dòng)通信之一的通信模塊。控制單元160可以響應(yīng)于用戶請(qǐng)求激活通信單元110，以建立與所請(qǐng)求的服務(wù)類型兼容的通信信道。這里，通信單元110可以響應(yīng)于用戶激活的項(xiàng)目建立通信信道。例如，通信單元110可以支持用于即時(shí)消息，或具體地支持用于基于面部識(shí)別的消息功能的數(shù)據(jù)傳輸。對(duì)于通信單元110支持的消息功能，控制單元160可以提供包含情緒表示圖像的消息輸出屏幕。
[0039]輸入單元120配置為產(chǎn)生移動(dòng)終端100的操作所需的不同輸入信號(hào)。輸入單元120可以包括多個(gè)鍵，例如，按鈕鍵、邊鍵以及主頁(yè)鍵，并且還可以包括支持全觸摸屏能力的虛擬觸摸板。這里，虛擬觸摸板可以顯示在顯示單元140上，并響應(yīng)于用戶觸摸產(chǎn)生輸入信號(hào)。具體地，輸入單元120可以響應(yīng)于用戶請(qǐng)求，產(chǎn)生用于激活視頻聊天模式的輸入信號(hào)，在該模式下使能基于面部識(shí)別的用戶功能。輸入單元120可以響應(yīng)于用戶請(qǐng)求產(chǎn)生用于禁用視頻聊天模式的輸入信號(hào)。響應(yīng)于禁用視頻聊天模式，可以執(zhí)行常規(guī)消息功能以交換消息而不傳輸單獨(dú)圖像。在視頻聊天模式期間，輸入單元120可以產(chǎn)生輸入信號(hào)，用于選擇攝像機(jī)模塊170的不同選項(xiàng)之一。例如，用于操作攝像機(jī)模塊170的選項(xiàng)可以包括:響應(yīng)于預(yù)設(shè)周期操作攝像機(jī)模塊170 ;當(dāng)輸入或發(fā)送了消息時(shí)操作攝像機(jī)模塊170 ;當(dāng)接收到消息時(shí)操作攝像機(jī)模塊170 ;以及響應(yīng)于以上選項(xiàng)的組合進(jìn)行操作。
[0040]由輸入單元120產(chǎn)生的輸入信號(hào)被發(fā)送到控制單元160，該控制單元160響應(yīng)于該輸入信號(hào)執(zhí)行功能。當(dāng)顯示單元140支持輸入功能時(shí)，顯示單元140可以作為輸入裝置。在這種情況下，具有觸摸能力的顯示單元140可以用于產(chǎn)生用于在基于面部識(shí)別的消息功能與常規(guī)消息功能之間進(jìn)行切換的輸入信號(hào)。音頻處理單元130配置為處理在操作移動(dòng)終端100的過(guò)程中產(chǎn)生的不同音頻信號(hào)。音頻處理單元130可以包括揚(yáng)聲器SPK，以輸出所產(chǎn)生的音頻信號(hào)；以及麥克風(fēng)MIC，以收集用于語(yǔ)音或視頻呼叫和記錄的音頻信號(hào)。當(dāng)支持語(yǔ)音消息功能時(shí)，音頻處理單元130可以收集來(lái)自用戶的語(yǔ)音信號(hào)，并將該語(yǔ)音信號(hào)轉(zhuǎn)發(fā)到控制單元160。
[0041]音頻處理單元130可以輸出表示視頻聊天模式的激活的聲音通知、表示在視頻聊天模式期間攝像機(jī)模塊170進(jìn)行的圖像獲取的聲音通知、以及表示從另一移動(dòng)終端接收新的情緒表示圖像的聲音通知。響應(yīng)于用戶設(shè)置，可以跳過(guò)或從攝像機(jī)開(kāi)始圖像獲取的若干秒內(nèi)執(zhí)行對(duì)表示由攝像機(jī)模塊170進(jìn)行的圖像獲取的聲音通知的輸出。
[0042]顯示單元140配置為輸出移動(dòng)終端100的操作所需的不同功能屏幕。例如，顯示單元140可以響應(yīng)于設(shè)置和移動(dòng)終端100支持的功能，輸出多個(gè)屏幕，例如，菜單屏幕、圖標(biāo)屏幕、窗口小部件屏幕、待機(jī)屏幕、以及鎖定屏幕。具體地，顯示單元140可以響應(yīng)于用戶請(qǐng)求輸出消息功能屏幕，并響應(yīng)于選擇視頻聊天模式輸出視頻聊天屏幕。下文參考附圖更詳細(xì)地描述針對(duì)視頻聊天模式的GUI (圖形用戶界面)屏幕。
[0043]存儲(chǔ)單元150配置為存儲(chǔ)操作移動(dòng)終端100所需的多個(gè)程序和數(shù)據(jù)。例如，存儲(chǔ)單元150可以存儲(chǔ)用于控制操作移動(dòng)終端100的操作系統(tǒng)，以及在操作移動(dòng)終端100的過(guò)程中發(fā)送的、接收的或輸入的數(shù)據(jù)。具體地，為了支持本公開(kāi)的視頻聊天模式，存儲(chǔ)單元150可以存儲(chǔ)聊天支持程序151、情緒分類數(shù)據(jù)庫(kù)153、以及聊天照片數(shù)據(jù)庫(kù)155。
[0044]聊天支持程序151可以包括不同例程，以支持移動(dòng)終端100的聊天功能。例如，聊天支持程序151可以包括用于開(kāi)放聊天室以與使用不同移動(dòng)終端的電話號(hào)碼或ID的另一用戶聊天的例程、用于向聊天室發(fā)送消息的例程、以及用于記錄和存儲(chǔ)所交換的消息的例程。具體地，為了支持基于面部識(shí)別的消息功能，聊天支持程序151可以包括用于響應(yīng)于發(fā)生預(yù)設(shè)事件激活攝像機(jī)模塊170的例程、用于使用攝像機(jī)模塊170獲取面部圖像的例程、用于識(shí)別與所獲取的面部圖像相對(duì)應(yīng)的情緒狀態(tài)的例程、以及用于響應(yīng)于所識(shí)別的情緒狀態(tài)控制所獲取的圖像的傳輸?shù)睦?。這里，用于識(shí)別情緒狀態(tài)的例程可以包括以下中的至少一個(gè):用于分析預(yù)設(shè)圖像幀或?qū)崟r(shí)預(yù)覽圖像的例程、用于分析實(shí)時(shí)存儲(chǔ)的圖像的例程或用于分析編碼圖像的例程。[0045]情緒分類數(shù)據(jù)庫(kù)153提供關(guān)于面部特征元素與情緒狀態(tài)(例如，高興、悲傷、生氣、驚訝、害怕和討厭)之間的映射的信息。例如，情緒分類數(shù)據(jù)庫(kù)153可以將不同特征元素(例如，嘴唇形狀、眼睛形狀、下巴位置以及前額褶皺)映射到情緒狀態(tài)。情緒分類數(shù)據(jù)庫(kù)153可以根據(jù)需要提供針對(duì)多個(gè)面部特征元素而被更詳細(xì)分類的關(guān)于情緒狀態(tài)的信息。
[0046]聊天照片數(shù)據(jù)庫(kù)155存儲(chǔ)在執(zhí)行基于面部識(shí)別的消息功能期間交換的情緒表示圖像。在聊天照片數(shù)據(jù)庫(kù)155中，情緒表示圖像可以是基于聊天室分組的。聊天照片數(shù)據(jù)庫(kù)155可以臨時(shí)緩沖預(yù)覽圖像，并可以將編碼圖像與到情緒表示圖像的映射一起存儲(chǔ)。當(dāng)從另一移動(dòng)終端接收到針對(duì)情緒表示圖像的原始圖像請(qǐng)求時(shí)，聊天照片數(shù)據(jù)庫(kù)155可以支持向發(fā)出請(qǐng)求的移動(dòng)終端傳輸編碼的原始圖像。聊天照片數(shù)據(jù)庫(kù)155可以存儲(chǔ)與聊天室中的每個(gè)移動(dòng)終端的電話號(hào)碼或標(biāo)識(shí)符相關(guān)聯(lián)的代表情緒表示圖像，并且可以存儲(chǔ)移動(dòng)終端100的代表情緒表示圖像。聊天照片數(shù)據(jù)庫(kù)155存儲(chǔ)的代表情緒表示圖像可以用作用于確定由新獲取的圖像表示的情緒狀態(tài)是否與先前情緒狀態(tài)相同的參考。
[0047]攝像機(jī)模塊170獲取用戶的面部圖像，并向控制單元160傳送所獲取的圖像。攝像機(jī)模塊170可以位于設(shè)置有顯示單元140的移動(dòng)終端100的前部，以在執(zhí)行消息功能期間獲取用戶的面部圖像。當(dāng)在控制單元160的控制下激活時(shí)，攝像機(jī)模塊170可以獲取預(yù)覽圖像并向控制單元160發(fā)送該預(yù)覽圖像，或?qū)崟r(shí)獲取圖像并向控制單元160發(fā)送圖像。例如，可以激活攝像機(jī)模塊170以在執(zhí)行消息功能期間以預(yù)定速率獲取用戶的面部圖像。如果沒(méi)有獲取到面部圖像，則可以控制攝像機(jī)模塊170停止圖像獲取，并可以暫時(shí)停止基于面部識(shí)別的消息功能。在暫時(shí)停止之后，響應(yīng)于產(chǎn)生針對(duì)終端操控或消息功能操作的輸入事件，可以再次開(kāi)始基于面部識(shí)別的消息功能。控制單元160配置為控制移動(dòng)終端100的信號(hào)交換，數(shù)據(jù)處理、信息收集及分發(fā)，以進(jìn)行視頻聊天模式操作。
[0048]為了實(shí)現(xiàn)基于面部識(shí)別的消息功能，移動(dòng)終端100的控制單元160可以具有如圖3所示的配置?？刂茊卧?60可以包括聊天支持器161、圖像收集器163以及情緒表示圖像處理器165。聊天支持器161通過(guò)與另一移動(dòng)終端交換即時(shí)消息，支持移動(dòng)終端100的基礎(chǔ)聊天功能。聊天支持器161也支持與基于面部識(shí)別的消息功能相關(guān)聯(lián)的視頻聊天模式，并在消息功能屏幕或待機(jī)屏幕上將視頻聊天圖標(biāo)和視頻聊天菜單圖標(biāo)二者中的至少一個(gè)顯示作為用于視頻聊天模式選擇的GUI元件。
[0049]聊天支持器161支持存儲(chǔ)和更新代表情緒表示圖像。具體地，在情緒分類數(shù)據(jù)庫(kù)153定義了多個(gè)情緒狀態(tài)的情況下，當(dāng)獲得與情緒狀態(tài)相對(duì)應(yīng)的情緒表示圖像時(shí)，聊天支持器161可以在聊天照片數(shù)據(jù)庫(kù)155中存儲(chǔ)該情緒表示圖像，作為該情緒狀態(tài)的代表情緒表示圖像。當(dāng)檢測(cè)到與代表情緒表示圖像相對(duì)應(yīng)的情緒狀態(tài)時(shí)，聊天支持器161可以將代表情緒表示圖像用作要向另一移動(dòng)終端發(fā)送的圖像。聊天支持器161可以以預(yù)定頻率(例如，每小時(shí)、每天、或每周)更新所存儲(chǔ)的代表情緒表示圖像，或響應(yīng)于在圖像獲取時(shí)的用戶請(qǐng)求，用對(duì)應(yīng)情緒表示圖像代替所存儲(chǔ)的代表情緒表示圖像。響應(yīng)于識(shí)別與新獲得的圖像相對(duì)應(yīng)的情緒狀態(tài)，聊天支持器161可以檢查是否存在與相同情緒狀態(tài)相關(guān)聯(lián)的所存儲(chǔ)情緒表示圖像，并且如果存在這種情緒表示圖像，提示用戶決定是發(fā)送所存儲(chǔ)的情緒表示圖像還是新獲得的情緒表示圖像。這里，聊天支持器161可以將所存儲(chǔ)的情緒表示圖像和新獲得的情緒表示圖像一起輸出以便比較。
[0050]聊天支持器161支持瀏覽交換圖像的歷史，并且可以提供圖標(biāo)或菜單項(xiàng)以瀏覽向聊天室中的另一用戶發(fā)送的或從聊天室的另一用戶接收的圖像。備選地，聊天支持器161可以在顯示單元140上排列情緒表示圖像的區(qū)域，并當(dāng)選擇了該區(qū)域中所顯示的情緒表示圖像之一時(shí)，支持瀏覽關(guān)于所選情緒表示圖像的用戶的所有情緒表示圖像的歷史。聊天支持器161可以將情緒表示圖像的歷史以及在交換情緒表示圖像時(shí)交換的即時(shí)消息一起輸出。
[0051]當(dāng)從另一移動(dòng)終端或輸入單元120接收到對(duì)情緒表示圖像的原始圖像請(qǐng)求時(shí)，聊天支持器161可以提供所請(qǐng)求的原始圖像。也就是說(shuō)，當(dāng)從另一移動(dòng)終端接收到對(duì)情緒表示圖像的原始圖像請(qǐng)求時(shí)，聊天支持器161可以向發(fā)出請(qǐng)求的移動(dòng)終端發(fā)送所存儲(chǔ)的原始情緒表示圖像。當(dāng)從輸入單元120接收到對(duì)情緒表示圖像的原始圖像請(qǐng)求時(shí)，聊天支持器161可以在顯示單元140上輸出情緒表示圖像的所存儲(chǔ)原始圖像。當(dāng)情緒表示圖像與預(yù)覽圖像相關(guān)聯(lián)時(shí)，聊天支持器161可以編碼并存儲(chǔ)緩沖的原始圖像，并且聊天支持器161可以在預(yù)定時(shí)間內(nèi)維持與情緒表示圖像相關(guān)聯(lián)的緩沖預(yù)覽圖像。
[0052]圖像收集器163響應(yīng)于激活基于面部識(shí)別的消息功能，激活用于圖像獲取的攝像機(jī)模塊170。具體地，圖像收集器163可以支持響應(yīng)于產(chǎn)生預(yù)設(shè)事件的圖像獲取。這里，當(dāng)激活視頻聊天模式以執(zhí)行基于面部識(shí)別的消息功能時(shí)，可以以規(guī)則間隔觸發(fā)預(yù)定事件。在視頻聊天模式下，預(yù)定事件可以與以下中的至少一個(gè)相對(duì)應(yīng):用于消息編輯的輸入事件、用于消息發(fā)送的輸入事件、用于讀取或回復(fù)所接收消息的輸入事件、或?qū)ο?yīng)用的激活。在視頻聊天模式期間，圖像收集器163可以響應(yīng)于移動(dòng)終端100的配置、設(shè)置或設(shè)計(jì)，向情緒表示圖像處理器165提供所獲取預(yù)覽圖像和實(shí)時(shí)存儲(chǔ)的圖像二者中的至少一個(gè)。
[0053]圖像收集器163可以在獲取用于產(chǎn)生情緒表示圖像的面部圖像時(shí)提供圖像獲取通知。例如，圖像收集器163可以輸出以下中的至少一個(gè):表示圖像獲取的聲音通知、預(yù)定模式的燈光閃爍、或預(yù)定模式的振動(dòng)。當(dāng)在視頻聊天模式期間攝像機(jī)模塊170沒(méi)有獲取到用戶的面部時(shí)，圖像收集器163可以認(rèn)為用戶離開(kāi)并相應(yīng)地進(jìn)行響應(yīng)。例如，圖像收集器163可以發(fā)送表示離開(kāi)的預(yù)定圖像或消息。
[0054]情緒表示圖像處理器165使用由圖像收集器163和情緒分類數(shù)據(jù)庫(kù)153提供的面部圖像執(zhí)行情緒分析，并產(chǎn)生情緒表示圖像。具體地，情緒表示圖像處理器165在多個(gè)分類的情緒狀態(tài)中識(shí)別與該面部圖像相對(duì)應(yīng)的情緒狀態(tài)，并產(chǎn)生與所識(shí)別情緒狀態(tài)相對(duì)應(yīng)的情緒表示圖像。情緒表示圖像處理器165可以將該情緒表示圖像以及關(guān)于所識(shí)別的情緒狀態(tài)的信息一起提供給另一移動(dòng)終端。當(dāng)所識(shí)別的情緒狀態(tài)與先前所的圖像表示的情緒狀態(tài)相同時(shí)，情緒表示圖像處理器165可以表示情緒狀態(tài)沒(méi)有改變。在這種情況下，情緒表示圖像處理器165可以默認(rèn)跳過(guò)情緒表示圖像的傳輸，或可以請(qǐng)求用戶決定是否發(fā)送該情緒表示圖像，并響應(yīng)于用戶決定發(fā)送該情緒表示圖像。
[0055]圖4示出了支持視頻聊天模式的方法的流程圖。在操作401處，移動(dòng)終端100的控制單元160響應(yīng)于輸入事件或預(yù)定方案信息，激活視頻聊天模式，并且可以輸出用于視頻聊天模式選擇的圖標(biāo)或菜單項(xiàng)。在操作403中，控制單元160響應(yīng)于產(chǎn)生預(yù)定事件，獲取用戶的面部圖像。也就是說(shuō)，當(dāng)產(chǎn)生了以下中的至少一個(gè)時(shí)，控制單元160可以激活攝像機(jī)模塊170:用于激活基本視頻聊天模式操作(例如，時(shí)間段設(shè)置)的輸入信號(hào)、用于消息編輯的輸入信號(hào)、或用于消息發(fā)送的輸入信號(hào)?？刂茊卧?60可以實(shí)時(shí)獲得由攝像機(jī)模塊170提供的預(yù)覽圖像，或可以控制攝像機(jī)模塊170在預(yù)定時(shí)間獲取用戶的面部圖像。[0056]響應(yīng)于獲得面部圖像，在操作405處，控制單元160使用該面部圖像執(zhí)行情緒分析?？刂茊卧?60可以使用情緒分類數(shù)據(jù)庫(kù)153來(lái)識(shí)別與該面部圖像相對(duì)應(yīng)的情緒狀態(tài)。具體地，當(dāng)使用所獲取的圖像或預(yù)覽圖像表示在預(yù)定時(shí)間內(nèi)沒(méi)有運(yùn)動(dòng)時(shí)，控制單元160可以使用當(dāng)前緩沖的圖像執(zhí)行情緒分析。控制單元160可以使用在產(chǎn)生用于完成消息編輯的輸入事件時(shí)拍攝的預(yù)覽圖像或在產(chǎn)生用于消息發(fā)送的輸入事件時(shí)拍攝的預(yù)覽圖像，來(lái)執(zhí)行情緒分析。
[0057]響應(yīng)于情緒分析，在操作407處，控制單元160產(chǎn)生情緒表示圖像。具體地，控制單元160可以在用于情緒分析的預(yù)覽圖像或所獲取的圖像中界定包含用戶面部的區(qū)域，并提取所界定區(qū)域作為情緒表示圖像。控制單元160可以向該情緒表示圖像并入表示對(duì)應(yīng)情緒狀態(tài)的文本描述。備選地，控制單元160可以從情緒分類數(shù)據(jù)庫(kù)153檢索與所識(shí)別的情緒狀態(tài)相對(duì)應(yīng)的代表情緒表示圖像，并將該代表情緒表示圖像用作情緒表示圖像。在情緒分析結(jié)果與先前情緒分析結(jié)果相同的情況下，控制單元160可以跳過(guò)操作407 (情緒表示圖像產(chǎn)生)和操作409 (情緒表示圖像發(fā)送)，并且可以響應(yīng)于設(shè)置，在不傳輸單獨(dú)圖像的情況下向另一移動(dòng)終端發(fā)送表示沒(méi)有情緒狀態(tài)改變的消息?？刂茊卧?60返回到操作403并繼續(xù)視頻聊天模式操作。
[0058]在操作409處，控制單元160發(fā)送情緒分析信息以及情緒表示圖像。這里，情緒分析信息和情緒表示圖像可以與消息一同發(fā)送，或可以在使用所獲取的圖像進(jìn)行情緒分析之后立即發(fā)送。因此，當(dāng)沒(méi)有輸入消息時(shí)，移動(dòng)終端100可以自動(dòng)向另一移動(dòng)終端發(fā)送情緒分析信息以及情緒表示圖像。當(dāng)將代表情緒表示圖像用于視頻聊天模式操作并且對(duì)端移動(dòng)終端預(yù)存儲(chǔ)用戶的代表情緒表示圖像時(shí)，向?qū)Χ艘苿?dòng)終端發(fā)送情緒分析信息而不發(fā)送情緒表示圖像，對(duì)端移動(dòng)終端可以接著在顯示單元上輸出與所接收的情緒分析信息相對(duì)應(yīng)的發(fā)送用戶的預(yù)存儲(chǔ)代表情緒表示圖像。當(dāng)響應(yīng)于預(yù)定周期用新代表情緒表示圖像更新代表情緒表示圖像時(shí)，控制單元160可以向?qū)Χ艘苿?dòng)終端發(fā)送新代表情緒表示圖像以及相關(guān)情緒分析信息?？刂茊卧?60可以維護(hù)關(guān)于向?qū)Χ艘苿?dòng)終端發(fā)送的代表情緒表示圖像的信息作為代表情緒表示圖像的歷史，并且控制單元160可以將版本信息附加到已有的和新的代表情緒表示圖像。在操作411處，控制單元160檢查是否產(chǎn)生了用于禁用視頻聊天模式的輸入事件，如果沒(méi)有，則控制單元160返回操作403并繼續(xù)該視頻聊天模式操作。
[0059]圖5示出了支持視頻聊天模式的另一方法的流程圖。在操作501處，控制單元160控制向移動(dòng)終端100的單獨(dú)組件供電，并可以輸出用于選擇視頻聊天模式的菜單或圖標(biāo)。當(dāng)產(chǎn)生輸入事件時(shí)，在操作503處，控制單元160檢查輸入事件是否與對(duì)聊天功能的選擇有關(guān)，并且如果輸入事件與對(duì)聊天功能的選擇無(wú)關(guān)，則控制單元160進(jìn)行到操作505，在操作505處控制單元160執(zhí)行與該輸入事件相對(duì)應(yīng)的功能。例如，控制單元160可以響應(yīng)于輸入事件，執(zhí)行不同功能(例如，呼叫功能、廣播接收、文件編輯、文件回放、備忘錄功能、筆記本功能以及攝像機(jī)功能)之一。
[0060]如果輸入事件與對(duì)聊天功能的選擇有關(guān)，則控制單元160進(jìn)行到操作507，在操作507處，控制單元160檢查是否產(chǎn)生了用于激活視頻聊天模式的輸入事件，如果沒(méi)有產(chǎn)生用于激活視頻聊天模式的輸入事件，則控制單元160進(jìn)行到操作509，在操作509處，控制單元160執(zhí)行常規(guī)聊天功能。例如，控制單元160可以控制基于文本的即時(shí)消息的發(fā)送和接收。如果在操作507處產(chǎn)生了用于激活視頻聊天模式的輸入事件，則控制單元160進(jìn)行到操作511，在操作511處，控制單元160激活攝像機(jī)模塊170。在操作513處，控制單元160控制攝像機(jī)模塊170響應(yīng)于預(yù)定設(shè)置獲取圖像。具體地，控制單元160可以控制攝像機(jī)模塊170獲取用戶的面部圖像。在操作515處，控制單元160使用所獲取的圖像執(zhí)行情緒分析?？刂茊卧?60可以根據(jù)情緒分類數(shù)據(jù)庫(kù)153所存儲(chǔ)的信息，識(shí)別與所獲取的圖像相對(duì)應(yīng)的用戶的情緒狀態(tài)。具體地，具體地，控制單元160通過(guò)邊緣檢測(cè)來(lái)識(shí)別特征，例如，嘴唇、臉頰，所述邊緣檢測(cè)例如沿著特征邊界確定像素亮度的過(guò)渡，如已知的那樣?？刂茊卧?60使用平移、縮放和旋轉(zhuǎn)操作變換所識(shí)別圖像特征，以便與在映射信息中跟特定情緒相關(guān)聯(lián)的預(yù)定的所存儲(chǔ)圖像特征進(jìn)行比較(例如，向上彎曲的嘴唇表示微笑和高興)?？刂茊卧?60使用映射信息將變換后的所識(shí)別特征與預(yù)定的所存儲(chǔ)圖像特征進(jìn)行比較，并識(shí)別情緒和相關(guān)聯(lián)的情緒表示圖像。
[0061]在操作517處，控制單元160檢查所識(shí)別的情緒狀態(tài)(當(dāng)前情緒狀態(tài))是否和與先前所獲取的圖像相對(duì)應(yīng)的情緒狀態(tài)(先前情緒狀態(tài))相同。如果當(dāng)前情緒狀態(tài)不同于先前情緒狀態(tài)，則在操作519處，控制單元160產(chǎn)生情緒表示圖像并發(fā)送該情緒表示圖像?？刂茊卧?60可以在存儲(chǔ)單元150中單獨(dú)存儲(chǔ)與該情緒表示圖像相對(duì)應(yīng)的原始圖像，并且可以在使用原始圖像產(chǎn)生情緒表示圖像期間，調(diào)整情緒表示圖像的分辨率。例如，控制單元160可以將情緒表示圖像的分辨率設(shè)為原始圖像分辨率的十分之一，并響應(yīng)于預(yù)定設(shè)置來(lái)改變?cè)撉榫w表示圖像的尺寸。
[0062]如果當(dāng)前情緒狀態(tài)與先前情緒狀態(tài)相同，則在操作521處，控制單元160發(fā)送關(guān)于先前情緒表示圖像的信息，例如，表示情緒表示圖像無(wú)變化的情緒表示圖像索引信息。在操作523處，控制單元160檢查是否產(chǎn)生了用于禁用聊天功能的輸入事件，并且如果沒(méi)有產(chǎn)生用于禁用聊天功能的輸入事件，則控制單元160返回到操作507，并繼續(xù)該聊天功能。
[0063]圖6示出了移動(dòng)終端的屏幕界面。移動(dòng)終端100可以在顯示單元140上輸出聊天消息區(qū)域50、情緒表示圖像區(qū)域40、以及輸入?yún)^(qū)域60。聊天消息區(qū)域50用于輸出與另一移動(dòng)終端交換的消息。在聊天消息區(qū)域50中，可以輸出用于消息文本的文本區(qū)域58以及用于用戶標(biāo)識(shí)的圖像區(qū)域51或52。可以將用于區(qū)分用戶的標(biāo)識(shí)信息59輸出在圖像區(qū)域51或52附近。標(biāo)識(shí)符“Yoon Hee”、“Lee Sook”及“我”(每個(gè)移動(dòng)終端的用戶)可以與標(biāo)識(shí)信息59相對(duì)應(yīng)。圖像601表示用戶“Yoon Hee"使用的移動(dòng)終端的屏幕，并且圖像603表示由用戶“Lee Sook”使用的移動(dòng)終端的屏幕。
[0064]如圖像601所示，可以在“Yoon Hee”終端的顯示單元上的第一情緒表示圖像區(qū)域41中輸出“Lee Sook”的第一情緒表示圖像71。如上所述，當(dāng)通過(guò)基于“Lee Sook”的面部圖像的情緒分析檢測(cè)到情緒狀態(tài)改變時(shí)，可以更新第一情緒表示圖像71。響應(yīng)于設(shè)置，當(dāng)檢測(cè)到情緒狀態(tài)改變時(shí)可以實(shí)時(shí)更新“Lee Sook”的面部圖像，當(dāng)沒(méi)有檢測(cè)到情緒狀態(tài)改變時(shí)可以以規(guī)則間隔更新“Lee Sook”的面部圖像。第一情緒表示圖像71可以由情緒表示圖像和文本情緒狀態(tài)信息(例如，“高興”或“中性”)構(gòu)成。由于可以在圖像區(qū)域51或52輸出情緒表不圖像，移動(dòng)終端100可以在廣生情緒表不圖像時(shí)，將情緒表不圖像的尺寸設(shè)為在即時(shí)消息中使用的縮略圖的尺寸。
[0065]可以不僅在第一情緒表示圖像區(qū)域41中而且在“Lee Sook”的第一圖像區(qū)域51中輸出“Lee Sook”的第一情緒表示圖像71。當(dāng)更新第一情緒表示圖像71時(shí)，也可以更新第一圖像區(qū)域51中的第一情緒表示圖像。這里，可以僅在與新接收的消息相對(duì)應(yīng)的第一圖像區(qū)域51中輸出新接收的第一情緒表示圖像。例如，在如圖像601所示狀態(tài)下，可以在從“Lee Sook”最近接收的消息的第一圖像區(qū)域51中輸出“LeeSook”的新第一情緒表示圖像，并且可以在先前接收的消息的第一圖像區(qū)域中輸出先前接收的第一情緒表示圖像。
[0066]如圖像603所示，可以在第二情緒表示圖像區(qū)域42中輸出由“Yoon Hee”發(fā)送的第二情緒表示圖像72。也可以在聊天消息區(qū)域50中與“Yoon Hee”有關(guān)的第二圖像區(qū)域52中輸出第二情緒表示圖像72。可以在如圖像601所示的命名為“我”的“Yoon Hee”的圖像區(qū)域中和在如圖像603所示的命名為“我”的“Lee Sook”的圖像區(qū)域中輸出用戶的情緒表示圖像。也就是說(shuō)，在如圖像601所示的狀態(tài)下，可以在“Yoon Hee”的圖像區(qū)域中輸出通過(guò)“Yoon Hee”的面部識(shí)別而獲得的第二情緒表示圖像；并且在如圖像603所示的狀態(tài)下，可以在“Lee Sook”的圖像區(qū)域中輸出通過(guò)“Lee Sook”的面部識(shí)別而獲得的第一情緒表示圖像?？梢詫⑶榫w表示圖像輸出為彩色圖像、黑白圖像和特效圖像中的至少一個(gè)。
[0067]移動(dòng)終端100可以表示攝像機(jī)模塊170的操作。例如，為了表示用于圖像獲取的攝像機(jī)模塊170的操作，移動(dòng)終端100可以改變位于右上部的燈80的顏色或閃爍模式。備選地，移動(dòng)終端100可以在整個(gè)顯示單元140上產(chǎn)生增亮或閃爍效果、輸出消息彈出窗口、或產(chǎn)生給定模式的振動(dòng)，以表示用于獲取用于情緒表示圖像發(fā)送的面部圖像的攝像機(jī)模塊170的操作。攝像機(jī)模塊170可以布置在幾乎與燈80相同的位置處。燈80可以布置在攝像機(jī)模塊170的鏡頭附近，并執(zhí)行不同發(fā)光控制操作，用于進(jìn)行先前所述的通知。當(dāng)攝像機(jī)模塊170執(zhí)行圖像獲取時(shí)，可以暫停燈80的操作。燈80也可以提供用于圖像獲取的攝像機(jī)模塊170所需的光線。
[0068]圖7和圖8示出了面部情緒表示圖像的輸出。移動(dòng)終端100可以在情緒表示圖像區(qū)域40中輸出聊天組中所有用戶的情緒表示圖像。例如，當(dāng)三個(gè)用戶屬于一個(gè)聊天組時(shí)，可以在情緒表示圖像區(qū)域40中輸出第一到第三情緒表示圖像71、72和73。為了更新“LeeSook”的第一情緒表示圖像71，可以如圖像801、803和805所示，逐漸改變屏幕狀態(tài)。在圖7中使用淡入效果。在更新第一情緒表示圖像71期間，使用淡出效果改變先前情緒表示圖像。響應(yīng)于對(duì)第一情緒表示圖像71的更新請(qǐng)求，可以用淡出效果去除先前情緒表示圖像，并且可以用淡入效果輸出新情緒表示圖像。
[0069]情緒表示圖像的輸出不限于使用淡入/淡出效果，并且可以以不同方式執(zhí)行。也就是說(shuō)，例如，可以從情緒表示圖像區(qū)域部分地去除先前情緒表示圖像，并且可以在情緒表示圖像區(qū)域中部分地輸出新情緒表示圖像。先前情緒表示圖像可以向一個(gè)方向移動(dòng)以從情緒表示圖像區(qū)域去除，并且可以在通過(guò)先前情緒表示圖像的移動(dòng)所提供的空間中輸出新情緒表示圖像。
[0070]圖8示出了在聊天消息區(qū)域50的第一圖像區(qū)域51中對(duì)情緒表示圖像輸出的更新。為了更新在第一圖像區(qū)域51中輸出的“Lee Sook”的第一情緒表示圖像71，如圖像801到805所示，可以逐漸改變屏幕狀態(tài)。因此，一個(gè)用戶可以通過(guò)聊天消息區(qū)域50上的圖像區(qū)域的改變，容易地識(shí)別另一用戶的情緒狀態(tài)改變。在與先前所接收的消息相對(duì)應(yīng)的圖像區(qū)域中輸出先前情緒表示圖像，并且在與新接收的消息相對(duì)應(yīng)的圖像區(qū)域中輸出新情緒表示圖像。
[0071]圖9示出了向面部情緒表示圖像的顯示施加的視覺(jué)效果。移動(dòng)終端100可以在顯示單元140上僅輸出聊天消息區(qū)域50和輸入?yún)^(qū)域60，而沒(méi)有單獨(dú)的情緒表示圖像區(qū)域40。移動(dòng)終端100可以在圖像區(qū)域51、52和53中輸出情緒表示圖像71、72和73。這里，情緒表示圖像71、72和73可以輸出如圖像901所示的彩色圖像或輸出如圖像903所示的黑白圖像。為此，移動(dòng)終端100可以提供用于設(shè)置彩色圖像和黑白圖像二者之一的菜單項(xiàng)，并響應(yīng)于菜單項(xiàng)中的設(shè)置，將情緒表示圖像71、72和73輸出作為彩色圖像或黑白圖像。此外，可以將情緒狀態(tài)信息(例如，中性、生氣和高興)附加到情緒表示圖像71、72和73，使得可以容易識(shí)別用戶的情緒狀態(tài)。
[0072]移動(dòng)終端100可以選擇性使用彩色或黑白圖像，以輸出情緒表示圖像。更具體地，對(duì)于每個(gè)用戶，移動(dòng)終端100可以將與最近發(fā)送或接收的消息相關(guān)聯(lián)的情緒表示圖像輸出為彩色圖像，并將與先前發(fā)送或接收的消息相關(guān)聯(lián)的情緒表示圖像輸出為黑白圖像。備選地，對(duì)于全部用戶，移動(dòng)終端100可以僅將與最近發(fā)送或接收的消息相關(guān)聯(lián)的情緒表示圖像輸出為彩色圖像，并將與先前發(fā)送或接收的消息相關(guān)聯(lián)的情緒表示圖像輸出為黑白圖像。在這種情況下，可以在顯示單元140上輸出一個(gè)彩色情緒表示圖像以及一個(gè)或多個(gè)黑白情緒表示圖像。當(dāng)接收到新消息時(shí)，可以將彩色情緒表示圖像改變?yōu)楹诎浊榫w表示圖像。
[0073]圖10示出了對(duì)先前情緒表示圖像的瀏覽。如圖像1001所示，移動(dòng)終端100可以輸出情緒表示圖像區(qū)域40、聊天消息區(qū)域50以及輸入?yún)^(qū)域60?？梢栽谇榫w表示圖像區(qū)域40中輸出聊天組中的用戶的情緒表示圖像71、72和73。具體地，在所輸出的情緒表示圖像中，與最近發(fā)送或接收的消息相關(guān)聯(lián)的用戶的情緒表示圖像可以大于另一情緒表示圖像。例如，可以將發(fā)送最新消息的“Lee Sook”的情緒表示圖像顯示為大于其他情緒表示圖像。也可以將“Lee Sook”的情緒表示圖像移動(dòng)到情緒表示圖像區(qū)域40的中心部分。
[0074]可以在聊天消息區(qū)域50中輸出多個(gè)發(fā)送或接收的消息。當(dāng)用戶滾動(dòng)屏幕以瀏覽先前發(fā)送或接收的消息時(shí)，可以響應(yīng)于滾動(dòng)在聊天消息區(qū)域50中輸出的消息，改變?cè)谇榫w表示圖像區(qū)域40中輸出的情緒表示圖像71、72和73。具體地，在消息區(qū)域50輸出的情緒表示圖像中，可以將如圖像1001所示的與用戶指定消息相關(guān)聯(lián)的情緒表示圖像改變?yōu)槿鐖D像1003所示。例如，當(dāng)如圖像1001所示在所選的“Lee Sook”的消息的第一情緒表示圖像區(qū)域51上產(chǎn)生輸入事件時(shí)，指定在情緒表示圖像區(qū)域40中的“Lee Sook”的情緒表示圖像。當(dāng)響應(yīng)于屏幕滾動(dòng)在屏幕下部輸出與“Lee Sook”有關(guān)的先前消息時(shí)，可以在情緒表示圖像區(qū)域40中輸出與該先前消息相關(guān)聯(lián)的情緒表示圖像?？梢栽诘谝磺榫w表示圖像區(qū)域51中顯示指定用戶的縮略圖圖像。備選地，可以響應(yīng)于預(yù)定設(shè)置，在第一情緒表示圖像區(qū)域51中顯示情緒表示圖像。
[0075]圖11示出了視頻聊天會(huì)話中用戶離開(kāi)的處理。移動(dòng)終端100可以響應(yīng)于激活視頻聊天模式，在顯示單元140上輸出情緒表示圖像區(qū)域40、聊天消息區(qū)域50以及輸入?yún)^(qū)域60。移動(dòng)終端100可以從其他用戶接收情緒表示圖像，并在情緒表示圖像區(qū)域40輸出用戶的情緒表示圖像71、72和73。移動(dòng)終端100可以響應(yīng)于預(yù)定設(shè)置，除了單元100的用戶的情緒表示圖像之外，還在情緒表示圖像區(qū)域40中輸出從其他用戶接收的情緒表示圖像。移動(dòng)終端100可以從另一移動(dòng)終端接收表示面部識(shí)別失敗的消息。例如，在視頻聊天會(huì)話期間，一個(gè)用戶可能將移動(dòng)終端置于不使用或關(guān)閉狀態(tài)，該移動(dòng)終端可以向聊天組中的其他用戶發(fā)送表示用戶離開(kāi)的消息。
[0076]當(dāng)從另一移動(dòng)終端接收到表示用戶離開(kāi)的消息時(shí)，如圖11所示，移動(dòng)終端100可以在情緒表示圖像區(qū)域40中反映這一情況。例如，遮住第三情緒表示圖像73以表示對(duì)應(yīng)用戶離開(kāi)。備選地，移動(dòng)終端100可以將表示“用戶離開(kāi)”的文本描述附加到與離開(kāi)的用戶的情緒表示圖像重疊或鄰近的部分。移動(dòng)終端100可以在可以輸出對(duì)應(yīng)情緒表示圖像的圖像區(qū)域中輸出表示“用戶離開(kāi)”的視覺(jué)效果或文本描述。例如，為了表示一個(gè)用戶離開(kāi)，移動(dòng)終端100可以遮住與來(lái)自“Mai Sook”的消息相關(guān)聯(lián)的第三圖像區(qū)域53中輸出的第三情緒表示圖像73，或在第三圖像區(qū)域53中輸出表示“用戶離開(kāi)”的文本描述。
[0077]圖12示出了對(duì)情緒表示圖像的記錄的瀏覽。如圖像1201所示,移動(dòng)終端100可以響應(yīng)于產(chǎn)生了輸入事件，輸出一個(gè)聊天組中的用戶的情緒表示圖像。這里，移動(dòng)終端100可以以每個(gè)用戶為基礎(chǔ)輸出情緒表示圖像。對(duì)于由用戶“Lee Sook”、“Mal Sook”和“YoonHee”構(gòu)成的聊天組，根據(jù)用戶對(duì)情緒表示圖像進(jìn)行分組并以每個(gè)用戶為基礎(chǔ)輸出情緒表示圖像?？梢詫⑶榫w狀態(tài)信息寫(xiě)入每個(gè)情緒表示圖像。移動(dòng)終端100可以提供菜單項(xiàng)以輸出用戶的情緒表示圖像的列表，并且如圖像1201所示，當(dāng)選擇該菜單項(xiàng)時(shí)可以輸出情緒表示圖像的列表。
[0078]可以以不同時(shí)間間隔來(lái)執(zhí)行對(duì)情緒表示圖像記錄的瀏覽。例如，移動(dòng)終端100可以提供多個(gè)菜單項(xiàng)，以每天、每星期、或每月瀏覽情緒表示圖像的記錄，并當(dāng)選擇菜單項(xiàng)之一時(shí)輸出包含與所選菜單項(xiàng)相對(duì)應(yīng)的情緒表示圖像的記錄的全體情緒表示圖像瀏覽屏幕?？梢栽谇榫w表示圖像區(qū)域中將情緒表示圖像和相關(guān)消息一起輸出。
[0079]當(dāng)如圖像1201所示從全體情緒表示圖像瀏覽屏幕選擇情緒表示圖像時(shí)，如圖像1203所示，移動(dòng)終端100可以在顯示單元140上輸出給定尺寸的所選情緒表示圖像。也就是說(shuō)，響應(yīng)于選擇情緒表示圖像的輸入事件，移動(dòng)終端100可以在顯示單元140上全屏形式輸出所選情緒表示圖像。為此，移動(dòng)終端100可以發(fā)起對(duì)情緒表示圖像的原始圖像請(qǐng)求。也就是說(shuō)，響應(yīng)于用于指定情緒表示圖像以按照給定尺寸顯示該情緒表示圖像的輸入請(qǐng)求，移動(dòng)終端100可以向已發(fā)送情緒表示圖像的移動(dòng)終端發(fā)送針對(duì)指定情緒表示圖像的原始圖像請(qǐng)求。當(dāng)接收到指定情緒表示圖像的原始圖像時(shí)，移動(dòng)終端100可以在顯示單元140上輸出所接收的原始圖像。為了處理來(lái)自另一移動(dòng)終端的原始圖像請(qǐng)求，移動(dòng)終端100可以將每個(gè)情緒表示圖像的原始圖像存儲(chǔ)預(yù)定時(shí)間。此后，當(dāng)從第二移動(dòng)終端接收到對(duì)情緒表示圖像的原始圖像的請(qǐng)求時(shí)，移動(dòng)終端100可以檢索該情緒表示圖像的所存儲(chǔ)原始圖像并向第二移動(dòng)終端發(fā)送檢索到的原始圖像。
[0080]當(dāng)在如圖像1203所示的狀態(tài)下在部分顯示單元140上產(chǎn)生了用于瀏覽不同情緒表示圖像的輸入事件(例如，掃動(dòng)或拖曳事件)時(shí)，移動(dòng)終端100可以輸出不同于在如圖像1201所示的狀態(tài)下輸出的情緒表示圖像的一系列情緒表示圖像。具體地，移動(dòng)終端100可以在顯示單元140上輸出相同用戶的不同情緒表示圖像。
[0081]圖13和圖14示出了在聊天會(huì)話中情緒表示圖像的顯示。如圖像1301所示，移動(dòng)終端100可以響應(yīng)于激活視頻聊天模式，在顯示單元140上輸出包括情緒表示圖像區(qū)域40、聊天消息區(qū)域50和輸入?yún)^(qū)域60的屏幕。響應(yīng)于在情緒表示圖像區(qū)域40中選擇情緒表示圖像71的用戶輸入事件，如圖像1303所示，移動(dòng)終端100可以在顯示單元140的區(qū)域輸出菜單彈出窗口 90，菜單彈出窗口 90包含可用于所選情緒表示圖像71的菜單項(xiàng)。將菜單彈出窗口 90輸出為重疊在視頻聊天屏幕上，以便于區(qū)分。
[0082]響應(yīng)于在菜單彈出窗口 90上選擇“幻燈片放映”項(xiàng)的用戶輸入事件，如圖像1305所示，移動(dòng)終端100可以執(zhí)行幻燈片放映功能。這里，移動(dòng)終端100可以通過(guò)幻燈片放映功能顯示與在如圖像1301所示的狀態(tài)下選擇的情緒表示圖像71有關(guān)的用戶的情緒表示圖像。在執(zhí)行幻燈片放映功能期間，在給定用戶的情緒表示圖像中，可以以預(yù)定尺寸或全屏形式在一段時(shí)間內(nèi)顯示一個(gè)情緒表示圖像，并用下一情緒表示圖像代替顯示的該情緒表示圖像。如果情緒表示圖像的原始圖像對(duì)幻燈片放映功能而言是必須的，則移動(dòng)終端100可以向另一移動(dòng)終端發(fā)送原始圖像請(qǐng)求并接收對(duì)應(yīng)原始圖像。
[0083]當(dāng)在執(zhí)行幻燈片放映功能期間顯示了最后的情緒表示圖像時(shí)，移動(dòng)終端100可以輸出幻燈片末尾通知，并自動(dòng)結(jié)束幻燈片放映功能。此后，移動(dòng)終端100可以返回到如圖像1301所示的狀態(tài)以繼續(xù)視頻聊天模式。備選地，移動(dòng)終端100可以輸出幻燈片末尾通知，并通過(guò)顯示第一情緒表示圖像來(lái)重新開(kāi)始幻燈片放映功能。當(dāng)產(chǎn)生了用于屏幕恢復(fù)的輸入事件時(shí)，移動(dòng)終端100可以結(jié)束幻燈片放映功能，并返回到如圖像1301所示的狀態(tài)。
[0084]在圖14中，如圖像1401所示，移動(dòng)終端100可以在顯示單元140上輸出包括情緒表示圖像區(qū)域40、聊天消息區(qū)域50以及輸入?yún)^(qū)域60的屏幕，以支持視頻聊天模式。響應(yīng)于選擇情緒表示圖像區(qū)域40中輸出的情緒表示圖像71的用戶輸入事件，如圖像1403所示，移動(dòng)終端100可以在顯示單元140上以全屏形式輸出情緒表示圖像71。移動(dòng)終端100可以向另一用戶終端發(fā)送對(duì)情緒表示圖像71的原始圖像請(qǐng)求。
[0085]可以響應(yīng)于產(chǎn)生預(yù)定事件，直接激活如圖13所述的情緒表示圖像的幻燈片放映或如圖14所述的情緒表示圖像的全屏視圖。例如，當(dāng)通過(guò)長(zhǎng)觸摸事件選擇情緒表示圖像時(shí)，移動(dòng)終端100可以提供對(duì)與所選情緒表示圖像有關(guān)的用戶的情緒表示圖像的幻燈片放映。當(dāng)通過(guò)雙擊事件選擇情緒表示圖像時(shí)，移動(dòng)終端100可以在顯示單元140上以全屏模式輸出所選情緒表示圖像。
[0086]如前所述，由攝像機(jī)模塊170獲取面部圖像；使用所獲取的圖像執(zhí)行面部識(shí)別；使用面部識(shí)別結(jié)果執(zhí)行情緒分析；以及響應(yīng)于情緒分析結(jié)果發(fā)送情緒表示圖像。這里，可以響應(yīng)于檢測(cè)到情緒狀態(tài)改變來(lái)執(zhí)行情緒表示圖像的傳輸，提高數(shù)據(jù)傳輸效率。
[0087]在以上描述中，將消息功能用作基于面部識(shí)別的用戶功能的主要示例。然而，本公開(kāi)不限于此?；诿娌孔R(shí)別的用戶功能也可以應(yīng)用于視頻呼叫。更具體地，當(dāng)在視頻呼叫期間使能基于面部識(shí)別的情緒分析功能時(shí)，可以根據(jù)由攝像機(jī)模塊170獲取的預(yù)覽圖像來(lái)執(zhí)行情緒分析；當(dāng)檢測(cè)到情緒狀態(tài)改變時(shí)，可以將新情緒狀態(tài)信息以及對(duì)應(yīng)情緒表示圖像傳輸?shù)綄?duì)端終端，而不進(jìn)行實(shí)時(shí)圖像傳輸。也就是說(shuō)，在本公開(kāi)的視頻呼叫期間，響應(yīng)于檢測(cè)到情緒狀態(tài)改變，發(fā)送情緒表示圖像而不進(jìn)行實(shí)時(shí)圖像傳輸，顯著減少了要發(fā)送的數(shù)據(jù)量，同時(shí)保持視頻呼叫效果。具體地，在視頻呼叫期間，移動(dòng)終端100可以在獲得語(yǔ)音信號(hào)時(shí)，使用攝像機(jī)模塊170產(chǎn)生情緒表示圖像。也就是說(shuō)，當(dāng)通過(guò)麥克風(fēng)MIC獲得由發(fā)言用戶產(chǎn)生的語(yǔ)音信號(hào)時(shí)，移動(dòng)終端100可以使用攝像機(jī)模塊170獲取圖像，并使用所獲取的圖像執(zhí)行情緒分析。當(dāng)沒(méi)有產(chǎn)生語(yǔ)音信號(hào)時(shí)，移動(dòng)終端100可以禁用攝像機(jī)模塊170，以減少攝像機(jī)模塊170消耗的功率。此外，移動(dòng)終端100可以在顯示單元140上布置情緒表示圖像區(qū)域，以輸出在前述視頻呼叫期間發(fā)送和接收的情緒表示圖像，并且可以提供用于操控情緒表示圖像的多個(gè)選項(xiàng)。
[0088]在另一實(shí)施例中，移動(dòng)終端100還可以包括不同組件。例如，當(dāng)移動(dòng)終端100是通信終端時(shí)，移動(dòng)終端100還可以包括用于局域通信的局域通信模塊、基于有線和無(wú)線通信的數(shù)據(jù)通信接口、用于互聯(lián)網(wǎng)接入和通信的互聯(lián)網(wǎng)通信模塊、以及用于接收和播放數(shù)字廣播的數(shù)字廣播接收模塊。對(duì)本領(lǐng)域技術(shù)人員顯而易見(jiàn)的是，移動(dòng)終端100還可以包括與上述單元可比較的單元，并且移動(dòng)終端100的一個(gè)單元可以被去除或用另一單元代替。
[0089]移動(dòng)終端100可以是信息和通信裝置或多媒體裝置，例如，基于支持不同通信系統(tǒng)的通信協(xié)議的移動(dòng)通信終端、便攜式多媒體播放器(PMP)、數(shù)字廣播接收機(jī)、個(gè)人數(shù)字助手(PDA)、例如MP3播放器的音樂(lè)播放器、便攜式游戲機(jī)、智能電話、膝上型計(jì)算機(jī)或手持型計(jì)算機(jī)。
[0090]上文中，參考附圖描述了本公開(kāi)實(shí)施例。應(yīng)在不限制本公開(kāi)主題的情況下，根據(jù)本公開(kāi)的精神理解在描述中所用的具體術(shù)語(yǔ)或詞語(yǔ)。應(yīng)理解，這里描述的基本發(fā)明構(gòu)思的多種改變和修改將仍在由所附權(quán)利要求及其等同物限定的系統(tǒng)的精神和范圍內(nèi)。
[0091]上述實(shí)施例可以實(shí)現(xiàn)為硬件、固件或作為可以存儲(chǔ)在諸如⑶ROM、數(shù)字通用盤(DVD)、磁帶、RAM、軟盤、硬盤或磁光盤等記錄介質(zhì)上的軟件或計(jì)算機(jī)代碼，或在網(wǎng)絡(luò)上下載的原始存儲(chǔ)在遠(yuǎn)程記錄介質(zhì)或非暫時(shí)機(jī)器可讀介質(zhì)上并存儲(chǔ)在本地記錄介質(zhì)上的計(jì)算機(jī)代碼，使得這里所述方法可以通過(guò)使用通用計(jì)算機(jī)、或?qū)Ｓ锰幚砥骰蚩删幊袒驅(qū)Ｓ糜布?例如ASIC或FPGA)在記錄介質(zhì)上存儲(chǔ)的這種軟件來(lái)呈現(xiàn)。如本領(lǐng)域技術(shù)人員理解的，計(jì)算機(jī)、處理器、微處理器控制器或可編程硬件包括存儲(chǔ)組件，例如RAM、ROM、閃存等，其可以存儲(chǔ)或接收軟件或計(jì)算機(jī)代碼，這些軟件或計(jì)算機(jī)代碼在被計(jì)算機(jī)、處理器或硬件訪問(wèn)和執(zhí)行時(shí)實(shí)現(xiàn)這里所描述的處理方法。此外，應(yīng)該認(rèn)識(shí)到，當(dāng)通用計(jì)算機(jī)訪問(wèn)用于實(shí)現(xiàn)這里示出的處理的代碼時(shí)，所述代碼的執(zhí)行將通用計(jì)算機(jī)轉(zhuǎn)化為用于執(zhí)行這里示出的處理的專用計(jì)算機(jī)?？梢宰詣?dòng)地、或完全或部分地響應(yīng)于用戶命令來(lái)執(zhí)行這里的功能和處理步驟。響應(yīng)于可執(zhí)行命令或設(shè)備操作而無(wú)需用戶直接發(fā)起活動(dòng)，來(lái)執(zhí)行自動(dòng)執(zhí)行的活動(dòng)(包括步驟)。
【權(quán)利要求】
1.一種用于移動(dòng)終端中的用戶界面方法，所述方法包括: 激活攝像機(jī)模塊以支持視頻聊天功能； 使用攝像機(jī)模塊獲取目標(biāo)對(duì)象的圖像； 響應(yīng)于在所獲取的圖像中檢測(cè)到面部，分析面部圖像數(shù)據(jù)以識(shí)別面部的當(dāng)前情緒狀態(tài)； 將所識(shí)別的當(dāng)前情緒狀態(tài)與目標(biāo)對(duì)象的先前獲取的面部圖像的先前情緒狀態(tài)進(jìn)行比較； 響應(yīng)于所述比較，產(chǎn)生情緒表示圖像；以及 將所產(chǎn)生的情緒表示圖像發(fā)送到視頻聊天中使用的對(duì)端終端。
2.根據(jù)權(quán)利要求1所述的方法，其中，所述識(shí)別面部的當(dāng)前情緒狀態(tài)包括: 通過(guò)特征邊界邊 緣檢測(cè)來(lái)識(shí)別面部特征，所述特征邊界邊緣檢測(cè)包括確定像素亮度的過(guò)渡；以及 使用所識(shí)別的面部特征的變換，將所識(shí)別的面部特征與跟情緒相關(guān)聯(lián)的預(yù)定特征進(jìn)行比較，所述變換包括平移、縮放以及旋轉(zhuǎn)操作中的至少一個(gè)，并且所述方法還包括: 當(dāng)所識(shí)別的當(dāng)前情緒狀態(tài)與所述先前情緒狀態(tài)相同時(shí)，發(fā)送對(duì)當(dāng)前情緒狀態(tài)與先前情緒狀態(tài)之間的相似性加以表示的消息，而不產(chǎn)生和發(fā)送情緒表示圖像。
3.根據(jù)權(quán)利要求1所述的方法，其中響應(yīng)于以下中的至少一個(gè)來(lái)執(zhí)行攝像機(jī)模塊的激活:視頻聊天中的時(shí)間段期滿、激活支持視頻聊天的消息應(yīng)用、產(chǎn)生用于在視頻聊天期間寫(xiě)入消息的輸入事件、產(chǎn)生用于在視頻聊天期間發(fā)送所寫(xiě)消息的輸入事件、和產(chǎn)生用于閱讀或回復(fù)所接收消息的輸入事件。
4.根據(jù)權(quán)利要求1所述的方法，其中所述獲取目標(biāo)對(duì)象的圖像包括以下中的至少一個(gè): 從攝像機(jī)模塊提供的預(yù)覽圖像序列中選擇圖像；以及 在輸出預(yù)定通知之后獲取目標(biāo)對(duì)象的圖像。
5.根據(jù)權(quán)利要求1所述的方法，其中所述產(chǎn)生情緒表示圖像包括:通過(guò)調(diào)整攝像機(jī)獲取的圖像的分辨率以及尺寸，產(chǎn)生預(yù)定尺寸的情緒表示圖像。
6.根據(jù)權(quán)利要求5所述的方法，其中所述產(chǎn)生情緒表示圖像還包括:將與所識(shí)別的當(dāng)前情緒狀態(tài)有關(guān)的文本信息并入所述情緒表示圖像。
7.根據(jù)權(quán)利要求1所述的方法，還包括: 響應(yīng)于確定所獲取的圖像不包含目標(biāo)對(duì)象的面部，產(chǎn)生表示用戶離開(kāi)的消息，以及 將表示用戶離開(kāi)的消息發(fā)送到對(duì)端終端。
8.根據(jù)權(quán)利要求1所述的方法，還包括: 響應(yīng)于接收到原始圖像請(qǐng)求，向?qū)Χ私K端發(fā)送所選情緒表示圖像的原始圖像。
9.一種用于移動(dòng)終端中的用戶界面方法，所述方法包括: 響應(yīng)于預(yù)定命令激活攝像機(jī)模塊； 使用攝像機(jī)模塊獲取目標(biāo)對(duì)象的圖像； 響應(yīng)于在所獲取的圖像中檢測(cè)到面部，通過(guò)識(shí)別面部特征并將所識(shí)別的面部特征與跟情緒相關(guān)聯(lián)的預(yù)定特征進(jìn)行比較，來(lái)分析面部圖像數(shù)據(jù)以識(shí)別面部的當(dāng)前情緒狀態(tài)；確定所識(shí)別的面部的當(dāng)前情緒狀態(tài)與目標(biāo)對(duì)象的先前獲取的面部圖像的先前情緒狀態(tài)之間的相似性；以及 響應(yīng)于所識(shí)別的當(dāng)前情緒狀態(tài)與所述先前情緒狀態(tài)不具有相似性，基于所獲取的圖像產(chǎn)生情緒表示圖像，并將所產(chǎn)生的情緒表示圖像發(fā)送到對(duì)端終端，以及響應(yīng)于所識(shí)別的當(dāng)前情緒狀態(tài)與所述先前情緒狀態(tài)具有相似性，發(fā)送表示所識(shí)別的當(dāng)前情緒狀態(tài)與所述先前情緒狀態(tài)之間的相似性的消息。
10.一種用于移動(dòng)終端中的用戶界面方法，所述方法包括: 響應(yīng)于發(fā)生預(yù)設(shè)事件激活攝像機(jī)模塊； 使用攝像機(jī)模塊獲取目標(biāo)對(duì)象的圖像； 響應(yīng)于在所獲取的圖像中檢測(cè)到面部，分析面部圖像數(shù)據(jù)以識(shí)別面部的當(dāng)前情緒狀態(tài)；以及 響應(yīng)于對(duì)面部圖像數(shù)據(jù)的分析輸出情緒狀態(tài)信息以及情緒表示圖像。
11.根據(jù)權(quán)利要求10所述的方法，還包括: 通過(guò)識(shí)別面部特征并將所識(shí)別的面部特征與跟情緒相關(guān)聯(lián)的預(yù)定特征進(jìn)行比較，來(lái)分析面部圖像數(shù)據(jù)以識(shí)別面部的當(dāng)前情緒狀態(tài)；以及 向?qū)Χ私K端發(fā)送所述情緒狀態(tài)信息和情緒表示圖像。
12.根據(jù)權(quán)利要求10所述的方法，還包括: 存儲(chǔ)情緒狀態(tài)/[目息以及情緒表不圖像；以及 臨時(shí)存儲(chǔ)情緒表示圖像的原始圖像。
13.根據(jù)權(quán)利要求10所述的方法，其中所述輸出情緒狀態(tài)信息和情緒表示圖像包括輸出由移動(dòng)終端產(chǎn)生的或從對(duì)端終端接收的情緒狀態(tài)信息和情緒表示圖像。
14.根據(jù)權(quán)利要求10所述的方法，其中響應(yīng)于以下中的至少一個(gè)來(lái)執(zhí)行攝像機(jī)模塊的激活:激活用戶功能、在聊天會(huì)話期間寫(xiě)入消息、在聊天會(huì)話期間發(fā)起消息發(fā)送請(qǐng)求、以及在視頻呼叫期間收集語(yǔ)音信號(hào)。
15.一種用于移動(dòng)終端中的用戶界面系統(tǒng)，包括: 攝像機(jī)模塊，響應(yīng)于在視頻聊天期間產(chǎn)生表示預(yù)設(shè)事件的數(shù)據(jù)，獲取目標(biāo)對(duì)象的圖像；以及 控制單元，響應(yīng)于在所獲取的圖像中檢測(cè)到面部，控制: 通過(guò)識(shí)別面部特征并將所識(shí)別的面部特征與跟情緒相關(guān)聯(lián)的預(yù)定特征進(jìn)行比較，來(lái)分析面部圖像數(shù)據(jù)以識(shí)別面部的當(dāng)前情緒狀態(tài)； 確定所識(shí)別的面部的當(dāng)前情緒狀態(tài)與目標(biāo)對(duì)象的先前獲取的面部圖像的先前情緒狀態(tài)之間的相似性；以及 響應(yīng)于所識(shí)別的當(dāng)前情緒狀態(tài)與所述先前情緒狀態(tài)不具有相似性，基于所獲取的圖像產(chǎn)生情緒表示圖像，并將所產(chǎn)生的情緒表示圖像發(fā)送到對(duì)端終端，以及響應(yīng)于所識(shí)別的當(dāng)前情緒狀態(tài)與所述先前情緒狀態(tài)具有相似性，發(fā)送表示所識(shí)別的當(dāng)前情緒狀態(tài)與所述先前情緒狀態(tài)之間的相似性的消息。
16.根據(jù)權(quán)利要求15所述的用戶界面系統(tǒng)，還包括顯示單元，輸出所產(chǎn)生的情緒表示圖像和從對(duì)端終端接收的情緒表示圖像中的至少一個(gè)。
17.根據(jù)權(quán)利要求16所述的用戶界面系統(tǒng)，其中所述顯示單元將文本情緒狀態(tài)信息重疊顯示在顯示情緒表示圖像的區(qū)域上。
18.根據(jù)權(quán)利要求16所述的用戶界面系統(tǒng)，還包括存儲(chǔ)單元，存儲(chǔ)所發(fā)送的和接收的情緒表不圖像。
19.根據(jù)權(quán)利要求18所述的用戶界面系統(tǒng)，其中所述顯示單元顯示針對(duì)單個(gè)用戶存儲(chǔ)在存儲(chǔ)單元中的情緒表示圖像的記錄。
20.根據(jù)權(quán)利要求16所述的用戶界面系統(tǒng)，其中所述顯示單元輸出用于顯示情緒表示圖像的單獨(dú)的情緒表示圖像區(qū)域。
21.根據(jù)權(quán)利要求20所述的用戶界面系統(tǒng)，其中當(dāng)在情緒表示圖像區(qū)域中產(chǎn)生用于選擇一個(gè)情緒表示圖像的輸入事件時(shí)，所述顯示單元以全屏形式顯示所選情緒表示圖像，或輸出與所選情緒表示圖像相關(guān)的情緒表示圖像的幻燈片。
22.根據(jù)權(quán)利要求15所述的用戶界面系統(tǒng)，其中所述控制單元控制輸出以下中的至少一個(gè)以通知使用攝像機(jī)模塊獲取了圖像:燈光閃爍、模式振動(dòng)、聲音通知、增亮、和彈出窗□。
23.根據(jù)權(quán)利要求15所述的用戶界面系統(tǒng)，其中所述視頻聊天支持即時(shí)消息服務(wù)或視頻呼叫服務(wù)。
【文檔編號(hào)】H04N5/232GK103916536SQ201410005428
【公開(kāi)日】2014年7月9日 申請(qǐng)日期:2014年1月6日 優(yōu)先權(quán)日:2013年1月7日
【發(fā)明者】鄭志惠, 崔普根, 姜斗錫, 李昌浩, 林灑美, 鄭義昌 申請(qǐng)人:三星電子株式會(huì)社