專利名稱：通信終端和通信方法
技術領域：
本發(fā)明涉及一種通信終端，其具有通信功能并常見功能安裝到通信對端所安裝的功能中，且涉及所述通信終端的一種通信方法。
背景技術：
到目前為止，已經(jīng)開發(fā)了一種配備有稱為“化身”(avatar)的特征而不是用戶相片發(fā)送到通信對端的功能的可視電話(例如，參看專利文獻1)。
專利文獻1JP-A-2003-109036(第3頁，第4頁，圖2)。

發(fā)明內(nèi)容
本發(fā)明要解決的問題然而，在相關技術的可視電話中，并非所有可視電話都必然具有相同處理能力，當在具有不同處理能力的可視電話之間進行通信時，是根據(jù)處理能力較低的可視電話的處理能力來進行通信的，且在所述可視電話之間不能實現(xiàn)流暢的處理；這是個問題。
因此本發(fā)明的目標在于提供一種通信終端，其能夠使得通信對端執(zhí)行本端所要求的水平的功能，且在于提供所述通信終端的一種通信方法。
解決所述問題的方法本發(fā)明的通信終端是具有通信功能并安裝有與通信對端所安裝的功能相通用的功能的通信終端，通信終端包括數(shù)據(jù)產(chǎn)生裝置，其用于產(chǎn)生使本端所安裝的功能得以執(zhí)行的數(shù)據(jù)和使通信對端所安裝的功能得以執(zhí)行的數(shù)據(jù)；和傳輸裝置，其用于傳輸使所述通信對端所安裝的功能執(zhí)行的數(shù)據(jù)。
根據(jù)所述結(jié)構(gòu)，提供數(shù)據(jù)產(chǎn)生裝置，其用于產(chǎn)生使本端所安裝的功能得以執(zhí)行的數(shù)據(jù)和使通信對端所安裝的功能得以執(zhí)行的數(shù)據(jù)，藉此如果通信對端的終端能力低于本端的終端能力，那么可使得通信對端執(zhí)行本端所要求的水平的功能。
本發(fā)明的通信終端具有可視電話功能；用于分析輸入數(shù)據(jù)的輸入數(shù)據(jù)分析裝置；和數(shù)據(jù)匹配裝置，用于基于分析結(jié)果而使本端的數(shù)據(jù)與通信對端的數(shù)據(jù)相匹配的數(shù)據(jù)輸出到所述輸入數(shù)據(jù)分析裝置。本發(fā)明的通信終端包括輸入裝置，用于從圖像數(shù)據(jù)、語音數(shù)據(jù)和按鍵輸入數(shù)據(jù)中選擇的至少一種數(shù)據(jù)作為輸入數(shù)據(jù)輸入到所述輸入數(shù)據(jù)分析裝置。根據(jù)上述結(jié)構(gòu)，提供用于分析輸入數(shù)據(jù)的輸入數(shù)據(jù)分析裝置，藉此可以產(chǎn)生反映輸入數(shù)據(jù)的數(shù)據(jù)。
本發(fā)明的通信方法為安裝有與通信對端所安裝的功能相通用的功能的且具有通信功能的通信終端的通信方法，所述通信方法包括以下步驟；產(chǎn)生使本端所安裝的功能得以執(zhí)行的數(shù)據(jù)和使所述通信對端所安裝的功能得以執(zhí)行的數(shù)據(jù)；以及傳輸使所述通信對端所安裝的功能得以執(zhí)行的數(shù)據(jù)。
本發(fā)明的優(yōu)勢根據(jù)本發(fā)明，產(chǎn)生使本端所安裝的功能得以執(zhí)行的數(shù)據(jù)和使通信對端所安裝的功能得以執(zhí)行的數(shù)據(jù)，藉此如果通信對端的終端能力低于本端的終端能力，那么可使得通信對端執(zhí)行本端所要求的水平的功能。


圖1是描述本發(fā)明的第一實施例的可視電話系統(tǒng)的結(jié)構(gòu)示意圖。
圖2是展示表情和情緒分析部16的面部識別處理的圖。
圖3是展示表情和情緒分析部16的面部識別處理的圖。
圖4是展示由動作數(shù)據(jù)產(chǎn)生部17和動作匹配部18使用的動作表的示例的圖。
圖5是展示動作匹配部18的操作概要圖(1)。
圖6是展示動作匹配部18的操作概要圖(2)。
圖7是展示動作匹配部18的操作概要圖(3)。
圖8是展示可視電話1的操作的流程圖。
圖9是展示動作匹配部18的操作的流程圖。
圖10是展示可視電話2的操作的流程圖。
圖11是描述本發(fā)明的第二實施例的可視電話系統(tǒng)的結(jié)構(gòu)示意圖。
圖12是展示可視電話4的操作的流程圖。
圖13是展示動作匹配部18A的操作的流程圖。
圖14是展示可視電話5的操作的流程圖。
圖15是展示動作匹配部18B的操作的流程圖。
圖16是描述本發(fā)明的第三實施例的可視電話系統(tǒng)的結(jié)構(gòu)示意圖。
圖17是展示以可視電話6和7拍攝的圖像的圖。
圖18是展示圖像處理判定部21和圖像處理匹配部22所使用的動作表的示例的圖。
圖19是展示圖像處理匹配部22的操作概要圖。
圖20是展示可視電話6的操作的流程圖。
圖21是展示動作匹配部18A的操作的流程圖。
圖22是展示可視電話7的操作的流程圖。
附圖標記的說明1，2，4，5，6，7可視電話3 網(wǎng)絡10A，10B輸入數(shù)據(jù)部11A，11B數(shù)據(jù)傳輸部12A，12B數(shù)據(jù)接收部13A，13B顯示圖像生成部14A，14B可視電話顯示部15，15A，15B特征數(shù)據(jù)存儲部16A，16B表情和情緒分析部17，17A，17B動作數(shù)據(jù)產(chǎn)生部18，18A，18B動作匹配部19A，19B特征數(shù)據(jù)保存部20 圖像處理數(shù)據(jù)存儲部21 圖像處理判定部22 圖像處理匹配部具體實施方式
最佳實施例(第一實施例)圖1是描述本發(fā)明的第一實施例的可視電話系統(tǒng)的結(jié)構(gòu)示意圖。圖1中展示的可視電話系統(tǒng)包括可視電話1和2，二者具有通信功能；常見功能安裝到通信對端所安裝的功能中；二者的終端能力不同；且使它們能夠通過網(wǎng)絡3與彼此通信。舉例來說，IP(互聯(lián)網(wǎng)絡協(xié)議)用于可視電話1與2之間的通信。在所述實施例中，論述可視電話1的終端能力高于可視電話2的終端能力的情況。假定可視電話1具有產(chǎn)生與可視電話2通用的特征的功能(特征用作用戶的第二自我，稱為“化身”)，且在與可視電話2通話期間顯示特征而不是用戶的臉部圖像。在以下的描述中，可視電話1和2共用的部件由相同附圖標記表示，并且在可視電話1的部件上添上“A”并在可視電話2的部件上添上“B”，以便區(qū)別可視電話1與2。
可視電話1和2具有輸入數(shù)據(jù)部10A和10B、數(shù)據(jù)傳輸部11A和11B、數(shù)據(jù)接收部12A和12B、顯示圖像產(chǎn)生部13A和13B以及可視電話顯示部14A和14B，以上為共同部件。可視電話1進一步具有特征數(shù)據(jù)存儲部15、表情和情緒分析部16、動作數(shù)據(jù)產(chǎn)生部17和動作匹配部18。可視電話1的顯示圖像產(chǎn)生部13A產(chǎn)生使可視電話1(本端)安裝的功能得以執(zhí)行的數(shù)據(jù)和使可視電話2(通信對端)安裝的功能得以執(zhí)行的數(shù)據(jù)，且數(shù)據(jù)傳輸部11A傳輸使可視電話2安裝的功能得以執(zhí)行的數(shù)據(jù)?？梢曤娫?的表情和情緒分析部16分析輸入數(shù)據(jù)，且動作數(shù)據(jù)產(chǎn)生部17基于分析結(jié)果匹配可視電話1的數(shù)據(jù)與可視電話2的數(shù)據(jù)，以提供數(shù)據(jù)向顯示圖像產(chǎn)生部13A輸出?？梢曤娫?的輸入數(shù)據(jù)部10A從圖像數(shù)據(jù)、語音數(shù)據(jù)和按鍵輸入數(shù)據(jù)中選擇的任何一個作為輸入數(shù)據(jù)輸入到表情和情緒分析部16中。
輸入數(shù)據(jù)部10A和10B連接到各種輸入裝置，例如照相機、麥克風和按鍵輸入部(未圖示)，且用于獲取代表用戶的表情、情緒和動作的信息(用戶信息)?？梢曤娫?的輸入數(shù)據(jù)部10B從圖像數(shù)據(jù)、語音數(shù)據(jù)和按鍵輸入數(shù)據(jù)中選擇的任何一者作為輸入數(shù)據(jù)通過數(shù)據(jù)傳輸部11B和數(shù)據(jù)接收部12A輸入到表情和情緒分析部16中。數(shù)據(jù)傳輸部11A傳輸要顯示在可視電話2上的圖像數(shù)據(jù)。數(shù)據(jù)傳輸部11B代表可視電話2的用產(chǎn)的表情和情緒的信息傳輸?shù)娇梢曤娫?。數(shù)據(jù)接收部12A接收表示從可視電話2傳輸?shù)目梢曤娫?用戶的表情和情緒的信息。數(shù)據(jù)接收部12B接收從可視電話1傳輸?shù)膱D像數(shù)據(jù)。
顯示圖像產(chǎn)生部13A基于來自輸入數(shù)據(jù)部10A的輸入數(shù)據(jù)和來自輸入數(shù)據(jù)部10B的輸入數(shù)據(jù)產(chǎn)生在可視電話顯示部14A上要顯示的圖像和在可視電話顯示部14B上要顯示的圖像。顯示圖像產(chǎn)生部13A所產(chǎn)生的在可視電話顯示部14B上要顯示的圖像數(shù)據(jù)傳遞到數(shù)據(jù)傳輸部11A。
顯示圖像產(chǎn)生部13B通過數(shù)據(jù)接收部12B獲取由顯示圖像產(chǎn)生部13A產(chǎn)生的圖像數(shù)據(jù)，據(jù)此產(chǎn)生顯示圖像。顯示圖像產(chǎn)生部13B可所獲取的圖像數(shù)據(jù)原封不動地顯示在可視電話顯示部14B上，而不處理所述圖像數(shù)據(jù)?？梢曤娫掞@示部14A具有液晶顯示器且顯示由顯示圖像產(chǎn)生部13A產(chǎn)生的圖像?？梢曤娫掞@示部14B具有液晶顯示器且顯示由顯示圖像產(chǎn)生部13B產(chǎn)生的圖像。創(chuàng)建特征圖像的數(shù)據(jù)存儲在特征數(shù)據(jù)存儲部15中。特征數(shù)據(jù)是用于在可視電話1和2上顯示特征的圖像數(shù)據(jù)，且對應于由動作數(shù)據(jù)產(chǎn)生部17產(chǎn)生的動作數(shù)據(jù)提供多條特征數(shù)據(jù)。在本實施例中，可顯示兩種類型的特征。
表情和情緒分析部16基于來自輸入數(shù)據(jù)部10A的圖像數(shù)據(jù)、語音數(shù)據(jù)或按鍵輸入數(shù)據(jù)來分析可視電話1的用戶的表情和情緒。表情和情緒分析部16還基于來自可視電話2的圖像數(shù)據(jù)、語音數(shù)據(jù)或按鍵輸入數(shù)據(jù)來分析可視電話2的用戶的表情和情緒。如果輸入用戶的臉部圖像，那么表情和情緒分析部16就分析所述臉部圖像并檢測喜怒等表情和情緒。
作為檢測表情和情緒的方法，例如，根據(jù)周期獲得的圖像輸入數(shù)據(jù)來執(zhí)行面部識別處理，且檢測到的眉毛、眼睛、嘴等面部部分的特征點坐標的平均值建立為平均表情特征點坐標。根據(jù)本次獲取的圖像輸入數(shù)據(jù)進行面部識別處理得到眉毛、眼睛、嘴等面部部分的特征點坐標，與平均表情特征點坐標作此較，并且如果每個面部部分中的改變滿足特定條件，那么就會檢測到“笑”、“驚訝”、“傷心”等表情和情緒。圖2是示意性地展示“笑”、“驚訝”和“傷心”情況的面部識別處理的圖。在圖中，“□”指示面部識別處理的檢測點，且為眉毛、眼睛和嘴的每個分別設定多個檢測點。圖2(a)展示由每一畫面的面部識別處理而提供的平均表情特征點坐標。圖2(b)展示“笑”情況的表情特征點坐標，圖2(c)展示“驚訝”情況的表情特征點坐標，且圖2(d)展示“傷心”情況的表情特征點坐標。
在“笑”的情況下同時滿足以下三個條件眉毛兩端向上改變一閾值W3或更多、眼睛下端向上改變一閾值W2或更多，且嘴的兩端向上改變一閾值W1或更多。在“驚訝”的情況下同時滿足以下三個條件眉毛兩端向上改變一閾值O1或更多、眼睛的上下距離增加一閾值O2或更多，且嘴的上下距離增加一閾值O1或更多。在“傷心”的情況下同時滿足三個條件眉毛兩端向下改變一閾值N1或更多、眼睛上下距離減少一閾值N2或更多，且嘴的兩端向下改變一閾值N3或更多。
表情和情緒分析部16在給定時間內(nèi)檢測面部情緒，從而檢測“搖頭”、“點頭，，等動作。圖3是示意性地展示“搖頭”和“點頭”情況的面部識別處理的圖。在圖中，“□”指示面部識別處理的檢測點，且如上文所述的示例中，為眉毛、眼睛和嘴的每一者設定多個檢測點。圖3(a)展示“搖頭”情況的表情特征點坐標中的改變。圖3(b)展示“點頭”情況的表情特征點坐標中的改變。在“搖頭”的情況下滿足以下兩個條件表情特征點坐標從面部中心在橫向上改變一閾值K1或更多，且表情特征點坐標從面部中心在相反方向上改變一閾值K2或更多。在“點頭”的情況下滿足以下兩個條件表情特征點坐標從面部中心向下改變一閾值U1或更多，且表情特征點坐標從面部中心向上改變一閾值U2或更多。
表情和情緒分析部16分析按鍵輸入數(shù)據(jù)并檢測與每一按鍵相關的表情和情緒。此處，多種表情和情緒與按鍵操作部(未圖示)的按鍵對應，當用戶在通話期間操作(按壓)匹配他或她的表情和情緒的按鍵時，表情和情緒分析部16檢測表情和情緒并判定對應于所述表情和情緒的動作。舉例來說，“發(fā)怒”的表情和情緒與按鍵“1”對應，且用戶按壓所述按鍵，藉此確認“發(fā)怒”的動作。“笑”的表情和情緒與按鍵“2”對應，且用戶按壓所述按鍵，藉此確認“笑”的動作?！绑@訝”的表情和情緒與按鍵“3”對應，且用戶按壓所述按鍵，藉此確認“驚訝”的動作?！翱謶帧钡谋砬楹颓榫w與按鍵“4”對應，且用戶按壓所述按鍵，藉此確認“恐懼”的動作。
“舉手”的動作與按鍵“5”對應，且用戶按壓所述按鍵，藉此確認“舉手”的動作。“使勁推開”的動作與按鍵“6”對應，且用戶按壓所述按鍵，藉此確認“使勁推開”的動作?！肮簟钡膭幼髋c按鍵“7”對應，且用戶按壓所述按鍵，藉此確認“攻擊”的動作?！拔帐帧钡膭幼髋c按鍵“8”對應，且用戶按壓所述按鍵，藉此確認“握手”的動作?！皳肀А钡膭幼髋c按鍵“9”對應，且用戶按壓所述按鍵，藉此確認“擁抱”的動作。
根據(jù)上述由面部識別處理檢測的表情和情緒，通過執(zhí)行表情和情緒轉(zhuǎn)換處理，使得動作與單獨動作表或相互動作表相關，特征的動作笑”、“驚訝”、“搖頭”、“點頭”、“握手”或“擁抱”從而得以確認。
表情和情緒分析部16分析語音數(shù)據(jù)并檢測用戶的叫喊等的情緒。作為檢測情緒的方法，根據(jù)節(jié)奏和聲音的量值變化來檢測用戶的情緒，例如，采取以下方式如果語音輸入數(shù)據(jù)的節(jié)奏變快且聲音變大，那么確認“笑”；如果節(jié)奏未改變且聲音變大，那么確認“驚訝”；或者如果節(jié)奏變慢且聲音變小，那么確認“傷心”。根據(jù)所檢測的情緒，通過執(zhí)行表情和情緒轉(zhuǎn)換處理，使得動作與單獨動作表或相互動作表相關，從而得以確認特征的動作“笑”、“驚訝”、“傷心”、“握手”或“擁抱”。
因此，表情和情緒分析部16基于圖像數(shù)據(jù)、語音數(shù)據(jù)和按鍵輸入數(shù)據(jù)分析用戶的表情和情緒，并分析結(jié)果輸入到動作數(shù)據(jù)產(chǎn)生部17中。不是所有的圖像數(shù)據(jù)、語音數(shù)據(jù)和按鍵輸入數(shù)據(jù)均需要，且可使用它們中的任何一個。
圖4是展示由動作數(shù)據(jù)產(chǎn)生部17和動作匹配部18使用的動作表的示例的圖。動作數(shù)據(jù)產(chǎn)生部17參考圖4中展示的表，基于表情和情緒分析部16的分析結(jié)果，產(chǎn)生回應可視電話1的用戶和可視電話2的用戶的表情和情緒的動作數(shù)據(jù)。圖4(a)是可視電話1的單獨動作表TA并展示特征Ca的一組單獨動作數(shù)據(jù)。圖4(b)是可視電話2的單獨動作表TB并展示特征Cb的一組單獨動作數(shù)據(jù)。圖4(c)是可視電話1和2的相互動作表TC并展示影響相關特征Ca或Cb的一組動作數(shù)據(jù)。
如果可視電話1的輸入數(shù)據(jù)IA指示單獨動作，那么動作數(shù)據(jù)產(chǎn)生部17從單獨動作表TA中產(chǎn)生動作數(shù)據(jù)DA；如果可視電話2的輸入數(shù)據(jù)IB指示單獨動作，那么動作數(shù)據(jù)產(chǎn)生部17從單獨動作表TB中產(chǎn)生動作數(shù)據(jù)DB；如果可視電話1的輸入數(shù)據(jù)IA指示相互動作，那么動作數(shù)據(jù)產(chǎn)生部17從相互動作表TC中產(chǎn)生動作數(shù)據(jù)DA；且如果可視電話2的輸入數(shù)據(jù)IB指示相互動作，那么動作數(shù)據(jù)產(chǎn)生部17從相互動作表TC中產(chǎn)生動作數(shù)據(jù)DB。
例如，圖5展示當圖像數(shù)據(jù)作為輸入數(shù)據(jù)IA輸入可視電話1中時圖像數(shù)據(jù)與動作數(shù)據(jù)DA之間的關系。在此情況下，施加可視電話1的動作，從而使用圖5(a)(圖4(a))中的單獨動作表TA和圖5(c)(圖4(c))中的相互動作表TC。圖5(d)是展示由表情和情緒分析部16使用的表情和情緒分析表的示例的圖。表情和情緒分析部16的分析結(jié)果臨時保存在表情和情緒分析表中。
(1)如果可視電話1的輸入數(shù)據(jù)IA是指示“笑”的情緒的圖像數(shù)據(jù)，那么產(chǎn)生“笑”的動作數(shù)據(jù)DA。
(2)如果可視電話1的輸入數(shù)據(jù)IA是指示“傷心”的情緒的圖像數(shù)據(jù)，那么產(chǎn)生“哭”的動作數(shù)據(jù)DA。
(3)如果可視電話1的輸入數(shù)據(jù)IA是指示“驚訝”的情緒的圖像數(shù)據(jù)，那么產(chǎn)生“驚訝”的動作數(shù)據(jù)DA。
(4)如果可視電話1的輸入數(shù)據(jù)IA是指示“憤怒”的動作的圖像數(shù)據(jù)，那么產(chǎn)生“攻擊”的動作數(shù)據(jù)DA。
(5)如果可視電話1的輸入數(shù)據(jù)IA是指示“搖頭”的動作的圖像數(shù)據(jù)，那么產(chǎn)生“使勁推開”的動作數(shù)據(jù)DA。
(6)如果可視電話1的輸入數(shù)據(jù)IA是指示“點頭”的動作的圖像數(shù)據(jù)，那么產(chǎn)生“握手”的動作數(shù)據(jù)DA。
圖6展示當語音數(shù)據(jù)作為輸入數(shù)據(jù)IA輸入可視電話1中時語音數(shù)據(jù)與動作數(shù)據(jù)DA之間的關系。同樣，在此情況下，施加于可視電話1的動作使用圖6(a)(圖4(a))中的單獨動作表TA和圖6(c)(圖4(c))中的相互作用表TC。
(1)如果可視電話1的輸入數(shù)據(jù)IA是指示“笑”的情緒的語音數(shù)據(jù)，那么產(chǎn)生“笑”的動作數(shù)據(jù)DA。
(2)如果可視電話1的輸入數(shù)據(jù)IA是指示“傷心”的情緒的語音數(shù)據(jù)，那么產(chǎn)生“哭”的動作數(shù)據(jù)DA。
(3)如果可視電話1的輸入數(shù)據(jù)IA是指示“驚訝”的情緒的語音數(shù)據(jù)，那么產(chǎn)生“驚訝”的動作數(shù)據(jù)DA。
(4)如果可視電話1的輸入數(shù)據(jù)IA是指示“發(fā)怒”的情緒的語音數(shù)據(jù)，那么產(chǎn)生“攻擊”的動作數(shù)據(jù)DA。
(5)如果可視電話1的輸入數(shù)據(jù)IA是指示“喊叫”的情緒的語音數(shù)據(jù)，那么產(chǎn)生“使勁推開”的動作數(shù)據(jù)DA。
(6)如果可視電話1的輸入數(shù)據(jù)IA是指示“沉默”的情緒的語音數(shù)據(jù)，那么產(chǎn)生“恐懼”的動作數(shù)據(jù)DA。
盡管上述示例是應用于可視電話1，但是類似描述還應用于可視電話2，不管輸入數(shù)據(jù)IB是圖像還是語音。這意味著可視電話1的輸入數(shù)據(jù)IA被輸入數(shù)據(jù)IB代替，且動作數(shù)據(jù)DA被動作數(shù)據(jù)DB代替。當然，圖4(b)中的單獨動作表TB和圖4(c)中的相互動作表TC可用于可視電話2。
動作數(shù)據(jù)產(chǎn)生部17如上文所述產(chǎn)生的動作數(shù)據(jù)DA、DB輸入到顯示圖像產(chǎn)生部13A和動作匹配部18。動作匹配部18動作數(shù)據(jù)DA與DB如下匹配(1)如果動作數(shù)據(jù)DA和動作數(shù)據(jù)DB均為單獨動作數(shù)據(jù)，那么原封不動地輸出動作數(shù)據(jù)DA和動作數(shù)據(jù)DB(示例特征Ca“笑”和特征Cb“哭”)。
圖7是展示動作匹配部的操作概要圖，且展示下述(2)中所示情況中的動作匹配部18的操作概述。
(2)如果動作數(shù)據(jù)DA是單獨動作數(shù)據(jù)且動作數(shù)據(jù)DB是相互動作數(shù)據(jù)，那么動作數(shù)據(jù)DB優(yōu)先于動作數(shù)據(jù)DA。相互動作表TC中的主動動作數(shù)據(jù)輸出為動作數(shù)據(jù)DB，且對應于相互動作表TC中的主動動作數(shù)據(jù)的被動動作數(shù)據(jù)輸出為動作數(shù)據(jù)DA(示例如果特征Cb“使勁推開”，那么特征Ca“離開”)。如圖7中所示，在執(zhí)行動作匹配之前，動作數(shù)據(jù)DA為“笑”且動作數(shù)據(jù)DB為“使勁推開”，且相互動作的動作數(shù)據(jù)DB優(yōu)先于動作數(shù)據(jù)DA，因此“笑”的動作數(shù)據(jù)DA變?yōu)椤半x開”的動作數(shù)據(jù)DA’。
(3)如果動作數(shù)據(jù)DA為相互動作數(shù)據(jù)且動作數(shù)據(jù)DB為單獨動作數(shù)據(jù)，那么動作匹配部18如在(2)中一樣操作(示例如果特征Ca“使勁推開”，那么特征Cb“離開”)。
(4)如果動作數(shù)據(jù)DA和動作數(shù)據(jù)DB均為相互動作數(shù)據(jù)，那么，例如，較早獲取的數(shù)據(jù)優(yōu)先，且輸出優(yōu)先方的相互動作的動作數(shù)據(jù)(示例如果動作數(shù)據(jù)DA優(yōu)先，那么當特征Ca“攻擊”時，特征Cb“倒下”)。
當來自表情和情緒分析部16的輸入數(shù)據(jù)不存在(圖像數(shù)據(jù)、語音數(shù)據(jù)和按鍵輸入數(shù)據(jù)沒有輸入)時，如圖5和圖6中所示，動作數(shù)據(jù)產(chǎn)生部17產(chǎn)生單獨動作表TA、TB中的“默認動作”的動作數(shù)據(jù)。
顯示圖像產(chǎn)生部13A從特征數(shù)據(jù)存儲部15獲取對應于由動作數(shù)據(jù)產(chǎn)生部17產(chǎn)生的動作數(shù)據(jù)DA或?qū)谕ㄟ^由動作匹配部18匹配動作數(shù)據(jù)DA來提供的動作數(shù)據(jù)DA’的特征數(shù)據(jù)，并圖像顯示在可視電話顯示部14A上。顯示圖像產(chǎn)生部13A還從特征數(shù)據(jù)存儲部15獲取對應于由動作數(shù)據(jù)產(chǎn)生部17產(chǎn)生的可視電話2的動作數(shù)據(jù)DB或?qū)谕ㄟ^由動作匹配部18匹配動作數(shù)據(jù)DB來提供的動作數(shù)據(jù)DB’的特征數(shù)據(jù)，并所述特征數(shù)據(jù)通過數(shù)據(jù)傳輸部11A傳輸?shù)娇梢曤娫?。
舉例來說，如果產(chǎn)生“使勁推開”的相互動作的動作數(shù)據(jù)DA和“笑”、“哭”、“驚訝”或“恐懼”的單獨動作的動作數(shù)據(jù)DB，那么在可視電話顯示部14A上產(chǎn)生 基于動作數(shù)據(jù)DA的顯示，換句話說，如圖1所示，顯示可視電話1的特征Ca可視電話2的特征Cb使勁推開的特征圖像；在可視電話顯示部14B上產(chǎn)生通過匹配來提供的基于動作數(shù)據(jù)DB’的顯示，換句話說，如圖1所示，顯示可視電話2的特征Cb被可視電話1的特征Ca使勁推開的特征圖像。
如果動作數(shù)據(jù)DB為相互動作的動作數(shù)據(jù)且在動作數(shù)據(jù)DA之后發(fā)生，那么顯示在圖1中的可視電話顯示部14A和可視電話顯示部14B上的特征圖像則變得相似。然而，此描述不適用于不判定時間先后的優(yōu)先順序的情況。
圖8是展示可視電話1的操作的流程圖。首先，可視電話1開始與可視電話2通話(ST10)。當開始與可視電話2通話時，從輸入數(shù)據(jù)部10A獲取輸入數(shù)據(jù)IA(ST11)。即，獲取圖像數(shù)據(jù)、語音數(shù)據(jù)和按鍵輸入數(shù)據(jù)中的至少一個。接下來，根據(jù)所獲取的輸入數(shù)據(jù)IA分析可視電話1的用戶的表情和情緒(ST12)。舉例來說，如果拍攝到可視電話1的用戶的笑臉，那么產(chǎn)生“笑”的分析結(jié)果。
在根據(jù)輸入數(shù)據(jù)IA分析表情和情緒后，開始從可視電話2接收輸入數(shù)據(jù)IB(ST13)。當接收到從可視電話2傳輸?shù)妮斎霐?shù)據(jù)IB時，根據(jù)輸入數(shù)據(jù)IB分析可視電話2的用戶的表情和情緒(ST14)。舉例來說，如果取到可視電話2的用戶的哭著的臉，那么產(chǎn)生“哭”的分析結(jié)果。根據(jù)輸入數(shù)據(jù)IA的分析結(jié)果產(chǎn)生動作數(shù)據(jù)DA(ST15)，且隨后根據(jù)輸入數(shù)據(jù)IB的分析結(jié)果產(chǎn)生動作數(shù)據(jù)DB(ST16)。
在產(chǎn)生動作數(shù)據(jù)DA和DB后，如果它們中的一個為相互動作的數(shù)據(jù)，那么執(zhí)行匹配(ST17)。如果兩者均為相互動作的數(shù)據(jù)，那么執(zhí)行匹配使得基于輸入數(shù)據(jù)的較早發(fā)生的動作數(shù)據(jù)變?yōu)橹鲃觿幼?。在匹配動作?shù)據(jù)DA與DB后產(chǎn)生要顯示在可視電話顯示部14A和14B上的特征顯示圖像(ST18)。可視電話2的特征顯示圖像數(shù)據(jù)傳輸?shù)娇梢曤娫?(ST19)。在特征顯示圖像數(shù)據(jù)傳輸?shù)娇梢曤娫?后，可視電話1的特征顯示圖像顯示在可視電話顯示部14A上(ST20)。在通話期間(ST21處的“否”)，重復步驟ST11到ST20。當通話終止時(ST21處的“是”)，所述處理終止。
圖9是展示動作匹配部18的操作的流程圖。首先，動作匹配部18接收動作數(shù)據(jù)DA的輸入(ST20)，并判定是否存在動作數(shù)據(jù)DA(ST21)。如果動作數(shù)據(jù)DA不存在(ST21處的“否”)，那么動作數(shù)據(jù)DA改變?yōu)槟J動作數(shù)據(jù)DA(ST22)。相反，如果動作數(shù)據(jù)DA存在(ST21處的“是”)，那么接收動作數(shù)據(jù)DB的輸入(ST23)并判定是否存在動作數(shù)據(jù)DB(ST24)。如果動作數(shù)據(jù)DB不存在(ST24處的“否”)，那么動作數(shù)據(jù)DB改變?yōu)槟J動作數(shù)據(jù)DB(ST25)。
相反，如果動作數(shù)據(jù)DB存在(ST24處的“是”)，那么判定動作數(shù)據(jù)DA和DB的組合優(yōu)先權(quán)(ST26)。在此情況下，既有單獨動作又有相互動作的情況下，相互動作優(yōu)先于單獨動作，且對于都是相互動作的情況，例如，則選擇較早獲取的輸入數(shù)據(jù)的相互動作。在判定動作數(shù)據(jù)DA和DB的組合優(yōu)先權(quán)后，動作數(shù)據(jù)DA、DB根據(jù)所述優(yōu)先權(quán)而改變(ST27)。即，如上文所述，如果動作數(shù)據(jù)DA為“笑”且動作數(shù)據(jù)DB為“使勁推開”，那么相互動作的動作數(shù)據(jù)DB優(yōu)先于動作數(shù)據(jù)DA，且因此“笑”的動作數(shù)據(jù)DA改變?yōu)椤半x開”的動作數(shù)據(jù)DA’。在動作數(shù)據(jù)DA、DB改變后，它們輸出(ST28)。
圖10是展示可視電話2的操作的流程圖。首先，可視電話2開始與可視電話1通話(ST40)。當開始與可視電話1通話時，從輸入數(shù)據(jù)部10B獲取輸入數(shù)據(jù)IB(ST41)。即，獲取圖像數(shù)據(jù)、語音數(shù)據(jù)和按鍵輸入數(shù)據(jù)中的至少一個。接下來，所獲取的輸入數(shù)據(jù)IB傳輸?shù)娇梢曤娫?(ST42)。在輸入數(shù)據(jù)IB傳輸?shù)娇梢曤娫?后，接收特征顯示圖像數(shù)據(jù)(ST43)。如果可接收到從可視電話1傳輸?shù)奶卣黠@示圖像數(shù)據(jù)，那么特征顯示圖像顯示在可視電話顯示部14B上(ST44)。在通話期間(ST45處的“否”)，重復步驟ST41到ST45。當通話終止時(ST45處的“是”)，所述處理終止。
因此，根據(jù)上文所述的可視電話系統(tǒng)，可視電話1除了產(chǎn)生顯示在本端上的圖像數(shù)據(jù)外還產(chǎn)生要顯示在通信對端(可視電話2)上的圖像數(shù)據(jù)，并要顯示在可視電話2上的圖像數(shù)據(jù)傳輸?shù)娇梢曤娫?，因此，如果通信對端的終端能力低于本端的終端能力，那么可使得通信對端執(zhí)行本端所要求的水平的功能。
在上文描述中，是以可視電話1具有要顯示在可視電話1和2上的特征數(shù)據(jù)進行說明的，但所述特征數(shù)據(jù)也可以在通話開始時從可視電話2傳輸?shù)娇梢曤娫?。在上文的描述中，是以對應于動作的圖像數(shù)據(jù)從特征數(shù)據(jù)存儲部15獲取并傳輸?shù)娇梢曤娫?進行說明的，但是作為顯示的圖像基礎的特征數(shù)據(jù)可以在通話開始時傳輸，也可以在通話期間只傳輸對應于特征動作的差異數(shù)據(jù)。因此，與相關技術中在通話期間傳輸所有圖像數(shù)據(jù)的情況相比，可減少數(shù)據(jù)通信量。
在上文所述的實施例中，單獨動作“笑”、“哭”、“驚訝”、“恐懼”、“發(fā)怒”和“喊叫”被當作示例，且相互動作“使勁推開”→“離開”、“攻擊”→“倒下”、“握手”→“握手”和“擁抱”→“被擁抱”也被當作示例，但是本發(fā)明并不限于此，可指定各種示例。單獨動作數(shù)據(jù)還可用作相互動作數(shù)據(jù)。舉例來說，“驚訝”可與“喊叫”設定為相互動作。
在上文所述的實施例中，為通過按鍵操作來確認動作，如果用戶僅僅是操作(按壓)一個按鍵，那么分派給所述按鍵的動作得以確認，但是根據(jù)按鍵操作的方式(例如連續(xù)按壓所述按鍵、間歇按壓所述按鍵、有節(jié)律地按壓所述按鍵等)，也能夠確認新的動作。
(第二實施例)圖11是描述本發(fā)明的第二實施例的可視電話系統(tǒng)的結(jié)構(gòu)示意圖。圖11中所示的可視電話系統(tǒng)包括可視電話4和5，二者具有通信功能；并且安裝有與通信對端所安裝的功能通用的功能；且二者具有相同等級的終端能力。與圖1通用的部件在圖11中由相同附圖標記表示，且每個可視電話中均包括特征數(shù)據(jù)存儲部、表情和情緒分析部、動作數(shù)據(jù)產(chǎn)生部和動作匹配部，且因此在可視電話4的所述部件的附圖標記中添上“A”且在可視電話5的所述部件的附圖標記中添上“B”?？梢曤娫?和5在通話開始時交換特征數(shù)據(jù)，且因此具有特征數(shù)據(jù)保存部19A和19B以保存對端的特征數(shù)據(jù)。
圖12是展示可視電話4的操作的流程圖。首先，可視電話4開始與可視電話5通話(ST50)。當開始與可視電話5通話時，存儲在特征數(shù)據(jù)存儲部15A中的特征數(shù)據(jù)CA傳輸?shù)娇梢曤娫?(ST51)。在傳輸特征數(shù)據(jù)CA后，開始接收從相關可視電話5傳輸?shù)奶卣鲾?shù)據(jù)CB(S52)。當發(fā)送特征數(shù)據(jù)CB時，其存儲在特征數(shù)據(jù)保存部19A中(ST53)。
在接收到并保存特征數(shù)據(jù)CB后，獲取輸入數(shù)據(jù)IA(ST54)。即，從本機的輸入數(shù)據(jù)部10A獲取圖像數(shù)據(jù)、語音數(shù)據(jù)和按鍵輸入數(shù)據(jù)中的至少一個。當獲取輸入數(shù)據(jù)IA時，接著根據(jù)輸入數(shù)據(jù)IA分析本機的用戶的表情和情緒(ST55)。舉例來說，如果拍攝到用戶的笑臉，那么產(chǎn)生“笑”的分析結(jié)果。在分析本機的用戶的表情和情緒后，根據(jù)分析結(jié)果產(chǎn)生對應于本機的用戶的表情和情緒的動作數(shù)據(jù)DA(ST56)。所產(chǎn)生的動作數(shù)據(jù)DA傳輸?shù)綄Ψ娇梢曤娫?(ST57)。在傳輸動作數(shù)據(jù)DA后，開始從對方可視電話5接收動作數(shù)據(jù)DB(ST58)。
當獲取可視電話5的動作數(shù)據(jù)DB時，如果本端的動作數(shù)據(jù)DA和動作數(shù)據(jù)DB中的一個為相互動作的數(shù)據(jù)，那么執(zhí)行匹配(ST59)。如果兩者均為相互動作的數(shù)據(jù)，那么執(zhí)行匹配，例如，使得較早獲得的動作數(shù)據(jù)變?yōu)橹鲃觿幼鳌Ｉ院竺枋銎ヅ涮幚淼募毠?jié)。在匹配動作數(shù)據(jù)DA和DB后，基于動作數(shù)據(jù)DA產(chǎn)生特征顯示圖像(ST60)并顯示在可視電話顯示部14A上(ST61)。在通話期間(ST62處的“否”)，重復步驟ST54到ST62。當通話終止時(ST62處的“是”)，所述處理終止。
圖13是展示動作匹配部18A的操作的流程圖。首先，動作匹配部18A開始進行對動作數(shù)據(jù)產(chǎn)生部17A產(chǎn)生的動作數(shù)據(jù)DA的輸入處理(ST70)并判定是否存在動作數(shù)據(jù)DA(ST71)。如果沒有輸入動作數(shù)據(jù)DA(ST71處的“否”)，那么動作數(shù)據(jù)DA改變?yōu)槟J動作數(shù)據(jù)DA(ST72)。相反，如果輸入動作數(shù)據(jù)DA(ST71處的“是”)，那么向?qū)Ψ娇梢曤娫?傳輸輸入的動作數(shù)據(jù)DA(ST73)。在傳輸動作數(shù)據(jù)DA后，開始進行從對方可視電話5接收動作數(shù)據(jù)DB的處理(ST74)，并判定是否存在動作數(shù)據(jù)DB(ST75)。如果沒有獲得動作數(shù)據(jù)DB(ST75處的“否”)，那么動作數(shù)據(jù)DB改變?yōu)槟J動作數(shù)據(jù)DB(ST76)。
相反，如果獲得動作數(shù)據(jù)DB(ST75處的“是”)，那么判定動作數(shù)據(jù)DA和DB的組合優(yōu)先權(quán)(ST77)。在此情況下，既有單獨動作又有相互動作的情況下，則相互動作優(yōu)先于單獨動作，且在都是相互動作的情況下，例如，選擇對應于較早獲得的動作數(shù)據(jù)的相互動作。然而，如果做出時間判定，那么當開始初始通信時，可視電話4和5彼此就要同步。
在如此判定動作數(shù)據(jù)DA和DB的組合優(yōu)先權(quán)后，動作數(shù)據(jù)DA、DB根據(jù)所述優(yōu)先權(quán)而改變(ST78)。即，如上文所述，如果動作數(shù)據(jù)DA為“笑”且動作數(shù)據(jù)DB為“使勁推開”，那么相互動作的動作數(shù)據(jù)DB優(yōu)先于動作數(shù)據(jù)DA，且因此“笑”的動作數(shù)據(jù)DA改變?yōu)椤半x開”的動作數(shù)據(jù)DA’。在動作數(shù)據(jù)DA、DB改變后，它們輸出(ST79)。
圖14是展示可視電話5的操作的流程圖。首先，可視電話5開始與可視電話4通話(ST90)。當開始與可視電話4通話時，存儲在特征數(shù)據(jù)存儲部15B中的特征數(shù)據(jù)CB傳輸?shù)娇梢曤娫?(ST91)。在傳輸特征數(shù)據(jù)CB后，開始接收從對方可視電話4傳輸?shù)奶卣鲾?shù)據(jù)CA(S92)。當發(fā)送特征數(shù)據(jù)CA時，其存儲在特征數(shù)據(jù)保存部19B中(ST93)。
在接收到并保存特征數(shù)據(jù)CA后，獲取輸入數(shù)據(jù)IB(ST94)。即，從本端的輸入數(shù)據(jù)部10B獲取圖像數(shù)據(jù)、語音數(shù)據(jù)和按鍵輸入數(shù)據(jù)中的至少一者。當獲取輸入數(shù)據(jù)IB時，接著根據(jù)輸入數(shù)據(jù)IB分析本端的用戶的表情和情緒(ST95)。舉例來說，如果拍攝到用戶的哭著的臉，那么產(chǎn)生“哭”的分析結(jié)果。在分析本端的用戶的表情和情緒后，根據(jù)分析結(jié)果產(chǎn)生回應于本端的用戶的表情和情緒的動作數(shù)據(jù)DB(ST96)。所產(chǎn)生的動作數(shù)據(jù)DB傳輸?shù)綄Ψ娇梢曤娫?(ST97)。在傳輸動作數(shù)據(jù)DB后，開始從對方可視電話4接收動作數(shù)據(jù)DA(ST98)。
當獲取可視電話4的動作數(shù)據(jù)DA時，如果本端的動作數(shù)據(jù)DA和動作數(shù)據(jù)DB中的一個為相互動作的數(shù)據(jù)，那么執(zhí)行匹配(ST99)。如果兩者均為相互動作的數(shù)據(jù)，那么執(zhí)行匹配，例如，使得較早獲得的動作數(shù)據(jù)變?yōu)橹鲃觿幼?。稍后描述匹配處理的細?jié)。在匹配動作數(shù)據(jù)DB和DA后，基于動作數(shù)據(jù)DB產(chǎn)生特征顯示圖像(ST100)，并顯示在可視電話顯示部14B上(ST101)。在通話期間(ST102處的“否”)，重復步驟ST94到ST102。當通話終止時(ST102處的“是”)，終止所述處理。
圖15是展示動作匹配部18B的操作的流程圖。首先，動作匹配部18B開始進行對動作數(shù)據(jù)產(chǎn)生部17B產(chǎn)生的動作數(shù)據(jù)DB的輸入處理(ST110)并判定是否存在動作數(shù)據(jù)DB(ST111)。如果沒有輸入動作數(shù)據(jù)DB(ST111處的“否”)，那么動作數(shù)據(jù)DB改變?yōu)槟J動作數(shù)據(jù)DB(ST112)。相反，如果輸入動作數(shù)據(jù)DB(ST111處的“是”)，那么輸入動作數(shù)據(jù)DB傳輸?shù)綄Ψ娇梢曤娫?(ST113)。在傳輸動作數(shù)據(jù)DB后，開始進行從對方可視電話4接收動作數(shù)據(jù)DA的處理(ST114)并判定是否存在動作數(shù)據(jù)DA(ST115)。如果沒有獲得動作數(shù)據(jù)DA(ST115處的“否”)，那么動作數(shù)據(jù)DA改變?yōu)槟J動作數(shù)據(jù)DA(ST116)。
相反，如果獲得動作數(shù)據(jù)DA(ST115處的“是”)，那么判定動作數(shù)據(jù)DB和DA的組合優(yōu)先權(quán)(ST117)。在此情況下，既有單獨動作又有相互動作的情況下，則相互動作優(yōu)先于單獨動作，且在都是相互動作的情況下，例如，選擇對應于較早獲得的動作數(shù)據(jù)的相互動作。然而，如果做出時間判定，那么當開始初始通信時，可視電話5和4彼此應該同步。
在如此判定動作數(shù)據(jù)DB和DA的組合優(yōu)先權(quán)后，動作數(shù)據(jù)DB、DA根據(jù)所述優(yōu)先權(quán)而改變(ST118)。即，如果動作數(shù)據(jù)DB為“哭”且動作數(shù)據(jù)DA為“使勁推開”，那么相互動作的動作數(shù)據(jù)DA優(yōu)先于動作數(shù)據(jù)DB，且因此“哭”的動作數(shù)據(jù)DB改變?yōu)椤半x開”的動作數(shù)據(jù)DB’。在改變動作數(shù)據(jù)DB、DA后，它們輸出(ST119)。
(第三實施例)圖16是描述本發(fā)明的第三實施例的可視電話系統(tǒng)的結(jié)構(gòu)示意圖。圖16中所示的可視電話系統(tǒng)包括可視電話6和7，二者具有通信功能；并且安裝有與通信對端所安裝的功能通用的功能；且二者具有相同等級的終端能力。與圖1中通用的部件在圖16中由相同附圖標記表示，且可視電話6進一步包括圖像處理數(shù)據(jù)存儲部20代替可視電話1中的特征數(shù)據(jù)存儲部15；圖像處理判定部21代替動作數(shù)據(jù)產(chǎn)生部17；且動作處理匹配部22代替動作匹配部18，因此在可視電話6的部件的附圖標記中添上“A”并在可視電話7的部件的附圖標記中添上“B”。
在所述實施例中，要創(chuàng)建的顯示圖像和傳輸圖像為基于照相機輸入圖像的處理圖像，而不是特征?？梢曤娫拡D像由可視電話6和7兩者的圖像組成，且所有顯示數(shù)據(jù)組合處理只在可視電話6中執(zhí)行。也可以是只有可視電話7執(zhí)行所有顯示數(shù)據(jù)組合處理。圖17是展示以可視電話6和7拍攝的圖像的示例的圖。圖17(a)展示通過拍攝可視電話6的用戶來提供的拍攝圖像PIA，且圖17(b)展示通過拍攝可視電話7的用戶來提供的拍攝圖像PIB。以可視電話6和7拍攝的照相機圖像PIA和PIB以組合形式顯示在可視電話6的可視電話顯示部14A上和可視電話7的可視電話顯示部14B上。
圖18是展示由圖像處理判定部21和圖像處理匹配部22使用的動作表的示例的圖。圖像處理判定部21參考圖18中所示的表，基于表情和情緒分析部16的分析結(jié)果產(chǎn)生對應于可視電話6的用戶和可視電話7的用戶的表情和情緒的圖像處理數(shù)據(jù)。圖18(a)是可視電話6的單獨處理表TD，且圖18(b)是可視電話7的單獨處理表TE；其每一者均展示一組不影響對方圖像的圖像處理數(shù)據(jù)。圖18(c)是可視電話6和7的相互處理表TF，且展示一組影響對方圖像的圖像處理數(shù)據(jù)。
如果可視電話6的輸入數(shù)據(jù)IA指示單獨處理，那么圖像處理判定部21從單獨處理表TD產(chǎn)生圖像處理數(shù)據(jù)DPA；如果可視電話7的輸入數(shù)據(jù)IB指示單獨處理，那么圖像處理判定部21從單獨處理表TE產(chǎn)生圖像處理數(shù)據(jù)DPB；如果可視電話6的輸入數(shù)據(jù)IA指示相互動作，那么圖像處理判定部21從相互處理表TF產(chǎn)生圖像處理數(shù)據(jù)DPA；且如果可視電話7的輸入數(shù)據(jù)IB指示相互動作，那么圖像處理判定部21從相互處理表TF產(chǎn)生圖像處理數(shù)據(jù)DPB。
以下舉例說明圖像處理數(shù)據(jù)的產(chǎn)生(1)如果發(fā)生特定按鍵輸入，那么產(chǎn)生氣泡加入拍攝圖像中的圖像處理數(shù)據(jù)。
(2)如果拍攝圖像為笑臉，那么產(chǎn)生用于心形標志加入照相機圖像中的圖像處理數(shù)據(jù)。
(3)當用戶大聲說話時，產(chǎn)生用于按比例擴大照相機圖像的圖像處理數(shù)據(jù)。
圖像處理判定部21所產(chǎn)生的圖像處理數(shù)據(jù)DPA和DPB存儲在圖像處理數(shù)據(jù)存儲部20中。
圖像處理匹配部22根據(jù)由圖像處理判定部21判定并存儲在圖像處理數(shù)據(jù)存儲部20中的可視電話6的圖像處理數(shù)據(jù)DPA和可視電話7的圖像處理數(shù)據(jù)DPB來匹配圖像處理方法。舉例來說，當可視電話6的圖像處理數(shù)據(jù)為“按此例放大”時，可視電話7的圖像處理數(shù)據(jù)變?yōu)椤鞍创死s小”。
根據(jù)圖像處理數(shù)據(jù)組合，圖像處理匹配部22按照下述四種方式之一進行操作(1)如果圖像處理數(shù)據(jù)DPA和圖像處理數(shù)據(jù)DPB都是單獨處理表TD和TE中的數(shù)據(jù)，那么圖像處理數(shù)據(jù)DPA和圖像處理數(shù)據(jù)DPB原封不動地輸出。
(2)如果圖像處理數(shù)據(jù)DPA為單獨處理表TD中的數(shù)據(jù)，且圖像處理數(shù)據(jù)DPB為相互處理表TF中的數(shù)據(jù)，那么圖像處理數(shù)據(jù)DPB優(yōu)先于圖像處理數(shù)據(jù)DPA。相互處理表TF中的主動動作數(shù)據(jù)輸出為圖像處理數(shù)據(jù)DPB，且對應于相互處理表TF中的主動動作數(shù)據(jù)的被動動作數(shù)據(jù)輸出為圖像處理數(shù)據(jù)DPA。舉例來說，可視電話6的用戶的圖像按此例放大且可視電話7的圖像按比例縮小。
(3)如果圖像處理數(shù)據(jù)DPA為相互處理表TF中的數(shù)據(jù)，且圖像處理數(shù)據(jù)DPB為單獨處理表TE中的數(shù)據(jù)，那么圖像處理匹配部22以類似方式操作。舉例來說，可視電話6的用戶的圖像被放大且可視電話7的用戶的圖像被縮小。
(4)如果圖像處理數(shù)據(jù)DPA和圖像處理數(shù)據(jù)DPB兩者均為相互處理表TF中的數(shù)據(jù)，那么根據(jù)時間信息，較早判定的圖像處理數(shù)據(jù)優(yōu)先且輸出優(yōu)先方的相互處理表TF中的數(shù)據(jù)。
圖19是展示上文所述的(2)中的圖像處理匹配部22的操作概要圖。如圖中所示，在執(zhí)行圖像處理匹配前，圖像處理數(shù)據(jù)DPA為“心形”且圖像處理數(shù)據(jù)DPB為“錘子形”，且相互動作的圖像處理數(shù)據(jù)DPB優(yōu)先于圖像處理數(shù)據(jù)DPA，因此“心形”的圖像處理數(shù)據(jù)DPA變?yōu)椤澳[塊”的圖像處理數(shù)據(jù)DPA’。
如果因為沒有有效輸入(圖像、語音或按鍵輸入中的任何一個)而沒有選擇圖像處理數(shù)據(jù)，那么輸出單獨處理表TD、TE中的“默認”。
在圖16中，根據(jù)由圖像處理匹配部22匹配的可視電話6的照相機圖像和圖像處理數(shù)據(jù)與可視電話7的照相機圖像和圖像處理數(shù)據(jù)，顯示圖像產(chǎn)生部13A產(chǎn)生顯示數(shù)據(jù)。由顯示圖像產(chǎn)生部13A產(chǎn)生的顯示數(shù)據(jù)輸入到可視電話顯示部14A且顯示基于所述顯示數(shù)據(jù)的圖像。數(shù)據(jù)傳輸部11A由顯示圖像產(chǎn)生部13A產(chǎn)生的顯示數(shù)據(jù)傳輸?shù)娇梢曤娫??？梢曤娫?接收從可視電話6的數(shù)據(jù)傳輸部11A發(fā)送的顯示數(shù)據(jù)并所述顯示數(shù)據(jù)顯示在可視電話顯示部14B上。
圖20是展示可視電話6的操作的流程圖。首先，可視電話6開始與可視電話7通話(ST130)。當開始與可視電話7通話時，從輸入數(shù)據(jù)部10A獲取輸入數(shù)據(jù)IA(ST131)。即，獲取圖像數(shù)據(jù)、語音數(shù)據(jù)和按鍵輸入數(shù)據(jù)中的至少一個。接下來，根據(jù)所獲取的輸入數(shù)據(jù)IA分析可視電話6的用戶的表情和情緒(ST132)。舉例來說，如果拍攝到可視電話6的用戶的笑臉，那么產(chǎn)生“笑”的分析結(jié)果。
在根據(jù)輸入數(shù)據(jù)IA分析表情和情緒后，開始從可視電話7接收輸入數(shù)據(jù)IB(ST133)。當接收從可視電話7傳輸?shù)妮斎霐?shù)據(jù)IB時，根據(jù)輸入數(shù)據(jù)IB分析可視電話7的用戶的表情和情緒(ST134)。舉例來說，如果獲得可視電話7的用戶的哭著的臉，那么產(chǎn)生“哭”的分析結(jié)果。根據(jù)輸入數(shù)據(jù)IA的分析結(jié)果判定圖像處理數(shù)據(jù)DPA(ST135)，且隨后根據(jù)輸入數(shù)據(jù)IB的分析結(jié)果判定圖像處理數(shù)據(jù)DPB(ST136)。
在產(chǎn)生圖像處理數(shù)據(jù)DPA和DPB后，如果它們中的一個為相互動作的數(shù)據(jù)，那么執(zhí)行匹配(ST137)。如果兩者均為相互動作的數(shù)據(jù)，那么執(zhí)行匹配以使得基于較早發(fā)生的輸入數(shù)據(jù)的動作數(shù)據(jù)變?yōu)橹鲃觿幼?。在圖像處理數(shù)據(jù)DPA與DPB匹配后。產(chǎn)生要顯示在可視電話顯示部14A和14B上的特征顯示圖像(ST138)。可視電話7的特征顯示圖像數(shù)據(jù)傳輸?shù)娇梢曤娫?(ST139)。在特征顯示圖像數(shù)據(jù)傳輸?shù)娇梢曤娫?后，可視電話6的特征顯示圖像顯示在可視電話顯示部14A上(ST140)。在通話期間(ST141處的“否”)，重復步驟ST131到ST140。當通話終止時(ST141處的“是”)，終止所述處理。
圖21是展示圖像處理匹配部22的操作的流程圖。首先，圖像處理匹配部22接收圖像處理數(shù)據(jù)DPA的輸入(ST150)并判定是否存在圖像處理數(shù)據(jù)DPA(ST151)。如果圖像處理數(shù)據(jù)DPA不存在(ST151處的“否”)，那么圖像處理數(shù)據(jù)DPA改變?yōu)槟J圖像處理數(shù)據(jù)DPA(ST152)。相反，如果圖像處理數(shù)據(jù)DPA存在(ST151處的“是”)，那么接收圖像處理數(shù)據(jù)DPB的輸入(ST153)并判定是否存在圖像處理數(shù)據(jù)DPB(ST154)。如果圖像處理數(shù)據(jù)DPB不存在(ST154處的“否”)，那么圖像處理數(shù)據(jù)DPB改變?yōu)槟J圖像處理數(shù)據(jù)DPB(ST155)。
相反，如果圖像處理數(shù)據(jù)DPB存在(ST154處的“是”)，那么判定圖像處理數(shù)據(jù)DPA和DPB的組合優(yōu)先權(quán)(ST156)。既有單獨動作又有相互動作的情況下，則相互處理優(yōu)先于單獨處理，且對于都是相互處理的情況，例如，選擇對應于較早獲取的輸入數(shù)據(jù)的相互處理。在判定圖像處理數(shù)據(jù)DPA和DPB的組合優(yōu)先權(quán)后，根據(jù)所述優(yōu)先權(quán)而改變圖像處理數(shù)據(jù)DPA、DPB(ST157)。即，如上文所述，如果圖像處理數(shù)據(jù)DPA為“心形”且圖像處理數(shù)據(jù)DPB為“錘子形”，那么相互動作的圖像處理數(shù)據(jù)DPB優(yōu)先于圖像處理數(shù)據(jù)DPA，且因此“心形”的圖像處理數(shù)據(jù)DPA改變?yōu)椤澳[塊”的圖像處理數(shù)據(jù)DPA’。圖像處理數(shù)據(jù)DPA、DPB在改變后輸出(ST158)。
圖22是展示可視電話7的操作的流程圖。首先?？梢曤娫?開始與可視電話6通話(ST260)。當開始與可視電話6通話時，從輸入數(shù)據(jù)部10B獲取輸入數(shù)據(jù)IB(ST161)。即，獲取圖像數(shù)據(jù)、語音數(shù)據(jù)和按鍵輸入數(shù)據(jù)中的至少一者。接下來，所獲取的輸入數(shù)據(jù)IB傳輸?shù)娇梢曤娫?(ST162)。在輸入數(shù)據(jù)IB傳輸?shù)娇梢曤娫?后，接收圖像處理后的顯示圖像數(shù)據(jù)(ST163)。如果可接收到從可視電話6傳輸?shù)娘@示圖像數(shù)據(jù)，那么所述顯示圖像數(shù)據(jù)顯示在可視電話顯示部14B上(ST164)。在通話期間(ST165處的“否”)，重復步驟ST161到ST165。當通話終止時(ST165處的“是”)，那么終止所述處理。
雖然已經(jīng)參照特定實施例詳細描述了本發(fā)明，但是所屬領域的技術人員應理解，可在不脫離本發(fā)明的精神和范疇的前提下對本發(fā)明作各種改變和修改。
本發(fā)明基于2004年4月7日申請的日本專利申請第(2004-112854)號和2005年3月24日申請的日本專利申請第(2005-086335)號，所述兩者以引用的方式并入本文中。
工業(yè)應用性本發(fā)明的優(yōu)勢在于產(chǎn)生執(zhí)行本端所安裝的功能的數(shù)據(jù)和執(zhí)行通信對端所安裝的功能的數(shù)據(jù)，藉此如果通信對端的終端能力低于本端的終端能力，那么可使得通信對端執(zhí)行本端所要求的水平的功能，且本發(fā)明可以應用于具有通信能力并且安裝有與通信對端所安裝的功能通用的功能的通信終端，以及所述通信終端的通信方法等。
權(quán)利要求
1.一種具有通信功能并安裝有與通信對端所安裝的功能相通用的功能的通信終端，所述通信終端包括數(shù)據(jù)產(chǎn)生裝，其用于產(chǎn)生使本端所安裝的功能得以執(zhí)行的數(shù)據(jù)和使通信對端所安裝的功能得以執(zhí)行的數(shù)據(jù)；和傳輸裝，其用于傳輸使所述通信對端所安裝的功能得以執(zhí)行的數(shù)據(jù)。
2.根據(jù)權(quán)利要求1所述的通信終端，其具有可視電話功能，所述通信終端進一步包括輸入數(shù)據(jù)分析裝，其用于分析輸入數(shù)據(jù)；和數(shù)據(jù)匹配裝，其用于基于所述分析結(jié)果而使本端的數(shù)據(jù)與通信對端的數(shù)據(jù)相匹配的數(shù)據(jù)輸出到所述數(shù)據(jù)產(chǎn)生裝。
3.根據(jù)權(quán)利要求2所述的通信終端，其進一步包括輸入裝，其用于從圖像數(shù)據(jù)、語音數(shù)據(jù)和按鍵輸入數(shù)據(jù)中選擇的至少一個數(shù)據(jù)作為所述輸入數(shù)據(jù)輸入到所述輸入數(shù)據(jù)分析裝中。
4.一種安裝有與通信對端所安裝的功能相通用的功能的且具有通信功能的通信終端的通信方法，包括以下步驟產(chǎn)生使本端所安裝的功能得以執(zhí)行的數(shù)據(jù)和使所述通信對端所安裝的功能得以執(zhí)行的數(shù)據(jù)；和傳輸使所述通信對端所安裝的功能得以執(zhí)行的數(shù)據(jù)。
全文摘要
本發(fā)明的目標在于提供一種通信終端，其能夠使得通信對端執(zhí)行本端所要求的水平的功能。本發(fā)明的通信終端為可視電話(1)，其具有通信功能并且安裝有與可視電話(2)所安裝的功能通用的功能，且本發(fā)明的通信終端包括顯示圖像產(chǎn)生部(13A)，其用于產(chǎn)生使可視電話(1)所安裝的功能執(zhí)行的數(shù)據(jù)和使可視電話(2)所安裝的功能執(zhí)行的數(shù)據(jù)；和數(shù)據(jù)傳輸部(11A)，其用于傳輸使可視電話(2)所安裝的功能執(zhí)行的數(shù)據(jù)。
文檔編號G06T15/70GK1906939SQ20058000177
公開日2007年1月31日 申請日期2005年3月31日 優(yōu)先權(quán)日2004年4月7日
發(fā)明者羽田哲, 松尾英明, 野越廣樹, 鈴木直行, 牧野崇弘 申請人:松下電器產(chǎn)業(yè)株式會社