專利名稱：操作具有集成照相裝置的移動(dòng)通信終端的設(shè)備和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及了一種用于操作具有集成照相裝置的移動(dòng)通信終端的設(shè)備和方法，另外，還涉及了一種利用相片來操作具有集成照相裝置的移動(dòng)通信終端的設(shè)備和方法。
背景技術(shù)：
通常，移動(dòng)通信終端包括蜂窩電話或具有無線通信性能的個(gè)人通信系統(tǒng)(PCS)。由于對(duì)在話音通信時(shí)進(jìn)行視頻/圖像通信的需要，有幾種集成照相裝置的移動(dòng)通信終端被認(rèn)為可以滿足這個(gè)需要。而且，終端變得日益復(fù)雜并集成了用戶認(rèn)為操作很難并且復(fù)雜的許多特征和功能。
如圖1A和1B，以一種折疊式移動(dòng)電話為例，描述了一種為常規(guī)的移動(dòng)無線電通信終端的操作方法。在圖1A中，以手為例的用戶通過與一個(gè)或多個(gè)終端處理設(shè)備相互作用來控制移動(dòng)終端。在圖1A描述的例子中，這種設(shè)備體現(xiàn)為一種具有按鈕的鍵區(qū)的形式。由于移動(dòng)終端中功能和特征的多樣性，每個(gè)按鈕都對(duì)應(yīng)了多種功能。例如，當(dāng)此移動(dòng)終端被用于文字信息傳遞目的時(shí)，一個(gè)按鈕可能代表10個(gè)不同的字符。
或者，單個(gè)按鈕可以代表用于快速操作終端功能的“快捷”鍵，例如利用集成照相裝置照相。最終，歸因于每個(gè)終端處理設(shè)備的有限功能數(shù)目由于使用移動(dòng)終端時(shí)可接受的人機(jī)工程學(xué)而變得受限制。把太多的功能歸因于有限數(shù)量的按鍵可能導(dǎo)致終端喪失全部效力并且喪失了相對(duì)于用戶友好性的普及。而且，隨著終端技術(shù)上的發(fā)展及尺寸的減小，終端處理設(shè)備的反復(fù)接合會(huì)日益減少，用戶將發(fā)現(xiàn)終端的操作變得愈發(fā)困難并單調(diào)。
在圖1B中，一個(gè)以臉為例的用戶通過聲音指令操作移動(dòng)終端，其中用戶通過口頭傳達(dá)一個(gè)指令使終端執(zhí)行某個(gè)功能。在本例中，用戶通過陳述術(shù)語“我的房子”來命令終端以撥打用戶住所電話的形式接收、處理并且起作用。目前，許多聲音指令被歸類以執(zhí)行簡(jiǎn)單的功能，例如撥打一個(gè)電話號(hào)碼。另外，必須為每個(gè)已存儲(chǔ)的電話號(hào)碼使用可聽見的截然不同的術(shù)語，因此需要用戶記住這些術(shù)語。當(dāng)像用戶住所這樣的特定位置具有不止一個(gè)相關(guān)電話號(hào)碼時(shí)，這會(huì)變得很困難。聲音指令的數(shù)目也會(huì)受到終端內(nèi)存的限制，其內(nèi)存是有限的，并當(dāng)用戶不斷向終端增加其他功能時(shí)內(nèi)存還可能減小。
因此，需要一種改善的解決方法以提供用來操作移動(dòng)通信終端的附加且替代性的方法。

發(fā)明內(nèi)容
依照一個(gè)具體實(shí)施例，移動(dòng)通信終端包括與終端相連接的照相裝置；圖像處理單元，用于處理由照相裝置所產(chǎn)生的圖像，其中從被處理的圖像中形成控制信息；以及操作控制單元，用于使終端的操作功能與控制信息相對(duì)應(yīng)。
圖像處理單元把至少一個(gè)初始值與來自控制信息的至少一個(gè)相應(yīng)值相比較。初始值由用戶設(shè)定。圖像處理單元檢測(cè)至少一個(gè)初始值和至少一個(gè)相應(yīng)值之間的第一差異。控制信息包括至少一個(gè)初始值和從圖像被處理的至少一個(gè)相應(yīng)值之間的第一差異。在一些具體實(shí)施例中，用戶設(shè)定終端的第一操作功能對(duì)應(yīng)于該第一差異。
在另一個(gè)具體實(shí)施例中，提供了一種用于操作具有集成照相裝置的移動(dòng)通信終端的方法。此方法包括照相；處理控制信息的圖像；設(shè)定移動(dòng)通信終端的操作功能對(duì)應(yīng)于控制信息；以及根據(jù)控制信息操作移動(dòng)通信終端。處理圖像的步驟包括從被處理的圖像中提取第一值；把第一值與初始值相比較；確定第一值與初始值之間的第一差異；形成從第一差異導(dǎo)出的第一控制信息；以及根據(jù)第一控制信息產(chǎn)生控制信息信號(hào)。在一些具體實(shí)施例中，此方法還包括照相；從圖像中提取至少一個(gè)值；以及把至少一個(gè)值設(shè)為初始值。
依照還有一個(gè)具體實(shí)施例，提供了一種用于操作具有集成照相裝置的移動(dòng)通信終端的方法。此方法包括用照相設(shè)備制造從第一對(duì)象產(chǎn)生第一圖像；檢測(cè)第一圖像內(nèi)的診斷元素；從診斷元素中至少導(dǎo)出第一值；從第一個(gè)值中至少導(dǎo)出第一綜合值；確定此第一綜合值和從至少一個(gè)初始值導(dǎo)出的相應(yīng)綜合初始值之間的第一差異；以及向第一差異指定移動(dòng)通信終端的第一操作功能。
此方法還可以包括用照相裝置產(chǎn)生第一對(duì)象的第二圖像；檢測(cè)第二圖像內(nèi)的診斷元素；以及從診斷元素中導(dǎo)出至少一個(gè)初始值。至少一個(gè)閾值被應(yīng)用于綜合初始值。診斷元素包括一個(gè)包含以個(gè)人頭部為特征的面部的初級(jí)診斷元素；以及包含以個(gè)人面部為特征的一雙眼部的次級(jí)診斷元素。
把值歸于兩眼之間的第一中點(diǎn)上；第二中點(diǎn)位于雙肩之間；通過第一和第二中點(diǎn)畫出一矢量；通過該矢量和連接肩部的水平線形成一個(gè)角。綜合初始值包括由矢量和連接肩部的水平線形成的近似90°的角。在一個(gè)具體實(shí)施例中，綜合初始值包括當(dāng)連接眼部并包含第一中點(diǎn)的水平線與連接肩部的水平線近似平行時(shí)測(cè)得的矢量長度。
本發(fā)明的這些和其他具體實(shí)施例也將通過下面參照附圖的實(shí)施例的詳細(xì)描述使本發(fā)明更易理解，本發(fā)明并只不局限在任何所提到的特定實(shí)施例中。


附圖舉例說明了本發(fā)明的具體實(shí)施例，連同說明書用于解釋了本發(fā)明的原理，該附圖被包括用于提供進(jìn)一步理解本發(fā)明，并且被結(jié)合和構(gòu)成說明書的一部分。
圖1A和1B舉例說明了根據(jù)現(xiàn)有技術(shù)操作移動(dòng)通信終端的常規(guī)方法；圖2舉例說明了根據(jù)本發(fā)明的一個(gè)具體實(shí)施例，用于操作具有集成照相裝置的移動(dòng)通信終端的設(shè)備的框圖；圖3舉例說明了根據(jù)本發(fā)明的一個(gè)具體實(shí)施例，用于操作具有集成照相裝置的移動(dòng)通信終端的方法圖；圖4舉例說明了根據(jù)本發(fā)明的一個(gè)具體實(shí)施例，用于初始化具有集成照相裝置的移動(dòng)通信終端的過程的流程圖；以及圖5A和5B舉例說明了根據(jù)本發(fā)明的一個(gè)具體實(shí)施例，具有集成照相裝置的移動(dòng)通信終端進(jìn)行運(yùn)動(dòng)檢測(cè)的過程流程圖。
依照一個(gè)或更多的實(shí)施例，本發(fā)明的特征、元件和方面可以使用同一參考符號(hào)標(biāo)記在代表同一、相同或者相似特征、元件或方面的不同附圖中。
具體實(shí)施例方式
現(xiàn)在將對(duì)本發(fā)明的一個(gè)或多個(gè)具體實(shí)施例進(jìn)行詳細(xì)的描述，在附圖中對(duì)其實(shí)例進(jìn)行闡明。
在圖2中，示出了根據(jù)本發(fā)明的一個(gè)具體實(shí)施例、用于操作具有集成照相裝置的移動(dòng)通信終端的設(shè)備的框圖。此設(shè)備包括安裝在終端上的集成照相裝置，例如照相機(jī)10。照相機(jī)10在終端的顯示屏(圖中沒有顯示)上再現(xiàn)一圖像。安裝在終端上的圖像處理單元20處理并分析由照相機(jī)10所捕獲的圖像以形成某種信息。操作控制單元30檢測(cè)這些圖像并把相應(yīng)的指令與圖像相關(guān)，從而把終端的操作功能提供給用戶。
照相機(jī)10最好是包含用于接收信號(hào)的傳感器(圖中沒有顯示)的數(shù)碼相機(jī)。圖像處理單元20通過照相機(jī)10接收包括在圖像中發(fā)生的運(yùn)動(dòng)在內(nèi)的圖像信息，例如個(gè)人嘴唇的運(yùn)動(dòng)、眨眼或是點(diǎn)頭。這些運(yùn)動(dòng)包含指令控制，其中由用戶輸入并由圖像處理單元20接收的指令傳輸與指令控制相關(guān)。例如，指令傳輸可能包括照片信息、特定的字母數(shù)字式字符或者圖標(biāo)。操作控制單元30檢測(cè)由圖像處理單元20所處理的圖像，并利用預(yù)定的算法(詳細(xì)描述如下)對(duì)被處理的圖像編程以操作終端的功能，例如滾動(dòng)菜單、輸入所選擇的字母數(shù)字式字符、或者定位指針。
參照?qǐng)D3，描述了用于初始化這種功能的處理。在圖3中，用戶頭部的圖像被作為在終端顯示器內(nèi)進(jìn)行指針的直接控制的例子。集成在移動(dòng)通信終端內(nèi)的照相裝置檢測(cè)到用戶面部的圖像，在圖右側(cè)以折疊式移動(dòng)終端為例。而且，也檢測(cè)到用戶的面部特征。用于檢測(cè)和辨別用戶面部特征的方法包括模式匹配方法的支持矢量機(jī)器(SVM)算法，使用標(biāo)準(zhǔn)化平均面部顏色信息的后傳播神經(jīng)網(wǎng)絡(luò)算法，以及本領(lǐng)域普通技術(shù)人員所知的其他適當(dāng)方法。
在應(yīng)用SVM算法時(shí)，具有兩個(gè)絕對(duì)特征的對(duì)象被安置在一維空間中，其中對(duì)象被劃分為一個(gè)超平面(hyper-plane)。搜索并確定正確且最適合的超平面以防止誤分類。關(guān)于后傳播神經(jīng)網(wǎng)絡(luò)算法，最合適的輸出值會(huì)從所選擇的輸入值和控制加權(quán)中導(dǎo)出。這個(gè)算法更適用于基于模型的分類和預(yù)測(cè)。例如，后傳播神經(jīng)網(wǎng)絡(luò)算法可以用來通過使用滑動(dòng)窗口觀察黑白靜止圖像而對(duì)所研究的面部形狀進(jìn)行檢測(cè)，其中可以提取多個(gè)面部圖像。
圖3中，個(gè)人的面部被照相，例如用戶的面部，其中從圖像中檢測(cè)出面部區(qū)域。之后分開地處理個(gè)人的面部特征。例如，通過繪制連接眼睛的水平線100而檢測(cè)出個(gè)人眼睛的位置。通過個(gè)人眼睛之間的線段100上的中點(diǎn)繪制垂線200，并向下延伸作為Y軸。通過個(gè)人肩部繪制水平線300作為X軸。把線200和300的交點(diǎn)作為坐標(biāo)原點(diǎn)。
個(gè)人頭部的旋轉(zhuǎn)通過角θ測(cè)量，其中個(gè)人的面部向左右方向任意移動(dòng)?；趥€(gè)人眼睛之間的參考點(diǎn)位置測(cè)得個(gè)人面部的左右運(yùn)動(dòng)。換句話說，除了向前和向后以外，可以測(cè)量通過個(gè)人頭部在左右方向任意傾斜而形成的角。因此，圖像處理單元20中會(huì)存儲(chǔ)初始值，例如線100和300的長度、線100與線200的交點(diǎn)、線200與線300的交點(diǎn)、交點(diǎn)之間的距離、以及角θ(最初近似為90度)。
圖4的流程圖舉例說明了關(guān)于本例的圖像處理單元20中的初始化過程。在步驟S1，通過集成在移動(dòng)通信終端內(nèi)的照相裝置即照相機(jī)10進(jìn)行照相。當(dāng)圖像被輸入到圖像處理單元20中時(shí)，它被分析并處理以得到可檢測(cè)的信息。例如，在步驟S2中確定了圖像內(nèi)的面部區(qū)域。如果未檢測(cè)到像面部區(qū)域這樣的初級(jí)診斷元素(步驟S3)，那么重復(fù)步驟S1。如果檢測(cè)到面部區(qū)域(步驟S4)，那么在步驟S5中搜尋并檢測(cè)更詳細(xì)的信息，其中檢測(cè)眼睛。類似于步驟S3，如果未檢測(cè)到像眼睛區(qū)域這樣的信息(步驟S6)，那么在步驟S1中重復(fù)照相。
在檢測(cè)到更詳細(xì)的信息后(步驟S7)，至少一個(gè)初始值被歸于該詳細(xì)信息。在本例中，表征了三個(gè)初始值(步驟S8-S10)。例如，參考圖3，在兩眼間的距離繪制了已測(cè)長度的線段100。另一個(gè)初始值是垂線200，其穿過線段100的中點(diǎn)。附加的初始值是測(cè)量線300，通過雙肩的距離進(jìn)行繪制。
在圖4的步驟S11中，基于上面在步驟S8-S10中獲得的初始值產(chǎn)生綜合初始值。在本例中，由矢量(從線200與線300的交點(diǎn)到線100與線200的交點(diǎn))與線100或線200形成的角θ代表了一個(gè)綜合初始值。此外，矢量的長度也代表一個(gè)綜合初始值。在步驟S12中，為每個(gè)初始值任選地應(yīng)用預(yù)設(shè)閾值，來補(bǔ)償環(huán)境條件和用戶無意識(shí)的運(yùn)動(dòng)。例如，角θ的初始值可能在大約80°到約100°度的范圍內(nèi)。
參考圖5A，在步驟S100時(shí)用安裝在移動(dòng)通信終端上的照相裝置捕捉到一圖像。在步驟S101中，當(dāng)圖像被輸入到圖像處理單元20中時(shí)，它被分析并處理以測(cè)得可檢測(cè)的信息例如圖像內(nèi)的面部區(qū)域。如果在步驟S102中沒有檢測(cè)到像面部區(qū)域這樣的初級(jí)診斷元素，那么就重復(fù)步驟S100。如果在步驟S103中檢測(cè)到面部區(qū)域，那么就在步驟S104中搜索并檢測(cè)更詳細(xì)的信息，例如包含眼睛的區(qū)域。如果在步驟S105中未檢測(cè)到眼睛區(qū)域，那么在步驟S100中重復(fù)照相。
在步驟106中檢測(cè)了包含個(gè)人眼睛的區(qū)域后，一個(gè)比較值被賦予詳細(xì)信息，在這個(gè)例子中，在步驟S107中繪制了通過兩眼之間的線段。在步驟S108中產(chǎn)生了另一個(gè)比較值，例如經(jīng)過步驟S107中線段的中點(diǎn)繪制一條垂直線。在步驟S109中產(chǎn)生一個(gè)附加的比較值，這里通過個(gè)人肩部之間的距離來繪制測(cè)量線。在步驟S110中，可以獲得綜合比較值，例如通過在矢量與步驟S109中形成的線段之間形成角θ1，以及通過測(cè)量該矢量的長度。矢量是由在步驟S107-S109中形成的線段的交點(diǎn)得到的。
現(xiàn)在參考圖B并沿著箭頭A方向，在這個(gè)步驟中，角θ1被測(cè)量并與初始角度值θ相比較。如果確定角θ1小于最小閾值(即小于80°)(步驟S111)，那么實(shí)施對(duì)應(yīng)于所感覺運(yùn)動(dòng)(例如，頭向左旋轉(zhuǎn))的操作功能(步驟S114)。例如，在顯示屏上顯示的菜單中會(huì)示出指針的向左運(yùn)動(dòng)。如果確定角θ1大于最小閾值(即大于80°)，那么就確定角θ1是否大于最大閾值(即大于100°)(步驟S112)。
如果確定角θ1不大于最大閾值，那么將沒有角和/或旋轉(zhuǎn)運(yùn)動(dòng)被檢測(cè)出來，其中該過程被重新啟動(dòng)(沿著箭頭B方向的步驟S113)。如果確定角θ1大于最大閾值，那么實(shí)施對(duì)應(yīng)于所感覺運(yùn)動(dòng)(例如，頭向右傾斜)的操作功能(步驟S114)。依照當(dāng)前的例子，終端的顯示屏將顯示指針向右的運(yùn)動(dòng)。
為了偏離預(yù)設(shè)在初始值中的范圍，也確定矢量長度。在步驟S115中，如果確定長度大于最大的初始值，那么實(shí)施對(duì)應(yīng)于所感覺運(yùn)動(dòng)(例如，頭向上抬起)的操作功能(步驟S118)。在本例中，操作功能會(huì)由指針在顯示屏中的向上移動(dòng)所組成。如果確定矢量長度不大于最大的初始值，那么會(huì)確定矢量長度是否小于最小的初始值(步驟S116)。
如果確定矢量長度不大于最小的初始值，那么不檢測(cè)到任何垂直運(yùn)動(dòng)，其中的過程被重新啟動(dòng)(沿著箭頭C方向的步驟S117中)。如果確定矢量長度小于最小的初始值，那么實(shí)施對(duì)應(yīng)于所感覺運(yùn)動(dòng)(例如，點(diǎn)頭向下)的操作功能(步驟S118)。依照當(dāng)前的例子，終端的顯示屏將顯示指針向下的運(yùn)動(dòng)。
另外，對(duì)于指針控制，在一個(gè)具體實(shí)施例中，本發(fā)明的設(shè)備和方法能被應(yīng)用于移動(dòng)終端上運(yùn)行的視頻游戲中，其中本發(fā)明處理和感覺到的運(yùn)動(dòng)能被轉(zhuǎn)變成游戲角色的運(yùn)動(dòng)。此外，像眨眼和嘴唇移動(dòng)這樣的分開運(yùn)動(dòng)也可以被結(jié)合在本發(fā)明設(shè)備中編程的算法程序中，以此來控制終端的附加功能。例如，在游戲文本中，眨眼的同時(shí)把頭向右傾斜將被轉(zhuǎn)化成在開槍射擊的同時(shí)向右移動(dòng)的游戲特性。在其他可操作的文本中，重復(fù)向下點(diǎn)頭能被轉(zhuǎn)化成向下滾動(dòng)菜單，其中眨眼(blink)可以選擇一個(gè)電話號(hào)碼。這種技術(shù)可以被結(jié)合在要求用戶與文本或圖形接口進(jìn)行交互作用的其他應(yīng)用中。
以上所描述的具體實(shí)施例將被認(rèn)為是對(duì)所有方面的例證而并不局限于任何方式中。因此，其他可仿效的具體實(shí)施例，系統(tǒng)體系結(jié)構(gòu)，平臺(tái)，和能支持本發(fā)明不同方面的設(shè)備在沒有脫離本文所描述的基本特征時(shí)可以被利用。這些以及其它的改變和所描述的具體實(shí)施例特征的結(jié)合都在本發(fā)明的范圍內(nèi)。本發(fā)明受權(quán)利要求及等同物的所有范圍的限制。
權(quán)利要求
1.一種移動(dòng)通信終端，包括與終端連接的照相裝置；圖像處理單元，用于處理由照相裝置所產(chǎn)生的圖像，其中從被處理的圖像中導(dǎo)出控制信息；以及操作控制單元，用于使終端的操作功能與控制信息相對(duì)應(yīng)。
2.如權(quán)利要求1所述的終端，其特征在于，所述圖像處理單元把至少一個(gè)初始值與來自控制信息的至少一個(gè)相應(yīng)值相比較。
3.如權(quán)利要求2所述的終端，其特征在于，所述初始值由用戶設(shè)定。
4.如權(quán)利要求2所述的終端，其特征在于，所述圖像處理單元檢測(cè)至少一個(gè)初始值和至少一個(gè)相應(yīng)值之間的第一差異。
5.如權(quán)利要求4所述的終端，其特征在于，所述控制信息包括至少一個(gè)初始值和來自圖像的被處理的至少一個(gè)相應(yīng)值之間的第一差異。
6.如權(quán)利要求5所述的終端，其特征在于，用戶設(shè)定終端的第一操作功對(duì)應(yīng)于第一差異。
7.一種用于操作具有集成照相裝置的移動(dòng)通信終端的方法，此方法包括照相；處理控制信息的圖像；設(shè)定移動(dòng)通信終端的操作功能對(duì)應(yīng)于控制信息；以及根據(jù)控制信息操作移動(dòng)通信終端。
8.如權(quán)利要求7所述的方法，其中處理圖像包括從被處理的圖像中提取第一值；把第一值與初始值相比較；確定第一值與初始值之間的第一差異；形成從第一差異導(dǎo)出的第一控制信息；以及根據(jù)第一控制信息產(chǎn)生控制信息信號(hào)。
9.如權(quán)利要求8所述的方法，進(jìn)一步包括照相；從圖像中至少提取至少一個(gè)值；以及把至少一個(gè)值設(shè)為初始值。
10.一種用于操作具有集成照相裝置的移動(dòng)通信終端的方法，此方法包括用此照相設(shè)備產(chǎn)生第一對(duì)象的第一圖像；檢測(cè)第一圖像內(nèi)的診斷元素；從診斷元素中至少導(dǎo)出第一值；從第一值中至少導(dǎo)出第一綜合值；確定此第一綜合值和從至少一個(gè)初始值導(dǎo)出的相應(yīng)綜合初始值之間的第一差異；以及把移動(dòng)通信終端的第一操作功能分配給第一差異。
11.如權(quán)利要求10所述的方法，進(jìn)一步包括用照相裝置產(chǎn)生第一對(duì)象的第二圖像；檢測(cè)第二圖像內(nèi)的診斷元素；以及從診斷元素中導(dǎo)出至少一個(gè)初始值。
12.如權(quán)利要求11所述的方法，進(jìn)一步包括，把至少一個(gè)閾值應(yīng)用于綜合初始值。
13.如權(quán)利要求12所述的方法，其中診斷元素包括包含以個(gè)人頭部為特征的面部的初級(jí)診斷元素；和包含以個(gè)人面部為特征的一雙眼睛的次級(jí)診斷元素。
14.如權(quán)利要求13所述的方法，進(jìn)一步包括以下步驟把第一值歸于位于兩眼之間的第一中點(diǎn)；把第二值歸于位于雙肩之間的第二中點(diǎn)；把第一綜合值歸于通過第一和第二中點(diǎn)繪制的矢量；以及把第二綜合值歸于由矢量和連接肩部的水平線所形成的一個(gè)角。
15.如權(quán)利要求14所述的方法，其特征在于，所述綜合初始值包括由矢量和連接肩部的水平線所形成的近似90°的角。
16.如權(quán)利要求14所述的方法，其特征在于，所述綜合初始值包括當(dāng)連接眼部并包含第一中點(diǎn)的水平線與連接肩部的水平線近似平行時(shí)測(cè)得的矢量長度。
全文摘要
提供了一種用于操作具有集成照相裝置的移動(dòng)通信終端的方法。此方法包括用此照相設(shè)備產(chǎn)生第一目標(biāo)的第一圖像；檢測(cè)第一圖像內(nèi)的診斷元素；從診斷元素中至少導(dǎo)出第一值；從第一值中至少導(dǎo)出第一綜合值；確定此第一綜合值和從至少一個(gè)初始值導(dǎo)出的相應(yīng)綜合初始值之間的第一差異；以及把移動(dòng)通信終端的第一操作功能分配給該第一差異。
文檔編號(hào)H04M1/247GK1533118SQ20031012487
公開日2004年9月29日 申請(qǐng)日期2003年12月12日 優(yōu)先權(quán)日2002年12月16日
發(fā)明者宋明澈, 李玹求 申請(qǐng)人:Lg電子株式會(huì)社