專利名稱：用戶界面系統(tǒng)及其操作方法
用戶界面系統(tǒng)及其操作方法技術(shù)領(lǐng)域
本系統(tǒng)大體上涉及用戶界面系統(tǒng)，更具體地涉及可以利用用戶的姿勢(shì)來(lái)識(shí)別身體部分的用戶界面(UI)。
背景技術(shù)：
最近，用戶站(US)如移動(dòng)站(MS)、蜂窩電話、移動(dòng)電話(例如，IPHONE )、個(gè)人數(shù)字助理(PDA )、黑莓 型裝置、上網(wǎng)本、膝上型電腦、PAD型計(jì)算裝置(例如，IPAD )、個(gè)人計(jì)算機(jī)(PC)、臺(tái)式計(jì)算機(jī)、電視機(jī)等已經(jīng)開(kāi)始包括圖像捕獲裝置如照相機(jī)以捕獲圖像信息。然而，為了減少尺寸和/或重量他們不具有傳統(tǒng)的用戶輸入裝置，如用戶可以用來(lái)容易地與US交互的硬鍵式鍵盤。因此，用戶可以通過(guò)可以提供軟鍵盤的觸屏式顯示器與這些裝置交互。然而，這要求用戶在顯示器的一個(gè)手臂的長(zhǎng)度內(nèi)，這對(duì)于用戶可能不太方便。發(fā)明內(nèi)容
公開(kāi)了提供基于姿勢(shì)的用戶界面(UI)的一個(gè)或多個(gè)系統(tǒng)、方法、裝置和/或計(jì)算機(jī)程序(在下文中，為了清楚起見(jiàn)，其每一個(gè)將被稱為系統(tǒng)，除非上下文中另外指出)。本系統(tǒng)可以在個(gè)人環(huán)境或企業(yè)環(huán)境中與用戶交互。因此，用戶可以通過(guò)用戶站(US)如PAD型計(jì)算裝置，和/或通過(guò)如在商店、機(jī)構(gòu)(例如，學(xué)校)、公共場(chǎng)所(例如，機(jī)場(chǎng)等等)、政府機(jī)關(guān)(例如，機(jī)動(dòng)車輛部門等等)等等中的企業(yè)系統(tǒng)與本系統(tǒng)交互。此外，該系統(tǒng)可以辨別可能同時(shí)與系統(tǒng)交互的兩個(gè)或更多用戶。因此，可以為一個(gè)或多個(gè)用戶以同時(shí)的方式或并行的方式執(zhí)行本系統(tǒng)的操作動(dòng)作。此外，取決于隨時(shí)間推移的兩個(gè)或更多身體部分之間的用戶的姿勢(shì)，該系統(tǒng)為了用戶的方便可以選擇和/或顯示通知內(nèi)容。
根據(jù)本系統(tǒng)的一個(gè)方面，公開(kāi)了一種用戶界面(UI)方法，該Π由一個(gè)或多個(gè)控制器控制。UI方法可以包括:從用戶的圖像序列獲得圖像信息的一個(gè)或多個(gè)動(dòng)作；分析圖像信息以識(shí)別該用戶；從圖像信息識(shí)別與用戶的各個(gè)身體部分相對(duì)應(yīng)的第一參考對(duì)象和第二參考對(duì)象；確定第一參考對(duì)象是否已經(jīng)放置在第二參考對(duì)象的閾值縮放距離內(nèi)或超過(guò)第二參考對(duì)象的閾值縮放距離；當(dāng)確定第一參考對(duì)象已經(jīng)放置在第二參考對(duì)象的閾值縮放距離之內(nèi)或超過(guò)第二參考對(duì)象的閾值縮放距離時(shí)，計(jì)算第一參考對(duì)象與第二參考對(duì)象之間的交互時(shí)間(Ti);比較交互時(shí)間與閾值參考時(shí)間(Trt);以及根據(jù)比較的結(jié)果執(zhí)行行動(dòng)。
該方法還可以包括:注冊(cè)第一參考對(duì)象和第二參考對(duì)象以及第一參考對(duì)象與第二參考對(duì)象之間的對(duì)應(yīng)的關(guān)聯(lián)的動(dòng)作。此外，可以使用對(duì)象識(shí)別技術(shù)執(zhí)行識(shí)別的動(dòng)作。此外，識(shí)別的動(dòng)作還可以包括確定圖像內(nèi)的一個(gè)或多個(gè)感興趣區(qū)(ROI)的動(dòng)作。
還可以設(shè)想該方法可以包括:基于第一參考對(duì)象與第二參考對(duì)象之間的關(guān)系確定行動(dòng)的動(dòng)作。此外，執(zhí)行該行動(dòng)的動(dòng)作可以包括突出和呈現(xiàn)第二參考對(duì)象、調(diào)用應(yīng)用的一個(gè)或多個(gè)動(dòng)作，從而運(yùn)行特定的處理代碼，運(yùn)行代碼片段、輸入命令以及類似的其他操作。
還提供用戶界面(UI)系統(tǒng)，該Π通信系統(tǒng)包括:可以從用戶的圖像序列獲得圖像信息的一個(gè)或多個(gè)控制器；分析圖像信息以識(shí)別該用戶；識(shí)別其一個(gè)或多個(gè)與來(lái)自圖像信息的用戶的各個(gè)身體部分相對(duì)應(yīng)的第一參考對(duì)象和第二參考對(duì)象，；確定第一參考對(duì)象是否已經(jīng)放置在第二參考對(duì)象的閾值距離內(nèi)或超過(guò)第二參考對(duì)象的閾值距離；當(dāng)確定第一參考對(duì)象已經(jīng)放置在第二參考對(duì)象的閾值距離之內(nèi)或超過(guò)第二參考對(duì)象的閾值距離時(shí)，計(jì)算第一參考對(duì)象與第二參考對(duì)象之間的交互時(shí)間(Ti);比較交互時(shí)間與閾值參考時(shí)間(Trt);和/或基于比較的結(jié)果執(zhí)行行動(dòng)。該一個(gè)或多個(gè)控制器可以包括注冊(cè)第一參考對(duì)象和第二參考對(duì)象以及第一參考對(duì)象與第二參考對(duì)象之間的對(duì)應(yīng)的關(guān)聯(lián)。此外，根據(jù)對(duì)象識(shí)別技術(shù)，該一個(gè)或多個(gè)控制器可以識(shí)別其一個(gè)或多個(gè)與用戶的各個(gè)身體部分相對(duì)應(yīng)的第一參考對(duì)象和第二參考對(duì)象。此夕卜，為了識(shí)別第一參考對(duì)象和第二參考對(duì)象，該一個(gè)或多個(gè)控制器可以確定圖像內(nèi)的一個(gè)或多個(gè)感興趣區(qū)(ROI)。此外，基于第一參考對(duì)象與第二參考對(duì)象之間的關(guān)系，該一個(gè)或多個(gè)控制器可以確定行動(dòng)。還可以設(shè)想根據(jù)行動(dòng)該一個(gè)或多個(gè)控制器可以突出和呈現(xiàn)(例如，在系統(tǒng)的用戶界面上如顯示屏)第二參考對(duì)象、調(diào)用應(yīng)用或輸入命令。還公開(kāi)了存儲(chǔ)在計(jì)算機(jī)可讀存儲(chǔ)器媒介上的計(jì)算機(jī)程序，該計(jì)算機(jī)程序配置為提供用戶界面(UI)，該計(jì)算機(jī)程序可以包括配置為從用戶的圖像序列如來(lái)自裝置如照相機(jī)，來(lái)自持久性存儲(chǔ)器等等的圖像信息獲得圖像信息的程序部分；分析圖像信息以識(shí)別該用戶；識(shí)別其一個(gè)或多個(gè)與來(lái)自圖像信息的用戶的各個(gè)身體部分相對(duì)應(yīng)的第一參考對(duì)象和第二參考對(duì)象；確定第一參考對(duì)象是否已經(jīng)放置在第二參考對(duì)象的閾值距離內(nèi)或超過(guò)第二參考對(duì)象的閾值距離；當(dāng)確定第一參考對(duì)象已經(jīng)放置在第二參考對(duì)象的閾值距離之內(nèi)或超過(guò)第二參考對(duì)象的閾值距離時(shí)，計(jì)算第一參考對(duì)象與第二參考對(duì)象之間的交互時(shí)間(Ti);匕匕較交互時(shí)間與閾值參考時(shí)間(Trt);和/或基于比較的結(jié)果執(zhí)行行動(dòng)。此外，根據(jù)該計(jì)算機(jī)程序，程序部分可以配置為注冊(cè)第一參考對(duì)象和第二參考對(duì)象以及第一參考對(duì)象與第二參考對(duì)象之間的對(duì)應(yīng)的關(guān)聯(lián)。此外，根據(jù)對(duì)象識(shí)別技術(shù)，程序部分還可以配置為識(shí)別其一個(gè)或多個(gè)與用戶的各個(gè)身體部分相對(duì)應(yīng)的第一參考對(duì)象和第二參考對(duì)象。此外，為了識(shí)別第一參考對(duì)象和第二參考對(duì)象，該程序部分可以配置為確定圖像內(nèi)的一個(gè)或多個(gè)感興趣區(qū)(R0I )。還可以設(shè)想該程序部分可以配置為基于第一參考對(duì)象與第二參考對(duì)象之間的關(guān)系確定行動(dòng)。還可以設(shè)想程序部分可以配置為根據(jù)行動(dòng)突出和呈現(xiàn)第二參考對(duì)象、調(diào)用應(yīng)用和/或輸入命令。


以示例的方式，參照附圖詳細(xì)地解釋了本發(fā)明，在附圖中:圖1示出根據(jù)本系統(tǒng)的實(shí)施方式的成像系統(tǒng)的框圖；圖2示出根據(jù)本系統(tǒng)的實(shí)施方式的被捕獲的個(gè)體的圖像的屏幕截圖；圖3示出根據(jù)本系統(tǒng)的實(shí)施方式的、使用標(biāo)準(zhǔn)對(duì)象信息(SOI)呈現(xiàn)的圖像；圖4示出根據(jù)本系統(tǒng)的實(shí)施方式的、使用標(biāo)準(zhǔn)對(duì)象信息(SOI)呈現(xiàn)的圖像；圖5示出圖像序列，該圖像序列示出根據(jù)本系統(tǒng)的實(shí)施方式的、將手與身體區(qū)域相關(guān)聯(lián)的過(guò)程；圖6示出根據(jù)本系統(tǒng)的實(shí)施方式的過(guò)程的流程圖；圖7示出根據(jù)本系統(tǒng)的實(shí)施方式的、規(guī)格化手的中心位置的方法的屏幕截圖；以及
圖8示出根據(jù)本系統(tǒng)的實(shí)施方式的系統(tǒng)800的一部分(例如，同級(jí)，服務(wù)器，用戶站寸寸7 ο具體實(shí)施方式
以下是對(duì)示例性實(shí)施方式的描述，其與附圖一起時(shí)將說(shuō)明上面指出的特征與優(yōu)點(diǎn)，以及另外的特征與優(yōu)點(diǎn)。在下面的描述中，為了解釋的目的而不是限制的目的，闡明了示例性的細(xì)節(jié)，如架構(gòu)、接口、技術(shù)、元件屬性等等。然而，對(duì)于本領(lǐng)域的技術(shù)人員顯而易見(jiàn)的是，與這些細(xì)節(jié)不同的其他實(shí)施方式仍然應(yīng)該理解為在所附權(quán)利要求的范圍內(nèi)。此外，為了清晰起見(jiàn)，省略了公知的裝置、電路、工具、技術(shù)以及方法的詳細(xì)描述，以免使本系統(tǒng)的描述模糊。另外，應(yīng)該清楚地理解所包括的附圖是用于說(shuō)明的目，而不是表示本系統(tǒng)的范圍。在附圖中，不同的附圖中相同的附圖標(biāo)記表示相同的元件。
為了簡(jiǎn)化本系統(tǒng)的描述，本文中所使用的術(shù)語(yǔ)“可操作地聯(lián)接”、“聯(lián)接”及其派生詞指的是裝置和/或其部分之間的連接使根據(jù)本系統(tǒng)的操作能夠?qū)崿F(xiàn)。例如，可操作地聯(lián)接可以包括使裝置和/或其部分之間的單向通信和/或雙向通信路徑能夠?qū)崿F(xiàn)的有線連接和/或無(wú)線連接中的一個(gè)或多個(gè)。例如，可操作地聯(lián)接可以包括使控制器與一個(gè)或多個(gè)用戶裝置之間的通信能夠?qū)崿F(xiàn)的有線或無(wú)線聯(lián)接。
本文中使用的術(shù)語(yǔ)“呈現(xiàn)(rendering)”及其派生詞指的是提供內(nèi)容，如可以包括，例如音頻信息、視覺(jué)信息、視聽(tīng)信息等等的數(shù)字媒介，從而其可以由至少一個(gè)用戶感覺(jué)，如視覺(jué)和/或聽(tīng)覺(jué)所察覺(jué)。例如，本系統(tǒng)可以在顯示裝置上呈現(xiàn)用戶界面(Π )從而其可以由用戶看到并且可以與用戶交互。此外，本系統(tǒng)可以在呈現(xiàn)可聽(tīng)到的輸出的裝置(例如，擴(kuò)音器，如揚(yáng)聲器)和呈現(xiàn)視覺(jué)輸出的裝置(例如，顯示器)上呈現(xiàn)視聽(tīng)內(nèi)容。為了簡(jiǎn)化以下論述，術(shù)語(yǔ)“內(nèi)容”及其派生詞將被使用并且應(yīng)該被理解為包括音頻內(nèi)容，視覺(jué)內(nèi)容，視聽(tīng)內(nèi)容，文本內(nèi)容和/或其他內(nèi)容類型，除非特別指出特別的內(nèi)容類型，這是可以容易理解的。
使用任何各種類型的可操作地聯(lián)接至控制被顯示環(huán)境如姿勢(shì)識(shí)別系統(tǒng)的處理器(例如，控制器)的人-處理器界面裝置可以實(shí)現(xiàn)用戶與計(jì)算機(jī)環(huán)境的交互和計(jì)算機(jī)環(huán)境的操作。姿勢(shì)識(shí)別系統(tǒng)可以單獨(dú)操作或根據(jù)可以呈現(xiàn)在系統(tǒng)的顯示器上的用戶界面(UI)(如圖形用戶界面(GUI))操作。例如，用戶可以使用與平面工作相關(guān)的某些姿勢(shì)來(lái)操作視覺(jué)對(duì)象，例如光標(biāo)，該視覺(jué)對(duì)象是用戶操作位置與光標(biāo)的示出位置之間的、以直接或間接映射的二維顯示表面上的視覺(jué)對(duì)象。這通常被稱為位置控制，其中所示出對(duì)象的運(yùn)動(dòng)可以與用戶的運(yùn)動(dòng)和/或姿勢(shì)在時(shí)間上相關(guān)聯(lián)。
現(xiàn)在將詳細(xì)論述根據(jù)本系統(tǒng)的實(shí)施方式使用圖像識(shí)別方法識(shí)別各個(gè)身體部分的系統(tǒng)。根據(jù)本系統(tǒng)的實(shí)施方式，在辨識(shí)第一參考對(duì)象(例如，第一身體部分，如用戶的右手)之后，系統(tǒng)可以辨識(shí)其他參考對(duì)象(例如，用戶的其他身體部分)相對(duì)于第一身體部分(例如，手)在時(shí)間上的關(guān)系。因此，在給定的時(shí)間間隔上，本系統(tǒng)可以辨識(shí)，例如，用戶的右手，并且可以確定與用戶的右手相關(guān)聯(lián)的身體部分。
圖1示出根據(jù)本系統(tǒng)的實(shí)施方式的成像系統(tǒng)100的框圖。成像系統(tǒng)100可以包括圖像捕獲部分102、控制部分104、對(duì)象識(shí)別部分106、存儲(chǔ)器部分108以及顯示部分110中的一個(gè)或多個(gè)，上述各部分可彼此分離或彼此組合。此外，部分102-112中的每一個(gè)可以是彼此本地或遠(yuǎn)距離地可操作地聯(lián)接。因此，部分102-112可以與其他部分102-112通過(guò)例如有線或無(wú)線網(wǎng)絡(luò)通信。圖像捕獲部分102可以包括任何合適的圖像捕獲裝置，例如照相機(jī)、攝像機(jī)、熱捕獲裝置、深度捕獲裝置、運(yùn)動(dòng)捕獲裝置、身體傳感裝置等等。因此，圖像捕獲部分102可以捕獲靜止圖像、視頻圖像等等，作為可以進(jìn)一步處理以形成圖像信息的原始圖像。圖像捕獲部分102可以包括可以向控制部分104傳輸原始圖像信息或圖像信息的網(wǎng)絡(luò)照相機(jī)。圖像捕獲部分102可以包括可以可操作地聯(lián)接至控制部分104的網(wǎng)絡(luò)照相機(jī)?？刂撇糠?04可以控制成像系統(tǒng)100的全部操作。因此，控制部分104可以包括可以處理信息、傳輸和/或接收信息(例如，原始圖像信息、圖像信息、控制和/或命令信息等等)的一個(gè)或多個(gè)處理器、邏輯裝置、控制器、專用集成電路(ASIC)等等，如本文中進(jìn)一步所描述的。對(duì)象識(shí)別部分106可以包括可以根據(jù)本系統(tǒng)的一個(gè)或多個(gè)算法處理原始圖像信息的數(shù)字信號(hào)處理器(DSP)。該算法可以是例如一個(gè)或多個(gè)圖像處理應(yīng)用(如Intel OpenCV 應(yīng)用)的一部分。對(duì)象識(shí)別部分106可以包括硬的(例如，硬件)和/或軟的(例如，軟件)處理部分。對(duì)象識(shí)別部分106可以接收來(lái)自圖像捕獲部分102的原始圖像信息，并且可以根據(jù)一個(gè)或多個(gè)對(duì)象識(shí)別方法(如HaarCascades型方法)處理原始圖像信息或圖像信息以形成對(duì)象識(shí)別信息(0RI)，并且其可以保存在系統(tǒng)100的存儲(chǔ)器，如存儲(chǔ)器108中。存儲(chǔ)器108可以包括任何合適的存儲(chǔ)器部分，其中可以存儲(chǔ)本系統(tǒng)100的各種信息。因此，存儲(chǔ)器108可以包括持久性存儲(chǔ)器，其可以存儲(chǔ)原始圖像信息、圖像信息、0R1、系統(tǒng)100產(chǎn)生的數(shù)據(jù)、用戶信息(例如，用戶帳戶信息、注冊(cè)信息等等)，本系統(tǒng)的操作程序或應(yīng)用和/或系統(tǒng)100適當(dāng)操作所必需的其他信息。存儲(chǔ)器108可以包括彼此位于本地或彼此遠(yuǎn)離的部分。因此，存儲(chǔ)器108可以包括表面區(qū)域網(wǎng)絡(luò)(surface area network) (SAN)等等。此外，存儲(chǔ)器108通過(guò)網(wǎng)絡(luò)可以是可達(dá)到的。顯示部分110可以包括任何合適的顯示器，其為了用戶方便起見(jiàn)可以呈現(xiàn)(例如，顯示)內(nèi)容和/或其他信息)。因此，顯示器Iio可以包括液晶顯示器(IXD)、發(fā)光二極管(LED)顯示器、陰極射線管(CRT)顯示器、電泳(EA)顯示器等等，其為了用戶的方便起見(jiàn)可以顯示內(nèi)容等。顯示器部分110可以包括觸摸屏顯示器，利用該觸摸屏顯示器用戶可以交互以將信息直接地輸入系統(tǒng)100。為方便用戶，系統(tǒng)100還可以包括輸出內(nèi)容(如音頻內(nèi)容)的擴(kuò)音器，和/或接收音頻信息的麥克風(fēng)。在控制部分104的控制下，擴(kuò)音器和/或麥克風(fēng)可以操作。調(diào)制解調(diào)器部分112可以包括有線的或無(wú)線的調(diào)制解調(diào)器，其可以使用任何合適的協(xié)議傳輸和/或接收信息，如內(nèi)容、原始圖像信息、圖像信息等等。因此，調(diào)制解調(diào)器112可以配置為上變換用于通過(guò)有線或無(wú)線鏈路(例如，使用天線等等)發(fā)送的信息并可以下變換接收的信息，并且向控制部分104發(fā)出所下變換的信息。圖2示出根據(jù)本系統(tǒng)的實(shí)施方式的捕獲的個(gè)體(例如，用戶)的圖像200的屏幕截圖。通過(guò)圖像捕獲部分(例如，部分102等等)捕獲圖像200，并且可以通過(guò)對(duì)象識(shí)別部分(例如，部分106等)處理圖像200，該對(duì)象識(shí)別部分可以使用一個(gè)或多個(gè)對(duì)象識(shí)別方法(如OpenCV 應(yīng)用、HaarCascades方法(技術(shù))、DSP方法等等)處理圖像200，以根據(jù)本系統(tǒng)的實(shí)施方式辨識(shí)圖像200的相關(guān)部分。本系統(tǒng)可以使用對(duì)象識(shí)別應(yīng)用，(如OpenCV 框架)處理圖像信息，并且確定圖像信息內(nèi)的一個(gè)或多個(gè)感興趣區(qū)(region of interest) (ROI)。每一個(gè)感興趣區(qū)可以與一個(gè)區(qū)域(如矩形區(qū)域、環(huán)形區(qū)域或其他形狀的感興趣區(qū)(ROI)及其組合)相對(duì)應(yīng)。下文示例性地描述了矩形形狀區(qū)域并且用框206-X將其示出，然而權(quán)利要求應(yīng)該理解為包括其他形狀的區(qū)域，除非在本文中另有特別說(shuō)明。因此，在確定與用戶的身體202對(duì)應(yīng)的ROI之后，本系統(tǒng)可以用框206-1框示該ROI。類似地，在確定與用戶的手和腳相對(duì)應(yīng)的ROI之后，系統(tǒng)分別可以用框206-2和206-3框示這些區(qū)域。
在本示例中，根據(jù)HaarCascade方法，用框206-X示出的的ROI可以與區(qū)域(如矩形區(qū)域)相對(duì)應(yīng)，并且可以由位于圖像200中的任何位置和/或范圍、且可以例如在本示例中分別與身體、右手區(qū)域和右腳區(qū)域相對(duì)應(yīng)的框206-1到206-3 (—般地206-X)示出。然而，也可以設(shè)想其他區(qū)域，如矩形區(qū)域和/或其組合。根據(jù)本系統(tǒng)的實(shí)施方式，本系統(tǒng)可以發(fā)現(xiàn)圖像或圖像的序列內(nèi)的所有區(qū)域。此外，根據(jù)本系統(tǒng)的實(shí)施方式，區(qū)域可以位于其它區(qū)域內(nèi)。因此，例如，右手區(qū)域206-2和右腳矩形區(qū)域206-3分別可以位于身體矩形區(qū)域206-1內(nèi)。在每一個(gè)矩形區(qū)域(例如，206-X)內(nèi)，對(duì)象識(shí)別部分106可以確定該圖像內(nèi)的各種類Haar特征。如下文參照?qǐng)D7描述的,這些類的Haar特征可以涉及該圖像的對(duì)應(yīng)區(qū)域(例如，矩形區(qū)域)內(nèi)的區(qū)域的像素和的差別。在“en.wikipedia.0rg/wiki/haar_like_features”進(jìn)一步詳細(xì)描述了類Haar特征。
為了確定ROI的位置、形狀和/或尺寸，對(duì)象識(shí)別部分利用例如從系統(tǒng)的存儲(chǔ)器獲得的標(biāo)準(zhǔn)對(duì)象信息(SOI)可以與用戶的圖像信息進(jìn)行比較。每一個(gè)感興趣區(qū)可以具有包括在例如對(duì)應(yīng)的可擴(kuò)展標(biāo)記語(yǔ)言(XML)文件或其它存儲(chǔ)格式中的對(duì)應(yīng)的HaarCascades信息。例如，可以在因特網(wǎng)上在因特網(wǎng)地址nuicode.com/projects/gsoc-ccv-hand/repository/revisions/44/entry/Final/haar cascade, xml 得到作為 XML 文件的手的樣本HaarCascadexml描述?？梢詾樵诒鞠到y(tǒng)中示出的每一個(gè)的身體部分產(chǎn)生類似的XML文件。因此，在本示例中，SOI可以包括限定標(biāo)準(zhǔn)身體的解剖學(xué)區(qū)域如手、右肩、右肘、右大腿、右膝、右腳、腹部、左肩、左射、左大腿、左膝、左腳、參考對(duì)象(例如，尺子)等等，以及對(duì)應(yīng)于第一區(qū)域到第四區(qū)域(如象限)的信息。本系統(tǒng)可以獲得HaarCascades信息并且辨識(shí)包括預(yù)期的身體和/或其部分的區(qū)域。因此，當(dāng)本系統(tǒng)獲得用戶的圖像序列時(shí)，其可以根據(jù)HaarCascades信息，以及第一參考對(duì)象和第二參考對(duì)象(如被限定的身體部分)之間的交互的持續(xù)時(shí)間(例如，交互時(shí)間(Ti))來(lái)確定各種信息，如R01、第一象限到第四象限、在這些區(qū)域內(nèi)的用戶的各個(gè)解剖學(xué)身體部分、對(duì)象的交互(如用戶的至少一個(gè)被限定的身體部分(即，第一參考對(duì)象和第二參考對(duì)象)(例如，用戶右手或其他指示對(duì)象如尺子，位于右大腿上等)等等。然后系統(tǒng)可以根據(jù)確定的交互和/或持續(xù)時(shí)間使用該信息(例如，被限定身體部分的交互和/或Ti)確定一個(gè)或多個(gè)動(dòng)作(例如，向上翻頁(yè)、回車、應(yīng)用調(diào)用等等)。還可以設(shè)想與交互(例如，右手放置在右大腿上)和/或交互的持續(xù)時(shí)間(例如，10秒)相關(guān)的信息可以輸出到其他應(yīng)用以用于另外的處理。
圖3示出根據(jù)本系統(tǒng)的實(shí)施方式的使用SOI呈現(xiàn)的圖像300。圖像300的圈出區(qū)域的每一個(gè)可以示出與預(yù)先限定的身體部分或其他對(duì)象對(duì)應(yīng)的標(biāo)準(zhǔn)對(duì)象(例如，右手、左膝等等)，并且可以在一對(duì)一的基礎(chǔ)上映射到人體。SOI可以包括可以匹配用戶(如坐姿圖像、站姿圖像、跑姿圖像等等)的圖像，以使本系統(tǒng)可以容易地匹配用戶的圖像信息(例如，通過(guò)網(wǎng)絡(luò)攝像機(jī)捕獲)與對(duì)應(yīng)的SOI (例如，坐姿的用戶可以與坐姿的SOI文件匹配)，從而本系統(tǒng)可以在例如一對(duì)一的基礎(chǔ)上有效地將用戶的圖像信息與SOI映射。
如下文所描述的，參照?qǐng)D2與圖3，通過(guò)確定一個(gè)或多個(gè)ROI和對(duì)應(yīng)的矩形區(qū)域以及在一對(duì)一的基礎(chǔ)上比較該一個(gè)或多個(gè)矩形區(qū)域與對(duì)應(yīng)的SOI信息以確定標(biāo)準(zhǔn)對(duì)象(例如，標(biāo)準(zhǔn)化的解剖特征)的位置和/或這些標(biāo)準(zhǔn)對(duì)象之間的關(guān)系，系統(tǒng)可以辨別被捕獲圖像序列中的用戶的身體的一個(gè)或多個(gè)部分(例如，一個(gè)或多個(gè)解剖特征)。因此，對(duì)象識(shí)別部分可以在一對(duì)一的基礎(chǔ)上比較矩形Haar被識(shí)別的圖像200的部分如圖像200的矩形區(qū)域(206-X)與圖3中示出的S0I，并且可以識(shí)別用戶的身體的一個(gè)或多個(gè)部分(例如，右手、左腳、腹部等等)和/或基于該比較的用戶的身體部分的位置。對(duì)象識(shí)別部分可以為圖像序列的圖像信息的矩形區(qū)域或每一個(gè)部分重復(fù)該過(guò)程。
此外，對(duì)象識(shí)別部分可以執(zhí)行用于圖像中的一個(gè)或多個(gè)身體的各個(gè)解剖特征(例如，面部特征、頭、腹部、右手、右腳等等)的識(shí)別過(guò)程。因此，如果數(shù)個(gè)身體處于一個(gè)圖像中，對(duì)象識(shí)別部分可以辨別每一個(gè)身體，并且然后可以辨別每一個(gè)身體的解剖特征。然后，該過(guò)程可以匹配這些特征與S0I，從而識(shí)別標(biāo)準(zhǔn)對(duì)象(例如，頭、腹部、、左腳等等)。因此，該過(guò)程可以使用例如面部特征從數(shù)字圖像自動(dòng)地辨識(shí)和/或驗(yàn)證人以識(shí)別該人。對(duì)象識(shí)別部分可以使用任何合適的方法(例如，使用Haar分類器、圖像應(yīng)用等等)處理圖像200以辨識(shí)用戶、用戶的解剖特征以及參考對(duì)象之間的交互，如用戶的解剖特征。
為了節(jié)省資源，SOI可以保存在不同的數(shù)據(jù)庫(kù)中。例如，面部信息可以是保存在面部用SOI數(shù)據(jù)庫(kù)中，而一般的身體信息可以保持在身體用SOI數(shù)據(jù)庫(kù)中。例如，可以捕獲將手放置在用戶的身體的一個(gè)或多個(gè)部分上的用戶的圖像或圖像序列。根據(jù)本系統(tǒng)的實(shí)施方式，系統(tǒng)可以例如確定矩形Haar的中心位置，將矩形Haar的中心位置與全身關(guān)聯(lián)，和/或提供用戶的圖像或身體全身圖像，和/或使用戶將手放置在其上的身體的區(qū)域突出。然后突出的區(qū)域可以與表示與突出的區(qū)域相對(duì)應(yīng)的實(shí)際身體部分名稱的SOI比較。因此，SOI可以包括具有身體部分的對(duì)應(yīng)名稱的身體的預(yù)先限定的結(jié)構(gòu)。
圖4示出根據(jù)本系統(tǒng)的實(shí)施方式的使用SOI呈現(xiàn)的圖像400。SOI還可以限定如所示的第一區(qū)域到第四區(qū)域的區(qū)域。根據(jù)本系統(tǒng)的實(shí)施方式，這些區(qū)域的尺寸和形狀可以取決于因素，如相對(duì)于照相機(jī)的身體的緊密度、需要識(shí)別的身體部分的數(shù)目、以及圖像中的身體形狀或人的特定類型。因此，系統(tǒng)可以檢測(cè)什么時(shí)候用戶將選擇的解剖學(xué)特征(如右手)放置在與被限定的第一區(qū)域至第四區(qū)域(如象限)的一個(gè)或多個(gè)相對(duì)應(yīng)的身體的一部分之上，并且可以確定與用戶的手所放置的位置最靠近的身體部分(例如，在閾值距離內(nèi)的身體部分)以及放置的持續(xù)時(shí)間。因此，例如，如果確定的是用戶已經(jīng)將手在對(duì)應(yīng)于第一象限的身體的一部分上放置等于或超過(guò)第一閾值時(shí)間的一段時(shí)間，根據(jù)確定的交互和/或持續(xù)時(shí)間該過(guò)程可以確定一個(gè)或多個(gè)動(dòng)作(例如，向上翻頁(yè)、回車等等)。通過(guò)將身體分成區(qū)域，因?yàn)槿绫疚闹兴枋龅模谧R(shí)別動(dòng)作期間僅包括在識(shí)別區(qū)域中的身體部分需要被搜索，所以確定最靠近的身體部分變得更容易。
圖5示出示出根據(jù)本系統(tǒng)的實(shí)施方式的將右手與身體502的區(qū)域相關(guān)聯(lián)的過(guò)程的圖像序列。在圖像A中，該過(guò)程可以檢測(cè)矩形Haar506-2，可以確定該Haar的中心位置，并且可以實(shí)時(shí)地將矩形Haar506-2的中心位置與身體502關(guān)聯(lián)。如圖像B中所示，本系統(tǒng)可以獲得示出身體的映射的S0I，其示出第一象限至第四象限。然后，如圖像C (其為后來(lái)捕獲的用戶的圖像)中所示，假定用戶的右手放置在對(duì)應(yīng)于第三象限的身體區(qū)域之上，系統(tǒng)可以比較用戶的右手的位置與圖像B的SOI，并且確定用戶的最靠近的身體部分。然后，如下文參照表I所描述的，系統(tǒng)可以確定右手與所確定的最靠近的身體部分之間的交互時(shí)間(Ti)，并且基于檢測(cè)的交互身體部分和TI執(zhí)行適當(dāng)?shù)膭?dòng)作。
此外，可以設(shè)想系統(tǒng)可以追蹤在各個(gè)時(shí)間上一系列身體部分的交互。例如，左手位于右肩上3秒以及其后在右大腿上10秒或更多等等。因此，當(dāng)本系統(tǒng)檢測(cè)隨時(shí)間推移的一系列身體部分(或關(guān)于區(qū)域的部分)的交互時(shí)，系統(tǒng)可以根據(jù)確定的交互順序和/或?qū)?yīng)的持續(xù)時(shí)間確定一個(gè)或多個(gè)動(dòng)作(例如，退格、向上翻頁(yè)等等)。根據(jù)本系統(tǒng)的實(shí)施方式，這些系列還可以保存在存儲(chǔ)器如數(shù)據(jù)庫(kù)(DB)中用于后面的另外的處理和分析，并且基于這些保存的交互的系列可以與調(diào)用/運(yùn)行應(yīng)用相關(guān)聯(lián)，使圖像突出。
在下文中參照?qǐng)D6描述示出一個(gè)或多個(gè)例如由本系統(tǒng)的索引部分(和/或其他部分)執(zhí)行的一個(gè)或多個(gè)操作的過(guò)程，圖6示出說(shuō)明根據(jù)本系統(tǒng)的實(shí)施方式的過(guò)程600的流程圖。使用通過(guò)網(wǎng)絡(luò)通信的一個(gè)或多個(gè)計(jì)算機(jī)可以執(zhí)行過(guò)程600。過(guò)程600可以包括以下動(dòng)作中的一個(gè)或多個(gè)。此外，如果需要，這些動(dòng)作中的一個(gè)或多個(gè)可以組合和/或分成子動(dòng)作。根據(jù)本系統(tǒng)，可以使用合適的圖像處理方法，如使用合適的圖像處理應(yīng)用(例如，Intel 0penCV 應(yīng)用或類似應(yīng)用)的HaarsCascade型方法執(zhí)行該過(guò)程的圖像處理動(dòng)作。操作中，該過(guò)程可以在動(dòng)作601期間開(kāi)始然后進(jìn)行到動(dòng)作603。
在動(dòng)作603期間，該過(guò)程可以接收來(lái)自圖像捕獲裝置如網(wǎng)絡(luò)照相機(jī)的圖像信息(例如，與用戶的圖像序列相對(duì)應(yīng))。在執(zhí)行動(dòng)作603以后，該過(guò)程可以繼續(xù)至動(dòng)作605。在動(dòng)作605期間，該過(guò)程可以確定是否在圖像信息中檢測(cè)到人(例如，用戶)或其他預(yù)先確定的對(duì)象。在對(duì)圖像信息中是否檢測(cè)到人的檢測(cè)中，如可以容易理解的，根據(jù)本系統(tǒng)的實(shí)施方式的系統(tǒng)可以識(shí)別身體(例如，全身)或身體部分(例如，如上軀干)。因此，如果該過(guò)程確定人被檢測(cè)到，該過(guò)程可以繼續(xù)至動(dòng)作607。然而，如果該過(guò)程確定沒(méi)有被檢測(cè)到人，該過(guò)程可以重復(fù)動(dòng)作603、605。通過(guò)例如處理圖像信息和確定什么時(shí)候在圖像信息中檢測(cè)到人，該過(guò)程可以檢測(cè)人。因此，當(dāng)人走到網(wǎng)絡(luò)照相機(jī)前面時(shí)，該過(guò)程可以確定在圖像中檢測(cè)到人。
在動(dòng)作607期間，該過(guò)程可以辨識(shí)人。因此，例如，該過(guò)程可以在圖像信息上執(zhí)行生物統(tǒng)計(jì)學(xué)/身體識(shí)別過(guò)程(如面部和/或其他另一個(gè)身體識(shí)別過(guò)程)從而形成可用于辨識(shí)人的辨識(shí)信息。在執(zhí)行動(dòng)作607以后，該過(guò)程可以繼續(xù)至動(dòng)作609。在動(dòng)作609期間，該過(guò)程可以確定是否該人為注冊(cè)人(例如，在系統(tǒng)的數(shù)據(jù)庫(kù)中注冊(cè)的人)。因此，如果該過(guò)程確定該人為注冊(cè)人，該過(guò)程可以繼續(xù)至動(dòng)作611。然而，如果該過(guò)程確定該人不是注冊(cè)人，該過(guò)程可以繼續(xù)至動(dòng)作613。
根據(jù)本系統(tǒng)的實(shí)施方式，基于辨識(shí)信息的比較的結(jié)果(例如，來(lái)自動(dòng)作607)以及注冊(cè)人識(shí)別(RPI)信息(例如，從系統(tǒng)的存儲(chǔ)器所獲得)該過(guò)程可以確定該人是否為注冊(cè)人。因此，當(dāng)比較的結(jié)果指示識(shí)別信息與RPI信息相對(duì)應(yīng)時(shí)，該過(guò)程可以確定所述人為注冊(cè)人。如在下面表I中所示，如參考對(duì)象關(guān)聯(lián)表中所述，RPI可以包括:例如，與生物統(tǒng)計(jì)學(xué)信息相關(guān)的息如SO1、與身體相關(guān)聯(lián)的參考對(duì)象(例如，手、腳、大腿等等)，相關(guān)聯(lián)的參考對(duì)象關(guān)聯(lián)(例如，右手位于左大腿上、尺子位于左大腿上等等)和/或相關(guān)聯(lián)的閾值參考時(shí)間(例如，持續(xù)時(shí)間，如3秒等等)。
表I
權(quán)利要求
1.一種用戶界面(UI)方法，所述Π由一個(gè)或多個(gè)控制器控制，所述方法包括: 從用戶的一系列圖像獲得圖像信息； 分析所述圖像信息以識(shí)別所述用戶； 識(shí)別第一參考對(duì)象和第二參考對(duì)象，所述第一參考對(duì)象和所述第二參考對(duì)象中的至少一個(gè)與根據(jù)所述圖像信息所識(shí)別的所述用戶的各個(gè)身體部分相對(duì)應(yīng)； 確定所述第 一參考對(duì)象是否已經(jīng)被放置在所述第二參考對(duì)象的閾值縮放距離內(nèi)或超過(guò)所述第二參考對(duì)象的所述閾值縮放距離； 當(dāng)確定所述第一參考對(duì)象已經(jīng)放置在所述第二參考對(duì)象的閾值縮放距離之內(nèi)或超過(guò)所述第二參考對(duì)象的所述閾值縮放距離時(shí)，計(jì)算所述第一參考對(duì)象與所述第二參考對(duì)象之間的交互時(shí)間(Ti)； 比較所述交互時(shí)間與閾值參考時(shí)間(Trt);以及 根據(jù)比較的結(jié)果執(zhí)行行動(dòng)。
2.如權(quán)利要求1所述的方法，還包括: 注冊(cè)所述第一參考對(duì)象和所述第二參考對(duì)象以及所述第一參考對(duì)象與所述第二參考對(duì)象之間對(duì)應(yīng)的關(guān)聯(lián)。
3.如權(quán)利要求1所述的方法，其中，使用對(duì)象識(shí)別技術(shù)執(zhí)行所述識(shí)別步驟。
4.如權(quán)利要求3所述的方法，其中所述識(shí)別步驟還包括: 確定所述圖像內(nèi)一個(gè)或多個(gè)感興趣區(qū)(ROIs)。
5.如權(quán)利要求1所述的方法，還包括: 基于所述第一參考對(duì)象與所述第二參考對(duì)象之間的注冊(cè)的關(guān)聯(lián)來(lái)確定所述行動(dòng)。
6.如權(quán)利要求1所述的方法，其中，所述行動(dòng)包括以下的一個(gè)或多個(gè): 突出和呈現(xiàn)所述第二參考對(duì)象、調(diào)用應(yīng)用以及輸入命令。
7.一種用戶界面(UI)系統(tǒng)，所述Π系統(tǒng)包括: 一個(gè)或多個(gè)控制器，用于: 從用戶的一系列圖像獲得圖像信息； 分析所述圖像信息以識(shí)別所述用戶； 識(shí)別第一參考對(duì)象和第二參考對(duì)象，所述第一參考對(duì)象和所述第二參考對(duì)象中的至少一個(gè)與根據(jù)所述圖像信息所識(shí)別的所述用戶的各個(gè)身體部分相對(duì)應(yīng)； 確定所述第一參考對(duì)象是否已經(jīng)放置在所述第二參考對(duì)象的閾值距離內(nèi)或超過(guò)所述第二參考對(duì)象的所述閾值距離； 當(dāng)確定所述第一參考對(duì)象已經(jīng)放置在所述第二參考對(duì)象的閾值距離之內(nèi)或超過(guò)所述第二參考對(duì)象的所述閾值距離時(shí)，計(jì)算所述第一參考對(duì)象與所述第二參考對(duì)象之間的交互時(shí)間(Ti)； 比較所述交互時(shí)間與閾值參考時(shí)間(Trt);以及 基于比較的結(jié)果執(zhí)行行動(dòng)。
8.如權(quán)利要求7所述的系統(tǒng)，其中，所述一個(gè)或多個(gè)控制器注冊(cè)所述第一參考對(duì)象和所述第二參考對(duì)象以及所述第一參考對(duì)象與所述第二參考對(duì)象之間對(duì)應(yīng)的關(guān)聯(lián)。
9.如權(quán)利要求7所述的系統(tǒng)，其中，所述一個(gè)或多個(gè)控制器根據(jù)對(duì)象識(shí)別技術(shù)來(lái)識(shí)別與所述用戶的各個(gè)身體部分相對(duì)應(yīng)的所述第一參考對(duì)象和所述第二參考對(duì)象。
10.如權(quán)利要求9所述的方法，其中，為了識(shí)別所述第一參考對(duì)象和所述第二參考對(duì)象，所述一個(gè)或多個(gè)控制器確定所述圖像內(nèi)一個(gè)或多個(gè)感興趣區(qū)(ROI)。
11.如權(quán)利要求7所述的系統(tǒng)，其中，所述一個(gè)或多個(gè)控制器基于所述第一參考對(duì)象與所述第二參考對(duì)象之間的關(guān)系確定所述行動(dòng)。
12.如權(quán)利要求7所述的系統(tǒng)，其中，所述一個(gè)或多個(gè)控制器根據(jù)所述行動(dòng)突出和呈現(xiàn)所述第二參考對(duì)象、調(diào)用應(yīng)用或輸入命令。
13.一種計(jì)算機(jī)程序，存儲(chǔ)在計(jì)算機(jī)可讀非臨時(shí)性存儲(chǔ)媒介上，所述計(jì)算機(jī)程序被配置以提供用戶界面(UI)，所述計(jì)算機(jī)程序包括: 程序部分，用于: 從用戶的一系列圖像獲得圖像信息； 分析所述圖像信息以識(shí)別所述用戶； 識(shí)別第一參考對(duì)象和第二參考對(duì)象，所述第一參考對(duì)象和所述第二參考對(duì)象中的至少一個(gè)與根據(jù)所述圖像信息所識(shí)別的所述用戶的各個(gè)身體部分相對(duì)應(yīng)； 確定所述第一參考對(duì)象是否已經(jīng)放置在所述第二參考對(duì)象的閾值距離內(nèi)或超過(guò)所述第二參考對(duì)象的所述閾值距離； 當(dāng)確定所述第一參考對(duì)象已經(jīng)放置在所述第二參考對(duì)象的閾值距離之內(nèi)或超過(guò)所述第二參考對(duì)象的所述閾值距離時(shí)，計(jì)算所述第一參考對(duì)象與所述第二參考對(duì)象之間的交互時(shí)間(Ti)； 比較所述交互時(shí)間與閾值參考時(shí)間(Trt);以及 基于比較的結(jié)果執(zhí)行行動(dòng)。
14.如權(quán)利要求13所述的計(jì)算機(jī)程序，其中，所述程序部分還注冊(cè)所述第一參考對(duì)象和所述第二參考對(duì)象以及所述第一參考對(duì)象與所述第二參考對(duì)象之間對(duì)應(yīng)的關(guān)聯(lián)。
15.如權(quán)利要求13所述的計(jì)算機(jī)程序，其中，所述程序部分還根據(jù)對(duì)象識(shí)別技術(shù)來(lái)識(shí)別所述第一參考對(duì)象和所述第二參考對(duì)象。
16.如權(quán)利要求14所述的計(jì)算機(jī)程序，其中，為了識(shí)別所述第一參考對(duì)象和所述第二參考對(duì)象，所述程序部分還確定所述圖像內(nèi)一個(gè)或多個(gè)感興趣區(qū)(ROI)。
17.如權(quán)利要求13所述的計(jì)算機(jī)程序，其中，所述程序部分還基于所述第一參考對(duì)象與所述第二參考對(duì)象之間的關(guān)系確定所述行動(dòng)。
18.如權(quán)利要求13所 述的計(jì)算機(jī)程序，其中，所述程序部分還根據(jù)所述行動(dòng)突出和呈現(xiàn)所述第二參考對(duì)象、調(diào)用應(yīng)用或輸入命令。
全文摘要
本發(fā)明提供用戶界面(UI)的方法，該方法可以由一個(gè)或多個(gè)控制器控制并且可以包括從用戶的一系列圖像獲得圖像信息的一個(gè)或多個(gè)動(dòng)作；分析圖像信息以識(shí)別該用戶；識(shí)別第一參考對(duì)象和第二參考對(duì)象，其至少一個(gè)與來(lái)自圖像信息的該用戶的各個(gè)身體部分相對(duì)應(yīng)；確定第一參考對(duì)象是否已經(jīng)放置在第二參考對(duì)象的閾值縮放距離內(nèi)或超過(guò)第二參考對(duì)象的閾值縮放距離；當(dāng)確定第一參考對(duì)象已經(jīng)放置在第二參考對(duì)象的閾值縮放距離之內(nèi)或超過(guò)第二參考對(duì)象的閾值縮放距離時(shí)，計(jì)算第一參考對(duì)象與第二參考對(duì)象之間的交互時(shí)間(Ti)；比較該交互時(shí)間與閾值參考時(shí)間(Trt)；以及根據(jù)比較的結(jié)果執(zhí)行行動(dòng)。
文檔編號(hào)G06K9/00GK103140862SQ201180047323
公開(kāi)日2013年6月5日 申請(qǐng)日期2011年9月29日 優(yōu)先權(quán)日2010年9月30日
發(fā)明者瑟薩德利·阿瑪斯納杜, 亞當(dāng)·奧德斯基 申請(qǐng)人:法國(guó)電信公司