亚洲成年人黄色一级片,日本香港三级亚洲三级,黄色成人小视频,国产青草视频,国产一区二区久久精品,91在线免费公开视频,成年轻人网站色直接看

信息處理裝置、信息處理方法和程序的制作方法

文檔序號:6533709閱讀:248來源:國知局
信息處理裝置、信息處理方法和程序的制作方法
【專利摘要】提出一種使用戶能夠通過簡單的結(jié)構(gòu)來執(zhí)行想要進行的輸入操作的方法。一種信息處理裝置,包含:成像單元,其捕獲接觸體與手的至少一根手指的手指關(guān)節(jié)接觸的狀態(tài)的圖像;識別單元,其從多個輸入元件中識別輸入元件,所述輸入元件對應(yīng)于在成像單元捕獲的圖像中與接觸體接觸的手指關(guān)節(jié);以及輸出單元,其將輸出結(jié)果從識別單元輸出到處理裝置,所述處理裝置執(zhí)行與所述多個輸入元件相對應(yīng)的輸入處理。
【專利說明】信息處理裝置、信息處理方法和程序

【技術(shù)領(lǐng)域】
[0001]本公開涉及信息處理裝置、信息處理方法和程序。

【背景技術(shù)】
[0002]信息處理裝置基于通過操作單元的來自用戶的輸入操作(諸如鍵入操作)執(zhí)行多種處理。如今,隨著各種類型的信息處理裝置正在獲得廣泛使用,也設(shè)計了多種輸入方法。
[0003]例如,專利文獻I公開了一種包括附著(attach)到手套的指尖的開關(guān)和附著到手套的傳感器的輸入裝置,所述傳感器報告手套的指尖彎曲的方式。專利文獻2公開了一種用于基于來自附著到手臂的電極的輸入信號估計手指關(guān)節(jié)的角度的技術(shù)。專利文獻3公開了一種用于對手區(qū)域的姿勢執(zhí)行模式識別并且使用識別結(jié)果作為輸入的技術(shù)。
[0004]專利文獻
[0005]專利文獻I JP 2001-242983A
[0006]專利文獻2 JP 2OlO-125287A
[0007]專利文獻3 JP 2011-221699A


【發(fā)明內(nèi)容】

[0008]技術(shù)問題
[0009]專利文獻I和2的技術(shù)要求將傳感器和電極附著到手和手臂,這給用戶添加了麻煩。專利文獻3的技術(shù)只可以識別少量模式,使得該技術(shù)不適用于需要相當多的輸入元件的字符輸入等。
[0010]本公開因而提供一種用于允許用戶以簡單的配置執(zhí)行用戶想要進行的輸入操作的方法。
[0011]問題的解決方案
[0012]根據(jù)本公開,提供了一種信息處理裝置,包括:成像單元,被配置為拍攝示出手的至少一個或多個手指的指節(jié)與接觸對象接觸的狀態(tài);識別單元,被配置為識別多個輸入元件中的輸入元件,所述輸入元件對應(yīng)于在來自所述成像單元的捕獲圖像中與所述接觸對象接觸的指節(jié);以及輸出單元,被配置為將識別結(jié)果從所述識別單元輸出到執(zhí)行與所述多個輸入元件相對應(yīng)的輸入處理的處理裝置。
[0013]另外,根據(jù)本公開,提供了一種信息處理方法,包括:用成像單元拍攝狀態(tài),所述狀態(tài)示出手的至少一個或多個手指的指節(jié)與接觸對象接觸;識別多個輸入元件中的輸入元件,所述輸入元件對應(yīng)于在來自所述成像單元的捕獲圖像中與所述接觸對象接觸的指節(jié);以及將識別結(jié)果從所述識別單元輸出到執(zhí)行與所述多個輸入元件相對應(yīng)的輸入處理的處理裝置。
[0014]另外,根據(jù)本公開,提供了一種程序,用于使計算機執(zhí)行:用成像單元拍攝狀態(tài),所述狀態(tài)示出手的至少一個或多個手指的指節(jié)與接觸對象接觸;識別多個輸入元件中的輸入元件,所述輸入元件對應(yīng)于在來自所述成像單元的捕獲圖像中與所述接觸對象接觸的指節(jié);以及將識別結(jié)果從所述識別單元輸出到執(zhí)行與所述多個輸入元件相對應(yīng)的輸入處理的處理裝置。
[0015]本發(fā)明的有利效果
[0016]根據(jù)如上所述的本公開,用戶能夠以簡單的配置執(zhí)行想要進行的輸入操作。

【專利附圖】

【附圖說明】
[0017]圖1是用于描述根據(jù)本公開實施例的信息處理系統(tǒng)I的概覽的圖。
[0018]圖2是圖示根據(jù)實施例的信息處理裝置100的功能配置的示例的圖。
[0019]圖3是用于描述數(shù)字鍵盤上的鍵和指節(jié)之間的關(guān)系的圖。
[0020]圖4是圖示數(shù)字鍵盤的示例的圖。
[0021]圖5是用于描述根據(jù)實施例的識別器114a到1141的示例的圖。
[0022]圖6是圖示根據(jù)實施例的成像單元110拍攝的捕獲圖像的示例的圖。
[0023]圖7是用于描述被按壓的指節(jié)的識別的第一修改示例的圖。
[0024]圖8是用于描述被按壓的指節(jié)的識別的第二修改示例的圖。
[0025]圖9是用于描述被按壓的指節(jié)的識別的第三修改示例的圖。
[0026]圖10是用于描述被按壓的指節(jié)的識別的第四修改示例的圖。
[0027]圖11是圖示指節(jié)的按壓定時(timing)的檢測的第一示例的圖。
[0028]圖12是圖示指節(jié)的按壓定時的檢測的第二示例的圖。
[0029]圖13是用于描述相對運動矢量Vp的圖。
[0030]圖14是用于描述根據(jù)實施例的信息處理裝置100的第一操作示例的流程圖。
[0031]圖15是用于描述根據(jù)實施例的信息處理裝置100的第二操作示例的流程圖。
[0032]圖16是用于描述根據(jù)實施例的信息處理裝置100的第三操作示例的流程圖。
[0033]圖17是用于描述根據(jù)實施例的信息處理裝置100的第四操作示例的流程圖。
[0034]圖18是圖示根據(jù)實施例的信息處理裝置100的顯示單元的顯示示例的圖。
[0035]圖19是圖示根據(jù)實施例的信息處理裝置100的顯示單元的顯示示例的圖。
[0036]圖20是圖示使用雙手的示例的圖。
[0037]圖21是圖示根據(jù)實施例的信息處理裝置100的硬件配置的說明圖。

【具體實施方式】
[0038]以下,將參考附圖詳細描述本發(fā)明的優(yōu)選實施例。注意,在本說明書和附圖中,用相同的標號表示具有基本相同的功能和結(jié)構(gòu)的元件,并且省略重復(fù)的說明。
[0039]將以下面的次序進行描述。
[0040]1.信息處理系統(tǒng)的概覽
[0041]2.信息處理裝置的配置示例
[0042]3.被按壓的指節(jié)的識別的修改示例
[0043]4.指節(jié)的按壓定時的檢測示例
[0044]5.信息處理裝置的操作示例
[0045]6.硬件配置
[0046]7.結(jié)論
[0047]〈1.信息處理系統(tǒng)的概覽>
[0048]將參考圖1描述根據(jù)本公開實施例的信息處理系統(tǒng)I的概覽。圖1是用于描述根據(jù)本公開實施例的信息處理系統(tǒng)I的概覽的圖。
[0049]信息處理系統(tǒng)I根據(jù)用戶U觸摸他或她的手H的手指的位置(具體地,由手指關(guān)節(jié)分開的指節(jié)中的任何一個)對處理裝置150(參見圖2)進行輸入。換句話說,信息處理系統(tǒng)I允許用戶用他或她的手代替數(shù)字鍵盤等進行輸入。信息處理系統(tǒng)I包括識別用戶U已經(jīng)觸摸(按壓)了他或她的哪個指節(jié)的信息處理裝置100。
[0050]如圖1所示,信息處理裝置100的示例包括用戶U佩戴在眼睛前方的一副眼鏡和頭戴式顯示器。信息處理裝置100包括在與用戶U的眼睛的位置相同位置處的成像單元(諸如相機),該成像單元能夠拍攝用戶U的手H的圖像。另外,成像單元還可以設(shè)置與在用戶U的眼睛的位置不同的位置處。信息處理裝置100包括能夠透明地顯示其圖像正在被拍攝的用戶的手的顯示單元130。
[0051]處理裝置150基于信息處理裝置100的識別結(jié)果來執(zhí)行對應(yīng)于多個輸入元件(諸如,按下鍵)的輸入處理。例如,處理裝置150基于信息處理裝置100的識別結(jié)果來執(zhí)行字符輸入。處理裝置150的示例包括諸如個人計算機、智能電話、PDA和移動電話這樣的裝置。
[0052]即使沒有附著到手用于檢測手指的移動的傳感器等,根據(jù)本公開的信息處理系統(tǒng)I也允許用戶用成像單元拍攝手的圖像并且使用他或她的手進行輸入。這使用戶即使在例如用戶難以將傳感器等附著到手時(例如,當用戶正在做飯、開車、與孩子玩以及諸如處理某事這樣的正在做些小事情時)也能夠容易地輸入字符等。
[0053]<2.信息處理裝置的配置示例>
[0054]將參考圖2描述根據(jù)本公開實施例的信息處理裝置100的配置示例。圖2是圖示根據(jù)本公開實施例的信息處理裝置100的功能配置示例的圖。
[0055]如圖2所示,信息處理裝置100包括成像單元110、學習單元112、識別單元114、作為輸出單元的示例的通信單元116,以及顯示控制單元118。
[0056](成像單元110)
[0057]成像單元110是能夠拍攝靜止圖像和運動圖像的相機,并且拍攝示出作為被攝體的用戶U的手的圖像。成像單元110例如可以拍攝示出接觸對象按壓用戶U的手的至少一個或多個手指的指節(jié)的圖像。接觸對象是指用戶的手的拇指。如圖1所示,成像單元110可以拍攝不出手的姆指Fl按壓其他手指(食指F2、中指F3、無名指F4、小指F5)的指節(jié)的圖像。
[0058]成像單元110還可以拍攝示出用戶U的手的手指按壓其他手的手指的指節(jié)的圖像。成像單元110還可以拍攝示出筆等代替拇指按壓指節(jié)的圖像。成像單元110將捕獲圖像逐一輸出到識別單元114。
[0059](學習單元Il2)
[0060]學習單元112預(yù)先獲取示出用戶按壓指節(jié)的圖像,并且學習指節(jié)和包括多個輸入元件的數(shù)字鍵盤(參見圖4)之間的關(guān)系。在此假設(shè)除了拇指以外的手指(食指、中指、無名指、小指)的每個指節(jié)對應(yīng)于數(shù)字鍵盤上的每個鍵(輸入元件)。例如,學習單元112獲取如圖3所示的圖像。
[0061]食指、中指、無名指和小指每個由兩個關(guān)節(jié)分為三個指節(jié)。這三個指節(jié)被稱為距手指根部的近節(jié)指節(jié)、中節(jié)指節(jié)和末節(jié)指節(jié)。同時,拇指被單個關(guān)節(jié)分為兩個指節(jié)。這兩個指節(jié)被稱為距拇指根部的近節(jié)指節(jié)和末節(jié)指節(jié)。
[0062]圖3是用于描述數(shù)字鍵盤上的鍵和指節(jié)之間的關(guān)系的圖。圖4是圖示數(shù)字鍵盤330的示例的圖。圖3中的狀態(tài)301到310示出觸摸對應(yīng)于數(shù)字鍵盤330上的數(shù)字“I”、“2”……“9”和“O”的指節(jié)。例如,食指的近節(jié)指節(jié)對應(yīng)于數(shù)字“1”,食指的中節(jié)指節(jié)對應(yīng)于數(shù)字“2”,并且食指的末節(jié)指節(jié)對應(yīng)于數(shù)字“3”。以相同的方式,中指的近節(jié)指節(jié)對應(yīng)于數(shù)字“4”,中指的中節(jié)指節(jié)對應(yīng)于數(shù)字“5”,并且中指的末節(jié)指節(jié)對應(yīng)于數(shù)字“6”。
[0063]圖3中的狀態(tài)311示出觸摸對應(yīng)于數(shù)字鍵盤上的符號“*”,并且狀態(tài)312示出觸摸對應(yīng)于數(shù)字鍵盤上的符號“#”。另外,學習單元112還可以獲取用于識別拇指沒有按壓食指、中指、無名指或小指的任何指節(jié)的狀態(tài)的圖像。
[0064]圖3示出作為識別對象的示例的帶140粘合到對應(yīng)于預(yù)定指節(jié)的區(qū)域,帶140使指節(jié)容易被識別。具體地,帶140對于食指、中指、無名指和小指的十二個指節(jié)是錯開的,然而這不是排他性的。也可以沒有帶粘合到指節(jié)。
[0065](識別單元114)
[0066]識別單元114識別在成像單元110拍攝的捕獲圖像中對應(yīng)于被拇指按壓的指節(jié)的數(shù)字鍵盤上的鍵。識別單元114使用從成像單元110輸入的捕獲圖像以及由學習單元112提供的關(guān)系來識別在捕獲圖像中另外的手指的哪個指節(jié)被拇指按壓。如圖5所示識別單元114包括十二個識別器114a到1141,用于識別數(shù)字鍵盤上的各個鍵。
[0067]圖5是用于描述根據(jù)實施例的識別器114a到1141的示例的圖。識別器114a到114c分別對應(yīng)于在圖1中所示的食指F2的近節(jié)指節(jié)F2a、中節(jié)指節(jié)F2b和末節(jié)指節(jié)F2c。識別器114d到114f分別對應(yīng)于在圖1中所示的中指F3的近節(jié)指節(jié)F3a、中節(jié)指節(jié)F3b和末節(jié)指節(jié)F3c。同樣地,識別器114g到114i分別對應(yīng)于在圖1中所示的無名指F4的近節(jié)指節(jié)F4a、中節(jié)指節(jié)F4b和末節(jié)指節(jié)F4c。識別器114j到1141分別對應(yīng)于在圖1中所示的小指F5的近節(jié)指節(jié)F5a、中節(jié)指節(jié)F5b和末節(jié)指節(jié)F5c。識別器114a到1141每個決定關(guān)于輸入的捕獲圖像的評估值。另外,評估值的范圍從O到I。
[0068]此處假設(shè)在圖6中所示的捕獲圖像由成像單元110拍攝并且被輸入到識別單元114。圖6是圖示根據(jù)實施例的成像單元110拍攝的捕獲圖像340的示例的圖。換句話說,成像單元110拍攝作為接觸對象的拇指Fl以及在對應(yīng)于另一手指的指節(jié)的區(qū)域中的帶140的圖像。如圖6所示,用戶的拇指Fl按壓在四根手指F2到F5中的中指F3的中節(jié)指節(jié)F3b,因此識別器114e在識別器114a到1141中具有最高評估值。
[0069]識別單元114將關(guān)于輸入圖像的各個識別器114a到1141的評估值(在圖5中所示的評估值)輸出給通信單元116。識別單元114還可以執(zhí)行單獨提取在已經(jīng)從成像單元110輸入到識別單元114的捕獲圖像中的手區(qū)域的圖像處理以識別所提取的圖像。在該情況下,識別單元114具有減小的處理負擔并且可以在精確度上增強識別結(jié)果。
[0070](通信單元116)
[0071]通信單元116將針對各個捕獲圖像的識別單元114的識別結(jié)果(各個識別器114a到1141的評估值)傳送(輸出)給處理裝置150。另外,通信單元116以預(yù)定間隔逐一將識別結(jié)果傳送給處理裝置150。
[0072]處理裝置150使用從信息處理裝置100逐一接收的識別結(jié)果來決定用戶按壓了哪個指節(jié)。例如,處理裝置150確定輸入了對應(yīng)于具有最高評估值的識別器的鍵。然后,處理裝置150基于確定結(jié)果執(zhí)行對應(yīng)于輸入的處理。另外,處理裝置150還可以將輸入處理的結(jié)果傳送給通信單元116。
[0073](顯示控制單元118)
[0074]顯示控制單元118基于從通信單元116輸入的識別結(jié)果,使得顯示單元130顯示由處理裝置150進行的輸入處理的結(jié)果。另外,顯示單元130透明地顯示其圖像正在被成像單元110拍攝的用戶的手。從而,顯示單元130在透明地顯示用戶的手的同時,顯示由處理裝置150進行的輸入處理的結(jié)果。
[0075]雖然已經(jīng)描述了處理裝置150確定輸入了對應(yīng)于具有最高評估值的識別器的鍵,但是以下確定也是可接受的。換句話說,處理裝置150還可以確定輸入了對應(yīng)于在預(yù)定時間內(nèi)最頻繁地具有最高評估值的識別器的鍵。同時,處理裝置150還可以確定輸入了對應(yīng)于具有最頻繁地超過預(yù)定閾值的評估值的識別器的鍵。這允許用手進行更加精確的輸入。
[0076]<3.被按壓的指節(jié)的識別的修改示例〉
[0077]已經(jīng)描述了如圖6所示那樣地拍攝具有粘合到預(yù)定指節(jié)的帶140的手指的圖像以允許識別被按壓的指節(jié),然而這不是排他性的??梢砸韵旅娴姆绞阶R別被按壓的指節(jié)。
[0078]圖7是用于描述被按壓的指節(jié)的識別的第一修改示例的圖。在圖7中,粘附物(sticker) 142代替帶140粘合到手指。具體地,如圖7中的狀態(tài)401所示,食指F2、中指F3、無名指F4和小指F5的指節(jié)每個具有粘合到其上的粘附物142。另外,在狀態(tài)401無名指F4的末節(jié)指節(jié)F4c具有兩個粘合到其上的粘附物142,這不同于其他指節(jié),因為其他指節(jié)每個只具有單個粘附物142。在該情況下,無名指的末節(jié)指節(jié)用作識別每個指節(jié)的標準,從而便于識別十二個指節(jié)。
[0079]如圖7中的狀態(tài)402所示,粘附物142可以粘合到拇指Fl (具體地,拇指的指甲)。這使得更容易識別拇指Fl按壓了其他手指F2到F5的指節(jié)。在圖7中,粘附物直接粘合到手指,然而這不是排他性的。例如,粘附物也可以粘合在對應(yīng)于手上的手套的每個指節(jié)的位置處。
[0080]圖8是用于描述被按壓的指節(jié)的識別第二修改示例的圖。在圖8中,將可識別的碼162粘合在對應(yīng)于手上的手套160 (穿戴對象的示例)的每個指節(jié)的位置處。例如,增強實現(xiàn)(augmented reality,AR)碼可以用作碼162。碼162包括用于識別每個指節(jié)的信息。這有助于識別單元114基于包括碼162的捕獲圖像來識別被拇指按壓的指節(jié)。
[0081]圖9是用于描述被按壓的指節(jié)的識別第三修改示例的圖。當拇指按壓指節(jié)時,在圖9中的手上的手套160上顯示碼164。碼164包括指示被按壓的指節(jié)的識別信息。從而,成像單元110拍攝示出顯示碼164的圖像,使得識別單元114可以容易地識別被拇指按壓的指節(jié)。
[0082]圖10是用于描述被按壓的指節(jié)的識別第四修改示例的圖。在圖10中,粘合到食指F2、中指F3、無名指F4和小指F5的帶140可以改變它們的顏色。帶140每個可以根據(jù)被拇指Fl按壓的指節(jié)來顯示顏色。例如,如圖11中的狀態(tài)501所示,當拇指Fl按壓食指F2的近節(jié)指節(jié)F2a時,食指的兩個帶140將顏色從默認顏色改變?yōu)榈谝活伾M瑫r,中指F3、無名指F4和小指F5的帶140保持默認顏色。如狀態(tài)502所示,當拇指Fl按壓食指F2的中節(jié)指節(jié)F2b時,僅僅食指F2的兩個帶140將顏色從默認顏色改變?yōu)榈诙伾?。如狀態(tài)503所示,當拇指Fl按壓食指F2的末節(jié)指節(jié)F2c時,僅僅食指F2的兩個帶140將顏色從默認顏色改變?yōu)榈谌伾?br> [0083]如圖10中的狀態(tài)504到512所示,當按壓中指F3、無名指F4和小指F5的指節(jié)時,粘合到各個手指的帶140也以相同的方式改變它們的顏色。例如,當按壓中指、無名指和小指的近段指節(jié)F3a、F4a和F5a中的任何一個時(狀態(tài)504、507和510),僅僅粘合到被按壓的手指的帶140將其顏色從默認顏色改變?yōu)榈谝活伾A硗?,一旦拇指Fl觸摸手掌,帶將顏色返回到默認顏色。然后,成像單元110拍攝根據(jù)被按壓的指節(jié)由帶顯示的顏色的圖像,使得識別單元114可以容易地識別被拇指按壓的指節(jié)。已經(jīng)描述了帶140在第一顏色到第三顏色中改變其顏色,然而這不是排他性的。帶140可以針對每個手指的每個指節(jié)改變其顏色(即,十二種顏色),或者可以改變單個顏色的亮度。
[0084]<4.指節(jié)的按壓定時的檢測示例>
[0085]接下來,使用一些示例來描述按壓指節(jié)的按壓定時的檢測示例。
[0086]圖11是圖示指節(jié)的按壓定時的檢測的第一示例的圖。在圖11中,改變其顏色的拇指護套170(指示器的示例)附著到拇指。當拇指護套170按壓另一指節(jié)時(圖11中的狀態(tài)422),拇指護套將其顏色改變?yōu)轭A(yù)定顏色(諸如紅色)。拍攝拇指護套170的圖像便于識別單元114檢測按壓指節(jié)的定時。另外,一旦拇指觸摸手掌(狀態(tài)421),拇指護套170就將其顏色改變?yōu)槟J顏色(諸如白色)。
[0087]圖12是圖示指節(jié)的按壓定時的檢測的第二示例的圖。在圖12中,作為接觸對象的示例的筆172代替拇指按壓指節(jié)。筆172是能夠發(fā)光的部件。當筆172按壓指節(jié)時,筆172的尖端單元172a發(fā)光。然后,成像單元110拍攝示出筆正在發(fā)光的圖像,以便識別單元114可以容易地檢測筆按壓指節(jié)的定時。
[0088]已經(jīng)描述了一旦按壓指節(jié)筆172就發(fā)光或者帶140就改變其顏色,然而這不是排他性的。例如,信息處理裝置100可以檢測手指的運動矢量,并且可以基于所檢測到的運動矢量來檢測按壓指節(jié)的定時。
[0089]可以以下面的表達式獲得指節(jié)被按壓的手指的相對運動矢量Vp。
[0090]Vp = V-Vh
[0091]其中,V代表手指的運動矢量的集合,并且Vh代表五根手指的運動矢量的平均。關(guān)于食指、中指、無名指和小指獲得相對運動矢量Vp。
[0092]圖13是用于描述相對運動矢量Vp的圖。相對運動矢量Vp具有在按壓指節(jié)之前和之后反轉(zhuǎn)的矢量方向。因此,能夠通過監(jiān)視反轉(zhuǎn)率來檢測按壓定時??梢酝ㄟ^獲得這樣的相對運動矢量Vp來檢測按壓指節(jié)的定時。
[0093]當按壓指節(jié)時,被按壓的指節(jié)可能改變膨脹、顏色和形狀。相應(yīng)地,識別單元114可以以預(yù)定間隔監(jiān)視從成像單元110輸入的捕獲圖像中的指節(jié)的膨脹、顏色和形狀的改變,并且指節(jié)可以基于改變檢測按壓定時。這允許在不需要諸如筆和拇指護套或手指護套這樣的指示器的情況下檢測按壓定時。
[0094]已經(jīng)描述了識別單元114具有檢測指節(jié)的按壓定時的檢測單元的功能,然而這不是排他性的。不同于識別單元114的組件可以檢測指節(jié)的按壓定時。
[0095]<5.信息處理裝置的操作示例>
[0096]接下來,將描述根據(jù)實施例的信息處理裝置100的操作示例。下面將描述第一到第四操作示例作為信息處理裝置100的操作示例。一旦信息處理裝置100的CPU執(zhí)行存儲在ROM中的程序,信息處理裝置100就操作。被執(zhí)行的程序也可以存儲在諸如壓縮盤(⑶)、數(shù)字多功能盤(DVD)和存儲卡這樣的記錄介質(zhì)中,或者也可以經(jīng)由因特網(wǎng)從服務(wù)器等下載。
[0097](第一操作示例)
[0098]首先,將參考圖14描述根據(jù)實施例的信息處理裝置100的第一操作示例。圖14是用于描述根據(jù)實施例的信息處理裝置100的第一操作示例的流程圖。圖14中的流程圖例如在開啟成像單元I1時開始。
[0099]首先,成像單元110拍攝想要輸入字符等的用戶的手的圖像(步驟S102)。換句話說,成像單元110將捕獲圖像輸出到識別單元114,捕獲圖像示出用戶按壓手指的任一指節(jié)。然后,識別單元114基于輸入的捕獲圖像識別用戶按壓了哪個指節(jié)(步驟S104)。例如,每個都對應(yīng)于數(shù)字鍵盤的識別器114a到1141決定關(guān)于輸入的捕獲圖像的評估值。
[0100]接下來,通信單元116將識別結(jié)果(例如,來自識別器114a到1141的評估值)輸出到處理裝置150(步驟S106)。另外,通信單元116將評估值逐一輸出到處理裝置150。然后,處理裝置150基于輸入的評估結(jié)果,決定用戶按壓了哪個指節(jié)。例如,處理裝置150確定輸入了對應(yīng)于具有最高評估值的識別器的鍵,并且執(zhí)行對應(yīng)于該輸入的處理。
[0101]如果輸入繼續(xù)(步驟S108:是),則重復(fù)上述步驟S102到S106中的處理。相反,如果輸入結(jié)束,則信息處理裝置100的操作完成。
[0102]根據(jù)第一操作示例,變得即使用戶不具有附著到手的傳感器等,也能夠通過用戶按壓他或她的指節(jié)而不是數(shù)字鍵盤來識別用戶想要的輸入。
[0103](第二操作示例)
[0104]圖15是用于描述根據(jù)實施例的信息處理裝置100的第二操作示例的流程圖。
[0105]在圖15中所示的第二操作示例中,認出在步驟S102中拍攝的捕獲圖像中的用戶的手區(qū)域,并且提取認出的手區(qū)域的圖像(步驟S122)。然后,識別單元114從所提取的圖像識別用戶按壓了哪個指節(jié)(步驟S104)。
[0106]根據(jù)第二操作示例,變得能夠減小要由識別單元114識別的圖像的區(qū)域,并且增強確定精確度。在該情況下,學習單元112可以預(yù)先獲取對應(yīng)于手區(qū)域的圖像。
[0107](第三操作示例)
[0108]圖16是用于描述根據(jù)實施例的信息處理裝置100的第三操作示例的流程圖。
[0109]在圖16所示的第三操作示例中,識別單元114基于在步驟S102中拍攝的捕獲圖像來確定指節(jié)的按壓定時(步驟S132)。具體地,,識別單元114在按壓指節(jié)的指示器(諸如筆)發(fā)光時從所拍攝的捕獲圖像確定指節(jié)的按壓定時。然后,識別單元114識別在該按壓定時,用戶按壓了哪個指節(jié)(步驟S104)。
[0110]根據(jù)第三操作示例,變得能夠限制識別單元114執(zhí)行識別處理的定時,并且增強識別單元114的確定精確度。還可以削減由識別單元114進行的處理的功率消耗,使得對于諸如具有有限功率的智能電話這樣的移動終端有效。
[0111](第四操作示例)
[0112]圖17是用于描述根據(jù)實施例的信息處理裝置100的第四操作示例的流程圖。
[0113]在圖17中的第四操作示例中,識別單元114從在步驟S102中拍攝的捕獲圖像提取對應(yīng)于每個指節(jié)的區(qū)域(步驟S142)。例如,識別單元114提取對應(yīng)于食指、中指、無名指和小指的近節(jié)指節(jié)、中節(jié)指節(jié)和末節(jié)指節(jié)的十二個區(qū)域。
[0114]然后,識別單元114檢測在每個所提取的區(qū)域中的指節(jié)的顏色的改變(步驟S144)。在按壓指節(jié)之前,指節(jié)通常是微紅的。此時,一旦按壓指節(jié),指節(jié)就變?yōu)槲ⅫS。相應(yīng)地,識別單元114檢測指節(jié)的顏色是否已經(jīng)在紅色和黃色之間變化。具體地,識別單元114參考在該區(qū)域中的R成分的像素的數(shù)量(具體地,具有關(guān)系R>G+20的像素的數(shù)量)與G成分的像素的數(shù)量(具有關(guān)系G - 10〈R〈G+10的像素的數(shù)量)的比率來檢測顏色的變化。然后,一旦識別單元114檢測到顏色已經(jīng)變化,識別單元114就確定按壓了指節(jié)(步驟S146)。
[0115]根據(jù)第四操作示例,變得即使沒有使用諸如筆或鐵筆這樣的指示器以及拇指護套或者手指護套,也能夠通過檢測指節(jié)的顏色的變化來適當?shù)貦z測指節(jié)的按壓定時。
[0116](信息處理裝置的顯示示例)
[0117]當按壓指節(jié)并且進行輸入時,信息處理裝置100的顯示單元顯示其圖像正在被拍攝的用戶的手以及輸入信息。
[0118]圖18是圖示根據(jù)實施例的信息處理裝置100的顯示單元130的顯示示例的圖。在圖18中所示的顯示單元130透明地顯示其圖像正在被成像單元110拍攝的用戶的手,并且顯示輸入屏幕132,輸入屏幕132示出響應(yīng)于被拇指Fl按壓的指節(jié)而被輸入的字符。這允許用戶在按壓食指F2、中指F3、無名指F4或小指F5的指節(jié)的同時,檢查輸入到屏幕132中的字符。
[0119]圖19是圖示根據(jù)實施例的信息處理裝置100的顯示單元的顯示示例的圖。在圖19中所示的顯示單元130透明地顯示其圖像正在被成像單元110拍攝的用戶的手,并且顯示在對應(yīng)于手掌的區(qū)域上的觸摸板134。在所顯示的觸摸板134上的觸摸操作允許用戶代替鼠標進行輸入。
[0120]另外,已經(jīng)描述了進行與一只手的手指的指節(jié)相對應(yīng)的輸入,然而這不是排他性的。例如,如圖20中所示,也可以進行與雙手的手指的指節(jié)相對應(yīng)的輸入。在該情況下,可以進行對應(yīng)于更多鍵的輸入。圖20是圖示使用雙手的示例的圖。
[0121]已經(jīng)描述了成像單元110拍攝所有五根手指的圖像,然而這不是排他性的。例如,成像單元110可以只拍攝至少具有被按壓的指節(jié)的手指的圖像。另外,已經(jīng)描述了通過拍攝示出拇指、筆等按壓指節(jié)的圖像來執(zhí)行輸入處理,然而,這不是排他性的。例如,也可以通過拍攝示出拇指、筆等接觸指節(jié)的圖像來執(zhí)行輸入處理。
[0122]〈6.硬件配置〉
[0123]包括在上述信息處理裝置100中的硬件配置和軟件協(xié)作以實現(xiàn)要由信息處理裝置100執(zhí)行的顯示控制操作。相應(yīng)地,下面將描述信息處理裝置100的硬件配置。
[0124]圖21是圖示信息處理裝置100的硬件配置的說明圖。如圖21所示,信息處理裝置100包括中央處理單元(CPU) 201、只讀存儲器(ROM) 202、隨機存取存儲器(RAM) 203、輸入設(shè)備208、輸出設(shè)備210、存儲設(shè)備211、驅(qū)動器213、成像設(shè)備213和通信設(shè)備215。
[0125]CPU 201用作處理設(shè)備和控制設(shè)備,并且根據(jù)多種程序來控制信息處理裝置100的整體操作。CPU 201也可以是微處理器。ROM 202存儲CPU 201使用的程序、操作參數(shù)等。RAM 203暫時存儲在CPU 201執(zhí)行時使用的程序、針對執(zhí)行根據(jù)需要而改變的參數(shù)等。這些通過包括CPU總線的主機總線相互連接。
[0126]輸入設(shè)備208包括用戶用于輸入信息的輸入部件(諸如鼠標、鍵盤、觸摸面板、按鈕、麥克風、開關(guān)和控制桿)以及基于來自用戶的輸入產(chǎn)生輸入信號并且將輸入信號輸出給CPU 201的輸入控制電路。信息處理裝置20的用戶可以輸入多種數(shù)據(jù)到信息處理裝置20,并且通過操作輸入設(shè)備208要求信息處理裝置20執(zhí)行處理操作。
[0127]輸出設(shè)備210包括顯示設(shè)備,諸如液晶顯示器(IXD)設(shè)備、有機發(fā)光二極管(OLED)設(shè)備和燈。輸出設(shè)備210還包括諸如揚聲器和耳機這樣的音頻輸出設(shè)備。顯示設(shè)備例如顯示所拍攝的圖像、所產(chǎn)生的圖像等。同時,音頻輸出設(shè)備將音頻數(shù)據(jù)等轉(zhuǎn)換為聲音,并且輸出聲音。
[0128]存儲設(shè)備211是被配置為根據(jù)本實施例的信息處理裝置100的存儲單元的示例的數(shù)據(jù)存儲裝置。存儲設(shè)備211可以包括存儲介質(zhì)、在存儲介質(zhì)上記錄數(shù)據(jù)的記錄設(shè)備、從存儲介質(zhì)讀出數(shù)據(jù)的讀出設(shè)備、以及刪除在記錄介質(zhì)上記錄的數(shù)據(jù)的刪除設(shè)備。存儲設(shè)備211存儲CPU 201執(zhí)行的程序和多種數(shù)據(jù)。
[0129]成像設(shè)備213包括諸如攝影鏡頭和聚集光的變焦鏡頭這樣的成像光學系統(tǒng)以及諸如電荷耦合器件(CXD)和互補金屬氧化物半導(dǎo)體(CMOS)這樣的信號轉(zhuǎn)換元件。成像光學系統(tǒng)聚集從被攝體發(fā)射的光以在信號轉(zhuǎn)換單元上形成被攝體的圖像。信號轉(zhuǎn)換元件將所形成的被攝體的圖像轉(zhuǎn)換為電圖像信號。
[0130]通信設(shè)備215例如是包括用于連接到網(wǎng)絡(luò)12的通信設(shè)備的通信接口。通信設(shè)備215也可以是支持無線局域網(wǎng)(LAN)的通信設(shè)備、支持長期演進(LTE,Long TermEvolut1n)的通信設(shè)備或者執(zhí)行有線通信的有線通信設(shè)備。
[0131]另外,網(wǎng)絡(luò)12是有線或無線傳輸路徑,由此在連接到網(wǎng)絡(luò)12的裝置之間傳送和接收信息。網(wǎng)絡(luò)12可以包括諸如因特網(wǎng)、電話網(wǎng)絡(luò)和衛(wèi)星網(wǎng)絡(luò)這樣的公用網(wǎng)絡(luò)、包括以太網(wǎng)(注冊商標)的多種局域網(wǎng)(LAN)以及廣域網(wǎng)(WAN)。網(wǎng)絡(luò)12也可以包括諸如因特網(wǎng)協(xié)議虛擬專用網(wǎng)絡(luò)(IP-VPN)這樣的租用線路網(wǎng)絡(luò)。
[0132]<7.結(jié)論〉
[0133]如上所述,在多個輸入元件(例如,數(shù)字鍵盤上的鍵)中,根據(jù)本公開的信息處理裝置100識別在來自成像單元110的捕獲圖像中對應(yīng)于與拇指接觸的指節(jié)的輸入元件(鍵)。信息處理裝置100還將識別結(jié)果從識別單元114輸出到執(zhí)行與多個輸入元件相對應(yīng)的輸入處理處理裝置150。
[0134]在該情況下,由于用戶可以通過使成像單元110拍攝示出他或她的手指的指節(jié)接觸的圖像來進行輸入,所以不必附著傳感器、電極等,從而允許用戶以簡單的配置進行輸入。特別地,在使用四根手指(食指、中指、無名指、小指)的指節(jié)時,可以以與傳統(tǒng)數(shù)字鍵盤相同的方式進行輸入。因此,能夠防止用戶的可操作性減損。
[0135]以上參考附圖描述了本發(fā)明的優(yōu)選實施例,但是本發(fā)明當然不限于上述示例。本領(lǐng)域的技術(shù)人員可以在所附權(quán)利要求的范圍內(nèi)發(fā)現(xiàn)各種變化和修改,并且應(yīng)當理解它們自然地歸入本發(fā)明的技術(shù)范圍。
[0136]實施例中的流程圖中所示的步驟自然地包括以所述的時間先后次序執(zhí)行的過程,并且還包括不必以時間先后次序來執(zhí)行而是還并行地執(zhí)行或者單獨地執(zhí)行的過程。不必說,即使在以時間先后次序來執(zhí)行過程的步驟中,也能夠根據(jù)需要來改變次序。
[0137]通過軟件、硬件以及軟件和硬件的組合中的任何一種都可以實現(xiàn)由在本文中所述的信息處理裝置進行的處理。包括在軟件中的程序例如預(yù)先存儲在各個裝置的內(nèi)部或外部提供的記錄介質(zhì)中。例如,每個程序例如在執(zhí)行每個程序時由隨機存取存儲器(RAM)讀出,并且由諸如CPU這樣的處理器執(zhí)行。
[0138]另外,本技術(shù)還可以配置如下:
[0139](I) 一種信息處理裝置,包括:
[0140]成像單元,被配置為拍攝示出手的至少一個或多個手指的指節(jié)與接觸對象接觸的狀態(tài);
[0141]識別單元,被配置為識別多個輸入元件中的輸入元件,所述輸入元件對應(yīng)于在來自所述成像單元的捕獲圖像中與所述接觸對象接觸的指節(jié);以及
[0142]輸出單元,被配置為將識別結(jié)果從所述識別單元輸出到執(zhí)行與所述多個輸入元件相對應(yīng)的輸入處理的處理裝置。
[0143](2)根據(jù)⑴所述的信息處理裝置,
[0144]其中,手的食指、中指、無名指和小指的每個指節(jié)對應(yīng)于所述多個輸入元件中的每個。
[0145](3)根據(jù)⑵所述的信息處理裝置,
[0146]其中,所述多個輸入元件包括在數(shù)字鍵盤中。
[0147](4)根據(jù)⑴到(3)中的任一項所述的信息處理裝置,
[0148]其中,所述接觸對象是手的拇指。
[0149](5)根據(jù)⑴到(3)中的任一項所述的信息處理裝置,
[0150]其中,當所述接觸對象與所述指節(jié)接觸時,所述接觸對象發(fā)光,以及
[0151]其中,所述信息處理裝置進一步包括檢測單元,所述檢測單元被配置為基于所述接觸對象的發(fā)光狀態(tài)來檢測所述接觸對象與所述指節(jié)接觸的定時。
[0152](6)根據(jù)(I)到(4)中的任一項所述的信息處理裝置,進一步包括:
[0153]檢測單元,被配置為基于所述指節(jié)的膨脹的變化和所述指節(jié)的顏色的變化來檢測所述接觸對象與所述指節(jié)接觸的定時。
[0154](7)根據(jù)(I)到(4)中的任一項所述的信息處理裝置,進一步包括:
[0155]檢測單元,被配置為基于手指的運動矢量來檢測所述接觸對象與所述指節(jié)接觸的定時。
[0156](8)根據(jù)⑴到(7)中的任一項所述的信息處理裝置,
[0157]其中,所述成像單元拍攝識別對象以及所述接觸對象的圖像,所述識別對象設(shè)置在與所述手指的指節(jié)相對應(yīng)的區(qū)域中。
[0158](9)根據(jù)⑶所述的信息處理裝置,
[0159]其中,所述識別對象能夠根據(jù)與所述接觸對象接觸的指節(jié)顯示顏色,以及
[0160]其中,所述成像單元拍攝示出所述識別對象所顯示的顏色的圖像。
[0161](10)根據(jù)⑴到(7)中的任一項所述的信息處理裝置,
[0162]其中,手戴上的穿戴對象能夠在所述接觸對象與指節(jié)接觸時顯示指示所述指節(jié)的識別信息,以及
[0163]其中,所述成像單元拍攝所述識別信息以及所述接觸對象的圖像。
[0164](11)根據(jù)(I)到(10)中的任一項所述的信息處理裝置,進一步包括:
[0165]顯示單元,被配置為透明地顯示其圖像正在被所述成像單元拍攝的手指,并且顯示所述處理裝置基于從所述輸出單元輸入的識別結(jié)果來執(zhí)行輸入處理而獲得的結(jié)果。
[0166](12) 一種信息處理方法,包括:
[0167]用成像單元拍攝狀態(tài),所述狀態(tài)示出手的至少一個或多個手指的指節(jié)與接觸對象接觸;
[0168]識別多個輸入元件中的輸入元件,所述輸入元件對應(yīng)于在來自所述成像單元的捕獲圖像中與所述接觸對象接觸的指節(jié);以及
[0169]將識別結(jié)果從所述識別單元輸出到處理裝置,所述處理裝置執(zhí)行與所述多個輸入元件相對應(yīng)的輸入處理。
[0170](13) 一種程序,使計算機執(zhí)行:
[0171]用成像單元拍攝狀態(tài),所述狀態(tài)示出手的至少一個或多個手指的指節(jié)與接觸對象接觸;
[0172]識別多個輸入元件中的輸入元件,所述輸入元件對應(yīng)于在來自所述成像單元的捕獲圖像中與所述接觸對象接觸的指節(jié);以及
[0173]將識別結(jié)果從所述識別單元輸出到處理裝置,所述處理裝置執(zhí)行與所述多個輸入元件相對應(yīng)的輸入處理。
[0174]標號列表
[0175]I信息處理系統(tǒng)
[0176]100信息處理裝置
[0177]110成像單元
[0178]112學習單元
[0179]114識別單元
[0180]116通信單元
[0181]118顯示控制單元
[0182]130顯示單元
[0183]140帶
[0184]142粘附物
[0185]150處理裝置
[0186]160手套
[0187]162、164 碼
[0188]172筆
【權(quán)利要求】
1.一種信息處理裝置,包含: 成像單元,被配置為拍攝示出手的至少一個或多個手指的指節(jié)與接觸對象接觸的狀態(tài); 識別單元,被配置為識別多個輸入元件中的輸入元件,所述輸入元件對應(yīng)于在來自所述成像單元的捕獲圖像中與所述接觸對象接觸的指節(jié);以及 輸出單元,被配置為將識別結(jié)果從所述識別單元輸出到執(zhí)行與所述多個輸入元件相對應(yīng)的輸入處理的處理裝置。
2.根據(jù)權(quán)利要求1所述的信息處理裝置, 其中,手的食指、中指、無名指和小指的每個指節(jié)對應(yīng)于所述多個輸入元件中的每個。
3.根據(jù)權(quán)利要求2所述的信息處理裝置, 其中,所述多個輸入元件包括在數(shù)字鍵盤中。
4.根據(jù)權(quán)利要求1所述的信息處理裝置, 其中,所述接觸對象是手的拇指。
5.根據(jù)權(quán)利要求1所述的信息處理裝置, 其中,當所述接觸對象與所述指節(jié)接觸時,所述接觸對象發(fā)光,以及其中,所述信息處理裝置進一步包括檢測單元,所述檢測單元被配置為基于所述接觸對象的發(fā)光狀態(tài)來檢測所述接觸對象與所述指節(jié)接觸的定時。
6.根據(jù)權(quán)利要求1所述的信息處理裝置,進一步包含: 檢測單元,被配置為基于所述指節(jié)的膨脹的變化和所述指節(jié)的顏色的變化來檢測所述接觸對象與所述指節(jié)接觸的定時。
7.根據(jù)權(quán)利要求1所述的信息處理裝置,進一步包含: 檢測單元,被配置為基于手指的運動矢量來檢測所述接觸對象與所述指節(jié)接觸的定時。
8.根據(jù)權(quán)利要求1所述的信息處理裝置, 其中,所述成像單元拍攝識別對象以及所述接觸對象的圖像,所述識別對象設(shè)置在與所述手指的指節(jié)相對應(yīng)的區(qū)域中。
9.根據(jù)權(quán)利要求8所述的信息處理裝置, 其中,所述識別對象能夠根據(jù)與所述接觸對象接觸的指節(jié)顯示顏色,以及 其中,所述成像單元拍攝示出所述識別對象所顯示的顏色的圖像。
10.根據(jù)權(quán)利要求1所述的信息處理裝置, 其中,手戴上的穿戴對象能夠在所述接觸對象與指節(jié)接觸時顯示指示所述指節(jié)的識別?目息,以及 其中,所述成像單元拍攝所述識別信息以及所述接觸對象的圖像。
11.根據(jù)權(quán)利要求1所述的信息處理裝置,進一步包含: 顯示單元,被配置為透明地顯示其圖像正在被所述成像單元拍攝的手指,并且顯示所述處理裝置基于從所述輸出單元輸入的識別結(jié)果來執(zhí)行輸入處理而獲得的結(jié)果。
12.—種信息處理方法,包括: 用成像單元拍攝狀態(tài),所述狀態(tài)示出手的至少一個或多個手指的指節(jié)與接觸對象接觸; 識別多個輸入元件中的輸入元件,所述輸入元件對應(yīng)于在來自所述成像單元的捕獲圖像中與所述接觸對象接觸的指節(jié);以及 將識別結(jié)果從所述識別單元輸出到處理裝置,所述處理裝置執(zhí)行與所述多個輸入元件相對應(yīng)的輸入處理。
13.—種程序,使計算機執(zhí)行: 用成像單元拍攝狀態(tài),所述狀態(tài)示出手的至少一個或多個手指的指節(jié)與接觸對象接觸; 識別多個輸入元件中的輸入元件,所述輸入元件對應(yīng)于在來自所述成像單元的捕獲圖像中與所述接觸對象接觸的指節(jié);以及 將識別結(jié)果從所述識別單元輸出到處理裝置,所述處理裝置執(zhí)行與所述多個輸入元件相對應(yīng)的輸入處理。
【文檔編號】G06F3/023GK104272225SQ201380023001
【公開日】2015年1月7日 申請日期:2013年4月10日 優(yōu)先權(quán)日:2012年5月9日
【發(fā)明者】高木芳德 申請人:索尼公司
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會獲得點贊!
1