交互式制圖識(shí)別的制作方法
【專利摘要】描述了交互式制圖識(shí)別。在一個(gè)示例中，接收指示制圖的類型的命令，并且觀察用戶制圖。基于所述命令來訪問與制圖類型相關(guān)聯(lián)的制圖模板的庫。將觀察到的制圖與所述制圖模板進(jìn)行比較以便識(shí)別所述觀察到的制圖，并且向所識(shí)別的制圖指派屬性。
【專利說明】交互式制圖識(shí)別

【背景技術(shù)】
[0001]計(jì)算系統(tǒng)經(jīng)常依賴于鼠標(biāo)和鍵盤輸入來確定用戶創(chuàng)建的數(shù)字對(duì)象的外觀。鍵盤、鼠標(biāo)和游戲控制器輸入通常確定數(shù)字對(duì)象的行為。人們可以繪制對(duì)象并且將它們掃描到計(jì)算機(jī)中，允許一些徒手輸入，但是所掃描的制圖接著是一個(gè)單個(gè)對(duì)象。用戶具有有限的機(jī)會(huì)用于如何與對(duì)象進(jìn)行交互，例如改變尺寸和改變顏色。輸入視覺信息的更加自然的方法將允許與計(jì)算設(shè)備的更加豐富的圖形交互。
[0002]平板計(jì)算機(jī)已經(jīng)用作輸入設(shè)備。典型地，平板計(jì)算機(jī)感測(cè)指示筆在特殊表面上的壓力，并且在屏幕上再現(xiàn)所繪制的形狀。平板計(jì)算機(jī)還可以用于修改照片和制圖并且作為類似于鼠標(biāo)的指向設(shè)備。在一些版本中，除了制圖表面以外的筆數(shù)字地記錄所繪制的輸入。這些筆使用光學(xué)傳感器以及有時(shí)特別標(biāo)記的紙張來感測(cè)和存儲(chǔ)制圖。
[0003]一些現(xiàn)有的計(jì)算系統(tǒng)將所繪制的對(duì)象識(shí)別為系統(tǒng)中的簡(jiǎn)單的命令、字母數(shù)字符號(hào)或者匹配的對(duì)象。這些系統(tǒng)掃描制圖以便識(shí)別它。然而，這些交互的性質(zhì)被限制。
[0004]一些現(xiàn)有的計(jì)算系統(tǒng)將“空中姿勢(shì)”識(shí)別為簡(jiǎn)單的命令，或者更常見地識(shí)別為到計(jì)算機(jī)游戲中的輸入。空中姿勢(shì)可以通過由相機(jī)或者持有包括慣性傳感器的設(shè)備并且接著移動(dòng)該設(shè)備的用戶觀察而進(jìn)行識(shí)別。

【專利附圖】

【附圖說明】
[0005]在附圖中通過示例而非限制的方式說明了本發(fā)明的實(shí)施例，其中相似的附圖標(biāo)記指示相似的元件。
[0006]圖1是根據(jù)本發(fā)明實(shí)施例用戶繪制用于由計(jì)算機(jī)系統(tǒng)使用的鍵區(qū)的圖。
[0007]圖2是根據(jù)本發(fā)明實(shí)施例用戶繪制用于由計(jì)算機(jī)系統(tǒng)使用的搖桿的圖。
[0008]圖3是根據(jù)本發(fā)明另一實(shí)施例用戶繪制用于由計(jì)算機(jī)系統(tǒng)使用的鍵區(qū)的圖。
[0009]圖4是根據(jù)本發(fā)明另一實(shí)施例用戶繪制用于由計(jì)算機(jī)系統(tǒng)使用的搖桿的圖。
[0010]圖5是根據(jù)本發(fā)明另一實(shí)施例計(jì)算機(jī)繪制用于由計(jì)算機(jī)系統(tǒng)使用的鍵區(qū)的圖。
[0011]圖6是根據(jù)本發(fā)明實(shí)施例計(jì)算機(jī)系統(tǒng)解釋用戶制圖的處理流程圖。
[0012]圖7是根據(jù)本發(fā)明另一實(shí)施例計(jì)算機(jī)系統(tǒng)解釋用戶制圖的處理流程圖。
[0013]圖8是根據(jù)本發(fā)明實(shí)施例適合于實(shí)現(xiàn)本公開的處理的計(jì)算機(jī)系統(tǒng)的方框圖。
[0014]圖9是根據(jù)本發(fā)明實(shí)施例適合于實(shí)現(xiàn)本公開的處理的圖8的計(jì)算機(jī)系統(tǒng)的可選視圖的方框圖。

【具體實(shí)施方式】
[0015]本發(fā)明實(shí)施例提供一種以新的方式識(shí)別所繪制的輸入的系統(tǒng)。所繪制的輸入可以例如包括:用作鍵區(qū)的所繪制的數(shù)字鍵區(qū)；用作點(diǎn)擊設(shè)備的所繪制的鼠標(biāo)或“鼠標(biāo)區(qū)域”；“Line Rider”的繪圖游戲，其中線被徒手繪制并且計(jì)算機(jī)生成騎在所繪制的線上的字符。
[0016]圖1示出了適合于由本發(fā)明實(shí)施例使用的計(jì)算機(jī)系統(tǒng)的示例。計(jì)算機(jī)系統(tǒng)100具有典型地用于語音和視頻呼叫的相機(jī)102和麥克風(fēng)104。相機(jī)可以是用于三維視頻呼叫或者考慮到三維空中姿勢(shì)的解釋的立體相機(jī)。盡管示出了筆記本型計(jì)算機(jī)，但是板型計(jì)算機(jī)和平板計(jì)算機(jī)典型地具有類似的硬件特征?？蛇x地，可以使用智能電話、智能電視機(jī)、媒體播放器或便攜式游戲設(shè)備。當(dāng)根據(jù)下面描述的各種實(shí)施例的需要來配備相機(jī)和麥克風(fēng)時(shí)，也可以使用桌上型計(jì)算機(jī)。
[0017]在實(shí)施例中，本發(fā)明可以合并到個(gè)人計(jì)算機(jī)(PC)、膝上型計(jì)算機(jī)、超級(jí)膝上型計(jì)算機(jī)、平板計(jì)算機(jī)、觸摸板、便攜式計(jì)算機(jī)、手持計(jì)算機(jī)、掌上型計(jì)算機(jī)、個(gè)人數(shù)字助理(PDA)、蜂窩電話、組合蜂窩電話/PDA、電視機(jī)、智能設(shè)備(例如智能電話、智能平板計(jì)算機(jī)或智能電視機(jī))、移動(dòng)互聯(lián)網(wǎng)設(shè)備(MID)、消息傳送設(shè)備、數(shù)據(jù)通信設(shè)備等等。
[0018]將一張紙106放置在相機(jī)102的視域內(nèi)。該紙可以位于如圖所示的相同桌子上或者位于附近表面上。代替一張紙，可以使用任何書寫表面，例如白板、黑板或者諸如檢測(cè)制圖輸入并且在顯示器上顯示結(jié)果的顯示表面的電子表面。使用紙或類似的物品，用戶112能夠繪制并書寫任何期望的字和形狀。在圖1中，用戶寫出字“鍵區(qū)”108并且接著繪制鍵區(qū)的圖片110。
[0019]計(jì)算機(jī)系統(tǒng)觀察該紙并且檢測(cè)在該紙上寫的字鍵區(qū)。這取決于特定實(shí)施例可以使用各種書寫和符號(hào)識(shí)別實(shí)用程序中的任意一種來完成。在識(shí)別了工作鍵區(qū)之后，系統(tǒng)接著嘗試將該制圖識(shí)別為鍵區(qū)。字的識(shí)別允許系統(tǒng)將一組模板或形狀識(shí)別模式限制到可能與鍵區(qū)相對(duì)應(yīng)的那些模板或模式。這增加了制圖識(shí)別的可靠性和速度。在接著將該制圖識(shí)別為鍵區(qū)之后，用戶可以關(guān)于鍵區(qū)的制圖來執(zhí)行姿勢(shì)，并且輸入數(shù)字和字符，就好像它是鍵區(qū)一樣。
[0020]圖2示出了計(jì)算機(jī)系統(tǒng)的類似使用。在圖2的示例中，相同的計(jì)算機(jī)觀察用戶122已經(jīng)在一張紙126上寫出“搖桿”128。用戶接著繪制了某些東西120。基于搖桿的可能制圖的計(jì)算機(jī)系統(tǒng)能夠?qū)⑺L制的瓦片120識(shí)別為搖桿的某個(gè)部分。文本允許計(jì)算機(jī)系統(tǒng)將搖桿設(shè)計(jì)和特征應(yīng)用于制圖，使得該制圖，盡管它沒有緊密地類似于搖桿，將被按照這樣進(jìn)行解釋。在所說明的示例中，五個(gè)瓦片(tile)可以例如被看作推按表面和發(fā)射按鈕。用戶可以接著觸摸該瓦片以便具有游戲桿命令在計(jì)算機(jī)系統(tǒng)上的效果。
[0021]圖3示出另一可選實(shí)施例，其中用戶132應(yīng)用不同的方案來指示所繪制的對(duì)象的性質(zhì)。用戶132在一張紙136上繪制了鍵區(qū)130，然而，代替寫出描述性字以便幫助計(jì)算機(jī)識(shí)別該制圖，用戶說出字“鍵區(qū)”138。計(jì)算機(jī)在麥克風(fēng)104中接收所說的話，將它應(yīng)用于語音識(shí)別系統(tǒng)以便識(shí)別該字，并且接著將該字識(shí)別為“鍵區(qū)”。
[0022]所說的話為計(jì)算機(jī)系統(tǒng)提供關(guān)于所繪制的對(duì)象的性質(zhì)的指示。計(jì)算機(jī)系統(tǒng)可以使用此來選擇與字“鍵區(qū)”相關(guān)聯(lián)的一組模板，并且接著識(shí)別與鍵區(qū)的特征相對(duì)應(yīng)的制圖的特征。如同所寫的字，可以具有指示計(jì)算機(jī)系統(tǒng)要用于識(shí)別制圖的模板的子集的不同的字。用戶也可以說或者寫數(shù)字板、計(jì)算器、加法機(jī)、數(shù)學(xué)或其它字。
[0023]圖4示出了輔助計(jì)算機(jī)識(shí)別制圖的進(jìn)一步示例。在圖4中，用戶繪制了飛機(jī)的符號(hào)148。計(jì)算機(jī)觀察到這一制圖并且在紙146上對(duì)它進(jìn)行識(shí)別。當(dāng)用戶接著繪制5個(gè)瓦片140時(shí)，計(jì)算機(jī)系統(tǒng)訪問與飛機(jī)符號(hào)相關(guān)聯(lián)的模板庫。這導(dǎo)致將所繪制的搖桿與搖桿控制和命令相關(guān)聯(lián)。
[0024]圖5示出了類似的示例，其中不是所繪制或者說出的指示，用戶提供諸如手勢(shì)的空中姿勢(shì)152?？梢允褂米藙?shì)的庫來識(shí)別由相機(jī)102觀察的手勢(shì)。所識(shí)別的姿勢(shì)可以接著用于選擇模板的庫或者將所述庫限制到模板的某個(gè)子集?？罩凶藙?shì)可以如圖所示由手152執(zhí)行，或者它可以使用任何其它臂、足、頭或其它身體姿勢(shì)執(zhí)行。如果如圖4所示飛機(jī)搖桿被預(yù)期，則可以使用兩只手以便例如指示飛機(jī)。
[0025]作為進(jìn)一步的可選形式，代替做手勢(shì)，手152可以使用鍵盤103或軌跡板105來向計(jì)算機(jī)系統(tǒng)指示命令?？梢园凑张c所繪制的、說出的或者做手勢(shì)的命令相同的方式來使用這一命令。特定的鍵盤或軌跡板命令可以基于上下文或特殊的工具，或者應(yīng)用可以用于做出選擇。對(duì)于具有諸如鼠標(biāo)、滾輪、游戲板或其它設(shè)備的額外或不同的輸入設(shè)備的計(jì)算機(jī)系統(tǒng)，可以代替或除了所示的鍵盤和軌跡板來使用這些輸入設(shè)備。在計(jì)算機(jī)系統(tǒng)顯示器上顯示的菜單系統(tǒng)可以用于確定用于匹配所繪制的對(duì)象的類別。例如，用戶可以選擇游戲模式。這將允許所繪制的搖桿被識(shí)別，即使該制圖沒有緊密地類似于搖桿。
[0026]語音或書寫命令也可以用于不僅輔助計(jì)算機(jī)系統(tǒng)識(shí)別對(duì)象，而且還賦予所繪制的對(duì)象以特定的物理屬性。語音命令、非繪制的姿勢(shì)或者觸摸輸入可以結(jié)合所繪制的輸入來使用以便改變系統(tǒng)如何解釋所繪制的符號(hào)。與繪制圓形相關(guān)聯(lián)，用戶可以說“藍(lán)色球”。這可以由計(jì)算機(jī)系統(tǒng)解釋以便不僅輔助計(jì)算機(jī)將所繪制的對(duì)象識(shí)別為球，而且還將所述球染成藍(lán)色用于顯示目的。計(jì)算機(jī)系統(tǒng)還可以使與球的類型相對(duì)應(yīng)的物理和三維屬性與該球相關(guān)聯(lián)。用戶可以接著使用那些屬性來與對(duì)象交互。
[0027]繪制、語音和姿勢(shì)輸入還允許用戶對(duì)于他們的制圖采用速記法。在圖2和圖4的示例中，用戶所繪制的5個(gè)瓦片并不緊密地類似于搖桿。然而，借助于繪制、語音或姿勢(shì)輸入，計(jì)算機(jī)系統(tǒng)仍然能夠識(shí)別該制圖。這一原理可以被擴(kuò)展到其它類型的制圖。因此，用戶可以繪制部分鍵盤并且說“鍵盤”，并且系統(tǒng)接著可以將該制圖解釋為全鍵盤。用戶可以可選地繪制部分鼠標(biāo)并且說“鼠標(biāo)”用于類似的結(jié)果。繪制在紙上的鍵盤或鼠標(biāo)可以接著變?yōu)樘摂M3D對(duì)象，當(dāng)用戶朝向制圖做姿勢(shì)或者實(shí)際上物理地移動(dòng)制圖時(shí)，該虛擬3D對(duì)象可以在計(jì)算機(jī)系統(tǒng)顯示器上被虛擬地“移動(dòng)”或操控。虛擬輸入設(shè)備可以配置為適應(yīng)用戶在手和其它位置上的改變。
[0028]圖6示出了用于實(shí)現(xiàn)上面描述的示例的簡(jiǎn)化處理流。在611，計(jì)算機(jī)系統(tǒng)接收指示用戶打算做出的制圖的類型的命令。如上面提及的，這一命令可以作為鍵按壓、菜單選擇、語音命令或另一制圖而被接收。在613，響應(yīng)于該命令，計(jì)算機(jī)系統(tǒng)訪問模板庫。模板將基于該命令被選擇，使得計(jì)算機(jī)系統(tǒng)具有要使用的模板的有限集合。選定的模板將是與命令相關(guān)聯(lián)的那些模板。
[0029]在615，計(jì)算機(jī)系統(tǒng)觀察用戶的制圖?？梢越?jīng)過相機(jī)或觸敏表面或者以另一方式觀察該制圖?？梢葬槍?duì)制圖中的反射性的變化、梯形失真、由劣質(zhì)筆的使用引起的不一致的線寬度和其它失真來校正該制圖。使用相機(jī)允許用戶使用所期望的任何繪制表面，同時(shí)使用已知的書寫表面和筆減少了圖像中的失真以及可能與識(shí)別和觀察制圖的相機(jī)相關(guān)聯(lián)的誤差。在617，計(jì)算機(jī)系統(tǒng)將該制圖與選定的模板進(jìn)行比較。如果找到匹配，則在619，該制圖被識(shí)別。
[0030]在上面的示例中，制圖被識(shí)別為鍵區(qū)或搖桿，然而可以繪制任何各種各樣的其它物品。在621，計(jì)算機(jī)系統(tǒng)向所識(shí)別的制圖指派屬性。這些屬性可以是可訪問的功能、用戶輸入能力等等?？梢允褂门c模板相關(guān)聯(lián)的信息來確定屬性。因此，如果制圖與鍵區(qū)模板匹配，則該模板可以包括關(guān)于觸摸制圖的特定部分被指派“9”數(shù)字鍵按壓的信息。模板可以包括“9”鍵的界限作為該模板的一部分。
[0031]圖7是在上面描述的用例中執(zhí)行的處理的可選的處理流程圖。在710，計(jì)算機(jī)系統(tǒng)發(fā)起并裝入任何期望的模板用于匹配。這些模板可以是用于匹配寫出的字、所說的話和空中姿勢(shì)以及用于制圖的模板。模板可以由操作系統(tǒng)、單獨(dú)的制圖識(shí)別應(yīng)用提供，允許用戶提供模板，或者它們可以是游戲或生產(chǎn)力應(yīng)用程序的一部分。
[0032]在712，用戶繪制符號(hào)或?qū)ο?，例如上面示出的鍵區(qū)或搖桿。制圖不需要精確地匹配任何特定的模塊或者對(duì)于這樣的對(duì)象的規(guī)定形式。
[0033]在714，用戶輸入用于在識(shí)別對(duì)象的使用時(shí)使用的命令。如上面提及的，該命令可以是寫出的字或符號(hào)、所說的字、姿勢(shì)或命令。例如，用戶可以敲打鍵盤上的鍵區(qū)或者使用跟蹤板和鼠標(biāo)按鈕來選擇鍵區(qū)。該命令向系統(tǒng)指示該系統(tǒng)能夠使用的制圖的類型以便減少可能的選擇或者甚至對(duì)系統(tǒng)強(qiáng)加選擇。在712繪制對(duì)象和在714指示對(duì)象的類型的兩個(gè)操作可以按照任意順序執(zhí)行。計(jì)算機(jī)系統(tǒng)接收這兩個(gè)輸入并且接著相應(yīng)地起作用。
[0034]在716，用戶接收并且識(shí)別用戶命令，并且在718，系統(tǒng)使用該命令來訪問可以應(yīng)用于制圖的制圖模板的庫。如果命令在制圖之前被接收，則計(jì)算機(jī)系統(tǒng)可以識(shí)別該命令并且在用戶在712進(jìn)行制圖之前訪問該模板。另一方面，如果用戶首先繪制制圖，則系統(tǒng)可以在嘗試匹配該制圖之前等待命令被接收。
[0035]在720，計(jì)算機(jī)系統(tǒng)經(jīng)過它的相機(jī)輸入來感測(cè)制圖。典型地，這可以通過使用耦合到計(jì)算機(jī)系統(tǒng)的相機(jī)捕獲制圖的圖像來完成。以所捕獲的圖像或其它數(shù)字文件的形式的制圖可以接著被轉(zhuǎn)換為可以與其它數(shù)字文件匹配的數(shù)字形式。該形式可以是位圖或其它圖像文件，或者它可以是用戶的制圖的主要特征的抽象數(shù)學(xué)表示。
[0036]在722，計(jì)算機(jī)系統(tǒng)將所觀察的制圖與它在718訪問的制圖模板的組進(jìn)行比較。這是基于在716的接收用戶命令的模板的有限組。該比較可以更快地完成，因?yàn)榭赡苣０宓臄?shù)量被極大地減少。在724，系統(tǒng)選擇模板，并且如果它匹配所觀察的制圖，則在728，系統(tǒng)向該制圖的所繪制的元件指派屬性。系統(tǒng)循環(huán)經(jīng)過所有模板，并且如果沒有匹配被識(shí)別，則系統(tǒng)采取某一其它動(dòng)作。它可以簡(jiǎn)單地忽略該制圖。在稍后的時(shí)間，該系統(tǒng)可以在用戶返回到該制圖以便提供更多的細(xì)節(jié)或者對(duì)制圖進(jìn)行校正之后嘗試進(jìn)行另一匹配。該系統(tǒng)也可以通過向用戶顯示一些模板用于選擇或者通過請(qǐng)求用戶寫、說或鍵入對(duì)象是什么來請(qǐng)求用戶輔助。例如，該系統(tǒng)可以通過顯示對(duì)于該制圖的兩個(gè)或更多個(gè)可能的匹配來詢問用戶并且接著允許用戶選擇所述模板中的一個(gè)作為正確的匹配。
[0037]可選地，該系統(tǒng)可以做出它的最佳猜測(cè)并且使用用戶繪制的東西的近似。由于在714的附加命令，該近似是可能的。如上面提及的，用戶能夠?qū)憮u桿并且接著繪制看起來并不確切地像搖桿的某些東西。知道該制圖是搖桿的計(jì)算機(jī)系統(tǒng)可以接著將搖桿設(shè)計(jì)強(qiáng)加在該制圖上，而不是僅接受被非常好地完成的制圖。計(jì)算機(jī)可以向與搖桿屬性相對(duì)應(yīng)的五個(gè)瓦片中的每一個(gè)指派屬性。該瓦片可以被指派為按鈕或表面，取決于所匹配的模板。按照相同的方式，對(duì)于鍵區(qū)繪制的正方形可以被指派各種數(shù)量的板鍵的屬性。在右邊的較大正方形可以被指派為例如“ + ”鍵，而在底部上的正方形可以被指派為“O”鍵。五個(gè)瓦片的不清楚的一般化制圖可以被看作搖桿按鈕或表面，而不用看起來非常像它們。
[0038]該處理接著在712對(duì)于下一個(gè)用戶返回。該處理流可以在完全不相關(guān)的制圖上重新開始。例如用戶可能在紙上的一個(gè)位置中繪制搖桿，并且接著在該紙上的另一位置上繪制WASD鍵組合或者箭頭鍵組合。用戶可以接著用一只手操作鍵并且用另一只手操作搖桿。
[0039]該處理返回也允許用戶擴(kuò)大制圖。在搖桿示例中，用戶可能輸入了搖桿命令并且將額外的觸發(fā)控制添加到該搖桿。計(jì)算機(jī)系統(tǒng)將接收該命令或者可以替代地識(shí)別用戶正在添加到搖桿制圖，并且接著尋找不同的模板來匹配增強(qiáng)的搖桿制圖。使用鍵盤，用戶可以僅以WASD開始，并且接著隨后添加空格鍵、字型變換鍵或者可能期望用于更多功能的其它鍵。
[0040]圖8是能夠支持上面討論的操作的計(jì)算環(huán)境的方框圖。鼠標(biāo)和系統(tǒng)可以被實(shí)現(xiàn)在各種不同的硬件架構(gòu)和形狀因子中，包括如圖9所示的。
[0041]命令執(zhí)行模塊801包括中央處理單元以便高速緩存并執(zhí)行命令并且在所示的其它模塊和系統(tǒng)當(dāng)中分配任務(wù)。它可以包括指令棧、存儲(chǔ)中間和最終結(jié)果的高速緩存以及存儲(chǔ)應(yīng)用和操作系統(tǒng)的海量存儲(chǔ)器。命令執(zhí)行模塊還可以用作系統(tǒng)的中央?yún)f(xié)調(diào)和任務(wù)分配單
J Li ο
[0042]屏幕渲染模塊821在一個(gè)或多個(gè)多屏幕上繪制對(duì)象用于使用戶看見。它可以適合于從下面描述的制圖跟蹤模塊806接收數(shù)據(jù)，并且在屏幕上渲染制圖的表示。屏幕渲染模塊還渲染用戶和制圖之間的交互，作為用于用戶正在操作的應(yīng)用的命令。
[0043]姿勢(shì)識(shí)別模塊822可以適合于識(shí)別并跟蹤用戶的手和臂的姿勢(shì)。這樣的模塊可以用于識(shí)別手、手指、手指姿勢(shì)、手移動(dòng)和手相對(duì)于制圖的位置。例如，姿勢(shì)識(shí)別系統(tǒng)可以例如確定用戶做出了身體部分姿勢(shì)以便按下鍵盤上的虛擬按鈕，或者用戶做出了身體部分姿勢(shì)以便移動(dòng)制圖的虛擬控制表面。姿勢(shì)識(shí)別系統(tǒng)可以耦合到相機(jī)或相機(jī)陣列、麥克風(fēng)或麥克風(fēng)陣列、觸摸屏或觸摸表面或者指向設(shè)備或者這些物品的某個(gè)組合，以便檢測(cè)來自用戶的姿勢(shì)和命令。
[0044]可以使用用于姿勢(shì)識(shí)別的各種技術(shù)中的任意一種。該系統(tǒng)可以用于識(shí)別手、手指、手指姿勢(shì)、手移動(dòng)和手相對(duì)于制圖表面的位置。如果該姿勢(shì)與先前繪制和識(shí)別的對(duì)象以多種預(yù)定的方式交叉，則這一模塊將該姿勢(shì)與所匹配的對(duì)象的屬性進(jìn)行組合以便確定計(jì)算系統(tǒng)將采取的動(dòng)作。如果為否，則該姿勢(shì)作為純姿勢(shì)命令成立。該姿勢(shì)可以接著被轉(zhuǎn)換為到計(jì)算機(jī)系統(tǒng)的命令用于由命令執(zhí)行模塊801執(zhí)行。
[0045]制圖檢測(cè)模塊823可以配備有相機(jī)或其它傳感器以便跟蹤用戶的手或筆的位置或方位。可選地，制圖檢測(cè)模塊的觸摸屏或觸摸表面可以包括觸摸屏傳感器。來自傳感器的數(shù)據(jù)可以被饋送到硬件、軟件、固件或其組合以便將在屏幕或表面上用戶的手的觸摸姿勢(shì)映射到相對(duì)應(yīng)的制圖或圖像。當(dāng)用戶暫停時(shí)或者當(dāng)用戶采取諸如姿勢(shì)或語音命令的明確的動(dòng)作時(shí)，能夠假設(shè)所繪制的輸入是完整的。
[0046]制圖識(shí)別模塊825識(shí)別所繪制和書寫的輸入。它通過使制圖的部分與存儲(chǔ)在計(jì)算設(shè)備中的模板對(duì)象匹配來解釋所繪制的輸入。這一模塊可以被發(fā)起以便對(duì)照模塊的整個(gè)庫進(jìn)行匹配，或者它能夠使用其它視覺輸入或用戶命令來對(duì)照庫的子集進(jìn)行匹配。制圖識(shí)別模塊也可以包括梯形失真校正。當(dāng)圖像以一角度被捕獲時(shí)，它們必須在對(duì)照模板庫進(jìn)行匹配之前針對(duì)由角度視圖引起的失真而被校正。梯形失真校正可以通過關(guān)于相機(jī)和書寫表面的位置的知識(shí)來幫助。對(duì)于所示的筆記本計(jì)算機(jī)示例，可以使用在屏幕邊框的頂部處的相機(jī)從擱在桌子上的殼體的底部起的近似高度值來配置計(jì)算機(jī)。這一值由殼體的設(shè)計(jì)確定并且對(duì)于具有相同殼體的每一個(gè)計(jì)算機(jī)是相同的。
[0047]制圖對(duì)象模板模塊804存儲(chǔ)諸如鍵區(qū)、觸摸板和命令按鈕的輸入設(shè)備的模板。當(dāng)用戶繪制具有匹配特性的輸入設(shè)備時(shí)，模板的屬性將確定制圖的行為以及用戶交互是否將影響它。
[0048]制圖跟蹤模塊806跟蹤復(fù)雜制圖在級(jí)和層中的發(fā)展。當(dāng)用戶在級(jí)中添加復(fù)雜對(duì)象的元素時(shí)，這一模塊將確定在當(dāng)前和先前繪制的輸入之間的增量。如果該制圖已經(jīng)相對(duì)于計(jì)算設(shè)備移動(dòng)，則這一模塊將確定新的方位以便允許連續(xù)的輸入，盡管制圖正在被移動(dòng)。
[0049]對(duì)象和速度及方向模塊803可以適合于通過從制圖跟蹤模塊806接收輸入來估計(jì)作為虛擬對(duì)象正在移動(dòng)的制圖的動(dòng)力學(xué)，例如其軌跡、速度(線性速度或者角速度)、動(dòng)量(線性動(dòng)量或者角動(dòng)量)等等。對(duì)象和速度及方向模塊可以進(jìn)一步適合于例如通過估計(jì)用戶姿勢(shì)的加速度、偏轉(zhuǎn)等等來估計(jì)任何物理力的動(dòng)力學(xué)。對(duì)象和速度及方向模塊還可以使用圖像運(yùn)動(dòng)、尺寸和角度改變來估計(jì)對(duì)象的速度，例如手和手指的速度。
[0050]動(dòng)量和慣性模塊802允許基于用戶輸入的各種“物理”行為?？旎蚵臐L動(dòng)或揮擊可以例如被賦予動(dòng)量。這一模塊將具有匹配到用戶姿勢(shì)和制圖的物理模板以便添加諸如屏幕上對(duì)象的加速度的行為。它能夠使用制圖的平面中或三維空間中的制圖運(yùn)動(dòng)和用戶運(yùn)動(dòng)來估計(jì)與該制圖有關(guān)的虛擬對(duì)象的速度和方向。動(dòng)量和慣性模塊耦合到對(duì)象和姿勢(shì)識(shí)別系統(tǒng)822以便估計(jì)由手、手指和其它身體部分執(zhí)行的姿勢(shì)的速度并且接著應(yīng)用那些估計(jì)以便確定將被該姿勢(shì)影響的虛擬對(duì)象的動(dòng)量和速度。
[0051]3D圖像交互和效果模塊805跟蹤與看起來好像延伸出一個(gè)或多個(gè)屏幕的3D圖像的用戶交互?？梢赃B同這些對(duì)象對(duì)彼此的相對(duì)影響一起來計(jì)算對(duì)象在z軸中的影響(朝向和遠(yuǎn)離屏幕的平面)。例如，在虛擬對(duì)象到達(dá)屏幕的平面之前，通過用戶姿勢(shì)投擲的對(duì)象可能被前景中的3D對(duì)象影響。這些對(duì)象可以改變軌跡的方向或速度或者完全毀壞它。可以通過3D圖像交互和效果模塊在一個(gè)或多個(gè)顯示器上的前景中渲染該對(duì)象。
[0052]結(jié)合圖7更加詳細(xì)描述的圖8的計(jì)算系統(tǒng)在制圖檢測(cè)模塊823的發(fā)起下操作。它經(jīng)過應(yīng)用的發(fā)動(dòng)或者通過諸如語音命令的其它用戶輸入來發(fā)起。用戶創(chuàng)建制圖并且接著指示(如上所述)所繪制的輸入是完整的。制圖識(shí)別模塊825對(duì)照模板庫來匹配制圖。當(dāng)達(dá)到可以按照應(yīng)用變換的某個(gè)水平的確定性的匹配時(shí)，制圖跟蹤模塊806使制圖與一組屬性相關(guān)聯(lián)。如果用戶隨后在所匹配的制圖上做姿勢(shì)，則系統(tǒng)根據(jù)這組匹配的屬性來執(zhí)行命令。
[0053]圖9是諸如個(gè)人計(jì)算機(jī)、游戲控制臺(tái)、智能電話或便攜式游戲設(shè)備的計(jì)算系統(tǒng)的方框圖。計(jì)算機(jī)系統(tǒng)900包括用于傳遞信息的總線或其它通信裝置901以及諸如與總線901耦合用于處理信息的微處理器902的處理裝置。計(jì)算機(jī)系統(tǒng)可以被增添有特別用于經(jīng)過并行管線來渲染圖形的圖形處理器903以及用于計(jì)算如上所述的物理交互的物理處理器905。這些處理器可以被合并到中央處理器902中或者被提供為一個(gè)或多個(gè)單獨(dú)的處理器。
[0054]計(jì)算機(jī)系統(tǒng)900進(jìn)一步包括耦合到總線901用于存儲(chǔ)信息和由處理器902執(zhí)行的指令的主存儲(chǔ)器904，例如隨機(jī)存取存儲(chǔ)器(RAM)或其它動(dòng)態(tài)數(shù)據(jù)存儲(chǔ)設(shè)備。主存儲(chǔ)器還可以用于在處理器執(zhí)行指令期間存儲(chǔ)臨時(shí)變量或其它中間信息。計(jì)算機(jī)系統(tǒng)還可以包括非易失性存儲(chǔ)器906，例如只讀存儲(chǔ)器(ROM)或耦合到總線用于為處理器存儲(chǔ)靜態(tài)信息和指令的其它靜態(tài)數(shù)據(jù)存儲(chǔ)設(shè)備。
[0055]諸如磁盤、光盤或固態(tài)陣列的海量存儲(chǔ)器907及其相對(duì)應(yīng)的驅(qū)動(dòng)器也可以耦合到計(jì)算機(jī)系統(tǒng)的總線用于存儲(chǔ)信息和指令。計(jì)算機(jī)系統(tǒng)也可以經(jīng)由總線耦合到用于向用戶顯示信息的顯示設(shè)備或監(jiān)視器921，例如液晶顯示器(LCD)或有機(jī)發(fā)光二極管(OLED)陣列。例如，除了上面討論的各種視圖和用戶交互以外，安裝狀態(tài)、操作狀態(tài)和其它信息的圖形和文本指示可以在顯示設(shè)備上呈現(xiàn)給用戶。
[0056]典型地，諸如具有字母數(shù)字、功能和其它鍵的鍵盤的用戶輸入設(shè)備可以耦合到總線，用于將信息和命令選擇傳遞到處理器。額外的用戶輸入設(shè)備可以包括光標(biāo)控制輸入設(shè)備，例如鼠標(biāo)、軌跡球、軌跡板，或者光標(biāo)方向鍵可以耦合到總線用于將方向信息和命令選擇傳遞到處理器并且控制顯示器921上的光標(biāo)移動(dòng)。
[0057]相機(jī)和麥克風(fēng)陣列923耦合到總線以便如上面提及地觀察姿勢(shì)、記錄音頻和視頻并且接收視覺和音頻命令。
[0058]通信接口 925也耦合到總線901。通信接口可以包括調(diào)制解調(diào)器、網(wǎng)絡(luò)接口卡或其它公知的接口設(shè)備，例如用于耦合到以太網(wǎng)、令牌環(huán)或其它類型的物理有線或無線附件的那些接口設(shè)備，用于例如提供通信鏈路以便支持局域網(wǎng)或廣域網(wǎng)(LAN或WAN)的目的。按照這種方式，計(jì)算機(jī)系統(tǒng)也可以經(jīng)由例如包括內(nèi)聯(lián)網(wǎng)和互聯(lián)網(wǎng)的常規(guī)網(wǎng)絡(luò)基礎(chǔ)設(shè)施耦合到多個(gè)外圍設(shè)備、其它客戶端或控制表面或控制臺(tái)或者服務(wù)器。
[0059]應(yīng)該認(rèn)識(shí)到，比上面描述的示例更少或更多配備的系統(tǒng)可能對(duì)于某些實(shí)現(xiàn)是優(yōu)選的。因此，示例性系統(tǒng)800和900的配置可以從一個(gè)實(shí)現(xiàn)到另一個(gè)實(shí)現(xiàn)改變，取決于諸如價(jià)格約束、性能要求、技術(shù)改進(jìn)或其它情況的各種因素。
[0060]實(shí)施例可以被實(shí)現(xiàn)為下列項(xiàng)目中的任意一個(gè)或組合:使用父板互連的一個(gè)或多個(gè)微芯片或集成電路、硬連線邏輯、由存儲(chǔ)器設(shè)備存儲(chǔ)并且由微處理器執(zhí)行的軟件、固件、專用集成電路(ASIC)和/或現(xiàn)場(chǎng)可編程門陣列(FPGA)。術(shù)語“邏輯”可以通過示例的方式包括軟件或硬件和/或軟件和硬件的組合。
[0061]實(shí)施例可以被提供為例如可以包括一個(gè)或多個(gè)機(jī)器可讀介質(zhì)的計(jì)算機(jī)程序產(chǎn)品，該機(jī)器可讀介質(zhì)具有存儲(chǔ)在其上的機(jī)器可執(zhí)行指令，當(dāng)該機(jī)器可執(zhí)行指令由諸如計(jì)算機(jī)、計(jì)算機(jī)的網(wǎng)絡(luò)或其它電子設(shè)備的一個(gè)或多個(gè)機(jī)器執(zhí)行時(shí)，可以導(dǎo)致該一個(gè)或多個(gè)機(jī)器執(zhí)行根據(jù)本發(fā)明實(shí)施例的操作。機(jī)器可讀介質(zhì)可以包括但不局限于軟盤、光盤、CD-R0M(壓縮盤只讀存儲(chǔ)器)和磁光盤、R0M(只讀存儲(chǔ)器)、RAM(隨機(jī)存取存儲(chǔ)器)>EPROM(可擦除可編程只讀存儲(chǔ)器)、EEPR0M(電可擦除可編程只讀存儲(chǔ)器)、磁卡或光學(xué)卡、閃存或者適合于存儲(chǔ)機(jī)器可執(zhí)行指令的其它類型的介質(zhì)/機(jī)器可讀介質(zhì)。
[0062]而且，實(shí)施例可以被下載為計(jì)算機(jī)程序產(chǎn)品，其中該程序可以通過體現(xiàn)在載波中或其它傳播介質(zhì)中和/或由該載波或其它傳播介質(zhì)調(diào)制的一個(gè)或多個(gè)數(shù)據(jù)信號(hào)經(jīng)由通信鏈路(例如，調(diào)制解調(diào)器和/或網(wǎng)絡(luò)連接)被從遠(yuǎn)程計(jì)算機(jī)(例如，服務(wù)器)轉(zhuǎn)移到請(qǐng)求的計(jì)算機(jī)(例如，客戶端)。因此，如本文使用的，機(jī)器可讀介質(zhì)可以包括但不要求包括這樣的載波。
[0063]對(duì)“一個(gè)實(shí)施例”、“實(shí)施例”、“示例實(shí)施例”、“各種實(shí)施例”等等的提及指示這樣描述的本發(fā)明實(shí)施例可以包括特定的特征、結(jié)構(gòu)或特性，但是并不是每一個(gè)實(shí)施例都必須包括該特定的特征、結(jié)構(gòu)或特性。進(jìn)而，一些實(shí)施例可以具有對(duì)于其它實(shí)施例描述的特征中的一些、全部或沒有一個(gè)。
[0064]在下面的描述和權(quán)利要求中，可以使用術(shù)語“耦合”連同其派生詞。“耦合”用于指示兩個(gè)或更多個(gè)元件彼此協(xié)作或相互作用，但是它們可以具有或者可以不具有在它們之間的中間物理或電學(xué)部件。
[0065]如在權(quán)利要求中使用的，除非另有規(guī)定，描述公共元件的順序形容詞“第一”、“第二”、“第三”等等的使用僅指示正在提及的相似元件的不同實(shí)例并且并不意在暗示這樣描述的元件必須在時(shí)間上、在空間上、在等級(jí)上或者以任何其它方式按照給定的順序。
[0066]附圖和前面的描述給出了實(shí)施例的示例。本領(lǐng)域中的技術(shù)人員將認(rèn)識(shí)到，一個(gè)或多個(gè)所描述的元件可以被很好地組合為單個(gè)功能元件?？蛇x地，某些元件可以被劃分為多個(gè)功能元件。來自一個(gè)實(shí)施例的元件可以被添加到另一實(shí)施例。例如，本文描述的處理的順序可以改變并且不局限于本文描述的方式。而且，任何流程圖的動(dòng)作不需要按照所示的順序?qū)崿F(xiàn)；所有動(dòng)作也不一定需要都被執(zhí)行。并且，不依賴于其它動(dòng)作的那些動(dòng)作可以與該其它動(dòng)作并行地執(zhí)行。實(shí)施例的范圍決不由這些具體的示例限制。例如在結(jié)構(gòu)、尺寸和材料使用方面的差異的很多變化是可能的，無論是否在說明書中明確給出。實(shí)施例的范圍至少與下面的權(quán)利要求給出的一樣寬。
【權(quán)利要求】
1.一種方法，包括: 在計(jì)算機(jī)系統(tǒng)處接收指示制圖的類型的命令； 訪問與制圖類型相關(guān)聯(lián)的制圖模板的庫； 在計(jì)算機(jī)系統(tǒng)處觀察用戶制圖； 將被觀察的制圖與所述制圖模板進(jìn)行比較以便識(shí)別所述被觀察的制圖；以及 向被識(shí)別的制圖指派屬性。
2.如權(quán)利要求1所述的方法，其中，所述命令是寫出的文本、語音、第二制圖和姿勢(shì)中的一個(gè)。
3.如權(quán)利要求1所述的方法，其中，所述制圖的類型是用戶輸入設(shè)備的類型。
4.如權(quán)利要求3所述的方法，其中，控制器是鍵區(qū)。
5.如權(quán)利要求1所述的方法，進(jìn)一步包括裝入多個(gè)制圖模板用于由被裝入的應(yīng)用程序使用。
6.如權(quán)利要求5所述的方法，其中，所述制圖模板與用戶輸入設(shè)備的不同配置和類型相對(duì)應(yīng)。
7.如權(quán)利要求5所述的方法，其中，所述制圖模板的庫由在所述計(jì)算機(jī)系統(tǒng)上運(yùn)行的應(yīng)用程序提供。
8.如權(quán)利要求1所述的方法，其中，訪問庫包括基于被接收的命令從多個(gè)不同的制圖模板的庫當(dāng)中選擇一個(gè)制圖模板的庫。
9.如權(quán)利要求1所述的方法，其中，觀察用戶制圖包括使用耦合到所述計(jì)算機(jī)系統(tǒng)的相機(jī)來捕獲所述制圖的圖像。
10.如權(quán)利要求9所述的方法，進(jìn)一步包括針對(duì)由所述相機(jī)和所述制圖的相對(duì)位置引起的失真來校正被捕獲的圖像。
11.如權(quán)利要求1所述的方法，其中，指派屬性包括向所述制圖指派控制表面。
12.如權(quán)利要求1所述的方法，其中，指派屬性包括向所述制圖的一部分指派鍵。
13.—種其上具有指令的計(jì)算機(jī)可讀介質(zhì),所述指令當(dāng)由計(jì)算機(jī)操作時(shí)使所述計(jì)算機(jī)執(zhí)行操作，所述操作包括: 在計(jì)算機(jī)系統(tǒng)處接收指示制圖的類型的命令； 訪問與制圖類型相關(guān)聯(lián)的制圖模板的庫； 在計(jì)算機(jī)系統(tǒng)處觀察用戶制圖； 將被觀察的制圖與所述制圖模板進(jìn)行比較以便識(shí)別所述被觀察的制圖；以及 向被識(shí)別的制圖指派屬性。
14.如權(quán)利要求13所述的介質(zhì)，其中，所述命令是書寫的文本、語音、第二制圖和姿勢(shì)中的一個(gè)。
15.如權(quán)利要求13所述的介質(zhì)，其中，指派屬性包括向所述制圖指派控制表面。
16.—種系統(tǒng),包括: 制圖檢測(cè)模塊，用于接收指示制圖的類型的命令并且觀察用戶制圖； 命令執(zhí)行模塊，用于接收所述命令并且使制圖對(duì)象模板模塊訪問與制圖類型相關(guān)聯(lián)的制圖模板的庫；以及 制圖識(shí)別模塊，用于將被觀察的制圖與所述制圖模板進(jìn)行比較以便識(shí)別所述被觀察的制圖并且向被識(shí)別的制圖指派屬性。
17.如權(quán)利要求16所述的系統(tǒng)，進(jìn)一步包括姿勢(shì)識(shí)別模塊，用于接收與所述被識(shí)別的制圖相關(guān)聯(lián)的姿勢(shì)并且生成命令用于由所述命令執(zhí)行模塊執(zhí)行。
18.如權(quán) 利要求17所述的系統(tǒng)，進(jìn)一步包括顯示器以及三維效果模塊，所述三維效果模塊用于將所述命令的執(zhí)行渲染為所述顯示器上的三維圖像。
19.如權(quán)利要求16所述的系統(tǒng)，進(jìn)一步包括耦合到所述制圖檢測(cè)模塊的相機(jī)，用于捕獲所述制圖的圖像。
【文檔編號(hào)】G06F3/01GK104137026SQ201180076479
【公開日】2014年11月5日 申請(qǐng)日期:2011年12月30日 優(yōu)先權(quán)日:2011年12月30日
【發(fā)明者】G·J·安德森, C·J·布思 申請(qǐng)人:英特爾公司