專利名稱：用于遠(yuǎn)程、虛擬屏幕輸入的系統(tǒng)和方法
用于遠(yuǎn)程、虛擬屏幕輸入的系統(tǒng)和方法相關(guān)專利的交叉引用本申請(qǐng)要求于2009年7月22日提交的美國(guó)臨時(shí)申請(qǐng)專利第61/227，485號(hào)的權(quán) 利，其內(nèi)容通過引用結(jié)合到本文中并以此為依據(jù)。版權(quán)和法律公告本專利文獻(xiàn)所公開的部分內(nèi)容中包含的材料是受到版權(quán)保護(hù)的。版權(quán)所有人并沒 有反對(duì)有專利文件所有人做出的復(fù)制品或以在美國(guó)專利和商標(biāo)局備案或記錄的形式公開 的專利，但保留所有版權(quán)。另外，本文中引用了第三方專利、文獻(xiàn)或產(chǎn)品型號(hào)，不應(yīng)被理解為 因?yàn)槭窃谙劝l(fā)明所使用的材料而本發(fā)明沒有權(quán)利使用。
背景技術(shù)：
本發(fā)明涉及輸入設(shè)備和方法，尤其是用于多媒體服務(wù)、應(yīng)用及設(shè)備的數(shù)據(jù)輸入和 發(fā)送指令的系統(tǒng)和方法。眾所周知，利用諸如鼠標(biāo)和鍵盤之類的輸入設(shè)備，將數(shù)據(jù)輸入個(gè)人電腦(PC)或多 媒體系統(tǒng)(諸如電視機(jī)、機(jī)頂盒、游戲機(jī)或其他電腦處理設(shè)備)，通過數(shù)據(jù)總線、數(shù)據(jù)接口、 無線射頻、紅外線、藍(lán)牙、無線網(wǎng)絡(luò)及數(shù)據(jù)集線器與個(gè)人電腦或其他設(shè)備相連。將虛擬鍵盤與設(shè)備整合在一起，使得用戶無需觸碰設(shè)備就能進(jìn)行輸入也很常見。 另外，我們還知道，用戶通過穿戴數(shù)據(jù)手套實(shí)現(xiàn)輸入。我們也知道，單點(diǎn)觸控和多點(diǎn)觸控鍵盤或輸入設(shè)備能夠?qū)崿F(xiàn)來自用戶的單個(gè)或多 個(gè)輸入。換句話來說，單點(diǎn)觸控接口每次能夠讀取一個(gè)輸入，然而，多點(diǎn)觸控每次能夠讀取 /感應(yīng)兩個(gè)或更多輸入。近來，多點(diǎn)觸控技術(shù)被應(yīng)用于移動(dòng)電話技術(shù)中。諸如法國(guó)的Stantum公司、瑞士的 意法半導(dǎo)體公司、美國(guó)的賽普拉斯半導(dǎo)體公司、美國(guó)的安華高科技公司和美國(guó)的新思科技 股份有限公司之類的公司根據(jù)移動(dòng)電話客戶的需求正在發(fā)展多點(diǎn)觸控技術(shù)。多點(diǎn)觸控輸入 設(shè)備使用包括電阻式、電感應(yīng)、熱感應(yīng)、電容式或電磁感應(yīng)觸控和/或接近傳感器之類的技 術(shù)來感應(yīng)或成像感應(yīng)范圍內(nèi)存在的物體。由加利福尼亞丘珀蒂諾的蘋果公司生產(chǎn)的iPhone提供了一種顯示屏，所述的顯 示屏能夠響應(yīng)接近感應(yīng)器，在用戶打電話將設(shè)備靠近臉時(shí)，使得顯示屏和觸摸屏處于不活 動(dòng)的狀態(tài)。像瑞士的Atracsys之類的公司正在開發(fā)一種非接觸接口，一個(gè)或多個(gè)用戶能夠 利用具有多點(diǎn)觸控的設(shè)備屏幕，通過在顯示器附近做手勢(shì)而無需觸碰它就能實(shí)現(xiàn)交流。其他已知的現(xiàn)有技術(shù)諸如通過電容感應(yīng)技術(shù)和其他電磁技術(shù)，用戶的身體不需要 接觸多點(diǎn)觸控感應(yīng)設(shè)備，相反只需要放在足夠靠近多點(diǎn)觸控感應(yīng)設(shè)備的地方以便能夠解讀 觸摸輸入。例如，由華盛頓州雷德蒙市的微軟研究院研發(fā)的SIDESIGHT允許用戶通過在設(shè) 備邊上的手指活動(dòng)來控制多點(diǎn)觸控移動(dòng)設(shè)備的小屏幕上的圖像，而不需要觸碰部件。參見 由Alex Butler等人撰寫于2008年10月19日公開發(fā)表的文章《SideSight 在小型設(shè)備 周圍的多點(diǎn)“觸控”互動(dòng)》，此文的內(nèi)容通過引用結(jié)合到本文中。然而，這樣的技術(shù)正在進(jìn)行實(shí)際的應(yīng)用，否則，將無法通過任何有效的途徑應(yīng)用到產(chǎn)品上。當(dāng)前已知的技術(shù)設(shè)備將觸摸屏與基本的顯示設(shè)備的屏幕整合在一起。這使得用戶 必須肢體上地接近基本的顯示設(shè)備。這樣用戶的手或手指可能會(huì)阻礙觀看者看到顯示設(shè)備 上的內(nèi)容。另外，較大的顯示設(shè)備會(huì)釋放出有害的電磁輻射。因此，用戶不希望在進(jìn)行相關(guān) 的互動(dòng)時(shí)接近這樣的設(shè)備。而且，用戶希望保持一種舒適的姿勢(shì)，這種姿勢(shì)不是與大尺寸顯 示設(shè)備互動(dòng)時(shí)必要的姿勢(shì)。使用當(dāng)前技術(shù)的設(shè)備，很可能導(dǎo)致用戶無法選擇個(gè)人習(xí)慣的姿 勢(shì)來與這樣的設(shè)備互動(dòng)。另外，當(dāng)多個(gè)用戶觀看同一個(gè)顯示設(shè)備時(shí)，這種設(shè)備便于一個(gè)用戶 能夠原理顯示設(shè)備來控制設(shè)備的顯示。因此，現(xiàn)在需要的是一種裝置、系統(tǒng)和方法，給用戶提供一種手段，使他們利用遠(yuǎn) 程輸入設(shè)備來遠(yuǎn)程觸摸屏幕，這種設(shè)備是方便攜帶的并且是與顯示設(shè)備分開的。現(xiàn)在需要 的是一種裝置、系統(tǒng)和方法，給用戶提供一種能力，使得他或她能夠直接在具有整合的多點(diǎn) 觸控表面上作出動(dòng)作時(shí)便能夠輸入文本而不需要觸碰顯示屏。另外，還需要一種一種裝置、 系統(tǒng)和方法，允許用戶觀察虛擬鍵盤以及位于相對(duì)于顯示設(shè)備上的虛擬鍵盤的正確位置上 的他或她的手指的虛擬圖像。

發(fā)明內(nèi)容
根據(jù)本發(fā)明的實(shí)施例，一種用來遠(yuǎn)程、虛擬屏幕數(shù)據(jù)輸入的外設(shè)數(shù)據(jù)輸入設(shè)備 (PDID或外設(shè)設(shè)備)包括接近傳感器和數(shù)據(jù)通訊裝置。所述的接近傳感器適用于動(dòng)態(tài)識(shí)別 外設(shè)設(shè)備附近的目標(biāo)的活動(dòng)。數(shù)據(jù)通訊裝置適用于將信號(hào)從接近傳感器傳輸至連接遠(yuǎn)處顯 示屏的處理器。處理器在顯示屏上構(gòu)成輸入欄的圖像，并且當(dāng)實(shí)時(shí)察覺到遮蓋物時(shí)，目標(biāo)的 虛擬圖像就覆蓋了輸入欄的圖像。在另一個(gè)實(shí)施例中，提供了一種系統(tǒng)和方法，包括具有接近傳感子系統(tǒng)(PSS)Jf 號(hào)發(fā)射機(jī)和接口設(shè)備的外設(shè)設(shè)備，這種外設(shè)設(shè)備適用于與普通的個(gè)人電腦或多媒體系統(tǒng) (電視機(jī)、機(jī)頂盒、游戲機(jī))的處理器連接、通訊及發(fā)送數(shù)據(jù)以及控制這些處理器；并且(b) 在處理器上執(zhí)行指令來接收外設(shè)設(shè)備輸入的數(shù)據(jù)，當(dāng)數(shù)據(jù)從接近感應(yīng)子系統(tǒng)發(fā)出時(shí)，(1)通 過指令在遠(yuǎn)處的顯示屏上除了顯示輸入欄的虛擬圖像外還顯示了目標(biāo)的虛擬圖像，在一個(gè) 典型的案例中，用戶的手指放在相對(duì)于在顯示屏上的輸入欄的圖像的位置上，所述的輸入 欄的圖像的位置是根據(jù)現(xiàn)實(shí)世界中外設(shè)設(shè)備上的輸入欄的目標(biāo)的位置而再現(xiàn)的二維平面 圖，并且(2)通過指令接收外設(shè)設(shè)備輸入的數(shù)據(jù)并以一種適當(dāng)?shù)姆绞教幚硭l(fā)送的數(shù)據(jù)的 類別，不管是代表文字、語言還是指令輸入。盡管與本發(fā)明的優(yōu)勢(shì)無關(guān)，但是大量本發(fā)明的實(shí)施例既能夠被用于具有整合的觸 摸屏的顯示設(shè)備也能用于不包括觸摸屏的設(shè)備。本發(fā)明的目的是為了給用戶一種在顯示裝置上的觸摸屏的體驗(yàn)而并不一定要包 括整合的觸摸屏。取消了顯示屏上的觸摸屏硬件與整合有觸摸屏感應(yīng)器的大尺寸顯示器相 比，既有效的減少了硬件成本又增加了用戶對(duì)適合他需求的顯示設(shè)備以及外設(shè)設(shè)備組合的 選擇。本發(fā)明的另一個(gè)目的是為了讓用戶能夠遠(yuǎn)離顯示的鍵盤的虛擬圖像將數(shù)據(jù)輸入 虛擬鍵盤。通過這種方法，提供給用戶一種遠(yuǎn)程使用觸摸屏顯示設(shè)備(相對(duì)于用戶)的體 驗(yàn)而無需肢體接觸顯示設(shè)備。
本發(fā)明另一個(gè)目的是使用戶能夠無需瀏覽遠(yuǎn)程輸入設(shè)備而只要用戶將他或她的 視線注視著顯示設(shè)備便能輸入數(shù)據(jù)。本發(fā)明的另一個(gè)目的是讓用戶更加舒適并且增加與個(gè)人電腦或多媒體設(shè)備，例如 多媒體播放器，互動(dòng)的靈活性。本發(fā)明的另一個(gè)目的是讓用戶能夠利用手或手臂給別的觀看者做手勢(shì)示意，例 如，雖然遮擋住遠(yuǎn)離用戶的顯示屏，但是還是能夠吸引觀看者的注意。本發(fā)明的另一個(gè)目的是通過使用虛擬鍵盤來避免印刷本發(fā)明的外設(shè)設(shè)備上鍵盤 的版面設(shè)計(jì)，這些版面設(shè)計(jì)是以幾個(gè)被接受的標(biāo)準(zhǔn)中的一個(gè)來設(shè)計(jì)的，通常是以語言為基 礎(chǔ)(英語、法語、德語、西班牙語、數(shù)字鍵盤)，這樣的版面設(shè)計(jì)是區(qū)域語言或從屬的功能，因 此這樣就避免了制造、貯存及根據(jù)用戶常見的地域依賴性需求分發(fā)印刷鍵盤使用說明的邏 輯復(fù)雜性。


圖1是一種根據(jù)本發(fā)明的系統(tǒng)的實(shí)施例的透視圖。圖2是透明模式下被目標(biāo)遮擋的虛擬鍵盤的俯視圖。圖3是透明模式下被目標(biāo)遮擋的虛擬鍵盤的俯視圖，這里的目標(biāo)是拇指。圖4是用于根據(jù)本發(fā)明的系統(tǒng)和方法的實(shí)施例的外設(shè)設(shè)備的示意圖。圖5是根據(jù)本發(fā)明的實(shí)施例的外設(shè)設(shè)備的框圖。圖6是根據(jù)本發(fā)明的實(shí)施例的具有近距離懸停功能的觸摸板模塊的側(cè)面示意圖。圖7A所展示的是，位于其上部的根據(jù)察覺到的懸停在空中的手指的位置而形成 的圖像，其下部所展示的是相對(duì)于輸入面的懸停在空中的手指。圖7B所展示的是，位于其上部的根據(jù)察覺到的接觸表面的手指的位置而形成的 圖像，其下部所展示的是相對(duì)于輸入面的接觸表面的手指。圖8是展示了典型的輸入類別的表格。圖9是根據(jù)本發(fā)明的第一種方法的流程圖。圖10是根據(jù)本發(fā)明的三角測(cè)量步驟的示意圖。圖11是根據(jù)本發(fā)明的實(shí)施例的混合觸摸板模塊的示意圖。圖12是根據(jù)本發(fā)明的第二個(gè)可選的方法的流程圖。圖13是每一個(gè)鍵都具有集成的光學(xué)接近檢測(cè)器的鍵盤整列或鍵盤組的透視圖。本技術(shù)領(lǐng)域的技術(shù)人員會(huì)發(fā)現(xiàn)附圖中說明的組件是簡(jiǎn)潔明了的，并沒有必要畫出 它們的尺寸。例如，為了有助于更好地理解本發(fā)明及其實(shí)施例，組件的尺寸相對(duì)其它的組 件會(huì)被放大。而且，本文所使用的“第一”、“第二”以及類似的詞是為了區(qū)別兩個(gè)類似的組 件，并不是為了描述它們的順序。此外，像在說明書和/或權(quán)利要求書中出現(xiàn)的“前”、“后”、 “頂”和“底”以及類似的詞不適用于描述它們專有的位置。本技術(shù)領(lǐng)域的技術(shù)人員因此能 夠理解這些詞語是能被其他詞語代替的，并且本文所描述的實(shí)施例除了那些明確的說明或 其他方面的描述外也能以其它方法來實(shí)施。
具體實(shí)施例方式下面的描述不是為了以任何方式來限定本發(fā)明的范圍，同樣，這些描述作為實(shí)際的范例并且在本發(fā)明提交后有助于描述出本發(fā)明最好的模式讓發(fā)明家理解。因此，對(duì)于公 開的實(shí)施例中所描述的任意組件的布局和/或功能做出的改變都不會(huì)背離本發(fā)明的精神 和范圍能夠適用于本發(fā)明的技術(shù)，換句話來說，就是一些適用于本文所描述的功能的基 礎(chǔ)硬件組件，已經(jīng)在美國(guó)專利第7，653，883號(hào)及于2010年3月17日提交的美國(guó)臨時(shí)專利 第61/314，639號(hào)，標(biāo)題為《用于捕捉手寫批注的系統(tǒng)和方法》中被公開，這些內(nèi)容通過引用 結(jié)合到本文中。參見圖1，根據(jù)本發(fā)明的系統(tǒng)10包括一個(gè)相互連接的電腦處理器12 (封裝的，例 如，裝在個(gè)人電腦，機(jī)頂盒或多媒體設(shè)備14中)，一個(gè)顯示屏16 (例如，電視機(jī)，電腦顯示屏， 投影儀等)，一個(gè)輸入設(shè)備20以及一個(gè)無線集線器22。所述的電腦處理器12和操作系統(tǒng) (OS) 24執(zhí)行指令26來進(jìn)行本發(fā)明的方法30 (根據(jù)圖9和12所描述的方法)。為了模擬用 戶34在外設(shè)設(shè)備20上執(zhí)行的輸入功能及相應(yīng)的位置，所述的指令26在操作系統(tǒng)24中被 執(zhí)行來接收并處理來自外設(shè)設(shè)備20的數(shù)據(jù)以便在顯示設(shè)備16上顯示目標(biāo)36的圖像32以 及至少一個(gè)外設(shè)設(shè)備20的輸入欄40的圖像33。如圖所示的可選擇的外設(shè)設(shè)備20的多點(diǎn)觸控輸入面44被整合入外罩46中，所述 的外罩46能夠通過鍵控與主輸入設(shè)備38分開。雖然此處所述的目標(biāo)36代表用戶的一根手指或多根手指，但是也能夠代表很多 其他事物，例如但不限于，用戶的一只手或一雙手、一條手臂或兩條手臂、手套或戒指等物 體上的標(biāo)示器、一支書寫筆或多支書寫筆、一支鉛筆或多支鉛筆，一支鋼筆或多支鋼筆和一 個(gè)指物棒或多個(gè)指物棒。參見圖2，優(yōu)選的是，目標(biāo)36的圖像以及用于顯示屏16的顯示窗口的輸入面40的 圖像是透明的(例如，以透明模式顯示)，這樣就能夠看到顯示屏上目標(biāo)或輸入欄的圖像下 面的內(nèi)容。在一個(gè)輸入的例子中，用戶34用普通的方式將信息輸入輸入設(shè)備20。在另一個(gè) 輸入的例子中，如圖3所示，當(dāng)用戶用手握住外設(shè)設(shè)備20、20’、20”時(shí)，用戶很自然地用他或 她的兩根拇指37來輸入文本。在這樣一個(gè)例子中，用戶的兩根拇指37顯示在顯示屏16上 并正好位于虛擬圖像32上，這個(gè)位置正好是拇指懸停在外設(shè)設(shè)備的輸入面40、44上方的位置。在一個(gè)實(shí)施例中，外設(shè)設(shè)備20、20’含有新興的觸摸數(shù)據(jù)輸入設(shè)備的功能性，例如 法國(guó)的Stantum公司、瑞士的意法半導(dǎo)體公司、美國(guó)的賽普拉斯半導(dǎo)體公司、美國(guó)的安華高 科技公司和美國(guó)的新思科技股份有限公司生產(chǎn)的設(shè)備。在另一個(gè)實(shí)施例中，外設(shè)設(shè)備20包 括一個(gè)提供鍵盤輸入欄42的觸控面40，根據(jù)用戶34的選擇，在輔助指示設(shè)備或數(shù)字輸入設(shè) 備48的外罩上還包括一個(gè)可供使用觸控面44。將觸控面40和44分開就能夠使用價(jià)格更 低的單點(diǎn)觸控面作為觸控面40來輸入文本，更昂貴的多點(diǎn)觸控面44被最小化，但是還是能 夠通過多點(diǎn)觸控輸入在兩個(gè)鍵盤覆蓋物之間的切換來控制單點(diǎn)觸控面40的操作模式。可 選的是，當(dāng)輸入設(shè)備48通過無線網(wǎng)絡(luò)與整合在外設(shè)設(shè)備20中的集線器22和/或通訊設(shè)備 (沒有顯示)時(shí)，輸入設(shè)備48是能夠隨意移動(dòng)的。需要注意的是其他一些接近傳感器也適用于本發(fā)明的應(yīng)用。傳感器通過發(fā)射電磁 場(chǎng)或靜電場(chǎng)或電磁輻射束(例如，紅外線)來工作，并尋找接收范圍內(nèi)的變化或可用的反饋信號(hào)。適用的傳感器類型包括但不限于電感應(yīng)、電容式、電容位移式、渦電流式、磁力感應(yīng)、 電磁感應(yīng)、光電元件、激光測(cè)距儀、聲納定位、雷達(dá)、多普勒效應(yīng)定位、無源熱紅外感應(yīng)、無源 光感應(yīng)、離子輻射反射傳感器、彈片開關(guān)、霍爾效應(yīng)、電阻變化、導(dǎo)電變化、共鳴(例如，超聲 波或雷達(dá)波)、光譜識(shí)別技術(shù)和微氣流變化(感應(yīng)兩個(gè)傳感器之間相對(duì)于大流量變化的當(dāng) 前的氣流變化)。例如，電容式或光電式傳感器適用于塑料的目標(biāo)，而電感式接近傳感器感 應(yīng)金屬目標(biāo)，以及霍爾效應(yīng)傳感器感應(yīng)有磁性的目標(biāo)。光學(xué)傳感應(yīng)用，例如，紅外接近傳感，包括使用光學(xué)傳感電路感應(yīng)光脈沖，例如，由 發(fā)射器發(fā)射的紅外線，一個(gè)類似用戶手指的物體放在發(fā)射器(例如，激光二極管或LED)前 方或上方，紅外線被用戶的手指反射至紅外檢測(cè)器(例如，光電二極管、一種能夠?qū)⒐廪D(zhuǎn)換 成電流或電壓的光電檢測(cè)器，具體轉(zhuǎn)換成電流還是電壓取決于它的工作模式)，檢測(cè)器通常 設(shè)置在發(fā)射器的鄰近位置或與發(fā)射器同軸并用于檢測(cè)光強(qiáng)度的變化。如果反射回的紅外線 被檢測(cè)到，就會(huì)認(rèn)為紅外發(fā)射器附近有物體存在。如果沒有檢測(cè)到，那么就認(rèn)為不存在物 體。當(dāng)檢測(cè)到的光的反射點(diǎn)與觸控面間距0毫米時(shí)，那么就被認(rèn)為有物體觸碰了觸控面并 且在觸控面上無論什么動(dòng)作都會(huì)被執(zhí)行。在這樣一個(gè)案例中，觸碰的定義就是足夠接近，通 常是接觸，認(rèn)定為觸碰的觸碰型號(hào)發(fā)送至處理器12，因此就能使傳統(tǒng)的鍵盤也享受到觸控 板的好處。同樣是一個(gè)適合的紅外接近傳感器的例子，安華高科技的接近傳感器是形成小 型SMT封裝的，具有反射功能的，非連接的傳感器，這樣利用模擬輸出就能提供0至60毫米 的檢測(cè)范圍。型號(hào)為APDS-9101的產(chǎn)品成本低，適合于在移動(dòng)應(yīng)用及工業(yè)控制系統(tǒng)中使用， 整合了反射傳感器、包含了紅外LED以及光電晶體管，這樣的設(shè)計(jì)使其能夠在0至12毫米 內(nèi)的監(jiān)測(cè)范圍內(nèi)檢測(cè)物體并非接觸的接近傳感。在美國(guó)專利申請(qǐng)第11/418，832號(hào)，標(biāo)題為 《用于輸入設(shè)備的光學(xué)滑塊》中所描述的接近傳感器，其內(nèi)容通過引用結(jié)合到本文中，并且 已由加利福尼亞州費(fèi)力蒙特市的羅技股份公司生產(chǎn)，也能實(shí)現(xiàn)這個(gè)目的。需要注意的是，根 據(jù)本發(fā)明的一個(gè)實(shí)施例中所使用紅外傳感器在下文中結(jié)合附圖13被描述的更加詳細(xì)。電容接近傳感是接近傳感中一個(gè)優(yōu)選的裝置，利用了在它的傳感范圍內(nèi)存在或不 存在目標(biāo)時(shí)傳感器上的電容量的變化是可測(cè)量的這一事實(shí)。如果從表面上或原始狀態(tài)上發(fā) 生的變化被檢測(cè)到，那么就認(rèn)為存在目標(biāo)。本發(fā)明中另一個(gè)可用的適合的電容接近傳感器 系統(tǒng)是由德克薩斯州奧斯丁市的飛思卡爾半導(dǎo)體股份有限公司生產(chǎn)的產(chǎn)品。飛思卡爾的型 號(hào)為MPR08X的接近控制器控制多個(gè)接近傳感器，因此允許對(duì)一個(gè)傳感器幾個(gè)不同的應(yīng)用 進(jìn)行控制。由于多重電極，一個(gè)傳感器就能夠檢測(cè)到多個(gè)點(diǎn)。例如，接近電容觸控傳感器將 多個(gè)配置的觸控板、滑塊、旋轉(zhuǎn)位置及機(jī)械按鍵用于用戶接口。另外，其他的接近傳感器(例如，飛思卡爾的型號(hào)為MC33794的產(chǎn)品)能依靠中斷 電場(chǎng)來使用，利用了一個(gè)帶有非常低的諧波的低頻正弦波，所述的正弦波的頻率能通過外 設(shè)的電阻器來調(diào)節(jié)。電磁接近傳感器掃描與輸入接口相鄰的天線周圍的區(qū)域，不斷地檢測(cè) 天線周圍的電磁場(chǎng)的變化。自動(dòng)檢測(cè)功能會(huì)在電磁場(chǎng)的變化與天線周圍出現(xiàn)物體時(shí)的變化 一致時(shí)進(jìn)行檢測(cè)，例如，所述的物體是用戶的手指。為了實(shí)現(xiàn)多個(gè)檢測(cè)，使用了多根天線。另外，還能夠使用具有固定焦點(diǎn)的攝像頭，其中，利用圖像識(shí)別技術(shù)識(shí)別由攝像頭 看到的圖像，攝像頭自身利用人工智能技術(shù)來區(qū)分感應(yīng)到的物體。這里，為了進(jìn)行接近檢 測(cè)，利用神經(jīng)網(wǎng)絡(luò)技術(shù)識(shí)別物體的圖像，為每個(gè)傳感器區(qū)分類似手、手指、書寫筆，指物棒這 樣的物體或不規(guī)則的物體。觸碰被定義為傳感器檢測(cè)不到光，例如手指覆蓋住整個(gè)攝像頭。這樣的實(shí)施例的例子將在下文中結(jié)合附圖12被描述的更為詳細(xì)。在這樣的實(shí)施例中，接近 傳感系統(tǒng)能夠組成一個(gè)攝像頭陣列或攝像頭組，這樣工作狀態(tài)就像蒼蠅的復(fù)眼一樣。超聲波接近傳感利用自然界中發(fā)現(xiàn)的技術(shù)，這種技術(shù)是由蝙蝠在飛行過程中用來 辨別和避開附近的物體的。應(yīng)當(dāng)注意的是，當(dāng)以本發(fā)明公開的內(nèi)容為指導(dǎo)時(shí)，在本領(lǐng)域普通 的技術(shù)人員的能力范圍內(nèi)對(duì)本發(fā)明進(jìn)行適當(dāng)修改來使用超聲波接近傳感。關(guān)于磁力傳感器，它包括使用金屬環(huán)或具有金屬，磁性物體或有目的性設(shè)置的塑 料部分的用戶手套，這樣來優(yōu)化帶有這種傳感器的接口的功能，產(chǎn)生像更加精確地檢測(cè)活 動(dòng)等之類的有利功能。此外，一些傳感器具有調(diào)節(jié)表面上的接測(cè)范圍的功能或用于報(bào)告標(biāo) 有刻度的檢測(cè)距離的裝置。關(guān)于這樣的檢測(cè)器，它使得用戶能夠改變參數(shù)(通過配合電腦 或外設(shè)設(shè)備上的用戶接口)這樣就能夠根據(jù)用戶的喜好使接近傳感觸控接口更快或更慢 地檢測(cè)目標(biāo)。這樣的接近檢測(cè)器在由國(guó)際公開委員會(huì)公開的IEC60947-5-2中被提到過，其 內(nèi)容通過引用結(jié)合到本文中。參見圖4，是本發(fā)明的應(yīng)用中一個(gè)可選的包括單個(gè)多點(diǎn)觸控面45的外設(shè)設(shè)備20’ 的示意圖?？蛇x的是，鍵盤輸入欄或區(qū)域52的輪廓的網(wǎng)格50被預(yù)先印在觸控面40或45上， 或者觸控面能夠被整合入觸摸顯示屏中，所述的觸摸顯示屏中顯示了鍵盤輸入欄或區(qū)域的 輪廓。電容觸控屏45印有輪廓來限定鍵盤輸入欄52，如果觸碰了輸入欄，就會(huì)觸發(fā)輸入相 應(yīng)所選的字母、記號(hào)或命令。此外，這樣的輸入欄52能夠由液晶觸控屏上的顯示領(lǐng)域來限定?，F(xiàn)在參見圖5，在一個(gè)實(shí)施例中，外設(shè)設(shè)備20、20’具有一個(gè)接近傳感子系統(tǒng) 54 (PSS)、一個(gè)無線收發(fā)器(T/R) 56，所述的無線收發(fā)器56用于發(fā)送和接受符合由IR、RF、 “藍(lán)牙” 、"WiFi，， 制定的通訊協(xié)議的編碼數(shù)據(jù)，通過數(shù)據(jù)連接設(shè)備(D⑶，例如天線)58將 數(shù)據(jù)和命令信號(hào)傳輸至處理器12，更優(yōu)選的是通過無線集線器22 (例如，通過一個(gè)第二數(shù) 據(jù)連接設(shè)備和無線收發(fā)器)。在另一個(gè)實(shí)施例中，接近傳感子系統(tǒng)54是可選擇的，并且一個(gè) 根據(jù)本發(fā)明的實(shí)施例的系統(tǒng)是基于觸碰的(沒有接近傳感)。指令26在處理器12中是可 執(zhí)行的來接收來自外設(shè)設(shè)備20、20’數(shù)據(jù)輸入。當(dāng)數(shù)據(jù)從接近傳感子系統(tǒng)54中發(fā)出后，指 令26使得顯示設(shè)備16上除了現(xiàn)實(shí)外設(shè)設(shè)備20、20’的虛擬圖像(或它的輸入欄42、44)外 還顯示了目標(biāo)36的虛擬圖像32，所述的顯示目標(biāo)36的虛擬圖像32在顯示屏上的位置至少 是根據(jù)現(xiàn)實(shí)世界中的目標(biāo)36相對(duì)于現(xiàn)實(shí)世界的外設(shè)設(shè)備20、20’的位置而再現(xiàn)的外設(shè)設(shè)備 20,20'上的輸入欄方向上的二維平面圖的圖像。然后指令26促使接收來自外設(shè)設(shè)備20、 20’的數(shù)據(jù)輸入并以適當(dāng)?shù)姆绞絹硖幚頂?shù)據(jù)對(duì)發(fā)送的數(shù)據(jù)進(jìn)行分類，辨別是否是輸入字母、 單詞或命令(例如，轉(zhuǎn)換或控制功能)。參見圖6，在一個(gè)實(shí)施例中，外設(shè)設(shè)備20、20’包括具有附加的接近傳感的觸控板 模塊60。一個(gè)基于由加利福尼亞州圣何塞市的賽普拉斯半導(dǎo)體公司研發(fā)的“TRUET0UCH” 觸摸屏解決方案的適合的遠(yuǎn)程多點(diǎn)觸控設(shè)備被用于觸控板模塊60中。這種設(shè)備包含了電 容接近手指懸停功能。在這樣一個(gè)實(shí)施例中，觸控板模塊60具有接近傳感器62，所述的接近傳感器以緊 湊的接近傳感器陣列或接近傳感器組68的形式被整合入觸控板模塊表面64中。一塊薄的 背光板70 (例如，由芬蘭的Modilis公司生產(chǎn)的“FLEXFILM” 厚度大約為0. 3-0. 4毫米)
10被加在接近傳感器62的陣列68的上部，上面覆蓋著玻璃板72 (厚度大約為0. 6-0. 8毫米)， 可選的是，玻璃板上可以涂上顏色來標(biāo)記輸入?yún)^(qū)域，并封裝在外罩(沒有展示)內(nèi)。參見圖7A和圖7B，在上述的實(shí)施例中，接近傳感器62在目標(biāo)接近多點(diǎn)觸控面74 時(shí)定位目標(biāo)36，在這個(gè)案例中目標(biāo)為手指。圓環(huán)75指示的是與網(wǎng)格76上的目標(biāo)36相對(duì)應(yīng) 的位置，當(dāng)檢測(cè)到?jīng)]有觸碰時(shí)，所述的圓環(huán)75是空心的。當(dāng)檢測(cè)到有物體接近時(shí)，出現(xiàn)圓環(huán) 75，并且圓環(huán)的尺寸通常表示目標(biāo)36里多點(diǎn)觸控面74的距離d。在圖7B中，當(dāng)被檢測(cè)目標(biāo)36觸碰到多點(diǎn)觸控面74時(shí)，表示目標(biāo)位置的空心的圓 環(huán)75變成實(shí)心圓80。通常，當(dāng)檢測(cè)到觸碰時(shí)，目標(biāo)36與多點(diǎn)觸控面74之間的連接區(qū)域所 指出的尺寸為它的實(shí)際尺寸或至少保持關(guān)于輸入表面的相對(duì)尺寸。處理器12解讀觸碰或懸停信息，如附圖中所示的在網(wǎng)格76、76’上方的接近或觸 碰的動(dòng)作。根據(jù)網(wǎng)格的位置，處理器12能夠讀取目標(biāo)的位置，決定是否發(fā)生觸碰，識(shí)別存在 多少個(gè)目標(biāo)36，同時(shí)也估算目標(biāo)離觸控接口的距離并且，當(dāng)指示為觸碰時(shí)(即實(shí)心圓80)， 決定觸碰的表面有多大。此處的外設(shè)設(shè)備20、20’包括多點(diǎn)觸控模塊60，數(shù)據(jù)輸入及它的虛擬化能夠像本 技術(shù)領(lǐng)域內(nèi)已有的專利中所描述的那樣被實(shí)現(xiàn)。例如，美國(guó)專利申請(qǐng)第11/696，703號(hào)標(biāo)題 為《活動(dòng)的觸摸屏虛擬鍵盤的虛擬按鍵》，其內(nèi)容通過引用結(jié)合到本文中，此文描述一種更 加詳細(xì)的操作觸摸屏的方法來使一組虛擬按鍵活動(dòng)。根據(jù)有關(guān)觸摸屏上的觸控輸入的位 置數(shù)據(jù)來決定觸碰的位置，其中所述的觸控輸入用來使一組虛擬按鍵活動(dòng)。每一組虛擬按 鍵都具有一組至少含有一個(gè)按鍵位置與其一致的。對(duì)于每個(gè)虛擬按鍵來說，將決定的條件 (例如物理距離)用于虛擬按鍵來將觸碰位置與一組至少含有一個(gè)按鍵位置與虛擬按鍵相 對(duì)應(yīng)的位置聯(lián)系起來。處理所決定的條件來確定虛擬按鍵中的一個(gè)。例如，所確定的一個(gè) 虛擬按鍵是一個(gè)具有按鍵位置(或更多個(gè)按鍵位置)虛擬按鍵，所述的按鍵位置最接近觸 碰位置。產(chǎn)生一個(gè)代表著確定的虛擬按鍵激活的信號(hào)。產(chǎn)生一個(gè)代表著識(shí)別虛擬按鍵激活 的信號(hào)。再次參見圖2，信號(hào)能能夠高亮或強(qiáng)調(diào)特別的按鍵82。參見圖8，一張圖表90展示了根據(jù)本發(fā)明提供的實(shí)施例中的輸入的典型的分類。 應(yīng)該考慮到這只是一種典型、并不詳細(xì)的輸入分類的例子。簡(jiǎn)單的來說，為了區(qū)別外設(shè)設(shè)備 20，20’的操作模式，要求在用戶的身體部分上進(jìn)行直接的多做。一個(gè)典型的例子是一個(gè)信 號(hào)目標(biāo)36被接近傳感子系統(tǒng)54感應(yīng)到，接收到的來自外設(shè)設(shè)備20，20’的輸入數(shù)據(jù)被分類 為輸入字母、數(shù)字或標(biāo)記，優(yōu)選的是，這通過“SWYPE”技術(shù)(促進(jìn)基于手勢(shì)的輸入)得到加 強(qiáng)。在感應(yīng)到兩個(gè)之間有一定距離的目標(biāo)36情況下，接收到的來自外設(shè)設(shè)備20，20’的輸 入數(shù)據(jù)被分類為是命令或宏觀輸入。在感應(yīng)到的兩個(gè)目標(biāo)36很接近的情況下，接收到的 來自外設(shè)設(shè)備20，20’的輸入數(shù)據(jù)被分類為定點(diǎn)設(shè)備控制輸入。這種定點(diǎn)輸入執(zhí)行一個(gè)定 點(diǎn)子程序來處理接收得到的定點(diǎn)數(shù)據(jù)輸入的數(shù)據(jù)，以任何已知的方式來控制顯示屏上的光 標(biāo)。這種規(guī)定就給用戶提供了一種透明輸入模式。需要注意的是，對(duì)外設(shè)設(shè)備20、20’做出的輸入能夠具有各種由任何適用的協(xié)議來 限定的方法，并且即使能將輸入與其他輸入設(shè)備(例如，從標(biāo)準(zhǔn)鍵盤輸入到眨眼檢測(cè))結(jié)合 起來而產(chǎn)生更多新的混合方法。美國(guó)專利申請(qǐng)第11/696，701號(hào)標(biāo)題為《帶有觸摸屏的電腦操作》，其內(nèi)容通過引 用結(jié)合到本文中，描述了觸摸屏的使用來檢測(cè)大量觸發(fā)虛擬鍵盤顯示的用戶輸入。美國(guó)專利申請(qǐng)第10/903，964號(hào)標(biāo)題為《用于靈敏的觸摸輸入設(shè)備的手勢(shì)》，其內(nèi)容通過引用結(jié) 合到本文中，描述了用于多個(gè)復(fù)合用戶輸入的手勢(shì)的檢測(cè)，根據(jù)手勢(shì)，顯示所選擇的虛擬鍵 盤。美國(guó)專利第11/696，693號(hào)標(biāo)題為《虛擬輸入設(shè)備在觸摸屏用戶接口上的位移》，其內(nèi)容 通過引用結(jié)合到本文中，描述了在電腦的觸摸屏上生成的顯示。在本申請(qǐng)中，觸摸屏與顯示 設(shè)備的顯示屏相似并且利用類似的硬件和處理步驟就能夠用來生成虛擬輸入設(shè)備的顯示， 就像本文中所描述的外設(shè)設(shè)備或虛擬鍵盤的虛擬圖像。參見圖9，本發(fā)明的方法30包括下列步驟，步驟100，讀取來自每個(gè)接近傳感電極 的接近信號(hào)；步驟102，檢查接近信號(hào)是否超出了特征檢測(cè)臨界點(diǎn)并將它們歸類為高接近 信號(hào)；步驟104，根據(jù)指示出信號(hào)特征檢測(cè)的傳感電極的相應(yīng)位置將高接近信號(hào)歸納為組； 步驟106，在每個(gè)組中，識(shí)別本地最高的接近信號(hào)；步驟110，通過處理每一個(gè)本地最高的接 近信號(hào)和它鄰近的接近電極信號(hào)，利用三角則兩的方法來計(jì)算每個(gè)特征的X、Y、Z軸的位 置；和步驟112，在虛擬鍵盤上顯示每個(gè)特征的X、Y軸上的正確位置并利用深度線索來顯示 相應(yīng)的Z軸位置?，F(xiàn)在參見圖10，在本領(lǐng)域中利用一組接近傳感器114來進(jìn)行目標(biāo)36的三角測(cè)量是 已知的。這樣的處理被用于物體的GPS定位，根據(jù)來自幾個(gè)遠(yuǎn)程衛(wèi)星的檢測(cè)來計(jì)算物體的 位置。在附圖中，描述了利用四個(gè)接近傳感器114來確定目標(biāo)36的位置。由相應(yīng)的傳感器 114分別測(cè)出目標(biāo)36的距離dl、d2、d3和d4。為了進(jìn)行本文中所描述的追蹤，根據(jù)相應(yīng)的 輸入距離dl至d4來進(jìn)行三角測(cè)量，如此在三維空間上定位目標(biāo)的點(diǎn)116。參見圖11，在另一個(gè)實(shí)施例中，外設(shè)設(shè)備20，20’使用多個(gè)三維接近傳感模塊120。 模塊120由一個(gè)PCB122、接近傳感器124、具有雙層ITO的觸控板模塊126或一個(gè)有規(guī)律的 觸控板PCB、和一塊玻璃板132組成。所述的PCB122上具有幾個(gè)整合的接近感應(yīng)器124，所 述的接近傳感器被設(shè)置成一個(gè)接近傳感器組或接近傳感器陣列(這樣就能如下文所述在 觸控板模塊126周圍形成一個(gè)矩形)。觸控板模塊126位于具有整合的接近傳感器124 (或 天線)的PCB122的頂部，組成觸控板PCB128。可選的是，能夠使用雙層ITO (氧化銦錫)。 然后一塊玻璃板被放置在上面，并被封裝在外罩(沒有展示)內(nèi)。通過這種方法，這樣的組 合能夠根據(jù)檢測(cè)到的傳感器陣列的距離計(jì)算出目標(biāo)的三維位置，并用這個(gè)結(jié)果估量附近的 目標(biāo)(如上文中對(duì)圖10的說明)。另一個(gè)實(shí)施例能夠在目標(biāo)接近觸控面40、44、74時(shí)利用已知的技術(shù)來追蹤目標(biāo) 36，所述的已知技術(shù)用于追蹤不同大小的移動(dòng)的物體，物體大小的范圍可以從冰球到飛 機(jī)。根本上來說，這些已知的技術(shù)利用雷達(dá)這樣的接近傳感器來測(cè)量傳感器與目標(biāo)之間 的距離。在傳感器組使用了足夠數(shù)量的傳感器的情況下，通過在處理器中運(yùn)行計(jì)算程序， 就能夠解決發(fā)送出的單一目標(biāo)或可能的目標(biāo)的最小集合的距離信息。這種適合的追蹤技 術(shù)在Cavallaro等人的美國(guó)專利第6，304，665號(hào)、MacDonald的美國(guó)專利第5，506，650 號(hào)、Bickert等人的國(guó)際公開號(hào)為W02005/077466、Nuttall的美國(guó)專利第5，138，322號(hào)和 Cavallaro等人的美國(guó)專利第6，292，130號(hào)中被公開，其內(nèi)容通過引用結(jié)合到本文中。其中 所描述的部件僅僅被最小化并且只適用于在目標(biāo)接近觸控面或鍵盤時(shí)來追蹤目標(biāo)。在另一個(gè)實(shí)施例中，視頻圖像中的活動(dòng)檢測(cè)技術(shù)通過追蹤穿過輸入設(shè)備上方用戶 的手的視頻圖像的冷光的變化，被用于識(shí)別物體，然而，選定按鍵是利用傳統(tǒng)的電容觸控傳 感器檢測(cè)到的，這一技術(shù)在內(nèi)斯特股份有限公司的美國(guó)專利第6，760,061號(hào)中被公開，其內(nèi)容通過引用結(jié)合到本文中。因此，將攝像頭138嵌入外設(shè)設(shè)備20”能夠檢測(cè)到外設(shè)設(shè)備上 方目標(biāo)36的位置和活動(dòng)，之后結(jié)合操作處理器12和指令26’，先將目標(biāo)的圖像倒置(例如 圖12中所描述的方法的步驟154)并且在投射出理想迅速的圖像前先進(jìn)行處理，優(yōu)選的是 將顯示屏16中顯示的位于虛擬鍵盤33上方的目標(biāo)的圖像透明化。進(jìn)行圖像識(shí)別步驟(例 如圖12所描述的方法的步驟144和/或146)，其中根據(jù)看到和歸類的最接近鍵盤或觸控接 口 40、44、45的特定的手指的形狀來識(shí)別用戶的手(之后對(duì)比已存儲(chǔ)的典型的具有特定伸 長(zhǎng)的手指的形狀)。然后，將這種特定的手指與由電容傳感器檢測(cè)到的最接近的物體聯(lián)系 起來并被記錄為最接近的手指位置。因此，能夠準(zhǔn)確地將手部圖像32覆蓋在虛擬輸入?yún)^(qū)域 33上。在這種情況下，目標(biāo)36的透明圖像32就是攝像頭138所捕捉到的實(shí)際目標(biāo)的視頻 圖像參見圖12，用于識(shí)別和投影目標(biāo)36的視頻圖像32的方法140包括幾個(gè)步驟。在 第一個(gè)步驟142中，在目標(biāo)36接近輸入欄40、44、45、74時(shí)，目標(biāo)36被攝錄下來。在第二個(gè) 步驟144中，利用圖像識(shí)別軟件識(shí)別并歸類目標(biāo)36的類型。在第三個(gè)步驟146中，利用圖像 識(shí)別軟件(配合相關(guān)的子系統(tǒng))將圖像與一組目標(biāo)類型和識(shí)別的類型的圖像進(jìn)行比較。在 第四個(gè)步驟150中，利用接近傳感器54、62、114、124定位目標(biāo)36最接近輸入設(shè)備面40、44、 45,75的部分。在第五個(gè)步驟152中，聯(lián)系由接近傳感器54、62、114、124檢測(cè)到的目標(biāo)36 的最接近輸入面40、44、45、74的部分(例如，圖10中116)，將識(shí)別到的最接近輸入面40、 44、45、74的目標(biāo)的部分記錄為最接近的位置。在第六個(gè)步驟154中，由于需要估計(jì)來自用 戶的不同視點(diǎn)，將視頻圖像倒置。在第七個(gè)步驟中，目標(biāo)的視頻圖像以透明模式精確地覆蓋 在輸入欄上。在另一個(gè)實(shí)施例中，處理器12包括形成指令集的指令，用于在接近傳感器54、62、 114、142檢測(cè)到外設(shè)設(shè)備20、20’附近的目標(biāo)時(shí)，自動(dòng)激活系統(tǒng)。當(dāng)自動(dòng)激活系統(tǒng)時(shí)，在顯示 屏16上顯示目標(biāo)36的圖像32。另外，可選的是，當(dāng)自動(dòng)激活系統(tǒng)時(shí)，在顯示屏16上顯示輸 入欄40、44的圖像36。對(duì)外設(shè)設(shè)備20、20，附近目標(biāo)36的接近檢測(cè)觸發(fā)了在顯示屏16上 至少顯示外設(shè)設(shè)備的輸入欄40、44、45的虛擬圖像33。即使在接近傳感器54、62、114、124 處于睡眠模式下，這樣的檢測(cè)能夠用于啟動(dòng)處于待機(jī)模式的外設(shè)設(shè)備20、20’或激活其它耗 電的功能(例如，照明功能、背光模塊或本地顯示)。另外，當(dāng)用戶34看到他的虛擬手指32 出現(xiàn)在顯示屏16上時(shí)，接著就能夠調(diào)整他的虛擬手指相對(duì)于虛擬輸入欄33的位置而不需 要看外設(shè)設(shè)備20、20’的實(shí)體或他自己的手指。在另一個(gè)適用于讓主持人利用他的手或手臂給觀看者做出虛擬手勢(shì)的實(shí)施例中， 接近傳感子系統(tǒng)54檢測(cè)多個(gè)目標(biāo)36并實(shí)時(shí)地動(dòng)態(tài)地將相關(guān)的位置數(shù)據(jù)發(fā)送至個(gè)人電腦14 的操作系統(tǒng)24，用來在虛擬外設(shè)設(shè)備33上顯示多個(gè)手指，這也是為了更進(jìn)一步讓用戶關(guān)注 顯示屏16來更好地理解和糾正他或她的手指手勢(shì)來提高他或她的輸入本發(fā)明的系統(tǒng)的輸 入量。這種將注意力集中至電腦顯示屏的能力能夠減少由于在輸入設(shè)備與更遠(yuǎn)的電腦顯示 屏之間相互切換引起的眼睛疲勞。另外，這種實(shí)施例將檢測(cè)到的手或手臂顯示在顯示屏16 上，盡管該顯示屏遠(yuǎn)離用戶34，但是還是能引起觀看者的注意，因此，這種顯示促進(jìn)了交流。在另一個(gè)實(shí)施例中，本發(fā)明的系統(tǒng)10和方法30、140能夠以習(xí)慣的方式改變顯示 屏16上外設(shè)設(shè)備20、20’的虛擬圖像的大小，布局以及隱藏該圖像，就像點(diǎn)擊關(guān)閉、移動(dòng)窗 口或改變窗口大小。
在另一個(gè)實(shí)施例中，利用大量線索例如距離/深度線索，在顯示屏16上顯示圖像 36的虛擬圖像32的二維視圖，這些線索包括目標(biāo)尺寸的變化、目標(biāo)顏色和/或透明度的 變化、與目標(biāo)位置相對(duì)應(yīng)的陰影的變化、目標(biāo)陰影的顏色和/或透明度的變化、目標(biāo)的陰影 模糊的變化和顯示的箭頭將目標(biāo)與輸入設(shè)備表面的距離譯成編碼。在當(dāng)目標(biāo)接近或遠(yuǎn)離外 設(shè)設(shè)備20、20’時(shí)聲音發(fā)生變化的情況下，也可以利用聲音。這種目標(biāo)36的虛擬圖像32可以是簡(jiǎn)單的抽象圖，類似鼠標(biāo)指針但也可以是其他 的形狀，例如人類手指的簡(jiǎn)化圖像。適合的人類手指的虛擬圖像32可以是一個(gè)長(zhǎng)矩形(沒 有展示)，在它的輸入端呈圓形或具有一個(gè)點(diǎn)，這樣來簡(jiǎn)單地突出虛擬圖像在顯示器上的虛 擬方向。在這種實(shí)施例中，矩形一端的相關(guān)位置與目標(biāo)的輸入端的位置一致是很重要的。顯 示另一端僅僅只是為了給人一種視覺感(換言之，這樣的圖像就是一根手指)。現(xiàn)在參見圖13，系統(tǒng)10被包括在具有一個(gè)、多個(gè)或形成陣列的壓力式鍵盤160(當(dāng) 前技術(shù)的鍵盤，例如彈片鍵盤或剪刀鍵盤)的輸入設(shè)備20”中，其中光接近傳感器162 (例 如，紅外傳感器)被整合入至少一個(gè)按鍵的中心或經(jīng)由挑選的按鍵中。一個(gè)圓形的、透明的 蓋片164封裝著接近傳感器162放在按鍵160上。數(shù)據(jù)連接設(shè)備(如圖5中的數(shù)據(jù)連接設(shè) 備58)用于將來自接近傳感器162的與輸入和/或接近數(shù)據(jù)一致的信號(hào)發(fā)送至處理器12。 接近傳感器162，在本實(shí)施例中優(yōu)選的是紅外傳感器，用來動(dòng)態(tài)識(shí)別輸入設(shè)備20”附近的目 標(biāo)36的活動(dòng)。當(dāng)由處理器12通過輸入設(shè)備20”的數(shù)據(jù)連接設(shè)備接收到接近傳感器162 的輸入和/或接近數(shù)據(jù)(包括存在、距離和可選的軌跡數(shù)據(jù)，換句話說就是三維矢量數(shù)據(jù)) 時(shí)，指令集由處理器12執(zhí)行。接近傳感器162用于確定目標(biāo)36存在的同時(shí)也確定目標(biāo)36 離按鍵160的距離以及目標(biāo)的軌跡。處理器12在顯示屏16的窗口上顯示輸入欄40、44、 45的圖像33。處理器12進(jìn)一步實(shí)時(shí)顯示目標(biāo)36的虛擬圖像并實(shí)時(shí)地將其覆蓋到剛顯示 的圖像上。因此，在目標(biāo)36在按鍵附近或接近按鍵時(shí)，接近傳感器162提高了檢測(cè)壓力式 鍵盤的標(biāo)準(zhǔn)。因此，這樣讓用戶參照顯示出的虛擬圖像來調(diào)整互動(dòng)。在另一個(gè)實(shí)施例中，輸入設(shè)備具有一個(gè)、多個(gè)或形成陣列的壓力式鍵盤160(當(dāng)前 技術(shù)的鍵盤，例如彈片鍵盤或剪刀鍵盤)，所述的鍵盤整合有電容傳感器62、114、124來代 替紅外接近傳感器162，優(yōu)選的是在每個(gè)按鍵下都有電容傳感器。在這個(gè)實(shí)施例中，不需要 透明的蓋片，因?yàn)槟軌蛲ㄟ^按鍵看到電容傳感器并且電容傳感器能夠就好像沒有按鍵那樣 來檢測(cè)接近的目標(biāo)(換句話說，按鍵對(duì)傳感器來說是透明的)。還有另一個(gè)實(shí)施例中，用壓力傳感觸控面代替了接近傳感器，像是法國(guó)的Stantum 公司生產(chǎn)的多點(diǎn)觸控面，能夠利用低于臨界值的光壓來模擬觸控面上方“懸?！钡氖种傅幕?行動(dòng)作，所述的“懸?！本偷韧谏衔闹忻枋龅摹皯彝！眲?dòng)作。用戶的手指施加的壓力超出 壓力的臨界值時(shí)，就認(rèn)為發(fā)生觸碰并且記錄相關(guān)的觸碰位置的輸入。這個(gè)實(shí)施例是本發(fā)明 的一個(gè)低成本版本，在其他方面，為了讓用戶體驗(yàn)到本文中所描述的其他的實(shí)施例。本發(fā)明的一個(gè)特征就是能夠給用戶創(chuàng)造遠(yuǎn)程使用觸摸屏的體驗(yàn)，而不需要用戶觸 碰顯示器并且進(jìn)一步來說，也不需要觸摸屏設(shè)備。本發(fā)明另一個(gè)特征是能夠?qū)崿F(xiàn)一對(duì)一的復(fù)制，將現(xiàn)實(shí)世界復(fù)制到虛擬世界中，而 給用戶提供了像是虛擬世界所提供的靈活多變的位置、相對(duì)應(yīng)的方向等。(例如，能夠在客 廳里依靠在舒適的椅子邊看著大屏幕電視邊記錄劇本的時(shí)候打字、在遠(yuǎn)離大屏幕站著工作 時(shí)打字、在將大屏幕上存在的信息傳遞給他人或者利用具有大屏幕的電腦設(shè)備與替他人進(jìn)
14行實(shí)時(shí)互動(dòng)時(shí)打字)。另一個(gè)特征是，本發(fā)明能讓用戶在遠(yuǎn)離顯示的鍵盤的虛擬圖像的情況下輸入數(shù) 據(jù)。另一個(gè)特征是，本發(fā)明能讓用戶更舒適更靈活地與個(gè)人電腦或個(gè)人娛樂設(shè)備互 動(dòng)，例如多媒體播放器。本發(fā)明包括如本文所描述的與附圖相關(guān)的系統(tǒng)和方法。而且，本發(fā)明的系統(tǒng)和方法考慮了具有與本文所描述的相似功能的產(chǎn)品、服務(wù)或 信息的使用、銷售和/或分配。本文中提到的適用于本發(fā)明的系統(tǒng)或組件的供應(yīng)商，這些并不能看作是在引用早 于本發(fā)明的在先技術(shù)，相反這只是代表這是適合的組件的來源，其中的技術(shù)是在本發(fā)明要 求的優(yōu)先權(quán)日期之后獲得的。換句話來說，本文所引用的適合的組件并不能看作是本發(fā)明 的在先技術(shù)。說明書和附圖只是用來解釋說明的，并非用于限定本發(fā)明的并且本文所描述的所 有的改變都被包括在本發(fā)明的權(quán)利要求范圍內(nèi)，即使在申請(qǐng)文件中沒有特別聲明。例如，所 使用的術(shù)語“虛擬鍵盤”，可以被看成包含包括了任何輸入欄或由輸入欄組成的陣列或組， 例如，在顯示屏上顯示的用來與目標(biāo)的手指進(jìn)行虛擬互動(dòng)的圖標(biāo)、菜單或下拉式菜單。因 此，本發(fā)明的范圍應(yīng)該由本發(fā)明的權(quán)利要求或之后的修改或添加來確定，并且他們的法律 效應(yīng)等于但不僅限于上述的例子。例如，在任何方法或過程權(quán)利要求中提到的步驟能夠以 任何順序來執(zhí)行并不限于任何權(quán)利要求中出現(xiàn)的特定順序。而且，在裝置權(quán)利要求中所描 述的組件和/或元件組裝或有選擇性的按照各種排列進(jìn)行配置生產(chǎn)出與本發(fā)明大致上相 同的產(chǎn)品。因此，本發(fā)明并不限于權(quán)利要求所描述的特定結(jié)構(gòu)。本文所提到的好處、其他優(yōu)勢(shì)和解決方案并不能看作是任何或所有權(quán)利要求中的 具有決定性的、要求的或必不可少的功能或組件。像本文中使用術(shù)語“包括”、“包含”、或這類詞的任何變化，是為了提到一個(gè)非唯一 的組件列表，這樣本發(fā)明中的任何處理過程、方法、條款、作品或裝置所包括的組件列表不 僅包括其中提到的組件，也包括其他在說明書中提到的組件。使用術(shù)語“組成”或“由…組 成”或“大體上由…組成”不是為了限定本發(fā)明中所列舉的組件的范圍，除非在文中指明。 上述用于本發(fā)明實(shí)踐中的組件、材料或結(jié)構(gòu)具有多種組合和/或改變或著由本技術(shù)領(lǐng)域的 技術(shù)人員進(jìn)行調(diào)整做出其它的設(shè)計(jì)，但這些并不會(huì)背離本發(fā)明的基本原理。本文所提到的專利和文章，除非有而外的說明，這些引用的范圍與本身公開的內(nèi) 容相同。在權(quán)利要求中描述了本發(fā)明執(zhí)行的其他參數(shù)和模式。另外，本發(fā)明應(yīng)該包括所有可能的特征組合，這些組合可能會(huì)被當(dāng)做新發(fā)明、創(chuàng)造 及工業(yè)應(yīng)用，其中，所述的特征在本說明書、權(quán)利要求書和/或附圖中都有描述。本文所描述的本發(fā)明的實(shí)施例可能存在多種變化和修改。盡管本文中已展示和描 述了關(guān)于本發(fā)明的實(shí)施例的確切說明，但是，修改、變化和代替都已經(jīng)在前面所公開的內(nèi)容 中被考慮到。然而上文的描述包含了許多具體細(xì)節(jié)，這些不應(yīng)該被看作是本發(fā)明的限定范 圍，而只是本發(fā)明的一個(gè)或另一個(gè)優(yōu)選的實(shí)施例的范例。在一些例子中，能夠使用本發(fā)明的 一些特征而無需使用其它的相應(yīng)的特征。因此，應(yīng)該僅僅將上文的描述看作和理解為說明和舉例，本發(fā)明的精神和范圍由本次申請(qǐng)最終發(fā)表的權(quán)利要求來限定。
0094]元件列表0095]系統(tǒng)100096]處理器120097]個(gè)人電腦、機(jī)頂盒、多媒體設(shè)備140098]顯示屏160099]輸入設(shè)備、外設(shè)設(shè)備20 (整個(gè)鍵盤)0100]無線集線器220101]操作系統(tǒng)240102]指令260103]方法300104]目標(biāo)的圖像320105]輸入欄的圖像330106]用戶340107]目標(biāo)360108]拇指370109]主輸入設(shè)備380110]主輸入面400111]鍵盤輸入欄420112]多點(diǎn)觸控輸入面、輸入面440113]外罩460114]輔助輸入設(shè)備480115]紅外傳感器1620116]單一的多點(diǎn)觸控面450117]網(wǎng)格500118]區(qū)域520119]接近傳感子系統(tǒng)(PSS) 540120]無線收發(fā)器560121]數(shù)據(jù)連接設(shè)備(DCD) 580122]觸控板模塊600123]接近傳感器620124]觸控板模塊表面640125]PCB660126]接近傳感器陣列680127]薄背光板700128]玻璃板720129]玻璃板的上表面740130]圓環(huán)750131]網(wǎng)格76距離d 實(shí)心圓80 網(wǎng)格76， 按鍵82 表格90 方法30 步驟一 100 步驟二 102 步驟三104 步驟四106 步驟五110 步驟六112 傳感器114 dl d2 d3 d4
三維接近傳感模塊120 PCB122 接近電極124 觸控板模塊126 觸控板PCB128 雙層IT0129 玻璃板132 攝像頭138 方法140 步驟一 142 步驟二 144 步驟三146 步驟四150 步驟五152 步驟六154 指令156 輸入設(shè)備20” 按鍵160 接近傳感器162 圓形遮蓋物16權(quán)利要求
一種用于在遠(yuǎn)程顯示屏上進(jìn)行虛擬輸入的外設(shè)設(shè)備，其特征在于，所述的外設(shè)設(shè)備包括至少一個(gè)接近傳感器，用于動(dòng)態(tài)識(shí)別至少一個(gè)接近所述的外設(shè)設(shè)備的目標(biāo)的活動(dòng)；以及一個(gè)數(shù)據(jù)連接設(shè)備，用于將來自接近傳感器的信號(hào)發(fā)送至處理器，所述的處理器連接著遠(yuǎn)程顯示屏并與顯示屏進(jìn)行互動(dòng)，從而構(gòu)成在顯示屏上顯示輸入欄的圖像，和當(dāng)實(shí)時(shí)檢測(cè)到有覆蓋物時(shí)，在顯示屏上顯示輸入欄的圖像上方的目標(biāo)的虛擬圖像。
2.如權(quán)利要求1所述的外設(shè)設(shè)備，其特征在于，所述的目標(biāo)是由用戶的一只手或多只 手、一根手指或多根手指、一條手臂或多條手臂、一支書寫筆或多支書寫筆及一個(gè)指物棒或 多個(gè)指物棒組成的一組目標(biāo)中的一種。
3.如權(quán)利要求1所述的外設(shè)設(shè)備，其特征在于，至少一個(gè)所述的接近傳感器被整合入 至少一個(gè)傳統(tǒng)的機(jī)械鍵盤中，因此，在符合規(guī)定的觸碰條件時(shí)，提供按鍵觸控激活。
4.如權(quán)利要求3所述的外設(shè)設(shè)備，其特征在于，所述的觸碰條件是指足夠接近，這時(shí)， 標(biāo)示觸碰的觸碰信號(hào)被發(fā)送至處理器，因此，使得傳統(tǒng)的鍵盤也具有觸控板的效果。
5.如權(quán)利要求1所述的外設(shè)設(shè)備，其特征在于，所述的接近傳感器是能夠從由電容傳 感器、紅外傳感器、電磁傳感器、彈片開關(guān)、霍爾效應(yīng)傳感器、電阻變化傳感器、導(dǎo)電變化傳 感器、共鳴傳感器、無線電波傳感器、熱量檢測(cè)傳感器、渦電流傳感器、光譜識(shí)別傳感器和微 氣流變化傳感器組成的一組接近傳感器中選擇的。
6.如權(quán)利要求1所述的外設(shè)設(shè)備，其特征在于，所述的外設(shè)設(shè)備更進(jìn)一步包括至少一 個(gè)觸控傳感器。
7.如權(quán)利要求1所述的外設(shè)設(shè)備，其特征在于，所述的外設(shè)設(shè)備更進(jìn)一步包括一個(gè)多 點(diǎn)觸控輸入面。
8.如權(quán)利要求2所述的外設(shè)設(shè)備，其特征在于，所述的多點(diǎn)觸控輸入面被整合在外罩 上，所述的外罩能夠通過鍵控與主輸入面分開。
9.如權(quán)利要求1所述的外設(shè)設(shè)備，其特征在于，顯示在顯示器窗口上的所述的輸入欄 的圖像是虛擬鍵盤的圖像。
10.如權(quán)利要求1所述的外設(shè)設(shè)備，其特征在于，顯示在顯示器窗口上的所述的輸入欄 的圖像是透明的，從而使得能夠看到顯示屏中位于輸入欄的圖像下的內(nèi)容。
11.如權(quán)利要求1所述的外設(shè)設(shè)備，其特征在于，所述的處理器包括以指令集形式存在 的指令，所述的指令在接近傳感器檢測(cè)到外設(shè)設(shè)備附近的目標(biāo)時(shí)，自動(dòng)激活系統(tǒng)。
12.如權(quán)利要求11所述的外設(shè)設(shè)備，其特征在于，在系統(tǒng)自動(dòng)激活時(shí)，顯示屏上顯示目 標(biāo)的圖像。
13.如權(quán)利要求11所述的外設(shè)設(shè)備，其特征在于，在系統(tǒng)自動(dòng)激活時(shí)，在顯示屏上顯示 輸入欄的圖像。
14.如權(quán)利要求1所述的外設(shè)設(shè)備，其特征在于，從下列深度提示組成的一個(gè)深度提示 組中選出一個(gè)，利用這個(gè)深度提示來形成權(quán)利要求1中存在的目標(biāo)的圖像目標(biāo)尺寸的變化；目標(biāo)顏色和/或透明度的變化；與目標(biāo)位置相對(duì)應(yīng)的陰影的變化； 目標(biāo)陰影的顏色和/或透明度的變化； 目標(biāo)的陰影模糊的變化；顯示將目標(biāo)與輸入設(shè)備表面的距離譯成編碼的箭頭；和當(dāng)目標(biāo)接近或遠(yuǎn)離輸入設(shè)備表面時(shí)，利用聲音提示或由相關(guān)的聲音系統(tǒng)發(fā)送的聲音的變化。
15.如權(quán)利要求1所述的外設(shè)設(shè)備，其特征在于，所述的目標(biāo)的虛擬圖像是簡(jiǎn)化的圖 像，其中只有目標(biāo)的輸入端被顯示出來準(zhǔn)確地指向關(guān)于輸入欄的圖像的方向。
16.如權(quán)利要求14所述的外設(shè)設(shè)備，其特征在于，與所述的目標(biāo)的輸入端對(duì)立的一端 是以簡(jiǎn)化的方式呈現(xiàn)出來的。
17.一種用于在顯示屏上再現(xiàn)和顯示目標(biāo)的輸入關(guān)系的系統(tǒng)，其特征在于，因而允許用 戶通過顯示的虛擬圖像來實(shí)現(xiàn)調(diào)節(jié)互動(dòng)，所述的系統(tǒng)包括一個(gè)輸入設(shè)備；和一個(gè)能夠由處理器執(zhí)行的指令集，其中，當(dāng)通過處理器輸入和/或從輸入設(shè)備接收接 近數(shù)據(jù)時(shí)，利用處理器在顯示屏的窗口上形成出輸入欄的圖像，更進(jìn)一步來說，利用處理器 實(shí)時(shí)形成由輸入設(shè)備檢測(cè)到的目標(biāo)的虛擬圖像并實(shí)時(shí)將其覆蓋到這種形成的圖像上。
18.如權(quán)利要求17所述的系統(tǒng)，其特征在于，所述的輸入設(shè)備包括 至少一個(gè)壓力式輸入鍵盤；至少一個(gè)用于動(dòng)態(tài)識(shí)別輸入設(shè)備附近的目標(biāo)的活動(dòng)的接近傳感器；和 用于將與輸入和/或接近數(shù)據(jù)相對(duì)應(yīng)的信號(hào)發(fā)送至處理器的數(shù)據(jù)連接設(shè)備。
19.一種用于提供模擬觸摸屏的輸入功能，將其在遠(yuǎn)程顯示器上顯示的方法，其特征在 于，所述的方法的步驟包括檢測(cè)遠(yuǎn)程輸入設(shè)備周圍的一個(gè)或多個(gè)目標(biāo)； 利用接近數(shù)據(jù)在處理器中處理一個(gè)或多個(gè)目標(biāo)的三維位置； 在連接著處理器的顯示屏上顯示輸入?yún)^(qū)域的虛擬圖像； 計(jì)算相關(guān)的位置并將這些相關(guān)的位置信息發(fā)送至處理器；動(dòng)態(tài)實(shí)時(shí)顯示一個(gè)或多個(gè)目標(biāo)的虛擬圖像，所述的目標(biāo)所指向關(guān)于虛擬觸摸屏輸入設(shè) 備的方向與被檢測(cè)到的一個(gè)或多個(gè)目標(biāo)所指向的關(guān)于現(xiàn)實(shí)世界里的輸入設(shè)備的方向一致。
20.一種至少整合了一個(gè)接近傳感器的輸入按鍵，其特征在于，所述輸入按鍵用于確定 目標(biāo)的存在以及所述的目標(biāo)與按鍵之間的大致距離，所述的接近傳感器連接著處理器以處 理存在信息和距離信息。
21.如權(quán)利要求20所述的輸入按鍵，其特征在于，所述的接近傳感器適用于計(jì)算和發(fā) 送目標(biāo)的軌跡。
22.如權(quán)利要求20所述的輸入按鍵，其特征在于，所述的接近傳感器是能夠從一組由 電容傳感器、紅外傳感器、電磁傳感器、彈片開關(guān)、霍爾效應(yīng)傳感器、電阻變化傳感器、導(dǎo)電 變化傳感器、共鳴傳感器、無線電波傳感器、熱量檢測(cè)傳感器、渦電流傳感器、光譜識(shí)別傳感 器和微氣流變化傳感器組成的接近傳感器中選擇的。
23.如權(quán)利要求22所述的輸入按鍵，其特征在于，所述的輸入按鍵的彈片按鍵。
24.如權(quán)利要求22所述的輸入按鍵，其特征在于，所述的輸入按鍵的剪刀按鍵。
25.一種能夠在遠(yuǎn)程顯示屏上實(shí)現(xiàn)虛擬輸入的外設(shè)設(shè)備，其特征在于，所述的外設(shè)設(shè)備 包括至少一個(gè)接近傳感器，所述的接近傳感器適用于動(dòng)態(tài)識(shí)別外設(shè)設(shè)備周圍的至少一個(gè)目標(biāo)；一個(gè)適用于將來自接近傳感器的信號(hào)發(fā)送至處理器的數(shù)據(jù)連接設(shè)備，所述的處理器連 接著遠(yuǎn)程顯示屏的；和編碼指令，當(dāng)目標(biāo)被檢測(cè)到時(shí)，便進(jìn)行實(shí)時(shí)覆蓋，遠(yuǎn)程顯示器上的目標(biāo)的虛擬圖像所指 的方向相當(dāng)于現(xiàn)實(shí)世界中目標(biāo)指向接近傳感器的方向。
26.一種用于提供類似觸摸屏的輸入功能，并將其在遠(yuǎn)程顯示器上顯示的方法，其特征 在于，其中輸入是由遠(yuǎn)程的外設(shè)設(shè)備進(jìn)行的，所述的方法的步驟包括讀取來自每個(gè)接近傳感電極的接近信號(hào)；檢查接近信號(hào)是否超出特征檢測(cè)臨界點(diǎn)并且，如果超出的話，那么就將它們歸類為高 接近信號(hào)；根據(jù)指示信號(hào)特征檢測(cè)的傳感電極的相應(yīng)位置將高接近信號(hào)歸類多個(gè)組； 在每個(gè)組中識(shí)別本地最高的接近信號(hào)；和通過利用三角測(cè)量方法來處理每一個(gè)本地最高的接近信號(hào)及其鄰近的接近電極信號(hào) 來計(jì)算出每個(gè)信號(hào)特征的X、Y、Z軸的位置；以及在虛擬鍵盤上顯示出每個(gè)信號(hào)特征的X、Y軸的正確坐標(biāo)并利用深度提示顯示相應(yīng)的Z 軸位置。
27.如權(quán)利要求26所述的方法，其特征在于，所述的外設(shè)設(shè)備包括至少一個(gè)整合的攝 像頭，以及其中的方法包括下列附加的步驟借助于整合的攝像頭將目標(biāo)進(jìn)行歸類；識(shí)別與檢測(cè)到的本地最高的接近信號(hào)類似的目標(biāo)的區(qū)域；登記與檢測(cè)到的本地最高的接近信號(hào)類似的目標(biāo)的區(qū)域；和顯示在外圍設(shè)備的輸入?yún)^(qū)域的圖像上登記的目標(biāo)的圖像，優(yōu)選地以透明模式。
28.一種能夠在遠(yuǎn)程顯示屏上實(shí)現(xiàn)虛擬輸入的外設(shè)設(shè)備，其特征在于，所述的外設(shè)設(shè)備 包括至少一個(gè)接近傳感器，所述的接近傳感器適用于動(dòng)態(tài)識(shí)別外設(shè)設(shè)備周圍的至少一個(gè)目標(biāo)；一個(gè)適用于將來自接近傳感器的信號(hào)發(fā)送至處理器的數(shù)據(jù)連接設(shè)備，所述的處理器連 接著遠(yuǎn)程顯示屏的；和編碼指令，當(dāng)所述的編碼指令在處理器中執(zhí)行時(shí)，讀取來自被檢測(cè)到的目標(biāo)的數(shù)據(jù)并 且為了能夠?qū)崟r(shí)覆蓋遠(yuǎn)程顯示器上的目標(biāo)的虛擬圖像，利用數(shù)據(jù)連接設(shè)備發(fā)送所述的數(shù)據(jù) 來進(jìn)行處理，所述的虛擬圖像指向的方向相當(dāng)于現(xiàn)實(shí)世界中目標(biāo)指向接近傳感器的方向。
29.—種在說明書所描述的與附圖相關(guān)的系統(tǒng)。
30.一種在說明書所描述的與附圖相關(guān)的方法。
全文摘要
一種在遠(yuǎn)程、虛擬屏幕數(shù)據(jù)輸入的系統(tǒng)、裝置和方法包括一個(gè)由接近傳感器和數(shù)據(jù)通訊裝置組成的外設(shè)數(shù)據(jù)輸入設(shè)備(PDID)。接近傳感器用于動(dòng)態(tài)識(shí)別外設(shè)設(shè)備附近的目標(biāo)的活動(dòng)。數(shù)據(jù)連接設(shè)備用于將來自接近傳感器的信號(hào)發(fā)送至連接著遠(yuǎn)程顯示屏的處理器。處理器在顯示屏上顯示輸入欄的圖像，并且，當(dāng)實(shí)時(shí)察覺到遮蓋物時(shí)，目標(biāo)的虛擬圖像就覆蓋了輸入欄的圖像。
文檔編號(hào)G06F3/048GK101963840SQ20101023853
公開日2011年2月2日 申請(qǐng)日期2010年7月21日 優(yōu)先權(quán)日2009年7月22日
發(fā)明者尼古拉斯·紹文, 帕斯卡·艾切伯格, 弗雷德里克·威克斯 申請(qǐng)人:羅技?xì)W洲公司