基于聯(lián)合數(shù)據(jù)的虛擬手的制作方法
【專利摘要】示例計算系統(tǒng)可以包括顯示器和輸入裝置。該輸入裝置可以包括用于提供觸摸數(shù)據(jù)的觸摸傳感器和用于提供非接觸數(shù)據(jù)的非接觸傳感器。該非接觸傳感器的視場指向離開該觸摸傳感器。控制器將該觸摸數(shù)據(jù)和非接觸數(shù)據(jù)聯(lián)合為聯(lián)合數(shù)據(jù)，以生成要在該顯示器上顯示的虛擬手。該虛擬手包括未被感應的特征。
【專利說明】基于聯(lián)合數(shù)據(jù)的虛擬手

【背景技術】
[0001] 觸摸技術已經用于與諸如智能電話和平板之類的移動裝置的顯示交互。觸摸技術 可以用來為較大屏幕（例如臺式計算機）支持個人計算機（PC)觸摸體驗。然而，隨著顯示 器布局尺寸增加，全顯示屏觸摸技術的成本可能指數(shù)地增加，并且可能在使用大型觸摸屏 時引起"大猩猩臂（gorilla arm)"（保持在無支撐水平位置的人手臂迅速地疲勞和疼痛）。 獨立的跟蹤墊可以在使用單個手指時用作間接觸摸裝置，該間接觸摸裝置與主機連接以擔 當鼠標指針。跟蹤墊可以用于包括滾動、揮動、捏、縮放和旋轉在內的手勢。然而，獨立的跟 蹤墊/顯示器不能提供由觸摸屏提供的那種交互體驗，因為在跟蹤墊如何用于與顯示器交 互之間的中斷。

【專利附圖】

【附圖說明】
[0002] 圖1是根據(jù)示例的包括輸入裝置的計算系統(tǒng)的框圖。
[0003] 圖2是根據(jù)示例的包括輸入裝置的計算系統(tǒng)的框圖。
[0004] 圖3是根據(jù)示例的輸入裝置的框圖。
[0005] 圖4A-4D是根據(jù)示例的示出與包括輸入裝置的系統(tǒng)交互的框圖。
[0006] 圖5是根據(jù)示例的基于以輸入裝置為基礎生成虛擬手的流程圖。
[0007] 圖6是根據(jù)示例的基于顯示與感應會話關聯(lián)的虛擬手的流程圖。

【具體實施方式】
[0008] 示例系統(tǒng)可以提供直接觸摸體驗，即使在大屏幕觸摸環(huán)境（例如個人計算機（PC) 和平板）中也可以提供直接觸摸體驗。較低成本的跟蹤墊或者跟蹤墊變型可以用來提供直 接觸摸體驗，提供與使用像全屏幕投射電容式觸摸（PCT)顯示器這樣的較大布局排齊觸摸 顯示器相比的節(jié)省。跟蹤墊可以避免被稱作"大猩猩臂膀"的痛苦情形，同時允許沉浸式的 觸摸體驗。
[0009] 示例計算系統(tǒng)可以包括顯示器和輸入裝置。輸入裝置可以包括用于提供觸摸數(shù)據(jù) 的觸摸傳感器和用于提供非接觸數(shù)據(jù)的非接觸傳感器。非接觸傳感器的視場指向離開觸摸 傳感器?？刂破鲿⒂|摸數(shù)據(jù)和非接觸數(shù)據(jù)聯(lián)合成聯(lián)合數(shù)據(jù)，以生成要在顯示器上顯示的 虛擬手。虛擬手將包括未被感應的特征。
[0010] 示例系統(tǒng)可以支持通過使用觸摸跟蹤墊的轉換的直接觸摸體驗。該跟蹤墊可以提 供低成本機制，以支持排齊的觸摸PC顯示器交互體驗。通過例如使用軟件和/或控制器， 半透明的虛擬手可以呈現(xiàn)和疊加在顯示器上?？梢泽w驗與全尺寸顯示器的引人入勝的排齊 觸摸交互，仿佛正在使用昂貴的基于PCT的觸摸顯示器。非接觸傳感器（例如廣角相機） 可以與觸摸板一起使用，以提供使能夠在顯示器上生成/呈現(xiàn)的半透明虛擬手的附加（例 如二維（3D)透視）信息。
[0011] 圖1是根據(jù)示例的包括輸入裝置110的計算系統(tǒng)100的框圖。計算系統(tǒng)100還可 以包括控制器120和顯示器130。輸入裝置110可以包括觸摸傳感器112和非接觸傳感器 114。輸入裝置110可以生成（例如基于觸摸傳感器112的）觸摸數(shù)據(jù)122和（例如基于 非接觸傳感器114的）非接觸數(shù)據(jù)124?？刂破?20可以基于觸摸數(shù)據(jù)122和非接觸數(shù)據(jù) 124提供聯(lián)合數(shù)據(jù)126。
[0012] 基于聯(lián)合數(shù)據(jù)126,控制器120可以使虛擬手150在顯示器130上顯示。虛擬手 150可以包括未被感應的特征154(例如虛擬手154的背側、指甲、手指間的空間、指節(jié)、皮 膚、皺褶，毛發(fā)等）。虛擬手150可以半透明地覆蓋在被顯示的要素132上，使得下方的被顯 示的要素132透過虛擬手150是可見的。虛擬手150可以指示與被感應的手140的感應觸 摸142對應的虛擬觸摸152。
[0013] 非接觸傳感器114可以與視場（F0V) 116關聯(lián)。F0V 116如虛線箭頭所指示的那樣 指向離開輸入裝置110的觸摸傳感器112。換句話說，與從相對于輸入裝置110的頭頂視角 向下看相對照，非接觸傳感器114從輸入裝置110向上看（或者橫跨輸入裝置110向一邊 看）。F0V 116被顯示為小于180度，但是可以更大或者更小，包括可以基于一個非接觸傳 感器114和/或多個非接觸傳感器114的完全球面F0V。因此，F(xiàn)0V 116可以從非頭頂視角 (例如從下面（觀察被感應的手140的手掌）或者從被感應的手140的側面）感應被感應 的手140。
[0014] F0V 116可以基于非接觸傳感器114的焦距和傳感器尺寸。因此，F(xiàn)0V 116可以基 于特定傳感器的包括像與特定傳感器一起使用的光學器件這樣的其它特征在內的不同特 性而不同。在示例中，非接觸傳感器114可以包括用于提供160度F0V的鏡頭和相應傳感 器，但是選擇可以使用小于160度的更窄F0V 116的交互空間。
[0015] 關于本文公開的示例描述的各組件可以被實現(xiàn)為電子硬件、計算機軟件或者兩者 的組合。例如，控制器120可以使用軟件模塊、硬件模塊或者部件或者軟件和硬件模塊或部 件的組合來實現(xiàn)。在另一示例中，這些組件中至少一個可以包括在非瞬態(tài)計算機可讀存儲 介質上存儲的、可由處理器和/或存儲器執(zhí)行的軟件代碼?？刂破?20可以是對指令、數(shù)據(jù) 事務、代碼或信號進行執(zhí)行或解釋的硬件和軟件的任何組合。例如，控制器120可以是微處 理器、專用集成電路（"ASIC"）、像處理器或計算裝置的集群或網(wǎng)絡這樣的分布式處理器、 或者虛擬機。控制器120被示出為與顯示器130和輸入裝置110分離，但是在替代示例中 各組件可以集成在一起（例如將控制器120和/或顯示器130集成到輸入裝置110中）。
[0016] 聯(lián)合數(shù)據(jù)126可以用來識別被感應的手140的各種特征。聯(lián)合數(shù)據(jù)126可以允許 傳感器融合，其中觸摸數(shù)據(jù)122與非接觸數(shù)據(jù)124聯(lián)合以提供升高水平的信息和精度。例 如，基于指示與接觸傳感器112的單點接觸的觸摸數(shù)據(jù)122和指示被感應的手140相對于 感應觸摸142和/或輸入裝置110的位置的非接觸數(shù)據(jù)124,控制器120可以識別被感應的 手140的無名指正在提供感應觸摸142。因此，可以顯示虛擬手150,虛擬手150示出提供 虛擬觸摸152的虛擬無名指，虛擬手150反映被感應的手140的方位?？梢詸z測多個感應 觸摸并且將多個感應觸摸與非接觸數(shù)據(jù)進行配合，以提供被感應的手140的逼真虛擬化， 該虛擬化包括使用兩個被感應的手140的十指觸摸支持。使用觸摸傳感器112的實際輸出 (包括指示所有手指放置在哪兒的觸摸數(shù)據(jù)122)，虛擬手150的圖像可以呈現(xiàn)在顯示器130 上。連同虛擬手指在顯示器130上與聯(lián)合數(shù)據(jù)126指示的關于被感應的手140的位置相比 的相對位置一起，可以在顯示器130上提供虛擬手150的精確定位。這種傳感器融合可以 在被感應的手140和虛擬手150之間提供加強的交互和跟蹤，促進轉換的直接觸摸體驗。
[0017] 虛擬手150可以在顯示器130上逼真地模仿被感應的手140的方位和運動?；?根據(jù)傳感器融合的聯(lián)合數(shù)據(jù)126和傳感器數(shù)據(jù)的其它增強，在被感應的手140與觸摸傳感 器112接觸時可以顯示虛擬手150,并且在被感應的手140在觸摸傳感器112上方懸停時也 可以顯示虛擬手150。虛擬手150可以虛擬地被生成，而不僅僅是被感應的手140的拍攝/ 轉換/重放的圖像/視頻。
[0018] 通過觸摸該觸摸傳感器112,生成關于被感應的手140的手指被放置在哪兒的高 分辨率觸摸數(shù)據(jù)122。因此，根據(jù)各個傳感器的相對分辨率，可以與其它傳感器數(shù)據(jù)相比給 予高分辨率信息更多權重。非接觸傳感器114可以捕獲附加信息，以增強關于手指的高分 辨率觸摸數(shù)據(jù)122，如手指是彎曲的還是位于特定方位/角度等。非接觸傳感器114可以檢 測3D/深度信息（除其它非接觸數(shù)據(jù)124之外）。例如，非接觸傳感器114可以是用于對 深度信息進行三角測量和/或解釋的3D傳感器或者傳感器陣列。深度信息可以用來增加 /提高關于被感應的手140的手指、指節(jié)以及其它特征的方位和/或位置的精度，以生成/ 重構相應的虛擬手150。
[0019] 可以對由輸入裝置110生成的數(shù)據(jù)進行加權。例如，觸摸數(shù)據(jù)122可以在用于提 供聯(lián)合數(shù)據(jù)126時比非接觸數(shù)據(jù)124被給予更高權重。相對權重可以與關聯(lián)于傳感器的準 確度和/或精確度水平相關。在示例中，與關聯(lián)于非接觸傳感器114的相對較低的精確度 和準確度水平相比，觸摸傳感器112能夠將數(shù)據(jù)提供至高精確度和準確度水平。因此，觸摸 數(shù)據(jù)122可以比非接觸數(shù)據(jù)124相比被給予更多權重。對數(shù)據(jù)進行加權可以使控制器120 能夠將觸摸數(shù)據(jù)122優(yōu)先于非接觸數(shù)據(jù)124。在示例中，如果觸摸數(shù)據(jù)122指示一個位置， 并且非接觸數(shù)據(jù)124指示稍有不同的相應位置，則控制器120可以使用觸摸數(shù)據(jù)122來覆 蓋非接觸數(shù)據(jù)124。在替代示例中，非接觸數(shù)據(jù)124可以比觸摸數(shù)據(jù)122被給予更高權重 (例如，高分辨率非接觸傳感器114感應在近范圍處的被感應的手140,或者被感應的觸摸 142非常輕或者間歇的情形）。在示例中，可以監(jiān)視由輸入裝置110生成的數(shù)據(jù)以尋找異常 (例如由觸摸傳感器112上的雜質/汗水引起的觸摸傳感器112的觸摸數(shù)據(jù)122的偶發(fā)讀 數(shù)），并且該異?？梢酝ㄟ^使用其它可用數(shù)據(jù)（例如使用非接觸數(shù)據(jù)124)來補償。一種形 式的數(shù)據(jù)可以用來增強另一種形式的數(shù)據(jù)，并且權重可以用來通知控制器120可以如何確 定哪個數(shù)據(jù)優(yōu)先或者給予更多權重。例如，基于隨時間推移監(jiān)視感應數(shù)據(jù)，數(shù)據(jù)可以被確定 為是偶發(fā)的或另外是可疑的，以識別偏差。
[0020] 可以使用諸如通用串行總線（USB)網(wǎng)絡相機和觸摸板部件之類的常規(guī)和/或現(xiàn)成 部件來生成聯(lián)合數(shù)據(jù)126。輸入裝置110被示出為耦接至控制器120和顯示器130,并且這 種耦接可以基于導線（例如USB線纜）。替代示例可以使用Wi-Fi直連（Wi-Fi direct)、 藍牙、WLAN(無線局域網(wǎng)）或者其它無線實現(xiàn)方式無線地實現(xiàn)。
[0021] 輸入裝置110和顯示器130可以被集成為一個計算裝置，例如被設置在移動手持 式計算裝置的至少一個表面上。計算系統(tǒng)100的各組件不需要在該裝置的相同表面上。盡 管在圖1中將觸摸傳感器112示出為在尺寸上比顯示器130更小，但是各組件的尺寸可以 改變。例如，觸摸傳感器112可以是與顯示器130相同的尺寸或者比顯示器130更大的尺 寸。示例不限于在尺寸上比顯示器130更小的觸摸傳感器112。
[0022] 虛擬手150可以用來與諸如用戶界面要素、文檔、計算機輔助制圖（CAD)模型之類 的被顯示要素132或者其它被顯示要素132交互。由控制器120識別的手勢可以用來發(fā)起 交互會話。圖1圖示基于虛擬觸摸152虛擬手150與被顯示要素132交互。如圖所示，虛 擬手150握住被顯示要素132,使能夠操縱被顯示要素132。
[0023] 與被顯示要素132的交互可以基于用于實現(xiàn)諸如改變尺寸、緊握、移動、滾動、揮 動、捏、縮放、旋轉及其它交互之類的各種任務的手勢。虛擬手150可以與所支持的計算機 操作系統(tǒng)手勢控件交互，如與Windows 8κ)和其它操作系統(tǒng)中的觸摸實現(xiàn)方式交互。基于 包括在操作系統(tǒng)內的限定人性化接口裝置（HID)的設備驅動程序、設置有計算系統(tǒng)100的 目的建造常規(guī)驅動器、應用編程接口（API)和軟件開發(fā)工具包（SDK)或者用于與計算系統(tǒng) 和/或操作系統(tǒng)交互的其它技術，這樣的手勢控件可以支持多觸摸手勢和其它特征。另外， 虛擬手150可以基于像3D手勢或者未特別地由操作系統(tǒng)的內建手勢支持所支持的其它交 互這樣的附加手勢（例如，在3D空間中抓取一要素、在3D空間中拖拽該要素以及沿全部自 由度軸/全部運動軸旋轉該設備）進行交互。
[0024] 感應觸摸142在圖1中示出，其中感應觸摸142與下面的被顯示要素132相關，使 得控制器120確定感應觸摸142對應于抓取被顯示要素132 (例如抓取手勢）。因此，聯(lián)合 數(shù)據(jù)126可以關于虛擬手150相對于被顯示要素132在被顯示位置的情景中來進行解釋。 例如，控制器120可以確定被顯示要素132是可點擊的按鈕，使得感應觸摸142對應于點擊 手勢而不是抓取手勢。因此，基于聯(lián)合數(shù)據(jù)126和/或基于虛擬手150和虛擬手150的虛 擬環(huán)境（例如被顯示要素132)，控制器120可以支持知曉情景的手勢。
[0025] 控制器120還可以支持不同形態(tài)。圖1的示例圖示選擇形態(tài)，其中虛擬手150在用 于選擇被顯示要素132的模式中操作。感應觸摸142可以由控制器120識別為觸發(fā)從該選 擇形態(tài)例如轉換至3D交互形態(tài)。這種轉換可以基于特殊手勢（例如三重輕拍），并且可以 基于先前的手勢和/或被顯示要素132的狀態(tài)和/或虛擬手150的情景。在示例中，控制 器120可以支持用于感應被感應的手140和手指位置等的移動的定位形態(tài)。當被感應的手 140抬離輸入裝置110 (例如中斷與觸摸傳感器112的接觸，和/或如在交互空間內或者在 交互空間外移動指定距離）時，控制器120可以識別至重定位階段/模式的形態(tài)變化?？?替代地，控制器120可以將這種手勢識別為轉換至3D交互形態(tài)而不是重定位形態(tài)?；谟?算系統(tǒng)100的形態(tài)，控制器120可以選擇性地忽視信息和/或保持虛擬手。例如，在重定位 形態(tài)/階段期間，控制器120可以在重定位被感應的手140時顯示虛擬手150的靜態(tài)圖像。 因此，在重定位期間，控制器120可以停止跟蹤被感應的手140和虛擬手150之間的方位和 /或位置信息，直到重定位形態(tài)結束（例如用戶將手放回到輸入裝置110上，或者用戶將手 放在距輸入裝置110的一距離內，和/或用戶將手放在輸入裝置110的交互空間內）。
[0026] 圖2是根據(jù)示例的包括輸入裝置210的計算系統(tǒng)200的框圖。計算系統(tǒng)200還可 以包括控制器220和顯示器230。輸入裝置210可以包括觸摸傳感器212和非接觸傳感器 214。輸入裝置210可以生成（例如基于觸摸傳感器212的）觸摸數(shù)據(jù)222和（例如基于 非接觸傳感器214的）非接觸數(shù)據(jù)224?？刂破?20可以基于觸摸數(shù)據(jù)222和非接觸數(shù)據(jù) 224提供聯(lián)合數(shù)據(jù)226。
[0027] 基于聯(lián)合數(shù)據(jù)226,控制器220可以使虛擬手250顯示在顯示器230上。虛擬手 250可以與被顯示要素232交互，例如基于手勢轉換進行交互。示例手勢轉換被示出為由彼 此非常接近的快速連續(xù)三個感應觸摸242檢測到的三重輕拍?？刂破?20可以檢測這種手 勢轉換以轉換形態(tài)/會話/階段。例如，控制器220可以從觸摸形態(tài)轉換為3D交互形態(tài)。 因此，控制器220可以監(jiān)視3D空間260內各種移動/旋轉手勢，并且將它們轉換為與被顯 示要素232的交互?；诜墙佑|數(shù)據(jù)224和在形態(tài)和相對于虛擬手250的被顯示要素232 之間的情景理解，將被顯示要素232示出為在3D空間中由虛擬手250抓取和旋轉。通過理 解各種交互形態(tài)，控制器220能夠智能地監(jiān)視聯(lián)合數(shù)據(jù)226并且相應地應用它。例如，與在 3D交互階段/形態(tài)期間跟蹤手旋轉/其它移動相對照，控制器220能夠在重定位階段期間 忽視這種旋轉/移動。盡管在圖2中示出用于轉換至3D交互形態(tài)/階段的三重輕拍觸摸 手勢，但是可以使用其它手勢，其它手勢包括基于觸摸、基于運動、基于聲音以及其它手勢。
[0028] 圖3是根據(jù)示例的輸入裝置310的框圖。輸入裝置310可以包括至少一個觸摸傳 感器312、傳感器發(fā)射器318和/或非接觸傳感器314。非接觸傳感器314與由虛線箭頭指 示的指向離開輸入裝置310的視場316關聯(lián)。輸入裝置310可以提供用于感應被感應的手 340 (包括3D位置信息360和感應觸摸342)的交互空間362。交互空間362可以獨立于觸 摸傳感器312和/或非接觸傳感器314的能力。例如，F(xiàn)0V 316可以提供長距離處的被感 應的手340的無接觸檢測，但是交互空間362可以被調節(jié)為相對更短的距離。在示例中，交 互空間362可以通過控制器和/或其它軟件可調節(jié)的設置/偏好而被任意地調節(jié)。
[0029] 圖3中圖示的示例被示出為具有三個非接觸傳感器314、一個觸摸傳感器312以及 一個傳感器發(fā)射器318。然而，可以使用任意多個元件。例如，觸摸傳感器312可以被設置 為多個單獨的觸摸傳感器。在替代示例中，所示出的這些組件的位置還可以改變。
[0030] 非接觸傳感器314可以是固態(tài)相機或者用于觀察手勢和被感應的手340相對于輸 入裝置310的身體結構定位的其它信息增強傳感器。交互空間362可以基于來自至少一個 非接觸傳感器314和/或觸摸傳感器312的聯(lián)合數(shù)據(jù)來設置。交互空間362能夠監(jiān)視與觸 摸傳感器312齊平的被感應的手340交互并且在被感應的手340在觸摸傳感器312上方揮 動時監(jiān)視。例如，交互空間362可以在輸入裝置310上方延伸大約6英寸的距離。交互空 間362不受特定傳感器限制，并且可以獨立于所使用的特定硬件來進行選擇。
[0031] 兩個非接觸傳感器314被示出在輸入裝置310的角落。因此，非接觸傳感器314 的F0V 316可以觀察被感應的手340的側面和底部（例如手掌）（當其被放置在圖3中時； 被感應的手340的其它方面可以根據(jù)被感應的手340相對于輸入裝置310的方位來感應）。 非接觸傳感器314可以被布置以注視被感應的手340的側面，例如沿著輸入裝置310的邊 緣和/或底部布置。非接觸傳感器314可以從感應視角收集關于被感應的手340的信息， 其中感應視角與在顯示器上如何顯示虛擬手的顯示視角不同。虛擬手可以被生成以包括未 被非接觸傳感器314和/或觸摸傳感器312觀察到的數(shù)據(jù)，如未在與F0V 316關聯(lián)的視線 內的手背。
[0032] 示例可以使用兩個以上的非接觸傳感器314。來自多個非接觸傳感器314的信息 可以被縫合在一起，以形成基于合成視場的合成圖像。例如，合成視場可以跨越比與單個非 接觸傳感器314關聯(lián)的F0V 316更大的觀察點。
[0033] 從被感應的手340的底部和/或側面來感應被感應的手340仍可以提供使控制器 能夠從上下視角生成虛擬手的數(shù)據(jù)。此外，非接觸傳感器314可以相對于輸入裝置310是低 矮的。不需要升高非接觸傳感器314離開觸摸傳感器312以便獲取非接觸傳感器314的上 下視角/觀察點。例如，非接觸傳感器314可以嵌在輸入裝置310的表面內，或者設置在隆 起中。因此，可以設置具有降低的垂直尺度的薄且光滑的輸入裝置310,該降低的垂直尺度 避免使用升高裝置，該升高裝置具有伸出且向下面對觸摸傳感器312的非觸摸傳感器314。 非接觸傳感器314與輸入裝置310的集成能夠形成光滑、薄、低矮且簡潔的單元，而沒有為 非接觸傳感器314伸出的拼裝或礙眼的裝置。
[0034] 圖3的示例包括在觸摸傳感器312的邊緣內的非接觸傳感器314。這種非接觸傳 感器314可以包括背離觸摸傳感器312的平面指向且基本垂直于觸摸傳感器312的平面的 F0V。換句話說，非接觸傳感器314主要基本上從觸摸傳感器312向外指向，但是可設想非 接觸傳感器314的F0V的一部分還可以與觸摸傳感器312重疊。在示例中，觸摸傳感器312 包括用于容納非接觸傳感器314的孔。多個觸摸傳感器312可以用來提供縫，非接觸傳感 器314可以通過該縫接收感應數(shù)據(jù)。在替代示例中，觸摸傳感器312包括可以將感應數(shù)據(jù) 傳送至嵌入的非接觸傳感器314的表面。例如，該表面可以是透明的，以將包括非可見光譜 中的光在內的可見光數(shù)據(jù)以及可以穿過觸摸傳感器312的其它數(shù)據(jù)（例如聽覺數(shù)據(jù)）傳送 給非接觸傳感器314。
[0035] 示例可以使用包括發(fā)射器和/或接收器的傳感器。例如，傳感器發(fā)射器318可以 提供由被感應的手340反射并由非接觸傳感器314中的傳感器接收器拾取的信號。非接觸 傳感器314本身可以包括作為非接觸傳感器314提供的至少一個發(fā)射器和/或接收器。在 示例中，近紅外（IR)發(fā)光二極管（LED)可以被設置為照明發(fā)射器，并且合適的光IR接收器 (例如，包括用于將IR波長與其它光波長分離的截止濾波器的接收器）可以包括在非接觸 傳感器314中。這樣的基于IR的示例可以通過使用其自己的信號源和/或濾波來阻擋環(huán) 境光/噪聲并提高信號響應，實現(xiàn)在任何周圍光環(huán)境下的系統(tǒng)功能。
[0036] 非接觸傳感器314(和/或傳感器發(fā)射器318)可以使用朝著交互空間362發(fā)射/ 指引的發(fā)射器圖案。在示例中，非接觸傳感器314和/或傳感器發(fā)射器318可以包括機構， 該機構用于在將其投射在被感應的手340上時構造該照明，例如使用全息照相或者其它技 術來構造該照明。所構造的照明可以提供關于被感應的手340的物理方位和位置的增強3D 信息。所投射的圖案可以包括點陣、多線以及其它圖案。圖案可以基于用于發(fā)射光和對光 進行圖案化的激光器（例如固態(tài)激光器）和全息照相來生成。
[0037] 非接觸傳感器314可以包括3D相機檢測技術，如由像PMD科技（PMD Technologies% )這樣的廠商開發(fā)的PMD[visionf。非接觸傳感器314可以是主動式的和 /或被動式的。主動式的非接觸傳感器314可以包括基于飛行時間、三角測量、錐光全息術、 手持式激光掃描器、結構光、調制光、容量分析技術以及其它主動式傳感技術的傳感器。被 動式的非接觸傳感器314可以包括基于實體鏡的技術、光度計的技術、剪影技術、攝影測量 技術以及其它被動式傳感技術的傳感器。非接觸傳感器314可以包括用于增強或改變在傳 感器314處接收的感應數(shù)據(jù)的透鏡或其它光學器件。非接觸傳感器不需要與正在從其測量 參數(shù)的表面接觸。非接觸傳感器314可以包括用于檢測被感應的手340的諸如金屬環(huán)、手 套、指甲油或人手不固有的其它特征（例如指針、尖筆、化身、條形碼，射頻識別（RFID)、快 速反應（QR)代碼等）之類的方面的傳感器。非接觸傳感器314可以檢測各種形式的數(shù)據(jù)， 如指紋、汗、溫度、壓力、位置、速度、加速度、扭矩、角度、距離、深度、化學品、力、力矩、磁場、 電場（包括電容）、超聲測量、應力等。因此，對應于要作為用于控制器的聯(lián)合數(shù)據(jù)的一部分 收集的各種形式的數(shù)據(jù)，可以使用多種非接觸傳感器314。
[0038] 輸入裝置310可以包括與觸摸傳感器312集成的顯示器，使得輸入裝置310可以 作為平板或者智能電話的形狀因子來設置。這樣的輸入裝置310可以提供感應數(shù)據(jù)，以在 像用于交互式呈現(xiàn)會話的大型放映屏幕這樣的外部顯示器上生成虛擬手。
[0039] 圖4A-4D是根據(jù)示例的示出與包括輸入裝置410A-410D的系統(tǒng)的交互的框圖。該 交互示出可以使用的一比一（1:1)移動映射以及非1:1映射。映射策略中的這種改變可以 使系統(tǒng)能夠利用輸入裝置410A-410D和顯示器430A-430D之間的尺寸差異的優(yōu)勢，并且提 供準確度、精確度和/或速度或者其它因素的不同映射級別。與具有包括23"對角線的尺 寸的示例顯示器430A-430D對照，示例輸入裝置410A-410D可以具有包括9"對角線的尺 寸?；谟糜谔峁┙换ズ土鲿承缘慕^對和/或相對技術的組合，被感應的手440A-440D相 對于更小的輸入裝置410A-410D的移動和定位可以被映射為虛擬手450B-450D相對于更大 的顯示器430A-430D的移動和定位。
[0040] 圖4A示出與輸入裝置410A關聯(lián)的交互空間462A和顯示器430A。被感應的手 440A被示出為在進入交互空間462A之前，并且顯示器430A沒有顯示虛擬手。
[0041] 盡管交互空間462A大致被示出為在輸入裝置410A上方延伸的半球體，但是其它 形狀（例如矩形棱柱體、合成/縫合形狀或者非規(guī)則形狀）可以與交互空間462A關聯(lián)。在 替代示例中，交互空間462A的形狀可以隨時間而變化。例如，交互空間462A可以在感應觸 摸會話期間收縮，并且在空閑時間（例如會話之間）期間和/或在3D交互形態(tài)期間增長， 這允許給予3D手勢和操縱移動的大移動自由度。顯示器430A被示出為沒有顯示虛擬手， 這表示任何交互之前的狀態(tài)（例如，在感應會話之前、在感應會話的非顯示階段期間或在 感應會話之間的時間期間）。
[0042] 圖4B示出了輸入裝置410B感應與感應觸摸442B關聯(lián)的被感應的手440B。顯示 器430B包括虛擬手450B和虛擬觸摸452B。
[0043] 感應會話可以通過進入交互空間、進入距輸入裝置410B特定距離范圍和/或通過 觸摸輸入裝置410B來發(fā)起。基于接近度檢測（例如熱/紅外線）和/或表示被感應的手 440B在與輸入裝置410B關聯(lián)的視場或者交互空間內的其它檢測，輸入裝置410B可以檢測 被感應的手440B已進入交互空間。感應會話可以與在顯示器430B上顯示虛擬手450B關 聯(lián)。輸入裝置410B可以提供基于傳感器融合的聯(lián)合數(shù)據(jù)，這使虛擬手450B能夠反映被感 應的手440B的位置、方位及其它特征。如圖所示,與被感應的手440B如何包括與輸入裝置 410B的側面平行的伸出手指類似，虛擬手450B反映與顯示器430B的側面平行的伸出手指。 另外，輸入裝置410B已經確定感應觸摸442B對應于無名指，從而相應地顯示虛擬手450B 和虛擬觸摸452B。
[0044] 發(fā)起感應會話的被感應的手440B的位置可以基于輸入裝置410B上的感應觸摸 442B的位置。被感應的手440B的位置（例如相對于輸入裝置410B的位置）可以對應于 在顯示器430B上發(fā)起的虛擬手450B和虛擬觸摸452B的相對位置。因此，可以對虛擬手 450B的初始顯示選擇相對和/或縮放位置，但是可以使用其它技術。例如，可以使用非相 對映射，如將虛擬手450B最初顯示在顯示器430B中央。圖4B中示出的感應會話將被感應 的手440B和感應觸摸442B的位置示出為偏離輸入裝置410B的中央，使得虛擬手450B和 虛擬觸摸452B類似地偏離中心地顯示。因此，可以通過定位被感應的手440B和/或通過 觸摸輸入裝置410B上與顯示器430B上的期望位置對應的位置處的感應觸摸442B，來發(fā)起 感應會話。在示例中，被顯示要素，如按鈕或者其它用戶界面要素，可以朝顯示器430B的右 偵k因此，感應會話可以利用相對定位來發(fā)起，使得虛擬手450B位于被顯示要素上或附近， 從而最小化或消除對用于使虛擬手450B和/或虛擬觸摸452B進入目標被顯示要素的范圍 的附加移動/手勢的需要。
[0045] 示例輸入裝置410B還可以識別被感應的手的裝飾特征，從而使輸入裝置410B能 夠縮放和調整虛擬手450B，以匹配被感應的手的實際手大小和膚色或者增強直接觸摸體驗 中的沉浸感覺的其它特征。在示例中，控制器可以識別顯示器430B的尺寸和輸入裝置410B 的尺寸，以便根據(jù)需要提供虛擬手450B的適當視覺縮放。
[0046] 圖4C示出在被感應的手440C和感應觸摸442C的感應運動之后與輸入裝置410C 關聯(lián)的被感應的手440C和感應觸摸442C。被感應的手440C的運動和/或方位可以基于包 括觸摸數(shù)據(jù)和/或非接觸數(shù)據(jù)的聯(lián)合數(shù)據(jù)來檢測。顯示器430C顯示對被感應的手440C和 感應觸摸442C的運動和/或方位進行跟蹤的虛擬手450C和虛擬觸摸452C。這種運動跟蹤 可以與2D交互形態(tài)/會話關聯(lián)。
[0047] 該運動被示出為被感應的手440C和虛擬手450C之間的1:1比率的映射。1:1映 射是可能的，甚至在輸入裝置410C與顯示器430C的尺寸不同時。因此，即便感應觸摸442C 幾乎橫越整個輸入裝置410C從一側移動到另一側，虛擬觸摸452C也僅從顯示器430C的邊 緣移動至顯示器430C的該邊緣內的位置。在示例中，被感應的運動和虛擬運動兩者在實際 距離上大致相等。被感應的手440C也已經移動，使得幾乎整個被感應的手440C(除了被感 應的手指的一部分之外）不再在輸入裝置410C上方。然而，虛擬手450C基本被示出在顯 示器430C上（除了手掌的一小部分之外）。因此，能夠不依賴于被感應的手440C有多少在 輸入裝置410C的視場和/或交互空間內而生成和顯示虛擬手450C。
[0048] 其它映射技術可以用于運動，包括非1:1映射/比率（大于或者小于1:1)。例如， 虛擬手450C的運動速率可以基于諸如與被感應的手440C和/或感應觸摸442C關聯(lián)的加 速度和/或壓力之類的因素來改變。在示例中，虛擬手450C可以基于以小于1:1比率的縮 放來提供增加的運動精度。這種映射/縮放的變化可以由手勢引起，和/或可以持續(xù)地監(jiān) 視和調整（例如基于在其正被感應時的加速度或者壓力）。因此，示例系統(tǒng)可以以與由被感 應的手440C提供的原始數(shù)據(jù)相比的更大速度、準確度、精確度或者其它因素，提供增強的 交互。在示例中，虛擬手450C和被感應的手440C之間運動映射可以基于與感應觸摸442C 關聯(lián)的壓力的增加而增加。
[0049] 圖4D示出在重定位手勢后與被感應的手440D和感應觸摸442D關聯(lián)的輸入裝置 410D。該重定位手勢可以作為單獨的感應會話來包括,并且可以作為在現(xiàn)有感應會話中的 階段來提供（例如可以在不中斷當前感應會話的情況下提供）。被感應的手440D已經改 變位置和方位，包括被感應的手440D的手指和指節(jié)的已變化方位。如空心虛線箭頭所示， 被感應的手440D已經被抬起尚開輸入裝直410D并且針對感應觸摸442D重定似。顯不器 430D包括虛擬手450D和虛擬觸摸452D?；谂c感應觸摸442D關聯(lián)的增加的向下壓力，虛 擬觸摸452D包括增大的區(qū)域。增大的區(qū)域可以用于各種交互，如用更寬筆刷繪制、選擇多 個文檔、沿著3D空間中的z軸移動等。因此，輸入裝置430D可以包括壓力板（force pad)， 該壓力板感應被感應的手440D為生成感應觸摸442D而多么用力按壓在輸入裝置430d上 的壓力或者其它指示。壓力（和其它輸入）可以通過增大或者縮小虛擬觸摸452D或者其 它指示來表示（例如改變虛擬手450D (例如顏色）、光標或者其它指示）。
[0050] 在重定位（例如在被感應的手440D抬離輸入裝置410D時）期間，可以保持虛擬 手450D的位置。例如，可以顯示虛擬手450D的靜態(tài)圖像。保持虛擬手450D的位置可以允 許被感應的手440D實現(xiàn)相對于更小尺寸的輸入裝置410D的附加運動自由度，例如在被感 應的手440D到達輸入裝置410D的邊緣時。在圖4D的示例中，該重定位使被感應的手440D 能夠處于待進一步向左移動的位置，從而使虛擬手450D能夠再次向左移動。因此，基于以 各種比率的運動縮放（包括1:1運動縮放），可以實現(xiàn)虛擬手450D增長地橫穿顯示器430D 的運動。
[0051] 獨立于虛擬手450D的運動，可以跟蹤被感應的手440D的方位和其它方面。例如， 被感應的手440D合攏其三根手指并且稍微逆時針地旋轉。輸入裝置410D可以跟蹤這種 方位特征并且使虛擬手450D反映它們。該反映可以繼續(xù)，甚至在保持虛擬手450D的位置 時（例如在重定位期間）?？商娲?，虛擬手450D可以在重定位期間從顯示器430D上移 除（例如可以在重定位期間忽視被感應的手440D的各種回轉、方位和/或定位）?？梢允?虛擬手450D在重定位以后以更新的方位/位置在顯示器430D上重現(xiàn)。因此，甚至在中斷 被感應的手440D和虛擬手450D之間的運動的1:1跟蹤（和/或基于非1:1跟蹤的運動） 時，仍可以保持沉浸感。此外，各種手勢的使用允許輸入形態(tài)之間的轉換，使得一種形式的 輸入（例如在輸入裝置410D上方旋轉手）可以根據(jù)該手勢和已經被轉換至的對應形態(tài)而 提供不同交互。
[0052] 因此，基于實際到虛擬的手關聯(lián)模型，上面描述的情形提供虛擬手的示例運動。示 例系統(tǒng)可以替代地和/或共同包括相對的和/或絕對的交互使用模型。在這種使用模型中， 發(fā)起感應會話（例如由接近度、觸摸和/或視場觸發(fā)），并且虛擬手在顯示器上出現(xiàn)在相對 于輸入裝置與被感應的手對應的縮放"絕對"位置處?；谑褂寐?lián)合數(shù)據(jù)的虛擬計算機重 構/生成，虛擬手可以以與被感應的手類似的身體結構方式出現(xiàn)。被感應的手相對于輸入 裝置的運動可以恢復到輸入裝置空間和顯示空間之間的一比一映射。抬起和重定位被感應 的手可以由觸摸傳感器和/或非接觸傳感器檢測，由控制器和/或軟件識別，并且虛擬手可 以保持其被顯示的位置。在重定位后，虛擬手可以保持其之前在顯示器上的"絕對"位置， 并且適應手/手指/等的方位的任何身體結構變化。被感應的手（相對于輸入裝置）和虛 擬手（相對于顯示器）之間的絕對一比一映射可以繼續(xù)。其它使用模型是可能的，包括不 涉及重定位的使用模型。示例能夠捕獲直接的精確的1:1運動相關，同時使虛擬手能夠在 顯示器各處移動，即便該顯示器顯著地大于輸入設備。在其它使用模型/示例中，可以使用 除1:1之外的其它映射。
[0053] 半透明的虛擬手可以在顯示器上實時地支持和呈現(xiàn)手勢，如用于縮放的手指捏和 張開、用于畫面轉換的兩個手指輕彈以及其它。還可以支持其它手勢，包括涉及在輸入裝置 上的觸摸的手勢和與輸入裝置不接觸的在交互空間中的手勢。
[0054] 會話的轉換和/或會話的階段可以基于從交互空間移走被感應的手來引起（例如 被發(fā)起、被轉換、結束等）。這種轉換例如可以將感應會話重設置至新狀態(tài)。例如，系統(tǒng)可以 從絕對的1:1映射切換至縮放的相對非1:1映射。虛擬手放置可以被驅動至顯示器的全尺 寸的縮放表示，或者關于初始虛擬手放置的其它變化。
[0055] 圖5是根據(jù)示例的基于以輸入裝置為基礎生成虛擬手的流程圖500。在框510中， 接收來自輸入裝置的觸摸傳感器的觸摸數(shù)據(jù)以及來自該輸入裝置的非接觸傳感器的非接 觸數(shù)據(jù)。例如，電容陣列可以用作觸摸傳感器，并且3D傳感器可以用作非接觸傳感器。非接 觸傳感器的視場指向離開觸摸傳感器。例如，3D傳感器可以基本上側向/向上指向離開觸 摸傳感器，以對要與輸入裝置交互的被感應的手的底部和/或側面成像。在框520中，基于 包括觸摸數(shù)據(jù)和非接觸數(shù)據(jù)的聯(lián)合數(shù)據(jù)，生成虛擬手。例如，使用聯(lián)合數(shù)據(jù)來識別手指位置 并且使用觸摸數(shù)據(jù)細化來自非接觸傳感器的信息來生成對被感應的手進行模擬的虛擬手， 可以生成虛擬手。在框530中，顯示包括為虛擬手生成的未被感應的特征的虛擬手。例如， 未被感應的特征可以通過插入聯(lián)合數(shù)據(jù)來構造。在示例中，未被感應的特征可以是根據(jù)表 示被感應的手的前側（手掌側）的聯(lián)合數(shù)據(jù)生成的虛擬手的背側。在替代示例中，未被感 應的特征可以包括手指之間的區(qū)域、指節(jié)方位以及其它特征（它們可以基于手的常規(guī)身體 結構模型而得到）。
[0056] 圖6是根據(jù)示例的基于顯示與感應會話關聯(lián)的虛擬手的流程圖600。在框610中， 發(fā)起感應會話。例如，可以基于感應非接觸傳感器的交互空間和/或視場中的手或者檢測 感應觸摸，發(fā)起感應會話。在替代示例中，可以類似地發(fā)起其它會話，如手勢會話、重定位會 話、3D交互識別會話及其它會話。在框610中發(fā)起的感應會話可以包括至少一個狀態(tài)，該至 少一個狀態(tài)包括顯示狀態(tài)、相對定位狀態(tài)、運動狀態(tài)、重定位狀態(tài)等。感應會話可以基于聯(lián) 合數(shù)據(jù)在不同狀態(tài)之間轉換。在框620中，響應于發(fā)起感應會話，在顯示器上的初始位置顯 示虛擬手。該初始位置基于相對于輸入裝置縮放由聯(lián)合數(shù)據(jù)表示的感應位置。例如，被感 應的手可以在輸入裝置中央被檢測到，并且虛擬手最初可以顯示在顯示器中央。在替代示 例中，被感應的手可以在輸入裝置的左上角被檢測到，并且虛擬手最初可以顯示在顯示器 的左上角。在框630中，在感應會話期間，基于通過由輸入裝置感應到的聯(lián)合數(shù)據(jù)表示的無 縮放絕對1:1運動轉換，更新虛擬手的位置。例如，聯(lián)合可以表示被感應的手相對于輸入裝 置的一英寸的感應到的運動。因此，可以將虛擬手顯示為與感應到的運動匹配在顯示器上 移動一英寸。這種被感應的手和虛擬手之間的1:1運動映射是可能的，甚至在輸入裝置的 觸摸傳感器遠小于顯示器的顯示表面時（例如觸摸傳感器和顯示器之間的尺寸比率不是 1:1)。在替代示例中，例如，可以相對于被感應的手以除1:1以外的比率移動/更新虛擬手， 例如為了提高精度（比1:1低的比率）和/或提高速度（比1:1高的比率）。該映射還可 以例如基于運動加速度和/或壓力而隨時間改變。在框640中，監(jiān)視聯(lián)合數(shù)據(jù)以獲取視覺 手勢來轉換感應會話的狀態(tài)。例如，聯(lián)合數(shù)據(jù)可以表示感應會話正在從運動狀態(tài)轉換為靜 止狀態(tài)，轉換為重定位狀態(tài)，以及然后轉換為終止狀態(tài)（和/或其它狀態(tài)）。在框650中，在 感應會話期間感應重定位手勢。例如，聯(lián)合數(shù)據(jù)可以表示被感應的手抬離輸入裝置（例如 觸摸傳感器表示沒有接觸，和/或非接觸傳感器表示被感應的手已經移動到輸入裝置的視 場和/或交互空間之外）。在重定位階段期間，當相對于輸入裝置重定位被感應的手時，保 持虛擬手在顯示器上的絕對位置。例如，所顯示的虛擬手被保持在其位置上。在重定位手 勢期間，還可以更新虛擬手，以跟蹤被感應的手的方位和/或手/手指定位。在框660中， 終止感應會話，并且從顯示器中移除虛擬手。例如，聯(lián)合數(shù)據(jù)可以表示被感應的手已經保持 不動達一段時間和/或已經從輸入裝置的視場和/或交互空間移除。在示例中，通過增加 虛擬手的透明度來使其逐漸地消失，移除虛擬手。
【權利要求】
1. 一種計算系統(tǒng)，包括： 顯示器； 輸入裝置，包括用于提供觸摸數(shù)據(jù)的至少一個觸摸傳感器和用于提供非接觸數(shù)據(jù)的至 少一個非接觸傳感器，其中所述至少一個非接觸傳感器的視場指向離開所述至少一個觸摸 傳感器；以及 控制器，用于將所述觸摸數(shù)據(jù)和所述非接觸數(shù)據(jù)聯(lián)合為聯(lián)合數(shù)據(jù)，以基于所述聯(lián)合數(shù) 據(jù)生成要在所述顯示器上顯示的虛擬手，所述虛擬手包括為所述虛擬手生成的未被感應的 特征。
2. 如權利要求1所述的計算系統(tǒng)，其中所述控制器從所述至少一個非接觸傳感器獲取 用于所述虛擬手的3D信息。
3. 如權利要求1所述的計算系統(tǒng)，其中所述控制器生成相對于所述顯示器從頭頂視線 的要在所述顯示器上顯示的所述虛擬手的背面特征，其中所述背面特征是基于相對于所述 至少一個觸摸傳感器從非頭頂視線感應的聯(lián)合數(shù)據(jù)來生成的。
4. 如權利要求1所述的計算系統(tǒng)，其中所述至少一個觸摸傳感器包括小于所述顯示器 的觸摸響應表面，并且所述控制器在所述虛擬手的被顯示的運動和由所述輸入裝置感應的 感應運動之間提供1:1的絕對映射。
5. 如權利要求1所述的計算系統(tǒng)，其中所述至少一個非接觸傳感器是主動式的，所述 至少一個非接觸傳感器包括至少一個傳感器發(fā)射器和至少一個傳感器接收器。
6. -種方法，包括： 接收來自輸入裝置的至少一個觸摸傳感器的觸摸數(shù)據(jù)，以及來自所述輸入裝置的至少 一個非接觸傳感器的非接觸數(shù)據(jù)，其中所述至少一個非接觸傳感器的視場指向離開所述至 少一個觸摸傳感器； 基于包括所述觸摸數(shù)據(jù)和所述非接觸數(shù)據(jù)的聯(lián)合數(shù)據(jù)，生成虛擬手；并且 顯示包括為所述虛擬手生成的未被感應的特征的所述虛擬手。
7. 如權利要求6所述的方法，進一步包括：響應于發(fā)起感應會話，在所述顯示器上的初 始位置顯示所述虛擬手，其中所述初始位置基于相對于所述輸入裝置縮放由所述聯(lián)合數(shù)據(jù) 表示的感應位置。
8. 如權利要求6所述的方法，進一步包括：在感應會話期間，基于通過由所述輸入裝置 感應到的所述聯(lián)合數(shù)據(jù)表示的無縮放絕對1:1運動轉換，更新所述虛擬手的位置。
9. 如權利要求6所述的方法，進一步包括：在感應會話期間感應重定位手勢，并且基于 表示在所述感應會話的重定位階段期間被感應的手正相對于所述輸入裝置重定位的所述 聯(lián)合數(shù)據(jù)，發(fā)起所述重定位階段，所述重定位階段與保持所述虛擬手在所述顯示器上的絕 對位置關聯(lián)。
10. 如權利要求6所述的方法，進一步包括基于以下至少之一終止會話并且從所述顯 示器中移除所述虛擬手：i)所述聯(lián)合數(shù)據(jù)中無改變的持續(xù)時間以及ii)表示被感應的手從 所述輸入裝置的交互空間中移除的所述聯(lián)合數(shù)據(jù)。
11. 如權利要求6所述的方法，進一步包括：監(jiān)視所述聯(lián)合數(shù)據(jù)以獲取視覺手勢來轉換 會話的狀態(tài)，包括以下至少之一 ：i)對象進入所述輸入裝置的交互空間、ii)對象離開所述 交互空間以及iii)對象在所述交互空間內保持基本上不動達一段時間。
12. 如權利要求6所述的方法，進一步包括：調整所述虛擬手的尺寸和顏色，以與由所 述輸入裝置感應的相應聯(lián)合數(shù)據(jù)匹配。
13. 如權利要求6所述的方法，進一步包括：基于所述聯(lián)合數(shù)據(jù)，得出所述虛擬手的虛 擬手指的方位和位置。
14. 一種非瞬態(tài)機器可讀存儲介質，所述非瞬態(tài)機器可讀存儲介質編碼有可由計算設 備執(zhí)行的指令，該指令在被執(zhí)行時使所述計算裝置： 接收來自輸入裝置的至少一個觸摸傳感器的觸摸數(shù)據(jù)以及來自所述輸入裝置的至少 一個非接觸傳感器的非接觸數(shù)據(jù)，其中所述至少一個非接觸傳感器的視場指向離開所述至 少一個觸摸傳感器； 基于包括所述觸摸數(shù)據(jù)和所述非接觸數(shù)據(jù)的聯(lián)合數(shù)據(jù)，生成虛擬手；并且 顯示包括為所述虛擬手生成的未被感應的特征的所述虛擬手。
15. 如權利要求14所述的存儲介質，進一步包括指令，該指令使所述計算裝置顯示半 透明地疊加在位于下面的被顯示要素上的所述虛擬手。
【文檔編號】G06F3/01GK104272218SQ201280072875
【公開日】2015年1月7日 申請日期:2012年6月30日 優(yōu)先權日:2012年6月30日
【發(fā)明者】弗雷德·查爾斯·托馬斯三世, 羅伯特·亞當·鮑曼, 大衛(wèi)·H·哈尼斯, 約翰·邁克爾·邁因 申請人:惠普發(fā)展公司，有限責任合伙企業(yè)