本申請(qǐng)要求2014年4月14日提交的美國臨時(shí)專利申請(qǐng)No.61/995578的權(quán)益。

政府權(quán)利

本發(fā)明是在NSF編號(hào)IIS1217929下利用政府支持做出的。政府擁有本發(fā)明的某些權(quán)利。

技術(shù)領(lǐng)域

本發(fā)明涉及人/機(jī)交互，并且更具體地，涉及典型地在平板電腦或智能電話上發(fā)現(xiàn)的類型的觸摸敏感屏幕與使用觸控筆的人手之間的交互。

背景技術(shù)：

平板電腦經(jīng)常被要求模仿經(jīng)典的筆和紙輸入。然而，如今大多數(shù)觸摸設(shè)備(最著名的是非常受歡迎的蘋果iPad平板電腦)缺乏防手掌誤觸(plam rejection)特征。在筆或觸摸輸入系統(tǒng)中未能有效地防手掌誤觸導(dǎo)致人體工程學(xué)問題、意外激活和不想要的輸入，從而妨礙這些輸入系統(tǒng)的流暢且高效的使用。這個(gè)問題在現(xiàn)有技術(shù)中是眾所周知的。

目前，消除來自人輸入的觸控筆輸入的歧義的最可靠方式是使用特殊的硬件。例如，超聲換能器可以被放置在屏幕的外圍處以感測(cè)由有源筆(active pen)發(fā)射的超聲脈沖。還可以使用紅外發(fā)射筆與兩個(gè)或更多個(gè)相機(jī)來三角測(cè)量屏幕上的平面位置。另一種方法使用模擬手指觸摸的無源電容性尖端。筆本身是被供電的并且是壓力敏感的，以通過藍(lán)牙將數(shù)據(jù)發(fā)送到設(shè)備。利用定時(shí)信息，可以將觸摸事件與落筆事件相關(guān)聯(lián)。

現(xiàn)有技術(shù)中已知的另一種方法使用諧振電感耦合，其使用特殊的筆和在傳統(tǒng)電容性觸摸屏后面操作的傳感器板。該技術(shù)被用在諸如微軟Surface和三星Galaxy Note之類的設(shè)備中。類似地，另一種方法使用在觸摸屏后面的霍爾效應(yīng)傳感器的網(wǎng)格來感測(cè)特殊的筆的磁性尖端。還已知的是使用紅外接近傳感器的網(wǎng)格和計(jì)算機(jī)視覺來分離手掌輸入與手指輸入。最后，先進(jìn)的電容性觸摸屏可以通過查看接觸尺寸和電容性性質(zhì)來區(qū)分無源觸控筆。

即使利用用于觸控筆支持的特殊硬件，如果手指仍然可以用于輸入，則簡單地區(qū)分筆和手指也是不夠的。在這種情況下，在缺少筆時(shí)，不想要的手掌觸摸仍然可能被解釋為手指觸摸。因此，仍然需要軟件來可靠地區(qū)分筆和手指與手掌，而以上解決方案沒有解決這些。

雖然特殊的觸控筆趨于提供優(yōu)異的精確度，但是顯著的缺點(diǎn)是需要專用的附件，而專用的附件通常是平臺(tái)特定的。此外，通常需要附加的內(nèi)部硬件來支持這些筆，從而增加了移動(dòng)設(shè)備的構(gòu)建成本、尺寸和功率消耗。因此，可以易于部署和更新的僅軟件解決方案是有吸引力的。此外，軟件解決方案提供了消除手指和手掌輸入之間的歧義的能力。然而，在沒有消除觸摸事件的歧義的固有方式的情況下，軟件解決方案必須依賴于巧妙的處理或交互技術(shù)。

對(duì)于光學(xué)多點(diǎn)觸摸設(shè)備，一種方法是識(shí)別從相機(jī)圖像可見的手掌區(qū)域。在具有電容性屏幕的移動(dòng)設(shè)備上，該任務(wù)更具挑戰(zhàn)性，因?yàn)閼?yīng)用程序一般沒有權(quán)限訪問手圖像，或者甚至沒有權(quán)限訪問觸摸屏的電容性響應(yīng)。相反，應(yīng)用程序必須依賴于關(guān)于觸摸位置、方向(如果可用的話)和尺寸的信息。在iOS和Android應(yīng)用商店中有許多聲稱具有防手掌誤觸特征的應(yīng)用程序。遺憾的是，它們均沒有充分地解決防手掌誤觸的問題。

本領(lǐng)域中已知的一種方法是指定特殊的“防手掌誤觸區(qū)域”，在該“防手掌誤觸區(qū)域”中所有觸摸都被忽略，雖然這是不實(shí)用的。遺憾的是，在輸入?yún)^(qū)域外部的手掌觸摸仍然可以提供意外的輸入(例如，意外的按鈕按壓)。一種已知的方法利用更復(fù)雜的幾何模型來指定防誤觸區(qū)域，提供五個(gè)參數(shù)的可縮放的圓和繞軸旋轉(zhuǎn)的矩形，該防誤觸區(qū)域比矩形區(qū)域更好地捕獲由手掌覆蓋的區(qū)域。

第二種方法使用時(shí)空特征，以查看觸摸性質(zhì)的演變和在短時(shí)間窗上的移動(dòng)。我們假設(shè)：首先繪制然后去除筆劃的應(yīng)用程序必須在檢測(cè)意外觸摸之前等待某一時(shí)間段?，F(xiàn)有技術(shù)的應(yīng)用程序需要用戶指定關(guān)于他們用手習(xí)慣的方向的信息并且在固定方向上使用平板電腦。另外，一種現(xiàn)有技術(shù)的應(yīng)用程序需要用戶指定他們使用的三個(gè)手寫姿勢(shì)之一。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明是一種新穎的、迭代式的、概率性的防手掌誤觸方法。系統(tǒng)不需要初始的配置，并且獨(dú)立于屏幕方向和用戶的用手習(xí)慣。在一個(gè)示例中，該方法被用在沒有本地防手掌誤觸或觸控筆輸入的平臺(tái)上。然而，該方法是平臺(tái)不可知的，并且將在報(bào)告多個(gè)觸摸接觸連同位置和觸摸區(qū)域的任何系統(tǒng)上起作用。

附圖說明

圖1呈現(xiàn)了在不同時(shí)間點(diǎn)出現(xiàn)的相對(duì)于感興趣的觸摸接觸(D，點(diǎn))的觸摸的圖示示例。由手掌(空心圓)導(dǎo)致的觸摸點(diǎn)經(jīng)常是短暫的、大的并且具有低速度。我們的方法使用不同尺寸的時(shí)間窗來在若干個(gè)時(shí)間點(diǎn)提取每個(gè)觸摸點(diǎn)的特征并執(zhí)行分類。在此示例中，我們示出：針對(duì)該點(diǎn)的分類如何隨窗口尺寸的變化而變化。

圖2示出在不同持續(xù)時(shí)間上的分類精確度(真陽性)。最左的點(diǎn)為t＝1ms。

具體實(shí)施方式

五個(gè)性質(zhì)區(qū)分手掌輸入與指示器(即，手指或觸控筆)輸入：1)手掌的觸摸區(qū)域趨于是大的，而指示器具有小尖端；2)在大多數(shù)觸摸屏上，大的手掌接觸區(qū)域被分割成經(jīng)常閃爍和熄滅的觸摸點(diǎn)的集合；3)這些手掌點(diǎn)趨于聚集在一起，而指示器典型地是孤立的；4)不同于手掌，觸控筆觸摸具有一致的面積，而手掌的面積隨它們抵著屏幕變形而變化；以及5)手掌一般移動(dòng)很小，而指示器輸入趨于具有更長的、更平滑的軌跡。

經(jīng)常具有在觸摸點(diǎn)出現(xiàn)在屏幕上之前就存在的顯著的上下文。例如，當(dāng)打點(diǎn)“i”時(shí)，觸控筆觸摸可能僅僅存在50ms，然而，手掌可能已經(jīng)預(yù)先在顯示器上長達(dá)幾秒。因?yàn)楸痉椒ㄓ涗浰杏|摸數(shù)據(jù)，包括來自正在討論的觸摸之前的數(shù)據(jù)，所以可以進(jìn)行更確信的分類。

在該發(fā)明的一個(gè)實(shí)施例中，使用了表征感興趣的觸摸點(diǎn)以及其與相鄰點(diǎn)的關(guān)系的一系列特征。這些特征是針對(duì)對(duì)應(yīng)于特定觸摸接觸(其需要將接觸分類為觸控筆或手掌的一部分)并且在以t＝0(觸摸點(diǎn)的起源)為中心的時(shí)間窗上發(fā)生的觸摸事件序列而計(jì)算的。時(shí)間窗關(guān)于t＝0對(duì)稱地?cái)U(kuò)展，確保包括了來自初始觸摸事件之前和之后的數(shù)據(jù)(圖1)。

每個(gè)觸摸事件具有表示觸摸區(qū)域的近似中心的形心位置，以及指示從觸摸區(qū)域的形心到周邊的最大距離的半徑。在一個(gè)示例中，特征包括對(duì)于每個(gè)時(shí)間窗通過針對(duì)與特定觸摸接觸對(duì)應(yīng)的觸摸事件序列計(jì)算的統(tǒng)計(jì)值(平均值/標(biāo)準(zhǔn)偏差/最小值/最大值)。這些統(tǒng)計(jì)值是為每個(gè)事件的半徑以及連續(xù)事件的速度和加速度而計(jì)算的。附加的特征包括序列中的事件總數(shù)以及針對(duì)在t＝0時(shí)的觸摸事件和在任何并發(fā)序列(屬于其它觸摸接觸)中的所有觸摸事件的形心之間的笛卡爾距離計(jì)算的平均值/標(biāo)準(zhǔn)偏差/最小值/最大值。所有這些特征是旋轉(zhuǎn)和翻轉(zhuǎn)不變的。這應(yīng)當(dāng)最小化了設(shè)備和手方向以及用手習(xí)慣對(duì)分類的影響。

為了了解哪些特征區(qū)分手掌和觸控筆，通過使用利用最佳優(yōu)先搜索的基于相關(guān)的特征子集選擇來對(duì)訓(xùn)練數(shù)據(jù)集執(zhí)行特征選擇。為了確定最重要的特征，使用用于數(shù)據(jù)挖掘任務(wù)的機(jī)器學(xué)習(xí)算法的集合Weka。Weka是使得計(jì)算機(jī)程序能夠自動(dòng)分析大量數(shù)據(jù)并決定哪個(gè)信息最相關(guān)的工具的工作臺(tái)。經(jīng)發(fā)現(xiàn)，到其它觸摸的最小距離、觸摸事件的數(shù)量以及觸摸半徑的最小值/平均值/最大值/標(biāo)準(zhǔn)偏差是最具可預(yù)測(cè)性的。

本方法記錄由觸摸屏報(bào)告的所有觸摸事件。在一個(gè)示例中，在觸摸點(diǎn)已經(jīng)存續(xù)至少25ms之后，系統(tǒng)將觸摸分類為“指示器”或“手掌”。在一個(gè)示例中，如果觸摸在25ms過去之前終止，則使用所有可用數(shù)據(jù)來將其分類。在起源之后的50ms時(shí)，執(zhí)行另一次分類。對(duì)于此后的每隔50ms，直到自起源起的500ms，重復(fù)此分類，每次分類貢獻(xiàn)一個(gè)投票”。基于迄今累積的投票中的多數(shù)，分配臨時(shí)觸摸類型(筆或者手掌)。在500ms之后，或者如果接觸點(diǎn)消失(以先到者為準(zhǔn))，投票停止，并且最終投票被用于分配永久分類。注意：投票隱含地編碼可以在概率性輸入系統(tǒng)中使用的置信度得分。這在示出了投票120的圖1中得到圖示。在100ms時(shí)，觸摸事件被分類為指示器觸摸。在300ms時(shí)，投票變成手掌觸摸，但是在500ms時(shí)，投票退回到指示器觸摸。

在一個(gè)實(shí)施例中，迭代分類方法允許系統(tǒng)向用戶示出直接反饋。如圖2中所示，系統(tǒng)最初示出其最佳猜測(cè)(在一個(gè)示例中，大約98％精確)，并且稍后隨著有更多信息變得可用而將此改善。例如，如果觸摸最初被猜測(cè)為觸控筆觸摸(1個(gè)投票)，應(yīng)用程序?qū)⒃诋嫴忌箱秩竟P劃。如果此猜測(cè)稍后改變(即，隨著更多投票被貢獻(xiàn)而導(dǎo)致共識(shí)反轉(zhuǎn))，則從畫布去除筆劃。

在該發(fā)明的一個(gè)方面中，在窗口尺寸的范圍為從50到1000ms的情況下，通過使用在前面的部分中描述的特征來訓(xùn)練十一個(gè)決策樹，例如，在25ms、50ms、100ms、150ms等直到500ms時(shí)觸發(fā)的分類器。圖1示出了三個(gè)這樣的窗口。在100ms時(shí)，時(shí)間窗100被示為具有以時(shí)間t＝0為中心的200ms的寬度。同樣地，在300ms和500ms時(shí)，窗口102和104也被示為以時(shí)間t＝0為中心、寬度分別為500ms和1000ms。

使用來自直到最大窗口尺寸的所有在前窗口的觸摸特征來訓(xùn)練每個(gè)樹。例如，在200ms時(shí)觸發(fā)的分類器使用從50、100、200、300和400ms的窗口尺寸獲得的特征(窗口是對(duì)稱的，以t＝0為中心)。在一個(gè)示例中，Weka用于使用C4.5算法來訓(xùn)練決策樹。

在一個(gè)示例中，使用定制的iOS應(yīng)用程序來收集訓(xùn)練數(shù)據(jù)。對(duì)于每個(gè)訓(xùn)練實(shí)例，1cm半徑的點(diǎn)被隨機(jī)放置在屏幕上。用戶被告知以他們認(rèn)為合適的任何方式將他們的手掌放在屏幕上，使得他們可以繪制他們選擇的在這個(gè)圓中開始的筆劃。該過程允許收集標(biāo)記的指示器和手掌點(diǎn)數(shù)據(jù)。總體上，從使用各種手姿勢(shì)、平板方向和用手習(xí)慣的五個(gè)人捕獲22251個(gè)觸摸事件實(shí)例(其中2143個(gè)是觸控筆筆劃)。

為了估計(jì)這種迭代方法的有效性，用戶研究數(shù)據(jù)被分成11373個(gè)訓(xùn)練實(shí)例(來自3個(gè)參與者)和10878個(gè)測(cè)試實(shí)例(來自2個(gè)其他人)。圖2示出了在增加的時(shí)間窗上的測(cè)試精確度。在t＝1ms時(shí)的分類被包括以近似瞬時(shí)分類。在一個(gè)示例中，精確度隨著窗口尺寸增加而提高，在200ms時(shí)穩(wěn)定在大約99.5％。分類可以持續(xù)到500ms，但是如圖2所示，主要的精確度增益出現(xiàn)在第一個(gè)100ms中。這個(gè)實(shí)驗(yàn)結(jié)果強(qiáng)調(diào)了利用時(shí)間特征并且還延遲最終分類的重要性。

圖2示出了立即執(zhí)行分類(在t＝1ms時(shí))得到98.4％的分類精確度(kappa＝0.79)。這是足夠精確的，可以立即渲染實(shí)時(shí)圖形反饋，而僅偶爾需要隨后的反轉(zhuǎn)。在50ms時(shí)的重新分類減少44％的錯(cuò)誤。通過繼續(xù)迭代分類并且投票達(dá)到100ms，精確度增加到(kappa＝0.94)，錯(cuò)誤率進(jìn)一步降低29％。

本發(fā)明的實(shí)施例已經(jīng)使用運(yùn)行iOS 6的蘋果iPad2來實(shí)現(xiàn)，然而，本領(lǐng)域技術(shù)人員將認(rèn)識(shí)到的是，本發(fā)明的方法還可能用在報(bào)告多個(gè)觸摸接觸連同位置和觸摸區(qū)域的任何系統(tǒng)上。