專利名稱：用于檢測和跟蹤觸摸對象的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于檢測和跟蹤與觸摸屏交互的對象的方法。研制本發(fā)明主要為了提高紅外式觸摸屏的多點觸摸能力，下面將關(guān)于這種應(yīng)用描述本發(fā)明。然而，將理解本發(fā)明不局限于該特定領(lǐng)域的使用。相關(guān)申請本申請要求2009年10月16日提交的澳大利亞臨時專利申請No. 2009905037以及2009年12月15提交的美國臨時專利申請No. 61/286，525的優(yōu)先權(quán)，這兩個臨時申請的內(nèi)容通過引用并入本文。
背景技術(shù)：
絕不應(yīng)認(rèn)為在整個說明書中對現(xiàn)有技術(shù)的任何討論承認(rèn)這樣的現(xiàn)有技術(shù)是廣泛公知的或者形成本領(lǐng)域的常見的一般概念的一部分?；谟|摸感應(yīng)的輸入設(shè)備(不管輸入?yún)^(qū)是否與顯示屏對應(yīng)，其在本發(fā)明中都稱為觸摸屏)長期以來在電子設(shè)備(例如計算機(jī)、個人數(shù)字助理(PDA)、手持游戲機(jī)和銷售點信息服務(wù)亭)中使用，而且現(xiàn)在正出現(xiàn)在其它便攜消費電子設(shè)備中，例如移動電話。一般來說，支持觸摸的設(shè)備允許用戶例如通過觸摸一個或多個圖形元素(例如在顯示屏上出現(xiàn)的虛擬鍵盤的圖標(biāo)或按鍵)或者通過在顯示屏或平板上寫或畫來與該設(shè)備交互。幾種觸摸感應(yīng)技術(shù)是公知的，包括電阻的、表面電容的、投射電容的、聲表面波的、光學(xué)的和紅外的，所有這些在多個方面(例如成本、可靠性、亮光下觀看的舒適度、感應(yīng)不同類型對象的能力(例如手指、戴手套的手指或尖筆)或者單觸摸或多點觸摸能力)具有優(yōu)勢和劣勢。各種觸摸感應(yīng)技術(shù)在它們的多點觸摸能力(即它們在面對兩個或多個同時出現(xiàn)的觸摸事件時的性能)方面有很大程度不同。一些早期的觸摸感應(yīng)技術(shù)(例如電阻的和表面電容的)完全不適合于檢測多個觸摸事件，它們將兩個同時出現(xiàn)的觸摸事件報告為這兩個實際的點之間的中途“幻像觸摸”。某些其它觸摸感應(yīng)技術(shù)具有良好的多點觸摸能力，但是在其它方面是有劣勢的。一個示例是在美國專利申請公開No. 2006/0097991A1中介紹的適合于探尋每個節(jié)點(“全點可尋址的”設(shè)備)的投射電容觸摸屏，像一般的投射電容觸摸屏一樣，其僅能夠感知某些觸摸對象(例如戴手套的手指和非導(dǎo)電的尖筆是不適合的)并且使用眾所周知降低顯示可觀看性(尤其在明亮的陽光下)的高折射率透明導(dǎo)電膜。在另一示例中，在美國專利申請公開No. 2006/0284874A1和2008/0029691A1中介紹的基于攝像機(jī)的系統(tǒng)特別笨重，不適合于手持設(shè)備。另一種具有良好多點觸摸能力的觸摸技術(shù)是“內(nèi)嵌式”觸摸，其中一系列傳感器集成有顯示屏(例如LCD或OLED顯示屏)的多個像素。這些傳感器通常是光檢測器(例如美國專利No. 7，166，966和美國專利申請公開No. 2006/0033016A1中公開的)，但是除此以外，包括微開關(guān)(US2006/0001651A1)和可變電容(US2008/0055267A1)的變型也是公知的。內(nèi)嵌式方法不能被改型并且通常向集成有傳感器的顯示屏的制造和控制增加復(fù)雜度。而且，那些依賴于環(huán)境光遮擋的技術(shù)不能在低光照條件下工作。
依賴能量路徑的遮擋(即部分阻擋或完全阻擋)來檢測和定位觸摸對象的觸摸屏占據(jù)中立角色，因為它們能夠檢測多個觸摸事件的存在，但是經(jīng)常不能準(zhǔn)確地確定這些觸摸事件的位置，這種情況通常稱為“雙觸摸模糊(double touch ambiguity)”。為了說明，圖I示出傳統(tǒng)紅外式觸摸屏2，例如在美國專利No. 3，478，220和No. 3，764，813中描述的，其包括沿矩形輸入?yún)^(qū)6的兩個相鄰側(cè)邊的多排分立的光源4(例如LED)，多排分立的光源4向沿該輸入?yún)^(qū)的其它兩個側(cè)邊的相對的多排光檢測器10發(fā)射兩組平行光束8。感應(yīng)光通常位于光譜的紅外區(qū)，但是可選地可以是可見光或紫外光。同時存在的兩個觸摸對象A和B能夠由每個坐標(biāo)軸中的兩條光束或多組光束的部分阻擋或完全阻擋檢測到，然而將明白，在沒有額外信息的情況下，它們的實際位置12、12'不能夠與位于標(biāo)示的矩形16的另外兩個斜對角的兩個“幻像”點14、14'區(qū)別開。除感應(yīng)能量路徑呈聲波形式而不是呈光束形式以夕卜，聲表面波(SAW)觸摸輸入設(shè)備使用類似的原理工作并且像美國專利No. 6，723，929中介紹的那樣具有同樣的雙觸摸模糊問題。投射電容觸摸屏也屬于此類，其僅探詢行和列，因而導(dǎo)致比全點可尋址的工作更快的掃描速率，見美國專利申請公開No. US 2008/0150906A1。即使在雙觸摸事件中能夠?qū)⒄_的點與幻像點區(qū)別開，如果設(shè)備控制器必須跟蹤移動的觸摸對象，那么可能產(chǎn)生更多難題。例如，如果“紅外”觸摸屏2上的兩個移動觸摸對 象A和B (圖2A)移動到“遮蔽(eclipse)”狀態(tài)(如圖2B所示)，那么當(dāng)這些對象移出“遮蔽”狀態(tài)時，實際位置12、12'和幻像點14、14'之間的模糊再次發(fā)生。圖2C和圖2D示出離開“遮蔽”狀態(tài)的兩種可能運動，這些可能運動在下文中分別稱為“交叉事件”和“后退事件”，在沒有更多信息的情況下，這些事件對設(shè)備控制器來說是不可分辨的。下文中，將雙觸摸模糊的這種再次發(fā)生稱為“遮蔽問題”。傳統(tǒng)紅外觸摸屏2需要大量光源4和光檢測器10。圖3示出在美國專利No. 5，914，709中描述的具有大大減少的光電子部件數(shù)量的改型的紅外式設(shè)備18，其中多排光源被在L形基板22上集成的通過I X N個分光鏡24對來自單光源4的光進(jìn)行分配的多排“發(fā)射”光波導(dǎo)20取代，以產(chǎn)生網(wǎng)格狀的光束8，并且多排光檢測器被在另一塊L形基板22'集成的搜集上述光束并將它們傳遞給多單元檢測器28(例如線陣相機(jī)或數(shù)碼相機(jī)芯片)的多排“接收”光波導(dǎo)26代替。每個光波導(dǎo)終止在平面內(nèi)透鏡30內(nèi)，平面內(nèi)透鏡30對輸入?yún)^(qū)6的平面內(nèi)的光進(jìn)行準(zhǔn)直，并且該設(shè)備還可以包括圓柱形彎曲的垂準(zhǔn)透鏡(VCL)32，以對平面外方向的信號光進(jìn)行準(zhǔn)直。為了簡單，圖3在輸入?yún)^(qū)的每一側(cè)僅示出四個波導(dǎo)，在實際的設(shè)備中，平面內(nèi)透鏡將充分緊密地間隔，使得最小可能存在的觸摸對象會阻擋每條坐標(biāo)軸中至少一根光束的大部分。在圖4示出的、在標(biāo)題為“A transmissive body (透射體)”的美國專利申請公開No. 2008/0278460A1中公開的且通過引用并入本文的又一種改型的紅外式設(shè)備34中，圖3的設(shè)備18的“發(fā)射”波導(dǎo)20和關(guān)聯(lián)的平面內(nèi)透鏡30被包括導(dǎo)光板38和兩個準(zhǔn)直/改向元件40的透射體36代替，這兩個準(zhǔn)直/改向元件40包括拋物面反射器42。來自兩個光源4的紅外光44被發(fā)射到導(dǎo)光板內(nèi)，然后被上述準(zhǔn)直/改向元件準(zhǔn)直和改向，結(jié)果產(chǎn)生朝接收波導(dǎo)26在導(dǎo)光板前方傳播兩層光46，使得觸摸事件能夠由被觸摸對象阻擋的光層46的那些部分檢測出。顯然，導(dǎo)光板38需要對由光源4發(fā)射的紅外光44透明，并且如果存在下面的顯示屏(未示出)，其還需要對可見光透明。可選地，顯示屏可以位于導(dǎo)光板和光層之間，在此情況下導(dǎo)光板不需要對可見光透明。與圖3的設(shè)備中一樣，輸入設(shè)備34還可以包括離準(zhǔn)直/改向元件的離開面47或者接收側(cè)平面內(nèi)透鏡30或者準(zhǔn)直/改向元件的離開面47和接收側(cè)平面內(nèi)透鏡30很近的VCL，以對平面外方向上的光層46準(zhǔn)直?？蛇x地，準(zhǔn)直/改向元件的離開面可以具有圓柱形的曲率，以提供垂直方向的準(zhǔn)直。在再一個實施例中，可以沒有垂直方向的準(zhǔn)直元件。圖I、圖3和圖4中示出的紅外觸摸輸入設(shè)備的共同特性是在包含平行光線(以分離光束(圖I和圖3)形式或者以差不多均勻的多層光(圖4)形式)的兩個場中提供感應(yīng)光。這兩個光場的坐標(biāo)軸通常是互相垂直的并且垂直于輸入?yún)^(qū)的側(cè)邊，雖然這不是必要的(見例如美國專利No. 5，414，413)。由于在每種情況下觸摸事件是通過光路的遮擋檢測的，所以將理解所有情況易受分別在圖I和圖2A-2D中圖示的“雙觸摸模糊”和“遮蔽問題”影響。類似地，SAff觸摸屏和某些投射電容觸摸屏易受“雙觸摸模糊”和“遮蔽問題”影響。稱作“光學(xué)”觸摸屏稍微不同于“紅外”觸摸屏，因為感應(yīng)光是在兩個扇形場內(nèi)提 供的。如圖16的平面圖所示，“光學(xué)”觸摸屏86通常包括在矩形輸入?yún)^(qū)6的相鄰角內(nèi)的兩個光學(xué)單元88和沿著該輸入?yún)^(qū)的三條邊的反向反射層90。每個光學(xué)單元包括發(fā)射穿過輸入?yún)^(qū)的扇形的光92的光源和多單元檢測器(例如線陣相機(jī))，其中每個檢測器像素接收從反向反射層的某一部分反向反射的光。輸入?yún)^(qū)中的觸摸對象94防止光線到達(dá)每個檢測器中的一個或多個像素，并且其位置通過三角測量確定?，F(xiàn)在參考圖17，會看到，光學(xué)觸摸屏86也易受雙觸摸模糊問題影響，除了實際觸摸點12和12'和幻像點14和14'位于四邊形而不是矩形的各個角以外。于是需要提高觸摸屏尤其是紅外式觸摸屏的多點觸摸能力。多種用于提高觸摸屏的多點觸摸能力的“硬件”改變在本領(lǐng)域是已知的，參見例如美國專利No. 6，723，929、美國專利申請公開No. 2008/0150906A1和2009/0237366A1。這些改進(jìn)通常包括沿第三坐標(biāo)軸或者甚至沿著第四坐標(biāo)軸提供感應(yīng)光束或節(jié)點，從而提供允許明確地確定兩個或三個觸摸對象的位置的附加信息。然而，硬件改變通常需要附加部件，這增加成本并且使設(shè)備組裝復(fù)雜化。發(fā)明目標(biāo)本發(fā)明的目標(biāo)是克服或改善現(xiàn)有技術(shù)的至少一種缺點或者提供有用的替代辦法。在本發(fā)明優(yōu)選的形式中，本發(fā)明的目標(biāo)是提高紅外式觸摸屏的多點觸摸能力。

發(fā)明內(nèi)容
依據(jù)本發(fā)明的第一方面，本發(fā)明提供了一種在具有位于激活表面上的一系列可能觸摸點的觸摸感應(yīng)用戶界面環(huán)境中確定至少一個觸摸點在所述表面上哪里被激活的方法，所述觸摸點的監(jiān)測是通過感應(yīng)在所述激活表面的外圍附近的多個位置上的激活值而實現(xiàn)的，所述方法包括下列步驟(a)確定所述激活值中的至少一個強度變化；以及(b)使用對所述至少一個強度變化的側(cè)邊的梯度測量來確定至少一個觸摸點在所述激活表面上的位置。觸摸點的數(shù)量可以是至少兩個，所述觸摸點的位置可以通過讀取沿所述激活表面的外圍的多個強度變化并對多個點進(jìn)行相關(guān)而確定，以確定可能的觸摸點。優(yōu)選地，對至少一個強度變化的鄰近的相對的梯度測量用來對多個觸摸點進(jìn)行消除模糊(disambiguate)。優(yōu)選地，所述方法還可以包括下列步驟連續(xù)監(jiān)測所述激活值中所述觸摸點強度變化的時間演變；以及在對多個觸摸點進(jìn)行消除模糊中使用所述強度變化的計時。在一些實施例中，第一標(biāo)識強度變化可以用于確定第一觸摸點的位置，第二標(biāo)識強度變化可以用于確定第二觸摸點的位置。在其它實施例中，所述激活表面優(yōu)選地可以包括在其上的一系列被投影的(projected)圖標(biāo)，所述消除模糊有助于觸摸點位置與圖標(biāo)位置相對應(yīng)。在確定所述至少一個觸摸點的位置時優(yōu)選地使用所述強度變化的大小。而且，在對可能的觸摸點進(jìn)行消除模糊中優(yōu)選地使用對象所記錄的陰影繞射特性。在一些實施例中，所述陰影繞射特性的銳度優(yōu)選地與所述對象離所述激活區(qū)的所述外圍的距離關(guān)聯(lián)。在一些實施例中，對可能的觸摸點進(jìn)行的消除模糊可以通過監(jiān)測所述強度變化的時間演變分布并且推斷每個觸摸點的未來位置而實現(xiàn)。依據(jù)本發(fā)明的又一方面，本發(fā)明提供了一種在具有位于激活表面上的一系列可能觸摸點的觸摸感應(yīng)用戶界面環(huán)境上確定一個或多個觸摸點的位置的方法，所述觸摸點的監(jiān)測是通過感應(yīng)在所述激活表面的所述外圍附近的多個位置上的激活值來實現(xiàn)的，所述方法包括下列步驟(a)隨時間推移而跟蹤所述觸摸點周圍的激活值的邊緣輪廓。當(dāng)多個觸摸點間發(fā)生模糊時，優(yōu)選地使用所述邊緣輪廓的特性來確定觸摸點的預(yù) 期位置。所述特性可以包括每個邊緣輪廓的一個或多個梯度。所述特性還可以包括每個邊緣輪廓中鄰近邊緣間的寬度。


現(xiàn)在將參考附圖僅以示例方式來描述本發(fā)明的優(yōu)選實施例，其中圖I示出傳統(tǒng)紅外式觸摸屏的平面圖，其示出雙觸摸模糊的發(fā)生；圖2A到圖2D示出移動觸摸點使雙觸摸模糊再次發(fā)生的“遮蔽問題”；圖3示出另一種紅外觸摸屏的平面圖；圖4示出又一種紅外觸摸屏的平面圖；圖5示出一種針對圖4中示出的那種觸摸屏的方法，通過所述方法能夠檢測觸摸對象并且確定其在一條坐標(biāo)軸方向上的寬度；圖6A到圖6C示出設(shè)備控制器能夠如何對偏食遮蔽狀態(tài)下的雙觸摸事件做出響應(yīng)；圖7A和圖7B示出設(shè)備控制器能夠如何對全食遮蔽狀態(tài)下的雙觸摸事件做出響應(yīng)；圖8示出對象尺寸之間的差異能夠如何分辨雙觸摸模糊；圖9示出手指觸摸的接觸形狀能夠如何隨壓力變化；圖IOA到圖IOC示出所檢測的觸摸尺寸隨時間推移而變化的雙觸摸事件；圖IlA和圖IlB示出，針對圖4中示出的那種觸摸屏，離接收側(cè)的距離對由觸摸對象投射下的陰影的銳度的影響；圖12A到圖12D示出用于分離運動和距離對由移動對象投射下的陰影的銳度的影響的步驟；圖13示出圖4中示出的那種觸摸屏的剖面圖；圖14A和圖14B示出通過移去一個觸摸對象解決的雙觸摸模糊；圖15A到圖15C示出兩個移動經(jīng)過遮蔽狀態(tài)的觸摸對象的合并陰影的尺寸對時間的關(guān)系；
圖16示出“光學(xué)”觸摸屏的平面圖；圖17示出“光學(xué)”觸摸屏的示出了雙觸摸模糊發(fā)生的平面圖；圖18以平面圖方式示出紅外觸摸屏上的雙觸摸事件；以及圖19示意性示出了適合于與本發(fā)明一起使用的顯示屏和設(shè)備控制器的一種形式的設(shè)計實現(xiàn)。
具體實施例方式在這一部分，我們將描述多種在不需要附加硬件部件的情況下提高紅外式觸摸屏的多點觸摸能力的“軟件”或“固件”方法。為了方便，“雙觸摸模糊”和“遮蔽問題”將作為多點觸摸能力的單獨方面進(jìn)行描述。僅以示例的方式，將參考圖4所示的那種紅外觸摸屏描述本發(fā)明的方法，其中感應(yīng)光呈指向多排接收波導(dǎo)的兩層正交光的形式。然而這些方法中的許多一般可應(yīng)用于紅外觸摸屏，也可應(yīng)用于光學(xué)觸摸屏、SAff觸摸屏和投射電容觸摸 屏，這些觸摸屏可能具有本領(lǐng)域技術(shù)人員會想到的微小改動。將關(guān)于雙觸摸事件的分辨率來描述這些方法，然而將理解，這些方法還可應(yīng)用于包括三個或三個以上接觸點的觸摸事件的分辨率。首先，我們將簡要描述一種圖4的觸摸屏檢測觸摸事件的方法。圖5示出根據(jù)感應(yīng)激活值所繪出的圖，其呈接收光強度與穿過觸摸屏的多單元檢測器的一部分的像素位置的關(guān)系的形式，其中根據(jù)在激活表面(即輸入?yún)^(qū))外圍周圍的接收波導(dǎo)的布局，像素位置與穿過激活表面的一個坐標(biāo)軸方向上的位置有關(guān)。如果呈具有降低的光強度48的區(qū)域形式的激活值的強度變化降低到“檢測閾值”50以下，那么將其解釋為觸摸事件。然后根據(jù)可能與檢測閾值一致或者不一致的“位置閾值” 54來確定可靠的觸摸對象的邊緣52，并且邊緣之間的距離55提供觸摸對象在一個坐標(biāo)軸方向上的寬度、尺寸或大小的測量。另一重要參數(shù)是在具有降低的強度48的區(qū)域中的強度變化的斜率。有多種可以限定斜率參數(shù)的方法，并且僅以示例的方式，我們將其定義為強度曲線在“半最大值”高度56附近的梯度(僅幅度)平均值。在其它實施例中，斜率參數(shù)可以不同地限定，并且可以例如包括具有降低強度的區(qū)域內(nèi)的幾個點上的梯度平均值。我們已經(jīng)發(fā)現(xiàn)，圖4的觸摸屏十分適合于邊緣檢測算法，其提供能夠精確確定邊緣位置和斜率參數(shù)的光滑變化的強度曲線。硬件顯示屏顯示系統(tǒng)能夠根據(jù)需求在多種不同硬件環(huán)境下工作。一種形式的硬件環(huán)境示意性地示出在圖19中，其中顯示屏或觸摸激活區(qū)6的外圍由通過集中器28與設(shè)備控制器190互連的檢測器陣列191包圍。設(shè)備控制器連續(xù)地監(jiān)測檢測器并且以高幀率來存儲檢測器輸出。設(shè)備控制器可以采取不同形式，例如微控制器、定制的ASIC或FPGA設(shè)備。設(shè)備控制器執(zhí)行觸摸檢測算法，以向計算機(jī)系統(tǒng)輸出。對于根據(jù)檢測的信號強度下降來檢測觸摸事件的輸入設(shè)備來說，設(shè)備控制器中的用于初始觸摸事件檢測的編碼算法能夠如下執(zhí)行I.連續(xù)地監(jiān)測強度與像素位置的關(guān)系，以檢測包括像素強度低于“檢測閾值”的觸摸事件；2.當(dāng)確定強度低于檢測閾值時，連續(xù)地計算一個或多個周圍像素的斜率梯度，取這些梯度的平均值作為總梯度測量值，輸出該梯度值以及穿過該觸摸事件的距離測量值
3.檢查該觸摸事件的位置，并其判斷該觸摸事件的尺寸和位置是否表示在兩個或多個阻擋的觸摸事件之間存在部分重疊。將理解，類似算法將可應(yīng)用于根據(jù)檢測信號強度的升高來檢測觸摸事件的輸入設(shè)備，例如投射電容觸摸屏。邊緣位置和/或斜率參數(shù)的確定能夠提供幾種用于提高紅外觸摸屏的多點觸摸能力的方法。在一個可普遍應(yīng)用于我們的方法中的許多方法的簡單示例中，邊緣檢測提供多達(dá)兩組數(shù)據(jù)來隨時間推移而跟蹤每個觸摸陰影的每個坐標(biāo)軸，而不是像例如投射電容觸摸中通常執(zhí)行的僅跟蹤中央位置，因而提供了有時可能有用的冗余度，尤其當(dāng)兩個觸摸對象處于偏食遮蔽狀態(tài)時。圖6A示出了輸入?yún)^(qū)6上的雙觸摸事件的模擬，其中這兩個觸摸可在X坐標(biāo)軸方向上、但不可在Y坐標(biāo)軸方向上被分別分辨。在X坐標(biāo)軸邊緣上的邊緣檢測使得能夠確定這兩個觸摸事件的寬度Xa和Xb，然后設(shè)備控制器假設(shè)這兩個觸摸事件是對稱的，使得Y坐標(biāo)軸方向上的寬度Ya和Yb等于X坐標(biāo)軸方向上各自的寬度。圖6A中，由于表現(xiàn)的Y坐標(biāo)軸寬 度58大于Xa和Xb，所以設(shè)備控制器斷定這兩個觸摸事件處于偏食遮蔽狀態(tài)(屬于圖6B和圖6C中示出的兩種可能狀態(tài)中的一種)，該偏食遮蔽狀態(tài)將通過“雙觸摸模糊”部分中描述的方法中的一種或多種分辨。另一方面，如果表現(xiàn)的Y坐標(biāo)軸寬度58等于Xa且大于XB，如圖7A所示，那么控制器斷定這兩個觸摸事件處于全食遮蔽狀態(tài)并且假設(shè)這些觸摸對象在Y坐標(biāo)軸方向上對齊，如圖7B所示。類似的情況存在，如果表現(xiàn)的Y坐標(biāo)軸寬度既等于Xa也等于Xb (顯然相同的觸摸對象)。雙觸摸模糊一種處理雙觸摸模糊的方法(我們將其稱為“不同計時”方法)是觀察兩個觸摸事件的觸下計時。參考圖1，如果觸摸對象A觸下并且至少在系統(tǒng)的計時分辨率(由幀速率決定)內(nèi)在觸摸對象B以前被檢測到，那么設(shè)備控制器能確定對象A位于位置12，由此其推斷對象B將位于位置12'，而不是位于幻像位置14和14'中的任一個。幀速率越高，能分辨觸摸事件A和B的時間間隔得越緊密。在該實施例中，可以附加地對設(shè)備控制器編制程序，以檢測雙觸摸模糊。這能夠通過包括基于時間跟蹤每個觸摸事件的結(jié)構(gòu)的演變來實現(xiàn)。在處理雙觸摸模糊時，預(yù)期的觸摸位置也可以具有意義，例如設(shè)備控制器可以確定在模糊雙觸摸事件中出現(xiàn)的四個候選點中的兩個是更有可能的，比方說因為它們對應(yīng)于關(guān)聯(lián)顯示屏上某些圖標(biāo)的位置。因此，設(shè)備控制器能夠從關(guān)聯(lián)的用戶界面驅(qū)動程序那里下載并存儲用戶界面的信息內(nèi)容和與用戶界面關(guān)聯(lián)的圖標(biāo)位置。當(dāng)出現(xiàn)雙觸摸模糊時，可以向著當(dāng)前圖標(biāo)位置為分辨率施加權(quán)值。如果兩個觸摸對象具有明顯不同的尺寸，那么利用根據(jù)上面對照圖5描述的陰影邊緣確定對象尺寸的另一種方法可能是有意義的。如圖8所示，例如，當(dāng)面臨兩個不同尺寸的觸摸對象A和B的四個可能觸摸位置時，更可能出現(xiàn)的是兩個較大的尺寸Xl和Yl與一個觸摸對象(A)關(guān)聯(lián)，兩個較小的尺寸X2和Y2與另一觸摸對象關(guān)聯(lián)，即對象位于位置12和12'而不是位置14和14'。這種“尺寸匹配”方法能夠擴(kuò)展，使得兩次或多次而不是僅一次測量和比較X坐標(biāo)軸和Y坐標(biāo)軸方向上的觸摸尺寸。這認(rèn)識到一個坐標(biāo)軸或兩個坐標(biāo)軸方向上的觸摸尺寸可以隨時間推移而變化的事實，例如如果手指觸摸從輕壓(較小區(qū)域)開始，然后觸摸尺寸隨增加壓力而擴(kuò)大。如圖9所示，用戶可以用具有稍微橢圓形狀60的輕指尖觸摸開始接觸，然后更用力按壓并輾到指墊上，這將被檢測為較大的更圓的形狀62。圖IOA示出輸入?yún)^(qū)6上的雙觸摸事件的模擬，其中在初始時刻t=0 —個觸摸事件(觸摸A)的X尺寸(X。)比其Y尺寸(YA，J小得多，并且更接近觸摸B的Y尺寸(Yw)。僅通過該t=0信息，設(shè)備控制器可以將ΧΑ，ο與ΥΒ,ο關(guān)聯(lián)并且錯誤地斷定觸摸對象位于幻像位置14和14'。圖IOB和圖IOC示出在觸摸事件期間隨時間推移而變化的被檢測的觸摸尺寸，使得兩個觸摸對象在較晚的時刻t=l在兩個坐標(biāo)軸方向上表現(xiàn)具有相當(dāng)?shù)某叽?即圖IOB的ΧΑ，ΓΥα,ΓΧβ, Γυβ, !)，并且觸摸對象A在更晚的時刻t=2明顯表現(xiàn)大于觸摸事件B (圖IOC的XA，fYA，2>XB，fYB，2)。通過兩次或更多次而不是僅一次測量觸摸尺寸，在僅需要具有數(shù)個毫秒級或數(shù)幾十毫秒級的時間間隔內(nèi)，設(shè)備控制器更可能做出正確的X和Y關(guān)聯(lián)并且正確確定兩個觸摸位置。熟練的技術(shù)人員將認(rèn)識到有多種能夠以數(shù)學(xué)方式表達(dá)該步驟的方式。僅以示例的方式，正確的關(guān)聯(lián)可以確定為下面兩個描述N+1個采樣事件的公式的最大值Σ(Χα, *YAJ) + f,(XBJ*YBJ)( I ) + ) (2)
=0 t=0其中，公式(I)代表一個可能的關(guān)聯(lián){XA，YA}和{XB，YB}的相關(guān)，并且公式(2)代表另一可能關(guān)聯(lián){XA, YB}和{XA, YB}.的相關(guān)。尺寸匹配能夠由設(shè)備控制器通過檢查所記錄的觸摸點結(jié)構(gòu)的時間演變(timeevolution)(具體地測量觸摸點的一個或多個距離)來實現(xiàn)。從圖I中將理解，如果設(shè)備控制器能夠辨別哪個對象更靠近輸入?yún)^(qū)6的給定“發(fā)射”或“接收”側(cè)，那么就能夠明確地確定觸摸對象A和B的位置。例如，如果設(shè)備控制器能夠辨別對象A離長軸接收側(cè)64比對象B遠(yuǎn)，但是更靠近短軸接收側(cè)66，那么其可以斷定對象A和對象B分別位于位置12和12'，而如果對象A離兩個接收側(cè)都比對象B遠(yuǎn)，那么設(shè)備控制器會斷定對象A和對象B分別位于位置14'和14。當(dāng)然，難處是確定這些相對距離，現(xiàn)在我們將描述兩種解決該問題的辦法。第一“相對距離確定”方法依賴于下面的觀察；即在一些情況下觸摸事件邊緣的銳度能夠隨該觸摸事件離相關(guān)接收側(cè)的距離改變。以示例的方式，我們將針對圖4中示出的紅外觸摸屏的特殊情況描述該陰影繞射效應(yīng)，其中我們已觀察到，觸摸對象離相關(guān)接收波導(dǎo)26越遠(yuǎn)，觸摸事件的邊緣變得越模糊。圖IlA示意性示出了由與其中一個接收側(cè)關(guān)聯(lián)的檢測器的一部分檢測的由兩個觸摸對象A和B投射下的陰影，而圖IlB示出了接收光強度的對應(yīng)圖。對象A更靠近那一側(cè)的接收波導(dǎo)并且投射下整齊的陰影，而對象B離那一側(cè)的接收波導(dǎo)更遠(yuǎn)并且投射下模糊的陰影。從數(shù)學(xué)角度看，陰影的銳度或者陰影繞射特性可以以與上面對照圖5描述的斜率參數(shù)類似的形式表達(dá)。兩個或多個觸摸對象離比如說短軸接收側(cè)的相對距離可以根據(jù)它們陰影繞射特性之間的差異確定，這是重要的，因為實際特性可能僅在幅度上稍不同，我們所需要的只是差異。在不希望被理論約束的條件下，我們認(rèn)為該效應(yīng)是由平面內(nèi)接收波導(dǎo)透鏡30和/或拋物面反射器42 (參考圖4)的不完美準(zhǔn)直造成的，這種不完美準(zhǔn)直可能由光源不是理想的點光源的這一事實導(dǎo)致，并且也許可能通過故意將光學(xué)系統(tǒng)設(shè)計成具有某種程度的不完美準(zhǔn)直來增強該效應(yīng)。另一種解釋該效應(yīng)的方法是系統(tǒng)將對象測量為清晰的程度。在圖IlA中，觸摸對象A相對清晰，而觸摸對象B相對模糊，因此可使用某算法來確定聚焦的程度，因此確定相對位置。本領(lǐng)域的技術(shù)人員將理解，許多這樣的聚焦算法是可利用的并且通常用于數(shù)字靜止相機(jī)和視頻相機(jī)中。優(yōu)選地，基于邊緣模糊的相對距離算法將應(yīng)用兩次，以確定觸摸對象離兩個接收側(cè)的相對距離。在某些實施例中，通過相關(guān)坐標(biāo)軸方向上兩個點之間的距離對結(jié)果進(jìn)行加權(quán)，該距離能夠根據(jù)另一條坐標(biāo)軸方向上的光場確定。為了說明，圖18示出紅外觸摸屏的輸入?yún)^(qū)6中的兩個觸摸對象A和B。無論這兩個對象是位于實際的位置12和12'還是位于幻像位置14和14'，都能夠確定它們之間在每條坐標(biāo)軸方向上的距離96和98。在該特殊情況中，距離96大于距離98，所以將向從長軸接收側(cè)64觀察的邊緣模糊施加較大的權(quán)值。
相對距離確定測量能夠在設(shè)備控制器上實現(xiàn)?？梢栽俅螜z查觸摸點結(jié)構(gòu)的時間演變，以確定邊緣的梯度結(jié)構(gòu)。通過當(dāng)前觸摸點的較寬斜率側(cè)，離傳感器或激活區(qū)域外圍的距離能夠確定為較大(或較小，取決于所使用的技術(shù))。相應(yīng)地，較窄的斜率側(cè)表示相反的結(jié)果O情況可以是，對于其它觸摸屏構(gòu)造和技術(shù)的情況，差異邊緣模糊顛倒，使得離接收側(cè)更遠(yuǎn)的對象表現(xiàn)更尖銳的邊緣。然而當(dāng)邊緣銳度的差異是關(guān)鍵考慮時，同樣原理會適用。例如，由于“光學(xué)”觸摸屏(如圖16和圖17所示)通過陰影在線陣相機(jī)或類似物上的成像也檢測到觸摸事件，所以我們預(yù)期由對象投到兩個線陣相機(jī)上的陰影的銳度將依賴于從對象到線陣相機(jī)的相對距離。從圖17所示的雙觸摸情況將明白，這提供了一種將實際觸摸位置12和12'與幻像位置14和14'區(qū)分出的方法。我們指出，我們的“邊緣模糊”方法對于移動觸摸對象來說可能比對于靜止觸摸對象來說更復(fù)雜，因為如果觸摸對象相對于每個幀的相機(jī)快門速度快速移動，那么也能發(fā)生邊緣模糊。雖然我們設(shè)想對于大多數(shù)多點觸摸輸入姿勢來說，用戶會保持他們的觸摸靜止一小段時間，然后再移動觸摸，這可能對于將應(yīng)用的方法而言足夠長，但是仍需要對這種效果的一些考慮。一種可能是僅使用對象的移動速度(例如通過跟蹤其邊緣確定的)來嘗試將移動引起的模糊與期望的距離引起的模糊分離開。另一種可能是如下調(diào)整作為多單元檢測器使用的照相機(jī)的快門動作。圖12A示出了每個幀的標(biāo)準(zhǔn)相機(jī)快門打開期68，并且圖12B示出在該快門打開期間獲取的接收強度圖70的一部分，該圖與圖5和圖IlB中示出的圖類似。問題是圖12B中的陰影區(qū)的傾斜邊緣72是否表示離接收側(cè)的距離或者是由觸摸對象的運動引起的。圖12C示出向單個幀應(yīng)用的可選相機(jī)快門動作，其中全部打開時間段74等于圖12A中的打開期68。如果對象是靜止的，那么接收強度圖的陰影區(qū)仍將如圖12B中所示那樣是對稱的。另一方面，如果對象在移動，那么接收強度圖76將變成非對稱的，如圖12D所示，箭頭78表示觸摸運動的方向。通過知道對于通過邊緣跟蹤確定的給定的運動速度來說接收強度圖的陰影區(qū)應(yīng)當(dāng)看上去什么樣，原則上對運動和距離影響進(jìn)行解卷積是可能的。圖12C中示出的快門序列是基本的并且用來說明該觀點。更復(fù)雜的序列(例如偽隨機(jī)序列)可以在有噪聲的條件下提供較好性能，或者更準(zhǔn)確地對運動和距離效應(yīng)進(jìn)行解卷積。
通過設(shè)備控制器連續(xù)檢查邊緣的當(dāng)前特性或狀態(tài)，能夠?qū)崿F(xiàn)邊緣模糊的時間演變。通過以預(yù)定間隔將感應(yīng)值讀到一系列幀緩沖器內(nèi)并且檢查值的演變，能夠?qū)崿F(xiàn)快門動作。第二“相對距離確定”方法依賴于“Z坐標(biāo)軸信息”，即依賴于在觸摸對象靠近觸摸表面時由觸摸對象投射下的陰影的時間演變。圖13示出圖4的紅外觸摸屏沿直線A-A'的剖面圖，該紅外觸摸屏包括導(dǎo)光板38、接收側(cè)平面內(nèi)透鏡30以及準(zhǔn)直/改向元件40，導(dǎo)光板38的上表面用作觸摸表面80，準(zhǔn)直/改向元件40從其離開面47發(fā)射一層感應(yīng)光46。平面內(nèi)透鏡具有限定角度范圍的接收角82，在接收角82內(nèi)能收集將通過接收波導(dǎo)引導(dǎo)至檢測器的光線。平面內(nèi)透鏡實際上是厚板波導(dǎo)，并且除其它因素以外，其接收角依賴于其高度84。圖13還示出與觸摸表面極靠近的且離觸摸表面等距離的兩個觸摸對象C和D。能夠看出，離接收側(cè)更遠(yuǎn)的對象C已經(jīng)與接收角相交，因此將開始投射下可檢測的陰影，而對象D沒有與接收角相交。觸摸事件檢測的時間演變能夠通過設(shè)備控制器連續(xù)檢查像素強度變化的當(dāng)前特 性來實現(xiàn)?？扉T動作能夠通過將感應(yīng)值以預(yù)設(shè)的間隔讀入一系列幀緩沖器內(nèi)并且檢查值的演變來實現(xiàn)。參考圖I并且考慮長軸接收側(cè)64，在觸摸對象A和B同時以相同速度靠近的假設(shè)下，結(jié)果是更遠(yuǎn)的觸摸對象A會在更接近的觸摸對象B以前開始被檢測到，從而為設(shè)備控制器提供另一條信息來確定位置A和B。對于具體包括接收角和輸入?yún)^(qū)尺寸的給定的光學(xué)和機(jī)械設(shè)計來說，將明白這種方法的有效性依賴于觸摸對象的靠近速度以及設(shè)備的幀速率，因為理想情況下，當(dāng)對象靠近觸摸表面時應(yīng)當(dāng)有對象的幾張“快照”。我們估計對于IOOHz的幀速率來說，對于40mm/s或40mm/s以下的靠近速度將觀察到能用的差異。這不是特別快的靠近速度，但是較快的幀速率將提高這種方法的性能，盡管在以功率消耗為代價的前提下。如果設(shè)備控制器根據(jù)由這種方法獲得信息(很可能與由本發(fā)明描述的其它方法獲得的信息結(jié)合)不能分辨模糊問題，那么幀速率可能臨時升高并且提示用戶重復(fù)多點觸摸輸入。因為用戶在再次施加他們的觸摸以前提起他們的觸摸，所以通過使用例如“Z坐標(biāo)軸”或“差異計時”方法還可以獲得關(guān)于觸摸位置的有用信息。遮蔽問題如上面參考圖2A和圖2D提到的，當(dāng)兩個或多個移動觸摸對象進(jìn)入“遮蔽”狀態(tài)時，可能出現(xiàn)另一模糊問題?，F(xiàn)在，在已經(jīng)使用上面描述的方法中的一種或多種正確地確定了觸摸對象的初始位置的一般假設(shè)下，對用于處理這種“遮蔽”問題的方法進(jìn)行描述?！N處理“遮蔽”問題的方法是應(yīng)用參考圖IlA和圖IlB描述的“陰影銳化”方法，或者在跟蹤對象時連續(xù)應(yīng)用或者在對象從“遮蔽”狀態(tài)露出以后。在任一種方式中，注意到可能出現(xiàn)上面參考圖12A到圖12D描述的運動引起的模糊的復(fù)雜問題，將理解圖2C中是出的“交叉事件”能夠與圖2D中示出的“后退事件”區(qū)分開。在兩個觸摸對象具有不同尺寸的情況中，“遮蔽”問題能夠通過再次應(yīng)用上面描述的“尺寸匹配”方法解決。也就是說，如果在兩個移動觸摸的陰影進(jìn)入“遮蔽”以前已知兩個移動觸摸的尺寸明顯不同，那么當(dāng)它們走出“遮蔽”時，該尺寸信息能用來重新關(guān)聯(lián)陰影。另一種處理“遮蔽”問題的方法是應(yīng)用預(yù)測算法，由此跟蹤觸摸對象(或者它們邊緣)的位置、速度和/或加速度并且對當(dāng)觸摸對象從“遮蔽”狀態(tài)顯現(xiàn)時它們應(yīng)當(dāng)在哪里做出預(yù)測。例如，如果以大約不變的速度運動的兩個觸摸對象(圖2A)短暫地進(jìn)入“遮蔽”狀態(tài)(圖2B)并且似乎以相同的速度顯現(xiàn)，那么很可能已經(jīng)發(fā)生“交叉事件”(圖2C)。另一方面，如果兩個觸摸事件在它們進(jìn)入“遮蔽”狀態(tài)時減速并且在顯現(xiàn)以前保持遮擋某段時間，那么更可能已經(jīng)發(fā)生“后退事件”(圖2D)。如果一個對象是靜止的，那么可以應(yīng)用類似的思考。實際上，在跟蹤對象時，將重復(fù)地應(yīng)用預(yù)測算法，并且在每個幀以后更新相關(guān)項。應(yīng)當(dāng)注意，速度和加速度是矢量，使得運動方向也是相關(guān)預(yù)測因素。預(yù)測方法還可以用來修正容易弄錯的兩個或多個觸摸位置的指定。例如，如果設(shè)備控制器已錯誤地斷定觸摸對象A和B位于幻像位置14和14'(圖14A)并且在對于任一幻像位置上的對象(按照情況可以是移動或靜止)過短的時間段內(nèi)將觸摸對象B調(diào)動至突然移動到位置12 (圖14B)，那么設(shè)備控制器會認(rèn)識到對象A和B實際位于位置12和12'。觸摸對象的時間演變能夠通過設(shè)備控制器連續(xù)地檢查當(dāng)前觸摸點位置或者邊緣的演變狀態(tài)來實施。一種形式的實施可以包括連續(xù)地將所感應(yīng)值讀入一系列幀緩沖器內(nèi)并且檢查隨時間推移的值的演變，這包括檢查隨時間推移的觸摸點位置的演變。這可以包括 隨時間推移的陰影銳度的演變?，F(xiàn)在，我們將描述前面描述的預(yù)測算法的一種用于處理“遮蔽”問題的變形，稱為“時間υ/v/w陰影尺寸分析”。在這種分析中，隨時間推移而監(jiān)測在“遮蔽”狀態(tài)中出現(xiàn)的合并陰影的尺寸，尺寸55根據(jù)參考圖5描述的邊緣52確定。如果所合并的陰影的尺寸逐漸變小，暫時到達(dá)最小，然后逐漸變大，即其尺寸與時間的關(guān)系看上去像“V”形(見圖15A)，那么確定觸摸對象已經(jīng)交叉?？蛇x地，如果所合并的陰影尺寸以降低的速率變小，到達(dá)最小，然后以增加的速率變大，即其尺寸與時間的關(guān)系看上去像“U”形(見圖15B)，那么確定觸摸已經(jīng)停止然后后退。可選地，如果所合并的陰影符合減小/增加/減小/增加的軌跡，即其尺寸與時間的關(guān)系看上去像圓角的“W”形(見圖15C)，那么確定觸摸對象已越過全食遮蔽到達(dá)偏食遮蔽狀態(tài)，然后停止并后退。時間U/V/W陰影尺寸分析能夠通過設(shè)備控制器連續(xù)地檢查所述邊緣的當(dāng)前特性或狀態(tài)來實現(xiàn)?？梢詸z查隨時間推移的演變，以確定出現(xiàn)那種行為。將會理解，所描述的實施例通過提高對雙觸摸模糊的分辨率和/或通過改善對經(jīng)過“遮蔽”狀態(tài)的多個觸摸對象跟蹤，提供了用于提高觸摸屏(尤其是紅外式觸摸屏)的多點觸摸能力的方法。本發(fā)明中描述的方法能夠單獨使用或者以任何順序或組合使用，以提供所希望的多點觸摸性能。而且，這些方法能夠與其它公知技術(shù)結(jié)合使用。雖然本發(fā)明是參考特定示例描述的，但是本領(lǐng)域的技術(shù)人員將會理解，本發(fā)明可以實施為多種其它形式。
權(quán)利要求
1.ー種在具有位于激活表面上的一系列的可能的觸摸點的觸摸感應(yīng)用戶界面環(huán)境中確定至少ー個觸摸點在該表面上哪里被激活的方法，所述觸摸點的監(jiān)測是通過感應(yīng)在該激活表面的外圍附近的多個位置上的激活值而實現(xiàn)的，所述方法包括下列步驟 (a)確定所述激活值中的至少ー個強度變化；以及 (b)使用對所述至少ー個強度變化的側(cè)邊的梯度測量來確定在該激活表面上的至少ー個觸摸點的位置。
2.根據(jù)權(quán)利要求I所述的方法，其中觸摸點的數(shù)量是至少兩個，所述觸摸點的位置是通過讀取沿所述激活表面的外圍的多個強度變化并對多個點進(jìn)行相關(guān)以確定可能的觸摸點而確定的。
3.根據(jù)權(quán)利要求I所述的方法，其中對至少一個強度變化的鄰近的相対的梯度測量用來對多個觸摸點進(jìn)行消除模糊。
4.根據(jù)前面的任ー權(quán)利要求所述的方法，其中所述方法還包括下列步驟 連續(xù)監(jiān)測所述激活值中所述強度變化的時間演變；以及 在對多個觸摸點進(jìn)行消除模糊中使用所述時間演變。
5.根據(jù)權(quán)利要求4所述的方法，其中第一標(biāo)識強度變化用于確定第一觸摸點的位置，第二標(biāo)識強度變化用于確定第二觸摸點的位置。
6.根據(jù)前面的任ー權(quán)利要求所述的方法，其中所述激活表面包括在其上的一系列被投影的圖標(biāo)，所述消除模糊有助于觸摸點位置與所述圖標(biāo)位置相對應(yīng)。
7.根據(jù)前面的任ー權(quán)利要求所述的方法，其中在確定所述至少一個觸摸點的位置時使用所述強度變化的大小。
8.根據(jù)前面的任ー權(quán)利要求所述的方法，其中在對可能的觸摸點進(jìn)行消除模糊中使用對象所記錄的陰影繞射特性。
9.根據(jù)權(quán)利要求8所述的方法，其中所述陰影繞射特性的銳度與所述對象離所述激活區(qū)域的外圍的距離關(guān)聯(lián)。
10.根據(jù)前面的任ー權(quán)利要求所述的方法，其中對可能的觸摸點進(jìn)行的消除模糊是通過監(jiān)測所述強度變化的時間演變分布并且投射每個觸摸點的未來位置而實現(xiàn)的。
11.ー種在觸摸感應(yīng)用戶界面環(huán)境上確定ー個或多個觸摸點的位置的方法，所述觸摸感應(yīng)用戶界面環(huán)境具有位于激活表面上的一系列可能的觸摸點，對所述觸摸點的監(jiān)測是通過在所述激活表面的外圍附近的多個位置上的激活值來實現(xiàn)的，所述方法包括下列步驟 (a)隨時間推移而跟蹤所述觸摸點周圍的激活值的邊緣輪廓。
12.根據(jù)權(quán)利要求11所述的方法，其中當(dāng)在多個觸摸點之間發(fā)生模糊時，使用所述邊緣輪廓的特性來確定觸摸點的預(yù)期位置。
13.根據(jù)權(quán)利要求12所述的方法，其中所述特性包括每個邊緣輪廓的ー個或多個梯度。
14.根據(jù)權(quán)利要求12所述的方法，其中所述特性包括在每個邊緣輪廓中鄰近的邊緣之間的覽度。
15.ー種基本上如前面參考附圖所描述的確定至少一個觸摸點在激活表面上哪里被激活的方法。
全文摘要
本發(fā)明提供一種在具有位于激活表面上的一系列的可能的觸摸點的觸摸感應(yīng)用戶界面環(huán)境中，確定至少一個觸摸點在該激活表面上哪里被激活的方法，所述觸摸點的監(jiān)測是通過感應(yīng)在該激活表面的外圍附近的多個位置上的激活值而實現(xiàn)的，該方法包括下列步驟(a)確定所述激活值中的至少一個強度變化，以及(b)使用對所述至少一個強度變化的側(cè)邊的梯度測量來確定在該激活表面上的至少一個觸摸點的位置。
文檔編號G06F3/041GK102782616SQ201080057279
公開日2012年11月14日 申請日期2010年10月15日 優(yōu)先權(quán)日2009年10月16日
發(fā)明者安德魯·克萊納特, 理查德·普拉德納斯, 達(dá)克斯·庫庫利, 邁克爾·班特爾 申請人:Rpo有限公司