高效的自由空間手指識別的制作方法
【技術(shù)領(lǐng)域】
[0001]本文描述的實(shí)施例一般涉及感知計(jì)算，以及更確切地來說涉及高效的自由空間手指識別。
【背景技術(shù)】
[0002]個(gè)人計(jì)算(例如，未來計(jì)算)可以包括投影式觸摸表面(PTS)接口。PTS可以使用投影器將用戶接口元件投影在表面，如桌面或臺面。因?yàn)楸砻姹旧砜赡軣o法接收輸入，所以PTS可以使用其他傳感器來觀察交互行為和使用這些作為輸入。例如，PTS可以包括深度傳感器以識別手指(例如，手指尖)在投影的用戶接口上或周圍移動(或被放置在投影的用戶接口上或周圍)以確定與接口的交互。
【附圖說明】
[0003]在不一定按比例繪制的附圖中，在不同視圖中相似的數(shù)字可以描述相似的組件。具有不同字母后綴的相似數(shù)字可以表示相似組件的不同實(shí)例。附圖大致以舉例而非限制的方式圖示本發(fā)明文檔中論述的多種實(shí)施例。
[0004]圖1圖示包括根據(jù)實(shí)施例的用于高效的自由空間手指識別的電路實(shí)現(xiàn)的設(shè)備的框圖的示例PTS系統(tǒng)。
[0005]圖2A-2B圖示根據(jù)實(shí)施例的用于高效的自由空間手指識別的深度圖像和掩模的示例。
[0006]圖3圖示根據(jù)實(shí)施例的用于高效的自由空間手指識別的方法的示例。
[0007]圖4圖示根據(jù)實(shí)施例的用于高效的自由空間手指識別的方法的示例。
[0008]圖5是圖示可以實(shí)現(xiàn)一個(gè)或多個(gè)實(shí)施例的機(jī)器的示例的框圖。
【具體實(shí)施方式】
[0009]現(xiàn)在，PTS系統(tǒng)檢測手指尖觸摸投影式用戶接口元件的常見方式是使用來自深度傳感器的深度圖像。接下來，可以從深度圖像找出手團(tuán)點(diǎn)(blob)。正如本文所使用的，團(tuán)點(diǎn)是數(shù)字圖像中一些屬性(例如，與點(diǎn)的距離、連通性、顏色、亮度等)是恒定的或在限定的值范圍內(nèi)變化的區(qū)域(例如，像素、子像素、體素的集合等)。在找到手團(tuán)點(diǎn)之后，從手團(tuán)點(diǎn)中找出手指骨架(例如對其建模)。最后，可以從手骨架查找一個(gè)或多個(gè)手指尖的三維(3D)位置以確定與投影式用戶接口的交互。在一個(gè)示例中，可以使用手骨架來確定用戶在投影的表面上或上方的手勢輸入。
[0010]至少兩個(gè)問題來自PTS系統(tǒng)的目前實(shí)現(xiàn)。首先，在深度圖像中從團(tuán)點(diǎn)計(jì)算手骨架是計(jì)算密集的過程，可能浪費(fèi)在非手的團(tuán)點(diǎn)上，如不是用于輸入的物體。此類物體的示例可以包括放置在桌面上碰巧位于深度傳感器的視場內(nèi)的杯子。隨著深度傳感器分辨率增加，此問題復(fù)雜化。
[0011]其次，目前深度傳感器性能無法模仿逼近觸摸屏幕用戶體驗(yàn)，因?yàn)槔鐭o法跟隨用戶、沒有深度分辨率、噪聲深度圖像等。在一些示例中，可以使用線發(fā)射器來投影平行于且接近觸摸表面的光平面。由此，手指觸摸表面將中斷該平面并將光反射到例如PTS系統(tǒng)的攝像器并指示已發(fā)生觸摸。但是，在深度傳感器使用對線發(fā)射器波長敏感的攝像器的示例中，攝像器可能無法區(qū)分觸摸與接近攝像器放置的物體之間的差別。
[0012]可以通過基于團(tuán)點(diǎn)是否觸碰深度圖像的邊緣來將團(tuán)點(diǎn)分類為潛在的手或分類分物體來解決第一個(gè)問題。以此方式將團(tuán)點(diǎn)分類是基于觀察到手可能連接到手臂并由此可能連接到身體，而手臂和身體通常位于深度圖像的視見平截頭體外。相比之下，如杯子、電話、鋼筆等的物體可能完整地位于視見平截頭體內(nèi)?？梢员苊鈱Ψ诸悶槲矬w的團(tuán)點(diǎn)進(jìn)行手骨架分析，并由此節(jié)省了昂貴的計(jì)算操作。因此，節(jié)省這些計(jì)算資源可以增加PTS系統(tǒng)的效率。
[0013]第二個(gè)問題可以通過將深度數(shù)據(jù)與手指中斷線發(fā)射器發(fā)射的光平面導(dǎo)致的亮點(diǎn)識別組合來解決。這里，在深度計(jì)算之前，可以將亮點(diǎn)記錄在圖像中。例如，如果深度傳感器包括紅外(IR)發(fā)射器和IR敏感攝像器，以及光發(fā)射器發(fā)射IR光，可以使用深度分析之前深度傳感器攝像器捕獲的圖像來檢測IR光的亮點(diǎn)。正如上文提到的，這些亮點(diǎn)可能是由手指中斷IR光平面并將其一部分反射回?cái)z像器所致?？梢宰R別這些亮點(diǎn)，然后基于深度圖像將其分類，從而將接近表面的亮點(diǎn)分類為觸摸以及遠(yuǎn)離表面的亮點(diǎn)是非觸摸。再者，可以基于其他因素排除亮點(diǎn)作為可能的觸摸。例如，如果亮點(diǎn)與例如手指尖的模型(例如，在尺寸、形狀等方面)不一致，則可以將該亮點(diǎn)分類為非觸摸。在一個(gè)示例中，可以根據(jù)深度圖像來確定手骨架。如果亮點(diǎn)與手骨架的手指不對應(yīng)，則也可以將其分類為非觸摸。通過識別潛在觸摸亮點(diǎn)，在上面的空中手勢中，可以使用觸摸表面而不會在投影的用戶接口上引入錯(cuò)誤觸摸。因此，深度傳感器和線發(fā)射器的組合能夠通過提高PTS系統(tǒng)的輸入準(zhǔn)確度來提升用戶體驗(yàn)。
[0014]上文給出的解決方案可以單獨(dú)地使用或以多種方式來進(jìn)行組合。例如，通過避免對物體團(tuán)點(diǎn)處理來高效地確定手骨架，這樣能夠通過排除與潛在手團(tuán)點(diǎn)不對應(yīng)的亮點(diǎn)來實(shí)現(xiàn)高效亮點(diǎn)分析。但是，在所有情況中，計(jì)算效率和準(zhǔn)確度的其中之一或全部均得以提高，從而促成PTS系統(tǒng)在自由空間中(例如，并不實(shí)際地與觸敏表面交互)的更高效手指識別。
[0015]圖1圖示包括用于高效的自由空間手指識別的電路實(shí)現(xiàn)的設(shè)備175的框圖的示例PTS系統(tǒng)100。PTS系統(tǒng)100可以包括基座105、垂直構(gòu)件110(可以與基座105附接的下方部分)和頭部115 (可以附接到垂直構(gòu)件110的上方部分)。PTS系統(tǒng)100還可以包括能夠(例如，以有線、無線、置于其中的方式)在通信上耦合到基座105、垂直構(gòu)件110或頭部115的電路實(shí)現(xiàn)的設(shè)備175。
[0016]頭部115可以包括布置成具有向下視場的深度傳感器120。如圖所示，粗虛線指示深度傳感器120的視場。陰影區(qū)域140指示深度傳感器的視場中的基座平面140?；矫?40與表面150吻合。在一個(gè)示例中，頭部115還可以包括投影器125來實(shí)現(xiàn)投影的用戶接口 145 (由線化區(qū)域145所示)。在一個(gè)示例中，投影器125可以被置于其他位置，如天花板、另一個(gè)設(shè)備等中。在一個(gè)示例中，深度傳感器120包括攝像器和光發(fā)射器?？梢酝ㄟ^將光發(fā)射器的發(fā)射反射出視見平截頭體中的物體并被攝像器捕獲的往返程設(shè)定時(shí)間來創(chuàng)建深度圖像。在一個(gè)示例中，攝像器對于IR光敏感，且光發(fā)射器在IR光譜發(fā)射。
[0017]在一個(gè)不例中，基座105可以包括線發(fā)射器155。線發(fā)射器155可以發(fā)射與表面150平行的光平面160 (由交叉線區(qū)域160指示)。如上文論述，這種發(fā)射可能在交叉時(shí)導(dǎo)致亮點(diǎn)，如物體亮點(diǎn)170和觸摸亮點(diǎn)165。
[0018]如圖1所示，杯子135表示杯子的實(shí)際物體和深度圖像中的團(tuán)點(diǎn)。相似地，手和手腕(下文稱為手)130也表示實(shí)際的手和深度圖像中的團(tuán)點(diǎn)。
[0019]電路實(shí)現(xiàn)的設(shè)備175是能夠在通信上耦合到基座105、垂直構(gòu)件110或頭部115的其中任何一個(gè)或全部來接收深度傳感器或亮點(diǎn)數(shù)據(jù)的一個(gè)或多個(gè)機(jī)器。在一個(gè)示例中，電路實(shí)現(xiàn)的設(shè)備175的其中一個(gè)或全部組件封裝在基座105、垂直構(gòu)件110或頭部115的其中一個(gè)或多個(gè)內(nèi)。電路實(shí)現(xiàn)的設(shè)備175可以包括手鑒別器180、手骨架定位器185或表面觸摸定位器190的其中任何一個(gè)或全部。
[0020]手鑒別器180可以布置成識別深度傳感器120捕獲的深度圖像中的表面150。表面識別使得深度圖像中的像素(例如，體素)分類為外圍像素(例如，表面150與深度傳感器120之間的像素或表面150上沒有的像素)。識別團(tuán)點(diǎn)(例如，手130和杯子135)是從外圍像素進(jìn)行。在一個(gè)示例中，手鑒別器180布置成從深度圖像識別一個(gè)或多個(gè)團(tuán)點(diǎn)(例如，手130或杯子135)。在一個(gè)示例中，可以不首先識別表面150的情況下識別團(tuán)點(diǎn)。在一個(gè)示例中，團(tuán)點(diǎn)包括深度圖像中的多個(gè)連續(xù)像素(例如，外圍像素)。因?yàn)樯疃葓D像可能是噪聲，所以通過計(jì)算兩個(gè)像素之間的距離并將該距離與閾值比較來確定像素是否是連續(xù)的。因此，如果像素距離在閾值以下，則可以將兩個(gè)像素視為連續(xù)的。但是，要注意，可以使用多種公知的方法的任一種來確定什么像素構(gòu)成團(tuán)點(diǎn)。在一個(gè)示例中，可以計(jì)算外圍像素的外輪廓(例如，輪廓線)。外輪廓內(nèi)的像素是團(tuán)點(diǎn)的一部分(例如，組成)。
[0021]手鑒別器180還可以布置成分類識別的團(tuán)點(diǎn)。例如，對于每個(gè)識別的團(tuán)點(diǎn)，手鑒別器180可以確定團(tuán)點(diǎn)是否與深度圖像的邊緣交叉。如果團(tuán)點(diǎn)與邊緣相交，可以將團(tuán)點(diǎn)分類為潛在的手。如果團(tuán)點(diǎn)不與邊緣相交，則可以將團(tuán)點(diǎn)分類為物體。在一個(gè)示例中，可以將間距接近的團(tuán)點(diǎn)(例如，基于環(huán)境在預(yù)先識別的容差或距離內(nèi))可以分類為潛在的手。在此示例中，基于PTS系統(tǒng)的一個(gè)或多個(gè)工作參數(shù)來確定接近，如深度圖像噪聲，深度傳感器120的定位、深度傳感器視場等。在一個(gè)示例中，接近是與深度圖像邊緣相距在預(yù)定義數(shù)量的像素內(nèi)。
[0022]在一個(gè)示例中，為了確定團(tuán)點(diǎn)是否與深度圖像的邊緣相交，手鑒別器180可以布置成創(chuàng)建深度圖像的掩模?？梢詫⒀谀?nèi)的團(tuán)點(diǎn)分類為與邊緣相交，或直接分類為潛在的手?？梢詫⒀谀Ｍ獾膱F(tuán)點(diǎn)分類為不與邊緣相交，分類為物體或直接將其忽略。在一個(gè)示例中，忽略團(tuán)點(diǎn)相當(dāng)