本發(fā)明屬于跨屏幕的人機(jī)交互領(lǐng)域，具體涉及一種基于自然手勢(shì)的跨屏幕自適應(yīng)精度調(diào)整方法及裝置。

背景技術(shù)：

隨著互聯(lián)網(wǎng)時(shí)代的日益成熟，各種智能類(lèi)電子產(chǎn)品已經(jīng)成為幾乎每個(gè)人必不可少的物品。人們?cè)诟惺苤萍紟Ыo自身便利的同時(shí)，也在不斷追求著新的突破。無(wú)論是手機(jī)、ipad或是電腦，現(xiàn)有的人機(jī)交互方式都是通過(guò)手接觸顯示屏實(shí)現(xiàn)的。但是人們已經(jīng)不再滿足于傳統(tǒng)的單向互動(dòng)的操作習(xí)慣，開(kāi)始慢慢的趨向于雙向的人機(jī)互動(dòng)。如何更方便的操控工具，得到更好的用戶體驗(yàn)，如何使機(jī)器更好地理解人的動(dòng)作和情感，是人們?cè)诂F(xiàn)階段所要思考的問(wèn)題。

支持自然用戶界面的技術(shù)通過(guò)人的處理，尤其是在沒(méi)有輸入或者穿戴設(shè)備的情況下，對(duì)程序進(jìn)行控制的技術(shù)，統(tǒng)稱(chēng)為自然交互技術(shù)，包括硬件和軟件兩個(gè)方面。這項(xiàng)技術(shù)已經(jīng)悄然融入在人們的生活中，回望近10年來(lái)技術(shù)的發(fā)展，各種新興設(shè)備的出現(xiàn)，科研機(jī)構(gòu)和軟件公司也在不停地進(jìn)行用戶習(xí)慣和交互手勢(shì)的研究，蘋(píng)果和三星還為此進(jìn)行了專(zhuān)利訴訟，用戶界面技術(shù)也在不停地發(fā)展。但是這些成果距離讓我們的操作變得更加“自然”還離的很遠(yuǎn)，用戶想要順暢地使用這些設(shè)備也必須首先了解設(shè)備的使用方法，比如智能手機(jī)中的放大縮小操作，首先都必須進(jìn)行訓(xùn)練。

縱觀交互技術(shù)的發(fā)展，人們趨向于更自然更炫酷的交互體驗(yàn)，廠商也在不遺余力的開(kāi)發(fā)并對(duì)這些新技術(shù)進(jìn)行推廣，例如三星galaxys4手機(jī)中使用的眼球翻頁(yè)技術(shù)，給用戶在閱讀手機(jī)時(shí)帶來(lái)了極大的便利；微軟開(kāi)發(fā)的kinect依靠相機(jī)捕捉三維空間中玩家的運(yùn)動(dòng)，使游戲豐富化、趣味化；leap公司開(kāi)發(fā)的leapmotion只需將設(shè)備插入電腦中，即可揮動(dòng)一只手指就能瀏覽網(wǎng)頁(yè)、播放音樂(lè)、繪畫(huà)以及游戲等，給用戶的生活和工作帶來(lái)了極大的便利。這類(lèi)交互體感設(shè)備的推出，使得我們的生活變得有趣起來(lái)。

但是，目前這類(lèi)產(chǎn)品還存在一定的局限性。kinect是游戲產(chǎn)品，在開(kāi)始使用時(shí)，需要一定的初始化操作。kinect主要是識(shí)別運(yùn)動(dòng)軌跡，手停留幾秒識(shí)別為“選擇”操作，但還沒(méi)有更進(jìn)一步地將手指關(guān)節(jié)識(shí)別為命令。leapmotion可以識(shí)別手指關(guān)節(jié)的變化(如抓取)，但像在電腦端那樣執(zhí)行任務(wù)流是不適合的。leapmotion使用過(guò)程中，手要懸浮在空中，使用一段時(shí)間之后會(huì)比較疲勞，它的識(shí)別精度達(dá)到了次毫米級(jí)，連接之后可以立即使用，但由于手懸浮時(shí)難免有細(xì)微的抖動(dòng)，對(duì)屏幕在幾個(gè)像素范圍對(duì)精準(zhǔn)操作非常困難。leapmotion和kinect運(yùn)用的是計(jì)算機(jī)形狀學(xué)，myo則涉及到生物科學(xué)，臂帶上的感應(yīng)器可以捕捉到用戶手臂肌肉運(yùn)動(dòng)時(shí)產(chǎn)生的生物電變化，從而判斷佩戴者的意圖，再將電腦處理的結(jié)果通過(guò)藍(lán)牙發(fā)送至受控設(shè)備，但只限于單手手勢(shì)，并且需要額外佩戴設(shè)備。不過(guò)，目前自然手勢(shì)交互方式在不同類(lèi)型的設(shè)備上，雖然使用起來(lái)具有一定的靈敏度，其精度無(wú)法自適應(yīng)調(diào)整或者調(diào)整非常麻煩，這使用戶體驗(yàn)大大降低。目前，kinect和leapmotion還沒(méi)有找到合適的方法解決這個(gè)問(wèn)題。不論是使用手機(jī)還是電腦，要對(duì)其進(jìn)行操作，通常都需要用戶的實(shí)際觸摸。在許多情況下，必須實(shí)際觸摸才能控制工具并不方便。因此需要一種方法和裝置來(lái)使得用戶在不實(shí)際接觸顯示屏的情況下就能精準(zhǔn)的操控工具。

技術(shù)實(shí)現(xiàn)要素：

為解決手勢(shì)識(shí)別技術(shù)在跨越不同類(lèi)型和大小屏幕的交互中需要自動(dòng)適應(yīng)不同精度的要求，以及解決在屏幕中顯示不同內(nèi)容時(shí)所需要的不同精度控制要求，本發(fā)明提出了一種基于自然手勢(shì)的跨屏幕自適應(yīng)精度調(diào)整方法及裝置，該裝置結(jié)合realsense實(shí)感技術(shù)，可以對(duì)自然手勢(shì)和用戶人臉進(jìn)行更加精確的檢測(cè)，判斷用戶的站立距離、位置和移動(dòng)速度，并根據(jù)對(duì)應(yīng)的規(guī)則動(dòng)態(tài)地調(diào)整手勢(shì)控制的速度和精度。

本發(fā)明提出了一種基于自然手勢(shì)的跨屏幕自適應(yīng)精度調(diào)整裝置，包括：

兩個(gè)realsense實(shí)感攝像頭，用于獲取待測(cè)環(huán)境的色彩圖像與realsense實(shí)感攝像頭發(fā)射的紅外圖形的深度圖像，并將該深度和色彩圖像輸出至圖像處理單元；

圖像處理單元，用于對(duì)接收的色彩圖像進(jìn)行分析與識(shí)別，得到用戶手部圖像，然后，結(jié)合深度圖像分析得到用戶手部的空間位置和移動(dòng)信息，并根據(jù)空間位置、移動(dòng)信息以及預(yù)設(shè)的自適應(yīng)調(diào)整精度規(guī)則輸出控制信號(hào)至控制接口；

控制接口，用于將接收的控制信號(hào)輸送到交互機(jī)；

交互機(jī)，用于解析接收的控制信號(hào)，并根據(jù)該控制信號(hào)控制交互機(jī)顯示屏上光標(biāo)的運(yùn)動(dòng)。

所述的realsense實(shí)感攝像頭包括：色彩傳感器、紅外激光器、紅外傳感器以及實(shí)感圖像處理芯片；所述的色彩傳感器用于接收待測(cè)環(huán)境的色彩，形成色彩圖像；所述的紅外激光器以特定頻率發(fā)射特定編碼的紅外激光，形成紅外圖形照射到待測(cè)環(huán)境中；所述的紅外傳感器接收所述紅外激光投射在待測(cè)環(huán)境中物體表面形成的紅外光斑，形成紅外圖形的深度圖像；所述的實(shí)感圖像處理芯片通過(guò)取樣和量化過(guò)程將色彩和深度圖像轉(zhuǎn)化為適合計(jì)算機(jī)處理的數(shù)字?jǐn)?shù)據(jù)。

所述的realsense實(shí)感攝像頭可以替換為深度攝像頭與色彩攝像頭的組合，且不限制深度攝像頭與色彩攝像頭的類(lèi)型，只要能獲得色彩和深度圖像即可。

所述的紅外激光器發(fā)射的紅外激光形成的特定形狀至少要能夠覆蓋待識(shí)別物體的形狀，這樣可以完整地獲得與待識(shí)別物體的色彩圖像相對(duì)應(yīng)的灰度圖像，會(huì)計(jì)算分析待測(cè)物體的空間位置奠定基礎(chǔ)。

本發(fā)明采用兩個(gè)相對(duì)位置固定的realsense攝像頭模擬人的雙眼，從不同的角度獲得待測(cè)環(huán)境的色彩圖像與紅外圖形的深度圖像，進(jìn)行色彩和深度距離的雙重驗(yàn)證，即來(lái)自于兩個(gè)realsense實(shí)感攝像頭的兩個(gè)色彩圖像之間有個(gè)色彩校驗(yàn)，來(lái)自于兩個(gè)realsense實(shí)感攝像頭的深度圖像之間的深度距離校驗(yàn)。此外，來(lái)自于一個(gè)realsense實(shí)感攝像頭的色彩圖像與深度圖像之間也有一個(gè)檢驗(yàn)，這樣的設(shè)計(jì)大大地提高了檢測(cè)的準(zhǔn)確性和魯棒性。

本發(fā)明中，兩個(gè)紅外激光器投射的紅外激光是相互獨(dú)立的，兩個(gè)紅外傳感器檢測(cè)得到的紅外圖形的深度圖像也是獨(dú)立的兩幅，但是由于存在雙重紅外激光投射，因此能進(jìn)一步提高深度圖像的分辨率。

本發(fā)明中，紅外激光器以特定編碼的結(jié)構(gòu)光發(fā)射至待測(cè)環(huán)境中，紅外激光圖案在物體表面投影形成不同形狀的紅外光斑，此時(shí)，紅外傳感器捕捉到紅外光斑，根據(jù)紅外光斑的投影大小和形變程度計(jì)算物體表面的空間距離和物體表面的形變程度，得到的空間距離值作為像素值，形成紅外圖形的深度圖像。

作為優(yōu)選，所述的realsense實(shí)感攝像頭與圖像處理單元集成于一塊pcb電路板上或嵌入式開(kāi)發(fā)板，所述的嵌入式開(kāi)發(fā)板為樹(shù)莓派、arduino的功能板以及樹(shù)莓派與arduino的功能板的組合。

所述的控制接口與圖像處理模塊的連接方式是固定的，且控制接口是usb接口，microusb接口，miniusb接口以及usbc接口中的一個(gè)或這些接口的任意組合。

另一方面，本發(fā)明提出了一種應(yīng)用上述裝置的跨屏幕自適應(yīng)精度調(diào)整方法，包括以下步驟：

(1)利用realsense實(shí)感攝像頭c1與c2采集待測(cè)環(huán)境的色彩圖像a1與a2、realsense實(shí)感攝像頭發(fā)射的紅外圖形的深度圖像b1與b2；

(2)圖像處理單元對(duì)接收的色彩圖像a1與a2進(jìn)行檢測(cè)分析，多次驗(yàn)證得到用戶手部的空間位置、移動(dòng)信息；

(3)圖像處理單元根據(jù)預(yù)設(shè)的自適應(yīng)調(diào)整精度規(guī)則，結(jié)合用戶手部的空間位置、移動(dòng)信息發(fā)出控制信號(hào)經(jīng)控制接口傳送至交互機(jī)；

(4)交互機(jī)解析接收的控制信號(hào)，并根據(jù)該控制信號(hào)動(dòng)態(tài)調(diào)整交互機(jī)顯示屏上光標(biāo)的運(yùn)動(dòng)。

步驟(2)中，確定用戶手部的空間位置的具體過(guò)程為：

(a)采用opencv計(jì)算機(jī)圖像庫(kù)，利用圖像庫(kù)的haar分類(lèi)器識(shí)別色彩圖像a1與a2中用戶手部信息，得到用戶手部圖像h1與h2；這種檢測(cè)方式能夠擴(kuò)大對(duì)于用戶人臉和手部識(shí)別所需要的角度和動(dòng)作范圍；

(b)驗(yàn)證用戶手部圖像h1與h2是否一致，若一致，執(zhí)行步驟(c)，若不一致，跳轉(zhuǎn)執(zhí)行步驟(a)；

(c)根據(jù)用戶手部圖像h1在色彩圖像a1中的位置、realsense實(shí)感攝像頭c1與c2之間的固定距離，利用三角定位法判斷該用戶手部h1相對(duì)于realsense實(shí)感攝像頭c1光軸的偏移角度θ1與用戶手部在待測(cè)環(huán)境中的空間位置(x1、y1、z1)，其中，x1、y1為用戶手部圖像h1在色彩圖像a1中的坐標(biāo)位置，z1為用戶手部與realsense實(shí)感攝像頭c1與c2所在平面之間的真實(shí)距離l1；

(d)根據(jù)用戶手部圖像h2在色彩圖像a2中的位置、realsense實(shí)感攝像頭c1與c2之間的固定距離，利用三角定位法判斷該用戶手部h1相對(duì)于realsense實(shí)感攝像頭c2光軸的偏移角度θ2與用戶手部在待測(cè)環(huán)境中的空間位置(x2、y2、z2)，其中，x2、y2為用戶手部圖像h2在色彩圖像a2中的坐標(biāo)位置，z2為用戶手部與realsense實(shí)感攝像頭c1與c2所在平面之間的真實(shí)距離l2；

(e)根據(jù)用戶手部圖像h1在色彩圖像a1中的像素坐標(biāo)，獲得灰度圖像b1中相同像素坐標(biāo)處的像素值，該像素值為用戶手部的空間距離d1，同理，獲得用戶手部的空間距離d2；

(f)判斷用戶手部的真實(shí)距離l與空間距離d之差是否小于預(yù)設(shè)閾值，若否，執(zhí)行步驟(g)，若是，將當(dāng)前得到的真實(shí)距離l與空間距離d的算術(shù)平均值作為用戶手部在待測(cè)環(huán)境中的真實(shí)空間位置的z值，最終確定用戶手部的空間位置(x，y，z)；

(g)判斷當(dāng)前超過(guò)預(yù)設(shè)閾值次數(shù)是否超過(guò)n，若是，執(zhí)行步驟(h)，若否，跳轉(zhuǎn)執(zhí)行步驟(a)，n為超過(guò)預(yù)設(shè)閾值次數(shù)的閾值：

(h)取第n次判斷中，將真實(shí)距離l與空間距離d的算術(shù)平均值作為用戶手部在待測(cè)環(huán)境中的真實(shí)空間位置的z值坐標(biāo)，最終確定用戶手部的空間位置(x，y，z)；

其中，x，y為用戶手部在色彩圖像a1與a2中相應(yīng)位置的算術(shù)平均值；l為l1與l1的算術(shù)平均值，d為d1與d2的算術(shù)平均值。

步驟(2)中，確定用戶手部的移動(dòng)信息的具體過(guò)程為：

(a)按照一定的時(shí)間間隔連續(xù)采集多幀的色彩圖像a1與a2、深度圖像b1與b2；

(b)按照上述確定用戶手部空間位置的方法得到每一采樣時(shí)間點(diǎn)用戶手部的空間位置；

(c)根據(jù)相鄰兩個(gè)采樣時(shí)間點(diǎn)上的用戶手部的空間位置的z坐標(biāo)、偏移角度以及采樣時(shí)間間隔計(jì)算用戶手部的移動(dòng)速度。

步驟(3)中，所述預(yù)設(shè)的自適應(yīng)精度調(diào)整規(guī)則的參考權(quán)重包括：

(a)交互顯示屏的尺寸，通過(guò)用戶手部的空間位置(x，y，z)的z值判斷交互顯示屏的大小，z的值小于50cm時(shí)，交互顯示屏為小顯示屏，z的值在50cm～120cm之間時(shí)，交互顯示屏為中顯示屏，z的值在120cm～300cm之間時(shí)，交互顯示屏為中大顯示屏；

(b)交互顯示屏上的交互區(qū)域，判斷用戶的手勢(shì)是在顯示屏的左側(cè)還是在顯示屏的右側(cè)；

(c)左右手，判斷手勢(shì)交互中使用的是左手還是右手；

(d)手部移動(dòng)速度，判斷手勢(shì)在三維空間中的移動(dòng)速度；

(e)顯示屏顯示內(nèi)容的接近度，判斷手勢(shì)驅(qū)動(dòng)的光標(biāo)是否在顯示屏上接近交互對(duì)象；

(f)顯示屏顯示內(nèi)容的密度，判斷顯示屏上顯示的交互對(duì)象的數(shù)量和在對(duì)應(yīng)屏幕面積上的分布密度；

(g)臉部-手部距離，判斷用戶在交互的過(guò)程中臉部與手部在攝像頭光軸方向上的距離；

綜上，自適應(yīng)精度調(diào)整規(guī)則r＝{交互顯示屏的尺寸，交互顯示屏上的交互區(qū)域，左右手，手部移動(dòng)速度，顯示屏顯示內(nèi)容的接近度，顯示屏顯示內(nèi)容的密度，臉部-手部距離}。

步驟(4)中，動(dòng)態(tài)調(diào)整顯示屏光標(biāo)移動(dòng)的規(guī)則為：

根據(jù)顯示屏的尺寸將顯示屏分成多個(gè)部分，若是小顯示屏，如手機(jī)屏幕、ipad屏幕，則將其分成上下兩部分；若是中顯示屏，如電腦屏幕，將其分成與中顯示屏等長(zhǎng)寬比的相鄰四個(gè)部分；若是大顯示屏，如投影儀屏幕，將其分成與大顯示屏等長(zhǎng)寬比的多個(gè)部分；其中，上下部分中，顯示屏上部分的光標(biāo)移動(dòng)速度比下半部分的快，靈敏度也比下半部分的高；

根據(jù)交互的左右手，設(shè)置交互區(qū)域光標(biāo)移動(dòng)靈敏度，當(dāng)左手交互時(shí)，與左手同側(cè)的交互區(qū)域光標(biāo)移動(dòng)靈敏度相對(duì)于其他區(qū)域更高，移動(dòng)速度也更快；

根據(jù)交互手的移動(dòng)速度，設(shè)置交互區(qū)域光標(biāo)的靈敏度，當(dāng)交互手的移動(dòng)速度越快，交互區(qū)域光標(biāo)的總體靈敏度越高，光標(biāo)的移動(dòng)速度越慢；

根據(jù)顯示屏中光標(biāo)與按鈕等交互對(duì)象之間的距離，設(shè)置光標(biāo)的靈敏度，光標(biāo)越接近按鈕，光標(biāo)的總體靈敏度越高，移動(dòng)速度越低；

根據(jù)交互手勢(shì)與顯示屏之間的距離，設(shè)置交互區(qū)域光標(biāo)的靈敏度，當(dāng)交互手勢(shì)與顯示屏越遠(yuǎn)時(shí)，光標(biāo)在水平和豎向兩個(gè)方向的移動(dòng)速度越快，靈敏度越高；在大角度斜向的方向上，則反之；

根據(jù)交互對(duì)象在顯示屏中的密度，設(shè)置交互區(qū)域光標(biāo)的靈敏度，交互對(duì)象密度越大，光標(biāo)的總體靈敏度越低，移動(dòng)速度越低。

作為優(yōu)選，還可以采用臉部與手部結(jié)合的方式進(jìn)行交互，進(jìn)而動(dòng)態(tài)調(diào)整顯示屏光標(biāo)的移動(dòng)精度。

本發(fā)明方法通過(guò)用戶實(shí)驗(yàn)檢測(cè)，用戶在自適應(yīng)精度調(diào)整方法下，能夠普遍提高15-20％的大屏幕對(duì)象選擇的準(zhǔn)確率，能讓用戶減少45％的時(shí)間適應(yīng)不同屏幕之間的不同手勢(shì)操作速度和精度；而且，對(duì)于動(dòng)態(tài)的自適應(yīng)調(diào)整方法，能讓用戶在跨屏幕交互的過(guò)程中持續(xù)保持較高的體驗(yàn)滿意度。

附圖說(shuō)明

圖1是實(shí)施例中基于自然手勢(shì)的跨屏幕自適應(yīng)精度調(diào)整裝置的結(jié)構(gòu)示意圖；

圖2是實(shí)施例中基于自然手勢(shì)的跨屏幕自適應(yīng)精度調(diào)整方法的流程圖；

圖3是實(shí)施例中確定用戶手部的空間位置的流程圖；

圖4是實(shí)施例中確定用戶手部的移動(dòng)信息的流程圖。

具體實(shí)施方式

為了更為具體地描述本發(fā)明，下面結(jié)合附圖及具體實(shí)施方式對(duì)本發(fā)明的技術(shù)方案進(jìn)行詳細(xì)說(shuō)明。

參見(jiàn)圖1，本實(shí)施例跨屏幕自適應(yīng)精度調(diào)整裝置包括：兩個(gè)realsense實(shí)感攝像頭、圖像處理單元、控制接口、交互機(jī)；其中，realsense實(shí)感攝像頭由色彩傳感器、紅外激光器、紅外傳感器以及實(shí)感圖像處理芯片組成。

在進(jìn)行跨屏幕自適應(yīng)精度調(diào)整前，將兩個(gè)realsense實(shí)感攝像頭置于交互機(jī)屏幕的左上角與右上角，且圖像處理單元位于兩個(gè)個(gè)realsense實(shí)感攝像頭確定的平面內(nèi)。

具體地，本實(shí)施例控制接口選擇usb接口，交互機(jī)為手機(jī)。交互對(duì)象為手機(jī)屏幕中的紐扣。

參見(jiàn)圖2，利用圖1所示的裝置實(shí)現(xiàn)跨屏幕自適應(yīng)精度調(diào)整方法的具體步驟為：

s01，利用realsense實(shí)感攝像頭c1與c2采集待測(cè)環(huán)境的色彩圖像a1與a2、realsense實(shí)感攝像頭發(fā)射的紅外結(jié)構(gòu)光得到的深度圖像b1與b2。

s02，圖像處理單元對(duì)接收的色彩圖像a1與a2進(jìn)行檢測(cè)分析，多次驗(yàn)證得到用戶手部的空間位置、移動(dòng)信息。

本步驟中，確定用戶手部的空間位置的具體過(guò)程如圖3所示，具體為：

(a)采用opencv計(jì)算機(jī)形圖像庫(kù)，利用圖像庫(kù)的haar分類(lèi)器識(shí)別色彩圖像a1與a2中用戶手部信息，得到用戶手部圖像h1與h2；這種檢測(cè)方式能夠擴(kuò)大對(duì)于用戶人臉和手部識(shí)別所需要的角度和動(dòng)作范圍；

(b)驗(yàn)證用戶手部圖像h1與h2是否一致，若一致，執(zhí)行步驟(c)，若不一致，跳轉(zhuǎn)執(zhí)行步驟(a)；

(c)根據(jù)用戶手部圖像h1在色彩圖像a1中的位置、realsense實(shí)感攝像頭c1與c2之間的固定距離，利用三角定位法判斷該用戶手部h1相對(duì)于realsense實(shí)感攝像頭c1光軸的偏移角度θ1與用戶手部在待測(cè)環(huán)境中的空間位置(x1、y1、z1)，其中，x1、y1為用戶手部圖像h1在色彩圖像a1中的坐標(biāo)位置，z1為用戶手部與realsense實(shí)感攝像頭c1與c2所在平面之間的真實(shí)距離l1；

(d)根據(jù)用戶手部圖像h2在色彩圖像a2中的位置、realsense實(shí)感攝像頭c1與c2之間的固定距離，利用三角定位法判斷該用戶手部h1相對(duì)于realsense實(shí)感攝像頭c2光軸的偏移角度θ2與用戶手部在待測(cè)環(huán)境中的空間位置(x2、y2、z2)，其中，x2、y2為用戶手部圖像h2在色彩圖像a2中的坐標(biāo)位置，z2為用戶手部與realsense實(shí)感攝像頭c1與c2所在平面之間的真實(shí)距離l2；

(e)根據(jù)用戶手部圖像h1在色彩圖像a1中的像素坐標(biāo)，獲得灰度圖像b1中相同像素坐標(biāo)處的像素值，該像素值為用戶手部的空間距離d1，同理，獲得用戶手部的空間距離d2；

(f)判斷用戶手部的真實(shí)距離l與空間距離d之差是否小于預(yù)設(shè)閾值，若否，執(zhí)行步驟(g)，若是，將當(dāng)前得到的真實(shí)距離l與空間距離d的算術(shù)平均值作為用戶手部在待測(cè)環(huán)境中的真實(shí)空間位置的z值，最終確定用戶手部的空間位置(x，y，z)；

(g)判斷當(dāng)前超過(guò)預(yù)設(shè)閾值次數(shù)是否超過(guò)n，若是，執(zhí)行步驟(h)，若否，跳轉(zhuǎn)執(zhí)行步驟(a)，n為超過(guò)預(yù)設(shè)閾值次數(shù)的閾值：

(h)取第n次判斷中真實(shí)距離l與空間距離d的算術(shù)平均值作為用戶手部在待測(cè)環(huán)境中的真實(shí)空間位置的z值坐標(biāo)，最終確定用戶手部的空間位置(x，y，z)；

其中，x，y為用戶手部在色彩圖像a1與a2中相應(yīng)位置的算術(shù)平均值；l為l1與l1的算術(shù)平均值，d為d1與d2的算術(shù)平均值。

本步驟中，確定用戶手部的移動(dòng)信息的具體過(guò)程如圖4所示，具體為：

(a)按照一定的時(shí)間間隔連續(xù)采集多幀的色彩圖像a1與a2、深度圖像b1與b2；

(b)按照上述確定用戶手部空間位置的方法得到每一采樣時(shí)間點(diǎn)用戶手部的空間位置；

(c)根據(jù)相鄰兩個(gè)采樣時(shí)間點(diǎn)上的用戶手部的空間位置的z坐標(biāo)、偏移角度以及采樣時(shí)間間隔計(jì)算用戶手部的移動(dòng)速度。

s03，圖像處理單元根據(jù)預(yù)設(shè)的自適應(yīng)調(diào)整精度規(guī)則，結(jié)合用戶手部的空間位置、移動(dòng)信息發(fā)出控制信號(hào)經(jīng)控制接口傳送至交互機(jī)。

本步驟中，預(yù)設(shè)的自適應(yīng)精度調(diào)整規(guī)則的參考權(quán)重包括：

(a)交互顯示屏的尺寸，通過(guò)用戶手部的空間位置(x，y，z)的z值判斷交互顯示屏的大小，z的值小于50cm時(shí)，交互顯示屏為小顯示屏，z的值在50cm～120cm之間時(shí)，交互顯示屏為中顯示屏，z的值在120cm～300cm之間時(shí)，交互顯示屏為中大顯示屏；

(b)交互顯示屏上的交互區(qū)域，判斷用戶的手勢(shì)是在顯示屏的左側(cè)還是在顯示屏的右側(cè)；

(c)左右手，判斷手勢(shì)交互中使用的是左手還是右手；

(d)手部移動(dòng)速度，判斷手勢(shì)在三維空間中的移動(dòng)速度；

(e)顯示屏顯示內(nèi)容的接近度，判斷手勢(shì)驅(qū)動(dòng)的光標(biāo)是否在顯示屏上接近交互對(duì)象；

(f)顯示屏顯示內(nèi)容的密度，判斷顯示屏上顯示的交互對(duì)象的數(shù)量和在對(duì)應(yīng)屏幕面積上的分布密度；

(g)臉部-手部距離，判斷用戶在交互的過(guò)程中臉部與手部在攝像頭光軸方向上的距離；

綜上，自適應(yīng)精度調(diào)整規(guī)則r＝{交互顯示屏的尺寸，交互顯示屏上的交互區(qū)域，左右手，手部移動(dòng)速度，顯示屏顯示內(nèi)容的接近度，顯示屏顯示內(nèi)容的密度，臉部-手部距離}。

s04，交互機(jī)解析接收的控制信號(hào)，并根據(jù)該控制信號(hào)動(dòng)態(tài)調(diào)整交互機(jī)顯示屏上光標(biāo)的運(yùn)動(dòng)。

本步驟中，動(dòng)態(tài)調(diào)整顯示屏光標(biāo)移動(dòng)的規(guī)則為：

根據(jù)顯示屏的尺寸將顯示屏分成多個(gè)部分，若是小顯示屏，如手機(jī)屏幕、ipad屏幕，則將其分成上下兩部分；若是中顯示屏，如電腦屏幕，將其分成與中顯示屏等長(zhǎng)寬比的相鄰四個(gè)部分；若是大顯示屏，如投影儀屏幕，將其分成與大顯示屏等長(zhǎng)寬比的多個(gè)部分；其中，上下部分中，顯示屏上部分的光標(biāo)移動(dòng)速度比下半部分的快，靈敏度也比下半部分的高；

根據(jù)交互的左右手，設(shè)置交互區(qū)域光標(biāo)移動(dòng)靈敏度，當(dāng)左手交互時(shí)，與左手同側(cè)的交互區(qū)域光標(biāo)移動(dòng)靈敏度更高，移動(dòng)速度也更快；右手交互時(shí)，則反之；

根據(jù)交互手的移動(dòng)速度，設(shè)置交互區(qū)域光標(biāo)的靈敏度，當(dāng)交互手的移動(dòng)速度較快時(shí)，交互區(qū)域光標(biāo)的總體靈敏度更高，光標(biāo)的移動(dòng)速度較慢；當(dāng)當(dāng)交互手的移動(dòng)速度較慢時(shí)，則反之；

根據(jù)顯示屏中光標(biāo)與按鈕等交互對(duì)象之間的距離，設(shè)置光標(biāo)的靈敏度，光標(biāo)越接近按鈕，光標(biāo)的總體靈敏度越高，移動(dòng)速度越低；根據(jù)交互手勢(shì)與顯示屏之間的距離，設(shè)置交互區(qū)域光標(biāo)的靈敏度，當(dāng)交互手勢(shì)與顯示屏越遠(yuǎn)時(shí)，光標(biāo)在水平和豎向兩個(gè)方向的移動(dòng)速度越快，靈敏度越高；在大角度斜向的方向上，則反之；

根據(jù)交互對(duì)象在顯示屏中的密度，設(shè)置交互區(qū)域光標(biāo)的靈敏度，交互對(duì)象密度越大，光標(biāo)的總體靈敏度越低，移動(dòng)速度越低。

相比于傳統(tǒng)的交互方法，本實(shí)施例的方法大大提高了交互的準(zhǔn)確性，且交互時(shí)間上也減少了很多。

以上所述的具體實(shí)施方式對(duì)本發(fā)明的技術(shù)方案和有益效果進(jìn)行了詳細(xì)說(shuō)明，應(yīng)理解的是以上所述僅為本發(fā)明的最優(yōu)選實(shí)施例，并不用于限制本發(fā)明，凡在本發(fā)明的原則范圍內(nèi)所做的任何修改、補(bǔ)充和等同替換等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。