專利名稱：一種用戶界面的控制方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及通信領(lǐng)域，尤其涉及一種用戶界面的控制方法及裝置。
背景技術(shù)：
隨著科技的發(fā)展，人們?cè)谌诵曰椭悄芑蠈?duì)多媒體設(shè)備要求越來(lái)越高，越來(lái)越多的多媒體設(shè)備置有手勢(shì)控制功能，手勢(shì)控制功能使用戶僅僅通過(guò)手勢(shì)動(dòng)作便能對(duì)多媒體 設(shè)備下達(dá)控制指令。目前，手勢(shì)控制裝置大體分為兩類一類是采用攝像頭來(lái)識(shí)別手勢(shì)動(dòng)作，該類裝置需要識(shí)別手的投影是否符合特定形狀(每ー種特定形狀對(duì)應(yīng)ー種指令) ’另一類是采用需要用戶佩戴的傳感器來(lái)識(shí)別手勢(shì)動(dòng)作。這兩類裝置的共性是代表控制命令的手勢(shì)固定且單一，并且需要用戶熟記各種手勢(shì)所對(duì)應(yīng)的控制指令，當(dāng)指令過(guò)多時(shí)，很容易讓人混淆，使得用戶體驗(yàn)不佳。

發(fā)明內(nèi)容
本發(fā)明實(shí)施例所要解決的技術(shù)問(wèn)題在于，提供一種用戶界面的控制方法及裝置?？梢宰層脩綮`活和方便的控制用戶界面，提高用戶體驗(yàn)。為了解決上述技術(shù)問(wèn)題，本發(fā)明實(shí)施例提供了一種用戶界面的控制方法，包括 采集用戶手部的三維空間信息；
根據(jù)所述采集的三維空間信息，在用戶界面上構(gòu)建出與用戶手部動(dòng)作一致的三維虛擬
手;
檢測(cè)所述三維虛擬手對(duì)所述用戶界面的操作，并根據(jù)所述檢測(cè)到的操作，執(zhí)行相應(yīng)的功能。其中，所述采集用戶手部動(dòng)作的三維空間信息包括
周期性獲取用戶的手心面上的點(diǎn)在參考坐標(biāo)系中的空間坐標(biāo)。其中，所述根據(jù)所述采集的三維空間信息，在用戶界面上構(gòu)建出與用戶手部動(dòng)作一致的三維虛擬手包括
根據(jù)用戶手心面上的點(diǎn)的三維空間坐標(biāo)的變化，構(gòu)建出與用戶手心面動(dòng)作一致的虛擬手心面；
根據(jù)所述與用戶手心面動(dòng)作一致的虛擬手心面，構(gòu)建出與用戶手背面動(dòng)作一致的虛擬手背面。其中，所述三維虛擬手對(duì)用戶界面的操作包括旋轉(zhuǎn)所述用戶界面的操作、拖拽所述用戶界面的操作、縮小所述用戶界面的操作和放大所述用戶界面的操作中的至少ー項(xiàng)。其中，所述用戶界面還包括至少ー個(gè)三維式的功能選項(xiàng)；
所述三維虛擬手對(duì)用戶界面的操作還包括用于請(qǐng)求執(zhí)行所述功能選項(xiàng)所對(duì)應(yīng)的功能的操作。相應(yīng)地，本發(fā)明實(shí)施例還提供了一種用戶界面的控制裝置，包括
采集模塊，用于采集用戶手部的三維空間信息；三維虛擬手構(gòu)建模塊，用于根據(jù)所述采集的三維空間信息，在用戶界面上構(gòu)建出與用戶手部動(dòng)作一致的三維虛擬手；
處理模塊，用于檢測(cè)所述三維虛擬手對(duì)所述用戶界面的操作，并根據(jù)所述檢測(cè)到的操作，執(zhí)行相應(yīng)的功能。其中，所述采集模塊包括
坐標(biāo)獲取単元，用于周期性獲取用戶的手心面上的點(diǎn)在參考坐標(biāo)系中的空間坐標(biāo)。其中，所述三維虛擬手構(gòu)建模塊包括
手心面構(gòu)建單元，用于根據(jù)用戶手心面上的點(diǎn)的三維空間坐標(biāo)的變化，構(gòu)建出與用戶手心面動(dòng)作一致的虛擬手心面；
手背面構(gòu)建單元，用于根據(jù)所述與用戶手心面動(dòng)作一致的虛擬手心面，構(gòu)建出與用戶手背面動(dòng)作一致的虛擬手背面。其中，所述三維虛擬手對(duì)用戶界面的操作包括旋轉(zhuǎn)所述用戶界面的操作、拖拽所述用戶界面的操作、縮小所述用戶界面的操作和放大所述用戶界面的操作中的至少ー項(xiàng)。其中，所述用戶界面還包括至少ー個(gè)三維式的功能選項(xiàng)；
所述三維虛擬手對(duì)用戶界面的操作還包括用于請(qǐng)求執(zhí)行所述功能選項(xiàng)所對(duì)應(yīng)的功能的操作。實(shí)施本發(fā)明實(shí)施例，具有如下有益效果
本發(fā)明的實(shí)施例通過(guò)在用戶界面上構(gòu)建出與用戶手部動(dòng)作一致的三維虛擬手，使得用戶可以通過(guò)用戶界面中的三維虛擬手直接控制用戶界面，操作方法簡(jiǎn)單且靈活，由于用戶通過(guò)三維虛擬手操作控制用戶界面，因此可以同時(shí)提高用戶觸覺(jué)和視覺(jué)的真實(shí)度，大大提聞了用戶體驗(yàn)。


為了更清楚地說(shuō)明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見(jiàn)地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他的附圖。圖I是本發(fā)明的用戶界面的控制方法的第一實(shí)施例的流程示意 圖2是本發(fā)明的用戶界面的控制方法的第二實(shí)施例的流程示意 圖3是本發(fā)明的用戶界面的控制裝置的實(shí)施例的結(jié)構(gòu)示意 圖4是圖3所示的采集模塊的實(shí)施例的結(jié)構(gòu)示意 圖5是圖3所示的三維虛擬手構(gòu)建模塊的實(shí)施例的結(jié)構(gòu)示意 圖6是本發(fā)明的雙目立體視覺(jué)的基本原理圖。
具體實(shí)施例方式下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例。基于本發(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
請(qǐng)參照?qǐng)DI，是本發(fā)明的用戶界面控制方法的第一實(shí)施例的流程示意圖。所述方法包括
步驟S11，采集用戶手部的三維空間信息。用戶手部的三維空間信息可以是用戶手心面或手背面的三維空間信息，也可以是整只手的三維空間信息。為了減少數(shù)據(jù)處理量，可以只獲取用戶手心面的三維空間信息。三維空間信息可以通過(guò)三維超聲儀、三維攝像機(jī)、或者包含激光分光掃描器與兩個(gè)攝像機(jī)的三維采集裝置來(lái)獲取。其中，包含激光分光掃描器與兩個(gè)攝像機(jī)的三維采集裝置是基于雙目立體視覺(jué)技術(shù)的。雙目立體視覺(jué)方法就是利用兩個(gè)攝像機(jī)模擬人眼雙眼處理景物的方式，從兩個(gè)視點(diǎn)觀察同一場(chǎng)景，獲得不同視角下的兩個(gè)圖像，然后通過(guò)計(jì)算圖像對(duì)應(yīng)點(diǎn)間的位置偏差，便能 推斷出場(chǎng)景中目標(biāo)物體或目標(biāo)點(diǎn)的三維空間信息。具體地，激光分光掃描器包括分光鏡和紅激光管。激光分光掃描器用于標(biāo)定用戶手部上的需要采集三維空間信息的點(diǎn)。分光鏡可以將紅激光管產(chǎn)生的紅激光束分散成多條平行于X軸方向的光線和多條平行于Y軸方向的光線，并且通常情況下，這些光線是肉眼不可見(jiàn)的。這些光線互相交織，形成在三維空間上有序排列的光線交點(diǎn)(這些光線交織點(diǎn)不止排布在XY平面上，在整個(gè)三維空間均有排布)。當(dāng)用戶的手部進(jìn)入該光線交織區(qū)域時(shí)，位于用戶手心面上的光線交織點(diǎn)即為需要采集三維空間信息的點(diǎn)。雙目立體視覺(jué)的基本原理如圖6所示。圖中分別以下標(biāo)I和r標(biāo)注左、右攝像機(jī)的相應(yīng)參數(shù)。位于用戶手心面上某一光線交織點(diǎn)A(X，Y，Z)在左右攝像機(jī)的成像面Cl和Cr上的像點(diǎn)分別為al(ul，vl)和ar(Ur，Vr)。這兩個(gè)像點(diǎn)是A點(diǎn)的像，稱為“共軛點(diǎn)”。分別作出這兩個(gè)共軛像點(diǎn)與各自相機(jī)的光心01和Or的連線，即投影線alOl和arOr，它們的交點(diǎn)即為A點(diǎn)。在01、0r、al、ar四點(diǎn)已確定的前提下，通過(guò)計(jì)算便能得到A點(diǎn)在現(xiàn)實(shí)空間的三維坐標(biāo)。步驟S12，根據(jù)采集的三維空間信息，在用戶界面上構(gòu)建出與用戶手部動(dòng)作一致的三維虛擬手。為了更好的提高用戶的視覺(jué)體驗(yàn)，用戶界面可以設(shè)計(jì)成為虛擬三維式的。應(yīng)該注意的是，三維虛擬手在虛擬三維式的用戶界面中動(dòng)作幅度與用戶手部動(dòng)作幅度一致或是等比例縮放。用戶手部的三維空間信息可以是用戶手心面和/或手背面上的點(diǎn)在預(yù)設(shè)的參考坐標(biāo)系中的三維空間坐標(biāo)。在構(gòu)建三維虛擬手時(shí)，可以根據(jù)獲取的手心面和/或手背面上的點(diǎn)的三維空間坐標(biāo)，在三維的用戶界面中構(gòu)建出與用戶手部具有相同或等比例縮放的位置坐標(biāo)的三維虛擬手，值得注意的是，構(gòu)建出的三維虛擬手與用戶手部形狀、大小相同或是其的等比例縮放。為了能夠獲取用戶手部的動(dòng)作信息，步驟Sll中的三維空間信息的采集過(guò)程是周期性的，并且這個(gè)周期的時(shí)長(zhǎng)很短，例如可以每0.01秒采集一次用戶手心面和/或手背面的上點(diǎn)的三維空間坐標(biāo)。根據(jù)多次采集的三維空間坐標(biāo)，在用戶界面中重復(fù)性構(gòu)建出三維虛擬手，由于三維虛擬手的構(gòu)建周期很短，這就使得用戶在用戶界面中看到的三維虛擬手的畫(huà)面就是連續(xù)的，且三維虛擬手的動(dòng)作與用戶手部動(dòng)作完全一致。
步驟S13，檢測(cè)三維虛擬手對(duì)用戶界面的操作，井根據(jù)檢測(cè)到的操作，執(zhí)行相應(yīng)的功能。通常三維虛擬手對(duì)用戶界面的操作包括旋轉(zhuǎn)用戶界面的操作、拖拽用戶界面的操作、縮小用戶界面的操作和放大用戶界面的操作等。此外，用戶界面還包括至少ー個(gè)三維式的功能選項(xiàng)。相應(yīng)地，三維虛擬手對(duì)用戶界面的操作還包括旋轉(zhuǎn)三維式功能選項(xiàng)的操作、拖拽三維式功能選項(xiàng)的操作、縮小三維式功能選項(xiàng)的操作和放大三維式功能選項(xiàng)的操作、以及用于請(qǐng)求執(zhí)行功能選項(xiàng)所對(duì)應(yīng)的功能的操作。其中，三維式的功能選項(xiàng)可以是三維立體圖形，每個(gè)三維立體圖形可以對(duì)應(yīng)ー個(gè)或多個(gè)功能選項(xiàng)。用于請(qǐng)求執(zhí)行功能選項(xiàng)所對(duì)應(yīng)的功能的操作包括拖拽、點(diǎn)擊、按等。通常情況下，用戶通過(guò)三維虛擬手對(duì)用戶界面的各種操作都會(huì)有其特有的動(dòng)作特征，通過(guò)提取三維虛擬手的當(dāng)前操作的動(dòng)作特征信息，并將其與數(shù)據(jù)庫(kù)中預(yù)存的動(dòng)作特征(數(shù)據(jù)庫(kù)中每ー動(dòng)作特征都會(huì)對(duì)應(yīng)ー控制命令)進(jìn)行匹配，從而確定用戶對(duì)用戶界面下達(dá)的控制命令。在檢測(cè)三維虛擬手對(duì)用戶界面的操作時(shí)，可以定期性將獲取的手心面和/或手背面上的點(diǎn)的三維空間坐標(biāo)進(jìn)行抽樣對(duì)比(例如每隔O. 05秒將當(dāng)前采集的三維空間坐標(biāo)和前O. 05秒采集的三維空間坐標(biāo)進(jìn)行比較)，從而確定用戶手部的動(dòng)作趨勢(shì)，再根據(jù)確定的用戶手部動(dòng)作趨勢(shì)，來(lái)提取三維虛擬手的當(dāng)前操作的動(dòng)作特征信息。例如，用戶在旋轉(zhuǎn)用戶界面時(shí)，其特有的動(dòng)作特征通常會(huì)是手掌心抬起，五指指尖繞著手掌心轉(zhuǎn)動(dòng)。其相應(yīng)的動(dòng)作特征信息可以從周期性采集的三維空間坐標(biāo)的來(lái)提取，通過(guò)將不同時(shí)間獲取的用戶手心面和/或手背面的三維空間坐標(biāo)進(jìn)行分析和對(duì)比，可以判定用戶手部的動(dòng)作趨勢(shì)，進(jìn)而確定用戶期望旋轉(zhuǎn)用戶界面的方向及弧度。用戶在拖拽用戶界面時(shí)，其特有的動(dòng)作特征通常會(huì)是一根或幾根手指做按住狀或捏住狀沿某一方向直線運(yùn)動(dòng)，同樣得可以根據(jù)周期性采集的三維空間坐標(biāo)來(lái)獲取用戶手指的移動(dòng)方向和移動(dòng)距離，進(jìn)而依此來(lái)確定用戶期望拖拽用戶界面的方向及拖拽距離。用戶在縮小用戶界面吋，其特有的動(dòng)作特征通常會(huì)是掌心抬起，五指指尖收攏，同樣得可以根據(jù)周期性采集的三維空間坐標(biāo)來(lái)獲取用戶手指的收攏幅度，進(jìn)而依此來(lái)確定用戶期望縮小用戶界面的幅度。用戶在放大用戶界面時(shí)，其特有的動(dòng)作特征通常會(huì)是掌心抬起，五指指尖向外張開(kāi)，同樣得可以根據(jù)周期性采集的三維空間坐標(biāo)來(lái)獲取用戶手指的張開(kāi)幅度，進(jìn)而依此來(lái)確定用戶期望放大用戶界面的幅度。當(dāng)用戶需要對(duì)用戶界面中的某一三維式功能選項(xiàng)做出操作時(shí)，通常情況下，用戶 會(huì)通過(guò)手部動(dòng)作將用戶界面中的三維虛擬手放在或靠近該三維式功能選項(xiàng)所在的位置。由此，當(dāng)用戶通過(guò)手部動(dòng)作將用戶界面中的三維虛擬手移放在或者靠近三維式功能選項(xiàng)所在的位置吋，則認(rèn)為用戶期望的是對(duì)該三維式功能選項(xiàng)進(jìn)行操作。用戶旋轉(zhuǎn)、拖拽、放大、縮小三維式功能選項(xiàng)的操作與用戶旋轉(zhuǎn)、拖拽、放大、縮小用戶界面的操作大致相同，不同之處只在于動(dòng)作幅度的大小，可以根據(jù)動(dòng)作幅度的大小來(lái)區(qū)分是對(duì)整個(gè)用戶界面或只是某一三維式功能選項(xiàng)的操作。例如，用戶在旋轉(zhuǎn)用戶界面時(shí)，通常五指張開(kāi)的幅度較大，而用戶在旋轉(zhuǎn)用戶界面中的某一三維式功能選項(xiàng)時(shí)，通常五指張開(kāi)的幅度較小，同樣的通過(guò)分析手部的三維空間坐標(biāo)便能準(zhǔn)確獲取用戶五指張開(kāi)的幅度，如此可以將該幅度值與預(yù)設(shè)的幅度值進(jìn)行比較，大于預(yù)設(shè)幅度值時(shí)，則認(rèn)為用戶期望的是旋轉(zhuǎn)整個(gè)用戶界面；小于預(yù)設(shè)幅度值時(shí)，則認(rèn)為用戶期望的是旋轉(zhuǎn)三維式功能選項(xiàng)。通常用戶在請(qǐng)求執(zhí)行三維式功能選項(xiàng)所對(duì)應(yīng)的功能的操作包括點(diǎn)擊、按等。當(dāng)用戶期望執(zhí)行某一三維式功能選項(xiàng)所對(duì)應(yīng)的功能時(shí)，通常會(huì)通過(guò)移動(dòng)手部將用戶界面中的三維虛擬手置于或靠近該三維式功能選項(xiàng)所在的位置，依此，便可以確定用戶期望是對(duì)該三維式選項(xiàng)進(jìn)行操作。當(dāng)用戶做出點(diǎn)擊動(dòng)作時(shí)，其特有的動(dòng)作特征通常會(huì)是食指或中指抬起再放下，而手掌心和其它手指固定不動(dòng)，由此，根據(jù)該操作其特有的動(dòng)作特征，便可以確定用戶期望執(zhí)行該三維式功能選項(xiàng)所對(duì)應(yīng)的功能。本發(fā)明的實(shí)施例通過(guò)在用戶界面上構(gòu)建出與用戶手部動(dòng)作一致的三維虛擬手，使得用戶可以通過(guò)用戶界面中的三維虛擬手直接控制用戶界面，用戶不需要牽記特定的手勢(shì)，也不需要佩戴傳感器。并且由于用戶通過(guò)三維虛擬手操作控制用戶界面，因此可以同時(shí)提聞?dòng)脩粢曈X(jué)和觸覺(jué)的真實(shí)度，提聞?dòng)脩趔w驗(yàn)度。請(qǐng)參照?qǐng)D2，是本發(fā)明的用戶界面控制方法的第二實(shí)施例的流程示意圖。所述方法包括
步驟S21，判斷所需采集三維空間信息的物體的形狀是否符合手型，如果判斷結(jié)果為是則進(jìn)入步驟S23，如果判斷結(jié)果為否則進(jìn)入步驟S22。步驟S22，停止采集該物體的三維空間信息，并在用戶界面上作出相應(yīng)的提示。步驟S23，周期性獲取用戶的手心面上的點(diǎn)在參考坐標(biāo)系中的空間坐標(biāo)。三維空間坐標(biāo)可以通過(guò)三維超聲儀、三維攝像機(jī)、或者包含激光分光掃描器與兩個(gè)攝像機(jī)的三維采集裝置來(lái)獲取。其中，包含激光分光掃描器與兩個(gè)攝像機(jī)的三維采集裝置是基于雙目立體視覺(jué)技術(shù)的。雙目立體視覺(jué)方法就是利用兩個(gè)攝像機(jī)模擬人眼雙眼處理景物的方式，從兩個(gè)視點(diǎn)觀察同一場(chǎng)景，獲得不同視角下的兩個(gè)圖像，然后通過(guò)計(jì)算圖像對(duì)應(yīng)點(diǎn)間的位置偏差，便能推斷出場(chǎng)景中目標(biāo)物體或目標(biāo)點(diǎn)的三維空間信息。具體地，激光分光掃描器包括分光鏡和紅激光管。激光分光掃描器用于標(biāo)定用戶手部上的需要采集三維空間信息的點(diǎn)。分光鏡可以將紅激光管產(chǎn)生的紅激光束分散成多條平行于X軸方向的光線和多條平行于Y軸方向的光線，并且通常情況下，這些光線是肉眼不可見(jiàn)的。這些光線互相交織，形成在三維空間上有序排列的光線交點(diǎn)(這些光線交織點(diǎn)不止排布在XY平面上，在整個(gè)三維空間均有排布)。當(dāng)用戶的手部進(jìn)入該光線交織區(qū)域時(shí)，位于用戶手心面上的光線交織點(diǎn)即為需要采集三維空間信息的點(diǎn)。雙目立體視覺(jué)的基本原理如圖6所示。圖中分別以下標(biāo)I和r標(biāo)注左、右攝像機(jī)的相應(yīng)參數(shù)。位于用戶手心面上某一光線交織點(diǎn)A(X，Y，Z)在左右攝像機(jī)的成像面Cl和Cr上的像點(diǎn)分別為al(ul，vl)和ar(Ur，Vr)。這兩個(gè)像點(diǎn)是A點(diǎn)的像，稱為“共軛點(diǎn)”。分別作出這兩個(gè)共軛像點(diǎn)與各自攝像機(jī)的光心01和Or的連線，即投影線alOl和arOr，它們的交點(diǎn)即為A點(diǎn)。因此在01、0r、al、ar四點(diǎn)已確定的前提下，通過(guò)計(jì)算便能得到A點(diǎn)在現(xiàn)實(shí)空間的三維坐標(biāo)。 步驟S24，根據(jù)用戶手心面上的點(diǎn)的三維空間坐標(biāo)的變化，構(gòu)建出與用戶手心面動(dòng)作一致的虛擬手心面；根據(jù)與用戶手心面動(dòng)作一致的虛擬手心面，構(gòu)建出與用戶手背面動(dòng)作一致的虛擬手背面。步驟S25，檢測(cè)三維虛擬手對(duì)用戶界面的操作，井根據(jù)檢測(cè)到的操作，執(zhí)行相應(yīng)的功能。通常三維虛擬手對(duì)用戶界面的操作包括旋轉(zhuǎn)用戶界面的操作、拖拽用戶界面的操作、縮小用戶界面的操作和放大用戶界面的操作等。此外，用戶界面還包括至少ー個(gè)三維式的功能選項(xiàng)。相應(yīng)地，三維虛擬手對(duì)用戶界面的操作還包括旋轉(zhuǎn)三維式功能選項(xiàng)的 操作、拖拽三維式功能選項(xiàng)的操作、縮小三維式功能選項(xiàng)的操作和放大三維式功能選項(xiàng)的操作、以及用于請(qǐng)求執(zhí)行功能選項(xiàng)所對(duì)應(yīng)的功能的操作。其中，三維式的功能選項(xiàng)可以是三維立體圖形，每個(gè)三維立體圖形可以對(duì)應(yīng)ー個(gè)或多個(gè)功能選項(xiàng)。用于請(qǐng)求執(zhí)行功能選項(xiàng)所對(duì)應(yīng)的功能的操作包括拖拽、點(diǎn)擊、按等。通常情況下，用戶通過(guò)三維虛擬手對(duì)用戶界面的各種操作都會(huì)有其特有的動(dòng)作特征，通過(guò)提取三維虛擬手的當(dāng)前操作的動(dòng)作特征信息，并將其與數(shù)據(jù)庫(kù)中預(yù)存的動(dòng)作特征(數(shù)據(jù)庫(kù)中每ー動(dòng)作特征都會(huì)對(duì)應(yīng)ー控制命令)進(jìn)行匹配，從而確定用戶對(duì)用戶界面下達(dá)的控制命令。在檢測(cè)三維虛擬手對(duì)用戶界面的操作時(shí)，可以定期性將獲取的手心面和/或手背面上的點(diǎn)的三維空間坐標(biāo)進(jìn)行抽樣對(duì)比(例如每隔O. 05秒將當(dāng)前采集的三維空間坐標(biāo)和前O. 05秒采集的三維空間坐標(biāo)進(jìn)行比較)，從而確定用戶手部的動(dòng)作趨勢(shì)，再根據(jù)確定的用戶手部動(dòng)作趨勢(shì)，來(lái)提取三維虛擬手的當(dāng)前操作的動(dòng)作特征信息。發(fā)明的實(shí)施例通過(guò)在用戶界面上構(gòu)建出與用戶手部動(dòng)作一致的三維虛擬手，使得用戶可以通過(guò)用戶界面中的三維虛擬手直接控制用戶界面，用戶不需要牽記特定的手勢(shì)，也不需要佩戴傳感器。并且由于用戶通過(guò)三維虛擬手操作控制用戶界面，因此可以同時(shí)提高用戶視覺(jué)和觸覺(jué)的真實(shí)度，提高用戶體驗(yàn)度。圖I至圖2對(duì)用戶界面的控制方法的實(shí)施例進(jìn)行了詳細(xì)闡述后，下面將繼續(xù)結(jié)合附圖，對(duì)相應(yīng)于上述方法流程的裝置進(jìn)行說(shuō)明。請(qǐng)參照?qǐng)D3，是本發(fā)明的用戶界面的控制裝置的實(shí)施例的結(jié)構(gòu)示意圖。所述控制裝置100包括
采集模塊110，用于采集用戶手部的三維空間信息。其中，采集模塊110的功能可以由三維超聲儀、三維攝像機(jī)、或者包含激光分光掃描器與攝像機(jī)的三維采集裝置來(lái)實(shí)現(xiàn)。三維虛擬手構(gòu)建模塊120，用于根據(jù)采集的三維空間信息，在用戶界面上構(gòu)建出與用戶手部動(dòng)作一致的三維虛擬手。為了更好的提高用戶的視覺(jué)體驗(yàn)，用戶界面可以設(shè)計(jì)成為虛擬三維式的。應(yīng)該注意的是，三維虛擬手在虛擬三維式的用戶界面中動(dòng)作幅度與用戶手部動(dòng)作幅度一致或是等比例縮放。用戶手部的三維空間信息可以是用戶手心面和/或手背面上的點(diǎn)在預(yù)設(shè)的參考坐標(biāo)系中的三維空間坐標(biāo)。在構(gòu)建三維虛擬手時(shí)，可以根據(jù)獲取的手心面和/或手背面上的點(diǎn)的三維空間坐標(biāo)，在三維的用戶界面中構(gòu)建出與用戶手部具有相同或等比例縮放的位置坐標(biāo)的三維虛擬手，值得注意的是，構(gòu)建出的三維虛擬手與用戶手部形狀、大小相同或是其的等比例縮放。為了能夠獲取用戶手部的動(dòng)作信息，三維空間信息的采集過(guò)程是周期性的，并且這個(gè)周期的時(shí)長(zhǎng)很短，例如可以每O. Ol秒采集一次用戶手心面和/或手背面的上點(diǎn)的三維空間坐標(biāo)。根據(jù)多次采集的三維空間坐標(biāo)，在用戶界面中重復(fù)性構(gòu)建出三維虛擬手，由于三維虛擬手的構(gòu)建周期很短，這就使得用戶在用戶界面中看到的三維虛擬手的畫(huà)面就是連續(xù)的，且三維虛擬手的動(dòng)作與用戶手部動(dòng)作完全一致。
處理模塊130，用于檢測(cè)三維虛擬手對(duì)用戶界面的操作，井根據(jù)檢測(cè)到的操作，執(zhí)行相應(yīng)的功能。通常三維虛擬手對(duì)用戶界面的操作包括旋轉(zhuǎn)用戶界面的操作、拖拽用戶界面的操作、縮小用戶界面的操作和放大用戶界面的操作等。此外，用戶界面還包括至少ー個(gè)三維式的功能選項(xiàng)。相應(yīng)地，三維虛擬手對(duì)用戶界面的操作還包括旋轉(zhuǎn)三維式功能選項(xiàng)的操作、拖拽三維式功能選項(xiàng)的操作、縮小三維式功能選項(xiàng)的操作和放大三維式功能選項(xiàng)的操作、以及用于請(qǐng)求執(zhí)行功能選項(xiàng)所對(duì)應(yīng)的功能的操作。其中，三維式的功能選項(xiàng)可以是三維立體圖形，每個(gè)三維立體圖形可以對(duì)應(yīng)ー個(gè)或多個(gè)功能選項(xiàng)。用于請(qǐng)求執(zhí)行功能選項(xiàng)所對(duì)應(yīng)的功能的操作包括拖拽、點(diǎn)擊、按等。通常情況下，用戶通過(guò)三維虛擬手對(duì)用戶界面的各種操作都會(huì)有其特有的動(dòng)作特征，通過(guò)提取三維虛擬手的當(dāng)前操作的動(dòng)作特征信息，并將其與數(shù)據(jù)庫(kù)中預(yù)存的動(dòng)作特征(數(shù)據(jù)庫(kù)中每ー動(dòng)作特征都會(huì)對(duì)應(yīng)ー控制命令)進(jìn)行匹配，從而確定用戶對(duì)用戶界面下達(dá)的控制命令。在檢測(cè)三維虛擬手對(duì)用戶界面的操作時(shí)，可以定期性將獲取的手心面和/或手背面上的點(diǎn)的三維空間坐標(biāo)進(jìn)行抽樣對(duì)比(例如每隔O. 05秒將當(dāng)前采集的三維空間坐標(biāo)和前O. 05秒采集的三維空間坐標(biāo)進(jìn)行比較)，從而確定用戶手部的動(dòng)作趨勢(shì)，再根據(jù)確定的用戶手部動(dòng)作趨勢(shì)，來(lái)提取三維虛擬手的當(dāng)前操作的動(dòng)作特征信息。例如，用戶在旋轉(zhuǎn)用戶界面時(shí)，其特有的動(dòng)作特征通常會(huì)是手掌心抬起，五指指尖繞著手掌心轉(zhuǎn)動(dòng)。其相應(yīng)的動(dòng)作特征信息可以從周期性采集的三維空間坐標(biāo)的來(lái)提取，通過(guò)將不同時(shí)間獲取的用戶手心面和/或手背面的三維空間坐標(biāo)進(jìn)行分析和對(duì)比，可以判定用戶手部的動(dòng)作趨勢(shì)，進(jìn)而確定用戶期望旋轉(zhuǎn)用戶界面的方向及弧度。用戶在拖拽用戶界面時(shí)，其特有的動(dòng)作特征通常會(huì)是一根或幾根手指做按住狀或捏住狀沿某一方向直線運(yùn)動(dòng)，同樣得可以根據(jù)周期性采集的三維空間坐標(biāo)來(lái)獲取用戶手指的移動(dòng)方向和移動(dòng)距離，進(jìn)而依此來(lái)確定用戶期望拖拽用戶界面的方向及拖拽距離。用戶在縮小用戶界面吋，其特有的動(dòng)作特征通常會(huì)是掌心抬起，五指指尖收攏，同樣得可以根據(jù)周期性采集的三維空間坐標(biāo)來(lái)獲取用戶手指的收攏幅度，進(jìn)而依此來(lái)確定用戶期望縮小用戶界面的幅度。用戶在放大用戶界面時(shí)，其特有的動(dòng)作特征通常會(huì)是掌心抬起，五指指尖向外張開(kāi)，同樣得可以根據(jù)周期性采集的三維空間坐標(biāo)來(lái)獲取用戶手指的張開(kāi)幅度，進(jìn)而依此來(lái)確定用戶期望放大用戶界面的幅度。當(dāng)用戶需要對(duì)用戶界面中的某一三維式功能選項(xiàng)做出操作時(shí)，通常情況下，用戶會(huì)通過(guò)手部動(dòng)作將用戶界面中的三維虛擬手放在或靠近該三維式功能選項(xiàng)所在的位置。由此，當(dāng)用戶通過(guò)手部動(dòng)作將用戶界面中的三維虛擬手移放在或者靠近三維式功能選項(xiàng)所在的位置吋，則認(rèn)為用戶期望的是對(duì)該三維式功能選項(xiàng)進(jìn)行操作。用戶旋轉(zhuǎn)、拖拽、放大、縮小三維式功能選項(xiàng)的操作與用戶旋轉(zhuǎn)、拖拽、放大、縮小用戶界面的操作大致相同，不同之處只在于動(dòng)作幅度的大小，可以根據(jù)動(dòng)作幅度的大小來(lái)區(qū)分是對(duì)整個(gè)用戶界面或只是某一三維式功能選項(xiàng)的操作。例如，用戶在旋轉(zhuǎn)用戶界面時(shí)，通常五指張開(kāi)的幅度較大，而用戶在旋轉(zhuǎn)用戶界面中的某一三維式功能選項(xiàng)時(shí)，通常五指張開(kāi)的幅度較小，同樣的通過(guò)分析手部的三維空間坐標(biāo)便能準(zhǔn)確獲取用戶五指張開(kāi)的幅度，如此可以將該幅度值與預(yù)設(shè)的幅度值進(jìn)行比較，大于預(yù)設(shè)幅度值時(shí)，則認(rèn)為用戶期望的是旋轉(zhuǎn)整個(gè)用戶界面；小于預(yù)設(shè)幅度值時(shí)，則認(rèn)為用戶期望的是旋轉(zhuǎn)三維式功能選項(xiàng)。通常用戶 在請(qǐng)求執(zhí)行三維式功能選項(xiàng)所對(duì)應(yīng)的功能的操作包括點(diǎn)擊、按等。當(dāng)用戶期望執(zhí)行某一三維式功能選項(xiàng)所對(duì)應(yīng)的功能時(shí)，通常會(huì)通過(guò)移動(dòng)手部將用戶界面中的三維虛擬手置于或靠近該三維式功能選項(xiàng)所在的位置，依此，便可以確定用戶期望是對(duì)該三維式選項(xiàng)進(jìn)行操作。當(dāng)用戶做出點(diǎn)擊動(dòng)作時(shí)，其特有的動(dòng)作特征通常會(huì)是食指或中指抬起再放下，而手掌心和其它手指固定不動(dòng)，由此，根據(jù)該操作其特有的動(dòng)作特征，便可以確定用戶期望執(zhí)行該三維式功能選項(xiàng)所對(duì)應(yīng)的功能。發(fā)明的實(shí)施例通過(guò)在用戶界面上構(gòu)建出與用戶手部動(dòng)作一致的三維虛擬手，使得用戶可以通過(guò)用戶界面中的三維虛擬手直接控制用戶界面，用戶不需要牽記特定的手勢(shì)，也不需要佩戴傳感器。并且由于用戶通過(guò)三維虛擬手操作控制用戶界面，因此可以同時(shí)提高用戶視覺(jué)和觸覺(jué)的真實(shí)度，提高用戶體驗(yàn)度。請(qǐng)參照?qǐng)D4，是圖3所示的采集模塊的實(shí)施例的結(jié)構(gòu)示意圖。所述三維手型采集模塊110包括
判斷単元111，用于判斷所需采集三維空間信息的物體的形狀是否符合手型，如果符合手型，則采集用戶手部動(dòng)作的三維空間信息；如不符合手型，則在用戶界面中作出相應(yīng)的提
/Jn ο坐標(biāo)獲取単元112，用于周期性獲取用戶的手心面上的點(diǎn)在參考坐標(biāo)系中的空間坐標(biāo)。其中，坐標(biāo)獲取単元112可以由三維超聲儀、三維攝像機(jī)、或者包含激光分光掃描器與兩個(gè)攝像機(jī)的三維采集裝置來(lái)實(shí)現(xiàn)。其中，包含激光分光掃描器與兩個(gè)攝像機(jī)的三維采集裝置是基于雙目立體視覺(jué)技術(shù)的。雙目立體視覺(jué)方法就是利用兩個(gè)攝像機(jī)模擬人眼雙眼處理景物的方式，從兩個(gè)視點(diǎn)觀察同一場(chǎng)景，獲得不同視角下的兩個(gè)圖像，然后通過(guò)計(jì)算圖像對(duì)應(yīng)點(diǎn)間的位置偏差，便能推斷出場(chǎng)景中目標(biāo)物體或目標(biāo)點(diǎn)的三維空間信息。用戶手部的三維空間信息可以是用戶手心面或手背面的三維空間信息，也可以是整只手的三維空間信息。為了減少數(shù)據(jù)處理量，可以只獲取用戶手心面的三維空間信息。具體地，激光分光掃描器包括分光鏡和紅激光管。激光分光掃描器用于標(biāo)定用戶手部上的需要采集三維空間信息的點(diǎn)。分光鏡可以將紅激光管產(chǎn)生的紅激光束分散成多條平行于X軸方向的光線和多條平行于Y軸方向的光線，并且通常情況下，這些光線是肉眼不可見(jiàn)的。這些光線互相交織，形成在三維空間上有序排列的光線交點(diǎn)(這些光線交織點(diǎn)不止排布在XY平面上，在整個(gè)三維空間均有排布)。當(dāng)用戶的手部進(jìn)入該光線交織區(qū)域時(shí)，位于用戶手心面上的光線交織點(diǎn)即為需要采集三維空間信息的點(diǎn)。雙目立體視覺(jué)的基本原理如圖6所示。圖中分別以下標(biāo)I和r標(biāo)注左、右攝像機(jī)的相應(yīng)參數(shù)。位于用戶手心面上某一光線交織點(diǎn)A(X，Y，Z)在左右攝像機(jī)的成像面Cl和Cr上的像點(diǎn)分別為al(ul，vl)和ar(Ur，Vr)。這兩個(gè)像點(diǎn)是A點(diǎn)的像，稱為“共軛點(diǎn)”。分別作出這兩個(gè)共軛像點(diǎn)與各自攝像機(jī)的光心Ol和Or的連線，即投影線alOl和arOr，它們的交點(diǎn)即為A點(diǎn)。因此在01、0r、al、ar四點(diǎn)已確定的前提下，通過(guò)計(jì)算便能得到A點(diǎn)在現(xiàn)實(shí)空間的三維坐標(biāo)請(qǐng)參照?qǐng)D5，是圖3所示的三維虛擬手構(gòu)建模塊的實(shí)施例的結(jié)構(gòu)示意圖。所述三維虛擬手構(gòu)建模塊120包括
手心面構(gòu)建單元121，用于根據(jù)用戶手心面上的點(diǎn)的三維空間坐標(biāo)的變化，構(gòu)建出與用戶手心面動(dòng)作一致的虛擬手心面；
手背面構(gòu)建單元122，用于根據(jù)與用戶手心面動(dòng)作一致的虛擬手心面，構(gòu)建出與用戶手背面動(dòng)作一致的虛擬手背面。由于三維手型采集模塊只是獲取手心面上部分點(diǎn)的空間坐標(biāo)，在構(gòu)建虛擬手心面時(shí)，手心面構(gòu)建單元121會(huì)根據(jù)用戶手心面上已獲取的點(diǎn)的空間坐標(biāo)來(lái)模擬重現(xiàn)手心面上其它點(diǎn)的坐標(biāo)，從而得到完整的手心面。本發(fā)明在上述實(shí)施例中所提及的旋轉(zhuǎn)、拖拽、縮小、放大、點(diǎn)擊等操作都只是作為舉例說(shuō)明，在本發(fā)明的實(shí)施例中，還可以包括其它界面操作。本領(lǐng)域普通技術(shù)人員可以理解實(shí)現(xiàn)上述實(shí)施例方法中的全部或部分流程，是可以通過(guò)計(jì)算機(jī)程序來(lái)指令相關(guān)的硬件來(lái)完成，所述的程序可存儲(chǔ)于一計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中，該程序在執(zhí)行時(shí)，可包括如上述各方法的實(shí)施例的流程。其中，所述的存儲(chǔ)介質(zhì)可為磁碟、光盤(pán)、只讀存儲(chǔ)記憶體(Read-Only Memory, ROM)或隨機(jī)存儲(chǔ)記憶體(Random AccessMemory, RAM)等。以上所揭露的僅為本發(fā)明ー種較佳實(shí)施例而已，當(dāng)然不能以此來(lái)限定本發(fā)明之權(quán)利范圍，本領(lǐng)域普通技術(shù)人員可以理解實(shí)現(xiàn)上述實(shí)施例的全部或部分流程，并依本發(fā)明權(quán)利要求所作的等同變化，仍屬于發(fā)明所涵蓋的范圍。
權(quán)利要求
1.一種用戶界面控制方法，其特征在于，包括 采集用戶手部的三維空間信息； 根據(jù)所述采集的三維空間信息，在用戶界面上構(gòu)建出與用戶手部動(dòng)作一致的三維虛擬手; 檢測(cè)所述三維虛擬手對(duì)所述用戶界面的操作，并根據(jù)所述檢測(cè)到的操作，執(zhí)行相應(yīng)的功能。
2.如權(quán)利要求I所述的方法，其特征在于，所述采集用戶手部動(dòng)作的三維空間信息包括 周期性獲取用戶的手心面上的點(diǎn)在參考坐標(biāo)系中的空間坐標(biāo)。
3.如權(quán)利要求2所述方法，其特征在于，所述根據(jù)所述采集的三維空間信息，在用戶界面上構(gòu)建出與用戶手部動(dòng)作一致的三維虛擬手包括 根據(jù)用戶手心面上的點(diǎn)的三維空間坐標(biāo)的變化，構(gòu)建出與用戶手心面動(dòng)作一致的虛擬手心面； 根據(jù)所述與用戶手心面動(dòng)作一致的虛擬手心面，構(gòu)建出與用戶手背面動(dòng)作一致的虛擬手背面。
4.如權(quán)利要求I所述的方法，其特征在于，所述三維虛擬手對(duì)用戶界面的操作包括旋轉(zhuǎn)所述用戶界面的操作、拖拽所述用戶界面的操作、縮小所述用戶界面的操作和放大所述用戶界面的操作中的至少ー項(xiàng)。
5.如權(quán)利要求4所述的方法，其特征在于，所述用戶界面還包括至少ー個(gè)三維式的功能選項(xiàng)； 所述三維虛擬手對(duì)用戶界面的操作還包括用于請(qǐng)求執(zhí)行所述功能選項(xiàng)所對(duì)應(yīng)的功能的操作。
6.一種用戶界面的操作控制裝置，其特征在于，包括 采集模塊，用于采集用戶手部的三維空間信息； 三維虛擬手構(gòu)建模塊，用于根據(jù)所述采集的三維空間信息，在用戶界面上構(gòu)建出與用戶手部動(dòng)作一致的三維虛擬手； 處理模塊，用于檢測(cè)所述三維虛擬手對(duì)所述用戶界面的操作，并根據(jù)所述檢測(cè)到的操作，執(zhí)行相應(yīng)的功能。
7.如權(quán)利要求6所述的裝置，其特征在于，所述采集模塊包括 坐標(biāo)獲取単元，用于周期性獲取用戶的手心面上的點(diǎn)在參考坐標(biāo)系中的空間坐標(biāo)。
8.如權(quán)利要求7所述的裝置，其特征在于，所述三維虛擬手構(gòu)建模塊包括 手心面構(gòu)建單元，用于根據(jù)用戶手心面上的點(diǎn)的三維空間坐標(biāo)的變化，構(gòu)建出與用戶手心面動(dòng)作一致的虛擬手心面； 手背面構(gòu)建單元，用于根據(jù)所述與用戶手心面動(dòng)作一致的虛擬手心面，構(gòu)建出與用戶手背面動(dòng)作一致的虛擬手背面。
9.如權(quán)利要求6所述的裝置，其特征在于，所述三維虛擬手對(duì)用戶界面的操作包括旋轉(zhuǎn)所述用戶界面的操作、拖拽所述用戶界面的操作、縮小所述用戶界面的操作和放大所述用戶界面的操作中的至少ー項(xiàng)。
10.如權(quán)利要求9所述的裝置，其特征在于，所述用戶界面還包括至少ー個(gè)三維式的功能選項(xiàng)； 所述三維虛 擬手對(duì)用戶界面的操作還包括用于請(qǐng)求執(zhí)行所述功能選項(xiàng)所對(duì)應(yīng)的功能的操作。
全文摘要
本發(fā)明實(shí)施例公開(kāi)了一種用戶界面的控制方法，包括采集用戶手部的三維空間信息；根據(jù)采集的三維空間信息，在用戶界面上構(gòu)建出與用戶手部動(dòng)作一致的三維虛擬手；檢測(cè)三維虛擬手對(duì)用戶界面的操作，并根據(jù)檢測(cè)到的操作，執(zhí)行相應(yīng)的功能。本發(fā)明實(shí)施例還公開(kāi)了一種用戶界面的控制裝置。采用本發(fā)明，可以讓用戶靈活和方便的控制用戶界面，提高用戶體驗(yàn)。
文檔編號(hào)G06F3/048GK102650906SQ20121009884
公開(kāi)日2012年8月29日 申請(qǐng)日期2012年4月6日 優(yōu)先權(quán)日2012年4月6日
發(fā)明者于洋, 王曉暉, 趙健章 申請(qǐng)人:深圳創(chuàng)維數(shù)字技術(shù)股份有限公司, 深圳市創(chuàng)維軟件有限公司