本發(fā)明涉及空間手勢操控技術(shù)領(lǐng)域，特別是涉及一種基于RGBD圖像的三維操控空間的建立方法及設(shè)備。

背景技術(shù)：

利用RGBD相機(jī)獲取RGBD圖像，圖像中的像素信息包括彩色信息和深度信息，其彩色信息與深度信息一一對應(yīng)。對RGBD圖像中的目標(biāo)區(qū)域進(jìn)行跟蹤，可以根據(jù)目標(biāo)區(qū)域的深度信息自動(dòng)獲取其彩色信息，反之亦然。

對RGBD相機(jī)獲取的RGBD圖像進(jìn)行處理，其中深度圖像的每一個(gè)像素值，對應(yīng)于該像素所反映目標(biāo)在物理空間中到深度相機(jī)的距離。對深度圖像中的目標(biāo)區(qū)域，可以直接獲取其空間位置信息，進(jìn)一步根據(jù)深度圖像可以實(shí)現(xiàn)3D物體重建、手勢識別手勢操控等功能。因而相比彩色信息，深度信息在對手部位置跟蹤，運(yùn)動(dòng)軌跡獲取等方面具有優(yōu)勢。

現(xiàn)有的手勢操控中，需要定位屏幕光標(biāo)，因此，要求用戶在特定的空間范圍內(nèi)進(jìn)行操作，并需要將用戶的手勢的空間位置轉(zhuǎn)換為操控界面的坐標(biāo)，即將用戶的手勢映射到操控界面中，才能實(shí)現(xiàn)利用手勢定位屏幕光標(biāo)的目的。

上述手勢操控方法將用戶手勢限制在一個(gè)固定的區(qū)域內(nèi)，才可以實(shí)現(xiàn)用戶的手勢與操控界面的對應(yīng)關(guān)系，并且，用戶需要根據(jù)光標(biāo)在操控界面內(nèi)的位置來進(jìn)行手勢操控，因而，給用戶的操作帶來了不便，用戶體驗(yàn)不佳。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明提供一種基于RGBD圖像的三維操控空間的建立方法及設(shè)備，能夠解決現(xiàn)有技術(shù)存在的空間三維操控需映射到操控界面導(dǎo)致操控不便，體驗(yàn)不佳的問題。

為解決上述技術(shù)問題，本發(fā)明采用的一個(gè)技術(shù)方案是：提供一種基于RGBD圖像的三維操控空間的建立方法，該方法包括以下步驟：采集用戶的連續(xù)幀RGBD圖像，其中，所述RGBD圖像包括彩色信息和深度信息；根據(jù)所述連續(xù)幀RGBD圖像獲取建立所述三維操控空間的指令；以所述RGBD圖像中特定點(diǎn)為原點(diǎn)建立三維坐標(biāo)系；以所述特定點(diǎn)為中心建立操控邊界面，并獲取所述操控邊界面上的點(diǎn)在所述三維坐標(biāo)系上的位置信息；將所述操控邊界面劃分多個(gè)指令區(qū)域，以根據(jù)用戶手部穿越所述指令區(qū)域時(shí)的穿越信息來識別指令。

其中，所述根據(jù)所述RGBD圖像獲取建立所述三維操控空間的指令的步驟包括：根據(jù)所述RGBD圖像識別用戶的手部區(qū)域；根據(jù)所述手部區(qū)域在所述連續(xù)幀RGBD圖像中的變化判斷所述手部區(qū)域是否完成特定的手勢動(dòng)作；若是，則獲取建立所述三維操控空間的指令。

其中，所述根據(jù)所述手部區(qū)域在所述連續(xù)幀RGBD圖像中的變化判斷所述手部區(qū)域是否完成特定的手勢動(dòng)作的步驟之前包括：預(yù)先設(shè)定一個(gè)手勢動(dòng)作作為特定的手勢動(dòng)作，并保存；所述根據(jù)所述手部區(qū)域在所述連續(xù)幀RGBD圖像中的變化判斷所述手部區(qū)域是否完成特定的手勢動(dòng)作的步驟進(jìn)一步包括：利用所述連續(xù)幀RGBD圖像中手部區(qū)域的所述彩色信息，對所述手部區(qū)域的形態(tài)變化形成的所述手勢動(dòng)作進(jìn)行識別；將識別到的所述手勢動(dòng)作與預(yù)設(shè)的所述特定的手勢動(dòng)作進(jìn)行匹配，若匹配成功，則判斷所述手部區(qū)域完成所述特定的手勢動(dòng)作。

其中，所述根據(jù)所述手部區(qū)域在所述連續(xù)幀RGBD圖像中的變化判斷所述手部區(qū)域是否完成特定的手勢動(dòng)作的步驟進(jìn)一步包括：利用所述連續(xù)幀RGBD圖像中手部區(qū)域的所述彩色信息，識別所述手部區(qū)域的手部中心點(diǎn)；利用所述手勢動(dòng)作終止?fàn)顟B(tài)時(shí)的所述RGBD圖像中手部區(qū)域的所述深度信息識別手部中心點(diǎn)的空間位置；所述以所述RGBD圖像中特定點(diǎn)為原點(diǎn)建立三維坐標(biāo)系的步驟和所述以所述特定點(diǎn)為中心建立操控邊界面，并獲取所述操控邊界面上的點(diǎn)在所述三維坐標(biāo)系上的位置信息的步驟中，所述特定點(diǎn)為手部中心點(diǎn)，所述手部中心點(diǎn)的空間位置即該特定點(diǎn)的空間位置。

其中，所述特定的手勢動(dòng)作為手部從張開到握拳的手勢動(dòng)作。

為解決上述技術(shù)問題，本發(fā)明采用的另一個(gè)技術(shù)方案是：提供一種建立基于RGBD圖像的三維操控空間的設(shè)備，該設(shè)備包括：采集模塊、指令獲取模塊、坐標(biāo)建立模塊、邊界面建立模塊和指令劃分模塊。采集模塊用于采集用戶的連續(xù)幀RGBD圖像，其中，所述RGBD圖像包括彩色信息和深度信息；指令獲取模塊與所述采集模塊連接，用于根據(jù)所述連續(xù)幀RGBD圖像獲取建立所述三維操控空間的指令；坐標(biāo)建立模塊與所述指令獲取模塊連接，用于以所述RGBD圖像中特定點(diǎn)為原點(diǎn)建立三維坐標(biāo)系；邊界面建立模塊與所述坐標(biāo)建立模塊連接，用于以所述特定點(diǎn)為中心建立操控邊界面，并獲取所述操控邊界面上的點(diǎn)在所述三維坐標(biāo)系上的位置信息；指令劃分模塊與所述邊界面建立模塊連接，用于將所述操控邊界面劃分多個(gè)指令區(qū)域，以根據(jù)用戶手部穿越所述指令區(qū)域時(shí)的穿越信息來識別指令。

其中，所述指令獲取模塊進(jìn)一步包括第一識別模塊和判斷模塊；第一識別模塊與所述采集模塊連接，用于根據(jù)所述RGBD圖像識別用戶的手部區(qū)域；判斷模塊與所述第一識別模塊連接，用于根據(jù)所述手部區(qū)域在所述連續(xù)幀RGBD圖像中的變化判斷所述手部區(qū)域是否完成特定的手勢動(dòng)作，并在完成所述特定的手勢動(dòng)作時(shí)，獲取建立所述三維操控空間的指令。

其中，所述設(shè)備還包括預(yù)設(shè)模塊，所述預(yù)設(shè)模塊用于預(yù)先設(shè)定一個(gè)手勢動(dòng)作作為特定的手勢動(dòng)作，并保存；所述判斷模塊進(jìn)一步包括第二識別模塊和匹配模塊；第二識別模塊與所述第一識別模塊連接，用于利用所述連續(xù)幀RGBD圖像中手部區(qū)域的所述彩色信息，對所述手部區(qū)域的形態(tài)變化形成的所述手勢動(dòng)作進(jìn)行識別；匹配模塊與所述第二識別模塊和所述預(yù)設(shè)模塊連接，用于將識別到的所述手勢動(dòng)作與預(yù)設(shè)的所述特定的手勢動(dòng)作進(jìn)行匹配，并在匹配成功時(shí)判斷所述手部區(qū)域完成所述特定的手勢動(dòng)作。

其中，所述判斷模塊進(jìn)一步包括第三識別模塊和第四識別模塊；第三識別模塊與所述第一識別模塊連接，用于利用所述連續(xù)幀RGBD圖像中手部區(qū)域的所述彩色信息，識別所述手部區(qū)域的手部中心點(diǎn)；第四識別模塊與所述第三識別模塊連接，用于利用所述手勢動(dòng)作終止?fàn)顟B(tài)時(shí)的所述RGBD圖像中手部區(qū)域的所述深度信息識別手部中心點(diǎn)的空間位置；其中，所述特定點(diǎn)為手部中心點(diǎn)，所述手部中心點(diǎn)的空間位置即該特定點(diǎn)的空間位置。

其中，所述特定的手勢動(dòng)作為手部從張開到握拳的手勢動(dòng)作。

本發(fā)明的有益效果是：區(qū)別于現(xiàn)有技術(shù)的情況，本發(fā)明由于建立了三維操控空間，能夠限定用戶在提高手勢操控指令時(shí)手勢動(dòng)作的空間位置，防止誤識別了用戶并非用于手勢遙控的手勢動(dòng)作，例如，在三維操控空間外的其他人的手勢動(dòng)作，或者，用戶另一個(gè)手的手勢動(dòng)作等。相對與現(xiàn)有技術(shù)對用戶手勢操控的限定，本發(fā)明中，用戶在操作的時(shí)候，不需要將手勢映射到顯示屏幕中，手的位置也不需要與顯示屏幕中顯示的按鍵等對應(yīng)來進(jìn)行操控，而是通過手與三維操控空間的位置關(guān)系來觸發(fā)指令，由于本發(fā)明建立三維操控空間的指令是通過連續(xù)幀RGBD圖像來獲取，由于RGBD圖像具有彩色信息和深度信息，其具有較高的分辨率，因而可以獲取更加準(zhǔn)確信息，因而能清晰準(zhǔn)確地識別出RGBD圖像中的指令。并且，三維操控空間的建立是以用戶的RGBD圖像中的特定點(diǎn)為原點(diǎn)來建立，而該三維操控空間的原點(diǎn)位置是深度圖像中用戶在觸發(fā)建立三維操控空間時(shí)某一特定點(diǎn)位置，因此，該三維操控空間建立在一個(gè)能方便于用戶操作的位置。另外，本發(fā)明由于將三維操控空間的操控邊界面劃分為多個(gè)指令區(qū)域，并通過用戶手部穿越指令區(qū)域時(shí)的穿越信息來識別指令，提高了指令的觸發(fā)相應(yīng)速度。因而，本發(fā)明能使得用戶的空間手勢操控更加方便，改善了用戶體驗(yàn)。

附圖說明

為了更清楚地說明本發(fā)明實(shí)施例中的技術(shù)方案，下面將對實(shí)施例描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1是本發(fā)明第一實(shí)施例提供的基于RGBD圖像的三維操控空間的建立方法的流程示意圖；

圖2是本發(fā)明第一實(shí)施例中建立的三維操控空間的示意圖；

圖3是本發(fā)明第二實(shí)施例提供的一種基于RGBD圖像的三維操控空間的建立方法的流程示意圖；

圖4是圖3中步驟S23的流程示意圖；

圖5是本發(fā)明第二實(shí)施例提供的三維操控空間的建立方法中特定的手勢動(dòng)作的示意圖；

圖6是本發(fā)明第一實(shí)施例提供的一種建立基于RGBD圖像的三維操控空間的設(shè)備的結(jié)構(gòu)示意圖；

圖7是本發(fā)明第二實(shí)施例提供的一種建立基于RGBD圖像的三維操控空間的設(shè)備的結(jié)構(gòu)示意圖；

圖8是本發(fā)明實(shí)施例提供的一種建立基于RGBD圖像的三維操控空間的設(shè)備的實(shí)體裝置的結(jié)構(gòu)示意圖。

具體實(shí)施方式

下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅是本發(fā)明的一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其它實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。

請參閱圖1，圖1是本發(fā)明第一實(shí)施例提供的基于RGBD圖像的三維操控空間的建立方法的流程示意圖。

具體地，本實(shí)施例的基于RGBD圖像的三維操控空間的建立方法包括以下步驟：

S11、采集用戶的連續(xù)幀RGBD圖像，其中，RGBD圖像包括彩色信息和深度信息。

具體地，RGBD圖像可以通過RGBD相機(jī)來進(jìn)行采集，RGBD圖像包括了彩色信息(RGB)和深度信息(Depth)，連續(xù)幀的RGBD圖像是指在一個(gè)特定的時(shí)間段內(nèi)，一系列連續(xù)的RGBD圖像。

S12、根據(jù)連續(xù)幀RGBD圖像獲取建立三維操控空間的指令。

具體地，本實(shí)施例需要從RGBD圖像中獲取了建立三維操控空間的指令之后才會(huì)建立三維操控空間，以防止誤識別了用戶并非用于手勢遙控的手勢動(dòng)作，以更加精確地進(jìn)行手勢識別。

其中，建立三維操控空間的指令可以是一個(gè)手勢動(dòng)作，并且，該手勢動(dòng)作可以僅是手掌部位的動(dòng)作，而與手掌部位是否有整體的位移沒有關(guān)系。例如，該手勢動(dòng)作是手掌從手指張開到手掌閉合握拳的動(dòng)作，在手掌做該手勢動(dòng)作的時(shí)候，手掌整體從左邊揮到右邊，或者從上方揮到下方，均對手勢動(dòng)作的識別沒有影響。

S13、以RGBD圖像中特定點(diǎn)為原點(diǎn)建立三維坐標(biāo)系。

步驟S13中，該特定點(diǎn)在本次操作中固定不變。請參閱圖2，圖2是本發(fā)明第一實(shí)施例中建立的三維操控空間的示意圖。

具體而言，如圖2所建立的三維坐標(biāo)系具有xyz三軸，用戶朝向需要控制的設(shè)備(例如電視機(jī))的方向?yàn)閥軸正方向，x軸與y軸所在平面平行于地面，z軸垂直與x軸與y軸所在的平面。朝向圖2中右方的方向?yàn)閤軸的正方向，朝向圖2中的上方的方向?yàn)閦軸的正方向。

本實(shí)施例中，特定點(diǎn)可以是用戶的手部中心點(diǎn)，可以理解的是，在其他一些實(shí)施例中，還可以是手部區(qū)域的最高點(diǎn)，或者手部區(qū)域的最左或者最右的點(diǎn)等等。

S14、以特定點(diǎn)為中心建立操控邊界面，并獲取操控邊界面上的點(diǎn)在三維坐標(biāo)系上的位置信息。

如圖2所示，操控邊界面為一個(gè)球面，該球面以特定點(diǎn)為球心，以R為半徑，操控邊界面上的點(diǎn)在三維坐標(biāo)系上的位置信息即坐標(biāo)值，例如，本實(shí)施例中，點(diǎn)g的坐標(biāo)值為(x，y，z)。

本實(shí)施例的三維操控空間呈球形，可以理解地，在其它一些實(shí)施例中，三維操控空間可以是方體，例如正方體或者長方體等，此時(shí)，操控邊界面則為方體的面，例如正方體或者長方體的六個(gè)面。

S15、將操控邊界面劃分多個(gè)指令區(qū)域，以根據(jù)用戶手部穿越指令區(qū)域時(shí)的穿越信息來識別指令。

具體地，本發(fā)明在球面上劃分多個(gè)指令區(qū)域，例如本實(shí)施例劃分的指令區(qū)域有x軸正方向穿越的指令區(qū)域A、x軸負(fù)方向穿越的指令區(qū)域B，z軸正方向穿越的指令區(qū)域C，z軸負(fù)方向穿越的指令區(qū)域D，y軸正方向穿越的指令區(qū)域E和y軸負(fù)方向穿越的指令區(qū)域F。指令區(qū)域A、指令區(qū)域B、指令區(qū)域C，指令區(qū)域D，指令區(qū)域E和指令區(qū)域F構(gòu)成整個(gè)操控邊界面。

本實(shí)施例的三維操控空間即為具有多個(gè)指令區(qū)域的球面圍成的空間，該三維操控空間是一個(gè)虛擬的空間。

具體地，穿越信息可以是用戶手部具體穿越哪個(gè)指令區(qū)域，例如，先對每個(gè)指令區(qū)域定義一個(gè)不同指令，用戶手部穿越哪個(gè)指令區(qū)域側(cè)觸發(fā)該指令區(qū)域?qū)?yīng)的指令，因此，用戶手部穿越不同的指令區(qū)域可觸發(fā)不同的指令。

此外，穿越信息不僅包括用戶手部具體穿越哪個(gè)指令區(qū)域，還包括用戶手部穿越該指令區(qū)域時(shí)的穿越方向。例如，在對每個(gè)指令區(qū)域定義不同的指令時(shí)，對同一個(gè)指令區(qū)域還可以定義兩個(gè)不同的指令，即用戶的手部從三維操控空間內(nèi)部穿越該指令區(qū)域到三維操控空間外部定義為一個(gè)指令，用戶的手部從三維操控空間外部穿越該指令區(qū)域到三維操控空間內(nèi)部定義為另一個(gè)指令。

舉例而言，定義用戶手部從三維操控空間內(nèi)穿過指令區(qū)域A到達(dá)三維操控空間外觸發(fā)指令A(yù)a，指令A(yù)a對應(yīng)頻道增加，用戶手部從三維操控空間內(nèi)穿過指令區(qū)域B到達(dá)三維操控空間外觸發(fā)指令Bb，指令Bb對應(yīng)頻道減少；用戶手部從三維操控空間內(nèi)穿過指令區(qū)域C到達(dá)三維操控空間外觸發(fā)指令Cc，指令Cc對應(yīng)音量增加，用戶手部從三維操控空間內(nèi)穿過指令區(qū)域D到達(dá)三維操控空間外觸發(fā)指令Dd，指令Dd對應(yīng)音量減弱，用戶手部從三維操控空間內(nèi)穿過指令區(qū)域E到達(dá)三維操控空間外觸發(fā)指令Ee，指令Ee對應(yīng)確定，用戶手部從三維操控空間內(nèi)穿過指令區(qū)域F到達(dá)三維操控空間外觸發(fā)指令Ff，指令Ff對應(yīng)退出等。

值得一提的是，還可以預(yù)先定義指令A(yù)a’或者指令Bb’等指令，即用戶手部從三維操控空間外穿過指令區(qū)域A到達(dá)三維操控空間內(nèi)，或者用戶手部從三維操控空間外穿過指令區(qū)域B到達(dá)三維操控空間內(nèi)。

因此，本發(fā)明由于建立了三維操控空間，能夠限定用戶在提高手勢操控指令時(shí)手勢動(dòng)作的空間位置，防止誤識別了用戶并非用于手勢遙控的手勢動(dòng)作，例如，在三維操控空間外的其他人的手勢動(dòng)作，或者，用戶另一個(gè)手的手勢動(dòng)作等。相對與現(xiàn)有技術(shù)對用戶手勢操控的限定，本發(fā)明中，用戶在操作的時(shí)候，不需要將手勢映射到顯示屏幕中，手的位置也不需要與顯示屏幕中顯示的按鍵等對應(yīng)來進(jìn)行操控，而是通過手與三維操控空間的位置關(guān)系來觸發(fā)指令，由于本發(fā)明建立三維操控空間的指令是通過連續(xù)幀RGBD圖像來獲取，由于RGBD圖像具有彩色信息和深度信息，其具有較高的分辨率，因而可以獲取更加準(zhǔn)確信息，因而能清晰準(zhǔn)確地識別出RGBD圖像中的指令。并且，三維操控空間的建立是以用戶的RGBD圖像中的特定點(diǎn)為原點(diǎn)來建立，而該三維操控空間的原點(diǎn)位置是深度圖像中用戶在觸發(fā)建立三維操控空間時(shí)某一特定點(diǎn)位置，因此，該三維操控空間建立在一個(gè)能方便于用戶操作的位置。另外，本發(fā)明由于將三維操控空間的操控邊界面劃分為多個(gè)指令區(qū)域，并通過用戶手部穿越指令區(qū)域時(shí)的穿越信息來識別指令，提高了指令的觸發(fā)相應(yīng)速度。因而，本發(fā)明能使得用戶的空間手勢操控更加方便，改善了用戶體驗(yàn)。

請參閱圖3，圖3是本發(fā)明第二實(shí)施例提供的一種基于RGBD圖像的三維操控空間的建立方法的流程示意圖。

具體地，本實(shí)施例的三維操控空間的建立方法包括以下步驟：

S21、采集用戶的連續(xù)幀RGBD圖像，其中，RGBD圖像包括彩色信息和深度信息。

S22、根據(jù)RGBD圖像識別用戶的手部區(qū)域。

S23、根據(jù)手部區(qū)域在連續(xù)幀RGBD圖像中的變化判斷手部區(qū)域是否完成特定的手勢動(dòng)作。

如圖4所示，圖4是圖3中步驟S23的流程示意圖。具體而言，在一個(gè)實(shí)施例中，步驟S23還包括步驟：

S231、預(yù)先設(shè)定一個(gè)手勢動(dòng)作作為特定的手勢動(dòng)作，并保存。

步驟S231中，特定的手勢動(dòng)作可以是手掌張開到手掌閉合握拳的動(dòng)作，或者手掌閉合握拳到手掌張開，或者手掌閉合握拳到兩個(gè)手指豎起的“V”字手勢等。本實(shí)施例以手掌張開到手掌閉合握拳的動(dòng)作為例進(jìn)行說明，如圖5所示，圖5是本發(fā)明第二實(shí)施例提供的三維操控空間的建立方法中特定的手勢動(dòng)作的示意圖。

具體而言，在預(yù)設(shè)特定的手勢動(dòng)作的時(shí)候，可以采集該特定的手勢動(dòng)作從開始到完成一段時(shí)間內(nèi)的連續(xù)幀RGBD圖像。并獲取該連續(xù)幀RGBD圖像中手部區(qū)域的手指、掌心等各部位的輪廓，及其變化規(guī)律，并進(jìn)行保存。

S232、利用連續(xù)幀RGBD圖像中手部區(qū)域的彩色信息，對手部區(qū)域的形態(tài)變化形成的手勢動(dòng)作進(jìn)行識別。

具體地，本實(shí)施例的手勢動(dòng)作為手掌的手指從張開到手掌閉合握拳，在進(jìn)行該手勢動(dòng)作的過程，手部區(qū)域的形態(tài)發(fā)生了變化，其中，該手部區(qū)域的形態(tài)變化的識別可以利用膚值模型、分塊像素識別方法等，例如，可以通過以下方式來進(jìn)行識別：

設(shè)定手部區(qū)域輪廓面積的閾值，獲取當(dāng)前手部區(qū)域輪廓的面積，并與設(shè)定的閾值進(jìn)行比較，從而可獲得當(dāng)前手部區(qū)域的形態(tài)?；蛘撸?/p>

通過判別手部區(qū)域邊緣與手掌中心距離的變化來判斷手掌處于手指舒張或者是聚攏握緊的狀態(tài)。

本實(shí)施例通過RGBD圖像中的彩色信息可以對手部區(qū)域的形態(tài)進(jìn)行準(zhǔn)確識別，例如，可以獲取連續(xù)幀RGBD圖像中手部區(qū)域的手指、掌心等各部位的輪廓，并獲取其變化規(guī)律。由于利用了RGBD圖像，該RGBD圖像的分辨率高，因而可以獲得準(zhǔn)確率更高的手部區(qū)域的信息，并且，利用彩色信息可以進(jìn)行皮膚識別，相對于普通深度圖像中粗糙的手部區(qū)域輪廓，彩色信息獲取的手指、掌心等各部位的輪廓的邊角清晰準(zhǔn)確，因而對手部區(qū)域的形態(tài)的識別準(zhǔn)確率較高。

S233、利用連續(xù)幀RGBD圖像中手部區(qū)域的彩色信息識別手部區(qū)域的手部中心點(diǎn)。

具體地，手部中心點(diǎn)可以是手掌的重心、質(zhì)心或者幾何中心等。

可以理解的是，在其它一些實(shí)施例中，還可以根據(jù)手部區(qū)域的彩色信息識別手指頭的端點(diǎn)，或者手部區(qū)域的最高點(diǎn)，或者手部區(qū)域的最左或者最右的點(diǎn)等等。

S234、利用手勢動(dòng)作終止?fàn)顟B(tài)時(shí)的RGBD圖像中手部區(qū)域的深度信息識別手部中心點(diǎn)的空間位置。

步驟S234中，只需在手勢動(dòng)作終止時(shí)候利用RGBD圖像的深度信息來識別手部中心點(diǎn)的空間位置，而在手勢動(dòng)作進(jìn)行過程中的手部中心點(diǎn)的空間位置可以不作識別。

值得一提的是，如圖2所示，本實(shí)施例的手部區(qū)域在進(jìn)行特定的手勢動(dòng)作的過程手部區(qū)域整體在進(jìn)行移動(dòng)，例如圖2中的手掌在從手指張開到手掌閉合握拳的過程中，手部區(qū)域從左邊移動(dòng)到右邊，在此過程中，通過連續(xù)幀RGBD圖像中的彩色信息可以識別手部區(qū)域的手勢動(dòng)作，手部區(qū)域從左邊移動(dòng)到右邊并不會(huì)對手部區(qū)域的手勢動(dòng)作的識別造成影響，并且該過程中的手部中心點(diǎn)的空間位置可以不作識別。當(dāng)手勢動(dòng)作完成時(shí)，再通過手勢動(dòng)作完成時(shí)的RGBD圖像識別手部中心點(diǎn)的空間位置，以該手部中心點(diǎn)的空間位置來作為后續(xù)建立三維操控空間的基準(zhǔn)點(diǎn)。

S235、將識別到的手勢動(dòng)作與預(yù)設(shè)的特定的手勢動(dòng)作進(jìn)行匹配，若匹配成功，則判斷手部區(qū)域完成特定的手勢動(dòng)作。

例如，將步驟S232中獲取的連續(xù)幀RGBD圖像中手部區(qū)域的手指、掌心等各部位的輪廓的變化規(guī)律與步驟S231中預(yù)設(shè)該特定的手勢動(dòng)作時(shí)保存的手部區(qū)域的手指、掌心等各部位的輪廓的變化規(guī)律進(jìn)行匹配，如果匹配結(jié)果為一致，則表示匹配成功，并進(jìn)入步驟S24。若匹配結(jié)果為不一致，則表明獲取的手勢動(dòng)作并不是要建立三維操控空間的指令對應(yīng)的手勢動(dòng)作，因而不會(huì)進(jìn)入后續(xù)流程。

其中，步驟S233和步驟S234按順序執(zhí)行，而該兩個(gè)步驟可以與步驟S235同時(shí)執(zhí)行，或者也可以在步驟S235之前或者之后，在此不做限定。

S24、獲取建立三維操控空間的指令。

S25、以RGBD圖像中手部中心點(diǎn)為原點(diǎn)建立三維坐標(biāo)系。

請繼續(xù)參閱圖2，步驟S25中，以該手部中心點(diǎn)為原點(diǎn)建立三維坐標(biāo)系，該原點(diǎn)在本次操作中固定不變。

S26、以手部中心點(diǎn)為中心建立操控邊界面，并獲取操控邊界面上的點(diǎn)在三維坐標(biāo)系上的位置信息。

步驟S26中的操控邊界面為以手部中心點(diǎn)作為球心，以R為半徑的一個(gè)球面。位置信息即球面上的點(diǎn)在三維坐標(biāo)系上的空間分布信息，即坐標(biāo)值，例如本實(shí)施例的點(diǎn)g的坐標(biāo)值為(x，y，z)。

S27、將操控邊界面劃分多個(gè)指令區(qū)域，以根據(jù)用戶手部穿越指令區(qū)域時(shí)的穿越信息來識別指令。

具體地，本發(fā)明在球面上劃分多個(gè)指令區(qū)域，例如本實(shí)施例劃分的指令區(qū)域有x軸正方向穿越的指令區(qū)域A、x軸負(fù)方向穿越的指令區(qū)域B，z軸正方向穿越的指令區(qū)域C，z軸負(fù)方向穿越的指令區(qū)域D，y軸正方向穿越的指令區(qū)域E和y軸負(fù)方向穿越的指令區(qū)域F。指令區(qū)域A、指令區(qū)域B、指令區(qū)域C，指令區(qū)域D，指令區(qū)域E和指令區(qū)域F構(gòu)成整個(gè)操控邊界面。

本實(shí)施例的三維操控空間即為具有多個(gè)指令區(qū)域的球面圍成的空間，該三維操控空間是一個(gè)虛擬的空間。

在利用該三維操控空間進(jìn)行手勢操控時(shí)，可以定義用戶手部穿過不同的指令區(qū)域而觸發(fā)不同的指令，并且，還可以結(jié)合用戶手部穿過該指令區(qū)域時(shí)的不同的穿越方向來觸發(fā)不同的指令，其中，不同的穿越方向可以是從三維操控空間內(nèi)部從穿越到三維操控空間的外部，或者從三維操控空間外部穿越到三維操控空間的內(nèi)部。

本實(shí)施例充分利用了RGBD圖像的彩色信息來識別手勢動(dòng)作，因而能清晰準(zhǔn)確地識別手勢動(dòng)作，以準(zhǔn)確地判斷是否獲取建立三維操控空間的指令，并且利用了RGBD圖像的深度信息來確定手部中心點(diǎn)的空間位置，從而能在準(zhǔn)確的位置上建立起三維操控空間。因而，使得三維操控空間的建立更加方便、快捷、準(zhǔn)確。

請參閱圖6，圖6是本發(fā)明第一實(shí)施例提供的一種建立基于RGBD圖像的三維操控空間的設(shè)備的結(jié)構(gòu)示意圖。

具體地，本實(shí)施例的建立基于RGBD圖像的三維操控空間的設(shè)備包括采集模塊10、指令獲取模塊11、坐標(biāo)建立模塊12、邊界面建立模塊13和指令劃分模塊14。

其中，采集模塊10用于采集用戶的連續(xù)幀RGBD圖像，其中，RGBD圖像包括彩色信息和深度信息。

指令獲取模塊11與采集模塊10連接，用于根據(jù)連續(xù)幀RGBD圖像中獲取建立三維操控空間的指令。

坐標(biāo)建立模塊12與指令獲取模塊11連接，用于以RGBD圖像中特定點(diǎn)為原點(diǎn)建立三維坐標(biāo)系；

邊界面建立模塊13與坐標(biāo)建立模塊12連接，用于以特定點(diǎn)為中心建立操控邊界面，并獲取操控邊界面上的點(diǎn)在三維坐標(biāo)系上的位置信息；

指令劃分模塊14與邊界面建立模塊13連接，用于將操控邊界面劃分多個(gè)指令區(qū)域，以根據(jù)用戶手部穿越指令區(qū)域時(shí)的穿越信息來識別指令。

請參閱圖7，圖7是本發(fā)明第二實(shí)施例提供的一種建立基于RGBD圖像的三維操控空間的設(shè)備的結(jié)構(gòu)示意圖。

本實(shí)施例的建立基于RGBD圖像的三維操控空間的設(shè)備包括采集模塊20、指令獲取模塊21、坐標(biāo)建立模塊22、邊界面建立模塊23、指令劃分模塊24和預(yù)設(shè)模塊25。

其中，采集模塊20用于采集用戶的連續(xù)幀RGBD圖像，其中，RGBD圖像包括彩色信息和深度信息。

指令獲取模塊21與采集模塊20連接，用于根據(jù)連續(xù)幀RGBD圖像中獲取建立三維操控空間的指令。

預(yù)設(shè)模塊25用于預(yù)先設(shè)定一個(gè)手勢動(dòng)作作為特定的手勢動(dòng)作，并保存。

具體而言，指令獲取模塊21包括第一識別模塊210和判斷模塊211，第一識別模塊210與采集模塊20連接，用于根據(jù)RGBD圖像識別用戶的手部區(qū)域。判斷模塊211與第一識別模塊210連接，用于根據(jù)手部區(qū)域在連續(xù)幀RGBD圖像中的變化判斷手部區(qū)域是否完成特定的手勢動(dòng)作，并在完成特定的手勢動(dòng)作時(shí)，獲取建立三維操控空間的指令。

本實(shí)施例的判斷模塊211進(jìn)一步包括第二識別模塊211a、匹配模塊211b、第三識別模塊211c和第四識別模塊211d。

其中，第二識別模塊211a與第一識別模塊210連接，用于利用連續(xù)幀RGBD圖像中手部區(qū)域的彩色信息，對手部區(qū)域的形態(tài)變化形成的手勢動(dòng)作進(jìn)行識別。

匹配模塊211b與第二識別模塊211a和預(yù)設(shè)模塊25連接，用于將識別到的手勢動(dòng)作與預(yù)設(shè)的特定的手勢動(dòng)作進(jìn)行匹配，并在匹配成功時(shí)判斷手部區(qū)域完成特定的手勢動(dòng)作。

第三識別模塊211c與第一識別模塊210連接，用于利用連續(xù)幀RGBD圖像中手部區(qū)域的彩色信息，識別手部區(qū)域的手部中心點(diǎn)。

第四識別模塊211d與第三識別模塊211c連接，用于利用手勢動(dòng)作終止?fàn)顟B(tài)時(shí)的RGBD圖像中手部區(qū)域的深度信息識別手部中心點(diǎn)的空間位置。

其中，特定點(diǎn)為手部中心點(diǎn)，手部中心點(diǎn)的空間位置即該特定點(diǎn)的空間位置。

坐標(biāo)建立模塊22與指令獲取模塊21連接，用于以RGBD圖像中特定點(diǎn)為原點(diǎn)建立三維坐標(biāo)系。

邊界面建立模塊23與坐標(biāo)建立模塊22連接，用于以特定點(diǎn)為中心建立操控邊界面，并獲取操控邊界面上的點(diǎn)在三維坐標(biāo)系上的位置信息。

指令劃分模塊24與邊界面建立模塊123連接，用于將操控邊界面劃分多個(gè)指令區(qū)域，以根據(jù)用戶手部穿越指令區(qū)域時(shí)的穿越信息來識別指令。

請參閱圖8，圖8是本發(fā)明實(shí)施例提供的一種建立基于RGBD圖像的三維操控空間的設(shè)備的實(shí)體裝置的結(jié)構(gòu)示意圖。本實(shí)施方式的裝置可以執(zhí)行上述方法中的步驟，相關(guān)內(nèi)容請參見上述方法中的詳細(xì)說明，在此不再贅述。

該智能電子設(shè)備包括處理器31、與處理器31耦合的存儲(chǔ)器32。

存儲(chǔ)器32用于存儲(chǔ)操作系統(tǒng)、設(shè)置的程序和預(yù)設(shè)的特定的手勢動(dòng)作。

處理器31用于采集用戶的連續(xù)幀RGBD圖像，其中，所述RGBD圖像包括彩色信息和深度信息；根據(jù)所述RGBD圖像中獲取建立所述三維操控空間的指令；以所述RGBD圖像中特定點(diǎn)為原點(diǎn)建立三維坐標(biāo)系；以所述特定點(diǎn)為中心建立操控邊界面，并獲取所述操控邊界面上的點(diǎn)在所述三維坐標(biāo)系上的位置信息；將所述操控邊界面劃分多個(gè)指令區(qū)域，以根據(jù)用戶手部穿越所述指令區(qū)域時(shí)的穿越信息來識別指令。

處理器31還用于根據(jù)所述RGBD圖像識別用戶的手部區(qū)域；根據(jù)所述手部區(qū)域在所述連續(xù)幀RGBD圖像中的變化判斷所述手部區(qū)域是否完成特定的手勢動(dòng)作；若是，則獲取建立所述三維操控空間的指令。

處理器31還用于預(yù)先設(shè)定一個(gè)手勢動(dòng)作作為特定的手勢動(dòng)作，并通過存儲(chǔ)器32保存；利用所述連續(xù)幀RGBD圖像中手部區(qū)域的所述彩色信息，對所述手部區(qū)域的形態(tài)變化形成的所述手勢動(dòng)作進(jìn)行識別；將識別到的所述手勢動(dòng)作與預(yù)設(shè)的所述特定的手勢動(dòng)作進(jìn)行匹配，若匹配成功，則判斷所述手部區(qū)域完成所述特定的手勢動(dòng)作。

處理器31還用于利用所述連續(xù)幀RGBD圖像中手部區(qū)域的所述彩色信息，識別所述手部區(qū)域的手部中心點(diǎn)；利用所述手勢動(dòng)作終止?fàn)顟B(tài)時(shí)的所述RGBD圖像中手部區(qū)域的所述深度信息識別手部中心點(diǎn)的空間位置；所述以所述RGBD圖像中特定點(diǎn)為原點(diǎn)建立三維坐標(biāo)系的步驟和所述以所述特定點(diǎn)為中心建立操控邊界面，并獲取所述操控邊界面上的點(diǎn)在所述三維坐標(biāo)系上的位置信息的步驟中，所述特定點(diǎn)為手部中心點(diǎn)，所述手部中心點(diǎn)的空間位置即該特定點(diǎn)的空間位置。

在本發(fā)明所提供的幾個(gè)實(shí)施方式中，應(yīng)該理解到，所揭露的設(shè)備和方法，可以通過其它的方式實(shí)現(xiàn)。例如，以上所描述的設(shè)備實(shí)施方式僅僅是示意性的，例如，模塊或單元的劃分，僅僅為一種邏輯功能劃分，實(shí)際實(shí)現(xiàn)時(shí)可以有另外的劃分方式，例如多個(gè)單元或組件可以結(jié)合或者可以集成到另一個(gè)系統(tǒng)，或一些特征可以忽略，或不執(zhí)行。另一點(diǎn)，所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些接口，裝置或單元的間接耦合或通信連接，可以是電性，機(jī)械或其它的形式。

作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位于一個(gè)地方，或者也可以分布到多個(gè)網(wǎng)絡(luò)單元上。可以根據(jù)實(shí)際的需要選擇其中的部分或者全部單元來實(shí)現(xiàn)本實(shí)施方式方案的目的。

另外，在本發(fā)明各個(gè)實(shí)施方式中的各功能單元可以集成在一個(gè)處理單元中，也可以是各個(gè)單元單獨(dú)物理存在，也可以兩個(gè)或兩個(gè)以上單元集成在一個(gè)單元中。上述集成的單元既可以采用硬件的形式實(shí)現(xiàn)，也可以采用軟件功能單元的形式實(shí)現(xiàn)。

集成的單元如果以軟件功能單元的形式實(shí)現(xiàn)并作為獨(dú)立的產(chǎn)品銷售或使用時(shí)，可以存儲(chǔ)在一個(gè)計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中?；谶@樣的理解，本發(fā)明的技術(shù)方案本質(zhì)上或者說對現(xiàn)有技術(shù)做出貢獻(xiàn)的部分或者該技術(shù)方案的全部或部分可以以軟件產(chǎn)品的形式體現(xiàn)出來，該計(jì)算機(jī)軟件產(chǎn)品存儲(chǔ)在一個(gè)存儲(chǔ)介質(zhì)中，包括若干指令用以使得一臺(tái)計(jì)算機(jī)設(shè)備(可以是個(gè)人計(jì)算機(jī)，服務(wù)器，或者網(wǎng)絡(luò)設(shè)備等)或處理器(processor)執(zhí)行本發(fā)明各個(gè)實(shí)施方式方法的全部或部分步驟。而前述的存儲(chǔ)介質(zhì)包括：U盤、移動(dòng)硬盤、只讀存儲(chǔ)器(ROM，Read-Only Memory)、隨機(jī)存取存儲(chǔ)器(RAM，Random Access Memory)、磁碟或者光盤等各種可以存儲(chǔ)程序代碼的介質(zhì)。

綜上所述，本發(fā)明能使得用戶的空間手勢操控更加方便，改善了用戶體驗(yàn)。

以上所述僅為本發(fā)明的實(shí)施方式，并非因此限制本發(fā)明的專利范圍，凡是利用本發(fā)明說明書及附圖內(nèi)容所作的等效結(jié)構(gòu)或等效流程變換，或直接或間接運(yùn)用在其他相關(guān)的技術(shù)領(lǐng)域，均同理包括在本發(fā)明的專利保護(hù)范圍內(nèi)。