本發(fā)明涉及三維交互技術領域，特別是涉及一種交互方法及交互系統(tǒng)、相對深度的獲取方法。

背景技術：

人機交互(Human-Computer Interaction,簡寫HCI)是指人與計算機之間使用某種對話語言，以一定的交互方式，為完成確定任務的人與計算機之間的信息交換過程。

由于二維圖像僅能反映人(交互對象)的顏色、紋理等信息，因而利用三維深度圖像實現(xiàn)人機交互是普遍被采取的一種方式，比如利用人體的深度圖像進行手勢及動作的識別實現(xiàn)體感交互等。

一般而言，體感交互需要獲取目標空間深度圖像以獲得目標空間的深度信息。深度圖像獲取可以通過深度相機，目前常用的有結構光深度相機以及TOF(Time of Flight)相機等等；無論是哪種相機都無法直接獲取被測目標的深度，而是需要經(jīng)過對相機采集圖像的進一步計算來獲取目標深度值，這些計算步驟繁瑣而耗時，導致目前的體感交互有較大的延時，無法達到實時的體驗效果。

技術實現(xiàn)要素：

本發(fā)明主要解決的技術問題是提供一種交互方法及交互系統(tǒng)、相對深度的獲取方法，能夠避免通過計算直接深度帶來的繁瑣計算步驟，提高了深度獲取和交互的速度。

為解決上述技術問題，本發(fā)明采用的一個技術方案是：提供一種基于相對深度圖像的交互方法，該方法包括：采集目標空間中包含交互對象的激光圖像；計算激光圖像與參考激光圖像的相對深度；其中，參考激光圖像是預先采集的目標空間不含交互對象的激光圖像；利用激光圖像與參考激光圖像的相對深度，從激光圖像中提取交互對象的圖像部分；對交互對象的圖像部分進行識別，并根據(jù)識別結果生成相應的控制指令。

其中，計算激光圖像與參考激光圖像的相對深度，包括：計算激光圖像與參考激光圖像每個像素的偏移值；利用偏移值計算得到激光圖像與參考激光圖像的相對深度。

其中，計算激光圖像與參考激光圖像每個像素的偏移值，包括：利用數(shù)字圖像相關算法計算得到激光圖像與參考激光圖像每個像素的偏移值。

其中，采集目標空間中交互對象的激光圖像，包括：利用激光投影模組向包含交互對象的目標空間投影激光圖案；利用激光相機采集目標空間中交互對象的激光圖像。

其中，利用偏移值計算得到激光圖像與參考激光圖像的相對深度，包括：將每個像素的偏移值作為激光圖像與參考激光圖像的對應像素的相對深度；或采用以下公式計算得到激光圖像與參考激光圖像的相對深度：其中，ΔZ為激光圖像與參考激光圖像的相對深度，Δ為偏移值，B為激光投影模組和激光相機之間的距離，f為激光相機的鏡頭的焦距，Z₀為目標空間的深度值。

其中，激光投影模組為紅外投影模組，紅外投影模組投影的圖案為紅外散斑圖案，激光相機為紅外相機。

其中，利用激光圖像與參考激光圖像的相對深度提取交互對象的圖像，包括：利用激光圖像與參考激光圖像的相對深度，提取深度值大于設定深度值的像素所組合形成的圖像部分作為交互對象的圖像部分。

為解決上述技術問題，本發(fā)明采用的另一個技術方案是：提供一種相對深度的獲取方法，該方法包括：采集第一目標的第一激光圖像以及第二目標的第二激光圖像；計算第一激光圖像與第二激光圖像的偏移值；利用偏移值計算得到第一激光圖像與第二激光圖像的相對深度。

為解決上述技術問題，本發(fā)明采用的另一個技術方案是：提供一種交互系統(tǒng)該系統(tǒng)包括：激光投影模組，用于向目標空間投影激光；激光相機，用于采集目標空間中包含交互對象的激光圖像；處理器，用于計算激光圖像與參考激光圖像的相對深度；其中，參考激光圖像是預先采集的目標空間不含交互對象的激光圖像；處理器還用于利用激光圖像與參考激光圖像的相對深度，從激光圖像中提取交互對象的圖像部分；以及處理器還用于對交互對象的圖像部分進行識別，并根據(jù)識別結果生成相應的控制指令。

其中，激光投影模組為紅外投影模組，紅外投影模組投影的圖案為紅外散斑圖案，激光相機為紅外相機。

本發(fā)明的有益效果是：區(qū)別于現(xiàn)有技術的情況，本發(fā)明的基于相對深度圖像的交互方法包括：采集目標空間中包含交互對象的激光圖像；計算激光圖像與參考激光圖像的相對深度；利用激光圖像與參考激光圖像的相對深度，從激光圖像中提取交互對象的圖像部分；對交互對象的圖像部分進行識別，并根據(jù)識別結果生成相應的控制指令。通過上述方式，能夠通過計算相對深度信息得到交互對象的圖像，避免了得到直接深度帶來的繁瑣計算，提高了深度獲取和交互的速度。

附圖說明

圖1是本發(fā)明基于相對深度圖像的交互方法一實施方式的流程示意圖；

圖2是本發(fā)明基于相對深度圖像的交互方法一實施方式中S11一實施例的流程示意圖；

圖3是本發(fā)明基于相對深度圖像的交互方法一實施方式中S12一實施例的流程示意圖；

圖4是本發(fā)明基于相對深度圖像的交互方法一實施方式中參考激光圖像和采集的激光圖像的對比示意圖；

圖5是本發(fā)明相對深度的獲取方法一實施方式的流程示意圖；

圖6是本發(fā)明交互系統(tǒng)一實施方式的結構示意圖。

具體實施方式

參閱圖1，圖1是本發(fā)明基于相對深度圖像的交互方法一實施方式的流程示意圖，該方法包括：

S11：采集目標空間中包含交互對象的激光圖像。

其中，目標空間可以是一任意形狀和大小的空間，或者說是能夠被采集激光圖像的設備覆蓋的空間區(qū)域；交互對象一般是可運動以產(chǎn)生交互信息的對象，例如人體，當然，也可以是機器人、機械操作手臂等其他能夠實現(xiàn)交互的對象。

其中，激光圖像是包含交互對象的目標空間在激光投影下呈現(xiàn)的激光圖像，一般是采用專用的激光相機進行采集。例如，該激光可以是紅外激光、紫外激光等。

可選的，如圖2所示，在一實施方式中，S11可以具體包括：

S111：利用激光投影模組向包含交互對象的目標空間投影激光圖案。

可選的，激光投影模組為紅外投影模組，紅外投影模組投影的圖案為紅外散斑圖案。其中，該散斑圖案可以是不規(guī)則的散斑圖案。

S112：利用激光相機采集目標空間中交互對象的激光圖像。

可選的，在激光投影模組是紅外投影模組的情況下，激光相機為紅外相機。

可以理解的，其中的激光投影模組和激光相機是相互配合的，其投影或采集的激光種類應當相同。

另外，在其他實施方式中，S11中采集的激光圖像還可以是連續(xù)采集的激光圖像序列。由于本實施方式主要用于獲取交互對象的移動指令，因此激光相機可以連續(xù)采集目標空間中包含交互對象的激光圖像；換句話說，即錄制視頻。

S12：計算激光圖像與參考激光圖像的相對深度。

其中，參考激光圖像是預先采集的目標空間不含交互對象的激光圖像。

具體地，在目標空間中沒有交互對象時，向目標空間投影激光，并通過激光相機采集目標空間的激光圖像，以作為參考激光圖像?？蛇x的，為了提高后面步驟計算的精度，可以對目標空間采集多個激光圖像，將測量精度較高的一幅作為參考激光圖像。

其中，采集參考圖像的步驟可以是預先完成的，即只要是目標空間不變，或者目標空間與采集設備之間的距離和方向角度不變，該采集參考圖像的步驟則可以只執(zhí)行一次，并將參考圖像存儲于設備中。若目標空間在每次交互中都是變化的，則采集參考圖像的步驟可以在S11之前，并每次執(zhí)行本實施方式時均需要執(zhí)行一次。

可選的，如圖3所示，在一實施方式中，S12可以具體包括：

S121：計算激光圖像與參考激光圖像每個像素的偏移值。

可選的，S121可以具體是：

利用數(shù)字圖像相關算法計算得到激光圖像與參考激光圖像每個像素的偏移值。

具體地，下面對計算偏移值做簡單的介紹：

首先確定每個像素的位移映射函數(shù)，一般而言該函數(shù)需要考慮激光圖像和參考激光圖像兩幅圖中待測對象上各點的平移以及變形。在本實施例中，由于兩幅圖中的圖案僅僅是由于待測對象深度變化導致位置變化，并沒有發(fā)生較大的變形，因此可以將該函數(shù)簡化成僅考慮平移的情形，即：X＝x+Δ。這里X及x分別為待測對象的一個點在激光圖像以及參考激光圖像中的像素坐標，Δ為待求的偏移值。

其次，確定相應的搜索算法。一般采用的是牛頓迭代法，但是該算法涉及大量的根號及除法運算，算法的編寫以及執(zhí)行效率都不高。本實施例是采用的是基于迭代最小二乘法的搜索算法。由于僅考慮沿X方向平移的情形，因此僅需要進行一維的搜索算法就可以了，這樣可以較大幅度提升算法的效率。

最后結合位移映射函數(shù)以及迭代最小二乘法就可以對偏移值Δ進行求解。

S122：利用偏移值計算得到激光圖像與參考激光圖像的相對深度。

可選的，在一種實施方式中，可以直接將每個像素的偏移值作為激光圖像與參考激光圖像的對應像素的相對深度?？梢岳斫獾?，由于我們的目的僅僅是要得到交互對象的圖像，獲取深度值緊緊是一個手段，因此，即使偏移值與深度值不相等，也可以用偏移值來代替深度值并進行后續(xù)的計算。

可選的，在另一種實施方式中，可以采用以下公式計算得到激光圖像與參考激光圖像的相對深度：

其中，ΔZ為激光圖像與參考激光圖像的相對深度，Δ為偏移值，B為激光投影模組和激光相機之間的距離，f為激光相機的鏡頭的焦距，Z₀為目標空間的深度值。

S13：利用激光圖像與參考激光圖像的相對深度，從激光圖像中提取交互對象的圖像部分。

其中，因為交互對象和目標空間的深度是不一樣的，并且參考激光圖像只包括目標空間，而采集的激光圖像則包含了目標空間和交互對象，因此，可以根據(jù)采集的激光圖像和參考激光圖像的相對深度，來得到交互對象的圖像。

如圖4所示，其中，圖(a)表示參考激光圖像，圖(b)表示采集的激光圖像，其中的陰影部分為交互對象?？梢岳斫獾?，從理論上來說，采集的激光圖像中的非交互對象部分與參考激光圖像的相對深度值應當為0，但是由于圖像采集的誤差，可以設置一個閾值，則S13可以具體包括：

利用激光圖像與參考激光圖像的相對深度，提取深度值大于設定深度值的像素所組合形成的圖像部分作為交互對象的圖像部分。

可以理解的，我們將兩幅圖中每個像素的深度進行比較以獲得相對深度值，例如，可以是采集的激光圖像每個像素的深度值與參考激光圖像每個像素的深度值的差值，將該深度差值大于設定深度值的像素提取出來，以組合形成交互對象的圖像部分。

S14：對交互對象的圖像部分進行識別，并根據(jù)識別結果生成相應的控制指令。

其中，對交互圖像部分進行識別以及生成控制指令，可以采用現(xiàn)有技術的方法，這里不再贅述。

下面，以采集設備為結構光深度相機、交互對象為人體為例，對本實施方式進行詳細說明：

1、利用結構光深度相機采集不含人體的目標空間的結構光圖像a。

利用結構光深度相機中的紅外投影模塊向目標空間投射預先設置的結構光圖案，然后利用紅外接收模塊采集目標空間的結構光圖像a。需要注意的是這里的目標空間中不能有人體。這里實際上是將采集到的該結構光圖像作為參考圖像，當人體進行目標空間后，人體部位的圖像將會發(fā)生變化，后面步驟的目的就是獲取人體相對于不含人體的背景的相對深度。

考慮到參考圖像的質量會影響到后面相對深度獲取的精度，可以對目標空間拍攝多幅結構光圖像，并儲存在內存中，以保證總有一幅能有較高的測量精度。

2、當人體進入目標空間后，利用結構光深度相機采集含有人體的目標空間的結構光圖像b。

這一步驟中，紅外投影模塊采集含有人體的目標空間結構光圖像B。這里的圖像B也可以是圖像序列，即視頻。

3、計算結構光圖像b中各像素相對于結構光圖像a的偏移值Δ。

本實施例中的結構光為無規(guī)則排列的散斑圖案，因而像素的偏移值可以利用數(shù)字圖像相關(DIC)法進行計算。具體地，可以逐個選取結構光圖像b中以各像素為中心的子區(qū)域(一般為奇數(shù)像素長度的正方形區(qū)域，如11x11像素的圖像子區(qū)域)，計算該子區(qū)域與結構光圖像a中相同大小子區(qū)域的相似度，相似度最大的子區(qū)域中心與結構光圖像B子區(qū)域中心的距離即為該像素的相對偏移值。

與參考圖像(結構光圖像a)相比，結構光圖像b中僅人體部分的像素有所區(qū)別，其他區(qū)域圖像幾乎相同，理論上偏移值為0，而人體部分的像素對應的偏移值是由于人體部分所在深度與背景深度之間的相對差距引起的，根據(jù)偏移值就可以進一步計算出人體部分與背景之間的相對深度。

4、根據(jù)偏移值Δ計算出相對深度值。

這里可以直接將偏移值Δ作為相對深度值輸出，在后續(xù)的交互等應用中直接通過對偏移值進行計算。本實施例中，采用另一種方式，根據(jù)以下公式計算出相對深度值：

其中，ΔZ為圖像a與圖像b的相對深度，Δ為偏移值，B為結構光深度相機中投影模塊和紅外接收模塊之間的距離，f為結構光深度相機的鏡頭的焦距，Z₀為目標空間的深度值。

這一步中Z₀的值是未知的，而且當背景不是一個平面時，計算出的相對深度值會有一些斷面、不連續(xù)等現(xiàn)象存在，因而并不能正確的反映出人體的深度特征。為了保證最終計算出的相對深度值能正確反映人體的深度特征，采取了以下較正措施：

首先，假定Z₀值已知，并給定一個預先設定的值，根據(jù)上式計算出相對深度值ΔZ；其次，根據(jù)人體深度值的連續(xù)性，利用圖像拼接算法將相對深度值中的斷面以及不連續(xù)的部分進行重新生成，將最終生成的相對深度值作為輸出。

對于直接將偏移值作為相對深度值輸出的方式而言，以上較正措施的原理依然適用。

5、按照一定的閾值進行圖像分割，提取出人體。

由于與結構光圖像b與a相比中僅人體部分的像素有所區(qū)別，其他區(qū)域圖像幾乎相同，理論上偏移值為0。對于直接將偏移值Δ作為相對深度值輸出的方式而言，閾值為偏移值，可以選取為接近0的一個較小的值，僅當偏移值大于該值時認為是人體。本實施例中是通過步驟4中的公式計算得到的相對深度值作為輸出的，因而閾值的選取則需要將偏移值閾值代入公式得到相對深度值的閾值。將大于該閾值的像素區(qū)域作為人體，通過圖像分割提取出人體。

由于不可避免的會出現(xiàn)一些誤差，導致有一些不是人體區(qū)域的偏移值或者相對深度值大于閾值。對于這種情形，本實施例中在進行圖像分割之前對相對深度圖像進行平滑、去噪、濾波等處理；其次對獲取的大于閾值的像素區(qū)域進行初步判定，明顯不具體人體特征的區(qū)域將視為背景，不作為人體輸出。

6、根據(jù)提取出的人體圖像實現(xiàn)交互。

將上一步驟中提取出的人體部分的相對深度圖像，進行識別后將識別的結果與相應的指令對應從而實現(xiàn)交互。這里的識別一般是經(jīng)過對相對深度圖像進行人體的骨架提取，再根據(jù)骨架識別出姿勢以及根據(jù)骨架變化識別出動作，相關原理可以參照根據(jù)本領域公知技術。識別出姿勢或動作后，根據(jù)不同的應用，將姿勢或動作轉化為相應的交互指令，從而實現(xiàn)人機交互。

區(qū)別于現(xiàn)有技術的情況，本實施方式的基于相對深度圖像的交互方法包括：采集目標空間中包含交互對象的激光圖像；計算激光圖像與參考激光圖像的相對深度；利用激光圖像與參考激光圖像的相對深度，從激光圖像中提取交互對象的圖像部分；對交互對象的圖像部分進行識別，并根據(jù)識別結果生成相應的控制指令。通過上述方式，能夠通過計算相對深度信息得到交互對象的圖像，避免了得到直接深度帶來的繁瑣計算，提高了深度獲取和交互的速度。

參閱圖5，圖5是本發(fā)明相對深度的獲取方法一實施方式的流程示意圖，該方法包括：

S51：采集第一目標的第一激光圖像以及第二目標的第二激光圖像。

其中，S51可以具體包括：

利用結構光相機的紅外投影模組向第一目標投影紅外結構光圖案，再利用結構光相機的紅外接收模塊采集第一目標的紅外圖像。其中，結構光圖案可以是不規(guī)則的散斑圖案。

S52：計算第一激光圖像與第二激光圖像的偏移值。

其中，可以利用數(shù)字圖像相關算法進行計算，以得到偏移值。

S53：利用偏移值計算得到第一激光圖像與第二激光圖像的相對深度。

具體地，可以采用以下公式計算出相對深度值：

其中，ΔZ為第一激光圖像和第二激光圖像的相對深度，Δ為偏移值，B為結構光深度相機中投影模塊和紅外接收模塊之間的距離，f為結構光深度相機的鏡頭的焦距，Z₀為目標空間的深度值。

其中，目標空間的深度值可以是第一激光圖像或者第二激光圖像的深度值，其可以是預先進行測量的。

可以理解的，本實施方式的相對深度測量方法，是基于上述交互方法中的部分算法，其實施的原理和步驟類似，這里不再贅述。

參閱圖6，圖6是本發(fā)明交互系統(tǒng)一實施方式的結構示意圖，該交互系統(tǒng)包括：

激光投影模組61，用于向目標空間投影激光。

激光相機62，用于采集目標空間中包含交互對象的激光圖像。

可選的，在一種實施例中，激光投影模組61為紅外投影模組，紅外投影模組投影的圖案為紅外散斑圖案，激光相機62為紅外相機。

可選的，在另一實施例中，激光投影模組61和激光相機62可以是一體的，例如，可以是一個結構光深度相機，該結構光深度相機包括紅外投影模組以及紅外接收模組。

處理器63，用于計算激光圖像與參考激光圖像的相對深度；其中，參考激光圖像是預先采集的目標空間不含交互對象的激光圖像；

處理器63還用于利用激光圖像與參考激光圖像的相對深度，從激光圖像中提取交互對象的圖像部分；以及

處理器63還用于對交互對象的圖像部分進行識別，并根據(jù)識別結果生成相應的控制指令。

具體地，處理器63還用于連接外部的交互設備，以對外部的交互設置發(fā)送控制指令，以使外部交互設備執(zhí)行相應的指令。例如，處理器63連接顯示屏，在生成的指令為控制該顯示屏關閉時，則處理器63則向顯示屏發(fā)送關閉的指令，以關閉該顯示屏。

可選的，在其他實施方式中，該交互系統(tǒng)還包括存儲器，該存儲器用于存儲參考激光圖像、交互對象的圖像與交互指令的對應關系等。該存儲器可以是U盤、移動硬盤、只讀存儲器(ROM，Read-Only Memory)、隨機存取存儲器(RAM，Random Access Memory)、磁碟或者光盤等各種可以存儲程序代碼的介質。

可選的，處理器63具體還用于計算激光圖像與參考激光圖像每個像素的偏移值；以及利用偏移值計算得到激光圖像與參考激光圖像的相對深度。

可選的，處理器63具體還用于將每個像素的偏移值作為激光圖像與參考激光圖像的對應像素的相對深度；或

采用以下公式計算得到激光圖像與參考激光圖像的相對深度：

其中，ΔZ為激光圖像與參考激光圖像的相對深度，Δ為偏移值，B為激光投影模組和激光相機之間的距離，f為激光相機的鏡頭的焦距，Z₀為目標空間的深度值。

可選的，處理器63具體還用于利用激光圖像與參考激光圖像的相對深度，提取深度值大于設定深度值的像素所組合形成的圖像部分作為交互對象的圖像部分。

可以理解的，在本發(fā)明所提供的幾個實施方式中，所揭露的方法以及設備，可以通過其它的方式實現(xiàn)。例如多個單元或組件可以結合或者可以集成到另一個系統(tǒng)，或一些特征可以忽略，或不執(zhí)行。

上述其他實施方式中的集成的單元如果以軟件功能單元的形式實現(xiàn)并作為獨立的產(chǎn)品銷售或使用時，可以存儲在一個計算機可讀取存儲介質中?；谶@樣的理解，本發(fā)明的技術方案本質上或者說對現(xiàn)有技術做出貢獻的部分或者該技術方案的全部或部分可以以軟件產(chǎn)品的形式體現(xiàn)出來，該計算機軟件產(chǎn)品存儲在一個存儲介質中，包括若干指令用以使得一臺計算機設備(可以是個人計算機，服務器，或者網(wǎng)絡設備等)或處理器(processor)執(zhí)行本發(fā)明各個實施方式所述方法的全部或部分步驟。

以上所述僅為本發(fā)明的實施方式，并非因此限制本發(fā)明的專利范圍，凡是利用本發(fā)明說明書及附圖內容所作的等效結構或等效流程變換，或直接或間接運用在其他相關的技術領域，均同理包括在本發(fā)明的專利保護范圍內。