本發(fā)明涉及計算機(jī)應(yīng)用領(lǐng)域，尤其涉及一種深度相機(jī)與主體設(shè)備的標(biāo)定方法與系統(tǒng)。

背景技術(shù)：

利用深度相機(jī)(3d相機(jī))可以獲取人體的深度圖像，進(jìn)一步利用深度圖像可以識別出人體姿勢或動作從而實現(xiàn)人機(jī)交互。比如目前比較常見的設(shè)備中，將深度相機(jī)(比如kinect,astra等)與主機(jī)設(shè)備(如游戲主機(jī)、智能電視等)相連，當(dāng)人體對象處在深度相機(jī)的可測范圍內(nèi)，由深度相機(jī)獲取含人體的深度圖像，將深度圖像傳輸?shù)街鳈C(jī)設(shè)備中，通過處理器對深度圖像進(jìn)行人體姿勢或動作(如手勢等)識別后，將識別到的手勢與預(yù)設(shè)的主機(jī)指令對應(yīng)后觸發(fā)該指令以實現(xiàn)體感交互。

用戶在與電視、機(jī)器人等主體設(shè)備在進(jìn)行體感交互時，往往需要面對這些主體設(shè)備。一般深度相機(jī)被放置在主體設(shè)備上或與主體設(shè)備集成在一起，深度相機(jī)正面所在平面與主體設(shè)備正面所在平面是同一個平面，在進(jìn)行體感交互時，面對主體設(shè)備的同時也面對了深度相機(jī)。但在其他的應(yīng)用中，深度相機(jī)與主體設(shè)備分離且處在不同的方位，比如利用單個深度相機(jī)來控制處在不同位置上的多個主體設(shè)備等，此時當(dāng)用戶面對主體設(shè)備進(jìn)行體感交互時，比如左右揮手，而深度相機(jī)所得到的深度圖像中并非是左右揮手，這就使得在交互過程中用戶意圖與體感識別之間的差異。

技術(shù)實現(xiàn)要素：

為解決上述問題，本發(fā)明提出一種深度相機(jī)與主體設(shè)備的標(biāo)定方法及系統(tǒng)，對深度相機(jī)的深度圖像進(jìn)行校正，確保用戶與主體設(shè)備之間的交互能以更加直觀的方式進(jìn)行，以提高用戶體感交互體驗。

本發(fā)明提供一種深度相機(jī)與主體設(shè)備的標(biāo)定方法，包括如下步驟：

s1.識別用于指示深度相機(jī)與主體設(shè)備相對位置的參數(shù)；

s2.根據(jù)所述參數(shù)，將深度相機(jī)得到的第一信息校正得到相對于主體設(shè)備的第二信息。

優(yōu)選地，所述方法還包括：s3.根據(jù)所述第二信息進(jìn)行體感交互。

優(yōu)選地，所述參數(shù)包括深度相機(jī)與主體設(shè)備之間的夾角。

進(jìn)一步地優(yōu)選，所述夾角包括：與深度相機(jī)平行的第一平面和與主體設(shè)備平行的第三平面之間的第一夾角；與深度相機(jī)垂直的第二平面和與主體設(shè)備垂直的第四平面之間的第二夾角。

進(jìn)一步地優(yōu)選，所述夾角通過以下步驟進(jìn)行計算：

s111.利用物體相對于主題設(shè)備移動第一向量；

s112.所述物體的移動被深度相機(jī)采集，獲得相對于深度相機(jī)的第二向量；

s113.根據(jù)所述第一向量和所述第二向量計算出夾角。

優(yōu)選地，所述第一/第二信息包括深度圖像、姿勢以及動作中的一種或多種。

進(jìn)一步地優(yōu)選地，所述步驟s2包括步驟：

s21.利用所述參數(shù)，計算出所述深度相機(jī)相對于所述主體設(shè)備的相對位置矩陣；

s22.利用所述相對位置矩陣將深度相機(jī)得到的第一深度圖像/姿勢/動作校正得到第二深度圖像/姿勢/動作。

優(yōu)選地，所述步驟s3包括：

當(dāng)?shù)诙畔榈诙疃葓D像時，將第二深度圖像轉(zhuǎn)換成姿勢或動作，將所述姿勢或動作轉(zhuǎn)換成所述主體設(shè)備可以識別的指令，再實現(xiàn)體感交互；

或當(dāng)?shù)诙畔榈诙藙莼騽幼鲿r，將所述姿勢或動作轉(zhuǎn)換成所述主體設(shè)備可以識別的指令，實現(xiàn)體感交互。

優(yōu)選地，所述主體設(shè)備包括電視、電腦、機(jī)器人等設(shè)備。

本發(fā)明還提供一種計算機(jī)可讀存儲介質(zhì)，其存儲用于電子數(shù)據(jù)交換的計算機(jī)程序，其中，所述計算機(jī)程序使得計算機(jī)執(zhí)行如上所述的方法。

本發(fā)明的有益效果：通過先識別用于指示深度相機(jī)與主體設(shè)備相對位置的參數(shù)，識別出深度相機(jī)與主體設(shè)備之間的相對位置關(guān)系；再根據(jù)該參數(shù)，將深度相機(jī)得到的第一信息進(jìn)行校正，轉(zhuǎn)化為相對于主體設(shè)備的第二信息，能夠確保用戶與主體設(shè)備之間的交互能以更加直觀的方式進(jìn)行，提高用戶體感交互體驗。

附圖說明

圖1為本發(fā)明具體實施方式中體感交互場景示意圖。

圖2為本發(fā)明具體實施方式中深度相機(jī)與主體設(shè)備的標(biāo)定系統(tǒng)結(jié)構(gòu)示意圖。

圖3為本發(fā)明具體實施方式中深度相機(jī)與主體設(shè)備的標(biāo)定方法流程示意圖。

具體實施方式

下面結(jié)合具體實施方式并對照附圖對本發(fā)明作進(jìn)一步詳細(xì)說明，應(yīng)該強(qiáng)調(diào)的是，下述說明僅僅是示例性的，而不是為了限制本發(fā)明的范圍及其應(yīng)用。

在本發(fā)明的描述中，需要理解的是，術(shù)語“中心”、“縱向”、“橫向”、“上”、“下”、“豎直”、“水平”、“內(nèi)”、“外”等指示的方位或位置關(guān)系為基于附圖所示的方位或位置關(guān)系，僅是為了便于描述本發(fā)明和簡化描述，而不是指示或暗示所指的裝置或元件必須具有特定的方位、以特定的方位構(gòu)造和操作，因此不能理解為對本發(fā)明的限制。此外，術(shù)語“第一”、“第二”僅用于描述目的，而不能理解為指示或暗示相對重要性或者隱含指明所指示的技術(shù)特征的數(shù)量。由此，限定有“第一”、“第二”的特征可以明示或者隱含地包括一個或者更多個該特征。在本發(fā)明的描述中，“多個”的含義是兩個或兩個以上，除非另有明確具體的限定。

在本發(fā)明中，除非另有明確的規(guī)定和限定，術(shù)語“安裝”、“相連”、“連接”、“固定”等術(shù)語應(yīng)做廣義理解，例如，可以是固定連接，也可以是可拆卸連接，或一體地連接；可以是機(jī)械連接，也可以是電連接；可以是直接相連，也可以通過中間媒介間接相連，可以是兩個元件內(nèi)部的連通。對于本領(lǐng)域的普通技術(shù)人員而言，可以根據(jù)具體情況理解上述術(shù)語在本發(fā)明中的具體含義。

如圖1所示，一種體感交互的場景示意圖，圖中深度相機(jī)與電視相連，深度相機(jī)被用來獲取目標(biāo)區(qū)域的深度圖像。

目前深度相機(jī)主要有三種形式：基于雙目視覺的深度相機(jī)、基于結(jié)構(gòu)光的深度相機(jī)以及基于tof(時間飛行法)的深度相機(jī)。以下的說明中，無論哪種形式都可以被應(yīng)用。

基于雙目視覺的深度相機(jī)是利用雙目視覺技術(shù)，利用處在不同視角的兩個相機(jī)對同一空間進(jìn)行拍照，兩個相機(jī)拍攝出的圖像中相同物體所在像素的差異與該物體所在的深度直接相關(guān)，因而利用圖像處理技術(shù)通過計算像素偏差來獲取深度信息。

基于結(jié)構(gòu)光的深度相機(jī)通過向目標(biāo)空間投射編碼結(jié)構(gòu)光圖案，再通過相機(jī)采集目標(biāo)空間含有結(jié)構(gòu)光圖案的圖像，然后將該圖像進(jìn)行處理比如與參考結(jié)構(gòu)光圖像進(jìn)行匹配計算等可以直接得到深度信息。

基于tof的深度相機(jī)通過向目標(biāo)空間發(fā)射激光脈沖，激光脈沖經(jīng)目標(biāo)反射后被接收單元接收后并記錄下激光脈沖的來回時間，通過該時間計算出目標(biāo)的深度信息。

這三種方法中第一種一般采集彩色相機(jī)，因而受光照影響大，同時獲取深度信息的計算量較大。后兩種一般利用紅外光，不受光照影響，同時計算量相對較小。在室內(nèi)環(huán)境中，使用結(jié)構(gòu)光或tof深度相機(jī)是更佳的選擇。

圖1中的電視一般意義上為智能電視或數(shù)字電視，可以看成是含有顯示器、處理器以及諸多接口的計算設(shè)備，目前大多數(shù)的智能電視運(yùn)行android操作系統(tǒng)。深度相機(jī)一般擁有usb等接口，用于與計算設(shè)備相連，還可以進(jìn)行供電。圖1中深度相機(jī)與電視連接，將獲取到的深度圖像傳輸?shù)诫娨曋?，通過存儲在電視中的軟件對深度圖像進(jìn)行處理，比如圖像去噪預(yù)處理、骨架提取等，進(jìn)一步地將處理的結(jié)果變成相應(yīng)的指令來控制電視中的應(yīng)用程序，比如控制光標(biāo)移動、選中、翻頁等。

在一些實施例中，電視也可以是其他主體設(shè)備，比如顯示器、電腦、機(jī)器人等。

在本具體實施方式中，以用戶利用其手部來操控電視(主體設(shè)備)中圖標(biāo)的移動來實現(xiàn)體感交互為例進(jìn)行說明。在這里僅以二維的光標(biāo)移動的體感交互為例，目的在于闡述本發(fā)明原理的方便，并非限定，對于三維的或者其他體感交互方式也適用于本發(fā)明的原理。

傳統(tǒng)的體感交互一般要求深度相機(jī)處在電視的前方或者上部固定，這樣做的好處在于可以使得深度相機(jī)正面與電視的正面平行，然而也存在一些場景，如圖1所示，深度相機(jī)與電視的位置分離且處在不同的方位，使得深度相機(jī)正面與電視正面之間有一定的夾角。用坐標(biāo)系來表示，如圖1中所示，電視所在的坐標(biāo)系為xyz，電視正面與yz面平行；深度相機(jī)所在的坐標(biāo)系為xyz，深度相機(jī)正面與yz面平行。若某一體感交互的目的是光標(biāo)沿y正方向移動一定的距離。該距離對應(yīng)到真實空間中的距離為d，按照用戶的交互習(xí)慣，用戶會正對著電視，并用手部由左往右移動距離d。若深度相機(jī)正面與電視正面平行設(shè)置的話，深度相機(jī)所獲取的手部移動即為沿著y正方向移動，然而對于圖1所示的情形下，深度相機(jī)所得到的手部移動將同時具有x及y分量，并且y分量對應(yīng)的距離d要小于d。

以上說明針對二維情形，若對于三維情形，當(dāng)需要將光標(biāo)沿著向量1移動時，用戶在真實空間中自然會沿著向量1移動，此時深度相機(jī)所識別到的向量2將會與向量1不同。換句話說，用戶在真實空間中所執(zhí)行的移動將與虛擬空間中的被控制對象的移動不能一一對應(yīng)。這會嚴(yán)重降低用戶的交互體驗。

本具體實施方式中深度相機(jī)與主體設(shè)備的標(biāo)定系統(tǒng)結(jié)構(gòu)如圖2所示，系統(tǒng)由主體設(shè)備和深度相機(jī)組成，其中主體設(shè)備包含處理器、存儲器、接口單元，也可以包括顯示器，顯示器也可以是獨立的設(shè)備通過接口與計算設(shè)備相連。深度相機(jī)中包含深度計算單元以及接口單元，深度相機(jī)中還包含有圖像采集單元，對于結(jié)構(gòu)光深度相機(jī)以及tof深度相機(jī)，圖像采集單元包括光學(xué)投影儀以及圖像傳感器；而對于雙目深度相機(jī)，圖像采集單元包括兩個圖像傳感器。計算設(shè)備與深度相機(jī)之間通過接口單元連接，該接口單元可以為usb等有線連接，也可以為wifi等無線連接。

深度相機(jī)采集到目標(biāo)區(qū)域的圖像后，由深度計算單元計算出目標(biāo)區(qū)域的深度圖像，根據(jù)不同原理的深度相機(jī)，其計算方式也有區(qū)別，以結(jié)構(gòu)光深度相機(jī)為例。

結(jié)構(gòu)光深度相機(jī)中結(jié)構(gòu)光投影儀向空間中投影結(jié)構(gòu)光圖像，該圖像由圖像傳感器采集后傳給深度計算單元，由結(jié)構(gòu)光圖像計算深度圖像是基于結(jié)構(gòu)光三角法來實現(xiàn)的。以結(jié)構(gòu)光圖像為散斑圖像為例，預(yù)先需要對采集一幅已知深度平面上的結(jié)構(gòu)光圖像為參考圖像，然后深度計算單元利用當(dāng)前獲取的結(jié)構(gòu)光圖像與參考圖像，通過圖像匹配算法計算各個像素的偏離值(變形)，最后利用三角法原理可以計算出深度，計算公式如下：

其中，zd指三維空間點距離采集模組的深度值，即待求的深度數(shù)據(jù)，b是采集相機(jī)與結(jié)構(gòu)光投影儀之間的距離，z0為參考圖像離采集模組的深度值，f為采集相機(jī)中透鏡的焦距，δ為像素的偏離值。其中參考圖像、b以及f等參數(shù)預(yù)先要存儲在存儲器中。這里的存儲器一般為flash閃存等非易失性存儲器?？梢岳斫獾氖?，若深度相機(jī)被集成到計算設(shè)備中，該存儲器與計算設(shè)備中的存儲器可以指合二為一。

深度計算單元計算出目標(biāo)區(qū)域的深度圖像后，深度圖像經(jīng)由接口單元傳輸?shù)接嬎阍O(shè)備中，深度圖像可以被保存在存儲器中也可以直接經(jīng)由處理器進(jìn)行實時的處理，處理的程序(如深度圖像預(yù)處理、人體識別、骨架提取等)被預(yù)先保存在存儲器中。處理器將調(diào)用這些程序?qū)ι疃葓D像進(jìn)行處理，最終可以輸出控制其他應(yīng)用程序的指令。

在本實施例中，為了解決前面提出的用戶真實體感與虛擬操控對象不一致的問題，處理器需要對深度相機(jī)獲取的深度圖像進(jìn)行進(jìn)一步的處理。

回到圖1中，問題產(chǎn)生的根本原因是由于深度相機(jī)的坐標(biāo)系與電視的坐標(biāo)系不一致的問題。

一種解決方案是將深度相機(jī)獲取的在坐標(biāo)系xyz中的第一深度圖像轉(zhuǎn)換為坐標(biāo)系xyz中的第二深度圖像；另一種解決方案也可以是先對深度圖像進(jìn)行進(jìn)一步處理后得到姿勢、或動作后再進(jìn)行坐標(biāo)轉(zhuǎn)換。兩種解決方案均能解決問題，相比之下前者需要更大的計算量。

為了將坐標(biāo)進(jìn)行轉(zhuǎn)換，首先要建立兩者之間的轉(zhuǎn)化關(guān)系，即可以用于指示深度相機(jī)與主題設(shè)備相對位置的參數(shù)。本實施例中該參數(shù)為深度相機(jī)與主體設(shè)備之間的夾角，包括：與深度相機(jī)平行的第一平面和與主體設(shè)備平行的第三平面之間的第一夾角；或：與深度相機(jī)垂直的第二平面和與主體設(shè)備垂直的第四平面之間的第二夾角。

為了簡化說明，假定兩個坐標(biāo)系之間僅存在沿z軸的轉(zhuǎn)動，轉(zhuǎn)動角度為θ，如圖1中所示。因而問題轉(zhuǎn)化為對轉(zhuǎn)動角度θ的求解，為了得到θ，本實施例中采用了如圖3所示的方法，具體如下：

首先，由應(yīng)用程序在顯示界面上定義出一個電視所在的坐標(biāo)系中沿y軸正方向的第一向量，向量的起始與未端用一個虛擬手勢標(biāo)明，第一向量可以不用顯示，該第一向量對應(yīng)的長度為d。

其次，用戶用手部從起始端虛擬手勢向未端虛擬手勢移動的過程中，深度相機(jī)分別記錄下起始與未端的手勢在深度圖像中的三維坐標(biāo)，該三維坐標(biāo)在深度相機(jī)坐標(biāo)系的xyz平面內(nèi)的投影即為第二向量。

最后，根據(jù)深度相機(jī)實際測得的第二向量，就可以得到兩個向量之間的夾角，該夾角即為轉(zhuǎn)動夾角θ。

具體地，假如實際測得的第一向量表示為則第二向量可以表示為夾角計算公式為：

可以理解的是，除了利用手部沿電視所在的坐標(biāo)系中的y軸方向移動，還可以利用手部沿電視所在的坐標(biāo)系中的z軸方向移動，即相對電視做上下豎直移動，計算出與深度相機(jī)平行的平面和與主體設(shè)備平行的平面之間的夾角。

或者利用手部沿電視所在的坐標(biāo)系中的x軸方向移動，即相對電視做推進(jìn)/后退移動，計算出與深度相機(jī)垂直的平面和與主體設(shè)備垂直的平面之間的夾角。

可以理解的是，在三維情形下，也可以由該方法得到第一向量以及第二向量，兩個向量之間的夾角會有三個分量，分別對應(yīng)三個轉(zhuǎn)動夾角。利用該夾角就可以得到坐標(biāo)系變換矩陣公式，從而實現(xiàn)兩個坐標(biāo)系之間的轉(zhuǎn)換，即由深度相機(jī)坐標(biāo)系向主體對象坐標(biāo)系之間的變換。

根據(jù)上面計算的參數(shù)，計算出所述深度相機(jī)相對于所述主體設(shè)備的相對位置矩陣，再將深度相機(jī)得到的第一深度圖像/姿勢/動作校正得到第二深度圖像/姿勢/動作。

當(dāng)?shù)诙畔榈诙疃葓D像時，將第二深度圖像轉(zhuǎn)換成姿勢或動作，將所述姿勢或動作轉(zhuǎn)換成所述主體設(shè)備可以識別的指令，再實現(xiàn)體感交互；或當(dāng)?shù)诙畔榈诙藙莼騽幼鲿r，將所述姿勢或動作轉(zhuǎn)換成所述主體設(shè)備可以識別的指令，實現(xiàn)體感交互。

計算設(shè)備中的存儲器用于存儲操作系統(tǒng)以及應(yīng)用程序；處理器通過對深度圖像的處理后發(fā)出相應(yīng)的指令，通過該指令進(jìn)一步控制應(yīng)用程序。顯示器用于應(yīng)用程序的顯示。

在上述實施例中，是利用手部移動一定距離來實現(xiàn)對深度相機(jī)與主體設(shè)備之間相對位置的計算，從而實現(xiàn)二者之間坐標(biāo)系的標(biāo)定。利用此種方式標(biāo)定時，當(dāng)主體設(shè)備和深度相機(jī)的位置固定后，只需要一次標(biāo)定即可，且標(biāo)定時對用戶的頭部與軀干沒有要求，用戶可以隨意轉(zhuǎn)動，只需要利用一部分部位即可實現(xiàn)標(biāo)定。也可以通過其它方式來進(jìn)行標(biāo)定，比如將一個立方體的一個面正對著主體設(shè)備，而深度相機(jī)所獲取的立方體的深度圖像則會出現(xiàn)多個面，根據(jù)這一現(xiàn)象可以逆向推斷出深度相機(jī)與主體設(shè)備之間的相對位置，該相對位置除了用夾角表示外，也可以利用其他參數(shù)來表示，在此不做限定。此種方式對用戶的任何部位都沒有限定，完全釋放了用戶的活動范圍。

以上內(nèi)容是結(jié)合具體/優(yōu)選的實施方式對本發(fā)明所作的進(jìn)一步詳細(xì)說明，不能認(rèn)定本發(fā)明的具體實施只局限于這些說明。對于本發(fā)明所屬技術(shù)領(lǐng)域的普通技術(shù)人員來說，在不脫離本發(fā)明構(gòu)思的前提下，其還可以對這些已描述的實施方式做出若干替代或變型，而這些替代或變型方式都應(yīng)當(dāng)視為屬于本發(fā)明的保護(hù)范圍。