背景技術(shù)：

本公開(kāi)總體涉及使多個(gè)3d傳感器彼此校準(zhǔn)，并且更具體地說(shuō)，涉及用于乘客運(yùn)輸?shù)亩鄠€(gè)3d傳感器安裝。

對(duì)于單獨(dú)3d深度傳感器的世界坐標(biāo)系，即，不同于固有傳感器定向的坐標(biāo)系的任何坐標(biāo)系(其中例如已經(jīng)根據(jù)制造商的數(shù)據(jù)知道了其內(nèi)部參數(shù))的校準(zhǔn)采用不同的、已知的(x,y,z)世界坐標(biāo)處的至少4個(gè)位置。這4個(gè)位置可能是恰好在視場(chǎng)(fov)中‘找到’的物體。然而，對(duì)于專業(yè)安裝，便攜式校準(zhǔn)夾具可仔細(xì)地安置在所測(cè)量的世界坐標(biāo)處，并且這個(gè)夾具的校準(zhǔn)數(shù)據(jù)由3d深度傳感器獲取。利用世界坐標(biāo)(xi,yi,zi)的數(shù)據(jù)以及對(duì)應(yīng)的3d深度傳感器觀察的坐標(biāo)(ui,vi,di)，i＝1,..4，可對(duì)變換矩陣進(jìn)行求解以實(shí)現(xiàn)校準(zhǔn)。為了更穩(wěn)健的解決方案，可使用最小二乘法來(lái)測(cè)量多于4個(gè)點(diǎn)。

實(shí)現(xiàn)跟蹤潛在運(yùn)輸乘客的一種方式是具有一個(gè)深度傳感器，所述深度傳感器具有從例如信息亭到運(yùn)輸工具(例如電梯轎廂)的不間斷的、不被遮擋的視野。由于對(duì)物理空間的約束以及對(duì)傳感器的fov的限制，這幾乎是不可能的。另一種途徑是具有沒(méi)有重疊fov的幾個(gè)傳感器，并且通過(guò)在不同的fov中重新關(guān)聯(lián)檢測(cè)到的潛在乘客來(lái)嘗試跟蹤。這可能難以準(zhǔn)確地完成。此外，由于乘客的速度可能隨時(shí)間而改變，所以在沒(méi)有連續(xù)跟蹤的情況下可能無(wú)法進(jìn)行準(zhǔn)確的到達(dá)時(shí)間估計(jì)。最后，可通過(guò)具有來(lái)自具有重疊fov的多個(gè)傳感器的連續(xù)空間覆蓋來(lái)實(shí)現(xiàn)跟蹤。所述后一種途徑可能需要傳感器對(duì)其相互的fov具有共同理解，這可能需要潛在的費(fèi)力且易錯(cuò)的手動(dòng)校準(zhǔn)。

單獨(dú)傳感器的校準(zhǔn)需要確定5個(gè)內(nèi)部傳感器參數(shù)和6個(gè)外部傳感器參數(shù)中的一個(gè)或多個(gè)。眾所周知，5個(gè)內(nèi)部參數(shù)是fx和fy(焦距)、x0和y0(主點(diǎn)偏移量)以及s(軸偏斜量)。這可被認(rèn)為是2d平移量、2d剪切量以及2d縮放量。內(nèi)部參數(shù)例如根據(jù)制造商的數(shù)據(jù)通常是已知的，或者可在安裝傳感器之前通過(guò)已知技術(shù)確定。6個(gè)外部參數(shù)是從世界坐標(biāo)系的原點(diǎn)的x、y、z偏移量，以及相對(duì)于坐標(biāo)軸的俯仰、偏航和橫滾角。

在任何多個(gè)傳感器校準(zhǔn)中，一些參數(shù)可以是已知的，并且僅需要估計(jì)總數(shù)的子集。為了估計(jì)k個(gè)參數(shù)，必須進(jìn)行至少k個(gè)獨(dú)立測(cè)量，以便針對(duì)明確定義的解決方案具有足夠的數(shù)據(jù)。具體地說(shuō)，如果具有已知內(nèi)部參數(shù)的兩個(gè)3d傳感器被獨(dú)立地校準(zhǔn)至它們的相應(yīng)世界坐標(biāo)系，那么在最一般的情況下需要6個(gè)參數(shù)(3個(gè)平移量，3個(gè)旋轉(zhuǎn)量)來(lái)將傳感器校準(zhǔn)至公共坐標(biāo)系。

校準(zhǔn)具有重疊fov的多個(gè)3d傳感器的一個(gè)問(wèn)題是，兩個(gè)傳感器之間的任何觀察結(jié)果可能由于以下各項(xiàng)而改變：所述3d傳感器的當(dāng)前單獨(dú)校準(zhǔn)的不準(zhǔn)確性，傳感器之間的時(shí)間同步的差異，以及物體感測(cè)的差異(尤其是當(dāng)物體具有3d尺寸時(shí)，使得不同的傳感器觀察到不同的方面)。

一種途徑是將一個(gè)或多個(gè)小的、但仍然可檢測(cè)的物體手動(dòng)放置在相互的fov中，并且根據(jù)已知何種先驗(yàn)的相互校準(zhǔn)信息(如果有的話)，在物體保持靜止時(shí)測(cè)量位置。利用足夠數(shù)量的唯一測(cè)量值，可對(duì)數(shù)學(xué)方程式進(jìn)行求解以確定相互校準(zhǔn)。然而，這種方法可能是耗時(shí)的，并且手動(dòng)測(cè)量可能引入誤差。

技術(shù)實(shí)現(xiàn)要素：

根據(jù)本公開(kāi)的一個(gè)公開(kāi)的非限制性實(shí)施方案，一種用于多個(gè)3d傳感器校準(zhǔn)的方法可包括：通過(guò)移動(dòng)物體數(shù)學(xué)模型、根據(jù)形成公共視場(chǎng)的一對(duì)3d傳感器中的每一個(gè)的空間測(cè)量值來(lái)計(jì)算質(zhì)心位置；根據(jù)每個(gè)質(zhì)心位置的位置來(lái)計(jì)算平移參數(shù)和旋轉(zhuǎn)參數(shù)中的至少一個(gè)；以及根據(jù)平移參數(shù)和旋轉(zhuǎn)參數(shù)中的至少一個(gè)來(lái)將所述一對(duì)3d傳感器中的一個(gè)校正至公共世界坐標(biāo)系。

本公開(kāi)的另一個(gè)實(shí)施方案可包括：其中將一對(duì)多個(gè)3d傳感器中的每一個(gè)單獨(dú)校準(zhǔn)至世界坐標(biāo)導(dǎo)致它們之間的零相對(duì)旋轉(zhuǎn)。

本公開(kāi)的另一個(gè)實(shí)施方案可包括使多個(gè)3d傳感器中的每一個(gè)在時(shí)間上同步。

本公開(kāi)的另一個(gè)實(shí)施方案可包括使多個(gè)3d傳感器中的每一個(gè)在時(shí)間上同步至1幀時(shí)間內(nèi)。

本公開(kāi)的另一個(gè)實(shí)施方案可包括：根據(jù)兩個(gè)質(zhì)心(x1,y1)和(x2,y2)的(x,y)位置，通過(guò)減法計(jì)算至少一個(gè)平移參數(shù)。

本公開(kāi)的另一個(gè)實(shí)施方案可包括：根據(jù)兩個(gè)質(zhì)心(x1,y1)和(x2,y2)的(x,y)位置，計(jì)算至少一個(gè)旋轉(zhuǎn)參數(shù)。

本公開(kāi)的另一個(gè)實(shí)施方案可包括：根據(jù)至少兩個(gè)質(zhì)心(x1,y1)和(x2,y2)的(x,y)位置，通過(guò)最小二乘(ls)解法計(jì)算平移參數(shù)(dx,dy)。

本公開(kāi)的另一個(gè)實(shí)施方案可包括：其中所述一對(duì)3d傳感器中的一個(gè)被選擇作為相對(duì)于公共世界坐標(biāo)系的調(diào)節(jié)標(biāo)準(zhǔn)(governing)。

本公開(kāi)的另一個(gè)實(shí)施方案可包括將多個(gè)3d傳感器中的每一個(gè)單獨(dú)校準(zhǔn)至世界坐標(biāo)。

本公開(kāi)的另一個(gè)實(shí)施方案可包括：其中響應(yīng)于三個(gè)平移參數(shù)是未知的，對(duì)公共點(diǎn)執(zhí)行三個(gè)測(cè)量。

本公開(kāi)的另一個(gè)實(shí)施方案可包括通過(guò)找到每個(gè)傳感器的單獨(dú)地平面來(lái)計(jì)算平移量(dz)以及計(jì)算差值。

本公開(kāi)的另一個(gè)實(shí)施方案可包括使用隨機(jī)抽樣一致性(ransac)算法找到一組一致的點(diǎn)以便找到單獨(dú)地平面中的每一個(gè)。

本公開(kāi)的另一個(gè)實(shí)施方案可包括：其中響應(yīng)于三個(gè)旋轉(zhuǎn)參數(shù)和三個(gè)平移參數(shù)是未知的，對(duì)公共點(diǎn)執(zhí)行六個(gè)測(cè)量。

本公開(kāi)的另一個(gè)實(shí)施方案可包括：當(dāng)三個(gè)旋轉(zhuǎn)參數(shù)和三個(gè)平移參數(shù)未知時(shí)，使用移動(dòng)物體的頂部和底部以及移動(dòng)物體的頂部與底部之間的間距。

本公開(kāi)的另一個(gè)實(shí)施方案可包括：其中采用物體數(shù)學(xué)模型來(lái)估計(jì)公共質(zhì)心位置。

本公開(kāi)的另一個(gè)實(shí)施方案可包括：其中物體數(shù)學(xué)模型是橢圓形截面數(shù)學(xué)模型。

本公開(kāi)的另一個(gè)實(shí)施方案可包括：其中物體數(shù)學(xué)模型是橢圓形截面人體數(shù)學(xué)模型。

本公開(kāi)的另一個(gè)實(shí)施方案可包括：其中物體數(shù)學(xué)模型是全3d人體形狀數(shù)學(xué)模型。

根據(jù)本公開(kāi)的一個(gè)公開(kāi)的非限制性實(shí)施方案，一種用于乘客運(yùn)輸系統(tǒng)的傳感器校準(zhǔn)系統(tǒng)可包括：多個(gè)傳感器，其具有至少一個(gè)重疊的視場(chǎng)；處理模塊，其與所述多個(gè)傳感器通信，所述處理模塊包括移動(dòng)物體數(shù)學(xué)模型，所述移動(dòng)物體數(shù)學(xué)模型可操作來(lái)估計(jì)公共質(zhì)心位置以便根據(jù)每個(gè)質(zhì)心位置的位置來(lái)計(jì)算平移參數(shù)，從而有助于根據(jù)平移參數(shù)將所述一對(duì)3d傳感器中的至少一個(gè)校正至公共世界坐標(biāo)系。

本公開(kāi)的另一個(gè)實(shí)施方案可包括：其中物體數(shù)學(xué)模型是橢圓形橫截面的數(shù)學(xué)模型。

本公開(kāi)的另一個(gè)實(shí)施方案可包括：其中物體數(shù)學(xué)模型是全3d的人形狀數(shù)學(xué)模型。

前述特征和元件可組合成各種組合而不具排他性，除非另外明確地指示。這些特征和元件以及其操作將根據(jù)以下描述和附圖變得更顯而易見(jiàn)。然而，應(yīng)理解，以下描述和附圖在本質(zhì)上意圖為示例性的而非限制性的。

附圖說(shuō)明

各種特征將從以下所公開(kāi)的非限制性實(shí)施方案的詳細(xì)描述中對(duì)本領(lǐng)域技術(shù)人員變得顯而易見(jiàn)。隨附于詳細(xì)描述的附圖可簡(jiǎn)要描述如下：

圖1是根據(jù)一個(gè)公開(kāi)的非限制性實(shí)施方案的電梯系統(tǒng)的示意圖；

圖2是根據(jù)另一個(gè)公開(kāi)的非限制性實(shí)施方案的電梯系統(tǒng)的框圖；

圖3是多個(gè)傳感器的fov的示意圖；

圖4-5是來(lái)自兩個(gè)深度傳感器的1個(gè)人的3d點(diǎn)云；并且

圖6是根據(jù)一個(gè)公開(kāi)的非限制性實(shí)施方案的3d傳感器校準(zhǔn)方法的框圖。

具體實(shí)施方式

圖1示意性地示出諸如電梯系統(tǒng)的乘客運(yùn)輸系統(tǒng)20。系統(tǒng)20可包括電梯轎廂22、電梯門24、門廳呼梯26、轎廂操作面板(cop)28、傳感器系統(tǒng)30以及控制系統(tǒng)32。應(yīng)理解，盡管本文將電梯系統(tǒng)作為實(shí)例公開(kāi)和示出，但是諸如大型運(yùn)輸車輛的其他系統(tǒng)也將從本文中受益。任何多個(gè)3d傳感器情況的校準(zhǔn)將從本文中受益，不僅僅是乘客運(yùn)輸工具，例如單層會(huì)展中心，其中到處都是用于跟蹤在建筑物周圍移動(dòng)的人的3d傳感器。事實(shí)上，多個(gè)傳感器的一個(gè)益處是在遍布建筑物的環(huán)境中，而不是在單個(gè)傳感器可能已足夠的電梯周圍的局部區(qū)域中。應(yīng)進(jìn)一步理解，盡管特定的系統(tǒng)被單獨(dú)定義，但是每個(gè)系統(tǒng)或任何系統(tǒng)可包括通過(guò)硬件和/或軟件以其他方式組合或分離。

各種電梯系統(tǒng)可利用乘客啟動(dòng)輸入來(lái)標(biāo)志對(duì)電梯服務(wù)的需求。例如，來(lái)自門廳呼梯26的輸入可包括按下例如向上、向下的按鈕或期望的目的地(例如樓層號(hào))以請(qǐng)求電梯服務(wù)。乘客啟動(dòng)輸入(例如，通過(guò)呼叫按鈕)可通知控制系統(tǒng)32存在等待電梯服務(wù)的乘客。作為響應(yīng)，控制系統(tǒng)32可將電梯轎廂22調(diào)度到適當(dāng)?shù)臉菍印Ｈ芜x地，一旦在電梯轎廂22內(nèi)，乘客就可以按下轎廂操作面板(cop)28上指定期望的目的地、方向等的按鈕，然后控制系統(tǒng)32可將電梯轎廂22調(diào)度到那個(gè)目的地。

控制系統(tǒng)32可包括具有處理器42、存儲(chǔ)器44和接口46的控制模塊40?？刂颇K40可包括中央控制的一部分、獨(dú)立單元或其他系統(tǒng)(諸如基于云的系統(tǒng))。處理器42可包括任何類型的微處理器或具有期望的性能特性的其他處理器。存儲(chǔ)器44可包括存儲(chǔ)本文所公開(kāi)的數(shù)據(jù)和控制過(guò)程的任何類型的計(jì)算機(jī)可讀介質(zhì)。也就是說(shuō)，存儲(chǔ)器44是示例性計(jì)算機(jī)存儲(chǔ)介質(zhì)，其可具有體現(xiàn)在其上的計(jì)算機(jī)可用指令(諸如過(guò)程)，所述指令在執(zhí)行時(shí)，可執(zhí)行期望的方法。控制模塊40的接口46可有助于控制模塊40與其他系統(tǒng)之間的通信。

參考圖2，基于深度傳感器的乘客感測(cè)系統(tǒng)60可包括具有重疊視場(chǎng)的多個(gè)傳感器62、62’，它們與數(shù)據(jù)捕獲模塊64和處理模塊66通信。基于深度傳感器的乘客感測(cè)系統(tǒng)60可以是控制系統(tǒng)32的一部分、獨(dú)立單元或與控制系統(tǒng)32通信的其他系統(tǒng)(諸如基于云的系統(tǒng))。

數(shù)據(jù)捕獲模塊64和處理模塊66可特定于多個(gè)傳感器62、62’或嵌入其中，以獲得并處理來(lái)自所述多個(gè)傳感器62、62’的數(shù)據(jù)。在一個(gè)實(shí)例中，通過(guò)數(shù)據(jù)捕獲模塊64和處理模塊66，多個(gè)傳感器62、62’可操作來(lái)獲得門廳h的深度圖數(shù)據(jù)。來(lái)自多個(gè)傳感器62、62’的深度圖數(shù)據(jù)可涵蓋門廳h之外的區(qū)域，例如，連接的走廊、通路、運(yùn)輸工具或建筑物的其他公共訪問(wèn)區(qū)域。根據(jù)深度圖數(shù)據(jù)，處理66可確定在深度數(shù)據(jù)中潛在乘客的存在、潛在乘客將變成實(shí)際乘客的概率、在傳感器62、62’的共同fov中的任何位置處潛在乘客的估計(jì)到達(dá)時(shí)間(eta)、門廳h中的潛在乘客的數(shù)量等。根據(jù)一個(gè)公開(kāi)的非限制實(shí)施方案，多個(gè)傳感器62、62’可安裝在門廳h中(圖3)。這個(gè)公開(kāi)的非限制性實(shí)施方案中的多個(gè)傳感器62、62’中的每一個(gè)是3d深度感測(cè)傳感器。應(yīng)理解，貫穿本公開(kāi)使用的術(shù)語(yǔ)“傳感器”是指在1d、2d、3d或其組合中產(chǎn)生一個(gè)或多個(gè)深度圖的傳感器。這種傳感器可在能夠產(chǎn)生對(duì)應(yīng)維度的深度圖(也被稱為點(diǎn)云或占用網(wǎng)格)的電磁波譜或聲譜中進(jìn)行操作。各種深度感測(cè)傳感器技術(shù)和設(shè)備包括但不限于：結(jié)構(gòu)光測(cè)量、相移測(cè)量、飛行時(shí)間測(cè)量、立體三角測(cè)量設(shè)備、光片三角測(cè)量設(shè)備、光場(chǎng)相機(jī)、編碼孔徑相機(jī)、計(jì)算成像技術(shù)、同時(shí)定位與繪圖(slam)、成像雷達(dá)、成像聲納、激光雷達(dá)、掃描lidar、閃光lidar、無(wú)源紅外(pir)傳感器以及小的焦平面陣列(fpa)，或包括上述中的至少一個(gè)的組合。不同技術(shù)可包括主動(dòng)型(發(fā)射和接收信號(hào))或被動(dòng)型(僅接收信號(hào))，并且可在諸如可見(jiàn)、紅外等的電磁波譜或聲譜的頻帶中進(jìn)行操作。深度感測(cè)的使用可具有勝過(guò)常規(guī)2d成像的特殊優(yōu)點(diǎn)。紅外感測(cè)的使用可具有勝過(guò)可見(jiàn)光譜成像的特殊益處，以使得可替代地或另外，傳感器可以是具有一個(gè)或多個(gè)像素的空間分辨率的紅外傳感器，例如，無(wú)源紅外(pir)傳感器或ir焦平面陣列(fpa)。

在2d成像中，捕獲來(lái)自第一物體的在從成像器的每個(gè)徑向方向上的反射顏色(波長(zhǎng)的混合物)。那么，2d圖像是場(chǎng)景中的源照明和物體的光譜反射率的結(jié)合頻譜。2d圖像可被人們解釋為圖片。在1d、2d或3d深度感測(cè)傳感器中，不存在顏色(光譜)信息；相反地，捕獲在一個(gè)(1d)或多個(gè)(2d)徑向方向上從傳感器到第一反射物體的距離(深度、范圍)。1d、2d和3d深度感測(cè)技術(shù)可具有固有的最大可檢測(cè)范圍極限，并且可以是比典型的2d成像器相對(duì)更低的空間分辨率。相較于常規(guī)的2d成像，1d、2d或3d深度感測(cè)的使用在其對(duì)環(huán)境照明問(wèn)題的相對(duì)抗擾性方面可有利地提供改善的操作、更好的遮擋物體分離以及更好的隱私保護(hù)。例如，2d圖像不可轉(zhuǎn)換為深度圖，并且深度圖也不可轉(zhuǎn)換為2d圖像。盡管人為地將連續(xù)顏色或灰度指定為連續(xù)深度可允許人們?cè)谀撤N程度上將深度圖粗略地解釋為類似于人們看到的2d圖像的情形，但它不是常規(guī)意義上的圖像。不能將深度圖轉(zhuǎn)換為圖像可能似乎是一種缺陷，但是在本文公開(kāi)的某些分析學(xué)應(yīng)用中這可以是有利的。

在一個(gè)實(shí)例中，多個(gè)傳感器62、62’可以是護(hù)眼性行掃描lidar，其中視場(chǎng)(fov)可以例如是約180度，所述視場(chǎng)可水平地覆蓋門廳的整個(gè)區(qū)域或相鄰于電梯門24(圖2)的其他區(qū)域。lidar的輸出可以例如是在安裝有多個(gè)傳感器62、62’的高度處對(duì)周圍環(huán)境的2d水平掃描。對(duì)于有源傳感器，掃描中的每個(gè)數(shù)據(jù)點(diǎn)表示fov中的物理物點(diǎn)的反射，可以獲得從所述數(shù)據(jù)點(diǎn)到那個(gè)物點(diǎn)的范圍和水平角。lidar的掃描速率可以例如是50ms掃描一次，這有助于可靠地跟蹤乘客。也就是說(shuō)，在通過(guò)處理模塊66應(yīng)用分析過(guò)程之前，lidar掃描數(shù)據(jù)可被轉(zhuǎn)換為占用網(wǎng)格表示。每個(gè)網(wǎng)格表示小區(qū)，例如5cmx5cm。網(wǎng)格的狀態(tài)可用數(shù)字方式指示，例如1或0，以便指示每個(gè)網(wǎng)格方塊是否被占用。因此，每次數(shù)據(jù)掃描可以被轉(zhuǎn)換為二進(jìn)制圖，并且然后使用這些圖來(lái)認(rèn)識(shí)門廳的背景數(shù)學(xué)模型，例如通過(guò)使用針對(duì)深度數(shù)據(jù)設(shè)計(jì)或修改的過(guò)程，諸如高斯混合數(shù)學(xué)模型(gmm)過(guò)程、主成分分析(pca)過(guò)程、碼本過(guò)程或包括上述中的至少一個(gè)的組合。在另一個(gè)實(shí)例中，多個(gè)傳感器62、62’可以是2d護(hù)眼性飛行時(shí)間深度傳感器或結(jié)構(gòu)光傳感器，其輸出對(duì)周圍環(huán)境的3d容積掃描。

處理模塊66可利用能夠使系統(tǒng)更準(zhǔn)確的(本文中其他地方公開(kāi)的)各種3d檢測(cè)和跟蹤過(guò)程，諸如背景減除、偽數(shù)據(jù)濾波和卡爾曼濾波。具體地說(shuō)，偽數(shù)據(jù)可以是深度感測(cè)固有的并且可以隨著所采用的具體技術(shù)而改變。對(duì)于主動(dòng)型技術(shù)(例如，結(jié)構(gòu)光、飛行時(shí)間、lidar等)，其中發(fā)射特定信號(hào)并且隨后檢測(cè)特定信號(hào)以便確定深度，高度反射表面可產(chǎn)生偽深度數(shù)據(jù)，例如不是反射表面本身的深度，而是漫反射表面在以下深度處的深度：所述深度是反射表面的深度加上從反射表面到某個(gè)漫反射表面的深度。高度漫反射表面不能反射足夠量的發(fā)射信號(hào)以確定深度，這可導(dǎo)致深度圖中的偽間隙。更進(jìn)一步地，環(huán)境光中的變化、其他有源深度傳感器造成的干擾或信號(hào)處理中的不準(zhǔn)確性可導(dǎo)致偽數(shù)據(jù)。

參考圖3，多個(gè)傳感器62(示出五個(gè)，它們安裝到由虛線指示的壁)包括多個(gè)公共fov100?？衫霉瞗ov100(示出四個(gè)，在每個(gè)傳感器正前方的小重疊小得可忽略不計(jì))通過(guò)聯(lián)合估計(jì)技術(shù)來(lái)自動(dòng)地確定相互校準(zhǔn)參數(shù)。

用于計(jì)算用于校準(zhǔn)的變換矩陣的具體數(shù)學(xué)方法隨著需要估計(jì)的參數(shù)而改變。每種方法的共同之處是：(i)例如由安裝者手動(dòng)啟動(dòng)校準(zhǔn)模式，或自動(dòng)檢測(cè)對(duì)校準(zhǔn)的需求；(ii)通過(guò)利用多個(gè)傳感器同時(shí)測(cè)量移動(dòng)物體(例如，在公共fov100中行走的人)來(lái)自動(dòng)收集足夠的信息；(iii)通過(guò)使用移動(dòng)物體(例如，具有橢圓截面以使得半橢圓對(duì)每個(gè)傳感器可見(jiàn)的人)的數(shù)學(xué)模型e1、e2(圖4和圖5)來(lái)自動(dòng)計(jì)算未知的校準(zhǔn)參數(shù)；以及(iv)自動(dòng)退出校準(zhǔn)模式。

參考圖6，在用于多個(gè)3d傳感器校準(zhǔn)的方法100的一個(gè)實(shí)施方案中，安裝多個(gè)傳感器62、62’，并通過(guò)已知技術(shù)初始地將它們單獨(dú)準(zhǔn)確地校準(zhǔn)至單獨(dú)的世界坐標(biāo)系，其中多個(gè)傳感器62、62’之間的相對(duì)俯仰、偏航和橫滾是零(步驟102)。接下來(lái)，使單獨(dú)傳感器62、62’在時(shí)間上同步至1個(gè)深度圖抽樣時(shí)間(有時(shí)也被稱為“幀時(shí)間”或只是“幀”)內(nèi)，所述1個(gè)深度圖抽樣時(shí)間優(yōu)選地小于或等于一秒的1/25，由此深度圖抽樣時(shí)間足夠小，以致使移動(dòng)物體在抽樣時(shí)間期間是大致靜止的(步驟104)。如果傳感器62、62’具有互聯(lián)網(wǎng)接入，這可以通過(guò)使用nettime同步客戶端等來(lái)實(shí)現(xiàn)。在先驗(yàn)同步不可能的情況下，傳感器之間的時(shí)間差可以例如計(jì)算為當(dāng)物體的單獨(dú)視圖的質(zhì)心在世界坐標(biāo)中最靠近在一起時(shí)的時(shí)間。然后，這個(gè)時(shí)間差可用作時(shí)間偏移量以便同步多個(gè)傳感器62、62’。用于計(jì)算時(shí)間差的其他方法是可能的，諸如包括優(yōu)化構(gòu)想中的時(shí)間差等。

單獨(dú)傳感器62、62’可相對(duì)于同一樓層安裝在相同的高度處(步驟106)。那么，任何一對(duì)傳感器62、62’之間僅存在有待根據(jù)測(cè)量數(shù)據(jù)進(jìn)行估計(jì)的兩個(gè)偏移參數(shù)(dx,dy)。在給定移動(dòng)穿過(guò)每對(duì)傳感器62、62’的公共fov的物體的情況下，由于它們的不同安裝位置，每個(gè)傳感器62、62’可以看到處于不同姿勢(shì)的物體(圖4和5)。

在傳感器62、62’深度數(shù)據(jù)中的一個(gè)中的物體的檢測(cè)和跟蹤可以通過(guò)以下過(guò)程實(shí)現(xiàn)：確定背景、減除背景以用于前景物體檢測(cè)、形態(tài)學(xué)操作、幾何濾波以及貝葉斯濾波器跟蹤。

可以計(jì)算深度背景，其可用來(lái)通過(guò)碼本模型、高斯混合模型、非高斯混合模型、pca等將前景物體(例如乘客、行李等)與背景(例如墻壁和地板)分割開(kāi)。應(yīng)理解，可替代地，深度數(shù)據(jù)可以被稱為深度圖、點(diǎn)云或占用網(wǎng)格。深度數(shù)據(jù)可以是相對(duì)“有噪聲的”。具體地說(shuō)，深度不確定性(噪聲)可以是范圍的分析函數(shù)，并且因此深度數(shù)據(jù)誤差(噪聲)可以是不連續(xù)的(或大致不連續(xù)的)，并且深度分布可以是非高斯的?？蓮漠?dāng)前深度數(shù)據(jù)中減除背景模型以確定前景檢測(cè)。

在背景減除和前景檢測(cè)之后，可以使用形態(tài)學(xué)操作來(lái)去除隔離的小前景區(qū)(例如，所述小前景區(qū)也可以是“噪聲”)并且分割被稱為斑點(diǎn)的移動(dòng)物體以用于進(jìn)一步分析。然而，2d連接成分的3d擴(kuò)展可能是不合適的，因?yàn)?d數(shù)據(jù)在占用網(wǎng)格中仍然具有自遮擋，例如“陰影”。用于這種濾波的方法可包括2d連接成分過(guò)程的擴(kuò)展，以便在占用網(wǎng)格中包括“未知”類別以用于3d形態(tài)學(xué)濾波。然后，可根據(jù)范圍的變化執(zhí)行尺寸濾波，所述尺寸濾波可去除在預(yù)定尺寸以下的物體。然后，可基于深度不連續(xù)性在3d中分割所述物體。可能的是，一些物體在深度不連續(xù)性分割之后將變得相對(duì)較小，例如，幾乎完全被另一個(gè)人遮擋的某個(gè)人將呈現(xiàn)為小斑點(diǎn)。這種方法可用來(lái)跟蹤此類小物體，因此可以對(duì)它們進(jìn)行分類而不是將它們過(guò)濾掉。如果所選擇的特性，諸如高度、寬度、縱橫比、體積、加速度、速度和/或其他時(shí)空特性超出檢測(cè)閾值(例如，動(dòng)態(tài)地計(jì)算的閾值、靜態(tài)閾值等)，可以使用形態(tài)學(xué)濾波來(lái)去除斑點(diǎn)。

可應(yīng)用幾何濾波以進(jìn)一步去除超出場(chǎng)景邊界的偽斑點(diǎn)。深度背景限定環(huán)境的3d場(chǎng)景邊界。表示實(shí)物的斑點(diǎn)應(yīng)在3d邊界之內(nèi)。也就是說(shuō)，如果斑點(diǎn)的深度大于深度背景的對(duì)應(yīng)位置的深度，那么斑點(diǎn)超出3d邊界并且可以去除，例如，從諸如鏡子的反射表面檢測(cè)到的斑點(diǎn)。

乘客跟蹤可基于使用貝葉斯濾波器法，諸如卡爾曼濾波器或粒子濾波器的濾波的檢測(cè)前景?；跈z測(cè)和跟蹤，可以獲得潛在乘客數(shù)據(jù)，諸如門廳中乘客的存在、潛在乘客的計(jì)數(shù)、針對(duì)每個(gè)潛在乘客的估計(jì)到達(dá)時(shí)間(eta)以及等待乘客的數(shù)量。這些數(shù)據(jù)可以公制單位計(jì)，因?yàn)閱为?dú)傳感器62、62’是以公制單位校準(zhǔn)至世界坐標(biāo)。在此上下文中，公制單位不限于國(guó)際單位制(si)(也被稱為公制)中的那些單位，而是指示易于轉(zhuǎn)換為公制單位的任何測(cè)量單位。

現(xiàn)在參考圖4和圖5，從兩個(gè)深度傳感器的角度示出檢測(cè)到的人的兩種不同姿勢(shì)(圖4和5)(分別表示為點(diǎn)云)。在圖4中，人稍微轉(zhuǎn)向其左側(cè)，并且在圖5中，人轉(zhuǎn)向其右側(cè)。由于人的姿勢(shì)、傳感器的安裝位置以及深度感測(cè)的物理性質(zhì)，相應(yīng)的點(diǎn)云在空間上是基本上分開(kāi)的。因此，兩個(gè)傳感器對(duì)于共同感測(cè)的空間物體都不具有公共空間位置。

再次參考圖6，物體的深度數(shù)據(jù)的質(zhì)心位置可基于來(lái)自每個(gè)傳感器62、62’的每個(gè)幀的深度數(shù)據(jù)來(lái)計(jì)算(步驟108)。為了實(shí)現(xiàn)必要的獨(dú)立測(cè)量，當(dāng)物體移動(dòng)時(shí)，在不同時(shí)間獲取不同幀的深度數(shù)據(jù)。深度數(shù)據(jù)是獨(dú)立的，可以通過(guò)所計(jì)算的第一物體位置與所計(jì)算的第二物體位置的比較進(jìn)行驗(yàn)證。如果移動(dòng)物體具有顯著體積以使得多個(gè)深度傳感器62、62’接收來(lái)自物體不同側(cè)的返回，那么可采用物體數(shù)學(xué)模型來(lái)估計(jì)單個(gè)公共物體位置，諸如質(zhì)心位置。因此，由于人通常具有顯著體積，優(yōu)選地物體的深度數(shù)據(jù)被擬合至移動(dòng)物體數(shù)學(xué)模型，例如，3d人體數(shù)學(xué)模型，這有助于確定人的公共(x,y)位置。3d人體數(shù)學(xué)模型可以是圓形截面的圓柱體(圓柱體的非圓形維度與人的身高對(duì)準(zhǔn))、橢圓形截面的圓柱體(圓柱體的非橢圓形維度與人的身高對(duì)準(zhǔn))、3d橢圓形或更復(fù)雜的人體形狀模型?？商娲?，可利用半3d橢圓形到每個(gè)傳感器的深度數(shù)據(jù)的擬合。

根據(jù)至少兩個(gè)質(zhì)心(x1,y1)和(x2,y2)的(x,y)位置，當(dāng)人移動(dòng)時(shí)，平移參數(shù)(dx,dy)可通過(guò)簡(jiǎn)單的減除而計(jì)算出110。根據(jù)多于兩個(gè)測(cè)量值，可計(jì)算更準(zhǔn)確的最小二乘法(ls)解。在沒(méi)有一般性損失的情況下，一個(gè)世界坐標(biāo)系可被選擇作為控制標(biāo)準(zhǔn)，并且另一個(gè)世界坐標(biāo)系可根據(jù)(dx,dy)來(lái)校正以便校準(zhǔn)至公共世界坐標(biāo)系(步驟112)。

在替代實(shí)施方案中，其中傳感器并未安裝在相對(duì)于公共樓層的相同高度處，但是相對(duì)俯仰、偏航和橫滾仍然為零，所有三個(gè)平移參數(shù)(dx,dy,dz)都是未知的，并且需要屬于公共質(zhì)心的三個(gè)獨(dú)立測(cè)量值。由于可能出現(xiàn)的模糊或物體僅部分在fov中，物體的頂部或底部可用作目標(biāo)?？商娲兀墒褂秒p參數(shù)方法，并且甚至無(wú)需移動(dòng)物體，可通過(guò)找到每個(gè)傳感器的單獨(dú)地平面并計(jì)算差值來(lái)計(jì)算平移量(dz)。為了找到地平面，可通過(guò)找到n個(gè)一致的點(diǎn)并對(duì)等式(1)進(jìn)行求解來(lái)找到深度(3d)數(shù)據(jù)中的平面(2d表面z＝mx+py+b，其中m、p和b是參數(shù))。

由于數(shù)據(jù)中可能存在許多平面(墻壁、地板等)，可替代地或另外，可以使用隨機(jī)抽樣一致性(ransac)算法來(lái)找到一組一致的點(diǎn)。另外的邏輯可用來(lái)區(qū)別哪個(gè)平面是地板。此類另外的邏輯可由確定哪個(gè)平面具有最大范圍、哪個(gè)平面與移動(dòng)物體的最低末端接觸等組成。

在又一個(gè)替代實(shí)施方案中，除了不知道平移參數(shù)(dx,dy,dz)之外，多個(gè)傳感器62、62’不可以在零相對(duì)俯仰、偏航和橫滾的情況下安裝。在這種情況下，所有六個(gè)偏移參數(shù)和旋轉(zhuǎn)參數(shù)都是未知的，并且需要至少六個(gè)獨(dú)立測(cè)量。為了實(shí)現(xiàn)對(duì)一個(gè)移動(dòng)物體(例如人)的測(cè)量獨(dú)立性，利用來(lái)自多個(gè)幀的深度數(shù)據(jù)的頂部和底部以及間距(恒定高度)。

為了計(jì)算所有六個(gè)未知參數(shù)，數(shù)學(xué)方程式可制定為ts1＝s2，其中s1是一個(gè)傳感器坐標(biāo)系中的物體上的點(diǎn)并且s2是另一個(gè)傳感器坐標(biāo)系中的對(duì)應(yīng)點(diǎn)，其中所述對(duì)應(yīng)是所述點(diǎn)為傳感器的公共fov中的一個(gè)物體的質(zhì)心。在齊次坐標(biāo)中，t是期望的變換矩陣，其包括坐標(biāo)系之間的旋轉(zhuǎn)量和平移量。

方法100提供具有最小或無(wú)需安裝者努力的多個(gè)3d傳感器校準(zhǔn)。也就是說(shuō)，安裝者既不需要特殊的校準(zhǔn)目標(biāo)，也不需要在傳感器和世界坐標(biāo)系兩者中進(jìn)行測(cè)量。

本文公開(kāi)和描繪的元件，包括貫穿附圖的流程圖和框圖，暗示元件之間的邏輯邊界。然而，根據(jù)軟件或硬件工程實(shí)踐，所描繪的元件和其功能可通過(guò)具有能夠執(zhí)行存儲(chǔ)在其上的程序指令的處理器的計(jì)算機(jī)可執(zhí)行介質(zhì)在機(jī)器上被實(shí)現(xiàn)為整體軟件結(jié)構(gòu)，為獨(dú)立軟件模塊或?yàn)椴捎猛獠坷?、代碼、服務(wù)以及等等的模塊或者這些的任何組合，并且所有此類實(shí)現(xiàn)可以在本公開(kāi)的范圍內(nèi)。

應(yīng)了解，諸如“向前(forward)”、“向后(aft)”、“上部(upper)”、“下部(lower)”、“高于(above)”、“低于(below)”、“底部(bottom)”、“頂部(top)”以及此類的相對(duì)位置術(shù)語(yǔ)參考正常的操作姿勢(shì)并另外不應(yīng)該被認(rèn)為是限制性的。

應(yīng)理解，貫穿若干附圖，相同參考數(shù)字識(shí)別對(duì)應(yīng)或相似元件。還應(yīng)理解，盡管在所示出的實(shí)施方案中公開(kāi)了特定的部件布置，但其他布置將從此受益。

盡管不同的非限制性實(shí)施方案具有具體示出的部件，但本發(fā)明的實(shí)施方案不局限于那些特定組合。使用來(lái)自非限制性實(shí)施方案中的任一個(gè)的部件或特征結(jié)構(gòu)中的一些與來(lái)自其他非限制性實(shí)施方案中的任一個(gè)的特征結(jié)構(gòu)和部件組合是可能的。

盡管示出、公開(kāi)和要求保護(hù)特定的步驟順序，但應(yīng)理解，除非另外指示，否則步驟可以任何次序、單獨(dú)或組合執(zhí)行，并且將仍然從本公開(kāi)受益。

前述描述是示例性的而不是由其中的限制所限定。本文中公開(kāi)了各種非限制性實(shí)施方案，然而，本領(lǐng)域普通技術(shù)人員將意識(shí)到，根據(jù)以上教義的各種修改和變化將落入隨附權(quán)利要求書的范圍內(nèi)。因此，應(yīng)理解在隨附權(quán)利要求書的范圍內(nèi)，本公開(kāi)可以按不同于本文具體公開(kāi)的方式來(lái)實(shí)踐。因此，應(yīng)研習(xí)隨附權(quán)利要求書來(lái)確定真實(shí)范圍和內(nèi)容。