本發(fā)明涉及計算機視覺技術(shù)領(lǐng)域，特別涉及基于深度相機的體積測量方法及其系統(tǒng)。

背景技術(shù)：

隨著物流業(yè)的快速發(fā)展，包裹數(shù)量日益增長，包裹體積測量的需求也不斷增加。傳統(tǒng)的測量方法是利用尺度工具或測量設(shè)備進行測量。尺度工具測量方法，其測量速度慢、效率低，無法滿足實時需求；設(shè)備測量方法一般是采用光幕傳感器系統(tǒng)進行測量，其外形體積大，還需要配合對應(yīng)的控制器，整個安裝過程比較復(fù)雜。因此，基于機器視覺的測量方法被廣泛利用，僅需要安裝一個相機就能夠完成測量目的，其測量速度快、效率高、體積小、安裝簡單。

傳統(tǒng)基于二維圖像的機器視覺測量方法，需要預(yù)先標(biāo)定出相機內(nèi)參以及安裝高度和角度，然后通過相似三角形關(guān)系以及被測物體在成像面上所占像素值的大小來計算出對應(yīng)的測量值。該方法要求被測物體與相機之間滿足一定的相似三角關(guān)系，但實際應(yīng)用中并不一定完全滿足相似條件，因此測量結(jié)果并不準(zhǔn)確，會存在一定誤差。

專利CN104501718A提出了一種基于視覺的包裹體積測量裝置，采用光幕傳感裝置和相機相結(jié)合的方式測量被測物體體積。光幕傳感裝置用于測量被測物體高度，相機用于測量被測物體面積。該專利利用了多個傳感設(shè)備，安裝復(fù)雜，使用成本高。

專利CN100570275C提出了一種基于圖像的體積測量裝置及其測量方 法，采用了三個相機對被測物體進行三維重構(gòu)，得到被測物體的三維形狀，然后計算出物體體積，并且要求三個相機的安裝俯仰角相同。該專利使用了多個相機對物體進行三維重構(gòu)，其標(biāo)定過程較為復(fù)雜，并且對相機安裝要求較高，在實施過程中，整個操作也較為繁瑣。

技術(shù)實現(xiàn)要素：

本發(fā)明的目的在于提供一種基于深度相機的體積測量方法及其系統(tǒng)，測量精度高，不受拍攝角度和高度影響，無需對相機安裝高度和角度進行標(biāo)定，使用簡單方便。

為解決上述技術(shù)問題，本發(fā)明的實施方式公開了一種基于深度相機的體積測量方法，包括以下步驟：

從深度相機獲取含有待測對象的深度圖，深度圖包含有待測對象的深度信息；

根據(jù)深度信息將待測對象從深度圖中提取出來，得到待測對象目標(biāo)區(qū)域；

利用預(yù)先標(biāo)定的深度相機的參數(shù)，將待測對象的目標(biāo)區(qū)域中各像素的二維圖像坐標(biāo)轉(zhuǎn)換到三維相機坐標(biāo)系下的三維坐標(biāo)；

在三維相機坐標(biāo)系下，根據(jù)待測對象的三維坐標(biāo)計算待測對象的高度和長寬，從而計算出待測對象的體積。

本發(fā)明的實施方式還公開了一種基于深度相機的體積測量系統(tǒng)，包括以下模塊：

深度圖獲取模塊，用于從深度相機獲取含有待測對象的深度圖，深度圖包含有待測對象的深度信息；

對象提取模塊，用于根據(jù)深度信息將待測對象從深度圖中提取出來，得到待測對象目標(biāo)區(qū)域；

坐標(biāo)轉(zhuǎn)換模塊，用于利用預(yù)先標(biāo)定的深度相機的參數(shù)，將待測對象的目標(biāo)區(qū)域中各像素的二維圖像坐標(biāo)轉(zhuǎn)換到三維相機坐標(biāo)系下的三維坐標(biāo)；

體積測量模塊，在三維相機坐標(biāo)系下，根據(jù)待測對象的三維坐標(biāo)計算待測對象的高度和長寬，從而計算出待測對象的體積。

本發(fā)明實施方式與現(xiàn)有技術(shù)相比，主要區(qū)別及其效果在于：

本發(fā)明通過深度相機獲取的深度信息提取待測對象，并將待測對象的二維圖像坐標(biāo)轉(zhuǎn)換到三維相機坐標(biāo)，然后對體積進行測量，測量精度高，不受拍攝角度和高度影響，無需對相機安裝高度和角度進行標(biāo)定，使用簡單方便。

進一步地，利用深度圖中待測對象深度與背景深度的差異性，基于直方圖閾值的圖像分割算法將待測對象上表面區(qū)域從背景中提取出來；通過二次分割可以有效地去除側(cè)面干擾，保留有效的上表面區(qū)域作為待測對象目標(biāo)區(qū)域。

進一步地，在三維相機坐標(biāo)系下，通過測量包裹上表面與傳送帶表面兩個平面的距離來計算包裹高度，使得包裹高度測量值更為精確。

進一步地，利用待測對象目標(biāo)區(qū)域內(nèi)部的點代替待測對象目標(biāo)區(qū)域最小外接矩形頂點計算待測對象的長和寬，計算結(jié)果更精確。

進一步地，根據(jù)傳送帶的速度對深度相機的圖像輸出幀率進行調(diào)節(jié)可以滿足不同傳輸速度下不同分辨率的應(yīng)用需求。

進一步地，通過判斷待測對象是否已經(jīng)傳送至深度相機的正下方范圍內(nèi)，決定是否進行體積測量，提高了計算效率。

附圖說明

圖1是本發(fā)明第一實施方式中一種基于深度相機的體積測量方法的流程示意圖；

圖2是本發(fā)明第三實施方式中包裹體積測量過程的切面示意圖；

圖3是本發(fā)明第三實施方式中待測對象在二維成像平面上的坐標(biāo)示意圖；

圖4是本發(fā)明第四實施方式中基于深度相機的體積測量方法的實施場景示意圖；

圖5是本發(fā)明優(yōu)選例中基于深度相機的包裹體積測量方法流程圖；

圖6是本發(fā)明第五實施方式中一種基于深度相機的體積測量系統(tǒng)的結(jié)構(gòu)示意圖；

圖7是本發(fā)明優(yōu)選例中一種基于深度相機的體積測量系統(tǒng)的各模塊之間的連接示意圖。

具體實施方式

在以下的敘述中，為了使讀者更好地理解本申請而提出了許多技術(shù)細節(jié)。但是，本領(lǐng)域的普通技術(shù)人員可以理解，即使沒有這些技術(shù)細節(jié)和基于以下各實施方式的種種變化和修改，也可以實現(xiàn)本申請各權(quán)利要求所要求保護的技術(shù)方案。

為使本發(fā)明的目的、技術(shù)方案和優(yōu)點更加清楚，下面將結(jié)合附圖對本發(fā)明的實施方式作進一步地詳細描述。

本發(fā)明第一實施方式涉及一種基于深度相機的體積測量方法，圖1是該基于深度相機的體積測量方法的流程示意圖。如圖所示，該基于深度相機的體積測量方法包括以下步驟：

步驟101，從深度相機獲取含有待測對象的深度圖，深度圖包含有待測對象的深度信息。

深度相機可以是但不限于TOF深度相機，雙目深度相機和光場相機，任何可以獲取包裹深度信息的相機均適用。其中TOF(time of flight)表示飛行時 間。

可以理解，深度圖包含待測對象的深度信息，也包含除待測對象之外的背景的深度，由于深度圖中待測對象的深度與背景深度的差異性較大，可將待測對象從背景中提取出來。

步驟102，根據(jù)深度信息將待測對象從深度圖中提取出來，得到待測對象目標(biāo)區(qū)域。

步驟103，利用預(yù)先標(biāo)定的深度相機的參數(shù)，將待測對象的目標(biāo)區(qū)域中各像素的二維圖像坐標(biāo)轉(zhuǎn)換到三維相機坐標(biāo)系下的三維坐標(biāo)。

優(yōu)選地，三維相機坐標(biāo)系以深度相機的光心為中心。

在本發(fā)明的其它實施方式中，除了將待二維圖像坐標(biāo)轉(zhuǎn)換到三維坐標(biāo)以計算待測對象的體積外，還可以通過比例的方法計算，即已知像素值大小與二維圖像面積之間的關(guān)系(例如，對于分辯率是196X98DPI的二維圖像，在1 m遠處，每個像素在水平方向上對應(yīng)的空間大小是0.130mm，而在垂直方向?qū)?yīng)的空間大小是0.259mm，則根據(jù)像素多少即可得出圖像面積)。，則可根據(jù)像素值之間的比例以及深度信息求得待測對象的體積)，則可根據(jù)像素值之間的比例以及深度信息求得待測對象的體積。

但是通過比例計算的方法要求被測物體表面與相機成像平面完全平行，或者是被測物體表面與相機成像平面的夾角已知，并且夾角固定不變。但在實際應(yīng)用中，很難保證被測物體表面與相機成像平面完全平行，或者，也很難保證被測物體表面與相機成像平面的夾角不變化。而二維轉(zhuǎn)換到三維坐標(biāo)計算體積的方法則對角度沒有要求，適用性更廣。

步驟104，在三維相機坐標(biāo)系下，根據(jù)待測對象的三維坐標(biāo)計算待測對象的高度和長寬，從而計算出待測對象的體積。

優(yōu)選地，可對根據(jù)多幀深度圖測量出的體積結(jié)果求平均作為體積測量的 最終輸出結(jié)果。

優(yōu)選地，在步驟103中，通過以下公式進行坐標(biāo)轉(zhuǎn)換：

其中，(u,v)為像素的二維圖像坐標(biāo)，(X^c,Y^c,Z^c)為三維相機坐標(biāo)系下的三維坐標(biāo)，f_x和f_y為焦距，(u₀,v₀)為像素基準(zhǔn)點，Z^c為目標(biāo)點到相機的距離，可由深度相機直接獲取。

此外，可以理解，在進行坐標(biāo)轉(zhuǎn)換之前，還包括標(biāo)定相機內(nèi)參的步驟，相機內(nèi)參包括焦距，像素基準(zhǔn)點和畸變系數(shù)。上述坐標(biāo)轉(zhuǎn)換是在不考慮相機畸變情況下的轉(zhuǎn)換方法，在本發(fā)明的其它實施方式中，也可以根據(jù)需要一并考慮相機畸變的情況。

需要指出的是，本發(fā)明可用于包裹體積測量，也可用于其它類似包裹的立方體物體的體積測量。在測量包裹體積的應(yīng)用場景中，待測對象為包裹，背景為傳送包裹的傳送帶。

本實施方式通過深度相機獲取的深度信息提取待測對象，并將待測對象的二維圖像坐標(biāo)轉(zhuǎn)換到三維相機坐標(biāo)，然后對體積進行測量，不受拍攝角度和高度影響，無需對相機安裝高度和角度進行標(biāo)定，使用簡單方便。

本發(fā)明第二實施方式涉及一種基于深度相機的體積測量方法，第二實施方式在第一實施方式的基礎(chǔ)上進行了改進，主要改進之處在于：

利用深度圖中待測對象深度與背景深度的差異性，基于直方圖閾值的圖像分割算法將待測對象上表面區(qū)域從背景中提取出來；通過二次分割可以有效地去除側(cè)面干擾，保留有效的上表面區(qū)域作為待測對象目標(biāo)區(qū)域。具體地說：

“根據(jù)深度信息將待測對象從深度圖中提取出來，得到待測對象目標(biāo)區(qū) 域”的步驟102包括以下子步驟：

對深度圖進行直方圖統(tǒng)計深度值；

根據(jù)第一分割閾值將待測對象與傳送帶分割開來，將小于第一分割閾值的區(qū)域提取作為初步的待測對象目標(biāo)區(qū)域；

對初步的待測對象的目標(biāo)區(qū)域再次進行直方圖統(tǒng)計深度值；

根據(jù)第二分割閾值將待測對象的上表面區(qū)域與待測對象的側(cè)面區(qū)域分割開來，保留上表面區(qū)域作為待測對象目標(biāo)區(qū)域。

其中，第一分割閾值可選取直方圖中的波谷，以包裹體積測量為例，小于第一分割閾值的即為包裹區(qū)域。由于深度圖中主要場景為包裹和傳送帶，因此直方圖中會形成雙峰，雙峰之間的波谷對應(yīng)的閾值可以有效地將包裹與傳送帶分割開來。同時包裹區(qū)域?qū)?yīng)的深度值要小于傳送帶深度；

第二分割閾值的確定可對包裹區(qū)域再次進行直方圖統(tǒng)計，計算波峰對應(yīng)的深度值Depth，以(Depth-ΔT,Depth+ΔT)為第二分割閾值有效深度范圍再次對包裹進行分割，提取最終的有效包裹上表面區(qū)域。由于相機安裝時，其光軸并不一定完全垂直包裹，會存在一定傾斜角。因此包裹側(cè)面會出現(xiàn)在深度圖中，影響包裹上表面區(qū)域的提取。

在本發(fā)明的其它實施方式中，也可以僅進行一次分割而不進行上表面區(qū)域與側(cè)面區(qū)域分割。

在本發(fā)明的其它實施方式中，除了基于直方圖閾值的圖像分割算法，也可以采用其它圖像分割算法提取包裹的目標(biāo)區(qū)域，例如，基于背景建模的目標(biāo)分割方法、聚類分割方法等。

本發(fā)明第三實施方式涉及一種基于深度相機的體積測量方法，如圖2所示為包裹體積測量過程的切面示意圖。

第三實施方式在第一實施方式的基礎(chǔ)上進行了改進，主要改進之處在于： 在三維相機坐標(biāo)系下，通過測量包裹上表面與傳送帶表面兩個平面的距離來計算包裹高度，使得包裹高度測量值更為精確；利用待測對象目標(biāo)區(qū)域內(nèi)部的點代替待測對象目標(biāo)區(qū)域最小外接矩形頂點計算待測對象的長和寬，計算結(jié)果更精確。具體地說：

計算高度時，由于實際相機安裝過程中，相機光軸并不完全垂直于傳送帶平面，會存在一定的傾斜角α，如圖2所示為包裹體積測量過程的切面示意圖。若利用包裹上表面A點與傳送帶表面B點的深度差A(yù)B去計算包裹高度H，并不準(zhǔn)確；若利用包裹上表面深度均值與傳送帶表面均值的深度差計算包裹高度H，也會存在一定的誤差。并且傾斜角α越大，其產(chǎn)生的誤差也越大。假設(shè)包裹為規(guī)則立方體，在包裹體積測量過程中，包裹的上表面與傳送帶表面是相互平行的。因此，為了使得包裹高度測量值更為精確，在三維相機坐標(biāo)系下，通過測量包裹上表面與傳送帶表面的兩個平面的距離來表示包裹高度H。

考慮到上述實際情況，在步驟104中，根據(jù)待測對象的三維坐標(biāo)計算待測對象的高度的步驟包括以下子步驟：

根據(jù)傳送帶表面多個坐標(biāo)點的三維坐標(biāo)對傳送帶進行平面擬合，獲取傳送帶平面表達式z＝ax+by+c₁中的參數(shù)a、b和c₁；

根據(jù)傳送帶平面的參數(shù)a、b和c₁，待測對象的目標(biāo)區(qū)域的各像素的三維坐標(biāo)，和待測對象平面表達式z＝ax+by+c₂，計算出待測對象平面表達式的參數(shù)c₂；

根據(jù)傳送帶平面和待測對象平面的表達式和上述參數(shù)，根據(jù)下式計算待測對象的高度

此外，計算長寬時，由于在實際將待測對象與傳送帶分割開來時，對應(yīng)的最小外接矩形的四個頂點并不一定都在實際的目標(biāo)區(qū)域內(nèi)，因此四個頂點的深度信息可能不是將待測對象的深度信息，所以直接通過四個頂點計算的 長寬并不準(zhǔn)確。例如，如圖3所示為待測對象在二維成像平面上的坐標(biāo)示意圖，其中二維平面坐標(biāo)系中的四個頂點坐標(biāo)分別為P1(u1,v1)、P2(u2,v2)、P3(u3,v3)、P4(u4,v4)。

考慮到上述實際情況，在步驟104中，根據(jù)待測對象的三維坐標(biāo)計算待測對象的長寬的步驟包括以下子步驟：

求解待測對象目標(biāo)區(qū)域的最小外接矩形及該最小外接矩形的四個頂點P₁，P₂，P₃，和P₄；

選取所述最小外接矩形對角線P₁P₄和P₂P₃上1/4和3/4處的點Q₁，Q₂，Q₃和Q₄；

其中，如圖3所示，選取的四個點在二維成像平面上的坐標(biāo)分別為Q1(u5,v5)和Q4(u8,v8)，Q2(u6,v6)和Q3(u7,v7)

根據(jù)點Q₁，Q₂，Q₃和Q₄在三維相機坐標(biāo)系中的坐標(biāo)計算待測對象的長和寬：

其中，點Q₁，Q₂，Q₃和Q₄在三維相機坐標(biāo)系中的坐標(biāo)分別為

在上述步驟中，選取最小外接矩形對角線P₁P₄和P₂P₃上1/4和3/4處的點Q₁，Q₂，Q₃和Q₄后，在二維圖像上Q₁Q₂的長度為P₁P₂的一半，Q₃Q₄的長度為P₃P₄的一半，Q₁Q₃的長度為P₁P₃的一半，Q₂Q₄的長度為P₂P₄的一半，因此根據(jù)上述兩個公式計算出的即為待測對象的長和寬。

需要指出的是，所選取的點Q₁，Q₂，Q₃和Q₄不一定是對角線P₁P₄和P₂P₃上1/4和3/4處的點，也可以是其它比例的點，相應(yīng)的，上述計算長和寬的公式也要相應(yīng)改變。

此外，除了上述往內(nèi)收縮取點的方法，也可以選取向外延伸取點的方法，即選取P₁P₄和P₂P₃延長線上屬于傳送帶范圍內(nèi)的點。此外，也可以直接利用二維坐標(biāo)計算長寬。

本發(fā)明第四實施方式涉及一種基于深度相機的體積測量方法，圖4是該基于深度相機的體積測量方法的實施場景示意圖。

第四實施方式在第一實施方式的基礎(chǔ)上進行了改進，主要改進之處在于：根據(jù)傳送帶的速度對深度相機的圖像輸出幀率進行調(diào)節(jié)可以滿足不同傳輸速度下不同分辨率的應(yīng)用需求；通過判斷待測對象是否已經(jīng)傳送至深度相機的正下方范圍內(nèi)，決定是否進行體積測量，提高了計算效率。具體地說：

在深度相機獲取含有待測對象的深度圖的步驟之前，還包括步驟：

采用聯(lián)動控制方式，根據(jù)傳送帶的速度對深度相機獲取深度圖的圖像輸出幀率進行調(diào)節(jié)，其中傳送帶的速度越快深度相機獲取深度圖的圖像輸出幀率越高。

可以理解，當(dāng)傳送帶速度較快時，選擇較高幀率輸出(同時對應(yīng)較低的圖像分辨率)，此時包裹的體積測量效率較高(單位時間內(nèi)測量的包裹數(shù)較多)，但體積測量的準(zhǔn)確性較差，適合對傳送及測量速度有要求的場合。當(dāng)傳送帶速度較慢時，選擇低幀率輸出(同時對應(yīng)較高的圖像分辨率)，此時包裹的體積測量效率較低，但體積測量的準(zhǔn)確性較高，適合對測量準(zhǔn)確率較高的場景。

在本發(fā)明的其它實施方式中，當(dāng)深度相機只有一個固定幀率時，也可選擇固定幀率輸出即可。

此外，在“根據(jù)深度信息將待測對象從深度圖中提取出來，得到待測對象目標(biāo)區(qū)域”的步驟102之前，還包括以下步驟：

根據(jù)待測對象中心的二維圖像坐標(biāo)是否在深度圖的中心范圍內(nèi)，判斷待 測對象是否已經(jīng)傳送至深度相機的正下方；

如果判斷結(jié)果為是，則執(zhí)行從深度相機獲取含有待測對象的深度圖的步驟；如果判斷結(jié)果為否，則等待。

具體地說，在如圖4所示的場景中，深度相機安裝在傳送帶中心上方，包裹被放置傳送帶上，深度相機實時捕捉場景中的深度圖像。當(dāng)包裹出現(xiàn)在深度相機視場范圍內(nèi)時，對包裹目標(biāo)進行分割提取；然后可計算出包裹中心的二維圖像坐標(biāo)，若包裹中心坐標(biāo)出現(xiàn)在圖像中心一定范圍內(nèi)，則認為包裹已傳送至深度相機正下方，并開始對其進行體積測量，否則處于等待測量狀態(tài)；最后對多幀圖像中已測量出的包裹體積結(jié)果求平均，即為最終包裹體積測量的輸出結(jié)果。

此外，可以理解，在本發(fā)明的其它實施方式中，也可以不進行上述判斷是否在深度相機正下方的步驟，并不影響本發(fā)明的效果。

作為優(yōu)選實施例，基于深度相機的包裹體積測量方法流程圖如圖5所示，具體的步驟包括：

1)相機內(nèi)參標(biāo)定

相機內(nèi)參標(biāo)定主要包括焦距、像素基準(zhǔn)點和畸變系數(shù)，可采用比較主流的標(biāo)定方法進行標(biāo)定，如張正友標(biāo)定法。相機內(nèi)參主要用于二維成像平面到三維相機平面的坐標(biāo)轉(zhuǎn)換。

2)深度相機抓取深度圖

通過深度相機抓取含有包裹的深度圖，從而獲取到包裹到深度相機的距離。深度相機可以是但不限于TOF深度相機、雙目深度相機和光場相機，任何可獲取包裹深度信息的相機均適用。

3)提取包裹目標(biāo)

深度圖中由于包裹深度與背景深度的差異性較大，可通過基于直方圖閾 值的圖像分割算法將包裹上表面區(qū)域從背景中提取出來，其它圖像分割算法也適用?；谥狈綀D閾值的圖像分割算法具體實施如下：

a)對深度圖進行直方圖統(tǒng)計；

b)查找直方圖中波谷作為分割閾值T，小于閾值T的即為包裹區(qū)域。由于深度圖中主要場景為包裹和傳送帶，因此直方圖中會形成雙峰，雙峰之間的波谷對應(yīng)的閾值T可以有效地將包裹與傳送帶分割開來。同時包裹區(qū)域?qū)?yīng)的深度值要小于傳送帶深度；

c)對包裹區(qū)域再次進行直方圖統(tǒng)計，計算波峰對應(yīng)的深度值Depth，以(Depth-ΔT,Depth+ΔT)為有效深度范圍再次對包裹進行分割，提取最終的有效包裹上表面區(qū)域。由于相機安裝時，其光軸并不一定完全垂直包裹，會存在一定傾斜角。因此包裹側(cè)面會出現(xiàn)在深度圖中，影響包裹上表面區(qū)域的提取。通過二次分割可以有效地去除包裹側(cè)面干擾，僅保留包裹上表面區(qū)域，ΔT一般取值為2cm，設(shè)置為參數(shù)可調(diào)；

4)包裹二維坐標(biāo)到三維坐標(biāo)轉(zhuǎn)換

在不考慮相機畸變情況下，利用相機內(nèi)參，可將深度圖中包裹目標(biāo)區(qū)域的各像素的二維圖像坐標(biāo)(u,v)轉(zhuǎn)換到以相機光心為中心的三維坐標(biāo)(X^c,Y^c,Z^c),計算公式如下：

其中，f_x和f_y為焦距，(u₀,v₀)為像素基準(zhǔn)點，Z^c為目標(biāo)點到相機的距離，可由深度相機直接獲取。

5)計算包裹高度

在實際相機安裝過程中，相機光軸并不完全垂直于傳送帶平面，會存在一定的傾斜角α，如圖2所示。若利用包裹上表面A點與傳送帶表面B點的 深度差A(yù)B去計算包裹高度H，并不準(zhǔn)確；若利用包裹上表面深度均值與傳送帶表面均值的深度差計算包裹高度H，也會存在一定的誤差。并且傾斜角α越大，其產(chǎn)生的誤差也越大。假設(shè)包裹為規(guī)則立方體，在包裹體積測量過程中，包裹的上表面與傳送帶表面是相互平行的。因此，為了使得包裹高度測量值更為精確，在三維相機坐標(biāo)系下，通過測量包裹上表面與傳送帶表面的兩個平面的距離來表示包裹高度H。

在本發(fā)明中，三維相機坐標(biāo)系下，傳送帶平面表示為z＝ax+by+c₁,由于包裹平面與傳送帶平面平行，則包裹平面可表示為z＝ax+by+c₂。包裹高度H，即為兩平面的距離,其計算公式如下：

在實際應(yīng)用中，由于包裹種類較多，差異性較大，包裹上表面并不一定完全平行于傳送帶平面。因此，先通過最小二乘法擬合傳送帶平面，獲取參數(shù)a、b和c₁,僅在相機安裝后的初始化狀態(tài)擬合一次即可；然后再通過包裹上表面的三維坐標(biāo)點計算出c₂。具體實施方法如下：

首先通過二維圖像坐標(biāo)到三維相機坐標(biāo)的換算關(guān)系，計算出傳送帶表面各點的三維坐標(biāo)(x₁,y₁,z₁)、(x₂,y₂,z₂)、…(x_n,y_n,z_n)；然后采用最小二乘法進行平面擬合。其中，n表示擬合所需的坐標(biāo)點總個數(shù)，n≥3。并不一定是所有傳送帶的坐標(biāo)點，可通過抽樣，獲取一定數(shù)量的坐標(biāo)點即可。但n個數(shù)越多，擬合的平面越精確。三維相機坐標(biāo)下的傳送帶坐標(biāo)點滿足如下關(guān)系：

將上述表達式可進行矩陣換算，可得：

假設(shè)矩陣矩陣矩陣則AM＝B。

因此可推導(dǎo)出：

M＝(A^TA)^-1A^TB

根據(jù)以上推導(dǎo)即可求解出參數(shù)a，b和c₁。然后根據(jù)步驟4)中已計算出的包裹三維坐標(biāo)(x′₁,y′₁,z′₁)、(x′₂,y′₂,z′₂)、…(x′_n,y′_n,z′_n)和包裹平面z＝ax+by+c₂計算出參數(shù)c₂,公式如下：

6)計算包裹長寬

根據(jù)深度圖中的包裹目標(biāo)上表面區(qū)域，求其最小外接矩形，如圖所示。其中二維平面坐標(biāo)系中的四個頂點坐標(biāo)分別為P1(u1,v1))、P2(u2,v2)、P3(u3,v3)、P4(u4,v4)，Q1(u5,v5)和Q4(u8,v8)分別為直線P1P4上1/4和3/4點位置，Q2(u6,v6)和Q3(u7,v7)分別為直線P2P3上1/4和3/4點位置。由于在實際包裹分割時，對應(yīng)的最小外接矩形的四個頂點并不一定都在包裹目標(biāo)區(qū)域，其四個頂點的深度信息可能不是包裹的深度信息，所以通過四個頂點去計算邊長并不準(zhǔn)確。因此，利用圖像包裹區(qū)域中的Q1、Q2、Q3、Q4四點去計算邊長，其在三維相機坐標(biāo)系中的坐標(biāo)分別包裹的長L和寬W計算公式如下：

7)計算包裹體積

根據(jù)包裹的長、寬和高，可以計算出體積，如下：

V＝L·W·H

由于本優(yōu)選例利用深度相機獲取到包裹的深度信息，并將被測包裹的二維圖像坐標(biāo)轉(zhuǎn)換到三維相機坐標(biāo)系中，然后再進行體積測量。因此，是一種基于機器視覺的三維空間測量方法，其測量精度高，操作簡單、方便，并且不受相機拍攝角度和高度影響，也無需對相機安裝高度和角度進行標(biāo)定。

此外，該優(yōu)選例還采用聯(lián)動控制方式，可根據(jù)傳送帶速度對相機輸出的圖像幀率和分辨率進行調(diào)節(jié)，以滿足不同傳輸速度下不同分辨率的應(yīng)用需求。其具體實施的場景示意圖如圖4所示。

深度相機安裝在傳送帶中心上方，包裹被放置傳送帶上，深度相機實時捕捉場景中的深度圖像。當(dāng)包裹出現(xiàn)在深度相機視場范圍內(nèi)時，對包裹目標(biāo)進行分割提取；然后可計算出包裹中心的二維圖像坐標(biāo)，若包裹中心坐標(biāo)出現(xiàn)在圖像中心一定范圍內(nèi)，則認為包裹已傳送至深度相機正下方，并開始對其進行體積測量，否則處于等待測量狀態(tài)；最后對多幀圖像中已測量出的包裹體積結(jié)果求平均，即為最終包裹體積測量的輸出結(jié)果。

深度相機一般有多個不同幀率可選擇，其分別對應(yīng)不同分辨率。本優(yōu)選例可根據(jù)傳送帶速度μ手動或自動調(diào)整深度相機幀率F，以滿足不同深度分辨率下的應(yīng)用需求。當(dāng)傳送帶速度較快時，選擇高幀率輸出；當(dāng)傳送帶速度較慢時，選擇低幀率輸出。若深度相機僅有一個固定幀率，則選擇固定幀率輸出即可。

本發(fā)明的各方法實施方式均可以以軟件、硬件、固件等方式實現(xiàn)。不管本發(fā)明是以軟件、硬件、還是固件方式實現(xiàn)，指令代碼都可以存儲在任何類型的計算機可訪問的存儲器中(例如永久的或者可修改的，易失性的或者非易失性的，固態(tài)的或者非固態(tài)的，固定的或者可更換的介質(zhì)等等)。同樣，存儲器可以例如是可編程陣列邏輯(Programmable Array Logic，簡稱“PAL”)、隨機存取存儲器(Random Access Memory，簡稱“RAM”)、 可編程只讀存儲器(Programmable Read Only Memory，簡稱“PROM”)、只讀存儲器(Read-Only Memory，簡稱“ROM”)、電可擦除可編程只讀存儲器(Electrically Erasable Programmable ROM，簡稱“EEPROM”)、磁盤、光盤、數(shù)字通用光盤(Digital Versatile Disc，簡稱“DVD”)等等。

本發(fā)明第五實施方式涉及一種基于深度相機的體積測量系統(tǒng)，圖6是該基于深度相機的體積測量系統(tǒng)的結(jié)構(gòu)示意圖。如圖所示，該基于深度相機的體積測量系統(tǒng)包括以下模塊：

深度圖獲取模塊，用于從深度相機獲取含有待測對象的深度圖，深度圖包含有待測對象的深度信息；

對象提取模塊，用于根據(jù)深度信息將待測對象從深度圖中提取出來，得到待測對象目標(biāo)區(qū)域；

坐標(biāo)轉(zhuǎn)換模塊，用于利用預(yù)先標(biāo)定的深度相機的參數(shù)，將待測對象的目標(biāo)區(qū)域中各像素的二維圖像坐標(biāo)轉(zhuǎn)換到三維相機坐標(biāo)系下的三維坐標(biāo)；

體積測量模塊，在三維相機坐標(biāo)系下，根據(jù)待測對象的三維坐標(biāo)計算待測對象的高度和長寬，從而計算出待測對象的體積。

優(yōu)選地，在坐標(biāo)轉(zhuǎn)換模塊中，通過以下公式進行坐標(biāo)轉(zhuǎn)換：

其中，(u,v)為像素的二維圖像坐標(biāo)，(X^c,Y^c,Z^c)為三維相機坐標(biāo)系下的三維坐標(biāo)，f_x和f_y為焦距，(u₀,v₀)為像素基準(zhǔn)點，Z^c為目標(biāo)點到相機的距離，可由深度相機直接獲取。

本實施方式通過深度相機獲取的深度信息提取待測對象，并將待測對象的二維圖像坐標(biāo)轉(zhuǎn)換到三維相機坐標(biāo)，然后對體積進行測量，測量精度高，不受拍攝角度和高度影響，無需對相機安裝高度和角度進行標(biāo)定，使用簡單 方便。

第一實施方式是與本實施方式相對應(yīng)的方法實施方式，本實施方式可與第一實施方式互相配合實施。第一實施方式中提到的相關(guān)技術(shù)細節(jié)在本實施方式中依然有效，為了減少重復(fù)，這里不再贅述。相應(yīng)地，本實施方式中提到的相關(guān)技術(shù)細節(jié)也可應(yīng)用在第一實施方式中。

本發(fā)明第六實施方式涉及一種基于深度相機的體積測量系統(tǒng)，第六實施方式在第五實施方式的基礎(chǔ)上進行了改進，主要改進之處在于：利用深度圖中待測對象深度與背景深度的差異性，基于直方圖閾值的圖像分割算法將待測對象上表面區(qū)域從背景中提取出來；通過二次分割可以有效地去除側(cè)面干擾，保留有效的上表面區(qū)域作為待測對象目標(biāo)區(qū)域。具體地說：

對象提取模塊包括以下子模塊：

第一深度值統(tǒng)計模塊，用于對深度圖進行直方圖統(tǒng)計深度值；

第一提取模塊，用于根據(jù)第一分割閾值將待測對象與傳送帶分割開來，將小于第一分割閾值的區(qū)域提取作為初步的待測對象目標(biāo)區(qū)域；

第二深度值統(tǒng)計模塊，用于對初步的待測對象的目標(biāo)區(qū)域再次進行直方圖統(tǒng)計深度值；

第二提取模塊，用于根據(jù)第二分割閾值將待測對象的上表面區(qū)域與待測對象的側(cè)面區(qū)域分割開來，保留上表面區(qū)域作為待測對象目標(biāo)區(qū)域。

第二實施方式是與本實施方式相對應(yīng)的方法實施方式，本實施方式可與第二實施方式互相配合實施。第二實施方式中提到的相關(guān)技術(shù)細節(jié)在本實施方式中依然有效，為了減少重復(fù)，這里不再贅述。相應(yīng)地，本實施方式中提到的相關(guān)技術(shù)細節(jié)也可應(yīng)用在第二實施方式中。

本發(fā)明第七實施方式涉及一種基于深度相機的體積測量系統(tǒng)，第七實施方式在第五實施方式的基礎(chǔ)上進行了改進，主要改進之處在于：在三維相機 坐標(biāo)系下，通過測量包裹上表面與傳送帶表面兩個平面的距離來計算包裹高度，使得包裹高度測量值更為精確；利用待測對象目標(biāo)區(qū)域內(nèi)部的點代替待測對象目標(biāo)區(qū)域最小外接矩形頂點計算待測對象的長和寬，計算結(jié)果更精確。具體地說：

體積測量模塊包括以下子模塊，用于根據(jù)待測對象的三維坐標(biāo)計算待測對象的高度：

平面擬合子模塊，用于根據(jù)傳送帶表面多個坐標(biāo)點的三維坐標(biāo)對傳送帶進行平面擬合，獲取傳送帶平面表達式z＝ax+by+c₁中的參數(shù)a、b和c₁；

待測對象平面參數(shù)計算子模塊，用于根據(jù)傳送帶平面的參數(shù)a、b和c₁，待測對象的目標(biāo)區(qū)域的各像素的三維坐標(biāo)，和待測對象平面表達式z＝ax+by+c₂，計算出待測對象平面表達式的參數(shù)c₂；

高度計算子模塊，用于根據(jù)傳送帶平面和待測對象平面的表達式和上述參數(shù)，根據(jù)下式計算待測對象的高度

體積測量模塊包括以下子模塊，用于根據(jù)待測對象的三維坐標(biāo)計算待測對象的長寬：

外接頂點計算子模塊，用于求解待測對象目標(biāo)區(qū)域的最小外接矩形及該最小外接矩形的四個頂點P₁，P₂，P₃，和P₄；

目標(biāo)區(qū)域內(nèi)選點子模塊，用于選取所述最小外接矩形對角線P₁P₄和P₂P₃上1/4和3/4處的點Q₁，Q₂，Q₃和Q₄；

長寬計算子模塊，用于根據(jù)點Q₁，Q₂，Q₃和Q₄在三維相機坐標(biāo)系中的坐標(biāo)計算待測對象的長和寬：

其中，點Q₁，Q₂，Q₃和Q₄在三維相機坐標(biāo)系中的坐標(biāo)分別為

第三實施方式是與本實施方式相對應(yīng)的方法實施方式，本實施方式可與第三實施方式互相配合實施。第三實施方式中提到的相關(guān)技術(shù)細節(jié)在本實施方式中依然有效，為了減少重復(fù)，這里不再贅述。相應(yīng)地，本實施方式中提到的相關(guān)技術(shù)細節(jié)也可應(yīng)用在第三實施方式中。

本發(fā)明第八實施方式涉及一種基于深度相機的體積測量系統(tǒng)，第八實施方式在第五實施方式的基礎(chǔ)上進行了改進，主要改進之處在于：根據(jù)傳送帶的速度對深度相機的圖像輸出幀率進行調(diào)節(jié)可以滿足不同傳輸速度下不同分辨率的應(yīng)用需求；通過判斷待測對象是否已經(jīng)傳送至深度相機的正下方范圍內(nèi)，決定是否進行體積測量，提高了計算效率。具體地說：

還包括幀率調(diào)節(jié)模塊：用于采用聯(lián)動控制方式，根據(jù)傳送帶的速度對深度相機獲取深度圖的圖像輸出幀率進行調(diào)節(jié)，其中傳送帶的速度越快深度相機獲取深度圖的圖像輸出幀率越高。

還包括測量控制模塊：用于根據(jù)待測對象中心的二維圖像坐標(biāo)是否在深度圖的中心范圍內(nèi)，判斷待測對象是否已經(jīng)傳送至深度相機的正下方。如果判斷結(jié)果為是，則控制深度圖獲取模塊執(zhí)行從深度相機獲取含有待測對象的深度圖；如果判斷結(jié)果為否，則等待。

第四實施方式是與本實施方式相對應(yīng)的方法實施方式，本實施方式可與第四實施方式互相配合實施。第四實施方式中提到的相關(guān)技術(shù)細節(jié)在本實施方式中依然有效，為了減少重復(fù)，這里不再贅述。相應(yīng)地，本實施方式中提到的相關(guān)技術(shù)細節(jié)也可應(yīng)用在第四實施方式中。

作為優(yōu)選例，基于深度相機的體積測量系統(tǒng)主要由四個模塊組成：圖像數(shù)據(jù)采集模塊(即深度圖獲取模塊)、調(diào)節(jié)控制模塊(即幀率調(diào)節(jié)模塊和測量控制模塊)、數(shù)據(jù)處理模塊(即對象提取模塊和坐標(biāo)轉(zhuǎn)換模塊)和體積測 量模塊。各模塊之間關(guān)聯(lián)如圖7所示，其中，

1)圖像數(shù)據(jù)采集模塊：針對包裹測量場景進行實時深度圖數(shù)據(jù)采集；

2)調(diào)節(jié)控制模塊：完成深度相機的圖像幀率調(diào)節(jié)和包裹體積測量控制功能。圖像幀率調(diào)節(jié)是根據(jù)傳送帶的傳輸速度手動或自動調(diào)節(jié)深度相機的圖像輸出幀率；包裹體積測量控制是根據(jù)包裹中心是否在圖像中心來控制是否需要進行體積測量，只有當(dāng)包裹被傳送至深度相機正下方時才進行體積測量；

3)數(shù)據(jù)處理模塊：主要包括包裹目標(biāo)提取和包裹目標(biāo)二維圖像坐標(biāo)到三維坐標(biāo)的轉(zhuǎn)換；

4)體積測量模塊：根據(jù)包裹三維坐標(biāo)進行體積測量。

需要說明的是，本發(fā)明各設(shè)備實施方式中提到的各模塊都是邏輯模塊，在物理上，一個邏輯模塊可以是一個物理模塊，也可以是一個物理模塊的一部分，還可以以多個物理模塊的組合實現(xiàn)，這些邏輯模塊本身的物理實現(xiàn)方式并不是最重要的，這些邏輯模塊所實現(xiàn)的功能的組合才是解決本發(fā)明所提出的技術(shù)問題的關(guān)鍵。此外，為了突出本發(fā)明的創(chuàng)新部分，本發(fā)明上述各設(shè)備實施方式并沒有將與解決本發(fā)明所提出的技術(shù)問題關(guān)系不太密切的模塊引入，這并不表明上述設(shè)備實施方式并不存在其它的模塊。

需要說明的是，在本專利的權(quán)利要求和說明書中，諸如第一和第二等之類的關(guān)系術(shù)語僅僅用來將一個實體或者操作與另一個實體或操作區(qū)分開來，而不一定要求或者暗示這些實體或操作之間存在任何這種實際的關(guān)系或者順序。而且，術(shù)語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者設(shè)備不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、物品或者設(shè)備所固有的要素。在沒有更多限制的情況下，由語句“包括一個”限定的要素，并不排除在包括所述要素的過程、方法、物品或者設(shè) 備中還存在另外的相同要素。

雖然通過參照本發(fā)明的某些優(yōu)選實施方式，已經(jīng)對本發(fā)明進行了圖示和描述，但本領(lǐng)域的普通技術(shù)人員應(yīng)該明白，可以在形式上和細節(jié)上對其作各種改變，而不偏離本發(fā)明的精神和范圍。