本發(fā)明涉及圖像配準(zhǔn)領(lǐng)域，尤其是涉及了一種基于直方圖控制點的圖像配準(zhǔn)目標(biāo)檢測方法。

背景技術(shù)：

目標(biāo)檢測可用于檢測圖像中的人體以及動物的各個器官、部位，以及食物，家居用品等物品的顏色、種類，它是圖像增強、圖像恢復(fù)、特征提取、特征匹配、圖像編碼壓縮和形狀分析等的基礎(chǔ)，在計算機視覺、醫(yī)學(xué)圖像處理，如腫瘤檢測、病變定位、血管造影，還有地質(zhì)勘探、航空偵察，場景理解、機器人的控制、導(dǎo)航以及材料力學(xué)等領(lǐng)域都具有廣泛的應(yīng)用。根據(jù)具體應(yīng)用的不同，有的側(cè)重于通過變換結(jié)果融合兩幅圖像，有的側(cè)重于研究變換本身以獲得對象的一些力學(xué)屬性。圖像配準(zhǔn)技術(shù)經(jīng)歷了從靜態(tài)到動態(tài)，從形態(tài)到功能，從平面到立體的飛速發(fā)展。迭代最近點(ICP)算法，基于點到模型的方法和點到點技術(shù)等，雖然證明了有良好的配準(zhǔn)結(jié)果，但是這些方法的性能在嚴(yán)重閉塞和雜波以及類似的視覺干擾的情況下效果明顯降低。

本發(fā)明提出了一種基于直方圖控制點的圖像配準(zhǔn)目標(biāo)檢測方法，首先將直方圖控制點(HoCP)特征的計算過程描述為縮放變量部分表示，用隱式B樣條(IBS)表示點云，然后將這些尺度變化特征的辨別信息編碼到迭代霍夫森林(IHF)檢測算法中，最后，利用學(xué)習(xí)到的形狀信息以粗略到精細(xì)的方式細(xì)化6D對象姿態(tài)估計，通過初始配準(zhǔn)大致對準(zhǔn)測試對象，通過迭代姿態(tài)細(xì)化進一步改進。本發(fā)明運用了迭代霍夫森林檢測算法的控制點直方圖的新型架構(gòu)，能夠估計給定候選2D邊界框的遮擋和混亂對象的6D姿態(tài)，確保了對象姿態(tài)的細(xì)化，提高在嚴(yán)重閉塞和雜波以及類似的視覺干擾的情況下的配準(zhǔn)效果。

技術(shù)實現(xiàn)要素：

針對用戶在嚴(yán)重閉塞和雜波以及類似的視覺干擾的情況下效果明顯降低等問題，本發(fā)明的目的在于提供一種基于直方圖控制點的圖像配準(zhǔn)目標(biāo)檢測方法，首先將直方圖控制點(HoCP)特征的計算過程描述為縮放變量部分表示，用隱式B樣條(IBS)表示點云，然后將這些尺度變化特征的辨別信息編碼到迭代霍夫森林(IHF)檢測算法中，最后，利用學(xué)習(xí)到的形狀信息以粗略到精細(xì)的方式細(xì)化6D對象姿態(tài)估計，通過初始配準(zhǔn)大致對準(zhǔn)測試對象，通過迭代姿態(tài)細(xì)化進一步改進。

為解決上述問題，本發(fā)明提供一種基于直方圖控制點的圖像配準(zhǔn)目標(biāo)檢測方法，其主要內(nèi)容包括：

(一)縮放變量部分表示：直方圖控制點(HoCP)；

(二)HoCP和迭代霍夫森林(IHF)檢測算法的組合；

(三)6D對象姿態(tài)估計。

其中，所述的縮放變量部分表示：直方圖控制點(HoCP)，給定一個正的深度圖像，最初將其歸一化為一個單位立方體，不同尺度的新點云被采樣如下：

其中，

其中，X＝[X,Y,Z]是原始前景點云的坐標(biāo)向量，是X的平均值，X_N＝[X_N,Y_N,Z_N]是歸一化的前景像素，m是尺度的數(shù)量，α是比例因子，h是比例；常數(shù)s_i取實數(shù)以生成不同尺度的點云，從對應(yīng)于初始?xì)w一化的s₀＝1開始。

進一步地，所述的用隱式B樣條(IBS)表示點云，一旦生成一組尺度空間圖像，首先用IBS的控制點全局地表示這些點云；IBS通過B樣條張量積的組合來定義：

其中，{n_i,j,k}是定義大小為N×N×N的控制點陣的系數(shù)，B_i(x),B_j(y),B_k(z)是樣條基函數(shù)；該定義可以重新表示為以下內(nèi)積：

f(x)＝n^Te(x)＝e(x)^Tn (4)

其中，系數(shù)向量n包括控制值{n_i,j,k}，并且基向量e(x)取決于給定數(shù)據(jù)點，因為它對樣條基函數(shù)乘積{B_i(x)B_j(y)B_k(z)}進行排序；公式(4)中的基向量為整個點云計算，系數(shù)向量n基于3L算法計算；通過以下混合函數(shù)構(gòu)建樣條基函數(shù)B_i(x),B_j(y),B_k(z)：

并重新定義公式(3)，以便確定被歸一化為單位立方體[0 1]³的點云的控制點矢量n：

其中，

Δ＝1/(N-3)

因此，單位立方體被分成N×N×N個體素網(wǎng)格，其中N是IBS分辨率；n中的每個控制點用索引權(quán)重對進行定義：索引號表示相關(guān)控制點所在的網(wǎng)格的頂點。

進一步地，所述的隱式B樣條(IBS)，IBS將全局表示的規(guī)?？臻g深度圖劃分為多個部分；在圖像像素中表示部分大小g，其也描繪了提取部分的大小與全局點云的邊界框之間的比率；提取和表示具有相同大小的部分，即在每個尺度上每個單獨像素周圍生長的部分占據(jù)圖像像素中的相同面積，現(xiàn)在擴展為提取大小不同的部分；

以度量坐標(biāo)定義的3D邊界框在每個尺度空間圖像的單位立方體中遍歷，并且在非零像素周圍提取部分；在該3D邊界框中的數(shù)據(jù)點的總數(shù)對于不同尺度的點云而變化，因此，提取的部分的尺寸不同；

每個部分具有其自己的隱含體積表示，由到部件中心的最接近的控制點形成，沿著位于3D邊界框內(nèi)的深度方向；這些部分描述以級聯(lián)方式表征局部性，在點周圍生長具有不同特性的區(qū)域；將此信息編碼為球面坐標(biāo)中的直方圖，每個零件中心與球體的中心重合，該部分的控制點由半徑t_r的對數(shù)，傾斜度t_θ的余弦描述和方位角t_φ；然后，將球體劃分為二進制數(shù)和二進制數(shù)v_r,v_θ,v_φ之間的關(guān)系，和直方圖坐標(biāo)t_r,t_θ,t_φ，給出如下：

其中，r_min和r_max是具有最小和最大體積的嵌套球的半徑，x,y,z是具有半徑r的每個描述符的笛卡爾坐標(biāo)；r_max等于貼片中心和相關(guān)貼片的最遠(yuǎn)描述符之間的距離；每個區(qū)間中的控制點的數(shù)目被計數(shù)并存儲d＝v_r*v_θ*v_φ維特征矢量f中。

其中，所述的HoCP和迭代霍夫森林(IHF)檢測算法的組合，IHF是隨機二進制決策樹的組合；它僅僅在感興趣對象的前景合成渲染的深度圖像上被訓(xùn)練；從每個訓(xùn)練點云生成一組尺度空間圖像，并采樣一組部分{P_i}，注釋如下：

其中，是以像素為單位的部分中心，Δx_i＝(Δx_i,Δy_i,Δz_i)是零件和物體的中心之間的3D偏移量，是從其提取部分P_i的點云的旋轉(zhuǎn)參數(shù)，D_i是部分的深度圖。

進一步地，所述的迭代霍夫森林(IHF)檢測算法，每個樹通過使用注釋訓(xùn)練部分的子集來構(gòu)造；從中隨機選擇一個模板補丁T，并將其分配給根節(jié)點；測量T和中的每個補丁S_i之間的相似性如下：

(1)深度檢查：檢查表示部分S_i和T的描述符和Tⁿ的深度值，并去除中的空間不一致的深度值，生成Ω，包括塊S_i的空間一致的描述符；

(2)相似性度量：使用Ω，生成特征向量f_Ω，并測量此向量和f_T之間的范數(shù)：

(3)相似性分?jǐn)?shù)比較：根據(jù)將相似性度量的分?jǐn)?shù)與隨機選擇的閾值τ進行比較的分割函數(shù)將每個分片傳遞到左或右子節(jié)點；

通過使用一組隨機分配的分片{T_i}和閾值{τ_i}來在每個節(jié)點處產(chǎn)生一組候選分裂函數(shù)；選擇最佳優(yōu)化偏移和姿態(tài)回歸熵的函數(shù)作為分割函數(shù)；通過遞歸地重復(fù)該過程來生長每個樹，直到滿足森林終止標(biāo)準(zhǔn)；當(dāng)滿足終止條件時，形成葉節(jié)點，并且它們存儲對于對象中心Δx＝(Δx,Δy,Δz)和對象旋轉(zhuǎn)θ＝(θ_r,θ_p,θ_y)；

根據(jù)零件提取方法，中的所有零件，如公式(8)，可以具有相同的大小或可變的大?。粡默F(xiàn)在開始，把可變尺寸部件上訓(xùn)練的森林稱為IHF可變尺寸，通過使用固定尺寸部分作為IHF固定尺寸學(xué)習(xí)的森林。

其中，所述的6D對象姿態(tài)估計，將尺度變量HoCP特征的判別信息編碼到森林中，接下來演示對象的6D姿態(tài)估計，認(rèn)為學(xué)習(xí)的森林是IHF變量大?。凰岢龅募軜?gòu)在兩個步驟中配準(zhǔn)對象：初始配準(zhǔn)和迭代姿態(tài)細(xì)化。

進一步地，所述的初始配準(zhǔn)，大致對準(zhǔn)測試對象，并且該對準(zhǔn)通過迭代姿態(tài)細(xì)化進一步改進；

考慮由粗邊界框I_b檢測到的對象，在迭代時刻k，定義以下量：

Δx^0:k＝{Δx⁰,Δx¹,…,Δx^k}＝{Δx⁰,Δx^1:k}：對象位置預(yù)測的歷史；

θ^0:k＝{θ⁰,θ¹,…,θ^k}＝{θ⁰,θ^1:k}：對象旋轉(zhuǎn)估計的歷史；

V^0:k＝{v⁰,v¹,…,v^k}：應(yīng)用于測試圖像的輸入(噪聲去除)的歷史；

特征向量的集合的歷史，其中

h^k：在迭代k處的單位立方體中的對象尺度(前景像素的尺度)，如公式(2)；

g^k：在迭代k處提取的部分的大??；

將初始配準(zhǔn)制定如下：

找到最大化初始對象位置Δx⁰和初始對象旋轉(zhuǎn)θ⁰的關(guān)節(jié)后密度的最佳參數(shù)；首先將測試圖像標(biāo)準(zhǔn)化為單位立方體；與訓(xùn)練不同，這是對應(yīng)s₀＝1的“單”尺度歸一化，如公式(1)；從全局表示的點云提取的補丁用HoCP特征描述，并且沿所有樹傳遞。

進一步地，所述的初始化配準(zhǔn)階段，在這個階段，從測試圖像中提取最粗糙的補片，即在圖像像素中占據(jù)最大面積的補片；通過累積存儲在葉節(jié)點中的投票來確定所有補丁對對象姿態(tài)的影響，并近似公式(1)中給出的初始配準(zhǔn)；一旦獲得初始假設(shè)x⁰＝(Δx⁰,θ⁰)，則根據(jù)以下標(biāo)準(zhǔn)從I_b中去除屬于背景/前景雜波{P_i}的像素集合：

以及

其中，和是在迭代k處假設(shè)H的深度圖，并且I_b，ψ₁和ψ₂是縮放系數(shù)。

進一步地，所述的迭代姿態(tài)細(xì)化，測試圖像和初始假設(shè)被疊加；利用這個假設(shè)，并且如公式(11)中那樣，由v¹更新測試圖像，并被分配作為第一次迭代的輸入；

它被歸一化表示，單位立方體中的對象“縮放”(h¹)相對增加(與初始配準(zhǔn)相比)，并且計算更多的辨別性控制點描述符n；遍歷單位立方體中的3D邊界框，而標(biāo)準(zhǔn)化對象尺度的增加產(chǎn)生尺寸比在初始配準(zhǔn)期間提取的那些尺寸更小(更精細(xì))的提取片段；這種姿態(tài)細(xì)化處理被迭代地執(zhí)行，直到達(dá)到最大迭代：

以像素為單位提取具有預(yù)定義尺寸的部分，并且在迭代時刻k，g^k將保持與g⁰相同。

附圖說明

圖1是本發(fā)明一種基于直方圖控制點的圖像配準(zhǔn)目標(biāo)檢測方法的系統(tǒng)流程圖。

圖2是本發(fā)明一種基于直方圖控制點的圖像配準(zhǔn)目標(biāo)檢測方法的迭代霍夫森林檢測算法和控制點直方圖。

圖3是本發(fā)明一種基于直方圖控制點的圖像配準(zhǔn)目標(biāo)檢測方法的6D對象姿態(tài)估計。

圖4是本發(fā)明一種基于直方圖控制點的圖像配準(zhǔn)目標(biāo)檢測方法的初始配準(zhǔn)和迭代姿態(tài)細(xì)化。

具體實施方式

需要說明的是，在不沖突的情況下，本申請中的實施例及實施例中的特征可以相互結(jié)合，下面結(jié)合附圖和具體實施例對本發(fā)明作進一步詳細(xì)說明。

圖1是本發(fā)明一種基于直方圖控制點的圖像配準(zhǔn)目標(biāo)檢測方法的系統(tǒng)流程圖。主要包括縮放變量部分表示：直方圖控制點(HoCP)，HoCP和迭代霍夫森林(IHF)檢測算法的組合以及6D對象姿態(tài)估計。

縮放變量部分表示：直方圖控制點(HoCP)，給定一個正的深度圖像，最初將其歸一化為一個單位立方體，不同尺度的新點云被采樣如下：

其中，

其中，X＝[X,Y,Z]是原始前景點云的坐標(biāo)向量，是X的平均值，X_N＝[X_N,Y_N,Z_N]是歸一化的前景像素，m是尺度的數(shù)量，α是比例因子，h是比例；常數(shù)s_i取實數(shù)以生成不同尺度的點云，從對應(yīng)于初始?xì)w一化的s₀＝1開始。

隱式B樣條(IBS)表示點云，一旦生成一組尺度空間圖像，首先用IBS的控制點全局地表示這些點云；IBS通過B樣條張量積的組合來定義：

其中，{n_i,j,k}是定義大小為N×N×N的控制點陣的系數(shù)，B_i(x),B_j(y),B_k(z)是樣條基函數(shù)；該定義可以重新表示為以下內(nèi)積：

f(x)＝n^Te(x)＝e(x)^Tn (4)

其中，系數(shù)向量n包括控制值{n_i,j,k}，并且基向量e(x)取決于給定數(shù)據(jù)點，因為它對樣條基函數(shù)乘積{B_i(x)B_j(y)B_k(z)}進行排序；公式(4)中的基向量為整個點云計算，系數(shù)向量n基于3L算法計算；通過以下混合函數(shù)構(gòu)建樣條基函數(shù)B_i(x),B_j(y),B_k(z)：

并重新定義公式(3)，以便確定被歸一化為單位立方體[0 1]³的點云的控制點矢量n：

其中，

Δ＝1/(N-3)

因此，單位立方體被分成N×N×N個體素網(wǎng)格，其中N是IBS分辨率；n中的每個控制點用索引權(quán)重對進行定義：索引號表示相關(guān)控制點所在的網(wǎng)格的頂點。

IBS將全局表示的規(guī)模空間深度圖劃分為多個部分；在圖像像素中表示部分大小g，其也描繪了提取部分的大小與全局點云的邊界框之間的比率；提取和表示具有相同大小的部分，即在每個尺度上每個單獨像素周圍生長的部分占據(jù)圖像像素中的相同面積，現(xiàn)在擴展為提取大小不同的部分；

以度量坐標(biāo)定義的3D邊界框在每個尺度空間圖像的單位立方體中遍歷，并且在非零像素周圍提取部分；在該3D邊界框中的數(shù)據(jù)點的總數(shù)對于不同尺度的點云而變化，因此，提取的部分的尺寸不同；

每個部分具有其自己的隱含體積表示，由到部件中心的最接近的控制點形成，沿著位于3D邊界框內(nèi)的深度方向；這些部分描述以級聯(lián)方式表征局部性，在點周圍生長具有不同特性的區(qū)域；將此信息編碼為球面坐標(biāo)中的直方圖，每個零件中心與球體的中心重合，該部分的控制點由半徑t_r的對數(shù)，傾斜度t_θ的余弦描述和方位角t_φ；然后，將球體劃分為二進制數(shù)和二進制數(shù)v_r,v_θ,v_φ之間的關(guān)系，和直方圖坐標(biāo)t_r,t_θ,t_φ，給出如下：

其中，r_min和r_max是具有最小和最大體積的嵌套球的半徑，x,y,z是具有半徑r的每個描述符的笛卡爾坐標(biāo)；r_max等于貼片中心和相關(guān)貼片的最遠(yuǎn)描述符之間的距離；每個區(qū)間中的控制點的數(shù)目被計數(shù)并存儲d＝v_r*v_θ*v_φ維特征矢量f中。

圖2是本發(fā)明一種基于直方圖控制點的圖像配準(zhǔn)目標(biāo)檢測方法的迭代霍夫森林檢測算法和控制點直方圖。迭代霍夫森林檢測算法是隨機二進制決策樹的組合；它僅僅在感興趣對象的前景合成渲染的深度圖像上被訓(xùn)練；從每個訓(xùn)練點云生成一組尺度空間圖像，并采樣一組部分{P_i}，注釋如下：

其中，是以像素為單位的部分中心，Δx_i＝(Δx_i,Δy_i,Δz_i)是零件和物體的中心之間的3D偏移量，是從其提取部分P_i的點云的旋轉(zhuǎn)參數(shù)，D_i是部分的深度圖。

迭代霍夫森林(IHF)檢測算法中，每個樹通過使用注釋訓(xùn)練部分的子集來構(gòu)造；從中隨機選擇一個模板補丁T，并將其分配給根節(jié)點；測量T和中的每個補丁S_i之間的相似性如下：

(1)深度檢查：檢查表示部分S_i和T的描述符和Tⁿ的深度值，并去除中的空間不一致的深度值，生成Ω，包括塊S_i的空間一致的描述符；

(2)相似性度量：使用Ω，生成特征向量f_Ω，并測量此向量和f_T之間的范數(shù)：

(3)相似性分?jǐn)?shù)比較：根據(jù)將相似性度量的分?jǐn)?shù)與隨機選擇的閾值τ進行比較的分割函數(shù)將每個分片傳遞到左或右子節(jié)點；

通過使用一組隨機分配的分片{T_i}和閾值{τ_i}來在每個節(jié)點處產(chǎn)生一組候選分裂函數(shù)；選擇最佳優(yōu)化偏移和姿態(tài)回歸熵的函數(shù)作為分割函數(shù)；通過遞歸地重復(fù)該過程來生長每個樹，直到滿足森林終止標(biāo)準(zhǔn)；當(dāng)滿足終止條件時，形成葉節(jié)點，并且它們存儲對于對象中心Δx＝(Δx,Δy,Δz)和對象旋轉(zhuǎn)θ＝(θ_r,θ_p,θ_y)；

根據(jù)零件提取方法，中的所有零件，如公式(8)，可以具有相同的大小或可變的大小；從現(xiàn)在開始，把可變尺寸部件上訓(xùn)練的森林稱為IHF可變尺寸，通過使用固定尺寸部分作為IHF固定尺寸學(xué)習(xí)的森林。

圖3是本發(fā)明一種基于直方圖控制點的圖像配準(zhǔn)目標(biāo)檢測方法的6D對象姿態(tài)估計。將尺度變量HoCP特征的判別信息編碼到森林中，接下來演示對象的6D姿態(tài)估計，認(rèn)為學(xué)習(xí)的森林是IHF變量大??；所提出的架構(gòu)在兩個步驟中配準(zhǔn)對象：初始配準(zhǔn)和迭代姿態(tài)細(xì)化。

圖4是本發(fā)明一種基于直方圖控制點的圖像配準(zhǔn)目標(biāo)檢測方法的初始配準(zhǔn)和迭代姿態(tài)細(xì)化。大致對準(zhǔn)測試對象，并且該對準(zhǔn)通過迭代姿態(tài)細(xì)化進一步改進；

考慮由粗邊界框I_b檢測到的對象，在迭代時刻k，定義以下量：

Δx^0:k＝{Δx⁰,Δx¹,…,Δx^k}＝{Δx⁰,Δx^1:k}：對象位置預(yù)測的歷史；

θ^0:k＝{θ⁰,θ¹,…,θ^k}＝{θ⁰,θ^1:k}：對象旋轉(zhuǎn)估計的歷史；

V^0:k＝{v⁰,v¹,…,v^k}：應(yīng)用于測試圖像的輸入(噪聲去除)的歷史；

特征向量的集合的歷史，其中

h^k：在迭代k處的單位立方體中的對象尺度(前景像素的尺度)，如公式(2)；

g^k：在迭代k處提取的部分的大??；

將初始配準(zhǔn)制定如下：

找到最大化初始對象位置Δx⁰和初始對象旋轉(zhuǎn)θ⁰的關(guān)節(jié)后密度的最佳參數(shù)；首先將測試圖像標(biāo)準(zhǔn)化為單位立方體；與訓(xùn)練不同，這是對應(yīng)s₀＝1的“單”尺度歸一化，如公式(1)；從全局表示的點云提取的補丁用HoCP特征描述，并且沿所有樹傳遞。

在初始化配準(zhǔn)階段，從測試圖像中提取最粗糙的補片，即在圖像像素中占據(jù)最大面積的補片；通過累積存儲在葉節(jié)點中的投票來確定所有補丁對對象姿態(tài)的影響，并近似公式(1)中給出的初始配準(zhǔn)；一旦獲得初始假設(shè)x⁰＝(Δx⁰,θ⁰)，則根據(jù)以下標(biāo)準(zhǔn)從I_b中去除屬于背景/前景雜波{P_i}的像素集合：

以及

其中，和是在迭代k處假設(shè)H的深度圖，并且I_b，ψ₁和ψ₂是縮放系數(shù)。

迭代姿態(tài)細(xì)化，測試圖像和初始假設(shè)被疊加；利用這個假設(shè)，并且如公式(11)中那樣，由v¹更新測試圖像，并被分配作為第一次迭代的輸入；

它被歸一化表示，單位立方體中的對象“縮放”(h¹)相對增加(與初始配準(zhǔn)相比)，并且計算更多的辨別性控制點描述符n；遍歷單位立方體中的3D邊界框，而標(biāo)準(zhǔn)化對象尺度的增加產(chǎn)生尺寸比在初始配準(zhǔn)期間提取的那些尺寸更小(更精細(xì))的提取片段；這種姿態(tài)細(xì)化處理被迭代地執(zhí)行，直到達(dá)到最大迭代：

以像素為單位提取具有預(yù)定義尺寸的部分，并且在迭代時刻k，g^k將保持與g⁰相同。

對于本領(lǐng)域技術(shù)人員，本發(fā)明不限制于上述實施例的細(xì)節(jié)，在不背離本發(fā)明的精神和范圍的情況下，能夠以其他具體形式實現(xiàn)本發(fā)明。此外，本領(lǐng)域的技術(shù)人員可以對本發(fā)明進行各種改動和變型而不脫離本發(fā)明的精神和范圍，這些改進和變型也應(yīng)視為本發(fā)明的保護范圍。因此，所附權(quán)利要求意欲解釋為包括優(yōu)選實施例以及落入本發(fā)明范圍的所有變更和修改。