一種室內(nèi)識別物體棱角并衡量其對移動實體危險程度的方法
【專利摘要】本發(fā)明公開了一種室內(nèi)識別物體棱角并衡量其對移動實體危險程度的方法，主要包括以下步驟：使用Kinect攝像頭同步獲取物體的彩色圖像和深度圖像；對所述深度圖像進行預(yù)處理；對預(yù)處理后的深度圖像進行邊緣檢測生成深度邊緣圖；從所述深度邊緣圖中識別棱角；計算所述棱角的尖銳度；計算所述移動實體相對于所述棱角的移動速度；計算所述棱角對所述移動實體的危險系數(shù)。本發(fā)明根據(jù)深度圖像識別出室內(nèi)物體的棱角，然后綜合考慮棱角與移動實體之間的距離、棱角本身的尖銳程度以及移動實體相對于棱角的移動速度三個方面來衡量棱角對移動實體的危險程度。本發(fā)明適用于小孩頭部可穿戴設(shè)備或機器人立體視覺系統(tǒng)。
【專利說明】-種室內(nèi)識別物體棱角并衡量其對移動實體危險程度的方 法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及立體視覺技術(shù)，尤其涉及一種室內(nèi)識別物體棱角并衡量其對移動實體 危險程度的方法。

【背景技術(shù)】
[0002] 立體視覺是指通過機器視覺同時獲得可見對象的色彩和距離的過程。經(jīng)過幾十年 來的發(fā)展，立體視覺在機器人視覺、航空測繪、軍事運用、醫(yī)學(xué)成像和工業(yè)檢測等領(lǐng)域中的 運用越來越廣。
[0003] 立體視覺采集系統(tǒng)通常采用RGB-D攝像頭。例如，微軟的Kinect攝像頭可W同時 捕獲RGB彩色圖像W及每個像素點對應(yīng)的深度距離數(shù)據(jù)。與標(biāo)準(zhǔn)RGB攝像頭相比，RGB-D攝 像頭能夠提供額外的深度信息W及更高的數(shù)據(jù)精度和魯棒性。
[0004] 室內(nèi)物體棱角通常是指物體表面的尖銳突出部分，該對玩耍中的小孩或機器人自 主活動具有相當(dāng)高的危險性，可W在小孩頭部佩戴可穿戴設(shè)備或在機器人立體視覺系統(tǒng)中 加入棱角識別功能，通過其對棱角的識別和衡量該些棱角的危險程度，及時發(fā)出警告。


【發(fā)明內(nèi)容】

[0005] 本發(fā)明填補了現(xiàn)有技術(shù)中僅僅有對物體的識別還沒有對物體棱角的識別的空白， 并進一步提出了識別出物體棱角后衡量其對移動實體危險程度的方法。
[0006] 本發(fā)明提出了一種室內(nèi)識別物體棱角并衡量其對移動實體危險程度的方法，包括 W下步驟：
[0007] 步驟一：使用Kinect攝像頭同步獲取物體的彩色圖像和深度圖像；
[0008] 步驟二：對深度圖像進行預(yù)處理；
[0009] 步驟H ;對預(yù)處理后的深度圖像進行邊緣檢測生成深度邊緣圖；
[0010] 步驟四；從深度邊緣圖中識別棱角；
[0011] 步驟五：計算棱角的尖銳度；
[0012] 步驟六：計算移動實體相對于棱角的移動速度；
[0013] 步驟走；計算棱角對移動實體的危險系數(shù)。
[0014] 本發(fā)明步驟一中所述的彩色圖像和深度圖像的分辨率均為640*480,采樣頻率均 為30監(jiān)。
[0015] 本發(fā)明步驟二中所述的對深度圖像進行預(yù)處理，進一步包括W下步驟：
[0016] 步驟A1 ;使用中值濾波分別處理彩色圖像和深度圖像；
[0017] 步驟A2 ;使用邊緣檢測算法分別檢測彩色圖像邊緣和深度圖像邊緣；
[0018] 步驟A3 ;根據(jù)彩色圖像邊緣生成彩色DT圖，根據(jù)深度圖像邊緣生成深度DT圖； [001引步驟A4 ;使用k階極小值方法分別處理彩色DT圖和深度DT圖；
[0020] 步驟A5 ;根據(jù)處理后的彩色DT圖和深度DT圖生成CDT圖；
[002。 步驟A6 ;根據(jù)CDT圖求得混合像素點，并把混合像素點和深度圖像中的丟失像素 點合并構(gòu)成混合像素區(qū)；
[0022] 步驟A7 ;使用一個邊緣收斂停止函數(shù)找到混合像素區(qū)的臨界值；
[0023] 步驟A8 ;對混合像素區(qū)進行有效像素填充獲得填充后的深度圖像；
[0024] 步驟A9 ;使用去噪函數(shù)對填充后的深度圖像去噪。
[0025] 本發(fā)明步驟H中采用的檢測算法是化nny算子檢測算法。
[0026] 本發(fā)明步驟四中所述的從深度邊緣圖中識別棱角，進一步包括W下步驟：
[0027] 步驟B1 ;初始化棱角集合為空；
[0028] 步驟B2 ;對深度邊緣圖中像素點按照深度值進行小根堆排序；
[0029] 步驟B3 ;取出堆頂像素點并檢測其深度是否在最小危險范圍內(nèi)，如果在最小危險 范圍內(nèi)，則繼續(xù)執(zhí)行步驟B4,否則識別棱角過程結(jié)束；
[0030] 步驟B4;驗證該像素點是否與已經(jīng)檢測出的棱角距離太近，如果小于棱角間最小 距離，則該像素點不是棱角，否則繼續(xù)執(zhí)行步驟B5 ;
[0031] 步驟B5 ;驗證該像素點深度值是否比其周圍一定半價內(nèi)的像素點都小，如果比其 周圍一定半價內(nèi)的像素點都小，則繼續(xù)執(zhí)行步驟B6,否則該像素點不是棱角；
[003引步驟B6 ;該像素點是棱角，將其添加到已經(jīng)檢測出的棱角集合中；
[0033] 步驟B7 ;判斷已經(jīng)檢測出的棱角數(shù)量是否達到最大數(shù)量，如果達到最大數(shù)量，貝U 識別棱角過程結(jié)束，否則繼續(xù)執(zhí)行步驟B8 ;
[0034] 步驟B8 ;對小根堆進行一次堆調(diào)整，繼續(xù)執(zhí)行步驟B3。
[00巧]本發(fā)明步驟五中所述的計算棱角的尖銳度，進一步包括W下步驟：
[0036] 步驟C1 ;如果棱角集合為空，棱角尖銳度算法結(jié)束，否則繼續(xù)執(zhí)行步驟C2 ;
[0037] 步驟C2 ;計算該棱角和其周圍一定半價內(nèi)的每一個像素點之間的深度距離差和 像素距離差；
[0038] 步驟C3 ;根據(jù)上述的深度距離差和像素距離差計算該棱角在每個方向上的尖銳 角度；
[0039] 步驟C4 ;對該棱角在每個方向上的尖銳角度求平均值得出該棱角的尖銳度。
[0040] 本發(fā)明步驟六中所述的計算移動實體相對于棱角的移動速度，進一步包括W下步 驟：
[0041] 步驟D1 ;在相鄰的兩張圖中，計算前一張圖中的所有棱角和后一張圖中的所有棱 角兩兩之間的余弦夾角，夾角向量為前后兩個棱角的每種顏色分布頻率；
[0042] 步驟D2;在相鄰的兩張圖中，計算前一張圖中的所有棱角和后一張圖中的所有棱 角兩兩之間的仿射不變矩；
[0043] 步驟D3;根據(jù)上述余弦夾角與仿射不變矩差值的比值確定相鄰兩張圖中存在的 相同棱角；
[0044] 步驟D4;使用上述的相同棱角之間的深度差除W拍攝兩幅圖的時間間隔得出移 動實體相對于該棱角的移動速度。
[0045] 本發(fā)明步驟走中所述的計算棱角對移動實體的危險系數(shù)，進一步包括W下步驟：
[0046] 步驟E1 ;計算該棱角深度值與該棱角尖銳度的乘積；
[0047] 步驟E2;使用移動實體相對于該棱角的移動速度除W上述乘積得出該棱角對移 動實體的危險系數(shù)。
[0048] 本發(fā)明提出了在識別物體棱角過程中靈敏度的概念。在不同的室內(nèi)環(huán)境或不同的 目標(biāo)群中，用戶可W調(diào)整識別物體棱角的靈敏度，例如在廚房等相對危險的環(huán)境中可W設(shè) 置較高的靈敏度或?qū)^大的小孩可W設(shè)置較低的靈敏度，使之更加便利和智能化。

【專利附圖】

【附圖說明】
[0049] 圖1為本發(fā)明實施例的室內(nèi)識別物體棱角并衡量其對移動實體危險程度的方法 的流程圖。
[0050] 圖2為本發(fā)明實施例的某一室內(nèi)環(huán)境前一個時刻的彩色圖像和深度圖像；其中， 圖2(a)為彩色圖像，圖2化）為深度圖像。
[0051] 圖3為上述室內(nèi)環(huán)境前一個時刻修復(fù)后的深度圖像和深度邊緣圖；其中，圖3(a) 為深度圖像，圖3(b)為深度邊緣圖。
[0052] 圖4為上述室內(nèi)環(huán)境前一個時刻識別出的棱角分布圖；其中，圖4(a)為彩色圖像， 圖4化）為深度圖像。
[005引圖5為上述室內(nèi)環(huán)境后一個時刻的彩色圖像和深度圖像；其中，圖5(a)為彩色圖 像，圖5(b)為深度圖像。
[0054] 圖6為上述室內(nèi)環(huán)境后一個時刻修復(fù)后的深度圖像和深度邊緣圖；其中，圖6(a) 為深度圖像，圖6(b)為深度邊緣圖。
[0055] 圖7為上述室內(nèi)環(huán)境后一個時刻識別出的棱角分布圖；其中，圖7(a)為彩色圖像， 圖7化）為深度圖像。
[0056] 圖8為本發(fā)明實施例的從深度邊緣圖中識別棱角的流程圖。
[0057] 圖9為本發(fā)明實施例的計算棱角的尖銳度的流程圖。

【具體實施方式】
[0058] 結(jié)合W下具體實施例和附圖，對本發(fā)明作進一步的詳細(xì)說明。實施本發(fā)明的過程、 條件W及實驗方法等，除了 W下?？谔峒暗膬?nèi)容外，均為本領(lǐng)域的基本知識，本發(fā)明沒有特 別限制內(nèi)容。
[0059] 本發(fā)明通過W下步驟解決，如圖1所示。
[0060] 步驟一：使用Kinect攝像頭同步獲取物體的彩色圖像和深度圖像，其 中彩色圖像數(shù)據(jù)流格式為RgbResolution640x48(Fps30,深度圖像數(shù)據(jù)流格式為 Resolution640x48(Fps30,彩色圖像和深度圖像樣例見圖2和圖5。
[0061] 步驟二：對深度圖像進行預(yù)處理，進一步包括W下步驟：
[0062] 步驟A1 ;使用中值濾波分別處理彩色圖像和深度圖像。首先是對彩色圖像進行灰 度化，然后用濾波器大小為[5,5]的中值濾波函數(shù)對其進行中值濾波；處理深度圖像則是 直接用濾波器大小為[5, 5]的中值濾波函數(shù)對其進行中值濾波。
[0063] 步驟A2 ;使用邊緣檢測算法分別檢測彩色圖像邊緣和深度圖像邊緣。檢測彩色圖 像邊緣和深度圖像邊緣的邊緣檢測算法均采用Canny算子檢測算法。
[0064] 步驟A3 ;根據(jù)彩色圖像邊緣生成彩色DT (Distance Transform,距離變換）圖，根 據(jù)深度圖像邊緣生成深度DT圖。DT圖定義如下；無論是彩色DT圖還是深度DT圖，在圖像 邊緣上的像素點，其DT值為0,否則為〇°。
[0065] 步驟A4 ;使用k階極小值方法分別處理彩色DT圖和深度DT圖。具體處理過程如 下：
[0066]

【權(quán)利要求】
1. 一種室內(nèi)識別物體棱角并衡量其對移動實體危險程度的方法，其特征在于，包括以 下步驟： 步驟一：使用Kinect攝像頭同步獲取物體的彩色圖像和深度圖像； 步驟二：對所述深度圖像進行預(yù)處理； 步驟三：對預(yù)處理后的深度圖像進行邊緣檢測生成深度邊緣圖； 步驟四：從所述深度邊緣圖中識別棱角； 步驟五：計算所述棱角的尖銳度； 步驟六：計算所述移動實體相對于所述棱角的移動速度； 步驟七：計算所述棱角對所述移動實體的危險系數(shù)。
2. 如權(quán)利要求1所述的室內(nèi)識別物體棱角并衡量其對移動實體危險程度的方法，其特 征在于，步驟一中所述彩色圖像和深度圖像的分辨率均為640*480,采樣頻率均為30HZ。
3. 如權(quán)利要求1所述的室內(nèi)識別物體棱角并衡量其對移動實體危險程度的方法，其特 征在于，步驟二中的預(yù)處理進一步包括： 步驟A1 :使用中值濾波分別處理所述彩色圖像和深度圖像； 步驟A2 :使用邊緣檢測算法分別檢測彩色圖像邊緣和深度圖像邊緣； 步驟A3 :根據(jù)彩色圖像邊緣生成彩色DT圖，根據(jù)深度圖像邊緣生成深度DT圖； 步驟A4 :使用k階極小值方法分別處理所述彩色DT圖和深度DT圖； 步驟A5 :根據(jù)處理后的彩色DT圖和深度DT圖生成⑶T圖； 步驟A6 :根據(jù)所述CDT圖求得混合像素點，并將所述混合像素點和深度圖像中的丟失 像素點合并構(gòu)成混合像素區(qū)； 步驟A7 :使用一個邊緣收斂停止函數(shù)找到所述混合像素區(qū)的臨界值； 步驟A8 :對所述混合像素區(qū)進行有效像素填充獲得填充后的深度圖像； 步驟A9 :使用去噪函數(shù)對所述填充后的深度圖像去噪。
4. 如權(quán)利要求1所述的室內(nèi)識別物體棱角并衡量其對移動實體危險程度的方法，其特 征在于，步驟三中采用的檢測算法是Canny算子檢測算法。
5. 如權(quán)利要求1所述的室內(nèi)識別物體棱角并衡量其對移動實體危險程度的方法，其特 征在于，步驟四中進一步包括： 步驟B1 :初始化棱角集合為空； 步驟B2 :對深度邊緣圖中像素點按照深度值進行小根堆排序； 步驟B3 :取出堆頂像素點并檢測其深度是否在最小危險范圍內(nèi)，如果在最小危險范圍 內(nèi)，則繼續(xù)執(zhí)行步驟B4,否則識別棱角過程結(jié)束； 步驟B4:驗證該像素點是否與已經(jīng)檢測出的棱角距離太近，如果小于棱角間最小距 離，則該像素點不是棱角，否則繼續(xù)執(zhí)行步驟B5 ; 步驟B5 :驗證該像素點深度值是否比其周圍一定半價內(nèi)的像素點都小，如果比其周圍 一定半價內(nèi)的像素點都小，則繼續(xù)執(zhí)行步驟B6,否則該像素點不是棱角； 步驟B6 :該像素點是棱角，將其添加到已經(jīng)檢測出的棱角集合中； 步驟B7 :判斷已經(jīng)檢測出的棱角數(shù)量是否達到最大數(shù)量，如果達到最大數(shù)量，則識別 棱角過程結(jié)束，否則繼續(xù)執(zhí)行步驟B8 ; 步驟B8 :對小根堆進行一次堆調(diào)整，繼續(xù)執(zhí)行步驟B3。
6. 如權(quán)利要求1所述的室內(nèi)識別物體棱角并衡量其對移動實體危險程度的方法，其特 征在于，步驟五中進一步包括： 步驟C1 :如果棱角集合為空，棱角尖銳度算法結(jié)束，否則繼續(xù)執(zhí)行步驟C2 ; 步驟C2 :計算所述棱角和其周圍一定半價內(nèi)的每一個像素點之間的深度距離差和像 素距離差； 步驟C3 :根據(jù)上述的深度距離差和像素距離差計算該棱角在每個方向上的尖銳角度； 步驟C4 :對該棱角在每個方向上的尖銳角度求平均值得出該棱角的尖銳度。
7. 如權(quán)利要求1所述的室內(nèi)識別物體棱角并衡量其對移動實體危險程度的方法，其特 征在于，步驟六中進一步包括： 步驟D1 :在相鄰的兩張圖中，計算前一張圖中的所有棱角和后一張圖中的所有棱角兩 兩之間的余弦夾角，夾角向量為前后兩個棱角的顏色分布頻率； 步驟D2 :在相鄰的兩張圖中，計算前一張圖中的所有棱角和后一張圖中的所有棱角兩 兩之間的仿射不變矩； 步驟D3 :根據(jù)上述余弦夾角與仿射不變矩的比值確定相鄰兩張圖中存在的同一個棱 角； 步驟D4:使用上述的同一個棱角之間的深度差除以拍攝兩幅圖的時間間隔得出移動 實體相對于該棱角的移動速度。
8. 如權(quán)利要求1所述的室內(nèi)識別物體棱角并衡量其對移動實體危險程度的方法，其特 征在于，步驟七中進一步包括： 步驟E1 :計算所述棱角的深度值與所述棱角的尖銳度的乘積； 步驟E2 :使用移動實體相對于所述棱角的移動速度除以上述乘積得出該棱角對移動 實體的危險系數(shù)。
【文檔編號】G06T7/00GK104504678SQ201410663093
【公開日】2015年4月8日 申請日期:2014年11月19日 優(yōu)先權(quán)日:2014年11月19日
【發(fā)明者】魏同權(quán), 閆建明, 周俊龍, 汪俊馬, 陳箭飛 申請人:華東師范大學(xué)