基于雙目相機與毫米波雷達(dá)的可穿戴避障裝置及避障方法
【專利摘要】本發(fā)明涉及一種基于雙目相機與毫米波雷達(dá)的可穿戴避障裝置及避障方法，屬于可穿戴設(shè)備領(lǐng)域，主要用在幫助視覺障礙人士，或運動設(shè)備等，躲避障礙物。該方法包括以下步驟：步驟1，對雙目相機進行標(biāo)定，以滿足獲得深度圖像的基本條件；步驟2，分別利用毫米波雷達(dá)和雙目相機進行數(shù)據(jù)采集；步驟3，分別對毫米波雷達(dá)和雙目相機采集的數(shù)據(jù)進行處理，得到障礙物相對行人或設(shè)備的距離，速度，方向等信息；步驟4，綜合毫米波雷達(dá)和雙目相機的數(shù)據(jù)處理結(jié)果，給出兩種設(shè)備相互驗證后的結(jié)果。本發(fā)明融合了毫米波雷達(dá)和雙目相機的信息，能夠解決單一設(shè)備測量結(jié)果不可靠等問題，提高測量的精度和可靠度，幫助視覺障礙人士或者運動設(shè)備躲避存在的障礙物。
【專利說明】
基于雙目相機與毫米波雷達(dá)的可穿戴避障裝置及避障方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及可穿戴設(shè)備領(lǐng)域，尤其涉及一種基于雙目相機與毫米波雷達(dá)的可穿戴 避障裝置及避障方法，具體涉及了雙目相機和毫米波雷達(dá)技術(shù)，是融合雙目相機的深度圖 像和毫米波雷達(dá)信息，幫助視覺障礙人士或運動設(shè)備，躲避障礙物的裝置和方法。
【背景技術(shù)】
[0002] 眼睛是人類獲取外部信息最多的器官，存在視覺障礙的人，很難應(yīng)對日常生活中 經(jīng)常出現(xiàn)的障礙物。簡單的盲杖提供的幫助有限，經(jīng)常會出現(xiàn)漏檢的情況;導(dǎo)盲犬則需要長 達(dá)數(shù)年的專業(yè)訓(xùn)練，并且在有的場合不允許進入;仿生眼植入對人體有創(chuàng)傷，并且高昂的費 用，并不適合普通視覺障礙人士使用。而傳統(tǒng)的電子視覺輔助工具主要包括雙目視覺輔助 系統(tǒng)、主動光深度相機輔助系統(tǒng)、激光測距系統(tǒng)等。
[0003] 基于雙目相機的視覺輔助技術(shù)可以提供一定范圍內(nèi)的深度圖像，為視覺障礙人士 躲避障礙物能夠提供一定的幫助，但是單套雙目相機系統(tǒng)，對于圖像匹配有很高的要求，對 于紋理不顯著的地方容易造成漏檢，并且需要的匹配算法復(fù)雜，需要的計算量大，容易造成 處理結(jié)果延遲。
[0004] 主動光深度相機相比雙目相機優(yōu)點在于能夠?qū)崟r獲取稠密精確深度圖像，但是在 室外受日光的影響較大，造成遠(yuǎn)處障礙物無法準(zhǔn)確探測。并且相機都有固定的視場角，不能 準(zhǔn)確探測視場角以外的環(huán)境狀況。而激光測距或者超聲波測距系統(tǒng)只能針對單點物體測 距，不能有限探測障礙物的整體形貌，也很容易造成障礙物的誤判和漏判。
[0005] 隨著電子技術(shù)的發(fā)展，小型化低功耗的毫米波雷達(dá)系統(tǒng)已經(jīng)出現(xiàn)，并開始大規(guī)模 應(yīng)用。探測距離超過l〇m，功耗僅有200mW左右的毫米波雷達(dá)天線已經(jīng)出現(xiàn)，非常適合用在可 穿戴設(shè)備領(lǐng)域，幫助視覺障礙人士躲避存在的障礙物。小體積低功耗的特點也使其在無人 機等注重體積和功耗的運動設(shè)備領(lǐng)域有廣闊的應(yīng)用。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明針對現(xiàn)有技術(shù)的不足，提供了一種基于雙目相機與毫米波雷達(dá)的可穿戴避 障裝置及避障方法。
[0007] 為了實現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案予以解決:一種基于雙目相機與毫 米波雷達(dá)的可穿戴避障裝置的避障方法，具體包括下述步驟：
[0008] 步驟1、對雙目相機進行標(biāo)定，獲取雙目相機參數(shù)，校正雙目相機圖片，并進行圖像 匹配，以獲取相機視場內(nèi)的深度圖像；
[0009] 步驟2、開啟雙目相機和毫米波雷達(dá)，接受雙目相機和毫米波雷達(dá)的數(shù)據(jù)；
[0010] 步驟3、對雙目相機的數(shù)據(jù)結(jié)果進行處理分析，獲取運動路徑上的障礙物的距離和 方向，
[0011] 步驟4、對毫米波雷達(dá)的數(shù)據(jù)進行處理分析，排除虛假目標(biāo)，獲取運動路徑上的障 礙物的距離，方向和運動速度；
[0012]步驟5、根據(jù)步驟3和步驟4得到雙目相機和毫米波雷達(dá)的數(shù)據(jù)處理結(jié)果，給出兩種 設(shè)備相互驗證后的結(jié)果，并通過交互模塊告知使用者，幫助其躲避存在的障礙物。
[0013]進一步的，所述步驟3具體為：
[0014]步驟3.1、用雙目相機獲取視場范圍內(nèi)的RGB圖像和紅外圖像；
[0015] 步驟3.2、通過雙目相機兩個單目圖像的匹配，計算出深度圖像信息；
[0016] 步驟3.2、根據(jù)步驟3.2獲得的深度圖像信息判斷障礙物的位置和尺寸；
[0017]步驟3.3、根據(jù)前后測量多幀圖像來獲得運動物體的運動速度和運動方向。
[0018]進一步的，所述步驟4具體為：
[0019] 步驟4.1、毫米波雷達(dá)采用FMCW模式，將三角波輸入到毫米波雷達(dá)天線的VC0端口；
[0020] 步驟4.2、天線向外輻射電磁波，該電磁波在遇到行人、行車或其它障礙物時，返回 信號；
[0021] 步驟4.3、對返回的信號依次進行放大處理、AD轉(zhuǎn)化以及數(shù)字時域濾波；
[0022] 步驟4.4、對步驟4.3得到的信號進行加窗處理，以防止在進行傅里葉變換的時候 出現(xiàn)數(shù)據(jù)斷點或數(shù)據(jù)不平滑；
[0023] 步驟4.5、對加窗處理后的數(shù)據(jù)的順序進行位置變化；
[0024] 步驟4.6、對步驟4.5位置變化后的數(shù)據(jù)進行快速傅里葉變換；
[0025] 步驟4.7、將步驟4.6快速傅里葉變換后的數(shù)據(jù)在頻域再次對其進行濾波處理；
[0026] 步驟4.8、根據(jù)三角波調(diào)制的計算公式計算出障礙物的運動速度、與設(shè)備佩戴者之 間的距離和角度信息。
[0027] 進一步的，所述三角波調(diào)制的計算公式計算出障礙物的運動速度，與設(shè)備佩戴者 之間的距離信息，具體如下：
[0030] 其中CQ為光速，fup為發(fā)射波在三角波調(diào)制時一個周期內(nèi)前半周期和后半周期的頻 率差值和心。胃為接受波在三角波調(diào)制時一個周期內(nèi)前半周期和后半周期的頻率差值，Af 為調(diào)頻寬度，T為調(diào)制信號周期，fo為雷達(dá)發(fā)射頻率，v為物體運動速度，R為障礙物和雷達(dá)之 間的距離。
[0031] 進一步的，所述步驟5具體包括以下步驟：
[0032] 步驟5.1、比較雙目相機給出的計算結(jié)果和毫米波雷達(dá)給出的計算結(jié)果，如果兩個 結(jié)果相同，則直接將這個結(jié)果通過交互模塊告知使用者；
[0033] 步驟5.2、如果兩個結(jié)果相差不大，則將兩個結(jié)果進行平均，然后將平均值通過交 互模塊告知使用者；
[0034] 步驟5.3、如果兩個結(jié)果相差很大，則將該結(jié)果排除，等待下次計算結(jié)果。
[0035] -種基于雙目相機與毫米波雷達(dá)的可穿戴避障裝置，包括雙目相機、毫米波雷達(dá)、 處理模塊和交互模塊;所述雙目相機、毫米波雷達(dá)和交互模塊均與處理模塊相連;所述雙目 相機通過雙目匹配的方法獲得深度圖像;所述毫米波雷達(dá)用于檢測障礙物的后向散射電磁 波;所述處理模塊接收雙目相機和毫米波雷達(dá)的數(shù)據(jù)，并將這些數(shù)據(jù)進行計算，排除虛假信 息，進行數(shù)據(jù)互驗，融合的處理;處理模塊將處理好的障礙物運動速度，與設(shè)備佩戴者之間 的距離和方向數(shù)據(jù)通過交互模塊實時與使用者進行信息交互。
[0036] 進一步的，所述毫米波雷達(dá)是一種功耗很低體積很小的新型毫米波雷達(dá)。
[0037] 進一步的，所述交互模塊包括合成語音的語音合成器和振動電機構(gòu)成的觸覺傳感 器。
[0038] 本發(fā)明的有益效果是:本發(fā)明融合了毫米波雷達(dá)和雙目相機的信息，能夠解決單 一設(shè)備測量結(jié)果不可靠等問題，提高測量的精度和可靠度，幫助視覺障礙人士或者運動設(shè) 備躲避存在的障礙物。
【附圖說明】
[0039]圖1為本發(fā)明系統(tǒng)流程圖；
[0040]圖2為本發(fā)明的毫米波雷達(dá)信號處理流程圖；
[0041]圖3為本發(fā)明的FMCW毫米波雷達(dá)三角波調(diào)制計算方法示意圖。
【具體實施方式】
[0042]下面結(jié)合附圖對本發(fā)明作進一步的說明。
[0043] 本發(fā)明提出了一種基于雙目相機與毫米波雷達(dá)的可穿戴避障裝置，旨在幫助視覺 障礙人士或運動設(shè)備躲避存在的障礙物。將雙目相機系統(tǒng)和低功耗毫米波雷達(dá)系統(tǒng)有機結(jié) 合起來，以提高整個系統(tǒng)的穩(wěn)定性和魯棒性。該裝置包括雙目相機、毫米波雷達(dá)、處理模塊 和交互模塊;所述雙目相機、毫米波雷達(dá)和交互模塊均與處理模塊相連;所述雙目相機通過 雙目匹配的方法獲得深度圖像;所述毫米波雷達(dá)用于檢測障礙物的后向散射電磁波;所述 處理模塊接收雙目相機和毫米波雷達(dá)的數(shù)據(jù)，并將這些數(shù)據(jù)進行計算，排除虛假信息，進行 數(shù)據(jù)互驗，融合的處理;處理模塊將處理好的障礙物運動速度，與設(shè)備佩戴者之間的距離和 方向數(shù)據(jù)通過交互模塊實時與使用者進行信息交互
[0044] 如圖1所示，可穿戴避障裝置的避障方法包括以下步驟：
[0045] 步驟1、對雙目相機進行標(biāo)定，以滿足獲得深度圖像的基本條件；用雙目相機對標(biāo) 準(zhǔn)的棋盤格進行照相，對雙目相機產(chǎn)生的兩幅RGB圖像進行圖像匹配，獲取雙目相機參數(shù)， 得到視場內(nèi)的深度圖像；
[0046] 步驟2、佩戴該可穿戴避障裝置的視覺障礙人士，或者運動設(shè)備，在行走(運動)過 程中開啟雙目相機和毫米波雷達(dá)，接受雙目相機和毫米波雷達(dá)系統(tǒng)的數(shù)據(jù)；
[0047]步驟3、對步驟2中雙目相機檢測到的數(shù)據(jù)結(jié)果進行處理分析，獲取運動路徑上的 障礙物的距離和方向，具體包括以下步驟：
[0048]步驟3.1、用雙目相機獲取視場范圍內(nèi)的RGB圖像和紅外圖像；
[0049] 步驟3.2、通過雙目相機兩個單目圖像的匹配，計算出深度圖像信息；
[0050] 步驟3.2、根據(jù)步驟3.2獲得的深度圖像信息判斷障礙物的位置和尺寸；
[0051] 步驟3.3、根據(jù)前后測量多幀圖像來獲得運動物體的運動速度和運動方向；
[0052]步驟4、對步驟2中毫米波雷達(dá)檢測到的數(shù)據(jù)進行處理分析，排除虛假目標(biāo)，獲取運 動路徑上的障礙物的距離、方向和運動速度，如圖2所示，具體包括以下步驟：
[0053] 步驟4.1、毫米波雷達(dá)采用FMCW模式，并且使用三角波調(diào)制，系統(tǒng)MCU的DAC產(chǎn)生頻 率一定的三角波，或采用其它方式產(chǎn)生頻率穩(wěn)定的三角波，輸入到天線的VC0端口；
[0054] 步驟4.2、天線向外輻射電磁波，該電磁波在遇到行人、行車或其它障礙物時，返回 信號；
[0055]步驟4.3、由于該信號十分微弱，需要低噪聲前置放大器給予放大，并將其進行AD 轉(zhuǎn)化，變成數(shù)字信號，然后進行數(shù)字時域濾波，以消除其它信號的干擾；
[0056]步驟4.4、數(shù)字時域濾波后，對該信號進行加窗處理，以防止在進行傅里葉變換的 時候出現(xiàn)數(shù)據(jù)斷點或數(shù)據(jù)不平滑；
[0057]步驟4.5、由于快速傅里葉變換是基于蝶形運算的，所以加窗處理后的數(shù)據(jù)的順序 需要根據(jù)需求進行位置變化，以方便進行快速傅里葉變換；
[0058]步驟4.6、對步驟4.5位置變化后的數(shù)據(jù)進行快速傅里葉變換；
[0059]步驟4.7、將步驟4.6快速傅里葉變換后的數(shù)據(jù)在頻域再次對其進行濾波處理； [0060]步驟4.8、根據(jù)三角波調(diào)制的計算公式計算出障礙物的運動速度，與設(shè)備佩戴者之 間的距離等信息；
[0061 ]三角波調(diào)制毫米波雷達(dá)的計算公式如下(示意圖見圖3):
[0064] 其中CQ為光速，fup為發(fā)射波在三角波調(diào)制時一個周期內(nèi)前半周期和后半周期的頻 率差值和心。胃為接受波在三角波調(diào)制時一個周期內(nèi)前半周期和后半周期的頻率差值，Af 為調(diào)頻寬度，T為調(diào)制信號周期，fo為雷達(dá)發(fā)射頻率，v為物體運動速度，R為障礙物和雷達(dá)之 間的距離；
[0065] 步驟5、根據(jù)步驟3和步驟4得到雙目相機和毫米波雷達(dá)的數(shù)據(jù)處理結(jié)果，給出兩種 設(shè)備相互驗證后的結(jié)果，并通過交互模塊告知使用者，幫助其躲避存在的障礙物;具體包括 以下步驟：
[0066] 步驟5.1、比較雙目相機給出的計算結(jié)果和毫米波雷達(dá)給出的計算結(jié)果，如果兩個 結(jié)果相同，則直接將這個結(jié)果通過交互模塊告知使用者；
[0067] 步驟5.2、如果兩個結(jié)果相差不大，則將兩個結(jié)果進行平均，然后將平均值通過交 互模塊告知使用者；
[0068] 步驟5.3、如果兩個結(jié)果相差很大，則將該結(jié)果排除，等待下次計算結(jié)果；
[0069]步驟5.4、交互模塊包括合成語音的語音合成器和振動電機構(gòu)成的觸覺傳感器。
【主權(quán)項】
1. 一種基于雙目相機與毫米波雷達(dá)的可穿戴避障裝置的避障方法，其特征在于，具體 包括下述步驟： 步驟1、對雙目相機進行標(biāo)定，獲取雙目相機參數(shù)，校正雙目相機圖片，并進行圖像匹 配，以獲取相機視場內(nèi)的深度圖像； 步驟2、開啟雙目相機和毫米波雷達(dá)，接受雙目相機和毫米波雷達(dá)的數(shù)據(jù)； 步驟3、對雙目相機的數(shù)據(jù)結(jié)果進行處理分析，獲取運動路徑上的障礙物的距離和方 向， 步驟4、對毫米波雷達(dá)的數(shù)據(jù)進行處理分析，排除虛假目標(biāo)，獲取運動路徑上的障礙物 的距離，方向和運動速度； 步驟5、根據(jù)步驟3和步驟4得到雙目相機和毫米波雷達(dá)的數(shù)據(jù)處理結(jié)果，給出兩種設(shè)備 相互驗證后的結(jié)果，并通過交互模塊告知使用者，幫助其躲避存在的障礙物。2. 根據(jù)權(quán)利要求1所述的基于雙目相機與毫米波雷達(dá)的可穿戴避障裝置的避障方法， 其特征在于，所述步驟3具體為： 步驟3.1、用雙目相機獲取視場范圍內(nèi)的RGB圖像和紅外圖像； 步驟3.2、通過雙目相機兩個單目圖像的匹配，計算出深度圖像信息； 步驟3.2、根據(jù)步驟3.2獲得的深度圖像信息判斷障礙物的位置和尺寸； 步驟3.3、根據(jù)前后測量多幀圖像來獲得運動物體的運動速度和運動方向。3. 根據(jù)權(quán)利要求1所述的基于雙目相機與毫米波雷達(dá)的可穿戴避障裝置的避障方法， 其特征在于，所述步驟4具體為： 步驟4.1、毫米波雷達(dá)采用FMCW模式，將三角波輸入到毫米波雷達(dá)天線的VCO端口； 步驟4.2、天線向外輻射電磁波，該電磁波在遇到行人、行車或其它障礙物時，返回信 號； 步驟4.3、對返回的信號依次進行放大處理、AD轉(zhuǎn)化以及數(shù)字時域濾波； 步驟4.4、對步驟4.3得到的信號進行加窗處理，以防止在進行傅里葉變換的時候出現(xiàn) 數(shù)據(jù)斷點或數(shù)據(jù)不平滑； 步驟4.5、對加窗處理后的數(shù)據(jù)的順序進行位置變化； 步驟4.6、對步驟4.5位置變化后的數(shù)據(jù)進行快速傅里葉變換； 步驟4.7、將步驟4.6快速傅里葉變換后的數(shù)據(jù)在頻域再次對其進行濾波處理； 步驟4.8、根據(jù)三角波調(diào)制的計算公式計算出障礙物的運動速度、與設(shè)備佩戴者之間的 距離和角度信息。4. 根據(jù)權(quán)利要求3所述的基于雙目相機與毫米波雷達(dá)的可穿戴避障裝置的避障方法， 其特征在于，所述三角波調(diào)制的計算公式計算出障礙物的運動速度，與設(shè)備佩戴者之間的 距離信息，具體如下：其中cq為光速，fup為發(fā)射波在三角波調(diào)制時一個周期內(nèi)前半周期和后半周期的頻率差 值和心_為接受波在三角波調(diào)制時一個周期內(nèi)前半周期和后半周期的頻率差值，△ f為調(diào) 頻寬度，T為調(diào)制信號周期，fo為雷達(dá)發(fā)射頻率，v為物體運動速度，R為障礙物和雷達(dá)之間的 距離。5. 根據(jù)權(quán)利要求1所述的基于雙目相機與毫米波雷達(dá)的可穿戴避障裝置的避障方法， 其特征在于，所述步驟5具體包括以下步驟： 步驟5.1、比較雙目相機給出的計算結(jié)果和毫米波雷達(dá)給出的計算結(jié)果，如果兩個結(jié)果 相同，則直接將這個結(jié)果通過交互模塊告知使用者； 步驟5.2、如果兩個結(jié)果相差不大，則將兩個結(jié)果進行平均，然后將平均值通過交互模 塊告知使用者； 步驟5.3、如果兩個結(jié)果相差很大，則將該結(jié)果排除，等待下次計算結(jié)果。6. -種基于雙目相機與毫米波雷達(dá)的可穿戴避障裝置，其特征在于，包括雙目相機、毫 米波雷達(dá)、處理模塊和交互模塊;所述雙目相機、毫米波雷達(dá)和交互模塊均與處理模塊相 連;所述雙目相機通過雙目匹配的方法獲得深度圖像;所述毫米波雷達(dá)用于檢測障礙物的 后向散射電磁波;所述處理模塊接收雙目相機和毫米波雷達(dá)的數(shù)據(jù)，并將這些數(shù)據(jù)進行計 算，排除虛假信息，進行數(shù)據(jù)互驗，融合的處理;處理模塊將處理好的障礙物運動速度，與設(shè) 備佩戴者之間的距離和方向數(shù)據(jù)通過交互模塊實時與使用者進行信息交互。7. 根據(jù)權(quán)利要求6所述的基于雙目相機與毫米波雷達(dá)的可穿戴避障裝置，其特征在于， 所述毫米波雷達(dá)是一種功耗很低體積很小的新型毫米波雷達(dá)。8. 根據(jù)權(quán)利要求6所述的基于雙目相機與毫米波雷達(dá)的可穿戴避障裝置，其特征在于， 所述交互模塊包括合成語音的語音合成器和振動電機構(gòu)成的觸覺傳感器。
【文檔編號】G06T7/00GK105866779SQ201610212637
【公開日】2016年8月17日
【申請日】2016年4月6日
【發(fā)明人】龍寧波, 汪凱巍, 楊愷倫, 胡偉健, 趙向東
【申請人】浙江大學(xué)