本發(fā)明屬于視障人士輔助技術(shù)、三維環(huán)境感知技術(shù)、斑馬線檢測技術(shù)、立體聲交互技術(shù)領(lǐng)域。本發(fā)明包含一種基于rgb-d相機和立體聲的視障人士斑馬線檢測方法，涉及一種利用rgb-d相機采集彩色圖像和深度圖像，利用姿態(tài)角傳感器獲取相機的姿態(tài)角信息。小型處理器利用深度信息和姿態(tài)角信息，計算獲取場景的三維坐標。小型處理器對三維信息進行處理，去除彩色圖像中空中物體對斑馬線檢測的干擾。小型處理器對彩色圖像分塊，并計算每一塊的雙極系數(shù)，篩選出可能為斑馬線的區(qū)塊，利用連通域分析檢出斑馬線區(qū)域，最終通過骨傳導耳機傳遞斑馬線的距離和方向給視障人士進行輔助的斑馬線檢測方法。

背景技術(shù)：

根據(jù)世界健康組織統(tǒng)計，全世界有2.85億視覺障礙人士。視障人士損失了正常的視覺，對顏色、形狀、距離、運動的理解都很困難，他們的生活在起居、出行等方面都受到了巨大的影響。尤其是路口的通行，尋找斑馬線區(qū)域，安全地過馬路是視障人士的一大痛點。

傳統(tǒng)的視障人士過馬路輔助方法，通過聽路口處紅綠燈的變化的聲音，以及聽路口車輛通過的聲音來猜測斑馬線區(qū)域，這種判斷是極其不準確的，而且很多路口的紅綠燈聲音播報系統(tǒng)損壞，無法給視障人士提供幫助。

導盲犬可以為視障人士過馬路提供幫助，但導盲犬在過馬路時比較迅速，難以照顧到視障人士精確定位斑馬線區(qū)域的需求。導盲犬的養(yǎng)護、訓練費用高昂，普通家庭難以承擔。另外很多城市的導盲犬培訓是不合格的，對視障人士的幫助有限。

基于彩色相機的斑馬線檢測，有很大概率被空中物體等所干擾，斑馬線檢測的準確性有限，而且也不能獲知斑馬線區(qū)域的精確距離和方位，對視障人士的幫助有限。

傳統(tǒng)視障人士輔助的交互方式主要有語音提示、觸覺震動。語義提示通常播報簡短的信息，需要一定的時間播放，造成延遲和事故風險，而且可傳遞的信息量少。觸覺震動通過震動腰帶或者震動背心為硬件，以震動來提示一些方位信息，可以解決延遲的問題，但給視障人士帶來負擔，不同人的穿戴感受不同。

技術(shù)實現(xiàn)要素：

本發(fā)明的目的在于針對現(xiàn)有技術(shù)的不足，提供一種基于rgb-d相機和立體聲的視障人士斑馬線檢測系統(tǒng)及方法。

本發(fā)明的目的是通過以下技術(shù)方案實現(xiàn)的：一種基于rgb-d相機和立體聲的視障人士斑馬線檢測系統(tǒng)，所述系統(tǒng)包含一個rgb-d相機，一個姿態(tài)角傳感器，一個usb集線器，一個小型處理器，一個骨傳導耳機模塊，兩個骨傳導震動模塊，一個電池模塊。rgb-d相機與姿態(tài)角傳感器通過usb集線器與小型處理器相連，電池模塊與小型處理器相連。rgb-d相機實時地采集三維場景的彩色圖像和深度圖像。姿態(tài)角傳感器實時獲取rgb-d相機的姿態(tài)角。小型處理器對rgb-d相機采集的彩色圖像和深度圖像，姿態(tài)角傳感器采集的姿態(tài)角信息進行分析，檢測出三維場景的斑馬線區(qū)域，并計算出斑馬線區(qū)域和方向，并將處理結(jié)果轉(zhuǎn)化為立體聲信號，傳到骨傳導耳機模塊。骨傳導耳機模塊將立體聲信號轉(zhuǎn)化為骨傳導震動信號，傳到兩個骨傳導震動模塊。最終骨傳導震動模塊通過震動傳輸立體聲信號給視障用戶，告知視障用戶當前場景中斑馬線區(qū)域的區(qū)域和方向。

上述系統(tǒng)的斑馬線檢測方法如下：

(1)對rgb-d相機進行一次相機標定，獲取rgb-d相機的焦距f，主點位置(cx,cy)。

(2)rgb-d相機采集三維場景的深度圖像depth和彩色圖像color。

(3)姿態(tài)角傳感器采集rgb-d相機x，y，z三軸方向的轉(zhuǎn)角anglex，angley，anglez。

(4)usb集線器將深度圖像depth，彩色圖像color，三軸方向的轉(zhuǎn)角anglex，angley，anglez傳給小型處理器。

(5)小型處理器根據(jù)深度圖像depth，rgb-d相機的焦距f，主點位置(cx,cy)，可計算出每一點在相機坐標系下的三維坐標(xc,yc,zc)。深度圖像depth中一點坐標為(u,v)，其深度值為depth，則相機坐標系下三維坐標(xc,yc,zc)可由公式(1)計算出：

(6)根據(jù)深度圖像中每一點在相機坐標系下的三維坐標(xc,yc,zc)，以及姿態(tài)角傳感器三軸方向的轉(zhuǎn)角分布為anglex＝α，angley＝β，anglez＝γ，則可由公式(2)計算出每一點在世界坐標系下的三維坐標(xw,yw,zw)：

(7)三維場景中的每一點到rgb-d相機所在水平面的高度值h可由該點世界坐標系下的三維坐標的分量yw表示。

(8)通過深度圖像depth中所有點的分量yw對各個點進行識別,yw在(h0-δh,h0+δh)內(nèi)則表示該點為地面上的點,否則為非地面點；其中，h0為rgb-d相機到水平面的豎直高度，δh一般為0.1米；將彩色圖像color中的非地面點的顏色置為透明色，獲得只留下地平面上的點的彩色圖像colorg，即去除空中物體對斑馬線檢測的干擾。

(9)對只留下地平面上的點的彩色圖像colorg均分成大小為m×n的小塊，且m、n均大于斑馬線的寬度。

(10)對每個小塊進行自適應灰度二值化處理，得到該小塊圖像的二值化閾值，將小塊的所有像素分成兩部分。第一部分的像素灰度低于閾值，這些像素的平均灰度為μ1，占所有像素的比例為α，第二部分的像素灰度大于等于閾值，這些像素的平均灰度為μ2，占所有像素的比例為1-α。小塊中所有像素的灰度方差為從而可定義一個雙極系數(shù)γ，表示小塊的黑白分明的程度，雙極系數(shù)γ可由公式(3)計算：

雙極系數(shù)γ的變化范圍為0～1，雙極系數(shù)γ越大，越接近黑白分明的斑馬線圖案。

(11)對每每個小塊，如果雙極系數(shù)γ大于閾值threshold(該閾值的取值范圍通常為0.85～0.95)，則這一小圖像塊為斑馬線的候選區(qū)域。

(12)對所有斑馬線的候選區(qū)域進行連通域分析，去除一些零碎的小塊(即不與其他候選區(qū)域連通的小塊)，連通的小塊形成一整塊斑馬線區(qū)域。

(13)根據(jù)該斑馬線區(qū)域中每一點的三維坐標(xw,yw,zw)，可獲得斑馬線區(qū)域到視障用戶的距離為(由斑馬線區(qū)域中所有點的平均深度表示)，斑馬線區(qū)域的方向角θ(由斑馬線區(qū)域中點的平均水平坐標與平均深度之商的反正切表示，即)。

(14)用一種特定音色的樂器來表示斑馬線區(qū)域，斑馬線區(qū)域的距離越大，則該樂器的響度volume越大。該樂器的發(fā)聲為立體聲，立體聲方向與斑馬線區(qū)域的方向角θ相對應。樂器可選鋼琴、小提琴、鑼、小號、木琴等有特別音色并悅耳的。

(15)小型處理器將立體聲信號傳給骨傳導耳機模塊。

(16)骨傳導耳機模塊將立體聲信號轉(zhuǎn)為骨傳導震動信號。

(17)骨傳導震動模塊將骨傳導信號傳遞給視障用戶。

本方法相比以往的視障人士輔助方法的優(yōu)勢主要在于：

1、可以檢測出斑馬線區(qū)域的距離與方向。由于采用rgb-d相機進行斑馬線區(qū)域的檢測，可以獲知三維信息，因此可以檢出斑馬線區(qū)域到視障用戶的距離，以及在視障用戶的什么方位，這為視障人士在路口等室外場景的通行提供了極大的便利和幫助。

2、可以去除空中物體等其他不是地面區(qū)域的物體對斑馬線檢測的干擾。由于采用rgb-d相機與姿態(tài)角傳感器，可獲得場景中物體的真實的高度值，因此可以只對地平面附近的高度范圍的圖像進行檢測，不會將空中物體誤檢測為斑馬線，這極大了提高了斑馬線檢測的準確性和可靠性，有助于視障人士在路口準確地判斷并通行。

3、處理速度快。由于本方法利用三維信息去除了彩色圖像中的很多干擾，省去了對這些區(qū)域的處理，并且在檢測斑馬線的過程中只需計算分塊圖像的雙極系數(shù)等簡單操作，因此計算量小，處理速度快，能夠及時的輸出結(jié)果，并反饋給視障人士從而進行輔助。

4、斑馬線區(qū)域上有人或有車也可以及時響應。由于斑馬線區(qū)域上有人或者車經(jīng)過時，這些不在地平面高度范圍的點將被去除，因此在檢出結(jié)果會產(chǎn)生變化，傳遞給視障人士的立體聲信號也會發(fā)生變化，視障人士從而可以判斷出斑馬線區(qū)域被人或車占據(jù)，預警斑馬線上行人、車輛的碰撞。

5、可自然地幫助視障人士過馬路。因為視障人士離斑馬線區(qū)域的距離越遠，立體聲的響度越大，斑馬線區(qū)域的距離越近，立體聲的響度越小。因此視障人士在遠離斑馬線區(qū)域就能聽出斑馬線區(qū)域的方位，并且此時聲音響度大，視障人士能對方位區(qū)分很精確。而當視障人士在靠近斑馬線區(qū)域時，聲音響度小，只是提示視障人士在正確的行進路線上，不會對視障人士的雙耳造成較大的干擾。聲音響度的大小的過度變化，可以很自然地輔助視障人士過馬路。

6、不占用雙耳。本方法采用骨傳導耳機傳遞信號給視障人士，不妨礙視障人士在路況通行時聽取外界的聲音。比如視障人士會通過車流的聲音判斷兩側(cè)有沒有汽車靠近。

7、不占用雙手。本方法使用rgb-d相機、姿態(tài)角傳感器和小型處理器，都是便攜和可穿戴的，不會給視障用戶帶來很大的負擔，也無需視障人士用手拿輔助工具。

附圖說明

圖1為視障人士斑馬線檢測系統(tǒng)的模塊連接示意圖；

圖2為視障人士斑馬線檢測系統(tǒng)的結(jié)構(gòu)示意圖；

圖3為斑馬線區(qū)域檢測效果灰度圖；

圖4為斑馬線區(qū)域檢測效果灰度圖；

圖5為斑馬線區(qū)域檢測效果灰度圖。

具體實施方式

如圖1所示，一種基于rgb-d相機和立體聲的視障人士斑馬線檢測系統(tǒng)，所述系統(tǒng)包含一個rgb-d相機，一個姿態(tài)角傳感器，一個usb集線器，一個小型處理器，一個骨傳導耳機模塊，兩個骨傳導震動模塊，一個電池模塊。rgb-d相機與姿態(tài)角傳感器通過usb集線器與小型處理器相連，電池模塊與小型處理器相連。rgb-d相機實時地采集三維場景的彩色圖像和深度圖像。姿態(tài)角傳感器實時獲取rgb-d相機的姿態(tài)角。小型處理器對rgb-d相機采集的彩色圖像和深度圖像，姿態(tài)角傳感器采集的姿態(tài)角信息進行分析，檢測出三維場景的斑馬線區(qū)域，并計算出斑馬線區(qū)域和方向，并將處理結(jié)果轉(zhuǎn)化為立體聲信號，傳到骨傳導耳機模塊。骨傳導耳機模塊將立體聲信號轉(zhuǎn)化為骨傳導震動信號，傳到兩個骨傳導震動模塊。最終骨傳導震動模塊通過震動傳輸立體聲信號給視障用戶，告知視障用戶當前場景中斑馬線區(qū)域的區(qū)域和方向。該系統(tǒng)可以設(shè)計成類似于圖2所述的眼鏡，以達到美觀效果。

上述系統(tǒng)的斑馬線檢測方法如下：

(1)對rgb-d相機進行一次相機標定，獲取rgb-d相機的焦距f，主點位置(cx,cy)。

(2)rgb-d相機采集三維場景的深度圖像depth和彩色圖像color。

(3)姿態(tài)角傳感器采集rgb-d相機x，y，z三軸方向的轉(zhuǎn)角anglex，angley，anglez。

(4)usb集線器將深度圖像depth，彩色圖像color，三軸方向的轉(zhuǎn)角anglex，angley，anglez傳給小型處理器。

(5)小型處理器根據(jù)深度圖像depth，rgb-d相機的焦距f，主點位置(cx,cy)，可計算出每一點在相機坐標系下的三維坐標(xc,yc,zc)。深度圖像depth中一點坐標為(u,v)，其深度值為depth，則相機坐標系下三維坐標(xc,yc,zc)可由公式(1)計算出：

(6)根據(jù)深度圖像中每一點在相機坐標系下的三維坐標(xc,yc,zc)，以及姿態(tài)角傳感器三軸方向的轉(zhuǎn)角分布為anglex＝α，angley＝β，anglez＝γ，則可由公式(2)計算出每一點在世界坐標系下的三維坐標(xw,yw,zw)：

(7)三維場景中的每一點到rgb-d相機所在水平面的高度值h可由該點世界坐標系下的三維坐標的分量yw表示。

(8)通過深度圖像depth中所有點的分量yw對各個點進行識別,yw在(h0-δh,h0+δh)內(nèi)則表示該點為地面上的點,否則為非地面點；其中，h0為rgb-d相機到水平面的豎直高度，δh一般為0.1米；將彩色圖像color中的非地面點的顏色置為透明色，獲得只留下地平面上的點的彩色圖像colorg，即去除空中物體對斑馬線檢測的干擾。

(9)對只留下地平面上的點的彩色圖像colorg均分成大小為m×n的小塊，且m、n均大于斑馬線的寬度。

(10)對每個小塊進行自適應灰度二值化處理，得到該小塊圖像的二值化閾值，將小塊的所有像素分成兩部分。第一部分的像素灰度低于閾值，這些像素的平均灰度為μ1，占所有像素的比例為α，第二部分的像素灰度大于等于閾值，這些像素的平均灰度為μ2，占所有像素的比例為1-α。小塊中所有像素的灰度方差為從而可定義一個雙極系數(shù)γ，表示小塊的黑白分明的程度，雙極系數(shù)γ可由公式(3)計算：

雙極系數(shù)γ的變化范圍為0～1，雙極系數(shù)γ越大，越接近黑白分明的斑馬線圖案。

(11)對每每個小塊，如果雙極系數(shù)γ大于閾值threshold(該閾值的取值范圍通常為0.85～0.95)，則這一小圖像塊為斑馬線的候選區(qū)域。

(12)對所有斑馬線的候選區(qū)域進行連通域分析，去除一些零碎的小塊(即不與其他候選區(qū)域連通的小塊)，連通的小塊形成一整塊斑馬線區(qū)域。

(13)根據(jù)該斑馬線區(qū)域中每一點的三維坐標(xw,yw,zw)，可獲得斑馬線區(qū)域到視障用戶的距離為(由斑馬線區(qū)域中所有點的平均深度表示)，斑馬線區(qū)域的方向角θ(由斑馬線區(qū)域中點的平均水平坐標與平均深度之商的反正切表示，即)。

(14)用一種特定音色的樂器來表示斑馬線區(qū)域，斑馬線區(qū)域的距離越大，則該樂器的響度volume越大。該樂器的發(fā)聲為立體聲，立體聲方向與斑馬線區(qū)域的方向角θ相對應。樂器可選鋼琴、小提琴、鑼、小號、木琴等有特別音色并悅耳的。

(15)小型處理器將立體聲信號傳給骨傳導耳機模塊。

(16)骨傳導耳機模塊將立體聲信號轉(zhuǎn)為骨傳導震動信號。

(17)骨傳導震動模塊將骨傳導信號傳遞給視障用戶。