本發(fā)明屬于視障人士輔助技術(shù)、三維環(huán)境感知技術(shù)、樓梯檢測(cè)技術(shù)、立體聲交互技術(shù)領(lǐng)域，涉及一種基于RGB-D相機(jī)和立體聲的視障人士樓梯檢測(cè)眼鏡。

背景技術(shù)：

根據(jù)世界健康組織統(tǒng)計(jì)，全世界有2.85億視覺障礙人士。視障人士損失了正常的視覺，對(duì)顏色、形狀、距離、運(yùn)動(dòng)的理解都很困難，他們的生活在起居、出行等方面都受到了巨大的影響。

傳統(tǒng)的視障人士輔助工具比如盲人手杖，視障人士需要反復(fù)移動(dòng)手杖，才僅僅能獲知腳邊的情況，在上下樓梯時(shí)，盲人手杖的使用也不方便。

導(dǎo)盲犬可以為視障人士提供幫助，但導(dǎo)盲犬在上下樓梯時(shí)比較迅速，難以照顧到視障人士精確定位每一級(jí)樓梯的需求。導(dǎo)盲犬的養(yǎng)護(hù)、訓(xùn)練費(fèi)用高昂，普通家庭難以承擔(dān)。

仿生眼可以幫助視障人士恢復(fù)部分視覺，但仿生眼只能幫助視障人士看到低分辨率的灰度圖像，難以區(qū)分樓梯與其他場(chǎng)景。仿生眼只適用于視網(wǎng)膜色素變性導(dǎo)致失明的盲人。

超聲波技術(shù)、激光測(cè)距技術(shù)等可以提供測(cè)距和障礙物預(yù)警的功能，但無法反映場(chǎng)景的信息，無法區(qū)分樓梯與其他障礙物或路況，且容易受環(huán)境干擾，耗電量大。

傳統(tǒng)視障人士輔助的交互方式主要有語音提示、觸覺震動(dòng)。語義提示通常播報(bào)簡(jiǎn)短的信息，需要一定的時(shí)間播放，造成延遲和事故風(fēng)險(xiǎn)，而且可傳遞的信息量少。觸覺震動(dòng)通過震動(dòng)腰帶或者震動(dòng)背心為硬件，以震動(dòng)來提示一些方位信息，可以解決延遲的問題，但給視障人士帶來負(fù)擔(dān)，不同人的穿戴感受不同。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的在于針對(duì)現(xiàn)有技術(shù)的不足，提供一種基于RGB-D相機(jī)和立體聲的視障人士樓梯檢測(cè)眼鏡。

本發(fā)明的目的是通過以下技術(shù)方案實(shí)現(xiàn)的：一種基于RGB-D相機(jī)和立體聲的視障人士樓梯檢測(cè)眼鏡，所述眼鏡包含眼鏡本體，以及固定在眼鏡本體上的一個(gè)RGB-D相機(jī)，一個(gè)姿態(tài)角傳感器，一個(gè)USB集線器，一個(gè)小型處理器，一個(gè)骨傳導(dǎo)耳機(jī)模塊，兩個(gè)骨傳導(dǎo)震動(dòng)模塊和一個(gè)電池模塊。所述RGB-D相機(jī)固定在眼鏡鏡片上方，兩個(gè)骨傳導(dǎo)震動(dòng)模位于兩個(gè)鏡腳中間偏后處，貼合盲人耳朵前方顱骨處；USB集線器、姿態(tài)角傳感器和小型處理器嵌于一個(gè)鏡腳內(nèi)；骨傳導(dǎo)耳機(jī)模塊和電池模塊嵌于另一個(gè)鏡腳內(nèi)；RGB-D相機(jī)與姿態(tài)角傳感器通過USB集線器與小型處理器相連，電池模塊與小型處理器相連。兩個(gè)骨傳導(dǎo)震動(dòng)模塊均通過骨傳導(dǎo)耳機(jī)模塊與小型處理器相連。RGB-D相機(jī)實(shí)時(shí)地采集三維場(chǎng)景的深度圖像。姿態(tài)角傳感器實(shí)時(shí)獲取RGB-D相機(jī)的姿態(tài)角。USB集線器將一幅深度圖像和姿態(tài)角信息傳給小型處理器。小型處理器對(duì)深度圖像和姿態(tài)角信息進(jìn)行處理，獲取三維場(chǎng)景中每一點(diǎn)的三維坐標(biāo)，并計(jì)算每一點(diǎn)的局部表面法向量，利用法向量信息分割出三維場(chǎng)景中的平行于水平面的平面，并對(duì)平面的高度進(jìn)行聚類處理，最終獲取每一級(jí)樓梯的距離與方向，轉(zhuǎn)為立體聲信號(hào)，并傳給骨傳導(dǎo)耳機(jī)模塊。骨傳導(dǎo)耳機(jī)模塊將立體聲信號(hào)轉(zhuǎn)為骨傳導(dǎo)震動(dòng)信號(hào)，傳給兩個(gè)骨傳導(dǎo)震動(dòng)模塊，骨傳導(dǎo)震動(dòng)模塊傳遞骨傳導(dǎo)震動(dòng)信號(hào)給視障用戶。

上述眼鏡檢測(cè)樓梯的方法如下：

(1)對(duì)RGB-D相機(jī)進(jìn)行一次相機(jī)標(biāo)定，獲取深度相機(jī)的焦距f，深度相機(jī)的主點(diǎn)位置(c_x,c_y)。

(2)RGB-D相機(jī)采集三維場(chǎng)景的深度圖像Depth。

(3)姿態(tài)角傳感器采集RGB-D相機(jī)的X，Y，Z三軸方向的轉(zhuǎn)角Angle_X，Angle_Y，Angle_Z。

(4)USB集線器將深度圖像Depth，三軸方向的轉(zhuǎn)角Angle_X，Angle_Y，Angle_Z傳給小型處理器。

(5)小型處理器根據(jù)深度圖像Depth，深度相機(jī)的焦距f，深度相機(jī)的主點(diǎn)位置(c_x,c_y)，可計(jì)算出每一點(diǎn)在相機(jī)坐標(biāo)系下的三維坐標(biāo)(X_c,Y_c,Z_c)。深度圖像Depth中一點(diǎn)坐標(biāo)為(u,v)，其深度值為depth，則相機(jī)坐標(biāo)系下三維坐標(biāo)(X_c,Y_c,Z_c)可由公式(1)計(jì)算出：

(6)根據(jù)深度圖像中每一點(diǎn)在相機(jī)坐標(biāo)系下的三維坐標(biāo)(X_c,Y_c,Z_c)，以及姿態(tài)角傳感器三軸方向的轉(zhuǎn)角分別為Angle_X＝α，Angle_Y＝β，Angle_Z＝γ，則可由公式(2)計(jì)算出每一點(diǎn)在世界坐標(biāo)系下的三維坐標(biāo)(X_w,Y_w,Z_w)：

(7)根據(jù)深度圖像中每一點(diǎn)在世界坐標(biāo)系下的三維坐標(biāo)(X_w,Y_w,Z_w)，可計(jì)算每一點(diǎn)的局部表面法向量(n_x,n_y,n_z)。具體為：對(duì)每一點(diǎn)P，取離它最近的K個(gè)點(diǎn)P_i，i∈{1,2,...,K}。根據(jù)這K個(gè)點(diǎn)的三維坐標(biāo)，用最小二乘法擬合出一個(gè)局部平面，對(duì)該平面的法向量進(jìn)行歸一化處理，即獲取點(diǎn)P的局部表面法向量(n_x,n_y,n_z)。

(8)三維場(chǎng)景中每一點(diǎn)的局部表面法向量分量n_y可表征了該點(diǎn)的局部平面是否平行于水平面，剔除表面法向量分量n_y的絕對(duì)值|n_y|小于閾值threshold_n的點(diǎn)(threshold_n通常為0.85～0.95)，獲取三維場(chǎng)景中在平行于水平面的平面上的點(diǎn)。

(9)三維場(chǎng)景中平行于水平面的平面上的點(diǎn)到RGB-D相機(jī)所在水平面的高度值為H可由該點(diǎn)世界坐標(biāo)系下的三維坐標(biāo)分量Y_w表示。對(duì)平行于水平面的平面上的點(diǎn)的高度值H進(jìn)行聚類處理，得到多個(gè)平行水平面的平面，計(jì)算每個(gè)平面的平均高度聚類處理的方法可為K-Means聚類算法、層次聚類算法、SOM聚類算法、FCM聚類算法。

(10)提取出高度以Δh依次遞增或遞減的N個(gè)平面，即為每一級(jí)樓梯的上平面(一共N級(jí))。如果N大于1，說明當(dāng)前場(chǎng)景中存在樓梯。Δh為樓梯高度，一般為0.2～0.3米。

(11)每一級(jí)樓梯的距離D可由每一級(jí)樓梯的上平面上的點(diǎn)的平均深度表示，每一級(jí)樓梯的方向角θ可由每一級(jí)樓梯的上平面上的點(diǎn)的平均水平坐標(biāo)與平均深度之商的反正切表示，即

(12)用N種不同音色的樂器的合奏來表示N級(jí)樓梯，不同樂器的發(fā)聲表示不同級(jí)樓梯。當(dāng)一級(jí)樓梯的距離D越小，則對(duì)應(yīng)這一級(jí)樓梯的樂器的響度Volume越大。每一種樂器的發(fā)聲都為立體聲，立體聲的方向和對(duì)應(yīng)的一級(jí)樓梯的方向角θ相對(duì)應(yīng)。樂器可選鋼琴、小提琴、鑼、小號(hào)、木琴等有特別音色并悅耳的。

(13)小型處理器將立體聲信號(hào)傳給骨傳導(dǎo)耳機(jī)模塊。

(14)骨傳導(dǎo)耳機(jī)模塊將立體聲信號(hào)轉(zhuǎn)為骨傳導(dǎo)震動(dòng)信號(hào)。

(15)骨傳導(dǎo)震動(dòng)模塊將骨傳導(dǎo)信號(hào)傳遞給視障用戶。

本方法相比以往的視障人士輔助方法的優(yōu)勢(shì)主要在于：

1、可檢測(cè)出上樓梯與下樓梯。由于采用提取每一級(jí)樓梯的平行于水平面的平面的方法，因此場(chǎng)景中有上樓梯或者下樓梯都可檢測(cè)到；

2、可判斷有多少級(jí)樓梯。由于采用聚類并提取一系列高度差相近的平面的方法，可判斷一共有多少級(jí)樓梯，視障人士也可以通過聽樂器判斷，獲知一共有多少級(jí)樓梯；

3、反饋充分的信息量。相比語義式的語音播報(bào)，立體聲的交互反饋利用不同響度、不同音色的樂器表示不同級(jí)樓梯，可以同時(shí)地、充分地傳遞場(chǎng)景不同級(jí)樓梯的距離和方向；

4、及時(shí)的反饋。相比語義式的語音播報(bào)，立體聲的交互反饋是及時(shí)的，沒有延遲。視障人士可以及時(shí)的判斷并上下樓梯，保證了該方法的安全性；

5、樓梯上有人經(jīng)過時(shí)也可以檢出。由于采用提取每一級(jí)樓梯的平行于水平面的平面的方法，不特殊要求平面的連續(xù)性，因此樓梯上有人經(jīng)過也不會(huì)造成干擾，依然可以檢測(cè)出樓梯的存在和獲取每一級(jí)樓梯的位置；

6、可自然地幫助視障用戶上下樓梯。由于每次表示最近一級(jí)樓梯的樂器的響度最大，因此視障用戶會(huì)對(duì)最近一級(jí)樓梯的感知最敏感和最精確，從而自然地、一級(jí)一級(jí)地上下樓梯。

7、不占用雙耳。本方法采用骨傳導(dǎo)耳機(jī)傳遞信號(hào)給視障用戶，不妨礙用戶聽取外界的聲音。

不占用雙手。本方法使用RGB-D相機(jī)、姿態(tài)角傳感器和小型處理器，都是便攜和可穿戴的，不會(huì)給視障用戶帶來很大的負(fù)擔(dān)，也無需視障人士用手拿輔助工具。

附圖說明

圖1為視障人士樓梯檢測(cè)系統(tǒng)的模塊連接示意圖；

圖2為視障人士樓梯檢測(cè)系統(tǒng)的結(jié)構(gòu)示意圖；

圖3為灰度處理后的樓梯檢測(cè)圖，表示樓梯上有人經(jīng)過也可以很好地檢測(cè)出樓梯；

圖4為灰度處理后的上樓梯檢測(cè)圖，圖中標(biāo)注出最近兩級(jí)樓梯；

圖5為灰度處理后的下樓梯檢測(cè)圖，圖中標(biāo)注出最近兩級(jí)樓梯。

具體實(shí)施方式

如圖2所示，一種基于RGB-D相機(jī)和立體聲的視障人士樓梯檢測(cè)眼鏡，所述眼鏡包含眼鏡本體，以及固定在眼鏡本體上的一個(gè)RGB-D相機(jī)，一個(gè)姿態(tài)角傳感器，一個(gè)USB集線器，一個(gè)小型處理器，一個(gè)骨傳導(dǎo)耳機(jī)模塊，兩個(gè)骨傳導(dǎo)震動(dòng)模塊和一個(gè)電池模塊。所述RGB-D相機(jī)固定在眼鏡鏡片上方，兩個(gè)骨傳導(dǎo)震動(dòng)模位于兩個(gè)鏡腳中間偏后處，貼合盲人耳朵前方顱骨處；USB集線器、姿態(tài)角傳感器和小型處理器嵌于一個(gè)鏡腳內(nèi)；骨傳導(dǎo)耳機(jī)模塊和電池模塊嵌于另一個(gè)鏡腳內(nèi)。

圖1所示，RGB-D相機(jī)與姿態(tài)角傳感器通過USB集線器與小型處理器相連，電池模塊與小型處理器相連。兩個(gè)骨傳導(dǎo)震動(dòng)模塊均通過骨傳導(dǎo)耳機(jī)模塊與小型處理器相連。RGB-D相機(jī)實(shí)時(shí)地采集三維場(chǎng)景的深度圖像。姿態(tài)角傳感器實(shí)時(shí)獲取RGB-D相機(jī)的姿態(tài)角。USB集線器將一幅深度圖像和姿態(tài)角信息傳給小型處理器。小型處理器對(duì)深度圖像和姿態(tài)角信息進(jìn)行處理，獲取三維場(chǎng)景中每一點(diǎn)的三維坐標(biāo)，并計(jì)算每一點(diǎn)的局部表面法向量，利用法向量信息分割出三維場(chǎng)景中的平行于水平面的平面，并對(duì)平面的高度進(jìn)行聚類處理，最終獲取每一級(jí)樓梯的距離與方向，轉(zhuǎn)為立體聲信號(hào)，并傳給骨傳導(dǎo)耳機(jī)模塊。骨傳導(dǎo)耳機(jī)模塊將立體聲信號(hào)轉(zhuǎn)為骨傳導(dǎo)震動(dòng)信號(hào)，傳給兩個(gè)骨傳導(dǎo)震動(dòng)模塊，骨傳導(dǎo)震動(dòng)模塊傳遞骨傳導(dǎo)震動(dòng)信號(hào)給視障用戶。

上述眼鏡檢測(cè)樓梯的方法如下：

(1)對(duì)RGB-D相機(jī)進(jìn)行一次相機(jī)標(biāo)定，獲取深度相機(jī)的焦距f，深度相機(jī)的主點(diǎn)位置(c_x,c_y)。

(2)RGB-D相機(jī)采集三維場(chǎng)景的深度圖像Depth。

(3)姿態(tài)角傳感器采集RGB-D相機(jī)的X，Y，Z三軸方向的轉(zhuǎn)角Angle_X，Angle_Y，Angle_Z。

(4)USB集線器將深度圖像Depth，三軸方向的轉(zhuǎn)角Angle_X，Angle_Y，Angle_Z傳給小型處理器。

(5)小型處理器根據(jù)深度圖像Depth，深度相機(jī)的焦距f，深度相機(jī)的主點(diǎn)位置(c_x,c_y)，可計(jì)算出每一點(diǎn)在相機(jī)坐標(biāo)系下的三維坐標(biāo)(X_c,Y_c,Z_c)。深度圖像Depth中一點(diǎn)坐標(biāo)為(u,v)，其深度值為depth，則相機(jī)坐標(biāo)系下三維坐標(biāo)(X_c,Y_c,Z_c)可由公式(1)計(jì)算出：

(6)根據(jù)深度圖像中每一點(diǎn)在相機(jī)坐標(biāo)系下的三維坐標(biāo)(X_c,Y_c,Z_c)，以及姿態(tài)角傳感器三軸方向的轉(zhuǎn)角分別為Angle_X＝α，Angle_Y＝β，Angle_Z＝γ，則可由公式(2)計(jì)算出每一點(diǎn)在世界坐標(biāo)系下的三維坐標(biāo)(X_w,Y_w,Z_w)：

(7)根據(jù)深度圖像中每一點(diǎn)在世界坐標(biāo)系下的三維坐標(biāo)(X_w,Y_w,Z_w)，可計(jì)算每一點(diǎn)的局部表面法向量(n_x,n_y,n_z)。具體為：對(duì)每一點(diǎn)P，取離它最近的K個(gè)點(diǎn)P_i，i∈{1,2,...,K}。根據(jù)這K個(gè)點(diǎn)的三維坐標(biāo)，用最小二乘法擬合出一個(gè)局部平面，對(duì)該平面的法向量進(jìn)行歸一化處理，即獲取點(diǎn)P的局部表面法向量(n_x,n_y,n_z)。

(8)三維場(chǎng)景中每一點(diǎn)的局部表面法向量分量n_y可表征了該點(diǎn)的局部平面是否平行于水平面，剔除表面法向量分量n_y的絕對(duì)值|n_y|小于閾值threshold_n的點(diǎn)(threshold_n通常為0.85～0.95)，獲取三維場(chǎng)景中在平行于水平面的平面上的點(diǎn)。

(9)三維場(chǎng)景中平行于水平面的平面上的點(diǎn)到RGB-D相機(jī)所在水平面的高度值為H可由該點(diǎn)世界坐標(biāo)系下的三維坐標(biāo)分量Y_w表示。對(duì)平行于水平面的平面上的點(diǎn)的高度值H進(jìn)行聚類處理，得到多個(gè)平行水平面的平面，計(jì)算每個(gè)平面的平均高度聚類處理的方法可為K-Means聚類算法、層次聚類算法、SOM聚類算法、FCM聚類算法。

(10)提取出高度以Δh依次遞增或遞減的N個(gè)平面，即為每一級(jí)樓梯的上平面(一共N級(jí))。如果N大于1，說明當(dāng)前場(chǎng)景中存在樓梯。Δh為樓梯高度，一般為0.25～0.35米。

(11)每一級(jí)樓梯的距離D可由每一級(jí)樓梯的上平面上的點(diǎn)的平均深度表示，每一級(jí)樓梯的方向角θ可由每一級(jí)樓梯的上平面上的點(diǎn)的平均水平坐標(biāo)與平均深度之商的反正切表示，即

(12)用N種不同音色的樂器的合奏來表示N級(jí)樓梯，不同樂器的發(fā)聲表示不同級(jí)樓梯。當(dāng)一級(jí)樓梯的距離D越小，則對(duì)應(yīng)這一級(jí)樓梯的樂器的響度Volume越大。每一種樂器的發(fā)聲都為立體聲，立體聲的方向和對(duì)應(yīng)的一級(jí)樓梯的方向角θ相對(duì)應(yīng)。樂器可選鋼琴、小提琴、鑼、小號(hào)、木琴等有特別音色并悅耳的。

(13)小型處理器將立體聲信號(hào)傳給骨傳導(dǎo)耳機(jī)模塊。

(14)骨傳導(dǎo)耳機(jī)模塊將立體聲信號(hào)轉(zhuǎn)為骨傳導(dǎo)震動(dòng)信號(hào)。

(15)骨傳導(dǎo)震動(dòng)模塊將骨傳導(dǎo)信號(hào)傳遞給視障用戶。