技術(shù)特征：

1.一種基于RGB-D相機和立體聲的視障人士樓梯檢測眼鏡，所述眼鏡包含眼鏡本體，以及固定在眼鏡本體上的一個RGB-D相機，一個姿態(tài)角傳感器，一個USB集線器，一個小型處理器，一個骨傳導耳機模塊，兩個骨傳導震動模塊和一個電池模塊。所述RGB-D相機固定在眼鏡鏡片上方，兩個骨傳導震動模位于兩個鏡腳中間偏后處，貼合盲人耳朵前方顱骨處；USB集線器、姿態(tài)角傳感器和小型處理器嵌于一個鏡腳內(nèi)；骨傳導耳機模塊和電池模塊嵌于另一個鏡腳內(nèi)；RGB-D相機與姿態(tài)角傳感器通過USB集線器與小型處理器相連，電池模塊與小型處理器相連。兩個骨傳導震動模塊均通過骨傳導耳機模塊與小型處理器相連。RGB-D相機實時地采集三維場景的深度圖像。姿態(tài)角傳感器實時獲取RGB-D相機的姿態(tài)角。USB集線器將一幅深度圖像和姿態(tài)角信息傳給小型處理器。小型處理器對深度圖像和姿態(tài)角信息進行處理，獲取三維場景中每一點的三維坐標，并計算每一點的局部表面法向量，利用法向量信息分割出三維場景中的平行于水平面的平面，并對平面的高度進行聚類處理，最終獲取每一級樓梯的距離與方向，轉(zhuǎn)為立體聲信號，并傳給骨傳導耳機模塊。骨傳導耳機模塊將立體聲信號轉(zhuǎn)為骨傳導震動信號，傳給兩個骨傳導震動模塊，骨傳導震動模塊傳遞骨傳導震動信號給視障用戶。

2.根據(jù)權(quán)利要求1所述樓梯檢測眼鏡，其特征在于，檢測樓梯的方法包括以下步驟：

(1)對RGB-D相機進行一次相機標定，獲取深度相機的焦距f，深度相機的主點位置(c_x,c_y)。

(2)RGB-D相機采集三維場景的深度圖像Depth。

(3)姿態(tài)角傳感器采集RGB-D相機的X，Y，Z三軸方向的轉(zhuǎn)角Angle_X，Angle_Y，Angle_Z。

(4)USB集線器將深度圖像Depth，三軸方向的轉(zhuǎn)角Angle_X，Angle_Y，Angle_Z傳給小型處理器。

(5)小型處理器根據(jù)深度圖像Depth，深度相機的焦距f，深度相機的主點位置(c_x,c_y)，可計算出每一點在相機坐標系下的三維坐標(X_c,Y_c,Z_c)。深度圖像Depth中一點坐標為(u,v)，其深度值為depth，則相機坐標系下三維坐標(X_c,Y_c,Z_c)可由公式(1)計算出：

$\begin{array}{c}{Z}_c=depth\\ X_c=Z_c\×\frac{u-c_x}{f}\\ Y_c=Z_c\×\frac{v-c_y}{f}\end{array}---\left(1\right)$

(6)根據(jù)深度圖像中每一點在相機坐標系下的三維坐標(X_c,Y_c,Z_c)，以及姿態(tài)角傳感器三軸方向的轉(zhuǎn)角分別為Angle_X＝α，Angle_Y＝β，Angle_Z＝γ，則可由公式(2)計算出每一點在世界坐標系下的三維坐標(X_w,Y_w,Z_w)：

$\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_z\end{array}\right]=\left[\begin{array}{ccc}cos\mathrm{\γ}& -\sin \mathrm{\γ}& 0\\ sin\mathrm{\γ}& \cos \mathrm{\γ}& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{ccc}cos\mathrm{\β}& 0& \sin \mathrm{\β}\\ 0& 1& 0\\ -sin\mathrm{\β}& 0& \cos \mathrm{\β}\end{array}\right]\left[\begin{array}{ccc}1& 0& 0\\ 0& \cos \mathrm{\α}& -sin\mathrm{\α}\\ 0& \sin \mathrm{\α}& \cos \mathrm{\α}\end{array}\right]\left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\end{array}\right]---\left(2\right)$

(7)根據(jù)深度圖像中每一點在世界坐標系下的三維坐標(X_w,Y_w,Z_w)，可計算每一點的局部表面法向量(n_x,n_y,n_z)。具體為：對每一點P，取離它最近的K個點P_i，i∈{1,2,...,K}。根據(jù)這K個點的三維坐標，用最小二乘法擬合出一個局部平面，對該平面的法向量進行歸一化處理，即獲取點P的局部表面法向量(n_x,n_y,n_z)。

(8)三維場景中每一點的局部表面法向量分量n_y可表征了該點的局部平面是否平行于水平面，剔除表面法向量分量n_y的絕對值|n_y|小于閾值threshold_n的點(threshold_n通常為0.85～0.95)，獲取三維場景中在平行于水平面的平面上的點。

(9)三維場景中平行于水平面的平面上的點到RGB-D相機所在水平面的高度值為H可由該點世界坐標系下的三維坐標分量Y_w表示。對平行于水平面的平面上的點的高度值H進行聚類處理，得到多個平行水平面的平面，計算每個平面的平均高度聚類處理的方法可為K-Means聚類算法、層次聚類算法、SOM聚類算法、FCM聚類算法。

(10)提取出高度以Δh依次遞增或遞減的N個平面，即為每一級樓梯的上平面(一共N級)。如果N大于1，說明當前場景中存在樓梯。Δh為樓梯高度，一般為0.2～0.3米。

(11)每一級樓梯的距離D可由每一級樓梯的上平面上的點的平均深度表示，每一級樓梯的方向角θ可由每一級樓梯的上平面上的點的平均水平坐標與平均深度之商的反正切表示，即

(12)用N種不同音色的樂器的合奏來表示N級樓梯，不同樂器的發(fā)聲表示不同級樓梯。當一級樓梯的距離D越小，則對應這一級樓梯的樂器的響度Volume越大。每一種樂器的發(fā)聲都為立體聲，立體聲的方向和對應的一級樓梯的方向角θ相對應。

(13)小型處理器將立體聲信號傳給骨傳導耳機模塊。

(14)骨傳導耳機模塊將立體聲信號轉(zhuǎn)為骨傳導震動信號。

(15)骨傳導震動模塊將骨傳導信號傳遞給視障用戶。