本發(fā)明屬于導(dǎo)盲，具體涉及一種基于機器視覺的智能化導(dǎo)盲裝置。

背景技術(shù)：

1、盲道、傳統(tǒng)手杖及導(dǎo)盲犬作為如今盲人出行的普遍方式，并不能滿足他們的需求。盲道的損壞和被占用使盲人出行受限；傳統(tǒng)手杖無法幫助盲人辨識兩側(cè)障礙物和路標(biāo)等具體多變的路況；而導(dǎo)盲犬的訓(xùn)練成本很高，且有很多社交場所禁止導(dǎo)盲犬進(jìn)入。以上原因已成為阻礙視障患者出行的主要因素。

2、為解決這一現(xiàn)狀，國外的wewalk公司與斯坦福團(tuán)隊相繼研發(fā)出智能導(dǎo)盲杖并投入市場。雖然這兩者能有效幫助盲人避障，但wewalk手杖的超聲波避障易受環(huán)境影響且識別范圍有限，斯坦福的增強型手杖采用二維（2d）激光雷達(dá)進(jìn)行探測，致使成本更高。國內(nèi)學(xué)者也相繼設(shè)計出很多導(dǎo)盲手杖，但主要利用超聲波避障且沒有出行導(dǎo)航功能。因此，設(shè)計出一款提醒視障患者避讓四周障礙物、指引過馬路、實現(xiàn)智能化導(dǎo)航的手杖迫在眉睫。。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的在于提供了一種基于機器視覺的智能導(dǎo)盲裝置，以保障視障患者的出行安全、提升導(dǎo)盲設(shè)施的智能化與功能多樣化等問題，以保障視障患者在日常交通中的出行安全。為了實現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案予以實現(xiàn)：

2、一種基于機器視覺的智能導(dǎo)盲裝置，識別避障功能的實現(xiàn)包括以下步驟：

3、所述微控制器控制4個所述攝像頭同時采集用戶前方及左右兩側(cè)的環(huán)境圖像，并將圖像數(shù)據(jù)經(jīng)mobilenet?v1模型并行處理，得到物體類別信息和輪廓標(biāo)框；

4、進(jìn)一步地，根據(jù)單目攝像頭測距算法，并基于勾股定理，引入由攝像頭的俯仰角和側(cè)傾角得到的修正因子，通過輪廓標(biāo)框的底部線框中心點得到用戶與所識別物體之間的水平距離，通過距離篩選出需要規(guī)避的障礙物；

5、進(jìn)一步地，以像素點為判據(jù)，根據(jù)圖像中的障礙物居于圖像的方位，得到障礙物居于相機（即用戶）的所在方位；

6、進(jìn)一步地，將得到的障礙物信息（包括物體類別、方位、距離）與語音字段相匹配，根據(jù)距離由近及遠(yuǎn)通過所述語音模塊向用戶播報3組數(shù)據(jù)信息。

7、一種基于機器視覺的智能導(dǎo)盲裝置，其紅綠燈及倒計時識別功能的實現(xiàn)包括以下步驟：

8、每隔29幀將所述的前上方攝像頭采集到的圖像輸入mobilenet?v1訓(xùn)練模型中，若檢測到紅綠燈就對圖像進(jìn)行縮放和分割；

9、進(jìn)一步地，將圖像轉(zhuǎn)為hsv的色彩空間，通過比較紅、綠的顏色閾值以獲取顏色信息；

10、進(jìn)一步地，根據(jù)單目攝像頭測距算法，通過輪廓標(biāo)框的底部線框中心點得到紅綠燈與用戶之間的距離；

11、進(jìn)一步地，通過python的easyocr提取圖像中紅綠燈計時器的文本信息；

12、進(jìn)一步地，將得到的紅綠燈的顏色、數(shù)字、距離信息與語音文本相匹配，并通過所述語音模塊輸出提示語音，其優(yōu)先級高于識別避障模塊。

13、一種基于機器視覺的智能導(dǎo)盲裝置，發(fā)送定位地圖功能的實現(xiàn)包括以下步驟：

14、所述微控制器控制所述gps模塊實時捕獲所述杖體（即用戶）的經(jīng)緯度信息；

15、進(jìn)一步地，調(diào)用百度地圖api，將經(jīng)緯度信息經(jīng)過逆地址解析以實現(xiàn)位置可視化的效果，生成html文件；

16、進(jìn)一步地，通過所述微控制器的node.js服務(wù)器功能，托載html文件至本地地址；

17、進(jìn)一步地，按鍵觸發(fā)后，通過serverchan服務(wù)，將位置可視化后的網(wǎng)址發(fā)送到緊急聯(lián)系人的微信中；

18、進(jìn)一步地，聯(lián)系人點擊網(wǎng)址即可查看杖體（即用戶）的定位地圖?。

19、一種基于機器視覺的智能導(dǎo)盲裝置，路線規(guī)劃功能的實現(xiàn)包括以下步驟：

20、通過語音喚醒的方式開啟該功能；

21、進(jìn)一步地，以語音識別的方式錄入目的地和出行方式，且以所述杖體定位信息作為始發(fā)地；

22、進(jìn)一步地，基于百度地圖api進(jìn)行路線規(guī)劃得到所有路段信息，由所述語音模塊向用戶提供語音指導(dǎo)，該優(yōu)先級次于識別避障模塊的語音提醒。

23、本發(fā)明還公開了一種基于機器視覺的智能導(dǎo)盲裝置，包括三段伸縮式拉桿的杖體和語音模塊，所述杖體上裝置4個攝像頭（包括前下方、前上方以及左右兩側(cè)）、觸地裝置、主機盒、兩個按鍵、手柄和支架；所述主機盒分為兩部分，一部分內(nèi)嵌著移動電源，另一部分封裝著微控制器和gps模塊；

24、進(jìn)一步地，所述按鍵中，一個為該裝置總電源的開啟鍵，另一個為發(fā)送用戶位置地圖的觸發(fā)鍵；

25、進(jìn)一步地，所述觸地裝置由定向輪與萬向輪組成，且在該裝置上表面設(shè)置一支架以固定杖體與水平面之間的夾角角度；

26、進(jìn)一步地，所述攝像頭、gps模塊、按鍵均連接在微控制器上，所有連線可內(nèi)穿在所述杖體內(nèi)部；

27、進(jìn)一步地，所述語音模塊與微控制器rpi?4b進(jìn)行藍(lán)牙連接，可以實現(xiàn)語音錄入和語音播報。

28、綜上所述，由于采用了上述技術(shù)方案，本發(fā)明的有益效果是：

29、（1）基于機器視覺的智能導(dǎo)盲手杖可以成功獲取障礙物的類別、距離與方位，這有助于用戶去處理更復(fù)雜的交通環(huán)境；

30、（2）通過采用hsv色彩空間和easyocr來提取紅綠燈的顏色和計時信息，通過語音反饋給用戶，以便于輔助用戶通過馬路；

31、（3）當(dāng)用戶遇到緊急事件（如迷路等）時，可以向聯(lián)系人一鍵發(fā)送自己的定位地圖。接收者可對地圖進(jìn)行縮放和移動，以更清晰更直觀的方式獲取用戶所在位置；

32、（4）本設(shè)計可以采用電壓為5v的移動電源作為手杖的電源裝置，用戶可自行更換，更便于用戶攜帶使用，且結(jié)構(gòu)簡單。

技術(shù)特征：

1.一種基于機器視覺的智能導(dǎo)盲裝置，其特征在于，識別避障功能的實現(xiàn)包括以下步驟：

2.一種基于機器視覺的智能導(dǎo)盲裝置，其特征在于，紅綠燈及倒計時識別功能的實現(xiàn)包括以下步驟：

3.一種基于機器視覺的智能導(dǎo)盲裝置，其特征在于，實現(xiàn)可視化定位信息的發(fā)送包括以下步驟：

4.一種基于機器視覺的智能導(dǎo)盲裝置，其特征在于，路線規(guī)劃功能的實現(xiàn)包括以下步驟：

5.根據(jù)權(quán)利要求1和權(quán)利要求2中所述的基于機器視覺的智能導(dǎo)盲裝置，預(yù)訓(xùn)練模型采用的是mobilenet?v1官方預(yù)訓(xùn)練模型。

6.根據(jù)權(quán)利要求3中所述的基于機器視覺的智能導(dǎo)盲裝置，其步驟s11中的serverchan是用于微控制器與微信之間通信的第三方平臺。

7.一種基于機器視覺的智能導(dǎo)盲裝置，其特征在于，包括三段伸縮式拉桿的杖體和語音模塊，所述杖體上裝置4個攝像頭（包括前下方、前上方以及左右兩側(cè)）、觸地裝置、主機盒、兩個按鍵、手柄和支架；所述主機盒分為兩部分，一部分內(nèi)嵌著移動電源，另一部分封裝著微控制器和gps模塊。

8.根據(jù)權(quán)利要求7所述的一種基于機器視覺的智能導(dǎo)盲裝置，其特征在于，所述按鍵中，一個為該裝置總電源的開啟鍵，另一個為用戶發(fā)送定位的觸發(fā)鍵。

9.根據(jù)權(quán)利要求7所述的一種基于機器視覺的智能導(dǎo)盲裝置，其特征在于，所述觸地裝置由定向輪與萬向輪組成，且在該裝置上表面設(shè)置一支架以固定杖體與水平面之間的夾角角度。

10.根據(jù)權(quán)利要求7所述的一種基于機器視覺的智能導(dǎo)盲裝置，其特征在于，所述語音模塊與rpi?4b之間進(jìn)行藍(lán)牙連接，可實現(xiàn)語音錄入和語音播報。

技術(shù)總結(jié)
本發(fā)明公開了一種基于機器視覺的智能導(dǎo)盲裝置，在導(dǎo)盲杖上裝置Raspberry?Pi?4?Model?B（簡稱RPI?4B）作為微控制器，另配備四個攝像頭、GPS模塊、語音模塊、按鍵等。首先，利用機器視覺技術(shù)監(jiān)測杖體前方及兩側(cè)的環(huán)境，獲取障礙物信息（包含類別、方位與距離）來語音指導(dǎo)用戶避障，獲取紅綠燈與倒計時信息來語音指導(dǎo)用戶過馬路。其次，導(dǎo)盲杖內(nèi)置GPS模塊，隨時可通過按鍵將用戶的實時定位轉(zhuǎn)為可視化地圖后發(fā)送給微信聯(lián)系人。最后，可通過語音喚醒導(dǎo)航服務(wù)，并通過語音識別和反饋確定目的地和出行方式（默認(rèn)為步行），基于百度地圖進(jìn)行路線規(guī)劃，由語音模塊指引盲人出行。手杖底部裝置了由萬向輪和定向輪組成的三角形觸地裝置，在實際使用時，用戶不僅可以省力，還能有效感知來自地面的物理觸覺反饋。

技術(shù)研發(fā)人員：靳芳華,程進(jìn),厲軍明,鄭志偉,劉子甲
受保護(hù)的技術(shù)使用者：北京信息科技大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19