本發(fā)明屬于智能硬件領(lǐng)域，具體涉及基于深度學(xué)習(xí)的導(dǎo)盲系統(tǒng)及工作方法。

背景技術(shù)：

中國(guó)約有1200萬(wàn)盲人，是世界上盲人最多的國(guó)家。并且中國(guó)已經(jīng)有全球長(zhǎng)度最長(zhǎng)，分布最廣的盲道，然而有些地方盲杖破損嚴(yán)重，有些地方盲道建設(shè)率低，極大不便于盲人群眾的出行。

為解決這一問(wèn)題，中國(guó)專利發(fā)明號(hào)cn201611073712.1設(shè)計(jì)研發(fā)一種用于盲人行走防撞的鞋帶天線，包括系于鞋上的鞋帶與饋電端，鞋帶植入有金屬絲，饋電端包括同軸接頭、微波介質(zhì)基板和金屬地，微波介質(zhì)基板位于金屬地上方，同軸接頭貫穿微波介質(zhì)基板和金屬地設(shè)置；同軸接頭包括與鞋帶連接的探針，鞋帶作為輻射體，饋電通過(guò)所述探針實(shí)現(xiàn)；本發(fā)明應(yīng)用于盲人行走過(guò)程中的防撞探測(cè)，預(yù)期可作為一種較為通用的工具。但是該發(fā)明未能對(duì)盲人的路徑進(jìn)行指引。

中國(guó)專利發(fā)明號(hào)cn106491321a發(fā)明提供了一種耳機(jī)式智能導(dǎo)盲系統(tǒng)，包括耳機(jī)式智能導(dǎo)盲裝置。耳機(jī)式智能導(dǎo)盲系統(tǒng)通過(guò)設(shè)置成耳機(jī)式智能導(dǎo)盲裝置和遙控器的分體結(jié)構(gòu)，方便盲人攜帶、操控，為盲人提供安全、簡(jiǎn)便的出行方式。但是對(duì)于盲道缺失的情況，該發(fā)明不能較好地應(yīng)對(duì)。

中國(guó)專利發(fā)明號(hào)cn106389078a，本發(fā)明提供一種智能導(dǎo)盲眼鏡系統(tǒng)及其導(dǎo)盲方法，包括圖像采集模塊采集使用者周?chē)沫h(huán)境圖像，并將獲取的圖像上傳至中央控制模塊，語(yǔ)音處理模塊與中央控制模塊相連，4g通信模塊為眼鏡端和負(fù)責(zé)識(shí)別測(cè)距的云服務(wù)器建立實(shí)時(shí)相互通信，并實(shí)現(xiàn)語(yǔ)音通話功能，中央控制模塊對(duì)常見(jiàn)物體通過(guò)圖像模板匹配和視差圖進(jìn)行識(shí)別與測(cè)距，如無(wú)法辨別，再利用4g通信模塊發(fā)送至云服務(wù)器，云服務(wù)器通過(guò)在云服務(wù)器上搭建軟件平臺(tái)建立圖像分析系統(tǒng)，利用深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，建立圖像學(xué)習(xí)數(shù)據(jù)庫(kù)，從上傳的圖像中獲取障礙物距離與類別信息，并將信息反饋回中央控制模塊。以解決現(xiàn)有智能導(dǎo)盲眼鏡功能單一、智能水平較低的問(wèn)題。本發(fā)明屬于智能導(dǎo)盲領(lǐng)域。但是該發(fā)明摒棄了盲杖，推廣較為困難。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的在于克服上述不足，提供一種基于深度學(xué)習(xí)的導(dǎo)盲系統(tǒng)及工作方法，針對(duì)盲道缺失或破損嚴(yán)重的路段，本系統(tǒng)能有效地指引導(dǎo)航。

為了達(dá)到上述目的，一種基于深度學(xué)習(xí)的導(dǎo)盲系統(tǒng)，包括中央處理器，與中央處理器連接的圖像采集裝置、定位裝置、懸空物體檢測(cè)裝置、按鈕、震動(dòng)反饋裝置和聲音反饋裝置；

所述中央處理器用于接受懸空物體檢測(cè)裝置和按鈕的信息并運(yùn)行避障策略，結(jié)合圖像處理結(jié)果，得出合適的引導(dǎo)策略，將最后結(jié)果發(fā)送至震動(dòng)反饋裝置和聲音反饋裝置中；

所述圖像采集裝置用于獲取rgb圖像，并將rgb圖像發(fā)送至中央處理器中；

所述定位裝置用于獲取盲杖的當(dāng)前定位，并發(fā)送至中央處理器中；

所述懸空物體檢測(cè)模塊用于探測(cè)前方的懸空障礙物，并發(fā)送結(jié)果至中央處理器中；

所述按鈕用于調(diào)節(jié)中央處理器的工作模式；

所述震動(dòng)裝置用于將中央處理器的處理內(nèi)容進(jìn)行震動(dòng)提示；

所述聲音反饋裝置用于將中央處理器的處理內(nèi)容進(jìn)行語(yǔ)音提示。

中央處理器所述圖像采集裝置能夠拍攝800萬(wàn)像素圖片和錄制1080p的視頻，并通過(guò)csi接口與中央處理器連接。

所述定位裝置采用neo-6mublox衛(wèi)星定位裝置。

所述懸空物體檢測(cè)裝置采用jsn-sr04t一體化超聲波測(cè)距裝置。

所述震動(dòng)反饋裝置采用1027震動(dòng)馬達(dá)裝置。

所述聲音反饋裝置采用骨傳導(dǎo)藍(lán)牙耳機(jī)裝置。

一種基于深度學(xué)習(xí)的導(dǎo)盲系統(tǒng)的工作方法，包括以下步驟：

步驟一，按動(dòng)按鈕選擇功能；

步驟二，由圖像采集裝置將獲取的rgb圖像發(fā)送至中央處理器中，懸空物體檢測(cè)裝置將前方信息發(fā)送至中央處理器中，定位裝置將當(dāng)前位置信息發(fā)送至中央處理器中；

步驟三，中央處理器將通過(guò)rgb圖像進(jìn)行深度學(xué)習(xí)算法圖像處理，得到當(dāng)前道路功能所需的信息，并將結(jié)果發(fā)送至聲音反饋裝置和震動(dòng)裝置中；

步驟四，聲音反饋裝置播放結(jié)果，震動(dòng)裝置做出相應(yīng)的震動(dòng)指示。

當(dāng)通過(guò)按鈕啟用“虛擬盲道”功能后，圖像采集裝置采集道路信息，中央處理器對(duì)圖像采集裝置收集的數(shù)據(jù)進(jìn)行分析，生成一條適合盲人行走的路徑。中央處理器會(huì)判斷盲道是否完整，并通過(guò)聲音反饋裝置進(jìn)行反饋；若盲道完整，則引導(dǎo)盲人走上盲道；若盲道不完整，中央處理器將放棄盲道信息，根據(jù)周?chē)h(huán)境物體時(shí)空信息，重新規(guī)劃線路。無(wú)論有無(wú)盲道，最終都會(huì)通過(guò)聲音、震動(dòng)反饋裝置指引盲人避開(kāi)障礙物，自如行走。

當(dāng)通過(guò)按鈕啟用“場(chǎng)景描述”功能后，中央處理器通過(guò)圖像采集裝置收集圖片數(shù)據(jù)，生成描述此圖像數(shù)據(jù)的語(yǔ)言，并通過(guò)聲音反饋裝置反饋。

當(dāng)通過(guò)按鈕啟用“盲杖社交”功能后；

第一步，通過(guò)定位裝置采集當(dāng)前位置，并中央處理器發(fā)送至中央處理器；

第二步，中央處理器通過(guò)歐式距離判斷用戶距離是否小于閾值，若否，則不啟動(dòng)位置共享；若是，則將信息指令發(fā)送至對(duì)方；

第三步，與對(duì)方確認(rèn)是否需要交友，若否，則反饋后不執(zhí)行任何操作；若是，則發(fā)送見(jiàn)面交友請(qǐng)求；

第四步，若對(duì)方不同意，則反饋后不執(zhí)行任何操作；若同意，中央處理器計(jì)算雙方距離，并引導(dǎo)雙方見(jiàn)面；

第五步，中央處理器實(shí)時(shí)處理兩者距離信息，并判斷兩者是否見(jiàn)面，若是則完成。

與現(xiàn)有技術(shù)相比，本發(fā)明的裝置將導(dǎo)盲系統(tǒng)融入于盲杖之中，尊重了盲人的固有習(xí)慣，中央處理器通過(guò)圖像采集裝置和懸空物體檢測(cè)裝置對(duì)外接信息進(jìn)行采集，結(jié)合深度學(xué)習(xí)的圖像處理方法，生成虛擬盲道，并利用耳機(jī)等聲音反饋裝置、震動(dòng)反饋裝置給盲人實(shí)時(shí)指引路線，。另外盲杖社交功能能夠促進(jìn)盲人融入社會(huì)，更多地走到戶外；本發(fā)明的控制方式為按鍵以及語(yǔ)音操作，使盲人能夠更加方便且輕松的使用。

本發(fā)明的方法建立了基于深度學(xué)習(xí)的圖像識(shí)別系統(tǒng)，融合多種圖像處理技術(shù)，提高了盲杖識(shí)別決策的準(zhǔn)確性，大大提高了盲杖的智能性。

附圖說(shuō)明

圖1為本發(fā)明的結(jié)構(gòu)示意圖；

圖2為本發(fā)明的虛擬盲道功能的流程圖；

圖3為本發(fā)明虛擬盲道功能的流程圖；

圖4為本發(fā)明盲杖社交功能的流程圖；

其中，1、中央處理器；2、圖像采集裝置；3、定位裝置；4、懸空物體檢測(cè)裝置；5、按鈕；6、震動(dòng)裝置。

具體實(shí)施方式

下面結(jié)合附圖對(duì)本發(fā)明做進(jìn)一步說(shuō)明。

參見(jiàn)圖1，一種基于深度學(xué)習(xí)的導(dǎo)盲系統(tǒng)，包括與中央處理器1連接的圖像采集裝置2、定位裝置3、懸空物體檢測(cè)裝置4、按鈕5、震動(dòng)反饋裝置6和聲音反饋裝置；

圖像采集裝置2用于獲取rgb圖像，并將rgb圖像發(fā)送至中央處理器1中；懸空物體檢測(cè)模塊4用于探測(cè)前方的懸空障礙物，并發(fā)送至中央處理器1中；按鈕5用于調(diào)節(jié)中央處理器1的工作模式；聲音反饋裝置用于將中央處理器1的處理內(nèi)容進(jìn)行提示；中央處理器1用于接收懸空物體檢測(cè)模塊4和按鈕5的信息，運(yùn)行本地的避障策略，結(jié)合圖像處理結(jié)果，得出合適的引導(dǎo)策略，并將最后結(jié)果發(fā)送至震動(dòng)及聲音反饋裝置。

中央處理器1使用樹(shù)莓派3，負(fù)責(zé)運(yùn)行避障策略，結(jié)合深度學(xué)習(xí)圖像處理結(jié)果，生成“虛擬盲道”，得出合適的引導(dǎo)策略。同時(shí)，將gps定位設(shè)備的信息發(fā)送到中央處理器1。

圖像采集裝置2采用樹(shù)莓派官方推出的攝像頭cameramodule，能夠拍攝800萬(wàn)像素圖片和錄制1080p的視頻，并通過(guò)csi接口與中央處理器1連接。攝像頭拍照色彩真實(shí)，接口牢固，同時(shí)功耗低，免usb驅(qū)動(dòng)。其負(fù)責(zé)采集前方圖像信息，是本系統(tǒng)核心信息來(lái)源。為中央處理器1識(shí)別物體，描述場(chǎng)景等功能提供數(shù)據(jù)來(lái)源。

定位裝置3采用neo-6mublox衛(wèi)星定位裝置，該裝置具有具有高靈敏度、低功耗、小型化、定位覆蓋面廣等特點(diǎn)。

懸空物體檢測(cè)裝置4采用jsn-sr04t一體化超聲波測(cè)距裝置。該裝置可提供20cm-600cm的非接觸式距離感測(cè)功能，測(cè)距精度可達(dá)高到2mm。同時(shí)它還具有體積小，使用便捷、電壓低，功耗低、測(cè)量精度高、抗干擾強(qiáng)等特點(diǎn)。其負(fù)責(zé)探測(cè)盲人前方3m，70°水平范圍內(nèi)的任何障礙物。根據(jù)返回得到的信息，能夠?qū)η胺秸系K物檢測(cè)，避障，及對(duì)盲人的引導(dǎo)。

一種基于深度學(xué)習(xí)的導(dǎo)盲系統(tǒng)的工作方法，包括以下步驟：

步驟一，按動(dòng)按鈕5選擇功能；

步驟二，有圖像采集裝置2將獲取的rgb圖像發(fā)送至中央處理器1中，懸空物體檢測(cè)裝置4將前方信息發(fā)送至中央處理器1中，定位裝置3將當(dāng)前位置信息發(fā)送至中央處理器1中；

步驟三，中央處理器1將通過(guò)rgb圖像進(jìn)行深度學(xué)習(xí)算法圖像處理，得到當(dāng)前道路前方信息，并將結(jié)果發(fā)送至聲音反饋裝置、震動(dòng)反饋裝置6中；

步驟四，聲音反饋裝置播放結(jié)果；震動(dòng)裝置6做出相應(yīng)的震動(dòng)指示。

參見(jiàn)圖2，開(kāi)機(jī)后，詢問(wèn)是否需要匹配附近的人，若是，則開(kāi)啟尋找開(kāi)啟附近的人功能，否則，關(guān)閉此功能。

當(dāng)通過(guò)按鈕5啟用“語(yǔ)音指令”模式時(shí)，中央處理器1識(shí)別出特定的語(yǔ)音指令，調(diào)用“虛擬盲道”和“場(chǎng)景描述”功能。

當(dāng)通過(guò)按鈕5或者“語(yǔ)音指令”啟用“虛擬盲道”功能時(shí)，中央處理器1對(duì)圖像采集裝置2收集的數(shù)據(jù)進(jìn)行分析，生成一條適合盲人行走的路徑，并通過(guò)耳機(jī)、震動(dòng)反饋。

當(dāng)通過(guò)按鈕5或者“語(yǔ)音指令”啟用“場(chǎng)景描述”功能后，中央處理器1通過(guò)圖像采集裝置2收集圖片數(shù)據(jù)，生成描述此圖像數(shù)據(jù)的語(yǔ)言，并通過(guò)耳機(jī)反饋。

參見(jiàn)圖3，當(dāng)通過(guò)按鈕5或者“語(yǔ)音指令”啟用“虛擬盲道”功能后，圖像采集裝置2采集盲道信息，中央處理器1判斷盲道是否完整；若盲道完整，則引導(dǎo)盲人走上盲道；若盲道不完整，中央處理器1將將放棄盲道信息，根據(jù)周?chē)h(huán)境物體時(shí)空信息，重新規(guī)劃線路。無(wú)論有無(wú)盲道，最終都會(huì)通過(guò)聲音、震動(dòng)反饋裝置指引盲人行走。

參見(jiàn)圖4，當(dāng)通過(guò)按鈕5啟用“盲杖社交”功能后；

第一步，通過(guò)定位裝置3采集當(dāng)前位置，并中央處理器發(fā)送至中央處理器1；

第二步，中央處理器1通過(guò)歐式距離判斷用戶距離是否小于閾值，若否，則不啟動(dòng)位置共享；若是，則將信息指令發(fā)送至對(duì)方；

第三步，與對(duì)方確認(rèn)是否需要交友，若否，則反饋后不執(zhí)行任何操作；若是，則發(fā)送見(jiàn)面交友請(qǐng)求；

第四步，若對(duì)方不同意，則反饋后不執(zhí)行任何操作；若同意，中央處理器1計(jì)算雙方距離，并引導(dǎo)雙方見(jiàn)面；

第五步，中央處理器1實(shí)時(shí)處理兩者距離信息，并判斷兩者是否見(jiàn)面，若是則完成。