專(zhuān)利名稱(chēng)：基于視覺(jué)處理的盲道檢測(cè)系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及的是一種計(jì)算機(jī)視覺(jué)和模式識(shí)別與人工智能領(lǐng)域的盲道識(shí)別系統(tǒng)，尤 其涉及的是一種基于視覺(jué)處理的盲道檢測(cè)系統(tǒng)。
背景技術(shù)：
隨著社會(huì)的發(fā)展現(xiàn)代城市中對(duì)視弱人群的公共便利性設(shè)施建設(shè)日益完善，尤為突 出的是城市交通人行道上都建設(shè)有盲道設(shè)施。現(xiàn)有的導(dǎo)盲設(shè)備如導(dǎo)盲手杖、導(dǎo)盲車(chē)等在安 全通行上提供了保障，但是無(wú)法識(shí)別出盲道的位置及方向，不能提供導(dǎo)航的信息。最近又有 研究者將導(dǎo)線等標(biāo)識(shí)物沿盲道埋設(shè)，導(dǎo)盲設(shè)備探測(cè)到預(yù)設(shè)的標(biāo)識(shí)來(lái)檢測(cè)盲道，這種方法能 夠可靠地探測(cè)盲道信息，但是需要干預(yù)到道路設(shè)施的建設(shè)，不利于推廣。計(jì)算機(jī)視覺(jué)和模式識(shí)別技術(shù)的發(fā)展給視覺(jué)識(shí)別提供了理論基礎(chǔ)，現(xiàn)有的模式識(shí)別 系統(tǒng)如人臉的識(shí)別、文字識(shí)別、車(chē)輛牌照的識(shí)別已經(jīng)廣泛運(yùn)用于各種應(yīng)用系統(tǒng)。現(xiàn)有的模式 識(shí)別方法大都基于概率方法，根據(jù)給定的特征信息建立多級(jí)的分類(lèi)器，將目標(biāo)對(duì)象和分類(lèi) 器逐級(jí)運(yùn)算，得出目標(biāo)的類(lèi)別屬性，恰好適用于從圖像中尋找出盲道特征的位置。但是模式 識(shí)別方法計(jì)算量較大，需要解決實(shí)時(shí)性的問(wèn)題。DSP技術(shù)和器件的快速發(fā)展給圖像和視頻的處理提供了實(shí)時(shí)處理的硬件平臺(tái)，ARM 器件的發(fā)展給嵌入式的軟件開(kāi)發(fā)提供了極大的便利，因此結(jié)合DSP和ARM的各自特點(diǎn)，將軟 件功能按照兩種處理器的特長(zhǎng)進(jìn)行模塊分割與協(xié)作將是實(shí)現(xiàn)實(shí)時(shí)視覺(jué)處理的最佳方案。

發(fā)明內(nèi)容
發(fā)明目的本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提供了一種基于視覺(jué)處理的 盲道檢測(cè)系統(tǒng)，利用模式識(shí)別與計(jì)算機(jī)視覺(jué)理論實(shí)現(xiàn)實(shí)時(shí)的盲道搜索與定位，給盲人或?qū)?盲設(shè)備提供導(dǎo)航的依據(jù)。技術(shù)方案本發(fā)明是通過(guò)以下技術(shù)方案實(shí)現(xiàn)的，本發(fā)明包括雙攝像機(jī)輸入端、DSP/ ARM雙核處理器、視覺(jué)處理模塊和輸出接口，其中DSP/ARM雙核處理器和雙攝像機(jī)輸入端 相連實(shí)時(shí)采集圖像，視覺(jué)處理模塊和DSP/ARM雙核處理器相連接受實(shí)時(shí)圖像信息，視覺(jué)處 理模塊和輸出接口相連。DSP/ARM雙核處理器同時(shí)能設(shè)定攝像機(jī)的方向改變?nèi)【拔恢靡詫?shí) 現(xiàn)對(duì)環(huán)境的360度檢測(cè)。所述的雙攝像機(jī)輸入端是相同型號(hào)攝像機(jī)，并且攝像機(jī)的鏡頭安裝位于同一平 面，且以同一點(diǎn)為軸心進(jìn)行水平和垂直兩個(gè)方向的旋轉(zhuǎn)。所述的DSP/ARM雙核處理器內(nèi)同時(shí)有ARM和DSP兩個(gè)核或者是兩個(gè)單獨(dú)的處理
ο所述的視覺(jué)處理模塊包括ARM端模塊和DSP端模塊，所述的ARM端模塊包括特征 庫(kù)管理單元，通過(guò)對(duì)各種盲道的學(xué)習(xí)生成盲道特征；模板匹配單元，對(duì)輸入的圖像進(jìn)行盲道特征庫(kù)逐次檢測(cè)得出各個(gè)檢測(cè)結(jié)果，并按 照檢測(cè)出現(xiàn)的頻率動(dòng)態(tài)修改各種特征的匹配優(yōu)先級(jí)；
3
立體視覺(jué)單元，對(duì)檢測(cè)出的盲道結(jié)合兩個(gè)攝像機(jī)的視差及攝像機(jī)的物理位置計(jì)算 出盲道的距離和方位信息；信號(hào)輸出單元的，將檢測(cè)得到的盲道距離和方位信息通過(guò)串口、以太網(wǎng)和音頻的 方式輸出給外界系統(tǒng)；DSP交互單元，與DSP進(jìn)行通信，給出DSP任務(wù)的控制指令以及從DSP讀取圖像特 征數(shù)據(jù)。所述的DSP端模塊包括攝像機(jī)同步采集單元，實(shí)現(xiàn)對(duì)兩個(gè)攝像機(jī)圖像的同步采 集；圖像預(yù)處理單元，實(shí)現(xiàn)對(duì)輸入圖像的噪聲濾波、有效圖像區(qū)域選取和動(dòng)態(tài)閾值的 二值化；特征提取單元，實(shí)現(xiàn)對(duì)圖像中顏色和形狀特征的提取；紋理提取單元，實(shí)現(xiàn)對(duì)圖像紋理特征的提取。所述的輸出接口包括語(yǔ)音輸出、以太網(wǎng)接口的UDP協(xié)議數(shù)據(jù)輸出和串口的數(shù)據(jù)輸 出接口。有益效果本發(fā)明利用DSP/ARM雙處理器的硬件平臺(tái)使DSP核上的圖象處理與 ARM核上的模板匹配可以并行處理，提高了盲道檢索的速度，完全滿足了實(shí)時(shí)的圖象處理要 求；本發(fā)明使用的雙攝像機(jī)的視差立體視覺(jué)方法，簡(jiǎn)化了對(duì)可視區(qū)域的三維場(chǎng)景恢 復(fù)，能夠減少建立三維場(chǎng)景的計(jì)算量，加快了對(duì)盲道的距離和方位計(jì)算；本發(fā)明在開(kāi)源的嵌入式LINUX操作系統(tǒng)上實(shí)現(xiàn)了一整套任務(wù)調(diào)度與同步、數(shù)據(jù)輸 入輸出、控制量的輸出等程序運(yùn)行框架，實(shí)現(xiàn)了系統(tǒng)的魯棒性，使系統(tǒng)能夠可靠穩(wěn)定地運(yùn)行 于現(xiàn)實(shí)環(huán)境；本發(fā)明提出了基于盲道磚的外形、紋理、顏色、大小、尺寸等特征表示的盲道特征 數(shù)據(jù)結(jié)構(gòu)，在DSP處理器上可以快速提取這類(lèi)特征屬性；本發(fā)明提出的特征匹配方法中使用在線學(xué)習(xí)的方法動(dòng)態(tài)修改盲道特征庫(kù)的權(quán)值， 優(yōu)先匹配權(quán)值高的盲道特征，提升了盲道識(shí)別的速度；本發(fā)明給出了語(yǔ)音、串口、以太網(wǎng)多種數(shù)據(jù)輸出接口，可以方便地與外界系統(tǒng)集 成，可以作為導(dǎo)盲設(shè)備的通用輸入設(shè)備。


圖1是本發(fā)明的結(jié)構(gòu)示意圖2是雙攝像機(jī)安裝示意圖3是盲道的三維重建原理圖4是本發(fā)明視覺(jué)處理模塊示意圖5是本發(fā)明視覺(jué)處理模塊的流程圖6是盲道特征數(shù)據(jù)結(jié)構(gòu)圖7是在線學(xué)習(xí)的特征匹配與優(yōu)化方法圖。
權(quán)利要求
一種基于視覺(jué)處理的盲道檢測(cè)系統(tǒng)，包括雙攝像機(jī)輸入端(1)、DSP/ARM雙核處理器(2)、視覺(jué)處理模塊(3)和輸出接口(4)，其特征在于DSP/ARM雙核處理器(2)和雙攝像機(jī)輸入端(1)相連實(shí)時(shí)采集圖像，視覺(jué)處理模塊(3)和DSP/ARM雙核處理器(2)相連接受實(shí)時(shí)圖像信息，視覺(jué)處理模塊(3)和輸出接口(4)相連。
2.根據(jù)權(quán)利要求1所述的基于視覺(jué)處理的盲道檢測(cè)系統(tǒng)，其特征在于所述的雙攝像 機(jī)輸入端(1)是相同型號(hào)攝像機(jī)，并且攝像機(jī)的鏡頭安裝位于同一平面，且以同一點(diǎn)為軸 心進(jìn)行水平和垂直兩個(gè)方向的旋轉(zhuǎn)。
3.根據(jù)權(quán)利要求1所述的基于視覺(jué)處理的盲道檢測(cè)系統(tǒng)，其特征在于所述的DSP/ARM 雙核處理器(2)內(nèi)同時(shí)有ARM和DSP兩個(gè)核或者是兩個(gè)單獨(dú)的處理器。
4.根據(jù)權(quán)利要求1所述的基于視覺(jué)處理的盲道檢測(cè)系統(tǒng)，其特征在于所述的視覺(jué)處 理模塊(3)包括ARM端模塊和DSP端模塊，所述的ARM端模塊包括特征庫(kù)管理單元，通過(guò)對(duì) 各種盲道的學(xué)習(xí)生成盲道特征；模板匹配單元，對(duì)輸入的圖像進(jìn)行盲道特征庫(kù)逐次檢測(cè)得出各個(gè)檢測(cè)結(jié)果，并按照檢 測(cè)出現(xiàn)的頻率動(dòng)態(tài)修改各種特征的匹配優(yōu)先級(jí)；立體視覺(jué)單元，對(duì)檢測(cè)出的盲道結(jié)合兩個(gè)攝像機(jī)的視差及攝像機(jī)的物理位置計(jì)算出盲 道的距離和方位信息；信號(hào)輸出單元的，將檢測(cè)得到的盲道距離和方位信息通過(guò)串口、以太網(wǎng)和音頻的方式 輸出給外界系統(tǒng)；DSP交互單元，與DSP進(jìn)行通信，給出DSP任務(wù)的控制指令以及從DSP讀取圖像特征數(shù)據(jù)。
5.根據(jù)權(quán)利要求4所述的基于視覺(jué)處理的盲道檢測(cè)系統(tǒng)，其特征在于所述的DSP端 模塊包括攝像機(jī)同步采集單元，實(shí)現(xiàn)對(duì)兩個(gè)攝像機(jī)圖像的同步采集；圖像預(yù)處理單元，實(shí)現(xiàn)對(duì)輸入圖像的噪聲濾波、有效圖像區(qū)域選取和動(dòng)態(tài)閾值的二值化；特征提取單元，實(shí)現(xiàn)對(duì)圖像中顏色和形狀特征的提?。?紋理提取單元，實(shí)現(xiàn)對(duì)圖像紋理特征的提取。
6.根據(jù)權(quán)利要求1所述的基于視覺(jué)處理的盲道檢測(cè)系統(tǒng)，其特征在于所述的輸出接 口(4)包括語(yǔ)音輸出、以太網(wǎng)接口的UDP協(xié)議數(shù)據(jù)輸出和串口的數(shù)據(jù)輸出接口(4)。
全文摘要
本發(fā)明公開(kāi)了一種基于視覺(jué)處理的盲道檢測(cè)系統(tǒng)，包括雙攝像機(jī)輸入端、DSP/ARM雙核處理器、視覺(jué)處理模塊和輸出接口，其中雙攝像機(jī)的鏡頭保持在同一平面且能以同一點(diǎn)為軸心進(jìn)行水平和垂直兩個(gè)方向的旋轉(zhuǎn)，DSP/ARM雙核處理器和雙攝像機(jī)輸入端相連實(shí)時(shí)采集圖像，視覺(jué)處理模塊和DSP/ARM雙核處理器相連接受實(shí)時(shí)圖像信息，視覺(jué)處理模塊和輸出接口相連。本發(fā)明利用DSP/ARM雙處理器的硬件平臺(tái)使DSP核上的圖象處理與ARM核上的模板匹配可以并行處理，提高了盲道檢索的速度，完全滿足了實(shí)時(shí)的圖象處理要求；使用的雙攝像機(jī)簡(jiǎn)化了對(duì)可視區(qū)域的三維場(chǎng)景恢復(fù)，能夠減少建立三維場(chǎng)景的計(jì)算量，加快了對(duì)盲道的距離和方位計(jì)算。
文檔編號(hào)G06K9/00GK101964054SQ20101050140
公開(kāi)日2011年2月2日 申請(qǐng)日期2010年9月29日 優(yōu)先權(quán)日2010年9月29日
發(fā)明者劉凱, 胡仁杰, 馬智勇 申請(qǐng)人:東南大學(xué)