專利名稱：一種基于立體視覺的盲人輔助行走裝置及其輔助方法
技術領域：
本發(fā)明屬于機器視覺領域，具體涉及一種基于立體視覺的盲人輔助行走裝置及其 輔助方法。
背景技術：
世界上約有五六千萬盲人，我國盲人數(shù)量約占世界盲人總數(shù)的四分之一。盲人是 弱勢群體，需要社會更多的幫助，使他們提高獨立生活的能力，擁有更好的生活質量。輔助 盲人行走是很重要的一個方面。國內(nèi)外已經(jīng)研究開發(fā)了多種輔助盲人行走的工具，但仍存 在許多問題。例如輔助盲人識別交通信號燈的設備，有的要求在每個路口安裝發(fā)聲裝置， 有的要求控制紅綠燈，這會增加成本，并會對他人造成干擾。大部分輔助盲人行走的設備采 用超聲波、紅外線或雷達來探測障礙物，但這些探測方法具有方向性，只能探測一定角度范 圍內(nèi)的障礙物，只能探測一定距離范圍內(nèi)的障礙物，并且無法辨別障礙物的大小，無法識別 交通信號燈。有的基于計算機視覺的盲人導航系統(tǒng)只能沿預先設定的路線行走，有很大的 局限性。人工視網(wǎng)膜植入技術成本高，技術復雜，不易推廣。引導式機器人需要復雜的算法 支持，成本較高，并且對走樓梯和傾斜的路面、跨越障礙有一定困難。謝易錚提出了采用TOSHIBA筆記本電腦，QuickCam Pro 4000CCD和耳機實現(xiàn)盲 人輔助系統(tǒng)(詳見參考文獻謝易錚，“以立體視覺實作盲人輔具系統(tǒng)”，國立中央大學資訊 工程研究所碩士學位論文，臺灣，2006年7月)。謝易錚提出利用"路面區(qū)域增長法"先切 割出環(huán)境的路面區(qū)域，然后進行“影像量化”，非路面區(qū)域根據(jù)量化的影像區(qū)域塊去做影像 比對，利用“分群的方法”去除影像雜訊，建立出陌生環(huán)境資訊，偵測出障礙物，并利用“立 體區(qū)域比對"和"不相稱分群"來得到障礙物的距離。謝易錚的盲人輔助系統(tǒng)整體算法復 雜，采用的CCD攝像頭無法適應室內(nèi)外自然光線強弱的變化，在強烈日光、逆光及傍晚光線 暗時會造成圖像不清晰，在室外工作時會遇到困難。他采用的障礙物距離測量方法復雜，測 距準確率低。他僅在室內(nèi)做了靜態(tài)障礙物檢測實驗，對室外輔助行走、道路輪廓提取、偏離 道路預警、動態(tài)障礙物檢測及交通信號燈檢測等方面未進行研究。

發(fā)明內(nèi)容
本發(fā)明要解決的技術問題是克服上述現(xiàn)有技術的不足，提供一種基于立體視覺的 盲人輔助行走裝置及其輔助方法，該裝置不僅能適應自然光強弱變化，通過語音提示，輔助 盲人在室內(nèi)外無障礙地行走，安全通過交叉路口和對偏離道路預警，還使測量障礙物距離 的方法簡便易于實現(xiàn)。本發(fā)明的技術方案如下一種基于立體視覺的盲人輔助行走裝置，該裝置包括雙目攝像機、中央處理模塊 和語音輸出模塊，所述的雙目攝像機的左目攝像機和右目攝像機與所述的中央處理模塊相 連，所述的中央處理模塊具有障礙物處理、交通燈處理和偏離道路處理為主的圖像處理軟 件，該中央處理模塊的輸出端與所述的語音輸出模塊相連。
所述的雙目攝像機為采用超寬動態(tài)，強光抑制，低照度攝像機。所述的雙目攝像機采用動態(tài)范圍是1 400的超寬動態(tài)低照度攝像機。所述的雙目攝像機采用最低照度為0. 05Lux的超寬動態(tài)低照度攝像機。所述的中央處理模塊采用嵌入式機器視覺圖像處理平臺。所述的語音輸出模塊為所述的中央處理模塊自帶的語音模塊或耳機。利用上述基于立體視覺的盲人輔助行走裝置輔助盲人行走的方法，包括下列步 驟①將所述的雙目攝像機的左目攝像機、右目攝像機對稱地安裝在盲人帽子前方， 離地面等高且左目攝像機、右目攝像機的中心間距固定，該左目攝像機、右目攝像機與所述 的中央處理模塊相連，所述的中央處理模塊的輸出端與所述的語音輸出模塊相連，將語音 模塊的耳機塞在盲人的耳孔中；②啟動所述的盲人輔助行走裝置，左目攝像機、右目攝像機同步實時地采集路況 信息；中央處理模塊以每秒2-8幀的速度分別將左目攝像機、右目攝像機攝取的視頻圖像 變?yōu)檫B續(xù)的分幅的圖像序列并暫存；③所述的中央處理模塊首先將左目攝像機或右目攝像機采集的連續(xù)的分幅的圖 像序列轉換為灰度圖像，然后采用中值濾波進行圖像預處理，并對每幀圖像進行Carmy邊 緣檢測和Hough變換檢測直線，提取道路邊緣并判斷是否為道路邊緣當是道路邊緣時，同時進行步驟④、⑤、⑥；當不是道路邊緣時，同時進行步驟④、⑤；④障礙物處理所述的中央處理模塊對單目攝像機采集的連續(xù)圖像幀序列，在圖 像上選擇使用者前進方向上的梯形感興趣區(qū)域，對該區(qū)域根據(jù)灰度值提取障礙物區(qū)域，提 取障礙物目標；檢測到障礙物目標后，所述的中央處理模塊對雙目攝像機另一個單目攝像 機采集的同一幀圖像，采用視差法計算障礙物的距離；⑤交通信號燈處理所述的中央處理模塊對左目攝像機或右目攝像機采集的連續(xù) 圖像幀序列，根據(jù)模板灰度匹配進行交通信號燈處理，然后通過語音模塊給出交通信號燈 顏色和信號燈位置的語音提示；⑥偏離道路處理所述的中央處理模塊根據(jù)提取出的道路邊緣線在圖像中的位置 和傾角，判斷使用者偏離道路的情況，給出語音提示。計算所述的檢測出的直線長度，并判斷如果該長度大于閾值，并且在左、右圖中 直線與圖像的中垂線的夾角在0° 90°，則該直線為道路邊緣。所述的障礙物處理中的梯形感興趣區(qū)域是根據(jù)使用者的實際情況設置。所述的交通信號燈處理中模板匹配是通過提供被測物體原型，計算模板的所有相 關位置與圖像各個位置之間的相似度，在輸入的圖像中尋找目標物體。本發(fā)明的技術效果與上述的現(xiàn)有技術相比，本發(fā)明由于采用了超寬動態(tài)低照度攝像機，可以適應自 然光強弱變化；特別是動態(tài)范圍1 400和最低照度0. 05Lux的超寬動態(tài)低照度攝像機的 選用，使本裝置適應強烈日光或傍晚微弱光線的情況；在雙目立體視覺障礙物測距中采用 求取相似度進行匹配的方法后，本裝置輔助盲人行走的方法簡便易行、易于實現(xiàn)；本裝置還 具有檢測靜態(tài)、動態(tài)障礙物，檢測道路輪廓，識別交通信號燈，進行室內(nèi)外導航等功能。


圖1是本發(fā)明基于立體視覺的盲人輔助行走裝置的結構框2是本發(fā)明裝置主程序流程3是本發(fā)明裝置道路邊緣檢測程序流程4是本發(fā)明裝置障礙物檢測程序流程5是圖像的坐標及ROI區(qū)域設置
具體實施例方式下面結合附圖對基于立體視覺的盲人輔助行走裝置進行詳細的描述。先請參閱圖1，圖1是本發(fā)明基于立體視覺的盲人輔助行走裝置的結構框圖，由圖 可見，本發(fā)明基于立體視覺的盲人輔助行走裝置，包括雙目攝像機1、中央處理模塊2和語 音輸出模塊3，所述的雙目攝像機的左目攝像機11、右目攝像機12對稱地安裝在盲人帽子 前方，該左目攝像機11和右目攝像機12與所述的中央處理模塊2相連，所述的中央處理模 塊2具有障礙物處理、交通燈處理和偏離道路處理為主的圖像處理軟件，該中央處理模塊2 的輸出端與所述的語音輸出模塊3相連。該雙目攝像機1采用杰士安JSA-WZS31480CE超寬動態(tài)低照度攝像機，超寬動態(tài)范 圍1 400，520/570線超高水平清晰度，具有背光補償功能，數(shù)字噪音消除(SDNR)功能，影 像傳感器1/3英寸，CCD總像素795 (水平)X 596 (垂直)(PAL制式)/811 (水平)X 508 (垂 直)(NTSC制式)，掃描系統(tǒng)625線，50場/秒(PAL制式)/525線，60場/秒(NTSC制式)， 最低照度0. 05Lux (F1. 2,5600° K)，星光模式:0· OOlLux (F1. 2)。該雙目攝像機1把采集到的實時路況信息傳輸?shù)街醒胩幚砟K2。中央處理模塊 2通過圖像處理軟件對攝像機采集的視頻圖像進行處理，把處理結果通過語音模塊3輸出。本發(fā)明基于立體視覺的盲人輔助行走裝置輔助盲人行走的方法，包括下列步驟①將所述的雙目攝像機1的左目攝像機11、右目攝像機12對稱地安裝在盲人帽子 前方，離地面等高且左目攝像機11、右目攝像機12的中心間距固定，該左目攝像機11、右目 攝像機12與所述的中央處理模塊2相連，所述的中央處理模塊2的輸出端與所述的語音輸 出模塊3相連，將語音模塊的耳機塞在盲人的耳孔中；②啟動所述的盲人輔助行走裝置，左目攝像機11、右目攝像機11同步實時地采集 路況信息；中央處理模塊2以每秒2-8幀的速度分別將左目攝像機11、右目攝像機12攝取 的視頻圖像變?yōu)檫B續(xù)的分幅的圖像序列并暫存；③所述的中央處理模塊2首先將左目攝像機11或右目攝像機12采集的連續(xù)的 分幅的圖像序列轉換為灰度圖像，然后采用中值濾波進行圖像預處理，并對每幀圖像進行 Canny邊緣檢測和Hough變換檢測直線，提取道路邊緣并判斷是否為道路邊緣當是道路邊緣時，同時進行步驟④、⑤、⑥；當不是道路邊緣時，同時進行步驟④、⑤；④障礙物處理所述的中央處理模塊2對單目攝像機(左目攝像機11或右目攝像 機12)采集的連續(xù)圖像幀序列，在圖像上選擇使用者前進方向上的梯形感興趣區(qū)域，對該 區(qū)域根據(jù)灰度值提取障礙物區(qū)域，提取障礙物目標；檢測到障礙物目標后，所述的中央處理
6模塊2對雙目攝像機1另一個單目攝像機(右目攝像機12或左目攝像機11)采集的同一 幀圖像，采用視差法計算障礙物的距離；⑤交通信號燈處理所述的中央處理模塊2對左目攝像機11或右目攝像機12采 集的連續(xù)圖像幀序列，根據(jù)模板灰度匹配進行交通信號燈處理，然后通過語音模塊給出交 通信號燈顏色和信號燈位置的語音提示；⑥偏離道路處理所述的中央處理模塊2根據(jù)提取出的道路邊緣線在圖像中的位 置和傾角，判斷使用者偏離道路的情況，給出語音提示。下面作詳細說明圖2是本發(fā)明裝置主程序流程圖，裝置啟動后，雙目攝像機1實時采集視頻信息， 輸入到中央處理模塊2。中央處理模塊2以每秒2 8幀的速度將視頻變?yōu)檫B續(xù)圖像幀序 列。對雙目攝像機1采集的圖像進行預處理，然后進行道路邊緣檢測如圖3所示，道路邊緣檢測的流程為對雙目攝像機1采集的連續(xù)圖像幀序列進行 彩色到灰度的變換，然后采用中值濾波進行預處理，去除圖像中的噪聲。然后將圖像變?yōu)樽?右兩半圖像，分別進行Carmy邊緣檢測和Hough變換直線檢測。對檢測出的直線進行判斷， 若長度大于閾值(由編程人員根據(jù)實際情況設定，此處設置為200)，且直線與圖像中垂線 的夾角在(0° 90° )范圍內(nèi)，則認為此直線為道路邊緣線，給出道路邊緣線的傾角與坐 標原點到直線的距離。根據(jù)左右兩半圖像提取出的道路邊緣線，可以確定道路區(qū)域范圍。如果圖像中檢測出道路邊緣線，同時運行3個子程序(a)障礙物處理包括障礙物檢測與障礙物距離測量(詳見子程序說明)(b)交通信號燈處理(詳見子程序說明)(c)偏離道路處理(詳見子程序說明)。如果圖像中沒有檢測出道路邊緣線(例如行走在廣場上)，則同時運行2個子程 序(a)障礙物處理包括障礙物檢測與障礙物距離測量(詳見子程序說明)(b)交通信號燈處理(詳見子程序說明)；各個子程序運行結束后，返回讀取下一幀圖像。子程序說明子程序(a)障礙物處理如圖2所示，首先進行障礙物檢測障礙物檢測的流程如圖4所示，首先輸入單目攝像機(例如左目攝像機11)拍攝 的連續(xù)圖像幀序列的一幀圖像。感興趣區(qū)域(R0I區(qū)域)由軟件設計人員根據(jù)實際情況設 置，如圖5所示，此處設置為使用者前進方向由AB⑶構成的梯形區(qū)域。A、B、C、D的坐標分 別為(180，200)、(180，440)、(480,40)和(480，600)。ROI區(qū)域的圖像文件由編程人員預 先存儲在中央處理模塊2中。將輸入圖像與ROI區(qū)域取交集，根據(jù)障礙物與路面灰度值的 差異提取障礙物目標。將灰度值在一定范圍內(nèi)的區(qū)域提取出來，灰度值范圍由編程人員根 據(jù)實際情況設定，此處設置為1-120。然后對提取出的區(qū)域做腐蝕處理，再把相近的區(qū)域連 通。對連通區(qū)域面積進行判斷，面積小于閾值(由編程人員根據(jù)實際情況設定，此處設置為 300)的區(qū)域被丟棄。將提取出的面積大于閾值的連通區(qū)域轉變成矩形區(qū)域。計算各個矩形 區(qū)域與圖像的灰度值偏差，偏差大于閾值(由編程人員根據(jù)實際情況設定，此處設置為5) 的區(qū)域判定為障礙物。
7
如果檢測出障礙物，進行障礙物距離測量，障礙物距離測量的方法如下在單目攝像機(此處假定左目攝像機11)拍攝的圖像中檢測出障礙物目標后，取 雙目攝像機中另一個攝像機(此處即是右目攝像機12)拍攝的同一幀圖像，采用視差法求 障礙物距離。即在右目攝像機12拍攝的同一幀圖像中，在與障礙物目標相同橫坐標(或稱 作行坐標)的位置上，尋找障礙物目標的最佳匹配點。以障礙物目標為中心選定一個3X3 的矩形窗口，在右目攝像機12拍攝的該幀圖像中以灰度相關函數(shù)為相似度進行測量，見下 式
權利要求
1.一種基于立體視覺的盲人輔助行走裝置，其特征在于該裝置包括雙目攝像機、中央 處理模塊和語音輸出模塊，所述的雙目攝像機的左目攝像機和右目攝像機與所述的中央處 理模塊相連，所述的中央處理模塊具有障礙物處理、交通燈處理和偏離道路處理為主的圖 像處理軟件，該中央處理模塊的輸出端與所述的語音輸出模塊相連。
2.根據(jù)權利要求1所述的基于立體視覺的盲人輔助行走裝置，其特征在于所述的雙目 攝像機為采用超寬動態(tài)，強光抑制，低照度攝像機。
3.根據(jù)權利要求1或2所述的基于立體視覺的盲人輔助行走裝置，其特征在于所述的 雙目攝像機采用動態(tài)范圍是1 400的超寬動態(tài)低照度攝像機。
4.根據(jù)權利要求1至3任一項所述的基于立體視覺的盲人輔助行走裝置，其特征在于 所述的雙目攝像機采用最低照度為0. 05Lux的超寬動態(tài)低照度攝像機。
5.根據(jù)權利要求1所述的基于立體視覺的盲人輔助行走裝置，其特征在于所述的中央 處理模塊采用嵌入式機器視覺圖像處理平臺。
6.根據(jù)權利要求1所述的基于立體視覺的盲人輔助行走裝置，其特征在于所述的語音 輸出模塊為所述的中央處理模塊自帶的語音模塊或耳機。
7.利用權利要求1所述的基于立體視覺的盲人輔助行走裝置輔助盲人行走的方法，其 特征在于該方法包括下列步驟①將所述的雙目攝像機的左目攝像機、右目攝像機對稱地安裝在盲人帽子前方，離地 面等高且左目攝像機、右目攝像機的中心間距固定，該左目攝像機、右目攝像機與所述的中 央處理模塊相連，所述的中央處理模塊的輸出端與所述的語音輸出模塊相連，將語音模塊 的耳機塞在盲人的耳孔中；②啟動所述的盲人輔助行走裝置，左目攝像機、右目攝像機同步實時地采集路況信息； 中央處理模塊以每秒2-8幀的速度分別將左目攝像機、右目攝像機攝取的視頻圖像變?yōu)檫B 續(xù)的分幅的圖像序列并暫存；③所述的中央處理模塊首先將左目攝像機或右目攝像機采集的連續(xù)的分幅的圖像序 列轉換為灰度圖像，然后采用中值濾波進行圖像預處理，并對每幀圖像進行Carmy邊緣檢 測和Hough變換檢測直線，提取道路邊緣并判斷是否為道路邊緣當是道路邊緣時，同時進行步驟④、⑤、⑥；當不是道路邊緣時，同時進行步驟④、⑤；④障礙物處理所述的中央處理模塊對單目攝像機采集的連續(xù)圖像幀序列，在圖像上 選擇使用者前進方向上的梯形感興趣區(qū)域，對該區(qū)域根據(jù)灰度值提取障礙物區(qū)域，提取障 礙物目標；檢測到障礙物目標后，所述的中央處理模塊對雙目攝像機另一個單目攝像機采 集的同一幀圖像，采用視差法計算障礙物的距離；⑤交通信號燈處理所述的中央處理模塊對左目攝像機或右目攝像機采集的連續(xù)圖像 幀序列，根據(jù)模板灰度匹配進行交通信號燈處理，然后通過語音模塊給出交通信號燈顏色 和信號燈位置的語音提示；⑥偏離道路處理所述的中央處理模塊根據(jù)提取出的道路邊緣線在圖像中的位置和傾 角，判斷使用者偏離道路的情況，給出語音提示。
8.根據(jù)權利要求7所述的輔助盲人行走的方法，其特征在于計算所述的檢測出的直 線長度，并判斷如果該長度大于閾值，并且在左、右圖中直線與圖像的中垂線的夾角在0° 90°，則該直線為道路邊緣。
9.根據(jù)權利要求7所述的輔助盲人行走的方法，其特征在于所述的障礙物處理中的梯 形感興趣區(qū)域是根據(jù)使用者的實際情況設置。
10.根據(jù)權利要求7所述的輔助盲人行走的方法，其特征在于所述的交通信號燈處理 中模板匹配是通過提供被測物體原型，計算模板的所有相關位置與圖像各個位置之間的相 似度，在輸入的圖像中尋找目標物體。
全文摘要
本發(fā)明公開了一種基于立體視覺的盲人輔助行走裝置及其輔助方法，裝置包括雙目攝像機、中央處理模塊和語音輸出模塊，所述的雙目攝像機的左目攝像機和右目攝像機與所述的中央處理模塊相連，所述的中央處理模塊具有障礙物處理、交通燈處理和偏離道路處理為主的圖像處理軟件，該中央處理模塊的輸出端與所述的語音輸出模塊相連。使用者將本發(fā)明裝置戴在頭上，啟動后，雙目攝像機攝像，中央處理模塊進行道路邊緣檢測、障礙物處理、交通燈處理和偏離道路處理。根據(jù)處理的結果通過語音輸出模塊給出語音提示，輔助盲人在室內(nèi)外無障礙地行走，安全通過交叉路口。
文檔編號A61H3/06GK101999972SQ20101055964
公開日2011年4月6日 申請日期2010年11月24日 優(yōu)先權日2010年11月24日
發(fā)明者宋彥斌, 應捷, 徐珊珊, 戴曙光, 田牛 申請人:上海理工大學