一種電子行走輔助裝置制造方法
【專利摘要】本發(fā)明公開了一種電子行走輔助裝置，目的在于結(jié)合圖像處理技術(shù)和可聽化技術(shù)，提出一種結(jié)構(gòu)簡單，易于使用的電子行走輔助系統(tǒng)。相比現(xiàn)存的ETA系統(tǒng),本系統(tǒng)先對圖像進行簡單的處理，提取圖像特征，再映射成聲音，該方法映射的聲音清晰、簡單、易于理解。一種電子行走輔助系統(tǒng)，包括攝像頭、便攜式計算機和耳機三部分組成，三部分分別對應(yīng)完成數(shù)據(jù)獲取、數(shù)據(jù)處理、數(shù)據(jù)-聲音映射、聲音合成和播放聲音的工作。攝像頭獲取原始環(huán)境信息的數(shù)據(jù)，生成單幀的彩色圖像，傳遞給便攜式計算機。便攜式計算機對攝像頭傳遞來的彩色圖像進行圖像處理，提取出圖像特征，再將圖像特征轉(zhuǎn)換成聲音通過耳機輸出。
【專利說明】一種電子行走輔助裝置
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及電子行走輔助領(lǐng)域，更具體的講是一種結(jié)合圖像處理技術(shù)和可聽化技術(shù)，且結(jié)構(gòu)簡單，易于使用的電子行走輔助裝置。
【背景技術(shù)】
[0002]自20世紀70年代以來，各個國家的學(xué)者開始展開了電子行走輔助裝置的研究。這些系統(tǒng)通過各種傳感器獲取周圍的環(huán)境信息，把傳感器獲得的信息通過計算機轉(zhuǎn)換成聲音信號，使盲人根據(jù)這些聲音信號在行走中進行定位和移動。這種利用集成電路技術(shù)和計算機技術(shù)開發(fā)的設(shè)備又稱為電子行走輔助裝置(Electronic Travel Aids, ETAS )。盡管各國學(xué)者和專家們已經(jīng)花了 30多年的時間研究和開發(fā)各種電子行走輔助裝置，但ETA系統(tǒng)的普及和應(yīng)用始終不是很理想，在國內(nèi)，有關(guān)ETA的研究報道幾乎是空白。

【發(fā)明內(nèi)容】

[0003]為解決上述問題，本發(fā)明公開了一種電子行走輔助裝置，目的在于結(jié)合圖像處理技術(shù)和可聽化技術(shù)，提出一種結(jié)構(gòu)簡單，易于使用的電子行走輔助裝置。相比現(xiàn)存的ETA系統(tǒng)，本系統(tǒng)先對圖像進行簡單的處理，提取圖像特征，再映射成聲音，該方法映射的聲音清晰、簡單、易于理解。
[0004]本發(fā)明是采取以下技術(shù)方案實現(xiàn)的:一種電子行走輔助裝置，包括攝像頭、便攜式計算機和耳機三部分組成，三部分分別對應(yīng)完成數(shù)據(jù)獲取、數(shù)據(jù)處理、數(shù)據(jù)一聲音映射、聲音合成和播放聲音的工作。攝像頭獲取原始環(huán)境信息的數(shù)據(jù)，生成單幀的彩色圖像，傳遞給便攜式計算機。便攜式計算機對攝像頭傳遞來的彩色圖像進行圖像處理，提取出圖像特征，再將圖像特征轉(zhuǎn)換成聲音通過耳機輸出。
[0005]本發(fā)明的實現(xiàn)還包括以下的技術(shù)方案:
上述便攜式計算機部分中包括圖像處理模塊，圖像聲音映射模塊和聲音合成模塊三個模塊。
[0006]上述攝像頭部分每隔3秒鐘拍攝一張彩色照片傳給上述圖像處理模塊，圖像處理模塊先對這幅圖像進行去噪等預(yù)處理，去除掉干擾的信息，然后同時進行盲道方向提取和障礙物位置提取兩項操作。
[0007]上述圖像處理模塊中盲道方向提取操作的實現(xiàn)過程為先對去噪后的圖像進行灰度化處理，用canny邊緣檢測方法提取邊緣信息，再霍夫變換得到盲道的兩條邊界直線和這兩條直線的角度信息，把直線的角度信息傳給圖像聲音映射模塊進行聲音映射。
[0008]上述圖像處理模塊中障礙物位置提取操作的實現(xiàn)過程為對去噪后的圖像進行灰度和二值化，然后進行多次迭代閉運算，提取出障礙物，然后計算障礙物的質(zhì)心，用障礙物的質(zhì)心代表障礙物的位置。然后將障礙物的質(zhì)心坐標傳遞給圖像聲音映射模塊。
[0009]上述圖像聲音映射模塊的實現(xiàn)過程為把從圖像處理模塊中獲取的盲道的方向和障礙物信息，通過映射模型轉(zhuǎn)換成相應(yīng)的聲音參數(shù)，將這些聲音傳遞給聲音合成模塊。[0010]上述聲音合成模塊采用MatLab中的發(fā)聲函數(shù)sound (y, Fs)可將聲音參數(shù)轉(zhuǎn)換為聲音。其中的y代表聲音數(shù)據(jù)，根據(jù)方向信息的不同，所輸入的聲音數(shù)據(jù)的參數(shù)不同；Fs代表采樣頻率，應(yīng)用這個函數(shù)可測試采樣頻率等聲音特性。
[0011]本發(fā)明優(yōu)點和有益效果具體體現(xiàn)在以下幾個方面:
1.本發(fā)明相比現(xiàn)存的ETA系統(tǒng)，映射的聲音清晰、簡單、易于理解，使用戶在不經(jīng)訓(xùn)練或短時間的學(xué)習就能適應(yīng)目標系統(tǒng)。實驗表明，該系統(tǒng)能很好的被盲人接受，從而為盲人的出行提供方便，改善盲人的生活。
[0012]2.本發(fā)明中具有無創(chuàng)傷、聲音模式豐富、成本低等優(yōu)點，得到了科研人員的廣泛關(guān)注。
[0013]3.本發(fā)明是采用圖像處理技術(shù)和聽覺顯示技術(shù)的ETA系統(tǒng)，具有很大的發(fā)展?jié)摿Α！緦＠綀D】

【附圖說明】
[0014]圖1是本發(fā)明組成部分示意圖；
圖2是本發(fā)明的數(shù)據(jù)傳輸流程示意圖；
圖3是圖像處理模塊的主要流程示意圖；
圖4是圖像聲音映射模型示意圖。
【具體實施方式】
[0015]以下結(jié)合說明書附圖1和說明書附圖2對本發(fā)明的實施做進一步詳述:
一種電子行走輔助裝置，包括攝像頭、便攜式計算機和耳機三部分組成，如說明書附圖1所示，三部分完成數(shù)據(jù)獲取、數(shù)據(jù)處理、數(shù)據(jù)一聲音映射、聲音合成和播放聲音的工作。攝像頭獲取原始環(huán)境信息的數(shù)據(jù)，生成單幀的彩色圖像，傳遞給便攜式計算機。便攜式計算機對攝像頭傳遞來的彩色圖像進行圖像處理，提取出圖像特征，再將圖像特征轉(zhuǎn)換成聲音通過耳機輸出。其中便攜式計算機的處理是本系統(tǒng)的關(guān)鍵部分，便攜式計算機需要處理的工作，包括對原始環(huán)境信息進行處理提取環(huán)境特征，通過數(shù)據(jù)一聲音映射函數(shù)輸出聲音參數(shù)，由得到的聲音參數(shù)合成聲音。
[0016]上述便攜式計算機部分中包括圖像處理模塊，圖像聲音映射模塊和聲音合成模塊三個模塊。系統(tǒng)數(shù)據(jù)的流程如說明書附圖2所示，數(shù)據(jù)傳輸?shù)牧鞒毯拖到y(tǒng)的結(jié)構(gòu)構(gòu)成是相對應(yīng)的。
[0017]以下結(jié)合說明書附圖3對本發(fā)明中的圖像處理模塊做進一步詳述:
圖像處理模塊的主要功能是從攝像頭獲取的圖像通過一系列的圖像處理的過程提取出盲道方向和障礙物位置信息。如果直接把整幅圖像映射成聲音，會把圖像中包括背景和噪聲等一些無用的信息也轉(zhuǎn)化成聲音，這樣得出的聲音冗余信息較多，不易理解且處理的數(shù)據(jù)量大，轉(zhuǎn)化速度慢。所以要對圖像進行處理，提取出對系統(tǒng)有用的數(shù)據(jù)特征，只把這些數(shù)據(jù)特征映射成聲音，這樣處理數(shù)據(jù)量小，得出的聲音易于理解，并且映射速度較快。圖像的特征主要是圖像中的盲道的方向特征和障礙物的位置信息，因此圖像處理模塊主要分兩步進行圖像處理。圖像處理模塊的流程如說明書附圖3所示。
[0018]攝像頭每隔3秒鐘拍攝一張彩色照片傳給圖像處理模塊，圖像處理模塊先對這幅圖像進行去噪等預(yù)處理，去除掉干擾的信息，然后同時進行盲道方向提取和障礙物位置提取的計算。
[0019](I)提取盲道的兩條邊緣線來得到盲道方向特征，盲道方向提取的步驟是，先對去噪后的圖像進行灰度化處理，用canny邊緣檢測方法提取邊緣信息，再霍夫變換得到盲道的兩條邊界直線和這兩條直線的角度信息，把直線的角度信息傳給圖像聲音映射模塊進行聲音映射。
[0020](2)第二部提取障礙物的位置信息。障礙物位置提取對去噪后的圖像進行灰度和二值化，然后進行多次迭代閉運算，提取出障礙物，然后計算障礙物的質(zhì)心，用障礙物的質(zhì)心代表障礙物的位置。然后將障礙物的質(zhì)心坐標傳遞給圖像聲音映射模塊。
[0021]以下結(jié)合說明書附圖4對本發(fā)明中的圖像聲音映射模塊做進一步詳述:
該模塊是本發(fā)明的主要模塊，主要功能是把從圖像處理模塊中獲取的盲道的方向和障
礙物信息，通過映射模型轉(zhuǎn)換成相應(yīng)的聲音參數(shù)，再用這些聲音參數(shù)合成聲音。
[0022](1)特征數(shù)據(jù)
在現(xiàn)實生活中，盲人一直沿著盲道行走，當偏離盲道時盲人需要知道偏離盲道的方向，路邊存在著很多公共設(shè)施如垃圾桶、座椅等，盲人行走需要繞過這些公共設(shè)施，避免碰撞。所以構(gòu)成盲人行走障礙的環(huán)境信息可以分成兩種:
A.道路方向。提取盲道的邊緣線來代表盲道方向。
[0023]B.障礙物。就是盲道附近的公共設(shè)施和行人，會影響盲人行走的物體。
[0024](2)聲音參數(shù)
A.音調(diào)。聲音的相對幅值可以通過音調(diào)最直接的表達出來。一般，大的數(shù)據(jù)用高的音階或頻率進行表示。把數(shù)據(jù)映射成我們所熟悉的標準的音樂的音階，會讓我們更容易理解。因此，音調(diào)提供了比較豐富的數(shù)據(jù)的表達范圍。
[0025]B.響度。表現(xiàn)出聲音的不同強弱。響度的感受會受到頻率的很大影響。所以在可聽化設(shè)計時要小心使用響度這個聲音參數(shù)，此處我們用響度的小，中和大三個強度來表達數(shù)據(jù)，可以起到很好的效果。
[0026]C.節(jié)奏。節(jié)奏是很容易區(qū)分的，要可能使旋律不同，這樣就有較大的區(qū)分度，采用不同的旋律是非常有效的方法。
[0027](3)映射模型
目前聽覺顯示的主要表示方法有三種:聽標、耳標和可聽化，本發(fā)明基于聽覺顯示技術(shù)，設(shè)計了相應(yīng)的環(huán)境信息映射方案。道路方向是一種連續(xù)環(huán)境信息，適合用可聽化技術(shù)來實現(xiàn)這類連續(xù)信號的變化。道路上的障礙物(垃圾桶、電線桿等)是一種離散的信息，適合用聽標或耳標這種離散的聽覺顯示方式來表現(xiàn)。所以對于助盲系統(tǒng)可以建立如說明書附圖4所示的映射模型。
[0028]基于以上理論和所建立的模型，我們用計算機合成的音樂來表示盲道的方向，用四種方案來表示盲道方向，第一種方案用頻率表示盲道方向，第二中方案用頻率和響度表示盲道方向，第三種方案用節(jié)奏表示盲道方向，第四重方案用節(jié)奏和響度表示盲道方向。因為人們對響度的區(qū)分度不是很明顯，所以選取大、中、小三個響度來輔助頻率和節(jié)奏的表示，使用戶更容易辨別。用鑼聲來表示前方有障礙物，聲音響度的大小表示障礙物的遠近，除了用非語音來實現(xiàn)信息的顯示外，也可以利用語音提示幫助用戶更好地理解聲音的含義。但為了避免長時間的語音提示引起用戶的聽覺疲勞，語音提示只是起到輔助功能。
[0029]利用本發(fā)明所述的技術(shù)方案，或本領(lǐng)域的技術(shù)人員在本發(fā)明技術(shù)方案的啟發(fā)下，設(shè)計出類似的技術(shù)方案，而達到上述技術(shù)效果的，均是落入本發(fā)明的保護范圍。
【權(quán)利要求】
1.一種電子行走輔助裝置，其特征在于:包括攝像頭、便攜式計算機和耳機三部分組成,三部分分別對應(yīng)完成數(shù)據(jù)獲取、數(shù)據(jù)處理、數(shù)據(jù)——聲音映射、聲音合成和播放聲音的工作，攝像頭獲取原始環(huán)境信息的數(shù)據(jù)，生成單幀的彩色圖像，傳遞給便攜式計算機，便攜式計算機對攝像頭傳遞來的彩色圖像進行圖像處理，提取出圖像特征，再將圖像特征轉(zhuǎn)換成聲音通過耳機輸出。
2.根據(jù)權(quán)利要求1所述的一種電子行走輔助裝置，其特征在于:所述便攜式計算機部分中包括圖像處理模塊，圖像聲音映射模塊和聲音合成模塊三個模塊。
3.根據(jù)權(quán)利要求1所述的一種電子行走輔助裝置，其特征在于:所述攝像頭部分每隔3秒鐘拍攝一張彩色照片傳給上述圖像處理模塊，上述圖像處理模塊先對這幅圖像進行去噪等預(yù)處理，去除掉干擾的信息，然后同時進行盲道方向提取和障礙物位置提取兩項操作。
4.根據(jù)權(quán)利要求3所述的圖像處理模塊，其特征在于:所述盲道方向提取操作的實現(xiàn)過程為先對去噪后的圖像進行灰度化處理，用canny邊緣檢測方法提取邊緣信息，再霍夫變換得到盲道的兩條邊界直線和這兩條直線的角度信息，把直線的角度信息傳給圖像聲音映射模塊進行聲音映射。
5.根據(jù)權(quán)利要求3所述的圖像處理模塊，其特征在于:所述障礙物位置提取操作的實現(xiàn)過程為對去噪后的圖像進行灰度和二值化，然后進行多次迭代閉運算，提取出障礙物，然后計算障礙物的質(zhì)心，用障礙物的質(zhì)心代表障礙物的位置，然后將障礙物的質(zhì)心坐標傳遞給上述圖像聲音映射模塊。
6.根據(jù)權(quán)利要求2所述的所述便攜式計算機部分，其特征在于:所述圖像聲音映射模塊的實現(xiàn)過程為把從圖像處理模塊中獲取的盲道的方向和障礙物信息，通過映射模型轉(zhuǎn)換成相應(yīng)的聲音參數(shù)，將這些聲音傳遞給上述聲音合成模塊。
7.根據(jù)權(quán)利要求2所述的所述便攜式計算機部分，其特征在于:所述聲音合成模塊采用MatLab中的發(fā)聲函數(shù)sound(y, Fs)可將聲音參數(shù)轉(zhuǎn)換為聲音,其中的y代表聲音數(shù)據(jù)，根據(jù)方向信息的不同，所輸入的聲音數(shù)據(jù)的參數(shù)不同；Fs代表采樣頻率，應(yīng)用這個函數(shù)可測試采樣頻率等聲音特性。
【文檔編號】A61F9/08GK103908365SQ201410141018
【公開日】2014年7月9日 申請日期:2014年4月9日 優(yōu)先權(quán)日:2014年4月9日
【發(fā)明者】不公告發(fā)明人 申請人:天津思博科科技發(fā)展有限公司