專利名稱：基于上懸無線傳輸攝像頭的輪椅室內(nèi)全局視頻監(jiān)控導(dǎo)航系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及智能輪椅導(dǎo)航技術(shù)，特別是提出了一種基于上懸無線傳輸攝像頭的輪椅室內(nèi)全局視頻監(jiān)控導(dǎo)航技術(shù)，引入室內(nèi)視頻監(jiān)控技術(shù)，與機器人自主導(dǎo)航技術(shù)相結(jié)合，實現(xiàn)對輪椅的室內(nèi)導(dǎo)航控制。屬于智能輪椅導(dǎo)航技術(shù)領(lǐng)域。
背景技術(shù)：
智能輪椅是將智能機器人技術(shù)應(yīng)用于電動輪椅，融合多種領(lǐng)域的研究，包括機器視覺、機器人導(dǎo)航和定位、模式識別、多傳感器融合及用戶接口等，涉及機械、控制、傳感器、 人工智能等技術(shù)。智能輪椅可以為肢障人群提供性能優(yōu)越的代步工具，幫助他們提高生活質(zhì)量與行動自由度，使他們能更好的融入社會。智能輪椅自主導(dǎo)航技術(shù)包括航標(biāo)導(dǎo)航、地圖導(dǎo)航、傳感器導(dǎo)航和視覺導(dǎo)航。導(dǎo)航系統(tǒng)通常是由其中的一種或幾種方式結(jié)合起來構(gòu)成。導(dǎo)航系統(tǒng)通過各種傳感器檢測環(huán)境信息，建立環(huán)境模型，確定輪椅的位置和方向，然后規(guī)劃出安全有效運動路徑。由于計算機視覺導(dǎo)航技術(shù)具有信息量豐富，智能化水平高等優(yōu)點，近年來也應(yīng)用于智能輪椅的自主導(dǎo)航。 目前國內(nèi)外主要采用在智能輪椅上安裝前向車載攝像機的基于局部視覺的導(dǎo)航方式，具有方便、靈活、適應(yīng)性強的優(yōu)點，但用于室內(nèi)導(dǎo)航存在以下問題1)視野小致使有效導(dǎo)航范圍受限，且只能獲得前方信息而不能獲得場地全局信息，無法實現(xiàn)對運動場景的全局監(jiān)控和導(dǎo)航避障，影響系統(tǒng)的安全性。一般是靠其他傳感器配合，又增加了成本投入和系統(tǒng)的復(fù)雜性。2)智能輪椅的運動影響圖像的采集、顯示和識別的穩(wěn)定性，難以保證導(dǎo)航精度。3)由于導(dǎo)航距離短需要操作者頻繁操作必要時還經(jīng)常要手動操作調(diào)整，而智能輪椅的使用者一般身體狀況較差，操作比較費時費力，容易造成疲勞和不適。

發(fā)明內(nèi)容
本發(fā)明為克服現(xiàn)有技術(shù)存在的上述問題，引入室內(nèi)視頻監(jiān)控技術(shù)，與機器人自主導(dǎo)航技術(shù)相結(jié)合，設(shè)計一套基于上懸無線傳輸攝像頭的輪椅室內(nèi)全局視頻監(jiān)控導(dǎo)航系統(tǒng)。本發(fā)明提供的基于上懸無線傳輸攝像頭的輪椅室內(nèi)全局視頻監(jiān)控導(dǎo)航系統(tǒng)，包括無線攝像機固定于室內(nèi)屋頂上，用于實時采集輪椅及其運動現(xiàn)場圖像并傳輸?shù)阶鳛椴僮骱捅O(jiān)控平臺的輪椅車載微機上；色標(biāo)設(shè)置在輪椅上，用于確定輪椅的位置和位姿的識別標(biāo)記；操作和監(jiān)控平臺該平臺由輪椅車載微機實現(xiàn)，用于完成外設(shè)監(jiān)控導(dǎo)航和人機接口對話兩項任務(wù)，監(jiān)控操作界面直接提供現(xiàn)場監(jiān)控圖像和目標(biāo)選擇，使用者只需用鼠標(biāo)或觸摸屏方式選中目的地，系統(tǒng)通過對設(shè)在輪椅上的色標(biāo)識別確定輪椅的位置和位姿，根據(jù)所選目標(biāo)點坐標(biāo)及視頻圖像提供的場地信息生成最佳導(dǎo)航路線控制輪椅到達(dá)所選目標(biāo)；操作和監(jiān)控平臺中包括視覺子系統(tǒng)、決策子系統(tǒng)和通訊子系統(tǒng)；(1)視覺子系統(tǒng)視覺子系統(tǒng)控制上懸攝像頭對現(xiàn)場視頻圖像的采集并對圖像進(jìn)行處理，從而獲得輪椅和目標(biāo)點的坐標(biāo)信息以及運動場地狀況，提供給決策子系統(tǒng)決策并便于操作者實時監(jiān)控；(2)決策子系統(tǒng)決策子系統(tǒng)根據(jù)視覺子系統(tǒng)提供的場地信息、輪椅和目標(biāo)點的位置信息來制定策略，最終形成輪椅的控制指令，通過通訊子系統(tǒng)傳給輪椅上安裝的移動外設(shè)子系統(tǒng)用于驅(qū)動輪椅動作；(3)通訊子系統(tǒng)通訊子系統(tǒng)負(fù)責(zé)決策子系統(tǒng)發(fā)出的控制指令的傳輸，完成操作和監(jiān)控平臺和輪椅上安裝的移動外設(shè)子系統(tǒng)之間的通訊；移動外設(shè)子系統(tǒng)移動外設(shè)子系統(tǒng)是輪椅的驅(qū)動部分，可以將接收的控制命令轉(zhuǎn)換成左右驅(qū)動輪電機的PWM驅(qū)動操作，控制輪椅的行走。所述輪椅上設(shè)置的色標(biāo)是沿輪椅靠背設(shè)一個由支架支撐的水平頂板，水平頂板上設(shè)有色塊標(biāo)識，包括涂有兩種不同顏色的第一色標(biāo)和第二色標(biāo)；操作和監(jiān)控平臺根據(jù)輪椅上的第一色標(biāo)和第二色標(biāo)顏色，在RGB圖像中分別進(jìn)行搜索，得到輪椅的質(zhì)心位置坐標(biāo)和方向。所述的決策子系統(tǒng)采用基于全局監(jiān)控導(dǎo)航的自適應(yīng)PID移動外設(shè)控制的導(dǎo)航策略，將鼠標(biāo)或觸摸屏點擊的位置作為目標(biāo)點，計算該目標(biāo)點到輪椅質(zhì)心的距離和角度，判斷是否超過距離閾值，小于距離閾值則向輪椅發(fā)送停止指令以保證輪椅能克服速度慣性平穩(wěn)準(zhǔn)確到達(dá)目標(biāo)點，否則按照給定的PID控制算法，根據(jù)距離自動計算輪椅行走的實時速度， 包括左輪的速度和右輪的速度，并將該實時速度發(fā)送給移動外設(shè)子系統(tǒng)驅(qū)動輪椅行走。所述的距離閾值通常設(shè)為輪椅車身長度的一半。本發(fā)明的有益效果該系統(tǒng)的操作和監(jiān)控平臺設(shè)置在輪椅的車載筆記本電腦上，操作界面直接提供現(xiàn)場監(jiān)控圖像和目標(biāo)選擇，操作者只需用鼠標(biāo)或觸摸屏方式進(jìn)行目標(biāo)選擇，輪椅可以自主導(dǎo)航、自動避障到達(dá)目標(biāo)點，操作的同時可以實現(xiàn)對輪椅和運動場景的監(jiān)控，簡化了操作并提高了安全性。使操作者從繁瑣的手動控制中解放出來，減少了操作投入，這對于身體虛弱的重度肢障人群具有重要意義，能幫助他們在室內(nèi)輕松地自由移動，更大限度地實現(xiàn)生活的自理，以提高他們的獨立性，增強他們生活的信心，提高他們的生活質(zhì)量，也能夠為家庭和社會減輕負(fù)擔(dān)。本發(fā)明的視覺系統(tǒng)兼具外設(shè)監(jiān)控導(dǎo)航和人機接口兩項功能，主要應(yīng)用場景是家庭和醫(yī)院及康復(fù)中心室內(nèi)，采用上懸無線攝像機的全局視覺監(jiān)控技術(shù)，實時采集移動外設(shè)及其運動現(xiàn)場圖像。本發(fā)明為實現(xiàn)理想的智能輪椅控制提供了新思路、新技術(shù)。


圖1.輪椅導(dǎo)航控制系統(tǒng)體系結(jié)構(gòu)示意圖
圖2.輪椅監(jiān)控操作界面圖3.軟件系統(tǒng)圖4.輪椅色標(biāo)圖5.輪椅質(zhì)心及角度坐標(biāo)圖6.輪椅與目標(biāo)相對位置角度坐標(biāo)圖7操作測試結(jié)果圖。圖中1上懸無線攝像機、2輪椅車載微機、3色標(biāo)、4移動外設(shè)子系統(tǒng)、5鼠標(biāo)或觸摸屏點中的目標(biāo)點、6輪椅所要到達(dá)區(qū)域的透明色塊標(biāo)識、7輪椅模擬外設(shè)俯視圖、8第一色標(biāo)、9輪椅質(zhì)心位置、10第二色標(biāo)、11輪椅行駛正方向、12目標(biāo)點、A視覺子系統(tǒng)、B決策子系統(tǒng)、C通訊子系統(tǒng)。下面結(jié)合附圖對本發(fā)明的具體實施方式
作進(jìn)一步說明，但不應(yīng)以此限制本發(fā)明的保護(hù)范圍。
具體實施例方式如圖1所示，本發(fā)明采用固定于屋頂?shù)纳蠎覠o線攝像機1實時采集輪椅及其運動現(xiàn)場圖像并傳輸?shù)阶鳛椴僮骱捅O(jiān)控平臺的輪椅車載微機2上。該平臺兼具外設(shè)監(jiān)控導(dǎo)航和人機接口兩項功能，直接提供現(xiàn)場監(jiān)控圖像和目標(biāo)選擇，使用者只需用鼠標(biāo)或觸摸屏方式選中目的地，系統(tǒng)通過對設(shè)在輪椅上的色標(biāo)3進(jìn)行識別確定其位姿，根據(jù)所選目標(biāo)點坐標(biāo)及視頻圖像提供的場地信息生成最佳導(dǎo)航路線，并實時提高控制命令，由外設(shè)子系統(tǒng)4轉(zhuǎn)化為輪椅左右輪的電機驅(qū)動操作。圖2給出了監(jiān)控操作界面，為了能給使用者提供所處方位指導(dǎo)，實現(xiàn)精確監(jiān)控導(dǎo)航，把采集視頻現(xiàn)場圖像劃分成“九宮格”的形式，鼠標(biāo)或觸摸屏點中的目標(biāo)點5用輪椅俯視平面大小的透明色塊6給與標(biāo)識，透明色塊區(qū)域即是輪椅要到達(dá)的目標(biāo)區(qū)域，其中心即為目標(biāo)點。操作和監(jiān)控平臺中軟件系統(tǒng)如圖3，分為視覺子系統(tǒng)A、決策子系統(tǒng)B、通訊子系統(tǒng) C三個部分視覺子系統(tǒng)采用基于上懸攝像頭的全局視頻監(jiān)控技術(shù)采集現(xiàn)場視頻圖像獲得輪椅和目標(biāo)點的二維坐標(biāo)信息以及運動場地狀況提供給決策子系統(tǒng)并為操作者提供場景實時監(jiān)控畫面；決策子系統(tǒng)根據(jù)場地信息、輪椅和目標(biāo)點的位置信息來制定策略，最終形成輪椅的控制指令通過通信系統(tǒng)傳給輪椅；通信子系統(tǒng)負(fù)責(zé)控制指令的傳輸，完成車載微機和輪椅的通訊。移動外設(shè)子系統(tǒng)是輪椅的驅(qū)動部分，可將接收的控制命令轉(zhuǎn)換成左右驅(qū)動輪電機的PWM驅(qū)動操作，控制輪椅的行走。輪椅色標(biāo)設(shè)置、識別與定位技術(shù)如圖1所示沿輪椅靠背設(shè)一支架支撐一水平頂板，其上設(shè)有色塊標(biāo)識3，如圖4，色塊標(biāo)識包括涂有兩種不同顏色的第一色標(biāo)8和第二色標(biāo) 10，應(yīng)選用色調(diào)差別大的顏色。首先提取兩色標(biāo)的顏色特征值，在視頻采集獲得RGB圖像中分別進(jìn)行搜索識別，可以實時得到輪椅的質(zhì)心位置坐標(biāo)9和正方向11。因為本發(fā)明采用上懸攝像頭的方式，通過對攝像頭的調(diào)整采集輪椅運動現(xiàn)場全景的平面圖像，圖像為640*480 的彩色圖像，可以建立像素坐標(biāo)和實際場地坐標(biāo)(長*寬)之間的對應(yīng)關(guān)系，并相互映射轉(zhuǎn)換。像素坐標(biāo)系如圖5所示，以場地圖像左下角為原點，用XY像素坐標(biāo)系來描述輪椅的位置，輪椅質(zhì)心9(x，y)為由已識別出的第一色標(biāo)近似中心(Xl，yi)和第二色標(biāo)的近似中點 (x2，y2)連線的中點，χ = (X^X2) /2(1)y = (yi+y2) /2(2)第二色標(biāo)(X2，y2)指向第一色標(biāo)(Xl，Y1)的射線與X軸正方向的夾角為α，
a = arctan(l,2 ^1))(3)輪椅正方向與X軸正方向的夾角θ = α+ π/4，由此可以判斷出輪椅的位置和方向信息(X，1, Θ)輸出給決策子系統(tǒng)。如第一色標(biāo)中心(157，120)，第二色標(biāo)中心(193， 170)，輪椅質(zhì)心(175，145)，α = arctantl. 4 = 0. 950，角度 θ = 0. 950+0. 785 = 1. 735, 其坐標(biāo)值為(175，145，1.735)。導(dǎo)航策略采用基于全局監(jiān)控導(dǎo)航的自適應(yīng)PID移動外設(shè)控制，根據(jù)距離差de，角度差θ e自動計算輪椅行走的實時速度，即左右輪的速度發(fā)送給輪椅令其行走。如圖6所示， 將鼠標(biāo)或觸摸屏點擊的位置作為目標(biāo)點12，計算其到輪椅質(zhì)心9的距離差de，角度差θ ede = ^dx2+d；(4)0e= 0d-0r(5)其中dx指定點與輪椅質(zhì)心的橫坐標(biāo)差，dy指定點與輪椅質(zhì)心的機器人的縱坐標(biāo)差，Θ,輪椅當(dāng)前所面向的角度，即輪椅正方向與X軸正方向的夾角θ ^=arctan$是到達(dá)
目標(biāo)點后的方向角，即預(yù)期的角度。根據(jù)控制算法，可得輪椅左右輪的實時速度vL = Kpdistance · de-Kpangle · θ e(6)vE = Kpdistance · de+Kpangle · θε(7)其中，^、νκ分別為機器人左輪子、右輪子在像素坐標(biāo)中的速度值，單位是每秒像素點數(shù)，實際速度\、Ve可通過像素坐標(biāo)和實際場地坐標(biāo)(長*寬)之間的對應(yīng)關(guān)系換算得出，單位是m/s，并通過移動外設(shè)子系統(tǒng)調(diào)控PWM脈寬驅(qū)動電機實現(xiàn)；Kpdista_ · de為輪椅行進(jìn)過程中的直線速度分量，Kpangle · θ e為輪椅偏轉(zhuǎn)分量(即角速度分量)；位置增益Kpdistanre 和角度增益Kpan&值的選取，主要取決于場地大小和操作者對輪椅實際速度的需求，一般通過經(jīng)驗初步選取，然后再經(jīng)過實驗進(jìn)一步確定，Kpangle較小而Kpdistanre較大的情況下，輪椅傾向于直線運動，容易偏離目標(biāo)，Kpangle較大而Kpdistanre較小的情況下，輪椅會移動緩慢，且震動強烈。由公式(6)、(7)可知，vL、vE實時隨著de減小而減小，當(dāng)de小于距離閾值則向輪椅發(fā)送停止指令，保證輪椅平穩(wěn)準(zhǔn)確到達(dá)目標(biāo)點。6名受試者分別進(jìn)行了 10組實驗，在10天完成，每天一組實驗。每組實驗包括9 次操作，每位操作者以固定順序逐個分別在1-9個區(qū)塊中選中目標(biāo)點，不同組實驗安排目標(biāo)點所在區(qū)塊的順序不同，場地是6. 4X4. 8m2。操作過程如下1)首先選擇初始化操作，通過分別單擊分別兩色標(biāo)中心點，系統(tǒng)采集其周圍25個像素，提取兩色標(biāo)的顏色特征值，作為后面識別的基礎(chǔ)，操作中系統(tǒng)可實時在視頻采集獲的 RGB圖像中進(jìn)行搜索識別，進(jìn)而獲得輪椅位姿(x，y，θ)；2)設(shè)定位置增益為0.02，角度增益為1。通過固定目標(biāo)的預(yù)操作實驗，觀察輪椅的運動，以0. 02的跨度增大位置增益，減小角度增益，直至獲得最佳輪椅控制效果，確定
Kpdistance 為 0· 1，Kpangle 為 0· 8。3)全自動式輪椅操作，選中目標(biāo)點，系統(tǒng)可以實時獲得顯示出輪椅質(zhì)心和目標(biāo)點的坐標(biāo)。表1顯示某一操作者一組實驗中三次操作的各參數(shù)值。
權(quán)利要求
1.一種基于上懸無線傳輸攝像頭的輪椅室內(nèi)全局視頻監(jiān)控導(dǎo)航系統(tǒng)，其特征在于該系統(tǒng)包括無線攝像機固定于室內(nèi)屋頂上，用于實時采集輪椅及其運動現(xiàn)場圖像并傳輸?shù)阶鳛椴僮骱捅O(jiān)控平臺的輪椅車載微機上；色標(biāo)設(shè)置在輪椅上，用于確定輪椅的位置和位姿的識別標(biāo)記；操作和監(jiān)控平臺該平臺由輪椅車載微機實現(xiàn)，用于完成外設(shè)監(jiān)控導(dǎo)航和人機接口對話兩項任務(wù)，監(jiān)控操作界面直接提供現(xiàn)場監(jiān)控圖像和目標(biāo)選擇，使用者只需用鼠標(biāo)或觸摸屏方式選中目的地，系統(tǒng)通過對設(shè)在輪椅上的色標(biāo)識別確定輪椅的位置和位姿，根據(jù)所選目標(biāo)點坐標(biāo)及視頻圖像提供的場地信息生成最佳導(dǎo)航路線控制輪椅到達(dá)所選目標(biāo)；操作和監(jiān)控平臺中包括視覺子系統(tǒng)、決策子系統(tǒng)和通訊子系統(tǒng)；(1)視覺子系統(tǒng)視覺子系統(tǒng)控制上懸攝像頭對現(xiàn)場視頻圖像的采集并對圖像進(jìn)行處理，從而獲得輪椅和目標(biāo)點的坐標(biāo)信息以及運動場地狀況，提供給決策子系統(tǒng)決策并便于操作者實時監(jiān)控；(2)決策子系統(tǒng)決策子系統(tǒng)根據(jù)視覺子系統(tǒng)提供的場地信息、輪椅和目標(biāo)點的位置信息來制定策略，最終形成輪椅的控制指令，通過通訊子系統(tǒng)傳給輪椅上安裝的移動外設(shè)子系統(tǒng)用于驅(qū)動輪椅動作；(3)通訊子系統(tǒng)通訊子系統(tǒng)負(fù)責(zé)決策子系統(tǒng)發(fā)出的控制指令的傳輸，完成操作和監(jiān)控平臺和輪椅上安裝的移動外設(shè)子系統(tǒng)之間的通訊；移動外設(shè)子系統(tǒng)移動外設(shè)子系統(tǒng)是輪椅的驅(qū)動部分，可以將接收的控制命令轉(zhuǎn)換成左右驅(qū)動輪電機的PWM驅(qū)動操作，控制輪椅的行走。
2.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于所述的輪椅上設(shè)置的色標(biāo)是沿輪椅靠背設(shè)一個由支架支撐的水平頂板，水平頂板上設(shè)有色塊標(biāo)識，包括涂有兩種不同顏色的第一色標(biāo)和第二色標(biāo)；操作和監(jiān)控平臺根據(jù)輪椅上的第一色標(biāo)和第二色標(biāo)顏色，在RGB圖像中分別進(jìn)行搜索，得到輪椅的質(zhì)心位置坐標(biāo)和方向。
3.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于所述的決策子系統(tǒng)采用基于全局監(jiān)控導(dǎo)航的自適應(yīng)PID移動外設(shè)控制的導(dǎo)航策略，將鼠標(biāo)或觸摸屏點擊的位置作為目標(biāo)點，計算該目標(biāo)點到輪椅質(zhì)心的距離和角度，判斷是否超過距離閾值，小于距離閾值則向輪椅發(fā)送停止指令以保證輪椅能克服速度慣性平穩(wěn)準(zhǔn)確到達(dá)目標(biāo)點，否則按照給定的PID控制算法， 根據(jù)距離自動計算輪椅行走的實時速度，包括左輪的速度和右輪的速度，并將該實時速度發(fā)送給移動外設(shè)子系統(tǒng)驅(qū)動輪椅行走。
4.根據(jù)權(quán)利要求3所述的系統(tǒng)，其特征在于所述的距離閾值設(shè)為輪椅車身長度的一半。
全文摘要
一種基于上懸無線傳輸攝像頭的輪椅室內(nèi)全局視頻監(jiān)控導(dǎo)航系統(tǒng)。系統(tǒng)采用固定于屋頂?shù)纳蠎覠o線攝像機1實時采集輪椅及其運動現(xiàn)場圖像并傳輸?shù)阶鳛椴僮骱捅O(jiān)控平臺的輪椅車載微機2上。該平臺兼具外設(shè)監(jiān)控導(dǎo)航和人機接口兩項功能，其操作界面直接提供現(xiàn)場監(jiān)控圖像和目標(biāo)選擇，使用者只需用鼠標(biāo)或觸摸屏方式選中目的地，系統(tǒng)通過對設(shè)在輪椅上的色標(biāo)3識別確定其位姿，根據(jù)所選目標(biāo)點及視頻圖像提供的場地信息生成最佳導(dǎo)航路線，通過移動外設(shè)子系統(tǒng)4調(diào)控PWM脈寬驅(qū)動左右輪電機控制輪椅到達(dá)所選目標(biāo)。本發(fā)明主要應(yīng)用場景是家庭、醫(yī)院及康復(fù)中心室內(nèi)，操作的同時可以實現(xiàn)對移動外設(shè)和運動場景的監(jiān)控，簡便了操作并提高了安全性。
文檔編號H04N7/18GK102520723SQ20111044662
公開日2012年6月27日 申請日期2011年12月28日 優(yōu)先權(quán)日2011年12月28日
發(fā)明者關(guān)永振, 李鵬海, 王躍虎, 韓楓, 黃海艦 申請人:天津理工大學(xué)