代步工具的控制方法和控制裝置、代步工具系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種代步工具控制方法和控制裝置、代步工具系統(tǒng)，涉及控制領(lǐng)域，能夠無需使用腿、臂或手等身體部位的動(dòng)作即可對代步工具進(jìn)行操作，解決了現(xiàn)有代步工具對于肢體不便人士操作困難的問題。本發(fā)明的方法包括：代步工具控制裝置，包括：攝像頭，用于拍攝使用者的眼部圖像；圖像處理單元，與所述攝像頭相連，用于接收所述攝像頭拍攝的眼部圖像，并從中識別出使用者的眼部動(dòng)作；控制單元，用于根據(jù)識別出的所述眼部動(dòng)作生成對應(yīng)的用于控制代步工具運(yùn)動(dòng)的動(dòng)作指令。
【專利說明】
代步工具的控制方法和控制裝置、代步工具系統(tǒng)
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及控制領(lǐng)域，尤其涉及一種代步工具控制方法和控制裝置、代步工具系 統(tǒng)。
【背景技術(shù)】
[0002] 現(xiàn)有的輪椅，用戶通常需要用手或腳推動(dòng)，或者采用電力驅(qū)動(dòng)并通過按壓按鍵的 方法來進(jìn)行控制，這對于肢體不便的人士而言比較困難，例如漸凍癥患者，既無法使用手 腳，也無法發(fā)聲，根本無法使用現(xiàn)有輪椅。因此，目前急需一種無需使用腿、臂或手等身體部 位的動(dòng)作即可進(jìn)行操作的輪椅。

【發(fā)明內(nèi)容】

[0003] 本發(fā)明提供一種代步工具控制方法和控制裝置、代步工具系統(tǒng)，無需使用腿、臂或 手等身體部位的動(dòng)作即可進(jìn)行操作，解決了現(xiàn)有代步工具對于肢體不便人士操作困難的問 題。
[0004] 為達(dá)到上述目的，本發(fā)明的實(shí)施例采用如下技術(shù)方案：
[0005] 本發(fā)明的實(shí)施例提供一種代步工具控制裝置，包括:攝像頭，用于拍攝使用者的眼 部圖像；圖像處理單元，與所述攝像頭相連，用于接收所述攝像頭拍攝的眼部圖像，并從中 識別出使用者的眼部動(dòng)作；控制單元，用于根據(jù)識別出的所述眼部動(dòng)作生成對應(yīng)的用于控 制代步工具運(yùn)動(dòng)的動(dòng)作指令。
[0006] 可選地，還包括:眼鏡，所述攝像頭集成在所述眼鏡上。
[0007] 優(yōu)選地，所述攝像頭集成在所述眼鏡的鏡片上。
[0008] 可選地，所述圖像處理單元包括：坐標(biāo)確定子單元，用于利用人眼的眼白、虹膜和 瞳孔之間的灰度值差異，從所述攝像頭拍攝的眼部圖像中識別出瞳孔并確定瞳孔坐標(biāo);動(dòng) 作確定子單元，用于將所述瞳孔坐標(biāo)與各預(yù)設(shè)樣片中的瞳孔坐標(biāo)進(jìn)行一一比對，判斷所述 瞳孔坐標(biāo)與所述預(yù)設(shè)樣片中的瞳孔坐標(biāo)的差值是否在預(yù)設(shè)范圍內(nèi)，如果在預(yù)設(shè)范圍內(nèi)，則 確定使用者做出了預(yù)設(shè)樣片中的眼部動(dòng)作，所述預(yù)設(shè)樣片為預(yù)先拍攝的使用者的眼部動(dòng)作 圖像。
[0009] 可選地，所述的代步工具控制裝置，還包括:動(dòng)作準(zhǔn)備單元，與所述圖像處理單元 相連，用于在所述圖像處理單元識別出使用者的眼部動(dòng)作，且通過所述圖像處理單元接收 使用者輸入的本次眼控開始指令之后，判斷代步工具的當(dāng)前狀態(tài)是否處于預(yù)設(shè)的動(dòng)作準(zhǔn)備 狀態(tài)，并在判斷結(jié)果為否時(shí)，生成動(dòng)作準(zhǔn)備指令，所述動(dòng)作準(zhǔn)備指令用于指示所述代步工具 從當(dāng)前狀態(tài)調(diào)整為動(dòng)作準(zhǔn)備狀態(tài)，代步工具處于所述動(dòng)作準(zhǔn)備狀態(tài)時(shí)，適合執(zhí)行所述眼部 動(dòng)作對應(yīng)的動(dòng)作指令。
[0010] 可選地，所述代步工具控制裝置，還包括:提示單元，用于在所述圖像處理單元識 別出使用者的眼部動(dòng)作之后，提示使用者是否執(zhí)行所述眼部動(dòng)作對應(yīng)的動(dòng)作指令;發(fā)送單 元，用于在接收使用者的確認(rèn)執(zhí)行指令后，將所述動(dòng)作指令發(fā)送至代步工具的電機(jī)驅(qū)動(dòng)器。
[0011]可選地，所述代步工具控制裝置，還包括:動(dòng)作結(jié)束單元，用于接收使用者輸入的 本次眼控結(jié)束指令，并根據(jù)所述本次眼控結(jié)束指令生成用于指示所述代步工具停止并關(guān)閉 所述發(fā)送單元的動(dòng)作結(jié)束指令。
[0012] 可選地，所述使用者的眼部動(dòng)作包括:眨眼和向左、向右、向上、向下看。
[0013] 可選地，所述代步工具控制裝置，還包括:通信模塊，用于將所述攝像頭拍攝的眼 部圖像發(fā)送給所述圖像處理單元。
[0014] 本發(fā)明的實(shí)施例還提供一種代步工具系統(tǒng)，包括:代步工具和任一項(xiàng)所述的代步 工具控制裝置，所述代步工具包括全方位輪、驅(qū)動(dòng)所述全方位輪的驅(qū)動(dòng)電機(jī)以及控制所述 驅(qū)動(dòng)電機(jī)的電機(jī)驅(qū)動(dòng)器;所述代步工具控制裝置的動(dòng)作指令輸出端與所述電機(jī)驅(qū)動(dòng)器相 連。
[0015] 優(yōu)選地，所述全方位輪為麥克納姆輪。
[0016] 進(jìn)一步地，所述代步工具系統(tǒng)還包括:停止按鈕，用于接收輸入的強(qiáng)行停止指令； 安全控制板，與所述停止按鈕和所述電機(jī)驅(qū)動(dòng)器相連，用于在接收到所述強(qiáng)行停止指令時(shí)， 向所述電機(jī)驅(qū)動(dòng)器發(fā)送關(guān)閉所述驅(qū)動(dòng)電機(jī)的指令。所述停止按鈕可以設(shè)置在代步工具上， 例如輪椅的扶手或者靠背上，也可以設(shè)置在其它方便操作的地方，本實(shí)施例不做限定。
[0017] 本發(fā)明的實(shí)施例提供一種代步工具控制方法，包括:拍攝使用者的眼部圖像;通過 圖像處理，從拍攝的眼部圖像中識別出使用者的眼部動(dòng)作;根據(jù)識別出的所述眼部動(dòng)作生 成對應(yīng)的用于控制代步工具運(yùn)動(dòng)的動(dòng)作指令。
[0018] 可選地，所述通過圖像處理，從拍攝的眼部圖像中識別出使用者的眼部動(dòng)作之后， 所述根據(jù)識別出的所述眼部動(dòng)作生成對應(yīng)的用于控制代步工具運(yùn)動(dòng)的動(dòng)作指令之前，還包 括:接收使用者輸入的本次眼控開始指令，并判斷代步工具的當(dāng)前狀態(tài)是否處于預(yù)設(shè)的動(dòng) 作準(zhǔn)備狀態(tài)，并在判斷結(jié)果為否時(shí)，生成動(dòng)作準(zhǔn)備指令，所述動(dòng)作準(zhǔn)備指令用于指示所述代 步工具從當(dāng)前狀態(tài)調(diào)整為動(dòng)作準(zhǔn)備狀態(tài)，代步工具處于所述動(dòng)作準(zhǔn)備狀態(tài)時(shí)，適合執(zhí)行所 述眼部動(dòng)作對應(yīng)的動(dòng)作指令。
[0019] 可選地，所述根據(jù)識別出的所述眼部動(dòng)作生成對應(yīng)的用于控制代步工具運(yùn)動(dòng)的動(dòng) 作指令之后，還包括:提示使用者是否執(zhí)行所述眼部動(dòng)作對應(yīng)的動(dòng)作指令;待接收到使用者 輸入的確認(rèn)執(zhí)行指令后，將所述動(dòng)作指令發(fā)送至代步工具的電機(jī)驅(qū)動(dòng)器。
[0020] 可選地，所述接收使用者的確認(rèn)執(zhí)行指令后，將所述動(dòng)作指令發(fā)送至代步工具的 電機(jī)驅(qū)動(dòng)器之后，還包括:接收使用者輸入的本次眼控結(jié)束指令，并根據(jù)所述本次眼控結(jié)束 指令生成用于指示所述代步工具停止并停止向所述代步工具發(fā)送動(dòng)作指令的動(dòng)作結(jié)束指 令。
[0021] 本發(fā)明提供一種代步工具控制方法和控制裝置、代步工具系統(tǒng)，所述代步工具控 制裝置包括:攝像頭、圖像處理單元和控制單元，通過攝像頭拍攝使用者的眼部圖像，圖像 處理單元接收攝像頭拍攝的眼部圖像并從中識別出使用者的眼部動(dòng)作，然后由控制單元根 據(jù)識別出的眼部動(dòng)作生成對應(yīng)的用于控制代步工具運(yùn)動(dòng)的動(dòng)作指令，可以由眼部動(dòng)作控制 操作代步工具，無需使用腿、臂或手等身體部位的動(dòng)作，解決了現(xiàn)有代步工具對于肢體不便 人士操作困難的問題。所述代步工具可以是輪椅等。
【附圖說明】
[0022]為了更清楚地說明本發(fā)明實(shí)施例中的技術(shù)方案，下面將對實(shí)施例中所需要使用的 附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對于本領(lǐng) 域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其它的附 圖。
[0023]圖1為本發(fā)明實(shí)施例一提供的一種代步工具控制裝置的結(jié)構(gòu)框圖；
[0024]圖2為本發(fā)明實(shí)施例一中眼鏡結(jié)構(gòu)示意圖；
[0025]圖3為本發(fā)明實(shí)施例一中第一種實(shí)施方式提供的代步工具控制裝置結(jié)構(gòu)框圖；
[0026] 圖4為本發(fā)明實(shí)施例一中預(yù)先拍攝的使用者直視前方時(shí)的眼部動(dòng)作示意圖；
[0027] 圖5為本發(fā)明實(shí)施例一中預(yù)先拍攝的使用者向左看的預(yù)設(shè)樣片；
[0028] 圖6為本發(fā)明實(shí)施例一中第二種實(shí)施方式提供的代步工具控制裝置結(jié)構(gòu)框圖；
[0029] 圖7為本發(fā)明實(shí)施例一中第三種實(shí)施方式提供的代步工具控制裝置結(jié)構(gòu)框圖；
[0030] 圖8為本發(fā)明實(shí)施例一中第四種實(shí)施方式提供的代步工具控制裝置結(jié)構(gòu)框圖； [0031]圖9為本發(fā)明實(shí)施例一中提供的一種代步工具系統(tǒng)的結(jié)構(gòu)框圖；
[0032] 圖10為本發(fā)明實(shí)施例二中提供的一種輪椅系統(tǒng)的結(jié)構(gòu)示意圖；
[0033] 圖11為本發(fā)明實(shí)施例二中提供的輪椅系統(tǒng)的硬件連接示意圖；
[0034]圖12為本發(fā)明實(shí)施例二中提供的輪椅系統(tǒng)的工作流程圖；
[0035]圖13為本發(fā)明實(shí)施例二中輪椅實(shí)現(xiàn)主要移動(dòng)時(shí)各麥克納姆輪配合運(yùn)動(dòng)的示意圖。
【具體實(shí)施方式】
[0036]下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完 整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；?本發(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其它 實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
[0037] 實(shí)施例一
[0038] 本發(fā)明的實(shí)施例提供一種代步工具控制裝置，如圖1所示，該代步工具控制裝置包 括:攝像頭11，用于拍攝使用者的眼部圖像;圖像處理單元12,與攝像頭11相連，用于接收攝 像頭11拍攝的眼部圖像，并從中識別出使用者的眼部動(dòng)作;控制單元13,用于根據(jù)識別出的 眼部動(dòng)作生成對應(yīng)的用于控制代步工具運(yùn)動(dòng)的動(dòng)作指令。
[0039] 本實(shí)施例提供的代步工具控制裝置，可以預(yù)設(shè)一些眼部動(dòng)作并建立眼部動(dòng)作與對 代步工具操作的對應(yīng)關(guān)系并存儲，示例性地，以輪椅為例可以如下表所示:預(yù)設(shè)的使用者的 眼部動(dòng)作可以包括：眨眼和向左、向右、向上、向下看，并且，向左看對應(yīng)的輪椅操作為輪椅 左轉(zhuǎn)，向右看對應(yīng)的輪椅操作為輪椅右轉(zhuǎn)，向上看對應(yīng)輪椅前進(jìn)，向下看對應(yīng)輪椅后退，眨 眼一次表示指令確認(rèn)，連續(xù)眨眼兩次表示輪椅停止，連續(xù)眨眼三次表示開始啟動(dòng)本次眼控 操作等等。可以理解的是，使用者的眼部動(dòng)作具體包括哪些眼部動(dòng)作以及眼部動(dòng)作與輪椅 操作動(dòng)作的對應(yīng)關(guān)系不做具體限定，實(shí)際運(yùn)用時(shí)可以根據(jù)實(shí)際情況進(jìn)行設(shè)置。另外，可以在 出廠前預(yù)設(shè)，也可以在使用時(shí)由用戶進(jìn)行自定義。本實(shí)施例所述代步工具不限于輪椅，還可 以是平衡車、電動(dòng)獨(dú)輪車等。

[0041] 以輪椅為例，上述控制裝置具體工作時(shí)，使用攝像頭11拍攝使用者的眼部圖像，攝 像頭11拍攝的眼部圖像通過有線或無線的方式傳輸給圖像處理單元12,圖像處理單元12通 過圖像處理從中識別出使用者的眼部動(dòng)作，然后由控制單元13通過查詢預(yù)設(shè)的眼部動(dòng)作與 輪椅操作動(dòng)作的對應(yīng)關(guān)系表，由此生成使輪椅產(chǎn)生對應(yīng)動(dòng)作的動(dòng)作指令。例如，通過圖像處 理識別出使用者的眼部動(dòng)作為向左看，則控制單元13生成指示輪椅左轉(zhuǎn)的動(dòng)作指令并傳遞 給輪椅的動(dòng)力機(jī)構(gòu)，以實(shí)現(xiàn)輪椅的左轉(zhuǎn)操作。
[0042] 通過本實(shí)施例提供的代步工具控制裝置，可以實(shí)現(xiàn)由眼部動(dòng)作控制操作代步工 具，無需使用腿、臂或手等身體部位的動(dòng)作，解決了現(xiàn)有代步工具對于肢體不便人士操作困 難的問題。
[0043] 如圖2所示，上述代步工具控制裝置還可還包括：眼鏡，上述的攝像頭11集成在眼 鏡上，一方面便于使用者佩戴，另一方面還可以遮擋使用者對代步工具操作時(shí)的眼部動(dòng)作， 避免引起他人的好奇心及關(guān)注。一種優(yōu)選實(shí)施方式如圖2所示，將攝像頭11集成在眼鏡的鏡 片上，同時(shí)在眼鏡上攝像頭11旁邊的位置集成通信模塊(例如藍(lán)牙無線模塊111)以及電源 模塊(例如電池131)，電源模塊為攝像頭11和通信模塊提供電力，攝像頭11拍攝的眼部圖像 通過通信模塊發(fā)送給圖像處理單元12。
[0044]如圖3所示，在本實(shí)施例的第一種實(shí)施方式中，上述的圖像處理單元12包括:坐標(biāo) 確定子單元121，用于利用人眼的眼白、虹膜和瞳孔之間的灰度值差異，從攝像頭11拍攝的 眼部圖像中識別出瞳孔并確定瞳孔坐標(biāo);動(dòng)作確定子單元122,用于將瞳孔坐標(biāo)與各預(yù)設(shè)樣 片中的瞳孔坐標(biāo)進(jìn)行一一比對，判斷瞳孔坐標(biāo)與預(yù)設(shè)樣片中的瞳孔坐標(biāo)的差值是否在預(yù)設(shè) 范圍內(nèi)，如果在預(yù)設(shè)范圍內(nèi)，則確定使用者做出了預(yù)設(shè)樣片中的眼部動(dòng)作，預(yù)設(shè)樣片為預(yù)先 拍攝的使用者的眼部動(dòng)作圖像。
[0045] 通過圖像處理識別出瞳孔并確定瞳孔坐標(biāo)，對本領(lǐng)域的技術(shù)人員而言，一般比較 容易實(shí)現(xiàn)，下面僅示例性地簡單敘述:步驟一、攝像頭11所拍攝的眼部圖像主要是人眼的眼 白、虹膜、瞳孔等部分，利用三者之間灰度值差異，實(shí)現(xiàn)瞳孔定位。為此，可以先利用最大類 間方差法對圖片進(jìn)行分割，實(shí)現(xiàn)二值化，確定虹膜外邊緣，隨后，用灰度投影方法確定虹膜 中心坐標(biāo)，最后利用基于圓的霍夫變換以及最小二乘法確認(rèn)瞳孔中心位置(確定出瞳孔坐 標(biāo)）；步驟二、將步驟一確定出的瞳孔坐標(biāo)與各預(yù)設(shè)樣片中的瞳孔坐標(biāo)進(jìn)行一一比對，預(yù)設(shè) 樣片為使用者在首次使用時(shí)的調(diào)試階段預(yù)先拍攝的眼部動(dòng)作圖像。
[0046] 例如，如圖4所示，為預(yù)先拍攝的使用者直視前方時(shí)的眼部動(dòng)作，規(guī)定此時(shí)瞳孔坐 標(biāo)為坐標(biāo)原點(diǎn)；圖5為預(yù)先拍攝的使用者向左看的預(yù)設(shè)樣片。當(dāng)眼球向左轉(zhuǎn)動(dòng)，即向左看時(shí)， 瞳孔相對位置由中心原點(diǎn)向左側(cè)偏移，同理，當(dāng)向右、上、下轉(zhuǎn)動(dòng)時(shí)，瞳孔位置也發(fā)生相應(yīng)偏 移，瞳孔顏色相對較深，步驟一中可以通過圖像分析的方法準(zhǔn)確識別出瞳孔在整個(gè)眼球中 的位置。步驟二中將步驟一確定出的瞳孔坐標(biāo)與預(yù)設(shè)樣片一一比對，其中如果將步驟一確 定出的瞳孔坐標(biāo)與圖5所示向左看的預(yù)設(shè)樣片比對時(shí)，步驟一確定出的瞳孔坐標(biāo)在圖5中虛 線所示的范圍內(nèi)，即認(rèn)為步驟一確定出的瞳孔坐標(biāo)與預(yù)設(shè)樣片中的瞳孔坐標(biāo)的差值在預(yù)設(shè) 范圍內(nèi)，則使用者的眼部動(dòng)作確定為向左看。
[0047] 如圖6所示，在本實(shí)施例的第二種實(shí)施方式中，所述代步工具控制裝置，還包括動(dòng) 作準(zhǔn)備單元14,與圖像處理單元12相連，用于在圖像處理單元12識別出使用者的眼部動(dòng)作 且通過圖像處理單元12接收使用者輸入的本次眼控開始指令之后，判斷代步工具的當(dāng)前狀 態(tài)是否處于預(yù)設(shè)的動(dòng)作準(zhǔn)備狀態(tài)，并在判斷結(jié)果為否時(shí)，生成動(dòng)作準(zhǔn)備指令，所述動(dòng)作準(zhǔn)備 指令用于指示所述代步工具從當(dāng)前狀態(tài)調(diào)整為動(dòng)作準(zhǔn)備狀態(tài)，代步工具處于動(dòng)作準(zhǔn)備狀態(tài) 時(shí)，適合執(zhí)行上述眼部動(dòng)作對應(yīng)的動(dòng)作指令。
[0048] 對代步工具進(jìn)行眼部動(dòng)作所代表的操作動(dòng)作前，需要確認(rèn)代步工具的當(dāng)前狀態(tài)如 何，是否適合進(jìn)行該操作動(dòng)作，如果不適合，需要現(xiàn)將代步工具當(dāng)前狀態(tài)進(jìn)行調(diào)整，使之處 于能夠安全地進(jìn)行該操作動(dòng)作的動(dòng)作準(zhǔn)備狀態(tài)，避免出現(xiàn)安全事故。動(dòng)作準(zhǔn)備狀態(tài)預(yù)先設(shè) 置，依據(jù)要執(zhí)行的動(dòng)作指令而不同。例如，以輪椅為例，如果輪椅當(dāng)前處于較高速度的前進(jìn) 狀態(tài)，操作者通過眼部動(dòng)作指示輪椅左轉(zhuǎn)，這時(shí)提示操作者"本次眼控是否開始?"，待操作 者通過眼部動(dòng)作(例如眨眼一次)輸入本次眼控開始指令，通過攝像頭11拍攝、圖像處理單 元12圖像處理后，動(dòng)作準(zhǔn)備單元14接收到使用者輸入的本次眼控開始指令，判斷輪椅的當(dāng) 前狀態(tài)速度過高，不適宜進(jìn)行左轉(zhuǎn)（即判斷輪椅當(dāng)前未處于動(dòng)作準(zhǔn)備狀態(tài)），此時(shí)生成動(dòng)作 準(zhǔn)備指令，動(dòng)作準(zhǔn)備指令指示輪椅降低速度或停止運(yùn)動(dòng)，為執(zhí)行眼部動(dòng)作所代表的輪椅左 轉(zhuǎn)指令做準(zhǔn)備，避免高速左轉(zhuǎn)引發(fā)事故。代步工具可實(shí)時(shí)反饋或記錄前一動(dòng)作執(zhí)行結(jié)果，獲 得代步工具的當(dāng)前狀態(tài)，動(dòng)作準(zhǔn)備單元14如果判斷代步工具的當(dāng)前狀態(tài)適合進(jìn)行眼部動(dòng)作 所對應(yīng)的動(dòng)作指令，這時(shí)可不生成動(dòng)作準(zhǔn)備指令，直接進(jìn)行下一步操作。代步工具的當(dāng)前狀 態(tài)包括但不限于代步工具目前的行駛速度、前進(jìn)方向以及代步工具各輪子的角度等。
[0049] 如圖7所示，在本實(shí)施例的第三種實(shí)施方式中，在上一實(shí)施方式的基礎(chǔ)上還進(jìn)一步 包括:提示單元15,用于在圖像處理單元12識別出使用者的眼部動(dòng)作之后，提示使用者是否 執(zhí)行眼部動(dòng)作對應(yīng)的動(dòng)作指令;發(fā)送單元16，用于在接收使用者的確認(rèn)執(zhí)行指令后，將動(dòng)作 指令發(fā)送至代步工具的電機(jī)驅(qū)動(dòng)器。提示單元15可以采用語音、畫面等提示方式，通過提示 單元15進(jìn)行提示，發(fā)送單元16接收到使用者的確認(rèn)執(zhí)行指令后，再將動(dòng)作指令發(fā)送的方式， 實(shí)現(xiàn)動(dòng)作指令在發(fā)送前均可撤回，可以避免誤操作，提高安全性。
[0050] 如圖8所示，在本實(shí)施例的第四種實(shí)施方式中，在上一實(shí)施方式的基礎(chǔ)上還進(jìn)一步 包括:動(dòng)作結(jié)束單元17，用于接收使用者輸入的本次眼控結(jié)束指令，并根據(jù)本次眼控結(jié)束指 令生成用于指示代步工具停止并關(guān)閉發(fā)送單元16的動(dòng)作結(jié)束指令。在使用者輸入本次眼控 結(jié)束指令后，動(dòng)作結(jié)束單元17指示代步工具停止并關(guān)閉發(fā)送單元16,可以防止誤操作。
[0051] 上述的本次眼控開始指令、確認(rèn)執(zhí)行指令以及本次眼控結(jié)束指令均可以通攝像頭 拍攝使用者的眼部圖像，經(jīng)圖像處理單元進(jìn)行圖像識別而獲得。
[0052]通過本實(shí)施例提供的代步工具控制裝置，可以實(shí)現(xiàn)由眼部動(dòng)作控制操作輪椅等代 步工具，無需使用腿、臂或手等身體部位的動(dòng)作，解決了現(xiàn)有代步工具對于肢體不便人士操 作困難的問題;同時(shí)安全性有保證，并可防止誤操作。
[0053]本發(fā)明的實(shí)施例還提供一種代步工具系統(tǒng)，該代步工具系統(tǒng)包括:代步工具和上 述任一項(xiàng)所述的代步工具控制裝置，代步工具以輪椅為例，如圖9所示，輪椅20包括全方位 輪23、驅(qū)動(dòng)全方位輪23的驅(qū)動(dòng)電機(jī)22以及控制驅(qū)動(dòng)電機(jī)22的電機(jī)驅(qū)動(dòng)器21;控制裝置10的 動(dòng)作指令輸出端與電機(jī)驅(qū)動(dòng)器21相連，此處的相連控制裝置10與電機(jī)驅(qū)動(dòng)器21之間可以通 信，包括有線和無線方式，例如無線方式可以通過無線適配器實(shí)現(xiàn)。本實(shí)施例提供的輪椅等 代步工具系統(tǒng)，可以實(shí)現(xiàn)眼部動(dòng)作控制，無需使用腿、臂或手等身體部位的動(dòng)作，解決了現(xiàn) 有輪椅對于肢體不便人士操作困難的問題。
[0054] 進(jìn)一步地，上述代步工具還可包括:停止按鈕，用于接收輸入的強(qiáng)行停止指令；安 全控制板，與停止按鈕和電機(jī)驅(qū)動(dòng)器21相連，用于在接收到強(qiáng)行停止指令時(shí)，向電機(jī)驅(qū)動(dòng)器 21發(fā)送關(guān)閉驅(qū)動(dòng)電機(jī)的指令。乘坐者一般為肢體不便人士，如果出現(xiàn)意外情況需要停止代 步工具，通過眼部動(dòng)作操作比較慢，這時(shí)可以由看護(hù)者按下停止按鈕進(jìn)行緊急制動(dòng)。
[0055] 實(shí)施例二
[0056] 本發(fā)明的實(shí)施例還提供一種代步工具控制方法，包括:步驟一、拍攝使用者的眼部 圖像;步驟二、通過圖像處理，從拍攝的眼部圖像中識別出使用者的眼部動(dòng)作;步驟三、根據(jù) 識別出的所述眼部動(dòng)作生成對應(yīng)的用于控制代步工具運(yùn)動(dòng)的動(dòng)作指令。
[0057]本實(shí)施例提供的代步工具控制方法，拍攝眼部圖像，然后通過圖像處理從圖像中 識別出使用者的眼部動(dòng)作并轉(zhuǎn)化控制代步工具運(yùn)動(dòng)的動(dòng)作指令，可以實(shí)現(xiàn)用眼部動(dòng)作來控 制操作代步工具，無需使用腿、臂或手等身體部位的動(dòng)作，解決了現(xiàn)有輪椅對于肢體不便人 士操作困難的問題。
[0058]進(jìn)一步地，上述步驟三之前，還包括:接收使用者輸入的本次眼控開始指令，并在 接收本次眼控開始指令之后，判斷代步工具的當(dāng)前狀態(tài)是否處于預(yù)設(shè)的動(dòng)作準(zhǔn)備狀態(tài)，并 在判斷結(jié)果為否時(shí)，生成動(dòng)作準(zhǔn)備指令，所述動(dòng)作準(zhǔn)備指令用于指示代步工具從當(dāng)前狀態(tài) 調(diào)整為動(dòng)作準(zhǔn)備狀態(tài)，代步工具處于動(dòng)作準(zhǔn)備狀態(tài)時(shí)，適合執(zhí)行眼部動(dòng)作對應(yīng)的動(dòng)作指令。 動(dòng)作準(zhǔn)備指令指示代步工具降低速度或停止運(yùn)動(dòng)，為執(zhí)行眼部動(dòng)作所代表的代步工具左轉(zhuǎn) 指令做準(zhǔn)備，避免高速左轉(zhuǎn)引發(fā)事故。
[0059] 步驟三之后，還可包括:步驟四、提示使用者是否執(zhí)行眼部動(dòng)作對應(yīng)的動(dòng)作指令； 待接收到使用者輸入的確認(rèn)執(zhí)行指令后，將動(dòng)作指令發(fā)送至代步工具的電機(jī)驅(qū)動(dòng)器。待使 用者確認(rèn)后，再將動(dòng)作指令發(fā)送，在動(dòng)作指令發(fā)送前均可撤回動(dòng)作指令，可以避免誤操作， 提尚安全性。
[0060] 本實(shí)施例提供的代步工具控制方法還包括:步驟五、接收使用者輸入的本次眼控 結(jié)束指令，并根據(jù)所述本次眼控結(jié)束指令生成用于指示代步工具停止并停止向代步工具發(fā) 送動(dòng)作指令的動(dòng)作結(jié)束指令。
[0061] 為了本領(lǐng)域技術(shù)人員更好的理解本發(fā)明實(shí)施例提供的代步工具及其控制方法，下 面通過具體的實(shí)施例對本發(fā)明提供的方案進(jìn)行詳細(xì)說明。
[0062] 如圖10和圖11所示，本發(fā)明實(shí)施例提供一種輪椅系統(tǒng)，輪椅系統(tǒng)由眼鏡18和輪椅 組成，眼鏡上集成了攝像頭11和藍(lán)牙無線模塊111以及電池131，可實(shí)時(shí)拍攝并發(fā)送眼部圖 像，輪椅包括座椅24,安裝在座椅24底部的全方位輪23(-般為四個(gè)）以及輪轂電機(jī)221、電 機(jī)驅(qū)動(dòng)器21，還包括設(shè)置在座椅24上的處理器19、存儲器（圖中未示出）和藍(lán)牙無線模塊 111-2、語音提示模塊151、電源模塊以及空氣開關(guān)等。輪椅可實(shí)時(shí)接收眼部圖像并通過圖像 分析算法識別出眼部動(dòng)作，同時(shí)處理器19根據(jù)眼部動(dòng)作發(fā)出對應(yīng)指令，控制全方位輪23轉(zhuǎn) 動(dòng)調(diào)整方向，以及控制輪椅前、后移動(dòng)以及其它動(dòng)作。本領(lǐng)域技術(shù)人員可以理解的是，處理 器19通過執(zhí)行設(shè)定好的軟件程序，可以實(shí)現(xiàn)實(shí)施例一中圖像處理單元12、控制單元13、動(dòng)作 準(zhǔn)備單元14和動(dòng)作結(jié)束單元17的功能，以及發(fā)送單元部分16的部分功能。
[0063] 示例性地，本實(shí)施例眼控輪椅根據(jù)眼部動(dòng)作和輪椅操作的對應(yīng)關(guān)系如實(shí)施例一中 表1所示，表，眼睛向左、右、上、下看分別對應(yīng)輪椅左、右、前、后移動(dòng)，眨眼1、2、3次分別對應(yīng) 確定、停止、啟動(dòng)，支持自定義設(shè)置。
[0064] 如此，如圖12所示，本實(shí)施例輪椅系統(tǒng)工作原理如下：用戶佩戴集成了攝像頭11的 眼鏡，啟動(dòng)后，攝像頭11以每秒10次的速度(該速度可以人為設(shè)定)實(shí)時(shí)拍攝眼部圖像，并通 過藍(lán)牙無線方式將圖像發(fā)送到輪椅上的處理器19,處理器19實(shí)時(shí)處理圖像并識別出眼部動(dòng) 作。用戶控制輪椅前，需要連續(xù)眨眼3次以獲取控制權(quán)限。當(dāng)用戶轉(zhuǎn)動(dòng)眼睛向左、或向右、或 向上、或向下看1次時(shí)，系統(tǒng)結(jié)合眼動(dòng)識別結(jié)果和操作對應(yīng)表，以語音方式給出是否向左、或 向右、或向前、或向后移動(dòng)的提示，用戶再眨眼一次，進(jìn)行確認(rèn)，然后輪椅開始執(zhí)行識別眼部 動(dòng)作對應(yīng)的操作。持續(xù)直至用戶需要停止時(shí)，連續(xù)眨眼兩次即可該結(jié)束對輪椅的控制過程。
[0065] 需要注意的是，針對同一動(dòng)作指令，各全方位輪23最后的動(dòng)作并不相同。
[0066]本實(shí)施例中的全方位輪23優(yōu)選麥克納姆輪(Mecanum輪）。麥克納姆輪，又稱萬向 輪，該輪在傳統(tǒng)車輪的基礎(chǔ)上，在輪緣上再沿與軸成a角（一般為45° )方向分布著許多可自 由旋轉(zhuǎn)的小輥?zhàn)?即輥輪），這樣在車輪(即中心輪)滾動(dòng)時(shí)，小輥?zhàn)泳蜁?huì)產(chǎn)生側(cè)向運(yùn)動(dòng)，通過 輪椅的4個(gè)麥克納姆輪的相互配合，使得系統(tǒng)能夠?qū)崿F(xiàn)平面內(nèi)的全方位移動(dòng)，除此以外該輪 組成的系統(tǒng)具有承載能力強(qiáng)、結(jié)構(gòu)簡潔、運(yùn)動(dòng)控制靈活、通過性好等優(yōu)點(diǎn)，適合在輪椅上安 裝。
[0067] 如圖13所示，以麥克納姆輪為例，示出配備麥克納姆輪的輪椅實(shí)現(xiàn)主要移動(dòng)時(shí)，各 輪配合運(yùn)動(dòng)的情況:前進(jìn)時(shí)，各輪(輪椅的四個(gè)麥克納姆輪)均向前轉(zhuǎn)動(dòng)；后退時(shí)，各輪均向 后轉(zhuǎn)動(dòng);右行時(shí)，前左輪和后右輪向前轉(zhuǎn)動(dòng)，同時(shí)前右輪和后左輪向后轉(zhuǎn)動(dòng)；左行時(shí)，前左輪 和后右輪向后轉(zhuǎn)動(dòng)，同時(shí)前右輪和后左輪向前轉(zhuǎn)動(dòng);順時(shí)針轉(zhuǎn)動(dòng)時(shí)，前左輪和后左輪向前轉(zhuǎn) 動(dòng)，同時(shí)前右輪和后右輪向后轉(zhuǎn)動(dòng);逆時(shí)針轉(zhuǎn)動(dòng)時(shí)，前左輪和后左輪向后轉(zhuǎn)動(dòng)，同時(shí)前右輪 和后右輪向前轉(zhuǎn)動(dòng)；向右前方行進(jìn)時(shí)，前左輪和后右輪向前轉(zhuǎn)動(dòng)，同時(shí)前右輪和后左輪不轉(zhuǎn) 動(dòng)；向左前方行進(jìn)時(shí)，前右輪和后左輪向前轉(zhuǎn)動(dòng)，同時(shí)前左輪和后右輪不轉(zhuǎn)動(dòng)。上述各輪的 向前、向后轉(zhuǎn)動(dòng)情況均指對應(yīng)麥克納姆輪的中心輪轉(zhuǎn)動(dòng)方向。
[0068] 麥克納姆輪的輥輪可各自獨(dú)立的進(jìn)行轉(zhuǎn)動(dòng)，在麥克納姆輪轉(zhuǎn)動(dòng)時(shí)，合速度為垂直 于輥?zhàn)臃较?，并可將其分解為前進(jìn)、橫行兩個(gè)方向。下面以右行運(yùn)動(dòng)為例進(jìn)行簡單介紹，圖 13右行圖中輪子旁邊的箭頭方向分別代表各麥克納姆輪轉(zhuǎn)動(dòng)方向（更具體為麥克納姆輪的 中心輪轉(zhuǎn)動(dòng)方向），對各輪按前進(jìn)和橫行兩個(gè)方向?yàn)榛A(chǔ)做速度分解，可以發(fā)現(xiàn)，前進(jìn)方向 的速度被抵消，僅剩橫向（右側(cè))速度，因此，該車體可以實(shí)現(xiàn)向右側(cè)的運(yùn)動(dòng)。這是本領(lǐng)域的 公知常識，不再一一詳述。
[0069] 本實(shí)施例提供的輪椅通過監(jiān)測和識別眼部動(dòng)作(包括眨眼和眼球移動(dòng)），實(shí)現(xiàn)對輪 椅的控制;輪椅采用了全方位輪，通過特定的眼球動(dòng)作，通過各個(gè)輪之間的運(yùn)動(dòng)配合，實(shí)現(xiàn) 輪椅在轉(zhuǎn)彎半徑為零的情況下，實(shí)現(xiàn)對輪椅運(yùn)動(dòng)方向的控制，具體控制原理為:利用拍攝建 立的樣本（即預(yù)設(shè)樣片）與用戶實(shí)時(shí)眼部運(yùn)動(dòng)做比對，通過對比瞳孔中心坐標(biāo)變化，語音提 示用戶是否會(huì)采取該動(dòng)作，用戶確認(rèn)后，再由處理器發(fā)出指令，經(jīng)由電機(jī)驅(qū)動(dòng)器，分別控制 各電機(jī)運(yùn)動(dòng)，從而控制各全方位輪相互配合，實(shí)現(xiàn)眼部動(dòng)作所對應(yīng)的動(dòng)作操作。本實(shí)施例 中，眼球的左、右、上、下轉(zhuǎn)動(dòng)可分別對應(yīng)輪椅的左、右、前、后移動(dòng)，同時(shí)為避免眼球無意轉(zhuǎn) 動(dòng)的干擾，還通過眨眼來確認(rèn)有效動(dòng)作。
[0070] 在本發(fā)明實(shí)施例中，各步驟的序號并不能用于限定各步驟的先后順序，對于本領(lǐng) 域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)的前提下，對各步驟的先后變化也在本發(fā)明的 保護(hù)范圍之內(nèi)。
[0071] 本說明書中的各個(gè)實(shí)施例均采用遞進(jìn)的方式描述，各個(gè)實(shí)施例之間相同相似的部 分互相參見即可，每個(gè)實(shí)施例重點(diǎn)說明的都是與其他實(shí)施例的不同之處。尤其，對于設(shè)備實(shí) 施例而言，由于其基本相似于方法實(shí)施例，所以描述得比較簡單，相關(guān)之處參見方法實(shí)施例 的部分說明即可。
[0072]本領(lǐng)域普通技術(shù)人員可以理解實(shí)現(xiàn)上述實(shí)施例方法中的全部或部分流程，是可以 通過計(jì)算機(jī)程序來指令相關(guān)的硬件來完成，所述的程序可存儲于一計(jì)算機(jī)可讀取存儲介質(zhì) 中，該程序在執(zhí)行時(shí)，可包括如上述各方法的實(shí)施例的流程。其中，所述的存儲介質(zhì)可為磁 碟、光盤、只讀存儲記憶體（Read-Only Memory，ROM)或隨機(jī)存儲記憶體(Random Access Memory，RAM)等。
[0073]以上所述，僅為本發(fā)明的【具體實(shí)施方式】，但本發(fā)明的保護(hù)范圍并不局限于此，任何 熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，可輕易想到的變化或替換，都應(yīng) 涵蓋在本發(fā)明的保護(hù)范圍之內(nèi)。因此，本發(fā)明的保護(hù)范圍應(yīng)該以權(quán)利要求的保護(hù)范圍為準(zhǔn)。
【主權(quán)項(xiàng)】
1. 一種代步工具控制裝置，其特征在于，包括： 攝像頭，用于拍攝使用者的眼部圖像； 圖像處理單元，與所述攝像頭相連，用于接收所述攝像頭拍攝的眼部圖像，并從中識別 出使用者的眼部動(dòng)作； 控制單元，與所述圖像處理單元相連，用于根據(jù)識別出的所述眼部動(dòng)作生成對應(yīng)的用 于控制代步工具運(yùn)動(dòng)的動(dòng)作指令。2. 根據(jù)權(quán)利要求1所述的代步工具控制裝置，其特征在于，還包括:眼鏡，所述攝像頭集 成在所述眼鏡上。3. 根據(jù)權(quán)利要求2所述的代步工具控制裝置，其特征在于，所述攝像頭集成在所述眼鏡 的鏡片上。4. 根據(jù)權(quán)利要求1所述的代步工具控制裝置，其特征在于，所述圖像處理單元包括： 坐標(biāo)確定子單元，用于利用人眼的眼白、虹膜和瞳孔之間的灰度值差異，從所述攝像頭 拍攝的眼部圖像中識別出瞳孔并確定瞳孔坐標(biāo)； 動(dòng)作確定子單元，用于將所述瞳孔坐標(biāo)與各預(yù)設(shè)樣片中的瞳孔坐標(biāo)進(jìn)行一一比對，判 斷所述瞳孔坐標(biāo)與所述預(yù)設(shè)樣片中的瞳孔坐標(biāo)的差值是否在預(yù)設(shè)范圍內(nèi)，如果在預(yù)設(shè)范圍 內(nèi)，則確定使用者做出了預(yù)設(shè)樣片中的眼部動(dòng)作，所述預(yù)設(shè)樣片為預(yù)先拍攝的使用者的眼 部動(dòng)作圖像。5. 根據(jù)權(quán)利要求1-4任一項(xiàng)所述的代步工具控制裝置，其特征在于，還包括： 動(dòng)作準(zhǔn)備單元，與所述圖像處理單元相連，用于在所述圖像處理單元識別出使用者的 眼部動(dòng)作，且通過所述圖像處理單元接收使用者輸入的本次眼控開始指令之后，判斷代步 工具的當(dāng)前狀態(tài)是否處于預(yù)設(shè)的動(dòng)作準(zhǔn)備狀態(tài)，并在判斷結(jié)果為否時(shí)，生成動(dòng)作準(zhǔn)備指令， 所述動(dòng)作準(zhǔn)備指令用于指示所述代步工具從當(dāng)前狀態(tài)調(diào)整為動(dòng)作準(zhǔn)備狀態(tài)，代步工具處于 所述動(dòng)作準(zhǔn)備狀態(tài)時(shí)，適合執(zhí)行所述眼部動(dòng)作對應(yīng)的動(dòng)作指令。6. 根據(jù)權(quán)利要求1-4任一項(xiàng)所述的代步工具控制裝置，其特征在于，還包括： 提示單元，用于在所述圖像處理單元識別出使用者的眼部動(dòng)作之后，提示使用者是否 執(zhí)行所述眼部動(dòng)作對應(yīng)的動(dòng)作指令； 發(fā)送單元，用于在接收使用者的確認(rèn)執(zhí)行指令后，將所述動(dòng)作指令發(fā)送至代步工具的 電機(jī)驅(qū)動(dòng)器。7. 根據(jù)權(quán)利要求6所述的代步工具控制裝置，其特征在于，還包括： 動(dòng)作結(jié)束單元，用于接收使用者輸入的本次眼控結(jié)束指令，并根據(jù)所述本次眼控結(jié)束 指令生成用于指示所述代步工具停止并關(guān)閉所述發(fā)送單元的動(dòng)作結(jié)束指令。8. 根據(jù)權(quán)利要求1所述的代步工具控制裝置，其特征在于，所述使用者的眼部動(dòng)作包 括:眨眼和向左、向右、向上、向下看。9. 根據(jù)權(quán)利要求1所述的代步工具控制裝置，其特征在于，還包括:通信模塊，用于將所 述攝像頭拍攝的眼部圖像發(fā)送給所述圖像處理單元。10. -種代步工具系統(tǒng)，其特征在于，包括:代步工具和權(quán)利要求1-9任一項(xiàng)所述的代步 工具控制裝置，所述代步工具包括全方位輪、驅(qū)動(dòng)所述全方位輪的驅(qū)動(dòng)電機(jī)以及控制所述 驅(qū)動(dòng)電機(jī)的電機(jī)驅(qū)動(dòng)器； 所述代步工具控制裝置的動(dòng)作指令輸出端與所述電機(jī)驅(qū)動(dòng)器相連。11. 根據(jù)權(quán)利要求10所述的代步工具系統(tǒng)，其特征在于，所述全方位輪為麥克納姆輪。12. 根據(jù)權(quán)利要求10或11所述的代步工具系統(tǒng)，其特征在于，還包括： 停止按鈕，用于接收輸入的強(qiáng)行停止指令； 安全控制板，與所述停止按鈕和所述電機(jī)驅(qū)動(dòng)器相連，用于在接收到所述強(qiáng)行停止指 令時(shí)，向所述電機(jī)驅(qū)動(dòng)器發(fā)送關(guān)閉所述驅(qū)動(dòng)電機(jī)的指令。13. -種代步工具控制方法，其特征在于，包括： 拍攝使用者的眼部圖像； 通過圖像處理，從拍攝的眼部圖像中識別出使用者的眼部動(dòng)作； 根據(jù)識別出的所述眼部動(dòng)作生成對應(yīng)的用于控制代步工具運(yùn)動(dòng)的動(dòng)作指令。14. 根據(jù)權(quán)利要求13所述的控制方法，其特征在于，所述通過圖像處理，從拍攝的眼部 圖像中識別出使用者的眼部動(dòng)作之后，所述根據(jù)識別出的所述眼部動(dòng)作生成對應(yīng)的用于控 制代步工具運(yùn)動(dòng)的動(dòng)作指令之前，還包括： 接收使用者輸入的本次眼控開始指令，并在接收所述本次眼控開始指令之后，判斷代 步工具的當(dāng)前狀態(tài)是否處于預(yù)設(shè)的動(dòng)作準(zhǔn)備狀態(tài)，并在判斷結(jié)果為否時(shí)，生成動(dòng)作準(zhǔn)備指 令，所述動(dòng)作準(zhǔn)備指令用于指示所述代步工具從當(dāng)前狀態(tài)調(diào)整為動(dòng)作準(zhǔn)備狀態(tài)，代步工具 處于所述動(dòng)作準(zhǔn)備狀態(tài)時(shí)，適合執(zhí)行所述眼部動(dòng)作對應(yīng)的動(dòng)作指令。15. 根據(jù)權(quán)利要求13或14所述的控制方法，其特征在于，所述根據(jù)識別出的所述眼部動(dòng) 作生成對應(yīng)的用于控制代步工具運(yùn)動(dòng)的動(dòng)作指令之后，還包括： 提示使用者是否執(zhí)行所述眼部動(dòng)作對應(yīng)的動(dòng)作指令； 待接收到使用者輸入的確認(rèn)執(zhí)行指令后，將所述動(dòng)作指令發(fā)送至代步工具的電機(jī)驅(qū)動(dòng) 器。16. 根據(jù)權(quán)利要求15所述的控制方法，其特征在于，所述接收使用者的確認(rèn)執(zhí)行指令 后，將所述動(dòng)作指令發(fā)送至代步工具的電機(jī)驅(qū)動(dòng)器之后，還包括： 接收使用者輸入的本次眼控結(jié)束指令，并根據(jù)所述本次眼控結(jié)束指令生成用于指示所 述代步工具停止并停止向所述代步工具發(fā)送動(dòng)作指令的動(dòng)作結(jié)束指令。
【文檔編號】A61G5/04GK105892691SQ201610398690
【公開日】2016年8月24日
【申請日】2016年6月7日
【發(fā)明人】張憶非, 袁佐
【申請人】京東方科技集團(tuán)股份有限公司