基于wifi無線網(wǎng)絡多類控制終端的管理與規(guī)劃系統(tǒng)的制作方法
【專利摘要】本發(fā)明涉及基于WIFI無線網(wǎng)絡多類控制終端的管理與規(guī)劃系統(tǒng)，包含以下幾部分：首先在智能空間下構建基于WIFI的硬件系統(tǒng)，使所有的智能設備，智能終端可以與服務器無縫連接；然后接入多種控制終端，其中包含：遠程手機控制、服務器端語音控制、基于Kinect和慣導模塊(AHRS)的手勢控制以及服務器端本體控制；最終設計服務器端所有智能設備的調度優(yōu)化算法與任務規(guī)劃算法實現(xiàn)智能空間下無處不在的控制與服務。本發(fā)明實現(xiàn)基于WIFI無線網(wǎng)絡的多智能設備的多類控制方式，利用智能空間技術實現(xiàn)智能設備的優(yōu)化調度和高質量服務規(guī)劃。
【專利說明】基于WIFI無線網(wǎng)絡多類控制終端的管理與規(guī)劃系統(tǒng)
【技術領域】
[0001]本發(fā)明涉及一種基于WIFI無線網(wǎng)絡多類控制終端的管理與規(guī)劃系統(tǒng)，屬于智能空間的【技術領域】。
【背景技術】
[0002]近年來，隨著國際電子產品，智能設備的不斷進步，不斷地為智能空間注入新鮮設備，大大提高了智能空間的服務與運行能力。隨著服務領域與無線網(wǎng)絡技術的不斷發(fā)展，在智能空間下為人們提供有效高質量的服務已成為可能。目前各種先進設備甚至服務機器人的研究已經(jīng)進入一個高度智能化的水平，如何將各種智能設備有機協(xié)調的為人們提供無處不在的服務已成為研究熱點。
[0003]智能空間的研究為上述問題提供了理論依據(jù)，采用智能空間技術將多類智能設備統(tǒng)一控制，并可根據(jù)不同用戶不同情形的需要為用戶提供不同的設備服務。甚至智能空間與互聯(lián)網(wǎng)相結合，賦予用戶可以在遠方實現(xiàn)空間設備的遠程控制的權利。
[0004]在上述提到的各類技術中，無論是WIFI無線網(wǎng)絡，Kinect手勢檢測，可接互聯(lián)網(wǎng)手機軟件，還是服務器語音與算法處理能力，在本發(fā)明中都具有相當成熟的研究理論與應用成果。因此上述控制方式的融合以及控制策略的實施變得不再困難。

【發(fā)明內容】

[0005]針對現(xiàn)有技術的不足，本發(fā)明提供一種基于WIFI無線網(wǎng)絡多類控制終端的管理與規(guī)劃系統(tǒng)。所述系統(tǒng)包括智能空間中智能設備的使用方法、智能空間中設備調度與任務規(guī)劃方法，為使用者提供無處不在的控制方案，為用戶提供智能化的服務，本發(fā)明利用智能空間技術實現(xiàn)智能設備的優(yōu)化調度和高質量服務規(guī)劃。
[0006]本發(fā)明的技術方案如下:
[0007]一種基于WIFI無線網(wǎng)絡多類控制終端的管理與規(guī)劃系統(tǒng)，包括:
[0008](I)在智能空間下構建基于WIFI的硬件系統(tǒng)，所述基于WIFI的硬件系統(tǒng)包括智能設備、智能終端和服務器，所述的智能設備、智能終端分別與所述服務器無線連接；
[0009](2)將控制終端接入服務器，所述控制終端包括:遠程手機控制、服務器端語音控制、基于Kinect和慣導模塊的手勢控制和服務器端本體控制；所述服務器端本體控制為:在服務器端的管理軟件界面通過按鈕的方式對智能空間中的智能設備、智能終端進行直接控制；
[0010](3)設計服務器端對所有智能設備、智能終端的調度優(yōu)化算法與任務規(guī)劃算法，以實現(xiàn)在智能空間下無處不在的控制與服務；
[0011]所述步驟(I)中構建基于WIFI的硬件系統(tǒng)的具體步驟包括以下步驟:
[0012]a、采用WIFI無線網(wǎng)絡模塊對智能空間中的智能設備和智能終端進行匹配，使所述智能設備、智能終端通過無線網(wǎng)絡被遠程自動控制，所述的自動控制包括所述智能設備、智能終端被控制終端控制或被服務器端本體控制；所述智能設備和智能終端為受控于無線網(wǎng)絡的電燈、電視、空調和窗簾等；所述WIFI無線網(wǎng)絡模塊采用STM32為底層控制核心，通過串口與RM04模塊通信，采取多對一廣播的組網(wǎng)方式即一個控制核心對應多個服務器并采用TCP協(xié)議進行數(shù)據(jù)傳輸，編程上采用Socket非阻塞模式提高系統(tǒng)的穩(wěn)定性，所述服務器包括手機、電腦，提高對控制設備的兼容性；
[0013]b、在步驟a中數(shù)據(jù)傳輸?shù)挠布酚善骱蚏M04模塊，
[0014]所述路由器作用是將局域的WIFI無線網(wǎng)絡轉發(fā)到公網(wǎng)從而作為系統(tǒng)的一個公網(wǎng)接口和通過wds模式將云臺攝像頭接入網(wǎng)絡；在路由器中DHCP服務器通過識別RM04模塊的MAC地址然后分配相應的內網(wǎng)IP地址，再將內網(wǎng)地址轉發(fā)到公網(wǎng)之上，所述RM04模塊起到將底層控制核心接入路由器的作用，所述RM04模塊配置成網(wǎng)卡模式，在局域網(wǎng)中作為TCP服務器存在；
[0015]C、底層控制核心的電路通過STM32單片機控制繼電器產生不同的脈沖信號對不同智能設備和智能終端進行控制，所述底層控制核心的電路還包括控制接口供擴展多種傳感器；
[0016]d、在上層通訊中，每個智能設備和智能終端通過路由器的分配獲得唯一的IP地址，服務器通過IP地址對智能設備和智能終端進行控制；
[0017]在底層通訊中，WIFI無線網(wǎng)絡模塊通過串口方式與所述STM32單片機進行通訊；所述STM32單片機通過控制繼電器的方式控制智能設備和智能終端的開關運行；
[0018]在通訊過程中，每個智能設備和智能終端與服務器通過采用TCP/IP通信協(xié)議采用Socket編程方式實現(xiàn)數(shù)據(jù)或命令的傳遞；
[0019]e、根據(jù)步驟a、b、C、d并基于WIFI無線網(wǎng)絡和有線網(wǎng)絡，以路由器為中心，將智能空間中可連入網(wǎng)絡的每個智能設備、智能終端、服務器和能夠與服務器進行通訊的傳感設備連到一個局域網(wǎng)中，并且每個智能設備和智能終端都具有鏈接互聯(lián)網(wǎng)的功能；使整個系統(tǒng)形成任務執(zhí)行部分、設備控制部分和服務器與數(shù)據(jù)存儲部分；
[0020]所述步驟(2)中所述Kinect手勢控制部分包括步驟如下:
[0021]f、將Kinect接入計算機系統(tǒng)；
[0022]g、通過啟動Kinect對手心的跟蹤，獲得手心的位置信息，以及手心的深度信息，在手心距離Kinect深度傳感器中心1000-3000mm深度的位置，對手心所在的二維平面區(qū)域進行功能區(qū)域的劃分，將其劃分為激光筆區(qū)域、隔離區(qū)域、控制區(qū)域，并定義手心在各區(qū)域中不同位置相對應的操作的指令，并作以下規(guī)定:標準距離是位于Kinect正前方I米處的距離；標準平面是位于標準距離處，手心移動的全部范圍所在的平面；標準區(qū)域是手心在標準平面移動時在Kinect上的圖像范圍，并將其規(guī)定為矩形區(qū)域；揮動中心是使用者在胸前伸出右手時，手心在整個揮動范圍中所處的的位置，在不同深度信息下；基準區(qū)域是手心移動范圍在Kinect圖像上的中心，即人在垂直于Kinect方向的中心位置所產生的圖像上的揮手區(qū)域；
[0023]h、計算機根據(jù)手勢控制指令，通過網(wǎng)絡通訊實現(xiàn)對智能設備和智能終端的相應操作；實現(xiàn)了無接觸性操作的效果，該方法避開了對手勢軌跡的研究，簡化了識別難度，并提高識別率；
[0024]所述步驟⑵中所述慣導模塊(AHRS)控制部分包括步驟如下:
[0025]1、將慣導模塊(AHRS)通過無線通信方式接入計算機；[0026]j、通過慣導模塊中加速度計和陀螺儀磁力計的數(shù)據(jù)數(shù)據(jù)融合，分析控制者的控制姿態(tài)，慣性導航模塊采集三軸MEMS陀螺儀的信號，采用四元數(shù)姿態(tài)表達式，積分求得陀螺儀姿態(tài)角，同時采集三軸MEMS加速度計和三軸磁力計的信號，利用重力場和大地磁場在地理坐標系和機體坐標系之間的方向余弦轉換進行絕對角度解算，得到絕對姿態(tài)角，然后根據(jù)絕對姿態(tài)角信號的變化頻率實時改變?yōu)V波參數(shù)，對兩次得到的姿態(tài)角進行基于擴展式卡爾曼濾波的數(shù)據(jù)融合，最終輸出準確穩(wěn)定的姿態(tài)角度和融合加速度，其中，加速度計與陀螺儀的融合原理主要是靜態(tài)的時候用加速度計修正陀螺儀的值，動態(tài)的時候利用陀螺儀的值修正加速度計的值，根據(jù)運動體上的三軸加速度計輸出的三軸加速度(Ax，Ay，Az)，分
別求取俯仰角 pitch = tarT1 (-Ay,-Az)，傾斜角 roll=tan_l (Ax，A^+A；)，融合加速度sum_a=^Al+Al+Al ;磁力計與加速度計的融合原理主要是利用加速度計進行磁力計的
傾斜補償，讀取磁力計輸出的三軸磁場強度K求取傾斜補償后的磁力計輸出[?:]:
[0027]Μ" = M1' cos(roh') + Mhv sm(pitch)cos(roil)-Mh cos(pitch)sin(n)
[0028]M" = M1: cos{pitch) + Mh_ sin(pitch)
[0029]其中M二為傾斜補償后的磁力計輸出，Μ\Μ\Μ\為磁力計輸出的三軸磁場強度，roll為傾斜角，pitch為俯仰角；
[0030]根據(jù)計算出的傾斜補償后的磁力計輸出，求取偏航角Yaw=tan得到不
斷更新的角度值和加速度后，采用滑動窗口的方式增加數(shù)據(jù)的可靠性，所述慣導模塊中涉及兩種控制方式:指向被控制智能設備和智能終端打響指控制和向上方指打響指控制特定模式；在最終控制信號確定時，采用閾值的方式:根據(jù)加速度計的輸出值判斷，如果該數(shù)值超過閾值則判斷為控制指令發(fā)出。
[0031]k、通過分布式視覺，即具有云臺攝像機的雙目或多目視覺系統(tǒng)對控制者位置進行定位，所述控制者為對智能空間內智能設備、智能終端具有控制權利的使用者；根據(jù)慣導模塊的角度信息和當前控制者的位置得出人面對的角度，通過該角度判斷控制者所要控制的智能設備和智能終端，當控制信號發(fā)出后，根據(jù)此角度信息確定被控設備來進行控制；
[0032]所述步驟(2)中所述語音控制部分包括步驟如下:
[0033]1、將無線麥克風接收端接入計算機；
[0034]m、用戶通過無線麥克風輸入語音命令，語音命令通過計算機的語音識別部分進行命令識別與解析，并與語音命令庫中的控制命令進行匹配，如果匹配成功，則通過相應的控制命令發(fā)送設備控制指令，實現(xiàn)對設備的語音控制；
[0035]所述步驟(2)中所述遠程手機控制包括如下步驟:
[0036]η、服務器端米用Windows+Apache+SQLServer+PHP的Web應用程序平臺；服務米用B/S(Br0WSer-SerVer)架構，控制者使用傳統(tǒng)PC、移動設備及任何置有瀏覽器的設備通過瀏覽器訪問該服務器，具有很好的跨平臺特性；[0037]O、將整個業(yè)務應用劃分為:表現(xiàn)層(UI)、業(yè)務邏輯層(BLL)、數(shù)據(jù)訪問層(DAL);所述數(shù)據(jù)訪問層負責對數(shù)據(jù)庫的操作，為業(yè)務邏輯層提供數(shù)據(jù)服務；業(yè)務邏輯層關注業(yè)務規(guī)則的制定、業(yè)務流程的實現(xiàn)等與業(yè)務需求有關的設計；表現(xiàn)層用于顯示數(shù)據(jù)和接收用戶輸入的數(shù)據(jù)，為用戶提供交互式操作的界面；
[0038]p、響應式Web設計(Responsive Web design):頁面的設計與開發(fā)應當根據(jù)用戶行為以及設備環(huán)境(系統(tǒng)平臺、屏幕尺寸、屏幕定向等)進行相應的響應和調整，無論用戶正在使用傳統(tǒng)PC還是智能手機、Pad,頁面都應該能夠自動切換分辨率、圖片尺寸及相關腳本功能等，以適應不同設備；即:頁面可自適應用戶的設備環(huán)境jebsocket采用獨立的基于TCP的提供全雙工通信信道的協(xié)議，實現(xiàn)雙向實時通信；
[0039]所述步驟(3)設計服務器端對所有智能設備、智能終端的調度優(yōu)化算法包括步驟如下:
[0040]基于所有的智能設備、智能終端通過各種方式都已經(jīng)連接在同一的局域網(wǎng)中，在調度部分中，將被調度智能設備、智能終端分為移動設備與固定設備，關于固定設備的調度，根據(jù)用戶的及時位置和控制要求通過采用不同的控制方式來進行控制，將該類設備設置為相等優(yōu)先級，在調度算法中采用有要求則控制的方式；而移動設備的調度如下所述:
[0041]P、將各個移動設備通過無線網(wǎng)絡接入到計算機系統(tǒng)；智能空間中的機器人屬于移動設備；
[0042]q、用戶通過客戶端接入服務器，客戶端會向服務器提供用戶身份信息，并向服務器發(fā)送用戶任務申請；所述客戶端為用戶對移動設備進行控制的軟件，它可以在服務器本體也可以在能夠與服務器進行通信的PC上；
[0043]1、服務器收到用戶申請后，對申請進行解析，獲取申請任務的用戶身份、申請時間、包含的子任務、任務的優(yōu)先級，解析完成后，將任務根據(jù)任務優(yōu)先級加載到任務列表中；
[0044]S、普通優(yōu)先級任務，將依照加載順序執(zhí)行；較高優(yōu)先級任務將優(yōu)先獲得執(zhí)行；最高優(yōu)先級任務須先行執(zhí)行，并可中斷正在執(zhí)行的低優(yōu)先級任務，優(yōu)先得到執(zhí)行；
[0045]t、服務器將根據(jù)調度算法，對任務列表中的任務進行任務調度，最終完成用戶申請；
[0046]U、調度算法遵循的原則:
[0047]1.用戶平等，表現(xiàn)在兩方面:一是列表中同等優(yōu)先級的任務時，根據(jù)申請時間依次執(zhí)行，與任務對象無關；二是最高優(yōu)先級任務只有在當前無空閑移動設備時，才強制結束正在執(zhí)行的低優(yōu)先級任務，否則優(yōu)先使用空閑移動設備完成任務；
[0048]I1.能源最省，表現(xiàn)在如果任務包含多個子任務，則盡可能交由能夠全部完成這些子任務的移動設備來完成，而避免使用多個移動設備完成；
[0049]V、調度算法流程:
[0050]Stepl:從任務列表中獲得一個任務信息；
[0051]St印2:查看該任務的優(yōu)先級信息，若為最高優(yōu)先級任務，則執(zhí)行Step3，否則執(zhí)行Step6 ；
[0052]Step3:查看是否存在沒有執(zhí)行最高優(yōu)先級任務的移動設備，若有，則將這些移動設備分為四類，分別為能完成所有子任務且空閑的移動設備、能完成部分子任務且空閑的移動設備、能完成所有子任務且非空閑的移動設備、能完成部分子任務且非空閑的移動設備；否則執(zhí)行Step8 ；
[0053]Step4:若存在第一類移動設備，則選擇距用戶最近的執(zhí)行任務；否則查看是否存在第二類移動設備，存在則檢測第二類移動設備能否完成全部子任務，若能，則由第二類移動設備執(zhí)行該任務，否則檢測是否存在第三類移動設備，存在則由第三類移動設備執(zhí)行任務，若無則由第二類移動設備執(zhí)行部分子任務，其余子任務交由第四類移動設備完成；如果沒有第二類移動設備，則在存在第三類移動設備時，有第三類移動設備完成任務，沒有第三類移動設備則由第四類移動設備完成任務；
[0054]Step5:任務完成后執(zhí)行Step8 ；
[0055]Step6:查看是否有空閑移動設備，若有則將移動設備分為兩類，分別為能完成所有子任務且空閑的移動設備、能完成部分子任務且空閑的移動設備；
[0056]Step7:若存在第一類移動設備，則選擇距用戶最近的執(zhí)行任務；否則查看是否存在第二類移動設備，若有則由第二類移動設備執(zhí)行任務；
[0057]StepS:如果該任務中的全部子任務均執(zhí)行完，則刪除該任務，如果只執(zhí)行了部分子任務，則刪除該任務中已執(zhí)行完的子任務，但該任務仍保留，如果該任務沒有移動設備可以執(zhí)行，則暫時跳過該任務；
[0058]St印9:執(zhí)行Stepl，獲得一個新的任務，重復這一過程，直到列表中的任務全部執(zhí)行；
[0059]所述步驟(3)設計服務器端對所有智能設備、智能終端的任務規(guī)劃算法，包括步驟如下:
[0060]W、給每項服務添加服務名，例如RobotMove (機器人移動)，為該服務添加驅動參數(shù)如(E，F(xiàn)，G)(位置，角度和速度信息等)，以及該服務執(zhí)行完成以后的輸出參數(shù)(I，J，K)(圖像、目標位置和目標姿態(tài)信息等)；還有該項服務的工作狀態(tài)分別為yes、no、work,系統(tǒng)根據(jù)它的工作狀態(tài)來選擇服務:當服務器接收到的參數(shù)滿足至少一個服務的時候，該服務就被驅動，當該服務執(zhí)行完成會產生另外的參數(shù)，同樣會驅動相應的服務，以此方式形成規(guī)劃流程，為了保證流程的準確性和可行性，算法部分設計如下:
[0061]X、規(guī)劃算法中的具體步驟
[0062]Stepl:準備參數(shù)集、服務集、備用服務集和備用參數(shù)集，以及最終服務列表五個存儲單元；
[0063]St印2:循環(huán)檢測參數(shù)集是否有參數(shù)輸入如果有參數(shù)輸入轉到Step3，如果沒有則在Step2等待并循環(huán)檢測；
[0064]Step3:根據(jù)參數(shù)集的輸入?yún)?shù)，對服務集進行搜索，找到能夠被驅動的服務存入第一層，與層數(shù)相關的指數(shù)INDEX加1，轉到St印4 ；
[0065]Step4:對剛得到的這一層服務進行查重，如果一個服務的輸出包含在另一個的輸出中，將此服務從最終服務列表中刪除，置于備用服務集中；對于驅動此無效服務的參數(shù)也從參數(shù)集中刪除置于備用參數(shù)集中；對剛使用過的所有參數(shù)為防止重復驅動，也將刪除并置于備用參數(shù)集中；轉到Step5 ；
[0066]St印5:檢測這一層服務是否有輸出，如果有則轉到Step2，如果沒有轉到Step6 ；
[0067]Step6:計算每個服務流程的總消耗，擇優(yōu)選擇最終流程；[0068]Step7:結束規(guī)劃流程，開始執(zhí)行，并交由調度層運行。
[0069]本發(fā)明的有意價值為
[0070]提升了智能空間系統(tǒng)的設備控制靈活度，方面系統(tǒng)用戶對自己所屬的智能空間的控制。網(wǎng)絡控制方式的加入使得用戶可以無時無刻隨時隨地的對智能空間的控制。設備調度與服務質量研究成果的應用使得智能空間的運行效率大幅提升，服務用戶的質量大大提高。使智能空間的實用化應用更進一步。
[0071]在硬件設計與網(wǎng)絡連接中，采取多對一廣播的組網(wǎng)方式即一個控制核心可對應多個服務器并采用TCP協(xié)議進行數(shù)據(jù)傳輸，編程上采用Socket非阻塞模式，這種蜂窩式的組網(wǎng)方式，相對大多的中心服務器的模式，避免了大量數(shù)據(jù)傳輸時造成的中心阻塞，當中心節(jié)點癱瘓時不影響其他服務器的使用從而提高了系統(tǒng)的可靠性。
[0072] 利用wds模式將云臺攝像機加入局域網(wǎng)中，避免了走線的麻煩，使云臺攝像機的安裝更加靈活。控制器根據(jù)不同設備通過繼電器發(fā)出不同信號進行控制，如電燈需要一個持續(xù)高電平或低電平，而投影儀需要兩個間隔Is左右的脈沖信號等。
[0073]在各個模塊的設計中，首先在Kinect控制系統(tǒng)設計中，在標準平面下，手心在設備返回的圖片范圍中移動可以成功的控制設備。但在實際應用中，使用者的手不是始終都在標準平面內，所以對應在二維圖片上的區(qū)域也會產生差異。使用者手心的深度移動范圍是固定的，但是距離越遠，手心在圖片上的移動范圍會減小，為了解決以上問題，作為本發(fā)明的進一步改進，本發(fā)明還包括在第2部分b步驟中，當使用者手心距離Kinect深度傳感器中心的深度不是1000mm時，還包括將手心距離Kinect深度傳感器中心不同深度位置的二維信息轉換到手心距離Kinect深度傳感器中心1000mm深度的二維信息的過程，可選擇通過以下步驟實現(xiàn):首先，采用最小二乘法確定手心在任意深度信息下的移動范圍；然后，采用比例的方式根據(jù)深度數(shù)值把手心的二維數(shù)據(jù)轉換到手心距離Kinect深度傳感器中心1000mm深度的二維數(shù)據(jù)。
[0074]標準區(qū)域內使用者站在Kinect的中心位置，控制局限性較大，為了使使用者能在垂直于Kinect左右的方向上有一定范圍的移動，作為本發(fā)明的進一步改進，本發(fā)明還包括在于在第2部分b步驟中，當使用者的手心偏離Kinect深度傳感器中心位置時，還包括將偏離Kinect深度傳感器中心位置的手心二維信息校正到中心位置的手心二維信息的過程，并可以通過以下步驟實現(xiàn):首先，計算出校正前后揮動中心的距離差值；然后


^now ^hpfoTP + '^)
通過差值把實際手心坐標校正到基準區(qū)域。校正公式為，—/， ,其中




y now _ y before + () middle》
(Xmiddle, Ymiddle)為校正前的揮動中心，(x0, Y0)為校正后的揮動中心，(Xfaefore, Ybefore)為轉換前手心的位置，(xMW，yn(J為轉換后的手心位置。至此在Kinect部分通過Kinect設備獲得的使用者的控制意圖可以通過服務器轉換成控制信號對空間中的設備進行控制。
[0075]其次在慣導模塊(AHRS)控制系統(tǒng)中，采用智能空間分布式視覺與慣導模塊的無縫結合，通過分布式視覺的定位信息與慣導模塊的控制信息，兩者結合提高了控制意圖分析的準確性。
[0076]在語音控制中用戶通過無線麥克風輸入語音命令，語音命令通過計算機系統(tǒng)的語音識別部分進行命令識別與解析，并與語音命令庫中的控制命令進行匹配，其中采用微軟的語音識別庫與自主語音匹配文件相結合的方式，進一步提高了漢語的識別效率與準確度。如果匹配成功，則通過相應的控制命令發(fā)送設備控制指令，實現(xiàn)對設備的語音控制。
[0077]在二維碼掃描網(wǎng)絡手機控制部分，服務采用B/S(Browser_Server)架構，客戶可使用傳統(tǒng)PC、移動設備及任何置有瀏覽器的設備通過瀏覽器訪問該服務，其中的關鍵技術采用基于Bootstrap框架的響應式設計；響應式Web設計(Responsive Web design):頁面的設計與開發(fā)應當根據(jù)用戶行為以及設備環(huán)境(系統(tǒng)平臺、屏幕尺寸、屏幕定向等)進行相應的響應和調整。具體的實踐方式由多方面組成，包括彈性網(wǎng)格和布局、圖片、CSS mediaquery的使用等；基于WebSocket的雙向實時通信，智能空間設備狀態(tài)發(fā)生變化時，將實時通知智能空間服務器，服務器也將此通知同步到各個服務客戶端。另外，其通信通過TCP80端口完成，這有利于使用防火墻阻止非Web因特網(wǎng)連接的客戶網(wǎng)絡環(huán)境使用。
[0078]在軟件設計中，在調度部分，將各個機器人等移動設備通過無線網(wǎng)絡接入到計算機系統(tǒng)。用戶通過客戶端接入計算機系統(tǒng)，客戶端會向計算機系統(tǒng)提供用戶身份信息，并向計算機系統(tǒng)發(fā)送用戶任務申請。計算機系統(tǒng)收到用戶申請后，對申請進行解析，獲取申請任務的用戶身份、申請時間、包含的子任務、任務的優(yōu)先級等，解析完成后，將任務根據(jù)任務優(yōu)先級加載到任務列表中。普通優(yōu)先級任務，將依照加載順序執(zhí)行；較高優(yōu)先級任務將優(yōu)先獲得執(zhí)行；最高優(yōu)先級任務須先行執(zhí)行，并可中斷正在執(zhí)行的低優(yōu)先級任務，優(yōu)先得到執(zhí)行。計算機系統(tǒng)將根據(jù)調度算法，對任務列表中的任務進行任務調度，最終完成用戶申請。調度算法遵循的原則按照第6部分f、g中的規(guī)則進行。該類設備的調度采用了相對靈活的移動設備調度規(guī)則，實現(xiàn)了不同級別優(yōu)先級的區(qū)分執(zhí)行方式。
[0079]在服務規(guī)劃部分，為了提高智能空間下出現(xiàn)多任務或緊急任務的處理時間，提高服務流程的合理性，在服務流程規(guī)劃部分，采用參數(shù)驅動機制來進行服務規(guī)劃。該方法縮短了服務規(guī)劃使用的時間，在緊急情況下可以快速作出反應，提升了智能空間中的服務效率和服務質量。具體的規(guī)劃方式按照第7部分b中的步驟形成規(guī)劃流程。
【專利附圖】

【附圖說明】
[0080]圖1本發(fā)明所述系統(tǒng)框架圖；
[0081]圖2上位機控制界面；
[0082]圖3Kinect 外觀圖；
[0083]圖4手心三維位置解釋圖；
[0084]圖5控制區(qū)域劃分圖；
[0085]圖6是距離Kinect深度傳感器中心位置不同深度時手心移動范圍圖；
[0086]圖7是將偏離Kinect深度傳感器中心位置的手心二維信息校正到中心位置的手心二維信息的校正原理圖；
[0087]圖8慣導模塊使用例圖；
[0088]圖9手機控制程序示意圖；
[0089]圖10調度軟件運行圖；
[0090]圖11服務驅動示意圖；
[0091]圖12規(guī)劃算法框架圖；
[0092]圖13流程規(guī)劃結果?！揪唧w實施方式】
[0093]下面結合附圖就本發(fā)明的實施做出詳細的說明，但不限于此。
[0094]實施例1、
[0095]一種基于WIFI無線網(wǎng)絡多類控制終端的管理與規(guī)劃系統(tǒng)，包括:
[0096](I)在智能空間下構建基于WIFI的硬件系統(tǒng)，所述基于WIFI的硬件系統(tǒng)包括智能設備、智能終端和服務器，所述的智能設備、智能終端分別與所述服務器無線連接；
[0097](2)將控制終端接入服務器，所述控制終端包括:遠程手機控制、服務器端語音控制、基于Kinect和慣導模塊的手勢控制和服務器端本體控制；所述服務器端本體控制為:在服務器端的管理軟件界面通過按鈕的方式對智能空間中的智能設備、智能終端進行直接控制；
[0098](3)設計服務器端對所有智能設備、智能終端的調度優(yōu)化算法與任務規(guī)劃算法，以實現(xiàn)在智能空間下無處不在的控制與服務；
[0099]所述步驟(I)中構建基于WIFI的硬件系統(tǒng)的具體步驟包括以下步驟:
[0100]a、采用WIFI無線網(wǎng)絡模塊對智能空間中的智能設備和智能終端進行匹配，使所述智能設備、智能終端通過無線網(wǎng)絡被遠程自動控制，所述的自動控制包括所述智能設備、智能終端被控制終端控制或被服務器端本體控制；所述智能設備和智能終端為受控于無線網(wǎng)絡的電燈、電視、空調和窗簾等；所述WIFI無線網(wǎng)絡模塊采用STM32為底層控制核心，通過串口與RM04模塊通信，采取多對一廣播的組網(wǎng)方式即一個控制核心對應多個服務器并采用TCP協(xié)議進行數(shù)據(jù)傳輸，編程上采用Socket非阻塞模式提高系統(tǒng)的穩(wěn)定性，所述服務器包括手機、電腦，提高對控制設備的兼容性；
[0101]b、在步驟a中數(shù)據(jù)傳輸?shù)挠布酚善骱蚏M04模塊，
[0102]所述路由器作用是將局域的WIFI無線網(wǎng)絡轉發(fā)到公網(wǎng)從而作為系統(tǒng)的一個公網(wǎng)接口和通過wds模式將云臺攝像頭接入網(wǎng)絡；在路由器中DHCP服務器通過識別RM04模塊的MAC地址然后分配相應的內網(wǎng)IP地址，再將內網(wǎng)地址轉發(fā)到公網(wǎng)之上，所述RM04模塊起到將底層控制核心接入路由器的作用，所述RM04模塊配置成網(wǎng)卡模式，在局域網(wǎng)中作為TCP服務器存在；
[0103]C、底層控制核心的電路通過STM32單片機控制繼電器產生不同的脈沖信號對不同智能設備和智能終端進行控制，所述底層控制核心的電路還包括控制接口供擴展多種傳感器；
[0104]d、在上層通訊中，每個智能設備和智能終端通過路由器的分配獲得唯一的IP地址，服務器通過IP地址對智能設備和智能終端進行控制；
[0105]在底層通訊中，WIFI無線網(wǎng)絡模塊通過串口方式與所述STM32單片機進行通訊；所述STM32單片機通過控制繼電器的方式控制智能設備和智能終端的開關運行；
[0106]在通訊過程中，每個智能設備和智能終端與服務器通過采用TCP/IP通信協(xié)議采用Socket編程方式實現(xiàn)數(shù)據(jù)或命令的傳遞；
[0107]e、根據(jù)步驟a、b、C、d并基于WIFI無線網(wǎng)絡和有線網(wǎng)絡，以路由器為中心，將智能空間中可連入網(wǎng)絡的每個智能設備、智能終端、服務器和能夠與服務器進行通訊的傳感設備連到一個局域網(wǎng)中，并且每個智能設備和智能終端都具有鏈接互聯(lián)網(wǎng)的功能；使整個系統(tǒng)形成任務執(zhí)行部分、設備控制部分和服務器與數(shù)據(jù)存儲部分；
[0108]所述步驟(2)中所述Kinect手勢控制部分包括步驟如下:
[0109]f、將Kinect接入計算機系統(tǒng)；
[0110]g、通過啟動Kinect對手心的跟蹤，獲得手心的位置信息，以及手心的深度信息，在手心距離Kinect深度傳感器中心1000-3000mm深度的位置，對手心所在的二維平面區(qū)域進行功能區(qū)域的劃分，將其劃分為激光筆區(qū)域、隔離區(qū)域、控制區(qū)域，并定義手心在各區(qū)域中不同位置相對應的操作的指令，并作以下規(guī)定:標準距離是位于Kinect正前方I米處的距離；標準平面是位于標準距離處，手心移動的全部范圍所在的平面；標準區(qū)域是手心在標準平面移動時在Kinect上的圖像范圍，并將其規(guī)定為矩形區(qū)域；揮動中心是使用者在胸前伸出右手時，手心在整個揮動范圍中所處的的位置，在不同深度信息下；基準區(qū)域是手心移動范圍在Kinect圖像上的中心，即人在垂直于Kinect方向的中心位置所產生的圖像上的揮手區(qū)域；
[0111]h、計算機根據(jù)手勢控制指令，通過網(wǎng)絡通訊實現(xiàn)對智能設備和智能終端的相應操作；實現(xiàn)了無接觸性操作的效果，該方法避開了對手勢軌跡的研究，簡化了識別難度，并提高識別率；
[0112]所述步驟⑵中所述慣導模塊(AHRS)控制部分包括步驟如下:
[0113]1、將慣導模塊(AHRS)通過無線通信方式接入計算機；
[0114]j、通過慣導模塊中加速度計和陀螺儀磁力計的數(shù)據(jù)數(shù)據(jù)融合，分析控制者的控制姿態(tài)，慣性導航模塊采集三軸MEMS陀螺儀的信號，采用四元數(shù)姿態(tài)表達式，積分求得陀螺儀姿態(tài)角，同時采集三軸MEMS加速度計和三軸磁力計的信號，利用重力場和大地磁場在地理坐標系和機體坐標系之間的方向余弦轉換進行絕對角度解算，得到絕對姿態(tài)角，然后根據(jù)絕對姿態(tài)角信號的變化頻率實時改變?yōu)V波參數(shù)，對兩次得到的姿態(tài)角進行基于擴展式卡爾曼濾波的數(shù)據(jù)融合，最終輸出準確穩(wěn)定的姿態(tài)角度和融合加速度，其中，加速度計與陀螺儀的融合原理主要是靜態(tài)的時候用加速度計修正陀螺儀的值，動態(tài)的時候利用陀螺儀的值修正加速度計的值，根據(jù)運動體上的三軸加速度計輸出的三軸加速度(Ax，Ay，Az)，分
別求取俯仰角Pitch = tan'-Ay，-Az),傾斜角
【權利要求】
1.一種基于WIFI無線網(wǎng)絡多類控制終端的管理與規(guī)劃系統(tǒng)，其特征在于，該系統(tǒng)包括: (1)在智能空間下構建基于WIFI的硬件系統(tǒng)，所述基于WIFI的硬件系統(tǒng)包括智能設備、智能終端和服務器，所述的智能設備、智能終端分別與所述服務器無線連接； (2)將控制終端接入服務器，所述控制終端包括:遠程手機控制、服務器端語音控制、基于Kinect和慣導模塊的手勢控制和服務器端本體控制；所述服務器端本體控制為:在服務器端的管理軟件界面通過按鈕的方式對智能空間中的智能設備、智能終端進行直接控制； (3)設計服務器端對所有智能設備、智能終端的調度優(yōu)化算法與任務規(guī)劃算法。
2.根據(jù)權利要求1所述的一種基于WIFI無線網(wǎng)絡多類控制終端的管理與規(guī)劃系統(tǒng)，其特征在于，所述步驟(1)中構建基于WIFI的硬件系統(tǒng)的具體步驟包括以下步驟: a、采用WIFI無線網(wǎng)絡模塊對智能空間中的智能設備和智能終端進行匹配，使所述智能設備、智能終端通過無線網(wǎng)絡被遠程自動控制，所述的自動控制包括所述智能設備、智能終端被控制終端控制或被服務器端本體控制；所述WIFI無線網(wǎng)絡模塊采用STM32為底層控制核心，通過串口與RM04模塊通信，采取多對一廣播的組網(wǎng)方式即一個控制核心對應多個服務器并采用TCP協(xié)議進行數(shù)據(jù)傳輸，編程上采用Socket非阻塞模式提高系統(tǒng)的穩(wěn)定性，所述服務器包括手機、電腦； b、在步驟a中數(shù)據(jù)傳輸?shù)挠布酚善骱蚏M04模塊， 所述路由器作用是將局域的WIFI無線網(wǎng)絡轉發(fā)到公網(wǎng)從而作為系統(tǒng)的一個公網(wǎng)接口和通過wds模式將云臺攝像頭接入網(wǎng)絡；在路由器中DHCP服務器通過識別RM04模塊的MAC地址然后分配相應的內網(wǎng)IP地址，再將內網(wǎng)地址轉發(fā)到公網(wǎng)之上，所述RM04模塊起到將底層控制核心接入路由器的作用，所述RM04模塊配置成網(wǎng)卡模式，在局域網(wǎng)中作為TCP服務器存在； C、底層控制核心的電路通過STM32單片機控制繼電器產生不同的脈沖信號對不同智能設備和智能終端進行控制，所述底層控制核心的電路還包括控制接口供擴展多種傳感器； d、在上層通訊中，每個智能設備和智能終端通過路由器的分配獲得唯一的IP地址，月艮務器通過IP地址對智能設備和智能終端進行控制； 在底層通訊中，WIFI無線網(wǎng)絡模塊通過串口方式與所述STM32單片機進行通訊；所述STM32單片機通過控制繼電器的方式控制智能設備和智能終端的開關運行； 在通訊過程中，每個智能設備和智能終端與服務器通過采用TCP/IP通信協(xié)議采用Socket編程方式實現(xiàn)數(shù)據(jù)或命令的傳遞； e、根據(jù)步驟a、b、c、d并基于WIFI無線網(wǎng)絡和有線網(wǎng)絡，以路由器為中心，將智能空間中可連入網(wǎng)絡的每個智能設備、智能終端、服務器和能夠與服務器進行通訊的傳感設備連到一個局域網(wǎng)中，并且每個智能設備和智能終端都具有鏈接互聯(lián)網(wǎng)的功能；使整個系統(tǒng)形成任務執(zhí)行部分、設備控制部分和服務器與數(shù)據(jù)存儲部分； 所述步驟(2)中所述Kinect手勢控制部分包括步驟如下: f、將Kinect接入計算機系統(tǒng)； g、通過啟動Kinect對手心的跟蹤，獲得手心的位置信息，以及手心的深度信息，在手心距離Kinect深度傳感器中心1000-3000mm深度的位置，對手心所在的二維平面區(qū)域進行功能區(qū)域的劃分，將其劃分為激光筆區(qū)域、隔離區(qū)域、控制區(qū)域，并定義手心在各區(qū)域中不同位置相對應的操作的指令，并作以下規(guī)定:標準距離是位于Kinect正前方I米處的距離；標準平面是位于標準距離處，手心移動的全部范圍所在的平面；標準區(qū)域是手心在標準平面移動時在Kinect上的圖像范圍，并將其規(guī)定為矩形區(qū)域；揮動中心是使用者在胸前伸出右手時，手心在整個揮動范圍中所處的的位置，在不同深度信息下；基準區(qū)域是手心移動范圍在Kinect圖像上的中心，即人在垂直于Kinect方向的中心位置所產生的圖像上的揮手區(qū)域； h、計算機根據(jù)手勢控制指令，通過網(wǎng)絡通訊實現(xiàn)對智能設備和智能終端的相應操作； 所述步驟(2)中所述慣導模塊(AHRS)控制部分包括步驟如下: i、將慣導模塊(AHRS)通過無線通信方式接入計算機； j、通過慣導模塊中加速度計和陀螺儀磁力計的數(shù)據(jù)數(shù)據(jù)融合，分析控制者的控制姿態(tài)，慣性導航模塊采集三軸MEMS陀螺儀的信號，采用四元數(shù)姿態(tài)表達式，積分求得陀螺儀姿態(tài)角，同時采集三軸MEMS加速度計和三軸磁力計的信號，利用重力場和大地磁場在地理坐標系和機體坐標系之間的方向余弦轉換進行絕對角度解算，得到絕對姿態(tài)角，然后根據(jù)絕對姿態(tài)角信號的變化頻率實時改變?yōu)V波參數(shù)，對兩次得到的姿態(tài)角進行基于擴展式卡爾曼濾波的數(shù)據(jù)融合，最終輸出準確穩(wěn)定的姿態(tài)角度和融合加速度，其中，加速度計與陀螺儀的融合原理主要是靜態(tài)的時候用加速度計修正陀螺儀的值，動態(tài)的時候利用陀螺儀的值修正加速度計的值，根據(jù)運動體上的三軸加速度計輸出的三軸加速度(Ax，Ay，Az)，分別求取俯仰角 pitch = tarT1 (-Ay,-Az)，傾斜角
3.根據(jù)權利要求1所述的一種基于WIFI無線網(wǎng)絡多類控制終端的管理與規(guī)劃系統(tǒng)，其特征在于，所述步驟(3)設計服務器端對所有智能設備、智能終端的調度優(yōu)化算法包括步驟如下: 基于所有的智能設備、智能終端通過各種方式都已經(jīng)連接在同一的局域網(wǎng)中，在調度部分中，將被調度智能設備、智能終端分為移動設備與固定設備，關于固定設備的調度，根據(jù)用戶的及時位置和控制要求通過采用不同的控制方式來進行控制，將該類設備設置為相等優(yōu)先級，在調度算法中采用有要求則控制的方式；而移動設備的調度如下所述: P、將各個移動設備通過無線網(wǎng)絡接入到計算機系統(tǒng)； q、用戶通過客戶端接入服務器，客戶端會向服務器提供用戶身份信息，并向服務器發(fā)送用戶任務申請；所述客戶端為用戶對移動設備進行控制的軟件，它可以在服務器本體也可以在能夠與服務器進行通信的Pc上； 1、服務器收到用戶申請后，對申請進行解析，獲取申請任務的用戶身份、申請時間、包含的子任務、任務的優(yōu)先級，解析完成后，將任務根據(jù)任務優(yōu)先級加載到任務列表中； S、普通優(yōu)先級任務，將依照加載順序執(zhí)行；較高優(yōu)先級任務將優(yōu)先獲得執(zhí)行；最高優(yōu)先級任務須先行執(zhí)行，并可中斷正在執(zhí)行的低優(yōu)先級任務，優(yōu)先得到執(zhí)行； t、服務器將根據(jù)調度算法，對任務列表中的任務進行任務調度，最終完成用戶申請； U、調度算法遵循的原則: 1.用戶平等，表現(xiàn)在兩方面:一是列表中同等優(yōu)先級的任務時，根據(jù)申請時間依次執(zhí)行，與任務對象無關；二是最高優(yōu)先級任務只有在當前無空閑移動設備時，才強制結束正在執(zhí)行的低優(yōu)先級任務，否則優(yōu)先使用空閑移動設備完成任務； I1.能源最省，表現(xiàn)在如果任務包含多個子任務，則盡可能交由能夠全部完成這些子任務的移動設備來完成，而避免使用多個移動設備完成； V、調度算法流程: Stepl:從任務列表中獲得一個任務信息；Step2:查看該任務的優(yōu)先級信息，若為最高優(yōu)先級任務，則執(zhí)行Step3，否則執(zhí)行Step6 ； Step3:查看是否存在沒有執(zhí)行最高優(yōu)先級任務的移動設備，若有，則將這些移動設備分為四類，分別為能完成所有子任務且空閑的移動設備、能完成部分子任務且空閑的移動設備、能完成所有子任務且非空閑的移動設備、能完成部分子任務且非空閑的移動設備；否則執(zhí)行St印8 ； Step4:若存在第一類移動設備，則選擇距用戶最近的執(zhí)行任務；否則查看是否存在第二類移動設備，存在則檢測第二類移動設備能否完成全部子任務，若能，則由第二類移動設備執(zhí)行該任務，否則檢測是否存在第三類移動設備，存在則由第三類移動設備執(zhí)行任務，若無則由第二類移動設備執(zhí)行部分子任務，其余子任務交由第四類移動設備完成；如果沒有第二類移動設備，則在存在第三類移動設備時，有第三類移動設備完成任務，沒有第三類移動設備則由第四類移動設備完成任務； Step5:任務完成后執(zhí)行Step8 ； Step6:查看是否有空閑移動設備，若有則將移動設備分為兩類，分別為能完成所有子任務且空閑的移動設備、能完成部分子任務且空閑的移動設備； Step7:若存在第一類移動設備，則選擇距用戶最近的執(zhí)行任務；否則查看是否存在第二類移動設備，若有則由第二類移動設備執(zhí)行任務； StepS:如果該任務中的全部子任務均執(zhí)行完，則刪除該任務，如果只執(zhí)行了部分子任務，則刪除該任務中已執(zhí)行完的子任務，但該任務仍保留，如果該任務沒有移動設備可以執(zhí)行，則暫時跳過該任務； Step9:執(zhí)行Stepl，獲得一個新的任務，重復這一過程，直到列表中的任務全部執(zhí)行。
4.根據(jù)權利要求1所述的一種基于WIFI無線網(wǎng)絡多類控制終端的管理與規(guī)劃系統(tǒng)，其特征在于，所述步驟(3)設計服務器端對所有智能設備、智能終端的任務規(guī)劃算法，包括步驟如下: W、給每項服務添加服務名；還有該項服務的工作狀態(tài)分別為yes、no、work，系統(tǒng)根據(jù)它的工作狀態(tài)來選擇服務:當服務器接收到的參數(shù)滿足至少一個服務的時候，該服務就被驅動，當該服務執(zhí)行完成會產生另外的參數(shù)，同樣會驅動相應的服務，以此方式形成規(guī)劃流程，為了保證流程的準確性和可行性，算法部分設計如下: X、規(guī)劃算法中的具體步驟 Stepl:準備參數(shù)集、服務集、備用服務集和備用參數(shù)集，以及最終服務列表五個存儲單元; Step2:循環(huán)檢測參數(shù)集是否有參數(shù)輸入 如果有參數(shù)輸入轉到Step3，如果沒有則在Step2等待并循環(huán)檢測； Step3:根據(jù)參數(shù)集的輸入?yún)?shù)，對服務集進行搜索，找到能夠被驅動的服務存入第一層，與層數(shù)相關的指數(shù)INDEX加1，轉到St印4 ； Step4:對剛得到的這一層服務進行查重，如果一個服務的輸出包含在另一個的輸出中，將此服務從最終服務列表中刪除，置于備用服務集中；對于驅動此無效服務的參數(shù)也從參數(shù)集中刪除置于備用參數(shù)集中；對剛使用過的所有參數(shù)為防止重復驅動，也將刪除并置于備用參數(shù)集中；轉到St印5 ；St印5:檢測這一層服務是否有輸出，如果有則轉到Step2，如果沒有轉到Step6 ；Step6:計算每個服務流程的總消耗，擇優(yōu)選擇最終流程；Step7:結束規(guī)劃 流程，開始執(zhí)行，并交由調度層運行。
【文檔編號】H04W24/02GK103916875SQ201410167864
【公開日】2014年7月9日 申請日期:2014年4月24日 優(yōu)先權日:2014年4月24日
【發(fā)明者】路飛, 田國會, 李健, 劉志勇, 王宇恒 申請人:山東大學