本發(fā)明涉及一種有音視頻監(jiān)視的遙控機器人系統(tǒng)，屬于機器人領(lǐng)域。
背景技術(shù)：
隨著時代的發(fā)展，機器人監(jiān)控與遙控在越來越多的領(lǐng)域里發(fā)揮了不可替代的作用，如遠程的病房監(jiān)控、核反應(yīng)堆內(nèi)部的管理等，都可以見到遠程機器人的身影，而服務(wù)機器人也成為遠程機器人中不可或缺的一員。針對無處不在的互聯(lián)網(wǎng)，世界范圍內(nèi)出現(xiàn)了各種各樣的基于web的遙控機器人設(shè)計方案，為客戶提供良好的控制和音視頻體驗。
如何使機器人更好的融入互聯(lián)網(wǎng)為人類服務(wù)，就需要在網(wǎng)絡(luò)中為機器人提供完善的控制策略和流暢清晰的音視頻傳輸策略。對于移動機器人的運動控制可以使用勢場法來實現(xiàn)。而基于tcp的socket通信可以完全勝任在廣域網(wǎng)上控制信號和傳感器反饋信號的傳輸問題。對
于流媒體傳輸，flash是現(xiàn)在廣域網(wǎng)上最常用的流媒體傳輸策略。但是，由于flash的傳輸方法并不包含網(wǎng)絡(luò)情況的監(jiān)測，當實時流媒體傳輸不適應(yīng)當前的網(wǎng)絡(luò)狀況時，就會給遙控者帶來不好的音視頻體驗性。因此，需要根據(jù)機器人的場景和網(wǎng)絡(luò)情況的檢測，使得傳輸帶寬小于傳輸鏈路的可用帶寬。
遙控機器人系統(tǒng)的設(shè)計是多種多樣的，mitro利用ros平臺搭建控制系統(tǒng)，實現(xiàn)了基于網(wǎng)頁的控制，而音視頻傳輸采用了第三方軟件，如skype、vgo利用自主開發(fā)的遙控控制端軟件，實現(xiàn)了對遙控機器人的控制和流媒體傳輸，并且實現(xiàn)了速度矢量的實時顯示及自充電、無線切換等功能；qb則利用開發(fā)的瀏覽器插件，實現(xiàn)了基于網(wǎng)頁的控制和音視頻傳輸。pr2利用html5和javascript技術(shù)實現(xiàn)了基于網(wǎng)頁的控制信號和流媒體的傳輸，控制信號用websocket傳遞，流媒體傳輸使用的是html的視頻微件來實現(xiàn)。pa-10robot實現(xiàn)了基于web的遙控機械臂系統(tǒng)，客戶端使用flash實現(xiàn)，獲取機器人端的視頻和力反饋信號，由于機械臂運動緩慢，沒有考慮機器人的運動對用戶的體驗性產(chǎn)生的影響，而且沒有考慮網(wǎng)絡(luò)情況；otorob和drrobotx80考慮了遙控機器人的所處場景，根據(jù)機器人的速度或檢測到障礙物的距離來改變視頻分辨率或幀率，來達到節(jié)省帶寬和增強遙控者體驗性的目的。
技術(shù)實現(xiàn)要素：
本發(fā)明提供一種有音視頻監(jiān)視的遙控機器人系統(tǒng)，該機器人系統(tǒng)通過攜帶的攝像頭、麥克風等設(shè)備采集環(huán)境的音視頻信息，利用流媒體服務(wù)器和控制服務(wù)器搭建通信平臺，通過基于通訊網(wǎng)絡(luò)傳輸流媒體信號、可用帶寬信號和機器人傳感器反饋信號的傳輸，實現(xiàn)了機器人現(xiàn)場環(huán)境的音視頻監(jiān)控系統(tǒng)，并可以根據(jù)網(wǎng)絡(luò)情況和機器人所處場景調(diào)節(jié)流媒體信號的傳輸帶寬，增強了遙控者的音視頻體驗性。
本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是：
一種有音視頻監(jiān)視的遙控機器人系統(tǒng)，包括機器人端、控制端、控制服務(wù)器、流媒體服務(wù)器和客戶端；機器人端對現(xiàn)場環(huán)境進行音視頻數(shù)據(jù)采集，通過控制服務(wù)器進行編碼、解碼后發(fā)送至客戶端，客戶端得到控制端指令，再通過控制服務(wù)器對機器人端發(fā)送指令，進行驅(qū)動執(zhí)行，其中，機器人端和客戶端發(fā)出的音視頻數(shù)據(jù)通過流媒體服務(wù)器進行交換；
作為本發(fā)明的進一步優(yōu)選，所述的客戶端包括第一音視頻的捕捉與傳輸模塊、控制信號捕捉模塊、傳感器反饋信號和流媒體數(shù)據(jù)顯示模塊和可用帶寬計算模塊，第一音視頻的捕捉與傳輸模塊獲取客戶端中攝像頭的視頻流及麥克風的音頻流并且整合成流媒體信號后，傳輸給流媒體服務(wù)器；控制信號捕捉模塊捕捉鍵盤和鼠標的控制輸入，并將這些控制信號傳輸給控制服務(wù)器；傳感器反饋信號和流媒體數(shù)據(jù)顯示模塊將從流媒體服務(wù)器獲取的流媒體數(shù)據(jù)進行解碼顯示；可用帶寬計算模塊計算出當前到控制服務(wù)器的可用帶寬，并且將計算出的可用帶寬信號傳輸至控制服務(wù)器；
作為本發(fā)明的進一步優(yōu)選，所述的機器人端包括第二音視頻的捕捉與傳輸模塊、音視頻信號顯示模塊、最佳分辨率和幀率判定模塊和運動控制模塊，運動控制模塊將機器人的運動速度和角速度傳輸至最佳分辨率和幀率判定模塊，第二音視頻的捕捉與傳輸模塊接收由最佳分辨率和幀率判定模塊傳輸?shù)姆直媛屎蛶实闹担瑫r接收由控制服務(wù)器傳輸?shù)目捎脤拵?shù)據(jù)，進行編碼后向流媒體服務(wù)器傳輸；第二音視頻的捕捉與傳輸模塊獲取客戶端中攝像頭的視頻流及麥克風的音頻流后，通過由控制服務(wù)器傳送的數(shù)值進行編碼后，向流媒體服務(wù)器傳輸；音視頻信號顯示模塊從流媒體服務(wù)器獲取客戶端的流媒體信號進行解碼顯示；
作為本發(fā)明的進一步優(yōu)選，客戶端的界面和機器人端的界面均基于web服務(wù)器，且均由flash編寫，并搭建了控制服務(wù)器和流媒體服務(wù)器，控制服務(wù)器完成機器人端和客戶端的控制信號和傳感器反饋信號的傳輸，其中傳感器反饋信號由傳感器傳輸至傳感器信號模塊，流媒體服務(wù)器使用flashmediaserver搭建，完成機器人端和控制端的流媒體信號傳輸；
作為本發(fā)明的進一步優(yōu)選，客戶端的控制程序包括flash控制端程序、flash音視頻傳輸和顯示程序和網(wǎng)絡(luò)狀況監(jiān)測程序，flash控制端程序主要完成控制信號的檢測與傳輸、傳感器信號和可用帶寬信號的顯示；flash音視頻傳輸主要完成流媒體信號的傳輸和解碼顯示；網(wǎng)絡(luò)狀況監(jiān)測程序主要完成網(wǎng)絡(luò)狀況的檢測和可用帶寬信號的傳輸。
通過以上技術(shù)方案，相對于現(xiàn)有技術(shù)，本發(fā)明具有以下有益效果：
本發(fā)明是一種基于控制服務(wù)器和流媒體服務(wù)器的機器人遙控系統(tǒng)，控制服務(wù)器采用vc++搭建，實現(xiàn)控制信號、機器人傳感器反饋信號和可用帶寬信號的傳輸，流媒體服務(wù)器采用fms(flashmediaserver)搭建，實現(xiàn)機器人端和控制端的雙向音視頻傳輸，并在控制端html中編寫javascript腳本，獲取網(wǎng)絡(luò)參數(shù)rtt，再根據(jù)機器人的運動狀態(tài)和場景，調(diào)節(jié)流媒體傳輸帶寬，提高了流媒體傳輸?shù)膶崟r性和客戶端的體驗性。
附圖說明
下面結(jié)合附圖和實施例對本發(fā)明進一步說明。
圖1是本發(fā)明的結(jié)構(gòu)模型和信號傳輸流程示意圖。
具體實施方式
現(xiàn)在結(jié)合附圖對本發(fā)明作進一步詳細的說明。這些附圖均為簡化的示意圖，僅以示意方式說明本發(fā)明的基本結(jié)構(gòu)，因此其僅顯示與本發(fā)明有關(guān)的構(gòu)成。
如圖1所示，本發(fā)明的一種有音視頻監(jiān)視的遙控機器人系統(tǒng)，包括機器人端、控制端、控制服務(wù)器、流媒體服務(wù)器和客戶端；機器人端對現(xiàn)場環(huán)境進行音視頻數(shù)據(jù)采集，通過控制服務(wù)器進行編碼、解碼后發(fā)送至客戶端，客戶端得到控制端指令，再通過控制服務(wù)器對機器人端發(fā)送指令，進行驅(qū)動執(zhí)行，其中，機器人端和客戶端發(fā)出的音視頻數(shù)據(jù)通過流媒體服務(wù)器進行交換；
作為本發(fā)明的進一步優(yōu)選，所述的客戶端包括第一音視頻的捕捉與傳輸模塊、控制信號捕捉模塊、傳感器反饋信號和流媒體數(shù)據(jù)顯示模塊和可用帶寬計算模塊，第一音視頻的捕捉與傳輸模塊獲取客戶端中攝像頭的視頻流及麥克風的音頻流并且整合成流媒體信號后，傳輸給流媒體服務(wù)器；控制信號捕捉模塊捕捉鍵盤和鼠標的控制輸入，并將這些控制信號傳輸給控制服務(wù)器；傳感器反饋信號和流媒體數(shù)據(jù)顯示模塊將從流媒體服務(wù)器獲取的流媒體數(shù)據(jù)進行解碼顯示；可用帶寬計算模塊計算出當前到控制服務(wù)器的可用帶寬，并且將計算出的可用帶寬信號傳輸至控制服務(wù)器；具體的為第一音視頻流的捕捉和傳輸模塊：獲取客戶端的攝像頭和麥克風的流媒體信號，通過設(shè)定分辨率、幀率、最大帶寬和保真度，經(jīng)壓縮后向流媒體服務(wù)器傳輸；控制信號捕捉模塊：客戶登陸后，本地html與控制服務(wù)器建立socket連接，捕捉鍵盤和鼠標的控制輸入，轉(zhuǎn)化為機器人執(zhí)行機構(gòu)的運動矢量，并將這些控制信號傳輸給控制服務(wù)器；傳感器反饋信號和流媒體數(shù)據(jù)顯示模塊：將傳感器反饋信號以餅狀圖的形式顯示出來，表示機器人離周圍障礙物的距離；同時將從流媒體服務(wù)器獲取的流媒體數(shù)據(jù)進行解碼顯示；可用帶寬計算模塊：首先與控制服務(wù)器建立socket連接，由獲取到的rtt計算出來當前到控制服務(wù)器的可用帶寬，將可用帶寬的數(shù)據(jù)傳輸給控制服務(wù)器；客戶端的html通過定時加載控制服務(wù)器端的對象，通過返回時間近似得到rtt，由帶寬的吞吐量公式：
作為本發(fā)明的進一步優(yōu)選，所述的機器人端包括第二音視頻的捕捉與傳輸模塊、音視頻信號顯示模塊、最佳分辨率和幀率判定模塊和運動控制模塊，運動控制模塊將機器人的運動速度和角速度傳輸至最佳分辨率和幀率判定模塊，第二音視頻的捕捉與傳輸模塊接收由最佳分辨率和幀率判定模塊傳輸?shù)姆直媛屎蛶实闹担瑫r接收由控制服務(wù)器傳輸?shù)目捎脤拵?shù)據(jù)，進行編碼后向流媒體服務(wù)器傳輸；第二音視頻的捕捉與傳輸模塊獲取客戶端中攝像頭的視頻流及麥克風的音頻流后，通過由控制服務(wù)器傳送的數(shù)值進行編碼后，向流媒體服務(wù)器傳輸；音視頻信號顯示模塊從流媒體服務(wù)器獲取客戶端的流媒體信號進行解碼顯示；具體的為主要完成控制信號的執(zhí)行、機器人的運動控制和音視頻數(shù)據(jù)和傳感器數(shù)據(jù)采集、傳輸和顯示。機器人端程序用vc++搭建，采用基于flash的界面顯示，機器人端建立tcp的server，接收控制服務(wù)器發(fā)送來的控制信號并驅(qū)動相應(yīng)執(zhí)行機構(gòu)，在運動的同時，根據(jù)機器人端傳感器采集環(huán)境信號，進行機器人的運動速度控制，并將實時的傳感器信號發(fā)送給控制服務(wù)器。
其中：第二音視頻流的捕捉和傳輸模塊：獲取客戶端的攝像頭和麥克風的媒體流，通過由控制服務(wù)器傳遞來的可用帶寬和機器人的場景計算出來的最佳分辨率和幀率的數(shù)值，編碼后向流媒體服務(wù)器傳輸；
音視頻信號顯示模塊：從流媒體服務(wù)器獲取客戶端的音視頻流進行解碼顯示；
最佳分辨率和幀率判定模塊：根據(jù)獲取的可用帶寬得到流媒體數(shù)據(jù)流的上限值，再根據(jù)機器人的場景來進行壓縮比的近似判斷：主要考慮機器人的運動速度和獲取圖像相鄰幀之間的差異，從而得到在該可用帶寬下的最佳分辨率和幀率的數(shù)值。由于flash流媒體編解碼不開源，故需要估算當前的壓縮比。機器人端獲取當時機器人本體的運動速度vel和角速度rvel數(shù)值，若vel≠0或rvel≠0，則機器人處于運動場景，壓縮比較小，則壓縮比α＝f(vel,revl)。若vel＝0且rvel＝0，則機器人處于非運動場景，則壓縮比與編碼圖像之間的差異有關(guān)。定義δ＝∑(fnij-fkij)2/n，f1ij、f2ij、…fnij為n幀圖像的像素值，f′ij為n幀圖像像素值的平均值，δ越大，壓縮比越小，壓縮比α＝k4*δ，則c＝k5*resolution*frame*α，則resolution*frame＝c/(k5*α)，確定合適的分辨率和幀率的值，作為最佳分辨率和幀率的值進行傳輸。
運動控制模塊：根據(jù)控制信號和傳感器檢測到的障礙物信號，進行機器人的運動控制，同時向最佳分辨率和幀率的計算模塊提供當前機器人的運動速度和角速度的信息。
作為本發(fā)明的進一步優(yōu)選，客戶端的界面和機器人端的界面均基于web服務(wù)器，且均由flash編寫，并搭建了控制服務(wù)器和流媒體服務(wù)器，控制服務(wù)器完成機器人端和客戶端的控制信號和傳感器反饋信號的傳輸，其中傳感器反饋信號由傳感器傳輸至傳感器信號模塊，流媒體服務(wù)器使用flashmediaserver搭建，完成機器人端和控制端的流媒體信號傳輸；
作為本發(fā)明的進一步優(yōu)選，客戶端的控制程序包括flash控制端程序、flash音視頻傳輸和顯示程序和網(wǎng)絡(luò)狀況監(jiān)測程序，flash控制端程序主要完成控制信號的檢測與傳輸、傳感器信號和可用帶寬信號的顯示；flash音視頻傳輸主要完成流媒體信號的傳輸和解碼顯示；網(wǎng)絡(luò)狀況監(jiān)測程序主要完成網(wǎng)絡(luò)狀況的檢測和可用帶寬信號的傳輸。
其次，介紹一下網(wǎng)絡(luò)帶寬檢測和流媒體數(shù)據(jù)的自適應(yīng)算法，由于客戶所處位置情況各異，而且?guī)挋z測會受到客戶端防火墻的影響，所以本次帶寬檢測算法寫到客戶端的html中，用來獲取客戶端到控制服務(wù)器的網(wǎng)絡(luò)情況，作為帶寬調(diào)節(jié)的依據(jù)，客戶端下載html后通過javascript加載控制服務(wù)器對象，來獲取客戶端到控制服務(wù)器的rtt，由吞吐量公式近似計算客戶端到控制服務(wù)器的可用帶寬，并將計算的數(shù)值通過socket傳遞給控制服務(wù)器，再通過相同手段傳遞給機器人，根據(jù)機器人所處不同場景視頻數(shù)據(jù)壓縮比不同，近似判斷壓縮比，隨后得到在該場景下的最佳分辨率和幀率的數(shù)值，完成在可用帶寬之內(nèi)的流媒體傳輸。
本技術(shù)領(lǐng)域技術(shù)人員可以理解，除非另外定義，這里使用的所有術(shù)語(包括技術(shù)術(shù)語和科學術(shù)語)具有與本申請所屬領(lǐng)域中的普通技術(shù)人員的一般理解相同的意義。還應(yīng)該理解的是，諸如通用字典中定義的那些術(shù)語應(yīng)該被理解為具有與現(xiàn)有技術(shù)的上下文中的意義一致的意義，并且除非像這里一樣定義，不會用理想化或過于正式的含義來解釋。
本申請中所述的“和/或”的含義指的是各自單獨存在或兩者同時存在的情況均包括在內(nèi)。
本申請中所述的“連接”的含義可以是部件之間的直接連接也可以是部件間通過其它部件的間接連接。
以上述依據(jù)本發(fā)明的理想實施例為啟示，通過上述的說明內(nèi)容，相關(guān)工作人員完全可以在不偏離本項發(fā)明技術(shù)思想的范圍內(nèi)，進行多樣的變更以及修改。本項發(fā)明的技術(shù)性范圍并不局限于說明書上的內(nèi)容，必須要根據(jù)權(quán)利要求范圍來確定其技術(shù)性范圍。