本發(fā)明涉及一種以機器人視角圖像進行地圖數(shù)據(jù)人機交互的方法，屬于機器人領域。
背景技術：
機器人普及化需要解決“怎么走”和“走到哪”兩大問題。在工廠里專業(yè)技術人員已經(jīng)可以很好的指揮工業(yè)機器人“怎么走”和“走到哪”，因此工業(yè)機器人已經(jīng)在工廠普及；但是對于家庭消費、辦公室等民用領域特別是多室戶型服務環(huán)境來說，由于不可直視目標地域因此環(huán)境復雜程度遠遠超過空中和室外道路場合，并且普通消費者也不具備專業(yè)機器人技術，因此在民用服務機器人領域要讓普通人與機器人自由地進行地圖數(shù)據(jù)人機交互是件很困難的事。目前CN201510846232、CN201510690749、CN201510169963等專利文獻展示了機器人依靠自身裝備的激光雷達、深度攝像頭等設備對周圍環(huán)境自主構建點云及輪廓線數(shù)字地圖(本文所述數(shù)字地圖均指此類)和自主導航定位等最新機器人自動化行駛技術，使“怎么走”的問題已經(jīng)解決；但是這些現(xiàn)有技術還無法解決“走到哪”這一問題，因為“走到哪”顯然是要由人來決定并由人來輸入給機器人的，但是在上述最新專利文現(xiàn)記載的所有機器人工作流程中并沒有出現(xiàn)人類輸入位置數(shù)據(jù)的環(huán)節(jié)，所以上述現(xiàn)有技術明顯無法解決“走到哪”這樣的人機交互問題，無法滿足普通人自由指揮機器人在多室戶型環(huán)境從事服務的需要。目前，人對機器人的復雜環(huán)境位置數(shù)據(jù)交互技術屬于專業(yè)技術人員才能掌握的專業(yè)技術、還無法普及到普通用戶群體中，這是由于非專業(yè)普通用戶很難看懂那些抽象的地圖坐標數(shù)據(jù)、輪廓線數(shù)字地圖、點云數(shù)字地圖等等，也不懂如何把地圖數(shù)據(jù)按標準格式輸入給機器人這樣的專業(yè)知識，更談不上讓家庭用戶自己編輯自家戶型的數(shù)字地圖了。因此現(xiàn)有技術無法解決讓每一個普通人都方便的與機器人進行地圖數(shù)據(jù)人機交互的問題，所以人們無法按照自己的需要自由指揮機器人到某個房間的某具體地點去實施服務，也無法直接看到機器人在哪個房間的哪個具體位置，這就嚴重限制了服務機器人的室內應用與市場普及進程。
為了解決上述問題，本發(fā)明提出一種以機器人視角圖像進行地圖數(shù)據(jù)人機交互的方法，使非專業(yè)人員也能夠直接對機器人自由輸入地圖數(shù)據(jù)并看懂其位置所在，從而讓普通人都可以方便的與機器人進行地圖數(shù)據(jù)交互，滿足在多室戶型復雜環(huán)境使用機器人的需要。
本發(fā)明描述了一種以機器人視角圖像進行地圖數(shù)據(jù)人機交互的方法，具體步驟如下：
步驟S1、機器人獲取基礎數(shù)字地圖；
步驟S2、機器人通過自身安裝的圖像拍攝裝置拍攝當前區(qū)域實景圖像，并同步采集當前區(qū)域的區(qū)域數(shù)字地圖，該實景圖像覆蓋的范圍與同步采集的區(qū)域數(shù)字地圖覆蓋的范圍至少部分重疊；
步驟S3、由計算機截取該區(qū)域數(shù)字地圖與同步拍攝的實景圖像二者視場重疊的部分，并使此二者相互匹配；
步驟S4、由計算機把匹配好的區(qū)域數(shù)字地圖與實景圖像合成為帶有地圖位置數(shù)據(jù)的實景定位圖像并存儲于數(shù)據(jù)庫中；
步驟S5、將數(shù)據(jù)庫中的實景定位圖像顯示在屏幕上，用戶直接點擊實景定位圖像上的某一點，計算機解析出該點的地圖數(shù)據(jù)，同理也可以將機器人位置和移動軌跡數(shù)據(jù)顯示到實景定位圖像上的對應位置點供用戶查看，從而實現(xiàn)地圖數(shù)據(jù)的人機交互。
本發(fā)明的有益效果是這樣的：由于現(xiàn)有技術的機器人使用自身裝備的激光雷達、深度攝像頭、超聲波雷達等地圖測繪傳感器已經(jīng)可以實現(xiàn)環(huán)境測繪、自動構建點云及輪廓線基礎數(shù)字地圖、自主定位自主導航等能力，因此本發(fā)明提出的以機器人視角圖像進行地圖數(shù)據(jù)人機交互的方法也可以共享這些現(xiàn)有資源、可以直接在這些現(xiàn)有軟硬件環(huán)境中運行本方法并直接獲取這些現(xiàn)有傳感器采集的基礎數(shù)字地圖。首先讓機器人利用上述現(xiàn)有技術獲取房屋的基礎數(shù)字地圖，并利用自身的圖像拍攝裝置拍攝當前區(qū)域實景圖像并同步采集當前局部區(qū)域的區(qū)域數(shù)字地圖，然后將采集到的區(qū)域數(shù)字地圖和實景圖像在計算機中合成為一副帶有地圖數(shù)據(jù)的實景定位圖像，并且按此對各房間均進行實景定位圖像采集處理。由于包括多個房間的基礎數(shù)字地圖本來就是由上述現(xiàn)有激光雷達等傳感器測繪的多副區(qū)域數(shù)字地圖拼合構建的，因此上述區(qū)域數(shù)字地圖中的任何一個位置點都可以與基礎數(shù)字地圖中的相應位置點形成一對一映射關系，也就是說可以在基礎數(shù)字地圖中被準確定位，所以每個房間的實景定位圖像中的任何一點都可以按照自身地圖數(shù)據(jù)映射到基礎數(shù)字地圖的相應位置處。這樣當用戶在屏幕中點擊實景定位圖像上的任何一個點時，就等效于對抽象的基礎數(shù)字地圖進行位置數(shù)據(jù)輸入，但這時人眼看到的已經(jīng)是最簡單易懂的自家實拍圖像了，自然不會有任何難度。例如，人們只要在某房間的實景定位圖像中點擊一個具體位置點，計算機系統(tǒng)就可以解析出該點在基礎數(shù)字地圖中的具體地圖數(shù)據(jù)，從而實現(xiàn)對機器人的地圖數(shù)據(jù)輸入，機器人就可以按照這個地圖數(shù)據(jù)駛往指定房間的這個具體地點實施服務；同理，機器人在移動過程中的位置數(shù)據(jù)也可以顯示到實景定位圖像的對應位置處，使人們直接可以看到機器人在實景環(huán)境圖像中的具體位置，所以整個交互過程并不需用戶具備判讀基礎數(shù)字地圖的專業(yè)能力。可見，本發(fā)明首次解決了普通人看不懂抽象的數(shù)字地圖、也不懂坐標知識等難題，即使在多室戶型復雜環(huán)境下普通人包括兒童、老人都可以輕松與機器人進行地圖數(shù)據(jù)交互；并且本發(fā)明所描述的方法可以完全不賴機器人之外的設備設施支持、只使用機器人自帶的圖像拍攝裝置、地圖測繪傳感器和嵌入式計算機等現(xiàn)有技術部件即可，這樣不僅降低了產(chǎn)品制造成本、也使機器人買回家即可直接開機使用，無需用戶在家部署任何配套運行環(huán)境，極適合普通家庭應用。
附圖說明
附圖1是本發(fā)明的流程圖；
具體實施方式
為使本發(fā)明的上述目的、特征、優(yōu)點能夠更加明顯易懂，下面結合附圖對本發(fā)明的具體實施方式做詳細說明。在下面的描述中將闡述很多具體細節(jié)，目的在于幫助本領域技術人員更充分地理解本發(fā)明，但是顯然本領域技術人員可以在不違背本發(fā)明內涵的前提下以更多不同于本實施例具體描述的其它方式來修改和實施，因此本發(fā)明不受下面公開的具體實施方式的限制。
附圖1是本發(fā)明所述的一種以機器人視角圖像進行地圖數(shù)據(jù)人機交互的方法的流程圖。
本實施例所述方法可以讓非專業(yè)人員直接對機器人方便地輸入目的地位置數(shù)據(jù)，也可以為非專業(yè)人員直觀地顯示機器人的當前實景位置，從而實現(xiàn)非專業(yè)人員與機器人的地圖數(shù)據(jù)人機交互，具體包括如下步驟：
步驟S1、機器人獲取基礎數(shù)字地圖。
本步驟主要是為步驟S2提高數(shù)據(jù)采集質量和效率奠定基礎。目前，機器人獲取基礎數(shù)字地圖的方法很多，包括使用自身安裝的地圖測繪傳感器自主構建該基礎數(shù)字地圖、還可以通過上位機下發(fā)、資源共享等方式獲得該基礎數(shù)字地圖。其中，由于現(xiàn)有技術已經(jīng)有多種市售的地圖測繪傳感器供機器人選用，如激光雷達、雙目深度攝像頭、結構光測繪系統(tǒng)、超聲波雷達等，因此現(xiàn)有機器人已經(jīng)具備對房屋內部自主測繪構建基礎數(shù)字地圖的能力，所以對于已經(jīng)安裝了這些現(xiàn)有地圖測繪傳感器的機器人，只要該機器人開機后就可以開始自動掃描周邊環(huán)境構建基礎數(shù)字地圖。如果機器人是可以移動行駛的，可令其在整套房間內行駛一遍，其自身的地圖測繪傳感器就可以自動構建出整套房間的基礎數(shù)字地圖。當然，機器人還可以通過控制中心或其它上位機下發(fā)等渠道獲得該基礎數(shù)字地圖或通過互聯(lián)網(wǎng)及機器人群組資源共享獲得，這些現(xiàn)有技術很多不再一一列舉額。獲得該基礎數(shù)字地圖后，機器人可以規(guī)劃最優(yōu)數(shù)據(jù)采集行駛路線和最優(yōu)數(shù)據(jù)采集方向等，為下一步高效率地獲取最優(yōu)質數(shù)據(jù)奠定基礎。該步驟S1可以一次完成，也可以在使用過程中隨機器人所到之處逐漸完善直至覆蓋整套房間。如果將該方法用在取物機械手上，則該步驟S1獲取的就是該機械手工作環(huán)境的基礎數(shù)字地圖，道理相同。
步驟S2、機器人通過自身安裝的圖像拍攝裝置拍攝當前區(qū)域實景圖像，并同步采集當前區(qū)域的區(qū)域數(shù)字地圖，該實景圖像覆蓋的范圍與同步采集的區(qū)域數(shù)字地圖覆蓋的范圍至少部分重疊。
該步驟是為了采集所轄區(qū)域的實景圖像和對應的區(qū)域數(shù)字地圖。此步驟S2既可以與步驟S1分步執(zhí)行、也可以嵌入步驟S1中混合運行。其中步驟S2與步驟S1分步執(zhí)行的方法是：在步驟S1完成后，重新由本機器人按照步驟S1的基礎數(shù)字地圖對所轄區(qū)域再進行一次數(shù)據(jù)采集行駛，在行駛路徑的節(jié)點處利用自身安裝的圖像拍攝裝置拍攝實景圖像、同時利用自身安裝的地圖測繪傳感器同步掃描當前的區(qū)域數(shù)字地圖，該實景圖像與同步采集的區(qū)域數(shù)字地圖二者覆蓋區(qū)域至少部分重疊。當然該圖像拍攝裝置可以是普通的照相機、攝像機等，也可以是360度全景圖像拍攝裝置，當本機器人使用360度全景圖像拍攝裝置與360度地圖測繪傳感器的組合模式采集數(shù)據(jù)時，獲取的實景圖像的覆蓋范圍與區(qū)域數(shù)字地圖均為360度全景當然也就自動實現(xiàn)了完全重疊，這將顯著降低步驟S3等后續(xù)步驟的數(shù)據(jù)處理難度、顯著提高人機交互體驗。
步驟S2嵌入步驟S1運行的方法是：在本機器人執(zhí)行步驟S1的基礎數(shù)字地圖構建任務過程中，在步驟S1的每個路徑節(jié)點都嵌入步驟S2的實景圖像和區(qū)域數(shù)字地圖采集工序，不必等步驟S1的基礎數(shù)字地圖全部完成再開始步驟S2，這樣嵌入執(zhí)行的優(yōu)點是避免了二次行駛、缺點是由于沒有現(xiàn)成的基礎數(shù)字地圖導致無法優(yōu)化步驟S2的采集路徑，例如機器人在對多房間環(huán)境反復進行試探行駛的過程中會產(chǎn)生很多的重復路徑，由此導致嵌入執(zhí)行的步驟S2會產(chǎn)生較多價值不大的區(qū)域數(shù)字地圖和實景圖像數(shù)據(jù)，會增加嵌入式計算機數(shù)據(jù)處理的難度也增加了軟硬件成本，并且后期需要人工手動來刪除那些無用的節(jié)點數(shù)據(jù)，給用戶也增加了額外工作量，如果不手工刪除則會影響用戶使用體驗；反觀步驟S1與步驟S2分步執(zhí)行的方式，如果機器人已經(jīng)完成步驟S1，則步驟S2就可以在基礎數(shù)字地圖中提前規(guī)劃最優(yōu)數(shù)據(jù)采集行駛路徑，自然也就沒有重復路徑導致無用數(shù)據(jù)太多的問題了，使采集到的區(qū)域數(shù)字地圖和對應的實景圖像的數(shù)據(jù)質量和可用性大幅度高、數(shù)據(jù)量大幅度減少，不再需要用戶去做手工刪除工作了。可見步驟S1與步驟S2分步實施的數(shù)據(jù)采集質量最好、但步驟S2嵌入步驟S1中混合運行會使工作流程更簡單，因此本領域技術人員可以根據(jù)產(chǎn)品實際工作環(huán)境自主選擇即可。如果本方法用在取物機械手產(chǎn)品中，則本步驟S2在取物機械手移動時也同理工作。
對于那些自身沒有安裝地圖測繪傳感器的機器人實現(xiàn)步驟2的方法是這樣的：此類機器人一般是通過控制中心的上位機下發(fā)獲得基礎數(shù)字地圖或者通過其他資源共享方式獲得，并通過UWB無線電定位、視覺定位、藍牙定位等定位技術獲取當前位置的定位數(shù)據(jù)。這樣就可以借助這個當前定位數(shù)據(jù)將上位機下發(fā)或資源共享的基礎數(shù)字地圖進行局部截取作為步驟S2需要采集的區(qū)域數(shù)字地圖，并同步拍攝當前位置的實景圖像，同樣可以實現(xiàn)步驟S2的目的，同樣屬于步驟S2的描述范圍。
步驟S3、由計算機截取該區(qū)域數(shù)字地圖與同步拍攝的實景圖像二者視場重疊的部分，并使此二者相互匹配。
該步驟是為下一步生成實景定位圖像所做的預處理。其中，使區(qū)域數(shù)字地圖與實景圖像匹配涉及多個項目包括：視角匹配、視場匹配和鏡頭畸變匹配等等很多。視場匹配是由于一般機器人采用的激光雷達等類型的地圖測繪傳感器都具有較大的水平視場一般在180-360度，但是機器人采用的圖像拍攝裝置由于成本限制一般水平視場只有90-120度，因此需要進行截取才可以使此二者視場覆蓋區(qū)域重疊部分相互吻合，一般都是以圖像拍攝裝置的視場范圍為截取基準，當然也可以根據(jù)具體需要靈活掌握。該步驟S3涉及的計算機截圖和數(shù)據(jù)處理等技術都是計算機圖形學領域很常見的現(xiàn)有技術，只需要根據(jù)機器人自身圖像拍攝裝置的鏡頭參數(shù)和地圖測繪傳感器的視場參數(shù)截取即可，本領域技術人員均可實施這里不再贅述。另外還需要進行視角匹配，由于地圖測繪傳感器一般安裝于較低位置、圖像拍攝裝置一般安裝位置較高，因此二者視角可能差異較大，影響位置數(shù)據(jù)交互的精度和使用效果，所以還可能需要將區(qū)域數(shù)字地圖進行視角變換，使之與同步拍攝的實景圖像視角一致或符合位置公差設計要求即可。計算機視角變換算法屬于計算機圖形學三維變換中最基本的基礎知識，屬公知技術，在此不再贅述。某些機器人自身安裝的圖像拍攝裝置由于采用的是特殊的機器視覺、全景視覺等設備，例如微軟Kinect雙目攝像頭傳感器、英特爾RealSense 3D攝像頭傳感器、bumblebee2雙目視覺系統(tǒng)、結構光測繪系統(tǒng)、360度全景圖像拍攝裝置匹配360度地圖測繪傳感器的組合方案等，它們可以在自身設備內部直接自動完成實景圖像拍攝、區(qū)域數(shù)字地圖測繪、視角視場匹配等一系列工作，因此這時完全等效于自動執(zhí)行了步驟S2和步驟S3。另外，在實際的產(chǎn)品設計中，根據(jù)拍攝鏡頭參數(shù)的不同，還有可能需要進行鏡頭畸變匹配，這是因為光學鏡頭都會有或多或少的光學畸變，導致實景圖像會產(chǎn)生多種幾何失真，無法與區(qū)域數(shù)字地圖準確匹配，因此如果機器人產(chǎn)品對位置交互精度要求較高，就需要對實景圖像進行鏡頭畸變修復或對區(qū)域數(shù)字地圖的數(shù)據(jù)進行適應性調整滿足設計精度要求即可。總之，由于不同硬件設備的差異因素太多，實景圖像和區(qū)域數(shù)字地圖匹配還可能涉及很多上述未述及項目，實際產(chǎn)品設計中需針對具體情況進行具體匹配調節(jié)，使之達到設計精度要求即可。
步驟S4、由計算機把匹配好的區(qū)域數(shù)字地圖與實景圖像合成為帶有地圖位置數(shù)據(jù)的實景定位圖像并存儲于數(shù)據(jù)庫中。
該步驟的目的是生成實景定位圖像及存儲。當機器人行駛或取物機械手移動過程中采集的數(shù)據(jù)經(jīng)步驟S3處理生成相互匹配的實景圖像和區(qū)域數(shù)字地圖后，就需要對相互匹配的實景圖像和區(qū)域數(shù)字地圖進行計算機圖像合成處理，使實景圖像中的每個位置點都與區(qū)域數(shù)字地圖的地圖數(shù)據(jù)建立一對一的映射關系，這樣就生成了以實景圖像作為場景并帶有地圖數(shù)據(jù)的實景定位圖像；當然該實景定位圖像中的地圖數(shù)據(jù)一般是不可見的，但也可以用經(jīng)緯線、網(wǎng)格線等數(shù)據(jù)可視化的形式鑲嵌到場景圖像中。該實景定位圖像的處理過程可以在本地計算機上也可以在互聯(lián)網(wǎng)服務器上進行。制作這種實景定位圖像的程序屬于計算機地理信息技術領域很普通的圖層處理知識，本領域普通技術人員均可熟練掌握不再贅述。經(jīng)過計算機處理生成的所有實景定位圖像都需要保存到數(shù)據(jù)庫中以備隨時調用。該數(shù)據(jù)庫可以放在本地，也可以放在互聯(lián)網(wǎng)服務器上，顯然互聯(lián)網(wǎng)服務器上的數(shù)據(jù)庫可以更方便的與其他用戶實現(xiàn)資源共享。
如果要獲得整套房間完整的實景定位圖像數(shù)據(jù)庫。本機器人需要在所有房間完整行駛一遍，在此行駛過程中機器人會不斷重復步驟S1至步驟S4，整個走完所房間后完整數(shù)據(jù)庫就搭建好了。當然該過程可以一次完成也可以在使用過程中分步實施、逐步完成，還可以通過資源共享將已有的現(xiàn)成實景定位圖像數(shù)據(jù)資源直接拿來用，這些都視為已經(jīng)實施了本步驟。
步驟S5、將數(shù)據(jù)庫中的實景定位圖像顯示在屏幕上，用戶直接點擊實景定位圖像上的某一點，計算機解析出該點的地圖數(shù)據(jù)，同理也可以將機器人位置和移動軌跡數(shù)據(jù)顯示到實景定位圖像上的對應位置點供用戶查看，從而實現(xiàn)地圖數(shù)據(jù)的人機交互。
該步驟的目的是以機器人視角進行地圖數(shù)據(jù)人機交互。當用戶要對機器人輸入位置信息的時候，數(shù)據(jù)庫中各房間的實景定位圖像可以均布顯示在屏幕上，也可以按自身地理信息位置數(shù)據(jù)分別鑲嵌到整套房間的基礎數(shù)字地圖的對應位置處，當然還可以按照其他規(guī)律排列顯示。用戶可以在屏幕上直接找到包含所需位置的那副實景定位圖像，并點擊該實景定位圖像中具體的位置點，計算機系統(tǒng)就可以利用該實景定位圖像的地圖數(shù)據(jù)解析出點擊位置的地圖參數(shù)并傳輸給機器人，這樣普通人就可以輕松地對機器人輸入任何房間內具體一點的地圖數(shù)據(jù)了。機器人收到這個目的地位置數(shù)據(jù)后會駛往指定房間的具體指定位置，在行駛過程中機器人的當前位置數(shù)據(jù)也可以用圖標、軌跡描點等常見的數(shù)據(jù)可視化形式顯示到有對應地圖數(shù)據(jù)的那副實景定位圖像中，這樣就實現(xiàn)了機器人當前位置的實景反饋，該反饋方式同樣采用了普通人很容易看懂的實景圖像形式，一般人都可以看懂。顯示該實景定位圖像的屏幕可以是機器人本身的屏幕，也可以是用互聯(lián)網(wǎng)、局域網(wǎng)等信息網(wǎng)絡連接的移動設備屏幕及服務器端屏幕、電腦終端設備屏幕等均可。本以機器人視角圖像進行地圖數(shù)據(jù)人機交互的方法是一個全實景化，并且不依賴外部技術設備支持即可實施地圖數(shù)據(jù)人機交互，是人類最容易理解和使用的地圖數(shù)據(jù)交互方式，十分適合沒有機器人和數(shù)字地圖專業(yè)知識的普通人進行多房間復雜環(huán)境下的機器人位置信息交互領域，也可以用于普通人指揮取物機械手等場合。
以上僅為本發(fā)明的較佳實施例及所運用技術原理，其描述較為具體和詳細，但并不能因此理解為對本發(fā)明專利范圍的限制，顯然本方法不僅適用于多房間室內機器人和取物機械手等，也適用于其它具有類似地圖數(shù)據(jù)人機交互需求的領域。因此，對于本領域的普通技術人員來說，在不脫離本發(fā)明構思的前提下，還可以做出更多變形及改進等，這些都屬于本發(fā)明的保護范圍。