本實(shí)用新型涉及人機(jī)交互技術(shù)領(lǐng)域。具體地涉及一種可遠(yuǎn)程交互機(jī)器人系統(tǒng)。

背景技術(shù)：

隨著社會(huì)生活節(jié)奏加快，人們經(jīng)常會(huì)出現(xiàn)分身乏術(shù)的尷尬境況，例如需要去遠(yuǎn)處參加會(huì)議而又沒法錯(cuò)開時(shí)間；再例如需要遠(yuǎn)程示教的場(chǎng)合。面對(duì)這些需求，人們渴望有一種可實(shí)現(xiàn)遠(yuǎn)程交互系統(tǒng)或者方法使人可以在同一時(shí)間分身到不同地方。目前，利用聊天工具的視頻功能也可以基本滿足這樣要求，但有明顯不足：獲得的是平面信息而不是立體圖像信息，收到對(duì)方反饋信息不足，因而導(dǎo)致交互的生動(dòng)性很差，不能達(dá)到高質(zhì)量的交互效果。而隨著機(jī)器人交互技術(shù)與虛擬現(xiàn)實(shí)技術(shù)（如全息投影技術(shù)、體三維顯示技術(shù)）的興起，為實(shí)現(xiàn)可遠(yuǎn)程交互機(jī)器人系統(tǒng)提供了新思路。若將兩者有效的結(jié)合起來(lái)，可充分發(fā)揮各自的技術(shù)優(yōu)勢(shì)，以實(shí)現(xiàn)高質(zhì)量的遠(yuǎn)程交互效果。

目前，與遠(yuǎn)程交互相關(guān)的專利主要有：

1.中國(guó)公開專利號(hào)：CN104898652A，名稱：與一個(gè)可移動(dòng)的遠(yuǎn)程機(jī)器人相互交流。該發(fā)明的優(yōu)點(diǎn)是可以使用戶遠(yuǎn)程采集到現(xiàn)場(chǎng)相關(guān)的信息，可以使得用戶與外界交流，并且它的上肢也可以做出一定的動(dòng)作，但該設(shè)備的系統(tǒng)非常復(fù)雜，并且不能很好地展現(xiàn)操作者的場(chǎng)景信息，導(dǎo)致交互體驗(yàn)敢和臨場(chǎng)感比較差。

2. 中國(guó)公開專利號(hào)：CN101049017A，名稱：公司環(huán)境中的遠(yuǎn)程機(jī)器人視頻會(huì)議。該發(fā)明提供了一種企業(yè)到企業(yè)的移動(dòng)電話會(huì)議系統(tǒng)，該系統(tǒng)運(yùn)用一個(gè)可以從遠(yuǎn)程站遠(yuǎn)程操作控制的移動(dòng)機(jī)器人，使得使用者和位于機(jī)器人視線附近的人員之間進(jìn)行電話會(huì)議。但該發(fā)明不能有效反饋現(xiàn)場(chǎng)的受眾信息，從而這種交流大多數(shù)是單向的，不能算是真正的交互，并且用顯示器再現(xiàn)用戶的場(chǎng)景信息，使得這種方法不夠生動(dòng)形象。

3. 中國(guó)公開專利號(hào)：CN101977240A，名稱：基于iPhone智能手機(jī)的機(jī)器人人機(jī)交互系統(tǒng)。該發(fā)明創(chuàng)新地將智能手機(jī)硬件資源和先進(jìn)的交互技術(shù)與機(jī)器人技術(shù)進(jìn)行結(jié)合，實(shí)現(xiàn)的高易用性人機(jī)接口。優(yōu)點(diǎn)是構(gòu)建了具有實(shí)時(shí)網(wǎng)絡(luò)視頻反饋的遠(yuǎn)程機(jī)器人控制平臺(tái)，使得系統(tǒng)通用便攜、控制靈活。但該發(fā)明過于注重對(duì)移動(dòng)端的控制方法，沒有注重用戶與遠(yuǎn)端觀眾的相互交流，因而限制了其可利用的范圍。

技術(shù)實(shí)現(xiàn)要素：

本用新型提供了一種可遠(yuǎn)程交互機(jī)器人系統(tǒng)及方法，該系統(tǒng)由一個(gè)近端控制子系統(tǒng)與至少一個(gè)遠(yuǎn)端移動(dòng)機(jī)器人子系統(tǒng)組成。近端控制子系統(tǒng)包括圖像發(fā)送、接收模塊，聲音發(fā)送、接受模塊，機(jī)器人遙操作控制模塊。遠(yuǎn)端移動(dòng)機(jī)器人子系統(tǒng)包括移動(dòng)機(jī)器人平臺(tái)，圖像接收、三維再現(xiàn)模塊，聲音接收、再現(xiàn)模塊，至少一個(gè)圖像采集模塊，至少一個(gè)聲音采集模塊。結(jié)構(gòu)示意圖如附圖1所示。

近端控制子系統(tǒng)與遠(yuǎn)端移動(dòng)機(jī)器人子系統(tǒng)可實(shí)時(shí)通訊，近端控制子系統(tǒng)通過圖像、聲音發(fā)送模塊可同時(shí)向至少遠(yuǎn)端移動(dòng)機(jī)器人子系統(tǒng)發(fā)送圖像、聲音信息，遠(yuǎn)端移動(dòng)機(jī)器人子系統(tǒng)通過圖像、聲音接收模塊接收?qǐng)D像、聲音信息。圖像與聲音信息可同步或者不同步。圖像與聲音的采集和傳輸可在線或者離線。通訊示意圖如附圖2所示。

遠(yuǎn)端移動(dòng)機(jī)器人子系統(tǒng)通過圖像、聲音采集模塊采集現(xiàn)在圖像、聲音信息，并反饋到近端控制子系統(tǒng)，由其圖像、聲音接收模塊接收。圖像與聲音信息可同步或者不同步。圖像與聲音的采集和傳輸可在線或者離線。通訊示意圖如附圖2所示。

近端控制子系統(tǒng)可通過機(jī)器人遙操作控制模塊同時(shí)對(duì)至少一個(gè)遠(yuǎn)端的移動(dòng)機(jī)器人進(jìn)行控制，控制內(nèi)容一般包括機(jī)器人開啟、休眠與關(guān)機(jī)控制機(jī)器人移動(dòng)，調(diào)整機(jī)器人的視角，例如當(dāng)現(xiàn)場(chǎng)觀眾要與遠(yuǎn)端機(jī)器人對(duì)話時(shí)，需控制機(jī)器人的面向角度以及與該觀眾的距離，以提高交互的真實(shí)感。

圖像接收、三維再現(xiàn)模塊有三種實(shí)現(xiàn)方式：全息投影顯示、體三維顯示與幕布投影顯示。其中，利用全息投影實(shí)現(xiàn)時(shí)，圖像三維再現(xiàn)模塊固定于遠(yuǎn)端移動(dòng)機(jī)器人平臺(tái)（3-1）上，可將接收的原始三維物體的序列圖像立體地再現(xiàn)出來(lái)。圖像接收、三維再現(xiàn)模塊可用但不限于全息三維投影實(shí)現(xiàn)。全息三維投影包含光源（3-2），光電再現(xiàn)模塊（3-3），全息圖像承接介質(zhì)（3-4），三者同一平面放置，再現(xiàn)圖像（3-5）由全息圖像承接介質(zhì)（3-4）承接。三維再現(xiàn)模塊與移動(dòng)機(jī)器人平臺(tái)放置方式之一如附圖3所示。三維再現(xiàn)模塊與移動(dòng)機(jī)器人平臺(tái)放置方式之二如附圖4所示。全息三維投影光源（4-2）垂直放置在移動(dòng)機(jī)器人平臺(tái)（4-1）上，光電再現(xiàn)模塊（4-3）與全息圖像承接介質(zhì)（4-4）放置在光源上方的支撐板上，形成上下結(jié)構(gòu)，再現(xiàn)圖像（4-5）由全息圖像承接介質(zhì)（4-4）承接。

利用體三維顯示實(shí)現(xiàn)時(shí)，圖像接收、三維再現(xiàn)模塊固定于遠(yuǎn)端移動(dòng)機(jī)器人平臺(tái)上。二者放置方式有兩種：其一為體三維顯示模塊（由基板（5-2）、支撐架（5-3）、投影屏（5-4），立體顯示容器（5-5），再現(xiàn)圖像（5-6）組成）相對(duì)于機(jī)器人移動(dòng)平臺(tái)（5-1）正立放置；其二為體三維顯示模塊（由基板（6-2）、支撐架（6-3）、投影屏（6-4），立體顯示容器（6-5），再現(xiàn)圖像（6-6）組成）相對(duì)于移動(dòng)機(jī)器人平臺(tái)（6-1）到立放置。

利用幕布投影顯示，立體成像是通過高流明的投影儀實(shí)現(xiàn)，該系統(tǒng)框架由以下部分組成：幕布支撐框架（7-1）、投影儀（7-2）、移動(dòng)機(jī)器人平臺(tái)（7-3），其中幕布類型包括紗幕、霧幕，幕布類型不僅僅限制這兩類。其中，使用霧幕時(shí)，該系統(tǒng)需要增加霧蒸汽生產(chǎn)器，安裝在機(jī)器人移動(dòng)平臺(tái)上。

本用新型公開了一種可遠(yuǎn)程交互機(jī)器人系統(tǒng)及方法，該系統(tǒng)能夠?qū)崿F(xiàn)近端與一個(gè)或多個(gè)遠(yuǎn)端機(jī)器人系統(tǒng)進(jìn)行同時(shí)通訊，從而能夠達(dá)到人在同一時(shí)間而處不同地點(diǎn)的效果。一方面，近端可以操控遠(yuǎn)端的移動(dòng)機(jī)器人系統(tǒng)，以實(shí)現(xiàn)信息向現(xiàn)場(chǎng)觀眾傳遞；另一方面，又將現(xiàn)場(chǎng)采集的信息反饋回近端，從而實(shí)現(xiàn)與觀眾交互的效果。并且，用各種三維成像方式將近端在遠(yuǎn)端再現(xiàn)出來(lái)，增強(qiáng)了交互的生動(dòng)性和浸入感。本發(fā)明可以用在遠(yuǎn)程會(huì)議、教學(xué)、演講、娛樂等領(lǐng)域。

附圖說(shuō)明

圖1為本用新型的可遠(yuǎn)程交互機(jī)器人系統(tǒng)的結(jié)構(gòu)示意圖；

圖2為本用新型的近端與遠(yuǎn)端圖像、聲音通訊示意圖；

圖3 為利用全息投影實(shí)現(xiàn)圖像三維再現(xiàn)時(shí)，圖像接收、三維再現(xiàn)模塊與移動(dòng)機(jī)器人平臺(tái)第一種放置方式示意圖；

圖4為利用全息投影實(shí)現(xiàn)圖像三維再現(xiàn)時(shí)，圖像接收、三維再現(xiàn)模塊與移動(dòng)機(jī)器人平臺(tái)第二種放置方式示意圖；

圖5為利用體三維顯示實(shí)現(xiàn)圖像三維再現(xiàn)時(shí)，圖像接收、三維再現(xiàn)模塊與移動(dòng)機(jī)器人平臺(tái)第一種放置方式示意圖；

圖6為利用體三維顯示實(shí)現(xiàn)圖像三維再現(xiàn)時(shí)，圖像接收、三維再現(xiàn)模塊與移動(dòng)機(jī)器人平臺(tái)第二種放置方式示意圖；

圖7為利用幕布投影顯示實(shí)現(xiàn)圖像三維再現(xiàn)時(shí)，圖像接收、三維再現(xiàn)模塊與移動(dòng)機(jī)器人平臺(tái)放置方式示意圖。

其中：3-1為遠(yuǎn)端移動(dòng)機(jī)器人平臺(tái)，3-2為光源，3-3為光電再現(xiàn)模塊，

3-4為全息圖像承接介質(zhì)，3-5為再現(xiàn)圖像，4-1為移動(dòng)機(jī)器人平臺(tái)，4-2為全息三維投影光源，4-3為光電再現(xiàn)模塊，4-4為全息圖像承接介質(zhì)，4-5為再現(xiàn)圖像，5-1為移動(dòng)機(jī)器人平臺(tái)，5-2為基板，5-3為支撐架，5-4為投影屏，5-5為立體顯示容器，5-6為再現(xiàn)圖像，6-1為移動(dòng)機(jī)器人平臺(tái)，6-2為基板，6-3為支撐架，6-4為投影屏，6-5為立體顯示容器，6-6為再現(xiàn)圖像，7-1為幕布支撐框架，7-2為投影儀，7-3為移動(dòng)機(jī)器人平臺(tái)。

具體實(shí)施方式

為了使本用新型的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合附圖對(duì)本用新型作進(jìn)一步地較為詳細(xì)描述，顯然，所描述的實(shí)施例僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒居眯滦椭械膶?shí)施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其它實(shí)施例，都屬于本用新型保護(hù)的范圍。

如附圖1所示，本系統(tǒng)由一個(gè)近端控制子系統(tǒng)與至少一個(gè)遠(yuǎn)端移動(dòng)機(jī)器人子系統(tǒng)組成。近端控制子系統(tǒng)包括圖像發(fā)送、接收模塊，聲音發(fā)送、接收模塊，機(jī)器人遙操作控制模塊。遠(yuǎn)端移動(dòng)機(jī)器人子系統(tǒng)包括移動(dòng)機(jī)器人平臺(tái)，圖像接收、三維再現(xiàn)模塊，聲音接收、再現(xiàn)模塊，至少一個(gè)圖像采集模塊，至少一個(gè)聲音采集模塊。在實(shí)施中，一個(gè)遠(yuǎn)端移動(dòng)機(jī)器人子系統(tǒng)，圖像采集模塊與聲音采集模塊各有一個(gè)，三維圖像呈現(xiàn)模塊和聲音播放模塊各一個(gè)。

如附圖2所示，近端控制子系統(tǒng)與遠(yuǎn)端移動(dòng)機(jī)器人子系統(tǒng)可實(shí)時(shí)通訊，近端控制子系統(tǒng)通過圖像、聲音發(fā)送模塊可同時(shí)向遠(yuǎn)端移動(dòng)機(jī)器人子系統(tǒng)發(fā)送圖像、聲音信息，遠(yuǎn)端移動(dòng)機(jī)器人子系統(tǒng)通過圖像、聲音接收模塊接收?qǐng)D像、聲音信息。圖像與聲音信息可同步或者不同步，圖像與聲音的采集和傳輸可在線或者離線。遠(yuǎn)端移動(dòng)機(jī)器人子系統(tǒng)通過圖像、聲音采集模塊采集現(xiàn)在圖像、聲音信息，并反饋到近端控制子系統(tǒng)，由其圖像、聲音接收模塊接收。圖像與聲音信息可同步或者不同步，圖像與聲音的采集和傳輸可在線或者離線。本實(shí)施例中，圖像采集模塊是1個(gè)攝像機(jī)，聲音采集模塊是麥克風(fēng)。圖像與聲音信息可同步，圖像與聲音的采集和傳輸在線完成。圖像與聲音接收由計(jì)算機(jī)完成并做進(jìn)一步處理。

近端控制子系統(tǒng)可通過機(jī)器人遙操作控制模塊1個(gè)遠(yuǎn)端的移動(dòng)機(jī)器人進(jìn)行控制，主要控制機(jī)器人移動(dòng)，并調(diào)整機(jī)器人的視角等。如調(diào)整與現(xiàn)場(chǎng)觀眾的距離，調(diào)整角度使得觀眾獲得最佳觀看角度。

如附圖3所示，圖像接收、三維再現(xiàn)模塊固定于遠(yuǎn)端移動(dòng)機(jī)器人平臺(tái)（3-1）上，可將接收的原始三維物體的序列圖像立體地再現(xiàn)出來(lái)。圖像接收、三維再現(xiàn)模塊是全息三維投影裝置。全息三維投影包含光源（3-2），光電再現(xiàn)模塊（3-3），全息圖像承接介質(zhì)（3-4），三者同一平面放置。根據(jù)實(shí)際需要，所用的光源的波長(zhǎng)有633nm（紅光）、532nm（綠光）、473nm（藍(lán)光）等，光電再現(xiàn)模塊有透鏡和空間光調(diào)制器等。

整個(gè)系統(tǒng)及方法基本的工作流程為：在近端，把人的三維模型的圖像序列以及聲音信息發(fā)送到遠(yuǎn)端移動(dòng)機(jī)器人子系統(tǒng)，遠(yuǎn)端的計(jì)算機(jī)接收以后進(jìn)行處理，其中可通過全息圖計(jì)算方法（如傅里葉迭代算法）將序列圖像以此計(jì)算成全息圖，進(jìn)一步經(jīng)過全息再現(xiàn)投影系統(tǒng)時(shí)序地再現(xiàn)出來(lái)，通過音響等設(shè)備將聲音同步還原出來(lái)，這樣便達(dá)到了臨場(chǎng)效果，同時(shí)，遠(yuǎn)端的移動(dòng)機(jī)器人將現(xiàn)場(chǎng)的影像與聲音通過攝像機(jī)與麥克風(fēng)采集，濾波后傳輸回近端子系統(tǒng)，當(dāng)人收到反饋后，根據(jù)實(shí)際需要，向移動(dòng)機(jī)器人發(fā)出控制命令和響應(yīng)，如調(diào)整其角度，回答現(xiàn)場(chǎng)觀眾的提問等，整個(gè)實(shí)現(xiàn)流程是閉環(huán)的。如此，便可實(shí)現(xiàn)人與人之間在遠(yuǎn)端生動(dòng)的交互。

進(jìn)一步研究，改用體三維顯示方式實(shí)現(xiàn)圖像三維再現(xiàn)，如附圖5所示。將體三維顯示模塊（由基板（5-2）、支撐架（5-3）、投影屏（5-4），立體顯示容器（5-5），再現(xiàn)圖像（5-6）組成）相對(duì)于機(jī)器人移動(dòng)平臺(tái)（5-1）正立放置。其中，立體顯示容器（5-5）是四面體形的，有4塊表面貼有半反半透薄膜粘合而成，合理設(shè)置斜面與地面的角度，如45°。投影屏（5-4）是一個(gè)27英寸的普通顯示屏。此時(shí)的系統(tǒng)工作流程與上基本相同，不同的是在三維再現(xiàn)模塊，不需要進(jìn)行全息圖的計(jì)算，而直接根據(jù)近端采集的對(duì)象（人的頭部），既可以直接顯示出實(shí)際的人的頭部圖像，也在遠(yuǎn)端調(diào)用并顯示出其三維虛擬人頭模型的圖像，并保證虛擬人頭模型與實(shí)際人的頭部動(dòng)作（如點(diǎn)頭，擺頭，張口說(shuō)話等）相一致，并且保證聲音信息與圖像信息相協(xié)調(diào)。

為了實(shí)現(xiàn)更加逼真的人像效果，使用幕布投影技術(shù)，該系統(tǒng)由幕布支撐框架（7-1）、投影儀（7-2）、機(jī)器人移動(dòng)平臺(tái)（7-3），其中幕布是安裝在7-1中，幕布形狀與大小是根據(jù)實(shí)際人的大小定做。在近端采集圖像，不需要經(jīng)過圖像處理，直接發(fā)送到遠(yuǎn)端的電腦上，經(jīng)過投影儀將圖像投影到幕布中。在其他信號(hào)采集與交互方面，如聲音、控制命令，與上面兩種系統(tǒng)一致。

上述實(shí)施例為本用新型較佳的實(shí)施方式，但本用新型的實(shí)施方式并不受上述實(shí)施例的限制，其他的任何未背離本發(fā)明的精神實(shí)質(zhì)與原理下所作的改變、修飾、替代、組合、簡(jiǎn)化，均應(yīng)為等效的置換方式，都包含在本用新型的保護(hù)范圍之內(nèi)。