具有雙應(yīng)用屏幕呈示的遙控機(jī)器人系統(tǒng)的制作方法
【專利摘要】監(jiān)理系統(tǒng)包括耦合到遠(yuǎn)程站的通信裝置。遠(yuǎn)程站具有顯示涉及對對象造成影響的動作的第一信息并且同時顯示涉及對對象的影響的第二信息的視覺顯示器。遠(yuǎn)程站包括允許通過操作員向通信裝置傳送通信的至少一個輸入裝置。舉例來說，在心臟支架的部署期間，?？漆t(yī)生可遠(yuǎn)程觀察實(shí)時的熒光檢查成像和患者的血液動力學(xué)。專家可在用于安裝支架的適當(dāng)?shù)姆较蚝蜁r間選擇要求上遠(yuǎn)程監(jiān)理醫(yī)療人員。
【專利說明】具有雙應(yīng)用屏幕呈示的遙控機(jī)器人系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]公開的主題通常涉及監(jiān)理(proctoring)領(lǐng)域。
【背景技術(shù)】
[0002]機(jī)器人已經(jīng)被用于從危險材料的遠(yuǎn)程控制到幫助外科手術(shù)執(zhí)行的范圍中的多種應(yīng)用。例如，頒給Wang等人的美國專利編號5762458公開了通過機(jī)器人控制的儀器的使用允許外科醫(yī)生執(zhí)行微創(chuàng)的醫(yī)療過程的系統(tǒng)。Wang系統(tǒng)中的機(jī)器手臂中的一個移動具有照相機(jī)的內(nèi)診鏡。照相機(jī)允許外科醫(yī)生觀察患者的外科手術(shù)區(qū)域。
[0003]移動機(jī)器人已經(jīng)由本申請的受讓人InTouch科技公司在市場上銷售。InTouch機(jī)器人通過在遠(yuǎn)程站的用戶控制。遠(yuǎn)程站可以是允許用戶遠(yuǎn)程控制機(jī)器人移動的具有操縱桿的個人計算機(jī)。機(jī)器人和遠(yuǎn)程站都具有允許遠(yuǎn)程站操作員和機(jī)器人站點(diǎn)人員之間的雙向視頻/音頻通信的照相機(jī)、監(jiān)視器、揚(yáng)聲器和麥克風(fēng)。
[0004]InTouch系統(tǒng)已經(jīng)被用于遠(yuǎn)程援助和培訓(xùn)醫(yī)療人員。例如，在一個位置的醫(yī)療專家可以觀察在遠(yuǎn)程位置的患者并且對在患者站點(diǎn)的醫(yī)療人員提供監(jiān)理。期望增強(qiáng)InTouch系統(tǒng)的監(jiān)理能力。
【專利附圖】

【附圖說明】
[0005]圖1是機(jī)器人系統(tǒng)的圖示；
[0006]圖2是機(jī)器人的電氣系統(tǒng)的示意圖；以及
[0007]圖3是具有第一屏幕域和第二屏幕域的遠(yuǎn)程站的顯示器用戶界面。
【具體實(shí)施方式】
[0008]公開的是包括耦合到遠(yuǎn)程站的通信裝置的監(jiān)理系統(tǒng)。遠(yuǎn)程站具有顯示涉及對對象造成影響的動作的第一信息并同時地顯示涉及對對象的影響的第二信息的視覺顯示器。遠(yuǎn)程站包括允許通過操作員向通信裝置傳送通信的至少一個輸入裝置。舉例來說，在心臟支架的部署期間，?？漆t(yī)生可以遠(yuǎn)程地觀察實(shí)時的熒光檢查成像和患者的血液動力學(xué)。專家可以在用于安裝支架的適當(dāng)?shù)姆较蚝蜁r間選擇的要求上遠(yuǎn)程監(jiān)理醫(yī)療人員。熒光檢查成像顯示正被插入跳動的心臟的支架圖像。支架將造成對心臟的影響，例如心跳的變化。血液動力學(xué)提供關(guān)于跳動的心臟的數(shù)據(jù)，即支架的影響?；颊哐簞恿W(xué)和熒光檢查成像的同時顯示為專家提供了實(shí)時數(shù)據(jù)，使得他們可以發(fā)出例如“現(xiàn)在部署”的命令以便插入支架。備選地，監(jiān)理的專家將與在手術(shù)中的外科醫(yī)生交談以便商量正在被接收的血液動力學(xué)信息的模式并且通過此信息建議“如我們可以觀察到的，這是植入部署的理想時間選擇”。
[0009]通過參考標(biāo)號更具體地參考附圖，圖1示出系統(tǒng)10。機(jī)器人系統(tǒng)包括機(jī)器人12、基站14和遠(yuǎn)程控制站16。遠(yuǎn)程控制站16可通過網(wǎng)絡(luò)18耦合到基站14。舉例來說，網(wǎng)絡(luò)18可以是例如因特網(wǎng)的分組交換網(wǎng)絡(luò)，或例如公共交換電話網(wǎng)絡(luò)(PSTN)的電路交換網(wǎng)絡(luò)或其他寬帶系統(tǒng)?；?4可通過調(diào)制解調(diào)器20或其他寬帶網(wǎng)絡(luò)接口裝置耦合到網(wǎng)絡(luò)18。舉例來說，基站14可以是無線路由器。備選地，機(jī)器人12可通過例如衛(wèi)星具有到網(wǎng)絡(luò)的直接連接。
[0010]遠(yuǎn)程控制站16可包括具有監(jiān)視器24、照相機(jī)26、麥克風(fēng)28和揚(yáng)聲器30的計算機(jī)
22。計算機(jī)22還可包括例如操縱桿或鼠標(biāo)的輸入裝置32?？刂普?6通常位于遠(yuǎn)離機(jī)器人12的位置。雖然只示出了一個遠(yuǎn)程控制站16，但是系統(tǒng)10可包括多個遠(yuǎn)程站。通常，任何數(shù)量的機(jī)器人12可通過任何數(shù)量的遠(yuǎn)程站16或其他機(jī)器人12控制。例如，一個遠(yuǎn)程站16可耦合到多個機(jī)器人12，或一個機(jī)器人12可耦合到多個遠(yuǎn)程站16或多個機(jī)器人12。
[0011]每個機(jī)器人12包括被附于機(jī)器人外殼36的移動平臺34。照相機(jī)38、監(jiān)視器40、麥克風(fēng)42和揚(yáng)聲器44也被附于機(jī)器人外殼36。麥克風(fēng)42和揚(yáng)聲器30可產(chǎn)生立體聲。機(jī)器人12還可具有被無線耦合到基站14的天線48的天線46。系統(tǒng)10允許在遠(yuǎn)程控制站16的用戶通過輸入裝置32的操作移動機(jī)器人12。機(jī)器人照相機(jī)38耦合到遠(yuǎn)程監(jiān)視器24使得在遠(yuǎn)程站16的用戶可以觀察患者。同樣地，機(jī)器人監(jiān)視器40耦合到遠(yuǎn)程照相機(jī)26使得患者可以觀察用戶。麥克風(fēng)28和42以及揚(yáng)聲器30和44考慮到患者和用戶之間的可聽通信。
[0012]遠(yuǎn)程站計算機(jī)22可操作微軟操作系統(tǒng)軟件和WINDOWS XP或例如LINUX的其他操作系統(tǒng)。遠(yuǎn)程計算機(jī)22還可操作視頻驅(qū)動器、照相機(jī)驅(qū)動器、音頻驅(qū)動器和操縱桿驅(qū)動器?？梢杂美鏜PEG CODEC的壓縮軟件傳送和接收視頻圖像。
[0013]機(jī)器人12可耦合到一個或多個醫(yī)療監(jiān)視裝置50。醫(yī)療監(jiān)視裝置50可以從患者處采集醫(yī)療數(shù)據(jù)。舉例來說，醫(yī)療監(jiān)視裝置50可以是聽診器、脈搏血氧儀和/或EKG監(jiān)視器。醫(yī)療監(jiān)視裝置50可包括向機(jī)器人12傳送患者數(shù)據(jù)的無線傳送器52。無線傳送的數(shù)據(jù)可以通過天線46或獨(dú)立天線(未示出)接收。然后，機(jī)器人12可傳送數(shù)據(jù)至遠(yuǎn)程站16。醫(yī)療裝置50可包括可以產(chǎn)生熒光檢查圖像的熒光檢查器。此外，醫(yī)療裝置可產(chǎn)生例如心率的患者血液動力學(xué)數(shù)據(jù)。
[0014]來自醫(yī)療監(jiān)視裝置50的無線傳送可符合例如IEEE的多種無線標(biāo)準(zhǔn)。用于傳送來自醫(yī)療監(jiān)視裝置50的數(shù)據(jù)的標(biāo)準(zhǔn)不應(yīng)該干擾機(jī)器人12和基站14之間的無線通信。雖然示出和描述了無線傳送，可以理解醫(yī)療監(jiān)視裝置50可以通過電線(未示出)耦合到機(jī)器人12。
[0015]當(dāng)傳送熒光檢查成像和患者血液動力學(xué)時，系統(tǒng)可以將血液動力學(xué)數(shù)據(jù)與熒光檢查成像的幀結(jié)合成被傳送至遠(yuǎn)程站用于分屏顯示的雙寬度幀。兩個幀的縫合將在壓縮之前發(fā)生，使得壓縮算法(例如MPEG-4)能夠利用可以發(fā)生在兩個幀之間的冗余信息。與分別壓縮和傳輸?shù)膬蓚€流相比，這將潛在地導(dǎo)致同等的質(zhì)量和更低的帶寬。備選地，熒光檢查成像和血液動力學(xué)可以通過去耦的方式被傳送并且然后通過例如在傳送前被插入到信息中的時間戳的時間選擇信息來結(jié)合。
[0016]遠(yuǎn)程站16可通過網(wǎng)絡(luò)18耦合到服務(wù)器54。服務(wù)器54可包括患者的電子醫(yī)療記錄。舉例來說，電子醫(yī)療記錄可包括治療、病歷、藥物治療信息、例如e_ray、MRI或CT掃描、EKG的醫(yī)療圖像、實(shí)驗(yàn)結(jié)果、醫(yī)師筆記等的書面記錄。醫(yī)療記錄可從服務(wù)器54檢索并且通過遠(yuǎn)程站16的監(jiān)視器24顯示。替代地，或者另外地，醫(yī)療記錄可以被存儲在移動機(jī)器人12中。遠(yuǎn)程站16可允許醫(yī)師修改記錄并且然后將修改的記錄存儲回服務(wù)器54和/或機(jī)器人12中。[0017]圖2示出機(jī)器人12的實(shí)施例。每個機(jī)器人12包括高等級控制系統(tǒng)60和低等級控制系統(tǒng)62。高等級控制系統(tǒng)60可包括連接至總線66的處理器64?？偩€通過輸入/輸出(I/O)端口 68耦合到照相機(jī)38，并且通過串行輸出端口 70和VGA驅(qū)動器72耦合到監(jiān)視器40。監(jiān)視器40可包括允許患者通過觸摸監(jiān)視器屏幕鍵入輸入的觸摸屏功能。
[0018]揚(yáng)聲器44通過數(shù)字模擬轉(zhuǎn)換器74耦合到總線66。麥克風(fēng)42通過模擬數(shù)字轉(zhuǎn)換器76耦合到總線66。高等級控制器60還可包括都耦合到總線72的隨機(jī)存取存儲器(RAM)裝置78、非易失性RAM裝置80和大容量存儲裝置82。大容量存儲裝置82可包括可以通過在遠(yuǎn)程控制站16的用戶訪問的患者醫(yī)療檔案。例如，大容量存儲裝置82可包括患者的照片。用戶，尤其是健康護(hù)理提供商，可取回舊照片并且在監(jiān)視器24上與通過照相機(jī)38提供的患者的當(dāng)前視頻圖像做并排比較。機(jī)器人天線46可耦合到無線收發(fā)器84。舉例來說，無線收發(fā)器84可根據(jù)IEEE802.1lb的信息傳送和接收。收發(fā)器84還可根據(jù)IEEE (也被稱為藍(lán)牙)來處理來自醫(yī)療監(jiān)視裝置的信號。機(jī)器人可具有獨(dú)立的天線以便接收來自醫(yī)療監(jiān)視裝置的無線信號。
[0019]控制器64可用LINUX OS操作系統(tǒng)操作?？刂破?4還可操作MS WINDOWS以及視頻、照相機(jī)和音頻驅(qū)動器用于與遠(yuǎn)程控制站16的通信?？墒褂肕PEG CODEC壓縮技術(shù)收發(fā)視頻信息。軟件可允許用戶向患者發(fā)送e-mail并且反之亦然，或允許患者訪問因特網(wǎng)。通常高等級控制器60操作以便控制機(jī)器人12和遠(yuǎn)程控制站16之間的通信。低等級控制器可以控制機(jī)器人12的移動。該系統(tǒng)可以與由加利福利亞州圣巴巴拉市的受讓人InTouch科技公司提供的名為RP-7的機(jī)器人系統(tǒng)相同或相似，其通過參考并入本文。
[0020]圖3示出遠(yuǎn)程站的視覺顯示器120。視覺顯示器120顯示第一屏幕域122和第二屏幕域124。兩個屏幕域可通過兩個不同的監(jiān)視器創(chuàng)建。備選地，兩個屏幕域也可通過一個監(jiān)視器顯示。第一和第二屏幕域122和124可以是由遠(yuǎn)程站16的計算機(jī)22存儲和操作的應(yīng)用程序的一部分。
[0021]第一屏幕域122可顯示涉及對對象造成影響的動作的第一信息。第二屏幕域124可同時顯示涉及對對象的影響的第二信息。舉例來說，系統(tǒng)可用于在醫(yī)療過程期間的監(jiān)理。第一屏幕域122可顯示示出支架正被插入穿過跳動心臟的大動脈的熒光檢查成像。第二屏幕域124可顯示患者血液動力學(xué)例如心率。支架在適當(dāng)?shù)奈恢貌⑶以谛奶哪承r序期間被插入是關(guān)鍵的。遠(yuǎn)程站的醫(yī)療專家可同時觀察支架的位置和血液動力學(xué)數(shù)據(jù)。這允許專家監(jiān)理位于患者位置的某人關(guān)于某個支架移動的時間選擇。監(jiān)理可通過從遠(yuǎn)程站傳送到機(jī)器人的視頻和/或音頻通信完成。盡管示出和描述了支架的插入，系統(tǒng)可在任何類型的過程中使用，例如血塊粉碎藥的部署。
[0022]視覺顯示器120可包括提供在兩個同步屏幕域122和124中顯示的信息的發(fā)送和接收之間的延遲的延遲指示器126。例如，圖3示出來自手術(shù)室的熒光檢查成像和血液動力學(xué)數(shù)據(jù)的發(fā)送與遠(yuǎn)程站的成像和數(shù)據(jù)的接收之間的92毫秒的延遲。備選地，延遲值可指示從手術(shù)室到遠(yuǎn)程站并且返回至手術(shù)室的往返延遲，因此表示手術(shù)室中圖像的捕獲和手術(shù)室中相關(guān)監(jiān)理指示的接收之間的時間。此延遲信息對于部署可以是關(guān)鍵的，因?yàn)檫h(yuǎn)程專家必須確定當(dāng)聲明例如“現(xiàn)在部署”的命令時，消息在適當(dāng)?shù)臅r刻而不是在之后的不適當(dāng)?shù)臅r間到達(dá)。視覺顯示器120還可包括提供當(dāng)延遲超過閾值時的指示的指示器128。圖4示出當(dāng)延遲低于閾值時顯示的“安全時間選擇”的指示。在一個實(shí)施例中，醫(yī)師可從下拉菜單(未示出）中選擇正被監(jiān)理的過程的類型，并且表示最大安全延遲以便提供時間選擇敏感指令的閾值將從通過過程類型索引的值的表設(shè)置。
[0023]系統(tǒng)允許操作者同時觀察涉及將影響對象的動作的信息以及涉及對對象的影響的信息。這允許操作者向?qū)ο蟮恼军c(diǎn)提供通信，例如醫(yī)生可監(jiān)理在外科病房站點(diǎn)的另一位醫(yī)生。
[0024]多種類型的過程可從這項(xiàng)技術(shù)中獲益。除上述的輸導(dǎo)管心臟瓣膜部署之外，該系統(tǒng)還可用于腦深部刺激（DBS)過程中?；颊叩念^顱為神經(jīng)外科作好準(zhǔn)備并且清醒，而外科醫(yī)生鉆穿顱骨并在大腦特定的目標(biāo)區(qū)域放置掃描/刺激探針。外科醫(yī)生同時讀取DBS監(jiān)視器記號（波形和數(shù)字）并且然后要求患者舉起手臂并且從100倒數(shù)。患者為這個任務(wù)努力。外科醫(yī)生可放大到大腦的目標(biāo)區(qū)域的刺激并要求患者重復(fù)這個任務(wù)直到患者可以更容易地執(zhí)行這個任務(wù)。在這個過程中，監(jiān)理的外科醫(yī)生必須同時看到：
[0025](a)患者頭部所在的床頭，包括執(zhí)行鉆孔和刺激的本地外科醫(yī)生；
[0026](b)涉及本地外科醫(yī)生正在做什么的DBS監(jiān)視器；以及可能地
[0027](c)手術(shù)視野的平面圖。
[0028]在使用中，當(dāng)接收請求監(jiān)理的呼叫時，醫(yī)師可以是在移動中的，并且可以在走向辦公室時利用例如iPad的移動裝置開始監(jiān)理會話。在移動顯示器上僅有用于熒光檢查成像的空間，其僅足夠在程序的起始段用于監(jiān)理。到達(dá)辦公室后，醫(yī)師可從可使用3G和/或802. 11連接的移動裝置斷開，并從以太網(wǎng)連接上的寬屏桌面系統(tǒng)重新連接。醫(yī)師現(xiàn)在可以具有熒光檢查和血液動力學(xué)的高分辨率視圖，并且可監(jiān)理最終的部署。這個轉(zhuǎn)變考慮到跨越兩個裝置的護(hù)理的連續(xù)性。備選地，當(dāng)仍通過移動裝置連接時，醫(yī)師可開始使用桌面系統(tǒng)，并且系統(tǒng)將實(shí)現(xiàn)無縫自動的從移動裝置的斷開以及到桌面系統(tǒng)的重連接。
[0029]雖然在附圖中描述和示出了某些示范性的實(shí)施例，將理解的是這樣的實(shí)施例僅僅是說明并且不限制本寬泛的發(fā)明，并且本發(fā)明不限于示出和描述的特定構(gòu)造和布置，因?yàn)楸绢I(lǐng)域普通技術(shù)人員可以想到多種其他的修改。
【權(quán)利要求】
1.一種監(jiān)理系統(tǒng)，包括: 通信裝置；以及 耦合到所述通信裝置的遠(yuǎn)程站，所述遠(yuǎn)程站具有視覺顯示器，其顯示涉及對對象造成影響的動作的第一信息并且同時顯示涉及對所述對象的所述影響的第二信息，所述遠(yuǎn)程站包括允許通過操作員向所述通信裝置傳送通信的至少一個輸入裝置。
2.權(quán)利要求1的系統(tǒng)，其中所述通信裝置包括監(jiān)視器和揚(yáng)聲器。
3.權(quán)利要求2的系統(tǒng)，其中所述通信裝置包括通過所述遠(yuǎn)程站控制的移動平臺。
4.權(quán)利要求1的系統(tǒng)，其中所述第一信息包括熒光檢查圖像并且所述第二信息包括至少一個血液動力學(xué)數(shù)據(jù)。
5.權(quán)利要求1的系統(tǒng)，其中所述遠(yuǎn)程站顯示表示所述第一信息和所述第二信息的本地捕獲與所述第一信息和第二信息的遠(yuǎn)程顯示之間的網(wǎng)絡(luò)遲滯的延遲。
6.權(quán)利要求1的系統(tǒng)，其中所述遠(yuǎn)程站顯示涉及延遲是否超過閾值的指示器。
7.權(quán)利要求1的系統(tǒng)，其中所述遠(yuǎn)程站的所述至少一個輸入裝置包括照相機(jī)和麥克風(fēng)。
8.權(quán)利要求1的系統(tǒng)，還包括將所述通信裝置耦合到所述遠(yuǎn)程站的網(wǎng)絡(luò)。
9.權(quán)利要求1的系統(tǒng)，其中所述通信裝置包括耦合到監(jiān)視器的照相機(jī)以及耦合到揚(yáng)聲器的麥克風(fēng)的機(jī)器人。
10.權(quán)利要求9的系統(tǒng)，其中所述機(jī)器人包括通過所述遠(yuǎn)程站控制的移動平臺。
11.權(quán)利要求1的系統(tǒng)，其中所述通信裝置將視頻幀和附加信息結(jié)合，壓縮所述視頻幀和附加信息的所述結(jié)合，并傳送所述視頻幀和所述附加信息的所壓縮的結(jié)合，并且所述遠(yuǎn)程站接收所述視頻幀和所述附加信息的所述壓縮的結(jié)合。
12.一種用于監(jiān)理的方法，包括: 在遠(yuǎn)程站顯示涉及對對象造成影響的動作的第一信息并且同時在所述遠(yuǎn)程站顯示涉及對所述對象的所述影響的第二信息；以及 從所述遠(yuǎn)程站的操作員向與所述動作有關(guān)的人員傳送通信。
13.權(quán)利要求12的方法，其中所傳送的通信包括所述操作員的圖像和來自所述操作員的語音通信。
14.權(quán)利要求13的方法，還包括在機(jī)器人監(jiān)視器上顯示所述圖像并且從機(jī)器人揚(yáng)聲器發(fā)出所述語音通信。
15.權(quán)利要求14的方法，還包括通過所述遠(yuǎn)程站的輸入移動所述機(jī)器人。
16.權(quán)利要求12的方法，其中所述第一信息包括熒光檢查圖像并且所述第二信息包括至少一個血液動力學(xué)數(shù)據(jù)。
17.權(quán)利要求12的方法，還包括顯示表示所述第一信息和所述第二信息的本地捕獲與所述第一信息和第二信息的遠(yuǎn)程顯示之間的網(wǎng)絡(luò)遲滯的延遲。
18.權(quán)利要求12的方法，還包括顯示涉及延遲是否超過閾值的指示器。
19.一種用于醫(yī)療咨詢的方法，包括: 從遠(yuǎn)程健康裝置傳送患者的圖像； 在第一遠(yuǎn)程站顯示患者的所述圖像； 啟動所述遠(yuǎn)程健康裝置和第二遠(yuǎn)程站之間的連接；以及在所述第二遠(yuǎn)程站處顯示帶有附加信息的所述患者的所述圖像。
20.權(quán)利要求19的方法，其中所述遠(yuǎn)程健康裝置是機(jī)器人。
21.權(quán)利要求19的方法，其中通過所述第一遠(yuǎn)程站顯示的所述患者的所述圖像是熒光檢查圖像。
22.權(quán)利要求19的方法，其中所述附加信息是血液動力學(xué)數(shù)據(jù)。
23.權(quán)利要求19的方法，其中所述附加信息是較大分辨率的視頻圖像。
24.權(quán)利要求19的方法，其中與所述第一遠(yuǎn)程站視圖的通信在所述第二遠(yuǎn)程站連接的啟動時被終止。`
【文檔編號】G06Q50/24GK103503017SQ201280006058
【公開日】2014年1月8日 申請日期:2012年1月18日 優(yōu)先權(quán)日:2011年1月21日
【發(fā)明者】D·A·斯圖爾特, M·C·陳, T·C·賴特, Y·王, F·賴 申請人:英塔茨科技公司