本公開涉及用于多步驟醫(yī)學(xué)流程的基于增強現(xiàn)實的用戶引導(dǎo)系統(tǒng)以及對應(yīng)的方法。本公開還涉及增強現(xiàn)實設(shè)備在用于醫(yī)學(xué)流程中的用戶引導(dǎo)的系統(tǒng)中的用途。本公開還涉及對應(yīng)的計算機程序。

背景技術(shù)：

us2012/0184252a1公開了移動電話式電子設(shè)備，該設(shè)備包括：顯示器；處理器資源；至少一個計算機可讀介質(zhì)，其能夠接收和存儲信息，與處理器資源進(jìn)行通信；在介質(zhì)上的指令，其當(dāng)被處理器資源執(zhí)行時能操作用于計算補充信息并在顯示器處示出的對象的視覺表示上顯示補充信息。例如，從us2011/0213664a1、us8,705,177b1和us2013/0278485a1可以獲知類似的增強現(xiàn)實設(shè)備，尤其是頭戴式設(shè)備。一般而言，增強現(xiàn)實設(shè)備可以被稱為可穿戴設(shè)備，并且可以包含手持設(shè)備、光學(xué)頭戴式顯示器、等等。

增強現(xiàn)實(ar)可以被稱為物理的現(xiàn)實世界環(huán)境的實況直接視圖或間接視圖，其元素可以通過計算機生成的傳感輸入(例如，聲音、視頻、圖形或gps數(shù)據(jù))進(jìn)行增強(或者換句話說，補充)。換句話說，可以疊加包含人工信息的層來表示包含現(xiàn)實世界信息的層。一般而言，可以將增強信息直接或間接地視覺呈現(xiàn)給觀察現(xiàn)實生活場景的用戶。然而，在增強現(xiàn)實環(huán)境中可以在現(xiàn)實世界感知上疊加音頻信息、語音信息、觸覺信息等。

在一般意義上，增強現(xiàn)實可以涉及更一般的概念，其可以被稱作介導(dǎo)現(xiàn)實。介導(dǎo)現(xiàn)實一般涉及現(xiàn)實的表示或視圖被計算設(shè)備修改。在該上下文中的修改可能涉及強調(diào)、削弱或甚至隱藏現(xiàn)實世界信息元素。

增強現(xiàn)實設(shè)備因此可以影響(優(yōu)選增強)用戶對現(xiàn)實的當(dāng)前感知。一般而言，增強現(xiàn)實涉及實時或接近實時的信息增強或疊加。

醫(yī)學(xué)流程是意圖實現(xiàn)在可能具有健康情況或甚至健康問題的人的護理中的結(jié)果的動作的過程。一般地，醫(yī)學(xué)流程可以包含醫(yī)學(xué)測試、醫(yī)學(xué)監(jiān)視、醫(yī)學(xué)處置、醫(yī)學(xué)治療、康復(fù)措施等。一般在意圖確定、測量或診斷患者狀況或參數(shù)的情況下進(jìn)行醫(yī)學(xué)測試。治療措施通常包含處置、治愈或恢復(fù)患者的功能或結(jié)構(gòu)。

在增強現(xiàn)實領(lǐng)域中還存在改善的空間。更特別地，基于增強現(xiàn)實的技術(shù)在醫(yī)學(xué)領(lǐng)域或者更具體的用戶引導(dǎo)或患者引導(dǎo)領(lǐng)域存在特定的應(yīng)用潛力。

技術(shù)實現(xiàn)要素：

鑒于以上所述，本發(fā)明的目標(biāo)是提供一種用于多步驟醫(yī)學(xué)流程的基于加強的增強現(xiàn)實的用戶引導(dǎo)系統(tǒng)，其可以在醫(yī)學(xué)流程的過程期間引導(dǎo)用戶并且尤其適于不一定有專業(yè)資格的業(yè)余用戶或外行來執(zhí)行和完成相對復(fù)雜的醫(yī)學(xué)流程和/或醫(yī)學(xué)協(xié)議。

此外，將有利的是提供基于加強的增強現(xiàn)實的用戶引導(dǎo)系統(tǒng)，其便于家庭用戶處置和/或門診處置。還將有利的是，提供相應(yīng)的系統(tǒng)，其使得能夠進(jìn)行加強的用戶引導(dǎo)，并能夠進(jìn)一步利用增強現(xiàn)實技術(shù)。

此外，將有利的是提供對應(yīng)的用于多步驟醫(yī)學(xué)流程的基于增強現(xiàn)實的用戶引導(dǎo)方法，以及增強現(xiàn)實設(shè)備在用于醫(yī)學(xué)流程中的用戶引導(dǎo)的系統(tǒng)中的優(yōu)選用途。優(yōu)選地，還提出了對應(yīng)的計算機程序。

在本發(fā)明的第一方面中，提出了一種用于多步驟醫(yī)學(xué)流程的基于增強現(xiàn)實的用戶引導(dǎo)系統(tǒng)，所述系統(tǒng)包括：

-增強現(xiàn)實設(shè)備，其包括：

-顯示單元，其被布置為呈現(xiàn)能夠被疊加在原始場景上的人工信息，

-傳感器單元，

-處理單元，

-至少一個第一標(biāo)志，其能夠由所述增強現(xiàn)實設(shè)備檢測到，其中，所述至少一個第一標(biāo)志與要在所述醫(yī)學(xué)流程的定義的步驟中使用的對象相關(guān)聯(lián)，其中，所述醫(yī)學(xué)流程包括要求用戶動作的至少一個步驟，所述用戶動作尤其包含手動處置所述對象；

其中，所述增強現(xiàn)實設(shè)備被布置為：

-監(jiān)視場景并檢測和跟蹤所述至少一個第一標(biāo)志；

-提供用戶引導(dǎo)以執(zhí)行醫(yī)學(xué)流程；

-基于所述至少一個第一標(biāo)志的檢測到的狀態(tài)來檢測用戶動作是否符合所述醫(yī)學(xué)流程；并且

-當(dāng)所述設(shè)備檢測到錯誤的用戶動作時，向用戶提供校正性用戶反饋。

該方面基于以下洞察：相對復(fù)雜的醫(yī)學(xué)流程(其也可以被稱作醫(yī)學(xué)協(xié)議)通常要求有經(jīng)驗的、受過教育的醫(yī)務(wù)人員。然而，存在一種趨勢是將醫(yī)學(xué)服務(wù)從醫(yī)院重新部署到患者的家中。這可能具有以下優(yōu)點：減少成本，以及可以待在熟悉環(huán)境中的患者的增加的安康。然而，這通常仍需要執(zhí)行相對復(fù)雜的醫(yī)學(xué)流程，例如，血液采樣、血糖測量等，這通常是重復(fù)的(一天一次、一周一次等)。

在傳統(tǒng)的環(huán)境中，這要求對患者或照顧患者的親戚/朋友的大量訓(xùn)練。即使當(dāng)進(jìn)行大量訓(xùn)練時，仍存在錯誤操作的風(fēng)險，這可能危害到患者或醫(yī)學(xué)流程的結(jié)果。因此，尤其對于老年人，可能要求派送其他有資格的人員的護士到患者的處所，或者甚至讓患者留在醫(yī)院環(huán)境中。

可以看到另一顯著優(yōu)點在于該系統(tǒng)能夠在進(jìn)行醫(yī)學(xué)領(lǐng)域中的任務(wù)時幫助資格較低的或經(jīng)驗少的人員。因此，可以由醫(yī)學(xué)實習(xí)生(例如，護士實習(xí)生等)使用基于增強現(xiàn)實的用戶引導(dǎo)系統(tǒng)。還可以發(fā)現(xiàn)另一應(yīng)用：將任務(wù)從資格高的專家委托給資格低的人員，以便將專家從醫(yī)學(xué)領(lǐng)域中相當(dāng)普通的任務(wù)中解脫出來。醫(yī)學(xué)設(shè)施通常面臨資格高的醫(yī)學(xué)從業(yè)者和護士的短缺。因此，基于增強現(xiàn)實的用戶引導(dǎo)系統(tǒng)可以便于甚至在有資格的人員短缺的情況下也能維持質(zhì)量標(biāo)準(zhǔn)。

如本文使用的，基于增強現(xiàn)實(ar)的用戶引導(dǎo)系統(tǒng)一般可以稱作ar支持系統(tǒng)和/或ar加強系統(tǒng)?；赼r的用戶引導(dǎo)系統(tǒng)可以在(例如，患者自身進(jìn)行的)自我處置環(huán)境中是有用的，而且在包含處置患者的用戶(協(xié)助人員)的環(huán)境中也是有用的。

在高級ar技術(shù)的幫助下(例如，向現(xiàn)實生活表示添加計算機視覺和對象識別)，關(guān)于用戶的周圍真實世界的信息變得可交互且可數(shù)字化操縱。關(guān)于環(huán)境及其對象的人工信息可以疊加在真實世界上。這可以具有以下優(yōu)點：可以提供可以呈現(xiàn)校正性用戶反饋的進(jìn)一步加強的交互式指導(dǎo)手冊。一般而言，可以提供積極的反饋(即，成功完成了流程或其子步驟)。此外，在發(fā)生錯誤的情況下，系統(tǒng)可以致力于成功完成意圖的流程。

特別地，在所謂的家庭環(huán)境的醫(yī)院中(也稱作醫(yī)院到家庭(h2h)環(huán)境)，患者越來越多地被要求自己運行相對復(fù)雜的醫(yī)學(xué)協(xié)議，而無需專業(yè)醫(yī)學(xué)人員的輔助。通常，醫(yī)學(xué)協(xié)議可以包括在物理世界中使用多個單獨的物理設(shè)備和消耗品的動作。例如，進(jìn)行血液分析的化療患者可能必須以特定次序和方式使用刺血針、酒精擦片、創(chuàng)可貼和血液盒。處置至少一個對象可以包括移動(尤其是手動移動)對象。處置對象還可以包括打開或拆開對象的包裝。要在醫(yī)學(xué)流程的過程期間使用的對象中的至少一些可以被初始地容納在無菌商品包裝中。因此，處置至少一個對象還可以包括使無菌容器或包破裂。

可以提供多個對象。(一個或多個)對象可以包括(制藥)藥物、物質(zhì)或藥品。此外，對象可以包括醫(yī)學(xué)器械，尤其是一次性醫(yī)學(xué)器械。醫(yī)學(xué)器械可以包括刺血針、注射器、溫度計、血壓裝置、藥瓶等。另外或替代地，(一個或多個)對象可以包括通常在醫(yī)學(xué)流程中使用的另外的材料/裝備。通過舉例的方式，醫(yī)學(xué)材料可以包括(外科)包扎材料、(外科)擦片、(外科)標(biāo)簽、膠布繃帶、貼片、消毒劑、防腐劑、殺菌劑等。

一般而言，至少一個第一標(biāo)志可以被附接到要被使用的對象，和/或可以被附接到容納對象的相應(yīng)容器或包裝。至少一個第一標(biāo)志可以包含描述對象的類型的信息。此外，至少一個第一標(biāo)志可以包含指示序列號、生產(chǎn)批次、生產(chǎn)期限等的信息。對象可以被標(biāo)記有至少一個標(biāo)志。至少一個標(biāo)志可以被布置為被附接到對象或?qū)ο蟮陌b的標(biāo)簽或標(biāo)注。

然而，上述方面不限于家庭中的醫(yī)院應(yīng)用。通過舉例的方式，在緊急護理(例如，患者遭受心臟病發(fā)作、道路事故后果的急救)中，急救人員可能必須向受傷的無意識人員的面部應(yīng)用衛(wèi)生口罩，向胸部應(yīng)用除顫貼片，并將他們的手正確放置并進(jìn)行嚴(yán)格序列的動作。可以想到其他應(yīng)用，其中即使相對有經(jīng)驗的、受過教育的醫(yī)學(xué)專家也可能得益于基于ar的引導(dǎo)系統(tǒng)。

ar設(shè)備可以被布置為可穿戴計算設(shè)備，例如，便攜式設(shè)備、手持設(shè)備、頭戴式設(shè)備等。一般而言，ar設(shè)備可以包括顯示器，其被布置為將信息疊加在現(xiàn)實生活表示上?，F(xiàn)實生活表示對用戶可以直接或間接可感知?？梢圆蹲讲?或多或少)即時地在顯示器上呈現(xiàn)間接呈現(xiàn)的現(xiàn)實生活圖像。優(yōu)選地，將相應(yīng)的傳感器(成像單元或相機)和顯示單元對齊，使得當(dāng)用戶查看設(shè)備的顯示器時現(xiàn)實生活圖像的表示基本上匹配“真實的”現(xiàn)實生活環(huán)境。在替代例中，可以通過補充信息來豐富或加強用戶的眼睛可直接感知到的現(xiàn)實生活環(huán)境。這可以包含在顯示單元處提供的可能的顯示元件是基本上透明的或半透明的。這種顯示單元可以被布置為所謂的微顯示器，其包括用于在用戶的視野內(nèi)投影圖像數(shù)據(jù)的單元。如上所述，用戶可以是患者他自己/她自己或在醫(yī)學(xué)流程的過程期間幫助和/或處置患者的另一人員。因此，在一些實施例中，ar設(shè)備由患者穿戴。在一些實施例中，ar設(shè)備由另一人員持有或穿戴。

在系統(tǒng)的示例性實施例中，至少一個第二標(biāo)志被提供，所述至少一個第二標(biāo)志被布置在被分配給醫(yī)學(xué)流程的定義的步驟的位置處，其中，醫(yī)學(xué)流程包括如下的至少一個步驟：要求將對象(尤其是其至少一個第一標(biāo)志)放置在所述第二標(biāo)志的附近以完成醫(yī)學(xué)流程的步驟。

因此，ar設(shè)備可以通過監(jiān)視和跟蹤至少一個第一標(biāo)志相對于第二標(biāo)志的位置來控制醫(yī)學(xué)流程的進(jìn)展。通過舉例的方式，可以在布置至少一個第二標(biāo)志處提供板或類似的基底元件。此外，基底元件可以視覺地指示醫(yī)學(xué)流程的要求的步驟。ar設(shè)備然后可以突出顯示當(dāng)前要被使用的第一標(biāo)志和對應(yīng)的第二標(biāo)志。ar設(shè)備可以被布置為檢測第一標(biāo)志是被布置在第二標(biāo)志的附近、頂部還是在第二標(biāo)志處。這可以被視為醫(yī)學(xué)流程的(子)步驟已完成的指示。ar設(shè)備可以被布置為檢測第一標(biāo)志與對應(yīng)的第二標(biāo)志的(本地)匹配。ar設(shè)備可以被布置為檢測第一標(biāo)志是否與對應(yīng)的第二標(biāo)志一致、符合和/或配準(zhǔn)。這可以涉及當(dāng)ar設(shè)備檢測第一標(biāo)志被錯誤放置在例如錯誤的第二標(biāo)志和/或其中在第一標(biāo)志與對應(yīng)的第二標(biāo)志之間的距離太大時生成錯誤消息。

在系統(tǒng)的另一示例性實施例中，至少一個第一標(biāo)志被布置為覆蓋標(biāo)志，其中，至少一個第二標(biāo)志被布置為基底標(biāo)志，并且其中，至少一個第一標(biāo)志被附接到一次性對象或可消耗對象，尤其是被附接到一次性對象或可消耗對象的包裝或防篡改元件。通過舉例的方式，可以指導(dǎo)用戶移除密封，打開蓋子和/或弄破包裝。因此，相應(yīng)的第一標(biāo)志可以被布置在對象或其包裝的當(dāng)解開對象的包裝、打開和/或激活對象時要被移除的部分處。

換句話說，增強現(xiàn)實標(biāo)志可以被布置在基本固定的元件(框架、板、外包裝的部分)處和可移動的分離的物理對象處。ar設(shè)備可以跟蹤物理對象的(空間)2d或3d坐標(biāo)，包括在相應(yīng)的傳感器單元(例如，相機)的視野內(nèi)的固定元件。此外，描述醫(yī)學(xué)流程和/或協(xié)議的算法可以被實現(xiàn)在軟件代碼中并被提供在ar設(shè)備處。因此，ar設(shè)備“知道”哪些對象應(yīng)當(dāng)在何時處于何處。因此，由于它們的標(biāo)志，對象是可跟蹤的，ar設(shè)備能夠檢測到何時用戶正在處置錯誤的對象或者何時用戶將正確的對象放置在錯誤的地方。因此，當(dāng)用戶(例如，通過移動電話、平板計算機或ar手機)利用增強現(xiàn)實技術(shù)來查看物理場景時，ar設(shè)備可以直接指向被處置的對象，并顯示和告知用戶這是錯誤的地方或?qū)ο?。此外，可以向用戶推薦校正性動作，例如，他/她應(yīng)當(dāng)拾取另一對象或者他/她應(yīng)當(dāng)將對象放在不同的位置處。

在該上下文中，對us2007/0098234a1進(jìn)行引用，其公開了多種不同的ar標(biāo)志和用于檢測所述標(biāo)志的對應(yīng)方法。一般而言，ar標(biāo)志可以以紙基或片基方式布置，其中，印刷在其上的2d代碼相對簡單且容易檢測和使用。一般而言，ar標(biāo)志對傳感器(例如，相機)是可視覺感知的。ar標(biāo)志可以被編碼(例如，條形碼)，或者更一般地，可以包括1d光學(xué)機器可讀表示或2d光學(xué)機器可讀表示。ar標(biāo)志可以例如被布置為標(biāo)簽、標(biāo)注。此外，ar標(biāo)志可以包括多數(shù)字信息，例如，通用產(chǎn)品代碼(upc)和/或國際物品數(shù)字代碼(ean)。至少一些實施例可以包括3d(三維)標(biāo)志的檢測。此外，一些實施例可以包括對象識別和跟蹤，而無需明確需要將不同的標(biāo)簽或標(biāo)注附接到對象。因此，對象本身可以形成標(biāo)志，例如，對象的外形、顏色和外部印刷。

然而，還可以設(shè)想到不可見編碼標(biāo)志技術(shù)。通過舉例的方式，ar標(biāo)志可以包括射頻識別標(biāo)簽(rdif標(biāo)簽)。此外，ar標(biāo)志可以被布置為應(yīng)答機。取決于ar標(biāo)志的類型(例如，有源的或無源的)，可以使用相應(yīng)的傳感器(讀取器)。此外，在相應(yīng)的ar輔助/支持環(huán)境中可以實現(xiàn)和使用不同類型的ar標(biāo)志。

在本系統(tǒng)的另一示例性實施例中，至少一個第一標(biāo)志是非固定標(biāo)志，其被附接到在醫(yī)學(xué)流程的過程期間要被移動的對象，其中，至少一個第二標(biāo)志是固定標(biāo)志，其指示為醫(yī)學(xué)流程的主體的醫(yī)學(xué)裝備處的特性位置；并且其中，所述系統(tǒng)能夠檢測其中至少一個非固定標(biāo)志接近相應(yīng)的固定標(biāo)志以完成醫(yī)學(xué)流程的步驟的狀態(tài)。固定標(biāo)志指示在醫(yī)學(xué)流程的過程期間需要接近的特性位置。

一般而言，增強現(xiàn)實應(yīng)用允許用戶感知作為在物理對象的表示頂部上的疊加的虛擬內(nèi)容。當(dāng)傳感器(例如，相機)檢測到相應(yīng)的標(biāo)志時，虛擬內(nèi)容可以被自動顯示。一般地，增強現(xiàn)實標(biāo)志被應(yīng)用為信息線索，并且因此不常用作位置傳感器。相反地，本公開提出了通過定義幾種類型的標(biāo)志，以及通過跟蹤標(biāo)志的位置以便檢測在不同類型的標(biāo)志對之間的相對位置，來加強增強現(xiàn)實標(biāo)志的應(yīng)用和能力，這可以用作監(jiān)視醫(yī)學(xué)流程的相對簡單但有力的方式，并用于提供用于醫(yī)學(xué)流程的加強的用戶引導(dǎo)。

優(yōu)選地，所述系統(tǒng)還被布置為向用戶提供導(dǎo)航支持，尤其是通過在接近相應(yīng)的固定標(biāo)志的過程期間跟蹤至少一個可移動標(biāo)志。換句話說，ar設(shè)備可以顯示信息和暗示(例如，光束或著陸波束)，其指示用于當(dāng)前使用的對象和/或其相應(yīng)標(biāo)志的正確的目標(biāo)位置(固定標(biāo)志)。

例如，可以提供基底板，其以可視覺感知(即，用戶的眼睛直接可見)的方式示出了醫(yī)學(xué)流程的步驟。為此，例如可以提供相應(yīng)的流程圖。因此，在現(xiàn)實世界環(huán)境中，用戶可以被(視覺)提示將對應(yīng)的覆蓋標(biāo)志放置在其指定配對物的附近或處。然而，可以通過提供指示醫(yī)學(xué)流程的步驟或門并可以被視覺突出顯示的相應(yīng)基底標(biāo)志來加強現(xiàn)實世界的流程圖。因此，在組合增強現(xiàn)實環(huán)境中，可能甚至更明確地提示和引導(dǎo)用戶。此外，增強現(xiàn)實環(huán)境可以向用戶提供視覺反饋、音頻反饋等，從而指示是否已經(jīng)成功完成(子)步驟或是否發(fā)生錯誤。在錯誤的情況下，ar設(shè)備可以即時地或者接近即時地推薦校正性動作。這可能具有的優(yōu)點在于通常能夠成功地完成整體醫(yī)學(xué)流程，即，在錯誤的情況下，也不一定要求重復(fù)整個流程。

在系統(tǒng)的再一示例性實施例中，增強現(xiàn)實設(shè)備被布置為通過虛擬地突出顯示與后續(xù)步驟相關(guān)聯(lián)的至少一個標(biāo)志來指示所述后續(xù)步驟。此外，ar設(shè)備可以被布置為通過在利用覆蓋標(biāo)志接近基底標(biāo)志的過程期間提供方向信息來對用戶進(jìn)行導(dǎo)航。

在系統(tǒng)的又一示例性實施例中，所述系統(tǒng)還被布置為監(jiān)視醫(yī)學(xué)流程，并相對于從包括以下的組中選擇的至少一個特性檢測用戶動作是否是錯誤的：時間約束、持續(xù)時間約束、次序約束、序列約束、方向約束、位置約束、目標(biāo)約束、以及其組合。尤其在時間關(guān)鍵的協(xié)議中，當(dāng)用戶猶豫或發(fā)生錯誤時，這使得他/她在動作上比預(yù)期花費更多的時間，ar設(shè)備可以警告用戶及時完成協(xié)議可能是有問題的。因此，ar設(shè)備可以推薦終止執(zhí)行醫(yī)學(xué)設(shè)備的實際嘗試并重新開始流程。

以下表格說明相應(yīng)的醫(yī)學(xué)流程的范例：

ar設(shè)備可以處理相應(yīng)的軟件代碼/算法，以便引導(dǎo)用戶通過流程。ar設(shè)備能夠因此指導(dǎo)用戶。此外，ar設(shè)備布置為監(jiān)視和控制執(zhí)行流程的(子)步驟。

在系統(tǒng)的另一示例性實施例中，所述增強現(xiàn)實設(shè)備適于門診處置，其中，所述醫(yī)學(xué)流程包括能夠由業(yè)余用戶或由患者自身執(zhí)行的醫(yī)學(xué)協(xié)議。由于用戶在執(zhí)行流程時在一定程度上依賴于系統(tǒng)，所以還可以減少關(guān)于門診處置的相應(yīng)預(yù)約。系統(tǒng)能夠提供正面反饋(步驟成功完成)以及負(fù)面/校正性反饋(由于錯誤的動作而需要重新執(zhí)行步驟)。此外，系統(tǒng)可以不僅指示發(fā)生了錯誤，而且可以解釋實際上發(fā)生了什么(例如，錯過時間限制、使用錯誤的對象、偏離步驟的定義的次序)。ar設(shè)備能夠檢測用戶所犯的錯誤，即，“基底標(biāo)志”的事件被不正確的“覆蓋標(biāo)志”掩蓋。作為響應(yīng)，ar設(shè)備可以在“覆蓋標(biāo)志”的頂部提供基于ar的實況反饋，其立即通知患者所述錯誤，并引導(dǎo)患者校正錯誤。此外，ar設(shè)備可以驗證場景的完成，即，“基底標(biāo)志”被掩蓋有正確的“覆蓋標(biāo)志”的事件。在該情況下，可以觸發(fā)在執(zhí)行流程中的下一狀態(tài)/步驟。

在系統(tǒng)的另一示例性實施例中，所述醫(yī)學(xué)流程包括醫(yī)學(xué)協(xié)議，所述醫(yī)學(xué)協(xié)議包括一系列步驟，所述步驟中的每個步驟包括從包括以下的組中選擇的至少一個特性：定義的動作、定義的對象、定義的目標(biāo)、定義的持續(xù)時間、定義的許可總計時間、以及其組合。通過舉例的方式，應(yīng)用的領(lǐng)域可以涉及用于化療患者的血液分析。應(yīng)用的領(lǐng)域還可以涉及糖尿病患者的血糖測量。兩個流程都要求執(zhí)行可以包含消毒、探測、樣本收集、樣本處置、探測點的處置、將探針放置在分析單元中等的多個步驟。

在另一示例性實施例中，該系統(tǒng)包括至少一個參考標(biāo)志，其能夠由所述增強現(xiàn)實設(shè)備檢測到，其中，所述至少一個參考標(biāo)志指示要被執(zhí)行的醫(yī)學(xué)流程。優(yōu)選地，至少一個參考標(biāo)志還可以指示至少一個基底標(biāo)志的定義的位置，更優(yōu)選地，至少一個覆蓋標(biāo)志的定義的開始位置。

通過舉例的方式，相應(yīng)的參考標(biāo)志可以被附接到或被布置在要在醫(yī)學(xué)流程中使用的醫(yī)學(xué)集合的外包裝處。參考標(biāo)志和基底標(biāo)志可以被布置在同一板或基底元件處。參考標(biāo)志可以用于不同目的。首先，參考標(biāo)志可以提供參考位置信息，其可以便于檢測和監(jiān)視基底標(biāo)志。換句話說，參考標(biāo)志可以“告訴”ar設(shè)備基底標(biāo)志應(yīng)當(dāng)被定位在何處。參考標(biāo)志可以定義包含基底標(biāo)志的基底元件的墊的整體方向。第二，參考標(biāo)志可以識別要被應(yīng)用的醫(yī)學(xué)例程或流程。這可以是有利的，因為ar設(shè)備基本上能夠引導(dǎo)用戶通過不同的醫(yī)學(xué)流程。因此，當(dāng)前要被應(yīng)用的流程的預(yù)先選擇可以是有利的。因此，ar設(shè)備可以被稱為多用途醫(yī)學(xué)流程用戶引導(dǎo)ar設(shè)備。

假定該系統(tǒng)可以實現(xiàn)基底標(biāo)志、覆蓋標(biāo)志和參考標(biāo)志，則可以使用三種不同類型的標(biāo)志。該系統(tǒng)被布置為驗證用戶已經(jīng)將物理對象放置在特定位點處。該機構(gòu)可以允許沒有物理或圖形用戶接口按鈕的用戶接口來確認(rèn)物理對象的位置。相反，可以在ar領(lǐng)域中提供成功(子)步驟的確認(rèn)和/或錯誤(子)步驟的指示。在ar領(lǐng)域中還可以暗示校正性動作。當(dāng)參考標(biāo)志被布置為指示醫(yī)學(xué)流程的類型時，不需要或只需要一點(觸覺)用戶輸入，這對于許多用戶是非常有利的，尤其是對于老年人或病人。

根據(jù)上述實施例，ar設(shè)備可以被布置為檢測參考標(biāo)志，這可以是醫(yī)學(xué)流程的初始化和執(zhí)行的先決條件。當(dāng)感測到和檢測到覆蓋標(biāo)志和相應(yīng)的基底標(biāo)志的可能匹配(例如，將一個放在另一個頂部上)時，還可以要求參考標(biāo)志總是或至少臨時對傳感器單元“可見”。這樣，可以進(jìn)一步加強安全級別?？梢赃M(jìn)一步減少誤操作、誤用等的風(fēng)險。優(yōu)選地，參考標(biāo)志和基底標(biāo)志在物理上(例如，機械地)相互連接，例如被放置在同一板或基底元件上。

根據(jù)至少一些實施例，ar設(shè)備能夠同時檢測和監(jiān)視三個或更多個ar標(biāo)志。因此，可以執(zhí)行要求處置多個元件的相對復(fù)雜的操作。一般而言，ar設(shè)備可以基本上恒定地或間歇地驗證用作全局參考的參考標(biāo)志是否在視線內(nèi)。優(yōu)選地，ar設(shè)備能夠同時檢測甚至更多的標(biāo)志。這樣，系統(tǒng)足夠靈活以在早期檢測可能的操作錯誤，并提供早期的反饋，優(yōu)選在發(fā)生例如“消耗”隨后需要被替換或單獨處置以便能夠進(jìn)一步進(jìn)行流程的對象的不可逆錯誤之前。

在又一示例性實施例中，該系統(tǒng)還被布置為在醫(yī)學(xué)流程的過程期間向用戶提供包含協(xié)議內(nèi)校正的校正性用戶反饋。協(xié)議內(nèi)校正尤其可以包括從包括以下的組中選擇的動作：中止并重新執(zhí)行步驟；完成并重新執(zhí)行步驟；返回并重新執(zhí)行一系列步驟，并且完成多個步驟；在錯誤的情況下，返回到起始點而不完成所述醫(yī)學(xué)流程并重新執(zhí)行多個步驟；以及其組合。

因此，可以通常在不需要完全終止先前嘗試的情況下完成醫(yī)學(xué)流程。相反，流程內(nèi)或協(xié)議內(nèi)校正動作使得能夠保留在當(dāng)前醫(yī)學(xué)流程內(nèi)。這可以具有以下優(yōu)點：可以避免過度浪費(一次性和/或可消耗)對象和時間。在由于錯誤而需要重新執(zhí)行完整的醫(yī)學(xué)流程的情況下，通常應(yīng)當(dāng)使用和消耗新的(醫(yī)學(xué))對象。

一般而言，系統(tǒng)(尤其是ar設(shè)備)可以在對象被誤放置時提供校正性反饋。這可能涉及方向和/或位置的指示，其指示在對象被誤放置的情況下將對象放置在何處的目標(biāo)。優(yōu)選地，可以相對于檢測到的錯誤位置提供校正性反饋。因此，ar設(shè)備能夠響應(yīng)于實際情形并提供情形特定(上下文)校正性動作。由于ar設(shè)備能夠(即時地)監(jiān)視標(biāo)志，所以這是可以實現(xiàn)的。因此，通常校正性動作是智能且可管理的，因為其通常不需要執(zhí)行固定的預(yù)定義的校正性動作(例如，“返回到前一步驟…”)，其在用戶沒有完全意識到當(dāng)前(處置)錯誤時可能是有問題的。

此外，ar設(shè)備可以在醫(yī)學(xué)流程的(子)步驟已經(jīng)被處理得太慢時提供校正性反饋，例如，在覆蓋標(biāo)志僅在與預(yù)定義的時間限制到期之后被放置在其對應(yīng)的基底標(biāo)志處時。因此，該系統(tǒng)可以能操作用于提供時間監(jiān)控。然而，ar設(shè)備還可以被布置為指示在超過實際時間限制之前的適當(dāng)?shù)臅r間中可能發(fā)生時間相關(guān)或持續(xù)時間相關(guān)的錯誤。因此，可以鼓勵用戶加速醫(yī)學(xué)流程和/或相應(yīng)的(子)步驟的執(zhí)行。在超過了醫(yī)學(xué)流程的總計時間限制的情況下，ar設(shè)備還可以指示哪個(子)步驟應(yīng)當(dāng)比在錯誤嘗試中執(zhí)行得更快。

換句話說，根據(jù)本文公開的至少一些實施例的引導(dǎo)系統(tǒng)能夠提供關(guān)于錯誤動作的上下文反饋，并能夠提供對應(yīng)的上下文引導(dǎo)。優(yōu)選地，引導(dǎo)系統(tǒng)被布置為提供用戶引導(dǎo)，而無需(或只需要一點)明確的用戶輸入(在ar設(shè)備的級別)。換句話說，優(yōu)選在執(zhí)行醫(yī)學(xué)流程時從用戶的實際動作導(dǎo)出用戶“輸入”。因此，沒有明確要求在核對列表中手動勾出項目，因為引導(dǎo)系統(tǒng)自動監(jiān)視和檢查步驟的完成。這優(yōu)選在醫(yī)學(xué)領(lǐng)域中是有利的，因為用戶可以基本上在流程的過程期間免手持地操作ar設(shè)備，而無需接觸用戶輸入。這用于衛(wèi)生目的，并防止ar設(shè)備、患者他自己/她自己和/或要在醫(yī)學(xué)流程中使用的對象的相互污染。

為此，ar設(shè)備在特定的“基底標(biāo)志”已經(jīng)由另一特定“覆蓋標(biāo)志”掩蓋(或覆蓋)時檢測物理對象的正確定位。換句話說，根據(jù)本公開的一方面，提出一種用戶接口，其基本上沒有物理或圖形用戶接口按鈕，用于確認(rèn)現(xiàn)實世界對象的正確定位和/或觸發(fā)應(yīng)用以進(jìn)行到流程的下一步驟。

在基于手持的ar應(yīng)用中，這基本上支持免手持交互，并且因此還解決與觸摸屏交互的衛(wèi)生問題。在基于頭戴式的ar應(yīng)用中，可以克服對用于觸發(fā)/確認(rèn)準(zhǔn)備就緒以進(jìn)入流程的下一步驟的額外手勢或語音交互的需要。

在本公開的另一方面中，提出一種增強現(xiàn)實設(shè)備在用于醫(yī)學(xué)流程中的用戶引導(dǎo)的系統(tǒng)中的用途，所述增強現(xiàn)實設(shè)備包括：

-顯示單元，其被布置為呈現(xiàn)能夠被疊加在原始場景上的人工信息，

-傳感器單元，

-處理單元，

-所述系統(tǒng)還包括：

-至少一個第一標(biāo)志，其能夠由所述增強現(xiàn)實設(shè)備檢測到，其中，所述至少一個第一標(biāo)志與要在所述醫(yī)學(xué)流程的定義的步驟中使用的對象相關(guān)聯(lián)，其中，所述醫(yī)學(xué)流程包括要求用戶動作的至少一個步驟，所述用戶動作尤其包含手動處置所述對象；

其中，所述增強現(xiàn)實設(shè)備能操作用于：

-監(jiān)視場景并檢測和跟蹤所述至少一個第一標(biāo)志；

-提供用戶引導(dǎo)以執(zhí)行醫(yī)學(xué)流程；

-基于所述至少一個第一標(biāo)志的檢測到的狀態(tài)來檢測用戶動作是否符合所述醫(yī)學(xué)流程；并且

-當(dāng)所述設(shè)備檢測到錯誤的用戶動作時，向用戶提供校正性用戶反饋。

在用途方面的另一示例性實施例中，所述用途可以包括增強現(xiàn)實設(shè)備在家庭環(huán)境的醫(yī)院中的用途，其中，所述在家庭環(huán)境的醫(yī)院優(yōu)選包括從包括以下的組中選擇的至少一個特定用途：家庭化療、家庭血液分析、家庭血液采樣、家庭樣本收集、家庭胰島素療法、家庭接種疫苗、以及其組合。在家庭的醫(yī)院可以被視為在患者的家里通過健康護理專家提供對狀況的積極處置的服務(wù)，否則該狀況將尤其是在有限的時間要求嚴(yán)重的住院患者護理。

在用途方面的另一示例性實施例中，所述用途可以包括增強現(xiàn)實設(shè)備在用于急診處置環(huán)境中的用戶引導(dǎo)的系統(tǒng)中的用途，尤其是在用于自動外部除顫器(aed)布置的系統(tǒng)中的用途。盡管已確認(rèn)自動或半自動aed設(shè)備是公知的，但是正確地使用這種設(shè)備仍然對許多人是一種挑戰(zhàn)，這限制了aed的進(jìn)一步的分布以及尤其應(yīng)用。在緊急情況下，許多人仍然害怕使用aed。根據(jù)本公開的至少一些方面的系統(tǒng)還可以在緊急情況下降低抑制水平或甚至對使用aed的反感，因為該系統(tǒng)可以引導(dǎo)急救人員并可以支持和支援救治人員。例如，該系統(tǒng)可以確保用戶以正確的方式和正確的次序使用正確的對象，同時保持要求的時間約束。

可以在訓(xùn)練或教育醫(yī)學(xué)人員和/或外行的領(lǐng)域中發(fā)現(xiàn)本系統(tǒng)的進(jìn)一步有利用途。為此，該系統(tǒng)可以被布置為幫助用戶實踐緊急情況以為真實的緊急情況做準(zhǔn)備。因此，該系統(tǒng)可以包括訓(xùn)練模式，其中引導(dǎo)用戶通過訓(xùn)練情形以變得熟悉醫(yī)學(xué)設(shè)備，例如aed和類似的復(fù)雜醫(yī)學(xué)設(shè)備，而無需面對傷害可能的患者的風(fēng)險。另外，在如上所述的醫(yī)院到家庭環(huán)境中，包括測試運行的訓(xùn)練過程可以進(jìn)一步加強用戶的能力。

在本公開的另一方面中，提出了一種提供用于多步驟醫(yī)學(xué)流程的基于增強現(xiàn)實的用戶引導(dǎo)的方法，所述方法包括：

-提供增強現(xiàn)實設(shè)備，所述增強顯示設(shè)備包括：

-顯示單元，其被布置為呈現(xiàn)能夠被疊加在原始場景上的人工信息，

-傳感器單元，

-處理單元，以及

-提供至少一個第一標(biāo)志，所述至少一個第一標(biāo)志能夠由所述增強現(xiàn)實設(shè)備檢測到，其中，所述至少一個第一標(biāo)志與要在所述醫(yī)學(xué)流程的定義的步驟中使用的對象相關(guān)聯(lián)，其中，所述醫(yī)學(xué)流程包括要求用戶動作的至少一個步驟，所述用戶動作尤其包含手動處置所述對象；

-監(jiān)視場景，檢測和跟蹤所述至少一個第一標(biāo)志；

-提供用戶引導(dǎo)以執(zhí)行所述醫(yī)學(xué)流程；

-基于所述至少一個第一標(biāo)志的檢測到的狀態(tài)來檢測用戶動作是否符合所述醫(yī)學(xué)流程；并且

-當(dāng)所述增強現(xiàn)實設(shè)備檢測到錯誤的用戶動作時，向用戶提供校正性用戶反饋。

在本發(fā)明的又一方面中，提供了一種包括程序代碼單元的計算機程序，當(dāng)所述計算機程序在計算設(shè)備上執(zhí)行時，所述程序代碼單元用于使計算機執(zhí)行上述方法的步驟。

如本文使用的，術(shù)語“計算機”表示多種數(shù)據(jù)處理設(shè)備。換句話說，具有相當(dāng)大的計算能力的醫(yī)學(xué)設(shè)備和/或移動設(shè)備也可以被稱作計算設(shè)備，即使它們提供比標(biāo)準(zhǔn)臺式計算機少的處理功率資源。此外，術(shù)語“計算機”還可以是指分布式計算設(shè)備，其可以包含或利用在云環(huán)境中提供的計算能力。優(yōu)選地，計算機被實現(xiàn)在ar設(shè)備中或耦合到ar設(shè)備。

本發(fā)明的優(yōu)選實施例被限定在從屬權(quán)利要求中。應(yīng)當(dāng)理解的是，要求保護的用途、方法和要求保護的計算機程序可以具有與要求保護的系統(tǒng)和在從屬系統(tǒng)權(quán)利要求中限定的類似的優(yōu)選實施例。

附圖說明

本發(fā)明的這些和其他方面將從下文描述的實施例變得顯而易見并參考下文描述的實施例得以闡述。在以下附圖中：

圖1示出了可以在本公開的一些實施例中用作ar設(shè)備的便攜式手持設(shè)備的前視圖；

圖2示出了可以在本公開的一些實施例中用作ar設(shè)備的便攜式可頭戴設(shè)備的透視圖；

圖3示出了根據(jù)本公開的一些實施例的ar設(shè)備的總體布局的示意性圖示；

圖4示出了可以在根據(jù)本公開的一些實施例的ar支持的醫(yī)學(xué)流程中使用的示例性醫(yī)學(xué)箱的透視圖；

圖5示出了根據(jù)本公開的一些實施例的示例性用戶引導(dǎo)系統(tǒng)的透視圖，該系統(tǒng)實現(xiàn)ar設(shè)備；

圖6示出了圖5中示出的用戶引導(dǎo)系統(tǒng)的另一狀態(tài)；

圖7示出了圖5中示出的用戶引導(dǎo)系統(tǒng)的又一狀態(tài)；

圖8示出了要在醫(yī)學(xué)流程中使用的示例性對象；

圖9示出了要在醫(yī)學(xué)流程中使用的另一示例性對象；

圖10示出了要在醫(yī)學(xué)流程中使用的又一示例性對象；

圖11示出了包括要在醫(yī)學(xué)流程中使用的對象的醫(yī)學(xué)裝備的布置；

圖12示出了指示可以由ar支持的用戶引導(dǎo)系統(tǒng)促進(jìn)的示例性醫(yī)學(xué)流程的透視圖；

圖13示出了圖示涉及可以在ar支持的環(huán)境中使用的醫(yī)學(xué)箱的布置的流程的若干步驟的示意性框圖；

圖14示出了圖示根據(jù)本公開的示例性用戶引導(dǎo)方法的若干步驟的示意性框圖；以及

圖15示出了表示根據(jù)本公開的ar支持的監(jiān)視和用戶引導(dǎo)方法的若干示例性步驟的說明性框圖。

具體實施方式

在近些年中，增強現(xiàn)實(ar)已經(jīng)取得了重大進(jìn)展并滿足了若干領(lǐng)域的應(yīng)用。通過舉例的方式，ar技術(shù)可以應(yīng)用于為行人進(jìn)行街道上導(dǎo)航。用戶可以查看ar設(shè)備的顯示器，并感知由對其增強的額外信息所加強的現(xiàn)實世界環(huán)境的實況呈現(xiàn)。

如圖1和圖2所示，可以設(shè)想不同類型的ar設(shè)備。圖1示出了可以被布置為移動設(shè)備(尤其是移動電話、平板計算機、智能電話等)的手持便攜式設(shè)備10。圖2示出了頭戴式或可頭戴設(shè)備30。手持式設(shè)備10和頭戴式設(shè)備30可以允許基于ar的應(yīng)用，該應(yīng)用可以用于醫(yī)學(xué)領(lǐng)域，尤其用于在醫(yī)學(xué)流程的過程期間引導(dǎo)用戶。

至少在一定程度上，手持式設(shè)備10和頭戴式設(shè)備30以類似方式布置。如圖1所示，ar設(shè)備10可以包括殼體12，其容納顯示單元14、音頻輸出單元16、傳感器單元18(在ar環(huán)境中通常布置在顯示單元的相反側(cè))、輸入單元20、以及處理單元22(在圖1中未明確示出)。

類似地，圖2中圖示的頭戴式ar設(shè)備30包括框架或支撐件32，其支持顯示單元34、音頻輸出單元36、傳感器單元38、輸入單元40以及處理單元42(在圖2中未明確示出)。此外，可以提供玻璃或帽檐44。

傳感器單元18、38可以包括至少一個圖像傳感器，尤其是相機傳感器。至少在一些實施例中，傳感器單元18、38可以包括無線通信傳感器，例如，近場通信(nfc)傳感器、電磁傳感器，如射頻識別(frid)傳感器等。還可以設(shè)想各個傳感器類型的組合。音頻輸出單元16、36可以包括至少一個音頻揚聲器。輸入單元20、40可以包括觸敏或接近度敏感傳感器墊或表面。因此，ar設(shè)備10的輸入單元20可以被實現(xiàn)在其顯示單元14中。ar設(shè)備10可以包括觸敏顯示器14。如圖2中可見，輸入單元40可以與顯示單元34分離布置。因此，輸入單元40可以包括不同的觸敏墊或表面。輸入單元20、40還可以包括分立的輸入元件，例如，按鈕、鍵等。另外的輸入元件可以解決手勢檢測、語音識別等。

圖1的設(shè)備10被布置為表示由傳感器單元18(尤其是其相機)捕獲的現(xiàn)實世界場景的視圖。因此，設(shè)備10可以被布置為在顯示單元14處顯示由傳感器單元18感測的現(xiàn)實世界環(huán)境的“副本”。所述表示可以疊加有人工(“增強”)信息，以在執(zhí)行醫(yī)學(xué)流程時對正在查看顯示單元14的用戶進(jìn)行引導(dǎo)/導(dǎo)航。

相反地，圖2的設(shè)備40可以被布置為使得能夠進(jìn)行現(xiàn)實世界場景的或多或少的“直接”視圖。因此，不一定要求顯示單元34顯示現(xiàn)實世界場景的“副本”。相反，顯示單元34可以主要用于顯示額外的信息，該信息視覺地疊加在現(xiàn)實世界場景上以引導(dǎo)/導(dǎo)航用戶通過醫(yī)學(xué)流程。

圖3示意性示出了根據(jù)本公開的至少一些實施例的能夠被布置為ar設(shè)備10、30的手持器具的示例性布置。一般而言，圖3示出了示例性電子設(shè)備(尤其是例如如圖1和圖2所示的便攜式電子設(shè)備10或可穿戴電子設(shè)備30)的框圖。主要出于說明的目的提供了以下部分，因此不能在限制的意義上對其進(jìn)行理解。因此可以理解的是，在本公開的范圍內(nèi)的許多實施例中，不是圖3中示出的每個元件或模塊都必須被實現(xiàn)。

如圖3所示，設(shè)備10、30可以包括處理器單元22、42，其包括控制電子設(shè)備302的操作的至少一個微處理器54。此外，可以提供通信子系統(tǒng)50，其可以執(zhí)行與無線網(wǎng)絡(luò)52的通信發(fā)送和接收。

通信子系統(tǒng)50可以包括接收器58和發(fā)送器60。接收器58可以耦合到接收天線62。此外，可以提供數(shù)字信號處理器66，其用作通信子系統(tǒng)50的處理模塊。

處理器單元22、42還可以與ar設(shè)備10、30的多個部件(例如，輸入/輸出(i/o)子系統(tǒng)56)通信地耦合。輸入/輸出(i/o)子系統(tǒng)56可以包括或耦合到相機傳感器68、顯示器70、另外的傳感器72(例如，加速度計傳感器)、內(nèi)部系統(tǒng)存儲器74(例如，隨機存取存儲器)、標(biāo)準(zhǔn)通信端口76(例如，通用總線端口(usb端口))、非標(biāo)準(zhǔn)通信端口78(例如，專用端口)、輸入元件78(例如，鍵盤)、(物理或虛擬)按鈕和/或觸敏元件、揚聲器82、麥克風(fēng)84等。

除此之外，還存在另一子系統(tǒng)，例如額外的通信子系統(tǒng)86、另外的設(shè)備子系統(tǒng)88等。通信子系統(tǒng)86的范例是短程無線通信系統(tǒng)和相關(guān)聯(lián)的電路和部件。其他設(shè)備子系統(tǒng)88的范例可以包括額外的傳感器，其可以用于實現(xiàn)本公開的另外的方面。

一般而言，處理器54能夠執(zhí)行操作系統(tǒng)功能，并使得能夠執(zhí)行電子設(shè)備10、30上的程序。在一些實現(xiàn)方式中，不是所有上述部件都被包含在電子設(shè)備10、30中。

在設(shè)備10、30被布置用于移動網(wǎng)絡(luò)或電話服務(wù)的情況下，處理單元22、42還可以與非易失性計算機存儲介質(zhì)90(例如，閃存)耦合，并與用戶識別模塊(sim)接口92耦合。

在本文公開的至少一些實施例的上下文內(nèi)，存儲介質(zhì)90可以包含永久或臨時存儲的數(shù)據(jù)和應(yīng)用，例如，操作系統(tǒng)94、數(shù)據(jù)和程序管理應(yīng)用96、關(guān)于設(shè)備狀態(tài)的信息98、關(guān)于服務(wù)狀態(tài)的信息100、用戶聯(lián)系人(地址簿)102、其他信息104、以及用戶引導(dǎo)程序/應(yīng)用104。

用戶識別模塊(sim)接口92可以與可以包含標(biāo)識、用戶相關(guān)信息108以及另外的總體(網(wǎng)絡(luò))配置數(shù)據(jù)110的相應(yīng)的sim卡耦合。

進(jìn)一步參考圖4至圖7，示出并進(jìn)一步解釋了本公開的總體概念內(nèi)的用戶引導(dǎo)系統(tǒng)120。圖4示出了可以在醫(yī)學(xué)流程中使用(并且在一些情況下至少部分地消耗)的示例性醫(yī)學(xué)箱122。醫(yī)學(xué)流程一般包括要求以預(yù)定義的次序定義的(一個或多個)用戶動作的一系列步驟。根據(jù)ar設(shè)備10、30，醫(yī)學(xué)箱122可以定義用戶引導(dǎo)系統(tǒng)120，參考圖5至圖7。

圖4示出了醫(yī)學(xué)箱122的現(xiàn)實世界視圖。圖5至圖7示出了醫(yī)學(xué)箱122的增強視圖。換句話說，在圖4中，用戶可以直接查看醫(yī)學(xué)箱122。在圖5至圖7中，可以向設(shè)備10、30的用戶呈現(xiàn)由引導(dǎo)信息疊加的醫(yī)學(xué)箱122的介導(dǎo)視圖。在該方面，可以特別回憶圖2的頭戴式ar設(shè)備30被配置為使得能夠進(jìn)行現(xiàn)實世界場景的直接實況視圖。也就是說，在一些實施例中，僅僅額外的增強信息的表示通過ar設(shè)備30來生成，并被疊加在“真實的”現(xiàn)實世界場景上。

通過舉例的方式，醫(yī)學(xué)箱122可以被布置為例如用于化療患者的血液采樣箱。此外，醫(yī)學(xué)箱122可以被布置為用于糖尿病患者的血糖水平測量箱。一般而言，醫(yī)學(xué)箱122可以采取適于不同應(yīng)用的不同形式和組成。作為另一范例，醫(yī)學(xué)箱122可以被布置為妊娠測試箱。

醫(yī)學(xué)箱122可以包括基底、墊或板124。此外，醫(yī)學(xué)箱122可以包括醫(yī)學(xué)裝備126，其可以與基底124耦合或被布置在基底124處。通過舉例的方式，醫(yī)學(xué)設(shè)備126可以包括血液分析儀、血糖儀等。因此，醫(yī)學(xué)箱126可以使得能夠進(jìn)行醫(yī)學(xué)領(lǐng)域中相對復(fù)雜的操作，尤其是在門診環(huán)境中，例如在家庭環(huán)境的醫(yī)院中。當(dāng)然，還存在醫(yī)學(xué)箱122的另外的實施例，其不需要內(nèi)部分析/測量裝置。通過舉例的方式，醫(yī)學(xué)設(shè)備126然后可以包括樣本準(zhǔn)備單元，其用于準(zhǔn)備可以被發(fā)送給外部樣本分析服務(wù)的樣本(例如，血樣)。

醫(yī)學(xué)箱122可以包括殼體或容器128，其可以被布置為容納醫(yī)學(xué)裝備126。因此，醫(yī)學(xué)箱122可以被布置為集成箱，其包括完成醫(yī)學(xué)流程所需的所有或大部分對象?？梢岳每上牟牧现匦绿畛浠蜓a充醫(yī)學(xué)箱122。如上所述，醫(yī)學(xué)箱122通常包括多個對象132、134、136、138，其在圖5至圖7中由相應(yīng)框表示。對象132、134、136、138可以包括可消耗對象、一次性對象和/或可重用對象。對象132、134、136、138中的至少一些被裝備有所謂的覆蓋標(biāo)志142、144、146、148。對象132、134、136、138的范例被圖示在后文圖8至圖11中。

在醫(yī)學(xué)箱122的定義的位置處，可以提供可由ar設(shè)備10、30識別的參考標(biāo)記130。此外，醫(yī)學(xué)箱122(尤其是其基底124)可以被提供有可以被附接到基底124的多個所謂的基底標(biāo)志152、154、156、158。

標(biāo)志130、142-148、152-158一般可以被稱作ar標(biāo)志或標(biāo)簽。標(biāo)志130、142-148、152-158可以包括編碼數(shù)據(jù)，例如，一維或二維光學(xué)機器可讀圖案。此外，標(biāo)志130、142-148、152-158可以包括可以由傳感器單元18、38感測的數(shù)字存儲的數(shù)據(jù)，例如，rfid數(shù)據(jù)、nfc數(shù)據(jù)等。

參考標(biāo)志130可以允許關(guān)于參考位置/方向的結(jié)論。此外，參考標(biāo)志130可以指示醫(yī)學(xué)流程的類型。這樣，參考標(biāo)志130實際上可以在ar設(shè)備10、30處觸發(fā)正確的應(yīng)用和協(xié)議。更特別地，基于參考標(biāo)志的檢測，ar設(shè)備10、30可以導(dǎo)出基底標(biāo)志152、154、156、158的定義的位置(或設(shè)定位置)。由參考標(biāo)志130對流程的類型的指示可以具有ar設(shè)備10、30可以用于不同醫(yī)學(xué)流程的額外優(yōu)點。

對象132、134、136、138可以被標(biāo)記或標(biāo)注相應(yīng)的對象標(biāo)志或覆蓋標(biāo)志142、144、146、148。這可能涉及覆蓋標(biāo)志142、144、146、148被布置在對象的包裝處。因此，在執(zhí)行醫(yī)學(xué)流程或協(xié)議的過程中，每個對象132、134、136、138可以由設(shè)備10、30通過檢測其覆蓋標(biāo)志142、144、146、148來識別。本公開的主要方面是在基底標(biāo)志152、154、156、158和覆蓋標(biāo)志142、144、146、148之間的匹配的檢測。為此，為了完成多步驟流程的步驟，指導(dǎo)用戶將覆蓋標(biāo)志142、144、146、148放置在其配對基底標(biāo)志152、154、156、158的頂部上。這基本上需要以特定次序執(zhí)行。這可以涉及在消耗對象時從對象132、134、136、138移除覆蓋標(biāo)志142、144、146、148。在替代例中，這可以涉及將對象132、134、136、138放置在基底標(biāo)志152、154、156、158的頂部上，而覆蓋標(biāo)志142、144、146、148仍被附接到對象132、134、136、138，例如用于醫(yī)學(xué)儀器。

參考在現(xiàn)實世界環(huán)境中可見的視覺引導(dǎo)162，基底標(biāo)志152、154、156、158可以以特定次序或圖案被布置在基底124處。換句話說，可以稍微類似于提供現(xiàn)實世界視覺引導(dǎo)的“播放板”布置基底124。視覺引導(dǎo)162可以包括相應(yīng)的引導(dǎo)箭頭。

根據(jù)本文討論的至少一些實施例，在用戶執(zhí)行醫(yī)學(xué)流程同時查看顯示單元14、34的場景時，通過對用戶可見的人工引導(dǎo)信息補充視覺引導(dǎo)162。在圖5至圖7中示出相應(yīng)的視覺增強場景，其包含圖4所示的醫(yī)學(xué)箱122的間接視圖。

用戶引導(dǎo)系統(tǒng)120組合ar設(shè)備10、30和醫(yī)學(xué)箱122，其適于ar支持的用戶引導(dǎo)方法。ar設(shè)備10、30能夠生成可以疊加在現(xiàn)實世界場景上的虛擬信息。ar設(shè)備10、30能夠引導(dǎo)用戶通過醫(yī)學(xué)協(xié)議，如圖5至圖7中的框圖序列168所指示的。因此，用戶總是可以注意要被處理的醫(yī)學(xué)流程的當(dāng)前狀態(tài)或步驟。因此，參考圖5中的附圖標(biāo)記170，可以突出顯示當(dāng)前步驟。此外，ar設(shè)備10、30可以被布置為檢測和突出顯示在流程中使用的標(biāo)志142-148、152-158。例如，給定協(xié)議168的當(dāng)前步驟170，ar設(shè)備10、30可以監(jiān)視并跟蹤視線內(nèi)的標(biāo)志142-148、152-158，并突出顯示在當(dāng)前階段必須使用的標(biāo)志142、152(參考圖6和圖7)。在圖5中通過附圖標(biāo)記172(檢測到的覆蓋標(biāo)志)、174(檢測到的基底標(biāo)志)來指示成功檢測到的一對標(biāo)志142、152。ar設(shè)備10、30然后可以(視覺地)在顯示單元14、34處突出顯示標(biāo)志172、174，參考圖5中的示例性突出顯示元件178、180。

ar設(shè)備10、30可以提供另外的信息，例如，標(biāo)志142、152的標(biāo)識符。利用ar技術(shù)，ar設(shè)備10、30可以生成并顯示增強的視覺引導(dǎo)元件，例如如圖5所示的引導(dǎo)箭頭184。因此，可以強調(diào)導(dǎo)航路徑或方向，這便于在其相應(yīng)的配對基底標(biāo)志152的頂部(或至少附近)定位檢測到的覆蓋標(biāo)志142。以這種方式可以大大減少誤操作或操作員錯誤的風(fēng)險。即使用戶不是良好訓(xùn)練的專家，醫(yī)學(xué)流程也可以以相對小的努力來成功完成。

醫(yī)學(xué)流程或其至少一個(子)步驟可能受制于時間約束。ar設(shè)備10、30因此還可以被配置為跟蹤用戶動作的時間或持續(xù)時間，參考圖5中的示例性時間符號186。因此，ar設(shè)備可以指示步驟可以在適當(dāng)?shù)臅r間中完成，或者步驟處于時間關(guān)鍵的階段。在錯過時間限制的情況下，可以相應(yīng)地通知用戶，ar設(shè)備10、30可以中止流程的當(dāng)前步驟。在快要到達(dá)時間限制之前，ar設(shè)備10、30可以相應(yīng)地通知并鼓勵用戶以在適當(dāng)?shù)臅r間中完成時間關(guān)鍵的動作。

一般而言，用戶引導(dǎo)系統(tǒng)120還可以被布置為在檢測到操作錯誤或至少可能即將到來或即將來臨的操作錯誤的情況下提供校正性用戶引導(dǎo)。相應(yīng)的情形在圖6和圖7中示出。ar設(shè)備10、30能夠檢測何時用戶撿起或移動完成當(dāng)前(子)步驟170不需要的錯誤對象132、134、136、138的情形。此外，ar設(shè)備10、30能夠檢測用戶誤放置覆蓋標(biāo)志142、144、146、148的情形。因此，ar設(shè)備10、30可以提供錯誤反饋192，其引起用戶的注意，參考圖6。在圖6中，用戶錯誤地將覆蓋標(biāo)志132放置在基底標(biāo)志154的頂部，而不是在其意圖的配對物152上?？梢詸z測到該錯誤的處置。因此，可以提供校正性引導(dǎo)190。校正性引導(dǎo)190可以包括通過突出顯示其覆蓋標(biāo)志142、144、146、148來指示正確的對象132、134、136、138。校正性引導(dǎo)還可以包括將用戶導(dǎo)航到與當(dāng)前使用的覆蓋標(biāo)志142匹配的正確基底標(biāo)志152，如圖6由相應(yīng)的引導(dǎo)箭頭190所指示的。當(dāng)用戶能夠改正錯誤時，ar設(shè)備10、30可以提供正面反饋，以便指示用戶在執(zhí)行醫(yī)學(xué)流程中重回正軌。因此，ar設(shè)備10、30可以進(jìn)行下一(子)步驟，例如，處置下一對象134及其對應(yīng)的標(biāo)志144、154。

具體參考圖8至圖10，示出了可以在醫(yī)學(xué)流程中使用并且可以被標(biāo)記或標(biāo)注有相應(yīng)標(biāo)志的若干對象。圖8示出了示例性一次性對象200，其可以被布置為酒精擦片、石膏等，其可以被成形為墊212。圖9示出了另一示例性一次性對象204，其可以被布置為刺血針，例如用于收集血樣。被布置為藥瓶的另一示例性對象204被示出在圖10中。圖8的對象200包括一次性包裝206，其可以包括封蓋或蓋子208。對象200(特別是其包裝206)可以被標(biāo)記或標(biāo)注有覆蓋標(biāo)志210，其可以如圖4至圖7所示被ar設(shè)備10、30檢測和跟蹤。因此，用戶可以在醫(yī)學(xué)流程的(子)步驟中拆開對象200的包裝并使用墊212。為了確認(rèn)和完成(子)步驟的執(zhí)行，用戶將覆蓋標(biāo)志210放置在可以由ar設(shè)備10、30檢測到的相應(yīng)的基底標(biāo)志(圖8中未示出)處。

圖9的對象202也可以是一次性的。刺血針狀的對象202可以包括密封和容納刺血針218的一次性包裝216。通過舉例的方式，識別刺血針218的覆蓋標(biāo)志220可以被直接附接到刺血針218。因此，可以指導(dǎo)用戶將刺血針218放置在對應(yīng)的基底標(biāo)志的頂部上，以便指示流程的(子)步驟的完成。如圖10所示，對象204可以被布置為藥瓶。對象204可以包括瓶子或有塞小瓶狀的殼體224，其可以容納要在醫(yī)學(xué)流程期間使用的物質(zhì)226。在替代例中，對象204可以用于容納在醫(yī)學(xué)流程的過程期間獲得的樣本材料。瓶子狀殼體224可以包括蓋子或帽蓋228。在殼體224處或在帽蓋228處，可以布置覆蓋標(biāo)志230，其允許利用ar設(shè)備10、30檢測和跟蹤對象204。

進(jìn)一步參考圖11，其示出了示例性的醫(yī)學(xué)裝備的集合240。集合240可以包括用于醫(yī)學(xué)流程/在醫(yī)學(xué)流程中使用的材料、物質(zhì)、儀器等。集合240可以被布置為多功能集合，其被設(shè)置用于多于一種醫(yī)學(xué)流程。此外，集合240可以被布置用于重復(fù)執(zhí)行醫(yī)學(xué)流程，例如，可重用裝備或多個可消耗裝備，并且可以提供足夠量的物質(zhì)。例如，集合240可以包括至少一個止血帶242、至少一個紗布244、至少一個導(dǎo)管246、至少一個敷料/繃帶248、墊臂板、至少一個注射器252、至少一個酒精擦片254、手套256、膠帶258、其部件、以及相應(yīng)的替換材料。元件242-258中的每個可以因此被標(biāo)注或標(biāo)記有ar標(biāo)志。

圖12例示了在本公開的范圍內(nèi)的用戶引導(dǎo)系統(tǒng)的另一應(yīng)用領(lǐng)域。圖12示出了需要使用自動體外除顫器(aed)280的緊急情形。例如，患者284可能遭受心律不齊。遺憾的是，受過良好訓(xùn)練的(醫(yī)學(xué))專家通常在緊急情況下不能到達(dá)。通常，急救人員282非常沒有經(jīng)驗。盡管已確認(rèn)在標(biāo)準(zhǔn)訓(xùn)練情形下容易使用特定的自動體外除顫器280，但是緊急情況通常更麻煩。通常，急救人員282承受巨大的壓力。因此，基于ar的用戶引導(dǎo)系統(tǒng)可以支援急救人員282，并便于正確處置自動體外除顫器280，其可以涉及激活自動體外除顫器280，將電極286、288放置在患者284處，以及至少一定程度地控制自動體外除顫器280的操作。因此，自動體外除顫器280也可以形成用戶引導(dǎo)系統(tǒng)的部分。為此，可以附接相應(yīng)的覆蓋標(biāo)志和基底標(biāo)志，尤其是附接到電極286、288和aed的殼體。此外，可以提供在緊急醫(yī)學(xué)程序中用戶正在使用的ar設(shè)備10、30(參考圖1和圖2)處觸發(fā)和初始化相應(yīng)程序的參考標(biāo)志。

在已經(jīng)展示了由本公開覆蓋的若干替代的示例性方法之后，參考圖13，其示意性地示出了涉及能夠在根據(jù)本公開的至少一些方面的ar支持的環(huán)境中使用的醫(yī)學(xué)箱的布置的方法。該方法包括步驟s100，其涉及提供基底，尤其是基底片、基底墊、基底板等。所述基底被布置為可以附接ar標(biāo)志的基底層。ar標(biāo)志可以被ar設(shè)備檢測和跟蹤/追蹤。通過舉例的方式，在步驟s102中，所謂的參考標(biāo)志可以被附接到基底層。參考標(biāo)志可以提供位置參考，這可以便于和改善可以被附接到基底層的另外的標(biāo)志的檢測。在檢測到參考標(biāo)志之后，ar設(shè)備可以導(dǎo)出(預(yù))定義的位置，假設(shè)相應(yīng)的另外的標(biāo)志被放置在其處。此外，參考標(biāo)志可以指示要被準(zhǔn)備的醫(yī)學(xué)箱被布置用于的醫(yī)學(xué)流程的類型。

在另一步驟s104中，可以在基底層處布置多個基底標(biāo)志。優(yōu)選地，以特定圖案和/或次序布置基底標(biāo)志，以便反映意圖的醫(yī)學(xué)流程的過程或序列?；讟?biāo)志可以對ar設(shè)備(尤其是其傳感器單元)而言是可檢測的?；讟?biāo)志可以表示用戶可以放置對應(yīng)的覆蓋標(biāo)志以完成意圖的醫(yī)學(xué)流程的步驟的目標(biāo)。因此，ar設(shè)備可以檢測在基底標(biāo)志與覆蓋標(biāo)志之間的交疊。該事件可以指示相應(yīng)的(子)步驟的完成。

被裝備的基底層可以被視為構(gòu)成醫(yī)學(xué)流程的動作序列的現(xiàn)實世界的表示。然而，由于基底層被裝備有ar標(biāo)志，所以ar設(shè)備可以檢測和跟蹤所述層，并在相應(yīng)顯示器上提供被疊加在現(xiàn)實世界場景上的補充的虛擬信息。

另外的步驟s106可以包括提供被布置為要在執(zhí)行醫(yī)學(xué)流程的過程期間使用或消耗的多個醫(yī)學(xué)對象。例如，對象可以包括儀器、物質(zhì)、可消耗物品、一次性物品等。對象通常由用戶至少部分地手動處置。關(guān)于其醫(yī)學(xué)效果和特征，對象可以類似于傳統(tǒng)的醫(yī)學(xué)對象。

然而，在另一步驟s108中，ar標(biāo)志可以被附接到對象。附接ar標(biāo)志可以涉及直接將ar標(biāo)志附接到對象和/或?qū)r標(biāo)志附接到對象的包裝。至少在一些實施例中，在步驟s108中處理的ar標(biāo)志可以被稱作覆蓋標(biāo)志。對象可以被標(biāo)記或標(biāo)注有ar標(biāo)志。覆蓋標(biāo)志可以由ar設(shè)備檢測和跟蹤/追蹤。ar設(shè)備可以尤其適于檢測覆蓋標(biāo)志何時靠近基底標(biāo)志，優(yōu)選檢測覆蓋標(biāo)志何時覆蓋(隱藏)基底標(biāo)志。這可以發(fā)生在覆蓋標(biāo)志被放置在基底標(biāo)志的頂部時。在方法的又一步驟s110中，在共同的封裝單元中將被裝備的醫(yī)學(xué)對象和被裝備的基底層組合為例如醫(yī)學(xué)箱。因此，醫(yī)學(xué)箱可以被提供為可以基本上在沒有利用虛擬(人工)信息增強的現(xiàn)實環(huán)境中被處理。然而，醫(yī)學(xué)箱還被布置為要在ar增強環(huán)境中使用，因為提供了相應(yīng)的(機器可讀)標(biāo)志，至少基底標(biāo)志和覆蓋標(biāo)志。優(yōu)選地，還提供了參考標(biāo)志。

進(jìn)一步參考圖14，示出了圖示根據(jù)本公開的用戶引導(dǎo)方法的若干步驟的示意性框圖。首先，在步驟s200中，可以提供在本公開的上下文內(nèi)的便攜式增強現(xiàn)實設(shè)備，其被裝備用于醫(yī)學(xué)領(lǐng)域的ar應(yīng)用，尤其用于ar支持的用戶引導(dǎo)應(yīng)用以引導(dǎo)非專業(yè)的用戶(尤其是患者自身)通過相對復(fù)雜的醫(yī)學(xué)流程。為此，ar設(shè)備可以被裝備有相應(yīng)的部件，例如，至少一個(圖像)傳感器、顯示器和處理單元。此外，ar設(shè)備可以包括永久的和暫時的存儲器，其包括相應(yīng)的軟件代碼(軟件應(yīng)用或app)。另外，ar設(shè)備可以利用提供在遠(yuǎn)程位置處(例如，在云環(huán)境中)的軟件代碼。軟件代碼還可以包括描述ar設(shè)備被裝備用于的醫(yī)學(xué)流程或協(xié)議的算法。

后面可以跟隨另一步驟s202，其可以包括提供被布置用于ar支持的用戶引導(dǎo)的醫(yī)學(xué)箱。如以上結(jié)合圖13所示的方法所解釋的，醫(yī)學(xué)箱可以包括能夠由ar設(shè)備檢測和跟蹤的多個ar標(biāo)志(也稱作ar標(biāo)簽或ar標(biāo)記)。可以存在多個類型的ar標(biāo)志。例如，可以提供所謂的基底標(biāo)志和覆蓋標(biāo)志。覆蓋標(biāo)志可以關(guān)聯(lián)于(尤其是附接到)在執(zhí)行醫(yī)學(xué)流程時必須使用(尤其是手動處置或移除)的醫(yī)學(xué)對象?？梢砸钥梢苑从翅t(yī)學(xué)流程的若干步驟的預(yù)定義的圖案或次序布置基底標(biāo)志。用戶可以通過將覆蓋標(biāo)志放置靠近其指定的配對基底標(biāo)志(優(yōu)選在其頂部)來生成核對信號。ar設(shè)備能夠檢測相應(yīng)的匹配，這指示已經(jīng)成功完成醫(yī)學(xué)流程的(子)步驟。

優(yōu)選地，醫(yī)學(xué)箱還包括可以相對于基底標(biāo)志布置在基本預(yù)定義的位置中的參考標(biāo)志。在后續(xù)步驟s204中，ar設(shè)備可以檢測參考標(biāo)志。參考標(biāo)志可以指示計劃的醫(yī)學(xué)流程的類型。因此，可以觸發(fā)或選擇在ar設(shè)備處的正確的對應(yīng)(軟件)算法。優(yōu)選地，為此不需要明確的用戶輸入或僅需要一點用戶輸入。此外，參考標(biāo)志可以指示(或允許關(guān)于如下的結(jié)論)距離在執(zhí)行醫(yī)學(xué)流程時將放置覆蓋標(biāo)志的目標(biāo)位置的基底標(biāo)志的預(yù)期位置。

后面可以跟隨另一步驟s206，其包括提供ar補充的用戶引導(dǎo)以執(zhí)行醫(yī)學(xué)流程。步驟s206可以包括檢測和跟蹤標(biāo)志，以及突出顯示當(dāng)前要被處理的標(biāo)志以及它們的配對物。此外，用戶引導(dǎo)可以涉及對用戶進(jìn)行導(dǎo)航以將覆蓋標(biāo)志放置在其配對的基底標(biāo)志的頂部，同時符合期望的次序/序列。

在可以與步驟s206相關(guān)聯(lián)的監(jiān)視步驟s208中，ar設(shè)備可以監(jiān)視場景，從而基于檢測到的標(biāo)志和它們被處置和/或?qū)?zhǔn)的方式來監(jiān)視和控制用戶的活動。ar設(shè)備還可以被裝備為檢測有缺陷的用戶動作或至少可能有缺陷的用戶動作(例如，偏離醫(yī)學(xué)流程的期望次序，將覆蓋標(biāo)志放置在錯誤的基底標(biāo)志的頂部上，等等)。此外，ar設(shè)備可以被布置用于時間跟蹤，以便控制和驗證用戶是否能夠在給定時間約束內(nèi)完成要求的動作。

通過判定菱形來指示另一步驟s210。判定步驟s210可以包括關(guān)于用戶是否成功完成醫(yī)學(xué)流程的(子)步驟的判定。在檢測到有缺陷的或可能易于出錯的用戶動作的情況下，ar設(shè)備可以提供校正性反饋，參考步驟s212。校正性反饋可以涉及通知用戶錯誤已發(fā)生并且突出顯示可能的補救以將用戶返回到過程中。優(yōu)選地，可以提供即時或準(zhǔn)及時的過程內(nèi)反饋，這可以避免重復(fù)整個醫(yī)學(xué)流程。校正性反饋可以包括為當(dāng)前處置的覆蓋標(biāo)志突出顯示正確目標(biāo)，突出顯示要在當(dāng)前(子)步驟中使用的正確的覆蓋標(biāo)志，指示時間約束并鼓勵用戶以更快的節(jié)奏執(zhí)行流程等。

在檢測到用戶成功完成流程的相應(yīng)(子)步驟時，所述方法可以進(jìn)行到另一步驟s214。在用戶成功完成流程的每個步驟的情況下，方法可以在s214處結(jié)束。

參考圖15，示出了表示根據(jù)本公開的ar支持的監(jiān)視和用戶引導(dǎo)方法的若干步驟的另一說明性框圖。更具體地，圖15示出了可以在ar設(shè)備中實現(xiàn)的監(jiān)視和引導(dǎo)算法，如上所述。在可以被布置為判定步驟的初始步驟s300中，可以驗證是否檢測到參考標(biāo)志，例如參考標(biāo)志是否在ar設(shè)備的傳感器的視線內(nèi)。如果沒有參考標(biāo)志可檢測到，則步驟s302可以跟隨，其中ar設(shè)備繼續(xù)查找或?qū)ふ覅⒖紭?biāo)志。如上已經(jīng)指示的，參考標(biāo)志可以實際上觸發(fā)醫(yī)學(xué)流程的執(zhí)行，并且還可以指示在醫(yī)學(xué)流程中使用的醫(yī)學(xué)箱的初始設(shè)置。換句話說，ar設(shè)備可以被提供有關(guān)于醫(yī)學(xué)流程的要求步驟以及包括其覆蓋標(biāo)志和相關(guān)聯(lián)的基底標(biāo)志的對應(yīng)對象的信息。因此，ar設(shè)備可以意識到基底標(biāo)志的定義的位置以及它們意圖的次序。

如果檢測到參考標(biāo)志，則算法可以進(jìn)行到步驟s304，其可以包括檢查基底標(biāo)志是否在視線中。步驟s304可以集中于與醫(yī)學(xué)流程的正確的(子)步驟相關(guān)聯(lián)的基底標(biāo)志。在圖15中示出的算法的示例性實施例使用對應(yīng)基底標(biāo)志和覆蓋標(biāo)志的匹配來驗證已經(jīng)完成特定的(子)步驟。這可以涉及將覆蓋標(biāo)志放置在基底標(biāo)志的頂部上，使得基底標(biāo)志基本上不再對ar設(shè)備的傳感器單元可見。相反地，如果基底標(biāo)志仍在傳感器單元的視線內(nèi)，則(子)步驟尚未完成。因此，算法可以進(jìn)行到步驟s306，其可以包括查找和檢測當(dāng)前要被處理的覆蓋標(biāo)志。系統(tǒng)因此還可以檢測實際上接近其配對基底標(biāo)志的覆蓋標(biāo)志。

如果感興趣標(biāo)志的基底標(biāo)志不在視線內(nèi)或者不再在視線內(nèi)，則算法可以進(jìn)行到步驟s308，其包括檢測是否已經(jīng)將正確的覆蓋標(biāo)志放置在基底標(biāo)志的頂部。如果是這種情況，則存在當(dāng)前(子)步驟已經(jīng)成功完成的強烈指示。算法可以進(jìn)行到步驟s314，其可以包括根據(jù)圖15的算法的醫(yī)學(xué)流程的另一(子)步驟的算法或執(zhí)行的結(jié)束。

如果在步驟s308中確定尚未成功檢測到期望的覆蓋標(biāo)志，則算法可以進(jìn)行到步驟s310，其包括確定在基底標(biāo)志的頂部是否可以檢測到另一錯誤的覆蓋標(biāo)志。如果是這種情況，則算法可以進(jìn)行到步驟s316，并提供校正性反饋，其指示顯然已經(jīng)使用了附接了錯誤覆蓋標(biāo)志的錯誤對象。在替代例中，如果在步驟s310中根本沒有檢測到并識別為覆蓋基底標(biāo)志的任何覆蓋標(biāo)志，則算法可以進(jìn)行到步驟s312，并提供顯然已經(jīng)將不可識別的對象放置在基底標(biāo)志的頂部上的反饋。

在后文中，將提出并解釋在本公開的范圍內(nèi)的示例性實施例的另外的特性和優(yōu)點。

在一個實施例中，提供了一種包括被放置在物理上下文中并且可以被布置為指示目標(biāo)位置的增強現(xiàn)實標(biāo)志的系統(tǒng)，其中，可移動對象應(yīng)當(dāng)在要被執(zhí)行的醫(yī)學(xué)流程的過程中結(jié)束。為此，增強現(xiàn)實標(biāo)志可以被放置在可移動物理對象上。提供了包括顯示單元的ar設(shè)備，例如，智能電話、平板電腦或增強現(xiàn)實耳機。可以定義指定哪個可移動對象應(yīng)當(dāng)走到何處以及以何種次序的協(xié)議。ar設(shè)備可以被布置為在對象被誤放置時提供反饋。特別地，ar設(shè)備可以被布置為在對象已經(jīng)被誤放置的情況下相對于錯誤位置提供指示關(guān)于放置對象的位置的反饋的導(dǎo)航反饋或路線，以便使得能夠進(jìn)行協(xié)議內(nèi)校正。此外，當(dāng)處置和/或放置對象進(jìn)行得太慢而不能滿足完成總協(xié)議的期限時，ar設(shè)備可以被布置為提供反饋。如果用戶太慢，則可以提供關(guān)于下次應(yīng)當(dāng)更快地執(zhí)行哪個步驟的指示。

至少一些實施例可以包括在2d或3d空間中跟蹤可移動物理對象的位置和取向。如果實際檢測到的情形不同于由協(xié)議指定的情形，則可以借助于增強現(xiàn)實來在場景中直接示出什么是錯誤的以及如何改正該情形。通過舉例的方式，當(dāng)用戶處置對象b而不是對象a時，在對象a被分配給的指定時間或步驟，ar設(shè)備可以(例如，在顯示單元處)指示對象b被處置，而相反用戶應(yīng)當(dāng)處理對象a。類似地，當(dāng)用戶在對象a被分配給的位置處放下了對象b而不是對象a時，ar設(shè)備可以指示對象b是錯誤對象，在此刻感興趣的對象反而是對象a，對象b應(yīng)當(dāng)被放置在被分配有對象b的特定目標(biāo)位置處。此外，當(dāng)用戶超過時間限制(最后許可時間)時，對于特定的步驟，ar設(shè)備可以指示總流程不再能夠被及時完成，并鼓勵用戶加速。

在家庭醫(yī)院領(lǐng)域中的一個應(yīng)用領(lǐng)域可以是用于化療患者(尤其是相應(yīng)的門診病人)的血液分析。對應(yīng)地，可以提供醫(yī)學(xué)箱或醫(yī)學(xué)設(shè)備包括血液分析儀。血液分析儀是允許經(jīng)受化療或類似治療的患者在家測試其血液的設(shè)備。相應(yīng)的血液測試流程(本文也稱作醫(yī)學(xué)流程)可以包括包含必須以特定次序執(zhí)行的多個動作的協(xié)議。通過舉例的方式，相應(yīng)的(子)步驟可以包括：

-溫暖患者的手；

-對皮膚進(jìn)行消毒；

-刺破手指；

-將一滴血放入盒中；

-將盒插入到血液分析設(shè)備中；以及

-將創(chuàng)可貼放在手指上。

因此，協(xié)議的執(zhí)行要求多個消耗品(刺血針、酒精擦片、血液盒、創(chuàng)可貼)。此外，協(xié)議基本上是時間關(guān)鍵的：在刺破和將具有血液的盒放到血液分析儀之間，例如應(yīng)當(dāng)小于45秒。如果用戶沒有符合這個期限，則可能總協(xié)議需要再次執(zhí)行。這可能引起不適(再次刺破)，浪費時間以及還浪費材料(新的一次性針、新的一次性酒精擦片、新的血液盒)。因此，盡可能最好地引導(dǎo)用戶通過協(xié)議以及通過類似醫(yī)學(xué)流程是重要的。

另一應(yīng)用領(lǐng)域可以在急救護理領(lǐng)域中。如上所述，可以結(jié)合自動體外除顫器單元(aed)使用根據(jù)本文公開的至少一些實施例的系統(tǒng)。aed用于緊急護理中使用以使心臟停止纖顫，并確保所有的心臟肌肉再次同步收縮。當(dāng)使用aed時，使用多個元件，每個元件需要(在次序、位置等方面)被正確地放置。例如，這些元件和對象可以被布置為電極片。相應(yīng)的醫(yī)學(xué)流程必須被嚴(yán)格符合?；旧?，同樣應(yīng)用于針對復(fù)蘇的潛在的協(xié)議。應(yīng)用aed是尤其時間關(guān)鍵的。因此，在緊急護理領(lǐng)域中aed和相關(guān)的或類似的醫(yī)學(xué)流程也可以受益于增強現(xiàn)實引導(dǎo)，這可以由根據(jù)本文公開的至少一些實施例的系統(tǒng)提供。

在權(quán)利要求中，詞語“包括”不排除其他元件或步驟，并且詞語“一”或“一個”不排除多個。單個元件或其他單元可以完成在權(quán)利要求中記載的若干項的功能。事實上，在相互不同的從屬權(quán)利要求中記載的特定措施不指示不能有利地使用這些措施的組合。

計算機程序可以存儲/分布在適當(dāng)?shù)?非瞬態(tài))介質(zhì)上，例如，與其他硬件一起或作為其他硬件的一部分供應(yīng)的光學(xué)存儲介質(zhì)或固態(tài)介質(zhì)，但是還可以以其他形式分布，例如經(jīng)由互聯(lián)網(wǎng)或其他有線或無線電信系統(tǒng)。此外，不同的實施例可以采取計算機程序產(chǎn)品的形式，其可以從計算機可用或計算機可讀介質(zhì)訪問，提供用于由計算機或執(zhí)行指令的任何設(shè)備或系統(tǒng)使用或結(jié)合其使用的程序代碼。出于本公開的目的，計算機可用或計算機可讀介質(zhì)一般可以是任何有形裝置，其可以包含、存儲、通信、傳播或傳輸用于由指令執(zhí)行設(shè)備使用或結(jié)合其使用的程序。

此外，不同的實施例可以采用從計算機可用或計算機可讀介質(zhì)可訪問的計算機程序產(chǎn)品的形式，其提供用于由計算機或執(zhí)行指令的任何設(shè)備或系統(tǒng)使用或結(jié)合其使用的程序代碼。出于本公開的目的，計算機可用或計算機可讀介質(zhì)一般可以是任何有形設(shè)備或裝置，其可以包含、存儲、通信、傳播或傳輸用于由指令執(zhí)行設(shè)備使用或結(jié)合其使用的程序。

目前本公開的實施例已經(jīng)被描述為至少部分地由軟件控制的數(shù)據(jù)處理設(shè)備實現(xiàn)，將認(rèn)識到，承載這種軟件的非瞬態(tài)機器可讀介質(zhì)(例如，光盤、磁盤、半導(dǎo)體存儲器等)也被認(rèn)為表示本公開的實施例。

計算機可用或計算機可讀介質(zhì)可以是例如但不限于電子的、磁的、光學(xué)的、電磁的、紅外的或半導(dǎo)體的系統(tǒng)或傳播介質(zhì)。計算機可讀介質(zhì)的非限制性范例包括半導(dǎo)體或固態(tài)存儲器、磁帶、可移除計算機磁帶盒、隨機存取存儲器(ram)、只讀存儲器(rom)、剛性磁盤、以及光盤。光盤可以包括壓縮盤-只讀存儲器(cd-rom)、壓縮盤-讀/寫(cd-r/w)、以及dvd。

此外，計算機可用或計算機可讀介質(zhì)可以包含或存儲計算機可讀或可用程序代碼，使得當(dāng)計算機可讀或可用程序代碼在計算機上執(zhí)行時，對該計算機可讀或可用程序代碼的執(zhí)行使計算機通過通信鏈路發(fā)送另一計算機可讀或可用程序代碼。該通信鏈路可以使用例如但不限于物理或無線的介質(zhì)。

適于存儲和/或執(zhí)行計算機可讀或計算機可用程序代碼的數(shù)據(jù)處理系統(tǒng)或設(shè)備將包括一個或多個處理器，其通過通信結(jié)構(gòu)(例如，系統(tǒng)總線)直接或間接耦合到存儲器元件。存儲器元件可以包括在程序代碼的實際執(zhí)行期間采用的本地存儲器、大容量存儲設(shè)備以及高速緩存存儲器，其提供對至少一些計算機可讀或計算機可用程序代碼的臨時存儲，以減少在執(zhí)行代碼期間從大容量存儲設(shè)備取回代碼的次數(shù)。

輸入/輸出或i/o設(shè)備可以直接或通過中介i/o控制器耦合到系統(tǒng)。這些設(shè)備可以包括例如但不限于：鍵盤、觸摸屏顯示器和指點設(shè)備。不同的通信適配器還可以耦合到系統(tǒng)以使得數(shù)據(jù)處理系統(tǒng)通過中介私有或公共網(wǎng)絡(luò)耦合到其他數(shù)據(jù)處理系統(tǒng)、遠(yuǎn)程打印機、或存儲設(shè)備。非限制性范例是調(diào)制解調(diào)器和網(wǎng)絡(luò)適配器，并且少數(shù)是當(dāng)前可用類型的通信適配器。

出于說明和描述的目的已經(jīng)提出了不同說明性實施例的描述，并且所述描述不旨在是窮盡的或受限于所公開的形式的實施例。對本領(lǐng)域普通技術(shù)人員而言許多修改和變型是顯而易見的。此外，與其他說明性實施例相比，不同的說明性實施例可以提供不同的優(yōu)點。選擇并描述了所選的一個或多個實施例，以便最好地解釋實施例的原理、實際應(yīng)用，并使得本領(lǐng)域其他普通技術(shù)人員能夠理解具有各種修改的各種實施例的公開適于預(yù)見到的特定用途。通過研究附圖、說明書和隨附權(quán)利要求，本領(lǐng)域技術(shù)人員在實踐要求保護的本發(fā)明時可以理解和實現(xiàn)公開實施例的其他變型。

權(quán)利要求書中的任何附圖標(biāo)記不應(yīng)被解釋為對范圍的限制。