本發(fā)明涉及對(duì)接系統(tǒng),包括布置用于與對(duì)接器(dockee)無線對(duì)接的至少一個(gè)主機(jī)以及耦合到所述至少一個(gè)主機(jī)的多個(gè)外設(shè)。主機(jī)可以具有一個(gè)或多個(gè)內(nèi)置外設(shè),和/或可以布置用于耦合到至少一個(gè)外部外設(shè)。當(dāng)對(duì)接時(shí),主機(jī)可以為對(duì)接器提供對(duì)相應(yīng)外設(shè)的接入。
本發(fā)明還涉及對(duì)接器、主機(jī)、主機(jī)方法、對(duì)接器方法、以及用于主機(jī)和對(duì)接器之間的對(duì)接的計(jì)算機(jī)程序產(chǎn)品。
本發(fā)明涉及無線通信的領(lǐng)域,例如經(jīng)由wi-fi,并且更具體地涉及頭部可穿戴設(shè)備到主機(jī)的對(duì)接以用于接入一個(gè)或多個(gè)外設(shè)。在該上下文中,外設(shè)可以是外部設(shè)備,比如顯示器、鍵盤或鼠標(biāo),或者外設(shè)可以是內(nèi)置在主機(jī)中的外設(shè),比如揚(yáng)聲器或存儲(chǔ)單元。例如,tv也可以是主機(jī),即主機(jī)內(nèi)置在tv中并且構(gòu)成可以提供對(duì)多個(gè)外設(shè)的接入的主機(jī)。接入和/或使用這樣的外設(shè)和/或主機(jī)的任何其它內(nèi)部或外部資源可以稱為由主機(jī)提供的服務(wù)。
背景技術(shù):
無線對(duì)接使得移動(dòng)設(shè)備(還稱為對(duì)接器)能夠在無線鏈路(例如基于使用如在ieee802.11中描述的wi-fi)之上通過一組通用消息交換協(xié)議而接入通過導(dǎo)線本地附連或無線連接到主機(jī)設(shè)備(還稱為無線對(duì)接站)的一組外設(shè)(諸如鼠標(biāo)、顯示器、機(jī)器工具等)。與一個(gè)或多個(gè)有線或無線外設(shè)耦合在一起的主機(jī)可以稱為無線對(duì)接環(huán)境。
無線對(duì)接例如從wo2012/117306a1得知。無線對(duì)接站可以使得能夠?qū)崿F(xiàn)至少一個(gè)對(duì)接器與主機(jī)之間的無線保密通信。無線對(duì)接主機(jī)可以通過wi-fi信標(biāo)提供關(guān)于其存在性的信息,對(duì)接器可以將該信息用于選擇和發(fā)起與所選主機(jī)的連接。
技術(shù)實(shí)現(xiàn)要素:
在各種復(fù)雜的操作環(huán)境(例如手術(shù)室、空中交通控制、金融、軟件開發(fā)等)中,用戶可以具有對(duì)各種外設(shè)的接入。在此文檔中,詞語外設(shè)包括耦合到主機(jī)并且為用戶提供功能性的任何物理設(shè)備,所述功能性諸如信息的輸入或輸出、交互或控制,例如顯示器或交互式工具。這樣的功能性的示例包括:
–選擇在給定時(shí)間顯示哪些信息源;
–縮放到顯示器的某個(gè)區(qū)域中;
–示出附加的信息;
–接通/關(guān)斷一些外圍設(shè)備;
–創(chuàng)建注釋;
–發(fā)送/接收消息;
–與其他人通信(例如視頻聊天)。
用戶可能想要與外設(shè)的所選子集交互。例如,用戶可以被多個(gè)不同的設(shè)備(例如多個(gè)監(jiān)視器、控制面板等)提供有相關(guān)信息。為了執(zhí)行某個(gè)任務(wù),用戶可能需要具有對(duì)一個(gè)或多個(gè)所選外設(shè)的某種形式的控制以及與一個(gè)或多個(gè)所選外設(shè)的交互。
用戶可以具有無線設(shè)備并且可以從可用外設(shè)的列表選擇外設(shè)或服務(wù),并且可以嘗試與其連接以與外設(shè)交互。做出這樣的選擇和連接花費(fèi)時(shí)間和努力,并且要求用戶動(dòng)作。而且,用戶(例如手術(shù)室中的外科醫(yī)生)可能忙于將占用他的雙手的其它任務(wù)。如果用戶將需要使用鼠標(biāo)或鍵盤以用于這些設(shè)備的控制或交互,則將是麻煩的。
而且,由于wi-fi信號(hào)的范圍可以到達(dá)數(shù)十米,因此可以在wi-fi范圍內(nèi)發(fā)現(xiàn)供應(yīng)wi-fi服務(wù)的相當(dāng)眾多的設(shè)備。用戶可能牽涉到選擇要連接到的正確設(shè)備/服務(wù)中。然而,從呈現(xiàn)給用戶的設(shè)備/服務(wù)的列表,哪個(gè)條目對(duì)應(yīng)于哪個(gè)設(shè)備可能不是非常清楚的。
本發(fā)明的目的是提供一種用于無線對(duì)接的系統(tǒng),其使得能夠選擇用于使用的外設(shè)而同時(shí)減少所需要的用戶交互和時(shí)間的量。
為此目的,根據(jù)本發(fā)明的第一方面,在如開頭段落中描述的對(duì)接系統(tǒng)中,主機(jī)包括主機(jī)處理器,其布置用于
–傳輸外設(shè)消息,每一個(gè)外設(shè)消息包括外設(shè)數(shù)據(jù),所述外設(shè)數(shù)據(jù)指示至少一個(gè)外設(shè)的服務(wù)的可用性,
–與對(duì)接器對(duì)接,
–接收指示所選外設(shè)的選擇消息,以及
–為對(duì)接器提供對(duì)所選外設(shè)的接入,
對(duì)接器是布置用于無線對(duì)接的頭部可穿戴設(shè)備,并且
頭部可穿戴設(shè)備包括
–相機(jī),用于捕獲包括外設(shè)的操作環(huán)境的圖像,以及
–對(duì)接器處理器,布置用于
–接收外設(shè)消息,
–處理圖像以用于標(biāo)識(shí)外設(shè),
–經(jīng)由頭部可穿戴設(shè)備基于穿戴者的觀看方向而檢測(cè)操作環(huán)境中的聚焦位置,
–使用聚焦位置從所標(biāo)識(shí)的外設(shè)當(dāng)中選擇外設(shè),
–通過依賴于所接收的外設(shè)消息而確定提供對(duì)所選外設(shè)的接入的主機(jī)來確定所選主機(jī),以及
–對(duì)接到所選主機(jī),
–發(fā)送指示所選外設(shè)的選擇消息,以及
–接入所選外設(shè)并且使用所選外設(shè)的服務(wù)。
為此目的,一種用于使用在以上系統(tǒng)中的頭部可穿戴設(shè)備包括
–相機(jī),用于捕獲包括外設(shè)的操作環(huán)境的圖像,
–對(duì)接器處理器,布置用于
–接收外設(shè)消息,
–處理圖像以用于標(biāo)識(shí)外設(shè),
–經(jīng)由頭部可穿戴設(shè)備基于穿戴者的觀看方向而檢測(cè)操作環(huán)境中的聚焦位置,
–基于聚焦位置從所標(biāo)識(shí)的外設(shè)當(dāng)中選擇外設(shè),
–通過依賴于所接收的外設(shè)消息而確定提供對(duì)所選外設(shè)的接入的主機(jī)來確定所選主機(jī),以及
–對(duì)接到所選主機(jī),
–發(fā)送指示所選外設(shè)的選擇消息,以及
–接入所選外設(shè)并且使用所選外設(shè)的服務(wù)。
為此目的,一種用于使用在以上系統(tǒng)中的主機(jī)設(shè)備布置用于與充當(dāng)對(duì)接器的頭部可穿戴設(shè)備無線對(duì)接并且用于為頭部可穿戴設(shè)備提供對(duì)外設(shè)中的至少一個(gè)的接入,主機(jī)包括主機(jī)處理器,布置用于
–傳輸外設(shè)消息,每一個(gè)外設(shè)消息包括外設(shè)數(shù)據(jù),所述外設(shè)數(shù)據(jù)指示至少一個(gè)外設(shè)的服務(wù)的可用性,
–對(duì)接作為對(duì)接器的頭部可穿戴設(shè)備,
–接收指示所選外設(shè)的選擇消息,以及
–為對(duì)接器提供對(duì)所選外設(shè)的接入。
為此目的,提供了一種用于使用在作為以上系統(tǒng)中的對(duì)接器的頭部可穿戴設(shè)備中的對(duì)接器對(duì)接方法,該方法包括
–接收外設(shè)消息,
–處理圖像以用于標(biāo)識(shí)外設(shè),
–經(jīng)由頭部可穿戴設(shè)備基于穿戴者的觀看方向而檢測(cè)操作環(huán)境中的聚焦位置,
–基于聚焦位置從所標(biāo)識(shí)的外設(shè)當(dāng)中選擇外設(shè),
–通過依賴于所接收的外設(shè)消息而確定提供對(duì)所選外設(shè)的接入的主機(jī)來確定所選主機(jī),以及
–對(duì)接到所選主機(jī),
–發(fā)送指示所選外設(shè)的選擇消息,以及
–接入所選外設(shè)并且使用所選外設(shè)的服務(wù)。
為此目的,提供了一種用于使用在以上系統(tǒng)中的主機(jī)中的主機(jī)對(duì)接方法,主機(jī)布置用于與作為對(duì)接器的頭部可穿戴設(shè)備無線對(duì)接,并且用于為頭部可穿戴設(shè)備提供對(duì)外設(shè)中的至少一個(gè)的接入,該方法包括
–傳輸外設(shè)消息,每一個(gè)外設(shè)消息包括外設(shè)數(shù)據(jù),所述外設(shè)數(shù)據(jù)指示至少一個(gè)外設(shè)的服務(wù)的可用性,
–提供顯示在外設(shè)的顯示器上的主動(dòng)視覺標(biāo)記物,
–對(duì)接作為對(duì)接器的頭部可穿戴設(shè)備,
–接收指示所選外設(shè)的選擇消息,以及
–為對(duì)接器提供對(duì)所選外設(shè)的接入。
該措施具有如下實(shí)現(xiàn)對(duì)接的效果。提出頭部可穿戴設(shè)備以用于使用在用于選擇要使用的相應(yīng)外設(shè)的系統(tǒng)中。多個(gè)外設(shè)存在于操作環(huán)境中。對(duì)接意味著實(shí)際地提供所選外設(shè)作為附加i/o外設(shè)以操作對(duì)接器,在該情況下頭部可穿戴設(shè)備或耦合到頭部可穿戴設(shè)備的聽筒。例如,輸入外圍設(shè)備,諸如鼠標(biāo)或鍵盤,將實(shí)際地作為用于可穿戴設(shè)備的輸入設(shè)備而操作。如果在操作環(huán)境中存在許多外圍設(shè)備,通過看向設(shè)備以使得對(duì)接器能夠智能地且自動(dòng)地連接到所述多個(gè)可用外圍設(shè)備之中的所選外設(shè)來做出選擇。
在主機(jī)中,主機(jī)處理器布置用于傳輸外設(shè)消息,外設(shè)消息標(biāo)識(shí)主機(jī)并且包括指示所述至少一個(gè)外設(shè)的可用性的外設(shè)數(shù)據(jù),用于使得頭部可穿戴設(shè)備在接收到外設(shè)消息時(shí)能夠確定提供對(duì)所選外設(shè)的接入的所選主機(jī)。外設(shè)消息向無線傳輸范圍中的任何對(duì)接器輸送外設(shè)數(shù)據(jù),并且向頭部可穿戴設(shè)備通知可用外設(shè)。
頭部可穿戴設(shè)備具有用于捕獲操作環(huán)境中的外設(shè)的圖像的相機(jī),以及稱為對(duì)接器處理器的處理器。相機(jī)通常定向在頭部可穿戴設(shè)備(例如智能護(hù)目鏡)的穿戴者的觀看方向上。在操作中,對(duì)接器處理器經(jīng)由頭部可穿戴設(shè)備檢測(cè)穿戴者相對(duì)于操作環(huán)境的聚焦位置。由于穿戴者的眼睛在居中取向中,因此聚焦位置可以對(duì)應(yīng)于筆直向前看的穿戴者的視場(chǎng)中的中心位置。
對(duì)接器處理器布置用于處理圖像以用于標(biāo)識(shí)外設(shè)。接著,使用聚焦位置從圖像中的外設(shè)當(dāng)中選擇外設(shè),例如通過使得在觀看方向上來自相機(jī)的線與操作環(huán)境的圖像相交。如所選擇的外設(shè)還稱為所選外設(shè)。對(duì)于單個(gè)相機(jī),這可能不是所捕獲的圖像的中間像素,但是可以通過相機(jī)關(guān)于頭部和眼睛的物理位置來校正。例如,相交線可以用于立體相機(jī)。選擇最靠近相交點(diǎn)的外設(shè)。
接著,通過確定提供對(duì)所選外設(shè)的接入的主機(jī)來找到所選主機(jī),并且對(duì)接器處理器布置用于對(duì)接到所選主機(jī)并接入所選外設(shè)。選擇消息可以在例如穿戴者已經(jīng)聚焦在特定外設(shè)上最小量的時(shí)間時(shí)生成,所述最小量的時(shí)間確保穿戴者正聚焦于某個(gè)設(shè)備而不是簡(jiǎn)單地四處看。主機(jī)包括主機(jī)處理器,其在操作中接收指示所選外設(shè)的選擇消息,并且隨后對(duì)接作為對(duì)接器的頭部可穿戴設(shè)備,并且提供對(duì)所選外設(shè)的接入。有利地,在操作環(huán)境中的多個(gè)可用外設(shè)之中,通過穿戴者看向外設(shè)來選擇要使用或控制的外設(shè)。
根據(jù)本發(fā)明的方法可以作為計(jì)算機(jī)實(shí)現(xiàn)的方法實(shí)現(xiàn)在計(jì)算機(jī)上,或者在專用硬件中,或者在二者的組合中。用于根據(jù)本發(fā)明的方法的可執(zhí)行代碼可以存儲(chǔ)在計(jì)算機(jī)程序產(chǎn)品上。計(jì)算機(jī)程序產(chǎn)品的示例包括存儲(chǔ)器設(shè)備、光學(xué)存儲(chǔ)設(shè)備、集成電路、服務(wù)器、在線軟件等。優(yōu)選地,計(jì)算機(jī)程序產(chǎn)品包括存儲(chǔ)在計(jì)算機(jī)可讀介質(zhì)上以用于在計(jì)算機(jī)上執(zhí)行所述程序產(chǎn)品時(shí)執(zhí)行根據(jù)本發(fā)明的方法的非暫時(shí)性程序代碼部件。在實(shí)施例中,計(jì)算機(jī)程序包括計(jì)算機(jī)程序代碼部件,其適配成當(dāng)計(jì)算機(jī)程序在計(jì)算機(jī)上運(yùn)行時(shí)執(zhí)行根據(jù)本發(fā)明的方法的所有步驟。計(jì)算機(jī)程序可以體現(xiàn)在計(jì)算機(jī)可讀介質(zhì)上。
可選地,在以上對(duì)接系統(tǒng)中,至少一個(gè)外設(shè)和/或主機(jī)處理器布置用于提供顯示在外設(shè)的顯示器上的主動(dòng)視覺標(biāo)記物,并且對(duì)接器處理器布置用于通過檢測(cè)圖像中的視覺標(biāo)記物來標(biāo)識(shí)外設(shè)。有利地,外設(shè)動(dòng)態(tài)地示出主動(dòng)標(biāo)記物并且使用視覺標(biāo)記物來標(biāo)識(shí)以將外設(shè)從其環(huán)境和/或圖像中的其它類似設(shè)備區(qū)分開。
可選地,頭部可穿戴設(shè)備包括用于顯示如由穿戴者經(jīng)由頭部可穿戴設(shè)備感知的操作環(huán)境之上的覆蓋圖(overlay)的顯示單元,并且對(duì)接器處理器布置用于生成覆蓋圖并且其中視覺地標(biāo)記外設(shè)中的至少一個(gè)。有利地,幫助穿戴者聚焦在可用于對(duì)接的外設(shè)上。而且,對(duì)接器處理器可以布置成通過基于外設(shè)到穿戴者的距離而視覺地優(yōu)先化外設(shè)來用于所述標(biāo)記。優(yōu)先化意味著使得更加合適的外設(shè)在視覺上更加突出,例如通過高亮或使用顏色或圖形符號(hào)。有利地,合適的外設(shè)基于與穿戴者的接近性而在視覺上區(qū)分和排序。而且,對(duì)接器處理器可以布置成通過基于對(duì)接器使用外設(shè)的之前會(huì)話的會(huì)話信息來視覺優(yōu)先化外設(shè)而用于所述標(biāo)記。有利地,在將之前會(huì)話中的在先使用考慮在內(nèi)的情況下,穿戴者可以選擇和繼續(xù)與所選外設(shè)一起工作,例如使用早前已經(jīng)使用的相同打印機(jī)。而且,對(duì)接器處理器可以布置成通過基于穿戴者的當(dāng)前狀態(tài)來視覺優(yōu)先化外設(shè)而用于所述標(biāo)記。有利地,系統(tǒng)確定當(dāng)前狀態(tài),例如坐著或站著,并且基于此而優(yōu)先化合適的外設(shè)。而且,對(duì)接器處理器可以布置成通過在視覺上指示可用但是在如由穿戴者感知的操作環(huán)境中不可見的外設(shè)而用于所述標(biāo)記。例如,合適的外設(shè)可能隱藏在其它物體后面或者剛好在視場(chǎng)外部,并且系統(tǒng)可以通過表示外設(shè)的符號(hào)或箭頭來圖形標(biāo)記位置。
可選地,在頭部可穿戴設(shè)備中,對(duì)接器處理器布置用于通過將圖像中的中心位置視為指示相對(duì)于操作環(huán)境的觀看方向而經(jīng)由相機(jī)檢測(cè)聚焦位置,由于穿戴者的眼睛在居中取向中,因此聚焦位置對(duì)應(yīng)于筆直向前看的穿戴者的視場(chǎng)中的中心位置,并且選擇最接近聚焦位置的外設(shè)。有利地,基于如在圖像中檢測(cè)的聚焦位置而選擇處于或靠近聚焦位置的外設(shè)。
可選地,在頭部可穿戴設(shè)備中,對(duì)接器處理器布置用于通過檢測(cè)穿戴者的眼睛的實(shí)際取向并且確定實(shí)際取向從居中取向的偏移量而檢測(cè)凝視方向,并且依賴于偏移量而使聚焦位置移位。由于穿戴者的眼睛在居中取向中,因此聚焦位置可以對(duì)應(yīng)于筆直向前看的穿戴者的視場(chǎng)中的中心位置,或者由于穿戴者的眼睛看向與頭部可穿戴設(shè)備指向的方向不同的方向,因此聚焦位置可以對(duì)應(yīng)于離心位置。這可以通過指向穿戴者的眼睛處的面向內(nèi)的附加相機(jī)來檢測(cè)。有利地,聚焦位置通過穿戴者的實(shí)際凝視方向來增強(qiáng),并且基于圖像中的經(jīng)增強(qiáng)的聚焦位置而選擇外設(shè)。
可選地,在頭部可穿戴設(shè)備中,對(duì)接器處理器布置用于檢測(cè)從穿戴者的眼睛到外設(shè)的觀看距離,并且依賴于觀看距離而使所述聚焦位置移位。有利地,聚焦位置通過到外設(shè)的實(shí)際觀看距離來增強(qiáng),并且基于圖像中的經(jīng)增強(qiáng)的聚焦位置而選擇外設(shè)。
可選地,在頭部可穿戴設(shè)備中,對(duì)接器處理器布置用于通過參考預(yù)配置的設(shè)置而標(biāo)識(shí)操作環(huán)境圖中的外設(shè),預(yù)配置的設(shè)置限定操作環(huán)境中的多個(gè)外設(shè)的位置。例如,對(duì)接主機(jī)可以提供加注釋的圖像,對(duì)接器可以與加注釋的圖像比較其當(dāng)前圖像。有利地,基于相對(duì)于如在圖像中捕獲的操作環(huán)境的已知、預(yù)配置的設(shè)置的位置而選擇外設(shè)。
可選地,在頭部可穿戴設(shè)備中,對(duì)接器處理器布置用于通過基于外設(shè)的視覺性質(zhì)識(shí)別外設(shè)而標(biāo)識(shí)操作環(huán)境中的外設(shè)。例如,性質(zhì)可以由對(duì)接主機(jī)、外設(shè)自身提供,或者可以基于設(shè)備發(fā)現(xiàn)信息而從因特網(wǎng)提取。有利地,通過使用其視覺性質(zhì)來檢測(cè)外設(shè),比如形狀、特定顏色、品牌或類型。
可選地,在頭部可穿戴設(shè)備中,對(duì)接器處理器布置用于通過檢測(cè)圖像中的視覺標(biāo)記物來標(biāo)識(shí)外設(shè)。視覺標(biāo)記物可以是例如qr碼或條形碼。這樣的視覺標(biāo)記物被設(shè)計(jì)用于由圖像處理器讀取,并且可以包含關(guān)于外設(shè)的另外的信息。視覺標(biāo)記物可以是例如具有圖形符號(hào)和/或文本的標(biāo)簽。有利地,這樣的符號(hào)或文本可以由圖像處理器檢測(cè),并且清楚地標(biāo)識(shí)相應(yīng)外設(shè)。
可選地,至少一個(gè)外設(shè)和/或主機(jī)處理器布置用于提供顯示在外設(shè)的顯示器上的主動(dòng)視覺標(biāo)記物。視覺標(biāo)記物可以是例如顯示在由外設(shè)自身控制的外設(shè)的顯示器上的主動(dòng)視覺標(biāo)記物。有利地,標(biāo)記物可以由主機(jī)動(dòng)態(tài)地創(chuàng)建/適配以表示在外設(shè)處可用的實(shí)際服務(wù)或功能。
在隨附權(quán)利要求中給出根據(jù)本發(fā)明的設(shè)備和方法的另外的優(yōu)選實(shí)施例,隨附權(quán)利要求的公開內(nèi)容通過引用并入本文。
附圖說明
本發(fā)明的這些和其它方面將從通過示例的方式在以下描述中描述的實(shí)施例并且參照附圖而是明顯的,并且將進(jìn)一步參照其進(jìn)行闡述,其中
圖1示出包括頭部可穿戴設(shè)備的對(duì)接系統(tǒng),
圖2示出具有多個(gè)外設(shè)和頭部可穿戴設(shè)備的操作環(huán)境的示例,
圖3示出用于選擇對(duì)接器處的外設(shè)的對(duì)接方法,以及
圖4示出主機(jī)處的對(duì)接方法。
各圖純粹是示意性的并且未按比例繪制。在各圖中,與已經(jīng)描述的元件對(duì)應(yīng)的元件可以具有相同的參考標(biāo)號(hào)。
具體實(shí)施方式
在此文檔中,無線對(duì)接是關(guān)于使得移動(dòng)設(shè)備(稱為對(duì)接器)能夠無線連接到主機(jī)供給。通過無線對(duì)接,主機(jī)向?qū)悠魈峁﹥?nèi)置在主機(jī)中和/或耦合到主機(jī)的可用外設(shè)的服務(wù),使得移動(dòng)設(shè)備上的應(yīng)用可以利用外設(shè)的服務(wù)來改進(jìn)與這些應(yīng)用一起的工作/交互的體驗(yàn)和生產(chǎn)力。服務(wù)的發(fā)現(xiàn)/通告以及管理到外設(shè)的連接可以由主機(jī)執(zhí)行,這使得服務(wù)的功能性通過無線對(duì)接協(xié)議而可用??赡艿闹鳈C(jī)包括(但不限于)專用無線對(duì)接站設(shè)備、顯示設(shè)備、音頻設(shè)備、打印機(jī)、pc。無線對(duì)接主機(jī)還可以是具有顯示器、usb和音頻接口的小型(pc式)電子狗??赡艿耐庠O(shè)包括(但不限于)鼠標(biāo)、鍵盤、顯示設(shè)備、音頻設(shè)備、網(wǎng)絡(luò)相機(jī)、打印機(jī)、存儲(chǔ)設(shè)備、usb集線器、網(wǎng)絡(luò)接口、機(jī)器工具、醫(yī)學(xué)裝備、工業(yè)控制面板等。這些外設(shè)可以是無線的并且可以支持諸如wi-fi串行總線和wi-fimiracast之類的標(biāo)準(zhǔn)以使其功能性通過無線網(wǎng)絡(luò)可用于主機(jī)。有線外設(shè)還可以連接到無線主機(jī)(例如usb、hdmi、dvi、vga、模擬音頻、模擬視頻等)。靠近提供對(duì)外設(shè)的接入的服務(wù),其它服務(wù)可以包括例如提供遠(yuǎn)程桌面接入或?qū)δ承?yīng)用的接入、數(shù)據(jù)庫訪問(例如文檔歸檔)、網(wǎng)絡(luò)文件系統(tǒng)訪問、對(duì)互聯(lián)網(wǎng)和特定互聯(lián)網(wǎng)服務(wù)的接入、家庭網(wǎng)絡(luò)服務(wù),諸如dlna或upnp服務(wù)等。
市面上正在發(fā)布創(chuàng)新的可穿戴移動(dòng)設(shè)備,例如智能可穿戴眼鏡。這些設(shè)備具有由穿戴者穿戴而不是攜帶的優(yōu)點(diǎn),并且可以由穿戴者徒手操作。典型地,頭部可穿戴設(shè)備具有各種板上傳感器(例如麥克風(fēng)、加速度計(jì)等)和致動(dòng)器(例如揚(yáng)聲器、顯示器等),并且通常還有相機(jī)。從這些傳感器,特別地從捕獲操作環(huán)境的圖像的相機(jī)提取的信息可以用于導(dǎo)出關(guān)于穿戴者的位置和聚焦的信息,例如凝視方向。在操作環(huán)境中可以存在各種外設(shè),例如在定義明確且結(jié)構(gòu)化的環(huán)境中,比如手術(shù)室或工業(yè)控制中心。要使用的相應(yīng)外設(shè)現(xiàn)在可以經(jīng)由頭部可穿戴設(shè)備來選擇。相機(jī)還可以用于通過處理圖像來標(biāo)識(shí)可見標(biāo)記物(例如qr碼)或?qū)ο笮再|(zhì),因?yàn)橹悄茏o(hù)目鏡中的向外相機(jī)指向與穿戴者聚焦的相同方向。
典型地,頭部可穿戴設(shè)備和主機(jī)設(shè)備各自包括微處理器,其執(zhí)行存儲(chǔ)在設(shè)備處的適當(dāng)軟件;例如,該軟件可能已經(jīng)被下載和/或存儲(chǔ)在對(duì)應(yīng)存儲(chǔ)器中,例如易失性存儲(chǔ)器,諸如ram,或非易失性存儲(chǔ)器,諸如閃存(未示出)。設(shè)備還可以配備有微處理器和存儲(chǔ)器(未示出)。可替換地,設(shè)備可以整個(gè)地或部分地實(shí)現(xiàn)在可編程邏輯中,例如作為現(xiàn)場(chǎng)可編程門陣列(fpga)。對(duì)接器和主機(jī)設(shè)備可以整個(gè)地或部分地實(shí)現(xiàn)為所謂的專用集成電路(asic),即針對(duì)其特定使用而定制的集成電路(ic)。
而且,如以下描述的功能和單元可以至少部分地實(shí)現(xiàn)在硬件電路中,其可以包括處理器電路和存儲(chǔ)電路,處理器電路執(zhí)行在存儲(chǔ)電路中電子表示的指令。
圖1示出包括頭部可穿戴設(shè)備的對(duì)接系統(tǒng)。系統(tǒng)包括用于與一個(gè)或多個(gè)對(duì)接器120(例如頭部可穿戴設(shè)備)無線通信的主機(jī)設(shè)備100。主機(jī)設(shè)備耦合到數(shù)個(gè)外設(shè)110、111、112以提供服務(wù),例如渲染音頻或視頻(av)數(shù)據(jù)。要指出的是,在此文檔中,av數(shù)據(jù)用于任何類型的視頻數(shù)據(jù)、音頻數(shù)據(jù)或視頻和音頻數(shù)據(jù)的組合。外設(shè)可以包括視頻輸出設(shè)備,比如投影機(jī)或顯示器111,圖形輸入/輸出設(shè)備,比如智能板(smartboard)110或觸摸屏,音頻輸出設(shè)備,比如揚(yáng)聲器系統(tǒng)112或耳機(jī),用戶輸入設(shè)備,比如鼠標(biāo)或房間控制單元;數(shù)據(jù)處理設(shè)備,比如數(shù)據(jù)存儲(chǔ)單元或打印機(jī)。在實(shí)踐環(huán)境中,可以存在多個(gè)主機(jī),其耦合到另外的外設(shè)。
主機(jī)設(shè)備100具有用于適應(yīng)無線通信152的主機(jī)通信單元102,例如wi-fi單元,其本身是公知的。主機(jī)設(shè)備還具有布置用于對(duì)接至少一個(gè)對(duì)接器的主機(jī)處理器101。將無線設(shè)備對(duì)接到無線對(duì)接主機(jī)(wdh)的過程是經(jīng)由諸如wi-fi或藍(lán)牙之類的可用無線電信道建立數(shù)據(jù)鏈路的過程,并且本身是已知的,諸如以上參照wo2012/117306a1所討論的。藍(lán)牙的描述可以例如在藍(lán)牙規(guī)范,核心包版本2.1+edr,2007年7月26日發(fā)布中找到。對(duì)接過程牽涉為對(duì)接器提供對(duì)一個(gè)或多個(gè)外設(shè)的接入。主機(jī)可以具有用于控制經(jīng)由外設(shè)可用的配置和服務(wù)的外設(shè)控制單元103。
對(duì)接器120具有用于適應(yīng)與主機(jī)的所述無線通信的對(duì)接器通信單元121。在實(shí)踐中,可以存在用于該目的的多個(gè)通信單元,例如藍(lán)牙、wi-fi和60ghz(例如wigig)。對(duì)接器還具有布置用于與主機(jī)設(shè)備對(duì)接的對(duì)接器處理器122,以用于作為對(duì)接器而得到對(duì)所述至少一個(gè)服務(wù)的接入。
使無線連接性對(duì)于用戶而言更簡(jiǎn)單的一種方式是無線對(duì)接。在無線對(duì)接中,所謂的無線對(duì)接主機(jī)使得數(shù)個(gè)服務(wù)可用于移動(dòng)設(shè)備,移動(dòng)設(shè)備可以利用其一舉設(shè)置通信。通過無線對(duì)接主機(jī)而可用的外圍設(shè)備和/或服務(wù)的任何群組稱為無線對(duì)接環(huán)境。無線對(duì)接環(huán)境可以包含單個(gè)主機(jī)和多個(gè)外設(shè),或者無線對(duì)接主機(jī)可以適應(yīng)數(shù)個(gè)(不同的)無線對(duì)接環(huán)境。無線對(duì)接主機(jī)還可以通過每一個(gè)的單獨(dú)選擇而使其服務(wù)可用。還可以存在處于移動(dòng)設(shè)備與其對(duì)接的到達(dá)范圍中的數(shù)個(gè)無線對(duì)接主機(jī)。
使得對(duì)于用戶而言使用移動(dòng)設(shè)備更方便的另一方式是外圍設(shè)備,例如監(jiān)視器或tv,使其功能、其屏幕無線地可用于移動(dòng)設(shè)備。當(dāng)然可以頻繁發(fā)生的是,存在移動(dòng)設(shè)備的無線到達(dá)范圍中的這些無線外圍設(shè)備中的若干個(gè)。由wi-fi聯(lián)盟認(rèn)證的miracast是利用其而使這可能的技術(shù)。在當(dāng)前文檔中,與提供功能性的外設(shè)組合以提供對(duì)外設(shè)輸入和/或輸出功能的訪問的任何設(shè)備稱為主機(jī)。
傳統(tǒng)地,以上提到的設(shè)備可以采用wi-fi通信以使其無線對(duì)接環(huán)境或其功能無線可用,例如通過使用直接wi-fi。設(shè)置wi-fi連接要求采取相當(dāng)多的步驟以及在兩個(gè)設(shè)備通過wi-fi“相關(guān)聯(lián)”之前的數(shù)個(gè)消息的交換。這可能要求相當(dāng)多的用戶參與以確保將要連接正確的設(shè)備,并且花費(fèi)時(shí)間,在此期間用戶必須等待設(shè)置和啟動(dòng)連接。當(dāng)兩個(gè)設(shè)備通過wi-fi相關(guān)聯(lián)時(shí),其wi-fi連接被密碼保護(hù)并且建立ip連接。
wi-fi設(shè)備可以使其自身無線可發(fā)現(xiàn)。這可以在兩個(gè)設(shè)備相關(guān)聯(lián)之前完成,因此這稱為預(yù)關(guān)聯(lián)發(fā)現(xiàn)。存在若干類型的預(yù)關(guān)聯(lián)發(fā)現(xiàn)。一個(gè)是預(yù)關(guān)聯(lián)設(shè)備發(fā)現(xiàn),其中可以發(fā)現(xiàn)設(shè)備和設(shè)備的一些性質(zhì)(比如其名稱、功能等)。這可以通過信標(biāo)幀和探查請(qǐng)求幀以及探查響應(yīng)幀來完成,從ieee802.11是公知的。另一類型是預(yù)關(guān)聯(lián)服務(wù)發(fā)現(xiàn),可以利用其通過ieee802.11u通用通告服務(wù)(gas)幀由其它者發(fā)現(xiàn)由wi-fi設(shè)備供應(yīng)的服務(wù)(例如打印、顯示等)。這樣的發(fā)現(xiàn)可以包括關(guān)于為無線對(duì)接供應(yīng)的無線對(duì)接環(huán)境的信息。
由于wi-fi信號(hào)的范圍可以達(dá)到數(shù)十米,因此可以在wi-fi范圍內(nèi)發(fā)現(xiàn)供應(yīng)wi-fi服務(wù)的相當(dāng)多的設(shè)備。用戶需要牽涉在選擇要連接到的正確設(shè)備/服務(wù)中。然而,從呈現(xiàn)給用戶的設(shè)備/服務(wù)的列表,哪個(gè)名稱對(duì)應(yīng)于哪個(gè)設(shè)備可能不是非常清楚。例如,用戶感興趣的是在大顯示器上示出駐留在他的移動(dòng)mp4播放器中的內(nèi)容。miracast是用于顯示通過wi-fi接收的視頻的服務(wù)的wi-fi聯(lián)盟的商業(yè)名稱。可以存在供應(yīng)服務(wù)的用戶鄰域中的若干顯示器,該服務(wù)渲染通過wi-fi接收的視頻。這可以是現(xiàn)代辦公大樓中的情況,其中許多會(huì)議室和靈活工作場(chǎng)所配備有啟用miracast的顯示器,而且在家庭情形中,其中家庭配備有供應(yīng)該wi-fi服務(wù)的若干tv。具有多個(gè)外設(shè)的這樣的環(huán)境在此文檔中還稱為操作環(huán)境。
在圖1中,對(duì)接系統(tǒng)具有至少一個(gè)主機(jī)、多個(gè)外設(shè)以及作為對(duì)接器的頭部可穿戴設(shè)備。頭部可穿戴設(shè)備具有相機(jī)123,例如具有前視相機(jī)的頭部安裝顯示器。當(dāng)頭部可穿戴設(shè)備由穿戴者穿戴時(shí),穿戴者可能想要與外設(shè)之一交互,并且將看向其中存在外設(shè)的操作環(huán)境的方向。
主機(jī)100布置用于與作為對(duì)接器的頭部可穿戴設(shè)備無線對(duì)接。當(dāng)對(duì)接時(shí),主機(jī)將為頭部可穿戴設(shè)備提供對(duì)外設(shè)中的至少一個(gè)的接入。頭部可穿戴設(shè)備120布置用于作為主機(jī)的對(duì)接器而無線對(duì)接以用于接入外設(shè)中的至少一個(gè)。頭部可穿戴設(shè)備上的相機(jī)123布置用于在穿戴者看向外設(shè)的方向時(shí)捕獲操作環(huán)境的圖像。
頭部可穿戴設(shè)備120具有用于檢測(cè)穿戴者相對(duì)于操作環(huán)境的觀看方向的對(duì)接器處理器122。由于用于捕獲圖像的相機(jī)以已知方式耦合到頭部可穿戴設(shè)備,因此使得對(duì)接器處理器能夠經(jīng)由頭部可穿戴設(shè)備執(zhí)行所述檢測(cè)。由于頭部可穿戴設(shè)備及其相機(jī)的取向在實(shí)際穿戴頭部可穿戴設(shè)備期間是已知的,因此對(duì)接器處理器可以假定穿戴者聚焦在靠近所捕獲的圖像的中心的聚焦點(diǎn)處。稍后討論確定觀看方向和聚焦點(diǎn)的另外的實(shí)施例。
對(duì)接器處理器還布置用于處理圖像以用于標(biāo)識(shí)外設(shè)。由于外設(shè)存在于穿戴者看向的操作環(huán)境中,因此可以識(shí)別和標(biāo)識(shí)一個(gè)或多個(gè)外設(shè)。對(duì)接器處理器還布置用于基于觀看方向而從圖像中的外設(shè)當(dāng)中選擇外設(shè)。以下討論用于標(biāo)識(shí)外設(shè)和選擇它們中的一個(gè)的各種選項(xiàng)。
對(duì)接器處理器還布置用于通過確定提供對(duì)所選外設(shè)的接入的主機(jī)來確定所選主機(jī)??梢源嬖跓o線通信范圍內(nèi)的若干主機(jī)設(shè)備。例如,關(guān)于預(yù)配置的操作環(huán)境的信息或協(xié)議消息的交換可以用于確定耦合到所選外設(shè)的所選主機(jī)。最后,對(duì)接器處理器還布置用于對(duì)接到所選主機(jī)并且接入所選外設(shè)。
主機(jī)處理器101布置用于接收指示所選外設(shè)的選擇消息,對(duì)接作為對(duì)接器的頭部可穿戴設(shè)備,并且提供對(duì)所選外設(shè)的接入。
可選地,至少一個(gè)外設(shè)布置用于提供視覺標(biāo)記物,例如標(biāo)簽或qr碼。對(duì)接器處理器還可以布置用于通過檢測(cè)圖像中的視覺標(biāo)記物來標(biāo)識(shí)外設(shè)。
圖2示出具有多個(gè)外設(shè)和頭部可穿戴設(shè)備的操作環(huán)境的示例。該圖中的操作環(huán)境250示出連接到多個(gè)外設(shè)(例如顯示器251、252、253)的若干主機(jī)設(shè)備261、262、263??梢源嬖诹硗獾耐庠O(shè),比如投影屏幕、機(jī)器工具、控制面板、醫(yī)學(xué)裝備等。將頭部可穿戴設(shè)備130示出為提供有相機(jī)133和用于電子電路(比如對(duì)接器處理器和無線通信單元)的隔室132的智能眼鏡,類似于以上圖1。假定在使用中,頭部可穿戴設(shè)備由看向他想要使用的外設(shè)的穿戴者(未示出)穿戴。
頭部可穿戴設(shè)備可以具有顯示單元以用于顯示如由穿戴者經(jīng)由頭部可穿戴設(shè)備感知的操作環(huán)境之上的覆蓋圖。顯示單元本身未示出,但是可以集成在隔室132中并且定位成使得所顯示的覆蓋圖與真實(shí)世界視圖組合地經(jīng)由眼鏡來感知。提供穿戴者的真實(shí)世界視圖之上的這樣的覆蓋圖可以稱為增強(qiáng)現(xiàn)實(shí)。對(duì)接器處理器可以布置用于生成覆蓋圖。例如,實(shí)際聚焦位置和/或所選外圍設(shè)備可以在覆蓋圖中通過箭頭、高亮窗口或圖形符號(hào)來視覺指示。對(duì)接器處理器可以布置用于在覆蓋圖中視覺標(biāo)記外設(shè)中的至少一個(gè)?,F(xiàn)在描述各種示例。
可選地,對(duì)接器處理器布置成通過基于外設(shè)到穿戴者的距離來視覺優(yōu)先化外設(shè)而用于所述標(biāo)記,所謂的用戶視場(chǎng)內(nèi)的可對(duì)接設(shè)備的基于接近性的優(yōu)先化。當(dāng)穿戴經(jīng)增強(qiáng)的智能眼鏡的用戶希望找到可對(duì)接設(shè)備時(shí),可用設(shè)備在經(jīng)增強(qiáng)的覆蓋圖中基于其到穿戴者的當(dāng)前距離而視覺優(yōu)先化。例如,手臂到達(dá)范圍內(nèi)的設(shè)備可以呈現(xiàn)有最多的視覺關(guān)注。在開放辦公環(huán)境中,可能存在可以充當(dāng)用于對(duì)接器的外設(shè)的許多設(shè)備,但是僅幾個(gè)可以直接可用或適合于與穿戴者的交互。到外設(shè)的距離或接近性檢測(cè)可以例如經(jīng)由智能眼鏡中的相機(jī)使用對(duì)象識(shí)別和透視校正,或者使用相機(jī)圖像和信號(hào)強(qiáng)度測(cè)量來執(zhí)行,諸如從可對(duì)接外設(shè)發(fā)射的rssi值。
可選地,對(duì)接器處理器布置成通過基于對(duì)接器使用外設(shè)的之前會(huì)話的會(huì)話信息來視覺優(yōu)先化外設(shè)而用于所述標(biāo)記。這可以稱為用戶視場(chǎng)內(nèi)的可對(duì)接設(shè)備的面向會(huì)話的優(yōu)先化。當(dāng)用戶之前已經(jīng)與可對(duì)接設(shè)備交互時(shí),之前涉及該設(shè)備的會(huì)話信息(諸如呼叫列表)和/或來自最后對(duì)接的會(huì)話的設(shè)備/用戶的表現(xiàn)(例如打字速度)二者可以用作輸入?yún)?shù)來確定用于與該外設(shè)的潛在對(duì)接的優(yōu)先級(jí)。該信息用于優(yōu)先化經(jīng)增強(qiáng)的覆蓋圖中的可對(duì)接設(shè)備,例如使用大小、透明度、顏色、文本來表示優(yōu)先級(jí)。會(huì)話信息可以存儲(chǔ)在可對(duì)接設(shè)備中以用于安全檢索(例如以在用戶離開的地方繼續(xù)),或者可以存儲(chǔ)在另一設(shè)備上,例如主機(jī)中。來自在先會(huì)話的表現(xiàn)相關(guān)歷史信息還可以存儲(chǔ)在頭部可穿戴設(shè)備、外圍設(shè)備上或云上。
在優(yōu)先化期間,當(dāng)支持多會(huì)話交互的可對(duì)接外圍設(shè)備可用時(shí),視覺優(yōu)先級(jí)水平可以基于該設(shè)備上剩余的可用資源,例如剩余存儲(chǔ)器、cpu循環(huán)、打印隊(duì)列等。
可選地,對(duì)接器處理器布置成通過基于穿戴者的當(dāng)前狀態(tài)來視覺優(yōu)先化外設(shè)而用于所述標(biāo)記。這可以稱為與用戶的當(dāng)前狀態(tài)有關(guān)的可對(duì)接設(shè)備的優(yōu)先化?,F(xiàn)在設(shè)備在經(jīng)增強(qiáng)的覆蓋圖中基于其對(duì)于用戶當(dāng)前狀態(tài)的支持水平而視覺優(yōu)先化。例如,當(dāng)智能眼鏡穿戴者想要在坐著的同時(shí)給出會(huì)議中的演示時(shí),系統(tǒng)將搜索可用并且適合于穿戴者狀態(tài)的該會(huì)話的外圍設(shè)備,例如以與穿戴者坐在的桌子處的輸入設(shè)備和本地顯示器對(duì)接。然而,當(dāng)穿戴者站著時(shí),經(jīng)增強(qiáng)的智能眼鏡覆蓋圖內(nèi)的輸入設(shè)備選擇被示出有不同的優(yōu)先級(jí)水平,并且另一設(shè)備取得較高優(yōu)先級(jí),例如用于姿勢(shì)識(shí)別的相機(jī)。在實(shí)踐中,穿戴者狀態(tài)檢測(cè)可以由智能眼鏡設(shè)備使用各種傳感器來執(zhí)行,例如加速度計(jì)、壓力傳感器(用于海拔高度)、陀螺儀(用于頭部取向)、相機(jī)(用于從眼鏡到書桌的距離以推斷坐姿)。檢測(cè)還可以經(jīng)由潛在對(duì)接器遠(yuǎn)程執(zhí)行,如果其具有感測(cè)能力并且當(dāng)前未被利用的話。例如,如果對(duì)接器具有相機(jī),其可以遠(yuǎn)程地推斷用戶的狀態(tài)以確定其對(duì)于基于用戶的當(dāng)前狀態(tài)/活動(dòng)的對(duì)接的適宜性。如果智能眼鏡處于發(fā)現(xiàn)模式中,潛在對(duì)接器可以通過臨時(shí)供應(yīng)其功能中的一些以確定上下文來幫助優(yōu)先級(jí)水平確定過程。
可選地,對(duì)接器處理器布置成通過視覺指示可用但是在如由穿戴者感知的操作環(huán)境中不可見的外設(shè)而用于所述標(biāo)記?,F(xiàn)在可以將用戶的關(guān)注更改到其視場(chǎng)外部的可對(duì)接外圍設(shè)備。例如,當(dāng)高優(yōu)先級(jí)可對(duì)接外圍設(shè)備在用戶的視場(chǎng)外部可用并且用戶正在尋找這樣的設(shè)備時(shí),可以在設(shè)備的實(shí)際位置附近但是在穿戴者的視場(chǎng)內(nèi)部示出符號(hào)。而且,智能眼鏡的左側(cè)或右側(cè)上的電機(jī)可以被致動(dòng)以指示用戶應(yīng)當(dāng)進(jìn)一步向左或向右看??商鎿Q地或此外,經(jīng)增強(qiáng)的覆蓋圖可以指示箭頭,其中箭頭的大小/顏色指示可對(duì)接設(shè)備的優(yōu)先級(jí)水平。
相應(yīng)主機(jī)與各個(gè)外設(shè)之間的連接對(duì)頭部可穿戴設(shè)備130或其穿戴者不是已知的。為了解決該問題,頭部可穿戴設(shè)備中的對(duì)接器處理器布置用于檢測(cè)穿戴者相對(duì)于操作環(huán)境的觀看方向,處理圖像以用于標(biāo)識(shí)外設(shè),基于觀看方向從圖像中的外設(shè)當(dāng)中選擇外設(shè),通過確定提供對(duì)所選外設(shè)的接入的主機(jī)來確定所選主機(jī)。隨后可以執(zhí)行對(duì)接到所選主機(jī)并且接入所選外設(shè)。
可選地,對(duì)接器處理器布置用于通過將圖像中的中心位置視為指示相對(duì)于操作環(huán)境的觀看方向來經(jīng)由相機(jī)檢測(cè)聚焦位置。由于穿戴者的眼睛處在居中取向中,因此聚焦位置對(duì)應(yīng)于筆直向前看的穿戴者的視場(chǎng)中的中心位置。對(duì)接器處理器還布置用于選擇最靠近聚焦位置的外設(shè)。
可選地,對(duì)接器處理器布置用于通過檢測(cè)穿戴者的眼睛的實(shí)際取向并且確定實(shí)際取向從居中取向的偏移量來檢測(cè)凝視方向。追蹤眼睛的實(shí)際取向以確定觀看方向本身是已知的。隨后,依賴于偏移量而使聚焦位置移位。對(duì)接器處理器可以布置用于檢測(cè)從穿戴者的眼睛到外設(shè)的觀看距離,并且使所述聚焦位置依賴于觀看距離而移位。例如,距離可以使用自動(dòng)聚焦相機(jī)來確定,自動(dòng)聚焦相機(jī)具有使穿戴者通過與頭部可穿戴設(shè)備交互而適配自動(dòng)聚焦點(diǎn)的能力。另外,距離范圍可以用于僅選擇不超過距穿戴者眼睛的某個(gè)距離的那些外設(shè)??商鎿Q地,距離可以通過使用例如基于wi-fi的距離測(cè)量(使用例如ieee精細(xì)時(shí)間測(cè)量(ftm))來檢測(cè)。
可選地,對(duì)接器處理器布置用于通過參考預(yù)配置的設(shè)置來標(biāo)識(shí)操作環(huán)境中的外設(shè)。預(yù)配置的設(shè)置可以限定操作環(huán)境中的多個(gè)外設(shè)的位置,例如多個(gè)顯示器或控制面板的相互距離和位置。預(yù)配置的設(shè)置可以對(duì)頭部可穿戴設(shè)備是已知的,例如在配置會(huì)話期間存儲(chǔ)。可替換地,預(yù)配置的設(shè)置可以由至少一個(gè)主機(jī)存儲(chǔ)和維護(hù),例如在圖1中所示的外設(shè)控制單元103中??梢允沟弥鳈C(jī)能夠與彼此通信以交換配置信息,并且在預(yù)關(guān)聯(lián)發(fā)現(xiàn)消息中提供關(guān)于彼此的外設(shè)的信息。
可選地,對(duì)接器處理器布置用于通過基于外設(shè)的視覺性質(zhì)識(shí)別外設(shè)而標(biāo)識(shí)操作環(huán)境中的外設(shè)。例如,本身已知的圖像識(shí)別可以用于通過使用這樣的外設(shè)的已知圖像或模型來標(biāo)識(shí)外設(shè)并且將模型匹配到圖像。
可選地,對(duì)接器處理器布置用于通過檢測(cè)圖像中的視覺標(biāo)記物來標(biāo)識(shí)外設(shè)。例如,視覺標(biāo)記物可以是qr碼或條形碼,其使得能夠由對(duì)接器處理器讀取存儲(chǔ)在這樣的代碼中的一定量的數(shù)據(jù)。視覺標(biāo)記物還可以是具有圖形符號(hào)和/或文本的標(biāo)簽,或者顯示在外設(shè)的顯示器上的主動(dòng)視覺標(biāo)記物。
以上系統(tǒng)使得能夠經(jīng)由智能可穿戴設(shè)備(例如智能護(hù)目鏡)的使用而在豐富的信息上下文中從多個(gè)外設(shè)當(dāng)中選擇特定設(shè)備并且經(jīng)由耦合到外設(shè)的主機(jī)將頭部可穿戴設(shè)備自動(dòng)對(duì)接到所選外設(shè)。對(duì)接還可以擴(kuò)展成包括相關(guān)聯(lián)的設(shè)備,諸如關(guān)聯(lián)到頭部可穿戴設(shè)備的智能電話或平板電腦??梢酝ㄟ^由具有相機(jī)的頭部可穿戴設(shè)備(例如智能護(hù)目鏡)的穿戴者看向要選擇的設(shè)備來執(zhí)行選擇。頭部可穿戴設(shè)備可以處理所捕獲的圖像以標(biāo)識(shí)穿戴者看向的聚焦位置,并且然后標(biāo)識(shí)最靠近該位置的設(shè)備。例如,找到聚焦位置可以牽涉經(jīng)由頭部可穿戴設(shè)備上的3d陀螺儀和加速度計(jì)的凝視方向檢測(cè)。例如,標(biāo)識(shí)可以牽涉以下中的一個(gè)或多個(gè):視覺標(biāo)記物檢測(cè)、形狀識(shí)別、品牌或標(biāo)簽檢測(cè)。
在優(yōu)選實(shí)施例中,系統(tǒng)可以包括由穿戴者(例如手術(shù)室中的外科醫(yī)生)穿戴的具有向外看的相機(jī)的智能護(hù)目鏡或頭部安裝顯示器。頭部可穿戴設(shè)備可以是獨(dú)立設(shè)備或結(jié)合相關(guān)聯(lián)的智能電話或平板電腦工作。我們將獨(dú)立的頭部可穿戴設(shè)備或與智能電話/平板電腦的組合稱為對(duì)接器。主機(jī)可以是具有連接到它的多個(gè)外圍設(shè)備的獨(dú)立無線對(duì)接站,例如將在其上顯示視覺信息的多個(gè)顯示設(shè)備,諸如生命體征監(jiān)視器、腹腔鏡相機(jī)顯示器等。
例如,如果外圍設(shè)備是顯示設(shè)備并且對(duì)接已經(jīng)成功,信息可以顯示在如由對(duì)接器提供的這些外圍設(shè)備上,例如以miracast輸出數(shù)據(jù)的形式,其中對(duì)接器是miracast源并且外圍設(shè)備是miracast匯點(diǎn)。視覺信息還可以在對(duì)接器的控制之下由網(wǎng)絡(luò)/因特網(wǎng)上的服務(wù)器提供,例如html頁面或所顯示的其它信息源。
對(duì)接器可以對(duì)接到連接至主機(jī)的所有外圍設(shè)備、那些的子組或單獨(dú)的外圍設(shè)備。對(duì)接的過程可以牽涉:
1)發(fā)現(xiàn)無線對(duì)接主機(jī),并且對(duì)于相應(yīng)主機(jī),關(guān)于所連接的外圍設(shè)備的信息,
2)設(shè)置對(duì)接器與無線對(duì)接主機(jī)之間的無線鏈路,
3)使用消息集合從連接至無線對(duì)接主機(jī)的所述多個(gè)外圍設(shè)備當(dāng)中選擇要使用哪些外設(shè),
4)使用外設(shè)特定消息傳遞協(xié)議(諸如miracast、wi-fi串行總線、wigig顯示擴(kuò)展),設(shè)置對(duì)接器與所選外圍設(shè)備之間的會(huì)話以用于控制/交互目的。
在可能的實(shí)施例中,外圍設(shè)備具有用于意義明確的標(biāo)識(shí)的視覺標(biāo)記物(例如qr碼貼紙、條形碼、具有編碼光的led等),其可以由頭部可穿戴設(shè)備的相機(jī)或不同傳感器解碼。視覺標(biāo)記物可以是靜態(tài)的(例如顯示唯一標(biāo)識(shí)符并且可以由可穿戴設(shè)備的相機(jī)識(shí)別的貼紙)或動(dòng)態(tài)的(例如顯示在顯示設(shè)備的角落上的動(dòng)態(tài)生成的qr碼,其具有作為qr碼的部分而編碼的唯一設(shè)備標(biāo)識(shí)符)。
主機(jī)和所連接的外圍設(shè)備可以以外圍設(shè)備與視覺標(biāo)記物之間的關(guān)系已知的這樣的方式進(jìn)行配置。配置可以例如存儲(chǔ)在主機(jī)中,例如作為無線對(duì)接環(huán)境數(shù)據(jù)結(jié)構(gòu)的部分,或者在對(duì)接器連接到的網(wǎng)絡(luò)中的服務(wù)器設(shè)備上。主機(jī)或網(wǎng)絡(luò)服務(wù)器設(shè)備可以供應(yīng)查詢接口以用于檢索所存儲(chǔ)的配置信息。主機(jī)還可以在與無線對(duì)接器的預(yù)關(guān)聯(lián)發(fā)現(xiàn)信息交換期間使用信標(biāo)幀、探查響應(yīng)或gas幀來供應(yīng)所存儲(chǔ)的配置信息。可替換地,配置數(shù)據(jù)可以分布在每一個(gè)所連接的外設(shè)之中。如果這樣的外圍設(shè)備支持wi-fi,則外圍設(shè)備可以供應(yīng)用于檢索所存儲(chǔ)的配置數(shù)據(jù)的查詢接口,或者使用現(xiàn)有或添加到p2p預(yù)關(guān)聯(lián)設(shè)備發(fā)現(xiàn)的新信息元素在預(yù)關(guān)聯(lián)發(fā)現(xiàn)期間供應(yīng)該數(shù)據(jù),或者在gas查詢響應(yīng)消息中供應(yīng)該數(shù)據(jù)。
在頭部可穿戴設(shè)備的實(shí)施例中,一旦在來自可穿戴設(shè)備的向外相機(jī)的圖像內(nèi)檢測(cè)到視覺標(biāo)記物,關(guān)于標(biāo)記物或從其提取的信息就用于從較早存儲(chǔ)的配置信息檢索關(guān)于外圍設(shè)備的信息??梢酝ㄟ^連接到主機(jī),通過向網(wǎng)絡(luò)中的服務(wù)器發(fā)送查詢,通過使用信標(biāo)幀、探查響應(yīng)或gas幀解析由無線對(duì)接主機(jī)發(fā)送的預(yù)關(guān)聯(lián)發(fā)現(xiàn)信息來檢索配置。配置信息然后用于確定用于對(duì)接的外圍設(shè)備并且設(shè)置對(duì)接器與所選外圍設(shè)備之間的會(huì)話。
在實(shí)施例中,向穿戴者當(dāng)前聚焦在其上的外圍設(shè)備設(shè)置會(huì)話??商鎿Q地,可以向當(dāng)前在穿戴者的視覺場(chǎng)中的外圍設(shè)備設(shè)置會(huì)話。在又一實(shí)施例中,僅向穿戴者自對(duì)接會(huì)話的開始就看向的外圍設(shè)備設(shè)置會(huì)話。在另外的實(shí)施例中,針對(duì)外圍設(shè)備所檢索的信息(例如友好設(shè)備名稱、設(shè)備類型、品牌、所供應(yīng)的服務(wù))在可穿戴設(shè)備的顯示器上示出,并且可以以所顯示的所檢索的信息與從外圍設(shè)備到人們眼睛中的光線反射重疊的這樣的方式進(jìn)行定位(即增強(qiáng)現(xiàn)實(shí))。
在實(shí)施例中,可穿戴設(shè)備向設(shè)備的對(duì)接發(fā)生在設(shè)備的形狀由耦合至頭部可穿戴設(shè)備的相機(jī)的對(duì)接器處理器識(shí)別時(shí)。例如,所捕獲的圖像可以流送至分離的處理器(例如計(jì)算機(jī))。主機(jī)和所連接的外圍設(shè)備可以配置成使得關(guān)于每一個(gè)外圍設(shè)備的形狀的信息存儲(chǔ)在主機(jī)中,或者在無線對(duì)接器連接到的網(wǎng)絡(luò)中的服務(wù)器上。一旦在來自頭部可穿戴設(shè)備的向外相機(jī)的圖像內(nèi)檢測(cè)到設(shè)備的已知形狀,形狀信息就與配置數(shù)據(jù)中的所存儲(chǔ)的形狀信息相關(guān)。在正匹配之后,可以檢索來自較早存儲(chǔ)的配置信息的關(guān)于外圍設(shè)備的詳細(xì)信息。該信息然后用于選擇用于對(duì)接的外圍設(shè)備并且設(shè)置無線對(duì)接器與所選外圍設(shè)備之間的會(huì)話。
在實(shí)施例中,還配置和存儲(chǔ)外圍設(shè)備的相對(duì)位置,以便能夠幫助具有相同或類似形狀的眾多外圍設(shè)備之中的外圍設(shè)備的檢測(cè)。例如,一號(hào)顯示器放置在二號(hào)顯示器上方,并且在三號(hào)顯示器右邊。與通過頭部可穿戴設(shè)備的加速度計(jì)和陀螺儀檢測(cè)的觀看方向結(jié)合地確定所選顯示器以確定穿戴者的聚焦。位置還可以相對(duì)于特定已知參考點(diǎn)來配置和存儲(chǔ),例如相對(duì)于外圍設(shè)備連接到的主機(jī)。
在實(shí)施例中,外設(shè)的選擇牽涉在給定穿戴者的固定位置(例如站在手術(shù)室中的手術(shù)床附近的特定位置或地板上的標(biāo)記位置)的情況下通過頭部可穿戴設(shè)備的加速度計(jì)和陀螺儀對(duì)穿戴者的凝視方向的檢測(cè)。這要求通過可穿戴設(shè)備或可穿戴設(shè)備向其實(shí)時(shí)發(fā)送加速度計(jì)和陀螺儀數(shù)據(jù)的分離處理器(例如計(jì)算機(jī))對(duì)環(huán)境的感知。當(dāng)凝視方向與外圍設(shè)備的位置相交時(shí),可以檢索來自較早存儲(chǔ)的配置信息的關(guān)于外圍設(shè)備的詳細(xì)信息。該信息然后用于選擇用于對(duì)接的外圍設(shè)備并且設(shè)置對(duì)接器與所選外圍設(shè)備之間的會(huì)話。
在實(shí)施例中,頭部可穿戴設(shè)備的選擇和向外設(shè)的對(duì)接發(fā)生在外設(shè)的品牌/標(biāo)簽由智能護(hù)目鏡的相機(jī)識(shí)別時(shí),例如通過光學(xué)字符識(shí)別??赡艿兀瑢⑺东@的圖像流送至分離的處理器(例如計(jì)算機(jī))。為此目的,無線對(duì)接主機(jī)及其所連接的外圍設(shè)備以關(guān)于每一個(gè)外圍設(shè)備的品牌/類型的信息存儲(chǔ)在例如主機(jī)中的這樣的方式進(jìn)行配置。設(shè)備的品牌/標(biāo)簽與配置數(shù)據(jù)中所存儲(chǔ)的品牌/標(biāo)簽信息相關(guān)。在正匹配之后,可以檢索關(guān)于外圍設(shè)備的詳細(xì)信息。該信息然后用于選擇用于對(duì)接的外圍設(shè)備并且設(shè)置無線對(duì)接器與所選外圍設(shè)備之間的會(huì)話。
在實(shí)施例中,當(dāng)已經(jīng)根據(jù)前述過程之一選擇了特定外圍設(shè)備以用于對(duì)接時(shí),用戶輸入控制事件可以自動(dòng)定向在所選外圍設(shè)備處。如果穿戴者在一段時(shí)間內(nèi)轉(zhuǎn)移開目光,或者如果已經(jīng)選擇另一外圍設(shè)備,對(duì)接會(huì)話可以終止。這使得能夠?qū)崿F(xiàn)基于該自動(dòng)選擇機(jī)制對(duì)特定外圍設(shè)備的穿戴者控制,例如以選擇哪些信息應(yīng)當(dāng)在所選外圍設(shè)備上示出。用戶輸入控制事件可以以語音控制命令或由可穿戴設(shè)備或經(jīng)由另一系統(tǒng)(例如可穿戴傳感器、通用用戶接口、鍵盤/鼠標(biāo)接口、觸摸墊或觸摸屏)檢測(cè)的姿勢(shì)控制命令的形式。要指出,當(dāng)前未使用的外圍設(shè)備可以取決于穿戴者的偏好/配置而關(guān)斷。
在實(shí)施例中,系統(tǒng)可以保留對(duì)接會(huì)話或在用戶命令下,通過特定眼睛移動(dòng),經(jīng)由姿勢(shì)或語音控制而結(jié)束對(duì)接會(huì)話,例如當(dāng)穿戴者在足夠長(zhǎng)的時(shí)間內(nèi)轉(zhuǎn)移開目光時(shí)結(jié)束會(huì)話。
在實(shí)施例中,頭部可穿戴設(shè)備在利用主機(jī)對(duì)外圍設(shè)備的配置期間使用,例如將視覺標(biāo)記物與外設(shè)相關(guān)、這些設(shè)備具有哪個(gè)形狀、這些設(shè)備在彼此之中具有哪個(gè)相對(duì)位置、哪些設(shè)備成為設(shè)備的一個(gè)或多個(gè)子集的部分。例如,操作環(huán)境和主機(jī)的配置可以通過選擇性地看向穿戴者可以以順序方式使用的外圍設(shè)備而同時(shí)將主機(jī)置于配置模式中來設(shè)置。
在實(shí)施例中,可穿戴設(shè)備具有用于無線通信的射束成形天線,例如使用60ghzieee802.11ad的wi-fip2p通信。天線可以定向在與相機(jī)相同的方向上。頭部可穿戴設(shè)備保持追蹤在定向wi-fi射束內(nèi)發(fā)現(xiàn)的可用設(shè)備。頭部可穿戴設(shè)備可以使用可用性信息來限制使用前述過程之一針對(duì)匹配設(shè)備的搜索。頭部可穿戴設(shè)備還可以使用可用性信息以用于設(shè)置針對(duì)在定向射束內(nèi)發(fā)現(xiàn)的可用設(shè)備的連接。
圖3示出用于在對(duì)接器處選擇外設(shè)的對(duì)接方法。對(duì)接器方法使得能夠?qū)崿F(xiàn)對(duì)接器與一個(gè)或多個(gè)主機(jī)之間的無線通信。已經(jīng)參照?qǐng)D1和2闡述了主機(jī)和對(duì)接器。對(duì)接器布置用于與主機(jī)無線對(duì)接以用于接入經(jīng)由頭部可穿戴設(shè)備的相機(jī)選擇的外設(shè)。對(duì)接器方法最初在開始501處開始,并且通過用戶將頭部可穿戴設(shè)備放置在他/她的頭部上(即成為穿戴者)并且激活相機(jī)以用于捕獲圖像而觸發(fā)。接著,在dt_foc502處,經(jīng)由頭部可穿戴設(shè)備檢測(cè)聚焦位置。操作環(huán)境中的聚焦位置基于穿戴者的觀看距離,并且對(duì)應(yīng)于穿戴者使他的關(guān)注聚焦于的操作環(huán)境中的位置。例如,聚焦位置可以是頭部可穿戴設(shè)備的前視相機(jī)的圖像中心。在id_prf503處,處理如所捕獲的圖像以用于標(biāo)識(shí)外設(shè)。接著,在階段sel504處,基于聚焦位置從圖像中的外設(shè)當(dāng)中選擇外設(shè)。如果頭部可穿戴設(shè)備已經(jīng)具有關(guān)于哪個(gè)主機(jī)耦合到所標(biāo)識(shí)和選擇的外設(shè)的配置數(shù)據(jù),則直接選擇主機(jī),并且過程通過在階段init_dck505處對(duì)接而繼續(xù)。如果配置尚且未知,例如當(dāng)多個(gè)主機(jī)在范圍內(nèi)時(shí),在階段sel_h中檢索外設(shè)信息以用于確定提供對(duì)所選外設(shè)的接入的主機(jī)。當(dāng)已經(jīng)如此確定所選主機(jī)時(shí),過程通過在階段init_dck505處對(duì)接而繼續(xù)以用于對(duì)接到所選主機(jī)并且接入所選外設(shè)。當(dāng)終止外設(shè)的使用時(shí),方法在節(jié)點(diǎn)結(jié)束507處結(jié)束。
可選地,在對(duì)接方法中,在發(fā)生外設(shè)的實(shí)際檢測(cè)和選擇之前,可穿戴設(shè)備與若干對(duì)接主機(jī)對(duì)接。這可以更快,因?yàn)槿缓罂纱┐髟O(shè)備可以避免與主機(jī)(再次)相關(guān)聯(lián)。而且,對(duì)接主機(jī)可能已經(jīng)準(zhǔn)備和預(yù)留所有外設(shè)以用于與該特定對(duì)接器對(duì)接,但是僅在使用無線對(duì)接協(xié)議完成“選擇外設(shè)”動(dòng)作之后,外設(shè)得到選擇并且可以在使用外設(shè)特定消息傳遞協(xié)議時(shí)進(jìn)行操作。
圖4示出主機(jī)處的對(duì)接方法。主機(jī)方法使得能夠?qū)崿F(xiàn)主機(jī)與作為對(duì)接器的頭部可穿戴設(shè)備之間的無線通信。已經(jīng)參照?qǐng)D1和2闡述了主機(jī)和對(duì)接器。主機(jī)布置用于無線對(duì)接以用于提供對(duì)外設(shè)的接入。主機(jī)方法最初在開始601處開始,并且通過對(duì)主機(jī)和外設(shè)通電來觸發(fā)。在下一步驟tr_id602中,主機(jī)方法可以牽涉生成主動(dòng)標(biāo)識(shí)符,比如qr碼、文本或條形碼,并且在對(duì)應(yīng)外設(shè)上顯示標(biāo)識(shí)符。而且,主機(jī)可以傳輸外設(shè)配置數(shù)據(jù)以便通知可用性,和或外設(shè)的其它性質(zhì)。接著,在階段r_sel603中,主機(jī)可以接收指示所選外設(shè)的選擇消息。在階段prf604中,主機(jī)確定是否連接所選外設(shè)。如果否,方法在階段tr_id602處繼續(xù)。如果外設(shè)可用并且耦合到主機(jī),方法在階段dock605處通過對(duì)接作為對(duì)接器的頭部可穿戴設(shè)備而繼續(xù)。最后,在階段ac_pr606處,主機(jī)提供對(duì)所選外設(shè)的接入。如果會(huì)話斷開,方法在階段結(jié)束607處終止。
在實(shí)踐中,方法可以實(shí)現(xiàn)在主機(jī)軟件(主機(jī)方法)和對(duì)接器軟件(對(duì)接器方法)中,例如所謂的app。這樣的計(jì)算機(jī)程序產(chǎn)品用于主機(jī)與對(duì)接器之間的無線對(duì)接,并且包括操作成使處理器執(zhí)行主機(jī)或?qū)悠鞣椒ǖ某绦?。因此本發(fā)明可以實(shí)現(xiàn)在硬件和/或使用可編程組件的軟件中。
盡管已經(jīng)主要通過使用無線對(duì)接和分離外設(shè)的實(shí)施例解釋了本發(fā)明,但是本發(fā)明還適合于任何無線系統(tǒng),其中頭部可穿戴設(shè)備(具有對(duì)接器角色)想要連接到另外的無線設(shè)備(具有主機(jī)角色)以接入或共享一個(gè)或多個(gè)外設(shè)或服務(wù)。因此主機(jī)可以是執(zhí)行主機(jī)角色的任何控制單元,并且可以集成在某個(gè)其它設(shè)備中并且不需要對(duì)穿戴者可見。外設(shè)包括意圖由穿戴者物理地用于控制或交互的所有設(shè)備。
外設(shè)還可以是物理對(duì)接系統(tǒng)或?qū)诱荆ǖ牟糠郑?。外設(shè)還可以包含另外的外設(shè)。例如,外設(shè)可以是提供有一個(gè)或多個(gè)led或led條的設(shè)備并且具有另外的連接器以附連一個(gè)或多個(gè)另外的外設(shè)。對(duì)接站可以是其中可以定位一個(gè)或多個(gè)顯示器的框架,每一個(gè)顯示器是另外的相應(yīng)外設(shè)??蚣芸梢岳缛菁{2x2個(gè)顯示器,而不同的led信號(hào)可以用于指示哪個(gè)位置可用或意圖用于對(duì)接。對(duì)接站可以激活相應(yīng)led信號(hào)并且主機(jī)可以向?qū)悠鞲嬷鄳?yīng)的位置和對(duì)應(yīng)的led信號(hào)。在圖像中,首先標(biāo)識(shí)對(duì)接站,而隨后做出到由主機(jī)供應(yīng)的外設(shè)中的一個(gè)或多個(gè)(例如基于由主機(jī)提供的附加數(shù)據(jù)的框架中的所述顯示器中的一個(gè))的連接。
將領(lǐng)會(huì)到,以上描述為了清楚起見而參照不同的功能單元和處理器描述了本發(fā)明的實(shí)施例。然而,將明顯的是,可以使用不同功能單元或處理器之間的任何合適的功能性分布而不脫離本發(fā)明。例如,圖示為由分離單元、處理器或控制器執(zhí)行的功能性可以由相同的處理器或控制器執(zhí)行。因而,對(duì)特定功能單元的參考僅視為對(duì)用于提供所描述的功能性的合適部件的參考而不指示嚴(yán)格的邏輯或物理結(jié)構(gòu)或組織。本發(fā)明可以以任何合適的形式實(shí)現(xiàn),包括硬件、軟件、固件或這些的任何組合。
要指出的是,在此文檔中,詞語“包括”不排除除了所列出的那些之外的其它元件或步驟的存在,并且在元件之前的詞語“一”或“一個(gè)”不排除多個(gè)這樣的元件的存在,任何參考標(biāo)記不限制權(quán)利要求的范圍,本發(fā)明可以借助于硬件和軟件二者來實(shí)現(xiàn),并且若干“部件”或“單元”可以由相同的硬件或軟件項(xiàng)表示,并且處理器可以履行一個(gè)或多個(gè)單元的功能,可能地與硬件元件協(xié)作。另外,本發(fā)明不限于實(shí)施例,并且本發(fā)明在于以上描述的或在相互不同的從屬權(quán)利要求中敘述的每一個(gè)新穎特征或特征的組合。