專利名稱：用虛擬數(shù)據(jù)使靜態(tài)打印內(nèi)容成為動態(tài)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用虛擬數(shù)據(jù)使靜態(tài)打印內(nèi)容成為動態(tài)。
背景技術(shù)：
靜態(tài)打印材料可以被認(rèn)為是一種形式的只讀存儲器，所述存儲器不需要電力并且以對人眼可見的形式來存儲其數(shù)據(jù)。超過一千年的牛皮紙文本存活至今。此外，數(shù)據(jù)通常以人眼能夠舒適閱讀的格式來呈現(xiàn)，這種格式將打印的文字呈現(xiàn)在白色或另一種對比色的紙的對比物理背景上。打印材料的物理本質(zhì)允許用戶例如通過翻閱雜志的頁面并查看雜志中的圖示或吸引人的標(biāo)題來在物理上篩選其數(shù)據(jù)以尋找“感興趣的內(nèi)容”。人們能夠保持他在物理書籍中的位置，并向后翻一堆頁面(用戶的大腦知道這在正確的章節(jié)附近)來重讀一章節(jié)并回頭再看手指保持的位置。當(dāng)然，由于信息在頁面上的永久設(shè)置，實(shí)體書籍、期刊和論文也具有它們的劣勢。

發(fā)明內(nèi)容
混合現(xiàn)實(shí)是一種允許將虛擬圖像與現(xiàn)實(shí)世界視圖相混合的技術(shù)。用戶可佩戴透視、頭戴式、混合現(xiàn)實(shí)顯示設(shè)備來觀看用戶的視野中所顯示的現(xiàn)實(shí)物體和虛擬物體的混合圖像。這種頭戴式顯示(HMD)設(shè)備可以更新以及在一些情況下可還原靜態(tài)打印材料中體現(xiàn)的數(shù)據(jù)。換言之，實(shí)體書籍、雜志、或靜態(tài)打印材料的其他實(shí)施例在以下意義上成為了一種形式的動態(tài)存儲器打印的紙張、打印的卡片、或其他的打印的介質(zhì)上出現(xiàn)的東西可以改變。本發(fā)明技術(shù)提供一種使用透視、近眼、混合現(xiàn)實(shí)顯示設(shè)備來使靜態(tài)打印內(nèi)容成為動態(tài)的方法的實(shí)施例。該方法包括標(biāo)識透視、近眼、混合現(xiàn)實(shí)顯示設(shè)備的視野中的打印內(nèi)容項(xiàng)，以及基于物理動作用戶輸入來標(biāo)識對打印內(nèi)容項(xiàng)內(nèi)的打印內(nèi)容選擇的用戶選擇。基于物理動作用戶輸入來確定用戶請求的針對該打印內(nèi)容選擇的任務(wù)并執(zhí)行該任務(wù)。根據(jù)所請求的任務(wù)來顯示與該打印內(nèi)容選擇有關(guān)的虛擬數(shù)據(jù)。本發(fā)明技術(shù)提供一種用于使靜態(tài)打印材料成為動態(tài)的透視、近眼、混合現(xiàn)實(shí)顯示設(shè)備系統(tǒng)的系統(tǒng)的實(shí)施例。該系統(tǒng)包括由支撐結(jié)構(gòu)定位的用于每只眼睛的相應(yīng)透視顯示器。支撐結(jié)構(gòu)的一個(gè)示例是框架。用于捕捉所述相應(yīng)透視顯示器的視野中的圖像數(shù)據(jù)的至少一個(gè)面向外的相機(jī)被定位在所述支撐結(jié)構(gòu)上。一個(gè)或多個(gè)軟件控制的處理器通信地耦合到所述至少一個(gè)面向外的相機(jī)來接收圖像數(shù)據(jù)并耦合到光學(xué)地耦合到該相應(yīng)透視顯示器的至少一個(gè)圖像生成單元。該一個(gè)或多個(gè)軟件控制的處理器基于物理動作用戶輸入和圖像數(shù)據(jù)來標(biāo)識對打印內(nèi)容選擇的用戶選擇。例如，書籍的頁可以在至少一個(gè)面向外的相機(jī)的視圖中。物理動作用戶輸入是由用戶使用身體部位來執(zhí)行、并由自然用戶界面(NUI)捕捉的動作。物理動作提供指示應(yīng)用的操作的數(shù)據(jù)或命令。物理動作的一些示例是眼睛注視和姿勢?！獋€(gè)或多個(gè)軟件控制的處理器通信地耦合到能夠訪問數(shù)據(jù)存儲的搜索引擎，所述數(shù)據(jù)存儲包括用于作品的內(nèi)容、布局和虛擬數(shù)據(jù)以及體現(xiàn)所述作品的打印內(nèi)容項(xiàng)。所述一個(gè)或多個(gè)軟件控制的處理器基于基于所述圖像數(shù)據(jù)來制定一個(gè)或多個(gè)查詢來標(biāo)識包括所述打印內(nèi)容選擇的打印內(nèi)容項(xiàng)以及包括所述打印內(nèi)容選擇的與介質(zhì)無關(guān)的版本的作品。所述一個(gè)或多個(gè)查詢被發(fā)送到所述搜索引擎。所述一個(gè)或多個(gè)軟件控制的處理器致使所述至少一個(gè)通信地耦合的圖像生成單元通過每個(gè)光學(xué)地耦合的相應(yīng)透視顯示器來顯示與所述打印內(nèi)容選擇相關(guān)聯(lián)的虛擬數(shù)據(jù)或所述打印內(nèi)容選擇的與所述介質(zhì)無關(guān)的版本。該技術(shù)提供一個(gè)或多個(gè)處理器可讀存儲設(shè)備的實(shí)施例，該存儲設(shè)備具有編碼于其上的指令，所述指令致使一個(gè)或多個(gè)處理器執(zhí)行一種用于使用透視、近眼、混合現(xiàn)實(shí)顯示設(shè)備系統(tǒng)來用虛擬數(shù)據(jù)改善靜態(tài)打印材料的可讀性的方法。該方法包括基于該顯示設(shè)備系統(tǒng)的一個(gè)或多個(gè)面向外的相機(jī)所捕捉的圖像數(shù)據(jù)來在標(biāo)識透視、近眼、混合現(xiàn)實(shí)顯示設(shè)備系統(tǒng)的視野中的打印材料，以及確定位于所述視野中的打印材料是否滿足可讀性準(zhǔn)則。響應(yīng)于可讀性準(zhǔn)則未被滿足，在所述視野中顯示滿足可讀性準(zhǔn)則的所述打印材料的虛擬版本。此外，如果所述打印材料仍在所述一個(gè)或多個(gè)面向外的相機(jī)的視野內(nèi)，則響應(yīng)于對所述打印材料的所述虛擬版本或所述打印材料之一或兩者的物理動作用戶輸入采取動作。提供本發(fā)明內(nèi)容以便以簡化形式介紹將在以下具體實(shí)施方式
中進(jìn)一步描述的一些概念。本發(fā)明內(nèi)容并非旨在標(biāo)識所要求保護(hù)的主題的關(guān)鍵特征或必要特征，也不旨在用于幫助確定所要求保護(hù)的主題的范圍。


圖1A是描繪透視、混合現(xiàn)實(shí)顯示設(shè)備系統(tǒng)的一個(gè)實(shí)施例的示例組件的框圖。圖1B是描繪透視、混合現(xiàn)實(shí)顯示設(shè)備系統(tǒng)的另一實(shí)施例的示例組件的框圖。圖1C是描繪將移動設(shè)備用作處理單元的透視、混合現(xiàn)實(shí)顯示設(shè)備系統(tǒng)的另一實(shí)施例的示例組件的框圖。圖2A是被具體化為提供對硬件和軟件組件的支持的眼鏡的透明、混合現(xiàn)實(shí)顯示設(shè)備的實(shí)施例中的鏡架的鏡腿的側(cè)視圖。圖2B是透視、近眼、混合現(xiàn)實(shí)設(shè)備的顯示光學(xué)系統(tǒng)的實(shí)施例的俯視圖。圖3是從軟件角度來看的用于通過透視、混合現(xiàn)實(shí)顯示設(shè)備系統(tǒng)來提供混合現(xiàn)實(shí)用戶界面的系統(tǒng)的框圖，用于使得打印材料成為動態(tài)的軟件可以在該顯示設(shè)備系統(tǒng)中操作。圖4A示出打印內(nèi)容選擇元數(shù)據(jù)記錄的示例。圖4B示出與打印介質(zhì)相關(guān)(medium-dependent)的以及與介質(zhì)無關(guān)(medium-1ndependent)的交叉引用內(nèi)容數(shù)據(jù)存儲的示例。圖5是用于用虛擬數(shù)據(jù)來使靜態(tài)打印內(nèi)容成為動態(tài)的方法的實(shí)施例的流程圖。圖6是用于標(biāo)識透視、混合現(xiàn)實(shí)顯示設(shè)備的視野中的打印內(nèi)容項(xiàng)的過程的實(shí)施例的流程圖。圖7A是用于標(biāo)識用戶眼睛選擇打印內(nèi)容選擇的至少一個(gè)物理動作的過程的實(shí)現(xiàn)示例的流程圖。圖7B是用于標(biāo)識用戶眼睛選擇打印內(nèi)容選擇的至少一個(gè)物理動作的過程的另一實(shí)現(xiàn)示例的流程圖。圖7C是用于標(biāo)識姿勢選擇打印內(nèi)容選擇的至少一個(gè)物理動作的過程的實(shí)現(xiàn)示例的流程圖。圖8A是用于生成用戶定義的姿勢并將該姿勢與任務(wù)相關(guān)聯(lián)的過程的實(shí)現(xiàn)示例的流程圖。圖SB是用于確定虛擬數(shù)據(jù)相對于打印材料的放置的過程的實(shí)現(xiàn)示例的流程圖。圖9A是一種執(zhí)行使內(nèi)容選擇最新(up-to-date)的任務(wù)的方法的實(shí)施例的流程圖。圖9B是基于與打印內(nèi)容選擇相關(guān)聯(lián)的至少一個(gè)關(guān)鍵詞來執(zhí)行搜索的方法的實(shí)施例的流程圖。圖9C是基于與打印內(nèi)容選擇的標(biāo)記相關(guān)聯(lián)的至少一個(gè)關(guān)鍵詞來執(zhí)行搜索的方法的實(shí)施例的流程圖，該標(biāo)記在包括其他標(biāo)記的細(xì)分內(nèi)。圖1OA示出了過時(shí)的并且包括不可見標(biāo)記的靜態(tài)打印材料的示例。圖1OB示出了插入虛擬數(shù)據(jù)以使內(nèi)容成為最新的且交互式的虛擬內(nèi)容并顯示搜索結(jié)果的示例。圖1lA是用于用虛擬數(shù)據(jù)來注釋靜態(tài)打印內(nèi)容的方法的實(shí)施例的流程圖。圖1lB是用于為作品的另一個(gè)打印的版本顯示為該作品的一個(gè)版本輸入的被存儲的注釋的方法的實(shí)施例的流程圖。圖12A示出指定手寫內(nèi)容選擇的姿勢的示例。圖12B示出了為用戶顯示的虛擬鍵入輸入設(shè)備的示例。圖12C示出了用來選擇要注釋的打印文本的手指姿勢的示例。圖12D示出了將圖12A的手寫內(nèi)容選擇的經(jīng)格式化的文本版本作為注釋來顯示的虛擬數(shù)據(jù)的示例。圖13A是用于在舒服閱讀位置處提供打印內(nèi)容的虛擬版本的方法的實(shí)施例的流程圖。圖13B是用于提供打印內(nèi)容的虛擬版本以獲得該內(nèi)容的改善的可見性的方法的實(shí)施例的流程圖。圖14示出提供虛擬數(shù)據(jù)以獲得改善的可見性以及多用戶視角共享視圖的示例。圖15是用于提供被鏈接到用戶視野的打印內(nèi)容的虛擬版本的方法的實(shí)施例的流程圖。圖16是可用于實(shí)現(xiàn)網(wǎng)絡(luò)可訪問計(jì)算系統(tǒng)的計(jì)算系統(tǒng)的一個(gè)實(shí)施例的框圖。圖17是可以在本技術(shù)的各實(shí)施例中操作的示例性移動設(shè)備的框圖。
具體實(shí)施例方式本技術(shù)提供用于被透視、近眼、混合現(xiàn)實(shí)顯示設(shè)備系統(tǒng)透視并顯示的虛擬數(shù)據(jù)來使靜態(tài)打印內(nèi)容成為動態(tài)的各實(shí)施例。透視顯示設(shè)備系統(tǒng)標(biāo)識用戶視野中的真實(shí)書籍、雜志、報(bào)紙或其他真實(shí)的打印材料。書籍、雜志、報(bào)紙、卡片或獨(dú)立的紙片都是打印內(nèi)容項(xiàng)的示例，對象識別軟件能夠從面向前的相機(jī)所捕捉的圖像數(shù)據(jù)中標(biāo)識這些打印內(nèi)容項(xiàng)，所述相機(jī)被置于顯示設(shè)備系統(tǒng)上用于捕捉該顯示設(shè)備的視野中的對象，該顯示設(shè)備的視野近似于用戶透過該顯示設(shè)備看時(shí)的視野。在某些情況下，眼睛注視數(shù)據(jù)標(biāo)識用戶正聚焦于視野中的何處，并且能夠因此標(biāo)識用戶正在看打印內(nèi)容項(xiàng)的哪一部分。對打印材料的一部分的注視持續(xù)可將該部分標(biāo)識為打印內(nèi)容選擇。注視持續(xù)是用戶使用身體部位的物理動作的示例。由用戶身體部位(諸如手或手指)執(zhí)行并被捕捉在圖像數(shù)據(jù)中的姿勢也是物理動作用戶輸入的示例。眨眼或眼睛的眨動序列也可以是姿勢。手、手指或其他身體部位的指向或特定移動姿勢也可指示打印內(nèi)容選擇，比如單詞、句子、段落或照片。用戶生成的聲音命令(諸如語音命令)也可以被認(rèn)為是指示用戶輸入的物理動作的示例?；诼曇舻膭幼魍ǔ０殡S比如姿勢和眼睛注視等其他物理動作。一旦用戶選擇圖片或文本，則不同的任務(wù)或應(yīng)用可針對該內(nèi)容選擇被執(zhí)行，比如用交互式游戲和全息圖來增強(qiáng)、用經(jīng)更新的內(nèi)容來取代、以及使用三維、兩維或這兩種虛擬數(shù)據(jù)來注釋。還可以通過生成并顯示該打印內(nèi)容項(xiàng)的至少一部分的虛擬版本來改善可用性。圖1A是描繪透視、增強(qiáng)或混合現(xiàn)實(shí)顯示設(shè)備系統(tǒng)的實(shí)施例的示例組件的框圖。系統(tǒng)8包括作為在此示例中通過線6或者在其他示例中無線地與處理單元4進(jìn)行通信的近目艮、頭戴式顯示設(shè)備2的透視顯示設(shè)備。在該實(shí)施例中，頭戴式顯示設(shè)備2的框架115為眼鏡的形狀，該框架115具有針對每只眼睛的顯示光學(xué)系統(tǒng)14，其中圖像數(shù)據(jù)被投影到用戶的眼睛中以生成圖像數(shù)據(jù)的顯示，同時(shí)用戶還通過顯示光學(xué)系統(tǒng)14觀看以獲得現(xiàn)實(shí)世界的實(shí)際直接視圖。使用術(shù)語“實(shí)際直接視圖”來指直接用人眼看到現(xiàn)實(shí)世界對象，而非看到所創(chuàng)建的對象的圖像表示的能力。例如，透過眼鏡看房間將允許用戶得到該房間的實(shí)際直接視圖，而在電視機(jī)上查看房間的視頻不是該房間的實(shí)際直接視圖。每個(gè)顯示光學(xué)系統(tǒng)14也被稱為透視顯示器，并且兩個(gè)顯示光學(xué)系統(tǒng)14 一起也可以被稱為透視顯示器?？蚣?15提供用于將該系統(tǒng)的各元件保持在原位的支撐結(jié)構(gòu)以及用于電連接的管道。在該實(shí)施例中，框架115提供了便利的眼鏡架作為下面進(jìn)一步討論的系統(tǒng)的各元件的支撐體。在此實(shí)施例中，框架115包括鼻梁架部分104，該鼻梁架部分104具有用于記錄聲音并傳送音頻數(shù)據(jù)的話筒110。框架的鏡腿或側(cè)臂102位于用戶的每只耳朵上。在此示例中，右鏡腿102r包括用于顯示設(shè)備2的控制電路136。如圖2A和2B中所示，在該實(shí)施例中在每個(gè)鏡腿102上還包括圖像生成單元120。而且，在本視圖中沒有示出但在圖2A和圖2B中示出了面向外的相機(jī)113，所述相機(jī)113用于記錄數(shù)字圖像和視頻并將視覺記錄傳送到控制電路136，控制電路136可進(jìn)而將所捕捉的圖像數(shù)據(jù)發(fā)送到處理單元4，處理單元4還可通過網(wǎng)絡(luò)50將該數(shù)據(jù)發(fā)送到一個(gè)或多個(gè)計(jì)算機(jī)系統(tǒng)12。處理單元4可以采取各種實(shí)施例。在一些實(shí)施例中，處理單元4是可佩戴在用戶的身體(例如腕)上的單獨(dú)單元，或者可以是比如圖1C中示出的所示移動設(shè)備4之類的單獨(dú)設(shè)備。處理單元4可通過通信網(wǎng)絡(luò)50與一個(gè)或多個(gè)計(jì)算系統(tǒng)12有線地或無線地通信(例如，WiF1、藍(lán)牙、紅外、RFID傳輸、無線通用串行總線(WUSB)、蜂窩、3G、4G或其它無線通信裝置)，無論位于附近還是位于遠(yuǎn)程位置。在其他實(shí)施例中，處理單元4的功能可被集成在圖1B的顯示設(shè)備2的軟件和硬件組件中。
可以充分利用遠(yuǎn)程的、網(wǎng)絡(luò)可訪問計(jì)算機(jī)系統(tǒng)12來處理電力和遠(yuǎn)程數(shù)據(jù)訪問。應(yīng)用可在計(jì)算系統(tǒng)12上執(zhí)行，其中該應(yīng)用與顯示系統(tǒng)8交互或?yàn)轱@示系統(tǒng)8執(zhí)行處理，或者該應(yīng)用可以在透視、混合現(xiàn)實(shí)顯示系統(tǒng)8中的一個(gè)或多個(gè)處理器上執(zhí)行。圖16示出了計(jì)算系統(tǒng)12的硬件組件的示例。圖1B是描繪可通過通信網(wǎng)絡(luò)50與其他設(shè)備通信的透視、增強(qiáng)或混合現(xiàn)實(shí)顯示設(shè)備系統(tǒng)8的另一個(gè)實(shí)施例的示例組件的框圖。在此實(shí)施例中，顯示設(shè)備2的控制電路136經(jīng)由無線收發(fā)機(jī)(參見圖2A中的137)通過通信網(wǎng)絡(luò)50與一個(gè)或多個(gè)計(jì)算機(jī)系統(tǒng)12無線地通信。圖1C是將移動設(shè)備用作處理單元4的透視、混合現(xiàn)實(shí)顯示設(shè)備系統(tǒng)的另一實(shí)施例的框圖。移動設(shè)備4的硬件和軟件組件(諸如包含在智能電話或平板計(jì)算設(shè)備中)的示例在圖17中描述。移動設(shè)備4的顯示器7還可顯示用于執(zhí)行應(yīng)用的數(shù)據(jù)(例如菜單)，并且該顯示器7可以是觸摸敏感的，以接受用戶輸入。移動設(shè)備4的一些其他示例是智能電話、膝上型計(jì)算機(jī)或筆記本計(jì)算機(jī)以及上網(wǎng)本計(jì)算機(jī)。圖2A是被具體化為提供對硬件和軟件組件的支持的眼鏡的透視、混合現(xiàn)實(shí)顯示設(shè)備2的實(shí)施例中的框架115的鏡腿102的側(cè)視圖。面向物理環(huán)境的攝像機(jī)113位于框架115前方，該攝像機(jī)能夠捕捉現(xiàn)實(shí)世界的視頻和靜止圖像，以映射在透視顯示器的視野中并因此在用戶的視野中的現(xiàn)實(shí)對象。所述相機(jī)還被稱為面向外的相機(jī)，意思是從用戶的頭部面向外。每個(gè)面向前的相機(jī)113是相對于其相應(yīng)的顯不光學(xué)系統(tǒng)14的參考點(diǎn)來校準(zhǔn)的，以使得可以從相應(yīng)相機(jī)113所捕捉的圖像數(shù)據(jù)來確定顯示光學(xué)系統(tǒng)14的視野。這樣的參考點(diǎn)的一個(gè)示例是其相應(yīng)顯示光學(xué)系統(tǒng)14的光軸(參見圖2B中的142)。該圖像數(shù)據(jù)通常是彩色圖像數(shù)據(jù)。在許多實(shí)施例中，兩個(gè)相機(jī)113提供重疊的圖像數(shù)據(jù)，從所述圖像數(shù)據(jù)中可以基于立體視覺確定所述場景中的對象的深度信息。在一些示例中，所述相機(jī)還可以是深度敏感相機(jī)，所述深度敏感相機(jī)傳送并檢測紅外光，從紅外光可確定深度數(shù)據(jù)。該處理標(biāo)識并映射用戶的現(xiàn)實(shí)世界視野?？梢园ㄔ陬^戴式顯示設(shè)備2上的深度感測技術(shù)的一些示例為、但不限于SONAR、LIDAR、結(jié)構(gòu)化光和/或飛行時(shí)間。控制電路136提供支持頭戴式顯示設(shè)備2的其他組件的各種電子裝置。在該示例中，右鏡腿102r包括用于顯示設(shè)備2的控制電路136，該控制電路包括處理單元210、處理單元210可訪問的用于存儲處理器可讀指令和數(shù)據(jù)的存儲器244、通信地耦合到處理單元210的無線接口 137、以及電源239，該電源為控制電路136的各組件以及顯示器2的其他組件(如相機(jī)113、話筒110和下面討論的傳感器單元)提供電力。處理單元210可包括一個(gè)或多個(gè)處理器，包括中央處理單元(CPU)和圖形處理單元(GPU)。耳機(jī)130、慣性傳感器132、一個(gè)或多個(gè)位置或鄰近傳感器144 (其一些示例是GPS收發(fā)機(jī)、紅外(IR)收發(fā)機(jī)、或用于處理RFID數(shù)據(jù)的射頻收發(fā)機(jī))位于鏡腿102內(nèi)部或安裝到鏡腿102?？蛇x的電脈沖傳感器128經(jīng)由眼睛移動檢測命令。在一個(gè)實(shí)施例中，慣性傳感器132包括三軸磁力計(jì)132A、三軸陀螺儀132B、以及三軸加速度計(jì)132C。慣性傳感器用于感測頭戴式顯示設(shè)備2的位置、定向、以及突然加速。從這些移動中，也可以確定頭部位置。在此實(shí)施例中，在其操作中使用模擬信號的設(shè)備(比如傳感器設(shè)備144、128、130和132以及下面討論的話筒110和IR照明器134A)的每一個(gè)包括控制電路，該控制電路與數(shù)字處理單元210和存儲器244接口，并且為其相應(yīng)的設(shè)備產(chǎn)生并轉(zhuǎn)換模擬信號。產(chǎn)生表示圖像的可見光的圖像源或圖像生成單元120安裝在鏡腿102上或鏡腿102內(nèi)。在一個(gè)實(shí)施例中，圖像源包括用于投射一個(gè)或多個(gè)虛擬對象的圖像的微顯示器120和用于將圖像從微顯示器120定向到反射表面或元件124的耦合光學(xué)透鏡系統(tǒng)122。微顯示器120可以以各種技術(shù)實(shí)現(xiàn)，包括投射投影技術(shù)、微有機(jī)發(fā)光二極管(OLED)技術(shù)、或反射技術(shù)，比如數(shù)字光處理(DLP)、硅基液晶(LC0S)、以及來自高通有限公司的Mirasul.K:U示技術(shù)。反射表面124將光從微顯器120定向到光導(dǎo)光學(xué)兀件112,光導(dǎo)光學(xué)兀件112將表圖像的光定向到用戶的眼睛?？蓪⑻摂M對象的圖像數(shù)據(jù)與現(xiàn)實(shí)對象配準(zhǔn)，這意味著當(dāng)現(xiàn)實(shí)對象在透視顯示器14的視野中時(shí)虛擬對象跟蹤其位置到通過透視顯示設(shè)備2看到的現(xiàn)實(shí)對象的位置。在一些實(shí)施例中，為了增強(qiáng)而被跟蹤的一個(gè)或多個(gè)打印內(nèi)容選擇可被打印有一個(gè)或多個(gè)標(biāo)記以改善對內(nèi)容選擇的檢測。標(biāo)記還可包括描述內(nèi)容選擇的元數(shù)據(jù)。例如，雜志中的照片可被打印有IR回射標(biāo)記或RFID標(biāo)簽，所述標(biāo)記或標(biāo)簽包括照片中的人的標(biāo)識符、以及拍攝該照片的地點(diǎn)、日期和一天中的時(shí)間。此外，可包括已打印有標(biāo)識符的作品的一個(gè)或多個(gè)打印或電子版本的標(biāo)識符。IR或RFID單元144可檢測所述標(biāo)記并將其包含的數(shù)據(jù)發(fā)送到控制電路136。圖2B是包括顯示光學(xué)系統(tǒng)14的透視、近眼、混合現(xiàn)實(shí)顯示設(shè)備的一側(cè)的實(shí)施例的俯視圖。近眼顯示設(shè)備2的框架115的一部分將圍繞顯示光學(xué)系統(tǒng)14以用于提供支撐和進(jìn)行電連接。為了示出頭戴式顯示設(shè)備2中的顯示光學(xué)系統(tǒng)14 (在該情況下是右眼系統(tǒng)14r)的各個(gè)組件，圍繞顯示光學(xué)系統(tǒng)的框架115的一部分未被描繪。在所示實(shí)施例中，顯示光學(xué)系統(tǒng)14是集成眼睛跟蹤和顯示系統(tǒng)。該系統(tǒng)包括光導(dǎo)光學(xué)元件112、不透明度濾光器114、以及可選的透視透鏡116和透視透鏡118。用于增強(qiáng)虛擬圖像的對比度的不透明度濾光器114處于任選的透視透鏡116之后并與其對齊，用于投影來自微顯示器120的圖像數(shù)據(jù)的光導(dǎo)光學(xué)元件112處于不透明度濾光器114之后并與其對齊，而任選的透視透鏡118處于光導(dǎo)光學(xué)兀件112之后并與其對齊。下面提供光導(dǎo)光學(xué)元件112和不透明度濾光器114的更多細(xì)節(jié)。光導(dǎo)光學(xué)元件112將來自微顯示器120的光傳送到佩戴頭戴式顯示設(shè)備2的用戶的眼睛140。光導(dǎo)光學(xué)元件112還允許如表示顯示光學(xué)系統(tǒng)14r的光軸的箭頭142所示那樣將來自頭戴式顯示設(shè)備2的前方的光通過光導(dǎo)光學(xué)元件112傳送到眼睛140，由此除接收來自微顯示器120的虛擬圖像之外還允許用戶具有頭戴式顯示設(shè)備2的前方的空間的實(shí)際直接視圖。因此，光導(dǎo)光學(xué)兀件112的壁是透視的。光導(dǎo)光學(xué)兀件112包括第一反射表面124 (例如鏡面或其他表面)。來自微顯示器120的光穿過透鏡122并入射在反射表面124上。反射表面124反射來自微顯示器120的入射光以使得所述光被困在波導(dǎo)內(nèi)，在本實(shí)施例中該波導(dǎo)為平面波導(dǎo)。代表性的反射元件126表示一個(gè)或多個(gè)光學(xué)元件，比如鏡、光柵以及將表示圖像的可見光從平面波導(dǎo)引導(dǎo)向用戶眼睛140的其他光學(xué)元件。紅外照明和反射還橫穿平面波導(dǎo)112以供眼睛跟蹤系統(tǒng)134跟蹤用戶眼睛的位置。用戶眼睛的位置和眼睛的圖像數(shù)據(jù)一般可用于諸如注視檢測、眨眼命令檢測、以及收集指示該用戶的個(gè)人存在狀態(tài)(state of being)的生物測定信息等應(yīng)用。眼睛跟蹤系統(tǒng)134包括在此示例中位于透鏡118和鏡腿102之間的眼睛跟蹤照明源134A以及眼睛跟蹤IR傳感器134B。在一個(gè)實(shí)施例中，眼睛跟蹤照明源134A可包括以大約預(yù)定IR波長或一定范圍的波長發(fā)射的一個(gè)或多個(gè)紅外(IR)發(fā)射器(諸如紅外發(fā)光二極管(LED)或激光器(例如，VCSEL))。在一些實(shí)施例中，眼睛跟蹤傳感器134B可以是用于跟蹤閃光位置的IR相機(jī)或IR位置敏感檢測器(PSD)。在此實(shí)施例中將平面波導(dǎo)用作光導(dǎo)光學(xué)元件112允許為圖像生成單元120、照明源134A以及IR傳感器134B靈活地放置進(jìn)出波導(dǎo)的光路的進(jìn)入和退出光學(xué)耦合。在此實(shí)施例中，波長選擇濾光器123使來自反射表面124的可見光譜光通過并且將來自眼睛跟蹤照明源134A的紅外波長照明引導(dǎo)到平面波導(dǎo)112中，波長選擇濾光器125使來自微顯示器120的可見照明和來自源134A的IR照明以向鼻梁架104的方向前進(jìn)的光學(xué)路徑穿過。在此示例中的反射元件126還表示實(shí)現(xiàn)了雙向紅外(IR)濾光的一個(gè)或多個(gè)光學(xué)元件，其將IR照明導(dǎo)向眼睛140 (優(yōu)選地以光軸142為中心)并從用戶眼睛140接收IR反射。除了上面提到的光柵等等之外，還可使用一個(gè)或多個(gè)熱鏡(hot mirror)來實(shí)現(xiàn)紅外濾光。在本示例中，IR傳感器134B也光學(xué)地稱合到波長選擇濾光器125,波長選擇濾光器125僅將來自波導(dǎo)的紅外輻射(包括用戶眼睛140的紅外反射，優(yōu)選地包括在光軸142周圍捕捉的反射)導(dǎo)出波導(dǎo)112并導(dǎo)入到IR傳感器134B中。在其他實(shí)施例中，眼睛跟蹤單元光學(xué)器件未與顯示光學(xué)器件集成。關(guān)于HMD設(shè)備的眼睛跟蹤系統(tǒng)的更多示例，參見于2008年7月22日頒發(fā)給Kranz等人的名稱為“HeadMounted Eye Tracking and Display System (頭戴式眼睛跟蹤和顯示系統(tǒng))”的美國專利7，401，920 ;參見Lewis等人的于2011年8月30日提交的名稱為“Gaze Detection in aSee-Through, Near-Eye, Mixed RealityDisplay (透視、近眼、混合擴(kuò)增現(xiàn)實(shí)顯示器中的注視檢測)”的美國專利申請?zhí)?3/245,739;以及參見Bohn的于2011年9月26日提交的名稱為“ IntegratedEye Tracking and Display System (集成眼睛跟蹤和顯示系統(tǒng))”的美國專利申請?zhí)?3/245，700，所 有這些申請作為弓I入并入在此。用于跟蹤眼睛的方向的另一實(shí)施例基于電荷跟蹤。該方案基于如下觀察視網(wǎng)膜攜帶可測量的正電荷并且角膜具有負(fù)電荷。在某些實(shí)施例中，傳感器128安裝在用戶的耳朵附近(靠近耳機(jī)130)以檢測眼睛在轉(zhuǎn)動時(shí)的電勢并且有效地實(shí)時(shí)讀出眼睛正在進(jìn)行的動作。(參見 2010 年 2 月 19 日的 “Control yourmobile music with eyeball-activatedearphones!(用眼球激活的耳機(jī)控制你的移動音樂！)”http://www. wirefresh. com/control-your-mobile-music-with-eyeball-actvated-headphones,其通過引用將其并入在此)。眨眼可作為命令被跟蹤。還可使用用于跟蹤眼睛移動(諸如眨眼)的其他實(shí)施例，其基于在來自裝載在眼鏡內(nèi)部上的小眼睛跟蹤相機(jī)134B的圖像數(shù)據(jù)中進(jìn)行模式和運(yùn)動識別。眼睛跟蹤相機(jī)134B在控制電路136的控制下將圖像數(shù)據(jù)的緩沖發(fā)送到存儲器244。與光導(dǎo)光學(xué)元件112對齊的不透明度濾光器114選擇性地阻擋自然光使其不穿過光導(dǎo)光學(xué)元件112以用于增強(qiáng)虛擬圖像的對比度。當(dāng)系統(tǒng)為增強(qiáng)現(xiàn)實(shí)顯示器而呈現(xiàn)場景時(shí)，該系統(tǒng)注意到哪些現(xiàn)實(shí)世界對象處于哪些虛擬對象之前，反之亦然。如果虛擬對象處于現(xiàn)實(shí)世界對象之前，則不透明度對于該虛擬對象的覆蓋區(qū)域而言被開啟。如果虛擬對象(虛擬地)處于現(xiàn)實(shí)世界對象之后，則不透明度以及該顯示區(qū)域的任何顏色都被關(guān)閉，使得對于現(xiàn)實(shí)光的該相應(yīng)區(qū)域而言，用戶將會僅僅看到現(xiàn)實(shí)世界對象。不透明度濾光器幫助使虛擬對象的圖像表現(xiàn)得更真實(shí)并且表示全范圍的顏色和強(qiáng)度。在該實(shí)施例中，不透明度濾光器的電控制電路(未示出)通過路由經(jīng)過框架的電連接從控制電路136接收指令。再者，圖2A、2B僅示出頭戴式顯示設(shè)備2的一半。完整的頭戴式顯示設(shè)備可包括另一組可選透視透鏡116和118、另一不透明度濾光器114、另一光導(dǎo)光學(xué)元件112、另一微顯示器120、另一透鏡系統(tǒng)122、面向物理環(huán)境的相機(jī)113 (也稱面向外或面向前的相機(jī)113)、眼睛跟蹤組件134、耳機(jī)130、以及傳感器128(如果存在)。在通過引用全部包含于此的2010年10月15日提交的題為“Fusing Virtual Content Into Real Content (將虛擬內(nèi)容融合到現(xiàn)實(shí)內(nèi)容中)”的美國專利申請?zhí)?2/905952中示出頭戴式顯示器2的附加細(xì)節(jié)。圖3示出了從軟件角度來看的計(jì)算環(huán)境實(shí)施例，該計(jì)算環(huán)境實(shí)施例可由顯示設(shè)備系統(tǒng)8、與該顯示設(shè)備系統(tǒng)通信的遠(yuǎn)程計(jì)算系統(tǒng)12或兩者來實(shí)現(xiàn)。網(wǎng)絡(luò)連通性允許充分利用可用的計(jì)算資源。計(jì)算環(huán)境54可以使用一個(gè)或多個(gè)計(jì)算機(jī)系統(tǒng)實(shí)現(xiàn)。如圖3的實(shí)施例中所示，計(jì)算環(huán)境54的軟件組件包括與操作系統(tǒng)190通信的圖像和音頻處理引擎191。圖像和音頻處理引擎191包括對象識別引擎192、姿勢識別引擎193、聲音識別引擎194、虛擬數(shù)據(jù)引擎195、以及可選的眼睛跟蹤軟件196(如果使用了眼睛跟蹤的話)，這些均彼此通信。圖像和音頻處理引擎191處理從捕捉設(shè)備(諸如面向外的相機(jī)113)接收的視頻、圖像和音頻數(shù)據(jù)。為了幫助檢測和/或跟蹤對象，圖像和音頻處理引擎191的對象識別引擎192可通過一個(gè)或多個(gè)通信網(wǎng)絡(luò)50來訪問結(jié)構(gòu)數(shù)據(jù)200的一個(gè)或多個(gè)數(shù)據(jù)庫。虛擬數(shù)據(jù)引擎195處理虛擬對象并使虛擬對象的位置和定向相關(guān)于一個(gè)或多個(gè)坐標(biāo)系配準(zhǔn)。此外，虛擬數(shù)據(jù)引擎195使用標(biāo)準(zhǔn)圖像處理方法來執(zhí)行平移、旋轉(zhuǎn)、縮放和視角操作以使虛擬對象顯得逼真。虛擬對象位置可與相應(yīng)的現(xiàn)實(shí)對象的位置配準(zhǔn)或取決于該現(xiàn)實(shí)對象的位置。虛擬數(shù)據(jù)引擎195確定虛擬對象的圖像數(shù)據(jù)在每個(gè)顯示光學(xué)系統(tǒng)14的顯示坐標(biāo)中的位置。虛擬數(shù)據(jù)引擎195還可確定虛擬對象在顯示設(shè)備系統(tǒng)8或計(jì)算系統(tǒng)12的存儲器單元中所存儲的現(xiàn)實(shí)世界環(huán)境的各個(gè)地圖中的位置。一個(gè)地圖可以是顯示設(shè)備相對于用于逼近用戶眼睛的位置的一個(gè)或多個(gè)參考點(diǎn)的視野。例如，透視顯示光學(xué)系統(tǒng)14的光軸可被用作這樣的參考點(diǎn)。在其他示例中，現(xiàn)實(shí)世界環(huán)境地圖可以獨(dú)立于顯示設(shè)備，例如，為一地點(diǎn)(例如，商店、咖啡店、博物館)的3D地圖或模型。計(jì)算系統(tǒng)12或顯示設(shè)備8或兩者的一個(gè)或多個(gè)處理器還執(zhí)行對象識別引擎192來標(biāo)識由面向環(huán)境的相機(jī)113所捕捉的圖像數(shù)據(jù)中的現(xiàn)實(shí)對象。與在其他圖像處理應(yīng)用中一樣，人可以是一種類型的對象。例如，對象識別引擎192可基于結(jié)構(gòu)數(shù)據(jù)200來實(shí)現(xiàn)模式識別來檢測特定對象，包括人。對象識別引擎192還可包括面部識別軟件，該面部識別軟件被用來檢測特定人的面部。結(jié)構(gòu)數(shù)據(jù)200可以包括關(guān)于要跟蹤的目標(biāo)和/或?qū)ο蟮慕Y(jié)構(gòu)信息。例如，可以存儲人類的骨架模型以幫助識別身體部位。在另一示例中，結(jié)構(gòu)數(shù)據(jù)200可以包括關(guān)于一個(gè)或多個(gè)無生命對象的結(jié)構(gòu)信息以便幫助識別所述一個(gè)或多個(gè)無生命對象。結(jié)構(gòu)數(shù)據(jù)200可以將結(jié)構(gòu)信息作為圖像數(shù)據(jù)來存儲或者將圖像數(shù)據(jù)用作模式識別的參考。圖像數(shù)據(jù)還可用于面部識別。因?yàn)榇蛴〔牧贤ǔ０ㄎ谋?，結(jié)構(gòu)數(shù)據(jù)200可包括一個(gè)或多個(gè)圖像數(shù)據(jù)存儲，該圖像數(shù)據(jù)存儲包括數(shù)字、符號(例如，數(shù)學(xué)符號)、以及來自由不同語言所使用的字母表的字母和字符的圖像。此外，結(jié)構(gòu)數(shù)據(jù)200可包括用于識別的用戶的手寫樣本?；趫D像數(shù)據(jù)，動態(tài)的打印材料應(yīng)用202可將圖像數(shù)據(jù)轉(zhuǎn)換成用于具有較小的存儲器占用的文本的計(jì)算機(jī)標(biāo)準(zhǔn)化的數(shù)據(jù)格式。計(jì)算機(jī)標(biāo)準(zhǔn)化的文本數(shù)據(jù)格式的一些示例是基于通用字符集(UCS)的統(tǒng)一碼(Unicode)以及美國信息交換標(biāo)準(zhǔn)碼(ASCII)格式。隨后可對照數(shù)據(jù)庫來搜索文本數(shù)據(jù)以查找包括該文本的內(nèi)容的標(biāo)識或查找與該文本的內(nèi)容有關(guān)的相關(guān)信息。在對象識別引擎192檢測到一個(gè)或多個(gè)對象之后，圖像和音頻處理引擎191可向操作系統(tǒng)190報(bào)告所檢測到的每個(gè)對象的標(biāo)識以及相應(yīng)的位置和/或定向，操作系統(tǒng)190將該標(biāo)識和位置和/或定向一直傳送到比如動態(tài)的打印材料應(yīng)用202等應(yīng)用。聲音識別引擎194處理經(jīng)由話筒110接收的音頻。在顯示設(shè)備系統(tǒng)8的實(shí)施例中，面向外的相機(jī)113結(jié)合姿勢識別引擎193來實(shí)現(xiàn)自然用戶界面(NUI)。眼睛跟蹤軟件196所標(biāo)識的眨眼命令或注視持續(xù)數(shù)據(jù)也是物理動作用戶輸入的示例。語音命令也可對諸如姿勢和眼睛注視等所識別的其他物理動作進(jìn)行補(bǔ)充。姿勢識別引擎193可以標(biāo)識出由用戶執(zhí)行的、將控制或命令指示給執(zhí)行中的應(yīng)用的的動作。該動作可以由用戶的身體部位(例如在閱讀應(yīng)用中通常為手或手指)來執(zhí)行，但是眼睛的眼睛眨眼序列也可以是姿勢。在一個(gè)實(shí)施例中，姿勢識別引擎193包括姿勢過濾器的集合，每個(gè)姿勢過濾器都包括關(guān)于可由骨架模型至少一部分執(zhí)行的姿勢的信息。姿勢識別引擎193將從所捕捉的圖像數(shù)據(jù)中導(dǎo)出的骨架模型和與其相關(guān)聯(lián)的移動與姿勢庫中的姿勢過濾器進(jìn)行比較來標(biāo)識出用戶(其由骨架模型來表示)何時(shí)執(zhí)行了一個(gè)或多個(gè)姿勢。在一些示例中，在與同顯示設(shè)備系統(tǒng)8或計(jì)算系統(tǒng)12通信的顯示設(shè)備2相分離的現(xiàn)實(shí)環(huán)境中的相機(jī)(特別是深度相機(jī))可檢測姿勢并將通知轉(zhuǎn)發(fā)到系統(tǒng)8、12。在其他示例中，姿勢可在相機(jī)113的視圖中由身體部位(諸如用戶的手或一個(gè)或多個(gè)手指)來執(zhí)行。在一些示例中，在姿勢訓(xùn)練會話期間將圖像數(shù)據(jù)與用戶的手或手指的圖像模型進(jìn)行匹配，而非進(jìn)行骨架跟蹤可用于識別姿勢。關(guān)于對象的檢測和跟蹤的更多信息可在2009年12月18日提交的名為“MotionDetection Using Depth Images(使用深度圖像的運(yùn)動檢測)”的美國專利申請12/641，788,以及名為 “Device for Identifying and Tracking MultipleHumans over Time (用于隨時(shí)間標(biāo)識和跟蹤多個(gè)人類的設(shè)備)”的美國專利申請12/475，308中找到，這兩個(gè)申請的全部內(nèi)容通過引用并入本申請。關(guān)于姿勢識別引擎193的更多信息可以在2009年4月13日提交的名為“GestureRecognition System Architecture (姿勢識別器系統(tǒng)架構(gòu))”的美國專利申請12/422，661中找到，該申請通過整體引用合并于此。關(guān)于識別姿勢的更多信息可在2009年2月23日提交的名為“Standard Gestures (標(biāo)準(zhǔn)姿勢)”的美國專利申請12/391，150 ;以及2009年5月29日提交的名為“Gesture Tool (姿勢工具)”的美國專利申請12/474，655中找到，這兩個(gè)申請的全部內(nèi)容通過引用并入本申請。計(jì)算環(huán)境54還將數(shù)據(jù)存儲在圖像和音頻數(shù)據(jù)緩存器199中。緩沖器提供用于接收從面向外的相機(jī)113捕捉的圖像數(shù)據(jù)、來自該眼睛跟蹤部件(如果被使用的話)的眼睛跟蹤相機(jī)的圖像數(shù)據(jù)的存儲器，用于保持要由圖像生成單元120顯示的虛擬對象的圖像數(shù)據(jù)的緩沖器，以及用于經(jīng)由話筒110來自用戶的語音命令等音頻數(shù)據(jù)以及要經(jīng)由耳機(jī)130發(fā)送到用戶的指令的緩沖器。設(shè)備數(shù)據(jù)198可以包括計(jì)算機(jī)系統(tǒng)8的唯一標(biāo)識符、網(wǎng)絡(luò)地址(例如IP地址)、型號、配置參數(shù)(諸如所安裝的設(shè)備)、操作系統(tǒng)的標(biāo)識、以及什么應(yīng)用在該顯示設(shè)備系統(tǒng)8中可用并正在該顯示系統(tǒng)8中執(zhí)行等等。尤其對于透視、混合現(xiàn)實(shí)顯示設(shè)備系統(tǒng)8，該設(shè)備數(shù)據(jù)還可包括來自傳感器的或從所述傳感器(諸如定向傳感器132、溫度傳感器138、話筒110、電脈沖傳感器128 (如果存在)、以及位置和鄰近收發(fā)機(jī)144)確定的數(shù)據(jù)。在此實(shí)施例中，顯示設(shè)備系統(tǒng)8和用戶所使用的其他基于處理器的系統(tǒng)161執(zhí)行客戶端側(cè)版本的推送服務(wù)應(yīng)用204N，所述推送服務(wù)應(yīng)用204n通過通信網(wǎng)絡(luò)50與信息推送服務(wù)引擎204通信。在此實(shí)施例中信息推送服務(wù)引擎204是基于云的?；谠频囊媸窃谝粋€(gè)或多個(gè)聯(lián)網(wǎng)計(jì)算機(jī)系統(tǒng)上執(zhí)行并通過該一個(gè)或多個(gè)聯(lián)網(wǎng)計(jì)算機(jī)系統(tǒng)存儲數(shù)據(jù)的一個(gè)或多個(gè)軟件應(yīng)用。該引擎不被束縛于特定位置?；谠频能浖囊恍┦纠巧缃宦?lián)網(wǎng)站點(diǎn)和基于web的電子郵件站點(diǎn)，比如Yahoo! -8'和Hotmaii''用戶可向彳目息推送服務(wù)引擎204注冊帳戶，該信息推送服務(wù)引擎授予信息推送服務(wù)監(jiān)視以下數(shù)據(jù)的許可用戶正在執(zhí)行的應(yīng)用及其生成和接收的數(shù)據(jù)以及用戶簡檔數(shù)據(jù)197，以及用于跟蹤用戶的地點(diǎn)和設(shè)備能力的設(shè)備數(shù)據(jù)198?；趶挠脩舻南到y(tǒng)8、161聚集的用戶簡檔數(shù)據(jù)、由用戶所使用的系統(tǒng)8、161上的正在執(zhí)行的應(yīng)用所接收和發(fā)送的數(shù)據(jù)、以及設(shè)備數(shù)據(jù)198^198,中所存儲的位置和其他傳感器數(shù)據(jù)，信息推送服務(wù)204可確定用戶的物理上下文、社交上下文、個(gè)人上下文或者各上下文的組合。用戶簡檔數(shù)據(jù)的本地副本1971、197N可存儲同一用戶簡檔數(shù)據(jù)197的一部分并可通過通信網(wǎng)絡(luò)50周期性地用由計(jì)算機(jī)系統(tǒng)12存儲在可訪問數(shù)據(jù)庫197中的用戶簡檔數(shù)據(jù)更新其本地副本。用戶簡檔數(shù)據(jù)197 —些示例是用戶所表達(dá)的偏好、用戶的朋友的列表、用戶的偏好活動、用戶的最愛(用戶的最愛的示例包括最愛的顏色、最愛的食物、最愛的書、最愛的作者等)、用戶的提醒的列表、用戶的社交團(tuán)體、用戶的當(dāng)前位置、以及其他用戶創(chuàng)建的內(nèi)容，諸如用戶的照片、圖像和錄制的視頻。在一個(gè)實(shí)施例中，用戶特定的信息可以從一個(gè)或多個(gè)數(shù)據(jù)源或應(yīng)用獲得，數(shù)據(jù)源或應(yīng)用為諸如信息推送服務(wù)204、用戶的社交聯(lián)網(wǎng)站點(diǎn)、聯(lián)系人或地址簿、來自日歷應(yīng)用的排程數(shù)據(jù)、電子郵件數(shù)據(jù)、即時(shí)消息收發(fā)數(shù)據(jù)、用戶簡檔或者因特網(wǎng)上的其他源以及該用戶直接輸入的數(shù)據(jù)。如同下面討論的，存在狀態(tài)可以從眼睛數(shù)據(jù)推導(dǎo)得出并且可以被本地地或由遠(yuǎn)程推送服務(wù)應(yīng)用204更新并存儲在用戶簡檔數(shù)據(jù)197中。在此實(shí)施例中，網(wǎng)絡(luò)可訪問的存在狀態(tài)查找表179將所標(biāo)識的眼睛數(shù)據(jù)作為用于推導(dǎo)存在狀態(tài)的參考與所述存在狀態(tài)相鏈接。

信任等級可通過用戶簡檔數(shù)據(jù)197來確定，用戶簡檔數(shù)據(jù)將用戶認(rèn)識的人標(biāo)識成例如社交網(wǎng)絡(luò)朋友和共享相同游戲服務(wù)的家庭成員，可以基于信任等級將這些人細(xì)分為不同的分組。此外，用戶可以使用客戶端側(cè)推送服務(wù)應(yīng)用204,在他們的用戶簡檔數(shù)據(jù)197中顯式地標(biāo)識信任等級。在一個(gè)實(shí)施例中，基于云的信息推送服務(wù)引擎204聚集來自存儲在用戶的不同用戶計(jì)算機(jī)系統(tǒng)8、161上的用戶簡檔數(shù)據(jù)197n的數(shù)據(jù)。推送服務(wù)應(yīng)用204的每個(gè)版本還在用戶簡檔數(shù)據(jù)197中存儲該用戶的跟蹤歷史。在跟蹤歷史中跟蹤的事件、人和物的一些示例是所訪問的地點(diǎn)、事務(wù)、購買的內(nèi)容和現(xiàn)實(shí)物品、以及所檢測到的與該用戶交互過的人。如果電子地標(biāo)識的朋友(例如，社交網(wǎng)絡(luò)朋友)也向推送服務(wù)應(yīng)用204注冊，或者他們通過其他應(yīng)用166使信息對用戶可用或公開可用，則推送服務(wù)應(yīng)用204也可使用此數(shù)據(jù)來跟蹤該用戶的內(nèi)容和社交上下文。如同下面進(jìn)一步討論的，動態(tài)的打印材料應(yīng)用202可訪問一個(gè)或多個(gè)搜索引擎203來訪問用于標(biāo)識打印內(nèi)容選擇和包括所述打印內(nèi)容選擇的打印內(nèi)容項(xiàng)的信息以及相關(guān)的虛擬數(shù)據(jù)205。可被搜索以查找標(biāo)識和相關(guān)虛擬數(shù)據(jù)的資源的示例被示出為發(fā)布者數(shù)據(jù)庫207和用于因特網(wǎng)搜索的索引的與打印內(nèi)容相關(guān)的資源209。例如，可訪問通用搜索引擎(比如Bing8或Google )以及對公眾可用或基于訂閱(如在用戶簡檔數(shù)據(jù)中可標(biāo)識的)而可用的國會圖書館、大學(xué)圖書館或發(fā)布者數(shù)據(jù)庫的搜索引擎。發(fā)布者可具有指向其數(shù)據(jù)庫207中的虛擬內(nèi)容的指針，因?yàn)榘l(fā)布者可能具有用于鼓勵(lì)為其打印材料開發(fā)虛擬內(nèi)容的業(yè)務(wù)模型。此外，與發(fā)布者不相關(guān)的實(shí)體或者希望維護(hù)他們自己的數(shù)據(jù)資源的人可能希望使虛擬內(nèi)容可通過他們自己的網(wǎng)站(所述網(wǎng)站是因特網(wǎng)索引的資源)來得到。通過對從打印內(nèi)容選擇和包含打印內(nèi)容選擇的打印內(nèi)容項(xiàng)的圖像數(shù)據(jù)導(dǎo)出的信息進(jìn)行搜索，可以用值來填充用于打印內(nèi)容選擇的元數(shù)據(jù)201中的數(shù)據(jù)字段。下面討論的圖4A提供了打印內(nèi)容選擇的元數(shù)據(jù)記錄的示例。該技術(shù)的一個(gè)優(yōu)勢在于更新在沒有針對虛擬增強(qiáng)的任何計(jì)劃的情況下打印出來的先前發(fā)布的材料的能力。如同下面討論的，用戶可被請求查看有關(guān)打印內(nèi)容的打印版本標(biāo)識數(shù)據(jù)，例如書籍或報(bào)紙的標(biāo)題頁或雜志的內(nèi)容表。版本標(biāo)識數(shù)據(jù)的其他示例是標(biāo)準(zhǔn)化標(biāo)識符，標(biāo)準(zhǔn)化標(biāo)識符的一個(gè)示例是書籍的國際標(biāo)準(zhǔn)書籍號(ISBN)。書籍上的ISBN號標(biāo)識諸如該書籍的語言組、發(fā)布者、標(biāo)題和版次或變體等數(shù)據(jù)。對于期刊，國際標(biāo)準(zhǔn)序列號(ISSN)標(biāo)識期刊的標(biāo)題，而連續(xù)出版物和及其單篇文獻(xiàn)的標(biāo)識(SICI)是用來標(biāo)識具體的卷、文章或期刊的其他可標(biāo)識部分的標(biāo)準(zhǔn)。例如，ISSN可標(biāo)識期刊，例如雜志“頭戴式顯示器”，而SCSI通過書目項(xiàng)(bibliographic items)來標(biāo)識文章,書目項(xiàng)的一些示例是標(biāo)題、卷和號碼、發(fā)行日期、開始和結(jié)束頁以及內(nèi)容格式，例如，用于打印文本的TX。其他內(nèi)容格式可指示web發(fā)布和視聽格式。來自面向外的相機(jī)的圖像數(shù)據(jù)或從被查看的標(biāo)識數(shù)據(jù)的圖像數(shù)據(jù)轉(zhuǎn)換的文本被發(fā)送到一個(gè)或多個(gè)搜索引擎203。以下討論了用于通過創(chuàng)建打印材料的虛擬版本來滿足可讀性準(zhǔn)則206來改善打印材料的可讀性的方法，該可讀性準(zhǔn)則206可被存儲為用于由動態(tài)的打印材料應(yīng)用202的規(guī)則引擎執(zhí)行的規(guī)則?？勺x性準(zhǔn)則的一些示例是舒服閱讀位置準(zhǔn)則和可見性準(zhǔn)則。舒服閱讀位置準(zhǔn)則的一些示例是距透視、混合現(xiàn)實(shí)顯示設(shè)備系統(tǒng)中包括的用于每只眼睛的透視顯示器的相應(yīng)參考點(diǎn)的角度位置準(zhǔn)則、距用于每只眼睛的透視顯示器的深度距離、以及內(nèi)容數(shù)據(jù)在該顯示設(shè)備的視野中的定向。參考點(diǎn)的一個(gè)示例是通常位于顯示器的中心附近的顯示器的光軸142，當(dāng)用戶向正前方看向一對象時(shí)該光軸大致與用戶的瞳孔對齊。如果打印材料太偏向一側(cè)，則可能導(dǎo)致頸部扭傷。深度距離準(zhǔn)則可指示閱讀材料太靠近或太遠(yuǎn)離。內(nèi)容數(shù)據(jù)的定向可指示文本或圖片上下顛倒或者偏向一側(cè)，這對于閱讀是不理想的?？梢娦詼?zhǔn)則的示例可以是視野中的文本或圖畫內(nèi)容的大小。如果太小或太大，內(nèi)容大小可被調(diào)整到合適的水平。該準(zhǔn)則可基于用戶的實(shí)際視力(如果上傳了規(guī)定的話)、對用戶年齡而言典型的視力、或基于人類的平均視力特征。一旦標(biāo)識了用戶正在看的作品的打印版本并在其中定位了打印內(nèi)容選擇，則動態(tài)的打印材料應(yīng)用202可查詢一個(gè)或多個(gè)搜索引擎203以基于包括打印內(nèi)容選擇的打印內(nèi)容項(xiàng)來搜索與打印內(nèi)容選擇有關(guān)的虛擬內(nèi)容205。在一些實(shí)施例中，虛擬內(nèi)容與作品或包括內(nèi)容選擇的作品版本相關(guān)聯(lián)，而與表達(dá)該內(nèi)容的介質(zhì)無關(guān)。例如，紙或其他可打印材料是介質(zhì)的示例。表達(dá)作品的另一介質(zhì)是電子顯示器或音頻記錄。在一些情況下，虛擬數(shù)據(jù)205是特別生成來供布置在特定的打印版上(例如，在書籍的特定頁或者打印材料的其他細(xì)分上)時(shí)與內(nèi)容選擇有關(guān)地出現(xiàn)的數(shù)據(jù)。例如，發(fā)布者可創(chuàng)建用于更新教科書的新近版本的虛擬內(nèi)容，在該新近版本中解釋將被顯示在具有過時(shí)信息的頁的上方，該過時(shí)信息指示存在九(9)個(gè)行星并列出這些行星。最新的解釋可以是被專門格式化以覆蓋整個(gè)頁的圖像并且解釋現(xiàn)在只存在八(8)個(gè)行星而不是九(9)個(gè)行星以及為什么冥王星沒有資格作為行星。在另一示例中，具有存儲在其數(shù)據(jù)庫中的書籍布局的發(fā)布者可為書籍在頁面上的預(yù)定位置處以及為特定頁面提供交互式游戲以及其他內(nèi)容。在其他示例中，虛擬內(nèi)容205綁定到與介質(zhì)無關(guān)的作品或作品版本。例如，教授可將她在不同點(diǎn)處做出的她的筆記存儲在一教科書的她的打印版本中，以可用于該教科書的、與介質(zhì)無關(guān)的任何版本。換言之，教科書的內(nèi)容是作品。該教科書的當(dāng)前的、先前的和未來的版本是作品的版本。動態(tài)的打印材料應(yīng)用202將每個(gè)筆記鏈接到作品的與介質(zhì)無關(guān)的組織中的該作品的細(xì)分。例如，可將筆記鏈接到可通過執(zhí)行用于文本匹配的軟件指令來標(biāo)識的特定段落中的短語。段落是一種與介質(zhì)無關(guān)的細(xì)分，而頁面依賴于特定的打印或電子布局。教科書的具有較小印刷字體的平裝副本與該教科書的用較大印刷字體的精裝副本是不同的打印作品版本，但是它們包含該教科書內(nèi)容的完全相同的版本。教授可通過向上她的課的學(xué)生或過去的學(xué)生授予許可和訪問權(quán)來允許她的虛擬筆記可用于在她的判斷下存儲或流傳輸給這些學(xué)生。圖4A示出了打印內(nèi)容選擇元數(shù)據(jù)記錄的示例，該元數(shù)據(jù)記錄包括打印內(nèi)容選擇描述性數(shù)據(jù)210、打印內(nèi)容項(xiàng)版本標(biāo)識符212、打印內(nèi)容選擇位置數(shù)據(jù)214、作品版本標(biāo)識符216、以及作品版本位置數(shù)據(jù)218 (如果適用)、作品標(biāo)識符220和作品位置數(shù)據(jù)222。作品標(biāo)識符220與特定格式或介質(zhì)無關(guān)地標(biāo)識該創(chuàng)造性作品。作品位置數(shù)據(jù)222按照一個(gè)或多個(gè)與介質(zhì)無關(guān)的細(xì)分(比如段落、詩節(jié)、詩篇等)來標(biāo)識打印內(nèi)容選擇的一個(gè)或多個(gè)位置。可包括作品版本標(biāo)識符216，以描述作品210的不同版本或版次(例如，翻譯)，其也與特定的格式或介質(zhì)無關(guān)。還可按照一個(gè)或多個(gè)與介質(zhì)無關(guān)的細(xì)分來定義作品版本位置218。打印內(nèi)容項(xiàng)版本標(biāo)識符212標(biāo)識特定的打印布局的特定的打印版次。打印版本標(biāo)識符212綁定于為紙或被物理打印的其他材料的介質(zhì)。打印內(nèi)容選擇位置數(shù)據(jù)214可以按照具體的靜態(tài)打印布局位置，比如頁面或頁面上的位置。例如，詩“貝奧武夫(Beowulf)”是一個(gè)作品。該詩的原始的舊英語形式是一個(gè)作品版本，如同用現(xiàn)代英語詞匯替換了一些單詞的是一個(gè)版本一樣。版本的另一示例是法語譯文。另一示例將是用評論做腳注的原始的舊英語詩。打印版本標(biāo)識符212可標(biāo)識圖書館中保存的一片或多片牛皮紙上的該詩的打印版本。這一打印的版本還將具有原始的舊英語形式的作品版本標(biāo)識符以及與其相關(guān)聯(lián)的貝奧武夫的作品標(biāo)識符。不同的打印內(nèi)容項(xiàng)版本標(biāo)識符212標(biāo)識已打印了貝奧武夫的用在其第37頁開始的評論做了腳注的版本的英語文獻(xiàn)的選集。這一不同的打印版本與該詩的原始的舊英語形式具有不同的打印內(nèi)容項(xiàng)版本標(biāo)識符212和作品版本標(biāo)識符，但是具有相同的作品標(biāo)識符。對于用戶所選擇的該詩的選集版本內(nèi)的內(nèi)容，打印內(nèi)容選擇的位置數(shù)據(jù)按照第37頁。在此情況下，同樣，作品版本位置數(shù)據(jù)218和作品位置數(shù)據(jù)222包括相同的詩節(jié)。圖4B示出打印的與介質(zhì)相關(guān)的和與介質(zhì)無關(guān)的內(nèi)容數(shù)據(jù)存儲的示例，這些數(shù)據(jù)存儲在此處被示為交叉引用數(shù)據(jù)庫。這些數(shù)據(jù)庫211、213、215提供對包括內(nèi)容選擇的特定布局的訪問。所述布局可以與介質(zhì)無關(guān)或與介質(zhì)相關(guān)。在此示例中，打印內(nèi)容項(xiàng)版本標(biāo)識符212、作品版本標(biāo)識符216、或作品標(biāo)識符220中的任一個(gè)可被用來交叉引用或索引到與介質(zhì)無關(guān)的作品211和作品版本數(shù)據(jù)庫213和與介質(zhì)無關(guān)的或布局特定的打印內(nèi)容項(xiàng)數(shù)據(jù)庫215中任一個(gè)。作品的布局或位置數(shù)據(jù)、任何作品版本以及該作品的各個(gè)打印內(nèi)容項(xiàng)版本也被交叉引用。同樣，與介質(zhì)無關(guān)的細(xì)分標(biāo)識符的一些示例可以是向作品或作品版本提供與介質(zhì)無關(guān)的組織的段落、詩節(jié)、詩篇等等。作品中的第80段在一個(gè)打印內(nèi)容項(xiàng)版本中可以被交叉引用到第16頁，且在另一打印內(nèi)容項(xiàng)版本中被交叉引用到該作品的較大印刷字體版次中的第24頁。經(jīng)由打印內(nèi)容項(xiàng)版本標(biāo)識符212，開發(fā)者能夠鏈接到打印內(nèi)容項(xiàng)數(shù)據(jù)庫215中的打印版本(例如，特定的版次)的打印布局。打印布局包括比如以下事項(xiàng)頁碼、頁邊距寬度、頁眉和頁腳內(nèi)容、字體大小、圖示和照片的位置及其在頁面上的大小、以及其他這種布局專用的信息。發(fā)布者可以提供對他們的有版權(quán)的作品的數(shù)據(jù)存儲的訪問，以用于標(biāo)識目的并作為針對虛擬內(nèi)容的開發(fā)者的對該作品的布局、作品版本或打印的版本的參考。通過能夠訪問作品的布局、特定作品版本和特定的打印內(nèi)容項(xiàng)版本，開發(fā)者能夠?yàn)樽髌返呐c介質(zhì)無關(guān)和與介質(zhì)相關(guān)版本創(chuàng)建虛擬內(nèi)容205。如所示，數(shù)據(jù)庫211、213、215和虛擬內(nèi)容205可彼此交叉引用。對于沒有版權(quán)的作品，可以在處于圖書館(特別是具有大的收集的那些圖書館，諸如國會圖書館、其他國家圖書館、大學(xué)、以及大的公共圖書館、以及書籍編輯網(wǎng)站，比如Google Book 和由大學(xué)維護(hù)的站點(diǎn))控制下的數(shù)據(jù)存儲中搜索作品的副本、作品版本或打印內(nèi)容的版本，以獲得將參考位置數(shù)據(jù)214、218、222引用到的布局。在以下各圖中呈現(xiàn)用于該技術(shù)的方法的實(shí)施例以及所述方法的一些步驟的示例實(shí)現(xiàn)過程。為說明目的，下面的方法實(shí)施例是在上述系統(tǒng)實(shí)施例的上下文中描述的。然而，所述方法實(shí)施例不限于在上述系統(tǒng)實(shí)施例中操作，而是可以在其他系統(tǒng)實(shí)施例中實(shí)現(xiàn)。圖5是用于用虛擬數(shù)據(jù)來使靜態(tài)打印內(nèi)容成為動態(tài)的方法的實(shí)施例的流程圖。物體識別引擎192可將在透視、混合現(xiàn)實(shí)顯示設(shè)備的視野中的物體識別為一項(xiàng)打印材料(例如，書籍或期刊或僅是一頁 紙)，并且由操作系統(tǒng)190向動態(tài)的打印材料應(yīng)用202通知該物體識別。在步驟302，動態(tài)的打印材料應(yīng)用202標(biāo)識打印內(nèi)容項(xiàng)，并且在步驟304中基于物理動作用戶輸入來標(biāo)識對打印內(nèi)容項(xiàng)內(nèi)的打印內(nèi)容選擇的用戶選擇。在步驟306，動態(tài)的打印材料應(yīng)用202基于物理動作用戶輸入來確定針對打印內(nèi)容選擇的任務(wù)，并且在步驟308中執(zhí)行該任務(wù)。在步驟310中根據(jù)該任務(wù)顯示與打印內(nèi)容選擇有關(guān)的虛擬數(shù)據(jù)。任務(wù)的一些示例是響應(yīng)于用戶輸入來顯示并更新交互式虛擬內(nèi)容(例如游戲)的交互式任務(wù)，允許用戶選擇打印內(nèi)容并經(jīng)由消息收發(fā)應(yīng)用(比如電子郵件、即時(shí)消息收發(fā)或短消息服務(wù)(SMS))將其發(fā)送到另一用戶的SnipperS江具，注釋應(yīng)用，語言翻譯應(yīng)用，搜索任務(wù)，使其最新應(yīng)用，定義應(yīng)用，創(chuàng)建用戶可在他或她的視野中操縱的打印內(nèi)容的虛擬版本而不再看實(shí)際的打印內(nèi)容的“跟著我”應(yīng)用，用于改善內(nèi)容的可見性和閱讀期間的舒適性的可讀性應(yīng)用，以及生成打印內(nèi)容的未標(biāo)記版本的修訂和刷新應(yīng)用。例如，打印內(nèi)容的標(biāo)記版本可包括下劃線、涂寫、以及在頁邊距處的筆記，這些標(biāo)記使得內(nèi)容幾乎不可讀。例如，僅具有作品的精簡版本的用戶可能定義填入已刪除內(nèi)容的任務(wù)。另一示例是還原應(yīng)用，其中用戶標(biāo)識丟失的頁，并且顯示它們。如同上面提到的，用戶也可定義任務(wù)。
圖6是用于標(biāo)識透視、混合現(xiàn)實(shí)顯示設(shè)備的視野中的打印內(nèi)容項(xiàng)的過程的實(shí)施例的流程圖。在步驟312中，動態(tài)的打印材料應(yīng)用202電子地輸出請求用戶將打印內(nèi)容項(xiàng)的一個(gè)或多個(gè)版本標(biāo)識片段放置到顯示設(shè)備2的視野中的指令。版本標(biāo)識部分的一些示例是上面討論的ISBN、ISSN和SICI號、報(bào)紙或雜志的封面、標(biāo)題頁面、首頁、內(nèi)容表、以及版權(quán)頁。書籍的版權(quán)頁通常以標(biāo)準(zhǔn)格式提供ISBN號、標(biāo)題、印刷日期、版次、作者、發(fā)布者以及關(guān)于先前的版權(quán)的信息。該一個(gè)或多個(gè)版本標(biāo)識部分可在圖像數(shù)據(jù)中被標(biāo)識，例如，基于版權(quán)頁的模板或用于ISBN、ISSN和SICI的標(biāo)準(zhǔn)數(shù)字格式的模板以及被提取并放入比如文本、作者、發(fā)布者等預(yù)定搜索字段中的數(shù)據(jù)。在其他示例中，可基于字母表結(jié)構(gòu)數(shù)據(jù)200來標(biāo)識頁面上的文本將并該文本轉(zhuǎn)換成用于查詢的計(jì)算機(jī)標(biāo)準(zhǔn)文本數(shù)據(jù)格式。在步驟314中，基于該一個(gè)或多個(gè)版本標(biāo)識片段來制定查詢，并在步驟316中將該查詢發(fā)送到搜索引擎以查找打印內(nèi)容項(xiàng)版本標(biāo)識符。動態(tài)的打印材料應(yīng)用202在步驟318中接收打印內(nèi)容項(xiàng)版本標(biāo)識符。可選地，在步驟320中，響應(yīng)于驗(yàn)證打印內(nèi)容項(xiàng)的身份，動態(tài)的打印材料應(yīng)用202接收與介質(zhì)無關(guān)的作品標(biāo)識符以及任何適用的與介質(zhì)無關(guān)的作品版本標(biāo)識符。動態(tài)應(yīng)用202還可通過將打印內(nèi)容項(xiàng)版本標(biāo)識符212用作發(fā)布者數(shù)據(jù)庫207或因特網(wǎng)索引的資源209中的索引來接收作品標(biāo)識符和作品版本標(biāo)識符。圖7A是用于標(biāo)識用戶眼睛選擇打印內(nèi)容選擇的至少一個(gè)物理動作的過程的實(shí)現(xiàn)示例的流程圖。眼睛跟蹤軟件196通?；谕孜恢脕順?biāo)識眼睛在眼眶內(nèi)的位置，但是虹膜位置也可以作為基礎(chǔ)。在步驟322中，動態(tài)的打印材料應(yīng)用202確定用戶注視打印內(nèi)容對象的持續(xù)時(shí)間已經(jīng)超過了時(shí)間窗口，并且在步驟324中，致使圖像生成單元120顯示勾勒出打印內(nèi)容對象的視覺增強(qiáng)。在步驟326中，響應(yīng)于標(biāo)識物理動作用戶輸入確認(rèn)，動態(tài)的打印材料應(yīng)用202將該打印內(nèi)容對象標(biāo)識為用戶的打印內(nèi)容選擇。物理動作用戶輸入確認(rèn)的一些示例是比如指示“是”或“選擇”或?qū)θ蝿?wù)的請求的眨眼、姿勢或語音命令的動作。用戶可通過對視覺增強(qiáng)(例如輪廓)的物理動作來指示確認(rèn)之外的命令，比如改變該視覺增強(qiáng)的形狀來包括更多或更少的內(nèi)容或指示“否”或“取消”的姿勢、眨眼或語音命令。圖7B是用于標(biāo)識用戶眼睛選擇打印內(nèi)容選擇的至少一個(gè)物理動作的過程的另一實(shí)現(xiàn)示例的流程圖。在步驟322中，動態(tài)的打印材料應(yīng)用202標(biāo)識用戶眼睛在用戶注視打印內(nèi)容對象期間的選擇動作，并且在步驟334中，致使圖像生成單元120顯示勾勒出該打印內(nèi)容對象的視覺增強(qiáng)。在步驟336中，響應(yīng)于標(biāo)識物理動作用戶輸入確認(rèn)，動態(tài)的打印材料應(yīng)用202將該打印內(nèi)容對象標(biāo)識為用戶的打印內(nèi)容選擇。圖7C是用于標(biāo)識一姿勢選擇打印內(nèi)容選擇的至少一個(gè)物理動作的過程的實(shí)現(xiàn)示例的實(shí)施例的流程圖。在步驟342中，動態(tài)的打印材料應(yīng)用202接收已經(jīng)檢測到手指在打印內(nèi)容材料的一部分(例如，一頁)上的開始姿勢的通知，并且在步驟344中致使圖像生成單元120顯示勾勒手指在打印內(nèi)容材料的該部分上的移動的視覺增強(qiáng)。在步驟346中，動態(tài)的打印材料應(yīng)用202接收已經(jīng)檢測到手指在該打印內(nèi)容材料上的停止姿勢的通知。因?yàn)槭种竿ǔＴ谟脩粽陂喿x的頁或片或卡片的某個(gè)部分上，所以開始和停止姿勢對用戶正在做出請求的時(shí)候與用戶只是移動手指位置的時(shí)候做出清楚的區(qū)分。其他過程示例可不要求開始和停止姿勢，而是改為基于監(jiān)視隨時(shí)間的用戶手指行為來將移動與姿勢進(jìn)行區(qū)分。在步驟348中，響應(yīng)于標(biāo)識物理動作用戶輸入確認(rèn)，動態(tài)的打印材料應(yīng)用202將該打印內(nèi)容對象標(biāo)識為用戶的打印內(nèi)容選擇。
圖8A是用于生成用戶定義的姿勢并將該姿勢與任務(wù)相關(guān)聯(lián)的過程的實(shí)現(xiàn)示例的流程圖。步驟352中的動態(tài)的打印材料應(yīng)用202顯示可用于打印內(nèi)容選擇的任務(wù)的菜單，其可包括用戶定義的任務(wù)。用戶定義的任務(wù)的示例將是用戶選擇內(nèi)容并執(zhí)行查詢以查找有關(guān)該內(nèi)容的評論。用戶可保存該特定搜索查詢，或?qū)Σ檎以u論的準(zhǔn)則的搜索項(xiàng)保存為任務(wù)。當(dāng)用戶選擇不同內(nèi)容選擇的評論任務(wù)時(shí)，檢索該不同內(nèi)容選擇的評論。動態(tài)的打印材料應(yīng)用202在步驟354中接收選擇定義姿勢的用戶輸入，并在步驟356中接收從菜單選擇任務(wù)或子任務(wù)的用戶輸入。面向外的相機(jī)113在步驟358中捕捉由該用戶執(zhí)行的姿勢的圖像數(shù)據(jù)(向動態(tài)的打印材料應(yīng)用202通知了所述姿勢)，并在步驟360中，動態(tài)的打印材料應(yīng)用202將所述姿勢作為在菜單中選擇的任務(wù)或子任務(wù)的請求而關(guān)聯(lián)。一些打印材料(比如書籍和期刊)可能是用包括用于虛擬內(nèi)容的指定點(diǎn)的布局打印的。例如，挨著照片(該照片具有帶標(biāo)識該照片的元數(shù)據(jù)的標(biāo)記和有關(guān)的虛擬內(nèi)容或數(shù)據(jù))的可以是預(yù)定尺寸的空間，所述有關(guān)的虛擬內(nèi)容適合放入該空間。該空間也可具有標(biāo)識要在那里顯示的虛擬內(nèi)容的標(biāo)記，例如RFID標(biāo)簽或IR標(biāo)記。然而，即便對于為了通過虛擬數(shù)據(jù)進(jìn)行增強(qiáng)而被預(yù)先打印內(nèi)容，用戶也可能激活諸如搜索任務(wù)等任務(wù)并接收該頁面并未針對其預(yù)先格式化的數(shù)據(jù)。在顯示設(shè)備系統(tǒng)8上的計(jì)算環(huán)境54、遠(yuǎn)程計(jì)算機(jī)系統(tǒng)12或兩者中執(zhí)行的軟件確定要將虛擬數(shù)據(jù)放置于何處。用戶也可通過物理動作來指定放置。例如，用戶可注視虛擬數(shù)據(jù)一持續(xù)時(shí)間，并隨后注視片或頁上的空白點(diǎn)。在另一示例中，用戶可用手指指向虛擬對象并拖動該手指到該片或頁上的另一點(diǎn)。圖SB是用于確定虛擬數(shù)據(jù)相對于打印材料的放置的過程的實(shí)現(xiàn)示例的流程圖。在此示例中，動態(tài)的打印材料應(yīng)用202具有要從中進(jìn)行選擇的、與打印內(nèi)容選擇有關(guān)的多個(gè)預(yù)定位置選項(xiàng)。用戶可按照他或她的偏好從預(yù)定位置移動虛擬數(shù)據(jù)。在此示例中，在步驟353中，動態(tài)的打印材料應(yīng)用202確定適用的執(zhí)行任務(wù)是否請求替換位置。例如，一任務(wù)可能是個(gè)性化任務(wù)，該個(gè)性化任務(wù)具有改變角色名稱或?qū)⒔巧Q插入到那些讀者或者一個(gè)或多個(gè)用戶指定的人中的子任務(wù)。如果想要替換，則動態(tài)的應(yīng)用202在步驟355中為打印內(nèi)容選擇在一替換位置顯示虛擬內(nèi)容。在步驟357中，響應(yīng)于執(zhí)行任務(wù)不請求替換位置，動態(tài)的打印材料應(yīng)用202確定虛擬數(shù)據(jù)內(nèi)容是否合適放到行間位置并仍舊滿足可見性準(zhǔn)貝U。行間位置是文本的各行之間的空間，或一行文本或一圖片之間的空間，或各圖片之間的空間?？梢娦詼?zhǔn)則的一個(gè)示例是適合放入行間位置的虛擬內(nèi)容的大小對于具有平均視力的人在舒服的閱讀位置進(jìn)行閱讀而言是否太小。虛擬數(shù)據(jù)內(nèi)容是否適合放入行間位置可基于多少百分比的內(nèi)容可以在行間位置被顯示并仍舊可見來確定。作為定義的同義詞是可適合放入行間位置并仍舊滿足可見性準(zhǔn)則的內(nèi)容的一個(gè)示例。行間位置通常不適于圖片。如果行間位置是適當(dāng)?shù)?，則動態(tài)的應(yīng)用202在步驟359中為打印內(nèi)容選擇在行間位置顯示虛擬內(nèi)容。如果行間位置不是適當(dāng)?shù)?，則在步驟361中，動態(tài)的應(yīng)用202確定虛擬數(shù)據(jù)內(nèi)容是否適合放入任何頁邊距位置并仍舊滿足可見性準(zhǔn)則。如果一個(gè)或多個(gè)滿意的頁邊距位置可用，則動態(tài)的應(yīng)用202在步驟363中選擇最靠近打印內(nèi)容選擇的滿意的頁邊距位置。如果滿意的頁邊距位置不可用，則動態(tài)的打印材料應(yīng)用202在步驟365中將虛擬內(nèi)容格式化為一個(gè)或多個(gè)片段，所述片段具有當(dāng)前片段的布局性質(zhì)，并且在步驟367中，將具有經(jīng)格式化的虛擬內(nèi)容的該一個(gè)或多個(gè)片段顯示在打印材料的布局中的當(dāng)前片段之后。當(dāng)前片段的一個(gè)示例是一頁。作為片段的頁的布局性質(zhì)包括典型的頁面布局設(shè)置。這些設(shè)置的一些示例是頁邊距、頁碼放置、行間距、圖片周圍的間距、字體和字體大小。打印材料的布局的一些示例可以是報(bào)紙、書籍、雜志或慰問卡。在打印材料為書的示例中，可以使用虛擬內(nèi)容來格式化的一個(gè)或多個(gè)片段看上去像是該書籍的額外頁。在圖8B的示例中，虛擬數(shù)據(jù)被格式化為看上去像在物理打印材料的周界內(nèi)。在其他示例中，浮動位置也可以是一個(gè)位置選項(xiàng)。例如，對于注釋已經(jīng)占用了最近的頁邊距的內(nèi)容選擇來說，頁邊距可以看上去被擴(kuò)展為包括鏈接到該內(nèi)容選擇的圖片。在另一示例中，浮動的解釋性段落可以表現(xiàn)為在靠近它所解釋的概念的行間空間中以垂直于頁的方式彈出。在下面的圖15的實(shí)施例中，可以向打印內(nèi)容選擇的虛擬版本分配鏈接到用戶視野而非打印材料本身的浮動位置。圖9A到圖15示出了任務(wù)的示例實(shí)施例，其中用戶可請求該任務(wù)并且該任務(wù)可生成或帶來用于顯示的虛擬數(shù)據(jù)。圖9A是一種用于執(zhí)行使內(nèi)容選擇最新(up-to-date)的任務(wù)的方法的實(shí)施例的流程圖。動態(tài)的打印材料應(yīng)用202在步驟362中將打印內(nèi)容選擇標(biāo)識為在該打印內(nèi)容項(xiàng)的過時(shí)(out-of-date)片段內(nèi)。打印內(nèi)容選擇可被標(biāo)識為過時(shí)的一種方式是發(fā)布者已經(jīng)在其打印內(nèi)容版本的布局的存儲版本中標(biāo)識了過時(shí)內(nèi)容。例如，發(fā)布者提供描述性元數(shù)據(jù)，該描述性元數(shù)據(jù)包括過時(shí)信息的布局內(nèi)的位置數(shù)據(jù)。在一個(gè)示例中，動態(tài)的打印材料應(yīng)用202通過向搜索引擎發(fā)送包括打印內(nèi)容版本標(biāo)識符的搜索查詢來標(biāo)識打印內(nèi)容項(xiàng)中的過時(shí)片段，該搜索查詢請求過時(shí)片段的標(biāo)識。響應(yīng)于標(biāo)識過時(shí)片段的搜索結(jié)果，動態(tài)的應(yīng)用202接收具有在打印內(nèi)容項(xiàng)的布局中的位置數(shù)據(jù)的元數(shù)據(jù)。取代過時(shí)片段的最新虛擬數(shù)據(jù)的數(shù)據(jù)訪問標(biāo)識符(比如統(tǒng)一資源定位符(URL)可被包括在該元數(shù)據(jù)中。該元數(shù)據(jù)可以用使用標(biāo)記語言(比如擴(kuò)展標(biāo)記語言(XML))的標(biāo)準(zhǔn)化格式，以通過應(yīng)用編程接口(API)與應(yīng)用接口。在以上示例中，動態(tài)的打印材料應(yīng)用202基于打印內(nèi)容版本標(biāo)識符和位置數(shù)據(jù)來請求最新虛擬數(shù)據(jù)。當(dāng)這種數(shù)據(jù)訪問標(biāo)識符被發(fā)布者的數(shù)據(jù)庫管理器接收到時(shí)，用于替換過時(shí)材料的最新虛擬數(shù)據(jù)被發(fā)送到數(shù)據(jù)訪問標(biāo)識符的發(fā)送者。在步驟364中，動態(tài)的打印材料應(yīng)用202例如從發(fā)布者的數(shù)據(jù)庫207檢索具有與打印內(nèi)容選擇有關(guān)的最新信息的虛擬數(shù)據(jù)，并且在步驟366中在與該打印內(nèi)容選擇有關(guān)的位置顯示帶有最新信息的虛擬數(shù)據(jù)。例如，可為最新虛擬數(shù)據(jù)指定替換或浮動位置。在其他示例中，動態(tài)的打印材料應(yīng)用202也可搜索因特網(wǎng)索引的資源209以尋找與打印內(nèi)容項(xiàng)有關(guān)的虛擬數(shù)據(jù)，并且從虛擬內(nèi)容的獨(dú)立開發(fā)者為該打印內(nèi)容選擇檢索最新內(nèi)容。圖1OA示出了過時(shí)的靜態(tài)打印材料的示例。在此示例中，10年前打印的兒童用的數(shù)學(xué)練習(xí)簿380包括長頸鹿的圖片381，長頸鹿具有在照片382i中畫出的考察者11年前執(zhí)行的實(shí)驗(yàn)中雷達(dá)槍所達(dá)到的最快速度。從那時(shí)起，雷達(dá)槍的設(shè)計(jì)被改進(jìn)了，而相同的考察者去年執(zhí)行了相同的實(shí)驗(yàn)，并且記錄了甚至更快的獅子的速度。文本片段381:和3812提供了數(shù)學(xué)問題，并且解釋了雷達(dá)槍的變化，這些變化使雷達(dá)槍能夠捕捉更快的速度。圖1OB示出了插入虛擬數(shù)據(jù)以使圖1OA的內(nèi)容為最新的且交互式虛擬內(nèi)容的示例。在此示例中，數(shù)學(xué)練習(xí)簿380虛擬地擦除了長頸鹿的圖片381，并且用在該圖片的布局位置中用山獅的替換圖像數(shù)據(jù)3842覆蓋。此外，用替換的更新近的圖片3722更新了考察者在十年前的圖片382”交互點(diǎn)386被示出為交互式按鈕全息圖386。從面向外的相機(jī)113捕捉的圖像數(shù)據(jù)，檢測到手385的手指387按壓虛擬按鈕的物理動作，該物理動作致使虛擬計(jì)算器388出現(xiàn)，虛擬計(jì)算器388可使得片段38^和3812中的數(shù)學(xué)問題做起來更有趣。當(dāng)透視、混合現(xiàn)實(shí)顯示設(shè)備系統(tǒng)能夠產(chǎn)生三維(3D)的虛擬對象時(shí)，獅子的圖片3472以及計(jì)算器378齊平地躺在該頁，就像被打印在該頁上一樣。3D全息圖382看上去像由該頁產(chǎn)生。打印內(nèi)容的讀者現(xiàn)在能夠用顯示系統(tǒng)8執(zhí)行的另一任務(wù)是搜索任務(wù)的一個(gè)或多個(gè)實(shí)施例。內(nèi)容的發(fā)布者和其他索引者可用與一個(gè)或多個(gè)打印內(nèi)容選擇相關(guān)聯(lián)的關(guān)鍵詞來補(bǔ)充他們的存儲的布局，所述關(guān)鍵詞可被用來搜索與打印內(nèi)容選擇有關(guān)的信息。如圖9C所討論的，打印材料可以被打印有標(biāo)記(例如不可見的RFID或IR標(biāo)簽，或視覺數(shù)據(jù)的子集)，該標(biāo)記標(biāo)識不同的打印內(nèi)容選擇。可見標(biāo)記的一個(gè)示例是擔(dān)當(dāng)圖像數(shù)據(jù)的簽名的圖像數(shù)據(jù)的子集。例如，當(dāng)打印內(nèi)容項(xiàng)被標(biāo)識時(shí)，沿著相交的對角線的圖像數(shù)據(jù)子元素可標(biāo)識圖片。該標(biāo)記數(shù)據(jù)是一種快速參考，它可以減少標(biāo)識布局中的打印內(nèi)容選擇時(shí)的處理時(shí)間。可為每個(gè)標(biāo)記存儲并更新一個(gè)或多個(gè)關(guān)鍵詞。圖9B是基于與打印內(nèi)容選擇相關(guān)聯(lián)的至少一個(gè)關(guān)鍵詞來執(zhí)行搜索的方法的實(shí)施例的流程圖。在步驟368中，動態(tài)的打印材料應(yīng)用202基于物理動作用戶輸入數(shù)據(jù)來標(biāo)識對打印內(nèi)容項(xiàng)的打印內(nèi)容選擇的搜索請求。例如，該物理動作用戶輸入可基于眼睛跟蹤數(shù)據(jù)，尤其是注視數(shù)據(jù)。作為一些示例，用戶可能定義了注視持續(xù)時(shí)間長度、下劃線姿勢、或眨眼序列是對在打印內(nèi)容選擇上進(jìn)行搜索的任務(wù)請求的指示。在步驟370中，動態(tài)的打印材料應(yīng)用202可請求與打印內(nèi)容選擇相關(guān)聯(lián)的至少一個(gè)關(guān)鍵詞并從一個(gè)或多個(gè)與打印內(nèi)容有關(guān)`的數(shù)據(jù)存儲中接收該至少一個(gè)關(guān)鍵詞，并且在步驟372中，基于所接收的至少一個(gè)關(guān)鍵詞來制定搜索查詢。與打印內(nèi)容有關(guān)的數(shù)據(jù)存儲的一些示例是與打印內(nèi)容有關(guān)的因特網(wǎng)索引的資源209和發(fā)布者數(shù)據(jù)庫207。在步驟374中，動態(tài)的打印材料應(yīng)用202向搜索引擎發(fā)送搜索查詢，并且在步驟378中在透視顯示器的視野中顯示搜索結(jié)果。參見例如，具有文本搜索結(jié)果397的虛擬紙片的虛擬數(shù)據(jù)395，該文本搜索結(jié)果397在沿著與作為搜索基礎(chǔ)的男性考察者圖像數(shù)據(jù)的打印內(nèi)容選擇最靠近的頁邊距的頁外位置處。圖1OA示出了靜態(tài)打印材料的示例，該靜態(tài)打印材料是過時(shí)的并且在考察者的面部383和389以及服裝(390、391)上包括不可見標(biāo)記。這些標(biāo)記可能已經(jīng)被預(yù)先打印有文本。此外，表示標(biāo)記的虛線可表示在打印之后生成的并且與打印內(nèi)容項(xiàng)的布局相關(guān)聯(lián)的標(biāo)記。這種標(biāo)記的一個(gè)示例是上面討論的圖像數(shù)據(jù)簽名。甚至?xí)囊延么蛴「北疽部梢耘c關(guān)鍵詞鏈接并用關(guān)鍵詞來更新。例如，每當(dāng)新的演員在“三個(gè)火槍手”的新電影版本中表演角色時(shí)，可以為該小說的1937年印次更新與該角色名稱相關(guān)聯(lián)的一個(gè)或多個(gè)關(guān)鍵詞。圖9C是基于與打印內(nèi)容選擇的標(biāo)記相關(guān)聯(lián)的至少一個(gè)關(guān)鍵詞來執(zhí)行搜索的方法的實(shí)施例的流程圖，該標(biāo)記在包括其他標(biāo)記的細(xì)分內(nèi)。在步驟369中，基于物理動作用戶輸入數(shù)據(jù)從用于打印內(nèi)容項(xiàng)的細(xì)分的多個(gè)標(biāo)記中標(biāo)識該細(xì)分內(nèi)的打印內(nèi)容選擇的標(biāo)記。例如，傳感器(比如IR或RFID感測單元144)檢測來自該標(biāo)記的信號，該信號包括數(shù)據(jù)，單元144為處理單元210將該數(shù)據(jù)轉(zhuǎn)換成處理器可讀的形式。在一些示例中，該數(shù)據(jù)標(biāo)識該細(xì)分內(nèi)的打印內(nèi)容選擇并可包括一個(gè)或多個(gè)關(guān)鍵詞。在另一示例中，視覺標(biāo)記可被存儲為結(jié)構(gòu)數(shù)據(jù)200，而對象識別軟件192從相機(jī)113所捕捉的圖像數(shù)據(jù)中標(biāo)識視覺標(biāo)記并向處理單元210通知標(biāo)記標(biāo)識符，處理單元可將標(biāo)記標(biāo)識符發(fā)送到發(fā)布者數(shù)據(jù)庫207或與打印內(nèi)容有關(guān)的因特網(wǎng)索引的資源209以查找一個(gè)或多個(gè)更關(guān)聯(lián)的關(guān)鍵詞。如上所討論的細(xì)分可以是段落或圖片或詩節(jié)。注視數(shù)據(jù)允許該系統(tǒng)在該細(xì)分內(nèi)定位(pinpoint)用戶正關(guān)注的位置，例如，關(guān)注段落內(nèi)的哪一個(gè)或多個(gè)單詞，或者關(guān)注用戶正在看的照片中的什么對象?？梢栽诜浅Ｔ敿?xì)的等級分配關(guān)鍵詞。用于細(xì)化和分類的注視持續(xù)時(shí)間、帶眨眼的注視、以及帶手指指向的姿勢、以及語音數(shù)據(jù)可被用來在細(xì)分內(nèi)選擇內(nèi)容。在步驟371中，動態(tài)的打印材料應(yīng)用202基于物理動作用戶輸入數(shù)據(jù)來選擇針對打印內(nèi)容選擇的搜索任務(wù)。如上面討論的，對打印內(nèi)容項(xiàng)的選擇和搜索請求可同時(shí)被指示。在步驟373中，動態(tài)的打印材料應(yīng)用202請求與該標(biāo)記相關(guān)聯(lián)的至少一個(gè)關(guān)鍵詞并從一個(gè)或多個(gè)數(shù)據(jù)存儲(例如，207或209)接收該至少一個(gè)關(guān)鍵詞，并且在步驟375中基于與該標(biāo)記相關(guān)聯(lián)的至少一個(gè)關(guān)鍵詞來生成搜索查詢。在步驟377中將搜索查詢發(fā)送到搜索引擎，并且在步驟379中，動態(tài)的應(yīng)用202致使將搜索結(jié)果顯示在透視顯示器的視野中。圖1OB示出了如同上面提到的插入顯示搜索結(jié)果的虛擬數(shù)據(jù)的示例。在圖1OB的示例中，盡管有虛擬數(shù)據(jù)的覆蓋，不可見標(biāo)記383、389、390和391仍舊向外發(fā)送信號。處理單元210還可在搜索查詢中包括與該虛擬數(shù)據(jù)相關(guān)聯(lián)的關(guān)鍵詞，特別是當(dāng)虛擬數(shù)據(jù)被標(biāo)識為與打印內(nèi)容選擇有關(guān)時(shí)。例如，動態(tài)的打印材料應(yīng)用202基于使最新任務(wù)也被執(zhí)行來確定這一點(diǎn)。圖1lA是用于用虛擬數(shù)據(jù)來注釋靜態(tài)打印內(nèi)容的方法的實(shí)施例的流程圖。動態(tài)的打印材料應(yīng)用202在步驟392中基于物理動作用戶輸入來確定用戶正請求的、針對打印內(nèi)容選擇的任務(wù)是注釋，并且在步驟394中致使圖像生成單元120為用戶顯示虛擬鍵入(virtual key entry)輸入設(shè)備。例如,可以顯示虛擬智能電話鍵盤區(qū),用戶可用雙手使用該鍵盤區(qū)來選擇按鍵，就像一些人是極快地文本輸入者(texter)—樣輸入文本消息。在其他示例中，可顯示虛擬QWERTY鍵盤或其他典型計(jì)算機(jī)鍵盤以供用戶進(jìn)行交互。動態(tài)的打印材料應(yīng)用202在步驟396中基于用虛擬鍵盤鍵入輸入設(shè)備的用戶輸入來生成注釋數(shù)據(jù)，并且在步驟398中，在由物理動作用戶輸入所指示的位置處顯示注釋數(shù)據(jù)。在步驟400中，注釋數(shù)據(jù)被存儲并鏈接到具有打印內(nèi)容選擇中的內(nèi)容的與介質(zhì)無關(guān)的數(shù)據(jù)版本的注釋數(shù)據(jù)，例如，作品或作品版本。通過存儲具有與介質(zhì)無關(guān)的版本的注釋，該用戶可回想該注釋，而不管該作品的特定打印布局。可選地，在步驟401中，可將注釋數(shù)據(jù)與打印內(nèi)容項(xiàng)中的打印內(nèi)容選擇鏈接在一起，并且該注釋數(shù)據(jù)是用戶在當(dāng)前時(shí)刻通常使用的版本。在其他示例中，可經(jīng)由處理單元(例如，圖1C的移動設(shè)備4)，而不是虛擬鍵入輸入設(shè)備，來輸入注釋數(shù)據(jù)。同樣如在圖12A的示例中所指示的，可將手寫筆記制成注釋數(shù)據(jù)并將其作為注釋數(shù)據(jù)顯示。圖1lB是用于為作品的另一個(gè)打印版本顯示為該作品的一個(gè)版本輸入的被存儲的注釋的方法的實(shí)施例的流程圖。在步驟402中，動態(tài)的打印材料應(yīng)用202標(biāo)識在包括相同內(nèi)容選擇的透視、混合現(xiàn)實(shí)顯示設(shè)備的視野中的不同的打印內(nèi)容項(xiàng)。例如，不同的打印內(nèi)容項(xiàng)具有不同的打印內(nèi)容項(xiàng)版本標(biāo)識符212但是具有相同的作品標(biāo)識符220。打印內(nèi)容項(xiàng)的位置數(shù)據(jù)、作品版本和作品也可在數(shù)據(jù)庫211、213和215中被發(fā)布者、大學(xué)、圖書館或維護(hù)因特網(wǎng)索引的資源的其他實(shí)體交叉引用。在步驟404中，接收請求在鏈接的內(nèi)容選擇在顯示設(shè)備的視野中時(shí)顯示用戶注釋數(shù)據(jù)的用戶輸入。在步驟406中，動態(tài)的應(yīng)用202標(biāo)識該視野中的打印的相同內(nèi)容選擇，并且在步驟408中，在與在不同的打印內(nèi)容項(xiàng)中打印的相同的內(nèi)容選擇的位置有關(guān)的位置處顯示鏈接到該內(nèi)容選擇的與介質(zhì)無關(guān)的版本的注釋數(shù)據(jù)。圖12A、12B、12C和12D呈現(xiàn)用于用來自其他打印材料的數(shù)據(jù)來對打印材料進(jìn)行注釋的序列的示例。圖12A示出指定手寫內(nèi)容選擇的姿勢的示例。示出了具有用于捕捉用戶手指姿勢的面向前的相機(jī)1131和113r的顯示設(shè)備2。其他身體部位(諸如手、腕、上臂甚至腳、肘等)所執(zhí)行的姿勢也可以被用來控制比如動態(tài)的應(yīng)用202等應(yīng)用。手和手指姿勢允許用戶在執(zhí)行姿勢的同時(shí)維持對顯示器的視野中的材料的閱讀。線7041和7041■表示逼近來自用戶的瞳孔或視網(wǎng)膜的注視矢量的眼睛視線。用戶的手480正跨越課堂筆記的筆記本頁410跟著指尖482在加虛擬下劃線的要被選擇的手寫文本412:中移動。輪廓工具顯示用于勾勒(outlining)用戶正選擇的文本的經(jīng)突出顯示的框414。為了開始在此圖集中討論的序列，用戶可能已從視野中顯示的虛擬注釋任務(wù)菜單中選擇了做注釋子任務(wù)或者可能執(zhí)行了啟動“做注釋”子任務(wù)的姿勢或 說了啟動“做注釋”子任務(wù)的話。如在以上示例中，開始和停止姿勢還可被用來劃界序列中的各步驟的開始和結(jié)束。紙或卡板或能被印刷的其他材料上的手寫筆記可被認(rèn)為是一種形式的打印材料，而計(jì)算機(jī)屏幕上的手寫筆記將不是打印內(nèi)容選擇。動態(tài)的打印材料應(yīng)用202基于作為結(jié)構(gòu)數(shù)據(jù)200存儲的用戶手寫樣本來標(biāo)識手寫中的字母并將所選擇的手寫內(nèi)容格式化成計(jì)算機(jī)標(biāo)準(zhǔn)文本數(shù)據(jù)格式的文本4122，并存儲該內(nèi)容選擇和打印內(nèi)容選擇元數(shù)據(jù)記錄201。手寫內(nèi)容選擇也可以被標(biāo)記成注釋并被鏈接到注釋的列表。圖12B示出了為用戶顯示的虛擬鍵入輸入設(shè)備的示例。在此示例中，與虛擬智能電話上所顯示的按鈕有關(guān)的用戶拇指4941和494r的圖像數(shù)據(jù)被面向外的相機(jī)113捕捉。也可檢測其他手指，因?yàn)椴皇撬杏脩舳枷衿胀ǖ?5歲大的人一樣是熟練的文本輸入者。用戶使用該虛擬鍵入設(shè)備481鍵入注釋“共生一種獨(dú)立的、彼此有益的關(guān)系；將會考到”。響應(yīng)于用戶的文本輸入，生成文本并在虛擬電話屏幕483上顯示該文本。用戶能夠像在真正的電話上一樣敲擊定制的“發(fā)送” “返回”和這樣的按鈕并傳輸對文本輸入的注釋的編輯和完成。圖12C示出了被用來選擇要注釋的打印文本的手指姿勢的示例。正如在圖12A中一樣，面向前的相機(jī)1131和113r捕捉用戶的手指482在教科書中的單詞“共生”下面劃線以作為打印內(nèi)容選擇462的圖像數(shù)據(jù)。圖12D示出了將圖12A的手寫內(nèi)容選擇的經(jīng)格式化文本版本作為注釋來顯示的虛擬數(shù)據(jù)的示例。如在顯示設(shè)備2的視野中所見并如面向前的相機(jī)1131和113r所捕捉的，在注釋任務(wù)是活動的且用戶執(zhí)行了對文本“共生”的選擇姿勢后，用戶的手指482被動態(tài)的打印材料應(yīng)用202從圖像數(shù)據(jù)中標(biāo)識為指向頁的用戶指定的頂部頁邊距位置以用于手寫內(nèi)容選擇的文本版本。雖然未示出，但用戶可能已從虛擬菜單或最近作的注釋的顯示中選擇了文本版本4122。在另一示例中，當(dāng)文本版本4122是在當(dāng)前會話中作出的最后注釋時(shí)，動態(tài)的打印材料應(yīng)用202顯示該文本版本。文本版本4122被顯示在該頁的頂部處并寫著“共生一種獨(dú)立的、彼此有益的關(guān)系；將會考到”。除了向靜態(tài)打印材料提供附加信息或交互內(nèi)容外，還可制作靜態(tài)打印內(nèi)容材料的虛擬版本來改善內(nèi)容的可見性，這是由于改變了內(nèi)容的外觀性質(zhì)或內(nèi)容在顯示設(shè)備視野中的位置。圖13A和圖13B討論了用于通過生成材料的虛擬版本來改善打印材料的可讀性的方法實(shí)施例。圖13A是用于在舒服的閱讀位置提供打印材料的虛擬版本的方法的實(shí)施例的流程圖。在步驟432中，動態(tài)的打印材料應(yīng)用202從圖像數(shù)據(jù)中標(biāo)識一位置，該位置可包括打印材料在透視、混合現(xiàn)實(shí)顯示設(shè)備的視野中的定向。在步驟434中，動態(tài)的打印材料應(yīng)用202確定打印材料在該視野中的位置是否滿足舒服準(zhǔn)則。舒服準(zhǔn)則的一些示例是打印材料(例如，書籍或雜志)的角度、以及所確定的文本相對于顯示設(shè)備的參考點(diǎn)(例如，透視顯示器的光軸142)的角度。打印材料的角度是否在舒服閱讀區(qū)域內(nèi)還可基于從定向感測單元132推導(dǎo)的估計(jì)的注視矢量和頭部位置數(shù)據(jù)來確定。例如，參考頭部位置可以是0度頭部位置，0度頭部位置意味著向正前方看而非以一定角度向上或向下或向左或向右看。從此參考0度頭部位置，閱讀舒服區(qū)域或舒服準(zhǔn)則可指示距0度位置不超過45度的頭部位置。在任何方向上距光軸25超過45度的注視估計(jì)矢量可被用作指示不再滿足舒服準(zhǔn)則的閾值。文本確定的角度或定向可標(biāo)識該文本是否被倒置或處于另一不舒服的角度。深度距離還可基于被應(yīng)用到捕捉設(shè)備113的圖像數(shù)據(jù)的立體觀測或當(dāng)相機(jī)113被實(shí)現(xiàn)成具有深度感測能力時(shí)獲得的深度數(shù)據(jù)來確定。如果打印材料在深度舒服范圍(例如，I到3英尺)夕卜，則可觸發(fā)虛擬版本的生成。用戶的臂長(臂長可在用戶簡檔數(shù)據(jù)197中獲得)可以是用于確定深度舒服范圍的指南。如果該位置滿足閱讀位置準(zhǔn)則，則在步驟452中，動態(tài)的打印材料應(yīng)用202返回到步驟432來進(jìn)行下一調(diào)度的檢查。如果不滿足閱讀位置準(zhǔn)則，則動態(tài)的打印材料應(yīng)用202在步驟436中確定用于滿足舒服閱讀位置準(zhǔn)則的新位置。例如，新位置將該書籍定向在舒服角度以及閱讀舒服區(qū)的距離邊界內(nèi)。在步驟438中，動態(tài)的打印材料應(yīng)用202生成打印材料的虛擬版本的圖像數(shù)據(jù)。該虛擬版本可以是基于打印材料的圖像數(shù)據(jù)生成的。此外，動態(tài)的打印材料應(yīng)用202可基于動態(tài)的打印材料應(yīng)用202可訪問的打印材料的電子版本來生成虛擬版本。例如，報(bào)紙發(fā)布者可制作用打印在其報(bào)紙的副本上的移動標(biāo)簽來訪問的電子版本。電子版本可具有打印材料的完整的文本(例如，整天的報(bào)紙)以及其布局信息。在步驟440中，動態(tài)的打印材料應(yīng)用202致使圖像生成單元120將該虛擬版本顯示在透視顯示器中的新位置處并且在步驟452中返回到步驟432的下一調(diào)度的檢查處。圖13B是用于提供打印內(nèi)容的虛擬版本以獲得該內(nèi)容的改善的可見性的方法的實(shí)施例的流程圖。在步驟442中，動態(tài)的打印材料應(yīng)用202標(biāo)識該視野中的版本中的內(nèi)容數(shù)據(jù)的大小。在步驟446中確定可見性準(zhǔn)則是否被滿足。如同上面提到的，在一些示例中，可見性準(zhǔn)則確定內(nèi)容數(shù)據(jù)的大小對于在該打印材料的位置和深度處的用戶年齡的普通人而言是否可能是可見的。圖13A和13B的方法是互補(bǔ)的。首先執(zhí)行圖13A可調(diào)整任何可見性問題，但是即使在舒服閱讀位置處，文本仍舊可能太大或太小。如果可見性準(zhǔn)則被滿足，則在步驟452中，動態(tài)的打印材料應(yīng)用202返回到步驟432來進(jìn)行下一調(diào)度的檢查。如果可見性準(zhǔn)則不被滿足，則在步驟448中，動態(tài)的打印材料應(yīng)用202生成具有經(jīng)改變的大小的內(nèi)容數(shù)據(jù)的虛擬版本以滿足可見性準(zhǔn)則，并且在步驟450中致使在透視顯示器中顯示具有經(jīng)改變的大小的內(nèi)容數(shù)據(jù)的虛擬版本。在步驟452中，動態(tài)的打印材料應(yīng)用202返回到步驟432的下一調(diào)度的檢查處。圖14示出了提供虛擬數(shù)據(jù)以獲得改善的可見性和多用戶視角共享視圖的示例。在此起居室場景中，祖母489坐在她孫子484的對面，同時(shí)在給她孫子讀一本書,交互虛擬內(nèi)容對該書是可用的。每個(gè)人均佩戴顯示設(shè)備系統(tǒng)8，其中所有電子器件均如圖1B的示例被合并在顯示設(shè)備2中。在此版本中，書490包括處理器和以標(biāo)記語言存儲用于該書的虛擬數(shù)據(jù)的存儲器。例如，可使用可擴(kuò)展標(biāo)記語言(XML)。在另一示例中，可使用比如虛擬現(xiàn)實(shí)建模語言(VRML)等標(biāo)記語言。在一些示例中該書包括密碼，并且多個(gè)用戶可輸入密碼并登錄同一會話。該虛擬數(shù)據(jù)被無線傳輸?shù)揭训卿浀娘@示設(shè)備，這些顯示設(shè)備運(yùn)行動態(tài)的打印材料應(yīng)用202的分組閱讀插件應(yīng)用。祖母489和孫子484正在共享同一應(yīng)用會話，很像玩家正在玩在線游戲，但是祖母489控制動作。祖母489喜歡看她孫子看到該虛擬數(shù)據(jù)(諸如南瓜燈486^487^488。的顯示時(shí)的表情以及他對故事中的事件和對話的反應(yīng)。然而，她孫子只是在學(xué)習(xí)他的字母并且還不能讀這種書。祖母從菜單中 為她自己選擇了閱讀者角色并為她孫子分配了參與者角色。為了使孩子對閱讀感興趣，通過在他們看書時(shí)顯示虛擬數(shù)據(jù)來將他們的方向聚焦在書上。顯示設(shè)備系統(tǒng)8能夠檢測預(yù)定距離內(nèi)的其他設(shè)備。例如，各顯示設(shè)備系統(tǒng)可經(jīng)由藍(lán)牙、WUSB、IR或RFID連接來交換身份令牌。可選擇位置鄰近收發(fā)機(jī)144的類型和范圍以僅允許在預(yù)定距離內(nèi)的連接。諸如來自GPS收發(fā)機(jī)144或基于無線收發(fā)機(jī)信號137的蜂窩三角定位的位置數(shù)據(jù)結(jié)合諸如Bump 等應(yīng)用也可被用于標(biāo)識在彼此的預(yù)定距離內(nèi)的設(shè)備。通過閱讀者對故事的內(nèi)容的某一部分的眼睛注視來激活虛擬數(shù)據(jù)。該故事是一件作品，而該內(nèi)容在打印內(nèi)容項(xiàng)(其是書490)的第485頁上。祖母將書放在她的膝蓋上，而該閱讀角度不滿足舒服準(zhǔn)則。然而，當(dāng)比如孫子484等參與者在他的顯示設(shè)備系統(tǒng)8的視野中看該書時(shí)，該書是虛擬數(shù)據(jù)所源自的地方，并且閱讀者的眼睛注視激活虛擬內(nèi)容或數(shù)據(jù)。圖13A的過程檢測祖母的不舒服閱讀位置。如下面在圖15中進(jìn)一步討論的，她反復(fù)地從書往上看也可能觸發(fā)“跟著我”任務(wù)。打印頁485:的虛擬版本4852被投影到祖母的眼睛里，使得該虛擬頁以及該虛擬頁的任何經(jīng)調(diào)整的字體大小或?qū)Ρ榷瘸霈F(xiàn)在她的顯示器中的閱讀舒服區(qū)域內(nèi)。觸發(fā)虛擬頁4852中的虛擬南瓜的她對內(nèi)容的注視持續(xù)時(shí)間也觸發(fā)虛擬南瓜ASeiWST1JSS1為她的孫子參與者出現(xiàn)，以在他看該書時(shí)看上去時(shí)從物理頁485:中漂浮出來。在她的顯示器中，祖母從她的視角看到虛擬南瓜4862、4872和4882。同樣由于圖15的過程示例，虛擬頁4852被放置成使得她能舒服地閱讀該虛擬頁。用于放置的另一個(gè)準(zhǔn)則是如果空間允許則不阻擋視野中的參與者。下面討論的外觀布局變化也可被用來適合將參與者保持在視野中。
如果實(shí)體書仍舊在祖母的顯示設(shè)備的視野中，則動態(tài)的應(yīng)用202響應(yīng)于祖母對實(shí)體書的物理動作(例如，翻頁)以及對當(dāng)前顯示的虛擬版本頁4852的物理動作而采取動作。圖15是用于提供被鏈接到用戶視野的打印內(nèi)容的虛擬版本的方法的實(shí)施例的流程圖。在步驟502中，響應(yīng)于觸發(fā)事件，觸發(fā)動態(tài)的打印材料應(yīng)用202的以下用戶任務(wù)。觸發(fā)事件的一個(gè)示例是檢測到打印材料的一片段移入并移出顯示設(shè)備2的視野多次。觸發(fā)事件的一些其他示例是請求以下用戶任務(wù)的用戶輸入，諸如預(yù)定義的或用戶定義的姿勢或說出的命令，比如“跟著我”。在步驟504中，動態(tài)的打印材料應(yīng)用202確定包括用戶正在查看的打印材料的打印內(nèi)容項(xiàng)的電子版本是否可用。如果可用，則動態(tài)的應(yīng)用202可將打印內(nèi)容項(xiàng)的至少一片段加載到存儲器中以便可在用戶進(jìn)一步閱讀并在體現(xiàn)在打印材料中的內(nèi)容中前進(jìn)時(shí)獲得。如果電子版本可用，則動態(tài)的應(yīng)用202在步驟514中在視野中與打印內(nèi)容項(xiàng)的位置無關(guān)的位置處顯示包括打印內(nèi)容選擇的內(nèi)容的圖像數(shù)據(jù)。具體而言，在用戶前后移動他或她的頭的位置已經(jīng)觸發(fā)了“跟著我”任務(wù)的示例中，如果注視持續(xù)時(shí)間數(shù)據(jù)或姿勢或語音數(shù)據(jù)還沒有肯定地指示內(nèi)容選擇，則動態(tài)的應(yīng)用202選擇用戶一直在關(guān)注的打印內(nèi)容項(xiàng)的片段作為打印內(nèi)容選擇。在步驟516中，響應(yīng)于用戶對該虛擬版本的物理動作輸入，更新圖像數(shù)據(jù)的顯示。如果打印內(nèi)容項(xiàng)仍在視野內(nèi)，則動態(tài)的應(yīng)用202對針對打印項(xiàng)版本以及虛擬版本兩者的物理動作用戶輸入均做出響應(yīng)。物理動作用戶輸入可包括與虛擬對象交互的姿勢，諸如在視野中到處推動虛擬頁，并且將虛擬頁釘在動態(tài)應(yīng)用202所跟蹤的視野之外的“位置”。如果用戶移動她的頭來看該“位置”，則應(yīng)用202致使該虛擬頁再現(xiàn)。例如，遵循食譜的廚師在她執(zhí)行食譜的不同步驟時(shí)可使用手的運(yùn)動來將食譜推入和推出視圖?？扇芜x地,在步驟518中，該動態(tài)的應(yīng)用響應(yīng)于用戶的布局改變請求來更新圖像數(shù)據(jù)的顯示。布局改變請求的一個(gè)示例是使虛擬內(nèi)容出現(xiàn)在透明紙片上并增加文本間的間距以便用戶能夠透視該虛擬內(nèi)容。語音命令可請求透明度。或者，用戶可增加文本的各部分之間的間隔來創(chuàng)建用來看他或她正影響的對象的透視窗口。用雙手以相反的方向拉虛擬頁的拉伸姿勢可調(diào)整該間距。在車下工作的機(jī)械工可具有手冊頁的透明版本，該透明版本具有他通過伸平的手向下推動該頁的一片段并隨后向上推動該頁的另一片段的姿勢來插入的窗口，以便他能在中間看。姿勢的另一個(gè)示例還可以是兩只伸平的手將多個(gè)頁部分(例如，段)往不同方向推。在打印內(nèi)容項(xiàng)的電子版本不可用的情況下，在步驟506中，動態(tài)的應(yīng)用202存儲當(dāng)前在視野中的打印內(nèi)容選擇的片段的圖像數(shù)據(jù)，并且在步驟508中輸出請求用戶看該打印內(nèi)容項(xiàng)的包括當(dāng)前閱讀會話中可用的內(nèi)容的一個(gè)或多個(gè)片段的指令(例如，音頻或通過顯示設(shè)備投影的指令)。例如，在去到車下并開始工作之前，機(jī)械工可看汽車手冊中與他的維修有關(guān)的頁。動態(tài)的應(yīng)用202在步驟510和512中當(dāng)一個(gè)或多個(gè)片段中的每一個(gè)處于面向外的相機(jī)的視野中時(shí)捕捉并存儲相應(yīng)片段的圖像數(shù)據(jù)，并隨后進(jìn)行到步驟514。在一種意義上，動態(tài)的應(yīng)用202制作該用戶所看的頁的影印本。對物理內(nèi)容選擇執(zhí)行的任務(wù)也可以對虛擬版本執(zhí)行。通過任何任務(wù)執(zhí)行得到的虛擬數(shù)據(jù)可被存儲并且也可在以后再次看該物理內(nèi)容選擇時(shí)被查看。圖16是計(jì)算系統(tǒng)的一個(gè)實(shí)施例的框圖，該計(jì)算系統(tǒng)可用于實(shí)現(xiàn)一個(gè)或多個(gè)網(wǎng)絡(luò)可訪問計(jì)算系統(tǒng)12，所述計(jì)算系統(tǒng)12可以托管計(jì)算環(huán)境54的軟件組件中的至少一些或者圖3所描繪的其他元件。參考圖16，用于實(shí)現(xiàn)本發(fā)明的一個(gè)示例性系統(tǒng)包括計(jì)算設(shè)備，諸如計(jì)算設(shè)備800。在其最基本的配置中，計(jì)算設(shè)備800 —般包括一個(gè)或多個(gè)處理單元802，并且還可包括不同類型的處理器，諸如中央處理單元(CPU)和圖形處理單元(GPU)。計(jì)算設(shè)備800還包括存儲器804。取決于計(jì)算設(shè)備的確切配置和類型，存儲器804可以包括易失性存儲器805 (如RAM)、非易失性存儲器807 (如ROM、閃存等)或是兩者的某種組合。該最基本配置在圖16中由虛線806來示出。另外，設(shè)備800還可具有附加特征/功能。例如，設(shè)備800還可包含附加存儲(可移動和/或不可移動)，包括但不限于磁盤、光盤或磁帶。這樣的附加存儲在圖16中由可移動存儲808和不可移動存儲810示出。設(shè)備800還可以包含允許該設(shè)備與其他設(shè)備通信的通信連接812，比如一個(gè)或多個(gè)網(wǎng)絡(luò)接口和收發(fā)器。設(shè)備800還可以具有諸如鍵盤、鼠標(biāo)、筆、語音輸入設(shè)備、觸摸輸入設(shè)備等輸入設(shè)備814。還可以包括諸如顯示器、揚(yáng)聲器、打印機(jī)等輸出設(shè)備816。所有這些設(shè)備在本領(lǐng)域是眾知的并且不必在此詳細(xì)討論。如同上面討論的，處理單元4可被嵌入在移動設(shè)備5中。圖17是可以在本技術(shù)的各實(shí)施例中操作的示例性移動設(shè)備900的框圖。描繪了典型移動電話的示例性電子電路。電話900包括一個(gè)或多個(gè)微處理器912，以及存儲由控制處理器912的一個(gè)或多個(gè)處理器執(zhí)行來實(shí)現(xiàn)此處所述的功能的處理器可讀代碼的存儲器910 (例如，諸如ROM等非易失性存儲器和諸如RAM等易失性存儲器)。移動設(shè)備900可包括例如處理器912、包括應(yīng)用和非易失性存儲的存儲器1010。處理器912可實(shí)現(xiàn)通信以及任何數(shù)量的應(yīng)用，包括本文中所描述的應(yīng)用。存儲器1010可以是任何種類的存儲器存儲介質(zhì)類型，包括非易失性和易失性存儲器。設(shè)備操作系統(tǒng)處理移動設(shè)備900的不同操作，并可包含用于操作的用戶界面，如撥打和接聽電話呼叫、文本消息收發(fā)、檢查語音郵件等。應(yīng)用930可以是任何種類的程序，如用于照片和/或視頻的相機(jī)應(yīng)用、地址簿、日歷應(yīng)用、媒體播放器、因特網(wǎng)瀏覽器、游戲、其他多媒體應(yīng)用、鬧鐘應(yīng)用、其他第三方應(yīng)用，比如本文討論的用于處理發(fā)送至或者來自顯示設(shè)備2的圖像數(shù)據(jù)的皮膚應(yīng)用和圖像處理軟件，等等。存儲器910中的非易失性存儲組件940包含諸如web高速緩存、音樂、照片、聯(lián)系人數(shù)據(jù)、日程安排數(shù)據(jù)、以及其他文件等數(shù)據(jù)。處理器912還與RF發(fā)射/接收電路906進(jìn)行通信，該電路906進(jìn)而耦合到天線902，它還與紅外發(fā)射器/接收器908、與像W1-F1、WUSB、RFID、紅外或藍(lán)牙等任何附加通信信道960、以及與像加速度計(jì)等移動/定向傳感器914通信。加速度計(jì)被包括到移動設(shè)備中，以啟用諸如讓用戶通過姿勢輸入命令的智能用戶界面之類的應(yīng)用，在與GPS衛(wèi)星斷開聯(lián)系之后計(jì)算設(shè)備的移動和方向的室內(nèi)GPS功能，并檢測設(shè)備的定向，并且，當(dāng)旋轉(zhuǎn)電話時(shí)自動地將顯示從縱向變?yōu)闄M向?？梢?，例如，通過微機(jī)電系統(tǒng)(MEMS)來提供加速度計(jì)，該微機(jī)電系統(tǒng)是構(gòu)建在半導(dǎo)體芯片上的微小機(jī)械器件(微米尺寸)?？梢愿袘?yīng)加速方向、以及定向、振動和震動。處理器912還與響鈴器/振動器916、用戶界面鍵區(qū)/屏幕、生物測定傳感器系統(tǒng)918、揚(yáng)聲器920、話筒922、相機(jī)924、光傳感器921以及溫度傳感器927進(jìn)行通信。處理器912控制無線信號的發(fā)射和接收。在發(fā)射模式期間，處理器912向RF發(fā)射/接收電路906提供來自話筒922的語音信號或其他數(shù)據(jù)信號。發(fā)射/接收電路906將該信號發(fā)射到遠(yuǎn)程站(例如固定站、運(yùn)營商、其他蜂窩電話等)來通過天線902進(jìn)行通信。響鈴器/振動器916被用于向用戶發(fā)傳入呼叫、文本消息、日歷提醒、鬧鐘提醒或其他通知等信號。在接收模式期間，發(fā)射/接收電路906通過天線902接收來自遠(yuǎn)程站的語音或其他數(shù)據(jù)信號。所接收到的語音信號被提供給揚(yáng)聲器920，同時(shí)所接收到的其它數(shù)據(jù)信號也被適當(dāng)?shù)靥幚?。另外，物理連接器988可被用來將移動設(shè)備900連接到外部電源，如AC適配器或加電對接底座。物理連接器988還可被用作到計(jì)算設(shè)備的數(shù)據(jù)連接。該數(shù)據(jù)連接允許諸如將移動設(shè)備數(shù)據(jù)與另一設(shè)備上的計(jì)算數(shù)據(jù)進(jìn)行同步等操作。為這種服務(wù)啟用使用基于衛(wèi)星的無線電導(dǎo)航來中繼用戶應(yīng)用的位置的GPS接收器 965。附圖中示出的示例計(jì)算機(jī)系統(tǒng)包括計(jì)算機(jī)可讀存儲設(shè)備的示例。計(jì)算機(jī)可讀存儲設(shè)備也是處理器可讀存儲設(shè)備。這樣的設(shè)備包括以用于存儲諸如計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或其他數(shù)據(jù)等信息的任意方法或技術(shù)來實(shí)現(xiàn)的易失性和非易失性、可移動和不可移動存儲器設(shè)備。處理器或計(jì)算機(jī)可讀存儲設(shè)備的一些是RAM、ROM、EEPR0M、高速緩存、閃存或其他存儲器技術(shù)、CD-ROM、數(shù)字多功能盤(DVD)或其他光盤存儲、記憶棒或卡、磁帶盒、磁帶、媒體驅(qū)動器、硬盤、磁盤存儲或其他磁性存儲設(shè)備、或能用于存儲所需信息且可以由計(jì)算機(jī)訪問的任何其他設(shè)備。盡管用結(jié)構(gòu)特征和/或方法動作專用的語言描述了本主題，但可以理解，所附權(quán)利要求書中定義的主題不必限于上述具體特征或動作。更確切而言，上述具體特征和動作是作為實(shí)現(xiàn)權(quán)利要求的示例形式公開的。
權(quán)利要求
1.一種用于使用透視、近眼、混合現(xiàn)實(shí)顯示設(shè)備來用虛擬數(shù)據(jù)使靜態(tài)打印內(nèi)容成為動態(tài)的方法，包括 標(biāo)識透視、近眼、混合現(xiàn)實(shí)顯示設(shè)備的視野中的打印內(nèi)容項(xiàng)； 基于物理動作用戶輸入來標(biāo)識對所述打印內(nèi)容項(xiàng)內(nèi)的打印內(nèi)容選擇的用戶選擇； 基于物理動作用戶輸入來確定針對所述打印內(nèi)容選擇的任務(wù)； 執(zhí)行所述任務(wù)；以及 根據(jù)所述任務(wù)來顯示與所述打印內(nèi)容選擇有關(guān)的虛擬數(shù)據(jù)。
2.如權(quán)利要求1所述的方法，其特征在于，所述任務(wù)使所述打印內(nèi)容選擇最新，其進(jìn)一步包括 將所述打印內(nèi)容選擇標(biāo)識為在所述打印內(nèi)容項(xiàng)的過時(shí)片段內(nèi)； 為包括所述打印內(nèi)容選擇的所述片段檢索具有最新信息的虛擬數(shù)據(jù)；以及 在與所述打印內(nèi)容選擇的位置有關(guān)的位置顯示具有最新信息的所述虛擬數(shù)據(jù)。
3.如權(quán)利要求1所述的方法，其特征在于，執(zhí)行所述任務(wù)進(jìn)一步包括通過以下動作來執(zhí)行搜索任務(wù) 基于物理動作用戶輸入數(shù)據(jù)來從所述打印內(nèi)容項(xiàng)的細(xì)分的多個(gè)標(biāo)記中標(biāo)識所述細(xì)分內(nèi)的所述打印內(nèi)容選擇的標(biāo)記； 基于物理動作用戶輸入數(shù)據(jù)來選擇針對所述打印內(nèi)容選擇的搜索任務(wù)； 請求與所述標(biāo)記相關(guān)聯(lián)的至少一個(gè)關(guān)鍵詞并從一個(gè)或多個(gè)與打印內(nèi)容有關(guān)的數(shù)據(jù)存儲接收所述至少一個(gè)關(guān)鍵詞； 基于與所述標(biāo)記相關(guān)聯(lián)的所述至少一個(gè)單詞生成搜索查詢； 將所述搜索查詢發(fā)送到搜索引擎；以及 在所述透視、近眼、混合現(xiàn)實(shí)顯示設(shè)備的所述視野中顯示搜索結(jié)果。
4.如權(quán)利要求1所述的方法，其特征在于，所述任務(wù)是分組閱讀任務(wù)，并且執(zhí)行所述分組閱讀任務(wù)進(jìn)一步包括 接收將與所述透視、混合現(xiàn)實(shí)顯示設(shè)備系統(tǒng)相關(guān)聯(lián)的用戶標(biāo)識為閱讀者或者參與者的用戶輸入； 響應(yīng)于將所述用戶標(biāo)識成閱讀者的用戶輸入，顯示所述打印內(nèi)容項(xiàng)的虛擬版本，并且如果所述打印內(nèi)容項(xiàng)在所述顯示設(shè)備系統(tǒng)的相機(jī)的視野內(nèi)，則對針對所述打印內(nèi)容項(xiàng)的所述虛擬版本或所述打印內(nèi)容項(xiàng)的物理動作用戶輸入做出響應(yīng)；以及 響應(yīng)于將所述用戶標(biāo)識成參與者的用戶輸入，響應(yīng)于來自所述閱讀者的另一透視、近目艮、混合現(xiàn)實(shí)顯示設(shè)備系統(tǒng)的一個(gè)或多個(gè)通知來顯示與所述視野中的所述打印內(nèi)容項(xiàng)有關(guān)的虛擬數(shù)據(jù)。
5.如權(quán)利要求1所述的方法，其特征在于，所述任務(wù)是用于提供與所述用戶視野相鏈接的打印內(nèi)容的虛擬版本，其進(jìn)一步包括 在所述用戶視圖中與所述打印內(nèi)容選擇的位置無關(guān)的位置處顯示包括所述打印內(nèi)容選擇的內(nèi)容的圖像數(shù)據(jù)；以及 響應(yīng)于所述用戶的物理動作輸入，更新所述圖像數(shù)據(jù)的顯示。
6.如權(quán)利要求5所述的方法，其特征在于，還包括 確定所述打印內(nèi)容項(xiàng)的電子版本是否可用；響應(yīng)于所述打印內(nèi)容項(xiàng)的電子版本可用，顯示所述電子版本的圖像數(shù)據(jù)； 響應(yīng)于所述打印內(nèi)容項(xiàng)的電子版本不可用，存儲所述打印內(nèi)容選擇的圖像數(shù)據(jù)， 經(jīng)由所述顯示設(shè)備系統(tǒng)向所述用戶輸出看所述打印內(nèi)容項(xiàng)的包括在當(dāng)前閱讀會話中可用的內(nèi)容的一個(gè)或多個(gè)片段的指令； 當(dāng)所述一個(gè)或多個(gè)片段中的每一個(gè)片段在所述顯示設(shè)備系統(tǒng)的面向外的相機(jī)的視野中時(shí)捕捉相應(yīng)片段的圖像數(shù)據(jù)；以及存儲所捕捉的圖像數(shù)據(jù)。
7.一種用于使靜態(tài)打印材料成為動態(tài)的透視、近眼、混合現(xiàn)實(shí)顯示設(shè)備系統(tǒng)，包括 由支撐結(jié)構(gòu)定位的用于每只眼睛的相應(yīng)透視顯示器； 用于捕捉所述相應(yīng)透視顯示器的視野中的圖像數(shù)據(jù)的、被定位在所述支撐結(jié)構(gòu)上的至少一個(gè)面向外的相機(jī)； 一個(gè)或多個(gè)軟件控制的處理器，所述一個(gè)或多個(gè)軟件控制的處理器通信地耦合到能夠訪問數(shù)據(jù)存儲的搜索引擎，所述數(shù)據(jù)存儲包括用于作品的內(nèi)容、布局和虛擬數(shù)據(jù)以及體現(xiàn)所述作品的打印內(nèi)容項(xiàng)； 所述一個(gè)或多個(gè)軟件控制的處理器通信地耦合到所述至少一個(gè)面向外的相機(jī)以用于接收圖像數(shù)據(jù)； 所述一個(gè)或多個(gè)軟件控制的處理器用于基于物理動作用戶輸入和圖像數(shù)據(jù)來標(biāo)識對打印內(nèi)容選擇的用戶選擇； 所述一個(gè)或多個(gè)軟件控制的處理器用于基于基于所述圖像數(shù)據(jù)來制定一個(gè)或多個(gè)查詢以及將所述一個(gè)或多個(gè)查詢發(fā)送到所述搜索引擎來標(biāo)識包括所述打印內(nèi)容選擇的打印內(nèi)容項(xiàng)以及包括所述打印內(nèi)容選擇的與介質(zhì)無關(guān)的版本的作品； 所述一個(gè)或多個(gè)軟件控制的處理器致使至少一個(gè)通信地耦合的圖像生成單元通過光學(xué)地耦合到所述至少一個(gè)圖像生成單元的每個(gè)相應(yīng)透視顯示器來顯示與所述打印內(nèi)容選擇或所述打印內(nèi)容選擇的所述與介質(zhì)無關(guān)的版本之一或兩者相關(guān)聯(lián)的虛擬數(shù)據(jù)。
8.如權(quán)利要求7所述的系統(tǒng)，其特征在于，還包括 用于存儲數(shù)據(jù)和軟件的存儲器，所述軟件包括用于將圖像數(shù)據(jù)中的文本轉(zhuǎn)換成計(jì)算機(jī)標(biāo)準(zhǔn)化文本數(shù)據(jù)存儲格式的文本的軟件；以及 所述一個(gè)或多個(gè)軟件控制的處理器用于基于基于所述圖像數(shù)據(jù)來制定一個(gè)或多個(gè)查詢以及將所述一個(gè)或多個(gè)查詢發(fā)送到所述搜索引擎來標(biāo)識包括所述打印內(nèi)容選擇的打印內(nèi)容項(xiàng)以及包括所述打印內(nèi)容選擇的與介質(zhì)無關(guān)的版本的作品進(jìn)一步包括 所述一個(gè)或多個(gè)軟件控制的處理器在圖像數(shù)據(jù)中標(biāo)識所述打印內(nèi)容項(xiàng)的一個(gè)或多個(gè)版本標(biāo)識片段， 所述一個(gè)或多個(gè)軟件控制的處理器基于所述一個(gè)或多個(gè)版本標(biāo)識片段來制定查詢并將所述查詢發(fā)送到所述通信地耦合的搜索引擎，以及 所述一個(gè)或多個(gè)軟件控制的處理器接收打印內(nèi)容項(xiàng)版本標(biāo)識符。
9.如權(quán)利要求8所述的系統(tǒng)，其特征在于，還包括 所述一個(gè)或多個(gè)軟件控制的處理器基于所述打印內(nèi)容項(xiàng)版本標(biāo)識符來請求并從所述數(shù)據(jù)存儲接收所述打印內(nèi)容選擇在所述打印內(nèi)容項(xiàng)的布局內(nèi)的位置數(shù)據(jù)、與介質(zhì)無關(guān)的作品標(biāo)識符、根據(jù)與介質(zhì)無關(guān)的細(xì)分的所述打印內(nèi)容選擇的與介質(zhì)無關(guān)的版本的作品位置數(shù)據(jù)、以及根據(jù)所述介質(zhì)無關(guān)的細(xì)分的任何適用的與介質(zhì)無關(guān)的作品版本標(biāo)識符和作品版本位置數(shù)據(jù)。
10.一種用于使用透視、近眼、混合現(xiàn)實(shí)顯示設(shè)備系統(tǒng)來用虛擬數(shù)據(jù)改善靜態(tài)打印材料的可讀性的方法，所述方法包括 基于由所述顯示設(shè)備系統(tǒng)的一個(gè)或多個(gè)面向外的相機(jī)捕捉的圖像數(shù)據(jù)來標(biāo)識所述透視、近眼、混合現(xiàn)實(shí)顯示設(shè)備系統(tǒng)的視野中的打印材料； 確定位于所述視野中的所述打印材料是否滿足可讀性準(zhǔn)則；以及響應(yīng)于可讀性準(zhǔn)則不被滿足，在所述視野中顯示滿足可讀性準(zhǔn)則的所述打印材料的虛擬版本；以及 如果所述打印材料仍在所述一個(gè)或多個(gè)面向外的相機(jī)的視野內(nèi)，則對針對所述打印材料的所述虛擬版本或所述打印材料之一或兩者的物理動作用戶輸入做出響應(yīng)。
全文摘要
本發(fā)明涉及用虛擬數(shù)據(jù)使靜態(tài)打印內(nèi)容成為動態(tài)。本技術(shù)提供了用于用虛擬數(shù)據(jù)的顯示使得通過透視、混合現(xiàn)實(shí)顯示設(shè)備系統(tǒng)看到的靜態(tài)打印內(nèi)容更加動態(tài)的實(shí)施例。例如書籍或雜志等打印內(nèi)容項(xiàng)被從顯示設(shè)備上的相機(jī)所捕捉的圖像數(shù)據(jù)中標(biāo)識，并且基于例如眼睛注視或姿勢等物理動作用戶輸入來標(biāo)識對打印內(nèi)容項(xiàng)內(nèi)的打印內(nèi)容選擇的用戶選擇?；谖锢韯幼饔脩糨斎雭泶_定與打印內(nèi)容選擇有關(guān)的任務(wù)。根據(jù)該任務(wù)來顯示用于該打印內(nèi)容選擇的虛擬數(shù)據(jù)。此外，虛擬數(shù)據(jù)可被鏈接到體現(xiàn)在打印內(nèi)容項(xiàng)中的作品。而且，打印材料的虛擬版本可以在更舒服的閱讀位置處并用改善的內(nèi)容可見性來顯示。
文檔編號G06F3/01GK103064512SQ20121052635
公開日2013年4月24日 申請日期2012年12月7日 優(yōu)先權(quán)日2011年12月7日
發(fā)明者S·M·斯莫爾, A·A-A·基普曼, B·I·瓦特, K·S·佩雷斯 申請人:微軟公司