本發(fā)明涉及用于安全分布式和交互系統(tǒng)和服務(wù)的便攜式或可穿戴基于生物計量的用戶識別和認證。
背景技術(shù):
互聯(lián)網(wǎng)和計算/通信設(shè)備的廣泛使用導(dǎo)致信息的電子傳播的爆炸性增長。然而,在網(wǎng)絡(luò)安全領(lǐng)域,對安全信息的接收者的可驗證控制仍然是重要的問題。此外,信息的接收者還會變?yōu)槊舾行畔⒃?,其中,對該源的身份的實時了解也會是重要的安全問題。這種情形的示例是在線購買的過程期間,對輸入信用卡(或其他賬戶)信息的個人的身份的了解。常用來遠程識別接收者或安全信息源的現(xiàn)今技術(shù)容易受騙。在美國,每年,身份盜用影響約一千五百萬人,估計金融影響為約500億美元。
為解決這些問題,現(xiàn)在需要利用有關(guān)數(shù)據(jù)安全和用戶電子簽名的不可抵賴性(non-repudiation)(例如口令)的特殊視點,重新考慮系統(tǒng)架構(gòu)和任務(wù),其中,簽名的真實性正受到挑戰(zhàn)。一般來說,不可抵賴包含將動作或變化與獨特個體關(guān)聯(lián)。對安全區(qū)域,例如,期望實現(xiàn)密鑰卡接入系統(tǒng)。如果不是嚴格強制的政策來禁止共享密鑰卡并且來立即報告丟失或被盜卡,將會違反不可抵賴性。否則不能簡單地確定誰實施了打開門的動作。
類似地,對計算機賬戶,賬戶的個體所有者必須不允許其他人使用那一賬戶,特別是例如通過泄露他們的賬戶口令,并且應(yīng)當實施政策來強制這樣做。這阻止賬戶的所有者拒絕由該帳戶實施的動作。
生態(tài)系統(tǒng)是動態(tài)且快速改變的,其中,無線功能正呈指數(shù)地增長?;谠频募軜?gòu)以可控的成本正變得更吸引人并且可實現(xiàn)。在腦中開始重新考慮的地方是過渡和結(jié)束架構(gòu)并且該地方的放置處被稱為“數(shù)據(jù)抽象層”。該抽象層由定義為移動數(shù)據(jù)和靜態(tài)數(shù)據(jù)的數(shù)據(jù)運動區(qū)分,并且包括對于數(shù)據(jù)生成、數(shù)據(jù)存儲、數(shù)據(jù)處理和云中的服務(wù)器和瀏覽器的角色的考慮。
前往物聯(lián)網(wǎng)(IoT)的第一過渡步驟是出現(xiàn)霧計算或霧網(wǎng)絡(luò)。這是使用一個智能設(shè)備、協(xié)作的多個智能設(shè)備或近用戶邊緣設(shè)備來執(zhí)行大量處理和存儲(而不是主要存儲在云數(shù)據(jù)中心中)、通信(而不是在互聯(lián)網(wǎng)骨干上路由)以及控制、配置、測量和管理(而不是主要由網(wǎng)絡(luò)網(wǎng)關(guān),諸如長期演進(LTE)(諸如4-G LTE)中的那些網(wǎng)關(guān)控制)的架構(gòu)。
霧網(wǎng)絡(luò)由控制平面和數(shù)據(jù)平面組成。例如,在數(shù)據(jù)平面上,霧計算使計算服務(wù)能夠駐留在網(wǎng)絡(luò)的邊緣,與數(shù)據(jù)中心中的服務(wù)器相反。與云計算相比,霧計算強調(diào)與終端用戶和客戶端目標的接近性,得到良好用戶體驗和故障情形下的冗余。霧聯(lián)網(wǎng)支持IoT,其中,日常使用的大部分設(shè)備將相互連接。示例包括電話、可穿戴健康監(jiān)測設(shè)備、聯(lián)網(wǎng)車輛和使用諸如Google眼鏡的設(shè)備的增強現(xiàn)實。IoT的最終目標是為了數(shù)據(jù)的安全識別、管理和控制,實現(xiàn)物體之間、物體和人之間、所有事物之間和網(wǎng)絡(luò)之間的連接。
鑒于上述情形,可穿戴顯示設(shè)備將挑戰(zhàn)傳統(tǒng)的計算機人機交互?,F(xiàn)在,計算機鼠標、游戲桿和其他手動跟蹤設(shè)備是用于在人機交互(HMI)期間指定位置信息的普適工具。隨著可穿戴計算的到來,為正確操作而通常要求靜止表面的龐大和突兀的設(shè)備不與設(shè)計為穿戴在身體上的便攜式屬性的裝置相兼容。
可穿戴顯示設(shè)備包括諸如由Sony、Samsung、Oculus、Carl Zeissr制造的虛擬現(xiàn)實(“VR”)顯示器、諸如由Google(例如)和Vuzix生產(chǎn)的頭戴式顯示器(“HMD”)、諸如由Microsoft、Vuzix和DigiLens制造的增強現(xiàn)實(“AR”)顯示器,以及類似的設(shè)備。能使用眼睛跟蹤來查看這些顯示器并且指定位置信息。然而,在正常人類活動期間,也廣泛地使用眼睛。
在相對于安全性的實施例的進一步論述中,如果需要,從面部、眼睛或語音采集的數(shù)據(jù)構(gòu)成用戶或用戶群組的獨特生物計量數(shù)據(jù)。能使用這些采集的數(shù)據(jù)來在公鑰和私鑰加密的系統(tǒng)中生成獨特私鑰。多年來,加密系統(tǒng)已經(jīng)廣泛用于信息保護、認證和訪問控制,同樣地,在信息安全領(lǐng)域廣泛公知。
用于安全信息與生物識別的個人的連續(xù)交換的另外的組件是加密所有傳送的(即發(fā)送或接收)的數(shù)據(jù)。數(shù)據(jù)加密具有早于電子計算機的悠久歷史。已經(jīng)開發(fā)了許多業(yè)已建立的方法來保護數(shù)據(jù)的機密性、完整性和真實性。大多數(shù)加密技術(shù)利用能用來加密和/或解密數(shù)據(jù)流的一個或多個密鑰或加密代碼。用來編碼或解密數(shù)據(jù)流的密鑰能源自多個源,包括先前傳送的數(shù)據(jù)序列、在設(shè)備的制造期間嵌入的識別碼和使用計數(shù)。
利用換位、取代、重定位、掩碼、轉(zhuǎn)換表和/或預(yù)定數(shù)字序列的加密和解密方法在本領(lǐng)域是公知的。更復(fù)雜的技術(shù)利用應(yīng)用于更大塊(例如大于單字符或字節(jié))的信息的多種方法。此外,與使用在一些形式的存儲器設(shè)備上存儲的軟件實現(xiàn)的加密和解密方法相比,通常更需要防止包括受保護硬件組件內(nèi)的處理步驟的加密和解密方法以免企圖解碼。
現(xiàn)場可編程門陣列(FPGA)和專用集成電路(ASIC)具體用作加密和解密組件。實際上,Streicher等(美國專利No.8,363,833)和其他描述了甚至自加密用來編程可以用于加密的FPGA的比特流的過程。隱蔽解密安全信息的安全密鑰和方法大大地降低除獲得對加密數(shù)據(jù)流的有意義訪問的預(yù)期接收者外的任何人的風險。
作為另外的背景,藍牙起源于1998年發(fā)布的1.0規(guī)范,2000年的稱為1.0b的后續(xù)版本。這些早期版本被設(shè)計成從用戶的桌面去除線,這些包括考慮串行、頭戴式設(shè)備、無繩電話和LAN連接。然而,這些早期版本具有許多問題并且制造商難以使其產(chǎn)品互操作。藍牙的后續(xù)版本1.1、1.2和2.0包括擴展帶寬、簡檔能力,并且最后,在版本2.1中,新安全級,包括現(xiàn)在稱為安全簡易配對(SSP)。
SSP允許兩個設(shè)備基于Diffie-Hellman密鑰協(xié)議,建立鏈路密鑰并且支持四種方法來認證密鑰協(xié)議。這些方法中的一個,稱為Passkey Entry方法使用在一個或兩個設(shè)備上輸入的PIN(即,個人標識碼)。然而,已經(jīng)顯示Passkey Entry方法會向在配對過程的第一部分上竊聽的任何攻擊者泄露該PIN。如果攻擊者能夠阻止該配對過程成功完成并且用戶使用相同PIN兩次(或使用固定PIN),攻擊者會在新一輪配對過程中安裝中間人攻擊。
現(xiàn)在,有許多關(guān)于甚至最復(fù)雜的協(xié)議也面臨的挑戰(zhàn)的安全風險的論文。需要新的系統(tǒng)和方法來確保所謂的不可抵賴性,“不可抵賴性”通常是指保證某人不能拒絕某事。在這種情況下,拒絕確保使用設(shè)備或來自設(shè)備的通信的能力不能拒絕合格用戶發(fā)起的對任何用途、通信或消息的他們的簽名的真實性。
技術(shù)實現(xiàn)要素:
盡管從全面閱讀下文給出的說明書和權(quán)利要求將更好地理解本發(fā)明,但提供該發(fā)明內(nèi)容以便使閱讀者了解本發(fā)明的一些新的和有用的特征。當然,該發(fā)明內(nèi)容不旨在為全面敘述本發(fā)明的所有特征,也絕不旨在限制在本申請的具體實施方式結(jié)束時給出的權(quán)利要求的范圍。
在本公開中,旨在與計算設(shè)備交互的自主性眼睛運動稱為“眼睛信號”。
根據(jù)一個實施例,為頭戴設(shè)備(HMD)提供裝置、系統(tǒng)和方法,該HMD包括連接到至少一個成像器的至少一個處理器,其中,至少一個成像器面向用戶的眼睛。處理器被配置為基本上連續(xù)、同時和/或定期地中的至少一個確定眼睛信號估計,其中,使用檢測已經(jīng)由附接到HMD的光源生成的來自眼睛的表面的至少一個閃光的成像器,由處理器確定眼睛信號估計,或其中,成像器檢測眼睛的一個或多個不同特征;并且確定用戶的生物計量數(shù)據(jù),包括用戶的面部特征、聲音或虹膜數(shù)據(jù),其中,生物計量數(shù)據(jù)用于識別和認證用戶以訪問和控制HMD、所連接的設(shè)備、無線設(shè)備和遠程服務(wù)器中的至少一個。
根據(jù)另一實施例,提供裝置、系統(tǒng)和方法,可以基本上同時、定期和/或按需利用頭戴設(shè)備執(zhí)行虹膜辨識。在形成眼睛信號控制期間的生物計量識別可以用在實時地要求用戶識別和/或認證的大量應(yīng)用中。
在另一實施例中,公開了系統(tǒng)和方法,其中,眼睛信號控制序列用于對從自動取款機(ATM)取錢并且進行在線購買中的至少一個,認證用戶。
另一實施例公開了對包括私人、群組或其他測試中的至少一個的在線活動的用戶進行認證的系統(tǒng)和方法,,遵守與用于各種形式的雇員的身份諸如專業(yè)駕駛、領(lǐng)航或其他交通相結(jié)合的性能要求、記錄時間、確認由用戶口頭提供或讀取的知情同意的應(yīng)答,由此在閱讀期間的掃視和其他基于眼睛的運動期間對身份的連續(xù)確認,并且確認任何具有法律約束力的協(xié)議的應(yīng)答。
另一實施例公開了用于將識別特性與包括以下中的至少一個的其它安全令牌結(jié)合的系統(tǒng)和方法:信息令牌(口令)、物理令牌(密鑰)、產(chǎn)生的令牌(語音、手勢、書寫)和其他生物計量令牌,諸如指紋和聲波紋。
另一實施例公開了描述多個系統(tǒng)配置的系統(tǒng)和方法,包括:
●存儲完全在HMD上執(zhí)行搜索和匹配的多個用戶代碼。
●將用戶代碼發(fā)送到用于識別和匹配的特定處理器。
●將用戶代碼發(fā)送到云。
●增加或替換對計算設(shè)備的常見的基于口令的訪問。
●基本上連續(xù)地重復(fù)驗證設(shè)備穿戴者的身份。
另一實施例公開了用于捕捉虹膜的圖像或由虹膜圖像本地生成的irisCode(例如,如在2015年5月8日提交的“Systems and Methods for Discerning Eye Signals and Continuous Biometric Identification”中所述),并且將虹膜信息傳送到云用于認證任何HMD的系統(tǒng)和方法。
另一實施例公開了替換或增加對計算設(shè)備的常見的基于口令的訪問的系統(tǒng)和方法。
另一實施例公開了使用連續(xù)生物計量識別(CBID)方法的特定實施方式(例如,如在2015年5月8日提交的“Systems and Methods for Discerning Eye Signals and Continuous Biometric Identification”中所述)來通過使用稱為“用看購買(look to buy)”的眼睛信號方法或過程“在過道購買(buy at the aisle)”的系統(tǒng)和方法。
另一實施例公開了用于(在HMD或遠程顯示設(shè)備上)顯示有關(guān)物品的包括成本的信息系統(tǒng)和方法。
另一實施例公開了用于用來識別在用戶的環(huán)境內(nèi)簡單查看的、用于購買的物品的對象辨識的系統(tǒng)和方法。
另一實施例公開了建立穿戴HMD的用戶的真實身份的系統(tǒng)和方法。
另一實施例公開了防止用戶身份被竄改或身份被盜的系統(tǒng)和方法。
另一實施例公開了出于教育或法律目的中的至少一個使用HMD來認證用戶的系統(tǒng)和方法。
另一實施例公開了出于認證購買的目的使用HMD的系統(tǒng)和方法,其中,經(jīng)認證的購買用于在線購買安全和離線購買安全,其中,離線包括在零售店。
另一實施例公開了使用HMD的系統(tǒng)和方法,該HMD包括從HMD向外,連接到處理器的第二成像器,其中,第二成像器檢測能由處理器解碼的碼,其中,該碼是條形碼和QR(例如快速響應(yīng))碼中的一個,并且其中,處理器解碼的數(shù)據(jù)表示有關(guān)產(chǎn)品的信息。
另一實施例公開了使用與產(chǎn)品有關(guān)的信息來允許已認證的用戶安全地購買產(chǎn)品的系統(tǒng)和方法。
另一實施例公開了允許實體通過相互凝視發(fā)起與另一實體的安全通信信道的系統(tǒng)和方法,其中,可以在通信前,建立通信信道的安全性,并且可以在通信期間,連續(xù)或以一定間隔重新驗證。
另一實施例公開了實現(xiàn)用于各方之間的協(xié)作的安全協(xié)議來使動作發(fā)生的系統(tǒng)和方法,由此,每一方執(zhí)行一些動作,在此期間,通過CBID,基本上連續(xù)地驗證他們的身份。
另一實施例公開了當使用HMD設(shè)備時,通過限制對支持用于HMD設(shè)備的眼睛跟蹤的硅芯片中的功能塊的訪問,增加安全性的系統(tǒng)和方法。
另一實施例公開了管理、協(xié)作、過濾和/或定序由與用戶的身份相關(guān)聯(lián)的一個或多個可穿戴設(shè)備提供的刺激的系統(tǒng)和方法。
在另一實施例中,提供包括基于解釋用戶的基于凝視的意圖,動態(tài)地演變用于系統(tǒng)的認知架構(gòu)的系統(tǒng)和方法。自然眼睛運動由系統(tǒng)解釋,并且用于實時圖像服務(wù)。包括處理器和相機的照明設(shè)備由用戶穿戴,相機對準用戶的眼睛。該系統(tǒng)包括具有存儲的指令的存儲器。當執(zhí)行指令時,系統(tǒng)從對準用戶的眼睛的相機,接收眼睛測量數(shù)據(jù)。使用該數(shù)據(jù)來確定眼睛的第一狀態(tài),并且將其與從眼睛的第二狀態(tài)捕捉的數(shù)據(jù)比較。當系統(tǒng)確定眼睛的第一和第二狀態(tài)相同時,將另外的指令發(fā)送到系統(tǒng)中的至少一個處理器。
附圖說明
當結(jié)合下述示例性圖考慮時,通過參考詳細描述,可以得出本發(fā)明的更全面理解。在圖中,相同的附圖標記在整個圖中表示相同的元素或動作。在附圖中示出當前的實施例,其中:
圖1是人眼的正視圖。
圖2是從側(cè)面的人眼的剖視圖。
圖3A描繪示出視覺的區(qū)域的眼睛的自上而下視圖。
圖3B示出視覺的區(qū)域的大小的示例近似。
圖4描繪整體系統(tǒng)架構(gòu)。
圖5描繪眼睛信號對象的架構(gòu)。
圖6描繪抽象硬件。
圖7描繪典型的藍牙架構(gòu)。
圖8描繪硬件接口和硬件組件。
圖9描繪成像架構(gòu)。
圖10描繪生物計量數(shù)據(jù)生成。
圖11描繪認知負荷管理器的分解。
圖12描繪認知負荷管理器的系統(tǒng)組件。
圖13描繪連接到移動設(shè)備的HMD(頭戴設(shè)備)。
圖14描繪連接到云的HMD。
圖15描繪連接到家和車輛控制的HMD。
圖16描繪HMD和NESTTM恒溫系統(tǒng)之間的通信。
圖17示出有關(guān)與云通信的HMD的系統(tǒng)架構(gòu)。
圖18描繪數(shù)據(jù)管理器的分解。
圖19示出具有移動到云的處理能力的HMD的系統(tǒng)架構(gòu).
圖20示出HMD朝物聯(lián)網(wǎng)的進一步演化。
圖21描繪來自移動到遠程服務(wù)器的HMD的系統(tǒng)架構(gòu)。
圖22描繪所有處理推給云的HMD。
圖23描繪HMD和遠程服務(wù)器通信。
圖24描繪與家庭控制系統(tǒng)通信的HMD。
圖25描繪與社交媒體通信的HMD。
圖26描繪與家庭娛樂系統(tǒng)通信的HMD。
圖27描繪與車輛娛樂系統(tǒng)通信的HMD。
圖28描繪與車輛控制系統(tǒng)通信的HMD。
圖29是執(zhí)行在線安全購買采取的步驟的流程圖。
具體實施方式
在下述描述中,并且為了說明目的,闡述許多具體的細節(jié)以便提供對實施例的各個方面的全面理解。然而,相關(guān)領(lǐng)域的技術(shù)人員將理解到?jīng)]有這些具體細節(jié),可以實施本文的裝置、系統(tǒng)和方法。將理解到可以利用其他實施例并且在不背離本文的裝置、系統(tǒng)和方法的范圍的情況下可以做出結(jié)構(gòu)和功能改變。在其他實例中,更一般地示出或論述了已知結(jié)構(gòu)和設(shè)備以避免混淆實施例。在許多情況下,對操作的描述足以使人能夠?qū)嵤└鞣N形式,特別是當用軟件實施操作時。應(yīng)注意到有許多可以應(yīng)用所公開的實施例的不同和替選配置、設(shè)備和技術(shù)。實施例的全面范圍不限于以下所述的示例。
眼睛的解剖學(xué)在本領(lǐng)域是公知的。為了本公開,描繪和描述相關(guān)解剖學(xué)。圖1和2一般描繪人眼100的解剖學(xué)。圖1是示出瞳孔145、虹膜115、鞏膜150、角膜緣245、瞳孔/虹膜邊界250、上眼瞼105、下眼瞼110和睫毛235的眼睛100的正視圖。圖2是示出瞳孔145、虹膜115、視網(wǎng)膜52、鞏膜150、中心凹160、晶狀體165和角膜170的眼睛100的剖視圖。瞳孔145是擴展和收縮以調(diào)節(jié)視網(wǎng)膜52接收的光的眼睛中心處的近似圓黑部分。虹膜115是圍繞瞳孔145并且控制瞳孔145的擴展和收縮的眼睛100的有色部分。鞏膜150是圍繞虹膜115的眼睛100的白色區(qū)域。鞏膜150包含血管和其他可識別標記。角膜緣245是緊臨鞏膜150的虹膜115的外緣。瞳孔/虹膜邊界250是瞳孔145和虹膜115交會之處。眼瞼105、110和睫毛235圍繞眼睛100并且在眨眼、閉眼或不同視角期間,偶爾部分地覆蓋或遮擋眼睛100的多個部分。視網(wǎng)膜52是襯于眼睛100內(nèi)從晶狀體165接收圖像并且將它們轉(zhuǎn)換成用于大腦的信號的感官薄膜。中心凹160是視網(wǎng)膜52中的凹處,其僅包含視錐(無視桿)并且提供特別敏銳的視覺。晶狀體165是角膜170后、將光聚集到視網(wǎng)膜52上的眼睛100的近球體。角膜170是覆蓋虹膜115、瞳孔145和晶狀體165的眼睛的透明部分。
圖3A和3B描繪視覺的中心凹、中心凹旁和周邊范圍。中心凹區(qū)域190從用戶的凝視點向外約2度。該區(qū)域的近似值為成人的手臂之遙處的1美分硬幣。中心凹旁范圍195是在中心凹區(qū)域190外的可視區(qū)域,通常離用戶的凝視點2至10度。10度中心凹旁視野的近似值為具有成人的手臂之遙處的四英寸直徑的圓。周邊區(qū)域197在中心凹旁區(qū)域195的外部并且通常向外10至30度。
圖4描繪整體系統(tǒng)架構(gòu),包括具有非易失性閃存1050的處理器1035、DRAM存儲器1040、硬件抽象層(HAL)1030、以及與外部硬件的物理連接1235、操作系統(tǒng)(OS)1025和處理用于HMD的操作為用于HMD、稱為IRIS(用于實時圖像服務(wù)的接口)的視覺消歧服務(wù)(VDS)接口的中間件服務(wù)并且可操作為軟件控制對象的軟件和/或固件1000。中間件服務(wù)上方是包含便于IRIS對象與第三方應(yīng)用的軟件集成的軟件的軟件層1015,并且在中間件服務(wù)上方為用于第三方硬件集成和調(diào)試的軟件工具1020的集合,所述第三方硬件集成和調(diào)試包括通過由IEEE 1149.1標準測試訪問端口和邊界掃描架構(gòu)支持的聯(lián)合測試行動小組(JTAG)的如單步和斷點的操作。在軟件工具和集成層上方為應(yīng)用編程接口(API)1010,其后為應(yīng)用1005。此外,系統(tǒng)為增加安全性包括公鑰生成器1635和私鑰生成器1630。
圖5描繪包括識別為電源管理器1140和設(shè)備管理器1120的軟件塊的整體系統(tǒng)架構(gòu)。電源管理方案由一個或多個開放標準得出,諸如高級配置和電源接口(ACPI)。
ACPI具有三個主要組件:ACPI表、ACPI BIOS和ACPI寄存器。不同于它的前身,如APM或PnP BIOS,ACPI以ACPI BIOS代碼實現(xiàn)少量其功能性,其主要任務(wù)是將ACPI表加載在系統(tǒng)存儲器中。相反,以在ACPI表中存儲的ACPI機器語言(AML)字節(jié)碼提供大多數(shù)固件ACPI功能性。為利用這些表,操作系統(tǒng)必須具有用于AML字節(jié)碼的解釋器。由ACPI組件架構(gòu)(ACPICA)提供參考AML解釋器實施方式。在BIOS開發(fā)時,由ASL(ACPI源語言)代碼編譯AML碼。到目前為止,ACPI標準的最新版本是2011年。
對可穿戴計算,未來的系統(tǒng)可以實現(xiàn)無操作系統(tǒng)和健壯支持。上文論述的電源管理方案和ACPI元素將需要拉到應(yīng)用控制層,為應(yīng)用和用戶提供對電源方案的動態(tài)控制。如下所述,在非常抽象的實施例中,ACPI可能以分離或分布式方式實現(xiàn)。該當前標準未完全預(yù)期可穿戴計算設(shè)備如在本說明書中公開的HMD的挑戰(zhàn),因此,公開了用于在多種模式中操作HMD系統(tǒng)的另外的考慮。
HMD可以包括在檢測到無眼睛時部署的低功率操作模式。這通常發(fā)生在當用戶移除頭戴物時或當頭戴物已經(jīng)移出用戶的頭的地方時。能在作為芯片上系統(tǒng)(SOC)的硅中實現(xiàn)該功能性。
任何時刻,能由初始用戶重新安裝或由新用戶穿戴該設(shè)備。為了設(shè)備校準(例如考慮個體之間的解剖差異)和/或用戶認證的目的,期望該設(shè)備當被重新安裝或重新部署時,能夠確定注冊用戶的身份。這能包括加載配置/校準參數(shù)的新集合和區(qū)分在先用戶和新的用戶之間的身份;包括停止、暫停和/或隱藏由在先用戶啟動的任何正在運行的程序的輸出。
通常在舊標準下,只要操作系統(tǒng)電源管理(OSPM)激活A(yù)CPI,則其接管對電源管理和設(shè)備配置的所有方面的專屬控制。OSPM實施方式還向硬件驅(qū)動器1197暴露ACPI兼容環(huán)境,反過來,每個硬件驅(qū)動器1197影響系統(tǒng)、設(shè)備和處理器狀態(tài);以及將這些作為電源狀態(tài)全局地管理并且這些包括全局狀態(tài)、設(shè)備狀態(tài)、處理器狀態(tài)和性能狀態(tài)。
功耗是普遍關(guān)心的問題,特別是在長時間未穿戴設(shè)備時。對該問題的通常部署的解決方案是完全將電子設(shè)備關(guān)機的“關(guān)”開關(guān)。然而,“上電”頭戴式設(shè)備的時間和不便是有限制的,特別是例如如果設(shè)備僅暫時從頭部移除。
低功率HMD和眼睛信號控制通過使用包括下述的至少一個技術(shù),預(yù)期這些問題:
●通過減小處理器的時鐘速率,修改處理器狀態(tài),
●通過將處理局限于低功率處理器或處理器的一部分,修改性能狀態(tài),
●通過以減小的幀速率成像,修改設(shè)備狀態(tài),
●通過關(guān)閉相機或在圖像之間轉(zhuǎn)換成低功率模式,修改全局狀態(tài),
●減少照明,
●通過減小的空間分辨率,收集和/或處理圖像,
●將算法(特別是與搜索虹膜邊界相關(guān)聯(lián)的那些算法)限定到低空間分辨率模式,
●在irisCode比較期間,放松嚴格測量,以及
●制作在直到已經(jīng)發(fā)生低水平認證為止不會“上電”整個設(shè)備的低功率模式中操作的專用硬件(芯片或SOC)。此外,這類芯片或SOC將禁止訪問其他嵌入功能性或連接或無線連接設(shè)備,直到執(zhí)行認證可能后續(xù)執(zhí)行上電和確定用戶的眼睛觀看顯示器或其他目標物體為止。
該專用硬件能利用能分割一部分電路來在極低功率模式中操作的“混合”芯片制造的現(xiàn)代方法。該混合電路有效地構(gòu)建“防火墻”,防止未授權(quán)用戶完全上電或利用設(shè)備。
低功率HMD模式的另一應(yīng)用是當感測到低電池狀態(tài)時。代替運行設(shè)備直到所有全局功能終止為止,“優(yōu)雅降級”模型作為用于HMD的新的電源狀態(tài)類的一部分被實現(xiàn)?!皟?yōu)雅降級”能包括通過限制使用更耗電(即,通常更復(fù)雜)的圖像處理和其他例程的算法方法,以及降低功率同時保持至少部分功能性的許多混合和硬件方法,如上所述。用于處理器和關(guān)鍵操作的低功率模式繼續(xù),直到電池最終沒電、該單元插入中央電源或該設(shè)備被放置得足夠接近感應(yīng)充電站為止。
用于所有形式的可穿戴計算的另一電源管理問題是越復(fù)雜的算法眼睛跟蹤和用戶接口技術(shù)會利用更快或并行的中央處理單元(CPU),但通常這些方法要求更大功率。越大的功耗導(dǎo)致更大和/或更重的電池,和/或再充電或替換電池之間的更短的設(shè)備使用時間。
部署更多/更快CPU的替選或補充是使用嵌入或分布式處理方法。這些能在各種硬件組件內(nèi)實現(xiàn),包括現(xiàn)場可編程門陣列(FPGA)、專用集成電路(ASIC)、復(fù)雜可編程邏輯器件(CPLD)和能包括芯片上系統(tǒng)(SoC)配置的混合設(shè)備。
嵌入或分布式處理能通過將負荷卸到計算密集的例程,促進現(xiàn)有的、基于CPU的方法。專用于執(zhí)行這些例程的硬件能更快(通常僅要求一個、或僅幾個時鐘周期)并且利用更少功率(通常少了大于一個數(shù)量級的功率)。分布式處理還能促進使用CPU通常不可行(在時間和功耗約束內(nèi))的新算法方法。分布式處理在要求將在大的數(shù)據(jù)集諸如視頻圖像上執(zhí)行的計算的重復(fù)和/或同時應(yīng)用的算法內(nèi)特別有用。這些在下文的子章節(jié)分布式處理中進一步論述。
另一實施例利用低功率分布式處理來檢測設(shè)備是否已經(jīng)從頭部移除。為了實現(xiàn)“瞬間接通(instant on)”能力,設(shè)備必須“感測”其被安裝在穿戴者的頭上還是已經(jīng)被移除。執(zhí)行該功能的方法(而不增加另外的硬件)是確定在眼睛跟蹤相機圖像內(nèi)是否能看到眼睛。如別處所述,能通過降低的幀速率、低分辨率成像、低CPU時鐘速率等,當不使用設(shè)備時(即從頭部移除)降低功耗。
對低功率眼睛存在測量,能通過降低照明LED的功率、減小接通的LED的數(shù)量和/或僅當真正采樣相機圖像(以減小的幀速率)時才接通照明器,來消除或減小照明。通過在分布式處理硬件中嵌入相對簡單的眼睛幾何結(jié)構(gòu)檢測例程,也能獲得功率的實質(zhì)減小。該示例用于確定(例如眼睛的)圖像是否存在的一種形式的卷積濾波器是焦點濾波器。這種濾波器能被分類為檢測高空間對比度邊緣的存在的高通空間濾波器。當通常存在失焦圖像時(即,不存在位于相機的約25mm焦距處的高對比度對象)不存在這種邊緣指示該設(shè)備已經(jīng)從頭部移除。另一種方法是檢測與白色(即,鞏膜)區(qū)域相鄰的黑暗(即,瞳孔)區(qū)域。當檢測到聚焦的眼睛時,設(shè)備“上電”以用于更高分辨率眼睛跟蹤(認為其未完全斷電)。
在另一實施例中,設(shè)備可以包括微機電系統(tǒng)(MEMS),諸如用于確定運動的加速度計或速率傳感器。當未穿戴設(shè)備時,該設(shè)備可以以超低功率模式操作,其中,該設(shè)備不間歇地搜索眼睛的存在。在超低功率模式中,當檢測到設(shè)備的運動時,例如當用戶拿起該設(shè)備時,設(shè)備可以僅搜索眼睛的存在。當檢測到運動時,設(shè)備可以以如按用戶偏好設(shè)定的預(yù)先確定的間隔(例如每隔2秒)或在一段時間(例如1分鐘)內(nèi)基本上連續(xù)地發(fā)起掃描搜索眼睛。如果設(shè)備在預(yù)設(shè)時間間隔中未檢測到眼睛,該設(shè)備可以恢復(fù)超低功率模式,或者該設(shè)備可以在恢復(fù)超低功率模式前循環(huán)低功率模式。只要檢測到眼睛,該設(shè)備可以切換成全功率模式或切換成如按所檢測的用戶的偏好設(shè)定的功率設(shè)置。主設(shè)備所有者(管理員)可以設(shè)定當設(shè)備未使用時將管理用于該設(shè)備的功率模式設(shè)置的整體系統(tǒng)功率方案。此外,設(shè)備所有者可以鎖定對電源方案的改變,使得其他用戶不能編輯它們。
圖5描繪IRIS對象1000的進一步分解,包括眼睛跟蹤1100,用于跟蹤用戶的眼睛凝視的模塊;眼睛數(shù)據(jù)1105,用于使用用戶的生物計量數(shù)據(jù)的用戶識別,諸如面部、語音和虹膜識別;眼睛控制1100,用于將用戶的眼睛凝視與顯示器關(guān)聯(lián),iUiTM接口(包括眼睛信號控制的接口)1116。從眼睛運動收集的眼睛信號1115用來與用戶接口iUi1116交互并且在顯示器上顯示畫面和圖像。
在IRIS對象1000中,包括作為某些功能的管理器操作的多個軟件模塊。例如,但不限于:
●設(shè)備管理器1120,允許用戶控制附接到該系統(tǒng)的硬件,不管是HMD中的成像器、附接的蜂窩電話還是車輛信息娛樂系統(tǒng)。
●數(shù)據(jù)管理器/個人數(shù)據(jù)管理1125,實現(xiàn)對用戶數(shù)據(jù)諸如電子郵件、消息等的安全存儲和訪問。數(shù)據(jù)管理器1125還可以包括口令管理軟件、Web瀏覽器收藏和密碼軟件中的一個或多個。高級數(shù)據(jù)管理能包括例如設(shè)置和建立虛擬專用網(wǎng)(VPN)、具有不管本地還是通過互聯(lián)網(wǎng)可訪問的外部處理器的終端服務(wù)。
●通信管理器1130,被設(shè)計成將信息從一個系統(tǒng)傳遞到另一個系統(tǒng),并且提供對系統(tǒng)的遠程訪問,以及在計算機間以多種格式傳送文件。通信管理器1130還可以包括鏈路管理和數(shù)據(jù)路由。
●安全管理器1135,是指用來保護HMD和用戶免受威脅、病毒、蠕蟲、惡意軟件或遠程黑客侵入的軟件步驟或措施;包括預(yù)防控制技術(shù),其保護系統(tǒng)及其數(shù)據(jù)免被竊取或盜用。
●電源管理器1140,管理設(shè)備電源方案來優(yōu)化和最大化用戶體驗和設(shè)備電池壽命。
●顯示管理器1145,具有兩個基本功能:在iUi 1116的模式中,眼睛如何跟蹤屏幕上的對象;以及在HMD中向用戶顯示哪些內(nèi)容。顯示管理器1145還具有將HMD中的屏幕全部或部分傳送到外部顯示器的能力,所述外部顯示器諸如計算機屏幕、汽車的儀表盤或家庭娛樂監(jiān)視器,諸如TV。
現(xiàn)在進一步論述安全管理器1135,可以包括多個另外的控制,例如音頻/視頻(A/V)控制1150、語音控制1155或一些更復(fù)雜的控制,例如認知負荷控制1160(圖11和12)。
HAL 1030(圖6)包括外部硬件系統(tǒng)的“托管”方面,這通常包括專用于特別為集成而開發(fā)的IRIS平臺的軟件。預(yù)期的硬件是但不限于藍牙接口1170(下文作為一個實施例單獨論述)、至任何形式或任何類型的TCP通信的TCP/IP接口1175,包括802.2(有線接口)、802.11、802.15(WPAN-除藍牙外的無線個域網(wǎng))以及802.20Wi-Max;這包括支持網(wǎng)絡(luò)以及至有線或無線系統(tǒng)的傳輸軟件1195以及物理鏈路的棧。此外,還存在對于通過硬件IF 1180的其它系統(tǒng)的考慮,該硬件IF 1180通過物理鏈路1235與外部軟件和/或硬件驅(qū)動器接合;這些物理鏈路能是I2C、USB、串行或?qū)S梦锢礞溌贰?/p>
在一個實施例的論述中,例如,在實施例的非限定示例中,已經(jīng)選擇藍牙系統(tǒng),因為它在快速增長的移動設(shè)備的市場中很流行。例如,當今幾乎所有的車輛具有所謂的信息娛樂系統(tǒng),這些是諸如音樂和視頻的娛樂以及信息的組合,其中,信息可以來自車輛內(nèi),如來自傳感器的數(shù)據(jù),對系統(tǒng)諸如加熱器或燈的控制,或可通過互聯(lián)網(wǎng)獲得的信息。這些系統(tǒng)中的大部分使用有線和無線技術(shù)來連接至車輛和/或互聯(lián)網(wǎng)。當今,與車輛的無線連接通常是通過一組標準接口建立的藍牙,這些稱為簡檔1300(圖9)并且托管在藍牙無線電上方的處理器中,進一步在圖5中示為免提簡檔(HFP)1187、高級音頻分發(fā)簡檔(A2DP)1193、音頻視頻資源控制簡檔(AVRCP)1190等。
到目前為止,未預(yù)期HMD 600將用在車輛中來控制車輛操作915,包括信息娛樂系統(tǒng)910;因此,并入最新簡檔中的一個是不可避免的,該簡檔稱為人機接口設(shè)備(HID)簡檔;簡檔1210、1215、1220和1225通過跨硬件抽象的簡檔,將信息從應(yīng)用交換到藍牙模塊和藍牙無線電。圖6描繪藍牙系統(tǒng)架構(gòu),包括與簡檔的連接、網(wǎng)絡(luò)和傳輸1230以及數(shù)據(jù)鏈路1250和調(diào)制解調(diào)器1255。
圖7描繪分解成其子組件的藍牙架構(gòu)1205的分解。所有這些協(xié)議的基礎(chǔ)是稱為服務(wù)發(fā)現(xiàn)協(xié)議(SDP)1310的藍牙的關(guān)鍵協(xié)議,其包括所謂的安全簡易配對(SSP)。如今高于V2.1的所有藍牙標準均要求SSP。安全簡易配對使用一種形式的公鑰加密,其能幫助防止所謂的“中間人”或MITM攻擊。通常,藍牙HID 1185規(guī)范要求用于配對并將兩個設(shè)備綁定在一起的安全模式4,引證在沒有與藍牙HID主機和藍牙HID設(shè)備的物理接入的情況下,應(yīng)當不可能執(zhí)行與任何藍牙HID主機或設(shè)備的配對或綁定。支持綁定的藍牙HID主機和藍牙HID設(shè)備使用一些形式的非易失性存儲器來存儲128位鏈路密鑰和對應(yīng)的BD_ADDR,以及每個鏈路密鑰的類型(認證、未認證或結(jié)合)。在HMD的情況下,限制復(fù)雜訪問,因為在傳統(tǒng)意義上沒有鼠標或鍵盤。然而,存在藍牙未預(yù)期到的建立安全鏈路的其他方式,即使藍牙知悉公鑰加密的規(guī)則。
在另一示例中,可以實現(xiàn)從藍牙HID設(shè)備接受敏感信息的藍牙HID主機僅從包含在“通用桌面鍵盤”或“通用桌面小鍵盤”的上層應(yīng)用集合中的報告接受敏感信息。此外,當利用包含“通用桌面鍵盤”或“通用桌面小鍵盤”的上層應(yīng)用集合的藍牙HID報告描述符,與任何藍牙HID設(shè)備配對時,該藍牙HID主機會要求MITM保護,進而,藍牙HID報告包含使用代碼及它們的描述的下述集合中的任何一個:
IC-irisCode:為了生物計量識別的目的,將模式辨識技術(shù)應(yīng)用于眼睛的圖像來將虹膜內(nèi)的表觀遺傳模式量化為可比位模式的結(jié)果。
EIC-加密IC:已經(jīng)被加密的irisCode,使得其不能被逆向工程為虹膜的原始圖像或任何其他基于虹膜的、導(dǎo)出的參數(shù)。
TEIC-目標EIC:所識別的EIC,其中,與從眼睛的圖像計算的IC的匹配指示關(guān)聯(lián),并且由此,指示肯定的生物計量識別。
CBID-連續(xù)生物計量識別:能在頭戴式設(shè)備上或通過將EIC、或一只或兩只眼睛的圖像傳送到遠程處理器遠程執(zhí)行的生物計量識別的重復(fù)的過程。CBID能以固定速率(例如每秒30次)或異步速率(例如每次設(shè)備移動或重新安裝時)發(fā)生。
下述表是指EIC的傳輸和比較;然而,其在算法上可以將眼睛的圖像轉(zhuǎn)換成IC,隨后再轉(zhuǎn)換成EIC。由此,CBID能等同地包含涉及虹膜的圖像、IC、EIC或其他導(dǎo)出的參數(shù)的信息的比較和/或交換。類似地,用于生物計量比較的數(shù)據(jù)庫能等同地(為了識別目的)包含IC、EIC、眼睛的圖像、面部的圖像(包括眼睛)、虹膜的圖像、所謂的“展開的”(即以極坐標表示)虹膜圖像或其他導(dǎo)出的參數(shù)。因此,引用EIC的交換或比較也指為了生物計量識別目的,任何其他導(dǎo)出的數(shù)據(jù)集的交換或比較。
在下表1中,其中,能將可編程屬性的集合指定到新的藍牙簡檔,能使用這些屬性:
表1用于藍牙SDP交易的示例頭戴式設(shè)備配置
可編程屬性的其他示例包括但不限于:
●辨識家庭的各個成員,所有人均被允許使用該設(shè)備(例如動態(tài)地加載與每一用戶相關(guān)聯(lián)的校準因子)
●公共HMD的按次計費租金
●使多個通用頭戴式設(shè)備可用于公司內(nèi)的雇員
●從用戶已經(jīng)注冊的在線“商店”在線購買,對用于進行購買的設(shè)備無限制
●從用戶和特定頭戴式設(shè)備二者已經(jīng)注冊的在線“商店”在線購買
●確定用戶是否在“禁飛”名單上
●傳統(tǒng)口令的機密名單
●在大型在線課程內(nèi)進行考試
●可用于初級護理醫(yī)生、專家和病人的醫(yī)療記錄
●基于所識別的觀眾的人口統(tǒng)計的結(jié)構(gòu)化廣告
●發(fā)送給用戶的設(shè)備許可協(xié)議
●已經(jīng)查看過法律文件的所有部分的確認
●條款和條件的變化的通知已經(jīng)發(fā)送給用戶的確認
●與法律文件有關(guān)的知情同意的確認
●飛行員的飛行前檢查
●對車輛駕駛員的識別并且可以識別事故前駕駛員分心
●基于用戶標識檢索電子郵件,其中,為另一用戶提供單獨的電子郵件訪問
●可以標記傳出的文本和電子郵件(可選地)來指示CBID用戶是作者
●電子地“簽名”法律文件
●必須在同時存在學(xué)生和導(dǎo)師時舉行的考試的管理
●碰巧遇見的人之間/之中的個人信息的交換
●在不要求收款臺的實體店中進行的購買
●僅對授權(quán)個人開門的遠程控制
●基于用戶標識獲得或限制進入建筑物
●跟蹤軟禁于家中的個人
●跟蹤限制進入娛樂場或與另一個人交互的個人
●確保合法購買酒精或其他對個人年齡敏感的材料
●具有用戶標識(能鏈接到醫(yī)療歷史)、“生命體征”和地理位置的自動911呼叫
●基于CBID,與自動柜員機交互
●獲得進入高機密軍事場所
●提供正被調(diào)查的個人的歷史活動
●限制訪問私人通話的音頻/視頻
●限制訪問與參與者的會議的音頻/視頻
●限制訪問與CBID參與者的私人通話的數(shù)據(jù)集
●我最后一次看見我的車鑰匙是在什么時候/什么地點?
●先列出(與籃球或一些其他運動相比)曲棍球分數(shù)
●由成年人(而不是孩子)控制家用恒溫器
●遠程打開家用入門燈
在成像器或視頻的圖像處理和使用的進一步論述中,在上述實施例中,預(yù)期以下系統(tǒng),其中利用面向眼睛和面部并且向外面向情景的單個傳統(tǒng)的2D成像器系統(tǒng)實現(xiàn)HMD。然而,在替選實施例中,預(yù)期考慮利用面向面部和眼睛以及情景的多個成像器實現(xiàn)HMD,其中,多個成像器生成立體3D視頻圖像。除立體3D圖像外,申請人已經(jīng)預(yù)期對于其他形式的3D圖像生成的考慮。當今,非接觸三維相機或數(shù)字化器通常分成四種類別:立體數(shù)字化器(如上所述)、輪廓數(shù)字化器、定時數(shù)字化器和投影模式數(shù)字化器。根據(jù)四種寬泛類別,能概述基礎(chǔ)3D表面成像技術(shù):空間相位成像(SPI)、三角測量、飛行時間(TOF)和相干方法。
空間相位成像通常依賴于當光從表面發(fā)出以捕捉有關(guān)物體的形狀的信息時的光的偏振態(tài)。三角測量采用兩個或以上顯示特征、檢測器和/或照明體的位置來計算物體幾何結(jié)構(gòu)。兩個重要的三角測量子類是立體對應(yīng)(STC)和立體視覺(STO)。立體對應(yīng)相機通過使用3D幾何學(xué),識別兩個或以上偏移強度圖像中的對應(yīng)特征來計算特征位置,確定情景中的特征的位置。立體視覺相機依賴于人的生物系統(tǒng)(眼睛、大腦)來由從不同有利點拍攝的2個圖像創(chuàng)建3D情景的概念并且投射到觀眾的眼睛中。最后,相干方法依賴于從表面照射和/或發(fā)出的電磁能中的高的空間和/或時間相干度以便確定3D表面幾何結(jié)構(gòu)。
圖8和9描繪用于2D或3D實施方式的成像器對象碼1415。與采用的技術(shù)無關(guān),所實現(xiàn)的任何系統(tǒng)必須考慮兩個關(guān)鍵因素:人類保真(Human-fidelic)可視化(完全真實感顯示)和視覺智能(自動化視覺)。人類保真可視化能在人的腦海中創(chuàng)建與直接觀看該情景一樣真實或基本上一樣真實的情景的視覺概念。成像系統(tǒng)對人類保真來說必須是3D的,因為人類視覺是3D的。第二是視覺智能,是指感測和分析光來理解物理世界的狀態(tài)。人類情緒、姿勢和活動的自動辨識表示視覺智能的示例。2D視頻相機努力提供高水平視覺智能,因為當捕捉視頻時,2D視頻相機會丟棄深度信息。作為忽視深度的結(jié)果,3D情景的2D圖像次于3D圖像。3D圖像具有更好的對比度(區(qū)分不同物體的能力)。真實情景的真實視頻通常包含許多實例,其中,對比度和深度模糊使得自動化系統(tǒng)難以理解情景的狀態(tài)。
3D視頻相機能實現(xiàn)2D相機能實現(xiàn)的一切操作,但增加了剛才提及的優(yōu)點。不可避免的是單鏡頭原生3D視頻通過提供以下兩個感興趣的好處最終將取代當今提供的2D視頻:人類保真可視化和提高的視覺智能。合理地假定全球生產(chǎn)的大部分相機將轉(zhuǎn)換成3D,因為它們變得有成本效益、易于操作、小型且產(chǎn)生視覺保真度??紤]到這一點,當今新興的技術(shù)就成本、復(fù)雜性和保真度而言,最可能達到大眾市場的是在所論述的寬泛3D成像類別內(nèi)的空間相位成像。該技術(shù)依賴于市售的成像器,其在四個子像素上實現(xiàn)微偏光鏡頭以得到快速確定反射光中的小的變化的能力,將矢量作為用于每一像素的方向余弦計算并且在X、Y和Z深度上生成三維值;真正的單鏡頭原生3D視頻。
在另一實施例中,能經(jīng)由使用多于單個相機來查看眼睛,來提高CBID和眼睛信號控制過程的精度。從多個相機基本上同時或順序獲得的圖像能用來1)創(chuàng)建眼睛的不同區(qū)域的軸上(即,垂直于表面)的視圖;2)查看具有在眼睛的圖像內(nèi)位于(眼睛的圖像內(nèi),3個)不同位置的鏡面反向(特別是閃光)的表面;3)允許查看精細結(jié)構(gòu)同時保持查看寬的空間范圍的能力;4)通過基于閃光和眼睛結(jié)構(gòu)的多個視圖,進行多個測量,增加眼睛跟蹤精度;以及5)查看遮擋物體周圍,諸如眼瞼和睫毛。
分布式/嵌入處理特別有用的另一區(qū)域是對于CPU計算上密集的操作的“卸下負荷”處理。眼睛跟蹤和虹膜識別算法內(nèi)的這種“混合”方法(即,混合CPU和嵌入式處理)的示例包括執(zhí)行快速傅立葉變換(FFT)、隨機采樣一致性(RANSAC)、所謂的StarBurst特征提取和三角函數(shù)的例程。
在系統(tǒng)架構(gòu)內(nèi),包括用于管理為了個人和群組的的安全性、優(yōu)化性能和總體幸福感而管理認知負荷的方法。通常,認知負荷的概念從通常與態(tài)勢感知有關(guān)的戰(zhàn)術(shù)戰(zhàn)斗項目和活動延伸。反過來,這些驅(qū)動程序中的認知負荷控制1160,如駕駛座工作量管理;認知負荷控制1160通常處理與一些外部刺激交互的人類思想。
認知負荷的定義在不同領(lǐng)域稍有不同,例如,在學(xué)術(shù)意義上,認知負荷是指在任何時刻,強加在工作記憶上的總的腦力活動量;而在人體工程學(xué)文獻中,被描述為操作者信息處理能力的一部分,或要求滿足認知任務(wù)需求的資源。每一領(lǐng)域提供測量認知負荷的不同方法。
在本文中,認知負荷被認為特定用戶領(lǐng)會或?qū)W習一些資料或完成一些任務(wù)所需的腦力勞動或需求。認知負荷與在任何單個時間點用戶(即,處理新信息的能力)和完成的任務(wù)(即復(fù)雜度)有關(guān)。這歸因于人的工作記憶的有限容量和其處理新信息的能力。
用于測量認知負荷的常規(guī)方法包括:
1.主觀測量,諸如自評量表;
2.生理技術(shù),諸如瞳孔擴張、心率和皮膚電反應(yīng);
3.基于任務(wù)或性能的測量,諸如臨界誤差率和任務(wù)完成時間;以及
4.行為測量,諸如語言病理學(xué)(例如障礙,自言自語等)。
通過測量認知負荷的這些方法,存在許多問題,包括:
1.一些方法是侵入式的并且破壞執(zhí)行該任務(wù)的正常流程;
2.一些方法對用戶來說身體上不舒服;
3.一些方法當它們太密集時,不能實時進行;
4.在實驗室條件外,數(shù)據(jù)質(zhì)量可能不可靠;以及
5.數(shù)據(jù)質(zhì)量受外部因素,諸如用戶的壓力水平影響。
圖12描繪解決許多這些問題的認知負荷管理器1160的系統(tǒng)組件。在一個實施例中,移動、可穿戴、植入、消費和其他生理集成計算機采用日益復(fù)雜和變化的傳感器、數(shù)據(jù)輸入方法、數(shù)據(jù)存取方法和捕捉、訪問和解釋能用作大腦的感官輸入并且影響認知活動的越來越多數(shù)據(jù)的處理能力。數(shù)據(jù)包括生理數(shù)據(jù)1815和環(huán)境數(shù)據(jù)1810。能使用數(shù)據(jù)來更好地建立用戶的偏好以用于集成、管理和將信息傳送到頭戴單元。
圖13-15描繪用于將HMD連接到另一設(shè)備或互聯(lián)網(wǎng)的三種不同系統(tǒng)架構(gòu)。圖13描繪通過本地鏈,諸如藍牙連接到由用戶攜帶的移動設(shè)備710的HMD 600;移動設(shè)備710經(jīng)由鏈路155連接到通常通過700由無線通信公司提供的分組交換網(wǎng)絡(luò)或當今通常稱為分組網(wǎng)絡(luò)也稱為萬維網(wǎng)的網(wǎng)絡(luò);隨后連接到基于web的服務(wù)、數(shù)據(jù)庫或外部應(yīng)用160。
圖14描繪包括嵌入或附接到HMD用于直接連接到互聯(lián)網(wǎng)700和服務(wù)提供者160的無線發(fā)射機750的HMD 600。
圖15描繪包括經(jīng)由鏈路725直接連接到互聯(lián)網(wǎng)的無線收發(fā)器750的HMD 600,其中,本地鏈路通常是分組鏈路,但也能是其他專用的無線協(xié)議。在該配置中,HMD獨立于其他智能設(shè)備,基本上,HMD始終直接連接到互聯(lián)網(wǎng)?,F(xiàn)在,如果用戶想連接智能設(shè)備,或現(xiàn)在HMD連接到用于對那一系統(tǒng)的控制和操作的另一系統(tǒng),用戶將通過藍牙簡檔,簡單地實現(xiàn)本地連接。在家庭音頻的情況下,用戶將需要使用音頻視頻傳輸簡檔、音頻視頻資源控制簡檔或高級音頻分發(fā)簡檔。如果用戶想連接到車輛,他或她將需要實現(xiàn)免提簡檔。需要更簡單和不太復(fù)雜的系統(tǒng),連同連接到這些系統(tǒng)的方法,特別是如果用戶在與他們想控制的系統(tǒng)的本地連接的范圍外時。
為解決該新挑戰(zhàn),圖16描繪在目前稱為“物聯(lián)網(wǎng)”或IoT的基于“抽象”實時服務(wù)器-瀏覽器云架構(gòu)中實現(xiàn)HMD的另一實施例。任何抽象層的關(guān)鍵是從一些設(shè)備或軟件抽離出操作或策略復(fù)雜性的能力,這些可以包括專有方面,包括商業(yè)秘密和知識產(chǎn)權(quán)。該抽象能夠支持技術(shù)供應(yīng)商的擴展的或新的商業(yè)模型。該架構(gòu)的良好示例是NESTTM實驗室商業(yè)模型。該模型能寬泛地稱為“剃刀/剃刀刀片”模型,在這種情況下,NESTTM恒溫器是剃刀,NESTTM服務(wù)是剃刀刀片或簡單地說,企業(yè)模型包括恒溫器的銷售和每月定期服務(wù)。除硬件和服務(wù)的銷售外,該商業(yè)模型支持用戶在他的家中的數(shù)據(jù)采集。在該系統(tǒng)中,為了“學(xué)習”目的,恒溫器離線向中央服務(wù)器提供數(shù)據(jù)。
盡管能夠經(jīng)由互聯(lián)網(wǎng)訪問NESTTM產(chǎn)品,但它們不能直接連接到智能設(shè)備以用于控制和操作家庭加熱系統(tǒng)。圖16描繪經(jīng)由分組網(wǎng)絡(luò)155連接到互聯(lián)網(wǎng)700的HMD 600。為了用戶訪問他或她的家庭恒溫器,用戶需要訪問NESTTM服務(wù)服務(wù)器965上的他們的網(wǎng)頁。然而,已經(jīng)在新的HTML5標準下擴展了web服務(wù)器和瀏覽器的傳統(tǒng)角色??雌饋砭拖穹?wù)器和瀏覽器的角色倒置,Web服務(wù)器現(xiàn)在是智能恒溫器,該服務(wù)器向運行瀏覽器的云中的固定URL僅提供少量數(shù)據(jù)。云中的該瀏覽器能由用戶使用智能設(shè)備或計算機在實際上任何地方訪問,以讀取其恒溫器或與之交互。使用該角色中的Web服務(wù)器現(xiàn)在是IoT的關(guān)鍵和基本概念,大大地降低復(fù)雜性和成本。
現(xiàn)在鑒于IoT重新考慮圖15;訪問家庭娛樂、家庭安全系統(tǒng)、或就此而言用于它們的監(jiān)測、控制和操作的任何家庭儀器(洗衣機、烘干機、冰箱等),將不同地實施。此外,考慮IoT架構(gòu),頭戴設(shè)備600將能夠連接到位于云上的世界上的任何地方的任何消費者、企業(yè)或商用設(shè)備,用戶能經(jīng)由眼睛信號經(jīng)由與所包括的顯示器的眼睛交互,控制那一設(shè)備,所述眼睛信號被定義為將眼睛信號映射到與設(shè)備的通信、診斷、控制和交互的標準命令集合。
該新模型抽離出復(fù)雜性和成本,例如,其中HMD可以不要求藍牙或就此而言分布式智能的模型。不可避免的是不遠的將來將發(fā)生兩件事件:首先,無線帶寬將繼續(xù)隨著即將來臨的千兆服務(wù)而呈指數(shù)增長;第二,IoT架構(gòu)隨著當今繼續(xù)部署,將非??斓夭渴?。所需的是有關(guān)獨立頭戴系統(tǒng)如何在快速演進的生態(tài)系統(tǒng)內(nèi)戰(zhàn)略地演進的方法和系統(tǒng)。圖17-23描繪從智能頭戴系統(tǒng)到圖23描繪的更簡單模型的抽象轉(zhuǎn)變模型。
首先從轉(zhuǎn)變結(jié)束開始,圖23描繪由基于非常高速的分組的鏈路、比得上或可能優(yōu)于本地處理器中的典型通信總線的無線鏈路連接的HMD 600的IoT架構(gòu)內(nèi)的基于云的實施方式。這些處理器總線操作為處理器的子系統(tǒng)來便于在計算機組件之間或計算機之間傳送數(shù)據(jù)。典型的總線類型包括前端總線(FSB),其在CPU和存儲器控制器集線器之間攜載數(shù)據(jù);直接媒體接口(DMI),其是處理器中的集成存儲器控制器和I/O控制器集線器之間的點對點互連;以及快速路徑互連(QPI),其是CPU和集成存儲器控制器之間的點對點互連。在嵌入式計算行業(yè)中已經(jīng)使用其他高速總線來包括用于處理器間通信的SPI。目前未預(yù)期的是在基于云的架構(gòu)和分布式計算中,大部分智能將駐留在所連的設(shè)備以外。HTML 5和JSON是為分布式計算優(yōu)化的標記語言的良好示例。為包括音頻、視頻和可縮放矢量圖,操作系統(tǒng)將演變和操作將可能使用更簡單的“發(fā)布訂閱”訪問來滿足這些新的分布式架構(gòu)。
鑒于上文,以及現(xiàn)在關(guān)于在云上操作的HMD,HMD連接到操作稱為IRIS(用于實時圖像服務(wù)的接口)的視覺消歧服務(wù)(VDS)接口的集中式服務(wù)器-瀏覽器800,該操作的想法非常像對音頻的SIRI(語音解釋和辨識接口)。IRIS服務(wù)用于用戶的意圖的實時解釋、確定和預(yù)測的眼睛運動的復(fù)雜消歧。IRIS如SIRI一樣在云中操作。1126和1127表示上述的IRIS抽象層。HMD現(xiàn)在通過最少量的軟件、處理器操作,該處理器使用發(fā)布/訂閱消息方案,具有更豐富的特征并且配置有有限的操作系統(tǒng)或可能沒有操作系統(tǒng)。
在轉(zhuǎn)變開始時,嵌入式IRIS(e-IRIS)1111包括在FOG中操作的多個工具或?qū)嵱贸绦?,作為組合的實時服務(wù)。這些包括數(shù)據(jù)管理器1125、設(shè)備管理器1120、通信管理器1130、電源管理器1140和安全管理器1135a。在e-IRIS抽象1127中,有對應(yīng)的管理器,稍微不同在于安全管理器1135b,將在下文更詳細論述。
圖23還描繪支持用戶的基于云的版本中集中的眼睛管理工具。這些包括眼睛跟蹤器1100、支持安全性的眼睛數(shù)據(jù)1105、眼睛控制1110、眼睛信號1115和用于眼睛用戶接口的iUi 1116。除這些元件外,其他實時服務(wù)可用并且關(guān)聯(lián)至包括音頻-視頻管理器1150、語音管理器1155、認知負荷管理器1160和場境管理器1165的IRIS。這些服務(wù)和架構(gòu)的組合構(gòu)成IRIS。
現(xiàn)在回到圖17以及初始實施例,HMD 600無線地連接到智能設(shè)備(諸如智能電話、平板、家用或辦公PC)或通過802.11鏈路僅連接到互聯(lián)網(wǎng)。所有服務(wù)在HMD 600處理器中操作或存儲在與HMD 600相關(guān)聯(lián)的存儲器中。該實施例將操作為具有操作系統(tǒng)和微處理器和/或其他邏輯元件的獨立的計算機。在第一實施例的第一轉(zhuǎn)變步驟中,一些非實時應(yīng)用將負荷卸到在本地智能電話710、本地PC或其他智能設(shè)備上運行的應(yīng)用。然而,該第一轉(zhuǎn)變實施例將仍然高度依賴于HMD 600中本地可用的資源來按照預(yù)期操作。
圖18描繪第二轉(zhuǎn)變步驟,其中,數(shù)據(jù)管理器1125承擔新任務(wù)。除管理HMD 600上或外的數(shù)據(jù)外,數(shù)據(jù)管理器被配置為使用標記語言,諸如或JSON(Java腳本對象表示法)、HTML 4.01或5.0,管理HMD600板上或板外的一些數(shù)據(jù)。該轉(zhuǎn)變步驟的目標是實現(xiàn)HMD 600中的Web服務(wù)器-瀏覽器關(guān)系。在這種情況下,成像器、音頻輸入或可用于HMD 600的任何其他傳感器獲取的一些數(shù)據(jù)被提供給云并且由固定URL引導(dǎo)到基于云的IRIS,在該基于云的IRIS中,用戶的瀏覽器頁面駐留并且聚集他/她的數(shù)據(jù)。該第二轉(zhuǎn)變支持非實時數(shù)據(jù)應(yīng)用,例如,HMD 600用于傳送已經(jīng)由用戶采集和存儲的數(shù)據(jù)。例如,用戶可以捕捉與眼睛或用戶的健康有關(guān)的照片、音頻片段、視頻片段或其他用戶生理數(shù)據(jù),這些數(shù)據(jù)然后被轉(zhuǎn)移到IRIS,用于存儲、聚集或可能后續(xù)消歧(在下文更詳細所述)。
圖19、20和21描繪轉(zhuǎn)變中的第三步驟,其中,無線帶寬現(xiàn)在是幾乎實時的。Web服務(wù)器和瀏覽器關(guān)系在操作上與HMD 600中的現(xiàn)在更成熟的e-IRIS 1111和云中的IRIS 800并行存在。它們跨抽象層1126和1127,幾乎實時地相互操作并交互。該新配置現(xiàn)在允許相對于私鑰-公鑰的安全和實施方式的安全管理器1135的演變。駐留在HMD 600中的安全管理器1135承擔如在2015年5月8日提交的“Systems and Methods for Discerning Eye Signals and Continuous Biometric Identification”中所公開的基于某些生物統(tǒng)計學(xué)來生成私鑰和公鑰的任務(wù)。如果需要,從面部、眼睛或語音采集的數(shù)據(jù)構(gòu)成用戶或用戶群組的獨特生物計量數(shù)據(jù)。所采集的這些數(shù)據(jù)可以被用來在公鑰和私鑰密碼的系統(tǒng)中生成獨特私鑰。
作為背景,多年來,密碼系統(tǒng)已經(jīng)廣泛用于信息保護、認證和訪問控制。這些密碼系統(tǒng)通常分類為對稱密鑰密碼系統(tǒng)和公鑰密碼系統(tǒng)。對稱密鑰密碼系統(tǒng)將同一密鑰用于加密和解密保密信息,然而,使用同一密鑰會出問題:1)如果密鑰泄漏,則不能保證安全;以及2)如果有多個用戶,需要多個密鑰,會增加系統(tǒng)成本和數(shù)據(jù)安全性。公鑰密碼系統(tǒng)會通過使用一對密碼密鑰(即私鑰和公鑰),克服這些限制。用于解密的私鑰被保密,而用于加密的公鑰可以分發(fā)給多個用戶。因此,當在實際加密系統(tǒng)中將實現(xiàn)高安全級時,私鑰的保密是主要挑戰(zhàn)。
例如,可能與其他生物計量數(shù)據(jù)結(jié)合的用戶的irisCode被用來建立后續(xù)生成私鑰-公鑰的獨特密鑰。由用戶的獨特生物計量方面生成的公鑰被發(fā)送到IRIS 800,用于存儲在用戶的瀏覽器的安全管理器部分圖22的安全管理器1135b中。永不存儲私鑰,而是每次用戶實例化會話時,在HMD 600中生成私鑰。當用戶戴上HMD 600時,生成私鑰,圖21 1129,并且在IRIS 800中認證。這確保了目前在web應(yīng)用中特別是在電子商務(wù)中不可用的不可否認性和安全性的水平。
圖23描繪在轉(zhuǎn)變到實時HMD 600中的最終步驟。互聯(lián)網(wǎng)現(xiàn)在多產(chǎn)并且以超過處理器總線的速度操作。出于所有意圖和目的,IRIS 800是基于云且實時的。在IRIS 800中收集和聚集數(shù)據(jù)。IRIS 800現(xiàn)在基于有關(guān)人眼的生理以及一般來說用戶的學(xué)習,實施高級算法,簡要地說增強IRIS 800中的消歧。IRIS 800現(xiàn)在能預(yù)測用戶想要看見或做什么的內(nèi)容和地點。用戶的HMD 600為低成本、低功耗并且立即可換的用品。
最終步驟將用于該設(shè)備的所有智能抽象到云700。CBID,現(xiàn)在為基于云700的CBID,基本上是連續(xù)且實時的。由于私鑰的生成對用戶來說是獨特的,這允許任何用戶在任何時刻拿起任何HMD 600并且使用它,簡單地套上它并且他們看到所有他們的個人信息現(xiàn)在駐留的他們的瀏覽器頁面。如果他們的HMD 600被盜,該信息是安全的。如果用戶丟失他們的HMD 600,不用擔心,簡單地借一個,或買一個新的。IRIS 800的CBID或云700方面以新的級別抽象該設(shè)備,其抽象用戶就像HMI和顯示器現(xiàn)在做的一樣。
如以上在NESTTM家庭恒溫模型式中所論述的,僅可通過NESTTM服務(wù)門戶和頁面,訪問恒溫器。在該實施方式中,HMD 600安全地連接到IRIS 800和用戶的頁面。如果用戶想訪問他們的恒溫器,IRIS將他們直接并且安全地連接到NESTTM服務(wù)門戶965。該模型將擴展到XFINITY,如果用戶想訪問他/她的賬戶來設(shè)定記錄或能夠訪問XFINITY服務(wù),IRIS將他們直接與XFINITY門戶970連接。此外,如果用戶想訪問他們的COZYHOME應(yīng)用,再次,在這種情況下,使該鏈路安全地連接到適當?shù)姆?wù)器975。
如上所述,IRIS 800可以鏈接到用戶的社交媒體賬戶,為用戶提供實時訪問。圖25描繪IRIS 800如何安全地將用戶安全連接到他們的Google+賬戶來查看帖子或幾乎實時地粘貼他們想要分享的信息。社交媒體920包括可用于用戶的社交媒體服務(wù)。
現(xiàn)在轉(zhuǎn)到基于實時云的IRIS 800及其擴展能力,對其用戶,基本上連續(xù)地聚集和分析眼睛信號。這使得IRIS 800成為用于與場境化眼睛數(shù)據(jù)(CED)相關(guān)聯(lián)的應(yīng)用和服務(wù)的獨特服務(wù)和開發(fā)平臺。在圖17的e-IRIS 1111以及圖23的IRIS 800二者中,IRIS 800包括場境管理器1165,并且其任務(wù)是生成場境化眼睛數(shù)據(jù)(CED)。CED以從對一只或兩只眼睛的不定期和/或基本上連續(xù)的監(jiān)測提取的眼睛數(shù)據(jù)開始。這些眼睛數(shù)據(jù)包括眼睛運動,諸如掃視、注視、停留、追趕、漂移、震顫和微跳。眼睛數(shù)據(jù)還包括瞇眼和眨眼、斜視、瞳孔擴張、血管圖案、虹膜和瞳孔大小、特征位置、內(nèi)眼結(jié)構(gòu)尺寸、形狀和位置。用于CED的關(guān)鍵方面是使用該數(shù)據(jù)來檢測隨時間的行為變化。
CED是眼睛數(shù)據(jù)與其他類的數(shù)據(jù)隨時間的相互關(guān)聯(lián)來提取關(guān)系以用于對于用戶的有意義預(yù)測、測量、分析、解釋和影響。例如,IRIS 800聚集的三類數(shù)據(jù)是原始數(shù)據(jù)、語義數(shù)據(jù)和誘發(fā)數(shù)據(jù)。
原始數(shù)據(jù)包括由在HMD 600中或在人上或在人中存在的任何傳感器捕捉的數(shù)據(jù)。當今,在體育或健康方面,有許多新的可穿戴的傳感器用途,其中,這些新的系統(tǒng)均具有無線能力。IRIS 800能從個人獲取該原始數(shù)據(jù)并且將它與眼睛數(shù)據(jù)相關(guān)聯(lián)。示例包括但不限于用于捕捉以下的傳感器:運動、GSR(皮膚電反應(yīng))、溫度、心率和心率變異性(HRV)、EOG(眼電圖)、EEG(腦電圖)、EKG(心電圖)、溫度、面部肌肉運動和皮膚運動、內(nèi)部器官或生物系統(tǒng)狀態(tài)和性能、在一定電磁輻射范圍內(nèi)的場景和圖像(可見光、IR、UV和其他電磁頻率)、位置(GPS和其它信標傳感器)、時間監(jiān)測跟蹤,以及更多。
語義數(shù)據(jù)包括用戶做“什么”的“時間、地點和方式”以及用戶與誰一起做的解釋或含義?!白觥蹦苁枪ぷ鳌⒂螒?、吃飯、訓(xùn)練、閱讀和無數(shù)其他活動。通過解釋用戶的活動的場境中的傳感器數(shù)據(jù),構(gòu)造這些數(shù)據(jù)。
從對視覺、觸覺、嗅覺、味覺、音頻、大腦或其他感官、器官的有意識或無意識的個人反應(yīng),或?qū)室獯碳さ纳锓磻?yīng),提取誘發(fā)數(shù)據(jù)。
至今,對與“眼睛跟蹤”相關(guān)聯(lián)的數(shù)據(jù)的捕捉主要利用在有限持續(xù)時間(按分鐘測量)內(nèi)位于面向用戶的眼睛的顯示器前方的昂貴、固定、“遠程”眼睛跟蹤設(shè)備用于特定測試而實現(xiàn);或利用在有限持續(xù)時間內(nèi)在有限人為環(huán)境中放在用戶上的昂貴、專用、可穿戴眼睛跟蹤設(shè)備(有時封裝為眼鏡)用于特定測試而實現(xiàn)。
由于在高紅外(室外)環(huán)境中基本上沒有對環(huán)境IR光的過濾或遮蔽,該技術(shù)不能良好運作,因此主要在室內(nèi)捕捉眼睛跟蹤數(shù)據(jù),這進一步降低眼睛數(shù)據(jù)捕捉的實用性、寬度和數(shù)量。同樣地,由于眼睛跟蹤技術(shù)和設(shè)備的開銷、有限便攜性、受限的形狀因子、高功率要求、高計算要求、有限環(huán)境魯棒性和專用“數(shù)據(jù)捕捉”實用性,限制跨各種“自然”用例的高質(zhì)量、環(huán)境不同的大量數(shù)據(jù)。盡管有關(guān)所捕捉的數(shù)據(jù)的早期研究已經(jīng)示出了對人類健康、認知和行為的透徹理解的希望,但是在短持續(xù)時間內(nèi),已經(jīng)將對這些數(shù)據(jù)的一般捕捉限定到特定測試和環(huán)境。
可以在各種生命活動的范圍中由數(shù)百萬人穿戴第一代集成IRIS的HMD。在公開的轉(zhuǎn)變計劃中,這些數(shù)據(jù)可以首先由IRIS收集作為歷史數(shù)據(jù),然后近實時地收集,最后實時地收集。如果該轉(zhuǎn)變發(fā)生,其能夠按數(shù)量級增加捕捉的眼睛數(shù)據(jù)的數(shù)量、質(zhì)量和情境化。然后,IRIS能夠具有將數(shù)據(jù)與寬范圍的其他個人和聚集數(shù)據(jù)相關(guān)關(guān)聯(lián)的能力,所述其他個人和聚集數(shù)據(jù)諸如個體和群組健康認知和行為。然后,IRIS可以使用該聚集數(shù)據(jù)來提供對與個人健康、認識和行為相互關(guān)聯(lián)的眼睛數(shù)據(jù)的理解作為關(guān)于自量化、自改進和子實現(xiàn)的起始點。
IRIS將支持用于從將揭露和預(yù)測將來行為的大的數(shù)據(jù)集提取模式的應(yīng)用,所述行為諸如適應(yīng)新習慣的可能性、獲得產(chǎn)品的興趣、或贊成新政客的可能性。例如,下文列出將由IRIS場境化的眼睛數(shù)據(jù)提供的測量和預(yù)測的類型,這些包括但不限于:
●測量
○測量瞌睡和疲勞
○測量醫(yī)療條件和趨勢
○測量對藥品、食品或其他食物的反應(yīng);
○測量短、中和長期健康趨勢;
○測量閱讀速度、注意力、興趣、流暢、詞匯、混淆區(qū)域
○測量知識、理解和技能
○測量對刺激的情緒狀態(tài)和反應(yīng)
○測量對人、場所和事物的興趣和情緒反應(yīng)
○測量與人、場所和事物的辨識和熟悉
○測量注意力和認知負荷
○測量特定和一般任務(wù)的性能的改進
○測量IRIS的效率和滿意度
●預(yù)測
○預(yù)測醫(yī)療狀況或疾病的發(fā)作;
○預(yù)測特定健康事件發(fā)生,諸如癲癇發(fā)作或驚恐發(fā)作
○預(yù)測體重增加或減小
○預(yù)測健康的一般改善
○預(yù)測適應(yīng)新行為或壞習慣的可能性
○預(yù)測任務(wù)成功或盡力的可能性
○預(yù)測汽車事故
○預(yù)測運動技能的改進率
○預(yù)測新產(chǎn)品的市場成功
○預(yù)測特定股票或股票市場的升降
○預(yù)測政治結(jié)果、政治穩(wěn)定和政治動亂
○影響使我們成為今天的人類并且將驅(qū)使人性和我們的物種提高和進化的學(xué)習、工作、游戲、理解、社會化、創(chuàng)造力、能量、注意力、態(tài)度、動機和所有的東西
IRIS應(yīng)用和工具通過場境化聚集的眼睛數(shù)據(jù),正面地影響HMD的用戶。IRIS技術(shù)將在許多維度提升用戶的性能并且將提高其人與人的交互以及其人機交互。
這些中的任何一個的關(guān)鍵共同方面是作為實時安全抽象的IRIS的任務(wù)。圖26-28描繪用于安全訪問用戶信息的其他門戶,同樣地,其中共同元件是IRIS 800。此外,在IRIS中存儲的私鑰能與大幅簡化Web上的用戶的交互、用于用戶的口令有關(guān)以包括安全交易。
根據(jù)其他實施例,提供系統(tǒng)和方法以在線購物期間,增強安全性和便利。圖29描繪用戶操作僅在用戶需要將他們的公鑰與賬戶信息鏈接時才需要發(fā)生的設(shè)置過程。為了增加的安全性,負責賬戶的銀行或其他金融機構(gòu)會驗證其他形式的目標(即,預(yù)期)用戶身份并且將鏈接過程作為服務(wù)提供。一旦鏈接,在線購買選擇和交易能由用戶利用他們的HMD以表面上瞬時形式執(zhí)行。
在安全購物的另一實施例中,實時了解設(shè)備穿戴者的身份允許與所選擇和購買的每一物品電子地交換金融詳情。這消除了針對每一交易或交易群組重復(fù)輸入口令、安全問題或賬戶信息的需要。因此,這種瞬時購買系統(tǒng)消除包含在所謂在線購物“車”內(nèi)的過程,因為不再需要為了輸入賬戶信息的目的而聚類物品的需要。僅為了客戶方便,在線購物會話期間購買的物品群組能視為集群或為購買者匯總。
根據(jù)另一實施例,提供系統(tǒng)和方法來增強所謂的“實體店”零售店的安全和流水線購物。在這種情況下,安裝在查看設(shè)備穿戴者的環(huán)境的頭戴設(shè)備上的相機能被用來識別可能有興趣購買的物體。識別能基于通常粘貼到可購買物品上的條碼或快速響應(yīng)(即,Q-R)碼。這種物體識別使用本領(lǐng)域公知的圖像處理方法。
能通過與零售店相關(guān)聯(lián)的處理單元,生成有關(guān)包括推薦的購買價格的物品的信息。然后,可以在附近監(jiān)視器上或在與設(shè)備穿戴者相關(guān)聯(lián)的頭戴顯示器上顯示該信息。如果顧客希望購買給定物品,能由該顧客發(fā)起基于CBID的交易。這些交易在整個商店能重復(fù)地發(fā)生。然后,運送的物品和交易記錄之間的匹配會允許由顧客從商店能可驗證地移走該物品?;贑BID的零售購買消除了對收款臺或收銀機的需要。在許多情況下,在購買過程期間的信息的自動實時顯示還減少了店員幫助潛在顧客的需要。
這些設(shè)備還整合刺激視覺、聽覺、觸覺、嗅覺、味覺(味道的感覺)、平衡感受(平衡感)、直接神經(jīng)學(xué)、間接(無線)神經(jīng)學(xué)(神經(jīng)和突觸腦電波刺激)、化學(xué)、生物活性和多模態(tài)輸入感覺的日益復(fù)雜和變化的數(shù)據(jù)輸出方法。
身體的增加的刺激和信息到大腦的相關(guān)聯(lián)的增強的遞送會以微妙而深刻的方式影響大腦活動。由向大腦的多種形式的輸入的更多、變動和更快遞送產(chǎn)生的認知刺激會正面地影響人體性能。然而,認知超負荷或不適當?shù)拇碳撁娴赜绊懶阅堋p害健康、產(chǎn)生安全危害甚至殺害。
當移動、可穿戴、植入、消費和其他生理集成的計算機激增時,需要管理到身體和大腦的刺激和數(shù)據(jù)流的解決方案。個人已經(jīng)在技術(shù)刺激情形中采用各種形式的認知管理。一些方法是純?nèi)斯さ?,而用于智能、基于軟件的管理的方法開始出現(xiàn)。例如,減少在增加的、高沖擊的認知活動期間的音頻刺激很常見。考慮當在有挑戰(zhàn)性交通中駕駛壓力增加時,或當汽車的駕駛員迷路或嘗試導(dǎo)航時,駕駛員關(guān)掉無線電。轉(zhuǎn)向由無線電的音頻刺激提供的有意識或無意識地收聽的注意力減少對大腦的其他區(qū)域的輸入,諸如視覺處理。同時的多模態(tài),諸如打電話,影響駕駛的視覺任務(wù)。
在較高認知負荷的時段期間減少體力消耗是常見的另一種形式的自我管理。有關(guān)“邊走邊說(WWT)”的研究顯示步態(tài)步速與行人講話時的速率之間的相互關(guān)聯(lián)。通常,已經(jīng)加入要求較高認知的會談的行人通常降低他們的行走步速。
與電子刺激相關(guān)聯(lián)的認知負荷管理的最新形式包括臨時禁用電子郵件、文本和其他在線形式的中斷的應(yīng)用。然而,這些應(yīng)用形式非常簡單。
當累積和分析通常形成活動和偏好的用戶簡檔的歷史場境、性能、生物計量和其他數(shù)據(jù)時,該方法允許用戶定制和優(yōu)先化以隨時間改進。這些還提供用于動態(tài)地管理刺激(推遲、終止、排序、重新設(shè)定優(yōu)先級、步測或更多)的各種方法和技術(shù),支持跨多個人的對于風險可控和性能增強的群組活動的刺激聚集和管理。
另一實施例是如1165的場境感知計算。在移動計算范例中,應(yīng)用發(fā)現(xiàn)和利用諸如用戶位置、一天中的時間、附近用戶和設(shè)備的場境信息、專門支持收集和傳播場境的用戶活動和適用于改變場境的應(yīng)用是有利的。
為了方便,操作描述為各個互連功能塊或不同的軟件模塊。然而,這不是必要的,而是可能存在將這些功能塊或模塊等同地聚集成具有不清楚邊界的單個邏輯設(shè)備、程序或操作的情況。在任一情況下,功能塊和軟件模塊或所述的特征能由它們本身或結(jié)合硬件或軟件中的其他操作實現(xiàn)。
在實施例中,已經(jīng)描述和示出了本發(fā)明的原則,顯而易見的是,在不背離這些原則的情況下,可以在設(shè)置和細節(jié)方面修改本發(fā)明。對權(quán)利要求所作的所有修改和變化落在所附權(quán)利要求的范圍內(nèi)。