本發(fā)明一般涉及用于基本連續(xù)的生物識別(“cbid”)、眼睛跟蹤、以及由個體實時進行的眼睛信號控制的系統(tǒng)和方法。cbid利用基于生物的識別、加密、以及網(wǎng)絡(luò)安全領(lǐng)域內(nèi)的技術(shù);并且在能夠與頭戴式顯示器、遠程顯示器、眼睛跟蹤相機、查看設(shè)備穿戴者的環(huán)境的場景相機、和/或其他可穿戴傳感器相關(guān)聯(lián)的不顯眼的處理器內(nèi)實現(xiàn)。cbid可以解決與以下相關(guān)聯(lián)的安全問題:使用虹膜代碼確定、識別其他生物特征的步驟、以及與成體系系統(tǒng)(“sos”)架構(gòu)內(nèi)的網(wǎng)絡(luò)設(shè)備的安全接口,來嘗試有意歪曲設(shè)備用戶的身份和/或無意的身份盜用。
背景技術(shù):
互聯(lián)網(wǎng)以及計算/通信設(shè)備的廣泛使用已導(dǎo)致電子信息傳播的爆炸式增長。然而,在網(wǎng)絡(luò)安全領(lǐng)域中,對安全信息的接收者的可驗證控制仍是一個重要的問題。此外,信息接收者也能夠成為敏感信息的來源,其中實時了解這樣的來源的身份能夠是重要的安全問題。
這種情境的示例是了解在進行在線購買的過程期間錄入信用卡(或者其他賬戶)信息的個體的身份。目前遠程識別接收者或者安全信息的來源所通常使用的技術(shù)容易受騙。在美國,身份盜用每年大概影響一千五百萬人,其中財務(wù)影響估計有五百億美元。
從互聯(lián)網(wǎng)接收信息的計算機或者電信設(shè)備通常由所謂的ip(即互聯(lián)網(wǎng)協(xié)議)地址和/或通常嵌入中央處理單元(cpu)或固件內(nèi)的識別碼來識別。雖然ip地址和/或嵌入的設(shè)備標識能夠被用來識別接收或發(fā)送信息的裝置,但ip地址無法可驗證地識別設(shè)備的用戶。
嘗試使設(shè)備與個體用戶相關(guān)聯(lián)的方案通常采用密碼、安全問題、和/或歷史記錄(由諸如“trackers”或“cookies”的術(shù)語來指代)。然而,例如,一旦用戶已經(jīng)“登錄”,便能夠容易地繞開這些方案。當設(shè)備丟失或者被盜時,或者如果對設(shè)備的訪問被除預(yù)期的信息接收者以外的某人取得,這能夠變成特別嚴重的問題。此外,存在掩蔽或者隱藏真實身份和/或特定機器的ip的位置和/或嵌入硬件的地址的方案。
嘗試驗證用戶身份的最常見網(wǎng)絡(luò)安全方法采用密碼和/或安全問題。一旦已經(jīng)錄入了密碼和/或回答了安全問題,就有可能切換用戶;從而使安全方案失去作用。此外,存在用來秘密獲取密碼和/或安全問題的答案的若干方法。這些方法包括:在密碼錄入期間攔截按鍵輸入;基于諸如姓氏、地點、寵物、或者簡單的字母數(shù)字序列的要素來“猜測”密碼;在整個互聯(lián)網(wǎng)上傳送分組時解密嵌入其中的信息(在公用的情況下,無線傳輸是特別脆弱的接入點);通過一系列常用的密碼進行自動排序;經(jīng)由嵌入的惡意軟件獲取密碼;冒充需要錄入密碼的合法網(wǎng)站;以及其他形式的所謂“網(wǎng)絡(luò)釣魚”。
用于用戶識別的生物方案作為用來唯一識別個體的基于機器的方法而越來越普遍。生物識別涉及感測個體獨有的身體屬性、基因?qū)傩?、生理屬性、?或行為屬性?;具B續(xù)的、實時的生物識別要求一種迅速、非無侵擾、并且非侵入式的技術(shù)。
作為生物識別技術(shù)的示例,美國專利no.8,432,252描述了一種光學掃描手指以識別個體并且隨后基于指紋識別來啟用或中斷安全通信的設(shè)備。利用基于手指掃描的識別技術(shù)的多項專利已經(jīng)授權(quán)給美國專利no.8,432,252的受讓人。自動面部識別、語音識別、和簽名識別是其他生物認證方法的基礎(chǔ)。然而,這些技術(shù)一般都沒有以不顯眼方式提供基本連續(xù)的用戶識別并且易受使安全特征失效的相對簡單的方法影響。
例如,在多數(shù)情況下,這樣的生物設(shè)備能夠在掃描時肯定地識別個體。然而,隨后有可能使單獨的個體接收安全信息或者使其成為安全信息的來源。即使在掃描時,被用來顯示和/或錄入安全信息的設(shè)備一般也不直接耦合至用于用戶識別的那些設(shè)備。例如,在單獨的個體正在執(zhí)行鍵盤錄入的同時能夠發(fā)生自動面部識別。當潛在利益驅(qū)使已被生物地識別的個體有意隱藏或轉(zhuǎn)變他或她的身份時,迷惑用戶真實身份的這些相對簡單的方法就特別成問題。
信息的接收者可能希望有意偽裝真實身份的實例的示例是在線學業(yè)考試的遠程進行。在此情況下,有可能是考試成績的最終接收者來解決所有安全質(zhì)詢,而不同的個體解決實際的考題。在gre(研究生入學考試)、gmat(經(jīng)企管理研究生入學考試)、lsat(法學院入學考試)、mcat(醫(yī)學院入學考試)、以及其他專業(yè)職業(yè)晉升考試的進行期間的高明的身份交換方案屢見通報。隨著教育以及其他基于信息的服務(wù)提供者越來越多地使用mooc(大型開放式在線課程)、函授學習、以及評價格式,與學業(yè)考試和其他形式的考試的遠程進行相關(guān)聯(lián)的安全問題將變得越來越重要。
目前,虹膜識別被認為是最安全的生物識別技術(shù)之一。虹膜顯示作為表觀遺傳的表型特征的精細結(jié)構(gòu),其由胚胎孕育期間的隨機組分發(fā)育。因此,不同于dna指紋圖譜,即使是基因上完全相同的雙胞胎(占人口的大約1%)也具有完全唯一的虹膜色素和結(jié)構(gòu)。對虹膜的表觀遺傳性質(zhì)的進一步證明是,雖然個體的(基因上完全相同的)左眼與右眼具備相似的結(jié)構(gòu)和顏色,但個體的左眼與右眼的紋理細節(jié)極為不同。
雖然能夠以非侵入式的方式查看虹膜,但是其位于受到良好保護的器官(即眼睛)內(nèi),不同于指紋,該器官通常受到保護以防損傷和磨損。雖然有一些醫(yī)學手術(shù)能夠改變眼睛內(nèi)的精細結(jié)構(gòu)和色素,但虹膜紋理在數(shù)十年間的時期內(nèi)通常都保持非凡的穩(wěn)定(例如不同于面部特征)。
johndaugman在劍橋大學時率先開發(fā)了虹膜識別算法。當今投入使用的大部分商用的虹膜識別系統(tǒng)都利用了daugman算法(例如在美國專利no.5,291,560中所公開的)。市售的虹膜識別系統(tǒng)(例如,irisidsystemsinc.、bi2technologies、irisguardinc.、eyelockcorp.)通常使用手持式設(shè)備或者裝于支座的設(shè)備,并且以虹膜與相機之間從10厘米到數(shù)米的距離下操作。
daugman開發(fā)并應(yīng)用了基于使用實時視頻條件所收集的虹膜圖像的二維gabor小波(即短時fourier變換的特例)系數(shù)。通過將基于笛卡爾坐標的圖像變換成極坐標并且對小區(qū)域應(yīng)用二維gabor濾波器,能夠計算復(fù)雜的點積,其主要反映相位角。對整體光振幅(即圖像亮度、對比度等)不具敏感性有助于忽略視頻錄制條件的變化。
不同區(qū)域的點積的最高有效位組成所謂的虹膜的代碼或者下文的“iriscode(虹膜代碼)”。最初和最常見被實現(xiàn)的iriscode利用來自每個區(qū)域的2位來生成2048位(即256字節(jié))的值,其能夠從數(shù)百萬人當中識別唯一的個體。用于計算iriscode的算法已被編碼為基于cpu的設(shè)備內(nèi)的軟件以及嵌入硬件的固件這兩者。
當今,在170個國家中已有超過六千萬個體注冊了基于虹膜模式的身份證明。印度政府目前正對超過十億個體的其全部人口記錄虹膜掃描以及指紋。利用這些技術(shù)的公司和政府機關(guān)包括ibm、panasonic、lg、sarnoff、倫敦希斯羅(heathrow)機場(以及伯明翰(birmingham)機場、蓋特威克(gatwick)機場和曼徹斯特(manchester)機場)、irisaccess(韓國)、irispass(日本)、canpass(加拿大nexus系統(tǒng))、阿富汗遣返計劃、以及美國國防部的拘留者人口管理計劃。
虹膜具有限定明確的幾何形狀,其僅因控制瞳孔直徑的兩塊拮抗肌(括約肌乳突以及擴張肌乳突)的收縮而變化。這種均勻性和穩(wěn)定性帶來了在普通圖像質(zhì)量并且考慮了頭部傾斜和移動的情況下、前所未有的低達(取決于嚴格性選擇(stringencyselection))109.6分之一(即,約四十億分之一)的誤匹配率的。
技術(shù)實現(xiàn)要素:
雖然通讀說明書以及下面給出的權(quán)利要求書才能對本發(fā)明作出最佳理解,但提供本發(fā)明內(nèi)容以便令讀者悉知本文所述系統(tǒng)和方法的新穎和有用的特征中的某一些。當然,本發(fā)明內(nèi)容并非旨在完整贅述本文所述系統(tǒng)和方法的全部特征,也非旨在以任何方式來限制本申請的具體實施方式后所附的權(quán)利要求的范圍。
根據(jù)一個實施例,提供用于頭戴式設(shè)備的裝置、系統(tǒng)、和方法,其包括:連接至至少一個成像器的至少一個處理器,其中所述成像器中的一個被定向成朝向用戶的眼睛,所述處理器被配置成以如下中的至少一個方式來確定眼睛注視估計:基本連續(xù)、同時、和/或周期性地,或者其中所述成像器檢測眼睛的一個或多個區(qū)別特征;以及確定用戶的生物數(shù)據(jù),其包括用戶的面部特征、語音、或者虹膜數(shù)據(jù),其中,所述生物數(shù)據(jù)被用于對用戶的識別和認證,以用于至少對所述頭戴式設(shè)備、所連接的設(shè)備、無線設(shè)備以及遠程服務(wù)器進行訪問和控制。
根據(jù)另一個實施例,提供了用于對設(shè)備用戶的基本連續(xù)的生物識別(cbid)的裝置、系統(tǒng)和方法。所述裝置可以被基本不顯眼地安裝于頭戴設(shè)備上,該頭戴設(shè)備能夠被嵌入普通眼鏡框內(nèi)或與其附接,或者嵌入所謂的可穿戴計算設(shè)備內(nèi),諸如被稱作googleglass(谷歌眼鏡)
在本公開中,意圖與計算設(shè)備相交互的自主(voluntary)眼睛運動被稱作“眼睛信號”。
此外,生物識別信息(例如iriscode)以及與cbid相關(guān)聯(lián)的全部信息二者都必須被安全地傳送,其中,通信步驟可以包括與頭戴式設(shè)備的無線通信。以在2015年5月9日提交、申請序列號14/708,229的systemsandmethodsforusingeyesignalswithsecuremobilecommunications(用于使用眼睛信號與安全移動通信的系統(tǒng)和方法)中所述的方式,安全地執(zhí)行基于cbid的通信。
根據(jù)第一實施例,提供了可以利用可穿戴設(shè)備來基本連續(xù)、周期性地、和/或按需執(zhí)行虹膜識別的裝置、系統(tǒng)、和方法。
根據(jù)另一個實施例,提供了可以查實穿戴所述頭戴式設(shè)備的用戶的真實身份的裝置、系統(tǒng)和方法。
根據(jù)另一個實施例,提供了可以經(jīng)由行為生物特征而查實用戶的真實身份的裝置、系統(tǒng)、和方法。
根據(jù)另一個實施例,提供了裝置、系統(tǒng)、和方法,其為用戶提供容易、簡單、和/或直觀的方法和系統(tǒng)以供無需令牌的安全,其中,令牌包括密碼和物理設(shè)備中的至少一個,其中物理設(shè)備包括信用卡、密鑰串(keyfob)、或者其他物理令牌。
根據(jù)另一個實施例,提供僅當存在已驗證的所述設(shè)備穿戴者的生物識別時才允許執(zhí)行眼睛信號的裝置、系統(tǒng)、和方法。
根據(jù)另一個實施例,提供可以防止用戶身份欺詐和身份盜用的裝置、系統(tǒng)、和方法。
根據(jù)另一個實施例,提供使用過濾器的裝置、系統(tǒng)、和方法,所述過濾器建立多個級別的設(shè)備安全以用于以下中的至少一個:單個用戶、多個用戶,以及所述可穿戴設(shè)備的所有用戶的無限次訪問。
根據(jù)另一個實施例,提供了裝置、系統(tǒng)和方法,其使用所述頭戴式設(shè)備來出于以下目的中的至少一個來認證用戶:教育、法律、許可、以及服務(wù)交付。
根據(jù)另一個實施例,提供了裝置、系統(tǒng)和方法,其使用所述頭戴式設(shè)備來認證用戶以用于準許對以下中的至少一個的訪問:安全房、限制區(qū)、機動車、飛機、以及海運船舶。
根據(jù)另一個實施例,提供了裝置、系統(tǒng)和方法,其中由設(shè)備穿戴者查看和感知的真實和虛擬對象二者的圖像能夠被存儲或標記作為個人增強存儲器(pam)形式以供未來參考。
根據(jù)另一個實施例,提供使用所述頭戴式設(shè)備來可驗證地注釋文檔或數(shù)據(jù)的來源的裝置、系統(tǒng)和方法。
根據(jù)另一個實施例,提供了裝置、系統(tǒng)和方法,其使用所述頭戴式設(shè)備來可驗證地注釋已由所識別的個體檢查或處理的文檔或數(shù)據(jù)。
根據(jù)另一個實施例,提供了裝置、系統(tǒng)和方法,其使用所述頭戴式設(shè)備來可驗證地注釋真實或虛擬的對象已由所識別的個體檢查或處理。
根據(jù)另一個實施例,提供了裝置、系統(tǒng)和方法,其使用所述頭戴式設(shè)備來可驗證地注釋已由所識別的個體生成、修改、或者審閱的書寫、簽名、或者其他手寫信息。
根據(jù)另一個實施例,提供使用所述頭戴式設(shè)備來可驗證地注釋所識別的個體已說出或者聽到聽覺信息的裝置、系統(tǒng)和方法。
根據(jù)另一個實施例,提供使用所述頭戴式設(shè)備來可驗證地注釋所識別的個體已執(zhí)行活動的裝置、系統(tǒng)和方法,所述活動包括:注視對象以及可由所述頭戴式設(shè)備辨別的一些物理動作。
根據(jù)另一個實施例,提供將所述頭戴式設(shè)備用于以下目的的裝置、系統(tǒng)和方法:可驗證地監(jiān)視、限制、控制、或者影響所識別的個體的活動、行為、表現(xiàn)、或者生物特征,所述所識別的個體已被監(jiān)禁、假釋、緩刑、受禁令限制、或者以其他方式受到法院強制的行為的約束。
根據(jù)另一個實施例,提供將所述頭戴式設(shè)備用于以下目的的裝置、系統(tǒng)和方法:在某一時間點或者時間段內(nèi)可驗證地評估疑似受酒精、藥物、或者其他物質(zhì)影響的個體的中毒表現(xiàn)或狀態(tài)。
根據(jù)另一個實施例,提供裝置、系統(tǒng)和方法,其使用所述頭戴式設(shè)備來可驗證地注釋所識別的個體的生物反應(yīng)或者其他度量,所述個體參加了受監(jiān)督醫(yī)療活動以供藥物或其他處方的測試、治療或者研究。
根據(jù)另一個實施例,提供了為認證購買的目的來使用所述頭戴式設(shè)備的裝置、系統(tǒng)和方法,其中,經(jīng)認證購買是為了在線購買安全以及離線購買安全,其中離線包括在零售店或者想要購買對象的任何地點。
根據(jù)另一個實施例,提供使用所述頭戴式設(shè)備以允許由所識別的個體查看數(shù)據(jù)并且不允許其他個體查看數(shù)據(jù)的裝置、系統(tǒng)和方法。
根據(jù)另一個實施例,提供使用包括向外地定向的、連接至所述處理器的第二成像器的頭戴式設(shè)備的裝置、系統(tǒng)和方法,其中,所述第二成像器檢測能夠由所述處理器解碼的代碼,其中,所述代碼是條形碼以及qr碼中的一個,并且其中,所述處理器解碼的數(shù)據(jù)表示關(guān)于產(chǎn)品的信息。
根據(jù)另一個實施例,提供使用包括向外定向的、連接至所述處理器的第二成像器的頭戴式設(shè)備的裝置、系統(tǒng)和方法,其中,所述第二成像器檢測能夠由所述處理器使用圖像識別來識別的對象,并且其中,所述處理器表示關(guān)于產(chǎn)品的信息。
根據(jù)另一個實施例,提供使用與產(chǎn)品相關(guān)的信息以允許已認證的用戶安全地購買所述產(chǎn)品的裝置、系統(tǒng)和方法。
根據(jù)另一個實施例,提供了裝置、系統(tǒng)和方法,其中,在監(jiān)視器的實際正被所識別的設(shè)備穿戴者查看的區(qū)域中的信息能夠(實時)以高空間分辨率來顯示和/或以高時間頻率來更新,同時周圍區(qū)域(即,不被設(shè)備穿戴者查看的區(qū)域)以較低空間分辨率來顯示和/或以較低頻率來更新。
根據(jù)另一個實施例,提供了裝置、系統(tǒng)和方法,其中,當在監(jiān)視器的實際正被所識別的設(shè)備穿戴者查看的區(qū)域中的信息(實時)以比外圍區(qū)域(即設(shè)備穿戴者沒有在查看的區(qū)域)——所述外圍區(qū)域以較低空間分辨率來顯示和/或以較低頻率來更新——更高空間分辨率來顯示和/或更高時間頻率來更新時,在較低空間分辨率區(qū)域內(nèi)的指定區(qū)域或者指定對象可以以比較低空間分辨率區(qū)域更高的空間分辨率來顯示和/或以更高的頻率來更新。例如,在高分辨率的中央凹(foveated)的渲染期間,在對中央凹區(qū)域的外面渲染時,諸如眼睛的面部特征可以以較高的分辨率來呈現(xiàn)。
根據(jù)另一個實施例,提供允許實體通過互相注視而發(fā)起與另一個實體的安全通信信道的裝置、系統(tǒng)和方法,其中,所述通信信道的安全性可以在通信之前建立,并且可以在通信期間持續(xù)或有間隔地重新確認。
根據(jù)另一個實施例,提供裝置、系統(tǒng)、和方法,其啟用安全協(xié)議以用于在各方之間協(xié)調(diào)來使得發(fā)生動作,其中每一方都執(zhí)行一些動作,在此期間利用cbid來連續(xù)驗證它們的身份。
根據(jù)另一個實施例,提供了系統(tǒng)和方法,其基于互相注視來警示個體關(guān)于一個或多個已識別的個體想要交換信息。
根據(jù)另一個實施例,提供了裝置、系統(tǒng)和方法,其啟用維護暫時與場景相機數(shù)據(jù)和/或音頻數(shù)據(jù)耦合的注視數(shù)據(jù)的隱私的安全裝置。
下面在附圖和示例性實施例的具體描述中描述本文所呈現(xiàn)的系統(tǒng)和方法的方面和應(yīng)用。
附圖說明
在結(jié)合以下例示性附圖來考慮時,本發(fā)明可以通過參照具體實施方式來更加全面地理解。在附圖中,各圖中相似的附圖標記指代相似的元素或動作。在附圖中,圖示出本發(fā)明的示例性實施例,其中:
圖1是用于識別設(shè)備的穿戴者的系統(tǒng)的示例性實施例的基本元素的方案。
圖2圖示了用于確定設(shè)備穿戴者的身份的示例性步驟。
圖3是示出用于基本連續(xù)地取得設(shè)備穿戴者的識別狀態(tài)的示例性邏輯的流程圖。
圖4是用于基于設(shè)備穿戴者的身份來控制查看和生成安全信息的電路的示例性實施例的示意圖。
圖5是圖示指向單個虹膜的多個照明源和多個相機的示例性位置的透視圖。
圖6描繪了多相機成像系統(tǒng)的示例性實施例。
圖7描繪了與網(wǎng)絡(luò)通信的頭戴設(shè)備的一個實施例。
圖8是執(zhí)行在線安全購買所采取的示例性步驟的流程圖。
圖9a和9b演示頭戴式顯示器的并入,其中圖9b圖示了視線遮蔽物的放置,其阻止除設(shè)備穿戴者以外的任何人查看顯示的內(nèi)容。
具體實施方式
在下文的描述中,出于解釋目的,闡明了若干具體細節(jié)以便全面理解示例性實施例的各個方面。然而,本領(lǐng)域技術(shù)人員將理解的是,本文的裝置、系統(tǒng)、和方法可以在不具備這些具體細節(jié)的情況下實踐。應(yīng)理解的是,在不脫離本文的裝置、系統(tǒng)、和方法的范圍的情況下,可以利用其他實施例并且可以作出結(jié)構(gòu)上和功能上的變化。在其他實例下,更加一般地示出或討論已知的結(jié)構(gòu)和設(shè)備,以便避免模糊示例性實施例。在許多情況下,對操作的描述足以使得本領(lǐng)域技術(shù)人員能夠?qū)崿F(xiàn)各個形式,特別是在軟件中實現(xiàn)操作的時候。應(yīng)指出的是,存在許多所公開的實施例可能適用的不同和替選的配置、設(shè)備、和技術(shù)。所述實施例的全部范圍不限于下文所述的示例。
在所圖示實施例的下列示例中,將參照形成其一部分并且通過圖示各個實施例來示出的附圖。
虹膜識別系統(tǒng)
最新的虹膜識別系統(tǒng)在虹膜與相機之間的距離在十厘米到二十厘米的范圍內(nèi)操作(其中研究工作以高達三至十米的距離為目標)。本文的系統(tǒng)可以在與不顯眼的頭戴設(shè)備相關(guān)聯(lián)的約二十至三十毫米(20-30mm)的相對短的距離內(nèi)基本連續(xù)地執(zhí)行虹膜識別。
在這樣短的距離內(nèi),在存在充足照明的情況下,一般的圖像分辨率能夠等于或者甚至超過在由當今商用虹膜識別設(shè)備使用的距離內(nèi)所記錄的圖像質(zhì)量。然而,附接至虹膜跟蹤微型相機的微透鏡和/或其他光學器件可能生成包括嚴重偏斜的空間像差??臻g像差能夠使虹膜以及眼睛區(qū)域中的其他結(jié)構(gòu)的圖像失真。
空間像差能夠通過使用短焦距平臺來被計入虹膜識別算法內(nèi),以計算“目標”(即被確認為屬于預(yù)期的接收者)以及設(shè)備用戶二者的認證iriscode(虹膜代碼)。這就在對其進行比較時保持了iriscode間的一致性程度。
虹膜識別也取決于獲得大致在軸上的虹膜圖像的能力(即,與眼鏡表面垂直并且以虹膜和/或瞳孔為中心來查看)。當以銳角(即離軸)來查看時,虹膜的特征能夠變得失真,導(dǎo)致信息缺失。這在相機的放置既要不顯眼并且又要位于與眼睛極為接近的頭戴設(shè)備內(nèi)時尤其成問題。在眼鏡正常運動期間,虹膜能夠相對于不顯眼的相機的視角移動離開軸線,導(dǎo)致生成能夠與對目標iriscode的高嚴格性(high-stringency)可比的能力有所損失。
在用于處理這種狀況的示例性實施例中,所述系統(tǒng)可以在能夠以軸上模式查看虹膜時使用高嚴格性虹膜識別,同時耦合在虹膜相對于由相機所查看的方向離軸指向時使用較低的嚴格性的虹膜識別和/或?qū)ρ劬^(qū)域中的其他結(jié)構(gòu)的特征識別。下面更全面地描述離軸期間所跟蹤的特征,而能夠包括鞏膜的形狀、鞏膜內(nèi)血管的模式和位置、眼瞼的形狀、和/或睫毛的位置。不同于虹膜,這些特征在一生之中可能發(fā)生變化。然而,這樣的特征在穿戴所述設(shè)備的單個會話的時間過程中不會發(fā)生顯著變化。
因此,在正常操作期間,用戶可以在最初穿戴所述設(shè)備后并且此后至少定期地直接看向相機以注冊高嚴格性iriscode。取決于所需的安全級別,gabor系數(shù)的精度和數(shù)目以及對差別或hamming距離的度量(即,等長的0s與1s的兩個向量之間的差異的度量)能夠被調(diào)整到大范圍的嚴格性。在使用高嚴格性iriscode注冊之間的時間中,對眼睛區(qū)域中和其周圍的特征進行跟蹤以確保基本連續(xù)的用戶身份。類似地,取決于所需的安全級別,能夠調(diào)整所記錄的眼睛周圍特征的圖像與在設(shè)備穿戴者的身份已知時的圖像相比較的匹配程度的閾值。
與例如在個體進入國家時用于識別(或者排除)該個體的市售系統(tǒng)相比,本系統(tǒng)可以解決以下問題:在任何給定的時刻,穿戴頭戴設(shè)備的個體的虹膜的特性是否匹配基于gabor系數(shù)的、對單個(即目標)個體的虹膜的描述?在技術(shù)上,這比在可能包含數(shù)百萬計虹膜模式的數(shù)據(jù)庫內(nèi)提供虹膜圖像的匹配或者不產(chǎn)生匹配挑戰(zhàn)性大大降低。
所述cbid系統(tǒng)能夠在包括頭戴式顯示器、眼睛跟蹤、和/或查看設(shè)備穿戴者的環(huán)境的一個或多個場景相機的頭戴設(shè)備內(nèi)實現(xiàn)。場景相機可以包括捕獲“場景”信息的傳感器,所述場景信息難以由穿戴者以其他方式察覺——諸如rf或ir波長處的能量。所述頭戴設(shè)備還能夠包括其他傳感器,諸如:麥克風、加速計、觸控板、環(huán)境光檢測器、皮膚電傳感器、溫度計、脈搏血氧計、腦電圖儀(eeg)、肌電圖儀(emg)、心電圖儀(ekg)以及心率變異性(hrv)感測本地頭戴設(shè)備定位系統(tǒng)、全球定位系統(tǒng)(gps)、和/或用于測量頭戴式設(shè)備的結(jié)構(gòu)完整性和/或效能的電子組件?;具B續(xù)地從這樣的可穿戴傳感器中所獲取的數(shù)據(jù)能夠利用用戶識別碼來標記,以確保信息來源的肯定識別(positiveidentification)。
連續(xù)生物識別(cbid)
圖1示出cbid系統(tǒng)100的元件的示例性實施例,該系統(tǒng)包括虹膜照明源130、135、和140、被定向以查看虹膜115和/或眼睛的其他特征的相機125、以及處理單元165。在解剖學上,虹膜115圍繞瞳孔145并且本身被包含血管和其他可識別記號的鞏膜150或者眼睛的眼白區(qū)域圍繞。周期性地,眼瞼105、110在眨眼期間或者自主(voluntary)閉眼期間妨礙查看虹膜115以及鞏膜150。
處理單元165能夠生成iriscode和/或眼睛的圖像并且經(jīng)由通信鏈路155將其傳送至遠程處理單元160,該遠程處理單元是(或者在功能上耦合至)安全信息的來源和/或接收者。經(jīng)由通信鏈路155在安裝在頭戴式設(shè)備600(圖5)上的處理單元165與遠程處理單元160之間的傳輸能夠被加密并且能夠采用有線與無線傳輸155方法二者的組合。取決于基本連續(xù)的肯定識別存在或不存在,遠程處理單元160能夠采取步驟以允許或者隱藏對安全信息的處理和/或傳輸。
照明源130、135、和140能夠是紅外或近紅外的發(fā)光二極管(led)或者有機led(oled)。基于在相機125的視場內(nèi)感測的目標亮度水平,能夠控制照明源130、135、和140的光照強度,如美國專利8,890,946所述。
微型相機125能夠包含基于電荷耦合器件(ccd)或者互補金屬氧化物半導(dǎo)體(cmos)的對電磁輻射的感測,下文稱作成像器。微透鏡120使來自眼睛區(qū)域的電磁輻射聚焦到相機125的感測區(qū)上。
處理單元165能夠是現(xiàn)場可編程門陣列(fpga)、微計算機、微控制器、專用集成電路(asic)或者其他計算設(shè)備。處理單元165能夠是單個設(shè)備或者處理功能能夠由單獨的物理設(shè)備的組合來執(zhí)行。
圖2示出識別設(shè)備用戶的步驟的示例性實施例。使用本領(lǐng)域公知的所謂“幀抓取(framegrabbing)”技術(shù),將包括虹膜115的區(qū)域的圖像200數(shù)字化(過程205)?;跀?shù)字化圖像200內(nèi)的最大暗區(qū)域的位置和/或識別瞳孔145與虹膜115之間的邊界250的數(shù)學表示的中心,確定瞳孔145的中心(過程210)。基于瞳孔145的暗區(qū)域與虹膜115的有大理石紋理的較亮區(qū)域之間的過渡,能夠確定虹膜的內(nèi)緣250(過程215)?;诤缒?15的有大理石紋理或有結(jié)構(gòu)的區(qū)域與鞏膜150的眼白區(qū)域之間的過渡連同虹膜115形狀近似環(huán)形的解剖學知識,確定虹膜的外緣(即異色邊緣)245(過程215)。當在瞳孔145的中心處從不垂直于眼球表面的角度查看時,虹膜115的內(nèi)緣250和外緣245能夠在相機圖像200內(nèi)大體呈橢圓形。因此,針對虹膜內(nèi)緣250和外緣245所跟蹤的大體形狀近似橢圓。iriscode的具體構(gòu)造須慮及與虹膜115的圓形形狀的典型偏差,特別是虹膜與鞏膜245之間的邊界。
然后,對圖像200內(nèi)的位于虹膜115的內(nèi)緣250與外緣245之間的像素應(yīng)用gabor變換計算(過程220)。然后,將gabor變換的系數(shù)組裝成所謂的“iriscode”(過程225),其中,由對虹膜115的每個區(qū)域的gabor變換計算的兩個最高有效位組裝出最常用的2048位iriscode。在一些情況下,虹膜115的區(qū)域可能由于局部眼瞼105、110閉合、陰影240或者睫毛235而被遮蔽。能夠?qū)栏裥詼蕜t與iriscode相關(guān)聯(lián)(過程230),以慮及這樣的缺失或不確定信息。
當已經(jīng)經(jīng)由iriscode來確定設(shè)備穿戴者的身份時,將圍繞虹膜115的區(qū)域的圖像存儲并且注冊為屬于該設(shè)備穿戴者。隨后,能夠使用該圖像作為在眼球轉(zhuǎn)動時無法再計算出iriscode的狀況下的對比基準。虹膜115的圖像能夠因以下而變得模糊:陰影240;受眼瞼105、110或者睫毛235的阻擋;或者因為虹膜115與相機125的中央視場相比足夠離軸。當發(fā)生這些狀況時,使用基準圖像內(nèi)的區(qū)別特征來基本連續(xù)地確定設(shè)備穿戴者的身份。這些特征能夠包括鞏膜150;鞏膜150內(nèi)的血管的位置和模式、眼瞼105、110的形狀;以及睫毛235的位置和形狀以及補充的生物(即生理和解剖學的)度量,如下所述。
圖3是圖示用于確定在給定的時間是否肯定地識別設(shè)備穿戴者的基本連續(xù)的決策過程的流程圖。該決策過程開始于從虹膜跟蹤相機125獲取圖像(過程300)并且嘗試計算iriscode。用于將相機圖像數(shù)字化以及計算iriscode的方法由圖2來更加全面地描述并且在現(xiàn)有技術(shù)中已知,例如,如美國專利no.5,291,560所述。下一步驟(過程305)是對是否已確定可行的iriscode的確定。不可行的iriscode的原因包括:局部閉合的眼瞼、完全閉合的眼瞼(即自主閉合或者無意識眨眼)、遮蔽虹膜115的陰影240、遮蔽近似桿狀區(qū)域的睫毛235、和/或轉(zhuǎn)動得大大遠離相機125的視場中心的虹膜115。
如果能夠計算出可行的iriscode,則將其與預(yù)期或目標設(shè)備用戶的預(yù)定的iriscode相比較(過程310)。取決于所需的設(shè)備用戶安全級別,能夠調(diào)整這種比較的嚴格性。如果存在與穿戴者身份證明的肯定匹配,則將該肯定匹配的時間設(shè)置成從自由運行時鐘335獲取的當前時間(過程315),將眼睛周圍區(qū)域中的特征存儲并且注冊為屬于目標設(shè)備用戶(過程320),并且將肯定識別布爾指示符的狀態(tài)設(shè)置為“真”(過程345)。
如果無法計算出iriscode(過程305),則作出檢查以確定iriscode是否已在延長的時間段內(nèi)不可用(過程325)。如果iriscode最近已經(jīng)被確定,則將眼睛周圍區(qū)域的圖像內(nèi)的特征與在肯定識別的時間所存儲的圖像(過程345)相比較(過程310)。如果存在這些特征的充分匹配,則將肯定識別布爾指示符以其“真”狀態(tài)保存,并且獲取新的圖像。
如果新確定的iriscode不匹配預(yù)期的設(shè)備穿戴者的虹膜代碼(過程325),或者如果在一段時間內(nèi)未計算出iriscode(過程330)并且不存在眼睛周圍特征的充分匹配(過程340),則計算由自由運行時鐘注冊的當前時間(步驟330)與最新近的肯定識別的時間之間的差額。如果確定該差額大于預(yù)定的閾值時間,則將肯定識別布爾指示符的狀態(tài)設(shè)置為“假”(過程340)。
預(yù)定的閾值時間被調(diào)整成允許在短暫間隔內(nèi)無法肯定地識別用戶的值,諸如在“正常”的設(shè)備穿戴者眨眼期間。因此,如本文所使用,“連續(xù)”以及“基本連續(xù)”的確定能夠包括這樣的無法肯定地識別用戶的短暫間隔。一般地,將閾時間設(shè)置成0.1秒(即迅速眨眼的持續(xù)時間)與10秒之間的值,其中后一值最不安全,允許設(shè)備穿戴者在短暫間隔內(nèi)把目光從頭戴設(shè)備移開。典型的閾值是0.3秒。
在獲取新的圖像(過程300)后,重復(fù)整個決策過程,以提供基本連續(xù)的識別。能夠?qū)⒂脩糇R別的狀態(tài)附加至與系統(tǒng)相關(guān)聯(lián)的所有傳輸(過程345)。替選地,能夠?qū)⒑缒?15的圖像傳輸至外部處理單元,并且能夠遠程執(zhí)行用于確定設(shè)備穿戴者是否被肯定地識別的決策過程。
圖4是在經(jīng)由外部設(shè)備來控制顯示710和/或安全信息的傳輸155的應(yīng)用期間的示例性實施例。虹膜的圖像和/或眼睛115的區(qū)域中的特征由相機125被基本連續(xù)地獲取,并且基于這些圖像內(nèi)的匹配程度;基本連續(xù)的設(shè)備穿戴者的識別狀態(tài)由處理單元165確定。設(shè)備穿戴者的識別狀態(tài)經(jīng)由通信鏈路155來被傳輸至外部處理單元。然后,任何數(shù)目的其他處理單元400能夠允許安全信息被顯示710并且由基本連續(xù)授權(quán)的個體查看。
生物識別能夠發(fā)生在一個或多個時間(即會話)期間,或者發(fā)生在需要用戶認證的眼睛信號控制過程之前、期間或之后的時間的任何組合。例如,參加考試的個體可能在考試時間段之前和之后二者都被要求執(zhí)行導(dǎo)致生物認證的眼睛信號命令序列。在線購買可以在進行購買之前(例如,在可能發(fā)生對交易總費用的預(yù)授權(quán)步驟的時間內(nèi))以及與導(dǎo)致購買的眼睛信號序列的同時要求認證。使用眼睛信號控制以及可能的其他控制對安全的法律文檔的閱讀可以要求重復(fù)的生物識別,其與閱讀過程期間所使用的全部眼睛信號同步。
補充的生物測量
另一個示例性實施例涉及使用解剖學和生理學特征來進一步基本連續(xù)地監(jiān)視個體的身份和功能狀態(tài)二者。為了準確跟蹤眼睛信號,眼睛的解剖學特征的形狀、尺寸、和/或相對空間位置必須對頭戴式設(shè)備已知。因此,在正常操作期間,這些特征通常對設(shè)備可用,因為它們形成被用于產(chǎn)生準確的眼睛跟蹤的校準系數(shù)中的許多的根本基礎(chǔ)。同時,它們也能夠被用于(基本連續(xù)地)驗證設(shè)備穿戴者的身份。這在以下時間段期間尤其有用:當虹膜代碼不連續(xù)可用時——諸如在眨眼期間、當虹膜被眼睫毛或者其他結(jié)構(gòu)遮蔽時、和/或當虹膜遠離查看一個或兩個眼睛的相機來指向時。能夠作為用戶身份的組成部分的這樣的解剖學特征的示例包括:
·角膜曲率半徑(包括二階參數(shù),因為形狀能夠是橢圓形)
·瞳孔深度
·眼球半徑
·異色邊緣半徑
·光軸與視軸之間的偏移
·人工晶狀體參數(shù)(在美國每年執(zhí)行270萬例白內(nèi)障手術(shù)以將天生的晶狀體替換為人工晶狀體)
·各種病狀,諸如結(jié)膜黃斑(眼睛的眼白(鞏膜)部分的結(jié)膜發(fā)黃凸起增厚)、翼狀胬肉(楔形增生)、斜視(內(nèi)斜眼)、弱視(弱視眼)
·眼睛上的大體眼瞼位置
·睫毛的粗度、密度、顏色、覆蓋范圍、長度
·眼裂的形狀和度量
·取決于相機的視場(fov)的,眉毛的毛發(fā)、結(jié)構(gòu)、位置、顏色
·取決于相機的fov的、眼瞼和周圍組織的皮膚組成
存在其他解剖學因素——諸如鼻部的大小和形狀(通常影響設(shè)備如何擱置在頭部上,并且由此影響相機和照明源相對于眼睛的位置),所述因素對于用戶識別目的不太有用。然而,對相機與眼睛的特征之間的距離的測量(再一次,很大程度上受設(shè)備如何擱置在鼻部上的影響)能夠被用于確定設(shè)備是否例如已經(jīng)從頭部去除。如果設(shè)備從頭部去除,則能夠設(shè)置指示,其阻止設(shè)備進行高安全性的動作或者交易,直至設(shè)備被重新置于頭上并且執(zhí)行高嚴格性(例如匹配的iriscode)的識別過程。
由設(shè)備測量的生理反應(yīng)也能夠是個體的標識或者“簽名”內(nèi)的唯一標識符的組成部分。由設(shè)備測量并且由此能夠是用戶身份的組成部分的的生理特征的示例包括:
·響應(yīng)于光線變化(高度依賴于設(shè)備穿戴者的年齡)或者響應(yīng)于特殊刺激(光、情緒反應(yīng)、認知負荷)的、瞳孔收縮或擴張的程度
·響應(yīng)于光的變化的瞳孔收縮或擴張的速率
·在瞳孔收縮或擴張時瞳孔的水平和豎直移位
·自主掃視運動的范圍和速率
·微掃視的范圍、頻率、和速率
·眼睛震顫、漂移和其他眼睛運動的程度、出現(xiàn)、范圍、頻率和模式
·聚散(vergence)的眼睛運動之間的相關(guān)程度(當監(jiān)視雙眼時)
·設(shè)備穿戴者識別和跟蹤新目標的速率
·眨眼行為,諸如發(fā)生的頻率、速率、持續(xù)時間、場境(context)
·用戶執(zhí)行眼睛信號的方式,所述眼睛信號可以作為用于眼睛控制的語法或者交互模型的一部分
·在視覺刺激的場境下的眼睛信號、生物數(shù)據(jù)、以及包括位置、時間、活動、身體或認知狀態(tài)和意圖的其他數(shù)據(jù)
·眼瞼以及周圍皮膚組織的運動,有可能是基于可見的、歸類在“面部動作編碼系統(tǒng)”中的運動、皮膚和肌肉
·與設(shè)備穿戴者的“經(jīng)驗”(對比新手用戶)相關(guān)聯(lián)的各種參數(shù)
該列表中后面的特征,設(shè)備穿戴者的經(jīng)驗可能并不被嚴格分類為“生理”度量。經(jīng)驗在由設(shè)備維護的系數(shù)集群內(nèi)被反映,所述系數(shù)集群主要基于以下來反映用戶的“經(jīng)驗”:設(shè)備穿戴者在設(shè)備上花費的時間、注視(fixation)時間、反應(yīng)時間的歷史、各種數(shù)據(jù)類型的場境化(contextualization)、以及無意選擇的頻率(即隨后校正的選擇)。由設(shè)備使用的這些數(shù)據(jù)的一個示例是:在平穩(wěn)的追蹤眼睛信號期間,調(diào)整所謂“眼睛致動物(eyemover)”的速度(即提示用戶移動他們的眼睛來作出n中選1的選擇的目標)。
用戶經(jīng)驗是在執(zhí)行諸如瀏覽對象或閱讀文本的動作時能夠測量的多個行為特性的示例。這些行為生物特征(behavioralbiometric)或者執(zhí)行活動的“風格”能夠基于諸如過去的經(jīng)驗、熟悉度、興趣等因素。一些行為特性能夠包括解剖學影響和生理影響。打個比方,個體的步態(tài)是這樣的活動的大規(guī)模示例。在眼睛信號的情況下,控制每個眼睛的六塊肌肉的精確附著點以及收縮強度能夠影響眼睛運動的行為生物特征。
如systemsandmethodsforbiomechanically-basedeyesignalsforinteractingwithrealandvirtualobjects(用于與真實對象和虛擬對象相交互的基于生物力學的眼睛信號的系統(tǒng)和方法)中所述,一種用于對眼睛信號進行分類的方法是對已被訓練來辨別個體的眼睛運動特性的神經(jīng)網(wǎng)絡(luò)的應(yīng)用。用戶經(jīng)驗以及特定的運動特征(即,以此類推,個體的“眼步態(tài)(eye-gait)’)能夠被用于識別個體。
這些解剖學特征、生理特征、和/或行為特征的組合對于個體而言是唯一的;雖然在諸如區(qū)分同卵雙胞胎的某些情況下,一些解剖學特征的獨特變化可能對于生物識別的實際使用而言過小。認識到這樣的缺點,正是獨立特征的組合產(chǎn)生了進行區(qū)分的效力。例如,如果對異色邊緣半徑的測量具有分辨力來一致地(即反復(fù)地)將個體歸類到十組中的一組并且在大范圍掃視運動期間所達到的最高速度(可假定不取決于異色邊緣半徑)能夠進一步將個體歸類到十五組中的一組,則識別個體時這兩個獨立度量的組合的效力為10x15=150中選一。獨立且有區(qū)別的特征的乘法性質(zhì)提供了區(qū)分個體的顯著效力。
特別是在虹膜識別不可用的時間期間(例如,當虹膜被眼瞼、睫毛遮蔽或者失焦時),解剖學參數(shù)、生理參數(shù)、和行為參數(shù)能夠被用于保持用戶身份的連續(xù)性。此外,對于許多應(yīng)用,設(shè)備被要求嘗試確定穿戴者的特性是否匹配單個的、經(jīng)識別的個體或者是否是少量已知個體的成員。例如,與在大量個體當中識別可能要阻止其穿戴設(shè)備的人相比,這是簡單得多的分類過程。一個或多個解剖學度量、生理度量、或者行為度量的偏差可以指示已發(fā)生設(shè)備用戶的切換。
這樣的識別特征也能夠與其他安全令牌相結(jié)合,諸如信息令牌(密碼)、物理令牌(密鑰)、產(chǎn)生的令牌(話音、手勢、筆跡)、其他生物令牌(指紋、聲紋)等。
本文的系統(tǒng)和方法的另一個示例性實施例涉及使用虹膜識別來定位和檢索與個體用戶相關(guān)聯(lián)的校準參數(shù)。當未知設(shè)備用戶或新的設(shè)備用戶將設(shè)備置于他/她的頭上時,校準參數(shù)通常是未知的。通過指引用戶看向相機查看其眼睛的大體方向或者使一個或多個相機在正常眼睛運動期間查看虹膜的過程,能夠生成初始iriscode。
多個相機配置
當虹膜的多個部分可能在眼睛正常運動期間被遮蔽時,將已由單個相機在不同時間拍攝和/或使用多個相機從不同方向查看的虹膜圖像的多個部分“拼接在一起”可能是有用的。在圖5和圖6中圖示了使用多個相機來查看眼睛。
替選地,iriscode本身(即在分段過程之后計算的)能夠由不同的虹膜圖像“拼接在一起”。再一次,可以在不同時間或者通過不同的相機或不同的時間和相機角度的組合來拍攝這些圖像。作為此方法的組成部分,能夠?qū)υ诙鄠€圖像內(nèi)成功查看的虹膜部分取平均(在計算iriscode之前或者之后),以便提高可靠性和/或減輕圖像噪聲的影響。
與不顯眼cbid相關(guān)聯(lián)的問題中的一個與以下事實相關(guān)聯(lián):指向眼睛的相機與眼睛的視軸或光軸相比較通?!半x軸”。這導(dǎo)致虹膜的“離軸”視圖。此外,隨著眼球在正常狀態(tài)以及眼睛信號功能期間四處移動,虹膜“離軸”的程度有所變化。如果在用戶正看向給定方向時注冊虹膜模板,則隨著眼睛從注冊虹膜模板的方向轉(zhuǎn)動遠離,將相同虹膜識別為匹配會變得越來越困難。
對于“離軸”問題的一個解決方案是:使用在不同視角觀察眼睛的多個相機。在任何給定時間,能夠從例如基于最圓的(與高度橢圓相比)內(nèi)虹膜邊界和外虹膜邊界來辨別的最靠近處于“軸上”的相機中選擇圖像。最“軸上”的相機可以隨眼睛在正?;顒悠陂g移動而改變。
該問題的另一個解決方案是:存儲在不同的查看方向上收集的個體的多個虹膜模板。因此,作為眼睛跟蹤的結(jié)果,用戶的查看方向是已知的,有可能作出以下操作:(1)存儲多個已知的查看方向上的iriscode,以及(2)隨后將在已知查看方向上、在任何時間所收集的iriscode與在相同或最近的查看方向上所收集和注冊的iriscode相比較。
使用多個相機和/或多個iriscode,能夠降低離軸查看的程度。通過從最靠近處于“軸上”的相機中選擇圖像,能夠獲得虹膜的最直視視圖。注冊已知個體的iriscode以及實時識別個體二者能夠是基于最軸上的相機的圖像,從而提高識別的魯棒性。
類似地,這些方案中的全部還符合在注冊模板或者實時計算iriscode以用于識別之前以數(shù)字方式將虹膜的圖像“旋轉(zhuǎn)”至處于軸上。在許多眼睛跟蹤方案中,必須已知光軸與進行查看的相機的方向之間的角度以便計算注視方向。這提供了應(yīng)用旋轉(zhuǎn)變換的關(guān)鍵系數(shù),使眼睛的圖像看起來好像正沿著與瞳孔(或者異色邊緣)的中心垂直的軸線來對其查看。
使用提供所需的視圖的常規(guī)透鏡或者全息透鏡,能夠收集這些iriscode。通過由一個或多個反射表面反射眼睛的圖像的方式,也能夠收集iriscode。這樣的表面能夠被設(shè)計成單個大型反射面或者多個反射面(即多個微鏡)。這些基于鏡的系統(tǒng)能夠處于常規(guī)反射面的形式或者處于設(shè)計用于使光學系統(tǒng)的物理特性(例如重量、大小)最小化的所謂的自由形式光路內(nèi)。它們也能夠反射所選擇的波長的光(例如所謂的“熱鏡”)以在不阻礙可見波長的光下的視野的情況下促進cbid。自由形式的光學設(shè)計允許將相機沿眼鏡的邊緣來不顯眼地安置,同時保持在其光軸處或附近查看眼睛的能力。替選地,能夠通過一個或多個檢測器(例如光電二極管)來收集眼睛的圖像,其中通過可切換的表面——諸如基于可切換bragg光柵(sbg)的設(shè)備中的那些表面來控制空間選擇和分辨率。
圖5示出示例性系統(tǒng)600,其圖示了多個照明源130、135、140以及多個相機125的放置位置。照明源130、135、140以及相機125二者都指向包含虹膜115連同中心的瞳孔145和周圍的鞏膜150的一個眼睛的區(qū)域。與單個光源400相比,使用多個照明源130、135、140確保在設(shè)備穿戴者的更寬的眼睛運動范圍上良好照亮的虹膜115并且減少生成陰影240的傾向。使用多個相機125加強了在設(shè)備穿戴者的更寬視角范圍上來在軸上對虹膜成像的能力并且減少以更尖的角度來基于相機進行成像所致的虹膜圖像失真。
相機也可以被配置成捕獲眼睛、眼睛特征、眼瞼、睫毛、眉毛、周圍的皮膚、以及面部肌肉的視圖,使得可以將感興趣的區(qū)域作為不連續(xù)的視圖集合、或者作為拼接在一起的相鄰區(qū)域來單獨地、相鄰地查看。多個相機可以由被配置成對相機所查看的區(qū)域進行照明的多個led或照明源支持。對眼睛、瞳孔、特征、眼瞼、眉毛、和皮膚的捕獲能夠被用于測量對來自屏幕上的顯示或者用戶環(huán)境內(nèi)的刺激的情緒反應(yīng)。例如,這可以被用于人際交流、用于研究與注視方向相關(guān)聯(lián)的情緒反應(yīng)、以及用于游戲中基于情緒的交互。通過相機所測量的玩家的注視方向之間的關(guān)系與其他面部信息相耦合能夠被解釋以定義用戶的情緒狀態(tài)。然后,游戲或者娛樂體驗中的演員可以用活動以及遠離或朝向用戶的注視方向來響應(yīng),與用戶的眼睛、面部、頭部、手部、身體、以及生物行為同步,通過所渲染的面部特征、身體、以及眼睛行為交流情感,以激發(fā)可變且動態(tài)的水平的角色/用戶情感參與和交互。這些演員可以是人工智能的角色,或者他們可以是遠程人類角色的化身,并且用戶同樣也可以由遠程化身(avatar)來表示。
在圖5中所圖示的系統(tǒng)600情況下,組件被安裝于一副眼鏡框內(nèi)。僅為了簡明起見,圖5中的透視圖僅示出指向左眼的眼鏡的左半部分。眼鏡框利用鼻部件510和耳柄515來擱置在頭部上。在本示例中,板載的處理單元165位于左邊耳柄515內(nèi)。雖然未在此視圖中示出,但向設(shè)備供應(yīng)便攜式電力的電池組能夠例如被安裝在右邊耳柄中。雖然在此透視圖中未完全看出,但可選地,框上的場景相機能夠被用于查看設(shè)備穿戴者的環(huán)境。雖然在此視圖中未示出,但可選地,向用戶的眼睛呈現(xiàn)單眼或立體影像的一個或多個顯示器也可以被安裝在框中。該框可以包含顯示器,其呈現(xiàn):增強用戶的現(xiàn)實世界的視圖的圖像、離軸或不在用戶的直接視線中呈現(xiàn)的影像、或者創(chuàng)建虛擬現(xiàn)實的沉浸式影像。
在圖6中圖示了多個相機的示例性配置。多個相機2000a至2000f能夠經(jīng)由多個眼睛視圖來規(guī)避障礙物,所述障礙物包括上眼瞼105、下眼瞼110、以及任何發(fā)生遮擋的眼睫毛236。當從不同的角度來查看(即由不同的相機來觀察)時,特定的障礙物(例如圖6中的眼睫毛236)所遮蔽的區(qū)域有所不同。在這些條件下,通過對使用來自不同相機的圖像所收集的圖像信息進行提取或?qū)⑵洹捌唇釉谝黄稹?,能夠重建眼睛的表面的完整表示。具有眼睛的不同視圖的不同相機能夠具有重疊或者不重疊的視場。不同的相機也能夠具有不同的透鏡、濾光器、幀速率、或者分辨率。也能夠存在2d和3d成像相機的混合。一個或多個相機2000a至2000f的任何組合能夠在任何時間被啟用(例如通電和工作)。能夠獲取在一系列采樣條件下所收集的圖像提高了虹膜識別、瞳孔識別、特征識別、以及眼睛信號識別的魯棒性。
使用多個相機也能夠被用于構(gòu)建眼睛的三維視圖。用于查看眼內(nèi)的三維結(jié)構(gòu)的替選方法是空間相控成像。不管用于確定眼內(nèi)結(jié)構(gòu)的形狀、大小、和位置的方法如何,了解其三維形態(tài)能夠提高分辨率、便利性(即降低校準要求)、以及注視跟蹤的魯棒性。
指向雙眼的多個相機(即每只眼睛由多個相機來查看)進一步提高了聚散度測量的準確性。在字面上,聚散度向眼睛信號控制添加了額外的維度。例如,通過使用聚散度,設(shè)備穿戴者能夠指定選擇面板的不同層內(nèi)的圖標。
在寬角范圍上基本同時地查看眼睛的多個相機也能夠被用于觀察周圍特征的運動,包括眼瞼、皮膚、眉毛、乃至面部肌肉部分。這些特征內(nèi)的運動能夠被用于提取其他的用戶狀況,包括情緒狀態(tài)。在示例性實施例中,指示情緒狀態(tài)的其他眼睛測量包括瞳孔擴張、晶狀體形狀、以及心率。在附加的實施例中,通過使用一個或多個相機,有可能通過確定眼睛的脈管系統(tǒng)的圖像內(nèi)——特別是鞏膜內(nèi)的小擴張和收縮的速率來確定用戶的心率。
確定包括情緒狀態(tài)的用戶狀況
也有可能向頭戴設(shè)備添加額外的傳感器以確定設(shè)備用戶狀況以及情緒狀態(tài)?;具B續(xù)監(jiān)測的數(shù)據(jù)的示例包括:脈搏血氧儀、皮膚電阻、eeg、ecg、以及溫度傳感器。
設(shè)備對用戶情緒的了解能夠被用于識別以及調(diào)節(jié)廣泛范圍的應(yīng)用。情緒能夠是對游戲的特別強大的附屬輸入(adjunctiveinput)。例如,游戲?qū)τ脩艨謶只驂毫Φ捻憫?yīng)可以使游戲過程中所涉及的任務(wù)更加簡單。另一方面,多用戶游戲內(nèi)所表達的壓力可以被用于觸發(fā)失敗?!罢鎸崱比说那榫w反映能夠與化身相耦合,其中化身的動作和響應(yīng)受情緒狀態(tài)的影響。
對用戶情緒的了解能夠有價值的另一個領(lǐng)域是在涉及生成合成的面部表情的會議中。與在電話會議期間流送視頻的傳輸相比,構(gòu)建和查看一個或多個合成面部能夠大幅降低了會議地點間所需的帶寬。隨著查看合成面部產(chǎn)生的問題是缺乏適當?shù)拿娌勘砬?。這往往會使查看者中的一部分產(chǎn)生“不舒服”的感覺。對作為會議內(nèi)容來源的個體的情緒狀態(tài)(以及真實身份)的了解允許生成更合適且動態(tài)的合成面部表情。情緒狀態(tài)能夠(視需要)被限制或者廣泛廣播給任何數(shù)目的接收者或者接收者的子集。
在經(jīng)由合成面部或者化身進行的人際交互內(nèi),也能夠有可能將交互分隔(isolate)成一對個體或者小群體,甚至是在其他化身的“虛擬”出席內(nèi)。在游戲以及電話會議應(yīng)用二者中,這都會特別有用。類似于室內(nèi)個體間的現(xiàn)實世界交談,能夠進行同時的多個虛擬交談,包括在例如沒有對現(xiàn)實世界參與者的身份或者地理位置的限制的情況下進行“虛擬目光接觸”。
認知負荷是對許多情緒狀態(tài)的主要貢獻者。在給定的光照條件下,瞳孔直徑高度反映認知負荷。因此,利用能夠例如根據(jù)場景相機圖像中所觀察到的總體強度水平來評估(assess)的已知光照條件,有可能通過觀察瞳孔直徑的變化來基本連續(xù)地評估認知負荷(以及認知負荷的變化)。類似于對情緒狀態(tài)的了解,將認知負荷包括作為輸入廣泛應(yīng)用于游戲、會議、文檔審閱的速度、考題的難度比率和/或水平、廣告效果的評估、包括創(chuàng)傷后應(yīng)激障礙的醫(yī)療評估、基于查看圖像的心理評估等。
將一個或多個場景(即查看用戶的環(huán)境)相機與用于查看眼睛的多個相機耦合來使用為沉浸式環(huán)境提供更大的潛力。例如,在游戲操作中,設(shè)備穿戴者的環(huán)境能夠被投射至化身或者玩家在游戲空間內(nèi)的其他表示的環(huán)境?!艾F(xiàn)實世界”中的頭部運動和/或?qū)ο蟮牟榭茨軌虮晦D(zhuǎn)化成虛擬環(huán)境。現(xiàn)實與虛擬環(huán)境的轉(zhuǎn)化對于三維“洞穴”投影系統(tǒng)內(nèi)的設(shè)備穿戴者而言特別有效,但使用大型顯示屏或者多個顯示屏也能夠獲得類似的效果。
使用多個場景相機來創(chuàng)建“環(huán)境場境”能夠提供提高的用戶滿意度、安全性、效能增強等。例如,有可能在會議期間調(diào)整圖像以實時查看一個或多個所選擇的會議參與者觀察下的位置。了解個體(特別是會議發(fā)言者)關(guān)注的內(nèi)容極其有助于解釋該個體正試圖傳達的內(nèi)容。相反,如果一個或多個聽眾成員顯然沒有對正在呈現(xiàn)的內(nèi)容表現(xiàn)出興趣,則這可能是更改內(nèi)容的線索。
基于cbid的眼睛信號設(shè)備的配置
取決于應(yīng)用,基于cbid的眼睛信號設(shè)備的功能能夠被以大量的配置來布置。處理和/或認證能夠是自給式(self-contained)和/或被遠程執(zhí)行。認證能夠被應(yīng)用于傳出數(shù)據(jù)和/或限制傳入數(shù)據(jù)流。設(shè)備操作能夠被限制到單個人或者人的群組、或者不受限制。設(shè)備操作能夠被進一步限制成僅在某些操作條件下才執(zhí)行任務(wù)。信息的顯示能夠?qū)ΤO(shè)備用戶以外的所有其他人隱藏,或者對所有人可見。認證能夠僅在用戶請求時被應(yīng)用或者自動應(yīng)用于一些或全部數(shù)據(jù)。其他設(shè)備的眼睛信號控制能夠被限制于個體、個體的群組、或者不受限制。
下列表格列出配置類別中的一些以及其中每個的示例。用于描述眼睛信號設(shè)備配置的定義和縮略語為:
ic-iriscode:對眼睛的圖像應(yīng)用模式識別技術(shù)以將虹膜內(nèi)的表觀遺傳模式量化成可比較的位模式以用于生物識別目的。
eic-加密ic:已加密的iriscode,使得其無法被反向工程為虹膜的原始圖像或者任何其他基于虹膜的、所導(dǎo)出的參數(shù)。
teic-目標eic:經(jīng)識別的eic,其中與根據(jù)眼睛圖像所計算出的ic的匹配指示關(guān)聯(lián)性并且由此指示肯定的生物識別。
cbid-連續(xù)的生物識別:能夠在頭戴式設(shè)備上或者遠程地通過將eic或者一個眼睛或雙眼的圖像傳送至遠程處理器來執(zhí)行的生物識別的重復(fù)的過程。cbid能夠以固定速率(例如每秒30次)或者異步速率(例如,每當設(shè)備被移動或者重新安裝時)進行。
uuid-通用唯一標識符:針對包括頭戴式設(shè)備的任何處理設(shè)備的固件編碼的唯一標識符(即數(shù)字代碼)。
gps-全球定位系統(tǒng):基于衛(wèi)星的導(dǎo)航系統(tǒng),其能夠確定在地球表面上或其附近的任何地方的設(shè)備的位置。
表1:cbid設(shè)備配置的類別
以上表格指代eic的傳輸和比較;然而,在一些情況下,在算法上可能將眼睛的圖像轉(zhuǎn)換成ic并且隨后轉(zhuǎn)換成eic。因此,cbid能夠同樣涉及信息的比較和/或交換,其涉及虹膜的圖像、ic、eic、或者其他導(dǎo)出的參數(shù)。類似地,用于生物比較的數(shù)據(jù)庫同樣能夠(出于識別目的)包含ic、eic、眼睛的圖像、面部(包括眼睛)的圖像、虹膜的圖像、眼睛的解剖學特征、所謂的“展開的”(即用極坐標表達的)虹膜圖像、包括鞏膜中的血管、異色邊緣的其他眼睛特征的圖像、或者其他捕獲的或者導(dǎo)出的參數(shù)。因此,對eic的交換或者比較的引用也指代出于生物識別目的而交換或者比較任何其他的導(dǎo)出的數(shù)據(jù)集。
一旦iriscode已被算出,便能夠?qū)⑵溆糜谠谝阎猧riscode和/或補充的生物度量的數(shù)據(jù)庫內(nèi)的搜索。如果找到iriscode(以及其他度量)的匹配,則相關(guān)聯(lián)的校準因子以及其他信息(用戶的姓名、年齡、性別等)能夠被傳送回頭戴式設(shè)備以供在眼睛跟蹤以及其他操作期間的使用。這種搜索能夠在多個不同的平臺配置內(nèi)進行:
·頭戴式設(shè)備本身能夠包含多個(通常少量的)iriscode和校準集,使得例如家庭的任何成員都能夠使用頭戴式設(shè)備。iriscode的生成、搜索和匹配完全在頭戴式設(shè)備上執(zhí)行。
·iriscode或者虹膜圖像能夠被發(fā)送至特定的遠程處理器以用于識別和匹配。該處理器能夠服務(wù)例如住所、公司、學校、劇場、或者地理區(qū)域內(nèi)的一組頭戴式設(shè)備。
·iriscode或者虹膜圖像能夠被發(fā)送至云以用于識別和匹配。對經(jīng)識別的個人數(shù)據(jù)集的基于云的檢索允許與個體相關(guān)聯(lián)的校準和其他數(shù)據(jù)可用于在世界上任何地方、在任何時間使用的任何頭戴式設(shè)備。對校準和其他數(shù)據(jù)的無輔助檢索將在用戶看來是任何可穿戴設(shè)備的“即時開啟”特征。在圖7中示出用于該配置的總數(shù)據(jù)流。
一旦用戶識別已被證實,便還可能將關(guān)于一個設(shè)備形式因素所采集的校準集應(yīng)用于另一個設(shè)備形式因素。例如,如果設(shè)備的設(shè)計被升級并且相機和照明源在頭戴式設(shè)備內(nèi)的位置和/或取向受升級的影響,則舊設(shè)備與升級的設(shè)備之間的已知替換能夠被添加至校準集。這允許用戶在可以具有相同或者不同的形式因素的多個可穿戴設(shè)備間利用單個校準集。
在附加的實施例中,cbid能夠被用于啟用或者禁用《systemsandmethodsforbiomechanically-basedeyesignalsforinteractingwithrealandvirtualobjects》中所述的“眼睛信號”或者眼睛信號控制。全部眼睛信號或者眼睛信號的子集視cbid的存在情況來執(zhí)行。這樣的眼睛信號能夠包括:僅利用設(shè)備穿戴者的一個眼睛或雙眼所作出的那些信號以及與現(xiàn)實世界或者其他虛擬對象進行交互的那些信號。例如,眼睛信號能夠包括由設(shè)備用戶(使用指向外面的場景相機)查看到的設(shè)備穿戴者的手指作出的手勢。僅在cbid條件下,才能夠有效地作出這樣的手勢(即導(dǎo)致動作)。
在進一步的實施例中,支持cbid的動作能夠被限制于一個或多個場景相機的視場內(nèi)存在經(jīng)識別的人或者其他經(jīng)識別的對象的時間。面部識別、對象識別、和/或其他形式的識別能夠被用于驗證設(shè)備穿戴者與包括一個或多個其他的經(jīng)識別個體的這樣的對象的共處于同一位置(co-location)。例如,動作能夠被限制于僅在那些個體在場的情況下才被執(zhí)行。
替選地,一個或多個其他個體的在場和/或同意能夠由個體所穿戴的另一個基于cbid的設(shè)備來執(zhí)行。在此情況下,個體能夠與其他設(shè)備識別的個體被定位為共處同一位置、或者利用在設(shè)備間直接傳送(可選地涉及中間數(shù)據(jù)傳輸設(shè)備)的認證或者經(jīng)由多個集中式的(例如基于云的)認證服務(wù)來遠程地定位。在共處一地的個體的情況下,對認證憑證的傳輸能夠在必要時被進一步限制于近場通信(nfc,即明確排除使用其他數(shù)據(jù)傳送設(shè)備)。
反之,在設(shè)備穿戴者的環(huán)境中未經(jīng)識別的個體的存在和/或明確指定在執(zhí)行動作期間不能在場的一個或多個經(jīng)識別的個體的存在能夠禁止設(shè)備執(zhí)行任何動作或者可能的動作的子集。禁止能夠被擴展成排除環(huán)境中任何對象的存在,包括特定的頭戴式設(shè)備(例如在傳輸期間通過uid來識別的設(shè)備)、相機、麥克風、敵方出現(xiàn)(例如在軍事或者警務(wù)狀況中)等。
類似地,動作的執(zhí)行和/或在設(shè)備穿戴者環(huán)境中對象(包括人)的存在能夠是暫時或永久撤銷基于cbid來執(zhí)行動作的能力和權(quán)限的原因?;趤碜赃h程來源的指令也能夠撤銷,所述指令可以例如確定已經(jīng)執(zhí)行了或者正在執(zhí)行欺詐活動。對憑證的撤銷能夠被限于個體、個體的群組、設(shè)備、特定的能或者功能組。
啟用cbid的安全購買交易
在安全購物的另一個實施例中,實時了解設(shè)備穿戴者的身份允許與所選擇和購買的每個項目電子交換財務(wù)詳情。這就不再需要針對每個交易或者交易組重復(fù)錄入密碼、安全問題、或者賬戶信息。作為結(jié)果,這樣的瞬時采購系統(tǒng)消除了涉及所謂的在線購物“車”的過程,因為不再需要出于錄入賬戶信息的目的來對項目進行群集。只為顧客方便起見,在在線購物會話期間所購買的項目的群組能夠被視為集群或者為購買者進行總結(jié)。
圖8圖示了進行經(jīng)cbid授權(quán)的在線購買的一系列步驟(無需將物品群集到在線“購物車”中)。當待購買的項目已被識別2900時,眼睛信號2910能夠被執(zhí)行以指示購買的期望。一旦待購買的項目被確認2910,便將基于cbid的iriscode2930與屬于經(jīng)授權(quán)購買者的iriscode的數(shù)據(jù)庫2940進行比較2950。如果確定2950匹配(并且足夠的資金、授權(quán)等是可用的),則執(zhí)行2960購買交易。然后,設(shè)備穿戴者能夠繼續(xù)購買其他項目2900并且購買過程能夠重復(fù)任意次數(shù)。
根據(jù)另一個實施例,提供了系統(tǒng)和方法以增強在所謂的“實體”零售商店處的安全性以及簡化的購物。在此情況下,查看設(shè)備穿戴者的環(huán)境的、安裝在頭戴式設(shè)備上的相機能夠被用于識別可能有興趣購買的對象。識別能夠基于通常附加于可購買項目的條形碼或者快速響應(yīng)(即qr)碼。這樣的對象識別使用本領(lǐng)域中公知的圖像處理方法。
包括建議購買價格的關(guān)于項目的信息能夠由與零售商店相關(guān)聯(lián)的處理單元生成。然后,該信息能夠被顯示在附近的監(jiān)視器上或者顯示在與設(shè)備穿戴者相關(guān)聯(lián)的頭戴式顯示器上。如果顧客希望購買給定的項目,則基于cbid的交易能夠由顧客發(fā)起。這樣的交易能夠整個商店中重復(fù)發(fā)生。然后,所搬運的項目與交易記錄之間的匹配會允許項目可驗證地由顧客從商店取走?;赾bid的零售購買消除了對于收銀臺或者交款處的需要。在許多情境下,在購買過程期間自動、實時顯示信息也減少了店員協(xié)助潛在顧客的需要。
cbid方式的具體示例性實施方式是“在過道處購買”,其使用稱為“看以購買”的眼睛信號的方法或過程。在此情況下,購買過程由察看與項目相關(guān)聯(lián)識別符號(例如條形碼、qr碼)或者待購買項目的對象識別、以及執(zhí)行購買激活序列組成。識別符號能夠在物理上被貼附至項目或者其包裝、或者與項目相關(guān)聯(lián)(例如,與容器內(nèi)的散裝項目相關(guān)聯(lián))的標志內(nèi)。購買激活序列可以包括以下步驟的任何組合:
·將識別符號或者對象識別解碼成索引,其能夠被用于從數(shù)據(jù)庫中檢索關(guān)于項目的信息。
·(在hmd或者遠程顯示設(shè)備上)顯示關(guān)于項目的信息,包括價格。
·使用眼睛信號和/或其他交互方式,可選地選擇和供給購買者所需的任何附加信息(例如詳細說明(specification)、類似項目的可用性、保修信息)。
·可選地協(xié)商價格。
·使用眼睛信號序列指示請求購買。
·使用cbid,確保經(jīng)識別的設(shè)備用戶被授權(quán)并且具有足夠的資金來進行購買。
·使用安全的電信,執(zhí)行購買過程。
·供給已經(jīng)進行購買的用戶反饋。
·將項目添加至能夠從商店取走的項目的理貨單或者“虛擬購物車”。
·使用類似的步驟進行額外的購買。
·在物理上將項目從商店取走或者虛擬地“標記”已購項目,使得在某將來時間實際項目或者其等同物能夠被取走和/或遞送。
·不存在任何收銀機,對從商店取走的項目的授權(quán)能夠通過目視檢驗方式或者自動地被驗證(例如使用rfid方法),以確保所有物理項目與虛擬購物車中的那些項目相匹配。
這種通過看來購買的過程具有以下優(yōu)點:
·利用可經(jīng)由在察看項目后顯示來獲得的具體信息,與店員交互的需求能夠大幅降低,從而減少或消除的對于店員的需求。
·因為在中央數(shù)據(jù)庫內(nèi)存儲和訪問購買的信息,所以諸如價格的關(guān)鍵元素能夠被即時地調(diào)節(jié),或者甚至能夠與購買者逐項協(xié)商。
·用于執(zhí)行購買過程的零售基礎(chǔ)設(shè)施(即硬件)為最小限度或者不存在(因為購買者提供主要硬件)。類似地,不需要零售硬件維護或者升級。
·“看以購買”購物需要收銀機或者收銀臺(包括運行它們的職員)。
·因為在購買者在具體查看項目的時候進行購買,所以不會與可能看起來相似或者功能類似的項目混淆。
·因為所有購買的項目都被單獨識別,所以存貨控制能夠完全自動化。
·“看以購買”也能夠與傳統(tǒng)的零售購買方法共存。
“看以購買”的更一般化示例為“worldisyourstore(世界即商店)”。在此情況下,對象識別被用于單純在用戶的環(huán)境內(nèi)查看的供購買的項目。這能夠基于用戶的環(huán)境中使用眼睛信號以及注視跟蹤來具體觀察的對象。作為示例,如果衣服在店面內(nèi)被觀察到或者為另一人所穿著,并且通過使用對象識別,用于購買該衣服的一個或多個在線來源能夠被識別,然后主要基于對現(xiàn)實世界中、標志上描畫的、或者例如在電視廣播期間在顯示器上看到的這樣的所查看的對象的識別,能夠進行即時購買。
“世界即商店”購買會以類似于在線購買的方式進行。主要區(qū)別在于,基于對象識別來作出對待購買對象的詳細說明,可選地,通過查看和注冊貼附至對象的任何識別標記(例如條形碼、qr碼)來對其增強。該詳細說明也能夠可選地受助于與設(shè)備用戶的交互。例如,如果對象的關(guān)鍵部分尚未被觀察到,則用戶能夠查看對象并且與其交互以便更加充分并且唯一地查明對象身份。作為示例,購買衣服可以涉及需要查看最初從正面查看的衣服的背面。用戶能夠被建議經(jīng)由交互過程來查看背面。在用戶視場內(nèi)向用戶呈現(xiàn)文本、圖形信息、方向指引信息、或者疊加的“增強現(xiàn)實”信息的交互式對話能夠促進用戶的決策過程,所述交互式對話以交互方式經(jīng)由眼睛信號提供關(guān)于材料、能力、效能、質(zhì)量、評級、朋友的通常使用、價格、運送時間等信息。對話可以進一步基本連續(xù)或者偶然經(jīng)過用戶認證以驗證用戶身份、阻止跟蹤與特定信息相關(guān)的用戶活動等。購買也可以涉及訪問個人基本信息的數(shù)據(jù)庫,所述個人基本信息與身份或者過往行為、表現(xiàn)、偏好、以及愿望相關(guān),諸如設(shè)備用戶的衣服尺碼。如在線購買期間,對于購買的授權(quán)是基于cbid。對象能夠被遞送至與用戶相關(guān)聯(lián)的地址。
替選地,遞送位置也能夠基于對地點或者個體的自動識別來被指定。例如,遞送能夠發(fā)至與設(shè)備用戶正查看的人相關(guān)聯(lián)的個體的地址。遞送也能夠基于與設(shè)備穿戴者相關(guān)聯(lián)的地點的(例如使用gps)識別或者指定而被指定。地點識別能夠基于對象識別,例如對路標或者建筑物的對象識別。
其他啟用cbid的安全應(yīng)用
根據(jù)另一個實施例,提供控制設(shè)備穿戴者與安全信息來源之間的安全數(shù)據(jù)交換的裝置、系統(tǒng)和方法,使有意義信息不被不受歡迎的接收者獲取。以最高的復(fù)雜度水平來嘗試獲取對所傳送數(shù)據(jù)的訪問權(quán),潛在的攻擊機制將會試圖模仿cbid系統(tǒng)與安全服務(wù)器之間的雙向通信。因此,cbid系統(tǒng)與任何遠程計算機之間的通信被加密。加密密鑰能夠包括指派給每個所制造的頭戴式系統(tǒng)的唯一標識碼、目標iriscode,并且加密密鑰能夠是時間/使用敏感的。如上所述,cbid系統(tǒng)內(nèi)的加密和解密過程也能夠包括很難訪問的硬件元件,進一步提高了所傳送數(shù)據(jù)的安全性。
眼睛信號控制序列使用認證的活動的示例包括:從自動柜員機取款;進行在線購買;需要電子簽名的文檔,其可以可選地利用確認身份的眼睛信號序列來簽署;在任何形式的在線、私人、群組或者其他測試期間遵行(complywith)身份驗證要求;遵行各種形式的職業(yè)的與身份耦合的表現(xiàn)要求,諸如職業(yè)駕駛、飛機船只駕駛(piloting)或者其他運輸業(yè)記錄工作時間(transportationlogginghours);通過對在閱讀中的掃視活動期間對身份進行基本連續(xù)的確認,確認由用戶口頭或者通過閱讀來提供的知情同意的承認;確認對任何具有法律約束力的協(xié)議的承認;在臨床試驗或者其他醫(yī)學研究、治療或者測試計劃的數(shù)據(jù)收集期間遵行身份驗證要求;在要求閱讀、簽到、表現(xiàn)、或者假釋、緩刑或者監(jiān)獄內(nèi)的囚犯或其他形式監(jiān)禁的囚犯的行為的任何法院命令的活動期間遵行身份驗證要求;政府監(jiān)視的雇員、特工、或者被監(jiān)視或測試的軍方成員在執(zhí)行任務(wù)期間遵行身份驗證要求,所述任務(wù)包括:tsa(運輸安全管理局)的訓練或活動、作戰(zhàn)或情報訓練活動、情報訓練或活動、人口普查訓練或活動;在包括用戶使用與捕獲書寫過程相關(guān)聯(lián)的眼睛信號的實例的書寫期間確認身份;在涉及眼睛信號發(fā)起或交互的競賽或者職業(yè)視頻游戲期間確認身份;在個人自我提升計劃期間確認身份,所述個人自我提升計劃包括:減肥、運動訓練、克服恐懼癥、公開演講、戒煙、康復(fù)計劃;在眼睛信號驅(qū)動的捕獲或者信息的記錄期間標記身份,用于后續(xù)經(jīng)個人身份確認的、對信息的訪問;確認身份以參與在與相互注視的實例相關(guān)聯(lián)的信息共享,其中可識別方可驗證地選擇來共享信息。
根據(jù)另一個實施例,提供裝置、系統(tǒng)和方法以更換或者增強基于公共密碼的、對計算設(shè)備的訪問。與密碼和/或安全問題相比,這樣的系統(tǒng)可以提供更強的安全性。這是由于用戶識別的生物性質(zhì)(即對于個體完全唯一)以及完全在自給系統(tǒng)內(nèi)基本連續(xù)地監(jiān)視設(shè)備穿戴者的能力。所述系統(tǒng)被設(shè)計成大約每秒鐘或者以任何期望的頻率基本連續(xù)地反復(fù)驗證設(shè)備穿戴者的身份,可能包括足夠迅速以在掃視、眼睛信號形成期間的微掃視或者其他眼睛活動期間反復(fù)驗證的采樣率,所述其他眼睛活動包括在真實或者虛擬環(huán)境中觀察有生命或者無生命的實體和動作。不像用戶在密碼錄入之后(公然地或者無意地)能夠被替換的傳統(tǒng)密碼錄入,基于cbid的計算機訪問系統(tǒng)能夠在失去肯定的設(shè)備穿戴者識別時立刻停止安全操作。
根據(jù)另一個實施例,提供增強所謂的“數(shù)字”或“電子”簽名的安全性和便利性的裝置、系統(tǒng)和方法。電子簽名使用各種加密技術(shù)來指示:1)消息或文檔的來源是來自已知的發(fā)送者,2)發(fā)送者之后無法否認發(fā)送消息,和/或3)消息在運送中不會改變?;赾bid的數(shù)字簽名的生成提供了可追蹤的方法以將唯一個體驗證為消息的真正來源。數(shù)字簽名的示例包括簡單的生物認證、任何形式的用于產(chǎn)生制品的個體生產(chǎn)性創(chuàng)作——諸如打字、書寫、演講,其中用戶的注視可以集中于生產(chǎn)行為同時具有基本連續(xù)的生物認證。
此外,基本連續(xù)地驗證設(shè)備穿戴者的身份允許生成連續(xù)的一系列可追蹤文檔。如果這樣的電子簽署的文檔被接受為具有法律約束力,則迅速交換法律文檔的能力能夠使得許多專業(yè)服務(wù)提供者能夠安全地在線執(zhí)行他們服務(wù)中的更多服務(wù)。這樣的服務(wù)提供者的示例包括財務(wù)顧問、保險公司、律師、參與基于遠程醫(yī)療的醫(yī)學診斷和處方的醫(yī)生、以及房地產(chǎn)銷售人員。
通信鏈路155能夠包括有線以太網(wǎng)或者無線技術(shù),諸如ieee802.11中所述的通信協(xié)議、藍牙、zigbee、以及移動通信協(xié)議——諸如lte、gsm、cdma、和gprs。常規(guī)地,眾多通信介質(zhì)和協(xié)議可能參與將穿戴者識別狀態(tài)以及其他數(shù)據(jù)傳送至遠程的、安全的處理單元。例如,無線(即ieee802.11)通信可以在頭戴式設(shè)備與本地路由器之間使用,所述本地路由器進而通過所謂的雙絞線系統(tǒng)傳送分組,其進而經(jīng)由光纖電纜向位于一定距離之外的中央接收處理單元(例如服務(wù)器系統(tǒng))傳送數(shù)據(jù)。
一些應(yīng)用要求對設(shè)備穿戴者識別的驗證與安全的(例如加密)的信息向外部處理單元的單向提供相耦合。錄入信用卡或者賬戶信息以進行在線購買是這種模式的示例性應(yīng)用。其他應(yīng)用可以要求只有在存在對設(shè)備穿戴者的肯定識別的時候才接收安全信息。對經(jīng)分類的只讀文檔的顯示是這種模式的示例性應(yīng)用。其他應(yīng)用可以要求在存在設(shè)備穿戴者的肯定識別時在雙向上的安全傳輸。期望對學業(yè)考試所提的問題以及用戶響應(yīng)二者進行保護是后一種模式的示例性應(yīng)用。
作為進一步的實施例,提供了系統(tǒng)和方法以將安全信息的接收者限制為有限數(shù)目的經(jīng)識別個體。例如,可以期望在接收者中的一部分不可能記錄或者存儲文檔的情況下將專有的商務(wù)文檔分發(fā)給經(jīng)識別個體的群組。在此情況下,以加密方式發(fā)送文檔,其中解密密鑰鏈接到嵌入式設(shè)備以及設(shè)備用戶的iriscode和/或特定的頭戴式系統(tǒng)。當存在肯定的cbid時,并且還可選地當個人視線遮蔽物(見下文)處于適當位置時,僅在有限數(shù)目的進行接收的用戶/系統(tǒng)內(nèi)進行文檔解密。
作為另一個實施例,cbid能夠被用于可驗證地將經(jīng)識別個體(或者個體的群組)的活動表現(xiàn)記入文檔。在此情況下,在閱讀和/或查看特定數(shù)據(jù)集時,記錄由指向設(shè)備穿戴者的視場的大體方向的場景相機所捕獲的視頻序列和/或由麥克風錄制的音頻序列。附加至這些數(shù)據(jù)的內(nèi)容是設(shè)備穿戴者的基本連續(xù)的識別以及時間戳。然后,在短暫或者延長的時間段內(nèi)(取決于需要),能夠遠程地或者在頭戴式設(shè)備內(nèi)將序列歸檔為執(zhí)行活動(例如閱讀、查看)或者何人執(zhí)行該動作的事實的文檔證據(jù)。
這樣的實施例的應(yīng)用的示例包括:在諸如處理貴重材料(例如鉆石)的活動期間可驗證地將個體的身份記入文檔、改善裝配線檢驗(例如,是否去除有缺陷產(chǎn)品)、訓練過程(例如駕駛員教育)、醫(yī)療程序(例如手術(shù)期間執(zhí)行的步驟)、災(zāi)難事件(例如卷入車禍的駕駛員身份)、或者完全由適當個體執(zhí)行的所需檢驗(例如由飛行員進行的飛行前飛機檢驗)。
應(yīng)用的其他示例包括:知名人士、職業(yè)運動員、專家級視頻游戲玩家、執(zhí)行突破性手術(shù)的外科醫(yī)生、或者其他專家執(zhí)行動作,其中利用同步場景相機記錄或者虛擬顯示器記錄來捕獲專家注視,同時具有基本連續(xù)或者間隔的認證。然后,所得的“注視投射(gaze-case)”(即,具有以相關(guān)的對象或者區(qū)域上的標線(reticle)或者對其聚焦的形式的用戶的注視的同步覆蓋的外部視頻的記錄)能夠被認證并且可用于向個體出售、批準或者租賃以用于娛樂、技能發(fā)展、或者其他用途。
安全程度
在其他實施例中,本系統(tǒng)和方法能夠適合于范圍廣泛的安全級別,包括需要極端安全性的那些應(yīng)用。例如,在軍事應(yīng)用期間可以采用極端安全級別,以獲取對高價值裝置(例如核儲備)或者秘密行動的訪問。在這樣的極端情況下,本系統(tǒng)必須防范復(fù)雜的欺騙企圖,諸如將虹膜或者提取的眼睛的圖像置于虹膜跟蹤相機的視場內(nèi)。作為抗衡這樣的企圖的措施的示例,能夠監(jiān)視眼睛的生理反應(yīng)。
安全協(xié)議可以要求多個個體作出一些動作或者一系列眼睛信號來解鎖、激活、或以其他方式認證事件。穿戴具有cbid和眼睛跟蹤的hmd的個體將遵循安全協(xié)議,其涉及執(zhí)行已認證的并行、串行、或者相關(guān)的動作以發(fā)起事件。
在這些高安全級別的實施例中,基于安全性的測量能夠被聯(lián)合(amalgamate)為環(huán)境為安全的置信度的單個度量。這樣的綜合安全指數(shù)(csi)能夠被用于評估安全信息是否要被顯示和/或被視為是可靠的。例如,csi的下降能夠?qū)е赂郊拥陌踩珕栴}或者“虛假”信息以進一步測試設(shè)備用戶的響應(yīng)。如果csi繼續(xù)下降,則能夠采取各種附加步驟,其中例如,遠程的、安全的服務(wù)器能夠請求cbid平臺傳送與設(shè)備穿戴者的環(huán)境相關(guān)的視頻和/或音頻。取決于所需的安全級別,對csi作出貢獻的組成部分能夠被選擇成窄或?qū)挼?。csi的組成部分能夠包括以下中的一個或多個:
a.與實時虹膜掃描相關(guān)聯(lián)的識別系數(shù)的匹配程度(包括嚴格性準則);
b.自高嚴格性(即軸上)虹膜識別以來已流失的時間;
c.在離軸查看期間,模式與眼睛周圍區(qū)域相匹配的置信度;
d.眼部生物特征(ocularbiometric),包括虹膜的幾何結(jié)構(gòu)、位置、和運動;
e.設(shè)備穿戴者在與顯示器相關(guān)聯(lián)的方向上看的時間(以及連貫性);
f.眨眼的出現(xiàn)、頻率、和速度(即眼瞼覆蓋虹膜時的短暫時期);
g.確定頭戴式設(shè)備的結(jié)構(gòu)完整性的傳感器的輸出;
h.與設(shè)備穿戴者反饋響應(yīng)相關(guān)聯(lián)的時間流逝與在抬頭顯示器或者附近顯示監(jiān)視器上顯示信息的時間相比較的度量;
i.環(huán)境光照條件的變化,包括對于這樣的變化的瞳孔反應(yīng)是否在正常范圍內(nèi);
j.由頭戴式系統(tǒng)以隨機間隔(通過控制照明)來誘發(fā)瞳孔對光反射的計時;
k.由場景相機所查看的圖像是否大體上符合預(yù)期的環(huán)境(例如,查看顯示監(jiān)視器與要修改頭戴設(shè)備的明顯企圖相比);
l.由麥克風所監(jiān)測的聲音是否大體上符合預(yù)期的環(huán)境;
m.源自安全信息來源并且被顯示在附近監(jiān)視器上的編碼的視頻模式與隨后由場景相機查看的圖像相比較的匹配度;和/或
n.僅為設(shè)備穿戴者所知的識別碼的錄入(并且其可以是時間敏感的)。
使用以上生物特征項f和j的一個示例會是確保面向眼睛的相機確實在查看待認證的用戶的活體眼睛(livingeye),而非作為危害(compromise)cbid系統(tǒng)的企圖的冒名頂替的照片、隱形眼鏡、或者甚至從所有者以手術(shù)方式摘除的眼睛(駭人聽聞)的形式的眼睛復(fù)制品。
在附加的實施例中,在定制的硅(包括專用集成電路——asic)內(nèi)執(zhí)行對眼睛信號確定和認證,所述定制的硅被設(shè)計成通過將識別和認證方法構(gòu)建到硅內(nèi)以作為在系統(tǒng)架構(gòu)的最低層級內(nèi)所保持的邏輯和功能來限制攻擊者。這有助于基于更改設(shè)備的可編程軟件來防止安全攻擊。方法還可用于在該底層系統(tǒng)架構(gòu)內(nèi)加密固件或者硬件編碼的指令。
經(jīng)識別個體作出的“親自”查看
根據(jù)另一個實施例,提供了系統(tǒng)和方法以將安全信息的接收者限制單個的、基本連續(xù)識別的個體,其沒有能力記錄或存儲安全內(nèi)容以供其他任何人查看。例如,在遠程舉行在線考試期間,正在被考查的人員需要能夠閱讀考題。然而,如果存在方法使另一個體或者記錄設(shè)備(例如圖1,相機125)出于意圖向他人揭示考試內(nèi)容而存儲或者轉(zhuǎn)錄題目的目的來查看考題,則會危害日后對他人相同(或者相似)的考試的舉行的廉正。
對于這樣的應(yīng)用,能夠與頭戴式顯示器結(jié)合來實現(xiàn)cbid系統(tǒng)100。一個或多個視線遮蔽物被置于顯示器周圍以將查看顯示器的能力限制在僅設(shè)備穿戴者。這種配置的關(guān)鍵方面在于,在相同的設(shè)備內(nèi)執(zhí)行基本連續(xù)的用戶識別以及安全信息的顯示。只有在建立肯定的cbid的時候才顯示安全內(nèi)容,使另一個體不可能查看該安全內(nèi)容。置于頭戴式顯示器與設(shè)備穿戴者的眼睛之間的光路中的任何對象都中斷cbid。
在附加的實施例中,能夠通過添加傳感器來建立進一步的安全級別,以確保視線遮蔽物處于適當位置并且cbid系統(tǒng)的組件未遭篡改。用以將其實現(xiàn)的一種相對簡單的方法是添加傳導(dǎo)路徑,其串聯(lián)地穿過所述系統(tǒng)的全部結(jié)構(gòu)性和電子元件。篡改或者去除任何系統(tǒng)組件會中斷電連續(xù)性,其進而能夠被系統(tǒng)感測。這樣的危害導(dǎo)致禁用肯定的cbid和/或?qū)ξ:Φ闹甘颈粋魉椭涟踩畔⒎?wù)器。
同樣地,圍繞頭戴式顯示器的視線遮蔽物的結(jié)構(gòu)完整性能夠通過范圍廣泛的電子組件來感測,所述電子組件諸如接觸開關(guān)、按鈕開關(guān)、霍爾效應(yīng)開關(guān)、反射式光電管、和/或電容傳感器。視線遮蔽物能夠被構(gòu)造以供兩用,例如,使得其在非安全應(yīng)用期間不顯眼從而允許頭戴式顯示器以在透過(see-through)模式(即去除了遮蔽物)或者在高度安全性的“個人查看者”模式(即附接了視線遮蔽物)二者下使用。
在用于極端安全性應(yīng)用的另一個實施例中,頭戴式顯示器能夠被制造有持久性處于適當位置的高度防拆改(tamper-resistant)的視線遮蔽物。在極端安全性應(yīng)用的另一個實施例中,頭戴式顯示器能夠包含所添加或集成的電致變色材料層,其不透明度可以被電子地控制。
進一步參照圖7,遠程處理單元160以及被用來顯示信息的設(shè)備400可以是分離的設(shè)備,彼此相距一定距離并且需要安全的(例如加密的)通信鏈路155。替選地,遠程處理單元160以及顯示設(shè)備400能夠被整合到單個封裝中。具有整合的處理和顯示能力的這樣的設(shè)備的示例為膝上型計算機、平板計算機、以及移動電話,其中軟件能夠被編碼以僅在存在肯定的用戶識別時解密安全數(shù)據(jù)。
圖9a和9b圖示了將示例性系統(tǒng)合并入眼鏡設(shè)備500中,該眼鏡設(shè)備包括頭戴式顯示器505(也被稱作各種其他名稱,諸如抬頭顯示器、平視顯示器、hud、視網(wǎng)膜顯示器、虛擬現(xiàn)實眼鏡、增強現(xiàn)實眼鏡、或者智能眼睛)。如圖9a所示,所述系統(tǒng)包括可見或者近紅外光源400,其對虹膜115的區(qū)域進行照明。相機125被用于收集虹膜115的圖像以及眼睛區(qū)域中的特征。顯示器被布置成使得結(jié)構(gòu)光(即構(gòu)成顯示圖像的光)被反射或者投射在視網(wǎng)膜52上。眼鏡設(shè)備包括鼻部件510以及耳柄515,其允許以類似于一副典型眼鏡的方式穿戴所述系統(tǒng)。cbid系統(tǒng)100能夠被合并到眼鏡設(shè)備內(nèi)或者被構(gòu)造為可穿戴計算設(shè)備或者眼鏡設(shè)備的配件。
在圖9a的情況下,顯示器505被布置以使得設(shè)備穿戴者能夠透過所投影的圖像來看以便查看環(huán)境。在圖9b中,視線遮蔽物520已被策略地放置以使得除設(shè)備穿戴者之外沒有個體(或者視頻系統(tǒng))能夠查看可穿戴顯示器505的內(nèi)容。作為結(jié)果,設(shè)備穿戴者無法利用被用于查看顯示器505的相同的眼睛來看到周圍環(huán)境。這種設(shè)置禁止顯示器505的內(nèi)容被轉(zhuǎn)錄或者記錄。開關(guān)525和/或其他感測元件能夠被用于檢測視線遮蔽物520是否處于合適位置和/或是否已存在使視線遮蔽物520的掩蔽功能失效的企圖。
作為前述“機械式”視線遮蔽物的替選方案,另一個示例性實施例利用對抬頭顯示器(或者其他近眼式顯示設(shè)備)在顯示內(nèi)容處(即指向眼睛)與外部環(huán)境之間區(qū)域中的透過性的電子控制。這充當“電子遮光物(electronicshutter)”,控制外部環(huán)境中的任何人或者記錄設(shè)備是否能夠查看顯示的內(nèi)容。對光學透過性或電致變色的電子控制能夠由多個機構(gòu)來實現(xiàn),所述機構(gòu)包括:液晶(即在液晶顯示設(shè)備—lcd中所使用的相同原理)、懸浮顆粒設(shè)備(spd)、納米晶體、以及常被用在所謂的“智能眼鏡”內(nèi)的其他機構(gòu)。
類似于剛描述的可拆卸式機械遮蔽物,控制hud周圍的材料的不透明度禁止除設(shè)備穿戴者外的任何人查看顯示的內(nèi)容(參閱圖9b)。電子控制的主要優(yōu)點是設(shè)備本身控制不透明度的能力,例如,只有在設(shè)備知道正在顯示安全信息的時候才阻擋光透射。當未處于安全模式時,hud能夠以正常的顯示模式操作,在該模式下用戶能夠查看在顯示器“之外”的現(xiàn)實世界環(huán)境。當處于安全(即不透光)模式時,用戶無法查看在顯示器之外的外部世界,并且更重要地,外部環(huán)境中的任何人無法查看顯示的內(nèi)容。當執(zhí)行顯示功能的組件以及執(zhí)行阻擋功能的那些組件被結(jié)合以形成無法在不破壞功能的情況下分離的單個結(jié)構(gòu)時,這種策略能夠特別有效。
作為附加操作模式,光阻擋模式或者不透光模式也能夠被用于使來自外部世界的干擾光最小化,以便加強在hud內(nèi)查看精細的細節(jié)。例如,當具有精細、暗或者低對比度結(jié)構(gòu)的照片被顯示時,設(shè)備穿戴者在來自環(huán)境的干擾光(即所謂的“噪聲”)被阻擋時能夠更好地查看這些結(jié)構(gòu)。對不透明度的電子控制允許自動地(即取決于顯示內(nèi)容)或者在用戶控制下的這種形式的控制。
作為該實施例的進一步改進,也有可能控制hud的特定區(qū)域中的不透明度(與整個顯示區(qū)域相比)。在空間可尋址地控制不透明度的這種情況下,所述設(shè)備有可能僅阻擋特定安全信息周圍的一個或多個區(qū)域。例如,可以阻擋對賬號或者傳統(tǒng)用戶密碼周圍的區(qū)域的外部查看,同時允許用戶繼續(xù)查看除安全區(qū)域之外的區(qū)域內(nèi)的外部世界。對不透明度的可尋址空間控制特別適合于(并且在電子工業(yè)內(nèi)發(fā)展良好的)lcd技術(shù)(無背光照明),其中在lcd投射設(shè)備內(nèi)使用類似的機構(gòu)。
安全個人增強存儲器(pam)
pam是利用眼睛跟蹤作為組件以電子地將介質(zhì)增強成對經(jīng)識別的設(shè)備穿戴者的長期存儲器的系統(tǒng)。對信息的pam存儲和檢索能夠涉及完全可交換的信息模態(tài)(圖像、音頻、視頻、文本、圖標等)。下面是針對pam的三個總體步驟:
1.識別對個體重要的可跟蹤對象,
2.保持對多模態(tài)(multi-modal)的、耦合的數(shù)據(jù)集的動態(tài)、歷史的歸檔,所述數(shù)據(jù)集包括一個或多個經(jīng)識別的可跟蹤對象或者屬性,以及
3.基于任何模式的可跟蹤對象的詳細說明或者屬性,識別和檢索一個或多個數(shù)據(jù)集。
pam中的第一步驟是生成對經(jīng)識別的個體“重要”的可跟蹤對象的記錄。這些可跟蹤對象能夠處于各種模式,包括:圖像、音頻剪輯、視頻剪輯、文本、圖標、標記(例如價格、制造商)、地圖上的基于位置的所標記對象等。轉(zhuǎn)化算法能夠被用于耦合與每個可跟蹤對象相關(guān)聯(lián)的不同存儲模式中的全部。例如,圖像識別能夠被用于識別(例如轉(zhuǎn)換成文本)一個或多個圖像內(nèi)的對象,語音識別能夠被用于將音頻轉(zhuǎn)換成文本,文本轉(zhuǎn)語音能夠被用于將文本轉(zhuǎn)換成音頻,圖標能夠與特定的對象或者對象的群組相關(guān)聯(lián)等。進一步的,由注視指示的感興趣區(qū)域可以與具有并發(fā)的基于iriscode的認證的感興趣區(qū)域相耦合,以減少場景處理的需求,并且僅識別與用戶識別的對象相關(guān)聯(lián)的信息。
在需要時,能夠應(yīng)用附加的信息轉(zhuǎn)換。例如,能夠?qū)⑽谋净蛞纛l從一種語言轉(zhuǎn)換成另一種語言。圖像識別能夠被擴展成識別特定的對象。例如,用于識別汽車的算法能夠被用于進一步識別設(shè)備穿戴者的特定汽車。對象的價格和物理特性(材料、設(shè)計特征等)能夠被識別并且被包括在歸檔算法中。
個體用戶能夠生成任何數(shù)目的個性化可跟蹤對象。最常見地,注視跟蹤被用于識別某人的環(huán)境中正被查看的對象。從下載的圖像或者照片中也能夠識別可跟蹤的圖像對象(例如路標、埃菲爾鐵塔),再一次地,其中注視跟蹤被用于識別觀察中的對象。例如,基于圖像識別,能夠識別和索引所查看的對象。其他模態(tài)(例如語音短語)能夠被類似地分類(即識別)和索引以用于將來的檢索。
pam的第二步驟涉及動態(tài)地添加和保持所查看的對象的經(jīng)索引、可搜索的歷史檔案連同其相關(guān)聯(lián)的模態(tài),所述模態(tài)能夠包括圖像、視頻、文本、音頻等。在記錄創(chuàng)建時可用的附加信息也能夠被存儲以定義附加的對象“屬性”。例如,這能夠包括創(chuàng)建日期和時間、生成數(shù)據(jù)集的用戶和/或設(shè)備、地理位置、其他經(jīng)識別的個體在場等。
作為能夠被重復(fù)任意次數(shù)的最后步驟,對經(jīng)索引的對象以及其相關(guān)聯(lián)數(shù)據(jù)的檢索能夠例如基于查看該對象或者相似的對象。例如,信息檢索的準則能夠包括:語音識別、文本片段、與特定對象或者對象類別相關(guān)聯(lián)的圖標等。在附加實施例中,用于最初存儲信息的信息模式無需匹配被用于從數(shù)據(jù)檔案中檢索信息的模式。
例如,錢包(wallet)的圖像可以被用于識別基于gps的位置處的特定錢包。關(guān)于錢包的數(shù)據(jù)檢索可以響應(yīng)于口頭查詢,諸如:“whereismywallet?(我的錢包在哪?)”關(guān)于錢包所檢索的隨后的信息能夠處于路線指引地圖的形式(即另一種數(shù)據(jù)形式),其示出相對于設(shè)備用戶當前位置的錢包位置。
基于對象的屬性,能夠進一步分隔對特定所需數(shù)據(jù)集的檢索。如上所述,屬性包括所存儲的關(guān)于對象的補充信息。如果屬性包括位置、日期/時間和價格,則pam系統(tǒng)能夠響應(yīng)于查詢:“whatistheleastexpensiveshirtiviewedatadepartmentstorelasttuesday?(我上周二在百貨商店查看的最便宜的襯衫是哪個?)”
如果多于一個的數(shù)據(jù)集匹配檢索準則,則設(shè)備用戶能夠:1)基于使用任何模式(更加靠近地查看對象、說出詞語、指定屬性等)的附加錄入來允許進一步分隔,或者2)顯示可能期望的數(shù)據(jù)集的縮略草圖,例如按時間倒序排列。
利用pam的另一個示例性情景為保持跟蹤新查看的對象的能力,諸如一組桌子抽屜的鑰匙。設(shè)備用戶開始于查看鑰匙并且說“keystomydeskdrawer(我桌子抽屜的鑰匙)”。每當查看鑰匙時,存儲包括查看該鑰匙的地點和時間的數(shù)據(jù)集。稍后,當詢問“wherearethekeystomydesk?(我桌子的鑰匙在哪?)”時,所述設(shè)備利用鑰匙所處位置的圖像以及其最后一次被看見的時間作出響應(yīng)。
作為pam的進一步示例,其中觸發(fā)pam數(shù)據(jù)存儲的初始事件是“虛擬對象”,一個人能夠查看處于其在線圖像或者視頻形式的個體。經(jīng)由在線信息或者通過在被其被查看時陳述姓名,例如“jimsmith”,能夠識別該人。然后,一個人能夠陳述任何其他所需的屬性(年齡、職業(yè)等)。在親自或者虛擬地查看個體的任何時間,附加后續(xù)的數(shù)據(jù)集。稍后,用戶能夠提出問題“whenisthelasttimeisawjimsmith?(我最后一次看見jimsmith是什么時候?)”。此外,每當由場景相機查看jimsmith時,所述設(shè)備能夠識別他。
使用pam的另一個示例開始于查看個體的汽車并且說出“mycar(我的車)”。當汽車已泊車時,其被識別并且創(chuàng)建包括最近圖像以及汽車位置的數(shù)據(jù)集。稍后,所述設(shè)備能夠以屏幕上的圖標來響應(yīng),其表示對問題“whereismycar?(我的車在哪?)”的回答。
如果“過多信息”變得可用,則設(shè)備用戶可以包含機構(gòu)以“忘記”指定的數(shù)據(jù)集和/或目標對象。例如,數(shù)據(jù)集生成的時間能夠被用于“忘記”較老的項目,諸如特定一組鑰匙或者某人的汽車的先前位置。能夠?qū)⒉煌臏蕜t指派給不同的可跟蹤對象。
信息存儲和檢索二者都能夠基于cbid。數(shù)據(jù)集能夠存在于可穿戴設(shè)備上、遠程處理器內(nèi)和/或分布在整個基于云的系統(tǒng)中。不管存檔位置如何,對這樣的信息的存儲和檢索二者都能夠被限制于pam的cbid來源或者已由pam的cbid來源授權(quán)的個體的群組。使用cbid,即使在由多個個體穿戴單個設(shè)備時,對個體的信息分隔也能夠被限制于該個體。
如systemsandmethodsforbiomechanically-basedeyesignalsforinteractingwithrealandvirtualobjects中所述,眼睛信號(特別是涉及機器學習技術(shù)的那些眼睛信號)能夠被使用于辨別用戶意圖。使用這些方法,基于pam的信息能夠被檢索并且“建議”給設(shè)備穿戴者。這是更加抽象的數(shù)據(jù)檢索方法(與解決特定問題相比);然而,所述設(shè)備能夠基于環(huán)境中正被查看的對象、作出的查詢、日內(nèi)時間、地理位置、識別的詞語等來呈現(xiàn)已歸檔的數(shù)據(jù)。另外,將來的“建議”能夠是基于對機器學習方法的修改,所述修改基于設(shè)備穿戴者是接受還是拒絕“建議”。
安全的人與人交流(eyeconnect(目光連接))
作為一個物種,無論是在公司還是社會場境下,我們在親自會面時,在找到共有關(guān)系或者共同興趣領(lǐng)域后會本能進行交流。確定我們是否應(yīng)交流、何時應(yīng)交流、應(yīng)如何交流、以及應(yīng)關(guān)于什么來交流的過程固有地效率不高并且時常會出現(xiàn)社交尷尬。另外,人類的記憶并不完善,并且我們常會遇到我們已經(jīng)忘記之前會面細節(jié)的個人,諸如姓名或者早前的會面場境。我們都對由這樣的碰面所致的社交尷尬以及這對社交言談(socialdiscourse)造成障礙的程度十分敏感。
稱為“eyeconnect”過程和應(yīng)用是一種使可穿戴計算設(shè)備用戶提高不同層次的人際關(guān)系并且使其更加高效而同時保持明確選擇和良好控制的安全和隱私級別的方法。在簡單、相互的目光接觸后,eyeconnect提供了相互視線內(nèi)的個體之間的增強的連接和交流。例如通過在安全和隱私級別已被建立的、已cbid注冊的個體間建立連接,基于cbid的eyeconnect提供了個體的隱私。
該應(yīng)用的實施例的示例包括:
1.針對互相認識但已經(jīng)忘記早前碰面細節(jié)的人,eyeconnect在首次目光交流(exchangeofgaze)后即時地提供被忘記的姓名,并且無縫地提供支持當面碰面的其他場境相關(guān)的信息。
2.針對在事件中首次會面的人,所述事件諸如商務(wù)、教育、政治、社交、或者其他場合;有意義的、相關(guān)的、以及卓有成效的連接在很大程度上憑機遇并且需要時間來發(fā)展。雖然當今存在嘗試強化個人之間連接或使其自動化的系統(tǒng)和程序,但它們效率低、不精確、不精細、并且有時擾亂現(xiàn)有的交流流程和社交交換或者使其尷尬。eyeconnect在這樣的聚會中實現(xiàn)建立新連接的安全的效率和流暢性水平。
3.對于經(jīng)由個人(即cbid注冊的第三方)介紹而首次會面的個體,eyeconnect加快場境相關(guān)的信息的交換,同時強化對相關(guān)的共同連接、經(jīng)歷、興趣等的個人交流。
4.對于為商業(yè)或者社交交流而聚集的個體群組,eyeconnect促進將個體添加和包括到為共享信息所建立的動態(tài)形成的群組內(nèi)。
可以沿著eyeconnection來交換的信息的模態(tài)范圍還擴展了eyeconnect的價值。不僅在顯示器(例如hud)上即時和離散地共享的視覺信息,并且聽覺信息也可以作為即時“電話呼叫”而被交換,其可以被建立于相距一定距離交流目光的兩個個體之間。這對于某些安全應(yīng)用、社交情境(例如派對、酒吧場景)以及人們可能認出彼此并且想要隔一定距離聊天的其他聚會能夠是有用的。
在示例性實施例中,eyeconnect執(zhí)行這些功能,同時遵守關(guān)于面部識別或者其他對象識別軟件的任何禁令。也就是說,與eyeconnect相關(guān)聯(lián)的架構(gòu)考慮到對自動識別可穿戴相機的視場內(nèi)的人的最終允許。實際上,通過確保獲取相機圖像的個體的身份與那些圖像相關(guān)聯(lián)和/或被用于向所查看的任何人通知正在發(fā)生這樣的活動,cbid能夠有助于緩解隱私問題。僅在個體基于圖像拍攝者的身份而允許這樣的圖像的情況下,cbid能夠允許或者禁止存儲和/或傳輸相機圖像,。此外,所識別的設(shè)備用戶與所拍攝的任何圖像的關(guān)聯(lián)性應(yīng)當用來制止對不適當圖像的拍攝。基于存儲在圖像和視頻文件內(nèi)的慣犯的身份,他們應(yīng)當是可識別的。
eyeconnect應(yīng)用也支持鄰近相關(guān)的個體的單向或者雙向的信息交換的置配以及地理位置。在另一示例性實施例中,eyeconnect的兩個用戶彼此注視片刻以確定他們是否應(yīng)當連接或者是否已經(jīng)連接。為了激活,他們在相同的時間和地理位置發(fā)生對彼此的眼睛的互相注視,生成“spark(火花)”。如果兩個用戶還沒有被eyeconnect并且具有充分的“共性”,則spark“ingite(點燃)”,并且用戶接收到即時的“connectalert(連接警示)”,其具有場境適當?shù)男畔⒁灾С謧€人的、介紹性交談。
利用其眼睛,在連接警示之后立即與顯示器交互,已連接上的一對用戶能夠瀏覽選擇關(guān)于彼此的信息。這可以在參與相互的物理會話之前、期間、或者之后進行。除最初經(jīng)由connectalert所共享的信息之外,eyeconnect也促進共享和傳輸任一個用戶決定提供的附加信息。
支持eyeconnect是兩個關(guān)鍵組成部分:1)用戶的“persona(人格面具)”以及2)用戶的“eventprofile(事件簡檔)”。用戶的persona可以被手動錄入、從諸如facebook或linkedln的所鏈接的賬戶自動填充信息、,和/或可以從用戶的在線足跡中抽取其他信息。persona數(shù)據(jù)包括這樣的信息,如:姓名、目標、興趣、職業(yè)、雇主、家庭成員、同事、社會關(guān)系、愛好、家鄉(xiāng)、最喜愛的運動隊、最喜愛的音樂等。
用戶的eventprofile包含用于促進匹配和共享二者的信息。用戶從一組標準化事件模板開始建立eventprofile,其中以來自用戶的persona的數(shù)據(jù)來填充字段??梢宰詣拥鼗蚴謩拥靥畛鋏ventprofile。繼“spark”(即在本地同時交換的目光)之后,eyeconnect比較來自兩個用戶的活躍eventprofile的數(shù)據(jù)以確定是否“點燃”并且產(chǎn)生connectalert?;谒x主題內(nèi)的共性、連接興趣和/或其他因素的閾值被用于確定何時應(yīng)當出現(xiàn)ignition(點燃)。除提供用于評估匹配的信息之外,每個eventprofile還確切指定在connectalert中應(yīng)共享什么信息。這樣,eventprofile被用于確定是否應(yīng)出現(xiàn)ingite,并且如果是,則確定應(yīng)當自動共享什么介紹性信息。
一組標準化eventprofile模板能夠?qū)τ谥T如以下的事件是可用的:商務(wù)會議、派對、酒吧場景、教室、辦公地點、度假、街道場景、體育賽事、海濱場景、教堂、銷售會議等。每個模板可以是由用戶或者用戶群組配置的定制,并且可以在eyeconnect用戶社區(qū)內(nèi)創(chuàng)建和共享新的事件模板。
設(shè)備用戶也能夠保持任何數(shù)目的定制簡檔以符合范圍廣泛的日常狀況。例如,用戶可以保持簡檔以覆蓋下列情形:一般商務(wù)會議、多個特定商務(wù)會議或其他事件、教育事件、愛好聚會、社交交互、教堂等。通過針對不同的情境保持不同的簡檔,能夠以謹慎和預(yù)先計劃的方式來控制信息向以下:群組的散布:諸如家庭、朋友、密友、商業(yè)伙伴、密切的商業(yè)伙伴、教師、具有共同興趣的個體等。
從一個情境向另一個情境的轉(zhuǎn)變能夠是:1)顯式的,其中用戶向設(shè)備通知情境已發(fā)生變化,或者2)隱式的,其中設(shè)備識別不同情境。識別情境狀況能夠基于對多個因素的考慮,所述因素包括:面部識別、(熟悉的)對象識別(例如住所內(nèi)的對象)、特色活動的識別(例如處于運動賽事、打高爾夫球)、地理位置(例如機場、醫(yī)院)、標志、在用戶的日歷上排程的事件、近期已由設(shè)備執(zhí)行的其他活動(例如會議或者賓館登記)、音樂的存在(例如在音樂會中)等。在一些情境中,多于一個簡檔可以同時生效(例如同時進行的愛好與社交活動)。在此情況下,交流能夠基于任何可應(yīng)用簡檔內(nèi)的權(quán)限。基于其他因素——諸如興趣的重疊程度和/或特定條件(例如在特定時間幀內(nèi)、生活在相同的城市內(nèi)),還能夠使交流“附帶條件”。
在所有層級的交互中,信息交換是基于已建立的參與者的身份以及針對信息交換而預(yù)先建立的他們的隱私級別。例如,通過使用cbid,入侵者不可能交換或者拾取暫時被放下的設(shè)備并且開始將eyeconnect專有的、設(shè)備所有者的信息傳送至第三方。
作為另一實施例,先前經(jīng)由eyeconnect會面或者彼此已經(jīng)作為eyeconnect網(wǎng)絡(luò)內(nèi)的互相熟識者來連接的兩個用戶絕不會再面對沒有回憶起姓名的尷尬。eyeconnect有效地提供了“隱形姓名標簽”等。兩個以前的熟人能夠立即受益于憶起姓名以及先前碰面的完整場境二者而重新熟悉。這包括先前會面事件、位置、時間、共享信息、乃至在先前碰面時或者隨后記錄的補充信息的提醒。
進一步的,eyeconnect將對于所連接的個體的即時在線搜索的結(jié)果與場境相關(guān)信息的立即表示一起提供。這樣的會面中的兩個用戶都在同等的背景上,并且由于eyeconnect無害且流暢的記憶強化而如釋重負。
在進一步的實施例中,兩個或多個eyeconnect的個體內(nèi)重疊的興趣能夠被識別和顯示。這樣的興趣能夠被置于先前會面的歷史場境以及關(guān)于所識別的主題的信息交換中。
作為幫助說明實施例的情景,設(shè)備用戶1(u1)在會議中遇到用戶2(u2)。他們素未謀面,但二人以前都曾在相同的公司工作并且共同認識許多人。他們已經(jīng)在會議之前加載了他們的business-conference(商務(wù)會議)eventprofile以用于eyeconnect。該eventprofile包含以下中的每一個:他們參加該會議的個人目標、他們的工作歷史、來自以前公司的親密同事的姓名、以及他們將其視為與使eyeconnection產(chǎn)生火花相關(guān)的其他信息。他們還各自配置他們的business-conferenceeventprofile以包含他們的最喜愛的愛好、他們妻子和孩子的姓名、他們孩子所上的學校、以及可以在更加個人層面上產(chǎn)生連接的其他個人數(shù)據(jù)。u1已經(jīng)配置了他/她的business-conferenceeventtemplate(商務(wù)會議事件模板)以僅允許關(guān)于他的專業(yè)背景來共享信息。u2的配置允許共享全部匹配的項目。
站在一個午餐隊伍中的同時具有活動的eyeconnect,他們短暫地看向彼此以了解他們是否應(yīng)連接。他們的可穿戴設(shè)備中的每一個都顯示connectalert。二人讀出他們先前在公司處有重疊,并且u1看到u2有孩子與他的孩子上相同的學校。他們還各自看到對方的目標是針對會議并且視線滾動瀏覽從他們的簡檔中選擇性共享的其他信息。然后,他們進入談話、立即共享他們共同的興趣領(lǐng)域并且詳述他們對于會議的目標。他們經(jīng)由eyeconnect應(yīng)用交換憑證并且安排時間以會見。幾分鐘內(nèi),他們就完成他們的初步連接并且與其他參會者繼續(xù)eyeconnect。
對該情景擴展以說明其他實施例,在與u2會面期間,u1也短暫地與用戶3(u3)eyeconnect。稍后,u1在派對上認出u3并且認為她/他看起來很眼熟。u3與u1彼此注視,產(chǎn)生spark,并且eyeconnect注意到u3與u1已經(jīng)eyeconnected。acquaintanceprofile(熟人簡檔)優(yōu)先于party(派對)eventprofile并且為u3和u1中的每一個生成eyeknowualert。u1看到u3的姓名、對他們會面的另一個事件的提及、以及u3在該事件中共享過的信息。u1注意到針對當前的partyevent(派對事件)存在具有新匹配的ignition,并且經(jīng)由眼睛發(fā)出信號來選擇察看針對派對的connectalert。u1看到由u3針對派對場境所提供的一些附加信息并且注意到u3也是飛行員。u3注意到相同的內(nèi)容。他們互相問候,確認他們先前的會面、并且開始關(guān)于他們對飛行的熱衷的討論。
eyeconnect服務(wù)能夠選擇性地將面部識別應(yīng)用于其他個體的圖像。能夠采取步驟來避免暗中地提供關(guān)于視場內(nèi)的人的信息,特別是存在關(guān)于該功能的禁令的情形下。當兩個人同時互相注視時,eyeconnect的眼睛跟蹤軟件與可穿戴場景相機結(jié)合來工作以定義從用戶已允許使用的信息中得到的spark事件。例如,在以上示例中,u1的eyeconnect應(yīng)用內(nèi)的眼睛跟蹤軟件注意到u1正在注視另一個人的眼睛。u2的eyeconnect軟件同時注意到u2正在注視另一個人的眼睛。每一個都拍攝了正被注視的人的面部的一次性臨時照片,即u2捕獲u1的面部且u1捕獲u2的面部。可以從每個面部提取面部特征以供匹配,并且保持圖像以供用戶確認。
每個圖像都經(jīng)過時間標注和地理位置標注并且被發(fā)送至服務(wù)器以供spark測試。當u2的圖像匹配u1的時間、面部和位置(使用預(yù)先存儲的u1的面部的圖像,其由u1在注冊eyeconnect時提供給eyeconnect)并且u1的圖像匹配u2的時間、面部和位置時,服務(wù)器聲明u1與u2之間的“spark”。為了確認,他們均被呈現(xiàn)作為connectalert的一部分的原始圖像??蛇x地,也可以與進行征求(soliciting)的用戶共享每個用戶的persona圖像。
維護個體的隱私,服務(wù)器之后丟棄臨時捕獲的圖像以及所提取的面部特征,并且使用他們的eventprofile信息篩選“共性的閾值”。假設(shè)連接閾值交叉,則服務(wù)器聲明他們之間的“連接”,并且生成相互的connectalert,共享由他們的eventprofile所指定的信息。
異常處理以及附加特征
功耗以及可用的帶寬是所有可穿戴設(shè)備的普遍問題。例如,當啟用eyeconnect時,能夠在已定義的用戶視場(fov)內(nèi),以一秒或者其他所需的間隔執(zhí)行注視跟蹤。針對每個所捕獲的注視,注視點被映射在可穿戴相機的fov內(nèi)的受限的興趣區(qū)域(aoi)上。eyeconnect應(yīng)用在該aoi內(nèi)查找面部。如果找到面部并且該面部看起來正穿戴著頭戴式設(shè)備,則面部的圖像能夠被發(fā)送至eyeconnect云以確定該用戶是否參與互相注視。存在許多優(yōu)化機會以在保持降低的功耗的同時得到可接受的設(shè)備時延,所述機會包括:眼睛發(fā)起的connect請求,遞送至活躍的eyeconnect用戶的、關(guān)于其他活躍的eyeconnect用戶的接近推送或拉取的地理位置數(shù)據(jù),以及用于優(yōu)化對于穿戴頭戴式設(shè)備的面部的圖像處理的方法。
作為另一個示例性實施例,eyeconnect被設(shè)計成在可穿戴計算機的大的fov內(nèi)以對低精度或者甚至甚至暫時無法操作的眼睛追蹤的容差來操作,其中降低的精度或者身份和/或跟蹤的喪失僅導(dǎo)致適度的效能降級。注視跟蹤技術(shù)有助于在圖像當中選擇單個面部。對一對用戶的選擇也通過時間標注和地理位置標注來篩選。
如上所述,eyeconnect基于用戶的注視來提取aoi。aoi的大小通過所估計的注視精度來確定。譬如,±10度的注視點精度可能要求20度以上半徑的aoi以供圖像分析。如果系統(tǒng)經(jīng)歷注視跟蹤的完全喪失,則aoi會變成場景相機的整個fov。這會需要更高的處理能力來識別互相注視的穿戴著設(shè)備的面部。
對互相注視者的篩選和識別也能夠使用計算機視覺(cv)方法來增強,該方法在視覺上篩選穿戴著設(shè)備的個體。設(shè)備能夠通過受控視覺信息來協(xié)助這樣的cv方法,諸如一個或多個面向外部的紅外(ir)光發(fā)光二極管(led)和/或附接至設(shè)備和/或用戶的特定可識別模式(例如可見或者紅外)。irled能夠被調(diào)制以避免與基于ir的眼睛跟蹤或者其他設(shè)備沖突,或者識別特定的個體(通過編碼特定的調(diào)制模式)。也能夠包括其他形式的經(jīng)調(diào)制/有區(qū)別的信息交換。
作為另一個示例性實施例,盡管罕見,但是考慮潛在誤連接的問題可能發(fā)生在若干同時共處同一位置的eyeconnect用戶之間??紤]四個穿戴著設(shè)備的、eyeconnect處于活動的用戶。u1與u2正并排而坐,并且u3與u4正彼此相鄰而坐。u1與u3相互注視,希望連接,并且u2與u4也互相注視。如果精度不夠準確,則系統(tǒng)可能會認為u1與u4正互相注視,而u2與u3正互相注視。在此情況下,所述系統(tǒng)可能提供若干機制中的任何一個來解決這種狀況。
1.eyeconnect能夠注意到錯誤的可能性并且警示用戶。
2.eyeconnect能夠作出其最佳猜測并且要求確認,具有簡單的校正可用。
3.eyeconnect能夠請求每個用戶在潛在的目標個體當中作出選擇。
回想,在兩個用戶看向彼此時,對每個用戶的面部所拍攝的快照被暫時性保持以提供信息來驗證兩個用戶實際上正看向彼此。如上所述,該快照的可用性以及時機適當?shù)某尸F(xiàn)能夠為所意圖的連接提供了保證??煺栈蛘邅碜阅繕说膒ersona的現(xiàn)有圖像可以被用于該目的。
精度導(dǎo)致注視進一步遠離甚至單個額外的穿戴著設(shè)備的eyeconnect用戶的該示例的變型也可以利用對更大aoi的更多處理與用戶界面內(nèi)的適當信息耦合的組合來解決。潛在錯誤的發(fā)生率——無論假肯定(false-positive)還是假否定(false-negative),都會隨著精度降低的眼睛跟蹤以及更多的eyeconnect用戶而增加。
下面是附加的可選示例性特征,其中任何一個或多個能夠被包括在eyeconnect系統(tǒng)內(nèi):
1.eyetalk-支持“語音連接”的eyeconnect
2.地理定位的元信息-視覺上快速呈現(xiàn)的信息,關(guān)于:a)接近的熟人(認識的附近的人),b)接近對進行連接開放的潛在eyeconnect用戶(包括關(guān)于去何處尋找他們、為何某人應(yīng)連接等的引導(dǎo)),以及c)經(jīng)促進的連接,包括圖片和姓名提醒和的列表。
3.eyenote-關(guān)于熟人的筆記,其能夠被語音轉(zhuǎn)錄、作為文本添加、或者基于經(jīng)篩選的對facebook、linkedln等的訪問。
4.事件前連接-用戶剛加載eventprofile并且指定也可以允許connectalert的事件的時間和地點時。
5.無需眼睛發(fā)出信號的操作-基于任何形式的識別的關(guān)于人的一般信息,包括地理位置。
6.unispark–對已經(jīng)選擇性加入以允許匹配和/或訪問他們的persona或者事件信息的其他穿戴著設(shè)備的個體的眼睛信號選擇。例如,用戶1(u1)可以注視用戶2(u2)——另一個穿戴設(shè)備的個體,其已經(jīng)經(jīng)由eyeconnect來選擇性加入以允許與進行征求的用戶進行匹配(單向或雙向共享)。如果發(fā)生匹配,則u1接收connectalert與關(guān)于u2的信息。u2也可以可選地接收connectalert。如果u2的eyeconnect是活動的并且u2已啟用非注視警示,則u2啟用gazeless(無注視)connectalert。如果u2未運行eyeconnect,則u2可以從進行征求的、相匹配的用戶接收所建立的任何連接與記錄的connectalert信息的隨后的報告。
7.anyspot-在允許面部識別的位置、時間和/或條件,無論用戶使用可穿戴計算設(shè)備/eyeconnect與否,設(shè)備用戶都可以看向任何面部以獲得信息。使用面部識別,設(shè)備用戶從包括他們自己的通訊錄(contacts)的任何來源接收關(guān)于他們注視的每個個體的任何可用信息。eyeconnect提供了基于顯示的信息,包括ar信息呈現(xiàn),支持單向信息訪問(包括回憶、筆記等)以及雙向信息交換。
下面是附加示例性連接配置連同每個配置內(nèi)的獨特元素的列表。全部實施方式都能夠是基于cbid的并且適應(yīng)于隱形眼鏡、電話、和/或外部相機和眼睛跟蹤,并且顯示以用于非增強現(xiàn)實/虛擬現(xiàn)實、增強現(xiàn)實、和虛擬現(xiàn)實情境。
由對話來可選擇地協(xié)助的注視協(xié)助的對象識別
用于從靜態(tài)場景或者迅速變化的一系列圖像中識別對象的計算機視覺技術(shù)通常要求強大處理能力、圖像數(shù)據(jù)的高帶寬傳輸以供非本地處理、高分辨率數(shù)字影像、非實時處理、以及對配備了相機的可穿戴計算機上的有意義、通用、即時的對象識別所很難實現(xiàn)的其他元素的某種組合,所述可穿戴計算機上進行的識別受限于有限的處理能力、相機分辨率、傳輸速度、電池電力和/或存儲器。在眼睛跟蹤技術(shù)方面的最新進展實現(xiàn)低功率、低處理、自給式可穿戴技術(shù)的部署。該技術(shù)是高效、專注、并且離散的(即專用的)。添加人類的認知選擇來在場景內(nèi)或者跨迅速變化的一系列圖像來指定感興趣區(qū)域能夠顯著減少在不同場境中從視覺上識別對象所需的資源。此外,視覺反饋系統(tǒng)是可取的,其能夠?qū)崿F(xiàn)在計算機視覺搜索期間的智能交換,這流暢、直觀、并且將人類認知處理與機器處理融合以利用有限的資源來使得可穿戴計算機能夠跨多個場境來識別對象。
軟件與用戶之間的“對話”能夠被使用于確認或者有助于對象識別。一旦確認,對象便能夠被用于eyeconnection和/或信息共享。
結(jié)構(gòu)化的個人信息交換
用于允許和促進信息的選擇性共享的基于persona的匹配能夠包括:使用具有或者不具有顯示器的可穿戴計算機系統(tǒng)、實時、用于特定共享的接近度(地理位置)和基于事件的簡檔。共享意愿的其他指示包括:互相注視、單方面注視、握手、和/或其他信號(例如肢體語言)或者手勢。系統(tǒng)能夠涉及用戶指定的信息的本地或遠程信息管理、篩選、和/或傳輸。系統(tǒng)也能夠涉及eventprofile屬性的社區(qū)共享、精化、和評級,所述屬性能夠包括特定篩選準則和共享準則。
基于事件選擇信息以確定相關(guān)性
事件過濾器能夠被用于確定個人/交互關(guān)系的相關(guān)性。這些過濾器能夠包括:用戶可加載、日歷可加載的、由算法、相互或協(xié)同選擇的和/或動態(tài)加載的準則產(chǎn)生的過濾器。能夠在事件之前、事件期間、或者事件之后加載動態(tài)過濾器。
通過同時注視對參與方的私人確定
系統(tǒng)能夠比較使用可穿戴設(shè)備看向彼此的個體的圖像。所述系統(tǒng)能夠使用事件簡檔、時間戳、和/或地理位置;并且避免面部識別軟件(除臨時圖像或先驗圖像(aprioriimage)外)。該系統(tǒng)能夠包括對“穿戴著設(shè)備”的用戶的識別,以作為另一種篩選方法。其方法包括:用于辨別可穿戴設(shè)備的計算機視覺、追求/參與互相注視的用戶、設(shè)備之間或者在看到具有活動的eyeconnect的另一個設(shè)備時的ir和/或其他信號收發(fā)協(xié)議。
用于事件發(fā)起的基于互相注視的協(xié)議
多個不同的準則和啟發(fā)能夠被用于發(fā)起和展開(或者相反,維護其隱私性)基于注視的事件。其中主要的是檢測同時的目光接觸以發(fā)起事件。其他準則包括以下的存在:可穿戴系統(tǒng)、基于相機的會議系統(tǒng)、1對1注視、1對n注視、n對m注視(用于共享信息的事件的群組發(fā)起)、較大群組內(nèi)的1對1私人共享、較大參與者群組內(nèi)的1對n私人共享、和/或用于定義目光接觸的閾值時間。此外,準則能夠依賴于是否涉及其他動作,包括:附加篩選以適格于事件,事件是否能夠致使某種類型的控制(例如事件注冊、更改信息),事件能夠?qū)е聠蜗虻貜囊环较蛄硪环竭€是雙向地在雙方之間傳送信息,和/或動作是實時還是延遲的。
針對同時位置和映射的共同的注視數(shù)據(jù)貢獻
利用自可穿戴顯示器的引導(dǎo)和反饋,能夠在用戶間協(xié)調(diào)和指引用戶注視。顯示器能夠內(nèi)嵌于設(shè)備或者在設(shè)備外圍。例如,多個用戶的注視能夠指向體育場屏幕。從多個地理定位的用戶,能夠確定對聚焦處于特定方向的確認和/或分析。
常見的注視發(fā)起的多模式信息交換
eyeconnection能夠包括其他模態(tài)的信息交換,包括:視覺信息交換(例如視頻或者圖像)或者實時語音信息交換。
為了方便起見,將操作描述為各個互聯(lián)的功能塊或者不同的軟件模塊。然而,這并非必需,而且以下情況下,將這些功能塊或模塊在沒有明確界限的情況下等價地聚合成單個邏輯設(shè)備、程序或者操作。無論如何,功能塊以及軟件模塊或者所述的特征能夠由其自身或者結(jié)合硬件或軟件中的其他操作來實現(xiàn)。
出于說明和描述目的,已經(jīng)提出示例性實施例的上述公開。其并非旨在窮舉或者將本發(fā)明限定成所公開的確切形式。本文所述的實施例的許多變型和修改根據(jù)上述公開將對本領(lǐng)域普通技術(shù)人員顯而易見。
此外,在描述代表性實施例時,本說明書可能已經(jīng)將所述的方法和/過程作為特定步驟序列來呈現(xiàn)。然而,就所述方法或過程而言,并不依賴于本文中所闡述的特定步驟順序,所述方法或過程不應(yīng)被限制為所述的特定步驟序列。本領(lǐng)域普通技術(shù)人員將領(lǐng)會到,其他步驟序列也是可能的。因此,在本說明書中所闡述的特定步驟順序不應(yīng)被解釋為對權(quán)利要求的限制。
應(yīng)領(lǐng)會到,在本文中以任何實施例所示的元素或者組件對于具體實施例都是示例性的并且可以被用于本文所開的其他實施例或者與其結(jié)合使用。
在本發(fā)明的示例性實施例中已描述和說明其原理,應(yīng)當清楚,在不脫離這樣的原理的情況下,可以在布置和細節(jié)上對本發(fā)明作出修改。對落入隨后權(quán)利要求范圍內(nèi)的所有修改和變型都要求保護。