用于使用臉部生物特征識(shí)別和屏幕手勢(shì)來(lái)提供對(duì)電子設(shè)備的安全訪問(wèn)的系統(tǒng)和方法
【專利摘要】一種用于向設(shè)備提供安全認(rèn)證的系統(tǒng)和方法（800），其包括：將兩個(gè)或更多個(gè)安全因子組合以用于大約同時(shí)操作的認(rèn)證的步驟（805、807），其中至少一個(gè)因子是“容忍”因子。通過(guò)將大約同時(shí)分析的兩個(gè)因子進(jìn)行組合（805、807），可以減小容忍因子所需要的容忍匹配，而不降低總安全精度。
【專利說(shuō)明】用于使用臉部生物特征識(shí)別和屏幕手勢(shì)來(lái)提供對(duì)電子設(shè)備的安全訪問(wèn)的系統(tǒng)和方法
[0001]本專利申請(qǐng)要求于2012年I月9日提交的臨時(shí)專利申請(qǐng)序列N0.61/584，492的權(quán)益和優(yōu)先權(quán)，該臨時(shí)專利申請(qǐng)的公開內(nèi)容通過(guò)引用方式并入本文。
【技術(shù)領(lǐng)域】
[0002]本發(fā)明一般涉及電子安全，并且更具體地涉及使用屏幕手勢(shì)和臉部生物特征來(lái)認(rèn)證電子設(shè)備的用戶的方法。
【背景技術(shù)】
[0003]許多電子設(shè)備(例如個(gè)人計(jì)算機(jī)、包括移動(dòng)電話和個(gè)人數(shù)字助理(PDA)的移動(dòng)設(shè)備)使用某種形式的認(rèn)證(通常是必須輸入到設(shè)備中的密碼)來(lái)獲得訪問(wèn)。最經(jīng)常的是，密碼被鍵入到鍵盤或其它接口上，其隨后允許用戶獲得對(duì)設(shè)備和/或網(wǎng)絡(luò)的功用的部分或全部訪問(wèn)。與使用密碼相關(guān)聯(lián)的問(wèn)題在于它們是耗時(shí)的，并且對(duì)于用戶進(jìn)行輸入來(lái)說(shuō)是不方便的。用戶常常使用非正式的密碼或與他人共享他們的密碼，這危害了系統(tǒng)的安全。這些實(shí)際情況否定了密碼的價(jià)值，并且使得難以精確地對(duì)訪問(wèn)進(jìn)行審計(jì)。此外，密碼在被忘記、與他人共享或放錯(cuò)位置時(shí)管理起來(lái)是昂貴的。雖然已經(jīng)實(shí)現(xiàn)了使用其它類型的安全訪問(wèn)系統(tǒng)，例如語(yǔ)音識(shí)別、指紋識(shí)別或虹膜掃描，但是這些類型的系統(tǒng)需要不同的過(guò)程來(lái)訪問(wèn)以及使用設(shè)備。為了能夠操作，這些技術(shù)還需要特定的并且耗時(shí)的登記過(guò)程。
[0004]因此，“身份管理”總是呈現(xiàn)出挑戰(zhàn)。開始，個(gè)人已經(jīng)與用戶名和密碼相關(guān)聯(lián)以便獲得對(duì)計(jì)算機(jī)系統(tǒng)的訪問(wèn)，這產(chǎn)生了對(duì)認(rèn)證(驗(yàn)證個(gè)人是“他們所聲稱的真正的人”)的顯著挑戰(zhàn)。這通常意味著要記住并輸入用于計(jì)算機(jī)、安全應(yīng)用以及多個(gè)網(wǎng)站的唯一用戶名和密碼。對(duì)于需要額外的安全控制的系統(tǒng)(例如，在線銀行)而言，已經(jīng)要求個(gè)人使用“兩因子認(rèn)證”。這需要多個(gè)類型的標(biāo)識(shí)，例 如密碼加PIN或令牌。隨著用戶不斷地使用多個(gè)電子設(shè)備和服務(wù)(例如，智能電話、電子郵件、在線銀行、社交網(wǎng)絡(luò))，記錄多個(gè)密碼并不斷地輸入這些密碼已經(jīng)簡(jiǎn)單地變得在最好的情況下是不方便的，并且對(duì)于許多情況而言是不可管理的。幾乎每天，新聞都與我們分享著網(wǎng)絡(luò)犯罪如何提高了這種挑戰(zhàn)，……，從而強(qiáng)制使用更長(zhǎng)的、更復(fù)雜的密碼，這些更長(zhǎng)的、更復(fù)雜的密碼必須被頻繁地更改或者冒著丟失重要信息、隱私、名譽(yù)和金錢的風(fēng)險(xiǎn)。增加的復(fù)雜性并不鼓勵(lì)強(qiáng)安全措施和策略的使用以及與這些措施和策略的符合。受挫的用戶本身可能就面臨著安全風(fēng)險(xiǎn)。
[0005]使用臉部識(shí)別的生物特征認(rèn)證經(jīng)常用于獲得對(duì)電子設(shè)備的訪問(wèn)。授權(quán)給Kyle的美國(guó)專利N0.6，853，739和授權(quán)給Akiyama等的美國(guó)專利N0.6，724，919 (這兩個(gè)專利通過(guò)引用方式并入本文)公開了身份驗(yàn)證系統(tǒng)的例子，在這些身份驗(yàn)證系統(tǒng)中，采用數(shù)據(jù)庫(kù)來(lái)將用戶的臉部特征與預(yù)先建立的數(shù)據(jù)庫(kù)中的那些特征進(jìn)行比較。一旦進(jìn)行了比較，隨后就對(duì)認(rèn)證進(jìn)行驗(yàn)證，并且授權(quán)對(duì)系統(tǒng)的訪問(wèn)。這種類型的系統(tǒng)的缺點(diǎn)在于需要用戶進(jìn)行單獨(dú)的并且特定的登記過(guò)程以便建立數(shù)據(jù)庫(kù)。就這種類型的臉部識(shí)別系統(tǒng)以及現(xiàn)有技術(shù)中的其它系統(tǒng)而言，數(shù)據(jù)庫(kù)必須在使用之前被填充；否則，系統(tǒng)將不會(huì)操作。這給系統(tǒng)操作員施加了不必要的負(fù)擔(dān)，需要關(guān)于在系統(tǒng)可以變得可運(yùn)行之前填充數(shù)據(jù)庫(kù)的步驟的詳細(xì)培訓(xùn)。另外，這種類型的安全系統(tǒng)并不允許自動(dòng)地更新數(shù)據(jù)庫(kù)以適應(yīng)頭部位置、用戶特征(例如不同的眼鏡)的改變、攝像頭操作特性、燈光以及其它環(huán)境因子的改變。這可能限制了數(shù)據(jù)庫(kù)匹配(識(shí)別)的速度、精度以及甚至成功性。而且，這些現(xiàn)有的臉部識(shí)別和其它生物特征系統(tǒng)僅僅在認(rèn)證時(shí)刻進(jìn)行運(yùn)行。
[0006]其它技術(shù)使用與設(shè)備的顯示器相關(guān)聯(lián)的手勢(shì)。這種類型的識(shí)別技術(shù)涉及用戶觸摸設(shè)備的觸摸屏以及被設(shè)備識(shí)別的移動(dòng)。這些移動(dòng)可以鏈接到設(shè)備功能，例如某些應(yīng)用的運(yùn)行或允許對(duì)設(shè)備的訪問(wèn)。手勢(shì)是用戶的手指在觸摸屏上的移動(dòng)，所述移動(dòng)的模式或形狀是用戶已經(jīng)標(biāo)識(shí)或選擇的。某些因子依賴于精確的匹配，而其它因子由于其設(shè)計(jì)的特性而使用某種級(jí)別的匹配容忍(也稱為容忍因子)來(lái)確定手勢(shì)或證書的接受。精確因子的例子包括用戶的完全密碼、智能卡或來(lái)自硬件安全令牌的代碼。這些因子必須總是精確地域之前存儲(chǔ)的證書相匹配。容忍因子包括所有形式的生物特征(臉部、語(yǔ)音和手指)、與同所存儲(chǔ)的證書的精確匹配存在某種定義的偏差/容忍被允許(并且實(shí)際工作也是需要的)的模式和手勢(shì)。甚至是如果在某些情況下接受比總長(zhǎng)度小的密碼，那么密碼也可以變成容忍因子。
[0007]使用生物特征來(lái)補(bǔ)充密碼輸入的安全系統(tǒng)的另一例子是授權(quán)給Hwang等的美國(guó)專利N0.7，161，468。該專利中描述的是一種用戶認(rèn)證設(shè)備，其基于用戶輸入的密碼以及用戶的生物特征信息來(lái)認(rèn)證用戶。該用戶認(rèn)證設(shè)備包括:密碼輸入單元，其確定是否已經(jīng)輸入了密碼；存儲(chǔ)單元，其存儲(chǔ)已注冊(cè)的密碼和已注冊(cè)的生物特征；閾值設(shè)定單元，如果輸入的密碼與已注冊(cè)的密碼匹配，則所述閾值設(shè)定單元設(shè)定第一閾值，并且如果輸入的密碼與已注冊(cè)的密碼不匹配，則所述閾值設(shè)定單元設(shè)定第二閾值；以及生物特征單元，其從外部獲得生物特征信息，確定所獲得的生物特征信息與已注冊(cè)的生物特征信息的匹配程度，并且如果所獲得的生物特征信息與已注冊(cè)的生物特征信息的匹配程度大于第一或第二閾值，則認(rèn)證用戶是真的。作為在本發(fā)明的范圍內(nèi)如何調(diào)整這種系統(tǒng)的例子，生物特征輸入可以用隱藏的動(dòng)作進(jìn)行補(bǔ)充，以便遵守之前配置的規(guī)則而完全地認(rèn)證用戶或傳遞輔助密碼和相關(guān)聯(lián)的動(dòng)作，例如賬戶約束、虛構(gòu)訪問(wèn)或警告發(fā)布。
[0008]最后，Lin的美國(guó)專利公開N0.2009/0160609描述了一種對(duì)鎖定的計(jì)算設(shè)備進(jìn)行解鎖的方法，其中，用戶的觸摸用作對(duì)設(shè)備進(jìn)行解鎖的請(qǐng)求，而生物特征信息可以與該過(guò)程一起使用。雖然用戶可以使用觸摸屏來(lái)請(qǐng)求對(duì)設(shè)備進(jìn)行解鎖，但是Lin并沒(méi)有使用屏幕手勢(shì)和生物特征信息的組合來(lái)認(rèn)證用戶。
[0009]因此，雖然在本領(lǐng)域中，手勢(shì)和生物特征安全系統(tǒng)的使用是單獨(dú)可用的，但是當(dāng)前并不存在將這些技術(shù)組合起來(lái)以提供魯棒的安全性同時(shí)還向用戶提供靈活的對(duì)電子設(shè)備的訪問(wèn)的系統(tǒng)。
【專利附圖】

【附圖說(shuō)明】
[0010]圖1是示出了本發(fā)明的系統(tǒng)和方法的拓?fù)涞姆娇驁D，其中，使用攝像頭來(lái)向用戶提供系統(tǒng)認(rèn)證。
[0011]圖2是示出了使用臉部生物特征的方法的概述的流程圖。
[0012]圖3是示出了根據(jù)本發(fā)明實(shí)施例而使用的連續(xù)認(rèn)證例程的流程圖。
[0013]圖4是示出了根據(jù)本發(fā)明實(shí)施例與自動(dòng)數(shù)據(jù)庫(kù)一起使用的后定時(shí)(back-timing)過(guò)程的流程圖。
[0014]圖5是示出了根據(jù)本發(fā)明實(shí)施例而是用的臉部特征跟蹤和延遲鎖定子例程的流程圖。
[0015]圖6是根據(jù)本發(fā)明而是用的、圖5中所示的生物特征認(rèn)證和延遲鎖定例程的替換實(shí)施例的流程圖。
[0016]圖7是示出了根據(jù)本發(fā)明替換實(shí)施例的本發(fā)明的系統(tǒng)和方法的拓?fù)涞姆娇驁D，其中，使用屏幕手勢(shì)和攝像頭來(lái)向用戶提供系統(tǒng)認(rèn)證。
[0017]圖8是示出了利用屏幕手勢(shì)和臉部生物特征提供對(duì)電子設(shè)備的認(rèn)證的另一替代實(shí)施例的流程圖。
[0018]圖9A和9B示出了展示動(dòng)態(tài)手勢(shì)放置的特征的觸摸屏。
[0019]圖10是示出了使用臉部識(shí)別和其它因子以認(rèn)證用戶訪問(wèn)電子設(shè)備的流程圖。
【具體實(shí)施方式】
[0020]本發(fā)明關(guān)閉對(duì)于需要安全訪問(wèn)的所有類型電子設(shè)備來(lái)說(shuō)以多種現(xiàn)有安全認(rèn)證形式中存在的基本安全漏洞?，F(xiàn)有的安全方法僅確認(rèn)用戶輸入其密碼、掃描器指紋或虹膜時(shí)刻的用戶。系統(tǒng)不能分辨當(dāng)前用戶是否是幾毫秒之前認(rèn)證的同一個(gè)體。這使得設(shè)備非常不安全并且是脆弱的，直到注銷設(shè)備或者鎖定。對(duì)于懷有惡意的人來(lái)說(shuō)，僅需要花費(fèi)很少時(shí)間就可以盜取和/或刪除用戶已經(jīng)登錄的設(shè)備的數(shù)據(jù)。現(xiàn)有的方案要求用戶手動(dòng)鎖定/注銷，或者生成用戶不活動(dòng)計(jì)時(shí)器來(lái)鎖定或注銷用戶。
[0021]此外，大多數(shù)信息技術(shù)(IT)組織不愿意改變，因?yàn)樗麄儾辉敢饷帮L(fēng)險(xiǎn)改變，這會(huì)影響其現(xiàn)有的硬件/軟件系統(tǒng)。此外，他們不愿意增加實(shí)施這一方案所需的支持成本。用于訓(xùn)練用戶和回答幫助桌面問(wèn)題的支持成本會(huì)是很大的因子。本發(fā)明可以用對(duì)終端用戶透明的方式自動(dòng)生成數(shù)據(jù)庫(kù)。本發(fā)明需要很少的訓(xùn)練并且成本很少的“桌面幫助”。本發(fā)明使用自動(dòng)登記特征，其允許設(shè)備自動(dòng)更新數(shù)據(jù)庫(kù)來(lái)不斷改善用戶識(shí)別質(zhì)量。相反，當(dāng)前生物特征產(chǎn)品需要一組特定步驟來(lái)建立并更新數(shù)據(jù)庫(kù)。在一些情況下，僅在初步學(xué)習(xí)之后，可以由用戶執(zhí)行這些步驟。在許多情況下，在系統(tǒng)中使用之前，IT管理者必須與用戶一起工作來(lái)實(shí)際訓(xùn)練數(shù)據(jù)庫(kù)。
[0022]符合安全也是一個(gè)重要問(wèn)題，當(dāng)其遠(yuǎn)離計(jì)算機(jī)時(shí)，通常需要用戶手動(dòng)鎖定或注銷其計(jì)算機(jī)。這一過(guò)程很花費(fèi)時(shí)間、并且不方面，對(duì)于使用計(jì)算機(jī)過(guò)程中用戶目的來(lái)說(shuō)是次要的。此外，鎖定或者注銷使得當(dāng)用戶返回設(shè)備時(shí)輸入密碼，這帶來(lái)很大不方面。除非嚴(yán)格實(shí)施，用戶通常忽略這種正確的安全過(guò)程。在缺少直接監(jiān)管下，對(duì)于系統(tǒng)管理員來(lái)說(shuō)，本質(zhì)上沒(méi)有辦法確認(rèn)用戶是否正確地遵守指定安全策略。
[0023]一個(gè)不切實(shí)際的方案通常包括使用計(jì)時(shí)器。當(dāng)在預(yù)定時(shí)間段內(nèi)沒(méi)有外設(shè)活動(dòng)時(shí)通過(guò)鎖定設(shè)備來(lái)使得計(jì)時(shí)器工作。如本領(lǐng)域技術(shù)人員所認(rèn)識(shí)的，外設(shè)可以包括，但不限于鼠標(biāo)、鍵盤或觸摸屏。如果計(jì)時(shí)器被設(shè)置為足夠短的持續(xù)時(shí)間來(lái)在用戶離開設(shè)備時(shí)適當(dāng)關(guān)閉安全漏洞，那么設(shè)備將在用戶查看屏幕上的數(shù)據(jù)時(shí)鎖定。每次洗頭鎖定或者注銷用戶時(shí)，用戶需要不斷輸入其證書。這導(dǎo)致用戶產(chǎn)生挫敗感，并且大大降低生產(chǎn)率。因此，通常不活動(dòng)時(shí)間至少為2-5分鐘，這提供了很大的易受攻擊的窗口。此外，不活動(dòng)計(jì)時(shí)器是無(wú)效的。所有未授權(quán)用戶必須在計(jì)時(shí)器時(shí)段內(nèi)訪問(wèn)系統(tǒng)。在此之后，未授權(quán)用戶可以無(wú)限期繼續(xù)工作。[0024]本發(fā)明的系統(tǒng)和方法通過(guò)自動(dòng)處理直接解決這種合規(guī)問(wèn)題，因此確保完全合規(guī)。 因?yàn)樘幚硎亲詣?dòng)的并且對(duì)操作者是透明的，用戶接受度非常高。用戶發(fā)現(xiàn)在安裝本發(fā)明之 后系統(tǒng)更便于使用。此外，示出了訪問(wèn)設(shè)備的人的系統(tǒng)核查日志現(xiàn)在是準(zhǔn)確的，因?yàn)檫@種連 續(xù)認(rèn)證安全處理。本發(fā)明通過(guò)當(dāng)用戶在設(shè)備的視野之外時(shí)立即鎖定/注銷，然后在用戶重 新出現(xiàn)在計(jì)算機(jī)之前時(shí)盡快解鎖來(lái)進(jìn)行操作。
[0025]現(xiàn)在參照?qǐng)D1，如根據(jù)本發(fā)明使用的系統(tǒng)100包括電子設(shè)備101，其包括但不限于 個(gè)人計(jì)算機(jī)、移動(dòng)電話、按字母排序分頁(yè)設(shè)備、個(gè)人數(shù)字助理(PDA)、電子游戲設(shè)備等，這都 需要某種類型的認(rèn)證來(lái)獲得對(duì)設(shè)備101的使用的訪問(wèn)。攝像頭105還可以用于向設(shè)備增加 額外的安全級(jí)別，其中所述設(shè)備的攝像頭與設(shè)備101 —起使用以利用多個(gè)圖像矢量構(gòu)建內(nèi) 部數(shù)據(jù)庫(kù)107。攝像頭基本上提供實(shí)時(shí)圖像并且通常以大約每秒5-10幀的速率運(yùn)行，從而 向電子設(shè)備101連續(xù)供應(yīng)數(shù)字圖像數(shù)據(jù)。攝像頭通常與通常在設(shè)備內(nèi)使用的光學(xué)臉部特征 跟蹤軟件一起使用，其中所述設(shè)備用于當(dāng)位于攝像頭前面的位置時(shí)跟蹤用戶臉部的運(yùn)動(dòng)。 因此，當(dāng)用戶使用設(shè)備時(shí)，將他的頭前后左右移動(dòng)，與攝像頭一起使用的軟件將跟蹤臉部運(yùn) 動(dòng)以允許連續(xù)認(rèn)證，同時(shí)使用較低CPU和設(shè)備資源113。
[0026]本領(lǐng)域技術(shù)人員將認(rèn)識(shí)到，攝像頭105可以被整合到電子設(shè)備101，或者其可以獨(dú) 立作為附件或外設(shè)，用于通過(guò)有線或無(wú)線連接將圖像數(shù)據(jù)發(fā)送到電子設(shè)備。如本發(fā)明優(yōu)選 方法所描述，微處理器109與比較器111 一起使用，從而確定攝像頭105連續(xù)供應(yīng)的圖像是 否是人臉圖像。如果檢測(cè)到人臉圖像，則可以確定該圖像是否與先前用戶期間數(shù)據(jù)庫(kù)107 中存儲(chǔ)的那些圖像中的任一圖像匹配。每個(gè)矢量表示從攝像頭105發(fā)送到電子設(shè)備101的 數(shù)字圖像的數(shù)值表示。如本文所討論的，電子設(shè)備101對(duì)數(shù)據(jù)庫(kù)107中建立的矢量和攝像 頭105提供的當(dāng)前矢量進(jìn)行比較。當(dāng)肯定地確定其匹配并且用戶被認(rèn)證時(shí)，系統(tǒng)100配置 為允許用戶可以對(duì)電子設(shè)備101完全或受限地訪問(wèn)。
[0027]圖2是示出了根據(jù)本發(fā)明的實(shí)施例的臉部生物特征方法100的總體的流程圖。盡 管本方法如圖2中的序列所描述，但是對(duì)于本領(lǐng)域技術(shù)人員來(lái)說(shuō)，在不脫離本方法的精神 和范圍的情況下，其它重用和定義是可行的，這是顯而易見(jiàn)的。這些方法可以包括，二維 (2D)、三維(3D)紅外線(IR)和/或其它臉部識(shí)別技術(shù)，但并不限于此。在用于臉部生物特 征概述200的方法中，在201開始用于登錄設(shè)備的初始啟動(dòng)過(guò)程，設(shè)備顯示器幕203，從而允 許用戶提供其登錄密碼或其它認(rèn)證證書。在205，從與設(shè)備相關(guān)聯(lián)的攝像頭接收視頻幀，其 中在207，通過(guò)使用臉部檢測(cè)，利用該設(shè)備確定從攝像頭接收的圖像數(shù)據(jù)是否是臉部圖像。 如果不是臉部圖像，那么設(shè)備繼續(xù)等待用戶登錄證書(在203)。
[0028]不過(guò)，如果圖像數(shù)據(jù)是臉部圖像，那么用戶提醒計(jì)時(shí)器啟動(dòng)(在209)。用戶提醒計(jì) 時(shí)器用于確定某一預(yù)定時(shí)間，其中在該時(shí)間內(nèi)，用戶應(yīng)當(dāng)在向用戶顯示消息以請(qǐng)求用戶手 動(dòng)輸入其證書之前被認(rèn)證。用戶提醒計(jì)時(shí)器的期滿，不同于推薦用戶手動(dòng)登陸，不對(duì)認(rèn)證有 影響，因?yàn)檎J(rèn)證過(guò)程已經(jīng)超過(guò)預(yù)期持續(xù)時(shí)間，并且系統(tǒng)將受益于數(shù)據(jù)庫(kù)更新。因此，即使如 果請(qǐng)求用戶輸入密碼，也能繼續(xù)評(píng)估攝像頭幀。系統(tǒng)能夠在輸入其證書時(shí)識(shí)別用戶，這加速 其的訪問(wèn)。只要用戶仍然在設(shè)備之前，本發(fā)明的系統(tǒng)和方法嘗試執(zhí)行數(shù)據(jù)庫(kù)匹配。即使在 發(fā)生認(rèn)證之后，利用這一連續(xù)認(rèn)證特征來(lái)評(píng)估每個(gè)攝像頭幀。
[0029]在來(lái)自攝像頭的圖像被轉(zhuǎn)換到圖像矢量之后，設(shè)備隨后確定矢量是否與數(shù)據(jù)庫(kù) 中已確定的一個(gè)矢量匹配(在211)。如果沒(méi)有發(fā)生匹配并且用戶提醒計(jì)時(shí)器沒(méi)有到期(在221)，那么設(shè)備利用數(shù)據(jù)庫(kù)中的矢量繼續(xù)處理新進(jìn)入的圖像矢量以確定是否發(fā)生匹配。如果用戶提醒計(jì)時(shí)器到期，那么隨后請(qǐng)求用戶的登錄證書(在223)，其中可以利用鍵盤輸入該證書，用戶可以手動(dòng)輸入密碼或其它證書，或者其它類型的接口，諸如其它生物特征方法。同時(shí)，設(shè)備繼續(xù)掃描新進(jìn)入的圖像/矢量以確定是否與數(shù)據(jù)庫(kù)中的那些匹配。如果在任意時(shí)間與數(shù)據(jù)庫(kù)發(fā)生匹配(在211)，系統(tǒng)將繼續(xù)與任選因子的匹配。如果用戶設(shè)備的證書與數(shù)據(jù)庫(kù)中存儲(chǔ)的證書不匹配，那么過(guò)程再次啟動(dòng)，利用該過(guò)程，設(shè)備等待來(lái)自用戶初始登錄證書(在203)并且繼續(xù)掃描矢量。
[0030]不過(guò)，如果證書與數(shù)據(jù)庫(kù)中的證書匹配，并且與任選因子證書因子匹配(在213)，那么開始如圖3所討論的自動(dòng)數(shù)據(jù)庫(kù)過(guò)程。在用戶提醒計(jì)時(shí)器到期之前(在221)，在從攝像頭接收的當(dāng)前矢量與數(shù)據(jù)庫(kù)中的一個(gè)矢量匹配的情況下，可以提示用戶一個(gè)或多個(gè)額外認(rèn)證因子，諸如通行短語(yǔ)或者提供任選額外的因子以供認(rèn)證的第二密碼。如果用戶未能提供這一通行短語(yǔ)或者如果該通行短語(yǔ)與數(shù)據(jù)庫(kù)中的短語(yǔ)不匹配，那么系統(tǒng)返回到開始，用戶提醒計(jì)時(shí)器被重置，并且顯示開始登陸屏幕(在203)。
[0031]一旦用戶被認(rèn)證，用戶隨后被授權(quán)訪問(wèn)(在215)，并且登入設(shè)備來(lái)全部或受限地使用其特征。如對(duì)比現(xiàn)有技術(shù)，本發(fā)明的創(chuàng)造性方面為，一旦用戶獲得訪問(wèn)，可以連續(xù)掃描并認(rèn)證用戶(在217)。本領(lǐng)域技術(shù)人員將認(rèn)識(shí)到，這種連續(xù)認(rèn)證過(guò)程使得用戶能夠離開設(shè)備，從而允許顯示器幕無(wú)效，于是屏幕或監(jiān)視器上的圖像不在能夠被查看，并且數(shù)據(jù)項(xiàng)被鎖定。因此，在用戶離開攝像頭的視野時(shí)，可以容易地保護(hù)設(shè)備上目前顯示文本、圖像或其它數(shù)據(jù)的安全。一旦用戶再次返回?cái)z像頭的視野，本發(fā)明的方法提供對(duì)該用戶的重新認(rèn)證。一旦確定了重新認(rèn)證，顯示和數(shù)據(jù)項(xiàng)被鎖定，從而允許以如用戶離開視野時(shí)的狀態(tài)來(lái)立即訪問(wèn)設(shè)備。
[0032]在通常的使用中，當(dāng)利用該方法保護(hù)個(gè)人計(jì)算機(jī)的安全時(shí)，在設(shè)備上運(yùn)行的應(yīng)用軟件不受影響，并且繼續(xù)在設(shè)備上運(yùn)行，盡管沒(méi)有顯示。不過(guò)，本發(fā)明的方法允許用戶選擇當(dāng)設(shè)備變?yōu)殒i定或解鎖時(shí)設(shè)備影響的程度。因此，用戶可以利用該方法確定來(lái)使得設(shè)備I)鎖定、2)解鎖、3)登錄、4)注銷。設(shè)備的“鎖定”提供了安全桌面，而不使用戶斷開文檔或電子郵件服務(wù)器，并且不關(guān)閉在設(shè)備上運(yùn)行的任何應(yīng)用軟件。當(dāng)用戶不在攝像頭視野之內(nèi)時(shí)，設(shè)備上的顯示器、鍵盤和/或鼠標(biāo)可能是失靈的。一旦用戶回到視野，方法提供了重新認(rèn)證。一旦重新建立了這種安全，則設(shè)備的顯示器能再次使用。因此，這個(gè)過(guò)程在用戶位于攝像頭的視野之外時(shí)，提供了維護(hù)個(gè)人計(jì)算機(jī)或其他設(shè)備安全的簡(jiǎn)單方式。因?yàn)槭褂昧四槻可锾卣鞑⑶疫B續(xù)地認(rèn)證用戶，當(dāng)用戶暫時(shí)或長(zhǎng)時(shí)間離開工作站時(shí)，能讓用戶放心的是顯示在設(shè)備上的數(shù)據(jù)和對(duì)網(wǎng)絡(luò)的訪問(wèn)將是安全的。
[0033]圖3是示出如圖2中簡(jiǎn)要描述的持續(xù)認(rèn)證程序的流程圖。持續(xù)認(rèn)證過(guò)程是本發(fā)明的關(guān)鍵特征，因?yàn)槠湓试S用戶在進(jìn)入攝像頭的視野之后被容易地重新認(rèn)證。當(dāng)授權(quán)已認(rèn)證的用戶訪問(wèn)并且解鎖設(shè)備(在303)時(shí)，持續(xù)認(rèn)證過(guò)程(在300)開始(在301)。使用生物特征重新認(rèn)證或臉部特征跟蹤程序來(lái)確定用戶仍然存在于攝像頭的視野中(在305)。在保持系統(tǒng)解鎖時(shí)，允許用戶臉部的重新認(rèn)證為最高等級(jí)的安全。相反地，通過(guò)跟蹤已認(rèn)證用戶的臉部特征，臉部特征跟蹤允許使用低CPU資源來(lái)達(dá)到高安全性。在本文中參考圖5討論臉部特征跟蹤和持續(xù)認(rèn)證。
[0034]如果已認(rèn)證用戶離開了攝像頭的視野(在307)，開始可選的延時(shí)的鎖定定時(shí)器過(guò)程(在309)。將參考圖5充分地描述延時(shí)的鎖定定時(shí)器過(guò)程。在該過(guò)程結(jié)束之后，鎖定設(shè)備(在311)。如果用戶進(jìn)入攝像頭視野(在313)，需要確定可選的快速解鎖定時(shí)器是否已過(guò)期(在315)。如果使用了快速解鎖定時(shí)器，快速解鎖定時(shí)器通常是短暫的，通常為1-10秒。如果快速解鎖定時(shí)器沒(méi)有過(guò)期，則用現(xiàn)存的任意臉部而不是特定的臉部識(shí)別來(lái)解鎖設(shè)備(在335)。如果快速鎖定定時(shí)器已過(guò)期，設(shè)備恢復(fù)用于認(rèn)證的連續(xù)的生物特征掃描(在317)。重新啟動(dòng)用戶改變定時(shí)器(在319)，并且確定來(lái)自攝像頭的圖像是否與存儲(chǔ)在數(shù)據(jù)庫(kù)中的矢量相匹配(在321)。如果攝像頭圖像不匹配任何存儲(chǔ)的圖像，則確定用戶改變定時(shí)器是否已過(guò)期(在323)。如果沒(méi)有過(guò)期，則過(guò)程在圖像與數(shù)據(jù)庫(kù)不匹配的位置繼續(xù)匹配圖像(在321)。如果用戶改變定時(shí)器已過(guò)期，則繼續(xù)生物特征掃描和數(shù)據(jù)庫(kù)匹配并且向當(dāng)前用戶請(qǐng)求他的或她的認(rèn)證證書。如果存在匹配，開始自動(dòng)化的數(shù)據(jù)庫(kù)過(guò)程(在329)，其將在圖4中更充分地描述。如果在用戶輸入他的或她的證書之前有數(shù)據(jù)庫(kù)的匹配而用戶改變定時(shí)器已過(guò)期時(shí)，執(zhí)行自動(dòng)化的數(shù)據(jù)庫(kù)過(guò)程(在329)。在自動(dòng)化的數(shù)據(jù)庫(kù)過(guò)程結(jié)束處，將認(rèn)為用戶已被認(rèn)證。系統(tǒng)將或者解鎖設(shè)備(在335)，或者可選地注銷已鎖定計(jì)算機(jī)的現(xiàn)有用戶(在337)。接著系統(tǒng)會(huì)自動(dòng)地將新用戶登錄到用戶的賬號(hào)而不用任何另外的認(rèn)證。
[0035]如果開始圖像不匹配數(shù)據(jù)庫(kù)的任何一個(gè)(在321)，可以可選地提示用戶另外的認(rèn)證因子，諸如密碼短語(yǔ)或其他類型的密碼。如果對(duì)于另外的認(rèn)證因子沒(méi)有匹配，則繼續(xù)不間斷的生物特征掃描(在317)。如果存在匹配，需要確定這個(gè)現(xiàn)存的已認(rèn)證用戶是否為剛才暫時(shí)地離開視野的那個(gè)用戶。如果是現(xiàn)有的已認(rèn)證用戶，解鎖設(shè)備(在335)。如果不是現(xiàn)有的用戶，設(shè)備可被配置為注銷現(xiàn)有用戶(在337)并且開始首次的登錄過(guò)程(在301)，在該點(diǎn)結(jié)束連續(xù)的認(rèn)證程序(在339)。
[0036]圖4是用于填充數(shù)據(jù)庫(kù)的過(guò)程及其能用于提高數(shù)據(jù)庫(kù)中矢量質(zhì)量的返回定時(shí)器過(guò)程(在400)的流程圖。自動(dòng)化的數(shù)據(jù)庫(kù)是這樣的過(guò)程:通過(guò)該過(guò)程在用戶使用系統(tǒng)并且輸入密碼，或在用戶改變定時(shí)器過(guò)期之后發(fā)生數(shù)據(jù)庫(kù)匹配時(shí)，將會(huì)創(chuàng)建或更新系統(tǒng)數(shù)據(jù)庫(kù)。雖然最初需要密碼，當(dāng)時(shí)自動(dòng)化數(shù)據(jù)庫(kù)的目的是允許通過(guò)實(shí)際使用而不是特定的登記過(guò)程來(lái)填充數(shù)據(jù)，在其中用戶最終能停止使用密碼認(rèn)證并且通過(guò)使用臉部生物特征數(shù)據(jù)，能采用本發(fā)明的方法來(lái)進(jìn)行認(rèn)證。無(wú)論何時(shí)當(dāng)需要花過(guò)長(zhǎng)的時(shí)間來(lái)用于數(shù)據(jù)庫(kù)匹配時(shí)，通過(guò)更新數(shù)據(jù)庫(kù)，可以提高數(shù)據(jù)庫(kù)的質(zhì)量并且減少用于隨后數(shù)據(jù)庫(kù)匹配的時(shí)間量。這也適用于隨時(shí)間推移用戶臉部的各種物理改變，包括老化、鏡頭的改變、膚色(曬黑的)、相對(duì)于攝像頭用戶的頭部位置、變化的攝像頭特性，和包括照明的各種環(huán)境條件。返回定時(shí)器過(guò)程的目的是在實(shí)際的識(shí)別或認(rèn)證事件的時(shí)間之前用一個(gè)或多個(gè)圖像來(lái)更新數(shù)據(jù)庫(kù)。這允許當(dāng)用戶初次訪問(wèn)設(shè)備時(shí)，系統(tǒng)能獲得更高重量的緊密匹配用戶頭部位置的圖像。
[0037]當(dāng)從攝像頭接收到視頻幀(在403)時(shí)，開始自動(dòng)化的數(shù)據(jù)庫(kù)和返回定時(shí)器過(guò)程(在401)。啟動(dòng)用戶改變定時(shí)器(在405)并且需要確定圖像是否為臉部圖像。如果不是臉部圖像，程序返回到接收視頻(在403)。一旦檢測(cè)到了臉部圖像，將視頻幀及其時(shí)間戳臨時(shí)地存儲(chǔ)在存儲(chǔ)器中(在409)。時(shí)間戳指示了由攝像頭處理的臉部圖像的實(shí)際時(shí)間。做出比較來(lái)確定該圖像是否與數(shù)據(jù)庫(kù)中的另一圖像矢量相匹配。如果產(chǎn)生匹配，則認(rèn)證用戶(在427)。如果沒(méi)有產(chǎn)生匹配，需要確定用戶改變定時(shí)器是否已過(guò)期(在413)。如果用戶改變定時(shí)器沒(méi)有過(guò)期，則接著查看圖像來(lái)確定其是否為臉部圖像(在407)。如果用戶改變定時(shí)器已過(guò)期，則向用戶請(qǐng)求用戶的姓名和密碼，密碼短語(yǔ)等(在415)。如果用戶沒(méi)有用正確的證書進(jìn)行認(rèn)證(在417)，則再次查看圖像來(lái)確定其是否為臉部圖像(在407)。如果認(rèn)證了用戶，則基于 實(shí)際的認(rèn)證時(shí)間減去返回定時(shí)器的值來(lái)從存儲(chǔ)器獲得圖像(在419)。因?yàn)樵谙蛴脩粽?qǐng)求輸 入他的或她的證書時(shí)，還在接收視頻幀(在403)并且繼續(xù)進(jìn)行數(shù)據(jù)庫(kù)匹配(在411)，所以即 使在用戶輸入他的或她的證書時(shí)，系統(tǒng)也可以做出匹配并且往下進(jìn)行用戶認(rèn)證(在407 )。下 一步確定的是用戶是否在數(shù)據(jù)庫(kù)中具有先前存在的圖像。如果用戶在數(shù)據(jù)庫(kù)中不具有先前 存在的圖像，則為該用戶創(chuàng)建新的數(shù)據(jù)庫(kù)(在423)。隨后，一旦創(chuàng)建了新數(shù)據(jù)庫(kù)或先前存在 的圖像是可用的，則將獲得的圖像添加到用戶的數(shù)據(jù)庫(kù)(在425)。接著認(rèn)證了用戶(在427) 并且結(jié)束過(guò)程(在429)。
[0038]圖5是示出了用于本發(fā)明的持續(xù)認(rèn)證實(shí)施例的連續(xù)的臉部特征跟蹤和延時(shí)的鎖 定過(guò)程(在500)的流程圖。作為連續(xù)的認(rèn)證方法的臉部特征跟蹤的優(yōu)點(diǎn)大致在于地中央處 理單元(CPU)負(fù)載和相對(duì)于攝像頭的用戶臉部位置的高容差性。因?yàn)樵跇O短時(shí)間內(nèi)能夠鎖 定系統(tǒng)或啟動(dòng)系統(tǒng)注銷，所以延時(shí)的鎖定接收器允許用戶設(shè)置多快鎖定系統(tǒng)來(lái)匹配用戶的 使用需求。這個(gè)過(guò)程在啟動(dòng)認(rèn)證(在215)之后立刻運(yùn)行，直到鎖定設(shè)備或注銷設(shè)備。如果 該條件存在，如果有用戶臉部的跟蹤或任何的鼠標(biāo)或鍵盤活動(dòng)，系統(tǒng)將保持解鎖。這是期望 之中的，因?yàn)殒i定/注銷動(dòng)作可能發(fā)生得太快。一旦不再檢測(cè)到鼠標(biāo)或鍵盤活動(dòng)，則在鎖定 設(shè)備之前，本發(fā)明的方法提供了可選的預(yù)定時(shí)間段。如果用戶的臉部返回到視野或如果在 不活動(dòng)定時(shí)器過(guò)期之前，重新啟動(dòng)了鍵盤/鼠標(biāo)活動(dòng)，則不會(huì)鎖定設(shè)備并且重置該定時(shí)器。
[0039]更具體地，當(dāng)授權(quán)已認(rèn)證的用戶訪問(wèn)解鎖的設(shè)備(在503)時(shí)，開始過(guò)程(在501)。 從攝像頭接收視頻幀(505)并且將一個(gè)或多個(gè)跟蹤點(diǎn)放置到用戶臉部的顯著特征上(在 507)。接著對(duì)跟蹤點(diǎn)的數(shù)量進(jìn)行計(jì)數(shù)(在509)并且需要確定目前有多少個(gè)跟蹤點(diǎn)。如果跟 蹤點(diǎn)符合最小閾值，則在已授權(quán)用戶訪問(wèn)(在503)并且設(shè)備保持解鎖的情況下再次開始過(guò) 程，。如果跟蹤點(diǎn)的數(shù)量低于最小閾值，則啟動(dòng)延時(shí)的鎖定定時(shí)器(在513)。參考圖6更充 分地描述用于使用延時(shí)的鎖定定時(shí)器的過(guò)程。下一步確定是否由任何鼠標(biāo)、鍵盤或其他外 圍設(shè)備的活動(dòng)(例如在觸屏上的活動(dòng))。如果沒(méi)有活動(dòng)，則在已認(rèn)證的用戶正訪問(wèn)解鎖的設(shè) 備情況下再次開始過(guò)程(在503)。如果在鼠標(biāo)或鍵盤上有活動(dòng)，則確定延時(shí)的鎖定定時(shí)器是 否已過(guò)期(在519)。如果延時(shí)的鎖定定時(shí)器沒(méi)有過(guò)期，則重新開始過(guò)程(在503)。如果延時(shí) 的鎖定定時(shí)器已過(guò)期，則鎖定設(shè)備(在529)并且結(jié)束過(guò)程(在521)。
[0040]圖6示出了連續(xù)的生物特征的認(rèn)證&延時(shí)的鎖定流程圖，其為如在圖5示出的連 續(xù)的臉部特征跟蹤和延時(shí)的鎖定過(guò)程500的可替換的實(shí)施例。雖然圖6中描述的方法非常 類似于圖5中描述的跟蹤特征，但是連續(xù)的生物特征的認(rèn)證提供了理論上更好的安全性， 因?yàn)槠洳粩嗟刂匦麓_認(rèn)用戶。實(shí)際上，連續(xù)的臉部特征跟蹤會(huì)如此快速地鎖定系統(tǒng)以至于 新用戶很難在系統(tǒng)鎖定之前替換現(xiàn)有用戶。為連續(xù)的生物特征的認(rèn)識(shí)是非常CPU密集型 的，并且需要用戶的臉部在攝像頭前方進(jìn)行更加一致的替換。這兩個(gè)因子使得連續(xù)的生物 特征認(rèn)識(shí)在許多環(huán)境和設(shè)備中不太理想。可替換的實(shí)現(xiàn)將包括連續(xù)的生物特征認(rèn)證和連續(xù) 的臉部特征跟蹤二者的組合，其中大多數(shù)時(shí)間執(zhí)行臉部特征跟蹤并且在周期性的間隔中運(yùn) 行生物特征認(rèn)證。
[0041]在圖6中，使用了連續(xù)的生物特征認(rèn)證和延時(shí)的鎖定過(guò)程600。當(dāng)已授權(quán)用戶訪問(wèn) 解鎖的設(shè)備(在603)時(shí)，開始過(guò)程(在601)。從攝像頭接收視頻幀(在605)并且確定圖像是 否匹配已認(rèn)證的用戶。如果圖像不匹配，則在用戶繼續(xù)訪問(wèn)解鎖的設(shè)備的情況下，再次啟動(dòng)過(guò)程(在603)。如果圖像不與已認(rèn)證用戶的圖像相匹配，則啟動(dòng)延時(shí)的鎖定定時(shí)器(在609)并且確定是否有任何的鼠標(biāo)或鍵盤活動(dòng)(在611)。如果不存在活動(dòng)并且延時(shí)的鎖定定時(shí)器已過(guò)期(在613)，則將鎖定設(shè)備或注銷設(shè)備(在615)并且程序?qū)⒔Y(jié)束(在617)。如果沒(méi)有活動(dòng)(在611)并且延時(shí)的鎖定定時(shí)器沒(méi)有過(guò)期(在613)，則再次啟動(dòng)設(shè)備(在603)。如果有活動(dòng)(在611)或延時(shí)的鎖定定時(shí)器沒(méi)有過(guò)期(在613)，則再次啟動(dòng)過(guò)程(在603)。
[0042]圖7是根據(jù)本發(fā)明的可替換的實(shí)施例示出的系統(tǒng)和本發(fā)明的方法的拓?fù)涞目驁D，其中屏幕模式和/或手勢(shì)模式和攝像頭被用來(lái)向用戶提供系統(tǒng)認(rèn)證。首先，本領(lǐng)域的技術(shù)人員應(yīng)認(rèn)識(shí)到“容忍”因子是能容忍的那些類型的輸入或因子，因?yàn)樗鼈兡鼙唤邮芏痪哂邢螂娮釉O(shè)備提供安全訪問(wèn)的準(zhǔn)確精度。換句話說(shuō)，準(zhǔn)確的匹配可能是不必要的，相反僅是以一些預(yù)定義的方式的相似匹配。因此，能選擇和/或調(diào)整特定的因子從而使“準(zhǔn)確的”因子意味著它們的匹配容忍性必須是準(zhǔn)確的和/或大致精確的以便允許訪問(wèn)設(shè)備。將正確運(yùn)行的容忍或準(zhǔn)確因子的等級(jí)通常由軟件的制造商選擇的；但是，這些類型因子的組合允許為設(shè)備提供極大的安全性的方法并同時(shí)使用戶易于使用和訪問(wèn)。
[0043]系統(tǒng)700包括根據(jù)圖1描述的每一個(gè)組件；但是，這個(gè)設(shè)備還包括連接到電子設(shè)備701或在電子設(shè)備701中使用的觸屏709。雖然所示使用了分離的鍵盤703，但是本領(lǐng)域的技術(shù)人員將認(rèn)識(shí)到鍵盤703也可以用軟件形成虛擬鍵盤來(lái)集成到觸屏709中，從而使鍵盤703和觸屏709可以當(dāng)作一個(gè)設(shè)備。如本文指出的，觸屏709將結(jié)合攝像頭711操作，所述攝像頭711的輸入由微處理器705控制和解釋。這允許用戶在觸屏709中輸入手勢(shì)，所述手勢(shì)與攝像頭711結(jié)合使用來(lái)為設(shè)備提供用戶認(rèn)證。這些輸入與存儲(chǔ)在數(shù)據(jù)庫(kù)713中的數(shù)據(jù)和其他信息相比較。該數(shù)據(jù)能通過(guò)使用比較器715來(lái)進(jìn)行比較，所述比較器715用于向訪問(wèn)電子設(shè)備701提供操作訪問(wèn)的比較類型分析。如本文描述的，可選的跟蹤特征717也能用來(lái)確保設(shè)備的用戶保持為同一個(gè)人，而在安全上沒(méi)有缺口和漏洞。
[0044]圖8是示出用于向用戶提供使用屏幕模式/手勢(shì)和臉部生物特征二者的電子設(shè)備的又一可替換的實(shí)施例的流程圖。使用屏幕手勢(shì)和臉部生物特征二者的認(rèn)證過(guò)程(在800)包括啟動(dòng)初始“登錄”過(guò)程(在801)的步驟，所述步驟801觸發(fā)了一些外部事件需要用戶來(lái)輸入認(rèn)證證書。接著顯示認(rèn)證屏幕(在803 )并且攝像頭接收了至少一個(gè)視頻幀(在805 )，從而使用戶能接著輸入預(yù)定義的屏幕手勢(shì)或其他安全因子(在807)。雖然在實(shí)踐中，對(duì)用戶而言一個(gè)或多個(gè)安全因子像是在其他的因子之前發(fā)生，但是本領(lǐng)域的技術(shù)任何將進(jìn)一步認(rèn)識(shí)到在本發(fā)明的方法中，這些因子不需要同時(shí)發(fā)生或以特定的順序發(fā)生。實(shí)際上，因?yàn)閱?dòng)攝像頭的延遲，這個(gè)步驟可以首先發(fā)生，但這不是必要的。
[0045]隨后，需要確定由攝像頭接收的臉部識(shí)別幀與云還是與本地?cái)?shù)據(jù)相匹配(在809)。本領(lǐng)域的技術(shù)人員將認(rèn)識(shí)到“云計(jì)算”意味著經(jīng)由數(shù)字網(wǎng)絡(luò)使用多個(gè)服務(wù)器計(jì)算機(jī)，使其看起來(lái)似乎是一個(gè)計(jì)算機(jī)?？梢越?jīng)由因特網(wǎng)等訪問(wèn)使用云計(jì)算的計(jì)算機(jī)。如果使用嘗試的次數(shù)或其他數(shù)據(jù)超過(guò)了一些預(yù)定時(shí)間段或一些計(jì)數(shù)器(在811)，則要求用戶輸入可替換的證書或取消請(qǐng)求(在815)。如果沒(méi)超過(guò)計(jì)數(shù)器，則攝像頭將被用于提供另外的視頻幀(在805)。一旦輸入了可替換的證書，則需要確定證書是否與存儲(chǔ)在數(shù)據(jù)庫(kù)中的那些證書相匹配(在817)。如果證書匹配，則執(zhí)行自動(dòng)化的數(shù)據(jù)庫(kù)過(guò)程來(lái)更新存儲(chǔ)在數(shù)據(jù)庫(kù)中的圖像和/或其他數(shù)據(jù)(在819)。如果證書不匹配，則攝像頭被用于為認(rèn)證提供另外的視頻幀(在805)。[0046]當(dāng)手勢(shì)與云或本地?cái)?shù)據(jù)庫(kù)不匹配(在813)時(shí)，則再次要求用戶輸入可替換的證書或取消請(qǐng)求(在815)。如果新的證書不匹配，則在有來(lái)自攝像頭至少一個(gè)新幀(在805)的情況下，再次開始過(guò)程；但是，如果新證書不匹配，則對(duì)自動(dòng)化的數(shù)據(jù)庫(kù)執(zhí)行更新來(lái)更新臉部生物特征(在819)。但是，如果手勢(shì)匹配(在813)，則認(rèn)證了用戶并且能將本地或基于云的證書放入到特定的應(yīng)用用于授權(quán)訪問(wèn)和/或使用(在821)。任何更新的生物特征臉部數(shù)據(jù)將被用于在個(gè)認(rèn)證過(guò)程(在821)中。因而，清除認(rèn)證屏幕(在823)并且過(guò)程結(jié)束(在825)。
[0047]在典型的使用中，智能電話或需要認(rèn)證的任意設(shè)備上的用戶訪問(wèn)設(shè)備或需要認(rèn)證的應(yīng)用。該認(rèn)證通常需要用戶名和密碼的輸入。通過(guò)使用嵌入式正面成像設(shè)備(例如，攝像頭)獲得臉部識(shí)別模板來(lái)進(jìn)行軟件認(rèn)證。大約在同時(shí)，提示用戶輸入其先前登記的手勢(shì)。將臉部和手勢(shì)與登記用戶先前登記的模板的數(shù)據(jù)庫(kù)進(jìn)行比較。通過(guò)在幾乎同時(shí)進(jìn)行生物特征臉部數(shù)據(jù)和手勢(shì)的比較，減小了每個(gè)因子的匹配容差，而不會(huì)降低安全的可靠性。因?yàn)闃O大地減少了通常將導(dǎo)致臉部識(shí)別或手勢(shì)識(shí)別可信度降低以及通常會(huì)引起真實(shí)用戶被不期望地錯(cuò)誤拒絕的情況，所以這大大地改善了用戶體驗(yàn)。
[0048]本領(lǐng)域的技術(shù)人員可進(jìn)一步認(rèn)識(shí)到手勢(shì)和生物特征信息的多種不同變型(例如，準(zhǔn)確/容忍因子以及多個(gè)容忍因子)可以包括但不限于:
[0049]準(zhǔn)確因子和容忍因子
[0050]密碼和臉部
[0051]密碼和手勢(shì)
[0052]密碼和模式
[0053]密碼和指紋
[0054]個(gè)人身份號(hào)碼和臉部
[0055]個(gè)人身份號(hào)碼和聲音
[0056]多個(gè)容忍閔子
[0057]臉部和手勢(shì)
[0058]臉部和部分密碼(減少用于接受的密碼字符的數(shù)目)
[0059]臉部和模式
[0060]臉部和指紋
[0061]臉部和聲音
[0062]臉部、聲音和手勢(shì)
[0063]臉部和形狀
[0064]形狀和手勢(shì)
[0065]根據(jù)本發(fā)明的各種實(shí)施例，代替使用分配的登錄名和密碼，如本文描述的方法利用用戶臉部的唯一的、單獨(dú)的特征結(jié)合個(gè)人身份號(hào)碼、手勢(shì)(用戶手指以其選擇的模式在觸摸屏上的活動(dòng))或者顯示的符號(hào)、形狀或其它標(biāo)記的組合，來(lái)驗(yàn)證身份并提供安全且方便的訪問(wèn)。不僅該新方法提供了容易的訪問(wèn)，而且本文所描述的實(shí)施例解決了以容易、輸入快速和無(wú)壓力的方式保證雙因子認(rèn)證的問(wèn)題。
[0066]因此，本發(fā)明還能夠提供個(gè)性化的、基于云的密碼保險(xiǎn)箱的、方便且通用的“單點(diǎn)登錄”(一次登錄多個(gè)應(yīng)用和設(shè)備)。如本文所描述的，用戶已知并鍵入具有許多字母、數(shù)字、形狀或其它標(biāo)記的密碼來(lái)獲得訪問(wèn)。從任何設(shè)備存儲(chǔ)在保險(xiǎn)箱中的密碼在任何地方和在任何其它設(shè)備上都立刻可得，并且可以緩存在本地設(shè)備上。該基于云的存儲(chǔ)的優(yōu)點(diǎn)在于所有 的信息在被使用之前總是加密的。本發(fā)明的實(shí)施例還包括用于Windows、iOS、Android和其 它操作系統(tǒng)設(shè)備的多平臺(tái)支持。此外，密碼還可以被存儲(chǔ)在云中央并且被完全地加密。該 布置的另一優(yōu)點(diǎn)在于設(shè)備(電話、計(jì)算機(jī)、平板電腦等)可以被損壞、丟失或者重裝，但是數(shù) 據(jù)庫(kù)將保持對(duì)認(rèn)證用戶的可訪問(wèn)。接著，本發(fā)明的方案允許多個(gè)用戶安全地且彼此分離地 共享單個(gè)移動(dòng)設(shè)備。每個(gè)用戶具有自己的私有密碼內(nèi)存存儲(chǔ)區(qū)域或者僅通過(guò)個(gè)人唯一的臉 部和手勢(shì)可用的“保險(xiǎn)箱”。
[0067]因?yàn)镻C具有減少的移動(dòng)性并且通常僅用于受限數(shù)量的位置處，所以這種類型的 條件允許用于識(shí)別匹配要求的更不容忍的設(shè)定。在這種設(shè)定下，PC通常具有非常低的錯(cuò)誤 報(bào)對(duì)率，在106錯(cuò)誤報(bào)對(duì)/訪問(wèn)企圖中僅僅為大約6.3。因此，在PC環(huán)境下，在學(xué)習(xí)的短暫 時(shí)期之后，獲得好的識(shí)別率的同時(shí)能維持高的準(zhǔn)確性。然而，典型的PC環(huán)境是相對(duì)于照明 和對(duì)臉部的觀察而相對(duì)控制的。這并不適用于移動(dòng)設(shè)備的情況，其中由于移動(dòng)設(shè)備在照明 和臉部的攝像頭角度/臉部距攝像頭的距離方面具有較高的差異，所以照明和手持移動(dòng)設(shè) 備對(duì)臉部的觀察總是在顯著地變化。為了在該變化環(huán)境下維持非常高的識(shí)別率，匹配容差 必須稍微放松以便提供優(yōu)良的識(shí)別率。不幸地是，放松容差還增加了不正確識(shí)別的可能性。 即使是臨時(shí)用戶也不會(huì)容忍較高的錯(cuò)誤識(shí)別率以及會(huì)導(dǎo)致對(duì)其私有數(shù)據(jù)的未認(rèn)證訪問(wèn)。
[0068]利用次級(jí)因子，例如當(dāng)臉部被識(shí)別時(shí)的模式，指數(shù)級(jí)地增加了認(rèn)證準(zhǔn)確性，從而同 時(shí)輸入模式/個(gè)人身份號(hào)碼以及臉部識(shí)別是非常快速、自然和方便的。這允許本發(fā)明實(shí)施 臉部識(shí)別匹配容差值，其提供在變化的照明情況以及各種臉部角度下的優(yōu)良識(shí)別，同時(shí)提 高整體的認(rèn)證準(zhǔn)確性超過(guò)大部分認(rèn)證方案。利用臉部識(shí)別和手勢(shì)，可以最小化該兩者的弱 勢(shì)。在臉部識(shí)別的情況下，手勢(shì)防止照片或視頻攻擊，而臉部防止另一認(rèn)證用戶簡(jiǎn)單地觀察 和重復(fù)手勢(shì)。因此，成功的“涂抹攻擊”在沒(méi)有臉部的情況下本質(zhì)上不能進(jìn)行訪問(wèn)。成功的 “重播攻擊”(照片/視頻)而不利用手勢(shì)也不能進(jìn)行訪問(wèn)。具有多個(gè)因子也有助于最小化 社交工程。當(dāng)具有所有形式的安全/秘密時(shí)，對(duì)用戶的個(gè)人了解會(huì)增加獲得未經(jīng)認(rèn)證的訪 問(wèn)的速度。要求多個(gè)獨(dú)立類型的信息減小了任意單獨(dú)條個(gè)人了解將是足夠的這種可能性。
[0069]圖9A和圖9B示出了展示動(dòng)態(tài)手勢(shì)布置的特征的觸摸屏。圖9A示出了當(dāng)繪畫區(qū) 域保持在相同或一致位置時(shí)在觸摸屏表面上留下的手指涂抹或殘余的外觀。因?yàn)樵摎堄嗟?模式，殘余可能允許未認(rèn)證的人員觀察到給定的用戶手勢(shì)，降低了該因子的安全性。圖9B 示出了動(dòng)態(tài)手勢(shì)布置的使用，即當(dāng)每次需要手勢(shì)時(shí)，本發(fā)明的方法仔細(xì)地移動(dòng)在觸摸屏顯 示器上手勢(shì)進(jìn)入點(diǎn)的布置。顯示器上的數(shù)據(jù)進(jìn)入?yún)^(qū)域能夠動(dòng)態(tài)地移動(dòng)和/或沿顯示器上的 任意方向歪斜，例如向上、向下、向側(cè)邊或沿對(duì)角線。該過(guò)程允許重疊油跡，這大大減小了認(rèn) 證人員能夠推斷手勢(shì)的可能性。這消除了模式安全的共同弱點(diǎn)，即設(shè)備屏幕上的來(lái)自指油 的油脂痕跡或其它殘余能暗示或顯示為用于手勢(shì)或手指移動(dòng)模式。
[0070]圖10示出了根據(jù)本發(fā)明的多個(gè)實(shí)施例實(shí)施的結(jié)合永久計(jì)算機(jī)可讀介質(zhì)使用的認(rèn) 證過(guò)程的流程圖。認(rèn)證過(guò)程1000開始于:用直播視頻和在觸摸屏顯示器的數(shù)據(jù)輸入或“手 勢(shì)”區(qū)域內(nèi)的消息提示用戶(在1001)。確定攝像頭安置定時(shí)器是否過(guò)期(在1003)。如果沒(méi) 有，則該過(guò)程繼續(xù)直到攝像頭為捕捉一個(gè)或多個(gè)圖像而充分靜止達(dá)預(yù)訂時(shí)間段。一旦定時(shí) 器已經(jīng)過(guò)期，那么用戶的圖像被捕捉到并在電子設(shè)備的觸摸屏上轉(zhuǎn)移給用戶(在1005)。另 夕卜，可以向用戶顯示“開始掃描”動(dòng)畫以用于提供視頻認(rèn)證捕捉的通知，同時(shí)還可以在屏幕上顯示其它各種指標(biāo)。為了捕捉預(yù)定數(shù)目的像素或幀，增加重試計(jì)數(shù)器，并將圖像發(fā)送到用于評(píng)價(jià)的預(yù)定位置。
[0071]之后，確定用戶是否無(wú)效，也公知為“不良用戶”(在1007)。如果用戶為無(wú)效的或者不良的(在1009)，那么顯示器將通知用戶需要初始“建立”或?qū)ο到y(tǒng)軟件進(jìn)行編程(在1009)。在這種情況下，用戶通向次級(jí)建立步驟(在1011)。然而，如果用戶不是無(wú)效的，那么該過(guò)程確定是否檢測(cè)用戶的臉部(在1013)。如果檢測(cè)了，則保存臉部圖像以用于稍后的學(xué)習(xí)步驟(在1015)，并且通過(guò)比較該臉部與本地存儲(chǔ)或在云數(shù)據(jù)庫(kù)中的數(shù)據(jù)以確定臉部是否經(jīng)認(rèn)證(在1017)。如果臉部經(jīng)認(rèn)證，則過(guò)程繼續(xù)以確定是否已經(jīng)輸入第二因子(在1039)。如在本文中描述的，“第二因子”是手勢(shì)或者是本文所描述的在觸摸顯示器上顯示的符號(hào)組合的輸入。然而，如果臉部未經(jīng)認(rèn)證(在1017)，則系統(tǒng)確定是否已經(jīng)超過(guò)重試計(jì)數(shù)(在1019)。如果未超過(guò)重試計(jì)數(shù)，則系統(tǒng)通知用戶其未被識(shí)別(在1037)并且通過(guò)提示用戶再次開始過(guò)程(在1001)。
[0072]如果超過(guò)重試計(jì)數(shù)(在1019)，則系統(tǒng)確定是否保存了圖像以用于稍后的學(xué)習(xí)步驟(在1035)。如果保存了圖像，則提醒用戶輸入用于學(xué)習(xí)用戶臉部的云密碼。之后，處理并存儲(chǔ)用戶的臉部圖像(在1036)。該過(guò)程將重試(在1038)并輸入清除狀態(tài)(在1044)，或者如果輸入了有效密碼(在1040)，則保存圖像以用于過(guò)程的系統(tǒng)“學(xué)習(xí)”步驟(在1042)。確定有效用戶認(rèn)證(在1029)，從而授權(quán)用戶訪問(wèn)電子設(shè)備(在1031)。如果未保存圖像(在1035)，則這將觸發(fā)網(wǎng)絡(luò)錯(cuò)誤或者網(wǎng)絡(luò)超時(shí)信息(在1023)，并且取消用戶臉部認(rèn)證處理步驟。之后，提示用戶輸入密碼覆寫(在1025)。一旦輸入并確認(rèn)為有效密碼(在1027)，可以發(fā)布有效認(rèn)證命令(在1029)，并且授權(quán)用戶訪問(wèn)電子設(shè)備(在1031)。
[0073]如此處需要注意的，一旦發(fā)生了臉部認(rèn)證(在1017)，則進(jìn)行第二確認(rèn)用戶是否已經(jīng)輸入了第二因子(在1039)。第二因子可以包括但不限于屏幕手勢(shì)、密碼、顯示符號(hào)的輸入及其各種組合。如果第二因子是無(wú)效的(在1041)，則提示用戶重新輸入個(gè)人身份號(hào)碼的手勢(shì)(在1043)，并且該過(guò)程再次開始(在1039)。然而，一旦第二因子是有效的(在1041 )，則向用戶顯示批準(zhǔn)或確認(rèn)(在1045)，并且用戶認(rèn)證證書是有效的，從而授權(quán)他們?cè)L問(wèn)電子設(shè)備(在 1031)。
[0074]因此，如在密碼覆寫過(guò)程(在1025)中所描述的，本發(fā)明的方法提供“回退”訪問(wèn)操作，從而在不能發(fā)生“標(biāo)準(zhǔn)”認(rèn)證的情況下(例如，如果由于極端照明條件而不能進(jìn)行臉部識(shí)別)，單個(gè)的或者多因子的覆寫是可以的?？梢栽O(shè)置用于該覆寫和每個(gè)因子的復(fù)雜要求以滿足期望的安全目標(biāo)。覆寫選項(xiàng)包括但不限于以下輸入:個(gè)人身份號(hào)碼(PIN);屏幕手勢(shì)和PIN ;復(fù)雜密碼(字母、數(shù)據(jù)和/或符號(hào))；或者屏幕手勢(shì)和復(fù)雜密碼。
[0075]有時(shí)在云中存儲(chǔ)敏感信息會(huì)引起關(guān)注，因此仔細(xì)考慮通常是必要的，這是因?yàn)樾畔⒌奈凑J(rèn)證破壞對(duì)于系統(tǒng)操作而言是不利的。根據(jù)本發(fā)明的另一方案，可以利用具有固定塊大小、重復(fù)計(jì)數(shù)和至少128位密鑰的Rijndael對(duì)稱算法，在云服務(wù)器和/或本地電子設(shè)備上對(duì)證書進(jìn)行加密。該加密技術(shù)通常超過(guò)用于政府和財(cái)務(wù)數(shù)據(jù)的標(biāo)準(zhǔn)。利用對(duì)每個(gè)用戶唯一的加密密鑰，將網(wǎng)站證書加密為“數(shù)據(jù)二進(jìn)制大對(duì)象(data blob)”。因此，在一個(gè)用戶的賬戶被危害的不可能的情況下，由于除了用戶外的其它方不會(huì)知道加密密鑰或密碼，所以不能將密鑰用于訪問(wèn)其他用戶的數(shù)據(jù)。由于該關(guān)鍵信息能保持未知的，所以總是推薦在當(dāng)?shù)貍浞葑C書數(shù)據(jù)庫(kù)。由于從云恢復(fù)密碼是不可能的，所以從不以未加密的狀態(tài)傳輸數(shù)據(jù)。實(shí)際上，直到在使用前不存在未加密狀態(tài)。在該配置下，電子設(shè)備(電話、平板電腦、膝上電腦等)是簡(jiǎn)單的或者是“啞的”客戶端，在其上通常并未本地存儲(chǔ)數(shù)據(jù)。這意味著即使設(shè)備被盜，不管黑客花費(fèi)多少努力，密碼也不可能物理地呈現(xiàn)。有限時(shí)間本地緩存是可選擇地可用的，從而本發(fā)明能夠允許管理員在必要時(shí)脫離網(wǎng)絡(luò)而操作，同時(shí)能最小化風(fēng)險(xiǎn)。
[0076]因此，本發(fā)明的系統(tǒng)和方法提供對(duì)個(gè)人計(jì)算機(jī)或者要求安全性的其它電子設(shè)備的快速、簡(jiǎn)單和安全訪問(wèn)。本發(fā)明在認(rèn)證過(guò)程中結(jié)合使用屏幕手勢(shì)和生物特征安全。通過(guò)結(jié)合在幾乎同時(shí)分析的至少兩種因子，能夠降低容忍因子要求的容差匹配，而不降低電子設(shè)備的整體安全準(zhǔn)確性。結(jié)合生物特征技術(shù)的該級(jí)別的安全性意味著，本發(fā)明唯一地提供利用多個(gè)平臺(tái)可獲得的基于云的安全證書快速、準(zhǔn)確登錄到設(shè)備、網(wǎng)站和app，以及個(gè)性化訪問(wèn)設(shè)備，而無(wú)需例如Android和iOS的用戶賬戶。結(jié)合本發(fā)明的實(shí)施例使用的成像是照明容忍的，對(duì)不想要的圖像提供非常強(qiáng)的照片和視頻拒絕。
[0077]雖然已經(jīng)示出并描述了本發(fā)明的優(yōu)選實(shí)施例，但是清楚的是本發(fā)明并不限于此。在不背離所附權(quán)利要求限定的本發(fā)明的精神和范圍的情況下，對(duì)本領(lǐng)域技術(shù)人員而言可以想到多種修改、變化、變型、替換和等價(jià)。如本文所使用的，術(shù)語(yǔ)“包括”、“包括有”或者其任何其它變型意圖覆蓋非排他的包含物，從而過(guò)程、方法、物品或包括一列元件的設(shè)備不僅包括那些元件，還可以包括未明確列出的或這種過(guò)程、方法、物品或設(shè)備所固有的其它元件。
【權(quán)利要求】
1.一種用于為電子設(shè)備提供安全的臉部生物特征識(shí)別系統(tǒng)，包括: 數(shù)字?jǐn)z像頭，具有用于提供來(lái)自所述電子設(shè)備的用戶的用于建立第一安全因子的多個(gè)臉部生物特征圖像的視野； 觸摸屏，用于使得所述用戶能夠輸入用于建立第二安全因子的數(shù)據(jù)； 與所述電子設(shè)備相關(guān)聯(lián)的至少一個(gè)處理器，用于將所述第一因子和所述第二因子與數(shù)據(jù)庫(kù)中存儲(chǔ)的數(shù)據(jù)進(jìn)行比較；并且 其中，如果所述第一因子和所述第二因子與所述數(shù)據(jù)庫(kù)中存儲(chǔ)的數(shù)據(jù)相匹配，則使得能夠?qū)λ鲭娮釉O(shè)備訪問(wèn)。
2.如權(quán)利要求1所述的臉部生物特征識(shí)別系統(tǒng)，其中，所述觸摸屏上的數(shù)據(jù)輸入?yún)^(qū)域能夠被動(dòng)態(tài)地設(shè)置，以防止通過(guò)手指殘余而識(shí)別之前輸入的數(shù)據(jù)。
3.如權(quán)利要求1所述的臉部生物特征識(shí)別系統(tǒng)，其中，所述第二因子是屏幕手勢(shì)。
4.如權(quán)利要求1所述的臉部生物特征識(shí)別系統(tǒng)，其中，所述第二因子是所顯示的符號(hào)的預(yù)定組合。
5.如權(quán)利要求1所述的臉部生物特征識(shí)別系統(tǒng)，其中，所述數(shù)據(jù)庫(kù)位于所述電子設(shè)備內(nèi)。
6.如權(quán)利要求1所述的臉部生物特征識(shí)別系統(tǒng)，其中，所述數(shù)據(jù)庫(kù)是云。
7.如權(quán)利要求1所述的臉部生物特征識(shí)別系統(tǒng)，其中，所述電子設(shè)備是來(lái)自個(gè)人計(jì)算機(jī)、個(gè)人數(shù)字助理、移動(dòng)電話或游戲設(shè)備的組中的一個(gè)。
8.一種用于向電子設(shè)備提供安全的方法，包括以下步驟:
顯示認(rèn)證屏幕；
提供來(lái)自至少一個(gè)攝像頭的數(shù)據(jù)，以用于提供生物特征認(rèn)證數(shù)據(jù)；
向觸摸屏顯示器提供用戶輸入數(shù)據(jù)；
將所述生物特征認(rèn)證數(shù)據(jù)與數(shù)據(jù)庫(kù)中存儲(chǔ)的信息進(jìn)行比較；
將所述用戶輸入數(shù)據(jù)與數(shù)據(jù)庫(kù)中存儲(chǔ)的信息進(jìn)行比較；
確定所述用戶是否被認(rèn)證了；
如果所述用戶被認(rèn)證了，則向所述電子設(shè)備上運(yùn)行的應(yīng)用輸入認(rèn)證證書；以及
授權(quán)對(duì)所述電子設(shè)備的訪問(wèn)。
9.如權(quán)利要求8所述的用于提供安全的方法，還包括:將所述用戶的臉部用作所述生物特征認(rèn)證數(shù)據(jù)的步驟。
10.如權(quán)利要求8所述的用于提供安全的方法，還包括:將屏幕手勢(shì)用作所述用戶輸入數(shù)據(jù)的步驟。
11.如權(quán)利要求8所述的用于提供安全的方法，還包括:使用在所述觸摸屏顯示器上顯示的符號(hào)的預(yù)定序列的步驟。
12.如權(quán)利要求8所述的用于提供安全的方法，還包括:在所述觸摸屏顯示器上顯示作為所述符號(hào)的多個(gè)形狀的步驟。
13.如權(quán)利要求8所述的用于提供安全的方法，還包括:移動(dòng)所述觸摸屏顯示器上所顯示的數(shù)據(jù)輸入?yún)^(qū)域，以防止由于所述觸摸屏顯示器上留下的殘余而識(shí)別之前輸入的數(shù)據(jù)的步驟。
14.如權(quán)利要求8所述的用于提供安全的方法，還包括:通過(guò)選擇所述生物特征認(rèn)證數(shù)據(jù)或所述用戶輸入中的任何一個(gè)來(lái)提供容忍因子，以用于如果所述比較位于預(yù)定容忍內(nèi)則授權(quán)對(duì)所述電子設(shè)備的訪問(wèn)的步驟。
15.如權(quán)利要求8所述的用于提供安全的方法，還包括:將所述數(shù)據(jù)庫(kù)包括在所述電子設(shè)備中的步驟。
16.如權(quán)利要求8所述的用于提供安全的方法，還包括:將所述數(shù)據(jù)庫(kù)包括在經(jīng)由互聯(lián)網(wǎng)訪問(wèn)的云中的步驟。
17.如權(quán)利要求8所述的方法，其中，所述電子設(shè)備是來(lái)自個(gè)人計(jì)算機(jī)(PC)、個(gè)人數(shù)字助理(PDA )、蜂窩電話 、游戲設(shè)備或移動(dòng)電話的組中的一個(gè)。
【文檔編號(hào)】G06F21/31GK103593594SQ201310008147
【公開日】2014年2月19日 申請(qǐng)日期:2013年1月9日 優(yōu)先權(quán)日:2012年1月9日
【發(fā)明者】C·阿扎爾, G·布羅斯托夫 申請(qǐng)人:明智視覺(jué)有限公司