優(yōu)先權(quán)申請(qǐng)
本專利申請(qǐng)要求2014年11月13日提交的美國臨時(shí)專利申請(qǐng)no.62/079,003的權(quán)益,該申請(qǐng)的全部內(nèi)容通過引用的方式被并入本文中。
背景技術(shù):
個(gè)人計(jì)算機(jī)、平板計(jì)算機(jī)和電話中的面部識(shí)別非常依賴于由集成的面向用戶的攝像機(jī)所產(chǎn)生的圖像質(zhì)量,其繼而非常依賴于環(huán)境光照條件。這些攝像機(jī)主要被校準(zhǔn)以調(diào)整它們的設(shè)置以用于最佳的攝影質(zhì)量而不是關(guān)注用戶的面部。作為結(jié)果,在次優(yōu)的光照條件下,例如,黑暗的房間、陽光直射、明亮的背景(例如,開著窗戶)下,用戶的面部會(huì)太暗、太亮或呈現(xiàn)暗色輪廓。這嚴(yán)重地阻礙了面部檢測(cè)和識(shí)別,因此使面部識(shí)別在典型的使用環(huán)境中是不可靠的體驗(yàn)。
當(dāng)前的面部識(shí)別解決方案遭受性能下降,并且在一些情況下,甚至未能在不利的光照條件下檢測(cè)到用戶的面部,不利的光照條件例如,當(dāng)光照小于30lux(黑暗區(qū)域)、大于10000lux(陽光直射)、或由明亮的背景所模糊(例如,當(dāng)前景光照小于100lux并且背景大于1000lux時(shí))。網(wǎng)絡(luò)攝像機(jī)在多種平臺(tái)和oem上表現(xiàn)得參差不齊,并且未被校準(zhǔn)以在不利的光照條件下相對(duì)于背景來突顯面部,導(dǎo)致了面部識(shí)別的失敗。
用于補(bǔ)償?shù)凸庹盏某S梅椒ㄊ菍⑾ド闲陀?jì)算機(jī)/平板計(jì)算機(jī)的屏幕轉(zhuǎn)換到全部是白色的圖像,因此使用該屏幕的亮度來照亮主體(例如,sensiblevision的facebright)。然而,在低光照條件下,平板計(jì)算機(jī)/筆記本型計(jì)算機(jī)屏幕亮度經(jīng)常由周圍的光傳感器自動(dòng)調(diào)整為低設(shè)置,導(dǎo)致白屏幕不是非常亮并且因而阻礙了這種方法的效力。從計(jì)算機(jī)屏幕到面部的距離是導(dǎo)致該方法的令人懷疑的可靠性的另一個(gè)因素。而且,這種方法并不解決來自陽光直射和來自明亮的背景的固有的問題。
附圖說明
以舉例而不是限制的方式在附圖的圖片中示出了實(shí)施例,在附圖中相似的附圖標(biāo)記指的是類似的元件。
圖1a和圖1b示出了基于特征的認(rèn)證系統(tǒng);
圖2a和圖2b示出了用于對(duì)在圖1的認(rèn)證系統(tǒng)中使用的圖像進(jìn)行校正的方法;
圖3a顯示了針對(duì)明亮的背景拍攝的面部圖像;
圖3b示出了圖3a中顯示的圖像的校正;
圖4a顯示了在低光照條件下拍攝的面部圖像;
圖4b示出了圖4a中顯示的圖像的校正;
圖5a顯示了在非常低的光照條件下拍攝的面部圖像;
圖5b示出了圖5a中顯示的圖像的校正;以及
圖6是根據(jù)示例性實(shí)施例示出了示例性機(jī)器的方框圖,在該示例性機(jī)器中可以執(zhí)行本文中討論的技術(shù)(例如,方法)中的任何一個(gè)或多個(gè)。
具體實(shí)施方式
如上所述,個(gè)人計(jì)算機(jī)、平板計(jì)算機(jī)和電話中的面部識(shí)別非常依賴于由集成的面向用戶的攝像機(jī)所產(chǎn)生的圖像質(zhì)量,其繼而非常依賴于周圍的光照條件。這些攝像機(jī)主要被校準(zhǔn)以調(diào)整它們的設(shè)置以用于最佳的攝影質(zhì)量而不是關(guān)注用戶的面部。作為結(jié)果,在次優(yōu)的光照條件下,捕捉的圖像不是最佳的。這嚴(yán)重地阻礙了面部檢測(cè)和識(shí)別,因此使面部識(shí)別在典型的使用環(huán)境中是不可靠的體驗(yàn)。
圖1a示出了基于特征的認(rèn)證系統(tǒng)100。圖1a的系統(tǒng)100包括經(jīng)由連接器106連接到一個(gè)或多個(gè)攝像機(jī)104的計(jì)算系統(tǒng)102。在一些實(shí)施例中,計(jì)算機(jī)系統(tǒng)102包括顯示器108、處理器和用于存儲(chǔ)數(shù)據(jù)和程序的存儲(chǔ)器。在一些實(shí)施例中,輸入設(shè)備110(諸如,例如,鍵盤或鼠標(biāo))也被連接到計(jì)算系統(tǒng)102。在一些實(shí)施例中,連接器106是通用串行總線(usb)電纜,而在其它實(shí)施例中,連接器106是網(wǎng)絡(luò),例如,以太網(wǎng)。
在一個(gè)實(shí)施例中,系統(tǒng)100旨在通過覆寫攝像機(jī)104的固件并且采用系統(tǒng)以外部地調(diào)節(jié)攝像機(jī)設(shè)置,例如,曝光、伽馬校正和增益從而補(bǔ)償周圍的光照條件,來解決上面提到的可靠性問題。在一個(gè)這樣的實(shí)施例中,目標(biāo)是在所有光照條件和攝像機(jī)上均勻化面部識(shí)別的效力和可靠性。
在一個(gè)實(shí)施例中,系統(tǒng)100通過調(diào)整攝像機(jī)圖像捕捉設(shè)置以在包括上面列舉的使用情況的所有光照條件上突顯面部來解決次優(yōu)光照條件的問題,因此實(shí)現(xiàn)了最優(yōu)面部檢測(cè)和識(shí)別,無論用戶所在何處、無論他們使用的系統(tǒng)、或無論他們系統(tǒng)100中的攝像機(jī)104的類型。
在一個(gè)示例性實(shí)施例中,在攝像機(jī)104或計(jì)算機(jī)系統(tǒng)102中操作的次優(yōu)光照?qǐng)D像補(bǔ)償系統(tǒng)使用視頻控制和攝像機(jī)控制接口來覆寫了默認(rèn)的攝像機(jī)固件行為,也就是曝光、伽馬校正和增益控制,以調(diào)節(jié)圖像質(zhì)量以用于最優(yōu)面部檢測(cè)。在一個(gè)這樣的實(shí)施例中,系統(tǒng)運(yùn)行在使用了英特爾集成性能基元(ipp)圖像處理庫實(shí)時(shí)運(yùn)行面部檢測(cè)和檢查圖像質(zhì)量的反饋循環(huán)中。英特爾集成性能基元(ipp)圖像處理庫是用于媒體和數(shù)據(jù)應(yīng)用的高度最優(yōu)化構(gòu)建塊的庫。在一個(gè)實(shí)施例中,基于在每個(gè)圖像處理迭代之后所接收的圖像質(zhì)量反饋來做出攝像機(jī)調(diào)節(jié),特別是針對(duì)在整體的攝影質(zhì)量之上增強(qiáng)面部可見度。結(jié)果是具有增強(qiáng)的清晰度和信噪比(snr)的圖像,其有助于邊緣檢測(cè)和特征提取定制以能夠在幾乎任何光照條件下實(shí)現(xiàn)臉部檢測(cè)。
認(rèn)證系統(tǒng)100可以被實(shí)施在任何啟用攝像機(jī)的計(jì)算機(jī)系統(tǒng)中,該計(jì)算機(jī)系統(tǒng)包括膝上型計(jì)算機(jī)、平板計(jì)算機(jī)和電話?;谙ド闲陀?jì)算機(jī)的認(rèn)證系統(tǒng)100的一個(gè)示例性實(shí)施例被顯示在圖1b中。圖1b的系統(tǒng)100包括具有一個(gè)或多個(gè)內(nèi)部攝像機(jī)104的膝上型系統(tǒng)112。在一些實(shí)施例中,膝上型系統(tǒng)112包括顯示器108、處理器和用于存儲(chǔ)數(shù)據(jù)和程序的存儲(chǔ)器。在一些實(shí)施例中,輸入設(shè)備110(諸如,例如,鍵盤或鼠標(biāo))也被連接到膝上型計(jì)算機(jī)系統(tǒng)112。
如上在圖1a的討論中所提到的,在一個(gè)實(shí)施例中,圖1b的系統(tǒng)100旨在通過覆寫集成攝像機(jī)104的固件并且采用系統(tǒng)以外部地調(diào)節(jié)攝像機(jī)設(shè)置,例如,曝光、伽馬校正和增益從而補(bǔ)償周圍的光照條件,來解決上面提到的可靠性問題。在一個(gè)這樣的實(shí)施例中,目標(biāo)是在所有光照條件和攝像機(jī)上均勻化面部識(shí)別的效力和可靠性。在一些這樣的實(shí)施例中,膝上型計(jì)算機(jī)系統(tǒng)112在使用英特爾集成性能基元(ipp)圖像處理庫實(shí)時(shí)運(yùn)行面部檢測(cè)和檢查圖像質(zhì)量的反饋循環(huán)中執(zhí)行程序代碼。
調(diào)節(jié)攝像機(jī)104以提供用于面部識(shí)別的優(yōu)化的圖像的方法被顯示在圖2a和圖2b中。在200,攝像機(jī)104捕捉了新的幀。在202,攝像機(jī)104的當(dāng)前的攝像機(jī)控制設(shè)置被保存到存儲(chǔ)器(如攝像機(jī)狀態(tài)s0)。在204,處理捕捉的幀以檢測(cè)面部。在下文中,面部圖像將被用于演示顯示在圖2a和圖2b中的方法。其它用戶特征,例如,腳、手、或用戶眼睛的形狀也可以被使用。
在一個(gè)實(shí)施例中,在204計(jì)算出分?jǐn)?shù),該分?jǐn)?shù)是面部圖像的質(zhì)量的測(cè)量。在一個(gè)這樣的實(shí)施例中,面部圖像質(zhì)量是依據(jù)圖像中的面部特征點(diǎn)的分析。在一個(gè)實(shí)施例中,面部檢測(cè)和質(zhì)量評(píng)分是利用ipp基元執(zhí)行的。
在206,如果在幀中未檢測(cè)到面部或面部分?jǐn)?shù)小于用于最后三個(gè)連續(xù)幀的閾值,則控制移動(dòng)到210。否則,控制移動(dòng)到208,該幀被發(fā)送到面部的識(shí)別應(yīng)用并且攝像機(jī)控制的狀態(tài)被發(fā)送到它的狀態(tài)s0。
在210,在幀上進(jìn)行圖像質(zhì)量檢查。在一個(gè)實(shí)施例中,方法達(dá)到210的原因是因?yàn)閳D像太亮或太暗而不能獲得好的面部圖像。在這樣的實(shí)施例中,在210的圖像質(zhì)量檢查確定圖像是否太暗(由于,例如,低光照)或太亮(由于,例如,明亮的陽光)。如果太暗,則控制移動(dòng)到212并且攝像機(jī)控制被設(shè)置為暗圖像校正模式。如果太亮,則控制移動(dòng)到214并且攝像機(jī)控制被設(shè)置為亮圖像校正模式(例如,減少曝光)。然后控制移動(dòng)到216。
在一些實(shí)施例中,在面部圖像上,或如果沒有可用的面部的情況下,在完整幀中心的40%上完成圖像質(zhì)量檢查。在一個(gè)這樣的實(shí)施例中,使用正被審查的圖像的部分的灰度直方圖來測(cè)量光照。
在216,做出檢查以確定系統(tǒng)100是否仍在校正用于首先在210被確定的圖像校正模式(暗或亮圖像校正模式)的圖像。如上所提到的,在210檢查圖像的質(zhì)量以確定我們是否需要改進(jìn)暗(低光照)圖像或亮(過度曝光)圖像。如果圖像校正模式已經(jīng)從先前的圖像校正模式改變了(例如,在光線昏暗的房間中開啟強(qiáng)光,或在強(qiáng)光被關(guān)閉而變成光線昏暗的房間中),則先前的校正不再可行。在圖2a顯示的實(shí)施例中,然后控制移動(dòng)到218并且攝像機(jī)104的攝像機(jī)控制設(shè)置被恢復(fù)到狀態(tài)s0。
在一些實(shí)施例中,在218,攝像機(jī)104的攝像機(jī)控制設(shè)置經(jīng)過預(yù)定義數(shù)量的幀逐漸地轉(zhuǎn)換回到狀態(tài)s0。
在216,如果確定了系統(tǒng)100仍在校正用于首先在210被確定的圖像校正模式(暗或亮圖像校正模式)的圖像,則需要進(jìn)一步的圖像校正??刂埔苿?dòng)到sx,其中x是攝像機(jī)控制的當(dāng)前狀態(tài)并且在圖2a和圖2b中顯示的實(shí)施例中是1到4之間的整數(shù)。
如果x=0,則控制移動(dòng)到s0,并且在220所有攝像機(jī)控制被設(shè)置為手動(dòng)模式。在圖2b中顯示的實(shí)施例中,這包括曝光、增益和伽馬??刂迫缓笠苿?dòng)到s1。
在s1,控制移動(dòng)到222并且進(jìn)行檢查以查看在攝像機(jī)104中是否存在曝光校正或逆光補(bǔ)償。如果沒有,控制移動(dòng)到s2同時(shí)攝像機(jī)控制的當(dāng)前狀態(tài)設(shè)置為s2。
然而,如果在攝像機(jī)104中存在曝光校正或逆光補(bǔ)償,則控制移動(dòng)到224,并且如果在這個(gè)實(shí)施例的暗圖像模式中,則增大逆光補(bǔ)償并且增大曝光。在224,如果圖像模式是亮圖像模式,則增大逆光補(bǔ)償而減少曝光。
然后控制移動(dòng)到226,其中進(jìn)行檢查以查看曝光校正和/或逆光補(bǔ)償是否在它的極限處。如果不是,控制移動(dòng)到204同時(shí)攝像機(jī)控制的當(dāng)前狀態(tài)設(shè)置為s1并且當(dāng)前的攝像機(jī)控制被應(yīng)用到從攝像機(jī)104所接收的下一個(gè)圖像。
然而,如果曝光校正和/或逆光補(bǔ)償在它的極限處,則在228在控制移動(dòng)到204之前攝像機(jī)控制狀態(tài)被設(shè)置為s2。
在s2,控制移動(dòng)到230并且進(jìn)行檢查以查看在攝像機(jī)104中是否存在伽馬校正。如果沒有,則控制移動(dòng)到s3同時(shí)攝像機(jī)控制的當(dāng)前狀態(tài)設(shè)置為s3。
然而,如果在230的檢查確定了在攝像機(jī)104中存在伽馬校正,則控制移動(dòng)到232。在232,如果圖像模式是在暗圖像校正模式中,則增大伽馬校正。在一個(gè)實(shí)施例中,校正幅度是10%步長。在232,如果圖像模式是亮圖像校正模式,則減小伽馬校正。在一個(gè)實(shí)施例中,減小幅度是10%步長。然后,控制移動(dòng)到234,其中進(jìn)行檢查以查看伽馬校正是否接近它的極限。如果沒有,則控制移動(dòng)到204同時(shí)攝像機(jī)控制的當(dāng)前狀態(tài)設(shè)置為s2。然后,當(dāng)前攝像機(jī)控制被應(yīng)用到從攝像機(jī)104所接收的下一個(gè)圖像。
然而,在234如果伽馬校正接近它的極限,則在236控制移動(dòng)到204之前攝像機(jī)控制狀態(tài)被設(shè)置為s3。
在s3,控制移動(dòng)到238并且進(jìn)行檢查以查看在攝像機(jī)104中增益校正是否可用。如果不可用,則控制移動(dòng)到s4同時(shí)攝像機(jī)控制的當(dāng)前狀態(tài)設(shè)置為s4。然后,當(dāng)前的s4攝像機(jī)控制被應(yīng)用到從攝像機(jī)104所接收的下一個(gè)圖像。
然而,如果在238的檢查確定了在攝像機(jī)104中存在增益校正,則控制移動(dòng)到240。在240,如果圖像模式是在暗圖像校正模式中,則增大增益校正。在一個(gè)實(shí)施例中,校正幅度是10%步長。在240,如果圖像模式是在亮圖像校正模式中,則減小增益校正。在一個(gè)實(shí)施例中,減小幅度是10%步長。然后控制移動(dòng)到242,其中進(jìn)行檢查以查看增益校正是否正在接近它的極限。如果不是,則控制移動(dòng)到204同時(shí)攝像機(jī)控制的當(dāng)前狀態(tài)設(shè)置為s3。然后,當(dāng)前攝像機(jī)控制被應(yīng)用到從攝像機(jī)104所接收的下一個(gè)圖像。
然而,在242如果增益校正正在接近它的極限,則在244在控制移動(dòng)到204之前攝像機(jī)控制狀態(tài)被設(shè)置為s4。
在一些實(shí)施例中,在216對(duì)圖像是否需要額外校正、圖像是否被過度校正、或新的幀是否說明了光照條件自上一個(gè)迭代以來發(fā)生改變做出決定。在一些這樣的實(shí)施例中,如果系統(tǒng)100在其校正上過沖,則系統(tǒng)100通過減半系統(tǒng)100用以增大校正的量來減少校正。
上述解決方案適用于個(gè)人計(jì)算機(jī)、平板計(jì)算機(jī)和電話,因?yàn)槠渑c屏幕光照和強(qiáng)勁的逆動(dòng)(即,用戶手中持有系統(tǒng)行走)無關(guān)。使用英特爾集成性能基元庫幫助系統(tǒng)100實(shí)時(shí)(即,以幀的捕獲速率)執(zhí)行圖像補(bǔ)償,因此確保了在多種平臺(tái)上的合格的表現(xiàn)。
我們的方法不同于現(xiàn)有的基于消費(fèi)者的面部分辨率應(yīng)用,上述現(xiàn)有的應(yīng)用主要通過以圖像質(zhì)量補(bǔ)償為目標(biāo)來增強(qiáng)基于計(jì)算機(jī)視覺的面部檢測(cè)(即,犧牲攝影質(zhì)量以產(chǎn)生針對(duì)人眼看起來雜亂并且顏色有限的而針對(duì)機(jī)器學(xué)習(xí)算法是最優(yōu)的圖像,從而用于檢測(cè)面部并且提取特征。在一個(gè)實(shí)施例中,系統(tǒng)100覆寫攝像機(jī)的常規(guī)曝光、伽馬和增益設(shè)置以達(dá)到給定的現(xiàn)有光照條件下可能最好的面部圖像(用于面部的識(shí)別)。
其它攝像機(jī)控制也可以是可用的,例如,亮度、對(duì)比度、白平衡、清晰度、飽和度和焦距。
在圖3b-圖5b中提供了上述方法的應(yīng)用的示例。在圖3a-圖5a所顯示的圖片中,圖像是由攝像機(jī)104捕獲的并且是面部檢測(cè)失敗的圖像。圖3b-圖5b中的相對(duì)應(yīng)的圖片顯示了具有成功的面部檢測(cè)的經(jīng)補(bǔ)償?shù)膱D像。在圖3b-圖5b中顯示的示例性實(shí)施例中,綠色的方括號(hào)指示用于面部識(shí)別的足夠質(zhì)量的面部被找到。隨后的測(cè)試確認(rèn)了經(jīng)補(bǔ)償?shù)膱D像成功地與用戶相匹配,結(jié)果是用戶對(duì)設(shè)備的認(rèn)證。
在圖3a中顯示的示例中,圖像是用明亮的背景拍攝的圖像。在示例中,照片是在主體后面有窗戶的情況下被拍攝的。主體的面部曝光不足。上述方法的應(yīng)用使面部針對(duì)面部的識(shí)別程序更加能夠識(shí)別并且敏感,正如在圖3b的圖像中可以看到的。在一些實(shí)施例中,如果系統(tǒng)100識(shí)別出看似是面部的物體,則必要時(shí)它允許隨后的幀被過度曝光以揭露認(rèn)證所需要的面部特征。
在圖4a中顯示的示例中,照片是在低光照條件下拍攝的。以上討論的方法的應(yīng)用突顯了主體的面部而發(fā)生對(duì)任何背景保真度的損害,正如在圖4b中可以看到的。
最終,在圖5a中顯示的示例中,照片是在非常低的光照環(huán)境中拍攝的。在一個(gè)示例性實(shí)施例中,在黑暗的房間中,攝像機(jī)104以不同方式調(diào)節(jié)攝像機(jī)設(shè)置以試圖找到表示面部的輪廓的邊緣。在非常黑暗的房間中,在一些實(shí)施例中,攝像機(jī)104將曝光調(diào)節(jié)到非常高,產(chǎn)生干擾圖像,正如在圖5b中可以看到的。
在一個(gè)這樣的實(shí)施例中,如果沒有面部被檢測(cè)到,則系統(tǒng)100假設(shè)在圖像的中心將會(huì)找到面部。在這樣的實(shí)施例中,圖像的中心是感興趣的區(qū)域(roi)。在一些這樣的實(shí)施例中,roi是完整幀中心的40%;系統(tǒng)100在roi上測(cè)量圖像強(qiáng)度并且必要時(shí)提升伽馬、曝光和增益以增強(qiáng)面部特征以用于認(rèn)證。
正如在圖5b中可以看到的,上述校正能夠以在經(jīng)校正的照片中包括一些偽影為代價(jià)來捕捉面部特點(diǎn)。如上所提到的,上述的方法以在整體的攝影質(zhì)量之上增強(qiáng)面部可見度為目標(biāo)。結(jié)果是具有增強(qiáng)的清晰度和信噪比(snr)的圖像,其有助于邊緣檢測(cè)和特征提取定制以能夠在幾乎任何光照條件下實(shí)現(xiàn)臉部檢測(cè)。
值得注意的是,上述的方法不依靠在圖2a和圖2b的上下文中所討論的三種控制方法中的每一種的可用性。而是,該方法也是有作用的,即使在給定的攝像機(jī)104上這些控制中僅有一個(gè)或幾個(gè)是可用的。這使得該方法能夠支持預(yù)期將在市場上是可用的范圍最廣的系統(tǒng)。以上方法也可以與其它攝像機(jī)控制一起被用于從不夠亮的圖像中提取面部圖像。
另外,執(zhí)行圖像補(bǔ)償?shù)奶幚砥鞑恍枰矆?zhí)行認(rèn)證。在一些實(shí)施例中,攝像機(jī)104中的處理器執(zhí)行圖像補(bǔ)償,而計(jì)算設(shè)備中的處理器基于圖像校正的圖像來執(zhí)行認(rèn)證。在其它實(shí)施例中,在計(jì)算設(shè)備上執(zhí)行圖像補(bǔ)償,而基于圖像校正的圖像的認(rèn)證在服務(wù)器上或在云中執(zhí)行。在另一其它實(shí)施例中,在攝像機(jī)上執(zhí)行圖像補(bǔ)償,而基于圖像校正的圖像的認(rèn)證在服務(wù)器上或在云中執(zhí)行。
對(duì)于本發(fā)明本身同樣也可以是如此,為了最佳的實(shí)時(shí)性能,我們?cè)谶B接到攝像機(jī)的同一個(gè)處理器上運(yùn)行它,但是它也可能在云中運(yùn)行,實(shí)時(shí)性能將會(huì)變差,但是它仍然可以工作。大概應(yīng)該將這個(gè)處理器不一定需要被連接到攝像機(jī)添加到權(quán)利要求。
圖6是示出了根據(jù)示例性實(shí)施例的計(jì)算機(jī)系統(tǒng)102的示例形式中的機(jī)器的方框圖,在其中指令的序列或者集合可以被執(zhí)行以使機(jī)器執(zhí)行本文中討論的方法中的任何一個(gè)。在可替換的實(shí)施例中,機(jī)器作為獨(dú)立的設(shè)備操作或可以連接(例如,聯(lián)網(wǎng))到其它機(jī)器。在聯(lián)網(wǎng)部署中,機(jī)器可以以服務(wù)器-客戶網(wǎng)絡(luò)環(huán)境中的服務(wù)器或客戶機(jī)的能力來操作,或它可以作為對(duì)等的(分布式的)網(wǎng)絡(luò)環(huán)境中的對(duì)等機(jī)。機(jī)器可以是個(gè)人計(jì)算機(jī)(pc)、平板pc、混合平板計(jì)算機(jī)、機(jī)頂盒(stb)、個(gè)人數(shù)字助理(pda)、移動(dòng)電話、web裝置、網(wǎng)絡(luò)路由器、交換機(jī)或橋、或能夠執(zhí)行要由該機(jī)器采取指定動(dòng)作的指令(順序的或其它)的任何機(jī)器。此外,當(dāng)僅有單個(gè)機(jī)器被示出時(shí),術(shù)語“機(jī)器”也可以被理解為包括單獨(dú)地或共同地執(zhí)行一組(或多組)指令以執(zhí)行本文中討論的方法中的任何一個(gè)或多個(gè)的機(jī)器的任何集合。
示例性計(jì)算機(jī)系統(tǒng)102包括至少一個(gè)處理器1002(例如,中央處理單元(cpu)、圖像處理單元(gpu)或兩者、處理器內(nèi)核、計(jì)算節(jié)點(diǎn)等)、主存儲(chǔ)器1004和靜態(tài)存儲(chǔ)器1006,其經(jīng)由鏈路1008(例如,總線)與彼此進(jìn)行通信。計(jì)算機(jī)系統(tǒng)102可以進(jìn)一步包括視頻顯示單元1010、字母數(shù)字輸入設(shè)備1012(例如,鍵盤)、和用戶界面(ui)導(dǎo)航設(shè)備1014(例如,鼠標(biāo))。在一個(gè)實(shí)施例中,視頻顯示單元1010、輸入設(shè)備1012和ui導(dǎo)航設(shè)備1014被并入到觸摸屏顯示器。計(jì)算機(jī)系統(tǒng)102可以額外地包括存儲(chǔ)設(shè)備1016(例如,驅(qū)動(dòng)單元)、信號(hào)生成設(shè)備1018(例如,揚(yáng)聲器)、網(wǎng)絡(luò)接口設(shè)備1020、以及一個(gè)或多個(gè)傳感器(未顯示),例如,全球定位系統(tǒng)(gps)傳感器、羅盤、加速度計(jì)、或其它傳感器。
存儲(chǔ)設(shè)備1016包括機(jī)器可讀介質(zhì)1022,在機(jī)器可讀介質(zhì)1022上存儲(chǔ)了實(shí)施本文中描述的方法或功能中的任何一個(gè)或多個(gè)的一組或多組數(shù)據(jù)結(jié)構(gòu)和指令1024,或由本文中描述的方法或功能中的任何一個(gè)或多個(gè)所利用的一組或多組數(shù)據(jù)結(jié)構(gòu)和指令1024(例如,軟件)。在由計(jì)算機(jī)系統(tǒng)102執(zhí)行指令1024期間,指令1024也可以完整地或至少部分地駐留在主存儲(chǔ)器1004、靜態(tài)存儲(chǔ)器1006內(nèi)、和/或處理器1002內(nèi),主存儲(chǔ)器1004、靜態(tài)存儲(chǔ)器1006以及處理器1002也構(gòu)成機(jī)器可讀介質(zhì)。
當(dāng)在示例性實(shí)施例中示出的機(jī)器可讀介質(zhì)是單個(gè)介質(zhì)時(shí),術(shù)語“機(jī)器可讀介質(zhì)”可以包括存儲(chǔ)了一個(gè)或多個(gè)指令1024的單個(gè)介質(zhì)或多個(gè)介質(zhì)(例如,集中式或分布式數(shù)據(jù)庫、和/或相關(guān)聯(lián)的高速緩存和服務(wù)器)。術(shù)語“機(jī)器可讀介質(zhì)”也可以被理解為包括能夠存儲(chǔ)、編碼或攜帶由機(jī)器執(zhí)行的指令的任何有形介質(zhì),并且該任何有形介質(zhì)使機(jī)器執(zhí)行本公開的方法中的任何一個(gè)或多個(gè),或該任何有形介質(zhì)能夠存儲(chǔ)、編碼或攜帶由這樣的指令所利用的或與這樣的指令相關(guān)聯(lián)的數(shù)據(jù)結(jié)構(gòu)。術(shù)語“機(jī)器可讀介質(zhì)”可以相應(yīng)地被理解為包括但不限于固態(tài)存儲(chǔ)器、和光學(xué)的和磁性的介質(zhì)。機(jī)器可讀介質(zhì)的具體示例包括非易失性存儲(chǔ)器,非易失性存儲(chǔ)器以舉例的方式包括但不限于:半導(dǎo)體存儲(chǔ)器設(shè)備(例如,電可編程只讀存儲(chǔ)器(eprom)、電可擦除可編程只讀存儲(chǔ)器(eeprom))和閃存存儲(chǔ)器設(shè)備;磁性磁盤,例如,內(nèi)部硬盤和可移動(dòng)盤;磁光盤;以及cd-rom和dvd-rom磁盤。
指令1024可以進(jìn)一步經(jīng)由網(wǎng)絡(luò)接口設(shè)備1020利用許多公知的傳輸協(xié)議(例如,http)中的任何一個(gè),通過通信網(wǎng)絡(luò)1026使用傳輸介質(zhì)被傳送或接收。通信網(wǎng)絡(luò)的示例包括局域網(wǎng)(lan)、廣域網(wǎng)(wan)、因特網(wǎng)、移動(dòng)電話網(wǎng)絡(luò)、普通老式電話(pots)網(wǎng)絡(luò)、和無線數(shù)據(jù)網(wǎng)絡(luò)(例如,wi-fi、3g、和4glte/lte-a或wimax網(wǎng)絡(luò))。術(shù)語“傳輸介質(zhì)”可以被理解為包括能夠存儲(chǔ)、編碼、或攜帶由機(jī)器執(zhí)行的指令并且包括數(shù)字或模擬通信信號(hào)或其它無形介質(zhì)以促進(jìn)這樣的軟件的通信的任何無形介質(zhì)。
額外注釋&示例:
示例1包括用戶認(rèn)證系統(tǒng)(例如,設(shè)備、裝置、或機(jī)器)的主題,認(rèn)證系統(tǒng)包括:攝像機(jī);和連接到所述攝像機(jī)的處理器,其中所述處理器從所述攝像機(jī)接收?qǐng)D像、在所述圖像中搜索用戶特征、確定所述圖像是否需要校正、以預(yù)定義的順序來調(diào)節(jié)攝像機(jī)控制從而提供期望的校正、將所期望的校正應(yīng)用到隨后的圖像、并且基于所校正的圖像中的所述用戶特征來認(rèn)證所述用戶。
在示例2中,示例1所述的主題可以包括,其中所述圖像是視頻幀。
在示例3中,示例1到示例2中的任何一項(xiàng)所述的主題可以包括,其中所述處理器調(diào)節(jié)用于曝光的攝像機(jī)控制。
在示例4中,示例1到示例3中的任何一項(xiàng)所述的主題可以包括,其中所述處理器調(diào)節(jié)用于增益的攝像機(jī)控制。
在示例5中,示例1到示例4中的任何一項(xiàng)所述的主題可以包括,其中所述處理器調(diào)節(jié)用于伽馬的攝像機(jī)控制。
在示例6中,示例1到示例5中的任何一項(xiàng)所述的主題可以包括,其中所述處理器對(duì)從由以下構(gòu)成的攝像機(jī)控制的組中選擇的攝像機(jī)控制進(jìn)行調(diào)節(jié):用于曝光的攝像機(jī)控制、用于伽馬的攝像機(jī)控制、以及用于增益的攝像機(jī)控制。
在示例7中,示例1到示例6中的任何一項(xiàng)所述的主題可以包括,其中所述用戶特征是面部。
在示例8中,示例1到示例7中的任何一項(xiàng)所述的主題可以包括,其中所述處理器確定隨后的圖像何時(shí)不再需要校正并且將所述攝像機(jī)控制設(shè)置為不同的配置。
在示例9中,示例1到示例8中的任何一項(xiàng)所述的主題可以包括,其中所述處理器確定隨后的圖像何時(shí)不再需要校正并且將所述攝像機(jī)控制設(shè)置為初始狀態(tài)。
在示例10中,示例1到示例9中的任何一項(xiàng)所述的主題可以包括,其中,當(dāng)隨后的圖像不再需要校正時(shí),所述處理器經(jīng)過多個(gè)幀將所述攝像機(jī)控制設(shè)置回到初始狀態(tài)。
在示例11中,示例1到示例10中的任何一項(xiàng)所述的主題可以包括,其中所述攝像機(jī)是獨(dú)立于處理器的。
在示例12中,示例1到示例11中的任何一項(xiàng)所述的主題可以包括,其中所述處理器在計(jì)算設(shè)備中,并且其中所述攝像機(jī)被并入到所述計(jì)算設(shè)備。
在示例13中,示例1到示例12中的任何一項(xiàng)所述的主題可以包括,其中所述處理器通過檢查圖像質(zhì)量來確定所述圖像是否需要校正。
在示例14中,示例1到示例13中的任何一項(xiàng)所述的主題可以包括,其中所述處理器通過分析所述圖像中的面部特征點(diǎn)來確定所述圖像是否需要校正。
在示例15中,示例1到示例14中的任何一項(xiàng)所述的主題可以包括,其中所述攝像機(jī)包括可視光傳感器和紅外傳感器中的一個(gè)或多個(gè)。
示例16包括主題(例如,方法、用于執(zhí)行動(dòng)作的單元、包括指令的機(jī)器可讀介質(zhì),所述指令當(dāng)由機(jī)器執(zhí)行時(shí)使所述機(jī)器執(zhí)行動(dòng)作或用于執(zhí)行的裝置),所述主題包括:捕捉用戶的圖像,其中每個(gè)圖像包括用戶特征;在所捕捉的圖像中搜索所述用戶特征;確定所述圖像是否需要校正;如果所述圖像需要校正,則以預(yù)定義的順序來調(diào)節(jié)攝像機(jī)控制從而提供期望的校正;并且將所述校正應(yīng)用到隨后的圖像。
在示例17中,示例16所述的主題可以包括,其中捕捉圖像包括從視頻中提取所述圖像。
在示例18中,示例16到示例17中的任何一項(xiàng)所述的主題可以包括,其中調(diào)節(jié)攝像機(jī)控制包括調(diào)節(jié)用于曝光的攝像機(jī)控制。
在示例19中,示例16到示例18中的任何一項(xiàng)所述的主題可以包括,其中調(diào)節(jié)攝像機(jī)控制包括調(diào)節(jié)用于增益的攝像機(jī)控制。
在示例20中,示例16到示例19中的任何一項(xiàng)所述的主題可以包括,其中調(diào)節(jié)攝像機(jī)控制包括調(diào)節(jié)用于伽馬的攝像機(jī)控制。
在示例21中,示例16到示例20中的任何一項(xiàng)所述的主題可以包括,其中調(diào)節(jié)攝像機(jī)控制包括從由以下構(gòu)成的攝像機(jī)控制的組中選擇攝像機(jī)控制:用于曝光的攝像機(jī)控制、用于伽馬的攝像機(jī)控制、以及用于增益的攝像機(jī)控制。
在示例22中,示例16到示例21中的任何一項(xiàng)所述的主題可以包括,其中調(diào)節(jié)攝像機(jī)控制包括:a)調(diào)節(jié)用于曝光的攝像機(jī)控制;b)檢查一個(gè)或多個(gè)隨后的圖像的圖像質(zhì)量;c)如果需要進(jìn)一步校正,則調(diào)節(jié)用于伽馬的攝像機(jī)控制;d)檢查一個(gè)或多個(gè)隨后的圖像的圖像質(zhì)量;以及e)如果需要進(jìn)一步校正,則調(diào)節(jié)用于增益的攝像機(jī)控制。
在示例23中,示例16到示例22中的任何一項(xiàng)所述的主題可以包括,其中在所捕捉的圖像中搜索所述用戶特征包括檢測(cè)面部。
在示例24中,示例16到示例23中的任何一項(xiàng)所述的主題可以包括,其中所述方法進(jìn)一步包括基于所校正的圖像中的所述用戶特征來認(rèn)證所述用戶。
在示例25中,示例16到示例24中的任何一項(xiàng)所述的主題可以包括,其中認(rèn)證包括執(zhí)行基于云的認(rèn)證例程。
在示例26中,示例16到示例25中的任何一項(xiàng)所述的主題可以包括,其中所述方法進(jìn)一步包括:確定隨后的圖像何時(shí)不再需要校正;并且當(dāng)隨后的圖像不再需要校正時(shí),將所述攝像機(jī)控制重新設(shè)置為初始狀態(tài)。
在示例27中,示例16到示例26中的任何一項(xiàng)所述的主題可以包括,其中所述校正包括亮圖像校正。
在示例28中,示例16到示例27中的任何一項(xiàng)所述的主題可以包括,其中所述校正包括暗圖像校正。
在示例29中,示例16到示例28中的任何一項(xiàng)所述的主題可以包括,其中確定所述圖像是否需要校正包括在處理器中執(zhí)行程序代碼以檢查圖像質(zhì)量。
在示例30中,示例16到示例29中的任何一項(xiàng)所述的主題可以包括,其中確定所述圖像是否需要校正包括檢查圖像質(zhì)量。
在示例31中,示例16到示例30中的任何一項(xiàng)所述的主題可以包括,其中檢查圖像質(zhì)量包括生成所述圖像的灰度直方圖。
在示例32中,示例16到示例31中的任何一項(xiàng)所述的主題可以包括,其中確定所述圖像是否需要校正包括分析所述圖像中的面部特征點(diǎn)。
在示例33中,示例16到示例32中的任何一項(xiàng)所述的主題可以包括,其中確定所述圖像是否需要校正包括檢測(cè)面部、測(cè)量所檢測(cè)的面部的圖像質(zhì)量、以及依據(jù)所測(cè)量的圖像質(zhì)量來校正所述圖像。
示例34包括至少一個(gè)機(jī)器可讀介質(zhì),其包括指令,所述指令當(dāng)由機(jī)器執(zhí)行時(shí),使所述機(jī)器執(zhí)行示例16到示例33的任何中的操作。
示例35包括裝置,所述裝置包括用于執(zhí)行示例16到示例33中的任何的單元。
示例36包括主題(例如,設(shè)備、裝置、或機(jī)器),所述主題包括:攝像機(jī);以及連接到所述攝像機(jī)的處理器,其中所述處理器包括:用于在從所述攝像機(jī)接收的圖像中搜索用戶特征的單元;用于確定所述圖像是否需要校正的單元;以及用于以預(yù)定義的順序來調(diào)節(jié)攝像機(jī)控制從而提供期望的校正的單元。
在示例37中,示例36所述的主題可以包括,其中所述用于搜索用戶特征的單元包括用于從視頻幀提取所述圖像的單元。
在示例38中,示例36到示例37中的任何一項(xiàng)所述的主題可以包括,其中所述用于調(diào)節(jié)攝像機(jī)控制的單元包括用于調(diào)節(jié)用于曝光的攝像機(jī)控制的單元。
在示例39中,示例36到示例38中的任何一項(xiàng)所述的主題可以包括,其中所述用于調(diào)節(jié)攝像機(jī)控制的單元包括用于調(diào)節(jié)用于增益的攝像機(jī)控制的單元。
在示例40中,示例36到示例39中的任何一項(xiàng)所述的主題可以包括,其中所述用于調(diào)節(jié)攝像機(jī)控制的單元包括用于調(diào)節(jié)用于伽馬的攝像機(jī)控制的單元。
在示例41中,示例36到示例40中的任何一項(xiàng)所述的主題可以包括,其中所述用于調(diào)節(jié)攝像機(jī)控制的單元包括用于調(diào)節(jié)曝光、伽馬和增益的單元。
在示例42中,示例36到示例41中的任何一項(xiàng)所述的主題可以包括,其中用于在所述圖像中搜索所述用戶特征的單元包括用于檢測(cè)面部的單元。
在示例43中,示例36到示例42中的任何一項(xiàng)所述的主題可以包括,其中所述裝置進(jìn)一步包括用于依據(jù)用戶特征來認(rèn)證用戶的單元。
在示例44中,示例36到示例43中的任何一項(xiàng)所述的主題可以包括,其中所述處理器進(jìn)一步包括:用于確定隨后的圖像何時(shí)不再需要校正的單元;以及用于當(dāng)隨后的圖像不再需要校正時(shí)將所述攝像機(jī)控制重新設(shè)置為初始狀態(tài)的單元。
在示例45中,示例36到示例44中的任何一項(xiàng)所述的主題可以包括,其中所述校正包括亮圖像校正。
在示例46中,示例36到示例45中的任何一項(xiàng)所述的主題可以包括,其中所述校正包括暗圖像校正。
在示例47中,示例36到示例46中的任何一項(xiàng)所述的主題可以包括,其中所述用于確定所述圖像是否需要校正的單元包括用于在處理器中執(zhí)行程序代碼以檢查圖像質(zhì)量的單元。
在示例48中,示例36到示例47中的任何一項(xiàng)所述的主題可以包括,其中所述用于確定所述圖像是否需要校正的單元包括用于檢查圖像質(zhì)量的單元。
在示例49中,示例36到示例48中的任何一項(xiàng)所述的主題可以包括,其中所述用于檢查圖像質(zhì)量的單元包括用于生成所述圖像的灰度直方圖的單元。
在示例50中,示例36到示例49中的任何一項(xiàng)所述的主題可以包括,其中所述用于確定所述圖像是否需要校正的單元包括用于分析所述圖像中的面部特征點(diǎn)的單元。
在示例51中,示例36到示例50中的任何一項(xiàng)所述的主題可以包括,其中所述用于確定所述圖像是否需要校正的單元包括:用于檢測(cè)面部的單元、用于測(cè)量所檢測(cè)的面部的圖像質(zhì)量的單元、以及用于依據(jù)所檢測(cè)的面部的所測(cè)量的圖像質(zhì)量來確定要調(diào)節(jié)的攝像機(jī)控制的單元。
以上具體實(shí)施方式包括對(duì)附圖的參考,其形成了具體實(shí)施方式的一部分。附圖通過說明的方式顯示了可以被實(shí)踐的具體實(shí)施例。這些實(shí)施例在本文中也被稱為“示例”。這樣的示例可以包括除了那些顯示或描述的元件之外的元件。然而,包括顯示或描述的元件的示例也被考慮。此外,關(guān)于特定示例(其一個(gè)或多個(gè)方面),或關(guān)于本文中顯示或描述的其它示例(其一個(gè)或多個(gè)方面),使用所顯示或所描述的那些元件的任何組合或置換的示例(其一個(gè)或多個(gè)方面)也被考慮。
本文檔中涉及的出版物、專利和專利文檔其全部內(nèi)容通過引用的方式被并入到本文中,如同單獨(dú)地通過引用被并入。在本文檔與那些通過引用被并入的文檔之間的用法不一致的情況下,通過引用被并入的用法是對(duì)本文檔的補(bǔ)充;針對(duì)不可調(diào)和的不一致,本文檔中的用法來主導(dǎo)。
在這個(gè)文檔中,術(shù)語“一”或“一個(gè)”如專利文檔中常見的那樣被用于包括一個(gè)或多于一個(gè),獨(dú)立于“至少一個(gè)”或“一個(gè)或多個(gè)”的任何其它實(shí)例或用法。在本文檔中,術(shù)語“或”用于指的是非排他性的,例如“a或b”包括“a但不是b”、“b但不是a”、以及“a和b”,或除非另有指示。在所附權(quán)利要求中,術(shù)語“包括”和“其中”用作相應(yīng)的術(shù)語“由…組成”和“在其中”的簡單的英文等同物。而且,在以下權(quán)利要求中,術(shù)語“包括”和“由…組成”是開放式的,即,包括除了在權(quán)利要求中的這樣的術(shù)語之后列出的那些元件之外的元件的系統(tǒng)、設(shè)備、產(chǎn)品或過程仍被視為落入該權(quán)利要求的范圍內(nèi)。此外,在以下權(quán)利要求中,術(shù)語“第一”、“第二”和“第三”等僅被用作標(biāo)簽,并且不是要表明其對(duì)象的數(shù)字順序。
以上描述旨在是說明性的而不是限制性的。例如,可以結(jié)合其它示例使用上述示例(其一個(gè)或多個(gè)方面)??梢岳缬杀绢I(lǐng)域的普通技術(shù)人員之一基于回顧以上描述來使用其它實(shí)施例。摘要將允許讀者快速查明技術(shù)公開的本質(zhì),例如,以遵從美國的37c.f.r.§1.72(b)。應(yīng)當(dāng)理解的是,所提交的摘要將不會(huì)被用于解釋或限制權(quán)利要求的范圍或意義。而且,在以上具體實(shí)施方式中,多種特征可以被組合在一起以簡化本公開。然而,權(quán)利要求可以不闡述本文中所公開的每個(gè)特征,因?yàn)閷?shí)施例可以以所述特征的子集為特征。此外,實(shí)施例可以包括比特定示例中公開的那些特征更少的特征。因此,以下權(quán)利要求特此被并入到具體實(shí)施方式中,權(quán)利要求本身作為一個(gè)單獨(dú)的實(shí)施例。本文中公開的實(shí)施例的范圍將參照所附權(quán)利要求以及這些權(quán)利要求有權(quán)享有的等同權(quán)利要求的全部范圍來確定。