本公開涉及圖像捕獲和圖像處理的領(lǐng)域,例如通過CCTV相機或其它相機,諸如手持式消費性相機,并且特別地涉及連同時間戳一起記錄所捕獲的圖像,該時間戳記錄在其處捕獲圖像的時間。
背景技術(shù):
圖像捕獲可能涉及隨時間捕獲單個靜止圖像或者一系列圖像。不管怎樣,當一個或多個圖像被處理時,這可以涉及將相應(yīng)時間戳與每一個圖像相關(guān)聯(lián)。由相機(例如,CCTV相機)通過利用來自其自身的內(nèi)部時鐘的時間來標記或戳記(stamping)一個或多個圖像文件來添加時間戳。這提供在其處捕獲圖像的時間的指示。
然而,在其中時間戳已經(jīng)與圖像相關(guān)聯(lián)的情況下,可能存在以下顧慮:時間戳已經(jīng)被篡改。在其中尚未將時間戳與圖像相關(guān)聯(lián)的情況下,這可能引起以下問題:在其處捕獲圖像的時間是未知的。
技術(shù)實現(xiàn)要素:
根據(jù)本文公開的一個方面,提供了一種圖像捕獲系統(tǒng),包括用于利用可見光來光照環(huán)境的光源,以及用于捕獲和記錄環(huán)境的圖像的圖像捕獲裝置。光源配置為將當前時間指示編碼到其光輸出中,并且圖像捕獲裝置包括配置為捕獲環(huán)境的一個或多個圖像的相機。圖像捕獲系統(tǒng)還包括圖像處理模塊,其配置為處理圖像的一個或多個以對編碼到光中的時間戳進行解碼,并且輸出所解碼的時間戳的指示;以及驗證模塊,其布置為接收由圖像處理模塊輸出的所解碼的時間戳的指示,并且基于此而執(zhí)行在其處捕獲一個或多個圖像的時間的至少部分自動的驗證。
光源因而有效地具有雙重功能;即,光源具有主要光照功能以及次要數(shù)據(jù)通信功能。另外,對于該/每一個圖像,處理器(其可以是相機的部分或者從相機分離)使用編碼光圖像處理技術(shù)來從其確定時間戳,并且基于此而執(zhí)行在其處捕獲圖像的時間的至少部分自動的驗證。
作為何時捕獲圖像的指示,所確定的時間可以與圖像相關(guān)聯(lián),或者其可以用于驗證與圖像相關(guān)聯(lián)的預存在的時間戳。因而,該技術(shù)可以被看作一種“水印”,其使得能夠關(guān)于何時捕獲圖像做出驗證。與圖像素材本身組合的時間戳可以表示簡單的“在那里的證據(jù)”。例如,當圖像描繪特定位置處的人員時,比方說在ATM附近或者地標附近,圖像中的時間戳與圖像一起提供該人員在時間戳處于該位置處的證據(jù)。
在實施例中,除時間戳之外,調(diào)制到光中的數(shù)據(jù)進一步包括指示光源或環(huán)境的位置的信息,其可以用于驗證在其處捕獲一個或多個圖像的位置。例如,該信息可以包括明確編碼到光中的位置的坐標或名稱;或者可以包括映射到位置數(shù)據(jù)庫中的位置的光源的標識符,圖像處理模塊配置為基于該標識符從位置數(shù)據(jù)庫查找位置。
在該情況下,“水印”使得能夠驗證在何時以及在何處捕獲圖像。
在另外的實施例中,驗證模塊配置為通過比較從所述圖像當前解碼的時間戳與時間戳的之前確定版本(例如,如在捕獲時間處確定)來執(zhí)行所述至少部分自動的驗證。例如,圖像處理模塊可以配置為將一個或多個圖像存儲在至少一個圖像文件中,其中所述輸出可以包括作為圖像文件的元數(shù)據(jù)而將所解碼的時間戳存儲在圖像文件中;圖像處理模塊可以配置為隨后再次從一個或多個所存儲的圖像解碼時間戳;并且驗證模塊可以配置為通過比較隨后解碼的時間戳與元數(shù)據(jù)中所存儲的時間戳來執(zhí)行所述至少部分自動的驗證,以便驗證所存儲的時間戳??商鎿Q地或者附加地,作為另一個示例,相機可以將其自身的時間戳添加到所述一個或多個圖像中的至少一個,并且驗證模塊可以配置為通過比較相機自身的時間戳與所解碼的時間戳來執(zhí)行所述至少部分自動的驗證,以便驗證相機的時間戳。
根據(jù)本文公開的另一個方面,提供了一種設(shè)備,包括:用于接收由相機捕獲的、通過來自光源的可見光而光照的環(huán)境的圖像的輸入;圖像處理模塊;以及驗證模塊。圖像處理模塊配置為處理圖像的一個或多個以對編碼到光中的時間戳進行解碼,并且輸出所解碼的時間戳的指示。驗證模塊布置為接收由圖像處理模塊輸出的所解碼的時間戳的指示,并且基于此而執(zhí)行在其處捕獲一個或多個圖像的時間的至少部分自動的驗證。
根據(jù)另一個方面,提供了一種包括代碼的計算機程序產(chǎn)品,該代碼體現(xiàn)在計算機可讀介質(zhì)上并且配置為在設(shè)備上執(zhí)行時實現(xiàn)圖像處理模塊的操作。
根據(jù)本文公開的又一個方面,提供了一種方法,包括:使用從光源發(fā)射的光來光照環(huán)境;將指示當前時間值的時間戳編碼到由光源發(fā)射的光中;使用相機來捕獲所述環(huán)境的一個或多個;處理圖像的至少一個以確定編碼到所述光中的時間戳,并且基于通過所述處理而確定的時間戳,執(zhí)行在其處捕獲至少一個圖像的時間的至少部分自動的驗證。
附圖說明
為了幫助理解本公開并且示出實施例可以如何付諸實踐,通過示例而參考附圖,其中:
圖1示意性圖示了用于發(fā)射光并且捕獲圖像的系統(tǒng),
圖2圖示了用于發(fā)射光并且捕獲圖像的另一個系統(tǒng),
圖3是光源和相機的示意性框圖,
圖4是圖示了發(fā)射光的方法的流程圖,
圖5是圖示了捕獲和處理圖像的方法的流程圖,
圖6示意性圖示了具有并入的圖形元素的所捕獲的圖像,
圖7示意性圖示了具有元數(shù)據(jù)的圖像文件,
圖8示意性圖示了卷簾快門相機的圖像捕獲元件,以及
圖9示意性圖示了通過卷簾快門對經(jīng)調(diào)制的光的捕獲。
具體實施方式
圖1-3示出了圖像捕獲系統(tǒng),包括用于光照包括感興趣的一個或多個對象6的環(huán)境的光源2,以及包括用于捕獲環(huán)境(包含感興趣的一個或多個對象)的圖像的相機的圖像捕獲裝置4。例如,相機4可以是安全相機,諸如CCTV(閉路電視)相機。光源2和相機4可以是分離的單元,如在圖1中所示,或者可替換地,可以集成到如在圖2中所示的相同單元中。例如,在圖1的情況下,光源2可以是照明器,其安裝或者以其它方式放置在環(huán)境中以用于大體光照環(huán)境的主要目的。在圖2的情況下,光源2可以是專用光源,其與相機集成以用于光照要捕獲的場景的目的。感興趣的對象6可以是期望驗證其在某一時間和/或地點處的存在的人員,或者期望驗證為存在于所討論的時間和/或地點處的任何其它對象。
光源2配置為將當前時間指示編碼到其光輸出中。參照圖3,光源2包括照明元件14(例如,包含一個或多個LED),以及經(jīng)由驅(qū)動器12連接以控制來自照明元件14的光的發(fā)射的控制器10。光源2還包括或者能夠訪問時鐘或者其它形式的計時器16,光源布置為從其導出指示當前時間(例如,當前日期和/或日時,或者自某一事件或限定點起逝去的時間)的當前時間值。此外,光源12可以包括存儲器18,諸如磁性(例如,硬盤)或電子(例如,閃速)存儲器??刂破?0配置為從時鐘或計時器16讀取當前時間值并且通過使用編碼光技術(shù)調(diào)制光而將它編碼到由照明元件14發(fā)射的光中。在實施例中,控制器10可以可選地還包括編碼光中的其它信息,諸如光源2的ID。該其它信息可以從存儲器18檢索或者通過網(wǎng)絡(luò)接收。
編碼光是指借以將信號嵌入由光源發(fā)射的可見光中的技術(shù)。因而光包括用于光照諸如房間之類的目標環(huán)境(典型地,光的主要目的)的可見光照成分(contribution),以及用于向環(huán)境中提供信息的嵌入信號二者。為了完成這一點,以某一個或多個調(diào)制頻率調(diào)制光。例如,光的幅度可以以高頻率在不同水平之間切換以表示不同符號(幅度鍵控),或者調(diào)制頻率可以在兩個或更多不同頻率之間切換以表示符號(頻移鍵控)。用于將數(shù)據(jù)編碼到光中的技術(shù)本身對于本領(lǐng)域技術(shù)人員將是熟悉的。
在實施例中,控制器10可以實現(xiàn)在軟件中,該軟件存儲于光源2的存儲器(例如,存儲器18)上并且布置用于在光源的處理器上執(zhí)行??商鎿Q地,不排除控制器10的一些或全部功能性可以實現(xiàn)在專用硬件電路中,或者可配置或可重配置硬件中,諸如PGA或FPGA。在部分或完全基于軟件的實現(xiàn)的情況下,時鐘或計時器16可以包括處理器的通用時鐘或計時器,其與控制器的軟件組合地配置為基于其來確定當前時間的相關(guān)表示。
控制器10和/或時鐘或計時器16可以集成到與光源2的相同單元或器具中,或者可以在它外部(例如,通過網(wǎng)絡(luò)向光源2提供指令)。
在接收器側(cè)處,圖像捕獲裝置4包括相機20,其配置為捕獲環(huán)境的圖像或一系列圖像。圖像捕獲裝置4還包括圖像處理模塊22,其被連接以從相機20的輸出接收所捕獲的圖像并且將它們供應(yīng)給圖像處理模塊22。此外,圖像捕獲裝置包括其中存儲所捕獲的圖像的存儲器24。
圖像處理模塊22可以實現(xiàn)為軟件的部分,其存儲在圖像捕獲裝置4的存儲器上(例如,存儲器24)并且布置用于在圖像捕獲裝置4的處理器上執(zhí)行。可替換地,不排除圖像處理模塊22的一些或所有功能性可以實現(xiàn)在專用硬件電路中,或者可配置或可重配置硬件中,諸如PGA或FPGA。圖像處理模塊22可以集成到與相機20的相同單元中,或者可以與它分離(例如,在分離的計算機上運行)。
對于每一個所捕獲的圖像,圖像處理模塊22定位圖像中的光源的光足跡8,并且然后使用編碼光圖像處理技術(shù)來從其確定在其處捕獲圖像的時間。例如,EP 2,503,852描述了卷簾快門類型的技術(shù)可以如何用于不僅檢測由編碼光分量發(fā)信號指示的(signaled)數(shù)據(jù),而且還檢測從環(huán)境中的任何其它光分量之中分離的單獨編碼光分量的空間足跡。
要指出,不必使光源2本身出現(xiàn)在所捕獲的圖像中,只要來自光源2的光在圖像中被捕獲(例如,光可以包括反射光或者通過漫射器所接收的光)。
圖8表示相機20的圖像捕獲元件36。圖像捕獲元件36包括用于捕獲代表入射在每一個像素上的光的信號的像素陣列,例如典型地,方形或矩形像素的方形或矩形陣列。在卷簾快門相機中,相機布置成多條線,例如水平行38,其逐線地順序曝光。也就是說,為了捕獲給定幀,第一條線38暴光于目標環(huán)境中的光,然后序列中的下一條線在稍微靠后的時間處開始曝光等等。典型地,序列按次序跨幀“滾動”,例如在自頂向底的行中,因而名稱為“卷簾快門”。當用于捕獲編碼光時,這意味著幀內(nèi)的不同線在不同時間處捕獲光,并且因此,如果線速率相對于調(diào)制頻率足夠高,則在調(diào)制波形的不同相位處。因而,可以檢測光中的調(diào)制。
在例如WO 2012/127439中,已經(jīng)公開了可以如何使用這種類型的“卷簾快門”相機來檢測編碼光。信號檢測運用卷簾快門圖像捕獲,其使時間光調(diào)制在像素的接連圖像行上轉(zhuǎn)化成空間強度變化。
如在WO 2012/127439中呈現(xiàn)的系統(tǒng)光照其環(huán)境并且同時在光輸出上疊加調(diào)制,其盡管基本上是獨立的人類眼睛不可感知的,但是對于卷簾快門相機可見。WO 2012/127439的可見光通信系統(tǒng)僅僅是可以與本發(fā)明結(jié)合地使用的系統(tǒng)的示例。
這在圖9中示意性圖示。當每一個接連線38曝光時,其在稍微不同的時間處曝光并且因此(如果線速率相比于調(diào)制頻率足夠高的話)在調(diào)制的稍微不同的相位處曝光。因而,使每一條線38暴光于經(jīng)調(diào)制的光的相應(yīng)瞬態(tài)水平。這導致條帶圖案,其隨調(diào)制在給定幀之上波動或循環(huán)?;谠撛恚瑘D像處理模塊22能夠檢測調(diào)制到由相機20接收的光中的編碼光分量。
在圖1和2中,光的編碼被描繪為引起光源2的光足跡8中的“條帶”。將領(lǐng)會到,編碼將對于人類眼睛不可感知,但是將作為由相機20捕獲的圖像中的條帶而顯現(xiàn),這是由于其使用卷簾快門圖像傳感器36。
在可替換實施例中,還可能的是,如果幀速率相對于編碼光信號中的數(shù)據(jù)的調(diào)制頻率足夠高,則使用全局快門相機來捕獲編碼光。
由光源2執(zhí)行的步驟在圖4中總結(jié)。在步驟S10處,光源2的控制器10從其存儲器18檢索光源的ID(或者通過網(wǎng)絡(luò)接收它)。ID在某一系統(tǒng)內(nèi)的多個其它光源(其在實施例中可以各自發(fā)射利用其自身的相應(yīng)ID編碼的光)之中唯一地標識光源,例如,在房間、建筑物或建筑群內(nèi)。在步驟S20處,控制器10還從光源2的時鐘或計時器16獲取當前時間的指示(或者通過網(wǎng)絡(luò)接收它)。在步驟S30處,控制器10然后控制光源2的照明元件14以發(fā)射根據(jù)適當編碼光技術(shù)所調(diào)制的光,以便將ID和時間編碼到所發(fā)射的光中。
顯然,替代于(或者附加于)傳送唯一標識符和當前時間指示,光源可以提供可加密驗證的時間戳。例如,時間戳可以使用對稱或非對稱密碼來加密,由此要求接收方對時間戳解密??商鎿Q地,時間戳可以與消息的數(shù)字簽名加密消息文摘或散列組合。以該方式,時間戳保持為清楚形式并且占有恰當密鑰的各方可以通過將時間戳與隨附消息文摘或散列匹配來驗證消息真實性。
要選擇的特定解決方案可以取決于應(yīng)用和要求。例如,假如時間戳清楚可獲得,則選擇可以取決于編碼光信息信道是否具有足夠的帶寬以容納數(shù)字簽名散列的開銷。對于具有有限帶寬的靜止圖像,加密可能最適合,因為其不添加附加位,而對于較高帶寬的應(yīng)用,諸如視頻(其包含多個圖像幀),包括具有數(shù)字簽名散列的純文本時間戳可能是有益的,因為其還清楚提供時間戳。
由接收側(cè)裝置4執(zhí)行的步驟在圖5中總結(jié)。在步驟T10處,相機20從光源2接收光(直接地和/或經(jīng)反射)并且由此捕獲環(huán)境的一個(或多個)圖像。圖像存儲在存儲器中,例如存儲器18中。在步驟T20處,圖像處理模塊22基于其ID來定位圖像的部分,其包括來自所討論的光源2的編碼光(即,定位編碼光的“足跡”8)。例如,這可以依照在EP 2,503,852中闡述的技術(shù)來執(zhí)行。在步驟T30處,圖像處理模塊22對如出現(xiàn)在圖像中的編碼光進行解碼,以便讀取時間戳。
圖像處理模塊然后與圖像相關(guān)聯(lián)地輸出時間戳的指示,使得在步驟T40處,其可以用于驗證在其處捕獲一個(或多個)圖像的時間,并且因而出現(xiàn)在圖像中的感興趣的一個或多個對象6在該時間處存在于所討論的環(huán)境中。
時間戳的指示可以逐字地以其所接收的形式而輸出,或者可以被解譯或重新格式化以便以不同形式輸出。例如,其可以從計算機可讀形式解譯為人類可讀形式,和/或從較高時間分辨率降低為較低計時器分辨率(例如,如果時間戳在高于感興趣的程度下準確,例如幾秒或幾毫秒,圖像處理模塊22可以僅以比方說幾分鐘、幾小時或者甚至只是日期為單位進行輸出)。
存在用于如何使用所輸出的時間戳的數(shù)個選項。
例如,如圖7中所圖示,圖像處理模塊22可以配置為將時間戳的指示存儲在圖像文件30的元數(shù)據(jù)34中。當圖像處理模塊22捕獲一個或多個圖像22時,其通過將它們存儲在至少一個圖像文件30中而記錄它們(例如,在視頻的情況下,每一文件多個圖像,或者在靜止圖像的情況下,每一圖像不同文件)。圖像文件30包括圖像數(shù)據(jù)32的部分,其表示將在屏幕上觀看的圖像的實際圖形部分,即實際像素。但是圖像文件30還包括元數(shù)據(jù)部分34(例如,頭文件或邊信息),其包括本身不是圖像的部分但是與它相關(guān)聯(lián)的數(shù)據(jù)。
在實施例中,時間戳不(或者至少不僅)輸出給用戶以用于使用戶驗證時間,而是輸出給驗證模塊23以執(zhí)行至少部分自動的驗證進程(再次參照圖3)。驗證模塊23可以實現(xiàn)為軟件的另一個部分,其存儲在圖像捕獲裝置4的存儲器(例如,存儲器24)上并且布置用于在圖像捕獲裝置4的處理器上執(zhí)行??商鎿Q地,再次不排除驗證模塊23的一些或所有功能性可以實現(xiàn)在專用硬件電路中,或者可配置或可重配置硬件中,諸如PGA或FPGA。驗證模塊23可以集成到與相機20和/或圖像處理模塊22的相同單元中,或者可以與它們中的一個或二者分離。
存在用于通過驗證模塊23的自動驗證的數(shù)個可能性。
在實施例中,從編碼光獲取的時間戳可以用于驗證與圖像相關(guān)聯(lián)的預存在的時間戳。在一個這樣的實施例中,圖像處理模塊22配置為隨后再次從一個或多個所存儲的圖像解碼時間戳,并且驗證模塊23配置為比較它與元數(shù)據(jù)34中所存儲的時間戳以便驗證所存儲的時間戳。例如,可能期望的是,檢查圖像尚未被篡改。在該情況下,之前從圖像解碼(例如,在捕獲時間處)并且與它相關(guān)聯(lián)地存儲(例如,在圖像文件30中的元數(shù)據(jù)34中)的時間戳應(yīng)當與在隨后時機處從(假設(shè))那個相同圖像解碼的時間戳匹配。驗證模塊23布置為通過比較時間戳的所存儲的版本與現(xiàn)在從所存儲的圖像提取的(假定)相同時間戳來檢查此。
作為另一個示例,相機20是將其自身的時間戳添加到一個或多個圖像中的至少一個的相機,并且驗證模塊23配置為比較相機自身的時間戳與所解碼的時間戳以便驗證相機的時間戳。例如,其可能不確定相機的時間戳記是否可靠或值得信賴,或者其可能不知曉由相機添加的時間戳是否已經(jīng)被篡改。驗證模塊23可以配置為通過對照從所討論的圖像提取的編碼光時間戳而檢查相機的(表觀)時間戳來驗證此。
在一個示例中,使用對稱或非對稱密碼對時間戳加密,使得時間戳以加密格式提供并且要求對應(yīng)解密密鑰來訪問時間戳。以該方式,第三方將難以提供“偽造”時間戳。
在又一個示例中,使用信任方的私用密鑰來簽名調(diào)制到光中的時間戳,例如光源2的操作者或供應(yīng)商或其同伴的私用密鑰。在該示例中,驗證模塊23配置為使用對應(yīng)公共密鑰驗證經(jīng)解碼的時間戳。
在一個有利實現(xiàn)中,包括時間戳的消息還包括利用私用-公共密鑰對的私用密鑰簽名的加密散列(以及可選地幫助驗證的數(shù)字證書)。驗證模塊23然后可以使用對應(yīng)公共密鑰驗證數(shù)據(jù)的真實性,即設(shè)備可以驗證時間戳的確起源于信任操作者、供應(yīng)商或同伴的光源2。
優(yōu)選地,與時間戳結(jié)合地使用時間戳的加密簽名散列來提供真實性的證據(jù)。
Timestamp1=Timestamp|EPK(Private key, fhash(Timestamp))
其中
“|”運算符表示數(shù)據(jù)的級聯(lián),
fhash表示加密散列函數(shù),并且
EPK(.)函數(shù)表示非對稱公共密鑰密碼。
以上Timestamp1允許通過使用加密密鑰對的對應(yīng)公共密鑰對散列進行解密,計算時間戳的加密散列,以及比較所解密和計算的散列值對時間戳(Timestamp)進行驗證。
在另外的實施例中,可選地,圖像處理模塊22可以配置為一旦時間戳已經(jīng)被解碼、存儲或驗證,則從所述一個或多個圖像移除調(diào)制。盡管編碼光中的調(diào)制一般過于高頻以至于不可見,但是在其可以在所捕獲的圖像中留下偽假象的一些情況下是可能的。為了避免此,圖像處理模塊22可以配置為檢測何時已經(jīng)使用時間戳(例如,通過檢測它現(xiàn)在已經(jīng)被顯示給用戶,作為圖形元素28并入在圖像中,作為元數(shù)據(jù)34存儲和/或通過驗證模塊23驗證),并且然后隨之從存儲在所存儲的圖像文件30中和/或在屏幕上顯示給用戶的圖像數(shù)據(jù)32消除編碼光分量。
例如,當以類似于WO 2012/127439的方式調(diào)制編碼光信號時,則編碼光信號典型地在由燈光照的區(qū)域上或者燈周圍留下信號。來自編碼光信號的數(shù)據(jù)在所得圖像內(nèi)的這種表現(xiàn)可以被視為是觀看者所不期望的。為此目的,可以使用后處理以移除所得圖案的部分。編碼光檢測的部分是要確定編碼光的足跡;即,在圖像中編碼光信號可獲得的地方。在解碼之后,正是這個足跡可以用于從圖像過濾掉編碼光信號,例如借助于主要在與卷簾快門線正交的方向上過濾的過濾器,由此降低編碼光信號在足跡內(nèi)的可見性。
特別地,在后一種情況下,優(yōu)選地,應(yīng)當注意的是,存儲在元數(shù)據(jù)中的信息(時間戳、可選的位置數(shù)據(jù)和/或標識符、或者類似數(shù)據(jù))以使用加密技術(shù)來防止或至少復雜化篡改的方式進行存儲。
針對該效應(yīng)的一種可能的解決方案將是使相機使用加密技術(shù)來保護時間戳或者使用加密技術(shù)來保護整個元數(shù)據(jù),由此使得更難以篡改時間戳數(shù)據(jù)。時間戳可以使用對稱或非對稱密碼加密,使得僅具有對應(yīng)密鑰的應(yīng)用可以訪問時間戳??商鎿Q地,相機可以提供與至少覆蓋時間戳的加密簽名散列組合的時間戳(以及可選地幫助驗證的數(shù)字證書)。通過使用這些加密技術(shù),可以驗證時間戳的真實性,甚至是在已經(jīng)通過后處理移除靜止或視頻圖像中的任何可見偽假象之后。
優(yōu)選地,與時間戳結(jié)合地使用時間戳的加密簽名散列(或整個元數(shù)據(jù))來提供真實性的證據(jù)。
Metadata1=Timestamp|EPK(Private key, fhash(Timestamp))
其中
“|”運算符表示數(shù)據(jù)的級聯(lián),
fhash表示加密散列函數(shù),并且
EPK(.)函數(shù)表示非對稱公共密鑰密碼。
以上Metadata1允許通過使用加密密鑰對的對應(yīng)公共密鑰對散列進行解密、計算時間戳的加密散列、并且比較所解密和計算的散列值對時間戳的驗證。
因此要指出,對于加密簽名散列的使用,存在以上描述中給定的兩種可能性。第一種是在編碼光信號中(其像編碼光系統(tǒng)安全那樣安全),并且第二種是在相機中所生成的證據(jù)中(其像相機安全那樣安全)。存在第一種和第二種情況之間的一些差異,主要差異是可用帶寬。加密簽名散列典型地相當短——其是一種難以偽造的校驗和。但是為了驗證校驗和,這要求公共密鑰和證書。證書是對散列進行解密所需要的公共密鑰,散列繼而由信任第三方簽名。因此,證書允許檢查(檢查散列所需要的)公共密鑰是經(jīng)信任第三方所批準的。該證書可以占據(jù)非常大數(shù)目的位,其可能容易地添附到比如JPG這樣的文件,但是在一些系統(tǒng)中可能比可以通過編碼光容易傳送的更多(例如,將要求長檢測時間)。因而,在具有有限編碼光帶寬的一些實施例中,包括具有時間戳的證書可能更加適用于其中散列通過接收相機而應(yīng)用的第二種情況,而不是其中在編碼光信號中應(yīng)用它的第一種情況??商鎿Q地,在任一種情況中,公共密鑰和/或證書可以通過分離的裝置來分發(fā)(例如,經(jīng)由網(wǎng)絡(luò)或存儲器棒)。
在另外的實施例中,除通過驗證模塊23的自動驗證的以上形式中的一個或多個之外,時間戳可以可選地還輸出給用戶,從而允許用戶她自己或他自己驗證在其處捕獲圖像的時間。在該情況下,所驗證的是用戶自身對何時捕獲圖像或者據(jù)稱或聲稱何時已經(jīng)捕獲圖像的感知、印象、記憶或信任。例如,用戶可能認識到圖像中的事件,但是想要確認他或她對事件何時發(fā)生的記憶?;蛘咦鳛榱硪粋€示例,可以通過另一人向用戶示出圖像,該另一人報告事件已經(jīng)發(fā)生在某一時間處,但是用戶想要檢查該另一人的斷言。
例如,如在圖6中所圖示,圖像處理模塊22可以配置為修改實際圖像26——即,圖像的實際像素——以將時間戳的指示作為圖形元素28并入圖像中,并且以該經(jīng)修改的形式存儲圖像。當用戶檢索該經(jīng)修改的所存儲的圖像以在屏幕上觀看時,他或她將看到在圖形上集成到圖像的像素中的時間戳28(注意,此處的“圖形元素”不必排除作為是圖像的部分的圖像數(shù)據(jù)而包括的文本)。圖像處理模塊22還可以寫入保護或加密經(jīng)修改的圖像26以防止篡改。
另一個示例是基于在圖7中示出的場景。如上文所述,圖像處理模塊22可以配置為將時間戳的指示存儲在圖像文件30的元數(shù)據(jù)34中。在圖6的實施例中,它是實際圖像數(shù)據(jù)32,其被修改以指示時間戳,而不是作為元數(shù)據(jù)包括時間戳,但是在圖7的實施例中,在元數(shù)據(jù)34中指示時間戳。除能夠由驗證模塊23使用之外,用戶他或她自己還可以觀看來自元數(shù)據(jù)34的時間戳,例如通過觀看計算機上的文件系統(tǒng)、操作系統(tǒng)或瀏覽器中的文件30的文件細節(jié)。
附加于以上技術(shù)中的任一個,可選地,光源2的控制器10還可以配置為將光源的位置的指示編碼到它發(fā)射的光中。因而,接收側(cè)的圖像處理模塊22還能夠從一個或多個圖像的處理獲得指示在其處捕獲一個或多個圖像的位置的信息。
該信息可以采取任何可能的形式。在實施例中,位置信息可以包括直接嵌入光中的位置的幾何坐標或名稱,例如作為光源2的GPS坐標(光源2可以甚至出于該目的而裝備有GPS接收器)或者對于人類有意義的位置的名稱(例如,房間、建筑物、街道等的名稱)??商鎿Q地,嵌入光中的位置信息可以包括映射到位置數(shù)據(jù)庫(未示出)中的位置的光源2的標識符。在該情況下,圖像處理模塊配置為基于所述標識符來從位置數(shù)據(jù)庫查找位置。
因而,依照以上討論的所有內(nèi)容,所公開的系統(tǒng)可以提供一種類型的“水印”,其創(chuàng)建在何時以及可選地在何處捕獲圖像的證據(jù),例如允許用戶展示“我在那里”。
在實施例中,以上關(guān)于時間戳討論的任何驗證技術(shù)可以應(yīng)用于該“位置戳”。例如,存儲在圖像文件30中的所捕獲的圖像可以經(jīng)修改以類似于圖6而作為圖形元素28并入位置,和/或位置可以包括在所存儲的圖像文件30的元數(shù)據(jù)32中,如圖7中那樣??商鎿Q地或者附加地,以與上文關(guān)于時間戳討論的任何選項類似的方式,指示位置的信息可以被加密或者加密簽名在編碼光信號中,和/或經(jīng)加密或者加密簽名在相機處。
盡管已經(jīng)主要在考慮到時間戳的驗證并且可能地與位置信息的組合的情況下呈現(xiàn)了本發(fā)明,但是創(chuàng)建一種系統(tǒng)可以是同等有利,其中編碼光僅包括位置信息而不是時間戳和位置信息二者。這樣的系統(tǒng)將提供驗證在何處記錄圖像/足跡而不是在何時記錄它的另外的能力。這樣的設(shè)備將類似于所要求保護的設(shè)備,因為其將是一種包括以下各項的設(shè)備:用于接收由相機捕獲的、通過來自可見光源的光而光照的環(huán)境的圖像的輸入;以及圖像處理模塊,其配置為處理圖像的一個或多個以對表示調(diào)制到所述光中的位置的數(shù)據(jù)進行解碼,并且輸出所解碼的位置的指示以用于驗證捕獲一個或多個圖像的位置。
在又另外的實施例中,以上任何技術(shù)可以與面部識別算法或其它圖像識別算法組合以便附加地標識一個或多個圖像中的任一個中的人員(或者甚至多個人員),其中從該一個或多個圖像中已經(jīng)解碼時間戳(以及在一些實施例中的位置戳)——即,以便檢測人員(或人類)的存在并且標識人員是誰。例如,如果面部或者面部的部分可以在一個或多個圖像中辨別,則這可以允許面部識別算法標識該面部所屬于的人員?;蛘?,如果人員佩戴有諸如特殊徽章之類的獨特物品,或者獨特衣物,可選地與諸如高度、頭發(fā)顏色、體型等其它因素組合,可以可能的是圖像識別算法而不是面部識別算法來標識人員(或者兩種類型的算法可以組合以用于更加魯棒的標識)。不管使用的是哪種類型的識別算法,都可以依照任何適當?shù)臉俗R符來標識人員,諸如個人姓名(“Dave Smith”等)或昵稱、或電子郵件地址、或某一通信系統(tǒng)的用戶名,諸如社交聯(lián)網(wǎng)系統(tǒng)或VoIP系統(tǒng)的用戶名。
在實施例中,面部和/或其它圖像識別算法可以連同時間戳檢測和位置戳檢測一起組合到app或其它應(yīng)用中,以記錄以下事實:所標識的人員或者人員在某一時間處于某一地點(并且因此使得用戶能夠證明該事實)。例如,這可以用作以下中的一個或多個的部分:基于位置的游戲(其中游戲中的結(jié)果取決于一個或多個人員在指定的一個或多個時間處于一個或多個指定的位置)、零售獎勵方案(其中向用戶的獎勵取決于用戶曾經(jīng)在指定的一個或多個時間處于一個或多個指定的位置)、社交聯(lián)網(wǎng)系統(tǒng)(其中用戶可能想要證明他或她的活動是真實的)和/或名人定位應(yīng)用(例如,以自動地檢測圖像中的名人,或者證明用戶在某一地點和時間存在于帶有名人的圖像中)。
應(yīng)用可以以數(shù)個方式記錄以下事實:所標識的人員或者人員在經(jīng)驗證的時間處于經(jīng)驗證的位置。例如,這可以在本地記錄于用戶的用戶設(shè)備上,例如,在便攜式用戶設(shè)備上,諸如包括并入用戶設(shè)備中的相機20、圖像處理模塊22和驗證模塊23的智能電話、平板或者膝上型電腦。這樣,通過在便攜式用戶設(shè)備的本地用戶接口(例如,屏幕)上向他們顯示所記錄的結(jié)果,用戶可以向一個或多個其他人(例如,朋友、零售員工、安全人員等)顯示發(fā)現(xiàn)所標識的人員或者人員處于所討論的時間和地點。作為另一個示例,所標識的一個或多個人員在經(jīng)驗證的時間處于經(jīng)驗證的地點的事實可以經(jīng)由網(wǎng)絡(luò)記錄在服務(wù)器或其它計算機上。例如,用戶可以通過諸如互聯(lián)網(wǎng)或者移動蜂窩網(wǎng)絡(luò)(例如,3GPP網(wǎng)絡(luò))之類的廣域網(wǎng)(WAN)向服務(wù)器提交來自相機20的所捕獲的圖像,在該服務(wù)器處實現(xiàn)驗證模塊23。例如,這可以是社交聯(lián)網(wǎng)系統(tǒng)的服務(wù)器或者托管基于位置的游戲的服務(wù)器。這樣,驗證可以集中地執(zhí)行并且使其可用于一個或多個其他用戶查看。
存在以上技術(shù)的各種可能的應(yīng)用。例如,針對驗證的需要可能存在于游戲中。以游戲為例,其中玩家必須根據(jù)預確定的路線(用于預確定的旅程、路徑或位置集合的預確定的安排)行進。玩家實際上在某些時隙處存在于作為路線的部分的位置處的證據(jù)可以借助于所捕獲的圖像來驗證。圖像可以借助于所討論的位置處的固定相機來創(chuàng)建,或者可替換地,圖像可以借助于玩家的移動設(shè)備來捕獲。越來越多的具有相機的移動裝置設(shè)計成進行所謂的“自拍”,其包含拍攝圖像的人員的面部。由游戲的玩家在某一時刻、某一位置處捕獲的圖像然后可以自動地通過根據(jù)本發(fā)明的設(shè)備或應(yīng)用進行驗證。該設(shè)備或應(yīng)用可以實現(xiàn)在用于捕獲圖像的移動用戶終端中(例如,作為“自拍競賽”的部分)??商鎿Q地,設(shè)備或應(yīng)用可以(至少部分地)遠程實現(xiàn)。設(shè)備或應(yīng)用然后可以基于該位置處的光源的所發(fā)射光中的代碼的知識來驗證是否實際上在某一時隙內(nèi)在相關(guān)位置處得到圖像,例如在捕獲圖像之后立刻驗證。設(shè)備或應(yīng)用可以比較嵌入所發(fā)射的光中的代碼與已經(jīng)作為游戲的部分而提供的代碼。優(yōu)選地,設(shè)備或應(yīng)用還能夠進行面部識別。通過組合代碼驗證和面部識別,設(shè)備可以驗證在圖像中識別的用戶在指定時間處于該位置。
作為另一個示例應(yīng)用,許多人想要向其他人(朋友、家人等)示出他們曾經(jīng)處于某一位置——不作為特定游戲的部分,而是僅僅作為與其他人的社交交互的部分。以上公開的技術(shù)可以用于支持這種類型的社交交互。
在另一個示例中,所發(fā)射的光中的代碼包括或者基于時間戳并且優(yōu)選地還涉及一種游戲。此處的“基于”意味著所傳送的代碼不必是實際時間的直接指示。其還意味著所發(fā)射的光中的信號隨時間不恒定,而是作為時間的函數(shù)起伏。游戲是基于通過在某一時刻存在于某一位置來收集點。例如,在酒吧或酒館中,存在典型地被大多年長的人或阿爾法類型所占據(jù)的場所。借助于圖像示出用戶(或另一個人員)在某一時間處于這樣的場所在社交游戲中可能是重要的。
創(chuàng)建用戶在某一時間處于某一位置的證據(jù)的另一個使用可以在零售中找到。例如,通過提供他們曾經(jīng)在商店或另一個位置處的證據(jù),顧客可以接收折扣,或者較快的服務(wù)。再次,必須在發(fā)射特定(基于時間)代碼的光源的附近或者利用甚至直接在圖像中可見的光源捕獲圖像。
又一個可能的應(yīng)用是使用面部識別,以用于在相同圖像或圖像序列中標識或證實所聲稱的另外的人員(比方說,名人)的身份,并且自動驗證圖像支持以下斷言:所討論的特定/多個人員在相同時間(一起)存在于相同位置。
將領(lǐng)會到,出于清楚起見,以上描述已經(jīng)參照不同功能單元和/或處理器描述了本發(fā)明的實施例。然而,將顯而易見的是,可以使用不同功能單元或處理器之間的功能性的任何適當分布,而不脫離本發(fā)明。例如,圖示為由分離的單元、處理器或控制器執(zhí)行的功能性可以由相同的處理器或控制器執(zhí)行。因而,對特定功能單元的引用僅被視為對用于提供所述功能性的適當裝置的引用,而不是指示嚴格的邏輯或物理結(jié)構(gòu)或組織。本發(fā)明可以以任何適當?shù)男问綄崿F(xiàn),包括硬件、軟件、固件或這些的任何組合。
將領(lǐng)會到,本發(fā)明還應(yīng)用于計算機程序,特別地載體上或中的計算機程序,其適配成使本發(fā)明付諸實踐。程序可以具有源代碼、目標代碼、中間源代碼和目標代碼的形式,諸如以部分匯編形式,或者以適用于使用在根據(jù)本發(fā)明的方法的實現(xiàn)中的任何其它形式。
涉及計算機程序產(chǎn)品的另一個實施例包括對應(yīng)于本文陳述的系統(tǒng)和/或產(chǎn)品中的至少一個的每一個構(gòu)件的計算機可執(zhí)行指令。這些指令可以再分成子例程和/或存儲在可以靜態(tài)地或者動態(tài)地鏈接的一個或多個文件中。當提供在載體上時,計算機程序的載體可以是能夠承載程序的任何實體或設(shè)備。例如,載體可以包括存儲介質(zhì),諸如ROM,例如CD ROM或半導體ROM,或者磁性記錄介質(zhì),例如硬盤??商鎿Q地,載體可以是其中嵌入程序的集成電路,該集成電路適配成執(zhí)行相關(guān)方法或者使用在相關(guān)方法的執(zhí)行中。
將領(lǐng)會到,已經(jīng)作為示例而描述了以上實施例。本領(lǐng)域技術(shù)人員在實踐所要求保護的發(fā)明時,通過研究附圖、公開內(nèi)容和隨附權(quán)利要求,可以理解和實現(xiàn)對所公開的實施例的其它變形。在權(quán)利要求中,詞語“包括”不排除其它元件或步驟,并且不定冠詞“一”或“一個”不排除多個。單個處理器或其它單元可以完成在權(quán)利要求中記載的若干項的功能。在相互不同的從屬權(quán)利要求中記載某些措施的僅有事實不指示這些措施的組合不能用于獲益。計算機程序可以存儲/分布在適當?shù)慕橘|(zhì)上,諸如與其它硬件一起或者作為其它硬件的部分供應(yīng)的光學存儲介質(zhì)或者固態(tài)介質(zhì),但是也可以以其它形式分布,諸如經(jīng)由互聯(lián)網(wǎng)或其它有線或無線電信系統(tǒng)。權(quán)利要求中的任何參考標記不應(yīng)當解釋為限制范圍。