專利名稱：根據(jù)特征圖像流程識別和驗證未知文檔的制作方法
技術領域：
本發(fā)明涉及使用靈活文檔驗證框架對護照、駕駛執(zhí)照、出生證明或財務文檔之類 的安全文檔進行計算機輔助識別和驗證。
背景技術：
計算機輔助技術正越來越多地用于從安全文檔捕捉、識別、驗證和提取信息。例 如，電子護照閱讀器之類的安全文檔閱讀器正在更加普遍地用于讀取和確認安全文檔的可 靠性。安全文檔的例子包括護照、信用卡、身份證、駕駛執(zhí)照、出生證明、商業(yè)票據(jù)和財務文 檔。對于一些安全文檔，ICAO(國際民用航空組織)提供了使用計算機輔助技術識別安全 文檔的明確步驟。對于其他安全文檔，尚沒有任何標準指定了計算機輔助技術可以用來識 別不符合ICAO要求的安全文檔的步驟。通常，必須首先識別給定安全文檔的類型，然后才能確定該安全文檔的可靠性。例 如，一些現(xiàn)代安全文檔閱讀器支持多種不同類型的安全文檔，如各個國家或地區(qū)簽發(fā)的護 照。為確認安全文檔是否為可靠護照，(例如)必須首先確定所鑒定的護照的具體國家和版 本。與(例如)澳大利亞護照相比，鑒定英國護照時可能要求應用不同的算法以及/或者 對護照的不同部分進行分析。更具體地講，為鑒定不同的安全文檔，安全文檔閱讀器可以采 用多種算法，包括分析文檔尺寸、靜態(tài)圖像圖案和/或從文檔和/或存儲媒體(如條形碼、 機讀區(qū)和RFID芯片)上的特定位置收集的信息的那些算法。首先識別安全文檔的類型這一流程對于不符合ICAO要求的文檔可能是艱巨的挑 戰(zhàn)。一種方法是要求操作員手動選擇安全文檔的類型，然后再處理該文檔以確認其可靠性。 然而，該方法的人工勞動量大，并且在處理大量安全文檔的環(huán)境下容易出錯。另外，某些計算機輔助技術可以用于嘗試以自動或半自動方式識別安全文檔的類 型。然而，到目前為止，此類技術本質(zhì)上通常是靜態(tài)的(即嚴格定義的)。即，可以對文檔鑒 定系統(tǒng)進行靜態(tài)編程以應用第一算法來測試是否為第一類安全文檔。如果測試失敗，則文 檔鑒定系統(tǒng)應用第二算法來測試是否為第二類安全文檔。該靜態(tài)流程按順序繼續(xù)進行，直 到安全文檔被識別或拒絕。該靜態(tài)流程的嚴格本質(zhì)和所需的大量處理時間不太適合設計用 于支持大量不同文檔類型的文檔鑒定系統(tǒng)，并且可能限制此類系統(tǒng)的可擴展性。

發(fā)明內(nèi)容
本發(fā)明大體而言涉及根據(jù)可擴展的高效動態(tài)文檔識別框架對安全文檔且更一般 地說對物件進行識別和驗證的技術。即，描述了可擴展軟件框架，此框架可用于輕易確定不 同類型的安全文檔，并且可以輕易對此框架進行擴展以適合高效地識別和驗證大量不同類 型的安全文檔。此外，可以輕易地從一組共享、可重復使用的文檔識別軟件模塊添加和選擇 識別各文檔類型所需的算法。在一個實施例中，文檔識別軟件模塊可以從邏輯上被劃分為 “分類器”、“核對器”和“驗證器”。文檔識別框架包括組織為分層樹狀結構的一組節(jié)點，對 此框架的遍歷在應用可重復使用的文檔識別軟件模塊的基礎上將文檔劃分為文檔類型和子類型。識別文檔類型時，文檔處理引擎根據(jù)分類器在樹中每個父節(jié)點處的結果選擇性地 遍歷此分層文檔識別框架中的路徑。即，可以在分層文檔識別框架中的每個父節(jié)點處應用 能進行高效計算的一個或多個分類器，以確定是否遍歷至該節(jié)點的任何子節(jié)點。分類器將 未知文檔的整體特性與代表子文檔類型的子節(jié)點的特性進行比較。給定節(jié)點的分類器返回 子集(如以列表的形式)，該子集可能包含代表可能的參考文檔對象類型的零個或更多個 子節(jié)點。遍歷分層文檔識別框架時，也可以為子集中的每個子節(jié)點應用計算密度更高的核 對器，從而應用更多約束條件來以高精確度進一步確認安全文檔是否具有適合于分類器所 識別的子節(jié)點的特性。如本文所述，子節(jié)點的評估順序可以基于置信度或相似度，并且可以 選擇相對于未知文檔的相似度最高的子節(jié)點。在一些實施例中，必須首先滿足置信度水平 或相似度的閾值，才能將任何子節(jié)點視為與未知文檔可能匹配。一旦選擇了子節(jié)點，子節(jié)點 就被視為父節(jié)點，并且遍歷流程以遞歸方式繼續(xù)進行，從而對于新的父節(jié)點再次應用分類 器和核對器。到達葉節(jié)點后，該最終父節(jié)點被視為識別結果。這時，應用由用于所得識別節(jié)點的 一個或多個驗證器構成的組來嘗試確認安全文檔的可靠性。驗證器通常使用圖像比較算 法將未知文檔的任何安全特征與一個或多個已知參考進行比較，以返回置信度水平或相似 度。如果相似度超過鑒定閾值，則將該未知文檔視為經(jīng)驗證后為可靠文檔。這樣，由文檔識別模塊確定的各算法的應用順序(即遍歷框架的順序)根據(jù)所識 別安全文檔的具體屬性而動態(tài)變化。該方法提供給高效、可擴展的文檔鑒定系統(tǒng)，可以輕易 將該系統(tǒng)擴展以支持數(shù)百甚至數(shù)千種不同類型的安全文檔。例如，安全文檔的識別以及隨后的驗證可能涉及來自安全文檔的數(shù)據(jù)，例如從機 讀區(qū)(MRZ)、條形碼、磁條、文本內(nèi)容、安全圖像或安全文檔中嵌入的射頻識別(RFID)芯片 獲得的數(shù)據(jù)。根據(jù)本文所述原理，安全文檔鑒定系統(tǒng)通過執(zhí)行分層框架定義的分類器和核 對器遍歷此框架，以處理來自安全文檔的數(shù)據(jù)并確定安全文檔是否包含某些識別特性?？?架的分層本質(zhì)，以及框架使用可重復使用的文檔分類器來識別文檔類型的類別和子類別， 使得即使是在支持眾多不同文檔類型的情形下也能夠快速高效地識別安全文檔。因此，本 文所述技術尤其可用于以縮減快速識別安全文檔并隨后確定其可靠性(而無論世界上當 前可用的安全文檔的數(shù)量如何增長)所需比較次數(shù)的方式維持動態(tài)文檔識別框架。例如，可以在安全文檔鑒定設備中實施本發(fā)明的技術。該設備可以包括接收物件 的捕捉圖像的圖像捕捉接口和根據(jù)動態(tài)文檔識別框架在數(shù)據(jù)結構中存儲多個文檔類型對 象的存儲器。安全文檔鑒定設備還包括文檔處理引擎，其通過選擇性地調(diào)用多個流程中的 一個或多個來遍歷數(shù)據(jù)結構，從而將安全文檔識別為多個文檔類型對象中的一個。通常，數(shù) 據(jù)結構包括樹狀數(shù)據(jù)結構以實現(xiàn)捕捉圖像和文檔類型對象之間少得多的比較次數(shù)。此外， 通過使用動態(tài)數(shù)據(jù)結構(如樹數(shù)據(jù)結構)，可以將數(shù)據(jù)結構輕松擴展以涵蓋不斷增長的安 全文檔數(shù)量，并且可以在運行時間內(nèi)實時動態(tài)調(diào)整以適應其他數(shù)據(jù)結構。在一個實施例中，一種方法包括接收未知文檔的一個或多個捕捉圖像，并根據(jù)動 態(tài)文檔識別框架在數(shù)據(jù)結構中存儲多個文檔類型對象，其中多個文檔類型對象引用多個用 于從捕捉圖像提取屬性的遞歸流程，以將未知文檔分類并將其驗證為文檔類型對象中的一個所代表的文檔類型。該方法還包括根據(jù)對捕捉圖像應用多個遞歸流程所提取的屬性，以 可變順序遍歷數(shù)據(jù)結構的文檔類型對象，以及在遍歷數(shù)據(jù)結構后將未知文檔識別為多個文 檔類型對象中的一個。在另一個實施例中，一種安全文檔鑒定設備包括捕捉未知文檔的一個或多個圖像 的圖像捕捉接口和根據(jù)動態(tài)文檔識別框架在數(shù)據(jù)結構中存儲多個文檔類型對象的存儲器， 其中多個文檔類型對象引用多個用于從捕捉圖像提取屬性的遞歸流程。該設備還包括文檔 處理引擎，其根據(jù)對捕捉圖像應用多個遞歸流程所提取的屬性，以可變順序遍歷數(shù)據(jù)結構 的文檔類型對象，其中文檔處理引擎在遍歷數(shù)據(jù)結構后將未知文檔識別為多個文檔類型對 象中的一個。在另一個實施例中，本發(fā)明涉及包含指令的計算機可讀媒體。指令使可編程處理 器接收物件的捕捉圖像并根據(jù)動態(tài)文檔識別框架在數(shù)據(jù)結構中存儲多個文檔類型對象，其 中多個文檔類型對象引用多個流程。指令還使處理器通過選擇性地調(diào)用多個流程中的一個 或多個來遍歷數(shù)據(jù)結構，從而將捕捉圖像識別為多個文檔類型對象中的一個。附圖和下文的說明書詳細描述了本發(fā)明的一個或多個實施例。根據(jù)本發(fā)明說明 書、附圖以及權利要求書，本發(fā)明的其他特征、目標和優(yōu)點將顯而易見。


圖1為示出根據(jù)本發(fā)明的原理的、用于分析安全文檔12的示例性文檔鑒定系統(tǒng)10 的示意圖。圖2為示出根據(jù)本發(fā)明的原理的、用于根據(jù)動態(tài)文檔識別框架來驗證物件的示例 性主機系統(tǒng)的框圖。圖3為示出圖1的文檔鑒定系統(tǒng)的示例性操作的流程圖。圖4為更加詳細地示出圖2的主機系統(tǒng)的示例性操作的流程圖。圖5為更加詳細地示出圖2的文檔識別框架的框圖。圖6為示出文檔識別模塊在遍歷文檔識別框架時的示例性操作的流程圖。圖7A-7C為文檔識別框架的用戶界面通過顯示器向用戶呈現(xiàn)的窗口的屏幕截圖。圖8A、8B為主機系統(tǒng)完成識別和隨后的驗證之后，用戶界面通過顯示器向用戶呈 現(xiàn)的窗口的屏幕截圖。圖9為更加詳細地示出圖2的主機系統(tǒng)存儲器結構的一部分的框圖。圖10為示出文檔識別模塊在遍歷文檔識別框架以調(diào)用布局匹配識別流程時的示 例性操作的流程圖。圖11A-11C為示出在文檔識別模塊執(zhí)行布局匹配識別流程時捕捉圖像的狀態(tài)的 示例性圖像。圖12為示出文檔識別模塊在遍歷文檔識別框架以調(diào)用特征圖像文檔匹配流程時 的示例性操作的流程圖。圖13A-13C為示出在文檔識別模塊執(zhí)行特征圖像文檔匹配流程時捕捉圖像的狀 態(tài)的示例性圖像。圖14A-14C為文檔驗證模塊的示例性圖像，這些圖像示出捕捉圖像和圖像中字符 的灰度變化分布。
8
圖15A-15D和16A-16C為文檔驗證模塊的示例性圖像，這些圖像示出樣本印刷技 術及其分析結果。圖17A-17C示出了該系統(tǒng)在從由206種不同的未使用符合ICAO要求的MRZ區(qū)的 美國駕駛執(zhí)照構成的組中識別和驗證紐約駕駛執(zhí)照的當前版本的效率和高精確度。
具體實施例方式圖1為示出根據(jù)本發(fā)明的原理的、用于分析安全文檔12的示例性文檔鑒定系統(tǒng) 10的示意圖。文檔鑒定系統(tǒng)10包括主機系統(tǒng)20，該主機系統(tǒng)連接到文檔閱讀器11 (如電 子護照文檔閱讀器)。文檔閱讀器11用作圖像捕捉設備并確認安全文檔12是否為有效、 可靠的安全文檔。如本文所述，文檔閱讀器11支持多種類型的安全文檔。鑒定的一部分工 作是，文檔閱讀器U首先確定插入設備的安全文檔的具體類型。例如，安全文檔12可能是 美國護照、美國某個州的駕駛執(zhí)照、美國某個州的身份證、歐盟(E.U.)駕駛執(zhí)照，歐盟身份 證、美國各個州或全球各國政府機構頒發(fā)的護照或身份識別文件、所有權憑證、身份證和多 種其他文檔類型。識別安全文檔的類型后，文檔鑒定系統(tǒng)10可以隨即從安全文檔12驗證 和提取信息。例如，文檔鑒定系統(tǒng)10的主機計算機系統(tǒng)20可以用于引導文檔閱讀器11首先捕 捉安全文檔12的整體或部分的一個或多個圖像構成的序列。然后，使用兩階段流程，其中 文檔鑒定系統(tǒng)10首先識別安全文檔的類型，然后根據(jù)對捕捉圖像數(shù)據(jù)的分析結果并且可 能結合從安全文檔獲得的其他數(shù)據(jù)，確定安全文檔12是否為所識別類型的有效文檔。例 如，除了從安全文檔12捕捉的掃描圖像數(shù)據(jù)外，文檔鑒定系統(tǒng)10還可以利用從一個或多個 機讀區(qū)(如條形碼)接收的數(shù)據(jù)、從嵌入文檔或附連到文檔的射頻識別(RFID)芯片接收的 數(shù)據(jù)或從文檔提供的其他信息源接收的數(shù)據(jù)。如本文所述，主機計算機20為文檔處理引擎提供使用動態(tài)文檔識別框架的操作 環(huán)境，可輕松擴展和修改該動態(tài)文檔識別框架以支持多種類型的安全文檔。即，該文檔識別 框架提供可在其中根據(jù)不同類型的安全文檔輕松添加、定義和利用識別算法的環(huán)境。文檔 處理引擎在必要時與框架進行交互以調(diào)用各種算法將安全文檔12分類并最終將該安全文 檔識別為具體的文檔類型，如具體機構頒發(fā)并且具有后續(xù)鑒定所需特定特性和布局特征的 安全文檔。文檔鑒定系統(tǒng)10通過掃描安全文檔12而從該安全文檔12的整體或部分捕捉由 一個或多個圖像構成的序列，以此開始識別安全文檔12這一流程。然后，文檔鑒定系統(tǒng)10 根據(jù)動態(tài)文檔識別框架遍歷存儲有定義多個文檔類型對象的數(shù)據(jù)的數(shù)據(jù)結構。多個文檔類 型對象以節(jié)點的形式分層排列，每一個節(jié)點均代表安全文檔的類型的類別或子類別。每個 對象均可以引用(即包含指向下述模塊的指針)多個可執(zhí)行文檔識別軟件模塊(即可執(zhí)行 “分類器”、“核對器”和“驗證器”)中的任意模塊，這些模塊提供對具體文檔類型進行分類、 細分類以及最終確定和鑒定所必需的算法。例如，這些文檔識別軟件模塊中的每一個均通 常實施能夠確定文檔的一個或多個屬性的關聯(lián)文檔識別算法。根據(jù)具體安全文檔12中是 否存在所考慮的屬性，該處理引擎遍歷文檔框架以選擇并應用后續(xù)的分類器。示例性文檔 識別軟件模塊包括特征圖像文檔匹配算法或文檔布局匹配算法，下文將對這兩種算法進行 更加詳細的描述。
文檔鑒定系統(tǒng)10在遍歷文檔識別框架的數(shù)據(jù)結構時，選擇性地調(diào)用多個文檔識 別軟件模塊中的一個或多個來處理部分捕捉圖像數(shù)據(jù)以及/或者詢問安全文檔12以獲得 其他數(shù)據(jù)。例如，在識別文檔類型時，文檔鑒定系統(tǒng)10的文檔處理引擎從分層文檔識別框 架的根節(jié)點開始，然后根據(jù)分類器定義的算法在框架中每個父節(jié)點處生成的結果選擇性地 遍歷經(jīng)過框架的節(jié)點的路徑。即，可以在分層文檔識別框架中的每個父節(jié)點處應用能進行 高效計算的一個或多個分類器，以確定是否遍歷前往該父節(jié)點的任何子節(jié)點的路徑。這些 分類器參考子節(jié)點所代表的子文檔類型的特性，并用于為路徑選擇進行整體比較。分類器 將未知文檔的整體特性與代表子文檔類型的子節(jié)點的特性進行比較。給定節(jié)點的分類器返 回子集(如以列表的形式)，該子集可能包含代表可能的參考文檔對象類型的零個或更多 個子節(jié)點。分類器可以以鏈接索引的形式存儲，并返回一組可能的參考文檔對象類型。遍歷分層文檔識別框架時，可將與父節(jié)點和/或子節(jié)點關聯(lián)的核對器應用于從更 高級別分類器提取的屬性，以進一步確定安全文檔具有該分類器所選子節(jié)點的相應特性。 核對器參考節(jié)點自身代表的文檔類型的特性，并進一步用于識別流程中，核對器指定的算 法對該具體文檔類型施加更加嚴格的約束條件以獲得正確的識別結果，并且該算法可以具 有比分類器指定的算法更高的計算密度。分類器和核對器的組合提供了高效且靈活的結 構，以平衡對高速度的需求和對準確度的需求。如本文所述，子節(jié)點的評估順序可以基于置 信度或相似度，并且可以選擇相對于未知文檔的相似度最高的子節(jié)點。在一些實施例中，必 須首先滿足置信度水平或相似度的閾值，才能將任何子節(jié)點視為與未知文檔可能匹配。一 旦選擇了子節(jié)點，子節(jié)點就被視為父節(jié)點，并且遍歷流程以遞歸方式繼續(xù)進行，從而相對于 新的父節(jié)點再次應用分類器和核對器。到達葉節(jié)點(即框架中沒有任何子節(jié)點的節(jié)點)后，應用由一個或多個驗證器構 成的組確定安全文檔的可靠性。驗證器參考此葉節(jié)點代表的文檔類型的特性，并且可以具 有比核對器或分類器指定的算法更高的計算密度(盡管這一點并非必要)。驗證器通常使 用圖像比較算法將未知文檔的任何安全特征與一個或多個已知參考進行比較從而返回置 信度水平或相似度。如果相似度超過鑒定閾值，則將該未知文檔視為經(jīng)確認后為可靠文檔。這樣，文檔鑒定系統(tǒng)10遍歷文檔識別框架并且選擇性地調(diào)用文檔識別軟件模塊 來識別并最終驗證未知文檔。因此，動態(tài)文檔識別框架實施的流程是“動態(tài)的”，因為該文檔 識別框架引導文檔鑒定系統(tǒng)10根據(jù)先前調(diào)用的文檔識別軟件模塊的結果調(diào)用特定操作； 分層結構中的起點和調(diào)用流程的順序根據(jù)所識別的具體安全文檔而有所不同。即，文檔鑒 定系統(tǒng)10可以(例如)隨后應用第一、第二和第三操作來分析美國護照安全文檔12，但隨 后應用第一、第三和第五操作來分析美國駕駛執(zhí)照安全文檔12，其中各個操作均分別僅確 定安全文檔的一個或多個屬性。就這一點而言，這些技術與傳統(tǒng)系統(tǒng)不同，傳統(tǒng)系統(tǒng)通常需 要以預定順序靜態(tài)應用完整的文檔識別算法，而不管所鑒定的安全文檔12的類型如何。如 下文更加詳細的描述，該動態(tài)特性有利于根據(jù)捕捉圖像自身的分析結果選擇性并且動態(tài)地 使用一組流程，從而更加高效和全面地驗證安全文檔。文檔鑒定系統(tǒng)10可以在存儲器、數(shù)據(jù)庫或其他存儲媒體(圖1中未示出)中將文 檔識別框架存儲為分層排列的樹狀數(shù)據(jù)結構。在本文被稱為文檔對象類型的數(shù)據(jù)結構用于 代表樹狀數(shù)據(jù)結構中的每個節(jié)點。父節(jié)點代表文檔類型的類別或子類別，并且可以以遞歸 方式向下遍歷到分層結構的多個層級。葉節(jié)點代表具體文檔類型，如美國護照文檔類型對象、美國駕駛執(zhí)照文檔類型對象、或美國身份證文檔類型對象。框架中的一些文檔類型對象 可以包括一個或多個存儲圖像或模板以及將文檔類型對象彼此清晰地描繪出來的一組具 體特性。例如，美國護照文檔類型對象可以包括美國護照模板圖像、定義美國護照模板圖像 底部是否出現(xiàn)機讀區(qū)的一組特性、描繪圖片在模板中方位的度量，以及確定各種特性之間 的相對位置時引導的其他數(shù)據(jù)。文檔鑒定系統(tǒng)10可以遍歷框架的數(shù)據(jù)結構，從而調(diào)用文檔類型對象所引用的一 個或多個可執(zhí)行分類器、核對器和驗證器。根據(jù)所調(diào)用的具體文檔識別軟件模塊，文檔鑒定 系統(tǒng)10可以將文檔類型對象與捕捉圖像進行比較，或?qū)陌踩臋n獲得的圖像數(shù)據(jù)和/或 其他數(shù)據(jù)執(zhí)行一些其他分析，以獲得指示出安全文檔12與類別、子類別或具體文檔類型匹 配的相似度的信度值。如果信度值超過與父節(jié)點關聯(lián)的多個分類器和/或核對器中的可編 程或計算的最低信度水平，則文檔鑒定系統(tǒng)10從該父節(jié)點遍歷經(jīng)過框架中的多個路徑，直 到到達一個或多個葉節(jié)點后通過最終返回最高信度值而識別出安全文檔12。成功確定安全文檔12與存儲的多個文檔類型對象中的一個一致后，文檔鑒定系 統(tǒng)12執(zhí)行鑒定流程以確定安全文檔的可靠性。例如，文檔鑒定系統(tǒng)12可以分析捕捉圖像 以確定存儲的參考圖像是否在安全文檔中出現(xiàn)了一次或多次。如果該參考圖像存在于安全 文檔中，則文檔鑒定系統(tǒng)10可以提供安全文檔12已被正確鑒定的指示(如聽覺和/或視 覺指示)。如果捕捉圖像中不存在參考圖像，則文檔鑒定系統(tǒng)10提供安全文檔12不能被自 動鑒定并且可以被拒絕的指示。在操作中，用戶將安全文檔12放置到文檔閱讀器11的檢視框架14上。檢視框架 14將安全文檔12相對于文檔鑒定系統(tǒng)10的其他組件精確定位。在圖1的示例性實施例 中，文檔鑒定系統(tǒng)10包括光源以對放置在檢視框架14上的安全文檔12進行照明。在一些 實施例中，文檔鑒定系統(tǒng)10可以包括不止一個光源，如紅外(IR)光源和/或紫外(UV)光 源。文檔鑒定系統(tǒng)10還包括圖像捕捉設備以從安全文檔12捕捉圖像數(shù)據(jù)。該圖像捕捉設 備可以為CMOS圖像傳感器(如具有像素陣列的電荷耦合器件(CCD))、照相機、行掃描儀或 其他光學輸入設備。主機系統(tǒng)20可以與安全閱讀器11進行交互作用以發(fā)出捕捉圖像數(shù)據(jù)、 詢問RFID芯片或執(zhí)行相對于安全文檔12的其他操作的命令?？梢杂芍鳈C系統(tǒng)20自動調(diào) 整或根據(jù)用戶的輸入來調(diào)整光源的強度，調(diào)整范圍為從最小值到最大值的一系列強度。用戶將安全文檔12放置在檢視框架14中后，文檔閱讀器11捕捉由安全文檔12 的一個或多個圖像組成的序列。捕捉圖像可以代表安全文檔12的整體或部分，但通常捕捉 圖像代表安全文檔12的整體。圖像捕捉設備11將捕捉圖像數(shù)據(jù)傳送至主機系統(tǒng)20進行 圖像處理。可以在與主機系統(tǒng)20相連的顯示器(未示出)上顯示主機系統(tǒng)20所處理的捕 捉圖像以便于檢查。主機系統(tǒng)20可以包括(例如)計算機、膝上型計算機、移動個人數(shù)字 助理(PDA)或具有分析捕捉圖像所需的足夠處理器和存儲器資源的其他計算系統(tǒng)。下文將 更加詳細地描述主機系統(tǒng)20的示例性配置和操作。圖2為示出根據(jù)本發(fā)明的原理的用于鑒定物件(如圖1的安全文檔12)的示例性 主機系統(tǒng)20的框圖，該主機系統(tǒng)根據(jù)動態(tài)文檔識別框架識別安全文檔12。主機系統(tǒng)20分 析圖像數(shù)據(jù)22并選擇性地分析從文檔閱讀器11 (圖1)接收的其他數(shù)據(jù)(如RFID數(shù)據(jù)) 以動態(tài)識別安全文檔12。在該例子中，主機系統(tǒng)20包括數(shù)據(jù)接口 24以從文檔閱讀器11接收數(shù)據(jù)(如圖像和RFID數(shù)據(jù))。數(shù)據(jù)接口 24可以為(例如)用于與文檔閱讀器11通信的串行或并行硬件 接口。在另一個例子中，數(shù)據(jù)接口 24可以為通用串行總線(USB)接口。如圖2所示，文檔識別框架34可以表示為具有多個節(jié)點的樹狀結構，其中節(jié)點代 表安全文檔的類別、安全文檔的子類別或安全文檔的具體類型。文檔識別框架34的每個節(jié) 點可以包括對一組文檔識別軟件模塊41的一個或多個引用，這些模塊包括分類器47、核對 器48和驗證器49，它們中的每一個包含可執(zhí)行指令，這些指令定義了用于檢查安全文檔的 一個或多個屬性或特性的流程。在一個例子中，與父節(jié)點關聯(lián)的一個分類器47可以確定安 全文檔的特定位置是否存在機讀區(qū)(MRZ)，從而將安全文檔的可能類型縮減到具體的類。與 父節(jié)點或其子節(jié)點之一關聯(lián)的一個核對器47可以進一步處理MRZ以確定MRZ文本中是否 存在文本識別器的特定序列。在這方面，核對器48確認文檔樹分層結構中層級更高的分類 器提取的屬性，如是否存在上述文本識別器的特定序列(如“AU”)，從而進一步將文檔的可 能類型組縮減至澳大利亞文檔。最終，到達葉節(jié)點(即框架中沒有任何子節(jié)點的節(jié)點)后， 應用由該葉節(jié)點引用的一個或多個驗證器49構成的組以確定安全文檔的可靠性。主機系統(tǒng)20包括用戶界面28，該用戶界面提供布局編輯器30，用戶(未示出)可 以使用該編輯器編輯存儲在數(shù)據(jù)庫32中的數(shù)據(jù)。具體地講，用戶可以與布局編輯器30呈 現(xiàn)的圖形用戶界面進行交互以編輯存儲于數(shù)據(jù)庫32中的文檔類型，從而擴展文檔識別框 架34以支持不同的文檔類型。例如，在某些情況下，用戶可以與布局編輯器30進行交互以 手動指定要插入到文檔識別框架34中的新文檔類型對象。這時，用戶可以定義用于定義類 別、子類別或個別文檔類型的屬性。此外，用戶可以將插入的文檔對象與一個或多個要存儲 為分類器47、核對器48和驗證器49的新的或現(xiàn)有的算法相關聯(lián)?；蛘撸梢詫⒅鳈C系統(tǒng)20置于“學習，，模式以在接收和處理來自新類型安全文檔 的模板的圖像數(shù)據(jù)和其他數(shù)據(jù)22后相應地更新文檔識別框架34。在該模式下，主機系統(tǒng) 20處理數(shù)據(jù)，并且自動將與新類型安全文檔的任何識別屬性一致的新文檔類型對象插入文 檔識別框架34。因此，用戶輸入26可以與用戶界面28進行交互以指定用以編輯文檔類型對象的 命令，如添加或刪除與預定義文檔類型對象關聯(lián)的分類器47、核對器48和驗證器49的命 令、手動或自動插入新文檔類型對象的命令、刪除文檔類型對象的命令、重新排列文檔識別 框架節(jié)點的順序以排列分類器47、核對器48、驗證器49應用優(yōu)先級的命令，以及其他命令。 因此，用戶可以使用布局編輯器30來定制文檔識別框架34，從而更加快速地識別安全文檔 類型。數(shù)據(jù)接口 24接收的圖像數(shù)據(jù)可以代表安全文檔12的整體或部分的捕捉圖像。如 上所述，圖像數(shù)據(jù)可以包括一個或多個圖像、文本、MRZ、條形碼、水印、或其他信息。主機系 統(tǒng)20包括文檔處理引擎36，該處理引擎接收捕捉數(shù)據(jù)并執(zhí)行上文所述識別和隨后的驗證 流程。在該例子中，文檔處理引擎36包括圖像處理模塊38和文檔識別模塊40以執(zhí)行文檔 鑒定流程。文檔處理引擎36還包括文檔鑒定模塊42以在識別出安全文檔后立即確認其可 靠性，以及從物件(如所驗證和鑒定的安全文檔12)提取相關信息的數(shù)據(jù)收集模塊44。具 體地講，數(shù)據(jù)收集模塊44可以使用文檔閱讀器11來讀取條形碼、詢問RFID芯片以及讀取 安全文檔12上存在的磁條，從而收集可能沒有包含在圖像數(shù)據(jù)中的其他數(shù)據(jù)。接收了捕捉圖像數(shù)據(jù)后，圖像處理模塊38可以調(diào)用圖像預處理算法，以根據(jù)捕捉
12圖像數(shù)據(jù)生成質(zhì)量更佳的灰度、彩色或二值圖像。出于本文的目的，這些處理后的捕捉圖像 被稱為捕捉圖像，并且“捕捉圖像”應被理解為表示任何反映基礎安全文檔12的圖像，而無 論該圖像是否經(jīng)過了處理。圖像處理模塊38可以根據(jù)捕捉圖像時使用的光源類型(如紫 外光源可能要求特定的圖像處理算法)或根據(jù)捕捉圖像的特定方面(如具有亮文本的暗背 景可能要求特定的反演圖像算法)確定圖像處理是否必要。一旦圖像數(shù)據(jù)經(jīng)過預處理，文 檔識別模塊40就進一步分析圖像數(shù)據(jù)以及數(shù)據(jù)收集模塊44獲取的其他數(shù)據(jù)，從而識別安 全文檔的類型。特別地，在接收到捕捉圖像數(shù)據(jù)后，文檔識別模塊40遍歷存儲至數(shù)據(jù)庫32的文檔 識別框架34，以將安全文檔識別為文檔識別框架34所支持的文檔類型對象中的一個，或拒 絕此安全文檔。數(shù)據(jù)庫32可以在本地駐留于主機系統(tǒng)20的存儲器或計算機可讀媒體中； 然而，在其他實施例中，數(shù)據(jù)庫32可以存在于相對于主機系統(tǒng)20的遠程位置并且通過網(wǎng)絡 連接或一些其他遠程接入方法(例如公共網(wǎng)絡上的虛擬專用網(wǎng)絡)連接至主機系統(tǒng)20。數(shù) 據(jù)庫32可以包括任何類型的數(shù)據(jù)庫，如關系數(shù)據(jù)庫，或能夠存儲文檔識別框架34的任何其 他類型的存儲器。文檔識別框架34被組織為樹狀數(shù)據(jù)結構以便于擴展。如下文更加詳細的描述，文 檔識別模塊40通過選擇性地調(diào)用多個分類器47、核對器48和驗證器49來遍歷文檔識別框 架34，從而將安全文檔分類并最終識別為存儲至文檔識別框架34的多個文檔類型對象中 的一個。遍歷文檔識別框架34后，文檔識別模塊40可以將所識別的安全文檔類型傳送至 用戶界面28，然后用戶界面28可以將所選文檔類型通過顯示器43呈現(xiàn)給用戶以待用戶批 準?；蛘?，可以不要求用戶確認。在任何情況下，將安全文檔識別為具體文檔類型對象后， 文檔鑒定模塊42就開始鑒定階段，如上所述。在整個識別或鑒定階段，數(shù)據(jù)收集模塊44可 以從數(shù)據(jù)庫32請求的圖像提取信息。鑒定之后，文檔處理引擎36通常會將鑒定結果傳送 至用戶界面28，然后用戶界面28將該結果提供給顯示器43。顯示器43可以包括液晶顯示 器(LCD)、平板顯示器、等離子體顯示器、陰極射線管(CRT)顯示器或能夠呈現(xiàn)圖形、文本和 視頻的任何其他類型的顯示器。主機系統(tǒng)20還可以包括隊列數(shù)據(jù)結構46 ( “隊列46”)，該隊列數(shù)據(jù)結構存儲最近 識別的文檔類型對象。因此，將安全文檔12識別為(例如)美國護照文檔類型對象后，文 檔處理引擎36可以將美國護照文檔類型對象或其引用存儲至隊列46。接收到識別另一安 全文檔的請求后，文檔識別模塊40可以首先嘗試將安全文檔識別為存儲至隊列46的文檔 類型對象中的一個，然后再遍歷文檔識別框架34查找其他可能的對象。在一些情況下，識 別的下一個文檔可以為同一文檔的另一面。在這種情況下，文檔處理引擎36自動將信息關 聯(lián)，并將兩組信息組合為一個輸出。隊列46可以駐留在數(shù)據(jù)庫32中，盡管圖2中將二者示 出為彼此分離。主機系統(tǒng)20可以包括能夠存儲隊列數(shù)據(jù)結構的任何類型的存儲器，如隨機 存取存儲器(RAM)、磁盤或硬盤驅(qū)動器、數(shù)字視頻光盤(DVD)、光盤(CD)、快速擦除只讀存儲 器(ROM)和拇指驅(qū)動器。或者，文檔處理引擎36可以改變文檔識別框架的排列和/或遍歷 路徑以排列最近識別的安全文檔類型的優(yōu)先級。圖3為示出圖1的文檔鑒定系統(tǒng)10的示例性操作的流程圖。首先，主機系統(tǒng)20根 據(jù)動態(tài)文檔識別框架將一個或多個文檔類型對象存儲至數(shù)據(jù)結構，如圖2的文檔識別框架34。然后，用戶將安全文檔12(如護照)放置在圖像捕捉設備11下的檢視框架14中(50)。 主機系統(tǒng)20接收并存儲由安全文檔12的一個或多個捕捉圖像構成的序列(52)。一旦完成存儲，主機系統(tǒng)20就通過遍歷文檔識別框架34來識別捕捉圖像。主機系 統(tǒng)20通過選擇性地調(diào)用一個或多個文檔識別軟件模塊41遍歷數(shù)據(jù)結構，從而將未知文檔 識別為存儲至文檔識別框架34的多個文檔類型對象中的一個(54)。動態(tài)文檔識別框架規(guī) 定了用于確保數(shù)據(jù)結構保持可擴展、靈活并且高效的方針。即，動態(tài)文檔識別框架規(guī)定了遍 歷數(shù)據(jù)結構、從數(shù)據(jù)結構編輯或刪除對象或?qū)ο蟛迦霐?shù)據(jù)結構的方案，或者更一般地說， 該框架規(guī)定了維持文檔類型數(shù)據(jù)結構32的完整性的方案。識別出未知文檔(除非沒有找到任何匹配并且文檔被拒絕)后，主機系統(tǒng)20可 以根據(jù)是否存在特定于驗證時確定的具體文檔類型對象的具體安全特征來鑒定安全文檔 (56)。例如，識別流程可以導致將安全文檔識別為美國護照文檔類型對象。鑒定期間，主機 系統(tǒng)20可以訪問數(shù)據(jù)結構34中的美國護照文檔類型對象以確定與鑒定美國護照有關的安 全特征。主機系統(tǒng)20然后可以調(diào)用文檔類型對象引用的正確流程，通過(例如)讀取MRZ、 執(zhí)行搜索水印、反光標記或其他此類標記的各種圖像模板匹配算法來開始鑒定所有相關安 全特征，并掃描文本以獲得一致性。完成后，主機系統(tǒng)20可以通過顯示器43將識別流程和 /或鑒定的結果以及收集到的其他信息顯示給用戶，或生成任何其他適合的音頻或視覺指 示標記(58)。圖4為更加詳細地示出圖2中的主機系統(tǒng)20的示例性操作的流程圖。主機系統(tǒng) 20通過分析圖1的安全文檔12的至少一個捕捉圖像驗證安全文檔12。如上文所述，主機 系統(tǒng)20通過數(shù)據(jù)接口 24接收安全文檔12的捕捉圖像(60)以便于文檔處理圖像引擎36 進行預處理。文檔處理圖像引擎36包括圖像處理模塊38，該模塊可以確定捕捉圖像是否需要 進一步的圖像處理以有利于識別和鑒定流程(62)。在確定捕捉圖像需要額外的圖像處理 (“是”分支，64)后，圖像處理模塊38可以執(zhí)行一個或多個圖像增強算法來增強捕捉圖像 的質(zhì)量(66)，并且完成后會將捕捉圖像傳送至文檔識別模塊40進行識別。如果不需要進一 步的圖像處理(“否”分支，64)，則圖像處理模塊38直接將捕捉圖像傳送至文檔識別模塊 40進行識別。文檔識別模塊40通過從框架的根對象遍歷文檔識別框架34來啟動識別流程 (68)。一般來講，文檔識別模塊40可以根據(jù)控件的三個層級來遍歷文檔識別框架34以獲 得更高的性能。如果采用基于優(yōu)先級的第一遍歷方法，則文檔識別模塊40可以根據(jù)與存儲 至文檔識別框架的文檔類型對象關聯(lián)的優(yōu)先級遍歷文檔識別框架34，其中優(yōu)先級可以由用 戶預先定義。如果采用基于隊列的第二遍歷方法，則文檔識別模塊40可以訪問隊列數(shù)據(jù)結 構46以確定之前剛處理的是哪些文檔類型對象并遍歷存儲在文檔識別框架34中的這些文 檔類型對象。如果采用動態(tài)的第三遍歷方法，則文檔識別模塊40動態(tài)遍歷整個文檔識別框 架34。即，文檔識別模塊40可以從文檔識別框架34的根對象開始，調(diào)用在框架的每個父節(jié) 點對象處引用的多個分類器47中的一個或多個。文檔識別模塊40可以根據(jù)調(diào)用這些分類 器47后接收到的結果，選擇父節(jié)點的一個或多個子節(jié)點向下遍歷至于存儲至文檔識別框 架34的更低層級的對象。文檔識別模塊40可以應用與該父節(jié)點或所選子節(jié)點關聯(lián)的一個 或多個核對器48以確定安全文檔是否具有分類器所選路徑的相應特性。
14
該遍歷識別過程可以繼續(xù)，直到文檔識別模塊40到達引用了由匹配文檔屬性的 一個或多個驗證器構成的組的葉節(jié)點，并且由此將捕捉圖像識別為最佳匹配或超過相對于 存儲至文檔識別框架34的多個文檔類型對象的預定閾值的滿意匹配。文檔識別模塊40可以應用任何前述遍歷方法中的兩種或更多種方法(相繼地或 一前一后地)。因此，文檔識別模塊40可以(例如)首先訪問隊列數(shù)據(jù)結構48，根據(jù)隊列 遍歷數(shù)據(jù)結構，然后通過選擇性地調(diào)用多個分類器47中的一個或多個來動態(tài)遍歷數(shù)據(jù)結 構34。根據(jù)文檔識別框架34的遍歷，文檔識別模塊40將捕捉圖像識別為存儲至文檔識 別框架34的多個文檔類型對象中的一個(70)。如上所述，在動態(tài)遍歷文檔識別框架34時， 文檔識別模塊40可以計算信度值并將這些信度值與其他信度值或預先指定的最低信度值 進行比較以正確識別捕捉圖像。識別后，文檔識別模塊40可以通過顯示器43將識別的文 檔類型對象和信度值顯示給用戶以待批準(72)。一旦識別出并由用戶批準(如果需要)，文檔識別模塊40就將捕捉圖像和識別的 文檔類型對象或其引用傳送至文檔鑒定模塊42。文檔鑒定模塊42如上文所述執(zhí)行鑒定流 程，以確定安全圖像12的可靠性(74)并通過顯示器43顯示該鑒定結果(76)。圖5為更加詳細地示出圖2的文檔識別框架34的框圖。如圖5所示，文檔識別 框架34包括樹數(shù)據(jù)結構；然而，文檔識別框架34可以包括能夠存儲多個文檔類型對象 78A-78( “文檔類型對象78”)的任何其他類型的數(shù)據(jù)結構。在該例子中，文檔識別框架34包括根對象80、多個文檔類型對象78以及多個文 檔子類型對象82A-82M (“文檔子類型對象82”)。此外，該樹可以通過子子類型文檔對象 向下擴展，并且通過相同構造進行更多遞歸。根對象80代表示例性樹文檔識別框架34的 根，或者更一般地說，代表文檔識別模塊40遍歷起始位置的對象(如果僅根據(jù)上述動態(tài)遍 歷方法進行遍歷)。根對象80維持將根對象80連接至每個文檔類型對象78的雙向鏈接 84A-84M(如指針)。文檔類型對象78還維持將文檔類型對象78連接至文檔子類型對象82 的雙向鏈接84N-84Z。鏈接84A-84Z( “鏈接84”)可以包括對根對象80、文檔類型對象78 和文檔子類型對象82中的一個在數(shù)據(jù)庫32中的存儲位置的引用。通常，文檔類型對象78 和文檔子類型對象根據(jù)安全文檔的一般物理屬性、安全特征或布局特性代表由安全文檔類 別、子類別和各個文檔類型(葉節(jié)點)構成的分層組織。盡管出于舉例目的而顯示為具有 三個層，但可以重復任何數(shù)量的層級以對安全文檔的類型進行分類及最終分別進行識別。根對象80包括至少一個分類器對象86N，其引用圖2的多個分類器47中的一個 或多個。這些引用可以指定被引用分類器47在存儲器中的駐留位置的獨特標識符、名稱 或地址。作為父節(jié)點，文檔類型對象78包括多個分類器對象86，并且其中的一些分類器可 以重復。如圖5所示，每個文檔類型對象78均包括對各自的分類器對象86A-86M的引用。 分類器對象86A-86M( “分類器對象86”)中的每一個均引用多個分類器47中的一個或多 個，這些分類器包含用于執(zhí)行“分類器流程”以評估所識別安全文檔的一個或多個特性或?qū)?性的可執(zhí)行軟件。每個文檔類型對象78還可以包括各自的優(yōu)先級值88A-88M( “優(yōu)先級值 88”)，但是如上所述，文檔類型對象78并非必須包括優(yōu)先級值。如上所述，優(yōu)先級值88可 以描繪文檔識別模塊40遍歷文檔識別框架34時的特定遍歷順序。盡管圖5中未示出，但文檔類型對象78或文檔子對象類型82中的任意者均可以包括對核對器對象90A-90M的引用，可以應用這些核對器對象來確定安全文檔是否具有分 類器86所選路徑的正確特性。到達葉節(jié)點后，應用由一個或多個驗證器構成的組以確定安 全文檔的可靠性。文檔子類型對象82代表葉節(jié)點，并且同樣的，其中每一個均包括各自的引用了一 個或多個驗證器49的驗證器對象93A-93M。此外，文檔子類型對象82包括各自的模板數(shù) 據(jù)91A-91M( “模板數(shù)據(jù)91”)，以及一個或多個各自的最低信度值92A-92M( “最低信度值 92”)。驗證器對象93A-93M通過指針或獨特標識符引用多個驗證器49中的一個或多個，這 些驗證器進行比較或確定是否存在父節(jié)點各自的分類器以及可能的任何核對器收集的具 體屬性或特性，以確定安全文檔12的種類。盡管圖5中未示出，但在一些實施例中，文檔子 類型對象82中的每一個可以包括多個核對器對象，這些多個核對器對象中的每一個引用 一個或多個核對器流程。模板數(shù)據(jù)91從總體上定義了任何模板圖像、布局特性、安全特征 和在對具體某一個文檔子類型對象82進行分類和/或驗證時必須使用的其他任何相關聯(lián) 數(shù)據(jù)。通常，核對器48根據(jù)文檔識別模塊40在文檔識別框架34中的當前位置，返回符合 可能文檔類型或子類型對象的分類器流程的具體屬性的信度值。例如，如上所述，文檔節(jié)點 的一組具體分類器47和對應核對器可以返回其特定子文檔類型對象78的分級組，其可以 對應于所分析的當前安全文檔的類型。文檔識別模塊40可以將返回的信度值與最低信度 值92中的對應者進行比較。為識別當前安全文檔12，文檔識別模塊40通常根據(jù)動態(tài)遍歷方法遍歷文檔識別 框架34。通過該動態(tài)方法，文檔識別模塊40從根對象80開始調(diào)用分類器對象86N引用的 分類器47。這些初始分類器47分析捕捉圖像和從安全文檔12獲得的其他數(shù)據(jù)，并返回由 子節(jié)點代表的一組可能的文檔類型對象(即文檔類型對象78)。該組可以指定任意一個或 多個文檔類型對象78。遍歷至文檔類型對象78中的一個后，文檔識別模塊40訪問關聯(lián)的分類器對象 86A-86M、調(diào)用引用的分類器47，并且接收一組可能的屬性或特性。然后對于子子文檔對 象中的每一個，對應的核對器對象90A-90M用于與預期值進行比較并生成相似度確定度因 數(shù)，并且根據(jù)該因數(shù)將安全文檔和子文檔類型之間的匹配相似度分級，以最終選擇到達文 檔子類型對象82的一個或多個路徑。這樣，可以垂直遍歷框架34以將安全文檔進行分類、 細分類并最終識別。遍歷可以沿樹往下重復進行，直到到達代表具體安全文檔的葉節(jié)點。這些分類器 47和核對器48可以返回一個或多個信度值，文檔識別模塊40可以根據(jù)存儲在所遍歷文檔 子類型對象82中的公式計算這些信度值的加權平均值。通過使用該加權平均值，文檔識別 模塊40可以將加權平均值與所遍歷文檔子類型對象82關聯(lián)的最低信度值92進行比較，從 而確定安全文檔12是否確實為該具體類型的安全文檔。如果加權平均值未滿足或未超過 關聯(lián)的最低信度值92，則文檔識別模塊40可以放棄與文檔子類型對象82關聯(lián)的整個分支 而不作進一步考慮，從而提高效率。文檔識別模塊40可以通過維持上層分類器對象86返 回的可能文檔子類型組繼續(xù)迭代，直到信度值被放棄而不進一步考慮或信度值被存儲以便 進一步考慮。一旦分析完該組中的所有文檔子類型對象82，文檔識別模塊40就可以將與其余 文檔子類型對象82關聯(lián)的信度值彼此進行比較并(例如通過選擇最高的信度值)確定最
16佳信度值，從而結束其對文檔識別框架34的遍歷。文檔識別模塊40可以通過顯示器43將 識別的該信度值以及關聯(lián)的文檔類型對象78或子類型對象82傳輸至用戶界面28以供顯 示?？梢砸笥脩襞鷾试撟R別出的文檔類型對象78或子類型對象82，或者確認文檔識別模 塊40通過分析捕捉圖像正確識別出了安全文檔12。圖6為示出圖2的文檔識別模塊40在根據(jù)動態(tài)遍歷方法以遞歸方式遍歷如圖5 所示的文檔識別框架34時的示例性操作的流程圖。盡管下文所述參考了動態(tài)遍歷方法，但 文檔識別模塊40可以根據(jù)任何其他方法或它們的組合遍歷文檔識別框架34，包括根據(jù)存 儲在隊列數(shù)據(jù)結構46中的對文檔類型對象78的引用、根據(jù)優(yōu)先級88以及根據(jù)這些方法的 任意組合遍歷文檔識別框架34。首先，文檔識別模塊40接收安全文檔12的捕捉圖像以及任選的其他數(shù)據(jù)(如 RFID數(shù)據(jù))，并訪問文檔識別框架34的根對象80，以開始遍歷文檔識別模塊40并將此根 對象視為當前處理文檔(94)。文檔識別模塊40可以(例如)訪問與當前文檔關聯(lián)的分類 器對象86A，從而調(diào)用分類器對象86A引用的多個分類器47中的一個或多個(即分類器流 程)(95)。在響應調(diào)用時，文檔識別模塊40計算一組可能的屬性或特性。文檔識別模塊40 可以從該節(jié)點的該文檔類型對象接收一組可能的文檔子類型對象，并且該組通常包括一個 或多個文檔子類型對象78(96)。例如，可能的文檔類型對象的一個示例性組可以包括文檔 類型對象78A和78M。給定該組可能的文檔類型對象(即“子類型組”)后，文檔識別模塊 40根據(jù)類型組繼續(xù)遍歷文檔識別框架34(96)。文檔識別模塊40通過訪問類型組中返回的第一文檔類型對象78A及其關聯(lián)分類 器對象86向下遍歷文檔識別框架34的一個層級。如果文檔類型對象78A的任何核對器 確認了分類器對象86提取的屬性(或者如果不存在核對器對象，如該例子中所示)，則文 檔識別框架34現(xiàn)在將文檔類型對象78A視為當前文檔并使用分類器對象86A計算其他 可能屬性或特征組(95)。然后，文檔識別模塊40再向下遍歷一個層級以檢查其子子文檔 82A-82D(即“子類型組”)中的每一個(96)。文檔識別模塊40然后根據(jù)該新的子類型組遍 歷文檔識別框架34(96)。文檔識別模塊40通過訪問子類型組中返回的第一文檔子類型對象82A及其關聯(lián) 的核對器對象90A向下遍歷文檔識別框架34。文檔識別模塊40調(diào)用關聯(lián)核對對象90A引 用的一個或多個核對器48以及驗證器對象92A(因為其為葉節(jié)點)引用的一個或多個驗證 器49，并接收一組信度值(97)。確定信度值時，核對器48可以訪問關聯(lián)的模板數(shù)據(jù)91A。 信度值反映了一對調(diào)用的分類器47和核對器48將對捕捉圖像執(zhí)行的分析與關聯(lián)模板數(shù)據(jù) 91A進行比較所獲得的相似度級別。例如，信度值100可以反映關聯(lián)模板數(shù)據(jù)91A和捕捉 圖像之間的完全匹配，而信度值80可以反映關聯(lián)模板數(shù)據(jù)91A和捕捉圖像之間的充分匹配 同時可以指示捕捉圖像的一個或多個特性未與關聯(lián)模板數(shù)據(jù)91完全匹配，而信度值為零 則意味著完全不匹配。在一些實施例中，文檔識別模塊40將調(diào)用的核對器48返回的每個 信度值與最低信度值92A進行比較，如果失敗則停止從該節(jié)點起檢查該子文檔或整個分支 (98)，或?qū)⒆游臋n的組合信度值設置為零。在其他實施例中，文檔識別模塊40根據(jù)從每次 調(diào)用核對器48所返回的所有信度值的加權平均值計算捕捉圖像的該子文檔的組合信度值 (102)，并將該加權平均值與最低信度值92A進行比較，從而僅存儲超過最低信度值92A的 那些加權平均信度值(104)。
如果確定該子文檔滿足最低信度值，則檢查節(jié)點是否為文檔樹中的分支節(jié)點以及 是否具有子子文檔(即父節(jié)點)(106)。如果其自身下層附帶有某些子子文檔，則將該子 文檔視為當前文檔，并且文檔識別模塊通過重復上述流程再向下遍歷文檔樹的一個層級 (95)。該過程被實施為向下遍歷整個文檔樹直到到達葉節(jié)點的遞歸深度優(yōu)先方法。一旦以子類型組中的一個文檔子類型對象82結束，文檔識別模塊40就可以確定 其是否已完成了對該子類型組的迭代(108)。如果還未完成對該子類型組的迭代，則文檔識 別模塊40繼續(xù)通過訪問另一個文檔子類型對象82、調(diào)用其關聯(lián)核對器對象90引用的核對 器48、接收信度值以及根據(jù)比較結果存儲信度值來繼續(xù)對該子類型組的迭代(96-108)。如 果迭代完成，則文檔識別模塊40通過計算得出的關聯(lián)信度值將所有子文檔分級，以完成給 定文檔節(jié)點處的路徑選擇處理循環(huán)(110)。下一個步驟是根據(jù)當前處理文檔是否為根文檔 或是否具有父文檔類型來確定將結果返回到何處(112)。如果其為子子文檔，則控件向上 跳躍文檔樹的一個層級并返回其父文檔(114)，并且將該子子文檔的信度值與父文檔合并。 否則，文檔識別模塊40結束對整個文檔樹的迭代，文檔識別模塊40根據(jù)存儲的信度值識別 捕捉圖像(116)。文檔識別模塊40可以將存儲的所有信度值彼此進行比較并選擇最高的信 度水平，從而將捕捉圖像識別為屬于與最高信度值關聯(lián)的文檔子類型對象82。上文描述了文檔識別模塊40在遍歷文檔識別框架34時的操作。文檔識別框架34 通過動態(tài)文檔識別框架存儲文檔類型對象78和文檔子類型對象82。此框架是“動態(tài)”的， 因為遍歷的順序根據(jù)安全文檔的屬性和特性而有所不同，并且此框架有利于通過布局編輯 器30分別進行文檔類型和子類型對象78、80的更新、刪除和插入。動態(tài)文檔識別框架提 供這些動態(tài)更新、刪除和插入可能發(fā)生時的方案，從而用于維持識別安全文檔12的靈活、 可擴展框架。此框架是靈活的，因為可以識別眾多不同類型的物件，包括美國和其他國的護 照、美國和其他國的駕駛執(zhí)照、美國和其他國的身份證，以及商業(yè)票據(jù)。此框架是可擴展的， 因為可以將一個或多個文檔類型(包括文檔類型的子類型)快速添加到此框架和插入文檔 識別框架34，如下文更加詳細的描述。圖7A-7C為布局編輯器30通過顯示器43向用戶呈現(xiàn)的窗口 118的屏幕截圖。屏 幕118包括文檔選項卡119、表示為文檔類型對象120的可展開列表的識別框架34，以及視 圖子窗口 121。文檔類型對象列表120包括一個或多個文本區(qū)域，其中每一個均引用圖5的 多個文檔類型對象78中的一個。例如，文檔類型對象78A可以包括“DOCument-2Line44” 文檔類型，如在圖7A中列表120上的第一個項目所示。因此，文檔類型對象列表120示出 了可以由文檔識別框架34定義的示例性組織分層結構。視圖子窗口 121通常示出存儲至 數(shù)據(jù)庫32并且與文檔類型對象列表120中的一個選定項目關聯(lián)的任何相關模板數(shù)據(jù)91。圖7B示出了用戶為該文檔類型選擇識別流程的項目130后的窗口 118。在響應該 選擇時，布局編輯器30使彈出窗口 132覆蓋窗口 118，其中彈出窗口 132允許用戶編輯與項 目130關聯(lián)的一個核對器對象90，以定義文檔類型的識別流程。在該例子中，彈出窗口 132 包括最低信度值輸入134、光源選擇輸入136、現(xiàn)有核對器流程選擇框138A以及所用核對器 流程選擇框138B。用戶可以通過與最低確定度輸入134的交互，將最低信度值與該文檔類 型關聯(lián)，如將最低信度值92A與圖5中的文檔子類型對象82A關聯(lián)。用戶還可以通過光源 選擇輸入136指定捕捉安全文檔12的圖像時要使用的參考光，如可見光、紫外光和紅外光。 用戶還可以通過現(xiàn)有核對器流程選擇框138編輯由核對器對象90A中的一個在當前引用的核對器48。最后，用戶可以通過所用核對器流程選擇框138B將其他核對器48與所查看的 核對器對象90A關聯(lián)或刪除該核對器。圖7C示出了用戶通過選擇當前核對器選項卡140配置分類器47或核對器48 中的一個的具體應用后，被彈出窗口 132覆蓋的窗口 118。如圖7C所示，用戶正在編輯 “CDocVerif ierDominantColor ”流程，該流程分析捕捉圖像的主色，并將分析結果與在引用 輸入142中指定的引用進行比較。彈出窗口 132包括引用輸入142以使得用戶可以手動 編輯這些引用。例如，主色流程將捕捉圖像的分析結果與在引用輸入142中定義的一系列 顏色進行比較，這一系列顏色指定了品紅色百分比0. 007、紅色百分比15. 021、黃色百分比 34. 547等。用戶可以手動編輯這些個別顏色百分比(如藍色突出顯示區(qū)域所示)，或者如 果用戶準備好了供掃描的物理模板，則可以選擇學習按鈕144，然后布局編輯器30會從先 前或同時掃描到系統(tǒng)中的模板圖像學習這些引用。彈出窗口 132還包括權重輸入146和具體最低確定度輸入148。用戶可以將權重 值輸入權重輸入146中，以使得計算多個調(diào)用核對器48的加權平均值后，文檔識別模塊40 使用該具體權重值來計算加權平均值。相似地，用戶可以將具體最低確定度輸入至輸入148 中以在遍歷時使用，如以上結合圖6的步驟98所述。這樣，用戶可以通過配置權重和最低 信度值動態(tài)配置分類器47和核對器48、將分類器47和核對器48與具體對象86、90關聯(lián)， 以及動態(tài)修改框架34的遍歷。圖8A、8B為主機系統(tǒng)20完成識別和隨后的鑒定后由圖2的展示用戶界面28通過 顯示器43向用戶呈現(xiàn)的窗口 150的屏幕截圖。該文檔被識別為美國紐約駕駛執(zhí)照當前標 準版本的正面。窗口 150包括識別置信度水平文本輸出152，其通常代表文檔識別模塊40 在識別流程中計算得出的加權信度值。窗口 150還包括示出鑒定結果的鑒定詳細信息輸出 154，以及在選擇后呈現(xiàn)識別流程的結果的識別選項卡156。窗口 150還呈現(xiàn)其他相關信息， 如捕捉圖像158和從捕捉圖像158的分析中獲得的安全文檔詳細信息160。圖8B示出了用戶選擇識別選項卡156后的窗口 150。用戶界面28在窗口 150中 呈現(xiàn)文本輸出162，該文本輸出示出動態(tài)遍歷文檔識別框架34的結果。從文本輸出162的 頂部開始，文檔識別模塊40首先遍歷至標記為“21ine44”的文檔類型對象78中的一個，并 且訪問其關聯(lián)分類器對象86，然后文檔識別模塊40調(diào)用引用的分類器47。結果未返回任 何可用的文檔子類型對象82，因為測試在“行計數(shù)”上失敗(如文本輸出162的第二行所 示)°然后，文檔識別模塊40遍歷至標記為“us_dl”的文檔類型對象82 (如文本輸出 162的第三行所示)，然而，根據(jù)文本輸出162的第四行，關聯(lián)分類器對象86在“識別”通用 美國駕駛執(zhí)照時再次失敗。最后，在遍歷至標記為“us_dl_ny”的文檔類型對象78后，文檔 識別模塊40發(fā)現(xiàn)匹配(如文本輸出162的第六行所示)并且接收到一組文檔子類型對象。 遍歷該子類型組時，文檔識別模塊40調(diào)用如第7-13行所示的被引用的分類器47和核對器 48，它們中的每一個均返回了“Cf”值?！?^”值反映每個核對器確定的信度值，“1^11_(^”值 示出要通過每個核對器所需的最低信度值。文本輸出162的第6行顯示比較前述“Cf”值 的加權平均值后的結果，或者通過確定捕捉圖像“被識別為第14行中的文檔[類型對象] us_dl_ny"以及“具體[子類型對象]的標準正面版本]，，顯示信度值。圖9為更加詳細地示出圖2的主機系統(tǒng)20的存儲器結構的一部分的框圖。在該
19限制性例子中，分類器47和核對器48包括布局匹配流程164A和特征圖像文檔匹配流程 164B。如圖9進一步所示，文檔數(shù)據(jù)結構34包括根對象166、文檔類型對象168和文檔子類 型對象170。文檔類型對象168包括分類器對象172，文檔子類型對象170包括核對器對象 174、模板數(shù)據(jù)176，以及最低信度值178。對象168-174中的每一個、模板數(shù)據(jù)176和最低 信度值178可以與結合圖5所討論的那些對象基本相似。文檔識別框架34可以包括對象 168-174中的每一個、模板數(shù)據(jù)176和最低信度值178中的多個，并且該分類結構還可以遞 歸方式重復進入多個層，但為了方便示意，圖9未示出這些其他對象。作為文檔識別模塊40中采用的兩個通用識別方法，布局匹配流程164A和特征圖 像文檔匹配流程在縮減可能的候選者方面非常高效?？梢苑浅Ｈ菀椎嘏渲眠@兩個方法以識 別文檔。下文將詳細討論它們。文檔識別模塊40并不僅限于這兩個方法，而是提供靈活的 編程結構以引入新的方法。一些常用的其他識別方法包括文檔尺寸、主色、空白、灰度直方 圖、文本和條形碼的OCR結果、模板匹配等。圖10為示出圖2的一個文檔識別模塊40在遍歷文檔識別框架34以調(diào)用圖9的 布局匹配流程164A時所采用的處理步驟的流程圖?？梢詫⒃撎幚聿襟E序列應用到參考圖 像數(shù)據(jù)以構建文檔模板，或應用到捕捉的實時圖像數(shù)據(jù)以識別文檔類型(180)?？梢匀缟纤?述通過布局編輯器30手動修改文檔參考模板數(shù)據(jù)。可以通過將特定光源下圖像或灰階或 彩色圖像平面亮背景中的相連暗區(qū)域或暗背景中的相連亮區(qū)域分隔和分類來對文檔布局 進行分析。調(diào)用布局匹配流程164A后，文檔識別模塊40執(zhí)行布局匹配流程164A以確定文檔 子類型對象的可能組，即子類型組。首先，在執(zhí)行一些圖像質(zhì)量增強后，將圖像處理為二進 制(182)，然后根據(jù)暗像素的連通性將圖像分隔為多個區(qū)域(184)。然后，按照一些特征將 分隔的區(qū)域歸為一些類別，如文本、條形碼、照片、磁條、指紋等(186)，然后按照一些其他信 息(如尺寸、位置和方向等)來表征每個區(qū)域(188)。在大多數(shù)情況下，區(qū)域參考位于中心更 好，這些情況例如條形碼、照片、磁條和靜態(tài)文本。但有時候?qū)τ诳勺儏^(qū)域，如姓名和地址的 動態(tài)文本，則必須使用區(qū)域的左側。文檔被表示為由具有類型和其他特性的區(qū)域?qū)ο髽嫵?的樹結構(190)，可以按區(qū)域?qū)^(qū)域?qū)ο蠓纸M形成參考模板表達中的分層結構，這對于人類 更加有意義。盡管由于印刷偏移、掃描中文檔的移位或其他原因造成文檔或其內(nèi)容的位置 可能變化，但區(qū)域?qū)ο蟮南鄬ξ恢脤τ诖_定文檔類型是更為嚴格的約束條件，但是圖像偏 移或旋轉在閱讀器掃描的應用環(huán)境中受限。一旦捕捉圖像的不同圖像區(qū)域以圖形方式表示 和連接，文檔識別模塊40就可以進一步將這多個連接區(qū)域相對于與存儲至數(shù)據(jù)庫的多個 文檔類型對象中的一個關聯(lián)的模板數(shù)據(jù)(如圖9的模板數(shù)據(jù)176)進行比較(192)。一般來 講，模板數(shù)據(jù)176定義多個預定義連接圖像區(qū)域以及這多個預定義連接圖像區(qū)域之間的關 系，文檔識別模塊40將確定的連接區(qū)域和關系與這些預定義的連接區(qū)域和關系進行比較。 最后，根據(jù)比較結果，文檔識別模塊40根據(jù)標準化的相似度信度值(97)(如0至100)確定 捕捉圖像是否屬于當前所比較的多個文檔類型對象中的一個，即文檔類型對象178(194)。圖11A-11C為示出在圖2的文檔識別模塊40執(zhí)行圖9的布局匹配流程164A時捕 捉圖像的狀態(tài)的示例性圖像。圖IlA示出經(jīng)過圖像處理和二值化后的捕捉圖像194A(182)。 盡管不要求實施布局匹配流程164A，但通過執(zhí)行此類圖像處理可以大幅改善應用布局匹配 流程164A的結果。圖IlB示出經(jīng)過文檔分隔后的捕捉圖像194B(184)。文檔識別模塊40
20在根據(jù)布局匹配流程164A執(zhí)行時，將捕捉圖像194B分隔為多個連接區(qū)域196A-196N。圖 IlC示出捕捉圖像的圖形表示194C，其中多個連接區(qū)域196A-196N中的每一個均映射至節(jié) 點198A-198N中的一個(190)。節(jié)點198A-198N中的每一個還可以指定其他節(jié)點之間的關系。一旦以圖形方式表示了捕捉圖像，文檔識別模塊40就可以將該圖形表示194C與 模板數(shù)據(jù)(如圖9的模板數(shù)據(jù)176)進行比較。文檔識別模塊40可以根據(jù)布局匹配流程 164A執(zhí)行一個或多個不同的比較。例如，文檔識別模塊40可以對圖形表示194C中相同類 型區(qū)域的存在與否與模板數(shù)據(jù)176中區(qū)域的存在與否進行簡單比較。作為另外一種選擇或 除該區(qū)域類型比較之外，文檔識別模塊40可以通過一些其他約束條件(如區(qū)域的尺寸和位 置，或者在更嚴格的情況下，區(qū)域的空間關系)將圖形表示194C與存儲在模板數(shù)據(jù)176中 的圖形表示進行比較。這類圖形比較可以由諸如不確切圖形匹配之類的動態(tài)編程算法方法 快速執(zhí)行。在圖形表示比較的某些情況下，文檔識別模塊40可以對特定于圖1的圖像捕捉 設備11和文檔類型12的環(huán)境的比較施加限制，如有限平移和旋轉限制、遮蔽匹配限制、缺 失或額外區(qū)域限制、動態(tài)內(nèi)容限制以及不確切分隔和印刷錯位限制。應用這些限制中的一 個或多個可以顯著降低執(zhí)行布局匹配識別流程164A所需的時間。有限平移和旋轉限制用于限制區(qū)域或整個文檔在比較前可以旋轉多大幅度。遮蔽 匹配限制可以將具體文檔的某些區(qū)域過濾掉以減少所需的比較次數(shù)。缺失或額外區(qū)域限制 可以停止對由自定義印刷或?qū)Σ蹲綀D像中較差圖像或有噪圖像的不佳圖像處理導致的缺 失、合并或額外區(qū)域的比較。動態(tài)內(nèi)容限制可以減少對于包含動態(tài)內(nèi)容的區(qū)域(如姓名和 地址文本區(qū)域)需要測量的關系數(shù)量。不確切分隔和印刷錯位限制可以組合未正確分隔的 兩個或更多個文本區(qū)域，從而減少要比較的區(qū)域的數(shù)量。圖12的右側為示出布局編輯器30訓練特征圖像分類器47的操作步驟的流程圖 (200-208)。特征圖像方法作為一種又被稱為PCA(主成分分析)的信息壓縮方案，可以將 大量圖像的集合的表達復雜度有效地降低至幾個標準正交特征圖像，從而實現(xiàn)快速對象識 別和其他任務。所關注區(qū)域可以為整個文檔區(qū)域，或最好將動態(tài)內(nèi)容排除在外的部分。此 外，對文檔的預處理可以用于降低任何動態(tài)內(nèi)容的影響。在任何情況下，第一步驟均為收集所有可能的圖像模板或選擇性地收集典型圖像 模板(200)?？梢詫⑺占瘓D像模板的模板數(shù)據(jù)歸一化為零均值。然后形成數(shù)據(jù)矩陣，其中 每一列均存儲不同圖像模板的圖像數(shù)據(jù)(202)。每一列中的每個條目可以代表圖像模板的 相同部分或整個圖像區(qū)域。根據(jù)該數(shù)據(jù)矩陣的協(xié)方差矩陣計算得出一組特征向量，并將該 組特征向量按照各自的特征值排序(204)。特征向量可以由模板的原始圖像數(shù)據(jù)的數(shù)據(jù)矩 陣計算得到，或由該數(shù)據(jù)矩陣的轉置降低至更低維度；這兩種技術生成數(shù)學上等效的結果。 閾值可以用于僅選擇具有足夠大的特征值(即超過預定義閾值的特征值)的那些特征向量 (206)。作為一個例子，可以應用分離點，以使得僅選擇大小在最大特征值的10%范圍內(nèi)的 特征值。這些所選特征向量中的每一個均可映射回去作為各自的特征圖像，如同它們從轉 置的數(shù)據(jù)矩陣計算得出并被存儲一樣。可以將上述流程視為數(shù)學上的簡化流程，因為原始 圖像通常具有非常高的維度，并且需要降低至更低維度才能更加快速地計算標準正交特征 向量。然后將該特征向量映射回原始圖像的更高維度。特征圖像形式的最終表達可以更易 于最終應用捕捉圖像，如下所述?？梢詫⑦x定的該組標準正交特征圖像視為模板圖像數(shù)據(jù)
21的原始組在最小平方誤差方面的最佳表達。圖12的左側為示出圖2的文檔識別模塊40在遍歷文檔識別框架34以調(diào)用圖9 的特征圖像文檔匹配流程164B時的操作步驟的流程圖(210-216)。該處理步驟序列可以應 用至(i)參考圖像數(shù)據(jù)，以建立文檔模板和預計算數(shù)據(jù)庫中存儲的每個文檔子類型對象 的引用權重系數(shù)向量，或(ii)捕捉圖像數(shù)據(jù)，以識別文檔類型(210)。調(diào)用特征圖像文檔匹配流程164B后，文檔識別模塊40執(zhí)行特征圖像文檔匹配流 程164B以計算捕捉圖像的權重系數(shù)向量(212)，該向量由上層選擇的標準正交特征圖像表 達。具體操作為將捕捉圖像數(shù)據(jù)向量(或引用圖像數(shù)據(jù))乘以由所選標準正交特征圖像構 建的數(shù)據(jù)矩陣，以生成捕捉圖像的權重系數(shù)向量。即，該數(shù)據(jù)矩陣的每一列均代表一個特征 圖像，并且乘以捕捉圖像數(shù)據(jù)向量可生成系數(shù)構成的向量，其中每個系數(shù)代表捕捉圖像在 標準正交特征圖像形成的多維空間中的表達然后，文檔識別模塊40將捕捉圖像數(shù)據(jù)的權 重系數(shù)向量相對于與存儲在數(shù)據(jù)庫中的多個文檔子類型對象中的一個關聯(lián)的每個預計算 引用權重系數(shù)向量(即每個可能的引用文檔類型)進行比較(214)。此操作計算兩個向量 (分別對應于捕捉圖像的權重系數(shù)向量和預計算引用權重系數(shù)向量)的距離或相似度。通 常，文檔識別模塊40可以根據(jù)以下四種標準距離計算算法之一計算該距離1)歐氏距離、 2)海明距離、3)NCC(歸一化互相關)和4)馬氏距離。以該距離為基礎，文檔識別模塊40 根據(jù)特征圖像文檔匹配流程164B確定物件是否屬于當前所比較的多個文檔子類型對象中 的一個(即文檔子類型對象170) (216)，并且分類通常基于最近鄰域(NN)。該確定結果可 能采用每個可能的引用文檔類型對象的信度值的形式，該信度值以統(tǒng)一度量(如0至100) 來代表距離。這樣，信度值可代表捕捉圖像的權重系數(shù)向量和對應的每個可能的引用文檔 權重系數(shù)向量之間的距離是否小于預定義閾值。圖13A-13C為示出在文檔識別模塊(如圖2的文檔識別模塊40)執(zhí)行特征圖像文 檔匹配流程(如圖9的特征圖像文檔匹配流程164B)時圖13C的捕捉圖像230的狀態(tài)的示 例性圖像。圖13A和圖13B示出識別該文檔前使用的示例性訓練圖像和結果。圖13A示出 由七個美國駕駛執(zhí)照樣本構成的組加利福尼亞州和紐約州的各兩個樣本、明尼蘇達州、蒙 大拿州和美國的各一個樣本。在實際應用中，該組模板圖像可以達到數(shù)百個圖像或更多。布 局編輯器30計算各樣本的特征圖像和特征值，圖13B中示出了這些特征圖像和特征值?？?以對該七個特征圖像構成的組進行選擇，僅使用它們中具有較高特征值的部分來近似表達 原始的七個模板圖像。然后，將圖13A的七個模板圖像中的每一個乘以由所選特征圖像構 造的矩陣，生成引用權重系數(shù)向量作為該文檔子類型的模板數(shù)據(jù)，其存儲在數(shù)據(jù)庫32中。一旦獲得圖13C的新捕捉圖像230后，文檔識別模塊40就調(diào)用圖9的特征圖像文 檔匹配流程164B，將圖像數(shù)據(jù)乘以由所選特征圖像構造的相同上層矩陣，以生成權重系數(shù) 向量。特征圖像文檔匹配流程將該權重系數(shù)向量相對于與當前所比較的多個文檔子類型對 象關聯(lián)的預計算引用權重系數(shù)向量中的每一個(即圖13A中用于訓練的七種美國駕駛執(zhí) 照)進行比較。例如，文檔識別模塊40可以使用海明距離計算算法或其他算法確定新捕捉 圖像數(shù)據(jù)與七個模板圖像數(shù)據(jù)之間的距離，以生成圖13C所示的示例性結果232。新捕捉圖像數(shù)據(jù)的結果232顯示，根據(jù)海明距離算法，其距與所選特征圖像確定 的多維空間中明尼蘇達州文檔子類型對象關聯(lián)的模板數(shù)據(jù)的距離最短，為518. 21。該距離 比此數(shù)據(jù)距與其他六個文檔子類型對象關聯(lián)的模板數(shù)據(jù)的距離小得多，這表示文檔分類根據(jù)最近鄰域(NN)原則更加匹配。通過文檔識別模塊40識別具體文檔類型后，由圖2的文檔處理引擎36提供可靠 性的下一個步驟是，調(diào)用文檔鑒定模塊42以確定是否存在要求的特征。在實施過程中，鑒 定特征是可以與上文討論的識別特征交換的概念，這意味著可以在驗證器、核對器或者甚 至分類器的實施中應用圖像分析方法?；痉结樖窃谧疃虝r間內(nèi)使用盡可能少的特征進行 識別同時使正確文檔類型的拒絕率更低，并且用于所謂鑒定流程的其他特征僅調(diào)用自識別 出的文檔同時使偽造物的誤接受率更低。本文示出三種方法作為獲取所用印刷技術的特性以識別偽造物的示例性驗證器 方法。偽造物通常使用替代印刷技術(如復印機)來復制原始文檔。在實施過程中，文檔 鑒定模塊42可以使用遠多于本文所示這三種示例性技術的方法。例如，凹版印刷仍然是廣泛使用的方法，該方法于15世紀30年代在德國發(fā)明，用 于印刷原始文檔。該技術是雕刻成或切成凹板，凹板填充有油墨，并用壓力使紙張的壓印區(qū) 域凸起，以生成具有3D效果的刻紋外觀。通常用于偽造物的廉價替代技術為熱圖像(凸起 油墨)，其用于常用名片之類物件的印刷。在使用3M文檔閱讀器的CCD照相機之類透視環(huán)境下進行查看時，可以捕捉到一 些重要的3D視覺效果。在采用3M名片樣本的情況下，由平面掃描器生成了圖14A的圖像 240，由圖1的文檔閱讀器11捕捉到了圖14B的圖像244。如圖14B所示，圖像240示出包 括字符陰影的3D效果。在上面兩個圖像中獲取字母“M”的整個右腿中水平移動的灰度變化分布，可以在 圖14A的圖片242和圖14B的圖片246中看到一些顯著差異；掃描儀中整個筆畫上的灰度 級別變化在圖14A的分布242中始終是對稱的，而CCD照相機的情形中不對稱，如圖14B的 分布246所示。暗谷朝向照相機原始位置的內(nèi)側偏移。通過測量整個視場，每個谷所示的 不對稱偏移的量會變化，并且可以在偏離視場原點的距離方面進行量化，如對圖14C中的 3M名片進行的測量。所示例子中偏移量的測量單位為密耳。這些技術可以易于由所謂“陰影立體”技術應用，以通過測量圖像的精確3D參數(shù) 確定是否存在不對稱性，這些參數(shù)例如筆畫凸起多高，該高度可根據(jù)圖14C中斜線有多陡 來確定。另一種印刷技術為雕版印刷，其在印刷表面上產(chǎn)生切口，并且因此產(chǎn)生與上述方 法相反的光學效果。上文描述的特征分析技術同樣可以用于分析此類印刷技術生成的圖像 和/或字符的3D特性。將圖像印刷到紙張或其他媒體上時，除連續(xù)影像(如照片和ID打印機)以外，另 外兩種最常用的復印技術通過二值圖像模擬連續(xù)色調(diào)圖像半色調(diào)加網(wǎng)技術(調(diào)幅)使用 間隔相等、尺寸不同的點，而隨機加網(wǎng)技術(調(diào)頻)在不同位置并以不同密度應用尺寸相同 的點。圖15A的樣本圖像250、252和254示出了這些印刷技術的樣本。紋理分析的協(xié)方差矩陣方法對于半色調(diào)加網(wǎng)的規(guī)則間隔點是良好的度量，而高頻 噪聲或邊緣檢測是對隨機加網(wǎng)的理想指示。在另一個例子中，彩色圖像通?？梢杂啥鄠€篩網(wǎng)重建，并且在半色調(diào)加網(wǎng)中，不同 角度的CMYK四色平面組合了如圖15B中的樣本256和圖15B中的放大圖像258所示的玫 瑰花結圖案。
圖15C示出圖像260、262和264所組成的一組圖像樣本，這些圖像是通過將彩色 C⑶照相機捕捉的圖像256的RGB平面分解而生成的。圖15C的圖像組示出圖15C中樣本 圖像260、262和264中的成角度篩網(wǎng)，其可以以相似方式處理。由于復制是文檔偽造物中最常見的情形之一，所以掃描文本也會因使用不同的加 網(wǎng)方法而改變，如同圖15D中分別由連續(xù)色調(diào)、半色調(diào)和隨機加網(wǎng)方法獲得的圖像266、268 和270的對比那樣。在這種情況下，筆畫寬度和邊緣曲率的變化可以是對復制原始文檔的 加網(wǎng)方法導致的字符畸變的良好度量。除上述傳統(tǒng)印刷技術外，還設計了許多新方法來不僅限制將圖像復制到媒體上， 而且還以微結構承載其他信息以進一步協(xié)助防止偽造。盡管這些方法中的大多數(shù)僅能通過 自己專有的算法解碼，但仍然可以在圖像處理中使用一些簡單的特征提取方法來確定是否 存在特征，從而以經(jīng)濟高效的解決方案實現(xiàn)鑒定目的。下文討論了一些例子。例如，一些公司對包含機讀碼并且其上覆蓋人可讀內(nèi)容的文檔進行編碼和解碼， 使得機讀碼和人可讀內(nèi)容均可分辨。在操作中，生成了背景圖像，其中背景圖像包括根據(jù) 灰階圖像數(shù)據(jù)值編碼的浮雕狀網(wǎng)格，每個半色調(diào)網(wǎng)格包括至少兩個區(qū)別明顯的圖案中的一 個，如圖16A所示。另一個最近提出的方法的基礎是，通過將一些點偏移來對規(guī)則半色調(diào)加網(wǎng)進行相 位調(diào)制，如圖16B的圖像280所示。在這種情況下，放置具有相同加網(wǎng)頻率的透鏡狀解碼透 鏡使圖16B的圖像282中的編碼字母“Si”可見。本文所述技術可以易于應用到此類圖像。另一個方法是將彩色或灰階圖像平面轉換為微型字符層，其中每一層均相對與另 一層以不同角度排列。微型字符寬度按照灰階或顏色值(如果有多個顏色)對寬度進行調(diào) 制，如圖16C所示，并且覆蓋有放大圖像。本文所述技術可以易于應用到此類圖像。作為示出該系統(tǒng)如何快速高效地以高精確度識別文檔的例子，圖17A-17C示出了 從由206種不同的未使用符合ICAO要求的MRZ區(qū)的美國駕駛執(zhí)照構成的組中識別和驗證 紐約駕駛執(zhí)照的當前版本的流程。下面的表I中列出了被調(diào)用和應用于提取圖像屬性并對 其進行遞歸處理的所用分類器和核對器表I
分類器/核對器光源空白紅外光單色可見光主色可見光布局區(qū)域匹配紅外光特征圖像文檔匹配可見光 表I的右列示出對應的光源。該列表根據(jù)計算效率排序，并依次執(zhí)行。最后兩項 由文檔中預期的兩個圖像圖案匹配定義。圖17B示出在該例子中對于一個測試的每個分類器或核對器檢查了多少個文檔 對象。如圖所示，空白分類器/核對器在測試開始時檢查所有206個候選對象，可見圖案匹 配分類器/核對器已被限制為僅僅檢查正確文檔類型的一種可能。圖17B的曲線示出候選 可能性如何在約200毫秒內(nèi)高效縮減。圖17C示出每個操作的拒絕率，其代表文檔識別框 架相對于該類文檔的識別性能。由于徽標圖案匹配分類器/核對器在從15個候選對象中 識別正確文檔并放棄其他14個方面具有最高性能，即93%拒絕率，因此其為相對耗時的操 作。圖17A示出通過分別用紅外光、可見光、紫外光和逆向反射搜索四個圖像中的預 期安全圖像圖案，將該文檔識別為當前紐約駕駛執(zhí)照后調(diào)用的成功驗證結果的一部分。該 結果與圖8A所示的在系統(tǒng)完成識別和隨后的驗證后的那些結果相似。已經(jīng)描述了本發(fā)明的各種實施例。這些和其他實施例均在以下權利要求書的范圍 內(nèi)。
權利要求
一種將未知文檔驗證為多個可能文檔類型中的一個的方法，所述方法包括選擇不同文檔類型的一個或多個引用文檔；根據(jù)所述引用文檔，計算所述多個不同文檔類型的一個或多個特征圖像和特征值；根據(jù)從所述引用文檔計算的所述特征圖像和特征值，計算所述多個文檔類型中的每一個的引用權重系數(shù)向量；接收未知文檔的至少一個捕捉圖像；計算所述捕捉圖像的權重系數(shù)向量；將所述捕捉圖像的所述權重系數(shù)向量與所述文檔類型的所述權重系數(shù)向量中的每一個進行比較，以計算多個距離；以及根據(jù)所述多個所計算的距離，將所述未知文檔識別為所述多個文檔類型中的一個。
2.根據(jù)權利要求1所述的方法，其中所述特征圖像為標準正交的并且定義了多維空間，并且其中所述多個距離代表所述捕捉圖像在所述標準正交特征圖像所定義的多維空間中 距所述不同文檔類型的距離。
3.根據(jù)權利要求2所述的方法，其中所述距離中的每一個是以每個可能文檔類型的信 度值的形式表達的，所述信度值以統(tǒng)一的度量來代表所述距離。
4.根據(jù)權利要求1所述的方法，其中計算所述捕捉圖像的引用權重系數(shù)向量包括 構建數(shù)據(jù)矩陣，其中每一列均代表特征圖像；以及乘以所述數(shù)據(jù)矩陣以生成所述捕捉圖像的所述權重系數(shù)向量， 其中所述權重系數(shù)向量的每個系數(shù)代表所述捕捉圖像在所述標準正交特征圖像所形 成的多維空間中的表達。
5.根據(jù)權利要求1所述的方法，其中計算多個引用文檔類型的一個或多個特征圖像和 特征值包括收集所述可能文檔類型的圖像模板； 將所述圖像模板的圖像數(shù)據(jù)歸一化為零均值；形成數(shù)據(jù)矩陣，其中每一列均存儲所述圖像模板中的不同模板的圖像數(shù)據(jù)； 通過計算所述數(shù)據(jù)矩陣的協(xié)方差矩陣來計算一組特征向量，并按所述特征向量中的每 一個的各自的特征值進行排序；應用閾值以僅選擇具有超過閾值的特征值的那些特征向量； 將所述已選特征向量映射回所述特征圖像；以及 存儲所述已選特征圖像。
6.根據(jù)權利要求1所述的方法，其中接收至少一個捕捉圖像包括接收紅外光(IR)圖 像、可見光譜圖像、紫外光(UV)圖像和逆向反射圖像中的一種或多種。
7.根據(jù)權利要求1所述的方法，其中接收所述未知文檔的至少一個捕捉圖像包括接 收護照、駕駛執(zhí)照、出生證明、財務文檔、商業(yè)票據(jù)、身份證和社會保險卡中的一種的捕捉圖像。
8.根據(jù)權利要求1所述的方法，還包括在數(shù)據(jù)結構中存儲代表所述可能引用文檔類型的多個文檔類型對象， 其中所述多個文檔類型對象引用多個用于從所述捕捉圖像提取屬性的遞歸軟件流程，以將所述未知文檔分類并驗證為由所述文檔類型對象中的一個所代表的所述可能文檔類 型中的一個。
9.根據(jù)權利要求1所述的方法，其中所述文檔類型對象中的一個或多個引用特征圖像 識別流程，所述特征圖像識別流程選擇所述引用文檔類型、計算所述多個可能引用文檔中 的每一個的所述引用權重系數(shù)向量、計算所述捕捉圖像的所述權重系數(shù)向量、對所述捕捉 圖像的所述權重系數(shù)向量與所述可能引用文檔的所述權重系數(shù)向量中的每一個進行比較 以計算多個距離，并且根據(jù)所述多個距離將所述未知文檔識別為所述多個可能文檔類型中 的一個。
10.根據(jù)權利要求8所述的方法，還包括根據(jù)通過將所述多個遞歸流程應用至所述捕 捉圖像而提取的所述屬性，以可變順序遍歷所述數(shù)據(jù)結構的所述文檔類型對象。
11.根據(jù)權利要求9所述的方法，其中存儲所述多個文檔類型對象包括存儲分類器對象，其中所述分類器對象引用所述 多個流程中的一個或多個，并且其中遍歷所述數(shù)據(jù)結構包括遍歷所述分類器對象以調(diào)用所述分類器對象所引用的所述一個或多個流程以確定一組可能的引用文檔類型 對象；以及遍歷所述組以將所述捕捉圖像識別為所述多個可能的引用文檔類型對象中的一個。
12.根據(jù)權利要求9所述的方法，其中存儲所述多個文檔類型對象包括存儲最低信度值和引用所述多個流程中的一個 或多個的核對器對象，并且其中遍歷所述組包括遍歷所述核對器對象以 調(diào)用所述核對器對象所引用的所述多個流程中的一個或多個； 根據(jù)通過調(diào)用所述核對器對象所引用的所述多個流程中的一個或多個而接收到的一 個或多個返回值來計算信度值，以處理在與所述引用文檔類型對象進行比較時由所述分類 器對象從所述未知文檔提取的屬性；以及根據(jù)所述信度值和所述最低信度值之間的比較，從所述組選擇性地舍棄所述可能的引 用文檔類型對象中的一個或多個。
13.根據(jù)權利要求1所述的方法，還包括 調(diào)用以下流程中的一個或多個第一方法，以評估用于所述未知文檔的印刷方法是來自凹版印刷或雕刻印刷技術的可 能性；第二方法，以區(qū)分用于印刷圖像和文本的絲網(wǎng)印刷方法；或 第三方法，以評估所述未知文檔的印刷材料是否包括微結構；以及 根據(jù)所述可能性確定所述識別出的文檔是否可靠。
14.根據(jù)權利要求1所述的方法，還包括將所述未知文檔識別并驗證為結合有嵌入電 子信息的安全文檔，所述嵌入電子信息包括射頻識別(RFID)數(shù)據(jù)、電子護照數(shù)據(jù)、智能卡 數(shù)據(jù)或磁條數(shù)據(jù)中的一種或多種。
15.根據(jù)權利要求1所述的方法，還包括以視覺或聲音形式將所述識別和驗證流程的 結果呈現(xiàn)給用戶。3
16.一種安全文檔鑒定設備，包括存儲器，所述存儲器存儲多個引用文檔類型的一個或多個特征圖像和特征值； 圖像捕捉接口，所述圖像捕捉接口捕捉未知文檔的至少一個圖像； 文檔處理引擎，所述文檔處理引擎響應于所述捕捉圖像，選擇所述引用文檔類型中的 一個或多個作為可能引用文檔類型、計算所述多個可能引用文檔中的每一個的引用權重系 數(shù)向量、計算所述捕捉圖像的權重系數(shù)向量、比較所述捕捉圖像的所述權重系數(shù)向量和所 述可能引用文檔的所述權重系數(shù)向量中的每一個以計算多個距離，并且根據(jù)所述多個距離 將所述未知文檔識別為所述多個可能文檔類型中的一個。
17.根據(jù)權利要求16所述的安全文檔鑒定設備，其中所述文檔處理引擎計算所述捕捉 圖像的所述權重系數(shù)向量，其中通過構建其中每一列均代表特征圖像的數(shù)據(jù)矩陣并乘以所 述數(shù)據(jù)矩陣以生成所述捕捉圖像的所述權重系數(shù)向量。
18.根據(jù)權利要求16所述的安全文檔鑒定設備，其中所述文檔處理引擎計算并存儲所 述多個引用文檔類型的所述一個或多個特征圖像和特征值。
19.根據(jù)權利要求14所述的安全文檔鑒定設備，其中所述文檔處理引擎通過以下操作 來計算并存儲所述多個引用文檔類型的所述一個或多個特征圖像和特征值收集所述可能文檔類型的圖像模板； 將所述圖像模板的圖像數(shù)據(jù)歸一化為零均值；形成數(shù)據(jù)矩陣，其中每一列均存儲所述圖像模板中的不同模板的圖像數(shù)據(jù)； 通過計算所述數(shù)據(jù)矩陣的協(xié)方差矩陣計算一組特征向量，并按所述特征向量中的每一 個的各自的特征值排序；應用閾值以僅選擇具有超過閾值的特征值的那些特征向量；以及 將所述已選特征向量映射回所述特征圖像； 將所述已選特征圖像存儲在所述存儲器中。
20.根據(jù)權利要求16所述的安全文檔鑒定設備，其中所述存儲器根據(jù)動態(tài)文檔識別框架在數(shù)據(jù)結構中存儲多個文檔類型對象，其中所 述多個文檔類型對象引用多個用于從所述捕捉圖像提取屬性的遞歸流程，其中所述文檔處理引擎根據(jù)通過將所述多個遞歸流程應用至所述捕捉圖像而提取的 所述屬性，以可變順序遍歷所述數(shù)據(jù)結構的所述文檔類型對象，并且其中所述文檔處理引擎在遍歷所述數(shù)據(jù)結構后將所述未知文檔識別為所述多個文檔 類型對象中的一個。
21.根據(jù)權利要求16所述的安全文檔鑒定設備，其中所述圖像捕捉接口通過接收紅外 光(IR)圖像、可見光譜圖像、紫外光(UV)圖像和逆向反射圖像中的一種或多種來接收所述 捕捉圖像。
22.根據(jù)權利要求16所述的安全文檔鑒定設備，其中所述圖像捕捉接口通過接收護 照、駕駛執(zhí)照、出生證明、財務文檔、商業(yè)票據(jù)、身份證或社會保險卡中的一種的捕捉圖像， 從而接收所述未知文檔的所述捕捉圖像。
23.一種計算機可讀媒體，所述媒體包含指令以使可編程處理器進行以下操作 計算多個引用文檔類型的一個或多個特征圖像和特征值，接收未知文檔的至少一個捕捉圖像；選擇所述引用文檔類型中的一個或多個作為可能的引用文檔類型， 計算所述多個可能引用文檔中的每一個的引用權重系數(shù)向量； 計算所述捕捉圖像的權重系數(shù)向量；比較所述捕捉圖像的所述權重系數(shù)向量和所述可能引用文檔的所述權重系數(shù)向量中 的每一個以計算多個距離；以及根據(jù)所述多個距離，將所述未知文檔識別為所述多個可能文檔類型中的一個。
24. 一種采用布局匹配流程來識別或驗證未知文檔的方法，包括 接收未知文檔的捕捉圖像； 分隔和識別所述捕捉圖像的多個連接的區(qū)域；通過將所述多個連接的區(qū)域分類并建立所述多個連接的區(qū)域之間的一組關系，構建圖 形以表示所述捕捉圖像；將所述多個連接的區(qū)域相對于與所述多個文檔類型對象中的一個相關聯(lián)的模板數(shù)據(jù) 進行比較，其中所述模板數(shù)據(jù)指定預定義的多個連接圖像區(qū)域和所述多個預定義的連接圖 像區(qū)域之間的關系；以及根據(jù)所述比較，確定所述捕捉圖像是否屬于當前所比較的所述多個文檔類型對象中的 所述一個。 全文摘要
本文描述了根據(jù)特征圖像流程方法識別和驗證安全文檔的技術。例如，安全文檔鑒定設備選擇不同文檔類型的一個或多個引用文檔、根據(jù)所述引用文檔計算所述多個不同文檔類型的一個或多個特征圖像和特征值，并且計算所述多個文檔類型中的每一個的引用權重系數(shù)向量。在接收未知文檔的至少一個捕捉圖像后，所述設備計算所述捕捉圖像的權重系數(shù)向量、比較所述捕捉圖像的所述權重系數(shù)向量和所述文檔類型的所述引用權重系數(shù)向量中的每一個以計算多個距離，并且根據(jù)所述多個距離將所述未知文檔識別為所述多個文檔類型中的一個。
文檔編號H04L9/32GK101925905SQ200880125413
公開日2010年12月22日 申請日期2008年11月12日 優(yōu)先權日2007年12月12日
發(fā)明者詹姆斯·E·麥克萊恩, 雷宜武 申請人:3M創(chuàng)新有限公司