本發(fā)明一般地涉及搜索錄制的視頻。

背景技術(shù)：
搜索錄制的視頻可以是極為消耗時間的和人力密集的過程。視頻監(jiān)控系統(tǒng)通常包括錄像機，用于錄制由監(jiān)控攝像機所捕獲的視頻。最初，盒式磁帶錄像機被用來記錄這種數(shù)據(jù)，然而，只能夠通過使人查看錄像帶來找到關(guān)心的部分的方式來對錄像帶進行搜索。數(shù)字視頻錄像機的形成借助使用算法來搜索特定項目，例如，借助算法來搜索一個項目何時從視頻攝像機所觀看的區(qū)域中消失，由此改進搜索過程。然而，快速且方便地找到特定視頻片段的能力并沒有得到很大改進，與需要查看VCR磁帶一樣，搜索過程仍然需要人來查看視頻。視頻分析在視頻安全工業(yè)中正快速引起人們的注意，且正在開始部署使用相當(dāng)先進的技術(shù)來從數(shù)字視頻流提取高級信息的系統(tǒng)和部件。通常在以下兩個地點之一實現(xiàn)視頻分析：1）在“邊緣”，即，在攝像機端，或者，2）在“頭端”，即，在系統(tǒng)中具有大量處理能力的設(shè)備處。對于視頻分析的最初嘗試是在頭端實現(xiàn)的，這是因為，只能夠在個人計算機型平臺中才能獲得有益的分析所需的計算效力。這樣，模擬視頻通過視頻采集卡被導(dǎo)入到PC中，視頻采集卡將對視頻進行數(shù)字化，然后將幀提供給分析軟件。計算機將對這些數(shù)字幀執(zhí)行各種計算，檢測各種行為，接著將這些通過專用圖形用戶接口直接報告給操作員，或者，經(jīng)由某種信令系統(tǒng)（通常是IP網(wǎng)絡(luò)）來給另一個系統(tǒng)產(chǎn)生信息，該另一個系統(tǒng)將記錄此信息，或者在某種監(jiān)控系統(tǒng)中產(chǎn)生警報或事件。

技術(shù)實現(xiàn)要素：
提供了用于產(chǎn)生與視頻數(shù)據(jù)關(guān)聯(lián)的元數(shù)據(jù)的系統(tǒng)和方法的例子。元數(shù)據(jù)可包括有關(guān)在視頻場景中觀看的對象的數(shù)據(jù)和/或在視頻場景中發(fā)生的事件的數(shù)據(jù)。本公開的某些實施方式允許用戶通過搜索記錄的元數(shù)據(jù)來搜索特定的對象和/或事件。在某些實施方式中，通過接收視頻幀并產(chǎn)生該視頻幀的背景模型來產(chǎn)生元數(shù)據(jù)。接著，通過使用背景模型，可以在視頻幀中識別前景對象。一旦識別了這些對象，它們可以被分類和/或可以檢測與前景對象相關(guān)聯(lián)的事件。接著，前景對象的類別和事件可被記錄為元數(shù)據(jù)。提供了一種產(chǎn)生與視頻幀關(guān)聯(lián)的元數(shù)據(jù)的方法。接收視頻幀并根據(jù)該視頻幀形成背景模型。接著，可使用背景模型從視頻幀分離前景對象。前景對象可按類別進行分類。例如，類別可基于對象顏色、長寬比和位置來表征前景對象。前景對象的類別可接著被記錄在元數(shù)據(jù)中。提供了一種產(chǎn)生關(guān)于視頻幀的元數(shù)據(jù)的方法。該方法包括接收視頻幀、形成該視頻幀的背景模型、使用背景模型來從視頻幀分離前景對象、將該前景對象識別為先前識別的前景對象、基于前景對象的特征來將前景對象分成類別、以及在元數(shù)據(jù)中記錄對象的類別。被用于分類的前景對象的特征可包括對象在視頻幀中的位置、對象顏色以及對象的長寬比。提供了另一種方法?？赏ㄟ^用戶接口從用戶接收搜索查詢。該搜索查詢可包括用于搜索對象的類別和與對象關(guān)聯(lián)的事件中的任一個或二者的信息。接著可檢索與搜索查詢相關(guān)的元數(shù)據(jù)文件。元數(shù)據(jù)文件可包括有關(guān)視頻幀內(nèi)的對象類別和對象事件中的任一個或二者的信息?？稍诒粰z索的元數(shù)據(jù)文件中搜索匹配該搜索查詢的元數(shù)據(jù)。接著，可通過用戶接口提供匹配該搜索查詢的視頻片段列表。提供了一種視頻攝像機系統(tǒng)，其包括視頻攝像機、輸出端口和處理器。視頻攝像機可被配置為捕獲場景的視頻數(shù)據(jù)，并將該視頻數(shù)據(jù)作為數(shù)字數(shù)據(jù)來輸出。處理器可與攝像機通信地耦合。處理器可被配置為：接收來自視頻攝像機的視頻數(shù)據(jù)、形成視頻數(shù)據(jù)的背景模型、使用背景模型從視頻數(shù)據(jù)分離前景對象、識別前景對象在視頻數(shù)據(jù)的視頻場景中的位置、確定前景對象的顏色、以及在元數(shù)據(jù)中記錄前景對象的位置和顏色。輸出端口可通信地耦合到處理器，并被配置為輸出元數(shù)據(jù)。提供了一種視頻處理系統(tǒng)，其包括視頻輸入端口、處理器和視頻輸出端口。視頻輸入端口可被配置為接收視頻數(shù)據(jù)。處理器可通信地耦合到視頻輸入端口和視頻輸出端口。處理器可被配置為：形成視頻數(shù)據(jù)的背景模型、使用背景模型從視頻數(shù)據(jù)分離前景對象、確定前景對象的相對位置、以及確定前景對象的相對顏色。視頻輸出端口可被配置為輸出前景對象的相對位置和顏色作為元數(shù)據(jù)。在一些實施方式中，背景模型可包括短期背景模型和長期背景模型中的任一個或二者。在一些實施方式中，可從元數(shù)據(jù)去除陰影和反射。在一些實施方式中，與前景對象相關(guān)的事件可被檢測并被存儲在元數(shù)據(jù)中。在一些實施方式中，前景對象可按以下特征中的一個或多個來分類：對象在視頻幀內(nèi)的位置、對象尺寸、對象顏色、對象類型和/或?qū)ο箝L寬比。在一些實施方式中，事件可包括：對象進入幀、對象離開幀、攝像機損壞、對象保持靜止、對象與另一個對象融合、對象分成兩個對象、對象進入?yún)^(qū)域、對象離開區(qū)域、對象跨過絆網(wǎng)(tripwire)、對象被移除、對象被丟棄、對象計數(shù)、對象閑逛(loiter)和/或?qū)ο笥嫊r器。在一些實施方式中，可按對象類別和/或?qū)ο笏俣葋韺η熬皩ο蠓诸悺Ｔ谝恍嵤┓绞街?，可使用概率高斯模型來?gòu)造背景模型。在一些實施方式中，可通過從視頻幀減去背景模型來返回前景對象的方式從視頻幀分離前景對象。在一些實施方式中，與對象關(guān)聯(lián)的類別數(shù)據(jù)可被記錄為與視頻數(shù)據(jù)分離的元數(shù)據(jù)。還提供了一種搜索視頻數(shù)據(jù)的方法?？赏ㄟ^用戶接口從用戶接收搜索查詢。搜索查詢可包括多個查詢維度?？捎嬎阍诓樵兙S度和存儲在視頻數(shù)據(jù)中的元數(shù)據(jù)中標識的對象的維度之間的距離度量?？赏ㄟ^用戶接口提供視頻片段的列表。視頻片段可包括具有小于閾值的距離度量的對象。還提供了一種包括代碼的非暫態(tài)計算機可讀介質(zhì)，該代碼可由處理器來運行以實現(xiàn)元數(shù)據(jù)搜索。代碼可使處理器：通過用戶接口從用戶接收包括一組查詢維度的搜索查詢、計算在該一組查詢維度和與視頻幀中標識的對象關(guān)聯(lián)的一組對象維度之間的距離、并通過用戶接口提供視頻片段的列表。視頻片斷包括具有小于閾值的距離度量的對象。還提供了一種視頻處理系統(tǒng)，包括用戶接口、視頻存儲設(shè)備和處理器。用戶接口可被配置為接收用戶輸入。視頻數(shù)據(jù)存儲器可存儲視頻元數(shù)據(jù)。處理器可與用戶接口和視頻數(shù)據(jù)存儲設(shè)備通信地耦合。處理器可配置為通過用戶接口接收包括多個查詢值的搜索查詢，并計算該多個查詢值和與在視頻存儲設(shè)備中存儲的視頻元數(shù)據(jù)關(guān)聯(lián)的相應(yīng)值之間的距離度量。在一些實施方式中，搜索查詢可包括對象類別和/或?qū)ο笫录?。在一些實施方式中，搜索查詢可包括標識對象在特定攝像機的視野中的位置、類別內(nèi)的范圍和/或事件范圍的信息。在一些實施方式中，查詢維度和對象維度可與對象類別、與對象關(guān)聯(lián)的事件、x軸位置、y軸位置、顏色、x軸速度、y軸速度和/或長寬比相關(guān)聯(lián)。在一些實施方式中，可使用來計算距離，其中xn是第n個對象維度，qn是第n個查詢維度。這里描述的項目和或技術(shù)可提供下述能力中的一個或多個，以及其它沒有提到的能力。例如，使用這里描述的實施方式，視頻數(shù)據(jù)可連同元數(shù)據(jù)實時產(chǎn)生，該元數(shù)據(jù)包括有關(guān)在視頻數(shù)據(jù)中捕獲的對象和事件的信息。此外，視頻數(shù)據(jù)可被分析，且元數(shù)據(jù)可基于先前記錄的視頻數(shù)據(jù)來產(chǎn)生。進一步的，根據(jù)一些實施方式，用戶可基于元數(shù)據(jù)中記錄的對象特征和/或事件來搜索元數(shù)據(jù)，以找到期望的視頻數(shù)據(jù)。也可提供各種其它的能力。盡管已經(jīng)描述了項目/技術(shù)效果對，但是有可能通過本文沒有提到的項目/技術(shù)來獲得所提到的效果，并且，所提到的項目/技術(shù)可能不一定產(chǎn)生所提到的效果。附圖說明圖1是視頻監(jiān)控系統(tǒng)的框圖，其中，搜索錄制視頻的各個方面可根據(jù)本公開的一些實施方式來實現(xiàn)。圖2是圖1中顯示的工作站的一個實施方式的框圖。圖3是圖1中顯示的視頻源的一個實施方式的框圖。圖4是根據(jù)一些實施方式分析場景的過程。圖5是圖示用于輸入搜索條件的一個實施方式的截屏圖。圖6是根據(jù)一些實施方式圖示輸入搜索條件的一個實施方式的截屏圖。圖7是根據(jù)一些實施方式圖示輸入搜索條件的一個實施方式的截屏圖。圖8是針對捕獲和準備用于數(shù)據(jù)庫搜索的幀的過程。圖9是根據(jù)一些實施方式用于接收搜索幀并準備它用于搜索的過程。圖10是根據(jù)一些實施方式用于執(zhí)行由用戶請求的搜索的過程。圖11是根據(jù)一些實施方式基于所請求的搜索來生成報告的過程。圖12是根據(jù)一些實施方式用于檢測并去除視頻幀中的陰影和反射的流程圖。圖13是根據(jù)一些實施方式用于檢測并去除視頻幀中的陰影和反射的流程圖。通過查閱以下的詳細描述、附圖和權(quán)利要求書，將更全面地理解本文描述的過程和系統(tǒng)，以及其伴隨的優(yōu)勢、應(yīng)用和特征。具體實施方式本文討論了用于產(chǎn)生描述有關(guān)視頻場景的對象和/或事件的元數(shù)據(jù)的技術(shù)?？赏ㄟ^實時地分析視頻場景生成元數(shù)據(jù)，以產(chǎn)生具有描述視頻場景內(nèi)的對象的特征和/或發(fā)生在視頻場景內(nèi)的事件的信息的文件。在一些實施方式中，元數(shù)據(jù)可實時地生成。在一些實施方式中，攝像機可收集道路場景的視頻數(shù)據(jù)。關(guān)于該場景的背景信息可通過一段視頻幀來產(chǎn)生。根據(jù)背景信息，可識別前景對象，并可基于前景對象的特征來對前景對象分類。也可根據(jù)視頻數(shù)據(jù)來確定與對象相關(guān)的一個或多個事件。接著，可結(jié)合視頻數(shù)據(jù)記錄對象的類別和/或?qū)ο蟮氖录＠?，視頻攝像機可被用來捕獲道路場景的視頻數(shù)據(jù)。且可根據(jù)該視頻數(shù)據(jù)來形成背景模型。此背景模型可包括場景的特征和靜態(tài)對象。街道場景的背景模型例如可包括街道、樹木、標志牌和建筑物等。通過使用背景模型，可識別前景對象并對其分類。例如，通過場景的汽車可被識別并被分類為汽車。它們的顏色和/或尺寸也可被分類。可確定與所識別的汽車關(guān)聯(lián)的各種事件。例如，這種事件可包括汽車向右行駛或向錯誤方向行駛，或者長時間地停在一個特定地點的汽車?？勺R別各種其它事件。該對象數(shù)據(jù)和事件數(shù)據(jù)可被記錄為與視頻數(shù)據(jù)關(guān)聯(lián)的元數(shù)據(jù)。然后，該元數(shù)據(jù)可被用于搜索和檢索感興趣的視頻數(shù)據(jù)。參考圖1，以框圖形式顯示了視頻監(jiān)控系統(tǒng)10。視頻監(jiān)控系統(tǒng)10可包括連接到網(wǎng)絡(luò)18的多個視頻源1～n，其被標注為12、14和16。視頻源12、14和16例如可包括靜態(tài)或全運動視頻攝像機。此外，視頻源12、14和16可產(chǎn)生原始數(shù)字或模擬視頻數(shù)據(jù)。如果視頻源12、14和16產(chǎn)生模擬視頻數(shù)據(jù)，則可使用數(shù)字化儀來對視頻數(shù)據(jù)進行數(shù)字化。視頻源12、14和16可捕獲并提供彩色或單色的視頻數(shù)據(jù)。網(wǎng)絡(luò)18可以是封閉的網(wǎng)絡(luò)、局域網(wǎng)或廣域網(wǎng)，例如互聯(lián)網(wǎng)。多個數(shù)字視頻錄像機（DVR）20和21也可連接到網(wǎng)絡(luò)18，用于錄制來自視頻源12、14和16的視頻。在一些實施方式中，一個或多個數(shù)字視頻錄像機20或21可以是網(wǎng)絡(luò)視頻錄像機，或者可以直接連接到顯示器或工作站。數(shù)字視頻錄像機可以包括任意類型的視頻存儲設(shè)備，包括硬盤和/或閃存盤。如這里所使用的，錄制的視頻包括全運動視頻和每隔一段時間拍攝的靜態(tài)照片。存儲器22可連接到網(wǎng)絡(luò)18，以提供額外的存儲空間，用于例如可傳輸自數(shù)字視頻錄像機20的錄制的視頻，進行短期或長期的存儲。存儲器22可如所示地連接到網(wǎng)絡(luò)18，或可直接連接到數(shù)字視頻錄像機20，例如作為擴展盒。工作站24可連接到網(wǎng)絡(luò)18以給用戶提供顯示和輸入能力。工作站24可以是通用計算機，其帶有用于實現(xiàn)搜索記錄的視頻數(shù)據(jù)的軟件搜索方法的軟件，并提供用于搜索記錄的視頻數(shù)據(jù)的圖形用戶接口，或者，工作站可以簡單的是顯示和用戶輸入設(shè)備，用于訪問視頻監(jiān)控系統(tǒng)10并使用視頻數(shù)據(jù)搜索方法。用于搜索記錄的視頻數(shù)據(jù)的圖形用戶接口軟件和視頻搜索軟件可處于系統(tǒng)中的任何位置，例如，工作站24、數(shù)字視頻錄像機20或存儲器22?？衫靡曨l源、視頻錄像機、網(wǎng)絡(luò)和/或工作站的各種其他組合。圖2圖示了用于實現(xiàn)視頻數(shù)據(jù)搜索方法的工作站24的一個實施方式。處理器26連接到ROM28、RAM30和存儲器32，其可以是硬盤驅(qū)動器、壓縮盤驅(qū)動器、光驅(qū)動器等等。處理器26可以是例如由公司和制造的個人計算機中央處理單元（CPU）等智能設(shè)備、微處理器、專用集成電路（ASIC）等。處理器26實現(xiàn)存儲在ROM28或存儲器32中的軟件程序，來顯示圖形用戶接口。處理器26向顯示器36提供輸出信號，以顯示用于實現(xiàn)視頻數(shù)據(jù)搜索方法的圖形用戶接口。用戶輸入設(shè)備34可以是鼠標、穿梭(jog/shuttle)控制器、鍵盤、或連接到處理器26以提供搜索存儲的視頻數(shù)據(jù)的用戶輸入的其它合適的輸入設(shè)備。工作站24搜索的所記錄的視頻數(shù)據(jù)可以存儲在視頻監(jiān)控系統(tǒng)10的數(shù)字視頻錄像機20、數(shù)字視頻錄像機21或存儲器22中的一個或多個中。設(shè)備管理器可被用于（例如在ROM28、RAM30或存儲器32中）儲存處理器可讀、處理器可運行軟件代碼，該軟件代碼包含用于控制處理器26的指令，來執(zhí)行以下描述的功能（盡管該描述可看出軟件執(zhí)行這些功能）。所述功能例如實現(xiàn)各種視頻對象分類和/或事件識別系統(tǒng)。通過經(jīng)由網(wǎng)絡(luò)連接下載、從磁盤上載等方式，軟件可被加載到存儲器上。此外，軟件可能不是可直接運行的，例如，在允許運行之前需要編譯。在圖3中，根據(jù)一些實施方式，圖示了視頻源的例子，用作圖1中的視頻源12、14或16中的任意視頻源。攝像機38將原始視頻數(shù)據(jù)提供給處理器40。處理器40可包括任意類型的處理單元和存儲器。處理器40可將原始視頻數(shù)據(jù)壓縮成數(shù)字視頻格式，例如，MPEG。處理器40還可執(zhí)行各種任務(wù)，包括數(shù)據(jù)修改、數(shù)據(jù)打包和產(chǎn)生元數(shù)據(jù)等等。壓縮視頻數(shù)據(jù)可被流式化，例如，來傳輸?shù)酵ㄐ旁O(shè)備42（例如，網(wǎng)絡(luò)設(shè)備、調(diào)制解調(diào)器、無線接口等），用于傳輸?shù)骄W(wǎng)絡(luò)18。盡管攝像機38、處理器40（服務(wù)器和/或編碼器）以及通信設(shè)備42已經(jīng)被顯示為分開的設(shè)備，但是，它們的功能可以在單個設(shè)備中或在兩個設(shè)備中來提供，而非如所示的在三個分開的設(shè)備中來提供。場景分析器算法可在攝像機38、處理器40和/或工作站24中實現(xiàn)，以檢測攝像機38的視野的場景中的方面或事件，例如，檢測并跟蹤所監(jiān)視的場景中的對象。如果場景分析是在攝像機38或處理器40中實現(xiàn)的，有關(guān)事件和對象的信息可作為元數(shù)據(jù)隨視頻數(shù)據(jù)發(fā)送給網(wǎng)絡(luò)18。該視頻數(shù)據(jù)可例如包括檢測到某人跨過絆網(wǎng)或檢測到紅色車輛。可選地，視頻可通過網(wǎng)絡(luò)18流式傳輸，接著，由例如DVR20進行分析，之后，流式視頻被存儲。參考圖4，分析場景的過程100包括所顯示的模塊。然而，過程400僅是例子，不是限制性的。例如通過使得階段被添加、被移除、被重排、被結(jié)合和/或被同時進行，過程100可被改變。例如，可在模塊120、125和130來構(gòu)造背景模型。對于所顯示和描述的過程100的其它改變是可能的。在一些實施方式中，過程100可在被包含于或耦合于視頻源或視頻攝像機的處理器內(nèi)實現(xiàn)。在一些實施方式中，過程100可對視頻數(shù)據(jù)實時地操作。就是說，隨著視頻幀的捕獲，過程100可以識別對象和/或檢測對象事件，其等于或快于視頻幀被視頻源所捕獲的速率。例如，如果視頻源每秒捕獲30個視頻幀，則可以按相同速率或更大的速率來對每個幀或一系列幀實施過程100。過程100可通過捕獲視頻幀而在模塊105開始。視頻幀可實時地捕獲自視頻源或從數(shù)據(jù)獲取。過程100利用高斯模型來排除靜態(tài)背景圖像和具有重復(fù)運動而不具有語義意義的圖像（例如，樹在風(fēng)中搖動），其可被用來從感興趣的對象減去場景的背景。也可使用其他模型。為了檢測場景中的對象，高斯混合模型被應(yīng)用于視頻幀（或多個視頻幀）以產(chǎn)生背景，如模塊110、120、125和130所示。使用這種方法，即使背景擁擠且場景中存在運動，也可生成背景模型。對于實時視頻處理，高斯混合建模非常耗時，且由于其計算性質(zhì)，這種建模難以優(yōu)化。為了加速背景減法運算處理，針對相應(yīng)像素的描述，選擇最可能的模型。在模塊130可構(gòu)造退化的單高斯模型，并在模塊135應(yīng)用該模型。各種其它的背景訓(xùn)練算法或過程可被用來創(chuàng)建背景場景。在模塊115，可檢測反射，并將其從視頻幀中移除。在一些實施方式中，第二背景模型可結(jié)合上文描述的背景模型使用，或可作為獨立的背景模型使用。進行這種操作的目的是，例如，改進對象檢測的精確性，且移除由于一對象在一位置處停留一段時間后又從該位置移開而導(dǎo)致檢測到的虛假的對象。這樣，例如，可在第一“短期”背景模型后應(yīng)用第二“長期”背景模型。長期背景模型與短期背景模型的建立過程是一樣的，只不過它以更慢的速率來更新。就是說，它使用更長的時間段上的更多的視頻幀來創(chuàng)建背景模型。如果使用短期背景檢測到一對象，但是，根據(jù)長期背景，對象被認為是背景的一部分，則檢測到的對象是虛假的對象（例如，對象在一位置停了一會又離開了）。在這種情況下，短期背景模型的對象區(qū)域應(yīng)該用長期背景模型的對象區(qū)域來更新。否則，如果對象出現(xiàn)在長期背景中但它是短期背景中的背景，則該對象已經(jīng)融合到了短期背景中。如果對象在兩種背景模型中都被檢測到，則該對象是前景對象就具有高的可能性了。使用長期背景模型是可選的。在模塊135，對于所捕獲的視頻幀，應(yīng)用背景減法方法，以提取前景像素。在模塊140，根據(jù)分割結(jié)果來更新背景模型。由于背景不會很快改變，因此，不必更新每個幀中的整幅圖像的背景模型。然而，如果每隔N（N>0）個幀更新背景模型，則對具有背景更新的幀的處理速度與不具有背景更新的幀的處理速度會有很大差別，這有時可導(dǎo)致運動檢測誤差。為了克服這個問題，在每個幀中只更新背景模型的一部分，使得每個幀的處理速度相同，并實現(xiàn)了速度優(yōu)化。在進行了形態(tài)濾波后，在模塊145，前景圖像被分組為圖像團（imageblob），即，相似像素的組。這些圖像團代表當(dāng)前幀中檢測到的對象。為了去除因分割誤差而導(dǎo)致的小的噪音圖像團并根據(jù)其在場景中的尺寸找到合格的對象，例如可使用場景校準方法來檢測團尺寸。對于場景校準，假設(shè)透視地平面模型。在地平面模型中，合格的對象應(yīng)該比閾值高度（例如，最小高度）高，比閾值寬度（例如，最大寬度）窄。通過指定處于不同豎直水平的兩個水平的平行線段來計算地平面模型，且這兩條線段的長度應(yīng)該與可被定位的地平面的消失點（在透視圖中，平行線看起來匯聚到的一點）的真實世界長度一樣長，實際對象尺寸可根據(jù)其到消失點的位置來計算。在場景的底部限定團的最大/最小寬度/高度。如果檢測到的圖像團的標準化的寬度/高度小于最小寬度/高度，或者標準化的寬度/高度大于最大的寬度/高度，則將丟棄該圖像團。在模塊150，可檢測反射和陰影，并將其從視頻幀去除。反射檢測和去除可在陰影去除之前或之后進行。為了去除任何可能的反射，第一步是檢查前景像素相比于整個場景的像素數(shù)量的百分比是否很高。如果前景像素的百分比高于閾值，則以下操作發(fā)生。參考圖12，用于去除反射的過程1200包括所顯示的模塊。在模塊1210，通過從背景圖像減去當(dāng)前幀的亮度來生成差別圖像。在模塊1220，可進行反射和陰影檢測和去除?？梢砸远喾N方式進行此操作。例如，可以計算差別圖像的直方圖，并可以找到該直方圖的最大值（或高于閾值的點）。如果該最大值明顯偏離于零，則檢測到反射。為了去除這種反射效果，當(dāng)前幀中的每個像素的亮度可被偏移，且偏移量與直方圖最大值偏離于零的量相同。這種運算是假設(shè)了每個像素從原始亮度偏離相同的值。接著，可使用多種過程來檢測和去除陰影。由于陰影與背景具有相同的紋理圖案，因此，在模塊1230，可使用圖像相關(guān)技術(shù)來檢測陰影。如果背景與當(dāng)前幀之間的相關(guān)高于預(yù)定閾值（例如，0.95），則當(dāng)前圖像塊暗于背景，且當(dāng)前圖像塊可被認為是可能包括陰影效果。另外，可在模塊1240使用邊緣檢測來檢測陰影。可確定當(dāng)前視頻幀內(nèi)的每個像素沿著x軸和y軸的梯度。如果梯度的絕對值大于閾值，則相應(yīng)的像素是邊緣像素。對于前景圖像，如果背景具有某種邊緣，則可檢測當(dāng)前幀的相應(yīng)的圖像塊，以查看邊緣圖案是否相似。如果邊緣像素的大多數(shù)對于兩個圖像是相同的，則相應(yīng)的圖像塊可能包括陰影。在模塊1250，可使用豎直投影檢測來檢測陰影。陰影通常發(fā)生在對象的底部，且其在對象中的豎直投影比相應(yīng)的對象窄很多，因此，可根據(jù)對象的豎直投影計算來重新設(shè)置對象的尺寸，由此來去除陰影。從對象的兩側(cè)，如果豎直投影少于豎直投影的最大值的某個百分比，則當(dāng)前的豎直線可以是陰影候選。在模塊1260，兩種或更多種檢測技術(shù)可以組合來從視頻幀去除陰影。附圖13中的過程1300是用于陰影檢測的另一種技術(shù)。對于包含根據(jù)背景減法算法檢測到的前景像素的每個圖像塊，在模塊1310測量當(dāng)前幀和背景圖像塊的亮度差。如果當(dāng)前前景像素的亮度暗于背景，則過程1300前進到模塊1320，否則，過程1300前進到模塊1395，該圖像被識別為對象塊。在模塊1320，計算背景和當(dāng)前幀的圖像塊之間的相關(guān)。如果相關(guān)度小于閾值，則圖像塊與背景不相似，過程1300前進到模塊1395，其中圖像塊被標記為對象塊。否則，過程1300前進到模塊1340。在模塊1340，針對背景和當(dāng)前幀中的圖像塊來檢測邊緣。在模塊1350，邊緣像素被測量，以查看針對邊緣圖案匹配是否存在足夠的邊緣像素。如果在當(dāng)前幀和背景圖像中都存在足夠的邊緣，則過程1300前進到模塊1360。如果不是這樣，則過程1300前進到模塊1370。在模塊1360，如果在當(dāng)前幀和背景中邊緣圖案不相似，則塊被確定為是對象塊，過程1300前進到模塊1395。否則，過程1300前進到模塊1380。在模塊1370，如果僅是在一個塊中沒有足夠的邊緣，則該塊被確定為是對象塊，且過程1300前進到模塊1380。否則，過程1300前進到模塊1380，其中針對整個對象的前景像素來計算豎直投影。如果豎直投影小于用最大豎直投影確定的自適應(yīng)閾值，則在模塊1390，該塊被認為是陰影塊，否則，在模塊1395，它被確定為是對象塊。如果沒有對象能夠被映射到所檢測到的圖像團，則將針對該圖像團創(chuàng)建新的對象。否則，在模塊155，圖像團將被映射到存在的對象。新創(chuàng)建的對象不會被進一步處理，直到它在場景中出現(xiàn)了一段時間并向周圍移動至少超過一最小距離。以這種方式，可以濾除掉很多虛假對象。通過使用以上程序，可以追蹤場景中的對象。下一步是在模塊160對場景中的對象進行分類。根據(jù)對象的長寬比、物理尺寸和形狀的豎直輪廓，可從車輛或一群人來分類出單個人。豎直輪廓可被定義為在對象區(qū)域中的前景像素的頂部像素的豎直坐標的1維投影。該豎直輪廓可首先用低通濾波器來濾波。根據(jù)經(jīng)校準的對象尺寸，分類結(jié)果可以被精細化，這是因為單個人的尺寸總是小于車輛的尺寸。一群人和車輛可以通過它們的形狀差異來分類。例如，可以在對象的位置處確定人寬度的以像素計的尺寸。寬度的一部分可以被用來檢測沿著豎直輪廓的峰和谷。如果對象的寬度大于單人的寬度且在對象中檢測到多于一個峰，則很可能該對象是一群人而不是車輛?？梢詰?yīng)用針對對象縮略（例如縮略圖）的基于離散余弦變換（DCT）或其它變換的顏色描述，來提取檢測到的對象的顏色特征（量化的變換系數(shù)），所述其它變換例如為，離散正弦變換、Walsh變換、Hadamard變換、快速傅里葉變換、小波變換等。在模塊170可檢測到的事件的示例性列表包括以下事件：對象進入場景、對象離開場景、攝像機被損壞、對象在場景中靜止、對象融合、對象分裂、對象進入預(yù)限定的區(qū)域、對象離開預(yù)限定的區(qū)域、對象跨過絆網(wǎng)、對象被移除、對象被丟棄、對象在匹配對某區(qū)域或絆網(wǎng)預(yù)限定的禁止方向的方向上移動、對象計數(shù)、對象消除（例如，當(dāng)對象處于靜止長于預(yù)限定的時間段且其尺寸大于預(yù)限定區(qū)域的大部分時）、對象丟棄（例如，當(dāng)對象處于靜止長于預(yù)限定的時間段且其尺寸小于預(yù)限定區(qū)域的大部分時）、停留計時器（例如，對象在預(yù)限定區(qū)域中長于規(guī)定的停留時間處于靜止或非常小地移動），以及對象閑逛（例如，當(dāng)對象在預(yù)限定的區(qū)域中的時間段長于規(guī)定的停留時間）。在模塊180，可根據(jù)被跟蹤對象的運動或根據(jù)從該跟蹤所獲得的事件來創(chuàng)建元數(shù)據(jù)。這種描述以統(tǒng)一的表達將對象信息與事件組合。例如，可通過對象的位置、顏色、尺寸和長寬比來描述對象。對象還可通過其相應(yīng)的對象標識符和時間戳來與事件相關(guān)。所有事件應(yīng)該由規(guī)則處理器使用規(guī)則來產(chǎn)生，這些規(guī)則被定義為讓場景分析軟件來判斷在與視頻幀關(guān)聯(lián)的元數(shù)據(jù)中應(yīng)該提供哪種對象信息和事件。規(guī)則可通過任意數(shù)量的給定方式來確立，例如由配置系統(tǒng)的系統(tǒng)管理員或由能夠重新配置系統(tǒng)中的一個或多個攝像機的授權(quán)用戶來確立。視頻源（例如，圖1中的視頻源12）可通過多種不同的方法提供包括視頻數(shù)據(jù)和元數(shù)據(jù)的搜索幀，其然后被用于后來的對視頻的搜索。例如，視頻源可針對視頻流中的每個幀提供于與幀關(guān)聯(lián)的元數(shù)據(jù)和幀本身，由此，將每個視頻幀制成搜索幀?？蛇x地，視頻源可通過按預(yù)定時間間隔提供JPEG圖像以及與該JPEG圖像關(guān)聯(lián)的元數(shù)據(jù)來創(chuàng)建搜索幀，JPEG圖像和元數(shù)據(jù)接著被壓縮然后通過網(wǎng)絡(luò)（例如，圖1中的網(wǎng)絡(luò)18）發(fā)送。在另一個可選實施方式中，視頻源可通過提供與MPEG兼容流中的每個I幀關(guān)聯(lián)的元數(shù)據(jù)來創(chuàng)建搜索幀。前面實例性的任意方法可被用于提供多個搜索幀。每個記錄將表示以例如半秒間隔拍攝的對象快照，以創(chuàng)建大量的小記錄。例如，多個搜索幀可包括預(yù)定時間間隔的JPEG圖像和與各個JPEG圖像關(guān)聯(lián)的元數(shù)據(jù)。舉例而言，如果來自視頻源的視頻流被DVR（例如，圖1中的DVR20）接收，則來自視頻源的搜索幀也將被DVR接收。根據(jù)被用來創(chuàng)建搜索幀的方法，DVR可接收搜索幀并將其存儲在適當(dāng)?shù)奈募?，例如用于周期性的分離的JPEG圖像，或者，例如，將來自MPEG兼容流的I幀的副本存儲在適當(dāng)?shù)奈募小Ｅc每個搜索幀關(guān)聯(lián)的元數(shù)據(jù)可以與視頻數(shù)據(jù)分開，或者，元數(shù)據(jù)可被拷貝，以便創(chuàng)建元數(shù)據(jù)搜索文件。每個搜索幀的元數(shù)據(jù)可以按合適的方式（例如按時間戳）與搜索幀或搜索幀的視頻數(shù)據(jù)關(guān)聯(lián)，使得當(dāng)例如通過工作站24搜索元數(shù)據(jù)搜索文件時，結(jié)果可以在顯示器上顯示給用戶。用戶可分開地搜索網(wǎng)絡(luò)中的每個DVR和存儲設(shè)備，使得搜索規(guī)模易于隨監(jiān)控系統(tǒng)的生長而縮放。因此，將存在很多較小的并行運行的數(shù)據(jù)庫。這種方式在這種類型的系統(tǒng)中工作得很好，因為搜索可以獨立于彼此來運行，且分散的數(shù)據(jù)庫讓系統(tǒng)易于擴縮?？蛇x地，用于系統(tǒng)的元數(shù)據(jù)文件中的一些或全部可以存儲在一個存儲位置（例如，存儲器22或工作站24）。元數(shù)據(jù)搜索文件是二進制平面文件，其可以被快速地檢索和搜索。與搜索結(jié)果關(guān)聯(lián)的時間戳可被用于定位相應(yīng)的視頻數(shù)據(jù)，用于顯示給用戶。用戶可將關(guān)于期望的搜索的輸入提供給工作站。搜索標準不必是精確的搜索。實際上，例如，如在圖5中所示的，用戶可通過將在顯示器212上顯示的指示物210移動到特定攝像機的視野中的位置214來提供輸入?？蛇x地，如圖6中所示的，用戶已將在顯示器222上顯示的指示物220移動到特定攝像機的視野中的特定對象224，以指示期望的顏色，例如對象224的顏色，或者指示要進一步搜索的對象，例如，對象224。用戶所使用的視野可以是實時的視野也可以來自錄制的視頻?？蛇x地，用戶可使用分別在顏色框236、238和240上的滑塊230、232和234來輸入對期望的顏色的搜索，顏色框提供不同程度的諸如紅綠藍等顏色，以在圖7中的顯示器244上顯示的窗口242中產(chǎn)生期望的搜索顏色。在用戶的查詢中的搜索特征可被用來找到與所選擇對象相似的對象。可選的或額外的，搜索可被限制在用戶限定的區(qū)域和時間段內(nèi)。給定特定的規(guī)則或規(guī)則的集合，搜索過程將檢索數(shù)據(jù)庫，以獲得在特征的搜索范圍內(nèi)的全部記錄。結(jié)果將根據(jù)對象特征的相似度來分類。待被查詢的特征可以是顏色、位置、速度、對象尺寸、長寬比、對象類型、事件等等的范圍。用戶可在場景中設(shè)定一個或多個檢測區(qū)域，并使用規(guī)則邏輯來限定輸出結(jié)果。由用戶的查詢所要求的搜索標準可以如定位在特定位置處的對象一樣簡單，或者可以包括多種不同的屬性，例如，位置、尺寸、顏色、特定的移動，諸如此類。以下是其中用戶有興趣找到定位在特定位置處的對象的例子。對于對象的位置（x，y坐標）的編碼，x和y坐標的范圍可以是從0～255，即8比特值。如果搜索是用于找到處于100，200（朝向場景的中上部）的對象，則搜索將規(guī)定返回位于精確位置（100，200）的全部對象。然而，這個搜索可能將得到非常少的結(jié)果（如果有的話），因為很少有對象將會精確地位于（100，200）這個位置。如果對象處在（99，200），搜索引擎將不會得到匹配。事實上，如果操作員正在生成可視查詢，其中，如上所述，他在屏幕上點擊對象可能所處的大概位置處，該點擊將會相當(dāng)?shù)夭痪_。得到精確的匹配是不太可能的?？蛇x的查詢例如可查找x在w/2內(nèi)且y在h/2內(nèi)的全部對象。這將找到落入圍繞位置（q=100，200）的方框內(nèi)的全部對象。這種可選的查詢好于試圖得到精確的匹配，但是同樣的是，可視查詢是相當(dāng)?shù)夭痪_的，對象可能剛好在這個框外面，再次地，將不會產(chǎn)生匹配，盡管它已經(jīng)“足夠近”來滿足該搜索。擴大搜索窗口將包括更多的匹配，但是，用戶想要的是找到最接近（100，200）的全部對象。用于確定最接近用戶確立的搜索標準的對象的實施方式如下：xq=查詢的x位置yq=查詢的y位置xn=數(shù)據(jù)庫中第n個對象的x位置yn=數(shù)據(jù)庫中第n個對象的y位置查詢位置到數(shù)據(jù)庫中的任意對象的距離d計算如下：如果搜索過程遍歷數(shù)據(jù)庫中的每個記錄并計算各個對象與查詢位置的距離，然后對結(jié)果排序，則數(shù)據(jù)庫中最接近查詢的對象將處于列表的頂部。使用此方法不需要用戶規(guī)定搜索的范圍，其總是返回最接近的對象，或者，通過在排序列表中提供頂部的n個結(jié)果，它可以返回最接近查詢位置的n個對象的列表。因此，該實施方式使用戶能夠用他的鼠標在幀上點擊，由此請求找到接近此點的任意對象。這個相同的技術(shù)可以擴展到更加復(fù)雜的搜索，例如，查詢在進入特定的車道后以高的速率移動通過場景的紅色汽車。換句話說，用戶想要的是將顏色、位置、速度和長寬比（例如，汽車相比于人是寬的對象）相互關(guān)聯(lián)的接近匹配。顏色具有三個維度（y,u,v），位置具有兩個維度（x,y），速度具有兩個維度（u,v），長寬比具有一個維度。因此，搜索方法需要在查詢中的八個維度上匹配。八維空間中的距離使用下面的等式來計算，其例如顯示了用于計算30個不同參數(shù)的等式。總的來說，用戶生成的查詢將可能不是非常精確，這正是本搜索實施方式為什么極為有用的原因，即，它按優(yōu)選列表提供了模糊匹配。用戶可按名稱來指定顏色，例如，淡藍，或者如上所述，從顏色選取器選擇顏色。另一個搜索標準允許用戶選擇顏色的大概例子。有可能的是，對于查詢，并非所有的參數(shù)是已知的或者并非是完全已知的。例如，用戶可能僅知道他正在找一輛淺色的汽車（更多注意到了亮度Y，而沒有注意u和v，即色度）?？赡軆H知道對象的位置在場景中的上半部（注意到了位置的y分量，而很少注意到了x分量）。因此，對各個查詢分量的重要性進行加權(quán)的搜索方法的實施方式可能是用戶所需要的，此實施方式按下式計算：其中，n是各個對象的維數(shù)，wi是各個分量的加權(quán)系數(shù)，qi是查詢的第i個維度的分量值，xi是數(shù)據(jù)庫中的對象的第i個維度的分量值。查詢對數(shù)據(jù)庫中的所有對象運行，并找到最接近的匹配的最小值d。還可能找到一些數(shù)量的最小值d，并將這些結(jié)果提供給用戶用于可視確認。由于標準的關(guān)系數(shù)據(jù)庫并不執(zhí)行這種類型的算術(shù)查詢，所以方法需要對照目標查詢來檢查每個記錄的距離。這種類型的計算對于現(xiàn)代CPU計算來說是相當(dāng)容易的，現(xiàn)代CPU具有每秒搜索數(shù)百萬記錄的計算能力。這將允許搜索方法的該實施方式僅用幾秒時間就對48通道的數(shù)字視頻錄像機的每個通道執(zhí)行特定查詢。參考圖8，用于捕獲和準備幀供數(shù)據(jù)庫搜索的過程300包括所顯示的模塊。然而，過程300僅是示例性的，并非是限制性的。例如通過使得階段被添加、被移除、被重排、被結(jié)合和/或被同時進行，過程300可以被改變。此外，過程300可以在視頻幀被捕獲時實時地發(fā)生。在模塊310，判斷是否到了捕獲幀的時間。幀捕獲之間的預(yù)定時間可以設(shè)置為任何的期望時間間隔，例如每隔半秒。如果分配的時間已過，則在模塊320，捕獲幀的視頻數(shù)據(jù)。接著，在模塊330，根據(jù)針對特定攝像機設(shè)置的規(guī)則來分析該視頻數(shù)據(jù)。在模塊340，由分析產(chǎn)生的元數(shù)據(jù)與視頻數(shù)據(jù)結(jié)合，在模塊350，例如，來自過程300的數(shù)據(jù)庫搜索幀被提供給網(wǎng)絡(luò)、直接提供給DVR或工作站、或者諸如由DVD記錄器記錄到合適的介質(zhì)上，用于將來的分析。參考圖9，用于接收和處理搜索幀供之后搜索的過程400包括所顯示的模塊。然而，過程400僅是示例性的，并非是限制性的。例如通過使得階段被添加、被移除、被重排、被結(jié)合和/或被同時進行，過程400可以被改變。在模塊410，接收搜索幀，例如由DVR20從網(wǎng)絡(luò)18接收搜索幀。在模塊420，將搜索幀的元數(shù)據(jù)存儲在元數(shù)據(jù)搜索文件中，供后來例如由工作站24搜索。接著，在模塊430，可存儲與該搜索幀關(guān)聯(lián)的視頻數(shù)據(jù)。在一些實施方式中，視頻數(shù)據(jù)可與元數(shù)據(jù)文件分開存儲，或者可結(jié)合視頻數(shù)據(jù)存儲。參考圖10，用于執(zhí)行由用戶請求的搜索的過程500包括所顯示的模塊。然而，過程500僅是示例性的，并非是限制性的。例如通過使得階段被添加、被移除、被重排、被結(jié)合和/或被同時進行，過程500可以被改變。在模塊510，過程500等待用戶的查詢。在模塊520，當(dāng)接收到查詢時，獲得供搜索的適當(dāng)?shù)奈募?。由工作?4所獲得的適當(dāng)?shù)奈募纱鎯υ诶鏒VR20。在模塊540，根據(jù)用戶提供的標準并根據(jù)上文討論的用于多維搜索的等式來執(zhí)行模糊搜索。在模塊550，例如在顯示器36上向用戶提供搜索的結(jié)果。過程500接著在模塊560等待用戶選擇搜索結(jié)果中所列條目中的一個或多個。當(dāng)用戶選擇了結(jié)果條目時，過程500接著在模塊570檢索出與該條目關(guān)聯(lián)的視頻數(shù)據(jù)，然后在模塊580，在顯示器36顯示該視頻數(shù)據(jù)，供用戶觀看。除了查詢功能，本追查搜索方法還能夠針對指定的時間段產(chǎn)生統(tǒng)計報告，以顯示在該時間段發(fā)生了何種類型的事件以及事件的數(shù)量。對于每個事件，如果需要的話，可以給出具體的分析。例如，對于過去的一天可以按五分鐘的間隔給出人的計數(shù)報告。還可以根據(jù)元數(shù)據(jù)和相應(yīng)的視頻內(nèi)容生成視頻概略，以從視頻提取對象，并將它們黏貼在一起，來在單個圖像中產(chǎn)生視頻概略。參考圖11，用于基于所請求的搜索來生成報告的過程600包括所顯示的模塊。過程600僅是示例性的，并非是限制性的。例如通過使得階段被添加、被移除、被重排、被結(jié)合和/或被同時進行，過程600可以被改變。在模塊610，由用戶設(shè)定搜索報告標準。過程600接著在決策點620判斷是否到了根據(jù)用戶指定的時間框來生成報告的時間。接著當(dāng)合適的時間段已過，例如用于每天所生成的報告的24小時已過，則過程600在模塊630檢索用于搜索的元數(shù)據(jù)，在模塊640執(zhí)行模糊搜索，并在模塊650提供報告結(jié)果。其它實施例和實現(xiàn)在本公開和所附權(quán)利要求的范圍和精神內(nèi)。例如，由于軟件的性質(zhì)，以上描述的功能、流程和過程可以使用由處理器運行的軟件、硬件、固件、硬接線和其任意組合來實現(xiàn)。實現(xiàn)功能的特征也可物理地位于不同的位置，包括被分布成功能的部分在不同的物理位置來實現(xiàn)。此外，如這里所使用的，包括在權(quán)利要求書中，項目列表中所使用的、前置有“中的至少一個”的“或”表示這樣的選言列表，例如，使得“A、B或C中的至少一個”表示：A或B或C、或者AB、或者AC、或者BC、或者ABC（即，A和B和C）。本文所描述和顯示的過程和方法可以存儲在計算機可讀介質(zhì)上，其指的是可由計算機訪問的用于存儲數(shù)據(jù)的任意存儲設(shè)備。計算機可讀的介質(zhì)的例子包括：磁硬盤、軟盤、光盤例如CD-ROM或DVD、磁帶、內(nèi)存芯片，以及被用來承載計算機可讀電子數(shù)據(jù)的載波，諸如在發(fā)送和接收電子郵件中所使用的或在訪問網(wǎng)絡(luò)時所使用的那些。盡管這里所討論的各種實施方式涉及到視頻監(jiān)控系統(tǒng)，但是，相同的過程和方法可以用于監(jiān)控環(huán)境之外的商業(yè)或非商業(yè)個體所捕獲的視頻數(shù)據(jù)。例如，搜索文件可以通過消費類攝像機來產(chǎn)生。這些文件接著可以被直接下載到個人計算機，或者下載到固態(tài)存儲器件、磁帶、磁盤或者其他存儲設(shè)備上，然后在由消費者選定的時間將這些文件下載到個人計算機。這里所描述的搜索過程可以位于個人計算機上，用于以本文關(guān)于視頻監(jiān)控系統(tǒng)所描述的相同的方式來分析視頻，使得用戶無需花費數(shù)小時來觀看視頻數(shù)據(jù)就可找到感興趣的視頻。此外，可公開多于一個發(fā)明。