專利名稱：用于搜索圖像信息的方法和軟件程序的制作方法
技術領域：
本發(fā)明涉及用于搜索圖像信息的方法和軟件程序，并且更具體的涉及 用于監(jiān)視目的的搜索圖像信息的方法和軟件程序。
背景技術：
在對建筑物、交通、私人家庭、超級市場等監(jiān)視的領域廣泛地使用視 頻系統(tǒng)。對于一些應用來說，保存視頻信息以供隨后訪問或分析是很有用 的。由于保存的數據容量隨著視頻系統(tǒng)視頻相機數量和記錄時間的增加而 增加，因此就需要可以對相關的視頻信息進行快速搜索的視頻數據庫。
文獻WO 00/45338公開了一種用于表示運動物體軌跡的系統(tǒng)和方法， 用于基于內容的索引和檢索視覺動畫數據。該系統(tǒng)還標識視覺動畫數據幀 中的所選對象，并在二維或三維坐標空間中確定所選對象的軌跡。在下一 步的高等級描述符中，其表示創(chuàng)建了對象的軌跡，并將該軌跡與視覺動畫 數據的原始序列合并，以創(chuàng)建"新的信號"?？梢酝ㄟ^使得描述符中存儲的 軌跡信息與例如用戶選擇的軌跡描述標準相匹配，來搜索該新的信號。
文獻WO 2005/050971 A2公開了一種視頻監(jiān)視系統(tǒng)，其使用虛擬的拉 線(tripwire)或是任意的形狀。該視頻監(jiān)視系統(tǒng)包括感應設備，諸如視頻相 機和計算機系統(tǒng)。用戶在視頻相機采集的視頻圖像上繪出所述拉線，并在 滿足拉線規(guī)則的時候觸發(fā)該視頻監(jiān)視系統(tǒng)的特定反應。視頻相機采集的視 頻數據可以在線處理或脫機處理。在所有情況下，將該拉線規(guī)則用于該視 頻數據上。

發(fā)明內容
本發(fā)明提出了一種具有權利要求l的特征的搜索圖片圖像信息的方法， 以及具有權利要求10的特征的相應的計算機程序。本發(fā)明優(yōu)選的實施例通過附屬的權利要求以及說明書中的技術特征來限定。
根據權利要求l，該方法包括在圖片幀序列中提取所關注對象軌跡的步 驟、對所提取軌跡進行預處理以得到經過預處理的軌跡的步驟、存儲經過 預處理的軌跡為數據庫中的數據、并對數據庫中的經過預處理的軌跡數據 應用搜索詢問的步驟。
該方法還包括提取圖片幀序列中所關注對象的軌跡的步驟，由此通過 該圖片幀中的第一組位置點來表示該軌跡。所關注對象例如是交通中的車 輛、比賽中的球、超級市場中的人等。優(yōu)選地，對該圖片幀序列進行在線 分析，尤其是實時分析?；蛘撸^早將該圖片幀序列記錄下來并脫機處理。 術語"圖片幀序列"包括從標準視頻相機獲得的視頻幀序列的含義，但是 并不限于此含義。該術語還包括來自感應其他波長的例如紅外相機、熱相 機、或紫外相機的圖片幀序列。或者，可以與本發(fā)明結合使用的圖片幀序 列還可以通過雷達系統(tǒng)、激光雷達系統(tǒng)、超聲系統(tǒng)或激光監(jiān)視系統(tǒng)產生。 尤其是，本發(fā)明可以應用于各種領域，諸如體育視頻、家庭多媒體以及視 頻監(jiān)視。軌跡被限定為第一組位置點，優(yōu)選用二維坐標來表示，所述位置
點表示幀序列的圖片中對象的位置，優(yōu)選是在該對象的整個生命(Ufetime) 期間或是在圖片幀序列中出現的期間。優(yōu)選地，該組位置點包括每幀一個 位置點。
在另一步驟中，通過應用空間相關過濾算法，將提取的軌跡預先處理 為經過預處理的軌跡。該空間相關過濾使用第一組位置點作為輸入，并且 返回第二組位置點作為輸出，其中，第二組位置點的數量小于第一組的數 量。優(yōu)選地，第二組的每個位置點對應于圖片幀序列中的幀。優(yōu)選地，該 空間相關過濾算法過濾與先前點相比，尤其與是第二組位置點的前面緊鄰 的位置點相比，沒有表示出該物體顯著位移的所有位置點。
經過預處理的軌跡存儲在數據庫中，優(yōu)選地與其他對象和/或其他圖片 幀序列的經過預處理的軌跡一起存儲，優(yōu)選地，該位置點數據與各個圖片 幀數據相關聯(lián)。
在另一步驟中，搜索詢問間接或是直接用于經過預處理的軌跡和/或數 據庫上，尤其是用在第二組位置點上。優(yōu)選地，可能的搜索包括對于位置、 速度、軌跡等的詢問。所要求保護的方法包括這樣的優(yōu)點，即對于與現有技術中已知系統(tǒng)相 比的減少的數據量進行搜索詢問。因此，對于較大圖片數據組的搜索時間 就顯著減少。這個優(yōu)點是通過對與圖片幀序列的幀率無關的對象行為進行 采樣、和/或將使得數據庫條目量最小化的軌跡數據的表示模型提供給搜索 過程而實現的。優(yōu)選地，該方法實現了這樣一種內容管理系統(tǒng)，其使用視 頻內容分析來產生用于快速搜索的視頻描述，以提供對于人來說有意義的 語義級別的搜索能力。
在一個實施例中，該提取步驟包括對于圖片幀序列應用對象分割和/或
對象探測和/或跟蹤算法。所使用的優(yōu)選算法如在W. Hu, T. Tan， L. Wang和 S. Maybank的論文"A survey on visual surveillance of object motion and behaviours" IEEE Transactions on SMC-C Vol. 34, No.3， pp. 334-352， August 2004中所描述的。將這篇論文所公開的全部內容、尤其是涉及該算法的內 容，以通過引用的方式結合在此。優(yōu)選地，該算法返回基于逐幀的對象限 界框(boundingbox)，其中，例如將限界框的中心用作各個幀中對象的位置。
在另一個實施例中，預處理步驟包括去除提取的軌跡的位置點，該軌 跡表示在圖片幀的圖像平面中的線性和/或基本上線性的外插和/或內插行 為。尤其在預處理步驟中，排除與先前位置點相比示出沒有位移或是僅有 線性位移的位置點。
在另一個實施例中，對該第一組位置點的過濾包括清除不相關的位置 點。 一種可能的實際實現是分段聚集近似(PAA)的二維適應性形式，如E丄 Keogh禾卩M丄Pazzani: "A simple dimensionality reduction technique for fast similarity search in large time series databases" Proc of the 4th Pac-Asia Conf. on Knowledge Discovery and Data Mining, April 2000, pp. 122- 133中描述 的。將此論文的全部公開內容，尤其是關于算法的內容通過引用的方式結 合在此。優(yōu)選地，通過兩種標準來估計位置點的相關性，這兩種標準是到 前面緊鄰位置點或前面緊鄰過濾位置點的距離，以及所述對象的運動方向 與前面緊鄰位置點或前面緊鄰過濾位置點相比的偏離。
在該方法的另一個實施例中，包括索引步驟，以進行快速搜索數據訪 問方法，而不用處理整個數據組。優(yōu)選地，索引步驟產生所謂的R樹或改 進的11*樹。對于該樹的實現，參考N. Beckmann， H,P. Kriegel, R. Schneider,B. Seeger: "The R*-tree: An efficient and robust access method for points and rectangles" Pro" of ACM SIG-MOD Int. Conf. Management of Data, May 1990, pp. 322-331的論文。將此論文的全部公開內容，尤其是關于11*樹的 內容，通過引用的方式結合在此。優(yōu)選地，該索引步驟包括將該過濾的軌 跡位置點分組為子痕跡(sub-trail)，并且以最小限界矩形(bounding rectangular)表示每個子痕跡。優(yōu)選的，該矩形的邊平行于圖片幀的圖像的 邊。
在另一個實施例中，該詢問是對于對象軌跡的搜索，與概要線(sketched line)相匹配。該概要線例如是由用戶以類似鼠標的計算機設備在圖片幀序 列的圖像上、或是在參考圖像上繪制的?；蛘撸撛儐柺菍τ诳邕^用戶可 繪制或可選擇拉線的對象的搜索，和/或是對位于表示的關注區(qū)內或穿過表 示的關注區(qū)的對象的搜索。
優(yōu)選的，將該概要線轉換為線段，并且該線段和/或適于限定有限匹配 范圍的線段的范圍窗口，被轉換到搜索最小限界矩形中。在優(yōu)選實施例中， 在限定了該搜索最小限界框之后，訪問該數據庫，其中，只訪問與搜索最 小限界框相覆蓋或重疊的數據庫的矩形和/或最小限界矩形，尤其是R或 R,。
在一個優(yōu)選實施例中，概要線和從數據庫中檢索的軌跡之間匹配的近 似度和成相關性通過歐幾里德點到直線的距離、和域通過概要線的方向和 檢索軌跡的方向之間的差異來加權。優(yōu)選的，概要線的方向和/或檢索的軌 跡的方向是對象沿著概要線或是沿著該軌跡運動的方向。
在概要線包括多于一條線段的情況下，優(yōu)選搜索每個線段并按照順序 對其分別加權。此外，可以實現等級連銜rank-join)算法，其提供檢索軌跡 的初步和/或最終總體等級或最匹配順序(best-match-order)。該等級銜接算
法還依賴于各個線段長度之間比率外的其他條件。
優(yōu)選的，該方法實現為如權利要求10所述的計算機程序。優(yōu)選的，通 過跟蹤和數據檢索系統(tǒng)來實現本發(fā)明，該數據檢索系統(tǒng)用于執(zhí)行根據本發(fā) 明的方法。尤其是，該跟蹤和數據檢索系統(tǒng)包括數據庫服務器，該數據庫 服務器用于執(zhí)行提取、預處理和存儲步驟，并且優(yōu)選執(zhí)行索引步驟，該系 統(tǒng)還包括檢索客戶端，用于向數據庫服務器表達和/或發(fā)送搜索詢問。優(yōu)選通過數據庫服務器執(zhí)行軌跡檢索的處理。


為了更完全地了解本發(fā)明及其優(yōu)點，現在結合下面的說明和附圖進行 參考，其中給同一對象分配類似的參考標記，附圖示出
圖1:作為本發(fā)明第一實施例的跟蹤和數據檢索系統(tǒng)的示意概要圖； 圖2:示出跟蹤和數據檢索系統(tǒng)中優(yōu)選使用的軌跡過濾和提取的示意概 要圖3:按照層級存儲過濾的或是經過預處理的軌跡和對其檢索的示意概 要圖4:在拉線詢問期間，與圖1的跟蹤和數據檢索系統(tǒng)相關使用的圖形 用戶界面(GUI)的實施例；
圖5:將檢索的數據表示為對拉線式詢問的響應期間的GUI; 圖6:圖1所示的跟蹤和數據檢索系統(tǒng)的硬件結構的實施例。
具體實施例方式
圖1示出跟蹤和數據檢索系統(tǒng)1的總體概念的概要圖。 在圖1的左側，通過交通交叉路口的圖像2示出對象跟蹤，該路口具 有重疊的軌跡3a和3b，以及對象探測窗口 4a和4b。在圖像2中，示出的 兩條線表示兩個不同運動對象的兩個軌跡3a和3b。軌跡3a和3b是從視頻 幀序列中提取出來的，其中在第一步驟中，分割算法返回每個運動對象的 形狀，且在第二步驟中，在所有的視頻幀序列中探測到運動對象的形狀和 因此探測到運動對象本身。視頻幀中運動對象的位置點用于形成軌跡3a、 3b，其中分別用軌跡3a和3b插值對象探測窗4a和4b的中心，該探測窗 是基于逐幀的對象限界框。由該組形成軌跡的位置點表示的這些軌跡3a、 3b被過濾并存儲在隨后說明的數據庫5之中。
在右側示出交通路口的圖像6，該圖像與圖像2類似或是相同。在圖像 6中繪出概要線段7，其一端實現為箭頭8。該概要線7表示在數據庫上對 于類似軌跡進行搜索詢問的軌跡，將該概要線發(fā)送給對于數據庫5的搜索。 箭頭8表示與搜索軌跡相關的對象運動方向。圖2示意性示出在圖1的跟蹤數據和檢索系統(tǒng)1中優(yōu)選使用的軌跡3b 的提取和過濾。在左手側還是具有軌跡3b、限界框4b和附加的一組位置點 9的圖像2，每個位置點表示對應于幀序列中單個幀的限界框4b的中心。 如圖2中間部分所示，這組位置點9是過濾算法的輸入。該組位置點9通 過空間相關算法進行過濾，由此將在先前過濾的位置點11周圍的圈10限 定的預定最大距離內的所有位置點、和/或在位置點9周圍設置的、管道 (tube)12所限定的最大方向偏移范圍內的所有位置點取消。在軌跡3b的位 置點9沒有在圈10上，以及當前認定的軌跡點處于圈IO外的情況下，可 選地可以創(chuàng)建新的位置點13;和/或在當前認定的軌跡點處于管道12外的 情況下，可以在管道12的邊緣上創(chuàng)建新的點。過濾算法的輸出在圖2的左 側表示，其示出表示軌跡3b的較少的一組位置點11、 13、 14。
圖3表示在數據庫中過濾的軌跡數據的層級存儲以及數據庫訪問方法。
在圖3的左上角，分別示出具有過濾位置點11、 13、 14和15的過濾 的軌跡3a和3b。每個軌跡3a和3b由第一最小限界矩形A來表示，其僅 攜帶關于整個過濾軌跡3a和3b的外邊界和位置的信息。在另一步驟中， 過濾的軌跡3a、 3b被分成子痕跡，其分別由最小限界矩形B、 C和D表示， 由此，優(yōu)選地該矩形B、 C和D不重疊地設置在矩形A之中。矩形B、 C、 D攜帶關于各個設置其中的子痕跡的外邊界和位置的信息。
在圖3的下部，示出了樹狀數據結構16，其也被稱為R4對。該數據結 構16通過矩形A、 B、 C和D來索引，并攜帶關于軌跡和子痕跡的信息。
在圖3的右上角，示出了在基于關于軌跡的概要線段7的詢問的情況 下的數據庫訪問方法。首先，概要線段7被分成段17、 18和19。在下面， 描述與中間線段18相關的數據庫訪問方法作為例子。在另一步驟中，范圍 窗口 20自動設置在中間線段18上，以限定有限的匹配范圍。在隨后的步 驟中，該范圍窗口20被轉換為搜索最小限界矩形21。僅在與搜索最小限界 框重疊的樹狀數據結構16的矩形中執(zhí)行匹配軌跡和/或軌跡的子痕跡的搜 索，對于線段18的例子來說，該矩形是矩形A和C。不訪問關于矩形B 和D的軌跡數據。
對于概要線段7的所有的線段17、 18和19執(zhí)行匹配軌跡和/或子痕跡 的搜索。最后，返回最佳匹配順序中的軌跡列表作為結果。圖4示出與本發(fā)明結合使用的圖形用戶界面GUI的實施例，尤其是作 為檢索客戶端的實施例。該GUI允許進行三個不同的詢問，其關于上面已 經描述了的軌跡概要，拉線以及關注區(qū)。
該拉線形式允許用戶繪制一條線23作為拉線，優(yōu)選地，該拉線是在圖 24中任意的形狀，由此，作為拉線詢問的結果，將從數據庫6中檢索在記 錄觀察時間或在(用戶)指定的時間間隔期間越過該線的、所有對象和/或軌 跡(圖1)。該搜索以與上述結合概要線而說明的類似方式來執(zhí)行，其區(qū)別在 于以其他標準來加權檢索的軌跡或子痕跡的匹配的近似度。圖5示出具有 搜索結果的、圖4的GUI22，其中，在GUI22的下部，列出了所有越過 該拉線的對象。通過選擇該對象中的一個，在目前的情況下是車26，則在 圖像24中與拉線23 —起顯示車26的軌跡25。
圖6示出圖1中跟蹤和數據檢索系統(tǒng)1的硬件結構的實施例。該跟蹤 和數據檢索系統(tǒng)1實現為一個或多個計算機，其連接到一個或若干個視頻 相機32和/或連接到一個或多個包含視頻序列的數據庫27，諸如視頻卡帶 記錄器或存儲器裝置。數據和檢索系統(tǒng)1包括服務器28，其負責提取、預 處理、索引和存儲來自視頻相機32或數據庫27的視頻幀序列中運動對象 的軌跡，該系統(tǒng)還包括客戶端29，其負責限定并發(fā)送對于服務器28的詢問。 服務器28和客戶端29使用軟件程序30來實施服務器28和客戶端29的功 能，并且用于執(zhí)行上述內容管理方法。服務器28和客戶端29經過鏈路31 相連，鏈路31實現為單個計算機之內的軟件鏈路、或是類似于網絡或互聯(lián) 網連接的物理鏈路。
權利要求
1、一種搜索圖像信息的方法，包括下面的步驟提取圖片幀序列中關注對象的軌跡，預處理所提取的軌跡以得到經過預處理的軌跡，存儲所述經過預處理的軌跡作為數據庫中的數據，對所述數據庫中的所述經過預處理的軌跡數據應用搜索詢問。
2、 根據權利要求1所述的方法，其中通過所述圖片幀中的第一組位置 點來表示所述軌跡。
3、 根據權利要求1或2所述的方法，其中通過應用空間相關過濾算法來實現預處理，該空間相關過濾算法減少位置點的數量，由此，通過所述 圖片幀中第二組位置點來表示所述經過預處理的軌跡。
4、 根據任一前述權利要求所述的方法，其中所述提取步驟包括對所述圖片幀序列應用對象探測和/或跟蹤算法。
5、 根據任一前述權利要求所述的方法，其中所述預處理步驟包括去除 所提取的軌跡的位置點，該所提取的軌跡的位置點表示所述圖片幀的圖像 平面中對象的線性禾口/或基本上線性的外插和/或內插行為。
6、 根據任一前述權利要求所述的方法，其中所述預處理步驟包括對相 關位置點的減少，其中通過兩個過濾的位置點之間最大距離的第一標準、 和/或通過兩個過濾的位置點之間對象的運動方向的最大偏差的第二標準， 來限定位置點的相關性。
7、 根據任一前述權利要求所述的方法，還包括通過將所述經過預處理 的數據分組為子痕跡并以最小限界矩形來表示每個子痕跡的方式，來對所 提取的軌跡的經過預處理的數據進行索引的步驟。
8、 根據權利要求7所述的方法，其中所述索引步驟還包括以層級和/ 或樹狀索引結構來存儲所述最小限界矩形。
9、 根據任一前述權利要求所述的方法，其中所述詢問是對于與概要 線段匹配的對象軌跡的搜索；和/或對于穿過用戶可以繪制的拉線的對象的 搜索；和/或對于位于示出的關注區(qū)中對象的搜索。
10、 根據權利要求9所述的方法，其中不使用實際的視頻數據而脫機 應用所述詢問。
11、 根據權利要求9或IO所述的方法，其中所述概要線被轉換為分離 的和/或獨立的線段，并且所述線段和/或適用于所述線段的限定有限匹配范 圍的范圍窗被轉換為搜索最小限界矩形。
12、 根據權利要求9到11中任意一個所述的方法，其中概要線段和所 述數據庫的檢索的軌跡之間匹配的相似性和/或所述相關性通過歐幾里德 點到線距離來加權，和/或通過所述概要線段的方向和所述檢索軌跡的方向 之間的差異來加權。
13、 一種計算機程序(30)，包括程序代碼裝置，當在計算機上運行所述 程序的時候，用于執(zhí)行權利要求1到12中任意一個中的所有步驟。
全文摘要
在建筑物、交通、私人家庭、超市等監(jiān)視的領域廣泛地使用視頻系統(tǒng)。對于一些應用，保存視頻信息以供隨后的讀取或分析是很有用的。保存的數據容量隨著視頻系統(tǒng)的視頻相機數量和記錄時間的增加而增加，因此需要視頻數據庫，其可以對相關的視頻信息進行快速搜索。一種搜索圖像信息的方法，包括下面的步驟提取圖片幀序列中關注對象的軌跡，其中通過圖片幀中的第一組位置點表示該軌跡，預處理所提取的軌跡以得到經過預處理的軌跡，通過應用空間相關過濾算法來減少位置點的數量，其中用圖片幀中的第二組位置點表示經過預處理的軌跡，存儲所述經過預處理的軌跡到數據庫中，對所述數據庫中的所述經過預處理的軌跡數據應用搜索詢問，并且還提出了一種對應的軟件程序。
文檔編號G06F17/30GK101421727SQ200580051698
公開日2009年4月29日 申請日期2005年9月30日 優(yōu)先權日2005年9月30日
發(fā)明者E·雅斯佩斯, R·維恩霍芬, R·阿爾貝斯 申請人:羅伯特·博世有限公司