基于地理圖的控制的制作方法
【專利摘要】本文所公開的是方法、系統(tǒng)、計(jì)算機(jī)可讀介質(zhì)以及其他的實(shí)施，其包括一種方法，包括：從被多個(gè)攝像機(jī)捕獲的圖像數(shù)據(jù)中確定關(guān)于多個(gè)移動(dòng)對象的運(yùn)動(dòng)數(shù)據(jù)，并且在表示被多個(gè)攝像機(jī)監(jiān)控的區(qū)域的全局圖像上呈現(xiàn)關(guān)于多個(gè)對象所確定的運(yùn)動(dòng)數(shù)據(jù)的圖形化指示，其中圖形化指示在全局圖像上對應(yīng)于多個(gè)移動(dòng)對象的地理位置的方位處。該方法還包括：響應(yīng)于基于呈現(xiàn)在全局圖像上的圖形化指示的全局圖像的區(qū)域的選擇，呈現(xiàn)來自多個(gè)攝像機(jī)中的一個(gè)攝像機(jī)的所捕獲的圖像數(shù)據(jù)，其中全局圖像的區(qū)域呈現(xiàn)關(guān)于被多個(gè)攝像機(jī)中的一個(gè)攝像機(jī)捕獲的多個(gè)移動(dòng)對象中的至少一個(gè)移動(dòng)對象的至少一個(gè)圖形化指示。
【專利說明】基于地理圖的控制
[0001] 背景
[0002] 在傳統(tǒng)的地圖繪制應(yīng)用中，可以選擇地圖上的攝像機(jī)標(biāo)志以引起窗口彈出并且提 供對視頻直播、警報(bào)、中繼等的輕松即時(shí)的訪問。這使得更容易在監(jiān)控系統(tǒng)中配置和使用地 圖。然而，在此過程期間包括很少的視頻分析（例如，基于一些例如視頻內(nèi)容的分析的攝像 機(jī)的選擇）。
[0003] 概述
[0004] 本公開針對映射應(yīng)用，包括了包含使能來自攝像機(jī)的運(yùn)動(dòng)的檢測并且在全局圖像 (例如，地理圖、被監(jiān)控的區(qū)域的俯瞰圖，等等）上呈現(xiàn)運(yùn)動(dòng)軌跡的視頻特征的映射應(yīng)用。例 如，本文描述的映射應(yīng)用幫助警衛(wèi)集中注意力在整個(gè)地圖上而不必不斷地監(jiān)控所有的攝像 機(jī)視圖。當(dāng)全局圖像上顯示有任何不尋常的信號(hào)或者活動(dòng)時(shí)，警衛(wèi)可以點(diǎn)擊地圖上感興趣 的區(qū)域，從而使得在所選擇的區(qū)域中的攝像機(jī)呈現(xiàn)在該區(qū)域中的視圖。
[0005] 在一些實(shí)施方式中，提供了一種方法。該方法包括從多個(gè)攝像機(jī)捕獲的圖像數(shù)據(jù) 中確定關(guān)于多個(gè)移動(dòng)對象的運(yùn)動(dòng)數(shù)據(jù)，并且在表示被多個(gè)攝像機(jī)監(jiān)控的區(qū)域的全局圖像上 且在全局圖像上的對應(yīng)于多個(gè)移動(dòng)對象的地理位置的方位處上呈現(xiàn)關(guān)于多個(gè)對象的所確 定的運(yùn)動(dòng)數(shù)據(jù)的圖形化指示。該方法還包括：響應(yīng)于基于呈現(xiàn)在全局圖像上的圖形化指示 對全局圖像的區(qū)域的選擇，呈現(xiàn)來自多個(gè)攝像機(jī)中的一個(gè)攝像機(jī)的所捕獲的圖像數(shù)據(jù)，其 中全局圖像的區(qū)域呈現(xiàn)關(guān)于被多個(gè)攝像機(jī)中的一個(gè)攝像機(jī)捕獲的多個(gè)移動(dòng)對象中的至少 一個(gè)移動(dòng)對象的至少一個(gè)圖形化指示。
[0006] 該方法的實(shí)施方式可以包括本公開中所描述的特征中的至少一些特征，其包括了 如下特征中的一個(gè)或者多個(gè)。
[0007] 響應(yīng)于對呈現(xiàn)關(guān)于多個(gè)移動(dòng)對象中的至少一個(gè)移動(dòng)對象的至少一個(gè)圖形化指示 的全局圖像的區(qū)域的選擇呈現(xiàn)所捕獲的圖像數(shù)據(jù)的操作可以包括響應(yīng)于與被多個(gè)攝像機(jī) 中的一個(gè)攝像機(jī)捕獲的一移動(dòng)對象對應(yīng)的圖形化指示的選擇，來呈現(xiàn)來自多個(gè)攝像機(jī)中的 一個(gè)攝像機(jī)的所捕獲的圖像數(shù)據(jù)。
[0008] 該方法還包括關(guān)于全局圖像校準(zhǔn)多個(gè)攝像機(jī)中的至少一個(gè)，以使被多個(gè)攝像機(jī)中 的至少一個(gè)捕獲的至少一個(gè)區(qū)域視圖的圖像與全局圖像中對應(yīng)的至少一個(gè)區(qū)域相匹配。
[0009] 校準(zhǔn)多個(gè)攝像機(jī)中的至少一個(gè)可以包括：選擇在被多個(gè)攝像機(jī)中的至少一個(gè)捕獲 的一圖像中出現(xiàn)的一個(gè)或者多個(gè)位置，并且識(shí)別在全局圖像上的與在被多個(gè)攝像機(jī)中的至 少一個(gè)捕獲的圖像中的所選定的一個(gè)或者多個(gè)位置對應(yīng)的方位。該方法還可以包括：基于 所識(shí)別的全局圖像方位以及在多個(gè)攝像機(jī)中的至少一個(gè)的圖像中對應(yīng)選定的一個(gè)或者多 個(gè)位置，計(jì)算二階2維線性參數(shù)模型的變換系數(shù)，以將在被多個(gè)攝像機(jī)中的至少一個(gè)捕獲 的圖像中的方位的坐標(biāo)變換為全局圖像中的對應(yīng)方位的坐標(biāo)。
[0010] 該方法還可以包括在地圖的選定區(qū)域中呈現(xiàn)與至少一個(gè)圖形化指示對應(yīng)的、多個(gè) 移動(dòng)對象中的至少一個(gè)移動(dòng)對象的額外的細(xì)節(jié)，額外的細(xì)節(jié)出現(xiàn)在被與選定區(qū)域?qū)?yīng)的多 個(gè)攝像機(jī)中的一個(gè)攝像機(jī)相關(guān)聯(lián)的輔助攝像機(jī)捕獲的輔助幀中。
[0011] 呈現(xiàn)多個(gè)移動(dòng)對象中的至少一個(gè)移動(dòng)對象的額外的細(xì)節(jié)可以包括：放大所述輔助 幀中的一區(qū)域，該區(qū)域?qū)?yīng)于被多個(gè)攝像機(jī)中的一個(gè)攝像機(jī)捕獲的多個(gè)移動(dòng)對象中的至少 一個(gè)移動(dòng)對象的方位。
[0012] 從被多個(gè)攝像機(jī)捕獲的圖像數(shù)據(jù)中確定關(guān)于多個(gè)移動(dòng)對象的運(yùn)動(dòng)數(shù)據(jù)可以包括： 給被多個(gè)攝像機(jī)中的至少一個(gè)捕獲的至少一個(gè)圖像應(yīng)用高斯混合模型，以將所述至少一個(gè) 圖像的包含移動(dòng)對象像素組的前景與所述至少一個(gè)圖像的包含靜止對象像素組的背景分 離。
[0013] 關(guān)于多個(gè)移動(dòng)對象的運(yùn)動(dòng)數(shù)據(jù)包括來自多個(gè)移動(dòng)對象的一移動(dòng)對象的數(shù)據(jù)，其可 以包括如下中的一個(gè)或者多個(gè)：例如，攝像機(jī)的視場內(nèi)的所述對象的位置、所述對象的寬 度、所述對象的高度、所述對象正在移動(dòng)的方向、所述對象的速度、所述對象的顏色、所述對 象正進(jìn)入所述攝像機(jī)的所述視場的指示、所述對象正離開所述攝像機(jī)的所述視場的指示、 所述攝像機(jī)正被破壞的指示、所述對象停留在所述攝像機(jī)的視場中一段大于預(yù)定的時(shí)間段 的時(shí)間的指示、幾個(gè)移動(dòng)對象被合并的指示、所述移動(dòng)對象被分為兩個(gè)或者多于兩個(gè)移動(dòng) 對象的指示、所述對象正進(jìn)入感興趣的區(qū)域的指示、所述對象正離開預(yù)定義的地區(qū)的指示、 所述對象正跨越絆網(wǎng)的指示、所述對象正沿與所述地區(qū)或所述絆網(wǎng)的預(yù)定義的禁止方向匹 配的方向移動(dòng)的指示、表示所述對象的計(jì)數(shù)的數(shù)據(jù)、所述對象的移除的指示、所述對象的丟 棄的指示、和/或表示關(guān)于所述對象的駐留定時(shí)器的數(shù)據(jù)。
[0014] 在全局圖像上呈現(xiàn)圖形化指示可以包括在全局圖像上呈現(xiàn)各種顏色的移動(dòng)幾何 形狀，所述幾何形狀包括例如圓形、矩形、和/或三角形中的一種或者多種。
[0015] 在全局圖像上呈現(xiàn)圖形化指示可以包括在全局圖像上呈現(xiàn)追蹤關(guān)于多個(gè)對象中 的至少一個(gè)的所確定的運(yùn)動(dòng)的軌跡，所述軌跡呈現(xiàn)在全局圖像上對應(yīng)于多個(gè)移動(dòng)對象中的 至少一個(gè)所沿路徑的地理位置的方位處。
[0016] 在一些實(shí)施方式中，提供了一種系統(tǒng)。該系統(tǒng)包括多個(gè)捕獲圖像數(shù)據(jù)的攝像機(jī)、一 個(gè)或者多個(gè)顯示設(shè)備、以及一個(gè)或者多個(gè)被配置為執(zhí)行如下操作的處理器，所述操作包括： 從被多個(gè)攝像機(jī)捕獲的圖像數(shù)據(jù)中確定關(guān)于多個(gè)移動(dòng)對象的運(yùn)動(dòng)數(shù)據(jù)，并且使用一個(gè)或者 多個(gè)顯示設(shè)備中的至少一個(gè)，在表示被多個(gè)攝像機(jī)監(jiān)控的區(qū)域的全局圖像上、在所述全局 圖像上的對應(yīng)于多個(gè)移動(dòng)對象的地理位置的方位處呈現(xiàn)關(guān)于多個(gè)對象的所確定的運(yùn)動(dòng)數(shù) 據(jù)的圖形化指示。該一個(gè)或者多個(gè)處理器還被配置為執(zhí)行如下操作：響應(yīng)于基于呈現(xiàn)在全 局圖像上的圖形化指示對全局圖像的一區(qū)域的選擇，使用一個(gè)或者多個(gè)顯示設(shè)備中的至少 一個(gè)，呈現(xiàn)來自多個(gè)攝像機(jī)中的一個(gè)攝像機(jī)的所捕獲的圖像數(shù)據(jù)，其中全局圖像的所述區(qū) 域呈現(xiàn)關(guān)于被多個(gè)攝像機(jī)中的所述一個(gè)攝像機(jī)捕獲的多個(gè)移動(dòng)對象中的至少一個(gè)移動(dòng)對 象的至少一個(gè)所述圖形化指示。
[0017] 該系統(tǒng)的實(shí)施方式可以包括本公開中所描述的特征中的至少一些，其包括上文關(guān) 于方法所描述的特征中的至少一些。
[0018] 在一些實(shí)施方式中，提供了非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)。該計(jì)算機(jī)可讀介質(zhì)使用可 在處理器上執(zhí)行的計(jì)算機(jī)指令集進(jìn)行編程，當(dāng)執(zhí)行計(jì)算機(jī)指令集時(shí)，引起如下操作，包括 ： 從被多個(gè)攝像機(jī)捕獲的圖像數(shù)據(jù)中確定關(guān)于多個(gè)移動(dòng)對象的運(yùn)動(dòng)數(shù)據(jù)，并且在表示被多個(gè) 攝像機(jī)監(jiān)控的區(qū)域的全局圖像上、在該全局圖像上的對應(yīng)于多個(gè)移動(dòng)對象的地理位置的方 位處呈現(xiàn)關(guān)于多個(gè)對象的所確定的運(yùn)動(dòng)數(shù)據(jù)的圖形化指示。計(jì)算機(jī)指令集還包括引起如下 操作的指令：響應(yīng)于基于呈現(xiàn)在全局圖像上的圖形化指示對全局圖像的一區(qū)域的選擇，呈 現(xiàn)來自多個(gè)攝像機(jī)中的一個(gè)攝像機(jī)的所捕獲的圖像數(shù)據(jù)，其中全局圖像的區(qū)域呈現(xiàn)關(guān)于被 多個(gè)攝像機(jī)中的一個(gè)攝像機(jī)捕獲的多個(gè)移動(dòng)對象中的至少一個(gè)移動(dòng)對象的至少一個(gè)圖形 化指示。
[0019] 該計(jì)算機(jī)可讀介質(zhì)的實(shí)施方式可以包括本公開中所描述的特征中的至少一些，其 包括上文關(guān)于方法和系統(tǒng)所描述的特征中的至少一些。
[0020] 如本文所使用的，術(shù)語"大約"指的是偏離正常值+/-10%的變化。需要理解的是， 在本文提供的給定值中始終包括這種變化，無論是否專門提到了它。
[0021] 如本文所使用的、權(quán)利要求中包括的、如由"至少一個(gè)"或者"一個(gè)或者多個(gè)"為引 語的項(xiàng)的列表中所使用的"和（and)"表明可以使用所列出的項(xiàng)的任意組合。例如，"A、B、 和C中的至少一個(gè)"的列表包括組合A或B或C或AB或AC或BC和/或ABC (即，A和B和 C)中的任意一種。此外，在某種程度上，多于一次的出現(xiàn)或者使用項(xiàng)A、B、或C是可能的，A、 B、和/或C的多次使用可能形成預(yù)期組合的一部分。例如，"A、B、和C中的至少一個(gè)"的列 表也可以包括AA、AAB、AAA、BB等。
[0022] 除非另有定義，否則本文使用的所有技術(shù)術(shù)語和科學(xué)術(shù)語具有與由本公開所屬領(lǐng) 域中的普通技術(shù)人員之一通常所理解的意思相同的意思。
[0023] -種或者多種實(shí)施的細(xì)節(jié)在下面的附圖中和描述中進(jìn)行闡述。從描述、附圖和權(quán) 利要求，另外的特征、方面和優(yōu)勢將變得明顯。
[0024] 附圖簡述
[0025] 圖1A是攝像機(jī)網(wǎng)絡(luò)的結(jié)構(gòu)圖。
[0026] 圖1B是攝像機(jī)的示例實(shí)施方式的示意圖。
[0027] 圖2是使用全局圖像控制攝像機(jī)的操作的示例過程的流程圖。
[0028] 圖3是被多個(gè)攝像機(jī)監(jiān)控的區(qū)域的全局圖像的照片。
[0029] 圖4是全局圖像和全局圖像的至少一部分的捕獲的圖像的示意圖。
[0030] 圖5是識(shí)別移動(dòng)對象并且確定它們的運(yùn)動(dòng)和/或其他特性的示例過程的流程圖。
[0031] 圖6是攝像機(jī)校準(zhǔn)過程的示例實(shí)施方式的流程圖。
[0032] 圖7A和圖7B是具有便于捕獲圖7A的圖像的攝像機(jī)的校準(zhǔn)操作的選定校準(zhǔn)點(diǎn)的 捕獲到圖像和全局俯瞰圖像。
[0033] 圖8是通用計(jì)算系統(tǒng)的示意圖。
[0034] 在各個(gè)附圖中，相同的參考符號(hào)表示相同的元件。
[0035] 詳細(xì)描述
[0036] 本文所公開的是包括下述操作的方法、系統(tǒng)、裝置、設(shè)備、產(chǎn)品以及其他的實(shí)施，一 種方法包括：從多個(gè)攝像機(jī)捕獲的圖像數(shù)據(jù)中確定關(guān)于多個(gè)移動(dòng)對象的運(yùn)動(dòng)數(shù)據(jù)，并且在 表示被多個(gè)攝像機(jī)監(jiān)控的區(qū)域的全局圖像上呈現(xiàn)圖形化運(yùn)動(dòng)數(shù)據(jù)項(xiàng)（也被稱為圖形化指 示），該圖形化運(yùn)動(dòng)數(shù)據(jù)項(xiàng)表示在全局圖像上對應(yīng)于多個(gè)移動(dòng)對象的地理位置（location) 的方位（position)處關(guān)于多個(gè)移動(dòng)對象的確定的運(yùn)動(dòng)數(shù)據(jù)。該方法還包括：響應(yīng)于基于呈 現(xiàn)在全局圖像上的圖形化運(yùn)動(dòng)數(shù)據(jù)項(xiàng)的全局圖像的一區(qū)域的選擇，呈現(xiàn)從多個(gè)攝像機(jī)中的 一個(gè)捕獲的圖像數(shù)據(jù)，其中全局圖像的一區(qū)域呈現(xiàn)關(guān)于被多個(gè)攝像機(jī)中的一個(gè)捕獲的（或 之中出現(xiàn)的）多個(gè)移動(dòng)對象的至少一個(gè)的至少一個(gè)圖形化指示（也被稱為圖形化運(yùn)動(dòng)數(shù)據(jù) 項(xiàng)）。
[0037] 被配置為使關(guān)于多個(gè)對象的運(yùn)動(dòng)數(shù)據(jù)能夠呈現(xiàn)在全局圖像（例如，地理圖、區(qū)域 的俯瞰圖像，等等）上的實(shí)施包括：將攝像機(jī)校準(zhǔn)到全局圖像的實(shí)施和技術(shù)（例如，以確定 全局圖像中的哪些位置對應(yīng)被攝像機(jī)捕獲的圖像中的位置），以及識(shí)別并且追蹤來自被攝 像機(jī)網(wǎng)絡(luò)的攝像機(jī)捕獲的圖像的移動(dòng)對象的實(shí)施和技術(shù)。
[0038] 系統(tǒng)配置和攝像機(jī)控制橾作
[0039] 通常，攝像機(jī)網(wǎng)絡(luò)中的每個(gè)攝像機(jī)都具有視圖和視場的關(guān)聯(lián)點(diǎn)。視圖點(diǎn)指的是通 過攝像機(jī)觀看物理區(qū)域的方位和視角。視場指的是被攝像機(jī)以幀的方式成像的物理區(qū)域。 含有處理器（例如數(shù)字信號(hào)處理器）的攝像機(jī)可以處理幀以確定移動(dòng)對象是否被呈現(xiàn)在其 視場內(nèi)。在某些實(shí)施方式中，攝像機(jī)可以將元數(shù)據(jù)與移動(dòng)對象（被簡稱為"對象"）的圖像 關(guān)聯(lián)。這種元數(shù)據(jù)定義并表示對象的各種特性。例如，元數(shù)據(jù)可以表示在攝像機(jī)的視場內(nèi) (例如，以攝像機(jī)的CCD的像素測量的2維坐標(biāo)系中）的對象的位置、對象的圖像的寬度（例 如，以像素測量的）、對象的圖像的高度（例如，以像素測量的）、對象的圖像正在移動(dòng)的方 向、對象的圖像的速度、對象的顏色、和/或?qū)ο蟮念愋?。這些是可以被呈現(xiàn)在與對象的圖 像相關(guān)聯(lián)的元數(shù)據(jù)中的一些信息；其他類型的信息包含在元數(shù)據(jù)中也是可能的。對象的類 型指的是基于對象的不同特性，對象被確定為在其內(nèi)的類型。例如，類型可以包括：人類、動(dòng) 物、汽車、小卡車、大卡車和/或SUVs。可以執(zhí)行對象類型的確定，例如，使用如圖像形態(tài)學(xué)、 神經(jīng)網(wǎng)絡(luò)分類、和/或其他類型的圖像處理技術(shù)/過程這樣的技術(shù)來識(shí)別對象。關(guān)于涉及 移動(dòng)對象的事件的元數(shù)據(jù)還可以通過攝像機(jī)被發(fā)送（或者這種事件的確定可以遠(yuǎn)程執(zhí)行） 到主機(jī)計(jì)算機(jī)系統(tǒng)。例如，這種事件元數(shù)據(jù)包括：對象進(jìn)入攝像機(jī)的視場、對象離開攝像機(jī) 的視場、攝像機(jī)正被破壞、對象停留在攝像機(jī)的視場中一段大于閾值的時(shí)間段（例如，假設(shè) 人在區(qū)域中徘徊一段大于某一閾值的時(shí)間段）、多個(gè)移動(dòng)對象合并（例如，奔跑的人跳進(jìn)移 動(dòng)的車輛中）、移動(dòng)對象被分成多個(gè)移動(dòng)對象（例如，人從車輛中出來）、對象進(jìn)入感興趣 的區(qū)域（例如，想要被監(jiān)控的在其中的對象的運(yùn)動(dòng)的預(yù)定義區(qū)域）、對象離開預(yù)定義地區(qū)、 對象正跨越泮網(wǎng)（tripwire)、對象在與關(guān)于地區(qū)或泮網(wǎng)的預(yù)定義禁止方向匹配的方向上移 動(dòng)、對象計(jì)數(shù)、對象移除（例如，當(dāng)對象靜止/固定一段長于預(yù)定義的時(shí)間段并且其尺寸比 預(yù)定義地區(qū)的很大一部分大時(shí)）、對象丟棄（例如，當(dāng)對象靜止一段長于預(yù)定義的時(shí)間段并 且其尺寸比預(yù)定義地區(qū)的很大一部分小時(shí)）、和/或駐留（dwell)定時(shí)器（例如，在一段長 于特定的駐留時(shí)間內(nèi)，對象在預(yù)定義地區(qū)中是靜止的或者移動(dòng)很少）。
[0040] 多個(gè)攝像機(jī)中的每一個(gè)可以向主機(jī)計(jì)算機(jī)系統(tǒng)發(fā)送表示各個(gè)攝像機(jī)的視圖中出 現(xiàn)的對象（例如，移動(dòng)對象）的運(yùn)動(dòng)和其他特性的數(shù)據(jù)，和/或可以向主機(jī)計(jì)算機(jī)系統(tǒng)發(fā)送 視頻輸入（video feed)巾貞（可能經(jīng)過壓縮的）。使用表示從多個(gè)攝像機(jī)接收的對象的運(yùn)動(dòng) 和/或其他特性的數(shù)據(jù)，主機(jī)計(jì)算機(jī)系統(tǒng)被配置為在單個(gè)全局圖像（例如，地圖、被攝像機(jī) 覆蓋的整個(gè)區(qū)域的俯瞰圖像，等等）上呈現(xiàn)關(guān)于在攝像機(jī)捕獲的圖像中出現(xiàn)的對象的運(yùn)動(dòng) 數(shù)據(jù)，以便使用戶能在單個(gè)全局圖像上看到多個(gè)對象的運(yùn)動(dòng)（包括對象相對彼此的運(yùn)動(dòng)） 的圖形化表示。主機(jī)計(jì)算機(jī)可以使用戶能從該全局圖像選擇區(qū)域并且從捕獲來自該區(qū)域的 圖像的攝像機(jī)接收視頻輸入。
[0041] 在一些實(shí)施中，表示運(yùn)動(dòng)（以及其他的對象特性）的數(shù)據(jù)可以被主機(jī)計(jì)算機(jī)用來 執(zhí)行其他的功能和操作。例如，在一些實(shí)施方式中，主機(jī)計(jì)算機(jī)系統(tǒng)可以被配置為確定在 不同的攝像機(jī)的視場中（同時(shí)地或者非同時(shí)地）出現(xiàn)的移動(dòng)對象的圖像是否代表相同的 對象。如果用戶指定將對該對象進(jìn)行追蹤，則主機(jī)計(jì)算機(jī)系統(tǒng)將來自被確定為具有更好的 對象視圖的攝像機(jī)的視頻輸入幀顯示給用戶。當(dāng)對象移動(dòng)時(shí)，如果另一個(gè)攝像機(jī)被確定為 具有更好的視圖，那么就可以顯示來自不同的攝像機(jī)的視頻輸入的幀。因此，一旦用戶選 定了將被追蹤的對象，那么基于哪個(gè)攝像機(jī)被確定為具有更好的對象視圖，就可以通過主 機(jī)計(jì)算機(jī)系統(tǒng)將顯示給用戶的視頻輸入從一個(gè)攝像機(jī)切換到另一個(gè)攝像機(jī)。這種跨越多 個(gè)攝像機(jī)視場的追蹤可以被實(shí)時(shí)執(zhí)行，即，此時(shí)被追蹤的對象基本上是在視頻輸入中顯示 的位置中。該追蹤也可以使用歷史視頻輸入來執(zhí)行，該歷史視頻輸入指的是表示在過去的 某一點(diǎn)處的對象的移動(dòng)的存儲(chǔ)的視頻輸入。例如，在2010年12月30日提交的、序列號(hào)為 12/982, 138 的、題名為"Tracking Moving Objects Using a Camera Network，'的專利申請 中提供了關(guān)于這些更進(jìn)一步的功能和操作的額外的細(xì)節(jié)，在此以引用方式將其內(nèi)容全部并 入。
[0042] 參考圖1A，其示出了安全攝像機(jī)網(wǎng)絡(luò)100的結(jié)構(gòu)圖說明。安全攝像機(jī)網(wǎng)絡(luò)100包 括多個(gè)其可以為相同或者不同類型的攝像機(jī)。例如，在一些實(shí)施方式中，攝像機(jī)網(wǎng)絡(luò)100可 以包括一個(gè)或者多個(gè)位置固定的攝像機(jī)（例如，攝像機(jī)110和120)、一個(gè)或者多個(gè)PTZ (搖 攝/傾斜/變焦）攝像機(jī)130、一個(gè)或者多個(gè)從攝像機(jī)140 (例如，不在本地執(zhí)行任何圖像/ 視頻分析的攝像機(jī)，而可代替地，將捕獲圖像/幀發(fā)送到例如遠(yuǎn)程服務(wù)器的遠(yuǎn)程設(shè)備）。在 攝像機(jī)網(wǎng)絡(luò)100中可以布置各種類型（且不僅僅是圖1中描述的攝像機(jī)類型中的一種）的 另外的或者較少的攝像機(jī)，并且攝像機(jī)網(wǎng)絡(luò)100可以具有零個(gè)、一個(gè)或者多于一個(gè)的每種 類型的攝像機(jī)。例如，安全攝像機(jī)網(wǎng)絡(luò)可以包括五個(gè)固定的攝像機(jī)而沒有其他類型的攝像 機(jī)。如另一個(gè)實(shí)例，安全攝像機(jī)網(wǎng)絡(luò)可以具有三個(gè)位置固定的攝像機(jī)、三個(gè)PTZ攝像機(jī)、以 及一個(gè)從攝像機(jī)。如下文將更詳細(xì)地描述的，在一些實(shí)施方式中，每個(gè)攝像機(jī)都可以與陪同 輔助攝像機(jī)相關(guān)聯(lián)，該陪同輔助攝像機(jī)被配置為調(diào)整其屬性（例如，空間位置、縮放，等等） 以獲得關(guān)于被其關(guān)聯(lián)的"主"攝像機(jī)檢測到的具體特征的額外的細(xì)節(jié)，以至于主攝像機(jī)的屬 性不必被改變。
[0043] 安全攝像機(jī)網(wǎng)絡(luò)100還包括路由器150。位置固定的攝像機(jī)110和120、PTZ攝像 機(jī)130、以及從攝像機(jī)140可以使用有線連接（例如，LAN連接）或者無線連接與路由器150 通信。路由器150與例如主機(jī)計(jì)算機(jī)系統(tǒng)160的計(jì)算系統(tǒng)通信。路由器150使用例如局域 網(wǎng)連接的有線連接或者無線連接與主機(jī)計(jì)算機(jī)系統(tǒng)160通信。在一些實(shí)施中，攝像機(jī)110、 120、130、和/或140中的一個(gè)或者多個(gè)可以使用例如收發(fā)器或者某一其他的通信設(shè)備直接 將數(shù)據(jù)（視頻和/或其他數(shù)據(jù)，例如元數(shù)據(jù)）發(fā)送給主機(jī)計(jì)算機(jī)系統(tǒng)160。在一些實(shí)施中， 計(jì)算系統(tǒng)可以是分布式計(jì)算機(jī)系統(tǒng)。
[0044] 位置固定的攝像機(jī)110和120可以被設(shè)置在固定的位置中，例如，被安裝到建筑物 的屋檐，以捕獲建筑物的緊急出口的視頻輸入。除非被某些外力移動(dòng)或者調(diào)整，否則這種位 置固定的攝像機(jī)的視場將保持不變。如圖1A中所示的，位置固定的攝像機(jī)110包括例如數(shù) 字信號(hào)處理器（DSP)的處理器112以及視頻壓縮器114。由于通過位置固定的攝像機(jī)110 捕獲位置固定的攝像機(jī)110的視場的幀，故這些幀通過數(shù)字信號(hào)處理器112或者通過通用 處理器進(jìn)行處理，例如，以確定是否存在一個(gè)或者多個(gè)移動(dòng)對象和/或執(zhí)行其他的功能和 操作。
[0045] 更一般地說，且參考圖1B，其示出了攝像機(jī)170 (也被稱為視頻源）的示例性實(shí)施 方式的示意圖。攝像機(jī)170的配置可以與圖1A中所描述的攝像機(jī)110、120、130、和/或140 中的至少一種的配置相似（雖然攝像機(jī)110、120、130、和/或140中的每個(gè)都可以具有其 獨(dú)特的特征，例如，PTZ攝像機(jī)也許能夠在空間上被移動(dòng)以控制被其捕獲的圖像的參數(shù)）。 攝像機(jī)170通常包括被配置為向攝像機(jī)170的處理器174提供原始圖像/視頻數(shù)據(jù)的捕獲 單元172 (有時(shí)被稱為視頻源設(shè)備的"攝像機(jī)"）。捕獲單元172可以是基于電荷耦合設(shè)備 (CCD)、或者可以是基于其他合適的技術(shù)的捕獲單元。電耦接到捕獲單元的處理器174可以 包括任何類型的處理單元和存儲(chǔ)器。此外，處理器174可以代替、或者附加到位置固定的攝 像機(jī)110的處理器112和視頻壓縮器114來使用。例如，在一些實(shí)施中，處理器174可以被 配置為將捕獲單元172提供給其的原始視頻數(shù)據(jù)壓縮成例如MPEG的數(shù)字視頻格式。在一 些實(shí)施中，且如下文將變得明顯的，處理器174還可以被配置為執(zhí)行至少一些關(guān)于對象識(shí) 別和運(yùn)動(dòng)確定的過程。處理器174還可以被配置為執(zhí)行數(shù)據(jù)修改、數(shù)據(jù)分組、元數(shù)據(jù)創(chuàng)建， 等等。例如，由此產(chǎn)生的諸如壓縮的視頻數(shù)據(jù)、表示對象和/或它們的運(yùn)動(dòng)的數(shù)據(jù)（例如， 表示所捕獲的原始數(shù)據(jù)中的可識(shí)別特征的元數(shù)據(jù)）的處理后的數(shù)據(jù)被提供（流動(dòng)）到可以 是諸如網(wǎng)絡(luò)設(shè)備、調(diào)制解調(diào)器、無線接口、各種收發(fā)器類型等的通信設(shè)備176。流動(dòng)的數(shù)據(jù)被 發(fā)送到路由器150以發(fā)送到例如主機(jī)計(jì)算機(jī)系統(tǒng)160。在一些實(shí)施方式中，通信設(shè)備176可 以直接向系統(tǒng)160發(fā)送數(shù)據(jù)，而不必先將這些數(shù)據(jù)發(fā)送到路由器150。雖然捕獲單元172、 處理器174和通信設(shè)備176作為分離的單元/設(shè)備被示出了，但它們的功能可以在單個(gè)設(shè) 備中或者在兩個(gè)設(shè)備中而不是如示出的三個(gè)分離的單元/設(shè)備中來提供。
[0046] 例如，在某些實(shí)施方式中，可以在捕獲單元172、處理器174、和/或遠(yuǎn)程工作站中 實(shí)施場景分析器過程，以檢測攝像機(jī)170的視場中的場景的一方面或者事件，例如，以檢測 和追蹤被監(jiān)控場景中的對象。在場景分析處理是由攝像機(jī)170執(zhí)行的情況下，根據(jù)捕獲的 視頻數(shù)據(jù)識(shí)別或者確定的關(guān)于事件和對象的數(shù)據(jù)可以作為元數(shù)據(jù)，或者使用一些其他的包 括表示對象的運(yùn)動(dòng)、行為和特性的數(shù)據(jù)的數(shù)據(jù)格式被發(fā)送（連同發(fā)送視頻數(shù)據(jù)或者也可以 不發(fā)送視頻數(shù)據(jù)）到主機(jī)計(jì)算機(jī)系統(tǒng)160。例如，這種表示在攝像機(jī)的視場中的對象的行 為、運(yùn)動(dòng)和特性的數(shù)據(jù)可以包括對人跨越絆網(wǎng)的檢測、對紅色車輛的檢測，等等。如已經(jīng)提 到的，可選地和/或另外地，視頻數(shù)據(jù)可以流動(dòng)到主機(jī)計(jì)算機(jī)系統(tǒng)160,用于處理和分析可 以，且至少部分地，在主機(jī)計(jì)算機(jī)系統(tǒng)160處被執(zhí)行。
[0047] 更具體地說，為了確定在被例如攝像機(jī)170的攝像機(jī)捕獲的場景的圖像/視 頻數(shù)據(jù)中是否存在一個(gè)或者多個(gè)移動(dòng)對象，對捕獲的數(shù)據(jù)執(zhí)行處理。例如，在序列號(hào)為 12/982, 601、題名為"Searching Recorded Video"的專利申請中描述了確定一個(gè)或者多個(gè) 對象的存在和/或運(yùn)動(dòng)以及其他的特性的圖像/視頻處理的實(shí)例，在此以引用方式將其內(nèi) 容全部并入。如下文將更詳細(xì)地描述的，在一些實(shí)施中，高斯混合模型可以被用來將含有移 動(dòng)對象的圖像的前景和含有靜止對象（例如，樹、建筑物、以及道路）的圖像的背景分離。然 后，這些移動(dòng)對象的圖像被處理以識(shí)別移動(dòng)對象的圖像的各種特性。
[0048] 如已經(jīng)提到的，例如，基于被攝像機(jī)捕獲的圖像產(chǎn)生的數(shù)據(jù)可以包括關(guān)于下述特 性的信息：諸如對象的位置、對象的高度、對象的寬度、對象正移動(dòng)的方向、對象正移動(dòng)的速 度、對象的顏色、和/或?qū)ο蟮念愋头诸悺?br> [0049] 例如，可能用元數(shù)據(jù)表示的對象的位置可以用與攝像機(jī)之一相關(guān)聯(lián)的二維坐標(biāo)系 中的二維坐標(biāo)表達(dá)。因此，這些二維坐標(biāo)與像素組的方位相關(guān)聯(lián)，像素組構(gòu)成由特定的攝像 機(jī)捕獲的幀中的對象。對象的二維坐標(biāo)可以被確定為由攝像機(jī)捕獲的幀內(nèi)的點(diǎn)。在一些配 置中，對象的方位的坐標(biāo)被認(rèn)為是對象的最低部分的中部（例如，如果對象是站立的人，那 么方位將在人的腳之間）。該二維坐標(biāo)可以具有X和y分量。在一些配置中，X和y分量以 像素的數(shù)量測量。例如，位置{613,427}將意味著對象的最低部分的中部沿著攝像機(jī)的視 場的X軸是613像素，并且其沿著攝像機(jī)的視場的 y軸是427像素。隨著對象的移動(dòng)，與對 象的位置相關(guān)聯(lián)的坐標(biāo)將改變。此外，如果同一個(gè)對象在一個(gè)或者多個(gè)其他攝像機(jī)的視場 中也是可見的，那么由其他攝像機(jī)確定的目標(biāo)的位置坐標(biāo)可能將是不同的。
[0050] 例如，對象的高度也可以使用元數(shù)據(jù)來表示，并且可以以像素的數(shù)量為單位來表 達(dá)。對象的高度被定義為從夠成對象的像素組的底部到對象的像素組的頂部的像素的數(shù) 量。像這樣，如果對象接近特定的攝像機(jī)時(shí)，所測量的高度將比如果對象遠(yuǎn)離攝像機(jī)時(shí)大。 類似地，對象的寬度也可以以像素的數(shù)量為單位來表達(dá)。對象的寬度可以基于在對象的像 素組中橫向呈現(xiàn)的對象的平均寬度或者在對象的最寬點(diǎn)處的寬度進(jìn)行確定。類似地，對象 的速度和方向也可以以像素進(jìn)行測量。
[0051] 繼續(xù)參考圖1A，在一些實(shí)施方式中，主機(jī)計(jì)算機(jī)系統(tǒng)160包括元數(shù)據(jù)服務(wù)器162、 視頻服務(wù)器164、以及用戶終端166。元數(shù)據(jù)服務(wù)器162被配置為接收、存儲(chǔ)以及分析從與 主機(jī)計(jì)算機(jī)系統(tǒng)160通信的攝像機(jī)接收到的元數(shù)據(jù)（或者一些其他的數(shù)據(jù)格式）。視頻服 務(wù)器164可以接收并存儲(chǔ)來自攝像機(jī)的壓縮視頻和/或未壓縮視頻。用戶終端166允許例 如安全警衛(wèi)的用戶與主機(jī)系統(tǒng)160連接，例如，以從其上呈現(xiàn)表示多個(gè)對象和它們各自的 運(yùn)動(dòng)的數(shù)據(jù)項(xiàng)的全局圖像中選擇用戶希望進(jìn)行更加詳細(xì)的研究的區(qū)域。響應(yīng)于從用戶終端 的屏幕/監(jiān)控器上呈現(xiàn)的全局圖像中選擇感興趣的區(qū)域，網(wǎng)絡(luò)100中部署的多個(gè)攝像機(jī)中 的一個(gè)對應(yīng)的視頻數(shù)據(jù)和/或相關(guān)聯(lián)的元數(shù)據(jù)被呈現(xiàn)給用戶（來代替或者附加到所呈現(xiàn)的 全局圖像上，該全局圖像上呈現(xiàn)了表示多個(gè)對象的數(shù)據(jù)項(xiàng)）。在一些實(shí)施方式中，用戶終端 166可以同時(shí)顯示一個(gè)或者多個(gè)視頻輸入到用戶。在一些實(shí)施方式中，元數(shù)據(jù)服務(wù)器162、 視頻服務(wù)器164、以及用戶終端166的功能可以通過分離的計(jì)算機(jī)系統(tǒng)來執(zhí)行。在一些實(shí)施 方式中，這些功能可以通過一個(gè)計(jì)算機(jī)系統(tǒng)來執(zhí)行。
[0052] 更具體地，參考圖2,其示出了使用全局圖像（例如，地理圖）控制攝像機(jī)的操作的 示例過程200的流程圖。過程200的操作還參考圖3進(jìn)行描述，其中圖3示出了被多個(gè)攝 像機(jī)（其可以與圖1A和圖1B中描述的攝像機(jī)中的任意一個(gè)類似）監(jiān)控的區(qū)域的全局圖像 300。
[0053] 過程200包括從被多個(gè)攝像機(jī)捕獲的圖像數(shù)據(jù)中確定210關(guān)于多個(gè)移動(dòng)對象的運(yùn) 動(dòng)數(shù)據(jù)。下文關(guān)于圖5更詳細(xì)地描述確定運(yùn)動(dòng)數(shù)據(jù)的過程的實(shí)例實(shí)施。如已經(jīng)提到的，可 以在攝像機(jī)它們自己那里確定運(yùn)動(dòng)數(shù)據(jù)，例如，其中本地?cái)z像機(jī)處理器（例如圖1B中所描 述的處理器）處理捕獲的視頻圖像/幀，以識(shí)別幀中區(qū)別于非移動(dòng)的背景特征的移動(dòng)對象。 在一些實(shí)施中，可以在例如圖1A中所描述的主機(jī)計(jì)算機(jī)系統(tǒng)160的中央計(jì)算機(jī)系統(tǒng)處執(zhí)行 至少一些圖像/幀的處理操作。被處理的幀/圖像產(chǎn)生表示所識(shí)別的移動(dòng)對象的運(yùn)動(dòng)和/ 或表示其他的對象特性的數(shù)據(jù)（例如，對象尺寸、指示某些事件的數(shù)據(jù)，等等），該被處理的 幀/圖像被中央計(jì)算機(jī)系統(tǒng)用來在例如圖3的全局圖像300的全局圖像上呈現(xiàn)/顯現(xiàn)220 關(guān)于多個(gè)對象所確定的運(yùn)動(dòng)數(shù)據(jù)的圖形化指示在全局圖像上的對應(yīng)于多個(gè)移動(dòng)對象的地 理位置的方位處。
[0054] 在圖3的實(shí)例中，全局圖像是包含幾個(gè)建筑物的校園（"Pelco校園"）的俯瞰圖 像。在一些實(shí)施方式中，可以在圖像300中顯現(xiàn)攝像機(jī)的位置和它們各自的視場，從而使用 戶能通過圖形觀看所部署的攝像機(jī)的位置并且能選擇將提供用戶希望觀看的圖像300的 區(qū)域的視頻流的攝像機(jī)。因此，全局圖像300包括攝像機(jī)310a_g的圖像化表示（如黑圈）， 并且還包括關(guān)于攝像機(jī)310a-b和310d-g各自的大概的視場320a-f的表示的繪圖。如所 示的，在圖3的實(shí)例中，沒有關(guān)于攝像機(jī)310c的視場表示，因此表明當(dāng)前沒有激活攝像機(jī) 310c。
[0055] 還如圖3中所示的，其呈現(xiàn)了在多個(gè)移動(dòng)對象的地理位置對應(yīng)的全局圖像的方位 處的多個(gè)對象的所確定的運(yùn)動(dòng)數(shù)據(jù)的圖形化指示。例如，在一些實(shí)施方式中，如圖3中所示 的軌跡330a_c的軌跡可以在全局圖像上顯現(xiàn)，這些軌跡表示被攝像機(jī)捕獲的圖像/視頻中 呈現(xiàn)的至少一些對象的運(yùn)動(dòng)。圖3中還示出定義了特定區(qū)域（例如，指定為禁止區(qū)的區(qū)域） 的預(yù)定義地區(qū)340的表示，當(dāng)被可移動(dòng)的對象違反時(shí)，其引起事件檢測發(fā)生。類似地，圖3 還可以通過圖形表示例如絆網(wǎng)350的絆網(wǎng)，當(dāng)其被跨越時(shí)，引起事件檢測發(fā)生。
[0056] 在一些實(shí)施方式中，所確定的多個(gè)對象中的至少一些對象的運(yùn)動(dòng)可以被表示為隨 時(shí)間改變其在全局圖300上的方位的圖形化表示。例如，參考圖4,其示出了包括捕獲的圖 像410和全局圖像420 (俯瞰圖像）的照片的示意圖400,其中全局圖像420包括捕獲的圖 像410中的區(qū)域。捕獲的圖像410示出了被識(shí)別的并且其運(yùn)動(dòng)被確定的移動(dòng)對象412,即汽 車（例如，通過如本文所描述的那些的圖像/幀處理操作）。在全局圖像420上呈現(xiàn)表示關(guān) 于移動(dòng)對象412的所確定的運(yùn)動(dòng)數(shù)據(jù)的圖形化指示（運(yùn)動(dòng)數(shù)據(jù)項(xiàng)）422。在該實(shí)例中，圖形 化指示422被呈現(xiàn)為在通過圖像/幀處理所確定的方向上移動(dòng)的矩形。矩形422可以具有 表示對象的確定的特性的尺寸和形狀的性質(zhì)（即，矩形可以具有與汽車412的尺寸相稱的 尺寸，其可以通過場景分析和幀處理的過程來確定）。例如，圖形化指示還可以包括其他表 示移動(dòng)對象的幾何形狀和符號(hào)（例如，人、汽車的符號(hào)或者圖標(biāo)），并且還可以包括專門的 圖形化表示（例如，不同的顏色、不同的形狀、不同的視覺和/或聽覺效應(yīng)）以表明某些事 件的發(fā)生（例如，跨越絆網(wǎng)、和/或如本文所描述的其他類型的事件）。
[0057] 為了在全局圖像中實(shí)質(zhì)上表示對應(yīng)的移動(dòng)對象的地理方位的方位處呈現(xiàn)圖形化 指示，攝像機(jī)必須對于全局圖像進(jìn)行校準(zhǔn)，以便根據(jù)被那些攝像機(jī)捕獲的幀/圖像來識(shí)別 的移動(dòng)對象的攝像機(jī)坐標(biāo)（方位）被變換成全局圖像坐標(biāo)（也被稱為"世界坐標(biāo)"）。下面 關(guān)于圖6,提供示例的校準(zhǔn)過程的細(xì)節(jié)，其使能圖形化指示（也被稱為圖形化運(yùn)動(dòng)項(xiàng)）的繪 制，該圖形化指示的繪制在實(shí)質(zhì)上與根據(jù)捕獲的視頻幀/圖像確定的、對應(yīng)的所識(shí)別的移 動(dòng)對象的地理方位匹配的方位處。
[0058] 回到圖2,基于在全局圖像上呈現(xiàn)的圖形化指示，響應(yīng)于在其上有至少一個(gè)圖形化 指示的地圖的區(qū)域的選擇呈現(xiàn)（230)來自多個(gè)攝像機(jī)中的一個(gè)攝像機(jī)的所捕獲的圖像/視 頻數(shù)據(jù)，其中至少一個(gè)圖形化指示表示被攝像機(jī)之一捕獲的多個(gè)移動(dòng)對象中的至少一個(gè)。 例如，用戶（例如，警衛(wèi)）能夠具有被所部署的所有攝像機(jī)監(jiān)控的區(qū)域的代表性的單個(gè)視圖 (即，全局圖像），并且因此監(jiān)控所識(shí)別的對象的運(yùn)動(dòng)。當(dāng)警衛(wèi)希望獲得關(guān)于移動(dòng)對象（例 如，追蹤的軌跡（如，諸如以紅色曲線所顯示的）對應(yīng)的移動(dòng)對象）的更多細(xì)節(jié)時(shí)，警衛(wèi)可 以點(diǎn)擊或以其他方式選擇地圖上的區(qū)域/地區(qū)，其中顯示了特定的對象正在移動(dòng)以使來自 與該區(qū)域相關(guān)聯(lián)的攝像機(jī)的視頻流被呈現(xiàn)給用戶。例如，全局圖像可以被分成區(qū)域/地區(qū) 的網(wǎng)格，當(dāng)選擇它們中的一個(gè)時(shí)，其使得來自覆蓋所選定的區(qū)域的攝像機(jī)的視頻流進(jìn)行呈 現(xiàn)。在一些實(shí)施方式中，視頻流可以在全局圖像的旁邊被呈送給用戶，在全局圖像上，根據(jù) 攝像機(jī)的幀來識(shí)別的移動(dòng)對象的運(yùn)動(dòng)被呈現(xiàn)給用戶。例如，圖4示出了在全局圖像的旁邊 顯示的視頻幀，在全局圖像中，來自視頻幀的移動(dòng)汽車的運(yùn)動(dòng)被呈現(xiàn)為移動(dòng)的矩形。
[0059] 在一些實(shí)施方式中，響應(yīng)于從全局圖像選擇移動(dòng)對象對應(yīng)的圖形化指示，可以執(zhí) 行呈現(xiàn)來自攝像機(jī)之一的捕獲到的圖像數(shù)據(jù)。例如，用戶（例如，警衛(wèi)）可以點(diǎn)擊實(shí)際的圖 形化運(yùn)動(dòng)數(shù)據(jù)項(xiàng)（它是諸如矩形或軌跡線的移動(dòng)形狀），以使得來自攝像機(jī)的視頻幀被呈 現(xiàn)給用戶，攝像機(jī)捕獲從其中識(shí)別移動(dòng)對象（并且確定移動(dòng)對象的運(yùn)動(dòng)）的幀/圖像。如 下文將更加詳細(xì)描述的，在一些實(shí)施中，表示移動(dòng)對象和/或其運(yùn)動(dòng)的圖形化運(yùn)動(dòng)項(xiàng)的選 擇可以引起輔助攝像機(jī)放大移動(dòng)對象被確定位于其上的區(qū)域，從而提供關(guān)于該對象的更多 細(xì)節(jié)，其中所述輔助攝像機(jī)與其中出現(xiàn)所選定的圖形化運(yùn)動(dòng)項(xiàng)對應(yīng)的移動(dòng)對象的攝像機(jī)相 關(guān)聯(lián)。
[0060] 對象識(shí)別和運(yùn)動(dòng)確定過程
[0061] 依據(jù)被多個(gè)攝像機(jī)中的至少一個(gè)捕獲的至少一些圖像/視頻要在全局圖像（例 如，在圖3和圖4中分別示出的全局圖像300或者420)上呈現(xiàn)對象的識(shí)別，以及確定并 且追蹤這些對象的運(yùn)動(dòng)，可以使用圖5中所描繪的過程500來執(zhí)行。例如，在序列號(hào)為 12/982, 601、題名為"Searching Recorded Video"的專利申請中提供了確定一個(gè)或者多個(gè) 對象的存在以及它們各自的運(yùn)動(dòng)的圖像/視頻處理的額外的細(xì)節(jié)和實(shí)例。
[0062] 簡單地說，過程500包括使用在網(wǎng)絡(luò)中部署的攝像機(jī)（例如，在圖3的實(shí)例中，攝 像機(jī)被部署在使用黑圈310a-g標(biāo)識(shí)的位置處）之一捕獲505視頻幀。捕獲視頻幀的攝像 機(jī)可以與本文關(guān)于圖1A和圖1B所描述的攝像機(jī)110、120、130、140和/或170中的任意一 個(gè)類似。此外，雖然過程500是關(guān)于單個(gè)攝像機(jī)來描述的，但也可以使用討論中部署以監(jiān)控 區(qū)域的其他攝像機(jī)來實(shí)施類似的過程。另外，視頻幀可以從視頻源實(shí)時(shí)地被捕獲或者從數(shù) 據(jù)存儲(chǔ)器取回（例如，采用實(shí)施其中攝像機(jī)包括暫時(shí)存儲(chǔ)捕獲的圖像/視頻幀的緩沖器，或 者從存儲(chǔ)大量的之前捕獲的數(shù)據(jù)的儲(chǔ)存庫）。過程500可以利用高斯模型，以排除靜態(tài)背景 圖像以及具有沒有語義（semantic)意義的重復(fù)運(yùn)動(dòng)的圖像（例如，隨風(fēng)移動(dòng)的樹木），從 而從感興趣的對象有效地扣除場景的背景。在一些實(shí)施方式中，關(guān)于圖像中每個(gè)像素的灰 度級強(qiáng)度形成參數(shù)模型。這種模型的一個(gè)實(shí)例是大量高斯分布的加權(quán)總和。例如，如果我 們選擇3個(gè)高斯的混合，那么這樣一像素的標(biāo)準(zhǔn)灰度級可以通過6個(gè)參數(shù)來描述，3個(gè)數(shù)是 平均數(shù)，以及3個(gè)數(shù)是標(biāo)準(zhǔn)偏差。采用這種方式，可以建模例如風(fēng)中的樹枝的運(yùn)動(dòng)的重復(fù)變 化。例如，在一些實(shí)施、實(shí)施方式中，為圖像中的每個(gè)像素保留三個(gè)合適的像素值。一旦任 何一個(gè)像素值落入高斯模型之一，則對應(yīng)的高斯模型的概率增加，并且像素值使用正在運(yùn) 行的平均值進(jìn)行更新。如果不能為該像素找到匹配，那么新模型代替混合模型中的最小概 率的高斯模型。也可以使用其他的模型。
[0063] 因此，例如，為了檢測場景中的對象，高斯混合模型被應(yīng)用到視頻幀（或者多個(gè) 幀）以創(chuàng)建背景，如更加具體地示出的方框510、520、525以及530。使用該方法，即使在背 景擁擠并且場景中存在運(yùn)動(dòng)時(shí)也能產(chǎn)生背景模型。由于高斯混合模型用于實(shí)時(shí)的視頻處理 可能是耗費(fèi)時(shí)間的，并且由于其計(jì)算性能該高斯混合模型很難進(jìn)行優(yōu)化，故在一些實(shí)施中， 構(gòu)造（在530處）并且應(yīng)用（在535處）背景的最可能的模型，以從背景中分割前景對象。 在一些實(shí)施中，可以使用各種其他的背景構(gòu)造和訓(xùn)練過程來創(chuàng)建背景場景。
[0064] 在一些實(shí)施中，可以結(jié)合上文描述的背景模型使用第二背景模型，或者該第二背 景模型可以用作獨(dú)立的背景模型。這是可以做到的，例如，為了提高對象檢測的準(zhǔn)確性并且 去除檢測到的錯(cuò)誤對象，所述檢測到的錯(cuò)誤對象是由于對象在一個(gè)位置停留一段時(shí)間后就 已經(jīng)離開了該位置。因此，例如，可以在第一"短期的"背景模型之后應(yīng)用第二"長期的"背 景模型。長期的背景的構(gòu)造過程可以與短期的背景模型的構(gòu)造過程類似，除了其以更慢的 速率進(jìn)行更新。也就是說，可以基于更多的視頻幀產(chǎn)生長期的背景模型和/或可以在更長 的一段時(shí)間中執(zhí)行長期的背景模型的產(chǎn)生。如果使用短期的背景檢測到了對象，然而根據(jù) 長期的背景對象被認(rèn)為是背景中的一部分，那么可以認(rèn)為檢測到的對象是錯(cuò)誤的對象（例 如，在一個(gè)地方停留一會(huì)并且離開的對象）。在這種情況下，短期的背景模型的對象區(qū)域可 以用長期的背景模型的對象區(qū)域進(jìn)行更新。另外，如果對象在長期的背景中出現(xiàn)而其被確 定是當(dāng)使用短期的背景模型處理幀時(shí)的背景的一部分，那么該對象已經(jīng)被并入到短期的背 景中。如果對象是在兩種背景模型中都被檢測到的，那么討論中的項(xiàng)/對象是前景對象的 可能性是1?的。
[0065] 因此，如已經(jīng)提到的，背景相減操作被應(yīng)用（在535處）到捕獲的圖像/幀（使用 短期的背景模型以及長期的背景模型），以提取前景像素。背景模型可以根據(jù)分割結(jié)果進(jìn)行 更新540。由于背景通常不會(huì)快速變化，故沒有必要為整個(gè)圖像以每個(gè)幀為單位更新背景模 型。然而，如果每Ν(Ν>0)幀更新一次背景模型，那么具有背景更新的幀和沒有背景更新的 幀的處理速度是顯著不同的，并且這有時(shí)可能引起運(yùn)動(dòng)檢測誤差。為了克服該問題，在每個(gè) 幀中可以更新背景模型的僅僅一部分，這樣每個(gè)幀的處理速度實(shí)質(zhì)上是相同的并且實(shí)現(xiàn)了 速度優(yōu)化。
[0066] 例如，使用包括適用于圖像的非線性濾波過程的形態(tài)學(xué)濾波，前景像素被分組成 并且被標(biāo)記545為相似像素的圖像斑點(diǎn)、組，等等。在一些實(shí)施方式中，形態(tài)學(xué)濾波可以包 括侵蝕和膨脹處理。侵蝕通常減小對象的尺寸并且通過以小于結(jié)構(gòu)化元件的半徑（例如，4 鄰或者8鄰（4-neightbor or8-neightbor))減去對象來去除小噪聲。膨脹通常增加對象 的尺寸，其通過填充洞和被破壞的區(qū)域以及連接以小于結(jié)構(gòu)化元件的尺寸的空間分離的區(qū) 域。合成的圖像斑點(diǎn)可以表示在幀中檢測到的可移動(dòng)的對象。因此，例如，形態(tài)學(xué)濾波可以 被用來去除由例如散布在圖像中的單個(gè)像素組成的"對象"或者"斑點(diǎn)"。另一個(gè)操作可以 是平滑更大的斑點(diǎn)的邊界。采用這種方式，噪聲被去除且對象的錯(cuò)誤檢測的數(shù)量減少了。 [0067] 還如圖5中所示的，在分割后的圖像/幀中呈現(xiàn)的映像可以被檢測到并且從視頻 幀中去除。為了去除由于分割誤差造成的小噪聲圖像斑點(diǎn)并且根據(jù)場景中對象的尺寸找到 合格的對象，可以利用例如場景校準(zhǔn)方法來檢測斑點(diǎn)尺寸。關(guān)于場景校準(zhǔn)，假設(shè)了一種全景 地平面模型（perspective ground plane model)。例如，合格的對象應(yīng)該比地平面模型中 的閾值高度（例如，最小高度）高并且比閾值寬度（例如，最大寬度）窄。例如，可以通過 以不同垂直度的兩條水平平行線段的設(shè)計(jì)來計(jì)算地平面模型，并且該兩條線段應(yīng)該具有和 地平面的消失點(diǎn)（例如，全景圖中平行線似乎匯聚到的那點(diǎn)）的現(xiàn)實(shí)世界的長度相同的長 度，以便實(shí)際對象的尺寸可以根據(jù)其到消失點(diǎn)的位置進(jìn)行計(jì)算。在場景的底部定義了斑點(diǎn) 的最大/最小的寬度/高度。如果檢測到的圖像斑點(diǎn)的正常的寬度/高度比最小寬度/高 度小或者正常的寬度/高度比最大寬度/高度寬，那么可以丟棄該圖像斑點(diǎn)。因此，可以從 分割后的幀檢測到映像和陰影并且將它們?nèi)コ?50。
[0068] 可以在陰影去除以前或者之后進(jìn)行映像檢測和去除。例如，在一些實(shí)施方式中， 為了去除任何可能的映像，可以首先執(zhí)行相比于整個(gè)場景的像素?cái)?shù)量，前景像素的百分比 是否高的判定。如果前景像素的百分比比閾值高，那么以下的可以發(fā)生。例如，在編號(hào)為 12/982, 601、題名為"Searching Recorded Video"的美國專利申請中提供了映像和陰影去 除操作的更多細(xì)節(jié)。
[0069] 如果沒有可以與檢測到的圖像斑點(diǎn)匹配的當(dāng)前對象（即，當(dāng)前正被追蹤的先前識(shí) 別的對象），那么將為該圖像斑點(diǎn)創(chuàng)建新對象。否則，圖像斑點(diǎn)將被映射/匹配555到現(xiàn)有 的對象。通常，新建的對象將不會(huì)被進(jìn)一步處理，直到其在場景中出現(xiàn)一段預(yù)定時(shí)間段并且 四處移動(dòng)至少超過最小的距離。采用該方式，可以丟棄許多錯(cuò)誤的對象。
[0070] 還可以使用其他識(shí)別感興趣的對象（例如，諸如人、汽車等移動(dòng)對象）的過程和技 術(shù)。
[0071] 追蹤被識(shí)別的對象（例如，使用上述過程或者另一種類型的對象識(shí)別過程進(jìn)行識(shí) 別的）。為了追蹤對象，對場景內(nèi)的對象進(jìn)行歸類（在560處）。例如，根據(jù)縱橫比、物理尺 寸、垂直剖面、形狀和/或其他與對象相關(guān)聯(lián)的特性，對象可以被分類為與其他的車輛或者 人有區(qū)別的特定的人或者車輛。例如，對象的垂直剖面可以被定義為對象區(qū)域中前景像素 的頂部像素的垂直坐標(biāo)的一維投影。該垂直輪廓可以首先用低通濾波器進(jìn)行濾波。根據(jù)校 準(zhǔn)的對象尺寸，可以改善分類結(jié)果，這是因?yàn)閱蝹€(gè)人的尺寸總是比車輛的尺寸小。
[0072] -群人和一車輛可以通過它們的形狀差異來分類。例如，以像素為單位的人的寬 度的尺寸可以在對象的位置處被確定。寬度的一部分可以被用來檢測沿著垂直剖面的峰值 和谷值。如果對象寬度比人的寬度大并且在對象中檢測到了不止一個(gè)峰值，那么很可能對 象對應(yīng)的是一群人，而不是車輛。另外，在一些實(shí)施方式中，基于對對象縮略（thumbs)(例 如，縮略圖像）的離散余弦變換（DCT)或者其他變換，顏色描述可以被應(yīng)用于提取關(guān)于被檢 測對象的顏色特征（量化的變換系數(shù)），其中其他變換例如離散正弦變換、沃爾什變換、阿 達(dá)瑪變換、快速傅里葉變換、小波變換等。
[0073] 還如圖5中所示的，過程500還包括事件檢測操作（在570處）?？梢栽诜娇?70 處被檢測的事件的樣本列表包括如下事件：i)對象進(jìn)入場景，ii)對象離開場景，iii)攝像 機(jī)被破壞，iv)對象仍然在場景中，v)對象合并，vi)對象分開，vii)對象進(jìn)入預(yù)定義的地 區(qū)，viii)對象離開預(yù)定義的地區(qū)（例如，圖3中描繪的預(yù)定義的地區(qū)340), ix)對象跨越 泮網(wǎng)（例如，圖3中描繪的泮網(wǎng)350)，X)對象被去除，xi)對象被丟棄，xii)對象正沿與關(guān) 于地區(qū)或者泮網(wǎng)的預(yù)定義的禁止方向匹配的方向移動(dòng)，xiii)對象計(jì)數(shù)，xiv)對象去除（例 如，當(dāng)對象靜止的時(shí)間比預(yù)定義的時(shí)間段長并且其尺寸比預(yù)定義的地區(qū)的大的部分大時(shí)）， xv)對象丟棄（例如，當(dāng)對象靜止的時(shí)間比預(yù)定義的時(shí)間段長并且其尺寸比預(yù)定義的地區(qū) 的大的部分小時(shí)），xvi)駐留定時(shí)器（例如，對象在預(yù)定義的地區(qū)中一段長于指定的駐留時(shí) 間都是靜止的或者移動(dòng)很少的）；以及xvii)對象徘徊（例如，當(dāng)對象在預(yù)定義的地區(qū)中一 段比指定的駐留時(shí)間長的時(shí)間段時(shí)）。還可以定義其他類型的事件并且然后將其用在由圖 像/幀確定的活動(dòng)的分類中。
[0074] 如描述的，在一些實(shí)施方式中，表示被識(shí)別的對象、對象的運(yùn)動(dòng)等的數(shù)據(jù)可以被生 成為元數(shù)據(jù)。因此，過程500還可以包括根據(jù)被追蹤的對象的運(yùn)動(dòng)或者根據(jù)從追蹤導(dǎo)出的 事件來產(chǎn)生580元數(shù)據(jù)。產(chǎn)生的元數(shù)據(jù)可以包括將對象信息與所檢測的事件結(jié)合在統(tǒng)一表 達(dá)式的描述。例如，可以通過對象的位置、顏色、尺寸、縱橫比、等等來描述它們。對象還可 以以它們對應(yīng)的對象標(biāo)識(shí)符和時(shí)間戳與事件有關(guān)系。在一些實(shí)施中，可以通過規(guī)則處理器 產(chǎn)生事件，所述規(guī)則處理器具有的規(guī)則被定義以使場景分析過程能確定應(yīng)該在與視頻幀相 關(guān)聯(lián)的元數(shù)據(jù)中提供哪種對象信息和事件。規(guī)則可以采用任意數(shù)量的方式來建立，例如通 過配置系統(tǒng)的系統(tǒng)管理員、通過可以重新配置系統(tǒng)中的攝像機(jī)中的一個(gè)或者多個(gè)的授權(quán)用 戶，等等。
[0075] 應(yīng)當(dāng)注意到的是，如圖5中描繪的過程500僅為非限制性的實(shí)例，并且可以例如通 過使操作被添加、去除、重新排列、結(jié)合、和/或同時(shí)執(zhí)行來改變。在一些實(shí)施方式中，過程 500可以被實(shí)施為與處理器或在處理器內(nèi)執(zhí)行，該處理器包含在視頻源內(nèi)或者耦合到視頻 源，該視頻源是例如圖1B中所示的視頻源（例如，捕獲單元），和/或可以在例如計(jì)算機(jī)主 機(jī)系統(tǒng)160的服務(wù)器處被執(zhí)行（整體地或者部分地）。在一些實(shí)施方式中，過程500可以實(shí) 時(shí)操作視頻數(shù)據(jù)。即，當(dāng)捕獲了視頻幀時(shí)，過程500可以盡快或者比被視頻源捕獲到的視頻 幀更快地識(shí)別對象和/或檢測對象事件。
[0076] 攝像機(jī)柃準(zhǔn)
[0077] 如已經(jīng)提到的，為了在單個(gè)全局圖像（或者地圖）上呈現(xiàn)從多個(gè)攝像機(jī)提取的圖 形化指示（例如，軌跡或者移動(dòng)圖標(biāo)/符號(hào)），有必要校準(zhǔn)每個(gè)攝像機(jī)與全局圖像。攝像機(jī) 到全局圖像的校準(zhǔn)使被識(shí)別的移動(dòng)對象能在全局圖像中的合適的方位中被呈現(xiàn)/顯現(xiàn)，其 中所述被識(shí)別的移動(dòng)對象出現(xiàn)在在特定于那些攝像機(jī)的方位/坐標(biāo)（所謂的攝像機(jī)坐標(biāo)） 中的各個(gè)攝像機(jī)捕獲的幀中，全局圖像的坐標(biāo)系（所謂的地圖坐標(biāo)）不同于各個(gè)攝像機(jī)的 坐標(biāo)系中的任意一個(gè)攝像機(jī)坐標(biāo)。攝像機(jī)到全局圖像的校準(zhǔn)實(shí)現(xiàn)了在攝像機(jī)的坐標(biāo)系和全 局圖像的像素位置之間的坐標(biāo)變換。
[0078] 因此，參考圖6,其示出了校準(zhǔn)過程600的示例實(shí)施方式的流程圖。為了執(zhí)行關(guān)于 攝像機(jī)之一到全局圖像（例如，諸如圖3的全局圖像300的俯瞰地圖）的校準(zhǔn)，選擇610在 正被校準(zhǔn)的攝像機(jī)捕獲的幀中出現(xiàn)的一個(gè)或者多個(gè)位置（也被稱為校準(zhǔn)地點(diǎn)）。例如，考 慮圖7A，其是來自特定的攝像機(jī)的捕獲的圖像700。假設(shè)圖7B中所示的全局圖像的系統(tǒng) 坐標(biāo)（也被稱為世界坐標(biāo)）是已知的，并且假設(shè)在全局圖像上的小區(qū)域被將被校準(zhǔn)的攝像 機(jī)覆蓋。因此，識(shí)別620在全局圖像中對應(yīng)于被將校準(zhǔn)的攝像機(jī)所捕獲的幀中所選定的點(diǎn) (校準(zhǔn)地點(diǎn)）的點(diǎn)。在圖7A的實(shí)例中，識(shí)別了九（9)個(gè)點(diǎn)，其被標(biāo)記為1-9。通常，選定的 點(diǎn)應(yīng)該是在所捕獲的圖像中的固定特征對應(yīng)的點(diǎn)，例如，所述固定特征諸如圖像中的長凳、 路緣石、各種其他的地標(biāo)，等等。另外，全局圖像中的關(guān)于來自圖像的所選定的點(diǎn)的相應(yīng)的 點(diǎn)應(yīng)該是可容易識(shí)別的。在一些實(shí)施方式中，攝像機(jī)的所捕獲的圖像中的點(diǎn)的選擇以及全 局圖像中對應(yīng)的點(diǎn)的選擇是由用戶手動(dòng)執(zhí)行的。在一些實(shí)施中，可以以像素坐標(biāo)為單位提 供圖像中選擇的點(diǎn)以及全局圖像中對應(yīng)的點(diǎn)。然而，校準(zhǔn)過程中使用的點(diǎn)還可以以地理坐 標(biāo)（例如，以諸如英尺米的距離單位）為單位被提供，并且在一些實(shí)施中，可以以像素為單 位提供所捕獲的圖像的坐標(biāo)系，并且可以以地理坐標(biāo)提供全局圖像的坐標(biāo)系。因此，在后者 的實(shí)施中，將要執(zhí)行的坐標(biāo)變化將為像素到地理單位的變換。
[0079] 為了確定攝像機(jī)的坐標(biāo)系和全局圖像的坐標(biāo)系之間的坐標(biāo)變換，在一些實(shí)施中， 可以使用2維線性參數(shù)模型，基于攝像機(jī)的坐標(biāo)系中的所選定的位置（校準(zhǔn)地點(diǎn)）的坐標(biāo)、 以及基于全局圖像中對應(yīng)被識(shí)別的方位的坐標(biāo)，可以計(jì)算6302維線性參數(shù)模型的預(yù)測系 數(shù)（即，坐標(biāo)變換系數(shù)）。參數(shù)模型可以是如下這樣的一階2維線性模型：
[0080] xp = ( a xxxc+ β xx) ( a xyyc+ β xy)(公式 1)
[0081 ] yp = ( a yxxc+ β yx) ( a yyyc+ β yy)(公式 2)
[0082] 其中xjPyp是特定方位的現(xiàn)實(shí)世界坐標(biāo)（其可以由用戶根據(jù)全局圖像中的該選 定方位來確定），并且X。和y。是特定方位的對應(yīng)的攝像機(jī)坐標(biāo)（如由用戶根據(jù)正對于全局 圖像被校準(zhǔn)的攝像機(jī)所捕獲的圖像來確定）。α和β參數(shù)是其值有待被解的參數(shù)。
[0083] 為了使預(yù)測參數(shù)的計(jì)算更容易，可以通過將公式1和公式2右手邊的項(xiàng)求平方來 從一階模型導(dǎo)出2階2維模型。通常2階模型比一階模型更加魯棒，并且通常更加不會(huì)受 到噪聲測量的影響。2階模型還可以提供對于參數(shù)設(shè)計(jì)和確定更大的自由度。同樣，在一些 實(shí)施方式中，2階模型可以補(bǔ)償攝像機(jī)徑向畸變。2階模型可以如下表達(dá) ：
[0084] xp = ( a xxxc+ β xx)2 ( a xyYc+ β xy)2 (公式 3)
[0085] yp = ( a yxxc+ β yx)2 ( a yyyc+ β yy)2 (公式 4)
[0086] 將上述兩個(gè)式子相乘為多項(xiàng)式，產(chǎn)生了九個(gè)系數(shù)預(yù)測值（即，根據(jù)攝像機(jī)坐標(biāo)x和 y的九個(gè)系數(shù)表示全局圖像中的世界坐標(biāo)的X值，并且類似地根據(jù)攝像機(jī)坐標(biāo)X和y的九個(gè) 系數(shù)表示世界坐標(biāo)的y值
【權(quán)利要求】
1. 一種方法，包括： 從被多個(gè)攝像機(jī)捕獲的圖像數(shù)據(jù)中確定關(guān)于多個(gè)移動(dòng)對象的運(yùn)動(dòng)數(shù)據(jù)； 在表示被所述多個(gè)攝像機(jī)監(jiān)控的區(qū)域的全局圖像上且在所述全局圖像上的對應(yīng)于所 述多個(gè)移動(dòng)對象的地理位置的方位處呈現(xiàn)關(guān)于所述多個(gè)對象的所確定的運(yùn)動(dòng)數(shù)據(jù)的圖形 化指示； 響應(yīng)于基于呈現(xiàn)在所述全局圖像上的所述圖形化指示對所述全局圖像的一區(qū)域的選 擇，呈現(xiàn)來自所述多個(gè)攝像機(jī)中的一個(gè)攝像機(jī)的所捕獲的圖像數(shù)據(jù)且其中所述全局圖像的 所述區(qū)域呈現(xiàn)關(guān)于被所述多個(gè)攝像機(jī)中的所述一個(gè)攝像機(jī)捕獲的所述多個(gè)移動(dòng)對象中的 至少一個(gè)移動(dòng)對象的至少一個(gè)所述圖形化指示。
2. 如權(quán)利要求1所述的方法，其中，響應(yīng)于對所述全局圖像的所述區(qū)域的選擇呈現(xiàn)所 捕獲的圖像數(shù)據(jù)且其中所述全局圖像的所述區(qū)域呈現(xiàn)關(guān)于所述多個(gè)移動(dòng)對象中的至少一 個(gè)移動(dòng)對象的至少一個(gè)所述圖形化指示的操作包括： 響應(yīng)于對與被所述多個(gè)攝像機(jī)中的所述一個(gè)攝像機(jī)捕獲的一移動(dòng)對象對應(yīng)的圖形化 指示的選擇，呈現(xiàn)來自所述多個(gè)攝像機(jī)中的所述一個(gè)攝像機(jī)的所捕獲的圖像數(shù)據(jù)。
3. 如權(quán)利要求1所述的方法，還包括： 關(guān)于所述全局圖像校準(zhǔn)所述多個(gè)攝像機(jī)中的至少一個(gè)，以使被所述多個(gè)攝像機(jī)中的所 述至少一個(gè)捕獲的至少一個(gè)區(qū)域視圖的圖像與所述全局圖像中對應(yīng)的至少一個(gè)區(qū)域相匹 配。
4. 如權(quán)利要求3所述的方法，其中，校準(zhǔn)所述多個(gè)攝像機(jī)中的所述至少一個(gè)包括： 選擇在被所述多個(gè)攝像機(jī)中的所述至少一個(gè)捕獲的一圖像中出現(xiàn)的一個(gè)或者多個(gè)位 置； 識(shí)別在所述全局圖像上的與在被所述多個(gè)攝像機(jī)中的所述至少一個(gè)捕獲的所述圖像 中所選定的一個(gè)或者多個(gè)位置對應(yīng)的方位；以及 基于所識(shí)別的全局圖像方位以及在所述多個(gè)攝像機(jī)中的所述至少一個(gè)的所述圖像中 對應(yīng)選定的一個(gè)或者多個(gè)位置，計(jì)算二階2維線性參數(shù)模型的變換系數(shù)，以將在被所述多 個(gè)攝像機(jī)中的所述至少一個(gè)捕獲的圖像中的方位的坐標(biāo)變換為所述全局圖像中對應(yīng)方位 的坐標(biāo)。
5. 如權(quán)利要求1所述的方法，還包括： 在地圖的選定區(qū)域中呈現(xiàn)與所述至少一個(gè)所述圖形化指示對應(yīng)的、所述多個(gè)移動(dòng)對象 中的所述至少一個(gè)移動(dòng)對象的額外的細(xì)節(jié)，所述額外的細(xì)節(jié)出現(xiàn)在被輔助攝像機(jī)捕獲的輔 助幀中，所述輔助攝像機(jī)關(guān)聯(lián)于與所述選定區(qū)域?qū)?yīng)的所述多個(gè)攝像機(jī)中的所述一個(gè)攝像 機(jī)。
6. 如權(quán)利要求5所述的方法，其中，呈現(xiàn)所述多個(gè)移動(dòng)對象中的至少一個(gè)移動(dòng)對象的 額外的細(xì)節(jié)包括： 放大所述輔助幀中的對應(yīng)于被所述多個(gè)攝像機(jī)中的所述一個(gè)攝像機(jī)捕獲的所述多個(gè) 移動(dòng)對象中的所述至少一個(gè)移動(dòng)對象的方位的區(qū)域。
7. 如權(quán)利要求1所述的方法，其中，從被所述多個(gè)攝像機(jī)捕獲的所述圖像數(shù)據(jù)中確定 關(guān)于所述多個(gè)移動(dòng)對象的運(yùn)動(dòng)數(shù)據(jù)包括： 給被所述多個(gè)攝像機(jī)中的至少一個(gè)捕獲的至少一個(gè)圖像應(yīng)用高斯混合模型，以將所述 至少一個(gè)圖像的包含移動(dòng)對象的像素組的前景與所述至少一個(gè)圖像的包含靜止對象的像 素組的背景分離。
8. 如權(quán)利要求1所述的方法，其中，關(guān)于所述多個(gè)移動(dòng)對象的所述運(yùn)動(dòng)數(shù)據(jù)包括來自 所述多個(gè)移動(dòng)對象的一移動(dòng)對象的數(shù)據(jù)，其包括下述中的一個(gè)或者多個(gè)：攝像機(jī)的視場內(nèi) 的所述對象的位置、所述對象的寬度、所述對象的高度、所述對象正在移動(dòng)的方向、所述對 象的速度、所述對象的顏色、所述對象正進(jìn)入所述攝像機(jī)的所述視場的指示、所述對象正離 開所述攝像機(jī)的所述視場的指示、所述攝像機(jī)正被破壞的指示、所述對象停留在所述攝像 機(jī)的視場中一段大于預(yù)定的時(shí)間段的時(shí)間的指示、幾個(gè)移動(dòng)對象被合并的指示、所述移動(dòng) 對象被分為兩個(gè)或者多于兩個(gè)移動(dòng)對象的指示、所述對象正進(jìn)入感興趣的區(qū)域的指示、所 述對象正離開預(yù)定義的地區(qū)的指示、所述對象正跨越絆網(wǎng)的指示、所述對象正沿與所述地 區(qū)或所述絆網(wǎng)的預(yù)定義的禁止方向匹配的方向移動(dòng)的指示、表示所述對象的計(jì)數(shù)的數(shù)據(jù)、 所述對象的移除的指示、所述對象的丟棄的指示、以及表示關(guān)于所述對象的駐留定時(shí)器的 數(shù)據(jù)。
9. 如權(quán)利要求1所述的方法，其中，在所述全局圖像上呈現(xiàn)所述圖形化指示包括： 在所述全局圖像上呈現(xiàn)各種顏色的移動(dòng)幾何形狀，所述幾何形狀包括下述中的一種或 者多種：圓形、矩形以及三角形。
10. 如權(quán)利要求1所述的方法，其中，在所述全局圖像上呈現(xiàn)所述圖形化指示包括： 在所述全局圖像上呈現(xiàn)追蹤關(guān)于所述多個(gè)對象中的至少一個(gè)的所確定的運(yùn)動(dòng)的軌跡， 其中所述軌跡呈現(xiàn)在所述全局圖像上對應(yīng)于所述多個(gè)移動(dòng)對象中的所述至少一個(gè)移動(dòng)對 象所沿路徑的地理位置的方位處。
11. 一種系統(tǒng)，包括： 多個(gè)攝像機(jī)，其捕獲圖像數(shù)據(jù)； 一個(gè)或者多個(gè)顯示設(shè)備；以及 一個(gè)或者多個(gè)處理器，其被配置為執(zhí)行如下的操作，包括： 從被多個(gè)攝像機(jī)捕獲的圖像數(shù)據(jù)中確定關(guān)于多個(gè)移動(dòng)對象的運(yùn)動(dòng)數(shù)據(jù)； 使用一個(gè)或者多個(gè)顯示設(shè)備中的至少一個(gè)，在表示被所述多個(gè)攝像機(jī)監(jiān)控的區(qū)域的全 局圖像上且在所述全局圖像上的對應(yīng)于所述多個(gè)移動(dòng)對象的地理位置的方位處呈現(xiàn)關(guān)于 所述多個(gè)對象的所確定的運(yùn)動(dòng)數(shù)據(jù)的圖形化指示； 響應(yīng)于基于呈現(xiàn)在所述全局圖像上的所述圖形化指示對所述全局圖像的一區(qū)域的選 擇，使用所述一個(gè)或者多個(gè)顯示設(shè)備中的一個(gè)，呈現(xiàn)來自所述多個(gè)攝像機(jī)中的一個(gè)攝像機(jī) 的所捕獲的圖像數(shù)據(jù)，其中所述全局圖像的所述區(qū)域呈現(xiàn)關(guān)于被所述多個(gè)攝像機(jī)中的所述 一個(gè)攝像機(jī)捕獲的多個(gè)移動(dòng)對象中的至少一個(gè)移動(dòng)對象的至少一個(gè)所述圖形化指示。
12. 如權(quán)利要求11所述的系統(tǒng)，其中，被配置為執(zhí)行響應(yīng)于對所述全局圖像的所述區(qū) 域的選擇而呈現(xiàn)所捕獲的圖像數(shù)據(jù)的操作的所述一個(gè)或者多個(gè)處理器被配置為執(zhí)行如下 操作： 響應(yīng)于對與被所述多個(gè)攝像機(jī)中的所述一個(gè)攝像機(jī)捕獲的一移動(dòng)對象對應(yīng)的圖形化 指示的選擇，使用所述一個(gè)或者多個(gè)顯示設(shè)備中的所述一個(gè)，來呈現(xiàn)來自所述多個(gè)攝像機(jī) 中的所述一個(gè)攝像機(jī)的所捕獲的圖像數(shù)據(jù)。
13. 如權(quán)利要求11所述的系統(tǒng)，其中，所述一個(gè)或者多個(gè)處理器還被配置為執(zhí)行如下 操作： 關(guān)于所述全局圖像校準(zhǔn)所述多個(gè)攝像機(jī)中的至少一個(gè)，以使被所述多個(gè)攝像機(jī)中的所 述至少一個(gè)捕獲的至少一個(gè)區(qū)域視圖的圖像與所述全局圖像中對應(yīng)的至少一個(gè)區(qū)域相匹 配。
14. 如權(quán)利要求13所述的系統(tǒng)，其中，被配置為執(zhí)行校準(zhǔn)所述多個(gè)攝像機(jī)中的至少一 個(gè)的操作的所述一個(gè)或者多個(gè)處理器被配置為執(zhí)行如下操作： 選擇在被所述多個(gè)攝像機(jī)中的所述至少一個(gè)捕獲的一圖像中出現(xiàn)的一個(gè)或者多個(gè)位 置； 識(shí)別在所述全局圖像上的與在被所述多個(gè)攝像機(jī)中的所述至少一個(gè)捕獲的所述圖像 中所選定的一個(gè)或者多個(gè)位置對應(yīng)的方位；以及 基于所識(shí)別的全局圖像方位以及在所述多個(gè)攝像機(jī)中的所述至少一個(gè)的所述圖像中 對應(yīng)選定的一個(gè)或者多個(gè)位置，計(jì)算二階2維線性參數(shù)模型的變換系數(shù)，以將在被所述多 個(gè)攝像機(jī)中的所述至少一個(gè)捕獲的圖像中的方位的坐標(biāo)變換為所述全局圖像中對應(yīng)方位 的坐標(biāo)。
15. 如權(quán)利要求11所述的系統(tǒng)，其中，所述一個(gè)或者多個(gè)處理器還被配置為執(zhí)行如下 操作： 在地圖的選定區(qū)域中呈現(xiàn)與所述至少一個(gè)所述圖形化指示對應(yīng)的、所述多個(gè)移動(dòng)對象 中的所述至少一個(gè)移動(dòng)對象的額外的細(xì)節(jié)，所述額外的細(xì)節(jié)出現(xiàn)在被輔助攝像機(jī)捕獲的輔 助幀中，所述輔助攝像機(jī)關(guān)聯(lián)于與所述選定區(qū)域?qū)?yīng)的所述多個(gè)攝像機(jī)中的所述一個(gè)攝像 機(jī)。
16. 如權(quán)利要求11所述的系統(tǒng)，其中，關(guān)于所述多個(gè)移動(dòng)對象的所述運(yùn)動(dòng)數(shù)據(jù)包括來 自所述多個(gè)移動(dòng)對象的一移動(dòng)對象的數(shù)據(jù)，其包括下述中的一個(gè)或者多個(gè)：攝像機(jī)的視場 內(nèi)的所述對象的位置、所述對象的寬度、所述對象的高度、所述對象正在移動(dòng)的方向、所述 對象的速度、所述對象的顏色、所述對象正進(jìn)入所述攝像機(jī)的所述視場的指示、所述對象正 離開所述攝像機(jī)的所述視場的指示、所述攝像機(jī)正被破壞的指示、所述對象停留在所述攝 像機(jī)的視場中一段大于預(yù)定的時(shí)間段的時(shí)間的指示、幾個(gè)移動(dòng)對象被合并的指示、所述移 動(dòng)對象被分為兩個(gè)或者多于兩個(gè)移動(dòng)對象的指示、所述對象正進(jìn)入感興趣的區(qū)域的指示、 所述對象正離開預(yù)定義的地區(qū)的指示、所述對象正跨越絆網(wǎng)的指示、所述對象正沿與所述 地區(qū)或所述絆網(wǎng)的預(yù)定義的禁止方向匹配的方向移動(dòng)的指示、表示所述對象的計(jì)數(shù)的數(shù) 據(jù)、所述對象的移除的指示、所述對象的丟棄的指示、以及表示關(guān)于所述對象的駐留定時(shí)器 的數(shù)據(jù)。
17. -種非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)，其使用可在處理器上執(zhí)行的計(jì)算機(jī)指令集進(jìn)行編 程，當(dāng)執(zhí)行所述計(jì)算機(jī)指令集時(shí)，引起如下操作，包括 ： 從被多個(gè)攝像機(jī)捕獲的圖像數(shù)據(jù)中確定關(guān)于多個(gè)移動(dòng)對象的運(yùn)動(dòng)數(shù)據(jù)； 在表示被所述多個(gè)攝像機(jī)監(jiān)控的區(qū)域的全局圖像上且在所述全局圖像上的對應(yīng)于所 述多個(gè)移動(dòng)對象的地理位置的方位處呈現(xiàn)關(guān)于所述多個(gè)對象的所確定的運(yùn)動(dòng)數(shù)據(jù)的圖形 化指示； 響應(yīng)于基于呈現(xiàn)在所述全局圖像上的所述圖形化指示對所述全局圖像的一區(qū)域的選 擇，呈現(xiàn)來自所述多個(gè)攝像機(jī)中的一個(gè)攝像機(jī)的所捕獲的圖像數(shù)據(jù)，其中所述全局圖像的 所述區(qū)域呈現(xiàn)關(guān)于被所述多個(gè)攝像機(jī)中的所述一個(gè)攝像機(jī)捕獲的所述多個(gè)移動(dòng)對象中的 至少一個(gè)移動(dòng)對象的至少一個(gè)所述圖形化指示。
18. 如權(quán)利要求17所述的計(jì)算機(jī)可讀介質(zhì)，其中，引起響應(yīng)于對呈現(xiàn)關(guān)于所述多個(gè)移 動(dòng)對象中的所述至少一個(gè)移動(dòng)對象的至少一個(gè)所述圖形化指示的、所述全局圖像的所述區(qū) 域的選擇而呈現(xiàn)所捕獲的圖像數(shù)據(jù)的操作的所述指令集包括引起如下操作的指令： 響應(yīng)于對與被所述多個(gè)攝像機(jī)中的所述一個(gè)攝像機(jī)捕獲的一移動(dòng)對象對應(yīng)的圖形化 指示的選擇，呈現(xiàn)來自所述多個(gè)攝像機(jī)中的所述一個(gè)攝像機(jī)的所捕獲的圖像數(shù)據(jù)。
19. 如權(quán)利要求17所述的計(jì)算機(jī)可讀介質(zhì)，其中，所述指令集還包括引起如下操作的 指令： 關(guān)于所述全局圖像校準(zhǔn)所述多個(gè)攝像機(jī)中的至少一個(gè)，以使被所述多個(gè)攝像機(jī)中的所 述至少一個(gè)捕獲的至少一個(gè)區(qū)域視圖的圖像與所述全局圖像中對應(yīng)的至少一個(gè)區(qū)域相匹 配。
20. 如權(quán)利要求19所述的計(jì)算機(jī)可讀介質(zhì)，其中，引起校準(zhǔn)所述多個(gè)攝像機(jī)中的所述 至少一個(gè)的操作的所述指令集包括引起如下操作的指令： 選擇在被所述多個(gè)攝像機(jī)中的所述至少一個(gè)捕獲的一圖像中出現(xiàn)的一個(gè)或者多個(gè)位 置； 識(shí)別在所述全局圖像上的與在被所述多個(gè)攝像機(jī)中的所述至少一個(gè)捕獲的所述圖像 中所選定的一個(gè)或者多個(gè)位置對應(yīng)的方位；以及 基于所識(shí)別的全局圖像方位以及在所述多個(gè)攝像機(jī)中的所述至少一個(gè)的所述圖像中 對應(yīng)選定的一個(gè)或者多個(gè)位置，計(jì)算二階2維線性參數(shù)模型的變換系數(shù)，以將在被所述多 個(gè)攝像機(jī)中的所述至少一個(gè)捕獲的圖像中的方位的坐標(biāo)變換為所述全局圖像中對應(yīng)方位 的坐標(biāo)。
21. 如權(quán)利要求17所述的計(jì)算機(jī)可讀介質(zhì)，其中，所述指令集還包括引起如下操作的 指令： 在地圖的選定區(qū)域中呈現(xiàn)與所述至少一個(gè)所述圖形化指示對應(yīng)的、所述多個(gè)移動(dòng)對象 中的所述至少一個(gè)移動(dòng)對象的額外的細(xì)節(jié)，所述額外的細(xì)節(jié)出現(xiàn)在被輔助攝像機(jī)捕獲的輔 助幀中，所述輔助攝像機(jī)關(guān)聯(lián)于與所述選定區(qū)域?qū)?yīng)的所述多個(gè)攝像機(jī)中的所述一個(gè)攝像 機(jī)。
22. 如權(quán)利要求17所述的計(jì)算機(jī)可讀介質(zhì)，其中，關(guān)于所述多個(gè)移動(dòng)對象的所述運(yùn)動(dòng) 數(shù)據(jù)包括來自所述多個(gè)移動(dòng)對象的一移動(dòng)對象的數(shù)據(jù)，其包括下述中的一個(gè)或者多個(gè)：攝 像機(jī)的視場內(nèi)的所述對象的位置、所述對象的寬度、所述對象的高度、所述對象正在移動(dòng)的 方向、所述對象的速度、所述對象的顏色、所述對象正進(jìn)入所述攝像機(jī)的所述視場的指示、 所述對象正離開所述攝像機(jī)的所述視場的指示、所述攝像機(jī)正被破壞的指示、所述對象停 留在所述攝像機(jī)的視場中一段大于預(yù)定的時(shí)間段的時(shí)間的指示、幾個(gè)移動(dòng)對象被合并的指 示、所述移動(dòng)對象被分為兩個(gè)或者多于兩個(gè)移動(dòng)對象的指示、所述對象正進(jìn)入感興趣的區(qū) 域的指示、所述對象正離開預(yù)定義的地區(qū)的指示、所述對象正跨越絆網(wǎng)的指示、所述對象正 沿與所述地區(qū)或所述絆網(wǎng)的預(yù)定義的禁止方向匹配的方向移動(dòng)的指示、表示所述對象的計(jì) 數(shù)的數(shù)據(jù)、所述對象的移除的指示、所述對象的丟棄的指示、以及表示關(guān)于所述對象的駐留 定時(shí)器的數(shù)據(jù)。
【文檔編號(hào)】G06K9/00GK104106260SQ201280067675
【公開日】2014年10月15日 申請日期:2012年11月19日 優(yōu)先權(quán)日:2011年11月22日
【發(fā)明者】法曾·艾格達(dá)斯, 蘇煒, 王雷 申請人:派爾高公司