專利名稱：虛擬觀測器的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及廣域視頻監(jiān)測系統(tǒng)。在第一方面本發(fā)明是監(jiān)測網(wǎng)絡(luò)，在另 一方面本發(fā)明是虛擬觀測器，且在又一方面本發(fā)明是用于操作虛擬觀測器 的方法。
背景技術(shù)：
當(dāng)前的廣域視頻監(jiān)測系統(tǒng)通常由固定的攝像機(jī)網(wǎng)絡(luò)組成。這要求攝像 機(jī)架設(shè)在廣域內(nèi)感興趣的位置附近。
近來，由于內(nèi)部安全和外部安全的原因，攝像機(jī)已經(jīng)設(shè)置在公共汽車 上或其它的移動平臺上。類似的裝載于交通工具的"移動"攝像機(jī)也用來 在無人駕駛航空和海底勘測中、且在其它的惡劣或危險的情形下進(jìn)行觀測。
發(fā)明的公開內(nèi)容
在第 一方面本發(fā)明是廣域視頻監(jiān)測網(wǎng)絡(luò)，其包括多個攝像機(jī)來觀測人 們通常居住和活動的場所，其中每個視頻片段或視頻幀被存儲用于之后結(jié)
合下面的軌道參數(shù)的檢索時間和空間位置，且可能地這些參數(shù)包括方向， 分辨率和視野。
所述網(wǎng)絡(luò)可以包括一個或更多個移動攝像機(jī)，且這些攝像機(jī)被分布在 一隊交通工具上，如公共汽車、火車、執(zhí)法車或出租車。在每種情形下， 交通工具都可以裝有具有內(nèi)部視角或外部視角的、或兩種視角都有的一個 或更多攝像機(jī)。有外部視角的攝像機(jī)可以被定向來記錄向前看、向后看或者向側(cè)面看的景象。
所述網(wǎng)絡(luò)可以包括一個或更多個靜態(tài)攝像機(jī)，且這些攝像機(jī)可以位于 已知的位置，例如裝在建筑物上。靜態(tài)攝像機(jī)的位置可以例如在安裝時由
GPS確定。
數(shù)據(jù)和時間標(biāo)記可以基于載于交通工具上的本地時鐘而隨每個片段 記錄。
隨每個幀或片段記錄的位置信息可以獲取自GPS或慣性導(dǎo)航(inertial navigation)i史備。
每個攝像機(jī)的方向可以相對于交通工具固定，或是可移動的，例如從 一側(cè)轉(zhuǎn)到一側(cè)，或者跟蹤交通工具經(jīng)過的特定物體，多半是建筑物。方位 信息可以從位置數(shù)據(jù)插值而得，或從輔助性的方位傳感器獲得。
分辨率信息可以從攝像機(jī)的屬性確定，或者當(dāng)架設(shè)攝像機(jī)時被記錄。
視野信息可以從攝像機(jī)的屬性確定，或者當(dāng)架設(shè)攝像機(jī)時被記錄。視 野信息可以從位置數(shù)據(jù)插值而得，或者從由攝像機(jī)拍攝的一幅圖像或多幅 圖像推斷而得。
由移動攝像機(jī)網(wǎng)絡(luò)記錄的信息表示以低時間分辨率對大的空間區(qū)域 的采樣圖像的總和。因此，特定位置的視圖分布在許多不同的視頻流中。 通過檢索根據(jù)本發(fā)明存儲的信息，有可能創(chuàng)建來自位于所述網(wǎng)絡(luò)中的任意 點的假想的攝像機(jī)的視圖，尤其是，能由在不同時間記錄的片段或幀、來 自不同的攝像機(jī)的片段或幀、或在不同的時間記錄且來自不同的攝像機(jī)的 片段或幀來構(gòu)造復(fù)合視圖。這種信息能被用來構(gòu)造許多不同類型的視圖。
所述網(wǎng)絡(luò)中設(shè)置了假想的攝像機(jī)的點也可以被界定為具有以下觀測 參數(shù)位置、半徑、方向、分辨率和視野。之后這五個參數(shù)被用來構(gòu)造查 詢，以從存儲器檢索視頻片段或視頻幀。
存儲器可以保持從分布在多個移動交通工具上的攝像機(jī)收集來的數(shù) 據(jù)流。之后，被檢索出的片段或幀能被用來合成視圖以供顯示。合成可以 包4舌圖寸象^H妻或"4裏嵌(mosaicing)"。另一方面，本發(fā)明是廣域視頻監(jiān)測網(wǎng)絡(luò)中的虛擬觀測器，包括計算機(jī) 和監(jiān)視器，所述計算機(jī)能獲得被記錄且被存儲的視頻片段或視頻幀，所述 監(jiān)視器在其上顯示由在不同時間記錄的，或來自不同的攝像機(jī)的，或在不 同的時間記錄且來自不同的攝像機(jī)的片段或幀構(gòu)造的視圖。
視頻片段或幀與時間和空間位置的軌道參數(shù)有關(guān)。這些信息能被用來 構(gòu)造許多不同類型的視圖。這些不同類型的視圖可以包括
來自給定源位置、半徑、方向、分辨率和視野的虛擬觀測器的視圖。
全景視圖，其中需要的視野比攝像機(jī)視野更廣。在這類型視圖中，在 不同時間獲得的多個視圖被組合來給出廣角透視視圖。
"時間推移"視圖示出了某地點的視圖如何隨時間變化。 特定的物體或陸標(biāo)的視圖。給定目標(biāo)位置和視角范圍，可以根據(jù)簡單
的可見度約束來^r索匹配的圖像。
才艮據(jù)多個空間、時間和幾何約束選擇的-見圖。例如，可以通過從地圖 挑選位置，或通過基于絕對時間或一天中的時刻的時間約束來選擇圖像。
在又一方面，本發(fā)明是在廣域視頻監(jiān)測網(wǎng)絡(luò)中操作虛擬觀測器的方 法，該方法包括下面的步驟
接收在網(wǎng)絡(luò)的地圖上的虛擬觀測器的位置的輸入； 接收位置的觀測參數(shù)和查詢算子(query operator)的輸入； 確定與指定的位置、查詢算子和觀測參數(shù)對應(yīng)的軌道參數(shù)； 檢索所存儲的、與所確定的軌道參數(shù)有關(guān)的視頻片段或視頻幀；及 由檢索到的視頻片段或視頻幀合成待被顯示的視圖。 查詢算子可以包括下列項中的一個或更多個
最接近的觀測查詢，其返回從與所限定的位置最近的點獲得的片段或
幀；
朝向某地點的視圖，其返回查看所限定的位置的片段或幀； 來自某地點的視圖，其返回從所限定的位置向外看的片段或幀；及，大的空間區(qū)域的視圖，其返回在該區(qū)域中拍攝的片段或幀。
檢索步驟可以進(jìn)一步包括這樣的操作針對特定的查詢算子而合并用 多個攝像機(jī)拍攝的視頻片段或視頻幀。所述操作也可以合并由一個攝像機(jī) 拍攝的視頻片段或視頻幀，用于多個查詢算子。
此外，所顯示的視圖可以不時地更新，因為隨著更多數(shù)據(jù)變得可用， 可以適應(yīng)性地改進(jìn)查詢結(jié)果。
有利地，本發(fā)明能查詢和檢索以下這樣的數(shù)據(jù)
多模式的(multi-modal),具有時間和空間信息；
分布在靜態(tài)平臺與移動平臺之間的；
半永久性的，因為許多存儲器單元需要被頻繁地重復(fù)使用；
部分可用的，因為應(yīng)答查詢的一些數(shù)據(jù)可能已經(jīng)被檢索出來，因此是 可用的，同時， 一些數(shù)據(jù)可能必須按照需要而被檢索；以及
在要求時可從多個移動設(shè)備中檢索的。 附圖簡述
現(xiàn)在將參照附圖描述本發(fā)明的例子，其中
圖l是監(jiān)測網(wǎng)絡(luò)的示意圖2是虛擬觀測器系統(tǒng)的示意圖3是位于地圖上的虛擬觀測器的示意圖4是示出與偽時間線有關(guān)的圖像的虛擬觀測器；
圖5 ( a)和圖5 (b )分別示出v/ew/"和v/ew(9w查詢算子；
圖6示出了典型的一組覆蓋查詢和觀測查詢；
圖7 (a)、 (b)、 (c)和(d)示出了合并操作的例子；
圖8示出了查詢解析的攝像機(jī)算子輸出的不同的合并；
圖9 (a)示出了在一整天中對一個攝像機(jī)的視頻需求；圖9 (b)示出了兩小時期間對八個查詢的詳細(xì)的視頻需求;
圖IO示出一個觀測算子的輸出；


圖11是在餐館的生活中的一天的時間推移圖12 (a)、 (b)和(c)是三個全景圖13是180度合成全景圖14是例證虛擬觀測器系統(tǒng)的實現(xiàn)的示意圖。
本發(fā)明的最佳實施方式
監(jiān)測網(wǎng)紹^
首先參照圖1，示出分布在郊區(qū)的監(jiān)測網(wǎng)絡(luò)10。網(wǎng)絡(luò)10包括一些公 共汽車，這些公共汽車進(jìn)入郊區(qū)，沿著郊區(qū)各處的道路行進(jìn)，之后離開。 在示出的時間的特定時刻，第一輛公共汽車20正在高速公路上從西方靠 近郊區(qū)。第二輛公共汽車30在郊區(qū)內(nèi)且沿著公路向西行進(jìn)。第三輛公共 汽車40在大街上向北行進(jìn)。
所有的這三輛公共汽車20、 30和40都分別安裝有視頻攝像機(jī)25、 35 和45,且每個攝像機(jī)都觀測前視景象。這些攝像機(jī)也用規(guī)定的幀頻記錄景 象。每輛公共汽車也分別安裝有GPS接收機(jī)27、 37和47。當(dāng)每個視頻幀 存儲在例如錄像帶上、DVD上、或硬盤驅(qū)動器上，視頻幀標(biāo)記有時間、空 間位置及羅盤定向。這種存儲技術(shù)有助于后續(xù)用插值方法計算出在任意規(guī) 定的時間掘/f象機(jī)相對于交通工具的方位以及交通工具的軌道。
使用內(nèi)部攝像機(jī)主要以安全為目的。因為朝外的攝像機(jī)可能需要用來 記錄遠(yuǎn)處的且移動速度快的物體，所以，對這些攝像機(jī)要求的幀頻和分辨 率通常比對內(nèi)部攝像機(jī)的高。
應(yīng)認(rèn)識到，移動揭/f象才幾25、 35和45位置和方位可變，且對大的空間 區(qū)域采樣，但是時間分辨率低。此外，任意特定地點的圖像分布在許多不 同的視頻流中；且來自不同的公共汽車。每輛公共汽車有足夠的視頻存儲 器以容納幾天的數(shù)據(jù)。當(dāng)公共汽車返回車站時，以固定的間隔從這些公共
9汽車上載所有的這些視頻流，且之后將這些數(shù)據(jù)存儲在中央位置。
用于外部圖像的攝像機(jī)可以僅在公共汽車經(jīng)過放置了虛擬觀測器的 地點時才工作。當(dāng)公共汽車通過時， 一小段高分辨率視頻被拍攝。這種有 選擇性的拍攝極大地減少了存儲和上載的數(shù)據(jù)量。
當(dāng)交通工具四周移動時，它們的軌道通過GPS^皮記錄下來。每個裝在 交通工具上的攝像機(jī)有已知的相對于該交通工具的方位，且每個交通工具 可能有多于一個的外部攝像機(jī)。這使系統(tǒng)能為視頻流中的每個圖像確定位 置禾口方向。
在基礎(chǔ)層面上，系統(tǒng)記錄原始GPS流和視頻流。在每個流內(nèi)，采樣按 照時間布置，盡管時基可能不同。視頻數(shù)據(jù)存儲在MJPEG(移動式JPEG) 電影文件內(nèi)。作為選擇，可以使用一種定制的數(shù)據(jù)庫表示法，其中，圖像 被存儲有時間標(biāo)記信息。在后面的情況下(數(shù)據(jù)庫表示法)，為每個幀存 儲時間標(biāo)記，使得幀可以不以固定的周期釆樣。在前面的情況下(電影文 件)，幀頻通常是恒定的，且時間標(biāo)記由相對于所記錄的開始時間的電影 幀時算出。主要的要求是(1)可以為每個幀確定時間，且(2)優(yōu)選存 儲原始幀而不是圖像的插值形式。在這種應(yīng)用中，不使用以移動為基礎(chǔ)的 編碼可能是很重要的。移動編碼易于降低空間分辨率；更重要的是，插值 的視頻在許多法定裁決中作為證據(jù)是不被承認(rèn)的。
軌跡(track)是視頻流和GPS軌道之間的關(guān)聯(lián)(association )。交通工 具的GPS位置每秒鐘被記錄。通常，視頻以更高的幀頻采樣，如每秒五幀。 因此，為了獲得準(zhǔn)確的圖像位置，有必要在GPS定位之間插值。當(dāng)前使用 線性插值。在軌跡內(nèi)，數(shù)據(jù)以時間為索引；軌跡關(guān)聯(lián)包括視頻和GPS時基 之間的才交準(zhǔn)。
系統(tǒng)結(jié)構(gòu)
圖2示出系統(tǒng)的概況。在圖內(nèi)的底層是傳感器或S節(jié)點，即裝有移動 的數(shù)據(jù)記錄器的公共汽車20和30。每輛公共汽車由D節(jié)點或車站81和車 站82服務(wù)，在D節(jié)點處，數(shù)據(jù)通過無線鏈路下載。D節(jié)點或車站又與應(yīng) 用服務(wù)器84連接，應(yīng)用服務(wù)器84為來自客戶86和客戶88的請求服務(wù)。應(yīng)用服務(wù)器84或A節(jié)點包括大量存儲的視頻數(shù)據(jù)和軌道數(shù)據(jù)，供在在瀏 覽和可視化中使用。
在車站81和車站82與公共汽車20、 30和40之間的連接可以是永久 性的(例如，在用才莫擬視頻、或光纖視頻的靜態(tài)攝像機(jī)監(jiān)控中)或是預(yù)定 的(例如，在移動監(jiān)控中)，在后面的這種情況下，僅僅當(dāng)傳感器節(jié)點(公 共汽車)接近車站的無線接入點時，才能發(fā)生通信。車站81和車站82與 應(yīng)用服務(wù)器84之間的鏈路的通信能力可以根據(jù)例如象距離等地理屬性而 變化。
系統(tǒng)內(nèi)的查詢源自應(yīng)用服務(wù)器，且被傳送到車站。當(dāng)公共汽車在當(dāng)天 的結(jié)尾返回時，查詢就在車站進(jìn)行，且對所連接的全部公共汽車的組合需 求提供了優(yōu)先選擇計劃表，來確定哪些視頻需要被檢索和存儲。高速率視 頻片段相對短且容易由系統(tǒng)服務(wù)。剩余的帶寬用來檢索用于瀏覽的覆蓋數(shù) 據(jù)。這不太重要，且相關(guān)的采樣率可被調(diào)整，來適應(yīng)于可用的網(wǎng)絡(luò)容量。
當(dāng)交通工具返回其車站時，其GPS軌道被獲得。通常，這將包含至多 24小時的數(shù)據(jù)(82800個點，每秒一個釆樣)，這些數(shù)據(jù)能在僅僅幾秒內(nèi) 傳輸。之后系統(tǒng)計算所有的固定查詢(standing query)的需求。
虛擬觀測器
虛擬觀測器表示放在網(wǎng)絡(luò)中所選擇的位置上的假想的攝像機(jī)。圖3示 出部分圖l的地圖的視圖。在這個地圖內(nèi)已經(jīng)放置了虛擬觀測器50，且其 與在主路52和側(cè)路54之間的匯合點的位置相關(guān)聯(lián)。虛擬觀測器50具有 中心位置55、半徑56、方向58和^L野60。
虛擬觀測器用計算機(jī)系統(tǒng)68產(chǎn)生和操控，且這個計算機(jī)系統(tǒng)在圖4 中示出包括監(jiān)視器70、計算機(jī)72、圖像存儲設(shè)備74、鍵盤76和鼠標(biāo)78。 該圖像存儲設(shè)備必須以支持基于時間約束和空間約束的檢索查詢的方式 來存儲圖像。
虛擬觀測器基于地圖顯示導(dǎo)航可用數(shù)據(jù)。這些地圖顯示是分層空間顯 示，其示出一個或更多個軌跡的軌道、通過算子放在地圖上的標(biāo)記物體(包 括虛擬觀測器)、和地理元數(shù)據(jù)?？臻g元數(shù)據(jù)能從地理信息系統(tǒng)導(dǎo)入
ii(import)。該系統(tǒng)支持ECW (增強(qiáng)的壓縮小波)圖像作為顯示層使用。這 能用來顯示街道地圖，或與空間區(qū)域有關(guān)的航空圖像。
偽時間線
凝謬在教逐是攝像機(jī)與GPS軌道之間的關(guān)聯(lián)，凝^在與速^度是由開 始時間和結(jié)束時間限制的攝像機(jī)軌跡的 一部分。
虛擬觀測器充當(dāng)選擇攝像機(jī)軌跡片段的集合的過濾器。能夠顯示并導(dǎo) 航有關(guān)視頻數(shù)據(jù)是重要的。這里，我們使用媒體播放器的顯示方式 (metaphor )。幀顯示當(dāng)前時間的圖像。時間線將當(dāng)前時間作為總的可用時 間的一部分顯示，且允許用戶用鼠標(biāo)改變回放點。
盡管如此，以線性時間線上顯示時間并不是非常有用，因為軌跡片段 的持續(xù)時間與片段之間的時間相比要短。作為替代，系統(tǒng)顯示僅具有片段 的持續(xù)時間的偽時間線，且這些片段的持續(xù)時間根據(jù)它們的開始時間排 序。這清楚地表明視頻片段是間斷的，但是允許它們作為連續(xù)的序列被 導(dǎo)航。
圖4示出了圖3中的虛擬觀測器的示例性的偽時間線80。在這個例子 中，在數(shù)據(jù)庫中有五個與約束匹配的視頻片段。相對的持續(xù)時間由不同的 片段長度指示。在較長的片斷中(圖像所顯示的)，交通工具不得不停下 來以等待迎面而來的汽車。
空間中的特定的點與從攝像機(jī)軌跡片段中選出的時間有關(guān)。系統(tǒng)實現(xiàn) 了空間-時間游標(biāo)(cursor),該游標(biāo)使用戶能看見在空間地圖顯示中的點與 時間線顯示中的點之間的對應(yīng)。當(dāng)在時間線上選擇點時，系統(tǒng)突出地圖上 的相應(yīng)位置。此外，用戶可以選擇空間顯示中的軌跡上的點并看見相應(yīng)的 圖像。
導(dǎo)航和查詢
虛擬觀測器標(biāo)記可被命名，并可用于在地圖顯示中進(jìn)行導(dǎo)航。標(biāo)記的 布置界定了視頻將被檢索的空間區(qū)域。用戶界定中心位置、半徑、方向和 視野。這些觀測參數(shù)能通過用戶導(dǎo)航可視標(biāo)記而被控制；例如，這些參數(shù) 可以通過拖動圖像上的點而變化，例如，拖動圓圈邊界以改變半徑，拖動圓圏內(nèi)部以移動區(qū)域，拖動箭頭以旋轉(zhuǎn)-見線方向，以及拖動弧界以改變視 野。通過這種方法，計算機(jī)系統(tǒng)提供了用戶可以用來確定他們的要求的自 然的顯示方式。
虛擬觀測器可以用鼠標(biāo)選擇，或通過從列表中選擇它的名字來選擇。 當(dāng)虛擬觀測器被選擇時，用戶可以進(jìn)行虛擬觀測器的查詢。"虛擬觀測器" 查詢允許用戶顯示在所選位置的、隨時間推移的景象。系統(tǒng)提供了空間查 詢算子，該算子返回與查詢約束相配的小的視頻片段。這些查詢通常被界 定在可視的查詢環(huán)境中。
系統(tǒng)向用戶提供時空背景，用于布置查詢并查看可能產(chǎn)生哪種視圖。 最初，這可能需要使用"跟蹤"查詢，這種查詢顯示了最接近鼠標(biāo)的觀測
結(jié)果，從而允許用戶"拖動(scrub)"地圖以尋找感興趣的地方。典型地， 將有一個層次的后臺"覆蓋"數(shù)據(jù)，這些數(shù)據(jù)在空間上(位置和方向)密 集，而在時間上稀疏。相反，查詢通常在空間上稀疏，而在時間上密集。 因此，有效實現(xiàn)系統(tǒng)需要將用不同的采樣標(biāo)準(zhǔn)選擇數(shù)據(jù)的算子混合
應(yīng)^y卑f:對小的空間區(qū)域的高細(xì)節(jié)層次
產(chǎn)^#子對大的空間區(qū)域的低細(xì)節(jié)層次
在最低層次上，空間查詢用在軌跡上的幾何算子來實現(xiàn)。用戶通過可 視化系統(tǒng)界定感興趣的點或區(qū)域；該系統(tǒng)基于這些查詢交互式地產(chǎn)生這些 區(qū)域的視圖。這些查詢的結(jié)果作為時間或時間的間隔返回。給定軌跡和時 間，容易確定關(guān)聯(lián)的空間位置以及關(guān)聯(lián)的視頻幀。
假設(shè)F是交通工具，假設(shè)c"weras ^^是它的攝像機(jī)的集合，且 rayecto ^ 「!>V是它的壽九道。該m^e"oo/是這才羊一個函數(shù)該函數(shù)用在所 記錄的GPS軌跡上的線性插值來將時間上的任意點映射到空間上的點。 因此在時間上的任意點f的交通工具的位置是fra^cto^ FJ ^ 乂或僅僅 簡寫為Zrayecto^ f 「，"。
每個揭J象機(jī)C有相對于交通工具ve/i/c/e ("CJ =「的行進(jìn)方向的方向 onewto"朋^C義我們定義o&en;a"朋為元組(7， f人其中/是觀測的圖 像，且f是觀測發(fā)生的時間。每個^聶像機(jī)C也定義了視頻序列Wd (T義它是N個觀測結(jié)果的序列[f。A…，(7w-p 。我們可以將v^
("CJ看作是將時間映射到觀測結(jié)果的函數(shù)。定義vW ("C，〃返回觀測結(jié)果 (7, f，人趁謬r在所有觀測結(jié)果中最接近于L
凝謬在教遊魔刺潛,是元組"其中C是攝像機(jī)，且/是時間。 ^謬農(nóng)教遽^度是元組^，爿人其中0和^是時間，G《G且乂 是釆樣率。攝像機(jī)軌跡觀測結(jié)果和攝像機(jī)軌跡片段由幾何查詢返回。與每 個攝像機(jī)軌跡觀測結(jié)果相關(guān)聯(lián)的是特定的觀測結(jié)果(帶時間標(biāo)記的圖像) vW 與每個攝像機(jī)軌跡片段相關(guān)聯(lián)的是觀測結(jié)果序列(帶時間標(biāo)記
的視頻片段)。 ,^W^O^f游^ ( simple visibility constraint)是元組0="，D， FA其中尸是空間上的點，W是可見度半徑，D是視線方向，且F是視野。 簡單的可見度約束界定了接受區(qū)域(acceptance area)和觀看范圍(view range )。所述區(qū)域是一個中心為P、半徑為i 的圓。所述觀看范圍是在D-F 與D+F之間的方向的范圍?？梢姸燃s束由麂者卑刊view operator)使用， 以基于可見度選擇觀測結(jié)果。
通常，查詢g是元組
其中op是算子，O是相應(yīng)的約束的集合，且爿是釆樣率。每個算子 定義了在攝像機(jī)C與一組攝像機(jī)軌跡片段之間的映射。對于觀測器查詢， op是可見度算子，且O是可見度約束。
有三種類型的查詢或算子
基于點的查詢，例如/ racofe,其通過用記錄的交通工具軌道，將空間 的點映射到攝像機(jī)軌跡觀測結(jié)果。
可見度查詢或觀測查詢，諸如討ew/w和v/ew(9w"其用高細(xì)節(jié)層次重 構(gòu)在空間中的小的空間區(qū)域或特定點的視圖。
覆蓋查詢，諸如covw，它用低細(xì)節(jié)層次重構(gòu)大空間區(qū)域的視圖。
14基于點的查詢和觀測查詢對系統(tǒng)是有高價值的，但可能僅僅需要網(wǎng)絡(luò)
帶寬的一小部分。覆蓋查詢以目標(biāo)方式(targetedway)使用剩余的帶寬以 提供用于瀏覽的后臺數(shù)據(jù)。
PraxoZ^算子通過在每個軌道上尋找與尸最接近的點且挑選最小化該 距離的軌道而被計算出來。
定義1 (o;^praxo&,處^近W應(yīng)^/潛果)假設(shè)P是空間中的點。假 設(shè)C，是一組攝像機(jī)。定義函數(shù)pmxofe ^ C 返回攝像機(jī)軌跡觀測^C， "CeC',使得從^ /ecto^ " F=ve/2/c/e ("C乂到P的距離對全 部時間和攝像機(jī)被最小化。
可見度查詢更復(fù)雜，其基于一組空間約束。我們使用可見度約束來重 構(gòu)在空間中的特定的點處的視圖。兩種基本的可見度算子是wew/"和 v/ew(9w。這兩種算子都使用簡單的可見度約束，但是對約束的解釋不同， 正如圖5 (a)和(b)所示出的一樣。在兩種情況下，觀測器90位于觀看 區(qū)域92內(nèi)。對于在圖5 (a)中的W，(9W算子，觀看目標(biāo)94通常在界定 的區(qū)域92外面，盡管它的位置對于系統(tǒng)是未知的。角約束(angular constraint) 96在從觀測器向目標(biāo)的方向98上。對于圖5 (b)中的v/ew/" 算子，觀看目標(biāo)94是界定的區(qū)域92的中心，且約束96在從目標(biāo)到觀測 器的方向上。
定義2 ( op=v/，Cto; ^力《^,咸Wf》^):我們定義函數(shù)v,ewOW產(chǎn)C， (9, A yV為攝像機(jī)軌跡片段~， f" 乂J的集合，其中r=ve/ c/e fC ， O是簡單的可見度約束(73, A， D， 且？ra聲cto^ ("J7, U完全包括在 中心為P、半徑為R的圓內(nèi)，且對于^ <7《^，在frajector少f K， f y>處的 行進(jìn)方向在D-w7eW (^C J -F與D-w&W 「C J +^之間。
定義3 (o/7=v^w/w,湊々《她^^^^溶)我們定義函數(shù)v/ew/w ("C， 0,力，/J是攝像機(jī)軌跡片段(T， ^， & 乂，的集合，其中r=ve/H'c/e ("C義 O是簡單的可見度約束(7^ i ， D， FA且fra聲"wy fr， 〃完全包括在 中心在P、半徑為R的圓內(nèi)，且對于滿足0 O《G的t ,在P和frayectory ("K, d之間的線的方向在f CF與J 之間，且 在軌道行進(jìn)方向的攝像機(jī)視野f內(nèi)。對于覆蓋查詢，op僅僅是空間限制算子，且(9是空間區(qū)域，通常由多 邊形邊界描述。
定義4 (c^=covw;產(chǎn)j《^):我們定義函數(shù)cover fC， (9，爿y>是 攝像機(jī)軌跡片段CT， ^， ^， 乂，的集合，其中r=ve/ c/e fC義(9是空間 區(qū)域，且frayerfw^ d對于G ^ <72來說完全包括在O內(nèi)。
例如，圖6示出 一組在系統(tǒng)內(nèi)的典型的查詢。"圓形(circular)"查詢 62 (例如，"BarrackSquare"和"Mount Hospital")是半徑約為50m的虛擬 觀測器。在這些位置，我們需要高細(xì)節(jié)層次；實際上，我們需要所有的最 高幀頻的可用數(shù)據(jù)。"區(qū)域'，查詢60(例如，City和Northbridge)是覆蓋 查詢，該覆蓋查詢指定了對于后臺數(shù)據(jù)的系統(tǒng)需求。采樣率作為5&s的全 部幀頻的百分比顯示。對于Northbridge, —個流行的娛樂地區(qū)，我們需要 對于City地區(qū)來說更高層次的后臺覆蓋50%對(versus) 10%。
視圖算子能夠快速地由可用軌道信息算出而不參照相關(guān)的視頻數(shù)據(jù)。 該算子產(chǎn)生的一組攝像機(jī)軌跡片段能夠由系統(tǒng)以多種方法使用，正如在下 面的部分中描述的一樣。虛擬觀測器使用Wew算子來產(chǎn)生地點的視圖；這 些能交互式地通過可視化系統(tǒng)而被定義。軌跡片段的集合能被用來構(gòu)造用 于視頻數(shù)據(jù)的導(dǎo)航的"偽時間線"。攝像機(jī)軌跡片段也能被用作全景生成 的觀測結(jié)果。
查詢解析
查詢處理的重要特征是查詢結(jié)果隨著時間演變。通常，結(jié)果必須從網(wǎng) 絡(luò)檢索得到，且因此不能被立即提供。盡管如此，通常有可能預(yù)測網(wǎng)絡(luò)內(nèi) 有多少數(shù)據(jù)可用以滿足查詢。
查詢解析決定了與系統(tǒng)內(nèi)的每個查詢相符的移動攝像機(jī)視頻片段。這 包括將空間查詢和軌道數(shù)據(jù)映射到時間視頻片段描述。如果進(jìn)行新的觀測 查詢，解析遵照這樣的序列
1. 一些數(shù)據(jù)可能已經(jīng)在線可用，例如，如果該查詢與存在的覆蓋數(shù)據(jù) 或另一個^L測查詢重疊。
2. 先前日子的GPS軌跡將駐留在系統(tǒng)內(nèi)，因此有可能計算出多少數(shù)據(jù)可待;故用來從公共汽車檢索至車站。
3. 當(dāng)傳感器聯(lián)機(jī)時，其數(shù)據(jù)能被檢索到車站。如杲由于一些原因連接
延遲， 一些需要的數(shù)據(jù)可能丟失。
4. 隨著時間推移，這些結(jié)果被移動到應(yīng)用服務(wù)器以返回給客戶。這種 情況發(fā)生的速率依賴于到車站的鏈路的速度。
現(xiàn)在將詳細(xì)解釋上述序列。 一旦交通工具的軌道fra)ecto^ (T 已知，
則確定對每個所連接的攝像機(jī)的視頻需求是可能的。對于每個查詢g="P， (9， ^0，和每個攝像機(jī)Ceco附mw fr義系統(tǒng)計算o; (9，爿；的結(jié)果。 對于攝像機(jī)和查詢的每個組合CXQ，結(jié)果是攝像機(jī)軌跡片段的序列。通
過適當(dāng)?shù)卣{(diào)整每個算子的內(nèi)部狀態(tài)的系數(shù)，單次遍歷軌道數(shù)據(jù)就完成了上 述計算。
之后系統(tǒng)合并多個查詢的輸出以給出每個攝像機(jī)的攝像機(jī)軌跡片段 的單個序列。在發(fā)生重疊的情況下，這是以保留最大的所需釆樣率的方式 實現(xiàn)的。
考慮軌跡片段的集合(9,.={化p f,，p凡，a…，卩C &M/)}。每個集合Q.與如下的分段定義的函數(shù)F,. 6C對稱
l不確定其它 對于一組N函數(shù)，我們能形成函數(shù)
該函數(shù)對于任意的x的值是遍及所有中的最大值。這也是分段定義 的，但是我們需要這個函數(shù)的最小分段表示。具體地，如果兩個片段(T， x,》W,和(T， x, z, i^相鄰且有相等的值，則用片段卩C， jc， ；;， i ， 來代替它們。
圖7( a )到(d )示出了 一些情形。在情形(a )中，兩個不相交的(disjoint) 片段合并為不相交的。其中相鄰的片段有相等的值(b)，結(jié)果是一個合并 的片段。情形(c)和情形(d)示出一些由重疊輸入產(chǎn)生的例子。第一個產(chǎn)生兩個片段，第二個產(chǎn)生三個片段。在任何情況下，結(jié)果是所有輸入片 段的最大采樣率。
如果<9=/D;，…，CV是一組N個軌跡片段集合，我們定義函數(shù)merge ^(9J是形成M 的最小片段表示的軌跡片段的集合，其中M 6cJ是 全部相應(yīng)函數(shù)中的最大者。在(9包括來自不同攝像機(jī)的片段的情況下，這 些攝像機(jī)被獨(dú)立地被合并。
/^ci/veCawera和mw/vegwe^y函數(shù)用在系統(tǒng)的不同部分。圖8示出了 在以不同方式合并的攝像機(jī)軌跡片段結(jié)果的矩陣中的攝像機(jī)和查詢CXQ 元(query CxQ element)的集合。對于可視化，mw/veQMeo400在A節(jié)點 執(zhí)行來合并多個攝像機(jī)以產(chǎn)生單個查詢的輸出。對于數(shù)據(jù)采集， mw/veOwwera102通常在D節(jié)點或S節(jié)點運(yùn)行以合并多個查詢來產(chǎn)生單個 攝像機(jī)的輸出。這種方法允許系統(tǒng)最小化從每個交通工具獲取的數(shù)據(jù)量， 但是以靈活的、分散的、依賴于具體的用戶查詢(觀測查詢)以及預(yù)測需 求(覆蓋查詢)的一般規(guī)律的方式來實現(xiàn)這項功能。
定義5 ( mw/veO wera, —^V產(chǎn)殺農(nóng)，)給定一組Q查詢， 我們計算
其對于任意攝像機(jī)c是將在該攝像機(jī)的g中的所有查詢的輸出合并的 結(jié)果。這限定了必須從攝像機(jī)C檢索的視頻數(shù)據(jù)的時間和采樣率需求。
與在圖6中的查詢操作對應(yīng)的這個查詢解析過程的結(jié)果在圖9 (a)和 9 (b)中示出。在圖9 (a)中標(biāo)記為CAT06的公共汽車， 一天的時間里 穿越線路21次。每次它通過虛擬觀測器，即拍攝一小段高分辨率視頻。 橫軸示出當(dāng)日時間?？v軸以全幀頻的百分比顯示所請求的視頻采樣率。后 臺速率由覆蓋查詢限定City查詢是10Q/()，而Northbridge查詢是50%。
圖9 (a)示出24小時期間的采4f率。圖9 (b)示出兩小時期間的細(xì) 節(jié)，且指示出r&w/veG3wera如何通過合并特定覆蓋查詢124和，見測查詢 126的輸出的集合來計算合成的信號122。這些查詢分別與圖6中的60和 62對應(yīng)。觀測器查詢126通常在時間上不相交，并且基于非重疊的目標(biāo)區(qū)域。覆蓋查詢124與觀測器查詢重疊并與其它覆蓋查詢重疊。公共汽車每
次通過虛擬觀測器，即獲得一小段高分辨率視頻，產(chǎn)生圖中的"峰值"。
在12: 30和13: 30附近的"階i 夭"圖案128與在覆蓋算子之間的轉(zhuǎn)換對 應(yīng)，其中后臺速率在10% (City)與50% (Northbridge)之間變化。
定義6: (mw/vegMW -個凝謬在，一 子)我們定義
其對于任意查詢g是將在該查詢的C中的所有攝像機(jī)的輸出合并的結(jié) 果。對于任意觀測查詢，這限定了與該查詢匹配的攝像機(jī)軌跡片段的集合。
圖10和11 (a)到(g)舉例說明了與圖6中的觀測查詢對應(yīng)的 ^TO/ve^/e^過程。圖IO描繪了一天的過程中四個不同的交通工具攝像機(jī) (104、 106、 108和110 )如何提供某地點的觀測結(jié)果。^f黃軸示出當(dāng)天的時 刻，而縱軸示出釆樣率。每個曲線上的"峰值"與高采樣率的攝像機(jī)軌跡 片段對應(yīng)。底部跡線112 ("James St")示出算子輸出，其是單個攝像機(jī)的 輸出的合并結(jié)果。
圖11 ( a)到(g)示出這種查詢在一天的不同時間的具體化(materialize) 輸出。該圖像描繪的隨時間推移的視圖顯示了在^t的日常生活的一天， 以及在早晨與傍晚之間餐館的外觀上的變化。在清晨，街道空曠，圖ll(a)。 后來，圖11 (b)中，餐桌堆起來，等著被擺開用于露天用餐。最初，部 分用餐區(qū)域被停放的汽車擋住，圖11 (c)。之后，座位準(zhǔn)備好了，且服務(wù) 員正擺放餐具，圖11 (d)。顧客開始到來(圖11 (e)),且待到晚上，圖 11 (f)到(g)。
分布式處理
正如先前提到的，在D節(jié)點(車站)與S節(jié)點(交通工具)之間的帶 寬可能僅能滿足用于檢索約10%的所產(chǎn)生的視頻。系統(tǒng)旨在充分利用可用 的帶寬來返回被請求的視頻給客戶。本部分示出了查詢解析如何在分布式 網(wǎng)絡(luò)中實現(xiàn)，以及作為結(jié)果的視頻如何變得對客戶可用。
形式上，我們以圖(graph)為網(wǎng)絡(luò)的模型。假設(shè)iV=J u D u S是所有
19A節(jié)點(應(yīng)用服務(wù)器)、D節(jié)點(車站)和S節(jié)點(交通工具)的集合，
其中A、 D和S分別是A節(jié)點、D節(jié)點和S節(jié)點的集合。與每個節(jié)點"e7V 相關(guān)聯(lián)的是一組與攝像機(jī)軌跡片段ms "J對應(yīng)的存在的視頻和一組交通 工具軌道fray 67義節(jié)點a與b之間的連接ee五表示為元組"，6, /V， 其中/是將連接帶寬表示為時間的函數(shù)的連接性函數(shù)。
系統(tǒng)內(nèi)的查詢源自A節(jié)點，且沿樹下行。軌道數(shù)據(jù)沿樹上行，因為數(shù) 據(jù)量較小(例如，每天每輛車1Mb)，所以開銷小。視頻數(shù)據(jù)沿樹上行， 但是所能傳送的數(shù)據(jù)量受節(jié)點之間的帶寬限制。
依賴于系統(tǒng)的狀態(tài)，在攝像機(jī)C和查詢《之間有一些可能的關(guān)系。我 們假定(say):如果需要的軌道數(shù)據(jù)在節(jié)點w是可用的，則《對于在節(jié)點 "的C是可解析的
我們假定如果《是可解析的且結(jié)果存在于節(jié)點n，則g對于C是可 具體化的
浴o/vegw^ <^匚浴廣"J 因此主要的可能性是
(1) 如果軌道數(shù)據(jù)還沒有沿樹上行移動到節(jié)點n,則查詢在n節(jié)點不 可解析。
(2) 如果軌道數(shù)據(jù)可用而視頻數(shù)據(jù)不可用，則查詢是可解析的但非 可具體化的。
(3) 如果軌道數(shù)據(jù)和視頻數(shù)據(jù)都可用，則查詢是可具體化的。如果 一些視頻數(shù)據(jù)可用但是一些不可用，則查詢可能是部分可具體化的。如果 一些覆蓋數(shù)據(jù)存在但采樣率低于需要的釆樣率，或者如果數(shù)據(jù)以恰當(dāng)?shù)乃?率可用，但是僅僅對于查詢的時間范圍的部分可用，則可能發(fā)生上述這種 情況。
查詢解析(resolveQuery， resolveCamera )能發(fā)生在樹中存在需要的軌 道數(shù)據(jù)的任意層上。對于諸如跟蹤、瀏覽、和布置新的觀測器的交互式查詢(通過使用resolveQuery)，我們通常要求該查詢遍及所有攝像機(jī)被解 析，且要求結(jié)果^皮快速具體化，因此這些查詢在樹的頂端執(zhí)行且返回少量 數(shù)據(jù)，這些數(shù)據(jù)或者直接從A節(jié)點(服務(wù)器)存儲器返回，或者通過從相 關(guān)的D節(jié)點(車站)的存儲器中取出數(shù)據(jù)。
對于諸如永久虛擬觀測器和覆蓋查詢的非交互式數(shù)據(jù)采集查詢，解析 使用較低層次的rew/veCawera，或者在S節(jié)點(交通工具)，或者在D節(jié) 點(車站)。這些查詢通常需要被解析但是不需要被快速具體化，且當(dāng)新 的軌道數(shù)據(jù)變得可用時，這些查詢關(guān)于特定交通工具上的攝像機(jī)而被處 理。它們的任務(wù)是將數(shù)據(jù)從傳感器或交通工具傳入網(wǎng)絡(luò)。
查詢具體化能在樹的不同層次以不同的程度發(fā)生。大多數(shù)視頻數(shù)據(jù)存 在于樹的底部(如，在D節(jié)點)。由于在A-D節(jié)點鏈路上的帶寬限制，可 用數(shù)據(jù)中僅有一部分將駐留在A節(jié)點。查詢通常從A節(jié)點沿樹向下傳送直 到它們能被滿足。
盡管這種模型允許查詢能在S節(jié)點(服務(wù)器)處執(zhí)行，但是，當(dāng)前的 實現(xiàn)受能在商業(yè)上可用的移動數(shù)據(jù)記錄器上進(jìn)行的處理的類型的限制。實 際上，當(dāng)公共汽車在當(dāng)天的結(jié)尾一返回它們的車站，數(shù)據(jù)采集查詢就在D 節(jié)點被解析。 一旦GPS數(shù)據(jù)已經(jīng)被下載，就通過廠商現(xiàn)有的車隊管理API (fleet management api)解析該查詢且請求所需要的攝像機(jī)軌跡片段。對 于全部交通工具的組合需求能夠被分析，以提供優(yōu)先選擇計劃表，來確定 哪些視頻需要被檢索并被存儲。高速率視頻片段(來自觀測器查詢)在持 續(xù)時間上相對短且容易被系統(tǒng)滿足。剩余的帶寬被用于檢索供瀏覽用的覆 蓋數(shù)據(jù)。這不太重要，且相關(guān)的釆樣率能被調(diào)整來適應(yīng)于可用的網(wǎng)絡(luò)容量。
視圖合成
本計算機(jī)系統(tǒng)能被運(yùn)行以從由交通工具上的攝像機(jī)收集且存儲在圖 像存儲器74中的合適的原始圖像幀來重構(gòu)在監(jiān)視器上顯示的虛擬觀測器 的視圖。虛擬觀測器68將這些幀以特定的方式組合在一起，而這些方式 依賴于由用戶請求的視圖的類型?；诳臻g、時間和幾何結(jié)構(gòu)的約束，或基于陸標(biāo)的可見度，許多不同的視圖對于虛擬觀測器68是可用的。例如，在攝像機(jī)運(yùn)動已經(jīng)對景象產(chǎn)生了合適的采樣的情形下，虛擬觀測器能合成廣角全景視圖。這需要虛擬觀測器解決許多在傳統(tǒng)的靜態(tài)攝像機(jī)監(jiān)測系統(tǒng)中不存在的問題。
虛擬觀測器通過編索引、組織和變換從移動攝像機(jī)網(wǎng)絡(luò)收集的圖像來構(gòu)造其視圖。必要時，系統(tǒng)將通過組合在不同時間獲取的觀測結(jié)果來構(gòu)建合成圖像。
更詳細(xì)地，視圖合成包括對給定的查詢的圖像的檢索和融合。許多查詢操作需要確定關(guān)于特定地點的視圖。這在移動監(jiān)控的環(huán)境中造成了 一些挑戰(zhàn)。由于數(shù)據(jù)收集的特定的方式，對于特定的位置和時間的可用的圖像之間存在著高度可變性。與靜態(tài)攝像機(jī)監(jiān)控相比，對景象的釆集不常發(fā)生。例如，沿著公共汽車路線的地方僅僅當(dāng)公共汽車在附近的時候才被攝像。因此，采樣次數(shù)依賴于公共汽車在那條線路上的頻率。 一個地點的圖像由架設(shè)在不同的交通工具上的不同的攝像機(jī)獲得。由于傳感器響應(yīng)、照明和角度，可以有很大的不同。
對于簡單的圖像檢索任務(wù)，圖像之間的不同不會造成很大的問題。盡管如此，對于全景圖生成，有必要選擇相關(guān)圖像的序列，之后，關(guān)于共同參考幀來配準(zhǔn)這些圖像。
對于圖像選擇，有可能使用關(guān)于位置、行進(jìn)方向和行進(jìn)方向的變化率
的約束來識別候選圖像序列。對于圖像配準(zhǔn)和圖像混合，從GPS數(shù)據(jù)獲得
的方向可能不足夠精確，且需要使用更加復(fù)雜的技術(shù)。
除了虛擬觀測器設(shè)備，地圖顯示實現(xiàn)了 "跟蹤"模式，在該模式下用戶能移動顯示器上的游標(biāo)來選擇最匹配的觀測結(jié)果。給定點i5，系統(tǒng)使用
r尸，C，？來尋找并顯示相關(guān)的圖像v/d (T，"依賴于游標(biāo)修改器(cursormodifier), C，是所有軌跡的集合，或是特定的被選的軌跡。跟蹤能用來產(chǎn)生一種"虛擬驅(qū)動器"的效果，其中視頻序列能被生成以用于地圖中的任意軌道。
圖像拼接圖像對準(zhǔn)算法和圖像拼接算法通過較小的圖像的鑲嵌塊生成高分辨率圖像。最早的應(yīng)用包括由航空照片和衛(wèi)星圖像生成地圖。最近，這些算法已經(jīng)用在諸如便攜式攝像機(jī)和數(shù)字?jǐn)z像機(jī)等手持式成像設(shè)備上。圖像拼
接需要若干個步驟
首先，必須確定與圖像之間的像素坐標(biāo)相關(guān)的運(yùn)動才莫型。用直接的像
素與像素的比較，或用基于特征的技術(shù)(feature-based technology)計算圖像對的配準(zhǔn)。其次，對重疊的圖像計算整體一致性(globally consistent)配準(zhǔn)(或"光束法平差(b皿dle adjustment)")。接著，挑選一個復(fù)合面，根據(jù)其計算出的配準(zhǔn)將每個圖像映射到該面上。之后映射后的圖像被融合
來產(chǎn)生最終的圖像。融合算法需要最小化在圖像之間的接合處的視覺假象，且需要注意源圖像之間的曝光差別。
圖像拼接應(yīng)用在處理運(yùn)動、圖像配準(zhǔn)和圖像融合的方式方面不同。直接的配準(zhǔn)方法依賴于圖像的互相關(guān)，且往往在有旋轉(zhuǎn)或透視收縮出現(xiàn)時不能正常工作。現(xiàn)代特征探測器能在一定數(shù)量的仿射變換出現(xiàn)時顯示出相當(dāng)?shù)膹?qiáng)壯性。特別值得注意的是David Lowe的SIFT (尺度不變特征變換)。在最近對許多特征描述子的調(diào)查中，發(fā)現(xiàn)SIFT在圖像旋轉(zhuǎn)、尺度變化、仿射變換和光照變化下是最具有強(qiáng)壯性的。Brown和Lowe描述了一種基于SIFT特征匹配的自動全景圖拼接器。這是從一組輸入圖像中自動地識別多個全景圖的首次實現(xiàn)之一。這種算法的商業(yè)版本，AutoStitch，在一些攝影應(yīng)用中被許可使用。
在廣域監(jiān)控的環(huán)境中，圖像拼接(或"鑲嵌")是重要的，因為它能被用來提高攝像機(jī)的有效分辨率。水平轉(zhuǎn)動/垂直轉(zhuǎn)動/放大縮小(pan-tilt-zoom)攝像機(jī)能被用來以不同尺度因子(scale factor)掃描景象。通過拼接許多以高"縮放，，因子釆集的圖像，能產(chǎn)生高分辨率虛擬視野。Heikkila和Pietikainen描述了一種由掃描景象的攝像機(jī)獲得的視頻序列來構(gòu)建圖像鑲嵌的系統(tǒng)。這種實現(xiàn)類似于處理許多圖像，但是有一些修改。SIFT特征被用在圖像對準(zhǔn)中。高斯融合用于合成圖像，但是也用來識別圖像配準(zhǔn)的小問題。
23全景圖生成
當(dāng)交通工具轉(zhuǎn)向時，前向攝像機(jī)水平掃過(panacross )景象。這樣產(chǎn)生的圖像的序列能被組合來形成復(fù)合的廣角圖像。當(dāng)虛擬觀測器放在路上的十字路口或轉(zhuǎn)彎處時，匹配的軌跡片段界定了適合于拼接的圖像的序列。作為選擇，系統(tǒng)能通過尋找行進(jìn)方向的變化率高的區(qū)域來識別候選軌跡片段。已經(jīng)發(fā)現(xiàn)，每秒10度將產(chǎn)生好的結(jié)果。
系統(tǒng)用Brown和Lowe的方法來從一組圖像產(chǎn)生全景圖。這包括一 些步驟用SIFT關(guān)鍵點探測器識別特征點。每個關(guān)鍵點與位置、尺度和方向有關(guān)。SIFT特征對于少量仿射變換是具有強(qiáng)壯性的。對于每個輸入圖像，計算SIFT特征。對于每個特征找到&個最接近的鄰近值。對于每個圖像，該算法考慮具有與當(dāng)前的圖像匹配的特征的數(shù)量最多的/w個圖像。RANSAC用來選擇與在圖像之間的單應(yīng)性(homography ) —致的內(nèi)圍層(inlier)。之后用概率模型來校驗圖像匹配。之后用光束法平差來共同地求解所有的攝像機(jī)參數(shù)。 一旦已經(jīng)為每個圖像估算出攝像機(jī)參數(shù)，則圖像能被處理成共同參考幀。之后用多頻帶融合來合并圖像。
系統(tǒng)用AutoStitch來實現(xiàn)其全景圖構(gòu)建。盡管是為攝影工作設(shè)計的，但這種實現(xiàn)對于從移動視頻攝像機(jī)獲得的圖像來說效果也不錯。試驗顯示出，大多數(shù)處理時間需要是在算法的融合階段期間。用諸如線性融合而不是多頻帶融合的較簡單的融合算法，顯著地改善了處理時間。在響應(yīng)時間重要的交互式環(huán)境(settings )中，當(dāng)圖像被觀看時間較長時，逐漸提高融合質(zhì)量可能是有意義的。例如，初始圖像可以用線性融合表示，而多頻帶融合作為后臺處理啟動，其可能要花費(fèi)20或30秒來獲得高質(zhì)量環(huán)境。
圖12 (a)、 (b)和(c)示出一些從圖3中的虛擬觀測器自動地產(chǎn)生的幾幅全景圖。每個全景圖對應(yīng)于十字路口的分別的橫越。這些全景圖在尺寸上并不是完全線性的，因為轉(zhuǎn)向包括一些前向運(yùn)動和旋轉(zhuǎn)。這意味著后期的圖像相對于早期的圖像被擴(kuò)大(放大)了。在光束法平差期間，這些圖像被按比例縮小來適合于一致的參考幀。由于初始軌道中的不同，在所產(chǎn)生的圖像的形狀上也有一些小的變化。
全景圖拼接處理的 一個重要特征是其僅僅依賴于共同特征來計算圖像配準(zhǔn)。先前的全景圖由時間上相鄰的采樣產(chǎn)生，但是這對于拼接起作用來說不是必要的。倘若有足夠的重疊，就能夠使用時間上不相鄰的采樣。
圖13示出能通過將在不同時間獲得的圖傳_拼*接在一起產(chǎn)生的那種景象的例子。當(dāng)交通工具在十字路口轉(zhuǎn)向時，前向攝像機(jī)水平掃過部分景象。圖像的左手部分從來自西行車道的右轉(zhuǎn)獲得。右手部分從來自東行車道的左轉(zhuǎn)獲得。當(dāng)解釋這個圖像時，認(rèn)識到該圖像是由在不同時間的觀測結(jié)果構(gòu)造的復(fù)合圖像是重要的。盡管大尺度的結(jié)構(gòu)可能是正確的，但是假定物體在景象中移動就可能是一種誤解了 。
當(dāng)前的實現(xiàn)(基于AutoStitch)假定了攝像機(jī)通過圍繞共同的光心旋轉(zhuǎn)來掃描景象。在旋轉(zhuǎn)期間發(fā)生一些前向運(yùn)動的情形下，當(dāng)前的實現(xiàn)看起來也工作正常(即，來自轉(zhuǎn)向交通工具的向前朝向的視圖)。另一個用于掃描景象的可能模型是使攝像機(jī)的朝向垂直于運(yùn)動方向(即，來自交通工具的朝向側(cè)面的視圖)。后面的這種;f莫型有以下優(yōu)點交通工具的幾乎任何運(yùn)動都能掃描景象，而前面的模型需要轉(zhuǎn)向運(yùn)動?？梢灶A(yù)期的是，Brown和Lowe的方法對于朝向側(cè)面的攝像機(jī)也起作用，盡管對攝像機(jī)單應(yīng)性的表示法的一些改變將改進(jìn)攝像機(jī)的建模。實際上，這種方法(垂直于視軸運(yùn)動)用在大多數(shù)航空攝影應(yīng)用中。
實現(xiàn)
本系統(tǒng)已經(jīng)作為用Java編寫的原型應(yīng)用實現(xiàn)，包括以下幾個部分存儲管理器、查詢處理器、和視覺環(huán)境。存儲管理器實現(xiàn)了圖像和軌道數(shù)據(jù)的專門的存儲方案。軌道作為按時間排序的二元記錄流存儲在單個文件中。這允許通過順序讀取該文件的部分來處理軌道的全部或部分。視頻作為原始JPEG圖像的"數(shù)據(jù)塊(blob)"存儲在容器文件中。容器文件的一個區(qū)域是具有每個數(shù)據(jù)塊的時間標(biāo)記、位置和尺寸的索引。軌道和圖像容器都用時間(通過對文件或索引的二分搜尋)或定序位置而被時間上排序和訪問。
查詢處理器實現(xiàn)了諸如praxo&、 v/ew/w、 v&wC^f和cmw等算子。來
25自多個查詢的輸出被合并來產(chǎn)生緊湊的攝像機(jī)軌跡片段列表。這些列表以兩種方式使用。首先，攝像機(jī)軌跡片段用來構(gòu)建偽時間線，用于響應(yīng)于交互式查詢而導(dǎo)航視頻數(shù)據(jù)。其次，攝像機(jī)軌跡片段定義了待被導(dǎo)入系統(tǒng)以用于固定查詢的視頻片段。
Java Swing組件用于用戶界面和可視化。媒體I/O用核心JAVA類或QuickTime API實現(xiàn)。第三方組件被用來生成ECW圖像。對于實現(xiàn)來說，有若干個主要部分。低層次的基于流的存儲器管理系統(tǒng)處理視頻和GPS數(shù)據(jù)，這些視頻和GPS數(shù)據(jù)存儲在磁盤上并以時間為索引。在更高層次上，軌跡管理系統(tǒng)使視頻流、攝像機(jī)參數(shù)和軌道相聯(lián)系。這允許基于諸如接近度和可見度等空間約束進(jìn)行檢索。
圖14示出了本系統(tǒng)目前如何與在公共汽車運(yùn)營商的車站的現(xiàn)有系統(tǒng)相結(jié)合。每輛公共汽車都裝有一個GPS接收器和多個攝像機(jī)。 一個車隊管理系統(tǒng)負(fù)責(zé)從公共汽車車隊檢索數(shù)據(jù)。在系統(tǒng)中，為所有新的GPS數(shù)據(jù)放置了固定請求。當(dāng)公共汽車聯(lián)機(jī)時，GPS數(shù)據(jù)被檢索進(jìn)入車站存儲庫(132 )。虛擬觀測器處理監(jiān)控車站存儲庫的新數(shù)據(jù)，且將這些新數(shù)據(jù)導(dǎo)入它自己的存儲庫(134)內(nèi)。之后，基于所有的固定查詢來處理所有新的軌道數(shù)據(jù)，以產(chǎn)生作為一批請求提交給車隊管理系統(tǒng)(136)的攝像機(jī)軌跡片段流。之后，這些圖像數(shù)據(jù)被檢索到車站存儲庫(138)，且之后被導(dǎo)入系統(tǒng)(140)的存儲庫內(nèi)。導(dǎo)入操作可以濾除車站存儲庫內(nèi)存在的信息(例如，選擇特定的通道，或重新采樣數(shù)據(jù))。盡管存儲庫在數(shù)據(jù)采集過程中使用廠商規(guī)定的數(shù)據(jù)形式和協(xié)議，但存儲庫是獨(dú)立于廠商規(guī)定的數(shù)據(jù)形式和協(xié)議的。
大多數(shù)攝像機(jī)記錄了公共汽車內(nèi)乘客的活動。如果發(fā)生安全事件(如，惡意破壞的行為、侵犯人身的行為或偷竊行為)，從這些攝像機(jī)收集的視頻能用作調(diào)查的證據(jù)。位于入口的攝像機(jī)記錄搭乘公共汽車的每個人的面貌。此外，還可能會有一個或者更多個揚(yáng)—像機(jī)記錄公共汽車的外部環(huán)境。典型地，這些攝像機(jī)向公共汽車的前方往外看(有時也會向后)。如果公共汽車涉及交通工具或者行人的事故，從這些攝像機(jī)收集的視頻用作證據(jù)。這里，我們專注于那些從外部攝像機(jī)收集的數(shù)據(jù)，這些攝像機(jī)在公共汽車四處移動時對周圍的環(huán)境成像。每輛公共汽車都有7個攝像機(jī)，這些攝像機(jī)以384*288的分辨率記錄24位彩色圖像。整體采樣率是每秒約15幀；整體釆樣率按照需要分布于可用的攝像機(jī)，為每個攝像機(jī)分配約每秒2個圖像。對于特定的攝像機(jī)，可以通過減少其他攝像機(jī)的采樣率來增加其采樣率。用JPEG壓縮， 一個典型的圖像是約15Kb,產(chǎn)生的整體數(shù)據(jù)速率約為每秒225Kb。典型地，一輛公共汽車每周運(yùn)行約85小時，每周產(chǎn)生約67Gb的數(shù)據(jù)。每輛公共汽車裝有80Gb的存儲器，意味著圖像能被保存8到9天。
當(dāng)公共汽車返回車站，數(shù)據(jù)可以通過無線LAN下載。這些車的平均運(yùn)行時間是每天12到15小時，這就留下約每天8到10小時來下載。每個車站有約IOO輛公共汽車，但是這些車大致全部在"高峰時段，，以外的同一時間集中。無線鏈路是802.11g，但是盡管標(biāo)準(zhǔn)帶寬是54Mbps,有效吞吐量卻是約15到20 Mbps。在最糟的情況下，這給每輛車每天留下約540Mb的數(shù)據(jù)流量。這能夠滿足獲取所產(chǎn)生的視頻數(shù)據(jù)的約5%的需求。因此，系統(tǒng)選擇性地確定檢索什么數(shù)據(jù)以及丟棄什么數(shù)據(jù)，就是十分重要的了。
給定對傳感器網(wǎng)絡(luò)的約束，重要的是系統(tǒng)基于需求收集數(shù)據(jù)。用規(guī)則來確定哪些數(shù)據(jù)需要被系統(tǒng)地存儲。當(dāng)前，關(guān)注的是內(nèi)部安全攝像機(jī)，現(xiàn)有的規(guī)則根據(jù)時間和位置選擇視頻。例如，在夜總會或者易發(fā)生事故的地區(qū)，視頻數(shù)據(jù)會定期地在特定的時刻記錄。對于外部攝像機(jī)，這些約束可能基于在不同時間和地點的需要的時空分辨率。虛擬觀測器提供了 一個調(diào)節(jié)數(shù)據(jù)收集的不同機(jī)制。每個觀測器表示可能在長的時間期間內(nèi)穩(wěn)定的感興趣的區(qū)域。在這些點附近的數(shù)據(jù)通常應(yīng)該以在時間上和空間上的高分辨率收集。
本領(lǐng)域的技術(shù)人員應(yīng)理解可以對在具體實施方式
中示出的本發(fā)明做很多修改和/或變更而不背離被寬泛描述的本發(fā)明的精神和范圍。因此，從任何意義上來說所述實施方式應(yīng)視為例證的而不是限制性的。
權(quán)利要求
1. 一種廣域視頻監(jiān)測網(wǎng)絡(luò)，其包括多個攝像機(jī)，其中來自所述網(wǎng)絡(luò)的每個攝像機(jī)的視頻的每個片段或幀被存儲，用于之后結(jié)合下列軌道參數(shù)的檢索時間和空間位置。
2. 根據(jù)權(quán)利要求1所述的網(wǎng)絡(luò)，其中所述攝像機(jī)是移動攝像機(jī)。
3. 根據(jù)權(quán)利要求1所述的網(wǎng)絡(luò)，其中所述攝像機(jī)是在已知位置的靜 態(tài)攝像機(jī)。
4. 根據(jù)權(quán)利要求3所述的網(wǎng)絡(luò)，其中所述已知的位置由GPS確定。
5. 根據(jù)權(quán)利要求1所述的網(wǎng)絡(luò)，其中所述多個攝像機(jī)包括靜態(tài)攝像 才幾和移動4聶<象才幾。
6. 根據(jù)任何一項前面的權(quán)利要求所述的網(wǎng)絡(luò)，其中所述軌道參數(shù)還 包括方向、分辨率和視野中的一個或更多個。
7. 根據(jù)權(quán)利要求2或5所述的網(wǎng)絡(luò)，其中攝像機(jī)的所述網(wǎng)絡(luò)分布在 一隊交通工具上。
8. 根據(jù)權(quán)利要求7所述的網(wǎng)絡(luò)，其中，每個交通工具都裝有具有向 前看、向后看或者向側(cè)面看的外部視角的一個或更多個攝像機(jī)。
9. 根據(jù)權(quán)利要求1所述的網(wǎng)絡(luò)，其中，數(shù)據(jù)和時間標(biāo)記基于載于交 通工具上的本地時鐘而隨每個片段或幀^皮記錄。
10. 根據(jù)權(quán)利要求1所述的網(wǎng)絡(luò)，其中，隨每個片段或幀記錄的位置 信息獲取自GPS或慣性導(dǎo)航設(shè)備。
11. 根據(jù)權(quán)利要求1所述的網(wǎng)絡(luò)，其中，特定位置的片段或幀檢索自 多個存儲的視頻流，且被拼接在一起用于向用戶顯示。
12. 根據(jù)權(quán)利要求1所述的網(wǎng)絡(luò)，其中，在所述網(wǎng)絡(luò)中設(shè)置了假想的 攝像機(jī)的點被限定為具有與所述軌道參數(shù)相對應(yīng)的觀測參數(shù)，且這些觀測 參數(shù)被用來構(gòu)造查詢以從存儲器檢索片段或幀。
13. —種廣域視頻監(jiān)測網(wǎng)絡(luò)中的虛擬觀測器，其包括計算機(jī)和監(jiān)視器， 所述計算機(jī)能檢索被記錄且被存儲的視頻的片段或幀，在所述監(jiān)視器上， 所述監(jiān)視器顯示視圖，所述視圖由在不同時間記錄的片段或幀、或來自不 同的攝像機(jī)的片段或幀、或在不同的時間記錄且來自不同的攝像機(jī)的片段 或幀構(gòu)造，且所述視圖與時間和空間位置的軌道參數(shù)有關(guān)。
14. 根據(jù)權(quán)利要求13所迷的虛擬觀測器，其中所述軌道參數(shù)還包括方向、分辨率和視野中的一個或更多個。
15. 根據(jù)權(quán)利要求13或14所述的虛擬觀測器，其中構(gòu)造的視圖是下 面中的一個來自給定源位置、半徑、方向、分辨率和視野的虛擬觀測器的視圖；全景視圖，其中需要的視野比所述攝像機(jī)的視野更廣，所述全景視圖 包括在不同時間獲得的多個視圖，所述多個視圖被組合來給出廣角透視視 圖；"時間推移"視圖，其示出了地點的視圖如何隨時間變化； 特定的物體或陸標(biāo)的視圖；或 根據(jù)多個空間、時間和幾何約束而選擇的視圖。
16. —種在廣域視頻監(jiān)測網(wǎng)絡(luò)中操作虛擬觀測器的方法，所述方法包 括以下步驟接收所述網(wǎng)絡(luò)的地圖上的所述虛擬觀測器的位置的輸入； 接收所述位置的觀測參數(shù)和查詢算子的輸入； 確定與所指定的位置、查詢算子和觀測參數(shù)對應(yīng)的軌道參數(shù)； 檢索所存儲的、與所確定的所述軌道參數(shù)有關(guān)的視頻的片段或幀；以及由檢索到的視頻片段或視頻幀合成待顯示的視圖。
17. 根據(jù)權(quán)利要求16所述的方法，其中所述查詢算子包括下列項中 的一個或更多個最接近的觀測查詢，其返回從與所限定的位置最近的點獲得的片段或幀；朝向某地點的視圖，其返回觀看所限定的位置的片段或幀； 來自某地點的視圖，其返回從所限定的位置向外看的片段或幀；及 大的空間區(qū)域的視圖，其返回在所述區(qū)域中拍攝的片段或幀。
18. 根據(jù)權(quán)利要求16或17所述的方法，其中所述檢索步驟包括針 對特定的查詢算子而合并用多個攝像機(jī)拍攝的視頻的片段或幀的操作。
19. 根據(jù)權(quán)利要求16或17所述的方法，其中所述檢索步驟包括針 對多個查詢算子而合并用 一個攝像機(jī)拍攝的視頻的片段或幀的操作。
20. 根據(jù)權(quán)利要求16到19中的任一項所述的方法，其中顯示的所述 視圖可以不時地更新。
全文摘要
本發(fā)明涉及廣域視頻監(jiān)測系統(tǒng)。在第一方面本發(fā)明是監(jiān)測網(wǎng)絡(luò)，在另一方面本發(fā)明是虛擬觀測器，且在又一方面本發(fā)明是用于操作虛擬觀測器的方法。來自網(wǎng)絡(luò)的每個攝像機(jī)的每個視頻的片段或幀與下面的軌道參數(shù)有關(guān)時間和空間位置、以及可能為半徑、方向、分辨率和視野，并且這些片段或幀被存儲用于之后的檢索。
文檔編號H04N7/18GK101467454SQ200780021986
公開日2009年6月24日 申請日期2007年4月13日 優(yōu)先權(quán)日2006年4月13日
發(fā)明者斯圖爾特·埃利斯·史密斯·格林希爾, 斯維撒·文卡特斯赫 申請人:科汀科技大學(xué)