專利名稱：基于多層次全景建模的ptz跟蹤方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻監(jiān)控領(lǐng)域，具體涉及圖像拼接技術(shù)，場景定位，PTZ跟蹤，軌跡擬合和場景分析等領(lǐng)域。
背景技術(shù)：
視頻監(jiān)控是安全防范系統(tǒng)的重要組成部分，它是一種防范能力較強的綜合系統(tǒng)。視頻監(jiān)控以其直觀、準確、及時和信息內(nèi)容豐富而廣泛應(yīng)用于許多場合。近年來，隨著計算機、網(wǎng)絡(luò)以及圖像處理、傳輸技術(shù)的飛速發(fā)展，視頻監(jiān)控技術(shù)也有了長足的發(fā)展。目前根據(jù)監(jiān)控系統(tǒng)使用的監(jiān)控攝像機的種類不同，分為槍機(固定攝像機)監(jiān)控和PTZ攝像機(球機)監(jiān)控。由于PTZ攝像機相比于槍機，具有監(jiān)控的場景更大、跟蹤目標(biāo)范圍更廣、焦距可變等優(yōu)勢，很多部門都在這一方向進行研究。 PTZ攝像機跟蹤技術(shù)是一種利用圖像處理技術(shù)，實現(xiàn)目標(biāo)發(fā)現(xiàn)并控制PTZ攝像機對運動目標(biāo)在一定場景范圍內(nèi)進行定位，跟蹤和抓拍的監(jiān)控技術(shù)。這種技術(shù)可以用于路況監(jiān)控，公共場所安全監(jiān)控等多個領(lǐng)域。 攝像機對于運動目標(biāo)的跟蹤技術(shù)是基于對監(jiān)控場景的背景建模，從而發(fā)現(xiàn)進入場景中的目標(biāo)，實現(xiàn)對目標(biāo)在場景中的地位和跟蹤。相對于單個固定攝像機，PTZ攝像機具有監(jiān)控范圍大，可變焦等多種優(yōu)勢，但也存在攝像機內(nèi)參標(biāo)定復(fù)雜，監(jiān)控場景變化大等技術(shù)難點。目前，PTZ攝像機跟蹤技術(shù)主要有兩個發(fā)展方向單個PTZ攝像機的監(jiān)控，多個攝像機的監(jiān)控系統(tǒng)。 對于多個相機的跟蹤系統(tǒng)，基本的思想是一個固定攝像機(或者PTZ攝像機)作為主攝像機監(jiān)控一個較大的場景，提供全局的信息，而作為輔助攝像機的一個或多個PTZ攝像機則是通過與主攝像機的定標(biāo)來引導(dǎo)其進入相應(yīng)的監(jiān)控位置進行目標(biāo)的跟蹤及細節(jié)信息的提取。在2009年CVPR會議上"Cooperative M即ping of Multiple PTZ Camerasin Automated SurveillanceSystems"中就是這種方法。多攝像機系統(tǒng)的跟蹤算法和背景建模在實現(xiàn)起來相對于單攝像機要容易，并且可以得到目標(biāo)在監(jiān)控范圍內(nèi)的位置信息；但是最大的技術(shù)問題在于主攝像機和輔助攝像機之間的定標(biāo)問題，因為不同攝像機的內(nèi)部參數(shù)存在差異，同時，輔助攝像機的參數(shù)在跟蹤過程中還在變化，這個對攝像機之間的通信控制提出比較高的要求，另外多個攝像機監(jiān)控系統(tǒng)的成本也會比較高，使得產(chǎn)品的價格相比于單個PTZ攝像機監(jiān)控系統(tǒng)昂貴，不利干普及。 對于單個PTZ攝像機，由于缺乏全景的信息，多數(shù)算法則是根據(jù)當(dāng)前幀和過去一幀或幾幀的比較來判斷目標(biāo)并實現(xiàn)目標(biāo)位置預(yù)測和跟蹤。單個PTZ跟蹤的優(yōu)勢在于安裝和調(diào)試比較容易，成本也相對比較低廉；但是由于得到PTZ攝像機三個變量的信息需要依賴最近幾幀圖像之間的信息來計算，也就是完全依賴于跟蹤算法，所以很難準確對PTZ攝像機控制，同時單個PTZ攝像機不包含全局信息，也不能提供目標(biāo)運動的絕對信息和位置。而目前的單機全景跟蹤主要是利用魚眼鏡頭實現(xiàn)，但是這樣的結(jié)果就是不能通過變焦獲得目標(biāo)的具體信息，如人臉，車牌等。鑒于目前的發(fā)展?fàn)顩r，對于單個PTZ攝像機跟蹤系統(tǒng)的改進，則是要提供全局的信息來支持其跟蹤算法，使得可以在跟蹤的過程中得到全局信息和目標(biāo)運動的絕對位置信息。 鑒于之前的介紹，我們發(fā)現(xiàn)目前的基于PTZ攝像機監(jiān)控系統(tǒng)，存在主要兩個方面的問題對于多個PTZ攝像機的監(jiān)控系統(tǒng)，相機之間的標(biāo)定和通信是主要問題，而對于基于單個PTZ攝像機監(jiān)控系統(tǒng)，如何提供全景式的場景信息是有待解決的核心問題。

發(fā)明內(nèi)容
本發(fā)明為了解決單個PTZ攝像機缺乏全局信息的問題，實現(xiàn)單個PTZ攝像機對大場景進行監(jiān)控。 具體包括以下幾個步驟(圖1):
1.全景圖的生成以及場景區(qū)域的劃分；
2.全景多層次背景模型的建立；
3.基于關(guān)鍵幀的場景定位； 根據(jù)單個PTZ攝像機缺乏全局信息的缺點，我們采用在跟蹤前離線生成全景圖并建立全景式多層次背景模型的方法來給單個PTZ攝像機提供監(jiān)控場景的全局信息。


圖1系統(tǒng)框圖
圖2全景圖生成 圖3多層背景建模，圖中左列第一個圖片是關(guān)鍵幀，下面4張是第二尺度的四張圖片，包含了關(guān)鍵幀的區(qū)域，右列自上而下分別是加入了第二尺度特征點的圖片，其中紅色的點是關(guān)鍵幀自身的特征點，綠色的點是第二個尺度上的特征點
圖4定位結(jié)果
具體實施方案 1.全景圖的生成以及場景區(qū)域的劃分 在系統(tǒng)中，我們采用Matthew Brown， David G. Lowe的"Auto matic PanoramicImageStitching using Invariant Features，， (IJCV 07)中提出的方法生成全景圖。首先利用PTZ攝像機對監(jiān)控場景拍攝一系列離散的圖片，這些圖片我們在后面的步驟中被稱作關(guān)鍵幀(keyframe)，對于關(guān)鍵幀的要求是兩幅相鄰的關(guān)鍵幀需要具有一定的重合區(qū)域。對這些圖片提取SIFT特征點并對相鄰的關(guān)鍵幀進行匹配尋找正確匹配點，利用得到的正確匹配點的坐標(biāo)信息來計算這些圖片在世界坐標(biāo)系中的位置，這里為了消除累計誤差，采用了一種稱作B皿dleadjustment的全局優(yōu)化方法。利用得到的關(guān)鍵幀在世界坐標(biāo)系中的坐標(biāo)信息把圖片投影到半徑與其焦距相同的球面上，并對圖片之間重合的區(qū)域進行圖像融合，消除圖像之間因為計算誤差而產(chǎn)生的重影等現(xiàn)象，從而得到可視化的全景圖(圖2)。在生成全景圖的過程中，每一張關(guān)鍵幀在世界坐標(biāo)系中的坐標(biāo)位置參數(shù)都將被保存下來，包括焦距，圖像中心的在水平方向和垂直方向上兩個角度。
2.全景多層次背景模型的建立 在步驟1中，我們已經(jīng)得到了 PTZ攝像機監(jiān)控場景的全景圖，步驟2的任務(wù)是在全
4景圖的基礎(chǔ)上建立全景多層次背景模型，由于第一步生成的全景圖尺寸很大，如果建立全尺寸的背景模型，每次搜索的過程將會需要遍歷大量的數(shù)據(jù)，降低系統(tǒng)的實時性。所以我們在建立背景模型時采用對每個關(guān)鍵幀單獨建立模型的方法，這樣一方面可以減小每次監(jiān)控視頻與背景模型匹配時的計算量；另一方面，因為關(guān)鍵幀和監(jiān)控視頻的圖像格式大小相同，也有利于后面的計算和坐標(biāo)系的統(tǒng)一。 我們采用的是離線提取并儲存場景中的SIFT特征點的方法來建立背景模型，因為SIFT特征點具有較強的尺度，光照不變性，對于PTZ攝像機工作的戶外監(jiān)控場景具有比較好的適應(yīng)性?？紤]到PTZ工作的任務(wù)不只是跟蹤目標(biāo)，還需要適時對目標(biāo)細節(jié)進行抓取，比如人臉，車牌等，這就需要對相機進行大尺度的焦距變倍操作，由于SIFT特征點本身構(gòu)建算法上的限制，在一些特定的焦距大變倍率條件下SIFT特征點就不能很好地工作，所以如果只建立單層尺度的SIFT特征點背景模型，其尺度適應(yīng)性對于PTZ攝像機的大變焦特點就不能很好滿足，在PTZ攝像機抓拍人臉或車牌的時候就不能在全景圖上有效地定位，所以我們采用建立多層次背景模型的方法來解決SIFT特征點尺度不變性的局限性。
由于全景圖的構(gòu)成需要多張關(guān)鍵幀，每一張關(guān)鍵幀的多層次背景建模的方式基本一致，所以，這里我們就以一張為例介紹多層次背景建模的方法。 在這一步驟中，我們首先對步驟1中的關(guān)鍵幀進行SIFT特征點的提取和儲存，每一個特征點的結(jié)構(gòu)包括了特征點的坐標(biāo)，所在的尺度層次和SIFT特征點本身的128維描述。在完成這一工作之后，實際上當(dāng)前的關(guān)鍵幀已經(jīng)可以支持一定尺度的變焦并準確定位當(dāng)前幀在全景圖上的位置。 前面我們已經(jīng)完成了單張的關(guān)鍵幀的SIFT特征點的提取以及特征信息的儲存任務(wù)。我們知道，對于每一張關(guān)鍵幀，隨著PTZ攝像機焦距的變大，視頻中出現(xiàn)的場景范圍會越來越狹小，但同時視頻中也獲得了場景中在關(guān)鍵幀尺度條件下所不能夠得到的信息，比如一些路邊的標(biāo)識牌上的文字等。我們從這些高倍的圖像中提取出新的SIFT特征點，這些SIFT特征點可以在更高尺度層次上支持更高尺度適應(yīng)性，這樣通過不同尺度上SIFT特征點的累積，可以實現(xiàn)關(guān)鍵幀在一個較寬的尺度變化范圍內(nèi)都具有尺度不變性，從而滿足PTZ攝像機在較大焦距段內(nèi)的變化。 這里我們以建立3個尺度層次的背景模型為例(包括之前已經(jīng)完成的關(guān)鍵幀所在的尺度)，這是經(jīng)過試驗證明可以完成絕大多數(shù)場景的定位任務(wù)。下面就分別對兩個尺度二的特征點如何儲存在關(guān)鍵幀上進行介紹。 首先，對于第二個尺度，一般選擇2倍到3倍于關(guān)鍵幀的焦距，這樣選取的原因是SIFT特征點基本在這個范圍內(nèi)還比較穩(wěn)定，超過這個尺度范圍，就會出現(xiàn)不能正確匹配或找不到匹配點的情況。此時，大約需要4-6幅第二尺度的圖片才能完全覆蓋對應(yīng)的關(guān)鍵幀的視場范圍。下面要進行的工作就是把這些第二尺度上的SIFT特征點儲存到關(guān)鍵幀上。由于SIFT特征點本身的特點，這些操作都是在亞像素級上完成的。
在SIFT特征點的轉(zhuǎn)存過程中會遇到2種情況 1.特征點在關(guān)鍵幀上有對應(yīng)的匹配關(guān)系，即為關(guān)鍵幀上某些SIFT特征點的內(nèi)點(正確的匹配點)； 2.第二層中的SIFT點在關(guān)鍵幀中沒有對應(yīng)的匹配點； 對于第一種情況，因為在計算特征點的匹配時并不是要求兩個特征點的特征描述完全相同，而是兩個描述向量之間的距離小于一定的閾值就可以認為兩者是同一個點，所 以我們?nèi)匀恍枰训诙又械年P(guān)于特征點的特征描述也儲存在第一層相匹配的特征點位 置上，即該位置擁有兩種不同尺度下的特征描述，當(dāng)監(jiān)控視頻中的某一幀圖像中存在一個 點的描述和這兩個描述中的任意一個描述距離小于一定的閾值時，就認為圖像中的點和該 點是相同的。 對于第二種情況，因為之前我們已經(jīng)得到了第一種情況下的特征點匹配關(guān)系，因
此我們可以得到兩幅圖像(關(guān)鍵幀和第二個尺度中的某一幅圖片(圖像l))的單應(yīng)關(guān)系，
也就是說此時我們可以把圖像1的每一個點都對應(yīng)到關(guān)鍵幀上并儲存，但是在實際操作中
我們只需要儲存圖像1上SIFT特征點的特征信息坐標(biāo)，尺度和特征描述。 當(dāng)我們儲存第二張第二尺度圖片圖像2上的SIFT特征點時，因為有一些點的坐標(biāo)
處在圖像2和圖像1的重合區(qū)域上，由于計算誤差等原因，如果按照上面的方法，可能就會
在一個小的范圍內(nèi)儲存下兩個相同的特征點，對后面的定位會造成一定的影響，所以在儲
存圖像2上的特征點之前我們會用圖像2與已經(jīng)儲存了圖像1上SIFT特征點的信息的新
關(guān)鍵幀計算單應(yīng)關(guān)系，而不是和原始的關(guān)鍵幀計算，這樣就可以避免上面的這種情況出現(xiàn)，
同時還可以減少儲存的信息量。后面的第二個尺度上的圖片也就按照這樣的方法把SIFT
特征點信息儲存在關(guān)鍵幀上。 此時在關(guān)鍵幀上存在兩類特征點，實際可以提取出來的SIFT特征點(第一種情 況)，虛擬的特征點(第二種情況)。前一種特征點是可以有周邊的圖像信息支持，而虛擬特 征點則是只有特征描述和坐標(biāo)位置，支持它的信息則在第二個尺度的圖片中，實際工作時， 這些信息因為對于匹配定位是沒有作用的，所以并不儲存。 下面我們要進行第三個尺度上的特征點的儲存工作，第三個尺度下的圖片同樣也 是2-3倍于第二個尺度的焦距，此時相對于關(guān)鍵幀的焦距最大可以達到9倍，這樣完全可以 滿足在一定的場景范圍內(nèi)PTZ攝像機焦距的變化。 由于此時的關(guān)鍵幀上實際已經(jīng)有了兩個尺度的SIFT特征點信息，對于第三層的 坐標(biāo)點的定位，也要面對兩種情況 1.與關(guān)鍵幀上已存的實際特征點和虛擬特征點存在有匹配關(guān)系的特征點；
2.與關(guān)鍵幀沒有匹配關(guān)系的特征點； 實際的處理方法和前面介紹的第二尺度上的特征點向關(guān)鍵幀上儲存的方法基本 相同，只是第三個尺度上的圖片數(shù)量更多，這也是為什么我們不采用構(gòu)建多個全景圖作為 背景的原因，儲存和調(diào)用這些圖片會占用大量的內(nèi)存。 在完成這兩步之后，實際上我們存儲的特征點數(shù)量很多，對于一張關(guān)鍵幀來說，特 征點的數(shù)量越多，在匹配的過程中，消耗的時間也會越大，所以，需要通過一些方法來去除 掉其中的一些對于下一步工作不是特別重要的特征點.。 舍棄特征點的工作和在關(guān)鍵幀上儲存特征點同時進行，在舍棄特征點的過程中基 于兩個原則l.對于包含多個描述的特征點(虛擬特征點)，必須保留，因為兩幅圖之間的 內(nèi)點已經(jīng)因為包含了 2個(以上)的描述符而肯定得到了保存，尺度穩(wěn)定性更好；2.單位 面積上的特征點數(shù)量不能太多，否則會造成計算量的增加和精度分布不均，因此我們統(tǒng)計 已經(jīng)保存的特征點(虛擬特征點)的分布，找到在當(dāng)前關(guān)鍵幀中SIFT特征點分布比較稀少 的位置，在這些區(qū)域添加虛擬的特征點描述。
至此全景多層次背景模型建立完畢，這一步工作的目的有兩個方面第一，因為 SIFT特征點雖然具有一定的尺度不變性，但是當(dāng)場景尺度變化比較大的時候，這種尺度不 變性就不能保持，儲存多個尺度上的SIFT點特征表達就是解決這個問題；第二，因為隨著 全景圖尺度的提高，需要的關(guān)鍵幀就會更多，這樣給PTZ攝像機設(shè)定預(yù)置位也會出現(xiàn)困難， 同時在下一步的定位過程中，不可能在多個尺度的全景圖上切換，所以把所有的點投影在 統(tǒng)一尺度的關(guān)鍵幀上，也有利于整體坐標(biāo)系的統(tǒng)一。
3.基于關(guān)鍵幀的場景定位 單個PTZ攝像機的監(jiān)控遇到的最大問題之一就是僅通過當(dāng)前視頻的圖像信息不 能得到目標(biāo)在全局的坐標(biāo)位置，在步驟3中，我們將利用在前面已經(jīng)生成的多層次背景模 型來實現(xiàn)對當(dāng)前視頻全局坐標(biāo)信息的判定，即場景定位。 場景定位的基本原理是通過定位當(dāng)前監(jiān)控視頻中背景的位置，從而再利用跟蹤信 息把前景(跟蹤目標(biāo))的在全景圖上的坐標(biāo)位置顯示在全景圖上。 在步驟1中我們已經(jīng)保存了用于圖像拼接的關(guān)鍵幀的位置參數(shù)(焦距，水平旋轉(zhuǎn) 角，垂直旋轉(zhuǎn)角)；步驟2中，這些關(guān)鍵幀上又加入了一定數(shù)量的多個尺度下SIFT特征點 (虛擬特征點)，在步驟3中，將利用前兩步已經(jīng)保存的信息來計算當(dāng)前監(jiān)控視頻中目標(biāo)在 全局的絕對位置。 當(dāng)前監(jiān)控視頻中的第一幀圖像為圖像1，對圖像1進行SIFT特征點的提取，將這些 特征點與所有的關(guān)鍵幀比較，計算匹配程度，選出匹配程度最高的關(guān)鍵幀關(guān)鍵幀1，由于 一個關(guān)鍵幀包含的場景會在以后的一段時間內(nèi)滿足監(jiān)控視頻圖像的特征點定位，在接下來 的定位中先選擇關(guān)鍵幀1為第一關(guān)鍵幀。下面介紹圖像1如何定位到全景圖坐標(biāo)系上
利用關(guān)鍵幀1上已經(jīng)儲存下的特征點和圖像1上提取出來的SIFT點進行匹配。在 進行匹配的時候，每一個圖像1上的SIFT特征點都會遍歷式地搜索關(guān)鍵幀1上所有的特征 點，找到與其特征向量之間距離小于一定閾值的特征點并認為是正確的匹配點。前面的步 驟中已經(jīng)介紹了 SIFT本身的尺度適應(yīng)性的局限，當(dāng)尺度變化較大的時候這種適應(yīng)性就不 能滿足需要，因此我們在關(guān)鍵幀上又儲存了一些大尺度圖像上的特征點，增大背景模型的 尺度適應(yīng)范圍。 在之前的多層次背景模型建立過程中，實際上已經(jīng)把第二，第三個尺度上的特征 點坐標(biāo)統(tǒng)一到關(guān)鍵幀圖像坐標(biāo)系下，這使得在進行匹配運算的時候，可以把兩個高尺度上 的特征信息傳遞給關(guān)鍵幀上的某些坐標(biāo)位置，并認為這些特征信息存在于關(guān)鍵幀上。在完 成尋找圖像1和關(guān)鍵幀1之間相互匹配的特征點(內(nèi)點)后，我們可以得到每個特征點在 關(guān)鍵幀1和圖像1上的圖像坐標(biāo)對X《attl和X^^，這些內(nèi)點雖然在兩幅圖像中的坐標(biāo)位 置不同，但是它們在實際的世界坐標(biāo)系中具有相同的空間坐標(biāo)XW:
X關(guān)鍵幀丄二P關(guān)鍵幀^XW (3.1)
Xmftl = Pmftl*Xw (3.2) 其中，P關(guān)鍵^和Pmftl分別是關(guān)鍵幀1和圖像1對應(yīng)于世界坐標(biāo)系的攝像機矩陣， 也就是通過公式3. 1和公式3. 2可以將關(guān)鍵幀1和圖像1上的圖像點投影到世界坐標(biāo)系中。
對于一幅圖像的標(biāo)準攝像機矩陣P，是一個具有11個自由度的3行4列矩陣，但是 對于PTZ攝像機，在旋轉(zhuǎn)、變焦過程中攝像機的光心位置實際沒有發(fā)生偏移，攝像機的旋轉(zhuǎn) 也只在P，T兩個方向上，同時攝像機拍攝圖像的尺寸我們也可以預(yù)先得到，所以我們把PTZ
7攝像機的P矩陣簡化為一個3自由度的3X3的矩陣，它只與PTZ攝像機的三個變化參數(shù)P
轉(zhuǎn)角，T轉(zhuǎn)角和變倍率Z有關(guān)，即 P = K*R (3. 3) 其中，攝像機的內(nèi)參矩陣K =
，攝像機的旋轉(zhuǎn)矩陣R =
<formula>formula see original document page 8</formula>[OO56]其中，H圖像卜關(guān)鍵#1是關(guān)鍵幀1和圖像1之間的單應(yīng)關(guān)系，也就是通i 可以計算出圖像1上的點在關(guān)鍵幀1上的圖像坐標(biāo)，艮卩
X關(guān)鍵幀i = H圖像卜關(guān)鍵幀i*X圖像1 (3. 4)
通過公式3. 1和3. 2，很容易得到
H圖像i-關(guān)鍵幀i = K關(guān)鍵幀iR關(guān)鍵幀iR圖像iK圖像
(3.5) 對于關(guān)鍵幀l，因為在之前拼接全景圖的過程中，其焦距f，P轉(zhuǎn)角和T轉(zhuǎn)角已經(jīng)得 到，實際在計算過程中只需要求解圖像1的三個參數(shù)即可，我們把通過匹配得到的內(nèi)點對 代入公式3. 4，通過迭代的方式得到圖像1的三個參數(shù)，這樣就可以求解出圖像1在全景圖 中的位置，從而實現(xiàn)背景的精確定位。 由于監(jiān)控視頻是一個連續(xù)的視頻信號，所以不會出現(xiàn)大幅度的跳動，那么對于圖 像1以后的下一幀監(jiān)控視頻圖像2，因為已經(jīng)知道圖像1的坐標(biāo)，所以下一幀會去與圖像1 距離最近的關(guān)鍵幀匹配，如果認為匹配度不能達到準確計算出圖像2的位置，就會去與圖 像1距離第二近的關(guān)鍵幀匹配，直到找到能夠準確計算圖像2位置的關(guān)鍵幀，同時再每次計 算完一幀監(jiān)控視頻，就會把第一關(guān)鍵幀更新為與剛得到位置信息的監(jiān)控視頻距離最近的關(guān) 鍵幀，下一幀視頻信號則會首先與這一關(guān)鍵幀進行匹配計算，從而不需遍歷所有的關(guān)鍵幀， 使得計算速后的下一幀監(jiān)控視頻圖像2，因為已經(jīng)知道圖像1的坐標(biāo)，所以下一幀會去與圖 像1距離最近的關(guān)鍵幀匹配，如果認為匹配度不能達到準確計算出圖像2的位置，就會去與 圖像1距離第二近的關(guān)鍵幀匹配，直到找到能夠準確計算圖像2位置的關(guān)鍵幀，同時再每次 計算完一幀監(jiān)控視頻，就會把第一關(guān)鍵幀更新為與剛得到位置信息的監(jiān)控視頻距離最近的 關(guān)鍵幀，下一幀視頻信號則會首先與這一關(guān)鍵幀進行匹配計算，從而不需遍歷所有的關(guān)鍵 幀，使得計算速度提升。 在得到監(jiān)控目標(biāo)在全景圖的每一時刻的位置后，系統(tǒng)可以擬合出目標(biāo)的全局運動 軌跡信息。
圖像1-關(guān)鍵幀]
權(quán)利要求
全景層次性背景模型的建立，其步驟包括a.對于拼接全景圖的關(guān)鍵幀進行SIFT特征點提取并儲存；b.對每一個關(guān)鍵幀位置再進行變焦，提取關(guān)鍵幀圖像范圍內(nèi)尺度更高的一組圖像的SIFT特征點；c.把更高尺度上的SIFT特征點投影并儲存到關(guān)鍵幀上；d.對于已經(jīng)儲存的SIFT特征點進行篩選；
2. 基于關(guān)鍵幀的場景定位，其步驟包括a. 對于每一幀監(jiān)控視頻圖像提取SIFT特征點；b. 計算監(jiān)控視頻圖像與關(guān)鍵幀的匹配關(guān)系，找到匹配度最高的關(guān)鍵幀；c. 計算監(jiān)控視頻圖像與關(guān)鍵幀的位置關(guān)系，從而確定監(jiān)控視頻圖像在全景圖的準確位置；
3. 如權(quán)利要求l的全景層次性背景模型的建立，其特征是在關(guān)鍵幀上構(gòu)建多層次模 型，減少每次搜索的范圍；
4. 如權(quán)利要求1的全景層次性背景模型的建立，其特征是單尺度關(guān)鍵幀上儲存多尺度 的特征點信息，增強單幅關(guān)鍵幀的尺度適應(yīng)性；
5. 如權(quán)利要求1的全景層次性背景模型的建立，其特征是對儲存的特征點進行篩選， 減少儲存的數(shù)據(jù)量提高檢索效率；
6. 如權(quán)利要求2的基于關(guān)鍵幀的場景定位，其特征是動態(tài)選擇計算匹配關(guān)系的關(guān)鍵 幀，提高檢索效率；
7. 如權(quán)利要求2的基于關(guān)鍵幀的場景定位，其特征是通過直接計算監(jiān)控視頻圖像與關(guān) 鍵幀的位置關(guān)系，從而間接得到其在全景圖上的位置；
8. 如權(quán)利要求2的基于關(guān)鍵幀的場景定位，其特征是通過得到監(jiān)控目標(biāo)在全景圖上的 位置信息可以得到目標(biāo)在監(jiān)控范圍內(nèi)的運動軌跡。
全文摘要
本發(fā)明公開了一種基于多層次全景模型的PTZ跟蹤定位方法，包括1.利用SIFT特征點建立多層次背景模型；2.利用SIFT特征點的匹配對當(dāng)前監(jiān)控場景進行全局位置的確定。利用這些算法，可以有效擴展圖像中SIFT特征點集合的尺度適應(yīng)性，解決在PTZ攝像機大尺度變焦時不能有效匹配背景模型的問題，實現(xiàn)單個PTZ攝像機對當(dāng)前監(jiān)控范圍在全局場景中的定位，從而優(yōu)化PTZ跟蹤的效果，并得到所監(jiān)控目標(biāo)在全局場景的運動軌跡信息。
文檔編號H04N7/18GK101719986SQ20091026615
公開日2010年6月2日 申請日期2009年12月30日 優(yōu)先權(quán)日2009年12月30日
發(fā)明者朱松純, 林倞, 薛康 申請人:湖北蓮花山計算機視覺和信息科學(xué)研究院