專利名稱：基于云臺(tái)攝像頭的飛行器起降跟蹤算法及跟蹤系統(tǒng)的制作方法
基于云臺(tái)攝像頭的飛行器起降跟蹤算法及跟蹤系統(tǒng)技術(shù)領(lǐng)域
本發(fā)明屬于視頻監(jiān)控技術(shù)領(lǐng)域，具體涉及一種針對有固定起飛降落模式的飛行器 飛行領(lǐng)域的視頻處理與應(yīng)用，以及基于視頻處理歷史數(shù)據(jù)挖掘的云臺(tái)控制和追蹤目標(biāo)技 術(shù)，尤其涉及基于云臺(tái)攝像頭的飛行器起降跟蹤算法及跟蹤系統(tǒng)。
背景技術(shù)：
隨著世界經(jīng)濟(jì)迅速發(fā)展，航空技術(shù)突飛猛進(jìn)，各地之間人員往來越來越密切，航空 服務(wù)和運(yùn)輸在人們?nèi)粘Ｉ钪兴急戎卦絹碓酱?。長期以來，空中運(yùn)輸?shù)闹悄苄畔⒒芾?以及航空安全一直是相關(guān)各界探索研究的一個(gè)重要課題。
飛行器起降的監(jiān)控到至今仍停留在人工記錄觀測的水平上，這種傳統(tǒng)的方式存在 兩個(gè)不足一是觀測工作的實(shí)時(shí)性、有效性和完整性，直接影響了機(jī)場觀測數(shù)據(jù)的質(zhì)量；二 是人工觀測所得的資料標(biāo)準(zhǔn)偏差大，后期整理處理分析過程手段復(fù)雜，信息再利用價(jià)值不 高。隨著飛行器數(shù)量不斷增加，以及重大航空事故在起降階段增多，飛行器管理監(jiān)控工作 越顯重要，需要一種能夠?qū)︼w行器起降進(jìn)行精細(xì)化、自動(dòng)化跟蹤的技術(shù)手段。
本發(fā)明的算法能夠很好地解決了上述問題。通過安裝在機(jī)場塔臺(tái)上的監(jiān)控?cái)z像頭 拍攝的實(shí)時(shí)監(jiān)控視頻畫面來分析機(jī)場情況，主要優(yōu)點(diǎn)在于其信號(hào)包含完整畫面，內(nèi)容更加 豐富，提供實(shí)時(shí)信息，也為計(jì)算機(jī)及相關(guān)工作人員所理解，為快速預(yù)警、啟動(dòng)緊急措施以及 智能錄像監(jiān)控與后期處理提供了可能，因此大大提高了監(jiān)控的可靠性、準(zhǔn)確性以及后續(xù)處 理分析的可操作性，具有極大地應(yīng)用價(jià)值與前景。
針對在起降過程中，飛行器跟蹤的關(guān)鍵在于檢測跑道上及半空中飛行器，難點(diǎn)在 于戶外監(jiān)控環(huán)境下的光線變化以及高速運(yùn)動(dòng)的背景畫面中前景對象的提取和分離，難以建 立樣本。本發(fā)明在這方面提出了很好的解決算法。發(fā)明內(nèi)容
本發(fā)明的目的在于克服上述難點(diǎn)，提出一種基于云臺(tái)攝像頭的智能飛機(jī)起降跟蹤 算法及跟蹤系統(tǒng)。
本發(fā)明的技術(shù)方案如下一種基于云臺(tái)攝像頭的飛行器起降跟蹤算法和跟蹤系統(tǒng)，通過安裝在塔臺(tái)上的監(jiān)控?cái)z 像頭及云臺(tái)，由監(jiān)控?cái)z像頭送出的模和擬信號(hào)，經(jīng)轉(zhuǎn)換成為數(shù)字視頻信號(hào)后，作為跟蹤系 統(tǒng)的輸入。該跟蹤系統(tǒng)包括目標(biāo)檢測模塊(1)、跟蹤模塊(2)和云臺(tái)控制模塊(3)；其中 所述目標(biāo)檢測模塊(1)包括背景建模子模塊(1. 1)、前景分析子模塊(1.2)、目標(biāo)提取 子模塊(1. 3)及顏色特征提取子模塊(1. 4)，由目標(biāo)檢測模塊(1)檢測出的飛行器坐標(biāo)送往 跟蹤模塊(2)；所述跟蹤模塊(2)包括角點(diǎn)特征提取子模塊(2. 1)、通過光流跟蹤子模塊(2. 2)、卡爾 曼濾波子模塊(2. 3)、Mean-shift子模塊(2. 4)、決策子模塊(2. 5)；角點(diǎn)特征提取子模塊 (2. 1)接收由目標(biāo)檢測模塊(1)檢測出的飛行器坐標(biāo)；通過光流跟蹤子模塊(2. 2)輸出，由卡爾曼濾波子模塊(2. 3)得到一個(gè)預(yù)測值，Mean-shift子模塊(2. 4)得出另一個(gè)預(yù)測值，由 決策子模塊(2. 5)作出調(diào)整；跟蹤模塊(2)將飛行器預(yù)測坐標(biāo)送往云臺(tái)控制模塊(3)；所述云臺(tái)控制模塊(3 )包括速度估計(jì)子模塊(3.1)和指令發(fā)送子模塊(3. 2 )；由速度估 計(jì)子模塊(3. 1)根據(jù)飛行器預(yù)測坐標(biāo)進(jìn)行飛行器速度的計(jì)算與分析，得到相應(yīng)的云臺(tái)速度， 由指令發(fā)送子模塊(3. 2)實(shí)施相應(yīng)云臺(tái)操作。 本發(fā)明中所述背景建模子模塊(1.1)，該模塊通過平均取出的幀圖像對背景進(jìn)行學(xué)習(xí)，建立混合 高斯模型以及更新。
所述前景分析子模塊(1.2)，該模塊根據(jù)背景建模子模塊提供的背景信息對取出 的幀圖像進(jìn)行二值化處理，即與背景模型的灰度值的差在一定范圍內(nèi)的像素點(diǎn)設(shè)為黑色， 與背景差異性較大的設(shè)為白色從而提取出了所需要的前景信息。
所述目標(biāo)提取子模塊(1.3)，該模塊根據(jù)前景分析子模塊生成的二值化圖像對圖 像幀的前景部分進(jìn)行檢查，當(dāng)前景按照預(yù)定次序通過若干指定區(qū)域觸發(fā)框時(shí)，標(biāo)志已獲得 目標(biāo)，產(chǎn)生觸發(fā)事件，獲取前景中飛行器的位置范圍，傳遞給跟蹤模塊中的顏色特征提取子 模塊。
所述的顏色特征提取子模塊(1.4)，該模塊提取輸入矩形在原來幀中的顏色信息， 通過建立顏色直方圖，提取主要的色彩，作為飛機(jī)色彩信息。
所述的角點(diǎn)特征提取子模塊(2. 1)，在觸發(fā)子模塊輸入的矩形范圍內(nèi)，尋找特征 點(diǎn)，此特征點(diǎn)為角點(diǎn)，存儲(chǔ)特征點(diǎn)坐標(biāo)。
所述光流跟蹤子模塊(2. 2)，在前一幀獲取的特征點(diǎn)周圍基于光流金字塔，進(jìn)行特 征點(diǎn)匹配，如果匹配成功的特征點(diǎn)數(shù)目少于指定數(shù)目，則重新檢測特征點(diǎn)。否則，將獲取的 特征點(diǎn)的中位數(shù)作為輸出。
所述的卡爾曼濾波子模塊(2. 3)，用于通過飛行器運(yùn)動(dòng)軌跡中柱形障礙物。飛行器 在通過柱形障礙物時(shí)，所有特征點(diǎn)都會(huì)被遮擋，造成丟失?？柭鼮V波器為飛行器建立運(yùn)動(dòng) 模型，如果濾波器預(yù)測值與實(shí)測特征點(diǎn)坐標(biāo)值大于指定偏差，則在卡爾曼濾波器修正后的 坐標(biāo)周圍的指定范圍內(nèi)重新檢測特征點(diǎn)。否則，將修正坐標(biāo)傳到?jīng)Q策子模塊(2. 5)。
所述的Mean-shift子模塊(2. 4)，通過在顏色特征提取子模塊(1. 4)中得到的顏 色直方圖，對每一幀進(jìn)行背景投影，即在圖中根據(jù)直方圖中比例標(biāo)記出相應(yīng)區(qū)域，色彩近似 程度用灰度值表示，并濾去低灰度值。再由Mean-shift算法得到新的預(yù)測位置范圍。所述 Mean-shift算法，通過迭代計(jì)算目標(biāo)點(diǎn)集的最大概率偏移方向，收斂得到相應(yīng)的位置范圍， 送往決策子模塊。
所述決策子模塊(2. 5)，接受Mean-shift子模塊和卡爾曼濾波子模塊的目標(biāo)位 置。若兩者中心距離大于一定的值，則在Mean-shift的位置中心周圍重新找角點(diǎn)特征。在 這里Mean-shift用于確定大致的飛機(jī)位置，因?yàn)轭伾畔⒛軌虿皇艽蟮母蓴_影響，在干擾 之后迅速找到目標(biāo)。而光流與卡爾曼相結(jié)合得到的結(jié)果能得到相對精確地目標(biāo)位置，但是 易受到干擾而丟失，所以用Mean-shif做粗調(diào)，光流與卡爾曼濾波器做精調(diào)。
由跟蹤模塊(2)輸出的飛行器坐標(biāo)用于進(jìn)行速度估計(jì)、云臺(tái)指令發(fā)送。
所述速度估計(jì)子模塊(3. 1)，采用馬爾可夫鏈方法對速度計(jì)算 預(yù)測，其主要思想是先將飛行器中心點(diǎn)的速度轉(zhuǎn)化為實(shí)際云臺(tái)速度V =OT , Vi，、Vji分別代表前后兩幀飛行器中心點(diǎn)的像素位置所得的飛機(jī)速度和實(shí)際C？* ·-· f的云臺(tái)轉(zhuǎn)動(dòng)速度。ff為可以預(yù)先通過實(shí)驗(yàn)得到的經(jīng)驗(yàn)因子。
通過對歷史數(shù)據(jù)的挖掘，得到完整跟蹤飛機(jī)的操作序列，以云臺(tái)速度為單位，進(jìn)行 曲線擬合，得到若干條不同機(jī)型的飛機(jī)的起降曲線。然后將實(shí)際速度與馬爾可夫模型中的經(jīng)驗(yàn)速度進(jìn)行對比，利用時(shí)間和位置信息與m種 狀態(tài)相匹配
權(quán)利要求
1.一種基于云臺(tái)攝像頭的飛行器起降跟蹤系統(tǒng)，其特征在于通過安裝在塔臺(tái)上的監(jiān) 控?cái)z像頭及云臺(tái)，由控?cái)z像頭送出的模擬信號(hào)，經(jīng)轉(zhuǎn)換成為數(shù)字視頻信號(hào)后，作為所述跟 蹤系統(tǒng)的輸入；該跟蹤系統(tǒng)包括目標(biāo)檢測模塊(1)、跟蹤模塊(2)和云臺(tái)控制模塊(3)；其 中所述目標(biāo)檢測模塊(1)包括背景建模子模塊(1. 1)、前景分析子模塊(1.2)、目標(biāo)提取 子模塊(1. 3)及顏色特征提取子模塊(1. 4)，由目標(biāo)檢測模塊(1)檢測出的飛行器坐標(biāo)送往 跟蹤模塊(2)；所述跟蹤模塊(2)包括角點(diǎn)特征提取子模塊(2. 1)、通過光流跟蹤子模塊(2. 2)、卡爾 曼濾波子模塊(2. 3)、Mean-shift子模塊(2. 4)、決策子模塊(2. 5)；角點(diǎn)特征提取子模塊 (2. 1)接收由目標(biāo)檢測模塊(1)檢測出的飛行器坐標(biāo)；通過光流跟蹤子模塊(2. 2)輸出，由 卡爾曼濾波子模塊(2. 3)得到一個(gè)預(yù)測值，Mean-shift子模塊(2. 4)得出另一個(gè)預(yù)測值，由 決策子模塊(2. 5)作出調(diào)整；跟蹤模塊(2)將飛行器預(yù)測坐標(biāo)送往云臺(tái)控制模塊(3)；所述云臺(tái)控制模塊(3 )包括速度估計(jì)子模塊(3.1)和指令發(fā)送子模塊(3. 2 )；由速度估 計(jì)子模塊(3. 1)根據(jù)飛行器預(yù)測坐標(biāo)進(jìn)行飛行器速度的計(jì)算與分析，得到相應(yīng)的云臺(tái)速度， 由指令發(fā)送子模塊(3. 2)實(shí)施相應(yīng)云臺(tái)操作。
2.根據(jù)權(quán)利要求1所述的基于云臺(tái)攝像頭的飛行器起降跟蹤系統(tǒng)，其特征在于在目標(biāo) 檢測模塊(1)中所述背景建模子模塊(1. 1 )，通過平均取出的幀圖像對背景進(jìn)行學(xué)習(xí)，建立混合高斯模 型以及更新；所述前景分析子模塊(1. 2)，根據(jù)背景建模子模塊提供的背景信息對取出的幀圖像進(jìn) 行二值化處理，即與背景模型的灰度值的差在一定范圍內(nèi)的像素點(diǎn)設(shè)為黑色，與背景差異 性較大的設(shè)為白色從而提取出了所需要的前景信息；所述目標(biāo)提取子模塊(1.3)，根據(jù)前景分析子模塊生成的二值化圖像對圖像幀的前景 部分進(jìn)行檢查，當(dāng)前景按照預(yù)定次序通過若干指定區(qū)域觸發(fā)框時(shí)，標(biāo)志已獲得目標(biāo)，產(chǎn)生觸 發(fā)事件，獲取前景中飛行器的位置范圍，傳遞給跟蹤模塊中的顏色特征提取子模塊；所述的顏色特征提取子模塊(1. 4)，提取輸入矩形在原來幀中的顏色信息，通過建立顏 色直方圖，提取主要的色彩，作為飛機(jī)色彩信息。
3.根據(jù)權(quán)利要求2所述的基于云臺(tái)攝像頭的飛行器起降跟蹤系統(tǒng)，其特征在于在跟蹤 模塊(2)中所述的角點(diǎn)特征提取子模塊(2. 1)，在觸發(fā)子模塊輸入的矩形范圍內(nèi)，尋找特征點(diǎn)，此 特征點(diǎn)為角點(diǎn)，存儲(chǔ)特征點(diǎn)坐標(biāo)；所述光流跟蹤子模塊(2. 2)，在前一幀獲取的特征點(diǎn)周圍基于光流金字塔，進(jìn)行特征點(diǎn) 匹配，如果匹配成功的特征點(diǎn)數(shù)目少于指定數(shù)目，則重新檢測特征點(diǎn)；否則，將獲取的特征 點(diǎn)的中位數(shù)作為輸出；所述的卡爾曼濾波子模塊(2. 3)，用于通過飛行器運(yùn)動(dòng)軌跡中柱形障礙物，卡爾曼濾波 器為飛行器建立運(yùn)動(dòng)模型，如果濾波器預(yù)測值與實(shí)測特征點(diǎn)坐標(biāo)值大于指定偏差，則在卡 爾曼濾波器修正后的坐標(biāo)周圍的指定范圍內(nèi)重新檢測特征點(diǎn)；否則，將修正坐標(biāo)傳到?jīng)Q策 子模塊(2. 5);所述的Mean-shift子模塊(2. 4)，通過在顏色特征提取子模塊(1.4)中得到的顏色直方圖，對每一幀進(jìn)行背景投影，即在圖中根據(jù)直方圖中比例標(biāo)記出相應(yīng)區(qū)域，色彩近似 程度用灰度值表示，并濾去低灰度值，再由Mean-shift算法得到新的預(yù)測位置范圍；所述 Mean-shift算法，通過迭代計(jì)算目標(biāo)點(diǎn)集的最大概率偏移方向，收斂得到相應(yīng)的位置范圍， 送往決策子模塊；所述決策子模塊(2. 5)，接受Mean-shift子模塊和卡爾曼濾波子模塊的目標(biāo)位置；若 兩者中心距離大于一定的值，則在Mean-shift的位置中心周圍重新找角點(diǎn)特征。
4.根據(jù)權(quán)利要求3所述的基于云臺(tái)攝像頭的飛行器起降跟蹤系統(tǒng)，其特征在于在云臺(tái) 控制模塊(3)中所述速度估計(jì)子模塊(3. 1)，采用馬爾可夫鏈方法對速度計(jì)算 預(yù)測，其方法是先將飛行器中心點(diǎn)的速度轉(zhuǎn)化為實(shí)際云臺(tái)速度
5. 一種基于云臺(tái)攝像頭的飛行器起降跟蹤算法，其特征在于通過安裝在塔臺(tái)上的監(jiān) 控?cái)z像頭及云臺(tái)，由控?cái)z像頭送出的模擬信號(hào)，經(jīng)轉(zhuǎn)換成為數(shù)字視頻信號(hào)后，作為所述跟 蹤系統(tǒng)的輸入；該跟蹤系統(tǒng)包括目標(biāo)檢測模塊(1)、跟蹤模塊(2)和云臺(tái)控制模塊(3)；其 中所述目標(biāo)檢測模塊(1)包括背景建模子模塊(1. 1 )、前景分析子模塊(1. 2)、目標(biāo)提取 子模塊(1. 3)及顏色特征提取子模塊(1. 4)，由目標(biāo)檢測模塊(1)檢測出的飛行器坐標(biāo)送往 跟蹤模塊(2)；所述跟蹤模塊(2)包括角點(diǎn)特征提取子模塊(2. 1)、通過光流跟蹤子模塊(2. 2)、卡爾 曼濾波子模塊(2. 3)、Mean-shift子模塊(2. 4)、決策子模塊(2. 5)；角點(diǎn)特征提取子模塊 (2. 1)接收由目標(biāo)檢測模塊(1)檢測出的飛行器坐標(biāo)；通過光流跟蹤子模塊(2. 2)輸出，由 卡爾曼濾波子模塊(2. 3)得到一個(gè)預(yù)測值，Mean-shift子模塊(2. 4)得出另一個(gè)預(yù)測值，由 決策子模塊(2. 5)作出調(diào)整；跟蹤模塊(2)將飛行器預(yù)測坐標(biāo)送往云臺(tái)控制模塊(3)；所述云臺(tái)控制模塊(3 )包括速度估計(jì)子模塊(3.1)和指令發(fā)送子模塊(3. 2 )；由速度估 計(jì)子模塊(3. 1)根據(jù)飛行器預(yù)測坐標(biāo)進(jìn)行飛行器速度的計(jì)算與分析，得到相應(yīng)的云臺(tái)速度， 由指令發(fā)送子模塊(3. 2)實(shí)施相應(yīng)云臺(tái)操作。
6.根據(jù)權(quán)利要求5所述的基于云臺(tái)攝像頭的飛行器起降跟蹤算法，其特征在于在目標(biāo) 檢測模塊(1)中所述背景建模子模塊(1.1 )，通過平均取出的幀圖像對背景進(jìn)行學(xué)習(xí)，建立混合高斯模 型以及更新；所述前景分析子模塊(1. 2)，根據(jù)背景建模子模塊提供的背景信息對取出的幀圖像進(jìn) 行二值化處理，即與背景模型的灰度值的差在一定范圍內(nèi)的像素點(diǎn)設(shè)為黑色，與背景差異 性較大的設(shè)為白色從而提取出了所需要的前景信息；所述目標(biāo)提取子模塊(1.3)，根據(jù)前景分析子模塊生成的二值化圖像對圖像幀的前景 部分進(jìn)行檢查，當(dāng)前景按照預(yù)定次序通過若干指定區(qū)域觸發(fā)框時(shí)，標(biāo)志已獲得目標(biāo)，產(chǎn)生觸 發(fā)事件，獲取前景中飛行器的位置范圍，傳遞給跟蹤模塊中的顏色特征提取子模塊；所述的顏色特征提取子模塊(1. 4)，提取輸入矩形在原來幀中的顏色信息，通過建立顏 色直方圖，提取主要的色彩，作為飛機(jī)色彩信息。
7.根據(jù)權(quán)利要求6所述的基于云臺(tái)攝像頭的飛行器起降跟蹤算法，其特征在于在跟蹤 模塊(2)中所述的角點(diǎn)特征提取子模塊(2. 1)，在觸發(fā)子模塊輸入的矩形范圍內(nèi)，尋找特征點(diǎn)，此 特征點(diǎn)為角點(diǎn)，存儲(chǔ)特征點(diǎn)坐標(biāo)；所述光流跟蹤子模塊(2. 2)，在前一幀獲取的特征點(diǎn)周圍基于光流金字塔，進(jìn)行特征點(diǎn) 匹配，如果匹配成功的特征點(diǎn)數(shù)目少于指定數(shù)目，則重新檢測特征點(diǎn)；否則，將獲取的特征 點(diǎn)的中位數(shù)作為輸出；所述的卡爾曼濾波子模塊(2. 3)，用于通過飛行器運(yùn)動(dòng)軌跡中柱形障礙物，卡爾曼濾波 器為飛行器建立運(yùn)動(dòng)模型，如果濾波器預(yù)測值與實(shí)測特征點(diǎn)坐標(biāo)值大于指定偏差，則在卡 爾曼濾波器修正后的坐標(biāo)周圍的指定范圍內(nèi)重新檢測特征點(diǎn)；否則，將修正坐標(biāo)傳到?jīng)Q策 子模塊(2. 5);所述的Mean-shift子模塊(2. 4)，通過在顏色特征提取子模塊(1.4)中得到的顏色 直方圖，對每一幀進(jìn)行背景投影，即在圖中根據(jù)直方圖中比例標(biāo)記出相應(yīng)區(qū)域，色彩近似 程度用灰度值表示，并濾去低灰度值，再由Mean-shift算法得到新的預(yù)測位置范圍；所述 Mean-shift算法，通過迭代計(jì)算目標(biāo)點(diǎn)集的最大概率偏移方向，收斂得到相應(yīng)的位置范圍， 送往決策子模塊；所述決策子模塊(2. 5)，接受Mean-shift子模塊和卡爾曼濾波子模塊的目標(biāo)位置；若 兩者中心距離大于一定的值，則在Mean-shift的位置中心周圍重新找角點(diǎn)特征。
8.根據(jù)權(quán)利要求7所述的基于云臺(tái)攝像頭的飛行器起降跟蹤算法，其特征在于在云臺(tái) 控制模塊(3)中所述速度估計(jì)子模塊(3. 1 )，采用馬爾可夫鏈方法對速度計(jì)算預(yù)測，其方法是先將飛行 器中心點(diǎn)的速度轉(zhuǎn)化為實(shí)際云臺(tái)速度vc = avr Vr分別代表前后兩幀飛行器 中心點(diǎn)的像素位置所得的飛機(jī)速度和實(shí)際的云臺(tái)轉(zhuǎn)動(dòng)速度，CC為可以預(yù)先通過實(shí)驗(yàn)得到的經(jīng)驗(yàn)因子；
全文摘要
本發(fā)明屬于視頻監(jiān)控技術(shù)領(lǐng)域，具體為基于云臺(tái)攝像頭的飛行器起降跟蹤算法及跟蹤系統(tǒng)。本發(fā)明通過安裝在塔臺(tái)上的監(jiān)控?cái)z像頭及云臺(tái),由控?cái)z像頭送出的模擬信號(hào)，經(jīng)轉(zhuǎn)換成為數(shù)字視頻信號(hào)后,作為所述跟蹤系統(tǒng)的輸入；該跟蹤系統(tǒng)包括目標(biāo)檢測模塊、跟蹤模塊和云臺(tái)控制模塊；本發(fā)明可以自動(dòng)追蹤起降飛行器軌跡。本發(fā)明可提高機(jī)場中有固定起降模式的飛行器監(jiān)控的準(zhǔn)確性與實(shí)時(shí)性，降低人力資源的消耗，克服大規(guī)模高速運(yùn)動(dòng)背景視頻中對象提取與追蹤的種種困難，實(shí)現(xiàn)自動(dòng)智能追蹤錄像分析，從而提高了監(jiān)控質(zhì)量。
文檔編號(hào)H04N7/18GK102043964SQ20101061465
公開日2011年5月4日 申請日期2010年12月30日 優(yōu)先權(quán)日2010年12月30日
發(fā)明者何慧鈞, 宋振中, 張建忠, 張德峰, 張文強(qiáng), 張睿, 李志鵬, 李燕軍, 池明旻, 陳晨, 陶睿 申請人:復(fù)旦大學(xué)