對(duì)地運(yùn)動(dòng)目標(biāo)光電檢測(cè)系統(tǒng)及其數(shù)據(jù)處理方法和圖像處理方法
【專利摘要】本發(fā)明提供了對(duì)地運(yùn)動(dòng)目標(biāo)光電檢測(cè)系統(tǒng)及其數(shù)據(jù)處理方法和圖像處理方法，該系統(tǒng)包括依次連接的攝像機(jī)、圖像采集卡、工控機(jī)和主控計(jì)算機(jī)，其中工控機(jī)和主控計(jì)算機(jī)分別開(kāi)有控制與數(shù)據(jù)信號(hào)端口和視頻信號(hào)端口，工控機(jī)和主控計(jì)算機(jī)兩端口之間通過(guò)交換機(jī)連接。本發(fā)明能實(shí)現(xiàn)對(duì)地光電檢測(cè)圖像的實(shí)時(shí)采集，能利用圖像處理的方法實(shí)時(shí)檢測(cè)出圖像中的運(yùn)動(dòng)目標(biāo)，計(jì)算量較小，能將目標(biāo)檢測(cè)結(jié)果通過(guò)局域網(wǎng)從工控機(jī)傳輸至主控計(jì)算機(jī)，并實(shí)時(shí)顯示結(jié)果圖像，實(shí)現(xiàn)了運(yùn)動(dòng)背景條件下的運(yùn)動(dòng)目標(biāo)檢測(cè)，并且支持多運(yùn)動(dòng)目標(biāo)檢測(cè)。
【專利說(shuō)明】對(duì)地運(yùn)動(dòng)目標(biāo)光電檢測(cè)系統(tǒng)及其數(shù)據(jù)處理方法和圖像處理方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像處理【技術(shù)領(lǐng)域】，具體是一種對(duì)地運(yùn)動(dòng)目標(biāo)光電檢測(cè)系統(tǒng)及其圖像處理方法。
【背景技術(shù)】
[0002]地面運(yùn)動(dòng)目標(biāo)(如火車、汽車、裝甲目標(biāo)等)具有重要的軍事價(jià)值，對(duì)地面運(yùn)動(dòng)目標(biāo)的偵查以及精確打擊是空軍的主要任務(wù)之一，需要盡早發(fā)現(xiàn)、重點(diǎn)偵查，以便后續(xù)完成跟蹤、貓準(zhǔn)及打擊等任務(wù)。
[0003]通過(guò)對(duì)地光電檢測(cè)圖像可以獲取豐富的地面目標(biāo)與環(huán)境情報(bào)的圖像信息，對(duì)地運(yùn)動(dòng)目標(biāo)光電檢測(cè)系統(tǒng)對(duì)圖像信息進(jìn)行處理，從地面背景中分離并標(biāo)記出運(yùn)動(dòng)目標(biāo)。其中需要解決的問(wèn)題主要有兩個(gè):一是由于載機(jī)的運(yùn)動(dòng)，光電檢測(cè)圖像中的地面背景會(huì)呈現(xiàn)出持續(xù)的逆向運(yùn)動(dòng)，因而圖像處理中需要實(shí)現(xiàn)從運(yùn)動(dòng)背景中檢測(cè)出相對(duì)背景運(yùn)動(dòng)的目標(biāo)；另一為出于對(duì)地偵查任務(wù)的要求，全部圖像處理流程需要達(dá)到實(shí)時(shí)處理?xiàng)l件。
[0004]目前基于圖像處理的運(yùn)動(dòng)目標(biāo)檢測(cè)方法一般有四種:(I)為根據(jù)兩幀連續(xù)圖像相同位置上像素點(diǎn)之間的灰度差來(lái)確定發(fā)生運(yùn)動(dòng)的像素點(diǎn)集合，以此描述檢測(cè)結(jié)果；(2)為先預(yù)設(shè)場(chǎng)景圖像背景，通過(guò)對(duì)檢測(cè)圖像與預(yù)設(shè)背景作差，獲得目標(biāo)圖像區(qū)域；(3)為先計(jì)算圖像光流場(chǎng)，再通過(guò)對(duì)圖像光流場(chǎng)信息的處理檢測(cè)運(yùn)動(dòng)目標(biāo)；(4)為先通過(guò)大量的樣本對(duì)識(shí)別濾波器進(jìn)行訓(xùn)練，再由識(shí)別濾波器從圖像中濾出訓(xùn)練類的目標(biāo)。其中方法(I) (2)難以運(yùn)用于運(yùn)動(dòng)背景條件下的運(yùn)動(dòng)目標(biāo)檢測(cè)，方法(3)計(jì)算量大，需要改進(jìn)算法以達(dá)到實(shí)時(shí)性要求，方法(4)由于識(shí)別有效性的限制，一般僅適用于特定角度的特定類目標(biāo)的檢測(cè)，距離機(jī)載光電檢測(cè)系統(tǒng)的對(duì)地運(yùn)動(dòng)目標(biāo)檢測(cè)應(yīng)用還有較大差距。

【發(fā)明內(nèi)容】

[0005]本發(fā)明為了解決現(xiàn)有對(duì)地運(yùn)動(dòng)目標(biāo)光電檢測(cè)的缺陷，提供了 一種對(duì)地運(yùn)動(dòng)目標(biāo)光電檢測(cè)系統(tǒng)及其數(shù)據(jù)處理方法和圖像處理方法，實(shí)現(xiàn)了運(yùn)動(dòng)背景條件下的運(yùn)動(dòng)目標(biāo)檢測(cè)，與傳統(tǒng)圖像光流場(chǎng)算法相比，計(jì)算量大大減小，實(shí)時(shí)性高，可擴(kuò)展性好，并且支持多運(yùn)動(dòng)目標(biāo)檢測(cè)。
[0006]一種對(duì)地運(yùn)動(dòng)目標(biāo)光電檢測(cè)系統(tǒng)，包括依次連接的攝像機(jī)、圖像米集卡、工控機(jī)和主控計(jì)算機(jī)，其中工控機(jī)和主控計(jì)算機(jī)分別開(kāi)有控制與數(shù)據(jù)信號(hào)端口和視頻信號(hào)端口，工控機(jī)和主控計(jì)算機(jī)兩端口之間通過(guò)交換機(jī)連接。
[0007]本發(fā)明還提供了一種對(duì)地運(yùn)動(dòng)目標(biāo)光電檢測(cè)系統(tǒng)的數(shù)據(jù)處理方法，包括以下步驟:
[0008]I)主控計(jì)算機(jī)向工控機(jī)發(fā)送控制命令，開(kāi)始對(duì)地運(yùn)動(dòng)目標(biāo)檢測(cè)程序；
[0009]2)工控機(jī)每隔一定時(shí)間，向主控計(jì)算機(jī)回報(bào)工控機(jī)本地狀態(tài)數(shù)據(jù)，并在主控計(jì)算機(jī)上顯示；[0010]3)攝像機(jī)拍攝對(duì)地檢測(cè)圖像，視頻圖像信號(hào)經(jīng)過(guò)圖像采集卡實(shí)時(shí)采集，輸入到工控機(jī)中；
[0011]4)當(dāng)工控機(jī)對(duì)每一幀輸入圖像處理完成后，通過(guò)交換機(jī)向主控計(jì)算機(jī)傳輸圖像處理狀態(tài)數(shù)據(jù)與檢測(cè)結(jié)果圖像并進(jìn)行顯示；
[0012]5)主控計(jì)算機(jī)向工控機(jī)發(fā)送控制命令，終止對(duì)地運(yùn)動(dòng)目標(biāo)檢測(cè)程序。
[0013]所述步驟4)中，工控機(jī)將一幀圖像分為若干數(shù)據(jù)包后通過(guò)交換機(jī)向主控計(jì)算機(jī)傳輸數(shù)據(jù)包，主控計(jì)算機(jī)對(duì)屬于同一幀圖像的分包圖像像素?cái)?shù)據(jù)進(jìn)行拼接，獲得完整的圖像數(shù)據(jù)并進(jìn)行顯示。
[0014]所述的若干數(shù)據(jù)包包括以整型數(shù)據(jù)記錄的當(dāng)前圖像采集幀號(hào)、圖像寬度、圖像高度、本數(shù)據(jù)包校驗(yàn)號(hào)和以字符型數(shù)組數(shù)據(jù)記錄的分包圖像像素點(diǎn)像素值。
[0015]步驟I)和步驟5)中所述的控制命令包括以BOOL型數(shù)據(jù)記錄的工控機(jī)工作/非工作狀態(tài)，采集卡工作/非工作狀態(tài)和檢測(cè)程序工作/非工作狀態(tài)；步驟2)所述的工控機(jī)本地狀態(tài)數(shù)據(jù)，包括以BOOL型數(shù)據(jù)記錄的工控機(jī)工作/非工作狀態(tài)、采集卡工作/非工作狀態(tài)、檢測(cè)程序工作/非工作狀態(tài)和以整型數(shù)據(jù)記錄的當(dāng)前圖像采集幀號(hào)、當(dāng)前圖像檢測(cè)處理幀號(hào)、圖像寬度、圖像高度、載機(jī)高度、攝像機(jī)視場(chǎng)角；步驟3)中所述的視頻圖像信號(hào)包括以整型數(shù)據(jù)記錄的當(dāng)前圖像采集幀號(hào)，圖像寬度，圖像高度和以字符型數(shù)組數(shù)據(jù)記錄的圖像各像素點(diǎn)像素值。
[0016]本發(fā)明還提供了一種對(duì)地運(yùn)動(dòng)目標(biāo)光電檢測(cè)系統(tǒng)的圖像處理方法，包括以下步驟:
[0017]I)將當(dāng)前輸入圖像數(shù)據(jù)復(fù)制至輸出圖像數(shù)據(jù)，初始化檢測(cè)結(jié)果圖像；
[0018]2)在當(dāng)前輸入圖像上提取圖像Harris特征點(diǎn)，在每個(gè)特征點(diǎn)處，基于當(dāng)前輸入圖像與前一巾貞輸入圖像，使用金字塔Lucas-Kanade光流算法計(jì)算圖像的特征點(diǎn)稀疏光流場(chǎng)；
[0019]3)根據(jù)步驟2)中得到的特征點(diǎn)稀疏光流場(chǎng)，估計(jì)背景中心運(yùn)動(dòng)矢量，逐一將特征點(diǎn)光流矢量與背景中心運(yùn)動(dòng)矢量進(jìn)行比較，篩選出運(yùn)動(dòng)目標(biāo)特征點(diǎn)；
[0020]4)對(duì)輸出圖像進(jìn)行分塊，統(tǒng)計(jì)步驟3)中篩選出運(yùn)動(dòng)目標(biāo)特征點(diǎn)在各個(gè)圖像分塊中的分布數(shù)量，在輸出圖像上將高于運(yùn)動(dòng)目標(biāo)特征點(diǎn)分布數(shù)量閾值的圖像分塊標(biāo)記為運(yùn)動(dòng)目標(biāo)所在分塊。
[0021]其中，步驟2)具體包括以下步驟:
[0022]2.1)定義特征點(diǎn)數(shù)據(jù)結(jié)構(gòu)，包括以整型數(shù)據(jù)記錄的特征點(diǎn)數(shù)量和以雙精度型二維數(shù)組數(shù)據(jù)記錄的點(diǎn)坐標(biāo)值數(shù)據(jù)，使用Sh1-Tomasi方法提取當(dāng)前輸入圖像的Harris特征點(diǎn)，將特征點(diǎn)提取結(jié)果記入點(diǎn)數(shù)據(jù)結(jié)構(gòu)I ;
[0023]2.2)定義一個(gè)BOOL型數(shù)組，其長(zhǎng)度為特征點(diǎn)數(shù)量，作為光流計(jì)算狀態(tài)數(shù)據(jù)空間，在點(diǎn)數(shù)據(jù)結(jié)構(gòu)I中的每個(gè)特征點(diǎn)處，基于當(dāng)前輸入圖像與前一幀輸入圖像像素?cái)?shù)據(jù)，使用金字塔Lucas光流算法計(jì)算該點(diǎn)光流在前一幀輸入圖像上的對(duì)應(yīng)點(diǎn)坐標(biāo)，將對(duì)應(yīng)點(diǎn)坐標(biāo)記入點(diǎn)數(shù)據(jù)結(jié)構(gòu)2中相應(yīng)位置，若對(duì)應(yīng)點(diǎn)坐標(biāo)未溢出圖像區(qū)域，對(duì)應(yīng)光流計(jì)算狀態(tài)數(shù)據(jù)置1，否則對(duì)應(yīng)光流計(jì)算狀態(tài)數(shù)據(jù)置O ;
[0024]2.3)根據(jù)點(diǎn)數(shù)據(jù)結(jié)構(gòu)I與點(diǎn)數(shù)據(jù)結(jié)構(gòu)2計(jì)算圖像的特征點(diǎn)稀疏光流場(chǎng)，特征點(diǎn)光流矢量數(shù)據(jù)記入點(diǎn)數(shù)據(jù)結(jié)構(gòu)3，特征點(diǎn)光流矢量具體計(jì)算公式為:
【權(quán)利要求】
1.一種對(duì)地運(yùn)動(dòng)目標(biāo)光電檢測(cè)系統(tǒng)，其特征在于:包括依次連接的攝像機(jī)、圖像采集卡、工控機(jī)和主控計(jì)算機(jī)，其中工控機(jī)和主控計(jì)算機(jī)分別開(kāi)有控制與數(shù)據(jù)信號(hào)端口和視頻信號(hào)端口，工控機(jī)和主控計(jì)算機(jī)兩端口之間通過(guò)交換機(jī)連接。
2.—種權(quán)利要求1所述對(duì)地運(yùn)動(dòng)目標(biāo)光電檢測(cè)系統(tǒng)的數(shù)據(jù)處理方法，其特征在于包括以下步驟: 1)主控計(jì)算機(jī)向工控機(jī)發(fā)送控制命令，開(kāi)始對(duì)地運(yùn)動(dòng)目標(biāo)檢測(cè)程序； 2)工控機(jī)每隔一定時(shí)間，向主控計(jì)算機(jī)回報(bào)工控機(jī)本地狀態(tài)數(shù)據(jù)，并在主控計(jì)算機(jī)上顯示； 3)攝像機(jī)拍攝對(duì)地檢測(cè)圖像，視頻圖像信號(hào)經(jīng)過(guò)圖像采集卡實(shí)時(shí)采集，輸入到工控機(jī)中； 4)當(dāng)工控機(jī)對(duì)每一幀輸入圖像處理完成后，通過(guò)交換機(jī)向主控計(jì)算機(jī)傳輸圖像處理狀態(tài)數(shù)據(jù)與檢測(cè)結(jié)果圖像并進(jìn)行顯示； 5)主控計(jì)算機(jī)向工控機(jī)發(fā)送控制命令，終止對(duì)地運(yùn)動(dòng)目標(biāo)檢測(cè)程序。
3.根據(jù)權(quán)利要求2所述的對(duì)地運(yùn)動(dòng)目標(biāo)光電檢測(cè)系統(tǒng)的數(shù)據(jù)處理方法，其特征在于:所述步驟4)中，工控機(jī)將一幀圖像分為若干數(shù)據(jù)包后通過(guò)交換機(jī)向主控計(jì)算機(jī)傳輸數(shù)據(jù)包，主控計(jì)算機(jī)對(duì)屬于同一幀圖像的分包圖像像素?cái)?shù)據(jù)進(jìn)行拼接，獲得完整的圖像數(shù)據(jù)并進(jìn)行顯示。
4.根據(jù)權(quán)利要求3所述的對(duì)地運(yùn)動(dòng)目標(biāo)光電檢測(cè)系統(tǒng)的數(shù)據(jù)處理方法，其特征在于:所述的若干數(shù)據(jù)包包括以整型數(shù)據(jù)記錄的當(dāng)前圖像采集幀號(hào)、圖像寬度、圖像高度、本數(shù)據(jù)包校驗(yàn)號(hào)和以字符型數(shù)組數(shù)據(jù)記錄的分包圖像像素點(diǎn)像素值。
5.根據(jù)權(quán)利要求2或3或4所述的對(duì)地運(yùn)動(dòng)目標(biāo)光電檢測(cè)系統(tǒng)的數(shù)據(jù)處理方法，其特征在于:步驟I)和步驟5)中所述的控制命令包括以BOOL型數(shù)據(jù)記錄的工控機(jī)工作/非工作狀態(tài)，采集卡工作/非工作狀態(tài)和檢測(cè)程序工作/非工作狀態(tài)；步驟2)所述的工控機(jī)本地狀態(tài)數(shù)據(jù)，包括以BOOL型數(shù)據(jù)記錄的工控機(jī)工作/非工作狀態(tài)、采集卡工作/非工作狀態(tài)、檢測(cè)程序工作/非工作狀態(tài)和以整型數(shù)據(jù)記錄的當(dāng)前圖像采集幀號(hào)、當(dāng)前圖像檢測(cè)處理幀號(hào)、圖像寬度、圖像高度、載機(jī)高度、攝像機(jī)視場(chǎng)角；步驟3)中所述的視頻圖像信號(hào)包括以整型數(shù)據(jù)記錄的當(dāng)前圖像采集幀號(hào)，圖像寬度，圖像高度和以字符型數(shù)組數(shù)據(jù)記錄的圖像各像素點(diǎn)像素值。
6.一種權(quán)利要求1所述對(duì)地運(yùn)動(dòng)目標(biāo)光電檢測(cè)系統(tǒng)的圖像處理方法，其特征在于包括以下步驟: 1)將當(dāng)前輸入圖像數(shù)據(jù)復(fù)制至輸出圖像數(shù)據(jù)，初始化檢測(cè)結(jié)果圖像； 2)在當(dāng)前輸入圖像上提取圖像Harris特征點(diǎn)，在每個(gè)特征點(diǎn)處，基于當(dāng)前輸入圖像與前一幀輸入圖像，使用金字塔Lucas-Kanade光流算法計(jì)算圖像的特征點(diǎn)稀疏光流場(chǎng)； 3)根據(jù)步驟2)中得到的特征點(diǎn)稀疏光流場(chǎng)，估計(jì)背景中心運(yùn)動(dòng)矢量，逐一將特征點(diǎn)光流矢量與背景中心運(yùn)動(dòng)矢量進(jìn)行比較，篩選出運(yùn)動(dòng)目標(biāo)特征點(diǎn)； 4)對(duì)輸出圖像進(jìn)行分塊，統(tǒng)計(jì)步驟3)中篩選出運(yùn)動(dòng)目標(biāo)特征點(diǎn)在各個(gè)圖像分塊中的分布數(shù)量，在輸出圖像上將高于運(yùn)動(dòng)目標(biāo)特征點(diǎn)分布數(shù)量閾值的圖像分塊標(biāo)記為運(yùn)動(dòng)目標(biāo)所在分塊。
7.根據(jù)權(quán)利要求6所述的對(duì)地運(yùn)動(dòng)目標(biāo)光電檢測(cè)系統(tǒng)的圖像處理方法，其特征在于步驟2)具體包括以下步驟: .2.1)定義特征點(diǎn)數(shù)據(jù)結(jié)構(gòu)，包括以整型數(shù)據(jù)記錄的特征點(diǎn)數(shù)量和以雙精度型二維數(shù)組數(shù)據(jù)記錄的點(diǎn)坐標(biāo)值數(shù)據(jù)，使用Sh1-Tomasi方法提取當(dāng)前輸入圖像的Harris特征點(diǎn),將特征點(diǎn)提取結(jié)果記入點(diǎn)數(shù)據(jù)結(jié)構(gòu)1 ; . 2.2)定義一個(gè)BOOL型數(shù)組，其長(zhǎng)度為特征點(diǎn)數(shù)量，作為光流計(jì)算狀態(tài)數(shù)據(jù)空間，在點(diǎn)數(shù)據(jù)結(jié)構(gòu)I中的每個(gè)特征點(diǎn)處，基于當(dāng)前輸入圖像與前一幀輸入圖像像素?cái)?shù)據(jù)，使用金字塔Lucas光流算法計(jì)算該點(diǎn)光流在前一幀輸入圖像上的對(duì)應(yīng)點(diǎn)坐標(biāo),將對(duì)應(yīng)點(diǎn)坐標(biāo)記入點(diǎn)數(shù)據(jù)結(jié)構(gòu)2中相應(yīng)位置，若對(duì)應(yīng)點(diǎn)坐標(biāo)未溢出圖像區(qū)域，對(duì)應(yīng)光流計(jì)算狀態(tài)數(shù)據(jù)置1，否則對(duì)應(yīng)光流計(jì)算狀態(tài)數(shù)據(jù)置O ; . 2.3)根據(jù)點(diǎn)數(shù)據(jù)結(jié)構(gòu)I與點(diǎn)數(shù)據(jù)結(jié)構(gòu)2計(jì)算圖像的特征點(diǎn)稀疏光流場(chǎng)，特征點(diǎn)光流矢量數(shù)據(jù)記入點(diǎn)數(shù)據(jù)結(jié)構(gòu)3，特征點(diǎn)光流矢量具體計(jì)算公式為:
8.根據(jù)權(quán)利要求7所述的對(duì)地運(yùn)動(dòng)目標(biāo)光電檢測(cè)系統(tǒng)的圖像處理方法，其特征在于步驟3)具體包括以下步驟: .3.1)在連續(xù)兩幀的時(shí)間間隔內(nèi)，圖像中背景的旋轉(zhuǎn)運(yùn)動(dòng)可以近似用一個(gè)二維運(yùn)動(dòng)矢量Vbackgromd = [Vx,backgromd) \—d]T表示，對(duì)步驟2.3)的點(diǎn)數(shù)據(jù)結(jié)構(gòu)3中全體特征點(diǎn)光流矢量求平均，以此作為背景中心運(yùn)動(dòng)矢量，
9.根據(jù)權(quán)利要求8所述的對(duì)地運(yùn)動(dòng)目標(biāo)光電檢測(cè)系統(tǒng)的圖像處理方法，其特征在于步驟4)具體包括以下步驟: .4.1)根據(jù)圖像寬度，載機(jī)高度，攝像機(jī)水平視場(chǎng)角計(jì)算分塊圖像邊長(zhǎng)，對(duì)輸出圖像進(jìn)行分塊，定義一個(gè)整型數(shù)組，其長(zhǎng)度為圖像分塊數(shù)量，作為圖像分塊目標(biāo)特征點(diǎn)統(tǒng)計(jì)表單； . 4.2)根據(jù)步驟2.1)的點(diǎn)數(shù)據(jù)結(jié)構(gòu)I與步驟3.2)的特征點(diǎn)篩選狀態(tài)數(shù)據(jù)，計(jì)算目標(biāo)特征點(diǎn)所屬圖像分塊坐標(biāo)，并在步驟4.1)定義的圖像分塊備選目標(biāo)特征點(diǎn)統(tǒng)計(jì)表單中記錄各圖像分塊備選目標(biāo)特征點(diǎn)數(shù)量； .4.3)將步驟4.2)統(tǒng)計(jì)得到的各圖像分塊備選目標(biāo)特征點(diǎn)數(shù)量與運(yùn)動(dòng)目標(biāo)特征點(diǎn)分布數(shù)量閾值相比較，將高于運(yùn)動(dòng)目標(biāo)特征點(diǎn)分布數(shù)量閾值的圖像分塊集合的外邊緣繪制在輸出圖像上，作為運(yùn)動(dòng)目標(biāo)檢測(cè)結(jié)果。
10.根據(jù)權(quán)利要求7所述的對(duì)地運(yùn)動(dòng)目標(biāo)光電檢測(cè)系統(tǒng)的圖像處理方法，其特征在于步驟2.1)所述的Sh1-Tomasi方法包括以下步驟: 1)分別計(jì)算圖像像素點(diǎn)I(x，y)在水平和垂直方向上的梯度Ix與Iy，并且計(jì)算
【文檔編號(hào)】G06T7/00GK103996187SQ201410179068
【公開(kāi)日】2014年8月20日 申請(qǐng)日期:2014年4月29日 優(yōu)先權(quán)日:2014年4月29日
【發(fā)明者】閆鈞華, 儲(chǔ)林臻, 姜惠華, 段賀, 杭誼青, 許俊峰, 王志剛 申請(qǐng)人:南京航空航天大學(xué)