專利名稱：高速目標(biāo)跟蹤方法及其電路系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像信息處理技術(shù)領(lǐng)域，特別是一種目標(biāo)跟蹤方法及其電路系統(tǒng)。
背景技術(shù)：
運動目標(biāo)的實時跟蹤是圖像信息處理領(lǐng)域的重要課題。模板匹配和背景減除技術(shù)是提取和跟蹤運動目標(biāo)的常見的兩種信息處理方法。模板匹配是利用已有的目標(biāo)特征數(shù)據(jù)作為模板，在含有目標(biāo)的圖像中搜索匹配點尋找到目標(biāo)的方法。這是一種以目標(biāo)的形態(tài)特征為判據(jù)的目標(biāo)檢索和跟蹤方法。模板匹配方法應(yīng)用于跟蹤時具有較高的靈敏度和可靠性，得到了廣泛應(yīng)用。但是由于模板匹配方法的目標(biāo)檢索和跟蹤信息處理計算量龐大，所以系統(tǒng)硬件電路規(guī)模大且信息的實時處理困難。另外，被跟蹤目標(biāo)的圖像特征一般是隨時間發(fā)生變化的，這樣固定模板匹配方法將不適用。
背景減除技術(shù)是一種將當(dāng)前圖像和已有背景進(jìn)行差分而得到目標(biāo)的方法。與模板匹配方法比較的話，這種方法更簡單快速。但是背景減除方法的困難在于處理背景中存在的各種干擾和變化。而且一般背景圖像都是預(yù)先拍攝某一場景得到的，如果被跟蹤目標(biāo)在連續(xù)復(fù)雜大場景中運動時，通過預(yù)先存儲背景信息將不可取。
隨著對實時性要求的提高，無論是模板匹配還是背景減除的處理速度都將顯得過慢。最近人們提出了將圖像信息處理功能和感光單元陣列集成在一起的系統(tǒng)芯片的概念。一般稱這種系統(tǒng)芯片為視覺芯片(visionchip)。由于芯片面積和功耗的限制，在這種系統(tǒng)芯片上實現(xiàn)的信號處理方法不可能太復(fù)雜，因此，開發(fā)簡單、有效的高速運動目標(biāo)跟蹤方法及其電路系統(tǒng)是非常重要的。最近，日本東京大學(xué)提出了一種實現(xiàn)高速目標(biāo)跟蹤的信息處理方法，并且開發(fā)出了相應(yīng)的數(shù)字信息處理視覺芯片。該視覺芯片能夠在1ms的時間內(nèi)完成一幀圖像的信息處理，在限定的條件下可以有效的實現(xiàn)對運動目標(biāo)的跟蹤。其基本過程是首先選定一個亮度值作為臨界點，通過將圖像的像素點的亮度值與之比較將圖像二值化。然后得第一幅圖像中的目標(biāo)。接下來利用一種自窗口捕捉方法實現(xiàn)目標(biāo)跟蹤，在跟蹤過程中判斷是否與背景中其它物體碰撞。如果發(fā)生碰撞，則記錄此時目標(biāo)的面積，之后等待目標(biāo)與背景物體分離。分離后通過與先前記錄的目標(biāo)面積的比較重新確認(rèn)目標(biāo)，然后繼續(xù)通過自窗口捕捉方法跟蹤。自窗口捕捉方法是假設(shè)運動目標(biāo)在感光單元陣列上的投影在連續(xù)兩幀間的位移不超過一個像素的條件下，把前一幀圖像中的目標(biāo)的周邊擴大一個像素，然后作為一個自窗口通過與后一幀的圖像進(jìn)行‘與’邏輯運算而得到后一幀圖像中的目標(biāo)。該方法流程簡潔，采用簡單的并行運算模式，適合于視覺系統(tǒng)芯片的實現(xiàn)。不過該方法要求目標(biāo)的亮度與背景亮度有顯著差異，因而不適合復(fù)雜背景。在信息處理過程中用到了目標(biāo)面積信息，因而不適合非剛體目標(biāo)。在跟蹤的適用性和可靠性上有待改進(jìn)。另外在判斷目標(biāo)與背景物體碰撞和分離的細(xì)節(jié)上用到了加法運算，需要較大規(guī)模的邏輯電路。

發(fā)明內(nèi)容
本發(fā)明提出了一種流程簡單，運算量小，可并行運算的高速運動目標(biāo)跟蹤的信息處理方法。在保證了對目標(biāo)跟蹤的可靠性的同時，大幅度提高了處理速度，并同時減小了電路的規(guī)模。能夠在復(fù)雜的目標(biāo)和背景的條件下實現(xiàn)對高速運動目標(biāo)的實時跟蹤。
本發(fā)明的技術(shù)方案敘述如下首先，通過圖像采集裝置以一定的周期實時采集圖像。
其次，在采集到圖像中確認(rèn)要跟蹤的目標(biāo)。
接著，以目標(biāo)的亮度為參考，設(shè)置圖像二值化的亮度閾值窗口。(也可以是基于顏色，紋理等其它區(qū)域信息的窗口，這里只以亮度為例。)然后，對采集到的一幀圖像的各個像素點進(jìn)行二值化處理，并開始在攝像頭不動的固定視場中跟蹤目標(biāo)，即提取圖像中的目標(biāo)及其位置。如果發(fā)現(xiàn)目標(biāo)將脫離視場，則利用當(dāng)時的目標(biāo)位置轉(zhuǎn)動攝像頭使之重新對準(zhǔn)目標(biāo)，并做視場轉(zhuǎn)動處理；如果出現(xiàn)目標(biāo)丟失情況則作目標(biāo)丟失處理。
最后，在視場轉(zhuǎn)動處理或目標(biāo)丟失處理完成后，仍在攝像頭不動的固定視場中，重新開始跟蹤目標(biāo)。
技術(shù)方案的說明如下1)圖像采集方法是，用CMOS或CCD感光單元陣列按一定周期采集灰度或彩色圖像；2)目標(biāo)指定方法是，在開始跟蹤前，通過手動或自動方式得到要跟蹤的目標(biāo)；3)二值化閾值窗口指定方法是，需要選擇目標(biāo)的一個或多個區(qū)域特征，據(jù)此產(chǎn)生圖像二值化的閾值窗口，以亮度為例，從指定的目標(biāo)上任取一點的亮度值，或者取目標(biāo)亮度平均值或中間值記為I0，亮度窗口定為{I0-I，I0+I}，I是半窗口大小，視情況決定，I0可以在每次開始固定視場時目標(biāo)跟蹤過程時根據(jù)當(dāng)時目標(biāo)的亮度特征決定，也可以在第一次決定后就不再改變。
4)圖像二值化方法是，通過閾值窗口將圖像轉(zhuǎn)化為二值化圖像，以亮度為例，亮度值位于窗口內(nèi)的像素點記為1(0)，位于窗口外的記為0(1)。
5)固定視場時目標(biāo)跟蹤方法是，保持?jǐn)z像頭不動的情況下，以目標(biāo)的運動特征為主要判據(jù)進(jìn)行跟蹤；在開始跟蹤的起始幀，二值圖像上的目標(biāo)已經(jīng)得到，或可以通過目標(biāo)搜索得到。那么從二值圖像中減去目標(biāo)區(qū)域，將剩下的區(qū)域存儲為背景。在跟蹤過程中的每一幀，當(dāng)圖像二值化完成后，處理步驟是(1)利用存儲的背景對新獲得的二值化圖像做背景減除；(2)對背景減除后的圖像做圖像清理，其目的是消除背景中一些細(xì)微變化引起的干擾；(3)接著用類似于東京大學(xué)提出的自窗口捕捉的方法在圖像清理完成后的圖像上進(jìn)行目標(biāo)捕獲；(4)對捕獲后的目標(biāo)作判斷，有三種情況(a)目標(biāo)丟失，則結(jié)束本次固定視場時目標(biāo)跟蹤過程，進(jìn)行目標(biāo)丟失處理；(b)目標(biāo)將要脫離視場范圍，則結(jié)束本次固定視場時目標(biāo)跟蹤過程，通知攝像頭轉(zhuǎn)動，并作視場轉(zhuǎn)動處理；(c)沒有發(fā)生上面兩種情況，則進(jìn)行目標(biāo)位置輸出，繼續(xù)后面的固定視場時目標(biāo)跟蹤過程。(5)根據(jù)一個狀態(tài)標(biāo)志state的值作下一步操作，state＝0代表未發(fā)生目標(biāo)分離事件，state＝1代表剛發(fā)生過目標(biāo)分離事件。(a)state＝0，判斷當(dāng)前幀是否發(fā)生目標(biāo)分離事件。沒有發(fā)生目標(biāo)分離事件的話，則當(dāng)前幀處理完畢，開始處理下一幀；發(fā)生了目標(biāo)分離事件的話，則存儲分離后目標(biāo)的任一部分，并設(shè)置state＝1，開始處理下一幀；(b)state＝1，首先要用自窗口方法捕獲當(dāng)前幀中之前存儲的部分目標(biāo)，另一部分目標(biāo)用整個目標(biāo)減去已捕獲的那部分得到。然后分別判斷分離后的目標(biāo)的兩部分的運動特征(i)當(dāng)其中任一部分滿足運動目標(biāo)的確認(rèn)條件時，則將這一部分確認(rèn)為目標(biāo)，并對另一部分做是否滿足屬于背景的條件的判斷，如滿足則把它加到背景中，最后讓state＝0，開始處理下一幀。(ii)如果兩部分都不滿足是運動目標(biāo)的確認(rèn)條件，則結(jié)束當(dāng)前幀，開始處理下一幀。(iii)如果發(fā)現(xiàn)目標(biāo)分理出的任一部分完全消失，則把剩下的另一部分確認(rèn)為目標(biāo)，讓state＝0，開始下一幀。
以下對上述固定視場時目標(biāo)跟蹤方法中的的主要操作作出具體說明目標(biāo)搜索操作。
其過程是第一步，以某一點作為種子；第二步，從該種子開始擴張，直到和原始二值化圖像有交集或超出一個限定的搜索半徑為止；第三步，若是有交集則將交集區(qū)域做區(qū)域生長并將得到的區(qū)域確認(rèn)為目標(biāo)，搜索宣告結(jié)束。若是超出限定的搜索半徑則搜索宣告失敗。
圖像清理操作由于背景的細(xì)微變化，在做完背景減除后，會在無目標(biāo)區(qū)域殘留一些細(xì)碎的背景，圖像清理就是除去這些細(xì)碎背景。該操作的著手點是利用目標(biāo)和這些細(xì)碎背景在大小上的顯著差異除掉細(xì)碎背景。圖像清理也能消除圖像噪聲影響，但不能去除背景中的巨大變化產(chǎn)生的大塊新增背景區(qū)域。
類自窗口捕捉操作其過程與東京大學(xué)提出的自窗口捕捉相同，只是目標(biāo)在兩幀之間的移動可以超出一個像素，在做完自窗口和圖像的與運算后，再進(jìn)行區(qū)域生長得到完整目標(biāo)。
目標(biāo)分離事件分離的發(fā)生有兩種可能，一種是目標(biāo)本身發(fā)生分離；另一種是目標(biāo)與背景中新增的大塊區(qū)域交疊后再分開，每發(fā)生一次目標(biāo)分離事件，都要重新確認(rèn)目標(biāo)。
目標(biāo)分離事件判斷操作要求判斷目標(biāo)是否分離成兩部分，并得到其中一部分。其過程是首先在目標(biāo)上任取一點。其次，以該點作為種子進(jìn)行區(qū)域生長。然后，在完成區(qū)域生長后，用原來的目標(biāo)區(qū)域減去區(qū)域生長得到的區(qū)域。最后判斷剩下的區(qū)域是否為空區(qū)域，如果是則未分離，否則目標(biāo)發(fā)生了分離，并且之前通過區(qū)域生長得到的是分離后的目標(biāo)的一部分。
區(qū)域生長操作生長區(qū)域記為K，生長參考圖像記為T。其過程是第一步，將K的邊界擴張一個像素得到K’。第二步，求出K’和T的交集K”。第三步，比較K和K”，如果K”比K多，則讓K＝K”，重復(fù)第一步。否則生長過程結(jié)束。如果生長方向受到限制，則過程會有改變。
運動特征判斷操作一個區(qū)域?qū)儆谶\動目標(biāo)的條件或?qū)儆诒尘暗臈l件可以利用區(qū)域邊界位置的變化、中心位置或重心位置的運動作為設(shè)定的依據(jù)。
6)目標(biāo)位置輸出方法是，得到能夠反映目標(biāo)的位置的一個參考點，可以是目標(biāo)重心，中心，甚至目標(biāo)上任一點。
7)場轉(zhuǎn)動處理在攝像頭轉(zhuǎn)動后為保持跟蹤的連續(xù)性做一些處理操作。方法是，攝像頭轉(zhuǎn)動時，以轉(zhuǎn)動前目標(biāo)的位置為依據(jù)，將攝像頭轉(zhuǎn)到使目標(biāo)位置處于視場中心。后面的處理包括，把轉(zhuǎn)動前的目標(biāo)圖像中的目標(biāo)區(qū)域移動到圖像中心?？紤]到攝像頭轉(zhuǎn)動過程中的誤差，將目標(biāo)區(qū)域擴大若干像素。在攝像頭轉(zhuǎn)動完成后，把獲得的第一幀二值圖像和目標(biāo)圖像求交集，這樣得到轉(zhuǎn)動后的初始目標(biāo)，接著開始新一輪固定視場時目標(biāo)跟蹤過程。
8)標(biāo)丟失處理此功能試圖在目標(biāo)丟失后找回目標(biāo)。常見的目標(biāo)丟失有兩種情況，一種是目標(biāo)進(jìn)入大片的和目標(biāo)相似亮度背景中，另一種是被亮度不同的前景遮擋。這可以通過判斷原始二值化圖像上目標(biāo)丟失前一刻的目標(biāo)位置附近有無相似亮度物體得到。對第一種情況，立即在原始二值化圖像上以目標(biāo)丟失前最后的位置為搜索種子展開目標(biāo)搜索。對第二種情況，等待若干時間后在原始二值化圖像上以目標(biāo)丟失前最后的位置為搜索種子展開目標(biāo)搜索。如果搜索到則開始新一輪固定視場時目標(biāo)跟蹤過程，搜索失敗的話在下一幀重新搜索。
所述的高速目標(biāo)跟蹤方法，這種基于二值化圖像的高速目標(biāo)跟蹤方法，(1)目標(biāo)可以手動指定或自動獲取，目標(biāo)物體可以是非剛體，要求其相對于背景高速運動；(2)對輸入圖像根據(jù)亮度、色彩、或紋理的區(qū)域特征進(jìn)行二值化；(3)跟蹤過程的運算是在二值圖像上進(jìn)行，跟蹤過程由固定視場時跟蹤、視場轉(zhuǎn)動處理、目標(biāo)丟失處理三個方面構(gòu)成；(4)輸出的目標(biāo)位置是一個能代表目標(biāo)在圖像上位置的點在圖像上的坐標(biāo)。
所述二值化需要一個特征閾值窗口，以區(qū)別圖像上相應(yīng)特征落在窗口內(nèi)和窗口外的區(qū)域，該窗口由窗口中點和半窗口寬度構(gòu)成，窗口中點的選取決定于目標(biāo)的相應(yīng)區(qū)域特征，以亮度為例，可以選目標(biāo)亮度平均值作為窗口中點。
對二值圖像的運算通過與、或、非等邏輯運算完成，不含加、減、乘、除等算術(shù)運算。
對二值圖像的運算是并行。
二值化是根據(jù)區(qū)域的亮度、色彩、或紋理特征，跟蹤過程中只關(guān)心二值化后區(qū)域的運動，因此不要求圖像有高分辨率。
固定視場時跟蹤過程包括目標(biāo)搜索、背景存儲、背景減除、背景減除后圖像清理、目標(biāo)捕獲、目標(biāo)丟失判斷、目標(biāo)分離事件判斷、目標(biāo)分離后目標(biāo)重確認(rèn)、更新背景操作。
視場轉(zhuǎn)動條件在目標(biāo)邊界到達(dá)視場邊界時發(fā)生，攝像頭轉(zhuǎn)動依據(jù)當(dāng)時的目標(biāo)位置，轉(zhuǎn)動后目標(biāo)位置處于視場中心，轉(zhuǎn)動后以之前存儲的目標(biāo)區(qū)域的擴大區(qū)域為窗口在視場中心捕獲目標(biāo)。
目標(biāo)丟失后根據(jù)是混入背景區(qū)域還是被前景遮擋的判斷在不同時間在目標(biāo)丟失前的最后位置附近搜索目標(biāo)。
在視場轉(zhuǎn)動處理和目標(biāo)丟失處理完成后，固定視場時跟蹤過程重新啟動。
本發(fā)明具有如下一些特點和效果1.所有圖像處理過程完全是在二值化的圖像數(shù)據(jù)上進(jìn)行，整個運算基本都可以只用到與、或、非這些基本邏輯運算完成。所以無論處理過程和運算過程都很簡單，處理速度很高。
2.因為僅利用了目標(biāo)的區(qū)域特征和目標(biāo)的運動特征，因此不要求圖像有高分辨率，甚至像64×64這樣的低分辨率就可以。
3.運算過程有二維的并行度，適合并行處理系統(tǒng)。
4.適合片上集成完成實時跟蹤高速運動目標(biāo)。
5.整個方法比較完整，適合一定復(fù)雜程度的背景，目標(biāo)還可以是非剛體，所以本發(fā)明的方法具有較好的適用性和可靠性。
6.關(guān)于攝像頭轉(zhuǎn)動時的考慮，也解決了一般基于背景減除方法的跟蹤局限于固定場景的問題。


圖1是本發(fā)明的高速目標(biāo)跟蹤方法流程圖。
圖2是固定視場時目標(biāo)跟蹤過程的流程圖。
圖3是視場轉(zhuǎn)動處理的流程圖。
圖4是目標(biāo)丟失處理的流程圖。
圖5是本發(fā)明的高速目標(biāo)跟蹤電路系統(tǒng)圖。
具體實施例方式
下面結(jié)合附圖詳細(xì)說明本發(fā)明的具體實施例一高速運動目標(biāo)追蹤系統(tǒng)。
一、如圖1所示，高速運動目標(biāo)追蹤系統(tǒng)方法流程，具有1)圖像采集、2)目標(biāo)指定、3)二值化閾值窗口指定、4)圖像二值化、5)固定視場時目標(biāo)跟蹤、6)目標(biāo)位置輸出、7)視場轉(zhuǎn)動處理和8)目標(biāo)丟失處理八個部分的步驟。其工作過程如下所述圖像采集功能以一定的周期連續(xù)地采集灰度圖像。
在跟蹤開始前第一步，指定要跟蹤的目標(biāo)。可以手動指定或自動指定。一種簡單的手動指定方法是手動將攝像頭對準(zhǔn)目標(biāo)，使視場中點在目標(biāo)上。第二步，設(shè)置二值化的亮度閾值窗口。就以圖像中目標(biāo)上的一點的像素的亮度值作為I0，亮度窗口定為{I0-I，I0+I}。
在完成上面的步驟后馬上開始跟蹤。首先把灰度圖像二值化。然后開始固定視場時目標(biāo)跟蹤過程，每完成一幀圖像的信號處理時將輸出能代表目標(biāo)在圖像上位置的點的坐標(biāo)，并開始下一幀圖像的固定視場時目標(biāo)跟蹤過程。如在過程中發(fā)現(xiàn)目標(biāo)丟失，則做目標(biāo)丟失處理，找回目標(biāo)后，下一幀固定視場時目標(biāo)跟蹤過程重新啟動。如在過程中發(fā)現(xiàn)目標(biāo)要脫離攝像頭視場，則通知攝像頭轉(zhuǎn)動到使目標(biāo)位于視場中心，并做視場轉(zhuǎn)動處理，完成后的下一幀固定視場時目標(biāo)跟蹤過程重新啟動。
二、如圖2所示固定視場時目標(biāo)跟蹤過程對每一幀二值圖像信息的處理流程如下(A)每一次啟動(或者重新啟動)固定視場目標(biāo)跟蹤過程時的第一幀圖像處理需要經(jīng)歷目標(biāo)搜索→得到背景→結(jié)束的過程。系統(tǒng)根據(jù)過去的處理狀態(tài)分兩種情況進(jìn)行信息處理。第一種情況是系統(tǒng)剛開始跟蹤過程，我們定義它為start＝1；第二種情況是經(jīng)視場轉(zhuǎn)動處理或目標(biāo)丟失處理后重新啟動跟蹤過程，我們定義它為start＝0。當(dāng)start＝1，系統(tǒng)首先通過目標(biāo)搜索來獲取目標(biāo)，然后得到背景信息。當(dāng)start＝0，目標(biāo)區(qū)域已經(jīng)在前面地處理過程中得到，所以直接得到背景就行了。
(B)固定視場時跟蹤過程中的某一幀圖像的處理，它要經(jīng)過背景減除→圖像清理→目標(biāo)捕獲→目標(biāo)丟失判斷→視場轉(zhuǎn)動判斷→位置提取→state狀態(tài)值的判斷的過程。其中判斷到目標(biāo)丟失或視場轉(zhuǎn)動后離開固定視場時目標(biāo)跟蹤流程，作相應(yīng)的目標(biāo)丟失處理或視場轉(zhuǎn)動處理。(1)當(dāng)state＝0時，系統(tǒng)確定上一幀圖像中不存在處于分離狀態(tài)的目標(biāo)，并且同時判斷在當(dāng)前幀中目標(biāo)是否發(fā)生分離。如果沒有發(fā)現(xiàn)目標(biāo)分離的話，當(dāng)前幀的處理直接結(jié)束；如果發(fā)現(xiàn)目標(biāo)分離的話，先存儲分離后目標(biāo)的一部分，并且定義state＝1后，當(dāng)前幀的處理結(jié)束。(2)當(dāng)state＝1時，系統(tǒng)確定上一幀圖像中存在處于分離狀態(tài)的目標(biāo)，那么重新確認(rèn)分離的目標(biāo)的某一部分為繼續(xù)跟蹤的目標(biāo)，并且考慮是否更新背景。首先要做的是更新目標(biāo)分離的兩部分，然后判斷是否有某一部分在當(dāng)前幀消失了。如果有一部分消失，另一部分就被確認(rèn)為目標(biāo)，這一幀的處理結(jié)束。如果兩部分都在，就判斷它們是否滿足運動目標(biāo)條件。如果都不滿足，當(dāng)前幀處理結(jié)束，但還不能確認(rèn)目標(biāo)。如果有某一部分滿足運動目標(biāo)條件，這一部分被確認(rèn)為目標(biāo)，并同時考察另一部分，確認(rèn)它是背景的話就更新背景，當(dāng)前幀處理結(jié)束。上述過程中，一旦確認(rèn)了目標(biāo)，都要設(shè)置state＝0。
固定視場時目標(biāo)跟蹤流程中的一些步驟和運算過程的具體實現(xiàn)如下定義如果一個二值圖像X，X(i，j)全為0，即所有X(i，j)求或等于0，則X＝；否則X≠。
●某區(qū)域X擴張一個像素●定義為expand(X)，它實現(xiàn)X(i，j)＝X(i+1，j)/X(i-1，j)/X(i，j+1)/X(i，j-1)/X(i，j)。
●區(qū)域生長設(shè)A是待生長區(qū)域，B是生長參考區(qū)域，定義為grow(A，B)。(1)C1＝expand(A)；(2)C1＝C1 & B；(3)C2＝C1 & ~A；(4)如果C2≠，A＝C1，回到(1)；如果C2＝，結(jié)束。
●目標(biāo)搜索設(shè)A為種子，B為待搜索圖像。(1)令A(yù)(x，y)＝1，其它點為0，r＝0；(2)A＝expand(A)；(3)C＝A & B，r＝r+1；(4)如果C≠，C＝grow(C，B)，C是找到的目標(biāo)，結(jié)束；或者r＞R(指定的搜索半徑)，結(jié)束。否則回到(2)。
●得到背景設(shè)T為目標(biāo)，G是原始二值圖像。背景BG＝~T&G。
●背景減除設(shè)BG是背景，G是要做背景減除的二值圖像。則作運算G＝~BG & G。
●圖像清理利用做完背景減除后的二值圖像中殘留細(xì)碎背景與目標(biāo)大小存在明顯差異的特點作相應(yīng)運算，方法較多，舉一例如下設(shè)X是要清理的圖像。(1)X(i，j)＝(X(i+1，j)/X(i-1，j))&X(i，j)(2)X(i，j)＝(X(i，j+1)/X(i，j-1))&X(i，j)(3)X(i，j)＝(X(i+1，j)/X(i-1，j))&X(i，j)。
●目標(biāo)捕獲設(shè)T0是上一幀存儲的目標(biāo)，G是待捕獲圖像，T是捕獲的目標(biāo)。(1)T＝expand(T0)(2)T＝T & G(3)T＝grow(T，G)。
●目標(biāo)丟失設(shè)T是目標(biāo)圖像，則T＝。
●視場轉(zhuǎn)動當(dāng)發(fā)現(xiàn)目標(biāo)的邊界到了視場邊界則需轉(zhuǎn)動。
●位置提取可以提取目標(biāo)重心，中心或任意代表目標(biāo)位置的一點。
●目標(biāo)分離判斷設(shè)T是目標(biāo)圖像。T(x，y)＝1是目標(biāo)上任意一點。(1)令A(yù)(x，y)＝1，其它像素全為零。(2)A＝grow(A，T)。(3)A＝~A & T。(4)如果A＝，則沒有分離；否則分離，且A是分離后的一部分。
●判斷是運動目標(biāo)的條件從分離時刻算起，分離目標(biāo)的某部分移動了L個像素的距離，且運動方向與目標(biāo)發(fā)生分離前的運動方向的差異比另一部分的差異小。
●判斷是背景物體的條件從分離時刻算起到重新確認(rèn)目標(biāo)，未確認(rèn)為目標(biāo)的那部分的邊界或中心的移動少于M個像素。
●將區(qū)域X加入背景BGBG＝BG|X。
三、關(guān)于視場轉(zhuǎn)動及視場轉(zhuǎn)動處理，如圖3所示，系統(tǒng)根據(jù)轉(zhuǎn)動前目標(biāo)在視場中的位置，計算攝像頭轉(zhuǎn)動的角度和方向，使轉(zhuǎn)動后目標(biāo)位于視場中心，同時系統(tǒng)進(jìn)行攝像頭轉(zhuǎn)動前存儲的目標(biāo)圖像沖的目標(biāo)區(qū)域的平移處理，使目標(biāo)區(qū)域位置在圖像的中心?？紤]到攝像頭轉(zhuǎn)動過程中的誤差，執(zhí)行若干次T＝expand(T)，這樣實際得到了用于轉(zhuǎn)動后捕獲目標(biāo)的自窗口。在攝像頭轉(zhuǎn)動結(jié)束后獲得的第一幀二值圖像G上，作T＝T&G處理。然后，重新開始固定視場時跟蹤過程。
四、關(guān)于目標(biāo)丟失處理，如圖4所示，系統(tǒng)首先判斷是被前景遮擋還是混入相似亮度背景區(qū)域。設(shè)目標(biāo)丟失前在圖像上目標(biāo)的最后位置是p，目標(biāo)丟失后獲得了原始二值圖像G。建立二值圖像P，令點p為1，其余點為0。執(zhí)行若干次P＝expand(P)，然后做P＝P&G。如果P＝是前景遮擋，否則是混入相似亮度背景。對前者，等待若干時間后以p的位置為種子在新獲得的二值圖像上搜索目標(biāo)。對后者，以同樣方式立刻搜索。找到目標(biāo)則處理過程完成，否則在接著的幀重新查找。完成后，跟蹤繼續(xù)，但重新開始固定視場時跟蹤過程。
五、本發(fā)明的實施例如圖5(1)所示，本發(fā)明的方法可以通過并行的硬件結(jié)構(gòu)實現(xiàn)。包括圖像采集和二值化圖像處理模塊、控制模塊、位置輸出模塊、攝像頭接口四部分。其中，控制模塊與圖像采集和二值化圖像處理模塊、攝像頭接口互聯(lián)，位置輸出模塊分別與攝像頭接口、圖像采集和二值化圖像處理模塊連接。
圖像采集和二值化圖像處理模塊是M×N的像素單元陣列，同時具有圖像采集功能和二值圖像處理功能。如圖5(2)所示，每一個像素單元中包括了感光單元、二值化處理單元、存儲單元、運算單元和與其它的最近鄰像素單元連接線。感光單元接收光信號并將其轉(zhuǎn)換成電信號，在每一個采集周期后獲得一幀M×N像素的灰度圖像。每個像素單元內(nèi)的二值化處理單元可以把灰度圖像轉(zhuǎn)化為二值圖像，每個像素的二值圖像數(shù)據(jù)存儲在該像素的存儲單元中，存儲單元也用來存放跟蹤過程的中間結(jié)果。單個像素單元中的存儲器為n位，n可以取n＝1，2，3......。由所有像素單元內(nèi)的運算單元構(gòu)成的二維并行處理結(jié)構(gòu)完成對二值圖像的單像素運算以及鄰域運算。
控制模塊按高速目標(biāo)跟蹤方法根據(jù)跟蹤過程的當(dāng)前情況發(fā)出指令控制二值化圖像處理模塊做出相應(yīng)處理完成跟蹤的運算過程。
位置輸出模塊負(fù)責(zé)得到一個目標(biāo)的位置坐標(biāo)，并將其輸出。
攝像頭接口負(fù)責(zé)與控制攝像頭的機械部分通訊，可以通知攝像頭轉(zhuǎn)動的時間和角度及方向，也能知道攝像頭所處的狀態(tài)。
權(quán)利要求
1.一種高速目標(biāo)跟蹤方法，其組成步驟有如下八個1)圖像采集；2)目標(biāo)指定；3)二值化閾值窗口指定；4)圖像二值化；5)固定視場時目標(biāo)跟蹤；6)目標(biāo)位置輸出；7)視場轉(zhuǎn)動處理；8)目標(biāo)丟失處理。
2.根據(jù)權(quán)利要求1所述的高速目標(biāo)跟蹤方法，其特征在于，具體步驟如下1)圖像采集，用CMOS或CCD感光單元陣列按一定周期采集灰度或彩色圖像；2)目標(biāo)指定，在開始跟蹤前，通過手動或自動方式得到要跟蹤的目標(biāo)；3)二值化閾值窗口指定，需要選擇目標(biāo)的一個或多個區(qū)域特征，據(jù)此產(chǎn)生圖像二值化的閾值窗口，以亮度為例，從指定的目標(biāo)上任取一點的亮度值，或者取目標(biāo)亮度平均值或中間值記為I0，亮度窗口定為{I0-I，I0+I}，I是半窗口大小，視情況決定，I0可以在每次開始固定視場時目標(biāo)跟蹤過程時根據(jù)當(dāng)時目標(biāo)的亮度特征決定，也可以在第一次決定后就不再改變；4)圖像二值化，通過閾值窗口將圖像轉(zhuǎn)化為二值化圖像，以亮度為例，亮度值位于窗口內(nèi)的像素點記為1(0)，位于窗口外的記為0(1)；5)固定視場時目標(biāo)跟蹤，保持?jǐn)z像頭不動的情況下，以目標(biāo)的運動特征為主要判據(jù)進(jìn)行跟蹤；6)目標(biāo)位置輸出，得到能夠反映目標(biāo)的位置的一個參考點，可以是目標(biāo)重心，中心，甚至目標(biāo)上任一點；7)視場轉(zhuǎn)動處理，在攝像頭轉(zhuǎn)動后為保持跟蹤的連續(xù)性，方法是，攝像頭轉(zhuǎn)動時，以轉(zhuǎn)動前目標(biāo)的位置為依據(jù)，將攝像頭轉(zhuǎn)到使目標(biāo)位置處于視場中心，后面的處理包括，把轉(zhuǎn)動前的目標(biāo)圖像中的目標(biāo)區(qū)域移動到圖像中心，考慮到攝像頭轉(zhuǎn)動過程中的誤差，將目標(biāo)區(qū)域擴大若干像素，在攝像頭轉(zhuǎn)動完成后，把獲得的第一幀二值圖像和目標(biāo)圖像求交集，這樣得到轉(zhuǎn)動后的初始目標(biāo)，接著開始新一輪固定視場時目標(biāo)跟蹤過程；8)目標(biāo)丟失處理，目標(biāo)丟失有兩種情況，一種是目標(biāo)進(jìn)入大片的和目標(biāo)相似亮度背景中，另一種是被亮度不同的前景遮擋，這可以通過判斷原始二值化圖像上目標(biāo)丟失前一刻的目標(biāo)位置附近有無相似亮度物體得到，對第一種情況，立即在原始二值化圖像上以目標(biāo)丟失前最后的位置為搜索種子展開目標(biāo)搜索；對第二種情況，等待若干時間后在原始二值化圖像上以目標(biāo)丟失前最后的位置為搜索種子展開目標(biāo)搜索，如果搜索到則開始新一輪固定視場時目標(biāo)跟蹤過程，搜索失敗的話在下一幀重新搜索。
3.根據(jù)權(quán)利要求1或2所述的高速目標(biāo)跟蹤方法，其特征是以下過程首先通過手動或自動方法指定要跟蹤的目標(biāo)，其次，以目標(biāo)的區(qū)域特征為參考設(shè)定相應(yīng)區(qū)域特征閾值窗口，用該閾值窗口把輸入圖像二值化，然后，通過處理每一幀二值化的圖像對目標(biāo)進(jìn)行跟蹤，當(dāng)發(fā)現(xiàn)目標(biāo)丟失，做目標(biāo)丟失處理；當(dāng)發(fā)現(xiàn)目標(biāo)要脫離攝像頭視場，轉(zhuǎn)動攝像頭對準(zhǔn)目標(biāo)，作視場轉(zhuǎn)動后處理，最后，輸出每一幀圖像中目標(biāo)的位置。
4.根據(jù)權(quán)利要求1或2所述的高速目標(biāo)跟蹤方法，這種基于二值化圖像的高速目標(biāo)跟蹤方法，其特征是(1)目標(biāo)可以手動指定或自動獲取，目標(biāo)物體可以是非剛體，要求其相對于背景高速運動；(2)對輸入圖像根據(jù)亮度、色彩、或紋理的區(qū)域特征進(jìn)行二值化；(3)跟蹤過程的運算是在二值圖像上進(jìn)行，跟蹤過程由固定視場時跟蹤、視場轉(zhuǎn)動處理、目標(biāo)丟失處理三個方面構(gòu)成；(4)輸出的目標(biāo)位置是一個能代表目標(biāo)在圖像上位置的點在圖像上的坐標(biāo)。
5.根據(jù)權(quán)利要求1或2所述的高速目標(biāo)跟蹤方法，其特征在于，所述二值化需要一個特征閾值窗口，以區(qū)別圖像上相應(yīng)特征落在窗口內(nèi)和窗口外的區(qū)域，該窗口由窗口中點和半窗口寬度構(gòu)成，窗口中點的選取決定于目標(biāo)的相應(yīng)區(qū)域特征，以亮度為例，可以選目標(biāo)亮度平均值作為窗口中點。
6.根據(jù)權(quán)利要求1或2所述的高速目標(biāo)跟蹤方法，其特征在于，對二值圖像的運算通過與、或、非等邏輯運算完成。
7.根據(jù)權(quán)利要求1或2所述的高速目標(biāo)跟蹤方法，其特征在于，對二值圖像的運算是并行運算。
8.根據(jù)權(quán)利要求1或2所述的高速目標(biāo)跟蹤方法，其特征在于，二值化是根據(jù)區(qū)域的亮度、色彩、或紋理特征，跟蹤過程中只關(guān)心二值化后區(qū)域的運動，因此不要求圖像有高分辨率。
9.根據(jù)權(quán)利要求1或2所述的高速目標(biāo)跟蹤方法，其特征在于，固定視場時跟蹤過程包括目標(biāo)搜索、背景存儲、背景減除、背景減除后圖像清理、目標(biāo)捕獲、目標(biāo)丟失判斷、目標(biāo)分離事件判斷、目標(biāo)分離后目標(biāo)重確認(rèn)、更新背景操作。
10.根據(jù)權(quán)利要求1或2所述的高速目標(biāo)跟蹤方法，其特征在于，視場轉(zhuǎn)動條件在目標(biāo)邊界到達(dá)視場邊界時發(fā)生，攝像頭轉(zhuǎn)動依據(jù)當(dāng)時的目標(biāo)位置，轉(zhuǎn)動后目標(biāo)位置處于視場中心，轉(zhuǎn)動后以之前存儲的目標(biāo)區(qū)域的擴大區(qū)域為窗口在視場中心捕獲目標(biāo)。
11.根據(jù)權(quán)利要求1或2所述的高速目標(biāo)跟蹤方法，其特征在于，目標(biāo)丟失后根據(jù)是混入背景區(qū)域還是被前景遮擋的判斷在不同時間在目標(biāo)丟失前的最后位置附近搜索目標(biāo)。
12.根據(jù)權(quán)利要求1或2所述的高速目標(biāo)跟蹤方法，其特征在于，在視場轉(zhuǎn)動處理和目標(biāo)丟失處理完成后，固定視場時跟蹤過程重新啟動。
13.一種高速目標(biāo)跟蹤電路系統(tǒng)，包括圖像采集和二值化圖像處理模塊、控制模塊、位置輸出模塊、攝像頭接口四部分，其中，控制模塊與圖像采集和二值化圖像處理模塊、攝像頭接口互聯(lián)，位置輸出模塊分別與攝像頭接口、圖像采集和二值化圖像處理模塊連接。
14.根據(jù)權(quán)利要求13所述的高速目標(biāo)跟蹤電路系統(tǒng)，其特征在于，圖像采集和二值化圖像處理模塊是M×N的像素單元陣列，具有圖像采集功能和二值圖像處理功能，每一個像素單元中包括了感光單元、二值化處理單元、存儲單元、運算單元和與最近鄰像素單元連接線。
全文摘要
本發(fā)明屬于圖像信息處理領(lǐng)域，一種高速目標(biāo)跟蹤方法及其電路系統(tǒng)。高速目標(biāo)跟蹤的過程是首先通過手動或自動方法指定要跟蹤的目標(biāo)。其次，以目標(biāo)的區(qū)域特征為參考設(shè)定相應(yīng)區(qū)域特征閾值窗口，用該閾值窗口把輸入圖像二值化。然后，通過處理每一幀二值化的圖像對目標(biāo)進(jìn)行跟蹤。當(dāng)發(fā)現(xiàn)目標(biāo)丟失，做目標(biāo)丟失處理；當(dāng)發(fā)現(xiàn)目標(biāo)要脫離攝像頭視場，轉(zhuǎn)動攝像頭對準(zhǔn)目標(biāo)，作視場轉(zhuǎn)動后處理。最后，輸出每一幀圖像中目標(biāo)的位置。本發(fā)明具有運算簡單，速度快，并行處理的特點。在保證高速處理的同時，兼顧了目標(biāo)和背景的復(fù)雜性，特別適合跟蹤高速運動目標(biāo)。本發(fā)明提出一種硬件實現(xiàn)方式的實施例結(jié)構(gòu)圖。
文檔編號H04N9/64GK1968352SQ20051008690
公開日2007年5月23日 申請日期2005年11月17日 優(yōu)先權(quán)日2005年11月17日
發(fā)明者妙維, 林清宇, 吳南健 申請人:中國科學(xué)院半導(dǎo)體研究所