專利名稱：物體跟蹤裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種運動物體檢測和跟蹤裝置，該運動物體檢測和跟蹤裝置尤其適于通過，例如，根據(jù)目標物體的運動而移動一個電視攝影機來跟蹤一個目標物體。
到現(xiàn)在為止，當根據(jù)目標物體的運動通過移動電視攝影機跟蹤該目標物體時，首先檢測在一個由電視攝影機拍攝的圖象中目標物體的運動。分塊擬合是適用這種運動檢測一種的常用檢測方法，進行分塊擬合時是把在一個畫面內(nèi)的圖象分成很多塊，并且在目標塊中，相對于時間上持續(xù)跟著的下一個畫面進行相關(guān)計算，以便根據(jù)相關(guān)塊是最小誤差塊的理由確定該目標物體的運動。
在采用這種分塊擬合方法檢測物體運動時，不能使目標物體與其它物體或背景分開，這就使得最后的判定是根據(jù)統(tǒng)計量作出的。也就是，如果沒有拍攝出正確的對應(yīng)關(guān)系，可以通過選擇一個包含那個誤差量最小的塊確定運動。
然而，在上述根據(jù)分塊擬合檢測運動的方法中，在目標塊中和在時間緊隨其后的下一畫面中進行的相關(guān)計算包含大量的計算。存在的另一個問題是不能檢測帶有圖案的物體的運動。
另外，因為該方法僅僅涉及一個簡單的分塊擬合，其中運動檢測是根據(jù)目標塊和時間上緊隨其后的下一個畫面之間的相關(guān)程度進行的，所以該方法不能處理物體尺寸上的任何變化和不能對目標物體進行尺寸上的限定，因此，甚至當該物體已經(jīng)從視場中消失時，還仍將那個最小相關(guān)計算的位置作為那個相關(guān)的塊輸出，從而導致了一個錯誤的運動檢測。
鑒于上述情況，本發(fā)明的一個目的是提供一個運動物體檢測及跟蹤裝置，該裝置能夠準確和可靠地檢測一個物體的運動，以便自動跟蹤該目標物體。
本發(fā)明的上述目的和其它目的可以通過在一個指定的區(qū)域內(nèi)設(shè)置用于跟蹤一個目標物體的物體跟蹤裝置而達到，該物體跟蹤裝置包括用于對物體進行攝影并產(chǎn)生圖象信號的攝影裝置;用于計算在初始屏幕上指定區(qū)域內(nèi)的上述圖象信號的頻率曲線的頻率曲線處理裝置;用于獲得同頻率曲線中較高頻率范圍相關(guān)的時間-空間圖象的時間-空間圖象處理裝置和根據(jù)時間-空間圖象的軌跡控制攝影裝置的控制裝置。
另外，在指定的區(qū)域內(nèi)用于跟蹤一個目標物體的物體跟蹤裝置包括用于計算在初始屏幕上的指定的區(qū)域內(nèi)圖象信號頻率曲線的頻率曲線處理裝置;用于獲得同頻率曲線中具有較高頻率范圍相關(guān)的時間-空間圖象的時間-空間圖象處理裝置和根據(jù)時間-空間圖象的軌跡控制攝影裝置的控制裝置。
當在以尺寸和位置可變方式在一個屏幕上顯示的一個指定的區(qū)域畫面WAKU內(nèi)捕捉到一個待跟蹤的目標物體，并且開始跟蹤時，便對一個由一個攝影光學系統(tǒng)2輸入的圖象信號進行照度/色度(以下簡稱Y/C)分離。在此之后，從跟蹤區(qū)域頻率曲線中確定該目標物體，并且從其顏色-時間-空間圖象，顏色-時間-空間微分圖象，和/或照度-時間-空間圖象中得到運動矢量，因而能比用常規(guī)的分塊擬合方法檢測種類更 的物體。
結(jié)合附圖閱讀下面的詳細說明后，可以使本發(fā)明的本質(zhì)、原理和應(yīng)用更清楚，在附圖中相同的部件用相同的序號或符號標出。
在附圖中

圖1是表示根據(jù)本發(fā)明第一實施例的運動物體檢測和跟蹤裝置的方框圖;
圖2A和2B是解釋圖象信號顏色平面圖的示意圖;
圖3是解釋通過指定區(qū)域的畫面在屏幕上指定目標物體的方法的示意圖;
圖4A至4C是解釋目標物體的顏色和章度的特征曲線圖;
圖5A至5C是解釋在X和Y方向上產(chǎn)生時間-空間圖象的示意圖;
圖6是解釋確定顏色范圍的特征曲線圖;
圖7A和7B是表示產(chǎn)生時間-空間圖象例子的示意圖;
圖8A和8B是解釋當產(chǎn)生時間-空間圖象時屏幕區(qū)域劃分的示意圖;
圖9A至9C是解釋在時間-空間圖象中運動量和畸變量的示意圖;
圖10是根據(jù)本發(fā)明第二實施例的運動物體檢測/跟蹤裝置的方框圖;
圖11是表示一個章度/色調(diào)轉(zhuǎn)換電路的結(jié)構(gòu)方框圖;
圖12是解釋顏色差分信號分布同量化階之間關(guān)系的特征曲線圖;
圖13是表示用來把顏色差分信號轉(zhuǎn)換成章度/色調(diào)矩陣的組成示意圖;
圖14是解釋濾色器的特征曲線圖;
圖15A和15B是解釋指定目標物體和時間-空間圖象計算范圍的示意圖;
圖16是解釋顏色-時間-空間圖象的示意圖;
圖17是解釋確定目標物體的示意圖;
圖18A和18B是解釋檢測目標物體尺寸的示意圖;
圖19A和19B是解釋在時間-空間圖象中一個目標物體與另一個物體相遇而過的示意圖;
圖20是解釋目標物體從屏幕上在時間-空間圖象中消失的示意圖;
圖21是解釋借助顏色-時間-空間圖象檢測運動矢量的示意圖;
圖22是解釋借助顏色-時間-空間微分圖象檢測運動矢量的示意圖;
圖23是解釋照度頻率曲線的特征曲線圖;
圖24是解釋借助照度頻率曲線檢測運動矢量的示意圖;
圖25是作為舉例說明的運動矢量直方圖;
圖26是表示根據(jù)本發(fā)明第三實施例的運動物體檢測/跟蹤裝置的方框圖;
圖27A和27B是解釋確定一個目標物體的示意圖;
圖28是解釋根據(jù)時間持續(xù)性而確定目標物體坐標的示意圖;
圖29是解釋一個參照區(qū)域的示意圖，該參照區(qū)域的作用是當目標物體消失發(fā)生時作為圖形擬合的參考;
圖30是表示在由于目標物體的相遇而過目標物體消失時用于進行圖形擬合的擬合區(qū)域的示意圖;
圖31表示當目標物體從屏幕上消失時用于進行圖形擬合的擬合區(qū)域;和圖32至34是解釋運動物體檢測和跟蹤步驟的流程圖。
下面參照附圖描述本發(fā)明的優(yōu)選實施例(1)第一實施例圖1表示根據(jù)本發(fā)明的一個運動物體檢測和跟蹤裝置1。一個圖象信號從一個攝影光學系統(tǒng)2中輸出，該攝影光學系統(tǒng)2包括一個透鏡2A、一個變焦距鏡頭2B、一個可變光2C和一個電荷耦合器件(CCD)圖象傳感器2D。該圖象信號通過一個自動增益控制AGC電路3傳輸，通過一個模-數(shù)轉(zhuǎn)換電路(A/D)4轉(zhuǎn)換成一個數(shù)字信號，通過一個數(shù)字攝影機處理電路5進行Y/G分離，并且通過一個數(shù)-模轉(zhuǎn)換電路6作為一個照度信號Y和一個色度信號C輸出。把照度信號Y和色度信號C提供給一個取景器(未示出)以便顯示。
另外，把由數(shù)字攝影機處理電路5進行Y/C分離而獲得的照度信號Y和顏色差分信號R-Y及B-Y通過一個低通濾波器(LPF)7傳輸，以便由可變的圖象壓縮電路8對圖象進行壓縮。在此過程中，照度信號Y和顏色差分信號R-Y和B-Y被壓縮至1/4或1/8，實際上，壓縮至對應(yīng)于256×256象素的尺寸或?qū)?yīng)于128×125象素的尺寸。用來自一個微處理器結(jié)構(gòu)的系統(tǒng)控制電路13的一個控制信號S1控制在兩種尺寸之間的轉(zhuǎn)換。
由于照度信號Y和顏色差分信號R-Y和B-Y被壓縮，直角坐標系統(tǒng)顏色信號R-Y和B-Y傳輸給章度/色調(diào)檢測電路9，以便把章度和色調(diào)值變換成極座標中的表示值。將輸出的對應(yīng)于一個視場的Y信號、H信號和S信號暫時存貯在一個存貯器10中。
把在存貯器10中存貯的Y信號、H信號和S信號輸入到頻率曲線處理電路12和時間-空間圖象處理電路11中，并且產(chǎn)生了在指定的用于跟蹤區(qū)域內(nèi)的顏色及照度信號頻率曲線同指定的跟蹤顏色相關(guān)的照度信號的X及Y方向時間-空間圖象和照度信號的X及Y方向時間-空間圖象。系統(tǒng)控制電路13根據(jù)同該顏色相關(guān)的X及Y方向的時間-空間圖象計算X和Y方向的運動矢量和畸變量。
另外，系統(tǒng)控制電路13根據(jù)所得到的X和Y方向運動矢量和畸變量輸出一個隨動拍攝傳動器驅(qū)動信號PAN，一個變焦距鏡頭傳動器驅(qū)動信號ZOOM，和一個可傾斜傳動器驅(qū)動信號TILT。分別用這些傳動器驅(qū)動信號PAN、ZOOM和TILT來操作一個隨動拍攝傳動器14、一個變焦鏡頭傳動器15和一個可傾斜傳動器16以便自動跟蹤該目標物體。也有可能靠鎖定焦距或在目標物體上的AE實現(xiàn)該控制。一個從系統(tǒng)控制電路13向存貯器10傳輸?shù)男盘朣2是一個存貯器控制信號，以便進行區(qū)域指定、畫面設(shè)定、適當改變顏色區(qū)域和照度區(qū)域畸變等等。另外，系統(tǒng)控制電路13向一個畫面信號產(chǎn)生部分41提供一個指定區(qū)域畫面的坐標和尺寸的信息S3。畫面信號產(chǎn)生部分41根據(jù)信息S3產(chǎn)生一個指定區(qū)域畫面信號S4。把指定區(qū)域畫面信號S4疊加到從數(shù)-模轉(zhuǎn)換電路6輸出的照度信號Y上，并且向取景器(未示出)顯示一個拍攝的圖象。
在此實施例中，章度/色調(diào)檢測電路9把直角坐標系的顏色信號R-Y和B-Y轉(zhuǎn)換成極坐標系章度和色調(diào)。實際上，直角坐標系的顏色信號R-Y和B-Y與極坐標系(HSI顏色模式)的章度和色調(diào)之間的關(guān)系如圖2A和2B所表示。應(yīng)注意，“U”表示R-Y的值，而“V”表示B-Y的值。在這里，直角坐標系顏色信號R-Y和B-Y有一個(-128，127)的動態(tài)范圍，并且極坐標系的章度和色調(diào)有一個(0，255)的動態(tài)范圍，這些動態(tài)范圍可分別以以下公式變換章度S =( R - Y )2+ ( B - Y )2……… ( 1 )]]>色調(diào) H＝tan-1(B-Y)/(R-Y) ……(2)在此實施例中，在取景器上通過使用一個輸入部分40的光標鍵移動指定區(qū)域畫面以便把待跟蹤目標物體放在指定區(qū)域畫面中。然后，通過使用者按輸入部分40等的一個恢復(fù)鍵，則在初始屏幕上確定指定區(qū)域畫面。系統(tǒng)控制電路13把在初始屏幕上的指定區(qū)域畫面的坐標和尺寸提供給存貯器10作為存貯器控制信號S2。
在此實施例中，目標物體是一個在指定區(qū)域畫面WAKU內(nèi)的紅色汽車。作為參考，圖4A和4B表示了這個指定區(qū)域畫面的顏色分布。圖4A是用直角坐標系表示，而圖4B是用極坐標系表示。在此實施例中，通過使用一個在頻率曲線處理電路12(圖4C)中得到的色調(diào)頻率曲線HST來指定目標物體。假定在指定區(qū)域畫面WAKU內(nèi)的色調(diào)頻率曲線(圖4C)中的最高頻率的顏色區(qū)域為目標物體的顏色區(qū)域。在這里，顏色區(qū)域的最大范圍限制到20，當以極坐標系的角θ表示時大約為28°。實際上，如果顏色區(qū)域的范圍不加限制，則可以跟蹤多種顏色。因此，在此實施例中，顏色區(qū)域被限制于下面公式的范圍內(nèi)65≤h≤85……(3)(在此“h”是色調(diào)值)另外，在此實施例中，時間-空間圖象處理電路根據(jù)圖象信息計算出一個如圖5A所示的三維時間-空間直角棱柱，從該棱柱在一個時間-空間圖象。通常是通過沿著時間軸使輸入圖象連續(xù)排成行以便形成一個三維的時間-空間直角棱柱，在某一時間點根據(jù)此三維直角棱柱沿著X和Y方向進行加法及取平均值的計算并且在時間軸上安排計算結(jié)果而得到該時間-空間圖象。在此過程中，隨著攝影機和物體的運動在該時間-空間圖象中會出現(xiàn)一個亮/暗條紋圖案。
實際上，在三維的時間-空間直角棱鏡中的各個象素的照度信號的值“i”由下面的公式表示i＝I(x，y，t)……(4)反之，在三維的時間-空間直角棱柱中的各個象素的色調(diào)值“h”和章度值“s”由下面的公式表示h＝H(x，y，t)……(5)s＝S(x，y，t)……(6)因此，從顏色區(qū)域范圍(h1≤h≤h2，且在此實施例中，h1＝65，h2＝85)中，該顏色區(qū)域范圍根據(jù)在目標物體上的顏色確定，如圖5B和5C所示，根據(jù)下面相對X方向的公式(1)和Y方向的公式(8)得到顏色-時間-空間圖象(色調(diào))
H ( x , t ) =1aΣy = oNH ( x , y , t ) …………( 7 )]]>(當h1≤h≤h2，h＝h，并且當h＜h1和h＞h2，h＝0時，這里，“b”是h≠0的“h”的數(shù)目)Y方向的公式H ( y , t ) =1bΣx = oNH ( x , y , t ) …………( 8 )]]>(當h1≤h≤h2，h＝h，并且當h＜h1和h＞h2，h＝0時，這里，“b”是h≠0的“h”的數(shù)目)如圖6所示，對在每個時間點上所得到的顏色-時間-空間圖象根據(jù)顏色區(qū)域范圍來進行標準化處理。在此實施例中，使用的不是以照度信號為基礎(chǔ)的時間-空間圖象。因而得到的時間-空間圖象如圖7A和7B所示。圖7A表示一個以照度信號為基礎(chǔ)的時間-空間圖象，而圖7B表示一個以一些顏色信號為基礎(chǔ)的時間-空間圖象。在此例中，攝影機保持固定且鏡頭張開拍攝一個以低緩速度開始運動時的目標物體-紅色汽車。
當一個時間-空間圖象占滿整個屏幕時，信息量被過分地壓縮，因此很難獲得正確的結(jié)果。實際上，將該區(qū)域劃分成X和Y方向上的八個部分，以便在每個分區(qū)內(nèi)產(chǎn)生一個時間-空間圖象。圖8A和圖8B表示屏幕被分成X和Y方向的四個部分的一個例子。有可能獲得下述的塊該物體目前按指定的或自動控制的指定畫面的位置而存在這些塊中。根據(jù)這些塊中的信息可以計算運動量和畸變量。圖7A和7B示出了同八個塊中的三個塊相關(guān)連的時間-空間圖象，在這三個塊中存在該物體。
另外，在本實施例的運動圖象檢測和跟蹤裝置1中，根據(jù)由此得到的顏色-時間-空間圖象用系統(tǒng)控制電路13來執(zhí)行如圖9A-9C所示的步驟，由此檢測目標物體的運動量和畸變量。圖9A至9C表示對在X方向上(圖9A)的時間-空間圖象進行的處理，對在Y方向上的時間-空間圖象進行的類似處理。
首先，就初始屏幕(t＝0，t＝t-1(圖9B)而論，對一個不包括0的一個坐標區(qū)域(P0，P1)進行整化，該坐標區(qū)域在最初在顏色-時間-空間圖象中設(shè)定的指定畫面坐標(W0(t)，W1(t))的區(qū)域以內(nèi)或遍布這個區(qū)域，并且這個寬度(t)是由根據(jù)物體的初始狀態(tài)確定的下列方程寬度(t)＝P1-P0+1……(9)表示，作為如此安排的結(jié)果，該區(qū)域端點坐標之間的距離，以及指定區(qū)域畫面，d0(t)和d1(t)用下面的公式表示d0(t)＝P(o)-W0(t)+1……(10)d1(t)＝P1-W1(t)+1……(11)(如果P0＜W0(t)，d0(t)＝0，和如果P1＞W(wǎng)1(t)，d1(t)＝0)當P0＜W0(t)，d0(t)＝0，和當P1＜W1(t)，d1(t)＝0時，根據(jù)公式(10)和(11)。實際上，運動量和畸變量都為0。
接著，就隨后的屏幕(t＝t，在圖9C中)而論，得到一個與t＝t-1的物體寬度相連系的不包括0的區(qū)域，并且假定在此時端坐標是(P2，P3)。從下面的公式中得到此時物體的寬度寬度(t)＝P3-P2+1……(12)并且從下面的公式中得到畸變量R＝寬度(t)/寬度(t-1)……(13)接著，根據(jù)公式(13)中得到的畸變量，從下面的公式中得到新的指定區(qū)域畫面坐標W0(t)＝P2-R×d0(t-1)……(14)W1(t)＝P3+R×d1(t-1)……(15)以此方式，可以跟蹤指定區(qū)域畫面的尺寸和運動。從下面的公式中得到該運動矢量mv(t)＝ (W1(t)-W0(t))/2 - (W1(t-1)-W0(t-1))/2 …(16)另外，根據(jù)一個通過在X方向處理而獲得的運動矢量mvx(t)的下面的公式，系統(tǒng)控制電路13產(chǎn)生了一個用于控制隨動拍攝傳動器14的隨動拍攝器驅(qū)動信號PAN。
PAN＝AXmvx(t) ……(17)類似地，根據(jù)下面的在Y方向得到的一個運動矢量mvy(t)的公式，產(chǎn)生一個可傾斜傳動器驅(qū)動信號TILT以控制該可傾斜傳動器16。
TILT＝Bxmvy(t) ……(18)另外，根據(jù)區(qū)域畫面尺寸變化，從下面的公式中
ZOOM＝C× (W1(t)-W0(t))/(W1(t-1)-W0(t-1)) ……(19)獲得一個變焦距鏡頭驅(qū)動信號ZOOM以控制變焦距鏡頭傳動器15。在公式(17)到(19)中，系數(shù)A、B和C是根據(jù)攝影機狀態(tài)而確定的值。
在上面描述的實施例中，從一個新的指定區(qū)域畫面坐標中檢測在X和Y方向的運動矢量和畫面的尺寸以驅(qū)動隨動拍攝傳動器14，可傾斜傳動器16和變焦距傳動器15。然而，如果不驅(qū)動這樣一個攝影光學系統(tǒng)2，只能進行指定區(qū)域畫面的運動、放大和縮小。在這種情況下，系統(tǒng)控制電路13把一個新的指定區(qū)域畫面坐標S3的數(shù)據(jù)饋給信號產(chǎn)生部分41。畫面信號產(chǎn)生部分41根據(jù)新的指定區(qū)域畫面坐標適時修正指定區(qū)域畫面信號S4。
根據(jù)上述結(jié)構(gòu)，對從攝影光學系統(tǒng)輸入的一個圖象信號進行Y/C分離，并且隨后從跟蹤區(qū)域的一個顏色頻率曲線中指出目標物體的顏色。在X和Y方向中的每個方向得到那個顏色的時間-空間圖象，并且，根據(jù)其軌跡和該軌跡的寬度的相對尺寸和初始寬度可以檢測在X和Y方向上的運動量和畸變量。因而可以實現(xiàn)一個這樣的運動物體檢測和跟蹤裝置;該運動物體檢測和跟蹤裝置與常規(guī)的分塊擬合法相比可以用少得多的計算檢測甚至是帶有圖案的物體的運動量和畸變量。
另外，根據(jù)上述結(jié)構(gòu)，用來控制攝影機鏡頭，攝影機機身和/或隨動拍攝鏡頭的驅(qū)動信號是根據(jù)X和Y方向上的運動量和畸變量產(chǎn)生的，因此可以實現(xiàn)這樣一種運動物體檢測和跟蹤裝置;該運動物體檢測和跟蹤裝置不僅能自動跟蹤物體，而且能處理物體尺寸上的變化，并且可以按一個始終合適的尺寸拍攝目標物體，這樣就實現(xiàn)了在裝置使用方便性方面的實質(zhì)性改進。
還有，在上述結(jié)構(gòu)中，根據(jù)X和Y方向的運動量和畸變量移動指定區(qū)域畫面，并且進一步控制其尺寸，以便跟蹤一個所希望跟蹤的目標物體。這可以應(yīng)用于相關(guān)一個目標物體或類似物的局部圖象處理。
(2)第二實施例參照圖10，其中對應(yīng)于圖1的部件用相同的標號表示，標號20通常指示根據(jù)本發(fā)明第二實施例的一個運動物體檢測和跟蹤裝置。在此實施例中，把包括有一個極坐標系章度的色調(diào)值和來自章度/色調(diào)檢測電路9的色調(diào)輸出的H信號通過一個濾色器21暫時存貯于存貯器10中。
把存貯在存貯器10中的Y信號、H信號和S信號輸入到它們各自的時間-空間圖象處理電路22、23和24中，并且得到了用于跟蹤指定區(qū)域畫面的顏色和照度信號直方圖，假定濾色器21的第n級最高輸出的顏色和最高分辨的照度范圍是目標物體的特征數(shù)量。因而，根據(jù)目標物體的顏色和照度信號得到在X和Y方向的時間-空間圖象。
從這些時間-空間圖象中，在系統(tǒng)控制電路13中精確確定該物體，然后計算在X和Y方向的運動矢量、狀態(tài)識別、尺寸等等，而且輸出用于跟蹤目標物體的一個隨動拍攝傳動器驅(qū)動信號PAN，一個變焦距鏡頭傳動器驅(qū)動信號ZOOM，和一個可傾斜傳動器驅(qū)動信號TILT。用這些傳動驅(qū)動信號PAN，ZOOM和TILT來操作隨動拍攝傳動器14，變焦距鏡頭傳動器15和可傾斜傳動器16以便自動跟蹤目標物體。
關(guān)于這個運動物體檢測和跟蹤裝置20，如圖11所示，通過使用一個ROM結(jié)構(gòu)的n-矩陣9A和s-矩陣9B從“u”和“v”值(“u”和“v”分別代表R-Y和B-Y的值)中進行查表，在章度/色調(diào)檢測電路9中進行轉(zhuǎn)換。作為一個用于此過程的表，如圖12所示的指數(shù)函數(shù)分布被假定為u或v分布。
接著，為了減小存貯量，把量化分級數(shù)從128減少到n階。如圖13所示。作出由重新量化的u和v軸而構(gòu)成的兩個u-v平面以便求出H和S。該轉(zhuǎn)換圖的每個部分允許用前面描述的公式(1)在對區(qū)域內(nèi)求平均之前進行計算。
另外，就這個運動物體檢測和跟蹤裝置20而論，濾色器21根據(jù)從u和v信號(u和v信號由章度/色調(diào)檢測電路9而得到)而得到的H信號進行顏色范圍限制，在每個顏色范圍內(nèi)的直方圖的積分值為輸出。
H信號是在如圖2A的圖象信號顏色平面圖所示的二維結(jié)構(gòu)中確定的，因而，在色調(diào)范圍內(nèi)進行顏色分類，以便構(gòu)成濾色器21。這里，被進行分類的顏色通常是在自然中發(fā)現(xiàn)的紅、蘭、綠、黃、青、深紅和淺肉色。如圖14所示，根據(jù)經(jīng)驗分別把深紅(Mg)、紅(R)、皮膚色、黃(Y)、綠(G)、青(Cy)和藍確定為20-40，65-85，90-110，115-135，150-170，195-215和225-245。
在這里，當根據(jù)例如如圖15A和15B所示一個圖象作為初始圖象確定包括有一個紅汽車的目標物體的顏色時，把濾色器21使用到上述色調(diào)直方圖上，并且每個顏色范圍中的直方圖的面積表示濾色器輸出量，假定這個輸出量級不低于第n個最高級(例如n＝2)的顏色范圍是目標物體的顏色。實際上，在此濾色器中顏色之間設(shè)置間隙，借助這些間隙可以有效減少中和色的影響。
用與第一實施例同樣的方法得到時間-空間圖象。然而在此實施例中，由于時間-空間圖象占據(jù)整個屏幕導致信息量的過分壓縮，很難獲得正確的結(jié)果。因此，實際上，如圖15B所示，把在X和Y方向的圖象區(qū)域限制于帶狀區(qū)域范圍內(nèi)，每個帶狀區(qū)域比指定區(qū)域畫面略寬，在此區(qū)域得到一個如圖16所示的時間-空間圖象。
另外，就本實施例而論，指定系統(tǒng)控制電路13得到一個關(guān)于得到的顏色-時間-空間圖象的一個時間差。由于這樣的安排，去除在顏色-時間-空間圖象中的靜止部分，并且只取出已經(jīng)發(fā)生任何變化的那部分上信息。在此過程中，把微小的運動和邊緣部分作為干擾取出，以便使得從微分圖象中除去小于一定尺寸的移動區(qū)域。
在上述結(jié)構(gòu)中，當實際上開始跟蹤一個目標物體時，首先必需向該系統(tǒng)通知待攝影機跟蹤的物體。因而，如圖15A所示，在開始跟蹤之前，用與第一實施例情況相同的指定區(qū)域畫面WAKU在初始屏幕上確定待跟蹤的物體。借此安排，如圖17所示，從在指定區(qū)域畫面WAKU的X和Y方向的端坐標X0、X1中可以知道目標物體的位置。
因此，這個范圍被認為是待進行搜索的區(qū)域，從在初始屏幕上的顏色-時間-空間圖象和顏色-時間-空間微分圖象中可以得到在此范圍內(nèi)的特征數(shù)量的坐標(S0，S1)。如果它們滿足下面公式的條件X0≤S0≤X1……(20)X0≤S1≤X1……(21)
則被判斷為目標物體?；蛘?，當多個特征以一個分裂狀態(tài)存在于指定區(qū)域畫面中時，如果分裂的間隔小于某一個值時，對其整合并且認為是同一物體。
另外，根據(jù)在初始狀況確定的目標物體的坐標利用時間持續(xù)性檢查物體運動的路徑(如圖18A和18B所示)。假定在初始狀況t0下物體的坐標是(S0，S1)。得到了在接著t0之后的時刻t1的坐標(S2，S3)。在這里，用下面的公式表示該物體的尺寸t＝0W0＝S1-S0+1……(22)t＝1W1＝S3-S2+1……(23)用下列公式表示在此刻尺寸dW的差值dW＝｜W0-W1｜……(24)(當dW≤dε，W1＝W1，和當dW＞dε，W1＝W0，在這里，“dε”是一個預(yù)先確定的常數(shù))借此確定該物體的尺寸。
另外，在此實施例中，對該目標物體與另一個物體的相遇而過或其從屏幕上的消失進行檢測。實際上，目標物體與另一個物體相遇而過導致一個如圖19A所示的時間-空間圖象，從此圖象中可以看到該物體的寬度怎樣被另一個物體逐漸遮掩。利用該物體寬度的變化可以指出相遇而過的狀態(tài)。當根據(jù)顏色指定待跟蹤的物體時被跟蹤的物體的顏色軌跡中斷成如圖19B所示的間隔。
另外，因為當物體已經(jīng)從屏幕上消失時，中斷使時間-空間圖象的運動軌跡，所以用已經(jīng)用過的相同的算法不能進行跟蹤。因此，必需作出那個目標物體是否已經(jīng)從屏幕上消失的判斷。圖20表示在時間-空間圖象中的那個目標物體從屏幕中消失的方式。假定該物體的坐標是(S0，S1)并且屏幕寬度為某一“寬度”。當物體的坐標滿足下列公式S0＝0，S1＜dW0，和(S1-S0+1)＜dW……(25)(這里，“dW0”是一個預(yù)先確定的常數(shù))或者S0＞dW1，S1＝寬度，和(S1-S0+1)＜dW……(26)(這里，“dW1”是一個預(yù)先確定的常數(shù))時對物體從屏幕上消失進行判斷另外，在本實施例的系統(tǒng)控制電路13中，借助于一個顏色-時間-空間圖象來進行運動矢量檢測。實際上，如圖21所示，假定在某一時間點在顏色-時間-空間圖象中一個指定物體的端坐標是(S0，S1)，并且在時間點t-1跟著坐標(S0，S1)的端坐標是(S2，S3)。假定利用這個持續(xù)性并根據(jù)坐標和中心坐標得到的運動矢量是mv1，mv2，mv3。
另外，如圖22所示，根據(jù)存在于顏色-時間-空間微分分圖象中的指定區(qū)域畫面中的所有邊緣的時間持續(xù)性可以得到運動矢量。這里，假定運動矢量mvi至mvj是同存在于該畫面內(nèi)的所有邊緣相關(guān)。
在這里，如圖23所示，獲得一個在指定目標物體的區(qū)域21內(nèi)的照度頻率曲線，并且把隨頻率偏移的那部分確定為該目標物體的照度范圍(h0，h1)。接著，就顏色信號而論，可以相對此照度范圍(h0，h1)得到一個平均值，并且根據(jù)下列用于X和Y方向的公式
i+I(x，y，t)……(27)I ( x , y ) =1NΣy = oNH ( x , y , t ) ………( 28 )]]>I ( x , y ) =1NΣx = oMH ( x , y , t ) ………( 29 )]]>產(chǎn)生一個照度-時間-空間圖象。就顏色-時間-空間圖象而論，計算范圍是如圖15B所描述的帶狀范圍。
接著，根據(jù)在如圖24所示而得到的照度-時間-空間圖象的指定區(qū)域畫面中的特征檢測一個邊緣部分。然后，在包括那個邊緣的小區(qū)域上進行圖形擬合。將顯示出最大相關(guān)度的區(qū)域作為是相關(guān)區(qū)域，并且計算運動矢量。在這里，根據(jù)在指定區(qū)域畫面內(nèi)的所有邊緣得到運動矢量mvR-mvL。
分別對根據(jù)顏色-時間-空間圖象、顏色-時間-空間微分圖象和照度-時間-空間圖象得到運動矢量mv1，mv2，mv3，mvi到mvj，和mvR到mvL進行判斷。從由這些運動矢量而得到的運動矢量直方圖(如圖25所示)中，將最高頻率的運動量確定為在該時刻的運動矢量。
根據(jù)上面的結(jié)構(gòu)，把一個來自攝影光學系統(tǒng)的圖象信號輸入進行Y/C分離，然后根據(jù)一個跟蹤區(qū)域頻率曲線確定該目標物體。根據(jù)顏色-時間-空間圖象、顏色-時間-空間微分圖象和其照度-時間-空間圖象，得到運動矢量，因此有可能實現(xiàn)這樣一個運動物體檢測和跟蹤裝置，同傳統(tǒng)的分塊擬合法相比該運動物體檢測和跟蹤裝置甚至能夠準確地檢測帶有圖案的物體的運動，并且減少了計算工作量。
另外，根據(jù)上述構(gòu)造，涉及的信息量比在常規(guī)的分塊模擬法中的要少，使得計算量可以減少。還有，由于使用了壓縮的特征數(shù)量，可以使運動量的計算不受物體的外形及其圖案的奇特等因素的影響。由于跟蹤是在指定了目標物體之后進行的，所以可以有效地避免錯誤的跟蹤(甚至當物體已經(jīng)從視場中消失時)。
另外，根據(jù)上述構(gòu)造，根據(jù)在X和Y方向的運動量和根據(jù)畸變量產(chǎn)生用于控制攝影機鏡頭，攝影機身和/或隨動拍攝鏡頭的驅(qū)動信號，因此有可能自動地處理物體尺寸上的任何變化以及自動跟蹤該物體。因此，可以實現(xiàn)一個始終能夠以一個合適的尺寸拍攝物體的運動物體檢測和跟蹤裝置，因此在使用方便性方面取得了實質(zhì)性的進步。
另外，在上述實施例中，根據(jù)在X和Y方向上的運動量和畸變量，對攝影光學系統(tǒng)2進行控制。然而，本發(fā)明并不限于此，本發(fā)明還可以象第一實施例那樣對指定區(qū)域畫面進行移動、放大或縮小。在此情形下，可以根據(jù)X和Y方向上的運動矢量和顏色-時間-空間圖象得到一個新的指定區(qū)域畫面的坐標。
(3)第三實施例參照圖26，其中對應(yīng)于圖1和10的部件用相同的標號標出，標號30通常指一個根據(jù)本發(fā)明第三實施例的運動物體檢測和跟蹤裝置。把存貯在存貯器10中的Y信號、H信號和S信號分別輸入到時間-空間圖象處理電路22、23和24中。為了根據(jù)這些Y、H和S信號來進行跟蹤，在指定區(qū)域畫面中得到顏色和照度信號直方圖，并且，還有根據(jù)不小于濾色器21的第n級最大輸出的顏色而得到在X和Y方向的時間-空間圖象。在這里得到的時間-空間圖象在系統(tǒng)控制電路13中進行特征鑒別以判斷其顏色是否是目標物體的顏色。
然后，通過使用該時間-空間圖象來確定該目標物體的坐標，并且在一個二維空間中進行分割。從此之后，通過利用確定的目標物體的顏色-時間-空間圖象的時間持續(xù)性來進行在X和Y方向的運動矢量的計算，狀態(tài)鑒別和尺寸計算，并且輸出用于跟蹤目標物體的一個隨動拍攝傳動器驅(qū)動信號PAN，一個變焦距鏡頭傳動器驅(qū)動信號ZOOM，和一個可傾斜傳動器驅(qū)動信號TILT。分別由這些傳動器驅(qū)動信號PAN，ZOOM和TILT來操作隨動拍攝傳動器14，變焦距鏡頭傳動器15和可傾斜傳動器16，借此就有可能自動跟蹤該目標物體。
另外，在此實施例中，系統(tǒng)控制電路13進行目標物體的狀態(tài)檢測，經(jīng)如由于與另一個物體相遇而過，使從屏幕上消失或者暫時消失，尺寸判斷，在二維空間中間斷等等。當判斷目標物體已經(jīng)消失時，借助于Y信號、H信號、和S信號在目標物體消失之前通過使用該目標物體的二維圖案，圖形擬合電路31、32和33進行擬合以作出關(guān)于該物體是否重新出現(xiàn)在屏幕上的判斷。如果該目標物體已經(jīng)重新出現(xiàn)，再開始跟蹤。
在根據(jù)本實施例的運動圖象檢測和跟蹤操作中，根據(jù)這樣的假定使目標物體同背景分離、目標物體的確定等等，這個假定是在使用者想要跟蹤的目標物體已經(jīng)被在初始屏幕上的指定區(qū)域畫面指定之后，系統(tǒng)開始工作，與第一和第二實施例的情況相同。如圖15A和15B所示，假定輸入圖象的尺寸表示為(M，N)，指定區(qū)域畫面WAKJ的窗口的左上端點的坐標是(X0，Y0)，并且指定區(qū)域畫面WAKU的窗口的尺寸是(Wx，Wy)。
圖15A表示當目標物體已經(jīng)被指定區(qū)域畫面指定時，系統(tǒng)的初始狀態(tài)。在此例子中目標物體是一個紅汽車。在這里，在t＝0(初始屏幕)時間點的圖象中，把上面描述的圖14的濾色器使用到在指定區(qū)域畫面WAKU中的色調(diào)直方圖上，并且將每個顏色范圍的直方圖的面積認為是一個濾色器輸出，根據(jù)對應(yīng)于不小于濾色器的第n級最大輸出(例如n＝2)的顏色的顏色范圍制作時間-空間圖象。
假定產(chǎn)生的時間-空間圖象是H(x，t0)。假定在此時間-空間圖象H(x，t0)中，發(fā)生從H(x，t0)＝0到H(x，t0)＞0變化的點是xSi，并且發(fā)生從H(x，t0)＞0到H(x，t0)＝0變化的點是xei。在這里，表示為(xsi，xei)的范圍展示一些特征。在這個位置上存在顏色區(qū)域范圍(h1，h2)的物體。如果它們顯示出由下面公式表示的關(guān)系XSi+1-Xei＜εx ……(30)(這里，“εx”是一個預(yù)先確定的常數(shù))則對i和i+1進行取整處理(圖27A)。
在由此得到的坐標中，把如圖27B所示的與窗口的端坐標有關(guān)的坐標(xso，xeo)確定為目標物體。類似地，從Y方向窗口坐標(Y0，Y0+Wy-1)中確定目標物體的坐標(yso，yeo)。如果此時下面公式的關(guān)系xeo-xso＞ (M)/2 ……(31)
成立，則該顏色遍布整個屏幕，使得該顏色被判斷為背景顏色。否則，該顏色被判斷為目標物體的顏色，并且通過使用此顏色-時間-空間圖象開始跟蹤。在這時，存貯坐標(xso，xeo)和(yso，yeo)作為目標物體的初始坐標。
接著，從被確定為目標物體顏色的顏色區(qū)域范圍(h1，h2)中用顏色信號H(x，y，t)得到一個時間-空間圖象。在這里，假定時間-空間圖象計算區(qū)域包括圍繞著指定區(qū)域畫面WAKU且如圖15B所示在X和Y方向伸展的矩形區(qū)域。假定在X方向區(qū)域坐標是(axs，axe)，在Y方向的區(qū)域坐標是(ays，aye)從下面方程中得到顏色信號的時間-空間圖象產(chǎn)生公式在X方向H ( x , t ) =Σy = a y sy = a y eH ( x , y , t ) ………( 32 )]]>H ( x , t ) =Σx = a x sx = a x eH ( x , y , t ) ………( 33 )]]>(當h1≤h≤h2，H(x，y，t)＝1，和當h＜h1和h2＜h，H(x，y，t)＝0時)實際上，當跟蹤一個目標物體時，當t＞0時得到一個確定為物體顏色的顏色-時間-空間圖象。在這里，假定產(chǎn)生的時間-空間圖象是H(x，t)。在此時間-空間圖象H(x，t)中，假定發(fā)生從H(x，t)＝0到H(x，t)＞0變化的點是xsi，并且發(fā)生從H(x，t)＞0到H(x，t)＝0變化的點是xei。在這里，由(xsi，xei)表示的范圍顯示了一些特征。即，一個對應(yīng)于該顏色區(qū)域范圍(h1，h2)的物體存在于此。至少上述方程(22)，當xsi和xei的關(guān)系可以用下面的方程所表示時xsi+1-xei＜εx ……(34)(這里，“εx”是一個預(yù)先確定的常數(shù))i和i+1是整化處理過的。
另外，如圖28所示，得到了在特征上仿照在t＝0時得到的目標物體的坐標(xso，xeo)和(yso，yeo)的坐標(xs，xe)和(ys，ye)。在此時在特征上隨動的坐標滿足下面的持續(xù)性相關(guān)方程xso≤xs≤xeo∩xso≤xe≤xeo……(35)xs≤xso∪xeo≤xe ……(36)將這里得到的坐標判斷為在時刻t的目標物體，由此用下面的方程產(chǎn)生了用于控制變焦距鏡頭傳動器15的變焦距鏡頭驅(qū)動信號ZOOMZ O O M ∝( x e - x s + 1 ) ( y e - y s + 1 )( x eo- x so+ 1 ) ( y eo- yso+ 1 )……( 37 )]]>接著，用上述相同的步驟相繼進行(xs，xe)和重新復(fù)位到(xso，xeo)并進行物體跟蹤，尺寸判定和區(qū)域確定。如圖29所示，把在此得到的，在目標物體區(qū)域(xso，xeo)中的Y，H和S信號存貯在系統(tǒng)控制電路13中作為參考信號，以用來判斷曾經(jīng)消失的物體是否重新在屏幕上出現(xiàn)。
另外，把在t-1時刻的參考信號和在t時間點的目標物體微分信號也作為參考值存貯起來以進行在t時刻的調(diào)整判斷。假定在時刻t-1的參考區(qū)域坐標是(xso′，xeo′)，(yso′，yeo′)，由下列方程表示Y，H和S信號的參考修正量信號△ Y =Σx = x s o′x e o ′Σy = ys o ′y e o ′｜ Y ( x , y , t ) - Y ( x , y , t-1)｜……… ( 38)]]>△ H =Σx = x s o′x e o ′Σy = ys o ′y e o ′｜ H ( x , y , t ) - H ( x , y , t-1)｜……… ( 39)]]>△ S =Σx = x s o′x e o ′Σy = ys o ′y e o ′｜ S ( x , y , t ) - S ( x , y , t-1)｜……… ( 40)]]>對這些信號每一小時修改一次，但進行關(guān)于相遇而過，消失等判斷時除外。
接著，系統(tǒng)控制電路13從下面方程中得到在時刻t和t-1之間的顏色-時間-空間圖象的時間差
(dH(x，t))/(dt) ＝H(x，y)-H(x，t-1)…(41)這就使在顏色-時間-空間圖象中的靜止部分從中除去并且取出關(guān)于發(fā)生了運動的那部分的信息。
接著，系統(tǒng)控制電路13進行狀況檢測。在這里，要檢測的狀態(tài)包括由于與另一個物體相遇而過而導致的目標物體的暫時消失(圖19A和19B)，目標物體從屏幕上消失(圖20)等等。顯然，在一個時間-空間圖象中出現(xiàn)相遇而過的情況下，由于目標物體與另一個物體相遇而過會遮掩在另一個物體的后面，從而導致該目標物體寬度逐漸減小。利用此現(xiàn)象，假定在時刻t物體的寬度是wx(t)，wy(t)，假定在時刻t-1時物體的寬度是wx(t-1)，wy(t-1)，當由下面的方程所示表示的關(guān)系存在時，就有可能發(fā)生了相遇而過現(xiàn)象wx(t)＝xe-xs+1……(42)wy(t)＝y(tǒng)e-ys+1……(43)wx(t-1)＝xeo-xso+1 ……(44)wy(t-1)＝y(tǒng)eo-yso+1 ……(45)(wx(t))/(wx(t-1)) ＜1并且 (wy(t))/(wy(t-1)) ……(46)當后來時間持續(xù)性被間斷時，則可以判斷發(fā)生了相遇而過的現(xiàn)象。
另外，如圖20所示，當物體已經(jīng)從屏幕上消失時，時間-空間圖象的運動軌跡出現(xiàn)間斷，使得不能再用已經(jīng)用過的相同的算法來進行跟蹤。因此，有必要作出物體是否已經(jīng)從屏幕上消失的判斷。假定物體的坐標是(xso，xeo)，和屏幕的寬度是M。如果下面方程的關(guān)系成立xs＝0，xe＜dwo，和(xe-xs+1)＜dw……(47)(這里，“dwo”是一個預(yù)先確定的常數(shù))或者xs＞dwl，xe＝M-1，和(xe-xs+1)＜dw……(48)(這里，“dwo”是一個預(yù)先確定的常數(shù))則判斷物體正從屏幕上消失。當此時間持續(xù)性已經(jīng)失去，則可以判斷物體已經(jīng)從屏幕上消失了。
接著，系統(tǒng)控制電路13由顏色-時間-空間圖象進行運動矢量檢測。如圖21所示，假定在時間點t-1處如在顏色-時間-空間圖象中確定的物體的端坐標是(xso，xeo)，和在時間點t處特征上仿效坐標(xso，xeo)的端坐標是(xs，xe)。假定通過利用此持續(xù)性可以從端坐標和中央坐標中得到的運動矢量mv1，mv2和mv3。
另外，如圖22所示，在顏色-時間-空間微分圖象中，從在指定區(qū)域畫面內(nèi)的運動邊緣的時間持續(xù)性中得到運動矢量。在這里，根據(jù)在該畫面中的所有邊緣來得到運動矢量mvi。綜合地判斷所得到的運動矢量mv1、mv2、mv3、mvi以便確定最終的運動矢量。即，最高頻率的運動量被確定為在那時來自根據(jù)由這些運動矢量mv1、mv2、mv3、mvi獲得的頻率特性曲線的運動矢量mv。
從在這里得到的在X和Y方向的運動矢量mvx，mvy中，把在可變圖象壓縮電路8中的圖象的實際尺寸和要處理的圖象的尺寸考慮進去以便根據(jù)下面方程產(chǎn)生用于控制隨動拍攝傳動器14和可傾斜傳動器16的一個隨動拍攝傳動器驅(qū)動信號PAN和一個可傾斜傳動器驅(qū)動信號TILTPAN∝mvx……(49)TILT∝mvy……(50)另外，在此實施例中，通過圖形擬合指定系統(tǒng)控制電路13跟蹤一個重新出現(xiàn)的物體。首先，在狀態(tài)判定時，當已經(jīng)判定該目標物體與另一個物體相遇時，通過使用在存貯于存貯器10中的目標物體的Y、H和S信號的基礎(chǔ)上的一個參考圖形來進行圖形擬合以便核查物體是否已經(jīng)重新出現(xiàn)。假定在暫時消失后，當物體重新出現(xiàn)時其尺寸同消失時的尺寸沒有很大差別。如圖30所示，在此時擬合的范圍假定是圍繞其消失位置的±(mvx+α)，±(mvy+α)。
在狀態(tài)判定時，在物體被判定已經(jīng)從屏幕上消失時，通過使用在存貯于存貯器10中的Y，H和S信號的基礎(chǔ)上的一個參考圖形進行圖形擬合，以便核查該物體是否重新出現(xiàn)。假定在物體重新出現(xiàn)時的尺寸同其消失時的尺寸沒有很大的不同。假定對擬合的范圍連續(xù)地拍攝，據(jù)認為該范圍圍繞該圖象的一個邊緣部分(假定該范圍從圖31所示圖象的四個邊之一出現(xiàn))。在此時得到的圖形擬合的誤差信號是Y誤差，H誤差，和S誤差。如果下列方程
Y誤差≤α×△Y+ε……(51)H誤差≤β×△H+ε……(52)S誤差≤γ×△S+ε……(53)(這里，“ε”是一個預(yù)先確定的常數(shù))成立，則判定目標物體又重新出現(xiàn)。在這里，通過參考圖形保持時刻和現(xiàn)在之間的照度層次的變化和顏色信號電平的變化確定變量值α、β、γ。
在運動物體檢測和跟蹤裝置30的系統(tǒng)控制電路13中，可以通過執(zhí)行圖32、33和34的運動圖象檢測步驟SPO完成上述處理。
根據(jù)上述結(jié)構(gòu)，對一個來自攝影光學系統(tǒng)的圖象信號進行Y/C分離，然后從跟蹤區(qū)域直方圖中指定該目標物體，利用顏色-時間-空間圖象和顏色-時間-空間微分圖象的時間待續(xù)性，可以得到對于它們中每一個的運動矢量。通過對這些運動矢量的擇優(yōu)邏輯的判斷確定實際的運動矢量，因此可以實現(xiàn)這樣一種運動物體檢測和跟蹤裝置;該運動物體檢測和跟蹤裝置同常規(guī)的分塊擬合相比可以用較少量的計算來準確地檢測甚至帶有圖形的物體運動。
另外，根據(jù)上述構(gòu)造，與常規(guī)的分塊擬合法相比，該運動跟蹤的執(zhí)行更大程度地使用了時間持續(xù)性信息，因此有可能避免被檢測運動量的不連續(xù)，因此有可能執(zhí)行一個自然跟蹤。還有，由于所涉及的信息量比已有技術(shù)少，計算量可以減少，因而使處理速度加快和存貯量減少。另外，由于采用了壓縮特征數(shù)量，使運動量計算不受物體外形及其圖案的獨特性等等的影響，并且因為跟蹤是在已經(jīng)指定目標物體后進行的，所以可以甚至在物體已經(jīng)從視場中消失時也能有效避免錯誤的跟蹤。
另外，根據(jù)上述構(gòu)造，在指定目標物體之后進行跟蹤，因此與常規(guī)方法相比，當物體已經(jīng)從視場中消失時有可能更有效地避免錯誤跟蹤。還有，因為分割是在指定目標物體區(qū)域的同時相繼地進行的，所以可以獲得用于圖形擬合的參考數(shù)據(jù)，并且，由于既采用了由于時間持續(xù)性而在時間軸方向上的跟蹤又采用了在空間方向上的圖形擬合，可以在任何位置上實現(xiàn)可靠的跟蹤。
另外，根據(jù)上述構(gòu)造，根據(jù)X和Y方向上的運動量和畸變量產(chǎn)生用于控制攝影機鏡頭、攝影機機身和/或變焦距鏡頭的驅(qū)動信號，因而可以自動處理物體尺寸的變化以及自動跟蹤物體。因此，可提供一種能夠以一個合適的尺寸拍攝目標物體的運動物體檢測和跟蹤裝置，該裝置在使用方便性方面具有實質(zhì)性的進步。
另外，在上述實施例中，根據(jù)X和Y方向上的運動量和畸變量對拍攝光學系統(tǒng)2進行控制。然而，本發(fā)明并不僅限于此，它還可以和第一實施例一樣移動，放大或縮小指定區(qū)域畫面。在此情況下，可以從在X和Y方向上的運動矢量mvx，mvy和顏色-時間-空間圖象的寬度中得到一個新的指定區(qū)域畫面的坐標。
(4)其它實施例盡管上述實施例是參照這樣的情況進行描述的即運動物體檢測和跟蹤裝置是置于電視攝影機內(nèi)，并且借助使用從數(shù)字攝影機處理電路中得到的照度和顏色信號檢測和跟蹤在圖象中目標物體的運動，代替上述結(jié)構(gòu)，也可以采用下述的一種結(jié)構(gòu)以達到上述實施例的同樣效果，在這種結(jié)構(gòu)中該裝置與電視攝影機分開設(shè)置，并且在圖象中目標物體的運動是用從電視攝影機的輸出信號中得到的照度和顏色差分信號檢測的，借此控制電視攝影機以實現(xiàn)跟蹤操作。
盡管上述實施例是參照這樣的情形描述的，即通過根據(jù)目標物體的運動而移動電視攝影機的拍攝光學系統(tǒng)而把本發(fā)明的運動物體檢測和跟蹤裝置用于目標物體的跟蹤，這不應(yīng)作限制性解釋。本發(fā)明的裝置還可以用于例如這樣一種情況，其中電視攝影機固定在其上面的運動物體根據(jù)目標物體的運動而運動以跟蹤該目標物體。
盡管已經(jīng)根據(jù)本發(fā)明的優(yōu)選實施例進行了描述，但是對本領(lǐng)域技術(shù)人員來說可以作出各種變化和修改，所有改變和修改都在本發(fā)明的權(quán)利要求書所限定的范圍之內(nèi)。
權(quán)利要求
1.一種用于在一個指定的區(qū)域跟蹤一個目標物體的物體跟蹤裝置，包括用于拍攝一個物體并且產(chǎn)生一個圖象信號的拍攝裝置；用于在對初始屏幕上的指定區(qū)域內(nèi)進行計算所述圖象信號的頻率曲線的頻率曲線處理裝置；用于獲得同根據(jù)在所述頻率曲線中具有較高頻率的范圍相關(guān)的時間-空間圖象的時間-空間圖象處理裝置；和用于根據(jù)所述的時間-空間圖象控制所述拍攝裝置的控制裝置。
2.一種根據(jù)權(quán)利要求1所述的物體跟蹤裝置，其特征在于所述控制裝置根據(jù)所述時間-空間圖象的軌跡檢測第一運動量，并且根據(jù)所述第一運動量在拍攝方向上控制所述拍攝裝置。
3.一種根據(jù)權(quán)利要求1所述的物體跟蹤裝置，其特征在于所述控制裝置根據(jù)所述時間-空間圖象軌跡寬度的變化控制所述拍攝裝置的變焦距。
4.一種根據(jù)權(quán)利要求1所述的物體跟蹤裝置，還包括用于檢測所述圖象信號色調(diào)的色調(diào)檢測裝置，其特征在于所述的頻率曲線處理裝置計算所述色調(diào)的頻率曲線。
5.一種根據(jù)權(quán)利要求1所述的物體跟蹤裝置，其特征在于所述控制裝置根據(jù)所述時間-空間圖象的軌跡判斷目標物體的相遇而過或從屏幕上的消失。
6.一種根據(jù)權(quán)利要求1所述的物體跟蹤裝置，還包括用于檢測所述圖象信號色調(diào)的色調(diào)檢測裝置;和一個用于過濾所述色調(diào)的濾色器，其特征在于所述時間-空間圖象處理裝置計算同那些顏色相關(guān)的所述的時間-空間圖象，直到所述濾色器的高次n階輸出為止。
7.一個根據(jù)權(quán)利要求2所述的物體跟蹤裝置，還包括用于檢測所述圖象信號色調(diào)的色調(diào)檢測裝置，其特征在于所述頻率曲線處理裝置計算所述色調(diào)的頻率曲線和照度的頻率曲線;所述時間-空間圖象處理裝置產(chǎn)生一個同分別具有所述色調(diào)的頻率曲線的、所述照度頻率曲線的較高頻率的范圍相關(guān)的照度-時間-空間圖象和一個顏色-時間-空間圖象;和所述控制裝置根據(jù)所述照度-時間-空間圖象和顏色-時間-空間圖象檢測第二和第三運動量，以便檢測對應(yīng)于所述第二和第三運動的所述第一運動量。
8.一個根據(jù)權(quán)利要求2所述的物體跟蹤裝置，還包括用于檢測所述圖象信號色調(diào)的色調(diào)檢測裝置，其特征在于所述頻率曲線處理裝置計算所述色調(diào)的頻率曲線;所述時間-空間圖象處理裝置，一個同所述色調(diào)的頻率曲線中的較高頻率的范圍相關(guān)的顏色-時間-空間圖象和顏色-時間-空間微分圖象;和所述控制裝置根據(jù)所述顏色-時間-空間圖象和所述顏色-時間-空間微分圖象的軌跡檢測第二和第三運動量以確定對應(yīng)于所述第二和第三運動量的所述第一運動量。
9.一種根據(jù)權(quán)利要求5所述的物體跟蹤裝置，其特征在于如果發(fā)生了所述目標物體的相遇而過或者從屏幕上消失，所述控制裝置借助一個目標物體區(qū)域的圖形和當前屏幕的圖形進行圖形擬合，并且根據(jù)圖形擬合的誤差判斷所述目標物體的重新出現(xiàn)。
10.一種用于在指定的區(qū)域內(nèi)跟蹤一個目標物體的物體跟蹤裝置，包括用于對在初始屏幕的指定區(qū)域內(nèi)進行計算的一個圖象信號的頻率曲線的頻率曲線處理裝置;用于產(chǎn)生同所述頻率曲線中具有較高頻率范圍相關(guān)的時間-空間圖象的時間-空間圖象處理裝置;和用于根據(jù)所述時間-空間圖象的軌跡控制所述指定區(qū)域的控制裝置。
11.一種根據(jù)權(quán)利要求10所述的物體跟蹤裝置，其特征在于所述控制裝置根據(jù)所述時間-空間圖象的軌跡檢測所述第一運動量，并且移動對應(yīng)于所述第一運動量的所述指定區(qū)域。
12.一種根據(jù)權(quán)利要求10所述的物體跟蹤裝置，其特征在于所述控制裝置根據(jù)時間-空間圖象的軌跡寬度的變化控制所述指定區(qū)域的尺寸。
13.一種根據(jù)權(quán)利要求10所述的物體跟蹤裝置，還包括用于檢測所述圖象信號色調(diào)的色調(diào)檢測裝置，其特征在于所述頻率曲線處理裝置計算所述色調(diào)的頻率曲線。
14.一種根據(jù)權(quán)利要求10所述的物體跟蹤裝置，其特征在于所述控制裝置根據(jù)所述時間-空間圖象的軌跡判斷目標物體的相遇而過以及從屏幕上的消失。
15.一種根據(jù)權(quán)利要求10所述的物體跟蹤裝置，還包括用于檢測所述圖象信號色調(diào)的色調(diào)檢測裝置;一個用于過濾所述色調(diào)的濾色器，其特征在于所述時間-空間圖象處理裝置計算同一些顏色相關(guān)的所述時間-空間圖象，直到所述濾色器的高次n階輸出為止。
16.一種根據(jù)權(quán)利要求11所述的物體跟蹤裝置，還包括用于檢測所述圖象信號色調(diào)的色調(diào)檢測裝置，其特征在于所述頻率曲線處理裝置計算所述色調(diào)的頻率曲線和照度的頻率曲線;所述時間-空間圖象處理裝置產(chǎn)生一個同所述色調(diào)的頻率曲線和在所述照度的頻率曲線中分別具有較高頻率的范圍相關(guān)的照度-時間-空間圖象和一個顏色-時間-空間圖象;和所述控制裝置所述照度-時間-空間圖象和顏色-時間-空間圖象的軌跡檢測第二和第三運動量，以確定對應(yīng)于所述第二和第三運動量的所述第一運動量。
17.一種根據(jù)權(quán)利要求11所述的物體跟蹤裝置，還包括用于檢測所述圖象信號色調(diào)的色調(diào)檢測裝置，其特征在于所述頻率曲線處理裝置計算所述色調(diào)的頻率曲線;所述時間-空間圖象處理裝置，分別產(chǎn)生同所述色調(diào)的頻率曲線中具有較高頻率范圍相關(guān)的顏色-時間-空間圖象和一個顏色-時間-空間微分圖象;和所述控制裝置根據(jù)所述顏色-時間-空間圖象和所述顏色-時間-空間微分圖象檢測第二和第三運動量以確定對應(yīng)于所述第二和第三運動量的所述第一運動量。
18.一種根據(jù)權(quán)利要求14所述的物體跟蹤裝置，其特征在于如果發(fā)生了所述目標物體的相遇而過或者從屏幕上的消失，所述控制裝置借助目標物體區(qū)域圖形和當前屏幕圖形進行圖形擬合，并且根據(jù)所述圖形擬合的誤差判斷所述目標物體的重新出現(xiàn)。
全文摘要
一種物體檢測和跟蹤裝置根據(jù)由電視攝影機拍攝的運動圖象檢測并跟蹤一個目標物體，其中，檢測可靠，跟蹤高度準確。在尺寸和位置可變地顯示在屏幕上的指定區(qū)域上后，跟蹤開始，對來自攝影光學系統(tǒng)2的圖象信號進行Y/C分離。此后，從跟蹤區(qū)域頻率曲線中指定目標物體，并從色-時間-空間圖象，色-時間-空間微分圖象和照度-時間-空間圖象中得到運動矢量，比常規(guī)分塊擬合技術(shù)更可靠地檢測變化目標的運動。
文檔編號G06T7/20GK1102028SQ9410328
公開日1995年4月26日 申請日期1994年2月25日 優(yōu)先權(quán)日1993年2月25日
發(fā)明者阿部惠子 申請人:索尼公司