專利名稱：物體檢測方法及物體檢測裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及例如使用攝像裝置的物體檢測裝置，尤其涉及這樣的物體檢測裝置和物體檢測方法，其根據(jù)為監(jiān)視攝像視場內(nèi)的入鏡物體而從攝像裝置輸入的圖像信號，檢測出應(yīng)檢測的對象物體。
背景技術(shù)：
例如，使用電視攝像機(TV攝像機)等攝像裝置，對物體進行監(jiān)視。而且，正在研究由沒有人監(jiān)視的裝置或系統(tǒng)自動進行監(jiān)視的技術(shù)。
作為一個例子，在利用差分法的監(jiān)視中，檢測從TV攝像機等得到的圖像和標準背景圖像的亮度(或者象素值)差分，并監(jiān)視在該檢測值比規(guī)定的閾值大的變化區(qū)域中存在物體或者有其可能性。而且，作為物體的檢測條件，例如，使用有關(guān)掩蔽區(qū)域的條件和有關(guān)大小判斷的條件、有關(guān)警戒區(qū)域的條件等。
特許文獻1特開2002-135644號公報；特許文獻2特開2002-279429號公報；非特許文獻1田村秀行監(jiān)修、[計算機圖像處理入門]、總研出版、1985年、P.149-153；非特許文獻2常谷茂之，其他，[利用了固定視點型搖動·傾斜立體攝像機的對象追蹤]、信息處理學(xué)會計算機圖像和影像媒體研究會的研究報告、2001年、No 127-15。
但是，在現(xiàn)有的物體檢測裝置和物體檢測方法中，有這樣的問題，例如TV攝像機的光軸方向和視場角發(fā)生變化時，不得不變更物體的檢測條件，而且如果不做這樣的變更，就不能進行正確的物體檢測。

發(fā)明內(nèi)容
本發(fā)明正是鑒于這樣的現(xiàn)狀而作出的，其目的在于提供一種物體檢測裝置和物體檢測方法，其例如在TV攝像機的光軸方向和視場角產(chǎn)生變化的情況下，也可以進行正確的物體檢測。
為了達到上述目的，如下所述，本發(fā)明的物體檢測裝置檢測出成為物體檢測對象的圖像中所包含的物體圖像。
也就是說，物體檢測對象圖像視場變化檢測裝置，對與成為物體檢測對象的圖像的視場相關(guān)的變化進行檢測。檢測條件設(shè)定裝置，基于由物體檢測對象圖像視場變化檢測裝置檢測出的變化，來對檢測物體圖像時所使用的檢測條件進行設(shè)定。物體圖像檢測裝置，使用由檢測條件設(shè)定裝置設(shè)定的檢測條件，檢測出成為物體檢測對象的圖像中所包含的物體圖像。
因此，使用基于與成為物體檢測對象的圖像的視場相關(guān)的變化來設(shè)定的檢測條件，來檢測出該圖像中所包含的物體圖像，所以，例如，即使在產(chǎn)生與成為物體檢測對象的圖像的視場相關(guān)的變化的情況下，也可以進行正確的物體檢測。
在此，成為物體檢測對象的圖像、物體、與成為物體檢測對象的圖像的視場相關(guān)的變化、檢測條件，分別可以使用各種條件。
而且，在成為物體檢測對象的圖像中，產(chǎn)生與視場相關(guān)的變化時，利用檢測條件設(shè)定裝置來設(shè)定檢測條件的方式，可以使用各種方式，例如，可以使用與該變化對應(yīng)地校正檢測條件的方式，或者也可以使用與該變化對應(yīng)地對成為物體檢測對象的圖像進行校正的方式，或者也可以使用校正這兩方的方式。
本發(fā)明的物體檢測裝置中，作為一個構(gòu)成例，物體檢測對象視場變化檢測裝置中，與成為物體檢測對象的圖像的視場相關(guān)的變化，對拍攝圖像的裝置(圖像攝像裝置)的光軸方向的變化、和拍攝圖像的裝置的視場角變化中的一方或者兩方進行檢測。
因此，例如，即使在拍攝圖像的裝置的光軸方向或視場角產(chǎn)生變化的情況下，也可以進行正確的物體檢測。
在此，作為拍攝圖像的裝置，可以使用各種裝置，例如，可以使用TV攝像機等。
此外，作為拍攝圖像的裝置的光軸方向的變化，例如，使用水平方向的變化或垂直方向的變化。作為一個例子，在將水平方向設(shè)為x軸方向，垂直方向設(shè)為Y軸方向時，可用X軸方向的坐標偏移量和Y軸方向的坐標偏移量表示光軸方向的變化量。
而且，作為拍攝圖像的裝置的視場角變化，例如可以使用水平方向的變化和垂直方向的變化。作為一個例子，當將水平方向設(shè)為x軸方向，垂直方向設(shè)為Y軸方向時，可用X軸方向坐標的的變寬或變狹以及Y軸方向坐標的變寬或變狹來表示視場角的變化量，或者可以用X軸方向的角度及Y軸方向的角度來表示視場角的變化量。
而且，拍攝圖像的裝置的光軸方向的變化和視場角的變化，例如，有時由人或裝置帶來的操作或控制產(chǎn)生，而且，例如有時由風(fēng)等室外環(huán)境或室內(nèi)環(huán)境產(chǎn)生。
本發(fā)明的物體檢測裝置中，作為一個構(gòu)成例，對于比作為物體檢測對象的圖像寬的圖像，設(shè)定檢測條件，該檢測條件成為對檢測物體圖像時所使用的檢測條件進行設(shè)定的標準。此外，檢測條件設(shè)定裝置，根據(jù)該成為標準的檢測條件、和由物體檢測對象圖像視場變化檢測裝置檢測出的變化，來設(shè)定檢測物體圖像時所使用的檢測條件。
因此，基于對與成為物體檢測對象的圖像相比較寬的圖像設(shè)定的標準檢測條件來設(shè)定檢測條件，所以，例如，即使產(chǎn)生與成為物體檢測對象的圖像的視場相關(guān)的變化，也能設(shè)定適當?shù)臋z測條件，可以適當?shù)貦z測物體圖像。
在此，作為比成為物體檢測對象的圖像寬的圖像，可以使用各種圖像，例如，可以使用視場比成為物體檢測對象的圖像的視場(例如畫面)寬(例如畫面)的圖像，例如，可以使用在內(nèi)部包含所有的成為物體檢測對象的圖像的圖像。
而且，作為標準檢測條件，也可以使用各種條件。
而且，作為標準檢測條件，例如，對于比成為物體檢測對象的圖像寬的圖像，可在寬范圍內(nèi)，分散設(shè)定具有相同作用的多個標準檢測條件。此時，由于具有相同作用的多個標準檢測條件可在寬范圍內(nèi)分散，因此，即使在產(chǎn)生與成為物體檢測對象的圖像的視場相關(guān)的變化的情況下，在很多情況下，該變化后的成為物體檢測對象的圖像中包含具有相同作用的多個標準檢測條件中的1個或1個以上。
而且，成為標準的檢測條件，例如，可變地或者事先固定地設(shè)定在裝置上，或者由人可變的或者事先固定地進行設(shè)定，例如，存儲在存儲器中。
下面，進一步示出本發(fā)明的構(gòu)成例。
例如，比成為物體檢測對象的圖像寬的圖像被設(shè)定為監(jiān)視區(qū)域圖像，作為一例，合成多個圖像來生成。而且，例如，用TV攝像機等攝像裝置拍攝來取得多個圖像。
作為一構(gòu)成例，作為檢測條件，可以使用模板、作為標準的背景圖像(標準背景圖像)、掩蔽區(qū)域、警戒區(qū)域、大小信息、速度信息中的1個以上。
作為一構(gòu)成例，在比成為物體檢測對象的圖像寬的圖像中，例如相互隔開(分散)多個模板來設(shè)定。
作為一構(gòu)成例，從比成為物體檢測對象的圖像寬的圖像中，提取針對物體檢測對象的圖像的標準背景圖像。
作為一構(gòu)成例，通過模板的匹配來檢測光軸方向的變化量。例如，從作為物體檢測對象圖像中，檢測出在標準背景圖像中設(shè)定的模板和亮度或象素值一致或類似的部分，檢測該模板和該檢測部分的偏差量。之后，校正該偏差量，來消除成為物體檢測對象的圖像和標準背景圖像等之間的光軸方向變化引起的偏差。
作為一構(gòu)成例，根據(jù)視場角變化前的焦距和視場角變化后的焦距之比，檢測出視場角的變化量(例如，表示幾倍的值)。此外，例如，根據(jù)操作視場角的情況、拍攝成為物體檢測對象的圖像的攝像裝置(例如攝像機)其視場角變化的情況、改變攝像裝置的視場角的視場角變化裝置(例如，攝像機云臺或攝像鏡頭的控制)引起的視場角變化的情況，來檢測視場角的變化量。之后，校正該視場角變化量，消除成為物體檢測對象的圖像和標準背景圖像等之間的視場角變化所引起的偏差。
作為一構(gòu)成例，檢測成為物體檢測對象的圖像的亮度或象素值、和標準背景圖像的亮度或象素值之間的差分，把該檢測出的差分等于大于規(guī)定閾值或超過規(guī)定閾值的部分，作為變化部分而檢測出。這種變化部分，可以認為有可能相當于移動或變化的物體的圖像。
作為一構(gòu)成例，在警戒區(qū)域，即使存在圖像亮度或像素值的變化，也不檢測為存在物體圖像，即，不檢測物體圖像。
作為一構(gòu)成例，關(guān)于警戒區(qū)域，在警戒區(qū)域內(nèi)檢測出包含一部分或全部的物體圖像的情況、和在其他區(qū)域檢測出物體圖像的情況下，使得向人或裝置通知物體檢測的報告形式不同。
作為一構(gòu)成例，關(guān)于應(yīng)檢測物體大小的信息，檢測出在該大小的規(guī)定數(shù)倍范圍內(nèi)包含全部的物體圖像，或者，檢測出在該大小的規(guī)定數(shù)倍范圍內(nèi)至少包含一部分的物體圖像。
作為一構(gòu)成例，關(guān)于應(yīng)檢測物體的移動速度信息，檢測出由該移動速度決定的范圍內(nèi)包含全部的物體圖像，或者，檢測出由該移動速度決定的范圍內(nèi)至少包含一部分的物體圖像。
作為一構(gòu)成例，物體圖像檢測裝置判斷物體檢測對象圖像中所包含的部分，是否滿足由檢測條件設(shè)定裝置設(shè)定的檢測條件，把判斷為滿足該檢測條件的部分，作為包含于成為物體檢測對象的圖像中的物體圖像(物體圖像的部分)而檢測出。
作為一構(gòu)成例，檢測條件設(shè)定裝置根據(jù)由物體檢測對象圖像視場變化檢測裝置檢測出的變化，對成為標準的檢測條件、比成為物體檢測對象的圖像寬的圖像、或成為物體檢測對象的圖像中的1個或1個以上校正，由此，對成為物體檢測對象的圖像，設(shè)定檢測物體圖像時所使用的檢測條件。作為具體例子，檢測條件設(shè)定裝置對作為標準的檢測條件的坐標、比作為物體檢測對象的圖像寬的圖像的坐標、或成為物體檢測對象的圖像的坐標中的1個或1個以上進行校正，以補償由物體檢測對象圖像視場變化檢測裝置檢測出的變化，并把成為標準的檢測條件的坐標和成為物體檢測對象的圖像坐標進行匹配，來對成為物體檢測對象的圖像設(shè)定檢測條件。
發(fā)明效果如上述說明，根據(jù)本發(fā)明的物體檢測裝置和物體檢測方法，例如，對于比作為物體檢測對象的圖像寬的圖像，設(shè)定標準檢測條件，之后，例如，檢測出稱作光軸方向變化或視場角變化的、與作為物體檢測對象的圖像的視場相關(guān)的變化，并根據(jù)該檢測出的變化，例如，設(shè)定檢測條件，該檢測條件在對稱作掩蔽區(qū)域或警戒區(qū)域等的物體的圖像進行檢測時使用，并使用該設(shè)定的檢測條件，來對成為物體檢測對象的圖像中所包含的物體圖像進行檢測，因此，例如，即使在成為物體檢測對象的圖像的視場產(chǎn)生稱作光軸方向變化或視場角變化的變化時，也可以進行正確的物體檢測。


圖1是表示本發(fā)明實施例的物體檢測裝置組成例子的圖；圖2是表示使用了有關(guān)第1實施例差分法的物體檢測方式處理流程的一個例圖；圖3(A)是表示用于檢測TV攝像機的光軸方向變化的模板位置的一例的圖，圖3(B)是用于說明模板匹配處理的一例的圖；圖4是表示第2實施例的標準檢測條件的設(shè)定處理流程的一例的圖；圖5(A)～(I)示出各圖像，是用于說明對監(jiān)視區(qū)域圖像進行合成處理的一例的圖；圖6(A)是表示合成的監(jiān)視區(qū)域圖像和標準檢測條件的一例所謂的圖，圖6(B)是用于說明TV攝像機的視場角或光軸方向的圖。
圖7是表示使用了第2實施例的差分法的物體檢測方式的處理流程的一例的圖；圖8(A)～(E)是用于說明掩蔽區(qū)域位置偏差校正處理及警戒區(qū)域校正處理的具體例的圖；圖9(A)～(C)是表示由攝像裝置得到的圖像和檢測條件的一例的圖；圖10是表示差分法的處理步驟的一例的圖；圖11是表示使用差分法的物體檢測方式的處理流程一例的圖；圖12(A)是表示有關(guān)差分法的監(jiān)視區(qū)域的一例的圖，圖12(B)是表示差分法中檢測出的變化區(qū)域的一例的圖，圖12(C)是表示有關(guān)差分法中掩蔽區(qū)域的一例的圖；圖13(A)是于說明判斷應(yīng)檢測物體的、標準大小的設(shè)定方法的一例的圖，圖13(B)是說明標準大小的補償方法的一例的圖。
具體實施例方式
參照

有關(guān)本發(fā)明的實施例。
在有關(guān)本實施例的物體檢測裝置和物體檢測方法中，TV攝像機的視場角和光軸方向改變的情況下，檢測其變化，并根據(jù)其變化，對稱作掩蔽區(qū)域、警戒區(qū)域、應(yīng)檢測物體大小信息、應(yīng)檢測物體速度信息的檢測條件進行校正。由此，在有關(guān)本實施例的物體檢測裝置和物體檢測方法中，即使TV攝像機的視場角改變的情況和光軸方向改變的情況下，都可以自動檢測其變化量，通過校正檢測條件，可進行可靠性高且正確的物體檢測。
圖1表示本實施例物體檢測裝置(影像監(jiān)視裝置)硬件組成。
本實施例的物體檢測裝置，具備攝像裝置(TV攝像機)1、處理裝置2、操作部3、外部存儲裝置4、輸出監(jiān)視器(監(jiān)視器)5、警報燈6。
攝像裝置1包括攝像部11、電動旋轉(zhuǎn)臺(攝像機云臺)12、變焦鏡頭(攝像鏡頭)13。
處理裝置2包括圖像輸入部(圖像輸入I/F)21、云臺控制部(云臺控制I/F)22、鏡頭控制部(鏡頭控制I/F)23、操作輸入部(操作輸入I/F)24、圖像存儲器25、小型處理裝置MPU(Micro Processing Unit，即微處理單元)26、工作存儲器27、外部輸入輸出部(外部輸入輸出I/F)28、圖像輸出部(圖像輸出I/F)29、警報輸出部(警報輸出I/F)30、數(shù)據(jù)總線31。
操作部3，具有操縱桿41和按鈕42、43。
攝像部11和圖像輸入部21連接，攝像機云臺12和云臺控制部22連接，攝像鏡頭13和鏡頭控制部23連接，操作部3和操作輸入部4連接，外部存儲裝置4和外部輸出裝置28連接，輸出監(jiān)視器5和圖像輸出部29連接，警報燈6和警報輸出部30連接。而且，圖像輸入部21、云臺控制部22、鏡頭控制部23、操作輸入部24、圖像存儲器25、MPU26、工作存儲器27、外部輸入輸出部28、圖像輸出部29及警報輸出部30，和數(shù)據(jù)總線31連接。
搭載在攝像機云臺12上并具有攝像鏡頭13的攝像部11(TV攝像機1)，拍攝監(jiān)視對象(視場范圍)。拍攝的影像信號，從圖像輸入部21通過數(shù)據(jù)總線31存儲到圖像存儲器25。記錄在外部存儲裝置4中的程序等數(shù)據(jù)，通過外部輸入輸出部28讀取到工作存儲器27，或者，相反，從工作存儲器27存儲到外部存儲裝置4。MPU26，根據(jù)保存在外部存儲裝置4中且在裝置運行時下載到工作存儲器27的程序，在工作存儲器27中對存儲在圖像存儲器25上的圖像進行分析。MPU26，根據(jù)處理結(jié)果，進行如下動作從數(shù)據(jù)總線31通過鏡頭控制部23控制攝像鏡頭13，或者通過云臺控制部22控制攝像機云臺12來改變攝像機11(TV攝像機)的攝像視場，或者通過圖像輸出部29向輸出監(jiān)視器5顯示例如與入鏡物體的檢測結(jié)果相關(guān)的圖像，或者通過警報輸出部30點亮警報燈6。
而且，本例中，攝像裝置1和處理裝置2例如通過電纜非常靠近地設(shè)置，不過也可以使用其他各種配置，例如，也可以采用攝像裝置1通過網(wǎng)絡(luò)等與位于遠處的處理裝置2連接。
下面示出的實施例中，以上述圖1所示的物體檢測裝置的硬件結(jié)構(gòu)為例，進行說明。
實施例1說明有關(guān)本發(fā)明第1實施例的物體檢測裝置及物體檢測方法。
圖2是說明本實施例的處理程序的流程圖。
該圖所示的處理過程，例如包括進行與應(yīng)用圖11所示的差分法的監(jiān)視方式的處理過程相同動作的步驟S1(初始化處理)、步驟S2(圖像輸入處理)、步驟S5(差分處理)、步驟S6(二值化處理)、步驟S8(掩蔽處理)、步驟S9(標記處理)、步驟S10(處理圖像顯示)、步驟S14(物體存在判斷處理)、步驟S15(警報·監(jiān)視顯示處理)，并在所述步驟上追加規(guī)定的步驟S3、S4、S7、S11、S12、S13的處理步驟來構(gòu)成。為此，本例中，對于與圖11所示的處理程序不同的處理步驟(S3、S4、S7、S11、S12、S13)進行了詳細說明，對于相同的處理步驟省略或簡化說明。
首先，進行初始化處理(步驟S1)、圖像輸入處理(步驟S2)。
然后，在光軸方向變化量檢測步驟中，通過模板匹配法檢測TV攝像機1的光軸方向的變化(步驟S3)。
參照圖3，說明這種檢測處理。
該圖(A)示出在圖像71的模板匹配中使用的模板的位置81，該圖(B)示出由于TV攝像機1的抖動等，而光軸方向發(fā)生變化的瞬間的圖像72。
首先，如該圖(A)所示，事先在監(jiān)視區(qū)域內(nèi)設(shè)定模板位置81。作為模板位置81，例如建筑物的屋頂或房檐等，指定不會被風(fēng)搖動的部分。其次，把標準背景圖像的模板位置81的圖像作為模板圖像，在輸入圖像中檢測出與模板圖像一致程度最高的位置。作為一致程度，例如可以適用標準相關(guān)值r(Δx、Δy)，這個由式1表示。
式1r(Δx,Δy)=Σi,j∈D|f(x0+Δx+i,y0+Δy+j)-f(x0+Δx,y0+Δy)‾|·|g(x0+i,y0+j)-g(x0,y0)‾|Σi,j∈D|f(x0+Δx+i,y0+Δy+j)-f(x0+Δx,y0+Δy)‾|2·Σi,j∈D|g(x0+i,y0+j)-g(x0,y0)‾|2]]>f(x0+Δx,y0+Δy)‾=1|D|Σi,j∈Df(x0+Δx+i,y0+Δy+j)]]>g(x0,y0)‾=1|D|Σi,j∈Dg(x0+i,y0+j)]]>這里，f(x，y)表示輸入圖像，g(x，y)表示模板圖像(標準背景圖像的部分圖像)，例如，對于圖像的坐標軸，把圖像的左上設(shè)定為原點(0，0)，(x0，y0)表示模板位置81的左上坐標，D表示模板圖像的大小(例如，橫50象素、縱40象素)。標準相關(guān)值r(Δx、Δy)，取[-1≤r(Δx、Δy)≤+1]的值，在輸入圖像和模板圖像完全一致的情況下，成為“+1，0”)。模板匹配處理是這樣的處理，即，當在檢索范圍(橫Mx，縱My)內(nèi)掃描Δx、Δy時，即改變?yōu)閇-Mx≤Δx≤+Mx，-My≤Δy≤+My]時，檢測標準相關(guān)值r(Δx、Δy)變最大的位置的變化量(Δx、Δy)。
而且，檢索范圍Mx、My，表示被檢測TV攝像機的光軸方向變化的最大量，可以通過實驗求得，例如，Mx＝50，My＝50(例如參照非特許文獻1)。
圖3(B)中，位置81是設(shè)定的模板位置，位置82是由模板匹配法檢測到的位置。也就是說，設(shè)定檢測條件時處于位置81的模板圖像，由于TV攝像機1的抖動等而光軸方向發(fā)生變化，移動到位置82。因此，模板匹配時得到的一致程度最大的位置變化量(Δx、Δy)，就是TV攝像機光軸方向的變化量。
下面，在標準背景圖像位置校正步驟中，根據(jù)TV攝像機1的光軸方向的變化量(Δx、Δy)，成為[g’(x，y)＝g(x-Δx、y-Δy)]的平行移動，并校正相對于標準背景圖像的輸入圖像的位置偏移(步驟S4)。這里，g(x，y)表示校正前的標準背景圖像，g’(x，y)表示校正后的標準背景圖像。進行這種校正的理由是因為，本實施例中，輸入圖像的亮度變化區(qū)域的檢測使用了差分法，當因TV攝像機1的抖動等原因而光軸方向發(fā)生變化時，輸入圖像和標準背景圖像之間產(chǎn)生位置偏差，如果在該狀態(tài)下直接進行差分處理，則在產(chǎn)生位置偏差的地方產(chǎn)生大的差分。
然后，使用校正了位置的標準背景圖像進行差分處理(步驟S5)，進行二值化處理(步驟S6)。
之后，在掩蔽區(qū)域位置偏差校正處理步驟，與上述標準背景圖像位置校正步驟同樣，對因TV攝像機1的光軸方向的變化而產(chǎn)生的輸入圖像和掩蔽區(qū)域之間的位置偏差進行校正(步驟S7)。
例如，設(shè)掩蔽區(qū)域為m(x，y)時，進行成為[m’(x，y)＝m(x-Δx、y-Δy)]的圖像的平行移動，校正位置偏差。這里，m(x，y)表示校正前的掩蔽區(qū)域，m’(x，y)表示校正后的掩蔽區(qū)域。這樣，即使在產(chǎn)生TV攝像機1的光軸方向的變化的情況下，也不必加寬設(shè)定掩蔽區(qū)域，也可進運行掩蔽處理。
然后，使用校正了位置的掩蔽區(qū)域來進行掩蔽處理(步驟S8)，進行標記處理(步驟S9)，進行處理圖像顯示處理(步驟S10)。
然后，在警戒區(qū)域校正步驟，將警戒區(qū)域的位置平行移動TV攝像機1的光軸方向的變化量(Δx，Δy)大小(步驟S11)。本例中，如圖12所示的警戒區(qū)域201，以矩形設(shè)定警戒區(qū)域，利用左上坐標和右下坐標(也就是說處于對角關(guān)系的2個頂點坐標)來指定該矩形。也就是說，在將校正前的警戒區(qū)域設(shè)為[左上坐標(wx0，wy0)-右下坐標(wx1，wy1)]時，將校正后的警戒區(qū)域設(shè)為[左上坐標(wx0-Δx，wy0-Δy)-右下坐標(Wx1-Δx，wy1-Δy)]，由此可校正警戒區(qū)域。
然后，在大小條件計算步驟，例如，對如參照圖13所說明的應(yīng)檢測物體的標準大小進行校正(步驟S12)。該校正如下進行，即，例如在式2及式3中，對事先設(shè)定的標準物體的位置y1、y2，進行[y1’＝y(tǒng)1-Δy，y2’＝y(tǒng)2-Δy]的變換，并把由此得到的結(jié)果，如[y1＝y(tǒng)1’，y2＝y(tǒng)2’]代入y1、y2來適用于式2及式3。
然后，在速度條件計算步驟，根據(jù)由大小條件計算步驟得到的標準大小dx3、dy3，例如把dx3、dy3的2/3值作為應(yīng)檢測的物體的速度信息。
然后，如上所述，利用已校正的物體的檢測條件，判斷物體是否存在(步驟S14)，如果判斷為存在，則進行警報輸出和監(jiān)視器的顯示(步驟S15)。
通過如上所述的步驟S4(標準背景圖像的位置校正)、步驟S7(掩蔽區(qū)域的位置校正)、步驟S11(警戒區(qū)域的位置校正)、步驟S12(大小條件的校正)、步驟S13(速度條件的計算)的各處理，在本例的物體檢測裝置和物體檢測方法中，例如，即使是TV攝像機1由于風(fēng)抖動的情況、或操作TV攝像機1時TV攝像機1的光軸方向改變的情況下，也自動檢測出TV攝像機1光軸方向的變化量，可根據(jù)光軸方向的變化量校正檢測條件。因此，依據(jù)TV攝像機1的光軸方向的變化，可以消除如下情況，并可以進行可靠性高的正確的物體檢測，可消除的情況包括例如由于不得不加寬設(shè)定盲區(qū)而可可檢測物體的范圍變小的情況，或者，不能正確進行變化區(qū)域大小的判斷或不能正確判斷警戒區(qū)域內(nèi)是否存在的情況。
如上所述，本例中，可以檢測TV攝像機1的抖動并進行校正。
這里，本例中，通過將物體檢測條件的基礎(chǔ)標準背景圖像、掩蔽區(qū)域、警戒區(qū)域、有關(guān)大小條件的設(shè)定值y1、y2等的位置稍微移動，來進行了校正，但作為其他組成例，可以采用不校正成為物體檢測條件的基礎(chǔ)的信息，而移動輸入圖像方來進行校正。
而且，本例中，沒有考慮TV攝像機1的攝像鏡頭13的鏡頭控制，但作為其他實施例，可以將計算焦距的變化量r，并將掩蔽區(qū)域等的大小設(shè)為r倍的處理組合起來進行。
實施例2說明第2實施例的物體檢測裝置及物體檢測方法。
本例的物體檢測裝置及物體檢測方法中，在事先制作的監(jiān)視區(qū)域圖像上，設(shè)定掩蔽區(qū)域、警戒區(qū)域、大小信息的標準檢測條件，監(jiān)視人員在操作TV攝像機1的視場角和光軸方向時，基于監(jiān)視區(qū)域圖像上設(shè)定的標準檢測條件來計算監(jiān)視條件。
圖4是標準檢測條件的設(shè)定處理流程圖。
利用圖4，說明標準檢測條件的設(shè)定處理流程的例子。
首先，在初始化步驟中，進行用于執(zhí)行設(shè)定處理的外部設(shè)備、參數(shù)、圖像存儲器等的初始化(步驟S21)。
然后，在設(shè)定讀入處理步驟中，例如，讀出記錄在外部存儲裝置4上的標準檢測條件的設(shè)定(步驟S22)。這里，在初次設(shè)定標準檢測條件的情況下，以初始化處理步驟中初始化的標準檢測條件狀態(tài)開始設(shè)定作業(yè)，第2次之后，讀出最后設(shè)定的標準檢測條件，開始設(shè)定作業(yè)。
然后，從攝像機云臺控制步驟(步驟S28)到區(qū)域掃描結(jié)束判斷步驟(步驟S25)為止，進行由TV攝像機1的標準視場角輸入規(guī)定范圍的圖像的處理。
具體地說，在攝像機云臺控制步驟中，例如為了把標準視場角的50％范圍分9次掃描，而控制云臺(步驟S23)。作為一例，作為攝像象素使用1/2型CCD(象素尺寸橫6.4mm、縱4.8mm)，設(shè)焦距為10mm的情況下，標準視場角成為橫方向35.5°、縱方向27.0°。在攝像機云臺控制步驟，每運行處理時，控制攝像機云臺12，使其從標準視場角向左移動17.75°及向上移動13.50°、向上移動13.50°、向右移動17.75°及向上移動13.50°、向左移動17.75°、不動、向右移動17.75°、向左移動17.75°及向下移動13.50°、向下移動13.50°、向右移動17.75°及向下移動13.50°。
然后，在圖像輸入步驟中，從TV攝像機1得到例如橫320象素、縱240象素的輸入圖像(步驟S24)。
然后，在區(qū)域掃描結(jié)束(終結(jié))判斷步驟中，當攝像機云臺控制運行了規(guī)定次數(shù)(本例中是9次)的情況下，轉(zhuǎn)移到圖像合成處理步驟(步驟S26)，另外，當沒有運行規(guī)定次數(shù)時，轉(zhuǎn)移到(步驟S25)攝像機云臺控制步驟(步驟S23)。
當上述處理結(jié)束時，可以得到圖5(A)～(I)所示的各圖像91～99。
然后，在圖像合成處理步驟中，將圖5所示的圖像91～99合成，作為1幀圖像(步驟S26)。
本例中，通過將各圖像91～99合成為圖像尺寸的50％左右重疊，由此可以生成圖6所示的1幀圖像。這樣合成的圖像是將標準視場角的上下左右擴展50％的圖像，說明中將該圖像稱作監(jiān)視區(qū)域圖像。
這里，本例中，以掃描次數(shù)9次、重疊量50％制作監(jiān)視區(qū)域圖像，但也可以采用其他形式，例如，掃描次數(shù)設(shè)為25次(橫向、縱向各5次)或?qū)⒅丿B量提高為75％等。而且，當將監(jiān)視區(qū)域圖像設(shè)定為相對于標準視場角過寬時，有時由于攝像機視差的影響而圖像合成比較困難，因此，例如，監(jiān)視區(qū)域圖像最好設(shè)定為相對于標準視場角在上下左右留有50％左右。而且，例如，由于使用了視點固定型攝像機，也有可能消除這種視差問題。視點固定型攝像機是設(shè)置為即使進行搖動傾斜控制，視點位置也保持一定的攝像機，當使用這種攝像機時，即使光軸方向變化，攝像機的視點位置也不會變化，不會發(fā)生視差。也在研究應(yīng)用這種視點固定型攝像機的裝置(例如，參照非特許文獻2)。
然后，在掩蔽區(qū)域設(shè)定步驟，對通過圖像合成處理步驟合成的監(jiān)視區(qū)域圖像設(shè)定掩蔽區(qū)域(步驟S27)。掩蔽區(qū)域是這樣指定的，即，例如，通過由監(jiān)視人員利用操作部(操作器)3指定多邊形的頂點，如圖6(A)所示的監(jiān)視區(qū)域圖像101中的區(qū)域111，指定為包括可能因風(fēng)等而抖動的草木部分。
然后，在掩蔽設(shè)定結(jié)束判斷步驟中，例如以可以選擇“是”/”否”(“是”或“不是”)的形式，詢問監(jiān)視人員掩蔽區(qū)域111的設(shè)定操作是否結(jié)束，監(jiān)視人員通過操作部3的操作，當掩蔽區(qū)域111的設(shè)定結(jié)束時選擇“是”，當掩蔽區(qū)域111的設(shè)定沒有結(jié)束時選擇“否”(步驟S28)。這樣，在掩蔽設(shè)定結(jié)束判斷步驟中，當“是”被選擇時，轉(zhuǎn)移到警戒區(qū)域設(shè)定步驟(步驟S29)，當“否”被選擇時，轉(zhuǎn)移到掩蔽設(shè)定步驟(步驟S27)。
然后，在警戒區(qū)域設(shè)定步驟，例如，在建筑物的入口和場地門等上，作為具體例子，指定如圖6(A)所示的監(jiān)視區(qū)域圖像101中的區(qū)域112、區(qū)域113、區(qū)域114等，特別指定警戒等級高的區(qū)域(步驟S29)。在這種警戒區(qū)域112～114中是否存在入鏡物體的信息，被反映到警報·監(jiān)視顯示步驟(圖7的步驟S58)的警報種類，例如，當警戒區(qū)域112～114內(nèi)存在入鏡物體時，警報燈6亮紅色，當警戒區(qū)域112～114內(nèi)沒有入鏡物體時，警報燈6亮黃色。
然后，警戒區(qū)域設(shè)定結(jié)束判斷步驟中，和上述的掩蔽設(shè)定結(jié)束判斷步驟一樣(步驟S28)，讓監(jiān)視人員選擇警戒區(qū)域112～114的設(shè)定是否結(jié)束，在警戒區(qū)域112～114的設(shè)定結(jié)束的情況下，轉(zhuǎn)移到大小設(shè)定步驟(步驟S31)，在警戒區(qū)域112～114的設(shè)定沒有結(jié)束的情況下，轉(zhuǎn)移到(步驟S30)警戒區(qū)域設(shè)定步驟(步驟S29)。
然后，在大小設(shè)定步驟中，例如，如參照圖13所進行的說明，設(shè)定入鏡物體的標準大小(步驟S31)。圖6(A)所示的例子中，由矩形115、矩形116來設(shè)定。也就是說，應(yīng)根據(jù)監(jiān)視人員設(shè)定的矩形115、矩形116，來決定圖13所示的y1、y2等的值，結(jié)束用于進行式2及式3的運算的參數(shù)準備。
然后，大小設(shè)定結(jié)束判斷步驟中，和上述的掩蔽設(shè)定結(jié)束判斷步驟同樣(步驟S28)，讓監(jiān)視人員選擇入鏡物體的標準大小設(shè)定是否結(jié)束，在大小設(shè)定結(jié)束了的情況下，轉(zhuǎn)移到模板設(shè)定步驟(步驟S32)，在模板設(shè)定沒有結(jié)束的情況下，轉(zhuǎn)移到(步驟S32)大小設(shè)定步驟(步驟S31)。
然后，在模板設(shè)定步驟中，設(shè)定為檢測出TV攝像機1的光軸方向變化的模板位置(步驟S33)。作為模板位置，例如，建筑物的屋頂和房檐等指定不會被風(fēng)搖動的部分。本例中，作為理想形式，如圖6(A)所示的多個矩形117、矩形118、矩形119、矩形120，設(shè)定多個模板位置。其理由是，即使在操作TV攝像機1的攝像鏡頭13的情況和光軸方向變化了的情況下，也可以至少反映1個或1個以上的模板。而且，由于使用多個模板進行匹配，還可以提高匹配精度(例如，參照特許文獻1)。
然后，在模板設(shè)定結(jié)束判斷步驟中，和上述掩蔽設(shè)定結(jié)束判斷步驟(步驟S28)一樣，讓監(jiān)視人員選擇用于檢測TV攝像機1的光軸方向變化的模板位置設(shè)定是否結(jié)束，在模板的位置設(shè)定結(jié)束了的情況下，轉(zhuǎn)移到設(shè)定保存處理步驟(步驟S35)，在模板的位置設(shè)定沒有結(jié)束的情況下，轉(zhuǎn)移到(步驟S34)模板設(shè)定步驟(步驟S33)。
然后，在設(shè)定保存處理步驟中，將從上述攝像機云臺控制步驟(步驟S23)到模板設(shè)定結(jié)束判斷步驟(S34)為止得到的圖像、和成為標準的檢測條件信息，例如保存到外部存儲裝置4。
如上所述，上標準檢測條件的設(shè)定結(jié)束。
圖7是說明有關(guān)本例處理過程的流程圖。
該圖所示的處理過程，例如包括進行與應(yīng)用圖2所示的差分法的監(jiān)視方式的處理過程一樣動作的步驟S41(初始化處理)、步驟S43(圖像輸入處理)、步驟S48(差分處理)、步驟S49(二值化處理)、步驟S51(掩蔽處理)、步驟S52(標記處理)、步驟S53(處理圖像顯示)、步驟S57(物體存在判斷處理)、步驟S58(警報·監(jiān)視顯示處理)，以及將與圖2示出的其他步驟S3、S4、S7、S11、S12、S13的處理一樣的處理，轉(zhuǎn)換到監(jiān)視區(qū)域圖像101的坐標系來執(zhí)行的步驟S46(光軸方向變化量檢測處理)、步驟S47(標準背景畫面位置校正處理)、步驟S50(掩蔽位置偏差校正處理)、步驟S54(警戒區(qū)域校正處理)、步驟S55(大小條件計算處理)、步驟S56(速度條件計算處理)的處理步驟，再追加規(guī)定的步驟S42、S44、S45的處理步驟。為此，本例中，對于與圖2所示的處理過程不同的處理步驟(S42、S44、S45)進行詳細的說明，對于相同的處理步驟省略或簡化說明。
首先，進行初始化處理(步驟S41)。
其次，在攝像機云臺控制步驟中，由監(jiān)視人員輸入操作部3的操作，控制攝像機云臺12及攝像鏡頭13(步驟S42)。攝像機云臺控制步驟中，例如，當監(jiān)視人員上下左右移動操作部3的操縱桿41等時，與此連動地控制攝像機云臺12，并上下左右地改變TV攝像機1的光軸。而且，當監(jiān)視人員按下附屬于操作部3的按鈕42、43時，加長或縮短鏡頭12的焦距。由此，可以放大或縮小鏡頭，可以改變TV攝像機1的視場角。
而且，本例中，作為攝像機云臺控制步驟，通過用戶的操作來進行攝像機的搖動·傾斜和變焦控制，但作為其他構(gòu)成例，也可以根據(jù)檢測出的物體在圖像上的位置、大小或移動量等，來自動進行搖動·傾斜和變焦控制。
然后，進行圖像輸入處理(步驟S43)。
然后，在視場角變化計算步驟中，根據(jù)設(shè)定標準檢測條件時的攝像鏡頭12的焦距和視場角操作后的攝像鏡頭12的焦距之比，計算TV攝像機1的視場角變化(步驟S44)。例如，當在設(shè)定標準檢測條件時的攝像鏡頭12的焦距f0為10mm，視場角變化后的攝像鏡頭12的焦距為12mmd的情況下，作為視場角的變化量r，變化為f＝f1÷f0＝1.2倍(視場的角度是橫方向由35.49°變?yōu)?9.96°)。
然后，在監(jiān)視區(qū)域圖像尺寸校正步驟中，為了校正TV攝像機1的視場角變化，監(jiān)視區(qū)域圖像s(x，y)的大小放r倍，將其設(shè)為s’(x，y)，校正監(jiān)視區(qū)域圖像的大小(步驟S45)。這里，本例中，關(guān)于監(jiān)視區(qū)域圖像，示出了在將圖像的水平方向設(shè)為x軸，圖像的垂直方向為設(shè)y軸，監(jiān)視區(qū)域圖像的左上點為原點(0、0)時的坐標s(x，y)。而且，本例中，以監(jiān)視區(qū)域圖像的坐標系為標準進行處理。
下面，在光軸方向變化量檢測步驟中，使用設(shè)定在監(jiān)視區(qū)域圖像上的檢測光軸方向變化的模板，檢測當前的TV攝像機1的光軸變化(步驟S46)。
例如，當將設(shè)定在監(jiān)視區(qū)域圖像s(x，y)上的模板位置設(shè)為(xt，yt)，其縱橫大小設(shè)為(sx，sy)時，在由上述監(jiān)視區(qū)域圖像尺寸校正步驟(步驟S45)校正了視場角變化的監(jiān)視區(qū)域圖像s’(x，y)上，模板的位置成為(r×xt，r×yt)，其縱橫大小成為(r×sx，r×sy)。使用校正了這個視場角變化的監(jiān)視區(qū)域圖像s’(x，y)上的模板，由模板匹配法來掃描輸入圖像，并檢測匹配的位置(xm，ym)。
匹配的位置(xm，ym)，由于和校正了視場角變化的監(jiān)視區(qū)域圖像s’(x，y)上的模板位置(r×xt，r×yt)一致，因此，即使在TV攝像機1抖動而攝像機的光軸時時刻刻發(fā)生變化的情況下，在監(jiān)視區(qū)域圖像中，也可以把模板捕捉在一定的位置上。
也就是說，即使因TV攝像機1抖動而攝像機的光軸發(fā)生變化，也可以在監(jiān)視區(qū)域圖像s’(x，y)上決定輸入圖像的位置。而且，輸入圖像的左上坐標，以監(jiān)視區(qū)域圖像s’(x，y)上的(r×xt-xm，r×yt-ym)表示。也就是，上述的匹配位置(xm，ym)以輸入圖像上的模板位置的左上坐標(這里，坐標軸以輸入圖像的左上為原點(0，0))表示，該匹配位置和監(jiān)視區(qū)域圖像s’(x，y)上的模板位置(r×xt，r×yt)一致，因此，輸入圖像的左上坐標在監(jiān)視區(qū)域圖像s’(x，y)上成為(r×xt-xm，r×yt-ym)。
而且，把輸入圖像變換為監(jiān)視區(qū)域圖像s’(x，y)上的坐標系并與監(jiān)視區(qū)域圖像s’(x，y)上設(shè)定的標準檢測條件進行比較評價，由此，即使在操作了TV攝像機1的視場角的情況和TV攝像機1抖動的情況下，也可以運行入鏡物體的檢測處理。
這里，在上述的光軸方向變化量檢測處理(步驟S46)中，如圖6(A)所示，準備多個模板117～120，從中利用任意個模板進行與輸入圖像的匹配，決定匹配位置。示出該處理的(圖案例1)、(圖案例2)、(圖案例3)。
(圖案例1)中，使用所有的模板與輸入圖像進行匹配，指定標準相關(guān)值變最大的位置(xm，ym)和這時使用的模板。而且，該圖案例中，也有處理時間變長的情況。
(圖案例2)中，只把存在于輸入圖像內(nèi)部的模板作為對象進行匹配，指定標準相關(guān)值變最大的位置(xm，ym)。例如，關(guān)于圖6(A)的監(jiān)視區(qū)域圖像坐標系的輸入圖像大小和位置，可以根據(jù)從初始位置搖動傾斜了多少的攝像機云臺12的控制信息、攝像鏡頭13的焦距信息，來唯一地決定。為此，可以選擇輸入圖像內(nèi)的模板。
(圖案例3)中，相對上述的(圖案例2)，更加考慮TV攝像機1的抖動。具體地說，設(shè)定比輸入圖像相比(例如，稍大)較大的范圍，只把存在該范圍內(nèi)的模板作為對象進行匹配，指定標準相關(guān)值變最大的位置(xm，ym)。
然后，在標準背景圖像位置校正步驟中，從監(jiān)視區(qū)域圖像s’(x，y)例如提取(r×xt-xm，r×yt-ym)～(r×xt-xm+319，r×yt-ym+239)范圍的圖像，將其設(shè)為標準背景圖像(步驟S47)。而且，本例中，設(shè)所處理圖像的尺寸為橫320象素，縱240象素。
這里，在圖2所示的標準背景圖像位置校正處理(步驟S4)中，平行移動事先制作的標準背景圖像，來校正TV攝像機1的光軸方向的變化，因此，對于因平行移動而象素從圖像中超出，進而處理中所能使用的象素減少的情況，在本例的標準背景圖像位置校正處理(步驟S47)中，從比所要處理的圖像寬的范圍制作的監(jiān)視區(qū)域圖像中提取標準背景圖像，因此，不必減少象素，就可以進行差分處理。
然后，進行差分處理(步驟S48)，進行二值化處理(步驟849)。
然后，在掩蔽區(qū)域位置偏差校正步驟中，和上述的標準背景圖像位置校正步驟(步驟S47)同樣，以(r×xt-xm，r×yt-ym)～(r×xt-xm+319，r×yt-ym+239)的范圍，提取設(shè)定在監(jiān)視區(qū)域圖像s’(x，y)上的掩蔽區(qū)域，并繼續(xù)作為掩蔽處理步驟(步驟S51)的掩蔽圖像適用(步驟S50)。
然后進行掩蔽處理(步驟S51)，進行標記處理(步驟S52)。
然后，在警戒區(qū)域校正步驟中，和上述的標準背景圖像位置校正步驟(S47)同樣，以(r×xt-xm，r×yt-ym)～(r×xt-xm+319，r×yt-ym+239)范圍，提取設(shè)定在監(jiān)視區(qū)域圖像s’(x，y)上的警戒區(qū)域，并繼續(xù)在物體存在判斷步驟(步驟S57)中，作為警戒區(qū)域內(nèi)是否存在入鏡物體的判斷條件來適用(步驟S54)。
這里，圖8示出上述掩蔽區(qū)域位置偏差校正處理(步驟S50)及警戒區(qū)域校正處理(步驟S54)的具體例。
該圖(A)示出對監(jiān)視區(qū)域圖像131設(shè)定的掩蔽區(qū)域(或警戒區(qū)域)141的例子。該圖(B)中示出輸入圖像的范圍142。而且，圖(C)中示出用斜線表示根據(jù)輸入圖像范圍142從掩蔽區(qū)域(或者警戒區(qū)域)141切出來的區(qū)域。作為一個例子，如該圖(D)所示，可以使用掌握有關(guān)輸入圖像掩蔽區(qū)域各頂點坐標的形式，作為其他例，如該圖(E)所示，可以使用掃描輸入圖像的各象素來掌握掩蔽區(qū)域內(nèi)的象素的形式，或者其他形式。
然后，在大小條件計算步驟中，把由差分法檢測出的變化區(qū)域的外接矩形(例如，圖10D所示的矩形184)坐標，轉(zhuǎn)換為監(jiān)視區(qū)域圖像s’(x，y)上的坐標，并計算入鏡物體的標準大小(步驟S55)。這里，例如，假設(shè)檢測出了如圖13B所示的外接矩形223，則從檢測結(jié)果得到的圖像的下端到外接矩形223的下端為止的距離y3，在校正了視場角的監(jiān)視區(qū)域圖像s’(x，y)上的距離y3’＝480-(r×yt-ym+240)，在監(jiān)視區(qū)域圖像s(x，y)上的坐標系中y3”＝y(tǒng)3’÷r。而且，設(shè)輸入圖像的尺寸為橫320象素、縱240象素，監(jiān)視區(qū)域圖像的尺寸為橫640象素、縱480象素(放大標準視場角的上下左右50％)。這樣，作為y＝y(tǒng)3”適用式2及式3，由此算出監(jiān)視區(qū)域圖像s(x，y)上的標準大小dx3、dy3，在輸入圖像上，可以算出標準大小為dx3’＝dx3×r、dy3’＝dy3×r。
然后，在速度條件計算步驟中，例如，在上述的大小條件計算步驟中算出來的，在輸入圖像上的標準大小dx3’、dy3’的2/3倍值作為應(yīng)檢測物體速度的信息(步驟S56)。
然后，進行物體存在判斷處理(步驟S57)，進行警報·監(jiān)視顯示處理(步驟S58)。在警戒區(qū)域校正處理(步驟S54)、大小條件計算處理(步驟S55)、速度條件算出處理(步驟S56)中算出的檢測條件，在物體存在判斷處理(步驟S57)中使用，判斷由差分法檢測出的變化區(qū)域是否是應(yīng)檢測物體。
如上所述，本例中，可以檢測TV攝像機1的抖動和焦距的變化，并進行校正。而且，本例中，對寬的視場角事先準備檢測條件，由此可以進行適當?shù)男Ｕ?br> 這里，本例中顯示的是，根據(jù)鏡頭焦距的變化量r來校正監(jiān)視區(qū)域圖像大小的結(jié)構(gòu)，但作為其他組成例，也可以采用將輸入圖像的大小設(shè)定為1/r倍的結(jié)構(gòu)。
而且，本例中，通過從圖4所示的攝像機云臺控制處理(步驟S23)到圖像合成處理(步驟S26)的處理，示出了由圖5所示的多個圖像91～99組成的圖像組經(jīng)合成而生成圖6(A)所示的監(jiān)視區(qū)域圖像101，但作為其他例子，也可以采用對攝像鏡頭13進行變焦，把相當于圖6(A)所示的圖像101的視場角的圖像，通過1次攝像來取得。此外，以圖6(B)為例子進行說明，在以圖像102的視場角攝像取得監(jiān)視區(qū)域圖像的情況下，也可以采用比通常處理中的視場角(例如，運行圖7流程時圖像121和圖像122的視場角)可以得到高精度(高象素)圖像的攝影模式。
而且，參照由圖5所示的由圖像91～99合成圖6(A)所示的監(jiān)視區(qū)域圖像101的例子，展示從搖動·傾斜·變焦控制量計算絕對坐標的方法的一個例子。
也就是說，本例中，作為攝像元件使用了1/2型CCD(元件尺寸是橫6.4mm、縱4.8mm)，以焦距為10mm合成圖6(A)所示的監(jiān)視區(qū)域圖像101。這種情況下，輸入圖像的視場角是橫方向35.5°、縱方向27.0°，以上下左右50％的重疊量進行合成，因此，監(jiān)視區(qū)域圖像101具有橫方向71.0°，縱方向54.0°的視場角。而且，如果設(shè)輸入圖像的象素數(shù)是橫320象素、縱240象素，則監(jiān)視區(qū)域圖像101由橫640象素、縱480象素組成。因此，監(jiān)視區(qū)域圖像101，相當于一象素具有橫0.055°/pix、縱0.056°/pix的分辨率。作為一個例子，將監(jiān)視區(qū)域圖像101的中心設(shè)為TV攝像機1的方向原點(搖動0°、傾斜0°)，通過攝像機云臺12的操作，使搖動變?yōu)?5°，傾斜變?yōu)?3°，焦距變?yōu)?5mm。這樣，輸入圖像的中心，在監(jiān)視區(qū)域圖像101的坐標系上移動到(640÷2-5÷0.055，480÷2+3÷0.056)。而且，由于焦距變動，輸入圖像的視場角是橫方向24.1°、縱方向18.2°，因此，輸入圖像的視場角在監(jiān)視區(qū)域圖像101的坐標系中，相當于橫24.1÷0.055＝438象素，縱18.2÷0.056＝325象素。也就是說，可知輸入圖像處于監(jiān)視區(qū)域圖像101的(229-438÷2，294-325÷2)～(229+438÷2，294+325÷2)＝(10，13 1)～(448，456)的范圍。
再示出根據(jù)模板或者搖動·傾斜·變焦控制量以外的信息，可以指定絕對坐標的方法的一例。
也就是說，可以由使用搖動·傾斜·變焦控制量及模板的匹配處理來計算絕對坐標，作為其他組成例子，例如，也可以采用著眼于門等存在于監(jiān)視區(qū)域內(nèi)的特定物體，根據(jù)門把的位置和門的可看見的大小等，來計算絕對坐標。例如，可以代替使用變焦控制量，而使用在視場角變化前和視場角變化后著眼物體在圖像上的可見大小的變化量，來檢測視場角的變化量。
這樣，除了使用模板掌握當前輸入圖像的位置和大小外，例如，還可以不使用模板，而根據(jù)攝像機的旋轉(zhuǎn)(搖動、傾斜)信息和變焦信息，掌握當前輸入圖像的位置和大小。而且，如果是攝像機的旋轉(zhuǎn)信息和變焦信息，例如，不能對應(yīng)于攝像機的抖動。而且，使用模板進行處理時，也可以并用攝像機的旋轉(zhuǎn)(搖動、傾斜)信息等。
而且，不依靠模板或者攝像機的旋轉(zhuǎn)(搖動·傾斜)信息和變焦信息，也可以進行能夠掌握相對于標準位置的當前輸入圖像位置的其他處理，由此，可以使用事先以寬視場角準備的檢測條件。
此外，示出檢測條件的替換和更新方法的一例。
也就是說，本例中，使用對監(jiān)視區(qū)域圖像101設(shè)定的1種檢測條件來進行了對入鏡物體監(jiān)視，但作為其他例子，也可以使用多個檢測條件。例如，設(shè)定白天用、傍晚用、夜用的檢測條件，可在每一時間進行切換，而且，根據(jù)風(fēng)力計等來自外部傳感器的信息，在沒有風(fēng)時，暫時使掩蔽區(qū)域無效。而且，根據(jù)入鏡物體的檢測處理結(jié)果，例如，可以將入鏡物體以外的檢測區(qū)域、即輸入圖像的亮度和標準背景圖像的亮度之差成為規(guī)定閾值以上的區(qū)域追加為掩蔽區(qū)域，來更新檢測條件。
下面，示出有關(guān)以上實施例(第1實施例～第2實施例)的效果的具體例子。
參照圖6(A)、(B)及圖9(A)、(B)、(C)，示出本實施例的效果。
圖6(A)，如參照圖4所作的說明，示出在監(jiān)視區(qū)域圖像101和監(jiān)視區(qū)域圖像101上設(shè)定的各種檢測條件111～120的例子。圖6(B)，示出標準視場角121、監(jiān)視人員的視場角122、光軸方向操作帶來的攝像裝置1的攝像范圍102的例子。
圖9(A)示出把視場角、光軸方向的操作前的視場角的檢測條件161～163重疊在輸入圖像151上來顯示的情況。圖9(B)示出將在適用本發(fā)明第1實施例處理的情況下所得到的檢測條件161a～161c，重疊在輸入圖像152上而顯示的情況。圖9(C)示出將適用本發(fā)明第2實施例的處理的情況下所得到的檢測條件164、162a、165～167，重疊在輸入圖像153上來顯示的情況。
圖6(A)中，示出檢測掩蔽區(qū)域111、警戒區(qū)域112～114、應(yīng)檢測的入鏡物體的標準大小115、116、用于檢測光軸方向變化的模板117～120。作為一個例子，假設(shè)通常監(jiān)視對象是出入建筑物入口的入鏡物體，使用圖6(B)所示的視場角121，有時，監(jiān)視人員通常為了同時監(jiān)視建筑物的入口和場地門，變更為圖6(B)所示的視場角122。這里，圖9A所示的圖像151就是平常的視場角，對該視場角，設(shè)定掩蔽區(qū)域161、警戒區(qū)域162、用于檢測光軸的變化的模板163。這時，如果設(shè)監(jiān)視人員把視角變更為圖6(B)所示的視場角122，例如，對過去檢測條件適用本發(fā)明的第1實施例的處理時(這里，還考慮鏡頭控制)，將檢測條件僅平行移動TV攝像機1的光軸方向的變化量，因此，檢測條件如圖9(B)所示。
圖9(B)中，在掩蔽區(qū)域161a，不能全部覆蓋草木存在的區(qū)域，草木的一部分存在于掩蔽區(qū)域161a的外部，為此，有可能把草木抖動誤檢測為入鏡物體出來。而且，根據(jù)視場角的變化，實際上是攝入警戒區(qū)域的場地門，而在此沒有作為警戒區(qū)域來設(shè)定，將實際上位于警戒區(qū)域內(nèi)的入鏡物體判斷為不存在于警戒區(qū)域內(nèi)。而且，為檢測TV攝像機1的光軸方向的變化的模板163a，超出圖像152之外，不能穩(wěn)定進行光軸方向變化量檢測處理。
另外，在將本發(fā)明第2實施例的處理適用在檢測條件的情況下，如圖9(C)所示，從設(shè)定在監(jiān)視區(qū)域圖像上的標準檢測條件，可以適當?shù)厮愠鲅诒螀^(qū)域164、警戒區(qū)域162a、165、用于檢測TV攝像機1的光軸方向的變化的模板166、167。因此，即使是引起TV攝像機1的視場角操作或光軸方向的變化的情況下，如果是監(jiān)視區(qū)域圖像內(nèi)的范圍，就可以消除不能充分設(shè)定盲區(qū)的問題、和不能適當設(shè)定警戒區(qū)域的問題、以及不能穩(wěn)定檢測TV攝像機1的光軸方向變化的問題。而且，可以配合TV攝像機1的視場角的操作、和結(jié)合光軸方向的變化來計算檢測條件，因此，可以進行可靠性高的正確的物體檢測。
如以上實施例(第1實施例～第2實施例)所示，本例中，根據(jù)從攝像裝置1依次輸入的圖像信號檢測攝像視場內(nèi)的物體的物體檢測裝置和物體檢測方法中，進行檢測上述圖像信號的變化區(qū)域的變化區(qū)域檢測處理；和檢測該攝像裝置1的光軸方向變化量的光軸方向變化量檢測處理；和根據(jù)該光軸方向的變化計算用于檢測攝像視場內(nèi)物體的檢測條件的檢測條件計算處理；判斷上述變化區(qū)域是否滿足該檢測條件的物體判斷處理。由此，檢測上述攝像裝置1的攝像視場內(nèi)的物體。
而且，在本實施例中，在根據(jù)從攝像裝置1依次輸入的圖像信號，檢測攝像視場內(nèi)的物體的物體檢測方法中，進行檢測上述圖像信號的變化區(qū)域的變化區(qū)域檢測處理；和檢測該攝像裝置1的視場角變化量的視場角變化量檢測處理；根據(jù)該視場角變化，計算用于檢測攝像視場內(nèi)的物體的檢測條件的檢測條件計算處理；以及，判斷上述變化區(qū)域是否滿足該檢測條件的物體判斷處理，并檢測上述攝像裝置1的攝像視場內(nèi)的物體。
而且，本實施例的物體檢測裝置和物體檢測方法中，例如，上述攝像裝置1具有改變該攝像裝置1的視場角的攝像機云臺12的裝置。而且，在上述檢測條件計算處理中，在控制上述攝像機云臺12來改變該攝像裝置1的視場角時，計算檢測條件。
而且，本實施例的物體檢測裝置和物體檢測方法中，例如，上述攝像裝置1，具有改變該攝像裝置1的視場角的攝像機云臺12裝置。然后，進行監(jiān)視區(qū)域圖像制作處理，即，控制上述攝像機云臺12來改變該攝像裝置1的視場角，同時根據(jù)所輸入的圖像信號，制作監(jiān)視區(qū)域圖像。而且，依據(jù)上述檢測條件計算處理算出的檢測條件，是基于對上述監(jiān)視區(qū)域圖像設(shè)定的標準檢測條件及上述攝像裝置1的視場角進行計算。
而且，本實施例的物體檢測裝置和物體檢測方法，例如，作為上述檢測條件，至少包含指定不進行物體檢測的區(qū)域的掩蔽區(qū)域；和區(qū)分被檢測物體重要度的警戒區(qū)域；和表示應(yīng)檢測物體大小的大小信息；和表示應(yīng)檢測物體的移動速度的速度信息中的1個。
而且，本實施例的物體檢測裝置和物體檢測方法，例如，上述掩蔽區(qū)域，可以用在上述監(jiān)視區(qū)域圖像上至少具有3點以上頂點的多邊形表示。而且，在上述檢測處理條件計算處理中，根據(jù)上述視場角變化及上述光軸方向變化，把該頂點的坐標從上述監(jiān)視區(qū)域圖像中的坐標轉(zhuǎn)換為輸入圖像的坐標。
而且，本實施例的物體檢測裝置和物體檢測方法中，例如，對之前檢測的物體的重要度進行區(qū)分的警戒區(qū)域，用上述監(jiān)視區(qū)域圖像上的矩形表示。而且，在上述檢測條件計算處理中，根據(jù)上述視場角變化及上述光軸方向變化，把該矩形坐標，從上述監(jiān)視區(qū)域圖像坐標轉(zhuǎn)換為輸入圖像的坐標。
而且，本實施例的物體檢測裝置和物體檢測方法中，例如，對表示應(yīng)檢測的物體的大小信息，用上述監(jiān)視區(qū)域圖像上的矩形表示。而且，在上述檢測條件計算處理中，根據(jù)上述視場角變化及上述光軸方向變化，把該矩形坐標，從上述監(jiān)視區(qū)域圖像坐標轉(zhuǎn)換為輸入圖像的坐標。
而且，在本實施例的物體檢測裝置中，例如，基于上述大小信息計算出上述速度信息。
而且，本實施例中，根據(jù)從攝像裝置1依次輸入的圖像信號，檢測攝像視場內(nèi)的檢測物體的物體檢測裝置和物體檢測方法中，具有依次攝入監(jiān)視區(qū)域范圍的攝像裝置1；和改變攝像裝置1的視場角的攝像機云臺12的裝置；和把攝像裝置1取得的影像信號依次轉(zhuǎn)換為圖像信號的圖像輸入接口21；和處理通過該圖像輸入接口21轉(zhuǎn)換的上述圖像信號的處理功能。而且，該處理功能，例如，檢測上述圖像信號的變化區(qū)域，并檢測該攝像裝置1的光軸方向的變化和視場角的變化，根據(jù)該光軸方向變化和該視場角變化，計算用于檢測攝像視場內(nèi)的物體的檢測條件，并判斷上述變化區(qū)域是否滿足該檢測條件，由此檢測上述攝像裝置1的攝像視場內(nèi)的物體。
因此，本實施例的物體檢測裝置和物體檢測方法中，例如，從TV攝像機1拍攝的圖像信號檢測出變化區(qū)域，并檢測該TV攝像機的光軸方向的變化和視場角的變化，且根據(jù)該光軸方向變化和該視場角變化，來計算檢測攝像視場內(nèi)物體的檢測條件，并判斷上述變化區(qū)域是否滿足該檢測條件，由此，即使是該TV攝像機1的光軸方向和視場角變化的情況下，也可以控制其影響，從而測檢物體。
作為具體例子，過去有時不能根據(jù)TV攝像機1的光軸方向變化或視場角操作，來適用事先設(shè)定的檢測條件。而且，這種情況下，發(fā)生不能充分設(shè)定盲區(qū)的問題、和不能正確進行變化區(qū)域的大小判斷、或警戒區(qū)域內(nèi)是否存在的判斷等問題，而且，不得不重新設(shè)定和修改檢測條件。
對此，本實施例中，檢測TV攝像機1的光軸方向變化和視場角操作，根據(jù)變化量來計算出檢測條件，由此，可以控制TV攝像機1的光軸方向變化和視場角變化的影響，可以提供能進行可靠性高的正確的物體檢測的物體檢測裝置和物體檢測方法。
這樣，本實施例中，計算攝像機的位置偏差(移動量)，例如，對于掩蔽區(qū)域和警戒區(qū)域、背景圖像等物體的檢測條件，校正該掩蔽區(qū)域等的坐標，由此，通過將該檢測條件僅移動上述計算出的偏差量，就可正確地進行物體檢測。
又，作為一構(gòu)成例，在捕捉寬視場的圖像中，設(shè)定物體的檢測條件，而且，根據(jù)取得輸入圖像時攝像機的視場角、方向(寬視場圖像上的位置)，計算輸入圖像用的檢測條件，由此可以正確進行物體檢測。而且，作為捕捉寬視場的圖像，例如，可以使用連接多幅圖像的合成圖像。
又，作為一構(gòu)成例，不根據(jù)取得輸入圖像時的攝像機視場角、方向，通常為了包含1個以上的輸入圖像中設(shè)定的模板，而在捕捉寬視場的圖像上，設(shè)定多個用于檢測位置偏差的模板。
而且，本實施例的物體檢測裝置和物體檢測方法中，由攝像裝置1拍攝的圖像(輸入圖像)構(gòu)成物體檢測對象的圖像，由攝像裝置1拍攝的多個圖像的合成結(jié)果(監(jiān)視區(qū)域圖像)構(gòu)成與作為物體檢測對象的圖像寬的圖像，例如由人等入鏡物體的圖像構(gòu)成作為檢測對象的物體的圖像。而且，本實施例的物體檢測裝置和物體檢測方法中，作為檢測條件，使用模板、標準背景圖像、掩蔽區(qū)域、警戒區(qū)域、大小信息、速度信息，此外，成為標準的檢測條件被設(shè)定在監(jiān)視區(qū)域圖像中，根據(jù)該標準檢測條件，對輸入圖像設(shè)定用于檢測物體圖像的檢測條件。
又，本實施例的物體檢測裝置和物體檢測方法中，例如，根據(jù)模板匹配結(jié)果、云臺控制部23的動作、具體控制部23的動作等，由MPU26檢測輸入圖像的光軸方向的變化和視場角變化的功能，構(gòu)成物體檢測對象圖像視場變化檢測裝置，例如，由MPU26校正坐標并對輸入圖像設(shè)定檢測條件的功能，構(gòu)成檢測條件設(shè)定裝置；由MPU26使用檢測條件從輸入圖像檢測如移動的物體的圖像的功能，構(gòu)成物體圖像檢測裝置；而且，由攝像裝置1的攝像部11等的功能，構(gòu)成攝像裝置；由攝像裝置1的攝像云臺12的功能或攝像鏡頭13的功能，構(gòu)成圖像變化裝置。
下面，說明本發(fā)明的技術(shù)背景。而且，這里所記述的事項，并不限定所有現(xiàn)有技術(shù)。
過去廣泛使用TV攝像機等攝像裝置的物體監(jiān)視裝置。使用這種物體監(jiān)視裝置的監(jiān)視系統(tǒng)中，對進入監(jiān)視視場內(nèi)的人或汽車等入鏡物體的檢測，在由監(jiān)視人員(操作員)邊看顯示在監(jiān)視器上的圖像邊進行的有人檢測時，由于監(jiān)視人員的熟練度、健康狀態(tài)等原因產(chǎn)生監(jiān)視能力差，有時也產(chǎn)生入鏡物體逃掉等問題。于是，要求不是過去的有人監(jiān)視，而是從攝像機等圖像輸入裝置輸入的圖像自動檢測入鏡物體，可以得到規(guī)定的通知或警報處置的系統(tǒng)。
為了實現(xiàn)這種系統(tǒng)，必須具有使用規(guī)定的監(jiān)視方式檢測入鏡物體等應(yīng)檢測物體對象的功能。作為這種監(jiān)視方式的一個例子，過去廣泛應(yīng)用稱作差分法的方式。所謂差分法，就是把由TV攝像機等得到的輸入圖像和事先制作的標準背景圖像即沒有映入應(yīng)檢測物體的圖像進行比較，求得每個象素的亮度值的差分，用規(guī)定的閾值來對該差分值進行閾值處理，把差分值大的區(qū)域作為變化區(qū)域檢測出。
參照圖10及圖11，說明上述差分法的處理。圖10是說明通過差分法檢測變化區(qū)域的步驟的一例的圖，圖11是表示應(yīng)用了差分法的監(jiān)視方式的典型的處理步驟的一例的流程圖。
首先，使用圖10，說明通過差分法檢測出從攝像裝置依次輸入的輸入圖像的亮度變化區(qū)域的步驟的一例。
該圖中，(A)圖像171是的攝像裝置依次輸入的輸入圖像，(B)圖像172是事先準備的沒有反映應(yīng)檢測對象物體的圖像。
通過以2張圖像171及圖像172作為輸入的差分器(減法器)175，計算每個象素值的亮度值差分，來(C)求得差分圖像173。之后，以差分圖像173為輸入的二值化器176，用閾值Th(由實驗決定，例如Th＝20)對差分圖像173的各象素進行閾值處理，把不足閾值Th的象素的象素值設(shè)為“0”，另外，把閾值Th以上的象素的象素值設(shè)為“255”，(D)求得二值化圖像174。由此，映入輸入圖像171的人形物體181，作為由差分器175產(chǎn)生差分的區(qū)域182(輸入圖像的亮度變化區(qū)域)來進行計算，由二值化器176，作為象素值“255”的圖像183進行檢測。對于差分法的處理，正進行各種研究(例如參照特性文獻2)。
下面，使用圖11的流程圖，說明應(yīng)用了上述差分方式的典型物體檢測方式的處理步驟。
該圖中，在初始化處理步驟，進行用于運行依據(jù)差分法的監(jiān)視方式的外部設(shè)備、參數(shù)、圖像存儲器等的初始化(步驟S61)。在圖像輸入步驟，從TV攝像機得到例如橫320象素、縱240象素的輸入圖像(步驟S62)。在差分處理步驟，計算(步驟S63)在圖像輸入步驟得到的輸入圖像(圖像171)和事先制作的標準背景圖像(圖像172)之間的每個象素亮度值的差分(圖像173)。在二值化處理步驟中，把差分處理步驟中得到的差分圖像的象素值(差分值)不足規(guī)定閾值Th(例如Th＝20)的象素的象素值設(shè)為“0”，把閾值Th以上的象素的象素值設(shè)為“255”，得到二值化圖像(圖像174)(步驟S64)。而且，本例中，1個象素的象素值以8比特計算，也就是說，1象素具有“0”到“255”的值。
根據(jù)上述的從圖像輸入步驟到二值化處理之間的處理(步驟S61～步驟S64)，檢測上述圖10所示的輸入圖像中的亮度變化區(qū)域。
其次，在掩蔽處理步驟中，對由二值化處理步驟得到的二值化圖像，把事先設(shè)定的掩蔽區(qū)域(作為不檢測物體的盲區(qū)處理的區(qū)域)中的具有“255”象素值的象素的象素值校正為“0”(步驟S65)。
這里，參照圖12，說明這種掩蔽處理的必要性。
該圖(A)表示監(jiān)視區(qū)域191，假設(shè)檢測出侵入到該監(jiān)視區(qū)域191內(nèi)的入鏡物體的用途。監(jiān)視區(qū)域191內(nèi)，映入建筑物的入口、草木等。該圖(B)，在監(jiān)視區(qū)域192中，表示的是適用差分法時檢測的輸入圖像的亮度變化區(qū)域。該圖(B)中，除了應(yīng)檢測的物體202之外，還可以檢測出輸入圖像和標準背景圖像中亮度產(chǎn)生差的被風(fēng)搖動的草木區(qū)域203、204，并判斷為輸入圖像中存在3個物體202、203、204。在發(fā)生這種現(xiàn)象的情況下，從過去就應(yīng)用設(shè)定如該圖(C)的監(jiān)視區(qū)域193所示的掩蔽區(qū)域205，并把掩蔽區(qū)域205內(nèi)作為盲區(qū)(不進行物體存在判斷的區(qū)域)來進行處理的方法。這種掩蔽處理不限于差分法，在各種物體檢測方法中使用，作為提高監(jiān)視方式性能的方法被廣泛使用。
然后，在標記處理步驟中，檢測在掩蔽處理步驟得到的被修正的二值化圖像中的象素值是“255”的象素塊，對各個塊標上標號以示區(qū)別(步驟S66)。在處理圖像顯示步驟中，例如，把由標記處理步驟中標示號碼的象素值是“255”的象素塊，和輸入圖像重疊顯示，并顯示為從視覺上易區(qū)分由差分法檢測的輸入圖像的亮度變化區(qū)域(步驟S67)。
然后，判斷由差分法檢測的輸入圖像的亮度變化區(qū)域中是否映入了應(yīng)檢測物體。具體地說，在物體存在判斷步驟中，分別針對標號的變化區(qū)域，根據(jù)大小、面積、速度、檢測位置等檢測條件，判斷該變化區(qū)域是否和檢測條件一致，當檢測條件一致時，判定為存在應(yīng)檢測物體而轉(zhuǎn)移到警報、監(jiān)視顯示步驟，當不符合檢測條件時，判定為不存在應(yīng)檢測物體，轉(zhuǎn)移到圖像輸入步驟(步驟S68)。
例如，作為檢測條件使用變化區(qū)域標準大小的情況下，對標號的變化區(qū)域183，計算外接的矩形184，求得外接矩形184的幅度dx、高度dy，與檢測條件標準大小進行比較(參照上述圖10)。但是，應(yīng)檢測物體，由于在畫面上觀測的位置可看見大小在變化，因此，檢測條件的標準大小，也需要根據(jù)畫面上的位置來進行校正。
參照圖13，說明這種校正處理。
該圖(A)示出在區(qū)域211中，在監(jiān)視系統(tǒng)的設(shè)置時設(shè)定的應(yīng)檢測物體的標準大小。應(yīng)檢測物體的標準大小，實際拍攝映入遠離TV攝像機的物體和映入離TV攝像機比較近的位置的物體，根據(jù)其大小來設(shè)定。該圖(A)中，物體221是在遠離攝像機的位置所拍攝的物體像，物體222是在離攝像機比較近的位置所拍攝的物體像。該圖(A)中，清楚地重疊顯示2個圖像。這里，作為應(yīng)檢測的物體大小信息，對各個物體221及物體222，記錄檢測位置y1、y2、外接矩形的幅度dx1、dx2、外接矩形的高度dy1、dy2。例如，假設(shè)是在該圖(B)的區(qū)域212所示的位置拍攝物體。這時，由于在該圖(A)所示的位置上不存在物體223，因此，有必要從上述應(yīng)檢測物體的標準大小信息，推測物體223位置的標準大小。標準大小的推測是基于檢測位置y1、y2、y3通過內(nèi)插來進行。物體223的在位置y＝y(tǒng)3拍攝的物體標準大小dx3、dy3，依據(jù)式2及式3計算。由此，可以計算在任意位置檢測的物體的標準大小。
式2dx3=dx1-dx2y1-y2(y-y2)+dx2]]>式3dy3=dy1-dy2y1-y2(y-y2)+dy2]]>在上述的物體存在判斷步驟中，對由上述圖10所示的差分法檢測的變化區(qū)域183，計算檢測位置y，根據(jù)檢測位置y，由上述式2及式3求得標準大小dx3、dy3。由此，即使是沒有設(shè)定應(yīng)檢測物體的標準大小的位置，也可以內(nèi)插計算作為標準的大小。然后，對標準大小dx3、dy3設(shè)定容許量(例如，x方向上rx，y方向上ry)，當變化區(qū)域183的外接矩形184的寬度dx和高度dy滿足[dx3-rx≤dx≤dx3+rx，dy3-ry≤dy≤dy3+ry]時，判斷為該變化區(qū)域183上存在應(yīng)檢測的物體。
這里，rx、ry例如作為[rx＝0.5×dx3，ry＝0.3×dy3]算出，分別允許對標準大小可以變動50％、30％的大小變動。也就是說，在橫方向標準大小的50％～150％的范圍，縱方向在標準大小的70％～130％的范圍，在這些范圍的大小變化區(qū)域判斷為存在應(yīng)檢測物體。
這里，在以上的說明中，作為應(yīng)檢測物體的檢測條件使用了應(yīng)檢測物體的標準大小，但也可以計算從TV攝像機依次輸入的輸入圖像中的變化區(qū)域的位置變化量(也就是說有效移動速度)，并根據(jù)該位置變化量來判斷是否為應(yīng)檢測物體。這種情況下，例如，如果將應(yīng)檢測物體的移動速度設(shè)為5km/h(1.4m/s)，將輸入圖像以100ms的周期輸入，則每次輸入圖像時的應(yīng)檢測物體就移動1.4m。這時，假設(shè)應(yīng)檢測物體的橫寬為0.5m，則僅移動由上述式2計算的標準大小的dx3的大約1/3量。因此，作為是否是應(yīng)檢測物體的判斷中，例如，在變化區(qū)域的位置變化量是dx3的2/3(具有2倍余量的例子)以下的情況下，判斷為是應(yīng)檢測物體。由于這樣，例如可以區(qū)分監(jiān)視區(qū)域內(nèi)的應(yīng)檢測的人和不是應(yīng)檢測的車輛。
在上述的物體存在判斷步驟中，當判斷為存在應(yīng)檢測的物體時，在下面警報·監(jiān)視顯示步驟中，例如，對發(fā)現(xiàn)入鏡物體的情況響警報來通知監(jiān)視人員(步驟S69)。而且，在警報·監(jiān)視顯示步驟中，也可以如上述圖12(A)所示，在監(jiān)視區(qū)域內(nèi)設(shè)定警戒區(qū)域201，當該警戒區(qū)域201內(nèi)包含變化區(qū)域202的一部分時，認為檢測的物體存在于重要度比較高的位置(上述圖12的例子中，把建筑物的入口作為警戒區(qū)域)，亮出紅色的警報燈以引起監(jiān)視人員的注意，如果該警戒區(qū)域201內(nèi)不包含變化區(qū)域202的一部分時，亮出黃色的警報燈。
在上述的使用差分法的過去方式中，事先設(shè)定應(yīng)檢測物體的標準大小、警戒區(qū)域的檢測條件，在檢測輸入圖像的亮度變化區(qū)域時或判斷檢測的變化區(qū)域中是否存在應(yīng)檢測物體時，使用該檢測條件。這些檢測條件，例如，在改變TV攝像機的視場角和光軸方向時的情況下，需要重新設(shè)定為適當?shù)闹?。即，為了變更監(jiān)視區(qū)域，操作攝像鏡頭(例如，圖1的攝像鏡頭13)或攝像機云臺(例如，圖1攝像機云臺12)，來改變TV攝像機的視場角和光軸方向時，有必要再設(shè)定上述檢測條件。因此，在檢測條件的再設(shè)定作業(yè)中，發(fā)生不能進行入鏡物體的監(jiān)視業(yè)務(wù)等問題。還有，在室外等，如果攝像機因風(fēng)被搖動的情況下等，TV攝像機的光軸方向變化，輸入圖像產(chǎn)生偏差。這種情況下，會判斷為輸入圖像中存在移動物體，在過去的方法中，對此類問題，加寬設(shè)定掩蔽區(qū)域，或加大設(shè)定對標準大小的容許量(上述的例子中是rx，ry)，或者加寬設(shè)定警戒區(qū)域。因此，不得不加寬設(shè)定盲區(qū)，發(fā)生下述問題，即，可檢測物體的范圍變窄和變化區(qū)域的大小判斷不能正確進行，以及警戒區(qū)域內(nèi)是否存在的判斷不能正確進行等問題。這種問題，不限于依據(jù)差分法的物體檢測方法，是使用掩蔽區(qū)域的方式、對檢測的區(qū)域進行大小判斷的方式、設(shè)定警戒區(qū)域，以警戒區(qū)域的內(nèi)外改變警報種類等方式中所共同存在的問題。
如上所述，在過去以來廣泛使用的物體檢測方法中，有例如改變了TV攝像機的視場角或光軸方向的情況等時不得不再設(shè)定檢測條件的問題；此外，由于攝像機的抖動等原因而光軸方向變更的情況下，不得不加寬設(shè)定盲區(qū)，可檢測物體的范圍變窄等問題；變化區(qū)域的大小判斷或者警戒區(qū)域內(nèi)是否存在的判斷，不能正確進行的問題。
對此，在本發(fā)明實施例的物體檢測裝置和物體檢測方法中，例如，即使在變更了TV攝像機的視場角和光軸方向的情況下，或TV攝像機被抖動而光軸方向變化的情況下，都可以檢測其變化而進行校正，由此可以進行可靠性高的正確的物體檢測。
這里，本發(fā)明實施例的物體檢測裝置和物體檢測方法等的構(gòu)成，不限于上述情況，可以使用各種構(gòu)成。而且，本發(fā)明可以作為例如運行本發(fā)明的處理方法或方式，或?qū)崿F(xiàn)這種方法和方式的程序或記錄該程序的記錄介質(zhì)等提供，而且，可以作為各種裝置或系統(tǒng)進行提供。
又，作為本發(fā)明的適用領(lǐng)域，并不限于上述情況，本發(fā)明可適用于各種領(lǐng)域。
又，作為本發(fā)明的物體檢測裝置和物體檢測方法等中進行的各種處理，例如，也可以在具備處理器和存儲器等的硬件資源中，由處理器執(zhí)行存儲于ROM(Read Only Memory只讀存儲器)中的控制程序，由此進行控制，而且，例如，也可以構(gòu)成為用于運行該處理的各功能裝置相互獨立的硬件電路。
而且，本發(fā)明，可以作為存儲了上述控制程序的軟盤(登錄商標)或CD-ROM等計算機可讀的記錄介質(zhì)和該程序本身來把握，可以把該控制程序從該記錄介質(zhì)輸入到計算機由處理器運行，由此執(zhí)行本發(fā)明的處理。
權(quán)利要求
1.一種物體檢測方法，檢測成為物體檢測對象的圖像中所包含的物體圖像，其特征在于，具備物體檢測對象圖像視場變化檢測步驟，對與成為物體檢測對象的圖像的視場相關(guān)的變化進行檢測；和檢測條件設(shè)定步驟，基于由物體檢測對象圖像視場變化檢測步驟檢測出的變化，來對檢測物體圖像時所使用的檢測條件進行設(shè)定；物體圖像檢測步驟，使用由檢測條件設(shè)定步驟設(shè)定的檢測條件，檢測出成為物體檢測對象的圖像中所包含的物體圖像。
2.權(quán)利要求1所述的物體檢測方法中，其特征在于，在物體檢測對象圖像視場變化檢測步驟中，作為與成為物體檢測對象的圖像的視場相關(guān)的變化，對拍攝圖像的裝置的光軸方向的變化、和拍攝圖像的裝置的視場角變化中的一方或者兩方進行檢測。
3.權(quán)利要求1或從屬權(quán)利要求2所述的物體檢測方法中，其特征在于，對于比成為物體檢測對象的圖像寬的圖像，設(shè)定檢測條件，該檢測條件作為對檢測物體圖像時所使用的檢測條件進行設(shè)定的標準，檢測條件設(shè)定步驟，根據(jù)該成為標準的檢測條件、和由物體檢測對象圖像視場變化檢測步驟檢測出的變化，來設(shè)定檢測物體圖像時所使用的檢測條件。
4.一種物體檢測裝置，檢測成為物體檢測對象的圖像中所包含的物體圖像，其特征在于，具備物體檢測對象圖像視場變化檢測裝置，對與成為物體檢測對象的圖像的視場相關(guān)的變化進行檢測；和檢測條件設(shè)定裝置，基于由物體檢測對象圖像視場變化檢測裝置檢測出的變化，來對檢測物體圖像時所使用的檢測條件進行設(shè)定；物體圖像檢測裝置，使用由檢測條件設(shè)定裝置設(shè)定的檢測條件，檢測出成為物體檢測對象的圖像中所包含的物體圖像。
5.根據(jù)權(quán)利要求4所述的物體檢測裝置，其特征在于，物體檢測對象圖像視場變化檢測裝置，作為與成為物體檢測對象的圖像的視場相關(guān)的變化，對拍攝圖像的裝置的光軸方向的變化、和拍攝圖像的裝置的視場角變化中的一方或者兩方進行檢測。
6.權(quán)利要求4或權(quán)利要求5所述的物體檢測裝置，其特征在于，對于比成為物體檢測對象的圖像寬的圖像，設(shè)定檢測條件，該檢測條件成為對檢測物體圖像時所使用的檢測條件進行設(shè)定的標準，檢測條件設(shè)定裝置，根據(jù)該成為標準的檢測條件、和由物體檢測對象圖像視場變化檢測裝置檢測出的變化，來設(shè)定檢測物體圖像時所使用的檢測條件。
全文摘要
一種物體檢測裝置，檢測成為物體檢測對象的圖像中所包含的物體圖像，即使TV攝像機(1)的光軸方向和視場角產(chǎn)生變化的情況下，也可以進行正確的物體檢測。物體檢測對象圖像視場變化檢測裝置，對與成為物體檢測對象的圖像的視場相關(guān)的變化(光軸方向和視場角的變化)進行檢測，檢測條件設(shè)定裝置，基于由物體檢測對象圖像視場變化檢測裝置檢測出的變化，來對檢測物體圖像時所使用的檢測條件進行設(shè)定，物體圖像檢測裝置，使用由檢測條件設(shè)定裝置設(shè)定的檢測條件，檢測出成為物體檢測對象的圖像中所包含的物體圖像。
文檔編號H04N7/18GK1612165SQ20041008998
公開日2005年5月4日 申請日期2004年10月28日 優(yōu)先權(quán)日2003年10月28日
發(fā)明者伊藤渡 申請人:株式會社日立國際電氣