專利名稱：監(jiān)視攝像機(jī)終端的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及在車站、購(gòu)物中心、繁華街區(qū)等聚集非特定多數(shù)人的場(chǎng)所中在廣范圍內(nèi)追蹤可疑人員的廣域監(jiān)視系統(tǒng)中使用的監(jiān)視攝像機(jī)終端。
背景技術(shù)：
以往，存在這樣的廣域監(jiān)視系統(tǒng)在車站、購(gòu)物中心、繁華街區(qū)等聚集非特定多數(shù)人的場(chǎng)所，使用多個(gè)監(jiān)視攝像機(jī)終端檢測(cè)行動(dòng)異常的可疑人員等的人物(以下，簡(jiǎn)稱為追蹤對(duì)象者)，并對(duì)所檢測(cè)的追蹤對(duì)象者進(jìn)行追蹤。另外，為了控制整個(gè)系統(tǒng)中使用的監(jiān)視攝像機(jī)終端的臺(tái)數(shù)、降低構(gòu)筑系統(tǒng)所需的成本，使用隨著追蹤對(duì)象者的移動(dòng)變更攝像視野的監(jiān) 視攝像機(jī)終端，擴(kuò)大分配給各個(gè)監(jiān)視攝像機(jī)終端的監(jiān)視對(duì)象區(qū)域(參照專利文獻(xiàn)I)。現(xiàn)有技術(shù)文獻(xiàn)專利文獻(xiàn)專利文獻(xiàn)I :特開2006-310901號(hào)公報(bào)

發(fā)明內(nèi)容
發(fā)明所要解決的問題然而，在以往的普通廣域監(jiān)視系統(tǒng)中，監(jiān)視攝像機(jī)終端使攝像視野變化，從而使得按照以追蹤對(duì)象者為幀圖像的中心的方式被攝像。即，監(jiān)視攝像機(jī)終端以追蹤對(duì)象者為基準(zhǔn)變更攝像視野。并且，監(jiān)視攝像機(jī)終端在其正追蹤的追蹤對(duì)象者進(jìn)入與另一監(jiān)視攝像機(jī)終端之間規(guī)定的交接區(qū)域時(shí)，正在追蹤該追蹤對(duì)象者的監(jiān)視攝像機(jī)終端(以下，稱為交接側(cè)監(jiān)視攝像機(jī)終端)發(fā)送交接請(qǐng)求。該交接請(qǐng)求被發(fā)送到承接繼續(xù)追蹤該追蹤對(duì)象者的另一監(jiān)視攝像機(jī)終端(以下，稱為承接側(cè)監(jiān)視攝像機(jī)終端)。承接側(cè)監(jiān)視攝像機(jī)終端將攝像視野變更為交接與交接側(cè)監(jiān)視攝像機(jī)終端之間規(guī)定的追蹤對(duì)象者時(shí)的攝像視野。而且，交接側(cè)監(jiān)視攝像機(jī)終端也將攝像視野變更為交接與承接側(cè)監(jiān)視攝像機(jī)終端之間規(guī)定的追蹤對(duì)象者時(shí)的攝像視野。而且，交接側(cè)監(jiān)視攝像機(jī)終端及承接側(cè)監(jiān)視攝像機(jī)終端兩者大致在相同的定時(shí)拍攝交接區(qū)域。承接側(cè)監(jiān)視攝像機(jī)終端從拍攝了該交接區(qū)域的幀圖像中的被攝像的人物中辨識(shí)交接側(cè)監(jiān)視攝像機(jī)終端所追蹤的追蹤對(duì)象者。承接側(cè)監(jiān)視攝像機(jī)終端承接繼續(xù)進(jìn)行所辨識(shí)的追蹤對(duì)象者的追蹤。追蹤對(duì)象者的辨識(shí)是基于各個(gè)監(jiān)視攝像機(jī)終端拍攝的幀圖像中的、包括追蹤對(duì)象者的人物的位置來(lái)進(jìn)行的。這樣，在追蹤對(duì)象者進(jìn)入交接區(qū)域內(nèi)之后，交接側(cè)監(jiān)視攝像機(jī)終端以及承接側(cè)監(jiān)視攝像機(jī)終端兩者均使其攝像視野與交接追蹤對(duì)象者時(shí)的攝像視野一致。因此，在這些監(jiān)視攝像機(jī)終端同步地對(duì)交接區(qū)域進(jìn)行攝像時(shí)，有時(shí)追蹤對(duì)象者已經(jīng)移動(dòng)到交接區(qū)域外。在該情況下，該追蹤對(duì)象者迷失，該追蹤對(duì)象者的追蹤失敗。本發(fā)明的目的在于提供一種監(jiān)視攝像機(jī)終端，在與另一監(jiān)視攝像機(jī)終端之間交接所追蹤的追蹤對(duì)象時(shí)，能夠抑制該追蹤對(duì)象迷失。解決問題的手段為了實(shí)現(xiàn)上述目的，本發(fā)明的監(jiān)視攝像機(jī)終端構(gòu)成如下攝像視野控制單元使攝像單元的攝像視野在監(jiān)視對(duì)象區(qū)域內(nèi)變化。追蹤對(duì)象提取單元對(duì)攝像單元在攝像視野內(nèi)拍攝的幀圖像進(jìn)行處理，并提取出被拍攝的追蹤對(duì)象。追蹤單元基于追蹤對(duì)象提取單元提取出的追蹤對(duì)象的幀圖像上的位置及攝像單元的攝像視野，檢測(cè)監(jiān)視對(duì)象區(qū)域內(nèi)的追蹤對(duì)象的位置，追蹤該追蹤對(duì)象。追蹤單元基于按照時(shí)間序列處理幀圖像而獲得、隨著時(shí)間的經(jīng)過(guò)而改變的監(jiān)視對(duì)象區(qū)域內(nèi)的追蹤對(duì)象的位置的變化來(lái)追蹤該追蹤對(duì)象。攝像視野控制單元根據(jù)監(jiān)視對(duì)象區(qū)域內(nèi)的追蹤單元所追蹤的追蹤對(duì)象的位置使攝像單元的攝像視野變化。例如，使攝像單元的攝像視野變化，從而使得追蹤對(duì)象被攝于幀圖像的大致中間位置。并且，通過(guò)使用根據(jù)追蹤單元中的追蹤對(duì)象的追蹤結(jié)果獲得的該追蹤對(duì)象的移動(dòng)矢量，能夠在預(yù)測(cè)追蹤對(duì)象的位置的同時(shí)使攝像視野變化。攝像視野存儲(chǔ)單元按照進(jìn)行追蹤對(duì)象的交接的各個(gè)其他監(jiān)視攝像機(jī)終端，存儲(chǔ)進(jìn)行追蹤對(duì)象的交接時(shí)的攝像視野。并且，檢測(cè)單元檢測(cè)追蹤單元所追蹤的追蹤對(duì)象是否移動(dòng)到與其他監(jiān)視攝像機(jī)終端之間的交接區(qū)域周邊。檢測(cè)單元例如可以構(gòu)成為根據(jù)攝像單元的攝像視野來(lái)檢測(cè)追蹤單元是否移動(dòng)到與其他監(jiān)視攝像機(jī)終端之間的交接區(qū)域周邊，也可以構(gòu)成為根據(jù)追蹤單元所追蹤的追蹤對(duì)象的位置來(lái)檢測(cè)是否移動(dòng)到與其他監(jiān)視攝像機(jī)終端之間的交接區(qū)域周邊的結(jié)構(gòu)。并且，也可以構(gòu)成為在交接區(qū)域周邊預(yù)先印制規(guī)定的標(biāo)記，根據(jù)從幀圖像能否檢測(cè)到該規(guī)定的標(biāo)記來(lái)檢測(cè)追蹤單元是否移動(dòng)到與其他監(jiān)視攝像機(jī)終端之間的交接區(qū)域周邊。當(dāng)根據(jù)檢測(cè)單元檢測(cè)到追蹤單元所追蹤的追蹤對(duì)象移動(dòng)到與其他監(jiān)視攝像機(jī)終端之間的交接區(qū)域周邊時(shí)，攝像視野控制單元使攝像單元的攝像視野和攝像視野存儲(chǔ)單元中存儲(chǔ)的在與該其他監(jiān)視攝像機(jī)終端之間交接追蹤對(duì)象時(shí)的攝像視野一致。此時(shí)，優(yōu)選為，攝像視野控制單元切換攝像單元的攝像視野而不使所追蹤的追蹤對(duì)象者處于幀外，使攝像單元的攝像視野和攝像視野存儲(chǔ)單元中存儲(chǔ)的與該另一監(jiān)視攝像機(jī)終端之間的交接區(qū)域一致而不迷失該追蹤對(duì)象者。并且，在檢測(cè)單元檢測(cè)到追蹤單元所追蹤的追蹤對(duì)象移動(dòng)到與另一監(jiān)視攝像機(jī)終端之間的交接區(qū)域周邊時(shí)，對(duì)進(jìn)行該追蹤對(duì)象的交接的其他監(jiān)視攝像機(jī)終端發(fā)出交接請(qǐng)求即可。構(gòu)成為進(jìn)行追蹤對(duì)象的交接的對(duì)方側(cè)監(jiān)視攝像機(jī)終端根據(jù)該請(qǐng)求使攝像視野變化為進(jìn)行交接的攝像視野。由此，當(dāng)追蹤對(duì)象者進(jìn)入到交接區(qū)域內(nèi)時(shí)，交接側(cè)監(jiān)視攝像機(jī)終端以及承接側(cè)監(jiān)視攝像機(jī)終端兩者的攝像視野均變成交接追蹤對(duì)象時(shí)的攝像視野。即，不產(chǎn)生從追蹤對(duì)象者進(jìn)入交接區(qū)域開始到這些監(jiān)視攝像機(jī)終端將攝像視野變更為交接追蹤對(duì)象者時(shí)的攝像視野為止的時(shí)間。因此，在與其他監(jiān)視攝像機(jī)終端之間交接正在追蹤的追蹤對(duì)象時(shí)，能夠抑制該追蹤對(duì)象迷失。根據(jù)本發(fā)明，在與其它監(jiān)視攝像機(jī)終端之間交接正在追蹤的追蹤對(duì)象時(shí)，能夠抑制該追蹤對(duì)象迷失。


、
圖I是示出廣域監(jiān)視系統(tǒng)的結(jié)構(gòu)的概略圖。圖2是示出監(jiān)視攝像機(jī)終端的主要部分的結(jié)構(gòu)的框圖。圖3是說(shuō)明監(jiān)視攝像機(jī)終端中的監(jiān)視對(duì)象區(qū)域和攝像區(qū)域的圖。圖4是示出相鄰的監(jiān)視攝像機(jī)終端之間的監(jiān)視對(duì)象區(qū)域之間的關(guān)系的圖。圖5是示出監(jiān)視攝像機(jī)終端的動(dòng)作的流程圖。圖6是示出追蹤處理的流程圖。圖7是示出追蹤處理時(shí)的攝像圖像的圖。圖8是示出承接處理的流程圖。
具體實(shí)施例方式下面，對(duì)作為本發(fā)明的實(shí)施方式的監(jiān)視攝像機(jī)終端進(jìn)行說(shuō)明。圖I是示出使用了根據(jù)本發(fā)明的實(shí)施方式的監(jiān)視攝像機(jī)終端的廣域監(jiān)視系統(tǒng)的結(jié)構(gòu)的概略圖。該廣域監(jiān)視系統(tǒng)是具有多個(gè)監(jiān)視攝像機(jī)終端I (1A 1H)的網(wǎng)絡(luò)系統(tǒng)。該廣域監(jiān)視系統(tǒng)例如是自組織(Ad Hoc)型網(wǎng)絡(luò)系統(tǒng)。監(jiān)視攝像機(jī)終端I之間直接或者經(jīng)由其它監(jiān)視攝像機(jī)終端I進(jìn)行數(shù)據(jù)通信。該監(jiān)視攝像機(jī)終端I之間的數(shù)據(jù)通信可以是無(wú)線方式，也可以是有線方式。另外，構(gòu)成該廣域監(jiān)視系統(tǒng)的監(jiān)視攝像機(jī)終端I的臺(tái)數(shù)不限于在此例示的8臺(tái)，只要是多個(gè)，任何數(shù)量均可。并且，圖I所示的連接監(jiān)視攝像機(jī)終端I之間的線是鏈路。并且，在下面的說(shuō)明中，在不特意區(qū)分監(jiān)視攝像機(jī)終端IA IH地進(jìn)行說(shuō)明的情況下，表示為監(jiān)視攝像機(jī)終端I。圖2是示出監(jiān)視攝像機(jī)終端的主要部分的結(jié)構(gòu)的圖。監(jiān)視攝像機(jī)終端I具備控制部11、攝像部12、驅(qū)動(dòng)機(jī)構(gòu)部13、攝像視野控制部14、圖像處理部15、存儲(chǔ)部16、計(jì)時(shí)器17、通信部18?？刂撇?1對(duì)主體各部分的動(dòng)作進(jìn)行控制。攝像部12在I秒間輸出拍攝了攝像視野內(nèi)(攝像區(qū)域)的幀圖像30幀左右。該攝像部12被安裝在單獨(dú)向搖攝方向以及傾斜(tilt)方向轉(zhuǎn)動(dòng)的方向轉(zhuǎn)臺(tái)(未圖示)上。搖攝方向與傾斜方向是正交的方向。并且，攝像部12具有驅(qū)動(dòng)攝像光學(xué)系統(tǒng)的光學(xué)系統(tǒng)驅(qū)動(dòng)部(未圖示)，能夠改變攝像倍率Zoom。驅(qū)動(dòng)機(jī)構(gòu)部13具有向搖攝方向以及傾斜方向轉(zhuǎn)動(dòng)安裝有攝像部12的方向轉(zhuǎn)臺(tái)的馬達(dá)等驅(qū)動(dòng)源。并且，具有檢測(cè)方向轉(zhuǎn)臺(tái)在搖攝方向的轉(zhuǎn)動(dòng)角度0以及在傾斜方向的轉(zhuǎn)動(dòng)角度9的傳感器。攝像視野控制部14向攝像部12指示攝像倍率。攝像部12根據(jù)該指示變更攝像倍率Zoom。并且，攝像視野控制部14向驅(qū)動(dòng)機(jī)構(gòu)部13指示安裝有攝像部12的方向轉(zhuǎn)臺(tái)在搖攝方向的轉(zhuǎn)動(dòng)角度9以及在傾斜方向的轉(zhuǎn)動(dòng)角度驅(qū)動(dòng)機(jī)構(gòu)部13根據(jù)該指示變更安裝有攝像部12的方向轉(zhuǎn)臺(tái)在搖攝方向的轉(zhuǎn)動(dòng)角度0以及在傾斜方向的轉(zhuǎn)動(dòng)角度9。隨著方向轉(zhuǎn)臺(tái)在搖攝方向的轉(zhuǎn)動(dòng)角度0、方向轉(zhuǎn)臺(tái)在傾斜方向的轉(zhuǎn)動(dòng)角度9以及攝像倍率Zoom發(fā)生變化，攝像部12的攝像視野發(fā)生變化。如圖3所示，在監(jiān)視攝像機(jī)終端I中監(jiān)視對(duì)象區(qū)域固定。該監(jiān)視對(duì)象區(qū)域是通過(guò)變化攝像部12的攝像視野而能夠進(jìn)行攝像的范圍。并且，圖像處理部15對(duì)攝像部12拍攝的幀圖像進(jìn)行處理，提取出被拍攝到的人物，在此對(duì)提取出的人物賦予ID。該ID是能夠識(shí)別人物的唯一的值。并且，圖像處理部15中被輸入傳感器的輸出，該傳感器用于檢測(cè)安裝有攝像部12的方向轉(zhuǎn)臺(tái)的搖攝方向的轉(zhuǎn)動(dòng)角度9以及傾斜方向的轉(zhuǎn)動(dòng)角度 即，圖像處理部15根據(jù)該傳感器的輸出，取得安裝有攝像部12的方向轉(zhuǎn)臺(tái)的搖攝方向的轉(zhuǎn)動(dòng)角度0以及傾斜方向的轉(zhuǎn)動(dòng)角度9。并且，圖像處理部15根據(jù)從攝像部12輸入的關(guān)于攝像倍率的信號(hào)獲得該攝像部12的攝像倍率Zoom。圖像處理部15根據(jù)方向轉(zhuǎn)臺(tái)在搖攝方向的轉(zhuǎn)動(dòng)角度0、在傾斜方向的轉(zhuǎn)動(dòng)角度<P以及攝像倍率Zoom能夠獲得攝像部12的攝像視野，即，監(jiān)視對(duì)象區(qū)域中的攝像區(qū)域的位置。因此，圖像處理部15能夠?qū)z像部12拍攝的幀圖像上的人物的位置變換為監(jiān)視對(duì)象區(qū)域中的位置。圖像處理部15根據(jù)所追蹤的人物的移動(dòng)，指示攝像視野控制部14攝像部12的攝像視野。該圖像處理部15是例如利用時(shí)空MRF (Markov Random Field,馬爾可夫隨機(jī)場(chǎng))模型提取或追蹤所拍攝的人物的結(jié)構(gòu)。眾所周知，時(shí)空MRF模型是著眼于時(shí)空?qǐng)D像在時(shí)間軸方向的相關(guān)關(guān)系并將MRF模型作為時(shí)空模型進(jìn)行擴(kuò)張后得到的模型。該時(shí)空MRF模型是如下這樣的模型對(duì)于作為處理對(duì)象的幀圖像，以幾個(gè)像素X幾個(gè)像素(例如，8像素X8 像素)的塊(block)進(jìn)行區(qū)域分割，定義參照了時(shí)間上連續(xù)的幀圖像間的每個(gè)塊的運(yùn)動(dòng)矢量的時(shí)間軸方向的相關(guān)。存儲(chǔ)部16存儲(chǔ)使主體動(dòng)作的動(dòng)作程序、動(dòng)作時(shí)使用的設(shè)定數(shù)據(jù)、動(dòng)作時(shí)產(chǎn)生的處理數(shù)據(jù)等。計(jì)時(shí)器17對(duì)當(dāng)前時(shí)刻進(jìn)行計(jì)時(shí)。通信部18對(duì)與其它監(jiān)視攝像機(jī)終端I之間的數(shù)據(jù)通信進(jìn)行控制。該廣域監(jiān)視系統(tǒng)是對(duì)行動(dòng)異常的可疑人員等人物(下面，簡(jiǎn)稱為追蹤對(duì)象者)進(jìn)行追蹤的系統(tǒng)。在各監(jiān)視攝像機(jī)終端I中，如上所述地分配監(jiān)視對(duì)象區(qū)域。并且，如圖4所示，相鄰的2個(gè)監(jiān)視攝像機(jī)終端1A、IB的監(jiān)視對(duì)象區(qū)域的一部分重疊。圖4針對(duì)相鄰的2個(gè)監(jiān)視攝像機(jī)終端1A、1B的監(jiān)視對(duì)象區(qū)域進(jìn)行了例示，但是在相鄰的其它2個(gè)監(jiān)視攝像機(jī)終端I的組合中，監(jiān)視對(duì)象區(qū)域的一部分也重疊。該重疊的區(qū)域是用于將追蹤對(duì)象者從一個(gè)監(jiān)視攝像機(jī)終端IA(或者1B)交接給另一個(gè)監(jiān)視攝像機(jī)終端IB(或者1A)的交接區(qū)域。例如是這樣的區(qū)域當(dāng)監(jiān)視攝像機(jī)終端IA正在追蹤的追蹤對(duì)象者通過(guò)與監(jiān)視攝像機(jī)終端IB的交接區(qū)域進(jìn)入監(jiān)視攝像機(jī)終端IB的監(jiān)視對(duì)象區(qū)域時(shí)，監(jiān)視攝像機(jī)終端IB在該交接區(qū)域辨識(shí)追蹤對(duì)象者，并接著監(jiān)視攝像機(jī)終端IA繼續(xù)進(jìn)行該追蹤對(duì)象者的追蹤。監(jiān)視攝像機(jī)終端I針對(duì)相鄰的每個(gè)監(jiān)視攝像機(jī)終端I中，將與該監(jiān)視攝像機(jī)終端I之間交接追蹤對(duì)象者時(shí)的攝像部12的攝像視野(在搖攝方向的轉(zhuǎn)動(dòng)角度0、在傾斜方向的轉(zhuǎn)動(dòng)角度9以及攝像倍率Zoom)存儲(chǔ)到存儲(chǔ)部16。交接追蹤對(duì)象者時(shí)的攝像部12的攝像視野包括與進(jìn)行追蹤對(duì)象者的交接的對(duì)方側(cè)的監(jiān)視攝像機(jī)終端I之間的交接區(qū)域。并且，各監(jiān)視攝像機(jī)終端I針對(duì)相鄰的每個(gè)監(jiān)視攝像機(jī)終端1，將坐標(biāo)變換信息存儲(chǔ)到存儲(chǔ)部16中，該坐標(biāo)變換信息表示本終端的攝像部12拍攝到交接區(qū)域的幀圖像的二維坐標(biāo)系與相鄰的對(duì)方側(cè)監(jiān)視攝像機(jī)終端I的攝像部12拍攝到交接區(qū)域的幀圖像的二維坐標(biāo)系之間的相對(duì)位置關(guān)系。該坐標(biāo)變換信息是將本終端的攝像部12以交接追蹤對(duì)象者時(shí)的攝像視野拍攝到的幀圖像的二維坐標(biāo)系和相鄰的對(duì)方側(cè)監(jiān)視攝像機(jī)終端I的攝像部12以交接追蹤對(duì)象者時(shí)的攝像視野拍攝到的幀圖像的二維坐標(biāo)系投影變換為共同的坐標(biāo)系的信息。在此，作為坐標(biāo)變換信息，在存儲(chǔ)部16中存儲(chǔ)了下面所示的第I坐標(biāo)變換參數(shù)和第2坐標(biāo)變換參數(shù)。第I坐標(biāo)變換參數(shù)是將本終端的攝像部12以交接追蹤對(duì)象者時(shí)的攝像視野拍攝到的幀圖像的二維坐標(biāo)系投影變換為相鄰的對(duì)方側(cè)監(jiān)視攝像機(jī)終端I的攝像部12以交接追蹤對(duì)象者時(shí)的攝像視野拍攝到的幀圖像的二維坐標(biāo)系的參數(shù)。第2坐標(biāo)變換參數(shù)是將相鄰的對(duì)方側(cè)監(jiān)視攝像機(jī)終端I的攝像部12以交接追蹤對(duì)象者時(shí)的攝像視野拍攝到的幀圖像的二維坐標(biāo)系投影變換為本終端的攝像部12以交接追蹤對(duì)象者時(shí)的攝像視野拍攝到的幀圖像的二維坐標(biāo)系的參數(shù)。另外，坐標(biāo)變換信息可以僅僅是第I坐標(biāo)變換參數(shù)或者第2坐標(biāo)變換參數(shù)中的任 一個(gè)。在此，對(duì)第I坐標(biāo)變換參數(shù)以及第2坐標(biāo)變換參數(shù)進(jìn)行說(shuō)明。該第I坐標(biāo)變換參數(shù)以及第2坐標(biāo)變換參數(shù)是在監(jiān)視攝像機(jī)終端I的設(shè)置時(shí)利用實(shí)際拍攝的幀圖像計(jì)算出的值。首先，在監(jiān)視攝像機(jī)終端I的設(shè)置完成時(shí)，用膠帶(tape)等在與相鄰的對(duì)方側(cè)監(jiān)視攝像機(jī)終端I之間的交接區(qū)域內(nèi)的地面標(biāo)記四個(gè)點(diǎn)。并且，對(duì)本終端的攝像部12以交接追蹤對(duì)象者時(shí)的攝像視野拍攝到的幀圖像進(jìn)行處理，檢測(cè)該幀圖像上標(biāo)記的四個(gè)點(diǎn)的坐標(biāo)位置(x，y)。同樣地，從該對(duì)方側(cè)終端取得相鄰的對(duì)方側(cè)監(jiān)視攝像機(jī)終端I的攝像部12以交接追蹤對(duì)象者時(shí)的攝像視野拍攝到的幀圖像上所標(biāo)記的四個(gè)點(diǎn)的坐標(biāo)位置(X，Y)。并且，針對(duì)每個(gè)標(biāo)記的點(diǎn)，將其坐標(biāo)位置代入X=(alx+bly+cl)/(a0x+b0y+l)Y= (a2x+b2y+c2)/(a0x+b0y+l)得到8元聯(lián)立方程式。作為該8元聯(lián)立方程式的解的a0、b0、al、bl、cl、a2、b2、c2這8個(gè)讀數(shù)是與該相鄰的對(duì)方側(cè)監(jiān)視攝像機(jī)終端I之間的第I坐標(biāo)變換參數(shù)。監(jiān)視攝像機(jī)終端I將該第I坐標(biāo)變換參數(shù)存儲(chǔ)到存儲(chǔ)部16。同樣地，針對(duì)每個(gè)標(biāo)記的點(diǎn)，將其坐標(biāo)位置代入X=(A1X+B1Y+C1)/(A0X+B0Y+1)y=(A2X+B2Y+C2)/(A0X+B0Y+1)得到8元聯(lián)立方程式。作為該8元聯(lián)立方程式的解的40、80、八1、81、(1、42、82、C2這8個(gè)讀數(shù)是與該相鄰的對(duì)方側(cè)監(jiān)視攝像機(jī)終端I之間的第2坐標(biāo)變換參數(shù)。監(jiān)視攝像機(jī)終端I將該第2坐標(biāo)變換參數(shù)存儲(chǔ)到存儲(chǔ)部16。關(guān)于位于交接區(qū)域內(nèi)的人物的辨識(shí)，針對(duì)在本終端所拍攝的幀圖像的交接區(qū)域中被攝像的每個(gè)人物，取得幀圖像上的坐標(biāo)位置。并且，對(duì)于在對(duì)方側(cè)終端所拍攝的幀圖像的交接區(qū)域中被攝像的每個(gè)人物，從對(duì)方側(cè)終端取得幀圖像上的坐標(biāo)位置。并且，將由本終端攝像的位于交接區(qū)域的人物和由對(duì)方側(cè)終端攝像的位于交接區(qū)域的人物一一對(duì)應(yīng)起來(lái)作成組合模式(pattern)。在此，關(guān)于所作成的組合模式數(shù)量，例如，如果位于交接區(qū)域內(nèi)的人物為2人，則組合模式數(shù)為2個(gè)，如果位于交接區(qū)域內(nèi)的人物為3人，則組合模式數(shù)為6個(gè)。并且，監(jiān)視攝像機(jī)終端I對(duì)于本終端所拍攝的位于交接區(qū)域的每個(gè)人物，利用第I坐標(biāo)變換參數(shù)，將該人物的坐標(biāo)位置變換為對(duì)方側(cè)終端的坐標(biāo)系。監(jiān)視攝像機(jī)終端I對(duì)于每個(gè)人物的組合模式算出第I距離能量，該第I距離能量是對(duì)方側(cè)終端的坐標(biāo)系中對(duì)應(yīng)人物之間的距離總和。并且，監(jiān)視攝像機(jī)終端I對(duì)于對(duì)方側(cè)終端所拍攝的位于交接區(qū)域的每個(gè)人物，利用第2坐標(biāo)變換參數(shù)，將該人物的坐標(biāo)位置變換為本終端的坐標(biāo)系。監(jiān)視攝像機(jī)終端I對(duì)于每個(gè)人物的組合模式，算出第2距離能量，該第2距離能量是本終端的坐標(biāo)系中對(duì)應(yīng)人物之間的距離的總和。并且，監(jiān)視攝像機(jī)終端I將位于交接區(qū)域的人物的組合中第I距離能量與第2距離能量之和最小的組合模式判斷為位于交接區(qū)域內(nèi)的人物的合適的對(duì)應(yīng)。因此，如果追蹤對(duì)象者位于交接區(qū)域，則能夠?qū)υ撟粉檶?duì)象者進(jìn)行辨識(shí)。接著，對(duì)監(jiān)視攝像機(jī)終端I的動(dòng)作進(jìn)行說(shuō)明。圖5是示出該監(jiān)視攝像機(jī)終端I的動(dòng)作的流程圖。監(jiān)視攝像機(jī)終端I開始進(jìn)行搜索監(jiān)視對(duì)象區(qū)域內(nèi)的追蹤對(duì)象者的搜索處理
(SI)。監(jiān)視攝像機(jī)終端I在此時(shí)不進(jìn)行追蹤對(duì)象者的追蹤(不進(jìn)行后述的追蹤處理)。監(jiān) 視攝像機(jī)終端I等待是否在監(jiān)視對(duì)象區(qū)域內(nèi)搜索到追蹤對(duì)象者(S2)、是否存在來(lái)自相鄰的監(jiān)視攝像機(jī)終端I的追蹤對(duì)象者的交接請(qǐng)求(S3)。在SI開始的搜索處理每隔一定時(shí)間(數(shù)秒鐘)使攝像部12的攝像視野變化。具體地，攝像視野控制部14每隔一定時(shí)間，根據(jù)預(yù)定的條件，向驅(qū)動(dòng)機(jī)構(gòu)部13指示安裝有攝像部12的方向轉(zhuǎn)臺(tái)在搖攝方向的轉(zhuǎn)動(dòng)角度0以及在傾斜方向的轉(zhuǎn)動(dòng)角度關(guān)于該條件，例如，將攝像部12的攝像視野設(shè)定為掃描整個(gè)監(jiān)視對(duì)象區(qū)域。并且，攝像倍率為預(yù)定的攝
像倍率。圖像處理部15對(duì)攝像部12拍攝的幀圖像進(jìn)行處理，提取出被攝像的人物，并對(duì)提取出的人物賦予ID。此時(shí)，圖像處理部15對(duì)于已經(jīng)賦予了 ID的人物不再賦予ID。并且，圖像處理部15對(duì)于提取出的每個(gè)人物制作將ID與監(jiān)視對(duì)象區(qū)域中的位置對(duì)應(yīng)關(guān)聯(lián)起來(lái)的對(duì)象映射圖。該對(duì)象映射圖被賦予了在制作時(shí)計(jì)時(shí)器17所計(jì)測(cè)的時(shí)刻作為時(shí)間戳。圖像處理部15根據(jù)在時(shí)間上連續(xù)的對(duì)象映射圖，對(duì)于賦予了 ID的每個(gè)人物，分析其行動(dòng)。并且，如果有其行動(dòng)異常的人物，將該人物檢測(cè)為追蹤對(duì)象者。并且，預(yù)先登記要注意人物的臉部圖像，通過(guò)與攝像部12所拍攝的人物的臉部圖像進(jìn)行核對(duì)，當(dāng)檢測(cè)到了要注意人物時(shí)，將該要注意人物檢測(cè)為追蹤對(duì)象者。當(dāng)搜索到追蹤對(duì)象者時(shí)，監(jiān)視攝像機(jī)終端I開始進(jìn)行追蹤處理(S4)。圖6是示出該追蹤處理的流程圖。圖像處理部15取入攝像部12拍攝的幀圖像(S11)，對(duì)該幀圖像進(jìn)行處理，并算出以追蹤對(duì)象者作為攝像部12的中心的攝像視野(方向轉(zhuǎn)臺(tái)在搖攝方向的轉(zhuǎn)動(dòng)角度9以及在傾斜方向的轉(zhuǎn)動(dòng)角度9 ) (S12)。此時(shí)，攝像部12的攝像倍率Zoom為預(yù)定的攝像倍率。監(jiān)視攝像機(jī)終端I使攝像部12的攝像視野與在S12中算出的攝像視野一致(S13)。即，使方向轉(zhuǎn)臺(tái)在搖攝方向的轉(zhuǎn)動(dòng)角度0以及在傾斜方向的轉(zhuǎn)動(dòng)角度9與在S12中算出的角度一致。具體地，圖像處理部15將在此算出的方向轉(zhuǎn)臺(tái)的搖攝方向的轉(zhuǎn)動(dòng)角度0和傾斜方向的轉(zhuǎn)動(dòng)角度9通知給攝像視野控制部14。攝像視野控制部14根據(jù)該通知，通過(guò)驅(qū)動(dòng)機(jī)構(gòu)部13變更方向轉(zhuǎn)臺(tái)在搖攝方向的轉(zhuǎn)動(dòng)角度0和在傾斜方向的轉(zhuǎn)動(dòng)角度監(jiān)視攝像機(jī)終端I判斷追蹤對(duì)象者是否移動(dòng)到與相鄰的其它監(jiān)視攝像機(jī)終端I之間的交接區(qū)域周邊(S14)。當(dāng)監(jiān)視攝像機(jī)終端I判斷為追蹤對(duì)象者沒有移動(dòng)到與相鄰的其它監(jiān)視攝像機(jī)終端I之間的交接區(qū)域周邊時(shí)，返回到Sll反復(fù)進(jìn)行上述處理。監(jiān)視攝像機(jī)終端I反復(fù)進(jìn)行Sll S14所示的處理，如圖7所示，能夠?qū)⒆粉檶?duì)象者X捕捉到攝像部12的攝像視野的大致中心位置并追蹤該追蹤對(duì)象者X。并且，圖像處理部15在該追蹤處理中，還針對(duì)追蹤對(duì)象者制作將ID與監(jiān)視對(duì)象區(qū)域中的位置對(duì)應(yīng)起來(lái)的對(duì)象映射圖。因此，通過(guò)使用該對(duì)象映射圖，能夠獲得關(guān)于追蹤對(duì)象者的移動(dòng)方向、移動(dòng)速度的移動(dòng)矢量。當(dāng)判斷為追蹤對(duì)象者移動(dòng)到與相鄰的其它監(jiān)視攝像機(jī)終端I之間的交接區(qū)域周邊時(shí)，監(jiān)視攝像機(jī)終端I對(duì)于該相鄰的其它 監(jiān)視攝像機(jī)終端I發(fā)出追蹤對(duì)象者的交接請(qǐng)求(S15)。在S14中，例如，根據(jù)與相鄰的其它監(jiān)視攝像機(jī)終端I之間交接追蹤對(duì)象者時(shí)的攝像部12的攝像視野、以及當(dāng)前時(shí)刻的攝像視野，判斷追蹤對(duì)象者是否移動(dòng)到與相鄰的其它監(jiān)視攝像機(jī)終端I之間的交接區(qū)域周邊。具體地，當(dāng)與相鄰的其它監(jiān)視攝像機(jī)終端I之間交接追蹤對(duì)象者時(shí)的攝像部12的攝像視野是方向轉(zhuǎn)臺(tái)的搖攝方向的轉(zhuǎn)動(dòng)角度(0 I)、以及傾斜方向的轉(zhuǎn)動(dòng)角度(91)、攝像倍率(zl)，而且當(dāng)前攝像部12的攝像視野是方向轉(zhuǎn)臺(tái)的搖攝方向的轉(zhuǎn)動(dòng)角度(9 t)、以及傾斜方向的轉(zhuǎn)動(dòng)角度(qrt)、攝像倍率(zt)的情況下，在滿足以下兩個(gè)條件時(shí)，判斷為追蹤對(duì)象者移動(dòng)到與相鄰的其它監(jiān)視攝像機(jī)終端I之間的交接區(qū)域周邊。(a) : 9*-V = Cpt^(PI+V (V是攝像倍率為zl時(shí)的垂直視場(chǎng)角)(b) : 0 I-H ^ 0 t ^ 0 l+H/2 (H是攝像倍率為zl時(shí)的水平視場(chǎng)角)此外，也可以是，在交接區(qū)域的周邊，在該交接區(qū)域的外側(cè)預(yù)先將適當(dāng)?shù)臉?biāo)記印制到地面，在圖像處理部15中，在對(duì)攝像部12的攝像圖像進(jìn)行處理時(shí)，如果檢測(cè)到該標(biāo)記，則判斷為追蹤對(duì)象者移動(dòng)到與相鄰的其它監(jiān)視攝像機(jī)終端I之間的交接區(qū)域周邊。此外，還可以用交接區(qū)域的周邊的設(shè)于該交接區(qū)域的外側(cè)的構(gòu)造物等來(lái)代替上述標(biāo)記。進(jìn)一步，也可以基于監(jiān)視對(duì)象區(qū)域中的正在追蹤的追蹤對(duì)象者的位置來(lái)進(jìn)行判斷。當(dāng)在S15中發(fā)出追蹤對(duì)象者的交接請(qǐng)求時(shí),監(jiān)視攝像機(jī)終端I將攝像倍率Zoom變更為上述zl (交接時(shí)的攝像倍率)(S16)。圖像處理部15取入攝像部12拍攝的幀圖像而進(jìn)行處理(S17)，判斷將攝像部12的攝像視野設(shè)為交接時(shí)的攝像視野時(shí)追蹤對(duì)象者是否處于中貞外(frame out) (S18)。當(dāng)在S18中判斷為追蹤對(duì)象者處于巾貞外時(shí),監(jiān)視攝像機(jī)終端I算出容納該追蹤對(duì)象者的攝像視野(方向轉(zhuǎn)臺(tái)在搖攝方向的轉(zhuǎn)動(dòng)角度(e)以及在傾斜方向的轉(zhuǎn)動(dòng)角度在si9中，關(guān)于攝像視野，可以算出以追蹤對(duì)象者為中心的攝像視野，但優(yōu)選為，算出與追蹤對(duì)象者偏離中心并進(jìn)行交接時(shí)的攝像視野靠近的攝像視野。監(jiān)視攝像機(jī)終端I使攝像部12的攝像視野和在S19中算出的攝像視野一致(S20)，并返回到S17。當(dāng)在S18中判斷為追S示對(duì)象者不處于巾貞外時(shí)，監(jiān)視攝像機(jī)終端I將攝像部12的攝像視野設(shè)定為存儲(chǔ)部16中存儲(chǔ)的交接時(shí)的攝像視野(S21)。監(jiān)視攝像機(jī)終端I使攝像部12的攝像視野與交接時(shí)的攝像視野一致(S22 )。這樣，當(dāng)追蹤對(duì)象者不位于與相鄰的其它監(jiān)視攝像機(jī)終端I之間的交接區(qū)域周邊時(shí)，監(jiān)視攝像機(jī)終端I以該追蹤對(duì)象者為基準(zhǔn)(以使追蹤對(duì)象者成為攝像視野的中心)而使攝像部12的攝像視野變化。另一方面，當(dāng)追蹤對(duì)象者位于與相鄰的其它監(jiān)視攝像機(jī)終端I之間的交接區(qū)域周邊時(shí)，以交接時(shí)的攝像視野為基準(zhǔn)，使攝像部12的攝像視野變化。因此，當(dāng)追蹤對(duì)象者進(jìn)入到交接領(lǐng)域時(shí)，攝像部12的攝像視野成為交接時(shí)的攝像視野。接收了在上述的S15中進(jìn)行的追蹤對(duì)象者的交接請(qǐng)求的相鄰的監(jiān)視攝像機(jī)終端I開始進(jìn)行承接處理(S5)。該相鄰的監(jiān)視攝像機(jī)終端I承接繼續(xù)進(jìn)行追蹤對(duì)象者的追蹤。下面，將承接繼續(xù)進(jìn)行該追蹤對(duì)象者的追蹤的另一監(jiān)視攝像機(jī)終端I稱為承接側(cè)監(jiān)視攝像機(jī)終端I。將在S15中發(fā)送了追蹤對(duì)象者的交接請(qǐng)求一側(cè)的監(jiān)視攝像機(jī)終端I稱為交接側(cè)監(jiān)視攝像機(jī)終端I。圖8是示出由承接側(cè)監(jiān)視攝像機(jī)終端進(jìn)行的交接處理的流程圖。承接側(cè)監(jiān)視攝像機(jī)終端I使攝像部12的攝像視野和在與發(fā)送了本次接收的交接請(qǐng)求的相鄰的監(jiān)視攝像機(jī)終端I之間交接追蹤對(duì)象者時(shí)的攝像視野一致(S31)。即，當(dāng)承接側(cè)監(jiān)視攝像機(jī)終端I接收到交接請(qǐng)求時(shí)，在該時(shí)刻，使攝像部12的攝像視野和在與交接側(cè)監(jiān)視攝像機(jī)終端I之間交接追蹤對(duì)象者時(shí)的攝像視野一致。
承接側(cè)監(jiān)視攝像機(jī)終端I等待來(lái)自交接側(cè)監(jiān)視攝像機(jī)終端I的同步信號(hào)(S32)。當(dāng)在S22中和在與承接側(cè)監(jiān)視攝像機(jī)終端I之間交接追蹤對(duì)象者時(shí)的攝像視野一致時(shí)，交接側(cè)監(jiān)視攝像機(jī)終端I等待追蹤對(duì)象者進(jìn)入交接領(lǐng)域(S23)。當(dāng)追蹤對(duì)象者進(jìn)入到交接領(lǐng)域時(shí)，交接側(cè)監(jiān)視攝像機(jī)終端I向承接側(cè)監(jiān)視攝像機(jī)終端I發(fā)送同步信號(hào)(S24)。該同步信號(hào)可以是通知時(shí)刻的信號(hào)，也可以是單純的通知基準(zhǔn)定時(shí)的信號(hào)。交接追蹤對(duì)象者一側(cè)的監(jiān)視攝像機(jī)終端I以及承接繼續(xù)追蹤追逐對(duì)象者的監(jiān)視攝像機(jī)終端I在以同步信號(hào)為基準(zhǔn)的定時(shí)，取入攝像部12拍攝的幀圖像(S25，S33)。承接側(cè)監(jiān)視攝像機(jī)終端I與交接追逐對(duì)象者的一側(cè)的監(jiān)視攝像機(jī)終端I之間，基于拍攝了交接區(qū)域的攝像圖像，辨識(shí)被攝像的追蹤對(duì)象者(S26，S34)。該追蹤對(duì)象者的辨識(shí)通過(guò)利用上述第I距離能源及第2距離能源的方法進(jìn)行即可。承接側(cè)監(jiān)視攝像機(jī)終端I結(jié)束該承接處理而開始上述S4中的追蹤處理。并且，交接側(cè)監(jiān)視攝像機(jī)終端I結(jié)束S4中的追蹤處理，返回至SI。這樣，當(dāng)追蹤對(duì)象者進(jìn)入交接區(qū)域時(shí)，交接側(cè)監(jiān)視攝像機(jī)終端I以及承接側(cè)監(jiān)視攝像機(jī)終端I的攝像部12的攝像視野成為預(yù)定的交接時(shí)的攝像視野。即，不產(chǎn)生從追蹤對(duì)象者進(jìn)入交接區(qū)域開始直到這些監(jiān)視攝像機(jī)終端I將攝像視野變?yōu)榻唤幼粉檶?duì)象者時(shí)的攝像視野為止所需的時(shí)間。因此，在與另一監(jiān)視攝像機(jī)終端I之間交接正在追蹤的追蹤對(duì)象者時(shí)，能夠抑制該追蹤對(duì)象的迷失。標(biāo)號(hào)說(shuō)明I (1A 1H)…監(jiān)視攝像機(jī)終端11…控制部12…攝像部13…驅(qū)動(dòng)機(jī)構(gòu)部14…攝像視野控制部I5…圖像處理部16…存儲(chǔ)部17…計(jì)時(shí)器18…通信部
權(quán)利要求
1.一種監(jiān)視攝像機(jī)終端，其具備 攝像單元，其輸出在攝像視野內(nèi)拍攝的幀圖像； 攝像視野控制單元，其使所述攝像單元的攝像視野在監(jiān)視對(duì)象區(qū)域內(nèi)變化； 追蹤對(duì)象提取單元，其對(duì)所述攝像單元拍攝的幀圖像進(jìn)行處理，并提取出所拍攝的追蹤對(duì)象；以及 追蹤單元，其基于所述追蹤對(duì)象提取單元提取出的追蹤對(duì)象在幀圖像上的位置以及所述攝像單元的攝像視野，檢測(cè)所述監(jiān)視對(duì)象區(qū)域內(nèi)的追蹤對(duì)象的位置，并追蹤該追蹤對(duì)象， 所述攝像視野控制單元根據(jù)所述追蹤單元所追蹤的追蹤對(duì)象在所述監(jiān)視對(duì)象區(qū)域內(nèi)的位置，使所述攝像單元的攝像視野變化， 其中，所述監(jiān)視攝像機(jī)終端包括· 攝像視野存儲(chǔ)單元，其按照進(jìn)行追蹤對(duì)象的交接的各個(gè)其它監(jiān)視攝像機(jī)終端，存儲(chǔ)交接追蹤對(duì)象時(shí)的攝像視野；以及 檢測(cè)單元，其檢測(cè)所述追蹤單元所追蹤的追蹤對(duì)象是否移動(dòng)到與其它監(jiān)視攝像機(jī)終端之間交接追蹤對(duì)象的交接區(qū)域周邊， 當(dāng)通過(guò)所述檢測(cè)單元檢測(cè)到所述追蹤單元所追蹤的追蹤對(duì)象移動(dòng)到與其它監(jiān)視攝像機(jī)終端之間的交接區(qū)域周邊時(shí)，所述攝像視野控制單元使所述攝像單元的攝像視野和所述攝像視野存儲(chǔ)單元中存儲(chǔ)的在與該其它監(jiān)視攝像機(jī)終端之間交接追蹤對(duì)象時(shí)的攝像視野—致。
2.根據(jù)權(quán)利要求I所述的監(jiān)視攝像機(jī)終端，其特征在于， 當(dāng)通過(guò)所述檢測(cè)單元檢測(cè)到所述追蹤單元所追蹤的追蹤對(duì)象移動(dòng)到與其它監(jiān)視攝像機(jī)終端之間的交接區(qū)域周邊時(shí)，所述攝像視野控制單元將該追蹤對(duì)象收至所述攝像單元的攝像視野內(nèi)，并且使所述攝像單元的攝像視野變化，使其與交接追蹤對(duì)象時(shí)的攝像視野一致。
3.根據(jù)權(quán)利要求I或2所述的監(jiān)視攝像機(jī)終端，其特征在于， 所述監(jiān)視攝像機(jī)終端還具備同步單元，該同步單元使得在與進(jìn)行追蹤對(duì)象的交接的其它監(jiān)視攝像機(jī)終端之間，所述攝像單兀中的攝像定時(shí)冋步。
4.根據(jù)權(quán)利要求I至3中任意一項(xiàng)所述的監(jiān)視攝像機(jī)終端，其特征在于， 所述監(jiān)視攝像機(jī)終端還具備交接請(qǐng)求通知單元，該交接請(qǐng)求通知單元在通過(guò)所述檢測(cè)單元檢測(cè)到所述追蹤單元所追蹤的追蹤對(duì)象移動(dòng)到與其它監(jiān)視攝像機(jī)終端之間的交接區(qū)域周邊時(shí)，對(duì)進(jìn)行該追蹤對(duì)象的交接的其它監(jiān)視攝像機(jī)終端發(fā)出交接請(qǐng)求。
5.根據(jù)權(quán)利要求4所述的監(jiān)視攝像機(jī)終端，其特征在于， 當(dāng)從其它監(jiān)視攝像機(jī)終端接收到所述交接請(qǐng)求時(shí)，所述攝像視野控制單元使所述攝像單元的攝像視野和所述攝像視野存儲(chǔ)單元中存儲(chǔ)的在與該其它監(jiān)視攝像機(jī)終端之間交接追蹤對(duì)象時(shí)的攝像視野一致。
全文摘要
本發(fā)明提供監(jiān)視攝像機(jī)終端(1)，該監(jiān)視攝像機(jī)終端在與其它監(jiān)視攝像機(jī)終端(1)之間交接正在追蹤的追蹤對(duì)象時(shí)，能夠抑制該追蹤對(duì)象迷失。當(dāng)追蹤對(duì)象者不位于與相鄰的其它監(jiān)視攝像機(jī)終端(1)之間的交接區(qū)域周邊時(shí)，監(jiān)視攝像機(jī)終端(1)以該追蹤對(duì)象者為基準(zhǔn)使攝像部(12)的攝像視野變化。另一方面，當(dāng)追蹤對(duì)象者位于與相鄰的其它監(jiān)視攝像機(jī)終端(1)之間的交接區(qū)域周邊時(shí)，以交接時(shí)的攝像視野為基準(zhǔn)使攝像部(12)的攝像視野變化。因此，當(dāng)追蹤對(duì)象者進(jìn)入到交接區(qū)域時(shí)，攝像部(12)的攝像視野成為交接時(shí)的攝像視野。
文檔編號(hào)G08B13/196GK102754436SQ20118000951
公開日2012年10月24日 申請(qǐng)日期2011年2月7日 優(yōu)先權(quán)日2010年3月15日
發(fā)明者上條俊介, 中野潤(rùn)一, 內(nèi)藤丈嗣, 湯淺慎也 申請(qǐng)人:國(guó)立大學(xué)法人東京大學(xué), 歐姆龍 株式會(huì)社