專利名稱：監(jiān)視系統(tǒng)及監(jiān)視方法
技術(shù)領(lǐng)域：
本發(fā)明涉及從利用監(jiān)視照相機(jī)拍攝到的群體影像中檢測(cè)包含穩(wěn)定/非穩(wěn)定在內(nèi) 的各種各樣的狀態(tài)的監(jiān)視系統(tǒng)及監(jiān)視方法。
背景技術(shù)：
在車站、機(jī)場(chǎng)、廣場(chǎng)、大廈等、非特定的多人聚集的公共場(chǎng)所內(nèi)，作為提早檢測(cè)犯罪 或危險(xiǎn)行為的方法，期望一種利用照相機(jī)監(jiān)視群眾并自動(dòng)檢測(cè)非穩(wěn)定狀態(tài)的技術(shù)。作為對(duì) 群眾的非穩(wěn)定狀態(tài)進(jìn)行檢測(cè)的現(xiàn)有技術(shù)以下所示。另外，作為例子在以人為對(duì)象的情況下， 作為群眾來說明。一般而言使用群體的詞匯。
專利文獻(xiàn)I為了檢測(cè)隨機(jī)的粒子運(yùn)動(dòng)中的、不同于穩(wěn)定的活動(dòng)而將觀察區(qū)域劃分 成小區(qū)域，將小區(qū)域內(nèi)的粒子數(shù)的時(shí)間變化比其他大的區(qū)域作為存在活動(dòng)與其他不同的粒 子的異常區(qū)域來檢測(cè)。涉及利用該技術(shù)而在群體中檢測(cè)進(jìn)行不同于其他人的運(yùn)動(dòng)的人類的 方法及程序。
專利文獻(xiàn)2根據(jù)影像數(shù)據(jù)來計(jì)算光流(optical f low),并根據(jù)流的大小(速度) 的平均、分散來探測(cè)擁擠狀態(tài)已經(jīng)局部地發(fā)生變化的狀況。
在先技術(shù)文獻(xiàn)
專利文獻(xiàn)
專利文獻(xiàn)1:W02006/080367號(hào)公報(bào)
專利文獻(xiàn)2 JP特開2006-99241號(hào)公報(bào)發(fā)明內(nèi)容
發(fā)明所要解決的技術(shù)問題
在專利文獻(xiàn)I所公開的某一現(xiàn)有技術(shù)中，由于前提是隨機(jī)的運(yùn)動(dòng)、或者向一個(gè)方 向的運(yùn)動(dòng)為穩(wěn)定的，故無法適用于各種各樣的方向的運(yùn)動(dòng)混合存在的群體的場(chǎng)景。再有，只 能用于檢測(cè)不同于其他的運(yùn)動(dòng)。
另一方面，專利文獻(xiàn)2所公開的某一現(xiàn)有技術(shù)，由于只觀察光流的大小，故無法探 測(cè)逆行等的與方向有關(guān)的異常。再有，由于僅判斷區(qū)域的流的大小的平均值、分散等統(tǒng)計(jì)量 在區(qū)域間的差異，故可檢測(cè)的可能性僅在于是否產(chǎn)生了異常，而無法檢測(cè)具體是產(chǎn)生了何 種內(nèi)容的狀態(tài)。
本發(fā)明是用于解決上述課題的發(fā)明，其目的在于提供一種可通用地從利用監(jiān)視照 相機(jī)拍攝到的群體影像中檢測(cè)包含穩(wěn)定/非穩(wěn)定在內(nèi)的各種各樣的狀態(tài)的監(jiān)視系統(tǒng)及監(jiān) 視方法。
用于解決問題的技術(shù)方案
為達(dá)成上述目的，本發(fā)明的監(jiān)視系統(tǒng)輸入對(duì)包括多個(gè)移動(dòng)體在內(nèi)的群體進(jìn)行了拍 攝的影像，并根據(jù)影像上的運(yùn)動(dòng)信息來檢測(cè)上述群體的非穩(wěn)定狀態(tài)，其特征在于，具備影 像輸入單元，其拍攝并輸入群體的影像；光流計(jì)算單元，其根據(jù)輸入的在不同時(shí)刻拍攝到的影像來計(jì)算光流；判定塊設(shè)定單元，其將影像上的監(jiān)視區(qū)域設(shè)定為進(jìn)行非穩(wěn)定判定的單位 的判定塊；光流屬性合計(jì)單元，其按每個(gè)判定塊對(duì)產(chǎn)生的光流的屬性進(jìn)行合計(jì)；穩(wěn)定度評(píng) 價(jià)指標(biāo)計(jì)算單元，其根據(jù)合計(jì)完的光流的屬性來計(jì)算用于評(píng)價(jià)判定塊的穩(wěn)定度的穩(wěn)定度評(píng) 價(jià)指標(biāo)的評(píng)價(jià)值；非穩(wěn)定狀態(tài)判定單元，其根據(jù)穩(wěn)定度評(píng)價(jià)指標(biāo)的評(píng)價(jià)值，判定判定塊的非 穩(wěn)定狀態(tài)；以及輸出單元，其向影像上輸出非穩(wěn)定狀態(tài)判定單元的判定結(jié)果。
在本發(fā)明的監(jiān)視系統(tǒng)中，其特征在于光流屬性合計(jì)單元對(duì)判定塊內(nèi)產(chǎn)生的光流 的方向的屬性進(jìn)行量化，并以按方向分類的分布進(jìn)行合計(jì)；穩(wěn)定度評(píng)價(jià)指標(biāo)計(jì)算單元根據(jù) 量化后的按方向分類的分布來求取流數(shù)多的高位2個(gè)方向，計(jì)算3種穩(wěn)定度評(píng)價(jià)指標(biāo)的評(píng) 價(jià)值，即表示流數(shù)向高位2個(gè)方向的集中度的方向集中度、高位2個(gè)方向所成的角度、表示 高位2個(gè)方向的流數(shù)的比例的逆行度；非穩(wěn)定狀態(tài)判定單元基于3種穩(wěn)定度評(píng)價(jià)指標(biāo)的評(píng) 價(jià)值，將與主流的流向相對(duì)的逆行判定為非穩(wěn)定狀態(tài)。對(duì)于其他方案而言，將在后面敘述。
發(fā)明效果
根據(jù)本發(fā)明，可從拍攝到的群體的影像中通用地檢測(cè)包含穩(wěn)定/非穩(wěn)定在內(nèi)的各 種各樣的狀態(tài)。


圖1是表示本發(fā)明的監(jiān)視系統(tǒng)的第一實(shí)施方式的構(gòu)成的框圖。
圖2是表示在圖像上重疊顯示了對(duì)光流進(jìn)行計(jì)算后的結(jié)果的例子的圖。
圖3是表示在圖像中設(shè)定了判定塊的例子的圖。
圖4是用于說明在計(jì)算按方向分類的分布之際的、光流的按方向分類的編碼方法 的圖。
圖5是表示對(duì)按方向符號(hào)分類的光流的產(chǎn)生數(shù)進(jìn)行合計(jì)后的結(jié)果的按方向分類 的分布的例子的圖，(a)、(b)、(c)是表示針對(duì)圖3所示的判定塊31、32、34的各區(qū)域而言， 對(duì)按方向符號(hào)分類的光流的產(chǎn)生數(shù)進(jìn)行合計(jì)后的結(jié)果的按方向分類的分布例子的圖。
圖6是表示高位2個(gè)峰值的求取方法的圖。
圖7是表示在輸入圖像中將由光流計(jì)算單元計(jì)算出的光流以按編碼后的方向分 類的方式用顏色區(qū)分開進(jìn)行顯示的例子的圖。
圖8是表示在輸入圖像上重疊顯示了由光流屬性合計(jì)單元合計(jì)后的結(jié)果的例子 的圖。
圖9是表示在輸入圖像上重疊顯示了由穩(wěn)定度評(píng)價(jià)指標(biāo)計(jì)算單元計(jì)算出的評(píng)價(jià) 指標(biāo)的值和由非穩(wěn)定狀態(tài)判定單元判定后的結(jié)果的例子的圖。
圖10是表示在由影像輸入單元輸入的影像上重疊描繪了由光流計(jì)算單元計(jì)算出 的光流的例子的圖。
圖11是表示利用光流屬性合計(jì)單元將光流計(jì)算單元計(jì)算出的光流以按速度分類 的分布進(jìn)行合計(jì)后的結(jié)果的直方圖的圖，(a)是表示圖10的判定塊101所示的區(qū)域的光流 的速度分布的直方圖的圖、(b)是圖表示10的判定塊IOf所示的區(qū)域的光流的速度分布的 直方圖的圖。
圖12是表示第三實(shí)施方式中向監(jiān)視器上輸出的畫面例的圖。
圖13是表示在不同的時(shí)刻由影像輸入單元輸入的影像上重疊描繪了由光流計(jì)算單元計(jì)算出的光流的例子的圖，(a)是表示在時(shí)刻t拍攝并被輸入的圖像的圖、(b)是表示在時(shí)刻t+n拍攝((a)的圖像的η幀后)并被輸入的圖像的圖。
圖14是用于說明第四實(shí)施方式中時(shí)間序列的流數(shù)的變化的圖。
圖15是表示輸入來自監(jiān)視照相機(jī)的影像之后執(zhí)行并輸出多個(gè)非穩(wěn)定判定的監(jiān)視系統(tǒng)MS的處理流程的圖。
圖16是表示圖15的后續(xù)處理的流程的圖，表示輸入來自監(jiān)視照相機(jī)的影像之后執(zhí)行并輸出多個(gè)非穩(wěn)定判定的監(jiān)視系統(tǒng)MS的處理流程的圖。
圖17是用于說明光流屬性種類保存單元和光流屬性合計(jì)結(jié)果保存單元的保存項(xiàng)目的圖，(a)是表示光流屬性種類保存單元15s的內(nèi)容的圖、(b)是表示光流屬性合計(jì)結(jié)果保存單元15t的保存項(xiàng)目的圖。
圖18是用于說明穩(wěn)定度評(píng)價(jià)指標(biāo)種類保存單元和穩(wěn)定度評(píng)價(jià)指標(biāo)值保存單元的保存項(xiàng)目的圖，(a)是表示穩(wěn)定度評(píng)價(jià)指標(biāo)種類保存單元15u的例子的圖、(b)是表示穩(wěn)定度評(píng)價(jià)指標(biāo)值保存單元15v的保存項(xiàng)目的例子的圖。
圖19是用于說明非穩(wěn)定判定種類保存單元和非穩(wěn)定判定結(jié)果保存單元的保存項(xiàng)目的圖，(a)是表示非穩(wěn)定判定種類保存單元15w的例子的圖、(b)是表示非穩(wěn)定判定結(jié)果保存單元15x的例子的圖。
圖20是表示多個(gè)非穩(wěn)定判定標(biāo)志為I的情況下的、判定結(jié)果的輸出方法的例子的圖。
具體實(shí)施方式
以下，參照附圖詳細(xì)地說明本發(fā)明的監(jiān)視系統(tǒng)的實(shí)施方式。
第一實(shí)施方式>>
圖1是表示本發(fā)明的監(jiān)視系統(tǒng)的第一實(shí)施方式的構(gòu)成的框圖。圖1所示的監(jiān)視系統(tǒng)MS具有影像輸入單元1、 光流計(jì)算單元2、判定塊設(shè)定單元3、光流屬性合計(jì)單元4、穩(wěn)定度評(píng)價(jià)指標(biāo)計(jì)算單元5、非穩(wěn)定狀態(tài)判定單元6、和輸出單元7。
另外，本實(shí)施方式中雖然監(jiān)視系統(tǒng)MS對(duì)包括多個(gè)移動(dòng)體在內(nèi)的群體進(jìn)行監(jiān)視，但移動(dòng)體并未限定于人，也可以是動(dòng)物、人乘坐的汽車等。
影像輸入單元I從上部俯瞰車站、機(jī)場(chǎng)、廣場(chǎng)、大廈等想要監(jiān)視的區(qū)域、或者從附近用照相機(jī)進(jìn)行拍攝，在模擬照相機(jī)的情況下在進(jìn)行A/D (模擬/數(shù)字)變換的基礎(chǔ)上取入圖像保存單元(未圖示)中。以時(shí)間序列連續(xù)地取入影像，若將當(dāng)前的時(shí)刻設(shè)為t，則按時(shí)刻t的圖像、時(shí)刻t-Ι的圖像、時(shí)刻t-2的圖像的順序在圖像保存單元中保存。
光流計(jì)算單元2是根據(jù)所輸入的圖像來計(jì)算光流的單元。光流是指在不同的時(shí)間拍攝到的2張圖像間進(jìn)行相同對(duì)象的對(duì)應(yīng)建立、并將其移動(dòng)量作為向量數(shù)據(jù)來表現(xiàn)。關(guān)于具體的計(jì)算方法，在CG-ARTS協(xié)會(huì)“數(shù)字圖像處理”p243-245等中有記載。本發(fā)明中，其目的在于通過對(duì)光流進(jìn)行計(jì)算來獲得群眾的運(yùn)動(dòng)的特征，因此也可以利用任意計(jì)算方法。
圖2是表示將對(duì)光流進(jìn)行計(jì)算后的結(jié)果重疊顯示于圖像上的例子的圖。畫面21 中，22、23、…、29、2a、…、2n為止的箭頭是光流。其中，符號(hào)中2L的L若寫成小寫文字，則容易分辨不清是英文還是數(shù)字，因此以大寫文字標(biāo)記。
圖2中，為了簡化說明雖然表示了按每個(gè)人物計(jì)算I件光流的例子，但光流也可以是按每I人進(jìn)行多次計(jì)算，在對(duì)角落等特征區(qū)域進(jìn)行檢測(cè)并追蹤的光流的計(jì)算方法中，并未限于每I人I件有時(shí)可計(jì)算多個(gè)光流。無論在哪種情形本發(fā)明都是有效的。另外，22 2n的各箭頭的朝向表示移動(dòng)方向。
返回到圖1，判定塊設(shè)定單元3是對(duì)判定所輸入的圖像中是否產(chǎn)生非穩(wěn)定狀態(tài)的塊區(qū)域預(yù)先進(jìn)行設(shè)定的單元。參照?qǐng)D3，對(duì)判定塊的區(qū)域的設(shè)定方法進(jìn)行說明。
圖3是表示在圖像中設(shè)定了判定塊的例子的圖。圖3所示的圖表示在圖2示出的圖像中設(shè)定了判定塊的例子。將畫面4分割而成的31、32、33、34所示的各區(qū)域即為判定塊 (以下也稱為塊。)。對(duì)這些塊中的光流的產(chǎn)生狀態(tài)進(jìn)行分析。塊的大小是基于想要檢測(cè)的非穩(wěn)定狀態(tài)的種類或分辨率等來設(shè)定的。再有，在圖3的例子中，雖然將塊的大小設(shè)定成相同的，但也可以根據(jù)所監(jiān)視的場(chǎng)景的屬性而任意地變更大小并進(jìn)行設(shè)定。該例中，人物屬于哪個(gè)塊是以人物腳下的位置為基準(zhǔn)的。將畫面上的視野變換為正在拍攝中的場(chǎng)景的實(shí)際坐標(biāo)系并在實(shí)際坐標(biāo)上劃分為表示相同面積的區(qū)域單位而進(jìn)行分塊的方法也是有效的?；蛘撸?dāng)然也可以將畫面整體作為大的塊來對(duì)待。
返回到圖1，光流屬性合計(jì)單元4是針對(duì)由光流計(jì)算單元2計(jì)算出的每個(gè)光流，按每個(gè)塊合計(jì)光流的產(chǎn)生數(shù)/光流的方向/光流的速度等屬性后作為特征量進(jìn)行計(jì)算的單元。實(shí)施方式I中，以檢測(cè)“逆 行”等、與主流向相對(duì)的不同流向存在的狀態(tài)的情況為例，表示作為屬性對(duì)光流的“方向”進(jìn)行合計(jì)的例子。對(duì)于其他屬性而言如其他實(shí)施方式所示。
圖3所示的是在影像上的某一幀中重疊顯示了該時(shí)間點(diǎn)產(chǎn)生的光流的例子。箭頭的方向表示每個(gè)光流的運(yùn)動(dòng)方向。圖3中，在由判定塊設(shè)定單元3設(shè)定的判定塊31 34 中各自包含22 2n的光流。
光流屬性合計(jì)單元4中，按方向分類的分布對(duì)塊內(nèi)產(chǎn)生的光流進(jìn)行合計(jì)。對(duì)于具備方向的信息的、按方向分類的編碼而言，公知非專利文獻(xiàn)I所公開的方法。該手法是將圖像亮度梯度編碼成稱為方向符號(hào)的數(shù)據(jù)的方法。
[非專利文獻(xiàn) 1]ULLAH Farhan、S. Kaneko and S.1garashi, ^Orientation code matching for robust object search，，，IEICE Trans, on Inf. &Sys. , Vol. E84-D, No. 8, pp.999-1006,2001.
圖4是用于說明對(duì)按方向分類的分布進(jìn)行計(jì)算之際的、光流的按方向分類的編碼方法的圖。利用圖4來說明對(duì)按方向分類的分布進(jìn)行計(jì)算之際的、光流的按方向分類的編碼方法。該例中，表示將光流的方向編碼成8方向的方法。圖中，方向41 48是作為進(jìn)行按方向分類的編碼之際的基準(zhǔn)的光流的方向。
由光流計(jì)算單元2計(jì)算的光流的方向若以任一個(gè)方向?yàn)榛鶞?zhǔn)，則可獲得O 360 度的連續(xù)值。以恒定的角度刻度，將其量化為整數(shù)值。圖4的例子中，將水平方向的右朝向方向41作為基準(zhǔn)(0° (O度))，以45°刻度對(duì)每個(gè)角度之間所包含的光流進(jìn)行量化。例如，將方向41作為基準(zhǔn)，角度為20°的光流就成為符號(hào)‘0’、100°的光流就成為符號(hào)‘2’。
如上所述，在根據(jù)角度將光流的方向編碼成整數(shù)的基礎(chǔ)上，按O 7的方向符號(hào)分類針對(duì)該塊所包含的光流來合計(jì)產(chǎn)生數(shù)。
圖5表示對(duì)按方向符號(hào)分類的光流的產(chǎn)生數(shù)進(jìn)行合計(jì)后的結(jié)果的按方向分類的分布的例子的圖。圖5(a)、圖5(b)、圖5(c)中表示，針對(duì)圖3所示的判定塊31、32、34的各區(qū)域，按方向符號(hào)分類對(duì)光流的產(chǎn)生數(shù)進(jìn)行合計(jì)后的結(jié)果的按方向分類的分布的例子。圖中，直方圖51 (參照?qǐng)D5(a))是圖3的判定塊31的按光流方向分類的分布的合計(jì)結(jié)果、直 方圖52(參照?qǐng)D5(b))是圖3的判定塊32的按光流方向分類的分布的合計(jì)結(jié)果、直方圖 53(參照?qǐng)D5(c))是圖3的判定塊34的按光流方向分類的分布的合計(jì)結(jié)果。
判定塊31中，由于所產(chǎn)生的22 26、2m這6個(gè)光流分散于多個(gè)方向，故圖表如直 方圖51所示。判定塊32中，由于27 29、2a、2b的光流雖然有少許的偏差，但朝向大體相 同的方向，故分布如直方圖52所示。再有，判定塊34中，2g、2h、21、2L、2n的光流朝向大體 相同的方向，而2j、2k的光流則朝向與其他5個(gè)流相反的方向，因此成為如直方圖53所示 的分布。
圖5中，根據(jù)按方向分類的分布可確認(rèn)在判定塊內(nèi)的光流(人的運(yùn)動(dòng))分散于多 個(gè)方向的判定塊31的情況下，如直方圖51那樣按方向分類的分布中看不到顯眼的峰值；再 有，在集中于一個(gè)方向的判定塊32的情況下，如直方圖52那樣存在大的峰值；還有，在相對(duì) 于主流的運(yùn)動(dòng)而存在逆行的判定塊34的情況下，如直方圖53那樣存在2個(gè)大的峰值，峰值 之間的角度接近180°等的特征。
如上所述，通過按每個(gè)判定塊對(duì)產(chǎn)生的光流的屬性進(jìn)行合計(jì)，從而可提取該塊內(nèi) 的人的流向的特征。另外，雖然示出了該例中將按方向分類的符號(hào)量化成8方向的例子，但 并不一定限于此，也可以是16方向等。根據(jù)想要檢測(cè)的非穩(wěn)定狀態(tài)的內(nèi)容來決定量化的詳細(xì)度。
再有，在上述實(shí)施方式中利用的是對(duì)I幀內(nèi)產(chǎn)生的光流的屬性進(jìn)行合計(jì)的例子， 但對(duì)在連續(xù)的數(shù)幀內(nèi)產(chǎn)生的光流的屬性進(jìn)行合計(jì)的單元也是有效的。在影像輸入單元I 中，在I秒內(nèi)取入30幀圖像的情況下，例如若對(duì)連續(xù)的10幀份的圖像中的光流的屬性進(jìn)行 合計(jì)，則可對(duì)O. 33秒內(nèi)產(chǎn)生的流向信息進(jìn)行合計(jì)。從除噪、數(shù)據(jù)的平滑化方面來看，對(duì)幾幀 的光流進(jìn)行合計(jì)的方法也是有效的。
返回到圖1，接著對(duì)穩(wěn)定度評(píng)價(jià)指標(biāo)計(jì)算單元5進(jìn)行說明。
穩(wěn)定度評(píng)價(jià)指標(biāo)計(jì)算單元5是根據(jù)由光流屬性合計(jì)單元4合計(jì)完的光流的屬性 (實(shí)施方式中按方向分類的分布)來計(jì)算對(duì)穩(wěn)定度進(jìn)行評(píng)價(jià)的指標(biāo)的單元。指標(biāo)是基于所 檢測(cè)的現(xiàn)象的內(nèi)容來設(shè)定的。本實(shí)施方式中，針對(duì)用于檢測(cè)“與主流的流向相對(duì)的逆行的產(chǎn) 生”的指標(biāo)進(jìn)行說明。
在圖3所示的群眾的影像的例子中，在判定塊34中光流2g、2h、21、2n、2L朝向畫 面左上方向，但光流2j、2k朝向畫面右下方向。對(duì)該塊的光流的方向?qū)傩赃M(jìn)行合計(jì)后的結(jié) 果是圖5所示的直方圖53。
相對(duì)于主流的流向，產(chǎn)生逆行的情況下的按方向分類的分布的特征在于
(a)在2個(gè)方向具有大的峰值；
(b) 2個(gè)方向的峰值所成的角為180°位。
由此可知根據(jù)按方向分類的分布，通過求取下述(I) (3)的3種評(píng)價(jià)值(方向 集中度、角度、逆行度)，從而可檢測(cè)逆行。
圖6是表示高位2個(gè)峰值的求取方法的圖。為了計(jì)算評(píng)價(jià)值，首先根據(jù)按方向分 類的分布來求取流數(shù)多的高位2個(gè)方向。如圖6所示，在按方向分類的分布中，流數(shù)最大值 是方向符號(hào)為4的位置，圖中用“peakl”表示。第二大值是方向符號(hào)為O的位置，圖中用 “peak2” 表不。SP，該例中 peakl = 4、peak2 = O。
再有,求取此時(shí)的最大值的流數(shù)h (peakl)、第二大值的流數(shù)h (peak2)。此時(shí),也可以僅求取相應(yīng)容器區(qū)的流數(shù)，但如果在方向的定義中容許少許的誤差，則也可以采取對(duì)相應(yīng)容器區(qū)兩側(cè)的容器區(qū)進(jìn)行合計(jì)等的方法。對(duì)峰值位置兩側(cè)的容器區(qū)進(jìn)行合計(jì)的情況下， 最大值的流數(shù)h (peakl)是圖6中61所示的寬度的流數(shù),第二大值的流數(shù)h (peak2)是圖6 中62和63相加后的區(qū)域。該例中h(peakl) =5、h(peak2) =2。其中，容器區(qū)指的是直方圖雖然具有某種有限可取的范圍的數(shù)值、但將該范圍分為適當(dāng)?shù)臄?shù)值的區(qū)域。
基于這些值來求取以下3種評(píng)價(jià)值。
(I)方向集中度塊整體的光流數(shù)之中、件數(shù)多的高位2個(gè)方向的光流數(shù)所占的比例。若流的方向分散于多個(gè)方向，則該指標(biāo)的值減小，若流的方向集中在2個(gè)方向以下，則該指標(biāo)的值變大。
樣，基于由光流屬性合計(jì)單元4合計(jì)出的屬 性對(duì)可用數(shù)值來表示想要檢測(cè)的現(xiàn)象的一個(gè)或多個(gè)指標(biāo)進(jìn)行計(jì)算的方法即為穩(wěn)定度評(píng)價(jià)指標(biāo)計(jì)算單元的處理。
返回到圖1，接著對(duì)非穩(wěn)定狀態(tài)判定單元6進(jìn)行說明。
非穩(wěn)定狀態(tài)判定單元6是基于由穩(wěn)定度評(píng)價(jià)指標(biāo)計(jì)算單元5計(jì)算出的評(píng)價(jià)指標(biāo)來判定該塊的狀態(tài)是穩(wěn)定還是非穩(wěn)定的單元。判定方法雖然是基于要檢測(cè)的非穩(wěn)定狀態(tài)的內(nèi)容來決定的，但在根據(jù)評(píng)價(jià)值的值來決定的情況下，采用通過與預(yù)先設(shè)定的閾值的比較進(jìn)行判定的方法。另一方面，在與周圍進(jìn)行比較而想要判定不同的現(xiàn)象的情況下，采用與同一畫面中的其他塊的評(píng)價(jià)值進(jìn)行比較的方法。再有，在想要觀察時(shí)間序列中的狀態(tài)變化的情況下，有與同一塊的過去的評(píng)價(jià)值進(jìn)行比較的方法等。
本實(shí)施方式中，以對(duì)“逆行”進(jìn)行檢測(cè)的情況為例。與由穩(wěn)定度評(píng)價(jià)指標(biāo)計(jì)算單元 5計(jì)算出的“方向集中度” “角度” “逆行度”的指標(biāo)各自的閾值進(jìn)行比較來判定逆行。
例如如下這樣設(shè)定與閾值的判定條件。
條件⑴方向集中度> thl
條件(ii)th2 <角度< th3[式I]
權(quán)利要求
1.一種監(jiān)視系統(tǒng)，其輸入對(duì)包括多個(gè)移動(dòng)體在內(nèi)的群體進(jìn)行拍攝而得到的影像，并根據(jù)影像上的運(yùn)動(dòng)信息來檢測(cè)上述群體的非穩(wěn)定狀態(tài)，該監(jiān)視系統(tǒng)的特征在于，具備影像輸入單元，其拍攝并輸入上述群體的影像；光流計(jì)算單元，其根據(jù)所輸入的在不同時(shí)刻拍攝到的影像來計(jì)算光流；判定塊設(shè)定單元，其將上述影像上的監(jiān)視區(qū)域設(shè)定為進(jìn)行非穩(wěn)定判定的單位的判定塊；光流屬性合計(jì)單元，其按每個(gè)上述判定塊對(duì)所產(chǎn)生的上述光流的屬性進(jìn)行合計(jì)；穩(wěn)定度評(píng)價(jià)指標(biāo)計(jì)算單元，其根據(jù)所合計(jì)后的光流的屬性，來計(jì)算用于對(duì)上述判定塊的穩(wěn)定度進(jìn)行評(píng)價(jià)的穩(wěn)定度評(píng)價(jià)指標(biāo)的評(píng)價(jià)值；非穩(wěn)定狀態(tài)判定單元，其根據(jù)上述穩(wěn)定度評(píng)價(jià)指標(biāo)的評(píng)價(jià)值，判定上述判定塊的上述非穩(wěn)定狀態(tài)；以及輸出單元，其將上述非穩(wěn)定狀態(tài)判定單元的判定結(jié)果輸出至上述影像上。
2.根據(jù)權(quán)利要求1所述的監(jiān)視系統(tǒng)，其特征在于，上述光流屬性合計(jì)單元對(duì)上述判定塊內(nèi)產(chǎn)生的上述光流的方向的屬性進(jìn)行量化，并以按方向分類的分布進(jìn)行合計(jì)。
3.根據(jù)權(quán)利要求2所述的監(jiān)視系統(tǒng)，其特征在于，上述穩(wěn)定度評(píng)價(jià)指標(biāo)計(jì)算單元根據(jù)所量化后的按方向分類的分布來求取流數(shù)多的高位2個(gè)方向，計(jì)算3種上述穩(wěn)定度評(píng)價(jià)指標(biāo)的評(píng)價(jià)值,即表示流數(shù)向上述高位2個(gè)方向的集中度的方向集中度、上述高位2個(gè)方向所成的角度、表示上述高位2個(gè)方向的流數(shù)的比例的逆行度，上述非穩(wěn)定狀態(tài)判定單元基于上述3種穩(wěn)定度評(píng)價(jià)指標(biāo)的評(píng)價(jià)值，將與主流的流向相對(duì)的逆行判定為上述非穩(wěn)定狀態(tài)。
4.根據(jù)權(quán)利要求2所述的監(jiān)視系統(tǒng)，其特征在于，上述輸出單元針對(duì)所量化后的按方向分類的分布，設(shè)定與各方向的分類對(duì)應(yīng)的顏色， 將各個(gè)上述光流以按方向分類的方式用顏色區(qū)分開后進(jìn)行描繪，并重疊顯示在上述影像上。
5.根據(jù)權(quán)利要求2所述的監(jiān)視系統(tǒng)，其特征在于，上述輸出單元將所量化后的按方向分類的分布重疊顯示在上述影像上的相應(yīng)的上述判定塊上。
6.根據(jù)權(quán)利要求1所述的監(jiān)視系統(tǒng)，其特征在于，上述光流屬性合計(jì)單元以速度分布對(duì)上述判定塊內(nèi)產(chǎn)生的上述光流的大小進(jìn)行合計(jì)。
7.根據(jù)權(quán)利要求6所述的監(jiān)視系統(tǒng)，其特征在于，作為上述穩(wěn)定度評(píng)價(jià)指標(biāo)的評(píng)價(jià)值，上述穩(wěn)定度評(píng)價(jià)指標(biāo)計(jì)算單元計(jì)算上述速度分布的平均值μ、上述速度分布的標(biāo)準(zhǔn)偏差σ、穩(wěn)定范圍的下限值μ _2 σ至穩(wěn)定范圍的上限值 μ +2 σ的范圍、或者穩(wěn)定范圍的下限值μ_3σ至穩(wěn)定范圍的上限值μ+3σ的范圍，在存在脫離上述范圍的上述光流的情況下，上述非穩(wěn)定狀態(tài)判定單元判定為該塊內(nèi)存在速度與其他不同的運(yùn)動(dòng)的速度異常、即上述非穩(wěn)定狀態(tài)。
8.根據(jù)權(quán)利要求6所述的監(jiān)視系統(tǒng)，其特征在于，上述光流屬性合計(jì)單元在將上述判定塊內(nèi)產(chǎn)生的上述光流的大小變換為世界坐標(biāo)上的距離之后，對(duì)速度分布進(jìn)行合計(jì)。
9.根據(jù)權(quán)利要求7所述的監(jiān)視系統(tǒng)，其特征在于，上述輸出單元以不同于其他的顏色來描繪速度的大小脫離上述穩(wěn)定范圍的上述光流， 并重疊到上述影像上進(jìn)行輸出。
10.根據(jù)權(quán)利要求1所述的監(jiān)視系統(tǒng)，其特征在于，上述光流屬性合計(jì)單元對(duì)上述判定塊內(nèi)產(chǎn)生的上述光流的流數(shù)進(jìn)行合計(jì)，上述非穩(wěn)定狀態(tài)判定單元在與上述判定塊內(nèi)的過去的恒定時(shí)間前的流數(shù)之差超過閾值的情況下判定為上述非穩(wěn)定狀態(tài)。
11.根據(jù)權(quán)利要求1所述的監(jiān)視系統(tǒng)，其特征在于，上述光流屬性合計(jì)單元對(duì)上述判定塊內(nèi)產(chǎn)生的上述光流的流數(shù)進(jìn)行合計(jì)，上述非穩(wěn)定狀態(tài)判定單元在作為對(duì)象的判定塊的流數(shù)與周圍的判定塊的流數(shù)之差超過閾值的情況下判定為上述非穩(wěn)定狀態(tài)。
12.根據(jù)權(quán)利要求1所述的監(jiān)視系統(tǒng)，其特征在于，上述輸出單元在由上述非穩(wěn)定狀態(tài)判定單元判定為上述非穩(wěn)定狀態(tài)的情況下，根據(jù)上述非穩(wěn)定狀態(tài)的種類以不同的顏色對(duì)產(chǎn)生了上述非穩(wěn)定狀態(tài)的上述判定塊以強(qiáng)調(diào)的方式進(jìn)行矩形顯示。
13.根據(jù)權(quán)利要求1所述的監(jiān)視系統(tǒng)，其特征在于，上述輸出單元將由上述穩(wěn)定度評(píng)價(jià)指標(biāo)計(jì)算單元計(jì)算出的評(píng)價(jià)值描繪到影像上的相應(yīng)塊上，在由上述非穩(wěn)定狀態(tài)判定單元判定為所計(jì)算出的評(píng)價(jià)值超過閾值的情況下，以不同的顏色進(jìn)行顯示。
14.根據(jù)權(quán)利要求2所述的監(jiān)視系統(tǒng)，其特征在于，上述穩(wěn)定度評(píng)價(jià)指標(biāo)計(jì)算單元根據(jù)上述按方向分類的分布來計(jì)算熵，上述非穩(wěn)定狀態(tài)判定單元將該熵大的區(qū)域判定為流向產(chǎn)生混亂的區(qū)域、即上述非穩(wěn)定狀態(tài)。
15.根據(jù)權(quán)利要求1所述的監(jiān)視系統(tǒng)，其特征在于，上述輸出單元將上述非穩(wěn)定狀態(tài)判定單元判定出的穩(wěn)定狀態(tài)或者上述非穩(wěn)定狀態(tài)描繪到上述影像上并向監(jiān)視器或者記錄單元輸出。
16.一種監(jiān)視方法，利用輸入對(duì)包括多個(gè)移動(dòng)體在內(nèi)的群體進(jìn)行拍攝而得到的影像并根據(jù)影像上的運(yùn)動(dòng)信息來檢測(cè)上述群體的非穩(wěn)定狀態(tài)的監(jiān)視系統(tǒng)，監(jiān)視上述群體的運(yùn)動(dòng)， 該監(jiān)視方法的特征在于，影像輸入單元拍攝并輸入上述群體的影像，光流計(jì)算單元根據(jù)所輸入的在不同時(shí)刻拍攝到的影像來計(jì)算光流，判定塊設(shè)定單元將上述影像上的監(jiān)視區(qū)域設(shè)定為進(jìn)行非穩(wěn)定判定的單位的判定塊， 光流屬性合計(jì)單元按每個(gè)上述判定塊對(duì)所產(chǎn)生的上述光流的屬性進(jìn)行合計(jì)，穩(wěn)定度評(píng)價(jià)指標(biāo)計(jì)算單元根據(jù)所合計(jì)后的光流的屬性，來計(jì)算用于對(duì)上述判定塊的穩(wěn)定度進(jìn)行評(píng)價(jià)的穩(wěn)定度評(píng)價(jià)指標(biāo)的評(píng)價(jià)值，非穩(wěn)定狀態(tài)判定單元根據(jù)上述穩(wěn)定度評(píng)價(jià)指標(biāo)的評(píng)價(jià)值來判定上述判定塊的上述非穩(wěn)定狀態(tài)，輸出單元將上述非穩(wěn)定狀態(tài)判定單元的判定結(jié)果向上述影像上輸出。
17.根據(jù)權(quán)利要求16所述的監(jiān)視方法，其特征在于，上述光流屬性合計(jì)單元對(duì)上述判定塊內(nèi)產(chǎn)生的上述光流的方向的屬性進(jìn)行量化，并以按方向分類的分布進(jìn)行合計(jì)，上述穩(wěn)定度評(píng)價(jià)指標(biāo)計(jì)算單元根據(jù)上述按方向分類的分布來求取流數(shù)多的高位2個(gè)方向，計(jì)算3種上述穩(wěn)定度評(píng)價(jià)指標(biāo)的評(píng)價(jià)值，即表示流數(shù)向上述高位2個(gè)方向的集中度的方向集中度、上述高位2個(gè)方向所成的角度、表示上述高位2個(gè)方向的流數(shù)的比例的逆行度，上述非穩(wěn)定狀態(tài)判定單元基于上述3種穩(wěn)定度評(píng)價(jià)指標(biāo)的評(píng)價(jià)值，將與主流的流向相對(duì)的逆行判定為上述非穩(wěn)定狀態(tài)，上述輸出單元將由上述穩(wěn)定度評(píng)價(jià)指標(biāo)計(jì)算單元計(jì)算出的上述3種穩(wěn)定度評(píng)價(jià)指標(biāo)的評(píng)價(jià)值描繪到上述影像上的相應(yīng)的判定塊上，在由上述非穩(wěn)定狀態(tài)判定單元判定為上述非穩(wěn)定狀態(tài)的情況下，對(duì)上述判定塊以強(qiáng)調(diào)的方式進(jìn)行矩形顯示。
全文摘要
本發(fā)明提供一種監(jiān)視系統(tǒng)及監(jiān)視方法。監(jiān)視系統(tǒng)(MS)具備拍攝并輸入群體的影像的影像輸入單元(1)；根據(jù)所輸入的影像來計(jì)算光流的光流計(jì)算單元(2)；將影像上的區(qū)域劃分為進(jìn)行非穩(wěn)定判定的單位的塊的判定塊設(shè)定單元(3)；對(duì)各判定塊內(nèi)產(chǎn)生的光流的屬性進(jìn)行合計(jì)的光流屬性合計(jì)單元(4)；根據(jù)合計(jì)完的光流的屬性來計(jì)算評(píng)價(jià)該判定塊的穩(wěn)定度的評(píng)價(jià)指標(biāo)的穩(wěn)定度評(píng)價(jià)指標(biāo)計(jì)算單元(5)；根據(jù)評(píng)價(jià)指標(biāo)的值來判定該判定塊的非穩(wěn)定狀態(tài)的非穩(wěn)定狀態(tài)判定單元(6)；以及將判定出的穩(wěn)定或者非穩(wěn)定狀態(tài)描繪在影像上并輸出到監(jiān)視器或者記錄單元的輸出單元(7)。由此，根據(jù)監(jiān)視照相機(jī)拍攝到的群體的影像可檢測(cè)包含穩(wěn)定/非穩(wěn)定在內(nèi)的各種各樣的狀態(tài)。
文檔編號(hào)H04N7/18GK103003844SQ201180034000
公開日2013年3月27日 申請(qǐng)日期2011年3月9日 優(yōu)先權(quán)日2010年7月12日
發(fā)明者堀田都, 三好雅則, 伊藤渡 申請(qǐng)人:株式會(huì)社日立國際電氣