本發(fā)明涉及一種信息處理裝置、信息處理方法以及存儲用于進(jìn)行信息處理方法的程序的存儲介質(zhì)。

背景技術(shù)：

傳統(tǒng)上，已知有通過從監(jiān)控視頻圖像的各個幀中檢索人物的面部來檢測迷途兒童(即，走失的兒童)和/或漏乘乘客(即，錯過火車等的乘客)的技術(shù)。日本特開2013-153304號公報公開了如下技術(shù)：從監(jiān)控視頻圖像的各個幀中檢測人物的面部，根據(jù)檢測到的面部計算圖像特征，將計算出的圖像特征與視頻圖像的幀相關(guān)聯(lián)地存儲在db(數(shù)據(jù)庫)中，并且通過例如使用迷途兒童的面部作為查詢來從db檢索迷途兒童的視頻圖像。此外，日本特開2014-215747號公報公開了如下技術(shù)：事先對要檢測的人物的面部進(jìn)行登記，然后從輸入視頻圖像中實時地檢測此人。

然而，在日本特開2013-153304號公報中公開的技術(shù)中，要對在發(fā)出查詢時的時間點已經(jīng)存儲并累積在db中的視頻圖像進(jìn)行檢索。然而，無法從相關(guān)時間點之后獲得的視頻圖像中檢索目標(biāo)人物(即，作為目標(biāo)的人物)。因此，該技術(shù)不能向用戶通知迷途兒童和/或漏乘乘客的當(dāng)前行蹤以確保他們的安全。此外，在日本特開2014-215747號公報公開的技術(shù)中，當(dāng)從發(fā)出查詢時的時間點之前的視頻圖像中追溯地檢索人物時，處理速度降低。因此，為了確保迷途兒童和/或失蹤乘客的安全，日本特開2014-215747號公報中的技術(shù)不足。

鑒于如上所述的這些問題完成了本發(fā)明，本發(fā)明的目的是在不降低處理速度的情況下從過去連續(xù)地檢索人物。

技術(shù)實現(xiàn)要素：

因此，根據(jù)本發(fā)明，提供一種信息處理裝置，其特征在于包括：接受單元，被構(gòu)造為接受對目標(biāo)人物的檢索指令；第一檢索單元，被構(gòu)造為基于從在檢索指令的接受時間點之前從攝像單元輸入的并存儲在存儲單元中的視頻圖像中提取的人物的特征、以及從與檢索指令相關(guān)的目標(biāo)人物中提取的特征，進(jìn)行從存儲在所述存儲單元中的視頻圖像中檢索目標(biāo)人物的第一檢索處理；以及第二檢索單元，被構(gòu)造為基于從在接受時間點之后從攝像單元輸入的視頻圖像中提取的人物的特征、以及從與檢索指令相關(guān)的查詢圖像中提取的目標(biāo)人物的特征，進(jìn)行從在接受時間點之后輸入的視頻圖像中檢索目標(biāo)人物的第二檢索處理，其中所述第一檢索單元對在如下時段期間輸入的視頻圖像進(jìn)行第一檢索處理：從接受時間點到當(dāng)完成由第二檢索單元進(jìn)行的第二檢索處理的準(zhǔn)備并且開始第二檢索處理時的時間。

通過下面參照附圖對示例性實施例的描述，本發(fā)明的其他特征將變得清楚。

附圖說明

圖1是用于描述根據(jù)第一實施例的監(jiān)視(監(jiān)控)系統(tǒng)的圖。

圖2是用于描述信息處理裝置的軟件構(gòu)造的圖。

圖3是用于描述視頻圖像記錄處理的流程圖。

圖4a和圖4b是第一檢索處理和第二檢索處理的說明圖。

圖5是用于描述檢索處理的流程圖。

圖6是用于描述根據(jù)第二實施例的檢索處理的流程圖。

圖7是用于描述根據(jù)第三實施例的檢索處理的流程圖。

圖8是用于描述根據(jù)第四實施例的檢索處理的流程圖。

圖9是用于描述根據(jù)第五實施例的檢索處理的流程圖。

圖10是用于描述根據(jù)第七實施例的居民檢索處理的流程圖。

圖11是用于描述根據(jù)第七實施例的檢索處理的流程圖。

具體實施方式

下文將參照附圖詳細(xì)描述本發(fā)明的優(yōu)選實施例。

(第一實施例)

圖1是用于描述根據(jù)第一實施例的監(jiān)視(監(jiān)控)系統(tǒng)的圖。監(jiān)視系統(tǒng)包括信息處理裝置100和用作攝像單元的照相機(jī)112，并且檢索被指定為查詢的人物。在圖1中，雖然人物檢測系統(tǒng)包括三個照相機(jī)112的情況是示例性的，但是照相機(jī)112的數(shù)量不限于在實施例中所描述的數(shù)量。信息處理裝置100和照相機(jī)112經(jīng)由網(wǎng)絡(luò)111彼此連接。

cpu101是控制整個信息處理裝置100的中央處理單元。rom102是其中存儲不需要進(jìn)行任何修改的程序和參數(shù)的只讀存儲器。ram103是在其中臨時地存儲從外部設(shè)備等供給的程序和數(shù)據(jù)的隨機(jī)存取存儲器。外部存儲設(shè)備104是諸如硬盤、存儲卡等固定地安裝在信息處理裝置100中的存儲設(shè)備。順便提及，外部存儲設(shè)備104可以包括諸如fd(軟盤)或cd(光盤)等能夠從信息處理裝置100分離的光盤、磁卡或光卡、ic(集成電路)卡、存儲卡等。在如下前提下實現(xiàn)稍后描述的信息處理裝置100的功能和處理：cpu101讀取在rom102或外部存儲設(shè)備104中存儲的程序，然后執(zhí)行讀取的程序。

輸入i/f(接口)105是與諸如指點設(shè)備、鍵盤等接收用戶的操作和輸入各種數(shù)據(jù)的輸入單元109的接口。輸出設(shè)備i/f106是與顯示供給的數(shù)據(jù)和由信息處理裝置100保持的數(shù)據(jù)的監(jiān)視器110的接口。通信i/f107連接到諸如互聯(lián)網(wǎng)等的網(wǎng)絡(luò)111。照相機(jī)112是諸如監(jiān)控照相機(jī)等的攝像和拍攝視頻圖像的攝像設(shè)備，并且經(jīng)由網(wǎng)絡(luò)111連接到信息處理裝置100。系統(tǒng)總線108是用于可通信地連接101至107的各個單元的發(fā)送路徑。

圖2是用于描述信息處理裝置100的軟件構(gòu)造的圖。信息處理裝置100使用從面部獲得的面部圖像特征作為圖像特征，并使用所獲得的面部圖像特征進(jìn)行圖像特征檢索。視頻圖像接受單元201接受由照相機(jī)112拍攝的視頻圖像以及從照相機(jī)112輸入到信息處理裝置100的視頻圖像。視頻圖像存儲單元202在其中存儲由視頻圖像接受單元201接受的視頻圖像。

跟蹤單元203在由視頻圖像接受單元201接受的視頻圖像中跟蹤人物。更具體地，跟蹤單元203根據(jù)運動向量檢測對象、估計下一幀中的檢索位置并通過模板匹配進(jìn)行人物跟蹤。關(guān)于人物跟蹤處理，可以參考以下文獻(xiàn)。

日本特開2002-373332號公報

跟蹤單元203發(fā)出針對跟蹤同一人物的蹤跡的相同的跟蹤id(識別)，并且發(fā)出針對跟蹤不同人物的蹤跡的不同的跟蹤id，從而保證唯一性并能夠根據(jù)跟蹤id識別同一人物。順便提及，一旦跟蹤中斷，即使對于同一人物，跟蹤單元203也發(fā)出不同的跟蹤id。

面部檢測單元204根據(jù)視頻圖像中的幀圖像等進(jìn)行面部檢測。例如，面部檢測單元204根據(jù)由跟蹤單元203跟蹤的人物的幀圖像中的各個進(jìn)行面部檢測。此外，面部檢測單元根據(jù)從視頻圖像接受單元201輸入的視頻圖像或者根據(jù)稍后描述的查詢圖像進(jìn)行面部檢測。面部檢測單元204關(guān)于要處理的圖像檢測單眼候選區(qū)域，對多個單眼候選區(qū)域進(jìn)行配對，并基于經(jīng)過配對的雙眼位置確定面部區(qū)域。順便提及，關(guān)于根據(jù)圖像檢測人物的面部的方法，可以參考以下文獻(xiàn)。

日本特開2010-165156號公報

代表確定單元205從被跟蹤的人物的幀圖像組選擇代表面部圖像。在下文中，應(yīng)當(dāng)注意，代表面部圖像被稱為代表圖像。例如，代表確定單元205從由面部檢測單元204檢測的面部圖像當(dāng)中選擇具有最大面部尺寸的圖像。使用面部尺寸的原因是存在圖像特征的精確度的問題。即，面部圖像越大，獲得的圖像特征的精確度越高。即，當(dāng)根據(jù)面部圖像計算圖像特征時，需要進(jìn)行將面部圖像尺寸改變?yōu)橐欢ǔ叽绲拿娌砍叽鐨w一化處理。在這種情況下，如果面部圖像大于一定尺寸，由于進(jìn)行縮小處理，信息的丟失相對小。然而，如果面部圖像小于一定尺寸，由于需要進(jìn)行例如超分辨率處理的像素插值，信息嚴(yán)重地惡化。

作為另一示例，代表確定單元205可以從幀圖像組中選擇多個圖像作為代表圖像。例如，存在選擇多個面部方向的圖像的方法。這是由于即使圖像對應(yīng)于同一人物，如果在這些圖像中的面部方向不同，則從圖像獲得的圖像特征不同。

代表確定單元205提取hog(方向梯度直方圖)作為特征，并且使用svr(支持向量回歸)來估計面部方向。hog是用圖像的輝度梯度信息的直方圖針對圖像的各局部區(qū)域獲得的特征，并且已知hog是對圖像的局部噪聲和亮度具有魯棒性的特征。通過選擇對與面部方向不相關(guān)的諸如噪聲改變和輝度改變等的改變具有魯棒性的特征，即使在現(xiàn)實環(huán)境中也能實現(xiàn)穩(wěn)定的面部方向估計。順便提及，關(guān)于從圖像檢測人物的面部方向的方法，可以參考以下文獻(xiàn)。

erikmurphy-chutorian,“headposeestimationfordriverassistancesystems:arobustalgorithmandexperimentalevaluation,”inproc.ieeeconf.intelligenttransportationsystems,2007,pp.709-714

此外，代替檢測人物的面部方向，代表確定單元205可以檢測人物的人體的方向。關(guān)于人體的方向的檢測，例如，可以使用以下文獻(xiàn)中描述的方法。

日本特開2011-186576號公報

作為另一示例，代表確定單元205還可以選擇具有較少圖像模糊的圖像作為代表圖像。用于拍攝靜止圖像的照相機(jī)也和用于攝影或拍攝運動圖像的照相機(jī)一樣，存在快門速度根據(jù)攝影/拍攝地點的亮度改變的情況。因此，存在有時候依據(jù)暗的地點或被攝體的運動速度出現(xiàn)面部圖像的模糊的情況，并且相關(guān)的模糊直接引起圖像特征和屬性信息的劣化。在估計模糊的情況下，代表確定單元205獲得面部圖像區(qū)域的頻率分量，獲得低頻分量與高頻分量之間的比例，并可以確定當(dāng)獲得的比例超過預(yù)定值時出現(xiàn)模糊。此外，代表確定單元205可以不選擇例如閉眼的面部圖像、張嘴的面部圖像等的面部圖像作為代表圖像。這是因為如果閉眼或張嘴等，則器官的圖像特征有可能改變。

特征計算單元206計算要處理的面部圖像的圖像特征。更具體地，特征計算單元206獲得人物面部圖像中的例如眼、嘴等的器官點，然后針對各個器官點計算sift(尺度不變特征變換)。順便提及，應(yīng)當(dāng)注意該特征僅僅是示例，并且要計算的特征類型不限于在本實施例中使用的特征類型。第一特征存儲單元207在其中存儲由特征計算單元206計算的關(guān)于由視頻圖像接受單元201接受的視頻圖像的圖像特征。第一特征存儲單元207還在其中存儲人物的id以及在跟蹤人物情況下的跟蹤id、拍攝(攝影)時間和拍攝照相機(jī)112的照相機(jī)id同時對它們進(jìn)行關(guān)聯(lián)，作為圖像特征的元數(shù)據(jù)。第一特征存儲單元207例如是外部存儲設(shè)備104。

查詢接受單元208接受查詢圖像的指定。這里，應(yīng)當(dāng)注意，查詢圖像是用作檢索關(guān)鍵的人物的面部圖像，并且作為檢索關(guān)鍵的人物被稱為目標(biāo)人物。例如，cpu101在監(jiān)視器110上顯示在外部存儲設(shè)備104中存儲的面部圖像。然后，在觀看監(jiān)視器110的同時，用戶經(jīng)由輸入單元109選擇要檢索的人物的面部圖像作為查詢圖像。響應(yīng)于該選擇，查詢接受單元208接受由用戶選擇的查詢圖像。應(yīng)當(dāng)注意，查詢圖像可以是單個圖像或者是兩個或更多個圖像。

第二特征存儲單元209在其中存儲由查詢接受單元208接受的查詢圖像(面部圖像)的圖像特征。這里，應(yīng)當(dāng)注意查詢圖像的圖像特征是針對目標(biāo)人物預(yù)定的基準(zhǔn)特征的示例。由特征計算單元206計算查詢圖像的圖像特征。第二特征存儲單元209例如是外部存儲設(shè)備104。查詢圖像的圖像特征通過cpu101存儲在第二特征存儲單元209中。即，這種將查詢圖像的圖像特征記錄在第二特征存儲單元209的處理是用于開始要由稍后描述的第二檢索單元212進(jìn)行的對輸入圖像的檢索處理的準(zhǔn)備處理。此外，當(dāng)接受稍后描述的指令以排除目標(biāo)時，cpu101從第二特征存儲單元209刪除圖像特征。

第一檢索單元211進(jìn)行第一檢索處理。這里，應(yīng)當(dāng)注意的是第一檢索處理是通過使用根據(jù)查詢圖像計算的圖像特征作為查詢，從針對第一檢索處理而設(shè)置的檢索范圍的視頻圖像中檢索目標(biāo)人物的處理。根據(jù)本實施例的第一檢索單元211將存儲在第一特征存儲單元207中的圖像特征設(shè)置為檢索范圍，并識別第一圖像存儲單元207中的具有高于預(yù)定閾值的相似度的圖像特征。在計算相似度時，計算各個器官點的sift特征的距離的總和，對距離的總和進(jìn)行歸一化，然后獲得相似度。

第二檢索單元212進(jìn)行第二檢索處理。這里，應(yīng)當(dāng)注意的是第二檢索處理是通過使用在第二特征存儲單元209中存儲的圖像特征(基準(zhǔn)特征)作為查詢，從針對第二檢索處理而設(shè)置的檢索范圍的視頻圖像中檢索目標(biāo)人物的處理。根據(jù)本實施例的第二檢索單元212在接受指定查詢圖像的檢索指令時的時間點之后，將根據(jù)由視頻圖像接受單元201接受的視頻圖像計算的圖像特征設(shè)置為檢索范圍。這里，檢索范圍不僅包括由視頻圖像接受單元201接受的視頻圖像還包括存儲在臨時存儲單元210中的視頻圖像。第二檢索單元212識別檢索范圍中的具有高于預(yù)定閾值的相似度的圖像特征。計算相似度的方法與關(guān)于第一檢索單元211描述的方法相同。

顯示處理單元213將第一檢索單元211的檢索結(jié)果和第二檢索單元212的識別結(jié)果彼此整合，并在監(jiān)視器110上顯示整合結(jié)果。例如，顯示處理單元213針對各個照相機(jī)112對檢索結(jié)果進(jìn)行分類，并且以拍攝時間的順序在監(jiān)視器110上對它們進(jìn)行顯示。作為另一示例，顯示處理單元213映射顯示照相機(jī)112的安裝位置，并基于拍攝時間在監(jiān)視器110上顯示這些位置的運動歷史。要顯示的內(nèi)容不限于在本實施例中描述的這些內(nèi)容。

排除接受單元214接受表示不再需要檢索(例如通過確保迷途兒童或漏乘乘客的安全)的人物的信息，然后從第二特征存儲單元209刪除相關(guān)人物的圖像特征。在這種情況下，能夠在顯示處理單元213的用戶界面上指明迷途兒童或漏乘乘客已受到保護(hù)。此外，在檢索錯過飛機(jī)的乘客的情況下，也能夠檢測乘客通過了相關(guān)飛機(jī)的登機(jī)口，然后通過使用檢測結(jié)果作為觸發(fā)器從第二特征存儲單元209刪除該人物(相關(guān)乘客)的圖像特征。

圖3是用于描述要由信息處理裝置100進(jìn)行的視頻圖像記錄處理的流程圖。視頻圖像記錄處理是對由視頻圖像接受單元201接受的視頻圖像進(jìn)行累積(或記錄)使得累積的視頻圖像能夠被適當(dāng)?shù)貦z索的處理。在s301中，視頻圖像接受單元201接受視頻圖像。接下來，在s302中，cpu101將在s301中接受的視頻圖像記錄在視頻圖像存儲單元202中。此時，cpu101記錄拍攝時間和拍攝照相機(jī)112的照相機(jī)id同時對它們進(jìn)行關(guān)聯(lián)作為視頻圖像的元數(shù)據(jù)。該處理是將從照相機(jī)112輸入的視頻圖像記錄在存儲單元中的記錄處理的示例。

接下來，在s303中，跟蹤單元203從各個幀圖像檢測人物并進(jìn)行對被檢測人物的跟蹤。這里，將不同的人物id分配給各個幀圖像的被檢測人物，并且將分配的人物id與幀圖像中的人物的坐標(biāo)一起臨時地存儲。此外，將相同的跟蹤id分配給被跟蹤的人物，然后將分配的跟蹤id與進(jìn)行跟蹤的幀圖像的id一起臨時地存儲。在s304中，當(dāng)存在跟蹤被中斷的人物時(s304中為“是”)，跟蹤單元203是處理前進(jìn)到s305。另一方面，當(dāng)不存在跟蹤被中斷的人物時(s304中為“否”)，跟蹤單元203將處理返回到s301。

在s305中，面部檢測單元204從由跟蹤單元203跟蹤的人物的幀圖像中的各個進(jìn)行面部檢測。接下來，在s306中，代表確定單元205從被跟蹤的人物的幀圖像組中選擇一個或更多個代表面部圖像。接下來，在s307中，特征計算單元206根據(jù)在s306中選擇的一個或更多面部圖像計算面部圖像特征。

接下來，在s308中，cpu101將在s307計算的圖像特征記錄在第一特征存儲單元207中。此外，cpu101將人物id、在跟蹤人物的情況下的跟蹤id、拍攝時間和拍攝時間相關(guān)聯(lián)地記錄作為圖像特征的元數(shù)據(jù)。接下來，在s309中，cpu101確認(rèn)是否接受這種累積處理的結(jié)束指令。當(dāng)接受結(jié)束指令時(s309中為“是”)，cpu101結(jié)束該處理。另一方面，當(dāng)不接受結(jié)束指令時(s309中為“否”)，cpu101將處理返回到s301。通過以上處理，在第一特征存儲單元207中對從照相機(jī)112輸入的視頻圖像中拍攝的和捕捉的、人物的面部圖像的圖像特征進(jìn)行累積，并因此能夠進(jìn)行檢索。

接下來，將描述要由信息處理裝置100進(jìn)行的人物檢索處理。在進(jìn)行人物檢索處理的描述之前，將參照圖4a和圖4b描述要由第一檢索單元211進(jìn)行的第一檢索處理和要由第二檢索單元212進(jìn)行的第二檢索處理。即，圖4a和圖4b是第一檢索處理和第二檢索處理的說明圖。在第一檢索處理中，使用提取的圖像特征作為查詢進(jìn)行核對(或檢查)。為此，能夠使用任意人物作為查詢進(jìn)行檢索。另一方面，在第二檢索處理中，需要事先對查詢?nèi)宋锏膱D像特征進(jìn)行登記。

關(guān)于精確度，第二檢索處理在通過機(jī)器學(xué)習(xí)等的精確度方面具有優(yōu)點。關(guān)于速度，第一檢索處理關(guān)于登記的視頻圖像的檢索是快的。但是，將檢索結(jié)果反映到第一特征存儲單元207上要花費很長時間，使得從處理量(登記和檢索)的角度看速度是稍微次要的。另一方面，在第二檢索處理中，當(dāng)將要預(yù)先登記的人物的數(shù)量控制在一定數(shù)量時，能夠?qū)崟r地進(jìn)行認(rèn)證，使得處理量被認(rèn)為是高的。

因此，第一檢索處理的優(yōu)選用途是從大量過去的圖像中的累積視頻圖像檢索任意人物，第二檢索處理的優(yōu)選用途是實時認(rèn)證有限數(shù)量的特定人物。

因此，根據(jù)本實施例的信息處理裝置100接受指定查詢?nèi)宋镏噶?，對?dāng)人物檢索開始時的時間點之前(過去的)的視頻圖像進(jìn)行第一檢索處理，并進(jìn)行對相關(guān)時間點之后(未來的)的視頻圖像進(jìn)行第二檢索處理。因此，例如能夠適當(dāng)?shù)臋z索迷途兒童。

也對過去的視頻圖像進(jìn)行檢索的原因如下。即，由于可以想象目標(biāo)人物可能位于所有照相機(jī)112沒有拍攝的地方，所以目標(biāo)人物曾位于的過去的地方的信息也是重要的。此外，過去的視頻圖像對于估計目標(biāo)人物將要移動到的地方也是有用的。

然而，在僅將第一檢索處理與第二檢索處理結(jié)合的情況下會出現(xiàn)問題。圖4b是用于描述要有第一檢索處理和第二檢索處理檢索的檢索范圍(時間范圍)的圖。在第一檢索處理中，將記錄在第一特征存儲單元207中的視頻圖像設(shè)置為檢索范圍。為此，直到在接受查詢指定的接受時間點的視頻圖像能夠被檢索為止，出現(xiàn)了一個小的準(zhǔn)備時段(延遲)401。這里，準(zhǔn)備時段是從當(dāng)視頻圖像接受單元201接受檢索指令時的接受時間點，到當(dāng)由第二檢索單元212的檢索處理的準(zhǔn)備完成時的準(zhǔn)備完成時間點的時段。

此外，在第二檢索處理中，諸如對要從各個照相機(jī)112的視頻圖像檢索的圖像特征進(jìn)行設(shè)置和學(xué)習(xí)等的初始化處理花費時間，使得直到能夠進(jìn)行檢測處理為止出現(xiàn)了準(zhǔn)備時段(延遲)402。為此，出現(xiàn)了不可檢索時間段403，不可檢索時間段403是通過將準(zhǔn)備時段401和準(zhǔn)備時段402相加在一起而獲得的時間段。在例如監(jiān)視(監(jiān)控)系統(tǒng)的安全應(yīng)用中，理想的是縮短不可檢索時間段403。

圖5是用于描述要由信息處理裝置100進(jìn)行的檢索處理的流程圖。在s501中，查詢接受單元208接受指定作為檢索查詢的人物的查詢圖像的檢索指令。在s501的處理之后，cpu101進(jìn)行三個線程的處理。第一線程是進(jìn)行第一檢索處理的線程，并且包括s502至s505的處理。第二線程是進(jìn)行第二檢索處理的線程，并且包括s511至s513的處理。第三線程是進(jìn)行整合和顯示檢索結(jié)果的處理的線程，并且包括s521和s522的處理。

在第一線程的s502中，第一檢索單元211進(jìn)行第一檢索處理以檢索目標(biāo)人物。在這種情況下的檢索范圍是存儲在第一特征存儲單元207中的視頻圖像的圖像特征，即，在檢索指令的接受時間點之前輸入到信息處理裝置100，并存儲在視頻圖像存儲單元202中的視頻圖像的圖像特征。此外，檢索查詢是從與檢索指令相關(guān)的查詢圖像中檢測到的面部圖像的圖像特征。第一檢索單元211將由檢索獲得的圖像以及表示圖像的拍攝地點、拍攝時間等信息傳輸給顯示處理單元213。

接下來，在s503中，第一檢索單元211確認(rèn)由第二檢索單元212進(jìn)行的第二檢索處理是否開始。當(dāng)?shù)诙z索處理開始時(步驟s503中為“是”)，第一檢索單元211使處理前進(jìn)到s505。另一方面，當(dāng)?shù)诙z索處理沒有開始時(步驟s503中為“否”)，第一檢索單元211使處理前進(jìn)到s504。

在s504中，第一檢索單元211再次進(jìn)行第一檢索處理。順便提及，應(yīng)當(dāng)注意的是，在s504中的第一檢索處理的檢索范圍是在存儲在第一特征存儲單元207中的圖像特征中的檢索范圍，并且沒有被設(shè)置在已經(jīng)進(jìn)行的第一檢索處理的檢索范圍中。然后，第一檢索單元211使處理前進(jìn)到s503。以這種方式，第一檢索單元211使用新輸入的視頻圖像作為檢索范圍重復(fù)地進(jìn)行第一檢索處理，直到第二檢索處理開始。第一檢索單元211還將由檢索獲得的圖像以及表示圖像的攝像地點、攝像時間等的信息傳輸給顯示處理單元213。然后，在s505中，第一檢索單元211停止第一檢索處理。因此，第一線程的處理結(jié)束。以這種方式，在第一檢索處理的檢索范圍內(nèi)，針對直到第二檢索處理開始為止的時段輸入的視頻圖像，進(jìn)行第一檢索處理。因此，能夠縮短不可檢索時間段403。

在第二線程的s511中，第二檢索單元212進(jìn)行為開始第二檢索處理的準(zhǔn)備處理。準(zhǔn)備處理是將目標(biāo)人物的查詢圖像的圖像特征作為基準(zhǔn)特征登記(記錄)在第二特征存儲單元209中的處理。在s511中，顯示處理單元213可以在監(jiān)視器110上顯示查詢圖像。接下來，在s512中基于基準(zhǔn)特征，第二檢索單元212開始從在接受時間點之后輸入到信息處理裝置100的視頻中檢索目標(biāo)人物的第二檢索處理。然后第二檢索單元212將通過檢索獲得的圖像以及表示圖像的拍攝地點和拍攝時間等的信息傳輸給顯示處理單元213。當(dāng)在s512中開始第二檢索處理時，在上面描述的s503中，第一檢索單元211決定第二檢索處理開始，使得第一檢索處理停止。

接下來，在s513中，第二檢索單元212確認(rèn)cpu101是否接受停止指令。當(dāng)沒有接受停止指令時(s513中為“否”)，cpu101繼續(xù)第二檢索處理。另一方面，當(dāng)接受了停止指令時(s513中為“是”)，cpu101結(jié)束該處理。例如，當(dāng)由于迷途兒童或漏乘乘客已被保護(hù)而不需要對被指定為查詢的人物進(jìn)行檢索時，用戶輸入停止指令。

在第三線程的s521中，顯示處理單元213將分別在s502、s504和s512獲得的檢測結(jié)果整合在一起，并在監(jiān)視器110上顯示整合的檢測結(jié)果。接下來，在s522中，cpu101確認(rèn)是否接受了停止指令。當(dāng)沒有接受停止指令時(s522中為“否”)，cpu101將處理返回到s521以繼續(xù)顯示處理。另一方面，當(dāng)接受了停止指令時(s522中為“是”)，cpu101結(jié)束該處理。

如剛剛描述的，信息處理裝置100針對不可檢索時間段403通過第一檢索處理來檢索目標(biāo)人物，然后停止第一檢索處理。然后，信息處理裝置100通過第二檢索處理檢索目標(biāo)人物直到接受停止指令為止。此外，通過重復(fù)進(jìn)行第一檢索處理，能夠縮短不可檢索時間段，不可檢索時間段對應(yīng)于當(dāng)通過指定查詢?nèi)宋锒M(jìn)行檢索時特征量尚未被面部圖像特征檢索編入索引的時間段與直到面部圖像特征辨別為止的時間段的總和。以這種方式，本實施例的信息處理裝置100能夠在不降低處理速度的情況下從過去連續(xù)地檢索人物。

(第二實施例)

隨后，將描述根據(jù)第二實施例的監(jiān)視系統(tǒng)。根據(jù)第二實施例的監(jiān)視系統(tǒng)中的信息處理裝置100在進(jìn)行第二檢索處理之前進(jìn)行第一檢索處理，并且，在第二檢索處理中使用在第一檢索處理中檢測到的圖像。因此，能夠提高檢索精確度。

在下文中，將描述根據(jù)第二實施例的監(jiān)視系統(tǒng)與根據(jù)第一實施例的監(jiān)視系統(tǒng)之間的差異。圖6是用于描述要由根據(jù)第二實施例的信息處理裝置100進(jìn)行的檢索處理的流程圖。在s601中，查詢接受單元208接受指定人物的查詢圖像作為檢索查詢的檢索指令。在s601的處理之后，cpu101以兩個線程進(jìn)行該處理。第一線程是進(jìn)行檢索的線程，包括s602至s617中的處理。第二線程是對檢索結(jié)果進(jìn)行整合和顯示的處理的線程，包括s621至s622中的處理。

在第一線程的s602中，第一檢索單元211進(jìn)行第一檢索處理以檢索目標(biāo)人物。在這種情況下的檢索范圍是存儲在第一特征存儲單元207中的視頻圖像的圖像特征，即，在檢索指令的接受時間點之前輸入到信息處理裝置100并存儲在視頻圖像存儲單元202中的視頻圖像的圖像特征。此外，檢索查詢是從與檢索指令相關(guān)的查詢圖像檢測到的面部圖像的圖像特征。第一檢索單元211將通過檢索獲得的圖像以及表示圖像的拍攝地點、拍攝時間等的信息傳輸給顯示處理單元213。

在s602的處理之后，cpu101進(jìn)一步以兩個線程進(jìn)行該處理。第11線程是繼續(xù)第一檢索處理的線程，包括s603至s605中的處理。第12線程是進(jìn)行第二檢索處理的線程，包括s611至s617中的處理。這里，第11線程的s603至s605的處理與參照圖5描述的第一實施例的檢索處理中的s503至s505的處理相同。

在第12線程的s611中，第二檢索單元212確認(rèn)在s602中的第一檢索處理中是否檢測到目標(biāo)人物。當(dāng)檢測到目標(biāo)人物時(s611中為“是”)，第二檢索單元212使處理前進(jìn)到s612。另一方面，當(dāng)沒有檢測到目標(biāo)人物時(s611中為“否”)，第二檢索單元使處理前進(jìn)到s615。在s612中，第二檢索單元212通過不僅使用查詢圖像還使用在s612中的第一檢索處理中的檢測到了目標(biāo)人物的檢測圖像，來進(jìn)行第二檢索處理的準(zhǔn)備。

接下來，在s613中，第二圖像檢索單元使用查詢圖像和檢測圖像來開始第二檢索處理。接下來，在s614中，第二檢索單元212確認(rèn)是否接受了停止指令。當(dāng)接受了停止指令時(s614中為“是”)，第二檢索單元212結(jié)束第21線程的處理。另一方面，當(dāng)沒有接受停止指令時(s614中為“否”)，第二檢索單元212繼續(xù)第二檢索處理。在s615中，第二檢索單元212進(jìn)行準(zhǔn)備處理以僅使用查詢圖像進(jìn)行第二檢索處理。這里，s615至s617的處理與參照圖5描述的第一實施例的檢索處理中的s511至s513的處理相同。

在第二線程的s621中，顯示處理單元213將分別在s602、s604、s613和s616獲得的檢測結(jié)果整合在一起，并在監(jiān)視器110上顯示整合的檢測結(jié)果。接下來，在s622中，cpu101確認(rèn)是否接受了停止指令。當(dāng)沒有接受停止指令時(s622中為“否”)，cpu101將處理返回到s621以繼續(xù)顯示處理。另一方面，當(dāng)接受了停止指令時(s622中為“是”)，cpu101結(jié)束該處理。順便提及，應(yīng)當(dāng)注意，根據(jù)第二實施例的監(jiān)視系統(tǒng)的其他結(jié)構(gòu)和處理與根據(jù)第一實施例的監(jiān)視系統(tǒng)的結(jié)構(gòu)和處理相同。

如上所述，根據(jù)第二實施例的信息處理裝置100在進(jìn)行第二檢索處理之前進(jìn)行第一檢索處理，第一檢索處理以在檢索指令的接受時間點之前輸入到信息處理裝置100并存儲在視頻圖像存儲單元202中的視頻圖像作為檢索范圍。然后，在第一檢索處理之后，信息處理裝置100通過使用在第一檢索處理中獲得的目標(biāo)人物的檢測圖像進(jìn)行第二檢索處理。因此，能夠提高檢索精確度。此外，如同第一實施例，信息處理裝置100在不同的檢索范圍中繼續(xù)第一檢索處理直到第二檢索處理開始。因此，信息處理裝置100能夠在不降低處理速度的情況下從過去連續(xù)地檢索人物。

在下文中，將描述第一實施例和第二實施例的變型例。作為第一變形例，圖像特征不限于面部圖像的圖像特征。作為另一示例，圖像特征可以是從整個人體獲得的人體圖像特征。即，人體圖像特征包括諸如身體高度與身體寬度的比例、腿長于頭部和身體的比例、腿長與身高的比例等的數(shù)值。作為又一示例，代替圖像特征，信息處理裝置100可以使用從包括面部的整個人體獲得的人物的屬性信息。這里，屬性信息的示例包括種族、性別、年齡、有無眼鏡、胡須、服裝顏色等。

作為又一示例，信息處理裝置100可以使用圖像特征和屬性信息二者作為圖像特征。例如，信息處理裝置100分開地計算第一檢索處理和第二檢索處理關(guān)于圖像特征的得分、以及第一檢索處理和第二檢索處理關(guān)于屬性信息的得分。然后，信息處理裝置100可以計算兩個得分的加權(quán)和作為總得分。

作為第二變型例，信息處理裝置100可以可區(qū)分地顯示查詢?nèi)宋锖妥鳛闄z索結(jié)果的圖像。因此，用戶能夠確認(rèn)是否進(jìn)行了錯誤的檢索。

作為第三變型例，當(dāng)?shù)谝粰z索單元211和第二檢索單元212中的至少一個檢測到目標(biāo)人物的多個圖像時，可以能夠優(yōu)先地檢測不同面部方向的圖像。

作為第四變型例，第一檢索單元211和第二檢索單元212中的至少一個可以優(yōu)先地檢測在更接近處理時間點的時間點拍攝的圖像。該示例對于保護(hù)例如迷途兒童的人物的目的是有用的。

作為第五變型例，信息處理裝置100的第一檢索單元211可以對在第二檢索處理開始之前輸入到信息處理裝置100的視頻圖像進(jìn)行第二檢索處理，并且這樣做的具體的處理不限于在本實施例中描述的處理。作為另一示例，在第二檢索處理開始的時間點，第一檢索單元211可以使用在第二檢索處理開始之前輸入到信息處理裝置100并存儲在視頻圖像存儲單元202中的視頻圖像的特征，作為檢索范圍，進(jìn)行一次第一檢索處理。

如上所述，根據(jù)上述實施例，能夠在不降低處理速度的情況下從過去連續(xù)地檢索人物。

(第三實施例)

隨后，將描述第三實施例。在本實施例中，對于與在上面的實施例中已經(jīng)描述的結(jié)構(gòu)使用相同的附圖標(biāo)記，并且將省略其描述。圖7是用于描述由根據(jù)本實施例的信息處理裝置100進(jìn)行的檢索處理的流程圖。在s701中，查詢接受單元208接受作為檢索查詢的人物的查詢圖像的指定。接下來，在s702中，cpu101開始將在查詢圖像的指定的時間點之后由視頻圖像接受單元201接受的視頻圖像，記錄在臨時存儲單元210中。接下來，在s703中，面部檢測單元204從由查詢接受單元208接受的查詢圖像檢測面部圖像。接下來，在s704中，特征計算單元206從在s703中檢測到的查詢圖像的面部圖像計算圖像特征。在s704中的處理之后，cpu101進(jìn)行兩個線程的處理。

這兩個線程中的第一線程是進(jìn)行第一檢索處理的線程，而第二線程是進(jìn)行第二檢索處理的線程。第一線程是在s704之后進(jìn)行到s711的處理，包括s711和s712中的處理。第二線程是在s704之后進(jìn)行到s721的處理，包括s721和s727中的處理。順便提及，s731至s733中的處理是將第一檢索處理的檢索結(jié)果與第二檢索處理的檢索結(jié)果彼此整合的處理。

在s711中，第一檢索單元211確認(rèn)截止到指定查詢圖像的接受時間點的視頻圖像是否被記錄在第一特征存儲單元207中。第一檢索單元211等待直到記錄完成為止(步驟s711中為“否”)。當(dāng)記錄完成時(步驟s711中為“是”)，處理前進(jìn)到s712。在s712中，第一檢索單元211通過使用存儲在第一特征存儲單元207中的圖像特征作為檢索范圍，并且使用在s704中計算的查詢圖像的圖像特征作為檢索查詢來檢索目標(biāo)人物。然后，第一檢索單元211從存儲在第一特征存儲單元207中的圖像特征，檢測具有與以上圖像特征之間的相似度高于預(yù)定閾值的圖像特征。

在第二線程的s721中，cpu101將在s704中計算的查詢圖像的圖像特征作為基準(zhǔn)特征登記(記錄)在第二特征存儲單元209中。應(yīng)當(dāng)注意s721中的處理是第二檢索處理的準(zhǔn)備處理的示例。由于在s721中完成了準(zhǔn)備處理，所以在隨后的s722中，cpu101結(jié)束在s702中開始的將視頻圖像記錄到臨時存儲單元210。因此，在從指令接受時間點第二檢索處理的準(zhǔn)備的完成時間點的準(zhǔn)備時段中從照相機(jī)112輸入的視頻圖像被記錄在臨時存儲單元210中。

在s722中的處理之后，處理進(jìn)一步被分成兩個線程。第二線程的兩個線程中的第21線程是在s722的處理之后進(jìn)行到s723的處理。另一方面，第22線程是在s722的處理之后進(jìn)行到s724的處理，包括s724至s727的處理。在s723中，第二檢索單元212通過將從存儲在臨時存儲單元210中的視頻圖像提取的圖像特征，與存儲在第二特征存儲單元209中的圖像特征(基準(zhǔn)特征)彼此進(jìn)行比較來檢索目標(biāo)人物。第二檢索單元212從臨時存儲單元202刪除對其比較處理結(jié)束的視頻圖像。

另一方面，在s724中，第一檢索單元211獲得在將查詢圖像指定為檢索目標(biāo)的接受時間點之后從照相機(jī)112輸入的視頻圖像(輸入視頻圖像)。接下來，在s725中，第二檢索單元212通過將從s724中接受的視頻圖像提取的圖像特征與基準(zhǔn)特征彼此進(jìn)行比較來檢索目標(biāo)人物。因此能夠?qū)斎胍曨l圖像進(jìn)行實時檢索。

接下來，在s726中，cpu101確認(rèn)是否接受了停止指令。當(dāng)沒有接受停止指令時(s726中為“否”)，cpu101使處理前進(jìn)到s724。另一方面，當(dāng)接受了停止指令時(s724中為“是”)，cpu101使處理前進(jìn)到s726。在s726中，cpu101將在s721中記錄在第二特征存儲單元209中的基準(zhǔn)特征刪除，并結(jié)束該處理。例如，當(dāng)由于迷途兒童或漏乘乘客已被保護(hù)而不需要對被指定為查詢的人物進(jìn)行檢索時，用戶輸入停止指令。

順便提及，應(yīng)當(dāng)注意，cpu101將s711至s712的處理以及s721和隨后的步驟的處理作為并行處理同時地進(jìn)行。此外，cpu101將s723的處理和s724至s727的處理作為并行處理同時地進(jìn)行。

在s712的處理之后，cpu101使處理前進(jìn)到s731。在s731中，顯示處理單元213將在s712中獲得的第一檢索處理的檢索結(jié)果與在s723和s725中獲得的第二檢索處理的檢測結(jié)果彼此整合。接下來，在s732中，顯示處理單元213在監(jiān)視器110上顯示整合后的檢測結(jié)果。接下來，在s733中，cpu101確認(rèn)是否接受了停止指令。當(dāng)沒有接受停止指令時(s733中為“否”)，cpu101將處理返回到s731。另一方面，當(dāng)接受了停止指令時(s733中為“是”)，cpu101結(jié)束該處理。

如上所述，根據(jù)本實施例的信息處理裝置100將在第二檢索處理的準(zhǔn)備時段中的視頻圖像記錄到臨時存儲單元210。因此，也能夠關(guān)于準(zhǔn)備時段中的視頻圖像進(jìn)行人物檢索。信息處理裝置100還能夠進(jìn)行第一檢索處理和實時檢索。即，信息處理裝置100能夠以合適的處理速度從過去的視頻圖像連續(xù)地進(jìn)行人物檢索。此外，由于能夠進(jìn)行實時檢索，因此還能夠保護(hù)目標(biāo)人物。此外，由于能夠檢索過去的視頻圖像，因此能夠估計目標(biāo)人物將要移動到的地點。順便提及，由于在第二檢索處理中存在大的處理負(fù)荷，因此理想的是，當(dāng)由于例如能夠保護(hù)查詢?nèi)宋锒箼z索變得不必要時及時結(jié)束第二檢索處理。在本文中，信息處理裝置100能夠響應(yīng)于停止指令及時結(jié)束第二檢索處理。

(第四實施例)

在根據(jù)第四實施例的監(jiān)視系統(tǒng)中，信息處理裝置100的臨時存儲單元210存儲根據(jù)準(zhǔn)備時段的視頻圖像計算的圖像特征而不存儲準(zhǔn)備時段的視頻圖像。在下文中，將描述根據(jù)第四實施例的監(jiān)視系統(tǒng)與根據(jù)第三實施例的監(jiān)視系統(tǒng)之間的差異。圖8是用于描述要由根據(jù)第四實施例的信息處理裝置100進(jìn)行的檢索處理的流程圖。順便提及，在圖8描述的檢索處理中包括的處理中，與參照圖7描述的根據(jù)第三實施例的檢索處理中的處理相同的處理分別用相同的附圖標(biāo)記表示。

在第四實施例中，在s701的處理之后，cpu101使處理前進(jìn)到s801’。在s801’中，在接受對查詢圖像的指定的接受時間段之后，cpu101開始將由視頻圖像接受單元201接受的視頻圖像的圖像特征記錄到臨時存儲單元210。應(yīng)當(dāng)注意，特征計算單元206根據(jù)由視頻圖像接受單元201接受的視頻圖像進(jìn)行計算圖像特征的處理。然后cpu101使處理前進(jìn)到s703。

除此之外，在s721的處理之后，cpu101使處理前進(jìn)到s802’。在s802’中，cpu101結(jié)束在s801’中開始的將圖像特征記錄到臨時存儲單元201。隨后的處理分成兩個線程。在這兩個線程中，第21線程是在s802’的處理之后進(jìn)行到s803’的處理。此外，第22線程的處理是與在第三實施例中描述的第22線程的處理相同的處理。

在s803’中，第二檢索單元212通過將存儲在臨時存儲單元210中的圖像特征與基準(zhǔn)圖像彼此進(jìn)行比較來檢索目標(biāo)人物。第二檢索單元212從臨時存儲單元210刪除對其比較處理結(jié)束的圖像特征。順便提及，根據(jù)第四實施例的監(jiān)視系統(tǒng)的其余的結(jié)構(gòu)和處理與根據(jù)第三實施例的監(jiān)視系統(tǒng)的相對應(yīng)的結(jié)構(gòu)和處理相同。

如上所述，根據(jù)第四實施例的信息處理裝置100將根據(jù)視頻圖像計算的圖像特征記錄到臨時存儲單元210而不是將視頻圖像記錄到臨時存儲單元210。因此，能夠減少開始檢索處理之后信息處理裝置100的處理負(fù)荷。

(第五實施例)

在根據(jù)第五實施例的監(jiān)視系統(tǒng)中，首先，信息處理裝置100的第二檢索單元212使用存儲在臨時存儲單元210中的視頻圖像作為檢索范圍進(jìn)行第二檢索處理。然后，在相關(guān)處理結(jié)束之后，第二檢索單元212對從照相機(jī)112輸入的視頻圖像進(jìn)行第二檢索處理。在下文中，將描述根據(jù)第五實施例的監(jiān)視系統(tǒng)與根據(jù)第三實施例的監(jiān)視系統(tǒng)之間的差異。圖9是用于描述要由根據(jù)第五實施例的信息處理裝置100進(jìn)行的檢索處理的流程圖。順便提及，在圖9中描述的檢索處理中包括的處理中，與參照圖7描述的根據(jù)第三實施例的檢索處理中的處理相同的處理分別用相同的附圖標(biāo)記表示。

在第五實施例中，在s721的處理之后，cpu101使處理進(jìn)行到s723。即，在cpu101繼續(xù)在s702中開始的將視頻圖像記錄到臨時存儲器210的處理的同時，在s723中，第二檢索單元212使用存儲在臨時存儲單元210中的視頻圖像作為檢索范圍進(jìn)行第二檢索處理。然后，cpu101使處理進(jìn)行到s901。在s901中，cpu101結(jié)束將視頻圖像記錄到臨時存儲單元210。

如上所述，在第五實施例中，在使用存儲在臨時存儲單元210中的視頻圖像作為檢索范圍進(jìn)行第二檢索處理結(jié)束之后，cpu101結(jié)束將視頻圖像記錄到臨時存儲單元210。之后，cpu101使處理進(jìn)行到s902。這里應(yīng)當(dāng)注意，s902至s905的處理分別與參照圖7描述的s724至s727的處理相同。順便提及，應(yīng)當(dāng)注意，根據(jù)第五實施例的監(jiān)視系統(tǒng)的其他結(jié)構(gòu)和處理與根據(jù)其他實施例的監(jiān)視系統(tǒng)的結(jié)構(gòu)和處理相同。

如上所述，根據(jù)第五實施例的信息處理裝置100在對存儲在臨時存儲單元210中的視頻圖像的檢索處理結(jié)束之后進(jìn)行實時檢索處理。因此，實時檢索的開始定時與根據(jù)其他實施例的信息處理裝置100的實時檢索的開始定時相比被延遲了。但是，能夠在進(jìn)行實時檢索時減少信息處理裝置100的處理負(fù)荷。

作為第五實施例的變型例，與第四實施例的描述相同，信息處理裝置100可以將根據(jù)視頻圖像計算的圖像特征存儲到臨時存儲單元210而不是將視頻圖像存儲到臨時存儲單元210。

(第六實施例)

在要檢索的人物為多個的情況下，根據(jù)第六實施例的信息處理裝置100進(jìn)行控制使得對從照相機(jī)112輸入的視頻圖像的處理不重疊。因此，能夠進(jìn)行有效率的處理。假設(shè)根據(jù)本實施例的信息處理裝置100在指定查詢圖像(假設(shè)為人物a)的時間點正在進(jìn)行對另一人物(假設(shè)為人物b)的檢索處理。在這種情況下，信息處理裝置100將計算的、要用于對人物b的第二檢索處理的圖像特征存儲到臨時存儲單元210。

在下文中，將參照圖8描述由根據(jù)第六實施例的信息處理裝置100進(jìn)行的檢索處理與根據(jù)第四實施例的檢索處理之間的差異。在第六實施例中，信息處理裝置100使用臨時存儲請求標(biāo)志作為關(guān)于是否將與另一人物的第二檢索處理相關(guān)的圖像特征存儲在臨時存儲單元210中的標(biāo)志。假設(shè)，臨時存儲請求標(biāo)記正常處于關(guān)閉狀態(tài)。

在s801’中，cpu101確認(rèn)對除了目標(biāo)人物以外的人物(另一人物)的第二檢索處理是否正在進(jìn)行。與第四實施例的描述相同，當(dāng)相關(guān)處理沒有正在進(jìn)行時，cpu101開始將由視頻圖像接受單元201接受的視頻圖像的圖像特征記錄到臨時存儲單元210。另一方面，當(dāng)對另一人物的第二檢索處理正在進(jìn)行時，cpu101將臨時存儲請求標(biāo)志打開。此外，在s802’中，當(dāng)臨時存儲請求標(biāo)志為關(guān)時，即，當(dāng)臨時存儲處理正在進(jìn)行時，cpu101結(jié)束臨時存儲處理。當(dāng)臨時存儲請求標(biāo)志為開時，cpu101關(guān)閉。

在s724中，當(dāng)臨時存儲請求標(biāo)志為關(guān)(off)時，在第二檢索處理結(jié)束之后，cpu101從臨時存儲單元210中刪除根據(jù)由視頻圖像接受單元201接受的視頻圖像計算的圖像特征。另一方面，當(dāng)臨時存儲請求標(biāo)志為開(on)時，cpu101將根據(jù)由視頻圖像接受單元201接受的視頻圖像計算的圖像特征存儲到臨時存儲單元210。作為另一示例，cpu101可以不僅將圖像特征還將相應(yīng)的視頻圖像存儲在臨時存儲單元210中。

在s726中，在接受停止指令的情況下，當(dāng)臨時存儲請求標(biāo)志為開時，cpu101開始將根據(jù)由視頻圖像接受單元201接受的視頻圖像計算的圖像特征存儲到臨時存儲單元210的處理。此時，cpu101還將臨時存儲請求標(biāo)志關(guān)閉。在接受停止指令的情況下，當(dāng)臨時存儲請求標(biāo)志為關(guān)時，cpu101什么都不做。順便提及，在根據(jù)第六實施例的監(jiān)視系統(tǒng)中，除去上述的結(jié)構(gòu)和處理以外的其他結(jié)構(gòu)和處理分別與根據(jù)其他實施例的監(jiān)視系統(tǒng)的結(jié)構(gòu)和處理相同。

如上所述，在根據(jù)第六實施例的信息處理裝置100中，當(dāng)在接受對目標(biāo)人物的查詢圖像的指定的時間點，正在進(jìn)行對另一人物的第二檢索處理時，相關(guān)另一人物的圖像特征被存儲在臨時存儲單元210中。因此，能夠在檢索多個人物時減少信息處理裝置100的處理負(fù)荷。

(第七實施例)

在根據(jù)第七實施例的信息處理裝置100中，臨時存儲單元210存儲在距離處理時間點預(yù)定時段期間內(nèi)輸入的視頻圖像。然后，在由查詢圖像進(jìn)行的對第二檢索處理的準(zhǔn)備處理完成之后，第一檢索單元211進(jìn)行第二檢索處理，并同時對在查詢圖像的指定的接受時間點之前(過去)輸入的視頻圖像進(jìn)行第一檢索處理。因此，也能夠針對在不可檢索時間段內(nèi)的視頻圖像檢索目標(biāo)人物。即，根據(jù)第七實施例的信息處理裝置100也針對第一檢索處理的不可檢索時間段，以第二檢索處理檢索目標(biāo)人物。在這個方面，本實施例中的信息處理裝置100與其他實施例的不同。

圖10是用于描述要由根據(jù)第七實施例的信息處理裝置100進(jìn)行的居民檢索處理。信息處理裝置100一直進(jìn)行如圖10所示的居民檢索處理。在s801中，cpu101確認(rèn)在第二特征存儲單元209中是否存儲了基準(zhǔn)特。當(dāng)存儲了基準(zhǔn)特征時(s801中為“是”)，cpu101使處理前進(jìn)到s803。另一方面，當(dāng)未存儲基準(zhǔn)特征時(s801中為“否”)，cpu101使處理前進(jìn)到s802。在s802中，cpu101將由視頻圖像接受單元201接受的視頻圖像記錄到臨時存儲單元201，然后使處理進(jìn)行到s806。

順便提及，s803和s804的處理與參照圖7描述的s724和s725的處理相同。在s804的處理之后，cpu101使處理前進(jìn)到s805。在s805中，cpu101將從在s803中使用的輸入視頻圖像提取的圖像特征存儲到臨時存儲單元201。接下來，在s806中，cpu101從臨時存儲單元210刪除在距離進(jìn)行處理的時刻預(yù)定時間之前的時刻之前記錄到臨時存儲單元210的視頻圖像、以及從輸入視頻圖像提取的圖像特征。在這里，優(yōu)選的是考慮直到第一檢索處理變得可以進(jìn)行為止的時間和第二檢索處理的準(zhǔn)備時段來確定預(yù)定時間。例如，信息處理裝置100將這些時間的總和值設(shè)置為預(yù)定時間。順便提及，通過s802和s806的處理，臨時存儲單元210總是將視頻圖像或者從視頻圖像提取的圖像特征存儲預(yù)定時間。在這里s802和s806的處理是如下管理處理的示例：進(jìn)行管理使得臨時存儲單元210存儲在距離處理時間點預(yù)定時間之前輸入的視頻圖像或從視頻圖像提取的圖像特征。

接下來，在s807中，cpu101確認(rèn)是否接受結(jié)束指令。當(dāng)接受結(jié)束指令時(s807中為“是”)，cpu101結(jié)束該處理。另一方面，當(dāng)不接受結(jié)束指令時(s807中為“否”)，cpu101將處理前進(jìn)到s801。

圖11是用于描述要由根據(jù)第七實施例的信息處理裝置100進(jìn)行的檢索處理的流程圖。順便提及，在圖11中描述的檢索處理中包括的處理中，與參照圖7描述的根據(jù)第三實施例的檢索處理中的處理相同的處理分別用相同的附圖標(biāo)記表示。在根據(jù)第七實施例的檢索處理中，在s701的處理之后，cpu101使處理前進(jìn)到s703。此外，在s704的處理之后，cpu101通過使處理進(jìn)行到s712而不是s711來進(jìn)行第一線程的處理。另一方面，在第二線程中，在s721的處理之后，cpu101跳過s722的處理并進(jìn)行第二線程。在這些線程中，第21個線程包括s723的處理并且第22個線程包括s726和s727的處理。

在本實施例中，視頻圖像和面部圖像特征被混合地存儲在臨時存儲單元210中。在s723中，第二檢索單元212計算存儲在臨時存儲單元210中的視頻圖像的圖像特征并將視頻圖像的圖像特征與存儲在第二特征存儲單元209中的基準(zhǔn)特征相互比較。然后，第二檢索單元212檢測具有高于預(yù)定閾值的相似度的圖像特征。此外，第二檢索單元212將存儲在臨時存儲單元210中的圖像特征與存儲在第二特征存儲單元209中的基準(zhǔn)特征相互比較，并且檢測具有高于預(yù)定閾值的相似度的面部圖像特征。順便提及，應(yīng)當(dāng)注意，根據(jù)第七實施例的監(jiān)視系統(tǒng)的其他結(jié)構(gòu)和處理與根據(jù)其他實施例的監(jiān)視系統(tǒng)的結(jié)構(gòu)和處理相同。

如上所述，根據(jù)第七實施例的信息處理裝置100一直進(jìn)行第二檢索處理，并且臨時存儲單元210一直在其中存儲在過去的預(yù)定時段內(nèi)輸入的視頻圖像。然后，在經(jīng)過由查詢圖像進(jìn)行的對第二檢索處理的準(zhǔn)備時段之后，信息處理裝置100進(jìn)行第二檢索處理并且也對過去的視頻圖像進(jìn)行第一檢索處理。因此，根據(jù)第七實施例的信息處理裝置100能夠?qū)υ诓樵儓D像的指定的接受時間點之前的過去的圖像立即進(jìn)行檢索，并且也能夠?qū)ψ兊媚軌驒z索為止的延遲部分通過第二檢索處理進(jìn)行高精確度的檢索。

作為第七實施例的第一變型例，與第四實施例的描述相同，信息處理裝置100可以將根據(jù)視頻圖像計算的圖像特征存儲到臨時存儲單元210而不是將視頻圖像存儲到臨時存儲單元210。

而且，將描述第七實施例的第二變型例。信息處理裝置100可以僅對從連接到信息處理裝置100的多個照相機(jī)112的部分輸入的圖像作為目標(biāo)，進(jìn)行在第五實施例中描述的居民檢索處理和檢索處理。順便提及，應(yīng)當(dāng)注意，信息處理裝置100對從其他照相機(jī)112輸入的視頻圖像進(jìn)行在其他實施例(例如，第三實施例)中描述的檢索處理。例如，假設(shè)引入了允許通過面部認(rèn)證而進(jìn)行過登記的人物通過的安全門系統(tǒng)。在這種情況下，信息處理裝置100對要在這種安全門中使用的認(rèn)證照相機(jī)進(jìn)行根據(jù)第五實施例的處理，并且對于其他照相機(jī)進(jìn)行根據(jù)其他實施例的處理。

在下文中，將描述上述實施例的變型例。作為第一變型例，圖像特征不限于面部圖像的圖像特征。作為另一變型例，圖像特征可以是從整個人體獲得的人體圖像特征。例如，人體圖像特征包括諸如身高與身寬的比例、腿長與頭和身體的比例、腿長與身高的比例等的數(shù)值。作為又一示例，信息處理裝置100可以使用從包括面部的整個人體獲得的人物的屬性信息而不使用圖像特征。例如，屬性信息包括種族、性別、年齡、有無眼鏡、胡須、服裝顏色等。

作為又一示例，信息處理裝置100可以使用圖像特征和屬性信息二者作為圖像特征。例如，信息處理裝置100分開地計算第一檢索處理和第二檢索處理關(guān)于圖像特征的得分、以及第一檢索處理和第二檢索處理關(guān)于屬性信息的得分。然后，信息處理裝置100可以計算兩個得分的加權(quán)和作為總得分。

如上所述，根據(jù)上述實施例中的各個，能夠以適當(dāng)?shù)奶幚硭俣葟倪^去連續(xù)地檢索人物。

雖然基于其優(yōu)選的實施例詳細(xì)描述了本發(fā)明，但是本發(fā)明不限于這些具體實施例。即，在不脫離本發(fā)明的范圍的范圍內(nèi)的各種實施例也包括在本發(fā)明中。而且，上述實施例的部分可以適當(dāng)?shù)亟M合。

在上面的描述中，在第一檢索處理中能夠通過識別具有高于預(yù)定閾值的相似度的圖像特征來獲得目標(biāo)人物的檢測圖像，但是，例如，可能能夠通過由使用信息處理裝置100的用戶(監(jiān)控人員)識別目標(biāo)人物，并且經(jīng)由信息處理裝置100的輸入單元輸入這種信息，來獲得目標(biāo)人物的檢測圖像。

(其他實施例)

還可以通過讀出并執(zhí)行記錄在存儲介質(zhì)(也可更完整地稱為“非暫時性計算機(jī)可讀存儲介質(zhì)”)上的計算機(jī)可執(zhí)行指令(例如，一個或更多個程序)以執(zhí)行上述實施例中的一個或更多個的功能、并且/或者包括用于執(zhí)行上述實施例中的一個或更多個的功能的一個或更多個電路(例如，專用集成電路(asic))的系統(tǒng)或裝置的計算機(jī)，來實現(xiàn)本發(fā)明的實施例，并且，可以利用通過由系統(tǒng)或裝置的計算機(jī)例如讀出并執(zhí)行來自存儲介質(zhì)的計算機(jī)可執(zhí)行指令以執(zhí)行上述實施例中的一個或更多個的功能、并且/或者控制一個或更多個電路以執(zhí)行上述實施例中的一個或更多個的功能的方法，來實現(xiàn)本發(fā)明的實施例。計算機(jī)可以包括一個或更多個處理器(例如，中央處理單元(cpu)、微處理單元(mpu))，并且可以包括分開的計算機(jī)或分開的處理器的網(wǎng)絡(luò)，以讀出并執(zhí)行計算機(jī)可執(zhí)行指令。計算機(jī)可執(zhí)行指令可以例如從網(wǎng)絡(luò)或存儲介質(zhì)被提供給計算機(jī)。存儲介質(zhì)可以包括例如硬盤、隨機(jī)存取存儲器(ram)、只讀存儲器(rom)、分布式計算系統(tǒng)的存儲器、光盤(諸如壓縮光盤(cd)、數(shù)字通用光盤(dvd)或藍(lán)光光盤(bd)^tm)、閃存裝置以及存儲卡等中的一個或更多個。

本發(fā)明的實施例還可以通過如下的方法來實現(xiàn)，即，通過網(wǎng)絡(luò)或者各種存儲介質(zhì)將執(zhí)行上述實施例的功能的軟件(程序)提供給系統(tǒng)或裝置，該系統(tǒng)或裝置的計算機(jī)或是中央處理單元(cpu)、微處理單元(mpu)讀出并執(zhí)行程序的方法。

根據(jù)本發(fā)明，能夠在不降低處理速度的情況下從過去連續(xù)地檢索人物。

雖然已經(jīng)參照示例性實施例對本發(fā)明進(jìn)行了描述，但是應(yīng)該理解，本發(fā)明不限于所公開的示例性實施例。應(yīng)當(dāng)對權(quán)利要求的范圍給予最寬的解釋，以使其涵蓋所有這些變型例以及等同的結(jié)構(gòu)及功能。