專利名稱：判斷人的設備、方法和程序的制作方法
技術領域：
本發(fā)明涉及基于來自外部攝像機的視頻信號判斷圖像中出現(xiàn)的物體是否是人的技術。
背景技術：
非專利文獻1公開了使得能夠判斷圖像中出現(xiàn)的物體是否是人的方法。在該判斷方法中，對整個圖像反復執(zhí)行判斷物體是否是臉的過程，以檢測圖像中的臉。通過將人類的身體而不是臉設置為檢測目標，其可以判斷圖像中的物體是否是人。非專利文獻2公開了使得能夠判斷圖像中出現(xiàn)的物體是否是人的另一方法。在該判斷方法中，使用對在特定時間拍攝的圖像(背景圖像)與當前圖像之間的差異進行評估的過程，該過程使用了少量的處理。該方法基于該差異來快速檢測很可能包含移動物體的部分區(qū)域，且僅在該部分區(qū)域中有圖像的情況下，判斷該圖像是“人”，是“車輛”還是“另一物體”。也就是說，該方法通過快速將區(qū)域縮小到很可能包含有物體的部分區(qū)域，減少了執(zhí)行判斷圖像包含“人”或“非人”的過程的次數(shù)。雖然非專利文獻2中描述的判斷方法通過使用從形狀計算的特征數(shù)量或者從圖像獲得的特征數(shù)量來使用相對簡單的判斷過程，但是結(jié)合例如非專利文獻3中描述的統(tǒng)計圖像識別技術，其可以使用稍長的處理時間來提供更高的判斷性能。非專利文獻1中所描述的技術的特征在于快速，當與對模式識別過程進行重復的常規(guī)技術相比時，這是唯一的不同之處。當將非專利文獻1中描述的技術與非專利文獻2 中描述的僅執(zhí)行用于確定圖像之間的差異的計算的技術相比，后一種執(zhí)行用于確定差異的計算的技術看起來要求更少的處理量。很容易想到，基于人類的身體有頭部這一假設，通過判斷物體“有沒有頭”，可以容易地確定物體是“人”或者“非人”。例如，由于臉是頭的一部分，非專利文獻3中描述的臉部搜索過程實質(zhì)上能夠判斷物體是“人”或者“非人”。總體而言，如果頭占據(jù)了圖像相當大的一部分，與判斷其是“人”還是“非人”的過程相比，用于判斷其是“臉”還是“不是臉”的臉部判斷過程具有更高的判斷效率。此外，即使隱蔽人類的身體除了臉之外的部分，該臉部判斷過程也能夠提供精確的判斷。如果將其與非專利文獻1中所描述的作為預處理的快速檢測很可能包含物體的部分區(qū)域的技術相結(jié)合，很容易期望可以將臉部判斷過程加速到一定程度專利文獻1描述了判斷物體是“臉”還是“不是臉”的另一過程。根據(jù)專利文獻1 描述的方法，在激光雷達捕捉到物體的情況下，通過判斷包含該物體的區(qū)域的圖像是否包含了臉，確定該物體是“人”還是“非人”。專利文獻2公開了使用攝像機拍攝的立體視覺來測量從攝像機到物體的距離的技術，并且基于該測量來縮小圖像上潛在臉部的大小，而不是僅縮小搜索臉部的區(qū)域。根據(jù)該技術，可以減少需要用來搜索臉部的處理量。專利文獻3描述了以下方法提取與圖像中人的臉相對應的臉部區(qū)域，參考攝像機參數(shù)來估計臉部區(qū)域到重心的底部(floor)的高度，以及根據(jù)估計結(jié)果提取圖像中的輪椅區(qū)域。引用列表專利文獻專利文獻1JP2007-187618A專利文獻2JP2007-156939A專利文獻3W02002/056251(再次公布)非專利文獻非專利文獻1Paul Viola, Michael Jones, " Rapid object detection using a boosted cascade of simple features " , Proceeding of Computer Vision and Pattern Recognition 2001非專利文獻2Collins, Lipton, Kanade, Fujiyoshi, Duggins, Tsin, Tolliver, Enomoto, and Hasegawa, " A System for Video Surveillance and Monitoring :VSAM Final Report" , Technical report CMU-RI-TR-00-12, Robotics Institute, Carnegie Mellon University, May,2000非專利文獻3Toshinori Hosoi,Eiki Ishidera," An object classification method based on moving region' s appearance" , FIT2006 Lecture Notes,200
發(fā)明內(nèi)容
根據(jù)非專利文獻1中描述的方法，需要對圖像中所有可能包含物體的所有部分區(qū)域執(zhí)行對物體是否是臉的判斷，這要求大量的處理，并因此減慢了處理速度。為此，該方法不能使用用于高速處理的低性能和低成本設備。如果障礙物隱蔽了包含人的大的區(qū)域，通過使用該方法，不一定能獲得高的判斷效率。因此，難以應用該方法以獲得高的判斷效率。根據(jù)非專利文獻2中描述的方法，通過使用圖像之間的差異可以實現(xiàn)處理量的減少，然而，如果障礙物隱蔽了人的大的區(qū)域，不一定能獲得高的判斷效率。因此，在非專利文獻1的方法的情況下，難以將該方法應用于獲得高判斷效率的目的。根據(jù)將非專利文獻2中描述的判斷方法和非專利文獻3中描述的統(tǒng)計圖像識別技術相結(jié)合的技術，使用稍長的處理時間，可以改進判斷性能，然而，如果障礙物隱蔽了人的大的區(qū)域，則難以執(zhí)行該判斷過程。因此，難以應用該技術來獲得高的判斷效率。專利文獻1和專利文獻3中描述的方法都僅在包含物體的圖像的部分區(qū)域中執(zhí)行簡單搜索臉部的過程，這要求大量的處理，并減慢了處理速度。如果障礙物隱蔽了物體的大的區(qū)域，不一定能獲得高的判斷效率。因此，與非專利文獻1和2中所描述的相同，其難以應用專利文獻1和3中描述的該兩種方法，以獲得高的判斷效率。根據(jù)專利文獻2中描述的技術，需要兩個或更多的攝像機，這增加了系統(tǒng)的設備成本。如果通過使用立體視覺方法來獲得的距離的精確測量很低，便難以正確地縮小潛在的臉部的大小，為了獲得對距離的精確測量，不得不嚴格地限制用于布置攝像機的位置和環(huán)境，以至于安裝計算機的地點將受到限制。本發(fā)明的目標是提供解決上述問題的判斷人的設備、方法和程序，即使障礙物隱蔽了物體的一部分，該設備、方法和程序也能夠通過使用少量的處理來精確地判斷物體是否是人。為了實現(xiàn)上述目標，根據(jù)本發(fā)明的判斷人的設備包括障礙物存儲器，存儲從基于來自外部攝像機的視頻信號的圖像提取的對障礙物的區(qū)域進行指示的信息，所述障礙物是從所述圖像提取的；頭部范圍計算裝置，當從所述圖像中提取的物體的一部分被所述障礙物所隱蔽時，假定所述物體與所述圖像上的參考面接觸處的接地點的潛在范圍是存儲在所述障礙物存儲器中的所述障礙物的區(qū)域，以及，基于所假定的范圍和之前所提供的人的高度與頭部的大小和位置之間的相關性，通過假定所述物體離接地點最遠的部分是人的頭部來計算頭部在圖像上的潛在范圍；以及頭部檢測裝置，判斷在頭部范圍計算裝置所計算的頭部的范圍內(nèi)，是否存在包括與頭部相對應的形狀的區(qū)域。根據(jù)本發(fā)明的判斷人的方法是基于來自外部攝像機的視頻信號判斷圖像中出現(xiàn)的物體是否是人的判斷人的方法，包括參考障礙物存儲器，其存儲對障礙物在圖像上的區(qū)域進行指示的信息；當從所述圖像中提取的物體的一部分被所述障礙物所隱蔽時，假定所述物體在圖像上的參考面接觸處的接地點的潛在區(qū)域是存儲在所述障礙物存儲器中的障礙物的區(qū)域；基于所假定的范圍以及之前提供的人的高度與頭部的大小和位置之間的相關性， 通過假定物體離接地點最遠的部分是人的頭部，計算頭部在圖像上的潛在區(qū)域；以及判斷在所計算的頭部的范圍中，是否存在包括與頭部相對應的形狀的區(qū)域。根據(jù)本發(fā)明的程序是在計算機中使用的程序，所述程序基于來自外部攝像機的視頻信號判斷出現(xiàn)在圖像中的物體是否是人，所述程序使所述計算機執(zhí)行以下過程參考障礙物存儲器，其存儲對障礙物在圖像上的區(qū)域進行指示的信息；當從圖像中提取的物體的一部分被所述障礙物所隱蔽時，假定物體在圖像上的參考面接觸處的接地點的潛在區(qū)域是存儲在所述障礙物存儲器中的障礙物的區(qū)域；基于所假定的范圍以及之前提供的人的高度與頭部的大小和位置之間的相關性， 通過假定物體離接地點最遠的部分是人的頭部，計算頭部在圖像上的潛在區(qū)域；以及判斷在所計算的頭部的范圍中，是否存在包括與頭部相對應的形狀的區(qū)域。


圖1是示出根據(jù)本發(fā)明的第一示例性實施例的判斷人的設備的配置的框圖。圖2是用于描述圖1中示出的判斷人的設備的整個操作的流程圖。圖3是用于描述圖像中物體的接地點和頂點以及接地點的潛在范圍的示意圖；以及圖4是示出當從站立在地板上的人的頂點朝著其接地點的方向匯聚于一點的情況下的示意圖。參考編號的描述100數(shù)據(jù)處理設備110隱蔽可能性判斷裝置120接地點范圍計算裝置130位置/大小估計裝置140綜合分數(shù)計算裝置150人類大小一致性判斷裝置160頭部檢測裝置170判斷人的裝置200存儲設備210障礙物存儲器220攝像機參數(shù)存儲器220頭部檢測參數(shù)存儲器
具體實施例方式現(xiàn)在，將參考附圖描述本發(fā)明的示例性實施例。(第一示例性實施例)圖1是示出根據(jù)本發(fā)明的第一示例性實施例的判斷人的設備的配置的框圖。參考圖1，判斷人的設備用于在基于從外部攝像機提供的視頻信號的圖像包含除預設的障礙物之外的物體時，判斷物體是否是人，該判斷人的設備具有包括數(shù)據(jù)處理設備100和存儲器設備200在內(nèi)的主要部分。外部攝像機可以是例如監(jiān)視攝像機。存儲設備200包括障礙物存儲器210、攝像機參數(shù)存儲器220以及頭部檢測參數(shù)存儲器230。障礙物存儲器210基于從外部攝像機提供的視頻信號來存儲圖像上的預設障礙物(可能隱蔽人或物體的障礙物)的區(qū)域。雖然以像素為單位在障礙物存儲器210中保存對圖像上的障礙物的形狀進行表示的信息是優(yōu)選的，然而，在障礙物存儲器210中也可以將與障礙物區(qū)域有關的信息保存為矩形區(qū)域的組合。該“矩形區(qū)域的組合”指的是小的塊的組合對障礙物的形狀進行表示。攝像機參數(shù)存儲器220存儲用于圖像坐標系統(tǒng)(即，在基于來自外部攝像機的視頻信號的圖像上的坐標系統(tǒng))與真實世界坐標系統(tǒng)(例如，地圖上的坐標系統(tǒng))之間的雙向變換的參數(shù)。提前計算該參數(shù)(在操作設備之前)。特別地，在引用文檔1‘R. Y. Tsai, “ A Versatile Camera Calibration Technique for High-Accuracy 3D Machine Vision Metrology Using Off-the-Shelf TV Cameras and Lenses" ，IEEE Journal of Roboticsand Automation, Vol. RA_3，No. 4，pp. 323-344,1987，中描述的攝像機校準技術用于導出攝像機的內(nèi)部參數(shù)和外部參數(shù)，并將所導出的參數(shù)存儲在攝像機參數(shù)存儲器220中。內(nèi)部參數(shù)包括與攝像機的焦距等有關的信息。外部參數(shù)包括與攝像機的位置、姿態(tài)等等有關的信肩、ο由于上述攝像機校準技術是眾所周知的技術，在此將不進行詳細描述。雖然實施例的判斷人的設備不包括外部攝像機作為組件，然而，提前計算并存儲在攝像機參數(shù)存儲器220中的對攝像機鏡頭和所安裝的攝像機的環(huán)境進行描述的參數(shù)使得判斷人的設備可以執(zhí)行圖像坐標系統(tǒng)中的點與地圖上的坐標系統(tǒng)中對應的點之間的雙向變換。頭部檢測參數(shù)存儲器230存儲用于判斷圖像是否包含“頭部”的參數(shù)。該實施例不限制用于判斷“頭部”是否存在的技術。可以重復執(zhí)行用于識別“頭部”是否存在的過程，以通過使用引用文檔 2 iAtsushi Sato, “ Character Recognition using Generalized Learning Vector Quantization" , Technical Report of the Institute of Electronics,Information and Communication Engineers (IEICE),PRMU95-219,1996' 中描述的統(tǒng)計模式識別技術(例如，“廣義學習矢量量化”)來搜索頭部。在這種情況下，將被稱為“參考矢量”的參數(shù)存儲在頭部檢測參數(shù)存儲器230中。根據(jù)以上的“廣義學習矢量量化”，對屬于兩個類別“頭”和“不是頭”中每個類別的一個或多個參考矢量進行準備。計算輸入數(shù)據(jù)和參考矢量之間的距離，以將輸入數(shù)據(jù)分類到最接近的參考矢量所屬于的類別中。直觀上，參考矢量是包括表示“頭”的矢量和表示 “不是頭”的矢量在內(nèi)的矢量的集合。作為在程序的控制之下工作的計算機系統(tǒng)的數(shù)據(jù)處理設備100包括隱蔽可能性判斷裝置110、接地點范圍計算裝置120、位置/大小估計裝置130、人類大小一致性判斷裝置140、頭部范圍計算裝置150、頭部檢測裝置160和判斷人的裝置170。數(shù)據(jù)處理設備110從外部攝像機接收視頻信號，并基于該視頻信號，判斷在圖像的圖像坐標上，物體的區(qū)域是否接觸到在障礙物存儲器210中保存的障礙物的區(qū)域(基于物體是“人”還”非人”來判斷)。當物體的區(qū)域接觸到障礙物的區(qū)域時，隱蔽可能性判斷裝置110判斷障礙物隱蔽了物體。當物體的區(qū)域沒有接觸到障礙物的區(qū)域時，隱蔽可能性判斷裝置110判斷障礙物沒有隱蔽物體。當顯而易見地，即使物體和障礙物在圖像上接觸，障礙物沒有隱蔽物體時(例如在從外部攝像機的視點看，物體站在障礙物之前的情況下)，隱蔽可能性判斷裝置110判斷障礙物沒有隱蔽物體。由于障礙物的區(qū)域已知，通過檢測物體的區(qū)域隱蔽障礙物的區(qū)域的狀態(tài)，可以檢測到從外部攝像機的視點來看的物體站在障礙物前面的狀態(tài)?？梢允褂萌魏畏椒▉碜鳛樵趫D像上提取物體的技術。例如，如專利文獻2所述，可以基于特定時間處的圖像(背景圖像)與的當前圖像之間的差異來提取圖像上的物體。接地點范圍計算裝置120計算接地點的潛在范圍，在該接地點處，物體接觸參考面(reference face)，例如，地板等(在此，將此假定為地面)，即，考慮到障礙物，當物體是人時，在圖像坐標上與人的腳底相對應的點。接地點范圍計算裝置120還計算物體離接地點最遠的點(部分)的潛在范圍，即，考慮到障礙物，當物體是人時，在圖像坐標上與頭頂 (在此稱之為“頂點”)相對應的點。位置/大小估計裝置130根據(jù)物體在圖像坐標系統(tǒng)上的“接地點”和“頂點”的這兩個點集合來計算物體在真實世界坐標系統(tǒng)上的潛在位置(即，物體在地圖坐標系統(tǒng)上的位置以及物體的大小)。由于接地點范圍計算裝置120計算物體的“接地點”和“頂點”兩個點集合的潛在范圍，位置/大小估計裝置130所計算的結(jié)果是物體潛在的范圍和大小。人類大小一致性判斷裝置140將物體在真實世界坐標系統(tǒng)上的大小和人類在統(tǒng)計意義上的潛在大小相比較，以判斷物體是否具有人的潛在大小。由于位置/大小估計裝置130所計算的結(jié)果是物體的潛在大小的范圍，如果物體的潛在大小的范圍與人統(tǒng)計意義上的潛在大小的范圍相重疊，物體很可能是人。在此，假定物體的潛在大小的范圍是從由引用文檔1中所描述的Tsai的技術所計算的物體的大小(高度)的最小值到最大值，例如，從50cm到130cm。另一方面，假定人 (例如，日本人(小學生))在統(tǒng)計意義上的潛在大小的范圍是高度從IlOcm到180cm。從而，因為從IlOcm到130cm的范圍進行了重疊，物體很可能是高度在該范圍內(nèi)的人。頭部范圍計算裝置150計算物體區(qū)域在圖像坐標上的潛在范圍，頭部在圖像坐標上的潛在范圍，該頭部在圖像坐標上的潛在范圍是通過假定物體是“人”，基于人類身體和人類頭部的位置和大小之間的關系以及人類頭部的大小的潛在范圍而獲得的。物體區(qū)域在圖像坐標上的潛在范圍包括位置/大小估計裝置130所計算的值，該值是物體的位置和大小與和該物體相鄰的障礙物的區(qū)域相結(jié)合的潛在范圍?；谖矬w區(qū)域，由物體的最小高度來計算物體的最大高度。另一方面，人類高度和人類頭部大小之間的相關性(頭部大小在高度上的比例以及頭部和整個身體之間的物理關系)在醫(yī)學上在特定的范圍內(nèi)?；诖?，當已知人的高度時，可以計算頭部位置的潛在范圍。因此，通過假定物體的高度是人類的高度，可以將頭的位置和大小的潛在范圍縮小。由于頭部的位置和大小的范圍取決于人的姿態(tài)，可根據(jù)本發(fā)明的目的對人的姿態(tài)進行限制。如果將僅觀察到人的行走動作或站立姿態(tài)的視頻用作本實施例的判斷人的設備的輸入，則可以使用行走的人的整個身體和頭部之間的位置和大小的關系以及站立的人的整個身體和頭部之間的位置和大小的關系來作為限制。頭部檢測裝置160判斷圖像中的特定區(qū)域(頭部范圍計算裝置150所縮小的區(qū)域)是否包含“頭部”?？梢允褂糜糜诨诶鐖D像的亮度信息執(zhí)行統(tǒng)計模式識別的模式識別技術，以在判斷中檢測該特定區(qū)域中的頭部。由于本發(fā)明是用于判斷物體是“人”還”非人”，可以使用不對頭部的位置進行確認的技術。在頭部檢測裝置160判斷該特定區(qū)域(頭部范圍計算裝置150所縮小的區(qū)域)不包含“頭部”的情況下，判斷人的裝置170判斷該區(qū)域中示出的物體是否是人。在做出該判斷中，判斷可這樣進行通過使用物體的該區(qū)域的縱橫比來判斷物體是否是人，或者通過基于例如圖像的亮度信息來使用統(tǒng)計模式識別技術直接判斷物體是否是人?，F(xiàn)在，將要詳細描述本實施例的判斷人的設備的全部操作。在下面的描述中，假設基于來自外部攝像機的視頻信號來縮小物體的區(qū)域(要被判斷為“人”或“非人”的區(qū)域)，作為預處理。特別地，可以把將物體的區(qū)域指示為圖像坐標上的區(qū)域的信息輸入到隱蔽可能性判斷裝置110中，或者將從圖像提取的與物體的區(qū)域有關的信息輸入到隱蔽可能性判斷裝置110中。存在著所縮小的區(qū)域事實上不包含物體的可能性。在這種情況下，人類大小一致性判斷裝置140判斷其不是“人”。因此，可以將對該區(qū)域有可能包含物體進行指示的信息輸入到隱蔽可能性判斷裝置110，作為指示物體的區(qū)域的信息。圖2是用于描述圖1中示出的判斷人的設備的整個操作的流程圖。首先，隱蔽可能性判斷裝置110判斷物體的區(qū)域是否接觸圖像上的障礙物的區(qū)域 (步驟S110)。從而知道障礙物是否可能隱蔽了物體。然后，接地點計算裝置120計算在物體接觸地(接地點)處的接地點的潛在范圍， 以及物體與圖像坐標系統(tǒng)上的地相距最遠的點(頂點)的潛在范圍(S120)。在此，接地點計算裝置120通過考慮到物體被障礙物所隱蔽來計算該兩個點集合的潛在范圍。如果在步驟SllO中判斷物體不接觸障礙物(如果存在物體不被障礙物所隱蔽的可能性)，對物體的接地點和頂點進行簡單計算。根據(jù)在步驟S120中計算的物體在圖像坐標系統(tǒng)上的接地點和頂點的對應范圍， 位置/大小估計裝置130對物體在地圖坐標上的位置的潛在范圍和物體的大小的潛在范圍進行估計(步驟S130)?；跀z像機參數(shù)存儲器220中保存的值，執(zhí)行從圖像坐標系統(tǒng)到真實世界坐標系統(tǒng)的范圍變換。人類大小一致性判斷裝置140判斷在步驟S130中計算的物體在地圖坐標上的大小的范圍是否在人類大小的適當范圍內(nèi)(步驟S140)。如果在步驟S130中計算的物體的大小的潛在范圍的至少一部分在統(tǒng)計意義上人的大小的潛在范圍內(nèi)，那么該物體很可能是 “人”；因此，在步驟S140中判斷大小確實一致。另一方面，如果在步驟S130中計算的物體的大小的潛在范圍與統(tǒng)計意義上人的大小的潛在范圍沒有重疊，那么該物體很可能不是 “人”;因此，在步驟S140中判斷大小不一致。如果判斷大小確實一致，操作進行到下一步驟 S150。如果判斷大小不一致，操作結(jié)束。如果人類大小一致性判斷裝置140判斷大小確實一致，頭部范圍計算裝置150假定物體是人，并計算人的頭部在圖像坐標上的位置和大小的潛在范圍(步驟S150)。參考存儲在頭部檢測參數(shù)存儲器230中的參數(shù)，頭部檢測裝置160判斷在步驟 S150中計算的頭部的位置和大小的潛在范圍是否包含“頭部”(步驟S160)。例如，可以使用上述統(tǒng)計模式識別技術判斷是否存在“頭部”。如果在步驟S160中判斷存在頭部，頭部檢測裝置160輸出物體是“人”的判斷，然后結(jié)束操作。另一方面，如果在步驟S160中判斷不存在“頭部”(或者如果不能成功檢測到頭部)，判斷人的裝置170執(zhí)行判斷人的過程(步驟S170)?？梢詫⒂糜谂袛辔矬w是否是人的任何過程應用于該判斷人的過程。例如，判斷可這樣進行通過使用物體的該區(qū)域的縱橫比來判斷物體是否是人，或者通過基于例如圖像的亮度信息來使用統(tǒng)計模式識別技術直接判斷物體是否是人。根據(jù)上述實施例的判斷人的設備，通過考慮到物體被障礙物所隱蔽的區(qū)域，計算物體在圖像坐標系統(tǒng)上的位置和大小的范圍，將計算出的范圍變換為地圖坐標上的范圍， 并基于地圖坐標上的范圍，判斷物體是否是人。由于僅在存在物體是人的可能性的情況下才執(zhí)行用于確定是否存在“頭部”的判斷過程，可以減少處理量。通過考慮到物體被障礙物所隱蔽的區(qū)域，縮小了物體在圖像坐標系統(tǒng)上的位置和大小的范圍，并且在該縮小的范圍上執(zhí)行用于確定是否存在“頭部”的判斷過程。這減少了處理量，并且可以高性能地判斷是否存在“頭部”。以這種方式，即使隱蔽了除頭部之外的其他部分，實施例也可以低處理量和高性能地判斷物體是“人”還是“非人”。
實施例現(xiàn)在，將以特定的環(huán)境來詳細描述圖1中示出的判斷人的設備。在圖像坐標系統(tǒng)的向上方向是真實世界坐標系統(tǒng)上的高度方向的情況下(即，在人站立在地板上的情況下)，將以頭部出現(xiàn)在向上的方向上，腳出現(xiàn)在圖像向下的方向上的情況來描述本實施例。將很可能屏蔽物體的障礙物假定為僅為例如桌子或放在地板上的盒型或板型的物體。根據(jù)該情況，存在著人的接地點和頂點都被障礙物所屏蔽的情況以及僅接地點被障礙物所屏蔽的情況。如果接地點和頂點都被屏蔽，原則上不能檢測到圖像上的物體的區(qū)域。 因此事實上，接地點是應該被考慮到的唯一被屏蔽的部分?，F(xiàn)在，將詳細描述判斷從圖像檢測到的物體是否是人的操作。輸入到隱蔽可能性判斷裝置110的數(shù)據(jù)包括來自外部攝像機的圖像數(shù)據(jù)和對物體的區(qū)域進行指示的直角坐標值。障礙物存儲器210提前存儲將圖像上障礙物的區(qū)域表示為小的矩形集合的信息。當將關于障礙物的信息存儲在障礙物存儲器210中時，手動存儲從外部攝像機獲得的圖像數(shù)據(jù)。如果用于捕捉圖像的攝像機是固定的，可以使用所存儲的障礙物信息作為也用于在另一時間捕捉的圖像。在將障礙物的區(qū)域表示為小的矩形的集合的情況下的輸入工作量要比在以像素為單位輸入與障礙物區(qū)域有關的信息的情況下的輸入工作量更小。將用于攝像機圖像坐標系統(tǒng)和真實世界坐標系統(tǒng)之間的雙向轉(zhuǎn)換的參數(shù)存儲在攝像機參數(shù)存儲器220中。通過使用在上述引用文檔1中描述的攝像機校準技術來提前計算該參數(shù)。下面將簡要地描述攝像機校準技術的特定應用。攝像機鏡頭的恒定值(例如，焦距)已知。圖像上的坐標值實際上由攝像機捕捉， 并且關于真實世界坐標的參考面上的三點或更多點(例如，地)來手動計算真實世界地圖上對應的坐標值(地圖坐標)。然后，通過將這些值應用到上述引用文檔1中描述的公式來計算攝像機參數(shù)。作為頭部檢測裝置140判斷是否存在“頭部”的技術，在從要處理的區(qū)域剪切出的任何部分區(qū)域上，執(zhí)行在上述引用文檔2中所描述的“廣義學習矢量量化”的對是“頭部”還是“不是頭部”的判斷過程。為此，將“廣義學習矢量量化”所學到的參考矢量計算為用于判斷圖像的部分區(qū)域是“頭部”還是“不是頭部”的參數(shù)，并提前將其存儲在頭部檢測參數(shù)存儲器230中。現(xiàn)在，下面將參考圖1和圖2詳細描述判斷人的操作。首先，執(zhí)行對應于圖2中步驟SllO的操作。在步驟SllO中，判斷障礙物區(qū)域是否接觸物體區(qū)域的矩形區(qū)域，以判斷是否存在物體被隱蔽的可能性。在該實施例中，將圖像坐標系統(tǒng)的向上方向調(diào)節(jié)為真實世界坐標系統(tǒng)的高度方向，并且將障礙物調(diào)節(jié)為僅屏蔽物體的兩個點集合(如上所述，“接地點”和“頂點”)中的接地點。此外，在下一階段的步驟S120中，不需要除了該兩個點集合(例如與圖像上物體的下端相對應的“物體的接地點”和與圖像上物體的上端相對應的“頂點”)之外的點。因此，可以簡化步驟SllO中的過程。特別地，在步驟SllO中，僅必須判斷障礙物區(qū)域(矩形)的上端是否接觸物體區(qū)域(矩形)的下端。當將對障礙物區(qū)域進行指示的各個小的矩形的上端與物體區(qū)域(矩形)的下端的坐標值相比時，以及如果物體的下端的坐標值接觸圖像上各個小的矩形的上端，障礙物很可能隱蔽了物體的一部分。然后，執(zhí)行對應于圖2中步驟S120的操作。如果在步驟SllO中判斷障礙物沒有隱蔽物體，將物體下端的點判定為接地點，將物體上端的點判定為頂點。在圖3示出的示例中，在步驟SllO中將圖像上的兩個物體中在右邊示出的物體判斷為沒有被障礙物所隱蔽。因此，針對該右手邊的物體，將下端的點Pl 判定為接地點，將上端的點P2判定為頂點。另一方面，如果在步驟SllO中判斷障礙物隱蔽了物體，則存在物體的接地點在障礙物區(qū)域的上端和下端之間的可能性。因此，將障礙物區(qū)域的上端和下端之間的范圍(圖3 中表示為H)估計為物體的接地點的潛在范圍。將物體的上端的點估計為離地的最遠點(頂點)。這些離地的最遠點與當在步驟SllO中判斷物體未被隱蔽時判定為頂點的點相同。然后，執(zhí)行對應于圖2中步驟S130的操作。如果在步驟S120中判斷接地點和頂點各自都被判定為一個點，通過將圖像坐標上的接地點變換為真實世界坐標上的點，獲得物體在真實世界中的位置，即物體在地圖坐標上的位置。同樣地，針對物體的頂點，將這些點從圖像坐標變換為地圖坐標，并基于已變換的物體的頂點以及物體在地圖坐標上的位置，獲得物體的大小?？梢允褂蒙鲜鲆梦臋n1中所描述的計算技術作為使用上述坐標變換的計算技術。更具體地，可以使用在引用文檔3中描述的用于獲得物體在真實世界坐標中的高度的計算技術(Yuzo Ogawa, Hironobu Fujiyoshi, “ Visual Tracking System by Master-Slaving" ，The ninth Symposium on Sensing via Image Information，2003)作為計算技術(參見公式(8)和(9))。另一方面，如果接地點不是作為一點而是作為步驟S120中的潛在范圍而獲得，也需要將物體在地圖坐標上與接地點相對應的位置來作為范圍獲得。使用以下示出的近似計算來計算范圍。首先，分別計算物體的接地點的潛在范圍中最上面的端點(即，被變換為地圖坐標的接觸障礙物的點(點A))，以及物體的接地點的潛在范圍中最下面的端點(S卩，被變換為地圖坐標的障礙物的下端的點(點B))?？梢詫ⅫcA和點B之間的范圍估計為物體在地圖坐標上的潛在范圍。還需要計算物體在真實世界中的大小，雖然可以將該計算替換為對物體的大小的范圍的估計，將通過假定物體的接地點是點A而計算出的物體大小與通過假定物體的接地點是點B而計算出的物體大小之間的范圍作為估計出的范圍。然后，執(zhí)行對應于圖2中步驟S140的操作。判斷在步驟S130中計算的物體的實際大小的范圍是否與人類的大小的潛在范圍相重疊。具體地，可以將人類的身體的統(tǒng)計意義上的潛在高度的最大值和最小值判定為人的潛在范圍。在本發(fā)明的實際應用中，如果可以將出現(xiàn)在圖像中的人限定為日本籍的成人， 則可以使用該類別的統(tǒng)計值。理所當然地，可以替代使用高度實際上的最大值和最小值，使用實際上基于高度的統(tǒng)計分布可以忽略的最大值和最小值。如果在步驟S140中判斷物體很可能不是人類，將物體判斷為“非人”，并結(jié)束操作。
然后，執(zhí)行與圖2中的步驟S150相對應的操作，并估計頭部在圖像坐標上的潛在范圍和頭部大小的范圍。通過將步驟S140中計算的物體的高度假定為人的高度，計算人的頭部的潛在位置和頭部大小的范圍。特別地，如果將圖像中的人限定為行走或站立的人，可以根據(jù)頭部大小在人的高度中的分布來計算頭部大小的范圍?？梢怨烙嫞^部在從頂點開始的頭部大小范圍內(nèi)。然后，執(zhí)行對應于圖2中步驟S160的操作。針對步驟S150中估計的頭部的潛在范圍和頭部大小的潛在范圍來限制性地判斷是否存在“頭部”。執(zhí)行通過使用“廣義學習矢量量化”(一種統(tǒng)計模式識別方法)來判斷是 “頭部”還是“不是頭部”的過程，作為對可以從要處理的區(qū)域提取的各種部分區(qū)域的判斷技術。針對是否存在“頭部”，要判斷的范圍越窄，防止處理時間增加的潛力越大。如果在步驟S160的操作中判斷存在“頭部”，則判斷物體是“人”，并結(jié)束操作。然后，執(zhí)行對應于圖2中步驟S170的操作?？梢詫⒂糜谂袛辔矬w是否是人的任何過程分配給步驟S170，并且在本實施例中， 對判斷進行分配，該判斷使用了要被判斷的物體的區(qū)域的縱橫比。由于如果物體是行走或站立的人，其圖像上的物體范圍垂直地看起來很長，則判斷物體是“人”，并結(jié)束操作。否則， 判斷物體”非人”，并結(jié)束操作。理所當然，如果在實踐中用于判斷物體是人的直到步驟S160的過程足夠有效，便可以省略步驟S170?，F(xiàn)在，將描述實施例的優(yōu)勢。由于實施例縮小了對是否存在“頭部”進行判斷的過程的范圍，同時考慮到障礙物隱蔽物體的可能性，可以在不執(zhí)行任何浪費的計算的情況下精確地判斷是否存在“頭部”。 相應地，即使隱蔽了除頭部以外的部分，實施例也可以使用少量的處理來精確地執(zhí)行對象是“人”還是”非人”的判斷過程。雖然在本實施例中將在真實世界坐標系統(tǒng)中的高度方向調(diào)節(jié)為圖像坐標系統(tǒng)上向上的方向，然而，可以將該高度方向調(diào)節(jié)為除向上方向外的其他方向。在后者的情況下， 可以將所輸入的圖像旋轉(zhuǎn)該其他方向所產(chǎn)生的角度到向上的方向。通過將要輸入的圖像旋轉(zhuǎn)到圖像坐標系統(tǒng)上向上的方向，本發(fā)明可以提供與以上判斷障礙物是否隱蔽了物體的過程相同的優(yōu)勢。亦即，可以將物體和障礙物之間的隱蔽-被隱蔽的關系應用到在輸入之前進行了旋轉(zhuǎn)的圖像，或者通過將圖像坐標系統(tǒng)的軸從物體的頂點調(diào)節(jié)到接地點來應用到圖像。由于位置/大小估計裝置130所使用的公式考慮到該旋轉(zhuǎn)，該公式本身也是可用的。真實世界坐標系統(tǒng)中的高度方向或者與高度方向相反的方向可以指向圖像中的特定頂點，而不是指向圖像坐標系統(tǒng)中恒定的方向。更特別地，從站立在地板上的人的頂點到接地點的方向可以分別指向如圖4所示的特定頂點。當攝像機幾乎對準地面時可以觀察到這種情況。在該情況下，物體的頂點方向和接地點方向根據(jù)物體在圖像上的位置而改變。 在這種情況下，可以將物體和障礙物之間的隱蔽-被隱蔽關系應用到通過假定物體的下端的方向和障礙物的下端的方向都指向圖像上的點來進行的判斷。如果圖像由于鏡頭而極大地失真了，物體在圖像中的高度方向便不是簡單地指向點，在這種情況下，可以將物體在整個圖像中向著與物體的位置相對應的上端和下端的方向與圖像分開存儲在存儲器中，以使得可以根據(jù)方向來切換過程?？梢詫耐獠繑z像機提供的視頻信號的每幀來執(zhí)行圖2中示出的一系列過程。備選地，可以對從在圖像上提取的物體的每幀來執(zhí)行圖2中示出的一系列過程。根據(jù)本發(fā)明，即使物體被某個東西隱蔽到一定的程度，也可以使用少量的處理和低成本的裝置來判斷攝像機所捕捉到的移動圖像或靜止圖像中包含的物體是“人”還是“非人”。對于該優(yōu)勢，可以針對諸如對房間中的人員進行監(jiān)視的目的來應用本發(fā)明，在房間中， 有很多障礙物，例如桌子和架子。雖然已經(jīng)參考實施例描述了本發(fā)明，本發(fā)明不限于上述的實施例和示例。在不背離本發(fā)明的精神的情況下，可以對本發(fā)明的配置和操作進行本領域技術人員可以理解的各種修改。例如，在圖1中示出的配置中，可以將裝置部分集成在一起，以簡化配置。例如，判斷人的設備可以包括障礙物存儲器，存儲基于來自外部攝像機的視頻信號對圖像上的障礙物的區(qū)域進行指示的信息，障礙物是從圖像提取的；頭部范圍計算裝置，當從圖像提取的物體的一部分被障礙物所隱蔽時，假定物體與圖像上的參考面接觸處的接地點的潛在范圍是在障礙物存儲器中存儲的障礙物的區(qū)域，以及，基于所假定的范圍和之前所提供的人的高度與頭部的大小和位置之間的相關性，通過假定物體離接地點最遠的部分是人的頭部來計算頭部在圖像上的潛在范圍；以及頭部檢測裝置，判斷在頭部范圍計算裝置所計算的頭部的范圍內(nèi)，是否存在具有與頭部相對應的形狀的區(qū)域。根據(jù)上述配置，考慮到障礙物隱蔽物體的范圍來估計物體的范圍，將頭部的潛在范圍縮小到假定的范圍內(nèi)。因此，該設備可以減少頭部的判斷過程中的處理量，并將處理速度加速了所縮小的范圍的量。由于設備不需要使用多個攝像機，其可以避免更高成本的問題和要求安裝攝像機的環(huán)境所導致的限制。判斷人的設備還可以包括攝像機參數(shù)存儲器，保存能夠執(zhí)行圖像坐標上的點與真實世界坐標上的點之間的坐標變換的參數(shù)；位置/大小估計裝置，參考攝像機參數(shù)存儲器中保存的參數(shù)，將物體在圖像坐標上的位置和大小的潛在范圍變換為真實世界坐標上的位置和大小的范圍，所述物體在圖像坐標上的位置和大小的潛在范圍由所假定的接地點的范圍和該部分離參考面的高度所判定；以及人類大小一致性判斷裝置，基于人類大小和頭的大小在真實世界坐標上的統(tǒng)計分布，判斷由位置/大小估計裝置所變換的物體在真實世界坐標上的位置和大小的范圍是否是潛在的人類范圍，其中，當所述人類大小一致性判斷裝置判斷所述物體的位置和大小的范圍是潛在的人類范圍時，頭部范圍計算裝置可以計算物體的范圍中存在的頭部的潛在范圍。判斷人的設備還可以包括隱蔽可能性判斷裝置，判斷物體的區(qū)域在垂直于圖像坐標上的參考面的方向上是否接觸障礙物的區(qū)域的上端，以及如果所述區(qū)域接觸所述上端，判斷所述障礙物隱蔽了所述物體的一部分，其中，將障礙物在圖像上的區(qū)域定義為矩形形狀的區(qū)域。判斷人的設備還可以包括接地點范圍計算裝置，如果隱蔽可能性判斷裝置判斷障礙物隱蔽了物體的一部分，假定在垂直于圖像坐標上的參考面的方向上，從所述障礙物的區(qū)域的下端到上端的范圍是接地點的范圍，其中，所述頭部范圍計算裝置可以基于接地點范圍計算裝置所假定的范圍來計算頭部的范圍。此外，判斷人的設備還可以包括判斷人的裝置，如果所述頭部檢測裝置沒有檢測到與頭部相對應的形狀，判斷物體的區(qū)域的形狀是否滿足預定的對人在圖像坐標上的形狀進行指示的條件，以及如果滿足所述條件，判斷物體是人。在圖1示出的配置中，可以使用個人計算機來作為處理設備100，可以使用半導體存儲器作為存儲設備200。在該情況下，可以將障礙物存儲器210、攝像機參數(shù)存儲器220 和頭部檢測參數(shù)存儲器230視為半導體存儲器的一部分?？梢杂蓤?zhí)行判斷人的程序的個人計算機的CPU來提供隱蔽可能性存儲裝置110、接地點范圍計算裝置120、位置/大小估計裝置130、人類大小一致性判斷裝置140、頭部范圍計算裝置150、頭部檢測裝置160和判斷人的裝置170。判斷人的程序被用于使CPU執(zhí)行圖2中示出的一系列過程。上述實施例將物體在圖像坐標上的位置和大小的潛在范圍變換為在地圖坐標上的范圍，并基于在真實世界坐標上人類身體的大小和頭的大小的統(tǒng)計分布，判斷所變換的范圍是否是人的潛在范圍。備選地，可以將基于統(tǒng)計分布的在地圖坐標上人類身體的大小和頭的大小的范圍變換為圖像坐標上的范圍，以使得可以基于所變換的范圍判斷所估計的物體在圖像坐標上的大小是人的潛在范圍?？梢詫⒈景l(fā)明應用到監(jiān)視攝像機的整個領域。本申請要求基于JP2008-325447的優(yōu)先權(quán)(于2008年12月22日提交)，將此整體并入本文。
權(quán)利要求
1.一種判斷人的設備，包括障礙物存儲器，存儲從基于來自外部攝像機的視頻信號的圖像提取的對障礙物的區(qū)域進行指示的信息，所述障礙物是從所述圖像提取的；頭部范圍計算裝置，當從所述圖像提取的物體的一部分被所述障礙物所隱蔽時，假定所述物體與所述圖像上的參考面接觸處的接地點的潛在范圍是存儲在所述障礙物存儲器中的所述障礙物的區(qū)域，以及，基于所假定的范圍和之前所提供的人的高度與頭部的大小和位置之間的相關性，通過假定所述物體離接地點最遠的部分是人的頭部來計算頭部在圖像上的潛在范圍；以及頭部檢測裝置，判斷在所述頭部范圍計算裝置所計算的頭部的范圍內(nèi)，是否存在包括與頭部相對應的形狀的區(qū)域。
2.根據(jù)權(quán)利要求1所述的判斷人的設備，還包括攝像機參數(shù)存儲器，保存能夠執(zhí)行在圖像坐標上的點與真實世界坐標上的點之間的坐標變換的參數(shù)；位置/大小估計裝置，參考所述攝像機參數(shù)存儲器中保存的參數(shù)，將物體在圖像坐標上的位置和大小的潛在范圍變換為真實世界坐標上的位置和大小的范圍，所述物體在圖像坐標上的位置和大小的潛在范圍由所假定的接地點的范圍和該部分離參考面的高度所判定；以及人類大小一致性判斷裝置，基于人類大小和頭的大小在真實世界坐標上的統(tǒng)計分布， 判斷由所述位置/大小估計裝置所變換的物體在真實世界坐標上的位置和大小的范圍是否是潛在的人類范圍，其中頭部范圍計算裝置，當所述人類大小一致性判斷裝置判斷所述物體的位置和大小的范圍是潛在的人類范圍時，計算在物體的范圍中存在的頭部的潛在范圍。
3.根據(jù)權(quán)利要求1或2所述的判斷人的設備，還包括隱蔽可能性判斷裝置，判斷物體的區(qū)域在垂直于圖像坐標上的參考面的方向上是否接觸障礙物的區(qū)域的上端，以及如果所述區(qū)域接觸所述上端，則判斷所述障礙物隱蔽了所述物體的一部分，其中將障礙物在圖像上的區(qū)域定義為矩形形狀的區(qū)域。
4.根據(jù)權(quán)利要求3所述的判斷人的設備，還包括接地點范圍計算裝置，如果所述隱蔽可能性判斷裝置判斷障礙物隱蔽了物體的一部分，假定在垂直于圖像坐標上的參考面的方向上，從所述障礙物的區(qū)域的下端到上端的范圍是接地點的范圍，其中所述頭部范圍計算裝置基于所述接地點范圍計算裝置所假定的范圍來計算頭部的范圍。
5.根據(jù)權(quán)利要求1至4中任一項所述的判斷人的設備，還包括判斷人的裝置，如果所述頭部檢測裝置沒有檢測到與頭部相對應的形狀，判斷物體的區(qū)域的形狀是否滿足預定的對人在圖像坐標上的形狀進行指示的條件，以及如果滿足所述條件，判斷物體是人。
6.一種判斷人的方法，用于基于來自外部攝像機的視頻信號，判斷出現(xiàn)在圖像中的物體是否是人，所述方法包括參考障礙物存儲器，所述障礙物存儲器存儲對障礙物在圖像上的區(qū)域進行指示的信息；當從圖像提取的物體的一部分被所述障礙物所隱蔽時，假定物體與圖像上的參考面接觸處的接地點的潛在區(qū)域是存儲在所述障礙物存儲器中的障礙物的區(qū)域；基于所假定的范圍以及之前提供的人的高度與頭部的大小和位置之間的相關性，通過假定物體離接地點最遠的部分是人的頭部，計算頭部在圖像上的潛在區(qū)域；以及判斷在所計算的頭部的范圍中，是否存在包括與頭部相對應的形狀的區(qū)域。
7. 一種在計算機中使用的程序，所述程序基于來自外部攝像機的視頻信號，判斷出現(xiàn)在圖像中的物體是否是人，所述程序使所述計算機執(zhí)行以下過程參考障礙物存儲器，所述障礙物存儲器存儲對障礙物在圖像上的區(qū)域進行指示的信息；當從圖像提取的物體的一部分被所述障礙物所隱蔽時，假定物體與圖像上的參考面接觸處的接地點的潛在區(qū)域是存儲在所述障礙物存儲器中的障礙物的區(qū)域；基于所假定的范圍以及之前提供的人的高度與頭部的大小和位置之間的相關性，通過假定物體離接地點最遠的部分是人的頭部，計算頭部在圖像上的潛在區(qū)域；以及判斷在所計算的頭部的范圍中，是否存在包括與頭部相對應的形狀的區(qū)域。
全文摘要
一種判斷人的設備，包括障礙物存儲器，存儲從基于來自外部攝像機的視頻信號的圖像提取的對障礙物的區(qū)域進行指示的信息，所述障礙物是從所述圖像提取的；頭部范圍計算裝置，當從所述圖像提取的物體的一部分被所述障礙物所隱蔽時，假定所述物體與所述圖像上的參考面接觸處的接地點的潛在范圍是存儲在所述障礙物存儲器中的所述障礙物的區(qū)域，以及，基于所假定的范圍和之前所提供的人的高度與頭部的大小和位置之間的相關性，通過假定所述物體離接地點最遠的部分是人的頭部來計算頭部在圖像上的潛在范圍；以及頭部檢測裝置，判斷在頭部范圍計算裝置所計算的頭部的范圍內(nèi)，是否存在包括與頭部相對應的形狀的區(qū)域。
文檔編號H04N7/18GK102257529SQ20098015163
公開日2011年11月23日 申請日期2009年12月14日 優(yōu)先權(quán)日2008年12月22日
發(fā)明者細井利憲 申請人:日本電氣株式會社