專利名稱：通過合作分布式視覺工作的智能四畫面顯示器的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及四畫面顯示器以及在單一顯示器上顯示多個視頻流的其它顯示器。
與四畫面顯示器配合使用的視頻系統(tǒng)的一部分如

圖1所示。圖1中，四個攝像機C1-C4表示為提供房間R的視頻監(jiān)視。房間R表示為具有基本呈方形的房屋面積，攝像機C1-C4分別位于房間R的不同角落。各攝像機C1-C4捕捉處于攝像機視場(分別為FOV1-FOV4)內(nèi)的圖像，如圖1所示。
應(yīng)指出，攝像機C1-C4通常位于房間里接近天花板的角落，并朝下且覆蓋要捕捉圖像的空間。但是，為了便于描述，攝像機C1-C4的視場FOV1-FOV4的表示和描述僅限于對應(yīng)于地面平面的二維，如圖1所示。因此，攝像機C1-C4可視為安裝在靠近地板且平行于地板朝向整個房間的位置。
圖1中，人P表示為位于靠近攝像機C1、C2的視場FOV1、FOV2的邊緣的位置，完全在攝像機C3的FOV3之內(nèi)以及C4的FOV4之外。參照圖2，說明四畫面顯示器D1-D4中的人P的圖像。顯示器D1-D4對應(yīng)于攝像機C1-C4?？梢钥吹?，人P正面的一半在顯示器D1(對應(yīng)于C1)中顯示，人P背面的一半在顯示器D2(對應(yīng)于C2)中顯示。人P的背面在D3(對應(yīng)于C3)的中央完全可見，在D4(對應(yīng)于C4)中看不到P的圖像。
先有技術(shù)四畫面顯示系統(tǒng)存在的問題在圖1和圖2中十分明顯?？梢钥吹剑幱谶@種位置的人P可能把他的右手越過身體，把物品放入左邊口袋，而四個顯示器的任一個中卻沒有顯示出他的手和物品。因此，人P可能站立在房間的某些區(qū)域并從商店中偷取商品，而在任何一個顯示器上無法觀察到這種偷竊行為。熟練的竊賊僅通過估計房間內(nèi)攝像機的視場，就能輕易地確定如何站位。此外，即使人P沒有仔細選定位置以使偷竊行為本身無法在攝像機之一上觀察到，但熟練的竊賊通常能夠選擇自己的位置，使他的圖像在兩個攝像機(例如用于顯示器D1和D2的攝像機C1和C2)之間分開。這會對監(jiān)視顯示器的人員在查看哪個顯示器方面造成充分的混亂，使竊賊能夠把商品放入其口袋、提包中而不被監(jiān)測到。
因此，本發(fā)明的一個目的是提供一種系統(tǒng)和方法，用于采用多個攝像機和顯示器來檢測人和對象，它在檢測到部分圖像時進行調(diào)節(jié)和調(diào)整，以便顯示人的至少一個完整正面圖像。
因此，本發(fā)明其中還包括一種用于調(diào)整人的顯示圖像的位置的系統(tǒng)。該系統(tǒng)包括控制單元，它接收圖像序列，并處理接收圖像以確定人是否位于待顯示的接收圖像的邊界處。如果是的話，則控制單元產(chǎn)生控制信號，控制提供圖像序列的光學(xué)裝置的位置，使得這個人完全位于圖像之內(nèi)。控制單元通過把圖像序列中的活動對象識別為人，并在圖像序列中跟蹤這個人向圖像邊界的移動，可確定這個人位于接收圖像的邊界處。
另外，控制單元可以從兩個或兩個以上的相應(yīng)光學(xué)裝置接收兩個或兩個以上圖像序列，其中光學(xué)裝置經(jīng)過定位，使得相應(yīng)兩個或兩個以上圖像序列的一些區(qū)域重疊，以及分開顯示(例如在四畫面顯示器中)兩個或兩個以上圖像序列。對于兩個或兩個以上圖像序列中的每個，控制單元處理序列的接收圖像以確定人是否位于接收圖像的邊界處。若對于兩個或兩個以上圖像序列中的至少一個，控制單元確定這個人位于接收圖像的邊界處，則控制單元產(chǎn)生控制信號，控制相應(yīng)圖像序列的光學(xué)裝置的位置，以便顯示完整圖像。
本發(fā)明還包括一種調(diào)整人的顯示圖像的位置的方法。首先，接收圖像序列。隨后，確定這個人是否位于待顯示的接收圖像的邊界處。如果是，則調(diào)整提供圖像序列的光學(xué)裝置的位置，使得這個人完全位于圖像之內(nèi)。
在包含于本發(fā)明的范圍之內(nèi)的另一種方法中，接收兩個或兩個以上圖像序列。確定這個人在每個待顯示的接收圖像序列中是全部可見還是部分可見。若確定這個人在待顯示的一個或多個接收圖像序列中部分可見，則調(diào)整提供一個或多個接收圖像序列中的相應(yīng)一個序列的至少一個光學(xué)裝置，使得這個人完全位于接收圖像之內(nèi)。
圖1是位于房間內(nèi)的提供四畫面顯示的攝像機的表示；圖2是位于如圖1所示的房間內(nèi)的人的四畫面顯示；圖3a是用于本發(fā)明的一個實施例、位于房間內(nèi)的攝像機的表示；圖3b是結(jié)合了如圖3a所示定位的攝像機的本發(fā)明的一個實施例的系統(tǒng)的表示；圖3c和3d是位于圖3a的房間內(nèi)的人的四畫面顯示，其中攝像機通過根據(jù)本發(fā)明的一個實施例的圖3b的系統(tǒng)進行調(diào)整。
參照圖3a，說明本發(fā)明的系統(tǒng)100的一個實施例的一部分。圖3a表示具有視場FOV1-FOV4、位于房間的四個角落、與圖1的四個攝像機相似的四個攝像機C1-C4。以下說明也將集中于二維描述，但本領(lǐng)域的技術(shù)人員可容易地把系統(tǒng)修改為三維。
圖3b描述系統(tǒng)100在圖3a中沒有標(biāo)明的其它部件。可以看到，各攝像機C1-C4分別安裝在步進電動機S1-S4上。步進電動機S1-S4允許攝像機C1-C4繞其相應(yīng)的中心軸(分別為A1-A4)旋轉(zhuǎn)。因此，例如，步進電動機C1能夠把攝像機C1轉(zhuǎn)動一個角度Φ，使得FOV1由圖3a中的虛線來定義。軸A1-A4在圖3a中從頁面的平面向外伸出，如軸A1所示。
步進電動機S1-S4由控制單元110所產(chǎn)生的控制信號來控制，其中控制單元110可以是例如微處理器或其它數(shù)字控制器?？刂茊卧?10分別通過線路LS1-LS4向步進電動機S1-S4提供控制信號。繞軸A1-A4的旋轉(zhuǎn)量分別確定攝像機C1-C4的光軸(在圖3a中分別為OA1-OA4)的位置。由于光軸OA1-OA4平分相應(yīng)的視場FOV1-FOV4且垂直于軸A1-A4，因此相應(yīng)光軸OA1-OA4繞轉(zhuǎn)動軸A1-A4的這種旋轉(zhuǎn)有效地確定攝像機C1-C4的視場FOV1-FOV4覆蓋的房間的區(qū)域。因此，例如，如果人P位于最初FOV1的邊界處如圖3a所示的位置，則從控制單元110發(fā)送到步進電動機S1、使攝像機C1繞軸A1旋轉(zhuǎn)角度Φ的控制信號將把這個人完全定位在FOV1(圖3a中表示為FOV1’)之內(nèi)。步進電動機S2-S4分別可同樣地控制攝像機C2-C4繞軸A2-A4旋轉(zhuǎn)。
再參照圖3a，可以看到，對于所示位置中的攝像機C1-C4的視場FOV1-FOV4，將在如圖3c所示的相應(yīng)四畫面顯示器中描述人P。P在視場和顯示器中的最初位置類似于上述圖2。對于圖3c的描述，攝像機C1處于其最初(未旋轉(zhuǎn))的位置，其中人P處于FOV1的邊界上。因此，在攝像機C1的顯示器D1中僅顯示了人P的正面圖像的一半。另外，人P處于FOV2的邊界上，因此在攝像機C2的顯示器D2中僅顯示了人P的背面圖像的一半。攝像機C3捕捉P的整個背面圖像，如顯示器D3中所示。人P完全位于C4的FOV4之外；因此，顯示器D4上沒有出現(xiàn)人P的圖像。
當(dāng)控制單元110發(fā)信號通知步進電動機S1把攝像機C1繞軸A1旋轉(zhuǎn)角度Φ、使攝像機C1的視場FOV’為如圖3a所示以及如上所述完全捕捉到人P的FOV’時，則人P的整個正面圖像將顯示在顯示器D1上，如圖3d所示。通過以這種方式旋轉(zhuǎn)攝像機C1，在顯示器D1中清楚地顯示了把物品放入其正面口袋的人P的圖像。
一個或多個攝像機C1-C4為了對分割的圖像或部分圖像進行調(diào)整而進行的這種旋轉(zhuǎn)由控制單元110通過對分別經(jīng)數(shù)據(jù)線路LC1-LC4從攝像機C1-C4接收的圖像進行圖像處理來確定。從攝像機接收的圖像最初經(jīng)過處理，確定受關(guān)注對象、如人體是否僅部分顯示在一個或多個顯示器上。在以下描述中，重點說明位于一個或多個攝像機的視場邊緣、因而僅部分出現(xiàn)在相應(yīng)顯示器的邊緣上的人體，如圖3c所示的攝像機D1和D2。
控制單元110可采用各種圖像識別算法進行編程，以便檢測人體，特別是識別因某個人處于攝像機視場的邊界上而使人體圖像部分顯示在顯示器邊緣時的情況。例如，對于所接收的各視頻流，控制單元110首先可編程為檢測圖像數(shù)據(jù)中的活動對象或物體，以及確定每個這種活動對象是不是人體。
在Srinivas Gutta和Vasanth Philomin于2001年2月27日提交的題為“通過模型集的對象分類”、序號為09/794443的美國專利申請(代理人檔案號為US010040)中描述了可用于對對象運動的這種檢測以及隨后把活動對象識別為人體進行程序設(shè)計的一種特定技術(shù)，通過引用將其結(jié)合到本文中且稱為“‘443申請”。因此，如‘443申請中所述，控制單元110分析所接收的每個視頻數(shù)據(jù)流以檢測其中的任何活動對象?！?43申請中提到的用于檢測運動的特定技術(shù)包括背景減法方案并利用彩色信息來分割對象。
可使用其它運動檢測技術(shù)。例如，在用于檢測運動的另一種技術(shù)中，對圖像的圖像陣列中的各像素(x，y)計算函數(shù)S(x，y，t)的值，各連續(xù)圖像用時間t表示S(x,y,t)=∂2G(t)∂t2*I(x,y,t)]]>其中G(t)是高斯函數(shù)，I(x，y，t)是圖像t中各像素的亮度。圖像中的邊緣的運動由S(x，y，t)中的時間過零點來標(biāo)識。這些過零點將聚類在圖像中，這些移動邊緣的聚類將提供運動中的人體輪廓。
聚類也可用于根據(jù)對象的位置、運動以及形狀來跟蹤連續(xù)圖像中對象的移動。對少量連續(xù)幀跟蹤聚類之后，就可建立例如具有恒定高度和寬度(“有界框”)的模型，并可對有界框在連續(xù)圖像中的重復(fù)出現(xiàn)進行監(jiān)測和量化(例如通過持續(xù)參數(shù))。這樣，控制單元110可檢測和跟蹤在攝像機C1-C4的視場之內(nèi)移動的對象。上述檢測和跟蹤技術(shù)在McKenna和Gong的“跟蹤面部”(Proceedings of the Second InternationalConference on Automatic Face and Gesture Recognition，Killington，Vt.，1996年10月14-16日，第271-276頁)中有詳細描述，將其內(nèi)容通過引用結(jié)合于本文中。(上述文件的第2部分描述對多個運動的跟蹤。)在數(shù)據(jù)流中控制單元110檢測活動對象并啟動對象跟蹤之后，控制單元110確定對象是不是人體。采用大量各種分類模型之一、例如特別可靠的分類模型“徑向基函數(shù)(RBF)”分類器對控制單元110編程?！?43申請描述了一種標(biāo)識人體的RBF分類技術(shù)，用于最佳實施例中，對控制單元110進行編程以識別所檢測的活動對象是不是人體。
簡言之，所述RBF分類器技術(shù)從每個所檢測的活動對象中提取兩個或兩個以上特征。最好是從每個所檢測的活動對象中提取x梯度、y梯度以及組合的xy梯度。梯度屬于活動體的視頻數(shù)據(jù)流中提供的圖像亮度的樣值陣列。各x梯度、y梯度和x-y梯度圖像由三個提供獨立分類的獨立RBF分類器使用。如以下的進一步描述，對象的RBF分類的這個集合(ERBF)改善了識別。
各RBF分類器是由三層組成的網(wǎng)絡(luò)。第一輸入層由源節(jié)點或感知單元組成，第二(隱藏)層由基函數(shù)(BF)節(jié)點組成，以及第三輸出層由輸出節(jié)點組成?；顒訉ο蟮奶荻葓D像饋送到輸入層，作為一維向量。從輸入層到隱藏層的變換是非線性的。一般來說，利用圖像對于類的適當(dāng)訓(xùn)練之后，隱藏層的各BF節(jié)點是對象分類(例如人體)的形狀空間上的共同特征之一的函數(shù)表示。因此，在利用圖像對類的適當(dāng)訓(xùn)練之后，隱藏層的各BF節(jié)點把輸入向量變換為反映BF由輸入向量激活的標(biāo)量值，它對于所考慮的對象的向量中所找出的、由BF所表示的特征的數(shù)量進行量化。
輸出節(jié)點沿活動對象的形狀空間把特征值映射為對象類型的一個或多個識別類，并確定活動對象的相應(yīng)加權(quán)系數(shù)。RBF分類器確定活動對象屬于具有加權(quán)系數(shù)最大值的類。RBF分類器最好是輸出一個值，它表明活動對象屬于對象的識別類的概率。
因此，接收例如視頻流中活動對象的x梯度向量作為輸入的RBF分類器將輸出為該對象(例如人體或另一個對象類)確定的分類以及它屬于該類輸出的概率。包含RBF分類器的集合的其它RBF分類器(即y梯度和xy梯度的RBF分類器)也會提供對活動對象的輸入向量的分類輸出和概率。由三個RBF分類器所識別的類和相關(guān)概率用于記分方案中以推斷活動對象是不是人體。
如果活動對象被分類為人體，則人要經(jīng)過表征過程。所檢測的人通過與表征關(guān)聯(lián)來“標(biāo)注”，因而能夠在后續(xù)圖像中被識別為已標(biāo)注的人。標(biāo)注人的過程與識別人的過程的不同之處在于，它不一定涉及明確地識別個人，而只是產(chǎn)生當(dāng)前圖像中的人被認為與前一個圖像中的人匹配的指示。通過標(biāo)注來對人進行的這種跟蹤能夠比對人的重復(fù)圖像識別更迅速、更有效地進行，從而允許控制單元110更易于在來自四個不同攝像機C1-C4的各視頻流中跟蹤多個人。
本領(lǐng)域已知的標(biāo)注人的基本技術(shù)采用例如模板匹配或彩色直方圖作為表征。在Antonio Colmenarez和Srinivas Gutta于2000年11月1日提交的題為“利用基于外貌和幾何特征的統(tǒng)計模型在圖像處理系統(tǒng)中標(biāo)注人”的美國專利申請序號09/703423(代理人檔案號US000273)中描述了一種通過利用結(jié)合了外貌和幾何特征的所標(biāo)注人的統(tǒng)計模型來提供更有效的標(biāo)注人的方法和設(shè)備，現(xiàn)將其通過引用結(jié)合于此，并且稱為“‘423申請”。
控制單元110在最佳實施例中采用‘423申請的技術(shù)來標(biāo)注和跟蹤先前已識別的人。跟蹤所標(biāo)注的人充分利用視頻段的先前幀中的已知位置和姿勢的序列。在‘423申請中，識別的人的圖像被分割為多個不同區(qū)域(r＝1，2，...，N)，例如頭部、軀干和腿部。處理視頻段的圖像I，從而為要標(biāo)注的人Ω產(chǎn)生基于外貌和幾何的統(tǒng)計模型P(I|T，ξ，Ω)，其中T是用于捕捉圖像I中人的全局移動的線性變換，ξ是用于捕捉給定時間點上人的局部移動的離散變量。
如‘423申請中所述那樣，人Ω的統(tǒng)計模型P由圖像I中人的像素總和、即P(pix|T，ξ，Ω)的總和組成?？紤]人的不同區(qū)域r時，值P(pix|T，ξ，Ω)是P(pix|r，T，ξ，Ω)的函數(shù)。重要的是P(pix|r，T，ξ，Ω)＝P(x|r，T，ξ，Ω)P(f|r，T，ξ，Ω)，其中像素的特征在于其位置x以及表示例如色彩和紋理的一個或多個外貌特征f(二維向量)。因此，利用人的各區(qū)域的外貌特征、如包含人的各區(qū)域的像素的色彩和紋理來執(zhí)行跟蹤。
P(x|r，T，ξ，Ω)和P(f|r，T，ξ，Ω)在其相應(yīng)的特征空間上均可近似為高斯分布?？蓮南袼乇旧砘驈慕o定像素周圍的指定“鄰域”中為給定像素獲取外貌特征向量f。外貌特征的色彩特征可根據(jù)諸如RGB、HIS、CIE等等眾所周知的色彩空間的參數(shù)來確定。紋理特征可利用諸如邊緣檢測、紋理梯度、伽柏濾波器、Tamura特征濾波器等等眾所周知的傳統(tǒng)技術(shù)來獲得。
這樣，圖像中像素的總和用于產(chǎn)生要標(biāo)注的人Ω的基于外貌和幾何的統(tǒng)計模型P(I|T，ξ，Ω)。生成之后，P(I|T，ξ，Ω)用于處理跟蹤人的操作中的后續(xù)圖像。如上所述，跟蹤所標(biāo)注的人充分利用視頻段的前幾幀中的已知位置和姿勢的序列。因此，要產(chǎn)生由圖像幀的序列所組成的視頻段中的人的似然概率，統(tǒng)計模型P(I|T，ξ，Ω)與序列上人的全局軌跡T的似然概率(例如可由通過卡爾曼濾波器實現(xiàn)的全局運動模型來表征)以及在序列上所表征的局部運動的似然概率(可利用采用了轉(zhuǎn)移矩陣的一階馬爾可夫模型來實現(xiàn))相乘。
在上述方法中，控制單元110識別人體并根據(jù)來自各攝像機C1-C4的每個視頻流中基于外貌和幾何的統(tǒng)計模型來跟蹤各種人。因此，控制單元110將對于從攝像機C1-C4接收的各視頻流中的每個人產(chǎn)生單獨的基于外貌和幾何的統(tǒng)計模型。由于模型基于累積地對個人是唯一的色彩、紋理和/或其它特征，因此控制單元110比較各種視頻流的模型，并識別所標(biāo)識的哪個人在各種視頻流的每個中是正被跟蹤的同一個人。
例如，集中于出現(xiàn)在至少兩個攝像機的視場中的一個人，這個人由此在至少兩個視頻流中被識別和跟蹤。為簡便起見，假定一個人為圖3a的人P，他正從房間中央走向圖3a所示的位置。因此，人P的完整圖像最初由C1-C4所捕捉。因此，處理器P在各視頻流中單獨識別人P，并根據(jù)所產(chǎn)生的獨立統(tǒng)計模型跟蹤各視頻流中的人P。控制單元110比較為數(shù)據(jù)流產(chǎn)生的P的統(tǒng)計模型(與正在數(shù)據(jù)流中移動的任何其它人的模型一起)，并根據(jù)人P在各數(shù)據(jù)流中相同的統(tǒng)計模型的相似性來確定。這樣，控制單元110在各數(shù)據(jù)流中關(guān)聯(lián)了對人P的跟蹤。
進行關(guān)聯(lián)之后，控制單元110監(jiān)測各數(shù)據(jù)流中對人P的跟蹤，以確定他是否移動到一個或多個攝像機的視場的邊界處。例如，如果人P從房間中央移動到圖3a所示的位置，則控制單元110在攝像機C1和C2的視頻流中跟蹤到達圖像邊界的P的圖像，如圖3c所示。作為響應(yīng)，控制單元110可如以上所述驅(qū)動步進電動機，旋轉(zhuǎn)一個或多個攝像機，使人P完全位于來自攝像機的圖像之內(nèi)。因此，控制單元110驅(qū)動步進電動機S1，順時針旋轉(zhuǎn)攝像機C1(如從圖3a看到的)，直到人P完全處于來自攝像機C1的圖像之內(nèi)(如圖3d的顯示器D1中所示)?？刂茊卧?10還可驅(qū)動步進電動機S2以順時針旋轉(zhuǎn)攝像機C2，直到人P完全處于來自攝像機C2的圖像之內(nèi)。
如上所述，通過旋轉(zhuǎn)攝像機C1，使人P的整個正面在圖3d中可見，即可觀察到這個人將物品放入他的口袋中。同樣也提到，控制單元110可重新定位所有攝像機(例如圖3a的攝像機C1和C2)，其中被跟蹤的人P位于視場的邊界處。但是，這對于系統(tǒng)的整體工作可能不是最有效的，因為希望其它攝像機覆蓋盡可能多的空間。因此，在人P移動到如圖3a所示(以及如圖3c所示)的位置時，控制單元110或者也可確定哪個攝像機對準(zhǔn)部分圖像中的人的正面。這樣，控制單元110將在來自攝像機C1和C2的圖像中隔離人的頭部區(qū)域(這是跟蹤過程中的分割區(qū)域之一)，并在其中應(yīng)用面部識別算法。面部識別可通過一種與上述利用RBF網(wǎng)絡(luò)識別人體相似的方式來進行，在上述文檔“跟蹤面部”中有詳細描述。對于來自C1的視頻流中的圖像，將檢測到匹配，因為人P朝向攝像機，但對于C2則不存在匹配。通過這樣確定，使人P朝向攝像機C1，攝像機C1由控制單元110進行旋轉(zhuǎn)，以捕捉P的完整圖像。另外，為了使空間的覆蓋率最大以及減少操作員的混淆，顯示P的背面部分的攝像機C2可由控制單元110進行逆時針旋轉(zhuǎn)，使得根本不顯示人P。
此外，還可為監(jiān)視顯示器的操作員提供以不同于控制單元110自動執(zhí)行的方式來移動攝像機的選項。例如，在上例中，控制單元110移動攝像機C1，使人P的正面的完整圖像顯示在顯示器D1上(如圖3d所示)，并且還移動攝像機C2，使人P的背面的完整圖像從顯示器D2中消除。但是，如果竊賊用其右手繞到他的后部口袋，則更需要攝像機C2的圖像。因此，可為操作員提供忽略控制單元110所執(zhí)行的移動的選項。如果選定的話，則控制單元110倒轉(zhuǎn)攝像機的移動，使人的完整圖像通過攝像機C2來捕捉，并顯示在D2上，而人的圖像從顯示器D1中去除?；蛘?，控制單元110也可單獨移動攝像機C2，使這個人的完整背面圖像顯示在顯示器D2上，同時完整的正面圖像保持在顯示器D1上?；蛘?，也可為操作員提供手動控制要旋轉(zhuǎn)哪個攝像機以及手動輸入旋轉(zhuǎn)量的選項。
另外，在某些情況下(例如極少有人訪問的高度機密區(qū)域)，控制單元110可調(diào)整所有攝像機的位置，使它們捕捉人的完整圖像。在這個人完全超出了攝像機的視場之外(如圖3a中的攝像機C4)的情況下，控制單元110可利用幾何因素(如下面即將說明的那些)來確定旋轉(zhuǎn)攝像機以捕捉圖像的方向。
作為對于控制單元110根據(jù)所產(chǎn)生的統(tǒng)計模型在各種視頻流中關(guān)聯(lián)相同的人以跟蹤這些人的備選方案，控制單元110可利用幾何推理來關(guān)聯(lián)相同的人。因此，對于各攝像機，控制單元110可把參考坐標(biāo)系與從各攝像機接收的圖像進行關(guān)聯(lián)。參考坐標(biāo)系的原點可定位于例如包含攝像機處于基準(zhǔn)位置時的圖像的畫面的中心上的點。當(dāng)攝像機由處理器經(jīng)由相關(guān)步進電動機移動時，控制單元110經(jīng)由來自步進電動機(例如通過線路LS1-LS4)的位置反饋信號或者通過記住過去和當(dāng)前步進的累積量和方向來記住移動量?？刂茊卧?10還調(diào)整坐標(biāo)系的原點，使其相對于畫面中的點保持不變?？刂茊卧?10在圖像中確定已識別的人的參考坐標(biāo)系中的坐標(biāo)(例如人的軀干的中心)。如上所述，參考坐標(biāo)系相對于圖像的畫面中的點保持不變；因此，人的坐標(biāo)隨著人在圖像中的移動而變化，控制單元110在各圖像中為每個人維護該坐標(biāo)。
如上所述，各攝像機的參考坐標(biāo)系相對于包含來自攝像機的圖像的畫面中的點保持固定。各攝像機的參考坐標(biāo)系通常在房間中的不同點上具有原點，并且可按照不同方式來定向。但是，由于它們各相對于房間(或各圖像中的房間畫面)為固定的，因此它們彼此之間可以是固定的?？刂茊卧?10經(jīng)過編程，使得各攝像機的參考坐標(biāo)系的原點和取向相對于另一個攝像機而言是已知的。
因此，正在攝像機的坐標(biāo)系中移動的所識別的人的坐標(biāo)由控制單元110轉(zhuǎn)換為其它攝像機中每一個的坐標(biāo)。如果所轉(zhuǎn)換的坐標(biāo)匹配一個或多個其它攝像機的視頻流中所識別的人，則控制單元110確定它們是相同的人，并為上述目的而關(guān)聯(lián)各數(shù)據(jù)流中對人的跟蹤。
控制單元110可利用數(shù)據(jù)流中統(tǒng)計模型的比較以及采用參考坐標(biāo)系的幾何比較，從而確定不同視頻流中所識別和跟蹤的人是同一個人。另外，一個可用作主要判定而一個用作輔助判定，例如，當(dāng)主要判定為不確定的時可使用輔助判定。
如上所述，為了便于描述，上述示范實施例實質(zhì)上依靠可通過步進電動機S1-S2繞圖3b所示的軸A1-A4旋轉(zhuǎn)的基本上水平的攝像機。這些實施例很適合位于房間中較高位置、例如靠近天花板的攝像機。這些攝像機可以是PTZ(平移、俯仰或變焦)攝像機。平移特征實質(zhì)上執(zhí)行上述實施例中步進電動機S1-S4的旋轉(zhuǎn)功能。攝像機的俯仰可通過相對于軸A1-A4調(diào)節(jié)攝像機的光軸角度的與各攝像機關(guān)聯(lián)的第二步進電動機來執(zhí)行，從而控制攝像機俯視房間的角度?；顒訉ο蟊蛔R別為人體并且以上述方式根據(jù)從攝像機接收的圖像來跟蹤，并且攝像機都可水平移動和垂直移動，以捕捉走到視場邊界的人的完整圖像。另外，通過垂直移動攝像機，所接收的圖像可由控制單元110進行處理，從而利用已知的圖像處理技術(shù)來說明三維(房間內(nèi)相對于攝像機的高度)?？刂茊卧?10所產(chǎn)生的用于提供不同圖像中的對象之間的幾何關(guān)系的參考坐標(biāo)系可擴展為包含第三維的高度。這些實施例當(dāng)然容易修改以容納超過或少于四個攝像機。
本發(fā)明包括調(diào)整一個或多個攝像機、使得在圖像中完全捕捉到站立在視場邊界上的人的其它方法。控制單元110為不同位置上的各個攝像機存儲房間的一系列基準(zhǔn)圖像?；鶞?zhǔn)圖像包括一般位于房間內(nèi)(例如架子、桌子、計算機等等)的對象，但不包括進出房間的任何對象、例如人(以下稱作“暫時對象”)?？刂茊卧?10可把每個的視頻流中的圖像與適當(dāng)?shù)幕鶞?zhǔn)圖像進行比較，并利用例如減法方案或者通過比較接收圖像和基準(zhǔn)圖像之間的梯度來識別屬于暫時對象的對象。這樣，對于各攝像機，在視頻流中識別一個或多個暫時對象的集合。
每個集合中的暫時對象的特定特征由控制單元110確定。例如，對象的色彩和/或紋理根據(jù)上述眾所周知的方法來確定。來自不同視頻流的對象集合中的暫時對象根據(jù)匹配特征、例如匹配色彩和/或紋理被識別為同一個對象。作為替代方式或者附加方式，上述與各攝像機的視頻流關(guān)聯(lián)的參考坐標(biāo)系可由控制單元110用于同樣如上所述根據(jù)位置來識別各視頻流中的同一個暫時對象。
對于在各種數(shù)據(jù)流中識別為相同的每個對象，控制單元110分析一個或多個數(shù)據(jù)流中的對象，確定是不是一個人?？刂茊卧?10可在如上所述以及‘443申請中所述的判定中采用ERBF網(wǎng)絡(luò)。在某個人位于某個對象之后或者位于攝像機之一的視場的邊界處時，控制單元110可能必須分析第二攝像機的數(shù)據(jù)流中的對象。
在對象被確定為一個人的情況下，當(dāng)這個人正在移動時，控制單元110在各種數(shù)據(jù)流中跟蹤這個人。如果人是靜止的或者停止不動，則控制單元110確定在一個或多個數(shù)據(jù)流中這個人是否被另一個對象(例如柱子、柜臺等)所遮蔽，或者因處于一個或多個攝像機的視場的邊緣而被部分截除。例如，控制單元110可通過圖像中的位置或者數(shù)據(jù)流的參考坐標(biāo)系來確定這個人位于視場的邊緣?；蛘撸刂茊卧?10也可通過對各圖像中的人的表面區(qū)域進行積分，確定這個人被遮蔽或位于視場的邊緣。如果積分對于一個或多個數(shù)據(jù)流中的人比對于其它對象要小，則攝像機可由控制單元110來調(diào)整，直到面積分為最大，從而在攝像機的視場中捕捉完整圖像(或者在某個對象遮蔽了這個人的情況下，盡可能多地捕捉)。或者，在這個人位于視場的邊緣時，攝像機也可重新定位，使這個人完全處于視場之外。如上所述，調(diào)整也可由控制單元110根據(jù)一個或多個圖像中的面部識別來進行，并且也可通過顯示器操作員的手工輸入來忽略。
通過引用將以下文檔結(jié)合于本文中1.Gutta、Huang、Jonathon和Wechsler的“人類面部的性別、種族本源和姿勢的分類專家的混合”(IEEE Transactions on NeuralNetworks，vol.11，no.4，第948-960頁，2000年7月)，其中描述了利用所接收圖像對面部細分類、如性別和種族的檢測?！皩＜一旌稀闭撐闹械募夹g(shù)可易于適合在圖像中識別其它個人特征、如年齡。
2.Wren等人的“Pfinder人體的實時跟蹤”(M.I.T.Media LaboratoryPerceptual Computing Section Technical Report No.353，發(fā)表于IEEETransaction on Pattern Analysis and Machine Intelligence，vol.19，no.7，第780-85頁，1997年7月)，它描述了在視頻圖像中查找并跟蹤人體(或者例如頭部或手)的“人類探測器”。
3.D.M.Gavrila的“從移動車輛中進行的行人檢測”(ImageUnderstanding Systems，DaimlerChrysler Research)(Proceedings of theEuropean Conference on Computer Vision，Dublin，Ireland，2000年)(見于www.gavrila.net)，它描述了利用模板匹配方法對圖像中的人(行人)的檢測。
4.Isard和Blake的“視覺跟蹤的壓縮-條件性密度傳播”(OxfordUniv.Dept.of Engineering Science，Int.J.Computer Vision，vol.29，no.1，第5-28頁，1998年)(見于www.dai.ed.ac.uk/CVonline/LOCAL_COPIES/ISARD1/condensation.html以及“Condensation”源代碼)，它描述了利用統(tǒng)計抽樣算法在圖像中檢測靜態(tài)對象以及利用推測模型來檢測對象運動。
5.Elgammal等人的“背景減法的非參數(shù)模型”(6th EuropeanConference on Computer Vision，ECCV 2000，Dublin，Ireland，2000年6月/7月)，它描述了利用減法方案在視頻圖像數(shù)據(jù)中檢測活動對象。
6.Raja等人的“利用彩色混合模型的分割和跟蹤”(Proceedings ofthe 3rd Asian Conference on Computer Vision，Vol.I，第607-614頁，中國香港，1998年1月)。
雖然本文參照附圖對本發(fā)明的說明性實施例進行了說明，但應(yīng)當(dāng)理解，本發(fā)明不限于這些具體的實施例，本發(fā)明的范圍要由所附權(quán)利要求書的范圍來定義。
權(quán)利要求
1.一種用于調(diào)整人(P)的顯示圖像的位置的系統(tǒng)(100)，所述系統(tǒng)(100)包括接收圖像序列的控制單元(110)，所述控制單元(110)處理所述接收圖像，以便確定所述人(P)是否位于要顯示的所述接收圖像的邊界處，以及當(dāng)確定所述人(P)位于要顯示的所述接收圖像的邊界處時，產(chǎn)生控制信號以控制提供所述圖像序列的光學(xué)裝置(C1-C4)的位置，使所述人(P)完全位于所述圖像之內(nèi)。
2.如權(quán)利要求1所述的系統(tǒng)(100)，其特征在于，所述控制單元(110)通過把所述圖像序列中的活動對象識別為人(P)并在所述圖像序列中跟蹤所述人(P)向所述圖像邊界的移動，確定所述人(P)位于所述接收圖像的邊界處。
3.如權(quán)利要求2所述的系統(tǒng)(100)，其特征在于，通過利用RBF網(wǎng)絡(luò)處理所述對象的數(shù)據(jù)，把所述活動對象識別為所述人(P)。
4.如權(quán)利要求2所述的系統(tǒng)(100)，其特征在于，在所述圖像序列中跟蹤所述人(P)的移動包括在所述圖像中識別所述人(P)的至少一個特征，并利用所述至少一個特征來跟蹤所述圖像中的所述人(P)。
5.如權(quán)利要求4所述的系統(tǒng)(100)，其特征在于，所述至少一個特征是所述圖像中的所述人(P)的至少一個區(qū)域的色彩和紋理其中至少一項。
6.如權(quán)利要求2所述的系統(tǒng)(100)，其特征在于，所述控制單元(110)從兩個或兩個以上的相應(yīng)光學(xué)裝置(C1-C4)接收兩個或兩個以上圖像序列，所述光學(xué)裝置(C1-C4)經(jīng)過定位，使所述相應(yīng)兩個或兩個以上圖像序列的一些區(qū)域重疊，以及分開顯示所述兩個或兩個以上圖像序列。
7.如權(quán)利要求6所述的系統(tǒng)(100)，其特征在于，對于所述兩個或兩個以上圖像序列其中的每個，所述控制單元(110)處理所述序列的接收圖像以確定所述人(P)是否位于所述接收圖像的邊界處。
8.如權(quán)利要求7所述的系統(tǒng)(100)，其特征在于，對于所述兩個或兩個以上圖像序列其中至少一個，在所述控制單元(110)確定所述人(P)位于所述接收圖像的邊界處時，所述控制單元(110)產(chǎn)生控制信號以控制相應(yīng)圖像序列的所述光學(xué)裝置(C1-C4)的位置，以便捕捉所述人(P)的完整圖像。
9.如權(quán)利要求8所述的系統(tǒng)(100)，其特征在于，所述控制單元(110)產(chǎn)生控制信號，使得所述光學(xué)裝置(C1-C4)移動到使所述人(P)完全位于所述圖像之內(nèi)的位置。
10.如權(quán)利要求7所述的系統(tǒng)(100)，其特征在于，對于所述兩個或兩個以上圖像序列其中的每個，所述控制單元(110)進行的關(guān)于所述人(P)是否位于所述序列的接收圖像的邊界處的判定包括在所述圖像序列中識別活動對象，判定所述活動對象是不是人，并在所述圖像序列中跟蹤已確定為人的活動對象。
11.如權(quán)利要求10所述的系統(tǒng)(100)，其特征在于，在每個所述圖像序列中對確定為人的活動對象的所述跟蹤還包括在兩個或兩個以上所述圖像序列中識別哪些人是同一個人。
12.如權(quán)利要求11所述的系統(tǒng)(100)，其特征在于，所述控制單元(110)通過把所述人(P)識別為兩個或兩個以上圖像序列中的同一個人(P)并且跟蹤所述人(P)到至少一個所述圖像序列的邊界處的位置，確定所述人(P)位于至少一個所述圖像序列的所述接收圖像的邊界處。
13.一種調(diào)整人(P)的顯示圖像的位置的方法，所述方法包括以下步驟接收圖像序列，判定所述人(P)是否位于要顯示的所述接收圖像的邊界處，以及調(diào)整提供所述圖像序列的光學(xué)裝置(C1-C4)的位置，使所述人(P)完全位于所述圖像之內(nèi)。
14.如權(quán)利要求13所述的方法，其特征在于，判定所述人(P)是否位于要顯示的所述接收圖像的邊界處的步驟包括在所述接收圖像中識別所述人(P)的步驟。
15.如權(quán)利要求14所述的方法，其特征在于，判定所述人(P)是否位于要顯示的所述接收圖像的邊界處的步驟還包括在所述接收圖像中跟蹤所述人(P)的步驟。
16.一種調(diào)整人(P)的顯示圖像的位置的方法，所述方法包括以下步驟接收兩個或兩個以上圖像序列；判定所述人(P)在每個要顯示的所述接收圖像序列中是全部還是部分可見；以及在判定所述人(P)在一個或多個要顯示的所述接收圖像序列中部分可見時，調(diào)整至少一個提供所述一個或多個接收圖像序列中的相應(yīng)一個序列的光學(xué)裝置(C1-C4)，使所述人(P)完全位于所述接收圖像之內(nèi)。
全文摘要
調(diào)整人的顯示圖像的位置的系統(tǒng)和方法。該系統(tǒng)包括控制單元，控制單元接收圖像序列并處理接收的圖像以確定人是否位于要顯示的接收圖像的邊界處。如果是的話，則控制單元產(chǎn)生控制信號，控制提供圖像序列的光學(xué)裝置的位置，從而使這個人完全位于圖像之內(nèi)。
文檔編號H04N5/225GK1555647SQ02818026
公開日2004年12月15日 申請日期2002年9月4日 優(yōu)先權(quán)日2001年9月17日
發(fā)明者S·V·R·古特塔, V·菲洛明, M·特拉科維, S V R 古特塔, 莆 , 迕 申請人:皇家飛利浦電子股份有限公司