專利名稱：將視頻內(nèi)容分析擴展到多個頻道的方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及到諸如安全系統(tǒng)的多頻道視頻系統(tǒng)，具體涉及到能執(zhí)行視頻內(nèi)容分析的系統(tǒng)。
在許多場合需要用計算機系統(tǒng)來自動分析視頻而不是由人監(jiān)視視頻。例如在一個安全系統(tǒng)中，觀察人員往往沒有足夠的注意力捕捉到長時間維持不變的場景中的突然變化。由一個觀察人員解析多個場景也是有益的。例如一個保衛(wèi)人員可以觀察由不同攝像機拍攝的多個場景中的動向。
在本地應用中，可以接收并且分析來自多個來源于例如多個頻道的視頻內(nèi)容以便自動推薦去改變頻道。例如，用戶在觀看一個頻道的同時能在另一個頻道中查找被打印出的所喜愛的演員的姓名。
視頻內(nèi)容分析的普遍領(lǐng)域是一個包含用于分析視頻內(nèi)容的許多不同動機的廣泛領(lǐng)域。但是一般來說，“簡單的”監(jiān)視設(shè)備(例如視頻運動檢測器和VCR)就是為多頻道輸入而設(shè)計和配置的。這樣能減少用戶必須購買的設(shè)備數(shù)量以免多花錢。然而，更加成熟的視頻處理(例如可得到的PC軟件或是高端的運動檢測器模塊)是按照每一時刻只能處理單一頻道來設(shè)計的。例如在先進的安全系統(tǒng)中，內(nèi)容分析設(shè)備是按照每一時刻只能處理單一頻道來設(shè)計的，用戶需要購買多個設(shè)備，每個設(shè)備“分析”一個頻道。
參見

圖1，例如在一個典型的先進的安全系統(tǒng)中，視頻數(shù)據(jù)是由一個視頻源100例如是攝像機接收的數(shù)據(jù)。在數(shù)據(jù)環(huán)中的某處有一個輔助設(shè)備195，例如是視頻記錄器。內(nèi)容分析程序110(按照所示的那樣并行或串行地)接收數(shù)據(jù)進行分析，并且將結(jié)果提供給一些其它程序例如是報警程序。
有一種系統(tǒng)可以用來按循環(huán)方式掃描多個頻道進行分析，但是這樣做可能會丟失實時信息，例如依賴運動數(shù)據(jù)所計算出的數(shù)據(jù)。造成這種延遲的主要原因在于各個模擬視頻信號在進行數(shù)字處理之前需要數(shù)字化。在數(shù)字轉(zhuǎn)換器嘗試與新信號源的同步信號同步的過程中，從一個信號到另一信號的切換會造成長達一幀時間的延遲。因此對于四個視頻信號，幀速率不會只是一個信號的四分之一而是要更低一些；可能要低到八分之一。還有，如果在循環(huán)中插入一件監(jiān)視設(shè)備例如是視頻記錄器，一個循環(huán)中多個頻道的輪回會造成監(jiān)視設(shè)備無法使用該數(shù)據(jù)。
對于現(xiàn)有技術(shù)需要提供這樣的內(nèi)容分析方式，它無需購買多個用于提供內(nèi)容分析的系統(tǒng)，并且能提供精確的實時信息。
通過提供多個頻道的空間多路復用并且適當?shù)胤治隹臻g多路復用的視頻信號，視頻內(nèi)容分析系統(tǒng)將一個系統(tǒng)的內(nèi)容分析能力擴展到多個頻道。所得到的系統(tǒng)可以降低現(xiàn)有系統(tǒng)的成本，并使得這種系統(tǒng)能夠與監(jiān)視設(shè)備例如是攝像機配合工作。該系統(tǒng)還能保留多個源信號中固有的實時信息。
按照一個實施例，本發(fā)明提供的一種視頻數(shù)據(jù)內(nèi)容分析方法包括以下步驟將視頻數(shù)據(jù)多路復用，以使多個場景的視頻分布在一個視頻流中，各個視頻數(shù)據(jù)的至少一部分被分配給由所產(chǎn)生的經(jīng)多路復用的運動圖像所限定的一個運動圖像中各自的一部分中；分析多路復用視頻圖像的內(nèi)容，以便忽略各個視頻數(shù)據(jù)中其它視頻數(shù)據(jù)中的數(shù)據(jù)，從而產(chǎn)生對于多個場景中特定的一個的分析結(jié)果。
按照另一個實施例，本發(fā)明提供的一種多個視頻頻道的分析方法，包括以下步驟在多路復用器上對多個視頻數(shù)據(jù)組多路復用以產(chǎn)生在空間上經(jīng)多路復用的運動圖像；分析空間上多路復用運動圖像的至少第一部分，該第一部分對應著第一頻道，分析步驟包括忽略多路復用運動圖像中對應著第一頻道以外其它頻道的數(shù)據(jù)。
按照一個實施例，本發(fā)明提供的一種用來分析多個頻道視頻內(nèi)容的裝置，它包括適合接收經(jīng)空間上多路復用的視頻數(shù)據(jù)的一個輸入端，被編程成用于選擇視頻數(shù)據(jù)中在空間上不同的部分的一個控制器，這些部分中的每一部分對應于一個特定的視頻數(shù)據(jù)頻道，控制器進一步被編程成用于分析在空間上不同的部分的內(nèi)容，使得來自一部分的數(shù)據(jù)不會干擾對其它部分的分析。
以下要參照附圖結(jié)合具體的最佳實施例來描述本發(fā)明，以便于更完整地理解。通過參照附圖，需要強調(diào)的是，具體的說明僅僅是為了討論本發(fā)明的最佳實施例而提出的一些例子，是為了便于理解本發(fā)明的原理和概念而提供的。從這一點來看，并不追求為理解本發(fā)明的基本原理所需內(nèi)容之外更加具體地描述本發(fā)明的結(jié)構(gòu)細節(jié)，本領(lǐng)域的技術(shù)人員參照附圖的說明就能在實踐中實現(xiàn)本發(fā)明的多種形式。
圖1是按照現(xiàn)有技術(shù)的一種視頻內(nèi)容分析系統(tǒng)的示意圖。
圖2是用來說明在空間上多路復用視頻數(shù)據(jù)流的顯示圖像。
圖3是按照本發(fā)明一個實施例的數(shù)據(jù)流程圖。
圖4是可以用來實現(xiàn)本發(fā)明的一種硬件環(huán)境的示意圖。
參見圖2，本發(fā)明包括對視頻信號進行空間多路復用?？臻g多路復用的一種簡單形式是將來自多個頻道的各個圖像壓縮成一個圖像中的不同部分。圖中的各幀150，155，160和165中包括四個頻道的視頻。盡管有可能按任意方式按空間來多路復用這種圖像，例如直接觀看在一幀的不同位置上由多個二次采樣場景布置而成的象素，但最好的方式還是制成可供觀察人員觀看的圖像。例如，如果用監(jiān)視設(shè)備記錄并傳送多路復用的視頻流，其結(jié)果仍然能達到預期目的。這種結(jié)構(gòu)往往意味著來自各個場景的相鄰象素在合成圖像中仍是相鄰的。這種結(jié)構(gòu)通常還便于在計算機上處理，因為合成圖像能被裝載到存儲器中，而相鄰象素處在相鄰的存儲器位置，并且高速緩沖存儲器能被有效地利用。
參見圖3，用來實現(xiàn)本發(fā)明的一種系統(tǒng)包括各種視頻數(shù)據(jù)源101，102，103和104。盡管圖中所示數(shù)據(jù)源的數(shù)量是四個，該數(shù)量是隨意的。視頻數(shù)據(jù)被提供給一個空間多路復用器270。后者按照用傳統(tǒng)設(shè)備來重放視頻數(shù)據(jù)時該視頻數(shù)據(jù)能夠被理解的方式來組合該視頻數(shù)據(jù)。例如優(yōu)選地是按照多路復用的圖像的各幀中空間上獨立的圖像的形式來顯示視頻，讓數(shù)據(jù)源的各幀對應著經(jīng)多路復用的視頻的一幀。圖2表示一個例子。
經(jīng)多路復用的圖像可以提供給監(jiān)視設(shè)備395，例如是攝像機、廣播系統(tǒng)、顯示器或能夠重放或變換視頻數(shù)據(jù)的其它通用設(shè)備。圖示的監(jiān)視設(shè)備395是串聯(lián)的，也可以并聯(lián)連接或是處在系統(tǒng)中其它位置上。多路分解器275也從多路復用器270接收經(jīng)多路復用的視頻信號。多路分解器可以是一個軟件程序的軟件前端，用來分析視頻數(shù)據(jù)的多個頻道?；蛘呖梢允窃诙鄠€物理通道上輸出獨立視頻數(shù)據(jù)的硬件設(shè)備。多路分解器275基本上將多路復用流中的數(shù)據(jù)分配給相應的內(nèi)容分析程序211，212，213和214，以便在不受其它數(shù)據(jù)源101-104干擾的情況下對視頻數(shù)據(jù)進行分析。注意某種分析程序例如運動檢測是可以在原始的多路復用圖像上執(zhí)行的。各個獨立的程序211-214能夠產(chǎn)生各自的結(jié)果221，222，223和224。
注意，可以在單獨一個硬件例如是計算機或嵌入式系統(tǒng)上產(chǎn)生圖3的程序。這些程序可以通過多任務或多線程或是任何適當?shù)能浖夹g(shù)來實現(xiàn)。數(shù)據(jù)可以根據(jù)所執(zhí)行的分析的類型在這些程序間共享。還可以增加另外的內(nèi)容分析程序(未表示)，它對多路復用的視頻數(shù)據(jù)進行運算來執(zhí)行獨立的內(nèi)容分析程序(212-214)，以避免必須執(zhí)行可能要向獨立的內(nèi)容分析程序212-214傳送數(shù)據(jù)的程序。例如，這種程序可以對多路復用數(shù)據(jù)執(zhí)行運動檢測。
參見圖4，可以用來支持本發(fā)明程序的一例硬件環(huán)境包括分別從多個場景接收視頻輸入的攝像機310?？梢允乔度胧较到y(tǒng)或模擬多路復用器的一個計算機340接收視頻數(shù)據(jù)并且使其多路復用。如上所述可以將多路復用的圖像串行或并行地提供給監(jiān)視設(shè)備390?？梢酝ㄟ^Internet網(wǎng)絡330傳送多路復用的視頻數(shù)據(jù)?；蚴强梢酝ㄟ^模擬線路或電話網(wǎng)這樣的交換網(wǎng)傳送數(shù)據(jù)?？梢杂酶郊拥谋O(jiān)視設(shè)備395接收數(shù)據(jù)并且由適當?shù)南到y(tǒng)例如是計算機350執(zhí)行多路分解。后者也可以執(zhí)行內(nèi)容分析。
本發(fā)明并非僅限于上述實施例，這對于本領(lǐng)域的技術(shù)人員是顯而易見的，本發(fā)明的原理或基本屬性可以由其它具體形式來體現(xiàn)。因此所述的實施例完全是為了解釋而并非限制，本發(fā)明的范圍是由附屬的權(quán)利要求書而不是說明書來限定的，所以屬于權(quán)利要求書范圍內(nèi)的所有變更及其等效物都應該包括在內(nèi)。
權(quán)利要求
1.一種分析視頻數(shù)據(jù)內(nèi)容的方法，包括以下步驟-對上述視頻數(shù)據(jù)多路復用，以使多個場景的視頻分布在一個視頻流中，各個所述視頻數(shù)據(jù)的至少一部分被分配給由所產(chǎn)生的多路復用運動圖像所限定的一個運動圖像中相應的一部分；-分析上述經(jīng)多路復用視頻圖像的內(nèi)容，以忽略各個上述視頻數(shù)據(jù)中其它視頻數(shù)據(jù)的數(shù)據(jù)，從而產(chǎn)生對上述多個場景中一個的特定的分析結(jié)果。
2.按照權(quán)利要求1的方法，其特征在于各個上述視頻數(shù)據(jù)的上述至少一部分是經(jīng)二次采樣的運動圖像。
3.按照權(quán)利要求2的方法，其特征在于流程的上述第一步驟包括通過上述濾波器測量容量流量，并響應對上述容量流量的上述測量結(jié)果來確定上述第一間隔的持續(xù)時間。
4.按照權(quán)利要求3的方法，其特征是進一步包括記錄上述經(jīng)多路復用的運動圖像。
5.按照權(quán)利要求2的方法，其特征是進一步包括記錄上述經(jīng)多路復用的運動圖像。
6.按照權(quán)利要求1的方法，其特征在于流程的上述第一步包括通過上述濾波器測量容量流量，并響應對上述容量流量的上述測量結(jié)果來確定上述第一間隔的持續(xù)時間。
7.按照權(quán)利要求1的方法，其特征是進一步包括記錄上述經(jīng)多路復用的運動圖像。
8.一種分析多個視頻頻道的方法，包括以下步驟-在上述多路復用器上對多個視頻數(shù)據(jù)組多路復用，以產(chǎn)生在空間上經(jīng)多路復用的運動圖像；-分析上述空間上多路復用的運動圖像的至少第一部分，該第一部分對應著上述第一頻道；-上述分析步驟包括忽略上述經(jīng)多路復用的運動圖像中對應著上述第一頻道以外的其它頻道的數(shù)據(jù)。
9.按照權(quán)利要求8的方法，其特征是進一步包括在視頻記錄器上記錄上述經(jīng)多路復用的運動圖像。
10.按照權(quán)利要求9的方法，其特征是上述分析步驟包括對上述經(jīng)多路復用的運動圖像執(zhí)行在空間上的多路分解來產(chǎn)生多個運動圖像，所述多個運動圖像各自對應著相應的一個上述頻道。
11.按照權(quán)利要求10的方法，其特征是上述經(jīng)空間上多路復用的運動圖像包含多個幀，多個幀中的每個幀被劃分成空間上獨立的部分，每一部分對應著相應的一個上述頻道。
12.按照權(quán)利要求9的方法，其特征是上述經(jīng)空間上多路復用的運動圖像包含多個幀，多個幀中的每個幀被劃分成空間上獨立的部分，每一部分對應著相應的一個上述頻道。
13.按照權(quán)利要求8的方法，其特征是上述分析步驟包括對上述經(jīng)多路復用的運動圖像執(zhí)行在空間上的多路分解來產(chǎn)生多個運動圖像，多個運動圖像中的每一個對應著相應的一個上述頻道。
14.按照權(quán)利要求8的方法，其特征是上述空間上多路復用的運動圖像包含多個幀，多個幀中的每一個幀被劃分成空間上獨立的部分，各部分對應著相應的一個上述頻道。
15.一種用來分析多個頻道的視頻內(nèi)容的裝置，包括-適合接收在空間上多路復用的視頻數(shù)據(jù)的一個輸入端(330，195)；-被編程成用于選擇上述視頻數(shù)據(jù)中在空間上不同的部分的一個控制器(395，110)，上述部分中的每一個部分對應著各自的一個特定視頻數(shù)據(jù)頻道；-上述控制器進一步被編程成用于分析上述在空間上不同的部分的內(nèi)容，以使得來自一部分的數(shù)據(jù)不會干擾對其它部分的分析。
16.按照權(quán)利要求15的裝置，其特征是上述在空間上多路復用的視頻數(shù)據(jù)包含多個幀，其中每一個幀劃分成獨立的子幀，各個所述子幀對應著由一個相應的攝像機成像的一個不同場景。
全文摘要
一種視頻內(nèi)容分析系統(tǒng)將一個系統(tǒng)的內(nèi)容分析能力擴展到多個頻道，提供多個頻道在空間上的多路復用并且適當?shù)胤治鼋?jīng)空間多路復用的視頻信號。所得的系統(tǒng)可以降低現(xiàn)有系統(tǒng)的成本，并使得這種系統(tǒng)能夠與監(jiān)視設(shè)備例如攝像機配合工作。該系統(tǒng)還能保留多個源信號中固有的實時信息。
文檔編號H04N7/08GK1541377SQ02815782
公開日2004年10月27日 申請日期2002年7月23日 優(yōu)先權(quán)日2001年8月13日
發(fā)明者D·M·萊昂斯, E·科亨-索拉爾, T·布羅德斯基, S·V·R·古特塔, D M 萊昂斯, R 古特塔, 索拉爾, 薜濾夠 申請人:皇家飛利浦電子股份有限公司