專利名稱：用于處理壓縮視頻圖像中陰影的系統(tǒng)及方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于檢測(cè)在壓縮視頻圖像中移動(dòng)對(duì)象區(qū)域以及去除的移動(dòng)對(duì)象相關(guān)聯(lián)陰影的系統(tǒng)及方法。
背景技術(shù)：
多媒體技術(shù)(包含用于視頻以及圖像相關(guān)的應(yīng)用的技木)廣泛使用在安全監(jiān)控、醫(yī)療診斷、教育、娛樂以及商業(yè)展現(xiàn)等各種領(lǐng)域。例如，高分辨率視頻越來越普遍使用在安全監(jiān)控應(yīng)用中，使得重要的安全信息得以實(shí)時(shí)地以改進(jìn)的分辨率(例如，每圖像一百萬像素或更高)捕捉。在高分辨率安全監(jiān)控系統(tǒng)中，通常通過攝像機(jī)記錄視頻，且在將視頻文件傳輸?shù)交虼鎯?chǔ)在存儲(chǔ)裝置或安全監(jiān)控中心之前，壓縮所記錄的原始視頻數(shù)據(jù)(raw videodata)。然后，視頻文件可由處理裝置進(jìn)行分析。在安全監(jiān)控應(yīng)用中移動(dòng)對(duì)象受到顯著關(guān)注。例如，可分析在私人建筑物(privatebuilding)的入口處獲得的監(jiān)控視頻以識(shí)別是否有未經(jīng)批準(zhǔn)的人企圖進(jìn)入建筑物。例如，監(jiān)控系統(tǒng)可識(shí)別移動(dòng)對(duì)象的移動(dòng)軌跡(trajectory)。如果軌跡指示人已到達(dá)某位置，那么可觸發(fā)警報(bào)或者可通知警衛(wèi)。因此，檢測(cè)移動(dòng)對(duì)象并識(shí)別其軌跡可提供有用的信息來用于保證受監(jiān)控場所的安全。然而，許多照明條件會(huì)造成攝像機(jī)在視頻圖像中記錄下移動(dòng)對(duì)象的陰影。為了識(shí)別準(zhǔn)確的移動(dòng)軌跡，需要從所記錄的視頻圖像中移除與移動(dòng)對(duì)象相關(guān)聯(lián)的陰影。否則，可觸發(fā)錯(cuò)誤警報(bào)，或者可導(dǎo)致計(jì)算錯(cuò)誤。傳統(tǒng)的圖像處理方法要求在對(duì)攝像機(jī)所傳輸?shù)膲嚎s視頻數(shù)據(jù)進(jìn)行陰影檢測(cè)和移除之前先進(jìn)行解壓縮。然而，對(duì)高分辨率視頻數(shù)據(jù)進(jìn)行解壓縮通常耗時(shí)，且有時(shí)需要花費(fèi)昂貴的計(jì)算資源。因此，有需要提供一種處理壓縮視頻圖像和/或在壓縮視頻圖像的程序中檢測(cè)與移動(dòng)對(duì)象相關(guān)聯(lián)的陰影的系統(tǒng)和/或方法。

發(fā)明內(nèi)容
在一實(shí)施例中，本揭露提供一種用于處理壓縮視頻圖像的方法。所述方法從壓縮視頻圖像中檢測(cè)候選對(duì)象區(qū)域。候選對(duì)象區(qū)域包含移動(dòng)對(duì)象以及與移動(dòng)對(duì)象相關(guān)聯(lián)的陰影。針對(duì)在候選對(duì)象區(qū)域中的每ー數(shù)據(jù)塊，所述方法計(jì)算用以編碼相應(yīng)數(shù)據(jù)塊中的時(shí)間變化的編碼數(shù)據(jù)量。然后，所述方法在由數(shù)據(jù)塊組成的候選對(duì)象區(qū)域中識(shí)別陰影，每ー數(shù)據(jù)塊具有低于閾值的編碼數(shù)據(jù)量。在另ー實(shí)施例中，本揭露還提供用于處理壓縮視頻圖像的內(nèi)陰影去除的方法。所述方法從壓縮視頻圖像中檢測(cè)表示移動(dòng)對(duì)象的對(duì)象圖像區(qū)域。此對(duì)象圖像區(qū)域包含與移動(dòng)對(duì)象相關(guān)聯(lián)的陰影。然后，所述方法基于所檢測(cè)的對(duì)象圖像區(qū)域來確定假想移動(dòng)對(duì)象(hypothetical moving object)。所述方法進(jìn)ー步形成在其中獲得壓縮視頻圖像的環(huán)境模型，且基于環(huán)境模型確定假想移動(dòng)對(duì)象的假想陰影。應(yīng)了解的是，上述的一般描述和下文的詳細(xì)描述都是示范性和解釋性的，且希望、提供如所主張的本揭露的進(jìn)ー步解釋。


圖I繪示本揭露ー實(shí)施例的示范性監(jiān)控系統(tǒng)。圖2繪示本揭露ー實(shí)施例的用于檢測(cè)壓縮圖像域中移動(dòng)對(duì)象的陰影的示范性過程的流程圖。圖3繪示本揭露ー實(shí)施例的具有移動(dòng)對(duì)象及其相關(guān)聯(lián)陰影的示范性視頻圖像。圖4繪示本揭露ー實(shí)施例的用于檢測(cè)H. 264壓縮視頻圖像中陰影的示范性過程的流程圖。圖5繪示本揭露ー實(shí)施例的移動(dòng)對(duì)象及其相關(guān)聯(lián)陰影的示范性編碼。
圖6繪示本揭露ー實(shí)施例的用于基于環(huán)境模擬檢測(cè)陰影的示范性過程的流程圖。圖7繪示本揭露ー實(shí)施例的在環(huán)境模型中的示范性假想移動(dòng)對(duì)象。圖8繪示本揭露ー實(shí)施例的用于陰影捜索的示范性過程的流程圖。附圖標(biāo)記100:監(jiān)控系統(tǒng)101 :視頻處理和監(jiān)控系統(tǒng)102 :監(jiān)控相機(jī)103:通信接 ロ110:處理器120 :存儲(chǔ)器模塊121 :操作系統(tǒng)122 :視頻處理軟件123 :數(shù)據(jù)庫130 :輸入裝置140 :顯示裝置150:通信接 ロ301、302、303、304、305、306 :圖像311 :靜止對(duì)象312 :移動(dòng)對(duì)象313:陰影400 :過程501 :移動(dòng)對(duì)象502:陰影510、520 :譜
具體實(shí)施例方式圖I繪示監(jiān)控系統(tǒng)100的范例。在本揭露的一實(shí)施例中，監(jiān)控系統(tǒng)100可安裝在各種地方以監(jiān)控在這些地方發(fā)生的活動(dòng)。例如，監(jiān)控系統(tǒng)100可安裝在銀行機(jī)構(gòu)、政府建筑物、博物館、超級(jí)市場、醫(yī)院或具有受管制的場所。
在某些實(shí)施例中，監(jiān)控系統(tǒng)100可包含視頻處理和監(jiān)控系統(tǒng)101、多個(gè)監(jiān)控相機(jī)102以及通信接ロ 103。例如，可將監(jiān)控相機(jī)102分布在整個(gè)監(jiān)控場所中，且視頻處理和監(jiān)控系統(tǒng)101可配置在所述場所上或遠(yuǎn)離所述場所。視頻處理和監(jiān)控系統(tǒng)101和監(jiān)控相機(jī)102可經(jīng)由通信接ロ 103進(jìn)行通信。通信接ロ 103可為有線通信網(wǎng)絡(luò)或無線通信網(wǎng)絡(luò)。在ー些實(shí)施例中，通信接ロ 103可具有足以實(shí)時(shí)地將視頻圖像從監(jiān)控相機(jī)102傳輸?shù)揭曨l處理和監(jiān)控系統(tǒng)101的帶寬。監(jiān)控相機(jī)102 可為模擬閉路電視(analog closed-circuit television, CCTV)相機(jī)或因特網(wǎng)協(xié)議(internet protocol, IP)相機(jī)等攝像機(jī),其經(jīng)配置以捕捉ー個(gè)或ー個(gè)以上監(jiān)控區(qū)域的視頻圖像。例如，攝像機(jī)可安裝在銀行分行的入口上方或緊靠ATM機(jī)。在ー些實(shí)施例中，監(jiān)控相機(jī)102可連接到例如中心網(wǎng)絡(luò)視頻記錄器(未圖示)等記錄裝置，其經(jīng)配置以記錄視頻圖像。在其它ー些實(shí)施例中，監(jiān)控相機(jī)102可具有內(nèi)建的記錄功能，且可因此直接記錄到數(shù)字存儲(chǔ)介質(zhì)，例如，快閃碟(flash drive)、硬盤(hard disk drive)或網(wǎng)絡(luò)附接存儲(chǔ)器(network attached storageノ。
由監(jiān)控相機(jī)102獲得的視頻數(shù)據(jù)可在被傳輸?shù)揭曨l處理和監(jiān)控系統(tǒng)101之前進(jìn)行壓縮。在本揭露中，視頻壓縮指代減少用以表示數(shù)字視頻圖像的數(shù)據(jù)量。因此，假定在通信接ロ 103上有預(yù)先確定的帶寬，那么壓縮視頻數(shù)據(jù)可比原始/未壓縮的視頻數(shù)據(jù)更快地傳輸。因此，視頻圖像可實(shí)時(shí)地在視頻處理和監(jiān)控系統(tǒng)101上進(jìn)行顯示。視頻壓縮可作為空間上圖像壓縮(spatial image compression)和時(shí)間上運(yùn)動(dòng)補(bǔ)償(temporal motion compensation)的組合來實(shí)施?？墒褂酶鞣N視頻壓縮方法來壓縮視頻數(shù)據(jù)，例如，離散余弦變換(discrete cosine transform,DCT)、離散小波變換(discretewavelet transform,DWT)、碎形壓縮(fractural compression)、匹配追蹤等。特別是許多基于DCT所開發(fā)出來的視頻壓縮標(biāo)準(zhǔn)，包含H. 120、H. 261、MPEG-I、H. 262/MPEG-2、H. 263、MPEG-4以及H. 264/MPEG-4AVC。H. 264是目前用于記錄、壓縮和傳播高清晰度視頻最常用的格式中的ー個(gè)。因此，本揭露討論與H. 264標(biāo)準(zhǔn)下壓縮的視頻數(shù)據(jù)相關(guān)聯(lián)的本揭露的實(shí)施例。然而，本揭露仍可應(yīng)用于用其它壓縮標(biāo)準(zhǔn)或方法壓縮的視頻數(shù)據(jù)。如在圖I中所繪示，視頻處理和監(jiān)控系統(tǒng)101可包含處理器110、存儲(chǔ)器模塊120、用戶輸入裝置130、顯示裝置140以及通信裝置150。處理器110可為中央處理單元(,central processing unit, CPU)或圖形處理單兀(graphic processing unit, GPU)。依據(jù)所使用的硬件的類型，處理器110可包含ー個(gè)或ー個(gè)以上的印刷電路板和/或微處理器芯片。處理器110可執(zhí)行計(jì)算機(jī)程序指令的序列，以執(zhí)行將在下文更詳細(xì)地闡釋的各種方法。在許多實(shí)施例中，處理器Iio可為H. 264解碼器，其經(jīng)配置以解壓縮使用H. 264標(biāo)準(zhǔn)下壓縮的視頻圖像數(shù)據(jù)。存儲(chǔ)器模塊120尤其可為隨機(jī)存取存儲(chǔ)器(random access memory, “RAM”)和只讀存儲(chǔ)器(read-only memory，“ROM”)。可從ROM或其它適合的存儲(chǔ)器位置中存取且讀取計(jì)算機(jī)程序指令，并加載到RAM中供處理器110執(zhí)行。例如，處理器110可存儲(chǔ)ー個(gè)或ー個(gè)以上應(yīng)用軟件(software application)。存儲(chǔ)在存儲(chǔ)器模塊120中的應(yīng)用軟件可包括常見用于計(jì)算機(jī)系統(tǒng)以及軟件控制裝置的操作系統(tǒng)121。另外，存儲(chǔ)器模塊可存儲(chǔ)可由處理器110執(zhí)行的應(yīng)用軟件的整個(gè)或一部分。在一些實(shí)施例中，存儲(chǔ)器模塊120可存儲(chǔ)視頻處理軟件122，其可由處理器110執(zhí)行。例如，視頻處理軟件122可被執(zhí)行以將陰影從壓縮視頻圖像中移除。還可預(yù)期的是，視頻處理軟件122或其部分可存儲(chǔ)在可裝卸計(jì)算機(jī)可讀媒體(例如，硬盤驅(qū)動(dòng)器、計(jì)算機(jī)磁盤、CD-ROM、DVD ROM、CD土RW或DVD土RW、USB閃存驅(qū)動(dòng)器、記憶棒、或其它任何適合的媒體)上，且可在視頻處理和監(jiān)控系統(tǒng)101的任何適合的組件上運(yùn)行。舉例來說，用以執(zhí)行視頻處理的應(yīng)用程序的一部分可駐存在可裝卸計(jì)算機(jī)可讀媒體上，且由處理器110使用已復(fù)制到存儲(chǔ)器120的例程來讀取并采取行動(dòng)。在一些實(shí)施例中，存儲(chǔ)器模塊120還可存儲(chǔ)主數(shù)據(jù)(master data)、用戶數(shù)據(jù)(user data)、應(yīng)用程序數(shù)據(jù)(application data)和 / 或程序代碼(program code)。例如，存儲(chǔ)器模塊120可存儲(chǔ)數(shù)據(jù)庫123，其中具有從監(jiān)控相機(jī)102傳輸來的各種壓縮視頻數(shù)據(jù)。在一些實(shí)施例中，輸入裝置130和顯示裝置140可通過適當(dāng)?shù)慕榻与娐?interfacing circuitry)而稱合到處理器110。在一些實(shí)施例中，輸入裝置130可為硬件鍵盤、小鍵盤(keypad)或觸摸屏(touch screen),例如警衛(wèi)等授權(quán)用戶(authorized user)即可將信息輸入到視頻處理和監(jiān)控系統(tǒng)101。顯示裝置140可包含ー個(gè)或ー個(gè)以上的顯示屏，其可顯示視頻圖像或與用戶相關(guān)的任何信息。通信裝置150可提供通信連接，使得視頻處理和監(jiān)控系統(tǒng)101可與例如視頻相機(jī)102等外部裝置交換數(shù)據(jù)。在一些實(shí)施例中，通信裝置150可包含網(wǎng)絡(luò)接ロ(未圖示)，其經(jīng)配置以接收來自通信接ロ 103的壓縮視頻數(shù)據(jù)。監(jiān)控系統(tǒng)100中的ー個(gè)或ー個(gè)以上組件可用來實(shí)施與視頻處理相關(guān)的過程。例如，圖2繪示用于檢測(cè)壓縮圖像域中移動(dòng)對(duì)象的陰影的示范性過程200的流程圖。在接收壓縮視頻流時(shí)開始過程200 (步驟201)。例如，視頻數(shù)據(jù)可由監(jiān)控相機(jī)102使用H. 264標(biāo)準(zhǔn)記錄并壓縮，且經(jīng)由通信接ロ 103傳輸?shù)揭曨l處理和監(jiān)控系統(tǒng)101。視頻數(shù)據(jù)表示一連串視頻圖像，其中記錄不同時(shí)間點(diǎn)處的受監(jiān)控區(qū)域信息。在一些實(shí)施例中，視頻流可包含以宏塊(macroblock)形式編碼的視頻數(shù)據(jù)。宏塊通常由兩個(gè)或兩個(gè)以上像素塊組成。塊的尺寸可取決于編解碼器(codec)，且通常為4的倍數(shù)。例如，在例如H. 263和H. 264等現(xiàn)代編解碼器中，宏觀的宏塊尺寸(overarchingmacroblock size)可固定為16 X 16像素，但可分解為4、8、12或16像素乘4、8、12或16像素的較小塊或分割區(qū)塊。顏色和亮度信息也可編碼在宏塊中。例如，宏塊可含有4Y(亮度)塊、ICb(藍(lán)色差)塊、ICr (紅色差)塊。在8X8宏塊的實(shí)例中，亮度可以8X8的像素尺寸編碼，而紅色差和藍(lán)色差信息可各自以2 X 2尺寸編碼。在一些實(shí)施例中，宏塊可進(jìn)ー步包含描述編碼的標(biāo)頭信息(header information)。例如,其可包含ADDR單元,其指示塊在視頻圖像中的地址；TYPE単元，其識(shí)別宏塊的類型(例如，幀內(nèi)、幀間、雙向幀間)；QUANT単元，其指示用以改變量化的量化值；VECT0R單元，其存儲(chǔ)運(yùn)動(dòng)向量；CBP單元，其存儲(chǔ)可指示塊在宏塊中匹配程度的位屏蔽。視頻圖像?？烧故救舾蓪?duì)象，包含靜止對(duì)象(static object)以及移動(dòng)對(duì)象(moving objects) 0由于發(fā)光源的存在，視頻圖像也可展示這些對(duì)象的陰影。特別是，與移動(dòng)對(duì)象相關(guān)聯(lián)的陰影的形狀、尺寸和方位可隨時(shí)間變化。例如，圖3為具有移動(dòng)對(duì)象和陰影的示范性視頻圖像。圖像301展示靜止對(duì)象311 (例如,樹)。圖像301進(jìn)ー步展示移動(dòng)對(duì)象312 (例如，人)以及移動(dòng)對(duì)象312的陰影313。移動(dòng)對(duì)象312和陰影313可在圖像中在不同時(shí)間點(diǎn)及不同位置出現(xiàn)。圖像301展示其在時(shí)間點(diǎn)t-2、t-1和t處的位置。在過程200的步驟202中，可在壓縮視頻圖像中檢測(cè)到對(duì)應(yīng)于ー個(gè)或ー個(gè)以上移動(dòng)對(duì)象以及其相應(yīng)陰影的候選對(duì)象區(qū)域。在一些實(shí)施例中，可基于尚未將其解壓縮到原始數(shù)據(jù)域中的壓縮視頻數(shù)據(jù)來檢測(cè)候選對(duì)象區(qū)域。圖3的圖像302展示分別在時(shí)間點(diǎn)t-2、t-1和t處所檢測(cè)的候選對(duì)象區(qū)域。在一些實(shí)施例中，候選圖像區(qū)域可包含移動(dòng)對(duì)象以及其陰影兩者。在一些實(shí)施例中，可使用多種圖像分割方法來檢測(cè)候選對(duì)象區(qū)域。其中，處理器110部分譯碼用以編碼相對(duì)應(yīng)數(shù)據(jù)塊中的時(shí)間變化的直流(明暗度)與交流(圖像紋理)成份的數(shù)據(jù)量，然后在由數(shù)據(jù)塊組成的候選對(duì)象區(qū)域中，通過陰影區(qū)域直流與交流成份編碼的數(shù)據(jù)量的特性，識(shí)別候選對(duì)象中的移動(dòng)對(duì)象及此移動(dòng)對(duì)象相關(guān)聯(lián)的陰影區(qū)域。例如，處理器110可聚集時(shí)間上鄰近的視頻圖像，并計(jì)算在所聚集的圖像中的每 一“塊”的運(yùn)動(dòng)向量(motion vector)。因?yàn)檫\(yùn)動(dòng)向量表示的是塊內(nèi)的時(shí)間變化,所以具有較大運(yùn)動(dòng)向量的塊可被識(shí)別為候選對(duì)象區(qū)域的一部分。此外或替代地，處理器110也可基于亮度、顔色和位移向量等經(jīng)編碼的圖像特征來計(jì)算時(shí)間上鄰近的兩張視頻圖像之間的差異?；谒?jì)算的差異，處理器110可進(jìn)ー步識(shí)別塊是否屬于候選對(duì)象區(qū)域或背景。處理器110可進(jìn)ー步將所識(shí)別的塊“連接”到連續(xù)區(qū)域(continuous region)中。例如,處理器110可將候選圖像區(qū)域確定為覆蓋所識(shí)別的塊的連續(xù)區(qū)域。在一些實(shí)施例中，處理器110可在候選圖像區(qū)域中標(biāo)記塊。在過程200的步驟203中，可在候選對(duì)象區(qū)域中檢測(cè)陰影。在一些實(shí)施例中，可基于H. 264宏塊來進(jìn)行檢測(cè)。例如，圖4繪示用于檢測(cè)在H. 264壓縮視頻圖像中的陰影的示范性過程400的流程圖。在步驟401中，可將H. 264壓縮視頻數(shù)據(jù)部分解碼以獲得宏塊的信息。在步驟402中，可分析在候選圖像區(qū)域中的宏塊。例如，針對(duì)候選對(duì)象區(qū)域中的每一宏塊，處理器110可計(jì)算用以編碼對(duì)應(yīng)視頻數(shù)據(jù)的DC編碼位(步驟403)和AC編碼位(步驟404)。圖5說明移動(dòng)對(duì)象501和陰影502的示范性編碼。針對(duì)基于DCT的壓縮方法，DC編碼位通常用來編碼亮度上的均勻改變，而AC編碼位通常用來編碼圖像樣式、紋理或顔色上的改變。由于移動(dòng)對(duì)象501的移動(dòng)可造成樣式、紋理或顔色上的較不均勻的改變，所以其可需要比陰影502更多的編碼位。如圖5所繪示，陰影502的信息主要以DC編碼位進(jìn)行編碼(見譜520)，而移動(dòng)對(duì)象501的信息通常以DC編碼位和AC編碼位兩者進(jìn)行編碼(見譜510)。因此，在步驟405中，處理器110可基于每一宏塊的編碼數(shù)據(jù)的譜分布來估計(jì)在候選圖像區(qū)域內(nèi)的移動(dòng)對(duì)象501或陰影502的位置。在一些實(shí)施例中，在步驟403和步驟404中，處理器110可計(jì)算用以編碼宏塊的時(shí)間變化信息的編碼數(shù)據(jù)量(例如，由DC和AC編碼位攜帯的信息量)。因此，在步驟405中，處理器110可自候選對(duì)象區(qū)域識(shí)別所估計(jì)的陰影區(qū)，其是由具有較小量AC編碼數(shù)據(jù)的宏塊組成。例如，處理器110可將每一宏塊的編碼數(shù)據(jù)量與預(yù)定閾值進(jìn)行比較。如果超過閾值，那么將宏塊標(biāo)記為移動(dòng)對(duì)象501的一部分。否則，將宏塊標(biāo)記為陰影502的一部分。在其它實(shí)施例中，在步驟403和步驟404中，處理器110可計(jì)算用于每一宏塊的編碼數(shù)據(jù)的值。例如，處理器110可計(jì)算DC和AC編碼位。由于移動(dòng)對(duì)象501的AC編碼位傾向于具有高于陰影502的AC編碼位的值，所以在步驟405中，處理器110可識(shí)別由具有較大值的AC編碼位的那些宏塊組成的圖像區(qū)域，以做為估計(jì)對(duì)象的真實(shí)位置。基于在步驟405中對(duì)陰影位置的估計(jì)，處理器110可在候選圖像區(qū)域內(nèi)確定移動(dòng)對(duì)象501與陰影502之間的 邊界(步驟406)。例如，候選對(duì)象區(qū)域可被邊界分成兩個(gè)部分陰影圖像區(qū)域以及對(duì)象圖像區(qū)域。處理器110可基于兩個(gè)圖像區(qū)域的運(yùn)動(dòng)熵(motion entropy)來進(jìn)ー步精細(xì)化(refine)邊界。壓縮視頻數(shù)據(jù)中的每一宏塊可與一運(yùn)動(dòng)向量相關(guān)聯(lián)，所述運(yùn)動(dòng)向量為用于幀間預(yù)測(cè)的ニ維向量，所述預(yù)測(cè)可提供視頻圖像中坐標(biāo)與參考圖像中坐標(biāo)的偏移(offset)。與移動(dòng)對(duì)象中宏塊相關(guān)聯(lián)的運(yùn)動(dòng)向量可共用類似的或相同的移動(dòng)方向，而與在移動(dòng)陰影(moving shadow)中宏塊相關(guān)聯(lián)的運(yùn)動(dòng)向量可展示多種移動(dòng)方向。因此,與陰影的宏塊相關(guān)聯(lián)的運(yùn)動(dòng)向量的運(yùn)動(dòng)熵通?？筛吒膳c移動(dòng)對(duì)象相關(guān)聯(lián)的運(yùn)動(dòng)向量。因此，在將陰影圖像區(qū)域的運(yùn)動(dòng)熵與對(duì)象圖像區(qū)域的運(yùn)動(dòng)熵之間的差異最大化時(shí)，可準(zhǔn)確地設(shè)定移動(dòng)對(duì)象501與陰影502之間的邊界。在一些實(shí)施例中，可使用迭代(iterative)的方法來精細(xì)化邊界。例如，在步驟407中，處理器110可計(jì)算由步驟406中所確定的邊界分離的陰影圖像區(qū)域和對(duì)象圖像區(qū)域中的每ー者的運(yùn)動(dòng)熵。處理器110可進(jìn)ー步確定陰影圖像區(qū)域的運(yùn)動(dòng)熵與對(duì)象圖像區(qū)域的運(yùn)動(dòng)熵之間的差異。處理器110然后回到步驟406以稍微調(diào)整邊界，并再次執(zhí)行步驟407以確定運(yùn)動(dòng)熵中的另ー差異。步驟406和步驟407可重復(fù)執(zhí)行直到運(yùn)動(dòng)熵中的差異被最大化為止。基于在步驟403和步驟404中所計(jì)算的編碼位、在步驟407中所計(jì)算的運(yùn)動(dòng)熵，以及在步驟406中所確定的精細(xì)化的邊界，處理器110可使用本領(lǐng)域技術(shù)中已知的各種圖像分割和數(shù)據(jù)融合方法(例如，馬爾科夫隨機(jī)場(Markov Random Field, MRF)分類方法)來識(shí)別陰影502的位置(步驟408)。然后，過程400在步驟408之后終止。回到圖2，在過程200的步驟204中基于宏塊檢測(cè)對(duì)象圖像(步驟203)之后，可基于環(huán)境模型進(jìn)行進(jìn)一歩預(yù)測(cè)陰影位置。在一些實(shí)施例中，可模擬在其下獲得視頻圖像的環(huán)境配置。例如，圖6繪示基于環(huán)境模擬來檢測(cè)陰影的示范性過程600的流程圖。在步驟601中，可基于在步驟203中所檢測(cè)的對(duì)象圖像區(qū)域來確定假想移動(dòng)對(duì)象。例如，圖3的圖像303繪示與所檢測(cè)對(duì)象圖像區(qū)域重疊的假想移動(dòng)對(duì)象。在一些實(shí)施例中，假想移動(dòng)對(duì)象可呈三維幾何模型的形式，例如，圓柱體、立方體、金字塔形等。例如，圖7繪示示范性假想移動(dòng)對(duì)象701和702。假想移動(dòng)對(duì)象701經(jīng)模型化為立方體，且假想移動(dòng)對(duì)象702經(jīng)模型化為圓柱體。在步驟602中，可形成環(huán)境模型。在一些實(shí)施例中，處理器110可在真實(shí)的監(jiān)控環(huán)境中接收發(fā)光源的位置信息的輸入。然后，處理器110可形成包含發(fā)光源和假想移動(dòng)對(duì)象的環(huán)境模型。在步驟603中，處理器110可模擬從發(fā)光源的位置到假想移動(dòng)對(duì)象上的光投影(light projections)。因此,在步驟604中，處理器110可估計(jì)假想移動(dòng)對(duì)象的陰影位置(例如，假想陰影710和720)，如圖7所繪示。因?yàn)橐苿?dòng)對(duì)象在受監(jiān)控區(qū)域中移動(dòng)，所以移動(dòng)對(duì)象的陰影的尺寸和形狀可在不同時(shí)間點(diǎn)處改變。例如，圖3的圖像304繪示在不同時(shí)間點(diǎn)處的圓柱形假想移動(dòng)對(duì)象的假想陰影。過程600可在步驟604之后終止?；氐綀D2，在基于宏塊檢測(cè)陰影位置(步驟203)和基于環(huán)境模型預(yù)測(cè)陰影位置(步驟204)之后，可在步驟205中執(zhí)行從壓縮視頻圖像中搜索陰影。其中，處理器110可基于環(huán)境光照模型計(jì)算移動(dòng)對(duì)象所產(chǎn)生的陰影區(qū)域，并將此計(jì)算所得的陰影區(qū)域與前項(xiàng)基于宏區(qū)塊所檢測(cè)的陰影位置融合計(jì)算，以獲得真實(shí)移動(dòng)對(duì)象的區(qū)域。例如，圖8繪示用于陰影搜索的示范性過程800的流程圖。在步驟801和802中，可由處理器110接收基于H. 264宏塊所檢測(cè)的陰影位置和基于環(huán)境模型所斷言的陰影位置，并將這些陰影位置聚集在一起(步驟 803)。例如，圖3的圖像305展示移動(dòng)對(duì)象在不同時(shí)間點(diǎn)t_2、t-1和t所聚集的陰影位置。在步驟804中，處理器110可計(jì)算陰影位置的定界框(bounding box)。在ー些實(shí)施例中，定界框可為覆蓋所聚集陰影位置的開端的矩形框。例如，圖3的圖像306繪示在不同時(shí)間點(diǎn)處的陰影位置的定界框。盡管在此是以矩形的定界框?yàn)槔稣f明，但此定界框也可為其它適合的形狀，例如，圓形、橢圓形、三角形等。過程800可在步驟804之后終止。回到圖2，在步驟206中，陰影即可被移除。在一些實(shí)施例中，處理器110可使用背景視頻數(shù)據(jù)來代替在定界框內(nèi)的宏塊的視頻數(shù)據(jù)。例如，處理器110可使用剛好在定界框的外部的相鄰宏塊的視頻數(shù)據(jù)。圖3的圖像306繪示在移除陰影之后僅具有移動(dòng)對(duì)象的視頻圖像。在一些實(shí)施例中，作為步驟206的部分，處理器110可進(jìn)ー步計(jì)算移動(dòng)對(duì)象的移動(dòng)軌跡。過程200在步驟206之后終止。雖然本發(fā)明已以實(shí)施例掲示如上，然其并非用以限定本發(fā)明，任何所屬技術(shù)領(lǐng)域的普通技術(shù)人員，當(dāng)可作些許更動(dòng)與潤飾，而不脫離本發(fā)明的精神和范圍。
權(quán)利要求
1.一種用于處理壓縮視頻圖像的方法，其包括 由處理器從所述壓縮視頻圖像中檢測(cè)候選對(duì)象區(qū)域，其中所述候選對(duì)象區(qū)域包含移動(dòng)對(duì)象以及與所述移動(dòng)對(duì)象相關(guān)聯(lián)的陰影； 針對(duì)在所述候選對(duì)象區(qū)域中的每ー數(shù)據(jù)塊，由所述處理器部分解碼用以編碼所述相應(yīng)數(shù)據(jù)塊中的時(shí)間變化的ー編碼數(shù)據(jù)量；以及 由所述處理器在由數(shù)據(jù)塊組成的所述候選對(duì)象區(qū)域中識(shí)別所述陰影，每ー數(shù)據(jù)塊具有低于閾值的編碼數(shù)據(jù)量。
2.根據(jù)權(quán)利要求I所述的方法，其特征在于用H.264壓縮方法對(duì)所述壓縮視頻圖像進(jìn)行壓縮。
3.根據(jù)權(quán)利要求I所述的方法，其特征在于檢測(cè)所述候選對(duì)象區(qū)域包括 從所述壓縮視頻圖像中識(shí)別多個(gè)圖像區(qū)域，其中所述圖像區(qū)域具有預(yù)定的編碼特征；以及 確定覆蓋所述多個(gè)圖像區(qū)域的連續(xù)區(qū)域。
4.根據(jù)權(quán)利要求I所述的方法，其特征在于所述編碼數(shù)據(jù)量為由所述相應(yīng)的數(shù)據(jù)塊的DC編碼位以及AC編碼位攜帯的一信息量。
5.根據(jù)權(quán)利要求4所述的方法，其進(jìn)ー步包括針對(duì)每一數(shù)據(jù)塊，計(jì)算所述DC編碼位以及所述AC編碼位的值。
6.根據(jù)權(quán)利要求5所述的方法，其特征在于識(shí)別所述陰影包含識(shí)別具有大于預(yù)定閾值的所述AC編碼位的值的所述數(shù)據(jù)塊。
7.根據(jù)權(quán)利要求I所述的方法，其特征在于識(shí)別所述陰影包含確定在表示所述移動(dòng)對(duì)象的數(shù)據(jù)塊與表示所述陰影的數(shù)據(jù)塊之間的邊界。
8.根據(jù)權(quán)利要求7所述的方法，其特征在于確定所述邊界包含 計(jì)算用于表示所述移動(dòng)對(duì)象的所述數(shù)據(jù)塊的運(yùn)動(dòng)向量的第一熵值； 計(jì)算用于表示所述陰影的所述數(shù)據(jù)塊的所述運(yùn)動(dòng)向量的第二熵值；以及 確定所述第一熵值與所述第二熵值之間的差。
9.根據(jù)權(quán)利要求8所述的方法，其特征在于識(shí)別所述陰影包含識(shí)別表示所述陰影的所述數(shù)據(jù)塊，使得將所述差最大化。
10.根據(jù)權(quán)利要求I所述的方法，其進(jìn)ー步包括通過用背景視頻數(shù)據(jù)代替所述陰影中的數(shù)據(jù)塊來從所述壓縮視頻圖像中移除所述陰影。
11.根據(jù)權(quán)利要求I所述的方法，其進(jìn)ー步包括 由該處理器基于所檢測(cè)的對(duì)象圖像區(qū)域來決定ー假想移動(dòng)對(duì)象； 由該處理器形成在其中獲得所述壓縮視頻圖像的ー環(huán)境模型； 由該處理器基于該環(huán)境模型來決定用于所述假想移動(dòng)對(duì)象的一假想陰影；以及由該處理器聚集在所述候選對(duì)象區(qū)域中所識(shí)別的陰影以及基于環(huán)境模型所預(yù)測(cè)的假想陰影。
12.一種用于處理壓縮視頻圖像的方法，其包括 由處理器從所述壓縮視頻圖像中檢測(cè)表示移動(dòng)對(duì)象的對(duì)象圖像區(qū)域，其中所述壓縮視頻圖像包含與所述移動(dòng)對(duì)象相關(guān)聯(lián)的陰影； 由所述處理器基于所檢測(cè)的對(duì)象圖像區(qū)域來確定假想移動(dòng)對(duì)象；由所述處理器形成在其中獲得所述壓縮視頻圖像的環(huán)境模型；以及 由所述處理器基于所述環(huán)境模型來確定用于所述假想移動(dòng)對(duì)象的假想陰影。
13.根據(jù)權(quán)利要求12所述的方法，其進(jìn)ー步包括 接收在其下獲得所述壓縮視頻圖像的發(fā)光源的位置信息；以及 將來自所述發(fā)光源的光投射到所述假想移動(dòng)對(duì)象上。
14.根據(jù)權(quán)利要求12所述的方法，其進(jìn)ー步包括 從所述壓縮視頻圖像中搜索最匹配所述假想陰影的陰影圖像區(qū)域。
15.根據(jù)權(quán)利要求14所述的方法，其進(jìn)ー步包括 基于所述陰影圖像區(qū)域形成定界框；以及 通過用背景視頻數(shù)據(jù)代替所述定界框中的數(shù)據(jù)塊來移除所述陰影。
16.根據(jù)權(quán)利要求12所述的方法，其進(jìn)ー步包括 針對(duì)所述候選對(duì)象區(qū)域中的每ー數(shù)據(jù)塊，由該處理器部分譯碼用以編碼相應(yīng)數(shù)據(jù)塊中一時(shí)間變化的ー編碼數(shù)據(jù)量； 由該處理器在由多個(gè)數(shù)據(jù)塊組成的候選對(duì)象區(qū)域中識(shí)別該陰影，每ー數(shù)據(jù)塊具有低于ー閾值的編碼數(shù)據(jù)量；以及 由該處理器聚集在所述候選對(duì)象區(qū)域中所識(shí)別的陰影以及基于環(huán)境模型所預(yù)測(cè)的假想陰影。
17.ー種用于處理壓縮視頻圖像的系統(tǒng)，其包括 存儲(chǔ)裝置，其經(jīng)配置以存儲(chǔ)所述壓縮視頻圖像，其中所述壓縮視頻圖像包含移動(dòng)對(duì)象以及與所述移動(dòng)對(duì)象相關(guān)聯(lián)的陰影；以及 處理器，其與所述存儲(chǔ)裝置耦合且經(jīng)配置以 從所述壓縮視頻圖像中檢測(cè)候選對(duì)象區(qū)域，其中所述候選對(duì)象區(qū)域包含所述移動(dòng)對(duì)象以及與所述移動(dòng)對(duì)象相關(guān)聯(lián)的陰影； 針對(duì)在所述候選對(duì)象區(qū)域中的每ー數(shù)據(jù)塊，計(jì)算用以編碼所述相應(yīng)數(shù)據(jù)塊中的時(shí)間變化的ー編碼數(shù)據(jù)量；以及 在由數(shù)據(jù)塊組成的所述候選對(duì)象區(qū)域中識(shí)別所述陰影，每ー數(shù)據(jù)塊具有低于閾值的所述編碼數(shù)據(jù)量。
18.根據(jù)權(quán)利要求17所述的系統(tǒng)，其特征在于所述處理器為H.264解碼器。
19.ー種用于處理壓縮視頻圖像的系統(tǒng)，其包括 存儲(chǔ)裝置，其經(jīng)配置以存儲(chǔ)所述壓縮視頻圖像，其中所述壓縮視頻圖像包含移動(dòng)對(duì)象以及與所述移動(dòng)對(duì)象相關(guān)聯(lián)的陰影；以及 處理器，其與所述存儲(chǔ)裝置耦合且經(jīng)配置以 從所述壓縮視頻圖像中檢測(cè)表示所述移動(dòng)對(duì)象的對(duì)象圖像區(qū)域； 基于所述所檢測(cè)的對(duì)象圖像區(qū)域來確定假想移動(dòng)對(duì)象； 形成在其中獲得所述壓縮視頻圖像的環(huán)境模型；以及 基于所述環(huán)境模型來確定用于所述假想移動(dòng)對(duì)象的假想陰影。
全文摘要
一種用于處理壓縮視頻圖像的方法及系統(tǒng)。處理器從壓縮視頻圖像中檢測(cè)候選對(duì)象區(qū)域。候選對(duì)象區(qū)域包含移動(dòng)對(duì)象以及與所述移動(dòng)對(duì)象相關(guān)聯(lián)的陰影。針對(duì)在候選對(duì)象區(qū)域中的每一數(shù)據(jù)塊，處理器部分解碼用以編碼相對(duì)應(yīng)數(shù)據(jù)塊中時(shí)間變化的直流與交流數(shù)據(jù)量。然后，處理器在由數(shù)據(jù)塊組成的候選對(duì)象區(qū)域中，通過陰影區(qū)塊直流與交流編碼數(shù)據(jù)量的特性，識(shí)別候選對(duì)象中的移動(dòng)對(duì)象及此移動(dòng)對(duì)象相關(guān)聯(lián)的陰影區(qū)域。
文檔編號(hào)H04N7/26GK102761737SQ20111029956
公開日2012年10月31日 申請(qǐng)日期2011年9月30日 優(yōu)先權(quán)日2011年4月28日
發(fā)明者樊恩戎, 白宏益, 蔣岳珉, 藍(lán)坤銘, 連振昌 申請(qǐng)人:財(cái)團(tuán)法人工業(yè)技術(shù)研究院