圖像處理方法、圖像處理裝置和監(jiān)視系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本申請一般涉及監(jiān)視領(lǐng)域，更具體地，涉及用于包括多個攝像裝置的監(jiān)視系統(tǒng)的圖像處理方法和圖像處理裝置，以及監(jiān)視系統(tǒng)。
【背景技術(shù)】
[0002]視頻監(jiān)視系統(tǒng)可以應(yīng)用視頻摘要技術(shù)，視頻摘要是監(jiān)視系統(tǒng)獲得的視頻內(nèi)容的概要。例如，可以通過運動目標(biāo)分析等手段，提取包含運動目標(biāo)的片段，以對原始視頻進(jìn)行濃縮。利用視頻摘要，能夠快速了解監(jiān)視系統(tǒng)獲得的視頻的內(nèi)容，例如瀏覽監(jiān)視區(qū)域中出現(xiàn)的對象或事件等。

【發(fā)明內(nèi)容】

[0003]在下文中給出了關(guān)于本發(fā)明實施例的簡要概述，以便提供關(guān)于本發(fā)明的某些方面的基本理解。應(yīng)當(dāng)理解，以下概述并不是關(guān)于本發(fā)明的窮舉性概述。它并不是意圖確定本發(fā)明的關(guān)鍵或重要部分，也不是意圖限定本發(fā)明的范圍。其目的僅僅是以簡化的形式給出某些概念，以此作為稍后論述的更詳細(xì)描述的前序。
[0004]根據(jù)本公開的一個方面，提供一種用于包括多個攝像裝置的監(jiān)視系統(tǒng)的圖像處理方法。該方法包括以下步驟:從多個攝像裝置中的每個攝像裝置所獲取的視頻中提取關(guān)鍵幀；對于每個所提取的關(guān)鍵幀，確定監(jiān)視區(qū)域與關(guān)鍵幀的監(jiān)視區(qū)域鄰近的鄰近攝像裝置，并從鄰近攝像裝置獲取與關(guān)鍵幀同時刻的相應(yīng)視頻幀；將從各攝像裝置提取的關(guān)鍵幀與相應(yīng)視頻幀進(jìn)行融合以生成全景關(guān)鍵幀；以及生成由各關(guān)鍵幀的全景關(guān)鍵幀構(gòu)成的序列作為監(jiān)視系統(tǒng)的視頻摘要。
[0005]根據(jù)本公開的另一個方面，提供一種用于包括多個攝像裝置的監(jiān)視系統(tǒng)的圖像處理裝置。該裝置包括關(guān)鍵幀提取單元、相應(yīng)幀獲取單元、幀融合單元以及視頻摘要生成單元。關(guān)鍵幀提取單元被配置為從多個攝像裝置中的每個攝像裝置所獲取的視頻中提取關(guān)鍵幀。相應(yīng)幀獲取單元被配置為對于每個所提取的關(guān)鍵幀，確定監(jiān)視區(qū)域與關(guān)鍵幀的監(jiān)視區(qū)域鄰近的鄰近攝像裝置，并從鄰近攝像裝置獲取與關(guān)鍵幀同時刻的相應(yīng)視頻幀。幀融合單元被配置為將從各攝像裝置提取的關(guān)鍵幀與相應(yīng)視頻幀進(jìn)行融合以生成全景關(guān)鍵幀。視頻摘要生成單元被配置為生成由各關(guān)鍵幀的全景關(guān)鍵幀構(gòu)成的序列作為監(jiān)視系統(tǒng)的視頻摘要。
[0006]本公開的方面還包括監(jiān)視系統(tǒng)，該監(jiān)視系統(tǒng)包括根據(jù)本公開的實施例的圖像處理
目.ο
[0007]根據(jù)本公開的實施例，通過多個攝像裝置的監(jiān)視結(jié)果的融合，提供更大范圍的全景視頻摘要，使得能夠更全面地提供對監(jiān)視區(qū)域內(nèi)的對象或事件的監(jiān)視。
【附圖說明】
[0008]本發(fā)明可以通過參考下文中結(jié)合附圖所給出的描述而得到更好的理解，其中在所有附圖中使用了相同或相似的附圖標(biāo)記來表示相同或者相似的部件。所述附圖連同下面的詳細(xì)說明一起包含在本說明書中并且形成本說明書的一部分，而且用來進(jìn)一步舉例說明本發(fā)明的優(yōu)選實施例和解釋本發(fā)明的原理和優(yōu)點。在附圖中:
[0009]圖1是示出根據(jù)一個實施的圖像處理方法的過程示例的流程圖；
[0010]圖2是示出根據(jù)一個實施例的圖像處理方法中生成全景關(guān)鍵幀的過程示例的流程圖；
[0011]圖3是示出根據(jù)一個實施例的圖像處理裝置的配置示例的框圖；
[0012]圖4是示出根據(jù)一個實施例的圖像處理裝置中的幀融合單元的配置示例的框圖；
[0013]圖5是示出根據(jù)一個實施例的監(jiān)視系統(tǒng)的配置示例的框圖；以及
[0014]圖6是示出實現(xiàn)本申請的方法和設(shè)備的計算機的示例性結(jié)構(gòu)的框圖。
【具體實施方式】
[0015]下面將參照附圖來說明本發(fā)明的實施例。在本發(fā)明的一個附圖或一種實施方式中描述的元素和特征可以與一個或更多個其它附圖或?qū)嵤┓绞街惺境龅脑睾吞卣飨嘟Y(jié)合。應(yīng)當(dāng)注意，為了清楚的目的，附圖和說明中省略了與本發(fā)明無關(guān)的、本領(lǐng)域普通技術(shù)人員已知的部件和處理的表示和描述。
[0016]本公開的一個實施例是用于包括多個攝像裝置的監(jiān)視系統(tǒng)的圖像處理方法。其中，攝像裝置可以包括固定攝像裝置或可移動攝像裝置。
[0017]在本文中，“固定攝像裝置”是指位置固定的攝像裝置，“可移動攝像裝置”是指位置可移動的攝像裝置。固定攝像裝置例如可以包括本領(lǐng)域熟知的固定攝像頭，其被固定在監(jiān)視區(qū)域處的固定設(shè)施例如墻體、電線桿等。需要指出的是，雖然被稱為固定攝像裝置，但其仍然可以具有一定的自由度，例如可以改變其拍攝角度、焦距等，相應(yīng)地，其可以具有不同的拍攝區(qū)域。可移動攝像裝置可以不被固定在固定的設(shè)施上，因此除了拍攝角度、焦距等自由度外，還可以根據(jù)需要改變其位置。根據(jù)具體應(yīng)用，可移動攝像裝置可以包括多種具有攝像功能的可移動設(shè)備。例如，可移動攝像裝置可以是攝像機、移動電話、可穿戴電子設(shè)備如智能眼鏡等，其由特定人員持有或佩戴，并隨著該人員移動以起到可移動攝像裝置的作用。此外，可移動攝像裝置也可以包括例如設(shè)置有攝像裝置的可移動設(shè)備，例如本領(lǐng)域已知的遠(yuǎn)程監(jiān)控機器人等，其能夠根據(jù)控制信號，通過驅(qū)動機制如輪或軌道等進(jìn)行移動。
[0018]如圖1所示，在步驟S110，從多個攝像裝置中的每個攝像裝置所獲取的視頻中提取關(guān)鍵幀。
[0019]關(guān)鍵幀是指對視頻的內(nèi)容具有代表性的一個或者多個幀，其可以是對應(yīng)于視頻中較特殊的事件的幀。其中，多個幀可以包括時間上不連續(xù)的多個幀，也可以包括時間上連續(xù)的幀序列(視頻片段)。換句話說，本文中提到的關(guān)鍵幀可以包括單個幀、多個時間上不連續(xù)的幀、視頻片段或者多段視頻片段。
[0020]可以采用本領(lǐng)域已知的多種方法進(jìn)行關(guān)鍵幀提取，例如基于鏡頭邊界的方法、基于幀圖像信息的方法、基于運動分析的方法和基于聚類的方法等。(例如參見“基于RoughSet與SVM的關(guān)鍵幀提取方法”，韓加亮、吳渝，計算機應(yīng)用與軟件，第29卷第6期，2012 年 6 月)。
[0021]接下來，僅作為示例，簡要描述一種基于場景的關(guān)鍵幀提取過程。
[0022]對于監(jiān)視系統(tǒng)中的某個攝像裝置，首先可以將其拍攝的視頻分成若干個場景，其中每個場景由一系列時間上連續(xù)的視頻序列構(gòu)成。
[0023]可以通過基于顏色、紋理、邊緣或者運動特征等的分析來進(jìn)行場景的分割。例如，可以通過提取各視頻幀的主要顏色，根據(jù)各幀之間的相似度來進(jìn)行聚類的方法得到各個場旦
ο
[0024]具體地，以基于顏色的場景分割方式為例，可以首先計算每幀的顏色空間值，顏色空間例如可以包括RBG、YCbCr、HSV、HMMD等類型。對于某個視頻幀，可以根據(jù)其在顏色空間中的參數(shù)值進(jìn)行矢量化，計算歸一化后的顏色直方圖，得到每種顏色占整幅圖象的百分比，可以將百分比最大的顏色確定為該幀的主顏色?？梢酝ㄟ^聚類將視頻中一系列連續(xù)的幀分成若干個連續(xù)的序列，其中每個序列對應(yīng)于一個場景。
[0025]在將視頻分成若干場景之后，可以針對每個場景確定其中的關(guān)鍵幀。其中，可以通過視頻的圖像特征或聲音特征或兩者的組合來確定關(guān)鍵幀。
[0026]具體地，例如可以根據(jù)圖像特征，例如