基于學(xué)習(xí)的行車記錄視頻濃縮方法
【專利摘要】本申請(qǐng)公開了一種基于學(xué)習(xí)的行車記錄視頻濃縮技術(shù)，包括以下步驟：在行車記錄視頻的感興趣區(qū)域中，逐幀提取所有像素點(diǎn)的光流矢量，產(chǎn)生感興趣區(qū)域的光流特征；將光流特征按幀輸入到與每個(gè)事件對(duì)應(yīng)的事件模型，對(duì)每幀計(jì)算其中發(fā)生每個(gè)事件的概率；將每幀標(biāo)記為對(duì)該幀計(jì)算的發(fā)生概率最大的事件；如果行車記錄視頻的連續(xù)多幀被標(biāo)記為同一事件，則截取行車記錄視頻的連續(xù)多幀，作為與該事件對(duì)應(yīng)的濃縮視頻。本發(fā)明有效地利用了視頻中的運(yùn)動(dòng)信息，用以學(xué)習(xí)事件各個(gè)事件的模型。這些模型可以有效的解決行車記錄視頻的濃縮中的問題，并為行車安全提供輔助信息。本系統(tǒng)可檢測(cè)行車記錄視頻中的具有較強(qiáng)區(qū)分性的特定事件，具有實(shí)時(shí)性好、識(shí)別精度高的特點(diǎn)。
【專利說明】基于學(xué)習(xí)的行車記錄視頻濃縮方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于模式識(shí)別和智能監(jiān)控領(lǐng)域，尤其涉及一種基于學(xué)習(xí)的行車記錄視頻濃縮技術(shù)。
【背景技術(shù)】
[0002]隨著人們行車安全意識(shí)的提高，行車記錄儀的使用在我們的生活中已經(jīng)越來越普遍，由此便產(chǎn)生了大量的行車記錄視頻。行車記錄儀所記錄的視頻中，大部分的視頻屬于正常行駛情況下所拍攝的，這種情況下拍攝的視頻對(duì)我們的幫助不大，因此人工在大量冗長(zhǎng)的行車記錄視頻中查詢感興趣事件成為了一種耗時(shí)勞心的工作。隨著計(jì)算機(jī)視覺及模式識(shí)別技術(shù)的日益成熟，人們更期待能使用計(jì)算機(jī)視覺、模式識(shí)別技術(shù)及計(jì)算機(jī)強(qiáng)大的數(shù)據(jù)處理能力來處理行車記錄視頻，從而找到能智能檢測(cè)、搜索定位并得到感興趣事件的濃縮視頻的方法。
[0003]視頻濃縮(也稱視頻摘要)是通過在時(shí)間軸上壓縮原始視頻，使用時(shí)間上遠(yuǎn)短于原始視頻的視頻片段表達(dá)視頻概要的技術(shù)。快進(jìn)可以看作最原始的一種視頻濃縮方法，它是通過等間隔的選擇一些視頻幀并跳過一些幀，來達(dá)到視頻濃縮的目的。但這種方式并不能很好的表達(dá)一個(gè)視頻，因?yàn)樗鼰o法自適應(yīng)的丟棄無用視頻片段，并且這種方法極有可能丟失一些重要的細(xì)節(jié)。由于普通的監(jiān)控視頻都是由固定位置的攝像頭拍攝的，因此這種監(jiān)控視頻的背景在短時(shí)間內(nèi)變化很小。在視頻監(jiān)控領(lǐng)域先已有一些方法基于普通監(jiān)控視頻的這種特點(diǎn)，通過背景建模進(jìn)一步檢測(cè)視頻中前景，從而達(dá)到視頻濃縮的目的。
[0004]現(xiàn)有技術(shù)一:自適應(yīng)抽幀的方法。
[0005]這種方法(參見參考文獻(xiàn)【I】【2】)首先通過背景建模檢測(cè)出視頻中的活動(dòng)前景，試圖跳過低活動(dòng)率和不感興趣的幀，并保留下活動(dòng)率比較高和用戶更感興趣的幀，或者保留一些視頻片段來代表視頻內(nèi)容(參見參考文獻(xiàn)【3】)。同時(shí)，這種方法不僅僅限于根據(jù)活動(dòng)率來濃縮視頻，也可以根據(jù)不同用戶的不同關(guān)注點(diǎn)，如聲音、攝像頭的運(yùn)動(dòng)、物體的運(yùn)動(dòng)、顏色等進(jìn)行視頻濃縮。
[0006]現(xiàn)有技術(shù)二:基于關(guān)鍵幀的方法。
[0007]在參考文獻(xiàn)【4】【5】中提出了使用關(guān)鍵幀來產(chǎn)生濃縮視頻的方法。關(guān)鍵幀的選取可以是任意的，也可以是根據(jù)一些重要的標(biāo)準(zhǔn)。這里關(guān)鍵幀的提取技術(shù)是影響視頻濃縮質(zhì)量的關(guān)鍵。當(dāng)提取的關(guān)鍵幀過少的時(shí)候，濃縮視頻會(huì)丟失原始視頻中很多重要的動(dòng)態(tài)信息；當(dāng)提取的關(guān)鍵幀過多時(shí)，又不能達(dá)到很好的視頻濃縮效果。
[0008]現(xiàn)有技術(shù)三:基于前景目標(biāo)的方法。
[0009]在參考文獻(xiàn)【6】【7】【8】【9】中提出了一種基于前景目標(biāo)的視頻濃縮方法。與上述兩種方法不同，這種方法濃縮視頻時(shí)不僅利用了視頻時(shí)間的冗余，而且利用了視頻空間上的冗余，因此濃縮視頻的一個(gè)視頻幀中可能包含來自于不同時(shí)間段的，空間位置上不重疊的物體。這種方法通過背景建模的方法檢測(cè)出視頻中的前景，并記錄他們的運(yùn)動(dòng)軌跡，然后在時(shí)間域上通過移動(dòng)物體，將不同的物體融合到相同的視頻片段中便可以達(dá)到視頻濃縮的目的，這些物體的運(yùn)動(dòng)軌跡應(yīng)盡量少的重疊，且濃縮視頻片段盡可能的短。
[0010]雖然上述的這些方法可以處理普通的監(jiān)控視頻，且可以達(dá)到一個(gè)較好的濃縮效果，但這些方法并不適用于行車記錄視頻的濃縮。行車記錄視頻與普通監(jiān)控視頻最大的區(qū)別在于行車記錄儀是隨著車的運(yùn)動(dòng)而運(yùn)動(dòng)的，因此傳統(tǒng)的通過背景建模提取前景目標(biāo)并進(jìn)行濃縮視頻的方法已經(jīng)完全不適用于行車記錄視頻。
[0011]在車輛行進(jìn)的過程中，所拍攝的行車記錄視頻中所有物體都是運(yùn)動(dòng)的(除車上固定物體)因此不能通過簡(jiǎn)單的背景建模的方法區(qū)分前景與背景。同時(shí)上述傳統(tǒng)視頻濃縮的方法的目的是用較短的視頻表達(dá)原始視頻中所有的運(yùn)動(dòng)前景，并不關(guān)注于這種運(yùn)動(dòng)是以什么方式進(jìn)行的，但在行車記錄視頻中，隨時(shí)都會(huì)有車輛及行人的運(yùn)動(dòng)，而其中大部分時(shí)間車輛及行人的運(yùn)動(dòng)屬于正常行駛下的情況，并不含有太多用戶感興趣的事件，因此，行車記錄視頻的濃縮的重點(diǎn)并不在前景物體及其運(yùn)動(dòng)軌跡的檢測(cè)上，而是在于前方車輛及行人與本車所處的狀態(tài)(以及相互關(guān)系)。
[0012]因此，我們不僅僅需要檢測(cè)前方目標(biāo)及其運(yùn)動(dòng)軌跡，而且更需要判斷其處于哪種狀態(tài)或運(yùn)動(dòng)方式。有時(shí)，即使在行車記錄視頻中沒有前景目標(biāo)情況下，我們也需要根據(jù)背景的移動(dòng)方式(視野的變化)判斷本車的狀態(tài)是否代表我們所關(guān)心的事件。
[0013]由于車輛本身的運(yùn)動(dòng)復(fù)雜多樣，同時(shí)車輛與車外物體之間相對(duì)運(yùn)動(dòng)的存在，使得行車記錄視頻中的物體的運(yùn)動(dòng)復(fù)雜多樣，即使能夠找到所感興趣的前景目標(biāo)，僅僅使用物體的運(yùn)動(dòng)軌跡已經(jīng)很難表達(dá)物體的真正的運(yùn)動(dòng)，更不可能表達(dá)本車的運(yùn)動(dòng)方式，因此上述的方法已不足于區(qū)分哪些是用戶感興趣的事件。

【發(fā)明內(nèi)容】

[0014]針對(duì)上述傳統(tǒng)濃縮技術(shù)所存在的問題，本發(fā)明提出了一種基于學(xué)習(xí)的行車記錄視頻的濃縮方法。
[0015]針對(duì)行車記錄視頻中的不同事件，本發(fā)明提供了一種結(jié)合視頻運(yùn)動(dòng)特征和時(shí)域信息、利用支持向量機(jī)(Support Vector Machine, SVM)對(duì)行車記錄視頻中特定事件進(jìn)行檢測(cè)、提取并濃縮的系統(tǒng)。同時(shí)本發(fā)明具有車牌識(shí)別、GPS定位等功能，當(dāng)檢測(cè)到不安全事件時(shí)，可以將有用信息發(fā)送到相關(guān)部門，用于保障本車和其他車輛的行車安全。
[0016]現(xiàn)有的視頻濃縮技術(shù)只適用于普通的背景在短時(shí)間內(nèi)不會(huì)變化的監(jiān)控視頻的濃縮，并不能用于行車記錄視頻的視頻濃縮。由于攝像頭隨著車輛的移動(dòng)，行車記錄視頻中的物體都是運(yùn)動(dòng)的，通過背景建模的方法無法找到真正的背景，因此不能找到我們感興趣的目標(biāo)的位置。
[0017]同時(shí)，行車記錄視頻關(guān)注的是本車及前方車輛所處的狀態(tài)，因此我們不僅僅需要提取所有前景目標(biāo)及其運(yùn)動(dòng)軌跡，更需要根據(jù)這些有限的信息，判斷出車輛的運(yùn)動(dòng)狀態(tài)，判斷它是否屬于我們所關(guān)心的事件，然后得到行車記錄視頻的濃縮視頻。另一方面，我們?cè)跈z測(cè)到不安全事件時(shí)，不僅可以提醒駕駛者，引導(dǎo)其安全行駛，而且可以利用車牌識(shí)別，GPS定位等技術(shù)提取有用信息。
[0018]本發(fā)明提出一種針對(duì)重點(diǎn)區(qū)域提取特征的方法。由于行車視頻中一些區(qū)域并不含有用信息(如天空，樹木等)，且會(huì)干擾對(duì)事件的判斷，因此我們提出了只針對(duì)部分區(qū)域提取特征的方法來減少這種干擾。我們通過人工劃定區(qū)域的方式，選取感興趣區(qū)域(如車輛前方道路可能包含車輛的地方)。
[0019]本發(fā)明還提出了兩種通過提取視頻特征并利用學(xué)習(xí)的方法得到事件模型的方法，并將學(xué)習(xí)得到的模型用以濃縮行車記錄視頻。本方法主要提取了視頻中的全局光流特征與基于感興趣點(diǎn)的光流特征，用于后續(xù)事件模型的學(xué)習(xí)與事件類別的判斷。光流是對(duì)視頻中物體的運(yùn)動(dòng)比較敏感的特征，它們的魯棒性也比較好，因此可以用于行車記錄視頻的濃縮。模型學(xué)習(xí)首先使用了 SVM為每一類事件學(xué)習(xí)了其對(duì)應(yīng)的模型，因此當(dāng)?shù)玫剿心Ｐ椭螅凉饪s視頻中的事件便可以看作一個(gè)基于SVM的多分類問題。然后對(duì)于基于感興趣點(diǎn)的局部光流特征使用了詞袋模型。
[0020]本發(fā)明同時(shí)有效的利用了車牌識(shí)別與GPS定位技術(shù)，為行車安全提供輔助信息。
[0021]根據(jù)本發(fā)明的實(shí)施例，提供了一種基于學(xué)習(xí)的行車記錄視頻濃縮方法，包括以下步驟:步驟10、在行車記錄視頻的感興趣區(qū)域中，逐幀提取所有像素點(diǎn)的光流矢量，產(chǎn)生所述感興趣區(qū)域的光流特征；步驟20、將所述光流特征按幀輸入到與每個(gè)事件對(duì)應(yīng)的事件模型，對(duì)每幀計(jì)算其中發(fā)生每個(gè)事件的概率；步驟30、將每幀標(biāo)記為:對(duì)該幀計(jì)算的發(fā)生概率最大的事件；步驟40、如果所述行車記錄視頻的連續(xù)多幀被標(biāo)記為同一事件，則截取所述行車記錄視頻的連續(xù)多幀，作為與該事件對(duì)應(yīng)的濃縮視頻。
[0022]本發(fā)明的有益效果主要在于以下幾個(gè)方面:本發(fā)明有效地利用了視頻中的運(yùn)動(dòng)信息，用以學(xué)習(xí)事件各個(gè)事件的模型。這些模型可以有效的解決行車記錄視頻的濃縮中的問題，并為行車安全提供輔助信息。本系統(tǒng)可檢測(cè)行車記錄視頻中的具有較強(qiáng)區(qū)分性的特定事件，具有實(shí)時(shí)性好、識(shí)別精度高的特點(diǎn)。
【專利附圖】

【附圖說明】
[0023]圖1為說明根據(jù)本發(fā)明的實(shí)施例的光流特征量化方向的示意圖；
[0024]圖2為說明根據(jù)本發(fā)明的實(shí)施例的感興趣點(diǎn)選取的示意圖；
[0025]圖3為說明根據(jù)本發(fā)明的實(shí)施例的鄰域內(nèi)光流特征提取的示意圖；
[0026]圖4為說明根據(jù)本發(fā)明的實(shí)施例的視頻濃縮系統(tǒng)的功能框圖；
[0027]圖5為說明根據(jù)本發(fā)明的實(shí)施例的視頻濃縮系統(tǒng)的多類事件學(xué)習(xí)的功能框圖。
【具體實(shí)施方式】
[0028]下面，結(jié)合附圖對(duì)技術(shù)方案的實(shí)施作進(jìn)一步的詳細(xì)描述。
[0029]本領(lǐng)域的技術(shù)人員能夠理解，盡管以下的說明涉及到有關(guān)行車記錄視頻濃縮技術(shù)的很多細(xì)節(jié)，但這僅為用來說明本發(fā)明的原理的示例、而不意味著任何限制。本發(fā)明能夠適用于不同于以下例舉的技術(shù)細(xì)節(jié)之外的場(chǎng)合，只要它們不背離被發(fā)明的原理和精神即可。
[0030]圖4為說明根據(jù)本發(fā)明的實(shí)施例的視頻濃縮系統(tǒng)的功能框圖，其中深色箭頭表示訓(xùn)練過程，淺色箭頭表示事件分類過程。圖5為說明根據(jù)本發(fā)明的實(shí)施例的視頻濃縮系統(tǒng)的多類事件學(xué)習(xí)的功能框圖，其中深色箭頭表示訓(xùn)練過程，淺色箭頭表示事件分類過程。
[0031]下面，說明根據(jù)本發(fā)明的實(shí)施例的視頻濃縮方法的實(shí)現(xiàn)原理。
[0032]1、感興趣區(qū)域選取(劃定)
[0033]首先，可提供播放待濃縮視頻的界面，用戶可以隨時(shí)暫停，選取感興趣區(qū)域。在選取時(shí)，用戶暫停視頻播放，并使用鼠標(biāo)圈出感興趣區(qū)域。選取時(shí)觀察視頻特點(diǎn)，選出事件可能發(fā)生的大致區(qū)域(一般選擇前窗外路面上方位置)。這樣可以有效去除視頻中無用信息的干擾，如道路兩邊的建筑、樹木、天空等。
[0034]另外，也可以根據(jù)事先確定的規(guī)則、或基于邊緣識(shí)別等圖像處理方法，由程序自動(dòng)選擇所述感興趣區(qū)域。
[0035]2、特征提取
[0036]感興趣區(qū)域選定以后，在選定的區(qū)域當(dāng)中提取相關(guān)特征用于模型學(xué)習(xí)及事件分析分類。
[0037]根據(jù)本發(fā)明的實(shí)施例，可采用以下兩種方法來提取感興趣區(qū)域的圖像特征，即:感興趣區(qū)域內(nèi)的所有像素點(diǎn)的光流特征提取；感興趣區(qū)域內(nèi)的感興趣點(diǎn)鄰域的光流特征提取。
[0038]盡管本說明書中列舉了一些具體方法作為特征提取的示例，但本領(lǐng)域的技術(shù)人員能夠理解，可擇一或同時(shí)采用以下兩種方法來提取圖像特征，也可采用其它現(xiàn)有的或?qū)淼娜我膺m用方法來提取圖像特征。
[0039]下面分別說明這兩種方法。
[0040]2.1感興趣區(qū)域內(nèi)的所有像素點(diǎn)的光流特征提取
[0041]本系統(tǒng)所要區(qū)分的行車記錄視頻中的事件之間的最大區(qū)別在于車輛的運(yùn)動(dòng)方式，因此需要提取行車記錄視頻中的運(yùn)動(dòng)信息。光流特征就是一種簡(jiǎn)單實(shí)用的視頻運(yùn)動(dòng)表達(dá)方式。由于它提取方法簡(jiǎn)單，可以實(shí)時(shí)的提取區(qū)分性較強(qiáng)的特征，用于表達(dá)視頻中的目標(biāo)匕如車輛)的不同運(yùn)動(dòng)方式。
[0042]首先，提取選定的感興趣區(qū)域內(nèi)的每個(gè)像素的光流特征，并將其量化到8個(gè)方向(8個(gè)角度范圍)上(如圖1所示)。例如，這8個(gè)方向所代表的角度范圍分別是(-22.5°，22.5 ° ]，(22.5 ° ,67.5 ° ]，(67.5 ° ,112.5 ° ]，(112.5 ° ,157.5 ° ]，(157.5 °，202.5。], (202.5。,247.5° ]，(247.5。,292.5° ]和(292.5。,3337.5° ]。
[0043]然后，根據(jù)上述量化結(jié)果，計(jì)算光流(矢量)的水平方向分量大小、垂直方向分量大小、以及幅值，這樣就可以得到4種8維的統(tǒng)計(jì)直方圖特征，它們分別是:
[0044]I)統(tǒng)計(jì)量化到每個(gè)方向上的像素?cái)?shù)的直方圖。即視頻幀的感興趣區(qū)域中屬于每個(gè)方向的像素點(diǎn)的個(gè)數(shù)的統(tǒng)計(jì)直方圖。
[0045]2)統(tǒng)計(jì)量化到每個(gè)方向上的所有像素的光流的水平分量大小的累加直方圖。
[0046]3)統(tǒng)計(jì)量化到每個(gè)方向上的所有像素的光流的垂直分量大小的累加直方圖。
[0047]4)統(tǒng)計(jì)量化到每個(gè)方向上的所有像素的光流的幅度大小的累加直方圖。
[0048]之后，將上述4個(gè)8維直方圖級(jí)聯(lián)，得到感興趣區(qū)域內(nèi)的光流特征直方圖。
[0049]2.2感興趣區(qū)域內(nèi)的感興趣點(diǎn)鄰域的光流特征提取
[0050]在計(jì)算機(jī)視覺中，基于局部感興趣點(diǎn)的光流特征的方法往往能取得比較好的效果，這是因?yàn)檫@些方法首先檢測(cè)了視頻中的穩(wěn)定的、可辨識(shí)度較高的一些點(diǎn)，作為感興趣點(diǎn)，并基于這些點(diǎn)提取特征，這些局部特征往往比全局特征具有更好的穩(wěn)定性與可辨識(shí)性。
[0051]因此，本發(fā)明提出了一種基于感興趣點(diǎn)的局部光流特征，用于行車記錄視頻濃縮，以提高全局光流特征的可靠性與穩(wěn)定性。
[0052]對(duì)于行車記錄視頻，在所選取的感興趣區(qū)域中，只有局部的運(yùn)動(dòng)信息才能真正反映一個(gè)事件(比如前方車輛并線時(shí)，只有前方車所在的像素的光流特征能表達(dá)并線的特征)的發(fā)生。而感興趣區(qū)域中除此之外的背景區(qū)域的運(yùn)動(dòng)信息則不利于事件的判別。
[0053]因此，基于關(guān)鍵點(diǎn)的局部運(yùn)動(dòng)特征適合行車記錄視頻事件的判別。首先，需選取一些穩(wěn)定的關(guān)鍵點(diǎn)，例如，可采用參考文獻(xiàn)10中的SIFT特征關(guān)鍵點(diǎn)的選取方法，然后，在每個(gè)關(guān)鍵點(diǎn)的鄰域內(nèi)提取上述適合于行車記錄視頻的光流特征。
[0054]該方法的基本原理如下:首先，例如，通過SIFT特征【10】的做法，提取在視頻幀的多個(gè)空間尺度上穩(wěn)定的一些像素點(diǎn)；然后在這些像素點(diǎn)的鄰域內(nèi)提取光流特征，并去除光流特征較小的像素點(diǎn)，將光流特征較大的像素點(diǎn)作為感興趣點(diǎn)，其直方圖特征視為特征詞匯；最后為每個(gè)事件建立詞袋模型(bag-of-words )。
[0055]2.2.1感興趣點(diǎn)選取
[0056]SIFT (Scale Invariant Feature Transform)特征是由英屬哥倫比亞大學(xué)的David Lowe在1999年提出的用于目標(biāo)識(shí)別的一種局部特征。該特征由于具有尺度不變性、旋轉(zhuǎn)不變性被大量的應(yīng)用。這里只采用了它尺度空間極值的選取方法，并將這些關(guān)鍵極值點(diǎn)看作本特征的感興趣點(diǎn)。
[0057]首先，進(jìn)行尺度空間極值點(diǎn)的選取。
[0058]為保證SIFT特征的尺度不變性，先對(duì)圖片進(jìn)行了尺度的變換，找到其中的極值。目的在于對(duì)于所有可能的尺度做一次搜索，找到那些在不同尺度條件下都較為顯著的特征點(diǎn)。首先利用具有不同方差的高斯函數(shù)與圖像的卷積獲取不同空間尺度的圖像。高斯函數(shù)對(duì)圖像具有模糊作用，方差越大模糊作用 越明顯。因此大的方差的高斯函數(shù)與圖像卷積保留了圖像的大輪廓特征，而小的方差的高斯函數(shù)與圖像的卷積保留了圖像的細(xì)節(jié)特征。并將獲取的相鄰的不同尺度的卷積結(jié)果相減以獲取多個(gè)高斯差分函數(shù)。這多個(gè)高斯差分函數(shù)組成了一個(gè)高斯差分金字塔。
[0059]然后利用下采樣的方法，建立多個(gè)不同尺寸的高斯差分金字塔，如圖2所示。
[0060]在這些高斯差分圖片組中便可以確定尺度空間的極值，在每一個(gè)高斯差分圖片組中，每一個(gè)像素除了在本圖片中有8個(gè)相鄰像素，還有上下兩層圖片的另外18個(gè)相鄰像素點(diǎn)，共26個(gè)相鄰像素(邊界像素除外)。如果某個(gè)像素(的灰度值)比其26個(gè)像素點(diǎn)都要大或都要小，那么就認(rèn)為該像素點(diǎn)為尺度空間圖片中的局部極值。
[0061]這樣，在感興趣區(qū)域內(nèi)選取了符合上述要求的多個(gè)局部極值點(diǎn)(多個(gè)像素點(diǎn))。
[0062]接下來，可選地，還可對(duì)已選取的多個(gè)極值點(diǎn)進(jìn)行篩選，這是因?yàn)?，利用上述高斯差分算子得到的局部極值點(diǎn)之中可能有一部分由于對(duì)比度較低對(duì)噪聲比較敏感，還有一部分不穩(wěn)定地集中在圖像的邊緣。Brown和Lowe于2002年提出了去除這兩類點(diǎn)的方法，來提高SIFT方法選取的極值點(diǎn)的穩(wěn)定性。具體篩選方法如下。
[0063]首先，對(duì)上述選取的每個(gè)局部極值點(diǎn)，使用空間尺度函數(shù)泰勒展開并求其極值，若該局部極值點(diǎn)的極值大于預(yù)定閾值，才保留該局部極值點(diǎn)，這樣可以保留高對(duì)比度的局部極值點(diǎn)。然后，利用海森矩陣計(jì)算局部極值點(diǎn)的主曲率，保留滿足閾值條件的局部極值點(diǎn)，從而可以去除位于圖像邊緣的局部極值點(diǎn)。通過以上兩步，便可以使得保留下來的局部極值點(diǎn)(感興趣點(diǎn))更穩(wěn)定、可靠。
[0064]2.2.2鄰域內(nèi)光流特征提取
[0065]接下來，針對(duì)篩選之后的每個(gè)局部極值點(diǎn)(感興趣點(diǎn))，如圖3所示，在以其為圓心、半徑為r的鄰域內(nèi)，提取每個(gè)像素的光流特征值(矢量)，并獲取其光流直方圖(如上節(jié)所述)，并將這些直方圖級(jí)聯(lián)成一個(gè)直方圖。
[0066]這樣，對(duì)于篩選之后的每個(gè)局部極值點(diǎn)(關(guān)鍵像素點(diǎn))，各自得到I個(gè)光流特征直方圖(經(jīng)過4個(gè)8維直方圖級(jí)聯(lián))。
[0067]3、事件模型學(xué)習(xí)
[0068]根據(jù)本發(fā)明的實(shí)施例，所要學(xué)習(xí)的事件主要包括以下幾種:出庫(kù)、人從車前經(jīng)過、轉(zhuǎn)彎、加減速、并線、等燈、停車入庫(kù)、過門禁收費(fèi)站、倒車等。針對(duì)每一個(gè)事件，都需要學(xué)習(xí)一個(gè)事件模型，以便于以后的特定事件的分析提取。
[0069]在針對(duì)某個(gè)事件訓(xùn)練事件模型之前，先人工針對(duì)這個(gè)事件對(duì)所有訓(xùn)練視頻的進(jìn)行了標(biāo)注(即標(biāo)定事件標(biāo)簽)，如果該訓(xùn)練視頻屬于這個(gè)事件(在視頻中發(fā)生了該事件)則標(biāo)定為I，否則標(biāo)為O。
[0070]3.1針對(duì)感興趣區(qū)域內(nèi)的所有像素點(diǎn)的光流特征的SVM模型
[0071]由于在大量訓(xùn)練視頻中標(biāo)記事件是一項(xiàng)費(fèi)時(shí)費(fèi)力的工作，可用于訓(xùn)練的行車記錄視頻往往比較有限。為了從有限數(shù)目的訓(xùn)練視頻訓(xùn)練得到泛化能力較好的模型，選取了 SVM(支持向量機(jī))用于事件模型訓(xùn)練，這是因?yàn)镾VM具有較低的VC維，相比其他分類器可以使用較少的訓(xùn)練樣本得到泛化能力較好的模型。同時(shí)，所提取的光流特征的維數(shù)較低，可能在低維空間上很難將樣本分開，而SVM的核函數(shù)技術(shù)可以將低維數(shù)據(jù)映射到高維甚至無限維上去，這樣便于樣本的分類。綜上，SVM是適合于行車記錄視頻濃縮技術(shù)的分類器。
[0072]訓(xùn)練時(shí)，需輸入上述特征提取階段提取的訓(xùn)練視頻每一幀的光流特征和人工標(biāo)定的每一幀的事件標(biāo)簽。對(duì)于某個(gè)事件，訓(xùn)練視頻的每一幀只存在屬于或者不屬于這個(gè)事件兩種情況，因此這是一個(gè)2分類問題。在分類模型中，SVM是Vapnik等人在多年研究統(tǒng)計(jì)學(xué)習(xí)理論基礎(chǔ)上對(duì)線性分類器提出了另一種設(shè)計(jì)最佳準(zhǔn)則。其原理也從線性可分說起，然后擴(kuò)展到線性不可分的情況，甚至擴(kuò)展到使用非線性函數(shù)中去。
[0073]訓(xùn)練階段，只需要將帶有類別標(biāo)簽的特征送入SVM進(jìn)行訓(xùn)練，通過優(yōu)化代價(jià)函數(shù)，我們便可以得到間隔最大、損失最小的分割訓(xùn)練樣本的分割超平面，即事件模型。最后，輸出每個(gè)事件的模型參數(shù)。
[0074]3.2針對(duì)感興趣區(qū)域內(nèi)的感興趣點(diǎn)鄰域的光流特征(局部光流特征)的詞袋模型
[0075]Fe1-fei Li在【11】中提出了用詞袋模型表達(dá)圖像的方法.他們認(rèn)為，圖像可以類比為文檔(document),圖像中的單詞(words)可以定義為一個(gè)圖像塊(image patch)的特征向量.那么圖像的詞袋模型即是“圖像中所有圖像塊的特征向量得到的直方圖”。
[0076]訓(xùn)練時(shí)，首先需要輸入上述特征提取階段提取的訓(xùn)練視頻每一幀的基于局部感興趣點(diǎn)的光流特征和人工標(biāo)定的每一幀的事件標(biāo)簽。
[0077]在特征提取階段，已經(jīng)提取了基于感興趣點(diǎn)的局部光流特征，對(duì)上一步得到的局部光流特征進(jìn)行聚類(可以使用K-means等聚類方法)，得到K個(gè)聚類中心(即，K個(gè)視覺詞匯)，用聚類中心構(gòu)建碼本。對(duì)每個(gè)事件，通過最近鄰計(jì)算該事件中的每個(gè)局部光流特征應(yīng)該屬于碼本中的哪一個(gè)視覺詞匯，從而得到該事件對(duì)應(yīng)于該碼本的詞袋模型表示。
[0078]最后，用TF-1DF機(jī)制，為每個(gè)視覺詞匯計(jì)算可表示其重要性的權(quán)重，即該詞匯的IDF權(quán)重值:
[0079]
【權(quán)利要求】
1.一種基于學(xué)習(xí)的行車記錄視頻濃縮方法，包括以下步驟: 步驟10、在行車記錄視頻的感興趣區(qū)域中，逐幀提取所有像素點(diǎn)的光流矢量，產(chǎn)生所述感興趣區(qū)域的光流特征； 步驟20、將所述光流特征按幀輸入到與每個(gè)事件對(duì)應(yīng)的事件模型，對(duì)每幀計(jì)算其中發(fā)生每個(gè)事件的概率； 步驟30、將每幀標(biāo)記為:對(duì)該幀計(jì)算的發(fā)生概率最大的事件；以及步驟40、如果所述行車記錄視頻的連續(xù)多幀被標(biāo)記為同一事件，則截取所述行車記錄視頻的連續(xù)多幀，作為與該事件對(duì)應(yīng)的濃縮視頻。
2.根據(jù)權(quán)利要求1所述的行車記錄視頻濃縮方法，其中，所述感興趣區(qū)域是行車記錄視頻的每幀中的固定區(qū)域，其是通過人工或自動(dòng)的方式選擇的。
3.根據(jù)權(quán)利要求2所述的行車記錄視頻濃縮方法，其中，所述步驟10包括以下步驟: 步驟10-1、將每個(gè)像素的光流矢量量化到以下8個(gè)角度范圍之一:(-22.5°，22。5° ]、(22.5° ,67.5° ]、(67.5。, 112.5° ] (112.5° , 157.5° ] (157.5° ,202.5° ]、(202.5。，247.5。]、(247.5。,292.5° ]和(292.5° ,337.5° ]; 步驟10-2、計(jì)算并記錄光流矢量的水平方向分量大小、垂直方向分量大小、以及幅值； 步驟10-3、統(tǒng)計(jì)并記錄以下直方圖: 1)其光流矢量屬于各個(gè)角度范圍的像素點(diǎn)的個(gè)數(shù)的統(tǒng)計(jì)直方圖； 2)量化到各個(gè)角度范圍的所有像素的光流矢量的水平分量大小之和的統(tǒng)計(jì)直方圖； 3)量化到每個(gè)角度范圍的所有像素的光流矢量的垂直分量大小之和的統(tǒng)計(jì)直方圖； 4)量化到每個(gè)角度范圍的所有像素的光流矢量的幅值之和的統(tǒng)計(jì)直方圖； 步驟10-4、將上述4個(gè)直方圖級(jí)聯(lián)，級(jí)聯(lián)后的直方圖作為所述光流特征。
4.根據(jù)權(quán)利要求3所述的行車記錄視頻濃縮方法，其中，所述事件模型是支持向量機(jī)模型，在所述步驟20中，通過以下公式計(jì)算在行車記錄視頻的每幀中發(fā)生每個(gè)事件i的概率Pi:

5.根據(jù)權(quán)利要求3所述的行車記錄視頻濃縮方法，還包括以下步驟: 步驟11、通過SIFT特征中提取感興趣點(diǎn)的方法，在每幀的感興趣區(qū)域中選取多個(gè)關(guān)鍵像素點(diǎn)； 步驟12、在以每個(gè)關(guān)鍵像素點(diǎn)為圓心、半徑為r的鄰域內(nèi)，提取每個(gè)像素點(diǎn)的光流矢量，并得到每個(gè)關(guān)鍵像素點(diǎn)的鄰域的所述光流特征。
6.根據(jù)權(quán)利要求5所述的行車記錄視頻濃縮方法，所述事件模型是詞袋模型，在所述步驟20中，通過以下公式計(jì)算在行車記錄視頻的每幀中發(fā)生每個(gè)事件i的概率Si:
7.根據(jù)權(quán)利要求5所述的行車記錄視頻濃縮方法，其中，在所述步驟20中，通過以下公式計(jì)算在行車記錄視頻的每幀中發(fā)生每個(gè)事件i的概率Cli:
【文檔編號(hào)】G06F17/30GK103886089SQ201410125948
【公開日】2014年6月25日 申請(qǐng)日期:2014年3月31日 優(yōu)先權(quán)日:2014年3月31日
【發(fā)明者】吳懷正 申請(qǐng)人:吳懷正