一種基于視頻的天氣現(xiàn)象識(shí)別方法
【專利摘要】本發(fā)明公開了一種基于視頻的天氣現(xiàn)象識(shí)別方法，實(shí)現(xiàn)對(duì)晴、多云、雨、雪、霧等常見(jiàn)天氣現(xiàn)象的分類識(shí)別，包括以下步驟：離線分類器訓(xùn)練：對(duì)給定的訓(xùn)練視頻，采樣圖像序列，一方面提取圖像序列的視頻特征，另一方面從圖像序列中提取關(guān)鍵幀圖像及其圖像特征，采用AdaBoost對(duì)所提取的視頻特征、圖像特征以及人工標(biāo)注進(jìn)行學(xué)習(xí)訓(xùn)練得到分類器；在線天氣現(xiàn)象識(shí)別：對(duì)測(cè)試視頻，采樣多組圖像序列，提取每組圖像序列的視頻特征和圖像特征，將上述特征送入分類器中進(jìn)行分類，得到相應(yīng)識(shí)別結(jié)果后再通過(guò)投票方式進(jìn)行決策融合，將投票結(jié)果作為測(cè)試視頻的天氣現(xiàn)象識(shí)別結(jié)果。
【專利說(shuō)明】一種基于視頻的天氣現(xiàn)象識(shí)別方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及天氣現(xiàn)象識(shí)別方法，屬于大氣探測(cè)中地面氣象觀測(cè)【技術(shù)領(lǐng)域】，具體地 說(shuō)是一種基于視頻的天氣現(xiàn)象識(shí)別方法。

【背景技術(shù)】
[0002] 天氣現(xiàn)象是指發(fā)生在地面和地面以上的大氣或與大氣相關(guān)的物理過(guò)程，是地面氣 象觀測(cè)的重要內(nèi)容。目前溫度、濕度、風(fēng)向、風(fēng)速、氣壓和降雨量等常規(guī)氣象要素已實(shí)現(xiàn)自動(dòng) 探測(cè)，但對(duì)雨、雪、霧等天氣現(xiàn)象類型的觀測(cè)仍以人工觀測(cè)為主，存在著主觀性較強(qiáng)、觀測(cè)頻 次低、成本開銷大和觀測(cè)范圍受限等弊端。本發(fā)明利用固定式監(jiān)控?cái)z像機(jī)捕獲的視頻中豐 富視覺(jué)信息，研究對(duì)晴、多云、雨、雪、霧等天氣現(xiàn)象的檢測(cè)與識(shí)別，探索基于視頻的離線分 類器訓(xùn)練和在線天氣現(xiàn)象識(shí)別方法，實(shí)現(xiàn)對(duì)常見(jiàn)天氣現(xiàn)象的自動(dòng)識(shí)別。
[0003] 在天氣現(xiàn)象對(duì)視覺(jué)效果影響研究領(lǐng)域，根據(jù)大氣中懸浮粒子大小和類型將其分為 靜態(tài)天氣現(xiàn)象和動(dòng)態(tài)天氣現(xiàn)象。其中，靜態(tài)天氣現(xiàn)象是指大氣中粒子較少或時(shí)空變化相對(duì) 穩(wěn)定的粒子對(duì)環(huán)境光產(chǎn)生衰減和折射效應(yīng)，主要包括晴、霧、多云天氣，這類天氣對(duì)圖像和 視頻質(zhì)量影響相對(duì)較為穩(wěn)定，主要表現(xiàn)為圖像的模糊退化；而動(dòng)態(tài)天氣現(xiàn)象是指大氣中的 不穩(wěn)定介質(zhì)在大氣中運(yùn)動(dòng)，對(duì)環(huán)境光產(chǎn)生衰減和折射效應(yīng)，主要包括雨、雪天氣現(xiàn)象，這些 天氣對(duì)圖像的退化效果主要表現(xiàn)在運(yùn)動(dòng)模糊、點(diǎn)噪聲或運(yùn)動(dòng)跡線噪聲等方面。由于在成像 過(guò)程中大氣粒子大小、粒子數(shù)量、運(yùn)動(dòng)速度、相機(jī)曝光時(shí)間和光照環(huán)境的不同，各類天氣現(xiàn) 象所表現(xiàn)出來(lái)的退化效果也不盡相同。因此，識(shí)別和研究不同環(huán)境和條件下的天氣現(xiàn)象成 為當(dāng)前研究的難點(diǎn)之一。
[0004] 為了準(zhǔn)確識(shí)別天氣現(xiàn)象并對(duì)其有效分類，文獻(xiàn)IMartin Roser, Frank Moosmann. Classification of weather situations on single color images. IEEE Intelligent Vehicles Symposium，2008:798-803基于HSI空間直方圖等特征，識(shí)別駕駛輔助系統(tǒng)的圖 像中存在的晴、小雨和大雨現(xiàn)象，但識(shí)別的天氣現(xiàn)象類別數(shù)較少；文獻(xiàn)2Xunshi Yan, Yupin Luoj Xiaoming Zheng. Weather recognition based on images captured by vision system in vehicle. Proceedings of the 6th International Symposium on Neural Network:Advance in Neural Networks，2009，vol 3:390-398 中分析了車載設(shè)備的圖像 數(shù)據(jù)的梯度與HSV空間直方圖，結(jié)合道路信息對(duì)路途中晴天、雨天和多云三類天氣狀況進(jìn) 行識(shí)別，但他們研究背景局限在智能交通應(yīng)用范圍內(nèi)，捕獲的圖像內(nèi)容單一，且特征的選取 與識(shí)別類別均已預(yù)先設(shè)定；文獻(xiàn) 3Li Shen，Ping Tan. Photometric stereo and weather estimation using internet images. 2009IEEE Conference on Computer Vision and Pattern Recognition: 1850-1857對(duì)互聯(lián)網(wǎng)上同一場(chǎng)景不同視角的圖像進(jìn)行SIFT變換，并 建立對(duì)應(yīng)的光照模型，根據(jù)光線角度估計(jì)當(dāng)時(shí)的場(chǎng)景天氣，但他們的模型只根據(jù)光照變化 對(duì)晴天和多云兩類天氣狀況進(jìn)行了識(shí)別；文獻(xiàn)4李騫，范茵，張璟，李寶強(qiáng).基于室外圖像 的天氣現(xiàn)象識(shí)別方法.計(jì)算機(jī)應(yīng)用.2011^ 〇131(6)，口口.1621-1626中提取單幅室外圖像 對(duì)比度等視覺(jué)特征，采用SVM分類器對(duì)晴、霧、多云和雨等天氣進(jìn)行識(shí)別，準(zhǔn)確率達(dá)到70% 左右；文獻(xiàn) 5Xudong Zhao, Peng Liu, Jiafeng Liu, Xianglong Tang. Feature extraction for classification of different weather conditions. Front. Electr. Electron. Eng. China 2011，6(2) :339 - 346中提出了采用相關(guān)性的方法對(duì)圖像序列的某個(gè)選定區(qū)域進(jìn)行 特征提取來(lái)區(qū)分動(dòng)態(tài)天氣和靜態(tài)天氣，該方法很容易對(duì)強(qiáng)度較大的雨雪動(dòng)態(tài)天氣與晴、霧、 多云等靜態(tài)天氣進(jìn)行區(qū)分，但對(duì)于強(qiáng)度較小的雨雪天氣的區(qū)分能力較弱。此外，國(guó)內(nèi)外部分 氣象儀器廠商近年來(lái)也推出了 一些視頻天氣現(xiàn)象儀，嘗試?yán)脠D像色度和形態(tài)信息識(shí)別露 霜等現(xiàn)象，而雨雪等天氣的識(shí)別仍主要依靠主動(dòng)天氣現(xiàn)象傳感器（如散射儀）。上述方法大 多只針對(duì)單幅圖像進(jìn)行天氣現(xiàn)象識(shí)別研究，分類效果受成像設(shè)備參數(shù)、環(huán)境光照變化、場(chǎng)景 中物體運(yùn)動(dòng)等因素影響，單次識(shí)別結(jié)果差異較大，識(shí)別準(zhǔn)確率較低，尤其是對(duì)場(chǎng)景中雨雪等 動(dòng)態(tài)天氣現(xiàn)象識(shí)別難度較大，并且天氣現(xiàn)象類別偏少，難以滿足應(yīng)用需求。
[0005] 對(duì)于相同場(chǎng)景的天氣現(xiàn)象，時(shí)間尺度上具有連續(xù)性的視頻相對(duì)單幀圖像具有更多 的動(dòng)態(tài)信息，更有利于區(qū)分場(chǎng)景中的動(dòng)態(tài)天氣和靜態(tài)天氣；視頻含有豐富的信息量，結(jié)合機(jī) 器學(xué)習(xí)可識(shí)別更多的天氣現(xiàn)象類別；對(duì)一定時(shí)間段內(nèi)多個(gè)視頻的天氣現(xiàn)象識(shí)別結(jié)果進(jìn)行融 合提高了識(shí)別的穩(wěn)定性。到目前為止，基于視頻的天氣現(xiàn)象識(shí)別方法研究相對(duì)較少。


【發(fā)明內(nèi)容】

[0006] 發(fā)明目的：本發(fā)明所要解決的技術(shù)問(wèn)題是針對(duì)現(xiàn)有的天氣現(xiàn)象的自動(dòng)探測(cè)識(shí)別率 不高、識(shí)別類別有限，提出了一種基于視頻的天氣現(xiàn)象識(shí)別方法。
[0007] 技術(shù)方案：本發(fā)明公開一種基于視頻的天氣現(xiàn)象識(shí)別方法，包括以下步驟：
[0008] 步驟1，離線分類器訓(xùn)練：對(duì)訓(xùn)練樣本（視頻），首先采樣出圖像序列，提取視頻 特征，然后從圖像序列中提取關(guān)鍵幀圖像并對(duì)其進(jìn)行圖像特征提取，最后將視頻特征和圖 像特征融合，并采用由隨機(jī)森林作為弱分類器構(gòu)成的AdaBoost強(qiáng)分類器，進(jìn)行監(jiān)督學(xué)習(xí)訓(xùn) 練，得到天氣現(xiàn)象的分類器；
[0009] 步驟2,在線天氣現(xiàn)象識(shí)別：對(duì)給定的一段測(cè)試視頻，間隔固定的時(shí)間進(jìn)行采樣得 到η組圖像序列，η為自然數(shù)，提取每組圖像序列的視頻特征和圖像特征，將所有特征送入 步驟1獲得的分類器中進(jìn)行測(cè)試，得到每個(gè)圖像序列對(duì)應(yīng)的天氣現(xiàn)象識(shí)別結(jié)果，對(duì)η個(gè)識(shí)別 結(jié)果通過(guò)投票方式進(jìn)行決策融合，以出現(xiàn)次數(shù)最多的天氣現(xiàn)象類別作為測(cè)試視頻最終的識(shí) 別結(jié)果。本發(fā)明所述步驟1離線分類器訓(xùn)練具體包括以下步驟：
[0010] 步驟11，視頻特征提?。簭挠?xùn)練視頻中每隔一段時(shí)間提取一組圖像序列，對(duì)于每 一組圖像序列，一方面為了區(qū)分動(dòng)態(tài)天氣與靜態(tài)天氣，將圖像等間距地劃分成6X8的子區(qū) 域，計(jì)算每個(gè)子區(qū)域在這組圖像序列中的相關(guān)性特征，特征維度為96維；另一方面為了區(qū) 分雨天還是雪天，采用碼書的方法對(duì)這組圖像序列進(jìn)行運(yùn)動(dòng)檢測(cè)，對(duì)于運(yùn)動(dòng)檢測(cè)分離得到 的前景圖像序列，等間隔采樣兩巾貞，將每幀圖像等間距地劃分成6X8的子區(qū)域，計(jì)算每個(gè) 子區(qū)域的紋理特征，特征維度為288維；則總的視頻特征為尹=.，特征維度為384維；視頻特 征提取的具體步驟為：
[0011] 步驟111，相關(guān)性特征提?。簩?duì)于圖像序列H= (H1，…，Η,，···，ΗΤ}，Ht為H中第t 幀圖像，T為H的長(zhǎng)度，將其中每個(gè)圖像等間距地劃分成6X8的子區(qū)域，計(jì)算每個(gè)子區(qū)域中 各點(diǎn)的像素值在圖像序列中不同時(shí)刻之間的相關(guān)性特征，位置λ處的相關(guān)性特征計(jì)算公 式為：

【權(quán)利要求】
1. 一種基于視頻的天氣現(xiàn)象識(shí)別方法，其特征在于，包括以下步驟： 步驟1，離線分類器訓(xùn)練：對(duì)訓(xùn)練樣本中的訓(xùn)練視頻，首先采樣出圖像序列，提取視頻 特征，然后從圖像序列中提取關(guān)鍵幀圖像并對(duì)其進(jìn)行圖像特征提取，最后將視頻特征和圖 像特征融合，并采用由隨機(jī)森林作為弱分類器構(gòu)成的AdaBoost強(qiáng)分類器，進(jìn)行監(jiān)督學(xué)習(xí)訓(xùn) 練，得到天氣現(xiàn)象的分類器； 步驟2,在線天氣現(xiàn)象識(shí)別：對(duì)給定的一段測(cè)試視頻，間隔固定的時(shí)間進(jìn)行采樣得到η組圖像序列，η為自然數(shù)，提取每組圖像序列的視頻特征和圖像特征，將所有特征送入步驟 1獲得的分類器中進(jìn)行測(cè)試，得到每個(gè)圖像序列對(duì)應(yīng)的天氣現(xiàn)象識(shí)別結(jié)果，對(duì)η個(gè)識(shí)別結(jié)果 通過(guò)投票方式進(jìn)行決策融合，以出現(xiàn)次數(shù)最多的天氣現(xiàn)象類別作為測(cè)試視頻最終的識(shí)別結(jié) 果。
2. 根據(jù)權(quán)利要求1所述的方法，其特征在于，步驟1離線分類器訓(xùn)練具體包括以下步 驟： 步驟11，視頻特征提?。簭挠?xùn)練視頻中每隔一段時(shí)間提取一組圖像序列，對(duì)于每一組 圖像序列，將圖像等間距地劃分成6X8的子區(qū)域，計(jì)算每個(gè)子區(qū)域在這組圖像序列中的相 關(guān)性特征，相關(guān)性特征維度為96維；采用碼書的方法對(duì)圖像序列進(jìn)行運(yùn)動(dòng)檢測(cè)，對(duì)于運(yùn)動(dòng) 檢測(cè)分離得到的前景圖像序列，等間隔采樣兩幀，將每幀圖像等間距地劃分成6X8的子區(qū) 域，計(jì)算每個(gè)子區(qū)域的紋理特征，紋理特征維度為288維；則總的視頻特征為瓦;，總特征維 度為384維； 視頻特征提取的具體步驟為： 步驟111，相關(guān)性特征提?。簩?duì)于圖像序列H= (H1，…，Ht，…，HT}，Ht為H中第t幀圖 像，T為H的長(zhǎng)度，將其中每個(gè)圖像等間距地劃分成6X8的子區(qū)域，計(jì)算每個(gè)子區(qū)域中各點(diǎn) 的像素值在圖像序列中不同時(shí)刻之間的相關(guān)性特征，位置λ處的相關(guān)性特征計(jì)算公式為：
式中t和t'分別表示在序列{HA，t}，te{1，···，Τ}中的當(dāng)前幀數(shù)和間隔幀數(shù)，t'取值 0?T-l，HA，t為幀數(shù)t時(shí)位置λ處的像素值，％代表序列{HA，t}，te{1，···，Τ}的均值， _ 1τ 即 ^ ^I-I 提取短時(shí)自相關(guān)S和時(shí)間平均自相關(guān)U兩個(gè)特征：
式中Ω為48個(gè)子區(qū)域中的一個(gè)圖像區(qū)域，/^1')為Pλα'）的二次多項(xiàng)式擬合，mean()為取均值函數(shù)，48個(gè)子區(qū)域共得到48組S和U的值，共96維； 步驟112,運(yùn)動(dòng)圖像紋理特征提取：首先采用碼書的方法對(duì)圖像序列進(jìn)行運(yùn)動(dòng)檢測(cè)得 到運(yùn)動(dòng)前景的圖像序列，然后從運(yùn)動(dòng)前景的圖像序列中等間隔采樣兩幀圖像，并將每幀圖 像等間距地劃分成6X8的子區(qū)域，最后提取每個(gè)子區(qū)域的紋理特征，紋理特征包括對(duì)比度 Contrast、能量Energy和同質(zhì)性Homogenity，兩巾貞圖像總共提取288維特征；其具體步驟 為： 步驟1121，運(yùn)動(dòng)檢測(cè)：首先將圖像序列H= (H1，…，Ht，···，％}轉(zhuǎn)化為灰度圖像序列，并 按灰度值〇?255等間隔劃分為16個(gè)區(qū)間，然后計(jì)算圖像序列中所有圖像在同一像素位置 處的灰度值分布，具體為用codebook(i,j,w)表示在圖像的坐標(biāo)（i,j)處的像素灰度值g 落在第w個(gè)灰度區(qū)間的概率，w= 1，…，16 ;在進(jìn)行運(yùn)動(dòng)前景的區(qū)分時(shí)，用碼書作為參照表 區(qū)分前景與背景，對(duì)于任一坐標(biāo)（i，j)處的灰度值g，計(jì)算其所對(duì)應(yīng)的灰度區(qū)間《，查找碼書 對(duì)應(yīng)的C〇deb〇〇k(i，j，w)的值，如果大于給定閾值則判定為背景，否則為前景；另外，當(dāng)前 景的亮度值小于給定的另一個(gè)閾值時(shí)判斷該像素點(diǎn)處不存在雨雪； 步驟1122,紋理特征：從步驟1121運(yùn)動(dòng)檢測(cè)后的前景圖像序列中等間隔采樣兩幀，并 將每幀圖像等間距地劃分成6X8的子區(qū)域，對(duì)于其中的一個(gè)子區(qū)域圖像ε，當(dāng)距離向量為 1 =(成φ·)時(shí)的灰度共生矩陣函數(shù)C表示為：
式中di和dj分別為向量3在圖像坐標(biāo)i方向和j方向分量的增量，M和N為子區(qū)域圖 像ε的寬和高，ε(i,j)為圖像ε在坐標(biāo)（i,j)處的像素值，（i,j)和（i+di,j+dj)為圖 像ε中距離d的兩個(gè)像素點(diǎn)的坐標(biāo)位置，u和V為對(duì)應(yīng)的像素值，card{}為統(tǒng)計(jì)子區(qū)域圖 像ε中滿足條件的點(diǎn)對(duì)出現(xiàn)的次數(shù)； 如果有一組距離向量Λ= …*1.…5^，$為距離向量組Λ中第Θ個(gè)距離向量， Θ= 1，···，μ，μ為距離向量組Λ中距離向量的個(gè)數(shù)，取均值記為灰度共生矩陣函數(shù)C， 即，
對(duì)比度Contrast、能量Energy和同質(zhì)性Homogenity在灰度共生矩陣的基礎(chǔ)上提取，計(jì) 算公式分別為：
ΑΨU刀囹1豕的狄埂級(jí)； 步驟12,圖像特征提?。禾崛D像序列的關(guān)鍵幀，將關(guān)鍵幀轉(zhuǎn)化到HSV顏色空間，H為 色度，S為飽和度，V為亮度，并將轉(zhuǎn)化后的圖像等間距地劃分成6X8的子區(qū)域，計(jì)算每個(gè)子 區(qū)域的顏色特征、亮度特征和清晰度特征，相應(yīng)特征組合為總的圖像特征瓦；，特征維度為 288,圖像特征的提取具體步驟為： 步驟121，關(guān)鍵幀提?。簩?duì)圖像序列H= (H1，…，Ht，…，Ητ}，取同一像素位置的所有像素 值的均值作為關(guān)鍵幀在該位置的值，即AU) = ，式中批(i，j)為圖像序列H中 iH 第t幀圖像在坐標(biāo)（i，j)處的像素值，τ為圖像序列的長(zhǎng)度，j(i，j)為關(guān)鍵幀在坐標(biāo)（i，j) 處的像素值； 步驟122,顏色特征提?。簩㈥P(guān)鍵幀圖像轉(zhuǎn)化到HSV顏色空間后，劃分成6X8的子區(qū) 域，提取每個(gè)子區(qū)域的顏色特征；在HSV圖像空間中，對(duì)顏色區(qū)間進(jìn)行劃分，其顏色的劃分 如表1所示，提取每個(gè)子區(qū)域的紅-黃色和黃色所占比重作為顏色特征，共96維特征； 表IHSV空間的顏色劃分
步驟123,亮度特征提取：將關(guān)鍵幀圖像轉(zhuǎn)化到HSV顏色空間，并將V分量的圖像等間 距地劃分成6X8的子區(qū)域，提取每個(gè)子區(qū)域的亮度特征；對(duì)于每個(gè)子區(qū)域，提取區(qū)域所有 像素的亮度均值嚴(yán)作為特征，即f= ?^?(匕），其中Va為區(qū)域Ω中位置λ處的亮度值，Ω Λ€〇. 為48個(gè)子區(qū)域中的一個(gè)，共48維特征； 步驟124,清晰度特征提?。簩㈥P(guān)鍵幀圖像轉(zhuǎn)化到HSV顏色空間，并將S分量的圖像等 間距地劃分成6X8的子區(qū)域，提取每個(gè)子區(qū)域I的清晰度特征，提取平均梯度AG、峰值信噪 比PSNR和均方差對(duì)比度SC作為清晰度特征，共144維特征；平均梯度AG的計(jì)算公式為：
式中M和N分別為圖像子區(qū)域的高和寬，I(i，j)為圖像子區(qū)域在坐標(biāo)（i，j)處的像素 值；峰值信噪比PSNR的計(jì)算公式為：
式中MX1為圖像子區(qū)域I的最大像素值；均方差MSE計(jì)算公式為：
式中I和Z分別對(duì)應(yīng)子區(qū)域圖像和直方圖均衡化后的子區(qū)域圖像； 均方差對(duì)比度SC的計(jì)算公式如下：
9 式中N1為圖像子區(qū)域中像素點(diǎn)的個(gè)數(shù)； 步驟13,AdaBoost分類器訓(xùn)練：按步驟11和步驟12提取訓(xùn)練視頻每組圖像序列的特 征向量，同時(shí)標(biāo)注視頻樣本中場(chǎng)景的天氣現(xiàn)象類別，由此得到訓(xùn)練樣本集；采用AdaBoost 對(duì)訓(xùn)練樣本集進(jìn)行訓(xùn)練，生成多個(gè)隨機(jī)森林作為弱分類器并組合成AdaBoost強(qiáng)分類器，具 體步驟為： 步驟131，訓(xùn)練樣本集生成：按照步驟11和步驟12提取訓(xùn)練視頻圖像序列的視頻特征 和圖像特征&，以相同權(quán)重融合后作為該序列的特征向量r= ?人工標(biāo)注視頻 樣本中場(chǎng)景的天氣類別y，得到訓(xùn)練樣本集：
其中Xa和7。分別為第α個(gè)樣本的特征向量和天氣現(xiàn)象類別，XaSm維實(shí)數(shù)向量，yae{1，…，K}，a=1，···，Nx，Nx為訓(xùn)練樣本的數(shù)量，K為天氣現(xiàn)象的類別數(shù)； 步驟132,單個(gè)隨機(jī)森林生成：對(duì)步驟131得到的訓(xùn)練樣本集D按權(quán)重W選擇1/2 的樣本進(jìn)行一次訓(xùn)練，生成一個(gè)由Y棵二叉決策樹組成的隨機(jī)森林；然后對(duì)森林中每 棵決策樹，分別計(jì)算決策樹上各葉子節(jié)點(diǎn)c'處的樣本屬于不同天氣現(xiàn)象類別的概率 p(y|c'），ye{1，···，Κ};其具體步驟為： 步驟1321，單棵決策樹生成：從訓(xùn)練樣本中隨機(jī)選擇特征分量，并按權(quán)重選擇樣本構(gòu) 成子樣本訓(xùn)練集；對(duì)子樣本訓(xùn)練集，集中所有特征分量構(gòu)造相應(yīng)的問(wèn)題集；通過(guò)計(jì)算最大 雜度削減的方法從問(wèn)題集中選擇問(wèn)題作為根節(jié)點(diǎn)的分支標(biāo)準(zhǔn)，將根節(jié)點(diǎn)的左右分支分別作 為根節(jié)點(diǎn)遞歸進(jìn)行分支操作，直到滿足分支停止條件，從而形成一棵決策樹，包括以下步 驟： 步驟13211，子樣本集選?。簭挠?xùn)練樣本集D的m維特征中隨機(jī)選擇1/2的特征構(gòu)成各 樣本的部分特征樣本集D'，從樣本集D'中按權(quán)重W選擇1/2的樣本構(gòu)成子樣本集Φ; 步驟13212,問(wèn)題集的構(gòu)造：子樣本集Φ的每個(gè)特征向量X的維度為m/2,令X= (X1，…，Χω，…Xm/2}，其中Χω為第ω個(gè)特征分量，將樣本集φ中特征分量Χω對(duì)應(yīng)的值 從小到大排列得到序列壙= ·[Χ?，…A為序列Αω中第δ個(gè)值，^為樣本集 Φ中的樣本數(shù)，根據(jù)樣本的特征分量Xu是否滿足條件+ = 從序列Αω中取出Ν'X-1個(gè)值構(gòu)成特征分量Χω的問(wèn)題集^，則所有特征分量相應(yīng)的問(wèn)題 集為B= {Β1，…，Βω，...，Β1^2}，其中礦* = _u，…,扣，…，勝,4,在=U…，Am,-1，於為問(wèn)題 ，上述問(wèn)題集B包含（Ν'x-l)Xm/2個(gè)問(wèn)題； 步驟13213,根節(jié)點(diǎn)分支：將第ω個(gè)特征分量對(duì)應(yīng)問(wèn)題集^中第δ個(gè)問(wèn)題5f·作為節(jié) 點(diǎn)的分支條件，將根節(jié)點(diǎn)root分為左分支C1^和右分支cR兩個(gè)子節(jié)點(diǎn)，其中分至C1^的樣本的 特征分量值滿足1*><^"(^+^1<1)，分至(^的樣本的特征分量值滿足10>'^(.4? +』3^)， 計(jì)算分至左分支的概率Λ=#和分至右分支的概率PK=H\，其中Nrart為未進(jìn)行分支時(shí) iVroot 根節(jié)點(diǎn)root中的總樣本數(shù)目，Nleft為分支后分到左分支節(jié)點(diǎn)的樣本數(shù)目；計(jì)算根節(jié)點(diǎn)root采用問(wèn)題51'分支后的雜度削減；
式中r(c)為任意節(jié)點(diǎn)c的Gini雜度函數(shù)；
其中a和b分別為天氣現(xiàn)象的類別，ae{1，…，K}，be{1，…，K}，p(a|c)和p(bIc) 分別為節(jié)點(diǎn)c中的樣本屬于類別a和b的概率，循環(huán)對(duì)子樣本集Φ所有特征得到的問(wèn)題集 B進(jìn)行雜度削減計(jì)算，求出根節(jié)點(diǎn)采用每個(gè)問(wèn)題進(jìn)行分支后的雜度削減； Ar(Btm〇t) = r(iO〇i)-~-iicii)PR-r(ci)Pi，S=l---,M\-l,(〇= \,···.ιη/2, 并令找出使根節(jié)點(diǎn)的雜度削減最大的問(wèn)題#作為根節(jié)點(diǎn) 的分支條件，將root分裂成Clj和cK兩個(gè)節(jié)點(diǎn)，同時(shí)將樣本集Φ分為（J)lj和Φκ，(J)lj為分支 后節(jié)點(diǎn)對(duì)應(yīng)的樣本集，Φκ為分支后節(jié)點(diǎn)cK對(duì)應(yīng)的樣本集，問(wèn)題集更新為5 = 5-苽； 步驟13214,分裂停止：分別將步驟13213中root分裂而成的(^和cK作為根節(jié)點(diǎn)，同 時(shí)將對(duì)應(yīng)的^^和Φκ作為訓(xùn)練集，問(wèn)題集5 = 5-Λ?，遞歸進(jìn)行步驟13213,直到滿足如下 條件之一： 1) 分支后的葉節(jié)點(diǎn)中的樣本數(shù)小于給定的值Nmin = 2 ; 2) 分支后的葉節(jié)點(diǎn)中的樣本屬于同一個(gè)類； 3) 問(wèn)題集B中沒(méi)有問(wèn)題用作分支條件； 步驟1322,多棵決策樹生成：重復(fù)步驟1321，直到二叉決策樹的數(shù)目等于γ; 步驟133,AdaBoost強(qiáng)分類器訓(xùn)練，具體步驟為： 步驟1331，初始化參數(shù)：設(shè)弱分類器隨機(jī)森林初始個(gè)數(shù)為0,初始權(quán)重為W1 (α)= 1/Nx,a=I, ---,Nx ； 步驟1332,訓(xùn)練誤差和修改系數(shù)計(jì)算：對(duì)于第k次的計(jì)算，首先將權(quán)重Wk (α)代入步驟 132中訓(xùn)練出一個(gè)隨機(jī)森林Fk，然后用Fk對(duì)樣本集D進(jìn)行測(cè)試，計(jì)算訓(xùn)練誤差= 和 Nx 修改系數(shù)爲(wèi)= ?其中Nx為D中樣本的數(shù)目，Nneg為判別錯(cuò)誤的數(shù)目； 步驟1333,更新樣本權(quán)重：由步驟1332計(jì)算出第k次的修改系數(shù)βk，則第k+Ι次權(quán)重 按
?新，其中hk(χα)為隨機(jī)森林Fk對(duì)樣本點(diǎn)χα的類 Wkda) 別識(shí)別結(jié)果;歸一化權(quán)重,= ; a 步驟1334,迭代停止：迭代執(zhí)行步驟1332和1333,直到生成的隨機(jī)森林?jǐn)?shù)目等于指定 的弱分類器的數(shù)目。
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，步驟2包括以下步驟： 步驟21，視頻特征提取：對(duì)于一段測(cè)試視頻，每隔一段時(shí)間提取一組圖像序列，假設(shè)采 樣了η組圖像序列，對(duì)于每一組圖像序列，將圖像等間距地劃分成6X8的子區(qū)域，計(jì)算每個(gè) 子區(qū)域在這組圖像序列中的相關(guān)性特征，相關(guān)性特征維度為96維；采用碼書的方法對(duì)圖像 序列進(jìn)行運(yùn)動(dòng)檢測(cè)，對(duì)于運(yùn)動(dòng)檢測(cè)分離得到的前景圖像序列，等間隔采樣兩巾貞，將每幀圖像 等間距地劃分成6X8的子區(qū)域，計(jì)算每個(gè)子區(qū)域的紋理特征，紋理特征維度為288維；則總 的視頻特征為瓦總特征維度為384 ;視頻特征提取的具體步驟為： 步驟211，相關(guān)性特征提?。簩?duì)于圖像序列H= (H1，…，Ht，···，％}，Ht為H中第t幀圖 像，將其中每個(gè)圖像等間距地劃分成6X8的子區(qū)域，計(jì)算每個(gè)子區(qū)域中各點(diǎn)的像素值在H 中不同時(shí)刻之間的相關(guān)性特征，位置λ處的相關(guān)性特征的計(jì)算公式為：
式中T為H的長(zhǎng)度，t和t'分別表示在序列{HA;t}，te{1，...Τ}中的當(dāng)前幀數(shù)和間 隔幀數(shù)，HA，t為幀數(shù)t時(shí)位置λ處的像素值，瓦代表序列{HA，t}，te{1，...T}的均值； 提取短時(shí)自相關(guān)S和時(shí)間平均自相關(guān)U兩個(gè)特征：
式中Ω為48個(gè)子區(qū)域中的一個(gè)圖像區(qū)域，/^1^為Pλα'）的二次多項(xiàng)式擬合， mean()為取均值函數(shù)，48個(gè)子區(qū)域共得到48組S和U的值，共96維； 步驟212,運(yùn)動(dòng)圖像紋理特征提?。菏紫炔捎么a書的方法對(duì)圖像序列進(jìn)行運(yùn)動(dòng)檢測(cè)得 到運(yùn)動(dòng)前景的圖像序列，然后從運(yùn)動(dòng)前景的圖像序列中等間隔采樣兩幀圖像，并將每幀圖 像等間距地劃分成6X8的子區(qū)域，最后提取每個(gè)子區(qū)域的紋理特征，紋理特征包括對(duì)比度 Contrast、能量Energy和同質(zhì)性Homogenity，兩巾貞圖像總共提取288維特征；其具體步驟 為： 步驟2121，運(yùn)動(dòng)檢測(cè)：首先將圖像序列H= (H1，…，Ht，···，％}轉(zhuǎn)化為灰度圖像序列，并 按灰度值〇?255等間隔劃分為16個(gè)區(qū)間，然后計(jì)算圖像序列中所有圖像在同一像素位置 處的灰度值分布，具體為用codebook(i,j,w)表示在圖像的坐標(biāo)（i,j)處的像素灰度值g 落在第w個(gè)灰度區(qū)間的概率，w= 1，2,…，16 ;在進(jìn)行運(yùn)動(dòng)前景的區(qū)分時(shí)，用碼書作為參照 表區(qū)分前景與背景，對(duì)于任一坐標(biāo)（i，j)處的灰度值g，計(jì)算其所對(duì)應(yīng)的灰度區(qū)間《，查找碼 書對(duì)應(yīng)的C〇deb〇〇k(i，j，w)的值，如果大于給定閾值則判定為背景，否則為前景；另外，當(dāng) 前景的亮度值小于給定的另一個(gè)閾值時(shí)判斷該像素點(diǎn)處不存在雨雪； 步驟2122,紋理特征：從步驟2121運(yùn)動(dòng)檢測(cè)后的前景圖像序列中等間隔采樣兩幀，并 將每幀圖像等間距地劃分成6X8的子區(qū)域，對(duì)于其中的一個(gè)子區(qū)域圖像ε，當(dāng)距離向量為 1 成著)時(shí)的灰度共生矩陣函數(shù)C表示為：
式中M和N為子區(qū)域圖像ε的寬和高，ε(i，j)為圖像ε在坐標(biāo)（i，j)處的像素值， (i，j)和（i+di,j+dj)為圖像ε中距離d的兩個(gè)像素點(diǎn)的坐標(biāo)位置，u和V為對(duì)應(yīng)的像素 值，di和dj分別為向量J在圖像坐標(biāo)i方向和j方向分量的增量，card{}為統(tǒng)計(jì)子區(qū)域圖 像ε中滿足條件的點(diǎn)對(duì)出現(xiàn)的次數(shù)； 如果有一組距離向量Δ = {?/ι,…，心，…，μ為距離向量的個(gè)數(shù)，Θ= 1，···，μ，χ為距離向量組Λ中第Θ個(gè)距離向量，取均值記為灰度共生矩陣函數(shù)C，即，
對(duì)比度Contrast、能量Energy和同質(zhì)性Homogenity在灰度共生矩陣的基礎(chǔ)上提取，計(jì) 算公式分別為：

式中G為圖像的灰度級(jí)； 步驟22，圖像特征提?。禾崛D像序列的關(guān)鍵幀，將關(guān)鍵幀轉(zhuǎn)化到HSV顏色空間，H為色 度，S為飽和度，V為亮度，并將轉(zhuǎn)化后的圖像等間距地劃分成6X8的子區(qū)域，計(jì)算每個(gè)子區(qū) 域的顏色特征、亮度特征和清晰度特征，相應(yīng)特征組合為總的圖像特征為瓦：，特征維度為 288,圖像特征的提取具體步驟為： 步驟221，關(guān)鍵幀提?。簩?duì)圖像序列H= (H1，…，Ht，…，Ητ}，取同一像素位置的所有像素 IT 值的均值作為關(guān)鍵幀在該位置的值，即AU) = ，式中Ht (i，j)為圖像序列H中 農(nóng)i=i 第t幀圖像在坐標(biāo)（i，j)處的像素值，T為圖像序列的長(zhǎng)度，J(i，j)為關(guān)鍵幀在坐標(biāo)（i，j) 處的像素值； 步驟222,顏色特征提取：將關(guān)鍵幀圖像轉(zhuǎn)化到HSV顏色空間后，劃分成6X8的子區(qū) 域，提取每個(gè)子區(qū)域的顏色特征；在HSV圖像空間中，對(duì)顏色區(qū)間進(jìn)行劃分，其顏色的劃分 如表1所示，提取每個(gè)子區(qū)域的紅-黃色和黃色所占比重作為顏色特征，共96維特征； 步驟223,亮度特征提取：將關(guān)鍵幀圖像轉(zhuǎn)化到HSV顏色空間，并將V分量的圖像等間 距地劃分成6X8的子區(qū)域，提取每個(gè)子區(qū)域的亮度特征；對(duì)于每個(gè)子區(qū)域，提取區(qū)域所有 像素的亮度均值,作為特征，即= 其中Va為區(qū)域Ω中位置λ處的亮度值， Λ-.?Ι Ω為48個(gè)子區(qū)域中的一個(gè)，共48維特征； 步驟224,清晰度特征提取：將關(guān)鍵幀圖像轉(zhuǎn)化到HSV顏色空間，并將S分量的圖像等 間距地劃分成6X8的子區(qū)域，提取每個(gè)子區(qū)域I的清晰度特征，提取平均梯度AG、峰值信噪 比PSNR和均方差對(duì)比度SC作為清晰度特征，共144維特征； 平均梯度AG的計(jì)算公式為：
式中M和N分別為圖像子區(qū)域的高和寬，I(i，j)為圖像子區(qū)域在坐標(biāo)（i，j)處的像素 值；峰值信噪比PSNR的計(jì)算公式為：
式中MXt為圖像子區(qū)域I的最大像素值；均方差MSE計(jì)算公式為：
式中I和Z分別對(duì)應(yīng)子區(qū)域和直方圖均衡化后的子區(qū)域圖像； 均方差對(duì)比度SC的計(jì)算公式如下：
9 式中N1為圖像子區(qū)域中像素點(diǎn)的個(gè)數(shù)； 步驟23,樣本測(cè)試：對(duì)于從一段測(cè)試視頻中提取的η組圖像序列，將每組圖像序列的視 頻特征瓦;和圖像特征瓦，以相同權(quán)重融合到一個(gè)特征向量中作為一組圖像序列的特征向 量-Y= ·}^，?分別將每組圖像序列對(duì)應(yīng)的特征向量X送入由步驟13得到的AdaBoost強(qiáng) 分類器中，得到對(duì)應(yīng)的η個(gè)圖像序列的識(shí)別結(jié)果；采用AdaBoost強(qiáng)分類器判別特征向量X的類別的具體步驟為： 步驟231，基于隨機(jī)森林的識(shí)別：步驟132中生成的一個(gè)隨機(jī)森林L由γ棵二叉決策 樹構(gòu)成，求出特征向量X經(jīng)過(guò)Y棵決策樹識(shí)別后屬于不同天氣現(xiàn)象的概率，并對(duì)Y棵樹的 識(shí)別結(jié)果中同一天氣現(xiàn)象出現(xiàn)的概率求和，得到特征向量X經(jīng)過(guò)隨機(jī)森林L識(shí)別后屬于不 同天氣現(xiàn)象的概率qjy|x),ye{1，…，κ}，其具體步驟為： 步驟2311，基于單棵決策樹的識(shí)別：對(duì)于步驟1321中生成的單棵決策樹1，提取測(cè)試圖 像序列的特征向量X，從決策樹的根節(jié)點(diǎn)開始判斷，當(dāng)滿足左分支條件時(shí)分到左分支，否則 分到右分支，接著對(duì)分支進(jìn)行遞歸判斷，直到分到某個(gè)葉子節(jié)點(diǎn)c'為止；查找步驟132中對(duì) 應(yīng)葉子節(jié)點(diǎn)c'處的樣本屬于不同天氣現(xiàn)象類別的概率p(y|c'），ye{1，…，K}，并將其作 為決策樹的識(shí)別結(jié)果，由此得到特征向量X經(jīng)過(guò)決策樹1識(shí)別后屬于不同天氣現(xiàn)象類別的 概率P1Glx) =p(y|c'），ye{ι，...，κ}; 步驟2312,基于多棵決策樹的識(shí)別：圖像序列對(duì)應(yīng)的特征向量χ經(jīng)過(guò)該隨機(jī)森林L識(shí) 別后屬于天氣現(xiàn)象類別y的概率為？/.(.vIx)"=-*其中P1G|χ)是X T ?-\ 對(duì)應(yīng)的樣本在決策樹1中被判斷為天氣現(xiàn)象類別y的概率； 步驟232,AdaBoost的識(shí)別：設(shè)AdaBoost強(qiáng)分類器由Nf個(gè)隨機(jī)森林構(gòu)成，那 么圖像序列對(duì)應(yīng)的特征向量X經(jīng)過(guò)AdaBoost識(shí)別后屬于天氣現(xiàn)象類別y的概率為 I.Y/ 以叫= 丨杜…，，其中％(y|x)為特征向量χ在隨機(jī)森林L中被判斷 I-I 為天氣現(xiàn)象類別y的概率，Nf為分類器中隨機(jī)森林的數(shù)目，將出現(xiàn)概率最大的天氣現(xiàn)象類別 作為該圖像序列的天氣現(xiàn)象類別，即Class(x) =argmaxQ(yIχ)，max為求最大的概率的函 數(shù)，arg為求最大概率對(duì)應(yīng)的天氣現(xiàn)象類別的函數(shù)； 步驟24,決策融合：對(duì)于步驟23得到的一段視頻對(duì)應(yīng)的η個(gè)識(shí)別結(jié)果，按照分類結(jié)果 次數(shù)進(jìn)行投票，將出現(xiàn)次數(shù)最多的天氣類別作為最終的識(shí)別結(jié)果。
【文檔編號(hào)】G06K9/62GK104463196SQ201410634896
【公開日】2015年3月25日 申請(qǐng)日期:2014年11月11日 優(yōu)先權(quán)日:2014年11月11日
【發(fā)明者】李騫, 夏士明, 胡友彬, 盛寶雋 申請(qǐng)人:中國(guó)人民解放軍理工大學(xué)