本發(fā)明提出了一種基于不同照度的圖像分類及處理方法,屬于圖像處理領(lǐng)域。本方法通過(guò)分析不同照度圖像的特點(diǎn)提取圖像特征,根據(jù)特征構(gòu)建圖像分類器,實(shí)現(xiàn)對(duì)不同照度圖像的自動(dòng)分類和判斷,并根據(jù)自動(dòng)判斷結(jié)果實(shí)現(xiàn)對(duì)對(duì)比度低、畫(huà)質(zhì)暗等存在質(zhì)量問(wèn)題的圖像進(jìn)行照度處理,最終輸出結(jié)果清晰圖像。
背景技術(shù):
近年來(lái),數(shù)字監(jiān)控系統(tǒng)在公共場(chǎng)所得到了廣泛的應(yīng)用,成為公共安全中不可或缺的一部分。然而,面對(duì)一天中不同的天氣和光線的變化,對(duì)數(shù)字監(jiān)控系統(tǒng)獲取的視頻的對(duì)比度及畫(huà)質(zhì)產(chǎn)生影響,比如霧天、晚夜時(shí)的監(jiān)控視頻會(huì)出現(xiàn)對(duì)比度下降、畫(huà)質(zhì)較暗等問(wèn)題,為后續(xù)的目標(biāo)識(shí)別和跟蹤等技術(shù)處理帶來(lái)了困難;然而,在研究對(duì)監(jiān)控視頻進(jìn)行照度處理時(shí)發(fā)現(xiàn),不同照度圖像的處理算法不同,而針對(duì)監(jiān)控視頻時(shí)間不間斷且照度多變的特點(diǎn),使得照度處理前必須人工分辨不同照度的圖像,然后選擇不同的算法或設(shè)置不同處理參數(shù)進(jìn)行照度處理。這加劇了對(duì)監(jiān)控視頻照度處理工作的難度,造成工作復(fù)雜、效率低等問(wèn)題。因此,實(shí)現(xiàn)對(duì)霧霾、晴天、夜晚等不同照度圖像的自動(dòng)分類及處理具有重要意義。
圖像分類與處理作為模式識(shí)別領(lǐng)域的重要組成部分,已經(jīng)成為國(guó)內(nèi)外學(xué)者研究的熱點(diǎn)。國(guó)內(nèi)外學(xué)者針對(duì)不同的應(yīng)用需求,已經(jīng)提出了多種圖像分類及處理方法,常見(jiàn)的圖像分類方法有貝葉斯分類、k-近鄰方法和支持向量機(jī)等,常見(jiàn)的圖像處理方法有Dark Channel、Retinex算法等,下面主要從圖像分類的角度說(shuō)明圖像分類及處理的研究現(xiàn)狀。根據(jù)圖像分類對(duì)象的不同可以將圖像分類方法分為以下兩種:
(1)基于圖像局部特征的分類。通過(guò)提取圖像的某類特征實(shí)現(xiàn)對(duì)圖像尺度或場(chǎng)景的分類。例如,申請(qǐng)?zhí)枮镃N103218778名稱為“一種圖像和視頻的處理方法及裝置”通過(guò)對(duì)圖像分塊并計(jì)算每個(gè)圖像塊的亮度參數(shù)和對(duì)比度參數(shù)實(shí)現(xiàn)對(duì)低照度圖像、低對(duì)比度圖像、濃霧圖像和薄霧圖像的分類,此專利采用閾值判斷的方法實(shí)現(xiàn)圖像質(zhì)量屬性的分類,并根據(jù)分類結(jié)果選擇不同的算法對(duì)不同的圖像類型進(jìn)行清晰化處理。然而,其存在兩個(gè)缺點(diǎn):一是閾值設(shè)定的不確定性使得圖像分類結(jié)果誤差較大;二是不同類型的圖像采用不同的算法進(jìn)行處理,工作較為復(fù)雜,難以實(shí)現(xiàn)實(shí)時(shí)處理。
(2)基于圖像內(nèi)容的分類。通過(guò)提取圖像的某類特征實(shí)現(xiàn)對(duì)圖像中目標(biāo)物的分類,也是近年來(lái)研究的熱點(diǎn)。例如,申請(qǐng)?zhí)枮镃N201510846339.8名稱為“基于改進(jìn)自適應(yīng)遺傳算法的神經(jīng)網(wǎng)絡(luò)圖像分類方法”的專利發(fā)明,通過(guò)提取圖像的紋理特征,采用基于遺傳優(yōu)化的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法訓(xùn)練RBF神經(jīng)網(wǎng)絡(luò),以實(shí)現(xiàn)對(duì)沙地、草地、森林和水這四類圖像的分類。該專利發(fā)明通過(guò)提取圖像紋理特征,然后采用神經(jīng)網(wǎng)絡(luò)算法實(shí)現(xiàn)圖像分類,其分類對(duì)象為圖像中目標(biāo)內(nèi)容,而對(duì)于不同照度的圖像來(lái)說(shuō),其分類對(duì)象為圖像的整體或局部特征,因此該專利發(fā)明不能實(shí)現(xiàn)不同照度圖像的分類,更不能實(shí)現(xiàn)對(duì)質(zhì)量不佳的圖像進(jìn)行照度處理。
針對(duì)監(jiān)控視頻的特點(diǎn)以及上述專利發(fā)明對(duì)于圖像分類存在的問(wèn)題,本專利發(fā)明提出了一種針對(duì)晴天、霧霾天、夜晚等不同照度圖像的分類及處理方法。本發(fā)明在基于圖像內(nèi)容分類的基礎(chǔ)之上,通過(guò)分析不同照度圖像的特點(diǎn)提取圖像特征,然后對(duì)圖像特征進(jìn)行學(xué)習(xí)訓(xùn)練形成分類器,實(shí)現(xiàn)對(duì)未知圖像的分類,并根據(jù)圖像分類結(jié)果自動(dòng)判斷進(jìn)行照度處理,最終輸出結(jié)果清晰圖像。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明的目的在于針對(duì)現(xiàn)有圖像分類方法中存在的結(jié)果誤差較大以及監(jiān)控視頻中出現(xiàn)的對(duì)比度下降、畫(huà)質(zhì)較暗等問(wèn)題,提出了一種基于不同照度圖像的分類及處理方法。通過(guò)提取不同照度圖像的典型特征,然后對(duì)圖像特征進(jìn)行學(xué)習(xí)訓(xùn)練形成分類器,從而實(shí)現(xiàn)對(duì)未知圖像類型分類,并根據(jù)分類結(jié)果自動(dòng)判斷進(jìn)行照度處理,最終輸出結(jié)果圖像。
為實(shí)現(xiàn)上述目的,本發(fā)明采用的技術(shù)方案為一種基于不同照度的圖像分類及處理方法,該方法包括以下步驟:
步驟1,視頻圖像采集。
利用視頻圖像采集設(shè)備(攝像機(jī)、手機(jī)等)采集不同照度條件下的視頻圖像,不同照度條件分為晴天、霧霾天、雨雪等惡劣天候及夜晚等條件下的視頻圖像。所采集視頻圖像為黑白或彩色,并以此作為實(shí)驗(yàn)樣本數(shù)據(jù)。
根據(jù)上述視頻圖像采集中的數(shù)據(jù)采集方式,能夠得到兩種不同格式的樣本數(shù)據(jù):即單幅圖像和視頻。若采集的數(shù)據(jù)為單幅圖像樣本,則直接執(zhí)行步驟2;若采集的為視頻樣本,則需要對(duì)視頻進(jìn)行分幀處理,使其成為單幅圖像樣本后再執(zhí)行步驟2。
步驟2,根據(jù)步驟1視頻圖像采集得到的單幅圖像樣本進(jìn)行圖像特征數(shù)據(jù)提取。
通過(guò)對(duì)不同照度圖像特點(diǎn)的分析,本方法主要實(shí)現(xiàn)對(duì)能反映圖像照度差異的圖像特征進(jìn)行圖像特征數(shù)據(jù)提取,圖像特征數(shù)據(jù)為圖像對(duì)比度、邊緣強(qiáng)度、圖像均值,也能通過(guò)采用紋理、shift等其他特征。
1)圖像對(duì)比度值的計(jì)算
圖像對(duì)比度,即圖像亮暗的對(duì)比程度。對(duì)于所采集的圖像來(lái)說(shuō),不同照度的圖像具有不同的圖像對(duì)比度值,因此,圖像對(duì)比度作為區(qū)別不同類型圖像的評(píng)判標(biāo)準(zhǔn)。圖像對(duì)比度值c的計(jì)算公式如下:
其中,i和j分別為像素點(diǎn)的橫、縱坐標(biāo),δ(i,j)=|i-j|為圖像像素間的灰度差,Pδ(i,j)為相鄰像素間的灰度差為δ的像素分布概率。圖像對(duì)比度值的具體計(jì)算方式如下:
首先,將實(shí)驗(yàn)樣本圖像由彩色圖像轉(zhuǎn)換為灰度圖像;
其次,對(duì)得到的灰度圖像的矩陣進(jìn)行數(shù)據(jù)格式轉(zhuǎn)換;
最后,根據(jù)公式(1)計(jì)算圖像對(duì)比度,獲得圖像對(duì)比度值c。
2)圖像邊緣強(qiáng)度值的計(jì)算
圖像的邊緣是圖像局部強(qiáng)度變化最顯著的部分,亦從另一個(gè)角度反映了圖像的清晰化程度,同一場(chǎng)景、不同照度的圖像的邊緣強(qiáng)度是有差別的,所以,圖像的邊緣強(qiáng)度值能夠作為分辨不同照度圖像的標(biāo)準(zhǔn)。
圖像邊緣強(qiáng)度值的具體計(jì)算方式如下:
首先,將實(shí)驗(yàn)樣本圖像由彩色圖像轉(zhuǎn)換為灰度圖像;
其次,sobel算子模板與實(shí)驗(yàn)樣本灰度圖像進(jìn)行平面卷積運(yùn)算,獲得橫向及縱向邊緣檢測(cè)的圖像灰度值Gx和Gy;
然后,利用Gx和Gy計(jì)算該像素點(diǎn)的灰度大小G,其計(jì)算公式如下:
最后,計(jì)算邊緣特征圖像的像素灰度均值,即為圖像的邊緣強(qiáng)度值e。
3)圖像的灰度均值
圖像的灰度均值是指灰度圖像所有像素點(diǎn)灰度值的平均值,是圖像最基本的特征。同樣的,不同的圖像具有不同的灰度均值,而針對(duì)不同照度的圖像,其灰度均值相差更大,因此,灰度均值亦可作為判斷不同照度圖像的標(biāo)準(zhǔn)。圖像灰度均值a計(jì)算公式如下:
其中,δ(i,j)為灰度圖像像素點(diǎn),i和j分別為像素點(diǎn)的橫、縱坐標(biāo),w和h分別是圖像矩陣的寬和高?;叶染档木唧w計(jì)算方式如下:
首先,將不同照度的圖像由彩色圖像轉(zhuǎn)換為灰度圖像;
其次,獲取灰度圖像每個(gè)像素點(diǎn)的灰度值;
最后,計(jì)算每個(gè)像素點(diǎn)灰度值得平均值,即為圖像的灰度均值a。
步驟3,圖像特征分類訓(xùn)練。
根據(jù)已提取的圖像特征,構(gòu)造圖像分類器,實(shí)現(xiàn)對(duì)多種照度類型的圖像分類。分類器構(gòu)造方法采用k-means或神經(jīng)網(wǎng)絡(luò)或支持向量機(jī)(SVM)以及深度學(xué)習(xí)等方法;其中,以支持向量機(jī)為例進(jìn)行說(shuō)明,支持向量機(jī)的分類器構(gòu)造方法具體實(shí)現(xiàn)步驟如下:
步驟3.1,圖像特征數(shù)據(jù)歸一化。
對(duì)多種照度圖像的所有特征進(jìn)行數(shù)據(jù)歸一化,分別得到數(shù)據(jù)特征集圖像對(duì)比度值c、圖像的邊緣強(qiáng)度值e和圖像均值a;
步驟3.2,構(gòu)造分類器,實(shí)現(xiàn)多種圖像類型的分類。分類器的構(gòu)造有多種方法,本方法介紹以下三種實(shí)施方式:實(shí)施方式一,利用支持向量機(jī)(Support Vector Machine,SVM)方法實(shí)現(xiàn);實(shí)施方式二,利用k-means算法實(shí)現(xiàn);實(shí)施方式三,利用神經(jīng)網(wǎng)絡(luò)算法實(shí)現(xiàn)。下面分別介紹各實(shí)施方式。
實(shí)施方式一,利用支持向量機(jī)的方法實(shí)現(xiàn)。支持向量機(jī)的方法是一種建立在統(tǒng)計(jì)學(xué)習(xí)理論的VC維理論和結(jié)構(gòu)風(fēng)險(xiǎn)最小原理基礎(chǔ)上的機(jī)器學(xué)習(xí)算法,其基本思路是利用特定核函數(shù)將輸入空間變換到一個(gè)高維特征空間,在高維特征空間中求解最優(yōu)分類面(Optimal Hyperplane),使得樣本能夠無(wú)錯(cuò)誤地分開(kāi)而且能夠使分類間隔最大。其實(shí)現(xiàn)步驟如下:
步驟3.2.1,基于步驟3.1得到的多種照度圖像特征集,設(shè)定特征集標(biāo)簽,將其中一類圖像的特征設(shè)定標(biāo)簽為1,作為分類的第一種圖像類型;剩余圖像類型的特征設(shè)定標(biāo)簽為-1。
步驟3.2.2,引入SVM分類器原理的徑向基(RBF)核函數(shù),構(gòu)建基于RBF核函數(shù)的SVM學(xué)習(xí)訓(xùn)練,RBF核函數(shù)如下所示:
其中,x為輸入特征向量,即圖像對(duì)比度C或圖像邊緣強(qiáng)度E或圖像均值A(chǔ),特征z為核函數(shù)中心,σ為核函數(shù)寬度。構(gòu)建基于RBF核函數(shù)的SVM學(xué)習(xí)模型進(jìn)行訓(xùn)練,其分類訓(xùn)練模型如下:
其中,xj為輸入圖像特征,即圖像對(duì)比度或圖像的邊緣強(qiáng)度或圖像均值,αj為拉格朗日算子,0<αj<C,C為對(duì)錯(cuò)分樣本的懲罰系數(shù),n為訓(xùn)練樣本數(shù),b為分類閾值,yj為分類標(biāo)記-1或1,即1表示已設(shè)定的某類圖像,-1表示剩余類型圖像。
步驟3.2.3,通過(guò)交叉驗(yàn)證的方法對(duì)上述訓(xùn)練模型中的懲罰系數(shù)C和RBF核函數(shù)寬度σ進(jìn)行優(yōu)化選擇,取最優(yōu)懲罰系數(shù)值為最優(yōu)拉格朗日算子α*,由此獲得如下所示的第一個(gè)SVM分類預(yù)測(cè)模型:
步驟3.2.4,針對(duì)所有圖像類型特征集,重新設(shè)定標(biāo)簽,分離出要分類的第二種圖像類型,并設(shè)定標(biāo)簽為1,剩余圖像類型標(biāo)簽為-1。重復(fù)步驟3.2.2和步驟3.2.3,得到第二個(gè)SVM分類預(yù)測(cè)模型。
步驟3.2.5,重復(fù)步驟3.2.4,遍歷所有圖像類型特征,并形成多個(gè)SVM分類預(yù)測(cè)模型。
實(shí)施方式二,利用k-means算法實(shí)現(xiàn)。K-means聚類是一種基于距離的迭代算法。設(shè)原始數(shù)據(jù)集為{x(1),x(2),…,x(m)},在給定分類組數(shù)值的條件下,隨機(jī)選取k個(gè)聚類中心點(diǎn)對(duì)于每一個(gè)數(shù)據(jù)i,計(jì)算其屬于的聚類:
對(duì)于每一個(gè)聚類j,重新計(jì)算該聚類的中心點(diǎn):
重復(fù)以上計(jì)算步驟,直至每個(gè)聚類中心點(diǎn)值收斂,即可得到聚類結(jié)果。其算法具體思想如下:
步驟3.2.1,基于步驟3.1得到的多種照度圖像特征集中隨機(jī)選取k個(gè)觀測(cè)點(diǎn)作為k類簇的數(shù)據(jù)中心。
步驟3.2.2,分別計(jì)算剩余特征數(shù)據(jù)到k個(gè)數(shù)據(jù)中心的歐氏距離,將這些特征數(shù)據(jù)分配到與數(shù)據(jù)中心歐氏距離最近的簇。
步驟3.2.3,根據(jù)聚類結(jié)果,計(jì)算k個(gè)簇中所有特征數(shù)據(jù)的算術(shù)平均數(shù),作為每個(gè)簇新的數(shù)據(jù)中心。
步驟3.2.4,將所有特征數(shù)據(jù)按照新的數(shù)據(jù)中心重新聚類。
步驟3.2.5,重復(fù)步驟3.2.4,直到聚類結(jié)果不再發(fā)生變化,形成分類預(yù)測(cè)分類器。
步驟4,根據(jù)步驟3.2得到的預(yù)測(cè)模型對(duì)待分類圖像進(jìn)行分類。具體實(shí)現(xiàn)步驟如下:
步驟4.1,提取待分類圖像的對(duì)比度特征、邊緣強(qiáng)度特征和均值特征等,并數(shù)據(jù)歸一化。
步驟4.2,將待分類圖像的特征分別導(dǎo)入已構(gòu)建的分類預(yù)測(cè)訓(xùn)練模型,進(jìn)行數(shù)據(jù)匹配。
步驟4.3,獲得待分類圖像特征的匹配結(jié)果及所屬圖像類型。
步驟5,輸出待分類圖像所屬圖像類型。
步驟6,根據(jù)步驟5的結(jié)果自動(dòng)判斷待分類圖像是否進(jìn)行照度處理。若待分類圖像為晴天圖像,則直接執(zhí)行步驟8;若待分類圖像為霧霾圖像或夜晚圖像,則執(zhí)行步驟7,進(jìn)行照度處理。
步驟7,對(duì)霧霾圖像或夜晚圖像進(jìn)行照度處理。針對(duì)霧霾圖像和夜晚圖像等低照度圖像的清晰化算法有多種,本方法利用圖像全局化增強(qiáng)和細(xì)節(jié)調(diào)整相結(jié)合的方法,實(shí)現(xiàn)對(duì)霧霾圖像和夜晚圖像的清晰化處理。具體的實(shí)現(xiàn)步驟如下:
步驟7.1,實(shí)現(xiàn)圖像全局化增強(qiáng)。利用Retinex算法或Dark Channel算法實(shí)現(xiàn)圖像的全局化增強(qiáng),本方法采用Retinex算法。Retinex算法是根據(jù)人類視網(wǎng)膜(Retina)、大腦皮層(Cortex)構(gòu)造亮度和顏色的感知模型提出的一種顏色恒常知覺(jué)的計(jì)算理論,包括單尺度算法SSR和多尺度算法MSR兩種。在RGB顏色空間中,SSR計(jì)算公式如下:
Rl(x,y)=logIl(x,y)-log[F(x,y)*Il(x,y)],l=1,2,…,n (9)
其中,Rl(x,y)相應(yīng)于圖像第l通道的輸出,Il(x,y)是圖像I第l通道像素的亮度值,*表示卷積運(yùn)算,n表示顏色通道數(shù),F(xiàn)(x,y)表示中心/包圍函數(shù),表示為高斯函數(shù)形式:
其中,σ為控制中心/包圍函數(shù)的范圍,σ越小,中心/包圍函數(shù)越尖銳,K由歸一化條件來(lái)確定,公式如下:
其中,(x,y)表示像素點(diǎn)的坐標(biāo),w表示圖像的寬度即橫坐標(biāo)長(zhǎng)度,h表示圖像的高度縱坐標(biāo)長(zhǎng)度。顯然,SSR的性能很大程度上取決于變量σ。采用Jobson等人提出的MSR算法得到第l通道的輸出,公式如下:
其中,Rl(x,y)相應(yīng)于圖像第l通道的輸出,Wn則表示尺度的權(quán)重因子,N表示使用尺度的個(gè)數(shù)。根據(jù)實(shí)際需要調(diào)整算法參數(shù)使其適應(yīng)于各不同照度的圖像,如霧霾圖像、夜晚圖像等。
步驟7.2,對(duì)全局化增強(qiáng)后的圖像進(jìn)行細(xì)節(jié)調(diào)整處理。
圖像中的紋理和邊緣都屬于圖像的高頻部分,平滑部分對(duì)應(yīng)低頻部分。加強(qiáng)圖像高頻信息能夠突出圖像中對(duì)象物(行人,車輛等)的邊界信息,使圖像細(xì)節(jié)更加清晰化。本方法利用增強(qiáng)圖像的高頻信息對(duì)圖像中人物、車輛的細(xì)節(jié)信息進(jìn)行加強(qiáng)。分離圖像中的高頻和低頻部分的處理方法有傅里葉變換算法、小波變換算法等。進(jìn)行圖像細(xì)節(jié)調(diào)整的步驟如下:
步驟7.2.1,對(duì)步驟7.1的結(jié)果圖像進(jìn)行分層處理。
采用傅里葉變換、小波變換等算法對(duì)圖像進(jìn)行分層處理。其中,小波變換算法的處理過(guò)程如下。
采用小波變換算法對(duì)所述圖像在不同的尺度上使用高通濾波器和低通濾波器在水平和垂直兩個(gè)方向上分別進(jìn)行兩次濾波,得到的分解結(jié)果為:近似分量A、水平細(xì)節(jié)分量H、垂直細(xì)節(jié)分量V和對(duì)角細(xì)節(jié)分量D。小波變換算法中的濾波次數(shù)根據(jù)需要進(jìn)行調(diào)整。
步驟7.2.2,調(diào)整高低頻系數(shù)。
霧天圖像的云霧信息主要分布在低頻,景物信息占據(jù)相對(duì)高頻。圖像經(jīng)多層小波變換得到最高層的近似系數(shù)和每一層的細(xì)節(jié)系數(shù)。近似系數(shù)代表圖像背景,頻率最低;細(xì)節(jié)系數(shù)代表圖像的高頻信息,層數(shù)大的細(xì)節(jié)系數(shù)頻率較低。通過(guò)降低近似分量A的系數(shù),增大水平細(xì)節(jié)分量H、垂直細(xì)節(jié)分量V和對(duì)角細(xì)節(jié)分量D的系數(shù),實(shí)現(xiàn)減弱低頻的云霧信息、增強(qiáng)相對(duì)高頻的景物信息的目的。
步驟7.2.3,根據(jù)所述步驟7.2.2進(jìn)行小波系數(shù)重構(gòu),得到重構(gòu)圖像。
步驟8,輸出結(jié)果清晰圖像。
實(shí)施方式三,利用神經(jīng)網(wǎng)絡(luò)算法實(shí)現(xiàn)。神經(jīng)網(wǎng)絡(luò)是模擬生物神經(jīng)系統(tǒng)結(jié)構(gòu)和功能而構(gòu)成的一種信息處理系統(tǒng)。根據(jù)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的不同可分為前饋神經(jīng)網(wǎng)絡(luò)和反饋神經(jīng)網(wǎng)絡(luò)兩種;常見(jiàn)的前饋神經(jīng)網(wǎng)絡(luò)有誤差反向傳播(BP)神經(jīng)網(wǎng)絡(luò)和徑向基(RBF)神經(jīng)網(wǎng)絡(luò)等,常見(jiàn)的反饋神經(jīng)網(wǎng)絡(luò)有Hopfield網(wǎng)絡(luò)和波爾茲曼機(jī)等。本實(shí)施方式以前饋神經(jīng)網(wǎng)絡(luò)中的誤差反向傳播(BP)神經(jīng)網(wǎng)絡(luò)為例,介紹圖像分類器的構(gòu)造原理和步驟。
BP神經(jīng)網(wǎng)絡(luò)是一種按誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋網(wǎng)絡(luò),其模型由輸入層、隱含層和輸出層組成。它使用最速下降法,通過(guò)反向傳播來(lái)不斷調(diào)整網(wǎng)絡(luò)的權(quán)值和閾值,使網(wǎng)絡(luò)的輸出值與期望值誤差最小,從而形成分類器。BP神經(jīng)網(wǎng)絡(luò)的具體實(shí)現(xiàn)步驟如下:
步驟3.2.1,初始化網(wǎng)絡(luò)模型及網(wǎng)絡(luò)參數(shù)。
根據(jù)步驟3.1得到的圖像特征集確定BP神經(jīng)網(wǎng)絡(luò)模型各層的輸入輸出向量,設(shè)定最大學(xué)習(xí)次數(shù)M和誤差函數(shù)e,給定計(jì)算精度ε,并設(shè)置各連接權(quán)值。
設(shè)輸入向量X=(x1,x2,…,xn),隱含層輸入向量hi=(hi1,hi2,…,hip),隱含層輸出向量ho=(ho1,ho2,…,hop),輸出層輸入向量yi=(yi1,yi2,…,yiq),輸出層輸出向量yo=(yo1,yo2,…,yoq),期望輸出向量O=(o1,o2,…,oq),其中,n為輸入層神經(jīng)元數(shù),p為隱含層神經(jīng)元數(shù),q為輸出層神經(jīng)元數(shù);初始化輸入層至隱含層的連接權(quán)值為wih,初始化隱含層至輸出層的連接權(quán)值who,隱含層各神經(jīng)元的閾值為bh,輸出層各神經(jīng)元的閾值為bo,樣本數(shù)據(jù)個(gè)數(shù)為k=1,2,…,m,激活函數(shù)為f(·),誤差函數(shù)為:
步驟3.2.2,輸入圖像特征數(shù)據(jù)作為訓(xùn)練樣本。
步驟3.2.3,計(jì)算正向傳播時(shí)各層的輸入值和輸出值。
1)計(jì)算隱含層各神經(jīng)元的輸入值和輸出值。
隱含層的輸入值為:
隱含層各神經(jīng)元的輸出值為:
hoh(k)=f(hih(k)),h=1,2,…,p (15)
2)計(jì)算輸出層各神經(jīng)元的輸入值和輸出值。
輸出層的輸入值為:
輸出層的輸出值為:
yoo(k)=f(yio(k)),o=1,2,…,q (17)
步驟3.2.4,根據(jù)步驟3.2.3的結(jié)果和公式(13)計(jì)算各層神經(jīng)元的輸出誤差。
步驟3.2.5,誤差反向傳播,利用梯度下降法調(diào)整各層權(quán)值和閾值。
1)輸出層權(quán)值和閾值的調(diào)整。
輸出層權(quán)值的調(diào)整公式為:
輸出層閾值的調(diào)整公式為:
2)隱含層權(quán)值和閾值的調(diào)整。
隱含層權(quán)值的調(diào)整公式為:
隱含層閾值的調(diào)整公式為:
其中,μ為學(xué)習(xí)速率。
步驟3.2.6,計(jì)算全局誤差。全局誤差計(jì)算公式為:
步驟3.2.7,判斷是否滿足訓(xùn)練終止條件。當(dāng)誤差達(dá)到預(yù)設(shè)精度或?qū)W習(xí)次數(shù)大于設(shè)定的最大次數(shù)或所有樣本訓(xùn)練完畢,則訓(xùn)練結(jié)束,形成分類預(yù)測(cè)模型;否則,重復(fù)步驟3.2.3~步驟3.2.6,直到滿足訓(xùn)練終止條件。
步驟3.2.8,訓(xùn)練結(jié)束,形成圖像分類預(yù)測(cè)模型。
步驟4,根據(jù)步驟3.2得到的預(yù)測(cè)模型對(duì)待分類圖像進(jìn)行分類。具體實(shí)現(xiàn)步驟如下:
步驟4.1,提取待分類圖像的對(duì)比度特征、邊緣強(qiáng)度特征和均值特征等,并數(shù)據(jù)歸一化。
步驟4.2,將待分類圖像的特征分別導(dǎo)入已構(gòu)建的分類預(yù)測(cè)訓(xùn)練模型,進(jìn)行數(shù)據(jù)匹配。
步驟4.3,獲得待分類圖像特征的匹配結(jié)果及所屬圖像類型。
步驟5,輸出待分類圖像所屬圖像類型。
步驟6,根據(jù)步驟5的結(jié)果自動(dòng)判斷待分類圖像是否進(jìn)行照度處理。若待分類圖像為晴天圖像,則直接執(zhí)行步驟8;若待分類圖像為霧霾圖像或夜晚圖像,則執(zhí)行步驟7,進(jìn)行照度處理。
步驟7,對(duì)霧霾圖像或夜晚圖像進(jìn)行照度處理。針對(duì)霧霾圖像和夜晚圖像等低照度圖像的清晰化算法有多種,本發(fā)明利用圖像全局化增強(qiáng)和細(xì)節(jié)調(diào)整相結(jié)合的方法,實(shí)現(xiàn)對(duì)霧霾圖像和夜晚圖像兩類圖像的清晰化處理。具體的實(shí)現(xiàn)步驟如下:
步驟7.1,實(shí)現(xiàn)圖像全局化增強(qiáng)。利用Retinex算法或Dark Channel算法實(shí)現(xiàn)圖像的全局化增強(qiáng),本發(fā)明采用Retinex算法。Retinex算法是根據(jù)人類視網(wǎng)膜(Retina)、大腦皮層(Cortex)構(gòu)造亮度和顏色的感知模型提出的一種顏色恒常知覺(jué)的計(jì)算理論,包括單尺度算法SSR和多尺度算法MSR兩種。在RGB顏色空間中,SSR計(jì)算公式如下:
Rl(x,y)=logIl(x,y)-log[F(x,y)*Il(x,y)],l=1,2,…,n (23)
其中,Rl(x,y)相應(yīng)于圖像第l通道的輸出,Il(x,y)是圖像I第l通道像素的亮度值,*表示卷積運(yùn)算,n表示顏色通道數(shù),F(xiàn)(x,y)表示中心/包圍函數(shù),表示為高斯函數(shù)形式:
其中,σ為控制中心/包圍函數(shù)的范圍,σ越小,中心/包圍函數(shù)越尖銳,K由歸一化條件來(lái)確定,公式如下:
其中,(x,y)表示像素點(diǎn)的坐標(biāo),w表示圖像的寬度即橫坐標(biāo)長(zhǎng)度,h表示圖像的高度縱坐標(biāo)長(zhǎng)度。顯然,SSR的性能很大程度上取決于變量σ。采用Jobson等人提出的MSR算法得到第l通道的輸出,公式如下:
其中,Rl(x,y)相應(yīng)于圖像第l通道的輸出,Wn則表示尺度的權(quán)重因子,N表示使用尺度的個(gè)數(shù)。根據(jù)實(shí)際需要調(diào)整算法參數(shù)使其適應(yīng)于不同照度的圖像,如霧霾圖像、夜晚圖像等。
步驟7.2,對(duì)全局化增強(qiáng)后的圖像進(jìn)行細(xì)節(jié)調(diào)整處理。
圖像中的紋理和邊緣都屬于圖像的高頻部分,平滑部分對(duì)應(yīng)低頻部分。加強(qiáng)圖像高頻信息,能夠突出圖像中對(duì)象物(行人,車輛等)的邊界信息,使圖像細(xì)節(jié)更加清晰化。本方法利用增強(qiáng)圖像的高頻信息對(duì)圖像中人物、車輛的細(xì)節(jié)信息進(jìn)行加強(qiáng)??梢圆扇『芏喾椒ǚ蛛x圖像中的高頻和低頻部分,比如利用傅里葉變換、小波變換等算法。進(jìn)行圖像細(xì)節(jié)調(diào)整的步驟如下:
步驟7.2.1,對(duì)步驟7.1的結(jié)果圖像進(jìn)行分層處理。
可采用傅里葉變換、小波變換等算法對(duì)圖像進(jìn)行分層處理。本方法以小波變換算法為例進(jìn)行說(shuō)明。
采用小波變換算法對(duì)所述圖像在不同的尺度上使用高通濾波器和低通濾波器在水平和垂直兩個(gè)方向上分別進(jìn)行兩次濾波,得到的分解結(jié)果為:近似分量A、水平細(xì)節(jié)分量H、垂直細(xì)節(jié)分量V和對(duì)角細(xì)節(jié)分量D。小波變換算法中的濾波次數(shù)可根據(jù)需要進(jìn)行調(diào)整。
步驟7.2.2,調(diào)整高低頻系數(shù)。
霧天圖像的云霧信息主要分布在低頻,景物信息占據(jù)相對(duì)高頻。圖像經(jīng)多層小波變換得到最高層的近似系數(shù)和每一層的細(xì)節(jié)系數(shù)。近似系數(shù)代表圖像背景,頻率最低;細(xì)節(jié)系數(shù)代表圖像的高頻信息,層數(shù)大的細(xì)節(jié)系數(shù)頻率較低。通過(guò)降低近似分量A的系數(shù),增大水平細(xì)節(jié)分量H、垂直細(xì)節(jié)分量V和對(duì)角細(xì)節(jié)分量D的系數(shù),實(shí)現(xiàn)減弱低頻的云霧信息、增強(qiáng)相對(duì)高頻的景物信息的目的。
步驟7.2.3,根據(jù)所述步驟7.2.2進(jìn)行小波系數(shù)重構(gòu),得到重構(gòu)圖像。
步驟8,輸出結(jié)果清晰圖像。
本發(fā)明較其他圖像分類方法具有以下優(yōu)點(diǎn)。
(1)根據(jù)本發(fā)明實(shí)施例的基于不同照度的圖像分類及處理方法,提出了對(duì)不同照度的圖像分類方式和方法。本發(fā)明通過(guò)分析不同照度圖像的特點(diǎn),提取圖像的對(duì)比度特征、邊緣強(qiáng)度特征和均值特征,利用圖像特征數(shù)據(jù)構(gòu)造圖像分類器,實(shí)現(xiàn)對(duì)不同照度的圖像分類,改善了閾值判斷誤差較大的問(wèn)題,大大提高了分類精度。
(2)本發(fā)明在實(shí)現(xiàn)不同照度圖像分類的基礎(chǔ)上,實(shí)現(xiàn)對(duì)圖像分類結(jié)果的自動(dòng)判斷,并根據(jù)判斷結(jié)果對(duì)分類圖像進(jìn)行照度處理,使得圖像分類與照度圖像處理相結(jié)合,構(gòu)成了一個(gè)完整的圖像分類及處理裝置,可應(yīng)用于道路監(jiān)測(cè)、目標(biāo)識(shí)別等領(lǐng)域,提高了針對(duì)監(jiān)控視頻圖像處理技術(shù)的工作效率。
附圖說(shuō)明
圖1為不同照度圖像分類實(shí)現(xiàn)流程圖
圖2為特征數(shù)據(jù)學(xué)習(xí)訓(xùn)練流程圖
圖3為實(shí)施方式一的特征預(yù)測(cè)模型構(gòu)造流程圖
圖4為實(shí)施方式二的特征預(yù)測(cè)模型構(gòu)造流程圖
圖5為實(shí)施方式三的特征預(yù)測(cè)模型構(gòu)造流程圖
圖6為待分類圖像預(yù)測(cè)流程圖
圖7為照度處理算法流程圖
圖8為圖像細(xì)節(jié)調(diào)整流程圖
具體實(shí)施方式
下面給出了本發(fā)明的實(shí)施例作詳細(xì)說(shuō)明,本實(shí)施例在以本發(fā)明技術(shù)方案為前提下進(jìn)行實(shí)施,給出了詳細(xì)的實(shí)施方式和具體操作過(guò)程,但本發(fā)明的保護(hù)范圍不限于下述的實(shí)施例。
本實(shí)施例給出一種基于不同照度的圖像分類及處理方法,具體實(shí)施步驟如下:
步驟S10,圖像采集。利用視頻圖像采集設(shè)備(如攝像機(jī)、手機(jī)等)采集不同照度下的視頻,作為實(shí)驗(yàn)樣本數(shù)據(jù)。采集的視頻主要包括(但不限于)下述照度類型:晴天白天、晴天夜晚、霧霾白天和霧霾夜晚等。
步驟S11,對(duì)采集的上述不同照度條件下采集的視頻數(shù)據(jù)進(jìn)行分幀處理,使其成為單幅圖像。
步驟S20,根據(jù)采集的實(shí)驗(yàn)樣本提取圖像特征。提取的圖像特征包括:圖像對(duì)比度、圖像邊緣強(qiáng)度和圖像均值。
步驟S30,圖像特征分類訓(xùn)練。根據(jù)已提取的圖像特征,采用支持向量機(jī)(SVM)構(gòu)造分類器,實(shí)現(xiàn)對(duì)四種不同照度圖像的分類,具體實(shí)現(xiàn)步驟如下:
步驟S31,圖像特征歸一化。對(duì)四種類型圖像的三個(gè)圖像特征分別進(jìn)行歸一化處理,分別獲得三個(gè)圖像特征集,每個(gè)特征集包含四種類型圖像。
步驟S32,圖像特征學(xué)習(xí)訓(xùn)練,構(gòu)造分類器。
實(shí)施方式一,利用SVM算法構(gòu)造分類器。引入SVM分類器原理的徑向基(RBF)核函數(shù),構(gòu)建基于RBF核函數(shù)的SVM學(xué)習(xí)訓(xùn)練,則步驟S32的具體實(shí)現(xiàn)如下:
步驟S321,基于步驟S31得到的圖像特征集設(shè)定特征集標(biāo)簽,將其中一類圖像的特征設(shè)定標(biāo)簽為1,作為分類的第一種圖像類型;剩余圖像類型的特征設(shè)定標(biāo)簽為-1。
步驟S322,引入SVM分類器原理的徑向基(RBF)核函數(shù),對(duì)特征集采集基于RBF核函數(shù)的SVM學(xué)習(xí)訓(xùn)練,初步形成訓(xùn)練模型。
步驟S323,通過(guò)交叉驗(yàn)證的方法對(duì)上述訓(xùn)練模型中的參數(shù)進(jìn)行優(yōu)化,選取最優(yōu)值,獲得第一個(gè)SVM分類預(yù)測(cè)模型。
步驟S324,針對(duì)所有圖像類型特征集,重新設(shè)定標(biāo)簽,分離出要分類的第二種圖像類型,并設(shè)定標(biāo)簽為1,剩余圖像類型標(biāo)簽為-1。重復(fù)步驟S322和步驟S323,得到第二個(gè)SVM分類預(yù)測(cè)模型。
步驟S325,重復(fù)步驟S324,遍歷四種圖像類型特征,并形成四個(gè)SVM分類預(yù)測(cè)模型。
實(shí)施方式二,利用k-means算法構(gòu)造圖像分類器。則步驟S32的具體實(shí)現(xiàn)如下:
步驟S321,基于步驟S31得到的四種照度圖像特征集中隨機(jī)選取4個(gè)觀測(cè)點(diǎn)作為4類簇的數(shù)據(jù)中心。
步驟S322,分別計(jì)算剩余特征數(shù)據(jù)到4個(gè)數(shù)據(jù)中心的歐氏距離,將這些特征數(shù)據(jù)分配到與數(shù)據(jù)中心歐氏距離最近的簇。
步驟S323,根據(jù)聚類結(jié)果,計(jì)算4個(gè)簇中所有特征數(shù)據(jù)的算術(shù)平均數(shù),作為每個(gè)簇新的數(shù)據(jù)中心。
步驟S324,將所有特征數(shù)據(jù)按照新的數(shù)據(jù)中心重新聚類。
步驟S325,重復(fù)步驟S324,直到聚類結(jié)果不再發(fā)生變化,形成分類預(yù)測(cè)分類器。
步驟S40,根據(jù)步驟S32的四個(gè)SVM預(yù)測(cè)模型對(duì)待測(cè)圖像進(jìn)行分類。具體操作步驟如下:
步驟S41,提取待分類圖像的對(duì)比度特征、邊緣強(qiáng)度特征和均值特征,并數(shù)據(jù)歸一化。
步驟S42,將待分類圖像的特征分別導(dǎo)入已構(gòu)建的分類預(yù)測(cè)訓(xùn)練模型,進(jìn)行數(shù)據(jù)匹配。
步驟S43,獲得待分類圖像特征的匹配結(jié)果及所屬圖像類型。
步驟S50,輸出待分類圖像所屬圖像類型。
步驟S60,根據(jù)步驟S50的結(jié)果自動(dòng)判斷待分類圖像是否進(jìn)行照度處理。若待分類圖像為晴天圖像,則直接執(zhí)行步驟S80;若待分類圖像為霧霾圖像或夜晚圖像,則執(zhí)行步驟S70,進(jìn)行照度處理。
步驟S70,照度處理模塊。具體實(shí)現(xiàn)步驟如下:
步驟S71,利用Retinex算法對(duì)霧霾圖像或夜晚圖像進(jìn)行全局化增強(qiáng)。調(diào)節(jié)Retinex算法參數(shù),使得算法能夠?qū)崿F(xiàn)對(duì)霧霾圖像和夜晚圖像的清晰化處理。
步驟S72,利用小波變換算法調(diào)整圖像細(xì)節(jié)信息。調(diào)整算法參數(shù),對(duì)全局化增強(qiáng)后的霧霾圖像或夜晚圖像進(jìn)行細(xì)節(jié)調(diào)整處理,具體實(shí)現(xiàn)步驟如下所示:
步驟S721,利用小波變換對(duì)步驟S71的結(jié)果圖像進(jìn)行分層處理。采用小波變換算法對(duì)所述圖像在不同的尺度上使用高通濾波器和低通濾波器在水平和垂直兩個(gè)方向上分別進(jìn)行兩次濾波,得到的分解結(jié)果為:近似分量A、水平細(xì)節(jié)分量H、垂直細(xì)節(jié)分量V和對(duì)角細(xì)節(jié)分量D。可根據(jù)需要調(diào)整小波變換算法中的濾波次數(shù)。
步驟S722,調(diào)整高低頻系數(shù)。通過(guò)降低近似分量A的系數(shù),增大水平細(xì)節(jié)分量H、垂直細(xì)節(jié)分量V和對(duì)角細(xì)節(jié)分量D的系數(shù),分別增強(qiáng)霧霾圖像和夜晚圖像相對(duì)高頻的景物信息。
步驟S723,對(duì)步驟S722進(jìn)行系數(shù)重構(gòu),得到最終照度處理圖像。
步驟S80,輸出結(jié)果清晰圖像。
實(shí)施方式三,利用神經(jīng)網(wǎng)絡(luò)算法構(gòu)造圖像分類器。則步驟S32的具體實(shí)現(xiàn)如下:
步驟S321,初始化網(wǎng)絡(luò)模型及網(wǎng)絡(luò)參數(shù)。
步驟S322,根據(jù)步驟S31得到的圖像特征數(shù)據(jù),輸入訓(xùn)練樣本。
步驟S323,計(jì)算BP神經(jīng)網(wǎng)絡(luò)正向傳播時(shí)各層的輸入值和輸出值。
步驟S324,根據(jù)步驟S323的結(jié)果計(jì)算各層神經(jīng)元的輸出誤差。
步驟S325,誤差反向傳播,利用梯度下降法調(diào)整各層權(quán)值和閾值。
步驟S326,計(jì)算全局誤差。
步驟S327,判斷是否滿足訓(xùn)練終止條件。當(dāng)全局誤差達(dá)到預(yù)設(shè)精度或?qū)W習(xí)次數(shù)大于設(shè)定的最大次數(shù)或所有樣本訓(xùn)練完畢,則訓(xùn)練結(jié)束,形成分類預(yù)測(cè)模型;否則,重復(fù)步驟S323~步驟S326,直到滿足訓(xùn)練終止條件。
步驟S328,訓(xùn)練結(jié)束,形成分類預(yù)測(cè)模型。
步驟S40,根據(jù)步驟S32的圖像分類預(yù)測(cè)模型對(duì)待分類圖像進(jìn)行分類。具體操作步驟如下:
步驟S41,提取待分類圖像的對(duì)比度特征、邊緣強(qiáng)度特征和均值特征,并數(shù)據(jù)歸一化。
步驟S42,將待分類圖像的特征分別導(dǎo)入已構(gòu)建的分類預(yù)測(cè)訓(xùn)練模型,進(jìn)行數(shù)據(jù)匹配。
步驟S43,獲得待分類圖像特征的匹配結(jié)果及所屬圖像類型。
步驟S50,輸出待分類圖像所屬圖像類型。
步驟S60,根據(jù)步驟S50的結(jié)果自動(dòng)判斷待分類圖像是否進(jìn)行照度處理。若待分類圖像為晴天圖像,則直接執(zhí)行步驟S80;若待分類圖像為霧霾圖像或夜晚圖像,則執(zhí)行步驟S70,進(jìn)行照度處理。
步驟S70,照度處理模塊。具體實(shí)現(xiàn)步驟如下:
步驟S71,利用Retinex算法對(duì)霧霾圖像或夜晚圖像進(jìn)行全局化增強(qiáng)。調(diào)節(jié)Retinex算法參數(shù),使得算法能夠?qū)崿F(xiàn)對(duì)霧霾圖像和夜晚圖像的清晰化處理。
步驟S72,利用小波變換算法調(diào)整圖像細(xì)節(jié)信息。調(diào)整算法參數(shù),對(duì)全局化增強(qiáng)后的霧霾圖像或夜晚圖像進(jìn)行細(xì)節(jié)調(diào)整處理,具體實(shí)現(xiàn)步驟如下所示:
步驟S721,利用小波變換對(duì)步驟S71的結(jié)果圖像進(jìn)行分層處理。采用小波變換算法對(duì)所述圖像在不同的尺度上使用高通濾波器和低通濾波器在水平和垂直兩個(gè)方向上分別進(jìn)行兩次濾波,得到的分解結(jié)果為:近似分量A、水平細(xì)節(jié)分量H、垂直細(xì)節(jié)分量V和對(duì)角細(xì)節(jié)分量D??筛鶕?jù)需要調(diào)整小波變換算法中的濾波次數(shù)。
步驟S722,調(diào)整高低頻系數(shù)。通過(guò)降低近似分量A的系數(shù),增大水平細(xì)節(jié)分量H、垂直細(xì)節(jié)分量V和對(duì)角細(xì)節(jié)分量D的系數(shù),分別增強(qiáng)霧霾圖像和夜晚圖像相對(duì)高頻的景物信息。
步驟S723,對(duì)步驟S722進(jìn)行系數(shù)重構(gòu),得到最終照度處理圖像。
步驟S80,輸出結(jié)果清晰圖像。