本發(fā)明屬于計(jì)算機(jī)視覺和圖像處理技術(shù)領(lǐng)域，具體涉及一種基于分類校正的彩色圖像光源顏色估計(jì)方法的設(shè)計(jì)。

背景技術(shù)：

自然環(huán)境下，同一物體在不同顏色的光的照射下會呈現(xiàn)不同的顏色，比如綠色的樹葉在晨光照射下偏黃色，而在傍晚時分卻偏藍(lán)色。人的視覺系統(tǒng)可以抵制這種光源顏色變化，從而恒定的感知物體的顏色，也就是視覺系統(tǒng)具有顏色恒常性。然而，受技術(shù)條件限制，機(jī)器并不具備這一能力，由物理設(shè)備，比如照相機(jī)拍攝到的圖片由于光源顏色的變化會產(chǎn)生嚴(yán)重的色偏。因此，如何根據(jù)已有的圖像信息去準(zhǔn)確估計(jì)場景中的光源顏色并將其移除從而得到物體在標(biāo)準(zhǔn)白光照射下的顏色就顯得尤為重要。

計(jì)算性顏色恒常正是致力于解決這一問題，它的主要目的是計(jì)算任意一幅圖像所包含的未知光源的顏色，然后用這個計(jì)算得到的光源顏色對原始輸入的圖像進(jìn)行光源顏色校正后在標(biāo)準(zhǔn)的白光下進(jìn)行顯示，得到所謂的標(biāo)準(zhǔn)圖像。由于標(biāo)準(zhǔn)圖像去除了光源顏色的影響，因而對于后續(xù)的計(jì)算任務(wù)，比如基于顏色的場景分類，圖像檢索就不存在因色偏而導(dǎo)致的誤分類或誤檢索。

計(jì)算性顏色恒常方法可以分為兩類：基于學(xué)習(xí)的方法和傳統(tǒng)的靜態(tài)方法。傳統(tǒng)的靜態(tài)方法從圖像中提取簡單的特征用于光源估計(jì)，這類方法由于估計(jì)的誤差較大，不能很好的滿足工程需要?；诖诵枨?，在傳統(tǒng)非基于學(xué)習(xí)的方法的基礎(chǔ)上誕生了基于學(xué)習(xí)的方法，比較典型的基于學(xué)習(xí)的方法有G.D.Finlayson在2013年提出的方法，參考文獻(xiàn)：G.D.Finlayson，“Corrected-moment illuminant estimation”in Proc.Comput.Vis.IEEE Int.Conf.，2013，pp.1904–1911，該方法通過特征提取并利用回歸的方法找到特征與光源之間的關(guān)系。這種方法由于使用了回歸的手段，因而估計(jì)光源的準(zhǔn)確性相對較高，但該方法對所有圖像都使用同一個校正矩陣，導(dǎo)致部分圖像估計(jì)的光源誤差很大，因而無法滿足對估計(jì)光源顏色準(zhǔn)確性要求很高的場合，例如智能機(jī)器人或自動駕駛等的接收圖像的設(shè)備前端。因此，實(shí)現(xiàn)一種對不同的圖像學(xué)習(xí)不同的校正矩陣的方法就顯得尤為重要。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的是為了解決現(xiàn)有技術(shù)中的圖像場景光源顏色估計(jì)方法無法滿足對估計(jì)光源顏色準(zhǔn)確性要求很高的場合的問題，提出了一種基于分類校正的彩色圖像光源顏色估計(jì)方法。

本發(fā)明的技術(shù)方案為：一種基于分類校正的彩色圖像光源顏色估計(jì)方法，包括以下步驟：

S1、提取訓(xùn)練圖像的邊緣特征：將N幅已知光源的彩色圖像作為原始訓(xùn)練集T，分別與高斯分布求導(dǎo)后的模板G做卷積運(yùn)算，得到圖像每個像素點(diǎn)對應(yīng)的邊緣值，提取邊緣特征，得到N幅訓(xùn)練圖像的邊緣特征矩陣M；

S2、學(xué)習(xí)校正矩陣：通過最小二乘法，學(xué)習(xí)由步驟S1計(jì)算得到的特征矩陣M與N幅訓(xùn)練圖像的標(biāo)準(zhǔn)光源L之間的校正矩陣C；

S3、粗略的光源估計(jì)：采用步驟S1中的方法提取測試圖像的邊緣特征，與步驟S2學(xué)習(xí)得到的校正矩陣C相乘，得到粗略的光源估計(jì)結(jié)果L1；

S4、尋找與測試圖像相對應(yīng)的訓(xùn)練圖像：對測試圖像與原始訓(xùn)練集T分別去除光源，再采用S1中的方法分別提取邊緣特征，形成特征空間；在特征空間中找出與測試圖像特征相近的K幅訓(xùn)練圖像，將其作為新的訓(xùn)練集TN；

S5、精準(zhǔn)的光源估計(jì)：重復(fù)步驟S1-S4，每次將步驟S1中的訓(xùn)練集T替換為步驟S4中得到的新的訓(xùn)練集TN，訓(xùn)練圖像數(shù)也相應(yīng)的由N變?yōu)镵，直到步驟S4中得到的TN與上一次操作中步驟S4得到的TN相同為止，把最后一次操作中步驟S3得到的光源估計(jì)結(jié)果L1作為最終光源估計(jì)結(jié)果。

進(jìn)一步地，步驟S1中高斯分布求導(dǎo)后的模板G為高斯梯度算子。

進(jìn)一步地，步驟S1中提取邊緣特征的計(jì)算公式為：

$M_{xyz}={\left(\frac{{\mathrm{\Σ}}_{i=1}^{N_1}{R}_i^x{G}_i^y{B}_i^z}{N_1}\right)}^{1/(x+y+z)}---\left(1\right)$

式中R_i、G_i、B_i分別表示每個像素點(diǎn)在R、G、B三個通道的邊緣值，N₁表示圖像中像素點(diǎn)的個數(shù)，M_xyz為不同x,y,z下對應(yīng)的邊緣特征的值，x,y,z是滿足x≥0,y≥0,z≥0且x+y+z＝3的所有組合。

進(jìn)一步地，步驟S4中K的取值范圍為

進(jìn)一步地，步驟S4具體包括以下分步驟：

S41、對原始N幅訓(xùn)練圖像去除標(biāo)準(zhǔn)光源L，并采用步驟S1中的方法提取邊緣特征；

S42、對測試圖像去除步驟S3中粗略估計(jì)的光源L1，并采用步驟S1中的方法提取邊緣特征，與步驟S41中N幅訓(xùn)練圖像提取的邊緣特征共同形成特征空間；

S43、在特征空間中找出與測試圖像特征距離最相近的K幅圖像，作為測試圖像的新訓(xùn)練圖像集合TN。

進(jìn)一步地，步驟S43中的特征距離為歐式距離。

本發(fā)明的有益效果是：本發(fā)明首先在一組已知光源顏色的圖像上提取圖像的邊緣特征，然后通過最小二乘法進(jìn)行學(xué)習(xí)，得到邊緣特征與光源之間的校正矩陣，再對待處理的測試圖像提取邊緣特征并與校正矩陣相乘，得到粗略的光源估計(jì)；之后通過在特征空間尋找K幅鄰近圖像的方式找到與待處理測試圖像特征相近的一類訓(xùn)練圖像，從而重新學(xué)習(xí)，得到精準(zhǔn)的光源估計(jì)。由于待處理的測試圖像與訓(xùn)練圖像在特征空間的距離不同，適當(dāng)調(diào)節(jié)對應(yīng)訓(xùn)練圖像數(shù)K的值，可以得到更好的適于不同類型訓(xùn)練圖像的結(jié)果，這里K是唯一的參數(shù)。本發(fā)明涉及參數(shù)少(僅有一個參數(shù)K)，并且由于提取的特征簡單且數(shù)量較少，所以還擁有計(jì)算簡單、速度快等特點(diǎn)；此外，本發(fā)明是基于學(xué)習(xí)的方法，所以處理效果好，精確度高，非常適合于對光源顏色的估計(jì)準(zhǔn)確度要求比較高的場合，例如內(nèi)置在智能機(jī)器人或自動駕駛的接收圖像設(shè)備的前端等。

附圖說明

圖1為本發(fā)明提供的一種基于分類校正的彩色圖像光源顏色估計(jì)方法流程圖。

圖2為本發(fā)明實(shí)施例一的待處理的測試圖像tools_ph-ulm.gif。

圖3為本發(fā)明實(shí)施例一的各步驟估計(jì)的光源與真實(shí)光源之間的誤差值示意圖。

圖4為本發(fā)明實(shí)施例一的最終光源估計(jì)結(jié)果與真實(shí)光源對比示意圖。

圖5為本發(fā)明實(shí)施例二的利用步驟S5計(jì)算的光源顏色值對原始測試圖像進(jìn)行色調(diào)校正后的結(jié)果示意圖。

具體實(shí)施方式

下面結(jié)合附圖對本發(fā)明的實(shí)施例作進(jìn)一步的說明。

本發(fā)明提供了一種基于分類校正的彩色圖像光源顏色估計(jì)方法，如圖1所示，包括以下步驟：

S1、提取訓(xùn)練圖像的邊緣特征：將N幅已知光源的彩色圖像作為原始訓(xùn)練集T，分別與高斯分布求導(dǎo)后的模板G做卷積運(yùn)算，得到圖像每個像素點(diǎn)對應(yīng)的邊緣值，提取邊緣特征，得到N幅訓(xùn)練圖像的邊緣特征矩陣M。

其中，高斯分布求導(dǎo)后的模板G為高斯梯度算子。

提取邊緣特征的計(jì)算公式為：

$M_{xyz}={\left(\frac{{\mathrm{\Σ}}_{i=1}^{N_1}{R}_i^x{G}_i^y{B}_i^z}{N_1}\right)}^{1/(x+y+z)}---\left(1\right)$

式中R_i、G_i、B_i分別表示每個像素點(diǎn)在R、G、B三個通道的邊緣值，N₁表示圖像中像素點(diǎn)的個數(shù)，M_xyz為不同x,y,z下對應(yīng)的邊緣特征的值，x,y,z是滿足x≥0,y≥0,z≥0且x+y+z＝3的所有組合，總的組合數(shù)為19，所以這里可以得到19個邊緣特征。

S2、學(xué)習(xí)校正矩陣：通過最小二乘法，學(xué)習(xí)由步驟S1計(jì)算得到的特征矩陣M與N幅訓(xùn)練圖像的標(biāo)準(zhǔn)光源L之間的校正矩陣C。

S3、粗略的光源估計(jì)：采用步驟S1中的方法提取測試圖像的邊緣特征，與步驟S2學(xué)習(xí)得到的校正矩陣C相乘，得到粗略的光源估計(jì)結(jié)果L1。

S4、尋找與測試圖像相對應(yīng)的訓(xùn)練圖像：對測試圖像與原始訓(xùn)練集T分別去除光源，再采用S1中的方法分別提取邊緣特征，形成特征空間；在特征空間中找出與測試圖像特征相近的K幅訓(xùn)練圖像(K的取值范圍為)，將其作為新的訓(xùn)練集TN。

該步驟具體包括以下分步驟：

S41、對原始N幅訓(xùn)練圖像去除標(biāo)準(zhǔn)光源L，并采用步驟S1中的方法提取邊緣特征。

S42、對測試圖像去除步驟S3中粗略估計(jì)的光源L1，并采用步驟S1中的方法提取邊緣特征，與步驟S41中N幅訓(xùn)練圖像提取的邊緣特征共同形成特征空間。

S43、在特征空間中找出與測試圖像特征距離最相近的K幅圖像，作為測試圖像的新訓(xùn)練圖像集合TN。

其中，步驟S43中的特征距離為歐式距離。

S5、精準(zhǔn)的光源估計(jì)：重復(fù)步驟S1-S4，每次將步驟S1中的訓(xùn)練集T替換為步驟S4中得到的新的訓(xùn)練集TN，訓(xùn)練圖像數(shù)也相應(yīng)的由N變?yōu)镵，直到步驟S4中得到的TN與上一次操作中步驟S4得到的TN相同為止，把最后一次操作中步驟S3得到的光源估計(jì)結(jié)果L1作為最終光源估計(jì)結(jié)果。

經(jīng)過步驟S5之后計(jì)算出來的圖像的最終光源估計(jì)結(jié)果L1可以直接用于后續(xù)的計(jì)算機(jī)視覺應(yīng)用，比如用輸入的原彩色圖像的每個顏色通道的分量除以L1，可以達(dá)到去除彩色圖像中光源顏色的目的。此外，圖像的白平衡以及顏色校正也需要用到S5計(jì)算出來的最終光源估計(jì)結(jié)果L1。

下面以一個具體實(shí)施例對本發(fā)明提供的一種基于分類校正的彩色圖像光源顏色估計(jì)方法作進(jìn)一步說明：

實(shí)施例一：

下載目前國際公認(rèn)的用于估計(jì)場景光源顏色的圖像庫SFU object的所有圖片(共321幅)及其對應(yīng)的真實(shí)光源顏色(標(biāo)準(zhǔn)光源)L，圖像大小均為468×637，選圖像庫前214幅圖像作為訓(xùn)練集圖像，選擇剩余圖像中一幅圖像tools_ph-ulm.gif(如圖2所示)作為待處理的測試圖像進(jìn)行測試，所有圖像都沒有經(jīng)過任何相機(jī)本身的預(yù)處理(如色調(diào)校正，gamma值校正)。則本發(fā)明的詳細(xì)步驟如下：

S1、提取訓(xùn)練圖像的邊緣特征：將214幅已知光源的彩色圖像作為原始訓(xùn)練集T，分別與高斯分布求導(dǎo)后的模板G(高斯梯度算子)做卷積運(yùn)算，得到圖像每個像素點(diǎn)對應(yīng)的邊緣值，再分別提取19維的邊緣特征，最后得到大小為214*19的訓(xùn)練集圖像的邊緣特征矩陣M。

S2、學(xué)習(xí)校正矩陣：通過最小二乘法，學(xué)習(xí)由步驟S1計(jì)算得到的特征矩陣M與214幅訓(xùn)練圖像的標(biāo)準(zhǔn)光源L之間的校正矩陣，得到大小為19*3的校正矩陣C：

C＝[-150.0689，-30.1462，-21.5186；-96.5582，-196.1642，-348.5298；52.6551，76.4461，115.5982；-200.5289，-240.3650，-179.6495；-79.6311，72.4539，125.1126；-56.1276，-130.2963，-226.1518；683.9180，552.9035，366.8781；214.1444，-15.5379，-52.8198；-149.3407，138.0260，397.1888；154.6218，240.3336，128.2161；156.5752，-50.6503，69.4182；22.7103，90.3730，274.5781；-65.9786，-384.7642，-66.2556；-112.7044，-104.0913，-12.8868；-349.7427，81.5115，-215.8972；-79.0109，-48.0727，-32.2072；-98.2723，-22.7039，-51.2091；108.6481，-52.0896，-265.9989；172.6056，171.2726，95.1991]。

S3、粗略的光源估計(jì)：采用步驟S1中的方法提取測試圖像的19維邊緣特征，得到大小為1*19的測試圖像的邊緣特征矩陣M1：

M1＝[0.0002，0.0004，0.0002，0.0014，0.0017，0.0012，0.0015，0.0013，0.0014，0.0036，0.0040，0.0031，0.0037，0.0034，0.0039，0.0037，0.0032，0.0034，0.0035]。

再將M1與步驟S2學(xué)習(xí)得到的校正矩陣C相乘，得到粗略的光源估計(jì)結(jié)果L1＝[0.1985，0.2151，0.2360]。

S4、尋找與測試圖像相對應(yīng)的訓(xùn)練圖像：對測試圖像與具有214幅圖像的原始訓(xùn)練集T分別去除光源，再采用S1中的方法分別提取19維邊緣特征，形成特征空間。在特征空間中找出與測試圖像特征相近的K幅訓(xùn)練圖像，從而得到與其特征相近的一類圖像，將這K幅圖像作為新的訓(xùn)練集TN。本發(fā)明實(shí)施例中，選取K＝100。

該步驟具體包括以下分步驟：

S41、對原始214幅訓(xùn)練圖像去除標(biāo)準(zhǔn)光源L，并采用步驟S1中的方法提取19維邊緣特征，得到大小為214*19的特征矩陣M0。

S42、對測試圖像去除步驟S3中粗略估計(jì)的光源L1，并采用步驟S1中的方法提取邊緣特征，得到大小為1*19的特征矩陣M2：

M2＝[0.0060，0.0089，0.0038，0.0366，0.0371，0.0224，0.0365，0.0282，0.0285，0.0937，0.0900，0.0581，0.0921，0.0790，0.0909，0.0768，0.0673，0.0664，0.0777]。

再將M2與步驟S41中214幅訓(xùn)練圖像提取的邊緣特征M0共同形成特征空間。

S43、在特征空間中找出與測試圖像特征距離最相近的100幅圖像，作為測試圖像的新訓(xùn)練圖像集合TN。

S5、精準(zhǔn)的光源估計(jì)：重復(fù)步驟S1-S4，每次將步驟S1中的訓(xùn)練集T替換為步驟S4中得到的新的訓(xùn)練集TN，訓(xùn)練圖像數(shù)也相應(yīng)的由N變?yōu)镵，直到步驟S4中得到的TN與上一次操作中步驟S4得到的TN相同為止，把最后一次操作中步驟S3得到的光源估計(jì)結(jié)果L1作為最終光源估計(jì)結(jié)果。

本發(fā)明實(shí)施例中，為節(jié)約時間，重復(fù)操作兩次即可。重復(fù)操作一次后得到的光源估計(jì)結(jié)果為L1＝[0.3412,0.3591,0.3168]，重復(fù)操作兩次后得到的光源估計(jì)結(jié)果為L1＝[0.3312，0.3365，0.3430]。將執(zhí)行兩次后得到的光源估計(jì)結(jié)果L1＝[0.3312，0.3365，0.3430]作為最終光源估計(jì)結(jié)果。

如圖3所示，第一個柱子表示步驟S3中粗略估計(jì)的光源與真實(shí)光源之間角度誤差值，第二個柱子是步驟S5中重復(fù)操作一次之后估計(jì)的光源與真實(shí)光源之間的角度誤差值，第三個柱子是步驟S5中重復(fù)操作兩次之后估計(jì)的光源與真實(shí)光源之間的角度誤差值。三個柱子之間連接的折線反應(yīng)了估計(jì)誤差的下降趨勢，表明估計(jì)的光源越來越準(zhǔn)確。

如圖4所示為步驟S5最終計(jì)算得到的三原色空間下紅色和綠色分量的響應(yīng)的方向與真實(shí)光源紅色和綠色分量的響應(yīng)的方向，圖4表明由步驟S5計(jì)算得到的響應(yīng)值與真實(shí)場景光源顏色的信息很接近。

下面以一個具體實(shí)施例對本發(fā)明最終得到的光源估計(jì)結(jié)果以圖像的色調(diào)校正為例作一個實(shí)際應(yīng)用時的簡單示范：

實(shí)施例二：

利用步驟S5計(jì)算得到的各個顏色分量下的光源顏色值，分別校正原始輸入圖像的每個顏色分量的像素值。以步驟S3中輸入的測試圖像的一個像素點(diǎn)(0.335,0.538,0.601)為例，其校正后的結(jié)果為(0.335/0.3312,0.538/0.3365,0.601/0.3430)＝(1.0115,1.5988,1.7522)，歸一化處理之后變?yōu)?0.2319，0.3665，0.4016)，然后將校正后的值乘上標(biāo)準(zhǔn)白光系數(shù)得到(0.1339，0.2116，0.2319)作為最終輸出的校正圖像的像素值，原始輸入圖像的其它像素點(diǎn)也做類似的計(jì)算，最后得到校正后的彩色圖像，如圖5所示。

本領(lǐng)域的普通技術(shù)人員將會意識到，這里所述的實(shí)施例是為了幫助讀者理解本發(fā)明的原理，應(yīng)被理解為本發(fā)明的保護(hù)范圍并不局限于這樣的特別陳述和實(shí)施例。本領(lǐng)域的普通技術(shù)人員可以根據(jù)本發(fā)明公開的這些技術(shù)啟示做出各種不脫離本發(fā)明實(shí)質(zhì)的其它各種具體變形和組合，這些變形和組合仍然在本發(fā)明的保護(hù)范圍內(nèi)。