本發(fā)明涉及圖像處理
技術(shù)領(lǐng)域：
，提出了一種基于最優(yōu)化顏色修正和回歸模型的水下圖像復(fù)原方法。
背景技術(shù)：
：在人口急劇膨脹、陸地資源日益枯竭、環(huán)境不斷惡化的情況下，開發(fā)海洋資源是一項影響深遠(yuǎn)，面向二十一世紀(jì)的戰(zhàn)略選擇。因此海洋信息的獲取、傳輸和處理等理論與技術(shù)的重要性更加突顯。水下圖像的視覺質(zhì)量在海洋工程應(yīng)用和科學(xué)研究中扮演著極其重要的角色，例如水下生態(tài)研究、海洋營救、水下輸油管道泄漏監(jiān)視等應(yīng)用場景。由于受到特殊光照吸收和散射的影響，水下拍攝的圖像往往具有低對比度、有限的清晰度、失真的顏色等缺點。水下圖像的這些缺點嚴(yán)重影響其直接應(yīng)用于海洋工程和科學(xué)研究。因此，如何清晰化水下圖像，使其可以更好的應(yīng)用于海洋工程和科學(xué)研究已經(jīng)成為了一個研究熱點。對如何清晰化水下圖像這個問題，人們主要從以下兩個方面展開研究：圖像增強方法和圖像復(fù)原方法。圖像增強方法不依靠任何成像模型，僅僅通過改變圖像的像素值來提高水下圖像的對比度和亮度，從而提高其視覺質(zhì)量。圖像復(fù)原方法將圖像復(fù)原視為一種反問題，通過估計成像模型參數(shù)并采用反補償?shù)募夹g(shù)來恢復(fù)退化的水下圖像，從而恢復(fù)其清晰度、顏色以及對比度。雖然水下圖像增強和復(fù)原方法已經(jīng)取得了一些成績，但增強和復(fù)原的結(jié)果并不十分令人滿意。例如，在復(fù)原方法中所使用的一些假設(shè)條件和先驗信息在很多水下場景中并不適用；一些增強方法常常產(chǎn)生過度增強或者欠增強的結(jié)果。技術(shù)實現(xiàn)要素：本發(fā)明提出了一種基于最優(yōu)化顏色修正和回歸模型的水下圖像復(fù)原方法，通過綜合利用最優(yōu)化理論和回歸模型，實現(xiàn)能夠有效修正水下圖像顏色偏差、解決其對比度和清晰度低、紋理和細(xì)節(jié)丟失等問題的水下圖像復(fù)原方法。本發(fā)明提出了一種基于最優(yōu)化顏色修正和回歸模型的水下圖像復(fù)原方法，該方法包括以下步驟：步驟1、輸入原始水下圖像，建立水下圖像的水下光學(xué)成像模型；步驟2、采用基于最優(yōu)化理論的顏色修正算法，去除水下圖像的顏色偏差；步驟3、基于四叉樹分解和光學(xué)屬性估計水下圖像的全局背景光；步驟4、合成訓(xùn)練樣本、設(shè)計與吸收函數(shù)相關(guān)的特征、訓(xùn)練回歸模型，學(xué)習(xí)紅信道的吸收函數(shù)；步驟5、采用訓(xùn)練好的回歸模型估計紅信道的吸收函數(shù)，確定相機與場景點之間的距離，繼而估計出綠藍(lán)信道的吸收函數(shù)；步驟6、根據(jù)建立的水下光學(xué)成像模型，使用獲得的全局背景光、紅綠藍(lán)三個信道的吸收函數(shù)以及顏色修正的圖像，通過反變換獲得清晰的水下圖像。所述步驟1中的水下光學(xué)成像模型表示為：Ic(x)＝Jc(x)tc(x)+Ac(1-tc(x))，c∈{r,g,b}式中，Ic(x)為c信道的退化的水下圖像，Jc(x)為c信道的清晰的水下圖像，Ac為c信道的全局背景光，tc(x)∈[0,1]為吸收函數(shù)，c為r，g，b紅綠藍(lán)色信道。所述步驟2的具體流程如下：將經(jīng)過顏色修正的水下圖像表示為：f(x)CRc=f(c)c-f(x)mincf(c)maxc-f(x)minc×255=f(c)c-f(x)meanc+μc·f(x)varc2μc·f(x)varc×255]]>式中，f(c)c為輸入的c信道的待修正水下圖像，和分別為水下圖像c信道的最大顏色偏差和最小顏色偏差；水下圖像每個顏色信道(r,g,b)信道的最大顏色偏差和最小顏色偏差表示如下：f(x)maxc=f(x)meanc+μc·f(x)varcf(x)minc=f(x)meanc-μc·f(x)varc,c∈{r,g,b}]]>式中，為水下圖像c信道的平均值，為水下圖像c信道的均方差值，μc是飽和度控制參數(shù)。將標(biāo)準(zhǔn)的顏色檢測板放入水下，使用相機在不同深度的水中拍攝顏色檢測板，依據(jù)前述操作，獲得顏色修正的的水下顏色檢測板圖像定義一個代表顏色修正的c信道的水下顏色檢測板圖像與標(biāo)準(zhǔn)的c信道的顏色檢測板圖像的像素強度差異的能量函數(shù)E：E=Σ||f(x)CR-testc-f(x)STDc||2,c∈{r,g,b}]]>采用迭代循環(huán)求解的方式尋找使能量函數(shù)最小化的飽和度控制參數(shù)。所述步驟3的具體流程如下：采用四叉樹分解技術(shù)將一幅顏色修正后的水下圖像分解為四個矩形區(qū)域；每個矩形區(qū)域以該區(qū)域內(nèi)像素的平均值減去均方差作為該區(qū)域的分?jǐn)?shù)，可表示為：Score＝f(x)mean-f(x)var式中，Score為該區(qū)域的分?jǐn)?shù)，f(x)mean為該區(qū)域像素的平均值，f(x)var為該區(qū)域像素的均方差值，選擇具有最高分?jǐn)?shù)的區(qū)域作為候選區(qū)域；計算三信道(r,g,b)相同位置像素最小值，從而獲得最小值圖，之后計算最小值圖中大小為41×41局部區(qū)域的最小值，計算局部區(qū)域的暗通道圖，并且將暗通道圖中的像素值從大到小排序，選擇排在前0.1％的像素點作為候選像素點；在候選像素點位置所對應(yīng)的原始圖像像素點處尋找具有最大的藍(lán)色信道像素值和紅色信道像素值比值的像素點作為背景光。所述步驟4的具體流程如下：合成訓(xùn)練樣本的步驟具體包括：選取一幅清晰的圖像根據(jù)該圖像合成的具有模糊效果的圖像表示為：Iwaterc=tc·Jnaturec+(1-tc)·Ac,c∈{r,g,b}]]>式中，Ac為全局背景光，其默認(rèn)值為1；tc為吸收函數(shù)，隨機選取[0，1]之間的值，每個隨機的吸收函數(shù)值各產(chǎn)生一幅具有不同模糊程度的合成圖像，這里三個信道選擇相同的吸收函數(shù)值；設(shè)計與吸收函數(shù)有關(guān)的特征的步驟具體包括：所述特征包括多尺度暗道特征、多尺度局部最大對比度特征、多尺度局部最大飽和度特征以及色度差異特征，其中：多尺度暗道特征Dw表示為：Dw=miny∈Ωs(x)minc∈{r,g,b}Ic(y)/Ac]]>式中，x和y表示像素位置，Ic(y)為輸入的上述合成的圖像在y位置的像素值，Ωw(x)為以x為中心大小為w×w的圖像塊，w表示圖像塊的多個尺度，文中選取w＝10,7,4,1；多尺度局部最大對比度特征Cw表示為：Cw=maxy∈Ωw(x)13|Ωs(y)|Σz∈Ωs(y)||I(z)-I(y)||2]]>式中，x，y和z表示像素位置，I(z)和I(y)分別代表在z位置和y位置的像素值，Ωw(x)為以x為中心大小為w×w的圖像塊，Ωs(y)以y位置為中心大小為s×s的區(qū)域，|Ωs(y)|是局部鄰域Ωs(y)的像素點總數(shù)，s固定為5，w代表多尺度，文中選取w＝10,7,4,1。多尺度局部最大飽和度特征Sw表示為：Sw=maxy∈Ωw(x)(1-minc∈{r,g,b}Ic(y)maxc∈{r,g,b}Ic(y))]]>式中，Ic(y)為輸入的上述合成的圖像在y位置的像素值；色度差異特征定義為輸入圖像與其半反轉(zhuǎn)圖像之間的色度差異，并表示為：H(I)=|Isih-Ih|]]>式中，si下標(biāo)表示半反轉(zhuǎn)圖像，h上標(biāo)表示色度，Ih為輸入圖像的色度信道，為半反轉(zhuǎn)圖像，半反轉(zhuǎn)圖像可以通過下式計算：Isic(x)=max[Ic(x),1-Ic(x)]c∈{r,g,b}]]>式中，x為圖像中像素點的位置，Ic(x)為x位置處的輸入的合成圖像的像素值，在為c信道的半反轉(zhuǎn)圖像；訓(xùn)練回歸模型的步驟具體包括：首先從上述步驟4中采用自然場景圖像合成的水下圖像中提取多尺度暗通道特征、多尺度局部最大對比度特征、多尺度局部最大飽和度特征以及色度差異特征，然后在獲得的特征圖中，分別隨機提取10個大小為5×5的圖像塊，總共合成1000幅訓(xùn)練圖像，從而產(chǎn)生1000×13個特征圖，最終提取出1000×13×10大小為5×5的特征塊；最后，對于一個合成的樣本，將已知的吸收函數(shù)值和提取的13個5×5的特征塊輸入到隨機森林回歸模型中；依次類推的將剩余的13×9個5×5的特征塊按上述方法送入到回歸模型，直到將合成的1000幅圖像對應(yīng)的吸收函數(shù)值和特征塊輸入到隨機森林回歸模型，該回歸模型訓(xùn)練完畢；學(xué)習(xí)紅信道的吸收函數(shù)的步驟具體包括：將相同位置的各個特征圖中提取的特征塊送入訓(xùn)練好的隨機森林回歸模型中，從而輸出對應(yīng)的吸收函數(shù)值；最后，依次將所有位置的特征塊全部輸入到隨機森林回歸模型中，輸出圖像所有位置的吸收函數(shù)值，此時整個紅信道所有位置的吸收函數(shù)值輸出完畢；最終輸出的吸收函數(shù)圖會出現(xiàn)塊狀偽影。所述步驟5中的具體流程如下：已知紅信道的吸收函數(shù)tr(x)的條件下，將相機與場景點之間的距離d(x)表示為：d(x)=ln(tr(x))ln(Nrer(r))]]>式中，tr(x)為紅信道的吸收函數(shù)，Nrer(r)表示紅信道的歸一化殘余能量比率；綠藍(lán)信道的吸收函數(shù)分別表示為：tg(x)=Nrer(g)d(x)=Nrer(g)ln(tr(x))/ln(Nrer(r))]]>tb(x)=Nrer(b)d(x)=Nrer(b)ln(tr(x))/ln(Nrer(r))]]>式中，tg(x)和tb(x)分別為綠色和藍(lán)色信道的吸收函數(shù)，Nrer(g)和Nrer(b)分別表示綠色信道和藍(lán)色信道的歸一化殘余能量比率。與現(xiàn)有技術(shù)相比，本發(fā)明具有如下有益效果：1)在相關(guān)
技術(shù)領(lǐng)域：
中，本發(fā)明首次采用基于學(xué)習(xí)的框架估計水下光學(xué)成像模型的吸收函數(shù)，相較以往單純采用假設(shè)條件或者先驗知識估計吸收函數(shù)的方法，本發(fā)明具有更的魯棒性；2)與現(xiàn)有的水下圖像顏色修正算法相比，本發(fā)明的顏色修正方法能夠更加準(zhǔn)確的恢復(fù)出水下圖像的顏色；3)本發(fā)明的一種基于分層搜索和光學(xué)屬性的水下光學(xué)成像模型的全局背景光估計方法，該估計方法可以有效的去除水中高亮目標(biāo)和懸浮顆粒對全局背景光估計的影響，具有更好的魯棒性和準(zhǔn)確性。附圖說明圖1為本發(fā)明的一種基于最優(yōu)化顏色修正和回歸模型的水下圖像復(fù)原方法的流程圖；圖2為計算最優(yōu)化的飽和度控制參數(shù)的算法流程圖；圖3為水下圖像全局背景光估計方法的一個實例圖，其中，(a)為顏色修正的水下圖像；(b)為四叉樹分解的結(jié)果；(c)為搜索暗道圖中前0.1％最亮像素點的結(jié)果；(d)為搜索具有最大藍(lán)-紅像素比值像素點的結(jié)果；圖4為部分的合成樣本圖。具體實施方式如圖1所示，本發(fā)明提供一種基于最優(yōu)化顏色修正和回歸模型的水下圖像復(fù)原方法，其包括以下步驟：步驟1、輸入原始水下圖像，根據(jù)光學(xué)特性，建立水下圖像的水下光學(xué)成像模型步驟2、顏色修正：大量的統(tǒng)計實驗發(fā)現(xiàn)，水下圖像每個信道的最大顏色偏差和最小顏色偏差可以表示為：f(x)maxc=f(x)meanc+μc·f(x)varcf(x)minc=f(x)meanc-μc·f(x)varc,c∈{r,g,b},]]>式中，為水下圖像c信道的平均值，為水下圖像c信道的均方差值，μc是飽和度控制參數(shù)。顏色修正的水下圖像可以采用如下方式獲得：f(x)CRc=f(c)c-f(x)mincf(c)maxc-f(x)minc×255=f(c)c-f(x)meanc+μc·f(x)varc2μc·f(x)varc×255]]>式中，f(x)為輸入的水下圖像，μc為未知參數(shù)。為了獲得有效的飽和度控制參數(shù)，本發(fā)明采用了一種基于最優(yōu)化理論的參數(shù)估計方法：通過最小化標(biāo)準(zhǔn)的顏色檢測板圖像與顏色修正的水下顏色檢測板圖像之間的像素值平方差來估計最優(yōu)化的飽和度控制參數(shù)。具體方案如下：首先，將標(biāo)準(zhǔn)的顏色檢測板放入水下，使用相機在不同深度的水中拍攝顏色檢測板。然后，定義一個能量函數(shù)E。該函數(shù)代表顏色修正的水下顏色檢測板圖像與標(biāo)準(zhǔn)的c信道的顏色檢測板圖像的的像素強度差異：E=Σ||f(x)CRc-f(x)STDc||2,c∈{r,g,b}]]>最后，采用迭代循環(huán)求解的方式搜索使能量函數(shù)最小化的飽和度控制參數(shù)，例如：迭代步長設(shè)置為0.5，迭代范圍設(shè)置為0.5～10，具體算法流程如圖2所示。若已知需要處理的水下圖像拍攝深度，則選用與其最接近的整數(shù)深度的飽和度控制參數(shù)。若無法獲知水下圖像拍攝深度，則選用1～10米每隔1米獲取的飽和度控制參數(shù)的平均值(為了操作簡單，本發(fā)明只計算1～10米水下整數(shù)深度條件下的最優(yōu)化飽和度控制參數(shù))。因為一般情況下拍攝的水下圖像往往在1-10米深度范圍內(nèi)。若拍攝深度大于10米，往往可見光消失，此時需要人造光源的幫助，此特殊情況不在本發(fā)明的操作范圍內(nèi)。步驟3、估計全局背景光首先一幅顏色修正的水下圖像采用四叉樹分解技術(shù)分解為四個矩形區(qū)域。其次采用每個分解出來的區(qū)域的像素平均值減去均方差作為該個區(qū)域的分?jǐn)?shù)，并選擇具有最高分?jǐn)?shù)的區(qū)域作為候選區(qū)域。然后計算候選區(qū)域的暗通道圖：先計算三通道(r,g,b)相同位置像素最小值獲得最小值圖，之后計算最小值圖中大小為41×41局部區(qū)域的最小值，并且將暗通道圖中的像素值從大到小排序，選擇排在前0.1％的像素點作為候選像素點。最后在候選像素點位置的原始圖像像素點處搜索具有最大的藍(lán)色信道像素值和紅色信道像素值比值的像素點作為背景光。圖3給出了本發(fā)明提出的全局背景光估計算法的一個實例。步驟4、估計吸收函數(shù)4.1、合成訓(xùn)練樣本選取一幅清晰的圖像全局背景光Ac默認(rèn)為1，隨機選取[0,1]之間的值為吸收函數(shù)tc賦值，合成的具有模糊效果的圖像可以表示為：Iwaterc=tc·Jnaturec+(1-tc)·Ac,c∈{r,g,b}]]>式中，Ac為全局背景光，其默認(rèn)值為1；tc為吸收函數(shù)，隨機選取[0，1]之間的值，每個隨機的吸收函數(shù)值各產(chǎn)生一幅具有不同模糊程度的合成圖像，這里三個信道選擇相同的吸收函數(shù)值；為了提高學(xué)習(xí)框架的學(xué)習(xí)能力，對于一幅清晰的圖像本發(fā)明為其分配10個隨機的吸收函數(shù)值，從而產(chǎn)生10幅具有不同模糊程度的合成圖像。圖4給出本發(fā)明合成的部分樣本圖。4.2、設(shè)計與吸收函數(shù)有關(guān)的特征通過實驗，本發(fā)明設(shè)計了多個與吸收函數(shù)有關(guān)的特征：多尺度暗道特征、多尺度局部最大對比度特征、多尺度局部最大飽和度特征以及色度差異特征。多尺度暗道特征可以表示如下。多尺度暗道特征Dw表示為：Dw=miny∈Ωs(x)minc∈{r,g,b}Ic(y)/Ac]]>式中，x和y表示像素位置，Ic(y)為輸入的上述合成的圖像在y位置的像素值，Ωw(x)為以x為中心大小為w×w的圖像塊，w表示圖像塊的多個尺度，文中選取w＝10,7,4,1。多尺度局部最大對比度特征Cw表示為：Cw=maxy∈Ωw(x)13|Ωs(y)|Σz∈Ωs(y)||I(z)-I(y)||2]]>式中，x、y和z表示像素位置，I(z)和I(y)分別代表在z和y位置的像素值，Ωw(x)為以x為中心大小為w×w的圖像塊，Ωs(y)以y為中心大小為s×s的區(qū)域，|Ωs(y)|是局部鄰域Ωs(y)的像素點總數(shù)，s固定為5，w代表多尺度，文中選取w＝10,7,4,1。多尺度局部最大飽和度特征Sw表示為：Sw=maxy∈Ωw(x)(1-minc∈{r,g,b}Ic(y)maxc∈{r,g,b}Ic(y))]]>式中，Ic(y)為輸入的上述合成的圖像在y位置的像素值。色度差異特征定義為輸入圖像與其半反轉(zhuǎn)圖像之間的色度差異，并表示為：H(I)=|Isih-Ih|]]>式中，si下標(biāo)表示半反轉(zhuǎn)圖像，h上標(biāo)表示色度，Ih為輸入圖像的色度信道，為半反轉(zhuǎn)圖像，半反轉(zhuǎn)圖像可以通過下式計算：式中，x為圖像中像素點的位置，Ic(x)為x位置處的輸入的合成圖像的像素值，在為c信道的半反轉(zhuǎn)圖像。在本發(fā)明中，多尺度暗道特征、多尺度局部最大對比度特征、多尺度局部最大飽和度特征選用了四個尺度，即w＝10,7,4,1。4.3、訓(xùn)練和測試回歸模型訓(xùn)練階段：首先，從合成的圖像中提取多尺度暗道特征、多尺度局部最大對比度特征、多尺度局部最大飽和度特征以及色度差異特征。然后，在獲得的特征圖中，分別隨機提取10個大小為5×5的圖像塊。本發(fā)明總共合成1000幅圖像，從而產(chǎn)生1000×13個特征圖，最終提取出1000×13×10大小為5×5的特征塊。最后，對于一個合成的樣本，將已知的吸收函數(shù)值和提取的13×10個5×5的特征塊分別以13×5×5的維度分10次(每次在每個特征圖中選取一個5×5的特征快)輸入到隨機森林回歸模型中。直到將合成的1000幅圖像對應(yīng)的吸收函數(shù)值和特征塊輸入到隨機森林回歸模型，該回歸模型訓(xùn)練完畢。測試階段：首先，修正輸入圖像的顏色，估計其全局背景光。接下來抽取多尺度暗道特征、多尺度局部最大對比度特征、多尺度局部最大飽和度特征以及色度差異特征。然后，將獲得的特征圖分別無重疊的分成5×5的特征塊。將相同位置的各個特征圖中提取的特征塊送入訓(xùn)練好的隨機森林回歸模型中，從而輸出對應(yīng)的吸收函數(shù)值。最后，依次將所有位置的特征塊全部輸入到模型中，輸出圖像所有位置的的吸收函數(shù)值，此時吸收函數(shù)估計完畢。由于本發(fā)明是基于塊特征計算吸收函數(shù)值，從而最終輸出的吸收函數(shù)圖會出現(xiàn)塊狀偽影。本發(fā)明采用導(dǎo)向濾波來壓縮塊狀偽影的影響。4.4、吸收函數(shù)擴(kuò)展將獲得的吸收函數(shù)值賦給輸入圖像的紅信道，接下來以相機與場景點的距離為橋梁，構(gòu)建水下圖像三個顏色信道吸收函數(shù)之間的關(guān)系。吸收函數(shù)tc(x)可以表示為：tc(x)＝exp(-pcd(x)),c∈{r,g,b}，式中，pc為總的衰減因子，d(x)是相機與場景點之間的距離。此外，吸收函數(shù)tc還可以表示為：tc(x)＝Nrer(λ)d(x)式中，Nrer(λ)表示與波長λ有關(guān)的歸一化殘余能量比率。已知紅信道的吸收函數(shù)，所以相機與場景點之間的距離d(x)可以表示為：d(x)=ln(tr(x))ln(Nrer(r))]]>式中，tr(x)為紅信道的吸收函數(shù)，Nrer(r)表示紅信道的歸一化殘余能量比率。一般情況下，Nrer(λ)可以表示為如下常數(shù)：Nrer(λ)=0.8~0.85ifλ=650~750μmr(red)0.93~0.97ifλ=490~550μmg(green)0.95~0.99ifλ=400~490μmb(blue)]]>因此，綠藍(lán)信道的吸收函數(shù)可以分別表示為：tg(x)=Nrer(g)d(x)=Nrer(g)ln(tr(x))/ln(Nrer(r)),]]>tb(x)=Nrer(b)d(x)=Nrer(b)ln(tr(x))/ln(Nrer(r)).]]>本發(fā)明中，針對紅、綠、藍(lán)信道的歸一化殘余能量比率，Nrer(λ)分別取值為83％，93％和97％。步驟5、水下圖像復(fù)原將已經(jīng)獲得的全局背景光Ac、三個信道的吸收函數(shù)tc(x)、顏色修正后的水下圖像Ic(x)代入水下成型模型，c信道的清晰的水下圖像Jc(x)可以表示為：Jc(x)=1tc(x)(Ic(x)-Ac)+Ac,c∈{r,g,b}.]]>當(dāng)前第1頁1 2 3