本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，具體而言，涉及一種基于Bayer格式的圖像融合方法及圖像融合裝置。

背景技術(shù)：

圖像融合是將不同傳感器或相同傳感器獲得的多幅圖像進行綜合處理，得到一張滿足某種需求的新圖像。不同特性的傳感器獲取圖像信息是有所差異的，即使是采用相同的傳感器，在不同觀測時間或不同觀測角度獲取的信息也可能不同，圖像融合能充分利用多幅圖像中的冗余信息和互補信息來融合得到效果較好的圖像。

對于多聚焦圖像來說，由于光學傳感器設(shè)備有限的視差深度，導(dǎo)致很難獲得一個多點聚焦的圖像，因為傳感器無法給出距離遠近不同的物體相同的圖像分辨率，這種情況下通常會導(dǎo)致圖像聚焦在某一區(qū)域或者某一側(cè)，而另一區(qū)域或另一側(cè)會出現(xiàn)模糊的現(xiàn)象。多聚焦圖像融合可以將傳感器在同一位置拍攝到的幾幅圖像經(jīng)過適當?shù)膱D像融合算法合成一副多聚焦的高清晰度圖像。

圖像融合通常分3個層次：像素級、特征級和決策級。像素級融合最大優(yōu)點是能保持盡可能多的現(xiàn)場數(shù)據(jù)，提供其他融合層次所不能提供的細微信息，但是計算量大，冗余度高，實時性差；特征級融合方式損失了一部分信息，屬于中間級的融合；決策級融合與像素級融合相比，處理的數(shù)據(jù)量大為減少，但是這種融合方式損失信息量最大。目前大多數(shù)圖像融合算法的自適應(yīng)性差，算法的實時性有待提高。

需要說明的是，在上述背景技術(shù)部分公開的信息僅用于加強對本發(fā)明的背景的理解，因此可以包括不構(gòu)成對本領(lǐng)域普通技術(shù)人員已知的現(xiàn)有技術(shù)的信息。

技術(shù)實現(xiàn)要素：

本發(fā)明的目的在于提供一種基于Bayer格式的圖像融合方法及圖像融合裝置，進而至少在一定程度上克服由于相關(guān)技術(shù)的限制和缺陷而導(dǎo)致的一個或者多個問題。

本發(fā)明的其他特性和優(yōu)點將通過下面的詳細描述變得顯然，或部分地通過本發(fā)明的實踐而習得。

根據(jù)本發(fā)明的一個方面，提供一種基于Bayer格式的圖像融合方法，包括：

獲取待融合的多幀Bayer圖像；

分別提取所述多幀Bayer圖像中每幀Bayer圖像的亮度分量和色度分量；

對所述多幀Bayer圖像的亮度分量和色度分量分別進行融合處理，得到所述多幀Bayer圖像融合后的亮度分量和色度分量；

根據(jù)所述融合后的亮度分量和色度分量，生成融合后的圖像。

在本發(fā)明的一些實施例中，基于前述方案，分別提取所述多幀Bayer圖像中每幀Bayer圖像的亮度分量和色度分量的步驟，包括：

根據(jù)所述每幀Bayer圖像中的每個2×2的小塊內(nèi)的像素值，計算所述每個2×2的小塊對應(yīng)的亮度分量和色度分量；

根據(jù)所述每幀Bayer圖像中的所有2×2的小塊對應(yīng)的亮度分量和色度分量，計算所述多幀Bayer圖像融合后的亮度分量和色度分量。

在本發(fā)明的一些實施例中，基于前述方案，根據(jù)以下公式計算所述每個2×2的小塊對應(yīng)的亮度分量和色度分量：

其中，G^ul和G^lr分別表示所述每個2×2的小塊內(nèi)的兩個綠色像素的像素值；B表示所述每個2×2的小塊內(nèi)的藍色像素的像素值；R表示所述每個2×2的小塊內(nèi)的紅色像素的像素值；Y^ul和Y^lr分別表示與G^ul和G^lr相對應(yīng)的亮度分量；C_r和C_b分別表示所述每個2×2的小塊對應(yīng)的兩個色度分量。

在本發(fā)明的一些實施例中，基于前述方案，對所述多幀Bayer圖像的亮度分量進行融合處理，包括：

對所述每幀Bayer圖像的亮度分量進行分解，得到所述每幀Bayer圖像的亮度分量對應(yīng)的高頻分量和低頻分量；

對所述多幀Bayer圖像的亮度分量對應(yīng)的高頻分量和低頻分量分別進行融合處理，得到融合后的高頻分量和低頻分量；

基于所述融合后的高頻分量和低頻分量，生成所述多幀Bayer圖像融合后的亮度分量。

在本發(fā)明的一些實施例中，基于前述方案，對所述多幀Bayer圖像的亮度分量對應(yīng)的高頻分量進行融合處理，包括：

采用區(qū)域標準差最大準則對所述多幀Bayer圖像的亮度分量對應(yīng)的高頻分量進行融合處理。

在本發(fā)明的一些實施例中，基于前述方案，對所述多幀Bayer圖像的亮度分量對應(yīng)的低頻分量進行融合處理，包括：

計算所述多幀Bayer圖像的亮度分量對應(yīng)的低頻分量的加權(quán)平均值，并將計算得到的加權(quán)平均值作為所述融合后的低頻分量。

在本發(fā)明的一些實施例中，基于前述方案，在計算所述多幀Bayer圖像的亮度分量對應(yīng)的低頻分量的加權(quán)平均值之前，對所述多幀Bayer圖像的亮度分量對應(yīng)的低頻分量進行直方圖均衡化處理。

在本發(fā)明的一些實施例中，基于前述方案，對所述每幀Bayer圖像的亮度分量進行分解的步驟，包括：對所述每幀Bayer圖像的亮度分量進行小波變換處理，以得到所述每幀Bayer圖像的亮度分量對應(yīng)的高頻分量和低頻分量；

基于所述融合后的高頻分量和低頻分量，生成所述多幀Bayer圖像融合后的亮度分量的步驟，包括：對所述融合后的高頻分量和低頻分量進行小波逆變換處理，以得到所述多幀Bayer圖像融合后的亮度分量。

在本發(fā)明的一些實施例中，基于前述方案，對所述多幀Bayer圖像的色度分量進行融合處理，包括：將所述多幀Bayer圖像的色度分量的最大值作為融合后的色度分量。

在本發(fā)明的一些實施例中，基于前述方案，根據(jù)所述融合后的亮度分量和色度分量，生成融合后的圖像的步驟，包括：

對所述融合后的亮度分量和色度分量進行合并處理，得到Y(jié)C_rC_b數(shù)據(jù)；

將所述YC_rC_b數(shù)據(jù)轉(zhuǎn)換為Bayer圖像；

根據(jù)轉(zhuǎn)換得到的Bayer圖像，生成RGB圖像。

根據(jù)本發(fā)明的另一方面，還一種基于Bayer格式的圖像融合裝置，包括：

獲取單元，用于獲取待融合的多幀Bayer圖像；

處理單元，用于分別提取所述多幀Bayer圖像中每幀Bayer圖像的亮度分量和色度分量；

融合單元，用于對所述多幀Bayer圖像的亮度分量和色度分量分別進行融合處理，得到所述多幀Bayer圖像融合后的亮度分量和色度分量；

生成單元，用于根據(jù)所述融合后的亮度分量和色度分量，生成融合后的圖像。

在本發(fā)明的一些實施例中，基于前述方案，所述處理單元配置為：

根據(jù)所述每幀Bayer圖像中的每個2×2的小塊內(nèi)的像素值，計算所述每個2×2的小塊對應(yīng)的亮度分量和色度分量；

根據(jù)所述每幀Bayer圖像中的所有2×2的小塊對應(yīng)的亮度分量和色度分量，計算所述多幀Bayer圖像融合后的亮度分量和色度分量。

在本發(fā)明的一些實施例中，基于前述方案，根據(jù)以下公式計算所述每個2×2的小塊對應(yīng)的亮度分量和色度分量：

其中，G^ul和G^lr分別表示所述每個2×2的小塊內(nèi)的兩個綠色像素的像素值；B表示所述每個2×2的小塊內(nèi)的藍色像素的像素值；R表示所述每個2×2的小塊內(nèi)的紅色像素的像素值；Y^ul和Y^lr分別表示與G^ul和G^lr相對應(yīng)的亮度分量；C_r和C_b分別表示所述每個2×2的小塊對應(yīng)的兩個色度分量。

在本發(fā)明的一些實施例中，基于前述方案，所述融合單元配置為：

對所述每幀Bayer圖像的亮度分量進行分解，得到所述每幀Bayer圖像的亮度分量對應(yīng)的高頻分量和低頻分量；

對所述多幀Bayer圖像的亮度分量對應(yīng)的高頻分量和低頻分量分別進行融合處理，得到融合后的高頻分量和低頻分量；

基于所述融合后的高頻分量和低頻分量，生成所述多幀Bayer圖像融合后的亮度分量。

在本發(fā)明的一些實施例中，基于前述方案，所述融合單元配置為：采用區(qū)域標準差最大準則對所述多幀Bayer圖像的亮度分量對應(yīng)的高頻分量進行融合處理。

在本發(fā)明的一些實施例中，基于前述方案，所述融合單元配置為：計算所述多幀Bayer圖像的亮度分量對應(yīng)的低頻分量的加權(quán)平均值，并將計算得到的加權(quán)平均值作為所述融合后的低頻分量。

在本發(fā)明的一些實施例中，基于前述方案，在計算所述多幀Bayer圖像的亮度分量對應(yīng)的低頻分量的加權(quán)平均值之前，對所述多幀Bayer圖像的亮度分量對應(yīng)的低頻分量進行直方圖均衡化處理。

在本發(fā)明的一些實施例中，基于前述方案，所述融合單元配置為：

對所述每幀Bayer圖像的亮度分量進行小波變換處理，以得到所述每幀Bayer圖像的亮度分量對應(yīng)的高頻分量和低頻分量；

對所述融合后的高頻分量和低頻分量進行小波逆變換處理，以得到所述多幀Bayer圖像融合后的亮度分量。

在本發(fā)明的一些實施例中，基于前述方案，所述融合單元配置為：將所述多幀Bayer圖像的色度分量的最大值作為融合后的色度分量。

在本發(fā)明的一些實施例中，基于前述方案，所述生成單元配置為：

對所述融合后的亮度分量和色度分量進行合并處理，得到Y(jié)C_rC_b數(shù)據(jù)；

將所述YC_rC_b數(shù)據(jù)轉(zhuǎn)換為Bayer圖像；

根據(jù)轉(zhuǎn)換得到的Bayer圖像，生成RGB圖像。

在本發(fā)明的一些實施例所提供的技術(shù)方案中，由于Bayer圖像的數(shù)據(jù)量是RGB圖像的數(shù)據(jù)量的1/3，因此通過直接對Bayer圖像進行處理，有效減少了圖像融合時的計算量，進而降低了對系統(tǒng)資源的消耗，提高了圖像融合算法的效率，滿足了實時性的要求。

在本發(fā)明的一些實施例所提供的技術(shù)方案中，通過在融合亮度分量對應(yīng)的低頻分量之前，利用直方圖均衡的方法對低頻分量進行處理，使得整體數(shù)據(jù)的分布更加均衡，清晰度更高，從而確保融合后的圖像更適合人眼特性。

應(yīng)當理解的是，以上的一般描述和后文的細節(jié)描述僅是示例性和解釋性的，并不能限制本發(fā)明。

附圖說明

此處的附圖被并入說明書中并構(gòu)成本說明書的一部分，示出了符合本發(fā)明的實施例，并與說明書一起用于解釋本發(fā)明的原理。顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。在附圖中：

圖1示意性示出了根據(jù)本發(fā)明的第一個實施例的基于Bayer格式的圖像融合方法的流程圖；

圖2示意性示出了根據(jù)本發(fā)明的實施例的對多幀Bayer圖像的亮度分量進行融合處理的流程圖；

圖3示意性示出了根據(jù)本發(fā)明的第二個實施例的基于Bayer格式的圖像融合方法的流程圖；

圖4示意性示出了Bayer格式圖像的結(jié)構(gòu)圖；

圖5示意性示出了RGB空間與YC_rC_b空間之間的轉(zhuǎn)換過程示意圖；

圖6示意性示出了根據(jù)本發(fā)明的實施例的基于Bayer格式的圖像融合裝置的框圖；

圖7示意性示出了根據(jù)本發(fā)明的實施例的圖像融合處理前后的對比效果示意圖。

具體實施方式

現(xiàn)在將參考附圖更全面地描述示例實施方式。然而，示例實施方式能夠以多種形式實施，且不應(yīng)被理解為限于在此闡述的范例；相反，提供這些實施方式使得本發(fā)明將更加全面和完整，并將示例實施方式的構(gòu)思全面地傳達給本領(lǐng)域的技術(shù)人員。

此外，所描述的特征、結(jié)構(gòu)或特性可以以任何合適的方式結(jié)合在一個或更多實施例中。在下面的描述中，提供許多具體細節(jié)從而給出對本發(fā)明的實施例的充分理解。然而，本領(lǐng)域技術(shù)人員將意識到，可以實踐本發(fā)明的技術(shù)方案而沒有特定細節(jié)中的一個或更多，或者可以采用其它的方法、組元、裝置、步驟等。在其它情況下，不詳細示出或描述公知方法、裝置、實現(xiàn)或者操作以避免模糊本發(fā)明的各方面。

附圖中所示的方框圖僅僅是功能實體，不一定必須與物理上獨立的實體相對應(yīng)。即，可以采用軟件形式來實現(xiàn)這些功能實體，或在一個或多個硬件模塊或集成電路中實現(xiàn)這些功能實體，或在不同網(wǎng)絡(luò)和/或處理器裝置和/或微控制器裝置中實現(xiàn)這些功能實體。

附圖中所示的流程圖僅是示例性說明，不是必須包括所有的內(nèi)容和操作/步驟，也不是必須按所描述的順序執(zhí)行。例如，有的操作/步驟還可以分解，而有的操作/步驟可以合并或部分合并，因此實際執(zhí)行的順序有可能根據(jù)實際情況改變。

圖1示意性示出了根據(jù)本發(fā)明的第一個實施例的基于Bayer格式的圖像融合方法的流程圖。

具體地，參照圖1，根據(jù)本發(fā)明的第一個實施例的基于Bayer格式的圖像融合方法包括以下步驟：

步驟S102，獲取待融合的多幀Bayer圖像；

步驟S104，分別提取所述多幀Bayer圖像中每幀Bayer圖像的亮度分量和色度分量；

步驟S106，對所述多幀Bayer圖像的亮度分量和色度分量分別進行融合處理，得到所述多幀Bayer圖像融合后的亮度分量和色度分量；

步驟S108，根據(jù)所述融合后的亮度分量和色度分量，生成融合后的圖像。

以下針對每個步驟進行詳細說明：

在步驟S102中，由于Bayer圖像的數(shù)據(jù)量是RGB圖像的數(shù)據(jù)量的1/3，因此通過直接對Bayer圖像進行處理，有效減少了圖像融合時的計算量，進而降低了對系統(tǒng)資源的消耗，提高了圖像融合算法的效率，滿足了實時性的要求。

在步驟S104中，根據(jù)本發(fā)明的示例性實施例，分別提取所述多幀Bayer圖像中每幀Bayer圖像的亮度分量和色度分量的步驟，包括：

根據(jù)所述每幀Bayer圖像中的每個2×2的小塊內(nèi)的像素值，計算所述每個2×2的小塊對應(yīng)的亮度分量和色度分量；

根據(jù)所述每幀Bayer圖像中的所有2×2的小塊對應(yīng)的亮度分量和色度分量，計算所述多幀Bayer圖像融合后的亮度分量和色度分量。

在本發(fā)明的一些實施例中，基于前述方案，根據(jù)以下公式計算所述每個2×2的小塊對應(yīng)的亮度分量和色度分量：

其中，G^ul和G^lr分別表示所述每個2×2的小塊內(nèi)的兩個綠色像素的像素值；B表示所述每個2×2的小塊內(nèi)的藍色像素的像素值；R表示所述每個2×2的小塊內(nèi)的紅色像素的像素值；Y^ul和Y^lr分別表示與G^ul和G^lr相對應(yīng)的亮度分量；C_r和C_b分別表示所述每個2×2的小塊對應(yīng)的兩個色度分量。

對于步驟S106，以下分別介紹如何對所述多幀Bayer圖像的亮度分量和色度分量進行融合處理：

一、多幀Bayer圖像的亮度分量的融合處理：

根據(jù)本發(fā)明的示例實施例，如圖2所示，對所述多幀Bayer圖像的亮度分量進行融合處理，包括：

步驟S202：對所述每幀Bayer圖像的亮度分量進行分解，得到所述每幀Bayer圖像的亮度分量對應(yīng)的高頻分量和低頻分量。

根據(jù)本發(fā)明的示例性實施例，步驟S202包括：對所述每幀Bayer圖像的亮度分量進行小波變換處理，以得到所述每幀Bayer圖像的亮度分量對應(yīng)的高頻分量和低頻分量。

步驟S204：對所述多幀Bayer圖像的亮度分量對應(yīng)的高頻分量和低頻分量分別進行融合處理，得到融合后的高頻分量和低頻分量。

步驟S206：基于所述融合后的高頻分量和低頻分量，生成所述多幀Bayer圖像融合后的亮度分量。

根據(jù)本發(fā)明的示例性實施例，步驟S206包括：對所述融合后的高頻分量和低頻分量進行小波逆變換處理，以得到所述多幀Bayer圖像融合后的亮度分量。

以下具體介紹步驟S204中對多幀Bayer圖像的亮度分量對應(yīng)的高頻分量和低頻分量分別進行融合處理的過程：

1、多幀Bayer圖像的亮度分量對應(yīng)的高頻分量的融合處理：

在本發(fā)明的一些實施例中，對所述多幀Bayer圖像的亮度分量對應(yīng)的高頻分量進行融合處理，包括：

采用區(qū)域標準差最大準則對所述多幀Bayer圖像的亮度分量對應(yīng)的高頻分量進行融合處理。

具體包括如下步驟：

(1)將多幀Bayer圖像的亮度分量對應(yīng)的高頻分量分別分成5×5的字塊。

需要說明的是：此處5×5的字塊僅為示例，也可以分為其它尺寸的字塊，如可以分為3×3的字塊或7×7的字塊。

(2)計算每個字塊的方差，局部區(qū)域標準差的計算公式如下：

其中，M、N表示局部區(qū)域內(nèi)的行數(shù)和列數(shù)；p_i,j表示當前局部區(qū)域內(nèi)的一個像素灰度值；為當前局部區(qū)域像素的灰度均值；STD表示局部區(qū)域標準差。

(3)融合多幀Bayer圖像的亮度分量對應(yīng)的高頻分量。

融合后的高頻分量的確定方法：根據(jù)上述步驟(2)的方法分別求取以當前像素為中心的局部區(qū)域標準差，選取局部區(qū)域標準差最大的圖像的高頻分量作為融合后的高頻分量。

2、多幀Bayer圖像的亮度分量對應(yīng)的低頻分量的融合處理：

在本發(fā)明的一些實施例中，對所述多幀Bayer圖像的亮度分量對應(yīng)的低頻分量進行融合處理，包括：

計算所述多幀Bayer圖像的亮度分量對應(yīng)的低頻分量的加權(quán)平均值，并將計算得到的加權(quán)平均值作為所述融合后的低頻分量。

需要說明的是，對多幀Bayer圖像的亮度分量對應(yīng)的低頻分量進行融合時還可以采用其它的方法，比如也可以將多幀Bayer圖像的亮度分量對應(yīng)的低頻分量的均值作為融合后的低頻分量。

根據(jù)本發(fā)明的示例性實施例，在計算所述多幀Bayer圖像的亮度分量對應(yīng)的低頻分量的加權(quán)平均值之前，對所述多幀Bayer圖像的亮度分量對應(yīng)的低頻分量進行直方圖均衡化處理。

需要說明的是，通過在融合亮度分量對應(yīng)的低頻分量之前，利用直方圖均衡的方法對低頻分量進行處理，使得整體數(shù)據(jù)的分布更加均衡，清晰度更高，從而確保融合后的圖像更適合人眼特性。

二、多幀Bayer圖像的色度分量的融合處理：

根據(jù)本發(fā)明的示例實施例，對所述多幀Bayer圖像的色度分量進行融合處理，包括：將所述多幀Bayer圖像的色度分量的最大值作為融合后的色度分量。

在步驟S108中，根據(jù)所述融合后的亮度分量和色度分量，生成融合后的圖像的步驟，包括：

對所述融合后的亮度分量和色度分量進行合并處理，得到Y(jié)C_rC_b數(shù)據(jù)；

將所述YC_rC_b數(shù)據(jù)轉(zhuǎn)換為Bayer圖像；

根據(jù)轉(zhuǎn)換得到的Bayer圖像，生成RGB圖像。

以下結(jié)合圖3，以對兩幀Bayer圖像進行融合為例，詳細說明根據(jù)本發(fā)明的實施例的圖像融合方案。

參照圖3，在獲取到兩幅Bayer圖像之后執(zhí)行步驟302a和步驟302b。其中，步驟302a和步驟302b可以是同時執(zhí)行的，也可以是依次執(zhí)行的。

在步驟302a和步驟302b中，以Bayer圖像2×2的塊為單位，依據(jù)人眼視覺YC_rC_b模型，分別提取兩幅待融合圖像的亮度分量Y和兩個色度分量C_r與C_b，得到兩個亮度圖像F_A與F_B，以及色度分量C_rA、C_rB、C_bA、C_bA。

參照圖4所示的Bayer圖像結(jié)構(gòu)，Bayer圖像中每個像素僅占有R、G、B中的一個通道的顏色值，R、B顏色通道的像素數(shù)為RGB圖像的1/4，因此直接對Bayer格式的圖像進行處理時，其硬件資源消耗可以減少為前者的1/3，可以極大地提高算法的運行速度。

在人眼視覺當中，人眼對綠色最敏感、其次是紅色，再者是藍色，YC_rC_b是符合人眼視覺特征的模型。參照圖4，Bayer原始圖像可以看作以2×2的塊為單位，由許多GB/RG小塊組成的集合。利用像素間的相似性，可以將每個2×2小塊中的R、G、B像素值通過轉(zhuǎn)換成YC_rC_b空間的亮度分量和色度分量，兩者之間的空間轉(zhuǎn)換過程如圖5所示，具體轉(zhuǎn)換公式如公式1所示：

在公式1中，G^ul和G^lr分別表示Bayer圖像中2×2小塊中左上角的G值和右下角的G值；Y^ul和Y^lr是分別與G^ul和G^lr相對應(yīng)的亮度分量；C_r和C_b為兩個色度分量；B和R分別為Bayer圖像中藍色像素值和紅色值像素。

利用公式1分別提取兩個Bayer圖像亮度分量和色度分量，得到的亮度圖像分別記為：F_A、F_B；色度圖像分別記為：C_rA、C_rB、C_bA、C_bA。

在步驟304中，對步驟302b中的兩個亮度圖像進行二維Mallat小波快速分解，得到三個高頻分量和一個低頻分量。

具體地，根據(jù)二維Mallat小波快速算法對步驟302b中的兩個亮度分量進行小波變換處理，其中，圖像第j次小波分解后生成三個高頻分量(i＝H,V,D，分別表示水平方向、垂直方向以及對角方向的高頻分量)和一個低頻分量C_j；m和n分別對應(yīng)于圖像的行和列；j表示小波分解尺度。Mallat小波分解公式為：

在公式2中，H_m，H_n為小波分解過程中的低通濾波器；G_m、G_n為小波分解過程中的高通濾波器。

由公式2進行小波分解，圖像F_A第j次小波分解后生成三個高頻分量低頻分量為C_j(F_C)；同樣的圖像F_B第j次小波分解后生成三個高頻分量低頻分量為C_j(F_B)。

小波逆變換即小波重構(gòu)公式為：

在公式3中，H^*、G^*分別為H、G的共軛轉(zhuǎn)置矩陣。

在步驟304得到高頻分量和低頻分量之后，采用不同的融合策略對兩幅圖像的亮度圖像的高頻分量和低頻分量進行融合。

具體地，在步驟306中，采用基于窗口融合規(guī)則和局部方差方法融合兩個亮度圖像的高頻分量，獲得融合后的新的高頻分量。

對于圖像F_A和F_B的高頻分量，基于窗口融合規(guī)則的如下所示：

如果滿足|α₁-α₂|＞T，那么取較大的高頻分量作為融合后的高頻分量，如公式4所示：

若不滿足|α₁-α₂|＞T，則融合后的高頻分量取兩幅圖像的加權(quán)平均值，如公式5所示：

在公式5中，α₁和α₂分別為兩個亮度圖像F_A和F_B的權(quán)系數(shù)，α₁和α₂的表達式如公式6和公式7所示。T為閾值(0＜T＜1)，在本發(fā)明的優(yōu)選實施例中，可以取0.07。

在公式6和公式7中，V(F_A,p)、V(F_B,p)分別表示亮度圖像F_A和F_B在p點處高頻系數(shù)的局部方差，如公式8和公式9所示：

在公式8和公式9中，Q的區(qū)域大小為3×3，像素點q屬于該區(qū)域；w(q)為加權(quán)系數(shù)，當點q離點p越近，權(quán)值越大，權(quán)值表達式如公式10所示；μ為該區(qū)域方差的均值。

由于傳統(tǒng)融合算法在處理高頻分量時一般采用取最大值法，當兩幅圖像的細節(jié)都很豐富是，就容易丟失其中一副圖像的細節(jié)信息。本發(fā)明實施例的技術(shù)方案中采用基于窗口融合規(guī)則和局部方差方法處理高頻分量，在高頻分量的融合中，給定閾值T后，若兩亮度圖像的高頻分量差異大于等于T，說明兩圖像細節(jié)差異較大，這時取小波系數(shù)更大值進行高頻分量融合；如果差異小于T，表明圖像細節(jié)都豐富，此時采用加權(quán)求和進行融合，圖像融合的過程中考慮了圖像某一區(qū)域內(nèi)的像素之間的相關(guān)性，突出了圖像局部特征和細節(jié)信息，這樣能獲得良好的融合效果。

需要說明的是，在步驟306中以窗口融合規(guī)則和局部方差方法實現(xiàn)了對高頻分量的融合，在本發(fā)明的其它實施例中，也可以采用區(qū)域標準差最大準則來融合高頻分量。

在步驟308中，采用直方圖均衡和加權(quán)平均的方法融合兩個亮度圖像的低頻分量，獲得融合后的新的低頻分量。

具體地，先通過直方圖均衡的方法使得低頻數(shù)據(jù)分布更加均衡，清晰度更高，從而使圖像更適合人眼特性，在采用加權(quán)平均融合規(guī)則進行融合，融合后的新的低頻分量為C_j(F_C)。

在步驟310中，基于步驟306和步驟308獲得的融合后的高頻分量和低頻分量，采用小波逆變換重構(gòu)得到融合后的新的亮度分量。

具體地，利用公式3對步驟306和步驟308獲得的新的高頻分量和低頻分量進行小波逆變換，得到新的亮度分量Y_C。

在步驟S312中，采用取較大值的方法融合處理兩圖像的色度分量。

在成像系統(tǒng)中，假設(shè)所有像素點均得到適度的曝光，使其顏色最為鮮艷，此時色度分量應(yīng)該接近其最大值。因此在融合亮度分量之后，對色度分量C_rA、C_rB、C_bA、C_bA，分別取最大值的方法作為色度分量的融合色度分量，具體參照公式11和公式12所示：

C_rC＝max(C_rA,C_rB) (公式11)

C_bC＝max(C_bA,C_bB) (公式12)

在公式11和公式12中，C_rC、C_bC為融合后的兩個色度分量。

在步驟314中，合并步驟310和步驟312中得到的亮度分量Y_C和色度分量C_rC、C_bC，再將YC_rC_b數(shù)據(jù)轉(zhuǎn)換成Bayer圖像數(shù)據(jù)。

其中，將寬動態(tài)的YC_rC_b空間的數(shù)據(jù)轉(zhuǎn)換成寬動態(tài)的Bayer格式數(shù)據(jù)的公式如公式13所示：

在公式13中，G^ul和G^lr分別表示Bayer圖像中2×2小塊中左上角的G值和右下角的G值；Y^ul和Y^lr是分別與G^ul和G^lr相對應(yīng)的亮度分量；C_r和C_b為兩個色度分量；B和R分別為Bayer圖像中藍色像素值和紅色值像素。

在步驟318中，采用去馬賽克算法將Bayer圖像恢復(fù)成真彩色的RGB圖像。

圖6示意性示出了根據(jù)本發(fā)明的實施例的基于Bayer格式的圖像融合裝置的框圖。

參照圖6，根據(jù)本發(fā)明的實施例的基于Bayer格式的圖像融合裝置600，包括：獲取單元602、處理單元604、融合單元606和生成單元608。

具體地，獲取單元602用于獲取待融合的多幀Bayer圖像；處理單元604用于分別提取所述多幀Bayer圖像中每幀Bayer圖像的亮度分量和色度分量；融合單元606用于對所述多幀Bayer圖像的亮度分量和色度分量分別進行融合處理，得到所述多幀Bayer圖像融合后的亮度分量和色度分量；生成單元608用于根據(jù)所述融合后的亮度分量和色度分量，生成融合后的圖像。

在本發(fā)明的一些實施例中，基于前述方案，所述處理單元604配置為：

根據(jù)所述每幀Bayer圖像中的每個2×2的小塊內(nèi)的像素值，計算所述每個2×2的小塊對應(yīng)的亮度分量和色度分量；

根據(jù)所述每幀Bayer圖像中的所有2×2的小塊對應(yīng)的亮度分量和色度分量，計算所述多幀Bayer圖像融合后的亮度分量和色度分量。

在本發(fā)明的一些實施例中，基于前述方案，根據(jù)以下公式計算所述每個2×2的小塊對應(yīng)的亮度分量和色度分量：

其中，G^ul和G^lr分別表示所述每個2×2的小塊內(nèi)的兩個綠色像素的像素值；B表示所述每個2×2的小塊內(nèi)的藍色像素的像素值；R表示所述每個2×2的小塊內(nèi)的紅色像素的像素值；Y^ul和Y^lr分別表示與G^ul和G^lr相對應(yīng)的亮度分量；C_r和C_b分別表示所述每個2×2的小塊對應(yīng)的兩個色度分量。

在本發(fā)明的一些實施例中，基于前述方案，所述融合單元606配置為：

對所述每幀Bayer圖像的亮度分量進行分解，得到所述每幀Bayer圖像的亮度分量對應(yīng)的高頻分量和低頻分量；

對所述多幀Bayer圖像的亮度分量對應(yīng)的高頻分量和低頻分量分別進行融合處理，得到融合后的高頻分量和低頻分量；

基于所述融合后的高頻分量和低頻分量，生成所述多幀Bayer圖像融合后的亮度分量。

在本發(fā)明的一些實施例中，基于前述方案，所述融合單元606配置為：采用區(qū)域標準差最大準則對所述多幀Bayer圖像的亮度分量對應(yīng)的高頻分量進行融合處理。

在本發(fā)明的一些實施例中，基于前述方案，所述融合單元606配置為：計算所述多幀Bayer圖像的亮度分量對應(yīng)的低頻分量的加權(quán)平均值，并將計算得到的加權(quán)平均值作為所述融合后的低頻分量。

在本發(fā)明的一些實施例中，基于前述方案，在計算所述多幀Bayer圖像的亮度分量對應(yīng)的低頻分量的加權(quán)平均值之前，對所述多幀Bayer圖像的亮度分量對應(yīng)的低頻分量進行直方圖均衡化處理。

在本發(fā)明的一些實施例中，基于前述方案，所述融合單元606配置為：

對所述每幀Bayer圖像的亮度分量進行小波變換處理，以得到所述每幀Bayer圖像的亮度分量對應(yīng)的高頻分量和低頻分量；

對所述融合后的高頻分量和低頻分量進行小波逆變換處理，以得到所述多幀Bayer圖像融合后的亮度分量。

在本發(fā)明的一些實施例中，基于前述方案，所述融合單元606配置為：將所述多幀Bayer圖像的色度分量的最大值作為融合后的色度分量。

在本發(fā)明的一些實施例中，基于前述方案，所述生成單元608配置為：

對所述融合后的亮度分量和色度分量進行合并處理，得到Y(jié)C_rC_b數(shù)據(jù)；

將所述YC_rC_b數(shù)據(jù)轉(zhuǎn)換為Bayer圖像；

根據(jù)轉(zhuǎn)換得到的Bayer圖像，生成RGB圖像。

如圖7所示，圖(a)和圖(b)分別為處理前的兩幅相同場景但分辨率不同的圖像，圖(c)為通過本發(fā)明實施例的算法處理后的效果圖。可見，經(jīng)過本發(fā)明實施例的算法處理后的圖像吸收了兩幅原始圖像各自的特點，融合后的圖像的局部特征和細節(jié)信息更加突出，清晰度更高。同時，由于本發(fā)明實施例的算法直接處理Bayer圖像信息，節(jié)省了系統(tǒng)資源，算法運行速度更快，能滿足實時性要求。

應(yīng)當注意，盡管在上文詳細描述中提及了用于動作執(zhí)行的設(shè)備的若干模塊或者單元，但是這種劃分并非強制性的。實際上，根據(jù)本發(fā)明的實施方式，上文描述的兩個或更多模塊或者單元的特征和功能可以在一個模塊或者單元中具體化。反之，上文描述的一個模塊或者單元的特征和功能可以進一步劃分為由多個模塊或者單元來具體化。

通過以上的實施方式的描述，本領(lǐng)域的技術(shù)人員易于理解，這里描述的示例實施方式可以通過軟件實現(xiàn)，也可以通過軟件結(jié)合必要的硬件的方式來實現(xiàn)。因此，根據(jù)本發(fā)明實施方式的技術(shù)方案可以以軟件產(chǎn)品的形式體現(xiàn)出來，該軟件產(chǎn)品可以存儲在一個非易失性存儲介質(zhì)(可以是CD-ROM，U盤，移動硬盤等)中或網(wǎng)絡(luò)上，包括若干指令以使得一臺計算設(shè)備(可以是個人計算機、服務(wù)器、觸控終端、或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行根據(jù)本發(fā)明實施方式的方法。

本領(lǐng)域技術(shù)人員在考慮說明書及實踐這里公開的發(fā)明后，將容易想到本發(fā)明的其它實施方案。本申請旨在涵蓋本發(fā)明的任何變型、用途或者適應(yīng)性變化，這些變型、用途或者適應(yīng)性變化遵循本發(fā)明的一般性原理并包括本發(fā)明未公開的本技術(shù)領(lǐng)域中的公知常識或慣用技術(shù)手段。說明書和實施例僅被視為示例性的，本發(fā)明的真正范圍和精神由下面的權(quán)利要求指出。

應(yīng)當理解的是，本發(fā)明并不局限于上面已經(jīng)描述并在附圖中示出的精確結(jié)構(gòu)，并且可以在不脫離其范圍進行各種修改和改變。本發(fā)明的范圍僅由所附的權(quán)利要求來限制。