本發(fā)明涉及圖像處理技術領域，具體而言，涉及一種基于Bayer格式的圖像融合方法及圖像融合裝置。

背景技術：

隨著計算機技術和多媒體技術的發(fā)展，數(shù)字視頻在視頻監(jiān)控、視頻會議系統(tǒng)等領域獲得了廣泛應用。視頻圖像的獲取經(jīng)常受到環(huán)境光照條件的影響，如環(huán)境光照度較低或逆光等情況下會導致曝光不當，造成視頻圖像對比度低，細節(jié)信息丟失嚴重或是顏色不自然等問題。因此，需要采用視頻圖像增強技術來改善和提升低照度圖像質量，而基于融合方法的圖像增強技術是目前比較流行的一種增強技術，具體地，圖像融合方法利用多幀圖像的綜合信息，彌補了單幀低照度圖像信息量不足的問題，達到了圖像增強的目的。

圖像融合通常分3個層次：像素級、特征級和決策級。像素級融合最大優(yōu)點是能保持盡可能多的現(xiàn)場數(shù)據(jù)，提供其他融合層次所不能提供的細微信息，但是計算量大，冗余度高，實時性差；特征級融合方式損失了一部分信息，屬于中間級的融合；決策級融合與像素級融合相比，處理的數(shù)據(jù)量大為減少，但是這種融合方式損失信息量最大。目前大多數(shù)圖像融合算法的自適應性差，算法的實時性有待提高。

因此需要一種新的圖像融合方案來實現(xiàn)圖像增強的效果。

需要說明的是，在上述背景技術部分公開的信息僅用于加強對本發(fā)明的背景的理解，因此可以包括不構成對本領域普通技術人員已知的現(xiàn)有技術的信息。

技術實現(xiàn)要素：

本發(fā)明的目的在于提供一種基于Bayer格式的圖像融合方法及圖像融合裝置，進而至少在一定程度上克服由于相關技術的限制和缺陷而導致的一個或者多個問題。

本發(fā)明的其他特性和優(yōu)點將通過下面的詳細描述變得顯然，或部分地通過本發(fā)明的實踐而習得。

根據(jù)本發(fā)明的一個方面，提供一種基于Bayer格式的圖像融合方法，包括：

獲取待融合的多幀Bayer圖像；

對所述多幀Bayer圖像中的每幀Bayer圖像進行處理，以得到所述每幀Bayer圖像的基本層和細節(jié)層；

對所述多幀Bayer圖像的基本層和細節(jié)層分別進行融合處理，得到融合后的基本層和細節(jié)層；

根據(jù)所述融合后的基本層和細節(jié)層，生成融合后的圖像。

在本發(fā)明的一種示例性實施例中，對所述多幀Bayer圖像中的每幀Bayer圖像進行處理的步驟，包括：

計算所述每幀Bayer圖像對應的完整的指定顏色分量；

以所述每幀Bayer圖像對應的完整的指定顏色分量為導向，對所述每幀Bayer圖像進行導向濾波處理。

在本發(fā)明的一種示例性實施例中，在所述指定顏色分量為綠色分量的情況下，計算所述每幀Bayer圖像對應的完整的綠色分量，包括：

基于顏色插值法恢復所述每幀Bayer圖像中的藍色像元對應的綠色分量和紅色像元對應的綠色分量；

根據(jù)所述每幀Bayer圖像中的藍色像元對應的綠色分量和紅色像元對應的綠色分量，以及所述每幀Bayer圖像中的綠色像元，生成所述每幀Bayer圖像對應的完整的綠色分量。

在本發(fā)明的一種示例性實施例中，對所述多幀Bayer圖像中的每幀Bayer圖像進行處理，以得到所述每幀Bayer圖像的基本層和細節(jié)層的步驟，包括：

對所述每幀Bayer圖像進行處理，得到所述每幀Bayer圖像的基本層；

根據(jù)所述每幀Bayer圖像和所述每幀Bayer圖像的基本層，計算所述每幀Bayer圖像的細節(jié)層。

在本發(fā)明的一種示例性實施例中，對所述多幀Bayer圖像的基本層和細節(jié)層分別進行融合處理的步驟，包括：

計算所述多幀Bayer圖像的基本層的均值；

將所述多幀Bayer圖像的基本層的均值作為所述多幀Bayer圖像融合后的基本層。

在本發(fā)明的一種示例性實施例中，對所述多幀Bayer圖像的基本層和細節(jié)層分別進行融合處理的步驟，包括：

采用區(qū)域標準差最大準則對所述多幀Bayer圖像的細節(jié)層進行融合處理。

在本發(fā)明的一種示例性實施例中，采用區(qū)域標準差最大準則對所述多幀Bayer圖像的細節(jié)層進行融合的步驟，包括：

針對所述多幀Bayer圖像的細節(jié)層中任一相同位置處的像素，分別計算所述每幀Bayer圖像中以所述任一相同位置處的像素為中心的局部區(qū)域標準差；

確定所述多幀Bayer圖像的細節(jié)層中以所述任一相同位置處的像素為中心的局域區(qū)域標準差最大的目標細節(jié)層；

將所述目標細節(jié)層中位于所述任一相同位置處的像素的值作為所述多幀Bayer圖像融合后的細節(jié)層中對應位置處的像素值。

在本發(fā)明的一種示例性實施例中，在對所述多幀Bayer圖像的基本層進行融合處理之后，以及在生成所述融合后的圖像之前，還包括：

對所述融合后的基本層進行Gamma變換處理。

在本發(fā)明的一種示例性實施例中，基于以下公式對所述融合后的基本層進行Gamma變換處理：

B'(f_c)＝255(B(f_c)/255)^γ

其中，B(f_c)表示所述融合后的基本層，B'(f_c)表示經(jīng)過Gamma變換后的基本層，γ表示Gamma變換的自適應系數(shù)，所述γ的值與所述融合后的基本層中的像素點在圖像坐標系中的梯度矢量值成反相關關系。

根據(jù)本發(fā)明的另一方面，提供了一種基于Bayer格式的圖像融合裝置，包括：

獲取單元，用于獲取待融合的多幀Bayer圖像；

處理單元，用于對所述多幀Bayer圖像中的每幀Bayer圖像進行處理，以得到所述每幀Bayer圖像的基本層和細節(jié)層；

融合單元，用于對所述多幀Bayer圖像的基本層和細節(jié)層分別進行融合處理，得到融合后的基本層和細節(jié)層；

生成單元，用于根據(jù)所述融合后的基本層和細節(jié)層，生成融合后的圖像。

在本發(fā)明的一種示例性實施例中，所述處理單元包括：

計算單元，用于計算所述每幀Bayer圖像對應的完整的指定顏色分量；

濾波單元，用于以所述每幀Bayer圖像對應的完整的指定顏色分量為導向，對所述每幀Bayer圖像進行導向濾波處理。

在本發(fā)明的一種示例性實施例中，在所述指定顏色分量為綠色分量的情況下，所述計算單元配置為：

基于顏色插值法恢復所述每幀Bayer圖像中的藍色像元對應的綠色分量和紅色像元對應的綠色分量，并根據(jù)所述每幀Bayer圖像中的藍色像元對應的綠色分量和紅色像元對應的綠色分量，以及所述每幀Bayer圖像中的綠色像元，生成所述每幀Bayer圖像對應的完整的綠色分量。

在本發(fā)明的一種示例性實施例中，所述處理單元配置為：對所述每幀Bayer圖像進行處理，得到所述每幀Bayer圖像的基本層，并根據(jù)所述每幀Bayer圖像和所述每幀Bayer圖像的基本層，計算所述每幀Bayer圖像的細節(jié)層。

在本發(fā)明的一種示例性實施例中，所述融合單元配置為：

計算所述多幀Bayer圖像的基本層的均值，將所述多幀Bayer圖像的基本層的均值作為所述多幀Bayer圖像融合后的基本層。

在本發(fā)明的一種示例性實施例中，所述融合單元配置為：

采用區(qū)域標準差最大準則對所述多幀Bayer圖像的細節(jié)層進行融合處理。

在本發(fā)明的一種示例性實施例中，所述融合單元采用區(qū)域標準差最大準則對所述多幀Bayer圖像的細節(jié)層進行融合的操作，包括：

針對所述多幀Bayer圖像的細節(jié)層中任一相同位置處的像素，分別計算所述每幀Bayer圖像中以所述任一相同位置處的像素為中心的局部區(qū)域標準差；

確定所述多幀Bayer圖像的細節(jié)層中以所述任一相同位置處的像素為中心的局域區(qū)域標準差最大的目標細節(jié)層；

將所述目標細節(jié)層中位于所述任一相同位置處的像素的值作為所述多幀Bayer圖像融合后的細節(jié)層中對應位置處的像素值。

在本發(fā)明的一種示例性實施例中，所述融合單元被配置為：在對所述多幀Bayer圖像的基本層進行融合處理之后，對所述融合后的基本層進行Gamma變換處理。

在本發(fā)明的一種示例性實施例中，基于以下公式對所述融合后的基本層進行Gamma變換處理：

B'(f_c)＝255(B(f_c)/255)^γ

其中，B(f_c)表示所述融合后的基本層，B'(f_c)表示經(jīng)過Gamma變換后的基本層，γ表示Gamma變換的自適應系數(shù)，所述γ的值與所述融合后的基本層中的像素點在圖像坐標系中的梯度矢量值成反相關關系。

在本發(fā)明的一些實施例所提供的技術方案中，由于Bayer圖像的數(shù)據(jù)量是RGB圖像的數(shù)據(jù)量的1/3，因此通過直接對Bayer圖像進行處理，有效減少了圖像融合時的計算量，進而降低了對系統(tǒng)資源的消耗，提高了圖像融合算法的效率，有利于進行嵌入式開發(fā)。

在本發(fā)明的一些實施例所提供的技術方案中，由于Bayer圖像中的綠色分量為藍色分量和紅色分量的總和，綠色分量居多，而且綠色分量具有更高的信噪比，因此可以通過以每幀Bayer圖像對應的完整的綠色分量為導向來對每幀Bayer圖像進行導向濾波處理。

同時，在本發(fā)明的一些實施例所提供的技術方案中，通過對融合后的基本層進行Gamma變換處理，使得能夠提升圖像的亮度和對比度。而通過使Gamma變化的自適應系數(shù)與融合后的基本層中的像素點在圖像坐標系中的梯度矢量值成反相關關系，使得Gamma變化的自適應系數(shù)能夠根據(jù)圖像中的內(nèi)容進行自適應改變，解決了使用固定的自適應系數(shù)而導致圖像的亮調區(qū)域丟失細節(jié)的問題。

應當理解的是，以上的一般描述和后文的細節(jié)描述僅是示例性和解釋性的，并不能限制本發(fā)明。

附圖說明

此處的附圖被并入說明書中并構成本說明書的一部分，示出了符合本發(fā)明的實施例，并與說明書一起用于解釋本發(fā)明的原理。顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領域普通技術人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。在附圖中：

圖1示意性示出了根據(jù)本發(fā)明的第一個實施例的基于Bayer格式的圖像融合方法的流程圖；

圖2示意性示出了根據(jù)本發(fā)明的第二個實施例的基于Bayer格式的圖像融合方法的總體流程圖；

圖3示意性示出了圖2中所示的基于Bayer格式的圖像融合方法的具體流程圖；

圖4示意性示出了Bayer格式圖像的結構圖；

圖5示意性示出了根據(jù)本發(fā)明的實施例的基于Bayer格式的圖像融合裝置的框圖；

圖6A示意性示出了根據(jù)本發(fā)明的第一個實施例的圖像融合處理前后的對比效果示意圖；

圖6B示意性示出了根據(jù)本發(fā)明的第二個實施例的圖像融合處理前后的對比效果示意圖；

圖6C示意性示出了根據(jù)本發(fā)明的第三個實施例的圖像融合處理前后的對比效果示意圖。

具體實施方式

現(xiàn)在將參考附圖更全面地描述示例實施方式。然而，示例實施方式能夠以多種形式實施，且不應被理解為限于在此闡述的范例；相反，提供這些實施方式使得本發(fā)明將更加全面和完整，并將示例實施方式的構思全面地傳達給本領域的技術人員。

此外，所描述的特征、結構或特性可以以任何合適的方式結合在一個或更多實施例中。在下面的描述中，提供許多具體細節(jié)從而給出對本發(fā)明的實施例的充分理解。然而，本領域技術人員將意識到，可以實踐本發(fā)明的技術方案而沒有特定細節(jié)中的一個或更多，或者可以采用其它的方法、組元、裝置、步驟等。在其它情況下，不詳細示出或描述公知方法、裝置、實現(xiàn)或者操作以避免模糊本發(fā)明的各方面。

附圖中所示的方框圖僅僅是功能實體，不一定必須與物理上獨立的實體相對應。即，可以采用軟件形式來實現(xiàn)這些功能實體，或在一個或多個硬件模塊或集成電路中實現(xiàn)這些功能實體，或在不同網(wǎng)絡和/或處理器裝置和/或微控制器裝置中實現(xiàn)這些功能實體。

附圖中所示的流程圖僅是示例性說明，不是必須包括所有的內(nèi)容和操作/步驟，也不是必須按所描述的順序執(zhí)行。例如，有的操作/步驟還可以分解，而有的操作/步驟可以合并或部分合并，因此實際執(zhí)行的順序有可能根據(jù)實際情況改變。

圖1示意性示出了根據(jù)本發(fā)明的第一個實施例的基于Bayer格式的圖像融合方法的流程圖。

具體地，參照圖1，根據(jù)本發(fā)明的第一個實施例的基于Bayer格式的圖像融合方法包括以下步驟：

步驟S102，獲取待融合的多幀Bayer圖像；

步驟S104，對所述多幀Bayer圖像中的每幀Bayer圖像進行處理，以得到所述每幀Bayer圖像的基本層和細節(jié)層；

步驟S106，對所述多幀Bayer圖像的基本層和細節(jié)層分別進行融合處理，得到融合后的基本層和細節(jié)層；

步驟S108，根據(jù)所述融合后的基本層和細節(jié)層，生成融合后的圖像。

以下針對每個步驟進行詳細說明：

在步驟S102中，需要說明的是：由于Bayer圖像的數(shù)據(jù)量是RGB圖像的數(shù)據(jù)量的1/3，因此通過直接獲取待融合的Bayer圖像，以直接對Bayer圖像進行處理，可以有效減少圖像融合時的計算量，進而能夠降低對系統(tǒng)資源的消耗，提高了圖像融合算法的效率，有利于進行嵌入式開發(fā)。

對于步驟S104，根據(jù)本發(fā)明的示例性實施例，對所述多幀Bayer圖像中的每幀Bayer圖像進行處理的步驟具體包括：

計算所述每幀Bayer圖像對應的完整的指定顏色分量；

以所述每幀Bayer圖像對應的完整的指定顏色分量為導向，對所述每幀Bayer圖像進行導向濾波處理。

需要說明的是：當對Bayer圖像進行導向濾波處理之后，可以得到該Bayer圖像的基本層，然后將Bayer圖像與其基本層做差運算，得到Bayer圖像的細節(jié)層。此外，在本發(fā)明的其它實施例中，也可以通過其它處理方式對Bayer圖像進行處理，以得到Bayer圖像的基本層。

Bayer圖像中包含紅色像元、綠色像元和藍色像元，在計算每幀Bayer圖像對應的完整的指定顏色分量時，該指定顏色分量可以是紅色像元、綠色像元和藍色像元中的任一。優(yōu)選地，由于Bayer圖像中的綠色分量為藍色分量和紅色分量的總和，綠色分量居多，而且綠色分量具有更高的信噪比，因此可以以綠色分量為導向進行導向濾波處理。

根據(jù)本發(fā)明的示例實施例，當所述的指定顏色分量為綠色分量時，計算所述每幀Bayer圖像對應的完整的綠色分量包括：

基于顏色插值法恢復所述每幀Bayer圖像中的藍色像元對應的綠色分量和紅色像元對應的綠色分量；

根據(jù)所述每幀Bayer圖像中的藍色像元對應的綠色分量和紅色像元對應的綠色分量，以及所述每幀Bayer圖像中的綠色像元，生成所述每幀Bayer圖像對應的完整的綠色分量。

對于步驟S106，以下分別介紹如何分別對多幀Bayer圖像的基本層和細節(jié)層進行融合處理：

根據(jù)本發(fā)明的示例實施例，對所述多幀Bayer圖像的基本層進行融合處理，具體包括：

計算所述多幀Bayer圖像的基本層的均值；

將所述多幀Bayer圖像的基本層的均值作為所述多幀Bayer圖像融合后的基本層。

需要說明的是：在計算多幀Bayer圖像融合后的基本層時，并不僅限于計算多幀Bayer圖像的基本層的均值，比如還可以將多幀Bayer圖像的基本層的加權平均值作為多幀Bayer圖像融合后的基本層。

根據(jù)本發(fā)明的示例實施例，在對所述多幀Bayer圖像的基本層進行融合處理之后，以及在生成所述融合后的圖像之前，還包括：對所述融合后的基本層進行Gamma變換處理。

根據(jù)本發(fā)明的示例實施例，基于以下公式對所述融合后的基本層進行Gamma變換處理：

B'(f_c)＝255(B(f_c)/255)^γ

其中，B(f_c)表示所述融合后的基本層，B'(f_c)表示經(jīng)過Gamma變換后的基本層，γ表示Gamma變換的自適應系數(shù)，所述γ的值與所述融合后的基本層中的像素點在圖像坐標系中的梯度矢量值成反相關關系。

需要說明的是：通過對融合后的基本層進行Gamma變換處理，使得能夠提升圖像的亮度和對比度。而通過使Gamma變化的自適應系數(shù)與融合后的基本層中的像素點在圖像坐標系中的梯度矢量值成反相關關系，使得Gamma變化的自適應系數(shù)能夠根據(jù)圖像中的內(nèi)容進行自適應改變，解決了使用固定的自適應系數(shù)而導致圖像的亮調區(qū)域丟失細節(jié)的問題。

根據(jù)本發(fā)明的示例實施例，對所述多幀Bayer圖像的細節(jié)層進行融合處理，具體包括：采用區(qū)域標準差最大準則對所述多幀Bayer圖像的細節(jié)層進行融合處理。

需要說明的是：在計算多幀Bayer圖像融合后的細節(jié)層時，并不僅限于區(qū)域標準差最大的準則，比如還可以將多幀Bayer圖像的細節(jié)層的加權平均值作為多幀Bayer圖像融合后的細節(jié)層。

根據(jù)本發(fā)明的示例實施例，采用區(qū)域標準差最大準則對所述多幀Bayer圖像的細節(jié)層進行融合的步驟，具體包括：

針對所述多幀Bayer圖像的細節(jié)層中任一相同位置處的像素，分別計算所述每幀Bayer圖像中以所述任一相同位置處的像素為中心的局部區(qū)域標準差；

確定所述多幀Bayer圖像的細節(jié)層中以所述任一相同位置處的像素為中心的局域區(qū)域標準差最大的目標細節(jié)層；

將所述目標細節(jié)層中位于所述任一相同位置處的像素的值作為所述多幀Bayer圖像融合后的細節(jié)層中對應位置處的像素值。

在步驟S108中，可以直接將融合后基本層和細節(jié)層做和運行，以生成融合后的圖像。

以下結合圖2和圖3，以對四幀Bayer圖像進行融合為例，詳細說明根據(jù)本發(fā)明的實施例的圖像融合方案。

參照圖2，通過傳感器進行圖像采集，采集到四幀圖像，即圖像1、圖像2、圖像3和圖像4，其中，這四幀圖像都是Bayer格式的圖像。對這四幀圖像分別進行導向濾波處理，得到每幀圖像的基本層和細節(jié)層，然后基于均值法融合四幀圖像的基本層，并對融合后的基本層進行Gamma變換，并基于局部標準差最大準則融合四幀圖像的細節(jié)層，最后將融合后的基本層和細節(jié)層進行合并得到融合后的圖像。

以下結合圖3詳細說明圖2中所示的圖像融合方案：

參照圖3：

在步驟S30中，對四幀待融合的Bayer圖像進行以綠色分量為導向的導向濾波，得到每幀Bayer圖像的基本層和細節(jié)層。

步驟S30具體包括：

(1)求得每幀Bayer圖像的完整的綠色分量。

具體地，利用插值方法恢復Bayer圖像中藍色像元對應的綠色分量G_b(i,j)和紅色像元對應的綠色分量G_r(i,j)。

參照圖4中所示的Bayer圖像的結構，以圖4中像素點R₃₂為例，假設Δ_h和Δ_v分別為該像素點在水平方向和垂直方向的梯度，則有：

進而計算像素點R₃₂的G_r(3,2)分量的公式為：

公式2表明：如果Δ_h＞Δ_v，即若水平方向有邊緣的概率大于垂直方向，則顏色插值在垂直方向進行；如果Δ_h＜Δ_v，即若垂直方向有邊緣的概率大于水平方向，則顏色插值在垂直方向進行；如果Δ_h＝Δ_v，即若該像素點處在平滑區(qū)域，則在兩個方向都進行插值。

由于Bayer圖像中紅色像元的排列方式與藍色像元的排列方式類似，G_b(i,j)的求解方法與公式2相同。顏色插值之后得到了完整的綠色圖像G_a。

(2)采用以綠色圖像G_a為導向的導向濾波對每幀Bayer圖像進行導向濾波處理。

具體地，在Bayer圖像中，根據(jù)導向濾波原理，在像素點m處的中心鄰域ω(m)內(nèi)，濾波后的圖像f'(m)為完整綠色圖像G_a的線a_k性組合，即：

其中，f'(m)為像素點m處濾波后的像素值，G_a(m)為像素點m處的像素值，a_k、b_k為線性組合的兩個系數(shù)。

公式4擬合了導向濾波前的圖像像素值f(m)和導向濾波后的圖像像素值f'(m)之間的最小距離：

在公式4中，ε是導向濾波的一個可調函數(shù)，需要根據(jù)實際情況進行取值。

采用最小二乘法求解公式4，得到系數(shù)：

在公式5中，μ_k、為完整綠色圖像在鄰域ω(m)內(nèi)的均值和方差，|ω|為鄰域內(nèi)像素的個數(shù)，為濾波前原始圖像f(m)在鄰域ω(m)內(nèi)的均值。

在得到上述公式之后，利用公式3和5分別對每幀Bayer圖像進行導向濾波處理。通過導向濾波操作，實現(xiàn)了圖像高頻、低頻成分的分離?；緦訉趫D像的低頻成分，細節(jié)層對應于圖像的高頻成分。

(3)在通過上述的導向濾波方案對圖像進行平滑處理之后，得到每幀Bayer圖像的基本層B，如公式6所示。再將原圖f與基本層B做差運算，得到每幀Bayer圖像的細節(jié)層D，如公式7所示。

B＝GIF(G_a,f) (公式6)

D＝f-B (公式7)

其中，G_a為完整的綠色圖像；f為濾波前的原始圖像；GIF(G_a,f)為導向濾波過程。假設利用導向濾波求得四幀圖像f₁、f₂、f₃、f₄的基本層分別為B(f₁)、B(f₂)、B(f₃)、B(f₄)，細節(jié)層分別為D(f₁)、D(f₂)、D(f₃)、D(f₄)。

需要說明的是：由于Bayer圖像中的綠色分量為藍色分量和紅色分量的總和，綠色分量居多，而且綠色分量具有更高的信噪比，因此為了能夠得到較為精準的基本層和細節(jié)層，在本發(fā)明的示例實施例中，以綠色分量為導向進行導向濾波處理。而在本發(fā)明的其它實施例中，也可以以紅色分量或藍色分量為導向進行導向濾波處理。

在步驟S32中，采用求取平均值的融合規(guī)則融合四幀Bayer圖像的基本層，再對融合后的基本層進行自適應Gamma變換，調整圖像的亮度和對比度。

步驟S32具體包括：

(1)求取基本層B(f₁)、B(f₂)、B(f₃)、B(f₄)的均值來融合四幀圖像的基本層，得到融合后的基本層為B(f_c)。

需要說明的是：也可以求取基本層B(f₁)、B(f₂)、B(f₃)、B(f₄)的加權均值來融合四幀圖像的基本層。

(2)由于圖像的基本層中包括了總體形狀、特征輪廓、對比度等特征，因此為了調整圖像的對比度和亮度，利用自適應Gamma變換處理融合后的基本層B(f_c)，以提升低照度圖像基本層的對比度和亮度。其中，自適應Gamma變換的公式為：

B'(f_c)＝255(B(f_c)/255)^γ (公式8)

在公式8中，B'(f_c)為自適應Gamma變換后的基本層；γ為自適應系數(shù)。若γ設定為一個固定值，雖然能有效提升圖像亮度和對比度，但是由于γ不能根據(jù)圖像的內(nèi)容自適應改變，則會出現(xiàn)圖像的亮調區(qū)域丟失細節(jié)的現(xiàn)象。因此，根據(jù)本發(fā)明的示例實施例，可以采用基于梯度信息的自適應γ值，即利用x、y方向的梯度矢量，根據(jù)梯度信息自適應地計算出圖像對比度增強幅度，公式如下：

式中，x、y為像素點的位置，B表示基本層。其中，可以以圖像的左上角為原點，橫軸為x方向，縱軸為y方向建立坐標系來確定像素點的位置。

在利用公式9計算出所有像素點的γ值之后，再將γ歸一化到[0,1]。當梯度值較大時，γ值較小，對圖像的對比度的提升程度大。為了進一步提升圖像的對比度，用一指數(shù)因子e控制γ，即γ＝γ^e，根據(jù)本發(fā)明的示例實施例，e可以取1.3。

在步驟S34中，采用區(qū)域標準差最大準則融合四幀Bayer圖像的細節(jié)層。

由于圖像的細節(jié)層包括了圖像的邊緣、紋理等細節(jié)信息，且圖像的方差能有效描述圖像的高頻特征，例如：圖像中物體邊緣的方差比其他位置的方差要大，圖像越清晰的部分方法越大。因此可以采用區(qū)域標準差最大準則融合四幀圖像的細節(jié)層D(f₁)、D(f₂)、D(f₃)、D(f₄)。具體包括以下步驟

(1)將四幀Bayer圖像的細節(jié)層D(f₁)、D(f₂)、D(f₃)、D(f₄)分成5×5的字塊。

需要說明的是：此處5×5的字塊僅為示例，也可以分為其它尺寸的字塊，如可以分為3×3的字塊或7×7的字塊。

(2)計算每個字塊的方差，局部區(qū)域標準差STD的計算公式如下：

在公式10中，M、N表示局部區(qū)域內(nèi)的行數(shù)和列數(shù)；p_i,j為當前局部區(qū)域內(nèi)的一個像素灰度值；為當前局部區(qū)域像素的灰度均值。D(f₁)、D(f₂)、D(f₃)、D(f₄)的局部區(qū)域標準差分別用STD₁、STD₂、STD₃和STD₄表示。

(3)融合四幀Bayer圖像的細節(jié)層。

融合后的細節(jié)層D(f_c)某點像素值的確定方法：分別求取四幀圖像的基本層中以相應位置處的像素為中心的局部區(qū)域標準差STD₁、STD₂、STD₃和STD₄，選取局部區(qū)域標準差最大的細節(jié)層，將該細節(jié)層中的相應位置處的像素值作為融合后的細節(jié)層的中對應位置處的像素值。

在步驟S36中，將融合后的基本層和細節(jié)層進行合并得到最終的融合后的圖像。

需要說明的是：對于Bayer圖像的基本層和細節(jié)層的融合步驟并不作具體限定，即可以按照圖3中所示的流程，先融合基本層，然后再融合細節(jié)層；或者先融合細節(jié)層，再融合基本層；也可以同時融合基本層和細節(jié)層。

圖5示意性示出了根據(jù)本發(fā)明的實施例的基于Bayer格式的圖像融合裝置的框圖。

如圖5所示，根據(jù)本發(fā)明的實施例的基于Bayer格式的圖像融合裝置500，包括：獲取單元502、處理單元504、融合單元506和生成單元508。

根據(jù)本發(fā)明的示例性實施例，獲取單元502用于獲取待融合的多幀Bayer圖像；處理單元504用于對所述多幀Bayer圖像中的每幀Bayer圖像進行處理，以得到所述每幀Bayer圖像的基本層和細節(jié)層；融合單元506用于對所述多幀Bayer圖像的基本層和細節(jié)層分別進行融合處理，得到融合后的基本層和細節(jié)層；生成單元508用于根據(jù)所述融合后的基本層和細節(jié)層，生成融合后的圖像。

需要說明的是：由于Bayer圖像的數(shù)據(jù)量是RGB圖像的數(shù)據(jù)量的1/3，因此通過直接對Bayer圖像進行處理，有效減少了圖像融合時的計算量，進而降低了對系統(tǒng)資源的消耗，提高了圖像融合算法的效率，有利于進行嵌入式開發(fā)。

根據(jù)本發(fā)明的示例性實施例，所述處理單元504包括：計算單元和濾波單元。

具體地，計算單元用于計算所述每幀Bayer圖像對應的完整的指定顏色分量；濾波單元用于以所述每幀Bayer圖像對應的完整的指定顏色分量為導向，對所述每幀Bayer圖像進行導向濾波處理。

在本發(fā)明的一種示例性實施例中，在所述指定顏色分量為綠色分量的情況下，所述計算單元配置為：

基于顏色插值法恢復所述每幀Bayer圖像中的藍色像元對應的綠色分量和紅色像元對應的綠色分量，并根據(jù)所述每幀Bayer圖像中的藍色像元對應的綠色分量和紅色像元對應的綠色分量，以及所述每幀Bayer圖像中的綠色像元，生成所述每幀Bayer圖像對應的完整的綠色分量。

根據(jù)本發(fā)明的示例性實施例，所述處理單元504配置為：對所述每幀Bayer圖像進行處理，得到所述每幀Bayer圖像的基本層，并根據(jù)所述每幀Bayer圖像和所述每幀Bayer圖像的基本層，計算所述每幀Bayer圖像的細節(jié)層。

在本發(fā)明的一種示例性實施例中，所述融合單元506配置為：計算所述多幀Bayer圖像的基本層的均值，將所述多幀Bayer圖像的基本層的均值作為所述多幀Bayer圖像融合后的基本層。

在本發(fā)明的一種示例性實施例中，所述融合單元506配置為：采用區(qū)域標準差最大準則對所述多幀Bayer圖像的細節(jié)層進行融合處理。

在本發(fā)明的一種示例性實施例中，所述融合單元506采用區(qū)域標準差最大準則對所述多幀Bayer圖像的細節(jié)層進行融合的操作，包括：

針對所述多幀Bayer圖像的細節(jié)層中任一相同位置處的像素，分別計算所述每幀Bayer圖像中以所述任一相同位置處的像素為中心的局部區(qū)域標準差；

確定所述多幀Bayer圖像的細節(jié)層中以所述任一相同位置處的像素為中心的局域區(qū)域標準差最大的目標細節(jié)層；

將所述目標細節(jié)層中位于所述任一相同位置處的像素的值作為所述多幀Bayer圖像融合后的細節(jié)層中對應位置處的像素值。

在本發(fā)明的一種示例性實施例中，所述融合單元506配置為：在所述多幀Bayer圖像的基本層進行融合處理之后，對所述融合后的基本層進行Gamma變換處理。

在本發(fā)明的一種示例性實施例中，基于以下公式對所述融合后的基本層進行Gamma變換處理：

B'(f_c)＝255(B(f_c)/255)^γ

其中，B(f_c)表示所述融合后的基本層，B'(f_c)表示經(jīng)過Gamma變換后的基本層，γ表示Gamma變換的自適應系數(shù)，所述γ的值與所述融合后的基本層中的像素點在圖像坐標系中的梯度矢量值成反相關關系。

在本發(fā)明上述實施例提出的圖像融合算法可以有效減少圖像融合時的計算量，進而降低了對系統(tǒng)資源的消耗，提高了圖像融合算法的效率，并能有效地提升低照度的亮度和對比度，增強了圖像的細節(jié)和清晰度。具體處理效果如圖6A至圖6C所示。

本發(fā)明實施例的技術方案有利于進行嵌入式開發(fā)，如可以嵌入FPGA開發(fā)具有圖像增強功能的相機或攝像機。

應當注意，盡管在上文詳細描述中提及了用于動作執(zhí)行的設備的若干模塊或者單元，但是這種劃分并非強制性的。實際上，根據(jù)本發(fā)明的實施方式，上文描述的兩個或更多模塊或者單元的特征和功能可以在一個模塊或者單元中具體化。反之，上文描述的一個模塊或者單元的特征和功能可以進一步劃分為由多個模塊或者單元來具體化。

通過以上的實施方式的描述，本領域的技術人員易于理解，這里描述的示例實施方式可以通過軟件實現(xiàn)，也可以通過軟件結合必要的硬件的方式來實現(xiàn)。因此，根據(jù)本發(fā)明實施方式的技術方案可以以軟件產(chǎn)品的形式體現(xiàn)出來，該軟件產(chǎn)品可以存儲在一個非易失性存儲介質(可以是CD-ROM，U盤，移動硬盤等)中或網(wǎng)絡上，包括若干指令以使得一臺計算設備(可以是個人計算機、服務器、觸控終端、或者網(wǎng)絡設備等)執(zhí)行根據(jù)本發(fā)明實施方式的方法。

本領域技術人員在考慮說明書及實踐這里公開的發(fā)明后，將容易想到本發(fā)明的其它實施方案。本申請旨在涵蓋本發(fā)明的任何變型、用途或者適應性變化，這些變型、用途或者適應性變化遵循本發(fā)明的一般性原理并包括本發(fā)明未公開的本技術領域中的公知常識或慣用技術手段。說明書和實施例僅被視為示例性的，本發(fā)明的真正范圍和精神由下面的權利要求指出。

應當理解的是，本發(fā)明并不局限于上面已經(jīng)描述并在附圖中示出的精確結構，并且可以在不脫離其范圍進行各種修改和改變。本發(fā)明的范圍僅由所附的權利要求來限制。