圖像處理設(shè)備和圖像處理方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及至少一種圖像處理設(shè)備、至少一種圖像處理方法、至少一個程序和至 少一種用于存儲所述至少一個程序的計算機可讀存儲介質(zhì)，尤其涉及彩色圖像信號的插值 技術(shù)。
【背景技術(shù)】
[0002] 在傳統(tǒng)彩色圖像傳感器中，使用如圖17所示等的拜耳（Bayer)圖案顏色濾波器陣 列。該顏色濾波器陣列可以是包括紅色（R)、綠色（G)和藍色（B)這三種顏色的陣列元件 的三原色濾波器陣列或者包括青色、品紅色和黃色這三種顏色的陣列元件的補色濾波器陣 列。
[0003] 然而，在Bayer圖案顏色濾波器陣列中，僅允許各像素獲得三種顏色中的一種顏 色的信號，因此其它兩種顏色的信號丟失。因此，為了再現(xiàn)各像素處丟失的其它兩種顏色的 信號，進行去馬賽克（插值）處理。用于去馬賽克處理的已知技術(shù)的具體例子包括雙線性 插值和雙三次插值等。雙線性插值或雙三次插值對于低頻成分占主導的圖像實現(xiàn)良好的插 值。然而，對于包括高頻成分的圖像，存在下面的可能性：雙線性插值或雙三次插值生成實 際并不存在于被攝體中的被稱為偽分辨率或偽色（顏色摩爾紋）的線或顏色。在使用與被 攝體圖像的邊緣延伸的方向不同的方向上的像素進行去馬賽克時，可能發(fā)生這種偽分辨率 或偽色。
[0004] 考慮以上所述，提出了使用沿被攝體圖像的邊緣的方向的像素來進行去馬賽 克。使用沿邊緣方向的像素的去馬賽克方法大體被分成兩種方法。例如，在日本特開 2008-35470中公開了第一種方法。在該方法中，使用相鄰像素來檢測邊緣方向，并且并非跨 邊緣而是沿邊緣方向來進行插值。日本特開2008-35470還公開了第二種插值方法。在該 第二種方法中，首先，在多個方向上單獨進行插值以獲得多個插值結(jié)果。此后，評價這些插 值結(jié)果以選擇要進行插值的最佳方向。提出了如下內(nèi)容：評價插值方向的合適性，從而判斷 表示包括關(guān)注像素的相鄰像素之間的均勻性的評價值。將均勻性高的方向判斷為是邊緣方 向，并且選擇該方向作為插值方向。
[0005] 然而，在日本特開2008-35470所公開的方法中，存在下面的可能性：當圖像具有 與被攝體的精細部分的間距近似為圖像傳感器的像素間距的分辨率界限接近的成分時，所 計算出的均勻性的評價值可能不正確，這可能導致插值錯誤，從而可能導致偽分辨率的發(fā) 生。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明提供用于高精度地對圖像信號進行去馬賽克處理的至少一種技術(shù)。
[0007] 根據(jù)本發(fā)明一個以上的實施例的一方面，至少一種圖像處理設(shè)備，用于處理經(jīng)由 圖像傳感器對被攝體圖像的光學圖像的光電轉(zhuǎn)換所產(chǎn)生的馬賽克圖像數(shù)據(jù)，其中，所述圖 像傳感器包括具有多個顏色的顏色濾波器，所述馬賽克圖像數(shù)據(jù)具有各自與所述顏色濾波 器的所述多個顏色其中之一相對應的像素的圖像數(shù)據(jù)，所述圖像處理設(shè)備包括：第一插值 單元，用于在多個規(guī)定方向中的各規(guī)定方向上，使用位置靠近關(guān)注像素的像素的圖像數(shù)據(jù) 來以像素為單位對所述關(guān)注像素進行插值處理，從而再現(xiàn)所述關(guān)注像素處缺失的顏色的圖 像數(shù)據(jù)；評價單元，用于評價進行了所述第一插值單元的插值處理的各規(guī)定方向的圖像數(shù) 據(jù)；第二插值單元，用于進行插值處理，以保存（例如圖像數(shù)據(jù)、被攝體圖像、被攝體圖像的 光學圖像等的）邊緣成分；飽和度檢測單元，用于從進行了所述第二插值單元的插值處理 的圖像數(shù)據(jù)中檢測飽和度；判斷單元，用于基于所述飽和度檢測單元所檢測到的飽和度，以 像素為單位來判斷像素是否處于可能發(fā)生偽分辨率的區(qū)域中；以及圖像生成單元，用于基 于所述評價單元的評價結(jié)果和所述判斷單元的判斷結(jié)果來針對各像素選擇要進行插值的 圖像數(shù)據(jù)，并且生成具有所述多個顏色的插值后的圖像數(shù)據(jù)。
[0008] 根據(jù)本發(fā)明一個以上的實施例的另一方面，至少一種圖像處理方法，用于處理經(jīng) 由圖像傳感器對被攝體圖像的光學圖像的光電轉(zhuǎn)換所產(chǎn)生的馬賽克圖像數(shù)據(jù)，其中，所述 圖像傳感器包括具有多個顏色的顏色濾波器，所述馬賽克圖像數(shù)據(jù)具有各自與所述顏色濾 波器的所述多個顏色其中之一相對應的像素的圖像數(shù)據(jù)，所述圖像處理方法包括以下步 驟：在多個規(guī)定方向中的各規(guī)定方向上，使用位置靠近關(guān)注像素的像素的圖像數(shù)據(jù)來以像 素為單位對所述關(guān)注像素進行第一插值處理，從而再現(xiàn)所述關(guān)注像素處缺失的顏色的圖像 數(shù)據(jù)；評價步驟，用于評價所述第一插值處理中進行了插值處理的各規(guī)定方向的圖像數(shù)據(jù)； 進行包括進行插值處理以保存所述被攝體圖像的邊緣成分的第二插值處理；從所述第二插 值處理中進行了插值處理的圖像數(shù)據(jù)中檢測飽和度；判斷步驟，用于基于所檢測到的飽和 度，以像素為單位來判斷像素是否處于發(fā)生偽分辨率的區(qū)域中；以及基于所述評價步驟的 結(jié)果和所述判斷步驟的結(jié)果，通過針對各像素所選擇的圖像數(shù)據(jù)進行插值，來生成具有所 述多個顏色的插值后的圖像數(shù)據(jù)。
[0009] 根據(jù)本發(fā)明的其它方面，在此說明一種以上的圖像處理設(shè)備、一種以上的圖像處 理方法、一個以上的程序和一種以上的存儲介質(zhì)。通過以下參考附圖對典型實施例的說明， 本發(fā)明的其它特征將顯而易見。
【附圖說明】
[0010] 圖1是根據(jù)至少一個實施例的攝像設(shè)備的結(jié)構(gòu)的例子的圖。
[0011] 圖2是示出根據(jù)實施例的去馬賽克單元的結(jié)構(gòu)的例子的圖。
[0012] 圖3是示出圖2所示的水平插值單元的至少一個實施例的結(jié)構(gòu)和垂直插值單元的 至少一個實施例的結(jié)構(gòu)的例子的圖。
[0013] 圖4是示出用于說明方向依賴插值處理所使用的Bayer圖案的像素配置的圖。
[0014] 圖5是示出Gr/Gb插值單元所進行的處理的圖。
[0015] 圖6是示出圖2所示的飽和度檢測插值單元的至少一個實施例的結(jié)構(gòu)和二維插值 單元的至少一個實施例的結(jié)構(gòu)的例子的圖。
[0016] 圖7是示出飽和度檢測G插值單元所使用的一組濾波器系數(shù)的例子的圖。
[0017] 圖8是示出二維插值單元所進行的處理的圖。
[0018] 圖9是示出圖2所示的偽分辨率區(qū)域判斷單元的至少一個實施例的結(jié)構(gòu)的例子的 圖。
[0019] 圖10是示出偽分辨率區(qū)域閾值判斷處理的例子的流程圖。
[0020] 圖11是示出評價值計算處理的例子的流程圖。
[0021] 圖12A是示出用于說明計算G信號的評價值的處理所使用的3X3像素區(qū)域的圖， 圖12B是示出用于說明計算R-G信號的評價值的處理所使用的3X3像素區(qū)域的圖，并且圖 12C是示出用于說明計算B-G信號的評價值的處理所使用的3X3像素區(qū)域的圖。
[0022] 圖13A是示出計算評價值時所使用的三個像素的低通濾波器的一組濾波器系數(shù) 的例子的圖，并且圖13B是示出計算評價值時所使用的五個像素的低通濾波器的一組濾波 器系數(shù)的例子的圖。
[0023] 圖14是示出圖像生成處理的例子的流程圖。
[0024] 圖15是示出根據(jù)第二實施例的飽和度檢測插值單元的結(jié)構(gòu)的例子的圖。
[0025] 圖16A是示出飽和度檢測GH插值單元所使用的一組濾波器系數(shù)的例子的圖，并且 圖16B是示出飽和度檢測GV插值單元所使用的一組濾波器系數(shù)的例子的圖。
[0026] 圖17是示出Bayer圖案的像素配置的例子的圖。
【具體實施方式】
[0027] 下面參考【附圖說明】本發(fā)明的實施例。
[0028] 第一實施例
[0029] 下面說明第一實施例。
[0030] 圖1是示出包括根據(jù)第一實施例的圖像處理設(shè)備的攝像設(shè)備的結(jié)構(gòu)的例子的框 圖。被攝體的光學圖像（被攝體圖像）經(jīng)由攝像鏡頭101聚集于圖像傳感器102上，并且 被從光學信號轉(zhuǎn)換成電信號。
[0031] 圖像傳感器102是具有多色濾波器的單板彩色圖像傳感器。顏色濾波器可以是包 括紅色（R)、綠色（G)和藍色（B)三原色的陣列元件的三原色濾波器陣列，其中三原色分別 具有以約650nm、550nm和450nm為中心的透過主波長帶，該顏色濾波器能夠生成分別與三 原色相對應的顏色平面。在單板彩色圖像傳感器中，可以以如圖17所示的方式在空間上配 置顏色濾波器元件，因此這樣，僅允許各像素獲得顏色平面中的一個顏色平面的光強度。因 此，從圖像傳感器102所輸出的圖像信號是馬賽克圖像信號，即從各像素所輸出的圖像信 號缺少三原色中的兩種顏色。
[0032] 模擬-數(shù)字（A/D)轉(zhuǎn)換器單元103轉(zhuǎn)換從圖像傳感器102所輸出的馬賽克圖像信 號，從而使得將馬賽克圖像信號的模擬電壓轉(zhuǎn)換成數(shù)字圖像數(shù)據(jù)。白平衡單元104進行白 平衡處理。更具體地，白平衡單元104以使R、G和B顏色信號在假定顏色為白色的區(qū)域中 具有相等的信號水平的方式來對R、G和B顏色信號賦予增益。
[0033] 去馬賽克單元105對彩色馬賽克圖像數(shù)據(jù)進行插值，從而使得通過插值來再現(xiàn)三 原色中的在各像素的圖像數(shù)據(jù)中丟失的兩種顏色，并且生成所有像素中的任一個都具有R、 G和B顏色的所有三原色的圖像數(shù)據(jù)的彩色圖像。對各像素的彩色圖像數(shù)據(jù)進行矩陣轉(zhuǎn)換 單元106所進行的矩陣轉(zhuǎn)換處理，然后進行伽瑪轉(zhuǎn)換單元107所進行的伽瑪校正處理，從而 使得生成基本彩色圖像數(shù)據(jù)。然后，對基本彩色圖像數(shù)據(jù)進行顏色調(diào)整單元108所進行的 各種處理來提高圖像質(zhì)量。更具體地，例如，顏色調(diào)整單元108進行諸如降噪、飽和度增強、 色相調(diào)整和/或者邊緣增強等的各種顏色調(diào)整處理。壓縮單元109將顏色調(diào)整后的彩色圖 像數(shù)據(jù)壓縮成JPEG格式等，從而降低要存儲的數(shù)據(jù)的數(shù)據(jù)大小。
[0034] 控制單元111經(jīng)由總線113來控制通過從圖像傳感器