用于處理圖像的方法和設(shè)備的制作方法
【專(zhuān)利摘要】本發(fā)明提供了一種用于處理圖像的方法和設(shè)備。所述圖像處理設(shè)備包括：自適應(yīng)插值裝置，基于差值將MFA模式圖像轉(zhuǎn)換為梅花形模式圖像，并且基于轉(zhuǎn)換的梅花模式圖像在垂直和水平像素方向上的差值對(duì)色彩通道和NIR通道插值；頻率補(bǔ)償裝置，基于線(xiàn)性回歸分析和將MFA通道圖像的能級(jí)與基本圖像的能級(jí)進(jìn)行比較來(lái)使用高分辨率基本圖像的高頻和中頻分量獲得高分辨率MFA圖像；通道干擾抑制裝置，使用高分辨率MFA圖像的每個(gè)通道與高分辨率MFA圖像的另一通道和基本通道之間的像素值差的加權(quán)平均值，來(lái)消除高分辨率MFA圖像的每個(gè)通道與高分辨率MFA圖像的所述另一通道和基本通道之間產(chǎn)生的色彩失真。
【專(zhuān)利說(shuō)明】用于處理圖像的方法和設(shè)備
[0001]本申請(qǐng)要求于2012年11月30日提交到韓國(guó)知識(shí)產(chǎn)權(quán)局的10_2012_0138437號(hào)韓國(guó)專(zhuān)利申請(qǐng)的優(yōu)先權(quán)，該申請(qǐng)全部公開(kāi)于此以資參考。
【技術(shù)領(lǐng)域】
[0002]示例性實(shí)施例涉及一種用于處理圖像的設(shè)備。具體而言，示例性實(shí)施例涉及一種處理通過(guò)使用多光譜濾波器陣列(MFA)獲得的圖像的方法。
【背景技術(shù)】
[0003]為了同時(shí)獲得可見(jiàn)光波段的圖像和不可見(jiàn)光波段的近紅外(NIR)圖像，通過(guò)使用現(xiàn)有技術(shù)的多光譜濾波器陣列(MFA)來(lái)同時(shí)獲得通道圖像。
[0004]然而，由于通過(guò)對(duì)色彩通道和NIR通道進(jìn)行采樣來(lái)獲得通過(guò)使用現(xiàn)有技術(shù)的MFA而獲得的模式圖像，因此所述模式圖像的分辨率低。

【發(fā)明內(nèi)容】

[0005]示例性實(shí)施例可提供一種用于處理圖像的方法和設(shè)備，以解決當(dāng)同時(shí)獲得可見(jiàn)光波段的圖像和不可見(jiàn)光波段的近紅外(NIR)圖像時(shí)每個(gè)圖像的分辨率有限的問(wèn)題。
[0006]示例性實(shí)施例可提供一種用于處理圖像的方法和設(shè)備，以通過(guò)接收低分辨率多光譜濾波器陣列(MFA)模式圖像作為輸入圖像來(lái)產(chǎn)生高分辨率基本圖像。
[0007]此外，在示例性實(shí)施例中，使用包括通過(guò)多光譜(MS)濾波器獲得的色彩(紅、綠和藍(lán))和NIR通道圖像的低分辨率MFA模式圖像來(lái)產(chǎn)生高分辨率基本圖像。在這種情況下，生成包括高頻信息和小偽影的高分辨率圖像。
[0008]根據(jù)示例性實(shí)施例的一方面，提供一種圖像處理設(shè)備，包括:自適應(yīng)插值裝置，被配置為基于對(duì)角線(xiàn)方向上的差值將多光譜濾波器陣列(MFA)模式圖像轉(zhuǎn)換為梅花形模式圖像，并且基于轉(zhuǎn)換的梅花形模式圖像在垂直像素方向和水平像素方向上的差值對(duì)MFA模式圖像的色彩通道和近紅外(NIR)通道插值至最大分辨率；頻率補(bǔ)償裝置，被配置為基于線(xiàn)性回歸分析和將MFA通道圖像的能級(jí)與基本圖像的能級(jí)進(jìn)行比較的結(jié)果，來(lái)使用高分辨率基本圖像的高頻分量和中頻分量獲得高分辨率MFA圖像，其中，高分辨率基本圖像的高頻分量和中頻分量與由自適應(yīng)插值裝置插值的低分辨率MFA圖像的高頻分量和中頻分量對(duì)應(yīng)；通道干擾抑制裝置，被配置為使用高分辨率MFA圖像的每個(gè)通道與高分辨率MFA圖像的另一通道與基本通道之間的像素值差的加權(quán)平均值，來(lái)消除高分辨率MFA圖像的每個(gè)通道與高分辨率MFA圖像的所述另一通道與基本通道之間產(chǎn)生的色彩失真。
[0009]根據(jù)示例性實(shí)施例的另一方面，提供一種圖像處理方法，包括:使用自適應(yīng)插值裝置來(lái)進(jìn)行下述步驟:基于對(duì)角線(xiàn)方向上的差值將多光譜濾波器陣列(MFA)模式圖像轉(zhuǎn)換為梅花形模式圖像，并且基于轉(zhuǎn)換的梅花形模式圖像在垂直像素方向和水平像素方向上的差值對(duì)MFA模式圖像的色彩通道和近紅外(NIR)通道插值至最大分辨率；使用頻率補(bǔ)償裝置來(lái)進(jìn)行下述步驟:基于線(xiàn)性回歸分析和將MFA通道圖像的能級(jí)與基本圖像的能級(jí)進(jìn)行比較的結(jié)果，來(lái)使用高分辨率基本圖像的高頻分量和中頻分量獲得高分辨率MFA圖像，其中，高分辨率基本圖像的高頻分量和中頻分量與由自適應(yīng)插值裝置插值的低分辨率MFA圖像的高頻分量和中頻分量對(duì)應(yīng)；使用通道干擾抑制裝置來(lái)進(jìn)行下述步驟:使用高分辨率MFA圖像的每個(gè)通道與高分辨率MFA圖像的另一通道與基本通道之間的像素值差的加權(quán)平均值，來(lái)消除高分辨率MFA圖像的每個(gè)通道與高分辨率MFA圖像的所述另一通道與基本通道之間產(chǎn)生的色彩失真。
【專(zhuān)利附圖】

【附圖說(shuō)明】
[0010]通過(guò)參照附圖詳細(xì)描述示例性實(shí)施例，示例性實(shí)施例的以上和其它特征和優(yōu)點(diǎn)將變得更加清楚，在附圖中:
[0011]圖1是根據(jù)實(shí)施例的圖像處理設(shè)備的結(jié)構(gòu)圖；
[0012]圖2是示出將多光譜濾波器陣列(MFA)模式圖像轉(zhuǎn)換為梅花形(quincuncial)模式圖像的示例的示圖；
[0013]圖3是示出對(duì)MFA模式圖像的色彩通道和近紅外(NIR)通道插值至最大分辨率的處理的示圖；
[0014]圖4至6是示出根據(jù)實(shí)施例的在頻率補(bǔ)償單元中通過(guò)對(duì)MFA模式圖像的色彩通道和NIR通道插值至最大分辨率來(lái)產(chǎn)生高分辨率MFA圖像的處理的示圖；
[0015]圖7是示出通過(guò)使用基本通道來(lái)重建方向頻率分量的示例的示圖；
[0016]圖8是示出在每個(gè)通道中檢測(cè)特征的示例的示圖；
[0017]圖9和圖10是示出當(dāng)頻率補(bǔ)償單元將色差模型簡(jiǎn)單地應(yīng)用于MFA圖像時(shí)產(chǎn)生的問(wèn)題的曲線(xiàn)圖；
[0018]圖11是用于描述根據(jù)實(shí)施例的通過(guò)在頻率補(bǔ)償單元中使用線(xiàn)性回歸分析來(lái)消除色彩失真的方法的曲線(xiàn)圖；
[0019]圖12是示出通道的能級(jí)被校正之前的色塊圖像的曲線(xiàn)圖；
[0020]圖13是示出根據(jù)實(shí)施例的通過(guò)使用線(xiàn)性回歸分析來(lái)校正通道能級(jí)以消除色彩失真的示例的曲線(xiàn)圖；
[0021]圖14是示出根據(jù)實(shí)施例的為何產(chǎn)生通道干擾的曲線(xiàn)圖；
[0022]圖15至18是示出消除R、G、B和NIR通道中的每個(gè)通道的通道干擾的處理的概念圖；
[0023]圖19是根據(jù)實(shí)施例的攝像系統(tǒng)的框圖。
【具體實(shí)施方式】
[0024]在此使用的術(shù)語(yǔ)是為了描述描述特定實(shí)施例的目的，而不是意在限制示例性實(shí)施例。如在此使用的單數(shù)形式意在還包括復(fù)數(shù)形式，除非上下文清楚地另有指示。還將理解的是，當(dāng)在此說(shuō)明書(shū)中使用術(shù)語(yǔ)“包括”時(shí)，該術(shù)語(yǔ)指定聲明的特征、整體、步驟、操作、元件和/或組件的存在，但是并不排除存在或添加一個(gè)或多個(gè)其它特征、整體、步驟、操作、元件、組件和/或上述項(xiàng)的組合。
[0025]除非定義不同，否則在此說(shuō)明書(shū)中使用的所有術(shù)語(yǔ)(包括技術(shù)和科學(xué)術(shù)語(yǔ))具有與本領(lǐng)域的普通技術(shù)人員的一般理解相同的含義。應(yīng)將常用詞典中所定義的術(shù)語(yǔ)理解為具有與相關(guān)聯(lián)的技術(shù)背景中相同的含義，并且除非在說(shuō)明書(shū)中定義了所述術(shù)語(yǔ)，否則不將所述術(shù)語(yǔ)理想地或過(guò)度地解釋為具有正式含義。
[0026]圖1是根據(jù)實(shí)施例的圖像處理設(shè)備100的結(jié)構(gòu)圖。
[0027]圖像處理設(shè)備100的示例是一種攝像系統(tǒng)，所述攝像系統(tǒng)可以是圖像捕捉系統(tǒng)(諸如數(shù)碼相機(jī)、攝像機(jī)或安全攝像頭)，或者可以被安裝在計(jì)算機(jī)、個(gè)人數(shù)字助理(PDA)、便攜式多媒體播放器(PMP)或移動(dòng)電話(huà)中。
[0028]圖像處理設(shè)備100接收從圖像傳感器輸出的多光譜濾波器陣列(MFA)模式圖像作為輸入圖像，所述圖像傳感器包括具有濾色器和近紅外(NIR)濾波器的MFA。
[0029]圖像處理設(shè)備100接收低分辨率MFA模式圖像作為輸入圖像，并且產(chǎn)生具有大量高頻信息和少數(shù)偽影的高分辨率基本圖像。
[0030]圖像處理設(shè)備100包括自適應(yīng)插值單元110、頻率補(bǔ)償單元120和通道干擾抑制單元 130。
[0031]如圖2中所示，自適應(yīng)插值單元110基于對(duì)角線(xiàn)像素方向上的差值，將具有在相同單元像素中有1:1:1:1的相等比率的紅(R)、綠(G)、藍(lán)(B)像素和NIR通道的MFA模式圖像210轉(zhuǎn)換為梅花形模式圖像220。梅花形模式圖像220是具有與拜耳模式圖像相同的幾何模型而且具有與拜耳模式圖像不同的通道值的模式圖像。
[0032]將MFA模式圖像210轉(zhuǎn)換為梅花形模式圖像220，以便通過(guò)使MFA模式圖像210接近于拜耳模式將現(xiàn)有色彩插值算法應(yīng)用于根據(jù)示例性實(shí)施例的R、G、B和NIR通道插值方法。以下將參照?qǐng)D2來(lái)提供對(duì)形成梅花形模式圖像220的處理的詳細(xì)說(shuō)明。
[0033]如果將MFA模式圖像210轉(zhuǎn)換為梅花形模式圖像220，則自適應(yīng)插值單元110基于轉(zhuǎn)換的梅花形模式圖像220的水平像素方向和垂直像素方向上的差值，對(duì)MFA模式圖像210的色彩通道和NIR通道插值至最大分辨率。以下將參照?qǐng)D3來(lái)提供對(duì)上述內(nèi)容的詳細(xì)描述。
[0034]頻率補(bǔ)償單元120通過(guò)使用高分辨率基本圖像的高頻和中頻分量來(lái)獲得高分辨率MFA圖像，其中，高分辨率基本圖像的高頻和中頻分量與由自適應(yīng)插值單元110插值的低分辨率MFA圖像的高頻和中頻分量對(duì)應(yīng)。
[0035]在此之后，基于考慮從頻率補(bǔ)償單元120獲得的高分辨率MFA圖像中的通道的能級(jí)的線(xiàn)性回歸分析，消除通道之間的色彩失真。
[0036]更詳細(xì)地講，基于考慮通道的能級(jí)的線(xiàn)性回歸分析，通過(guò)強(qiáng)重建具有高能級(jí)的高頻分量的通道的高頻分量以及弱重建具有低能級(jí)的高頻分量的通道的高頻分量來(lái)消除通道之間的色彩失真，以便允許通道的邊緣是統(tǒng)一的。以下將參照?qǐng)D4至圖13來(lái)提供對(duì)頻率補(bǔ)償單元120的詳細(xì)說(shuō)明。
[0037]通道干擾抑制單元130通過(guò)使用高分辨率MFA圖像的每個(gè)通道與高分辨率MFA圖像的另一通道和基本通道之間的像素值差的加權(quán)平均值，來(lái)消除在由頻率補(bǔ)償單元120產(chǎn)生的高分辨率MFA圖像的每個(gè)通道與高分辨率MFA圖像的所述另一通道和基本通道之間產(chǎn)生的色彩失真。
[0038]甚至在圖1中示出的自適應(yīng)插值單元110通過(guò)針對(duì)MFA模式圖像的每個(gè)通道重建分辨率來(lái)獲得低分辨率MFA圖像以及圖1中示出的頻率補(bǔ)償單元120執(zhí)行高頻和中頻補(bǔ)償之后，會(huì)留下因混淆而產(chǎn)生的假色彩偽影。例如，會(huì)在紋理圖案、精細(xì)細(xì)節(jié)、強(qiáng)邊緣或文本上留下多種色彩。
[0039]為了消除這些色彩失真，如圖15至18所示，通道干擾抑制單元130通過(guò)使用高分辨率MFA圖像的每個(gè)通道與高分辨率MFA圖像的另一通道和基本通道之間的像素值差的加權(quán)平均值，來(lái)抑制高分辨率MFA圖像的R、G、B和NIR通道之間的色彩干擾。
[0040]圖2是示出將MFA模式圖像210轉(zhuǎn)換為梅花形模式圖像220的示例的示圖。由下面的公式I表示將MFA模式圖像210轉(zhuǎn)換為梅花形模式圖像220的處理:
[0041]【公式I】
【權(quán)利要求】
1.一種圖像處理設(shè)備，包括: 自適應(yīng)插值裝置，被配置為基于對(duì)角線(xiàn)方向上的差值將多光譜濾波器陣列MFA模式圖像轉(zhuǎn)換為梅花形模式圖像，并且基于轉(zhuǎn)換的梅花形模式圖像在垂直像素方向和水平像素方向上的差值對(duì)MFA模式圖像的色彩通道和近紅外NIR通道插值至最大分辨率； 頻率補(bǔ)償裝置，被配置為基于線(xiàn)性回歸分析和將MFA通道圖像的能級(jí)與基本圖像的能級(jí)進(jìn)行比較的結(jié)果，來(lái)使用高分辨率基本圖像的高頻分量和中頻分量獲得高分辨率MFA圖像，其中，高分辨率基本圖像的高頻分量和中頻分量與由自適應(yīng)插值裝置插值的低分辨率MFA圖像的高頻分量和中頻分量對(duì)應(yīng)； 通道干擾抑制裝置，被配置為使用高分辨率MFA圖像的每個(gè)通道與高分辨率MFA圖像的另一通道和基本通道之間的像素值差的加權(quán)平均值，來(lái)消除高分辨率MFA圖像的每個(gè)通道與高分辨率MFA圖像的所述另一通道和基本通道之間產(chǎn)生的色彩失真。
2.如權(quán)利要求1所述的圖像處理設(shè)備，其中，梅花形模式圖像是具有與拜耳模式圖像相同的幾何模型并且具有與拜耳模式圖像不同的通道值的圖像。
3.如權(quán)利要求1所述的圖像處理設(shè)備，其中，當(dāng)將MFA模式圖像轉(zhuǎn)換為梅花形模式圖像時(shí)，自適應(yīng)插值裝置使用第一加權(quán)平均值和第二加權(quán)平均值的和，其中，第一加權(quán)平均值是在對(duì)角線(xiàn)方向上與MFA模式圖像的特定像素(m，n)間隔一個(gè)像素的像素的值的加權(quán)平均值，第二加權(quán)平均值是通過(guò)計(jì)算MFA模式圖像的特定像素(m，η)和在對(duì)角線(xiàn)方向上與MFA模式圖像的特定像素(m，n)間隔兩個(gè)像素的像素之間的差值的加權(quán)平均值而獲得的加權(quán)平均值。
4.如權(quán)利要求3所述的圖像處理設(shè)備，其中，用于計(jì)算第一加權(quán)平均值和第二加權(quán)平均值的每個(gè)權(quán)重與每個(gè)像素方向上的差值成反比。
5.如權(quán)利要求1所述的圖·像處理設(shè)備，其中，頻率補(bǔ)償裝置通過(guò)下述步驟來(lái)產(chǎn)生高分辨率MFA圖像:在垂直、水平和對(duì)角線(xiàn)方向中的每個(gè)方向上將由自適應(yīng)插值裝置插值的低分辨率MFA圖像的中頻分量和高頻分量與基本圖像的中頻分量和高頻分量分別進(jìn)行比較，分別計(jì)算所述低分辨率MFA圖像的中頻分量和高頻分量與基本圖像的中頻分量和高頻分量的加權(quán)和，并且重建由自適應(yīng)插值裝置插值的低分辨率MFA圖像的中頻分量和高頻分量。
6.如權(quán)利要求1所述的圖像處理設(shè)備，其中，頻率補(bǔ)償裝置將權(quán)重提供給低分辨率MFA圖像的中頻分量和高頻分量以及基本圖像的中頻分量和高頻分量中的每個(gè)分量， 其中，以這樣的方式來(lái)設(shè)置權(quán)重:將大的權(quán)重提供給低分辨率MFA圖像和基本圖像中其邊緣具有更高的能級(jí)的那個(gè)圖像。
7.如權(quán)利要求1所述的圖像處理設(shè)備，其中，頻率補(bǔ)償裝置使用線(xiàn)性回歸分析來(lái)計(jì)算基本圖像和MFA圖像的中頻分量和高頻分量的能級(jí)之間的比率，并且提供用于校正能級(jí)差的權(quán)重。
8.如權(quán)利要求7所述的圖像處理設(shè)備，其中，頻率補(bǔ)償裝置通過(guò)使用用于校正能級(jí)差的權(quán)重來(lái)強(qiáng)重建具有高能級(jí)的高頻分量的通道的中頻分量和高頻分量以及弱重建具有低能級(jí)的高頻分量的通道的中頻分量和高頻分量來(lái)消除通道之間的色彩失真，以便允許通道的邊緣在MFA圖像的紅R、綠G、藍(lán)B和NIR通道的能級(jí)方面是統(tǒng)一的。
9.一種圖像處理方法，包括:使用自適應(yīng)插值裝置來(lái)進(jìn)行下述步驟:基于對(duì)角線(xiàn)方向上的差值將多光譜濾波器陣列MFA模式圖像轉(zhuǎn)換為梅花形模式圖像，并且基于轉(zhuǎn)換的梅花形模式圖像在垂直像素方向和水平像素方向上的差值對(duì)MFA模式圖像的色彩通道和近紅外NIR通道插值至最大分辨率； 使用頻率補(bǔ)償裝置來(lái)進(jìn)行下述步驟:基于線(xiàn)性回歸分析和將MFA通道圖像的能級(jí)與基本圖像的能級(jí)進(jìn)行比較的結(jié)果，來(lái)使用高分辨率基本圖像的高頻分量和中頻分量獲得高分辨率MFA圖像，其中，高分辨率基本圖像的高頻分量和中頻分量與由自適應(yīng)插值裝置插值的低分辨率MFA圖像的高頻分量和中頻分量對(duì)應(yīng)； 使用通道干擾抑制裝置來(lái)進(jìn)行下述步驟:使用高分辨率MFA圖像的每個(gè)通道之間的像素值差的加權(quán)平均值以及高分辨率MFA圖像的另一通道與基本通道之間的像素值差的加權(quán)平均值，來(lái)消除高分辨率MFA圖像的每個(gè)通道之間產(chǎn)生的色彩失真以及高分辨率MFA圖像的所述另一通道與基本通道之間產(chǎn)生的色彩失真。
10.如權(quán)利要求9所述的圖像處理方法，其中，梅花形模式圖像是具有與拜耳模式圖像相同的幾何模型并且具有與拜耳模式圖像不同的通道值的圖像。
11.如權(quán)利要求9所述的圖像處理方法，其中，當(dāng)將MFA模式圖像轉(zhuǎn)換為梅花形模式圖像時(shí)，使用第一加權(quán)平均值和第二加權(quán)平均值的和，其中，第一加權(quán)平均值是在對(duì)角線(xiàn)方向上與MFA模式圖像的特定像素(m，η)間隔一個(gè)像素的像素的值的加權(quán)平均值，第二加權(quán)平均值是通過(guò)計(jì)算MFA模式圖像的特定像素(m，n)和在對(duì)角線(xiàn)方向上與MFA模式圖像210的特定像素(m，η)間隔兩個(gè)像素的像素之間的差值的加權(quán)平均值而獲得的加權(quán)平均值。
12.如權(quán)利要求11所述的圖像處理方法，其中，用于計(jì)算第一加權(quán)平均值和第二加權(quán)平均值的每個(gè)權(quán)重與每個(gè)像素方向上的差值成反比。
13.如權(quán)利要求9所述的圖像處理方法，其中，獲得高分辨率MFA圖像的步驟包括:在垂直、水平和對(duì)角線(xiàn)方向中的每個(gè)方向上將由自適應(yīng)插值裝置插值的低分辨率MFA圖像的中頻分量和高 頻分量與基本圖像的中頻分量和高頻分量分別進(jìn)行比較，分別計(jì)算所述低分辨率MFA圖像的中頻分量和高頻分量與基本圖像的中頻分量和高頻分量的加權(quán)和，并且重建由自適應(yīng)插值裝置插值的低分辨率MFA圖像的中頻分量和高頻分量。
14.如權(quán)利要求9所述的圖像處理方法，其中，獲得高分辨率MFA圖像的步驟包括:將權(quán)重提供給低分辨率MFA圖像的中頻分量和高頻分量以及基本圖像的中頻分量和高頻分量中的每個(gè)分量， 其中，以這樣的方式來(lái)設(shè)置權(quán)重:將大的權(quán)重提供給低分辨率MFA圖像和基本圖像中其邊緣具有更高的能級(jí)的那個(gè)圖像。
15.如權(quán)利要求9所述的圖像處理方法，其中，獲得高分辨率MFA圖像的步驟包括:使用線(xiàn)性回歸分析來(lái)計(jì)算基本圖像和MFA圖像的中頻分量和高頻分量的能級(jí)之間的比率，并且提供用于校正能級(jí)差的權(quán)重。
16.如權(quán)利要求15所述的圖像處理方法，其中，獲得高分辨率MFA圖像的步驟包括:通過(guò)使用用于校正能級(jí)差的權(quán)重強(qiáng)重建具有高能級(jí)的高頻分量的通道的中頻分量和高頻分量以及弱重建具有低能級(jí)的高頻分量的通道的中頻分量和高頻分量來(lái)消除通道之間的色彩失真，以便允許通道的邊緣在MFA圖像的紅R、綠G、藍(lán)B和NIR通道的能級(jí)方面是統(tǒng)一的。
【文檔編號(hào)】H04N9/04GK103856767SQ201310594483
【公開(kāi)日】2014年6月11日 申請(qǐng)日期:2013年11月21日 優(yōu)先權(quán)日:2012年11月30日
【發(fā)明者】李定晏, 姜文基, 樸相昱, 吳寶羅 申請(qǐng)人:三星泰科威株式會(huì)社, 延世大學(xué)校產(chǎn)學(xué)協(xié)力團(tuán)