使用多光譜濾光器陣列傳感器的圖像融合方法和設(shè)備的制作方法
【專利摘要】提供一種使用多光譜濾光器陣列傳感器的圖像融合方法和設(shè)備。所述圖像融合設(shè)備包括：分離單元，被配置為將通過多光譜濾光器陣列傳感器輸入的輸入圖像分離為RGB圖像和近紅外（NIR）圖像；色彩重建單元，被配置為通過從R值、G值和B值去除通過多光譜濾光器陣列傳感器與R值、G值和B值一起入射的NIR值來提取可見光波段中的RGB圖像；圖像融合單元，被配置為將可見光波段中的RGB圖像與NIR圖像進(jìn)行融合，其中，RGB圖像與NIR圖像的融合率基于可見光波段中的RGB圖像的R值、G值和B值中的每一個的大小。
【專利說明】使用多光譜濾光器陣列傳感器的圖像融合方法和設(shè)備
[0001]本申請要求于2013年2月4日提交到韓國知識產(chǎn)權(quán)局的第10-2013-0012607號韓國專利申請的優(yōu)先權(quán)，其中，所述專利申請的公開內(nèi)容通過引用全部合并于此。
【技術(shù)領(lǐng)域】
[0002]與示例性實(shí)施例一致的設(shè)備和方法涉及圖像處理，更具體地講，涉及在使用多光譜濾光器陣列(mult1-spectral filter array)獲得的圖像中將RGB圖像與近紅外(NIR)(或黑/白)圖像進(jìn)行融合。
【背景技術(shù)】
[0003]為了同時獲得可見光波段中的圖像和不可見光波段中的NIR圖像，如圖1所示，可使用多光譜濾光器陣列同時獲得各個通道中的圖像。
[0004]然后，從獲得的圖像分離RGB圖像和NIR圖像并進(jìn)行處理，隨后，這些圖像最終被融合在一起，以提高圖像靈敏度。

【發(fā)明內(nèi)容】

[0005]提供一個或多個示例性實(shí)施例以解決現(xiàn)有技術(shù)的問題，其中，因?yàn)樵谌诤蟁GB圖像與NIR圖像的處理中，在不考慮可見RGB圖像中的R值、G值和B值中的每一個的大小的情況下執(zhí)行融合，所以色度被破壞。
[0006]根據(jù)示例性實(shí)施例的一方面，提供一種使用多光譜濾光器陣列傳感器的圖像融合設(shè)備，所述圖像融合設(shè)備包括:分離單元，被配置為將通過多光譜濾光器陣列傳感器輸入的輸入圖像分離為RGB圖像和近紅外(NIR)圖像；色彩重建單元，被配置為通過從R值、G值和B值去除通過多光譜濾光器陣列傳感器與R值、G值和B值一起入射的NIR值來提取可見光波段中的RGB圖像；圖像融合單元，被配置為將可見光波段中的RGB圖像與NIR圖像進(jìn)行融合，其中，RGB圖像與NIR圖像的融合率基于可見光波段中的RGB圖像的R值、G值和B值中的每一個的大小。
[0007]根據(jù)另一示例性實(shí)施例的一方面，提供一種使用多光譜濾光器陣列傳感器的圖像融合方法，所述圖像融合方法包括:從通過多光譜濾光器陣列傳感器輸入的RGB圖像提取可見光波段中的RGB圖像；通過多光譜濾光器陣列傳感器的NIR濾光器接收NIR圖像的輸入；計算可見光波段中的RGB圖像的R值、G值和B值中的每一個的大??；根據(jù)計算出的R像素、G像素和B像素中的每一個的大小，將可見光波段中的RGB圖像與NIR圖像進(jìn)行融合。
[0008]在將可見光波段中的RGB圖像與NIR圖像進(jìn)行融合的處理中，所述兩個圖像的融合率可根據(jù)輸入圖像的局部或全局特性進(jìn)行調(diào)整。
【專利附圖】

【附圖說明】
[0009]通過參照附圖對示例性實(shí)施例的詳細(xì)描述，上述和其他方面將變得更加清楚，其中:[0010]圖1示出多光譜濾光器陣列傳感器的示例；
[0011]圖2示出根據(jù)示例性實(shí)施例的使用多光譜濾光器陣列傳感器的圖像融合系統(tǒng)的框圖；
[0012]圖3示出圖像融合的構(gòu)思的示例；
[0013]圖4示出根據(jù)示例性實(shí)施例的圖像融合方法的示例；
[0014]圖5示出根據(jù)另一示例性實(shí)施例的RGB圖像與近紅外(NIR)圖像之間融合的示例；以及
[0015]圖6是示出根據(jù)示例性實(shí)施例的將RGB圖像與NIR圖像進(jìn)行融合，同時調(diào)整亮度和色彩的處理的流程圖。
【具體實(shí)施方式】
[0016]這里使用的術(shù)語用于描述實(shí)施例，而非用來限制本發(fā)明構(gòu)思。如這里所使用的情況，單數(shù)形式也可包括復(fù)數(shù)形式，除非上下文清楚地另有指示。還將理解:術(shù)語“包括”和/或“具有”在本文中被使用時，指定存在聲明的部件、步驟、操作和/或元件，但是并不排除存在或附加一個或多個其它部件、步驟、操作和/或元件。
[0017]除非術(shù)語被不同地定義，否則，這里使用的術(shù)語(包括技術(shù)以及科學(xué)術(shù)語)具有與本領(lǐng)域技術(shù)人員所通常理解的術(shù)語相同的含義。應(yīng)理解，在常用詞典中定義的術(shù)語具有與術(shù)語在現(xiàn)有技術(shù)中的 含義一致的含義。在術(shù)語未被明確定義的情況下，所述術(shù)語不應(yīng)被理想地或過度地解析為正式含義。
[0018]一般來講，一種基于強(qiáng)度-色調(diào)-飽和度(IHS)的圖像融合方法已被廣泛使用，其中，從包括使用多光譜濾光器陣列傳感器(如圖1所示)獲得的R通道、G通道、B通道和NIR通道的多光譜圖像分離RGB圖像和近紅外(NIR)圖像，處理RGB圖像和NIR圖像，然后將RGB圖像與NIR圖像融合在一起。
[0019]在基于IHS的圖像融合方法中，對彩色域中的彩色圖像進(jìn)行色彩轉(zhuǎn)換，然后，如下
分離與空間信息相應(yīng)的I (強(qiáng)度)和與光譜信息相應(yīng)的H (色調(diào))和S (飽和度):
【權(quán)利要求】
1.一種使用多光譜濾光器陣列傳感器的圖像融合設(shè)備，所述圖像融合設(shè)備包括: 分離單元，被配置為將通過多光譜濾光器陣列傳感器輸入的輸入圖像分離為RGB圖像和近紅外(NIR)圖像； 色彩重建單元，被配置為通過從R值、G值和B值去除通過多光譜濾光器陣列傳感器與R值、G值和B值一起入射的NIR值來提取可見光波段中的RGB圖像； 圖像融合單元，被配置為將可見光波段中的RGB圖像與NIR圖像進(jìn)行融合，其中，RGB圖像與NIR圖像的融合率基于可見光波段中的RGB圖像的R值、G值和B值中的每一個的大小。
2.如權(quán)利要求1所述的圖像融合設(shè)備，其中，多光譜濾光器陣列傳感器包括: 色彩濾光器，用于使范圍為400nm至700nm的可見光波段中的光分量通過； NIR濾光器，用于使不可見光波段中大于700nm但小于或等于IlOOnm的NIR區(qū)域的光分量通過。
3.如權(quán)利要求1所述的圖像融合設(shè)備，其中，色彩重建單元通過從包括RGB圖像的R通道、G通道和B通道的彩色通道的所有波段值中的每一個去除NIR值來提取RGB圖像。
4.如權(quán)利要求1所述的圖像融合設(shè)備，其中，通過以下等式來給出由圖像融合單元融合的各個彩色通道R’、G’和B’:
5.如權(quán)利要求4所述的圖像融合設(shè)備，其中，由圖像融合單元進(jìn)行融合而得出的圖像的亮度為強(qiáng)度I，= (R，+G’ +B，)/3。
6.如權(quán)利要求1所述的圖像融合設(shè)備，其中，圖像融合單元被進(jìn)一步配置為根據(jù)輸入圖像的局部或全局特性來調(diào)整融合率。
7.如權(quán)利要求6所述的圖像融合設(shè)備，其中，通過以下等式來給出由圖像融合單元融合的各個彩色通道R’、G’和B’:
R’ =NX (l-α ) XR/(R+G+B) +NX α
G’ =NX (1-α ) XG/(R+G+B) +NX α
B’ =NX (1-α ) XB/(R+G+B) +NX a， 其中，a被實(shí)現(xiàn)為根據(jù)輸入圖像的局部或全局特性而改變。
8.如權(quán)利要求6所述的圖像融合設(shè)備，其中，色彩重建單元通過從包括RGB圖像的R通道、G通道和B通道的彩色通道的所有波段值的每一個去除NIR值來提取可見光波段中的RGB圖像。
9..一種使用多光譜濾光器陣列傳感器的圖像融合方法，所述圖像融合方法包括: 從通過多光譜濾光器陣列傳感器輸入的圖像提取可見光波段中的RGB圖像； 通過多光譜濾光器陣列傳感器的NIR濾光器接收NIR圖像的輸入；計算可見光波段中的RGB圖像的R值、G值和B值中的每一個的大??；根據(jù)計算出的R值、G值和B值中的每一個的大小，將可見光波段中的RGB圖像與NIR圖像進(jìn)行融合。
10.如權(quán)利要求9所述的圖像融合方法，其中，多光譜濾光器陣列傳感器被安裝在包括監(jiān)控相機(jī)的圖像處理設(shè)備上。
11.如權(quán)利要求9所述的圖像融合方法，其中，通過從R值、G值和B值去除通過多光譜濾光器陣列傳感器與R值、G值和B值一起入射的NIR值來提取可見光波段中的RGB圖像。
12.如權(quán)利要求11所述的圖像融合方法，其中，去除NIR值的步驟包括:從包括RGB圖像的R通道、G通道和B通道的彩色通道的所有波段值中的每一個去除NIR值。
13.如權(quán)利要求9所述的圖像融合方法，其中，通過以下等式來給出在融合步驟中融合的各個彩色通道R’、G’和B’:
14.如權(quán)利要求9所述的圖像融合方法，其中，在將可見光波段中的RGB圖像與NIR圖像進(jìn)行融合的步驟中，根據(jù)輸入圖像的局部或全局特性來調(diào)整上述兩個圖像的融合率。
15.如權(quán)利要求14所述的圖像融合方法，其中，通過以下等式來給出通過將可見光波段中的RGB圖像與NIR圖像進(jìn)行融合而融合的各個彩色通道R’、G’和B’:
R’ =NX (l-α ) XR/(R+G+B) +NX α
G’ =NX (1-α ) XG/(R+G+B) +NX α
B’ =NX (1-α ) XB/(R+G+B) +NX a， 其中，a被實(shí)現(xiàn)為根據(jù)輸入圖像的局部或全局特性而改變。
【文檔編號】G06T5/50GK103971351SQ201310487513
【公開日】2014年8月6日 申請日期:2013年10月17日 優(yōu)先權(quán)日:2013年2月4日
【發(fā)明者】崔銀喆 申請人:三星泰科威株式會社