技術(shù)領(lǐng)域

與示例性實(shí)施例一致的設(shè)備和方法涉及通過(guò)分離可見(jiàn)圖像信號(hào)和近紅外圖像信號(hào)來(lái)輸出可見(jiàn)圖像和近紅外圖像的圖像輸出設(shè)備和方法。

背景技術(shù)：

可見(jiàn)圖像和近紅外圖像均包括不同波長(zhǎng)范圍中的信號(hào)。因?yàn)榭梢?jiàn)圖像和近紅外圖像根據(jù)其用途而被不同地使用，所以已經(jīng)有很多努力以在每個(gè)波長(zhǎng)范圍內(nèi)獲得清晰的圖像。例如，為了獲得清晰的可見(jiàn)圖像，圖像輸出設(shè)備可以在透鏡和圖像傳感器之間包括紅外線遮蔽濾光器，以遮蔽近紅外圖像信號(hào)。

此外，根據(jù)相關(guān)領(lǐng)域，使用兩個(gè)獨(dú)立的傳感器和棱鏡來(lái)同時(shí)獲得可見(jiàn)圖像和近紅外圖像。因此，更多的用戶想使用當(dāng)前的設(shè)備來(lái)獲取清晰的可見(jiàn)圖像和近紅外圖像。

技術(shù)實(shí)現(xiàn)要素：

示例性實(shí)施例至少可解決上述問(wèn)題和/或缺點(diǎn)以及上面沒(méi)有描述的其它缺點(diǎn)。此外，示例性實(shí)施例不需要克服上述缺點(diǎn)，并且，可以不克服任何上述問(wèn)題。

示例性實(shí)施例提供一種從可見(jiàn)圖像信號(hào)和近紅外圖像信號(hào)被組合的圖像信號(hào)分離可見(jiàn)圖像信號(hào)和近紅外圖像信號(hào)的圖像輸出設(shè)備和方法。

根據(jù)示例性實(shí)施例的一個(gè)方面，提供一種使用濾色器陣列(CFA)傳感器來(lái)輸出圖像的方法，所述方法包括：通過(guò)CFA傳感器接收4通道組合圖像信號(hào)；以及基于包括被確定為將4通道顏色數(shù)據(jù)轉(zhuǎn)換為3通道顏色數(shù)據(jù)的顏色系數(shù)和基于由近紅外圖像信號(hào)構(gòu)成的4通道信號(hào)確定的權(quán)重系數(shù)的信號(hào)分離系數(shù)，將4通道組合圖像信號(hào)分離為可見(jiàn)圖像信號(hào)和近紅外圖像信號(hào)。所述方法還包括輸出可見(jiàn)圖像信號(hào)和近紅外圖像信號(hào)。

4通道組合圖像信號(hào)可包括4通道可見(jiàn)圖像信號(hào)和1通道近紅外圖像信號(hào)的組合。

顏色系數(shù)可以基于用于將4通道顏色數(shù)據(jù)轉(zhuǎn)換為3通道顏色數(shù)據(jù)的參數(shù)估計(jì)算法而被確定。

參數(shù)估計(jì)算法可以基于至少一次最小二乘估計(jì)被確定。

權(quán)重系數(shù)可以基于根據(jù)從由近紅外圖像信號(hào)構(gòu)成的4通道信號(hào)選擇的第一通道信號(hào)對(duì)通道的各自的比率的計(jì)算而被確定。

所述方法還可以包括將4通道組合圖像信號(hào)插值為包括獨(dú)立的顏色信號(hào)的四色分離的組合圖像信號(hào)中。

所述方法還可以包括同時(shí)從可見(jiàn)圖像信號(hào)輸出可見(jiàn)圖像和從近紅外圖像信號(hào)輸出近紅外圖像。

所述方法還可以包括對(duì)可見(jiàn)圖像信號(hào)執(zhí)行白平衡處理。

所述方法還可包括：計(jì)算包括可見(jiàn)圖像信號(hào)的亮度信息的亮度圖像信號(hào)；計(jì)算計(jì)算出的亮度圖像信號(hào)的亮度平均值；基于比較亮度平均值和參考亮度平均值，校正可見(jiàn)圖像信號(hào)的亮度；以及從亮度被校正的可見(jiàn)圖像信號(hào)輸出可見(jiàn)圖像。

所述方法還可以包括對(duì)近紅外圖像信號(hào)和可見(jiàn)圖像信號(hào)進(jìn)行融合來(lái)校正可見(jiàn)圖像信號(hào)。

一種非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)可以存儲(chǔ)包括使計(jì)算機(jī)執(zhí)行所述方法的指令的程序。

根據(jù)示例性實(shí)施例的一個(gè)方面，提供一種使用濾色器陣列(CFA)傳感器來(lái)輸出圖像的設(shè)備，所述設(shè)備包括：信號(hào)接收器，被配置為通過(guò)CFA傳感器接收4通道組合圖像信號(hào)；以及信號(hào)分離器，被配置為基于包括被確定為將4通道顏色數(shù)據(jù)轉(zhuǎn)換為3通道顏色數(shù)據(jù)的顏色系數(shù)和基于由近紅外圖像信號(hào)構(gòu)成的4通道信號(hào)確定的權(quán)重系數(shù)的信號(hào)分離系數(shù)，將4通道組合圖像信號(hào)分離為可見(jiàn)圖像信號(hào)和近紅外圖像信號(hào)。所述設(shè)備還包括：圖像輸出器，被配置為輸出可見(jiàn)圖像信號(hào)和近紅外圖像信號(hào)。

4通道組合圖像信號(hào)可包括4通道可見(jiàn)圖像信號(hào)和1通道近紅外圖像信號(hào)的組合。

顏色系數(shù)可以基于用于將4通道顏色數(shù)據(jù)轉(zhuǎn)換為3通道顏色數(shù)據(jù)的參數(shù)估計(jì)算法而被確定。

權(quán)重系數(shù)可以基于根據(jù)從由近紅外圖像信號(hào)構(gòu)成的4通道信號(hào)選擇的第一通道信號(hào)對(duì)通道的各自的比例的計(jì)算而被確定。

所述設(shè)備還可以包括：圖像插值器(image interpolator)，被配置為將4通道組合圖像信號(hào)插值到包括獨(dú)立的顏色信號(hào)的四色分離的組合圖像信號(hào)中。

圖像輸出器還可以被配置為同時(shí)從可見(jiàn)圖像信號(hào)輸出可見(jiàn)圖像和從近紅外圖像信號(hào)輸出近紅外圖像。

所述設(shè)備還可以包括：白平衡處理器，被配置為對(duì)可見(jiàn)圖像信號(hào)執(zhí)行白平衡處理。

該設(shè)備還可以包括：亮度計(jì)算器，被配置為計(jì)算包括可見(jiàn)圖像信號(hào)的亮度信號(hào)的亮度圖像信號(hào)；亮度平均值計(jì)算器，被配置為計(jì)算計(jì)算出的亮度圖像信號(hào)的亮度平均值；以及亮度校正器，被配置為基于亮度平均值和參考亮度平均值的比較來(lái)校正可見(jiàn)圖像信號(hào)的亮度，并從亮度被校正的可見(jiàn)圖像信號(hào)輸出可見(jiàn)圖像。

所述設(shè)備還可以包括：圖像校正器，被配置為對(duì)近紅外圖像信號(hào)和可見(jiàn)圖像信號(hào)進(jìn)行融合來(lái)校正可見(jiàn)圖像信號(hào)。

附圖說(shuō)明

通過(guò)參照附圖描述示例性實(shí)施例，上述和/或其它的方面將變得更加清楚，在附圖中：

圖1是根據(jù)示例性實(shí)施例的從4通道組合圖像信號(hào)輸出可見(jiàn)圖像和近紅外圖像的圖像輸出設(shè)備的示意圖；

圖2是根據(jù)示例性實(shí)施例的由圖像輸出設(shè)備執(zhí)行的輸出可見(jiàn)圖像和近紅外圖像的方法的流程圖；

圖3是根據(jù)示例性實(shí)施例的同時(shí)接收可見(jiàn)圖像信號(hào)和近紅外圖像信號(hào)的濾色器陣列(CFA)的示圖；

圖4是根據(jù)示例性實(shí)施例的由圖像輸出設(shè)備接收的4通道組合圖像信號(hào)的示圖；

圖5是用于描述根據(jù)示例性實(shí)施例的通過(guò)使用信號(hào)插值器將4通道組合圖像轉(zhuǎn)換為包括獨(dú)立的顏色信號(hào)的4通道組合圖像信號(hào)的過(guò)程的示圖；

圖6是用于描述根據(jù)示例性實(shí)施例的通過(guò)對(duì)4通道組合圖像信號(hào)進(jìn)行插值生成顏色分離的組合圖像信號(hào)的過(guò)程的示圖；

圖7是用于描述根據(jù)示例性實(shí)施例的對(duì)可見(jiàn)圖像信號(hào)執(zhí)行白平衡處理的示圖；

圖8和圖9是用于描述根據(jù)示例性實(shí)施例的對(duì)可見(jiàn)圖像信號(hào)執(zhí)行亮度調(diào)整的過(guò)程的示圖；

圖10是用于描述根據(jù)示例性實(shí)施例的對(duì)可見(jiàn)圖像信號(hào)執(zhí)行顏色校正的過(guò)程的示圖；

圖11是用于描述根據(jù)示例性實(shí)施例的通過(guò)融合可見(jiàn)圖像信號(hào)和近紅外圖像信號(hào)來(lái)輸出可見(jiàn)圖像的過(guò)程的示圖；以及

圖12是根據(jù)示例性實(shí)施例的圖像輸出設(shè)備的框圖。

具體實(shí)施方式

下面參照附圖更加詳細(xì)地描述示例性實(shí)施例。

在下面的描述中，甚至在不同的圖中，對(duì)于相同的元件也使用相同的附圖標(biāo)記。為了幫助全面地理解示例性實(shí)施例，提供本描述中限定的內(nèi)容，例如，詳細(xì)的結(jié)構(gòu)和元件。但是，顯而易見(jiàn)的是，可以在無(wú)需這些具體限定的內(nèi)容的情況下實(shí)踐示例性實(shí)施例。此外，公知的功能或結(jié)構(gòu)可能沒(méi)有被詳細(xì)地描述，因?yàn)樗鼈儗⒁圆槐匾募?xì)節(jié)使示例性實(shí)施例模糊。

另外，本說(shuō)明書(shū)中描述的諸如“單元”、“器”和“模塊”之類的術(shù)語(yǔ)是指用于執(zhí)行至少一個(gè)功能或操作的元件，并且，可以在硬件、軟件或者硬件和軟件的組合中被實(shí)現(xiàn)。

圖1是根據(jù)示例性實(shí)施例的從4通道組合圖像信號(hào)輸出可見(jiàn)圖像和近紅外圖像的圖像輸出設(shè)備100的示意圖。

如圖1所示，圖像輸出設(shè)備100可以接收4通道組合圖像信號(hào)。

根據(jù)示例性實(shí)施例，圖像輸出設(shè)備100是用于通過(guò)使用濾色器陣列(CFA)傳感器來(lái)輸出圖像的設(shè)備的示例。圖像輸出設(shè)備100的示例可以包括，但不限于，計(jì)算機(jī)，個(gè)人數(shù)字助理(PDA)，便攜式多媒體播放器(PMP)，智能電話，平板計(jì)算機(jī)，電視，智能電視，照相機(jī)，視頻攝像機(jī)和移動(dòng)裝置。

濾色器可能是指通過(guò)從由底部光源發(fā)出的白光以像素單位提取顏色來(lái)允許液晶顯示裝置顯示顏色的濾波器。

根據(jù)示例性實(shí)施例，CFA傳感器可以包括透射可見(jiàn)譜中的光成分的濾色器和透射非可見(jiàn)譜的近紅外譜中的光成分的近紅外濾波器。CFA傳感器可以包括具有四個(gè)通道的顏色通道。

CFA傳感器可以表示將光學(xué)圖像轉(zhuǎn)換為電信號(hào)的半導(dǎo)體裝置。CFA傳感器可以被包括在但不限于互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)傳感器或電荷耦合器件(CCD)傳感器中。根據(jù)示例性實(shí)施例，CFA傳感器可以是指通常在圖像輸出設(shè)備100中使用的傳感器。

CMOS傳感器可以是指利用CMOS技術(shù)的開(kāi)關(guān)型傳感器，其中，控制電路和信號(hào)處理電路用作外圍電路。開(kāi)關(guān)型傳感器可以使用CMOS技術(shù)創(chuàng)建與像素?cái)?shù)目一樣多的MOS晶體管，并且通過(guò)使用MOS晶體管來(lái)順序地檢測(cè)輸出。

CCD可以是其中MOS電容器彼此相鄰并且電荷載流子被存儲(chǔ)在MOS電容器且由其傳輸?shù)难b置。

根據(jù)示例性實(shí)施例，CFA傳感器可以包括4通道CFA。根據(jù)示例性實(shí)施例，4通道CFA可以表示補(bǔ)色過(guò)濾。例如，4通道CFA可以包括CMYG濾色器。CMYG可以是指四種顏色，包括青色、品紅色、黃色和綠色。青色、品紅色和黃色可以包括三原色，即，青色可以包括綠色和藍(lán)色，品紅色可以包括紅色和藍(lán)色，并且，黃色可以包括紅色和綠色。但是，四通道中的顏色并不限于上述顏色。

圖像輸出設(shè)備100可以接收4通道組合圖像信號(hào)，4通道組合圖像信號(hào)包括其中4通道可見(jiàn)圖像信號(hào)和1通道近紅外圖像信號(hào)被組合的4通道組合圖像信號(hào)。此外，接收到的4通道組合圖像信號(hào)可以包括由圖像輸出設(shè)備100通過(guò)顏色通道濾波器接收到的信號(hào)。4通道組合圖像信號(hào)可包括包含4通道顏色信號(hào)和近紅外圖像信號(hào)的信號(hào)。

可見(jiàn)圖像信號(hào)是人眼可識(shí)別的波長(zhǎng)范圍中的光。物理光是人眼可識(shí)別為顏色的波長(zhǎng)范圍中的光譜，并且，可以表示具有在約380nm至780nm的范圍中的波長(zhǎng)的電磁波。也就是說(shuō)，可見(jiàn)圖像信號(hào)可以表示人眼可識(shí)別的波長(zhǎng)范圍。

當(dāng)由太陽(yáng)或其他熱源發(fā)出的光被分散成光譜時(shí)，紅外線位于紅色光譜的邊緣之外。具有0.75μm至3μm的波長(zhǎng)的紅外線被稱為就紅外線。紅外線可以用于工業(yè)或醫(yī)學(xué)用途，因?yàn)榧t外線具有比可見(jiàn)光線或紫外線強(qiáng)的熱效應(yīng)。此外，近紅外線包括電子譜，并且，除了熱效應(yīng)以外還具有攝影效應(yīng)、光電效應(yīng)和熒光效應(yīng)。因此，攝影標(biāo)志、光電單元、光電管和熱電偶可用于近紅外線檢測(cè)。

根據(jù)示例性實(shí)施例的圖像輸出設(shè)備100可以不包括紅外(IR)濾波器。IR濾波器可以是用于遮蔽紅外信號(hào)的濾波器。人眼只能識(shí)別電磁波范圍內(nèi)(即，380nm至770nm的范圍中)的可見(jiàn)光線。此外，由于對(duì)藍(lán)色、綠色和紅色敏感的光接收細(xì)胞，人眼可以區(qū)分各種顏色。但是，CCD傳感器可以識(shí)別比人眼寬的范圍中的波長(zhǎng)為光。因此，由圖像輸出設(shè)備100光感測(cè)的圖像包括具有被檢測(cè)為光但人眼不可見(jiàn)的770nm或更大的波長(zhǎng)的紅外區(qū)域，該圖像可以顯示與通過(guò)人眼顯示的場(chǎng)景不同的場(chǎng)景。因此，為了使圖像輸出設(shè)備100輸出與人類識(shí)別的圖像一樣的圖像，圖像輸出設(shè)備100可以包括用于遮蔽紅外信號(hào)的IR濾波器。但是，由于根據(jù)示例性實(shí)施例的圖像輸出設(shè)備100控制通過(guò)CFA傳感器接收到的組合圖像信號(hào)，所以IR濾波器可以不被包括。

圖像輸出設(shè)備100可以使用沒(méi)有IR濾波器的一個(gè)CFA傳感器來(lái)接收4通道組合圖像信號(hào)。圖像輸出設(shè)備100可以輸出可見(jiàn)圖像和近紅外圖像。圖像輸出設(shè)備100可以通過(guò)執(zhí)行圖像分離處理來(lái)獲得具有不同波長(zhǎng)的兩個(gè)獨(dú)立圖像。

圖2是根據(jù)示例性實(shí)施例的由圖像輸出設(shè)備100執(zhí)行的輸出可見(jiàn)圖像和近紅外圖像的方法的流程圖。

參照?qǐng)D2，圖像輸出設(shè)備100可以接收4通道組合圖像信號(hào)并將4通道組合圖像信號(hào)分離為可見(jiàn)圖像信號(hào)和近紅外圖像信號(hào)。

在操作S210中，圖像輸出設(shè)備100可以通過(guò)CFA傳感器接收4通道組合圖像信號(hào)。

根據(jù)示例性實(shí)施例，CFA傳感器可以包括CMYG互補(bǔ)濾色器。

4通道組合圖像信號(hào)可以是指包括可見(jiàn)光線顏色信號(hào)和紅外信號(hào)的圖像信號(hào)。四種可見(jiàn)光線顏色信號(hào)可包括CMYG顏色信號(hào)，但不限于此。

根據(jù)示例性實(shí)施例，圖像輸出設(shè)備100可以不包括用于遮蔽紅外信號(hào)的IR濾波器。此外，圖像輸出設(shè)備100可以不包括用于物理上分離紅外信號(hào)的分束器棱鏡。因此，可以減小圖像輸出設(shè)備100的尺寸和制造成本。

在操作S220中，根據(jù)示例性實(shí)施例的圖像輸出設(shè)備100可以基于信號(hào)分離系數(shù)分離可見(jiàn)圖像信號(hào)和近紅外圖像信號(hào)。信號(hào)分離系數(shù)可以包括被確定為將4通道顏色數(shù)據(jù)變?yōu)?通道顏色數(shù)據(jù)的顏色系數(shù)和基于由近紅外圖像信號(hào)構(gòu)成的4通道信號(hào)確定的權(quán)重系數(shù)。

根據(jù)示例性實(shí)施例，信號(hào)分離系數(shù)可以表示包括12個(gè)顏色系數(shù)和4個(gè)權(quán)重系數(shù)的信號(hào)分離矩陣。方程1是示出通過(guò)使用信號(hào)分離系數(shù)分離可見(jiàn)圖像信號(hào)和近紅外圖像信號(hào)的示例性實(shí)施例。

[方程1]

根據(jù)示例性實(shí)施例，C'(i,j)、M'(i,j)、Y'(i,j)和G'(i,j)可以表示像素(i,j)的顏色分離的組合圖像信號(hào)。例如，C'(i,j)可以表示通過(guò)插值近紅外圖像信號(hào)和青色信號(hào)而獲得的數(shù)據(jù)。

在這種情況下，圖像輸出設(shè)備100可以通過(guò)接收4通道組合圖像信號(hào)并通過(guò)執(zhí)行圖像信號(hào)插值操作將該圖像信號(hào)分離為四種顏色來(lái)獲得顏色分離的組合圖像信號(hào)。顏色分離的組合圖像信號(hào)可以表示其中組合了近紅外圖像信號(hào)和顏色信號(hào)(G,M,Y和C)的信號(hào)。下面將參照?qǐng)D6描述該處理。

根據(jù)示例性實(shí)施例，α₁₁至α₄₃可以表示顏色系數(shù)。此外，ω₁至ω₄可以表示權(quán)重系數(shù)。根據(jù)示例性實(shí)施例的信號(hào)分離系數(shù)可以是4×4矩陣。

根據(jù)示例性實(shí)施例，R(i,j)、G(i,j)和B(i,j)可以是由圖像輸出設(shè)備100從4通道組合圖像信號(hào)分離的第(i,j)個(gè)可見(jiàn)圖像信號(hào)。

根據(jù)示例性實(shí)施例，NIR(i,j)可以是由圖像輸出設(shè)備100從4通道組合圖像信號(hào)分離的近紅外圖像信號(hào)(i,j)。

方程2是用于從4通道組合圖像信號(hào)分離可見(jiàn)圖像信號(hào)和近紅外圖像信號(hào)的方程。

[方程2]

如方程2所示，可見(jiàn)圖像信號(hào)和近紅外圖像信號(hào)可以基于信號(hào)分離系數(shù)的逆矩陣和顏色分離的組合圖像信號(hào)的乘積來(lái)被分離。換句話說(shuō)，圖像輸出設(shè)備100可以使用方程2從其中可見(jiàn)圖像信號(hào)和近紅外圖像信號(hào)被組合的顏色分離的組合圖像信號(hào)分離可見(jiàn)圖像信號(hào)和近紅外圖像信號(hào)。

基于根據(jù)示例性實(shí)施例使用方程2的計(jì)算，不包括近紅外圖像信號(hào)的可見(jiàn)圖像信號(hào)可以從包括近紅外圖像信號(hào)的4通道組合圖像信號(hào)被分離。此外，只包括近紅外圖像信號(hào)的近紅外圖像信號(hào)可以被分離。

方程3用于獲得信號(hào)分離系數(shù)的矩陣中的顏色系數(shù)B。方程4用于從樣本可見(jiàn)光線數(shù)據(jù)矩陣計(jì)算顏色系數(shù)。

[方程3]

[方程4]

A＝BC

B＝AC^-+

C^-+：C^T(CC^T)^-1

顏色系數(shù)B用于將樣本4通道數(shù)據(jù)轉(zhuǎn)換為樣本3通道數(shù)據(jù)。使用顏色系數(shù)B從4通道組合圖像信號(hào)分離可見(jiàn)圖像信號(hào)。

這里，顏色系數(shù)B可以通過(guò)應(yīng)用參數(shù)估計(jì)算法來(lái)確定，以將4通道顏色數(shù)據(jù)A轉(zhuǎn)換為3通道顏色數(shù)據(jù)C。

參數(shù)估計(jì)算法可以通過(guò)執(zhí)行實(shí)驗(yàn)和多次實(shí)驗(yàn)數(shù)據(jù)計(jì)算來(lái)確定以獲得顏色系數(shù)。參數(shù)估計(jì)算法可以是用于從多個(gè)4通道顏色數(shù)據(jù)實(shí)驗(yàn)值獲得3通道顏色數(shù)據(jù)的參數(shù)的算法。

參數(shù)估計(jì)算法可以包括通過(guò)應(yīng)用最小二乘估計(jì)至少一次而確定的值，但不限于此。最小二乘估計(jì)是確定使觀察值和擬合值之間的差的和最小化的參數(shù)的方法?？梢允褂米钚《斯烙?jì)來(lái)組織過(guò)去的數(shù)據(jù)并預(yù)測(cè)將來(lái)何時(shí)執(zhí)行各種動(dòng)作。執(zhí)行最小二乘估計(jì)，使得從數(shù)據(jù)和方程得到的數(shù)值的殘差平方的和被最小化。

基于方程3，通過(guò)將顏色系數(shù)B的矩陣和樣本3通道可見(jiàn)光線數(shù)據(jù)C的矩陣相乘來(lái)獲得樣本4通道可見(jiàn)圖像信號(hào)數(shù)據(jù)A。

基于方程4，可以通過(guò)改變樣本3通道可見(jiàn)光線數(shù)據(jù)C的逆矩陣的行和列并將樣本3通道可見(jiàn)光線數(shù)據(jù)C的逆矩陣的共軛復(fù)數(shù)和樣本4通道可見(jiàn)圖像信號(hào)數(shù)據(jù)A相乘來(lái)獲得顏色系數(shù)B。

例如，改變逆矩陣的行和列可以表示逆矩陣的(1,3)處的值被重新定位到逆矩陣的(3,1)，并且，逆矩陣的(3,1)處的值被重新定位到逆矩陣的(1,3)。

根據(jù)示例性實(shí)施例，樣本4通道可見(jiàn)圖像信號(hào)數(shù)據(jù)A可以表示預(yù)估計(jì)的樣本4通道數(shù)據(jù)。此外，樣本3通道可見(jiàn)光線數(shù)據(jù)C可以表示預(yù)估計(jì)的樣本3通道數(shù)據(jù)。使用顏色系數(shù)B將預(yù)估計(jì)的樣本4通道數(shù)據(jù)轉(zhuǎn)換為預(yù)估計(jì)的樣本3通道數(shù)據(jù)。

根據(jù)示例性實(shí)施例，提供將CMYG色空間轉(zhuǎn)換為RGB色空間作為一個(gè)示例。但是，示例性實(shí)施例并不限于此。根據(jù)示例性實(shí)施例，4通道顏色通道和3通道顏色通道的類型不受限制。例如，XYZ空間和YCbCr空間也可以相同的方式被轉(zhuǎn)換。

方程5和6用于計(jì)算權(quán)重系數(shù)。

[方程5]

[方程6]

ω₁＝μ_CG×ω₄,

ω₂＝μ_MG×ω₄,

ω₃＝μ_YG×ω₄,

ω₄＝β

根據(jù)示例性實(shí)施例，通過(guò)使用CMYG CFA來(lái)接收用來(lái)計(jì)算近紅外權(quán)重系數(shù)的4通道信號(hào)。但是，示例性實(shí)施例并不限于此。

方程5和6中的C、M、Y和G信號(hào)值可以是只在近紅外光譜中包括的信號(hào)值。C、M、Y和G信號(hào)值可以是只包括近紅外圖像信號(hào)而沒(méi)有可見(jiàn)圖像信號(hào)的4通道圖像信號(hào)。例如，C、M、Y和G信號(hào)值可以通過(guò)只將850nm近紅外LED光源投射到CFA來(lái)獲得。例如，C、M、Y和G信號(hào)值可以被增強(qiáng)，并且，每一個(gè)都可以包括增強(qiáng)的近紅外(NIR)信號(hào)。

根據(jù)方程5，可以基于一個(gè)通道值來(lái)計(jì)算每一個(gè)通道的比率。例如，可以獲得C、M和Y通道相對(duì)于G信號(hào)值的比率。根據(jù)示例性實(shí)施例，μ_CG可以通過(guò)計(jì)算G信號(hào)值相對(duì)于C信號(hào)值的平均值來(lái)獲得。此外，μ_MG可以通過(guò)計(jì)算G信號(hào)值相對(duì)于M信號(hào)值的平均值來(lái)獲得，并且，μ_YG可以通過(guò)計(jì)算G信號(hào)值相對(duì)于Y信號(hào)值的平均值來(lái)獲得。

根據(jù)示例性實(shí)施例，權(quán)重系數(shù)ω₁至ω₄是基于方程6。根據(jù)示例性實(shí)施例，權(quán)重系數(shù)中的每一個(gè)可以基于除其自身以外的權(quán)重系數(shù)來(lái)計(jì)算?？梢允褂媒t外權(quán)重系數(shù)來(lái)確定近紅外圖像的亮度。

根據(jù)示例性實(shí)施例，權(quán)重系數(shù)ω₁至ω₄中的任何一個(gè)可以被設(shè)置為參考權(quán)重值，并且，其他的權(quán)重系數(shù)可以基于該參考權(quán)重值來(lái)被確定。

根據(jù)示例性實(shí)施例，圖像輸出設(shè)備100可以將ω₄設(shè)置為參考權(quán)重值。例如，ω₄可以被設(shè)置為但不限于1。

在操作S230中，圖像輸出設(shè)備100可以輸出分離的可見(jiàn)圖像信號(hào)和分離的近紅外圖像信號(hào)。此外，可以從可見(jiàn)圖像信號(hào)輸出可見(jiàn)圖像，并且，可以從近紅外圖像信號(hào)輸出近紅外圖像。

圖像輸出設(shè)備100可以從近紅外圖像信號(hào)輸出近紅外圖像，由此確定確定食物分解或區(qū)分植物的一部分。因?yàn)閳D像輸出設(shè)備100可以通過(guò)計(jì)算方程而無(wú)需用于分離近紅外圖像的物理裝置來(lái)分離近紅外圖像，所以圖像輸出設(shè)備100可以以低成本地輸出近紅外圖像。

圖像輸出設(shè)備100可以同時(shí)輸出可見(jiàn)圖像和近紅外圖像。因?yàn)閳D像輸出設(shè)備100可以同時(shí)從4通道組合圖像信號(hào)輸出可見(jiàn)圖像和近紅外圖像，所以可能不需要對(duì)前述圖像之間的捕獲角差和時(shí)間差進(jìn)行校正。

圖3是根據(jù)示例性實(shí)施例的同時(shí)接收可見(jiàn)圖像信號(hào)和近紅外圖像信號(hào)的CFA的示圖。

根據(jù)示例性實(shí)施例，圖像輸出設(shè)備100可以不包括包含遮蔽紅外信號(hào)的IR濾波器的獨(dú)立的傳感器、半反射鏡和IR帶通濾波器。

根據(jù)示例性實(shí)施例，圖像輸出設(shè)備100可以通過(guò)CFA接收包括近紅外圖像信號(hào)和可見(jiàn)圖像信號(hào)的組合圖像信號(hào)。

根據(jù)示例性實(shí)施例，圖像輸出設(shè)備100中使用的CFA可以被包括在但不限于CMOS傳感器或CCD傳感器中。

根據(jù)示例性實(shí)施例，圖像輸出設(shè)備100中使用的CFA可以具有平面形狀。

根據(jù)示例性實(shí)施例，因?yàn)閳D像輸出設(shè)備100包括廣泛使用的CMOS傳感器或CCD傳感器，所以可以減小圖像輸出設(shè)備100的尺寸和制造成本。

例如，圖像輸出設(shè)備100可以包括但不限于CMOS傳感器或CCD傳感器和CMYG互補(bǔ)濾色器。

圖4是根據(jù)示例性實(shí)施例的由圖像輸出設(shè)備100接收的4通道組合圖像信號(hào)的示圖。

根據(jù)示例性實(shí)施例，圖像輸出設(shè)備100可以接收包括近紅外圖像信號(hào)和可見(jiàn)圖像信號(hào)二者的4通道組合圖像信號(hào)。例如，圖像輸出設(shè)備100可以通過(guò)包括4通道CFA的CMOS傳感器或CCD傳感器接收包括近紅外圖像信號(hào)和可見(jiàn)圖像信號(hào)的4通道組合圖像信號(hào)。

根據(jù)示例性實(shí)施例，圖像輸出設(shè)備100可以通過(guò)使用CMYG互補(bǔ)濾色器來(lái)接收4通道組合圖像信號(hào)。因?yàn)閳D像輸出設(shè)備100不包括紅外線遮蔽濾波器，所以4通道組合圖像信號(hào)可以包括近紅外圖像信號(hào)和可見(jiàn)圖像信號(hào)。

如圖4所示，4通道組合圖像信號(hào)可以通過(guò)包括四個(gè)2x2顏色通道的CFA來(lái)接收。

根據(jù)示例性實(shí)施例，4通道組合圖像信號(hào)可以是其中C、M、Y和G通道與將近紅外信號(hào)NIR組合的信號(hào)。圖像輸出設(shè)備100可以接收其中可見(jiàn)圖像信號(hào)和近紅外圖像信號(hào)被組合的4通道組合圖像信號(hào)并從4通道組合圖像信號(hào)分離可見(jiàn)圖像信號(hào)和近紅外圖像信號(hào)。

圖5是用于描述根據(jù)示例性實(shí)施例的通過(guò)使用信號(hào)插值器將4通道組合圖像信號(hào)轉(zhuǎn)換為包括獨(dú)立的顏色信號(hào)的4通道組合圖像信號(hào)的過(guò)程的示圖。

圖6是用于描述根據(jù)示例性實(shí)施例的通過(guò)對(duì)4通道組合圖像信號(hào)進(jìn)行插值來(lái)生成顏色分離的組合圖像信號(hào)的過(guò)程的示圖。

以下，將參照?qǐng)D5和圖6描述對(duì)4通道組合圖像信號(hào)進(jìn)行插值的處理。但是，插值處理并不限于下面的描述。

圖像輸出設(shè)備100的信號(hào)插值器120可以接收4通道組合圖像信號(hào)，并通過(guò)執(zhí)行插值處理來(lái)輸出包括四個(gè)獨(dú)立的組合圖像的顏色分離的組合圖像信號(hào)。

根據(jù)示例性實(shí)施例，圖像輸出設(shè)備100可以包括包含CMYG互補(bǔ)濾色器的CFA。這里，因?yàn)閳D像輸出設(shè)備100可能無(wú)法檢測(cè)不是由像素表示而是由CFA表示的光的顏色，所以圖像輸出設(shè)備100可以對(duì)通過(guò)CFA的4通道組合圖像信號(hào)進(jìn)行插值。信號(hào)插值器120的插值處理可以在信號(hào)分離之前(即，在4通道組合圖像被輸入到信號(hào)分離器130之前)被執(zhí)行。

根據(jù)示例性實(shí)施例，圖6的(1)示出通過(guò)CFA的4通道組合圖像信號(hào)，圖6的(2)示出用于對(duì)4通道組合圖像信號(hào)進(jìn)行插值的中間操作，圖6的(3)示出被插值的顏色分離的組合圖像信號(hào)。

圖6的(1)中的4通道組合圖像信號(hào)可以包括G+NIR、M+NIR、Y+NIR和C+NIR通道。

通過(guò)執(zhí)行插值，如圖6的(2)所示，圖像輸出設(shè)備100將G+NIR、M+NIR、Y+NIR和C+NIR分離為獨(dú)立信號(hào)。例如，在G+NIR信號(hào)中，只有包括NIR信號(hào)的G顏色信號(hào)可以從4通道組合圖像信號(hào)獨(dú)立地分離。

圖像輸出設(shè)備100可以通過(guò)使用分離的獨(dú)立信號(hào)來(lái)生成顏色分離的組合圖像信號(hào)。根據(jù)示例性實(shí)施例，圖像輸出設(shè)備100可以對(duì)G+NIR、M+NIR、Y+NIR和C+NIR信號(hào)執(zhí)行插值。例如，圖像輸出設(shè)備100可以通過(guò)確定表示G顏色的像素和另一個(gè)像素的平均光量來(lái)填充不表示獨(dú)立分離的G+NIR信號(hào)中的G顏色的像素。CMOS傳感器可以包括一組中的四個(gè)像素。第一組中的像素可以分別負(fù)責(zé)G+NIR、M+NIR、Y+NIR和C+NIR信號(hào)。因此，包括紅外信號(hào)的G、M、Y和C顏色像素被包括在第一組中。也就是說(shuō)，在24百萬(wàn)像素傳感器中，6百萬(wàn)像素可以只表示G顏色，另6百萬(wàn)像素可以只表示M顏色，另6百萬(wàn)像素可以只表示Y顏色，剩余的6百萬(wàn)像素可以只表示C顏色。圖像信號(hào)可以通過(guò)隨機(jī)地添加省略的顏色來(lái)進(jìn)行插值。

在這種插值之后，可以獲得包括獨(dú)立的顏色信號(hào)的顏色分離的組合圖像信號(hào)，如圖6的(3)所示。

由圖像輸出設(shè)備100執(zhí)行的插值可以包括，例如，雙線性插值。雙線性插值是使用表示顏色的像素和該像素周圍的光量之間的關(guān)系的顏色插值方法?？商娲兀瑘D像輸出設(shè)備100可以執(zhí)行不會(huì)如相關(guān)領(lǐng)域的雙線性插值方法中一樣降低分辨率的改進(jìn)的雙線性插值方法。

根據(jù)示例性實(shí)施例，圖像輸出設(shè)備100可以執(zhí)行可計(jì)算G、M、Y和C顏色像素的各自光量的任何類型的插值方法。

圖像輸出設(shè)備100可以通過(guò)計(jì)算包括被插值的顏色分離的組合圖像信號(hào)的權(quán)重系數(shù)和顏色系數(shù)的信號(hào)分離系數(shù)來(lái)分離可見(jiàn)圖像信號(hào)和近紅外圖像信號(hào)。

圖7是用于描述根據(jù)示例性實(shí)施例的對(duì)可見(jiàn)圖像信號(hào)執(zhí)行白平衡處理的過(guò)程的示圖。

如圖7所示，4通道組合圖像信號(hào)被信號(hào)分離器130分離為可見(jiàn)圖像信號(hào)和近紅外圖像信號(hào)。信號(hào)分離器130可以從4通道組合圖像信號(hào)輸出3通道可見(jiàn)圖像信號(hào)和1通道近紅外圖像信號(hào)。

由于可見(jiàn)圖像信號(hào)是從與近紅外圖像信號(hào)組合的信號(hào)分離的，所以可見(jiàn)圖像可能會(huì)稍紅。因?yàn)閳D像輸出設(shè)備100不包括用于遮蔽近紅外線的IR濾波器或熱反射鏡，所以可見(jiàn)圖像可能會(huì)受近紅外圖像信號(hào)的影響并由此以紅色輸出。

白平衡處理器141可以對(duì)可見(jiàn)圖像信號(hào)執(zhí)行白平衡處理并以較不紅的顏色輸出可見(jiàn)圖像?？梢允褂卯?dāng)前已知的白平衡處理方法，但是，示例性實(shí)施例并不限于此。

例如，白平衡處理器141可以通過(guò)使用如方程7所示的灰度世界算法來(lái)執(zhí)行白平衡處理，但不限于此。

[方程7]

在方程7中，R(i,j)、G(i,j)和B(i,j)可以是由信號(hào)分離器130分離且被輸入到白平衡處理器141的可見(jiàn)圖像信號(hào)。也就是說(shuō)，R(i,j)、G(i,j)和B(i,j)可以是未經(jīng)白平衡處理的可見(jiàn)圖像信號(hào)。

R_AWB(i，j),G_AWB(i，j)，和B_AWB(i，j)可以是經(jīng)過(guò)白平衡處理的可見(jiàn)圖像信號(hào)R(i,j)、G(i,j)和B(i,j)。

白平衡處理器141可以調(diào)整顏色平衡，使得在隨機(jī)光源下捕獲的白色物體的顏色以與在太陽(yáng)光下捕獲的白色物體一樣的顏色被觀察到。

圖8和圖9是用于描述根據(jù)示例性實(shí)施例的對(duì)可見(jiàn)圖像信號(hào)執(zhí)行亮度調(diào)整的過(guò)程的示圖。

如圖7所示，4通道組合圖像信號(hào)可以通過(guò)信號(hào)分離器130并被分離為可見(jiàn)圖像信號(hào)和近紅外圖像信號(hào)。信號(hào)分離器130可以從4通道組合圖像信號(hào)輸出3通道可見(jiàn)圖像信號(hào)和1通道近紅外圖像信號(hào)。

圖像輸出設(shè)備100可以從3通道可見(jiàn)圖像信號(hào)輸出可見(jiàn)圖像并從1通道近紅外圖像信號(hào)輸出近紅外圖像。在這種情況下，可見(jiàn)圖像可以比預(yù)設(shè)的參考低的亮度被輸出。

亮度調(diào)整處理器142可以接收可見(jiàn)圖像并將可見(jiàn)圖像的亮度改變?yōu)轭A(yù)設(shè)的亮度。圖像輸出設(shè)備100可以計(jì)算可見(jiàn)圖像信號(hào)的亮度，計(jì)算平均亮度，將平均亮度與預(yù)設(shè)的亮度進(jìn)行比較，校正該亮度，由此輸出相對(duì)更自然的圖像。

根據(jù)示例性實(shí)施例，被輸入到亮度調(diào)整處理器142的圖像信號(hào)可以包括經(jīng)過(guò)白平衡處理的可見(jiàn)圖像信號(hào)。

根據(jù)示例性實(shí)施例，亮度調(diào)整處理器142可以包括亮度計(jì)算器143、亮度平均值計(jì)算器144和亮度校正器145。

亮度計(jì)算器143可以從可見(jiàn)圖像信號(hào)計(jì)算包括圖像亮度信息的亮度圖像。亮度圖像可以通過(guò)使用但不限于YCbCr計(jì)算方法來(lái)計(jì)算。

亮度是指具有一范圍的光源的光的強(qiáng)度除以光源的面積，并且可以表示光源的亮度。亮度可以隨著波長(zhǎng)而變，并且，可以與人眼的敏感度有關(guān)。

亮度平均值計(jì)算器144可以計(jì)算由亮度計(jì)算器143計(jì)算出的亮度圖像的平均值。

亮度校正器145可以比較亮度圖像的計(jì)算出的平均值和亮度圖像的預(yù)設(shè)的平均值，校正可見(jiàn)圖像的亮度并輸出可見(jiàn)圖像。亮度校正器145可以基于亮度圖像的預(yù)設(shè)的平均值與由亮度平均值計(jì)算器144計(jì)算出的亮度圖像的平均值之比來(lái)改變可見(jiàn)圖像的亮度。

根據(jù)示例性實(shí)施例，圖像輸出設(shè)備100可以改善由亮度調(diào)整處理器142輸出的可見(jiàn)圖像的暗部分的顏色。

圖像輸出設(shè)備100可以減少噪聲并增強(qiáng)亮度被調(diào)整的可見(jiàn)圖像的像素的顏色信息，其中，所述像素的亮度難以被改善的像素的。

根據(jù)示例性實(shí)施例，圖像輸出設(shè)備100可以計(jì)算亮度被調(diào)整的可見(jiàn)圖像中的R(i,j)、G(i,j)和B(i,j)信號(hào)中的每一個(gè)的第i和第j像素的塊的平均值。

當(dāng)所述塊的計(jì)算出的平均值大于所述塊的預(yù)設(shè)的平均值時(shí)，圖像輸出設(shè)備100可以確定所述塊的計(jì)算出的平均值作為像素值來(lái)提高圖像質(zhì)量。當(dāng)所述塊的計(jì)算出的平均值小于所述塊的預(yù)設(shè)的平均值時(shí)，圖像輸出設(shè)備100可以確定所有塊中的具有相對(duì)較高的像素值的k個(gè)塊。圖像輸出設(shè)備100可以確定k個(gè)塊的平均值作為像素值，由此提高圖像質(zhì)量。

圖10是用于描述根據(jù)示例性實(shí)施例的對(duì)可見(jiàn)圖像信號(hào)執(zhí)行顏色校正的過(guò)程的示圖。

如圖10所示，4通道組合圖像信號(hào)可以由信號(hào)分離器130分離為可見(jiàn)圖像信號(hào)和近紅外圖像信號(hào)。信號(hào)分離器130可以從4通道組合圖像信號(hào)輸出3通道可見(jiàn)圖像信號(hào)和1通道近紅外圖像信號(hào)。

根據(jù)示例性實(shí)施例，被輸入到顏色校正器146的圖像信號(hào)可以包括經(jīng)過(guò)白平衡處理的可見(jiàn)圖像信號(hào)。根據(jù)示例性實(shí)施例，被輸入到顏色校正器146的圖像信號(hào)可以包括經(jīng)過(guò)亮度調(diào)整的可見(jiàn)圖像信號(hào)。

顏色校正器146可以在初始階段比較可見(jiàn)圖像信號(hào)和4通道組合圖像信號(hào)，并由此校正可見(jiàn)圖像的顏色和亮度。

顏色校正器146可以接收4通道組合圖像信號(hào)，并計(jì)算4通道組合圖像信號(hào)的亮度和色度圖像。此外，顏色校正器146可以接收可見(jiàn)圖像信號(hào)并計(jì)算該可見(jiàn)圖像信號(hào)的亮度和色度圖像。

這里，顏色差計(jì)算和亮度計(jì)算可以基于計(jì)算YCbCr樣本的方法來(lái)執(zhí)行，但不限于此。

此外，顏色校正器146可以比較4通道組合圖像信號(hào)的亮度和可見(jiàn)圖像信號(hào)的亮度，并由此校正可見(jiàn)圖像信號(hào)的亮度。

此外，顏色校正器146可以比較4通道組合圖像信號(hào)的色度圖像的平均值和可見(jiàn)圖像信號(hào)的色度圖像的平均值。因此，圖像輸出設(shè)備100可以輸出具有改善的色度和亮度的可見(jiàn)圖像。

圖11是用于描述根據(jù)示例性實(shí)施例的通過(guò)融合可見(jiàn)圖像信號(hào)和近紅外圖像信號(hào)來(lái)輸出可見(jiàn)圖像的過(guò)程的示圖。

圖像輸出設(shè)備100可以融合近紅外圖像信號(hào)和可見(jiàn)圖像信號(hào)來(lái)從在照度低時(shí)輸入的4通道組合圖像信號(hào)輸出清晰的可見(jiàn)圖像。

根據(jù)示例性實(shí)施例，圖像輸出設(shè)備100可以通過(guò)將近紅外圖像信號(hào)NIR與從4通道組合圖像信號(hào)分離的可見(jiàn)圖像信號(hào)R、G和B相加來(lái)執(zhí)行圖像融合。根據(jù)示例性實(shí)施例，圖像輸出設(shè)備100可以通過(guò)組合相同的近紅外信號(hào)與R、G和B像素來(lái)執(zhí)行圖像融合。圖像融合方法并不限于前述的示例性實(shí)施例。

當(dāng)可見(jiàn)圖像信號(hào)R、G和B與近紅外圖像信號(hào)NIR融合時(shí)，可以減少可見(jiàn)圖像信號(hào)R、G和B之間的像素差，由此可以減少可見(jiàn)圖像的色度。

因此，針對(duì)R、G和B像素中的每一個(gè)的尺寸比例，可見(jiàn)圖像信號(hào)可以由近紅外像素輸出。

根據(jù)示例性實(shí)施例，RGB圖像和近紅外圖像可以如方程8一樣被融合。

[方程8]

方程8中的k如下：

根據(jù)示例性實(shí)施例，當(dāng)RGB圖像和近紅外圖像如方程8一樣被融合時(shí)，圖像的I'(光強(qiáng)度)如下面的方程9所示。

[方程9]

I'＝(R'+G'+B')/3＝I+N

在方程9中，“I”可以表示RGB圖像的亮度并滿足I＝(R+G+B)/3，“N”可以表示近紅外圖像的亮度。

根據(jù)示例性實(shí)施例，通過(guò)根據(jù)方程8對(duì)RGB圖像和近紅外圖像進(jìn)行融合而獲得的圖像可以具有與根據(jù)相關(guān)領(lǐng)域融合的圖像一樣的亮度，并且，可以保持原始圖像的色度。

根據(jù)示例性實(shí)施例，當(dāng)RGB圖像和近紅外圖像被融合時(shí)，可以根據(jù)圖像屬性或圖像應(yīng)用領(lǐng)域來(lái)調(diào)整亮度和顏色的靈敏度。

根據(jù)示例性實(shí)施例，RGB圖像和近紅外圖像可以基于方程10被融合。

[方程10]

R'＝N*(1-α)*R/(R+G+B)+N*α

G'＝N*(1-α)*G/(R+G+B)+N*α

B'＝N*(1-α)*B/(R+G+B)+N*α

方程10中的α值滿足0≤α≤1。

根據(jù)示例性實(shí)施例，基于方程10，在白天模式中，可以通過(guò)降低α值和增加R、G和B像素的值來(lái)輸出圖像，并且，在夜間模式中，可以通過(guò)增加α值和使用近紅外像素信息來(lái)輸出黑白圖像使得可見(jiàn)圖像的靈敏度被提高。

另外，可以分析4通道組合圖像信號(hào)的局部屬性或全局屬性來(lái)調(diào)整α值，使得顏色的靈敏度或亮度被調(diào)整。

α值可以基于可見(jiàn)圖像中的區(qū)域的亮度統(tǒng)計(jì)結(jié)果或常數(shù)值來(lái)確定。可替代地，用戶可以根據(jù)可見(jiàn)圖像的個(gè)人期望的條件來(lái)確定α值。例如，用戶可以在要獲取大量的近紅外圖像信息時(shí)增加α值，并在要獲取大量的RGB圖像信息時(shí)降低α值。

根據(jù)α值，圖像輸出設(shè)備100可以如方程10一樣對(duì)RGB圖像和近紅外圖像進(jìn)行融合并輸出最終可見(jiàn)圖像。方程10示出根據(jù)圖像屬性調(diào)整對(duì)可見(jiàn)圖像信號(hào)(RGB圖像信號(hào))和近紅外圖像信號(hào)(NIR圖像信號(hào))進(jìn)行融合的比例的示例?？梢杂酶鞣N方式修改示例性實(shí)施例。

圖12是根據(jù)示例性實(shí)施例的圖像輸出設(shè)備100的框圖。

參照?qǐng)D12，圖像輸出設(shè)備100可以包括信號(hào)接收器110、信號(hào)插值器120、信號(hào)分離器130、圖像校正器140、圖像輸出器150和存儲(chǔ)器160。

信號(hào)接收器110可以接收其中可見(jiàn)圖像信號(hào)和近紅外圖像信號(hào)被組合的4通道組合圖像信號(hào)。信號(hào)接收器110可以包括CMOS傳感器或CCD傳感器。信號(hào)接收器110可以包括用于接收4通道顏色信號(hào)的傳感器。例如，信號(hào)接收器110可以包括但不限于CMOS傳感器或CCD傳感器和CMYG互補(bǔ)濾色器，以接收4通道顏色信號(hào)。

信號(hào)接收器110可以不包括用于遮蔽紅外信號(hào)的IR濾波器。此外，信號(hào)接收器110可以不包括用于物理上分離紅外信號(hào)的分束器棱鏡。因此，可以減小圖像輸出設(shè)備100的尺寸和制造成本。

信號(hào)插值器120可以將不透光的像素插值到由信號(hào)接收器110中接收到的信號(hào)中。插值也可稱為去馬賽克(demosaicing)。插值可以包括在輸入4通道組合圖像信號(hào)時(shí)將每一種顏色通道的信息分離為獨(dú)立的圖像信號(hào)，以及填充剩余的空白像素空間。例如，雙線性插值可以用作插值方法，但是，示例性實(shí)施例并不限于此。

通過(guò)執(zhí)行插值，信號(hào)插值器120可以將4通道組合圖像信號(hào)轉(zhuǎn)換為顏色分離的4通道組合圖像信號(hào)。

信號(hào)分離器130可以從信號(hào)插值器120接收顏色分離的4通道組合圖像信號(hào)。信號(hào)分離器130可以將顏色分離的4通道組合圖像信號(hào)分離為4通道可見(jiàn)圖像信號(hào)和1通道近紅外圖像信號(hào)。

信號(hào)分離器130可以基于信號(hào)分離系數(shù)將顏色分離的4通道組合圖像信號(hào)分離為可見(jiàn)圖像信號(hào)和近紅外圖像信號(hào)。信號(hào)分離系數(shù)可以包括用于將通道顏色數(shù)據(jù)轉(zhuǎn)換為3通道顏色數(shù)據(jù)的顏色系數(shù)和基于由近紅外圖像信號(hào)構(gòu)成的4通道信號(hào)而確定的權(quán)重系數(shù)。

根據(jù)示例性實(shí)施例，信號(hào)分離系數(shù)可以表示包括12個(gè)顏色系數(shù)和4個(gè)權(quán)重系數(shù)的信號(hào)分離矩陣。

信號(hào)分離器130可以通過(guò)使用信號(hào)分離系數(shù)的逆矩陣和顏色分離的組合圖像信號(hào)的乘積來(lái)分離可見(jiàn)圖像信號(hào)和近紅外圖像信號(hào)。

圖像校正器140可以校正可見(jiàn)圖像信號(hào)的圖像和近紅外圖像信號(hào)的圖像。圖像校正器140可以通過(guò)對(duì)可見(jiàn)圖像信號(hào)執(zhí)行白平衡處理、校正亮度、校正色度、計(jì)算亮度以及對(duì)可見(jiàn)圖像信號(hào)和近紅外圖像信號(hào)進(jìn)行融合來(lái)改善可見(jiàn)圖像。

圖像校正器140可以通過(guò)使用相關(guān)領(lǐng)域的圖像校正方法來(lái)校正圖像。圖像校正器140可以使用各種圖像校正方法，但不限于一種方法。

圖像校正器140可以包括白平衡處理器141、亮度調(diào)整處理器142和顏色校正器146。

此外，圖像校正器140可以對(duì)近紅外圖像信號(hào)和可見(jiàn)圖像信號(hào)進(jìn)行融合來(lái)校正在低照度狀態(tài)下輸入且分離的可見(jiàn)圖像信號(hào)。圖像校正器140可以通過(guò)將近紅外圖像信號(hào)NIR與從4通道組合圖像信號(hào)分離的可見(jiàn)圖像信號(hào)R、G和B中的每一個(gè)相加來(lái)執(zhí)行圖像融合。根據(jù)示例性實(shí)施例，圖像校正器140可以通過(guò)對(duì)相同的近紅外信號(hào)與R、G和B像素進(jìn)行組合來(lái)執(zhí)行圖像融合。圖像融合方法并不限于前述的示例性實(shí)施例。

圖像輸出器150可以分離和輸出可見(jiàn)圖像和近紅外圖像。圖像輸出器150可以同時(shí)輸出可見(jiàn)圖像和近紅外圖像。

存儲(chǔ)器160可以存儲(chǔ)輸入的4通道組合圖像信號(hào)以及分離的可見(jiàn)圖像和近紅外圖像。存儲(chǔ)器160可以包括根據(jù)示例性實(shí)施例被裝備在圖像輸出設(shè)備100中的存儲(chǔ)卡(例如，微SD卡、USB存儲(chǔ)裝置)。此外，存儲(chǔ)器160可以包括非易失性存儲(chǔ)裝置、易失性存儲(chǔ)裝置、硬盤(pán)驅(qū)動(dòng)器(HDD)或固態(tài)驅(qū)動(dòng)器(SSD)。

根據(jù)示例性實(shí)施例，通過(guò)單個(gè)傳感器輸入的組合圖像信號(hào)可以通過(guò)使用軟件來(lái)分離，由此，可以減小硬件的尺寸和制造成本。

根據(jù)示例性實(shí)施例，可以校正分離的可見(jiàn)圖像信號(hào)的亮度和顏色來(lái)輸出更生動(dòng)的可見(jiàn)圖像信號(hào)。

根據(jù)示例性實(shí)施例，通過(guò)即便在由于煙或霧導(dǎo)致的低照度情況下也對(duì)分離的可見(jiàn)圖像信號(hào)和分離的近紅外圖像信號(hào)進(jìn)行融合，由于近紅外圖像信號(hào)而可以獲得清晰的可見(jiàn)圖像信號(hào)。

根據(jù)示例性實(shí)施例，因?yàn)橥ㄟ^(guò)使用當(dāng)前提供的裝置可以容易地獲得近紅外圖像，所以可以在諸如檢測(cè)食品腐敗和危險(xiǎn)物品的各種領(lǐng)域中使用近紅外圖像。

另外，示例性實(shí)施例也可以通過(guò)介質(zhì)(例如，計(jì)算機(jī)可讀介質(zhì))上的計(jì)算機(jī)可讀代碼和/或指令來(lái)實(shí)現(xiàn)，以控制至少一個(gè)處理元件，從而實(shí)現(xiàn)上述的任何示例性實(shí)施例。介質(zhì)可以對(duì)應(yīng)于可用作存儲(chǔ)裝置和/或執(zhí)行計(jì)算機(jī)可讀代碼的傳輸?shù)娜我饨橘|(zhì)或媒介。

計(jì)算機(jī)可讀代碼可以用各種方式被記錄和/或傳送到介質(zhì)上，其中，介質(zhì)的例子包括：記錄介質(zhì)，例如，磁存儲(chǔ)介質(zhì)(例如，ROM、軟盤(pán)、硬盤(pán)等)和光學(xué)記錄介質(zhì)(例如，壓縮盤(pán)只讀存儲(chǔ)器(CD-ROM)或數(shù)字多功能盤(pán)(DVD))；以及傳輸介質(zhì)，例如，互聯(lián)網(wǎng)傳輸介質(zhì)。因此，根據(jù)一個(gè)或更多個(gè)示例性實(shí)施例，介質(zhì)可以具有適合于存儲(chǔ)或承載信號(hào)或信息的結(jié)構(gòu)，例如，承載比特流的裝置。介質(zhì)也可以是分布式網(wǎng)絡(luò)，從而計(jì)算機(jī)可讀代碼以分布的方式被存儲(chǔ)和/或傳送在介質(zhì)上并被執(zhí)行。此外，處理元件可以包括處理器或計(jì)算機(jī)處理器，并且，處理元件可以被分布和/或包括在單個(gè)裝置中。

前述示例性實(shí)施例是示例，并不被解釋為限制性的。本教導(dǎo)可以被容易地應(yīng)用于其他類型的設(shè)備。此外，示例性實(shí)施例的描述應(yīng)當(dāng)是說(shuō)明性的，不應(yīng)當(dāng)限制權(quán)利要求的范圍，并且，許多的替換、修改和改變對(duì)于本領(lǐng)域的技術(shù)人員來(lái)說(shuō)將是顯而易見(jiàn)的。