本公開涉及圖像拾取設(shè)備、圖像拾取方法、程序和圖像處理設(shè)備，更具體地，涉及使得能夠根據(jù)通過照射紅外光而拍攝的紅外圖像，生成彩色圖像的圖像拾取設(shè)備、圖像拾取方法、程序和圖像處理設(shè)備。

背景技術(shù)：

過去，存在包括在自然日光下或者在諸如白光之類的可見光的照明下拍攝圖像的日間模式，和通過照射紅外光拍攝圖像的夜間模式的監(jiān)控攝像頭。

在日間模式下，能夠拍攝彩色圖像。另一方面，在夜間模式下，接收被攝對象反射的照射紅外光的反射光，從而不能獲得r、b、g等顏色信息，只能獲得反射光(紅外光)的受光強度。于是，獲得的圖像成為包括灰、綠等的單色圖像。

順便提及，當(dāng)考慮監(jiān)控攝像頭的用途時，理想的是即使在夜間模式下，也獲得彩色圖像。

在這方面，過去提出了根據(jù)通過拍攝紅外光被照射到圖像拾取范圍(被攝對象)上的狀態(tài)而獲得的圖像(下面稱為紅外圖像)，生成彩色圖像的各種方法。

例如，專利文獻1公開一種根據(jù)通過照射具有不同波長的3種紅外光而獲得的紅外圖像，生成彩色圖像的方法。這種方法利用在具有780nm、870nm和940nm波長的紅外光被照射到樹脂上的情況下的反射率，與在照射r、g和b可見光的情況下的反射率具有正相關(guān)性的事實。利用這種方法，只要被攝對象是樹脂，就能夠獲得顏色可再現(xiàn)性高的彩色圖像。

然而，在被攝對象不同于樹脂的情況下，盡管要生成的彩色圖像的r分量的可再現(xiàn)性較高，但是g分量和b分量不能以它們的本色再現(xiàn)，從而這種方法不適用于除樹脂外的任意被攝對象。

此外，例如，專利文獻2公開一種通過在低照度的照明等等之下被攝對象幾乎不可見的狀態(tài)下，照射紅外光，拍攝圖像的方法。在這種方法中，拍攝其中混合可見光和紅外光的圖像，由于應(yīng)用于該圖像的白平衡處理的參數(shù)變更自應(yīng)用于只利用白光的通常圖像的值，顏色信息被再現(xiàn)。

然而，在這種方法中，存在不能相互區(qū)分紅外光和可見光的本質(zhì)問題，從而歸因于紅外光的影響，再現(xiàn)的顏色信息的精度劣化。

此外，例如，專利文獻3和非專利文獻1公開連續(xù)拍攝在照射紅外光的狀態(tài)下的紅外圖像，和在不照射紅外光的低照度下的可見圖像，并利用這些圖像生成彩色圖像的技術(shù)。

引文列表

專利文獻

專利文獻1：日本專利申請公開no.2011-50049

專利文獻2：日本專利申請公開no.2005-130317

專利文獻3：日本專利申請公開no.2011-233983

非專利文獻

非專利文獻1：“colorimagegenerationinlow-illuminancesceneusinginfraredflashandonecamera”，meetingonimagerecognitionandunderstanding(miru2011)p1034。

技術(shù)實現(xiàn)要素：

順便提及，作為安裝在包括監(jiān)控攝像頭等的圖像拾取設(shè)備上的圖像拾取器件，通常使用ccd或cmos圖像傳感器。就其結(jié)構(gòu)來說，ccd包括同時使所有像素曝光的全局快門功能。相反，存在就其結(jié)構(gòu)來說，不包括全局快門功能(但是也存在包括全局快門功能的cmos圖像傳感器)，而是采用其中以行為單位更換像素曝光時間的卷簾快門方式的cmos圖像傳感器。應(yīng)注意，卷簾快門方式也被稱為焦平面讀出方式。

在利用使用焦平面讀出方式的cmos圖像傳感器，如記載在專利文獻3的技術(shù)中那樣，連續(xù)拍攝紅外圖像和可見圖像的情況下，歸因于以行為單位的像素曝光時間的偏差，并不總是能夠獲得其中在整個畫面(所有像素)內(nèi)，紅外光照射時間都相同的紅外圖像，從而當(dāng)利用這樣的紅外圖像時，不能生成顏色可再現(xiàn)性高的彩色圖像。

換句話說，為了利用使用焦平面讀出方式的cmos圖像傳感器，拍攝其中在整個畫面內(nèi)紅外光照射時間都相同的紅外圖像，和完全不受紅外光影響的可見圖像，關(guān)于紅外光照射定時和曝光定時，需要某種巧思。

鑒于上述情況，產(chǎn)生了本公開，本公開目的在于使得能夠根據(jù)利用使用焦平面讀出方式的圖像拾取器件拍攝的紅外圖像和可見圖像，生成彩色圖像。

按照本公開的第一方面的圖像拾取設(shè)備包括：圖像拾取器件，所述圖像拾取器件把對應(yīng)于預(yù)定幀率的一個幀時段分成3個或更多個子幀時段，并利用焦平面讀出方式，持續(xù)各個子幀時段掃描整個畫面的像素值，以在所述一個幀時段中，生成數(shù)目對應(yīng)于子幀時段的數(shù)目的子幀圖像；紅外光照射單元，所述紅外光照射單元在所述一個幀時段中，以與子幀時段相同的時間長度單位，開啟/關(guān)閉相對于圖像拾取范圍的紅外光的照射；和彩色圖像生成單元，所述彩色圖像生成單元根據(jù)紅外圖像和可見圖像，按預(yù)定幀率生成彩色圖像，所述紅外圖像以其中照射紅外光的時段包含在曝光時間中的子幀圖像為基礎(chǔ)，而所述可見圖像以其中照射紅外光的時段不包含在曝光時間中的子幀圖像為基礎(chǔ)。

彩色圖像生成單元可包括紅外圖像生成單元，所述紅外圖像生成單元從其中照射紅外光的時段包含在曝光時間中的多個子幀圖像，生成紅外圖像。

所述紅外圖像生成單元可從其中照射紅外光的時段包含在曝光時間中的、其輝度等級為互補關(guān)系的多個子幀圖像，生成紅外圖像。

彩色圖像生成單元還可包括可見圖像生成單元，所述可見圖像生成單元從其中照射紅外光的時段不包含在曝光時間中的多個子幀圖像，生成可見圖像。

彩色圖像生成單元還可包括從紅外圖像中提取輝度信息的紅外圖像變換單元，從可見圖像中提取色差信息的可見圖像變換單元，及把紅外圖像的輝度信息和可見圖像的色差信息變換成彩色圖像的顏色信息的彩色圖像變換單元。

可見圖像變換單元還可從可見圖像中提取輝度信息，彩色圖像變換單元可把已利用可見圖像的輝度信息校正的紅外圖像的輝度信息和可見圖像的色差信息，變換成彩色圖像的顏色信息。

彩色圖像生成單元還可包括對紅外圖像進行包含時間方向處理的3dnr處理的第一3dnr單元，和對可見圖像進行包含時間方向處理的3dnr處理的第二3dnr單元，第一3dnr單元中的時間方向處理的反饋比和第二3dnr單元中的時間方向處理的反饋比可不同。

第二3dnr單元可利用從第一3dnr單元供給的移動被攝對象檢測結(jié)果，對可見圖像進行3dnr處理。

彩色圖像生成單元還可包括利用從第一3dnr單元供給的邊緣檢測結(jié)果，對可見圖像進行2dnr處理的2dnr單元。

圖像拾取器件的受光面可被bayer陣列的彩色濾光器、rgb-ir濾光器或rgb-w濾光器覆蓋。

圖像拾取器件可包括電子快門功能，成為紅外圖像的基礎(chǔ)的子幀圖像的圖像拾取期間的曝光時間在時間長度方面可不同于成為可見圖像的基礎(chǔ)的子幀圖像的圖像拾取期間的曝光時間。

圖像拾取器件可包括放大像素信號的放大單元，和電子快門功能，在成為紅外圖像的基礎(chǔ)的子幀圖像的圖像拾取時間和成為可見圖像的基礎(chǔ)的子幀圖像的圖像拾取時間之間，放大單元的增益可不同。

按照本公開的第一方面的圖像拾取方法是圖像拾取設(shè)備的圖像拾取方法，所述圖像拾取設(shè)備包括圖像拾取器件、紅外光照射單元和彩色圖像生成單元，所述方法包括以下步驟：利用所述圖像拾取器件，把對應(yīng)于預(yù)定幀率的一個幀時段分成3個或更多個子幀時段，并利用焦平面讀出方式，持續(xù)各個子幀時段掃描整個畫面的像素值，以在所述一個幀時段中，生成數(shù)目對應(yīng)于子幀時段的數(shù)目的子幀圖像；利用所述紅外光照射單元，在所述一個幀時段中，以與子幀時段相同的時間長度單位，開啟/關(guān)閉相對于圖像拾取范圍的紅外光的照射；和利用所述彩色圖像生成單元，根據(jù)紅外圖像和可見圖像，按預(yù)定幀率生成彩色圖像，所述紅外圖像以其中照射紅外光的時段包含在曝光時間中的子幀圖像為基礎(chǔ)，而所述可見圖像以其中照射紅外光的時段不包含在曝光時間中的子幀圖像為基礎(chǔ)。

按照本公開的第一方面的程序是一種控制包括圖像拾取器件和紅外光照射單元的圖像拾取設(shè)備的計算機以執(zhí)行包括以下步驟的處理的程序：利用所述圖像拾取器件，把對應(yīng)于預(yù)定幀率的一個幀時段分成3個或更多個子幀時段，并利用焦平面讀出方式，持續(xù)各個子幀時段掃描整個畫面的像素值，以在所述一個幀時段中，生成數(shù)目對應(yīng)于子幀時段的數(shù)目的子幀圖像；利用所述紅外光照射單元，在所述一個幀時段中，以與子幀時段相同的時間長度單位，開啟/關(guān)閉相對于圖像拾取范圍的紅外光的照射；和根據(jù)紅外圖像和可見圖像，按預(yù)定幀率生成彩色圖像，所述紅外圖像以其中照射紅外光的時段包含在曝光時間中的子幀圖像為基礎(chǔ)，而所述可見圖像以其中照射紅外光的時段不包含在曝光時間中的子幀圖像為基礎(chǔ)。

在本公開的第一方面中，圖像拾取器件把對應(yīng)于預(yù)定幀率的一個幀時段分成3個或更多個子幀時段，并利用焦平面讀出方式，持續(xù)各個子幀時段掃描整個畫面的像素值，以在所述一個幀時段中，生成數(shù)目對應(yīng)于子幀時段的數(shù)目的子幀圖像，紅外光照射單元在所述一個幀時段中，以與子幀時段相同的時間長度單位，開啟/關(guān)閉相對于圖像拾取范圍的紅外光的照射，彩色圖像生成單元根據(jù)紅外圖像和可見圖像，按預(yù)定幀率生成彩色圖像，所述紅外圖像以其中照射紅外光的時段包含在曝光時間中的子幀圖像為基礎(chǔ)，而所述可見圖像以其中照射紅外光的時段不包含在曝光時間中的子幀圖像為基礎(chǔ)。

按照本公開的第二方面的圖像處理設(shè)備是一種從圖像拾取設(shè)備接收由所述圖像拾取設(shè)備拍攝的子幀圖像的輸入的圖像處理設(shè)備，所述圖像拾取設(shè)備包括圖像拾取器件，所述圖像拾取器件把對應(yīng)于預(yù)定幀率的一個幀時段分成3個或更多個子幀時段，并利用焦平面讀出方式，持續(xù)各個子幀時段掃描整個畫面的像素值，以在所述一個幀時段中，生成數(shù)目對應(yīng)于子幀時段的數(shù)目的子幀圖像，和紅外光照射單元，所述紅外光照射單元在所述一個幀時段中，以與子幀時段相同的時間長度單位，開啟/關(guān)閉相對于圖像拾取范圍的紅外光的照射，所述圖像處理設(shè)備包括彩色圖像生成單元，所述彩色圖像生成單元根據(jù)紅外圖像和可見圖像，按預(yù)定幀率生成彩色圖像，所述紅外圖像以其中照射紅外光的時段包含在曝光時間中的子幀圖像為基礎(chǔ)，而所述可見圖像以其中照射紅外光的時段不包含在曝光時間中的子幀圖像為基礎(chǔ)。

在本公開的第二方面中，根據(jù)紅外圖像和可見圖像，按預(yù)定幀率生成彩色圖像，所述紅外圖像以其中照射紅外光的時段包含在曝光時間中的子幀圖像為基礎(chǔ)，而所述可見圖像以其中照射紅外光的時段不包含在曝光時間中的子幀圖像為基礎(chǔ)。

按照本公開的第一和第二方面，能夠生成顏色可再現(xiàn)性高的彩色圖像。

附圖說明

圖1是表示本公開適用于的圖像拾取設(shè)備的構(gòu)成例子的方框圖。

圖2是表示ir帶通濾光器的透射特性的示圖。

圖3是表示cmos圖像傳感器的構(gòu)成例子的方框圖。

圖4是表示攝像頭dsp單元的第一構(gòu)成例子的方框圖。

圖5是表示圖像拾取定時的第一例子的示圖。

圖6是表示攝像頭dsp單元的構(gòu)成例子的方框圖。

圖7是表示移動合成單元的構(gòu)成例子的方框圖。

圖8均是表示在增益變換單元中使用的函數(shù)的示圖。

圖9是說明彩色圖像生成處理的流程圖。

圖10都是表示cmos彩色濾光器的顏色配置的修改例子的示圖。

圖11是表示圖像拾取定時的第二例子的示圖。

圖12是表示攝像頭dsp單元的第一構(gòu)成例子的方框圖。

圖13是表示圖像拾取定時的第三例子的示圖。

圖14是表示圖像拾取定時的第四例子的示圖。

圖15是表示圖像拾取定時的第五例子的示圖。

圖16是表示計算機的構(gòu)成例子的方框圖。

具體實施方式

下面參考附圖，具體說明實現(xiàn)本公開的最佳方式(下面稱為實施例)。

<按照本公開的實施例的圖像拾取設(shè)備的構(gòu)成例子>

圖1表示按照本公開的一個實施例的圖像拾取設(shè)備的構(gòu)成例子。

圖像拾取設(shè)備10用在例如監(jiān)控攝像頭等中，根據(jù)通過照射紅外光而獲得的紅外圖像，和在不照射紅外光的低照度下獲得的可見圖像，生成彩色圖像。

圖像拾取設(shè)備10由構(gòu)成與普通攝像頭相似的圖像拾取系統(tǒng)、進行圖像處理的圖像處理系統(tǒng)以及向圖像拾取范圍照射紅外光的投射系統(tǒng)構(gòu)成。

圖像拾取設(shè)備10的圖像拾取系統(tǒng)由鏡頭11、ir帶通濾光器12和利用焦平面讀出方式(卷簾快門方式)的cmos圖像傳感器(下面簡寫成cmos)13構(gòu)成。在圖像拾取系統(tǒng)中，鏡頭11把被攝對象的光學(xué)圖像收集在cmos13中，布置在鏡頭11和cmos13之間的ir帶通濾光器12從被攝對象的光學(xué)圖像中提取可見光分量和紅外光分量，cmos13根據(jù)入射光，生成圖像信號，并把所述信號輸出給圖像處理系統(tǒng)。

圖2表示ir帶通濾光器12的透射特性。ir帶通濾光器12對于波長400nm-650nm的可見光，和峰值在850nm波長的紅外光(利用投射系統(tǒng)照射的紅外光)，具有高透射率。

圖3表示cmos13的構(gòu)成例子。cmos13包括傳感器陣列21、信號線22、模擬增益放大器23、adc24和數(shù)據(jù)緩沖器25。傳感器陣列21由縱橫排列的為每個像素分別設(shè)置的光電變換器件構(gòu)成，其受光面?zhèn)缺籦ayer陣列等的彩色濾光器21a覆蓋。

圖4表示cmos13的傳感器陣列21中的各個像素時間的曝光，和通過曝光獲得的電荷信號的讀出定時。如圖中所示，在cmos13中，使曝光時段沿掃描方向，以行為單位從第一掃描行(第一行)移動到最后的掃描行(最后一行)，并在曝光時段結(jié)束的定時，對于每一行一起讀出在曝光時段內(nèi)獲得的電荷信號。

讀出的電荷信號經(jīng)信號線22被輸出給模擬增益放大器23，從而被放大，由adc24變換成數(shù)字像素信號，并被保存在數(shù)據(jù)緩沖器25中。應(yīng)注意模擬增益放大器23的增益是可按照照明，適應(yīng)性地設(shè)定的。隨后，構(gòu)成傳感器陣列21的所有像素的像素信號作為圖像信號，被輸出給隨后的圖像處理系統(tǒng)。應(yīng)注意此階段的圖像信號是其中各個像素包括r、g和b任意之一的顏色信息的raw數(shù)據(jù)。

返回參見圖1，圖像拾取設(shè)備10的圖像處理系統(tǒng)由攝像頭dsp單元14及存儲器15和16構(gòu)成。在圖像處理系統(tǒng)中，攝像頭dsp單元14根據(jù)來自圖像拾取系統(tǒng)的圖像信號，生成其像素包括r、g和b的顏色信息的彩色圖像。存儲器15和16臨時保存待用于nr(降噪)處理的圖像信號。另外，攝像頭dsp單元14生成并輸出用于控制圖像拾取系統(tǒng)的cmos13的驅(qū)動(曝光和讀出)的v同步信號。攝像頭dsp單元14還生成和輸出用于控制投射系統(tǒng)的驅(qū)動器信號(開/關(guān)信號和強度調(diào)整信號)。

圖像拾取設(shè)備10的投射系統(tǒng)由ir驅(qū)動單元17和ir照射單元18構(gòu)成。在投射系統(tǒng)中，ir驅(qū)動單元17在攝像頭dsp單元14的控制下，使ir照射單元18照射紅外光。ir照射單元18向圖像拾取范圍，照射峰值在波長850nm的紅外光。應(yīng)注意ir照射單元18可被設(shè)置在圖像拾取設(shè)備10的外殼之內(nèi)，或者可被設(shè)置在圖像拾取設(shè)備10的外殼之外。

<利用cmos13的圖像拾取定時的第一例子>

下面，圖5表示利用cmos13的圖像拾取定時的第一例子。

在cmos13中，最終輸出的彩色圖像的幀率(例如，30fps)的一個幀時段(在30fps的情況下，1/30秒)被分成4份，以致在子幀時段(在30fps的情況下，1/120秒)是cmos13的1畫面掃描時段的情況下，在一個幀時段內(nèi)，從cmos13輸出4個子幀圖像。

當(dāng)在一個幀時段內(nèi)，拍攝4個子幀圖像之時，在連續(xù)的2個子幀時段內(nèi)，紅外光的照射被開啟，在另外的兩個子幀時段內(nèi)，紅外光的照射被關(guān)閉。應(yīng)注意盡管在圖5的情況下，在一個幀時段的第一和第二子幀時段(t0-t2)中，紅外光的照射被開啟，不過，例如，紅外光的照射可在第二和第三子幀時段(t1-t3)中，或者第三和第四子幀時段(t2-t4)中被開啟。

下面，在第一子幀時段結(jié)束之時獲得的子幀圖像將被稱為子幀圖像sf1。類似地，在第二、第三和第四子幀時段結(jié)束之時獲得的子幀圖像將分別被稱為子幀圖像sf2、sf3和sf4。

在圖5中所示的第一例子中的子幀圖像sf1中，在掃描的先頭(第一行)附近的各行變暗，因為在曝光時段內(nèi)紅外光的照射被開啟的時間較短，隨后隨著掃描的進行，逐漸變得更明亮，因為紅外光的照射被開啟的時間變長。

由于在子幀圖像sf2中，在所有行的整個曝光時段內(nèi)，紅外光的照射都被開啟，因此子幀圖像sf2成為在整個畫面內(nèi)都同樣明亮的圖像。另外，由于曝光時間較短，因此獲得其中運動被攝對象的運動模糊受到抑制的圖像。此外，盡管在利用焦平面讀出方式的cmos傳感器中，存在高速移動的運動被攝對象的縱向偏差(歸因于每一行的曝光時段的偏差)的問題，不過，也具有在子幀圖像sf2(紅外圖像)中，未導(dǎo)致縱向偏差的優(yōu)點，因為對于所有行來說，紅外光照射時段相同。

在子幀圖像sf3中，明-暗變化變成與子幀圖像sf1的相反，獲得由于紅外光的照射被開啟的時間變短因此隨著掃描的進行逐漸變暗的圖像。子幀圖像sf4成為僅僅基于可見光，結(jié)果整個畫面變暗的圖像，因為在所有行的整個曝光時段內(nèi)，紅外光的照射被關(guān)閉。下面，子幀圖像sf2也被稱為紅外圖像，而子幀圖像sf4也被稱為可見圖像。

在每個幀時段被輸入4個子幀圖像sf1-sf4的攝像頭dsp單元14中，利用所述4個子幀圖像之中的無明暗梯度的子幀圖像sf2(紅外圖像)和子幀圖像sf4(可見圖像)，生成彩色圖像。

<攝像頭dsp單元14的第一構(gòu)成例子>

下面，圖6表示與圖5中所示的圖像拾取定時的第一例子對應(yīng)的攝像頭dsp單元14的第一構(gòu)成例子。攝像頭dsp單元14包括定時控制單元31和ae控制單元32，并由紅外圖像處理系統(tǒng)、可見圖像處理系統(tǒng)和彩色圖像生成系統(tǒng)構(gòu)成。

定時控制單元31生成用于控制cmos13的驅(qū)動的v同步信號，和用于控制ir驅(qū)動單元17的開/關(guān)信號。ae控制單元32生成用于控制cmos13中的模擬增益放大器23的增益調(diào)整信號，和用于控制ir驅(qū)動單元17的強度信號。

在每個幀時段從cmos13輸入的4個子幀圖像之中，攝像頭dsp單元14的紅外圖像處理系統(tǒng)把紅外圖像(子幀圖像sf2)作為處理對象，所述紅外圖像處理系統(tǒng)由3dnr單元33、去馬賽克單元34和2dnr單元35構(gòu)成。

3dnr單元33進行通過結(jié)合2dnr處理和時間方向處理而獲得的3dnr處理，所述2dnr處理是通過對從cmos13輸入的紅外圖像(子幀圖像sf2)的像素和周邊像素進行濾波處理，二維地消除噪聲的處理所述時間方向處理是對從cmos13輸入的紅外圖像和已經(jīng)過3dnr處理，并保存在幀存儲器16中的過去(一個幀時段以前)的紅外圖像進行加權(quán)平均的處理。應(yīng)注意時間方向處理中的對于當(dāng)前紅外圖像的加權(quán)值被稱為反饋比，這里的反饋比被設(shè)定成比后面說明的3dnr單元36的反饋比大。例如，3dnr單元36的反饋比被設(shè)定為1/8，3dnr單元33的反饋比被設(shè)定為1/2等。

此外，在3dnr處理中的時間方向處理中，隨著當(dāng)前圖像的反饋比變小，降噪效果變高，但是由于過去的圖像的分量易于殘留，因此在運動被攝對象的邊緣處導(dǎo)致殘像。在這點上，為了避免這種狀況，3dnr單元33采取借助子幀間差分檢測運動被攝對象，并對于圖像的運動被攝對象部分升高當(dāng)前圖像的反饋比以抑制殘像的生成的措施。這里，檢測到的運動被攝對象檢測結(jié)果被通知給3dnr單元36，邊緣檢測結(jié)果被通知給2dnr單元39。

經(jīng)歷3dnr單元33的3dnr處理的紅外圖像被輸出給去馬賽克單元34，并重寫地記錄在幀存儲器16中。

去馬賽克單元34從經(jīng)歷3dnr處理的紅外圖像(raw數(shù)據(jù))中，提取像素的輝度信息yir，并將其輸出給2dnr單元35和輝度合成單元41。具體地，raw數(shù)據(jù)的像素值原樣成為輝度信息yir，或者通過相加附近的r、g和b像素的像素值而獲得的值成為輝度信息yir。

2dnr單元35通過對紅外圖像的輝度信息yir進行2d降噪處理，提取低頻分量，并把通過所述處理獲得的輝度信息yir_nr輸出給輝度合成單元41。

在每個幀時段從cmos13輸入的4個子幀圖像之中，攝像頭dsp單元14的可見圖像處理系統(tǒng)把可見圖像(子幀圖像sf4)作為處理對象，所述可見圖像處理系統(tǒng)由3dnr單元36、去馬賽克單元37、白平衡(wb)單元38、2dnr單元39和ycc變換單元40構(gòu)成。

3dnr單元36進行通過結(jié)合2dnr處理和時間方向處理而獲得的3dnr處理，所述2dnr處理是通過對從cmos13輸入的可見圖像(子幀圖像sf4)的像素和周邊像素進行濾波處理，二維地消除噪聲的處理，所述時間方向處理是對從cmos13輸入的可見圖像和已經(jīng)過3dnr處理并保存在幀存儲器15中的過去(一個幀時段以前)的可見圖像進行加權(quán)平均的處理。應(yīng)注意輸入給3dnr單元36的可見圖像是具有許多噪聲的低輝度圖像。于是，即使當(dāng)從用于時間方向處理的可見圖像中檢測到運動被攝對象時，也不能相互區(qū)分運動和噪聲，從而不能適當(dāng)?shù)貦z測運動被攝對象。在這點上，3dnr單元36利用從3dnr單元33供給的從紅外圖像檢測的運動被攝對象檢測結(jié)果，進行時間方向處理。此外，3dnr單元36的反饋比被設(shè)定成比3dnr單元33的反饋比(例如，1/2)小的1/8等。因而，能夠在3dnr單元36中抑制運動被攝對象的殘像的同時，充分降低噪聲。

去馬賽克單元37把經(jīng)過3dnr處理的圖像信號(raw數(shù)據(jù))變換成其中各個像素分別包括r、g、b顏色信息的rgb數(shù)據(jù)，并把所述數(shù)據(jù)輸出給wb單元38。wb單元38對圖像信號(raw數(shù)據(jù))進行白平衡處理，然后把它們輸出給2dnr單元39。

例如，2dnr單元39利用諸如ε濾波器之類的寬帶濾波器，進行2d降噪處理(2dnr處理)，然后把結(jié)果輸出給ycc變換單元40。應(yīng)注意，在進行2dnr處理之時，通過檢測被攝對象的邊緣，并且只對邊緣的內(nèi)側(cè)應(yīng)用寬帶濾波器，能夠避免引入在邊緣的外側(cè)的不同顏色信息。然而，由于提供給2dnr單元39的可見圖像是具有許多噪聲的低輝度圖像，因此不能適當(dāng)?shù)貦z測邊緣。在這點上，2dnr單元39利用從3dnr單元33供給的從紅外圖像檢測的邊緣檢測結(jié)果，進行2dnr處理。因而，在2dnr單元39中，能夠利用寬帶濾波器進行2d降噪處理，而不混合邊緣附近的顏色。

ycc變換單元40將經(jīng)過2dnr處理的可見圖像(rgb數(shù)據(jù))變換成其中各個像素包括輝度信息y和色差信息cb和cr(ycc數(shù)據(jù))的可見圖像，并把輝度信息y(下面稱為yc)輸出給輝度合成單元41，把色差信息cb和cr輸出給rgb變換單元43。

攝像頭dsp單元14的彩色圖像生成系統(tǒng)把紅外圖像處理系統(tǒng)和可見圖像處理系統(tǒng)的輸出作為處理對象，所述彩色圖像生成系統(tǒng)由輝度合成單元41、γ校正單元42和rgb變換單元43構(gòu)成。

輝度合成單元41根據(jù)從紅外圖像處理系統(tǒng)輸入的紅外圖像的輝度信息yir和輝度信息yir_nr，和從可見圖像處理系統(tǒng)輸入的可見圖像的輝度信息yc，合成將在后一級中生成的彩色圖像的輝度信號。

應(yīng)注意在紅外圖像的輝度信息yir未經(jīng)過輝度合成單元41，從而原樣用作彩色圖像的輝度信號的情況下，歸因于輝度信息的差異，其紅外光的反射率和可見光的反射率相差較大的被攝對象的顏色可再現(xiàn)性被惡化。例如，就具有高紅外反射率(低可見光反射率)的黑衣服來說，如果yir被原樣用作輝度信息，那么在輸出圖像中，黑衣服變成白衣服。通過設(shè)置輝度合成單元41，能夠避免出現(xiàn)這種問題。

圖7表示輝度合成單元41的具體構(gòu)成例子。輝度合成單元41由除法單元51、增益變換單元52和乘法單元53構(gòu)成。除法單元51計算可見圖像的低頻范圍中的輝度信息yc與紅外圖像的低頻范圍中的輝度信息yir_nr的比率yratio＝y(tǒng)c/yir_nr，并把獲得的比率yratio輸出給增益變換單元52。增益變換單元52按照預(yù)定函數(shù)(或者保存的變換表)，把比率yratio變換成ygain，并將其輸出給乘法單元53。

這里，將說明在增益變換單元52中使用的函數(shù)。在輝度合成單元41中，利用yc信號調(diào)制yir的處理基本上是通過把原始紅外圖像的輝度信息yir乘以所述比率yratio進行的。不過，利用簡單的乘法，整個畫面往往會變暗，并且利用yc的調(diào)制度不能被調(diào)整。在這點上，在增益變換單元52中，利用非線性函數(shù)曲線，把比率yratio變換成ygain。

圖8a表示類似于γ曲線的指數(shù)函數(shù)，作為在增益變換單元52中使用的非線性函數(shù)的例子。這種情況下，通過選擇指數(shù)值α，可以調(diào)整調(diào)制度。例如，通過增大α的值，ygain總體上逼近于1，調(diào)制度變低。相反，通過降低α的值，ygain進一步遠(yuǎn)離1，調(diào)制度變高。

應(yīng)注意在如圖8a中所示的指數(shù)函數(shù)曲線中，在yratio的值較小的區(qū)域中，傾斜變得陡峭，ygain會因yratio的微小差異而極大變動，從而導(dǎo)致噪聲放大。在這點上，為了避免這種問題，如圖8b中所示，在yratio較小的區(qū)域中，ygain被修剪(設(shè)定最小值)。應(yīng)注意增益變換單元52可保存預(yù)先創(chuàng)建的變換表，而不是使用這樣的函數(shù)。

返回參見圖7，乘法單元53把紅外圖像的輝度信息yir乘以ygain，以計算輝度信息ysym，并將其輸出給隨后的γ校正單元42。

返回參見圖6，γ校正單元42對從輝度合成單元41輸入的輝度信息ysym進行γ校正處理，然后把經(jīng)過γ校正處理的輝度信息ysym輸出給rgb變換單元43。

rgb變換單元43根據(jù)來自ycc變換單元40的色差信息cb和cr，以及從γ校正單元42輸入的經(jīng)過γ校正處理的輝度信息ysym，生成每一個幀時段的其中各個像素分別包括r、g、b顏色信息的一個彩色圖像，并將其輸出給下一級。

<關(guān)于攝像頭dsp單元14的彩色圖像生成處理>

下面，圖9是說明由攝像頭dsp單元14進行的彩色圖像生成處理的流程圖。

彩色圖像生成處理是每個幀時段進行的，并且預(yù)先假定在一個幀時段內(nèi)，4個子幀圖像sf1-sf4從cmos13被輸入攝像頭dsp單元14。

在步驟s1，在一個幀時段內(nèi)，從cmos13輸入的4個子幀圖像被分配給紅外圖像處理系統(tǒng)、可見圖像處理系統(tǒng)或其他(丟棄)。具體地，子幀圖像sf2被分配給紅外圖像處理系統(tǒng)，以致進行步驟s2-s4的處理。此外，子幀圖像sf4被分配給可見圖像處理系統(tǒng)，以致進行步驟s5-s9的處理。子幀圖像sf1和sf3被丟棄。

在步驟s2，在紅外圖像處理系統(tǒng)中，3dnr單元33對從cmos13輸入的紅外圖像(子幀圖像sf2)進行3dnr處理，然后把經(jīng)過3dnr處理的紅外圖像輸出給去馬賽克單元34，并重寫地記錄在幀存儲器16中。

在步驟s3，去馬賽克單元34從經(jīng)過3dnr處理的紅外圖像(raw數(shù)據(jù))中，提取各個像素的輝度信息yir，并將其輸出給2dnr單元35和輝度合成單元41。在步驟s4，2dnr單元35對紅外圖像的輝度信息yir進行2d降噪處理，以提取其低頻分量，然后把通過所述處理獲得的輝度信息yir_nr輸出給輝度合成單元41。

在步驟s5，在可見圖像處理系統(tǒng)中，3dnr單元36對從cmos13輸入的可見圖像(子幀圖像sf4)，進行3dnr處理，然后把經(jīng)過3dnr處理的可見圖像輸出給去馬賽克單元37，并重寫地記錄在幀存儲器15中。

在步驟s6，去馬賽克單元37把經(jīng)過3dnr處理的圖像信號(raw數(shù)據(jù))變換成rgb數(shù)據(jù)，然后將其輸出給wb單元38。在步驟s7，wb單元38對圖像信號(raw數(shù)據(jù))進行白平衡處理，然后把它們輸出給2dnr單元39。

在步驟s8，2dnr單元39對經(jīng)過白平衡處理的可見圖像(rgb數(shù)據(jù))，進行2dnr處理，然后把結(jié)果輸出給ycc變換單元40。在步驟s9，ycc變換單元40把經(jīng)過2dnr處理的可見圖像(rgb數(shù)據(jù))變換成可見圖像(ycc數(shù)據(jù))，把輝度信息yc輸出給輝度合成單元41，并把色差信息cb和cr輸出給rgb變換單元43。

在步驟s10，在已從紅外圖像處理系統(tǒng)和可見圖像處理系統(tǒng)獲得處理結(jié)果的彩色圖像生成系統(tǒng)中，輝度合成單元41根據(jù)從紅外圖像處理系統(tǒng)輸入的紅外圖像的輝度信息yir和輝度信息yir_nr，以及從可見圖像處理系統(tǒng)輸入的可見圖像的輝度信息yc，計算將在下一級中生成的彩色圖像的輝度信息ysym，并將其輸出給γ校正單元42。在步驟s11，γ校正單元42對從輝度合成單元41輸入的輝度信息ysym進行γ校正處理，然后把經(jīng)過γ校正處理的輝度信息ysym輸出給rgb變換單元43。

在步驟s12，rgb變換單元43根據(jù)來自ycc變換單元40的色差信息cb和cr，以及從γ校正單元42輸入的經(jīng)過γ校正處理的輝度信息ysym，生成每一個幀時段的其中各個像素分別包括r、g、b顏色信息的一個彩色圖像，并將其輸出給下一級。至此，說明了彩色圖像生成處理。

借助至此說明的彩色圖像生成處理，能夠根據(jù)從利用焦平面讀出方式的cmos13輸出的紅外圖像和可見圖像，生成顏色可再現(xiàn)性的精度高的彩色圖像。

<變形例>

下面，說明圖像拾取設(shè)備10的變形例。圖10均表示覆蓋cmos13的受光面的彩色濾光器21a的變形例。在上面的說明中，彩色濾光器21a由bayer陣列的r、g和b的各色濾光器構(gòu)成，不過代替彩色濾光器21a，也可采用圖10a中所示的由r、g和b的各色濾光器，以及透射紅外光的ir濾光器構(gòu)成的rgb-ir濾光器61。當(dāng)采用rgb-ir濾光器61時，只需要使用從ir像素獲得的值作為紅外圖像的像素值，使用通過ir信號減法處理(從r、g和b像素的像素值中，減去ir像素的像素值的處理)獲得的值作為可見圖像的像素值。

或者，可以采用圖10b中所示的由r、g和b的各色濾光器，以及其中不設(shè)置濾光器以便透射全可見光波段的部分構(gòu)成的rgb-w濾光器62。在采用rgb-w濾光器62的情況下，利用計算處理從r、g、b和w像素計算的值可以用作紅外圖像和可見圖像的像素值。

此外，通過采用rgb-ir濾光器61或rgb-w濾光器62，能夠相互分離不是照射自ir照射單元18而是存在于環(huán)境中的紅外光和可見光，這種分離利用bayer陣列的彩色濾光器是不可能的。

<利用cmos13的圖像拾取定時的第二例子>

下面，圖11表示利用cmos13的圖像拾取定時的第二例子。

類似于圖5中所示的第一例子，圖像拾取定時的第二例子使得在一個幀時段內(nèi)，能夠從cmos13輸出4個子幀圖像。應(yīng)注意，紅外光照射定時與第一例子不同。

具體地，在第二例子中，在一個幀時段中的4個子幀時段之中，在各個幀時段內(nèi)，在一個公共子幀時段中，紅外光的照射被開啟，而在其他3個子幀時段中，紅外光的照射被關(guān)閉。應(yīng)注意盡管在圖11的情況下，在一個幀時段中的第一子幀時段(t0-t1)中，開啟紅外光的照射，不過，可在其他子幀時段中，開啟紅外光的照射。

在圖11中所示的第二例子中的子幀圖像sf1中，在掃描的先頭(第一行)附近的各行變暗，因為在曝光時段內(nèi)紅外光的照射被開啟的時間較短，隨后隨著掃描的進行，逐漸變得更明亮，因為紅外光的照射被開啟的時間變長。在子幀圖像sf2中，明-暗變化變得與子幀圖像sf1的相反，并獲得由于紅外光的照射被開啟的時間變短，因此隨著掃描的進行，逐漸變暗的圖像。子幀圖像sf3和sf4成為僅僅基于可見光并且整個畫面變暗的圖像，因為在所有行的整個曝光時段內(nèi)，紅外光的照射被關(guān)閉。

應(yīng)注意當(dāng)考察子幀圖像sf1和子幀圖像sf2的曝光時間中的紅外光的照射被開啟的時間時，可以說子幀圖像sf1和子幀圖像sf2的輝度等級為互補關(guān)系。于是，當(dāng)兩者被相加時，在所有各行內(nèi)，能夠獲得與在曝光時段的整個時段(一個子幀時段)內(nèi)照射紅外光的狀態(tài)對應(yīng)的圖像。因而，通過相加(或平均)子幀圖像sf1和子幀圖像sf2的對應(yīng)像素，生成紅外圖像。

類似地，當(dāng)考察子幀圖像sf3和子幀圖像sf4中的相對于紅外光的照射被關(guān)閉的狀態(tài)的曝光時間時，在通過相加這兩者而獲得的兩個子幀時段的曝光時段中，能夠獲得與只利用可見光拍攝圖像的狀態(tài)對應(yīng)的圖像。因而，通過相加(或平均)子幀圖像sf3和子幀圖像sf4的對應(yīng)像素，生成可見圖像。

<攝像頭dsp單元14的第二構(gòu)成例子>

下面，圖12表示與圖11中所示的圖像拾取定時的第二例子對應(yīng)的攝像頭dsp單元14的第二構(gòu)成例子。

通過在圖6中所示的第一構(gòu)成例子的紅外圖像處理系統(tǒng)之前，增加加法單元71和幀存儲器72，并在可見圖像處理系統(tǒng)之前，增加加法單元73和幀存儲器74，獲得所述第二構(gòu)成例子。

紅外圖像處理系統(tǒng)的加法單元71通過將首先輸入并保存在幀存儲器72中的子幀圖像sf1與子幀圖像sf2相加(或平均)，生成紅外圖像，并將其輸出給3dnr單元33?？梢妶D像處理系統(tǒng)的加法單元73通過將首先輸入并保存在幀存儲器74中的子幀圖像sf3與子幀圖像sf4相加(或平均)，生成可見圖像，并將其輸出給3dnr單元36。

應(yīng)注意由于3dnr單元33和3dnr單元36的后續(xù)階段的構(gòu)成和操作與圖6中所示的第一構(gòu)成例子的相似，因此其說明將被省略。

按照攝像頭dsp單元14的第二構(gòu)成例子，能夠根據(jù)從利用焦平面讀出方式的cmos13輸出的子幀圖像sf1-sf4，生成紅外圖像和可見圖像，并根據(jù)這些圖像，生成顏色可再現(xiàn)性的精度高的彩色圖像。

這里，當(dāng)關(guān)于輸入可見圖像處理系統(tǒng)的可見圖像，比較第一例子和第二例子時，盡管在第一例子中，曝光時間是一個子幀時段，不過在第二例子中，曝光時間是兩個子幀時段。由于在本實施例中，預(yù)先假定可見圖像是在低照度下拍攝的，因此即使當(dāng)曝光時間變長時，也不會使像素值飽和，隨著曝光時間變得更長，被攝對象的顏色信息變得更精確。于是，在第二構(gòu)成例子中，能夠獲得其中與第一構(gòu)成例子中相比，更精確地再現(xiàn)顏色信息的彩色圖像。

應(yīng)注意，在第二構(gòu)成例子中，子幀圖像sf3或sf4可作為可見圖像，被輸出給3dnr單元36，而不使用可見圖像處理系統(tǒng)的加法單元73和幀存儲器74。這種情況下，由于可見圖像的曝光時間為一個子幀時段，因此能夠最終獲得其中以與第一構(gòu)成例子相同水平的精度，再現(xiàn)顏色信息的彩色圖像。

<利用cmos13的圖像拾取定時的第三例子>

下面，圖13表示利用cmos13的圖像拾取定時的第三例子。

在第三例子中，在cmos13中，最終輸出的彩色圖像的幀率(例如，30fps)的一個幀時段(在30fps的情況下，1/30秒)被分成3份，以致在子幀時段(在30fps的情況下，1/90秒)是cmos13的1畫面掃描時段的情況下，在所述一個幀時段內(nèi)，從cmos13輸出3個子幀圖像。

當(dāng)在一個幀時段內(nèi)，拍攝3個子幀之時，在一個幀時段中的3個子幀時段之中的各個幀時段內(nèi)的一個公共子幀時段期間，紅外光的照射被開啟，在另外的兩個子幀時段期間，紅外光的照射被關(guān)閉。應(yīng)注意盡管在圖13的情況下，在一個幀時段中的第一子幀時段(t0-t1)中，紅外光的照射被開啟，不過，例如，紅外光的照射可在第二或第三子幀時段中被開啟。

在圖13中所示的第三例子中的子幀圖像sf1中，在掃描的先頭(第一行)附近的各行變暗，因為曝光時段內(nèi)，紅外光的照射被開啟的時間較短，隨后隨著掃描的進行，逐漸變得更明亮，因為紅外光的照射被開啟的時間變長。在子幀圖像sf2中，明-暗變化變成與子幀圖像sf1的相反，并獲得由于紅外光的照射被開啟的時間變短，因此隨著掃描的進行逐漸變暗的圖像。子幀圖像sf3成為僅僅基于可見光并且整個畫面變暗的圖像，因為在所有行的整個曝光時段內(nèi)，紅外光的照射被關(guān)閉。

在考察子幀圖像sf1和子幀圖像sf2的曝光時間中的紅外光的照射被開啟的時間時，當(dāng)兩者被相加時，在所有各行上，能夠獲得與在曝光時段的整個時段(一個子幀時段)內(nèi)照射紅外光的狀態(tài)對應(yīng)的圖像。因而，通過相加(或平均)子幀圖像sf1和子幀圖像sf2的對應(yīng)像素，生成紅外圖像。剩余的子幀圖像sf3被原樣用作可見圖像。

關(guān)于與圖像拾取定時的第三例子對應(yīng)的攝像頭dsp單元14的構(gòu)成例子，可以應(yīng)用上面說明的第二構(gòu)成例子。應(yīng)注意，在可見圖像處理系統(tǒng)之前設(shè)置的加法單元73和幀存儲器74可被省略。

另外在這種情況下，攝像頭dsp單元14可根據(jù)從利用焦平面讀出方式的cmos13輸出的子幀圖像sf1-sf3，生成顏色可再現(xiàn)性的精度高的彩色圖像。

這里，當(dāng)關(guān)于輸入可見圖像處理系統(tǒng)的可見圖像，比較第一例子和第三例子時，盡管在第一例子中，作為曝光時間的一個子幀時段是1/4幀時段，不過在第三例子中，曝光時間是1/3幀時段。這里，如果在第一例子和第三例子中，幀率是相同的，那么第三例子中的可見圖像的曝光時間變?yōu)榇笥诘谝焕拥目梢妶D像的曝光時間。由于在本實施例中，預(yù)先假定可見圖像是在低照度下拍攝的，因此即使當(dāng)曝光時間變長時，也不會使像素值飽和，隨著曝光時間變得更長，被攝對象的顏色信息變得更精確。于是，在這種情況下，能夠獲得其中與第一例子中相比，更精確地再現(xiàn)顏色信息的彩色圖像。

此外，如果在第一例子和第三例子中，子幀時段的時間是相同的，那么與在第一例子中相比，在第三例子中，能夠以更高的幀率輸出彩色圖像。例如，在公共子幀時段為1/120秒的情況下，在第一例子中，彩色圖像的幀率變成30fps，而在第三例子中，所述幀率變成40fps。

<利用cmos13的圖像拾取定時的第四例子>

在上面說明的圖像拾取定時的第一到第三例子中，使cmos13的電子快門保持打開(曝光時段和1畫面掃描時段匹配)，不過，電子快門可被打開/關(guān)閉。

圖14表示自適應(yīng)打開/關(guān)閉cmos13的電子快門的圖像拾取定時的第四例子。例如，在低照度下拍攝可見圖像的情況下，可使電子快門保持打開，以增加靈敏度，而在拍攝紅外圖像的情況下，可按照畫面的明亮度，利用電子快門把曝光時間調(diào)整成小于1畫面操作時段。

類似于圖像拾取定時的第二例子，在圖像拾取定時的第四例子中，根據(jù)每個幀時段獲得的4個子幀圖像sf1-sf4，可利用攝像頭dsp單元14的第二構(gòu)成例子，生成彩色圖像。

<利用cmos13的圖像拾取定時的第五例子>

在上面說明的圖像拾取定時的第一到第四例子中，紅外光的照射的開/關(guān)定時與子幀時段的斷點匹配，不過它們并不總是需要匹配。

圖15表示在紅外光的照射的開/關(guān)定時不與子幀時段的斷點匹配的情況下的圖像拾取定時的第五例子。

在第五例子中，在由一個幀時段中的4個子幀時段構(gòu)成的一個幀時段內(nèi)的任意定時處，紅外光的照射被開啟僅對應(yīng)于一個子幀時段的時間，并且紅外光的照射被關(guān)閉對應(yīng)于其他3個子幀時段的時間。應(yīng)注意在圖15的情況下，持續(xù)與從一個幀時段中的第一子幀時段(t0-t1)的中間到第二子幀時段(t1-t2)的中間的一個子幀時段對應(yīng)的時間，開啟紅外光的照射，不過，也可持續(xù)與在其他定時處的一個子幀時段對應(yīng)的時間，開啟紅外光的照射。

在圖15中所示的第五例子中，子幀圖像sf1成為逐漸變得明亮的圖像，因為從掃描的先頭(第一行)到中間附近的一行，紅外光的照射被關(guān)閉，從所述中間附近的一行開始，紅外光的照射被開啟的時間變長。

由于從掃描的先頭(第一行)到中間附近的一行，紅外光的照射被開啟的時間變長，從所述中間附近的一行到最后的掃描行(最后一行)，紅外光的照射被開啟的時間變短，因此子幀圖像sf2成為從掃描的先頭到中間附近的一行，逐漸變得明亮，在中間附近變得最明亮，隨后隨著掃描的進行，從中間附近開始逐漸變暗的圖像。

由于在所有各行的整個曝光時段內(nèi)，紅外光的照射都被關(guān)閉，因此子幀圖像sf4成為僅僅基于可見光的圖像，結(jié)果整個畫面變暗。

在攝像頭dsp單元14中，通過相加(或平均)子幀圖像sf1的下半部、整個子幀圖像sf2以及子幀圖像sf3的下半部，合成供紅外圖像處理系統(tǒng)中的處理之用的紅外圖像。

此外，在攝像頭dsp單元14中，通過相加(或平均)子幀圖像sf3、子幀圖像sf4以及子幀圖像sf5(下一個幀時段的子幀圖像sf1)，合成供可見圖像處理系統(tǒng)中的處理之用的可見圖像。

應(yīng)注意類似于紅外圖像的合成，通過相加(或平均)子幀圖像sf3的下半部、子幀圖像sf4以及子幀圖像sf5的上半部，可進行可見圖像的合成。然而，由于子幀圖像sf3和子幀圖像sf5中，包含紅外光分量，因此這些圖像不能原樣用于可見圖像的合成。作為對策，只需要在cmos13中采用圖10中所示的rgb-ir濾光器61或rgb-w濾光器62。這種情況下，通過進行ir信號減法處理(從rgb信號中減去ir信號的處理)，可提取可見光分量。于是，利用ir信號減法處理，從子幀圖像sf3和子幀圖像sf5提取可見光分量，從而用于可見圖像的合成。

由于在第五例子的情況下，可見圖像由3個子幀圖像構(gòu)成，因此其曝光時間實質(zhì)上為3個子幀時段，從而變成約為第二或第三例子中的可見圖像的曝光時間的1.5倍。由于在本實施例中，預(yù)先假定可見圖像是在低照度下拍攝的，因此即使當(dāng)曝光時間變長時，也不會使像素值飽和，隨著曝光時間變得更長，被攝對象的顏色信息變得更精確。于是，在第五例子中，能夠獲得其中與第二或第三例子中相比，更精確地再現(xiàn)顏色信息的彩色圖像。

通常，如果相對于圖像中的可見光分量，紅外光分量較大，那么在ir信號減法處理中，減法精度被降低，從而在可見光分量中導(dǎo)致許多噪聲。然而，由于如第五例子中一樣，子幀圖像sf3的上部和子幀圖像sf5的下部中的紅外光分量對應(yīng)于接近紅外光的照射的打開或關(guān)閉的定時，因此紅外光分量比子幀圖像sf2的紅外光分量弱。因而，即使利用上面說明的ir信號減法處理，也能夠精確地提取可見光分量。

此外，在子幀圖像sf3的上部和子幀圖像sf5的下部中，與在圖像的上端和下端相比，在圖像的中央部分處的紅外光分量的強度變?nèi)?。于是，能夠增強在圖像中最重要的中央部分處的可見光分量的質(zhì)量。

<結(jié)論>

在至此說明的實施例中，只從可見圖像中，提取用于生成彩色圖像的顏色信息。不過，也可從紅外圖像中，提取顏色分量，并利用所述顏色分量生成彩色圖像。具體地，可在cmos13中，采用圖10a中所示的rgb-ir濾光器61，以致通過對紅外圖像進行ir信號減法處理，能夠只提取可見光的顏色信息。通過利用從紅外光提取的所述顏色信息和從可見圖像提取的顏色信息的組合來生成彩色圖像，能夠獲得顏色可再現(xiàn)性高的彩色圖像。

此外，盡管在上面的實施例中，一個幀時段被分成3個或4個子幀時段，不過，也可把一個幀時段分成5個或更多個子幀時段，從獲得的子幀圖像合成紅外圖像和可見圖像，并根據(jù)這些圖像，生成彩色圖像。

順便提及，上述一系列處理可用軟件或硬件執(zhí)行。在用軟件執(zhí)行所述一系列處理的情況下，構(gòu)成所述軟件的程序被安裝到計算機中。這里，所述計算機包括結(jié)合在專用硬件中的計算機、通過安裝各種程序，能夠執(zhí)行各種功能的計算機，比如通用個人計算機，等等。

圖16是表示利用程序，執(zhí)行上述一系列處理的計算機的硬件構(gòu)成例子的方框圖。

在計算機200中，cpu(中央處理器)201、rom(只讀存儲器)202和ram(隨機存取存儲器)203通過總線204相互連接。

輸入/輸出接口205也連接到總線204。輸入單元206、輸出單元207、存儲單元208、通信單元209和驅(qū)動器210連接到輸入/輸出接口205。

輸入單元206由鍵盤、鼠標(biāo)、麥克風(fēng)等構(gòu)成。輸出單元207由顯示器、揚聲器等構(gòu)成。存儲單元208由硬盤、非易失性存儲器等構(gòu)成。通信單元209由網(wǎng)絡(luò)接口等構(gòu)成。驅(qū)動器210驅(qū)動可拆卸介質(zhì)211，比如磁盤、光盤、磁光盤和半導(dǎo)體存儲器。

在如上所述構(gòu)成的計算機200中，cpu201經(jīng)輸入/輸出接口205和總線204，把保存在存儲單元208中的程序載入ram203中，并執(zhí)行所述程序，以進行例如上述一系列處理。

計算機200(cpu201)執(zhí)行的程序可以是通過記錄在例如作為套裝介質(zhì)的可拆卸介質(zhì)211上提供的。所述程序也可以是通過有線或無線傳輸介質(zhì)(比如局域網(wǎng)、因特網(wǎng)和數(shù)字衛(wèi)星廣播)提供的。

應(yīng)注意由計算機200執(zhí)行的程序可以是其中按照記載在說明書中的順序，時序地進行處理的程序，或者可以是其中并行地進行處理，或者在必要的定時，比如當(dāng)被調(diào)用時進行處理的程序。

本公開的實施例不限于上述實施例，可被不同地更改，而不脫離本公開的要旨。

另外，本公開也可采用以下構(gòu)成。

(1)一種圖像拾取設(shè)備，包括：

圖像拾取器件，所述圖像拾取器件把對應(yīng)于預(yù)定幀率的一個幀時段分成3個或更多個子幀時段，并利用焦平面讀出方式，持續(xù)各個子幀時段掃描整個畫面的像素值，以在所述一個幀時段中，生成數(shù)目對應(yīng)于子幀時段的數(shù)目的子幀圖像；

紅外光照射單元，所述紅外光照射單元在所述一個幀時段中，以與子幀時段相同的時間長度單位，開啟/關(guān)閉相對于圖像拾取范圍的紅外光的照射；和

彩色圖像生成單元，所述彩色圖像生成單元根據(jù)紅外圖像和可見圖像，按預(yù)定幀率生成彩色圖像，所述紅外圖像以其中照射紅外光的時段包含在曝光時間中的子幀圖像為基礎(chǔ)，而所述可見圖像以其中照射紅外光的時段不包含在曝光時間中的子幀圖像為基礎(chǔ)。

(2)按照(1)所述的圖像拾取設(shè)備，其中

彩色圖像生成單元包括

紅外圖像生成單元，所述紅外圖像生成單元從其中照射紅外光的時段包含在曝光時間中的多個子幀圖像，生成紅外圖像。

(3)按照(2)所述的圖像拾取設(shè)備，其中

所述紅外圖像生成單元從其中照射紅外光的時段包含在曝光時間中的、其輝度等級為互補關(guān)系的多個子幀圖像，生成紅外圖像。

(4)按照(1)-(3)任意之一所述的圖像拾取設(shè)備，其中

彩色圖像生成單元還包括

可見圖像生成單元，所述可見圖像生成單元從其中照射紅外光的時段不包含在曝光時間中的多個子幀圖像，生成可見圖像。

(5)按照(1)-(4)任意之一所述的圖像拾取設(shè)備，其中

彩色圖像生成單元還包括

從紅外圖像中提取輝度信息的紅外圖像變換單元，

從可見圖像中提取色差信息的可見圖像變換單元，和

把紅外圖像的輝度信息和可見圖像的色差信息變換成彩色圖像的顏色信息的彩色圖像變換單元。

(6)按照(5)所述的圖像拾取設(shè)備，其中

可見圖像變換單元還從可見圖像中提取輝度信息，

彩色圖像變換單元把已利用可見圖像的輝度信息校正的紅外圖像的輝度信息和可見圖像的色差信息，變換成彩色圖像的顏色信息。

(7)按照(1)-(6)任意之一所述的圖像拾取設(shè)備，其中

彩色圖像生成單元還包括

對紅外圖像進行包含時間方向處理的3dnr處理的第一3dnr單元，和

對可見圖像進行包含時間方向處理的3dnr處理的第二3dnr單元，以及

第一3dnr單元中的時間方向處理的反饋比和第二3dnr單元中的時間方向處理的反饋比不同。

(8)按照(7)所述的圖像拾取設(shè)備，其中

第二3dnr單元利用從第一3dnr單元供給的移動被攝對象檢測結(jié)果，對可見圖像進行3dnr處理。

(9)按照(7)或(8)所述的圖像拾取設(shè)備，其中

彩色圖像生成單元還包括

利用從第一3dnr單元供給的邊緣檢測結(jié)果，對可見圖像進行2dnr處理的2dnr單元。

(10)按照(1)-(9)任意之一所述的圖像拾取設(shè)備，其中

圖像拾取器件的受光面被bayer陣列的彩色濾光器、rgb-ir濾光器或rgb-w濾光器覆蓋。

(11)按照(1)-(10)任意之一所述的圖像拾取設(shè)備，其中

圖像拾取器件包括電子快門功能，成為紅外圖像的基礎(chǔ)的子幀圖像的圖像拾取期間的曝光時間在時間長度方面不同于成為可見圖像的基礎(chǔ)的子幀圖像的圖像拾取期間的曝光時間。

(12)按照(1)-(11)任意之一所述的圖像拾取設(shè)備，其中

圖像拾取器件包括放大像素信號的放大單元，和電子快門功能，在成為紅外圖像的基礎(chǔ)的子幀圖像的圖像拾取時間和成為可見圖像的基礎(chǔ)的子幀圖像的圖像拾取時間之間，放大單元的增益不同。

(13)一種包括圖像拾取器件、紅外光照射單元和彩色圖像生成單元的圖像拾取設(shè)備的圖像拾取方法，所述方法包括以下步驟：

利用所述圖像拾取器件，把對應(yīng)于預(yù)定幀率的一個幀時段分成3個或更多個子幀時段，并利用焦平面讀出方式，持續(xù)各個子幀時段掃描整個畫面的像素值，以在所述一個幀時段中，生成數(shù)目對應(yīng)于子幀時段的數(shù)目的子幀圖像；

利用所述紅外光照射單元，在所述一個幀時段中，以與子幀時段相同的時間長度單位，開啟/關(guān)閉相對于圖像拾取范圍的紅外光的照射；和

利用所述彩色圖像生成單元，根據(jù)紅外圖像和可見圖像，按預(yù)定幀率生成彩色圖像，所述紅外圖像以其中照射紅外光的時段包含在曝光時間中的子幀圖像為基礎(chǔ)，而所述可見圖像以其中照射紅外光的時段不包含在曝光時間中的子幀圖像為基礎(chǔ)。

(14)一種控制包括圖像拾取器件和紅外光照射單元的圖像拾取設(shè)備的計算機以執(zhí)行包括以下步驟的處理的程序：

利用所述圖像拾取器件，把對應(yīng)于預(yù)定幀率的一個幀時段分成3個或更多個子幀時段，并利用焦平面讀出方式，持續(xù)各個子幀時段掃描整個畫面的像素值，以在所述一個幀時段中，生成數(shù)目對應(yīng)于子幀時段的數(shù)目的子幀圖像；

利用所述紅外光照射單元，在所述一個幀時段中，以與子幀時段相同的時間長度單位，開啟/關(guān)閉相對于圖像拾取范圍的紅外光的照射；和

根據(jù)紅外圖像和可見圖像，按預(yù)定幀率生成彩色圖像，所述紅外圖像以其中照射紅外光的時段包含在曝光時間中的子幀圖像為基礎(chǔ)，而所述可見圖像以其中照射紅外光的時段不包含在曝光時間中的子幀圖像為基礎(chǔ)。

(15)一種從圖像拾取設(shè)備接收由所述圖像拾取設(shè)備拍攝的子幀圖像的輸入的圖像處理設(shè)備，所述圖像拾取設(shè)備包括圖像拾取器件，所述圖像拾取器件把對應(yīng)于預(yù)定幀率的一個幀時段分成3個或更多個子幀時段，并利用焦平面讀出方式，持續(xù)各個子幀時段掃描整個畫面的像素值，以在所述一個幀時段中，生成數(shù)目對應(yīng)于子幀時段的數(shù)目的子幀圖像，和紅外光照射單元，所述紅外光照射單元在所述一個幀時段中，以與子幀時段相同的時間長度單位，開啟/關(guān)閉相對于圖像拾取范圍的紅外光的照射，所述圖像處理設(shè)備包括

彩色圖像生成單元，所述彩色圖像生成單元根據(jù)紅外圖像和可見圖像，按預(yù)定幀率生成彩色圖像，所述紅外圖像以其中照射紅外光的時段包含在曝光時間中的子幀圖像為基礎(chǔ)，而所述可見圖像以其中照射紅外光的時段不包含在曝光時間中的子幀圖像為基礎(chǔ)。

附圖標(biāo)記列表

10圖像拾取設(shè)備

14攝像頭dsp單元

18ir照射單元

21a彩色濾光器

333dnr單元

34去馬賽克單元

352dnr單元

363dnr單元

37去馬賽克單元

38wb單元

392dnr單元

40ycc變換單元

41輝度合成單元

42γ校正單元

43rgb變換單元

61rgb-ir濾光器

62rgb-w濾光器

71加法單元

72幀存儲器

73加法單元

74幀存儲器

200計算機

201cpu