本發(fā)明涉及用于驅(qū)動圖像拾取裝置的方法以及信號處理方法。

背景技術(shù)：

常常使用具有用于獲得顏色圖像的所謂拜耳陣列的圖像拾取裝置。在這種類型的圖像拾取裝置中，每個被配置為透射特定波長分量的光(諸如紅色、綠色或藍色的光)的濾色器(可以由cf表示)以逐個像素為基礎布置在元件表面上。在下文中，紅色、綠色和藍色將分別由r、g和b表示。具有紅色(r)cf的像素將被稱為r像素，具有綠色(g)cf的像素將被稱為g像素，具有藍色(b)cf的像素將被稱為b像素。r、g和b像素可以被統(tǒng)稱為rgb像素。

專利文獻1描述了具有rgb像素和不具有cf的像素(下文中稱為白色像素或w像素)的圖像處理裝置。專利文獻1中描述的圖像拾取裝置對由具有rgbw陣列的圖像拾取元件輸出的信號執(zhí)行邊緣檢測和模糊校正，以進行顏色相關重新拼接。

引用列表

專利文獻

ptl1：日本專利公開no.2011-55038

技術(shù)實現(xiàn)要素：

技術(shù)問題

一個目的是提供用于在至少具有rgb像素的圖像拾取裝置中生成具有降低的顏色噪聲的圖像的技術(shù)。

問題的解決方案

本發(fā)明的一方面是用于驅(qū)動圖像拾取裝置的方法，該圖像拾取裝置包括具有多個顏色像素以及白色像素的圖像拾取元件，其中每個顏色像素具有紅色、綠色和藍色之一的濾色器；以及輸出信號處理器。該方法包括：從圖像拾取元件向輸出信號處理器輸出由所述多個顏色像素輸出的信號和由白色像素輸出的信號；以及由輸出信號處理器使用由包含在n個幀中的所述多個顏色像素輸出的信號和包含在m個幀中的白色像素的信號，來生成圖像數(shù)據(jù)，其中n是大于或等于二的整數(shù)，其中m小于n。

本發(fā)明的另一方面是用于驅(qū)動圖像拾取裝置的方法，該圖像拾取裝置包括具有多個顏色像素的圖像拾取元件，其中每個顏色像素具有紅色、綠色和藍色之一的濾色器；以及輸出信號處理器。該方法包括：從圖像拾取元件向輸出信號處理器輸出由所述多個顏色像素輸出的信號；以及由輸出信號處理器使用包含在n個幀中并由具有紅色和藍色的濾色器的像素輸出的信號以及包含在m個幀中并具有綠色的濾色器的像素的信號，來生成圖像數(shù)據(jù)，其中n是大于或等于二的整數(shù)，其中m小于n。

本發(fā)明的另一方面是用于驅(qū)動圖像拾取裝置的方法，該圖像拾取裝置包括被配置為輸出顏色數(shù)據(jù)和表示亮度的分辨率數(shù)據(jù)的圖像拾取元件，以及輸出信號處理器。該方法包括：由輸出信號處理器使用包含在n個幀中的顏色數(shù)據(jù)和包含在m個幀中的分辨率數(shù)據(jù)生成圖像數(shù)據(jù)，其中n是大于或等于二的整數(shù)，其中m小于n。

本發(fā)明的另一方面是使用由圖像拾取元件輸出的顏色數(shù)據(jù)和分辨率數(shù)據(jù)的信號處理方法，分辨率數(shù)據(jù)表示亮度。該方法包括：使用包含在n個幀中的顏色數(shù)據(jù)和包含在m個幀中的分辨率數(shù)據(jù)生成圖像數(shù)據(jù)，其中n是大于或等于二的整數(shù)，其中m小于n。

發(fā)明的有利效果

本發(fā)明可以提供生成具有降低的顏色噪聲的圖像的圖像拾取裝置。

附圖說明

圖1圖示了圖像拾取裝置的配置。

圖2圖示了圖像拾取元件的配置。

圖3圖示了圖像拾取元件的濾色器陣列。

圖4圖示了圖像拾取裝置的操作。

圖5圖示了圖像拾取裝置的操作。

圖6示出了由圖像拾取裝置生成的圖像的評估。

圖7圖示了圖像拾取裝置的操作。

圖8示出了由圖像拾取裝置生成的圖像的評估。

圖9圖示了圖像拾取元件的濾色器陣列。

圖10圖示了圖像拾取裝置的操作。

圖11圖示了圖像拾取裝置的操作。

圖12圖示了圖像拾取元件的濾色器陣列。

圖13圖示了圖像拾取裝置的操作。

圖14圖示了圖像拾取裝置的操作。

具體實施方式

現(xiàn)在將參考附圖描述根據(jù)每個實施例的圖像拾取裝置。

(第一實施例)

圖1圖示了根據(jù)本實施例的圖像拾取裝置500的配置。

圖像拾取裝置500是使用圖像拾取元件301獲取圖像或移動圖像的裝置。圖像拾取裝置500的示例包括數(shù)字靜態(tài)相機、數(shù)字攝像機和監(jiān)視攝像機。

參考圖1，圖像拾取裝置500包括將物體的光學圖像聚焦到圖像拾取元件301上的透鏡302、用于保護透鏡302的擋板303和用于調(diào)節(jié)穿過透鏡302的光量的光闌304。圖像拾取裝置500還包括處理來自圖像拾取元件301的輸出信號的輸出信號處理器305。

輸出信號處理器305包括數(shù)字信號處理單元。輸出信號處理器305根據(jù)需要對從圖像拾取元件301輸出的信號執(zhí)行各種類型的校正和壓縮，并輸出所得的信號。當從圖像拾取元件301輸出的信號是模擬信號時，輸出信號處理器305可以在數(shù)字信號處理單元的上游包括模擬/數(shù)字轉(zhuǎn)換器電路。

圖像拾取裝置500還包括用于臨時存儲圖像數(shù)據(jù)的緩沖存儲器單元306。圖像拾取裝置500還包括用于與外部計算機等進行通信的外部接口(i/f)單元307。圖像拾取裝置500還包括用于在記錄介質(zhì)上記錄或從記錄介質(zhì)進行讀取的存儲介質(zhì)控制接口(i/f)單元308。圖像拾取裝置500還包括在其上記錄或從其讀取拾取圖像數(shù)據(jù)的記錄介質(zhì)309。記錄介質(zhì)309是可從圖像拾取裝置移除或包括在圖像拾取裝置中的半導體存儲器。

圖像拾取裝置500還包括總體控制/計算單元310，其不僅執(zhí)行各種計算，而且還控制數(shù)字靜態(tài)相機的整體操作。圖像拾取裝置500還包括定時發(fā)生器311，其將各種定時信號輸出到輸出信號處理器305。控制信號(諸如定時信號)可以從圖像拾取裝置500的外部輸入，而不是從定時發(fā)生器311輸入。即，圖像拾取裝置500包括至少處理來自圖像拾取元件301的輸出信號的輸出信號處理器305和圖像拾取元件301。

圖2是圖示本實施例的圖像拾取元件的框圖。本實施例的圖像拾取元件包括具有包括以矩陣形式布置的像素100的像素陣列的圖像拾取區(qū)域1、垂直掃描電路2、列電路單元3、水平掃描電路4和輸出單元5。垂直掃描電路2以逐行為基礎選擇像素100。由垂直掃描電路2選擇的像素100基于入射光將信號輸出到多條垂直信號線6。垂直信號線6各自與像素100的列對應。列電路單元3包括為與相應列對應的相應垂直信號線6提供的多個列電路。多個列電路中的每一個通過從像素100輸出到相應垂直信號線6的信號中減去噪聲分量來生成信號。水平掃描電路4水平并順序地掃描列電路單元3的多個列電路。因此，信號從用于列電路單元3中的相應列的列電路順序地輸出到輸出單元5。輸出單元5向部署在圖像拾取元件301外部的輸出信號處理器305輸出信號。

圖3(a)和圖3(b)各自圖示了用于像素的濾色器(cf)的陣列。r、g和b分別表示紅色、綠色和藍色濾色器。w表示白色像素，并且指示不提供濾色器。

圖3(a)圖示了沒有w像素的拜耳陣列。cf以r:g:b＝1:2:1的比率布置。布置比r和b像素更多的g像素，因為相比于與紅色和藍色對應的波長，人類視覺對于與綠色對應的波長更敏感。而且，相比于與紅色和藍色波長對應的光的亮度，由人類視覺感知到的圖像的銳度更強烈地依賴于與綠色波長對應的光的亮度。

圖3(b)圖示了由rgbw12表示的cf陣列。在四乘四像素陣列中，cf以r:g:b:w＝1:2:1:12的比率布置。作為顏色像素的r、g和b像素中的任一個在平面圖中的上/下、右/左和對角線方向上與w像素相鄰。即，r、g和b像素中的每一個被八個w像素包圍。w像素占所有像素的四分之三。由于作為顏色像素的rgb像素中的每一個被w像素包圍，因此用w像素的信號內(nèi)插r、g和b像素中的每一個的信號的準確度高于在圖3(a)中所示的cf陣列中的準確度。

圖4是圖示本實施例的圖像拾取元件301和輸出信號處理器305的動作的流程圖。

在步驟s101中，圖像拾取元件301向輸出信號處理器305輸出信號。

在步驟s103中，輸出信號處理器305基于cf陣列將從圖像拾取元件301輸出的信號分離成分辨率數(shù)據(jù)和顏色數(shù)據(jù)。分辨率數(shù)據(jù)是由從w像素輸出的信號生成的數(shù)據(jù)，并且是表示亮度的數(shù)據(jù)。顏色數(shù)據(jù)是由從rgb像素輸出的信號生成的數(shù)據(jù)。在顏色數(shù)據(jù)中，r、g和b像素數(shù)之和為總像素數(shù)的四分之一。因而，分辨率是x和y方向上的像素總數(shù)的一半。在圖4中，降低的分辨率由像素的尺寸示意性地表示。

在圖3(b)的cf陣列中，不獲取與r、g和b像素部分中的白色對應的數(shù)據(jù)。因而，這個數(shù)據(jù)在圖4中由“？”指示。

在步驟s105中，輸出信號處理器305對分辨率數(shù)據(jù)執(zhí)行內(nèi)插。這種內(nèi)插是基于相鄰w像素的信號來補償與r、g和b像素所在的部分中的白色對應的信號的處理。通過這種內(nèi)插，與r、g和b像素中的每一個中的白色對應的信號被內(nèi)插。在圖4中，內(nèi)插像素的內(nèi)插數(shù)據(jù)由iw表示。雙線性方法可以適當?shù)乇挥米鲀?nèi)插的方法。在本實施例中，圍繞iw的八個像素是w像素。因而，可以將上/下、右/左、右對角線和左對角線方向上的w像素的輸出用作參考內(nèi)插值。例如，可以使用上/下、右/左，右對角線和左對角線方向上的兩個w像素的平均值，這兩個是信號值變化較小的像素。通過使用具有較小信號值變化的w像素的平均值，可以使所得的iw與分辨率數(shù)據(jù)的真實值的偏差小于僅在上/下和右/左方向中存在相鄰w像素的情況下的偏差。

因此，如本實施例中那樣，在r、g和b像素各自被八個w像素包圍的cf陣列中，可以以高準確度執(zhí)行內(nèi)插。

雖然將在步驟s111的解釋中描述細節(jié)，但是輸出信號處理器305對包含由圖像拾取元件301輸出的信號的所有幀中的一些幀中的信號執(zhí)行步驟s103中的內(nèi)插。

在步驟s107中，輸出信號處理器305確定已經(jīng)從其獲取顏色數(shù)據(jù)的幀數(shù)是否達到n，其中n大于或等于二。

如果在步驟s107中輸出信號處理器305確定“否”，那么處理返回到步驟s101。

另一方面，如果在步驟s107中輸出信號處理器305確定“是”，那么處理前進到步驟s109。

在步驟s109中，輸出信號處理器305處理包含在多個幀中的顏色數(shù)據(jù)。在步驟s109中執(zhí)行的處理是以下之一或一些的組合：移動平均、順序循環(huán)處理(無限脈沖響應或iir)和非順序循環(huán)處理(有限脈沖響應或fir)。經(jīng)處理的顏色數(shù)據(jù)是其中包括在每幀中的顏色數(shù)據(jù)中所包含的顏色噪聲減少的數(shù)據(jù)。

在步驟s111中，輸出信號處理器305將分辨率數(shù)據(jù)與在步驟s109中處理的顏色數(shù)據(jù)組合。

將對這種組合操作進行描述。這里的描述是基于在步驟s109中處理的顏色數(shù)據(jù)的幀數(shù)“n”為二的假設。

首先，從圖像拾取元件301輸出第一幀的信號。輸出信號處理器305不對第一幀中的分辨率數(shù)據(jù)執(zhí)行步驟s105的操作。

輸出信號處理器305在步驟s107中確定“否”，并且處理返回到步驟s101。

在步驟s101中，圖像拾取元件301輸出第二幀的信號。在步驟s103的操作之后，輸出信號處理器305對第二幀中的分辨率數(shù)據(jù)執(zhí)行步驟s105的操作。而且，輸出信號處理器305在步驟s107中確定“是”，并且在步驟s109中處理包含在兩幀中的顏色數(shù)據(jù)。

在步驟s111中，輸出信號處理器305將包含在兩幀中的經(jīng)處理的顏色數(shù)據(jù)與第二幀中的分辨率數(shù)據(jù)組合?；诜直媛蕯?shù)據(jù)和顏色數(shù)據(jù)，輸出信號處理器305生成顏色圖像。在圖4中，每個像素都用rgb標記。這意味著為每個像素生成顏色r、g和b中的每一個的數(shù)據(jù)。

在步驟s113中，輸出信號處理器305輸出在步驟s111中生成的圖像。

圖5圖示了參考圖4描述的步驟s107中的操作的細節(jié)。

由于存在w像素，在本實施例的圖像拾取元件中，r、g和b像素數(shù)之和小于圖3(a)中所示的拜耳陣列中的r、g和b像素數(shù)之和。因此，由于r、g和b像素的數(shù)量較少，因此r、g和b像素中的隨機散粒噪聲和照片散粒噪聲比拜耳陣列中的更為顯著。隨機散粒噪聲和照片散粒噪聲將被統(tǒng)稱為顏色噪聲。

為了降低顏色噪聲，本實施例的圖像拾取裝置500使用包含在多個時間上連續(xù)的幀中的顏色數(shù)據(jù)來執(zhí)行降噪(nr)。將描述降噪的方法。首先，將第一幀中的顏色數(shù)據(jù)預先存儲在幀存儲器中。不對第一幀中的顏色數(shù)據(jù)執(zhí)行乘法和除法(如下所述)。

接下來，將描述第二幀中的顏色數(shù)據(jù)。如圖5中所示，輸出信號處理器305首先將第二幀中的顏色數(shù)據(jù)乘以系數(shù)1/n。在本實施例中，在n為2的情況下，r、g和b像素中的每一個的信號值為1/2。然后，輸出信號處理器305將存儲在幀存儲器中的第一幀中的顏色數(shù)據(jù)乘以系數(shù)(n-1)/n。由于n是2，因此第一幀中的顏色數(shù)據(jù)的r、g和b像素中的每一個的信號是1/2。然后，輸出信號處理器305將第一幀中乘以1/2的信號與第二幀中乘以1/2的信號相加。因此，獲取第一幀和第二幀中的顏色數(shù)據(jù)的平均數(shù)據(jù)。

如果n為3或更大，那么輸出信號處理器305將通過將第一幀和第二幀中的顏色數(shù)據(jù)的平均顏色數(shù)據(jù)乘以2/3而得到的信號加到通過將包含在第三幀(即，三幀中的最后一幀)中的顏色數(shù)據(jù)乘以1/3而得到的顏色數(shù)據(jù)，由此輸出信號處理器305獲取包含在三幀中的顏色數(shù)據(jù)的平均數(shù)據(jù)。

在圖5中，nrr、nrg和nrb分別表示在降噪后獲得的r、g和b像素的顏色數(shù)據(jù)。使用包含在多幀中的顏色數(shù)據(jù)來生成降噪后獲得的顏色數(shù)據(jù)。即，由nrr、nrg和nrb表示的數(shù)據(jù)是比每幀中包含的顏色數(shù)據(jù)具有更少的噪聲分量的數(shù)據(jù)。

將進一步描述步驟s111中的操作。步驟s111中的操作是計算用于與布置有r、g和b像素的像素中的白色對應的信號的內(nèi)插數(shù)據(jù)iw，以及像素的nrr、nrg和nrb的rgb顏色比率的處理。通過將顏色比率乘以每個像素的數(shù)據(jù)w或內(nèi)插數(shù)據(jù)iw獲得的值是像素的rgb值。這將通過以下等式具體解釋。

當待處理的像素為w像素時：

[等式1]

當待處理的像素為r、g和b像素時：

[等式2]

要指出的是，iwr、iwg和iwb分別是r、g和b像素部分的iw值。另一種處理方法可以是歸一化顏色數(shù)據(jù)。這將通過以下等式來解釋。

當待處理的像素為w像素時：

[等式3]

當待處理的像素為r、g和b像素時：

[等式4]

在上述等式中，nrr、nrg和nrb由(nrr+nrg+nrb)歸一化。因而，nrr/(nrr+nrg+nrb)、nrg/(nrr+nrg+nrb)和nrb/(nrr+nrg+nrb)中的每一個的值是歸一化的顏色數(shù)據(jù)。

數(shù)據(jù)w和內(nèi)插數(shù)據(jù)iw是分辨率數(shù)據(jù)。與通過對多個幀中的信號求平均所獲得的顏色數(shù)據(jù)相比，分辨率數(shù)據(jù)更快地響應于物體的運動。另一方面，顏色數(shù)據(jù)(nrr，nrg，nrb)是具有降低的噪聲分量的數(shù)據(jù)。

顏色數(shù)據(jù)(nrr，nrg，nrb)是比分辨率數(shù)據(jù)更慢地對物體的運動進行響應的數(shù)據(jù)。但是，對于顏色數(shù)據(jù)，人眼對于幀內(nèi)的空間變化和幀之間的時間變化的敏感度比對于分辨率數(shù)據(jù)更低。因而，與分辨率數(shù)據(jù)相比，顏色數(shù)據(jù)的低響應性更可以被允許。

因此，如果分辨率數(shù)據(jù)對物體的運動快速響應，那么輸出信號處理器305可以使用分辨率數(shù)據(jù)和通過對多個幀中的信號求平均而獲得的顏色數(shù)據(jù)來生成良好的rgb圖像。

因此，通過將分辨率數(shù)據(jù)和顏色數(shù)據(jù)組合在一起，可以獲得具有降低的噪聲分量和對物體的運動有良好響應性的圖像。

使用本實施例的圖像拾取裝置500和其它圖像拾取裝置執(zhí)行評價拍攝。圖6示出了評價拍攝的條件和結(jié)果。就噪聲和余像(afterimage)對圖像進行評估。圖6中的噪聲評估和余像評估是a到c的級別(scale)，其中a是最好。

作為評估拍攝的條件，拍攝環(huán)境中的亮度和上述系數(shù)1/n和(n-1)/n中n的值(n是用于顏色數(shù)據(jù)的平均化的幀數(shù))對于評估有所變化。

作為條件1，拍攝場景的亮度被設置為10lux(勒克斯)，用于顏色數(shù)據(jù)的平均化的幀數(shù)“n”被設置為1(n＝1)。在這種條件下拍攝的圖像噪聲非常小，沒有余像。因而，噪聲和余像都被評估為a。

作為條件2，拍攝場景中的亮度被設置為10lux，n被設置為4(n＝4)。在這種條件下拍攝的圖像噪音非常小。與n＝1的條件1不同，由于n＝4，在某些部分看到具有模糊顏色的余像，但是這在允許的范圍內(nèi)。因而，噪聲和余像被分別評估為a和b。

作為條件3，拍攝場景中的亮度被設置為1lux，n被設置為1(n＝1)。由于拍攝場景中的光量的減少而導致的分辨率數(shù)據(jù)和顏色數(shù)據(jù)的s/n比降低，在這種條件下拍攝的圖像而具有輕微的噪音。在這種條件下拍攝的圖像中沒有看到余像。因而，噪聲和余像被分別評估為b和a。

作為條件4，拍攝場景中的亮度被設置為1lux，n被設置為4(n＝4)。在這種條件下，通過對多個幀中的顏色數(shù)據(jù)求平均，獲得噪聲小于在條件3下拍攝的圖像的圖像。余像的程度與在條件2下拍攝的圖像中的余像的程度相同，因此在允許范圍內(nèi)。因而，噪聲和余像被分別評估為a和b。

作為條件5，拍攝場景中的亮度被設置為0.1lux，n被設置為1(n＝1)。在這種條件下，與條件3相比，分辨率數(shù)據(jù)和顏色數(shù)據(jù)的s/n比進一步降低，并且拍攝了具有顯著噪聲的圖像。由于n＝1，因此沒有看到余像。因而，噪聲和余像被分別評估為c和a。

作為條件6，拍攝場景中的亮度被設置為0.1lux，n被設置為4(n＝4)。在這種條件下，通過對多幀中的顏色數(shù)據(jù)求平均，獲得噪聲小于在條件5下拍攝的圖像的圖像。雖然用于顏色數(shù)據(jù)的處理的幀數(shù)“n”被設置為4(n＝4)，但是余像感覺處于允許的水平。因而，在條件6中，噪聲和余像都被評估為b。

因此，通過對包含在多幀中的顏色數(shù)據(jù)求平均，本實施例的圖像拾取裝置500可以在降低噪聲水平的同時生成具有減少的余像的圖像。

本實施例的圖像拾取裝置500使用包含在n個幀中的rgb像素數(shù)據(jù)和包含在m個幀中的w像素數(shù)據(jù)來生成圖像數(shù)據(jù)，其中m小于n。n的值優(yōu)選地是大于或等于1/x的數(shù)，其中x是w像素數(shù)與光入射到其上的全部像素數(shù)的比率。因此，可以減少隨w個像素數(shù)增大而增加的假色的出現(xiàn)。

本實施例的圖像拾取裝置500可以根據(jù)物體的環(huán)境(諸如亮度、對比度或運動速度)適當?shù)馗淖僴的值。

在本實施例的圖像拾取裝置500中，由于w像素的存在，因此r、g和b像素的數(shù)量小于拜耳陣列中r、g和b像素的數(shù)量。因此，與在使用由具有拜耳陣列的圖像拾取元件輸出的信號生成的圖像中相比，在由本實施例的圖像拾取裝置500生成的圖像中，疊紋(moiré)可能更頻繁地出現(xiàn)。在這種情況下，在步驟s111的操作中，可以對通過上述操作獲得的每個像素的rgb值進一步執(zhí)行以下操作。

為了通過步驟s111的操作生成rgb圖像，使用通過以下等式獲得r'g'b'數(shù)據(jù)：

[等式5]

在這個等式中，iwr、iwg和iwb分別表示用于內(nèi)插r、g和b像素的內(nèi)插數(shù)據(jù)iw。r'g'b'數(shù)據(jù)是通過用r像素的信號值除以基于圍繞r像素的八個w像素的內(nèi)插數(shù)據(jù)iw來獲得的。因此可以獲得具有減少的疊紋的圖像。

在本實施例中，分辨率數(shù)據(jù)僅由w像素的信號形成，顏色數(shù)據(jù)僅由r、g和b像素的信號形成。本發(fā)明不限于這個示例。形成分辨率數(shù)據(jù)的信號可以包括r、g和b像素的信號，只要分辨率數(shù)據(jù)主要由w像素的信號形成即可。而且，形成顏色數(shù)據(jù)的信號可以包括w像素的信號，只要顏色數(shù)據(jù)主要由r、g和b像素的信號形成即可。

雖然在本實施例中已經(jīng)描述了r、g和b顏色的濾色器作為示例，但是濾色器可以是青色、品紅色和黃色，而不是r、g和b。即使在這種情況下，也可以使用具有青色、品紅色和黃色的濾色器的像素以及w像素來執(zhí)行與本實施例中描述的操作相同的操作。

在本實施例中，圖像拾取元件在一幀中輸出顏色數(shù)據(jù)和分辨率數(shù)據(jù)?？商娲?，圖像拾取元件可以在一幀中輸出顏色數(shù)據(jù)，并在另一幀中輸出分辨率數(shù)據(jù)。

在本實施例中，圖像拾取裝置500的輸出信號處理器305使用包含在n個幀中的rgb像素數(shù)據(jù)和包含在m個幀中的w像素數(shù)據(jù)來生成圖像數(shù)據(jù)，其中m小于n。本發(fā)明不限于此。例如，經(jīng)由諸如cd-rom或dvd-rom之類的記錄介質(zhì)或通信網(wǎng)絡輸送的程序可以包括使用包含在n個幀中的rgb像素數(shù)據(jù)和包含在m個幀中的w像素數(shù)據(jù)來生成圖像數(shù)據(jù)的信號處理方法，其中m小于n。因此，其上安裝有程序的計算機可以執(zhí)行使用包含在n個幀中的rgb像素數(shù)據(jù)和包含在m個幀中的w像素數(shù)據(jù)來生成圖像數(shù)據(jù)的信號處理方法，其中m小于n。

(第二實施例)

將描述本實施例的圖像拾取裝置，重點在于與第一實施例的圖像拾取裝置500的不同之處。本實施例的圖像拾取裝置500使用通過處理包含在多幀中的顏色數(shù)據(jù)所獲得的顏色數(shù)據(jù)和通過處理包含在比用于處理顏色數(shù)據(jù)的幀數(shù)更少數(shù)量的幀中的分辨率數(shù)據(jù)所獲得的分辨率數(shù)據(jù)，來生成圖像。本實施例的圖像拾取裝置500的配置與圖1中所示的圖像拾取裝置500的配置相同。

圖7是圖示本實施例的圖像拾取裝置500的操作的流程圖。在圖7中，與圖4中所示的操作相同的操作用相同的附圖標記表示。

輸出信號處理器305將從圖像拾取元件301輸出的信號分離成分辨率數(shù)據(jù)和顏色數(shù)據(jù)。然后，對于分辨率數(shù)據(jù)，輸出信號處理器305通過處理包含在m個幀中的分辨率數(shù)據(jù)來生成分辨率數(shù)據(jù)。對于顏色數(shù)據(jù)，輸出信號處理器305通過處理n個幀中包含的顏色數(shù)據(jù)來生成顏色數(shù)據(jù)，其中n大于m。

對于人眼來說，察覺顏色的余像比分辨率的余像更難。因而，用于處理用于生成圖像的分辨率數(shù)據(jù)的幀數(shù)小于用于處理顏色數(shù)據(jù)的幀數(shù)。因此，本實施例的圖像拾取裝置500可以生成具有降低的噪聲的圖像，同時使圖像中出現(xiàn)的余像難以使人眼察覺。

圖8示出了根據(jù)本實施例的評估。圖8中的噪聲評估和余像評估是a到d的級別，其中a是最好。

作為條件1，拍攝場景中的亮度被設置為10lux，并且m和n都被設置為1(m＝1，n＝1)。在這種條件下拍攝的圖像的噪聲和余像都被評估為a。

作為條件2，拍攝場景中的亮度被設置為1lux，并且m和n分別被設置為1和4(m＝1，n＝4)。在這種條件下拍攝的圖像的噪聲和余像分別被評估為a和b。

作為條件3，拍攝場景中的亮度被設置為1lux，并且m和n分別被設置為2和4(m＝2，n＝4)。在這種條件下拍攝的圖像的噪聲和余像分別被評估為a和c。與條件2下獲得的圖像相比，在條件3下獲得的圖像中的余像的程度在允許范圍內(nèi)增大。

作為條件4，拍攝場景中的亮度被設置為0.1lux，并且m和n都設置為1(m＝1，n＝1)。在這種條件下拍攝的圖像的噪聲和余像分別被評估為d和a。

作為條件5，拍攝場景中的亮度被設置為0.1lux，并且m和n分別被設置為1和4(m＝1，n＝4)。在這種條件下拍攝的圖像的噪聲和余像分別被評估為c和b。與在條件4下拍攝的圖像相比，在條件5下拍攝的圖像中，余像的程度在允許范圍內(nèi)增大，并且噪音水平降低。

作為條件6，拍攝場景中的亮度被設置為0.1lux，并且m和n分別設置為2和4(m＝2，n＝4)。在這種條件下拍攝的圖像的噪聲和余像分別被評估為b和c。與在條件5下拍攝的圖像相比，在條件6下拍攝的圖像中，余像的程度在允許范圍內(nèi)增加，并且噪聲水平降低。

作為條件7，拍攝場景中的亮度被設置為0.01lux，并且m和n分別設置為1和4(m＝1，n＝4)。在這種條件下拍攝的圖像的噪聲和余像分別被評估為d和b。

作為條件8，拍攝場景中的亮度被設置為0.01lux，并且m和n分別設置為2和4(m＝2，n＝4)。在這種條件下拍攝的圖像的噪聲和余像都被評估為c。與在條件7下拍攝的圖像相比，在條件8下拍攝的圖像中，余像的程度在允許范圍內(nèi)增大，并且噪聲水平降低。

作為條件9，拍攝場景中的亮度被設置為0.01lux，并且m和n都設置為4(m＝4，n＝4)。在這種條件下拍攝的圖像的噪聲和余像分別被評估為b和d。與在條件8下拍攝的圖像相比，在條件9下拍攝的圖像中，噪聲水平降低，并且余像的程度增大超過允許的極限。

如從例如條件5和6的比較可以看出的，本實施例的圖像拾取裝置500可以使用通過處理包含在多幀中的分辨率數(shù)據(jù)獲得的分辨率數(shù)據(jù)來生成具有降低的噪聲的圖像。在用來生成圖像的分辨率數(shù)據(jù)和顏色數(shù)據(jù)幀數(shù)相等的條件9下，余像的程度增大超過允許的極限。在本實施例的圖像拾取裝置500中，使用來生成圖像的分辨率數(shù)據(jù)的幀數(shù)小于顏色數(shù)據(jù)的幀數(shù)，以使得圖像拾取裝置500可以生成具有降低的噪聲的圖像，同時減少余像的程度的增大。

當使用通過處理包含在多幀中的分辨率數(shù)據(jù)獲得的分辨率數(shù)據(jù)來生成圖像時，余像的程度可以增大。因此，當物體靜止時，使用n1幀中的顏色數(shù)據(jù)和m1幀中的分辨率數(shù)據(jù)來生成圖像，其中m1小于n1。另一方面，當物體運動時，可以使用比當物體靜止時更少的幀數(shù)中的分辨率數(shù)據(jù)來生成圖像。當物體運動時，可以優(yōu)選地使用僅包含在一幀中的分辨率數(shù)據(jù)來生成圖像。

雖然在本實施例中已經(jīng)描述了r、g和b顏色的濾色器作為示例，但是濾色器可以是青色、品紅色和黃色，而不是r、g和b。即使在這種情況下，也可以使用具有青色、品紅色和黃色的濾色器的像素以及w像素執(zhí)行與本實施例中描述的操作相同的操作。

(第三實施例)

將描述本實施例的圖像拾取裝置，重點在于與第一實施例的圖像拾取裝置500的不同之處。本實施例使用圖9中所示的cf陣列。這個陣列由rgbw8表示。在rgbw8陣列中，w像素數(shù)與總像素數(shù)的比率低于rgbw12陣列中的該比率。因而，具有rgbw8陣列的圖像拾取元件的靈敏度低于具有rgbw12陣列的圖像拾取元件的靈敏度。在rgbw8陣列中，與rgbw12陣列不同，在平面圖中，r、g和b像素中的任何一個都在上/下和左/右方向上與每個w像素相鄰。這具有減少假色的發(fā)生的效果。

圖10是圖示本實施例的圖像拾取裝置500的操作的流程圖。

在步驟s201中，圖像拾取元件301向輸出信號處理器305輸出信號。

在步驟s203中，輸出信號處理器305基于cf陣列將從圖像拾取元件301輸出的信號分離成分辨率數(shù)據(jù)和顏色數(shù)據(jù)。

在圖9的cf陣列中，不獲取與r、g和b像素部分中的白色對應的數(shù)據(jù)。因而，這個數(shù)據(jù)由圖10中的“？”指示。

在步驟s205中，輸出信號處理器305對分辨率數(shù)據(jù)執(zhí)行內(nèi)插。這種內(nèi)插是基于相鄰w像素的信號來補償與r、g和b像素所在的部分中的白色對應的信號的處理。通過這種內(nèi)插，對與r、g和b像素中的每一個中的白色對應的信號進行內(nèi)插。在圖10中，用于內(nèi)插像素的內(nèi)插數(shù)據(jù)由iw表示。雙線性方法可以被適當?shù)赜米鲀?nèi)插的方法。在本實施例中，圍繞iw的四個像素是w像素。因而，可以將在上/下和左/右方向相鄰的w像素的輸出作為參考內(nèi)插值。例如，可以使用上/下和左/右方向上的兩個w像素的平均值，這兩個是信號值變化較小的像素。

在步驟s207中，輸出信號處理器305確定已經(jīng)從其獲取顏色數(shù)據(jù)的幀數(shù)是否達到n，其中n是大于或等于二的整數(shù)。

如果在步驟s207中輸出信號處理器305確定“否”，那么處理返回到步驟s201。

另一方面，如果輸出信號處理器305在步驟s207中確定“是”，那么處理前進到步驟s209。

在步驟s209中，輸出信號處理器305處理包含在多幀中的顏色數(shù)據(jù)。在步驟s209中執(zhí)行的處理可以與上面參考圖4描述的步驟s109中的處理相同。

在步驟s211中，輸出信號處理器305將分辨率數(shù)據(jù)與在步驟s209中處理的顏色數(shù)據(jù)組合。

在步驟s213中，輸出信號處理器305輸出在步驟s211中生成的圖像。

圖11圖示了參考圖10描述的步驟s207中的操作的細節(jié)。

圖11中所示的本實施例的圖像拾取裝置500的操作與圖5中所示的操作相同，除了由于其間cf陣列中的差異而引起的顏色數(shù)據(jù)的像素數(shù)不同之外。

通過使用執(zhí)行上述操作的圖像拾取裝置500，在與圖6中所示的條件相同的條件下執(zhí)行評估拍攝。因為w像素與所有像素的比率低于第一實施例的圖像拾取裝置500中的比率，所以圖像的靈敏度和分辨率降低。但是，與使用包含在一幀中的分辨率數(shù)據(jù)和包含在一幀中的顏色數(shù)據(jù)生成圖像的情況相比，本實施例的圖像拾取裝置500能夠在減少余像的同時生成具有降低的噪聲的圖像。

雖然在本實施例中已經(jīng)描述了r、g和b顏色的濾色器作為示例，但是濾色器可以是青色、品紅色和黃色，而不是r、g和b。即使在這種情況下，也可以使用具有青色、品紅色和黃色的濾色器的像素以及w像素執(zhí)行與本實施例中描述的操作相同的操作。

(第四實施例)

將描述本實施例的圖像拾取裝置，重點在于與第一實施例的不同之處。

圖12圖示了本實施例的圖像拾取元件301的cf陣列。這個cf陣列由rgbg12表示。

通過用g像素代替rgbw12陣列中的w像素來獲得本實施例的圖像拾取元件301中的cf陣列。用g像素代替w像素會降低rgbw12的靈敏度。在用大量光拍攝物體的情況下，rgbw12陣列中的w像素會飽和，并且這會降低圖像的灰度(gradation)。另一方面，在rgbg12陣列中，由于g像素的靈敏度低于w像素的靈敏度，因此，即使在w像素飽和的拍攝場景中，g像素也不會飽和。因此，即使在w像素飽和的拍攝場景中，本實施例的圖像拾取裝置500也會生成灰度降低較少的圖像。

圖13是圖示本實施例的圖像拾取裝置500的操作的流程圖。

在步驟s301中，圖像拾取元件301向輸出信號處理器305輸出信號。

在步驟s303中，輸出信號處理器305基于cf陣列將從圖像拾取元件301輸出的信號分離成分辨率數(shù)據(jù)和顏色數(shù)據(jù)。

在圖12的cf陣列中，不獲取與r和b像素部分中的g像素對應的數(shù)據(jù)。因而，在使用圖12中的g像素的分辨率數(shù)據(jù)中，r和b像素用“？”指示。

在步驟s305中，輸出信號處理器305對分辨率數(shù)據(jù)執(zhí)行內(nèi)插。這種內(nèi)插是基于相鄰g像素的信號來補償與r和b像素所在的部分中的g像素對應的信號的處理。通過這種內(nèi)插，對與r和b像素中的每一個中的g像素對應的信號進行內(nèi)插。在圖13中，用于被內(nèi)插的像素的內(nèi)插數(shù)據(jù)由ig表示。雙線性方法可以被適當?shù)赜米鲀?nèi)插的方法。

在步驟s307中，輸出信號處理器305確定已經(jīng)從其獲取顏色數(shù)據(jù)的幀數(shù)是否達到n，其中n是大于或等于二的整數(shù)。

如果在步驟s307中輸出信號處理器305確定“否”，那么處理返回到步驟s301。

另一方面，如果在步驟s307中輸出信號處理器305確定“是”，那么處理前進到步驟s309。

參考圖13描述的步驟s307中的操作與圖5中所示的操作相同。

在步驟s309中，輸出信號處理器305處理包含在多幀中的顏色數(shù)據(jù)。在步驟s309中執(zhí)行的處理可以與上面參考圖4描述的步驟s109中的處理相同。

在步驟s311中，輸出信號處理器305將分辨率數(shù)據(jù)與在步驟s309中處理的顏色數(shù)據(jù)組合。

在步驟s311中，輸出信號處理器305對通過步驟s305中的內(nèi)插獲得的分辨率數(shù)據(jù)和在步驟s309中處理的多幀中的顏色數(shù)據(jù)執(zhí)行以下操作。

輸出信號處理器305獲得與r像素所在的像素中的g像素對應的內(nèi)插數(shù)據(jù)igr與像素中的顏色數(shù)據(jù)的nrr的比率。對于g像素，該比率乘以數(shù)據(jù)g，而對于r像素，該比率乘以內(nèi)插數(shù)據(jù)ig。

而且，輸出信號處理器305獲得與b像素所在的像素中的g像素對應的內(nèi)插數(shù)據(jù)igb與像素中的顏色數(shù)據(jù)的nrb的比率。對于g像素，該比率乘以數(shù)據(jù)g，而對于b像素，該比率乘以內(nèi)插數(shù)據(jù)ig。

總而言之，通過將分辨率數(shù)據(jù)與顏色數(shù)據(jù)組合而獲得rgb圖像的計算由以下等式表示。

當待處理的像素是g像素時：

[等式6]

當待處理的像素是r和b像素時：

[等式7]

在本實施例的圖像拾取元件301中，r和b像素與所有像素的比率低于拜耳陣列中的該比率。因此，輸出信號處理器305還執(zhí)行下述操作。

當待處理的像素是g像素時：

[等式8]

當待處理的像素是r和b像素時：

[等式9]

使用執(zhí)行上述操作的圖像拾取裝置500執(zhí)行評估拍攝。作為拍攝的結(jié)果，與使用具有拜耳陣列的圖像拾取元件相比，可以降低低照明環(huán)境中的顏色噪聲。

在本實施例中，利用igr對r數(shù)據(jù)進行歸一化，并且利用igb對b數(shù)據(jù)進行歸一化。因此，在r像素中通過除以要實現(xiàn)的亮度(igr)所獲得的值和在b像素中通過除以要實現(xiàn)的亮度(igb)所獲得的值被用于r/igr和b/igb的計算，由此可以減少在r和b像素中疊紋的發(fā)生。

在步驟s313中，輸出信號處理器305輸出在步驟s311中生成的圖像。

通過使用執(zhí)行上述操作的圖像拾取裝置500，在與圖6中所示的條件相同的條件下執(zhí)行評估拍攝。由于圖像拾取元件301不包括w像素，因此由本實施例的圖像拾取裝置500生成的圖像的靈敏度和分辨率低于由第一實施例的圖像拾取裝置500獲得的圖像的靈敏度和分辨率。但是，與使用包含在一幀中的分辨率數(shù)據(jù)和包含在一幀中的顏色數(shù)據(jù)生成圖像的情況相比，本實施例的圖像拾取裝置500能夠在減少余像的同時生成具有降低的噪聲的圖像。

雖然在本實施例中已經(jīng)描述了r、g和b顏色的濾色器作為示例，但是濾色器可以是青色、品紅色和黃色，而不是r、g和b。即使在這種情況下，也可以使用具有青色、品紅色和黃色的濾色器的像素以及w像素執(zhí)行與本實施例中描述的操作相同的操作。

本實施例的圖像拾取裝置500使用包含在n個幀中的rb像素數(shù)據(jù)和包含在m個幀中的g像素數(shù)據(jù)生成圖像數(shù)據(jù)，其中m小于n。n的值優(yōu)選地為大于或等于1/x的數(shù)，其中x是g像素數(shù)與光入射到其上的全部像素數(shù)的比率。因此，可以減少隨著g像素的數(shù)量增加而增加的假色的發(fā)生。

(第五實施例)

將描述本實施例的圖像拾取裝置，重點放在與第四實施例的不同之處。

本實施例的圖像拾取元件301的cf陣列是圖3(a)中所示的拜耳陣列。

圖14是圖示本實施例的圖像拾取裝置500的操作的流程圖。

在步驟s401中，圖像拾取元件301向輸出信號處理器305輸出信號。

在步驟s403中，輸出信號處理器305基于cf陣列將從圖像拾取元件301輸出的信號分離為分辨率數(shù)據(jù)和顏色數(shù)據(jù)。

在圖3(a)的cf陣列中，不獲取與r和b像素部分中的g像素對應的數(shù)據(jù)。因而，在使用圖3(a)中的g像素的分辨率數(shù)據(jù)中，r和b像素由“？”指示。

在步驟s405中，輸出信號處理器305對分辨率數(shù)據(jù)執(zhí)行內(nèi)插。這種內(nèi)插是基于相鄰g像素的信號來補償與r和b像素所在的部分中的g像素對應的信號的處理。通過這種內(nèi)插，對與r和b像素中的每一個中的g像素對應的信號進行內(nèi)插。在圖14中，用于被內(nèi)插像素的內(nèi)插數(shù)據(jù)由ig表示。雙線性方法可以被適當?shù)赜米鲀?nèi)插的方法。

在步驟s407中，輸出信號處理器305確定已經(jīng)從其獲取顏色數(shù)據(jù)的幀數(shù)是否達到n，其中n是大于或等于二的整數(shù)。

如果在步驟s407中輸出信號處理器305確定“否”，那么處理返回到步驟s401。

另一方面，如果輸出信號處理器305在步驟s407中確定“是”，那么處理前進到步驟s409。

在步驟s409中，輸出信號處理器305處理包含在多幀中的顏色數(shù)據(jù)。在步驟s409中執(zhí)行的處理可以與上面參考圖11描述的步驟s209中的處理相同。

在步驟s411中，輸出信號處理器305將分辨率數(shù)據(jù)與在步驟s409中處理的顏色數(shù)據(jù)組合。

在步驟s413中，輸出信號處理器305輸出在步驟s411中生成的圖像。

步驟s411中的組合操作與第四實施例中描述的用于為每個像素獲得rgb數(shù)據(jù)的操作相同。

通過使用執(zhí)行上述操作的圖像拾取裝置500，在與圖6所示相同的條件下執(zhí)行評估拍攝。由于圖像拾取元件301不包括w像素，因此由本實施例的圖像拾取裝置500生成的圖像的靈敏度和分辨率低于由第一實施例的圖像拾取裝置500獲得的圖像的靈敏度和分辨率。但是，與使用包含在一幀中的分辨率數(shù)據(jù)和包含在一幀中的顏色數(shù)據(jù)生成圖像的情況相比，本實施例的圖像拾取裝置500能夠在減少余像的同時生成具有降低的噪聲的圖像。

雖然在本實施例中已經(jīng)描述了r、g和b顏色的濾色器作為示例，但是濾色器可以是青色、品紅色和黃色，而不是r、g和b。即使在這種情況下，也可以使用具有青色、品紅色和黃色的濾色器的像素以及w像素執(zhí)行與本實施例中描述的操作相同的操作。

本發(fā)明不限于上述實施例，在不背離本發(fā)明的精神和范圍的情況下，可以進行各種改變和修改。所附的權(quán)利要求用以公開本發(fā)明的范圍。

附圖標記列表

1：圖像拾取區(qū)域

2：垂直掃描電路

3：列電路單元

301：圖像拾取元件

305：輸出信號處理器

500：圖像拾取裝置