本公開涉及再馬賽克(remosaicing)拜耳圖案(bayer?pattern)，且尤其涉及再馬賽克拜耳圖案中的全綠色內(nèi)插、圖像傳感器及用于對(duì)第一彩色像素進(jìn)行全內(nèi)插的方法。

背景技術(shù)：

1、圖像傳感器可通過將感光像素的像素陣列與一組彩色濾光片組合來捕獲彩色圖像。像素陣列中的每一像素耦合到濾光片上，所述濾光片從入射到圖像傳感器上的光移除了除特定波長(zhǎng)(即特定顏色的光)以外的所有光。因此，像素陣列中的每一像素捕獲單一顏色的光。所述像素稱為彩色像素。

2、彩色像素通常以拜耳圖案布置。拜耳圖案的最小重復(fù)單元包含2×2個(gè)彩色像素。舉例來說，左上像素為藍(lán)色，右上像素為綠色，左下像素為綠色，且右下像素為紅色。

3、目前，圖像傳感器包含大量像素，例如，200百萬像素(megapixel；mp)且像素的大小被減少，例如0.61微米。傳統(tǒng)地，每一像素由微透鏡覆蓋以增加所述像素的光敏感度。雖然可制造更小大小的像素，但更小大小的微透鏡相對(duì)難以制造。因此，在一些實(shí)施例中，微透鏡可覆蓋2×2個(gè)或四個(gè)像素。這也可能由其他考慮因素導(dǎo)致，例如檢測(cè)微透鏡下方的兩個(gè)像素的相位差。

4、在實(shí)施例中，彩色像素以包含4×4個(gè)像素的最小重復(fù)單元布置。舉例而言，在四相檢測(cè)(quad?phase?detection；qpd)中，最小重復(fù)單元的左上角為微透鏡下方的2×2個(gè)藍(lán)色像素，右上角為微透鏡下方的2×2個(gè)綠色像素，左下角為微透鏡下方的2×2個(gè)綠色像素，且右下角為微透鏡下方的2×2個(gè)紅色像素。

5、4×4個(gè)最小重復(fù)單元可重新布置成拜耳圖案的四個(gè)最小重復(fù)單元，每一最小重復(fù)單元包含2×2個(gè)像素。這一過程稱為再馬賽克拜耳圖案。再馬賽克拜耳圖案可具有多個(gè)拜耳圖案。具有拜耳圖案的圖像可方便地輸出或傳輸?shù)狡渌b置以進(jìn)一步處理或顯示由圖像傳感器檢測(cè)到的圖像。

6、在再馬賽克拜耳圖案中，重要的步驟為全綠色內(nèi)插。需要在所得再馬賽克拜耳圖像中產(chǎn)生更少偽影和更少模糊圖像的全綠色內(nèi)插。再馬賽克拜耳圖像包括再馬賽克拜耳圖案。

技術(shù)實(shí)現(xiàn)思路

1、本文公開了一種圖像傳感器。圖像傳感器包括像素陣列以及處理器。像素陣列包括多個(gè)彩色像素。第一顏色的四個(gè)像素由第一微透鏡覆蓋，第二顏色的四個(gè)像素由第二微透鏡覆蓋，且第三顏色的四個(gè)像素由第三微透鏡覆蓋。所述彩色像素以具有4×4個(gè)像素的第一最小重復(fù)單元布置：

2、c2?c2?c1?c1

3、c2?c2?c1?c1

4、c1?c1?c3?c3

5、c1?c1?c3?c3，

6、其中c1為所述第一顏色，c2為所述第二顏色，且c3為所述第三顏色，由微透鏡覆蓋的顏色的四個(gè)相鄰像素形成彩色像素群組。輸入圖像包括兩個(gè)第一彩色像素群組、第二彩色像素群組以及第三彩色像素群組。處理器配置成對(duì)所述輸入圖像進(jìn)行內(nèi)插以產(chǎn)生具有所有第一彩色像素的全內(nèi)插第一彩色圖像。對(duì)所述輸入圖像進(jìn)行內(nèi)插的過程包括：將所述輸入圖像下采樣為第一下采樣圖像，將所述輸入圖像下采樣為第二下采樣圖像，以及聯(lián)合使用所述第一下采樣圖像和所述第二下采樣圖像對(duì)第一彩色像素進(jìn)行內(nèi)插，從而產(chǎn)生具有所有第一彩色像素的內(nèi)插第一彩色下采樣圖像。

7、根據(jù)實(shí)施例，對(duì)所述內(nèi)插第一彩色下采樣圖像中的內(nèi)插第一彩色像素進(jìn)行上采樣，且將具有所有第一彩色像素的所述內(nèi)插第一彩色下采樣圖像上采樣為所述全內(nèi)插第一彩色圖像。

8、根據(jù)實(shí)施例，所述下采樣為將四個(gè)像素組合為一下采樣像素，且其中所述組合為獲取組合像素的平均值、獲取所述組合像素中的預(yù)定位置中的任何一個(gè)像素、獲取所述組合像素中的任何兩個(gè)像素的平均值以及獲取所述組合像素中的任何三個(gè)像素的平均值中的一個(gè)。

9、根據(jù)實(shí)施例，所述第一下采樣圖像不同于所述第二下采樣圖像。

10、根據(jù)實(shí)施例，所述第一顏色為綠色，所述第二顏色為藍(lán)色且所述第三顏色為紅色。

11、根據(jù)實(shí)施例，所述內(nèi)插包括在內(nèi)插像素處對(duì)綠色像素進(jìn)行內(nèi)插，所述內(nèi)插像素為所述第一下采樣圖像中的非綠色像素，所述內(nèi)插綠色像素包括包圍所述第一下采樣圖像中的所述非綠色像素的四個(gè)綠色像素的線性組合，且所述內(nèi)插產(chǎn)生具有所有綠色像素的內(nèi)插綠色下采樣圖像。

12、根據(jù)實(shí)施例，所述線性組合的系數(shù)來自所述第二下采樣圖像，且其中所述線性組合的所述系數(shù)包括1/δn，以及

13、δn＝w1|ggn-ggs|+w2|ggn1-ggn|+w3|rn-r0|，其中g(shù)gn為在北方向上緊鄰所述內(nèi)插像素的綠色像素，ggs為在南方向上緊鄰所述內(nèi)插像素的綠色像素，rn為在北方向上緊鄰ggn的紅色像素，ggn1為在北方向上緊鄰rn的綠色像素，且r0為定位于所述內(nèi)插像素處的紅色像素，且其中w1、w2、w3以及w4為加權(quán)因數(shù)。

14、根據(jù)實(shí)施例，將所述內(nèi)插綠色下采樣圖像中的內(nèi)插綠色像素上采樣為四個(gè)像素。

15、根據(jù)實(shí)施例，所述對(duì)所述內(nèi)插綠色下采樣圖像中的所述內(nèi)插綠色像素進(jìn)行上采樣包括包圍所述內(nèi)插綠色下采樣圖像中的所述內(nèi)插綠色像素的四個(gè)綠色像素的不平衡差的線性組合。

16、根據(jù)實(shí)施例，包圍所述內(nèi)插綠色下采樣圖像中的所述內(nèi)插綠色像素的所述四個(gè)綠色像素的所述不平衡差包括

17、dni＝vni-vn-mean，其中dni為在所述北方向上緊鄰所述內(nèi)插綠色像素的綠色像素的不平衡差，vni為所述輸入圖像中具有四個(gè)綠色像素的綠色像素群組中的綠色像素，且vn-mean為所述綠色像素群組中的所述四個(gè)綠色像素的平均數(shù)。

18、根據(jù)實(shí)施例，所述線性組合的系數(shù)來自所述第二下采樣圖像，且其中所述線性組合的所述系數(shù)包括1/δn，以及

19、δn＝w1|ggn-ggs|+w2|ggn1-ggn|+w3|rn-r0|，其中g(shù)gn為在北方向上緊鄰所述內(nèi)插像素的綠色像素，ggs為在南方向上緊鄰所述內(nèi)插像素的綠色像素，rn為在北方向上緊鄰ggn的紅色像素，ggn1為在北方向上緊鄰rn的綠色像素，且r0為定位于所述內(nèi)插像素處的紅色像素，且其中w1、w2、w3以及w4為加權(quán)因數(shù)。

20、根據(jù)實(shí)施例，所述對(duì)所述內(nèi)插綠色下采樣圖像中的所述內(nèi)插綠色像素進(jìn)行上采樣包括包圍所述內(nèi)插綠色下采樣圖像中的所述內(nèi)插綠色像素的四個(gè)綠色像素的不平衡比率的線性組合。

21、根據(jù)實(shí)施例，包圍所述下采樣圖像中的所述內(nèi)插綠色像素的所述四個(gè)綠色像素的所述不平衡比率包括

22、其中rni為在所述北方向上緊鄰所述內(nèi)插像素的所述綠色像素的不平衡比率，vni為所述輸入圖像中具有四個(gè)綠色像素的綠色像素群組中的綠色像素，且vn-mean為幾何平均數(shù)和所述綠色像素群組中的所述四個(gè)綠色像素的平均數(shù)中的一個(gè)。

23、根據(jù)實(shí)施例，所述線性組合的系數(shù)來自所述第二下采樣圖像，且其中所述線性組合的所述系數(shù)包括1/δn，以及

24、δn＝w1|ggn-ggs|+w2|ggn1-ggn|+w3|rn-r0|，其中g(shù)gn為在北方向上緊鄰所述內(nèi)插像素的綠色像素，ggs為在南方向上緊鄰所述內(nèi)插像素的綠色像素，rn為在北方向上緊鄰ggn的紅色像素，ggn1為在北方向上緊鄰rn的綠色像素，且r0為定位于所述內(nèi)插像素處的紅色像素，且其中w1、w2、w3以及w4是加權(quán)因數(shù)。

25、本文公開了一種用于從輸入圖像對(duì)第一彩色像素進(jìn)行全內(nèi)插的方法。所述第一彩色像素具有第一最小重復(fù)單元

26、c2?c2?c1?c1

27、c2?c2?c1?c1

28、c1?c1?c3?c3

29、c1?c1?c3?c3，

30、其中c1為第一顏色，c2為第二顏色，且c3為第三顏色。處理器配置成對(duì)所述輸入圖像進(jìn)行內(nèi)插以產(chǎn)生具有所有第一彩色像素的全內(nèi)插第一彩色圖像。對(duì)所述輸入圖像進(jìn)行內(nèi)插的過程包括：將所述輸入圖像下采樣為第一下采樣圖像，將所述輸入圖像下采樣為第二下采樣圖像，以及聯(lián)合使用所述第一下采樣圖像和所述第二下采樣圖像對(duì)第一彩色像素進(jìn)行內(nèi)插，從而產(chǎn)生具有所有第一彩色像素的內(nèi)插第一彩色下采樣圖像。

31、根據(jù)實(shí)施例，對(duì)所述內(nèi)插第一彩色下采樣圖像中的內(nèi)插第一彩色像素進(jìn)行上采樣，且將具有所有第一彩色像素的所述內(nèi)插第一彩色下采樣圖像上采樣為所述全內(nèi)插第一彩色圖像。

32、根據(jù)實(shí)施例，所述下采樣為將四個(gè)像素組合為一下采樣像素，且其中所述組合為獲取組合像素的平均值、獲取所述組合像素中的預(yù)定位置中的任何一個(gè)像素、獲取所述組合像素中的任何兩個(gè)像素的平均值，以及獲取所述組合像素中的任何三個(gè)像素的平均值中的一個(gè)。

33、根據(jù)實(shí)施例，所述第一下采樣圖像不同于所述第二下采樣圖像。

34、根據(jù)實(shí)施例，所述第一顏色為綠色，所述第二顏色為藍(lán)色，且所述第三顏色為紅色。