固態(tài)成像器件、固態(tài)成像器件的信號(hào)處理方法和成像設(shè)備的制作方法
【專利摘要】本發(fā)明公開了固態(tài)成像器件、固態(tài)成像器件的信號(hào)處理方法和成像設(shè)備。該固態(tài)成像器件包括設(shè)在包括以矩陣形式二維排列的像素的像素陣列單元上的濾色器單元和設(shè)在具有該像素陣列單元的襯底上的轉(zhuǎn)換處理單元。濾色器單元具有以下顏色排列：其中用作亮度信號(hào)的主分量的顏色被排列為棋盤圖案，并且用作顏色信息分量的多種顏色被排列在棋盤圖案的其他區(qū)域中。轉(zhuǎn)換處理單元將從像素陣列單元的像素輸出的、與濾色器單元的顏色排列相對(duì)應(yīng)的信號(hào)轉(zhuǎn)換為與拜耳排列相對(duì)應(yīng)的信號(hào)并且輸出轉(zhuǎn)換后的信號(hào)。
【專利說明】固態(tài)成像器件、固態(tài)成像器件的信號(hào)處理方法和成像設(shè)備
[0001]本申請(qǐng)是申請(qǐng)?zhí)枮?00910253814.5，申請(qǐng)日為2009年12月8日，發(fā)明名稱為“固態(tài)成像器件、固態(tài)成像器件的信號(hào)處理方法和成像設(shè)備”的發(fā)明專利申請(qǐng)的分案申請(qǐng)。

【技術(shù)領(lǐng)域】
[0002]本發(fā)明涉及固態(tài)成像器件、用于處理固態(tài)成像器件的信號(hào)的方法以及成像設(shè)備。

【背景技術(shù)】
[0003]為了提高固態(tài)成像器件的靈敏度，已經(jīng)開發(fā)了濾色器陣列(color filterarray)和濾色器陣列的信號(hào)處理方面的多種技術(shù)(例如，參見日本未實(shí)審專利申請(qǐng)公布N0.2007-287891)。一種濾色器陣列是使用用作亮度信號(hào)的主分量的顏色(例如，白色(W))的濾色器陣列。作為使用白色的顏色編碼，經(jīng)常使用白色按棋盤圖案排列的白色棋盤顏色編碼。
[0004]使用白色的濾色器陣列的輸出電壓高于廣泛使用的具有RGB拜耳排列(Bayerarrangement)的濾色器陣列的輸出電壓。因此，可以提高固態(tài)成像器件的靈敏度。注意，在拜耳排列中，綠色(G)被排列為棋盤圖案(或稱為“方格圖案”，checkerboard pattern)。紅色(R)和藍(lán)色(B)也在該棋盤圖案的其他區(qū)域中被排列為棋盤圖案。
[0005]在使用RGB拜耳排列的濾色器的固態(tài)成像裝置中，為了將RGB信號(hào)轉(zhuǎn)換為YUV信號(hào)(Y:亮度信號(hào)，U和V:色差信號(hào))，需要用于生成Y信號(hào)的計(jì)算。在計(jì)算中，例如可以使用下面的式子:
[0006]Y = 0.29891 X R+0.58661XG+0.11448 X B
[0007]一般而言，該計(jì)算是由設(shè)在固態(tài)成像裝置的襯底(傳感器芯片)外部的數(shù)字信號(hào)處理器(DSP)執(zhí)行的。因此，即使在使用包括白色的濾色器陣列的固態(tài)成像器件中，用于生成亮度信號(hào)Y的計(jì)算也是由設(shè)在傳感器芯片外部的DSP執(zhí)行的。


【發(fā)明內(nèi)容】

[0008]然而，在使用包括白色的濾色器陣列的固態(tài)成像器件執(zhí)行的信號(hào)處理中，難以使用為RGB拜耳排列設(shè)計(jì)的現(xiàn)有DSP。因此，如果顏色編碼改變則有必要開發(fā)新的DSP。如果為RGB拜耳排列設(shè)計(jì)的DSP被改變?yōu)橛糜诎咨灞P圖案的DSP，則需要大量的開發(fā)成本。由于這一開發(fā)成本被反映在包括DSP的相機(jī)模塊的價(jià)格中，因此難以降低相機(jī)模塊的成本。因此，包括白色的顏色編碼的廣泛使用受到阻礙。
[0009]因此，本發(fā)明提供了一種固態(tài)成像器件、用于處理固態(tài)成像器件的信號(hào)的方法以及成像設(shè)備，其能夠在使用其中用作亮度信號(hào)的主分量的顏色按棋盤圖案排列的顏色編碼時(shí)使用現(xiàn)有的RGB拜耳排列DSP。
[0010]另外，通過將作為亮度信號(hào)的主分量的白色的濾色器用于濾色器陣列，可以提高固態(tài)成像器件的靈敏度。此外，通過改善顏色排列或信號(hào)處理方法，可以在分辨率降低最小的情況下提高使用白色濾色器的濾色器陣列的靈敏度。
[0011]因此，本發(fā)明提供了一種包括可以在分辨率降低最小化的情況下提高靈敏度的新型顏色排列的濾色器陣列的固態(tài)成像器件、一種用于處理固態(tài)成像器件的信號(hào)的方法、以及一種包括固態(tài)成像器件的成像設(shè)備。
[0012]根據(jù)本發(fā)明的一個(gè)實(shí)施例，一種固態(tài)成像器件包括設(shè)在包括以矩陣形式二維排列的像素的像素陣列單元上的濾色器單元，其中濾色器單元具有以下顏色排列:其中用作亮度信號(hào)的主分量的顏色被排列為棋盤圖案，并且用作顏色信息分量的多種顏色被排列在棋盤圖案的其他區(qū)域中。該固態(tài)成像器件具有以下配置:從像素陣列單元的像素輸出的、與濾色器單元的顏色排列相對(duì)應(yīng)的信號(hào)在具有像素陣列單元的襯底上被轉(zhuǎn)換為與拜耳排列相對(duì)應(yīng)的信號(hào)。
[0013]在上述配置中，由于用作亮度信號(hào)的主分量的顏色被排列為棋盤圖案，因此利用用作亮度信號(hào)的主分量的顏色的信號(hào)，可以恢復(fù)在垂直方向和水平方向上與該顏色相鄰的像素的其他顏色的信號(hào)。因此，可以提高從與濾色器單元的顏色排列相對(duì)應(yīng)的信號(hào)轉(zhuǎn)換到與拜耳排列相對(duì)應(yīng)的信號(hào)的轉(zhuǎn)換效率。另外，通過從具有像素陣列單元的襯底(傳感器芯片)輸出與拜耳排列相對(duì)應(yīng)的信號(hào)，用于拜耳排列的現(xiàn)有DSP可以用作下游信號(hào)處理單元。
[0014]根據(jù)本發(fā)明的另一個(gè)實(shí)施例，提供了一種固態(tài)成像器件，該固態(tài)成像器件包括設(shè)在包括以矩陣形式二維排列的像素的像素陣列單元上的濾色器單元，其中濾色器單元具有以下顏色排列:其中用作亮度信號(hào)的主分量的第一顏色的濾色器被排列為棋盤圖案，并且一連串四個(gè)像素的、用作亮度信號(hào)的主分量的第二顏色的濾色器形成一組，這些組被排列為在對(duì)角方向、垂直方向和水平方向之一上形成條形圖案。該固態(tài)成像器件具有用于接收從像素陣列單元的像素輸出的、與濾色器單元的顏色排列相對(duì)應(yīng)的信號(hào)，并將與第一顏色的濾色器像素相鄰的第二顏色的濾色器像素的信號(hào)加到該第一顏色的濾色器像素的信號(hào)上的配置。
[0015]用作亮度信號(hào)的主分量的第一和第二顏色的濾色器具有高于其他顏色的靈敏度。因此，在第一顏色的濾色器被排列為棋盤圖案的顏色排列中，一連串四個(gè)第二顏色的濾色器形成一組，并且這些組被排列為在對(duì)角方向、垂直方向和水平方向之一上形成條形圖案。通過將與具有第一顏色的濾色器的像素相鄰的具有第二顏色的濾色器的像素的信號(hào)加到該具有第一顏色的濾色器的像素的信號(hào)上并使用該和作為亮度信號(hào)的主分量，可以增大亮度信號(hào)的強(qiáng)度。
[0016]根據(jù)本發(fā)明的實(shí)施例，即使當(dāng)顏色編碼改變時(shí)，也仍然可以使用用于RGB拜耳排列的現(xiàn)有DSP。因此，不再需要非常高昂的新DSP的開發(fā)。
[0017]另外，根據(jù)本發(fā)明的實(shí)施例，與具有第一顏色的濾色器的像素相鄰的具有第二顏色的濾色器的像素的信號(hào)被加到該具有第一顏色的濾色器的像素的信號(hào)上，并且該和被用作亮度信號(hào)的主分量。因而，可以增大亮度信號(hào)的強(qiáng)度。結(jié)果，可以在分辨率降低最小的情況下提高靈敏度。

【專利附圖】

【附圖說明】
[0018]圖1是根據(jù)本發(fā)明第一和第二示例性實(shí)施例的CMOS圖像傳感器的示例性系統(tǒng)配置的不意圖；
[0019]圖2是圖示單位像素的示例性電路配置的電路圖；
[0020]圖3是圖示允許在像素中執(zhí)行對(duì)四個(gè)鄰近像素的像素加法的電路的示例性配置的電路圖；
[0021]圖4是圖示根據(jù)第一示例性實(shí)施例的第一例子的顏色編碼的顏色排列圖；
[0022]圖5是圖示根據(jù)第一示例性實(shí)施例的第二例子的顏色編碼的顏色排列圖；
[0023]圖6是圖示根據(jù)第一示例性實(shí)施例的第三例子的顏色編碼的顏色排列圖；
[0024]圖7是圖示根據(jù)第一示例性實(shí)施例的第四例子的顏色編碼的顏色排列圖；
[0025]圖8是圖示根據(jù)第一示例性實(shí)施例的第五例子的顏色編碼的顏色排列圖；
[0026]圖9是圖示根據(jù)第一示例性實(shí)施例的第六例子的顏色編碼的顏色排列圖；
[0027]圖10是圖示根據(jù)第一示例性實(shí)施例的第七例子的顏色編碼的顏色排列圖；
[0028]圖11是圖示根據(jù)第一示例性實(shí)施例的第八例子的顏色編碼的顏色排列圖；
[0029]圖12是圖示根據(jù)第一示例性實(shí)施例的第九例子的顏色編碼的顏色排列圖；
[0030]圖13是圖示在根據(jù)第一示例性實(shí)施例的第一示例和第二示例性實(shí)施例的第一例子的顏色編碼的情況下、在全掃描時(shí)的高亮度模式中執(zhí)行的顏色轉(zhuǎn)換處理I的示例性處理流程的流程圖；
[0031]圖14A至14D是在根據(jù)第一示例性實(shí)施例的第一示例和第二示例性實(shí)施例的第一例子的顏色編碼的情況下、在全掃描時(shí)的高亮度模式中執(zhí)行的顏色轉(zhuǎn)換處理I的示意圖；
[0032]圖15是圖示在根據(jù)第一示例性實(shí)施例的第一示例和第二示例性實(shí)施例的第一例子的顏色編碼的情況下、在全掃描時(shí)的低亮度模式中執(zhí)行的顏色轉(zhuǎn)換處理2的示例性處理流程的流程圖；
[0033]圖16A至16D是在根據(jù)第一示例性實(shí)施例的第一示例和第二示例性實(shí)施例的第一例子的顏色編碼的情況下、在全掃描時(shí)的低亮度模式中執(zhí)行的顏色轉(zhuǎn)換處理2的示意圖；
[0034]圖17是圖示在根據(jù)第一示例性實(shí)施例的第一例子的顏色編碼的情況下、像素加法處理I的示例性處理流程的流程圖；
[0035]圖18A至18D是在根據(jù)第一示例性實(shí)施例的第一例子的顏色編碼的情況下、像素加法處理I的示意圖；
[0036]圖19圖示了 FD加法和計(jì)數(shù)器加法；
[0037]圖20是圖示在根據(jù)第一示例性實(shí)施例的第一示例和第二示例性實(shí)施例的第一例子的顏色編碼的情況下執(zhí)行的像素加法處理2的示例性處理流程的流程圖；
[0038]圖21A至21D是在根據(jù)第一示例性實(shí)施例的第一例子和第二示例性實(shí)施例的第一例子的顏色編碼的情況下執(zhí)行的像素加法處理2的示意圖；
[0039]圖22是圖示在根據(jù)第一示例性實(shí)施例的第一例子的顏色編碼的情況下執(zhí)行的像素加法處理3的示例性處理流程的流程圖；
[0040]圖23A至23C是在根據(jù)第一示例性實(shí)施例的第一例子的顏色編碼的情況下執(zhí)行的像素加法處理3的示意圖；
[0041]圖24A至24D是在根據(jù)第一示例性實(shí)施例的第二例子的顏色編碼的情況下、在全掃描時(shí)執(zhí)行的顏色轉(zhuǎn)換處理的示意圖；
[0042]圖25A至2?是在根據(jù)第一示例性實(shí)施例的第二例子的顏色編碼的情況下執(zhí)行的像素加法處理的示意圖；
[0043]圖26A至26D是在根據(jù)第一示例性實(shí)施例的第三例子的顏色編碼的情況下、在全掃描時(shí)執(zhí)行的顏色轉(zhuǎn)換處理的示意圖；
[0044]圖27A至27E是在根據(jù)第一示例性實(shí)施例的第三例子的顏色編碼的情況下執(zhí)行的像素加法處理的示意圖；
[0045]圖28A至28D是在根據(jù)第一示例性實(shí)施例的第四例子的顏色編碼的情況下、在全掃描時(shí)執(zhí)行的顏色轉(zhuǎn)換處理的示意圖；
[0046]圖29A至29F是在根據(jù)第一示例性實(shí)施例的第四例子的顏色編碼的情況下執(zhí)行的像素加法處理的示意圖；
[0047]圖30A至30D是在根據(jù)第一示例性實(shí)施例的第四例子的顏色編碼的情況下執(zhí)行的第二類型的像素加法處理的示意圖；
[0048]圖31A至31C是在根據(jù)第一示例性實(shí)施例的第四例子的顏色編碼的情況下執(zhí)行的第三類型的像素加法處理的示意圖；
[0049]圖32A至32D是在根據(jù)第一示例性實(shí)施例的第四例子的顏色編碼的情況下執(zhí)行的第四類型的像素加法處理的示意圖；
[0050]圖33A至33D是在根據(jù)第一示例性實(shí)施例的第五例子的顏色編碼的情況下、在全掃描時(shí)執(zhí)行的顏色轉(zhuǎn)換處理的示意圖；
[0051]圖34A至34E是在根據(jù)第一示例性實(shí)施例的第五例子的顏色編碼的情況下執(zhí)行的像素加法處理的示意圖；
[0052]圖35A至3?是在根據(jù)第一示例性實(shí)施例的第六例子的顏色編碼的情況下執(zhí)行的顏色轉(zhuǎn)換處理I的示意圖；
[0053]圖36A至36D是在根據(jù)第一示例性實(shí)施例的第六例子的顏色編碼的情況下執(zhí)行的顏色轉(zhuǎn)換處理2的示意圖；
[0054]圖37A至37D是在根據(jù)第一示例性實(shí)施例的第六例子的顏色編碼的情況下執(zhí)行的像素加法處理I的示意圖；
[0055]圖38A至38D是在根據(jù)第一示例性實(shí)施例的第六例子的顏色編碼的情況下執(zhí)行的像素加法處理2的示意圖；
[0056]圖39A至39D是在根據(jù)第一示例性實(shí)施例的第七例子的顏色編碼的情況下、在全掃描時(shí)執(zhí)行的顏色轉(zhuǎn)換處理的示意圖；
[0057]圖40A至40E是在根據(jù)第一示例性實(shí)施例的第七例子的顏色編碼的情況下執(zhí)行的像素加法處理的示意圖；
[0058]圖41A至41D是在根據(jù)第一示例性實(shí)施例的第八例子的顏色編碼的情況下、在全掃描時(shí)執(zhí)行的顏色轉(zhuǎn)換處理的示意圖；
[0059]圖42A至42D是在根據(jù)第一示例性實(shí)施例的第八例子的顏色編碼的情況下執(zhí)行的像素加法處理的示意圖；
[0060]圖43A至43C是在根據(jù)第一示例性實(shí)施例的第九例子的顏色編碼的情況下、在全掃描時(shí)執(zhí)行的顏色轉(zhuǎn)換處理的示意圖；
[0061]圖44A至44B是在根據(jù)第一示例性實(shí)施例的第九例子的顏色編碼的情況下執(zhí)行的像素加法處理的示意圖；
[0062]圖45是圖示根據(jù)第二示例性實(shí)施例的第一例子的顏色編碼的顏色排列圖；
[0063]圖46是圖示根據(jù)第二示例性實(shí)施例的第二例子的顏色編碼的顏色排列圖；
[0064]圖47是圖示在根據(jù)第二示例性實(shí)施例的第一例子的顏色編碼的情況下的像素加法處理I的示例性處理流程的流程圖；
[0065]圖48A至48D是在根據(jù)第二示例性實(shí)施例的第一例子的顏色編碼的情況下的顏色轉(zhuǎn)換處理I的示意圖；
[0066]圖49A至49D是在根據(jù)第二示例性實(shí)施例的第二例子的顏色編碼的情況下的顏色轉(zhuǎn)換處理I的示意圖；
[0067]圖50A至50D是在根據(jù)第二示例性實(shí)施例的第二例子的顏色編碼的情況下的顏色轉(zhuǎn)換處理2的示意圖；
[0068]圖51A至51D是在根據(jù)第二示例性實(shí)施例的第二例子的顏色編碼的情況下的像素加法處理I的示意圖；
[0069]圖52A至52D是在根據(jù)第二示例性實(shí)施例的第二例子的顏色編碼的情況下的像素加法處理2的示意圖；
[0070]圖53是根據(jù)本發(fā)明第三示例性實(shí)施例的CMOS圖像傳感器的示例性系統(tǒng)配置的示意圖；
[0071]圖54是圖示在根據(jù)第三示例性實(shí)施例的第一例子的顏色編碼的情況下、在全掃描時(shí)的高亮度模式中執(zhí)行的顏色轉(zhuǎn)換處理I的示例性處理流程的流程圖；
[0072]圖55A至55C是在根據(jù)第三示例性實(shí)施例的第一例子的顏色編碼的情況下、在全掃描時(shí)執(zhí)行的顏色轉(zhuǎn)換處理I的示意圖；
[0073]圖56是圖示在根據(jù)第三示例性實(shí)施例的第一例子的顏色編碼的情況下、在全掃描時(shí)的低亮度模式中執(zhí)行的顏色轉(zhuǎn)換處理2的示例性處理流程的流程圖；
[0074]圖57A至57C是在根據(jù)第三示例性實(shí)施例的第一例子的顏色編碼的情況下、在全掃描時(shí)執(zhí)行的顏色轉(zhuǎn)換處理2的示意圖；
[0075]圖58是圖示在根據(jù)第三示例性實(shí)施例的第一例子的顏色編碼的情況下的像素加法處理I的示例性處理流程的流程圖；
[0076]圖59A至59C是在根據(jù)第三示例性實(shí)施例的第一例子的顏色編碼的情況下執(zhí)行的像素加法處理I的示意圖；
[0077]圖60是圖示在根據(jù)第三示例性實(shí)施例的第一例子的顏色編碼的情況下的像素加法處理2的示例性處理流程的流程圖；
[0078]圖61A至61C是在根據(jù)第三示例性實(shí)施例的第一例子的顏色編碼的情況下執(zhí)行的像素加法處理2的示意圖；
[0079]圖62A和62B是在根據(jù)第三示例性實(shí)施例的第二例子的顏色編碼的情況下執(zhí)行的顏色轉(zhuǎn)換處理I的示意圖；
[0080]圖63A至63C是在根據(jù)第三示例性實(shí)施例的第二例子的顏色編碼的情況下執(zhí)行的顏色轉(zhuǎn)換處理2的示意圖；
[0081 ] 圖64A和64B是在根據(jù)第三示例性實(shí)施例的第二例子的顏色編碼的情況下執(zhí)行的像素加法處理I的示意圖；
[0082]圖65A至65C是在根據(jù)第三示例性實(shí)施例的第二例子的顏色編碼的情況下執(zhí)行的像素加法處理2的示意圖；
[0083]圖66是圖示根據(jù)第一例子的修改的顏色編碼的顏色排列圖；
[0084]圖67是圖示根據(jù)第二例子的修改的顏色編碼的顏色排列圖；以及
[0085]圖68是根據(jù)本發(fā)明一個(gè)實(shí)施例的成像設(shè)備的示例性配置的框圖。

【具體實(shí)施方式】
[0086]下面參考附圖詳細(xì)描述本發(fā)明的各種示例性實(shí)施例。描述按以下順序進(jìn)行:
[0087]1.示例性實(shí)施例
[0088]1-1.系統(tǒng)配置
[0089]1-2.濾色器陣列的顏色編碼
[0090]1-3.顏色編碼的例子
[0091]1-4.靈敏度比率 W:G:R:B
[0092]1-5.顏色轉(zhuǎn)換處理
[0093]2.應(yīng)用例子(成像設(shè)備)
[0094]1.第一示例性實(shí)施例
[0095]1-1.系統(tǒng)配置
[0096]圖1是根據(jù)本發(fā)明第一示例性實(shí)施例的固態(tài)成像器件(例如，CMOS圖像傳感器，它是X-Y尋址固態(tài)成像器件的例子)的示例性系統(tǒng)配置的示意性。
[0097]根據(jù)第一實(shí)施例，CMOS圖像傳感器10包括半導(dǎo)體襯底11 (下文中也稱為“傳感器芯片”)11。傳感器芯片11包括形成在傳感器芯片11上的像素陣列單元12和集成到傳感器芯片11上的外圍電路單元。例如，外圍電路單元包括垂直驅(qū)動(dòng)單元13、列處理單元14、水平驅(qū)動(dòng)單元15、轉(zhuǎn)換處理單元16和系統(tǒng)控制單元17。
[0098]像素陣列單元12包括以陣列形式二維排列的多個(gè)單位像素(未示出)，每個(gè)單位像素包括光電轉(zhuǎn)換元件。單位像素(下文中也簡稱為“像素”)根據(jù)入射在其上的可見光的強(qiáng)度將該可見光光電轉(zhuǎn)換為電荷。濾色器陣列30被設(shè)在光接收面(光入射面)一側(cè)的像素陣列單元12上。本示例性實(shí)施例的主要特征之一在于濾色器陣列30的顏色編碼。濾色器陣列30的顏色編碼將在下面更詳細(xì)描述。
[0099]此外，在像素陣列單元12中，對(duì)于像素陣列的每一行，像素驅(qū)動(dòng)線18被部署在圖1的左右方向上(一像素行中的像素的排列方向或者水平方向)。類似地，對(duì)于像素陣列的每一列，垂直信號(hào)線19被部署在圖1的上下方向上(一像素列中的像素的排列方向或者垂直方向)。在圖1中，盡管僅圖示了一條像素驅(qū)動(dòng)線18，但是像素驅(qū)動(dòng)線18的數(shù)目并不限于一條。像素驅(qū)動(dòng)線18的一端連接到與垂直驅(qū)動(dòng)單元13的一行相對(duì)應(yīng)的輸出端。
[0100]例如，垂直驅(qū)動(dòng)單元13包括移位寄存器和地址譯碼器。盡管圖1中并未示出其詳細(xì)配置，但是垂直驅(qū)動(dòng)單元13包括讀出掃描系統(tǒng)和清掃掃描系統(tǒng)。讀出掃描系統(tǒng)順序地掃描單位像素，從這些單位像素逐行地讀取信號(hào)。
[0101 ] 與之相比，在比讀出掃描系統(tǒng)執(zhí)行的讀出行的讀出掃描操作早由快門速度決定的時(shí)間之前，清掃掃描系統(tǒng)執(zhí)行清掃掃描以使得不必要的電荷被掃出讀出行中單位像素的光電轉(zhuǎn)換元件(被復(fù)位)。通過利用清掃掃描系統(tǒng)來清掃(復(fù)位)不必要的電荷，完成了所謂的電子快門操作。即，在電子快門操作中，光電轉(zhuǎn)換元件的光電荷被丟棄，并且新的曝光操作(光電荷的積累)開始。
[0102]通過讀出掃描系統(tǒng)執(zhí)行的讀出操作讀取的信號(hào)對(duì)應(yīng)于在執(zhí)行了前面緊鄰的讀出操作或電子快門操作之后入射的光量。另外，從前面緊鄰的讀出操作的讀出時(shí)間點(diǎn)或者電子快門操作的清掃時(shí)間點(diǎn)到當(dāng)前讀出操作的讀出時(shí)間點(diǎn)的時(shí)間段對(duì)應(yīng)于單位像素中光電荷的累積時(shí)間(曝光時(shí)間)。
[0103]從被垂直驅(qū)動(dòng)單元13選擇并掃描的像素行中的每一單位像素輸出的信號(hào)經(jīng)由垂直信號(hào)線19中的相應(yīng)一條被提供到列處理單元14。對(duì)于像素陣列單元12的每一像素列，列處理單元14對(duì)從所選的行中的像素輸出的模擬像素信號(hào)執(zhí)行預(yù)定信號(hào)處理。
[0104]由列處理單元14執(zhí)行的信號(hào)處理的例子是相關(guān)雙采樣(⑶S)處理。在⑶S處理中，取出從所選行中的每一像素輸出的復(fù)位電平和信號(hào)電平，并且計(jì)算電平差。因而，獲得了一行中的像素的信號(hào)。另外，去除像素的固定模式噪聲。列處理單元14可以具有用于將模擬像素信號(hào)轉(zhuǎn)換為數(shù)字格式的模數(shù)(A/D)轉(zhuǎn)換功能。
[0105]例如，水平驅(qū)動(dòng)單元15包括移位寄存器和地址譯碼器。水平驅(qū)動(dòng)單元15順序地選擇并掃描與列處理單元14的一個(gè)像素列相對(duì)應(yīng)的電路部分。通過水平驅(qū)動(dòng)單元15執(zhí)行的選擇掃描操作，每一像素列被列處理單元14順序地處理，并且被順序輸出。
[0106]轉(zhuǎn)換處理單元16執(zhí)行計(jì)算并將與濾色器陣列(濾色器單元)30的顏色排列相對(duì)應(yīng)、且從像素陣列單元12的像素輸出的信號(hào)轉(zhuǎn)換為與拜耳排列相對(duì)應(yīng)的信號(hào)。本實(shí)施例的另一關(guān)鍵特征在于轉(zhuǎn)換處理單元16被安裝在形成有像素陣列單元12的襯底上(即，傳感器芯片11上)，在傳感器芯片11中執(zhí)行顏色轉(zhuǎn)換處理，并且從傳感器芯片11輸出與拜耳排列相對(duì)應(yīng)的信號(hào)。由轉(zhuǎn)換處理單元16執(zhí)行的顏色轉(zhuǎn)換處理將在下面更詳細(xì)描述。
[0107]廣泛使用的術(shù)語“拜耳排列”表示這樣一種像素排列:其中用作高分辨率的亮度信號(hào)的主色信息分量的顏色被排列為棋盤圖案，而用于不很高分辨率的亮度信號(hào)的顏色信息分量的另兩種顏色被排列在棋盤圖案的其他區(qū)域中。在拜耳排列的基本顏色編碼形式中，對(duì)亮度信號(hào)具有高貢獻(xiàn)度的綠色(G)被排列為棋盤圖案，而紅色(R)和藍(lán)色(B)被排列在棋盤圖案的其他區(qū)域中。
[0108]系統(tǒng)控制單元17接收從傳感器芯片11外部提供的時(shí)鐘和用于指示操作模式的數(shù)據(jù)。另外，系統(tǒng)控制單元17輸出表示CMOS圖像傳感器10的內(nèi)部信息的數(shù)據(jù)。此外，系統(tǒng)控制單元17包括生成多種時(shí)序信號(hào)的時(shí)序發(fā)生器。系統(tǒng)控制單元17利用由時(shí)序發(fā)生器生成的多種時(shí)序信號(hào)來控制垂直驅(qū)動(dòng)單元13、列處理單元14、水平驅(qū)動(dòng)單元15和轉(zhuǎn)換處理單元16的驅(qū)動(dòng)。
[0109]單位像素的電路配置
[0110]圖2是單位像素20的示例性電路圖。如圖2所示，示例性電路圖中所示的單位像素20包括光電轉(zhuǎn)換元件(例如,光電二極管21)和四個(gè)晶體管(例如，轉(zhuǎn)移晶體管22、復(fù)位晶體管23、放大晶體管24和選擇晶體管25)。
[0111]在該例子中，N溝道MOS晶體管被用于轉(zhuǎn)移晶體管22、復(fù)位晶體管23、放大晶體管24和選擇晶體管25。然而，使用轉(zhuǎn)移晶體管22、復(fù)位晶體管23、放大晶體管24和選擇晶體管25的導(dǎo)電類型的組合僅僅是一個(gè)例子，并且組合方式不限于此。
[0112]例如，作為像素驅(qū)動(dòng)線18，為同一像素行中的每一單位像素20設(shè)置了三條驅(qū)動(dòng)線，即，轉(zhuǎn)移線181、復(fù)位線182和選擇線183。轉(zhuǎn)移線181的一端、復(fù)位線182的一端和選擇線183的一端連接到與垂直驅(qū)動(dòng)單元13的一個(gè)像素行相對(duì)應(yīng)的輸出端。
[0113]光電二極管21的陽極電極連接到負(fù)電源(例如，地)。光電二極管21根據(jù)所接收的光量將接收的光光電轉(zhuǎn)換為光電荷(在該示例性實(shí)施例中是光電子)。光電二極管21的陰極電極經(jīng)由轉(zhuǎn)移晶體管22連接到放大晶體管24的柵電極。電連接到放大晶體管24的柵電極的節(jié)點(diǎn)26被稱為“浮動(dòng)擴(kuò)散(FD)單元”。
[0114]轉(zhuǎn)移晶體管22連接在光電二極管21的陰極電極和FD單元26之間。當(dāng)具有有效高電平(例如，Vdd電平)的轉(zhuǎn)移脈沖CtTRF(下文中稱為“高有效轉(zhuǎn)移脈沖”)經(jīng)由轉(zhuǎn)移線181被輸送到轉(zhuǎn)移晶體管22的柵電極時(shí)，轉(zhuǎn)移晶體管22導(dǎo)通。因而，轉(zhuǎn)移晶體管22將經(jīng)光電二極管21光電轉(zhuǎn)換的光電荷轉(zhuǎn)移到FD單元26。
[0115]復(fù)位晶體管23的漏電極連接到像素電源VdcL復(fù)位晶體管23的源電極連接到FD單元26。在信號(hào)電荷被從光電二極管21轉(zhuǎn)移到FD單元26之前，高有效復(fù)位脈沖ΦΙ?Τ經(jīng)由復(fù)位線182被輸送到復(fù)位晶體管23的柵電極。當(dāng)復(fù)位脈沖CtRST被送到復(fù)位晶體管23時(shí)，復(fù)位晶體管23導(dǎo)通。因而，復(fù)位晶體管23通過丟棄FD單元26的電荷將FD單元26復(fù)位到像素電源VdcL
[0116]放大晶體管24的柵電極連接到FD單元26。放大晶體管24的漏電極連接到像素電源Vdd。在FD單元26被復(fù)位晶體管23復(fù)位之后，放大晶體管24以復(fù)位信號(hào)(復(fù)位電平)Vreset的形式輸出FD單元26的電位。另外，在信號(hào)電平被轉(zhuǎn)移晶體管22轉(zhuǎn)移之后，放大晶體管24以光累積信號(hào)(信號(hào)電平)Vsig的形式輸出FD單兀26的電位。
[0117]例如，選擇晶體管25的漏電極連接到放大晶體管24的源電極。選擇晶體管25的源電極連接到垂直信號(hào)線19。當(dāng)高有效選擇脈沖Φ SEL經(jīng)由選擇線183被送到選擇晶體管25的柵電極時(shí)，選擇晶體管25導(dǎo)通。因而，選擇晶體管25使得單位像素20進(jìn)入所選模式，以使從放大晶體管24輸出的信號(hào)被中繼到垂直信號(hào)線19。
[0118]注意，可以采用選擇晶體管25連接在像素電源Vdd和放大晶體管24的漏極之間的電路結(jié)構(gòu)。
[0119]應(yīng)當(dāng)注意，單位像素20的像素結(jié)構(gòu)并不限于上述四晶體管像素結(jié)構(gòu)。例如，單位像素20可以具有三晶體管像素結(jié)構(gòu)，其中放大晶體管24和選擇晶體管25的功能由一個(gè)晶體管完成。因而，可以采用像素電路的任何配置。
[0120]一般而言，為了在拍攝運(yùn)動(dòng)圖像時(shí)減小幀率，執(zhí)行像素加法，其中從多個(gè)鄰近像素輸出的信號(hào)被求和并讀出。像素加法是在像素、信號(hào)線、列處理單元14或者下游信號(hào)處理單元中執(zhí)行的。在本實(shí)施例中，例如描述了這樣一種像素結(jié)構(gòu)，其中四個(gè)像素被排列為在垂直方向和水平方向上彼此相鄰。
[0121]圖3是允許在像素中執(zhí)行對(duì)四個(gè)鄰近像素的像素加法的電路的示例性配置的電路圖。在適當(dāng)時(shí)，在描述圖3時(shí)將使用與上面描述圖2時(shí)所用的相同的附圖標(biāo)記。
[0122]在圖3中，被排列為在垂直方向和水平方向上彼此相鄰的四個(gè)像素的光電二極管21被表示為光電二極管21-1、21-2、21-3和21_4。分別為光電二極管21-1、21_2、21_3和21-4設(shè)置四個(gè)轉(zhuǎn)移晶體管22-1、22-2、22-3和22-4。另外，使用一個(gè)復(fù)位晶體管23、一個(gè)放大晶體管24和一個(gè)選擇晶體管25。
[0123]S卩，轉(zhuǎn)移晶體管22-1的一個(gè)電極、轉(zhuǎn)移晶體管22-2的一個(gè)電極、轉(zhuǎn)移晶體管22_3的一個(gè)電極和轉(zhuǎn)移晶體管22-4的一個(gè)電極分別連接到光電二極管21-1的陰極電極、光電二極管21-2的陰極電極、光電二極管21-3的陰極電極和光電二極管21-4的陰極電極。轉(zhuǎn)移晶體管22-1的另一電極、轉(zhuǎn)移晶體管22-2的另一電極、轉(zhuǎn)移晶體管22-3的另一電極和轉(zhuǎn)移晶體管22-4的另一電極共同連接到放大晶體管24的柵電極。另外，被光電二極管21-1、21-2、21-3和21_4共享的FD單元26電連接到放大晶體管24的柵電極。復(fù)位晶體管23的漏電極連接到像素電源Vdd，并且復(fù)位晶體管23的源電極連接到FD單元26。
[0124]在支持對(duì)四個(gè)鄰近像素的像素加法的上述像素結(jié)構(gòu)中，通過同時(shí)向四個(gè)轉(zhuǎn)移晶體管22-1、22-2、22-3和22-4輸送轉(zhuǎn)移脈沖Φ TRF，可以執(zhí)行四個(gè)鄰近像素的像素加法。SP，通過四個(gè)轉(zhuǎn)移晶體管22-1、22-2、22-3和22_4從光電二極管21_1、21_2、21_3和21_4轉(zhuǎn)移到FD單元26的信號(hào)電荷被FD單元26求和。
[0125]與之相反，通過在不同時(shí)間點(diǎn)向向四個(gè)轉(zhuǎn)移晶體管22-1、22-2、22-3和22_4輸送轉(zhuǎn)移脈沖0TRF，可以逐個(gè)像素地執(zhí)行信號(hào)輸出。即，當(dāng)拍攝運(yùn)動(dòng)圖像時(shí)，可以通過執(zhí)行像素加法來增大幀率。與之相比，當(dāng)拍攝靜止圖像時(shí)，可以通過獨(dú)立地讀取所有像素的信號(hào)來增大分辨率。
[0126]1-2.濾色器陣列的顏色編碼
[0127]接下來描述作為本示例性實(shí)施例的特征之一的濾色器陣列30的顏色編碼。
[0128]根據(jù)本示例性實(shí)施例，濾色器陣列30采用以下顏色編碼:其中用作亮度信號(hào)的主色信息分量的顏色被排列為棋盤圖案，并且多種其他顏色被排列在棋盤圖案的其他區(qū)域中。在本實(shí)施例中，亮度信號(hào)的主色例如是亮度信號(hào)的白色(W)、綠色(G)和另一譜分量中的一種。
[0129]由于W濾色器具有大約為G濾色器兩倍的靈敏度(W濾色器的輸出電平高于G濾色器的輸出電平)，因此可以獲得高S/N比。然而，由于W濾色器包含各種顏色信息，因此可能出現(xiàn)不同于被攝物的原始顏色的錯(cuò)誤顏色。與之相比，盡管G濾色器具有低于W濾色器的靈敏度，但是G濾色器很少產(chǎn)生錯(cuò)誤顏色。即，在靈敏度和錯(cuò)誤顏色產(chǎn)生之間存在折衷。
[0130]當(dāng)用作主色信息分量的濾色器的W濾色器被排列為棋盤圖案時(shí)，R、G和B濾色器被排列在棋盤圖案的其他區(qū)域中，作為其他顏色信息分量的濾色器。與之相比，當(dāng)用作主色信息分量的濾色器的G濾色器被排列為棋盤圖案時(shí)，R和B濾色器被排列在棋盤圖案的其他區(qū)域中，作為其他顏色信息分量的濾色器。
[0131]以這種方式，通過對(duì)于濾色器陣列30使用用于亮度信號(hào)的主色的W濾色器被排列為棋盤圖案的顏色編碼，可以提高CMOS圖像傳感器10的靈敏度，這是因?yàn)閃濾色器具有高于其他顏色的濾色器的靈敏度。與之相比，通過對(duì)于濾色器陣列30使用用于亮度信號(hào)的主色的G濾色器被排列為棋盤圖案的顏色編碼，可以增強(qiáng)CMOS圖像傳感器10的顏色再現(xiàn)能力，這是因?yàn)镚濾色器很少產(chǎn)生錯(cuò)誤顏色。
[0132]另外，當(dāng)使用利用顏色編碼方法中的任一種的濾色器陣列30時(shí)，與顏色排列相對(duì)應(yīng)的信號(hào)被傳感器芯片11轉(zhuǎn)換為與拜耳排列相對(duì)應(yīng)的信號(hào)。此時(shí)，由于用作亮度信號(hào)的主分量的顏色被排列為棋盤圖案，因此利用用作亮度信號(hào)的主分量的顏色的信號(hào)，可以恢復(fù)在垂直方向和水平方向上與該顏色相鄰的其他顏色像素的信號(hào)。因此，可以提高轉(zhuǎn)換處理單元16執(zhí)行的顏色轉(zhuǎn)換的效率。
[0133]此外，通過從傳感器芯片11輸出與拜耳排列相對(duì)應(yīng)的信號(hào)，現(xiàn)有的用于拜耳排列的DSP可以用作下游信號(hào)處理單元。基本上，用于拜耳排列的DSP利用從傳感器芯片11輸出的、與拜耳排列相對(duì)應(yīng)的信號(hào)來生成亮度信號(hào)Y以及兩個(gè)色差信號(hào)U(B-Y)和V(R-Y)。
[0134]以這種方式，由于可以使用用于拜耳排列的現(xiàn)有DSP，因此即使當(dāng)濾色器陣列30的顏色編碼改變時(shí)，也沒有必要開發(fā)非常昂貴的新DSP。因此，可以以低成本生產(chǎn)包括DSP的相機(jī)模塊。結(jié)果，可以預(yù)期尤其是使用W濾色器的濾色器陣列30的廣泛使用。
[0135]1-3.濾色器陣列的顏色編碼的例子
[0136]下面詳細(xì)描述這樣一種顏色編碼的例子，該顏色編碼有利于從與用作亮度信號(hào)的主分量的顏色的濾色器被排列為棋盤圖案的顏色排列相對(duì)應(yīng)的信號(hào)轉(zhuǎn)換為與RGB拜耳排列相對(duì)應(yīng)的信號(hào)。
[0137]第一示例性實(shí)施例的第一例子
[0138]圖4是圖示根據(jù)第一示例性實(shí)施例的第一例子的顏色編碼的顏色排列圖。如圖4所示，在根據(jù)第一示例性實(shí)施例的第一例子的顏色編碼中，使得輸出電平最大化的W濾色器被排列為棋盤圖案。R濾色器被排列為在垂直方向和水平方向上以一個(gè)像素為間距的棋盤圖案。類似地，B濾色器被排列為在垂直方向和水平方向上以一個(gè)像素為間距的棋盤圖案。每一 R濾色器在對(duì)角線上與一個(gè)B濾色器偏移一個(gè)像素。另外，G濾色器被排列在棋盤圖案的其他區(qū)域中。
[0139]更具體而言，在4X4像素塊中，W濾色器被排列為棋盤圖案。R濾色器被排列在第二行第一列和第四行第三列中。B濾色器被排列在第一行第二列和第三行第四列中。該陣列是以一個(gè)像素為間距的棋盤圖案。另外，G濾色器被排列在棋盤圖案的其他區(qū)域中。此時(shí)，G濾色器形成對(duì)角條形圖案。
[0140]第一示例性實(shí)施例的第二例子
[0141]圖5是圖示根據(jù)第一示例性實(shí)施例的第二例子的顏色編碼的顏色排列圖。如圖5所示，在根據(jù)第一示例性實(shí)施例的第二例子的顏色編碼中，W濾色器被排列為棋盤圖案。R濾色器被方形地(方形地)排列為在垂直方向和水平方向上以三個(gè)像素為間距的圖案。類似地，B濾色器被方形地排列為在垂直方向和水平方向上以三個(gè)像素為間距的圖案。另外，每一 R濾色器在對(duì)角線上與一個(gè)B濾色器偏移一個(gè)像素。另外，G濾色器被排列在棋盤圖案的其他區(qū)域中。
[0142]更具體而言，在4X4像素塊中，W濾色器被排列為棋盤圖案。R濾色器被部署在第二行第三列中。B濾色器被部署在第三行第二列中。該陣列是在垂直方向和水平方向上以三個(gè)像素為間距的方形陣列。另外，G濾色器被排列在棋盤圖案的其他區(qū)域中。此時(shí)，G濾色器形成對(duì)角條形圖案。
[0143]第一示例性實(shí)施例的第三例子
[0144]圖6是圖示根據(jù)第一示例性實(shí)施例的第三例子的顏色編碼的顏色排列圖。如圖6所示，在根據(jù)第一示例性實(shí)施例的第三例子的顏色編碼中，W濾色器被排列為棋盤圖案。R濾色器在垂直方向和水平方向上以三個(gè)像素為間距被方形地排列在棋盤圖案中。類似地，B濾色器在垂直方向和水平方向上以三個(gè)像素為間距被方形地排列在棋盤圖案中。另外，每一 R濾色器在對(duì)角線上與一個(gè)B濾色器偏移兩個(gè)像素。另外，G濾色器被排列在棋盤圖案的其他區(qū)域中。
[0145]更具體而言，在4X4像素塊中，W濾色器被排列為棋盤圖案。R濾色器被部署在第二行第一列中。B濾色器被部署在第四行第三列中。該陣列是在垂直方向和水平方向上以三個(gè)像素為間距的方形陣列。另外，G濾色器被排列在棋盤圖案的其他區(qū)域中。此時(shí)，G濾色器形成對(duì)角條形圖案。
[0146]第一示例性實(shí)施例的第四例子
[0147]圖7是圖示根據(jù)第一示例性實(shí)施例的第四例子的顏色編碼的顏色排列圖。如圖7所示，在根據(jù)第一示例性實(shí)施例的第四例子的顏色編碼中，W濾色器被排列為棋盤圖案。R和B中每一種的濾色器被排列為在垂直方向和水平方向上以一個(gè)像素為間距的棋盤圖案。另外，每一 R濾色器在對(duì)角線上與一個(gè)B濾色器偏移一個(gè)像素。另外，G濾色器被排列在棋盤圖案的其他區(qū)域中。
[0148]更具體而言，在4X4像素塊中，W濾色器被排列為棋盤圖案。R濾色器被部署在第一行第二列和第三行第四列中。B濾色器被部署在第三行第二列和第一行第四列中。該陣列是在垂直方向和水平方向上以一個(gè)像素為間距的棋盤陣列。另外，G濾色器被排列在棋盤圖案的其他區(qū)域中。
[0149]第一示例性實(shí)施例的第五例子
[0150]圖8是圖示根據(jù)第一示例性實(shí)施例的第五例子的顏色編碼的顏色排列圖。如圖8所示，在根據(jù)第一示例性實(shí)施例的第五例子的顏色編碼中，W濾色器被排列為棋盤圖案。R濾色器在垂直方向和水平方向上以一個(gè)像素為間距被方形地排列在棋盤圖案中。類似地，B濾色器在垂直方向和水平方向上以一個(gè)像素為間距被方形地排列在棋盤圖案中。另外，每一 R濾色器在對(duì)角線上與一個(gè)B濾色器偏移一個(gè)像素。
[0151]更具體而言，在4X4像素塊中，W濾色器被排列為棋盤圖案。R濾色器被部署在第二行第一列、第二行第三列、第四行第一列和第四行第三列中。B濾色器被部署在第一行第二列、第一行第四列、第三行第二列和第三行第四列中。該陣列是在垂直方向和水平方向上以一個(gè)像素為間距的方形陣列。
[0152]第一示例性實(shí)施例的第六例子
[0153]圖9是圖示根據(jù)第一示例性實(shí)施例的第六例子的顏色編碼的顏色排列圖。如圖9所示，在根據(jù)第一示例性實(shí)施例的第六例子的顏色編碼中，W濾色器被排列為棋盤圖案。R濾色器在垂直方向和水平方向上以三個(gè)像素為間距被方形地排列在棋盤圖案中。類似地，B濾色器在垂直方向和水平方向上以三個(gè)像素為間距被方形地排列在棋盤圖案中。另外，每一R濾色器在對(duì)角線上與一個(gè)B濾色器偏移兩個(gè)像素。另外，G濾色器被排列在棋盤圖案的其他區(qū)域中。
[0154]更具體而言，在4X4像素塊中，W濾色器被排列為棋盤圖案。R濾色器被部署在第三行第四列和第四行第三列中。B濾色器被部署在第一行第二列和第二行第一列中。該陣列是在垂直方向和水平方向上以三個(gè)像素為間距的方形陣列。另外，G濾色器被排列在棋盤圖案的其他區(qū)域中。此時(shí)，G濾色器形成對(duì)角條形圖案。
[0155]根據(jù)上述第一示例性實(shí)施例的第一至第六例子的顏色編碼方法使用了這樣一種顏色排列:其中具有用作亮度信號(hào)的主分量的顏色、且使得輸出電平最大化的W濾色器被排列為棋盤圖案。由于包括R、G和B顏色分量的白色(W)濾色器被排列為棋盤圖案，因此可以提高轉(zhuǎn)換為與RGB拜耳排列相對(duì)應(yīng)的信號(hào)的轉(zhuǎn)換精度。
[0156]這些顏色編碼方法的關(guān)鍵特征在于如果W濾色器在下面描述的顏色轉(zhuǎn)換處理期間被G濾色器替換，則R和B濾色器的位置與拜耳排列的位置一致。另外，對(duì)于顏色不一致的那些位置，可以使用關(guān)于W濾色器的像素的信息。因而，可以恢復(fù)R和B像素信息。結(jié)果，可以明顯提聞轉(zhuǎn)換效率。
[0157]根據(jù)第一示例性實(shí)施例的第一至第三例子和第六例子的顏色編碼方法的另一關(guān)鍵特征在于W濾色器被排列為棋盤圖案，并且在對(duì)角方向上排列的一連串四個(gè)G濾色器反復(fù)出現(xiàn)從而形成對(duì)角條形圖案。在這些顏色編碼方法中，通過對(duì)與W濾色器的像素相鄰的G濾色器的像素的信號(hào)和W濾色器的信號(hào)求和并使用該和作為亮度信號(hào)的主分量，可以增大亮度信號(hào)的強(qiáng)度。因此，可以提高靈敏度(S/N比)。
[0158]具體而言，在根據(jù)第一實(shí)施例的第一例子的顏色編碼方法中，每一 R濾色器在對(duì)角線上與一個(gè)B濾色器偏移一個(gè)像素。因此，可以提高轉(zhuǎn)換為與拜耳排列相對(duì)應(yīng)的信號(hào)的轉(zhuǎn)換精度。另外，在根據(jù)第一實(shí)施例的第二例子的顏色編碼方法中，R濾色器被排列為形成在垂直方向和水平方向上以三個(gè)像素為間距的方形陣列，并且B濾色器被排列為形成在垂直方向和水平方向上以三個(gè)像素為間距的方形陣列。此外，每一R濾色器在對(duì)角線上與一個(gè)B濾色器偏移兩個(gè)像素。因此，可以提高轉(zhuǎn)換效率。此外，在根據(jù)第一實(shí)施例的第二例子的顏色編碼方法中，G濾色器的數(shù)目可能很大。因而，可以提高轉(zhuǎn)換為G顏色的轉(zhuǎn)換效率。
[0159]在根據(jù)第一實(shí)施例的第一和第六例子的顏色編碼方法中，在對(duì)角方向上排列的一連串四個(gè)G濾色器反復(fù)出現(xiàn)從而形成對(duì)角條形圖案。因此，在這些顏色編碼方法中，通過將與W像素相鄰的一個(gè)G像素的信號(hào)或者兩個(gè)G像素的信號(hào)加到該W像素的信號(hào)并且使用和信號(hào)作為亮度信號(hào)的主分量，可以提供高的靈敏度(高S/N比)，而不會(huì)導(dǎo)致分辨率降低。這一優(yōu)點(diǎn)不僅可以在對(duì)角方向上排列的一連串四個(gè)G濾色器反復(fù)出現(xiàn)從而形成對(duì)角條形圖案時(shí)產(chǎn)生，還可以在垂直方向或水平方向上排列的一連串四個(gè)G濾色器反復(fù)出現(xiàn)從而形成條形圖案時(shí)產(chǎn)生。
[0160]第一示例性實(shí)施例的第七例子
[0161]圖10是圖示根據(jù)第一示例性實(shí)施例的第七例子的顏色編碼的顏色排列圖。如圖10所示，在根據(jù)第一示例性實(shí)施例的第七例子的顏色編碼中，用作亮度信號(hào)的主分量的濾色器的G濾色器被排列為棋盤圖案。R濾色器和B濾色器被排列為在垂直方向和水平方向上以一個(gè)像素為間距的棋盤圖案。每一 R濾色器在對(duì)角線上與一個(gè)B濾色器偏移兩個(gè)像素。另外，W濾色器被排列在棋盤圖案的其他區(qū)域中。
[0162]更具體而言，在垂直方向和水平方向中的每一個(gè)上包括四個(gè)像素的陣列中，G濾色器被排列為棋盤圖案。R濾色器被排列在第一行第一列和第三行第三列中。B濾色器被排列在第一行第三列和第三行第一列中。該陣列是在垂直方向和水平方向中的每一個(gè)上以一個(gè)像素為間距的棋盤圖案。另外，W濾色器被排列在棋盤圖案的其他區(qū)域中。
[0163]在根據(jù)第一實(shí)施例的第一至第七例子的顏色編碼方法中，用作亮度信號(hào)的主分量的濾色器的W或G濾色器被排列為棋盤圖案。然而，為了容易地利用傳感器芯片11上的轉(zhuǎn)換處理單元16來轉(zhuǎn)換與RGB拜耳排列相對(duì)應(yīng)的信號(hào)，顏色編碼并不限于W或G濾色器被排列為棋盤圖案的顏色編碼。下面參考第一示例性實(shí)施例的第八和第九例子來描述W或G濾色器并不被排列為棋盤圖案的顏色編碼。
[0164]第一示例性實(shí)施例的第八例子
[0165]圖11是圖示根據(jù)第一示例性實(shí)施例的第八例子的顏色編碼的顏色排列圖。如圖11所示，在根據(jù)第一示例性實(shí)施例的第八例子的顏色編碼中，每一 2X2像素塊包括W、R、G和B濾色器，并且形成了在垂直方向和水平方向上以一個(gè)像素為間距的圖案。更具體而言，每一 W濾色器被部署在偶數(shù)行偶數(shù)列中，每一 R濾色器被部署在偶數(shù)行奇數(shù)列中，每一 G濾色器被部署在奇數(shù)行奇數(shù)列中，每一 B濾色器被部署在奇數(shù)行偶數(shù)列中。
[0166]第一示例性實(shí)施例的第九例子
[0167]圖12是圖示根據(jù)第一示例性實(shí)施例的第九例子的顏色編碼的顏色排列圖。如圖12所示，在根據(jù)第一示例性實(shí)施例的第九例子的顏色編碼中，每一 2X2像素塊包括R、G或B濾色器，并且這些像素塊形成拜耳排列。更具體而言，G濾色器被部署在第一第二行的第一第二列以及第三第四行的第三第四列中，B濾色器被部署在第一第二行的第三第四列中，R濾色器被部署在第三第四行的第一第二列中。
[0168]1-4.靈敏度比率 W:G:R:B
[0169]接下來描述靈敏度比率W:G:R:B。在包括W濾色器的顏色編碼中，具有高輸出信號(hào)電平的W濾色器像素比其他濾色器的像素更早飽和。因此，有必要維持W、G、R和B像素之間的靈敏度平衡，即，通過降低W濾色器像素的靈敏度并相對(duì)于W濾色器像素的靈敏度提高其他濾色器像素的靈敏度來調(diào)節(jié)靈敏度比率W:G:R:B。
[0170]為了調(diào)節(jié)靈敏度比率，可以使用廣泛使用的曝光控制技術(shù)。更具體而言，通過針對(duì)濾色器陣列30的每一像素調(diào)節(jié)設(shè)在濾色器陣列30外部的片上微透鏡的尺寸，可保持入射在各種顏色像素上的光量之間的平衡(例如參見日本未實(shí)審專利申請(qǐng)公布N0.9-116127)。通過使用該技術(shù)并減小用于W顏色的片上微透鏡的尺寸使之小于用于其他顏色中每一種的微透鏡的尺寸，可以降低W濾色器像素的靈敏度。以這種方式，可以相對(duì)提高其他濾色器像素之一的靈敏度。
[0171]或者，可以使用曝光控制技術(shù)，其中在包括W濾色器的顏色編碼中，可以通過去除用于W像素的片上微透鏡來減小靈敏度之間的差異，并且可以通過提高顏色靈敏度來提高顏色S/N(例如，參見日本未實(shí)審專利申請(qǐng)公布N0.2007-287891)。通過使用該技術(shù)，可以降低W濾色器像素的靈敏度。以這種方式，可以相對(duì)提高其他濾色器像素之一的靈敏度。
[0172]又或者，為了防止不適當(dāng)?shù)念伾胶?，可以使用?zhí)行快門曝光控制的技術(shù)，其中與R或B濾色器像素相比，可以減少G濾色器像素的曝光時(shí)間(例如，參見日本未實(shí)審專利申請(qǐng)公布N0.2003-60992)。通過將這種快門曝光控制技術(shù)與光接收區(qū)的控制相結(jié)合，可以降低W濾色器像素的靈敏度。以這種方式，可以相對(duì)提高其他濾色器像素之一的靈敏度。此外，尤其是可以消除運(yùn)動(dòng)對(duì)象的彩色輪廓的發(fā)生。結(jié)果，不再需要由外部信號(hào)處理單元(DSP)執(zhí)行的消色差處理。
[0173]注意，上述用于調(diào)節(jié)靈敏度比率的三種曝光控制技術(shù)僅僅是例子。曝光控制技術(shù)并不限于此。
[0174]例如，用于W像素的片上微透鏡的尺寸被設(shè)定為使得W、G、B和R像素的輸出電平基本上成比例2:1:0.5:0.5。
[0175]對(duì)于1.1-μπι像素，當(dāng)用于W像素的片上微透鏡的尺寸變化±0.Ιμπι時(shí)，面積被加倍或減半。因此，靈敏度加倍或減半。因此，面積與G像素相同并且輸出電平為G像素兩倍的W像素的輸出電平可以被調(diào)節(jié)為使得輸出電平相同。即使當(dāng)片上微透鏡的尺寸變化±0.05 μ m時(shí)，面積也是原始面積的±1.42倍，因此，W像素的靈敏度可以被降低到G像素的1.42倍。在這種情況下，通過快門曝光控制可以執(zhí)行對(duì)靈敏度的進(jìn)一步調(diào)節(jié)。
[0176]1-5.顏色轉(zhuǎn)換處理
[0177]接下來更詳細(xì)地描述由轉(zhuǎn)換處理單元16執(zhí)行的用于將信號(hào)轉(zhuǎn)換為與RGB拜耳排列相對(duì)應(yīng)的信號(hào)的處理(即，顏色轉(zhuǎn)換處理)。
[0178]提供了下面兩種類型的顏色轉(zhuǎn)換處理:當(dāng)拍攝靜止圖像時(shí)(在所有像素都被掃描的全掃描時(shí))執(zhí)行的顏色轉(zhuǎn)換處理和當(dāng)拍攝運(yùn)動(dòng)圖像時(shí)(在鄰近一個(gè)給定像素的多個(gè)像素的信號(hào)被加到該給定像素的信號(hào)的像素加法時(shí))執(zhí)行的顏色轉(zhuǎn)換處理。在根據(jù)第一示例性實(shí)施例的第一和第六例子的顏色編碼的情況下，可以執(zhí)行高靈敏度的顏色轉(zhuǎn)換處理。因此，可以使用低亮度模式，因此在全掃描時(shí)執(zhí)行的顏色轉(zhuǎn)換處理可以被劃分為兩種顏色轉(zhuǎn)換處理。
[0179]這兩種顏色轉(zhuǎn)換處理之一是當(dāng)入射光的亮度高于預(yù)定參考亮度時(shí)執(zhí)行的。該顏色轉(zhuǎn)換處理被稱為“顏色轉(zhuǎn)換處理I”。另一顏色轉(zhuǎn)換處理是當(dāng)入射光的亮度低于或等于預(yù)定參考亮度時(shí)執(zhí)行的。該顏色轉(zhuǎn)換處理被稱為“顏色轉(zhuǎn)換處理2”。另外，在像素加法時(shí)執(zhí)行的顏色轉(zhuǎn)換處理可以根據(jù)要相加的像素的組合被劃分為多種顏色轉(zhuǎn)換處理。
[0180]注意，在根據(jù)除了第一和第六例子以外的例子的全掃描時(shí)的顏色編碼的情況下，難以使用低亮度模式。因此，僅僅使用高亮度模式。即，在根據(jù)第二至第五例子和第七至第九例子的全掃描時(shí)的顏色編碼的情況下，使用在用于高亮度的第一和第六例子中使用的顏色轉(zhuǎn)換處理I。
[0181]根據(jù)第一示例性實(shí)施例的第一例子的顏色編碼
[0182]接下來描述針對(duì)根據(jù)第一示例性實(shí)施例的第一例子的顏色編碼執(zhí)行的顏色轉(zhuǎn)換處理。首先，參考圖13中所示的流程圖和圖14A至14D中所示的示意圖來描述在全掃描時(shí)的高亮度模式中執(zhí)行的顏色轉(zhuǎn)換處理I。
[0183]如圖13中所示的流程圖所示，高亮度模式中的顏色轉(zhuǎn)換處理I是通過順序地執(zhí)行步驟Sll、S12和S13中的處理實(shí)現(xiàn)的。圖14A圖示了根據(jù)第一例子的顏色編碼的4X4像素顏色排列。
[0184]在步驟SI I中，如圖14B所示，通過確定分辨率方向，被排列為棋盤圖案的白色(W)像素的分量被擴(kuò)展到所有顏色的像素中。這里使用的術(shù)語“分辨率方向”是指像素信號(hào)存在的方向。在圖14B中，被方框包圍的“W”表示在W像素的分量被擴(kuò)展到所有顏色中的每一種中之后W像素的分量。
[0185]為了將W像素的分量擴(kuò)展到其他顏色的像素中，可以應(yīng)用基于廣泛使用的有向相關(guān)的信號(hào)處理。例如，在基于有向相關(guān)的信號(hào)處理中，獲取與給定像素相對(duì)應(yīng)的多個(gè)顏色信號(hào)，并且獲得垂直方向和/或水平方向上的相關(guān)值(例如，參見日本專利N0.2931520)。
[0186]在步驟S12中，如圖14C所示，利用W像素和G像素之間的相關(guān)，用G像素來替換W像素。從上述各種顏色編碼的顏色排列可以看出，W像素與G像素相鄰。就某一區(qū)域中W像素和G像素之間的相關(guān)而言，W像素和G像素具有強(qiáng)相關(guān)，因?yàn)閃像素和G像素中的任一個(gè)都具有用作亮度信號(hào)的主分量的顏色。因而，相關(guān)值(相關(guān)系數(shù))接近I。通過利用顏色相關(guān)確定分辨率方向并將W像素的輸出電平改變?yōu)榕cG像素的輸出電平相等的電平，W像素被G像素替換。
[0187]在步驟S13中，利用W像素和R像素之間的相關(guān)以及W像素和B像素之間的相關(guān)來為圖14D中所示的拜耳排列生成R像素和B像素。由于W像素包括R、G和B顏色分量,因此可以獲得W像素和R像素之間的相關(guān)以及W像素和B像素之間的相關(guān)。至于信號(hào)處理，可以使用現(xiàn)有的技術(shù):其中通過插值針對(duì)每一個(gè)像素生成在四像素排列中要用G替換的亮度信號(hào)(例如，參見日本未實(shí)審專利申請(qǐng)公布N0.2005-160044)。
[0188]隨后，參考圖15中所示的流程圖和圖16A至16D中所示的示意圖來描述在全掃描時(shí)的低亮度模式中執(zhí)行的顏色轉(zhuǎn)換處理2。
[0189]首先，如圖16A所示，通過使用基于上述廣泛使用的技術(shù)的信號(hào)處理來檢查分辨率的方向(步驟S21)。之后，判定是否可以確定分辨率的方向(步驟S22)。如果可以確定分辨率的方向，則被排列為棋盤圖案的W像素的分量被擴(kuò)展到所有顏色的像素中(步驟S23)。
[0190]隨后，如圖16B所示，利用上述廣泛使用的技術(shù)、W像素和R像素之間的相關(guān)以及W像素和B像素之間的相關(guān)來生成R像素和B像素(步驟S24)。之后，如圖16C所示，與W像素相鄰的兩個(gè)R像素的信號(hào)被加到該W像素的信號(hào)以使該W像素的信號(hào)被G( = W+2G)近似。以這種方式，如圖16D所示，為拜耳排列生成了每一 G像素(步驟S25)。
[0191]然而，如果在步驟S22中未確定分辨率的方向，則利用在垂直方向和水平方向上與W像素相鄰的四個(gè)像素、通過簡單的四像素平均插值來為拜耳排列生成R和B像素中的每一個(gè)(步驟S26)。
[0192]如上所述，通過根據(jù)入射光的亮度使用顏色轉(zhuǎn)換處理I和顏色轉(zhuǎn)換處理2，可以將傳感器芯片11上與其中W濾色器被排列為棋盤圖案的顏色排列相對(duì)應(yīng)的信號(hào)轉(zhuǎn)換為與RGB拜耳排列相對(duì)應(yīng)的信號(hào)，并且可以輸出該信號(hào)。
[0193]接下來描述在用于運(yùn)動(dòng)圖像拍攝的像素加法時(shí)執(zhí)行的兩種顏色轉(zhuǎn)換處理。下文中，這兩種顏色轉(zhuǎn)換處理之一被稱為“像素加法處理I ”，而另一顏色轉(zhuǎn)換處理被稱為“像素加法處理2”。
[0194]首先，參考圖17中所示的流程圖和圖18A至18D中所示的示意圖來描述像素加法處理I。
[0195]對(duì)在對(duì)角線上彼此相鄰的兩個(gè)W像素執(zhí)行加法(步驟S31)。更具體而言，如圖18A所示，對(duì)感興趣的某一像素和位于感興趣像素的右下角的像素(即，向右一列、向下一行的像素)執(zhí)行加法。在圖3所示的像素結(jié)構(gòu)中，可以通過同時(shí)向作為加法目標(biāo)的兩個(gè)像素的轉(zhuǎn)移晶體管22 (在該例子中是轉(zhuǎn)移晶體管22-1和22-4)提供轉(zhuǎn)移脈沖(^TRF來執(zhí)行該加法。以這種方式，可以在FD單元26中執(zhí)行兩像素加法。下文中，這種像素加法被稱為“FD加法”。
[0196]隨后，對(duì)于R、G和B像素中的每一個(gè)，對(duì)在相反的對(duì)角方向上隔著一個(gè)像素的兩個(gè)像素執(zhí)行加法(步驟S32)。更具體而言，如圖18B所示，對(duì)感興趣的某一像素和位于感興趣像素的左下角、且兩者間夾有一個(gè)像素的像素(即，向左兩列、向下兩行的像素)執(zhí)行加法。對(duì)于R、G和B像素中的每一個(gè)，當(dāng)圖1中所示的列處理單元14具有A/D轉(zhuǎn)換功能時(shí)，該加法可以在A/D轉(zhuǎn)換期間執(zhí)行。
[0197]更具體而言，在圖19所示的顏色排列中，像素BI和Gl的信號(hào)被獨(dú)立讀取。在這些信號(hào)經(jīng)歷A/D轉(zhuǎn)換之后，像素B2和G3的信號(hào)被繼續(xù)讀取并進(jìn)行A/D轉(zhuǎn)換。以這種方式，可以執(zhí)行兩像素加法。為了在列處理單元14執(zhí)行的A/D轉(zhuǎn)換期間執(zhí)行像素加法，可以使用利用計(jì)數(shù)器將模擬像素信號(hào)轉(zhuǎn)換為數(shù)字像素信號(hào)的現(xiàn)有技術(shù)(例如，參見日本未實(shí)審專利申請(qǐng)公布 N0.2006-033454)。
[0198]下文中，該利用A/D轉(zhuǎn)換器的計(jì)數(shù)器執(zhí)行的像素加法被稱為“計(jì)數(shù)器加法”。當(dāng)執(zhí)行計(jì)數(shù)器加法時(shí)，如果逐行地改變?cè)鲆妫瑒t相加比率可以變化。類似地，可以對(duì)R像素執(zhí)行計(jì)數(shù)器加法。注意，在上述對(duì)W像素的兩像素加法中，在像素Wl和W2之間以及像素W3和W4之間執(zhí)行FD加法。
[0199]之后，如圖18C所示，W像素的分量被擬合到R、G和B像素中(步驟S33)。隨后，如圖18D所示，生成RGB拜耳排列的四個(gè)像素(步驟S34)。
[0200]隨后，參考圖20中所示的流程圖和圖21A至21D中所示的示意圖來描述像素加法處理2。
[0201]首先，對(duì)于W像素和G像素，在分別設(shè)在左上-右下對(duì)角方向和右上-左下對(duì)角方向上的兩個(gè)像素之間執(zhí)行FD加法。因而，生成W、R、G和B像素(步驟S41)。更具體而言，對(duì)于W像素，如圖21A所示，在感興趣的某一像素和位于感興趣像素的右下角的像素(即，向右一列、向下一行的像素)之間執(zhí)行FD加法。對(duì)于G像素，如圖21B所示，在感興趣的某一像素和位于感興趣像素的左下角的像素(即，向左一列、向下一行的像素)之間執(zhí)行FD加法。
[0202]注意，在4X4像素塊的八個(gè)像素中，不使用一對(duì)R和B信號(hào)。即，在不執(zhí)行像素加法的情況下以稀釋方式讀取R像素和B像素。因此，與像素加法處理I中的情況相比，R和B的靈敏度降低。因此，顏色S/N比變低。
[0203]之后，如圖2IC所示，W像素的分量被擬合到R、G和B像素中(步驟S42)。隨后，如圖21D所示，生成RGB拜耳排列的四個(gè)像素(步驟S43)。在像素加法處理2的情況下，拜耳排列的質(zhì)心位置略微偏離像素加法處理I中的質(zhì)心位置。
[0204]隨后，參考圖22中所示的流程圖和圖23A至23D中所示的示意圖來描述像素加法處理3。
[0205]首先，對(duì)于W、R、G和B像素中的每一個(gè)，設(shè)在對(duì)角方向上的兩個(gè)像素(兩者之間隔著一個(gè)像素)之間執(zhí)行加法(步驟S51)。因而，如圖23B所示，在加法之后獲得了包括R、W、G、W...的一行和W、G、W、R...的下一行的顏色排列。之后，如圖23C所不，以與全掃描時(shí)的處理中相同的方式，利用W像素和R像素之間的相關(guān)以及W像素和R像素之間的相關(guān)來為拜耳排列生成R和B像素(步驟S52)。
[0206]如上所述，當(dāng)拍攝運(yùn)動(dòng)圖像時(shí)，利用像素加法處理1、像素加法處理2和像素加法處理3中的一種,可以將傳感器芯片11上與其中W濾色器被排列為棋盤圖案的顏色排列相對(duì)應(yīng)的信號(hào)轉(zhuǎn)換為與RGB拜耳排列相對(duì)應(yīng)的信號(hào),并且可以輸出該信號(hào)。
[0207]下面描述用于根據(jù)第二至第九例子的顏色編碼的顏色轉(zhuǎn)換處理。在許多情況下，處理序列類似于第一例子的處理序列。
[0208]根據(jù)第一示例性實(shí)施例的第二例子的顏色編碼
[0209]參考圖24A至24D中所示的示意圖來描述在全掃描時(shí)的顏色轉(zhuǎn)換處理。在圖24A所示的根據(jù)第一示例性實(shí)施例的第二例子的4X4像素塊的顏色排列中，利用分辨率方向?qū)⑴帕袨槠灞P圖案的W像素的分量擴(kuò)展到所有顏色的像素中，如圖24B所示。隨后，如圖24C所示，利用W像素和G像素之間的相關(guān)用G像素來替換W像素。之后，如圖24D所示，利用W像素和R像素之間的相關(guān)以及W像素和B像素之間的相關(guān)來為RGB拜耳排列生成R和B像素。
[0210]接下來參考圖25A至25D中所示的示意圖來描述像素加法處理。如圖25A和25B所示，對(duì)于W像素和G像素，在分別位于右下-左上對(duì)角方向和左下-右上對(duì)角方向上的兩個(gè)像素之間執(zhí)行FD加法。因而，生成了 W、R、G和B像素。之后，如圖25C所示，W像素的分量被擬合到R、G和B像素中。因而，如圖2?所示，生成了 RGB拜耳排列的四個(gè)像素。
[0211]根據(jù)第一示例性實(shí)施例的第三例子的顏色編碼
[0212]參考圖26A至26D中所示的示意圖來描述在全掃描時(shí)的顏色轉(zhuǎn)換處理。在圖26A所示的根據(jù)第一示例性實(shí)施例的第三例子的4X4像素塊的顏色排列中，利用分辨率方向?qū)⒈慌帕袨槠灞P圖案的W像素的分量擴(kuò)展到所有顏色的像素中，如圖26B所示。隨后，如圖26C所示，利用W像素和G像素之間的相關(guān)用G像素來替換W像素。之后，如圖26D所示，利用W像素和R像素之間的相關(guān)以及W像素和B像素之間的相關(guān)來為RGB拜耳排列生成R和B像素。
[0213]接下來參考圖27A至27E中所示的示意圖來描述像素加法處理。如圖27A和27B所示，對(duì)于W、R、G和B像素，執(zhí)行左上和右上對(duì)角的FD加法。因而，生成了 W、Cy (藍(lán)綠色)、G和Ye (黃色)顏色。之后，如圖27C所示，通過計(jì)算B = W-Ye和R = W-Cy來生成拜耳排列。此時(shí)，盡管由于減法操作B和R顏色的S/N比下降，但是顏色的再現(xiàn)能力增強(qiáng)。之后，如圖27D所示，W像素的分量被擬合到R、G和B像素中。因而，如圖27E所示，生成了 RGB拜耳排列的四個(gè)像素。
[0214]根據(jù)第一示例性實(shí)施例的第四例子的顏色編碼
[0215]參考圖28A至28D中所示的示意圖來描述在全掃描時(shí)的顏色轉(zhuǎn)換處理。在圖28A所示的根據(jù)第一示例性實(shí)施例的第四例子的4 X 4像素塊的顏色排列中，利用分辨率方向?qū)⒈慌帕袨槠灞P圖案的W像素的分量擴(kuò)展到所有顏色的像素中，如圖28B所示。隨后，如圖28C所示，利用W像素和G像素之間的相關(guān)用G像素來替換W像素。之后，如圖28D所示，利用W像素和R像素之間的相關(guān)以及W像素和B像素之間的相關(guān)來為RGB拜耳排列生成R和B像素。
[0216]可以使用四種類型的像素加法。接下來參考圖29A至29F中所示的示意圖來描述第一類型的像素加法。如圖29A和29B所示，對(duì)于R和B像素，對(duì)設(shè)在左上-右下對(duì)角方向和右上-左下對(duì)角方向上的間隔像素(交替像素，alternate pixels)執(zhí)行加法。因而，生成了 W、Cy和Ye顏色。之后，如圖29C所示，Cy和Ye分量中的每一個(gè)被擴(kuò)展到所有像素中。隨后，如圖29D所示，計(jì)算下面的式子G = Cy+Ye-W、B = W-Ye和R = W_Cy。如圖29E所示，W像素的分量隨后被擬合到R、G和B像素中。因而，如圖29F所示，生成了 RGB拜耳排列的四個(gè)像素。
[0217]接下來參考圖30A至30D中所示的示意圖來描述第二類型的像素加法。如圖30A所示，對(duì)于R和B像素，對(duì)分別設(shè)在左上-右下對(duì)角方向和右上-左下對(duì)角方向上的兩個(gè)間隔像素執(zhí)行加法。對(duì)于G像素，計(jì)算位于中心的G像素與位于緊鄰中心像素且在其上方、下方、左方和右方的四個(gè)G像素的平均值。對(duì)于W像素，如圖30B所示，執(zhí)行對(duì)角FD加法。如圖30C所示，隨后將W像素的分量擬合到R、G和B像素中。因而，如圖30D所示，生成了 RGB拜耳排列的四個(gè)像素。
[0218]接下來參考圖31A至31C中所示的示意圖來描述第三類型的像素加法。如圖31A所示，對(duì)于W像素，在兩個(gè)對(duì)角線相鄰的像素之間執(zhí)行加法。對(duì)于R、G和B像素中的每一個(gè)，在設(shè)于對(duì)角方向上的兩個(gè)間隔像素之間執(zhí)行加法。因此，獲得了如圖31B所示的顏色排列。隨后，將W像素的分量擬合到R、G和B像素中。因而，如圖31C所示，生成了 RGB拜耳排列的四個(gè)像素。
[0219]接下來參考圖32A至32D中所示的示意圖來描述第四類型的像素加法。如圖32A所示，對(duì)于W、R、G和B像素中的每一個(gè)，執(zhí)行對(duì)角兩像素FD加法(這兩個(gè)像素之間隔著一個(gè)像素)。之后，通過組合以基于兩行的棋盤圖案排列的W像素的信號(hào)，可以獲得包括W棋盤圖案的顏色排列，如圖32B所示。隨后，與在全掃描時(shí)執(zhí)行的處理中一樣，利用W像素和G像素之間的相關(guān)用G像素來替換W像素，如圖32C所示。之后，如圖32D所示，利用W像素和R像素之間的相關(guān)以及W像素和B像素之間的相關(guān)來為RGB拜耳排列生成R和B像素。
[0220]根據(jù)第一示例性實(shí)施例的第五例子的顏色編碼
[0221]首先參考圖33A至33D中所示的示意圖來描述在全掃描時(shí)的顏色轉(zhuǎn)換處理。在圖33A所示的根據(jù)第一示例性實(shí)施例的第五例子的4X4像素塊的顏色排列中，利用分辨率方向?qū)⒈慌帕袨槠灞P圖案的W像素的分量擴(kuò)展到所有顏色的像素中，如圖33B所示。隨后，如圖33C所示，利用W像素和R像素之間的相關(guān)以及W像素和B像素之間的相關(guān)來將R和B像素中每一個(gè)的分量擴(kuò)展到所有像素中。之后，計(jì)算下面的式子:G = W-R-B。W像素的分量被擬合到所有像素中。因而，如圖33D所示，生成了 RGB拜耳排列的四個(gè)像素。
[0222]接下來參考圖34A至34E中所示的示意圖來描述像素加法。如圖34A所示，R、G和B像素的質(zhì)心位置是對(duì)齊的。對(duì)R像素的信號(hào)求和。對(duì)G像素的信號(hào)求和，并對(duì)B像素的信號(hào)求和。隨后，如圖34B所示，通過計(jì)算下式G = W-R-B來生成G信號(hào)。之后，如圖34C所示，對(duì)B像素執(zhí)行對(duì)角方向四像素加法，并且對(duì)R像素執(zhí)行上下左右五像素加法。這樣，生成了 R像素和B像素。最終，如圖34D所示，生成了 RGB拜耳排列的四個(gè)像素。
[0223]根據(jù)第一示例性實(shí)施例的第六例子的顏色編碼
[0224]首先參考圖35A至35D中所示的示意圖來描述在全掃描時(shí)的顏色轉(zhuǎn)換處理I。在圖35A所示的根據(jù)第一示例性實(shí)施例的第六例子的4X 4像素塊的顏色排列中，利用分辨率方向?qū)⒈慌帕袨槠灞P圖案的W像素的分量擴(kuò)展到所有顏色的像素中，如圖35B所示。隨后，如圖35C所示，利用W像素和G像素之間的相關(guān)用G像素來替換W像素。之后，如圖3?所示，利用W像素和R像素之間的相關(guān)以及W像素和B像素之間的相關(guān)來為RGB拜耳排列生成R和B像素。
[0225]接下來參考圖36A至36D中所示的示意圖來描述在全掃描時(shí)的顏色轉(zhuǎn)換處理2。與顏色轉(zhuǎn)換處理I相似，在根據(jù)第一示例性實(shí)施例的第六例子的4X4像素塊的顏色排列中，利用分辨率方向?qū)⒈慌帕袨槠灞P圖案的W像素的分量擴(kuò)展到所有顏色的像素中，如圖36A所示。隨后，如圖36B所示，利用W像素和R像素之間的相關(guān)以及W像素和B像素之間的相關(guān)來生成R和B像素。之后，如圖36C所示，與W像素相鄰的兩個(gè)G像素的信號(hào)被加到該W像素的信號(hào)以便近似G ( = W+2G)。以這種方式，如圖36D所示，為拜耳排列生成R和B像素中的每一個(gè)。此時(shí)，如果找到了方向，則相加比率可以動(dòng)態(tài)改變。
[0226]接下來參考圖37A至37D來描述像素加法處理I。如圖37A和37B所示，對(duì)于R、G和B像素中的每一個(gè)與W像素，執(zhí)行右上和左上對(duì)角FD加法。因而，生成了 W、R、G和B像素。之后，如圖37C所示，將W像素的分量擬合到每一像素中。以這種方式，如圖37D所示，生成了 RGB拜耳排列的四個(gè)像素。
[0227]接下來參考圖38A至38D來描述像素加法處理2。如圖38A和38B所示，對(duì)于R、G和B像素中的每一個(gè)與W像素，執(zhí)行右上和左上對(duì)角FD加法。因而，生成了 W、R、G和B像素。之后，如圖38C所示，將W像素的分量擬合到R和B像素中的每一個(gè)中。以這種方式，如圖38D所示，生成了 RGB拜耳排列的四個(gè)像素。
[0228]根據(jù)第一示例性實(shí)施例的第七例子的顏色編碼
[0229]首先參考圖39A至39D中所示的示意圖來描述在全掃描時(shí)的顏色轉(zhuǎn)換處理。在圖39A所示的根據(jù)第一示例性實(shí)施例的第七例子的4X4像素塊的顏色排列中，利用分辨率方向?qū)⒈慌帕袨槠灞P圖案的G像素的分量擴(kuò)展到R和B像素中，如圖39B所示。隨后，如圖39C所示，利用W像素和R像素之間的相關(guān)以及W像素和B像素之間的相關(guān)用R和B像素來替換W像素。因而，如圖39D所示，生成了 RGB拜耳排列的四個(gè)像素。
[0230]接下來參考圖40A至40E中所示的示意圖來描述像素加法處理。如圖40A所示，對(duì)于R像素和B像素，在分別設(shè)在左上-右下對(duì)角方向和右上-左下對(duì)角方向上的兩個(gè)間隔像素之間執(zhí)行加法。因而，如圖40B所示，生成了 2R和2B像素。之后，如圖40C所示，對(duì)G像素執(zhí)行對(duì)角菱形加法。因而，如圖40D所示，生成了 4G像素。隨后，利用W像素和R像素之間的相關(guān)、W像素和B像素之間的相關(guān)以及W像素和B像素之間的相關(guān)來將Gw、Rw和Bw加到W像素。以這種方式，如圖40E所示，生成了 RGB拜耳排列的四個(gè)像素。
[0231]根據(jù)第一示例性實(shí)施例的第八例子的顏色編碼
[0232]參考圖41A至41D中所示的示意圖來描述在全掃描時(shí)的顏色轉(zhuǎn)換處理。在圖41A所示的根據(jù)第一示例性實(shí)施例的第八例子的4X4像素塊的顏色排列中，利用分辨率方向?qū)像素的分量擴(kuò)展到G和W像素中以便被排列為棋盤圖案，如圖41B所示。隨后，如圖41C所示，將W像素的分量擬合到G像素中。因而，如圖41D所示，生成了 RGB拜耳排列的四個(gè)像素。
[0233]接下來參考圖42A至42D中所示的示意圖來描述像素加法處理。如圖42A所示，G和W像素的質(zhì)心位置是對(duì)齊的。對(duì)G像素的信號(hào)求和，并對(duì)W像素的信號(hào)求和。隨后，如圖42B所示，將W像素的分量擬合到G像素中。因而，生成了 G = G+Gw。之后，如圖42C所示，對(duì)B像素執(zhí)行對(duì)角方向四像素加法，并且對(duì)R像素執(zhí)行上下左右五像素加法。因而，如圖42D所示，生成了 RGB拜耳排列的四個(gè)像素。
[0234]根據(jù)第一示例性實(shí)施例的第九例子的顏色編碼
[0235]參考圖43A至43C中所示的示意圖來描述在全掃描時(shí)的顏色轉(zhuǎn)換處理。在圖43A所示的根據(jù)第一示例性實(shí)施例的第九例子的4X4像素塊的顏色排列中，利用分辨率方向?qū)像素的分量擴(kuò)展到R和B像素中，如圖43B所示。隨后，如圖43C所示，利用G像素和R像素之間的相關(guān)以及G像素和B像素之間的相關(guān)來生成RGB拜耳排列的四個(gè)像素。
[0236]接下來參考圖44A和44B中所示的示意圖來描述像素加法處理。如圖44A所示，對(duì)同一顏色的2X2像素塊的四個(gè)像素的信號(hào)執(zhí)行FD加法。最終，如圖44B所示，生成了 RGB拜耳排列的四個(gè)像素。
[0237]2.第二示例性實(shí)施例
[0238]接下來參考附圖描述第二示例性實(shí)施例。
[0239]系統(tǒng)配置
[0240]圖1是根據(jù)基于第一示例性實(shí)施例的第二示例性實(shí)施例的CMOS圖像傳感器的示例性系統(tǒng)配置的示意圖，該CMOS圖像傳感器是固態(tài)成像器件(X-Y尋址固態(tài)成像器件)的例子。
[0241]如圖1所示，每一 CMOS圖像傳感器10，即10AU0B...包括半導(dǎo)體襯底(下文中也稱為“傳感器芯片”)11、像素陣列單元12、垂直驅(qū)動(dòng)單元13、列處理單元14、水平驅(qū)動(dòng)單元15、轉(zhuǎn)換處理單元16、系統(tǒng)控制單元17和濾色器陣列(濾色器單元)30。如圖2所示，單位像素20包括光電二極管21、轉(zhuǎn)移晶體管22、復(fù)位晶體管23、放大晶體管24、選擇晶體管25和浮動(dòng)擴(kuò)散(FD)單元26。標(biāo)號(hào)“40”表示DSP電路。
[0242]根據(jù)本實(shí)施例，在CMOS圖像傳感器1A中，像素陣列單元12被形成在半導(dǎo)體襯底(傳感器芯片)11上。另外，外圍電路單元被集成到形成有像素陣列單元12的半導(dǎo)體襯底11上。例如，外圍電路單元包括垂直驅(qū)動(dòng)單元13、列處理單元14、水平驅(qū)動(dòng)單元15、轉(zhuǎn)換處理單元16和系統(tǒng)控制單元17。
[0243]像素陣列單元12包括以陣列形式二維排列的多個(gè)單位像素(未示出)，每個(gè)單位像素包括光電轉(zhuǎn)換元件。單位像素(下文中也簡稱為“像素”)根據(jù)入射在其上的可見光的強(qiáng)度將該可見光光電轉(zhuǎn)換為電荷。濾色器陣列30被設(shè)在光接收面(光入射面)一側(cè)的像素陣列單元12上。本示例性實(shí)施例的關(guān)鍵特征之一在于濾色器陣列30的顏色編碼。濾色器陣列30的顏色編碼將在下面更詳細(xì)描述。
[0244]此外，在像素陣列單元12中，對(duì)于像素陣列的每一行，像素驅(qū)動(dòng)線18被部署在圖1的左右方向上(一像素行的像素的排列方向或者水平方向)。類似地，對(duì)于像素陣列的每一列，垂直信號(hào)線19被部署在圖1的上下方向上(一像素列的像素的排列方向或者垂直方向)。在圖1中，盡管僅圖示了一條像素驅(qū)動(dòng)線18，但是像素驅(qū)動(dòng)線18的數(shù)目并不限于一條。像素驅(qū)動(dòng)線18的一端連接到與垂直驅(qū)動(dòng)單元13的一行相對(duì)應(yīng)的輸出端。
[0245]例如，垂直驅(qū)動(dòng)單元13包括移位寄存器和地址譯碼器。盡管圖1中并未示出其詳細(xì)配置，但是垂直驅(qū)動(dòng)單元13包括讀出掃描系統(tǒng)和清掃掃描系統(tǒng)。讀出掃描系統(tǒng)順序地掃描單位像素，從這些單位像素逐行地讀取信號(hào)。
[0246]與之相比，在比讀出掃描系統(tǒng)執(zhí)行的讀出行的讀出掃描操作早由快門速度決定的時(shí)間前，清掃掃描系統(tǒng)執(zhí)行清掃掃描以使得不必要的電荷被掃出讀出行中單位像素的光電轉(zhuǎn)換元件(被復(fù)位)。通過利用清掃掃描系統(tǒng)來清掃(復(fù)位)不必要的電荷，執(zhí)行了所謂的電子快門操作。即，在電子快門操作中，光電轉(zhuǎn)換元件的光電荷被丟棄，并且新的曝光操作(光電荷的累積)開始。
[0247]通過讀出掃描系統(tǒng)執(zhí)行的讀出操作讀取的信號(hào)對(duì)應(yīng)于在執(zhí)行了前面緊鄰的讀出操作或電子快門操作之后入射的光的量。另外，從前面緊鄰的讀出操作的讀出時(shí)間點(diǎn)或者電子快門操作的清掃時(shí)間點(diǎn)到當(dāng)前讀出操作的讀出時(shí)間點(diǎn)的時(shí)間段對(duì)應(yīng)于單位像素中光電荷的累積時(shí)間(曝光時(shí)間)。
[0248]從被垂直驅(qū)動(dòng)單元13選擇并掃描的像素行中的每一單位像素輸出的信號(hào)經(jīng)由垂直信號(hào)線19中的相應(yīng)一條被送至列處理單元14。對(duì)于像素陣列單元12的每一像素列，列處理單元14對(duì)從所選的行中的像素輸出的模擬像素信號(hào)執(zhí)行預(yù)定信號(hào)處理。
[0249]由列處理單元14執(zhí)行的信號(hào)處理的例子是相關(guān)雙采樣(⑶S)處理。在⑶S處理中，取出從所選行中的每一像素輸出的復(fù)位電平和信號(hào)電平，并且計(jì)算這些電平之間的差異。因而，獲得了一行中的像素的信號(hào)。另外，去除像素的固定模式噪聲。列處理單元14可以具有用于將模擬像素信號(hào)轉(zhuǎn)換為數(shù)字格式的模數(shù)(A/D)轉(zhuǎn)換功能。
[0250]例如，水平驅(qū)動(dòng)單元15包括移位寄存器和地址譯碼器。水平驅(qū)動(dòng)單元15順序地選擇并掃描與列處理單元14的一個(gè)像素列相對(duì)應(yīng)的電路部分。通過水平驅(qū)動(dòng)單元15執(zhí)行的選擇掃描操作，每一像素列被列處理單元14順序地處理，并且被順序輸出。
[0251]轉(zhuǎn)換處理單元16執(zhí)行計(jì)算并將與濾色器陣列(濾色器單元)30的顏色排列相對(duì)應(yīng)、且從像素陣列單元12的像素輸出的信號(hào)轉(zhuǎn)換為與拜耳排列相對(duì)應(yīng)的信號(hào)。本實(shí)施例的另一關(guān)鍵特征在于轉(zhuǎn)換處理單元16被安裝在形成有像素陣列單元12的襯底上(即，傳感器芯片11上)，在傳感器芯片11中執(zhí)行顏色轉(zhuǎn)換處理，并且從傳感器芯片11輸出與拜耳排列相對(duì)應(yīng)的信號(hào)。由轉(zhuǎn)換處理單元16執(zhí)行的顏色轉(zhuǎn)換處理將在下面更詳細(xì)描述。
[0252]廣泛使用的術(shù)語“拜耳排列”表示這樣一種像素排列:其中用作高分辨率的亮度信號(hào)的主色信息分量的顏色被排列為棋盤圖案，而用作非高分辨率的亮度信號(hào)的顏色信息分量的另兩種顏色被排列在棋盤圖案的其他區(qū)域中。在拜耳排列的基本顏色編碼形式中，對(duì)亮度信號(hào)具有高貢獻(xiàn)度的綠色(G)被排列為棋盤圖案，而紅色(R)和藍(lán)色(B)被排列在棋盤圖案的其他區(qū)域中。
[0253]系統(tǒng)控制單元17接收從傳感器芯片11外部送來的時(shí)鐘和用于指示操作模式的數(shù)據(jù)。另外，系統(tǒng)控制單元17輸出表示CMOS圖像傳感器10的內(nèi)部信息的數(shù)據(jù)。此外，系統(tǒng)控制單元17包括生成多種時(shí)序信號(hào)的時(shí)序發(fā)生器。系統(tǒng)控制單元17利用由時(shí)序發(fā)生器生成的多種時(shí)序信號(hào)來控制垂直驅(qū)動(dòng)單元13、列處理單元14、水平驅(qū)動(dòng)單元15和轉(zhuǎn)換處理單元16的驅(qū)動(dòng)。
[0254]單位像素的電路配置
[0255]圖2是單位像素20的示例性電路圖。如圖2所示，示例性電路圖中所示的單位像素20包括光電轉(zhuǎn)換元件(例如,光電二極管21)和四個(gè)晶體管(例如，轉(zhuǎn)移晶體管22、復(fù)位晶體管23、放大晶體管24和選擇晶體管25)。
[0256]在該示例中，N溝道MOS晶體管被用于轉(zhuǎn)移晶體管22、復(fù)位晶體管23、放大晶體管24和選擇晶體管25。然而，使用轉(zhuǎn)移晶體管22、復(fù)位晶體管23、放大晶體管24和選擇晶體管25的導(dǎo)電類型的組合僅僅是一個(gè)例子，并且該組合并不限于此。
[0257]例如，作為像素驅(qū)動(dòng)線18，為同一像素行中的每一單位像素20設(shè)置了三條驅(qū)動(dòng)線，即，轉(zhuǎn)移線181、復(fù)位線182和選擇線183。轉(zhuǎn)移線181的一端、復(fù)位線182的一端和選擇線183的一端連接到與垂直驅(qū)動(dòng)單元13的一個(gè)像素行相對(duì)應(yīng)的輸出端。
[0258]光電二極管21的陽極電極連接到負(fù)電源(例如，地)。光電二極管21根據(jù)所接收的光量將接收光光電轉(zhuǎn)換為光電荷(在該示例性實(shí)施例中是光電子)。光電二極管21的陰極電極經(jīng)由轉(zhuǎn)移晶體管22連接到放大晶體管24的柵電極。電連接到放大晶體管24的柵電極的節(jié)點(diǎn)26被稱為“浮動(dòng)擴(kuò)散(FD)單元”。
[0259]轉(zhuǎn)移晶體管22連接在光電二極管21的陰極電極和FD單元26之間。當(dāng)具有有效高電平(例如，Vdd電平)的轉(zhuǎn)移脈沖CtTRF(下文中稱為“高有效轉(zhuǎn)移脈沖”)經(jīng)由轉(zhuǎn)移線181被送至轉(zhuǎn)移晶體管22的柵電極時(shí)，轉(zhuǎn)移晶體管22導(dǎo)通。因而，轉(zhuǎn)移晶體管22將經(jīng)光電二極管21光電轉(zhuǎn)換的光電荷轉(zhuǎn)移到FD單元26。
[0260]復(fù)位晶體管23的漏電極連接到像素電源Vdd。復(fù)位晶體管23的源電極連接到FD單元26。在信號(hào)電荷被從光電二極管21轉(zhuǎn)移到FD單元26之前，高有效復(fù)位脈沖ΦΙ?Τ經(jīng)由復(fù)位線182被送至復(fù)位晶體管23的柵電極。當(dāng)復(fù)位脈沖CtRST被送至復(fù)位晶體管23時(shí)，復(fù)位晶體管23導(dǎo)通。因而，復(fù)位晶體管23通過丟棄FD單元26的電荷將FD單元26復(fù)位到像素電源Vdd。
[0261]放大晶體管24的柵電極連接到FD單元26。放大晶體管24的漏電極連接到像素電源Vdd。在FD單元26被復(fù)位晶體管23復(fù)位之后，放大晶體管24以復(fù)位信號(hào)(復(fù)位電平)Vreset的形式輸出FD單元26的電位。另外，在信號(hào)電平被轉(zhuǎn)移晶體管22轉(zhuǎn)移之后，放大晶體管24以光累積信號(hào)(信號(hào)電平)Vsig的形式輸出FD單兀26的電位。
[0262]例如，選擇晶體管25的漏電極連接到放大晶體管24的源電極。選擇晶體管25的源電極連接到垂直信號(hào)線19。當(dāng)高有效選擇脈沖Φ SEL經(jīng)由選擇線183被送至選擇晶體管25的柵電極時(shí)，選擇晶體管25導(dǎo)通。因而，選擇晶體管25使得單位像素20進(jìn)入所選模式，以使得從放大晶體管24輸出的信號(hào)被中繼到垂直信號(hào)線19。
[0263]注意，可以采用選擇晶體管25連接在像素電源Vdd和放大晶體管24的漏極之間的電路配置。
[0264]應(yīng)當(dāng)注意，單位像素20的像素結(jié)構(gòu)并不限于上述四晶體管像素結(jié)構(gòu)。例如，單位像素20可以具有三晶體管像素結(jié)構(gòu)，其中放大晶體管24和選擇晶體管25的功能由一個(gè)晶體管執(zhí)行。因而，可以采用像素電路的任何配置。
[0265]一般而言，為了在拍攝運(yùn)動(dòng)圖像時(shí)減小幀率，執(zhí)行像素加法，其中從多個(gè)鄰近像素輸出的信號(hào)被求和并讀出。像素加法是在像素、信號(hào)線、列處理單元14或者下游信號(hào)處理單元中執(zhí)行的。在本實(shí)施例中，例如描述了這樣一種像素結(jié)構(gòu)，其中四個(gè)像素被排列為在垂直方向和水平方向上彼此相鄰。
[0266]圖3是允許在像素中執(zhí)行對(duì)四個(gè)鄰近像素的像素加法的電路的示例性配置的電路圖。在適當(dāng)時(shí)，在描述圖3時(shí)將使用與上面描述圖2時(shí)所用的相同的標(biāo)號(hào)。
[0267]在圖3中，被排列為在垂直方向和水平方向上彼此相鄰的四個(gè)像素的光電二極管21被表示為光電二極管21-1、21-2、21-3和21_4。分別為光電二極管21-1、21_2、21_3和21-4設(shè)置四個(gè)轉(zhuǎn)移晶體管22-1、22-2、22-3和22_4。另外，使用一個(gè)復(fù)位晶體管23、一個(gè)放大晶體管24和一個(gè)選擇晶體管25。
[0268]S卩，轉(zhuǎn)移晶體管22-1的一個(gè)電極、轉(zhuǎn)移晶體管22-2的一個(gè)電極、轉(zhuǎn)移晶體管22_3的一個(gè)電極和轉(zhuǎn)移晶體管22-4的一個(gè)電極分別連接到光電二極管21-1的陰極電極、光電二極管21-2的陰極電極、光電二極管21-3的陰極電極和光電二極管21-4的陰極電極。轉(zhuǎn)移晶體管22-1的另一電極、轉(zhuǎn)移晶體管22-2的另一電極、轉(zhuǎn)移晶體管22-3的另一電極和轉(zhuǎn)移晶體管22-4的另一電極共同連接到放大晶體管24的柵電極。另外，被光電二極管21-1、21-2、21-3和21_4共享的FD單元26電連接到放大晶體管24的柵電極。復(fù)位晶體管23的漏電極連接到像素電源Vdd，并且復(fù)位晶體管23的源電極連接到FD單元26。
[0269]在支持對(duì)四個(gè)鄰近像素的像素加法的上述像素結(jié)構(gòu)中，通過同時(shí)向四個(gè)轉(zhuǎn)移晶體管22-1、22-2、22-3和22-4提供轉(zhuǎn)移脈沖ctTRF，可以執(zhí)行對(duì)四個(gè)鄰近像素的像素加法。即，通過四個(gè)轉(zhuǎn)移晶體管22-1、22-2、22-3和22_4從光電二極管21_1、21_2、21_3和21_4轉(zhuǎn)移到FD單元26的信號(hào)電荷被FD單元26求和。
[0270]相反，通過在不同時(shí)間點(diǎn)向向四個(gè)轉(zhuǎn)移晶體管22-1、22-2、22_3和22_4提供轉(zhuǎn)移脈沖c^TRF，可以逐個(gè)像素地輸出信號(hào)。即，當(dāng)拍攝運(yùn)動(dòng)圖像時(shí)，可以通過執(zhí)行像素加法來增大幀率。與之相比，當(dāng)拍攝靜止圖像時(shí)，可以通過獨(dú)立地讀取所有像素的信號(hào)來增大分辨率。
[0271]1-2.濾色器陣列的顏色編碼
[0272]接下來描述作為本示例性實(shí)施例的特征之一的濾色器陣列30的顏色編碼。
[0273]根據(jù)本示例性實(shí)施例，濾色器陣列30采用這樣的顏色編碼，其中用作亮度信號(hào)的主色信息分量之一的第一顏色的濾色器被排列為棋盤圖案。另外，一連串四個(gè)像素的主色信息分量的第二顏色的濾色器形成一組，并且該組被排列為在對(duì)角方向、垂直方向和水平方向之一上形成條形圖案。在本實(shí)施例中，亮度信號(hào)的主色的第一顏色和第二顏色的濾色器例如是W濾色器和G濾色器。
[0274]作為亮度信號(hào)的主分量的W和G顏色的濾色器具有高于其他顏色的濾色器(更具體而言，R和B濾色器)的靈敏度。具體而言，W濾色器具有約為G濾色器兩倍的靈敏度。因此，通過被排列為棋盤圖案W和G濾色器(具體而言是W濾色器)，可以提高靈敏度(S/N比)。然而，由于W濾色器包含各種顏色信息，因此可能出現(xiàn)不同于被攝物的原始顏色的錯(cuò)誤顏色。與之相比，盡管G濾色器具有低于W濾色器的靈敏度，但是G濾色器很少產(chǎn)生錯(cuò)誤顏色。即，在靈敏度和產(chǎn)生錯(cuò)誤顏色之間存在折衷。
[0275]當(dāng)對(duì)于主色而言W濾色器被被排列為棋盤圖案時(shí)，作為其他顏色信息分量的R、G和B濾色器被排列在棋盤圖案的其他區(qū)域中。與之相比，當(dāng)對(duì)于主色而言G濾色器被被排列為棋盤圖案時(shí)，作為其他顏色信息分量的R和B濾色器被排列在棋盤圖案的其他區(qū)域中。
[0276]以這種方式，通過使用用于亮度信號(hào)的主色的W濾色器被排列為棋盤圖案的顏色編碼作為濾色器陣列30，可以提高CMOS圖像傳感器10的靈敏度，這是因?yàn)閃濾色器具有高于另一顏色的濾色器的靈敏度。與之相比，通過使用用于亮度信號(hào)的主色的G濾色器被排列為棋盤圖案的顏色編碼作為濾色器陣列30，可以增強(qiáng)CMOS圖像傳感器10的顏色再現(xiàn)能力，這是因?yàn)镚濾色器很少產(chǎn)生錯(cuò)誤顏色。
[0277]另外，在本實(shí)施例的CMOS圖像傳感器1A中，當(dāng)使用利用顏色編碼方法中的任一種的濾色器陣列30時(shí)，與顏色排列相對(duì)應(yīng)的信號(hào)被傳感器芯片11轉(zhuǎn)換為與拜耳排列相對(duì)應(yīng)的信號(hào)。此時(shí)，由于用作亮度信號(hào)的主分量的顏色被排列為棋盤圖案，因此利用用作亮度信號(hào)的主分量的顏色的信號(hào)，可以恢復(fù)在垂直方向和水平方向上與該顏色相鄰的其他顏色像素的信號(hào)。因此，可以提高轉(zhuǎn)換處理單元16執(zhí)行的顏色轉(zhuǎn)換的效率。
[0278]另外，通過從傳感器芯片11輸出與拜耳排列相對(duì)應(yīng)的信號(hào)，現(xiàn)有的用于拜耳排列的DSP可以用作下游信號(hào)處理單元。基本上，用于拜耳排列的DSP利用從傳感器芯片11輸出的、與拜耳排列相對(duì)應(yīng)的信號(hào)來生成亮度信號(hào)Y以及兩個(gè)色差信號(hào)U(B-Y)和V(R-Y)。
[0279]以這種方式，由于可以使用用于拜耳排列的現(xiàn)有DSP，因此即使當(dāng)濾色器陣列30的顏色編碼改變時(shí)，也沒有必要開發(fā)非常昂貴的新DSP。因此，可以以低成本生產(chǎn)包括DSP的相機(jī)模塊。結(jié)果，可以預(yù)期尤其是使用W濾色器的濾色器陣列30的廣泛使用。
[0280]濾色器陣列的顏色編碼的例子
[0281]下面詳細(xì)描述這樣一種顏色編碼的例子，該顏色編碼有利于從與用作亮度信號(hào)的主分量的顏色的濾色器被排列為棋盤圖案的顏色排列相對(duì)應(yīng)的信號(hào)轉(zhuǎn)換成與RGB拜耳排列相對(duì)應(yīng)的信號(hào)。
[0282]第二示例性實(shí)施例的第一例子
[0283]圖45是圖示根據(jù)第二示例性實(shí)施例的第一例子的顏色編碼的顏色排列圖。如圖45所示，在根據(jù)第二示例性實(shí)施例的第一例子的顏色編碼中，W濾色器被排列為棋盤圖案。另外，R濾色器在垂直方向和水平方向上以一個(gè)像素的間距被排列為棋盤圖案。類似地，B濾色器在垂直方向和水平方向上以一個(gè)像素的間距被排列為棋盤圖案。此外，一個(gè)R濾色器在對(duì)角線上與一個(gè)B濾色器偏移一個(gè)像素。另外，G濾色器被排列在棋盤圖案的其他區(qū)域中。
[0284]更具體而言，在垂直方向和水平方向中的每一個(gè)上包括四個(gè)像素的陣列中，W濾色器被排列為棋盤圖案。R濾色器被排列在第二行第一列和第四行第三列中。B濾色器被排列在第一行第二列和第三行第四列中。該陣列是以一個(gè)像素為間距的棋盤圖案。另外，G濾色器被排列在棋盤圖案的其他區(qū)域中。此時(shí)，G濾色器形成對(duì)角條形圖案。
[0285]第二示例性實(shí)施例的第二例子
[0286]圖46是圖示根據(jù)第二示例性實(shí)施例的第二例子的顏色編碼的顏色排列圖。如圖46所示，在根據(jù)第二示例性實(shí)施例的第二例子的顏色編碼中，W濾色器被排列為棋盤圖案。R濾色器在垂直方向和水平方向上以三個(gè)像素為間距被方形地排列在棋盤圖案中。類似地，B濾色器在垂直方向和水平方向上以三個(gè)像素為間距被方形地排列在棋盤圖案中。另外，R濾色器和B濾色器在對(duì)角線上彼此偏移兩個(gè)像素。另外，G濾色器被排列在棋盤圖案的其他區(qū)域中。
[0287]更具體而言，在垂直方向和水平方向中的每一個(gè)上包括四個(gè)像素的陣列中，W濾色器被排列為棋盤圖案。R濾色器被排列在第三行第四列中。B濾色器被排列在第一行第二列和第二行第一列中。該陣列是在垂直方向和水平方向上以三個(gè)像素為間距的方形陣列。另外，G濾色器被排列在棋盤圖案的其他區(qū)域中。此時(shí)，G濾色器形成對(duì)角條形圖案。
[0288]根據(jù)上述第一和第二例子的顏色編碼方法使用了這樣一種顏色排列:其中具有用作亮度信號(hào)的主分量的顏色的W濾色器被排列為棋盤圖案。由于包括R、G和B顏色分量的W濾色器被排列為棋盤圖案，因此可以提高與RGB拜耳排列相對(duì)應(yīng)的信號(hào)的轉(zhuǎn)換效率。
[0289]這些顏色編碼方法的關(guān)鍵特征在于如果在下面描述的顏色轉(zhuǎn)換處理期間W濾色器被G濾色器替換，則R和B濾色器的位置部分地與拜耳排列的R和B濾色器的位置一致。另外，對(duì)于顏色并不一致的那些位置，可以使用關(guān)于W濾色器的像素的信息。因而，可以恢復(fù)R和B像素信息。結(jié)果，可以明顯提高轉(zhuǎn)換效率。
[0290]另外，根據(jù)第二示例性實(shí)施例的第一和第二例子的顏色編碼方法的關(guān)鍵特征在于W濾色器被排列為棋盤圖案，并且設(shè)在對(duì)角方向上的一連串四個(gè)G濾色器反復(fù)出現(xiàn)從而形成對(duì)角條形圖案。在這些顏色編碼方法中，通過將與W濾色器的像素相鄰的G濾色器的像素的信號(hào)加到該W濾色器的信號(hào)并使用該和作為亮度信號(hào)的主分量，可以增大亮度信號(hào)的強(qiáng)度。因此，可以提高靈敏度(S/N比)。具體而言，在根據(jù)第一例子的顏色編碼方法中，R濾色器在垂直方向和水平方向上以一個(gè)像素的間距被排列在棋盤圖案中。另外，每一 R濾色器在對(duì)角線上與一個(gè)B濾色器偏移一個(gè)像素。因此，可以提高轉(zhuǎn)換為與拜耳排列相對(duì)應(yīng)的信號(hào)的轉(zhuǎn)換效率。
[0291]在根據(jù)第二實(shí)施例的第一和第二例子的顏色編碼方法中，設(shè)在對(duì)角方向上的一連串四個(gè)G像素重復(fù)出現(xiàn)從而形成對(duì)角條形圖案。因此，在這些顏色編碼方法中，通過將與W像素相鄰的一個(gè)G像素的信號(hào)或多個(gè)G像素的信號(hào)加到該W像素的信號(hào)并使用該和信號(hào)作為亮度信號(hào)的主分量，可以在不降低分辨率的情況下提供高靈敏度(高S/N比)。這一優(yōu)點(diǎn)不僅可以在對(duì)角方向上排列的一連串四個(gè)G濾色器反復(fù)出現(xiàn)從而形成對(duì)角條形圖案時(shí)提供，還可以在垂直方向或水平方向上排列的一連串四個(gè)G濾色器反復(fù)出現(xiàn)從而形成條形圖案時(shí)提供。
[0292]靈敏度比率W:G:R:B
[0293]接下來描述靈敏度比率W:G:R:B。在包括W濾色器的顏色編碼中，具有高輸出信號(hào)電平的W濾色器像素比其他濾色器的像素更早飽和。因此，有必要維持W、G、R和B像素之間的靈敏度平衡，即，通過降低W濾色器像素的靈敏度并相對(duì)于W濾色器像素的靈敏度提高其他濾色器像素的靈敏度來調(diào)節(jié)靈敏度比率W: G:R:B。
[0294]為了調(diào)節(jié)靈敏度比率，可以使用廣泛使用的曝光控制技術(shù)。更具體而言，通過針對(duì)濾色器陣列30的每一像素調(diào)節(jié)設(shè)在濾色器陣列30外部的片上微透鏡的尺寸，可保持入射在各種顏色上的光量之間的平衡(例如參見日本未實(shí)審專利申請(qǐng)公布N0.9-116127)。通過使用該技術(shù)并減小用于W顏色的片上微透鏡的尺寸使之小于用于其他顏色中每一種的微透鏡的尺寸，可以降低W濾色器像素的靈敏度。以這種方式，可以相對(duì)提高其他濾色器像素之一的靈敏度。
[0295]或者，可以使用曝光控制技術(shù)，其中在包括W濾色器的顏色編碼中，可以通過去除用于W像素的片上微透鏡來減小靈敏度之間的差異，并且可以通過提高顏色靈敏度來提高顏色S/N(例如，參見日本未實(shí)審專利申請(qǐng)公布N0.2007-287891)。通過使用該技術(shù)，可以降低W濾色器像素的靈敏度。以這種方式，可以相對(duì)提高其他濾色器像素之一的靈敏度。
[0296]又或者，可以使用通過執(zhí)行快門曝光控制來防止不適當(dāng)?shù)念伾胶獾募夹g(shù)，在快門曝光控制中，與R或B濾色器像素相比，可以減少G濾色器像素的曝光時(shí)間(例如，參見日本未實(shí)審專利申請(qǐng)公布N0.2003-60992)。通過將這種快門曝光控制技術(shù)與光接收區(qū)域的控制相組合，可以降低W濾色器像素的靈敏度。以這種方式，可以相對(duì)提高其他濾色器像素之一的靈敏度。此外，尤其是可以消除運(yùn)動(dòng)對(duì)象的彩色輪廓的發(fā)生。結(jié)果，不再需要由外部信號(hào)處理單元(DSP)執(zhí)行的消色差處理。
[0297]注意，上述用于調(diào)節(jié)靈敏度比率的三種曝光控制技術(shù)僅僅是例子。曝光控制技術(shù)并不限于此。
[0298]例如，用于W像素的片上微透鏡的尺寸被設(shè)定為使得W、G、B和R像素的輸出電平基本上成比例2:1:0.5:0.5。
[0299]對(duì)于1.1-μ m像素，當(dāng)用于W像素的片上微透鏡的尺寸變化±0.Ιμπι時(shí)，該面積加倍或減半。因此，靈敏度被加倍或減半。因此，面積與G像素的相同并且輸出電平為G像素的兩倍的W像素的輸出電平可以被調(diào)節(jié)為使得輸出電平相同。即使當(dāng)片上微透鏡的尺寸變化±0.05 μ m時(shí)，該面積也是原始面積的±1.42倍，因此，W像素的靈敏度可以被降低到G像素的1.42倍。在這種情況下，通過快門曝光控制可以執(zhí)行對(duì)靈敏度的進(jìn)一步調(diào)節(jié)。
[0300]顏色轉(zhuǎn)換處理
[0301]接下來更詳細(xì)地描述由轉(zhuǎn)換處理單元16執(zhí)行的用于將信號(hào)轉(zhuǎn)換為與RGB拜耳排列相對(duì)應(yīng)的信號(hào)的處理(即，顏色轉(zhuǎn)換處理)。
[0302]提供了下面兩種類型的顏色轉(zhuǎn)換處理:當(dāng)拍攝靜止圖像時(shí)(在所有像素都被掃描的全掃描時(shí))執(zhí)行的顏色轉(zhuǎn)換處理和當(dāng)拍攝運(yùn)動(dòng)圖像時(shí)(在鄰近某一像素的多個(gè)像素的信號(hào)被加到該像素的信號(hào)的像素加法時(shí))執(zhí)行的顏色轉(zhuǎn)換處理。在根據(jù)第一和第二例子的顏色編碼的情況下，可以執(zhí)行高靈敏度的顏色轉(zhuǎn)換處理。因此，可以使用低亮度模式，并且因此在全掃描時(shí)執(zhí)行的顏色轉(zhuǎn)換處理可以被劃分為兩種顏色轉(zhuǎn)換處理。
[0303]這兩種顏色轉(zhuǎn)換處理之一是當(dāng)入射光的亮度高于預(yù)定參考亮度時(shí)執(zhí)行的。該顏色轉(zhuǎn)換處理被稱為“顏色轉(zhuǎn)換處理I”。另一顏色轉(zhuǎn)換處理是當(dāng)入射光的亮度低于或等于預(yù)定參考亮度時(shí)執(zhí)行的。該顏色轉(zhuǎn)換處理被稱為“顏色轉(zhuǎn)換處理2”。另外，在像素加法時(shí)執(zhí)行的顏色轉(zhuǎn)換處理可以根據(jù)要相加的像素的組合被劃分為多種顏色轉(zhuǎn)換處理。
[0304]根據(jù)第二示例性實(shí)施例的第一例子的顏色編碼
[0305]接下來描述針對(duì)根據(jù)第二示例性實(shí)施例的第一例子的顏色編碼執(zhí)行的顏色轉(zhuǎn)換處理。首先，參考圖13中所示的流程圖和圖14A至14D中所示的示意圖來描述在全掃描時(shí)的高亮度模式中執(zhí)行的顏色轉(zhuǎn)換處理I。
[0306]如圖13中所示的流程圖所示，高亮度模式中的顏色轉(zhuǎn)換處理I是通過順序地執(zhí)行步驟Sll、S12和S13中的處理實(shí)現(xiàn)的。圖14A圖示了根據(jù)第一例子的顏色編碼的4X4像素顏色排列。
[0307]在步驟SI I中，如圖14B所示，通過確定分辨率方向，被排列為棋盤圖案的白色(W)像素的分量被擴(kuò)展到所有顏色的像素中。這里使用的術(shù)語“分辨率方向”是指像素信號(hào)存在的方向。在圖14B中，被方框包圍的“W”表示在W像素的分量被擴(kuò)展到所有顏色中的每一種中之后W像素的分量。
[0308]為了將W像素的分量擴(kuò)展到其他顏色的像素中，可以應(yīng)用基于廣泛使用的有向相關(guān)的信號(hào)處理。例如，在基于有向相關(guān)的信號(hào)處理中，獲取與給定像素相對(duì)應(yīng)的多個(gè)顏色信號(hào)，并且獲得垂直方向和/或水平方向上的相關(guān)值(例如，參見日本專利N0.2931520)。
[0309]在步驟S12中，如圖14C所示，利用W像素和G像素之間的相關(guān)，用G像素來替換W像素。從上述各種顏色編碼的顏色排列可以看出，W像素與G像素相鄰。就某一區(qū)域中W像素和G像素之間的相關(guān)而言，W像素和G像素具有強(qiáng)相關(guān)，因?yàn)閃像素和G像素中的任一個(gè)都具有用作亮度信號(hào)的主分量的顏色。因而，相關(guān)值(相關(guān)系數(shù))接近I。通過利用顏色相關(guān)確定分辨率方向并將W像素的輸出電平改變?yōu)榈韧贕像素的輸出電平的電平，W像素被G像素替換。
[0310]在步驟S13中，利用W像素和R像素之間的相關(guān)以及W像素和B像素之間的相關(guān)來為圖14D中所示的拜耳排列生成R像素和B像素。由于W像素包括R、G和B顏色分量,因此可以獲得W像素和R像素之間的相關(guān)以及W像素和B像素之間的相關(guān)。至于信號(hào)處理，可以使用現(xiàn)有的技術(shù)，其中通過插值針對(duì)每一個(gè)像素生成在四像素排列中要用G替換的亮度信號(hào)(例如，參見日本未實(shí)審專利申請(qǐng)公布N0.2005-160044)。
[0311]隨后，參考圖15中所示的流程圖和圖16A至16D中所示的示意圖來描述在全掃描時(shí)的低亮度模式中執(zhí)行的顏色轉(zhuǎn)換處理2。
[0312]首先，如圖16A所示，通過使用基于上述有向相關(guān)的信號(hào)處理來檢查分辨率的方向(步驟S21)。之后，判定是否可以確定分辨率的方向(步驟S22)。如果可以確定分辨率的方向，則被排列為棋盤圖案的W像素的分量被擴(kuò)展到所有顏色的像素中(步驟S23)。
[0313]隨后，如圖16B所示，利用W像素和R像素之間的相關(guān)以及W像素和B像素之間的相關(guān)來生成R像素和B像素(步驟S24)。之后，如圖16C所示，與W像素相鄰的兩個(gè)R像素的信號(hào)被加到該W像素的信號(hào)以便近似為G ( = W+2G)。以這種方式，如圖16D所示，為拜耳排列生成了 R和B像素中的每一個(gè)(步驟S25)。
[0314]然而，如果在步驟S22中未確定分辨率的方向，則利用在垂直方向和水平方向上與W像素相鄰的四個(gè)像素、通過簡單的四像素平均插值來為拜耳排列生成R和B像素中的每一個(gè)(步驟S26)。
[0315]如上所述，通過根據(jù)入射光的亮度使用顏色轉(zhuǎn)換處理I和顏色轉(zhuǎn)換處理2，可以將傳感器芯片11上與其中W濾色器被排列為棋盤圖案的顏色排列相對(duì)應(yīng)的信號(hào)轉(zhuǎn)換為與RGB拜耳排列相對(duì)應(yīng)的信號(hào)，并且可以輸出該信號(hào)。
[0316]接下來描述在用于運(yùn)動(dòng)圖像拍攝的像素加法時(shí)執(zhí)行的兩種顏色轉(zhuǎn)換處理。下文中，這兩種顏色轉(zhuǎn)換處理之一被稱為“像素加法處理I ”，而另一顏色轉(zhuǎn)換處理被稱為“像素加法處理2”。
[0317]首先，參考圖47中所示的流程圖和圖48A至48D中所示的示意圖來描述像素加法處理I。
[0318]對(duì)在對(duì)角線上彼此相鄰的兩個(gè)W像素執(zhí)行加法(步驟S31)。更具體而言，如圖48A所示，對(duì)感興趣的某一像素和位于感興趣像素的右下角的像素(即，向右一列、向下一行的像素)執(zhí)行加法。在圖3所示的像素結(jié)構(gòu)中，可以通過同時(shí)向作為加法目標(biāo)的兩個(gè)像素的轉(zhuǎn)移晶體管22 (在該例子中是轉(zhuǎn)移晶體管22-1和22-4)提供轉(zhuǎn)移脈沖(^TRF來執(zhí)行該加法。以這種方式，可以在FD單元26中執(zhí)行兩像素加法。下文中，這種像素加法被稱為“FD加法”。
[0319]隨后,對(duì)于R、G和B像素中的每一個(gè)，對(duì)在相對(duì)的對(duì)角方向上隔著一個(gè)像素的兩個(gè)像素執(zhí)行加法(步驟S32)。更具體而言，如圖48B所示，對(duì)感興趣的某一像素和位于感興趣像素的左下角、且兩者間隔著一個(gè)像素的像素(即，向右兩列、向下兩行的像素)執(zhí)行加法。對(duì)于R、G和B像素中的每一個(gè)，當(dāng)圖1中所示的列處理單元14具有A/D轉(zhuǎn)換功能時(shí)，該加法可以在A/D轉(zhuǎn)換期間執(zhí)行。
[0320]更具體而言，在圖19所示的顏色排列中，像素BI和Gl的信號(hào)被獨(dú)立讀取。在這些信號(hào)經(jīng)歷A/D轉(zhuǎn)換之后，像素B2和G3的信號(hào)被繼續(xù)讀取并進(jìn)行A/D轉(zhuǎn)換。以這種方式，可以執(zhí)行兩像素加法。為了在列處理單元14執(zhí)行的A/D轉(zhuǎn)換期間執(zhí)行像素加法，可以使用用于利用計(jì)數(shù)器將模擬像素信號(hào)轉(zhuǎn)換為數(shù)字像素信號(hào)的現(xiàn)有技術(shù)(例如，參見日本未實(shí)審專利申請(qǐng)公布N0.2006-033454)。
[0321]下文中，該利用A/D轉(zhuǎn)換器的計(jì)數(shù)器執(zhí)行的像素加法被稱為“計(jì)數(shù)器加法”。當(dāng)執(zhí)行計(jì)數(shù)器加法時(shí)，如果逐行地改變?cè)鲆?，則相加比率可以變化。類似地，可以對(duì)R像素執(zhí)行計(jì)數(shù)器加法。注意，在上述對(duì)W像素的兩像素加法中，F(xiàn)D加法是在像素Wl和W2之間以及像素W3和W4之間執(zhí)行的。
[0322]之后，如圖48C所示，W像素的分量被擬合到R、G和B像素中(步驟S33)。隨后，如圖48D所示，生成RGB拜耳排列的四個(gè)像素(步驟S34)。
[0323]隨后，參考圖20中所示的流程圖和圖21A至21D中所示的示意圖來描述像素加法處理2。
[0324]首先，對(duì)于W像素和G像素，在分別設(shè)在左上-右下對(duì)角方向和右上-左下對(duì)角方向上的兩個(gè)像素之間執(zhí)行FD加法。因而，生成W、R、G和B像素(步驟S41)。更具體而言，對(duì)于W像素，如圖21A所示，在感興趣的某一像素和位于感興趣像素的右下角的像素(即，向右一列、向下一行的像素)之間執(zhí)行FD加法。對(duì)于G像素，如圖21B所示，在感興趣的某一像素和位于感興趣像素的左下角的像素(即，向左一列、向下一行的像素)之間執(zhí)行FD加法。
[0325]注意，在4X4像素塊的八個(gè)像素中，不使用一對(duì)R和B信號(hào)。即，在不執(zhí)行像素加法的情況下以稀釋方式讀取R像素和B像素。因此，與像素加法處理I中的情況相比，R和B的靈敏度降低。因此，顏色S/N比不高(較低)。
[0326]之后，如圖2IC所示，W像素的分量被擬合到R、G和B像素中(步驟S42)。隨后，如圖21D所示，生成RGB拜耳排列的四個(gè)像素(步驟S43)。在像素加法處理2的情況下，拜耳排列的質(zhì)心位置略微偏離像素加法處理I中的質(zhì)心位置。
[0327]如上所述，當(dāng)拍攝運(yùn)動(dòng)圖像時(shí)，通過使用像素加法處理I和像素加法處理2中的一種，可以將傳感器芯片11上與其中W濾色器被排列為棋盤圖案的顏色排列相對(duì)應(yīng)的信號(hào)轉(zhuǎn)換為與RGB拜耳排列相對(duì)應(yīng)的信號(hào),并且可以輸出該信號(hào)。
[0328]根據(jù)第二示例性實(shí)施例的第二例子的顏色編碼
[0329]接下來描述根據(jù)第二示例性實(shí)施例的第二例子的顏色編碼的顏色轉(zhuǎn)換處理。根據(jù)第二示例性實(shí)施例的第二例子的顏色編碼的一系列處理是基于根據(jù)第二示例性實(shí)施例的第一例子的顏色編碼的處理的。
[0330]參考圖49A至49D中所示的示意圖來描述在全掃描時(shí)的顏色轉(zhuǎn)換處理I。在圖49A所示的根據(jù)第二例子的4X4像素塊的顏色排列中，利用分辨率方向?qū)⒈慌帕袨槠灞P圖案的W像素的分量擴(kuò)展到所有顏色的像素中，如圖49B所示。隨后，如圖49C所示，利用W像素和G像素之間的相關(guān)用G像素來替換W像素。之后，如圖49D所示，利用W像素和R像素之間的相關(guān)以及W像素和B像素之間的相關(guān)來為RGB拜耳排列生成R和B像素。
[0331]接下來參考圖50A至50D中所示的示意圖來描述在全掃描時(shí)的顏色轉(zhuǎn)換處理2。與顏色轉(zhuǎn)換處理I中一樣，在根據(jù)第二例子的4X4像素塊的顏色排列中，利用分辨率方向?qū)⒈慌帕袨槠灞P圖案的W像素的分量擴(kuò)展到所有顏色的像素中，如圖50A所示。隨后，如圖50B所示，利用W像素和R像素之間的相關(guān)以及W像素和B像素之間的相關(guān)來生成R像素和B像素。之后，如圖50C所示，將與W像素相鄰的兩個(gè)G像素的信號(hào)加到該W像素的信號(hào)以便近似為G ( = W+2G)。以這種方式，如圖50D所示，為拜耳排列生成了 R和B像素中的每一個(gè)。此時(shí)，如果找到了該方向，則相加比率可以動(dòng)態(tài)改變。
[0332]接下來參考圖5IA至5ID來描述像素加法處理I。如圖51A和51B所示，對(duì)于R、G和B像素中的每一個(gè)與W像素，執(zhí)行右上和左上對(duì)角FD加法。因而，生成了 W、R、G和B像素。之后，如圖51C所示，將W像素的分量擬合到每一像素中。以這種方式，如圖51D所示，生成了 RGB拜耳排列的四個(gè)像素。
[0333]接下來參考圖52A至52D來描述像素加法處理2。如圖52A和52B所示，對(duì)于R、G和B像素中的每一個(gè)與W像素，執(zhí)行右上和左上對(duì)角FD加法。因而，生成了 W、R、G和B像素。之后，如圖52C所示，將W像素的分量擬合到R和B像素中的每一個(gè)中。以這種方式，如圖52D所示，生成了 RGB拜耳排列的四個(gè)像素。
[0334]如上所述，通過對(duì)根據(jù)第一和第二例子的顏色編碼(其中具有用作亮度信號(hào)的主分量的顏色的W濾色器被排列為棋盤圖案，并且G濾色器被對(duì)角地排列以便形成條形圖案)執(zhí)行上述信號(hào)處理，可以提供下面的優(yōu)點(diǎn)。即，通過將與W像素相鄰的G像素的信號(hào)加到該W像素的信號(hào)并使用該和作為亮度信號(hào)的主分量執(zhí)行信號(hào)處理，可以增大亮度信號(hào)的強(qiáng)度。因此，可以在分辨率的降低最小化的情況下提高靈敏度。
[0335]第三示例性實(shí)施例
[0336]系統(tǒng)配置
[0337]圖53是根據(jù)第三示例性實(shí)施例的CMOS圖像傳感器的示例性系統(tǒng)配置的示意圖，該CMOS圖像傳感器是固態(tài)成像器件(X-Y尋址固態(tài)成像器件)的例子。
[0338]在根據(jù)第二示例性實(shí)施例的上述CMOS圖像傳感器1A中，設(shè)在傳感器芯片11上的轉(zhuǎn)換處理單元16將與濾色器陣列30的顏色排列相對(duì)應(yīng)的信號(hào)轉(zhuǎn)換為與拜耳排列相對(duì)應(yīng)的信號(hào)。與之相比，在根據(jù)本實(shí)施例的CMOS圖像傳感器1B中，與濾色器陣列30的顏色排列相對(duì)應(yīng)的W、R、G和B信號(hào)以原始數(shù)據(jù)的形式被直接從傳感器芯片11輸出。
[0339]另外，根據(jù)本實(shí)施例，CMOS圖像傳感器10B允許作為傳感器芯片11的外部電路的DSP電路40對(duì)從傳感器芯片11輸出的原始數(shù)據(jù)執(zhí)行顏色轉(zhuǎn)換處理。DSP電路40將從傳感器芯片11輸出的W、R、G和B信號(hào)轉(zhuǎn)換為與RGB拜耳排列相對(duì)應(yīng)的信號(hào)。之后,40執(zhí)行廣泛使用的去馬賽克(demosaic)處理。在去馬賽克處理中，對(duì)于僅具有單色信息的每一像素，通過利用該像素周圍的像素的信號(hào)來提供丟失的顏色信息，將顏色信息加到該像素的信號(hào)，并且生成全色圖像。
[0340]以這種方式，根據(jù)本實(shí)施例的CMOS圖像傳感器10B的關(guān)鍵特征在于與濾色器陣列30的顏色排列相對(duì)應(yīng)的W、R、G和B信號(hào)被直接從傳感器芯片11輸出并被DSP電路40轉(zhuǎn)換為與拜耳排列相對(duì)應(yīng)的信號(hào)。因此，由于像素陣列單元12、垂直驅(qū)動(dòng)單元13、列處理單元14、水平驅(qū)動(dòng)單元15和系統(tǒng)控制單元17的配置和操作與第二示例性實(shí)施例中類似，因此將不重復(fù)對(duì)其的描述。
[0341]濾色器陣列的顏色編碼
[0342]與根據(jù)第二示例性實(shí)施例的CMOS圖像傳感器10A相似，根據(jù)本實(shí)施例的CMOS圖像傳感器10B具有有利于轉(zhuǎn)換為與RGB拜耳排列相對(duì)應(yīng)的信號(hào)的濾色器陣列30的顏色編碼。
[0343]S卩，濾色器陣列30采用了這樣一種顏色編碼，其中用作亮度信號(hào)的主色信息分量之一的第一顏色(W或G)的濾色器被排列為棋盤圖案。另外，一連串四個(gè)像素的主色信息分量的第二顏色(G或W)的濾色器形成一組，并且這些組被排列為在對(duì)角方向、垂直方向和水平方向之一上形成條形圖案。使用具有這種顏色編碼的濾色器陣列30的優(yōu)點(diǎn)與第二示例性實(shí)施例的優(yōu)點(diǎn)相同。
[0344]濾色器陣列的顏色編碼的例子
[0345]與第二示例性實(shí)施例相似，根據(jù)第三示例性實(shí)施例，可以提供顏色編碼的第一和第二例子。第一和第二例子有利于從與用作亮度信號(hào)的主分量的顏色的濾色器被排列為棋盤圖案的顏色排列相對(duì)應(yīng)的信號(hào)轉(zhuǎn)換成與RGB拜耳排列相對(duì)應(yīng)的信號(hào)。
[0346]S卩，在根據(jù)第三示例性實(shí)施例的第一例子的顏色編碼中，W濾色器被排列為棋盤圖案。另外，R濾色器在垂直方向和水平方向上以一個(gè)像素的間距被排列在棋盤圖案中。類似地，B濾色器在垂直方向和水平方向上以一個(gè)像素的間距被排列在棋盤圖案中。此外，每一R濾色器在對(duì)角線上與一個(gè)B濾色器偏移一個(gè)像素。另外，G濾色器被排列在棋盤圖案的其他區(qū)域中(參考圖45)。此外，在根據(jù)第三示例性實(shí)施例的第二例子的顏色編碼中，W濾色器被排列為棋盤圖案。R濾色器在垂直方向和水平方向上以三個(gè)像素為間距成方形地排列。類似地，B濾色器在垂直方向和水平方向上以三個(gè)像素為間距成方形地排列。另外，兩個(gè)R濾色器和兩個(gè)B濾色器在對(duì)角方向上交替地排列。另外，G濾色器被排列在棋盤圖案的其他區(qū)域中(參考圖46)。
[0347]顏色轉(zhuǎn)換處理
[0348]接下來更詳細(xì)地描述由DSP電路40執(zhí)行的用于將與濾色器陣列30的顏色排列相對(duì)應(yīng)并且以原始數(shù)據(jù)的形式從傳感器芯片11輸出的信號(hào)轉(zhuǎn)換為與RGB拜耳排列相對(duì)應(yīng)的信號(hào)的處理。
[0349]與第二示例性實(shí)施例相似，當(dāng)執(zhí)行顏色轉(zhuǎn)換處理時(shí)，像素靈敏度比率W:G:R:B受到調(diào)節(jié)。另外，與第二示例性實(shí)施例相似，提供了下面兩種類型的顏色轉(zhuǎn)換處理:在全掃描時(shí)執(zhí)行的顏色轉(zhuǎn)換處理和在像素加法時(shí)執(zhí)行的顏色轉(zhuǎn)換處理。另外，提供了下面兩種類型的顏色轉(zhuǎn)換處理:在高亮度模式中(其中入射光的亮度高于預(yù)定參考亮度)執(zhí)行的顏色轉(zhuǎn)換處理I和在低亮度模式中(其中入射光的亮度低于或等于參考亮度)執(zhí)行的顏色轉(zhuǎn)換處理2。
[0350]根據(jù)第三示例性實(shí)施例的第一例子的顏色編碼
[0351]接下來描述在根據(jù)第三示例性實(shí)施例的第一例子的顏色編碼的情況下執(zhí)行的顏色轉(zhuǎn)換處理。首先，參考圖54中所示的流程圖和圖55A至55C中所示的示意圖來描述在全掃描時(shí)的高亮度模式中執(zhí)行的顏色轉(zhuǎn)換處理I。
[0352]圖55A圖示了根據(jù)第三示例性實(shí)施例的第一例子的顏色編碼的4X4像素顏色排列。在根據(jù)第一例子的顏色排列中，如圖55B所示，通過利用使用有向相關(guān)的上述現(xiàn)有信號(hào)處理并確定分辨率方向，來將W像素的分量擴(kuò)展到所有顏色的像素中(步驟S51)。之后，如圖55C所示，通過使用上述現(xiàn)有技術(shù)與W像素和R像素之間的相關(guān)、W像素和G像素之間的相關(guān)以及W像素和B像素之間的相關(guān)，將R、G和B分量擴(kuò)展到所有像素中(步驟S52)。
[0353]隨后，參考圖56中所示的流程圖和圖57A至57C中所示的示意圖來描述在全掃描時(shí)的低亮度模式中執(zhí)行的顏色轉(zhuǎn)換處理2。
[0354]首先，如圖57A所示，利用基于上述有向相關(guān)的信號(hào)處理來檢查分辨率方向(步驟S61)。之后，判定是否可以確定分辨率方向(步驟S62)。如果可以確定分辨率方向，則將被排列為棋盤圖案的W像素的分量擴(kuò)展到所有顏色的像素中(步驟S63)。
[0355]隨后，如圖57B所示，通過使用上述現(xiàn)有技術(shù)與W像素和R像素之間的相關(guān)以及W像素和B像素之間的相關(guān)來生成R像素和B像素(步驟S64)。然而，如果在步驟S62中并未確定分辨率方向，則利用在垂直方向和水平方向上與W像素相鄰的四個(gè)像素、通過簡單的四像素平均插值來生成R和B像素中的每一個(gè)(步驟S67)。
[0356]隨后，如圖57C所示，在動(dòng)態(tài)改變比率的同時(shí)，將與W像素相鄰的兩個(gè)G像素的信號(hào)加到該W像素的信號(hào)(W+2G)。這樣，形成了棋盤圖案(步驟S65)。之后，通過確定該方向來將這些分量擴(kuò)展到所有像素中。以這種方式，生成了亮度信號(hào)(步驟S66)。
[0357]如上所述，通過根據(jù)入射光的亮度使用顏色轉(zhuǎn)換處理I和顏色轉(zhuǎn)換處理2中的一個(gè)，與其中W濾色器被排列為棋盤圖案的顏色排列相對(duì)應(yīng)的信號(hào)可以通過由設(shè)在傳感器芯片11外部的DSP電路40執(zhí)行的信號(hào)處理被轉(zhuǎn)換為與RGB拜耳排列相對(duì)應(yīng)的信號(hào)。
[0358]接下來描述在用于拍攝運(yùn)動(dòng)圖像的像素加法時(shí)執(zhí)行的顏色轉(zhuǎn)換處理I和2。首先，參考圖58中所示的流程圖和圖59A至59C中所示的示意圖來描述像素加法處理I。
[0359]如圖59A所示，對(duì)在對(duì)角線上彼此相鄰的兩個(gè)W像素執(zhí)行加法。另外，對(duì)于R、G和B顏色中每一種的像素，對(duì)設(shè)在對(duì)角方向上的兩個(gè)像素執(zhí)行計(jì)數(shù)器加法(步驟S71)。之后，如圖59B所示，利用W像素和R像素之間的相關(guān)、W像素和G像素之間的相關(guān)以及W像素和B像素之間的相關(guān)，將R分量、G分量和B分量擴(kuò)展到所有像素中(步驟S72)。隨后，如圖59C所示，按比例1:2相加W像素的信號(hào)和G信號(hào)，并且生成(W+2G)信號(hào)。(W+2G)信號(hào)用作亮度信號(hào)(步驟S73)。
[0360]接下來參考圖60中所示的流程圖和圖61A至61C中所示的示意圖來描述像素加法處理2。
[0361]首先，如圖61A所示，對(duì)于W像素和G像素，在分別設(shè)在左上-右下對(duì)角方向和右上-左下對(duì)角方向上的兩個(gè)像素之間執(zhí)行FD加法。因而，生成了 W和G像素(步驟S81)。更具體而言，對(duì)于G像素，在感興趣的某一像素和位于感興趣像素的左下角的像素(即，向左一列、向下一行的像素)之間執(zhí)行FD加法。對(duì)于W像素，在感興趣的某一像素和位于感興趣像素的右下角的像素(即，向右一列、向下一行的像素)之間執(zhí)行FD加法。R和B像素保持不變。
[0362]隨后，如圖6IB所示，利用W像素和R像素之間的相關(guān)、W像素和G像素之間的相關(guān)以及W像素和B像素之間的相關(guān)來將R、G和B分量擴(kuò)展到所有像素中(步驟S82)。之后，如圖61C所示，按比例1:2相加W像素的信號(hào)和G信號(hào)，并且生成(W+2G)信號(hào)。(W+2G)信號(hào)用作亮度信號(hào)(步驟S83)。
[0363]如上所述，通過在拍攝運(yùn)動(dòng)圖像時(shí)使用像素加法處理I和像素加法處理2之一，與W濾色器被排列為棋盤圖案的顏色排列相對(duì)應(yīng)的信號(hào)可以通過由部署在傳感器芯片11外部的DSP電路40執(zhí)行的信號(hào)處理被轉(zhuǎn)換為與RGB拜耳排列相對(duì)應(yīng)的信號(hào)。
[0364]根據(jù)第三示例性實(shí)施例的第二例子的顏色編碼
[0365]接下來描述根據(jù)第三示例性實(shí)施例的第二例子的顏色編碼的顏色轉(zhuǎn)換處理。根據(jù)第三示例性實(shí)施例的第二例子的顏色編碼的一系列處理一般是基于根據(jù)第三示例性實(shí)施例的第一例子的顏色編碼的處理的。
[0366]參考圖62A和62B中所示的示意圖來描述在全掃描時(shí)執(zhí)行的顏色轉(zhuǎn)換處理I。圖62A圖示了根據(jù)第三示例性實(shí)施例的第二例子的4X4像素塊的顏色編碼的顏色排列。在根據(jù)第三示例性實(shí)施例的第二例子的顏色編碼中，如圖62B所示，利用分辨率方向?qū)⒈慌帕袨槠灞P圖案的W像素的分量擴(kuò)展到所有顏色的像素中。隨后，如圖62C所示，利用W像素和R像素之間的相關(guān)、W像素和G像素之間的相關(guān)以及W像素和B像素之間的相關(guān)來將R、G和B分量擴(kuò)展到所有像素中。
[0367]接下來參考圖63A至63C中所示的示意圖來描述在全掃描時(shí)執(zhí)行的顏色轉(zhuǎn)換處理2。與顏色轉(zhuǎn)換處理I中一樣，在根據(jù)第二例子的4X4像素塊的顏色排列中，如圖63A所示，利用分辨率方向?qū)⒈慌帕袨槠灞P圖案的W像素的分量擴(kuò)展到所有顏色的像素中。
[0368]隨后，如圖63B所示，利用W像素和R像素之間的相關(guān)以及W像素和B像素之間的相關(guān)將R和B分量擴(kuò)展到所有像素中。之后，如圖63C所示，通過利用W像素確定方向，在動(dòng)態(tài)改變比率(W+2G)的同時(shí)將與W像素相鄰的兩個(gè)G像素的信號(hào)加到W像素的信號(hào)。這樣，形成了棋盤圖案。之后，通過進(jìn)一步確定方向來將G像素的分量擴(kuò)展到所有像素中。以這種方式，生成了亮度信號(hào)。
[0369]接下來參考圖64A和64B描述像素加法處理I。如圖64A所示，對(duì)于W像素和G像素，在分別設(shè)在左上-右下對(duì)角方向和右上-左下對(duì)角方向上的兩個(gè)像素之間執(zhí)行FD加法。因而，生成了 W、R、G和B的信號(hào)。之后，如圖64B所示，將R、G和B分量擴(kuò)展到所有像素中。隨后，為了提高S/N比，將W像素的分量擬合到所有像素中。因而，生成了 R、G和B信號(hào)。
[0370]接下來參考圖65A至65C來描述像素加法處理2。如圖65A所示，對(duì)于W像素和G像素，在分別設(shè)在左上-右下對(duì)角方向和右上-左下對(duì)角方向上的兩個(gè)像素之間執(zhí)行FD加法。因而，生成了 W、R、G和B的信號(hào)。之后，如圖65B所示，利用W像素和R像素之間的相關(guān)、W像素和G像素之間的相關(guān)以及W像素和B像素之間的相關(guān)將R、G和B分量擴(kuò)展到所有像素中。然后按比例1:2相加W像素的信號(hào)和G信號(hào)，并且生成(W+2G)信號(hào)。(W+2G)信號(hào)用作亮度信號(hào)。
[0371]如上所述，根據(jù)第一和第二例子，在具有這樣一種顏色排列(其中用作亮度信號(hào)的主色的白色的W濾色器被排列為棋盤圖案，并且G濾色器被排列為在對(duì)角方向上形成條形圖案)的顏色編碼中，通過執(zhí)行上述信號(hào)處理可以提供下面的優(yōu)點(diǎn)。即，在設(shè)在傳感器芯片11外部的DSP電路40中，通過將與W像素相鄰的G像素的信號(hào)加到該W像素的信號(hào)并使用該和作為亮度信號(hào)的主分量，可以增大亮度信號(hào)的強(qiáng)度。因此，可以在分辨率的降低最小化的情況下提高靈敏度。
[0372]3.修改
[0373]盡管已參考這樣一種方法(其中與W像素相鄰的兩個(gè)G像素的信號(hào)被簡單地加到該W像素的信號(hào)并且該和被用作亮度信號(hào)的主分量)描述了前述示例性實(shí)施例，但是用于相加的G像素的數(shù)目并不限于兩個(gè)。G像素的數(shù)目可以是一個(gè)。注意，2像素加法(其中與W像素相鄰的一個(gè)G像素的信號(hào)被加到該W像素的信號(hào))相比于3像素加法(其中與W像素相鄰的兩個(gè)G像素的信號(hào)被加到該W像素的信號(hào))具有可以減少分辨率降低的優(yōu)點(diǎn)。
[0374]另外，盡管已參考在一連串四個(gè)G濾色器像素的對(duì)角條形圖案的情況下的信號(hào)處理描述了前述示例性實(shí)施例，但是即使在一連串四個(gè)G濾色器像素被重復(fù)排列在垂直方向或水平方向上以便形成條形圖案的情況下也能提供相同的優(yōu)點(diǎn)。此外，第一顏色的濾色器的信號(hào)對(duì)第二顏色的濾色器的信號(hào)的相加比率并不限于1:1。可以使用平衡分辨率與靈敏度的任何相加比率。
[0375]此外，盡管已參考用作亮度信號(hào)的主色的第一顏色是白色(W)并且第二顏色是綠色(G)的顏色編碼描述了前述示例性實(shí)施例，但是即使對(duì)于第一顏色是綠色并且第二顏色是白色的顏色編碼也能產(chǎn)生相同的優(yōu)點(diǎn)。根據(jù)第一示例和第二例子的這種顏色編碼分別在圖66和67中示出。
[0376]應(yīng)用例子
[0377]成像設(shè)備
[0378]圖68是根據(jù)本發(fā)明一個(gè)實(shí)施例的成像設(shè)備的示例性配置的框圖。
[0379]如圖68所示，根據(jù)本發(fā)明的實(shí)施例，成像設(shè)備100包括包含透鏡單元101的光學(xué)系統(tǒng)、圖像攝取器件102、用作相機(jī)信號(hào)處理電路的DSP電路103、幀存儲(chǔ)器104、顯示單元105、記錄單元106、操作單元107和電源單元108。DSP電路103、幀存儲(chǔ)器104、顯示單元105、記錄單元106、操作單元107和電源單元108經(jīng)由總線109彼此相連。
[0380]透鏡單元101接收從對(duì)象輸出的入射光(成像光)并且在圖像拾取器件102的成像表面上形成圖像。圖像攝取器件102針對(duì)每個(gè)像素將被透鏡單元101接收并且在成像表面上形成圖像的入射光的強(qiáng)度轉(zhuǎn)換為電信號(hào)。電信號(hào)以像素信號(hào)的形式被輸出。根據(jù)第一和第二示例性實(shí)施例的CMOS圖像傳感器1A和1B可以用作圖像拾取器件102。另外，根據(jù)所有上述示例性實(shí)施例(包括第三示例性實(shí)施例)的CMOS圖像傳感器10可以用作圖像攝取器件102。
[0381]在CMOS圖像傳感器10A、10B和10中，濾色器陣列采用了具有這樣一種顏色排列的顏色編碼:其中用作亮度信號(hào)的主色的顏色被排列為棋盤圖案，并且用作顏色信息分量的多種顏色被排列在棋盤圖案的其他區(qū)域中。具體而言，CMOS圖像傳感器1A和10通過在傳感器芯片11中執(zhí)行的計(jì)算將與濾色器陣列的顏色排列相對(duì)應(yīng)的信號(hào)轉(zhuǎn)換為與拜耳排列相對(duì)應(yīng)的信號(hào)。
[0382]因此，盡管CMOS圖像傳感器10A和10具有使用這樣一種顏色編碼(其中用作亮度信號(hào)的主色的顏色被排列為棋盤圖案)的濾色器陣列，但是CMOS圖像傳感器10A和10輸出與拜耳排列相對(duì)應(yīng)的信號(hào)。因此，利用與拜耳排列相對(duì)應(yīng)的信號(hào)來生成亮度信號(hào)Y以及兩個(gè)色差信號(hào)U(B-Y)和V(R-Y)的用于拜耳排列的現(xiàn)有DSP可以用作DSP電路103。
[0383]如上所述，由于可以使用用于拜耳排列的現(xiàn)有DSP，因此即使當(dāng)用在圖像攝取器件102中的濾色器陣列的顏色編碼改變時(shí)，也沒有必要開發(fā)成本高昂的新DSP。使用現(xiàn)有DSP可以帶來包括DSP電路103的成像設(shè)備100的生產(chǎn)成本的降低，并且進(jìn)而帶來具有使用W濾色器的顏色編碼的濾色器陣列的廣泛使用。
[0384]與之相比，在CMOS圖像傳感器10B的情況下，與這樣一種顏色排列(其中用作亮度信號(hào)的主色的顏色被排列為棋盤圖案)相對(duì)應(yīng)的信號(hào)被輸出到芯片外部，并且DSP電路103 (對(duì)應(yīng)于圖52中所示的DSP電路40)將該信號(hào)轉(zhuǎn)換為與拜耳排列相對(duì)應(yīng)的信號(hào)。因此，當(dāng)濾色器陣列的顏色編碼改變時(shí)，需要開發(fā)新的DSP電路103，因此開發(fā)成本是必需的。然而，與CMOS圖像傳感器10A —樣，CMOS圖像傳感器10B可以在分辨率的降低最小化的情況下提高靈敏度。因此，CMOS圖像傳感器10B具有可以提高成像信號(hào)的S/N比、同時(shí)保持高分辨率的優(yōu)點(diǎn)。
[0385]顯示單元105是面板顯示單元，例如液晶顯示器或有機(jī)電致發(fā)光(EL)顯示器。顯示單元105顯示被圖像攝取器件102拍攝的運(yùn)動(dòng)圖像或靜止圖像。記錄單元106將被圖像攝取器件102拍攝的運(yùn)動(dòng)圖像或靜止圖像記錄在諸如視頻磁帶或數(shù)字多功能盤(DVD)之類的記錄介質(zhì)上。
[0386]在用戶的控制下，操作單元107提交控制成像設(shè)備的多種功能的多種操作命令。電源單元108在必要時(shí)向DSP電路103、幀存儲(chǔ)器104、顯示單元105、記錄單元106和操作單元107提供電能。
[0387]本申請(qǐng)包含與2008年12月8日向日本專利局提交的日本在先專利申請(qǐng)JP2008-311694和2008年12月8日向日本專利局提交的日本在先專利申請(qǐng)JP 2008-311695中公開的內(nèi)容有關(guān)的主題，上述申請(qǐng)的全部內(nèi)容通過引用而結(jié)合于此。
[0388]本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，取決于設(shè)計(jì)需求和其他因素可以發(fā)生各種修改、組合、子組合和變更，只要這些修改、組合、子組合和變更在權(quán)利要求或其等同物的范圍內(nèi)。
【權(quán)利要求】
1.一種固態(tài)成像器件，包括: 設(shè)在包括以矩陣形式二維排列的多個(gè)像素的像素陣列單元上的濾色器單元，所述濾色器單元具有以下顏色排列:其中與用作亮度信號(hào)的主分量的白色相對(duì)應(yīng)的白色濾色器在水平方向上的每一行中以一個(gè)像素為間距被排列，紅色和藍(lán)色中每一種的濾色器在垂直方向以三個(gè)像素為間距被方形地排列，，紅色濾色器與藍(lán)色濾色器按照交替排列的方式排列在另一個(gè)對(duì)角線方向上，并且其中綠色濾色器被排列在其他區(qū)域中，以及 轉(zhuǎn)換處理單元，所述轉(zhuǎn)換處理單元將從所述像素陣列單元的像素輸出的、與所述濾色器單元的顏色排列相對(duì)應(yīng)的信號(hào)轉(zhuǎn)換為與拜耳排列相對(duì)應(yīng)的信號(hào)并且輸出轉(zhuǎn)換后的信號(hào)。
2.根據(jù)權(quán)利要求1所述的固態(tài)成像器件，其中所述白色濾色器在垂直方向上的每一列中以一個(gè)像素為間距被排列。
3.根據(jù)權(quán)利要求1或2所述的固態(tài)成像器件，其中紅色和藍(lán)色中每一種的濾色器在水平方向上以三個(gè)像素為間距被方形地排列。
4.根據(jù)權(quán)利要求1-3中任一項(xiàng)所述的固態(tài)成像器件，其中每一紅色濾色器在兩個(gè)對(duì)角線方向之一上與一個(gè)藍(lán)色濾色器偏移一個(gè)像素。
5.根據(jù)權(quán)利要求1-4中任一項(xiàng)所述的固態(tài)成像器件，其中紅色濾色器與藍(lán)色濾色器按照兩個(gè)連續(xù)的紅色濾色器與兩個(gè)連續(xù)的藍(lán)色濾色器交替排列的方式排列在另一個(gè)對(duì)角線方向上。
6.根據(jù)權(quán)利要求1-5中任一項(xiàng)所述的固態(tài)成像器件，其中所述轉(zhuǎn)換處理單元設(shè)在具有所述像素陣列單元的襯底上。
7.根據(jù)權(quán)利要求1-6中任一項(xiàng)所述的固態(tài)成像器件，其中所述多個(gè)像素中的每個(gè)像素包括光電轉(zhuǎn)換單元、轉(zhuǎn)移晶體管、復(fù)位晶體管、放大晶體管和選擇晶體管。
8.根據(jù)權(quán)利要求7所述的固態(tài)成像器件，其中所述光電轉(zhuǎn)換單元為光電二極管，所述光電二極管的陽極電極連接到負(fù)電源，所述光電二極管的陰極電極經(jīng)由所述轉(zhuǎn)移晶體管連接到所述放大晶體管的柵電極。
9.根據(jù)權(quán)利要求7-8中任一項(xiàng)所述的固態(tài)成像器件，其中所述復(fù)位晶體管的漏電極連接到像素電源，所述復(fù)位晶體管的源電極連接到所述放大晶體管的柵極。
10.根據(jù)權(quán)利要求7-9中任一項(xiàng)所述的固態(tài)成像器件，其中所述放大晶體管的漏電極連接到像素電源，所述放大晶體管的源電極連接到所述選擇晶體管的漏電極。
11.根據(jù)權(quán)利要求7-10中任一項(xiàng)所述的固態(tài)成像器件，其中所述復(fù)位晶體管的柵電極連接到復(fù)位線，所述選擇晶體管的柵電極連接到選擇線，所述轉(zhuǎn)移晶體管的柵電極連接到轉(zhuǎn)移線。
12.根據(jù)權(quán)利要求7-8中任一項(xiàng)所述的固態(tài)成像器件，其中所述選擇晶體管連接在像素電源和所述放大晶體管的漏電極之間。
13.根據(jù)權(quán)利要求7中任一項(xiàng)所述的固態(tài)成像器件，其中所述放大晶體管和所述選擇晶體管的功能由一個(gè)晶體管完成。
14.根據(jù)權(quán)利要求7-13中任一項(xiàng)所述的固態(tài)成像器件，其中四個(gè)像素共享一個(gè)復(fù)位晶體管、一個(gè)放大晶體管和一個(gè)選擇晶體管。
15.根據(jù)權(quán)利要求14所述的固態(tài)成像器件，其中四個(gè)像素共享浮動(dòng)擴(kuò)散單元。
16.根據(jù)權(quán)利要求1所述的固態(tài)成像器件，其中所述轉(zhuǎn)換處理單元包括: 當(dāng)入射光的亮度高于預(yù)定參考亮度時(shí)執(zhí)行第一顏色轉(zhuǎn)換處理的裝置；以及 當(dāng)入射光的亮度低于或等于預(yù)定參考亮度時(shí)執(zhí)行第二顏色轉(zhuǎn)換處理的裝置。
17.根據(jù)權(quán)利要求16所述的固態(tài)成像器件，其中所述執(zhí)行第一顏色轉(zhuǎn)換處理的裝置包括: 用于把白色像素的信號(hào)的分量擴(kuò)展到所有顏色的像素的信號(hào)中的裝置； 用于利用白色像素的信號(hào)和綠色像素的信號(hào)之間的相關(guān)，用綠色像素的信號(hào)來替換白色像素的信號(hào)的裝置； 用于利用白色像素的信號(hào)和紅色像素的信號(hào)之間的相關(guān)，生成與拜耳排列相對(duì)應(yīng)的紅色像素的信號(hào)的裝置；以及 用于利用白色像素的信號(hào)和藍(lán)色像素的信號(hào)之間的相關(guān)，生成與拜耳排列相對(duì)應(yīng)的藍(lán)色像素的信號(hào)的裝置。
18.根據(jù)權(quán)利要求16所述的固態(tài)成像器件，其中所述執(zhí)行第二顏色轉(zhuǎn)換處理的裝置包括: 用于生成與拜耳排列相對(duì)應(yīng)的紅色像素的信號(hào)的裝置； 用于生成與拜耳排列相對(duì)應(yīng)的藍(lán)色像素的信號(hào)的裝置；以及 用于把與白色像素相鄰的兩個(gè)綠色像素的信號(hào)加到該白色像素的信號(hào)上以生成與拜耳排列相對(duì)應(yīng)的綠色像素的信號(hào)的裝置。
19.根據(jù)權(quán)利要求18所述的固態(tài)成像器件，還包括用于判定是否可以確定分辨率的方向的裝置，以及用于把白色像素的信號(hào)的分量擴(kuò)展到所有顏色的像素的信號(hào)中的裝置； 其中，當(dāng)用于判定是否可以確定分辨率的方向的裝置可以確定分辨率的方向時(shí)，用于把白色像素的信號(hào)的分量擴(kuò)展到所有顏色的像素的信號(hào)中的裝置把白色像素的信號(hào)的分量擴(kuò)展到所有顏色的像素的信號(hào)中；所述用于生成與拜耳排列相對(duì)應(yīng)的紅色像素的信號(hào)的裝置利用白色像素的信號(hào)和紅色像素的信號(hào)之間的相關(guān)，生成與拜耳排列相對(duì)應(yīng)的紅色像素的信號(hào)；并且所述用于生成與拜耳排列相對(duì)應(yīng)的藍(lán)色像素的信號(hào)的裝置利用白色像素的信號(hào)和藍(lán)色像素的信號(hào)之間的相關(guān)，生成與拜耳排列相對(duì)應(yīng)的藍(lán)色像素的信號(hào)， 當(dāng)用于判定是否可以確定分辨率的方向的裝置判定不能確定分辨率的方向時(shí)，用于生成與拜耳排列相對(duì)應(yīng)的紅色像素的信號(hào)的裝置利用在垂直方向和水平方向上與白色像素相鄰的四個(gè)像素、通過簡單的四像素平均插值來生成與拜耳排列相對(duì)應(yīng)的紅色像素的信號(hào)；并且用于生成與拜耳排列相對(duì)應(yīng)的藍(lán)色像素的信號(hào)的裝置利用在垂直方向和水平方向上與白色像素相鄰的四個(gè)像素、通過簡單的四像素平均插值來生成與拜耳排列相對(duì)應(yīng)的藍(lán)色像素的信號(hào)。
20.一種用于根據(jù)權(quán)利要求1-15中任一項(xiàng)所述的固態(tài)成像器件的顏色轉(zhuǎn)換方法，包括: 把白色像素的信號(hào)的分量擴(kuò)展到所有顏色的像素的信號(hào)中； 利用白色像素的信號(hào)和綠色像素的信號(hào)之間的相關(guān)，用綠色像素的信號(hào)來替換白色像素的信號(hào)； 利用白色像素的信號(hào)和紅色像素的信號(hào)之間的相關(guān)，生成與拜耳排列相對(duì)應(yīng)的紅色像素的信號(hào)；以及 利用白色像素的信號(hào)和藍(lán)色像素的信號(hào)之間的相關(guān)，生成與拜耳排列相對(duì)應(yīng)的藍(lán)色像素的信號(hào)。
21.一種用于根據(jù)權(quán)利要求1-15中任一項(xiàng)所述的固態(tài)成像器件的顏色轉(zhuǎn)換方法，包括: 生成與拜耳排列相對(duì)應(yīng)的紅色像素的信號(hào)； 生成與拜耳排列相對(duì)應(yīng)的藍(lán)色像素的信號(hào)；以及 把與白色像素相鄰的兩個(gè)綠色像素的信號(hào)加到該白色像素的信號(hào)上以生成與拜耳排列相對(duì)應(yīng)的綠色像素的信號(hào)。
22.根據(jù)權(quán)利要求21所述的方法，還包括: 判定是否可以確定分辨率的方向； 其中，當(dāng)判定可以確定分辨率的方向時(shí)，把白色像素的信號(hào)的分量擴(kuò)展到所有顏色的像素的信號(hào)中；利用白色像素的信號(hào)和紅色像素的信號(hào)之間的相關(guān)，生成與拜耳排列相對(duì)應(yīng)的紅色像素的信號(hào)；并且利用白色像素的信號(hào)和藍(lán)色像素的信號(hào)之間的相關(guān)，生成與拜耳排列相對(duì)應(yīng)的藍(lán)色像素的信號(hào)， 當(dāng)判定不能確定分辨率的方向時(shí)，利用在垂直方向和水平方向上與白色像素相鄰的四個(gè)像素、通過簡單的四像素平均插值來生成與拜耳排列相對(duì)應(yīng)的紅色像素的信號(hào)；并且利用在垂直方向和水平方向上與白色像素相鄰的四個(gè)像素、通過簡單的四像素平均插值來生成與拜耳排列相對(duì)應(yīng)的藍(lán)色像素的信號(hào)。
23.一種用于根據(jù)權(quán)利要求1-15中任一項(xiàng)所述的固態(tài)成像器件的像素信號(hào)的處理方法，包括: 對(duì)在對(duì)角線上彼此相鄰的兩個(gè)白色像素的信號(hào)執(zhí)行加法； 對(duì)于紅色、綠色和藍(lán)色像素的信號(hào)中的每一種，對(duì)設(shè)在對(duì)角方向上的兩個(gè)像素的信號(hào)執(zhí)行計(jì)數(shù)器加法； 利用白色像素的信號(hào)和紅色像素的信號(hào)之間的相關(guān)、白色像素的信號(hào)和綠色像素的信號(hào)之間的相關(guān)、以及白色像素的信號(hào)和藍(lán)色像素的信號(hào)之間的相關(guān)，將紅色像素的信號(hào)的分量、綠色像素的信號(hào)的分量以及藍(lán)色像素的信號(hào)的分量擴(kuò)展到所有像素的信號(hào)中； 按比例1:2把白色像素的信號(hào)和綠色像素的信號(hào)相加作為亮度信號(hào)。
24.一種成像設(shè)備，包括根據(jù)權(quán)利要求1-19中任一項(xiàng)所述的固態(tài)成像器件。
25.一種成像設(shè)備，包括光學(xué)系統(tǒng)、信號(hào)處理電路、幀存儲(chǔ)器、顯示單元、記錄單元、操作單元和電源單元。
【文檔編號(hào)】H04N9/04GK104253983SQ201410410468
【公開日】2014年12月31日 申請(qǐng)日期:2009年12月8日 優(yōu)先權(quán)日:2008年12月8日
【發(fā)明者】廣田功 申請(qǐng)人:索尼株式會(huì)社