成像裝置、成像方法、電子設備和程序的制作方法
【專利摘要】本技術涉及能夠借助類似于借助稀疏讀取的信號處理的信號處理，通過組合求和讀出和稀疏讀出，改進S/N的成像裝置和成像方法、電子裝置以及程序。如圖中的左部分所示，首先，對于作為區(qū)域Z1和Z2的頂部行的子顏色的G像素和B像素執(zhí)行稀疏讀取。接著，是作為區(qū)域Z1和Z2的棋盤中的主顏色的W像素的在圖中由直線連接的兩個像素的像素信號，在相同聲音定時經(jīng)受求和讀取處理。此外，是作為區(qū)域Z3和Z4的棋盤中的主顏色的W像素的在圖中由直線連接的兩個像素的像素信號，在相同聲音定時經(jīng)受求和讀取處理。另外，是區(qū)域Z3和Z4的較下行的子像素的R像素和G像素被讀取。然后，如圖中的中間部分，基于區(qū)域Z1至Z4中的主顏色和子顏色之間的相對關系，獲得圖中的右部分的拜耳陣列。本技術可以應用于成像裝置。
【專利說明】成像裝置、成像方法、電子設備和程序

【技術領域】
[0001]本技術涉及成像裝置、成像方法、電子設備和程序。本技術尤其涉及配置為通過高速處理，來限制信噪比的減少、最小化分辨率的降低并且改進像素信號的靈敏度的成像裝置、成像方法、電子設備和程序。
[0002]本發(fā)明涉及諸如數(shù)字照相機和數(shù)字攝像機之類的成像裝置和信號處理。

【背景技術】
[0003]在獲得更多數(shù)目的像素的固態(tài)成像傳感器(諸如互補金屬氧化物半導體(CMOS)圖像傳感器)中，加法讀取或者稀疏讀取已經(jīng)用作執(zhí)行高幀速率讀取的技術。
[0004]在這些技術中，加法讀取方法已經(jīng)因為其增加信噪比(在下文也稱為SN比)的優(yōu)點而被普遍使用。
[0005]然而，使用加法讀取與單獨讀取所有光接收像素的方法相比，自然引起降低分辨率。
[0006]同時，折疊失真在由稀疏讀取方法中獲得的圖像數(shù)據(jù)中比在加法讀取方法中出現(xiàn)得更頻繁。然而，相應地，改進分辨率的效果通過諸如超級分辨率技術之類的技術增加。
[0007]然而，在使用稀疏讀取時比使用加法讀取更大地減少SN比。SN比的惡化在輝度強度低時尤其可能很突出。
[0008]因此，已經(jīng)提出按照需要在稀疏讀取和加法讀取之間切換，以由此在分辨率和SN比之間平衡(見專利文獻1)。
[0009]在另一方法中，已經(jīng)提出包括新穎的顏色布置的濾色器的成像裝置，以允許在分辨率的最小降低的情況下，增加靈敏度(見專利文獻2和3)。
[0010]引用列表
[0011]專利文獻
[0012]專利文獻1:JP 2011-097568A
[0013]專利文獻2:JP4626706B
[0014]專利文獻3:JP2006-033454A


【發(fā)明內(nèi)容】

[0015]技術問題
[0016]然而，專利文獻2中公開的技術的加法處理使用已經(jīng)在專利文獻3中公開的計數(shù)器，以在模至數(shù)(AD)轉(zhuǎn)換期間執(zhí)行像素加法，這使得AD轉(zhuǎn)換的處理時間接近沒有加法處理時花費的時間的兩倍。結(jié)果，即使當使用專利文獻2的技術時，存在實現(xiàn)高幀速率的障礙。
[0017]本技術已經(jīng)鑒于上面的情況被做出并且特別針對通過高速處理限制SN比的減少，最小化分辨率的降低，并且改進像素信號的靈敏度。
[0018]解決方案
[0019]根據(jù)本發(fā)明的一個方面，一種成像裝置包括:
[0020]像素，布置在二維矩陣上；
[0021]像素的輝度信號的預定顏色分量的濾色器；
[0022]與像素的輝度信號的預定顏色不同的其他顏色分量的濾色器；以及
[0023]信號處理單元，配置為將預定顏色分量的濾色器提供到的像素的信號一起相加以輸出加法結(jié)果，并且稀疏其他顏色分量的濾色器提供到的像素的信號以輸出稀疏結(jié)果。
[0024]該信號處理單元可以配置為使用預定顏色分量的濾色器提供到的像素的已經(jīng)被相加和輸出的信號和其他顏色分量的濾色器提供到的像素的已經(jīng)被稀疏和輸出的信號之間的相關性。然后信號處理單元生成其他顏色分量的濾色器提供到的像素的已經(jīng)被稀疏和輸出的信號。
[0025]該預定顏色分量可以是白顏色，并且其他顏色分量可以是紅、綠和藍顏色。
[0026]該預定顏色分量是綠顏色，并且其他顏色分量可以是紅和藍顏色。
[0027]該信號處理單元可以稀疏配備有其他顏色分量的濾色器的像素的信號，并且在當輸出布置在相同行中的像素的信號時的時段的前一半或后一半的第一時段期間輸出稀疏結(jié)果。然后該信號處理單元可以將配備有預定顏色分量的濾色器的像素和布置在與相同行不同的行中并且配備有預定顏色分量的濾色器的相鄰像素的信號一起相加，并且在與第一時段不同的第二時段輸出加法結(jié)果。
[0028]該信號處理單元可以稀疏配備有其他顏色分量的濾色器的像素的信號，并且在當輸出相同行中布置的像素的信號時的時段的前一半或者后一半的第一時段期間輸出稀疏結(jié)果。然后該信號處理單元可以將配備有預定顏色分量的濾色器的像素和布置在與相同行不同的行中并且配備有預定顏色分量的相鄰像素一起相加，并且在與第一時段不同的第二時段期間輸出加法結(jié)果。因此，以與其中單獨執(zhí)行稀疏讀取而不需要加法和輸出處理的信號處理的順序相同的順序，輸出信號。
[0029]該信號處理單元可以通過使每個信號的增益成倍來稀疏配備有其他顏色分量的濾色器的像素，并且在當輸出布置在相同行中的像素的信號時的時段的前一半或后一半的第一時段期間輸出稀疏結(jié)果。然后該信號處理單元可以將配備有預定顏色分量的濾色器的像素和布置在與相同行不同的行中并且配備有預定顏色分量的濾色器的相鄰像素的信號一起相加，每個信號具有平坦增益，并且在與第一時段不同的第二時段輸出加法結(jié)果。
[0030]該信號處理單元可以通過使每個信號的增益成倍來稀疏配備有其他顏色分量的濾色器的像素，并且在當輸出布置在相同行中的像素的信號時的時段的前一半或后一半的第一時段期間輸出稀疏結(jié)果。然后該信號處理單元可以將配備有預定顏色分量的濾色器的像素和布置在與相同行不同的行中并且配備有預定顏色分量的濾色器的相鄰像素的信號一起相加，每個信號具有平坦增益，并且在與第一時段不同的第二時段輸出相加結(jié)果。因此，以適當改變像素的信號的模至數(shù)(AD)轉(zhuǎn)換的范圍這樣的方式輸出信號。
[0031]該信號處理單元可以執(zhí)行配備有預定顏色分量的濾色器的像素的信號的浮動擴散(FD)加法，并且輸出加法結(jié)果。
[0032]該信號處理單元可以執(zhí)行配備有預定顏色分量的濾色器的像素的信號的源跟隨器加法，并且輸出加法結(jié)果。
[0033]該信號處理單元可以使用預定顏色分量的濾色器提供到的像素的已經(jīng)被相加和輸出的信號和其他顏色分量的濾色器提供到的像素的已經(jīng)被稀疏和輸出的信號之間的相關性。該信號處理單元然后生成其他顏色分量的濾色器提供到的像素的已經(jīng)被稀疏和輸出的信號。因此，可以減少已經(jīng)被稀疏和輸出的像素的信號的信噪(SN)比。
[0034]根據(jù)本技術的第一方面，一種成像裝置的成像方法，該成像裝置包括:
[0035]像素，布置在二維矩陣上；
[0036]像素的輝度信號的預定顏色分量的濾色器；
[0037]與像素的輝度信號的預定顏色不同的其他顏色分量的濾色器；以及
[0038]該成像方法包括:
[0039]將預定顏色分量的濾色器提供到的像素的信號一起相加以輸出加法結(jié)果；以及
[0040]稀疏其他顏色分量的濾色器提供到的像素的信號以輸出稀疏結(jié)果。
[0041]根據(jù)本發(fā)明的第一方面，一種配置為控制成像裝置的計算機中的程序，該成像裝置包括:
[0042]像素，布置在二維矩陣上；
[0043]像素的輝度信號的預定顏色分量的濾色器；
[0044]與像素的輝度信號的預定顏色不同的其他顏色分量的濾色器；以及
[0045]其中，該程序使得計算機執(zhí)行:
[0046]將配備有預定顏色分量的濾色器的像素的信號相加以輸出加法結(jié)果；以及
[0047]稀疏配備有其他顏色分量的濾色器的像素的信號以輸出稀疏結(jié)果。
[0048]根據(jù)本發(fā)明的第二方面，一種電子設備，包括:
[0049]像素，布置在二維矩陣上；
[0050]像素的輝度信號的預定顏色分量的濾色器；
[0051]與像素的輝度信號的預定顏色不同的其他顏色分量的濾色器；以及
[0052]信號處理單元，配置為將配備有預定顏色分量的濾色器的像素的信號相加以輸出加法結(jié)果，以及稀疏配備有其他顏色分量的濾色器的像素的信號以輸出稀疏結(jié)果。
[0053]根據(jù)本發(fā)明的第一和第二方面，成像裝置或者電子設備包括像素，布置在二維矩陣上；像素的輝度信號的預定顏色分量的濾色器；與像素的輝度信號的預定顏色不同的其他顏色分量的濾色器。在成像裝置或者電子設備中，相加并且輸出配備有預定顏色分量的濾色器的像素的信號，以及稀疏并且輸出配備有其他顏色分量的濾色器的像素的信號。
[0054]技術效果
[0055]根據(jù)本技術的一個方面，能夠通過高速處理限制SN比的減少，最小化分辨率的降低，并且改進像素信號的靈敏度。

【專利附圖】

【附圖說明】
[0056]圖1是圖示根據(jù)一個實施例的本技術應用于的成像裝置的示例性結(jié)構(gòu)的框圖。
[0057]圖2是圖1的成像單元的示例性結(jié)構(gòu)的說明圖。
[0058]圖3是圖2的單位像素的示例性結(jié)構(gòu)的說明圖。
[0059]圖4是共享像素結(jié)構(gòu)的說明圖。
[0060]圖5是使用共享像素結(jié)構(gòu)的像素信號的讀取方法的說明圖。
[0061]圖6是用于說明像素信號讀取處理的流程圖。
[0062]圖7是像素信號讀取處理的說明圖。
[0063]圖8是正常像素信號讀取處理的說明圖。
[0064]圖9是使得子顏色增益是主顏色增益的兩倍的示例的說明圖。
[0065]圖10是當主顏色是綠顏色時示例性像素布置的說明圖。
[0066]圖11是圖10的示例性像素布置中的像素信號的讀取方法的說明圖。
[0067]圖12是所謂的棋盤圖案的示例性像素布置的說明圖。
[0068]圖13是圖示圖12的示例性像素布置的像素信號的讀取方法的示例性圖。
[0069]圖14是通用個人計算機的示例性結(jié)構(gòu)的說明圖。

【具體實施方式】
[0070]下面將描述實現(xiàn)本發(fā)明的實施例(下文稱為實施例)。將以下面的順序提供描述。
[0071]1.第一實施例(使用其中主顏色是白顏色并且子顏色是紅、綠和藍顏色的像素布置的示例)
[0072]2.第二修改(使用其中主顏色是綠顏色并且子顏色是紅和藍顏色的像素布置的示例)
[0073]3.第二修改(使用其中主顏色是白顏色并且子顏色是紅、綠和藍顏色而綠像素在水平和垂直兩個方向上每隔一個地布置的像素布置的示例)
[0074]<第一實施例>
[0075][成像裝置的實施例的示例性結(jié)構(gòu)]
[0076]圖1是圖示根據(jù)第一實施例的本技術應用于的成像裝置的示例性結(jié)構(gòu)的框圖。圖1的成像裝置拍攝圖像以輸出為為由數(shù)字信號形成的圖像信號，并且例如在可移除介質(zhì)中記錄該圖像信號。
[0077]圖1的成像裝置13包括成像單元21，配置為拍攝由可見光組成的彩色圖像以輸出為圖像信號；以及信號處理單元22，配置為執(zhí)行從成像單元21接收到的圖像信號的信號處理并且在可以移除介質(zhì)101中記錄圖像信號，同時控制成像單元21的操作。
[0078]更具體地，成像單元21是所謂的互補金屬氧化物半導體(CMOS)圖像傳感器，包括成像鏡頭31、光學低通濾波器32、紅外光截止濾波器33、濾色器34、像素陣列單元35、列處理單元36、成像信號處理單元37和驅(qū)動控制單元38。
[0079]成像鏡頭31配置為用于拍攝圖像信息，以朝成像鏡頭31引導承擔放置在光源11下面的對象12的圖像的光L(諸如，太陽光或者熒光燈的光)以形成圖像的光學系統(tǒng)。光學低通濾波器32對于每個像素平滑來自成像鏡頭31的入射光，并且朝紅外光截止濾波器33發(fā)射產(chǎn)生的光。紅外光截止濾波器33截止來自低通濾波器32的入射光的紅外分量，并且朝濾色器34發(fā)射產(chǎn)生的光。
[0080]濾色器34是二維布置的紅、綠和藍(RGB)顏色或者帶有白(W:白)顏色的RGB的濾色器，通過該濾色器在接收每個類型的顏色的同時光被透射，并且朝像素陣列單元35發(fā)射。關于白顏色，這里提供透明濾波器作為白顏色的濾色器。然而，理解可以不提供濾波器本身，以仿佛該白色濾波器起作用那樣形成結(jié)構(gòu)。
[0081]像素陣列單元35包括二維布置在矩陣中的將稍后參考圖3、4描述的單位像素151 (在下文中簡單地也稱為像素)。這些像素包括將入射可見光轉(zhuǎn)換為與光量對應的電電荷(electric charge)的光電轉(zhuǎn)換元件。如圖2中圖示,像素陣列單元35包括以矩陣布置的像素。在該圖中，像素驅(qū)動線121布置用于橫向(布置像素行的方向或者水平方向)中的每行，并且垂直信號線122布置用于垂直方向(布置像素列的方向或者垂直方向)中的每列。在圖2中，像素驅(qū)動線121圖示為單線，但不限于單線。像素陣列單元35向列處理單元36輸出存儲為光電轉(zhuǎn)換元件的電電荷的像素信號。下面將通過參考圖3、4描述單位像素的特定結(jié)構(gòu)。
[0082]在成像信號處理單元37中，使得四像素組用作共享像素，并且通過組合稀疏讀取和加法讀取來讀取像素信號，這將稍后通過參考圖4描述。成像信號處理單元37根據(jù)已經(jīng)以該方式讀取的像素信號降低分辨率，同時再現(xiàn)已經(jīng)被稀疏并且讀取的像素，以改進SNt匕，并且向信號處理單元22輸出產(chǎn)生的像素信號。
[0083]驅(qū)動控制單元38控制像素陣列單元35的操作。更具體地，驅(qū)動控制單元38包括系統(tǒng)控制單元131、垂直驅(qū)動單元132和水平驅(qū)動單元133，如圖2中圖示。
[0084]垂直驅(qū)動單元132由位移寄存器、地址解碼器等組成。雖然沒有示出垂直驅(qū)動單元132的特定結(jié)構(gòu)，但是其包括讀取掃描系統(tǒng)和清除掃描系統(tǒng)(sweep scanning system)。讀取掃描系統(tǒng)對于每行順序執(zhí)行從其讀取信號的單位像素的選擇性掃描。同時，清除掃描系統(tǒng)通過等效于快門速度的時間，在讀取掃描之前，以從要讀取的行的單位像素的光電轉(zhuǎn)換元件清除(重新設置)不需要的電電荷這樣的方式，相對于要讀取的行，執(zhí)行清除掃描，該要讀取的行由讀取掃描系統(tǒng)執(zhí)行讀取掃描。通過由清除掃描系統(tǒng)的不需要的電電荷的該清除(重新設置)，執(zhí)行所謂的電子快門操作。電子快門操作指代其中丟棄光電轉(zhuǎn)換元件的光學電荷并且現(xiàn)在開始新的曝光(開始光學電荷的存儲)的操作。
[0085]要由讀取掃描系統(tǒng)的讀取操作讀取的信號與在其立即之前的讀取操作之后或者電子快門之后接收到的入射光量對應。由此，該操作立即之前的讀取定時或者電子快門操作的清除定時和該次讀取操作的讀取定時之間的時段被視為單位像素的光學電荷的存儲時間(曝光時間)。
[0086]信號在垂直驅(qū)動單元132的選擇性掃描之后從像素行的相應單位像素輸出，并且通過每個垂直信號線122供應到列處理單元36。列處理單元36對于像素陣列單元35的每個像素列，執(zhí)行對從所選行的每個像素輸出的模擬像素信號的預定信號處理。列處理單元36通過相關雙采樣(CDS)處理采集(take)從所選行的每個像素輸出的重置電平和信號電平，并且確定電平之間的差異以確定每行的像素信號，同時去除像素的固定模式噪聲。為了轉(zhuǎn)換模擬像素信號為數(shù)字信號，列處理單元36按需要可以包括模至數(shù)(AD)轉(zhuǎn)換功能。在下面的描述中，圖1的列處理單元36被視為具有AD轉(zhuǎn)換功能。
[0087]水平驅(qū)動單元133由移位寄存器或者地址解碼器組成，以執(zhí)行對應于列處理單元36的像素行，接連地執(zhí)行電路部分的選擇性掃描。通過由水平驅(qū)動單元133的選擇性掃描，順序輸出已經(jīng)在列處理單元36中經(jīng)受對于像素的每行的信號處理的像素信號。
[0088]成像信號處理單元37執(zhí)行從像素陣列單元35的每個像素輸出的與濾色器34的顏色布置(諸如拜耳布置)對應的信號處理。稍后將參考圖5描述成像信號處理單元37中的特定信號處理。
[0089]拜耳布置指代這樣的顏色布置，在該顏色布置中，以棋盤圖案表示需要高分辨率的輝度信號的主要分量的顏色或者主顏色，同時在剩余部分中布置表示相對不需要高分辨率的顏色分量的兩種或者三種類型的顏色或者子顏色。例如拜耳布置的基本形式是顏色布置的顏色編碼，在該顏色布置的顏色編碼中，綠顏色像素(G像素)布置為主要對輝度信號有貢獻的主顏色，而紅顏色像素(R像素)和藍顏色像素(B像素)在剩余部分中以棋盤圖案布置為子顏色。也可以提供另一種顏色布置的顏色編碼，在該顏色布置的顏色編碼中，表示主要分量的主顏色是以棋盤圖案布置的白顏色，并且在剩余部分中以棋盤圖案布置紅顏色像素(R像素)、綠顏色像素(G像素)和藍顏色像素(B像素)。
[0090]系統(tǒng)控制單元131接收從外部供應的時鐘信號、用于指令(order)操作模式的數(shù)據(jù)等，并且輸出諸如由CMOS圖像傳感器形成的成像單元21的內(nèi)部信息之類的數(shù)據(jù)。系統(tǒng)控制單元131還包括生成各種定時信號的定時生成器，并且根據(jù)由定時生成器生成的各種定時信號，控制垂直驅(qū)動單元132、水平驅(qū)動單元133、列處理單元36和成像信號處理單元37的驅(qū)動。
[0091]信號處理單元22包括圖像信號處理單元51和用作主控制單元以控制成像裝置13的整個操作的控制單元52。圖像信號處理單元51包括信號分離單元71、顏色信號處理單元72、輝度信號處理單元73和編碼器單元74。
[0092]信號處理單元71具有主顏色獲分離功能，以當與主濾色器不同的濾色器用作濾色器34時，分離從列處理單元36的AD轉(zhuǎn)換電路供應的數(shù)字成像信號為紅顏色像素信號(R像素信號)、綠顏色像素信號(G像素信號)和藍顏色像素信號(B像素信號)。顏色信號處理單元72根據(jù)由信號分離單元71分離的R、G和B像素信號，執(zhí)行關于顏色信號的信號處理。輝度信號處理單元73根據(jù)作為由信號分離單元71分離的主顏色信號的R、G和B像素，執(zhí)行關于輝度信號Y的信號處理。編碼器單元74根據(jù)輝度信號/顏色信號生成圖像信號。
[0093]控制單元52配置為控制成像裝置13的整個操作。更具體地，控制單元52包括連接到總線91的微處理器(微處理器)92、只讀存儲器(ROM) 93、隨機存取存儲器(RAM) 94、通信接口(I/F) 95和讀取單元96。微處理器92是電子計算機的中心，并且由其中要由計算機執(zhí)行的計算和控制功能集成在很小的集成電路中的中央處理單元(CPU)表示。
[0094]微處理器92通過適當讀取配置為非易失性存儲單元的ROM 93中存儲的程序和數(shù)據(jù)，來控制控制單元52的整個操作，同時將程序和數(shù)據(jù)開發(fā)到配置為易失性存儲單元的RAM 94中并且執(zhí)行設置各種控制脈沖的開(on)關(off)定時程序或者用于曝光控制的程序。
[0095]當微處理器92用作用于控制曝光條件的曝光條件控制單元時執(zhí)行的用于曝光控制的程序包括例如根據(jù)來自輝度信號處理單元73的基于輝度的信號的光度計數(shù)據(jù)的計算(例如，預定尺寸和位置的光度計面積的平均值的計算)和根據(jù)計算結(jié)果的輝度電平確定(該結(jié)果是高于還是低于中間電平)。
[0096]在上面，“易失性存儲單元”指代配置為當斷開設備的電源時刪除存儲的內(nèi)容的存儲單元。相比之下，“非易失性存儲單元”指代配置為即使當斷開設備的主電源時也保持存儲的內(nèi)容的存儲單元。只要可以保持存儲的內(nèi)容，也可以使用任何存儲單元。存儲單元不限于其中由半導體材料制成的存儲器元件本身具有非易失性特性的存儲單元?？商娲?，可以向存儲單元提供備用電源，以引導易失性存儲器元件仿佛其具有“非易失性特性”那樣表現(xiàn)。
[0097]安裝在驅(qū)動器23上的可移除介質(zhì)101用于登記各種設置值數(shù)據(jù)，諸如使得微處理器92執(zhí)行軟件處理的程序數(shù)據(jù)、根據(jù)來自輝度信號處理單元73的基于輝度的信號的光度計數(shù)據(jù)的會聚范圍和用于曝光控制處理(包括控制電子快門)的各種控制脈沖的開和關定時。
[0098]讀取單元96向RAM 93存儲(安裝)從安裝在驅(qū)動器23上的可移除介質(zhì)101讀取的數(shù)據(jù)。通信I/F 95中介(mediate)向諸如因特網(wǎng)的通信網(wǎng)絡的通信數(shù)據(jù)的傳送和從諸如因特網(wǎng)的通信網(wǎng)絡的通信數(shù)據(jù)的傳送。
[0099]在該類型的成像裝置13中，作為模塊與像素陣列單元35分離地提供驅(qū)動控制單元38和列處理單元36。然而，不用說，可以在與像素陣列單元35相同的半導體襯底上集成地形成這些單元作為一個芯片。
[0100]另外，如圖1、2中圖示，成像裝置13除了像素陣列單元35、驅(qū)動控制單元38、列處理單元36和信號處理單元22之外，還包括成像鏡頭31、光學低通濾波器32或者諸如紅外光截止濾波器的其他光學系統(tǒng)。當這些單元封裝在一起以具有成像功能時優(yōu)選這種配置。
[0101]在固態(tài)圖像傳感器的模塊的上下文中，如圖中圖示，像素陣列單元35和與像素陣列單元35側(cè)(諸如包括AD轉(zhuǎn)換功能和差分(CDS)處理功能的列處理單元36)緊密相關聯(lián)的信號處理單元(除了列處理單元36的后級中的信號處理單元22)，可以一起被封裝以形成使得在固態(tài)圖像傳感器中提供成像功能的模塊。在以模塊的形式提供的這種固態(tài)圖像傳感器的后級中，可以提供作為信號處理單元的剩余部分的信號處理單元22，以形成整個成像裝置13。
[0102]可替代地，雖然沒有被圖示，可以以像素陣列單元35和諸如成像鏡頭35之類的光學系統(tǒng)封裝在一起這樣的方式，以具有成像功能的模塊的形式提供固態(tài)圖像傳感器，并且除了以模塊形式提供的固態(tài)圖像傳感器之外也以模塊的形式提供信號處理單元22，以由此形成整個成像裝置13。
[0103]另外，由于固態(tài)圖像傳感器的模塊的形式，可以包括與信號處理單元22對應的結(jié)構(gòu)。在該情況下，固態(tài)圖像傳感器可以基本被視為與成像裝置13完全相同。
[0104]例如這種成像裝置13提供為具有用以執(zhí)行“成像”的成像功能的相機或者便攜式設備?！俺上瘛辈幌抻诶孟鄼C在正常攝影期間拍攝圖像，并且也可以在廣義上包括指紋檢測等。
[0105]因此，上面結(jié)構(gòu)的成像裝置13包括上述固態(tài)圖像傳感器的所有功能，并且基本結(jié)構(gòu)和操作與上述固態(tài)圖像傳感器的基本結(jié)構(gòu)和功能相同。
[0106][單位像素的示例性結(jié)構(gòu)]
[0107]下面，下面將參考圖3描述構(gòu)成單位像素的電路結(jié)構(gòu)。
[0108]圖3的單位像素151包括由配置為光電轉(zhuǎn)換元件的光電二極管161的四個晶體管，傳送晶體管162、重置晶體管163、放大晶體管164和選擇晶體管165。
[0109]N通道M0S晶體管被使用，并且本文描述為四個傳送晶體管162、重置晶體管163、放大晶體管164和選擇晶體管165，但也可以使用其他晶體管結(jié)構(gòu)。具體地，如本文圖示，傳送晶體管162、重置晶體管163、放大晶體管164和選擇晶體管165的導電類型的組合僅是示例，并且該組合不限于此。
[0110]對于單位像素151，像素驅(qū)動線121(諸如包括傳送線181、重置線182和選擇線183的三條驅(qū)動布線)一般提供用于相同像素行的每個像素。傳送線181、重置線182和選擇線183的一端連接到用于并且對應于每個像素行的垂直驅(qū)動單元132的端子。
[0111]光電二極管161的陽極連接到負側(cè)電源(例如，地)，以允許將接收到的光光電轉(zhuǎn)換為與光量對應的光電電荷(該光電電荷在該情況下是光電子)。光電二極管161的陰極經(jīng)由傳送晶體管162電連接到放大晶體管164的柵極。電連接到放大晶體管164的柵極的節(jié)點被稱為浮動擴散(FD)單元166。
[0112]傳送晶體管162連接在光電二極管161的陰極和FD單元166之間。經(jīng)由傳送線181向傳送晶體管162的柵極供應高電平(例如，像素電源SVD電平)有效(在下文中寫為“高有效”)傳送脈沖TRG。一旦接收到傳送脈沖TRG，傳送晶體管162被接通并且傳送由光電二極管161中的光電轉(zhuǎn)換提供的光學電荷到FD單元166。
[0113]重置晶體管163具有連接到像素電源SVD的其漏極和連接到FD單元166的其源極。在信號電荷從光電二極管161傳送到FD單元166之前，經(jīng)由重置線182向重置晶體管163的柵極供應高有效重置脈沖RST。一旦接收到重置脈沖RST，重置晶體管163被接通并且通過向像素電源SVD丟棄FD單元的電荷來重置FD單元166。
[0114]放大晶體管164具有連接到FD單元166的其柵極和連接到像素電源SVD的其漏極。放大晶體管164在由重置晶體管163重置之后，輸出FD單元166的電勢作為重置信號(重置電平)Vrest。放大晶體管164還在由傳送晶體管162傳送信號電荷之后，輸出FD單兀166的電勢作為光學存儲信號(信號電平)Vsig。
[0115]選擇晶體管165例如具有連接到放大晶體管164的其漏極和連接到垂直信號線122的其源極。經(jīng)由選擇線183向選擇晶體管165的柵極供應高有效選擇脈沖SEL。一旦接收到選擇脈沖SEL，就接通選擇晶體管165，以使得單位像素151被視為處于被選擇狀態(tài)，并且從放大晶體管164輸出的信號被中繼到垂直信號線122。
[0116]其中選擇晶體管165連接在像素電源SVD和放大晶體管164的漏極之間的另一電路結(jié)構(gòu)也是可能的。
[0117]單位像素151的像素結(jié)構(gòu)不限于由四個晶體管形成的上述結(jié)構(gòu)。例如，像素結(jié)構(gòu)可以包括三個晶體管，一個晶體管用作放大晶體管164和選擇晶體管165 二者，并且可以對于其使用任何像素電路結(jié)構(gòu)。
[0118][共享像素結(jié)構(gòu)]
[0119]同時，在拍攝移動圖像期間，執(zhí)行其中相鄰像素信號被相加并且讀取以增加幀速率的像素加法是習慣作法。在像素中、在信號線上、在列處理單元36和后級信號處理單元32中允許像素加法。接著，因此，通過參考圖4，下面將描述其中將相互相鄰垂直和水平布置的四個像素的信號相加的共享像素結(jié)構(gòu)的示例。
[0120]圖4圖示電路結(jié)構(gòu)，也就是，其中在像素值被讀取用于像素中的四個相鄰像素的情況下的共享像素結(jié)構(gòu)的示例。在圖4中，給出類似名稱和編號標記，以組成具有與圖3中的功能相同的功能的元件，并且將相應地省略其描述。四個像素的像素布置例如包括像素P1至IJP4，如圖4的右下側(cè)圖示。
[0121]具體地，相互相鄰地垂直和水平布置的四個光電二極管161被稱為光電二極管
161-1到161-4。對于這些光電二極管161-1到161-4，單獨提供四個傳送晶體管162-1到
162-4。重置晶體管163、放大晶體管164和選擇晶體管165中的每個提供用于四個光電二極管161-1至161-4和傳送晶體管162-1至162-4。
[0122]具體地，傳送晶體管162-1至162-4中的每個具有連接到光電二極管161_1至
161-4的陰極電極的一個電極和連接到放大晶體管164的柵極的另一電極。放大晶體管164的柵極連接到共同提供用于光電二極管161-1至161-4的FD單元166。重置晶體管163具有連接到像素電源SVD的其漏極和連接到FD單元的其源極。上面的組成元件形成與像素P1至P4(如圖4的右下側(cè)圖示)對應的四個像素的共享像素結(jié)構(gòu)。像素P1至P4分別與光電二極管161-1至161-4和傳送晶體管162-1至162-4對應。
[0123]在圖4中圖示的相鄰四個像素的共享像素結(jié)構(gòu)中，分別在與四個傳送晶體管
162-1至162-4相同的定時供應傳送脈沖TRG[1]至TRG[4]，以由此實現(xiàn)相鄰四個像素中的像素相加。
[0124]具體地，從光電二極管161-1至161-4傳送到FD單元166的電電荷被視為通過傳送晶體管162-1至162-4在FD單元166中相加。
[0125]同時，在傳送晶體管132-1至162-4之間可以分別在不同定時供應傳送脈沖TRG[1]至TRG[4]，以實現(xiàn)輸出信號用于每個像素。具體地，當拍攝移動圖像時執(zhí)行像素加法以改進幀速率，同時獨立地讀取所有像素的信號，以當拍攝靜止圖像時改進分辨率。
[0126][利用四個像素共享像素結(jié)構(gòu)讀取信號]
[0127]接著，通過參考圖5，將描述已經(jīng)通過參考圖4說明的使用四個像素的共享像素結(jié)構(gòu)的像素信號讀取過程。
[0128]在圖5中，在附圖中寫為W、R、G和B的濾色器34中使用白、紅、綠和藍顏色的四種濾色器。此外，配備有白、紅、綠和藍顏色的單個濾色器的像素在下文中也將被稱為W、R、G和B。另外，在附圖的描述中，除非另外表示，W像素的背景由白顏色表示，R像素的背景由斜向右下的陰影線表示，G像素的背景由水平帶表示，并且B像素的背景由斜向右上的陰影線表示。在該情況下，由垂直四個像素乘水平四個像素的總共16個像素的W像素的棋盤圖案和從左上角朝右下角傾斜的對角線布置的G像素(如在圖5的最左側(cè)圖示)形成顏色布置。
[0129]B像素布置在頂部右起的第二個像素處和最左側(cè)列從底部起的第二個像素處。另外，R像素布置在最右側(cè)列從頂部起的第二個像素處和在底部左側(cè)起的第二像素處。此時，放置在16個像素的右上角的區(qū)域Z1中的四個像素形成共享像素結(jié)構(gòu)。其他區(qū)域Z2至Z4也具有共享像素結(jié)構(gòu)。相應地，W、B、R和W像素與圖4的像素P1至P4對應地布置在區(qū)域Z1中。類似地，對應于像素P1至P4，W、G、G和W像素布置在區(qū)域Z2，并且W像素布置在區(qū)域Z3，并且W、B、R和W像素布置在區(qū)域Z4。
[0130]此時，布置在由垂直4個像素乘水平四個像素形成的總共16個像素中頂部上的B和G像素經(jīng)受稀疏讀取作為第一處理，而無像素加法。關于布置在頂部上的這些B和G像素，當傳送脈沖TRG[2]同時供應到圖4中圖示的像素布置中的區(qū)域Z1、Z2的8和6像素二者的傳送晶體管162-2時，讀取像素信號。
[0131]接著，作為第二處理，左和右對角布置的兩個W像素經(jīng)受像素加法，并且讀取為區(qū)域Z1至Z4中每個的質(zhì)心位置的W像素的像素信號。具體地，如圖5的左側(cè)中圖示，分別由直線T1至T4結(jié)合的W像素經(jīng)受像素加法和讀取。
[0132]關于W像素的相加，當同時向要在圖4中圖示的像素布置中相加的像素的兩個傳送晶體管162-1、162-4供應傳送脈沖TRG[1]、TRG[4]時，兩個像素在FD單元166中相加。這種像素加法在下文中將被稱為FD加法。
[0133]另外，作為第三處理，垂直四個像素乘水平四個像素的總共十六個像素中，布置在底部的R和G像素，經(jīng)受稀疏讀取，而沒有像素加法。關于底部上的R和G像素，當同時向圖4中圖示的像素布置的區(qū)域Z3、Z4的R和G像素二者的傳送晶體管162-3供應傳送脈沖TRG[3]時，讀取像素信號。
[0134]具體地，通過到目前為止的處理，尚未分別讀取區(qū)域Z1的R像素、區(qū)域Z2的下級上的G像素、區(qū)域3的下級上的G像素和區(qū)域Z4的R像素的信號。也就是，在區(qū)域Z1至Z4中沒有使用四個像素的共享像素結(jié)構(gòu)的每個的一個像素的像素信號。相應地，與其中通過像素加法讀取W像素的情況相比，減小R、B和G像素的靈敏度，并且降低SN比。
[0135]接著，如圖5的中心圖示，執(zhí)行第四處理用于區(qū)域Z1至Z4中的每個。根據(jù)像素位置和值，采用W、R、B和G像素之間的相關性，其中，W像素已經(jīng)讀取為單個區(qū)域的質(zhì)心位置處的像素信號。根據(jù)預定相關性，對區(qū)域Z1至Z4的重心位置處的像素信號執(zhí)行擬合，以生成RGB拜耳布置的四個像素信號，如圖5的右側(cè)圖示。
[0136]由此，像素加法處理可以用以轉(zhuǎn)換并且輸出與包括W像素的棋盤圖案的顏色布置對應的信號為與RGB拜耳布置對應的信號。
[0137][像素信號讀取處理]
[0138]接著，通過參考圖6的流程圖，將描述像素信號讀取處理。該處理說明在由垂直四個像素乘水平四個像素的總共十六個像素形成的像素布置的情況下(如圖5的左側(cè)部分圖示)的像素信號讀取處理。因此，假設圖2的像素陣列單元35的其他像素，與垂直四個像素乘水平四個像素的總共十六個像素的像素單位類似地處理。
[0139]下面，圖5的左側(cè)中圖示的像素布置包括以棋盤圖案布置的白顏色，并且白顏色也將稱為主顏色。包括紅、綠和藍顏色的其他顏色也將稱為子顏色。另外，圖5的區(qū)域Z1、Z2將稱為由垂直四個像素乘水平四個像素的總共十六個像素形成的區(qū)域的上部。類似地，區(qū)域Z3、Z4將稱為下部。對于區(qū)域Z1至Z4，圖4的右下角中圖示的對應像素P1、P2將稱為Z1至Z4中的每個的較上行，并且像素P3、P4將稱為較下行。
[0140]在步驟S11中，驅(qū)動控制單元38的垂直驅(qū)動單元132經(jīng)由與上部對應的區(qū)域Z1、Z2中的像素驅(qū)動線121的傳送線181，生成傳送脈沖TRG[2]，如圖7的最左側(cè)中圖示，以由此使得較上行中的子像素信號被讀取。具體地，圖7的最左側(cè)中圖示的像素的布置與圖5的最左側(cè)中圖示的十六個像素的布置類似。像素上的圓形標記指示在四個像素的共享像素布置中的單個像素P1至P4的傳送線181上供應的傳送脈沖TRG[1]至TRG[4]供應到的像素。
[0141]具體地，在圖7中圖示當傳送圖5的最左側(cè)中圖示的區(qū)域Z1至Z4的每個中的像素P1的像素信號時，供應傳送脈沖TRG[1]。因此，在圖7的最左側(cè)中，傳送脈沖TRG[1]使得與圖5的區(qū)域Z1至Z4中的每個對應的W像素的像素信號被讀取。類似地，傳送脈沖TRG[2]使得與圖5的區(qū)域Z1至Z4中的像素P2對應的W像素的像素信號被讀取。傳送脈沖TRG[3]使得與區(qū)域Z1至Z4的像素P2對應的R、G、G和R像素被讀取。傳送脈沖TRG[4]使得與區(qū)域Z1至Z4的像素P4對應的W像素被讀取。CM表示每個共享像素結(jié)構(gòu)的放大晶體管164，并且CN表示每個垂直信號線122。
[0142]在步驟S11，因此，一旦生成上部區(qū)域Zl、Z2的較上行的傳送脈沖TRG[2]，就讀取子像素(即，與圖4的像素P2對應的G和B)。已經(jīng)被讀取的子像素G和B經(jīng)由垂直信號線122供應到列處理單元36，并且順序提供給成像信號處理單元37。在圖7中，其像素要被讀取的像素由實線圍繞。
[0143]在步驟S12，驅(qū)動控制單元38的垂直驅(qū)動單元132經(jīng)由在上部區(qū)域Z1、Z2中的像素驅(qū)動線121的傳送線181生成傳送脈沖TRG[1]、TRG[4]，如圖7從左側(cè)的第二部分中圖示，以執(zhí)行作為與像素P1、P4對應的主顏色像素的W像素的兩個像素信號的加法讀取。具體地，在該情況下，同時讀取兩個像素的像素信號，以執(zhí)行FD加法，并且向成像信號處理單元37傳送加法結(jié)果。
[0144]在步驟S13，驅(qū)動控制單元38的垂直驅(qū)動單元32經(jīng)由下部區(qū)域Z3、Z4中的像素驅(qū)動線121的傳送線181生成傳送脈沖TRG[1]、TRG[4](如圖7從右的第二部分中圖示)。相應地，作為與像素P1、P4對應的主顏色像素的W像素的兩個像素信號經(jīng)受加法讀取。具體地，在該情況下，同時讀取兩個像素的像素信號，以執(zhí)行FD加法，并且向成像信號處理單元37傳送加法結(jié)果。
[0145]在步驟S14，驅(qū)動控制單元38的垂直驅(qū)動單元132經(jīng)由與下部區(qū)域Z3、Z4對應的像素驅(qū)動線121的傳送線181生成傳送脈沖TRG[3](如圖7的最右側(cè)中圖示)，以由此使得作為較下行的子顏色像素的R和G像素的像素信號被讀取并且傳送到成像信號處理單元37。
[0146]在步驟S15，成像信號處理單元37采用確定為主顏色像素的W像素和在區(qū)域Z1至Z4中的每個中確定的子顏色(如圖5的中心中圖示)之間的相關性。然后每個區(qū)域的顏色經(jīng)受擬合，如在圖5的右部分處圖示。具體地，如圖5的右側(cè)中圖示，成像信號處理單元37在將W像素的分量開發(fā)為其他顏色的像素中使用方向相關性計算每個區(qū)域的像素信號。例如在JP4683121B中公開使用方向相關性計算像素信號的技術，在該技術中，獲得與特定像素對應的多個顏色信號，以確定與特定像素對應的位置處垂直方向和/或水平方向上的相關性值。
[0147]具體地，如圖5的中心部分和右側(cè)中圖示，成像信號處理單元37根據(jù)W像素和G像素之間的相關性，用G像素取代W像素。從圖5的左側(cè)中圖示的顏色像素布置顯而易見，W像素和G像素相互相鄰。當在給定區(qū)域中考慮W像素和G像素之間的相關性時，因為兩種像素可以是輝度信號的主顏色分量，所以在幾乎1的相關性值(相關函數(shù))獲得相當強的相關性。因此，通過使用顏色相關性，成像信號處理單元37確定分辨率的方向，并且通過轉(zhuǎn)換W像素的輸出電平為等效于G像素的電平的電平，用G像素取代W像素。
[0148]此外，如圖5的右側(cè)中圖示，根據(jù)W像素和R像素之間和W像素和B像素之間的相關性生成R像素和B像素用于拜耳布置。具體地，因為W像素包括R、G和B像素的單個顏色分量，所以能夠采用W像素和R像素的各個像素之間和W像素和B像素之間的相關性。在該信號處理中，例如在JP2005-160044A中公開的技術可以用于通過在四顏色布置中由G像素取代輝度信號，插入所有像素。
[0149]在步驟S16中，成像信號處理單元37完成上面確定的包括R、G和B像素的拜耳布置，并且作為像素信號供應到信號處理單元22。
[0150]通過上面的處理，在水平布置在兩行中的區(qū)域中(每個區(qū)域由四個像素形成，以組成共享像素結(jié)構(gòu))執(zhí)行沒有像素加法的稀疏和有像素加法的加法讀取。相應地，通過與獨自執(zhí)行稀疏讀取的情況下幾乎相同的讀取過程，可以改進SN比。具體地，在獨自執(zhí)行稀疏讀取的正常處理中，與圖6的流程圖的步驟Sll、S14的處理對應的圖8的最左側(cè)和最右偵牝與圖7中圖示的情況的處理類似。
[0151]然而，如與圖6的流程圖的步驟S12、S13的處理對應的從圖8的左側(cè)開始的第二和第三部分中圖示，僅僅對于與區(qū)域Z1至Z4的每個中的像素P1對應的像素信號執(zhí)行稀疏讀取，并且像素P4的信號不經(jīng)受稀疏讀取。相比之下，上面提及的處理允許以作為主顏色的W像素P1、P4在區(qū)域Z1至Z4的每個中經(jīng)受FD加法的像素加法的方式，來讀取像素。另夕卜，根據(jù)已經(jīng)經(jīng)受FD加法的像素加法的主顏色像素信號和區(qū)域Z1至Z4的每個中的子像素信號R、G和B像素之間的相關性，確定拜耳布置的像素信號，用于Z1至Z4的每個，以允許通過與執(zhí)行稀疏讀取的情況下幾乎相同的讀取過程，來改進SN比。
[0152]如圖9的左側(cè)中圖示，由主顏色W像素的FD加法讀取等效于兩個像素的像素信號。對于子像素(諸如，G像素)，僅讀取等效于單像素的像素信號，如圖9的右側(cè)中圖示。由此，主顏色像素信號的信號電平是子顏色像素的信號電平的兩倍。然而，通過使子顏色像素信號成倍，可以更精確地確定相互的相關性，以實現(xiàn)SN比的改進。
[0153]〈第一修改〉
[0154][綠顏色作為主顏色并且紅和藍顏色作為子顏色的示例]
[0155]在上面的描述中，已經(jīng)由包括W、R、G和B像素的四種像素的像素布置形成濾色器34?？商娲?，可以通過由包括R、G和B像素的三種像素的像素布置形成的濾色器34獲得類似的效果。
[0156]圖10、11是在其中由包括作為主顏色的G像素和作為子像素的R和B像素的三種顏色像素形成像素布置的情況下，像素信號讀取過程的說明圖。
[0157]具體地，在該示例中，如圖10的左側(cè)中圖示，主顏色G像素布置在區(qū)域Z1至Z4的像素P1、P2的棋盤圖案中。在區(qū)域Z1至Z4的每個中，R像素布置在像素P2中，并且B像素布置在像素P3中。
[0158]通過圖6的流程圖的步驟S11的處理，區(qū)域Z1、Z2的像素P2中的R像素經(jīng)受稀疏讀取，如圖11的最左側(cè)中圖示。通過步驟S12的處理，區(qū)域Z1、Z2的像素P1、P4中的G像素經(jīng)受FD加法和讀取，如從圖11的左側(cè)的第二部分圖示。另外，通過步驟S13的處理，區(qū)域Z3、Z4的像素P1、P4的G像素經(jīng)受FD加法和讀取，如從圖11的右側(cè)的第二圖示。通過步驟S14的處理，區(qū)域Z3、Z4的像素P3的B像素經(jīng)受稀疏讀取，如從圖11的最右側(cè)圖示。
[0159]通過步驟S15的處理，如圖10的中心圖示，根據(jù)已經(jīng)在FD加法之后讀取的G像素的像素信號和已經(jīng)從像素P2經(jīng)受稀疏讀取的R像素的像素信號之間的相關性，在區(qū)域Z2中通過取代獲得R像素，如圖10的右側(cè)中圖示。類似地，如圖10的右側(cè)中圖示，根據(jù)已經(jīng)經(jīng)受FD加法和讀取的G像素的像素信號和從像素P4經(jīng)受稀疏讀取的B像素的像素信號之間的相關性，在區(qū)域Z3中通過取代來確定B像素。此時，區(qū)域Zl、Z4中的所有像素是主顏色G像素，在不需要修改的情況下，使用已經(jīng)被讀取的像素信號。
[0160]通過一系列上面的處理步驟，獲得拜耳布置，如圖10的右側(cè)中圖示。類似于上面的處理，即使當處理過程類似于過去的稀疏讀取處理時，在FD加法之后讀取主顏色G像素，以允許增加SN比。
[0161]〈第二修改〉
[0162][在水平和垂直方向上每隔一個像素布置綠像素的像素布置的示例，其中主顏色是白顏色，并且子顏色是紅、綠和藍顏色]
[0163]在上面的描述中，已經(jīng)由包括R、G和B像素的三種像素的像素布置形成濾色器34?？商娲?，可以通過包括R、G和B像素的三種像素的像素布置形成的濾色器34(其中，主顏色是W像素并且子顏色是R、G和B像素)，獲得類似的效果。W像素以棋盤圖案布置，而G像素在水平和垂直方向上每隔一個像素處布置，并且R和B對角布置，以將G像素夾在中間。該像素布置是所謂的白棋盤布置，利用該布置也可以獲得類似的效果。
[0164]圖12、13是用于說明當像素布置包括W、R、G和B像素時(其中，主顏色是W像素并且子顏色是三種像素R、G和B)的像素信號的讀取過程的說明圖。
[0165]具體地，如圖12的左側(cè)圖示，主顏色W像素在該示例中布置在區(qū)域Z1至Z4的像素P1、P4處的棋盤圖案中。B像素布置在區(qū)域Z1、Z4的像素P2處，G像素布置在像素P3處。R像素布置在區(qū)域Z2、Z3的像素P2處。G像素布置在像素P3處。
[0166]通過圖6的流程圖的步驟S11的處理，區(qū)域Z1、Z2的像素P2中的R像素和B像素經(jīng)受稀疏讀取，如圖13的最左側(cè)中圖示。通過步驟S12的處理，區(qū)域Zl、Z2的像素P1、P4處布置的W像素在FD加法之后被讀取，如從圖13的左側(cè)的第二部分圖示。另外，通過步驟S13的處理，區(qū)域Z3、Z4的像素P1、P4處布置的W像素在FD加法之后經(jīng)受被讀取，如從圖13的右側(cè)的第二圖示。通過步驟S14的處理，區(qū)域Z3、Z4的像素P3處布置的G像素經(jīng)受稀疏讀取，如從圖11的最右側(cè)圖不。
[0167]通過步驟S15的處理，如圖12的中心圖示，根據(jù)已經(jīng)在區(qū)域Z1中FD加法之后讀取的W像素的像素信號和已經(jīng)從像素P2經(jīng)受稀疏讀取的B像素的像素信號之間的相關性，在區(qū)域Z1中通過取代獲得B像素，如圖12的右側(cè)中圖示。根據(jù)已經(jīng)在區(qū)域Z2中FD加法之后被讀取的W像素的像素信號和從像素P2經(jīng)受稀疏讀取的R像素的像素信號之間的相關性，在區(qū)域Z2中通過取代來獲得R像素，如圖12的右側(cè)所示。類似地，根據(jù)已經(jīng)在區(qū)域Z3、Z4中FD加法之后被讀取的W像素的像素信號和從像素P3經(jīng)受稀疏讀取的G像素的像素信號之間的相關性，在區(qū)域Z3、Z4中通過取代獲得G像素，如圖12的右側(cè)圖示。
[0168]通過一系列上面的處理步驟，獲得拜耳布置，如圖12的右側(cè)中圖示。在該處理中，類似于上面的處理，可以通過類似于過去的稀疏讀取的處理過程改進SN比。
[0169]在上面中，F(xiàn)D加法已經(jīng)用于像素加法?？商娲?，只要可以執(zhí)行像素值的相加，就可以使用諸如源跟隨器加法之類的其他加法方法。
[0170]如上所述，在類似于過去的稀疏處理的過程中，一些信號經(jīng)受相加讀取，以允許像素信號的SN比的改進。
[0171]上面描述的一系列處理步驟可以由硬件執(zhí)行，但也可以由軟件執(zhí)行。當軟件用以執(zhí)行上面的一系列處理步驟時，組成軟件的程序應當從讀取介質(zhì)安裝到具有并入其中的專用硬件的計算機或者諸如能夠通過安裝各種程序執(zhí)行各種功能的通用個人計算機的計算機。
[0172]圖14圖示通用個人計算機的示例性結(jié)構(gòu)。個人計算機包括中央處理單元(CPU) 1001。輸入/輸出接口 1005經(jīng)由總線1004連接到CPU 1001。只讀存儲器(ROM) 1002和隨機存取存儲器(RAM) 1003連接到總線1004。
[0173]輸入/輸出接口 1005連接到由輸入設備(諸如鍵盤或者鼠標)形成的輸入單元1006，以允許用戶輸入操作命令；輸出單元1007，配置為輸出處理操作屏幕或者處理結(jié)果的圖像；存儲單元1008，例如由存儲程序和各種類型的數(shù)據(jù)的硬盤驅(qū)動器形成；以及通信單元1009，配置為經(jīng)由由因特網(wǎng)表示的網(wǎng)絡通過局域網(wǎng)(LAN)適配器等執(zhí)行通信處理。也連接配置為從可移除介質(zhì)1011讀取數(shù)據(jù)并且向可移除介質(zhì)1011寫入數(shù)據(jù)的驅(qū)動器1010，可移除介質(zhì)1011諸如磁盤(包括軟盤)、光盤(包括致密盤只讀存儲器(CD-ROM)、數(shù)字多功能盤(DVD)、光磁盤(包括迷你盤(MD))或者半導體存儲器。
[0174]CPU 1001根據(jù)ROM 1002中存儲的程序或者已經(jīng)從安裝在存儲單元1008中的可移除介質(zhì)(諸如磁盤、光盤、光磁盤或者半導體存儲器)讀取并且從存儲單元1008加載到RAM 1003中的其他程序，執(zhí)行各種類型的處理。RAM 1003也存儲對于CPU 1001執(zhí)行各種類型的處理必要的數(shù)據(jù)。
[0175]在如上構(gòu)造的計算機中，由CPU 1001例如經(jīng)由輸入/輸出接口 1005和總線1004加載并且執(zhí)行存儲單元1008中存儲的程序到RAM1003，執(zhí)行上面描述的一系列處理。
[0176]由計算機(CPU 1001)執(zhí)行的程序例如可以提供為作為封裝介質(zhì)等的可移除介質(zhì)1011中的記錄程序。也可以經(jīng)由諸如局域網(wǎng)、因特網(wǎng)或者數(shù)字衛(wèi)星廣播的有線或者無線傳輸介質(zhì)提供程序。
[0177]在計算機中，可以通過將可移除介質(zhì)1011安裝在驅(qū)動器1010上，經(jīng)由輸入/輸出接口 1005在存儲單元1008中安裝程序。該程序也可以通過由通信單元1009經(jīng)由有線或者無線傳輸介質(zhì)對其進行接收，安裝在存儲單元1008中?？商娲?，該程序可以事先安裝在ROM 1002或者存儲單元1008中。
[0178]在計算機上可執(zhí)行的程序可以是以本說明書中描述的順序按時間序列執(zhí)行的程序?？商娲?，可以并行或者在例如當調(diào)用程序時的必要定時處理該程序。
[0179]在本說明書中，系統(tǒng)指代多個組成元件(設備、模塊(部件)等)的集合，并且所有組成元件可以或者可以不提供在相同外殼中。因此，可以由容納在獨立外殼并且經(jīng)由網(wǎng)絡連接在一起的多個設備或者包括單一外殼中容納的多個模塊的設備，形成該系統(tǒng)。
[0180]本技術的實施例不限于上面描述的實施例，并且可以在不脫離本技術的精神的情況下在范圍內(nèi)作出各種改變。
[0181]例如，本技術可以實現(xiàn)為其中單個功能被共享并且共同由多個設備經(jīng)由網(wǎng)絡處理的云計算。
[0182]上面的流程圖描述的步驟可以由單個設備執(zhí)行，或者可以由多個設備共享。
[0183]另外，如果步驟包括多個處理，則單個設備可以執(zhí)行這種多個處理，或者多個設備可以共享多個處理。
[0184]本技術也可以由下面的結(jié)構(gòu)實現(xiàn)。
[0185](I) 一種成像裝置，包括:
[0186]像素，布置在二維矩陣上；
[0187]像素的輝度信號的預定顏色分量的濾色器；
[0188]與像素的輝度信號的預定顏色不同的其他顏色分量的濾色器；以及
[0189]信號處理單元，配置為將預定顏色分量的濾色器提供到的像素的信號一起相加以輸出加法結(jié)果，并且稀疏其他顏色分量的濾色器提供到的像素的信號以輸出稀疏結(jié)果。
[0190](2)如上面(I)所述的成像裝置，其中
[0191]信號處理單元使用預定顏色分量的濾色器提供到的像素的已經(jīng)被相加和輸出的信號和其他顏色分量的濾色器提供到的像素的已經(jīng)被稀疏和輸出的信號之間的相關性，以及
[0192]然后信號處理單元生成其他顏色分量的濾色器提供到的像素的已經(jīng)被稀疏和輸出的信號。
[0193](3)如(I)或⑵所述的成像裝置，其中
[0194]預定顏色分量是白顏色，并且其他顏色分量是紅、綠和藍顏色。
[0195](4)如(I)或⑵所述的成像裝置，其中
[0196]預定顏色分量是綠顏色，并且其他顏色分量是紅和藍顏色。
[0197](5)如權利要求⑴至⑷中任一項所述的成像裝置，其中
[0198]信號處理單元稀疏配備有其他顏色分量的濾色器的像素的信號，并且在當輸出布置在相同行中的像素的信號時的時段的前一半或后一半的第一時段期間輸出稀疏結(jié)果，以及
[0199]信號處理單元將配備有預定顏色分量的濾色器的像素和布置在與相同行不同的行中并且配備有預定顏色分量的濾色器的相鄰像素的信號一起相加，并且在與第一時段不同的第二時段輸出加法結(jié)果。
[0200](6)如⑴至(5)中任一項所述的成像裝置，其中
[0201]信號處理單元稀疏配備有其他顏色分量的濾色器的像素的信號，并且在當輸出相同行中布置的像素的信號時的時段的前一半或者后一半的第一時段期間輸出稀疏結(jié)果，以及
[0202]然后信號處理單元將配備有預定顏色分量的濾色器的像素和布置在與相同行不同的行中并且配備有預定顏色分量的濾色器的相鄰像素一起相加，并且在與第一時段不同的第二時段期間輸出加法結(jié)果。
[0203]由此，以與其中單獨執(zhí)行稀疏讀取而不需要加法和輸出處理的信號處理的順序相同的順序，輸出信號。
[0204](7)如⑴至(6)中任一項所述的成像裝置，其中
[0205]信號處理單元通過使每個信號的增益成倍來稀疏配備有其他顏色分量的濾色器的像素，并且在當輸出布置在相同行中的像素的信號時的時段的前一半或后一半的第一時段期間輸出稀疏結(jié)果，以及
[0206]然后信號處理單元將配備有預定顏色分量的濾色器的像素和布置在與相同行不同的行中并且配備有預定顏色分量的濾色器的相鄰像素的信號一起相加，每個信號具有平坦增益，并且在與第一時段不同的第二時段輸出加法結(jié)果。
[0207](8)如⑴至(7)中任一項所述的成像裝置，其中
[0208]信號處理單元通過使每個信號的增益成倍來稀疏配備有其他顏色分量的濾色器的像素，并且在當輸出布置在相同行中的像素的信號時的時段的前一半或后一半的第一時段期間輸出稀疏結(jié)果，以及
[0209]信號處理單元將配備有預定顏色分量的濾色器的像素和布置在與相同行不同的行中并且配備有預定顏色分量的濾色器的相鄰像素的信號一起相加，每個信號具有平坦增益，并且在與第一時段不同的第二時段輸出相加結(jié)果，
[0210]由此，以適當改變像素的信號的模至數(shù)(AD)轉(zhuǎn)換的范圍這樣的方式輸出信號。
[0211](9)如⑴至⑶中任一項所述的成像裝置，其中
[0212]信號處理單元執(zhí)行配備有預定顏色分量的濾色器的像素的信號的浮動擴散(FD)加法，并且輸出加法結(jié)果。
[0213](10)如⑴至⑶中任一項所述的成像裝置，其中
[0214]信號處理單元執(zhí)行配備有預定顏色分量的濾色器的像素的信號的源跟隨器加法，并且輸出加法結(jié)果。
[0215](11)如(I)至(10)中任一項所述的成像裝置，其中
[0216]信號處理單元使用預定顏色分量的濾色器提供到的像素的已經(jīng)被相加和輸出的信號和其他顏色分量的濾色器提供到的像素的已經(jīng)被稀疏和輸出的信號之間的相關性，以及
[0217]信號處理單元生成其他顏色分量的濾色器提供到的像素的已經(jīng)被稀疏和輸出的信號，
[0218]由此減少已經(jīng)被稀疏和輸出的像素的信號的信噪(SN)比。
[0219](12) 一種成像裝置的成像方法，該成像裝置包括:
[0220]像素，布置在二維矩陣上；
[0221]像素的輝度信號的預定顏色分量的濾色器；
[0222]與像素的輝度信號的預定顏色不同的其他顏色分量的濾色器；以及
[0223]該成像方法包括:
[0224]將預定顏色分量的濾色器提供到的像素的信號一起相加以輸出加法結(jié)果；以及
[0225]稀疏其他顏色分量的濾色器提供到的像素的信號以輸出稀疏結(jié)果。
[0226](13) 一種配置為控制成像裝置的計算機中的程序，該成像裝置包括:
[0227]像素，布置在二維矩陣上；
[0228]像素的輝度信號的預定顏色分量的濾色器；
[0229]與像素的輝度信號的預定顏色不同的其他顏色分量的濾色器，其中，
[0230]該程序使得計算機執(zhí)行:
[0231]將配備有預定顏色分量的濾色器的像素的信號相加以輸出加法結(jié)果；以及
[0232]稀疏配備有其他顏色分量的濾色器的像素的信號以輸出稀疏結(jié)果。
[0233](14) 一種電子設備，包括:
[0234]像素，布置在二維矩陣上；
[0235]像素的輝度信號的預定顏色分量的濾色器；
[0236]與像素的輝度信號的預定顏色不同的其他顏色分量的濾色器；以及
[0237]信號處理單元，配置為將配備有預定顏色分量的濾色器的像素的信號相加以輸出加法結(jié)果，以及稀疏配備有其他顏色分量的濾色器的像素的信號以輸出稀疏結(jié)果。
[0238]參考標記清單
[0239]21成像單元
[0240]34濾色器
[0241]35像素陣列單元
[0242]36 列處理單元
[0243]37成像信號處理單元
[0244]38驅(qū)動控制單元
[0245]121像素驅(qū)動線
[0246]122垂直信號線
[0247]131系統(tǒng)控制單元
[0248]132垂直驅(qū)動單元
[0249]133水平驅(qū)動單元
[0250]161、161-1 至 161-4 PD
[0251]162、162-1 至 162-4 傳送晶體管
[0252]163重置晶體管
[0253]164放大晶體管
[0254]165選擇晶體管
[0255]166FD
【權利要求】
1.一種成像裝置，包括: 像素，布置在二維矩陣上； 像素的輝度信號的預定顏色分量的濾色器； 與像素的輝度信號的預定顏色不同的其他顏色分量的濾色器；以及信號處理單元，配置為將預定顏色分量的濾色器提供到的像素的信號一起相加以輸出加法結(jié)果，并且稀疏其他顏色分量的濾色器提供到的像素的信號以輸出稀疏結(jié)果。
2.如權利要求1所述的成像裝置，其中信號處理單元使用預定顏色分量的濾色器提供到的像素的已經(jīng)被相加和輸出的信號以及其他顏色分量的濾色器提供到的像素的已經(jīng)被稀疏和輸出的信號之間的相關性，以及信號處理單元然后生成其他顏色分量的濾色器提供到的像素的已經(jīng)被稀疏和輸出的信號。
3.如權利要求1所述的成像裝置，其中 預定顏色分量是白顏色，并且其他顏色分量是紅、綠和藍顏色。
4.如權利要求1所述的成像裝置，其中 預定顏色分量是綠顏色，并且其他顏色分量是紅和藍顏色。
5.如權利要求1所述的成像裝置，其中 信號處理單元稀疏配備有其他顏色分量的濾色器的像素的信號，并且在當輸出布置在相同行中的像素的信號時的時段的前一半或后一半的第一時段期間輸出稀疏結(jié)果，以及信號處理單元然后將配備有預定顏色分量的濾色器的像素和布置在與該相同行不同的行中并且配備有預定顏色分量的濾色器的相鄰像素的信號一起相加，并且在與第一時段不同的第二時段輸出加法結(jié)果。
6.如權利要求1所述的成像裝置，其中信號處理單元稀疏配備有其他顏色分量的濾色器的像素的信號，并且在當輸出布置在相同行中的像素的信號時的時段的前一半或者后一半的第一時段期間輸出稀疏結(jié)果，以及信號處理單元然后將配備有預定顏色分量的濾色器的像素和布置在與該相同行不同的行中并且配備有預定顏色分量的濾色器的相鄰像素一起相加，并且在與第一時段不同的第二時段期間輸出加法結(jié)果。 由此，以與其中單獨執(zhí)行稀疏讀取而不需要加法和輸出處理的信號處理的順序相同的順序，輸出信號。
7.如權利要求1所述的成像裝置，其中 信號處理單元通過使每個信號的增益成倍來稀疏配備有其他顏色分量的濾色器的像素，并且在當輸出布置在相同行中的像素的信號時的時段的前一半或后一半的第一時段期間輸出稀疏結(jié)果，以及 信號處理單元然后將配備有預定顏色分量的濾色器的像素和布置在與該相同行不同的行中并且配備有預定顏色分量的濾色器的相鄰像素的信號一起相加，每個信號具有平坦增益，并且在與第一時段不同的第二時段輸出加法結(jié)果。
8.如權利要求1所述的成像裝置，其中 信號處理單元通過使每個信號的增益成倍來稀疏配備有其他顏色分量的濾色器的像素，并且在當輸出布置在相同行中的像素的信號時的時段的前一半或后一半的第一時段期間輸出稀疏結(jié)果，以及 信號處理單元然后將配備有預定顏色分量的濾色器的像素和布置在與該相同行不同的行中并且配備有預定顏色分量的濾色器的相鄰像素的信號一起相加，每個信號具有平坦增益，并且在與第一時段不同的第二時段輸出相加結(jié)果， 由此，以適當改變像素的信號的模至數(shù)(AD)轉(zhuǎn)換的范圍這樣的方式輸出信號。
9.如權利要求1所述的成像裝置，其中 信號處理單元執(zhí)行配備有預定顏色分量的濾色器的像素的信號的浮動擴散(FD)加法，并且輸出加法結(jié)果。
10.如權利要求1所述的成像裝置，其中 信號處理單元執(zhí)行配備有預定顏色分量的濾色器的像素的信號的源跟隨器加法，并且輸出加法結(jié)果。
11.如權利要求1所述的成像裝置，其中 信號處理單元使用預定顏色分量的濾色器提供到的像素的已經(jīng)被相加和輸出的信號以及其他顏色分量的濾色器提供到的像素的已經(jīng)被稀疏和輸出的信號之間的相關性，以及信號處理單元生成其他顏色分量的濾色器提供到的像素的已經(jīng)被稀疏和輸出的信號，由此減少已經(jīng)被稀疏和輸出的像素的信號的信噪(SN)比。
12.—種成像裝置的成像方法，該成像裝置包括: 像素，布置在二維矩陣上； 像素的輝度信號的預定顏色分量的濾色器； 與像素的輝度信號的預定顏色不同的其他顏色分量的濾色器；以及 該成像方法包括: 將預定顏色分量的濾色器提供到的像素的信號一起相加以輸出加法結(jié)果；以及 稀疏其他顏色分量的濾色器提供到的像素的信號以輸出稀疏結(jié)果。
13.—種配置為控制成像裝置的計算機中的程序，該成像裝置包括: 像素，布置在二維矩陣上； 像素的輝度信號的預定顏色分量的濾色器；以及 與像素的輝度信號的預定顏色不同的其他顏色分量的濾色器，其中， 該程序使得計算機執(zhí)行: 將配備有預定顏色分量的濾色器的像素的信號相加以輸出加法結(jié)果；以及 稀疏配備有其他顏色分量的濾色器的像素的信號以輸出稀疏結(jié)果。
14.一種電子設備,包括: 像素，布置在二維矩陣上； 像素的輝度信號的預定顏色分量的濾色器； 與像素的輝度信號的預定顏色不同的其他顏色分量的濾色器；以及信號處理單元，配置為將配備有預定顏色分量的濾色器的像素的信號相加以輸出加法結(jié)果，以及稀疏配備有其他顏色分量的濾色器的像素的信號以輸出稀疏結(jié)果。
【文檔編號】H04N5/374GK104272727SQ201380023738
【公開日】2015年1月7日 申請日期:2013年5月1日 優(yōu)先權日:2012年5月14日
【發(fā)明者】川口俊次, 廣田功, 莊山英樹 申請人:索尼公司