本發(fā)明涉及成像裝置、成像系統(tǒng)以及信號處理方法。
背景技術(shù)：
：圖像拾取元件在其元件表面上具有像素，并且每個(gè)像素均具有允許諸如紅色、綠色和藍(lán)色的光之類的特定波長分量通過的濾色器(下文中被稱為CF)。下文中，紅色、綠色和藍(lán)色將分別被稱為R、G和B。下文中，具有用于R的CF的像素、具有用于G的CF的像素和具有用于B的CF的像素將分別被稱為紅色像素、綠色像素和藍(lán)色像素。紅色像素、綠色像素和藍(lán)色像素將被統(tǒng)稱為RGB像素。為了提高圖像拾取元件的靈敏度，已經(jīng)提出了用于增大允許容易地獲取關(guān)于亮度的信息的像素的比例的配置。在這種像素中，使用廣泛透射可見光區(qū)域的光的白色像素(下文中被稱為W像素)可以提高靈敏度，使得可以獲取具有高S/N比的圖像。日本專利公開No.2014-072658公開了對來自具有RGBW圖案(包括RGB像素和W像素)的圖像拾取元件的輸出信號執(zhí)行內(nèi)插處理。根據(jù)日本專利公開No.2014-072658，所關(guān)注的像素附近的像素被用來獲得多個(gè)方向上的相關(guān)性。日本專利公開No.2014-072658中公開了不同方向上的相關(guān)性被作用于確定所關(guān)注的像素的內(nèi)插方法的標(biāo)準(zhǔn)。日本專利公開No.2014-072658還公開了使用其間具有不同顏色的像素的一種顏色的像素的像素?cái)?shù)據(jù)或者不同顏色的相鄰像素的像素?cái)?shù)據(jù)。技術(shù)實(shí)現(xiàn)要素：本發(fā)明的一個(gè)方面提供了一種成像裝置，該成像裝置包括：第一像素、第二像素、第三像素、第四像素、第五像素、第六像素和第七像素，每個(gè)像素均具有光電轉(zhuǎn)換單元和信號處理單元，其中，將由第一像素的光電轉(zhuǎn)換單元光電轉(zhuǎn)換的光的波長帶范圍是第一波長帶范圍；將由第二至第七像素中的每個(gè)像素的光電轉(zhuǎn)換單元光電轉(zhuǎn)換的光的波長帶范圍是第二波長帶范圍，所述第二波長帶范圍包括第一波長帶范圍并且比第一波長帶范圍寬；第二至第七像素與第一像素相鄰；第一像素在第一方向上位于第二像素與第三像素之間；第一像素在不同于第一方向的第二方向上位于第四像素與第五像素之間；第一像素在不同于第一和第二方向的第三方向上位于第六像素與第七像素之間；第四像素和第七像素沿與第一方向平行的方向相鄰地設(shè)置；第二像素和第六像素沿與第二方向平行的方向相鄰地設(shè)置；信號處理單元根據(jù)第四像素和第七像素的信號獲取作為第一方向上的相關(guān)值的第一相關(guān)值，并根據(jù)第二像素和第六像素的信號獲取作為第二方向上的相關(guān)值的第二相關(guān)值；信號處理單元通過比較第一相關(guān)值和第二相關(guān)值來獲取在第一方向和第二方向之間具有較高相關(guān)值的一個(gè)；并且信號處理單元還通過使用第二至第七像素當(dāng)中沿具有較高相關(guān)性的方向設(shè)置的兩個(gè)像素的信號來對第一像素的與第二波長帶范圍對應(yīng)的信號進(jìn)行內(nèi)插。。本發(fā)明的另一個(gè)方面提供了一種信號處理方法，用于處理從第一像素、第二像素、第三像素、第四像素、第五像素、第六像素和第七像素輸出的信號，每個(gè)像素均具有光電轉(zhuǎn)換單元，其中將由第一像素的光電轉(zhuǎn)換單元光電轉(zhuǎn)換的光的波長帶范圍是第一波長帶范圍；將由第二至第七像素中的每個(gè)像素的光電轉(zhuǎn)換單元光電轉(zhuǎn)換的光的波長帶范圍是第二波長帶范圍，所述第二波長帶范圍包括第一波長帶范圍并且比第一波長帶范圍寬；第二至第七像素與第一像素相鄰；第一像素在第一方向上位于第二像素與第三像素之間；第一像素在不同于第一方向的第二方向上位于第四像素與第五像素之間；第一像素在不同于第一和第二方向的第三方向上位于第六像素與第七像素之間；第四像素和第七像素沿與第一方向平行的方向相鄰地設(shè)置；第二像素和第六像素沿與第二方向平行的方向相鄰地設(shè)置；所述信息處理方法包括：根據(jù)第四像素和第七像素的信號獲取作為第一方向上的相關(guān)值的第一相關(guān)值，并根據(jù)第二像素和第六像素的信號獲取作為第二方向上的相關(guān)值的第二相關(guān)值；通過比較第一相關(guān)值和第二相關(guān)值來獲取第一方向和第二方向之間具有較高相關(guān)值的一個(gè)；以及通過使用第二至第七像素當(dāng)中沿具有較高相關(guān)性的方向設(shè)置的兩個(gè)像素的信號來對第一像素的與第二波長帶范圍對應(yīng)的信號進(jìn)行內(nèi)插。參照附圖閱讀示例性實(shí)施例的以下描述，本發(fā)明的其它特征將變得清楚。附圖說明圖1例示了成像裝置中的信號處理。圖2A至2E例示了圖像拾取元件中的示例性CF圖案以及其中的信號處理。圖3A至3E例示了圖像拾取元件中的示例性曝光圖案和其中的信號處理、根據(jù)變化示例的圖像拾取元件中的CF圖案和根據(jù)變化示例的信號處理。圖4A至4D例示了圖像拾取元件中的曝光圖案和像素?cái)?shù)據(jù)的示例。圖5例示了圖像拾取元件的示例性配置。圖6例示了圖像拾取元件的示例性配置。圖7A至2E例示了圖像拾取元件中的示例性CF圖案。圖8A至8D例示了圖像拾取元件中的示例性CF圖案。圖9A至9E例示了成像裝置中的信號處理。圖10A至10E例示了成像裝置中的信號處理。圖11A至11E例示了成像裝置中的信號處理。圖12例示了成像裝置的配置。圖13例示了成像裝置中的示例性信號處理。具體實(shí)施方式日本專利公開No.2014-072658中公開的技術(shù)使用其間具有不同顏色的像素的一種顏色的像素的像素?cái)?shù)據(jù)作為將用于內(nèi)插處理的一種顏色的像素的像素?cái)?shù)據(jù)。由于使用一種顏色的遠(yuǎn)離像素的像素?cái)?shù)據(jù)，所以這樣可能降低內(nèi)插的精確度。另一方面，當(dāng)相鄰像素的像素?cái)?shù)據(jù)被用于內(nèi)插處理時(shí)，像素?cái)?shù)據(jù)是不同顏色的像素的像素?cái)?shù)據(jù)，這也可能降低內(nèi)插的精確度。下面的示例性實(shí)施例涉及用于使用相鄰像素的像素?cái)?shù)據(jù)來執(zhí)行內(nèi)插處理的技術(shù)。將參照附圖來描述示例性實(shí)施例。圖1例示了成像裝置的配置、設(shè)在成像裝置外部的圖像處理單元203以及將由成像裝置執(zhí)行的信號處理。成像裝置具有圖像拾取元件201和信號處理單元202。信號處理單元202具有預(yù)處理單元204、內(nèi)插單元205以及轉(zhuǎn)換單元206。信號處理單元202生成通過對從圖像拾取元件201輸出的輸出信號執(zhí)行內(nèi)插處理和上轉(zhuǎn)換(upconversion)處理而獲取的數(shù)據(jù)。信號處理單元202還對所述數(shù)據(jù)執(zhí)行生成馬賽克圖像的馬賽克處理，并將所得到的數(shù)據(jù)輸出到圖像處理單元203。在本實(shí)施例中，將被輸入到圖像處理單元203的預(yù)定數(shù)據(jù)具有拜耳圖案(Bayerpattern)。圖1還例示了將由內(nèi)插單元205、轉(zhuǎn)換單元206和圖像處理單元203生成的數(shù)據(jù)集。圖1例示了作為由這些部件單元執(zhí)行的處理的結(jié)果而生成的數(shù)據(jù)集。例如，與圖像處理單元203一起例示的數(shù)據(jù)集作為由圖像處理單元203對從轉(zhuǎn)換單元206輸出的數(shù)據(jù)執(zhí)行的去馬賽克處理的結(jié)果而被生成。例如，圖像拾取元件201可以是CMOS圖像傳感器或CCD圖像傳感器。根據(jù)本實(shí)施例，使用CMOS圖像傳感器。根據(jù)本實(shí)施例的圖像拾取元件201具有多個(gè)像素。該多個(gè)像素中的每個(gè)像素均具有光透射單元。該多個(gè)像素中的部分像素具有濾色器(CF)，每個(gè)濾色器(CF)允許具有與紅色(R)、綠色(G)和藍(lán)色(B)之一對應(yīng)的波長的光通過。濾色器是光透射單元的示例。該多個(gè)像素中的每個(gè)像素均具有基于入射光生成電載流子的光電轉(zhuǎn)換單元。下文中，被設(shè)置用于基于入射光生成電載流子的像素被稱為有效像素。設(shè)在圖像拾取元件201中的有效像素的數(shù)量在水平方向上等于1920個(gè)像素，在垂直方向上等于1080個(gè)像素。圖1例示了圖像拾取元件201中的像素R、G、B和W。圖1中賦予像素的字母“R”、“G”、“B”和“W”指示與通過像素中的光透射單元的光的波長對應(yīng)的顏色。字母“R”、“G”、“B”和“W”分別指示紅色、綠色、藍(lán)色和白色。W像素中的光透射單元可以是不具有被配置為使所通過的光的波長帶范圍變窄的構(gòu)件的樹脂。換句話說，W像素不具有CF。因此，將由W像素中的光電轉(zhuǎn)換單元接收的光的波長帶范圍寬于由RGB像素中的光電轉(zhuǎn)換單元接收的光的波長帶范圍。根據(jù)本實(shí)施例的圖像拾取元件201具有被稱為RGBW12圖案的CF圖案。盡管每個(gè)W像素均不具有CF，但是多個(gè)像素中的光透射單元的布置圖案將被稱為CF圖案。在該圖案中，基于在4×4或16個(gè)像素當(dāng)中R:G:B:W＝1:2:1:12的數(shù)量比來布置像素。在RGBW12圖案中，在平面圖的垂直方向、水平方向和對角方向上，包括紅色像素、綠色像素和藍(lán)色像素的顏色像素與W像素相鄰。換句話說，如在平面圖中所見，作為第一像素的顏色像素在上方向、下方向、右方向、左方向、右上對角方向、左下對角方向、左上對角方向和右下對角方向上與W像素相鄰。第一方向是指在平面圖中從在上方向上與第一像素相鄰的W像素到第一像素所觀察到的方向。第二方向是指在平面圖中從在左方向上與第一像素的相鄰的W像素到第一像素所觀察到的方向。第三方向是指在平面圖中從在右上對角方向上與第一像素相鄰的W像素到第一像素所觀察到的方向。第四方向是指在平面圖中從在左上對角方向上與第一像素相鄰的W像素到第一像素所觀察到的方向。換句話說，作為第一像素的顏色像素被多個(gè)W像素包圍。更具體地，多個(gè)W像素中的像素A是在平面圖中在上方向上與第一像素相鄰的像素。多個(gè)W像素中的像素B是在平面圖中在下方向上與第一像素相鄰的像素。從像素A到像素B的方向?qū)?yīng)于第一方向。在第一方向上，第一像素位于像素A與像素B之間。多個(gè)W像素中的像素C是在平面圖中在左方向上與第一像素相鄰的像素。多個(gè)W像素中的像素D是在平面圖中在右方向上與第一像素相鄰的像素。從像素C到像素D的方向?qū)?yīng)于第二方向。在第二方向中，第一像素位于像素C與像素D之間。多個(gè)W像素中的像素E是在平面圖中在右上對角方向上與第一像素相鄰的像素。多個(gè)W像素中的像素F是在平面圖中在左下對角方向上與第一像素相鄰的像素。從像素E到像素F的方向?qū)?yīng)于第三方向。在第三方向上，第一像素位于像素E與像素F之間。多個(gè)W像素中的像素G是在平面圖中在左上對角方向上與第一像素相鄰的像素。多個(gè)W像素的像素H是在平面圖中在右下對角方向上與第一像素相鄰的像素。從像素G到像素H的方向?qū)?yīng)于第四方向。在第四方向上，第一像素位于像素G與像素H之間。像素C與像素F在平行于第一方向的方向上相鄰。像素A與像素E在平行于第二方向的方向上相鄰。像素A至H將分別被稱為第二至第九像素。RGBW12圖案具有比例等于像素總數(shù)的3/4的W像素。除了有效像素之外，圖像拾取元件201還可以具有不從其直接輸出圖像的像素，諸如光學(xué)黑色像素和虛擬像素。每個(gè)W像素均不具有CF。因此，W像素靈敏的波長帶范圍可以包括紅色像素、綠色像素和藍(lán)色像素靈敏的所有波長帶范圍。因此，W像素相比于RGB像素具有更寬的譜響應(yīng)，并具有更高的靈敏度。由于顏色像素被W像素包圍，所以使用RGBW12圖案可以提高內(nèi)插的精確度。信號處理單元202對來自圖像拾取元件201的輸出信號執(zhí)行信號處理。信號處理單元202具有預(yù)處理單元204、內(nèi)插單元205和轉(zhuǎn)換單元206。來自圖像拾取元件201的輸出信號被輸入到信號處理單元202中的預(yù)處理單元204。預(yù)處理單元204可以對信號執(zhí)行諸如偏移校正和增益校正之類的校正處理。內(nèi)插單元205對從預(yù)處理單元204輸出的數(shù)據(jù)執(zhí)行內(nèi)插處理。內(nèi)插單元205執(zhí)行去馬賽克處理?；陔p線性方法來執(zhí)行根據(jù)本實(shí)施例的去馬賽克處理，以便根據(jù)從RGB像素輸出的信號獲得R數(shù)據(jù)、G數(shù)據(jù)和B數(shù)據(jù)。針對R數(shù)據(jù)，根據(jù)本實(shí)施例的去馬賽克處理用作為當(dāng)紅色像素位于W像素實(shí)際所在的位置時(shí)所獲得的估計(jì)值的R分量進(jìn)行內(nèi)插。以相同的方式，本實(shí)施例的去馬賽克處理如R分量那樣分別用B分量和G分量進(jìn)行內(nèi)插以生成B數(shù)據(jù)和G數(shù)據(jù)。相比于按方格圖案布置W像素的情況，RGBW12圖案在可從中獲得分辨率信息的每單位面積上具有更多的W像素。因此，相比于按方格圖案布置W像素的情況，可以獲得具有更高空間頻率(或更精細(xì)間距)的分辨率信息。換句話說，相比于使用來自按方格圖案布置W像素的圖像拾取元件的輸出信號，信號處理單元202可以使用按RGBW12圖案的圖像拾取元件201輸出的輸出信號來生成具有更高分辨率感的數(shù)據(jù)。轉(zhuǎn)換單元206通過使用從內(nèi)插單元205輸出的數(shù)據(jù)來執(zhí)行上轉(zhuǎn)換處理和馬賽克處理。上轉(zhuǎn)換處理是根據(jù)第一分辨率的數(shù)據(jù)來生成高于第一分辨率的第二分辨率的數(shù)據(jù)的分辨率增大處理。根據(jù)本實(shí)施例，來自圖像拾取元件201的輸出信號具有1920×1080像素的分辨率，即所謂的2K1K分辨率?；?K1K輸入數(shù)據(jù)，信號處理單元202輸出3840×2160像素(即，所謂的4K2K分辨率)的數(shù)據(jù)作為上轉(zhuǎn)換處理的結(jié)果。換句話說，根據(jù)本實(shí)施例的轉(zhuǎn)換單元206使用從內(nèi)插單元205輸出的一個(gè)像素信號來執(zhí)行用于生成四個(gè)像素信號的處理。例如，可以通過使用最近相鄰內(nèi)插、雙線性方法或雙三次方法來執(zhí)行上轉(zhuǎn)換處理。本實(shí)施例的轉(zhuǎn)換單元206在上轉(zhuǎn)換處理之后執(zhí)行下面將描述的馬賽克處理。在該情況下，可以使用最近相鄰內(nèi)插以防止數(shù)據(jù)處理誤差的累積。本實(shí)施例的轉(zhuǎn)換單元206執(zhí)行馬賽克處理。將由本實(shí)施例的轉(zhuǎn)換單元206執(zhí)行的馬賽克處理是用于通過使用R數(shù)據(jù)、G數(shù)據(jù)和B數(shù)據(jù)的顏色數(shù)據(jù)來生成拜耳數(shù)據(jù)(Bayerdata)的處理。拜耳數(shù)據(jù)是指當(dāng)在單個(gè)圖像傳感器中按拜耳圖案布置RGB像素時(shí)所獲得的數(shù)據(jù)。圖像處理單元203通過使用從信號處理單元202輸出的數(shù)據(jù)來生成拍攝圖像。圖像處理單元203可以根據(jù)需要執(zhí)行去馬賽克處理、顏色矩陣操作、白平衡處理、數(shù)字增益、伽馬處理、降噪處理等。在這些處理當(dāng)中，相比于其它處理，去馬賽克處理與拍攝圖像的分辨率信息更加相關(guān)。根據(jù)本實(shí)施例，轉(zhuǎn)換單元206在執(zhí)行上轉(zhuǎn)換處理之后執(zhí)行馬賽克處理。因此，通過使用從轉(zhuǎn)換單元206輸出的2×2數(shù)據(jù)(1個(gè)R信號、2個(gè)G信號和1個(gè)B信號)中的1個(gè)R信號，圖像處理單元203生成R數(shù)據(jù)的1個(gè)R信號。圖像處理單元203可以通過執(zhí)行與用于生成R數(shù)據(jù)的處理相同的處理來生成其它顏色的G數(shù)據(jù)和B數(shù)據(jù)的信號。內(nèi)插單元205對來自預(yù)處理單元204的信號進(jìn)行內(nèi)插。具有更多用于獲得分辨率信息的W像素的RGBW12圖案有利地提供了：相比于按方格圖案布置的W像素，可以獲得具有高空間頻率(或精細(xì)間距)的分辨率的數(shù)據(jù)。通過使用這種相鄰的W像素，可以針對每個(gè)像素獲得在平面圖中的垂直方向、水平方向和對角方向上的相關(guān)性(方向性)。這里的術(shù)語“相關(guān)性(方向性)”是指多個(gè)像素的信號之差。相關(guān)性可以是通過將所述差除以像素重心之間的距離而獲得的斜率。相關(guān)性(方向性)的示例可以包括對于拍攝對象的邊緣是否存在或者隔離點(diǎn)是否存在的確定結(jié)果。下面將描述通過使用多個(gè)像素的信號之差來獲取相關(guān)性的情況。例如，為了對紅色像素用與另一個(gè)顏色(諸如W)對應(yīng)的值進(jìn)行內(nèi)插，可以參考在具有較高相關(guān)性(或小的差)的方向上的數(shù)據(jù)來計(jì)算內(nèi)插值。因此，相比于參考在具有低相關(guān)性(或大的差)的方向上的數(shù)據(jù)來計(jì)算內(nèi)插值的情況，可以以更高精確度對紅色像素處的W的值進(jìn)行內(nèi)插。方向性計(jì)算處理還可以包括用于獲取分布的處理。下文將詳細(xì)描述為了推導(dǎo)相關(guān)性而對每個(gè)方向上的相關(guān)值進(jìn)行的計(jì)算和內(nèi)插。圖2A至2E例示了用于檢測RGBW12圖案和藍(lán)色像素之間的相關(guān)性(方向性)的方法。圖2A指定像素的地址。這里的像素由CF顏色(X坐標(biāo)值，Y坐標(biāo)值)表示。例如，位于X＝3和Y＝3的像素由B(3,3)表示。將描述通過使用在B(3,3)周圍的提取的5像素×5像素區(qū)域來獲取相關(guān)性(方向性)的方法?；诜较蛐杂?jì)算相關(guān)值。圖2B例示了指示將用于計(jì)算水平方向上的相關(guān)值的像素的箭頭。相關(guān)值(水平)＝|W(2,2)-W(3,2)|×2+|W(3,2)-W(4,2)|×2+|W(2,4)-W(3,4)|×2+|W(3,4)-W(4,4)|×2圖2C例示了指示將用于計(jì)算垂直方向上的相關(guān)值的像素的箭頭。相關(guān)值(垂直)＝|W(2,2)-W(2,3)|×2+|W(2,3)-W(2,4)|×2+|W(4,2)-W(4,3)|×2+|W(4,3)-W(4,4)|×2圖2D例示了指示將用于計(jì)算左對角方向上的相關(guān)值的像素的箭頭。用相應(yīng)的距離對每個(gè)差進(jìn)行加權(quán)，并且獲取差的絕對值的總和作為相關(guān)值(左對角)。相關(guān)值(左對角)＝|W(1,2)-W(2,3)|+|W(2,3)-W(3,4)|×2+|W(3,4)-W(4,5)|+|W(2,1)-W(3,2)|+|W(3,2)-W(4,3)|×2+|W(4,3)-W(5,4)|圖2E例示了指示將用于計(jì)算右對角方向上的相關(guān)值的像素的箭頭。用相應(yīng)的距離對每個(gè)差進(jìn)行加權(quán)，并且獲取差的絕對值的總和作為相關(guān)值(右對角)。相關(guān)值(右對角)＝|W(1,4)-W(2,3)|+|W(2,3)-W(3,2)|×2+|W(3,2)-W(4,1)|+|W(2,5)-W(3,4)|+|W(3,4)-W(4,3)|×2+|W(4,3)-W(5,2)|當(dāng)獲取四個(gè)相關(guān)值時(shí)，差項(xiàng)的系數(shù)之和等于8。為了減小用于關(guān)于計(jì)算差的位置進(jìn)行加權(quán)的距離，以及為了同等化賦予四個(gè)相關(guān)值的權(quán)重，系數(shù)被賦予。計(jì)算差的位置(由箭頭指示)關(guān)于B(3,3)線性對稱地布置。這是為了提高用于獲取相關(guān)值的對稱性，以減少關(guān)于相關(guān)值的誤差。為了獲取對角方向上的相關(guān)值，將所關(guān)注的像素鄰近的像素之差乘以2，并且離所關(guān)注的像素比鄰近的像素遠(yuǎn)的像素之差是1倍。如上面所述基于離所關(guān)注的像素的距離來對差進(jìn)行加權(quán)可以增加所計(jì)算的相關(guān)值的精度。具有四個(gè)所獲取的相關(guān)值(水平)、相關(guān)值(垂直)、相關(guān)值(左對角)和相關(guān)值(有對角)中的最小值的方向可以具有小的差，即，高相關(guān)性。圖3A例示了在生成具有小相關(guān)值(水平)的圖像的情況下的圖像傳感器的曝光圖案。更具體地，圖3A示意性地例示了在通過圖像傳感器曝光在水平方向上延伸的線的情況下的與像素對應(yīng)的數(shù)據(jù)的信號強(qiáng)度。圖3B例示了在通過使用RGBW12圖案來捕獲圖3A中的圖像的情況下的信號強(qiáng)度。圖3B中的“？”指示除W以外的顏色的像素(R、G、B)，并且由W指示的像素是W像素。圖3B中的W像素的陰影指示數(shù)據(jù)的信號強(qiáng)度。由“？”指示的像素是除W像素以外的像素。通過獲取圖3B中在坐標(biāo)(3,3)處由“？”指示的像素的相關(guān)性，相關(guān)性在差減小的方向上增大。圖3B中水平方向上的細(xì)線具有最小的相關(guān)值(水平)。參照圖3C，因?yàn)榇嬖谒椒较蛏系南嚓P(guān)性，因此可以通過對W(2,3)和W(4,3)的數(shù)據(jù)求平均來獲取坐標(biāo)(3,3)的內(nèi)插值。具有如上所述的信號處理單元202的內(nèi)插單元205對在所關(guān)注的像素(3,3)鄰近的W像素的不同方向上的相關(guān)值進(jìn)行比較，并獲取作為比較結(jié)果的具有小的差的方向。內(nèi)插單元205然后使用作為比較結(jié)果而獲取的內(nèi)插方向來根據(jù)與所關(guān)注的像素(3,3)相鄰的的W像素估計(jì)和內(nèi)插所關(guān)注的像素(3,3)的W數(shù)據(jù)。以此方式執(zhí)行內(nèi)插可以導(dǎo)致基于關(guān)于像素之差的信息的內(nèi)插處理，并且可以提高分辨率。在圖3C中，對像素的內(nèi)插由坐標(biāo)(3,3)處的“！”指示。另一方面，將描述這樣的情況：如圖3D中所示的RGBW像素圖案中的如圖3A中所示的水平方向上的細(xì)線被圖像傳感器曝光。在該情況下，獲取相關(guān)值還包括通過使用如圖3E中所示被放置為其間具有另一種顏色的像素的W像素之間的信號來獲取相關(guān)值。如圖3E中所示，在通過使用其間具有另一種顏色的像素的W像素的信號而獲取的相關(guān)值當(dāng)中，下面的水平方向和垂直方向上的相關(guān)值可能不相等。相關(guān)值(水平)＝|W(2,2)-W(4,2)|+|W(2,4)-W(4,4)|相關(guān)值(深度)＝|W(2,2)-W(2,4)|+|W(4,2)-W(4,4)|因?yàn)榘ň哂邢嗟鹊南嚓P(guān)值的像素的細(xì)線不能被識別為垂直線或水平線，因此可能出現(xiàn)內(nèi)插誤差。換句話說，對于W像素具有小的采樣周期的拍攝對象的圖案難以檢測。通過使用如上所述這樣計(jì)算的相關(guān)值獲取內(nèi)插值可以增大內(nèi)插處理的精確度?？梢酝ㄟ^使用諸如拍攝對象的邊緣信息和形狀信息之類的關(guān)于拍攝對象的信息來獲取相關(guān)值，以更高精確度獲取方向性。在該情況下，相比于通過使用在不使用關(guān)于拍攝對象的信息的情況下獲取的相關(guān)值來執(zhí)行內(nèi)插處理的情況，在該情況下可以獲取更銳利的圖像(或者具有更高分辨率的圖像)。通過如上所述執(zhí)行內(nèi)插處理，可以針對一種顏色的像素(諸如紅色像素)以高精確度獲得其它顏色(諸如G、B和W)的內(nèi)插值。換句話說，可以減少偽顏色(falsecolor)的出現(xiàn)。為了減少偽顏色的出現(xiàn)，使局部顏色變化與亮度的變化強(qiáng)相關(guān)的特性被用于獲取多個(gè)像素?cái)?shù)據(jù)的RGB數(shù)據(jù)比值和W數(shù)據(jù)比值，并且將比值乘以W數(shù)據(jù)。用相當(dāng)于W像素的分辨率的顏色數(shù)據(jù)執(zhí)行內(nèi)插。將參照圖4A至4D來描述內(nèi)插處理。圖4A例示了在垂直方向上延伸的綠色-藍(lán)線被曝光于圖像傳感器的情況下的信號強(qiáng)度。具有高亮度的綠-藍(lán)線被曝光于與X＝1、3和5對應(yīng)的列的像素，并且具有低亮度的綠-藍(lán)線被曝光于與X＝2、4和6對應(yīng)的列的像素。(注意，圖4A中未示出與X＝6對應(yīng)的列)。圖4B是例示了圖4A中的強(qiáng)度分布相對于X方向的坐標(biāo)的曲線圖。因?yàn)榫G-藍(lán)線的亮和暗交替重復(fù)，因此亮和暗的重復(fù)的圖案被曝光于W像素并被轉(zhuǎn)換為數(shù)據(jù)。將描述以圖4C中所示的RGBW12圖案曝光線圖案的情況。圖4D例示了在圖4C中與Y坐標(biāo)＝3對應(yīng)的部分中強(qiáng)度分布相對于X方向上的坐標(biāo)。圖4D繪制了由如注釋中的實(shí)線圓指示的在W(2,3)和W(4,3)處的W像素的強(qiáng)度。圖4D例示了指示在坐標(biāo)(1,3)、(3,3)和(5,3)處的內(nèi)插W的強(qiáng)度預(yù)測值并呈現(xiàn)為iWg(1,3)、iWb(3,3)和iWg(5,3)的虛線圓。這些值被推斷為相當(dāng)于W(3,2)和W(3,4)的數(shù)據(jù)，因?yàn)閳D案具有垂直的細(xì)線。圖4D還例示了指示在B(3,3)處的藍(lán)色像素的強(qiáng)度的三角形。因?yàn)閃像素的靈敏度高于藍(lán)色像素的靈敏度，因此在X坐標(biāo)＝3處的W像素的內(nèi)插值iW(3,3)高于藍(lán)色像素的值B(3,3)。根據(jù)內(nèi)插的iWb(3,3)和B(3,3)的數(shù)據(jù)來獲取顏色的比值，可以通過將顏色比值B(3,3)/iWb(3,3)乘以W的數(shù)據(jù)來表示鄰近的藍(lán)顏色的變化。顏色比值可通過使用iWb(3,3)來以高精確度校正偽顏色?？赏ㄟ^執(zhí)行下面的計(jì)算來獲取偽顏色校正。局部顏色比值換句話說是iW和RGB的比值，該比值可以如下表示：RGB_ratio=RiWrGr+GbiWgr+iWgbBiWb---(1)]]>在該情況下，iWr是紅色像素的W內(nèi)插值，iWgr是Gr像素的W內(nèi)插值，iWgb是Gb的W內(nèi)插值，以及iWb是藍(lán)色像素的W內(nèi)插值。當(dāng)iWr、iWgr、iWgb和iWb的值相差較大時(shí)，RGB中的一種顏色有時(shí)可能被強(qiáng)調(diào)。對此，可以使用通過RGB的顏色比值之和標(biāo)準(zhǔn)化的表達(dá)式。RGB_ratio=RRiWr+Gr+GbiWgr+iWgb+BiWbGr+Gb2RiWr+Gr+GbiWgr+iWgb+BiWbBRiWr+Gr+GbiWgr+iWgb+BiWb---(2)]]>這樣獲取的顏色比值RGB_ratio和W的數(shù)據(jù)或內(nèi)插值iWr*iWgr*iWgb*iWb可用于如下獲取每個(gè)像素的RGB值：RGB＝[R_ratio·WG_ratio·WB_ratio·W](3)在該情況下，RGB_ratio＝[R_ratioG_ratioB_ratio](4)因此，可以根據(jù)RGBW12數(shù)據(jù)來形成已經(jīng)歷過內(nèi)插和偽顏色校正的RGB圖像。轉(zhuǎn)換單元206通過使用來自內(nèi)插單元205的信號來執(zhí)行上轉(zhuǎn)換處理和去馬賽克處理。上轉(zhuǎn)換處理是一種分辨率轉(zhuǎn)換，并籠統(tǒng)地指代生成具有比原始分辨率高的分辨率的圖像。圖像處理單元203是使用信號處理單元202的輸出來生成輸出圖像的部分，并且也可以被稱為RGB信號處理單元，因?yàn)樗梢陨蒖GB圖像。圖像處理單元203通過根據(jù)需要執(zhí)行去馬賽克處理、顏色矩陣操作、白平衡處理、數(shù)字增益、伽馬處理、降噪處理等來將傳感器的輸出轉(zhuǎn)換為顏色圖像。在這些處理當(dāng)中，去馬賽克部分對于分辨率信息特別重要，并且可以通過假設(shè)來自其的拜耳圖案的CF來執(zhí)行高級內(nèi)插處理。制造用于具有特殊CF圖案的圖像拾取元件的新的專用圖像處理單元可能導(dǎo)致成本和時(shí)間的增加。因此，使用被配置為處理一般拜耳圖案的圖像處理單元可能是非常有利的。因此，如上所述執(zhí)行再馬賽克處理使得能夠以低成本使用特殊CF圖案。由于上述原因，在使用能夠存儲大量關(guān)于RGBW12圖案的分辨率信息的圖像拾取元件的情況下，獲取具有小于兩個(gè)像素的空間頻率的圖案中的相關(guān)值。這可以通過使用具有小于兩個(gè)像素的空間頻率的(例如細(xì)線的)圖案來減少內(nèi)插誤差，提高分辨率，并減少偽顏色的出現(xiàn)。第一示例性實(shí)施例將參照附圖來描述根據(jù)第一示例性實(shí)施例的成像裝置。下面的描述根據(jù)需要可以參照圖1中的成像裝置。圖5例示了根據(jù)本示例性實(shí)施例的圖像拾取元件201的示例。根據(jù)本示例性實(shí)施例的圖像拾取元件201具有圖像感測區(qū)域1、垂直掃描電路2、列放大單元3、水平掃描電路4、以及輸出單元5，其中圖像感測區(qū)域1具有含有以矩陣形式布置的像素100的像素陣列。垂直掃描電路2將用于控制像素100中的晶體管的開狀態(tài)(導(dǎo)通狀態(tài))和關(guān)狀態(tài)(非導(dǎo)通狀態(tài))的控制信號供應(yīng)給像素100的晶體管。圖像感測區(qū)域1具有用于從像素100逐列地讀出信號的垂直信號線6。水平掃描電路4包括：用于針對列的列放大單元3的開關(guān)、以及被配置為供應(yīng)用于將所述開關(guān)控制為開狀態(tài)或關(guān)狀態(tài)的控制信號的水平掃描電路4。作為由水平掃描電路4執(zhí)行的掃描的結(jié)果，信號被順序地從與列放大單元3相關(guān)聯(lián)的列輸出到輸出單元5。從列放大單元3輸出到輸出單元5的信號被輸入到在圖像拾取元件201外部的信號處理單元202，如圖1中所示。已經(jīng)描述了從圖像拾取元件201輸出的輸出信號例如是模擬信號，圖像拾取元件201可以輸出數(shù)字信號。在該情況下，可以省略將由信號處理單元202執(zhí)行的模數(shù)轉(zhuǎn)換處理。將參照圖6來描述圖5中的成像裝置。垂直掃描電路2控制信號PTX、信號PRES和信號PSEL的信號電平(level)，這些信號將被供應(yīng)至像素100以執(zhí)行逐行地掃描圖像感測區(qū)域1中的像素100的垂直掃描。作為由垂直掃描電路2執(zhí)行的垂直掃描的結(jié)果，每個(gè)像素100通過PDOUT端子將光電轉(zhuǎn)換信號輸出到垂直信號線6。電流源7通過垂直信號線6將電流供應(yīng)給像素100。開關(guān)8控制到列放大單元3的輸入。列放大單元3具有電容C0、電容C1、電容C2、開關(guān)9、開關(guān)10、開關(guān)11、以及用于確定列放大單元3的放大效率的放大電路12。列放大單元3具有用于采樣保持的開關(guān)13、開關(guān)14、存儲電容器CTN和存儲電容器CTS、以及用于連接至水平傳輸信號線的開關(guān)15和開關(guān)16。水平掃描電路4針對設(shè)置放大電路12的列來順序地控制開關(guān)15和開關(guān)16的導(dǎo)通狀態(tài)和非導(dǎo)通狀態(tài)。因此，水平掃描電路4執(zhí)行水平掃描，水平掃描是將由列放大單元3執(zhí)行的逐列掃描。當(dāng)水平掃描電路4將開關(guān)15和開關(guān)16變?yōu)閷?dǎo)通狀態(tài)，則保持在電容元件CTN和電容元件CTS中的信號被輸入到輸出放大器。輸出放大器17把通過放大輸入信號而獲取的信號輸出到圖像拾取元件外部。參照圖6，將進(jìn)一步描述圖像拾取元件201的細(xì)節(jié)。每個(gè)像素100均具有光電二極管18、晶體管19、浮動擴(kuò)散電容20、晶體管21、晶體管22、以及晶體管23。光電二極管(下文中有時(shí)稱為PD)18是被配置為累積基于入射光的電載流子的光電轉(zhuǎn)換單元。晶體管19具有與光電二極管18連接的一個(gè)端子、以及與浮動擴(kuò)散電容20連接的另一個(gè)端子。浮動擴(kuò)散電容(有時(shí)被稱為FD)20是還用作晶體管19的漏極端子的結(jié)構(gòu)，并且能夠保持通過晶體管19從光電二極管18傳送(有時(shí)被稱為TX)的電載流子。當(dāng)從垂直掃描電路2輸入到晶體管19的柵極端子的信號PTX變?yōu)楦唠娖?有時(shí)被稱為H電平)時(shí)，累積在光電二極管18中的電載流子被傳送。當(dāng)從垂直掃描電路2輸入的信號PRES變?yōu)镠電平時(shí)，晶體管21將浮動擴(kuò)散電容20的電位重置(有時(shí)被稱為RES)為基于電源電壓VDD的電位。晶體管22具有與浮動擴(kuò)散電容20電連接的輸入節(jié)點(diǎn)。晶體管22具有接收來自通過垂直信號線6連接的電流源7的偏置電流的供應(yīng)的一個(gè)主節(jié)點(diǎn)以及接收電源電壓VDD的供應(yīng)使得構(gòu)成源極跟隨器(有時(shí)被稱為SF)的另一個(gè)主節(jié)點(diǎn)。當(dāng)從垂直掃描電路2輸入的信號PSEL變?yōu)镠電平時(shí)，晶體管23將從晶體管22輸出的信號輸出到垂直信號線6。晶體管23在節(jié)點(diǎn)PDOUT將信號輸出到垂直信號線6。從晶體管22輸出的信號基于保持在浮動擴(kuò)散電容20中的電載流子。接下來，將描述由列放大單元3執(zhí)行的操作。開關(guān)8進(jìn)行控制以便將從相應(yīng)像素100輸出的信號輸入到放大電路12。電容C0、電容C1和電容C2是能用于將由放大電路12執(zhí)行的放大的電容。開關(guān)9和開關(guān)10被控制為使得輸入電壓可以根據(jù)C0/C1、C0/C2或C0/(C1+C2)的電容比值而被放大。開關(guān)11能用于控制電容C1和電容C2的重置。開關(guān)13和開關(guān)14被控制為使得從放大電路12輸出的信號可以被采樣保持在電容CTN和CTS中。開關(guān)13被接通，使得從像素100輸出的信號當(dāng)中的當(dāng)浮動擴(kuò)散電容20具有重置電平時(shí)的輸出信號(有時(shí)被稱為N信號)可以被采樣保持在電容CTN中。開關(guān)14被接通，使得來自像素100的輸出信號當(dāng)中的當(dāng)電載流子被傳送到浮動擴(kuò)散電容20時(shí)的輸出信號(有時(shí)被稱為S信號)可以被采樣保持在電容CTS中。開關(guān)15和開關(guān)16被控制為使得來自水平掃描電路4的信號可以變?yōu)镠電平，并且經(jīng)采樣保持的電容CTN和電容CTS的輸出端被順序地連接到輸出放大器17?？梢允褂萌缟纤龅膱D像拾取元件，使得輸入到圖像拾取元件的光信號可以作為電信號被讀出。圖7A至7D例示了使用RGB像素作為顏色像素的CF圖案的示例。圖7A例示了具有R:G:B等于1:2:1的CF比值的拜耳圖案。提供比其它顏色的像素多的綠色像素，這是因?yàn)槿说囊曈X特性對G波長高度敏感，并且更多的綠色像素可以給予分辨率感。在拜耳圖案中，綠色像素在平面圖中的上方向、下方向、右方向和左方向與紅色像素或藍(lán)色像素相鄰。另一方面，綠色像素在平面圖中的右上對角、右下對角、左上對角和左下對角方向上與另一個(gè)綠色像素相鄰。紅色像素在平面圖中的右上對角、右下對角、左上對角和左下對角方向與藍(lán)色像素相鄰。對于該情況下的紅色像素或藍(lán)色像素中的G分量的內(nèi)插，其間具有另一種顏色的像素的綠色像素之間的像素?cái)?shù)據(jù)被用于計(jì)算用于上、下、右和左方向的相關(guān)值?？商娲?，不同顏色的相鄰像素的像素?cái)?shù)據(jù)可被使用。這可能降低相關(guān)值計(jì)算的精確度，并且可能容易出現(xiàn)偽顏色。圖7C例示了RGBW8圖案。在該圖案中，RGB像素被布置為在平面圖中的上、下、右和左方向上與W像素相鄰。另一方面，RGB像素被布置為在平面圖中的右上對角、右下對角、左上對角和左下對角方向上與和W像素不同顏色的像素相鄰。另外，在該圖案中，就像如上所述的圖7A中的拜耳圖案那樣，相關(guān)值計(jì)算的精確度可降低，并且可能容易出現(xiàn)偽顏色。圖7B例示了RGBW12圖案。在該圖案中，CF以R:G:B:W＝1:2:1:12的比值被布置在4×4像素陣列中。該圖案包括這樣的特性：作為顏色像素的所有RGB像素被W像素包圍。術(shù)語“包圍”是指：在平面圖中，W像素被設(shè)置在所關(guān)注的像素周圍的上、下、右和左、右上對角、右下對角、左上對角、左下對角方向的全部方向。在該圖案中，W像素的比例等于所有有效像素的3/4。根據(jù)顏色像素被W像素包圍的特性，如關(guān)于根據(jù)本實(shí)施例的內(nèi)插處理所描述的那樣，可以適當(dāng)?shù)孬@取在水平方向、垂直方向、右對角方向和左對角方向上的相關(guān)值。因此，通過使用具有RGBW12圖案的圖像拾取元件，可以實(shí)現(xiàn)高精確度的內(nèi)插處理。RGBW12圖案具有比拜耳圖案和RGBW8圖案的W像素多的W像素，這可以提供用于提高圖像拾取元件201的靈敏度的效果。圖7D例示了被稱為RGBG12的CF圖案。在該圖案中，RGBW12中的W像素由G像素替換，并且CF以R:G:B＝2:12:2的比值被布置在4×4像素陣列中。該圖案被定義為使得紅色像素和藍(lán)色像素被綠色像素包圍，并且綠色像素的比例等于所有像素的3/4。紅色像素和藍(lán)色像素中的每個(gè)在上、下、右、左、右上對角、右下對角、左上對角和左下對角方向上與綠色像素相鄰。換句話說，紅色像素和藍(lán)色像素中的每個(gè)被綠色像素包圍。因此，就像如上所述的圖7B中具有RGBW12圖案的情況那樣，可以通過使用兩個(gè)或更多個(gè)相鄰綠色像素的像素?cái)?shù)據(jù)來獲取在垂直、水平、右對角、和左對角方向上的相關(guān)值。因此，通過使用具有RGBG12圖案的圖像拾取元件，可以實(shí)現(xiàn)高精確度的內(nèi)插處理。在綠色像素的值等于亮度值的所有像素位置可以獲得高分辨率的亮度值。靈敏度比紅色像素和藍(lán)色像素高的的綠色像素的比例較高，相比于拜耳圖案，這可以進(jìn)一步提高RGBG圖案的靈敏度。圖8A至8D例示了C(青色)、M(洋紅色)和Y(黃色)的互補(bǔ)顏色的CF的像素圖案的示例。圖8A例示了具有C:M:Y＝1:1:2的CF比值的拜耳圖案。圖8B例示了CMYW12圖案。在該圖案中，4×4像素的CF以C:M:Y:W＝1:1:2:12的比值被布置。圖8B例示了CMYW8圖案。在該圖案中，CF以C:M:Y:W＝2:2:4:8的比值被布置在4×4像素陣列中。圖8D例示了CMYY12圖案。同樣，在輸出顏色數(shù)據(jù)的像素被輸出分辨率數(shù)據(jù)的像素包圍的這些互補(bǔ)顏色的CF圖案中，如圖7A至7D中所示的情況，可以適當(dāng)?shù)貓?zhí)行本實(shí)施例的內(nèi)插處理。換句話說，在圖8B和8D中所示的圖案中可以適當(dāng)?shù)貓?zhí)行本實(shí)施例的內(nèi)插處理。如上所述，CF可以以各種圖案被布置。為了通過使用單個(gè)圖像傳感器來生成更高分辨率的圖像，可以提供更多生成分辨率數(shù)據(jù)的像素(拜耳圖案中的綠色像素，以及在具有W像素的圖像拾取元件中的W像素)。生成分辨率數(shù)據(jù)的綠色像素可以按方格圖案被布置為拜耳圖案，這可能導(dǎo)致內(nèi)插誤差。根據(jù)本發(fā)明，相比于在方格圖案中，提供更多的生成分辨率數(shù)據(jù)的像素，由此已發(fā)現(xiàn)出現(xiàn)更小的內(nèi)插誤差。因此，通過使用具有諸如上述CF圖案當(dāng)中的圖7B中的RGBW12、圖7D中的RGBG12、圖8B中的CMYW12和圖8D中的CMYY12之類的CF圖案的圖像拾取元件，可以顯著地呈現(xiàn)本發(fā)明的效果。這是因?yàn)椋涸趫D7B中的RGBW12、圖7D中的RGBG12、圖8B中的CMYW12和圖8D的CMYY12中高精確度的內(nèi)插所必需的像素位置處，在8個(gè)方向而非4個(gè)方向上提供可以生成亮度的亮度像素。在該情況中，可以如上所述獲取四個(gè)相關(guān)值(水平)、(深度)、(左對角)以及(右對角)。通過比較這些相關(guān)值，可以獲得關(guān)于在四個(gè)方向上的差的信息?；陉P(guān)于差的信息，內(nèi)插單元205可以執(zhí)行高精確度的內(nèi)插。因此，內(nèi)插單元205可以高精確度地獲得顏色像素位置處的亮度值。如上所述，從幾何角度看，被布置在生成顏色的顏色像素的4個(gè)邊的生成亮度的多個(gè)亮度像素以及共享顏色像素的4個(gè)頂點(diǎn)的多個(gè)亮度像素被布置。因此，可以通過高精確度的內(nèi)插來獲得顏色像素位置處的亮度信息。根據(jù)本示例性實(shí)施例，每個(gè)像素是矩形的，并且生成亮度的亮度像素在上、下、右、左、右上對角、右下對角、左上對角和左下對角方向的八個(gè)方向上與每個(gè)像素相鄰。本發(fā)明不限于此，而可以應(yīng)用于其中每個(gè)像素可以是六角形的并且亮度像素被布置為與六角形的6個(gè)邊相鄰的情況。另外，在該情況下，可以通過使用同一顏色的相鄰兩個(gè)像素的像素?cái)?shù)據(jù)來獲取垂直方向、水平方向、右對角方向和左對角方向的四個(gè)方向上的相關(guān)值，并且可以對相關(guān)值進(jìn)行比較以獲得關(guān)于它們之間的差的信息。因此，可以適當(dāng)?shù)貓?zhí)行根據(jù)本實(shí)施例的內(nèi)插處理。圖9A至9E例示了由圖1所示的內(nèi)插單元205執(zhí)行的處理。應(yīng)注意，圖9A至9E例示了圖像拾取元件201具有RGBW12圖案作為CF圖案的情況。圖9A例示了將從預(yù)處理單元204輸入的數(shù)據(jù)。預(yù)處理單元204可以根據(jù)需要對輸入信號Din執(zhí)行諸如偏移(OFFSET)校正和增益(GAIN)校正之類的校正處理，以生成已經(jīng)過校正處理的輸出Dout。該處理可以典型地由下面的表達(dá)式(5)表示。Dout＝(Din-OFFSET)·GAIN(5)該校正可以在各種單元中執(zhí)行。例如，可以對每個(gè)像素、每個(gè)列放大器、每個(gè)模數(shù)轉(zhuǎn)換單元(ADC)或每個(gè)輸出放大器執(zhí)行校正。執(zhí)行校正可以降低所謂的固定圖案噪聲，并且可以提供更高質(zhì)量的圖像。內(nèi)插單元205執(zhí)行“數(shù)據(jù)多路分用(datademultiplexing)”處理，該“數(shù)據(jù)多路分用”處理將從預(yù)處理單元204輸出的數(shù)據(jù)多路分用為W數(shù)據(jù)和(G信號、R信號和B信號的)顏色數(shù)據(jù)。如圖9B所示，4×4像素中的RGB像素的從中獲得W數(shù)據(jù)的像素的信號是未知的(附圖中由“？”指示)。如圖9D所示，因?yàn)轭伾珨?shù)據(jù)是從4×4像素的2×2像素獲得的，所以顏色數(shù)據(jù)具有低分辨率(是空間粗糙的)。接下來，內(nèi)插單元205通過使用周圍的信號來執(zhí)行用于對由“？”指示的信號進(jìn)行內(nèi)插的處理。該內(nèi)插處理可以基于各種方法中的任何一種方法來執(zhí)行。方法可包括：對上、下、右和左四個(gè)像素的信號求平均以便對周圍八個(gè)像素的信號求平均的方法(雙線性方法)、檢測周圍像素的邊緣并與邊緣方向垂直地執(zhí)行內(nèi)插處理的方法、以及檢測例如細(xì)線的圖案并在圖案的方向上執(zhí)行內(nèi)插處理的方法。內(nèi)插處理可以基于下面的方法來執(zhí)行。為了便于描述內(nèi)插方法，圖9C還例示了X坐標(biāo)和Y坐標(biāo)。例如，信號iWb是W數(shù)據(jù)中具有坐標(biāo)(3,3)的信號，并因此被指示為iWb(3,3)。因?yàn)楫?dāng)信號被輸入時(shí)iWb是未知的，所以需要內(nèi)插。例如，為了用周圍八個(gè)像素的信號的平均值來對iWb(3,3)進(jìn)行內(nèi)插，可以通過下面的表達(dá)式(6)來獲取iWb(3,3)。iWb(3,3)=W(2,2)+W(3,2)+W(4,2)+W(2,3)+W(4,3)+W(2,4)+W(3,4)+W(4,4)8---(6)]]>根據(jù)本示例性實(shí)施例，用周圍像素的信號值來對具有未知信號值的像素的信號進(jìn)行內(nèi)插。雖然例示了4×4像素陣列，但是可以用關(guān)于周圍八個(gè)像素的信息來對iWr和iWg進(jìn)行內(nèi)插，因?yàn)樗镜南嗤瑘D案被重復(fù)。接下來，內(nèi)插單元205通過使用經(jīng)內(nèi)插的W數(shù)據(jù)以及所提取的顏色數(shù)據(jù)來生成R數(shù)據(jù)、G數(shù)據(jù)和B數(shù)據(jù)的顏色數(shù)據(jù)?？梢曰诟鞣N方法計(jì)算將用于生成R數(shù)據(jù)、G數(shù)據(jù)和B數(shù)據(jù)的顏色。作為示例，顏色數(shù)據(jù)可以被標(biāo)準(zhǔn)化，以獲取顏色的比值。根據(jù)該方法，可以通過下面的表達(dá)式(7)來計(jì)算顏色的比值。RGB_ratio=RR+G+BGR+G+BBR+G+B---(7)]]>在該情況下，G=Gr+Gb2---(8)]]>代替地，可以獲取顏色數(shù)據(jù)與經(jīng)內(nèi)插的iWr、iWg和iWb的比值。在該情況下，可以通過下面的表達(dá)式(9)來計(jì)算顏色的比值。RGB_ratio=RiWrGr+GbiWgr+iWgbBiWb---(9)]]>根據(jù)本示例性實(shí)施例，應(yīng)用用于獲取顏色數(shù)據(jù)和經(jīng)內(nèi)插的iWr*iWgr*iWgb*iWb的比值的方法。這樣獲取的RGB_ratio(其為顏色和W信號或內(nèi)插值iWr*iWgr*iWgb*iWb的信號的比值)可以如表達(dá)式(10)中那樣被用于獲取與像素處的R、G和B的顏色對應(yīng)的信號值。RGB＝[R_ratio·WG_ratio·WB_ratio·W](10)在該情況下，滿足關(guān)系RGB_ratio＝[R_ratioG_ratioBratio](11)并且也使用所計(jì)算的顏色數(shù)據(jù)。通過由內(nèi)插單元205執(zhí)行的該處理，可以獲得各自具有4×4＝16個(gè)像素的分辨率的R數(shù)據(jù)、G數(shù)據(jù)和B數(shù)據(jù)。由內(nèi)插單元205生成的R數(shù)據(jù)、G數(shù)據(jù)和B數(shù)據(jù)是通過合成分辨率數(shù)據(jù)和顏色數(shù)據(jù)而生成的第一數(shù)據(jù)。接下來，參照圖10A至10E，將描述由轉(zhuǎn)換單元206執(zhí)行的處理。圖10A至10E例示了包括對顏色數(shù)據(jù)執(zhí)行上轉(zhuǎn)換處理和馬賽克處理并輸出拜耳數(shù)據(jù)的信號處理。圖10A例示了從內(nèi)插單元205輸入的數(shù)據(jù)。首先，如圖10B中所示，該數(shù)據(jù)被多路分用為R數(shù)據(jù)、G數(shù)據(jù)和B數(shù)據(jù)。經(jīng)顏色多路分用的顏色數(shù)據(jù)經(jīng)過上轉(zhuǎn)換處理，以具有垂直方向和水平方向上的雙倍分辨率。為了便于描述上轉(zhuǎn)換方法，圖10B、圖10C和圖10D還例示了X坐標(biāo)和Y坐標(biāo)。例如，帶有R的左上像素由R(1,1)指示，因?yàn)樗勺鴺?biāo)(1,1)處的R數(shù)據(jù)。圖10C中的R(1,1)與圖10B中R(1,1)處的像素直接關(guān)聯(lián)。圖10C中的所有像素(1,2)、(2,1)和(2,2)具有未知的信號值。根據(jù)本示例性實(shí)施例，最近鄰內(nèi)插被用于對未知信號值進(jìn)行內(nèi)插。該方法假設(shè)圖10C中的(2,1)、(1,2)和(2,2)的信號值等于R(1,1)的值。因此，如圖10D中所示，生成分辨率在垂直方向和水平方向上提高1倍的R數(shù)據(jù)、G數(shù)據(jù)和B數(shù)據(jù)。通過上轉(zhuǎn)換處理獲取的數(shù)據(jù)是通過對由內(nèi)插單元205生成的第一數(shù)據(jù)執(zhí)行上轉(zhuǎn)換處理而獲取的第二數(shù)據(jù)。接下來，為了執(zhí)行馬賽克處理，提取圖10D中的陰影像素。對于圖10D中的R數(shù)據(jù)，使用每個(gè)2×2像素陣列的信號當(dāng)中的具有最低X坐標(biāo)值和最低Y坐標(biāo)值的信號。即，使用在R(1,1)、R(3,1)、R(5,1)、R(7,1)、R(3,1)等處的信號。對于G數(shù)據(jù)，就像拜耳圖案中的數(shù)據(jù)那樣，提取方格圖案中的數(shù)據(jù)。對于B數(shù)據(jù)，使用每個(gè)2×2像素陣列的信號當(dāng)中的具有最低X坐標(biāo)值和最低Y坐標(biāo)值的信號。即，使用在B(2,2)、B(4,2)、B(6,2)、B(8,1)、B(4,2)等處的信號。因此，轉(zhuǎn)換單元206獲取圖10E中所示的馬賽克數(shù)據(jù)。轉(zhuǎn)換單元206將馬賽克數(shù)據(jù)輸出到圖像處理單元203。馬賽克數(shù)據(jù)是將用于由圖像處理單元203生成圖像的數(shù)據(jù)。根據(jù)本示例性實(shí)施例，將被輸入到圖像處理單元203的數(shù)據(jù)被布置為拜耳圖案。圖像處理單元203執(zhí)行參照圖1描述的操作。因此，圖像處理單元203生成拍攝對象的拍攝圖像。已經(jīng)通過使用被配置為執(zhí)行上述處理的成像裝置來執(zhí)行評估拍攝。為了評估分辨率感，已經(jīng)通過使用分辨率表來評估TV分辨率。作為另一個(gè)示例，如圖13A至13D所示，通過使轉(zhuǎn)換單元206執(zhí)行圖10A至10E中除上轉(zhuǎn)換處理之外的處理來生成馬賽克數(shù)據(jù)。作為比較例，馬賽克數(shù)據(jù)被圖像處理單元203用來生成拍攝圖像。通過基于上述方法的比較，已經(jīng)發(fā)現(xiàn)：通過執(zhí)行根據(jù)本示例性實(shí)施例的如圖10A至10E中所示的處理而獲取的拍攝圖像具有1000TV水平分辨率。另一方面，根據(jù)所述另一個(gè)示例的拍攝圖像具有900TV水平分辨率。因此，通過執(zhí)行上轉(zhuǎn)換處理并因此生成馬賽克數(shù)據(jù)而獲取的圖像可以具有更好的分辨率。像素信號的數(shù)目可以等于圖像拾取元件201的像素?cái)?shù)目，或者可以等于圖像拾取元件201中用于輸出信號的限制區(qū)域中的像素(其可被稱為部分讀取或剪裁)，或者可以等于在圖像拾取元件201中相加的信號之和(其可被稱為組合(binning))。因此，可以輸出比圖像拾取元件201的像素?cái)?shù)目少的像素信號。根據(jù)本示例性實(shí)施例的處理的效果可以通過對輸出像素信號執(zhí)行上轉(zhuǎn)換處理來實(shí)現(xiàn)，并且可以不依賴于圖像拾取元件201的像素的總數(shù)。本示例性實(shí)施例中的信號處理單元202和圖像處理單元203中的每個(gè)可以是安裝在半導(dǎo)體襯底上的集成電路。本示例性實(shí)施例的成像裝置可以應(yīng)用如下的堆疊式傳感器：在該堆疊式傳感器中，堆疊其上具有信號處理單元202的半導(dǎo)體基底和其上具有圖像拾取元件201的半導(dǎo)體基底。根據(jù)本示例性實(shí)施例，圖像處理單元203被設(shè)置在成像裝置的外部。作為另一個(gè)示例，成像裝置可以包含圖像處理單元203。已經(jīng)描述了，根據(jù)本示例性實(shí)施例，已經(jīng)過再馬賽克處理的數(shù)據(jù)被輸出到圖像處理單元203以形成圖像。本示例性實(shí)施例不限于此，而是可以將RGB數(shù)據(jù)從信號處理單元202輸出到圖像處理單元，或者可以將視頻數(shù)據(jù)從信號處理單元202直接輸出。通過使用已執(zhí)行上述處理的成像裝置來執(zhí)行評估拍攝?；谟糜讷@取分辨率感的TV分辨率來評估對象圖像。在圖3D和3E中的比較例中，以檢測方向性，通過使用其間具有第二顏色的像素的第一顏色的像素的像素?cái)?shù)據(jù)來獲取TV分辨率。因此，方向性計(jì)算的精確度低于本示例性實(shí)施例的方向性計(jì)算的精確度。因?yàn)樵诒容^例中不存在具有第一顏色的相鄰像素的列或行，所以線性拍攝對象的檢測精確度低于本示例性實(shí)施例的檢測精確度。由此，在比較例中線性拍攝對象的方向性的檢測精確度低于本示例性實(shí)施例的檢測精確度。作為基于上述方法的比較的結(jié)果，本實(shí)施例的輸出數(shù)據(jù)具有1000TV水平分辨率。另一方面，比較例的輸出數(shù)據(jù)具有900TV水平分辨率?？梢杂杀慌渲脼樘幚韽木哂邪荻鷪D案的RGB像素的圖像拾取元件201(而非如本實(shí)施例中的具有W像素的圖像拾取元件201)輸出的輸出信號的圖像處理單元203執(zhí)行本實(shí)施例的信號處理。因此，本實(shí)施例的信號處理可以減少用于設(shè)計(jì)專用于具有W像素的圖像拾取元件201的圖像處理單元203的成本。換句話說，本實(shí)施例的信號處理可以抑制成像裝置與圖像處理單元203之間的兼容性。因此，本實(shí)施例的信號處理可以生成具有降低的顏色噪聲的拍攝圖像，同時(shí)抑制成像裝置與圖像處理單元203之間的兼容性。根據(jù)本實(shí)施例的信號處理單元202和圖像處理單元203可以由諸如計(jì)算機(jī)之類的硬件來實(shí)現(xiàn)，所述計(jì)算機(jī)被使得執(zhí)行與信號處理方法對應(yīng)的軟件程序。本實(shí)施例的由信號處理單元202和圖像處理單元203執(zhí)行的信號處理方法可以被編程在將在諸如CD-ROM和DVD-ROM之類的記錄介質(zhì)中分發(fā)或通過通信分發(fā)的軟件中?？梢酝ㄟ^對從圖像拾取元件201輸出的多個(gè)幀的W數(shù)據(jù)和顏色數(shù)據(jù)求平均來獲取在圖9B和9D中例示的W數(shù)據(jù)和顏色數(shù)據(jù)?？商娲?，可以對N個(gè)幀的W數(shù)據(jù)求平均(其中N為等于或大于1的數(shù))，并且可以對多于N個(gè)幀的M幀的顏色數(shù)據(jù)求平均。在該情況下，可以生成具有降低的顏色噪聲的圖像，同時(shí)可以抑制分辨率感的降低。在檢測到在拍攝對象中包含運(yùn)動對象的情況下，可以使用1個(gè)幀的W數(shù)據(jù)和多個(gè)幀的顏色數(shù)據(jù)來生成圖像，而不對W數(shù)據(jù)求平均。在該情況下，可以獲得具有降低的顏色噪聲的圖像，同時(shí)防止拍攝對象的波動。在檢測到在拍攝對象中不包含運(yùn)動對象的情況下，圖像處理單元203可以每多個(gè)幀就對W數(shù)據(jù)和顏色數(shù)據(jù)求平均以生成圖像。另一方面，在檢測到在拍攝對象中包含運(yùn)動對象的情況下，圖像處理單元203可以根據(jù)每個(gè)幀的W數(shù)據(jù)和顏色數(shù)據(jù)來生成圖像。第二示例性實(shí)施例將主要關(guān)于與第一示例性實(shí)施例的不同之處來描述根據(jù)第二示例性實(shí)施例的成像裝置。本示例性實(shí)施例的成像裝置通過基于像素間的距離的加權(quán)以計(jì)算相關(guān)值來獲取相關(guān)值。本示例性實(shí)施例的圖像拾取元件201的像素被布置成基本方形的二維網(wǎng)格圖案。因此，關(guān)于要內(nèi)插的所關(guān)注的像素，到在對角方向上與所關(guān)注的像素相鄰的用于獲得差的像素的距離大于到在垂直方向上與所關(guān)注的像素相鄰的像素的距離。圖11A至11E例示了從所關(guān)注的像素到用于獲取差的另一像素的距離。圖11A例示了從所關(guān)注的像素B(3,3)到用于獲得差的相鄰像素的距離，所述差用于獲得關(guān)于像素B(3,3)的相關(guān)值。在計(jì)算距離之前，從所關(guān)注的像素的重心到用于獲得差的另一像素的重心的距離被定義為關(guān)于用于獲得差的兩個(gè)像素的重心的單個(gè)計(jì)算距離。例如，術(shù)語“重心”是指為一個(gè)像素設(shè)置的一個(gè)微透鏡的重心被投影到具有像素的半導(dǎo)體襯底的位置。如果像素具有一個(gè)光電轉(zhuǎn)換單元，則“重心”的另一示例可以是光電轉(zhuǎn)換單元的重心。在圖11A中的垂直方向上的差|W(2,2)-W(2,3)|與B(3,3)之間的單個(gè)計(jì)算距離101等于√5，其中一個(gè)像素具有間距2。在圖11A中的垂直方向上的差|W(2,1)-W(2,2)|與B(3,3)之間的單個(gè)計(jì)算距離202等于√13，其中一個(gè)像素具有間距2。在圖11A中的對角方向上的差|W(2,2)-W(4,3)|與B(3,3)之間的單個(gè)計(jì)算距離103等于√2，其中一個(gè)像素具有間距2。在圖11A中的對角方向上的差|W(4,3)-W(5,4)|與B(3,3)之間的單個(gè)計(jì)算距離104等于√10，其中一個(gè)像素具有間距2。將用于計(jì)算相應(yīng)的相關(guān)值的差的系數(shù)和單個(gè)計(jì)算距離相乘，并將其總和定義為計(jì)算距離。例如，可以如下計(jì)算根據(jù)第一示例性實(shí)施例的用于獲取相關(guān)值的在垂直方向上的計(jì)算距離(垂直)。計(jì)算距離(垂直)＝2×√5+2×√5+2×√5+2×√5＝8√5以相同的方式，針對其它方向進(jìn)行計(jì)算。計(jì)算距離(水平)＝8√5計(jì)算距離(右對角)＝4√2+4√10計(jì)算距離(左對角)＝4√2+4√10垂直計(jì)算距離和水平計(jì)算距離等于大約17.9，而在對角方向上的計(jì)算距離等于大約18.3。比值為約1.02倍。不同的計(jì)算距離(即，從所關(guān)注的像素到用于獲取差的像素的不同距離)意味著用于獲取空間方向性的距離不同。當(dāng)距離在用于獲取相關(guān)值的方向上不同時(shí)，在檢測方向性期間可能出現(xiàn)誤差。因此，希望計(jì)算距離盡可能相等，并且計(jì)算距離的最大值與最小值的比值優(yōu)選等于或小于2。根據(jù)本示例性實(shí)施例，獲取由圖11B、圖11C、圖11C和圖11E中的箭頭指示的與相鄰像素的差，以獲得相關(guān)值?？梢匀缦芦@得相關(guān)值：相關(guān)值(水平)＝|W(1,2)-W(2,2)|+|W(2,2)-W(3,2)|×3+|W(3,2)-W(4,2)|×3+|W(4,2)-W(5,2)|+|W(1,4)-W(2,4)|+|W(2,4)-W(3,4)|×3+|W(3,4)-W(4,4)|×3+|W(4,4)-W(5,4)|相關(guān)值(垂直)＝|W(2,1)-W(2,2)|+|W(2,2)-W(2,3)|×3+|W(2,3)-W(2,4)|×3+|W(2,4)-W(2,5)|+|W(4,1)-W(4,2)|+|W(4,2)-W(4,3)|×3+|W(4,3)-W(4,4)|×3+|W(4,4)-W(4,5)|相關(guān)值(左對角)＝|W(1,2)-W(2,3)|×2+|W(2,3)-W(3,4)|×2+|W(3,4)-W(4,5)|×2+|W(2,1)-W(3,2)|×2+|W(3,2)-W(4,3)|×2+|W(4,3)-W(5,4)|×2相關(guān)值(右對角)＝|W(1,4)-W(2,3)|×2+|W(2,3)-W(3,2)|×2+|W(3,2)-W(4,1)|×2+|W(2,5)-W(3,4)|×2+|W(3,4)-W(4,3)|×2+|W(4,3)-W(5,2)|×2各個(gè)計(jì)算距離如下所示。計(jì)算距離(水平)＝4√13+12√5計(jì)算距離(垂直)＝4√13+12√5計(jì)算距離(左對角)＝8√10+4√2計(jì)算距離(右對角)＝8√10+4√2垂直和水平方向上的計(jì)算距離等于大約41.26，而在對角方向上的計(jì)算距離等于大約30.96。比值為約1.33倍。作為基于上述方法的比較的結(jié)果，已經(jīng)發(fā)現(xiàn)，本實(shí)施例的輸出數(shù)據(jù)具有1050TV以上的水平分辨率，相比于第一示例性實(shí)施例呈現(xiàn)出更好的分辨率。第三示例性實(shí)施例根據(jù)第三示例性實(shí)施例，將描述應(yīng)用根據(jù)第一和第二示例性實(shí)施例中任一個(gè)的成像裝置的成像系統(tǒng)。成像系統(tǒng)是被配置為通過使用成像裝置來拍攝圖像和運(yùn)動圖片的裝置，并且例如可以是數(shù)字靜物照相機(jī)、數(shù)字?jǐn)z影機(jī)或監(jiān)視照相機(jī)。圖12例示了對數(shù)字靜物照相機(jī)應(yīng)用根據(jù)第一和第二示例性實(shí)施例中任一個(gè)的成像裝置的成像系統(tǒng)的示例的框圖。參照圖12，成像系統(tǒng)包括：使拍攝對象的光學(xué)圖像會聚在成像裝置301上的透鏡302以及能用于調(diào)節(jié)通過擋板303和透鏡302的光量以保護(hù)透鏡302的光圈。成像系統(tǒng)還包括被配置為處理從成像裝置301輸出的輸出信號的輸出信號處理單元305。輸出信號處理單元305具有根據(jù)第一和第二示例性實(shí)施例的任一個(gè)的圖像處理單元203。輸出信號處理單元305被設(shè)置在與其上具有成像裝置301的半導(dǎo)體襯底不同的半導(dǎo)體襯底上。輸出信號處理單元305具有被配置為根據(jù)需要對從成像裝置301輸出的信號執(zhí)行校正處理和壓縮處理并輸出所得到的信號的數(shù)字信號處理單元。成像系統(tǒng)還包括：緩沖存儲器單元306，其被配置為臨時(shí)存儲圖像數(shù)據(jù)；以及存儲介質(zhì)控制接口(I/F)單元307，其能用于對記錄介質(zhì)的寫入或讀取。成像系統(tǒng)還具有可拆卸地安裝或內(nèi)置在成像系統(tǒng)中，諸如半導(dǎo)體存儲器，能用于寫入或讀取所拍攝的數(shù)據(jù)的記錄介質(zhì)309。成像系統(tǒng)還包括：外部接口(I/F)單元308，其能用于與例如外部計(jì)算機(jī)通信；以及整體控制/計(jì)算單元310，其被配置為控制算術(shù)操作和整個(gè)數(shù)字靜物照相機(jī)。成像系統(tǒng)還具有被配置為向輸出信號處理單元305輸出定時(shí)信號的定時(shí)生成器311。可以從外部輸入諸如定時(shí)信號之類的控制信號，以代替定時(shí)生成器311。換句話說，成像系統(tǒng)可以至少包括成像裝置301和被配置為處理從成像裝置301輸出的輸出信號的輸出信號處理單元305。如上所述，根據(jù)本示例性實(shí)施例的成像系統(tǒng)能夠通過應(yīng)用根據(jù)第一和第二示例性實(shí)施例中任一個(gè)的成像裝置301來執(zhí)行成像操作。盡管已經(jīng)參照示例性實(shí)施例描述了本發(fā)明，但是應(yīng)理解，本發(fā)明不限于所公開的示例性實(shí)施例。所附權(quán)利要求的范圍應(yīng)被賦予最寬泛的解釋，從而包括所有這種修改和等同的結(jié)構(gòu)及功能。當(dāng)前第1頁1 2 3