本發(fā)明的實施例有關(guān)于一種圖像探測，以及更具體地，關(guān)于一種由圖像傳感器所探測的圖像及額外信息的處理。

背景技術(shù)：

除非另有說明，本節(jié)中描述的技術(shù)并非前面所列的權(quán)利要求的前案，也并非因在此節(jié)中納入而承認其為前案。

彩色圖像傳感器是一種偵測或探測可見光譜中的代表圖像的電磁波作為色彩信息或圖像數(shù)據(jù)的傳感器。圖像傳感器一般使用一個色彩濾波器陣列(colorfilterarray，cfa)，其通過紅光、綠光或藍光光給圖像傳感器的像素，形成對紅光、綠光以及藍光敏感的交錯網(wǎng)格(grid)。通常，圖像傳感器用色度像素來重現(xiàn)探測的彩色圖像，因此，圖像的色彩信息被色度像素所次采樣(subsampled)。色彩信息經(jīng)過例如圖像信號處理器(imagesignalprocessor，isp)的初步處理，使得圖像數(shù)據(jù)轉(zhuǎn)換為顯示的圖像。

有時，圖像傳感器在圖像獲取過程中需要除了色度信息以外的額外信息。傳統(tǒng)的技術(shù)是改變cfa的布局，以包含探測需要的額外信息的一個或多個像素?？墒?，必須要修改后續(xù)的初步處理的順序來適應(yīng)cfa布局的改變與探測的額外信息。不幸的是，這會需要isp的設(shè)計的改變以及因改變而增加的額外成本。

技術(shù)實現(xiàn)要素：

因此，本發(fā)明為了解決上面的技術(shù)問題，特提出一種圖像探測方法與圖像探測裝置。

本發(fā)明提供一種圖像探測方法包含：從圖像傳感器的像素陣列，接收由該像素陣列探測的數(shù)據(jù)，該探測的數(shù)據(jù)包含圖像數(shù)據(jù)與額外信息；從該探測的數(shù)據(jù)獲取該額外信息；以及以該探測的數(shù)據(jù)中沒有該額外信息的該圖像數(shù)據(jù)的處理方式來處理該探測的數(shù)據(jù)。

本發(fā)明另提供一種圖像探測方法，包含：從圖像傳感器的像素陣列，接收由該像素陣列探測的數(shù)據(jù)，該像素陣列包含能夠探測圖像數(shù)據(jù)的多個成像像素，該像素陣列還包含能夠探測額外信息的一個或多個信息像素，該探測的數(shù)據(jù)包含圖像數(shù)據(jù)與該額外信息，該圖像傳感器更包含拜耳濾波器馬賽克，使得該像素陣列的每個像素與該拜耳濾波器馬賽克的特定濾波器對齊，來探測紅光、綠光或藍光光譜內(nèi)的電磁波；從該探測的數(shù)據(jù)獲取該額外信息；以及以該探測的數(shù)據(jù)中沒有該額外信息的該圖像數(shù)據(jù)的處理方式來處理該探測的數(shù)據(jù)。

本發(fā)明另提供一種圖像探測裝置，包含：處理器，能夠執(zhí)行下面操作：從圖像傳感器的像素陣列，接收由該像素陣列探測的數(shù)據(jù)，該探測的數(shù)據(jù)包含圖像數(shù)據(jù)與額外信息；從該探測的數(shù)據(jù)獲取該額外信息；以及以該探測的數(shù)據(jù)中沒有該額外信息的該圖像數(shù)據(jù)的處理方式來處理該探測的數(shù)據(jù)。

本發(fā)明所提出的圖像探測方法與圖像探測裝置能夠不需要變換處理器的圖像處理來獲取全采樣圖像與采樣的額外信息。

本發(fā)明的這些及其他的目的對于本領(lǐng)域的技術(shù)人員來說，在閱讀了下述優(yōu)選實施例的詳細說明以后是很容易理解和明白的，所述優(yōu)選實施例通過多幅圖予以揭示。

附圖說明

圖1顯示根據(jù)本發(fā)明一實施例的示例場景100的示意圖。

圖2顯示根據(jù)本發(fā)明的一實施例的示例的cfa排列方案200。

圖3顯示根據(jù)本發(fā)明一實施例的cfa300的部分以及cfa350的部分。

圖4顯示本發(fā)明一實施例的cfa400的示例部分。

圖5顯示根據(jù)本發(fā)明一實施例的cfa500的示例部分。

圖6顯示根據(jù)本發(fā)明一實施例的示例裝置600。

圖7顯示根據(jù)本發(fā)明一實施例的示例流程700。

圖8顯示根據(jù)本發(fā)明一實施例的示例流程800。

具體實施方式

本說明書及權(quán)利要求書使用了某些詞語代指特定的組件。本領(lǐng)域的技術(shù)人員可理解的是，制造商可能使用不同的名稱代指同一組件。本文件不通過名字的差別，而通過功能的差別來區(qū)分組件。在以下的說明書和權(quán)利要求書中，詞語“包括”是開放式的，因此其應(yīng)理解為“包括，但不限于...”。

總攬

圖1顯示根據(jù)本發(fā)明一實施例的示例場景100的示意圖。場景100可包含圖像傳感器110以及處理器120，其能夠?qū)嵤┨岢龅呐c本發(fā)明一致的解決方案、技術(shù)方案、技術(shù)、方法以及各種變形方式。圖像傳感器110能夠探測的數(shù)據(jù)不僅包含圖像數(shù)據(jù)還包含不是圖像數(shù)據(jù)的額外信息138。處理器120可與圖像傳感器110連接并通信，來接收并處理圖像傳感器110探測到的數(shù)據(jù)。

如圖1所示，圖像傳感器110可包含像素陣列(arrayofpixels)112以及cfa114。像素陣列112可包含多行及多列像素，包含多個成像像素(imagingpixels)以及一個或多個信息像素。在本發(fā)明中，“成像像素”指的是能夠探測與圖像相關(guān)的例如色度、亮度與/或色彩相關(guān)數(shù)據(jù)(hue-relateddata)。在本發(fā)明中，“信息像素”指的是能夠探測除了圖像數(shù)據(jù)之外的信息，例如但不限于，相差信息(相差信息)與紅外光(infrared(ir)band)信息。

cfa114可包含一個陣列的色彩濾波器，例如紅光濾波器，其讓紅光光譜內(nèi)的電磁波132通過；綠光濾波器，其讓綠光光譜內(nèi)的電磁波134通過；以及藍光濾波器，其讓藍光光譜內(nèi)的電磁波136通過。這些紅光(r)，綠光(g)與藍光(b)的色彩濾波器可一起被稱作rgb色彩濾波器。在一些實施例中，cfa114可包含rgb色彩濾波器，其按某個規(guī)律排列形成一個拜耳濾波器馬賽克(bayerfiltermosaiccolor)。也就是說，在一些實施例中，cfa114中紅光濾波器、綠光濾波器、藍光濾波器的比例可為50％綠光，25％紅光，25％藍光。另外，cfa114可包含不同于拜耳濾波器馬賽克的比例的rgb色彩濾波器。

當cfa114放置在像素陣列112之上或與像素陣列112對齊，不管成像像素或信息像素的像素陣列112的每個像素，都是與cfa114的紅光濾波器、綠光濾波器或是藍光濾波器對齊。根據(jù)本發(fā)明，選擇每個信息像素的位置，使得每個信息像素將比像素陣列112探測的圖像的亮度貢獻(relativelylowcontributiontoluminance)低的成像像素替換掉，同時又維持色彩濾波器的基本布局。在紅、綠、藍三色光中，相比于紅光與綠光，藍光傾向于貢獻最少亮度。因此，在一些實施例中，當提到位置時，像素陣列112中的一個或多個信息像素的每個都可替換cfa114中與藍光濾波器對齊的特定的成像像素，來探測藍光光譜中的電磁波136。而且，為了確保恢復(fù)基本的布局，每個信息像素被成像像素所包圍，這些成像像素排列來探測光的顏色，這些光會被要用信息像素替換掉的成像像素所探測。當每個信息像素替換一個與cfa114的藍光濾波器對齊的成像像素來探測藍光光譜內(nèi)的電磁波時，每個信息像素被成像像素所包圍，而這些成像像素與cfa114對齊，來探測藍光光譜內(nèi)的電磁波136。如圖1所示的例子中，cfa114的紅光濾波器的位置標注為圖像傳感器110中的“r”，cfa114的綠光濾波器的位置標注為圖像傳感器110中的“g”，cfa114的藍光濾波器的位置標注為圖像傳感器110中的“b”，cfa114的與信息像素對齊的濾波器的位置標注為圖像傳感器110中的“a”。

處理器120可從圖像傳感器110接收探測的數(shù)據(jù)，包含圖像數(shù)據(jù)與額外信息138。根據(jù)本發(fā)明，處理器120可基于圖像數(shù)據(jù)獲取、決定或產(chǎn)生全采樣圖像(fully-sampledimage)142，也可以獲取采樣的額外信息144(sampledadditionalinformation)144。本發(fā)明提供的一個優(yōu)點是不需要變換處理器120的圖像處理來獲取全采樣圖像142與采樣的額外信息144。相反，在傳統(tǒng)技術(shù)中，對圖像處理的修改是必要的，因為cfa的布局的變化而修改來適應(yīng)信息像素。

圖2顯示根據(jù)本發(fā)明的一實施例的示例的cfa排列方案200。在方案200中，每個信息像素被兩個相對的列方向中每個(例如至少上面一列與至少下面一列)的至少一行像素以及兩個相對的行方向中每個(例如至少左面一列與至少右面一列)的至少一列像素所保圍，這些像素包含排列來于藍光光譜中探測至少該電磁波的成像像素。

在圖2的例子中，多行像素，就是行202(1)–202(5)，多列像素，就是列204(1)–204(5)。這些像素包含成像像素216，來探測紅光光譜內(nèi)的電磁波(圖2中標注為“r”)，成像像素214，來探測綠光光譜內(nèi)的電磁波(圖2中標注為“g”)，成像像素212，來探測藍光光譜內(nèi)的電磁波(圖2中標注為“b”)。信息像素218，代表方案200中的每個信息像素，其位于行202(3)與列204(3)的交匯處。在一些實施例中，當每個信息像素替換與藍光濾波器對齊的成像像素來探測藍光光譜內(nèi)的電磁波時，每個信息像素被與藍光濾波器對齊的并用來探測藍光光譜內(nèi)的電磁波的成像像素所包圍。在圖2所示的例子中，信息像素218的位置是會被與藍光濾波器對齊的用來探測藍光光譜內(nèi)的電磁波的成像像素212所占據(jù)。如此，信息像素218被用來探測藍光光譜內(nèi)的電磁波的成像像素212所包圍，例如在行202(1)、202(3)與202(5)以及列204(1)、204(3)與204(5)中的那些。

方案200可根據(jù)本發(fā)明不論圖像傳感器中的信息像素探測到的信息類型而使用。雖然方案200使用了拜耳濾波器馬賽克，方案200也可使用其他的濾波器布局。

圖3顯示根據(jù)本發(fā)明一實施例的cfa300的部分以及cfa350的部分。如圖3的(a)部分所示，圖像傳感器310的cfa300可以包含以拜耳濾波器馬賽克排列的rgb色彩濾波器。同樣，在圖3的部分(b)所示，圖像傳感器360的cfa350也可包含以拜耳濾波器馬賽克排列的rgb色彩濾波器。也就是說，在一些實施例中，cfa300與cfa350中的每個的紅光濾波器、綠光濾波器及藍光濾波器的比例可以是50％綠光，25％紅光與25％藍光。另外，cfa300與/或cfa350可包含不同于拜耳濾波器馬賽克比例的rgb色彩濾波器。

遵循方案200的原理，圖像傳感器310與圖像傳感器360中，每個信息像素能夠探測額外信息位于或占據(jù)一個成像像素的位置，該位置與cfa300或cfa350的藍光濾波器對齊，來探測藍光光譜內(nèi)的電磁波。在圖3所示的例子中，要探測的額外信息包含相差信息。舉例來說，物體的相差信息要被聚焦到一個圖像中，這在自動對焦性能方面對處理器120是有幫助的。一般地，相差是從至少兩組相偵測像素(phasedetection(pd)pixels)中計算得到，這些pd像素被稱為pd對，例如第一相位像素與第二相位像素。如此，圖像傳感器310與圖像傳感器360中的每個，一個或多個第一相位像素(圖3中標注為“p1”)以及一個或多個第二相位像素(圖3中標注為“p2”)。該一個或多個第一相位像素可用來探測電磁波的第一相位。該一個或多個第二相位像素可用來探測電磁波的第二相位，其中第一相位不同于第二相位。而且，一個或多個第一相位像素及一個或多個第二相位像素的每個可占據(jù)與cfa300或cfa350的藍光濾波器對齊的位置，來探測藍光光譜內(nèi)的電磁波。基于提出的分配，該一個或多個第一相位像素及一個或多個第二相位像素中的每個可被與cfa300或cfa350的藍光濾波器對齊的來探測藍光光譜內(nèi)的電磁波的成像像素所包圍。

而且，遵循方案200的原理，圖像傳感器310與圖像傳感器360中的每個信息像素都分別被與cfa300與cfa350的藍光濾波器對齊的成像像素所包圍，來探測藍光光譜內(nèi)的電磁波。換句話說，圖像傳感器510中的每個信息像素分別被兩個相對的列方向的每個的至少一行像素(例如該信息像素的上面一行以及下面一行)以及兩個相對的行方向的每個的至少一列像素(例如該信息像素的左面一列以及右面一列)所包圍，這些像素包含排列來探測藍光光譜內(nèi)的電磁波的成像像素。

圖4顯示本發(fā)明一實施例的cfa400的示例部分。如圖4所示，圖像傳感器410的cfa400可包含以拜耳濾波器馬賽克排列的rgb色彩濾波器。也就是說，在一些實施例中，cfa400中紅光濾波器、綠光濾波器與藍光濾波器的比例可為50％綠光，25％紅光及25％藍光。另外，cfa400可包含不同于拜耳濾波器馬賽克的比例的rgb色彩濾波器。

遵循方案200的原理，在圖像傳感器410中，能探測額外信息的每個信息像素都位于或占據(jù)與cfa400的一個藍光濾波器對齊的成像像素的位置，來探測藍光光譜內(nèi)的電磁波。在如圖4中所示的例子中，要探測的額外信息包含紅外光信息。例如，為了虹膜識別，紅外光信息可用來恰當?shù)刈R別用戶的眼睛的虹膜的紋理結(jié)構(gòu)。為了在同個圖像傳感器上實施虹膜識別與圖像功能，用于探測紅外光的像素可如圖4所示地均勻分布。如此，在圖像傳感器410中，存在一個或多個紅外像素(圖4中標注為“ir”)，這些一個或多個ir像素能夠探測紅外光信息。而且，該一個或多個ir像素的每個都占據(jù)了與與cfa400中的一個藍光濾波器對齊的位置，來探測藍光光譜內(nèi)的電磁波?；谔岢龅姆植迹撘粋€或多個ir像素的每個能被與cfa400對齊的成像像素所包圍，來探測藍光光譜內(nèi)的電磁波。

而且，遵循方案200的原理，圖像傳感器410中的每個信息像素都被與cfa400對齊的成像像素所包圍，來探測藍光光譜內(nèi)的電磁波。換句話說，圖像傳感器410中的每個信息像素都分別被兩個相對的列方向的每個的至少一行像素(例如該信息像素的上面一行以及下面一行)以及兩個相對的行方向的每個的至少一列像素(例如該信息像素的左面一列以及右面一列)所包圍，這些像素包含排列來探測藍光光譜內(nèi)的電磁波的成像像素。

圖5顯示根據(jù)本發(fā)明一實施例的cfa500的示例部分。如圖5所示，圖像傳感器510的cfa500可包含以拜耳濾波器馬賽克排列的rgb色彩濾波器。也就是說，在一些實施例中，cfa500中紅光濾波器、綠光濾波器與藍光濾波器的比例可為50％綠光，25％紅光及25％藍光。另外，cfa400可包含不同于拜耳濾波器馬賽克的比例的rgb色彩濾波器。

遵循方案200的原理，在圖像傳感器510中，能探測額外信息的每個信息像素都位于或占據(jù)與cfa500的一個藍光濾波器對齊的成像像素的位置，來探測藍光光譜內(nèi)的電磁波。在如圖5中所示的例子中，要探測的額外信息包含相差信息與紅外光信息。如此，圖像傳感器510中，存在一個或多個第一相位像素(圖5中標注為“p1”)以及一個或多個第二相位像素(圖3中標注為“p2”)以及一個或多個ir像素(圖5中標注為“ir”)。該一個或多個第一相位像素可用來探測電磁波的第一相位。該一個或多個第二相位像素可用來探測電磁波的第二相位，其中第一相位不同于第二相位。該一個或多個ir像素可用于探測紅外光信息。而且，一個或多個第一相位像素、一個或多個第二相位像素以及一個或多個ir像素的每個可占據(jù)與cfa500的藍光濾波器對齊的位置，來探測藍光光譜內(nèi)的電磁波。基于提出的分配，該一個或多個第一相位像素，一個或多個第二相位像素及一個或多個ir像素中的每個可被與cfa500對齊的成像像素所包圍，來探測藍光光譜內(nèi)的電磁波。

而且，遵循方案200的原理，圖像傳感器510中的每個信息像素都分別被與cfa500對齊的成像像素所包圍，來探測藍光光譜內(nèi)的電磁波。換句話說，圖像傳感器310與圖像傳感器360中的每個信息像素分別被兩個相對的列方向的每個的至少一行像素(例如該信息像素的上面一行以及下面一行)以及兩個相對的行方向的每個的至少一列像素(例如該信息像素的左面一列以及右面一列)所包圍，這些像素包含排列來探測藍光光譜內(nèi)的電磁波的成像像素。

需要注意的是，雖然圖3，圖4與圖5中所示的例子中的每個信息像素都占據(jù)與cfa對齊的位置來探測藍光光譜內(nèi)的電磁波，每個信息像素也可占據(jù)與cfa對齊的位置來探測另外一個可見光光譜內(nèi)的電磁波，該可見光對探測圖像具有較低的亮度貢獻。例如，在一些實施例中，每個信息像素占據(jù)與cfa對齊的位置來探測紅光光譜內(nèi)的電磁波。

另外，需要注意由一個或多個信息像素探測的額外信息可為相差信息與/或紅外光信息。本發(fā)明的范圍不限于探測相差信息，紅外光信息或兩者結(jié)合。換句話說，在一些實施例中，本發(fā)明的一個圖像傳感器可包含一個或多個能夠探測除了相差信息與紅外光信息之外的信息的信息像素，例如但不限于，探測可被偵測、監(jiān)控、測量或探測的環(huán)境參數(shù)(例如大氣壓力，濕度等等)。

具體實施例

圖6顯示根據(jù)本發(fā)明一實施例的示例裝置600。裝置600能實施上述的場景100以及下文所述的流程700與800。在一些例子中，裝置600可以是一電子裝置，例如但不限于智能手機、數(shù)碼相機、平板電腦、手提電腦、筆記本電腦、便攜式設(shè)備或可穿戴設(shè)備。在一些例子中，裝置600可用單個集成電路芯片、多個集成電路芯片或芯片組實施，這些芯片可以用在任何適當?shù)碾娮友b置中，例如但不限于上面提到的那些電子裝置。裝置600可包含一個或多個如圖6所示的組件。裝置600也可包含圖6之外的一個或多個其他組件，這些組件可能與本發(fā)明的范圍不相關(guān)。因此，為了避免模糊這里要闡釋的發(fā)明概念，裝置600的這類組件并沒有在圖6中顯示。

請參考圖6，裝置600可包含處理器610。處理器610可以是形式為一個或多個集成電路芯片的微處理器，也可以是，例如但不限于，圖像信號處理器(imagesignalprocessor，isp)、專用集成電路(application-specificintegratedcircuit，asic)、芯片上系統(tǒng)(systemonchip，soc)或中央處理單元(centralprocessingunit，cpu)等。處理器610可以是處理器120的一個實施例。處理器610可包含能夠?qū)嵤└鶕?jù)本發(fā)明所述的操作的硬件，且處理器610的硬件可包含，例如但不限于，一個或多個晶體管、一個或多個二極管、一個或多個電容、一個或多個電阻、一個或多個電感、一個或多個變?nèi)萜鳌⒁粋€或多個晶閘管以及/或一個或多個其他電子組件。在一些實施例中，處理器610可包含增益電路612，缺陷糾錯電路(defectcorrectioncircuit)614以及色彩內(nèi)插電路(colorinterpolationcircuit)616。在一些實施例中，處理器610也可包含存儲器618，其可以是，例如但不限于一個或多個緩存(cache)、一個或多個緩沖(buffer)以及/或一個或多個寄存器。存儲器618可儲存固件、一個或多組軟件指令以及/或其中的數(shù)據(jù)，處理器610能夠執(zhí)行該固件以及/或一個多組軟件指令來根據(jù)本發(fā)明執(zhí)行各種操作。另外，存儲器618可以在處理器610之外而非處理器610的一部分。

在一些實施例中，處理器610可從圖像傳感器620的像素陣列622接收像素陣列622探測到的數(shù)據(jù)。探測的數(shù)據(jù)可包含圖像數(shù)據(jù)與額外信息。圖像數(shù)據(jù)可包含，例如但不限于，圖像有關(guān)的色度、亮度以及色調(diào)相關(guān)數(shù)據(jù)。額外信息可包含，例如但不限于，相差信息、紅外光信息、其他環(huán)境參數(shù)的信息，或者前述信息的一個或全部的組合。處理器610可把探測數(shù)據(jù)儲存在存儲器618中。處理器610也可從探測數(shù)據(jù)獲取額外信息。而且，處理器610可以用探測數(shù)據(jù)中沒有額外信息的圖像數(shù)據(jù)的處理方式來處理探測數(shù)據(jù)。也就是說，處理器610可能夠處理包含圖像數(shù)據(jù)與額外信息的探測數(shù)據(jù)，該處理如同探測數(shù)據(jù)中僅包含了圖像數(shù)據(jù)那樣處理，同時處理器610仍能夠從探測數(shù)據(jù)獲取或抽取額外信息。這是由本發(fā)明所提供的優(yōu)于傳統(tǒng)技術(shù)的一個優(yōu)點。

在一些實施例中，裝置600也可包含圖像傳感器620與處理器610連接并可通信。圖像傳感器620可包含像素陣列622與cfa624。像素陣列622的像素可排列成行與列的形式，且可包含多個成像像素與一個或多個信息像素。多個成像像素能探測圖像數(shù)據(jù)。一個或多個信息像素能夠探測額外信息。cfa624可包含多個濾波器，且與像素陣列622對齊，使得像素陣列622的每個像素都對齊于cfa624的一個特定的濾波器，以探測紅光、綠光或藍光光譜內(nèi)的電磁波。在一些實施例中，cfa624可包含一個拜耳濾波器馬賽克。

在一些實施例中，當像素陣列622探測到的額外信息包含相差信息時，一個或多個信息像素可包含一個或多個第一相位像素能夠探測電磁波的第一相位，以及一個或多個第二相位像素能夠探測不同于第一相位的電磁波的第二相位。一個或多個第一相位像素與一個或多個第二相位像素的每個可占據(jù)與cfa624對齊的位置來探測藍光光譜內(nèi)的電磁波。一個或多個第一相位像素與一個或多個第二相位像素的每個可分別被兩個相對的列方向的每個的至少一行像素以及兩個相對的行方向的每個的至少一列像素所包圍，這些像素包含排列來探測藍光光譜內(nèi)的電磁波的成像像素。

在一些實施例中，當像素陣列622探測的額外信息包含紅外光信息時，一個或多個信息像素可包含一個或多個紅外像素。一個或多個紅外像素的每個可占據(jù)與cfa624對齊的位置來探測藍光光譜內(nèi)的電磁波。一個或多個紅外像素的每個可分別被兩個相對的列方向的每個的至少一行像素以及兩個相對的行方向的每個的至少一列像素所包圍，這些像素包含排列來探測藍光光譜內(nèi)的電磁波的成像像素。

在一些實施例中，在從探測數(shù)據(jù)獲取額外信息時，處理器610可能從像素陣列622接收額外信息，而不將額外信息作為探測數(shù)據(jù)的部分進行處理。舉例來說，通信信道(例如，導(dǎo)電線，線或模板(pattern))可在每個信息像素與處理器610之間連接，使得處理器610能從每個信息像素直接接收額外信息。另外一個例子中，處理器610可，對每個像素陣列622的像素(不論該像素是成像像素還是信息像素)，比較特定像素(respectivepixel)的數(shù)據(jù)值與cfa624對齊的多個相鄰像素探測的數(shù)據(jù)值的平均值比較，來于該光譜的同個光譜內(nèi)探測電磁波，因為該特定像素也是用來探測該光譜內(nèi)的電磁波?；诒容^的結(jié)果，處理器610可能決定該特定像素的數(shù)據(jù)值是否在一個預(yù)定范圍內(nèi)，相對于由其多個相鄰像素探測的數(shù)據(jù)值的平均值而言，這些相鄰像素對齊來探測同個光譜內(nèi)的電磁波。當由該特定像素探測的數(shù)據(jù)值與平均值之間的差值在預(yù)定范圍內(nèi)，處理器610可考慮并將該特定像素探測的數(shù)據(jù)看作受到噪音干擾而存在失真的色度。信息另一方面，當由該特定像素探測的數(shù)據(jù)值與平均值之間的差值在預(yù)定范圍外，處理器610考慮并將該特定像素探測的數(shù)據(jù)看作額外信息(例如相位差以及/或紅外光信息)。如此，處理器610可從抽取該特定像素探測的數(shù)據(jù)的值作為額外信息的部分，來回應(yīng)于由特定像素探測的數(shù)據(jù)的值的是在預(yù)定范圍外的決定。

在一些實施例中，在處理探測數(shù)據(jù)的方面與用來處理探測數(shù)據(jù)中沒有額外信息的圖像數(shù)據(jù)的方式一樣。處理器610能執(zhí)行多個操作。例如，處理器610的增益電路612可對探測數(shù)據(jù)執(zhí)行增益乘法(gainmultiplication)操作。處理器610的探測糾錯電路614可通過比較像素陣列622中的特定像素探測的數(shù)據(jù)與該特定像素相鄰的一個或多個其他像素探測的數(shù)據(jù)決定像素陣列622中的每個像素探測的數(shù)據(jù)是否有異常的。探測糾錯電路614也可糾正該異常，以回應(yīng)像素陣列622中的一個或多個像素所探測的數(shù)據(jù)中的異常的決定。處理器610的色彩內(nèi)插電路616可使用像素陣列622的成像像素的圖像數(shù)據(jù)所用的內(nèi)插方法來內(nèi)插探測數(shù)據(jù)。也就是，色彩內(nèi)插電路616可如探測中僅有圖像數(shù)據(jù)而沒有額外數(shù)據(jù)那樣來內(nèi)插探測數(shù)據(jù)，并使用傳統(tǒng)圖像傳感器在圖像數(shù)據(jù)上所用的內(nèi)插方法，即便探測數(shù)據(jù)也包含了額外信息。

在一些實施例中，在從探測數(shù)據(jù)獲取額外信息時，處理器610能夠在缺陷糾錯階段(defectcorrectionstage)之時或之前從探測數(shù)據(jù)中抽取額外信息。

在一些實施例中，像素陣列622的每個像素可與圖像傳感器620中的cfa624的一個特定濾波器對齊，來探測紅光、綠光或藍光光譜中的電磁波。在這樣的情形中，在從探測數(shù)據(jù)獲取額外信息時，處理器610能夠，回應(yīng)于像素陣列中一個或多個像素探測的數(shù)據(jù)中存在異常的決定，對該一個或多個像素執(zhí)行多個操作。例如，處理器610可決定該特定像素探測的數(shù)據(jù)值是否相較于對齊于cfa624的多個相鄰像素探測的數(shù)據(jù)值的平均值而言落入預(yù)定范圍，其中相鄰像素是探測特定光譜中的電磁波，而特定像素也是要探測特定光譜中的電磁波。處理器610也可抽取特定像素探測的數(shù)據(jù)值作為額外信息的部分，以回應(yīng)于特定像素探測的數(shù)據(jù)值落在預(yù)定范圍之外的決定。

圖7顯示根據(jù)本發(fā)明一實施例的示例流程700。流程700可包含一個或多個操作、動作、功能，其由一個或多個方框710、720與730來表示。雖然顯示為分離的方框，但是流程700的不同方框可以分割出更多方框，或者合并為更少方框，或者刪除一些方框，這取決于具體的實施需求。流程700的方框可以如圖7中所示的順序執(zhí)行，也可以其他順序執(zhí)行，這取決于具體的實施需求。流程700可以用裝置600的處理器120與處理器610實施。流程700可實施來達到或?qū)崿F(xiàn)場景100與方案200的技術(shù)，任何流程700都可實施來適應(yīng)示例cfa布局300、350、400及600也可以是其他變形的布局。僅僅是闡釋本發(fā)明而非限制本發(fā)明的范圍，流程700以裝置600的內(nèi)容在下文進行說明。流程700可從步驟710開始。

在步驟710，流程700可涉及裝置600的處理器610從圖像傳感器620的像素陣列622接收由像素陣列622探測的數(shù)據(jù)。像素陣列622可包含多個能探測圖像數(shù)據(jù)的成像像素。像素陣列622也可包含一個或多個能夠探測額外信息的信息像素。探測數(shù)據(jù)可包含圖像數(shù)據(jù)與額外信息。流程700可從步驟710進行到步驟720。

在步驟720，流程700可涉及裝置600的處理器610從探測數(shù)據(jù)獲取額外信息。流程700可從步驟720進行到步驟730。

在步驟730，流程700可涉及裝置600的處理器610以一種探測數(shù)據(jù)內(nèi)沒有額外信息的圖像數(shù)據(jù)的處理方式來處理探測數(shù)據(jù)。

在一些實施例中，額外信息可包含相差信息。一個或多個信息像素可包含一個或多個第一相位像素，能夠探測電磁波的第一相位，以及一個或多個第二相位像素,能夠探測與第一相位不同的電磁波的第二相位。在一些實施例中，像素陣列622可按照行與列來排列。圖像傳感器620也可包含cfa624，使得像素陣列622的每個像素可與cfa624中一個特定的濾波器對齊，來探測紅光、綠光或藍光光譜中的電磁波。該一個或多個第一相位像素與一個或多個第二相位像素的每個占據(jù)與cfa624對齊的特定位置，來探測藍光光譜內(nèi)的電磁波，并且分別被兩個相對的列方向的每個的至少一行像素以及兩個相對的行方向的每個的至少一列像素所包圍，這些像素包含排列來探測藍光光譜內(nèi)的電磁波的成像像素。

在一些實施例中，額外信息可包含紅外光信息。一個或多個信息像素可包含一個或多個紅外像素。在一些實施例中，像素陣列622可依照行與列來排列。圖像傳感器620也可包含cfa624，使得像素陣列622的每個像素可與cfa624的特定濾波器對齊，來探測紅光、綠光或藍光光譜中的電磁波。一個或多個紅外像素的每個可占據(jù)與cfa624對齊的特定位置來探測藍光光譜內(nèi)的電磁波，且分別被兩個相對的列方向的每個的至少一行像素以及兩個相對的行方向的每個的至少一列像素所包圍，這些像素包含排列來探測藍光光譜內(nèi)的電磁波的成像像素。

在一些實施例中，在從探測數(shù)據(jù)獲取額外信息時，流程700可涉及裝置600的處理器610從一個或多個信息像素接收額外信息，而不需要將額外信息的處理作為探測數(shù)據(jù)處理的一部分。

在一些實施例中，以探測數(shù)據(jù)中沒有額外信息的的圖像數(shù)據(jù)的處理方式來處理探測數(shù)據(jù)，流程700可涉及裝置600的處理器610執(zhí)行多個操作。例如，流程700可涉及處理器610在增益電路612的增益階段對探測數(shù)據(jù)執(zhí)行增益乘法操作。流程700也可涉及裝置600的處理器610決定，在缺陷糾錯電路614的缺陷糾錯階段，通過比較像素陣列622的特定像素探測的數(shù)據(jù)與特定像素的一個或多個相鄰像素所探測的數(shù)據(jù)，決定像素陣列622的每個像素的探測數(shù)據(jù)中是否存在異常。流程700還可涉及處理器610在缺陷糾錯電路614的缺陷糾錯階段進行異常糾正，以回應(yīng)像素陣列622的一個或多個像素探測的數(shù)據(jù)中存在異常的決定。流程700還可涉及裝置600的處理器610，在色彩內(nèi)插電路616的色彩內(nèi)插階段，對探測數(shù)據(jù)用像素陣列622的成像像素的圖像數(shù)據(jù)所用的內(nèi)插方法進行內(nèi)插。

在一些實施例中，在從探測數(shù)據(jù)獲取額外信息時，流程700可涉及裝置600的處理器610在缺陷糾錯階段之時或之前從探測數(shù)據(jù)抽取額外信息。

圖8顯示根據(jù)本發(fā)明一實施例的示例流程800。流程800可包含一個或多個操作、動作、功能，其由一個或多個方框810、820與830來表示。雖然顯示為分離的方框，但是流程700的不同方框可以分割出更多方框，或者合并為更少方框，或者刪除一些方框，這取決于具體的實施需求。流程800的方框可以如圖8中所示的順序執(zhí)行，也可以其他順序執(zhí)行，這取決于具體的實施需求。流程800可以用裝置600的處理器120與處理器610實施。流程800可實施來達到或?qū)崿F(xiàn)場景100與方案200的技術(shù)，任何流程800都可實施來適應(yīng)示例cfa布局300、350、400及600也可以是其他變形的布局。僅僅是闡釋本發(fā)明而非限制本發(fā)明的范圍，流程800以裝置600的內(nèi)容在下文進行說明。流程800可從步驟810開始。

在步驟810，流程800可涉及裝置600的處理器610從圖像傳感器620的像素陣列622接收由像素陣列622探測的數(shù)據(jù)。像素陣列622可包含多個能探測圖像數(shù)據(jù)的成像像素。像素陣列622也可包含一個或多個能夠探測額外信息的信息像素。探測數(shù)據(jù)可包含圖像數(shù)據(jù)與額外信息。圖像傳感器620也可包含cfa624，其可為一個拜耳濾波器馬賽克，使得像素陣列622的每個像素可以與拜耳濾波器馬賽克的特定濾波器對齊，來探測紅光、綠光或藍光光譜中的電磁波。流程800可從步驟810進行到步驟820。

在步驟820，流程800可涉及裝置600的處理器610從探測數(shù)據(jù)獲取額外信息。流程800可從步驟820進行到步驟830。

在步驟830，流程800可涉及裝置600的處理器610以一種探測數(shù)據(jù)內(nèi)沒有額外信息的圖像數(shù)據(jù)的處理方式來處理探測數(shù)據(jù)。

在一些實施例中，額外信息可包含相差信息，紅外光信息或兩者組合。

在一些實施例中，在從探測數(shù)據(jù)獲取額外信息時，流程800可涉及裝置600的處理器610從像素陣列接收額外信息，而不需要將額外信息的處理作為探測數(shù)據(jù)處理的一部分。

在一些實施例中，以探測數(shù)據(jù)中沒有額外信息的的圖像數(shù)據(jù)的處理方式來處理探測數(shù)據(jù)，流程800可涉及裝置600的處理器610執(zhí)行多個操作。例如，流程800可涉及處理器610在增益電路612的增益階段對探測數(shù)據(jù)執(zhí)行增益乘法操作。流程800也可涉及裝置600的處理器610決定，在缺陷糾錯電路614的缺陷糾錯階段，通過比較像素陣列622的特定像素探測的數(shù)據(jù)與特定像素的一個或多個相鄰像素所探測的數(shù)據(jù)，決定像素陣列622的每個像素的探測數(shù)據(jù)中是否存在異常。流程800還可涉及處理器610在缺陷糾錯電路614的缺陷糾錯階段進行異常糾正，以回應(yīng)像素陣列622的一個或多個像素探測的數(shù)據(jù)中存在異常的決定。流程800還可涉及裝置600的處理器610，在色彩內(nèi)插電路616的色彩內(nèi)插階段，對探測數(shù)據(jù)用像素陣列622的成像像素的圖像數(shù)據(jù)所用的內(nèi)插方法進行內(nèi)插。

在一些實施例中，在從探測數(shù)據(jù)獲取額外信息時，流程800可涉及裝置600的處理器610在缺陷糾錯階段之時或之前從探測數(shù)據(jù)抽取額外信息。

另外或可選地，從探測數(shù)據(jù)獲取額外信息的步驟還包含，回應(yīng)于由像素陣列622的一個或多個像素探測的數(shù)據(jù)中存在異常的決定，流程800可涉及裝置600的處理器610對該一個或多個像素的每個特定像素執(zhí)行操作。例如，流程800可涉及裝置600的處理器610決定，由該特定像素探測的數(shù)據(jù)值落入預(yù)定范圍，相較于由與cfa624對齊的多個相鄰像素探測的多個數(shù)據(jù)值的平均值，來探測特定光譜內(nèi)的電磁波，而該特定像素也排列來探測該特定光譜內(nèi)的電磁波。在一些實施例中，當由特定像素探測的數(shù)據(jù)值與該平均值的差值落入該預(yù)定范圍，可認為由該特定像素探測的數(shù)據(jù)是受到噪聲干擾而扭曲的色度信息。另一方面，當由該特定像素探測的數(shù)據(jù)值與該平均值的差值落在該預(yù)定范圍之外，可認為由該特定像素探測的數(shù)據(jù)是額外信息(例如相位差及/或紅外光信息)。流程800也可涉及裝置600的處理器610抽取由該特定像素探測的數(shù)據(jù)值來作為額外信息，以回應(yīng)于該特定像素探測的數(shù)據(jù)值落在該預(yù)定范圍之外的決定。

綜上所述，本說明書所描述的各種實施例都是為了闡釋本發(fā)明，這些實施例可以進行各種修改而不偏離本發(fā)明的范圍與精神。因此，本說明書所揭露的各種實施例都并非對本發(fā)明的限制，本發(fā)明的范圍應(yīng)以前面權(quán)利要求書中的權(quán)利要求的范圍為準。

本領(lǐng)域的技術(shù)人員將注意到，在獲得本發(fā)明的指導(dǎo)之后，可對所述裝置和方法進行大量的修改和變換。相應(yīng)地，上述公開內(nèi)容應(yīng)該理解為，僅通過所附加的權(quán)利要求的界限來限定。