專利名稱：使用二進(jìn)制傳感器確定顏色信息的制作方法
使用二進(jìn)制傳感器確定顏色信息
背景技術(shù)：
二進(jìn)制圖像傳感器可包括例如被設(shè)置成二維陣列的、多于IO9個(gè)單獨(dú)的光學(xué)檢測(cè)器。每個(gè)單獨(dú)的光學(xué)檢測(cè)器具有兩種可能的狀態(tài)未曝光的“黑色”狀態(tài)和曝光的“白色”狀態(tài)。因此，單獨(dú)的檢測(cè)器不重現(xiàn)不同的灰度梯度。圖像的局部亮度例如可以由白色像素的局部空間密度確定。二進(jìn)制圖像傳感器的單獨(dú)的光學(xué)檢測(cè)器的尺寸可以小于由數(shù)碼照相機(jī)的成像光學(xué)器件所提供的聚焦點(diǎn)的最小尺寸。然而，由于大的數(shù)據(jù)量，存儲(chǔ)或傳送這樣的二進(jìn)制數(shù)字圖像可能是困難的或不可能的。最終得到的圖像數(shù)據(jù)甚至可能如此之大，以致于在數(shù)碼照相機(jī)或甚至在臺(tái)式計(jì)算機(jī)上存儲(chǔ)和處理二進(jìn)制數(shù)字圖像變?yōu)椴粚?shí)際的。所以，對(duì)于實(shí)際的解決方案，需要一種改進(jìn)二進(jìn)制數(shù)字圖像傳感器的可應(yīng)用性的解決方案。

發(fā)明內(nèi)容
現(xiàn)在發(fā)明了借其緩和上述問題的改進(jìn)的方法和實(shí)施所述方法的技術(shù)設(shè)備。本發(fā)明的各種方面包括方法、設(shè)備、服務(wù)器、客戶端和包括存儲(chǔ)在其中的計(jì)算機(jī)程序的計(jì)算機(jī)可讀介質(zhì)，其特征在于獨(dú)立權(quán)利要求中所闡述的內(nèi)容。本發(fā)明的各種實(shí)施例在附屬權(quán)利要求中公開。二進(jìn)制像素是僅僅具有兩種狀態(tài)的像素，當(dāng)像素被曝光時(shí)的白色狀態(tài)和當(dāng)像素未被曝光時(shí)的黑色狀態(tài)。二進(jìn)制像素在它們的頂部具有濾色器，濾色器的設(shè)置在某種程度上是已知的。利用諸如最大似然估計(jì)那樣的統(tǒng)計(jì)方法的設(shè)置可被用來(lái)確定進(jìn)入的光的顏色以產(chǎn)生輸出圖像。因此，所述方法可以結(jié)合二進(jìn)制像素陣列被用來(lái)從由二進(jìn)制像素陣列記錄的輸入圖像產(chǎn)生圖像。按照第一方面，提供了一種用于產(chǎn)生輸出像素值的方法，包括接收二進(jìn)制像素值，所述二進(jìn)制像素值已經(jīng)利用具有濾色器的二進(jìn)制像素通過施加光而形成；通過使用一組所述二進(jìn)制像素值并且使估計(jì)函數(shù)最佳化而形成所述光的顏色的估計(jì)；和使用所述估計(jì)形成輸出像素值。按照一個(gè)實(shí)施例，所述方法還包括把所述二進(jìn)制像素暴露在通過被疊加在所述二進(jìn)制像素上的濾色器的光中，所述光穿過光學(xué)裝置，并從所述二進(jìn)制像素的輸出形成所述二進(jìn)制像素值。按照一個(gè)實(shí)施例，所述方法還包括使用似然估計(jì)和最小平方估計(jì)的組的至少一個(gè)形成所述估計(jì)，以及迭代地提煉所述估計(jì)。按照一個(gè)實(shí)施例，所述方法還包括使用所述二進(jìn)制像素值和關(guān)于所述濾色器的信息形成所述估計(jì)函數(shù)。按照一個(gè)實(shí)施例，所述方法還包括使用多個(gè)所述輸出像素值形成輸出圖像。按照第二方面，提供了一種設(shè)備，包括至少一個(gè)處理器、包括計(jì)算機(jī)程序代碼的存儲(chǔ)器，所述存儲(chǔ)器和計(jì)算機(jī)程序代碼被配置成通過所述至少一個(gè)處理器，使得設(shè)備接收二進(jìn)制像素值，所述二進(jìn)制像素值已經(jīng)利用具有濾色器的二進(jìn)制像素通過施加光而形成；通過使用一組所述二進(jìn)制像素值并且使估計(jì)函數(shù)最佳化而形成所述光的顏色的估計(jì)；和使用所述估計(jì)形成輸出像素值。按照一個(gè)實(shí)施例，所述設(shè)備還包括計(jì)算機(jī)程序代碼，被配置成通過處理器，使得設(shè)備把所述二進(jìn)制像素暴露在通過被疊加在所述二進(jìn)制像素上的濾色器的光中，所述光穿過光學(xué)裝置，并從所述二進(jìn)制像素的輸出形成所述二進(jìn)制像素值。按照一個(gè)實(shí)施例，所述設(shè)備還包括計(jì)算機(jī)程序代碼，被配置成通過處理器，使得所述設(shè)備使用似然估計(jì)和最小平方估計(jì)的組的至少一個(gè)形成所述估計(jì)，以及迭代地提煉(refine)所述估計(jì)。按照一個(gè)實(shí)施例，所述設(shè)備還包括計(jì)算機(jī)程序代碼，被配置成通過處理器，使得設(shè)備使用所述二進(jìn)制像素值和關(guān)于所述濾色器的信息形成所述估計(jì)函數(shù)。按照一個(gè)實(shí)施例，所述設(shè)備還包括計(jì)算機(jī)程序代碼，被配置成通過處理器，使得設(shè)備使 用多個(gè)所述輸出像素值形成輸出圖像。按照一個(gè)實(shí)施例，所述設(shè)備還包括用于形成圖像的光學(xué)裝置、用于檢測(cè)所述圖像的二進(jìn)制像素的陣列、和所述二進(jìn)制像素組。按照一個(gè)實(shí)施例，所述設(shè)備還包括被疊加在二進(jìn)制像素的陣列上的至少一個(gè)濾色器，所述濾色器以非對(duì)準(zhǔn)、不規(guī)則、隨機(jī)、和未知的疊加的組中的至少一種方式被疊加在所述二進(jìn)制像素陣列上。按照第三方面，提供了一種系統(tǒng)，包括至少一個(gè)處理器、包括計(jì)算機(jī)程序代碼的存儲(chǔ)器，所述存儲(chǔ)器和計(jì)算機(jī)程序代碼被配置成通過所述至少一個(gè)處理器，使得系統(tǒng)接收二進(jìn)制像素值，所述二進(jìn)制像素值已經(jīng)利用具有濾色器的二進(jìn)制像素通過施加光而形成；通過使用一組所述二進(jìn)制像素值并且使估計(jì)函數(shù)最佳化而形成所述光的顏色的估計(jì)；和使用所述估計(jì)形成輸出像素值。按照一個(gè)實(shí)施例，系統(tǒng)包括圖像獲取單元，被配置成形成所述二進(jìn)制像素值，并且包括用于形成圖像的光學(xué)裝置和用于檢測(cè)所述圖像的二進(jìn)制像素陣列，以及圖像處理單元，包括圖像處理器，被配置成通過使用多個(gè)所述二進(jìn)制像素值并且使估計(jì)函數(shù)最佳化而估計(jì)所述圖像的顏色。按照第四方面，提供了一種存儲(chǔ)在計(jì)算機(jī)可讀介質(zhì)上的并且在數(shù)據(jù)處理設(shè)備中可執(zhí)行的計(jì)算機(jī)程序產(chǎn)品，其中所述計(jì)算機(jī)程序產(chǎn)品包括用于接收二進(jìn)制像素值的計(jì)算機(jī)程序代碼段，所述二進(jìn)制像素值已經(jīng)利用具有濾色器的二進(jìn)制像素通過施加光而形成；用于通過使用一組所述二進(jìn)制像素值并且使估計(jì)函數(shù)最佳化而形成所述光的顏色的估計(jì)的計(jì)算機(jī)程序代碼段；和用于使用所述估計(jì)形成輸出像素值的計(jì)算機(jī)程序代碼段。按照一個(gè)實(shí)施例，所述計(jì)算機(jī)程序產(chǎn)品還包括用于使用多個(gè)所述輸出像素值形成輸出圖像的計(jì)算機(jī)程序代碼段。按照第五方面，提供了一種設(shè)備，包括處理裝置、存儲(chǔ)器裝置、用于接收二進(jìn)制像素值的裝置，所述二進(jìn)制像素值已經(jīng)利用具有濾色器的二進(jìn)制像素通過施加光而形成；用于通過使用一組所述二進(jìn)制像素值并且使估計(jì)函數(shù)最佳化形成所述光的顏色的估計(jì)的裝置；和用于使用所述估計(jì)形成輸出像素值的裝置。


在下面，將參照附圖更詳細(xì)地描述本發(fā)明的各種實(shí)施例，其中圖Ia顯示二進(jìn)制圖像；圖Ib顯示作為曝光量的函數(shù)的白色像素的密度；圖2a顯示女孩的灰階圖像；圖2b顯示女孩的二進(jìn)制圖像；
圖3a顯示對(duì)于單個(gè)像素的白色狀態(tài)的概率；圖3b顯示白色狀態(tài)的概率與波長(zhǎng)的相關(guān)性；圖4顯示用于獲取顏色信息的、在二進(jìn)制像素陣列的頂部上的Bayer矩陣型濾色器；圖5顯示用于形成輸出像素的、在二進(jìn)制像素陣列的頂部上的隨機(jī)濾色器；圖6顯示成像設(shè)備的框圖；圖7顯示用于從二進(jìn)制像素形成輸出像素的顏色信號(hào)單元；圖8顯示用于確定覆蓋二進(jìn)制像素陣列的濾色器布局的布置；
圖9顯示用于利用覆蓋二進(jìn)制像素陣列的濾色器確定進(jìn)入光的顏色的布置；圖10顯示通過統(tǒng)計(jì)方法確定光的顏色值；圖11顯示用于二維隨機(jī)變量的似然函數(shù)1140 ；圖12a顯示具有逐段恒定的濾色器值的濾色器馬賽克(mosaic)；圖12b顯示具有平滑改變的濾色器值的濾色器馬賽克；圖13a, 13b,和13c顯示示例的濾色器的紅色Xk、綠色Xe和藍(lán)色Xb分量；圖14a顯示二進(jìn)制像素陣列的示例的曝光；圖14b顯示用于二進(jìn)制像素陣列的示例的濾色器設(shè)定；圖14c顯示二進(jìn)制像素陣列的示例的曝光；圖15顯示用于通過統(tǒng)計(jì)方法確定光的顏色值的方法；以及圖16顯示用于通過統(tǒng)計(jì)方法確定光的顏色值的方法。
具體實(shí)施例方式在下面，將在二進(jìn)制像素陣列的情境中描述本發(fā)明的幾個(gè)實(shí)施例。然而，應(yīng)當(dāng)指出，本發(fā)明不限于二進(jìn)制像素陣列。事實(shí)上，開發(fā)了具有在其中通過部分不確定的過程把輸入像素值映射到輸出像素值的任何環(huán)境中廣泛應(yīng)用的不同示例性實(shí)施例。參照?qǐng)Dla，在示例性實(shí)施例中應(yīng)用的圖像傳感器可以是被設(shè)置成提供二進(jìn)制圖像IMGl的二進(jìn)制圖像傳感器。圖像傳感器可包括二維陣列的光檢測(cè)器，以使得每個(gè)光檢測(cè)器的輸出只具有兩種邏輯狀態(tài)。所述邏輯狀態(tài)在這里被稱為“黑色”狀態(tài)和“白色”狀態(tài)。圖像傳感器可被初始化，以使得所有的檢測(cè)器可以初始地處在黑色狀態(tài)。單獨(dú)的檢測(cè)器可以通過把它暴露到光中而被切換到白色狀態(tài)。因此，由圖像傳感器提供的二進(jìn)制圖像IMGl可以包含像素P1，它們分別處在黑色狀態(tài)或處在白色狀態(tài)。表述“白色像素”和“像素是白色的”是指處在白色狀態(tài)的像素。表述“黑色像素”相應(yīng)地是指處在黑色狀態(tài)的像素。這些表述不是像素的顏色的指示，它們僅僅描述像素是否由于光而被激活(白色狀態(tài)或“被照射”)，或像素是否保持未激活(黑色狀態(tài)或“未被照射”)。像素Pl可以按行和列被設(shè)置，S卩，輸入圖像頂Gl的每個(gè)像素Pl的位置可以由各個(gè)列的索引k和各個(gè)行的索引I規(guī)定。例如，圖Ia所示的像素Pl (3，9)是黑色，像素Pl (5，9)是白色。二進(jìn)制光檢測(cè)器例如可以通過提供具有非常高的轉(zhuǎn)換增益(低電容)的傳統(tǒng)的(比例)光檢測(cè)器而被實(shí)施。其它可能的方法包括使用雪崩或碰撞離子化來(lái)提供像素中的增益或量子點(diǎn)的使用。
圖Ib顯示作為光學(xué)曝光量H的函數(shù)的對(duì)于白色像素Pl的密度D的估計(jì)。曝光量H以對(duì)數(shù)尺度呈現(xiàn)。密度D是指在圖像MGl的一部分內(nèi)的白色像素Pl的數(shù)目與在所述部分內(nèi)像素Pl的總數(shù)的比值。密度值100%是指在所述部分內(nèi)的所有的像素都處在白色狀態(tài)。密度值0%是指在所述部分內(nèi)的所有的像素都處在黑色狀態(tài)。光學(xué)曝光量H正比于光強(qiáng)度和曝光時(shí)間。在零曝光量H下，密度D是0%。密度隨增加曝光量而增加，直至密度開始飽和接近上限100%為止。預(yù)定的像素Pl從黑色到白色的轉(zhuǎn)換是隨機(jī)現(xiàn)象。當(dāng)所述部分包含大數(shù)目的像素Pl時(shí)，在圖像頂Gl的所述部分內(nèi)的白色像素的實(shí)際密度遵循圖Ib的曲線。在單獨(dú)的像素的情形下，圖Ib的曲線也可以被解譯為代表對(duì)于其中在預(yù)定的光學(xué)曝光量H后，預(yù)定像素Pl的狀態(tài)從黑色狀態(tài)轉(zhuǎn)換成白色狀態(tài)的情形的概率(也見圖3a 和 3b)。當(dāng)曝光曲線的斜率A D/A log (H)足夠高時(shí)(大于或等于預(yù)定值)，輸入圖像IMGl被適當(dāng)?shù)仄毓?。典型地，這個(gè)條件在曝光量H大于或等于第一預(yù)定的極限HLOW并小于或等于第二預(yù)定的極限HHIGH時(shí)達(dá)到。因此，當(dāng)曝光量H小于第一預(yù)定的極限HLOW時(shí)，輸入圖像可能被欠曝光，并且當(dāng)H大于第二預(yù)定的極限HHIGH時(shí)，輸入圖像可能被過曝光。當(dāng)曝光量H小于第一極限HLOW或大于第二極限HHIGH時(shí)，輸入圖像MGl的信號(hào)噪聲比或輸入圖像頂Gl的較小部分的信號(hào)噪聲比可能是不可接受地低。在那些情形下，為了提高信號(hào)噪聲比，減小實(shí)際的空間分辨率可能是可接受的。二進(jìn)制圖像的一部分的曝光狀態(tài)取決于在所述部分內(nèi)白色和/或黑色像素的密度。因此，輸入圖像IMGl的一部分的曝光狀態(tài)可以例如根據(jù)在所述部分內(nèi)白色像素Pl的密度而被估計(jì)。在圖像的一部分內(nèi)的白色像素的密度取決于在所述部分內(nèi)黑色像素的密度。輸入圖像MGl的一部分的曝光狀態(tài)也可以例如通過使用以前由同一個(gè)圖像傳感器獲取的另外的輸入圖像頂Gl而被確定。輸入圖像MGl的一部分的曝光狀態(tài)也可以例如通過使用由另外的圖像傳感器獲取的另外的圖像而被估計(jì)?？杀挥糜诖_定曝光狀態(tài)的另外的圖像傳感器也可以是模擬傳感器。模擬圖像傳感器包括單獨(dú)的光檢測(cè)器，它們被設(shè)置成提供除黑色和白色以外的不同的灰度級(jí)。由模擬圖像傳感器獲取的圖像的不同的部分也可以被確定為欠曝光、適當(dāng)?shù)仄毓饣蜻^曝光。例如，當(dāng)由模擬圖像傳感器獲取的圖像的一部分中幾乎所有的像素的亮度值大于90%時(shí)，所述圖像部分可被歸類為過曝光。例如，當(dāng)由模擬圖像傳感器獲取的圖像的一部分中幾乎所有的像素的亮度值小于10%時(shí)，所述圖像部分可被歸類為欠曝光。當(dāng)像素的相當(dāng)?shù)牟糠志哂性?0%到90%的范圍內(nèi)的亮度值時(shí)，則圖像部分可以是相應(yīng)地被適當(dāng)?shù)仄毓狻D2a通過例子以灰度階顯示女孩的圖像。圖2b顯示對(duì)應(yīng)于圖2a的圖像的二進(jìn)制圖像。圖2b的圖像具有大的像素尺寸以便強(qiáng)調(diào)黑色和白色像素結(jié)構(gòu)。事實(shí)上，組成圖2b的圖像的二進(jìn)制像素常常小于組成圖2a的圖像的輸出像素。圖2b的幾個(gè)二進(jìn)制像素可以對(duì)應(yīng)于圖2a的一個(gè)模擬像素。圖2b上處在白色狀態(tài)的二進(jìn)制像素的密度可以具有與在圖2a上的模擬像素的灰度階亮度的對(duì)應(yīng)性。圖3顯示對(duì)于單個(gè)二進(jìn)制像素的曝光或狀態(tài)改變的概率，即，單個(gè)預(yù)定的像素的狀態(tài)從黑色狀態(tài)改變到白色狀態(tài)的概率。在圖Ib上，顯示了作為強(qiáng)度H的函數(shù)的、與黑色像素相比較的白色像素的密度。對(duì)應(yīng)地，參照?qǐng)D3a，像素具有處在白色狀態(tài)的概率，并且這個(gè)概率是強(qiáng)度的函數(shù)。例如，當(dāng)光學(xué)曝光量是氏時(shí)，像素Pl(l，l)具有處在白色狀態(tài)的50%概率，并且當(dāng)光學(xué)曝光量是H2時(shí)，像素Pl (2，I)具有處在白色狀態(tài)的50%概率。如上所述，光學(xué)曝光量H與光強(qiáng)度和曝光時(shí)間成比例。不同的像素可以具有不同的概率曲線，即，它們?cè)谶M(jìn)入光的相同的強(qiáng)度H下可以具有處在白色狀態(tài)的不同的概率。圖3b顯示作為擊打在濾色器與二進(jìn)制像素的組合上的光的波長(zhǎng)的函數(shù)的單個(gè)二進(jìn)制像素的狀態(tài)改變概率。在圖3b中，假設(shè)各個(gè)二進(jìn)制像素可以具有加到它們的頂部的濾色器，以使得進(jìn)入光的某個(gè)顏色波段能夠通過。在這樣的設(shè)置中，當(dāng)不同的二進(jìn)制像素被暴露到具有相同的強(qiáng)度但不同的波長(zhǎng)(顏色)的光時(shí)，其可以具有處在白色狀態(tài)的不同的概率。例如，在圖3b中，像素Pl (5，5)響應(yīng)于具有實(shí)質(zhì)上對(duì)應(yīng)于藍(lán)色的波長(zhǎng)的光。當(dāng)進(jìn)入光的波長(zhǎng)不同于藍(lán)色時(shí)，像素Pl (5,5)具有處在曝光 (白色)狀態(tài)的較低的概率。同樣地，像素Pl (5，2)響應(yīng)于具有實(shí)質(zhì)上對(duì)應(yīng)于綠色的波長(zhǎng)的光的，并且像素Pl (2，2)響應(yīng)于具有實(shí)質(zhì)上對(duì)應(yīng)于紅色的波長(zhǎng)的光。在二進(jìn)制像素的頂部上的濾色器可以設(shè)法用作為帶通濾色器，由此，下面的像素僅僅響應(yīng)于在某個(gè)顏色波段中的光，例如紅色、綠色或藍(lán)色或任何其它顏色或波長(zhǎng)的光。然而，濾色器可能是故意地或偶然地有缺陷的，帶通濾色器可能“泄漏”，這樣，也讓其它顏色通過。作為波長(zhǎng)的函數(shù)的像素被曝光的概率可能不是像圖3b中對(duì)于藍(lán)色像素(實(shí)線)、綠色像素(虛線)和紅色像素(點(diǎn)劃線)的鐘形函數(shù)那樣的規(guī)則形狀的函數(shù)。事實(shí)上，概率函數(shù)可能是不規(guī)則的，它可以具有幾個(gè)最大值，并且它可以具有平坦的尾部(即，具有不可忽略的幅值的長(zhǎng)尾部)，這樣，例如紅色像素在藍(lán)色光中被曝光的概率實(shí)際上不是零，而可以是例如3%，10%或30%或甚至更高。不同的顏色的像素的狀態(tài)改變概率函數(shù)實(shí)質(zhì)上可以是非重疊的，如圖3b上的情形那樣，這樣，單個(gè)顏色的光具有曝光實(shí)質(zhì)上相同的顏色而不是其它顏色的像素的概率。狀態(tài)改變概率函數(shù)也可以重疊，這樣，在紅色與綠色波長(zhǎng)之間的光具有曝光紅色像素Pl (2,2)和綠色像素Pl(5，2) 二者的相當(dāng)大的概率。狀態(tài)改變概率函數(shù)也可以隨不同的像素而變化。圖4顯示用于形成輸出像素的、在二進(jìn)制像素陣列的頂部上的Bayer矩陣型濾色器。在圖4中的二進(jìn)制像素Pl (k，I)的像素坐標(biāo)對(duì)應(yīng)于圖3b，并產(chǎn)生輸入圖像頂Gl。Bayer矩陣是具有濾色器的設(shè)置，濾色器在常規(guī)布局中被放置在光傳感器的頂部，其中每隔一個(gè)的濾色器是綠色，并且每隔一個(gè)的濾色器以交替的方式是紅色或藍(lán)色。所以，如圖4所示，實(shí)際上50%的濾色器是綠色(用向下對(duì)角線紋理顯示)，實(shí)際上25%的濾色器是紅色(用向上對(duì)角線紋理顯示)，和實(shí)際上25%的濾色器是藍(lán)色(用交叉圖案紋理顯示)。在其中Bayer矩陣被放置在二進(jìn)制像素陣列的頂部的設(shè)置中，單獨(dú)的濾色器FR，F(xiàn)G和FB可以覆蓋單個(gè)二進(jìn)制像素，或多個(gè)二進(jìn)制像素，例如4個(gè)二進(jìn)制像素、9. 5個(gè)二進(jìn)制像素、20. 7個(gè)二進(jìn)制像素、100個(gè)二進(jìn)制像素、1000個(gè)二進(jìn)制像素或甚至更多。如果二進(jìn)制輸入像素的中心之間的距離在寬度上是wl并且在高度上是hl，則單獨(dú)Bayer矩陣濾色器的中心之間的距離在寬度上可以是w4并且在高度上是h4，由此w4 > wl并且h4 > hi。因此,濾色器可以覆蓋幾個(gè)二進(jìn)制像素。單獨(dú)濾色器可以是緊密間隔的，它們可以在其間具有間隙(在其間留有一個(gè)區(qū)域，讓所有的顏色通過)，或它們可以互相重疊。濾色器可以是方形、矩形、六角形或任何其它形狀。圖像MGl的二進(jìn)制像素可以形成對(duì)應(yīng)于輸出圖像MG2的像素P2(i，j)的組GRP(i，j)。這樣，可以形成在輸入圖像頂Gl與輸出圖像MG2之間的映射。組GRP(i，j)可包括具有不同顏色的濾色器的二進(jìn)制像素。所述組可以具有相同的尺寸，或它們可以具有不同的尺寸。所述組可以是規(guī)則的形狀，或它們可以具有不規(guī)則的形狀。所述組可以互相重疊，它們可以互相相鄰，或它們可以在各個(gè)組之間具有間隙。在圖4中，作為例子，對(duì)應(yīng)于圖像MG2的像素P2(l，l)的組GRP (I，I)覆蓋圖像頂Gl的64 (8 X 8)個(gè)二進(jìn)制像素，也就是，組GPR(1，I)包括像素Pl (I，1)-P1 (8，8)。組GRP(1，j)的邊界可以與濾色器FR，F(xiàn)G，F(xiàn)B的邊界一致，但這并不是必須的。組邊界也可以相對(duì)于Bayer矩陣濾色器的邊界位移和/或不對(duì)準(zhǔn)。以此方式，圖像MGl的組GPR(i，j)可被用來(lái)形成圖像MG2中的像素P2(i，j)。像素P2(i，j)的中心之間的距離在寬度上可以是w2并且高度上是h2。輸出像素P2可以分別具有《2和h2的尺寸，或它們可以更小或更大。
圖5顯示用于形成輸出像素的、在二進(jìn)制像素陣列的頂部上的隨機(jī)濾色器。如對(duì)于圖4那樣，圖像MGl包括二進(jìn)制像素Pl (k，I)，它可被分組成組GRP (i，j)，這些組對(duì)應(yīng)于圖像MG2中的像素P2(i，j)，并且圖像MGl和MG2的設(shè)置是與圖4中相同。然而，與圖4不同，圖5的濾色器FG，F(xiàn)R和FB不是規(guī)則形狀的或以規(guī)則的布置被設(shè)置。濾色器可以具有不同的尺寸，并可以以隨機(jī)方式被放置在二進(jìn)制像素的頂部。濾色器可以互相間隔開地放置，它們可以互相相鄰，或它們可以互相重疊。濾色器可以在濾色器之間留有空間，這可以讓所有的顏色或波長(zhǎng)的光通過，或替換地，實(shí)質(zhì)上根本不讓光通過。某些像素Pl (k，I)可以是不起作用的像素PZZ，它們被永久地堵塞(jam)在白色(曝光的)狀態(tài)或黑色(未曝光的)狀態(tài)，或另行給出不良好地取決于進(jìn)入光的強(qiáng)度的錯(cuò)誤信號(hào)。像素Pl(k，I)可以具有對(duì)于處在白色狀態(tài)的不同的概率函數(shù)作為進(jìn)入光的強(qiáng)度的函數(shù)。像素Pl (k，I)可以具有對(duì)于處在白色狀態(tài)的不同的概率函數(shù)作為進(jìn)入光的波長(zhǎng)的函數(shù)。這些特性可以是由于像素本身的缺陷或重疊的濾色器的缺陷。例如，濾色器可以具有不同于紅色、綠色和藍(lán)色的顏色。對(duì)于如圖5所示的布置，組GPR(i，j)可包括變化的數(shù)目的、具有綠色G濾色器、紅色R濾色器或藍(lán)色B濾色器的二進(jìn)制像素。而且，不同的紅、綠和藍(lán)二進(jìn)制像素可以不同地放置在不同的組GPR(i，j)中。紅、綠和藍(lán)像素和不帶有濾色器的像素的平均數(shù)實(shí)質(zhì)上跨各個(gè)組GPR(i，j)可以是相同的，或紅、綠和藍(lán)像素和不帶有濾色器的像素的平均數(shù)(密度)可以按照已知的或未知的分布跨各個(gè)組GPR(i，j)變化。圖6顯示成像設(shè)備的框圖。參照?qǐng)D6，成像設(shè)備500可包括成像光學(xué)器件10和用于獲取物體的二進(jìn)制數(shù)字輸入圖像頂Gl的圖像傳感器100，和信號(hào)處理單元(S卩，顏色信號(hào)單元)CSU1，被設(shè)置用于根據(jù)輸入圖像MGl提供輸出圖像MG2。成像光學(xué)器件10可以是例如聚焦透鏡。輸入圖像頂Gl可以描繪物體，例如風(fēng)景、人臉、或動(dòng)物。輸出圖像MG2可以描繪相同的物體，但以較低的空間分辨率或像素密度。圖像傳感器100可以是包括二維陣列的光檢測(cè)器的二進(jìn)制圖像傳感器。檢測(cè)器可以被例如以大于10000列和大于10000行設(shè)置。圖像傳感器100可包括例如大于IO9個(gè)單獨(dú)的光檢測(cè)器。由圖像傳感器100獲取的輸入圖像IMGl可包括以例如41472列和31104行設(shè)置的像素(圖像數(shù)據(jù)大小I. 3* IO9比特，S卩，I. 3GB，或160兆字節(jié))。對(duì)應(yīng)的輸出圖像MG2可以具有較低的分辨率。例如，對(duì)應(yīng)的輸出圖像MG2可包括例如以2592列和1944行設(shè)置的像素(圖像數(shù)據(jù)大小約為5 IO6像素，對(duì)于每個(gè)顏色R、G、B每個(gè)像素8比特，總的數(shù)據(jù)大小I. 2 .IO8比特，即，約120MB，或15兆字節(jié))。因此，圖像尺寸可以例如減小10( =I. 3 109/1. 2 IO8)倍。二進(jìn)制輸入圖像IMGl的數(shù)據(jù)大小例如可以大于或等于對(duì)應(yīng)的輸出圖像IMG2的數(shù)據(jù)大小的4倍，其中數(shù)據(jù)大小例如可以用為了描述圖像信息所需要的比特的總數(shù)來(lái)指示。如果需要較高的數(shù)據(jù)減小，則輸入圖像IMGl的數(shù)據(jù)大小可以大于對(duì)應(yīng)的輸出圖像IMG2的數(shù)據(jù)大小的10倍，20倍，50倍，或甚至100或1000倍。成像設(shè)備500可包括輸入存儲(chǔ)器MEMl、用來(lái)存儲(chǔ)輸出圖像MG2的輸出存儲(chǔ)器MEM2、用于存儲(chǔ)諸如神經(jīng)網(wǎng)絡(luò)系數(shù)或權(quán)重或其它數(shù)據(jù)的與圖像處理有關(guān)的數(shù)據(jù)的存儲(chǔ)器MEM3、用于例如存儲(chǔ)用于數(shù)據(jù)處理算法和其它程序和數(shù)據(jù)的計(jì)算機(jī)程序代碼的工作存儲(chǔ)器MEM4、顯示器400、用來(lái)控制成像設(shè)備500的操作的控制器220、和用來(lái)接收來(lái)自用戶的命令的用戶接口 240。
輸入存儲(chǔ)器MEMl可以至少臨時(shí)存儲(chǔ)輸入圖像IMGl的像素Pl的至少幾行或列。因此，輸入存儲(chǔ)器可以被設(shè)置成存儲(chǔ)輸入圖像IMGl的至少一部分，或它可被設(shè)置成存儲(chǔ)整個(gè)輸入圖像頂G1。輸入存儲(chǔ)器MEMl可被設(shè)置成例如駐留于與圖像傳感器100相同的模塊中，以便圖像傳感器的每個(gè)像素可以具有一個(gè)、兩個(gè)或多個(gè)可操作地連接到圖像傳感器像素、用于存儲(chǔ)由圖像傳感器記錄的數(shù)據(jù)的存儲(chǔ)位置。信號(hào)處理器CSUl可被設(shè)置來(lái)處理由圖像傳感器100獲取的像素值MGl。處理可以通過例如使用神經(jīng)網(wǎng)絡(luò)或其它方式進(jìn)行，并且在處理中可以使用來(lái)自存儲(chǔ)器MEM3的系數(shù)或權(quán)重。信號(hào)處理器CSUl可以把它的輸出數(shù)據(jù)，例如輸出圖像MG2，存儲(chǔ)到MEM2或MEM3 (圖上未示出)。信號(hào)處理器CSUl可以獨(dú)立地工作，或它可以由控制器220 (例如通用處理器)進(jìn)行控制。輸出圖像數(shù)據(jù)可以從信號(hào)處理單元200和/或從輸出存儲(chǔ)器MEM2經(jīng)由數(shù)據(jù)總線242被發(fā)送到外部存儲(chǔ)器EXTMEM。信息可以例如經(jīng)由互聯(lián)網(wǎng)和/或經(jīng)由移動(dòng)電話網(wǎng)被發(fā)送。存儲(chǔ)器MEM1、MEM2、MEM3、和/或MEM4在物理上可以位于同一個(gè)存儲(chǔ)器單元中。例如，存儲(chǔ)器MEM1、MEM2、MEM3、和/或MEM4可以被在在同一個(gè)部件中分配存儲(chǔ)器區(qū)域。存儲(chǔ)器1￡] 1、]\^]\12、]\^]\0、]\^]\14、和/或MEM5也可以在物理上與各處理單元相關(guān)地定位，例如，以便存儲(chǔ)器MEMl與圖像傳感器100相關(guān)地定位，存儲(chǔ)器MEM3與信號(hào)處理器CSUl相關(guān)地定位，以及存儲(chǔ)器MEM3和MEM4與控制器20相關(guān)地定位。成像設(shè)備500還可包括顯示器400，用于顯示輸出圖像MG2。另外，輸入圖像MGl也可以被顯示。然而，由于輸入圖像IMGl的尺寸可能非常大，因此可以一次只有小部分的輸入圖像以完全分辨率被顯示。成像設(shè)備500的用戶可以使用接口 240，例如用于選擇圖像獲取模式、曝光時(shí)間、光學(xué)變焦(即，光學(xué)放大)、數(shù)字變焦(即，數(shù)字圖像的剪輯)、和/或輸出圖像IMG2的解析。成像設(shè)備500可以是帶有圖像傳感器的任何設(shè)備，例如，數(shù)碼照相機(jī)或數(shù)字?jǐn)z像機(jī)、便攜式或固定電子設(shè)備，如移動(dòng)電話、筆記本電腦或臺(tái)式計(jì)算機(jī)、攝像機(jī)、電視機(jī)或屏幕、顯微鏡、望遠(yuǎn)鏡、汽車或摩托車、飛機(jī)、直升飛機(jī)、衛(wèi)星、艦船或植入物(如眼睛植入物)。成像設(shè)備500還可以是在任何上述設(shè)備中使用的模塊，由此成像設(shè)備500可以例如借助于有線或無(wú)線連接，或光連接，以固定的或可拆卸的方式可操作地連接到所述設(shè)備。設(shè)備500也可以省略具有圖像傳感器。在設(shè)備500中存儲(chǔ)來(lái)自另一個(gè)設(shè)備的二進(jìn)制像素的輸出并且僅僅處理二進(jìn)制圖像頂Gl也是可行的。例如，數(shù)碼照相機(jī)可以存儲(chǔ)原始格式的二進(jìn)制像素以供隨后的處理。原始格式圖像頂Gl然后可以在設(shè)備500中立即或在以后時(shí)間進(jìn)行處理。所以，設(shè)備500可以是具有用于處理二進(jìn)制圖像頂Gl的裝置的任何設(shè)備。例如，設(shè)備500可以是移動(dòng)電話、筆記本電腦或臺(tái)式計(jì)算機(jī)、攝像機(jī)、電視機(jī)或屏幕、顯微鏡、望遠(yuǎn)鏡、汽車或摩托車、飛機(jī)、直升飛機(jī)、衛(wèi)星、艦船或植入物(如眼睛植入物)。設(shè)備500還可以是在任何的上述設(shè)備中使用的模塊，由此成像設(shè)備500可以例如借助于有線或無(wú)線連接或光連接以固定的或可拆卸的方式可操作地連接到所述設(shè)備。設(shè)備500可被實(shí)施為計(jì)算機(jī)程序產(chǎn)品，其包括用于從原始圖像確定輸出圖像的計(jì)算機(jī)程序代碼。設(shè)備500還可被實(shí)施為服務(wù)，其中各種部件和處理能力都位于網(wǎng)絡(luò)中。所述服務(wù)能夠處理原始的或二進(jìn)制圖像MGl以便形成輸出圖像MG2給所述服務(wù)的用戶。處理還可以分布在幾個(gè)設(shè)備之間?？刂茊卧?20可被設(shè)置來(lái)控制成像設(shè)備500的操作。控制單元220可被設(shè)置來(lái)發(fā)送信號(hào)到圖像傳感器100，例如，以便設(shè)置曝光時(shí)間，以便啟動(dòng)曝光，和/或以便重新設(shè)置圖像傳感器100的像素。控制單元220可被設(shè)置來(lái)發(fā)送信號(hào)到成像光學(xué)器件10，例如用于執(zhí)行聚焦，用于光學(xué)變焦，和/或用于調(diào)節(jié)光學(xué)孔徑。由于按照本發(fā)明的圖像處理，輸出存儲(chǔ)器MEM2和/或外部存儲(chǔ)器EXTMEM可以比沒有進(jìn)行所述圖像處理存儲(chǔ)更大數(shù)目的輸出圖像頂G2。替換地或此外，存儲(chǔ)器MEM2和/或EXTMEM的尺寸比沒有進(jìn)行所述圖像處理的更小。經(jīng)由數(shù)據(jù)總線242的數(shù)據(jù)傳輸速率也可以被降低。由于在信號(hào)處理器CSUl中的處理，可以實(shí)現(xiàn)這些優(yōu)點(diǎn)而在圖像分辨率上沒有可見的損失。圖7顯示用于從二進(jìn)制像素形成輸出像素的顏色信號(hào)單元CSU1。顏色信號(hào)單元或信號(hào)處理器CSUl可以具有對(duì)應(yīng)于輸入圖像MGl中的像素Pl的大數(shù)目的輸入，例如16，35，47，64，280，1400，4096，10000或更多。例如，輸入可以對(duì)應(yīng)于組GRP (i，j)的二進(jìn)制像素并且可以是從像素Pl (m+0, n+0)到Pl (m+7, n+7)的二進(jìn)制值，二進(jìn)制值指示所對(duì)應(yīng)的像素是否被曝光(相應(yīng)地，是白色還是黑色狀態(tài))。在圖7上，標(biāo)號(hào)m和n可以規(guī)定輸入像素組GRP(i,j)的左上角的坐標(biāo)，它被饋送到顏色信號(hào)單元CSUl的輸入。例如，當(dāng)對(duì)于組GRP(1，I)進(jìn)行處理時(shí)，為了計(jì)算輸出像素P2(l，l)的顏色值，可以把輸入像素Pl (1，I)，Pl (2，I)，Pl (3，I)…Pl (6，8)，Pl (7，8)和Pl (8，8)的值(即，狀態(tài))饋送到顏色信號(hào)單元CSUl的64個(gè)不同的輸入。顏色信號(hào)單元或信號(hào)處理器CSUl可以取其它數(shù)據(jù)作為輸入，例如，與組GRP (i，j)的處理有關(guān)的數(shù)據(jù)PARA(i，j)或與所有的或某些組的處理有關(guān)的一般數(shù)據(jù)。它可以通過組合這些數(shù)據(jù)成輸入值Pl而使用這些數(shù)據(jù)PARA，或數(shù)據(jù)PARA可被用來(lái)控制顏色信號(hào)單元CSUl的工作參數(shù)。顏色信號(hào)單元可以具有例如3個(gè)輸出，或任何其它數(shù)目的輸出。輸出像素P2(i，j)的顏色值可以通過確定例如三個(gè)不同的輸出信號(hào)用于紅色分量的\(1，j)，用于 綠色分量的Se(i，j)，用于藍(lán)色分量的5^1，j)而被規(guī)定。輸出可以對(duì)應(yīng)于輸出像素P2(i，j)，例如，輸出可以是輸出像素的顏色值紅、綠和藍(lán)。顏色信號(hào)單元CSUl可以對(duì)應(yīng)于一個(gè)輸出像素，或更大數(shù)目的輸出像素。顏色信號(hào)單元CSUl還可以提供對(duì)應(yīng)于與RGB系統(tǒng)不同的顏色系統(tǒng)的輸出信號(hào)。例如，輸出信號(hào)可以規(guī)定用于CMYK系統(tǒng)(青色、洋紅、黃色、基本色)或YUV系統(tǒng)(亮度、第一色度、第二色度)的顏色值。輸出信號(hào)和濾色器可以對(duì)應(yīng)于同一個(gè)顏色系統(tǒng)或不同的顏色系統(tǒng)。因此，顏色信號(hào)單元CSUl還可包括計(jì)算模塊，用于提供從第一顏色系統(tǒng)到第二顏色系統(tǒng)的轉(zhuǎn)換。例如，圖像傳感器100可以被覆蓋以紅、綠和藍(lán)濾色器(RGB系統(tǒng))，但顏色信號(hào)單元CSUl可以提供按照YUV系統(tǒng)的三個(gè)輸出信號(hào)。顏色信號(hào)單元CSUl可以為每個(gè)輸出像素P2提供兩個(gè)、三個(gè)、四個(gè)或更多的不同的
顏色信號(hào)。圖8顯示用于確定覆蓋二進(jìn)制像素陣列的濾色器布局的布置。改變二進(jìn)制像素Pl(k, I)的狀態(tài)的概率可以是進(jìn)入的光的強(qiáng)度的函數(shù)，正如先前在圖3a和3b的情景中所 解釋的。而且，二進(jìn)制像素Pl (k，I)可以具有在二進(jìn)制像素的頂部上的濾色器F(k，1)，正如在圖4和5的情景中所解釋的。由于濾色器的不規(guī)則的形狀和尺寸和/或由于濾色器與二進(jìn)制像素陣列的未知的對(duì)準(zhǔn)，在二進(jìn)制像素Pl (k，I)的頂部上的濾色器F(k，I)的顏色(或一些濾色器的顏色)是未知的。未知的濾色器值在圖8中已經(jīng)用問號(hào)標(biāo)記出。例如，在已經(jīng)在二進(jìn)制像素陣列的頂部上制造濾色器陣列后，不能立即知道哪個(gè)Bayer矩陣元素覆蓋在哪個(gè)二進(jìn)制像素的頂部(如在圖4中)，或在不規(guī)則的設(shè)置中哪個(gè)濾色器在哪個(gè)二進(jìn)制像素的頂部(如在圖5中)。濾色器陣列關(guān)于其顏色也可以是不規(guī)則的，即，濾色器單元的顏色不一定正好是打算的顏色。也有可能濾色器的位置和顏色可能隨時(shí)間改變，例如，由于機(jī)械或物理磨損，或由于暴露于光線。為了確定濾色器F(k，I)的顏色值，已知顏色的光束LBO或已知的輸入圖像可以通過濾色器陣列加到二進(jìn)制像素陣列。二進(jìn)制像素的輸出，即，二進(jìn)制像素對(duì)于已知輸入的響應(yīng)，然后可被用來(lái)確定濾色器陣列的信息。例如，像素陣列可以被暴露到不同顏色的輸入光束LBO或不同的輸入圖像幾次。二進(jìn)制像素的輸出可被記錄和處理。例如，二進(jìn)制像素Pl (k，I)可被分組成各個(gè)組GRP (i，j)，正在圖4和5的情景中所解釋的，并且每個(gè)組GRP(i，j)的信息可以分開地處理。這將在后面解釋。圖9顯示用于用覆蓋二進(jìn)制像素陣列的濾色器確定進(jìn)入的光的顏色的布置。這時(shí)，存在有關(guān)于濾色器F(k，I)的某些信息，例如，單獨(dú)濾色器可能是已知的，或與二進(jìn)制像素的組GRP(i，j)有關(guān)的不同的紅、綠、藍(lán)濾色器的數(shù)目可能是已知的。也可能是僅僅從二進(jìn)制像素陣列Pl (k，I)到輸出像素陣列P2(i，j)的變換是已知的或至少部分已知的。濾色器陣列F(k，I)的信息可包括關(guān)于濾色器顏色的信息、關(guān)于不起作用的像素的信息和/或關(guān)于不具有相關(guān)的濾色器的像素的信息。關(guān)于濾色器F(k，l)的信息現(xiàn)在可被用來(lái)確定進(jìn)入光LBl的信息。例如，進(jìn)入光可以由透鏡系統(tǒng)形成，所以可以在圖像傳感器100上形成圖像。當(dāng)進(jìn)入光穿過濾色器F(k，I)到二進(jìn)制像素陣列Pl (k，I)時(shí)，它使得某些二進(jìn)制像素被曝光(處在白色狀態(tài))。因?yàn)楣釲Bl穿過濾色器，因此由曝光的二進(jìn)制像素形成的圖像IMGl具有關(guān)于光的強(qiáng)度以及擊中每個(gè)二進(jìn)制像素的光LBl的顏色的信息。當(dāng)圖像IMGl通過使用關(guān)于濾色器F (k，I)的信息而被變換成圖像頂G2時(shí)，例如，通過把二進(jìn)制像素分組為組GRP (i，j)以便形成圖像MG2的像素P2(i，j)，顏色信息可以從光LBl被譯碼，并且圖像MG2的每個(gè)像素可被分配一組亮度值，對(duì)于每個(gè)顏色分量R，G，B 一個(gè)亮度值。換句話說(shuō)，由照相機(jī)光學(xué)器件在具有疊加的濾色器的二進(jìn)制像素陣列上產(chǎn)生的圖像可以根據(jù)擊中像素的光的顏色和在像素的頂部上的濾色器F(k，I)的顏色使得二進(jìn)制像素激活。例如，當(dāng)藍(lán)光擊中藍(lán)色濾色器F(k，I)時(shí)，當(dāng)光穿過濾色器時(shí)，光的強(qiáng)度不會(huì)減小太多。所以，在藍(lán)色濾色器下面的二進(jìn)制像素可以具有高的處在白色狀態(tài)(被曝光)的概率。另一方面，當(dāng)藍(lán)光擊中紅色濾色器F(k，I)時(shí)，光的強(qiáng)度會(huì)可以被更大程度地減小。所以，在紅色濾色器下面的二進(jìn)制像素可以具有低的處在白色狀態(tài)(被曝光)的概率。因此，當(dāng)較大的組的二進(jìn)制像素GRP(i，j)暴露在某種顏色的光時(shí)，比如說(shuō)藍(lán)色，與具有另外的顏色(紅色和綠色)的濾色器的那些像素相比較，更多的具有對(duì)應(yīng)的濾色器(例如，藍(lán)色)的二進(jìn)制像素將被激活到白色狀態(tài)。單獨(dú)二進(jìn)制像素的這個(gè)曝光值(白色/黑色)可被顏色信號(hào)單元CSUl使用來(lái)形成輸出圖像IMG2。圖10顯示通過統(tǒng)計(jì)方法確定光的顏色值。在系統(tǒng)中，可以有二進(jìn)制數(shù)值的傳感器 的二維陣列BINARR 1010，在二進(jìn)制傳感器上疊加濾色器。每個(gè)濾色器的光譜響應(yīng)假設(shè)是固定的，并且至少在某種程度上是已知的。濾色器可以通過使用神經(jīng)網(wǎng)絡(luò)或通過諸如使用像不同顏色光的已知的輸入數(shù)據(jù)的最大似然估計(jì)的統(tǒng)計(jì)方法，而被確定。當(dāng)二進(jìn)制像素陣列BINARR 1010被暴露到光時(shí)，它從二進(jìn)制像素產(chǎn)生輸出信號(hào)1015，它可被饋送到統(tǒng)計(jì)模塊STATM0D 1020。統(tǒng)計(jì)模塊然后可被操作，以使得BINARR的輸出被用來(lái)計(jì)算輸出像素1035的值。這個(gè)計(jì)算可以對(duì)于每個(gè)輸出像素P2順序進(jìn)行或并行進(jìn)行以便用于多個(gè)輸出像素P2的輸入像素值在模塊STATM0D 1020中同時(shí)被使用。統(tǒng)計(jì)模塊可以具有例如 16-128,64-400，180-1000，500-90000，10000-1 百萬(wàn)或 10-100 億個(gè)輸入或更多。輸出模塊OUTPUT 1030然后可以輸出像素P2或使用像素P2形成圖像。統(tǒng)計(jì)模塊例如可以使用模擬或數(shù)字電子裝置而電子地形成，并且所述電子裝置可包括在模塊外部的或嵌入到神經(jīng)網(wǎng)絡(luò)的存儲(chǔ)器。統(tǒng)計(jì)模塊可以借助于計(jì)算機(jī)程序代碼被形成。統(tǒng)計(jì)模塊也可以借助于適用于光計(jì)算的光學(xué)部件而光學(xué)地形成。在貝葉斯框架中，估計(jì)的和測(cè)量的變量被認(rèn)為是隨機(jī)變量。假設(shè)X是我們想要根據(jù)得到其測(cè)量值I的測(cè)量的變量Y進(jìn)行估計(jì)的隨機(jī)變量。X的概率分布被稱為先驗(yàn)分布，因?yàn)樗枋鲞M(jìn)行測(cè)量之前我們對(duì)于變量的知識(shí)。條件概率密度函數(shù)L(X) =P(Y = y|X =x)被稱為似然函數(shù)-它描述在給定測(cè)量值y下，值x多大多大可能性用于X。條件概率密度函數(shù)P(X = x|Y = y)被稱為后驗(yàn)分布，因?yàn)樗枋鰷y(cè)量之后我們對(duì)于變量的知識(shí)。可以取決于我們具有的概率分布的信息量使用X的不同的估計(jì)量。如果沒有進(jìn)行測(cè)量，估計(jì)量X可以僅僅根據(jù)X的以前的分布。如果進(jìn)行了一次測(cè)量或幾次測(cè)量但沒有關(guān)于X的以前的信息可用，則估計(jì)量可以根據(jù)似然函數(shù)L (x)-為此，可以使用最大似然(ML)估計(jì)量。如果以前的數(shù)據(jù)和測(cè)量數(shù)據(jù)都是可用的，則可以使用基于后驗(yàn)分布的估計(jì)量，諸如最大后驗(yàn)(MAP)估計(jì)量和后驗(yàn)平均值。對(duì)于擊中位置ij的光的顏色的最大似然估計(jì)是似然函數(shù)的模，即，使得測(cè)量的數(shù)據(jù)最可能的值。進(jìn)入的光線的顏色可被認(rèn)為是隨機(jī)變量，因此，在NXN二進(jìn)制陣列的情形下，有N2個(gè)隨機(jī)變量(每個(gè)具有例如3或4個(gè)顏色分量)。我們列舉隨機(jī)變量為Xu，其中i和j是在I和N之間(包括I和N)。我們可以假設(shè)，二進(jìn)制傳感器是小的，并且二進(jìn)制傳感器陣列的尺寸與由光的衍射引起的艾里斑(Airy disk)的尺寸是可比的或小于其尺寸。因此把在傳感器上的光子分布建模為均勻空間泊松過程可能是合理的。圖11顯示用于二維隨機(jī)變量的似然函數(shù)1140作為例子。令隨機(jī)變量的尺度是R1110和G 1120，因此隨機(jī)變量X可以取值(r，g)，其中例如r和g是在0與I之間，包括0和I。在這個(gè)示例的情形下，似然L 1130是在點(diǎn)1170處具有一個(gè)局部和全局最大值1160的函數(shù)，這樣，X的G值可以是xG并且X的R值可以是xK。當(dāng)似然被迭代地最大化時(shí)，變量X可以具有初始值1175，這樣，似然取值1150。在一次迭代后，X的值是1180，似然取值1155。最后，當(dāng)?shù)Y(jié)束時(shí)，變量X已經(jīng)達(dá)到最大似然估計(jì)1170，并且似然L達(dá)到最大值1160。 圖12a顯示具有逐段恒定的濾色器值的濾色器馬賽克。作為例子，我們考慮其中三個(gè)不同的濾色器1230、1235和1240形成逐段恒定的區(qū)域的情形。在圖中，區(qū)域具有不規(guī)則的形狀。區(qū)域還可以具有規(guī)則形狀或部分不規(guī)則形狀。由濾色器1230、1235和1240覆蓋的面積可以是相同的，或可以是不同的。濾色器例如可以是紅、綠、藍(lán)濾色器。綠濾色器的面積可以大于紅和藍(lán)濾色器的面積，例如，綠濾色器的面積可以等于紅和藍(lán)濾色器合在一起的面積。在像素上也可以有三個(gè)以上的濾色器，例如四個(gè)、五個(gè)、六個(gè)、十個(gè)或一百個(gè)。也可以只有兩個(gè)濾色器。濾色器顏色可以例如通過神經(jīng)網(wǎng)絡(luò)或通過統(tǒng)計(jì)方法被確定。圖12b顯示具有平滑改變的濾色器值的帶有三個(gè)不同部件1250，1255和1260的濾色器馬賽克(mosaic)。(灰度階圖像不能精確地重現(xiàn)顏色，對(duì)于進(jìn)一步的定義可參考圖13a-13c)。單獨(dú)的濾色器可以具有兩個(gè)或多個(gè)顏色的混合，并且對(duì)于單個(gè)顏色，濾色器的透射率(亮度)可以是部分的(不僅僅是零或完全的)。再次地，濾色器顏色可以例如通過神經(jīng)網(wǎng)絡(luò)或通過統(tǒng)計(jì)方法而被確定。圖13a, 13b和13c顯示示例的濾色器的紅Xk、綠Xe和藍(lán)Xb分量。濾色器值的范圍可以是對(duì)于一個(gè)濾色器從0到1，其中0是指濾色器不讓該顏色的光通過，以及I是指濾色器讓該顏色的光全部通過。在圖13a中，在角落處的像素上的濾色器(其中k，l < 4)基本上是紅色，對(duì)于紅色光有不同的透射率。在圖13b中，濾色器(其中I = 8和3<k<8)基本上是綠色，并且具有對(duì)于綠色光的高的透射率。最后，在圖13c上，濾色器(其中3 < k，
I< 8)基本上是藍(lán)色，并且對(duì)于藍(lán)色光具有變化的透射率。例如，濾色器k = 4，I = 7對(duì)于藍(lán)色和綠色二者具有透射率，所以也可以有傳送通過多種顏色的光的濾色器。這可能是由于例如兩個(gè)濾色器是在像素的頂部上互相相鄰的，或由于重疊濾色器。在每個(gè)二進(jìn)制傳感器上疊加的濾色器的類型可以是已知的，或?yàn)V色器的足夠的信息可以是以其他方式可用的。光的顏色值可以從二進(jìn)制傳感器的輸出矩陣被確定。對(duì)于在傳感器陣列中存在的每種濾色器類型，可以計(jì)算出光照和未光照的傳感器的數(shù)目。在給定傳感器信息后，這可以允許我們寫出對(duì)于顏色值的似然函數(shù)。對(duì)于顏色值的最大似然估計(jì)可以通過使得似然函數(shù)最大化而得出。我們現(xiàn)在可以假設(shè)濾色器的顏色特性是已知的。我們的任務(wù)是在給定曝光的二進(jìn)制像素陣列后，確定光的RGB值，我們假設(shè)對(duì)于每個(gè)顏色R，G和B，有Ny個(gè)傳感器，其中N’ Y個(gè)被照明，Y G {G，B，R}。現(xiàn)在NK+Ne+NB = N2。用于顏色強(qiáng)度\ Y的似然函數(shù)是L(XY\NY,Ny) = (I - e-\Y/N、NlY/N、NY — N1y ,在這種情形下，在給定傳感器輸出后，可以如下地找到用于RGB值入。入e，^的最大似然估計(jì)我們想要找出使得似然函數(shù)最大化的X Y的值。最大值可以通過關(guān)于X Y對(duì)方程進(jìn)行微分和令結(jié)果等于零而找出
權(quán)利要求
1.一種用于產(chǎn)生輸出像素值的方法，包括 -接收二進(jìn)制像素值，所述二進(jìn)制像素值已經(jīng)利用具有濾色器的二進(jìn)制像素通過施加光而形成， -通過使用一組所述二進(jìn)制像素值并且使估計(jì)函數(shù)最佳化而形成所述光的顏色的估計(jì)，以及 -使用所述估計(jì)而形成輸出像素值。
2.按照權(quán)利要求I的方法，還包括 -將所述二進(jìn)制像素暴露到通過被疊加在所述二進(jìn)制像素上的濾色器的光，所述光已經(jīng)通過光學(xué)布置，以及 -從所述二進(jìn)制像素的輸出形成所述二進(jìn)制像素值。
3.按照權(quán)利要求I或2的方法，還包括 -使用似然估計(jì)和最小平方估計(jì)的組的至少一項(xiàng)形成所述估計(jì)，以及 -迭代地提煉所述估計(jì)。
4.按照權(quán)利要求1，2或3的方法，還包括 -使用所述二進(jìn)制像素值和關(guān)于所述濾色器的信息形成所述估計(jì)函數(shù)。
5.按照權(quán)利要求I到4的任一項(xiàng)的方法，還包括 -使用多個(gè)所述輸出像素值形成輸出圖像。
6.一種設(shè)備，包括至少一個(gè)處理器、包括計(jì)算機(jī)程序代碼的存儲(chǔ)器，所述存儲(chǔ)器和計(jì)算機(jī)程序代碼被配置成，通過所述至少一個(gè)處理器，使得所述設(shè)備至少執(zhí)行以下的操作 -接收二進(jìn)制像素值，所述二進(jìn)制像素值已經(jīng)利用具有濾色器的二進(jìn)制像素通過施加光而形成， -通過使用一組所述二進(jìn)制像素值并且使估計(jì)函數(shù)最佳化而形成所述光的顏色的估計(jì)，以及 -使用所述估計(jì)形成輸出像素值。
7.按照權(quán)利要求6的設(shè)備，還包括計(jì)算機(jī)程序代碼，被配置成通過所述處理器，使得所述設(shè)備至少執(zhí)行以下的操作 -將所述二進(jìn)制像素暴露到通過被疊加在所述二進(jìn)制像素上的濾色器的光，所述光已經(jīng)通過光學(xué)布置，以及 -從所述二進(jìn)制像素的輸出形成所述二進(jìn)制像素值。
8.按照權(quán)利要求6或7的設(shè)備，還包括計(jì)算機(jī)程序代碼，被配置成通過所述處理器，使得所述設(shè)備至少執(zhí)行以下的操作 -使用最大似然估計(jì)和最小平方估計(jì)的組的至少一項(xiàng)形成所述估計(jì)，以及 -迭代地提煉所述估計(jì)。
9.按照權(quán)利要求6，7或8的設(shè)備，還包括計(jì)算機(jī)程序代碼，被配置成通過所述處理器，使得所述設(shè)備至少執(zhí)行以下的操作 -使用所述二進(jìn)制像素值和關(guān)于所述濾色器的信息形成所述估計(jì)函數(shù)。
10.按照權(quán)利要求6-9的任一項(xiàng)的設(shè)備，還包括計(jì)算機(jī)程序代碼，被配置成通過所述處理器，使得所述設(shè)備至少執(zhí)行以下的操作 -使用多個(gè)所述輸出像素值形成輸出圖像。
11.按照權(quán)利要求6-10的任一項(xiàng)的設(shè)備，還包括 -用于形成圖像的光學(xué)布置， -用于檢測(cè)所述圖像的二進(jìn)制像素的陣列，以及 -所述二進(jìn)制像素的組。
12.按照權(quán)利要求6-11的任一項(xiàng)的設(shè)備，還包括 -被疊加在二進(jìn)制像素陣列上的至少一個(gè)濾色器，所述濾色器是以非對(duì)準(zhǔn)、不規(guī)則、隨機(jī)和未知疊加的組中的至少一種的方式被疊加在所述二進(jìn)制像素陣列上。
13.—種系統(tǒng)，包括至少一個(gè)處理器、包括計(jì)算機(jī)程序代碼的存儲(chǔ)器，所述存儲(chǔ)器和計(jì)算機(jī)程序代碼被配置成，通過所述至少一個(gè)處理器，使得所述系統(tǒng)至少執(zhí)行以下的操作 -接收二進(jìn)制像素值，所述二進(jìn)制像素值已經(jīng)利用具有濾色器的二進(jìn)制像素通過施加光而形成， -通過使用一組所述二進(jìn)制像素值并且使估計(jì)函數(shù)最佳化而形成所述光的顏色的估計(jì)，以及 -使用所述估計(jì)而形成輸出像素值。
14.按照權(quán)利要求13的系統(tǒng)，其中所述系統(tǒng)包括 -圖像獲取單元，被配置成形成所述二進(jìn)制像素值，并且包括用于形成圖像的光學(xué)布置和用于檢測(cè)所述圖像的二進(jìn)制像素的陣列，以及 -圖像處理單元，包括圖形處理器，被配置成通過使用多個(gè)所述二進(jìn)制像素值并且使估計(jì)函數(shù)最佳化而估計(jì)所述圖像的顏色。
15.一種計(jì)算機(jī)程序產(chǎn)品，其被存儲(chǔ)在計(jì)算機(jī)可讀介質(zhì)上并且在數(shù)據(jù)處理設(shè)備中可執(zhí)行，其中所述計(jì)算機(jī)程序產(chǎn)品包括 -用于接收二進(jìn)制像素值的計(jì)算機(jī)程序代碼段，所述二進(jìn)制像素值已經(jīng)利用具有濾色器的二進(jìn)制像素通過施加光而形成， -用于通過使用一組所述二進(jìn)制像素值并且使估計(jì)函數(shù)最佳化而形成所述光的顏色的估計(jì)的計(jì)算機(jī)程序代碼段，以及 -用于使用所述估計(jì)形成輸出像素值的計(jì)算機(jī)程序代碼段。
16.按照權(quán)利要求15的計(jì)算機(jī)程序產(chǎn)品，其中所述計(jì)算機(jī)程序產(chǎn)品還包括 -用于使用多個(gè)所述輸出像素值形成輸出圖像的計(jì)算機(jī)程序代碼段。
17.—種設(shè)備,包括 -處理裝置， -存儲(chǔ)器裝置， -用于接收二進(jìn)制像素值的裝置，所述二進(jìn)制像素值已經(jīng)利用具有濾色器的二進(jìn)制像素通過施加光而形成， -用于通過使用一組所述二進(jìn)制像素值并且使估計(jì)函數(shù)最佳化而形成所述光的顏色的估計(jì)的裝置，以及 -用于使用所述估計(jì)形成輸出像素值的裝置。
全文摘要
本發(fā)明涉及通過使用二進(jìn)制像素形成圖像。二進(jìn)制像素是僅僅具有兩種狀態(tài)的像素，當(dāng)像素被曝光時(shí)的白色狀態(tài)和當(dāng)像素未被曝光時(shí)的黑色狀態(tài)。二進(jìn)制像素在它們的頂部具有濾色器，濾色器的設(shè)置在某種程度上是已知的。利用統(tǒng)計(jì)方法的設(shè)置可被用來(lái)確定進(jìn)入的光的顏色以產(chǎn)生輸出圖像。因此，所述方法可以結(jié)合二進(jìn)制像素陣列被用來(lái)從由二進(jìn)制像素陣列記錄的輸入圖像產(chǎn)生圖像。
文檔編號(hào)H04N1/48GK102667863SQ200980163082
公開日2012年9月12日 申請(qǐng)日期2009年12月23日 優(yōu)先權(quán)日2009年12月23日
發(fā)明者M·維金科斯基, T·瑪基-瑪?shù)倌? T·里薩 申請(qǐng)人:諾基亞公司