專利名稱：用于二進制傳感器的濾光片設置學習的制作方法
用于ニ進制傳感器的濾光片設置學習
背景技術：
ニ進制圖像傳感器可以包括例如設置為ニ維陣列的多于IO9個單獨的光檢測器。每個單獨的光檢測器具有兩個可能的狀態(tài)未曝光的“黒色”狀態(tài)和曝光的“白色”狀態(tài)。因此，一個單獨的檢測器并不重現(xiàn)不同的灰色陰影。圖像的局部亮度可以例如通過白色像素的局部空間密度來確定。ニ進制圖像傳感器的各個光檢測器的尺寸可以小于焦斑的最小尺寸，該焦斑可以通過數(shù)字照相機的成像光學器件來提供。然而，由于大的數(shù)據(jù)尺寸，存儲或傳輸這樣的ニ進制數(shù)字圖像可能是困難的或者不可能。所得到的圖像數(shù)據(jù)可能太大，以致在數(shù)字照相機或甚至在臺式計算機中存儲和處理該ニ進制數(shù)字圖像變得不切實際。、
因此，需要一種解決方案來改進將ニ進制數(shù)字圖像傳感器應用到實際解決方案。

發(fā)明內容
現(xiàn)在已經(jīng)發(fā)明一種改進的方法和實現(xiàn)該方法的技術設備，通過其緩解上述的問題。本發(fā)明的各種方面包括方法、設備、服務器、客戶端和包括其中存儲計算機程序的計算機可讀介質，其特征通過獨立權利要求來描述。在從屬權利要求中公開本發(fā)明的各種實施方式。在示例的設置中，已知顏色的光應用于具有彩色濾光片的一組ニ進制像素。彩色濾光片的設置可以初始未知。來自ニ進制像素的值被記錄，并且這些值用于確定彩色濾光片的顏色。顔色使用例如最大似然估計的統(tǒng)計方法來確定。關于彩色濾光片的信息接著可以用于形成輸出圖像。根據(jù)第一方面，提供ー種用于適配圖像處理系統(tǒng)的方法，包括接收ニ進制像素值、通過應用光、利用具有彩色濾光片的ニ進制像素形成了所述ニ進制像素值，接收關于所述光的顔色的信息、通過使用ニ進制像素值和關于光的顔色的信息來形成第一像素的彩色濾光片的顏色的估計，以及使用該估計來適配關于圖像處理系統(tǒng)中的彩色濾光片的信息。根據(jù)ー個實施方式，該方法進ー步包括將ニ進制像素曝光于通過疊加在ニ進制像素上的彩色濾光片的光，所述光已經(jīng)通過光學布置，并且從ニ進制像素的輸出形成ニ進制像素值。該方法進ー步包括使用似然估計形成估計，并且迭代地精選估計。根據(jù)ー個實施方式，該方法進ー步包括確定ニ進制像素的鄰域，并且使用第一像素信息的鄰域中的像素的估計值來形成所述第一像素的所述估計。根據(jù)ー個實施方式，該方法進ー步包括通過優(yōu)化能量函數(shù)來形成估計，所述能量函數(shù)具有第一分量和第二分量，其中第一分量指示彩色濾光片的顏色和光的顏色的相似度，而第二分量指示第一像素和第一像素的相鄰者的值中的至少ー個差。根據(jù)ー個實施方式，在圖像處理系統(tǒng)中執(zhí)行調節(jié)以形成ニ進制像素的彩色濾光片的初始值，或者校準ニ進制像素的彩色濾光片的值。根據(jù)第二方面，提供一種設備，包括至少ー個處理器，包括計算機程序代碼的存儲器，該存儲器和計算機程序代碼配置成利用所述至少一個處理器，使得所述設備接收ニ進制像素值，通過應用光、利用具有彩色濾光片的ニ進制像素形成了ニ進制像素值，接收關于光的顔色的信息、通過使用ニ進制像素值和關于光的顔色的信息來形成第一像素的彩色濾光片的顏色的估計，以及使用該估計來適配關于圖像處理系統(tǒng)中的彩色濾光片的信息。根據(jù)ー個實施方式，該設備進ー步包括配置成利用處理器，使得設備將ニ進制像素曝光于通過疊加在ニ進制像素上的彩色濾光片的光，所述光已經(jīng)通過光學布置，并且從ニ進制像素的輸出形成ニ進制像素值的計算機程序代碼。根據(jù)ー個實施方式，該設備進ー步包括配置成利用該處理器，使得該設備使用似然估計來形成估計，并且迭代地精選估計的計算機程序代碼。根據(jù)ー個實施方式，該設備進ー步包括配置成利用該處理器，使得該設備確定ニ進制像素的鄰域，以及使用所述第一像素信息的所述鄰域中的像素的估計值來形成所述第一像素的所述估計的計算機程序代碼。根據(jù)ー個實施方式，該設備進ー步包括配置成利用該處理器，使得該設備通過優(yōu)化能量函數(shù)來形成該估計的計算機程序代碼，所述能量函數(shù)具有第一分量和第二分量，其中第一分量指示彩色濾光片的顔色和光的顔色的相似度，而第二分量指示第一像素和第一像素的相鄰者的值中的至少ー個差。根據(jù)ー個實施方式，該設備進ー步包括配置成利用該處理器，使得該設備調節(jié)圖像處理系統(tǒng)以形成ニ進制像素的彩色濾光片的初始值，或者校準ニ進制像素的彩色濾光片的值的計算機程序代碼。根據(jù)一個實施方式，該設備進ー步包括顔色信號単元，該顏色信號単元包括至少ー個神 經(jīng)網(wǎng)絡，以及存儲器，該存儲器用于存儲至少ー個神經(jīng)網(wǎng)絡參數(shù)和/或權重。根據(jù)ー個實施方式，該設備進ー步包括用于形成圖像的光學設置，用于檢測圖像的ニ進制像素的陣列和多組ニ進制像素。根據(jù)ー個實施方式，該設備進ー步包括疊加在ニ進制像素的陣列上的至少ー個彩色濾光片，該彩色濾光片以非對齊的、不規(guī)則的、隨機的和/或未知的疊加的方式疊加在ニ進制像素的陣列上。根據(jù)第三方面，提供一種系統(tǒng)，包括至少ー個處理器，包括計算機程序代碼的存儲器，該存儲器和計算機程序代碼配置成利用所述至少一個處理器，使得所述系統(tǒng)接收ニ進制像素值，通過應用光、利用具有彩色濾光片的ニ進制像素形成了ニ進制像素值，接收關于光的顔色的信息、通過使用ニ進制像素值和關于光的顔色的信息來形成第一像素的彩色濾光片的顏色的估計，以及使用該估計適配關于圖像處理系統(tǒng)中的彩色濾光片的信息。根據(jù)一個實施方式，系統(tǒng)包括調節(jié)單元，配置成接收ニ進制像素值和關于光的顔色的信息，并且通過使用ニ進制像素值和關于光的顔色的信息來形成第一像素的彩色濾光片的顔色的估計，并且圖像處理單元，其包括具有彩色濾光片的ニ進制像素陣列并且配置成形成圖像，其中該圖像處理單元配置成從調節(jié)単元接收調節(jié)信息以便適配該圖像處理單元。根據(jù)第四方面，提供一種存儲在計算機可讀介質上并且在數(shù)據(jù)處理設備中可執(zhí)行的計算機程序產(chǎn)品，其中計算機程序產(chǎn)品包括用于接收ニ進制像素值的計算機程序代碼段，通過應用光、利用具有彩色濾光片的ニ進制像素形成了ニ進制像素值，用于接收關于光的顔色的信息的計算機程序代碼段、用于通過使用ニ進制像素值和關于光的顔色的信息來形成第一像素的彩色濾光片的顔色的估計的計算機程序代碼段，以及用于使用該估計來適配關于圖像處理系統(tǒng)中的彩色濾光片的信息的計算機程序代碼段。根據(jù)ー個實施方式，該計算機程序產(chǎn)品進一歩包括用于調節(jié)圖像處理系統(tǒng)以形成ニ進制像素的彩色濾光片的初始值，或者校準ニ進制像素的彩色濾光片的值的計算機程序代碼段。根據(jù)第五方面，提供一種設備，包括處理裝置、存儲裝置、用于接收ニ進制像素值的裝置，通過應用光、利用具有彩色濾光片的ニ進制像素形成了ニ進制像素值，用于接收關于光的顔色的信息的裝置、用于通過使用ニ進制像素值和關于光的顔色的信息來形成第一像素的彩色濾光片的顔色的估計的裝置，以及用于使用該估計來適配關于圖像處理系統(tǒng)中的彩色濾光片的信息的裝置。


在下文中，將參考所附附圖更為詳細地描述本發(fā)明的各種實施方式，其中圖Ia示出ニ進制圖像；圖Ib示出作為曝光函數(shù)的白色像素的密度；圖2a示出女孩的灰度級圖像；圖2b示出女孩的ニ進制圖像；圖3a示出針對單個像素的白色狀態(tài)的概率；圖3b示出白色狀態(tài)概率對波長的依賴性；圖4示出用于捕獲色彩信息的ニ進制像素矩陣之上的拜耳矩陣型彩色濾光片；圖5示出用于形成輸出像素的ニ進制像素陣列之上的隨機彩色濾光片；圖6示出成像設備的框圖；圖7示出用于從ニ進制像素形成輸出像素的顔色信號単元；圖8示出用于確定覆蓋在ニ進制像素陣列之上的彩色濾光片布局的布置；圖9示出利用覆蓋在ニ進制像素陣列之上的彩色濾光片確定入射光顔色的布置；圖IOa示出通過統(tǒng)計方法確定彩色濾光片值；圖IOb示出在通過統(tǒng)計方法確定彩色濾光片值中的學習過程；圖11示出用于確定彩色濾光片值的似然函數(shù)；圖12示出利用能量函數(shù)確定彩色濾光片值；圖13示出通過使用鄰域信息的統(tǒng)計方法確定彩色濾光片值；圖14a示出不同的鄰域；圖14b示出具有分段常量彩色濾光片值的彩色濾光片馬賽克；圖14c示出具有平滑變化的彩色濾光片值的彩色濾光片馬賽克；圖15示出用于通過統(tǒng)計方法確定彩色濾光片值的方法；以及圖16示出用于通過統(tǒng)計方法確定彩色濾光片值的方法。
具體實施例方式下面將在ニ進制像素陣列的環(huán)境中描述本發(fā)明的若干實施方式。然而，將注意到本發(fā)明并不限于ニ進制像素陣列。事實上，不同的示例實施方式在任意的環(huán)境中具有廣泛的應用，在該、任意的環(huán)境中，實施通過部分未確定的過程將輸入像素值映射到輸出像素值。現(xiàn)在參考圖la，在示例實施方式中應用的圖像傳輸感可以是安排用以提供ニ進制圖像IMGl的ニ進制圖像傳感器。圖像傳感器可以包括光檢測器的ニ維陣列，使得每個光檢測器的輸出僅具有兩個邏輯狀態(tài)。所述邏輯狀態(tài)在這里稱為“黑色”狀態(tài)和“白色”狀態(tài)。圖像傳感器可以被初始化，從而所有的檢測器可以初始在黒色狀態(tài)。通過將其曝光，各個檢測器可以被切換到白色狀態(tài)。因此，由圖像傳感器所提供的ニ進制圖像MGl可以包括像素P1，其可以分別處于黑色狀態(tài)或白色狀態(tài)。表述“白色像素”和“像素是白色”表示處于白色狀態(tài)的像素。表述“黑色像素”表示分別處于黒色狀態(tài)的像素。這些表述并不指示像素的顔色，它們僅僅描述像素是否由于光而已經(jīng)被激活(白色狀態(tài)或“被照亮”)或者它是否保持非活躍(黒色狀態(tài)或“未被照亮”)。像素Pl可以按照行和列來布置，即，輸入圖像頂Gl的每個像素Pl的位置可以通過相應列的索引k和相應行的索引I來定義。例如，在圖Ia中示出的像素Pl (3，9)是黑色的而像素Pl (5，9)是白色。ニ進制光檢測器例如可以通過提供具有很高的轉換增益(低電容量)的常規(guī)(比例)光檢測器來實現(xiàn)。其他可能的方法包括雪崩或碰撞電離以提供像素級增益，或使用量子點。圖Ib示出作為光學曝光H的函數(shù)的白色像素Pl的密度D的估計。曝光H以對數(shù)刻度示出。密度D表示在圖像IMGl的部分內的白色像素Pl的數(shù)目與所述部分內的像素Pl 的總數(shù)目的比值。密度值100%表示該部分內的所有像素處于白色狀態(tài)。密度值0%表示該部分內的所有像素處于黑色狀態(tài)。光學曝光H正比于光強和曝光時間。密度D在零曝光H處是0%。隨著增長的曝光，密度增長，直到密度開始飽和接近于上限100%。預定像素Pl從黑色到白色的轉換是隨機現(xiàn)象。當圖像IMGl的部分內包含高數(shù)目的像素Pl時，該部分內的白色像素Pl的實際密度沿圖Ib的曲線。在各個像素的情形中，圖Ib的曲線也可以解釋為代表其中在預定的光學曝光H后(也參見圖3a和3b)，預定像素Pl的狀態(tài)從黑色狀態(tài)轉換到白色狀態(tài)的情形的概率。當曝光曲線的斜率AD/Alog(H)足夠高時(大于或等于預定的值)，輸入圖像IMGl被適當?shù)仄毓?。典型地，當曝光H大于或等于第一預定限度HLOW并且小于或等于第二預定限度HHIGH吋，獲得該條件。因此，當曝光H小于第一預定限度HLOW吋，輸入圖像可能欠曝光，并且當曝光H大于第二預定限度HHIGH吋，輸入圖像可能過曝光。當曝光H小于第一限度HLOW或者大于第二限度HHIGH吋，輸入圖像MGl的信噪比或輸入圖像頂Gl的更小部分的信噪比可能低的不可接受。在那些情形中，可以接受的是減小有效的空間分辨率以便增加信噪比。ニ進制圖像的部分的曝光狀態(tài)取決于所述部分內的白色和/或黑色像素的密度。因此，可以例如基于所述部分內的白色像素Pl的密度來估計輸入圖像IMGl的部分的曝光狀態(tài)。圖像部分內的白色像素的密度取決于所述部分內的黒色像素的密度。也可以例如通過使用由相同的圖像傳感器先前捕獲的另外輸入圖像MGl來確定輸入圖像頂Gl的部分的曝光狀態(tài)。輸入圖像頂Gl的部分的曝光狀態(tài)也可以例如通過使用由另外的圖像傳感器捕獲的另外圖像來估計。可以用于確定曝光狀態(tài)的另外圖像傳感器也可以是模擬傳感器。模擬圖像傳感器 包括各個光檢測器，其被布置成除了提供黒色和白色以外，還提供不同的灰度級。由模擬圖像傳感器所捕獲的圖像的不同部分也可以被確定為欠曝光、適當?shù)仄毓饣蛘哌^曝光。例如，當由模擬圖像傳感器所捕獲的圖像的部分內的基本上所有的像素的亮度值大于90%吋，圖像部分可以被歸類為過曝光。例如，當由模擬圖像傳感器所捕獲的圖像的部分內的基本上所有的像素的亮度值小于10%時，圖像部分可以被歸類為欠曝光。當相當部分的像素具有10%到90%范圍內的亮度值時，則圖像部分可以分別被適當?shù)仄毓?。圖2a通過例子示出按灰度級的女孩圖像。圖2b示出對應于圖2a的圖像的ニ進制圖像。圖2b的圖像具有大的像素尺寸，從而強調黑色和白色像素結構。實際上，構成圖2b的圖像的ニ進制像素通常小于構成圖2a圖像的輸出像素。圖2b的若干個ニ進制像素可以對應于圖2a的一個模擬像素。圖2b中的白色狀態(tài)的ニ進制像素的密度可以具有與圖2a中的模擬像素的灰度級亮度的對應性。圖3a示出針對單個ニ進制像素的曝光或狀態(tài)變化的概率，即，單個預定像素的狀態(tài)從黑色狀態(tài)轉換到白色狀態(tài)的概率。在圖Ib中，示出作為強度H的函數(shù)的相比較于黑色像素的白色像素的密度。相應地，參考圖3a，像素具有處于白色狀態(tài)的概率，并且該概率是強度的函數(shù)。例如，當光學曝光是氏時，像素Pl(l，l)具有50%的概率處于白色狀態(tài)，而當光學曝光是H2時，像素Pl (2，I)具有50%的概率處于白色狀態(tài)。如上所提到的，光學曝光H正比于光強和曝光時間。不同的像素可以具有不同的概率曲線，即，在具有相同強度H的入射光下，它們可以具有不同的概率處于白色狀態(tài)。 圖3b示出作為在彩色濾光片和ニ進制像素的組合上碰撞的光的波長的函數(shù)的單個ニ進制像素的狀態(tài)變化概率。在圖3b中，假設各種ニ進制像素在它們之上可以加設有彩色濾光片，從而入射光的某些色段能夠通過。在此類的布置中，當ニ進制像素被曝光于具有相同的光強但不同波長(顔色)的光時，不同的ニ進制像素可以具有不同的概率處于白色狀態(tài)。例如，在圖3b中，像素Pl (5，5)響應于具有波長基本上對應于藍色的光。當入射光的波長偏離于藍色時，像素Pl (5，5)具有較低的概率處于曝光(白色)狀態(tài)。類似地，像素Pl (5，2)響應于具有波長基本上對應于綠色的光，并且像素Pl (2，2)響應于具有波長基本上對應于紅色的光。ニ進制像素之上的彩色濾光片可以試圖充當帶通濾波器，由此下層的像素僅響應于某些色段中的光，例如紅色、綠色或藍色或任意其他的顏色或波長。然而，彩色濾光片可能要么有意地要么偶然地存在缺點，并且?guī)V光片可能“泄露”從而其他顔色也被允許通過。作為波長的函數(shù)被曝光的像素的概率可能不是具有規(guī)則形狀的函數(shù)，如圖3b中針對藍色像素(實線)、緑色像素(虛線)以及紅色像素(點劃線)的鐘型函數(shù)。事實上，概率函數(shù)可能是非規(guī)則的，其可以具有若干個頂點，并且其可以具有厚尾(即，具有不可忽視量級的長尾)，從而例如紅色像素以藍光曝光的概率并不基本上是零，而可以是例如3%、10%或30%，或甚至更大。不同顏色的像素的狀態(tài)變化概率函數(shù)可以基本上是非重疊的，如在圖3b的情形中，從而単色光具有基本上曝光相同顏色的像素(而非其他像素)的概率。狀態(tài)變化概率函數(shù)也可以是重疊的，從而紅色和緑色波長之間的光具有曝光紅色像素Pl (2,2)和緑色像素Pl(5，2) 二者的顯著概率。狀態(tài)變化概率函數(shù)也可以依像素而變化。圖4示出在ニ進制像素陣列之上用于形成輸出像素的拜爾矩陣型彩色濾光片。圖4中二進制像素Pl (k，I)的像素坐標對應于圖3b并且創(chuàng)建輸入圖像頂G1。拜爾矩陣是利用彩色濾光片的布置，這些彩色濾光片以規(guī)則的布局放置在光傳感器之上，其中以交替的方式，每兩個濾光片是綠色，而每兩個濾光片是紅色或藍色。因此，如圖4中所示，基于上50%的濾光片是綠色(以向下的對角紋理示出)，基本上25%的濾光片是紅色(以向上的對角紋理示出)，并且基本上25%的濾光片是藍色(以交叉圖案紋理示出)。在其中拜爾矩陣放置在ニ進制像素陣列之上的設置中，各個彩色濾光片F(xiàn)R、FG和FB可以覆蓋單個的ニ進制像素或多個ニ進制像素，例如4個ニ進制像素、9. 5個ニ進制像素、20. 7個ニ進制像素、100個ニ進制像素、1000個ニ進制像素或者更多。如果ニ進制輸入像素的中心之間的距離在寬度上是wl而在高度上是hl，各個拜爾矩陣濾光片的中心之間的距離在寬度上可以是w4而在高度上可以是h4，由此w4 >wl并且h4 >hl。因此，濾光片可以覆蓋若干個ニ進制像素。各個濾光片可以被緊密地隔開，它們可以在其之間具有間隔(在之間空出區(qū)域以讓所有顏色通過)或它們可以彼此覆蓋。濾光片可以是正方形、矩形、六邊形或任意其他的形狀。圖像MGl的ニ進制像素可以形成對應于輸出圖像MG2的像素P2 (i，j)的多個組GRP(i, j)。通過這種方式，可以形成ニ進制輸入圖像頂Gl和輸出圖像MG2之間的映射。多個組GRP(i，j)可以包括具有不同顔色的彩色濾光片的ニ進制像素。多個組可以具有相同的尺寸，或者它們可以具有不同的尺寸。多個組可以具有規(guī)則的形狀，或者它們可以具有非規(guī)則的形狀。多個組可以彼此重疊，它們可以彼此相鄰，或者它們在多個組之間具有間 隔。在圖4中，作為例子，對應于圖像IMG2的像素P2(l，l)的組GRP(1，1)覆蓋圖像頂Gl的64(8X8) ニ進制像素，S卩，組GRP(1，I)包括像素Pl (I，I)-Pl (8，8)。多個組GRP(i，j)的邊界可以與彩色濾光片F(xiàn)R、FG、FB的邊界相一致，但這并不是必需的。組邊界也可以關于拜爾矩陣濾光片的邊界而被取代和/或非對準。通過這種方式，圖像頂Gl的多個組GRP(i，j)可以用于形成圖像頂G2中的像素P2(i，j)。像素P2(i，j)的中心之間的距離可以是寬度為w2而高度為h2。輸出像素P2可以分別具有w2和h2的尺寸，或它們可以更小或更大。圖5示出用于形成輸出像素的ニ進制像素陣列之上的隨機彩色濾光片。與圖4 一樣，圖像頂Gl包括ニ進制像素Pl (k，I)，其可以分組成多個組GRP (i，j)，多個組對應于圖像IMG2中的像素P2(i，j)，并且圖像頂Gl和MG2的設置與圖4中的相同。然而，相比較于圖4，圖5的彩色濾光片F(xiàn)G、FR和FB不具有規(guī)則的形狀或者以規(guī)則的布置來設置。彩色濾光片可以具有不同的尺寸，并且可以以隨機的方式放置在ニ進制像素之上。彩色濾光片可以彼此分隔開，它們可以相鄰于彼此或者它們可以彼此重疊。彩色濾光片可以在彼此之間留有空間，以讓所有顔色或波長的光通過，或替代地，基本上根本不讓光通過。像素Pl(k，I)中的一些可以是無功能的像素PZZ，其被永久性地置于白色(曝光)狀態(tài)，或者黒色(未曝光)狀態(tài)，或者否則發(fā)出不并很好地取決于光的入射強度的錯誤信號。像素Pl(k，I)對于處于白色狀態(tài)可以具有作為入射光的強度函數(shù)的不同概率函數(shù)。像素Pl (k，I)對于處于白色狀態(tài)可以具有作為入射光的波長函數(shù)的不同概率函數(shù)。這些屬性可以由于像素本身的缺陷或者由于覆蓋的彩色濾光片的缺陷而形成。例如，彩色濾光片可以具有不同于紅色、緑色和藍色的顏色。對于類似于圖5中示出的布置，組GRP(i，j)可以包括具有緑色G濾光片、紅色R濾光片或藍色B濾光片的變化數(shù)目的ニ進制像素。進ー步，不同的紅色、緑色或藍色ニ進制像素可以不同地放置在不同的組GRP(i，j)中。根據(jù)已知的或未知的分布，紅色、緑色或藍色像素的平均數(shù)目和不具有濾光片的像素跨多個組GRP(i，j)可以基本上相同，或者紅色、緑色或藍色像素的平均數(shù)目(密度)和不具有濾光片的像素跨多個組GRP(i，j)可以變化。圖6示出成像設備的框圖。參考圖6，成像設備500可以包括用于捕獲對象的ニ進制數(shù)字輸入圖像頂Gl的成像光學器件10和圖像傳感器100，以及布置成基于輸入圖像頂Gl提供輸出圖像MG2的信號處理單元(即，顔色信號単元)CSU1。成像光學器件10可以是例如聚焦透鏡。輸入圖像頂Gl可以繪出對象，例如風景、人臉或動物。輸出圖像MG2可以繪出相同的對象但以更低的空間分辨率或像素密度。圖像傳感器100可以是包括光檢測器的ニ維陣列的ニ進制圖像傳感器。檢測器可以以例如多于10000個列和多于10000個行來布置。圖像傳感器100可以包括例如多于IO9個單獨的光檢測器。由圖像傳感器100捕獲的輸入圖像IMGl可以包括例如以41472個列和31104個行布置的像素(圖像數(shù)據(jù)大小為I. 3 · IO9個比持，即I. 3個吉比特或者160個兆字節(jié))。相應的輸出圖像頂G2可以具有更低的分辨率。例如，相應地輸出圖像MG2可以包括例如以2592個列和1944個行布置的像素(圖像數(shù)據(jù)大小近似于5 · IO6像素，對于每個顏色R、G、B每個像素8比特，總的數(shù)據(jù)大小 是I. 2 · IO8,即近似于120兆比特或15個兆字節(jié))。因此，圖像尺寸可以被減小，例如以10的因子(=I. 3 · 109/1. 2 · IO8)。ニ進制輸入圖像IMGl的數(shù)據(jù)大小例如可以大于或等于相應輸出圖像IMG2數(shù)據(jù)大小的4倍，其中數(shù)據(jù)大小可以被指示，例如以描述圖像信息所需的總比特數(shù)目。如果需要減小更多的數(shù)據(jù)，輸入圖像IMGl的數(shù)據(jù)大小可以大于相應輸出圖像IMG2的數(shù)據(jù)大小10倍、20倍、50倍或者甚至100倍，或者1000倍。成像設備500可以包括輸入存儲器MEMl、存儲輸出圖像MG2的輸出存儲器MEM2、用于存儲涉及圖像處理的數(shù)據(jù)的存儲器MEM3，該數(shù)據(jù)例如神經(jīng)網(wǎng)絡系數(shù)或權重或其他數(shù)據(jù)，工作存儲器MEM4，用于例如存儲用于數(shù)據(jù)處理算法和其他程序和數(shù)據(jù)的計算機程序代碼，顯示器400、用于控制成像設備500的操作的控制器220以及用于從用戶接收指令的用戶接ロ 240。輸入存儲器MEMl可以至少臨時存儲輸入圖像IMGl的像素Pl的某些行或列。因此，輸入存儲器可以被布置成存儲至少輸入圖像頂Gl的部分，或者其可以被布置成存儲整個輸入圖像頂Gl。輸入存儲器Mffll也可以布置成駐留在與圖像傳感器100相同的模塊內，例如從而圖像傳感器的每個像素可以具有ー個、兩個或更多個的存儲器位置，其可操作地連接到圖像傳感器像素，以便存儲由圖像傳感器記錄的數(shù)據(jù)。信號處理器CSUl可以布置成處理由圖像傳感器100捕獲的像素值MG1。處理可以例如使用神經(jīng)網(wǎng)絡或者其他裝置發(fā)生，并且來自于存儲器MEM3的系數(shù)或者權重可以在處理中使用。信號處理器CSUl可以存儲其輸出數(shù)據(jù)，例如，到MEM2或到MEM3的輸出圖像MG2(在圖中未示出)。信號處理器CSUl可以獨立地工作，或者其可以通過由例如通用處理器的控制器220來控制。輸出圖像數(shù)據(jù)可以從信號處理單元200和/或輸出存儲器MEM2經(jīng)由數(shù)據(jù)總線242向外部存儲器EXTMEM傳送。信息可以經(jīng)由例如因特網(wǎng)和/或經(jīng)由移動電話網(wǎng)絡來發(fā)送。存儲器MEM1、MEM2、MEM3和/或MEM4可以物理地位于相同的存儲器單元內。例如，存儲器MEMl、MEM2、MEM3和/或MEM4可以分配相同組件中的存儲器區(qū)域。存儲器MEMl、MEM2、MEM3、MEM4和/或MEM5也可以物理地位于與相應的處理單元連接，例如從而存儲器MEMl位于與圖像傳感器100連接、存儲器MEM3位于與信號處理器CSUl連接，而存儲器MEM3和MEM4位于與控制器220連接。成像設備500可以進一歩包括用于顯示輸出圖像MG2的顯示器400。輸入圖像IMGl也可以被顯示。然而，由于輸入圖像頂Gl的大小可以很大，可能從而輸入圖像的一小部分可以每次以全分辨率來顯示。成像設備500的用戶可以使用接ロ 240來例如選擇輸出圖像IMG2的圖像捕獲模式、曝光時間、光學變焦(即，光學放大)、數(shù)字變焦(即，數(shù)字圖像的剪切)和/或分辨率。成像設備500可以是具有圖像傳感器的任意設備，例如數(shù)字靜態(tài)成像或視頻照相機、便攜式或固定電子設備像移動電話、膝上型計算機或臺式計算機、視頻照相機、電視或屏幕、顯微鏡、望遠鏡、汽車或自行車、飛機、直升機、衛(wèi)星、輪船或植入物例如眼植入物。成像設備500也可以是在上述的任意設備中使用的模塊，由此成像設備500可以通過有線或無線連接、或光學連接，以固定或可拆卸的方式可操作地連接到設備。設備500也可以省略具有圖像傳感器?？尚械氖谴鎯碜杂诹硪辉O備的ニ進制像素的輸出，并且僅處理設備500中的ニ進制圖像MGl。例如，數(shù)字照相機可以以原始格式存儲ニ進制像素以便稍后處理。原始格式圖像頂Gl接著可以在設備500中立即或稍后處理。設備500因此可以是具有用于處理ニ進制圖像MGl的裝置的任意設備。例如，設備500可以是移動電話、膝上型計算機或臺式計算機、視頻照相機、電視或屏幕、顯微鏡、望遠鏡、汽車或自行車、飛機、直升機、衛(wèi)星、輪船或植入物例如眼植入物。設備500也可以是在任意上述的設備中使用的模塊，由此成像設備500可以通過有線或無線連接、或光學連接，以固定 或可拆卸的方式可操作地連接到設備。設備500可以實現(xiàn)為計算機程序產(chǎn)品，其包括用于從原始圖像確定輸出圖像的計算機程序代碼。設備500也可以實現(xiàn)為ー種服務，其中各種部分和處理能力可以駐留于網(wǎng)絡中。服務可以能夠處理原始或ニ進制圖像MGl以向服務的用戶形成輸出圖像頂G2。處理也可以在若干個設備之間分布?？刂茊卧?20可以布置成控制成像設備500的操作?？刂茊卧?20可以布置成向圖像傳感器100發(fā)送信號，例如，以便設置曝光時間、以便開始曝光和/或以便重置圖像傳感器100的像素?？刂茊卧?20可以布置成向成像光學器件10發(fā)送信號，例如用于執(zhí)行聚焦、用于光學變焦和/或用于調節(jié)光學孔徑。感謝根據(jù)本發(fā)明的圖像處理，輸出存儲器MEM2和/或外部存儲器EXTMEM可以存儲比沒有圖像處理更多數(shù)目的輸出圖像頂G2。替代地或附加地，存儲器MEM2和/或EXTMEM的尺寸可以與沒有所述圖像處理更小。另外，經(jīng)由數(shù)據(jù)總線242的數(shù)據(jù)傳輸速率可以被降低。由于信號處理器CSUl中的處理，可以實現(xiàn)這些優(yōu)勢而沒有圖像分辨率中的可見損失。圖7示出用于從ニ進制像素形成輸出像素的顔色信號単元CSU1。顔色信號単元或信號處理器CSUl可以具有對應于輸入圖像頂Gl中的像素Pl的大量輸入，例如16、35、47、64、280、1400、4096、10000或更多的輸入。例如，輸入可以對應于多個組GRP (i，j)的ニ進制像素并且可以是從像素Pl(m+0，n+0)到Pl(m+7，n+7)的ニ進制值，ニ進制值指示相應的像素是否已經(jīng)被曝光或沒有曝光(相應地，處于白色或黒色狀態(tài))。在圖7中，索引m和η可以指定輸入像素組GRP(i，j)的左上角的坐標，該輸入像素組被饋入到顔色信號単元CSUl的輸入。例如，當處理組GRP(1，1)時，為了計算輸出像素P2(l，l)的顏色值，輸入像素Pl(l，1)，Ρ1(2，1)，Ρ1(3，1^··Ρ1(6，8)，Ρ1(7，8)4ΡΡ1(8，8)的值(即，狀態(tài))可以被饋入到顏色信號單兀CSUl的64個不同的輸入。顔色信號単元或信號處理器CSUl可以采取其他數(shù)據(jù)作為輸入，例如，涉及組GRP(i, j)的處理的數(shù)據(jù)PARA(i，j)或涉及處理所有或一些組的通用數(shù)據(jù)?？梢酝ㄟ^將數(shù)據(jù)PARA組合進輸入值Pl來使用這些數(shù)據(jù)PARA，或者數(shù)據(jù)PARA可以用于控制顏色信號單元CSUl的工作參數(shù)。顏色信號單元可以具有例如3個輸出或任意其他數(shù)目的輸出。通過確定針對紅色分量的輸出信號SK(i，j)、綠色分量的輸出信號Se(i，j)和藍色分量的輸出信的三個不同輸出信號來指定輸出像素P2(i，j)的顏色值。輸出可以對應于輸出像素P2(i，j),例如,輸出可以是輸出像素的顏色值紅色、綠色和藍色。顏色信號單元CSUl可以對應于一個輸出像素，或更多數(shù)目的輸出像素。顏色信號單元CSUl也可以提供輸出信號，其對應于不同于RGB系統(tǒng)的顏色系統(tǒng)。例如，輸出信號可以指定針對CMYK-系統(tǒng)(藍綠色、洋紅、黃色、基本色)，或YUV-系統(tǒng)(亮度、第一色差、第二色差)的顏色值。輸出信號和彩色濾光片可以對應于相同的彩色系統(tǒng)或不同的彩色系統(tǒng)。因此，顏色信號單元CSUl也可以包括用于提供從第一顏色系統(tǒng)到第二顏色系統(tǒng)的轉換的計算模塊。例如，圖像傳感器100可以以紅色、綠色和藍色濾光片(RGB系統(tǒng))覆蓋，但顏色信號單元CSUl根據(jù)YUV系統(tǒng)可以提供三個輸出信號。對于每個輸出像素P2，顏色信號單元CSUl可以提供兩個、三個、四個或更多個不 同的顏色信號。圖8示出用于確定覆蓋二進制像素陣列的彩色濾光片布局的布置。二進制像素Pl(k, I)的變化狀態(tài)的概率可以是入射光強度的函數(shù)，如更早在圖3a和圖3b的上下文中所解釋的。進一步，如在圖4和圖5的上下文中所解釋的，二進制像素Pl (k，I)可以具有二進制像素之上的彩色濾光片F(xiàn)(k，I)。由于彩色濾光片的不規(guī)則形狀和尺寸和/或由于彩色濾光片陣列與二進制像素陣列的未知對準，在二進制像素Pl (k，I)之上的濾光片的顏色(或多個濾光片的多個顏色)可能不是已知的。在圖8中已經(jīng)以問號標記未知的彩色濾光片值。例如，在彩色濾光片陣列已經(jīng)加工在二進制像素陣列之上后，可能無法立即知道哪個拜爾矩陣單元覆蓋于哪個二進制像素之上(如圖4中所示)，或在非規(guī)則的設置中，哪個彩色濾光片在哪個二進制像素之上(如圖5中所示)。彩色濾光片陣列也可以關于其顏色是不規(guī)則的，即，濾光片單元的顏色可能無法恰好與預計的顏色相同。濾光片的位置和顏色也可能隨時間改變，例如，由于機械或物理磨損或由于曝光。為了確定彩色濾光片F(xiàn)(k，I)的顏色值，已知顏色或已知輸入圖像的光束LBO可以通過彩色濾光片陣列應用于二進制像素陣列。二進制像素的輸出，即，二進制像素對已知的輸入的響應可以接著用于確定彩色濾光片陣列的信息。例如，像素陣列可以若干次曝光于輸入光束LBO或不同的輸入圖像的不同顏色。二進制像素的輸出可以被記錄和處理。例如，二進制像素Pl (k，I)可以被分組成多個分組GRP (i，j)，如在圖4和5的上下文中所解釋的，并且每個組GRP(i，j)的信息可以被單獨地處理。這將在稍后處理。圖9示出以覆蓋二進制像素陣列的彩色濾光片來確定入射光顏色的布置。在該點上，存在關于彩色濾光片F(xiàn)(k，I)的一些信息，例如，各個彩色濾光片可以已知，或者可以已知涉及二進制像素的多個組GRP(i，j)的不同彩色濾光片紅色、綠色和藍色的數(shù)目。也可以僅從二進制像素陣列Pl (k，I)到輸出像素陣列P2(i，j)的轉換是已知的或至少部分已知。該彩色濾光片F(xiàn)(k，I)的信息可以包括關于濾光片的顏色的信息、關于無功能的像素的信息和/或關于不具有關聯(lián)的彩色濾光片的像素的信息。關于彩色濾光片F(xiàn)(k，l)的信息現(xiàn)在可以用于確定入射光LBl的信息。例如，入射光可以通過透鏡系統(tǒng)來形成，并且因此可以形成圖像傳感器100上的圖像。當入射光通過彩色濾光片F(xiàn)(k，l)到達二進制像素陣列Pl (k，I)，其使得一些二進制像素被曝光(進入到白色狀態(tài))。因為光LBl已經(jīng)通過彩色濾光片，由曝光的二進制像素形成的圖像MGl具有關于光強和命中每個二進制像素的光LBl的顏色的信息。當通過使用關于彩色濾光片F(xiàn) (k，I)的信息來將圖像MGl轉換成圖像MG2時，例如通過將二進制像素分組成多個組GRP(i，j)以形成圖像MG2的像素P2(i，j)時，可以從光LBl解碼顏色信息，并且圖像MG2的每個像素可以分配有一組亮度值，對于每個顏色分量R、G和B —個亮度值。換句話說，由照相機光學器件創(chuàng)建在疊加彩色濾光片的二進制像素陣列上的圖片可以使得基于命中像素的光的顏色和在像素之上的濾光片F(xiàn)(k，I)的顏色來激活二進制像素。例如，當藍光命中藍色濾光片F(xiàn)(k，I)，當其通過濾光片時，光強可以不被過多減小。因此，位于藍色濾光片之下的二進制像素可以具有處于白色狀態(tài)(被曝光)的高概率。另一方面，當藍光命中紅色濾光片F(xiàn)(k，I)時，光強可以在很大程度上被減小。因此，位于紅色濾光片之下的二進制像素可以具有處于白色狀態(tài)(被曝光)的低概率。因此，當更大一組的二進制像素GRP(i，j)被曝光于某個顏色的光時，例如藍色，相比較于具有另一顏色(紅色和綠色)的彩色濾光片的那些二進制像素，具有相應的彩色濾光片(例如，藍色)的更多二 進制像素將被激活到白色狀態(tài)。各個二進制像素的曝光值(白色/黑色)可以由顏色信號單元CSUl用于形成輸出圖像MG2。圖IOa示出通過統(tǒng)計方法來確定彩色濾光片值。在該系統(tǒng)中，可以具有二進制值化傳感器的二維陣列BINARR 1010，并且在二進制傳感器上疊加有彩色濾光片。每個濾光片的頻譜響應假定是固定的，但初始是未知的。具有未知濾光片的二進制陣列被反復地曝光，并且傳感器陣列的響應和光的顏色值被記錄。在NXN傳感器二進制傳感器陣列BINARR的情形中，訓練數(shù)據(jù)可以構成每個具有NXN值的二進制矩陣并且光的相應顏色值C0L0RVAL用于曝光傳感器陣列。當二進制像素陣列BINARR 1010被曝光時，其從二進制像素產(chǎn)生輸出信號1015，其可以饋入到統(tǒng)計模塊STATM0D 1020?？梢越又僮鹘y(tǒng)計模塊，從而BINARR的輸出和原始顏色值C0L0RVAL用于計算對彩色濾光片值的調節(jié)。該計算可以迭代地發(fā)生1025，從而來自于多個曝光的數(shù)據(jù)在模塊STATM0D中使用。統(tǒng)計模塊可以具有例如16、50、64、128、180、400,1000,90000或I百萬個輸入或更多。訓練和教導可以發(fā)生在BINARR陣列的部分中，例如從而在一個實例中訓練對應于每個組GRP(i，j)的彩色濾光片，并且訓練過程通過所有的組迭代。當該教導已經(jīng)完成時，彩色濾光片值可以存儲進存儲器中。在學習的階段中，對于每個傳感器，目標在于確定哪個濾光片位于其前。為執(zhí)行此，可以做出已知顏色的光線(教導光線)的測量。這些測量的每個可以提供二進制矩陣M，使得當傳感器ij被照亮或處于白色狀態(tài)中時，元素Mij是1，當其不是這樣時則為O。連同關于用于曝光傳感器陣列的光的顏色的信息，矩陣M為我們提供關于未知的濾光片設置的知識。以可變的輸入顏色來重復足夠次數(shù)的測量可以提供濾光片設置的更多準確知識。學習階段可以被認為是一個逆向問題鑒于光的顏色信息是已知的，什么類型的彩色濾光片可以產(chǎn)生觀察的二進制矩陣？對于該估計，可以使用最大后驗估計器。在貝葉斯框架中，估計的和測量的變量被認為是隨機變量。假設X是我們基于測量的變量Y想估計的隨機變量，變量Y的測量值y被獲得。X的概率分布被稱為先驗分布，因為其描述在測量做出前我們對變量的了解。條件概率密度函數(shù)L(X) =P(Y = y|X = x)被稱為似然函數(shù)，其描述了給定測量值1，對于變量X，值X有多大可能。條件概率密度函數(shù)P(X = x|Y = y)稱為后驗分布，因為其描述在測量后，我們對于變量X的知識。根據(jù)我們所具有的概率分布的信息量，可以使用X的不同估計器。如果沒有做出測量，估計器X可以僅基于X的先驗分布。如果做出測量或若干次測量但沒有關于X的先驗信息，則估計器可以基于似然函數(shù)L(X)，為此，可以使用最大似然(ML)估計器。如果先驗和測量數(shù)據(jù)可用，則可以使用基于后驗分布的估計器，例如最大后驗(MAP)估計器和后驗均值。每個彩色濾光片的類型可以被認為是隨機變量，因此在N乘N 二進制陣列的情形中，存在N2個隨機變量。我們將隨機變量列舉為Xu，其中i和j在I和N之間(包括I和N)。我們可以假設二進制傳感器是小的，并且二進制傳感器陣列的尺寸可以相當于或小于由光的衍射所造成的艾里斑的尺寸。因此，可能合理的是將傳感器陣列上的光子分布建模為異構空間泊松過程。
濾光片可以獨立于它們的相鄰方而放置，S卩，并沒有假定或已知它們的空間關系。因此，隨機變量Xij是獨立的。如果彩色濾光片位于位置ij的可能選擇是已知的，鑒于Mij被觀察并且用于曝光傳感器陣列的光的顏色是已知的，可以基于單次觀察寫出針對隨機變量Xu的似然函數(shù)。然而，單次的觀察可能無法提供充分的信息來導出在位置ij處的彩色濾光片的類型。由于每次觀察被假定是獨立的，針對n次觀察的似然函數(shù)可以是單次觀察的似然函數(shù)的積。似然函數(shù)的復雜度可以取決于濾光片和傳感器屬性(例如光譜透過特性和量子效率)如何被正確地建模。針對位于位置ij中的彩色濾光片的類型的最大似然估計是似然函數(shù)的模式，即，使測量的數(shù)據(jù)最為可能的值。圖IOb示出通過統(tǒng)計方法確定彩色濾光片值的學習過程。在階段1050中，在10次迭代后，大多數(shù)的彩色濾光片值是未確定的1060。一些彩色濾光片值是紅色1062并且一些是綠色1064。在1052中，在迭代20次后，也出現(xiàn)了一些藍色濾光片值1066。稍后，在1054中，當35次迭代已經(jīng)執(zhí)行后，一些濾光片值已經(jīng)被確定為白色1068。在1056中，在60次迭代后，教導已經(jīng)完成并且已經(jīng)確定所有的彩色濾光片值。統(tǒng)計模塊(或顏色信號單元CSU1)可以例如使用模擬或數(shù)字電子器件來電子地形成，并且電子器件可以包括外部于模塊或嵌入到神經(jīng)網(wǎng)絡的存儲器。統(tǒng)計模塊可以通過計算機程序代碼來形成。統(tǒng)計模塊也可以通過適于光學計算的光學組件來光學地形成。圖11以示例性方式示出用于二維隨機變量的似然函數(shù)1140。令隨機變量的尺寸是R 1110和G 1120，并且因此隨機變量X可以取值(r，g)，其中例如r和g在0和I之間(包括0和I)。在該例子情節(jié)中的似然L 1130是在點1170處具有一個本地和全局最大值1160的函數(shù)，從而X的G值可以是并且X的R值可以是xK。當似然被迭代而最大化時，變量X可以具有初始值(圖中的點1175)，從而似然取值1150。在一次迭代后，X的值是1180并且似然取值1155。最終，當?shù)瓿蓵r，變量X達到最大似然估計1170并且似然L到達最大值1160。在具有彩色濾光片的二進制像素陣列的環(huán)境中，假設我們具有N乘N 二進制陣列，并且在每個二進制傳感器上具有任意的彩色濾光片。我們可以使用實值化的矢量X e
3來規(guī)定濾光片的顏色，例如白色濾光片對應于矢量(1，1，1)并且紅色濾光片對應于矢量(1，0，0)。給定訓練數(shù)據(jù)D，針對位置(i，j)處的彩色濾光片的似然函數(shù)可以寫成L(X, D) = JJ(1 - e-(^H)^(1)+AG0j5!(2)+AB)^(3))/^2)sfc
k (e-(A^)X(l)+Ag;)X(2)+A^)X(3))/7V^l-Sfc5其中sk G {0,1}是當傳感器陣列曝光于具有RGB值Ili(kWk)，IB(k)的光時，在(i， j)處的二進制傳感器的輸出。該乘積遍及所有可獲得的訓練數(shù)據(jù)。可以假設0°=1，并且在例如綠光將基本上不照亮具有紅色濾光片的傳感器的意義上來說，濾光片是理想的。如果X的某些值將使得似然函數(shù)前進到零，鑒于數(shù)據(jù)，X的此類值可以被認為是不可能的?；诳色@得的數(shù)據(jù)的最為可能的濾光片顏色可以是最大化似然函數(shù)的3值矢量(X(I)，X(2)，X(3))。如果我們具有關于可能的濾光片顏色的先驗知識，即，一些顏色可能比其他顏色更為可能，則該信息可以被編碼成先驗分布并且接著可以使用最大后驗概率。圖12圖示出通過使用鄰域信息的統(tǒng)計方法來確定彩色濾光片值。這里，可能已知或懷疑濾光片單元之間的相關性(例如，如果已知濾光片顏色形成分段常量區(qū)域)。在該情形下，馬爾可夫隨機場的理論可以用于加速學習階段。我們將簡要地復習一些術語。隨機場是隨機變量X = (Xi)，i E S的聚集，取某個集合A中的值并且使得對于所
有的入G AsjP(A) >0。索引集合S的元素被稱為位置。鄰域系統(tǒng)是集合NiCS, i G S的聚焦，使得當且僅當j e Ni，對于所有的i，j G S，i G N」。對于給定的i G S，Ni的元素被稱為i的相鄰者。S的子集被稱為團，如果其不同元素的任意兩個是相鄰者。位勢V是Vc = As-R的聚焦，使得如果C不是團，則Vc = 0，并且如果X和y同意C，則Vc(X) = Vc(y)。下面我們將考慮馬爾可夫隨機場的理論如何可以被應用于濾光片標識的問題。在圖12中示出沒有和利用鄰域信息來迭代地確定彩色濾光片值。在左邊，示出在10次迭代1210、20次迭代1212、40次迭代1214和70次迭代1216后，在沒有使用鄰域信息后確定彩色濾光片值。如在1216中示出，在70次教導迭代后，可能存在其值未知的一些彩色濾光片。在右邊，示出在10次迭代1230、20次迭代1232、40次迭代1234和70次迭代1236后，使用鄰域信息確定彩色濾光片值。如可以看到的，并且如實際中可能發(fā)生的，當使用鄰域信息時，教導收斂地更快，并且在70次迭代后，留下沒有確定值的更少彩色濾光片。圖13圖示出利用能量函數(shù)確定彩色濾光片值。每個彩色濾光片的類型可以被認為是隨機變量Xijtj位置S的集合是通過對(i，j)形成的集合，其中i和j在I和N之間(包括I和N)。我們可以假設我們具有某個相鄰系SNu，例如由八個或四個空間最為緊密的位置形成。也可以考慮更為復雜的鄰域，并且相鄰者并不必須是物理的相鄰者。我們現(xiàn)在可以將系統(tǒng)的能量函數(shù)定義為和 H(X) = -IogL (X，D) + P K (X)，其中L(X，D)是描述隨機變量Xu如何取決于數(shù)據(jù)D的似然函數(shù)，P是常量并且K(X)是先驗能量函數(shù)。Xu的后驗概率分布可以寫成以下的形式P(X) = |e-孖⑷，其中Z是歸一化因子。通過定義，可以遵從馬爾可夫隨機場具有下面的屬性條件概率滿足
權利要求
1.一種用于適配圖像處理系統(tǒng)的方法，包括 -接收二進制像素值，通過應用光、利用具有彩色濾光片的二進制像素形成了所述二進制像素值， -接收關于所述光的顏色的信息， -通過使用所述二進制像素值和關于所述光的顏色的信息來形成第一像素的所述彩色濾光片的顏色的估計，以及 -使用所述估計來適配關于所述圖像處理系統(tǒng)中的彩色濾光片的信息。
2.根據(jù)權利要求I所述的方法，進一步包括 -將所述二進制像素曝光于通過疊加在所述二進制像素上的彩色濾光片的光，所述光已經(jīng)通過光學布置，以及 -從所述二進制像素的輸出形成所述二進制像素值。
3.根據(jù)權利要求I或2所述的方法，進一步包括 -使用似然估計形成所述估計，以及 -迭代地精選所述估計。
4.根據(jù)權利要求1、2或3所述的方法，進一步包括 -確定所述二進制像素的鄰域，以及 -使用所述第一像素信息的所述鄰域中的像素的估計值來形成所述第一像素的所述估計。
5.根據(jù)權利要求4所述的方法，進一步包括 -通過優(yōu)化能量函數(shù)來形成所述估計，所述能量函數(shù)具有第一分量和第二分量，其中第一分量指示所述彩色濾光片的所述顏色和所述光的所述顏色的相似度，而第二分量指示所述第一像素和所述第一像素的相鄰者的值中的至少一個差。
6.根據(jù)權利要求1-5的任意一項所述的方法，其中在所述圖像處理系統(tǒng)中執(zhí)行所述調節(jié)以形成所述二進制像素的彩色濾光片的初始值，或者校準所述二進制像素的彩色濾光片的值。
7.一種設備，包括至少一個處理器，包括計算機程序代碼的存儲器，該存儲器和計算機程序代碼配置成利用所述至少一個處理器，使得所述設備至少執(zhí)行以下操作 -接收二進制像素值，通過應用光、利用具有彩色濾光片的二進制像素形成了所述二進制像素值， -接收關于所述光的顏色的信息， -通過使用所述二進制像素值和關于所述光的顏色的信息來形成第一像素的所述彩色濾光片的顏色的估計，以及 -使用所述估計來適配關于所述圖像處理系統(tǒng)中的彩色濾光片的信息。
8.根據(jù)權利要求7所述的設備，進一步包括配置成利用處理器，使得所述設備至少執(zhí)行以下操作的計算機程序代碼 -將所述二進制像素曝光于通過疊加在所述二進制像素上的彩色濾光片的光，所述光已經(jīng)通過光學布置，以及 -從所述二進制像素的輸出形成所述二進制像素值。
9.根據(jù)權利要求7或8所述的設備，進一步包括配置成利用所述處理器，使得所述設備至少執(zhí)行以下操作的計算機程序代碼 -使用似然估計形成所述估計，以及 -迭代地精選所述估計。
10.根據(jù)權利要求7、8或9所述的設備，進一步包括配置成利用所述處理器，使得所述設備至少執(zhí)行以下操作的計算機程序代碼 -確定所述二進制像素的鄰域，以及 -使用所述第一像素信息的所述鄰域中的像素的估計值來形成所述第一像素的所述估計。
11.根據(jù)權利要求10所述的設備，進一步包括配置成利用所述處理器，使得所述設備至少執(zhí)行以下操作的計算機程序代碼 -通過優(yōu)化能量函數(shù)來形成所述估計，所述能量函數(shù)具有第一分量和第二分量，其中第一分量指示所述彩色濾光片的所述顏色和所述光的所述顏色的相似度，而第二分量指示所述第一像素和所述第一像素的相鄰者的值中的至少一個差。
12.根據(jù)權利要求7到11的任意一項所述的設備，進一步包括配置成利用所述處理器，使得所述設備至少執(zhí)行以下操作的計算機程序代碼 -調節(jié)所述圖像處理系統(tǒng)以形成所述二進制像素的彩色濾光片的初始值，或者校準所述二進制像素的彩色濾光片的值。
13.根據(jù)權利要求7到12的任意一項所述的設備，進一步包括 -顏色信號單元，其包括至少一個所述神經(jīng)網(wǎng)絡，以及 -存儲器，用于存儲至少一個所述神經(jīng)網(wǎng)絡的參數(shù)和/或權重。
14.根據(jù)權利要求7到13的任意一項所述的設備，進一步包括 -用于形成圖像的光學布置， -用于檢測所述圖像的二進制像素的陣列，以及 -多組所述二進制像素。
15.根據(jù)權利要求7到14的任意一項所述的設備，進一步包括 -疊加在二進制像素的陣列上的至少一個彩色濾光片，所述彩色濾光片以非對齊的、不規(guī)則的、隨機的，以及未知的疊加的組中的至少一種方式疊加在所述二進制像素的陣列上。
16.一種系統(tǒng)，包括至少一個處理器，包括計算機程序代碼的存儲器，所述存儲器和計算機程序代碼配置成利用所述至少一個處理器，使得所述系統(tǒng)至少執(zhí)行以下操作 -接收二進制像素值，通過應用光、利用具有彩色濾光片的二進制像素形成了所述二進制像素值， -接收關于所述光的顏色的信息， -通過使用所述二進制像素值和關于所述光的顏色的信息來形成第一像素的所述彩色濾光片的顏色的估計，以及 -使用所述估計來適配關于所述圖像處理系統(tǒng)中的彩色濾光片的信息。
17.根據(jù)權利要求16所述的系統(tǒng)，其中所述系統(tǒng)包括 -調節(jié)單元，配置成接收所述二進制像素值和關于所述光的顏色的所述信息，并且通過使用所述二進制像素值和關于所述光的顏色的信息來形成第一像素的所述彩色濾光片的顏色的估計，以及-圖像處理單元，其包括具有彩色濾光片的二進制像素陣列并且配置成形成圖像，其中所述圖像處理單元配置成從所述調節(jié)單元接收調節(jié)信息以便適配所述圖像處理單元。
18.一種存儲在計算機可讀介質上并且在數(shù)據(jù)處理設備中可執(zhí)行的計算機程序產(chǎn)品，其中所述計算機程序產(chǎn)品包括 -用于接收二進制像素值的計算機程序代碼段，通過應用光、利用具有彩色濾光片的二進制像素形成了所述二進制像素值， -用于接收關于所述光的顏色的信息的計算機程序代碼段， -用于通過使用所述二進制像素值和關于所述光的顏色的信息來形成第一像素的所述彩色濾光片的顏色的估計的計算機程序代碼段，以及 -用于使用所述估計來適配關于所述圖像處理系統(tǒng)中的彩色濾光片的信息的計算機程序代碼段。
19.根據(jù)權利要求18所述的計算機程序產(chǎn)品，其中所述計算機程序產(chǎn)品進一步包括 -用于調節(jié)所述圖像處理系統(tǒng)以形成所述二進制像素的彩色濾光片的初始值，或者校準所述二進制像素的彩色濾光片的值的計算機程序代碼段。
20.—種設備,包括 -處理裝置， -存儲裝置， -用于接收二進制像素值的裝置，通過應用光、利用具有彩色濾光片的二進制像素形成了所述二進制像素值， -用于接收關于所述光的顏色的信息的裝置， -用于通過使用所述二進制像素值和關于所述光的顏色的信息來形成第一像素的所述彩色濾光片的顏色的估計的裝置，以及 -用于使用所述估計來適配關于所述圖像處理系統(tǒng)中的彩色濾光片的信息的裝置。
全文摘要
本發(fā)明涉及使用二進制像素來形成圖像。二進制像素是僅具有兩個狀態(tài)的像素，當像素被曝光時是白色狀態(tài)，而當像素不被曝光時是黑色狀態(tài)。二進制像素在它們之上具有彩色濾光片，并且彩色濾光片的設置初始可以是未知的。使用統(tǒng)計方法的設置可以用于確定彩色濾光片設置，以產(chǎn)生正確的輸出圖像。隨后，可以利用二進制像素使用彩色濾光片信息來從二進制像素陣列記錄的輸入圖像產(chǎn)生圖像。
文檔編號G06T5/20GK102667853SQ200980162994
公開日2012年9月12日 申請日期2009年12月23日 優(yōu)先權日2009年12月23日
發(fā)明者M·維金科斯基, T·瑪基-瑪?shù)倌? T·里薩 申請人:諾基亞公司