專利名稱：復用成像的制作方法
技術領域：
本發(fā)明涉及成像，并且應用于攝影。本發(fā)明的一些實施例涉及高動態(tài)范圍(HDR) 圖像的獲取。本發(fā)明的一些實施例涉及彩色圖像的獲取。

發(fā)明內(nèi)容
本發(fā)明的各種示例實施例提供了 相機， 相機系統(tǒng)， 相機的成像陣列， 用于獲得圖像的方法， 用于從圖像數(shù)據(jù)提取多個圖像特性的方法，以及 用于從圖像數(shù)據(jù)提取多個圖像特性的設備。本發(fā)明的一個方面提供了用于獲得圖像數(shù)據(jù)的方法。所述方法包括通過將成像陣列暴露于光學輻射并操作所述成像陣列來獲取圖像數(shù)據(jù)。獲取所述圖像數(shù)據(jù)包括將所述成像陣列對所述光學輻射的多個成分中的每個成分的響應根據(jù)對應的用于可逆變換的基函數(shù)來進行空間調(diào)制。所述方法向所述圖像數(shù)據(jù)施加所述變換以得到經(jīng)變換的圖像數(shù)據(jù)。所述經(jīng)變換的圖像數(shù)據(jù)包括分別與所述多個成分對應的空間分離的圖像拷貝。所述方法從所述經(jīng)變換的圖像數(shù)據(jù)提取所述空間分離的圖像拷貝，并向提取到的所述圖像拷貝中的每個圖像拷貝施加所述變換的逆。在一些實施例中，獲取所述圖像數(shù)據(jù)包括允許所述光學輻射在與所述成像陣列的像素互作用之前通過光學濾波器。另一個方面提供了一種用于重構圖像中的飽和像素的像素值的自動化方法。所述方法包括獲得圖像數(shù)據(jù)，所述圖像數(shù)據(jù)包括具有一些飽和像素的圖像的受頻帶限制的暴露。所述暴露被空間調(diào)制。不同地衰減所述暴露的函數(shù)使所述空間調(diào)制發(fā)生在一個或多個空間頻率處，并且在一些實施例中，發(fā)生在兩個或更多個空間頻率處。所述方法標識所述圖像數(shù)據(jù)中的所述飽和像素，計算所述圖像數(shù)據(jù)的傅立葉變換，并建立優(yōu)化問題，其中，所述飽和成分的像素值是未知的，并且待被最小化的誤差量度包括與所述兩個或更多個空間頻率對應的傅立葉域圖像拷貝之間的差。所述方法數(shù)值求解所述優(yōu)化問題，以獲得所述飽和像素的像素值。本發(fā)明的另一個方面提供了成像陣列，所述成像陣列包括濾波器，其中，所述濾波
4器對于多個譜帶中的每個譜帶而言的透射率隨著不同的空間頻率而空間變化。本發(fā)明的另一個方面提供了一種自動化的圖像處理系統(tǒng)，該系統(tǒng)包括處理器和用于由所述處理器執(zhí)行的軟件指令。所述軟件指令包括將所述處理器配置成執(zhí)行以下操作的指令獲得圖像數(shù)據(jù)，所述圖像數(shù)據(jù)包括具有一些飽和像素的圖像的受頻帶限制的暴露，其中，由不同地衰減所述暴露的函數(shù)在兩個或更多個空間頻率處空間調(diào)制所述暴露；標識所述圖像數(shù)據(jù)中的所述飽和像素；計算所述圖像數(shù)據(jù)的傅立葉變換；建立優(yōu)化問題，其中，所述飽和成分的像素值是未知的，并且待被最小化的誤差量度包括與所述兩個或更多個空間頻率對應的傅立葉域圖像拷貝之間的差；以及數(shù)值求解所述優(yōu)化問題，以獲得所述飽和像素的像素值。下面描述本發(fā)明的更多方面和本發(fā)明的具體實施例的特征。


附示了本發(fā)明的非限制性的示例實施例。圖1是圖示了根據(jù)本發(fā)明的第一示例實施例的用于彩色成像的方法的流程圖。圖2圖示了將圖1的方法應用于示例圖像。圖3AJB和3C示出了可以被組裝以制作根據(jù)在多個空間頻率處具有空間變化的示例實施例的濾波器的平鋪片(tile)。圖4是允許將現(xiàn)有技術的濾波器與根據(jù)本發(fā)明的一個示例實施例的濾波器的半透明度作比較的曲線圖。圖4A是示出了作為顏色通道數(shù)目的函數(shù)的根據(jù)本發(fā)明的一個實施例的濾波器的半透明度的曲線圖。圖5示意性地圖示了根據(jù)一個示例實施例的梯度濾波器的傅立葉域中的操作。圖6A和6B分別示出了在沒有削波的情況下(或者作為飽和的結果)圖像的掃描線的示例一維圖像信號及其傅立葉變換。圖6C和6D分別示出了在存在削波的情況下圖像的掃描線的同一個示例一維圖像信號及其傅立葉變換。圖7是圖示了根據(jù)一個示例實施例的用于恢復飽和像素值的方法的流程圖。圖8是圖示了根據(jù)一個示例實施例的相機系統(tǒng)的功能框圖。
具體實施例方式在下面的全部描述中，闡明了具體細節(jié)以便提供對本發(fā)明的更全面理解。然而，可以在沒有這些細節(jié)的情況下實踐本發(fā)明。在其它場合，未詳細示出或描述眾所周知的要素以避免不必要地使本發(fā)明模糊不清。因而，應在說明性的而不是限定性的意義上看待說明書和附圖。本發(fā)明的一個基本實施涉及獲得對光學輻射的暴露，其中，根據(jù)用于變換的兩個或更多個不同的基函數(shù)來空間調(diào)制成像陣列中的像素對光學輻射的不同成分的響應。例如，當該變換是傅立葉變換時，基函數(shù)可以是正弦或余弦函數(shù)。然后，根據(jù)該變換對所得到的圖像數(shù)據(jù)進行變換以得到經(jīng)變換的圖像數(shù)據(jù)。在經(jīng)變換的圖像數(shù)據(jù)中，不同成分所對應的信息是空間分離的。例如，通過余弦和濾波器進行暴露導致原始圖像在經(jīng)傅立葉變換的圖像的較高空間頻率區(qū)域中的準確拷貝。該信息可通過選擇經(jīng)變換的圖像數(shù)據(jù)的對應部分
權利要求
1.一種用于獲得圖像數(shù)據(jù)的方法，所述方法包括通過將成像陣列暴露于光學輻射并操作所述成像陣列來獲取圖像數(shù)據(jù)，其中，獲取所述圖像數(shù)據(jù)包括將所述成像陣列對所述光學輻射的多個成分中的每個成分的響應根據(jù)對應的用于可逆變換的基函數(shù)來進行空間調(diào)制；向所述圖像數(shù)據(jù)施加所述變換以得到經(jīng)變換的圖像數(shù)據(jù)，所述經(jīng)變換的圖像數(shù)據(jù)包括分別與所述多個成分對應的空間分離的圖像拷貝；從所述經(jīng)變換的圖像數(shù)據(jù)提取所述空間分離的圖像拷貝；以及向提取到的所述圖像拷貝中的每個圖像拷貝施加所述變換的逆。
2.根據(jù)權利要求1所述的方法，其中，獲取所述圖像數(shù)據(jù)包括允許所述光學輻射在與所述成像陣列的像素互作用之前通過光學濾波器。
3.根據(jù)權利要求2所述的方法，其中，所述光學濾波器具有空間變化，所述空間變化至少具有第一和第二空間頻率。
4.根據(jù)權利要求3所述的方法，其中，所述光學濾波器包括以所述成像陣列的像素的節(jié)距的倍數(shù)重復的平鋪片。
5.根據(jù)權利要求2所述的方法，其中，所述光學濾波器具有超過45%的透射率。
6.根據(jù)權利要求1所述的方法，其中，與所述多個成分對應的所述基函數(shù)相互正交。
7.根據(jù)權利要求6所述的方法，其中，所述成分包括基色。
8.根據(jù)權利要求6所述的方法，其中，所述成分包括紅色成分、藍色成分和綠色成分， 并且獲取所述圖像數(shù)據(jù)包括在不同的空間頻率處調(diào)制所述紅色、藍色和綠色成分中的每個成分。
9.根據(jù)權利要求1所述的方法，其中，獲取所述圖像數(shù)據(jù)包括在允許所述光學輻射與所述成像陣列互作用之前對所述光學輻射的空間頻率進行頻帶限制。
10.根據(jù)權利要求1所述的方法，其中，所述空間調(diào)制的方向不與所述成像陣列的行或列對齊。
11.根據(jù)權利要求1所述的方法，其中，所述調(diào)制是空間周期性的，并且具有對于每個所述成分不同的空間頻率。
12.根據(jù)權利要求1所述的方法，其中，所述基函數(shù)包括正弦式。
13.根據(jù)權利要求11所述的方法，其中，獲取所述圖像數(shù)據(jù)包括根據(jù)具有第一空間頻率的第一正弦式來空間調(diào)制所述成像陣列對所述光學輻射的所述多個成分中的第一個成分的響應，并根據(jù)具有所述第一空間頻率并且與所述第一正弦式有1/4波的相位差的第二正弦式來空間調(diào)制所述成像陣列對所述光學輻射的所述多個成分中的第二個成分的響應。
14.根據(jù)權利要求13所述的方法，包括提取一對空間分離的拷貝，其中每個拷貝都與所述第一空間頻率對應；計算該對空間分離的拷貝之和的實部和該對空間分離的拷貝之差的虛部；并向所述實部和所述虛部施加所述變換的所述逆。
15.根據(jù)權利要求1所述的方法，其中，所述成分包括偏振狀態(tài)。
16.一種用于重構圖像中的飽和像素的像素值的自動化方法，所述方法包括獲得圖像數(shù)據(jù)，所述圖像數(shù)據(jù)包括具有一些飽和像素的圖像的受頻帶限制的暴露，其中，由不同地衰減所述暴露的函數(shù)在兩個或更多個空間頻率處空間調(diào)制所述暴露；標識所述圖像數(shù)據(jù)中的所述飽和像素；計算所述圖像數(shù)據(jù)的傅立葉變換；建立優(yōu)化問題，其中，所述飽和成分的像素值是未知的，并且待被最小化的誤差量度包括與所述兩個或更多個空間頻率對應的傅立葉域圖像拷貝之間的差；以及數(shù)值求解所述優(yōu)化問題，以獲得所述飽和像素的像素值。
17.根據(jù)權利要求16所述的方法，包括向所述圖像數(shù)據(jù)中插入所述飽和像素的所述像素值。
18.根據(jù)權利要求16所述的方法，其中，所述優(yōu)化問題包括空間曲率約束。
19.根據(jù)權利要求16所述的方法，其中，建立所述優(yōu)化問題包括產(chǎn)生所述飽和像素的所述像素值的初始估計。
20.根據(jù)權利要求19所述的方法，其中，所述初始估計將飽和區(qū)域的形心處的像素值設定為最大值。
21.—種成像陣列，所述成像陣列包括濾波器，其中，所述濾波器對于多個譜帶中的每個譜帶而言的透射率隨著不同的空間頻率而空間變化。
22.根據(jù)權利要求21所述的成像陣列，其中，對于所述譜帶中的每個譜帶而言的所述透射率正弦地變化。
23.根據(jù)權利要求21所述的成像陣列，其中，所述多個譜帶包括通過紅光的帶、通過藍光的帶和通過綠光的帶。
24.—種自動化的圖像處理系統(tǒng)，包括 處理器；用于由所述處理器執(zhí)行的軟件指令，所述軟件指令包括將所述處理器配置成執(zhí)行以下操作的指令獲得圖像數(shù)據(jù)，所述圖像數(shù)據(jù)包括具有一些飽和像素的圖像的受頻帶限制的暴露，其中，由不同地衰減所述暴露的函數(shù)在兩個或更多個空間頻率處空間調(diào)制所述暴露； 標識所述圖像數(shù)據(jù)中的所述飽和像素； 計算所述圖像數(shù)據(jù)的傅立葉變換；建立優(yōu)化問題，其中，所述飽和成分的像素值是未知的，并且待被最小化的誤差量度包括與所述兩個或更多個空間頻率對應的傅立葉域圖像拷貝之間的差；以及數(shù)值求解所述優(yōu)化問題，以獲得所述飽和像素的像素值。
25.具有在此所述的新的發(fā)明特征、特征組合或特征子組合的設備。
26.包括在此所述的新的發(fā)明步驟、動作、步驟和/或動作的組合或者步驟和/或動作的子組合的方法。
全文摘要
一種成像方法包括獲取圖像數(shù)據(jù)，其中，在不同的空間頻率處空間調(diào)制圖像成分；將所述圖像數(shù)據(jù)變換到傅立葉域中；并在傅立葉域中分離所述圖像成分?？梢詫⑺鰣D像成分變換到空間域中。所述圖像成分可以包括不同的顏色。在一些實施例中，通過在傅立葉域中基于圖像拷貝之間的差執(zhí)行優(yōu)化，來重構飽和像素。成像設備可以執(zhí)行所述成像方法。
文檔編號H04N5/335GK102282840SQ201080004934
公開日2011年12月14日 申請日期2010年1月15日 優(yōu)先權日2009年1月19日
發(fā)明者伊沃·博多·伊爾克, 戈登·韋茨施泰因, 沃爾夫岡·海德里希 申請人:杜比實驗室特許公司