0上的圖像可以是經(jīng)過重構處理的圖像。以這種方式，圖像記錄介質110記錄視差 圖像（輸入圖像）的至少一部分或重構圖像（輸出圖像）。并且，圖像記錄介質Iio不僅記 錄視差圖像的至少一部分或重構圖像（圖像），而且記錄與記錄圖像對應的焦點控制范圍。
[0046] 在記錄于圖像記錄介質110上的圖像在顯示單元106上被顯示的情況下，圖像處 理單元105基于拍攝操作中的圖像獲取條件在圖像上執(zhí)行處理。結果，顯示單元106顯示 通過希望的設定（像素數(shù)量、視點、焦點位置和場深等）重構的圖像（重構圖像）。重構圖 像的像素的數(shù)量由組合圖像像素數(shù)量指定單元（像素數(shù)量指定單元Ulla指定。并且，為 了提高處理速度，可以采用事先在存儲單元109中存儲希望的設定并且在不使用圖像記錄 介質110的情況下在顯示單元106上顯示重構圖像的配置。通過系統(tǒng)控制器111執(zhí)行上述 的一系列的控制。
[0047] 下面，將參照圖2,描述實施例的視差圖像獲得單元100的配置。透鏡陣列102被 設置在成像光學系統(tǒng)101的相對于物面201的像側共輒面上。并且，透鏡陣列102具有基本 上在成像光學系統(tǒng)101的出射光瞳與圖像拾取元件103之間設定共輒關系的配置。這里，基 本共輒關系不僅指精確共輒關系，而且指基本上評價為共輒關系的關系（基本共輒關系）。 來自物面201的光束通過成像光學系統(tǒng)101和透鏡陣列102根據(jù)光束在物面201上的角度 和位置入射到圖像拾取元件103的多個不同的像素。通過這種配置，獲得光場。這里，透鏡 陣列102用于防止穿過物面201上的不同位置的光束入射到圖像拾取元件103的同一像 素。結果，通過布置從多個視點通過圖像拾取元件103拍攝物面201上的同一區(qū)域的像素 組，獲得圖像。
[0048] 圖6是示出實施例的視差圖像獲得單元100的截面圖。在圖6中，成像光學系統(tǒng) 101是單焦點透鏡（固定焦距透鏡）。焦點組IF在光軸OA上移動以執(zhí)行聚焦操作?？讖?SP控制曝光狀態(tài)。透鏡陣列102在實施例中形成為單個固體透鏡，但本發(fā)明不限于此。透 鏡陣列102可包含多個透鏡，并且可通過使用液體透鏡、液晶透鏡或衍射光學元件等形成。 并且，在實施例中，形成透鏡陣列102的小透鏡在其兩個表面上具有凸面形狀，但本發(fā)明不 限于此。例如，可以按平面形狀或非球面形狀形成一個表面。
[0049] 并且，希望形成透鏡陣列102的小透鏡的像側（圖像拾取元件103側）的面具有 凸面形狀。因此，透鏡陣列102的像散減少，由此，在圖像拾取元件103上獲得的圖像變得 銳利（sharp)。相反，在不以凸面形狀形成像側面的情況下，像散增加，由此，通過各個小透 鏡形成的圖像的周邊變模糊。當在重構處理中使用圖像的模糊部分時，不能獲得銳利的重 構圖像。并且，更希望小透鏡的物側（成像光學系統(tǒng)101側）的面具有平面形狀或凸面形 狀。因此，小透鏡的曲率低并且像差減少。因此，可進一步提高圖像的銳利度。
[0050] 下面將描述實施例的重新聚焦處理。由于在"Fourier Slice Photography"（參 見Ren Ng，2005ACM Trans. Graph. 24, 735-744)中詳細描述了重新聚焦，但是，這里將簡單 描述重新聚焦。重新聚焦的基本原理在圖2~5所示的任何配置中是共通的。這里，將通 過例示圖2的配置描述這一點。
[0051] 在圖2中，由于成像光學系統(tǒng)101的光瞳在二維上被分成9個區(qū)段（在一維上是3 個區(qū)段），因此，獲得9視點圖像。這里，與某個分割的光瞳對應的圖像被稱為單視點圖像。 由于9個單視點圖像具有視差，因此，圖像上的被照體的相對位置關系根據(jù)被照體距離改 變。當單視點圖像相互組合使得某些被照體相互重疊（疊加）時，位于不同的被照體距離 上的被照體以不對準的狀態(tài)相互組合。由于這種不對準，位于不同的被照體距離上的被照 體變模糊。此時的模糊由與對于組合使用的單視點圖像對應的光瞳限定，并且，當所有的9 個圖像被相互組合時，由成像光學系統(tǒng)101捕獲的圖像的模糊會被再現(xiàn)。由于通過單視點 圖像的組合相互重疊的被照體被任意設定，因此可再現(xiàn)通過在成像光學系統(tǒng)101中聚焦任 意的被照體捕獲的圖像。這是拍攝操作之后的焦點控制即重新聚焦的原理。
[0052] 下面將描述實施例的單視點圖像的生成方法。圖7是示出實施例中的重新聚焦圖 像的生成的說明圖，并且是示出圖2的透鏡陣列102與圖像拾取元件103之間的關系的示 圖。圖7的虛線圓表示穿過一個小透鏡的光束入射到的區(qū)域。圖7示出以格子形狀布置小 透鏡的情況，但是小透鏡的布置不限于此。例如，可以六重對稱地布置小透鏡，或者各小透 鏡可從規(guī)則的布置輕微偏移。在圖7中，斜線部分表不穿過成像光學系統(tǒng)101的同一光瞳 區(qū)域的光束入射到的像素。出于這種原因，能夠通過提取斜線部分的像素產(chǎn)生從成像光學 系統(tǒng)101的光瞳的下部觀看被照體空間的單視點圖像。類似地，還能夠通過提取相對于由 虛線表示的各圓形的相對位置相同的像素來產(chǎn)生其它的單視點圖像。
[0053] 下面將描述執(zhí)行重新聚焦的焦點控制范圍（重新聚焦范圍）。由于通過相互重 疊單視點圖像來執(zhí)行重新聚焦，因此不能再一次重新聚焦在各單視點圖像中變模糊的被照 體。這是由于，即使當相互重疊變模糊的圖像時，也不能獲得高頻率分量，并且，圖像仍然模 糊。即，焦點控制范圍依賴于成像光學系統(tǒng)101的分割的光瞳。由于當光瞳被分成更多的區(qū) 段時各單視點圖像的場深變得更深，因此，焦點控制范圍加寬。但是，單視點圖像的場深未 必匹配焦點控制范圍。這是由于焦點控制范圍根據(jù)單視點圖像與通過組合這些圖像獲得的 組合圖像的像素數(shù)量比改變。例如，當組合圖像的像素的數(shù)量比各視點的圖像的像素數(shù)量 少時，組合圖像的空間分量的采樣間距相對于單視點圖像增加。出于這種原因，組合圖像的 場深變得比單視點圖像場深要深，由此，其焦點控制范圍也加寬。相反，當組合圖像的像素 的數(shù)量比單視點圖像的像素的數(shù)量多時，焦點控制范圍變得小于單視點圖像的場深。這里， 作為與單視點圖像相比進一步增加組合圖像的像素的數(shù)量的方法，考慮通過像素偏移使用 超分辨率的方法。如上所述，通過在偏移狀態(tài)中組合單視點圖像執(zhí)行重新聚焦。當此時的 偏移量是單視點圖像的像素間距的非整數(shù)倍時，可通過像素偏移提高分辨率，并可由此提 高分辨率。出于這種原因，可以提高組合圖像的像素數(shù)量。
[0054] 從到此為止的討論，可以理解，為了獲得組合圖像的精確焦點控制范圍，需要另外 使用用于組合單視點圖像的條件。并且，單視點圖像的場深根據(jù)視角改變。這是因為，由于 成像光學系統(tǒng)101的漸暈（vignette)，F(xiàn)值根據(jù)視角改變。出于這種原因，用戶可通過根據(jù) 視角計算焦點控制范圍來識別更精確的值。
[0055] 下面，將參照圖8,描述組合圖像的焦點控制范圍的計算方法。圖8是示出實施例 的焦點控制范圍的說明圖。首先，考慮與組合圖像的場深對應的焦點深度。這里，焦點深度 的可允許的模糊圓（confusion circle)的尺寸由ε表示并且光束的角度分量的采樣間距 由Au表示。此時，重新聚焦系數(shù)α ±由下式⑴給出。
[0057] 如圖8所示，由式⑴表達的像側重新聚焦范圍a +S2~a -S 2 (像側焦點控制范 圍）相對于成像光學系統(tǒng)101的共輒范圍是作為物側重新聚焦范圍的焦點控制范圍。這里， S2表示成像光學系統(tǒng)101的像側主面與相對于物面201的成像光學系統(tǒng)101的像側共輒面 (透鏡陣列102)之間的距離。式（1)的關系在圖2~5的任意配置中成立。這里，像側焦 點控制范圍表示焦點控制范圍（重新聚焦范圍）和通過成像光學系統(tǒng)101共輒的范圍。并 且，A y表示光束的二維強度分布的采樣間距，并且在圖2的配置中與透鏡陣列102的間距 Aw相同。相對于成像光學系統(tǒng)101的出射光瞳距離P，圖像拾取元件103的像素間距Δ 足夠小。出于這種原因，式（1)可被近似為下式（2)。
[0059] 這里，成像光學系統(tǒng)101的出射光瞳距離P表不成像光學系統(tǒng)101的出射光瞳面 與相對于物面201的成像光學系統(tǒng)101的像側共輒面（透鏡陣列102)之間的距離。并且， N表不成像光學系統(tǒng)101的光瞳的一維分割區(qū)段的數(shù)量，F(xiàn)表不成像光學系統(tǒng)101的F數(shù)。
[0060] 下面，將參照圖9和圖10,描述向用戶提示實施例的焦點控制范圍的處理。圖9是 在執(zhí)行拍攝操作時（在執(zhí)行拍攝操作之前）向用戶提示焦點控制范圍的情況的流程圖。圖 10是當編輯圖像時向用戶提示焦點控制范圍的情況的流程圖。在圖9和圖10中，步驟S105 和S205分別表示焦點控制范圍獲得步驟，步驟S106和S107以及步驟S206和S207分別表 示顯示圖像產(chǎn)生步驟。并且，基于系統(tǒng)控制器111的指令由圖像處理單元105執(zhí)行圖9和 圖10中的各步驟。
[0061] 首先，將參照圖9,描述在執(zhí)行拍攝操作時向用戶提示焦點控制范圍的情況。這里， 顯示焦點控制范圍的圖像（包括關于焦點控制范圍的信息的圖像）被稱為顯示圖像。在圖 9的步驟SlOl中，圖像處理單元105以使得由視差圖像獲得單元100獲得的視差圖像被輸 入到圖像處理單元105的方式獲得視差圖像。
[0062] 隨后，在步驟S102中，圖像處理單元105確定是否產(chǎn)生顯示圖像的顯示指令。例 如，在圖像拾取裝置10配有用于顯示焦點控制范圍的開關的情況下，當用戶按壓開關時， 從顯示指示單元Illc輸出顯示指令。但是，顯示指令不限于此，并且，可通過其它的方法產(chǎn) 生顯示指令。當圖像處理單元105接收顯示指令時，流程前進到步驟S104。同時，當圖像處 理單元沒有接收顯示指令時，流程前進到步驟S103。
[0063] 以這種方式，圖像處理單元105在指定要被聚焦的被照體之后產(chǎn)生顯示圖像。但 是，實施例不限于此，并且，顯示指令可與對焦被照體指定單元Illb聯(lián)動（interlocked)。 例如，可以在用戶指定對焦被照體（被聚焦的被照體）的同時輸出顯示指令。因此，能夠通 過減少無用的過程的數(shù)量僅在用戶希望拍攝被照體的狀態(tài)下提示焦點控制范圍。并且，在 實施例中，可通過跳過步驟S102并直接從步驟SlOl前進到步驟S104在所有的時間輸出顯 示焦點控制范圍的顯示圖像。
[0064] 當圖像處理單元105在步驟S102中沒有接收顯示指令時，在步驟S103中，圖像處 理單元產(chǎn)生視差圖像中的最接近成像光學系統(tǒng)101的光瞳中心的視點的單視點圖像，并且 將單視點圖像輸出到顯示單元106。因此，用戶可在顯示單元106上實時檢查當前由圖像拾 取元件103獲得的圖像。輸出到顯示單元106的圖像是通過簡單處理獲得的單視點圖像， 但實施例不限于此。例如，可以輸出重構圖像。并且，當輸出單視點圖像時，視點可被設到 成像光學系統(tǒng)101的光瞳的任意位置。
[0065] 同時，當圖像處理單元105在步驟S102中接收顯示指令時，在步驟S104中，圖像 處理單元獲得用于產(chǎn)生顯示圖像的信息。用于產(chǎn)生顯示圖像的信息包含在步驟SlOl中通 過視差圖像獲得單元100輸入的視差圖像的圖像獲取條件、拍攝操作期間的曝光狀態(tài)預測 結果、被照體空間的距離信息和組合圖像的像素的數(shù)量等。這里，基于輸入的視差圖像的視 差信息計算被照體空間的距離信息。但是，可通過使用諸如DFD (Depth From Defocus，散焦 深度測量）的方法或使用紅外線等的距離測量單元獲得距離信息。并且，可在步驟S102之 前執(zhí)行步驟S104。
[0066] 隨后，在步驟S105中，圖像處理單元105通過使用在步驟S104中獲得的信息獲得 組合圖像的焦點控制范圍。如上所述，焦點控制范圍根據(jù)各單視點圖像與組合圖像之間的 像素數(shù)量比改變。出于這種原因，圖像處理單元105根據(jù)在步驟S104中獲得的信息改變焦 點控制范圍。這里，為了簡化描述，將首先考慮像素數(shù)量比為1的情況。
[0067] 當像側焦點控制范圍落在式（2)的范圍內時，獲得可執(zhí)行重新聚焦的區(qū)域。出于 這種原因，相對于物面201的成像光學系統(tǒng)101的像側共輒面（透鏡陣列102)與像側焦點 控制范圍的兩端之一之間的距離cUf_s可滿足下式（3)。
[0068] drafcK：us 彡 NF ε …⑶<