圖像拾取裝置、系統(tǒng)和控制方法以及圖像處理裝置的制造方法
【專利說明】
[0001] 本申請是申請日為2013年9月11日、申請?zhí)枮?01310411213. 9、發(fā)明名稱為"圖 像拾取裝置、系統(tǒng)和控制方法以及圖像處理裝置"的發(fā)明專利申請的分案申請。
技術(shù)領(lǐng)域
[0002] 本發(fā)明涉及能夠通過重構(gòu)輸入圖像來產(chǎn)生具有不同的焦點(diǎn)位置的多個輸出圖像 的圖像拾取裝置。
【背景技術(shù)】
[0003] 近年，提出了計(jì)算通過圖像拾取元件獲得的數(shù)據(jù)并且執(zhí)行與其對應(yīng)的數(shù)字圖像處 理以輸出各種圖像的圖像拾取裝置。日本專利No. 4752031公開了通過使用"光場照相"同 時獲得被照體空間的光束的二維強(qiáng)度分布和光束的角度信息即視差信息的圖像拾取裝置。 光束的二維強(qiáng)度分布和光束的角度信息被稱為光場，并且，可通過獲得光場來獲得被照體 空間的三維信息。通過用獲得的光場在圖像上執(zhí)行重構(gòu)處理，能夠執(zhí)行稱為重新聚焦的圖 像焦點(diǎn)位置控制、視點(diǎn)改變控制和場深控制等。
[0004] 并且，PCT國際公開No. W02008/050904公開了通過使用照相機(jī)陣列獲得光場并且 執(zhí)行重新聚焦的配置。
[0005] 但是，在日本專利No. 4752031和PCT國際公開No. W02008/050904公開的圖像拾 取裝置中，用戶不能在拍攝被照體或者編輯圖像時識別可重新聚焦的范圍（重新聚焦范 圍）。出于這種原因，用戶難以根據(jù)用戶的意圖拍攝希望的被照體或者編輯圖像。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明提供允許用戶容易地識別重新聚焦范圍的圖像拾取裝置、圖像拾取系統(tǒng)和 圖像處理裝置，并且提供圖像拾取裝置的控制方法。
[0007] 作為本發(fā)明的一個方面的圖像拾取裝置能夠通過重構(gòu)輸入圖像來產(chǎn)生具有不同 的焦點(diǎn)位置的多個輸出圖像，該圖像拾取裝置包括：被配置為獲得輸入圖像的輸入圖像獲 得單元；被配置為從輸入圖像產(chǎn)生顯示圖像的圖像處理單元；和被配置為顯示所述顯示圖 像的顯示單元，并且，圖像處理單元獲得可控制焦點(diǎn)位置的焦點(diǎn)控制范圍，并且通過使用輸 入圖像的至少一部分產(chǎn)生包含關(guān)于焦點(diǎn)控制范圍的信息的顯示圖像。
[0008] 作為本發(fā)明的另一方面的圖像拾取系統(tǒng)能夠通過重構(gòu)輸入圖像來產(chǎn)生具有不同 的焦點(diǎn)位置的多個輸出圖像，該圖像拾取系統(tǒng)包括：被配置為獲得輸入圖像的輸入圖像獲 得裝置；被配置為從輸入圖像產(chǎn)生顯示圖像的圖像處理裝置；和被配置為顯示所述顯示圖 像的顯示裝置，該圖像處理裝置獲得可控制焦點(diǎn)位置的焦點(diǎn)控制范圍，并且該圖像處理裝 置通過使用輸入圖像的至少一部分產(chǎn)生包含關(guān)于焦點(diǎn)控制范圍的信息的顯示圖像。
[0009] 作為本發(fā)明的另一方面的圖像處理裝置能夠通過重構(gòu)輸入圖像來產(chǎn)生具有不同 的焦點(diǎn)位置的多個輸出圖像，該圖像處理裝置包括：被配置為存儲輸入圖像的圖像拾取條 件信息的存儲單元；被配置為從輸入圖像產(chǎn)生顯示圖像的圖像處理單元；和被配置為顯示 所述顯示圖像的顯示單元，并且，圖像處理單元獲得可控制焦點(diǎn)位置的焦點(diǎn)控制范圍，并且 通過使用輸入圖像的至少一部分產(chǎn)生包含關(guān)于焦點(diǎn)控制范圍的信息的顯示圖像。
[0010] 作為本發(fā)明的另一方面的圖像拾取裝置的控制方法能夠通過重構(gòu)輸入圖像來產(chǎn) 生具有不同的焦點(diǎn)位置的多個輸出圖像，該方法包括以下的步驟：通過成像光學(xué)系統(tǒng)和圖 像拾取元件獲得輸入圖像；獲得可控制焦點(diǎn)位置的焦點(diǎn)控制范圍；通過使用輸入圖像的至 少一部分產(chǎn)生包含關(guān)于焦點(diǎn)控制范圍的信息的顯示圖像；和在顯示單元上顯示所述顯示圖 像。
[0011] 從參照附圖對示例性實(shí)施例的以下描述，本發(fā)明的其它特征和方面將變得清晰。
【附圖說明】
[0012] 圖1是示出實(shí)施例1~3的圖像拾取裝置的框圖。
[0013] 圖2是示出實(shí)施例1的視差圖像獲得單元的示意配置圖。
[0014] 圖3是示出實(shí)施例2的視差圖像獲得單元的示意配置圖。
[0015] 圖4是示出實(shí)施例2的不同的視差圖像獲得單元的示意配置圖。
[0016] 圖5是示出實(shí)施例3的視差圖像獲得單元的示意配置圖。
[0017] 圖6是示出實(shí)施例1的視差圖像獲得單元的截面圖。
[0018] 圖7是示出實(shí)施例1的重新聚焦圖像的產(chǎn)生的說明圖。
[0019] 圖8是示出實(shí)施例1的焦點(diǎn)控制范圍的說明圖。
[0020] 圖9是示出實(shí)施例1~4中的在執(zhí)行拍攝操作時（在執(zhí)行拍攝操作之前）向用戶 提供焦點(diǎn)控制范圍的情況的流程圖。
[0021] 圖10是示出實(shí)施例1~4中的在編輯圖像時向用戶提供焦點(diǎn)控制范圍的情況的 流程圖。
[0022] 圖11是示出實(shí)施例1的視差圖像獲得單元的光學(xué)布置的說明圖。
[0023] 圖12是示出實(shí)施例1~4中的拍攝場景的例子的示圖。
[0024] 圖13A~13E是示出實(shí)施例1~4中的顯示圖像的說明圖。
[0025] 圖14是示出實(shí)施例2的視差圖像獲得單元的截面圖。
[0026] 圖15A和圖15B是示出實(shí)施例2的重新聚焦圖像的產(chǎn)生的說明圖。
[0027] 圖16是示出實(shí)施例2的焦點(diǎn)控制范圍的說明圖。
[0028] 圖17是示出從物側(cè)觀察的實(shí)施例3的視差圖像獲得單元的截面圖。
[0029] 圖18是示出實(shí)施例3的成像光學(xué)系統(tǒng)的截面圖。
[0030] 圖19是示出實(shí)施例3的焦點(diǎn)控制范圍的說明圖。
[0031] 圖20是示出實(shí)施例4的圖像拾取裝置（圖像拾取系統(tǒng)）的框圖。
[0032] 圖21是示出實(shí)施例4的圖像拾取裝置（圖像拾取系統(tǒng)）的示意性配置圖。
[0033] 圖22是示出實(shí)施例4的單視點(diǎn)圖像獲得單元的框圖。
[0034] 圖23是示出實(shí)施例4的成像光學(xué)系統(tǒng)的截面圖。
【具體實(shí)施方式】
[0035] 以下將參照附圖描述本發(fā)明的示例性實(shí)施例。在各附圖中，相同的附圖標(biāo)記將被 賦予相同的部件，并且，將省略其描述。
[0036] 實(shí)施例的圖像拾取裝置是能夠通過重構(gòu)輸入圖像來產(chǎn)生具有不同的焦點(diǎn)位置的 多個輸出圖像的圖像拾取裝置。實(shí)施例的視差圖像獲得單元（輸入圖像獲得單元）獲得視 差圖像（輸入圖像）即通過從多個視點(diǎn)拍攝被照體空間獲得的光場。作為實(shí)施例的視差圖 像獲得單元的例子，例示圖2~4所示的在成像光學(xué)系統(tǒng)的像側(cè)設(shè)置透鏡陣列的配置或圖 5所示的布置多個成像光學(xué)系統(tǒng)的配置。同時，作為獲得視差圖像（光場）的方法，考慮通 過使用包含成像光學(xué)系統(tǒng)和圖像拾取元件的圖像拾取裝置在改變圖像拾取裝置的位置的 同時多次執(zhí)行拍攝操作的方法。通過這種方法獲得的視差圖像是通過在不同的時刻捕獲被 照體空間而獲得的圖像。出于這種原因，當(dāng)移動被照體存在于被照體空間中時，不能獲得正 確的視差信息。因此，希望采用視差圖像獲得單元可如圖2~5所示的那樣同時獲得整個 視差圖像（多個視差圖像）的配置。
[0037] 通過在通過圖2~5的配置獲得的視差圖像上執(zhí)行像素提取處理、次序重新布置 處理或組合處理，可以執(zhí)行重新聚焦或場深控制、以及視點(diǎn)改變控制等。在實(shí)施例中，這種 處理（用于通過使用輸入圖像的至少一部分獲得輸出圖像的處理）被稱為重構(gòu)處理。并 且，通過重構(gòu)處理產(chǎn)生的圖像被稱為重構(gòu)圖像（輸出圖像）。特別地，通過在視差圖像上執(zhí) 行重新聚焦處理獲得的圖像（輸出圖像）被稱為組合圖像?？赏ㄟ^噪聲減少處理或諸如場 深控制的重構(gòu)處理，獲得組合圖像。并且，可重新聚焦范圍即可在被照體空間中控制焦點(diǎn)位 置的范圍被稱為焦點(diǎn)控制范圍（重新聚焦范圍）。如后面將描述的那樣，通過圖像處理單元 獲得焦點(diǎn)控制范圍。并且，圖像處理單元通過使用輸入圖像的至少一部分產(chǎn)生包含與焦點(diǎn) 控制范圍有關(guān)的信息的顯示圖像。
[0038] 在實(shí)施例中，人物或被照體可能未必存在于圖2~5的物面201上。這是由于，焦 點(diǎn)位置可被控制，以通過在拍攝操作之后執(zhí)行的重新聚焦處理（重構(gòu)處理）聚焦在存在于 物面201的內(nèi)側(cè)或前側(cè)的人物或被照體上。并且，在以下的各實(shí)施例中，可為了簡化描述使 用一維系統(tǒng)，但是，在各實(shí)施例中，這同樣適于二維系統(tǒng)。
[0039] [實(shí)施例1]
[0040] 首先，將描述本發(fā)明的實(shí)施例1的圖像拾取裝置。圖1是示出實(shí)施例的圖像拾取裝 置10的框圖。圖2是示出圖像拾取裝置10的視差圖像獲得單元（輸入圖像獲得單元）100 的示意性配置圖。
[0041] 如圖2所示，視差圖像獲得單元100從物側(cè)（物面?zhèn)龋┮来伟上窆鈱W(xué)系統(tǒng)101、 透鏡陣列102和圖像拾取元件103。成像光學(xué)系統(tǒng)101在像側(cè)共輒面上形成來自物面201 的光束的圖像。透鏡陣列102被設(shè)置在像側(cè)共輒面上。圖像拾取元件103包含多個像素。 并且，透鏡陣列102被配置為使得來自物面201的同一位置的光束根據(jù)光束通過的成像光 學(xué)系統(tǒng)101的光瞳區(qū)域入射到圖像拾取元件103的不同像素。
[0042] 通過這種配置，視差圖像獲得單元100獲得視差圖像（輸入圖像）。圖像拾取元 件103是諸如CCD(電荷耦合器件）或CMOS(互補(bǔ)金屬氧化物半導(dǎo)體）的二維圖像拾取元 件。穿過成像光學(xué)系統(tǒng)101和透鏡陣列102并入射到圖像拾取元件103的光束的能量通過 圖像拾取元件103的光電轉(zhuǎn)換被轉(zhuǎn)換成模擬電信號（模擬信號）。A/D轉(zhuǎn)換器104將模擬 信號轉(zhuǎn)換成數(shù)字信號并且將數(shù)字信號輸出到圖像處理單元105。圖像處理單元105通過在 數(shù)字信號上施加預(yù)先確定的處理來產(chǎn)生顯示圖像。通過圖像處理單元105產(chǎn)生的顯示圖像 被輸出到諸如液晶顯示器的顯示單元106以在其上被顯示。用戶觀察顯示單元106的顯示 圖像，并由此可在檢查圖像的同時執(zhí)行拍攝操作。
[0043] 圖像處理單元105在產(chǎn)生顯示圖像時使用圖像獲取條件、從曝光狀態(tài)預(yù)測單元 113或存儲單元109獲得的信息、以及從距離信息獲得單元105a獲得的信息等。這里，圖像 獲取條件包含關(guān)于獲得模擬信號（視差圖像）時的視差圖像獲得單元100的信息（關(guān)于視 差圖像獲得單元100的配置的信息）、孔徑的曝光狀態(tài)、焦點(diǎn)位置和變焦透鏡的焦距等。狀 態(tài)檢測單元108可直接從系統(tǒng)控制器111獲得圖像獲取條件。并且，也可從控制單元107獲 得關(guān)于視差圖像獲得單元100的信息。在實(shí)施例中，關(guān)于視差圖像獲得單元100的配置的 信息被存儲于存儲單元109中。曝光狀態(tài)預(yù)測單元113事先基于從測光單元112獲得的信 息預(yù)測曝光狀態(tài)。圖像處理單元105根據(jù)事先預(yù)測的曝光狀態(tài)改變焦點(diǎn)控制范圍。并且， 圖像處理單元105中的距離信息獲得單元105a從輸入的視差信息（視差圖像）獲得被照 體空間的距離信息。
[0044] 系統(tǒng)控制器111包含指示在顯示單元106上顯示所述顯示圖像的顯示指示單元 111c。顯示單元106根據(jù)從顯示指示單元Illc輸出的信號接通和關(guān)斷顯示器并且切換顯 示圖像。例如，在圖像拾取裝置10配有釋放按鈕的情況下，顯示指示單元Illc輸出預(yù)先確 定的信號，使得在用戶將釋放按鈕按壓到第一位置的同時（在執(zhí)行拍攝操作之前）在顯示 單元106上顯示所述顯示圖像。當(dāng)釋放按鈕在這種狀態(tài)下被按壓到比第一位置深的第二位 置時，執(zhí)行拍攝操作。但是，實(shí)施例不限于此，并且，顯示指示單元Illc可通過其它方法傳 送信號。
[0045] 并且，系統(tǒng)控制器111包含指定要通過視差圖像獲得單元100聚焦的被照體的對 焦被照體指定單元111b。根據(jù)從對焦被照體指定單元11 Ib輸出的信號，控制單元107驅(qū)動 視差圖像獲得單元100的聚焦機(jī)構(gòu)以在被照體（指定的被照體）上執(zhí)行對焦控制。當(dāng)通過 圖像拾取指示單元11 Id執(zhí)行拍攝操作時，控制單元107基于來自測光單元112的信息調(diào)整 視差圖像獲得單元100的曝光。此時，通過圖像拾取元件103獲得的圖像被輸入到圖像處 理單元105,使得如上面描述的那樣在圖像上執(zhí)行預(yù)先確定的處理。以預(yù)先確定的格式在諸 如半導(dǎo)體存儲器的圖像記錄介質(zhì)11〇(圖像記錄單元）上記錄圖像。并且，在拍攝操作中從 狀態(tài)檢測單元108獲得的圖像獲取條件還被記錄于圖像記錄介質(zhì)110上。記錄于圖像記錄 介質(zhì)11