布置處理單元144針對拾取的圖像數(shù)據(jù)D1，使用被稱為“光場攝像”的方法，使用由重新對焦系數(shù)設置單元149所設置的重新對焦系數(shù)α，執(zhí)行預定的重新布置處理例如重新對焦操作處理，結果生成拾取的圖像數(shù)據(jù)D2 (重新對焦圖像)。
[0049]應當注意，在重新對焦圖像中，沿正向方向和反向方向以預定量提供景深，同時使得指定的焦點位置夾在其之間。沿正向方向距焦點位置的景深和沿反向方向距焦點位置的景深可以彼此相等。替選地，該兩個景深可以以一定的比率分布或可以被設置為任意深度。
[0050]噪聲降低單元145在從重新布置處理單元144所提供的拾取的圖像數(shù)據(jù)D2中執(zhí)行降低噪聲(例如，當在黑暗地點或在未獲得足夠的敏感度的地點拍攝圖像時所生成的噪聲)的處理。輪廓強調(diào)單元146關于從噪聲降低單元145所提供的拾取的圖像數(shù)據(jù)執(zhí)行強調(diào)圖像的輪廓的輪廓強調(diào)處理。
[0051]關于從輪廓強調(diào)單元146所提供的拾取的圖像數(shù)據(jù)，白平衡調(diào)整單元147由于照明條件的影響、各個器件的圖像拾取元件13的光譜敏感性的差異等、濾色器的透光性等，執(zhí)行顏色平衡的調(diào)整處理(白平衡調(diào)整處理)。
[0052]伽馬校正單元148關于從白平衡調(diào)整單元147所提供的拾取的圖像數(shù)據(jù)執(zhí)行預定的伽馬校正(色調(diào)或?qū)Ρ榷刃Ｕ?，從而生成拾取的圖像數(shù)據(jù)Dout。
[0053](關于顯示設備的結構)
[0054]隨后，將描述顯示設備的整個結構。圖3是示出了根據(jù)實施例的設置有圖像拾取設備I的觸摸面板類型的顯示設備2的整個結構的功能框圖。
[0055]顯示設備2可以在顯示圖像的任意位置處進行對焦調(diào)整，并且可以執(zhí)行從所顯示的圖像(拾取的圖像數(shù)據(jù)Dout)到在不同的對焦表面上所設置的圖像(拾取的圖像數(shù)據(jù)DRout)的切換。顯示設備2設置有包括圖像處理單元14的圖像拾取設備1、觸摸面板150、距離信息計算單元151、重新對焦系數(shù)設置單元149、重新布置處理單元144、噪聲降低單元145、輪廓強調(diào)單元146、白平衡調(diào)整單元147、伽馬校正單元148以及對這些功能塊執(zhí)行整體控制的控制單元(未示出)。應當注意，對于與圖像拾取設備I相同的圖像處理，給予相同的符號，并且將適當?shù)厥÷詫ζ涞拿枋觥?br>[0056]觸摸面板150由顯示控制單元和位置檢測單元構成。顯示控制單元在顯示面板(顯示單元)上顯示重構的圖像，該重構的圖像基于從圖像拾取設備I所輸出的拾取的圖像數(shù)據(jù)Dout。位置檢測單元當指定所顯示的圖像的任意位置時檢測所指定的位置。例如，通過用手指、筆等觸摸顯示面板，根據(jù)壓敏或靜電方式檢測所接觸的位置。作為顯示面板，使用液晶面板、有機EL(電致發(fā)光)面板等。
[0057]距離信息計算單元151依賴于由觸摸面板150所檢測的位置(像素)，從由以上所述圖像處理單元14的距離信息提取單元143 (相位差檢測單元)所檢測的視差圖像的相位差視差圖或深度圖DM中選擇相位差(視差)，并且基于視差計算距離d。
[0058]例如，當期望在所顯示的圖像(在下文中，被稱為圖像頂G0)的指定位置上生成對焦圖像(在下文中，被稱為圖像MGl)的情況下，距離d被設置為圖像拾取透鏡與如下重新對焦表面之間的距離:對于該重新對焦表面，在由觸摸面板150所檢測的位置處獲得對焦并且通過使用在所檢測的位置的視差計算對焦。
[0059]在如上所述的顯示設備2中，在觸摸面板150上，當顯示控制單元基于拾取的圖像數(shù)據(jù)Dout顯示圖像頂GO并且指定圖像頂GO的任意位置時，檢測所指定的位置，以及與位置有關的信息(位置信息)和與景深有關的信息(景深信息)被輸入到距離信息計算單元151。
[0060]另一方面，視差圖像的視差圖或深度圖DM從圖像拾取設備I的圖像處理單元14中的位置信息提取單元143 (相位差檢測單元)被輸入到距離信息計算單元151。
[0061]在距離信息計算單元151中，例如，在選擇與所指定的位置相對應的視差之后，基于所選擇的視差計算距離d并且距離d與拾取的圖像數(shù)據(jù)Dout —起被輸入到重新對焦系數(shù)設置單元149。
[0062]在重新對焦系數(shù)設置單元149中，如上所述，基于距離d和景深信息，設置重新對焦系數(shù)α并且重新對焦系數(shù)α與拾取的圖像數(shù)據(jù)Dout—起被輸入到重新布置處理單元144。
[0063]在重新布置處理單元144中，基于重新對焦系數(shù)α，針對拾取的圖像數(shù)據(jù)Dout執(zhí)行重新布置處理，并且例如，對在圖像頂GO中所指定位置上對焦的圖像(拾取的圖像數(shù)據(jù)D3)進行重構。如上所述地重構的拾取的圖像數(shù)據(jù)D3經(jīng)受由噪聲降低單元145、輪廓強調(diào)單元146、白平衡調(diào)整單元147以及伽馬校正單元148進行的預定的圖像處理，并且作為拾取的圖像數(shù)據(jù)DRout被輸入到觸摸面板150的顯示控制單元。以這種方式，顯示控制單元在顯示面板上顯示在圖像MGO中的所指定的位置上對焦的圖像頂G1。
[0064]如上所述，依賴于圖像頂GO的所指定的位置檢測視差，計算預定距離信息以設置重新對焦系數(shù)α，以及執(zhí)行拾取的圖像數(shù)據(jù)的重新布置。因此，可以立即地執(zhí)行從圖像IMGO到在任意位置處經(jīng)受了對焦調(diào)整的圖像頂Gl的切換，并且顯示圖像。
[0065]<修改例I (圖像拾取設備與顯示設備的分離)>
[0066]應當注意，可以分離地設置圖像拾取設備I和顯示設備2Β，盡管在以上描述中顯示設備2包括圖像拾取設備I。在這種情況下，拾取的圖像數(shù)據(jù)Dout和DM從在顯示設備2Β外部的圖像拾取設備I或從在云端的服務器等被提供到顯示設備2Β。
[0067]<修改例2 (顯不設備的簡化和云的利用)>
[0068]可以使用具有下述結構的顯示設備2C，在該結構中從修改例I的顯示設備2Β中移除距離信息計算單元151、重新對焦系數(shù)設置單元149、重新布置處理單元144、噪聲降低單元145、輪廓強調(diào)單元146、白平衡調(diào)整單元147以及伽馬校正單元148。在這種情況下，首先，拾取的圖像數(shù)據(jù)Dout從在云端的服務器被提供給顯示設備2C，以及圖像頂GO被顯示在觸摸面板150的顯示面板上。
[0069]當用戶觸摸要被對焦的對象的位置以定其位置信息以及根據(jù)稍后描述的方法指指定深度信息時，顯示設備2C將位置信息和深度信息傳送至服務器。
[0070]服務器包括距離信息計算單元151、重新對焦系數(shù)設置單元149、重新布置處理單元144、噪聲降低單元145、輪廓強調(diào)單元146、白平衡調(diào)整單元147以及伽馬校正單元148。服務器采用這些功能塊生成拾取的圖像數(shù)據(jù)DRout并且將數(shù)據(jù)傳送至顯示設備2C。
[0071]顯示設備2C在觸摸面板150的顯示面板上顯示從服務器所提供的拾取的圖像數(shù)據(jù)DRout作為圖像頂Gl。
[0072](關于用于重新對焦的UI)
[0073]隨后，詳細說明用于指定重新對焦時的焦點位置和景深的UL.
[0074](焦點位置的指定)
[0075]首先，將描述在根據(jù)本技術的UI上指定焦點位置的方法。由用戶通過觸摸圖像頂GO上要對焦的對象來指定當用戶在期望的位置處執(zhí)行重新對焦時的焦點位置，圖像IMGO顯示在觸摸面板150上。
[0076]圖4是示出了用戶觸摸在其上顯示有圖像頂GO的觸摸面板150上的對象SUBl、并且顯示圖像頂Gl的狀態(tài)的圖。根據(jù)該圖明顯的是，用戶觸摸對象SUB1，從而指定到作為焦點位置的對象SUBl的距離d，并且執(zhí)行重新對焦以使對象SUBl對焦。作為結果，顯示圖像頂Gl，在圖像頂Gl中在對象SUBl后方的對象SBU2等模糊。
[0077]此外，在所觸摸的位置PO的附近，顯示圓圈CIR0，圓圈CIRO相對地指示圖像頂Gl
的景深。
[0078]應當注意，以觸摸面板150上由用戶所觸摸的位置PO為中心的圓圈CIRO以預定值或上次所指定的景深的相對尺寸作為其半徑而繪出。
[0079](深度圖的示例)
[0080]圖5示出了用于基于由用戶在觸摸面板150上所觸摸的坐標位置獲得距離d的深度圖DM的示例，盡管深度圖未顯示在作為UI的顯示面板上。
[0081]在圖中，以灰度級方式指示每個對象距圖像拾取設備的距離d。對于一個對象，獲得近似一致的距離d，使得一個對象被示為具有近似一致的顏色密度。應當注意，在實際深度圖DM中，像素分別地具有距離d的值。
[0082]當用戶觸摸觸摸面板150時，位置檢測單元檢測所觸摸的位置的XY坐標，并且相對于深度圖DM核對坐標。作為結果，可以獲得所觸摸的位置的距離d。
[0083]深度圖DM可以通過提供基于以上所述的視差圖所計算的距離d作為針對每個像素的值來生成。
[0084](景深的指定)
[0085]隨后，將描述指定本技術的UI中的景深的方法。為了在用戶期望的景深處執(zhí)行重新對焦，通過改變圍繞由用戶初始所觸摸的位置PO繪出的圓圈CIRO的尺寸以指定焦點位置來指定景深。通過拖動接下來所觸摸的位置Pl改變位置PO與Pl之間的距離來執(zhí)行改變尺寸。
[0086]圖6是示出了下述狀態(tài)的圖:在該狀態(tài)中，用戶在采用拇指觸摸圓圈CIRO的情況下拖動圓圈CIRO以將圓圈CIRO擴展到具有較大半徑的圓圈CIRl，圓圈CIRO是通過采用食指觸摸對象SUB2而顯示的。
[0087]在圖中，景深仍然較小。因此，使得對象SUB2對焦，但是布置在對象SUB2之前的對象SUBl模糊。此外，在對象SUB2后方的對象SUB3等也模糊。
[0088]隨后，示出了進一步改變景深的狀態(tài)。圖7是示出了下述狀態(tài)的圖:在該狀態(tài)中，用戶采用