專利名稱：圖像處理設(shè)備，圖像處理方法和程序的制作方法
技術(shù)領(lǐng)域：
本公開涉及圖像處理設(shè)備，圖像處理方法和程序。更具體地說，本公開涉及通過根據(jù)圖像的分析結(jié)果在三維圖像(3D圖像)和二維圖像OD圖像)之間切換，進(jìn)行記錄、輸出或顯示的圖像處理設(shè)備，圖像處理方法和程序。
背景技術(shù)：
近年來，開發(fā)和使用了能夠顯示三維圖像(3D圖像)的顯示設(shè)備，比如電視機或 PC，或者能夠記錄三維圖像(3D圖像)的攝像機、靜態(tài)照相機等。3D圖像是利用具有不同視點的拍攝圖像，即，左眼圖像和右眼圖像顯示的。于是，當(dāng)把3D圖像記錄在介質(zhì)上時，必須記錄一組左眼圖像和右眼圖像，在再現(xiàn)處理中，利用所述一組左眼圖像和右眼圖像進(jìn)行再現(xiàn)。能夠拍攝3D圖像的照相機具有設(shè)定在隔開的位置并拍攝左眼圖像和右眼圖像的鏡頭，同時從彼此隔開的鏡頭拍攝具有兩個不同視點的圖像。攝像是利用所謂的雙鏡頭反射照相機進(jìn)行的。不過，在雙鏡頭反射照相機中，拍攝良好的3D圖像有幾個條件。例如，存在取決于被攝物體的位置，可能不能拍攝良好的3D圖像的情況。例如，作為現(xiàn)有技術(shù)，日本專利No. 3186448和未經(jīng)審查的日本專利申請公報 No. 2010-161492公開一種在不能拍攝良好的3D圖像的情況下，不記錄3D圖像，而是記錄 2D圖像的照相機。日本專利No. 3186448和未經(jīng)審查的日本專利申請公報No. 2010-161492公開一種結(jié)構(gòu)，其中在利用雙鏡頭反射照相機攝影期間，取決于被攝物體的距離，在拍攝2D圖像的 2D模式和拍攝3D圖像的3D模式之間切換攝影模式。下面參考圖IA和IB說明具體的例子。圖IA和IB表示在兩種情況，即，被攝物體遠(yuǎn)離照相機的情況(圖1A)和被攝物體接近照相機的情況(圖1B)下，被攝物體和雙鏡頭反射照相機的每個鏡頭(照相機1和照相機2)之間的位置關(guān)系。如圖IA中所示，當(dāng)被攝物體遠(yuǎn)離照相機時，兩個鏡頭(照相機1和照相機2)都能聚焦于被攝物體，從而拍攝3D圖像。不過，如圖IB中所示，當(dāng)被攝物體接近照相機時，鏡頭(照相機1和照相機2)都不能聚焦于被攝物體，從而拍攝2D圖像。下面參考圖2A-2C，更詳細(xì)地說明其變換處理。如圖2A中所示，在正常情況下(被攝物體與照相機隔開預(yù)定距離以上，如圖IA中所示)，左眼圖像的焦點和右眼圖像的焦點集中在相同位置，從而3D顯示是可能的。不過，在被攝物體位于近距離的情況下(如圖IB中所示)，即使如圖2B中所示，試圖集中用這兩個成像單元拍攝的圖像的焦點，焦點也不會被集中，從而會以兩個圖像顯得晃動的方式顯示3D顯示。另外，提出一種結(jié)構(gòu)，其中如圖2B中所示的圖像經(jīng)歷圖2C中所示的圖像處理，并被生成為能夠以3D方式顯示的圖像。
圖2C中所示的處理是其中使兩個圖像的焦點不對準(zhǔn)，以便被集中，并且兩個圖像彼此不重疊的區(qū)域不具有另一眼睛的圖像數(shù)據(jù)，從而經(jīng)歷掩蔽處理，即，被涂黑成不能進(jìn)行 3D顯示的區(qū)域的圖像處理。以前，歸因于3D照相機的高價格或尺寸，一些專業(yè)人員使用3D照相機拍攝3D圖像，以便獲得3D效果的特定圖像，從而即使是遠(yuǎn)距離的被攝物體，也只在具有視差的范圍內(nèi)才被考慮。不過，目前可獲得低價格的小型3D照相機，從而一般用戶能夠毫無負(fù)擔(dān)地使用這樣的3D照相機。例如，存在一般用戶在旅行目的地以3D圖像的形式，拍攝寫真等的許多情況。不過，例如，只包括諸如遠(yuǎn)山之類的被攝物體的風(fēng)景照片是整個被攝物體幾乎無視差的圖像。即使該被攝物體被拍攝和記錄成3D圖像，并利用3D顯示設(shè)備顯示成3D圖像，也很難獲得立體視覺，即，遠(yuǎn)近感。為了通過利用顯示設(shè)備進(jìn)行3D顯示而識別出立體視覺，必須包括具有足夠視差的被攝物體?？紤]到該事實，目前具有拍攝3D圖像的功能的照相機(攝像設(shè)備)存在下述問題。問題1在具有攝影左眼視點和右眼視點的兩個成像單元的攝像設(shè)備中，在攝影時，當(dāng)所有被攝物體都位于較遠(yuǎn)的距離時(比如風(fēng)景照片)，或者例如，如果對諸如繪畫之類的平面被攝物體攝影，那么不會出現(xiàn)或者很少出現(xiàn)左視點圖像和右視點圖像之間的視差。因此，即使顯示在3D顯示設(shè)備上，產(chǎn)生少量立體視覺的圖像也是按照類似于2D圖像顯示的方式顯示的。另一方面，3D圖像數(shù)據(jù)的文件大小為2D圖像數(shù)據(jù)的兩倍，從而記錄單元所必需的存儲容量變得過大。問題2在具有攝影左眼視點和右眼視點的兩個成像單元的攝像設(shè)備中，在攝影時，當(dāng)所有被攝物體都位于較遠(yuǎn)的距離時(比如風(fēng)景照片)，或者例如，如果對諸如繪畫之類的平面被攝物體攝影，那么不會出現(xiàn)或者很少出現(xiàn)左視點圖像和右視點圖像之間的視差。因此，即使顯示在3D顯示設(shè)備上，幾乎不產(chǎn)生立體視覺的圖像也是按照類似于2D圖像顯示的方式顯示的。另一方面，3D圖像在記錄單元中被記錄成3D文件格式，從而不能在除3D顯示設(shè)備或者支持3D顯示的輸出設(shè)備外的顯示設(shè)備上顯示。問題3在具有攝影左眼視點和右眼視點的兩個成像單元的攝像設(shè)備中，在攝影時，當(dāng)所有被攝物體都位于較遠(yuǎn)的距離時(比如風(fēng)景照片)，或者例如，如果對諸如繪畫之類的平面被攝物體攝影，那么不會出現(xiàn)或者很少出現(xiàn)左視點圖像和右視點圖像之間的視差。因此， 例如，當(dāng)在攝影期間，一邊用裸眼看3D顯示設(shè)備一邊設(shè)定攝影的時候，存在盡管實際上發(fā)生每個成像單元的諸如曝光或白平衡之類的各種設(shè)定的差異，不過由于難以區(qū)分串?dāng)_對3D 顯示用左眼圖像和右眼圖像的影響，因此不能進(jìn)行最佳設(shè)定的情況。

發(fā)明內(nèi)容
理想的是提供一種通過根據(jù)圖像的分析結(jié)果，在三維圖像(3D圖像)和二維圖像 (2D圖像)之間切換，進(jìn)行記錄、輸出或顯示的圖像處理設(shè)備，圖像處理方法和程序。
按照本公開的一個實施例，提供一種圖像處理設(shè)備，包括距離數(shù)據(jù)分析單元，所述距離數(shù)據(jù)分析單元分析具有不同視點的拍攝圖像的部分區(qū)域單元的被攝物體距離信息；和數(shù)據(jù)生成單元，所述數(shù)據(jù)生成單元根據(jù)距離數(shù)據(jù)分析單元的分析結(jié)果，判定記錄圖像或輸出圖像是被設(shè)定成二維圖像，還是被設(shè)定成三維圖像，并根據(jù)判定結(jié)果生成記錄圖像或輸出圖像，其中數(shù)據(jù)生成單元根據(jù)距離數(shù)據(jù)分析單元的分析結(jié)果判定三維圖像顯示中的立體視覺的回想水平，如果判定立體視覺的回想水平較低，那么生成二維圖像作為記錄圖像或輸出圖像，而如果判定立體視覺的回想水平較高，那么生成三維圖像作為記錄圖像或輸出圖像。另外，距離數(shù)據(jù)分析單元可計算L圖像和R圖像每一個的對應(yīng)坐標(biāo)位置的作為到被攝物體距離的距離測量值的差分?jǐn)?shù)據(jù)，L圖像和R圖像是具有不同視點的圖像。此時，數(shù)據(jù)生成單元可判定作為距離數(shù)據(jù)分析單元的分析結(jié)果而獲得的L圖像和R圖像每一個的對應(yīng)坐標(biāo)位置的距離測量值(到被攝物體的距離)的差分?jǐn)?shù)據(jù)的所有或者預(yù)定比率以上是否指示小于預(yù)定閾值的差分，如果判定差分?jǐn)?shù)據(jù)指示小于預(yù)定閾值的差分，那么判定3D圖像顯示中的立體視覺的回想水平較低，生成2D圖像作為記錄圖像或輸出圖像，而如果判定差分?jǐn)?shù)據(jù)指示不小于預(yù)定閾值的差分，那么判定3D圖像顯示中的立體視覺的回想水平較高， 生成3D圖像作為記錄圖像或輸出圖像。此外，距離數(shù)據(jù)分析單元可獲得多個距離數(shù)據(jù)，所述多個距離數(shù)據(jù)是在作為具有不同視點的圖像的L圖像和R圖像至少之一中設(shè)定的多個被攝物體距離測量點的測量值。 此時，數(shù)據(jù)生成單元可判定是否所有或者預(yù)定比率以上的距離數(shù)據(jù)具有等于或大于指示被攝物體距離較遠(yuǎn)的預(yù)定閾值的距離數(shù)據(jù)，如果判定所述距離數(shù)據(jù)具有等于或大于預(yù)定閾值的距離數(shù)據(jù)，那么判定3D圖像顯示中的立體視覺的回想水平較低，生成2D圖像作為記錄圖像或輸出圖像，而如果判定所述距離數(shù)據(jù)不具有等于或大于預(yù)定閾值的距離數(shù)據(jù)，那么判定3D圖像顯示中的立體視覺的回想水平較高，生成3D圖像作為記錄圖像或輸出圖像。此外，圖像處理設(shè)備還包括拍攝具有不同視點的圖像的兩個成像單元，每個成像單元包括獲得圖像的部分區(qū)域單元的被攝物體距離信息的成像元件。這里，每個成像單元包括具有按照相差檢測方法獲得圖像的部分區(qū)域單元的被攝物體距離信息的像素區(qū)域的成像元件。距離數(shù)據(jù)分析單元可以選擇圖像的部分圖像區(qū)域，并只對所選區(qū)域分析被攝物體距離信息。另外，數(shù)據(jù)生成單元可以僅根據(jù)所選區(qū)域的分析結(jié)果，判定記錄圖像或輸出圖像是被設(shè)定成二維圖像，還是被設(shè)定成三維圖像，并根據(jù)判定結(jié)果生成記錄圖像或輸出圖像。此外，距離數(shù)據(jù)分析單元可以選擇聚焦圖像區(qū)域，并只對所選區(qū)域分析被攝物體距離信息。此時，數(shù)據(jù)生成單元可以僅根據(jù)所選區(qū)域的分析結(jié)果，判定記錄圖像或輸出圖像是被設(shè)定成二維圖像，還是被設(shè)定成三維圖像，并根據(jù)判定結(jié)果生成記錄圖像或輸出圖像。按照本公開的另一個實施例，提供一種在圖像處理設(shè)備中執(zhí)行的圖像處理方法， 包括使距離數(shù)據(jù)分析單元分析具有不同視點的拍攝圖像的部分區(qū)域單元的被攝物體距離信息；和使數(shù)據(jù)生成單元根據(jù)距離數(shù)據(jù)分析單元的分析結(jié)果判定記錄圖像或輸出圖像是被設(shè)定成二維圖像，還是被設(shè)定成三維圖像，并根據(jù)判定結(jié)果生成記錄圖像或輸出圖像，其中數(shù)據(jù)的生成包括根據(jù)距離數(shù)據(jù)分析單元的分析結(jié)果判定三維圖像顯示中的立體視覺的回想水平，如果判定立體視覺的回想水平較低，那么生成二維圖像作為記錄圖像或輸出圖像，而如果判定立體視覺的回想水平較高，那么生成三維圖像作為記錄圖像或輸出圖像。按照本公開的又一個實施例，提供一種使得在圖像處理設(shè)備中執(zhí)行圖像處理的程序，包括使距離數(shù)據(jù)分析單元分析具有不同視點的拍攝圖像的部分區(qū)域單元的被攝物體距離信息；和使數(shù)據(jù)生成單元根據(jù)距離數(shù)據(jù)分析單元的分析結(jié)果判定記錄圖像或輸出圖像是被設(shè)定成二維圖像，還是被設(shè)定成三維圖像，并根據(jù)判定結(jié)果生成記錄圖像或輸出圖像，其中數(shù)據(jù)的生成包括根據(jù)距離數(shù)據(jù)分析單元的分析結(jié)果，判定三維圖像顯示中的立體視覺的回想水平，如果判定立體視覺的回想水平較低，那么生成二維圖像作為記錄圖像或輸出圖像，而如果判定立體視覺的回想水平較高，那么生成三維圖像作為記錄圖像或輸出圖像。另外，利用例如記錄介質(zhì)，按照本公開的實施例的程序被提供給能夠執(zhí)行各種程序代碼的信息處理設(shè)備或計算機系統(tǒng)。程序由信息處理設(shè)備或計算機系統(tǒng)的程序執(zhí)行單元執(zhí)行，從而實現(xiàn)與所述程序相應(yīng)的處理。根據(jù)基于下面說明的實施例或附圖的更詳細(xì)說明，本公開的其它目的、特征或優(yōu)點將變得明顯。另外，本說明書中的系統(tǒng)指的是多個設(shè)備的邏輯集合結(jié)構(gòu)，并不局限于包含在同一殼體中。如上所述，按照本公開的實施例，判定具有不同視點的拍攝圖像作為3D圖像的適宜性，并根據(jù)判定結(jié)果改變記錄圖像或輸出圖像的設(shè)定。具體地說，關(guān)于像素區(qū)域單元分析左眼圖像(L圖像)和右眼圖像(R圖像)的被攝物體距離，并判定所述圖像作為3D圖像的適宜性。例如，如果L圖像和R圖像每一個的對應(yīng)坐標(biāo)位置的到被攝物體的距離的所有或者預(yù)定比率以上的差分?jǐn)?shù)據(jù)都小于預(yù)定閾值，那么判定3D圖像顯示中的立體視覺的回想水平較低，記錄和輸出2D圖像，如果判定所述差分?jǐn)?shù)據(jù)不小于預(yù)定閾值，那么判定3D圖像顯示中的立體視覺的回想水平較高，記錄和輸出3D圖像。通過該處理，實現(xiàn)與圖像的適宜性相應(yīng)的圖像記錄和顯示處理。


圖IA和IB是圖解說明在雙鏡頭反射照相機中的攝影處理中，取決于被攝物體距離的攝影狀況的示圖。圖2A-2C是圖解說明雙鏡頭反射照相機中的以拍攝圖像為基礎(chǔ)的輸出圖像的生成處理的示圖。圖3A-3E是圖解說明按照本公開的一個實施例的攝像設(shè)備的內(nèi)部結(jié)構(gòu)例子的示圖。圖4是圖解說明按照本公開的所述實施例的攝像設(shè)備的功能的方框圖。圖5是圖解說明按照本公開的所述實施例的攝像設(shè)備執(zhí)行的處理的流程圖。圖6是圖解說明能夠通過相差檢測，測量距離的成像元件的例子的示圖，該例子是按照本公開的所述實施例的攝像設(shè)備的成像元件的詳細(xì)結(jié)構(gòu)例子。圖7是圖解說明能夠通過相差檢測，測量距離的成像元件的例子的示圖，該例子是按照本公開的所述實施例的攝像設(shè)備的成像元件的詳細(xì)結(jié)構(gòu)例子。圖8是圖解說明能夠通過相差檢測，測量距離的成像元件中的處理例子的示圖。圖9A-9C是圖解說明能夠通過相差檢測，測量距離的成像元件中的處理例子的示圖。
圖IOA和IOB是圖解說明對應(yīng)于拍攝圖像的距離測量數(shù)據(jù)的例子的示圖。圖IlA和IlB是圖解說明3D格式的圖像數(shù)據(jù)的例子的示圖。圖12是圖解說明左眼圖像和右眼圖像被交替輸出給諸如3D電視機之類的外部輸出設(shè)備的處理例子的示圖。圖13是圖解說明在面板上具有雙凸透鏡的3D圖像顯示單元的結(jié)構(gòu)例子的示圖。圖14是圖解說明按照本公開的第二實施例的攝像設(shè)備進(jìn)行的處理序列的流程圖。圖15A-15C是圖解說明當(dāng)被攝物體距離較近時，用兩個成像單元拍攝的圖像的例子的示圖。圖16A-16C是圖解說明當(dāng)被攝物體距離較遠(yuǎn)時，用兩個成像單元拍攝的圖像的例子的示圖。圖17是圖解說明按照本公開的第四實施例的圖像處理設(shè)備(再現(xiàn)設(shè)備)的功能方框圖的示圖。圖18是圖解說明按照本公開的第四實施例的圖像處理設(shè)備(再現(xiàn)設(shè)備)執(zhí)行的處理序列的流程圖。圖19是按照本公開的實施例的圖像處理設(shè)備的硬件結(jié)構(gòu)例子。
具體實施例方式下面參考附圖，說明按照本公開的實施例的圖像處理設(shè)備，圖像處理方法和程序。 將按照下述順序進(jìn)行說明。1.根據(jù)左眼圖像(L圖像)和右眼圖像(R圖像)的對應(yīng)點的被攝物體距離信息， 進(jìn)行模式切換的實施例(第一實施例)2.當(dāng)在拍攝圖像中，被攝物體距離都較遠(yuǎn)時，記錄和輸出二維圖像的處理例子 (第二實施例)3.第一和第二實施例的變形例3-1.只考慮僅僅一部分的距離測量點的測量信息的處理例子(第三實施例)3-2.在攝影之后記錄數(shù)據(jù)的處理例子(第四實施例)4.按照程序(軟件)進(jìn)行處理的設(shè)備的結(jié)構(gòu)例子1.根據(jù)左眼圖像(L圖像)和右眼圖像(R圖像)的對應(yīng)點的被攝物體距離信息， 進(jìn)行模式切換的實施例(第一實施例)首先，說明其中根據(jù)左眼圖像(L圖像)和右眼圖像(R圖像)的對應(yīng)點的被攝物體距離信息進(jìn)行模式切換的情況，所述模式切換由作為按照本公開的第一實施例的圖像處理設(shè)備的例子的攝像設(shè)備執(zhí)行。下面參考圖3A-3E，說明按照本公開的第一實施例的攝像設(shè)備的外部結(jié)構(gòu)例子。攝像設(shè)備20包括用于攝影的多個鏡頭和成像元件。圖3A-3E表示包括鏡頭和成像元件的兩個成像單元21A和21B。用戶按下快門按鈕22，從而兩個成像單元21A和21B能夠拍攝具有視差的兩個圖像。拍攝的圖像以MPO(多畫面格式)文件格式記錄在當(dāng)打開下蓋23時露出的存儲卡 24中。另外，當(dāng)打開下蓋23時，有電池25的安裝部分，從而可利用電池進(jìn)行驅(qū)動，因而用戶能夠自由地攜帶攝像設(shè)備20和進(jìn)行攝影。另外，當(dāng)打開側(cè)蓋沈時，存在用于對電池25充電或者向設(shè)備供電的電源端子27，以及外部輸出端子觀。拍攝的圖像或者記錄在存儲卡M中的圖像可從外部輸出端觀輸出。例如，用HDMI 電纜互連外部輸出端觀和支持3D視頻輸出的電視機(稱為3D支持電視機)，圖像從攝像設(shè)備輸出給3D支持電視機，從而三維圖像(3D圖像)能夠被顯示在3D支持電視機上。另夕卜，按照本公開的第一實施例的攝像設(shè)備能夠記錄和輸出三維圖像(3D圖像)和二維圖像 (2D圖像)。另外，雖然在下面的實施例中，將說明其中快門按鈕22的按壓是攝影的觸發(fā)信號的例子，不過在利用語音作為觸發(fā)信號開始攝影的結(jié)構(gòu)中，或者在具有識別面部、笑臉等的功能的結(jié)構(gòu)中，可以使用各種攝影開始結(jié)構(gòu)，比如根據(jù)識別處理開始攝影。另外，盡管在下面的實施例中將說明按照預(yù)定文件格式，S卩，MPO文件格式，把拍攝的圖像記錄在存儲卡M中的例子，不過，左眼圖像和右眼圖像可以彼此分離地被記錄，可以借助文件名彼此關(guān)聯(lián)，或者可按照其它格式記錄。此外，外部輸出端子觀并不局限于HDMI I/F，可以是其它各種接口。下面參考圖4和5，說明按照本公開的實施例的攝像設(shè)備的功能和處理。圖4是圖解說明按照本公開的實施例的攝像設(shè)備的功能的方框圖。圖5是圖解說明按照本公開的實施例的攝像設(shè)備進(jìn)行的處理的流程圖。如圖4中所示，按照本公開的實施例的攝像設(shè)備100包括成像單元101，成像單元 102，成像數(shù)據(jù)存儲單元103，成像數(shù)據(jù)存儲單元104，距離數(shù)據(jù)分析單元105，輸入單元106， 輸出數(shù)據(jù)生成單元107，到外部設(shè)備的輸出單元108(下面簡稱為輸出單元108)，顯示單元 109，記錄數(shù)據(jù)生成單元110和記錄單元111。另外，攝像設(shè)備100包括控制圖4中所示的各個組成單元中的處理的控制單元 (未示出)，和保存由控制單元執(zhí)行的處理程序的存儲器。攝像設(shè)備100進(jìn)行的各種處理是按照預(yù)先保存在存儲器中的程序在控制單元的控制下進(jìn)行的。下面說明圖4中所示的攝像設(shè)備100的組成單元。成像單元101和成像單元102是拍攝作為3D圖像的左眼圖像(L圖像)和右眼圖像(R圖像)的成像單元。即，成像單元101和成像單元102被設(shè)定在照相機的從不同視點拍攝被攝物體的隔開的位置。成像單元101和成像單元102對應(yīng)于圖3A-3E中所示的成像單元21A和21B。成像數(shù)據(jù)存儲單元103和成像數(shù)據(jù)存儲單元104例如是臨時保存相應(yīng)成像單元 101和102的成像數(shù)據(jù)的幀存儲器。相應(yīng)成像單元101和102的成像數(shù)據(jù)被輸入成像數(shù)據(jù)存儲單元103和成像數(shù)據(jù)存儲單元104，還被輸入距離數(shù)據(jù)分析單元105。距離數(shù)據(jù)分析單元105相互比較包括在相應(yīng)成像單元101和102的拍攝圖像中的被攝物體離照相機的距離。輸入單元106輸入用戶的操作信息。例如，輸入諸如把成像數(shù)據(jù)記錄在記錄介質(zhì)中，或者從記錄介質(zhì)中刪除成像數(shù)據(jù)的記錄處理命令或刪除處理命令之類的指令。輸出數(shù)據(jù)生成單元107生成圖像數(shù)據(jù)，以致保存在成像數(shù)據(jù)存儲單元103和成像數(shù)據(jù)存儲單元104中的圖像數(shù)據(jù)經(jīng)輸出單元108被輸出給顯示單元109，或者外部輸出設(shè)備。另外，輸出數(shù)據(jù)生成單元107根據(jù)距離數(shù)據(jù)分析單元105進(jìn)行的距離數(shù)據(jù)的比較結(jié)果，判定輸出圖像數(shù)據(jù)是3D圖像還是2D圖像，并按照判定結(jié)果生成輸出圖像數(shù)據(jù)。輸出數(shù)據(jù)生成單元107根據(jù)距離數(shù)據(jù)分析單元105的分析結(jié)果，判定3D圖像顯示中的立體視覺的回想水平，如果判定立體視覺的回想水平較低，那么生成2D圖像作為輸出圖像，如果判定立體視覺的回想水平較高，那么生成3D圖像作為輸出圖像。輸出單元108是對于諸如HDMI I/F之類外部設(shè)備的輸入和輸出接口。另外，外部設(shè)備例如是能夠顯示2D圖像或3D圖像的諸如電視機之類的顯示設(shè)備。顯示單元109例如是有機EL顯示器，或者液晶顯示器。另外，在本實施例中，顯示單元109例如由能夠顯示2D圖像和3D圖像的顯示設(shè)備構(gòu)成。例如，顯示單元109是利用雙凸透鏡的顯示設(shè)備。該結(jié)構(gòu)將在后面說明。響應(yīng)來自輸入單元106的記錄命令，記錄數(shù)據(jù)生成單元110生成記錄在記錄介質(zhì)上的數(shù)據(jù)。另外，記錄數(shù)據(jù)生成單元110根據(jù)距離數(shù)據(jù)分析單元105進(jìn)行的距離數(shù)據(jù)的比較結(jié)果，判定數(shù)據(jù)是被記錄成3D圖像還是2D圖像，并按照判定結(jié)果生成記錄數(shù)據(jù)。記錄數(shù)據(jù)生成單元110根據(jù)距離數(shù)據(jù)分析單元105的分析結(jié)果，判定3D圖像顯示中的立體視覺的回想水平，如果判定立體視覺的回想水平較低，那么生成2D圖像作為記錄圖像，如果判定立體視覺的回想水平較高，那么生成3D圖像作為記錄圖像。記錄單元111把記錄數(shù)據(jù)生成單元110生成的記錄數(shù)據(jù)記錄在記錄介質(zhì)上。使按照本公開的實施例的攝像設(shè)備100通電，然后攝像設(shè)備100開始操作。下面參考圖5中所示的流程圖，說明圖4中所示的攝像設(shè)備100執(zhí)行的一系列處理。另外，如上所述，攝像設(shè)備100執(zhí)行的各種處理是按照預(yù)先保存在存儲器中的程序，在控制單元的控制下進(jìn)行的，圖5中所示的處理也是在控制單元的控制下進(jìn)行的。步驟SlOl操作始于圖5的步驟S101。在步驟S101，響應(yīng)用戶的快門操作，包括在攝像設(shè)備 100中的兩個成像單元101和102并行進(jìn)行成像處理。例如，用置于圖3A中所示照相機的左側(cè)和右側(cè)的成像單元21A和21B獲得右眼視點圖像和左眼視點圖像。另外，在圖4的方框圖中，成像單元101從左方向?qū)Ρ粩z物體成像，從而獲得左眼圖像(L圖像)，成像單元102從右方向?qū)Ρ粩z物體成像，從而獲得右眼圖像(R圖像)。拍攝左眼圖像(L圖像)的成像單元101在諸如CXD (電荷耦合器件)圖像傳感器或CMOS (互補金屬氧化物半導(dǎo)體)圖像傳感器之類的內(nèi)置成像元件上形成被攝物體的圖像，并且對于對應(yīng)于一個圖像的每塊數(shù)據(jù)，把累積在成像元件中的圖像數(shù)據(jù)傳給成像數(shù)據(jù)存儲單元103。成像單元101包括在成像元件上的通過相差檢測輸出距離測量信號的多個光電變換元件，從而不但獲得圖像數(shù)據(jù)，而且利用輸出多個距離測量信號的光電變換元件單元， 獲得到在成像元件上接收的被攝物體的距離信息。測得的距離數(shù)據(jù)被傳給距離數(shù)據(jù)分析單元 105。
參考圖6-9C，說明按照本公開的第一實施例的攝像設(shè)備的成像單元的成像元件的詳細(xì)結(jié)構(gòu)例子，即，能夠通過相差檢測測量距離的成像元件的例子。參考圖6-9C 說明的成像元件結(jié)構(gòu)是在本申請人提交的專利申請(未經(jīng)審查的日本專利申請公報 No. 2009-192605)中公開的結(jié)構(gòu)。按照本公開的第一實施例的攝像設(shè)備利用例如在專利申請(未經(jīng)審查的日本專利申請公報Νο.2009-1 ^605)中公開的成像元件，獲得像素單元的被攝物體距離。圖6是圖解說明成像單元101的成像元件的結(jié)構(gòu)的示圖。如圖6中所示，成像元件設(shè)置有包括其中在光電二極管上布置R(紅色)、G(綠色)和B(藍(lán)色)的相應(yīng)濾色片的 R像素201、G像素202和B像素203的普通像素，和作為進(jìn)行相差檢測的相差檢測元件的a 和b像素211a和21 lb。在成像元件上形成Gr行Ll和( 行L2。在充當(dāng)普通像素水平行的每個Gr行Ll 中，交替地水平布置G像素202和R像素201。在充當(dāng)普通像素水平行的每個( 行L2中， 交替地水平布置B像素203和G像素202。通過垂直地交替布置Gr行Ll和( 行L2，形成 Bayer排列。另外，每隔普通像素的6個水平行，成像元件設(shè)置有其中水平排列相差檢測像素211a和211b的相差檢測行Lf0每個相差檢測行Lf具有分割攝影光學(xué)系統(tǒng)的出射瞳并感測被攝物體光的多對相差檢測像素211a和211b。圖7表示一組相差檢測像素211a和211b的詳細(xì)結(jié)構(gòu)例子。如圖7中所示，在每個相差檢測行Lf中，一對相差檢測像素211a和211b是水平布置的。每對相差檢測像素211a和211b接收來自攝影光學(xué)系統(tǒng)的出射瞳EY的右側(cè)部分 Qa(也稱為“右側(cè)的部分光瞳區(qū)”或者簡稱為“右瞳區(qū)”)的光束Ta，和來自左側(cè)部分Qb (稱為“左側(cè)的部分光瞳區(qū)”或者簡稱為“左瞳區(qū)”)的光束Tb。這里，在圖7中，+X方向側(cè)被稱為右側(cè)，-χ方向側(cè)被稱為左側(cè)。在一對相差檢測像素211a和211b中，所述一個相差檢測像素211a(也稱為“第一相差檢測像素”)包括微透鏡ML、第一遮光板AS1、第二遮光板AS2和光電變換部分PD。微透鏡ML把入射光集中到第一相差檢測像素211a上，第一遮光板ASl具有狹縫(矩形)形狀的第一開口部分0P1。第二遮光板AS2被置于第一遮光板ASl之下，并具有狹縫(矩形) 形狀的第二開口部分0P2。第一相差檢測像素211a的第一開口部分OPl設(shè)置在從作為基準(zhǔn)(起點)的中心線CL，朝著特定方向(這里，向右(+X方向))布置的位置，所述中心線CL平行于光軸LT并且通過光電變換部分PD的中心。另外，第一相差檢測像素211a的第二開口部分0P2設(shè)置在相對于作為基準(zhǔn)的中心軸CL，朝著與上述特定方向相反的方向(也稱為“反特定方向”) 布置的位置。在一對相差檢測像素211a和211b中，另一個相差檢測像素211b (也稱為“第二相差檢測像素”)包括微透鏡ML、第一遮光板AS1、第二遮光板AS2和光電變換部分PD。微透鏡ML把入射光集中到第二相差檢測像素211b上，第一遮光板ASl具有狹縫(矩形)形狀的第一開口部分0P1。第二遮光板AS2被置于第一遮光板ASl之下，并具有狹縫(矩形) 形狀的第二開口部分0P2。第二相差檢測像素211b的第一開口部分OPl設(shè)置在相對于作為基準(zhǔn)的中心軸CL，朝著與上述特定方向相反的方向布置的位置。另外，第二相差檢測像素
11211b的第二開口部分0P2設(shè)置在相對于作為基準(zhǔn)的中心線CL，朝著上述特定方向布置的位置。S卩，在一對相差檢測像素211a和211b中，第一開口部分OPl被設(shè)置成沿著相反的方向布置。另外，第二開口部分0P2被布置成相對于相差檢測像素21 Ia和21 Ib中的對應(yīng)第一開口部分0P1，沿著不同的方向偏移。在具有上述結(jié)構(gòu)的一對相差檢測像素211a和211b中，獲得透過出射瞳EY的不同區(qū)域(部分)的被攝物體光的距離測量信號。具體地說，透過出射瞳EY的右瞳區(qū)Qa的光束Ta通過對應(yīng)于第一相差檢測像素 211a的微透鏡ML和第一遮光板ASl的第一開口部分0P1，受到第二遮光板AS2限制(限定)，然后被第一相差檢測像素211a的光電變換部分PD感測。獲得該光電變換部分的輸出，作為關(guān)于右瞳區(qū)Qa的光束Ta的距離測量信號。另外，透過出射瞳EY的左瞳區(qū)Qb的光束Tb通過對應(yīng)于第二相差檢測像素211b 的微透鏡ML和第一遮光板ASl的第一開口部分OPl，受到第二遮光板AS2限制，然后被第二相差檢測像素211b的光電變換部分PD感測。獲得該光電變換部分的輸出，作為關(guān)于左瞳區(qū)Qb的光束Tb的距離測量信號。圖8表示用圖6中所示的一個相差檢測行Lf的像素a，b,a,b,...獲得的光電變換部分的輸出(距離測量信號)。如圖8中所示，像素a的輸出行和像素b的輸出行是具有預(yù)定量的偏移量Sf的信號。圖9A表示當(dāng)聚焦透鏡被設(shè)定到對應(yīng)于被攝物體距離的位置并被聚焦，S卩，處于聚焦?fàn)顟B(tài)時，在像素a和b之間生成的偏移量Sfa。圖9B和9C表示當(dāng)聚焦透鏡未被設(shè)定到對應(yīng)于被攝物體距離的位置且未被聚焦， 即，處于散焦?fàn)顟B(tài)時，在像素a和b之間生成的偏移量Sfa。圖9B表示偏移量大于聚焦?fàn)顟B(tài)下的偏移量的情況，圖9C表示偏移量小于聚焦?fàn)顟B(tài)下的偏移量的情況。在圖9B和9C中所示的情況下，通過移動聚焦透鏡，以致具有聚焦?fàn)顟B(tài)下的偏移量，能夠使聚焦透鏡聚焦。這種處理是按照“相差檢測法”的聚焦處理。利用按照“相差檢測法”的聚焦處理，可把聚焦透鏡設(shè)定到聚焦位置，聚焦透鏡可被設(shè)定到與被攝物體距離對應(yīng)的位置。參見圖9A-9C說明的偏移量可用圖6中的都是相差檢測元件的像素a和像素b的各組單元測量，對于在該細(xì)微區(qū)域(像素a和像素b的組合區(qū)域)中拍攝的圖像的焦點可以單獨確定，結(jié)果，能夠按照與對應(yīng)于該細(xì)微區(qū)域(像素a和像素b的組合區(qū)域)的被攝物體距離，計算對應(yīng)于聚焦位置的距離。在按照圖4中所示的本公開的第一實施例的攝像設(shè)備的成像單元101和102中， 通過應(yīng)用按照“相差檢測法”的聚焦技術(shù)，計算圖像的細(xì)微區(qū)域單元的被攝物體距離，并把距離信息輸出給距離數(shù)據(jù)分析單元105。另外，當(dāng)每對像素單元a和b計算距離時，可根據(jù)偏移量進(jìn)行計算處理，或者可預(yù)先測量偏移量和被攝物體距離之間的對應(yīng)數(shù)據(jù)，并保存在成像單元的存儲器中，隨后可通過應(yīng)用輸入數(shù)據(jù)，獲得距離值。另外，如果攝影鏡頭的焦距為f，作為第一相差檢測像素211a和第二相差檢測像素211b的基線長的間距大小為L，并且利用相差檢測獲得的偏移量為n，那么可按照三角測量原理，利用等式R = fXL/n計算到被攝物體的距離R?？衫蒙鲜龅仁?，計算到被攝物體的距離。另外，按照本公開的實施例的距離測量方法不一定局限于“相差檢測法”，相反可以是任意結(jié)構(gòu)，只要利用該結(jié)構(gòu)，能夠和圖像信號一起獲得距離測量信號。另外，除了自動聚焦處理之外，距離測量數(shù)據(jù)可用在通過一起記錄靜止圖像或運動圖像，使用距離測量值的應(yīng)用中。按照和成像單元101相同的方式，成像單元102在諸如CXD(電荷耦合器件)圖像傳感器或CMOS (互補金屬氧化物半導(dǎo)體)圖像傳感器之類的內(nèi)置成像元件上形成圖像，并且對于對應(yīng)于一個圖像的每塊數(shù)據(jù)，把累積在成像元件中的圖像的數(shù)據(jù)傳給成像數(shù)據(jù)存儲單元104。另外，按照和成像單元101相同的方式，成像單元102包括在成像元件上的通過相差檢測，輸出距離測量信號的多個光電變換元件，不但獲得圖像數(shù)據(jù)，而且獲得到被攝物體的距離信息。測得的距離數(shù)據(jù)被傳給距離數(shù)據(jù)分析單元105。成像數(shù)據(jù)存儲單元103包括半導(dǎo)體存儲器等，能夠臨時保存來自成像單元101的幾幀成像數(shù)據(jù)。保存的來自成像單元101的成像數(shù)據(jù)被傳給輸出數(shù)據(jù)生成單元107。另外， 當(dāng)從記錄數(shù)據(jù)生成單元110發(fā)出記錄數(shù)據(jù)輸出命令時，在發(fā)出該命令時獲得的一幀成像數(shù)據(jù)被傳給記錄數(shù)據(jù)生成單元110。成像數(shù)據(jù)存儲單元104具有和成像數(shù)據(jù)存儲單元103相同的結(jié)構(gòu)，能夠臨時保存來自成像單元102的幾幀成像數(shù)據(jù)。保存的來自成像單元102的成像數(shù)據(jù)被傳給輸出數(shù)據(jù)生成單元107。另外，當(dāng)從記錄數(shù)據(jù)生成單元110發(fā)出記錄數(shù)據(jù)輸出命令時，在發(fā)出該命令時獲得的一幀成像數(shù)據(jù)被傳給記錄數(shù)據(jù)生成單元110。如果完成在成像數(shù)據(jù)存儲單元103和104中的相應(yīng)成像單元的成像數(shù)據(jù)的存儲， 那么流程轉(zhuǎn)到步驟S102。步驟S102在步驟S102，相互比較距離。距離數(shù)據(jù)分析單元105根據(jù)從成像單元101和102獲得的距離測量數(shù)據(jù)，進(jìn)行比較。具體地說，在左眼圖像(L圖像)和右眼圖像(R圖像)的對應(yīng)坐標(biāo)位置之間進(jìn)行比較。圖IOA和IOB表示從成像單元101或成像單元102獲得的距離測量數(shù)據(jù)的圖像。 圖IOA表示用成像單元101或成像單元102獲得的成像數(shù)據(jù)，圖IOB是所述成像數(shù)據(jù)的局部放大示圖。成像單元101和成像單元102都設(shè)置有包括如圖6中所示的相差檢測元件的成像元件，能夠用在成像元件上形成的多個相差檢測像素，獲得相應(yīng)相差檢測像素部分的距離測量值，如圖IOB中所示。在本例中，距離測量值是以7比特(0-127)數(shù)據(jù)的形式獲得的，并且隨著被攝物體越遠(yuǎn)，距離測量值越大。步驟S103-S105在步驟S103，距離數(shù)據(jù)分析單元105關(guān)于從成像單元101和成像單元102獲得的距離測量數(shù)據(jù)，比較所有對應(yīng)坐標(biāo)位置的相差檢測像素的距離測量值，判定L圖像和R圖像的對應(yīng)點之間的距離差是否小于預(yù)定閾值。如果比較的對應(yīng)點的距離測量數(shù)據(jù)相同，或者顯示結(jié)果包括在可被認(rèn)為相當(dāng)于人眼的誤差范圍內(nèi)(例如，就7比特(0-127)的距離測量值而論，在士5誤差范圍內(nèi))的所有對應(yīng)像素，那么在步驟S103，判定結(jié)果是肯定的(是)，從而流程轉(zhuǎn)到步驟S104。否則，判定在步驟S103結(jié)果是否定的(否)，從而流程轉(zhuǎn)到步驟S105。如果在左眼圖像(L圖像)和右眼圖像(R圖像)的相同坐標(biāo)位置拍攝相同的被攝物體，那么LR圖像的對應(yīng)點的距離測量數(shù)據(jù)幾乎相同。不過，如果在左眼圖像(L圖像)和右眼圖像(R圖像)的相同位置拍攝不同的被攝物體，那么LR圖像的對應(yīng)點的距離測量數(shù)據(jù)不同。如果在左眼圖像(L圖像)和右眼圖像(R圖像)的相同位置拍攝不同的被攝物體， 那么這意味拍攝包括具有不同距離的被攝物體的圖像，作為L圖像和R圖像，在以3D圖像的形式顯示圖像的情況下，能夠把握立體視覺。例如，在其中只拍攝遠(yuǎn)山的圖像中，在左眼圖像(L圖像)和右眼圖像(R圖像)的所有對應(yīng)坐標(biāo)位置的被攝物體距離信息都相同(例如，無限遠(yuǎn))。按照相同的方式，在對諸如懸掛在墻上的繪畫之類的平面成像的情況下，在左眼圖像(L圖像)和右眼圖像(R圖像) 的所有對應(yīng)坐標(biāo)位置的被攝物體距離信息都相同。這種情況下，在步驟S103，判定結(jié)果是肯定的(是)，從而流程轉(zhuǎn)到步驟S104。在步驟S104，攝像設(shè)備100被設(shè)定成2D圖像模式。另一方面，如果以遠(yuǎn)山為背景拍攝距離照相機幾米遠(yuǎn)的人物，那么在左眼圖像(L 圖像)和右眼圖像(R圖像)中，對應(yīng)坐標(biāo)的一部分形成人物的圖像，另一部分形成遠(yuǎn)山的圖像。這種情況下，左眼圖像(L圖像)和右眼圖像(R圖像)的對應(yīng)坐標(biāo)位置的距離數(shù)據(jù)大不相同，從而出現(xiàn)等于或大于閾值的距離差。結(jié)果，在步驟S103，判定結(jié)果是否定的(否)， 流程轉(zhuǎn)到步驟S105。在步驟S105，攝像設(shè)備100被設(shè)定成3D圖像模式。另外，盡管在本實施例中，進(jìn)行對于所有各項距離測量數(shù)據(jù)，判定距離差是否小于閾值的判定處理，不過可存在考慮到距離測量的誤差，進(jìn)行判定具有作為對應(yīng)點的大量測量點的部分，例如等于或大于95%的點是否具有小于預(yù)定閾值的距離差的判定處理的設(shè)定。在這種設(shè)定中，如果相應(yīng)LR圖像中的對應(yīng)坐標(biāo)點的距離測量數(shù)據(jù)的95%以上的點都具有小于預(yù)定閾值的距離差，那么在步驟S103，判定結(jié)果是肯定的(是)，否則，判定結(jié)果是否定的(否)。如果在步驟S103，LR圖像之間的比較對應(yīng)點的距離測量數(shù)據(jù)相同，或者顯示結(jié)果包括在可被認(rèn)為相當(dāng)于人眼的誤差范圍內(nèi)(例如，就7比特(0-127)的距離測量值而論，在士5誤差范圍內(nèi))的所有對應(yīng)像素，那么流程轉(zhuǎn)到步驟S104，在步驟S104，攝像設(shè)備100被設(shè)定成記錄和輸出2D圖像的2D模式。如果包括在攝像設(shè)備100中的各個單元被切換成2D 模式，那么流程轉(zhuǎn)到步驟S106。另一方面，如果在步驟S103，LR圖像之間的比較對應(yīng)點的距離測量數(shù)據(jù)不相同， 或者對應(yīng)像素未包括在可被認(rèn)為相當(dāng)于人眼的誤差范圍內(nèi)(例如，就7比特(0-127)的距離測量值而論，在士5誤差范圍內(nèi))，那么流程轉(zhuǎn)到步驟S105，在步驟S105，攝像設(shè)備100被設(shè)定成記錄和輸出3D圖像的3D模式。如果包括在攝像設(shè)備100的各個單元被切換成3D 模式，那么流程轉(zhuǎn)到步驟S106。步驟S106在步驟S106，進(jìn)行與攝像設(shè)備的設(shè)定模式(2D模式或3D模式)對應(yīng)的圖像顯示處理。如果在步驟S103，判定結(jié)果是肯定的(是)，并在步驟S104中設(shè)定了 2D模式，那么輸出數(shù)據(jù)生成單元107執(zhí)行下述處理。在攝像設(shè)備100的模式被設(shè)定成拍攝和記錄2D圖像的2D模式的情況下，輸出數(shù)據(jù)生成單元107選擇保存在成像數(shù)據(jù)存儲單元103和成像數(shù)據(jù)存儲單元104之一中的圖像數(shù)據(jù)，作為輸出圖像。另外，當(dāng)設(shè)定2D模式時，作為選擇輸出圖像的方法，可以預(yù)先設(shè)定輸出成像數(shù)據(jù)存儲單元103的圖像數(shù)據(jù)，或者成像數(shù)據(jù)存儲單元104的圖像數(shù)據(jù)，或者用戶可以選擇輸出圖像。例如，如果選擇了成像數(shù)據(jù)存儲單元103，那么獲得用圖3A中所示的成像單元21B拍攝的圖像，如果選擇了成像數(shù)據(jù)存儲單元104，那么獲得用圖3A中的成像單元21A拍攝的圖像。獲得的圖像數(shù)據(jù)被傳給輸出單元108和顯示單元109。另一方面，如果在步驟S103，判定結(jié)果是否定的(否)，并在步驟S105中設(shè)定了 3D 模式，那么輸出數(shù)據(jù)生成單元107進(jìn)行下述處理。在攝像設(shè)備100的模式被設(shè)定成拍攝和記錄3D圖像的3D模式的情況下，輸出數(shù)據(jù)生成單元107輸入保存在成像數(shù)據(jù)存儲單元103中的圖像數(shù)據(jù)，和保存在成像數(shù)據(jù)存儲單元104中的圖像數(shù)據(jù)，即，具有不同的左視點和右視點的兩個圖像數(shù)據(jù)(L圖像和R圖像)，并根據(jù)所述圖像數(shù)據(jù)生成3D格式的圖像數(shù)據(jù)，作為輸出數(shù)據(jù)。例如，圖像數(shù)據(jù)的3D格式包括如圖IlA中所示，左眼圖像(L圖像)和右眼圖像(R 圖像)被置于一幀圖像的左右分割區(qū)的并排格式，和如圖IlB中所示，左眼圖像(L圖像)和右眼圖像(R圖像)被置于一幀圖像的上下分割區(qū)的上下格式。輸出數(shù)據(jù)生成單元107把圖像數(shù)據(jù)的格式轉(zhuǎn)換成3D圖像的輸出格式，比如圖IIA和IlB中的格式，并把圖像數(shù)據(jù)輸出給輸出單元108或顯示單元109。輸出單元108把來自輸出數(shù)據(jù)生成單元107的輸入數(shù)據(jù)傳給諸如電視機之類的輸出設(shè)備。輸出單元108把來自輸出數(shù)據(jù)生成單元107的輸入數(shù)據(jù)轉(zhuǎn)換成能夠用諸如電視機之類的外部輸出設(shè)備顯示的格式的數(shù)據(jù)，并把該輸入數(shù)據(jù)輸出給所述外部輸出設(shè)備。具體地說，輸出單元108對從輸出數(shù)據(jù)生成單元107接收的數(shù)據(jù)進(jìn)行產(chǎn)生各種圖像的信號處理，比如Y校正，并把圖像的分辨率轉(zhuǎn)換成適合于輸出目的地。例如，就SD電視機來說，分辨率被轉(zhuǎn)換成720 X 480像素，就HD電視機來說，分辨率被轉(zhuǎn)換成1920 X 1080 像素。另外，輸出單元108把圖像轉(zhuǎn)換成具有諸如HDMI之類的外部輸出設(shè)備的I/F格式， 并輸出該圖像。通過輸出處理，外部輸出設(shè)備能夠進(jìn)行與攝像設(shè)備100的模式對應(yīng)的圖像再現(xiàn)顯示。即，在攝像設(shè)備100的模式被設(shè)定成2D模式的情況下，能夠觀看根據(jù)輸出數(shù)據(jù)生成單元107生成的L圖像或R圖像生成的2D圖像數(shù)據(jù)。另外，在攝像設(shè)備100的模式被設(shè)定成3D模式的情況下，例如，如圖12中所示，左眼圖像和左眼圖像被交替輸出給諸如3D電視機之類的外部輸出設(shè)備。利用通過交替開關(guān)屬于外部輸出設(shè)備的主動快門式眼鏡的左右透鏡，只用左眼看左眼圖像(L圖像)，和只用右眼看右眼圖像(R圖像)的設(shè)定，能夠觀看3D圖像。顯示單元109包括例如有機EL顯示器或液晶顯示器，對從輸出數(shù)據(jù)生成單元107 接收的數(shù)據(jù)進(jìn)行產(chǎn)生各種圖像的信號處理，比如Y校正，并把圖像的分辨率轉(zhuǎn)換成適合于
15輸出目的地。例如，在用作顯示單元109的液晶顯示器的分辨率為VGA的情況下，顯示單元 109把分辨率轉(zhuǎn)換成640X480。通過把圖像顯示在攝像設(shè)備100的內(nèi)置顯示設(shè)備上，用戶能夠確定取景。顯示單元109具有既能夠顯示2D圖像，又能夠顯示3D圖像的結(jié)構(gòu)。借助這種結(jié)構(gòu)，能夠進(jìn)行與攝像設(shè)備100的設(shè)定模式對應(yīng)的圖像再現(xiàn)顯示。換句話說，在攝像設(shè)備100 的模式被設(shè)定成2D模式的情況下，能夠觀看根據(jù)輸出數(shù)據(jù)生成單元107生成的L圖像或R 圖像生成的2D圖像數(shù)據(jù)。另一方面，在攝像設(shè)備100的模式被設(shè)定成3D模式的情況下，通過只用左眼看左眼圖像(L圖像)，和只用右眼看右眼圖像(R圖像)的設(shè)定，能夠觀看3D圖像。另外，顯示單元109最好具有能夠用裸眼觀察3D圖像的結(jié)構(gòu)。例如，通過如圖12 中所示，在面板上設(shè)置雙凸透鏡(lenticular lens)，實現(xiàn)這種結(jié)構(gòu)。圖13表示顯示單元109的例子。如圖13中所示，在顯示單元109的表面上形成雙凸透鏡。類似于紙條地交替輸出左眼圖像(L圖像)291和右眼圖像(R圖像)292。通過所述輸出，能夠只用左眼296看左眼圖像(L圖像)四1，和只用右眼295看右眼圖像(R圖像)292,從而能夠觀看3D圖像。步驟S107 和 S108如果完成步驟S106中的設(shè)定模式下的顯示處理，那么流程轉(zhuǎn)到步驟S107。在步驟S107，判定是否經(jīng)輸入單元106收到記錄命令。如果輸入單元106從用戶收到指令輸入，并且控制單元分析指令內(nèi)容，并認(rèn)識到發(fā)出了記錄命令，那么控制單元把記錄命令發(fā)給記錄數(shù)據(jù)生成單元110。如果發(fā)出了記錄命令，那么流程轉(zhuǎn)到步驟S108。如果未發(fā)出記錄命令，那么流程轉(zhuǎn)到步驟S109。在步驟S108，拍攝的圖像被記錄在記錄介質(zhì)上。在攝像設(shè)備100的模式被設(shè)定成記錄和顯示2D圖像的2D模式的情況下，記錄數(shù)據(jù)生成單元110選擇在發(fā)出來自輸入單元106的記錄命令時，保存在成像數(shù)據(jù)存儲單元103 和成像數(shù)據(jù)存儲單元104之一中的圖像數(shù)據(jù)，作為記錄數(shù)據(jù)?？赏ㄟ^設(shè)備始終記錄成像數(shù)據(jù)存儲單元103的圖像數(shù)據(jù)或者成像數(shù)據(jù)存儲單元 104的圖像數(shù)據(jù)任意之一的預(yù)先設(shè)定，或者用戶選擇的設(shè)定，進(jìn)行記錄數(shù)據(jù)的選擇處理?？刂茊卧虮４姹贿x為記錄數(shù)據(jù)的圖像的成像數(shù)據(jù)存儲單元發(fā)送記錄數(shù)據(jù)輸出命令，并獲得記錄數(shù)據(jù)。例如，如果選擇成像數(shù)據(jù)存儲單元103，那么獲得用圖3A中的成像單元21B拍攝的圖像，作為記錄在記錄介質(zhì)上的數(shù)據(jù)。另一方面，如果選擇成像數(shù)據(jù)存儲單元104，那么獲得用圖3A中的成像單元21A拍攝的圖像，作為記錄在記錄介質(zhì)上的數(shù)據(jù)。記錄數(shù)據(jù)生成單元 110把獲得的圖像數(shù)據(jù)的格式轉(zhuǎn)換成諸如JPEG格式之類的圖像壓縮格式，并把圖像數(shù)據(jù)傳給記錄單元111。另外，在攝像設(shè)備100的模式被設(shè)定成記錄和顯示3D圖像的3D模式的情況下，記錄數(shù)據(jù)生成單元Iio向成像數(shù)據(jù)存儲單元103和成像數(shù)據(jù)存儲單元104發(fā)送記錄數(shù)據(jù)輸出命令。記錄數(shù)據(jù)生成單元110獲得保存在成像數(shù)據(jù)存儲單元103中的圖像數(shù)據(jù)，和保存在成像數(shù)據(jù)存儲單元104中的圖像數(shù)據(jù)，并把每個圖像數(shù)據(jù)的格式轉(zhuǎn)換成諸如JPEG格式之類的圖像壓縮格式。
另外，記錄數(shù)據(jù)生成單元110把圖像數(shù)據(jù)的格式轉(zhuǎn)換成把多個文件記錄成一個文件的格式。例如，所述格式是CIPA(相機與影像產(chǎn)品協(xié)會)定義的多畫面格式(MPO)等等， 用于把多個JPEG圖像記錄成一個文件。獲得的數(shù)據(jù)被傳給記錄單元111。另外，記錄在記錄介質(zhì)上的數(shù)據(jù)的格式并不局限于多畫面格式，可以采用其它記錄方法，比如利用名稱使兩個圖像文件相互關(guān)聯(lián)的方法，或者同時記錄其中寫入圖像文件之間的關(guān)聯(lián)性的設(shè)定文件的方法。記錄單元111把記錄數(shù)據(jù)生成單元110生成的數(shù)據(jù)記錄在記錄介質(zhì)上。記錄介質(zhì)包括例如可拆卸的半導(dǎo)體存儲卡，光盤等等。另一方面，可以采用經(jīng)網(wǎng)絡(luò)接口把數(shù)據(jù)記錄在外部服務(wù)器的數(shù)據(jù)庫中的方法。另外，在圖4中，記錄介質(zhì)被表示成置于攝像設(shè)備100之外的結(jié)構(gòu)，不過，記錄介質(zhì)可以是內(nèi)置于攝像設(shè)備100中的諸如硬盤之類的磁性記錄設(shè)備，或者諸如閃速存儲器之類的半導(dǎo)體存儲器。如果完成對記錄介質(zhì)的記錄處理，那么流程轉(zhuǎn)到步驟S109。步驟S109在步驟S109，檢查電源是否處于關(guān)閉狀態(tài)。如果判定電源處于關(guān)閉狀態(tài)，那么操作結(jié)束。如果未判定電源處于關(guān)閉狀態(tài)，那么流程轉(zhuǎn)到步驟S101，繼續(xù)所述處理。因而，在按照本公開的實施例的攝像設(shè)備中，記錄數(shù)據(jù)生成單元110或輸出數(shù)據(jù)生成單元107根據(jù)距離數(shù)據(jù)分析單元105的分析結(jié)果，判定3D圖像顯示中的立體視覺的回想水平，如果立體視覺的回想水平較低，那么生成2D圖像，作為記錄圖像或輸出圖像，如果立體視覺的回想水平較高，那么生成3D圖像，作為記錄圖像或輸出圖像。具體地說，記錄數(shù)據(jù)生成單元110或輸出數(shù)據(jù)生成單元107判定是否L圖像和R 圖像每一個的對應(yīng)坐標(biāo)位置的距離測量值(到被攝物體的距離)的所有或者預(yù)定比率以上的差分?jǐn)?shù)據(jù)都指示小于預(yù)定閾值的差分。如果判定所述差分?jǐn)?shù)據(jù)指示小于預(yù)定閾值的差分，那么判定3D圖像顯示中的立體視覺的回想水平較低，記錄數(shù)據(jù)生成單元110或輸出數(shù)據(jù)生成單元107生成2D圖像，作為記錄或輸出圖像，如果判定所述差分?jǐn)?shù)據(jù)指示不小于預(yù)定閾值的差分，那么判定3D圖像顯示中的立體視覺的回想水平較高，生成3D圖像作為記錄或輸出圖像。2.當(dāng)在拍攝圖像中，被攝物體距離都較遠(yuǎn)時，記錄和輸出二維圖像的處理例子 (第二實施例)下面，說明在按照本公開的第二實施例的攝像設(shè)備中，當(dāng)在拍攝圖像中，被攝物體距離都較遠(yuǎn)時，記錄和輸出二維圖像的實施例。上面說明的實施例被描述成其中比較在左眼圖像(L圖像)和右眼圖像(R圖像) 的對應(yīng)坐標(biāo)的被攝物體距離信息，如果在所有對應(yīng)坐標(biāo)位置的到被攝物體的距離差都小于預(yù)定閾值，或者在預(yù)定對應(yīng)點范圍(例如，95%)以上的對應(yīng)坐標(biāo)位置的到被攝物體的距離差小于預(yù)定閾值，那么記錄或者向顯示設(shè)備輸出2D圖像的結(jié)構(gòu)。在下面說明的實施例中，代替比較LR圖像之間的距離，比較用成像單元拍攝的一個圖像，例如，左眼圖像(L圖像)的各個像素的距離測量數(shù)據(jù)(被攝物體距離信息)，如果包括在圖像中的被攝物體都位于較遠(yuǎn)的距離，那么設(shè)定記錄和輸出2D圖像的2D模式。另外，按照第二實施例的攝像設(shè)備的結(jié)構(gòu)和按照第一實施例的攝像設(shè)備的結(jié)構(gòu)相同，其中其外觀具有圖3A-3E中所示的外觀，內(nèi)部結(jié)構(gòu)具有圖4中所示的內(nèi)部結(jié)構(gòu)。
下面參考圖14中所示的流程圖，說明按照第二實施例的攝像設(shè)備進(jìn)行的處理序列。圖14中所示的流程圖在許多部分與按照參考圖5說明的第一實施例的攝像設(shè)備中的流程圖相同。不同的處理是步驟S202和S203中的處理。下面參考圖14中所示的攝像設(shè)備的結(jié)構(gòu)圖和圖14中所示的流程圖，說明由按照本實施例的攝像設(shè)備進(jìn)行的處理。另外，與第一實施例共有的各個步驟中的處理將簡要說明。步驟S201在步驟S201，例如響應(yīng)用戶的快門操作，包括在圖4中所示的攝像設(shè)備100中的兩個成像單元101和102并行進(jìn)行成像處理。例如，用置于圖3A中所示的照相機的左側(cè)和右側(cè)的成像單元21A和21B獲得右眼視點圖像和左眼視點圖像。另外，在圖4的方框圖中，成像單元101從左方向?qū)Ρ粩z物體成像，從而獲得左眼圖像(L圖像)，成像單元102從右方向?qū)Ρ粩z物體成像，從而獲得右眼圖像(R圖像)。如同關(guān)于圖6-8所述，成像單元101和102都包括在成像元件上的通過相差檢測， 輸出距離測量信號的多個光電變換元件，從而不但獲得圖像數(shù)據(jù)，而且利用輸出多個距離測量信號的光電變換元件單元，獲得到在成像元件上接收的被攝物體的距離信息。測得的距離數(shù)據(jù)被傳給距離數(shù)據(jù)分析單元105。步驟S202 和 S203在步驟S202，獲得用成像單元拍攝的一個圖像，例如，左眼圖像(L圖像)的相應(yīng)像素的距離測量數(shù)據(jù)(被攝物體距離信息)，然后判定包括在該圖像中的被攝物體是否都位于較遠(yuǎn)的距離。該處理不同于第一實施例中的處理。在本實施例中，距離數(shù)據(jù)分析單元105分析在一個圖像中設(shè)定的多個距離信息獲得位置的距離數(shù)據(jù)，而不是比較在LR圖像的對應(yīng)坐標(biāo)位置的距離數(shù)據(jù)，從而判定包括在圖像中的被攝物體是否都位于較遠(yuǎn)的距離。距離數(shù)據(jù)分析單元105分別從成像單元101和成像單元102獲得與拍攝圖像中的距離測量點對應(yīng)的多個距離測量數(shù)據(jù)。例如，距離測量數(shù)據(jù)是關(guān)于圖6B說明的7比特 (0-127)的數(shù)據(jù)。例如，如果距離測量點的所有值都等于或大于閾值(例如，120)，那么在步驟 S203，判定結(jié)果是肯定的(是)。否則，判定結(jié)果是否定的(否)。對于從成像單元101和成像單元102獲得的LR圖像中的任一個，距離數(shù)據(jù)分析單元105判定圖像中的所有距離測量數(shù)據(jù)是否都指示等于或大于預(yù)先設(shè)定的預(yù)定閾值的遠(yuǎn)距離數(shù)據(jù)。用于獲得距離信息和進(jìn)行判定處理的圖像可以是L圖像和/或R圖像。另外，按照和第一實施例類似的方式，在第二實施例中，盡管作為步驟S203中的判定處理，也進(jìn)行判定所有距離測量數(shù)據(jù)是否都具有等于或大于預(yù)定閾值的距離的判定處理，不過可存在考慮到距離測量的誤差，進(jìn)行判定具有大量距離測量點的部分，例如等于或大于95%的點是否具有等于或大于預(yù)定閾值的距離的判定處理的設(shè)定。在這種設(shè)定中，如果待處理圖像的距離測量數(shù)據(jù)的95%以上的點都具有等于或大于預(yù)定閾值的距離，那么在步驟S203，判定結(jié)果是肯定的(是)，否則，判定結(jié)果是否定的 (否)。如果步驟S203中的判定結(jié)果是肯定的(是)，即，拍攝圖像中的所有或大多數(shù)被攝物體都位于遠(yuǎn)距離，那么流程轉(zhuǎn)到步驟S204，攝像設(shè)備100被設(shè)定成記錄和輸出2D圖像的2D模式。如果包括在攝像設(shè)備100中的相應(yīng)單元被切換成2D模式，那么流程轉(zhuǎn)到步驟 S206。另一方面，如果步驟S203中的判定結(jié)果是否定的(否)，即，未判定拍攝圖像中的所有或大多數(shù)被攝物體都位于遠(yuǎn)距離，那么流程轉(zhuǎn)到步驟S205，攝像設(shè)備100被設(shè)定成記錄和輸出3D圖像的3D模式。如果包括在攝像設(shè)備100中的相應(yīng)單元被切換成3D模式，那么流程轉(zhuǎn)到步驟S206。后續(xù)處理和第一實施例中的相應(yīng)處理相同，從而省略它們的說明。從而，在本實施例中，如果圖像的距離測量值較大，即，所有被攝物體都在遠(yuǎn)處，那么兩個圖像被記錄和輸出為2D圖像。該處理是基于即使位于遠(yuǎn)距離的所有被攝物體都被顯示成3D圖像，也難以把握立體視覺的原因的處理。下面參考圖15A-16C，說明一個具體例子。圖15A-15C表示當(dāng)被攝物體距離較近時，用兩個成像單元拍攝的圖像的例子。圖16A-16C表示當(dāng)被攝物體距離較遠(yuǎn)時，用兩個成像單元拍攝的圖像的例子。首先參考圖15A-15C，說明當(dāng)被攝物體距離較近時，用兩個成像單元拍攝的圖像的例子。如圖15A中所示，利用具有設(shè)定在隔開的預(yù)定位置的成像單元1和成像單元2的照相機，拍攝位于離照相機較近位置的被攝物體(人物和樹木)。如果如圖15A中所示，成像單元和被攝物體之間的距離較近，那么相對于被攝物體(人物和樹木)，成像單元1的攝影范圍和角度和成像單元2的攝影范圍和角度差異較大。在這種情況下，如圖15B和15C中所示，成像單元1和成像單元2獲得不同的圖像。圖15B表示用成像單元1獲得的圖像，圖15C表示用成像單元2獲得的圖像。這兩個圖像中的被攝物體(人物和樹木)的記錄位置明顯彼此不同。當(dāng)這兩個圖像被顯示成 3D圖像時，被攝物體的記錄位置之間的差異產(chǎn)生明確的視差，從而呈現(xiàn)具有深度感的圖像。下面參考圖16A-16C，說明當(dāng)被攝物體距離較遠(yuǎn)時，用兩個成像單元拍攝的圖像的例子。如圖16A中所示，利用具有設(shè)定在隔開的預(yù)定位置的成像單元1和成像單元2的照相機，拍攝位于離照相機較遠(yuǎn)位置的被攝物體(山)。如果如圖16A中所示，成像單元和被攝物體之間的距離較遠(yuǎn)，那么相對于被攝物體(山)，成像單元1的攝影范圍和角度和成像單元2的攝影范圍和角度沒有較大的差異。 在這種情況下，如圖16B和16C中所示，成像單元1和成像單元2獲得幾乎相同的圖像。圖16B表示用成像單元1獲得的圖像，圖16C表示用成像單元2獲得的圖像。這兩個圖像中的被攝物體(山)的記錄位置彼此基本相同。即使被攝物體的記錄位置之間幾乎沒有差異的這兩個圖像被顯示成3D圖像，也只是沒有明確視差地呈現(xiàn)無深度感的圖像。
原則上，根據(jù)鏡頭的一度在哪個取景捕捉到被攝物體的性能、兩個成像單元之間的間隔等等，判定在被攝物體距離較遠(yuǎn)的地方，視差等于或小于預(yù)定值的值，不過實際上， 輕微的視差難以把握。于是，存在一些人感覺不到視差的存在，而其他人感覺到視差的存在的情況。因此，當(dāng)最初使用攝像設(shè)備時，如果在攝影期間決定取景，或者在攝影之后觀看拍攝的圖像時，用戶認(rèn)為對他/她自己來說存在視差，那么該用戶手動設(shè)定3D模式，如果他/ 她認(rèn)為不存在視差，那么設(shè)定2D模式。于是，通過模式的學(xué)習(xí)，用戶能夠根據(jù)攝像設(shè)備距離被攝物體有多遠(yuǎn)，判斷適合于進(jìn)行到2D模式的自動切換，從而能夠使切換變得準(zhǔn)確。在本實施例中，有利的是只分析從攝像設(shè)備輸出的距離信息，而不需要比較兩個圖像的距離數(shù)據(jù)。在本實施例中，只判定獲得的距離信息等于或大于預(yù)定距離值，從而與上面說明的第一實施例相比，能夠快速地進(jìn)行處理，因為不存在比較操作，并且只利用來自一個成像單元的距離信息就能夠?qū)崿F(xiàn)所述判定。因而，在按照本公開的第二實施例的攝像設(shè)備中，記錄數(shù)據(jù)生成單元110或輸出數(shù)據(jù)生成單元107根據(jù)距離數(shù)據(jù)分析單元105的分析結(jié)果，判定3D圖像顯示中的立體視覺的回想水平，如果立體視覺的回想水平較低，那么生成2D圖像作為記錄圖像或輸出圖像， 如果立體視覺的回想水平較高，那么生成3D圖像作為記錄圖像或輸出圖像。具體地說，距離數(shù)據(jù)分析單元105獲得多個距離數(shù)據(jù)，所述多個距離數(shù)據(jù)是在L圖像和R圖像的至少幾個圖像中設(shè)定的多個被攝物體距離測量點的測量值。記錄數(shù)據(jù)生成單元110或輸出數(shù)據(jù)生成單元107判定是否所有或者預(yù)定比率以上的距離數(shù)據(jù)都具有等于或大于指示被攝物體距離較遠(yuǎn)的預(yù)定閾值的距離數(shù)據(jù)。如果判定距離數(shù)據(jù)具有等于或大于預(yù)定閾值的距離數(shù)據(jù)，那么判定3D圖像顯示中的立體視覺的回想水平較低，記錄數(shù)據(jù)生成單元110或輸出數(shù)據(jù)生成單元107生成2D圖像，作為記錄或輸出圖像，如果判定距離數(shù)據(jù)不具有等于或大于預(yù)定閾值的距離數(shù)據(jù)，那么判定3D圖像顯示中的立體視覺的回想水平較高，從而生成3D圖像，作為記錄或輸出圖像。3.第一和第二實施例的變形例3-1.只考慮僅僅一部分的距離測量點的測量信息的處理例子(第三實施例)在上面說明的第一和第二實施例中，通過相差檢測，測量被攝物體距離的方法被描述成獲得所有測量點的信息的處理例子。代替按照這種方式獲得所有距離測量點的信息，可存在其中通過只獲得一部分距離測量點的距離測量信息，進(jìn)行是設(shè)定2D模式還是3D模式的判定的結(jié)構(gòu)。在上面說明的第一和第二實施例中，針對所有距離測量點的數(shù)據(jù)進(jìn)行處理，比如對于所有距離測量點，LR圖像的對應(yīng)點的距離比較處理，或者一個圖像中的所有距離測量點是否等于或大于預(yù)定值的判定。代替針對所有距離測量點進(jìn)行處理，可存在其中只有不是模糊部分而是聚焦部分的距離測量點成為處理目標(biāo)的結(jié)構(gòu)，或者其中通過只把用戶所選物體上的一部分距離測量點作為處理目標(biāo)，進(jìn)行是設(shè)定2D模式還是3D模式的判定的結(jié)構(gòu)。3-2.在攝影之后記錄數(shù)據(jù)的處理例子(第四實施例)上述第一和第二實施例中的處理例子被描述成當(dāng)在攝像設(shè)備中拍攝新的圖像時， 控制是按2D模式還是3D模式進(jìn)行拍攝圖像的記錄或顯示的處理。不過，該處理可應(yīng)用于在拍攝之后，已保存在記錄介質(zhì)或存儲器上的拍攝圖像。即，可存在其中讀取已拍攝的、并作為左眼圖像(L圖像)和右眼圖像(R圖像)的圖像對保存在記錄介質(zhì)上的圖像，核實記錄的圖像，然后以2D模式重錄或顯示所述圖像，或者以3D 模式重錄或顯示所述圖像的結(jié)構(gòu)。下面將說明該處理例子。作為進(jìn)行這種處理的情況的前提，攝像設(shè)備在攝影時，以3D模式進(jìn)行攝影，把左眼圖像(L圖像)和右眼圖像(R圖像)的圖像對記錄在記錄介質(zhì)上，并且當(dāng)進(jìn)行記錄處理時，同時記錄參見圖10說明的距離信息，作為圖像的屬性信息(元數(shù)據(jù))，例如，作為EXIF 的元數(shù)據(jù)。另外，利用記錄數(shù)據(jù)的處理并不局限于攝像設(shè)備，可以在進(jìn)行圖像顯示、編輯、再現(xiàn)等的圖像處理設(shè)備中執(zhí)行，例如，可以在諸如PC或電視機之類的設(shè)備中執(zhí)行。圖17表示按照第四實施例的圖像處理設(shè)備(再現(xiàn)設(shè)備)400的功能方框圖。此外，圖18表示圖解說明由圖17中所示的圖像處理設(shè)備400執(zhí)行的圖像記錄處理或輸出(顯示)處理的處理序列的流程圖。如圖17中所示，圖像處理設(shè)備400包括記錄介質(zhì)讀取單元401，解碼單元402，圖像數(shù)據(jù)存儲單元403，距離數(shù)據(jù)分析單元404，記錄數(shù)據(jù)生成單元405，記錄單元406，輸出數(shù)據(jù)生成單元407，和到外部設(shè)備的輸出單元408 (下面，簡稱為輸出單元408)。記錄介質(zhì)讀取單元401從記錄介質(zhì)410讀取圖像數(shù)據(jù)，所述記錄介質(zhì)410記錄作為3D圖像的左眼圖像(L圖像)和右眼圖像(R圖像)的圖像對，和作為對應(yīng)于每個圖像的元數(shù)據(jù)的距離信息。解碼單元402對記錄介質(zhì)讀取單元401讀取的數(shù)據(jù)解碼。解碼結(jié)果包括作為3D 圖像的左眼圖像(L圖像)和右眼圖像(R圖像)的圖像對，和作為對應(yīng)于每個圖像的元數(shù)據(jù)的距離信息。圖像數(shù)據(jù)被保存在圖像數(shù)據(jù)存儲單元403中。距離信息被提供給距離數(shù)據(jù)分析單元404。記錄數(shù)據(jù)生成單元405接收保存在圖像數(shù)據(jù)存儲單元403中的圖像數(shù)據(jù)，和接收由距離數(shù)據(jù)分析單元404處理的距離比較結(jié)果信息，并根據(jù)距離比較結(jié)果信息生成重錄數(shù)據(jù)。即，根據(jù)距離比較結(jié)果信息，生成2D圖像數(shù)據(jù)或3D圖像數(shù)據(jù)作為記錄數(shù)據(jù)。記錄單元406把記錄數(shù)據(jù)生成單元405生成的2D圖像數(shù)據(jù)或3D圖像數(shù)據(jù)記錄在記錄介質(zhì)410上。輸出數(shù)據(jù)生成單元407接收保存在圖像數(shù)據(jù)存儲單元403中的圖像數(shù)據(jù)，和接收由距離數(shù)據(jù)分析單元404處理的距離比較結(jié)果信息，并根據(jù)距離比較結(jié)果信息，生成輸出 (顯示)數(shù)據(jù)。即，根據(jù)距離比較結(jié)果信息，生成2D圖像數(shù)據(jù)或3D圖像數(shù)據(jù)作為輸出數(shù)據(jù)。下面參考圖18中所示的流程圖，說明由圖17中所示的圖像處理設(shè)備執(zhí)行的處理序列。另外，各個處理是按照保存在存儲器中的程序，在圖17中未示出的控制單元的控制下進(jìn)行的。當(dāng)在圖像處理設(shè)備400把3D數(shù)據(jù)記錄在記錄介質(zhì)上之后，設(shè)備的處理能力留有余地時，按照圖18中所示流程圖的處理自動開始，或者以當(dāng)用戶選擇開始處理時，或當(dāng)把諸如存儲卡之類的記錄介質(zhì)410插入圖像處理設(shè)備400中時等等作為觸發(fā)信號，開始按照圖 18中所示流程圖的處理。
21
步驟S301首先，在步驟S301，記錄介質(zhì)讀取單元401從記錄介質(zhì)讀取待處理的文件。讀取的文件數(shù)據(jù)包括作為3D圖像的左眼圖像(L圖像)和右眼圖像(R圖像)的圖像對，和作為對應(yīng)于每個圖像的元數(shù)據(jù)的距離信息。另外，作為待處理的文件，例如，檢查記錄介質(zhì)讀取單元401讀取的文件信息，然后從按3D格式寫入的文件中，選擇最早的且未經(jīng)歷按照本公開的各個實施例的處理的文件。通過讀取諸如EXIF之類的元數(shù)據(jù)，能夠掌握記錄日期。另外，可存在其中埋入指示是否進(jìn)行了按照本處理流程的重錄處理的標(biāo)記作為諸如EXIF之類的元數(shù)據(jù)，核實所述標(biāo)記，如果確認(rèn)數(shù)據(jù)未被處理則選擇并讀取該數(shù)據(jù)的結(jié)構(gòu)。另外，可以利用其它方法進(jìn)行選擇，比如把記錄介質(zhì)讀取單元401讀取的文件的列表顯示在圖17中未示出的顯示設(shè)備上，然后用戶選擇待處理的文件的方法。步驟S302隨后在步驟S302，解碼單元402對記錄介質(zhì)讀取單元401讀取的數(shù)據(jù)解碼。解碼的結(jié)果包括作為3D圖像的左眼圖像(L圖像)和右眼圖像(R圖像)的圖像對，和作為對應(yīng)于每個圖像的元數(shù)據(jù)的距離信息。具體地說，例如，從按照MPO格式保存的3D格式的數(shù)據(jù)中提取和解碼左右圖像數(shù)據(jù)，左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)被傳給圖像數(shù)據(jù)存儲單元403。另外，獲得作為元數(shù)據(jù)埋入EXIF中的距離測量數(shù)據(jù)，并傳送給距離數(shù)據(jù)分析單元404。此外，保存圖像數(shù)據(jù)的圖像數(shù)據(jù)存儲單元403包括半導(dǎo)體存儲器，能夠臨時保存左圖像和右圖像。如果完成了圖像數(shù)據(jù)和距離測量數(shù)據(jù)的傳輸，那么流程轉(zhuǎn)到步驟S303。步驟S303隨后在步驟S303，距離數(shù)據(jù)分析單元404比較距離數(shù)據(jù)。距離數(shù)據(jù)比較處理是以在第一實施例中說明的處理，或者在第二實施例中說明的幾個處理的形式進(jìn)行的。例如，在進(jìn)行在第一實施例中說明的處理的情況下，比較左眼圖像(L圖像)和右眼圖像(R圖像)的對應(yīng)坐標(biāo)位置之間的距離。另一方面，在進(jìn)行在第二實施例中說明的處理的情況下，檢測左眼圖像(L圖像) 和右眼圖像(R圖像)之中的一個圖像中的距離測量點的距離。步驟S304-S306在步驟S304，進(jìn)行以在步驟S303中進(jìn)行的距離信息分析處理為基礎(chǔ)的判定。當(dāng)在步驟S303中，進(jìn)行在第一實施例中說明的處理，即，比較左眼圖像(L圖像) 和右眼圖像(R圖像)的對應(yīng)坐標(biāo)的距離信息時，判定L圖像和R圖像的對應(yīng)點的所有或者預(yù)定閾值(例如，全體的95%)以上的距離差是否都小于預(yù)先設(shè)定的閾值。如果比較的對應(yīng)點的距離測量數(shù)據(jù)都相同，或者顯示結(jié)果包括在被認(rèn)為相當(dāng)于人眼的誤差范圍內(nèi)(例如，就7比特(0-127)的距離測量值來說，在士5誤差內(nèi))的所有或者閾值以上的對應(yīng)像素，那么在步驟S304，判定結(jié)果是肯定的(是)，然后流程轉(zhuǎn)到步驟S305， 在步驟S305，攝像設(shè)備400被設(shè)定成記錄和輸出2D圖像的2D模式。否則，在步驟S304，判定結(jié)果是否定的(否)，流程進(jìn)入步驟S306，在步驟S306，圖像處理設(shè)備400被設(shè)定成記錄和輸出3D圖像的3D模式。另一方面，當(dāng)在步驟S303，進(jìn)行在第二實施例中說明的處理，S卩，進(jìn)行在左眼圖像 (L圖像)和/或右眼圖像(R圖像)中設(shè)定的被攝物體距離測量點獲得的距離值的判定處理時，判定是否所有(或者預(yù)定數(shù)目以上的)所述距離值都等于或大于預(yù)先設(shè)定的閾值， 即，拍攝遠(yuǎn)距離的被攝物體。如果在步驟S304，判定結(jié)果是肯定的(是)，即，判定包括在拍攝圖像中的所有或大部分被攝物體都是遠(yuǎn)距離被攝物體，那么流程轉(zhuǎn)到步驟S305，在步驟S305，圖像處理設(shè)備400被設(shè)定成記錄和輸出2D圖像的2D模式。另一方面，如果在步驟S304，判定結(jié)果是否定的(否)，即，未判定包括在拍攝圖像中的所有或大部分被攝物體都是遠(yuǎn)距離被攝物體，那么流程轉(zhuǎn)到步驟S306，在步驟 S306,圖像處理設(shè)備400被設(shè)定成記錄和輸出3D圖像的3D模式。步驟S307在步驟S307，按照在步驟S305或S306中設(shè)定的模式，圖像數(shù)據(jù)被重新記錄在記錄介質(zhì)上，或者被輸出(顯示)。 即，如果在步驟S305中設(shè)定2D圖像模式，那么以2D圖像的形式記錄或輸出數(shù)據(jù)。 通過僅僅記錄或輸出(顯示)LR圖像之一，完成記錄或輸出2D圖像的處理。另外，就設(shè)定LR圖像中的哪個圖像作為將按2D模式記錄或輸出的圖像來說，和上面說明的實施例中一樣，設(shè)備可以設(shè)定左眼圖像和右眼圖像任意之一，或者用戶可以選擇左眼圖像和右眼圖像之一。被選為記錄目標(biāo)的圖像數(shù)據(jù)的格式被轉(zhuǎn)換成諸如JPEG格式之類的圖像壓縮格式，該圖像數(shù)據(jù)被傳給記錄單元406，隨后被記錄在記錄介質(zhì)410上。另外，在圖像處理設(shè)備400的模式被設(shè)定成3D模式的情況下，記錄數(shù)據(jù)生成單元 405獲得保存在成像數(shù)據(jù)存儲單元403中的左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)兩者的圖像數(shù)據(jù)，并把每個圖像數(shù)據(jù)的格式轉(zhuǎn)換成諸如JPEG格式之類的圖像壓縮格式，并進(jìn)一步把圖像數(shù)據(jù)的格式轉(zhuǎn)換成把多個文件記錄成一個文件的格式。例如，所述格式是CIPA定義的多畫面格式(MPO)等等，用于把多個JPEG圖像記錄成一個文件。獲得的數(shù)據(jù)被傳給記錄單元 406，然后被記錄在記錄介質(zhì)410上。另外，記錄在記錄介質(zhì)410上的數(shù)據(jù)的格式并不局限于多畫面格式，可以采用其它記錄方法，比如利用名稱使兩個圖像文件相互關(guān)聯(lián)的方法，或者一起記錄其中寫入圖像文件之間的關(guān)聯(lián)性的設(shè)定文件的方法。記錄單元406把記錄數(shù)據(jù)生成單元405生成的數(shù)據(jù)記錄在記錄介質(zhì)410上。例如， 記錄介質(zhì)包括可拆卸的半導(dǎo)體存儲卡，光盤等。另一方面，可以采用經(jīng)網(wǎng)絡(luò)接口，把數(shù)據(jù)記錄在外部服務(wù)器的數(shù)據(jù)庫中的方法。另外，在圖17中，記錄介質(zhì)410被表示成置于攝像設(shè)備(再現(xiàn)設(shè)備)400之外的結(jié)構(gòu)，不過，記錄介質(zhì)410可以是任何其它種類的記錄介質(zhì)，比如內(nèi)置于圖像處理設(shè)備(再現(xiàn)設(shè)備)400中的諸如硬盤之類的磁性記錄設(shè)備或者諸如閃速存儲器之類的半導(dǎo)體存儲器。 如果完成記錄或輸出處理，那么流程轉(zhuǎn)到步驟S308。步驟S308在步驟S308，判定是否完成了所有指定文件的處理。如果判定完成了所述處理，那么操作結(jié)束。如果存在未處理的文件，那么流程轉(zhuǎn)到步驟S301，繼續(xù)所述處理。
指示處理完成的標(biāo)記的值被設(shè)定到根據(jù)距離信息，對其進(jìn)行重錄處理的文件，所述標(biāo)記被記錄成諸如EXIF之類的元數(shù)據(jù)。記錄數(shù)據(jù)生成單元405能夠根據(jù)所述標(biāo)記的值， 判定每個文件的處理狀況。4.按照程序(軟件)進(jìn)行處理的設(shè)備的結(jié)構(gòu)例子下面參考圖19，說明按照本公開的實施例的攝像設(shè)備或圖像處理設(shè)備的硬件結(jié)構(gòu)例子。圖19中所示的圖像處理設(shè)備500是具有再現(xiàn)功能的攝像設(shè)備，包括CPU(中央處理器)563，CPU 563是執(zhí)行程序(軟件)的控制單元。程序被保存在例如非易失性存儲器562中。CPU 563使用例如由能夠比較高速地訪問的DDR SDRAM(雙倍數(shù)據(jù)速率同步動態(tài)隨機存取存儲器)等構(gòu)成的高速存儲器561作為工作區(qū)，在高速存儲器561上展開從非易失性存儲器562讀取的程序，并分析圖像的距離 fn息ο另外，在CPU 563的控制下或者按照嵌入總線I/F 564中的調(diào)整功能，經(jīng)總線在圖 19中的圖像處理設(shè)備500中所示的各個組成元件之間傳送數(shù)據(jù)。成像單元501和502分別接收入射光(左)581和入射光(右)582，從而拍攝具有不同視點的圖像，即，左眼圖像(L圖像)和右眼圖像(R圖像)。圖像數(shù)據(jù)存儲單元503和504保存LR圖像。輸入單元506從用戶接收指令輸入583，例如，記錄命令。CPU 563按照程序分析與保存在成像數(shù)據(jù)存儲單元503和504中的LR圖像對應(yīng)的距離信息。即，進(jìn)行按照上述實施例的距離信息的分析處理。記錄數(shù)據(jù)生成單元510獲得保存在圖像數(shù)據(jù)存儲單元503和504中的LR圖像，接收由CPU 563生成的距離信息分析，判定記錄圖像是被設(shè)定為2D圖像還是3D圖像，并根據(jù)判定結(jié)果生成記錄數(shù)據(jù)。生成的記錄數(shù)據(jù)被記錄在記錄介質(zhì)584上。另外，利用在上述實施例中說明的任意處理，進(jìn)行記錄圖像是被設(shè)定為2D圖像還是3D圖像的判定處理。輸出數(shù)據(jù)生成單元507獲得保存在圖像數(shù)據(jù)存儲單元503和504中的LR圖像，接收由CPU 563生成的距離信息分析，判定輸出圖像是被設(shè)定為2D圖像還是3D圖像，并根據(jù)判定結(jié)果，生成輸出數(shù)據(jù)。生成的輸出數(shù)據(jù)經(jīng)到外部設(shè)備的輸出設(shè)備508，被輸出給外部輸出設(shè)備591。另一方面，生成的輸出數(shù)據(jù)被顯示在顯示單元509上。另外，利用在上述實施例中說明的任意處理，進(jìn)行輸出圖像是被設(shè)定為2D圖像還是3D圖像的判定處理。記錄介質(zhì)讀取單元551從記錄介質(zhì)584讀取數(shù)據(jù)。記錄數(shù)據(jù)解碼單元552對讀取的數(shù)據(jù)解碼，并把解碼結(jié)果保存在圖像數(shù)據(jù)存儲單元陽3中。在記錄或輸出(顯示)保存在圖像數(shù)據(jù)存儲單元553中的圖像數(shù)據(jù)的情況下，按照與參考圖17和18說明的處理類似的方式，分析作為對應(yīng)于圖像的元數(shù)據(jù)而記錄的距離信息，然后以2D圖像或3D圖像的形式，記錄或輸出(顯示)圖像數(shù)據(jù)。當(dāng)進(jìn)行該處理時，CPU(控制單元)563按照保存在非易失性存儲器562中的程序， 執(zhí)行該處理。記錄數(shù)據(jù)生成單元510根據(jù)來自CPU 563的距離信息分析結(jié)果，判定重錄數(shù)據(jù)格式是被設(shè)定成2D圖像還是3D圖像，然后生成記錄數(shù)據(jù)。按照相同的方式，輸出數(shù)據(jù)生成單元507根據(jù)來自CPU 563的距離信息分析結(jié)果， 判定重錄數(shù)據(jù)格式是被設(shè)定成2D圖像還是3D圖像，然后生成輸出數(shù)據(jù)。該處理是和參考圖18說明的序列相同的序列。如上，關(guān)于具體實施例詳細(xì)說明了本公開。不過，顯然本領(lǐng)域的技術(shù)人員能夠在不脫離本公開的精神的范圍內(nèi)，修改或變更各個實施例。換句話說，以例證實施例的形式公開了本公開，從而，本公開不應(yīng)被解釋成限制其范圍。為了判斷本公開的精神，應(yīng)考慮所附的權(quán)利要求。同時，在說明書中，上述一系列處理可用硬件或軟件執(zhí)行。當(dāng)用軟件執(zhí)行一系列處理時，可通過把記錄處理序列的程序安裝到內(nèi)置于專用硬件中的計算機的存儲器中，或者通過把所述程序安裝到能夠?qū)崿F(xiàn)各種功能的通用個人計算機中，執(zhí)行所述一系列處理。 例如，所述程序可被預(yù)先記錄在記錄介質(zhì)上。除了把程序安裝到計算機上之外，可經(jīng)諸如 LAN(局域網(wǎng))中因特網(wǎng)之類的網(wǎng)絡(luò)接收程序，并把程序安裝到諸如內(nèi)置硬盤之類的記錄介質(zhì)上。此外，在本說明書中公開的各種處理不僅可按照與所述順序相應(yīng)的時序進(jìn)行，而且可以取決于執(zhí)行所述處理的設(shè)備的處理性能，或者根據(jù)需要，并行地或單獨地進(jìn)行。另外，本說明書中的系統(tǒng)指的是多個設(shè)備的邏輯集合結(jié)構(gòu)，并不限于包括在同一殼體中。本公開包含與在2010年12月9日向日本專利局提交的日本優(yōu)先權(quán)專利申請JP 2010-274806中公開的主題相關(guān)的主題，該專利申請的整個內(nèi)容在此引為參考。本領(lǐng)域的技術(shù)人員應(yīng)明白，根據(jù)設(shè)計要求和其它因素，可以產(chǎn)生各種修改、組合、 子組合和變更，只要它們在所附的權(quán)利要求或其等同物的范圍之內(nèi)。
權(quán)利要求
1.一種圖像處理設(shè)備，包括距離數(shù)據(jù)分析單元，所述距離數(shù)據(jù)分析單元分析具有不同視點的拍攝圖像的部分區(qū)域單元的被攝物體距離信息；和數(shù)據(jù)生成單元，所述數(shù)據(jù)生成單元根據(jù)距離數(shù)據(jù)分析單元的分析結(jié)果，判定記錄圖像或輸出圖像是被設(shè)定成二維圖像還是三維圖像，并根據(jù)判定結(jié)果生成記錄圖像或輸出圖像，其中數(shù)據(jù)生成單元根據(jù)距離數(shù)據(jù)分析單元的分析結(jié)果判定三維圖像顯示中的立體視覺的回想水平，如果判定立體視覺的回想水平較低，那么生成二維圖像作為記錄圖像或輸出圖像，而如果判定立體視覺的回想水平較高，那么生成三維圖像作為記錄圖像或輸出圖像。
2.按照權(quán)利要求1所述的圖像處理設(shè)備，其中距離數(shù)據(jù)分析單元計算L圖像和R圖像每一個的對應(yīng)坐標(biāo)位置的作為到被攝物體距離的距離測量值的差分?jǐn)?shù)據(jù)，L圖像和R圖像是具有不同視點的圖像，其中數(shù)據(jù)生成單元判定作為距離數(shù)據(jù)分析單元的分析結(jié)果而獲得的L圖像和R圖像每一個的對應(yīng)坐標(biāo)位置的作為到被攝物體距離的距離測量值的差分?jǐn)?shù)據(jù)的所有或者預(yù)定比率以上是否指示小于預(yù)定閾值的差分，如果判定差分?jǐn)?shù)據(jù)指示小于預(yù)定閾值的差分，那么判定三維圖像顯示中的立體視覺的回想水平較低，生成二維圖像作為記錄圖像或輸出圖像，而如果判定差分?jǐn)?shù)據(jù)指示不小于預(yù)定閾值的差分，那么判定三維圖像顯示中的立體視覺的回想水平較高，生成三維圖像作為記錄圖像或輸出圖像。
3.按照權(quán)利要求1所述的圖像處理設(shè)備，其中距離數(shù)據(jù)分析單元獲得多個距離數(shù)據(jù)， 所述多個距離數(shù)據(jù)是在作為具有不同視點的圖像的L圖像和R圖像至少之一中設(shè)定的多個被攝物體距離測量點的測量值，其中數(shù)據(jù)生成單元判定是否所有或者預(yù)定比率以上的距離數(shù)據(jù)具有等于或大于指示被攝物體距離較遠(yuǎn)的預(yù)定閾值的距離數(shù)據(jù)，如果判定所述距離數(shù)據(jù)具有等于或大于預(yù)定閾值的距離數(shù)據(jù)，那么判定三維圖像顯示中的立體視覺的回想水平較低，生成二維圖像作為記錄圖像或輸出圖像，而如果判定所述距離數(shù)據(jù)不具有等于或大于預(yù)定閾值的距離數(shù)據(jù)， 那么判定三維圖像顯示中的立體視覺的回想水平較高，生成三維圖像作為記錄圖像或輸出圖像。
4.按照權(quán)利要求1所述的圖像處理設(shè)備，還包括拍攝具有不同視點的圖像的兩個成像單元，其中每個成像單元包括獲得圖像的部分區(qū)域單元的被攝物體距離信息的成像元件。
5.按照權(quán)利要求4所述的圖像處理設(shè)備，其中每個成像單元包括具有按照相差檢測方法獲得圖像的部分區(qū)域單元的被攝物體距離信息的像素區(qū)域的成像元件。
6.按照權(quán)利要求1所述的圖像處理設(shè)備，其中距離數(shù)據(jù)分析單元選擇圖像的部分圖像區(qū)域，并只對所選區(qū)域分析被攝物體距離信息，其中數(shù)據(jù)生成單元僅根據(jù)所選區(qū)域的分析結(jié)果，判定記錄圖像或輸出圖像是被設(shè)定成二維圖像，還是被設(shè)定成三維圖像，并根據(jù)判定結(jié)果生成記錄圖像或輸出圖像。
7.按照權(quán)利要求6所述的圖像處理設(shè)備，其中距離數(shù)據(jù)分析單元選擇聚焦圖像區(qū)域， 并只對所選區(qū)域分析被攝物體距離信息，其中數(shù)據(jù)生成單元僅根據(jù)所選區(qū)域的分析結(jié)果，判定記錄圖像或輸出圖像是被設(shè)定成二維圖像，還是被設(shè)定成三維圖像，并根據(jù)判定結(jié)果生成記錄圖像或輸出圖像。
8.一種在圖像處理設(shè)備中執(zhí)行的圖像處理方法，包括使距離數(shù)據(jù)分析單元分析具有不同視點的拍攝圖像的部分區(qū)域單元的被攝物體距離信息；和使數(shù)據(jù)生成單元根據(jù)距離數(shù)據(jù)分析單元的分析結(jié)果判定記錄圖像或輸出圖像是被設(shè)定成二維圖像，還是被設(shè)定成三維圖像，并根據(jù)判定結(jié)果生成記錄圖像或輸出圖像，其中數(shù)據(jù)的生成包括根據(jù)距離數(shù)據(jù)分析單元的分析結(jié)果判定三維圖像顯示中的立體視覺的回想水平，如果判定立體視覺的回想水平較低，那么生成二維圖像作為記錄圖像或輸出圖像，而如果判定立體視覺的回想水平較高，那么生成三維圖像作為記錄圖像或輸出圖像。
9.一種使得在圖像處理設(shè)備中執(zhí)行圖像處理的程序，包括使距離數(shù)據(jù)分析單元分析具有不同視點的拍攝圖像的部分區(qū)域單元的被攝物體距離信息；和使數(shù)據(jù)生成單元根據(jù)距離數(shù)據(jù)分析單元的分析結(jié)果判定記錄圖像或輸出圖像是被設(shè)定成二維圖像，還是被設(shè)定成三維圖像，并根據(jù)判定結(jié)果生成記錄圖像或輸出圖像，其中數(shù)據(jù)的生成包括根據(jù)距離數(shù)據(jù)分析單元的分析結(jié)果判定三維圖像顯示中的立體視覺的回想水平，如果判定立體視覺的回想水平較低，那么生成二維圖像作為記錄圖像或輸出圖像，而如果判定立體視覺的回想水平較高，那么生成三維圖像作為記錄圖像或輸出圖像。
全文摘要
本公開涉及圖像處理設(shè)備，圖像處理方法和程序。所述圖像處理設(shè)備包括距離數(shù)據(jù)分析單元，所述距離數(shù)據(jù)分析單元分析具有不同視點的拍攝圖像的部分區(qū)域單元的被攝物體距離信息，和數(shù)據(jù)生成單元，所述數(shù)據(jù)生成單元根據(jù)分析結(jié)果，判定記錄圖像或輸出圖像是被設(shè)定成二維圖像還是三維圖像，并根據(jù)判定結(jié)果生成記錄圖像或輸出圖像，其中數(shù)據(jù)生成單元根據(jù)分析結(jié)果判定三維顯示中的立體視覺的回想水平，如果判定立體視覺的回想水平較低，那么生成二維圖像作為記錄圖像或輸出圖像，而如果判定立體視覺的回想水平較高，那么生成三維圖像作為記錄圖像或輸出圖像。
文檔編號H04N13/00GK102572469SQ20111036784
公開日2012年7月11日 申請日期2011年11月18日 優(yōu)先權(quán)日2010年12月9日
發(fā)明者山口禎 申請人:索尼公司