專利名稱：立體圖像拾取裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種立體圖像拾取裝置，并且更具體地，涉及一種拍攝其間具有視差的多個圖像的立體圖像拾取裝置。
背景技術(shù)：
在立體圖像拾取裝置中，通過使用有視差地被布置到左側(cè)和右側(cè)的兩個圖像拾取單元，從左右視點(diǎn)拍攝同一被攝物，并且分別獲取左眼圖像和右眼圖像。這樣獲取的左右圖像被輸入到能夠以三維(3D)方式進(jìn)行顯示的3D顯示器，并且被顯示以便于可由左右眼分開觀看，從而左右圖像可以被識別為立體圖像。通常，具有相同性能和特性的光學(xué)系統(tǒng)被用作兩個圖像拾取單元的拍攝光學(xué)系統(tǒng)，并且各個拍攝光學(xué)系統(tǒng)被調(diào)整并且并入裝置主體中，使得其光軸彼此一致。然而，在兩個拍攝光學(xué)系統(tǒng)之間存在個體差異。因此，當(dāng)與透鏡移動等一起執(zhí)行變焦倍率的改變等時，出現(xiàn)兩個拍攝光學(xué)系統(tǒng)的光軸根據(jù)變焦位置而偏離的問題。另外，機(jī)械地調(diào)整光軸使得在整個變焦范圍上不發(fā)生光軸偏離是極其困難的。迄今為止，為了解決該問題，已經(jīng)提出了一種立體圖像拾取裝置，其中提供了存儲裝置，該存儲裝置在其中針對每個變焦位置存儲兩個拍攝光學(xué)系統(tǒng)的光軸偏離；在拍攝時，根據(jù)拍攝光學(xué)系統(tǒng)的變焦位置，從該存儲裝置讀出對應(yīng)的光軸偏離；基于讀出的光軸偏離來轉(zhuǎn)換所拍攝的左右圖像中的一個圖像的坐標(biāo)；并且因此，使得左右圖像的光軸坐標(biāo)彼此一致(PTL 1)。另外，PTL 2公開了一種立體圖像拾取裝置，包括第一透鏡鏡筒，該第一透鏡鏡筒包括用于獲得右眼的拍攝信息的CXD ；第二透鏡鏡筒，該第二透鏡鏡筒包括用于獲得左眼的拍攝信息的CXD ；相機(jī)檢測電路，該相機(jī)檢測電路檢測第一透鏡鏡筒和第二透鏡鏡筒的焦距；ROM，該ROM由EEPROM等形成，并且在其中針對每個焦距預(yù)先存儲第一透鏡鏡筒和第二透鏡鏡筒中的每一個的光軸中心的偏離量；以及CPU，該CPU基于來自ROM的輸出針對每個焦距來控制成對的左右CXD中的至少一個內(nèi)的圖像切出區(qū)域。另一方面，PTL 3公開了一種圖像處理裝置，其中將用于關(guān)于作為參考的透鏡中心的坐標(biāo)校正的近似表達(dá)設(shè)置為立體相機(jī)的透鏡特性；并且基于該近似表達(dá)來校正由相機(jī)捕捉到的目標(biāo)圖像的投影坐標(biāo)。引用列表專利文獻(xiàn)PTL 1 日本專利申請?zhí)亻_2006-162991號公報PTL 2 日本專利申請?zhí)亻_08-3174 號公報PTL 3 日本專利申請?zhí)亻_2004-U6905號公報

發(fā)明內(nèi)容
技術(shù)問題
PTL 1和PTL 2公開了如下技術(shù)，其中，通過下述步驟來校正兩個拍攝光學(xué)系統(tǒng)之間的由于個體差異而引起的光軸偏離基于針對每個變焦位置而預(yù)先獲取的光軸偏離量來轉(zhuǎn)換左右圖像中的一個圖像的坐標(biāo)；或者改變圖像切出范圍。另外，PTL 3公開了一種對由于透鏡畸變而引起的圖像畸變進(jìn)行校正的技術(shù)。順帶提及，即使在其中如在PTL 1和PTL 2所公開的發(fā)明中通過轉(zhuǎn)換所拍攝的圖像的坐標(biāo)或者調(diào)整圖像切出范圍來校正兩個拍攝光學(xué)系統(tǒng)之間的光軸偏離的情況下，如果此后對左右圖像執(zhí)行用于對如在PTL 3中公開的由于透鏡畸變而引起的圖像畸變(諸如桶形畸變或枕形畸變)進(jìn)行校正的畸變校正，則出現(xiàn)光軸由于該畸變校正而偏離的問題。例如，假定如圖20中所示，具有桶形畸變的左眼的圖像的光軸中心是(\，并且具有桶形畸變的右眼的圖像的光軸中心是0K，則畸變校正之后的這些圖像的光軸中心分別為 Ol'和0/，并且光軸中心在水平方向和垂直方向上偏離了 ΔΗ和Δ V。另外，畸變校正是通過將每個像素的坐標(biāo)值代入為高次多項式的畸變校正公式進(jìn)行計算來執(zhí)行的，并且因而計算量大。例如，在其中拍攝3D運(yùn)動圖像時使用具有高校正精度的畸變校正公式來執(zhí)行畸變校正的情況下，出現(xiàn)難以以高幀率拍攝并且記錄高清晰度 (HD) 3D運(yùn)動圖像的問題。因此，在3D運(yùn)動圖像的情況下，不執(zhí)行畸變校正，或者替代地，使用低次畸變校正公式來執(zhí)行具有低校正精度的畸變校正。另一方面，可以在拍攝后，在將圖像寫入到存儲卡之前執(zhí)行3D靜止圖像的畸變校正，并且因而可以使用具有高校正精度的畸變校正公式來執(zhí)行具有高校正精度的畸變校正。在如上所述其中對3D運(yùn)動圖像和3D靜止圖像分別使用具有不同校正精度的畸變校正公式的情況下，出現(xiàn)畸變校正之后的光軸中心根據(jù)所使用的畸變校正公式而偏離的問題。本發(fā)明是鑒于上述情況而做出的，并且因此具有下述目的，提供一種立體圖像拾取裝置，即使在以對于用于拍攝3D運(yùn)動圖像、3D靜止圖像等的每個圖像拾取模式而不同的校正精度來執(zhí)行畸變校正的情況下，該裝置也能夠獲得如下多個圖像，該多個圖像在畸變校正之后在用于立體觀看的圖像之間不具有光軸偏離，并且因此易于進(jìn)行立體觀看。對問題的解決方案為了實(shí)現(xiàn)上述目的，根據(jù)本發(fā)明的第一方面，提供了一種立體圖像拾取裝置，包括多個圖像拾取單元，每一個圖像拾取單元包括拍攝光學(xué)系統(tǒng)和圖像拾取元件，所述圖像拾取元件使經(jīng)由所述拍攝光學(xué)系統(tǒng)形成的被攝體圖像經(jīng)歷光電轉(zhuǎn)換，所述多個圖像拾取單元拾取在所述多個圖像拾取單元之間具有視差的多個圖像；第一存儲單元，所述第一存儲單元在其中存儲針對多個圖像拾取模式中的每一個設(shè)置的畸變校正公式，所述畸變校正公式具有對于所述多個圖像拾取模式中的每一個而不同的校正精度；畸變校正公式獲取單元，所述畸變校正公式獲取單元從存儲在所述第一存儲單元中的畸變校正公式中獲取與當(dāng)前圖像拾取模式相對應(yīng)的畸變校正公式；第二存儲單元，所述第二存儲單元在其中存儲包括在所述多個圖像拾取單元中的每個拍攝光學(xué)系統(tǒng)的預(yù)先檢測到的光軸偏離量，所述光軸偏離量已經(jīng)經(jīng)歷了使用針對所述多個圖像拾取模式中的每一個設(shè)置的所述畸變校正公式的畸變校正；光軸偏離量獲取單元，所述光軸偏離量獲取單元基于下述來獲取與所述當(dāng)前圖像拾取模式相對應(yīng)的光軸偏離量存儲在所述第二存儲單元中的每個拍攝光學(xué)系統(tǒng)的光軸偏離量以及所述當(dāng)前圖像拾取模式；圖像拾取控制單元，所述圖像拾取控制單元根據(jù)所述當(dāng)前圖像拾取模式來從所述多個圖像拾取單元獲取所述多個圖像；畸變校正單元，所述畸變校正單元基于與所述當(dāng)前圖像拾取模式相對應(yīng)地由所述畸變校正公式獲取單元所獲取的畸變校正公式來對由所述圖像拾取控制單元所獲取的多個圖像執(zhí)行畸變校正；以及圖像切出單元，所述圖像切出單元基于與所述當(dāng)前圖像拾取模式相對應(yīng)地由所述光軸偏離量獲取單元獲取的光軸偏離量，來對由所述圖像拾取控制單元獲取的所述多個圖像執(zhí)行用于立體顯示的圖像的切出處理。根據(jù)本發(fā)明的第一方面，由所述光軸偏離量獲取單元獲取在與當(dāng)前圖像拾取模式相對應(yīng)的畸變校正之后的光軸偏離量，并且基于所獲取的光軸偏離量，對所述多個圖像執(zhí)行用于立體顯示的圖像的切出處理。因此，即使使用具有根據(jù)圖像拾取模式而不同的校正精度的畸變校正公式來執(zhí)行畸變校正的情況下，也能夠在不影響所執(zhí)行的校正的情況下校正光軸偏離。根據(jù)本發(fā)明的第二方面，根據(jù)第一方面的立體圖像拾取裝置還包括變焦位置檢測單元，所述變焦位置檢測單元檢測所述多個拍攝光學(xué)系統(tǒng)中的每一個的當(dāng)前變焦位置。在該立體圖像拾取裝置中，所述第一存儲單元在其中存儲根據(jù)每個拍攝光學(xué)系統(tǒng)的變焦位置的畸變校正公式，并且所述畸變校正公式獲取單元從所述第一存儲單元中獲取與當(dāng)前圖像拾取模式和每個拍攝光學(xué)系統(tǒng)的當(dāng)前變焦位置相對應(yīng)的畸變校正公式。在其中將當(dāng)前圖像拾取模式設(shè)置為以低校正精度執(zhí)行畸變校正的情況下，使用低次多項式作為畸變校正公式。另一方面，在其中將當(dāng)前圖像拾取模式設(shè)置為以高校正精度執(zhí)行畸變校正的情況下，使用高次多項式作為畸變校正公式。另外，在存儲與變焦位置相對應(yīng)的畸變校正公式的情況下，可以想到存儲具有根據(jù)變焦位置而不同的各項的系數(shù)的畸變校正公式，以及存儲畸變校正公式的一般公式和根據(jù)變焦位置的系數(shù)。根據(jù)本發(fā)明的第三方面，在根據(jù)第一方面或第二方面的立體圖像拾取裝置中，所述第二存儲單元在其中存儲根據(jù)所述多個拍攝光學(xué)系統(tǒng)中的每一個的變焦位置的每個拍攝光學(xué)系統(tǒng)的光軸偏離量，并且所述光軸偏離量獲取單元根據(jù)當(dāng)前圖像拾取模式和每個拍攝光學(xué)系統(tǒng)的當(dāng)前變焦位置來從所述第二存儲單元中獲取對應(yīng)的光軸偏離量。S卩，除了使用具有根據(jù)圖像拾取模式而不同的校正精度的畸變校正公式之外，即使在變焦位置改變時也使用不同的畸變校正公式(具有不同系數(shù)等的公式)。因此，所述光軸偏離量獲取單元在與當(dāng)前圖像拾取模式和當(dāng)前變焦位置相對應(yīng)的畸變校正之后獲取光軸偏離量。根據(jù)本發(fā)明的第四方面，在根據(jù)第二方面或第三方面的立體圖像拾取裝置中，根據(jù)每個圖像拾取模式和變焦位置，所述第二存儲單元在其中存儲經(jīng)過使用與每個圖像拾取模式和每個拍攝光學(xué)系統(tǒng)的變焦位置相對應(yīng)的畸變校正公式的畸變校正之后的光軸偏離量，作為每個拍攝光學(xué)系統(tǒng)的光軸偏離量，并且所述光軸偏離量獲取單元包括讀出單元，所述讀出單元根據(jù)當(dāng)前圖像拾取模式和當(dāng)前變焦位置來從所述第二存儲單元中讀出對應(yīng)的光軸偏離量。根據(jù)本發(fā)明的第五方面，在根據(jù)第二方面或第三方面的立體圖像拾取裝置中，根據(jù)每個拍攝光學(xué)系統(tǒng)的變焦位置，所述第二存儲單元在其中存儲所述畸變校正之前的光軸偏離量作為每個拍攝光學(xué)系統(tǒng)的光軸偏離量，并且所述光軸偏離量獲取單元包括計算單元，所述計算單元基于當(dāng)前變焦位置將從所述第二存儲單元讀出的光軸偏離量代入與當(dāng)前圖像拾取模式相對應(yīng)的并且通過所述畸變校正公式獲取單元獲取的畸變校正公式中，以由此計算所述畸變校正之后的光軸偏離量。根據(jù)本發(fā)明的第四方面，根據(jù)每個圖像拾取模式和變焦位置，所述第二存儲單元在其中存儲在使用與每個圖像拾取模式和變焦位置相對應(yīng)的畸變校正公式的畸變校正之后的光軸偏離量，并且從所述第二存儲單元中讀出與當(dāng)前圖像拾取模式和當(dāng)前變焦位置相對應(yīng)的光軸偏離量。根據(jù)第五方面，第二存儲單元根據(jù)變焦位置在其中存儲畸變校正之前的光軸偏離量，并且基于當(dāng)前變焦位置，從所述第二存儲單元中讀出所存儲的光軸偏離量。 然后，將讀出的光軸偏離量代入與當(dāng)前圖像拾取模式相對應(yīng)并且由畸變校正公式獲取單元獲取的畸變校正公式中，由此計算畸變校正之后的光軸偏離量。以該方式，獲得畸變校正之后的光軸偏離量。根據(jù)本發(fā)明的第六方面，在根據(jù)第二方面或第三方面的立體圖像拾取裝置中，所述第二存儲單元針對每個圖像拾取模式，在其中存儲用于計算在使用與每個圖像拾取模式和每個拍攝光學(xué)系統(tǒng)的變焦位置相對應(yīng)的畸變校正公式的畸變校正之后的光軸偏離量的信息，作為每個拍攝光學(xué)系統(tǒng)的光軸偏離量，并且所述光軸偏離量獲取單元包括計算單元， 所述計算單元基于下述來計算對應(yīng)的光軸偏離量根據(jù)當(dāng)前圖像拾取模式從所述第二存儲單元讀出的信息以及當(dāng)前變焦位置。用于計算在與變焦位置相對應(yīng)的畸變校正之后的光軸偏離量的信息的可想到的示例包括兩個變焦位置(即，廣角端和遠(yuǎn)景端)處的畸變校正之后的光軸偏離量；以及用于使用這些光軸偏離量的線性插值的計算公式?？梢曰谠撚嬎愎胶彤?dāng)前變焦位置來計算與當(dāng)前圖像拾取模式和當(dāng)前變焦位置相對應(yīng)的光軸偏離量。根據(jù)本發(fā)明的第七方面，根據(jù)第二方面或第三方面的立體圖像拾取裝置進(jìn)一步包括聚焦位置檢測單元，所述聚焦位置檢測單元檢測所述多個拍攝光學(xué)系統(tǒng)中的每一個的當(dāng)前聚焦位置。在該立體圖像拾取裝置中，根據(jù)每個圖像拾取模式、變焦位置和聚焦位置，所述第二存儲單元在其中存儲在使用與每個圖像拾取模式和每個拍攝光學(xué)系統(tǒng)的變焦位置相對應(yīng)的畸變校正公式的畸變校正之后的光軸偏離量，并且所述光軸偏離量獲取單元包括讀出單元，所述讀出單元根據(jù)當(dāng)前圖像拾取模式、當(dāng)前變焦位置和當(dāng)前聚焦位置，從所述第二存儲單元中讀出對應(yīng)的光軸偏離量。光軸還由于拍攝光學(xué)系統(tǒng)的聚焦位置而偏離。因此，根據(jù)第七方面，根據(jù)每個圖像拾取模式、變焦位置和聚焦位置，第二存儲單元在其中存儲畸變校正之后的光軸偏離量，并且從所述第二存儲單元讀出與當(dāng)前圖像拾取模式、當(dāng)前變焦位置和當(dāng)前聚焦位置相對應(yīng)的光軸偏離量。根據(jù)本發(fā)明的第八方面，根據(jù)第二方面或第三方面的立體圖像拾取裝置進(jìn)一步包括聚焦位置檢測單元，所述聚焦位置檢測單元檢測所述多個拍攝光學(xué)系統(tǒng)中的每一個的當(dāng)前聚焦位置。在該立體圖像拾取裝置中，根據(jù)每個圖像拾取模式和變焦位置，所述第二存儲單元在其中存儲用于計算在使用與每個圖像拾取模式和每個拍攝光學(xué)系統(tǒng)的變焦位置相對應(yīng)的畸變校正公式的畸變校正之后的光軸偏離量的信息，并且所述光軸偏離量獲取單元包括計算單元，所述計算單元基于下述來計算對應(yīng)的光軸偏離量根據(jù)當(dāng)前圖像拾取模式和當(dāng)前變焦位置從所述第二存儲單元中讀出的信息以及當(dāng)前聚焦位置。用于計算在使用與每個圖像拾取模式和每個拍攝光學(xué)系統(tǒng)的變焦位置相對應(yīng)的畸變校正公式的畸變校正之后的光軸偏離量的信息的可想到的示例包括兩個聚焦位置 (即，最近距離和無限遠(yuǎn))處的畸變校正之后的光軸偏離量；以及用于使用這些光軸偏離量的線性插值的計算公式?？梢曰谠撚嬎愎胶彤?dāng)前聚焦位置來計算與當(dāng)前圖像拾取模式、當(dāng)前變焦位置和當(dāng)前聚焦位置相對應(yīng)的光軸偏離量。根據(jù)本發(fā)明的第九方面，根據(jù)第一方面至第八方面中的任何一方面的立體圖像拾取裝置進(jìn)一步包括陰影校正單元，所述陰影校正單元對通過所述圖像拾取控制單元獲取的多個圖像執(zhí)行陰影校正。在該立體圖像拾取裝置中，所述圖像切出單元對已經(jīng)經(jīng)歷了由所述陰影校正單元進(jìn)行的陰影校正的圖像執(zhí)行圖像切出處理。在通過陰影校正使多個圖像的亮度均勻之后，執(zhí)行圖像切出處理，這從而使多個切出圖像之間沒有亮度差。根據(jù)本發(fā)明的第十方面，在根據(jù)第一方面至第九方面中的任何一方面的立體圖像拾取裝置中，所述圖像切出單元對已經(jīng)經(jīng)歷了由所述畸變校正單元進(jìn)行的畸變校正的圖像執(zhí)行圖像切出處理。這使得能夠在沒有畸變的情況下從多個圖像切出圖像。根據(jù)本發(fā)明的第十一方面，在根據(jù)第一方面至第九方面中的任何一方面的立體圖像拾取裝置中，所述畸變校正單元對已經(jīng)經(jīng)歷了由所述圖像切出單元進(jìn)行的切出處理的圖像執(zhí)行畸變校正。根據(jù)本發(fā)明的第十二方面，在根據(jù)第一方面至第十一方面中的任何一方面的立體圖像拾取裝置中，所述多個圖像拾取模式為下述中的兩個或更多圖像拾取模式在顯示器單元上顯示現(xiàn)場觀看圖像的操作時設(shè)置的圖像模式；靜止圖像拾取模式；運(yùn)動圖像拾取模式；以及畸變增強(qiáng)圖像拾取模式。應(yīng)當(dāng)注意，畸變增強(qiáng)圖像拾取模式的可想到的示例包括魚眼圖像拾取模式。另外，魚眼圖像拾取模式類似地被視為3D運(yùn)動圖像和3D靜止圖像之間的不同圖像拾取模式。根據(jù)本發(fā)明的第十三方面，根據(jù)第十方面的立體圖像拾取裝置進(jìn)一步包括選擇連續(xù)拍攝模式的單元，其中，在獲取了預(yù)設(shè)的數(shù)目的圖像之前或者在給出拍攝指令時，從所述多個圖像拾取單元獲取多個時間系列圖像；以及內(nèi)部存儲單元，所述內(nèi)部存儲單元在其中臨時地存儲以連續(xù)拍攝模式拍攝的圖像。在該立體圖像拾取裝置中，所述陰影校正單元在以連續(xù)拍攝模式進(jìn)行拍攝結(jié)束之后，讀出存儲在內(nèi)部存儲單元中的多個圖像，以對其執(zhí)行陰影校正。陰影校正是在連續(xù)拍攝結(jié)束之后執(zhí)行的，從而能夠防止連續(xù)拍攝速度的降低。根據(jù)本發(fā)明的第十四方面，根據(jù)第一方面至第十三方面中的任何一方面的立體圖像拾取裝置進(jìn)一步包括模式選擇單元，所述模式選擇單元選擇拍攝模式或再生模式；以及記錄單元，所述記錄單元將指示所述圖像拾取模式的信息和指示由所述光軸偏離量獲取單元所獲取的光軸偏離量的信息連同所述圖像拾取控制單元在由所述模式選擇單元選擇的拍攝模式中所獲取的多個圖像一起，與所獲取的多個圖像相關(guān)聯(lián)地記錄到記錄介質(zhì)中。 在該立體圖像拾取裝置中，所述畸變校正單元和所述圖像切出單元從所述記錄介質(zhì)中讀出與所述圖像相關(guān)聯(lián)地記錄的多條信息以及由所述模式選擇單元選擇的再生模式中的多個圖像，以基于與所讀出的多條信息相對應(yīng)的畸變校正公式和光軸偏離量來對所讀出的多個圖像執(zhí)行畸變校正和圖像切出處理?；冃Ｕ蛨D像切出處理不是在拍攝時執(zhí)行的而是在再生時執(zhí)行的，從而能夠減少拍攝時的處理量。特別是在拍攝3D運(yùn)動圖像時，能夠以高幀速率拍攝并且記錄高清晰度3D運(yùn)動圖像。根據(jù)本發(fā)明的第十五方面，在根據(jù)第十四方面的立體圖像拾取裝置中，所述記錄單元將在再生模式中經(jīng)歷了畸變校正和圖像切出處理的圖像記錄到所述記錄介質(zhì)中。應(yīng)當(dāng)注意，可以記錄諸如畸變校正的處理之后的圖像，以便于覆寫處理前的圖像，或者可以與處理前的圖像分立地進(jìn)行記錄。根據(jù)本發(fā)明的第十六方面，根據(jù)第一至第十五方面中的任何一個的立體圖像拾取裝置進(jìn)一步包括視差量調(diào)整單元，所述視差量調(diào)整單元調(diào)整從所述多個圖像拾取單元輸出的多個圖像之間的視差量。在該立體圖像拾取裝置中，所述圖像切出單元在進(jìn)行用于立體顯示的圖像的切出處理時，基于由所述視差量調(diào)整單元調(diào)整的視差量，對其切出位置要進(jìn)一步被調(diào)整的圖像執(zhí)行切出處理。這使得能夠?qū)Χ鄠€圖像執(zhí)行切出處理，以便于獲得與用戶偏好匹配的視差量。發(fā)明的有益效果根據(jù)本發(fā)明，即使在以對于用于拍攝3D運(yùn)動圖像、3D靜止圖像等的每個圖像拾取模式而不同的校正精度來執(zhí)行畸變校正的情況下，也能夠獲得如下多個圖像，該多個圖像在畸變校正之后在用于立體觀看的圖像之間不具有光軸偏離并且因而易于立體觀看。


圖IA是圖示根據(jù)本發(fā)明的立體圖像拾取裝置的外觀的視圖；圖IB是圖示根據(jù)本發(fā)明的立體圖像拾取裝置的外觀的視圖。圖2是圖示根據(jù)本發(fā)明的立體圖像拾取裝置的實(shí)施例的框圖。圖3是示出根據(jù)本發(fā)明的在裝運(yùn)前在光軸調(diào)整時執(zhí)行的處理的第一實(shí)施例的流程圖。圖4A是圖示在裝運(yùn)前在光軸調(diào)整時記錄到EEPROM中的表的示例的示圖。圖4B是圖示在裝運(yùn)前在光軸調(diào)整時記錄到EEPROM中的表的示例的示圖。圖4C是圖示在裝運(yùn)前在光軸調(diào)整時記錄到EEPROM中的表的示例的示圖。圖5是示出根據(jù)本發(fā)明的立體圖像拾取裝置的每個圖像拾取模式的拍攝操作的流程圖。圖6是示出圖5中圖示的圖像處理的第一實(shí)施例的流程圖。圖7是示出根據(jù)本發(fā)明的在裝運(yùn)前在光軸調(diào)整時執(zhí)行的處理的第二實(shí)施例的流程圖。圖8是示出計算在畸變校正后的光軸偏離量的實(shí)施例的流程圖。圖9是圖示其中針對每個變焦位置和每個聚焦位置保持畸變校正后的光軸偏離量的表的示圖。圖10是圖示通過線性插值來計算存儲在圖9的表中的光軸偏離量的一部分的示例的示圖。圖11是示出圖5中圖示的圖像處理的第二實(shí)施例的流程圖。圖12是示出連續(xù)拍攝時執(zhí)行的圖像處理的第一實(shí)施例的流程圖。圖13是示出連續(xù)拍攝時執(zhí)行的圖像處理的第二實(shí)施例的流程圖。圖14是示出連續(xù)拍攝時執(zhí)行的圖像處理的第三實(shí)施例的流程圖。
圖15是示出由根據(jù)本發(fā)明的立體圖像拾取裝置進(jìn)行的拍攝處理的第一實(shí)施例的流程圖。圖16是示出由根據(jù)本發(fā)明的立體圖像拾取裝置進(jìn)行的再生處理的第一實(shí)施例的流程圖。圖17是示出由根據(jù)本發(fā)明的立體圖像拾取裝置進(jìn)行的拍攝處理的第二實(shí)施例的流程圖。圖18是示出由根據(jù)本發(fā)明的立體圖像拾取裝置進(jìn)行的再生處理的第二實(shí)施例的流程圖。圖19是用于描述圖17和圖18中分別示出的拍攝和再生的第二實(shí)施例中的圖像切出處理的視圖。圖20是圖示畸變校正前后之間的左右圖像的光軸中心偏離的狀態(tài)的視圖。
具體實(shí)施例方式以下，參考附圖描述根據(jù)本發(fā)明的立體圖像拾取裝置的實(shí)施例。[立體圖像拾取裝置的外觀]圖1是每一個都圖示根據(jù)本發(fā)明的立體圖像拾取裝置的外觀的視圖。圖IA是從立體圖像拾取裝置前面觀察到的立體圖像拾取裝置的立體視圖，并且圖IB是立體圖像拾取裝置的背面視圖。立體圖像拾取裝置(復(fù)眼相機(jī))10是能夠記錄和再生2D/3D靜止圖像以及2D/3D 運(yùn)動圖像的數(shù)字相機(jī)，并且如圖IA和圖IB中所示，在薄型立方體相機(jī)主體的上表面上設(shè)置快門按鈕11和變焦按鈕12。具有與相機(jī)主體的水平寬度基本上相同的寬度的透鏡擋板13被設(shè)置在相機(jī)主體的前表面上，以便于可在相機(jī)主體的垂直方向上移動。在由交替的一長兩短點(diǎn)劃線指示的位置和由實(shí)線指示的位置之間在垂直方向上移動透鏡擋板13，從而可以同時打開/關(guān)閉成對的左右拍攝光學(xué)系統(tǒng)14-1和14-2的前表面。應(yīng)當(dāng)注意，折射光學(xué)系統(tǒng)的變焦透鏡被用作拍攝光學(xué)系統(tǒng)14-1和14-2。另外，可以結(jié)合由透鏡擋板13進(jìn)行的透鏡的前表面的打開 /關(guān)閉操作來使相機(jī)通電/斷電。如圖IB中所示，在相機(jī)主體的后表面的中央部分中設(shè)置用于3D的液晶監(jiān)視器16。 液晶監(jiān)視器16可以通過視差屏障(barrier)將多個視差圖像(用于右眼的圖像和用于左眼的圖像)顯示為每一個都具有預(yù)定方向性的方向性圖像。應(yīng)當(dāng)注意，可以采用包括雙凸透鏡(lenticular lens)的監(jiān)視器作為用于3D的液晶監(jiān)視器16，可以通過佩戴諸如偏振眼鏡的特殊眼鏡和液晶快門眼鏡等而在監(jiān)視器上獨(dú)立地觀看用于右眼的圖像和用于左眼的圖像。在液晶監(jiān)視器16的左側(cè)和右側(cè)設(shè)置各種操作開關(guān)。操作開關(guān)18A是用于在靜止圖像拍攝和運(yùn)動圖像拍攝之間切換的轉(zhuǎn)換開關(guān)，操作開關(guān)18B是用于調(diào)整用于右眼的圖像和用于左眼的圖像的視差量的視差調(diào)整開關(guān)，并且操作開關(guān)18C是用于在2D圖像拾取和 3D圖像拾取之間進(jìn)行切換的轉(zhuǎn)換開關(guān)。另外，操作開關(guān)18D為蹺蹺板式按鍵，其用作MEMU/ OK (菜單/確認(rèn))按鈕和再生按鈕二者，操作開關(guān)18E是多功能箭頭鍵，并且操作開關(guān)18F 是DISP/BACK (顯示/返回)按鍵。
MEMU/0K按鈕是設(shè)置有如下功能的操作開關(guān)用于給出指令以在液晶監(jiān)視器16的屏幕上顯示菜單的菜單按鈕的功能；以及用于給出指令以確定和執(zhí)行所選擇的內(nèi)容的OK 按鈕的功能。再生按鈕是用于從拍攝模式切換到再生模式的按鈕。箭頭鍵是用于在上、下、 左、右四個方向上輸入指令的操作開關(guān)，并且對箭頭鍵指配微距按鈕、閃光按鈕、自定時按鈕等。另外，在選擇了菜單的情況下，箭頭鍵用作用于給出指令以從菜單畫面選擇項目或者從每個菜單選擇各種設(shè)置項目的開關(guān)(光標(biāo)移動操作單元)。另外，包括在箭頭鍵中的左右鍵用作再生模式中的逐幀前進(jìn)(正向/反向前進(jìn))按鈕。DISP/BACK鍵用于切換液晶監(jiān)視器16的顯示模式、取消菜單畫面上的指令內(nèi)容或者返回到前一操作狀態(tài)。應(yīng)當(dāng)注意，在圖IA中，附圖標(biāo)記15指示立體聲麥克風(fēng)。[立體圖像拾取裝置的內(nèi)部構(gòu)造]圖2是圖示立體圖像拾取裝置10的實(shí)施例的框圖。如圖2中所示，立體圖像拾取裝置10主要包括多個圖像拾取單元20-1和20_2 ； 中央處理單元(CPU) 32 ；操作單元34，該操作單元包括快門按鈕11、變焦按鈕12和上述各種操作開關(guān)；顯示控制單元36 ；液晶監(jiān)視器16 ；記錄控制單元38 ；壓縮/解壓縮處理單元42;數(shù)字信號處理單元44 ；AE(自動曝光)檢測單元46 ；AF(自動聚焦)檢測單元48 ； AffB(自動白平衡)檢測單元50 ；VRAM 52 ；RAM 54 ；ROM 56 ；和EEPROM 58。應(yīng)當(dāng)注意，圖像拾取單元20-1和20-2拾取兩個視差圖像，S卩，在其間具有視差的用于左眼的圖像和用于右眼的圖像，并且替代地，圖像拾取單元20的數(shù)目可以為三或更多。拾取用于左眼的圖像的圖像拾取單元20-1包括棱鏡(未示出)；拍攝光學(xué)系統(tǒng) 14-1 (圖1A)，該拍攝光學(xué)系統(tǒng)14-1由聚焦透鏡和變焦透鏡21組成；光學(xué)單元，該光學(xué)單元由光圈22和機(jī)械式快門23組成；固態(tài)圖像拾取元件(CCD) 24 ；模擬信號處理單元25 ；A/D 轉(zhuǎn)換器26 ；圖像輸入控制器27 ；驅(qū)動光學(xué)單元的透鏡驅(qū)動單元觀；光圈驅(qū)動單元四；快門控制單元30;以及控制CCD對的(⑶控制單元31。應(yīng)當(dāng)注意，拾取用于右眼的圖像的圖像拾取單元20-2具有與拾取用于左眼的圖像的圖像拾取單元20-1的構(gòu)造相同的構(gòu)造，并且因而省略了對其特定構(gòu)造的描述。CPU 32基于來自操作單元34的輸入，根據(jù)預(yù)定控制程序來以綜合方式控制相機(jī)的整個操作。應(yīng)當(dāng)注意，ROM 56在其中存儲由CPU 32執(zhí)行的控制程序、控制所必需的各種數(shù)據(jù)等，并且EEPROM 58在其中存儲指示在產(chǎn)品裝運(yùn)之前的調(diào)整時的調(diào)整結(jié)果的各種信息，例如，CCDM的像素缺陷信息、用于圖像處理的校正參數(shù)和表等。應(yīng)當(dāng)注意，稍后將詳細(xì)描述存儲在其中的各種信息。另外，VRAM 52是其中臨時存儲了要在液晶監(jiān)視器16上顯示的用于顯示的圖像數(shù)據(jù)的存儲器，并且RAM討包括用于CPU 32的算術(shù)運(yùn)算的區(qū)域和圖像數(shù)據(jù)的臨時存儲區(qū)域。包括在拍攝光學(xué)系統(tǒng)中的聚焦透鏡和變焦透鏡21由透鏡驅(qū)動單元觀來驅(qū)動，以由此沿光軸前后移動。CPU 32控制透鏡驅(qū)動單元觀的驅(qū)動，并且因此控制聚焦透鏡的位置，以由此執(zhí)行聚焦，使得被攝體進(jìn)入焦點(diǎn)。此外，CPU 32響應(yīng)于來自包括在操作單元34中的變焦按鈕12的變焦指令來控制變焦透鏡的變焦位置，以由此改變變焦倍率。光圈22由例如虹膜式光圈構(gòu)成，并且由光圈驅(qū)動單元四驅(qū)動來進(jìn)行操作。CPU 32 經(jīng)由光圈驅(qū)動單元四來控制光圈22的開口(孔徑)，以由此控制進(jìn)入CXD M的光量。機(jī)械式快門23打開/關(guān)閉光學(xué)路徑，以由此決定CCD 24的曝光時間，并且當(dāng)從CXD對讀出圖像信號時阻止不必要的光進(jìn)入CXD 24，以由此防止拖尾(smear)的發(fā)生。CPU 32向快門控制單元30輸出與對應(yīng)于快門速度的曝光結(jié)束時間點(diǎn)同步的快門關(guān)閉信號，以由此控制機(jī)械式快門23。CXD M由二維彩色CXD固態(tài)圖像拾取元件構(gòu)成。在CXD M的受光表面上以二維方式布置大量光電二極管，并且以預(yù)定布置圖案將濾色器提供給每個光電二極管。經(jīng)由由此構(gòu)成的光學(xué)單元在CXD的受光表面上成像的被攝體的光學(xué)圖像由這樣的光電二極管轉(zhuǎn)換成與入射光量相對應(yīng)的信號電荷。響應(yīng)于來自CPU 32的命令，基于從 CCD控制單元31供給的驅(qū)動脈沖，從CCD 24順序讀出每個光電二極管中所累積的信號電荷，作為與信號電荷相對應(yīng)的電壓信號(圖像信號)。CCD M具有電子快門功能，并且控制光電二極管的電荷累積時間，由此控制曝光時間(快門速度)。應(yīng)當(dāng)注意，與快門速度相對應(yīng)的電荷累積開始時間點(diǎn)通過電子快門來控制，而曝光結(jié)束時間點(diǎn)(電荷累積結(jié)束時間點(diǎn))通過關(guān)閉機(jī)械式快門23來控制。在本實(shí)施例中，CXD M用作圖像拾取元件，并且替代地，可以采用具有其他構(gòu)造的圖像拾取元件，諸如CMOS傳感器。 通過模擬信號處理單元25對從CXD M讀出的R、G和B模擬信號進(jìn)行相關(guān)雙采樣 (⑶S)和放大，并且然后通過A/D轉(zhuǎn)換器沈?qū)、G和B模擬信號轉(zhuǎn)換成R、G和B數(shù)字信號。圖像輸入控制器27包括具有預(yù)定容量的內(nèi)置線緩沖器，其中通過A/D轉(zhuǎn)換器沈?qū)ζ溥M(jìn)行A/D轉(zhuǎn)換的R、G和B圖像信號(CCD RAW數(shù)據(jù))被臨時性地累積在其中，以經(jīng)由總線60存儲到RAM M中。在3D圖像拾取模式時，與拾取用于左眼的圖像的圖像拾取單元20-1類似地，CPU 32控制拾取用于右眼的圖像的圖像拾取單元20-2。AE檢測單元46基于快門按鈕11半按下時得到的圖像信號來計算AE控制所必需的被攝體照度，并且向CPU 32輸出指示被攝體照度(拍攝EV值)的信號?；诮邮盏降呐臄zEV值，CPU 32根據(jù)預(yù)定程序圖表來設(shè)置多個圖像拾取單元20-1和20_2中的快門速度(曝光時間)、孔徑和拍攝靈敏度。AF檢測單元48將半按下快門按鈕11時得到的AF區(qū)域中的圖像信號的高頻分量的絕對值累加在一起，并且向CPU 32輸出累加值(AF評估值)。CPU 32使聚焦透鏡從最近距離朝無限遠(yuǎn)移動，搜索通過AF檢測單元48檢測到的AF評估值變?yōu)樽畲蟮慕裹c(diǎn)對準(zhǔn) (in-focus)位置，并且使聚焦透鏡移動到該焦點(diǎn)對準(zhǔn)位置，以由此對被攝體(主被攝體)執(zhí)行聚焦。應(yīng)當(dāng)注意，在拍攝運(yùn)動圖像時，CPU 32執(zhí)行所謂的爬山(hill climbing)控制，其中，移動聚焦透鏡，使得AF評估值總是具有最大值。AWB檢測單元50基于在實(shí)際拍攝時獲取的R、G和B圖像信號來自動地獲得光源類型(被攝領(lǐng)域的色溫)，并且從表中讀出對應(yīng)的白平衡增益，在所述表中存儲針對每個光源類型預(yù)先設(shè)置的R、G和B的白平衡增益(白平衡校正值)。數(shù)字信號處理單元44包括白平衡校正電路、灰度轉(zhuǎn)換處理電路(例如，伽馬校正電路)、同步電路、輪廓校正電路、照度/色差生成電路等，所述同步電路對由于單板CCD中的濾色器布置而導(dǎo)致的R、G和B的彩色信號的空間偏離進(jìn)行插值，以由此使各個彩色信號的位置彼此匹配。數(shù)字信號處理單元44對存儲在RAM 54中的R、G和B的圖像信號((XD 原始數(shù)據(jù))執(zhí)行圖像處理。即，在數(shù)字信號處理單元44中，使R、G和B的CCD原始數(shù)據(jù)乘以由AWB檢測單元50檢測到的白平衡增益，從而執(zhí)行白平衡校正。此后，C⑶原始數(shù)據(jù)經(jīng)歷諸如灰度轉(zhuǎn)換處理(例如，伽馬校正)的預(yù)定處理，并且然后被轉(zhuǎn)換成由亮度信號(Y信號)和色差信號(Cr信號和Cb信號)形成的YC信號。由數(shù)字信號處理單元44處理的YC 信號被存儲到RAM M中。另外，數(shù)字信號處理單元44包括畸變校正電路，該畸變校正電路校正多個圖像拾取單元20-1和20-2的拍攝光學(xué)系統(tǒng)的透鏡畸變；以及圖像切出處理電路，該圖像切出處理電路從左右視點(diǎn)圖像中的每一個切出預(yù)定切出區(qū)域的圖像，以由此校正多個圖像拾取單元20-1和20-2的拍攝光學(xué)系統(tǒng)的光軸偏離。應(yīng)當(dāng)注意，畸變校正電路和圖像切出處理電路的處理內(nèi)容稍后將詳細(xì)描述。壓縮/解壓縮處理單元42響應(yīng)于來自CPU 32的命令在記錄到存儲卡40中時壓縮存儲在RAM 54中所存儲的YC信號，并且解壓縮記錄在存儲卡40中的壓縮數(shù)據(jù)，以由此獲得YC信號。記錄控制單元38將通過壓縮/解壓縮處理單元42壓縮的壓縮數(shù)據(jù)的圖像文件以預(yù)定格式(例如，在3D靜止圖像的情況下為MP(多圖片)格式的圖像文件；在3D運(yùn)動圖像的情況下為運(yùn)動JPEG、H. ^4、MPEG4或MPEG4-MVC的運(yùn)動圖像文件)記錄到存儲卡 40中，或者從存儲卡40讀出圖像文件。液晶監(jiān)視器16被用作用于顯示所拍攝的圖像的圖像顯示單元，并且還被用作用于進(jìn)行各種設(shè)置的⑶I (圖形用戶界面)。另外，液晶監(jiān)視器16被用作電子取景器，其顯示用于在拍攝模式中檢查視角的現(xiàn)場觀看圖像(以下，稱為“直通圖像(through image)”)。 在其中在液晶監(jiān)視器16上顯示3D圖像的情況下，顯示控制單元36逐個像素的、交替地顯示保持在VRAM 52中的用于左眼的圖像和用于右眼的圖像。提供給液晶監(jiān)視器16的視差屏障允許在預(yù)定距離處進(jìn)行觀察的用戶的左右眼單獨(dú)觀看逐個像素交替布置的左右圖像。 這使得能夠進(jìn)行立體觀看。應(yīng)當(dāng)注意，雖然圖2中沒有圖示，但立體圖像拾取裝置10還具有記錄和再生通過圖IA中圖示立體聲麥克風(fēng)15所獲取的語音信息(音頻數(shù)據(jù))的功能。[產(chǎn)品裝運(yùn)前的光軸調(diào)整的第一實(shí)施例]接下來，對在產(chǎn)品裝運(yùn)前的調(diào)整時被存儲到EEPROM 58中的用于光軸調(diào)整的信息進(jìn)行描述。圖3是示出根據(jù)本發(fā)明的在裝運(yùn)前的光軸調(diào)整時執(zhí)行的處理的第一實(shí)施例的流程圖。如圖3所示，首先，將要調(diào)整的立體圖像拾取裝置10和用于調(diào)整光軸的調(diào)整圖設(shè)定成處于預(yù)定的位置關(guān)系中，并且調(diào)整立體圖像拾取裝置10的每個拍攝光學(xué)系統(tǒng)的聚焦位置，以由此聚焦在調(diào)整圖上(步驟S10)。應(yīng)當(dāng)注意，調(diào)整圖被置于拍攝光學(xué)系統(tǒng)的光軸相互相交的收斂點(diǎn)的位置處。接下來，將指示圖像拾取模式的變量N設(shè)置為1(步驟Si》。這里，N= 1指示當(dāng)在液晶監(jiān)視器16上顯示3D直通圖像時的圖像拾取模式，N = 2指示當(dāng)拍攝3D運(yùn)動圖像時的圖像拾取模式，并且N = 3指示當(dāng)拍攝3D靜止圖像時的圖像拾取模式。隨后，拍攝調(diào)整圖，并且獲取左右圖像(步驟S14和S16)。對所獲取的左右圖像中的每一個執(zhí)行與當(dāng)前圖像拾取模式N相對應(yīng)的畸變校正 (步驟S18)。這里，用于執(zhí)行畸變校正的所使用的畸變校正公式具有根據(jù)圖像拾取模式N 而不同的校正精度。例如，在用于直通圖像的圖像拾取模式(N = 1)中使用二次多項式，在用于運(yùn)動圖像的圖像拾取模式(N= 2)中使用四次多項式，并且在用于靜止圖像的圖像拾取模式(N=； )中使用六次多項式。應(yīng)當(dāng)注意，高次畸變校正公式可以實(shí)現(xiàn)具有較高精度的畸變校正，但計算量增加。因此，校正精度和計算量具有折衷關(guān)系。在步驟S18中的畸變校正之后，執(zhí)行用于檢測左右圖像之間的對應(yīng)特征點(diǎn)的對應(yīng)點(diǎn)檢測(步驟S20)。例如，可以采用塊匹配法(block matching)作為檢測對應(yīng)點(diǎn)的方法。 即，評估具有預(yù)定塊尺寸并且從左圖像關(guān)于作為基準(zhǔn)的其任意像素作所切出的塊和右圖像的塊之間的一致性程度，并且將當(dāng)塊之間的一致性程度最大時的右圖像的塊的基準(zhǔn)像素被定義為與所述左圖像的任意像素相對應(yīng)的右圖像的像素。另外，例如，可以使用塊中像素之間的亮度差的平方和(SSD)作為用于以塊匹配法評估塊之間的一致性程度的函數(shù)(SSD塊匹配法)。在如上所述檢測到對應(yīng)點(diǎn)之后，檢測對應(yīng)點(diǎn)的偏離量(如果檢測到多個對應(yīng)點(diǎn)， 則檢測多個對應(yīng)點(diǎn)的偏離量的平均)，并且與圖像拾取模式N相關(guān)聯(lián)地將檢測到的偏離量存儲到EEPROM 58中，作為兩個拍攝光學(xué)系統(tǒng)的光軸偏離量(步驟S22和S24)。接下來，確定是否為N = 4 (步驟S26)。如果“否”，則使N遞增1 (步驟S28)，并且 CPU 32轉(zhuǎn)到步驟S18。如果“是”，則結(jié)束調(diào)整處理(步驟S30)。以該方式，針對每個圖像拾取模式(N = 1,2,3)將光軸偏離量存儲到EEPROM 58中。應(yīng)當(dāng)注意，在其中圖像拾取光學(xué)系統(tǒng)是單個聚焦透鏡的情況下，以如上所述的這樣的方式來預(yù)先獲取光軸偏離量，并且另一方面，在如本實(shí)施例中的圖像拾取光學(xué)系統(tǒng)為變焦透鏡的情況下，針對變焦透鏡的每個變焦位置來獲取光軸偏離量。在其中變焦透鏡的變焦位置從廣角端處的變焦位置(Zl)到遠(yuǎn)景端處的變焦位置 (ZlO)具有10個階段的情況下，將變焦透鏡移到每個變焦位置，并且針對每個變焦位置執(zhí)行上述從步驟S14到步驟S24的處理，從而針對每個變焦位置將光軸偏離量存儲到EEPROM 58中。應(yīng)當(dāng)注意，在步驟S18中的畸變校正中使用與每個變焦位置相對應(yīng)的畸變校正公式。圖4A至圖4C的每一個圖示了示出每個圖像拾取模式的光軸偏離量的表的示例， 該光軸偏離量被存儲在EEPROM 58中。圖4A至圖4C分別圖示了用于直通圖像的表、用于靜止圖像的表和用于運(yùn)動圖像的表，并且各個表在其中針對每個變焦位置存儲關(guān)于左右圖像的光軸偏離量(垂直(V)方向上的光軸偏離量)。應(yīng)當(dāng)注意，在3D圖像的情況下，各個圖像之間的V方向上的光軸偏離對于立體視圖而言是成問題的，并且因而僅存儲V方向上的光軸偏離量，但并不限于此，還可以存儲水平(H)方向上的光軸偏離量。另外，用于每個圖像拾取模式和每個變焦位置的畸變校正公式也被存儲在EEPROM 58中。在該情況下，可考慮存儲畸變校正公式的一般公式，該一般公式對于每個變焦位置都相同，只是每個項的系數(shù)針對每個變焦位置而改變，或者存儲對于每個變焦位置不同的畸變校正公式。[拍攝操作]接下來，參考圖5中所示流程圖來描述由根據(jù)本發(fā)明的立體圖像拾取裝置10進(jìn)行的3D運(yùn)動圖像或3D靜止圖像的拍攝操作。通過圖IB中圖示的操作開關(guān)18A進(jìn)行到運(yùn)動圖像拍攝模式的切換，并且通過圖IB 中圖示的操作開關(guān)18C進(jìn)行到3D圖像拾取模式的切換，從而可以設(shè)置用于拍攝3D運(yùn)動圖像的拍攝模式(以下，稱為“3D運(yùn)動圖像拍攝模式”)。另外，通過操作開關(guān)18A進(jìn)行到靜止圖像拍攝模式的切換，并且通過操作開關(guān)18C進(jìn)行到3D圖像拾取模式的切換，從而可以設(shè)置用于拍攝3D靜止圖像的拍攝模式(以下，被稱為“3D靜止圖像拍攝模式”)。在步驟S40中，確定操作開關(guān)18A和18C將拍攝模式設(shè)置為3D運(yùn)動圖像拍攝模式還是3D靜止圖像拍攝模式。如果確定了將拍攝模式設(shè)置為3D運(yùn)動圖像拍攝模式，則CPU 32確定是否給出拍攝運(yùn)動圖像的指令(快門按鈕11全按下(開關(guān)S2接通))(步驟S42)。如果開關(guān)S2是斷開的，則在液晶監(jiān)視器16上顯示3D直通圖像(步驟S44)。在顯示3D直通圖像的情況下，使用用于直通圖像的畸變校正公式(二次多項式) 來對從左右圖像拾取單元20-1和20-3以時間系列方式順序獲取的左右圖像執(zhí)行畸變校正。此外，從圖4A中圖示的用于直通圖像的表中讀出與變焦透鏡的當(dāng)前變焦位置相對應(yīng)的左右圖像的光軸偏離量，并且從畸變校正后的圖像切出用于3D直通圖像的圖像，使得這些光軸偏離量被抵消。然后，將切出的圖像輸出到液晶監(jiān)視器16。結(jié)果，能夠在液晶監(jiān)視器16上顯示其中校正了兩個圖像拾取光學(xué)系統(tǒng)的針對每個變焦位置而不同的光軸偏離量的3D的直通圖像。另一方面，當(dāng)開關(guān)S2被接通時，CPU 32開始3D運(yùn)動圖像的拍攝(步驟S46)。當(dāng)開始3D運(yùn)動圖像的拍攝時，對從左右圖像拾取單元20-1和20-3以時間系列方式順序獲取的左右圖像執(zhí)行諸如畸變校正和圖像切出處理的圖像處理以及記錄處理(步驟 S48)。[圖像處理的第一實(shí)施例]圖6是示出圖5的步驟S48等中的圖像處理的第一實(shí)施例。在該附圖中，當(dāng)獲取左右圖像時(步驟48 ，包括在數(shù)字信號處理單元44中的畸變校正電路使用作為用于運(yùn)動圖像的畸變校正公式(四次多項式)并且與變焦透鏡的當(dāng)前變焦位置相對應(yīng)的畸變校正公式，以由此對所獲取的左右圖像執(zhí)行畸變校正(步驟S484)。隨后，從圖4C的用于運(yùn)動圖像的表中讀出與當(dāng)前變焦位置(Z-pos)相對應(yīng)的光軸偏離量，并且基于所讀出的光軸偏離量，使切出范圍在畸變校正后在左右圖像上移動該光軸偏離量，從而執(zhí)行圖像切出處理(步驟S486)。結(jié)果，所切出的圖像作為其光軸偏離已經(jīng)被校正的圖像被獲得。如上所述切出的左右圖像的每一個以預(yù)定壓縮格式被壓縮，并且然后被記錄到在存儲卡40中創(chuàng)建的運(yùn)動圖像文件中(步驟S488)。應(yīng)當(dāng)注意，每當(dāng)結(jié)束1秒的規(guī)定幀數(shù)(在幀速率為60幀/秒的情況下為60幀)的圖像處理時就執(zhí)行運(yùn)動圖像的記錄處理，并且將壓縮的運(yùn)動圖像順序添加到運(yùn)動圖像文件。另外，還每1秒地壓縮通過立體聲麥克風(fēng)15獲取的語音數(shù)據(jù)，以將其記錄到運(yùn)動圖像文件中。返回到圖5，確定開關(guān)S2是否被再次接通(步驟S50)。如果開關(guān)S2斷開，則處理前進(jìn)到步驟S48，并且繼續(xù)運(yùn)動圖像的處理。當(dāng)開關(guān)S2被接通時，結(jié)束3D運(yùn)動圖像的拍攝。另一方面，如果在步驟S40中確定了拍攝模式被設(shè)置為3D靜止圖像拍攝模式，則CPU 32確定是否給出拍攝靜止圖像的指令(開關(guān)S2接通)(步驟S52)。如果開關(guān)S2斷開，則在液晶監(jiān)視器16上顯示3D直通圖像(步驟S54)。以與上述步驟S44中相同的方式執(zhí)行3D直通圖像在液晶監(jiān)視器16上的顯示。當(dāng)開關(guān)S2被接通時，CPU 32執(zhí)行3D靜止圖像的拍攝(步驟S56)。不必說，當(dāng)兩段鍵程式快門(two-stage stroke shutter)按鈕在被全按下之前被半按下時，其開關(guān)Sl 被接通，從而執(zhí)行實(shí)際拍攝前的拍攝準(zhǔn)備操作，諸如AE處理和AF處理。與步驟S48類似地，對在實(shí)際拍攝時從左右圖像拾取單元20-1和20_2獲取的左右圖像執(zhí)行諸如畸變校正和圖像切出處理的圖像處理以及記錄處理(步驟S58)。應(yīng)當(dāng)注意，步驟S58中的畸變校正是通過使用作為具有高校正精度的六次多項式的畸變校正公式來執(zhí)行的，并且圖像切出處理是基于從圖4B的用于靜止圖像的表對應(yīng)于當(dāng)前變焦位置而讀出的光軸偏離量來執(zhí)行的。[產(chǎn)品裝運(yùn)前的光軸調(diào)整的第二實(shí)施例]圖7是示出根據(jù)本發(fā)明的光軸調(diào)整時執(zhí)行的處理的第二實(shí)施例的流程圖。應(yīng)當(dāng)注意，與圖3所示第一實(shí)施例的部分共同的部分用相同的步驟編號表示，并且省略其詳細(xì)描述。在圖7中示出的第二實(shí)施例中，省略了圖3中示出的步驟S12、S18、S26和S^的處理。在圖3中所示的第一實(shí)施例中，針對要存儲到EEPROM 58中的直通圖像、運(yùn)動圖像和靜止圖像的每個圖像拾取模式檢測光軸偏離量(參見圖4A至圖4C)。另一方面，在圖 7所示的第二實(shí)施例中，不對在步驟S16中獲取的左右圖像執(zhí)行畸變校正，執(zhí)行左右圖像的對應(yīng)點(diǎn)檢測，并且檢測左右圖像的光軸偏離量(步驟S20和S22)。然后，將所檢測到的光軸偏離量存儲到EEPROM 58中(步驟S24)。應(yīng)當(dāng)注意，與圖3所示的實(shí)施例類似地，針對變焦透鏡的每個變焦位置來將光軸偏離量存儲到EEPROM 58中。S卩，在圖7所示的第二實(shí)施例中，檢測并且記錄畸變校正前的左右圖像的光軸偏離量，并且不檢測或記錄用于每個圖像拾取模式的光軸偏離量。然后，使用存儲在EEPROM 58中的每個變焦位置的光軸偏離量的表，如圖8所示， 在拍攝時計算畸變校正后的光軸偏離量。圖8中，獲取與當(dāng)前圖像拾取模式有關(guān)的信息和與變焦透鏡的變焦位置有關(guān)的信息(步驟S60和S62)?；谒@取的與變焦位置有關(guān)的信息來參考存儲在EEPROM 58中的表，并且獲取與變焦位置相對應(yīng)的光軸偏離量(步驟S64)。另外，基于所獲取的當(dāng)前圖像拾取模式和所獲取的當(dāng)前變焦位置，從EEPROM 58獲取與當(dāng)前圖像拾取模式和變焦位置相對應(yīng)的畸變校正公式(計算公式)。通過將步驟S64中所獲取得光軸偏離量代入所獲取的計算公式中來執(zhí)行計算，從而計算畸變校正后的光軸偏離量(步驟S66和S68)。在圖5中所示的步驟S44、S48和S58以及圖6所示的步驟S486中的圖像切出處理中使用上面計算的光軸偏離量。如上所述，將畸變校正前的光軸偏離量保持在EEPROM 58中，在實(shí)際圖像切出處理時，將保持在EEPROM 58中的值代入用于畸變校正的計算公式中，并且從而計算畸變校正后的光軸偏離量。以該方式，可以減小EEPROM 58的存儲器占用率，并且即使在固件等被改變(包括畸變校正的改變)的情況下，也可以容易地改變切出位置。應(yīng)當(dāng)注意，雖然如圖4A至圖4C所示的光軸偏離量的表在其中存儲了每個變焦位置的光軸偏離量，但是表可以在其中僅存儲至少兩個變焦位置(例如，廣角端和遠(yuǎn)景端)的光軸偏離量，并且可以通過根據(jù)當(dāng)前變焦位置來對存儲的至少兩個變焦位置的光軸偏離量進(jìn)行線性插值來計算變焦位置而不是所存儲的變焦位置的光軸偏離量。[產(chǎn)品裝運(yùn)前的光軸調(diào)整的第三實(shí)施例]由立體圖像拾取裝置10獲取的左右圖像的光軸中心不僅會由于變焦透鏡的變焦位置而偏離，而且還會由于聚焦透鏡的聚焦位置而偏離。鑒于上述情況，在第三實(shí)施例中，在裝運(yùn)前的檢驗(yàn)中獲取要存儲到EEPROM 58中的用于聚焦透鏡的每個聚焦位置的光軸偏離量。S卩，針對聚焦透鏡的每個聚焦位置(從最近距離的聚焦位置(Fl)朝著無限遠(yuǎn)的聚焦位置0 ))檢測光軸偏離量。例如，將調(diào)整圖置于與特定聚焦位置相對應(yīng)的被攝體距離， 并且在改變變焦透鏡的變焦位置的同時針對每個變焦透鏡檢測光軸偏離量?？梢曰谌鐖D 3所示的第一實(shí)施例中所描述的畸變校正之后的左右圖像來檢測該光軸偏離量，或者可以基于如圖7所示的第二實(shí)施例中所描述的畸變校正之前的左右圖像來檢測該光軸偏離量。如上所述執(zhí)行光軸偏離量的檢測，同時將調(diào)整圖的位置順序移到與聚焦位置相對應(yīng)的位置，由此獲取用于所有變焦位置和所有聚焦位置的光軸偏離量。圖9圖示了對應(yīng)于變焦位置(Zl至Zn)和所有聚焦位置(Fl至而)而獲取的光軸偏離量的表。應(yīng)當(dāng)注意，在獲取畸變校正之后的光軸偏離量的情況下，針對每個圖像拾取模式創(chuàng)建圖9所示的表。然后，通過下述操作來獲取要在圖5中所示的步驟S44、S48和S58以及圖6中所示的步驟S486中的圖像切出處理中使用的光軸偏離量根據(jù)當(dāng)前圖像拾取模式來選擇表； 以及基于當(dāng)前變焦位置和當(dāng)前聚焦位置，從所選擇中的表讀出對應(yīng)的光軸偏離量。另外，在圖9中所示的表在其中存儲畸變校正之前的光軸偏離量的情況下，將對應(yīng)于當(dāng)前變焦位置和當(dāng)前聚焦位置所讀出的光軸偏離量代入到與當(dāng)前圖像拾取模式和當(dāng)前變焦位置相對應(yīng)的畸變校正公式中，從而計算畸變校正之后的光軸偏離量。此外，圖9圖示的表在其中存儲與所有變焦位置和所有聚焦位置相對應(yīng)的光軸偏離量，但并不限于此，如圖10所圖示的，可以檢測并且存儲僅兩個聚焦位置(最近距離的聚焦位置(近)和無限遠(yuǎn)的聚焦位置(無限遠(yuǎn)))的光軸偏離量，并且通過利用中間的聚焦位置來對這兩個聚焦位置的光軸偏離量進(jìn)行線性插值來計算中間聚焦位置的光軸偏離量。應(yīng)當(dāng)注意，在變焦位置到達(dá)遠(yuǎn)景端并且聚焦透鏡的移動量因此變得更大的情況下，優(yōu)選地，檢測并且存儲三個聚焦位置(即，最近距離、中間距離和無限遠(yuǎn))的光軸偏離量，并且通過從最近距離到中間距離或者從中間距離到無限遠(yuǎn)的線性插值來計算光軸偏離量。[圖像處理的第二實(shí)施例]圖11是示出圖5的步驟S48等中執(zhí)行的圖像處理的第二實(shí)施例的流程圖。應(yīng)當(dāng)注意，與圖6所示的第一實(shí)施例的那些共同的部分用相同的步驟編號表示，并且省略對其的詳細(xì)說明。
與圖6所示的第一實(shí)施例相比，圖11中所示的圖像處理的第二實(shí)施例與第一實(shí)施例的不同之處在于，在其中執(zhí)行畸變校正的步驟S484之前添加了其中執(zhí)行陰影校正的步驟 483。S卩，在步驟S483中，通過使用下述內(nèi)容來校正(陰影校正)在步驟S482中獲取的左右圖像的每個像素的亮度表，該表是根據(jù)視角位置針對左右圖像單獨(dú)提供的并且在其中存儲陰影校正值；或者陰影校正值，該陰影校正值是根據(jù)視角位置通過計算公式獲得的。在通過這樣的陰影校正使得左右圖像的亮度均勻之后，執(zhí)行畸變校正和圖像切出處理，這因此使得所切出的左右圖像在其間沒有亮度差。[連續(xù)拍攝時執(zhí)行的圖像處理的第一實(shí)施例]連續(xù)拍攝的各個圖像被視作靜止圖像，并且因此需要與3D靜止圖像的圖像處理類似的圖像處理。即，作為畸變校正，有必要使用具有高校正精度的畸變校正公式來執(zhí)行校正。然而，在連續(xù)拍攝時的拍攝間隔短的情況下，無法實(shí)時地執(zhí)行具有高校正精度的畸變校正、圖像切出處理等。圖12是示出連續(xù)拍攝時執(zhí)行的圖像處理的第一實(shí)施例的流程圖。當(dāng)連續(xù)拍攝模式被設(shè)置并且輸入連續(xù)拍攝圖像的指令(開關(guān)S2接通)時(步驟 S70)，CPU 32以連拍執(zhí)行一個幀的拍攝(步驟S7》，并且將具有全視角的左右圖像臨時存儲到RAM M中(步驟S74)。隨后，確定開關(guān)S2是接通還是斷開(步驟S76)。如果開關(guān)S2接通，則CPU 32去往步驟S72。如果開關(guān)S2斷開，則開關(guān)S2去往步驟S78。即，在開關(guān)S2接通時，保持執(zhí)行連續(xù)拍攝，并且保持將具有全視角的左右圖像存儲到RAM M中。當(dāng)開關(guān)S2被斷開時，逐幀地讀出保存在RAM M中的時間系列左右圖像，并且通過使用與連續(xù)拍攝時的變焦透鏡的變焦位置和連續(xù)拍攝模式相對應(yīng)的畸變校正公式來對其進(jìn)行畸變校正(步驟S78)。隨后，從EEPROM 58中讀出或計算與連續(xù)拍攝時的變焦透鏡的變焦位置和連續(xù)拍攝模式相對應(yīng)的光軸偏離量，并且基于該光軸偏離量，從已經(jīng)經(jīng)過畸變校正的具有全視角的圖像切出圖像，以由此校正光軸偏離量(步驟S80)。對如上所述切出的圖像進(jìn)行壓縮處理等，并且然后將該切出的圖像記錄到存儲卡 40中(步驟S82)。[連續(xù)拍攝時執(zhí)行的圖像處理的第二實(shí)施例]圖13是示出連續(xù)拍攝時執(zhí)行的圖像處理的第二實(shí)施例的流程圖。應(yīng)當(dāng)注意，與圖 12所示的連續(xù)拍攝時執(zhí)行的圖像處理的第一實(shí)施例的那些共同的部分用相同的步驟編號表示，并且省略對其的詳細(xì)說明。圖13中所示的連續(xù)拍攝時執(zhí)行的圖像處理的第二實(shí)施例與第一實(shí)施例的不同之處在于，在步驟S76和S78之間添加了步驟S77的處理。S卩，在步驟S77中，對保存在RAM 54中的左右圖像中的每一個執(zhí)行根據(jù)視角位置的陰影校正，由此使得左右圖像的亮度均勻。這使得要在后續(xù)步驟中對其執(zhí)行畸變校正和圖像切出處理的左右圖像之間沒有亮度差。[連續(xù)拍攝時執(zhí)行的圖像處理的第三實(shí)施例]
圖14是示出連續(xù)拍攝時執(zhí)行的圖像處理的第三實(shí)施例的流程圖。應(yīng)當(dāng)注意，與圖 12中所示的連續(xù)拍攝時執(zhí)行的圖像處理的第一實(shí)施例的那些共同的部分用相同的步驟編號表示，并且省略對其的詳細(xì)說明。圖14中所示的連續(xù)拍攝時執(zhí)行的圖像處理的第三實(shí)施例與第一實(shí)施例的不同之處在于，從連續(xù)拍攝的多個時間系列圖像中，僅將用戶指定要保存的圖像保存到存儲卡40 中。在圖14中，當(dāng)開關(guān)S2被斷開時(步驟S76)，以拍攝的順序讀出并且再生保存在 RAM 54中的時間系列左右圖像(步驟S90)。這里，假定在連續(xù)拍攝中執(zhí)行了 N次3D圖像的拍攝，讀出第N(指示拍攝順序的N =1至N)次的左右圖像，并且執(zhí)行畸變校正和圖像切出處理(步驟S78和S80)。在液晶監(jiān)視器16上將該處理后的左右圖像顯示為3D靜止圖像顯示(步驟S92).用戶確定在觀看在液晶監(jiān)視器16上顯示的3D靜止圖像的同時是否將3D靜止圖像保存到存儲卡40中(步驟S94)。如果“是”(例如，在MENU/0K按鈕被接通的情況下)， 將在液晶監(jiān)視器16上顯示的3D靜止圖像保存到存儲卡40中。另一方面，如果“否”(例如，在通過包括在箭頭鍵中的左右按鍵給出逐幀前進(jìn)的指令的情況下)，則CPU 32去往步驟S90，從RAMM中讀出接下來的左右圖像，并且執(zhí)行與上述相同的處理。應(yīng)當(dāng)注意，在上述實(shí)施例中，在開關(guān)S2接通期間的時段期間執(zhí)行連續(xù)拍攝，但并不限于此，可以在開關(guān)S2被接通時連續(xù)拍攝預(yù)設(shè)數(shù)目的圖像。[拍攝/再生處理的第一實(shí)施例]圖15和圖16是示出根據(jù)本發(fā)明的立體圖像拾取裝置10進(jìn)行的拍攝/再生處理的第一實(shí)施例的流程圖。在圖15中，當(dāng)立體圖像拾取裝置10被設(shè)置為拍攝模式，以由此開始拍攝時，將開始拍攝時的圖像拾取模式(例如，3D運(yùn)動圖像拍攝模式或3D靜止圖像拍攝模式)、變焦透鏡的變焦位置以及光軸偏離量寫入到記錄在存儲卡40中的圖像文件的標(biāo)簽(tag)中(步驟S100)。應(yīng)當(dāng)注意，根據(jù)圖像拾取模式、變焦位置等從EEPROM 58中讀出或者計算所使用的光軸偏離量。另外，將所拍攝的具有全視角的左右圖像(運(yùn)動圖像或靜止圖像)保存到圖像文件中(步驟S102)。S卩，在拍攝時，不執(zhí)行上述畸變校正和上述圖像切出處理，而將校正前的圖像以及校正所需要的信息記錄到標(biāo)簽中。同時，如圖16中所示，當(dāng)將立體圖像拾取裝置10設(shè)置為再生模式以由此開始再生時，從保存在存儲卡40中的要再生的圖像文件中讀出標(biāo)簽信息以及左右圖像(步驟Sl 10)。然后，獲取由包含在標(biāo)簽信息中的圖像拾取模式和變焦位置所指定的畸變校正公式，并且使用所獲取的畸變校正公式來對讀出的左右圖像執(zhí)行畸變校正(步驟S112)。隨后，基于包含在標(biāo)簽信息中的光軸偏離量來從畸變校正后的左右圖像切出圖像，以由此校正光軸偏離(步驟Sl 14)。顯示這樣切出的左右圖像，使得其切出中心位于液晶監(jiān)視器16的畫面中心(步驟 S116)，并且從而將左右圖像顯示為沒有光軸偏離量并且易于立體觀看的3D圖像。
如上所述保存具有全視角的圖像，從而能夠在2D照片印刷的情況下獲得較廣角度的照片印刷。另外，在用戶選擇2D再生的情況下，還能夠再生以上切出圖像中的任何一個切出圖像。由此，即使在用戶對3D再生感到眼睛疲勞，并且因此切換到2D再生時，可以知道3D圖像的視角大小。應(yīng)當(dāng)注意，在本實(shí)施例中，光軸偏離量被記錄為標(biāo)簽信息，并且替代地，可以記錄光軸中心的坐標(biāo)或切出范圍的對角的坐標(biāo)作為光軸偏離量的代替。簡言之，可以記錄與圖像切出有關(guān)的任何信息，只要該信息可以用于校正光軸偏離。另外，還能夠?qū)⒃?D再生時經(jīng)過畸變校正和圖像切出處理的圖像記錄到存儲卡 40中。在該情況下，可以刪除原始圖像文件，或者可以保持兩個圖像文件。[拍攝/再生處理的第二實(shí)施例]圖17和圖18是示出根據(jù)本發(fā)明的立體圖像拾取裝置10進(jìn)行的拍攝/再生處理的第二實(shí)施例的流程圖。在圖17中，當(dāng)立體圖像拾取裝置10被設(shè)置為拍攝模式以由此開始拍攝時，對具有全視角的所拍攝的左右圖像(運(yùn)動圖像或靜止圖像)執(zhí)行各種校正處理(步驟S120)。該情況下的圖像處理指不包括用于校正左右圖像的光軸偏離的圖像切出處理而包括白平衡校正、伽馬校正、陰影校正和畸變校正的圖像處理。已經(jīng)經(jīng)過圖像處理的左右圖像以預(yù)定壓縮格式被壓縮，并且然后被保存到存儲卡 40中(步驟S122)。同時，如圖18中所示，當(dāng)立體圖像拾取裝置10被設(shè)置為再生模式以由此開始再生時，從保存在存儲卡40中的要再生的圖像文件中讀出左右圖像(步驟S130)。隨后，執(zhí)行用于檢測左右圖像之間的對應(yīng)特征點(diǎn)的對應(yīng)點(diǎn)檢測，以由此獲取用于校正左右圖像的光軸偏離的信息(步驟S132)。該對應(yīng)點(diǎn)檢測可以通過例如塊匹配來執(zhí)行。參考左右圖像中的一個圖像(例如，左圖像)，通過對應(yīng)點(diǎn)檢測獲得與左圖像上的每個像素相對應(yīng)的另一圖像(右圖像)上的像素。作為這樣的對應(yīng)點(diǎn)檢測的結(jié)果，能夠獲得其中可以檢測到左右圖像之間的對應(yīng)點(diǎn)的區(qū)域；以及其中不能檢測到它們之間的對應(yīng)點(diǎn)的區(qū)域。然后，針對左右圖像中的每一個檢測由其中可以檢測到左右圖像之間的對應(yīng)點(diǎn)的區(qū)域的最外側(cè)的四條邊圍成的區(qū)域，從而可以獲取用于校正左右圖像的光軸偏離的信肩、οS卩，由四條邊圍成的區(qū)域的中心與切出區(qū)域相對應(yīng)，基于該切出區(qū)域從具有全視角的圖像中切出用于立體觀看的每個圖像，并且由四條邊圍成的區(qū)域的中心與切出中心相對應(yīng)。顯示基于如上所述獲得的切出區(qū)域來從具有全視角的左右圖像分別切出的左右圖像，使得其切出中心位于液晶監(jiān)視器16的畫面中心(步驟S134)。這使得左右圖像能夠被顯示為不具有光軸偏離并且易于立體觀看的3D圖像。例如，如圖19所示，從具有全視角的左右圖像中的每一個切出通過對應(yīng)點(diǎn)檢測獲得并且用虛線指示的切出區(qū)域(由切出起點(diǎn)或切出中心和切出尺寸指定的區(qū)域)，并且在液晶監(jiān)視器16上將各個切出圖像(左右圖像之間的重疊部分)顯示為用于立體觀看的圖像。此時，顯示左右圖像，使得其切出中心彼此一致，并且因而左右圖像的光軸偏離(V方向上的偏離)被校正。
應(yīng)當(dāng)注意，在上述示例中，僅顯示左右圖像之間的重疊部分，但并不限于此，而是還可以執(zhí)行諸如一下a)至c)中所描述的顯示。a)將左右圖像之間的非重疊部分照原樣顯示。結(jié)果，以3D方式顯示重疊部分，而以2D方式顯示非重疊部分。b)以3D方式進(jìn)行顯示時，左右圖像之間的非重疊部分由諸如邊框的裝飾性圖案覆蓋。c)以3D方式進(jìn)行顯示時，左右圖像之間的非重疊部分被刪除(以黑色或白色填充)。[其他]在經(jīng)過圖像切出處理的左右圖像的切出中心存在基本上相同的被攝體，并且因而測量左右圖像的切出中心部分處的MTF(調(diào)制傳遞函數(shù))，由此計算左右圖像之間的分辨率的差。然后，改變對左右圖像的圖像質(zhì)量的設(shè)置(輪廓增強(qiáng)和伽馬校正)等，由此可以使得左右圖像的分辨率均勻。另外，在立體圖像拾取裝置10中，可以在液晶監(jiān)視器16上顯示3D直通圖像，并且因此用戶在觀看3D直通圖像的同時操作視差量調(diào)整開關(guān)18B(圖1B)，并且因此可以調(diào)整 3D圖像(運(yùn)動圖像或靜止圖像)的視差量。S卩，通過在正方向或負(fù)方向上操作視差量調(diào)整開關(guān)18B，由此可以增加或減少3D 圖像的視差量(視差調(diào)整值)。在圖像切出處理時，通過使用與光軸偏離量有關(guān)的信息和上述視差調(diào)整值(左右圖像在H方向上的位移量)來切出圖像，從而可以記錄并且再生在V方向上不具有光軸偏離并且具有與用戶偏好匹配的立體效果的3D圖像。應(yīng)當(dāng)注意，其中以不同校正精度執(zhí)行畸變校正的多個圖像拾取模式并不限于本實(shí)施例，并且可以包括其中不執(zhí)行畸變校正的圖像拾取模式；以及其中增強(qiáng)畸變的圖像拾取模式，諸如魚眼圖像拾取模式。另外，在本實(shí)施例中，對畸變校正后的圖像執(zhí)行圖像切出處理，并且相反地，可以對經(jīng)過用于校正光軸偏離的圖像切出處理的圖像執(zhí)行畸變校正。當(dāng)然，在該情況下的圖像切出處理中，應(yīng)當(dāng)在考慮到由后續(xù)步驟中的畸變校正所引起的光軸偏離的情況下對圖像進(jìn)行切出。另外，當(dāng)然，本發(fā)明不限于上述實(shí)施例，并且可以在不脫離本發(fā)明的精神的范圍內(nèi)進(jìn)行各種修改。附圖標(biāo)記列表
10立體圖像拾取裝置
11快門按鈕
12變焦按鈕
14--U14-2拍攝光學(xué)系統(tǒng)
16液晶監(jiān)視器
20--U20-2圖像拾取單元
21聚焦透鏡和變焦透鏡
24CCD
25模擬信號處理單元
32中央處理單元(CPU)
34操作單元
44數(shù)字信號處理單元
54RAM
56ROM
58EEPROM
權(quán)利要求
1.一種立體圖像拾取裝置，包括多個圖像拾取單元，每一個圖像拾取單元包括 拍攝光學(xué)系統(tǒng)；以及圖像拾取元件，所述圖像拾取元件使經(jīng)由所述拍攝光學(xué)系統(tǒng)形成的被攝體圖像經(jīng)歷光電轉(zhuǎn)換，所述多個圖像拾取單元拾取在所述多個圖像拾取單元之間具有視差的多個圖像；第一存儲單元，所述第一存儲單元在其中存儲針對多個圖像拾取模式中的每一個設(shè)置的畸變校正公式，所述畸變校正公式具有對于所述多個圖像拾取模式中的每一個而不同的校正精度；畸變校正公式獲取單元，所述畸變校正公式獲取單元從存儲在所述第一存儲單元中的所述畸變校正公式中獲取與當(dāng)前圖像拾取模式相對應(yīng)的畸變校正公式；第二存儲單元，所述第二存儲單元在其中存儲包括在所述多個圖像拾取單元中的每個拍攝光學(xué)系統(tǒng)的預(yù)先檢測到的光軸偏離量，所述光軸偏離量已經(jīng)經(jīng)歷了使用針對所述多個圖像拾取模式中的每一個設(shè)置的所述畸變校正公式的畸變校正；光軸偏離量獲取單元，所述光軸偏離量獲取單元基于下述來獲取與所述當(dāng)前圖像拾取模式相對應(yīng)的光軸偏離量存儲在所述第二存儲單元中的每個拍攝光學(xué)系統(tǒng)的光軸偏離量；以及所述當(dāng)前圖像拾取模式；圖像拾取控制單元，所述圖像拾取控制單元根據(jù)所述當(dāng)前圖像拾取模式來從所述多個圖像拾取單元獲取所述多個圖像；畸變校正單元，所述畸變校正單元基于與所述當(dāng)前圖像拾取模式相對應(yīng)地由所述畸變校正公式獲取單元所獲取的畸變校正公式，來對由所述圖像拾取控制單元所獲取的所述多個圖像執(zhí)行畸變校正；以及圖像切出單元，所述圖像切出單元基于與所述當(dāng)前圖像拾取模式相對應(yīng)地由所述光軸偏離量獲取單元獲取的所述光軸偏離量，來對由所述圖像拾取控制單元獲取的所述多個圖像執(zhí)行用于立體顯示的圖像的切出處理。
2.根據(jù)權(quán)利要求1所述的立體圖像拾取裝置，還包括變焦位置檢測單元，所述變焦位置檢測單元檢測所述多個拍攝光學(xué)系統(tǒng)中的每一個的當(dāng)前變焦位置，其中所述第一存儲單元在其中存儲根據(jù)每個拍攝光學(xué)系統(tǒng)的變焦位置的畸變校正公式；并且所述畸變校正公式獲取單元從所述第一存儲單元中獲取與所述當(dāng)前圖像拾取模式和每個拍攝光學(xué)系統(tǒng)的所述當(dāng)前變焦位置相對應(yīng)的畸變校正公式。
3.根據(jù)權(quán)利要求1或2所述的立體圖像拾取裝置，其中所述第二存儲單元在其中存儲根據(jù)所述多個拍攝光學(xué)系統(tǒng)中的每一個的變焦位置的每個拍攝光學(xué)系統(tǒng)的光軸偏離量；并且所述光軸偏離量獲取單元根據(jù)所述當(dāng)前圖像拾取模式和每個拍攝光學(xué)系統(tǒng)的所述當(dāng)前變焦位置來從所述第二存儲單元中獲取對應(yīng)的光軸偏離量。
4.根據(jù)權(quán)利要求2或3所述的立體圖像拾取裝置，其中所述第二存儲單元根據(jù)每個圖像拾取模式和變焦位置來在其中存儲使用與每個圖像拾取模式和每個拍攝光學(xué)系統(tǒng)的所述變焦位置相對應(yīng)的畸變校正公式的畸變校正之后的光軸偏離量，作為每個拍攝光學(xué)系統(tǒng)的光軸偏離量；并且所述光軸偏離量獲取單元包括讀出單元，所述讀出單元根據(jù)所述當(dāng)前圖像拾取模式和所述當(dāng)前變焦位置來從所述第二存儲單元中讀出對應(yīng)的光軸偏離量。
5.根據(jù)權(quán)利要求2或3所述的立體圖像拾取裝置，其中所述第二存儲單元根據(jù)每個拍攝光學(xué)系統(tǒng)的變焦位置來在其中存儲所述畸變校正之前的光軸偏離量，作為每個拍攝光學(xué)系統(tǒng)的光軸偏離量；并且所述光軸偏離量獲取單元包括計算單元，所述計算單元將基于所述當(dāng)前變焦位置從所述第二存儲單元中讀出的光軸偏離量代入與所述當(dāng)前圖像拾取模式相對應(yīng)并且由所述畸變校正公式獲取單元獲取的畸變校正公式中，以由此計算所述畸變校正之后的光軸偏離量。
6.根據(jù)權(quán)利要求2或3所述的立體圖像拾取裝置，其中所述第二存儲單元針對每個圖像拾取模式在其中存儲用于計算使用與每個圖像拾取模式和每個拍攝光學(xué)系統(tǒng)的變焦位置相對應(yīng)的畸變校正公式的畸變校正之后的光軸偏離量的信息，作為每個拍攝光學(xué)系統(tǒng)的所述光軸偏離量；并且所述光軸偏離量獲取單元包括計算單元，所述計算單元基于下述來計算對應(yīng)的光軸偏離量根據(jù)所述當(dāng)前圖像拾取模式從所述第二存儲單元中讀出的信息；以及當(dāng)前變焦位置。
7.根據(jù)權(quán)利要求2或3所述的立體圖像拾取裝置，還包括聚焦位置檢測單元，所述聚焦位置檢測單元檢測所述多個拍攝光學(xué)系統(tǒng)中的每一個的當(dāng)前聚焦位置，其中所述第二存儲單元根據(jù)每個圖像拾取模式、變焦位置和聚焦位置來在其中存儲在使用與每個圖像拾取模式和每個拍攝光學(xué)系統(tǒng)的變焦位置相對應(yīng)的畸變校正公式的畸變校正之后的光軸偏離量；并且所述光軸偏離量獲取單元包括讀出單元，所述讀出單元根據(jù)所述當(dāng)前圖像拾取模式、 所述當(dāng)前變焦位置和所述當(dāng)前聚焦位置，從所述第二存儲單元中讀出對應(yīng)的光軸偏離量。
8.根據(jù)權(quán)利要求2或3所述的立體圖像拾取裝置，還包括聚焦位置檢測單元，所述聚焦位置檢測單元檢測所述多個拍攝光學(xué)系統(tǒng)中的每一個的當(dāng)前聚焦位置，其中所述第二存儲單元根據(jù)每個圖像拾取模式和所述變焦位置來在其中存儲用于計算在使用與每個圖像拾取模式和每個拍攝光學(xué)系統(tǒng)的變焦位置相對應(yīng)的畸變校正公式的畸變校正之后的光軸偏離量的信息；并且所述光軸偏離量獲取單元包括計算單元，所述計算單元基于下述來計算對應(yīng)的光軸偏離量根據(jù)所述當(dāng)前圖像拾取模式和所述當(dāng)前變焦位置從所述第二存儲單元中讀出的信息；以及當(dāng)前聚焦位置。
9.根據(jù)權(quán)利要求1至8中的任何一項所述的立體圖像拾取裝置，還包括陰影校正單元，所述陰影校正單元對由所述圖像拾取控制單元獲取的所述多個圖像執(zhí)行陰影校正，其中所述圖像切出單元對已經(jīng)經(jīng)過了所述陰影校正單元進(jìn)行的陰影校正的圖像執(zhí)行圖像切出處理。
10.根據(jù)權(quán)利要求1至9中的任何一項所述的立體圖像拾取裝置，其中，所述圖像切出單元對已經(jīng)經(jīng)過了所述畸變校正單元進(jìn)行的畸變校正的圖像執(zhí)行圖像切出處理。
11.根據(jù)權(quán)利要求1至9中的任何一項所述的立體圖像拾取裝置，其中，所述畸變校正單元對已經(jīng)經(jīng)過了所述圖像切出單元進(jìn)行的切出處理的圖像執(zhí)行所述畸變校正。
12.根據(jù)權(quán)利要求1至11中的任何一項所述的立體圖像拾取裝置，其中，所述多個圖像拾取模式是下述中的兩個或更多圖像拾取模式在顯示單元上顯示現(xiàn)場觀看圖像的操作時設(shè)置的圖像拾取模式；靜止圖像拾取模式；運(yùn)動圖像拾取模式；以及畸變增強(qiáng)圖像拾取模式。
13.根據(jù)權(quán)利要求10所述的立體圖像拾取裝置，還包括選擇連續(xù)拍攝模式的單元，在所述連續(xù)拍攝模式中，在獲取了預(yù)設(shè)數(shù)目的圖像之前或者在給出拍攝指令時，從所述多個圖像拾取單元獲取多個時間系列圖像，以及內(nèi)部存儲單元，所述內(nèi)部存儲單元在其中臨時地存儲以所述連續(xù)拍攝模式拍攝的圖像，其中所述陰影校正單元在以所述連續(xù)拍攝模式進(jìn)行拍攝結(jié)束之后，讀出存儲在所述內(nèi)部存儲單元中的多個圖像，以對其執(zhí)行陰影校正。
14.根據(jù)權(quán)利要求1至13中的任何一項所述的立體圖像拾取裝置，還包括模式選擇單元，所述模式選擇單元選擇拍攝模式或再生模式；以及記錄單元，所述記錄單元將指示所述圖像拾取模式的信息和指示由所述光軸偏離量獲取單元所獲取的所述光軸偏離量的信息連同由所述圖像拾取控制單元在由所述模式選擇單元選擇的拍攝模式中所獲取的多個圖像一起，與所獲取的多個圖像相關(guān)聯(lián)地記錄到記錄介質(zhì)中，其中，所述畸變校正單元和所述圖像切出單元從所述記錄介質(zhì)中讀出與所述圖像相關(guān)聯(lián)地記錄的多條信息以及由所述模式選擇單元選擇的再生模式中的多個圖像，以基于與所讀出的多條信息相對應(yīng)的所述畸變校正公式和所述光軸偏離量來對所讀出的多個圖像執(zhí)行畸變校正和圖像切出處理。
15.根據(jù)權(quán)利要求14所述的立體圖像拾取裝置，其中，所述記錄單元將在再生模式中經(jīng)過了所述畸變校正和所述圖像切出處理的圖像記錄到所述記錄介質(zhì)中。
16.根據(jù)權(quán)利要求1至15中的任何一項所述的立體圖像拾取裝置，還包括視差量調(diào)整單元，所述視差量調(diào)整單元調(diào)整從所述多個圖像拾取單元輸出的所述多個圖像之間的視差量，其中所述圖像切出單元在進(jìn)行用于立體顯示的圖像的切出處理時，基于通過所述視差量調(diào)整單元調(diào)整的視差量來對其切出位置要被進(jìn)一步調(diào)整的圖像執(zhí)行切出處理。
全文摘要
對根據(jù)用于3D運(yùn)動圖像、3D靜止圖像等的圖像拾取模式所獲取的圖像執(zhí)行具有不同校正精度的畸變校正，并且還對其執(zhí)行與左右拍攝光學(xué)系統(tǒng)中的每一個的光軸偏離量相對應(yīng)的圖像切出處理，由此校正光軸偏離量。在該情況下，從畸變校正之后的光軸偏離量當(dāng)中讀出與當(dāng)前圖像拾取模式相對應(yīng)的光軸偏離量，該光軸偏離量在裝運(yùn)前的調(diào)整時被預(yù)先存儲到EEPROM中并且與各個圖像拾取模式相對應(yīng)。對根據(jù)當(dāng)前圖像拾取模式所獲取的左右圖像執(zhí)行與當(dāng)前圖像拾取模式相對應(yīng)的畸變校正。然后，還基于讀出的光軸偏離量來執(zhí)行從畸變校正之后的具有全視角的圖像切出用于立體顯示的圖像的切出處理。
文檔編號H04N5/232GK102318331SQ20108000391
公開日2012年1月11日 申請日期2010年11月22日 優(yōu)先權(quán)日2010年3月31日
發(fā)明者星野謙治 申請人:富士膠片株式會社