專利名稱：圖像處理裝置、攝像裝置及圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種進(jìn)行由多個(gè)視點(diǎn)圖像構(gòu)成的立體圖像的變倍的圖像處理裝置、攝像裝置及圖像處理方法。
背景技術(shù)：
以往，進(jìn)行由多個(gè)視點(diǎn)圖像構(gòu)成的立體圖像的變倍(變焦)。專利文獻(xiàn)I中記載了 隨著變焦使左眼圖像及右眼圖像的中心對準(zhǔn)；以及隨著變焦控制左眼圖像及右眼圖像的偏移量，使立體圖像的進(jìn)深方向可變。專利文獻(xiàn)2記載了以下構(gòu)成對應(yīng)立體圖像的電子變焦來控制各視點(diǎn)圖像(左眼圖像及右眼圖像)的剪切位置和圖像水平相位(偏移量)，使最大視差量及大小視差量處于設(shè)定范圍內(nèi)，調(diào)整(主要是固定)立體圖像的進(jìn)深方向?，F(xiàn)有技術(shù)文獻(xiàn)專利文獻(xiàn)專利文獻(xiàn)I :日本特開2003 - 52058號(hào)公報(bào)專利文獻(xiàn)2 :日本特開平8 - 317429號(hào)公報(bào)

發(fā)明內(nèi)容
發(fā)明要解決的問題以往，在進(jìn)行立體攝像時(shí)，例如以將對焦后的主被拍攝體作為各視點(diǎn)圖像(左眼圖像及右眼圖像)的中心、且使該主被拍攝體的視差量最小的方式設(shè)定收斂，進(jìn)行拍攝。但是，在該狀態(tài)下從廣角側(cè)向長焦側(cè)進(jìn)行變焦時(shí)，更靠近比主被拍攝體靠前的被拍攝體，產(chǎn)生遠(yuǎn)處的被拍攝體進(jìn)一步遠(yuǎn)離的被拍攝體移動(dòng)，視覺上存在極度不適感，因此會(huì)增加疲勞感。進(jìn)而會(huì)變?yōu)橐暡钸^大、視差開散等無法立體融合的圖像，安全性堪憂。專利文獻(xiàn)1、2中對變焦過程中的圖像處理都沒有任何記載。本發(fā)明鑒于這一情況而提出，其目的在于提供一種圖像處理裝置、攝像裝置及圖像處理方法，能夠消除變焦期間的視覺上的不適感，以避免使觀察者產(chǎn)生疲勞。為實(shí)現(xiàn)上述目的，本發(fā)明提供一種圖像處理裝置，其特征在于，具有圖像取得單元，取得由多個(gè)視點(diǎn)圖像構(gòu)成的立體圖像；變焦值取得單元，取得變焦值；視差量計(jì)算單元，在多個(gè)視點(diǎn)圖像之間計(jì)算各像素的視差量；及視差量校正單元，對應(yīng)通過視差量計(jì)算單元計(jì)算出的各像素的視差量和通過變焦值取得單元取得的變焦值，校正通過圖像取得單元取得的立體圖像中的至少一部分像素的視差量。S卩，在多個(gè)視點(diǎn)圖像之間計(jì)算各像素的視差量，對應(yīng)計(jì)算出的各像素的視差量和變焦值，校正立體圖像的各像素的視差量，因此可將變焦過程中的被拍攝體圖像的位置移動(dòng)校正為自然的移動(dòng)，從而可消除視覺上的不適感，避免使觀察者產(chǎn)生疲勞。在本發(fā)明的一個(gè)實(shí)施方式中優(yōu)選視差量校正單元對多個(gè)視點(diǎn)圖像進(jìn)行校正，以變更視差量相對于變焦值的單位變化量的變化量。在本發(fā)明的一個(gè)實(shí)施方式中優(yōu)選校正前的立體圖像中若變焦值從廣角側(cè)向長焦側(cè)變化則相同被拍攝體距離的被拍攝體的視差量減小時(shí)，視差量校正單元校正視差量，使得校正后的立體靜止圖像中若變焦值從廣角側(cè)向長焦側(cè)變化，則相同被拍攝體距離的被拍攝體的視差量增加或保持恒定。S卩，變焦值從廣角側(cè)向長焦側(cè)變化時(shí)，相同被拍攝體距離的視差量增加或保持恒定，因此可獲得強(qiáng)調(diào)變焦的效果。在本發(fā)明的一個(gè)實(shí)施方式中優(yōu)選視差量校正單元通過使校正前的視差量乘以系數(shù)、且使乘以系數(shù)后的視差量偏移，來校正視差量。在本發(fā)明的一個(gè)實(shí)施方式中優(yōu)選視差量校正單元校正視差量，以使視差量的偏移量在從長焦端到廣角端的范圍內(nèi)變大。在本發(fā)明的一個(gè)實(shí)施方式中優(yōu)選視差量校正單元校正視差量，以使變焦值在從廣角端到長焦端的范圍內(nèi)變化時(shí)相同被拍攝體距離的被拍攝體的視差量呈非線性增加。S卩，能夠使立體圖像中的被拍攝體圖像的移動(dòng)情況看起來顯得相對于變焦操作進(jìn)一步加速，因此可進(jìn)一步強(qiáng)調(diào)變焦。在本發(fā)明的一個(gè)實(shí)施方式中優(yōu)選視差量校正單元進(jìn)行校正，以使視差量處于特定的上限值至特定的下限值的范圍內(nèi)。即，可防止視差過大及視差開散，并且可增大視差量相對于變焦值的變化量的變化量的斜率，可抑制觀察者眼睛疲勞的同時(shí)，強(qiáng)調(diào)變焦。在本發(fā)明的一個(gè)實(shí)施方式中優(yōu)選具有設(shè)定信息輸入單元，接受用于確定視差量的校正中使用的視差量校正值的設(shè)定信息的輸入；和視差量校正值計(jì)算單元，根據(jù)通過設(shè)定信息輸入單元輸入的設(shè)定信息，計(jì)算視差量校正值。S卩，通過設(shè)定信息的輸入，可進(jìn)行符合該設(shè)定信息的視差量校正，可最大限度地活用變焦效果。在本發(fā)明的一個(gè)實(shí)施方式中優(yōu)選設(shè)定信息是立體圖像的顯示尺寸。在本發(fā)明的一個(gè)實(shí)施方式中優(yōu)選具有視差量校正值計(jì)算單元，該視差量校正值計(jì)算單元根據(jù)將變焦值設(shè)定在長焦端或廣角端而對焦的像素的視差量來計(jì)算視差量的校正值。在本發(fā)明的一個(gè)實(shí)施方式中優(yōu)選上述設(shè)定信息包括最近被拍攝體的被拍攝體距離信息及最遠(yuǎn)被拍攝體的被拍攝體距離信息中的至少一個(gè)被拍攝體距離信息。此外，此處所稱的“最近被拍攝體的被拍攝體距離”是指，以圖像取得單元為基點(diǎn)，到與圖像取得單元最近的被拍攝體的距離；“最遠(yuǎn)被拍攝體的被拍攝體距離”是指，以圖像取得單元為基點(diǎn)，到與圖像取得單元最遠(yuǎn)的被拍攝體的距離。在本發(fā)明的一個(gè)實(shí)施方式中優(yōu)選具有變焦效果設(shè)定信息輸入單元，接受用于確定視差量相對于變焦值的單位變化量的變化量的變焦效果設(shè)定信息的輸入；和視差量校正值計(jì)算單元，根據(jù)通過設(shè)定信息輸入單元輸入的變焦效果設(shè)定信息，來計(jì)算視差量校正值。并且，本發(fā)明提供一種具有圖像處理裝置的攝像裝置，優(yōu)選圖像取得單元包括含有變焦鏡頭的攝像鏡頭；及對通過攝像鏡頭成像的被拍攝體圖像進(jìn)行拍攝的攝像元件；變焦值取得單元取得變焦鏡頭的變焦值。
并且，本發(fā)明提供一種圖像處理方法，使用取得由多個(gè)視點(diǎn)圖像構(gòu)成的立體圖像的圖像取得單元；取得變焦值的變焦值取得單元；及輸出立體圖像的輸出單元；其特征在于，包括如下步驟視差量計(jì)算步驟，在多個(gè)視點(diǎn)圖像之間計(jì)算各像素的視差量；和視差量校正步驟，對應(yīng)通過視差量計(jì)算單元計(jì)算出的各像素的視差量和通過變焦值取得單元取得的變焦值，校正通過圖像取得單元取得的立體圖像中的至少一部分像素的視差量。發(fā)明效果根據(jù)本發(fā)明，可消除變焦期間的視覺上的不適感，避免使觀察者產(chǎn)生疲勞。


圖I是表示本發(fā)明涉及的攝像裝置的構(gòu)成示例的框圖。圖2是表示動(dòng)畫拍攝時(shí)實(shí)時(shí)進(jìn)行的圖像處理的一例的流程的流程圖。
圖3是表示動(dòng)畫拍攝后進(jìn)行的圖像處理的一例的流程的流程圖。圖4是用于說明靜止圖像的電子變焦的說明圖。圖5是用于說明靜止圖像的漸變顯示的說明圖。圖6是表示視差校正前的變焦值和視差量的對應(yīng)關(guān)系的圖。圖7是表示視差校正后的變焦值和視差量的對應(yīng)關(guān)系的圖。圖8是表示視差校正前、視差壓縮后、偏移后及視差校正后的左眼圖像及右眼圖像的圖。圖9是表示規(guī)定了變焦值和校正前視差量及校正后視差量的對應(yīng)關(guān)系的表格數(shù)據(jù)的一例的圖。圖10是表示視差校正后的圖像形成的立體圖像顯示的情況的示意圖。圖11是表示非線性地進(jìn)行視差校正后的圖像的變焦值和視差量的對應(yīng)關(guān)系的圖。圖12是表示監(jiān)視器的顯示尺寸和像素的對應(yīng)關(guān)系的圖。圖13是表不第2實(shí)施方式中的視差校正后的視點(diǎn)圖像的變焦值和視差量的對應(yīng)關(guān)系的圖。圖14是表示第2實(shí)施方式中的圖像處理的一例的流程的主要部分流程圖。圖15是表示第2實(shí)施方式中的圖像處理的其他例子的流程的主要部分流程圖。圖16是示意地表示變焦過程中的被拍攝體的立體圖像的狀態(tài)的示意圖。圖17是表示第3實(shí)施方式中的視差校正后的視點(diǎn)圖像的變焦值和視差量的對應(yīng)關(guān)系的圖。圖18是表示用戶設(shè)定處理的一例的流程的流程圖。圖19是表示動(dòng)畫拍攝時(shí)實(shí)時(shí)進(jìn)行的圖像處理的其他例子的流程的流程圖。圖20是表示動(dòng)畫拍攝后進(jìn)行的圖像處理的其他例子的流程的流程圖。圖21是表示適用了本發(fā)明的計(jì)算機(jī)裝置的硬件構(gòu)成的框圖。
具體實(shí)施例方式以下根據(jù)附圖詳細(xì)說明本發(fā)明的實(shí)施方式。(第I實(shí)施方式)
圖I是表示本發(fā)明涉及的攝像裝置的構(gòu)成示例的框圖。攝像裝置10的構(gòu)成包括攝像鏡頭11L、11R、攝像傳感器12L、12R、信號(hào)處理部
13、圖像存儲(chǔ)器15、操作部16、電子變焦處理部17、視差量計(jì)算部18、視差量校正值計(jì)算部
19、視差量校正部20、監(jiān)視器21、記錄介質(zhì)接口 22、記錄介質(zhì)23、外部輸出設(shè)備24、控制部
25、電源部26及電池27。攝像鏡頭IlLUlR由將被拍攝體圖像成像在攝像傳感器12L、12R的受 光面上的光學(xué)系統(tǒng)構(gòu)成。本例中的攝像鏡頭IlLUlR包括聚焦鏡頭、變焦鏡頭及光圈裝置而成。攝像傳感器12L、12R分別對通過攝像鏡頭11L、IlR成像的被拍攝體圖像進(jìn)行拍攝。攝像傳感器12L、12R例如由CCD攝像傳感器、CMOS攝像傳感器等構(gòu)成。信號(hào)處理部13對從攝像傳感器12L、12R輸出的立體圖像(左眼圖像及右眼圖像)進(jìn)行AE處理、AF處理等各種信號(hào)處理。在本例的攝像裝置10中，由攝像鏡頭11L、11R、攝像傳感器12L、12R及信號(hào)處理部13構(gòu)成攝像單元14 (圖像取得單元)，該攝像單元14取得由多個(gè)視點(diǎn)圖像構(gòu)成的立體圖像。圖像傳感器15是逐幀地暫時(shí)存儲(chǔ)從信號(hào)處理部13輸出的立體圖像的存儲(chǔ)器(例如 RAM)。操作部16是接受用戶的輸入操作的輸入設(shè)備(例如按鍵開關(guān))。在本例的攝像裝置10中，由操作部16構(gòu)成取得任意變化的變焦值的變焦值取得單元。電子變焦處理部17根據(jù)通過操作部16取得的變焦值，通過圖像處理使立體圖像(左眼圖像及右眼圖像)變倍。視差量計(jì)算部18在多個(gè)視點(diǎn)圖像(左眼圖像及右眼圖像)之間計(jì)算各像素的視差量。對應(yīng)通過視差量計(jì)算部18計(jì)算出的視差量和通過操作部16取得的變焦值，視差量校正值計(jì)算部19計(jì)算出用于校正立體圖像(左眼圖像及右眼圖像)的各像素的視差量的視差量校正值。視差量校正部20根據(jù)通過視差量校正值計(jì)算部19計(jì)算出的視差量校正值，校正立體圖像(左眼圖像及右眼圖像)的各像素的視差量。即，對應(yīng)通過視差量計(jì)算部18計(jì)算出的視差量和通過操作部16取得的變焦值，校正立體圖像的各像素的視差量。通過該視差量的校正來變更視差量相對于變焦值的單位變化量的變化量。具體而言，若校正前的立體圖像中變焦值從廣角側(cè)向長焦側(cè)變化則相同被拍攝體距離的被拍攝體的視差量減小時(shí)，視差量校正部20校正視差量，使得若校正后的立體圖像中變焦值從廣角側(cè)向長焦側(cè)變化，則相同被拍攝體距離的被拍攝體的視差量增加或保持恒定。此外，視差量校正不限于在立體圖像的全部區(qū)域進(jìn)行，也可以校正立體圖像中的至少一部分。監(jiān)視器21、記錄介質(zhì)接口 22及外部輸出設(shè)備24輸出立體圖像。監(jiān)視器21是可立體顯示立體圖像的顯示設(shè)備。記錄介質(zhì)接口 22是外部輸出設(shè)備24的一例,在存儲(chǔ)卡等記錄介質(zhì)23中記錄立體圖像。外部輸出設(shè)備24例如由通過通信輸出(發(fā)送)立體圖像的通信接口等構(gòu)成。
控制部25控制攝像裝置10的各部分。本例的控制部25在通過操作部16取得的變焦值發(fā)生變化的期間，使變焦值的即將變化之前或剛變化之后的I幀立體圖像通過電子變焦處理部17進(jìn)行變倍，使變倍后的I幀靜止圖像(立體靜止圖像)通過外部輸出設(shè)備24進(jìn)行靜止圖像輸出，在變焦值未變化的期間，使立體圖像通過外部輸出設(shè)備24進(jìn)行動(dòng)畫輸出。并且，控制部25使變倍后的靜止圖像的顯示時(shí)間長于變焦值的變動(dòng)期間。并且，通過監(jiān)視器21等輸出單元，控制部25輸出通過階段性增加變焦值而階段性變倍后的立體靜止圖像。并且，控制部25通過漸顯及漸隱進(jìn)行變倍后的多個(gè)靜止圖像的切換。電源部26從電池27對攝像裝置10的各部分進(jìn)行供電。圖2是表示拍攝動(dòng)畫時(shí)實(shí)時(shí)進(jìn)行的圖像處理的一例的流程的流程圖。本處理通過控制部25根據(jù)程序來進(jìn)行。判斷有無通過操作部16進(jìn)行的變焦操作(步驟S2)，當(dāng)無變焦操作時(shí)，通過攝像單元14以I幀周期取得立體圖像(左眼圖像及右眼圖像)并保存到圖像存儲(chǔ)器15 (步驟S4)，從操作部16取得變焦值(步驟S6)。變焦值從廣角端到長焦端之間任意變化。之后的處理也逐幀進(jìn)行。當(dāng)有變焦操作時(shí)，將變焦操作時(shí)(變焦值變化前)的I幀立體圖像(左眼圖像及右眼圖像)保存到電子變焦用的存儲(chǔ)器(步驟S8)，從操作部16取得變焦值(步驟S10)，對應(yīng)所取得的變焦值，將保存在圖像存儲(chǔ)器15中的立體圖像通過電子變焦處理部17進(jìn)行變倍(放大或縮小)(步驟S12)。電子變焦用的存儲(chǔ)器可內(nèi)置于電子變焦處理部17，也可將圖像存儲(chǔ)器15分為實(shí)時(shí)的立體圖像的存儲(chǔ)器和電子變焦用的存儲(chǔ)器來使用。接著，通過視差量計(jì)算部18在左眼圖像和右眼圖像之間進(jìn)行基于立體匹配的對應(yīng)點(diǎn)檢測，計(jì)算出像素單位的視差量Px (步驟S14)。并且，通過視差量校正值計(jì)算部19，對應(yīng)通過視差量計(jì)算部18計(jì)算出的立體圖像的各像素的視差量和通過操作部16取得的變焦值，計(jì)算出校正立體圖像的各像素的視差量的校正值(步驟S16)。接著，通過視差量校正部20，根據(jù)校正值進(jìn)行左眼圖像及右眼圖像的再構(gòu)(步驟S18)。此處，對應(yīng)通過視差量計(jì)算部18計(jì)算出的各像素的視差量和通過操作部16取得的變焦值，校正各像素的視差量。通過該視差量的校正來變更立體圖像的視差量相對于變焦值的單位變化量的變化量。即，變更變焦值的變化量和視差量的變化量的對應(yīng)關(guān)系。具體而言，校正前的立體圖像中若變焦值從廣角側(cè)向長焦側(cè)變化則相同被拍攝體距離的被拍攝體的視差量減小時(shí)，校正視差量，使得校正后的立體圖像中若變焦值從廣角側(cè)向長焦側(cè)變化，則相同被拍攝體距離的被拍攝體的視差量增加(或不變)。接著,通過記錄介質(zhì)接口 22,將再構(gòu)的立體圖像記錄到記錄介質(zhì)23。也可通過監(jiān)視器21及外部輸出設(shè)備24輸出立體圖像。接著判斷是否繼續(xù)進(jìn)行變焦操作(步驟S22)，當(dāng)繼續(xù)進(jìn)行變焦操作時(shí)，返回到步驟S10。并且，判斷是拍攝完畢還是繼續(xù)拍攝(步驟S24)，當(dāng)繼續(xù)拍攝時(shí)，返回到步驟S2。在該處理中，在取得的變焦值發(fā)生變化的期間，將變焦值的即將變化之前或剛剛變化之后的I幀立體圖像(立體靜止圖像)通過電子變焦處理部17進(jìn)行變倍，輸出到監(jiān)視器21 ;在取得的變焦值未發(fā)生變化的期間，將多幀立體圖像(立體動(dòng)畫圖像)輸出到監(jiān)視器21。圖3是表示拍攝動(dòng)畫后進(jìn)行圖像處理時(shí)的圖像處理的一例的流程的流程圖。步驟S32、S34分別和圖2的步驟S4、S6相同。在步驟S36中，通過記錄介質(zhì)接口 22，將由左眼圖像及右眼圖像構(gòu)成的立體圖像逐中貞地記錄到記錄介質(zhì)23。此處,記錄介質(zhì)接口 22逐巾貞地向立體圖像附加變焦值信息,并記錄到記錄介質(zhì)23。在步驟S38中，判斷是拍攝完畢還是繼續(xù)拍攝，當(dāng)繼續(xù)拍攝時(shí)，返回到步驟S32及S34。 動(dòng)畫拍攝完畢后,在步驟S40中，通過記錄介質(zhì)接口 22,從記錄介質(zhì)逐巾貞地讀出立 體圖像(左眼圖像及右眼圖像)及變焦值信息。在步驟S40中，通過記錄介質(zhì)接口 22,從記錄介質(zhì)23讀出I巾貞立體圖像和變焦值信息。在步驟S42中判斷變焦值有無變化。當(dāng)變焦值變化時(shí)，在步驟S44中，通過電子變焦處理部17使圖像存儲(chǔ)器15內(nèi)的立體圖像進(jìn)行變倍(放大或縮小)。當(dāng)變焦值沒有變化時(shí)，在步驟S46中，從記錄介質(zhì)23讀出下一巾貞的立體圖像(左眼圖像及右眼圖像)，并保存到圖像存儲(chǔ)器15。步驟548、550、552、554分別和圖2的514、S 16、S 18 相同。在步驟S56中，判斷是否完成了所有幀處理，當(dāng)未完成所有幀時(shí)，關(guān)注下一幀，從圖像存儲(chǔ)器15讀出變焦值(S58)，返回到步驟S40。當(dāng)完成了所有幀處理時(shí)，結(jié)束本處理。如圖4所示，控制部25將變焦值變化過程中的期間分割為多個(gè)期間，并且將變焦值的變化量切換為階段性的變化而非連續(xù)的變化，從而進(jìn)行依次顯示及記錄在變焦值變化過程中的期間內(nèi)階段性變倍后的多個(gè)靜止圖像的控制。并且，控制部25使變倍后的多個(gè)靜止圖像的總顯示時(shí)間比變焦值的變動(dòng)期間長。并且，如圖5所示，控制部25通過漸顯及漸隱對監(jiān)視器21中的多個(gè)靜止圖像之間的顯示進(jìn)行切換。即，進(jìn)行以下控制漸隱顯示一個(gè)靜止圖像的同時(shí)，漸顯顯示另一個(gè)靜止圖像。圖6表示視差校正前的視點(diǎn)圖像(左眼圖像、右眼圖像)中的變焦值和視差量的對應(yīng)關(guān)系(稱為“視差分布”)。橫軸是變焦值，縱軸是視差量。即，表示視差量相對于變焦值的變化的變化(視差分布)。在圖6中，縱軸的中心是收斂點(diǎn)的視差(=0)，在該攝像裝置中，將收斂點(diǎn)的距離設(shè)定為2. Om0在該視差分布中，縱軸中心的上側(cè)表示距離比收斂點(diǎn)近的被拍攝體的視差，縱軸中心的下側(cè)表示距離比收斂點(diǎn)遠(yuǎn)的被拍攝體的視差。視差分布的上邊表示被拍攝體距離為O. 5m (MOD)時(shí)的視差變化，下邊表示無限遠(yuǎn)距離時(shí)的視差變化。在圖6中，視差變得最大的條件是被拍攝體距離為O. 5m的變焦T端，將該條件下的視差量設(shè)為Pmax。在該條件下，成為立體圖像從監(jiān)視器最大程度地躍出的狀態(tài)，成為難以進(jìn)行立體視覺融合的過大視差的可能性很大。另一方面，視差變得最小的條件是無限遠(yuǎn)距離的變焦W端，將該條件下的視差量設(shè)為Pmin。在該條件下，立體圖像成為處于監(jiān)視器的最深處的狀態(tài)，監(jiān)視器上的立體圖像的偏移量超過人的雙眼寬度(開散)的可能性較高。因此，需要通過視差校正來設(shè)定視差量的上限及下限。在圖6中，被拍攝體距離為2m的被拍攝體不取決于變焦值的變化，視差為零，沒有視差量的變化。被拍攝體距離大于(遠(yuǎn)于)2m的被拍攝體使變焦值從W側(cè)向T側(cè)變化時(shí)，視差量變小。即，是被拍攝體圖像變大的同時(shí)、進(jìn)入監(jiān)視器面深處的極不自然的視覺效果，因此會(huì)增加進(jìn)行立體觀察的觀察者的眼部疲勞。圖7表示由視差量校正部20進(jìn)行視差校正后的視點(diǎn)圖像中的變焦值和視差量的對應(yīng)關(guān)系(視差分布)。通過視差量校正部20進(jìn)行校正，將最大視差量從校正前的Pmax校正為Ptn，將最小視差量從Pmin校正為Pwf，將相對于各變焦值的視差量校正到Ptn和Pwf之間。此外，也可是Ptf = Pwf。為了將圖6所示的視差分布變更(校正)為圖7所示的視差分布，視差量校正值計(jì)算部19計(jì)算出與視差量相乘的系數(shù)k和視差量的偏移量S。視差量校正部20通過將各像 素的視差量乘以系數(shù)k而將各變焦值中的視差分布寬度壓縮為k倍。具體而言,在校正前視差量最大值Pmax>Ptn的情況下,確定k、且設(shè)為0〈k〈l,使得校正后Pmax ( Ptn。此外,在校正前視差量最大值Pmax ( Ptn的情況下，也可是k彡I。接著，為使最大視差量Pmax變?yōu)镻tn，視差量校正部20將各像素的視差量減去SI并使之偏移。對應(yīng)各變焦值來乘以該系數(shù)和偏移。并且，為獲得自然的變焦效果，視差量校正部20使視差量的偏移量隨著變焦值從T端向W端變化而增加，作為其結(jié)果，Ptf彡P(guān)wf、Ptn>Pwn。即，使最小視差量為Pwf。圖8A表示視差校正前的T端的左眼圖像90L及右眼圖像90R，圖8B表示視差壓縮(乘以系數(shù))后的T端的左眼圖像中的被拍攝體圖像90L及右眼圖像中的被拍攝體圖像90R。圖8C表示偏移后的T端的左眼圖像中的被拍攝體圖像90L及右眼圖像中的被拍攝體圖像90R。圖8D表示視差校正后的W端的左眼圖像中的被拍攝體圖像90L及右眼圖像中的被拍攝體圖像90R。此外，圖8A 圖8D中，圖示了四方形的被拍攝體圖像，但是實(shí)際上沒有限定被拍攝體的形狀。在圖8A中是過大視差及開散視差，因此通過執(zhí)行圖SB所示的將視差量乘以系數(shù)kl而進(jìn)行的視差壓縮及圖8C所示的視差量偏移SI，變焦后的立體圖像的視差量在視差極限內(nèi)。此外，乘法運(yùn)算和減法運(yùn)算的處理順序哪個(gè)在先均可。并且，如果提前確定如圖7所示地進(jìn)行校正，則如圖9所示那樣將變焦值和校正前視差量及校正后視差量的對應(yīng)關(guān)系提前作為表格數(shù)據(jù)進(jìn)行存儲(chǔ)，在視差校正時(shí)通過使用該表格數(shù)據(jù)進(jìn)行視差校正，可縮短處理時(shí)間。即，可將圖I的視差量校正值計(jì)算部19替換為圖8的表格數(shù)據(jù)。圖10是表示將視差校正后的立體圖像顯示在監(jiān)視器21時(shí)的立體圖像的示意圖。使變焦值從廣角W側(cè)向長焦T側(cè)變化時(shí)，視差量以視點(diǎn)位置靠近被拍攝體的方式(或者被拍攝體靠近視點(diǎn)位置的方式)進(jìn)行變化，因此可改善變焦造成的不自然感。圖11是使Ptf — Pwf、Ptn — Pwn的線為非線性的情況,越靠近T (長焦)端,視差量相對于變焦值的變化量的變化量越大。即，越靠近T端，被拍攝體的進(jìn)深方向上的移動(dòng)量越大。這樣一來，被拍攝體的移動(dòng)情況更接近實(shí)際情況?？筛鶕?jù)用戶設(shè)定值來確定視差量校正中使用的校正值。例如，通過操作部16接受輸出立體圖像的監(jiān)視器21 (立體視覺顯示設(shè)備)的尺寸(顯示畫面尺寸)的輸入或選擇。這是為了根據(jù)顯示畫面尺寸確定視差開散的極限值。圖12表示分辨率1920 X 1080點(diǎn)的監(jiān)視器中的顯示 尺寸和像素的對應(yīng)關(guān)系。并且，也可通過操作部16設(shè)置接受各用戶的雙眼間隔的輸入或選擇的單元。作為立體圖像的觀察者，當(dāng)以兒童為對象時(shí)，雙眼間隔約為5cm，將監(jiān)視器尺寸的與5cm相當(dāng)?shù)南袼財(cái)?shù)設(shè)為視差量下限值Pwf。視差量上限值Ptn例如以監(jiān)視器的畫面高度3倍的距離處的視聽為前提時(shí)，設(shè)定為約57像素。該P(yáng)tn根據(jù)立體視覺融合的允許范圍而定，因此存在個(gè)人差異。因此，優(yōu)選可通過用戶設(shè)定進(jìn)行變更。根據(jù)本實(shí)施方式，可改善變焦可變時(shí)觀察者的不適感，抑制立體視覺的疲勞。優(yōu)選通過對應(yīng)變焦值的從廣角端到長焦端的變化進(jìn)行視差量校正，降低過大視差及開散狀態(tài)。(第2實(shí)施方式)接著說明第2實(shí)施方式。在第2實(shí)施方式中，通過增大視差量相對于變焦值的變化量的變化量來強(qiáng)調(diào)變焦效果的同時(shí)，防止視差過大、視差開散。圖13表示第2實(shí)施方式的視差量校正部20進(jìn)行視差校正后的視點(diǎn)圖像中的變焦值和視差量的對應(yīng)關(guān)系(視差分布)。為強(qiáng)調(diào)變焦，優(yōu)選進(jìn)一步增大Ptf - Pwf.Ptn 一 Pwn的各條線的斜率，從而增大視差量相對于變焦值的變化量的變化量。即，對應(yīng)變焦值的變化量，增大被拍攝體的立體圖像的進(jìn)深方向上的移動(dòng)量，可強(qiáng)調(diào)變焦效果。這種情況下，在長焦(T)側(cè)、廣角(W)側(cè)，如圖13中的虛線21、22所示，校正后的視差量超過視差量上限值Ptn或小于視差量下限值Pwf的可能性變大。因此，視差量校正部20對校正量進(jìn)行校正，以使校正后的視差量處于視差量上限值Ptn至視差量下限值Pwf的范圍內(nèi)。例如，通過操作部16取得的變焦值小于Z1、且校正前的視差量超過Ptn時(shí)，將校正后的視差量固定為Ptn。并且，例如通過操作部16取得的變焦值大于特定的變焦值Z8、且校正前的視差量小于Pwf時(shí)，將校正后的視差量固定為Pwf。圖14是表示本實(shí)施方式中的圖像處理的流程的主要部分的流程圖。此外，如圖2所示地和第I實(shí)施方式相同地進(jìn)行步驟S2飛18。在步驟S 18中，雖然是通過視差量校正部20來根據(jù)校正值進(jìn)行視差量的計(jì)算(一次校正)，但卻是和圖2的步驟S 18相同的處理。在步驟S19a中，判斷變焦值是否小于Zl ;當(dāng)小于Zl時(shí)，在步驟S19b中，檢索超過視差量上限值Ptn的視差量的像素，將該像素的視差量全部設(shè)定為Ptn。并且，在步驟S19c中，判斷變焦值是否超過Z8 ;當(dāng)超過Z8時(shí)，在步驟S19d中，檢索小于視差量下限值Pwf的視差量的像素，將該像素的視差量全部設(shè)定為Pwf。即，在步驟S19a飛19d中，將步驟S18的剛校正之后的視差圖內(nèi)的視差量中、從Ptn至Pwf的范圍脫離的視差量設(shè)定為Ptn或Pwf。在步驟S19e中，通過視差量校正部20，根據(jù)二次校正值進(jìn)行左眼圖像及右眼圖像的再構(gòu)(二次校正)。步驟S20之后和圖2所示的步驟S20之后相同。該處理如圖15的流程圖所示，與變焦值無關(guān)，可在所有變焦區(qū)域內(nèi)進(jìn)行。即，步驟S18之后，按照圖14所示的步驟S19b、S19d、S19e的順序執(zhí)行。
圖16A、圖16B及圖16C示意地表示使變焦值在長焦方向上變化時(shí)、視差量超過Ptn時(shí)的被拍攝體的立體圖像的狀態(tài)。在圖16C中，當(dāng)視差量超過Ptn時(shí)，被拍攝體圖像顯示為平面狀。并且，圖16B中，隨著變焦值變大，被拍攝體圖像逐漸變?yōu)槠矫鏍?即被拍攝體圖像的前端和后端的距離差被逐漸壓縮)。在圖13所示的表示變焦值和視差量的對應(yīng)關(guān)系的圖表中，Ptn — Pwn, Ptf 一 Pwf等相同被拍攝體距離的線的斜率，可作為變焦感的強(qiáng)調(diào)級(jí)別來接受用戶的設(shè)定輸入操作，并且可變。此時(shí)，對應(yīng)用戶設(shè)定的強(qiáng)調(diào)級(jí)別，隨著強(qiáng)調(diào)級(jí)別增大，相同被拍攝體距離的線(Ptn - PwruPtf — Pwf等)的斜率增大。隨著該斜率增大，帶標(biāo)號(hào)的Ptf的值增大，帶標(biāo)號(hào)的Pwn的值減小。此外，Ptf ^ Pwf、Ptn>Pwn。
根據(jù)本實(shí)施方式，能夠在強(qiáng)調(diào)變焦效果的同時(shí)，防止視差過大、視差開散。(第3實(shí)施方式)在實(shí)際的拍攝中，存在被拍攝體距離范圍較小的情況。例如，在室內(nèi)拍攝時(shí)，不存在無限遠(yuǎn)的被拍攝體，并且在越過圍欄、網(wǎng)等的拍攝中，即使是最近距離也處于比MOD(最短對焦距離)遠(yuǎn)的范圍。此時(shí)，校正后的視差量的分布處于例如圖17的虛線31和虛線32之間的范圍內(nèi)。此時(shí)，從實(shí)際的視差分布中的最大值Pa及最小值Pb距極限值(Ptn及Pwf )存在富余量，因此可將該富余量分配到用于變焦效果的強(qiáng)調(diào)。具體而言，以最大值Pa成為上限值Ptn、最小值Pb成為下限值Pwf的方式調(diào)整視差校正偏移量S1、S2即可。其結(jié)果是，視差校正后，視差分布從虛線31和虛線32之間的范圍變更到實(shí)線33和實(shí)線34之間的范圍，表示相同被拍攝體距離下的變焦值和視差量的對應(yīng)關(guān)系的線的斜率變大。在本實(shí)施方式中，通過操作部16接受用于確定視差量校正中使用的視差校正值的設(shè)定信息的輸入。視差量校正值計(jì)算部19根據(jù)所輸入的設(shè)定信息計(jì)算視差量校正值。設(shè)定信息例如是監(jiān)視器21的顯示尺寸(監(jiān)視器尺寸)。設(shè)定信息例如可以是最近被拍攝體的被拍攝體距離信息及最遠(yuǎn)被拍攝體的被拍攝體距離信息中的至少一方。并且也可是通過控制部25的控制將變焦值設(shè)定為長焦端或廣角端，通過視差量校正值計(jì)算部19根據(jù)對焦的像素的視差量計(jì)算視差量校正值。并且也可是通過操作部16，接受用于確定視差量相對于變焦值的變化量的變化量的變焦效果設(shè)定信息的輸入；通過視差量校正值計(jì)算部19，根據(jù)所輸入的變焦效果設(shè)定信息計(jì)算視差量校正值。圖18是表示用戶設(shè)定處理的一例的流程的流程圖。在圖18中，當(dāng)變?yōu)橛脩粼O(shè)定模式時(shí)，首先將攝像鏡頭IlLUlR的變焦值(變焦位置)移動(dòng)(設(shè)定)到T端(步驟S71)，對用戶通過監(jiān)視器21進(jìn)行引導(dǎo)，以將作為拍攝對象的被拍攝體中被拍攝體距離最近的被拍攝體加入到AF區(qū)域內(nèi)，通過操作部16接受圖像讀入指示操作(步驟S72)。當(dāng)接受圖像讀入指示時(shí)，優(yōu)先近距離范圍，從最近距離一側(cè)尋找對焦位置(步驟S73)。即，對焦到作為拍攝對象的被拍攝體中最近的被拍攝體。接著，讀入左眼圖像及右眼圖像(步驟S74)，在AF區(qū)域內(nèi)檢測銳度高于預(yù)先設(shè)定的閾值的像素(步驟S75)，計(jì)算這些像素的視差量，確定視差量最大值Pa，計(jì)算從該視差量最大值Pa到Ptn的偏移量(Ptn — Pa)(步驟 S76)。接著，將攝像鏡頭11L、IlR的變焦值(變焦位置)移動(dòng)(設(shè)定)到W端(步驟S81)，通過監(jiān)視器21對用戶進(jìn)行引導(dǎo)，以將作為拍攝對象的被拍攝體中被拍攝體距最遠(yuǎn)離的被拍攝體加入到AF區(qū)域內(nèi)，通過操作部16接受圖像讀入指示操作(步驟S82)。當(dāng)接受圖像讀入指示時(shí)，優(yōu)選遠(yuǎn)距離范圍，從最遠(yuǎn)距離尋找對焦位置(步驟S83)。即，對焦到作為拍攝對象的被拍攝體中最遠(yuǎn)的被拍攝體。接著，讀入左眼圖像及右眼圖像(步驟S84)，在AF區(qū)域內(nèi)，檢測銳度高于提前設(shè)定的閾值的像素(步驟S85)，計(jì)算這些像素的視差量，確定視差量最小值Pb，計(jì)算從該視差量最小值Pb到Pwf的偏移量(Pb - Pwf)(步驟S86)。此外，求算視差量時(shí)進(jìn)行立體匹配，因此銳度高的圖像的匹配精度提高，視差量的精度也提高。在上述設(shè)定方法中，在長焦端及廣角端均計(jì)算出視差量的偏移量，但本發(fā)明不限 于此，也可在長焦端或廣角端計(jì)算出視差量的偏移量。并且也可是通過操作部16，從用戶接受最近被拍攝體的被拍攝體距離信息(最小被拍攝體距離)及最遠(yuǎn)被拍攝體的被拍攝體距離信息(最大被拍攝體距離)的直接輸入操作(或者選擇輸入操作)。也可是通過操作部16，接受用于確定視差量相對于變焦值的變化量的變化量的變焦效果設(shè)定信息的輸入；通過視差量校正值計(jì)算部19，根據(jù)輸入的變焦效果設(shè)定信息計(jì)算視差量校正值。以上以在變焦過程中進(jìn)行靜止圖像顯示的情況為例進(jìn)行了說明，但本發(fā)明不特別限于該情況。也可將本發(fā)明適用于在變焦過程中進(jìn)行動(dòng)畫顯示的情況。圖19是表示拍攝動(dòng)畫時(shí)實(shí)時(shí)進(jìn)行的圖像處理的一例的流程的流程圖。本處理通過控制部25并根據(jù)程序來進(jìn)行。此外，對和圖2所示的步驟相同的步驟標(biāo)以相同的標(biāo)號(hào)，此處僅說明不同點(diǎn)。在本例中，當(dāng)通過操作部16使變焦值變化并接受指示操作時(shí)，控制部25通過省略圖示的鏡頭驅(qū)動(dòng)部來驅(qū)動(dòng)攝像鏡頭IlLUlR的變焦鏡頭。在圖19中省略了該控制。圖19的步驟S4、S6、S14、S16、S18、S20分別是和圖2的相同標(biāo)號(hào)的步驟相同的處理。總之，通過視差量計(jì)算部18在多個(gè)視點(diǎn)圖像之間計(jì)算各像素的視差量(步驟S14)，通過視差量校正部20，對應(yīng)各像素的視差量和變焦值來校正立體圖像的各像素的視差量(步驟S18)。圖20是表示動(dòng)畫拍攝后進(jìn)行的圖像處理的一例的流程的流程圖。本處理通過控制部25并根據(jù)程序來進(jìn)行。此外，對和圖3所示的步驟相同的步驟標(biāo)以相同的標(biāo)號(hào)，此處僅說明不同點(diǎn)。圖20的步驟S32 S40及S48 S58是和圖3的相同標(biāo)號(hào)的步驟相同的處理?？傊?，通過視差量計(jì)算部18在多個(gè)視點(diǎn)圖像之間計(jì)算各像素的視差量(步驟S48)，通過視差量校正部20，對應(yīng)各像素的視差量和變焦值來校正立體圖像的各像素的視差量(步驟S52)。此外，以將本發(fā)明應(yīng)用于攝像裝置的情況為例進(jìn)行了說明，但本發(fā)明不特別限于此。例如也可將本發(fā)明應(yīng)用于圖21所示的計(jì)算機(jī)裝置100。在圖21中，對圖I所示的構(gòu)成要素標(biāo)注了相同的標(biāo)號(hào)。圖21所示的個(gè)人計(jì)算機(jī)裝置100包括操作部16、立體顯示部21 (監(jiān)視器)、記錄介質(zhì)接口 22、存儲(chǔ)器102及微處理器103。微處理器103具有圖I的電子變焦處理部17、視差量計(jì)算部18、視差量校正值計(jì)算部19、視差量校正部20及控制部25的功能。存儲(chǔ)器102具有圖I的圖像存儲(chǔ)器15的功能。本發(fā)明不限于本說明書中說明的例子或附圖所圖示的例子，在不脫離本發(fā)明主旨的范圍內(nèi)，當(dāng)然可進(jìn)行各種設(shè)計(jì)變更或改良。標(biāo)號(hào)說明 IlLUlR攝像鏡頭12LU2R攝像傳感器13信號(hào)處理部15圖像存儲(chǔ)器16操作部17電子變焦處理部18視差量計(jì)算部19視差量校正值計(jì)算部20視差量校正部21監(jiān)視器(顯示單元)22記錄介質(zhì)接口23記錄介質(zhì)25控制部
權(quán)利要求
1.一種圖像處理裝置，其特征在于，具有 圖像取得單元，取得由多個(gè)視點(diǎn)圖像構(gòu)成的立體圖像； 變焦值取得單元，取得變焦值； 視差量計(jì)算單元，在上述多個(gè)視點(diǎn)圖像之間計(jì)算各像素的視差量；及 視差量校正單元，對應(yīng)通過上述視差量計(jì)算單元計(jì)算出的各像素的上述視差量和通過上述變焦值取得單元取得的上述變焦值，校正通過上述圖像取得單元取得的上述立體圖像中的至少一部分像素的視差量。
2.根據(jù)權(quán)利要求I所述的圖像處理裝置，其特征在于，上述視差量校正單元對上述多個(gè)視點(diǎn)圖像進(jìn)行校正，以變更上述視差量相對于上述變焦值的單位變化量的變化量。
3.根據(jù)權(quán)利要求2所述的圖像處理裝置，其特征在于，校正前的上述立體圖像中若上述變焦值從廣角側(cè)向長焦側(cè)變化則相同被拍攝體距離的被拍攝體的視差量減小時(shí)，上述視差量校正單元校正上述視差量，使得校正后的上述立體靜止圖像中若上述變焦值從廣角側(cè)向長焦側(cè)變化，則相同被拍攝體距離的被拍攝體的視差量增加或保持恒定。
4.根據(jù)權(quán)利要求I至3中任一項(xiàng)所述的圖像處理裝置，其特征在于，上述視差量校正單元通過使校正前的上述視差量乘以系數(shù)、且使乘以系數(shù)后的上述視差量偏移，來校正上述視差量。
5.根據(jù)權(quán)利要求4所述的圖像處理裝置，其特征在于，上述視差量校正單元校正上述視差量，以使上述視差量的偏移量在從長焦端到廣角端的范圍內(nèi)變大。
6.根據(jù)權(quán)利要求I至5中任一項(xiàng)所述的圖像處理裝置，其特征在于，上述視差量校正單元校正上述視差量，以使上述變焦值在從廣角端到長焦端的范圍內(nèi)變化時(shí)相同被拍攝體距離的被拍攝體的視差量呈非線性增加。
7.根據(jù)權(quán)利要求I至6中任一項(xiàng)所述的圖像處理裝置，其特征在于，上述視差量校正單元進(jìn)行校正，以使上述視差量處于特定的上限值至特定的下限值的范圍內(nèi)。
8.根據(jù)權(quán)利要求I至7中任一項(xiàng)所述的圖像處理裝置，其特征在于，具有 設(shè)定信息輸入單元，接受用于確定上述視差量的校正中使用的視差量校正值的設(shè)定信息的輸入；和 視差量校正值計(jì)算單元，根據(jù)通過上述設(shè)定信息輸入單元輸入的上述設(shè)定信息，計(jì)算上述視差量校正值。
9.根據(jù)權(quán)利要求8所述的圖像處理裝置，其特征在于，上述設(shè)定信息是上述立體圖像的顯示尺寸。
10.根據(jù)權(quán)利要求I至7中任一項(xiàng)所述的圖像處理裝置，其特征在于，具有視差量校正值計(jì)算單元，上述視差量校正值計(jì)算單元根據(jù)將上述變焦值設(shè)定在長焦端或廣角端而對焦的像素的視差量來計(jì)算上述視差量的校正值。
11.根據(jù)權(quán)利要求8所述的圖像處理裝置，其特征在于，上述設(shè)定信息包括最近被拍攝體的被拍攝體距離信息及最遠(yuǎn)被拍攝體的被拍攝體距離信息中的至少一個(gè)被拍攝體距離信息。
12.根據(jù)權(quán)利要求I至11中任一項(xiàng)所述的圖像處理裝置，其特征在于，具有 變焦效果設(shè)定信息輸入單元，接受用于確定上述視差量相對于上述變焦值的單位變化量的變化量的變焦效果設(shè)定信息的輸入；和視差量校正值計(jì)算單元，根據(jù)通過上述設(shè)定信息輸入單元輸入的上述變焦效果設(shè)定信息，來計(jì)算上述視差量校正值。
13.根據(jù)權(quán)利要求I至12中任一項(xiàng)所述的圖像處理裝置，其特征在于， 具有通過圖像處理進(jìn)行電子變焦的電子變焦處理單元， 上述變焦值取得單元取得上述電子變焦的變焦值。
14.一種攝像裝置，具有權(quán)利要求I至13中任一項(xiàng)所述的圖像處理裝置，其特征在于， 上述圖像取得單元包括含有變焦鏡頭的攝像鏡頭；及對通過上述攝像鏡頭成像的被拍攝體圖像進(jìn)行拍攝的攝像元件； 上述變焦值取得單元取得上述變焦鏡頭的變焦值。
15.一種圖像處理方法，使用取得由多個(gè)視點(diǎn)圖像構(gòu)成的立體圖像的圖像取得單元；取得變焦值的變焦值取得單元；及輸出上述立體圖像的輸出單元；其特征在于，包括如下步驟 視差量計(jì)算步驟，在上述多個(gè)視點(diǎn)圖像之間計(jì)算各像素的視差量；和視差量校正步驟，對應(yīng)通過上述視差量計(jì)算單元計(jì)算出的各像素的上述視差量和通過上述變焦值取得單元取得的上述變焦值，校正通過上述圖像取得單元取得的上述立體圖像中的至少一部分像素的視差量。
全文摘要
消除變焦期間的視覺上的不適感，以避免使觀察者產(chǎn)生疲勞。圖像處理裝置具有攝像單元(14)，取得由多個(gè)視點(diǎn)圖像構(gòu)成的立體圖像；操作部(16)，取得變焦值；視差量計(jì)算部(18)，在多個(gè)視點(diǎn)圖像之間計(jì)算出各像素的視差量；及視差量校正部(20)，對應(yīng)通過視差量計(jì)算部(18)計(jì)算出的各像素的視差量和變焦值，校正立體圖像的各像素的視差量。
文檔編號(hào)H04N5/225GK102959968SQ20118003029
公開日2013年3月6日 申請日期2011年6月28日 優(yōu)先權(quán)日2010年6月30日
發(fā)明者澤地洋一 申請人:富士膠片株式會(huì)社