專利名稱：圖像處理裝置、圖像處理方法和程序的制作方法
技術(shù)領(lǐng)域：
本公開涉及一種圖像處理裝置、圖像處理方法和程序，更具體地涉及一種用于生成應(yīng)用于三維(3D)圖像顯示的多視點(diǎn)圖像的圖像處理裝置、圖像處理方法和程序。
背景技術(shù)：
裸眼型3D顯示裝置已經(jīng)投入使用。裸眼型3D顯示裝置在三維(3D)圖像顯示處理中允許用戶在不佩戴眼鏡的情況下感知立體圖像。裸眼型3D顯示裝置例如在顯示器表面上包括透鏡板或者視差屏障(parallax barrier)，其根據(jù)視聽位置控制進(jìn)入左眼和右眼的圖像。

然而，使用這種方法，僅可以在相對于顯示器的有限的視聽位置獲得正確的立體視圖。因此，當(dāng)用戶的觀看位置位于不同于指定位置的位置時，出現(xiàn)倒視(reversedvision)和串?dāng)_。在倒視中，右眼圖像進(jìn)入左眼，左眼圖像進(jìn)入右眼。在串?dāng)_中，左眼圖像和右眼圖像混合。為了解決該問題，提出了如下配置不僅生成并顯示與常規(guī)觀看位置相對應(yīng)的標(biāo)準(zhǔn)左眼圖像和標(biāo)準(zhǔn)右眼圖像，還生成并顯示被配置為從其它觀看位置觀看時不產(chǎn)生任何串?dāng)_的新視點(diǎn)的圖像。不僅生成原始的左眼圖像和右眼圖像的組，還生成其它虛擬視點(diǎn)的圖像作為多視點(diǎn)圖像，并且可以根據(jù)觀看位置從這些多視點(diǎn)圖像中選擇根據(jù)用戶的觀看位置的合適的左眼圖像和右眼圖像的組，由此在減少倒視和串?dāng)_的情況下顯示圖像。換句話說，這允許用戶根據(jù)用戶的觀看位置觀看不同的左眼圖像和右眼圖像對，從而即使當(dāng)用戶的觀看位置改變時，這允許觀看者的左眼和右眼根據(jù)每個觀看位置觀看左眼圖像和右眼圖像。更具體地，基于輸入到顯示裝置或者圖像處理裝置的針對兩個視點(diǎn)的原始圖像，即，包括用于3D圖像顯示的左眼圖像(L圖像)和右眼圖像(R圖像)的雙視點(diǎn)圖像，除了這兩個視點(diǎn)之外，還生成針對虛擬視點(diǎn)的視點(diǎn)圖像。例如，生成包括原始LR圖像的針對十個不同的視點(diǎn)的多視點(diǎn)圖像。根據(jù)用戶相對于顯示器的觀看位置，用戶觀看所生成的多視點(diǎn)圖像中合適的兩個圖像的組合，由此可以顯示3D圖像，并且可以在各個觀看位置處在減少左眼圖像和右眼圖像混合的串?dāng)_的情況下觀看3D圖像。例如，日本專利申請?zhí)亻_第2006-115198號公開了如下方法輸入原始左眼圖像(L圖像)和原始右眼圖像(R圖像)，根據(jù)這兩個圖像執(zhí)行視差檢測，并且基于檢測到的視差信息生成針對多個虛擬視點(diǎn)的圖像。更具體地，根據(jù)包括左眼圖像(L圖像)和右眼圖像(R圖像)的兩個接收到的原始3D圖像檢測視差，并且基于串?dāng)_的量和融合視差范圍確定與接收到的LR圖像不同的虛擬視點(diǎn)位置。然而，在該日本專利申請?zhí)亻_第2006-115198號中描述的處理中，不考慮所生成的虛擬視點(diǎn)圖像的質(zhì)量，并且在該日本專利申請?zhí)亻_第2006-115198號中描述的處理被配置為使用左眼圖像和右眼圖像的中心作為基準(zhǔn)來確定虛擬視點(diǎn)位置。因此，所生成的虛擬視點(diǎn)圖像的質(zhì)量降低，并且可能顯示可能幾乎觀看不到的圖像。 在虛擬視點(diǎn)位置和圖像質(zhì)量之間存在密切關(guān)系。例如，在接收到的L圖像的視點(diǎn)位置是O. 0，而接收到的R圖像的視點(diǎn)位置是I. O的情況下，針對新生成的虛擬視點(diǎn)的圖像和其圖像質(zhì)量之間的關(guān)系具有以下特征。(特征I)在O.O和I. O之間，即在L圖像(O. O)和R圖像(I. O)之間的虛擬視點(diǎn)位置，作為LR圖像的中心位置的O. 5的虛擬視點(diǎn)圖像與其它虛擬視點(diǎn)位置相比具有最低的圖
像質(zhì)量。(特征2)在L圖像左側(cè)或者在R圖像右側(cè)的等于或小于O.O以及等于或大于I. O 的虛擬視點(diǎn)位置，位置距離L圖像或R圖像越遠(yuǎn)，視頻的質(zhì)量變得越低。例如根據(jù)視差檢測的精確度和包含在圖像中的遮擋區(qū)域的量，得出該虛擬視點(diǎn)位置和圖像質(zhì)量之間的關(guān)系。注意，當(dāng)視點(diǎn)位置是O. O時，可以按原樣使用接收到的原始左眼圖像，并且在視點(diǎn)位置I. O處，可以按原樣使用接收到的原始右眼圖像。因此，在這些位置，圖像質(zhì)量最高。日本專利申請?zhí)亻_第2006-115198號提出了如下方法檢測接收到的原始左眼圖像(L圖像)和接收到的原始右眼圖像(R圖像)的3D圖像中的最大視差量，并且確定虛擬視點(diǎn)位置，使得最大視差包含在串?dāng)_量和融合視差范圍內(nèi)。換句話說，其公開了確定根據(jù)接收到的LR圖像的最大視差量生成的虛擬視點(diǎn)圖像的視點(diǎn)間隔的方法。然而，當(dāng)根據(jù)原始LR圖像檢測最大視差時，不考慮具有最大視差以及圖像區(qū)域吸引注意力的可能性最高的圖像區(qū)域中的圖像。因此，例如，出現(xiàn)以下問題。*在最大視差檢測期間，不考慮具有最大視差的圖像區(qū)域的面積的大小。因此，當(dāng)具有小面積大小的對象具有最大視差時，根據(jù)幾乎不影響視覺外觀的最大視差圖像區(qū)域的存在，可能超過需要地降低虛擬視點(diǎn)間隔。*另外，在最大視差檢測期間，不考慮具有最大視差的圖像區(qū)域吸引注意力的可能性。因此，當(dāng)在視覺外觀方面幾乎不吸引注意力的圖像區(qū)域具有最大視差時，根據(jù)幾乎不影響視覺外觀的圖像區(qū)域的最大視差信息，虛擬視點(diǎn)間隔可能超過需要地減小或增大。日本專利申請?zhí)亻_第H9-121370號公開了使用原始接收到的左眼圖像(L圖像)和原始接收到的右眼圖像(R圖像)，通過平行移動這些圖像(移位)，使視差保持在融合范圍內(nèi)的方法。通過利用在日本專利申請?zhí)亻_第H9-121370號中公開的移位處理來生成虛擬視點(diǎn)圖像，能夠調(diào)整視差分布的偏移，即，可以進(jìn)行偏移調(diào)整以使太深的圖像整體移動到觀看者側(cè)。然而，由于不能調(diào)整視差分布的范圍，因此可能出現(xiàn)如下差錯作為偏移調(diào)整的結(jié)果，整個圖像向觀看者側(cè)移位太多，或者向較深側(cè)移動太多。

發(fā)明內(nèi)容
本公開用于例如解決上述問題，本公開提供一種圖像處理裝置、圖像處理方法和程序，其具有基于3D圖像的左眼圖像(L圖像)和右眼圖像(R圖像)進(jìn)行多視點(diǎn)圖像生成處理的配置，其中，在例如根據(jù)圖像質(zhì)量、適當(dāng)視差量或者可能吸引注意力的圖像的區(qū)域來確定虛擬視點(diǎn)位置之后，生成多視點(diǎn)圖像。
根據(jù)本公開的第一實施例，提供一種圖像處理裝置，包括左眼圖像輸入單元，被配置為輸入作為應(yīng)用于三維圖像顯示的左眼圖像信號的左眼圖像(L圖像)；右眼圖像輸入單元，被配置為輸入作為應(yīng)用于三維圖像顯示的右眼圖像信號的右眼圖像(R圖像)；視差信息生成單元，被配置為根據(jù)所述左眼圖像(L圖像)和所述右眼圖像(R圖像)生成視差信息；以及虛擬視點(diǎn)圖像生成單元，被配置為接收所述左眼圖像(L圖像)、所述右眼圖像(R圖像)和所述視差信息，并且生成虛擬視點(diǎn)圖像，所述虛擬視點(diǎn)圖像包括不同于所接收到的左眼圖像和右眼圖像的視點(diǎn)的視點(diǎn)圖像。所述虛擬視點(diǎn)圖像生成單元通過根據(jù)虛擬視點(diǎn)圖像的圖像質(zhì)量、適當(dāng)視差量或者按照圖像區(qū)域的圖像權(quán)重中的至少一個的處理來確定虛擬視點(diǎn)位置，并且生成與所確定的虛擬視點(diǎn)位置相對應(yīng)的虛擬視點(diǎn)圖像。所述虛擬視點(diǎn)圖像生成單元計算指示虛擬視點(diǎn)圖像的圖像質(zhì)量的圖像質(zhì)量評價值Q，通過應(yīng)用所計算的圖像質(zhì)量評價值Q來計算虛擬視點(diǎn)間隔G，并且基于所計算的虛擬 視點(diǎn)間隔G來確定所述虛擬視點(diǎn)位置。所述虛擬視點(diǎn)圖像生成單元通過應(yīng)用所述視差信息的可靠度信息或者所生成的虛擬視點(diǎn)圖像信息中的至少一個的信息來計算所述圖像質(zhì)量評價值Q。所述虛擬視點(diǎn)圖像生成單元計算融合視差量和串?dāng)_容許量中的較小的值作為適當(dāng)視差量，通過應(yīng)用所計算的適當(dāng)視差量來計算虛擬視點(diǎn)間隔G，并且基于所計算的虛擬視點(diǎn)間隔G來確定所述虛擬視點(diǎn)位置。所述虛擬視點(diǎn)圖像生成單元計算融合視差量和串?dāng)_容許量中的較小的值作為適當(dāng)視差量，通過應(yīng)用所計算的適當(dāng)視差量來計算虛擬視點(diǎn)間隔G，并且基于所計算的虛擬視點(diǎn)間隔G來確定所述虛擬視點(diǎn)位置。所述圖像處理裝置包括權(quán)重信息生成單元，被配置為根據(jù)圖像區(qū)域計算圖像權(quán)重信息。所述虛擬視點(diǎn)圖像生成單元計算通過應(yīng)用所述圖像權(quán)重信息來校正所述視差信息而獲得的加權(quán)視差分布，通過應(yīng)用所述適當(dāng)視差量和根據(jù)所計算的加權(quán)視差分布計算的視差的最大值來計算虛擬視點(diǎn)間隔G，并且基于所計算的虛擬視點(diǎn)間隔G來確定所述虛擬視點(diǎn)位置。所述權(quán)重信息生成單元生成根據(jù)圖像的位置設(shè)置以圖像區(qū)域為單位的權(quán)重的圖像權(quán)重信息或者根據(jù)包含在圖像中的對象的圖像權(quán)重信息。所述虛擬視點(diǎn)圖像生成單元通過根據(jù)虛擬視點(diǎn)圖像的圖像質(zhì)量、適當(dāng)視差量或者按照圖像區(qū)域的圖像權(quán)重中的至少一個的處理來確定第一虛擬視點(diǎn)位置，通過對所確定的第一虛擬視點(diǎn)位置進(jìn)行非線性映射處理來確定具有不規(guī)則間隔的第二虛擬視點(diǎn)位置，并且生成與所確定的具有所述不規(guī)則間隔的第二虛擬視點(diǎn)位置相對應(yīng)的虛擬視點(diǎn)圖像。所述虛擬視點(diǎn)圖像生成單元通過根據(jù)虛擬視點(diǎn)圖像的圖像質(zhì)量、適當(dāng)視差量或者按照圖像區(qū)域的圖像權(quán)重中的至少一個的處理來確定虛擬視點(diǎn)位置，基于根據(jù)所述視差信息計算的視差分布數(shù)據(jù)計算平行移動量，基于所計算的平行移動量執(zhí)行各個虛擬視點(diǎn)位置的虛擬視點(diǎn)圖像之間的視差分布的移動處理，并且生成反映所述視差分布數(shù)據(jù)的移動處理結(jié)果的虛擬視點(diǎn)圖像。根據(jù)本公開的第二實施例，提供一種圖像拍攝裝置，包括圖像拍攝單元，被配置為拍攝應(yīng)用于三維圖像顯示的作為左眼圖像信號的左眼圖像(L圖像)和作為右眼圖像信號的右眼圖像(R圖像);左眼圖像輸入單元，被配置為從所述圖像拍攝單元輸入應(yīng)用于所述三維圖像顯示的作為所述左眼圖像信號的所述左眼圖像(L圖像);右眼圖像輸入單元，被配置為從所述圖像拍攝單元輸入應(yīng)用于所述三維圖像顯示的作為所述右眼圖像信號的所述右眼圖像(R圖像);視差信息生成單元，被配置為根據(jù)所述左眼圖像(L圖像)和所述右眼圖像(R圖像)生成視差信息；以及虛擬視點(diǎn)圖像生成單元，被配置為接收所述左眼圖像(L圖像)、所述右眼圖像(R圖像)和所述視差信息，并且生成虛擬視點(diǎn)圖像，所述虛擬視點(diǎn)圖像包括不同于所接收到的左眼圖像和右眼圖像的視點(diǎn)的視點(diǎn)圖像。所述虛擬視點(diǎn)圖像生成單元通過根據(jù)虛擬視點(diǎn)圖像的圖像質(zhì)量、適當(dāng)視差量或者按照圖像區(qū)域的圖像權(quán)重中的至少一個的處理來確定虛擬視點(diǎn)位置，并且生成與所確定的虛擬視點(diǎn)位置相對應(yīng)的虛擬視點(diǎn)圖像。 根據(jù)本公開的第三實施例，提供一種被圖像處理裝置用來生成多視點(diǎn)圖像的圖像處理方法，所述圖像處理方法包括由左眼圖像輸入單元輸入應(yīng)用于三維圖像顯示的作為左眼圖像信號的左眼圖像(L圖像)；由右眼圖像輸入單元輸入應(yīng)用于三維圖像顯示的作為右眼圖像信號的右眼圖像(R圖像)；由視差信息生成單元根據(jù)所述左眼圖像(L圖像)和所述右眼圖像(R圖像)生成視差信息；以及由虛擬視點(diǎn)圖像生成單元接收所述左眼圖像(L圖像)、所述右眼圖像(R圖像)和所述視差信息，并且生成虛擬視點(diǎn)圖像，所述虛擬視點(diǎn)圖像包括不同于所接收到的左眼圖像和右眼圖像的視點(diǎn)的視點(diǎn)圖像。在所述虛擬視點(diǎn)圖像生成步驟中，通過根據(jù)虛擬視點(diǎn)圖像的圖像質(zhì)量、適當(dāng)視差量或者按照圖像區(qū)域的圖像權(quán)重中的至少一個的處理來確定虛擬視點(diǎn)位置，并且生成與所確定的虛擬視點(diǎn)位置相對應(yīng)的虛擬視點(diǎn)圖像。根據(jù)本公開的第四實施例，提供一種使圖像處理裝置生成多視點(diǎn)圖像的程序，所述程序包括使左眼圖像輸入單元輸入作為應(yīng)用于三維圖像顯示的左眼圖像信號的左眼圖像(L圖像)；使右眼圖像輸入單元輸入作為應(yīng)用于三維圖像顯示的右眼圖像信號的右眼圖像(R圖像)；使視差信息生成單元根據(jù)所述左眼圖像(L圖像)和所述右眼圖像(R圖像)生成視差信息；以及使虛擬視點(diǎn)圖像生成單元接收所述左眼圖像(L圖像)、所述右眼圖像(R圖像)和所述視差信息，并且生成虛擬視點(diǎn)圖像，所述虛擬視點(diǎn)圖像包括不同于所接收到的左眼圖像和右眼圖像的視點(diǎn)的視點(diǎn)圖像。在所述虛擬視點(diǎn)圖像生成步驟中，通過根據(jù)虛擬視點(diǎn)圖像的圖像質(zhì)量、適當(dāng)視差量或者按照圖像區(qū)域的圖像權(quán)重中的至少一個的處理來確定虛擬視點(diǎn)位置，并且生成與所確定的虛擬視點(diǎn)位置相對應(yīng)的虛擬視點(diǎn)圖像。注意，根據(jù)本公開的實施例的程序例如是可以由以計算機(jī)可讀格式提供的存儲介質(zhì)或通信介質(zhì)向能夠執(zhí)行各種程序代碼的通用系統(tǒng)提供的程序。通過以計算機(jī)可讀格式提供這些程序，在計算機(jī)系統(tǒng)上實現(xiàn)根據(jù)這些程序的處理。從基于下面說明的本公開的附圖和實施例的更詳細(xì)的描述，本公開的其它目的、特征和優(yōu)點(diǎn)將變得明顯。在本說明書中，系統(tǒng)是多個裝置的集合的邏輯構(gòu)成，每個構(gòu)成的裝置不必局限于設(shè)置在同一殼體內(nèi)。根據(jù)本公開的實施例的配置，實現(xiàn)基于三維圖像的LR圖像生成多視點(diǎn)圖像的配置。更具體地，例如，提供虛擬視點(diǎn)圖像生成單元，其中，虛擬視點(diǎn)圖像生成單元接收應(yīng)用于三維圖像顯示的左眼圖像(L圖像)和右眼圖像(R圖像)，基于左眼圖像(L圖像)和右眼圖像(R圖像)生成視差信息，并且使用LR圖像和視差信息生成包括除接收到的LR圖像的視點(diǎn)之外的視點(diǎn)圖像的虛擬視點(diǎn)圖像。虛擬視點(diǎn)圖像生成單元通過根據(jù)虛擬視點(diǎn)圖像的圖像質(zhì)量、根據(jù)融合視差量和串?dāng)_容許量確定的適當(dāng)視差量以及按照對象等的圖像區(qū)域和圖像的位置的圖像權(quán)重中的至少一個的處理來確定虛擬視點(diǎn)位置，并且生成與所確定的虛擬視點(diǎn)位置相對應(yīng)的虛擬視點(diǎn)圖像。通過該處理，可以生成根據(jù)相應(yīng)觀看位置的最佳虛擬視點(diǎn)圖像，S卩，具有舒適的視差范圍的高質(zhì)量虛擬視點(diǎn)圖像。


圖I是示出說明由圖像處理裝置執(zhí)行的處理序列的流程圖的圖；圖2是說明虛擬視點(diǎn)圖像的生成處理的示例的圖；圖3是說明多視點(diǎn)圖像的顯示處理的示例的圖；圖4是說明多視點(diǎn)圖像的顯示處理的示例的圖；圖5是示出用于說明由圖像處理裝置執(zhí)行的虛擬視點(diǎn)位置確定處理序列的處理示例的流程圖的圖；圖6是示出虛擬視點(diǎn)圖像的圖像質(zhì)量的圖；圖7是說明虛擬視點(diǎn)圖像的圖像質(zhì)量的計算處理示例的圖；圖8是說明虛擬視點(diǎn)圖像的圖像質(zhì)量的計算處理示例的圖；圖9是說明N個視點(diǎn)的虛擬視點(diǎn)圖像的與各個視點(diǎn)位置相對應(yīng)的虛擬視點(diǎn)位置的確定處理示例的圖；圖10是說明N個視點(diǎn)的虛擬視點(diǎn)圖像的與各個視點(diǎn)位置相對應(yīng)的虛擬視點(diǎn)位置的確定處理不例的圖；圖11是說明N個視點(diǎn)的虛擬視點(diǎn)圖像的與各個視點(diǎn)位置相對應(yīng)的虛擬視點(diǎn)位置的確定處理不例的圖；圖12是說明N個視點(diǎn)的虛擬視點(diǎn)圖像的與各個視點(diǎn)位置相對應(yīng)的虛擬視點(diǎn)位置的確定處理不例的圖；圖13是說明N個視點(diǎn)的虛擬視點(diǎn)圖像的與各個視點(diǎn)位置相對應(yīng)的虛擬視點(diǎn)位置的確定處理不例的圖；圖14是示出用于說明由圖像處理裝置執(zhí)行的虛擬視點(diǎn)位置確定處理序列的處理示例的流程圖的圖；圖15是用于說明應(yīng)用了權(quán)重信息的加權(quán)視差分布的生成處理示例的圖；圖16是用于說明應(yīng)用了權(quán)重信息的加權(quán)視差分布的生成處理示例的圖；圖17是用于說明應(yīng)用了權(quán)重信息的加權(quán)視差分布的生成處理示例的圖；圖18A和18B是用于說明視差d和加權(quán)視差分布H (d)的關(guān)系數(shù)據(jù)以及視差d和視差累積分布O (d)的關(guān)系數(shù)據(jù)的圖；圖19是示出用于說明由圖像處理裝置執(zhí)行的虛擬視點(diǎn)位置確定處理序列的處理示例的流程圖的圖；圖20是示出用于說明由圖像處理裝置執(zhí)行的虛擬視點(diǎn)位置確定處理序列的處理示例的流程圖的圖； 圖2IA和2IB是用于說明具有不規(guī)則間隔的虛擬視點(diǎn)間隔的虛擬視點(diǎn)位置的確定處理示例的圖；圖22是示出說明使用移位處理生成虛擬視點(diǎn)圖像的處理示例的處理序列的流程圖的圖；圖23是用于說明視差d和加權(quán)視差分布H Cd)的關(guān)系數(shù)據(jù)以及視差d和視差累積分布O (d)的關(guān)系數(shù)據(jù)的圖；圖24是示出用于說明由圖像處理裝置執(zhí)行的虛擬視點(diǎn)位置確定處理序列的處理示例的流程圖的圖；圖25是說明加權(quán)視差分布和進(jìn)行了平行移動的校正的經(jīng)校正加權(quán)視差分布的示例的圖；·圖26是用于說明視差分布的平行移動的處理示例的圖；圖27是用于關(guān)于虛擬視點(diǎn)圖像生成處理的示例說明圖像的平行移動處理的圖；以及圖28是用于說明圖像處理裝置的配置示例的圖。
具體實施例方式參考附圖詳細(xì)說明根據(jù)本公開的實施例的圖像處理裝置、圖像處理方法和程序的實施例。根據(jù)以下項進(jìn)行說明。I.(第一實施例)根據(jù)圖像質(zhì)量執(zhí)行虛擬視點(diǎn)位置的確定處理的實施例1-1.由圖像處理裝置執(zhí)行的處理的總體處理序列1-2.根據(jù)第一實施例的虛擬視點(diǎn)位置的確定處理2.(第二實施例)基于適當(dāng)視差量和圖像權(quán)重執(zhí)行虛擬視點(diǎn)位置的確定處理的實施例3.(第三實施例)基于圖像質(zhì)量、適當(dāng)視差量和圖像權(quán)重執(zhí)行虛擬視點(diǎn)位置的確定處理的實施例4.(第四實施例)確定具有不規(guī)則間隔的虛擬視點(diǎn)位置的處理示例5.(第五實施例)使用移位處理生成虛擬視點(diǎn)圖像的處理示例6.圖像處理裝置的配置示例7.對本公開的配置的總結(jié)[I.(第一實施例)根據(jù)圖像質(zhì)量執(zhí)行虛擬視點(diǎn)位置的確定處理的實施例]首先，作為本公開的圖像處理裝置的第一實施例，說明根據(jù)圖像質(zhì)量執(zhí)行虛擬視點(diǎn)位置的確定處理的實施例。[1-1.由圖像處理裝置執(zhí)行的處理的總體處理序列]圖I是說明由根據(jù)本實施例的圖像處理裝置執(zhí)行的處理的總體處理序列的流程圖。首先，參考圖I的流程說明由根據(jù)本實施例的圖像處理裝置執(zhí)行的處理的總體處理序列，之后，按順序說明每個步驟的處理細(xì)節(jié)。在步驟SlOl中，圖像處理裝置接收用于三維圖像顯示的原始左眼圖像(L圖像)和原始右眼圖像(R圖像)，并且使用這些接收到的LR圖像獲得視差信息。換句話說，使用標(biāo)準(zhǔn)LR圖像獲得視差信息，其中，在從相對于顯示三維(3D)圖像的顯示器的標(biāo)準(zhǔn)視覺位置觀看時使用該標(biāo)準(zhǔn)LR圖像觀看最佳三維圖像。視差信息對應(yīng)于包含在標(biāo)準(zhǔn)LR圖像中的同一對象的圖像之間的偏離(水平方向上的像素偏離)，其是與到對象的距離相對應(yīng)的信息。更具體地，例如，生成以像素為單位的具有視差信息(對象距離信息)的數(shù)據(jù)。在步驟S102中，基于在步驟SlOl中獲得的視差信息確定要生成的多視點(diǎn)圖像的虛擬視點(diǎn)位置。標(biāo)準(zhǔn)LR圖像具有從大視差到小視差的特定范圍的視差。在步驟S102中，基于該視差分布信息等確定要生成的多視點(diǎn)圖像的虛擬視點(diǎn)位置。在步驟S103中，生成包括與步驟S102中確定的虛擬視點(diǎn)位置相對應(yīng)的虛擬視點(diǎn)圖像的多視點(diǎn)圖像。使用接收到的標(biāo)準(zhǔn)LR圖像生成虛擬視點(diǎn)圖像。 最后，在步驟S104中，使用在步驟S103中生成的虛擬視點(diǎn)圖像執(zhí)行圖像顯示處理。如上所述，當(dāng)從標(biāo)準(zhǔn)觀看位置觀看時，可以作為最佳三維圖像觀看到接收到的LR圖像，但是當(dāng)在觀看位置從標(biāo)準(zhǔn)位置偏離的情況下觀看標(biāo)準(zhǔn)LR圖像時，發(fā)生倒視或者串?dāng)_。然而，通過允許觀看者的左眼和右眼觀看根據(jù)觀看位置而從根據(jù)本處理生成的多視點(diǎn)圖像中選擇的兩個LR圖像，可以防止倒視或者串?dāng)_。在步驟S104中，執(zhí)行這種圖像顯示。隨后，說明如圖I所示的流程圖中的每個步驟的處理細(xì)節(jié)。(步驟SlOl:獲取視差信息)首先，說明步驟SlOl中的視差信息的獲取處理。在步驟SlOl中，接收用于三維圖像顯示的原始左眼圖像(L圖像)和原始右眼圖像(R圖像)，并且使用這些接收到的LR圖像來獲得視差信息。如上所述，視差信息對應(yīng)于包含在標(biāo)準(zhǔn)LR圖像中的同一對象的圖像之間的偏離(水平方向上的像素偏離)，其是與對象的距離相對應(yīng)的信息。更具體地，例如，生成以像素為單位的具有視差信息(對象距離信息)的數(shù)據(jù)。例如根據(jù)如下所述的已有方法執(zhí)行視差信息的獲取。(a)基于塊匹配的視差信息獲取處理(b)基于DP (動態(tài)編程)匹配的視差信息獲取處理(c)基于片段的視差信息獲取處理(d)基于學(xué)習(xí)的視差信息獲取處理(e)上述方法的組合的視差信息獲取處理例如，根據(jù)上述方法(a)至(e)中的任何一個來獲得視差信息。將簡要說明基于塊匹配的視差信息獲取處理。在接收到的原始左眼圖像(L圖像)和接收到的原始右眼圖像(R圖像)中，例如，選擇L圖像的像素區(qū)域(塊)，從R圖像中檢測與所選擇的塊相似的塊。換句話說，從LR圖像中選擇被確定為通過拍攝同一對象而獲得的區(qū)域的塊(匹配塊)。此外，測量LR圖像之間的匹配塊的位置偏離(水平方向上的像素的數(shù)量等)。
塊的位置偏離根據(jù)在該塊中拍攝的對象的距離而不同。換句話說，塊的位置偏離對應(yīng)于對象距離，并且獲得該位置偏離信息作為視差信肩、O注意，該視差信息的表示形式的示例包括深度圖(距離圖像)。深度圖是例如將L圖像和R圖像之間的以像素為單位的視差(對象距離)表示為以像素為單位作為亮度的圖像。在深度圖中，例如，亮區(qū)域指示近對象(靠近照相機(jī))，而暗區(qū)域指示遠(yuǎn)對象(遠(yuǎn)離照相機(jī))。換句話說，深度圖是將對象距離表示為亮度的圖像。在步驟SlOl中，例如，生成這種深度圖作為視差信息。(步驟S102:虛擬視點(diǎn)位置的確定)稍后將詳細(xì)說明步驟S102中的虛擬視點(diǎn)位置的確定處理。
(步驟S103:虛擬視點(diǎn)圖像的生成)隨后，說明步驟S103中的虛擬視點(diǎn)圖像的生成處理。在步驟S103中，生成與從在步驟S102中確定的虛擬視點(diǎn)位置觀看到的圖像相對應(yīng)的圖像。換句話說，生成虛擬視點(diǎn)圖像。在步驟S102中，例如，確定了預(yù)定數(shù)量的(例如10個)虛擬視點(diǎn)，并且在步驟S103中，生成與這些虛擬視點(diǎn)相對應(yīng)的虛擬視點(diǎn)圖像。使用接收到的標(biāo)準(zhǔn)LR圖像生成虛擬視點(diǎn)圖像。換句話說，使用用于三維圖像顯示的原始左眼圖像(L圖像)和原始右眼圖像(R圖像)生成虛擬視點(diǎn)圖像。參考圖2說明虛擬視點(diǎn)圖像的生成處理的具體示例。圖2示出了圖像處理裝置接收到的原始左眼圖像(L圖像)101和原始右眼圖像(R圖像)102，還示出了基于這些LR圖像生成的虛擬視點(diǎn)圖像103。左眼圖像(L圖像)101是從處于標(biāo)準(zhǔn)位置的左眼視點(diǎn)位置觀看到的圖像，右眼圖像(R圖像)102是從處于標(biāo)準(zhǔn)位置的右眼視點(diǎn)位置觀看到的圖像。將左眼圖像(L圖像)101的視點(diǎn)位置定義為O. 0，將右眼圖像(R圖像)102的視點(diǎn)位置定義為I. O。圖2示出了例如生成從視點(diǎn)位置O. O與I. O之間的視點(diǎn)位置O. 3的觀看圖像作為虛擬視點(diǎn)圖像103的處理的示例。在左眼圖像(L圖像)101和右眼圖像(R圖像)102中，在各自不同的位置拍攝到同一對象(蘋果)。在L圖像和R圖像中，因為視點(diǎn)位置不同，因此同一對象的位置處于不同的位置。當(dāng)生成從視點(diǎn)位置O. O與I. O之間的視點(diǎn)位置O. 3觀看到的虛擬視點(diǎn)圖像103時，通過線性插值設(shè)置該對象(蘋果)的位置。通過沿著如圖2所示的線LI改變對象位置，可以通過確定處于各個虛擬視點(diǎn)的虛擬視點(diǎn)圖像的對象位置來生成虛擬視點(diǎn)圖像。如上所述，通過基于接收到的LR圖像的線性插值處理來生成虛擬視點(diǎn)位置處的虛擬視點(diǎn)圖像。當(dāng)生成虛擬視點(diǎn)圖像時，可以通過使用接收到的LR圖像兩者混合兩個圖像的處理來生成虛擬視點(diǎn)圖像?？蛇x地，可以通過僅使用L圖像或者僅使用R圖像根據(jù)虛擬視點(diǎn)位置來偏離對象位置的處理，僅使用一個圖像生成虛擬視點(diǎn)圖像?？蛇x地，可以如下進(jìn)行處理。在靠近L圖像側(cè)的虛擬視點(diǎn)位置，僅使用L圖像生成虛擬視點(diǎn)圖像。在靠近R圖像側(cè)的虛擬視點(diǎn)位置，僅使用R圖像生成虛擬視點(diǎn)圖像。(步驟S104:圖像顯示處理)隨后，參考圖3說明步驟S104的處理，即，使用在步驟S103中生成的虛擬視點(diǎn)圖像進(jìn)行的圖像顯示處理的細(xì)節(jié)。由根據(jù)本公開的實施例的圖像處理裝置生成的顯示圖像是裸眼3D顯示裝置的顯示圖像，利用該裸眼3D顯示裝置，用戶可以在不佩戴眼鏡的情況下觀看立體圖像。裸眼3D顯示裝置在顯示器表面上包括透鏡板或者視差屏障(parallaxbarrier)，其根據(jù)視聽位置控制進(jìn)入左眼和右眼的圖像。換句話說，其具有如下配置生成左眼圖像和右眼圖像，僅允許左眼觀看到左眼圖像，并且僅允許右眼觀看到右眼圖像。使用這種技術(shù)，進(jìn)入左眼和右眼的圖像混合的串?dāng)_減少，這使得能夠在不佩戴眼·鏡的情況下進(jìn)行立體觀看。作為步驟S103中的生成虛擬視點(diǎn)圖像的結(jié)果，生成包括接收到的LR圖像的由多個視點(diǎn)(例如N個視點(diǎn))構(gòu)成的多視點(diǎn)圖像。在裸眼3D顯示裝置上顯示這N個圖像，根據(jù)觀看者的觀看位置，由觀看者的左眼和右眼分別感知視點(diǎn)圖像的不同組合，從而根據(jù)觀看位置執(zhí)行最佳3D圖像顯示。圖3示出了在包括接收到的LR圖像的多視點(diǎn)圖像的數(shù)量N為4的情況下使用第一視點(diǎn)至第四視點(diǎn)圖像的顯示處理的示例。圖3 Ca)的多視點(diǎn)圖像示出了包括接收到的LR圖像的多視點(diǎn)圖像。首先，通過交織這四個視點(diǎn)圖像來生成圖像。這是圖3 (b)的交織圖像。例如，沿水平方向布置第一視點(diǎn)圖像至第四視點(diǎn)圖像，并且生成交織圖像。在交織圖像中，設(shè)置根據(jù)觀看方向的屏障，使得當(dāng)從某一方向觀看時，被配置為僅觀看到特定視點(diǎn)圖像。圖3 (C)的觀看圖像示例示出了從某一觀看位置由觀看者的左眼或右眼觀看到的圖像的示例。該示例是觀看到第二視點(diǎn)圖像的屏障設(shè)置。為了將其感知為三維圖像，觀看者的左眼和右眼需要分別感知不同視點(diǎn)位置的觀看圖像。更具體地，例如，如圖4所示，這可以是如下設(shè)置將第二視點(diǎn)圖像感知為(Cl)左眼視點(diǎn)圖像，而將第四視點(diǎn)圖像感知為(c2)右眼視點(diǎn)圖像。如上所述，使用屏障方法的裸眼3D顯示裝置進(jìn)行顯示處理，使得屏障和觀看圖像根據(jù)觀看者的觀看位置而具有不同的設(shè)置。在透鏡方法中，觀看者的左眼和右眼也根據(jù)觀看位置分別觀看到一對不同的視點(diǎn)圖像。如上所述，在步驟S104中的圖像顯示處理中，執(zhí)行3D圖像顯示處理，使得根據(jù)觀看者的觀看位置觀看到一對不同的視點(diǎn)圖像。[1-2.根據(jù)第一實施例的虛擬視點(diǎn)位置確定處理]隨后，說明如圖I所示的流程圖中的步驟S102中執(zhí)行的虛擬視點(diǎn)位置的確定處理的細(xì)節(jié)。
圖5是用于說明在如圖I所示的流程圖中的步驟S102中執(zhí)行的虛擬視點(diǎn)位置的確定處理的詳細(xì)序列的流程圖。首先，參考該流程圖說明虛擬視點(diǎn)位置的確定處理的一系列處理。首先，在步驟S121中，估計虛擬視點(diǎn)圖像的質(zhì)量。更具體地，計算圖像質(zhì)量評價值(Q)。隨后，在步驟S122中，根據(jù)在步驟S121中獲得的虛擬視點(diǎn)圖像的圖像質(zhì)量(圖像質(zhì)量評價值(Q ))，確定虛擬視點(diǎn)間隔(G )。最后，在步驟S123中，根據(jù)在步驟S122中確定的虛擬視點(diǎn)間隔(G)，確定虛擬視點(diǎn) 位置。下文中，參考

上述處理中的每個的細(xì)節(jié)。(S121 :圖像質(zhì)量的估計處理)首先，參考圖6等說明在步驟S121中執(zhí)行的虛擬視點(diǎn)圖像的質(zhì)量(圖像質(zhì)量評價值(Q))的計算處理。如上面參考圖2所說明的，通過使用接收到的LR圖像執(zhí)行線性插值處理等，獲得虛擬視點(diǎn)圖像。換句話說，可用的圖像僅僅是接收到的左眼圖像(L圖像)和接收到的右眼圖像(R圖像)兩個圖像。當(dāng)使用這種設(shè)置生成虛擬視點(diǎn)圖像時，所生成的虛擬視點(diǎn)圖像的圖像質(zhì)量具有以下趨勢。(a) “視差檢測失敗的情況”或者“視差檢測的精度低的情況”，所生成的虛擬視點(diǎn)視頻的質(zhì)量降低。(b)在“復(fù)雜圖像”或者“出現(xiàn)太多遮擋的圖像”的情況下，所生成的虛擬視點(diǎn)視頻的質(zhì)量降低。與上面說明的圖2相似，圖6示出了由圖像處理裝置接收到的原始左眼圖像(L圖像)121和原始右眼圖像(R圖像)122，還示出了基于這些LR圖像生成的虛擬視點(diǎn)圖像123。將左眼圖像(L圖像)121的視點(diǎn)位置定義為O. 0，將右眼圖像(R圖像)122的視點(diǎn)位置定義為I. O。圖6示出了例如生成從視點(diǎn)位置O. O與I. O之間的視點(diǎn)位置O. 3的觀看圖像作為虛擬視點(diǎn)圖像123的處理的示例。圖6 (a)示出了對不復(fù)雜的圖像進(jìn)行的處理的示例。圖6 (b)示出了對復(fù)雜圖像進(jìn)行的處理的示例。通常來說，當(dāng)圖像的復(fù)雜度提高時，虛擬視點(diǎn)圖像的質(zhì)量降低。例如，作為虛擬視點(diǎn)圖像的質(zhì)量的估計方法的示例，應(yīng)用如下方法。(A)根據(jù)視差信息的可靠度的虛擬視點(diǎn)圖像質(zhì)量的估計處理(B)基于根據(jù)接收到的圖像生成的虛擬視點(diǎn)圖像與接收到的圖像之間的比較結(jié)果的虛擬視點(diǎn)圖像質(zhì)量的估計處理(C)生成實際使用的虛擬視點(diǎn)圖像，基于所生成的圖像的質(zhì)量估計處理例如，使用上述處理(A)至(C)中的任意一個或者上述處理(A)至(C)的組合，計算虛擬視點(diǎn)圖像的質(zhì)量評價值Q。
將說明該處理的具體示例。(A)根據(jù)視差信息的可靠度的虛擬視點(diǎn)圖像質(zhì)量的估計處理首先，說明根據(jù)視差信息的可靠度的虛擬視點(diǎn)圖像質(zhì)量的估計處理。該處理是計算如圖I的流程所示的步驟SlOl中獲得的視差信息(例如深度圖)的可靠度的處理，將該視差信息可靠度定義為圖像質(zhì)量。如上所述，基于接收到的LR圖像生成視差信息，例如，視差信息是通過諸如塊匹配等的處理而生成的數(shù)據(jù)。在一些情況下，在該處理中可能出現(xiàn)誤差，當(dāng)該視差信息不正確時，所生成的虛擬視點(diǎn)圖像的質(zhì)量降低。如上所述，虛擬視點(diǎn)圖像的圖像質(zhì)量與視差信息的精度緊密相關(guān)。因此，計算視差信息的精度，并且可以將其定義為虛擬視點(diǎn)圖像的圖像質(zhì)量。
參考圖7A和7B說明計算方法的具體示例。圖7A和7B示出了如下處理的示例對從接收到的LR圖像獲得的視差值的二次微分進(jìn)行積分，將該積分值定義為視差信息的可靠度，并且如下進(jìn)行確定積分值越小，視差信息的可靠度被確定為越高。從LR圖像獲得的視差表示根據(jù)對象距離的分布，但是例如，當(dāng)存在某一距離的對象時，在正確地計算了視差信息的情況下，與該單個對象相對應(yīng)的視差的值是恒定的。然而，在沒有正確進(jìn)行計算的情況下，出現(xiàn)各種值。換句話說，視差值變化。更具體地，當(dāng)正確地獲得了視差時，噪聲等產(chǎn)生的影響小，視差值趨于變得平滑，如圖7A所示，并且視差值的二次微分的積分值減小。在這種情況下，視差信息可靠度被確定為高，其結(jié)果是，虛擬視點(diǎn)圖像的圖像質(zhì)量也被確定為高(即，虛擬視點(diǎn)圖像的質(zhì)量評價值Q聞)。另一方面，當(dāng)沒有正確地獲得視差時，視差值分散到各種值，并且由于噪聲等的影響而趨于變化，如圖7B所示，相應(yīng)地，視差值的二次微分的積分值增大。在這種情況下，視差信息可靠度被確定為低，其結(jié)果是，虛擬視點(diǎn)圖像的圖像質(zhì)量也被確定為低(即，虛擬視點(diǎn)圖像的質(zhì)量評價值Q低)。注意，視差信息的可靠度確定處理不限于該處理。方法的另一示例包括計算包括視差信息(深度圖)的距離圖像與原始圖像之間的相關(guān)性，并且計算相關(guān)值作為可靠度。也可以應(yīng)用這種方法。(B)基于根據(jù)接收到的圖像生成的虛擬視點(diǎn)圖像與接收到的圖像之間的比較結(jié)果的虛擬視點(diǎn)圖像質(zhì)量的估計處理隨后，參考圖8說明基于根據(jù)接收到的圖像生成的虛擬視點(diǎn)圖像與接收到的圖像之間的比較結(jié)果的虛擬視點(diǎn)圖像質(zhì)量的估計處理的具體示例。(B)的處理是如下處理例如，使用視點(diǎn)位置為O. O的接收到的左眼圖像(L圖像)生成與視點(diǎn)位置為I. O的R圖像相對應(yīng)的虛擬視點(diǎn)圖像，將所生成的虛擬視點(diǎn)圖像與接收到的右眼圖像(R圖像)，即接收到的圖像進(jìn)行比較，并且根據(jù)差別來確定虛擬視點(diǎn)圖像的質(zhì)量。換句話說，當(dāng)差別大時，虛擬視點(diǎn)圖像的質(zhì)量被確定為低，而當(dāng)差別小時，虛擬視點(diǎn)圖像的質(zhì)量被確定為高。類似地，使用視點(diǎn)位置為I. O的接收到的右眼圖像(R圖像)生成與視點(diǎn)位置為O. O的L圖像相對應(yīng)的虛擬視點(diǎn)圖像L'，將所生成的虛擬視點(diǎn)圖像L'與接收到的左眼圖像(L圖像)，即接收到的圖像進(jìn)行比較，并且根據(jù)差別來確定虛擬視點(diǎn)圖像的質(zhì)量。圖8示出了如下處理的示例。步驟I :使用視差信息(深度圖)和接收到的視點(diǎn)位置為O. O的左眼圖像(L圖像)，生成與視點(diǎn)位置為I. O的R圖像相對應(yīng)的虛擬視點(diǎn)圖像V的處理步驟2 :將所生成的虛擬視點(diǎn)圖像R'與接收到的右眼圖像(R圖像)，即接收到的圖像進(jìn)行比較的處理在步驟2的比較處理中，例如，計算兩個圖像之間的差別的總和，當(dāng)差別較小時，虛擬視點(diǎn)圖像V被確定為是較正確的圖像，并且可靠度被確定為高(=虛擬視點(diǎn)圖像的質(zhì)量評價值Q被確定為高)，而當(dāng)差別較大時，虛擬視點(diǎn)圖像V被確定為是較不正確的圖像， 并且可靠度被確定為低(=虛擬視點(diǎn)圖像的質(zhì)量評價值Q被確定為低)。可以根據(jù)這種圖像比較來計算虛擬視點(diǎn)圖像的質(zhì)量評價值Q。(步驟S122:虛擬視點(diǎn)間隔的確定處理)隨后，說明步驟S122的處理，即，根據(jù)在步驟S121中獲得的虛擬視點(diǎn)圖像的圖像質(zhì)量(圖像質(zhì)量評價值(Q))確定虛擬視點(diǎn)間隔(G)的處理的具體示例。在該處理中，通過應(yīng)用以下參數(shù)來確定虛擬視點(diǎn)間隔(G)。Q :虛擬視點(diǎn)圖像質(zhì)量評價值(在步驟S121中計算的值)Q':虛擬視點(diǎn)間隔計算參數(shù)(用戶輸入)通過應(yīng)用這些參數(shù)，確定虛擬視點(diǎn)間隔(G)?；谶@些參數(shù)Q、Q'，通過下面的表達(dá)式計算虛擬視點(diǎn)間隔(G)。G=Q/Q’在N是虛擬視點(diǎn)的總數(shù)，Qmax是圖像的質(zhì)量評價值的最大值，Q’ =Qmax^N成立的情況下，貝1J以下表達(dá)式成立。當(dāng)虛擬視點(diǎn)圖像質(zhì)量評價值Q處于最大值Qmax時，G=Q/Q’ =1/N成立。例如，在接收到的LR圖像的視點(diǎn)位置如下L圖像視點(diǎn)位置=0. O, R圖像視點(diǎn)位置=1. 0，則虛擬視點(diǎn)位置是通過將視點(diǎn)位置O. O和視點(diǎn)位置I. O之間的長度除以N而獲得的位置。例如根據(jù)顯示裝置(顯示器)，應(yīng)用預(yù)設(shè)的值或者用戶輸入值作為虛擬視點(diǎn)的總數(shù)(N)。(步驟S123:虛擬視點(diǎn)位置的確定處理)隨后，說明步驟S123的處理，即，根據(jù)在步驟S122中獲得的虛擬視點(diǎn)間隔(G)來確定虛擬視點(diǎn)位置的處理的具體示例。首先，說明在確定虛擬視點(diǎn)位置時應(yīng)用的參數(shù)。在確定虛擬視點(diǎn)位置時應(yīng)用的參數(shù)包括以下參數(shù)。N :虛擬視點(diǎn)的總數(shù)P (1):第1個虛擬視點(diǎn)位置[1=0，1，2，...^2，^1]G :虛擬視點(diǎn)間隔Nfix :設(shè)置為基準(zhǔn)位置的虛擬視點(diǎn)位置(=基準(zhǔn)虛擬視點(diǎn)位置)的編號Pfix :設(shè)置為基準(zhǔn)位置的虛擬視點(diǎn)位置(=基準(zhǔn)虛擬視點(diǎn)位置)注意，作為上述參數(shù)的關(guān)系表達(dá)式，下面的關(guān)系表達(dá)式成立。
P (i) =Pfix+ (I-Nfix) XG在上述參數(shù)中，例如根據(jù)顯示裝置(顯示器)，應(yīng)用預(yù)設(shè)的值或用戶輸入值作為虛擬視點(diǎn)的總數(shù)(N)。虛擬視點(diǎn)位置P (i)是通過該步驟S123的處理而確定的虛擬視點(diǎn)位置信息。虛擬視點(diǎn)間隔(G)是在上面說明的步驟S122的處理中確定的值?；鶞?zhǔn)虛擬視點(diǎn)位置(Pfix)及其編號(Nfix)是可以自由設(shè)置的值。例如，基準(zhǔn)虛擬視點(diǎn)位置(Pf ix)及其編號(Nfix)是用戶輸入值。注意，例如，將位于多個虛擬視點(diǎn)位置左端的虛擬視點(diǎn)位置編號定義為0，向右側(cè)將基準(zhǔn)虛擬視點(diǎn)位置編號(Nfix)設(shè)置為1，2，3，...。 下文中，參考圖9至13，說明在虛擬視點(diǎn)的總數(shù)N為9的設(shè)置下，將基準(zhǔn)虛擬視點(diǎn)位置(Pfix)及其編號(Nfix)設(shè)置為各個值的虛擬視點(diǎn)位置的設(shè)置的示例。(虛擬視點(diǎn)位置確定處理示例I)參考圖9說明虛擬視點(diǎn)位置確定處理示例I。該處理示例I是根據(jù)以下設(shè)置的虛擬視點(diǎn)位置的確定處理的示例。虛擬視點(diǎn)的總數(shù)N=9基準(zhǔn)虛擬視點(diǎn)位置編號Nfix=8基準(zhǔn)虛擬視點(diǎn)位置Pfix=l. O (接收到的右眼圖像(R圖像)視點(diǎn)位置)虛擬視點(diǎn)間隔G=4/32,3/32，1/32，5/32圖9示出了以下四種模式的虛擬視點(diǎn)位置確定處理示例。(la) N=9, Nfix=8, Pfix=L O, G=4/32(lb)N=9,Nfix=8, Pfix=L 0，G=3/32(lc) N=9, Nfix=8, Pfix=L 0，G=l/32(Id) N=9, Nfix=8, Pfix=L 0，G=5/32這示出了如下示例如(la)至(Id)所示的九個粗線是虛擬視點(diǎn)位置，以間隔為G[ (la)G=4/32, (lb)G=3/32, (lc)G=l/32, (ld)G=5/32]的規(guī)則間隔設(shè)置從左端虛擬視點(diǎn)位置P (O)到右端虛擬視點(diǎn)位置P (8)總共九個(N=9)虛擬視點(diǎn)位置。(Ia)是 N=9, Nfix=8, Pfix=L 0，G=4/32 的不例。首先，根據(jù)以下設(shè)置條件將基準(zhǔn)虛擬視點(diǎn)位置編號Nfix=S的虛擬視點(diǎn)P (8)設(shè)置在基準(zhǔn)虛擬視點(diǎn)位置Pfix=L O處基準(zhǔn)虛擬視點(diǎn)位置Pfix=L O (接收到的右眼圖像(R圖像)視點(diǎn)位置)和基準(zhǔn)虛擬視點(diǎn)位置編號Nfix=8。隨后，從設(shè)置了虛擬視點(diǎn)P (8)的基準(zhǔn)位置開始，以虛擬視點(diǎn)間隔G=4/32設(shè)置其余虛擬視點(diǎn)P (O)至P (7)。通過該處理，設(shè)置如(Ia)所示的九個虛擬視點(diǎn)位置P (O)至P (8)。(Ib)是 N=9, Nfix=8, Pfix=L O, G=3/32 的示例。首先，根據(jù)以下設(shè)置條件將基準(zhǔn)虛擬視點(diǎn)位置編號Nfix=S的虛擬視點(diǎn)P (8)設(shè)置在基準(zhǔn)虛擬視點(diǎn)位置Pfix=L O處基準(zhǔn)虛擬視點(diǎn)位置Pfix=L O (接收到的右眼圖像(R圖像)視點(diǎn)位置)和基準(zhǔn)虛擬視點(diǎn)位置編號Nfix=8。隨后，從設(shè)置了虛擬視點(diǎn)P (8)的基準(zhǔn)位置開始，以虛擬視點(diǎn)間隔G=3/32設(shè)置其余虛擬視點(diǎn)P (O)至P (7)。
通過該處理，設(shè)置如(Ib)所示的九個虛擬視點(diǎn)位置P (O)至P (S)0(Ic)是 N=9, Nfix=8, Pfix=L O, G=l/32 的示例。首先，根據(jù)以下設(shè)置條件將基準(zhǔn)虛擬視點(diǎn)位置編號Nfix=S的虛擬視點(diǎn)P (8)設(shè)置在基準(zhǔn)虛擬視點(diǎn)位置Pfix=L O處基準(zhǔn)虛擬視點(diǎn)位置Pfix=L O (接收到的右眼圖像(R圖像)視點(diǎn)位置)和基準(zhǔn)虛擬視點(diǎn)位置編號Nfix=8。隨后，從設(shè)置了虛擬視點(diǎn)P (8)的基準(zhǔn)位置開始，以虛擬視點(diǎn)間隔G=l/32設(shè)置其余虛擬視點(diǎn)P (O)至P (7)。通過該處理，設(shè)置如(Ic)所示的九個虛擬視點(diǎn)位置P (O)至P (S)0(Id)是 N=9, Nfix=8, Pfix=L O, G=5/32 的示例。 首先，根據(jù)以下設(shè)置條件將基準(zhǔn)虛擬視點(diǎn)位置編號Nfix=S的虛擬視點(diǎn)P (8)設(shè)置在基準(zhǔn)虛擬視點(diǎn)位置Pfix=L O處基準(zhǔn)虛擬視點(diǎn)位置Pfix=L O (接收到的右眼圖像(R圖像)視點(diǎn)位置)和基準(zhǔn)虛擬視點(diǎn)位置編號Nfix=8。隨后，從設(shè)置了虛擬視點(diǎn)P (8)的基準(zhǔn)位置開始，以虛擬視點(diǎn)間隔G=5/32設(shè)置其余虛擬視點(diǎn)P (O)至P (7)。通過該處理，設(shè)置如(Id)所示的九個虛擬視點(diǎn)位置P (O)至P (S)0(虛擬視點(diǎn)位置確定處理示例2)隨后，參考圖10說明虛擬視點(diǎn)位置確定處理示例2。該處理示例2是根據(jù)以下設(shè)置的虛擬視點(diǎn)位置的確定處理的示例。虛擬視點(diǎn)的總數(shù)N=9基準(zhǔn)虛擬視點(diǎn)位置編號Nfix=0基準(zhǔn)虛擬視點(diǎn)位置Pfix=0. O (接收到的左眼圖像(L圖像)視點(diǎn)位置)虛擬視點(diǎn)間隔G=4/32,3/32，1/32，5/32圖10示出了以下四種模式的虛擬視點(diǎn)位置確定處理示例。(2a) N=9, Nfix=O, Pfix=O. O, G=4/32(2b) N=9, Nfix=O, Pfix=O. 0，G=3/32
(2c) N=9, Nfix=O, Pfix=O. 0，G=l/32(2d) N=9, Nfix=O, Pfix=O. 0，G=5/32這示出了如下示例如(2a)至(2d)所示的九個粗線是虛擬視點(diǎn)位置，以間隔為G[ (2a)G=4/32, (2b)G=3/32, (2c)G=l/32, (2d)G=5/32]的規(guī)則間隔設(shè)置從左端虛擬視點(diǎn)位置P (O)到右端虛擬視點(diǎn)位置P (8)總共九個(N=9)虛擬視點(diǎn)位置。(2a)是 N=9, Nfix=O, Pfix=O. O, G=4/32 的示例。首先，根據(jù)以下設(shè)置條件將基準(zhǔn)虛擬視點(diǎn)位置編號Nfix=O的虛擬視點(diǎn)P (O)設(shè)置在基準(zhǔn)虛擬視點(diǎn)位置PfiX=O. O處基準(zhǔn)虛擬視點(diǎn)位置Pfix=O. O (接收到的左眼圖像(L圖像)視點(diǎn)位置)和基準(zhǔn)虛擬視點(diǎn)位置編號Nfix=0。隨后，從設(shè)置了虛擬視點(diǎn)P(O)的基準(zhǔn)位置開始，以虛擬視點(diǎn)間隔G=4/32設(shè)置其余虛擬視點(diǎn)P (I)至P (8)。通過該處理，設(shè)置如(2a)所示的九個虛擬視點(diǎn)位置P (O)至P (8)。(2b)是 N=9, Nfix=O, Pfix=O. O, G=3/32 的示例。首先，根據(jù)以下設(shè)置條件將基準(zhǔn)虛擬視點(diǎn)位置編號Nfix=O的虛擬視點(diǎn)P (O)設(shè)置在基準(zhǔn)虛擬視點(diǎn)位置PfiX=O. O處基準(zhǔn)虛擬視點(diǎn)位置Pfix=O. O (接收到的左眼圖像(L圖像)視點(diǎn)位置)和基準(zhǔn)虛擬視點(diǎn)位置編號Nfix=0。隨后，從設(shè)置了虛擬視點(diǎn)P(O)的基準(zhǔn)位置開始，以虛擬視點(diǎn)間隔G=3/32設(shè)置其余虛擬視點(diǎn)P (I)至P (8)。通過該處理，設(shè)置如(2b)所示的九個虛擬視點(diǎn)位置P (O)至P (S)0(2c)是 N=9, Nfix=O, Pfix=O. O, G=l/32 的示例。首先，根據(jù)以下設(shè)置條件將基準(zhǔn)虛擬視點(diǎn)位置編號Nfix=O的虛擬視點(diǎn)P (O)設(shè)置在基準(zhǔn)虛擬視點(diǎn)位置Pfix=O. O處基準(zhǔn)虛擬視點(diǎn)位置Pfix=O. O (接收到的左眼圖像(L圖像)視點(diǎn)位置)和基準(zhǔn)虛擬視點(diǎn)位置編號Nfix=0。隨后，從設(shè)置了虛擬視點(diǎn)P(O)的基準(zhǔn)位置開始，以虛擬視點(diǎn)間隔G=l/32設(shè)置其余虛擬視點(diǎn)P (I)至P (8)。 通過該處理，設(shè)置如(2c)所示的九個虛擬視點(diǎn)位置P (O)至P (S)0(2d)是 N=9, Nfix=O, Pfix=O. O, G=5/32 的示例。首先，根據(jù)以下設(shè)置條件將基準(zhǔn)虛擬視點(diǎn)位置編號Nfix=O的虛擬視點(diǎn)P (O)設(shè)置在基準(zhǔn)虛擬視點(diǎn)位置PfiX=O. O處基準(zhǔn)虛擬視點(diǎn)位置Pfix=O. O (接收到的左眼圖像(L圖像)視點(diǎn)位置)和基準(zhǔn)虛擬視點(diǎn)位置編號Nfix=0。隨后，從設(shè)置了虛擬視點(diǎn)P(O)的基準(zhǔn)位置開始，以虛擬視點(diǎn)間隔G=5/32設(shè)置其余虛擬視點(diǎn)P (I)至P (8)。通過該處理，設(shè)置如(2d)所示的九個虛擬視點(diǎn)位置P (O)至P (S)0(虛擬視點(diǎn)位置確定處理示例3)隨后，參考圖11說明虛擬視點(diǎn)位置確定處理示例3。該處理示例3是根據(jù)以下設(shè)置的虛擬視點(diǎn)位置的確定處理的示例。虛擬視點(diǎn)的總數(shù)N=9基準(zhǔn)虛擬視點(diǎn)位置編號Nfix=4基準(zhǔn)虛擬視點(diǎn)位置Pfix=0. O (接收到的左眼圖像(L圖像)視點(diǎn)位置)虛擬視點(diǎn)間隔G=4/32,3/32，1/32，5/32圖11示出了以下四種模式的虛擬視點(diǎn)位置確定處理示例。(3a) N=9, Nfix=4, Pfix=O. O, G=4/32(3b) N=9, Nfix=4, Pfix=O. 0，G=3/32(3c) N=9, Nfix=4, Pfix=O. 0，G=l/32
(3d) N=9, Nfix=4, Pfix=O. 0，G=5/32這示出了如下示例如(3a)至(3d)所示的九個粗線是虛擬視點(diǎn)位置，以間隔為G[ (3a)G=4/32, (3b)G=3/32, (3c)G=l/32, (3d)G=5/32]的規(guī)則間隔設(shè)置從左端虛擬視點(diǎn)位置P (O)到右端虛擬視點(diǎn)位置P (8)總共九個(N=9)虛擬視點(diǎn)位置。(3a)是 N=9, Nfix=4, Pfix=O. O, G=4/32 的示例。首先，根據(jù)以下設(shè)置條件將基準(zhǔn)虛擬視點(diǎn)位置編號Nfix=4的虛擬視點(diǎn)P (4)設(shè)置在基準(zhǔn)虛擬視點(diǎn)位置PfiX=O. O處基準(zhǔn)虛擬視點(diǎn)位置Pfix=O. O (接收到的左眼圖像(L圖像)視點(diǎn)位置)和基準(zhǔn)虛擬視點(diǎn)位置編號Nfix=4。隨后，從設(shè)置了虛擬視點(diǎn)P (4)的基準(zhǔn)位置開始，以虛擬視點(diǎn)間隔G=4/32設(shè)置其余虛擬視點(diǎn)P (O)至P (3)和P (5)至P (8)。通過該處理，設(shè)置如(3a)所示的九個虛擬視點(diǎn)位置P (O)至P (8)。(3b)是 N=9, Nfix=4, Pfix=O. O, G=3/32 的示例。首先，根據(jù)以下設(shè)置條件將基準(zhǔn)虛擬視點(diǎn)位置編號Nfix=4的虛擬視點(diǎn)P (4)設(shè)置在基準(zhǔn)虛擬視點(diǎn)位置PfiX=O. O處基準(zhǔn)虛擬視點(diǎn)位置Pfix=O. O (接收到的左眼圖像(L圖像)視點(diǎn)位置)和基準(zhǔn)虛擬視點(diǎn)位置編號Nfix=4。隨后，從設(shè)置了虛擬視點(diǎn)P (4)的基準(zhǔn)位置開始，以虛擬視點(diǎn)間隔G=3/32設(shè)置其余虛擬視點(diǎn)P (O)至P (3)和P (5)至P (8)。通過該處理，設(shè)置如(3b)所示的九個虛擬視點(diǎn)位置P (O)至P (8)。
·
(3c)是 N=9, Nfix=4, Pfix=O. O, G=l/32 的示例。首先，根據(jù)以下設(shè)置條件將基準(zhǔn)虛擬視點(diǎn)位置編號Nfix=4的虛擬視點(diǎn)P (4)設(shè)置在基準(zhǔn)虛擬視點(diǎn)位置PfiX=O. O處基準(zhǔn)虛擬視點(diǎn)位置Pfix=O. O (接收到的左眼圖像(L圖像)視點(diǎn)位置)和基準(zhǔn)虛擬視點(diǎn)位置編號Nfix=4。隨后，從設(shè)置了虛擬視點(diǎn)P (4)的基準(zhǔn)位置開始，以虛擬視點(diǎn)間隔G=l/32設(shè)置其余虛擬視點(diǎn)P (O)至P (3)和P (5)至P (8)。通過該處理，設(shè)置如(3c)所示的九個虛擬視點(diǎn)位置P (O)至P (S)0(3d)是 N=9, Nfix=4, Pfix=O. O, G=5/32 的示例。首先，根據(jù)以下設(shè)置條件將基準(zhǔn)虛擬視點(diǎn)位置編號Nfix=4的虛擬視點(diǎn)P (4)設(shè)置在基準(zhǔn)虛擬視點(diǎn)位置PfiX=O. O處基準(zhǔn)虛擬視點(diǎn)位置Pfix=O. O (接收到的左眼圖像(L圖像)視點(diǎn)位置)和基準(zhǔn)虛擬視點(diǎn)位置編號Nfix=4。隨后，從設(shè)置了虛擬視點(diǎn)P (4)的基準(zhǔn)位置開始，以虛擬視點(diǎn)間隔G=5/32設(shè)置其余虛擬視點(diǎn)P (O)至P (3)和P (5)至P (8)。通過該處理，設(shè)置如(3d)所示的九個虛擬視點(diǎn)位置P (O)至P (S)0(虛擬視點(diǎn)位置確定處理示例4)隨后，參考圖12說明虛擬視點(diǎn)位置確定處理示例4。該處理示例4是根據(jù)以下設(shè)置的虛擬視點(diǎn)位置的確定處理的示例。虛擬視點(diǎn)的總數(shù)N=9基準(zhǔn)虛擬視點(diǎn)位置編號Nfix=2基準(zhǔn)虛擬視點(diǎn)位置Pfix=0. O (接收到的左眼圖像(L圖像)視點(diǎn)位置)虛擬視點(diǎn)間隔G=4/32,3/32，1/32，5/32圖12示出了以下四種模式的虛擬視點(diǎn)位置確定處理示例。(4a) N=9, Nfix=2, Pfix=O. O, G=4/32(4b) N=9, Nfix=2, Pfix=O. 0，G=3/32(4c) N=9, Nfix=2, Pfix=O. 0，G=l/32(4d) N=9, Nfix=2, Pfix=O. 0，G=5/32這示出了如下示例如(4a)至(4d)所示的九個粗線是虛擬視點(diǎn)位置，以間隔為G[ (4a)G=4/32, (4b)G=3/32, (4c)G=l/32, (4d)G=5/32]的規(guī)則間隔設(shè)置從左端虛擬視點(diǎn)位置P (O)到右端虛擬視點(diǎn)位置P (8)總共九個(N=9)虛擬視點(diǎn)位置。(4a)是 N=9, Nfix=2, Pfix=O. O, G=4/32 的示例。
首先，根據(jù)以下設(shè)置條件將基準(zhǔn)虛擬視點(diǎn)位置編號Nfix=2的虛擬視點(diǎn)P (2)設(shè)置在基準(zhǔn)虛擬視點(diǎn)位置PfiX=O. O處基準(zhǔn)虛擬視點(diǎn)位置Pfix=O. O (接收到的左眼圖像(L圖像)視點(diǎn)位置)和基準(zhǔn)虛擬視點(diǎn)位置編號Nfix=2。隨后，從設(shè)置了虛擬視點(diǎn)P (2)的基準(zhǔn)位置開始，以虛擬視點(diǎn)間隔G=4/32設(shè)置其余虛擬視點(diǎn)P (O)至P (I)和P (3)至P (8)。通過該處理，設(shè)置如(4a)所示的九個虛擬視點(diǎn)位置P (O)至P (8)。(4b)是 N=9, Nfix=2, Pfix=O. O, G=3/32 的示例。首先，根據(jù)以下設(shè)置條件將基準(zhǔn)虛擬視點(diǎn)位置編號Nfix=2的虛擬視點(diǎn)P (2)設(shè)置在基準(zhǔn)虛擬視點(diǎn)位置Pfix=O. O處基準(zhǔn)虛擬視點(diǎn)位置Pfix=O. O (接收到的左眼圖像(L圖像)視點(diǎn)位置)和基準(zhǔn)虛擬視點(diǎn)位置編號Nfix=2。
隨后，從設(shè)置了虛擬視點(diǎn)P (2)的基準(zhǔn)位置開始，以虛擬視點(diǎn)間隔G=3/32設(shè)置其余虛擬視點(diǎn)P (O)至P (I)和P (3)至P (8)。通過該處理，設(shè)置如(4b)所示的九個虛擬視點(diǎn)位置P (O)至P (8)。(4c)是 N=9, Nfix=2, Pfix=O. O, G=l/32 的示例。首先，根據(jù)以下設(shè)置條件將基準(zhǔn)虛擬視點(diǎn)位置編號Nfix=2的虛擬視點(diǎn)P (2)設(shè)置在基準(zhǔn)虛擬視點(diǎn)位置PfiX=O. O處基準(zhǔn)虛擬視點(diǎn)位置Pfix=O. O (接收到的左眼圖像(L圖像)視點(diǎn)位置)和基準(zhǔn)虛擬視點(diǎn)位置編號Nfix=2。隨后，從設(shè)置了虛擬視點(diǎn)P (2)的基準(zhǔn)位置開始，以虛擬視點(diǎn)間隔G=l/32設(shè)置其余虛擬視點(diǎn)P (O)至P (I)和P (3)至P (8)。通過該處理，設(shè)置如(4c)所示的九個虛擬視點(diǎn)位置P (O)至P (S)0(4d)是 N=9, Nfix=2, Pfix=O. O, G=5/32 的示例。首先，根據(jù)以下設(shè)置條件將基準(zhǔn)虛擬視點(diǎn)位置編號Nfix=2的虛擬視點(diǎn)P (2)設(shè)置在基準(zhǔn)虛擬視點(diǎn)位置PfiX=O. O處基準(zhǔn)虛擬視點(diǎn)位置Pfix=O. O (接收到的左眼圖像(L圖像)視點(diǎn)位置)和基準(zhǔn)虛擬視點(diǎn)位置編號Nfix=2。隨后，從設(shè)置了虛擬視點(diǎn)P (2)的基準(zhǔn)位置開始，以虛擬視點(diǎn)間隔G=5/32設(shè)置其余虛擬視點(diǎn)P (O)至P (I)和P (3)至P (8)。通過該處理，設(shè)置如(4d)所示的九個虛擬視點(diǎn)位置P (O)至P (S)0(虛擬視點(diǎn)位置確定處理示例5)隨后，參考圖13說明虛擬視點(diǎn)位置確定處理示例5。該處理示例5是根據(jù)以下設(shè)置的虛擬視點(diǎn)位置的確定處理的示例。虛擬視點(diǎn)的總數(shù)N=9基準(zhǔn)虛擬視點(diǎn)位置編號Nfix=4基準(zhǔn)虛擬視點(diǎn)位置Pfix=0. 5 (接收到的左眼圖像(L圖像)和接收到的右眼圖像(R圖像)中間處的視點(diǎn)位置)虛擬視點(diǎn)間隔G=4/32,3/32，1/32，5/32圖13示出了以下四種模式的虛擬視點(diǎn)位置確定處理示例。(5a) N=9, Nfix=4, Pfix=O. 5，G=4/32(5b) N=9, Nfix=4, Pfix=O. 5，G=3/32(5c) N=9, Nfix=4, Pfix=O. 5，G=l/32
(5d) N=9, Nfix=4, Pfix=O. 5，G=5/32這示出了如下示例如(5a)至(5d)所示的九個粗線是虛擬視點(diǎn)位置，以間隔為G[ (5a)G=4/32, (5b)G=3/32, (5c)G=l/32, (5d)G=5/32]的規(guī)則間隔設(shè)置從左端虛擬視點(diǎn)位置P (O)到右端虛擬視點(diǎn)位置P (8)總共九個(N=9)虛擬視點(diǎn)位置。(5a)是 N=9, Nf ix=4, Pfix=O. 5, G=4/32 的不例。首先，根據(jù)以下設(shè)置條件將基準(zhǔn)虛擬視點(diǎn)位置編號Nfix=4的虛擬視點(diǎn)P (4)設(shè)置在基準(zhǔn)虛擬視點(diǎn)位置Pfix=O. 5處基準(zhǔn)虛擬視點(diǎn)位置Pfix=O. 5 (接收到的左眼圖像(L圖像)和接收到的右眼圖像(R圖像)中間處的視點(diǎn)位置)和基準(zhǔn)虛擬視點(diǎn)位置編號Nfix=4。隨后，從設(shè)置了虛擬視點(diǎn)P (4)的基準(zhǔn)位置開始，以虛擬視點(diǎn)間隔G=4/32設(shè)置其余虛擬視點(diǎn)P (O)至P (3)和P (5)至P (8)。
通過該處理,設(shè)置如(5a)所示的九個虛擬視點(diǎn)位置P (O)至P (8)。(5b)是 N=9, Nfix=4, Pfix=O. 5，G=3/32 的示例。首先，根據(jù)以下設(shè)置條件將基準(zhǔn)虛擬視點(diǎn)位置編號Nfix=4的虛擬視點(diǎn)P (4)設(shè)置在基準(zhǔn)虛擬視點(diǎn)位置Pfix=O. 5處基準(zhǔn)虛擬視點(diǎn)位置Pfix=O. 5 (接收到的左眼圖像(L圖像)和接收到的右眼圖像(R圖像)中間處的視點(diǎn)位置)和基準(zhǔn)虛擬視點(diǎn)位置編號Nfix=4。隨后，從設(shè)置了虛擬視點(diǎn)P (4)的基準(zhǔn)位置開始，以虛擬視點(diǎn)間隔G=3/32設(shè)置其余虛擬視點(diǎn)P (O)至P (3)和P (5)至P (8)。通過該處理,設(shè)置如(5b)所示的九個虛擬視點(diǎn)位置P (O)至P (8)。(5c)是 N=9, Nf ix=4, Pfix=O. 5, G=l/32 的不例。首先，根據(jù)以下設(shè)置條件將基準(zhǔn)虛擬視點(diǎn)位置編號Nfix=4的虛擬視點(diǎn)P (4)設(shè)置在基準(zhǔn)虛擬視點(diǎn)位置Pfix=O. 5處基準(zhǔn)虛擬視點(diǎn)位置Pfix=O. 5 (接收到的左眼圖像(L圖像)和接收到的右眼圖像(R圖像)中間處的視點(diǎn)位置)和基準(zhǔn)虛擬視點(diǎn)位置編號Nfix=4。隨后，從設(shè)置了虛擬視點(diǎn)P (4)的基準(zhǔn)位置開始，以虛擬視點(diǎn)間隔G=l/32設(shè)置其余虛擬視點(diǎn)P (O)至P (3)和P (5)至P (8)。通過該處理,設(shè)置如(5c)所示的九個虛擬視點(diǎn)位置P (O)至P (8)。(5d)是 N=9, Nfix=4, Pfix=O. 5，G=5/32 的示例。首先，根據(jù)以下設(shè)置條件將基準(zhǔn)虛擬視點(diǎn)位置編號Nfix=4的虛擬視點(diǎn)P (4)設(shè)置在基準(zhǔn)虛擬視點(diǎn)位置Pfix=O. 5處基準(zhǔn)虛擬視點(diǎn)位置Pfix=O. 5 (接收到的左眼圖像(L圖像)和接收到的右眼圖像(R圖像)中間處的視點(diǎn)位置)和基準(zhǔn)虛擬視點(diǎn)位置編號Nfix=4。隨后，從設(shè)置了虛擬視點(diǎn)P (4)的基準(zhǔn)位置開始，以虛擬視點(diǎn)間隔G=5/32設(shè)置其余虛擬視點(diǎn)P (O)至P (3)和P (5)至P (8)。通過該處理，設(shè)置如(5d)所示的九個虛擬視點(diǎn)位置P (O)至P (8)。[2.(第二實施例)基于適當(dāng)視差量和圖像權(quán)重執(zhí)行虛擬視點(diǎn)位置的確定處理的實施例]隨后，作為本公開的圖像處理裝置的第二實施例，說明基于適當(dāng)視差量和圖像權(quán)重執(zhí)行虛擬視點(diǎn)位置的確定處理的實施例。在該第二實施例中，根據(jù)上面在第一實施例中說明的如圖I所示的流程執(zhí)行總體處理序列。在如圖I所示的流程圖中的步驟S102中執(zhí)行的虛擬視點(diǎn)位置的確定處理是與上面說明的第一實施例不同的處理。圖14是用于說明根據(jù)該第二實施例的虛擬視點(diǎn)位置確定處理的詳細(xì)序列的示例的流程圖。首先，參考圖14的流程說明根據(jù)本實施例的虛擬視點(diǎn)位置確定處理序列，之后，按順序說明每個步驟的處理的細(xì)節(jié)。首先，圖像處理裝置在步驟S141中確定適當(dāng)視差量。雖然稍后將說明具體處理，但是例如根據(jù)融合視差量或者串?dāng)_容許量來確定適當(dāng)視差量。隨后，在步驟S142中，基于根據(jù)接收到的左眼圖像(L圖像)和接收到的右眼圖像(R圖像)計算的權(quán)重信息和視差信息，計算加權(quán)視差分布。
權(quán)重信息是以包含在圖像中的圖像區(qū)域為單位指示圖像權(quán)重的信息，例如，權(quán)重信息是在可能吸引觀看者注意力的圖像區(qū)域中設(shè)置較大權(quán)重的信息，更具體地，可能吸引觀看者注意的圖像區(qū)域是圖像的中心部分和人臉圖像區(qū)域，稍后將說明其細(xì)節(jié)?；谏鲜鲂畔?，計算加權(quán)視差分布信息。隨后，在步驟S143中，通過應(yīng)用在步驟S142中計算的加權(quán)視差分布信息來計算視差的最大值。這是與在虛擬視點(diǎn)圖像中設(shè)置的視差的最大值相對應(yīng)的值。稍后將說明計算處理的細(xì)節(jié)。隨后，在步驟S144中，使用在步驟S143中計算的視差的最大值和在步驟S141中確定的適當(dāng)視差量，計算虛擬視點(diǎn)間隔(G)。最后，在步驟S145中，通過應(yīng)用在步驟S144中確定的虛擬視點(diǎn)間隔(G)來確定虛擬視點(diǎn)位置。下文中，參考

上述處理中的每個的細(xì)節(jié)。(S141 :適當(dāng)視差量的確定處理)首先，說明在步驟S141中執(zhí)行的適當(dāng)視差量的確定處理的示例。例如根據(jù)融合視差量和串?dāng)_容許量來確定適當(dāng)視差量。融合視差量對應(yīng)于在觀看具有視差的LR圖像集合的情況下使得能夠觀看到立體圖像的視差量的限制，例如可以將適當(dāng)視差量設(shè)置為融合視差量一半的視差量。融合視差量是根據(jù)顯示器的大小、觀看者和顯示器之間的距離、雙眼之間的距離等而計算的值。例如，這被設(shè)置為對于顯示裝置唯一的值，使用如此設(shè)置的該融合視差量，將該值的一半的值確定為適當(dāng)視差量。例如，假設(shè)如下情況。觀看者和顯示裝置(顯示器)之間的視距是標(biāo)準(zhǔn)視距(=顯示器高度的三倍)。顯示器在水平方向上的屏幕大小是1920像素(pixel)。觀看者的雙眼之間的距離是65mm(成人的雙眼之間的平均距離)。在這種情況下，可以將融合視差量計算為114像素，可以將適當(dāng)視差量計算為57像素。例如，還可以根據(jù)串?dāng)_容許量來確定適當(dāng)視差量。串?dāng)_是由右眼看到左眼圖像、由左眼看到右眼圖像的錯誤。設(shè)置特定串?dāng)_容許量，將串?dāng)_等于或小于串?dāng)_容許量的視差量設(shè)置為適當(dāng)視差量。如上所述，根據(jù)融合視差量和串?dāng)_容許量中的任意一個或者其兩者來確定適當(dāng)視差量。
(S142 :加權(quán)視差分布的計算)隨后，說明在步驟S142中執(zhí)行的加權(quán)視差分布的計算處理的細(xì)節(jié)。換句話說，基于根據(jù)接收到的左眼圖像(L圖像)和接收到的右眼圖像(R圖像)計算的權(quán)重信息和視差信息，計算加權(quán)視差分布。權(quán)重信息是在可能吸引觀看者注意力的圖像區(qū)域中設(shè)置較大權(quán)重的信息，更具體地，可能吸引觀看者注意力的圖像區(qū)域是圖像的中心部分和人臉圖像區(qū)域，稍后將說明其細(xì)節(jié)。將參考圖15至17說明使用權(quán)重信息計算加權(quán)視差分布的如下多個處理示例(I)至(3)。(I)根據(jù)圖像區(qū)域設(shè)置權(quán)重的處理示例(在中心區(qū)域中設(shè)置較大的權(quán)重) (2)根據(jù)對象設(shè)置權(quán)重的處理示例(在人區(qū)域中設(shè)置較大的權(quán)重)(3)組合上面說明的處理(I)和(2)兩者的處理示例首先，參考圖15說明在(I)根據(jù)圖像區(qū)域設(shè)置權(quán)重的處理示例(在中心區(qū)域中設(shè)置較大權(quán)重)中計算該加權(quán)視差分布的處理示例。如圖15所示的接收到的圖像151是原始左眼圖像(L圖像)或者原始右眼圖像(R圖像)。視差信息152是使用原始左眼圖像(L圖像)和原始右眼圖像(R圖像)獲得的視差信息。如圖15 (A)所示的視差直方圖是視差信息152的視差信息的直方圖。在該直方圖中，橫軸表示視差的值，縱軸表示頻率。圖15 (A)的直方圖是簡化的，但是圖像中的對象包括樹、人和背景。圖15 (A)的直方圖是反映與視差相對應(yīng)(與對象距離相對應(yīng))的數(shù)據(jù)的直方圖。應(yīng)當(dāng)理解，設(shè)置視差(對象距離)，使得最靠近照相機(jī)的對象是“樹”，其次靠近照相機(jī)的對象是“人”，而其次靠近照相機(jī)的對象是“背景”。在本實施例中，使用預(yù)定權(quán)重信息對視差信息進(jìn)行校正。在如圖15所示的示例中，基于根據(jù)圖像區(qū)域的權(quán)重執(zhí)行校正，即，設(shè)置權(quán)重信息，使得在圖像的中心區(qū)域中設(shè)置較高的權(quán)重，并且生成具有如圖15 (B)所示的分布的加權(quán)視差分布(視差直方圖)。例如，使用如圖15所示的權(quán)重信息A 153作為根據(jù)圖像區(qū)域設(shè)置的權(quán)重的權(quán)重信
肩、O如圖中所示，權(quán)重信息A 153是這樣的圖像，其中使用亮度指示根據(jù)圖像區(qū)域的權(quán)重。這指示在具有高亮度的中心區(qū)域中設(shè)置較高的權(quán)重，而在具有低亮度的外圍區(qū)域中設(shè)置較低的權(quán)重。通過將視差信息152乘以以相應(yīng)的像素為單位的該權(quán)重信息A 153,將視差直方圖計算為圖15 (B)所示的加權(quán)視差分布。如圖15 (B)所示，“人”和“樹”存在于圖像的中心區(qū)域，因此頻率值增大，而“背景”的大部分存在于外圍區(qū)域，頻率值減小。如上所述，圖像處理裝置例如生成根據(jù)圖像區(qū)域設(shè)置權(quán)重的加權(quán)視差信息。隨后，參考圖16，說明在(2)根據(jù)對象設(shè)置權(quán)重的處理示例(在人區(qū)域中設(shè)置較大權(quán)重)中計算該加權(quán)視差分布的處理示例。如圖16所示的接收到的圖像151是原始左眼圖像(L圖像)或者原始右眼圖像(R圖像)。視差信息152是使用原始左眼圖像(L圖像)和原始右眼圖像(R圖像)獲得的視差信息。如圖16 (A)所示的視差直方圖是與圖15中的直方圖類似的視差信息152的視差信息的直方圖。在該直方圖中，橫軸表示視差值，縱軸表示頻率。在本實施例中，基于根據(jù)對象的權(quán)重對該視差信息執(zhí)行校正，S卩，例如設(shè)置權(quán)重信息，使得在圖像的人區(qū)域中設(shè)置較高的權(quán)重，并且生成具有如圖16 (B)所示的分布的加權(quán)視差分布(視差直方圖)。例如,使用如圖16所示的權(quán)重信息B154作為根據(jù)對象區(qū)域設(shè)置權(quán)重的權(quán)重信息?！と缭趫D中所示，權(quán)重信息B154是使用亮度指示根據(jù)對象區(qū)域的權(quán)重的圖像。在該示例中，對象=人的區(qū)域的權(quán)重高,這指示對象古人的區(qū)域的權(quán)重低。通過將視差信息152乘以以相應(yīng)像素為單位的該權(quán)重信息B154,將視差直方圖計算為圖16 (B)所示的加權(quán)視差分布。如圖16 (B)所示，“人”的頻率值增大，而“樹”和“背景”的頻率值減小。如上所
述，圖像處理裝置生成根據(jù)對象設(shè)置權(quán)重的加權(quán)視差信息。圖17是使用參考圖15說明的與圖像區(qū)域相對應(yīng)的權(quán)重信息和與對象相對應(yīng)的權(quán)重信息兩者的處理示例。首先，將包括與圖像區(qū)域相對應(yīng)的權(quán)重信息的權(quán)重信息A153乘以與對象相對應(yīng)的權(quán)重信息B154,由此通過組合兩個權(quán)重信息來生成權(quán)重圖像,之后,執(zhí)行與視差信息152的相乘(相應(yīng)像素的相乘)。通過該處理，將視差直方圖計算為圖17 (B)所示的加權(quán)視差分布。如圖17 (B)所示，“人”的頻率值增大，而“樹”和“背景”的頻率值減小。如上所述，圖像處理裝置生成根據(jù)對象設(shè)置權(quán)重的加權(quán)視差信息。已參考圖15至17說明了加權(quán)視差分布的計算處理的多個示例。將說明該加權(quán)視差分布的計算處理。如下表示視差信息、權(quán)重信息、加權(quán)視差分布。D(x，y):視差信息W(x，y):權(quán)重信息H (d):加權(quán)視差分布然而，D (x，y)、W (x，y)表示圖像中的像素位置(x，y)處的視差和權(quán)重的值。注意，H (d)中的d意為視差的值，H (d)意為具有視差d的像素的數(shù)量。在該條件設(shè)置下，可以使用以下計算表達(dá)式獲得加權(quán)視差分布H (d)。H (d) = Σ x’y{ff (X，y) * δ (d_D(x，y))}然而，δ (X)是在X為零時返回I而在其它情況下返回O的函數(shù)。在本實施例中，圖像處理裝置在如圖14所示的流程圖中的步驟S142中通過根據(jù)上述表達(dá)式的計算處理計算加權(quán)視差分布。(步驟S143:視差的最大值的計算)隨后，說明在步驟S143中執(zhí)行的視差的最大值的計算處理的細(xì)節(jié)。
該處理是應(yīng)用步驟S142中計算的加權(quán)視差分布信息并計算視差的最大值的處理，并且是計算在虛擬視點(diǎn)圖像中設(shè)置的視差的最大值的處理。將說明視差的最大值(Dabsmax)的計算處理的細(xì)節(jié)。如下定義參數(shù)。H Cd):加權(quán)視差分布(步驟S142中的計算值)O Cd):視差累積分布(根據(jù)H Cd)計算)S :加權(quán)視差分布的總和(根據(jù)H Cd)計算)th :應(yīng)用于最大視差計算處理的閾值(用戶輸入的值或預(yù)設(shè)的值)Dmax :視差的最大值(根據(jù)th計算) Dmin :視差的最小值(根據(jù)th計算)Dabsmax :視差的最大值(絕對值)(輸出值)注意，OCd) = Σ I^llin (D)tOdiH (i) }成立，并且 Dmin=CT1 (th) Dmax=O-1 (S_th)成立。圖18A是說明示出視差d和加權(quán)視差分布H Cd)之間的關(guān)系的數(shù)據(jù)示例的圖。圖18B是說明以下數(shù)據(jù)的值的示例的圖，在視差d和視差累積分布O (d)的關(guān)系數(shù)據(jù)中示出了這些數(shù)據(jù)。加權(quán)視差分布的總和S閾值th視差的最大值Dmax視差的最小值Dmin此外，S-th,示出這些數(shù)據(jù)的示例。可以通過以下表達(dá)式來計算輸出的視差的最大值(Dabsmax )。Dabsmax=max (abs (Dmax) , abs (Dmin))在步驟S143中，根據(jù)上述表達(dá)式計算視差的最大值(Dabsmax)。(步驟S144:計算虛擬視點(diǎn)間隔)隨后，將說明在步驟S144中執(zhí)行的虛擬視點(diǎn)間隔(G)的計算處理。換句話說，這是使用在步驟S143中計算的視差的最大值和在步驟S141中確定的適當(dāng)視差量來計算虛擬視點(diǎn)間隔(G)的處理。將說明虛擬視點(diǎn)間隔(G)的計算處理。如下定義參數(shù)。E :輸入到左眼的虛擬視點(diǎn)圖像編號和輸入到右眼的虛擬視點(diǎn)圖像編號之間的差(根據(jù)顯示方法確定的值)Df :融合視差量(根據(jù)顯示裝置的值(預(yù)設(shè)的值))De :相鄰虛擬視點(diǎn)之間的融合視差量(De=Df/E)Dc :相鄰虛擬視點(diǎn)之間的串?dāng)_容許量(根據(jù)顯示裝置的值(預(yù)設(shè)的值))Da :適當(dāng)視差量(步驟S141的計算值)Dabsmax :視差的最大值(絕對值)(步驟S143的計算值)G :虛擬視點(diǎn)間隔(輸出值)
注意，De=Df/E和 DA=min (Dc, De)成立。在這種情形下，可以根據(jù)以下表達(dá)式計算虛擬視點(diǎn)間隔(G)。G=Dabsmax/DA在步驟S144中，根據(jù)上述表達(dá)式計算虛擬視點(diǎn)間隔(G)。(步驟S145:虛擬視點(diǎn)位置的確定)隨后，將說明在步驟S145中執(zhí)行的虛擬視點(diǎn)位置的確定處理。該虛擬視點(diǎn)位置的確定處理是與上面說明的第一實施例的圖5的流程的步驟S123的處理相同的處理。更具體地，這是與參考圖9至圖13說明的處 理相同的處理。如參考圖9至13所說明的，根據(jù)以下值進(jìn)行各種設(shè)置不僅有在步驟S144中計算的虛擬視點(diǎn)間隔(G)，還有根據(jù)顯示裝置(顯示器)確定的虛擬視點(diǎn)的總數(shù)N，例如根據(jù)用戶輸入確定的基準(zhǔn)虛擬視點(diǎn)位置(Pf ix)，以及基準(zhǔn)虛擬視點(diǎn)位置編號(Nfix)。[3.(第三實施例)基于圖像質(zhì)量、適當(dāng)視差量和圖像權(quán)重執(zhí)行虛擬視點(diǎn)位置的確定處理的實施例]隨后，作為由本公開的圖像處理裝置執(zhí)行的處理的第三實施例，說明在上面說明的第一實施例中說明的根據(jù)圖像質(zhì)量的虛擬視點(diǎn)位置的確定處理、如第二實施例所說明的根據(jù)適當(dāng)視差量和圖像權(quán)重的虛擬視點(diǎn)位置的確定處理以及其組合的處理示例。也就是說，這是根據(jù)以下項的全部來確定虛擬視點(diǎn)位置的處理虛擬視點(diǎn)圖像的圖像質(zhì)量，適當(dāng)視差量，圖像權(quán)重。在該第三實施例中，根據(jù)如上面在第一實施例中說明的圖I所示的流程執(zhí)行總體處理序列。在如圖I所示的流程圖中的步驟S102中執(zhí)行的虛擬視點(diǎn)位置的確定處理是與上面說明的第一實施例不同的處理。圖19是用于說明根據(jù)該第三實施例的虛擬視點(diǎn)位置確定處理的詳細(xì)序列的示例的流程圖。參考圖19的流程說明根據(jù)本實施例的虛擬視點(diǎn)位置確定處理序列。如圖19所示的流程中的步驟S161至S163的處理是與在第二實施例中說明的如圖14所示的流程中的步驟S141至S143的處理相同的處理。換句話說，在步驟S161中，確定適當(dāng)視差量。更具體地，例如，根據(jù)例如融合視差量或者串?dāng)_容許量來確定適當(dāng)視差量。隨后，在步驟S162中，基于根據(jù)接收到的左眼圖像(L圖像)和接收到的右眼圖像(R圖像)計算的權(quán)重信息和視差信息，計算加權(quán)視差分布。該處理是上面參考圖15至17說明的處理。隨后，在步驟S163中，通過應(yīng)用在步驟S162中計算的加權(quán)視差分布信息來計算視差的最大值。該處理是與在第二實施例中說明的如圖14所示的流程中的步驟S141至S143的處理相同的處理。步驟S164中的后續(xù)處理是與如在第一實施例中說明的圖5所示的流程中的步驟S121的處理相同的處理。換句話說，執(zhí)行虛擬視點(diǎn)圖像的圖像質(zhì)量的計算。該處理是上面參考圖6至8說明的處理。在后續(xù)的步驟S165中，通過應(yīng)用以下項的全部來計算虛擬視點(diǎn)間隔在步驟S161中獲得的適當(dāng)視差量，在步驟S163中獲得的視差的最大值，以及在步驟S164中獲得的圖像質(zhì)量。將說明虛擬視點(diǎn)間隔的計算處理。如下定義參數(shù)。 E :輸入到左眼的虛擬視點(diǎn)圖像編號和輸入到右眼的虛擬視點(diǎn)圖像編號之間的差(根據(jù)顯示方法確定的值)Df :融合視差量(根據(jù)顯示裝置的值(預(yù)設(shè)的值))De :相鄰虛擬視點(diǎn)之間的融合視差量(De=Df/E)Dc :相鄰虛擬視點(diǎn)之間的串?dāng)_容許量(根據(jù)顯示裝置的值(預(yù)設(shè)的值))Da :適當(dāng)視差量(步驟S161的計算值)Dabsmax :視差的最大值(絕對值)(步驟S163的計算值)G :虛擬視點(diǎn)間隔(輸出值)Q :虛擬視點(diǎn)圖像質(zhì)量評價值(在步驟S164中計算的值)Q,:虛擬視點(diǎn)間隔計算參數(shù)(用戶輸入)注意，De=Df/E以及 DA=min (Dc, De)成立。在這種情形下，可以根據(jù)以下表達(dá)式計算虛擬視點(diǎn)間隔(G)。G= {Dmax/DA} * {Q/Q，}在步驟S165中，根據(jù)上述表達(dá)式計算虛擬視點(diǎn)間隔(G)。在最后的步驟S166中，通過應(yīng)用在步驟S165中確定的虛擬視點(diǎn)間隔(G)來確定虛擬視點(diǎn)位置。該虛擬視點(diǎn)位置的確定處理是與上面說明的第一實施例的圖5的流程的步驟S123的處理相同的處理。更具體地，這是與參考圖9至13說明的處理相同的處理。如參考圖9至13所說明的，根據(jù)以下值進(jìn)行各種設(shè)置不僅有在步驟S165中計算的虛擬視點(diǎn)間隔(G)，還有根據(jù)顯示裝置(顯示器)確定的虛擬視點(diǎn)的總數(shù)N，例如根據(jù)用戶輸入確定的基準(zhǔn)虛擬視點(diǎn)位置(Pfix)，以及基準(zhǔn)虛擬視點(diǎn)位置編號(Nfix)。[4.(第四實施例)確定具有不規(guī)則間隔的虛擬視點(diǎn)位置的處理示例]隨后，作為執(zhí)行本公開的圖像處理裝置的第四實施例，將說明確定具有不規(guī)則間隔的虛擬視點(diǎn)位置的處理示例。在該第四實施例中，根據(jù)如上面在第一實施例中說明的圖I所示的流程執(zhí)行總體處理序列。在如圖I所示的流程圖中的步驟S102中執(zhí)行的虛擬視點(diǎn)位置的確定處理是與上面說明的第一實施例不同的處理。圖20是用于說明根據(jù)該第四實施例的虛擬視點(diǎn)位置確定處理的詳細(xì)序列的示例的流程圖。
參考圖20的流程說明根據(jù)本實施例的虛擬視點(diǎn)位置確定處理序列。步驟S181至S185的處理是與在上面說明的第三實施例中說明的如圖19所示的流程的步驟S161至S165的處理相同的處理。在步驟S185中，通過應(yīng)用以下項的全部來計算虛擬視點(diǎn)間隔在步驟S181中獲得的適當(dāng)視差量，在步驟S183中獲得的視差的最大值，以及在步驟S184中獲得的圖像質(zhì)量。隨后，在步驟S186中，以非線性方式映射在步驟S185中獲得的虛擬視點(diǎn)間隔(G)。將說明該處理的具體示例。 如下定義參數(shù)。i :視點(diǎn)編號G :虛擬視點(diǎn)間隔G (i)映射后的虛擬視點(diǎn)間隔以非線性方式根據(jù)視點(diǎn)編號(i)映射虛擬視點(diǎn)間隔的函數(shù)例如是如圖21A所示的函數(shù)。預(yù)先將該函數(shù)存儲到圖像處理裝置的存儲器中，并應(yīng)用該函數(shù)。隨后，在步驟S187中，使用在步驟S186中確定的虛擬視點(diǎn)間隔G (i)來確定虛擬視點(diǎn)位置。該虛擬視點(diǎn)位置的確定處理是與上面說明的第一實施例的圖5的流程的步驟S123的處理相同的處理。更具體地，這是與參考圖9至13說明的處理相同的處理。根據(jù)以下值進(jìn)行各種設(shè)置不僅有在步驟S186中計算的虛擬視點(diǎn)間隔(G(i))，還有根據(jù)顯示裝置(顯示器)確定的虛擬視點(diǎn)的總數(shù)N，例如根據(jù)用戶輸入確定的基準(zhǔn)虛擬視點(diǎn)位置(Pfix)，以及基準(zhǔn)虛擬視點(diǎn)位置編號(Nfix)。然而，在參考圖9至13說明的處理中，所有虛擬視點(diǎn)間隔是相同的，但是在該示例中，例如如圖21B所示，不同地設(shè)置每個虛擬視點(diǎn)間隔。換句話說，將它們設(shè)置為由G (i)確定的間隔。圖21B所示的示例示出了 N=9、Bfix=4、Pfix=O. O的示例。如上所述，根據(jù)本實施例的圖像處理裝置的虛擬視點(diǎn)圖像生成單元根據(jù)虛擬視點(diǎn)圖像的圖像質(zhì)量、適當(dāng)視差量和根據(jù)圖像區(qū)域的圖像權(quán)重中的至少一個，通過處理來確定第一虛擬視點(diǎn)位置，通過對所確定的第一虛擬視點(diǎn)位置進(jìn)行的非線性映射處理來確定具有不規(guī)則間隔的第二虛擬視點(diǎn)位置，并且生成與所確定的具有不規(guī)則間隔的第二虛擬視點(diǎn)位置相對應(yīng)的虛擬視點(diǎn)圖像。[5.(第五實施例)使用移位處理生成虛擬視點(diǎn)圖像的處理示例]隨后，將作為本公開的圖像處理裝置的第五實施例說明使用移位處理生成虛擬視點(diǎn)圖像的處理示例。將參考如圖22所示的流程圖說明本實施例的圖像處理裝置的處理序列。在步驟S201中，圖像處理裝置接收用于三維圖像顯示的原始左眼圖像(L圖像)和原始右眼圖像(R圖像)，并且使用這些接收到的LR圖像獲得視差信息。換句話說，使用在從相對于顯示三維(3D)圖像的顯示器的標(biāo)準(zhǔn)視覺位置觀看時用來觀看到最佳三維圖像的標(biāo)準(zhǔn)LR圖像來獲得視差信息。
隨后，在步驟S202中，確定適當(dāng)視差量。該處理是與上面作為第二實施例說明的如圖14所示的流程圖中的步驟S141的處理相同的處理。例如，根據(jù)融合視差量和串?dāng)_容許量來進(jìn)行確定。隨后，在步驟S203中，基于根據(jù)接收到的左眼圖像(L圖像)和接收到的右眼圖像(R圖像)計算的權(quán)重信息和視差信息，計算加權(quán)視差分布。該處理是與上面作為第二實施例說明的如圖14所示的流程圖中的步驟S142的處理相同的處理。權(quán)重信息是以包含在圖像中的圖像區(qū)域為單位指示圖像權(quán)重的信息，例如，權(quán)重信息是在可能吸引觀看者注意力的圖像區(qū)域中設(shè)置較大權(quán)重的信息，更具體地，可能吸引觀看者注意力的圖像區(qū)域是圖像的中心部分和人臉圖像區(qū)域，稍后將說明其細(xì)節(jié)。
通過與上面參考圖15至17說明的處理相同的處理來計算加權(quán)視差分布。隨后，在步驟S204中，執(zhí)行平行移動量(移位量)的確定處理。該平行移動量是沿視差增大的方向或者沿視差減小的方向移動視差分布的視差分布平行移動量。將說明視差分布的平行移動量的計算處理。如下定義參數(shù)。H Cd):加權(quán)視差分布(在步驟S203中獲得的值)O Cd):視差累積分布(根據(jù)H Cd)計算)S :視差分布的總和(根據(jù)H Cd)計算)Davg:視差的平均值Dcenter :視差的中間值Dmax :視差的最大值Dmin :視差的最小值Shift (移位)注意，以下表達(dá)式成立0Cd) = Σ I^llin (D)tOdiH (i) }, Dmin=CT1 (th), Dmax=CT1(S-th), Dcenter= (Dmax-Dmin) /2, Davg=average (H (d))0圖23A是圖解示出視差d和加權(quán)視差分布H Cd)之間的關(guān)系的數(shù)據(jù)示例的圖。圖23B是圖解以下數(shù)據(jù)的值的示例的圖，在視差d和視差累積分布O (d)的關(guān)系數(shù)據(jù)中示出了這些數(shù)據(jù)。加權(quán)視差分布的總和S閾值th視差的最大值Dmax視差的最小值Dmin此外，S-th,示出了這些數(shù)據(jù)的示例?？梢酝ㄟ^以下表達(dá)式計算輸出的平行移動量(Shift)。Shift=-Davg可選地，Shift=-Dcenter
在步驟S204中，根據(jù)上述表達(dá)式計算加權(quán)視差分布的平行移動量(Shift)。在后續(xù)的步驟S205中，進(jìn)行虛擬視點(diǎn)位置的確定處理。將參考圖24的流程圖說明該處理的詳細(xì)序列。首先，在步驟S221中，基于在步驟S204中獲得的平行移動量，進(jìn)行對加權(quán)視差分布的校正，即平行移動。更具體地，如圖25所示，(a)基于在步驟S203中獲得的平行移動量，平行移動加權(quán)視差分布數(shù)據(jù)，以及(b)生成經(jīng)校正的加權(quán)視差分布數(shù)據(jù)?？梢詫⒃撘暡罘植夹Ｕ幚肀硎緸橐韵卤磉_(dá)式。 如下定義參數(shù)。Shift :平行移動量(在步驟S204中計算)(d):視差分布(加權(quán)視差分布)H Cd)':校正視差分布(經(jīng)校正的加權(quán)視差分布)在這種情形下，根據(jù)以下表達(dá)式計算經(jīng)校正的加權(quán)視差分布[H(dV ]。H (d) ' =H (d-Shift)在后續(xù)的步驟S222中，通過應(yīng)用在步驟S203中計算的加權(quán)視差分布信息來計算視差的最大值。該處理是與在第二實施例中說明的如圖14所示的流程中的步驟S143的處理相同的處理。后續(xù)步驟S223的處理是與在第一實施例中說明的圖5的流程中的步驟S121的處理相同的處理。換句話說，執(zhí)行虛擬視點(diǎn)圖像的圖像質(zhì)量的計算。該處理是上面參考圖6至8說明的處理。在后續(xù)的步驟S224中，通過應(yīng)用以下項的全部來計算虛擬視點(diǎn)間隔在步驟S202中獲得的適當(dāng)視差量，在步驟S222中獲得的視差的最大值，以及在步驟S223中獲得的圖像質(zhì)量。該處理是與上面在第三實施例中說明的如圖19所示的流程的步驟S165的處理相同的處理。在最后的步驟S225中，通過應(yīng)用在步驟S224中計算的虛擬視點(diǎn)間隔(G)來確定虛擬視點(diǎn)位置。該虛擬視點(diǎn)位置的確定處理是與上面說明的第一實施例的圖5的流程的步驟S123的處理相同的處理。更具體地，這是與參考圖9至圖13說明的處理相同的處理。根據(jù)如圖24所示的流程中的步驟S221至S225進(jìn)行圖22的流程中的步驟S205的虛擬視點(diǎn)位置的確定處理。隨后，如圖24的流程所示，在步驟S205中執(zhí)行虛擬視點(diǎn)圖像的生成處理。該處理是與上面在第一實施例中說明的如圖I所示的流程中的步驟S103的處理相同的處理。在步驟S205中，生成與從在步驟S204中確定的虛擬視點(diǎn)位置觀看到的圖像相對應(yīng)的圖像。換句話說，生成虛擬視點(diǎn)圖像。在步驟S204中，例如，確定預(yù)定數(shù)量的(例如10個)虛擬視點(diǎn)，并且在步驟S105中，生成與這些虛擬視點(diǎn)相對應(yīng)的虛擬視點(diǎn)圖像。如上面參考圖2所說明的，使用接收到的標(biāo)準(zhǔn)LR圖像生成虛擬視點(diǎn)圖像。換句話說，使用用于三維圖像顯示的原始左眼圖像(L圖像)和原始右眼圖像(R圖像)生成虛擬視點(diǎn)圖像。隨后，在步驟S207中，根據(jù)虛擬視點(diǎn)間隔(G)對平行移動量進(jìn)行校正。將參考圖26說明該處理。如下定義參數(shù)。Shift :平行移動量(在步驟S204中確定的值)ShifV :校正之后的平行移動量
·
G :虛擬視點(diǎn)間隔(在步驟S205 (步驟S224)中確定的G)在上面的參數(shù)的設(shè)置下，根據(jù)以下表達(dá)式計算經(jīng)校正的平行移動量Shift'。-Shift’=Shift*G圖26 示出了 (a)接收到的LR圖像之間的視差分布，(b)相鄰虛擬視點(diǎn)之間的視差分布(實線)，以及( c )應(yīng)用了經(jīng)校正的平行移動量的視差分布。如(b)所示的相鄰虛擬視點(diǎn)之間的視差分布根據(jù)虛擬視點(diǎn)間隔G而改變。換句話說，He (d) =H (d*G)成立，并且可以根據(jù)以下表達(dá)式來表示如(c)所示的經(jīng)校正的視差分布 HE Cd)'。He (d) ' =H (d*G+Shift’)隨后，在步驟S208中，生成虛擬視點(diǎn)圖像的平行移動圖像。將參考圖27說明該處理。如下定義參數(shù)。ShifV :校正之后的平行移動量(在步驟S207中確定的值)L (i，X，y):平行移動之前的第i個虛擬視點(diǎn)圖像L (i，X，y) ’ 平行移動之后的第i個虛擬視點(diǎn)圖像Nfixshift :不平行移動的基準(zhǔn)的虛擬視點(diǎn)圖像的編號(用戶輸入)Shift’(i):對第i個虛擬視點(diǎn)圖像應(yīng)用的平行移動量注意，L (i，x，y)、L (i，x，y)’中的(x, y)表示構(gòu)成圖像的像素位置,其意為每個圖像的像素值?；谏鲜鰠?shù)，通過以下表達(dá)式計算對第i個虛擬視點(diǎn)圖像應(yīng)用的平行移動量[Shift’ (i) ] οShift’ (i) =Shift; * (i~Nfixshift))此外，通過以下表達(dá)式計算平行移動之后第i個虛擬視點(diǎn)圖像[L (i，X，y) ’ ]。L (i，x，y)，=L (i, x+Shift' (i) , y)上面的表達(dá)式意為可以通過沿X方向移動圖像的像素位置(水平移位)來生成經(jīng)平行移動的虛擬視點(diǎn)圖像。如圖27所示的示例是示出根據(jù)以下設(shè)置對每個虛擬視點(diǎn)圖像執(zhí)行平行移動(移位)處理的示例的圖。
N=9,Nfixshift=4,以及Shift，=1.5。如上所述，根據(jù)本實施例的圖像處理裝置的虛擬視點(diǎn)圖像生成單元根據(jù)虛擬視點(diǎn)圖像的圖像質(zhì)量、適當(dāng)視差量和根據(jù)圖像區(qū)域的圖像權(quán)重中的至少一個，通過處理來確定虛擬視點(diǎn)位置，基于根據(jù)視差信息計算的視差分布數(shù)據(jù)來計算平行移動量，基于計算的平行移動量對各個虛擬視點(diǎn)位置的虛擬視點(diǎn)圖像之間的視差分布執(zhí)行移動處理，并且生成反映視差分布數(shù)據(jù)的移動處理結(jié)果的虛擬視點(diǎn)圖像。在上述關(guān)于本實施例的說明中，說明了配置的示例，其中基于根據(jù)接收到的LR圖像獲得的視差分布來生成加權(quán)視差分布，并且對所生成的加權(quán)視差分布數(shù)據(jù)進(jìn)行處理。然而，也可以進(jìn)行如下配置在不生成加權(quán)視差分布的情況下，通過按原樣應(yīng)用根據(jù)接收到的LR圖像獲得的視差分布數(shù)據(jù)來進(jìn)行處理。 [6.圖像處理裝置的配置示例]隨后，將參考圖28說明執(zhí)行上面說明的根據(jù)實施例的處理的圖像處理裝置的配置示例。如圖28所示的圖像處理裝置300包括左眼圖像(L圖像)輸入單元301、右眼圖像(R圖像)輸入單元302、視差信息生成單元303、權(quán)重信息生成單元304、虛擬視點(diǎn)圖像生成單元305、顯示控制單元306，并且將圖像處理裝置300生成的圖像輸出到顯示單元310。在如圖28所示的配置中，顯示單元310被示出為圖像處理裝置300的外部配置。可選地，也可以配置為將顯示單元310設(shè)置在圖像處理裝置300內(nèi)。如圖28所示的配置示出了圖像處理裝置300的主要單元，而圖像處理裝置300不僅包括如圖所示的單元，還包括諸如執(zhí)行數(shù)據(jù)處理控制的CPU的具有程序執(zhí)行功能的控制單元、由控制單元執(zhí)行的程序、存儲各種參數(shù)的存儲單元以及用于輸入?yún)?shù)、圖像數(shù)據(jù)等的輸入單元。左眼圖像(L圖像)輸入單元301和右眼圖像(R圖像)輸入單元302輸入預(yù)先生成的用于三維(3D)圖像顯示的左眼圖像(L圖像)和右眼圖像(R圖像)。視差信息生成單元303接收左眼圖像(L圖像)和右眼圖像(R圖像)，并且基于這些圖像生成視差息。如上所述，視差信息對應(yīng)于包含在標(biāo)準(zhǔn)LR圖像中的同一對象的圖像之間的偏離(水平方向上的像素偏離)，其是與對象的距離相對應(yīng)的信息。更具體地，例如，生成具有以像素為單位的視差信息(對象距離信息)的數(shù)據(jù)。如上所述，例如根據(jù)如下已有方法執(zhí)行該視差信息的獲取。(a)基于塊匹配的視差信息獲取處理(b)基于DP (動態(tài)編程)匹配的視差信息獲取處理(c)基于片段的視差信息獲取處理(d)基于學(xué)習(xí)的視差信息獲取處理(e)上述方法的組合的視差信息獲取處理例如，根據(jù)上述方法(a)至(e)中的任一個來獲得視差信息。權(quán)重信息生成單元304使用L圖像和R圖像中的任一個來生成以圖像區(qū)域為單位表示圖像權(quán)重的權(quán)重信息。例如，權(quán)重信息是在可能吸引觀看者注意力的圖像區(qū)域中設(shè)置較大權(quán)重的信息，更具體地，可能吸引觀看者注意力的圖像區(qū)域是圖像的中心部分和人臉圖像區(qū)域。更具體地，如上面參考圖15至17所說明的，(I)根據(jù)圖像區(qū)域設(shè)置權(quán)重的權(quán)重信息(在中心區(qū)域中設(shè)置較大權(quán)重)(2)根據(jù)對象設(shè)置權(quán)重的權(quán)重信息(在人區(qū)域中設(shè)置較大權(quán)重) (3)組合上面說明的處理(I)和(2)兩者的處理的權(quán)重信息例如，其是這種權(quán)重信息。
虛擬視點(diǎn)圖像生成單元305通過接收以下信息來生成虛擬視點(diǎn)圖像來自左眼圖像(L圖像)輸入單元301的L圖像，來自右眼圖像(R圖像)輸入單元302的R圖像，來自視差信息生成單元303的視差信息，以及來自權(quán)重信息生成單元304的權(quán)重信息。虛擬視點(diǎn)圖像生成單元305根據(jù)上面說明的第一至第五實施例的方法中的任一種來執(zhí)行虛擬視點(diǎn)間隔的確定處理和虛擬視點(diǎn)位置的確定處理，并且生成與所確定的虛擬視點(diǎn)位置相對應(yīng)的虛擬視點(diǎn)圖像。更具體地，例如，根據(jù)以下項中的任一個的處理，執(zhí)行虛擬視點(diǎn)圖像的生成處理。(I)與根據(jù)圖像質(zhì)量確定的虛擬視點(diǎn)位置相對應(yīng)的虛擬視點(diǎn)圖像的生成處理(第一實施例)(2)與基于適當(dāng)視差量和圖像權(quán)重而確定的虛擬視點(diǎn)位置相對應(yīng)的虛擬視點(diǎn)圖像的生成處理(第二實施例)(3)與基于圖像質(zhì)量、適當(dāng)視差量和圖像權(quán)重而確定的虛擬視點(diǎn)位置相對應(yīng)的虛擬視點(diǎn)圖像的生成處理(第三實施例)(4)與具有不規(guī)則間隔的虛擬視點(diǎn)位置相對應(yīng)的虛擬視點(diǎn)圖像的生成處理(第四實施例)(5)使用移位處理的虛擬視點(diǎn)圖像的生成處理(第五實施例)虛擬視點(diǎn)圖像生成單元305基于上述處理生成例如具有N個不同視點(diǎn)的多視點(diǎn)圖像，并且將多視點(diǎn)圖像輸出到顯示控制單元306。顯示控制單元306基于由虛擬視點(diǎn)圖像生成單元305生成的多視點(diǎn)圖像根據(jù)顯示單元310生成顯示信息,并且將顯示信息輸出到顯示單元310。如上所述，由根據(jù)本公開的實施例的圖像處理裝置生成的顯示圖像是用戶能夠在不佩戴眼鏡的情況下用來觀看立體圖像的裸眼3D顯示裝置的顯示圖像。顯示單元310是用于裸眼3D顯示的顯示單元。顯示單元310例如在顯示器表面上包括透鏡板或者視差屏障(parallax barrier)，其可以根據(jù)視聽位置控制進(jìn)入左眼和右眼的圖像。例如，如上面參考圖3所說明的，顯示控制單元306生成通過交織由虛擬視點(diǎn)圖像生成單元305生成的N個視點(diǎn)的圖像而獲得的圖像，并且將該圖像輸出到顯示單元310。注意，顯示控制單元306根據(jù)顯示單元310的顯示配置來生成顯示信息。注意，例如，圖像處理裝置還可以被配置為諸如具有圖像拍攝單元的照相機(jī)的圖像拍攝裝置和諸如PC和電視機(jī)的顯示裝置，并且當(dāng)被配置為這種裝置時，圖像處理裝置具有具備根據(jù)每個裝置的功能的配置。例如，在照相機(jī)的情況下，圖像處理裝置被配置為包括用于拍攝作為不同視點(diǎn)的圖像的LR圖像的圖像拍攝單元，并且使用從圖像拍攝單元接收到的LR圖像生成多視點(diǎn)圖像。[7.對本公開的配置的總結(jié)]
本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，依據(jù)設(shè)計需要和其它因素，可以想到 各種變型、組合、子組合和改變，只要它們在所附權(quán)利要求或其等同物的范圍內(nèi)。另外，還可以如下配置本技術(shù)。(I) 一種圖像處理裝置，包括左眼圖像輸入單元，被配置為輸入作為應(yīng)用于三維圖像顯示的左眼圖像信號的左眼圖像(L圖像)；右眼圖像輸入單元，被配置為輸入作為應(yīng)用于三維圖像顯示的右眼圖像信號的右眼圖像(R圖像)；視差信息生成單元，被配置為根據(jù)所述左眼圖像(L圖像)和所述右眼圖像(R圖像)生成視差信息；以及虛擬視點(diǎn)圖像生成單元，被配置為接收所述左眼圖像(L圖像)、所述右眼圖像(R圖像)和所述視差信息，并且生成虛擬視點(diǎn)圖像，所述虛擬視點(diǎn)圖像包括不同于所接收到的左眼圖像和右眼圖像的視點(diǎn)的視點(diǎn)圖像，其中，所述虛擬視點(diǎn)圖像生成單元通過根據(jù)虛擬視點(diǎn)圖像的圖像質(zhì)量、適當(dāng)視差量或者按照圖像區(qū)域的圖像權(quán)重中的至少一個的處理來確定虛擬視點(diǎn)位置，并且生成與所確定的虛擬視點(diǎn)位置相對應(yīng)的虛擬視點(diǎn)圖像。(2)根據(jù)(I)所述的圖像處理裝置，其中，所述虛擬視點(diǎn)圖像生成單元計算指示虛擬視點(diǎn)圖像的圖像質(zhì)量的圖像質(zhì)量評價值Q，通過應(yīng)用所計算的圖像質(zhì)量評價值Q來計算虛擬視點(diǎn)間隔G，并且基于所計算的虛擬視點(diǎn)間隔G來確定所述虛擬視點(diǎn)位置。(3)根據(jù)(2)所述的圖像處理裝置，其中，所述虛擬視點(diǎn)圖像生成單元通過應(yīng)用所述視差信息的可靠度信息或者所生成的虛擬視點(diǎn)圖像信息中的至少一個的信息，來計算所述圖像質(zhì)量評價值Q。(4)根據(jù)(I)至(3)中的任一項所述的圖像處理裝置，其中，所述虛擬視點(diǎn)圖像生成單元計算融合視差量和串?dāng)_容許量中的較小的值作為適當(dāng)視差量，通過應(yīng)用所計算的適當(dāng)視差量來計算虛擬視點(diǎn)間隔G，并且基于所計算的虛擬視點(diǎn)間隔G來確定所述虛擬視點(diǎn)位置。(5)根據(jù)(I)至(4)中的任一項所述的圖像處理裝置，其中，所述虛擬視點(diǎn)圖像生成單元計算融合視差量和串?dāng)_容許量中的較小的值作為適當(dāng)視差量，通過應(yīng)用所計算的適當(dāng)視差量來計算虛擬視點(diǎn)間隔G，并且基于所計算的虛擬視點(diǎn)間隔G來確定所述虛擬視點(diǎn)位置。(6)根據(jù)(I)至(5)中的任一項所述的圖像處理裝置，其中，所述圖像處理裝置包括權(quán)重信息生成單元，被配置為根據(jù)圖像區(qū)域計算圖像權(quán)重信息，以及其中，所述虛擬視點(diǎn)圖像生成單元計算通過應(yīng)用所述圖像權(quán)重信息來校正所述視差信息而獲得的加權(quán) 視差分布，通過應(yīng)用所述適當(dāng)視差量和根據(jù)所計算的加權(quán)視差分布計算的視差的最大值來計算虛擬視點(diǎn)間隔G，并且基于所計算的虛擬視點(diǎn)間隔G來確定所述虛擬視點(diǎn)位置。(7)根據(jù)(I)至(6)中的任一項所述的圖像處理裝置，其中，所述權(quán)重信息生成單元生成根據(jù)圖像的位置設(shè)置以圖像區(qū)域為單位的權(quán)重的圖像權(quán)重信息或者根據(jù)包含在圖像中的對象的圖像權(quán)重信息。(8)根據(jù)(I)至(7)中的任一項所述的圖像處理裝置，其中，所述虛擬視點(diǎn)圖像生成單元通過根據(jù)虛擬視點(diǎn)圖像的圖像質(zhì)量、適當(dāng)視差量或者按照圖像區(qū)域的圖像權(quán)重中的至少一個的處理來確定第一虛擬視點(diǎn)位置，通過對所確定的第一虛擬視點(diǎn)位置進(jìn)行非線性映射處理來確定具有不規(guī)則間隔的第二虛擬視點(diǎn)位置，并且生成與所確定的具有所述不規(guī)則間隔的第二虛擬視點(diǎn)位置相對應(yīng)的虛擬視點(diǎn)圖像。(9)根據(jù)(I)至(8)中的任一項所述的圖像處理裝置，其中，所述虛擬視點(diǎn)圖像生成單元通過根據(jù)虛擬視點(diǎn)圖像的圖像質(zhì)量、適當(dāng)視差量或者按照圖像區(qū)域的圖像權(quán)重中的至少一個的處理來確定虛擬視點(diǎn)位置，基于根據(jù)所述視差信息計算的視差分布數(shù)據(jù)計算平行移動量，基于所計算的平行移動量執(zhí)行各個虛擬視點(diǎn)位置的虛擬視點(diǎn)圖像之間的視差分布的移動處理，并且生成反映所述視差分布數(shù)據(jù)的移動處理結(jié)果的虛擬視點(diǎn)圖像。此外，由上述裝置等執(zhí)行的處理的方法和執(zhí)行該處理的程序也包含在本公開的配置中?？梢杂捎布?、軟件或者兩者的合成配置來執(zhí)行在本說明書中說明的一系列處理。當(dāng)由軟件執(zhí)行處理時，可以將其中記錄了該處理序列的程序安裝在合并到專用硬件中的計算機(jī)內(nèi)的存儲器中并執(zhí)行該程序，或者可以將程序安裝在能夠執(zhí)行各種處理的通用計算機(jī)中并執(zhí)行該程序。例如，可以預(yù)先將程序記錄到記錄介質(zhì)中?？梢詫⒊绦驈挠涗浗橘|(zhì)安裝到計算機(jī)中?？蛇x地，可以經(jīng)由諸如LAN (局域網(wǎng))和因特網(wǎng)的網(wǎng)絡(luò)接收程序，并且可以將程序安裝到諸如內(nèi)部硬盤的記錄介質(zhì)中。本說明書中描述的各種處理不限于按照如這里描述的時間序列執(zhí)行?？蛇x地，可以根據(jù)執(zhí)行處理的裝置的處理性能或者按照需要并行地或單獨(dú)地執(zhí)行各種處理。在本說明書中，系統(tǒng)是多個裝置的集合的邏輯配置，每個配置的裝置不必局限于被設(shè)置在同一殼體內(nèi)。如上所述，根據(jù)本公開的實施例的配置，實現(xiàn)了基于三維圖像的LR圖像生成多視點(diǎn)圖像的配置。更具體地，例如，提供虛擬視點(diǎn)圖像生成單元，其中虛擬視點(diǎn)圖像生成單元接收應(yīng)用于三維圖像顯示的左眼圖像(L圖像)和右眼圖像(R圖像)，基于左眼圖像(L圖像)和右眼圖像(R圖像)生成視差信息，并且使用LR圖像和視差信息來生成包括除接收到的LR圖像的視點(diǎn)之外的視點(diǎn)圖像的虛擬視點(diǎn)圖像。虛擬視點(diǎn)圖像生成單元通過根據(jù)虛擬視點(diǎn)圖像的圖像質(zhì)量、根據(jù)融合視差量和串?dāng)_容許量確定的適當(dāng)視差量以及按照對象等的圖像區(qū)域和圖像的位置的圖像權(quán)重中的至少一個的處理來確定虛擬視點(diǎn)位置，并且生成與所確定的虛擬視點(diǎn)位置相對應(yīng)的虛擬視點(diǎn)圖像。通過該處理，可以生成根據(jù)各個觀看位置的最佳虛擬視點(diǎn)圖像，S卩，具有舒適的視差范圍的高質(zhì)量虛擬視點(diǎn)圖像。本申請包含與2011年8月8日提交到 日本專利局的日本優(yōu)先權(quán)專利申請JP2011-173268中公開的主題相關(guān)的主題，其全部內(nèi)容通過引用合并于此。
權(quán)利要求
1.一種圖像處理裝置，包括左眼圖像輸入單元，被配置為輸入作為應(yīng)用于三維圖像顯示的左眼圖像信號的左眼圖像(L圖像)；右眼圖像輸入單元，被配置為輸入作為應(yīng)用于三維圖像顯示的右眼圖像信號的右眼圖像(R圖像)；視差信息生成單元，被配置為根據(jù)所述左眼圖像(L圖像)和所述右眼圖像(R圖像)生成視差 目息；以及虛擬視點(diǎn)圖像生成單元，被配置為接收所述左眼圖像(L圖像)、所述右眼圖像(R圖像)和所述視差信息，并且生成虛擬視點(diǎn)圖像，所述虛擬視點(diǎn)圖像包括不同于所接收到的左眼圖像和右眼圖像的視點(diǎn)的視點(diǎn)圖像，其中，所述虛擬視點(diǎn)圖像生成單元通過根據(jù)虛擬視點(diǎn)圖像的圖像質(zhì)量、適當(dāng)視差量或者圖像的按圖像區(qū)域的權(quán)重中的至少一個的處理來確定虛擬視點(diǎn)位置，并且生成與所確定的虛擬視點(diǎn)位置相對應(yīng)的所述虛擬視點(diǎn)圖像。
2.根據(jù)權(quán)利要求I所述的圖像處理裝置，其中，所述虛擬視點(diǎn)圖像生成單元計算指示虛擬視點(diǎn)圖像的圖像質(zhì)量的圖像質(zhì)量評價值Q，通過應(yīng)用所計算的圖像質(zhì)量評價值Q來計算虛擬視點(diǎn)間隔G，并且基于所計算的虛擬視點(diǎn)間隔G來確定所述虛擬視點(diǎn)位置。
3.根據(jù)權(quán)利要求2所述的圖像處理裝置，其中，所述虛擬視點(diǎn)圖像生成單元通過應(yīng)用所述視差信息的可靠度信息或者所生成的虛擬視點(diǎn)圖像信息中的至少一個的信息來計算所述圖像質(zhì)量評價值Q。
4.根據(jù)權(quán)利要求I所述的圖像處理裝置，其中，所述虛擬視點(diǎn)圖像生成單元計算融合視差量和串?dāng)_容許量中的較小的值作為適當(dāng)視差量，通過應(yīng)用所計算的適當(dāng)視差量來計算虛擬視點(diǎn)間隔G，并且基于所計算的虛擬視點(diǎn)間隔G來確定所述虛擬視點(diǎn)位置。
5.根據(jù)權(quán)利要求I所述的圖像處理裝置，其中，所述虛擬視點(diǎn)圖像生成單元計算融合視差量和串?dāng)_容許量中的較小的值作為適當(dāng)視差量，通過應(yīng)用所計算的適當(dāng)視差量來計算虛擬視點(diǎn)間隔G，并且基于所計算的虛擬視點(diǎn)間隔G來確定所述虛擬視點(diǎn)位置。
6.根據(jù)權(quán)利要求I所述的圖像處理裝置，其中，所述圖像處理裝置包括權(quán)重信息生成單元，被配置為根據(jù)圖像區(qū)域計算圖像權(quán)重信息，并且其中，所述虛擬視點(diǎn)圖像生成單元計算通過應(yīng)用所述圖像權(quán)重信息來校正所述視差信息而獲得的加權(quán)視差分布，通過應(yīng)用所述適當(dāng)視差量和根據(jù)所計算的加權(quán)視差分布而計算的視差的最大值來計算虛擬視點(diǎn)間隔G，并且基于所計算的虛擬視點(diǎn)間隔G來確定所述虛擬視點(diǎn)位置。
7.根據(jù)權(quán)利要求6所述的圖像處理裝置，其中，所述權(quán)重信息生成單元生成根據(jù)圖像的位置設(shè)置以圖像區(qū)域為單位的權(quán)重的圖像權(quán)重信息，或者根據(jù)包含在圖像中的對象的圖像權(quán)重信息。
8.根據(jù)權(quán)利要求I所述的圖像處理裝置，其中，所述虛擬視點(diǎn)圖像生成單元通過根據(jù)虛擬視點(diǎn)圖像的圖像質(zhì)量、適當(dāng)視差量或者圖像的按圖像區(qū)域的權(quán)重中的至少一個的處理來確定第一虛擬視點(diǎn)位置，通過對所確定的第一虛擬視點(diǎn)位置進(jìn)行非線性映射處理來確定具有不規(guī)則間隔的第二虛擬視點(diǎn)位置，并且生成與所確定的具有所述不規(guī)則間隔的第二虛擬視點(diǎn)位置相對應(yīng)的虛擬視點(diǎn)圖像。
9.根據(jù)權(quán)利要求I所述的圖像處理裝置，其中，所述虛擬視點(diǎn)圖像生成單元通過根據(jù)所述虛擬視點(diǎn)圖像的圖像質(zhì)量、適當(dāng)視差量或者圖像的按圖像區(qū)域的權(quán)重中的至少一個的處理來確定所述虛擬視點(diǎn)位置，基于根據(jù)所述視差信息計算的視差分布數(shù)據(jù)計算平行移動量，基于所計算的平行移動量執(zhí)行各個虛擬視點(diǎn)位置的虛擬視點(diǎn)圖像之間的視差分布的移動處理，并且生成反映所述視差分布數(shù)據(jù)的移動處理結(jié)果的虛擬視點(diǎn)圖像。
10.一種圖像拍攝裝置，包括圖像拍攝單元，被配置為拍攝應(yīng)用于三維圖像顯示的作為左眼圖像信號的左眼圖像(L圖像)和作為右眼圖像信號的右眼圖像(R圖像)；左眼圖像輸入單元，被配置為從所述圖像拍攝單元輸入應(yīng)用于所述三維圖像顯示的作為所述左眼圖像信號的所述左眼圖像(L圖像)；右眼圖像輸入單元，被配置為從所述圖像拍攝單元輸入應(yīng)用于所述三維圖像顯示的作為所述右眼圖像信號的所述右眼圖像(R圖像)；視差信息生成單元，被配置為根據(jù)所述左眼圖像(L圖像)和所述右眼圖像(R圖像)生成視差 目息；以及虛擬視點(diǎn)圖像生成單元，被配置為接收所述左眼圖像(L圖像)、所述右眼圖像(R圖像)和所述視差信息，并且生成虛擬視點(diǎn)圖像，所述虛擬視點(diǎn)圖像包括不同于所接收到的左眼圖像和右眼圖像的視點(diǎn)的視點(diǎn)圖像，其中，所述虛擬視點(diǎn)圖像生成單元通過根據(jù)虛擬視點(diǎn)圖像的圖像質(zhì)量、適當(dāng)視差量或者圖像的按圖像區(qū)域的權(quán)重中的至少一個的處理來確定虛擬視點(diǎn)位置，并且生成與所確定的虛擬視點(diǎn)位置相對應(yīng)的所述虛擬視點(diǎn)圖像。
11.一種被圖像處理裝置用來生成多視點(diǎn)圖像的圖像處理方法，所述圖像處理方法包括通過左眼圖像輸入單元輸入作為應(yīng)用于三維圖像顯示的左眼圖像信號的左眼圖像(L圖像);通過右眼圖像輸入單元輸入作為應(yīng)用于三維圖像顯示的右眼圖像信號的右眼圖像(R圖像)；通過視差信息生成單元根據(jù)所述左眼圖像(L圖像)和所述右眼圖像(R圖像)生成視差/[目息；以及通過虛擬視點(diǎn)圖像生成單元接收所述左眼圖像(L圖像)、所述右眼圖像(R圖像)和所述視差信息，并且生成虛擬視點(diǎn)圖像，所述虛擬視點(diǎn)圖像包括不同于所接收到的左眼圖像和右眼圖像的視點(diǎn)的視點(diǎn)圖像，其中，在所述虛擬視點(diǎn)圖像生成步驟中，通過根據(jù)虛擬視點(diǎn)圖像的圖像質(zhì)量、適當(dāng)視差量或者圖像的按圖像區(qū)域的權(quán)重中的至少一個的處理來確定虛擬視點(diǎn)位置，并且生成與所確定的虛擬視點(diǎn)位置相對應(yīng)的所述虛擬視點(diǎn)圖像。
12.一種使圖像處理裝置生成多視點(diǎn)圖像的程序，所述程序包括 使左眼圖像輸入單元輸入作為應(yīng)用于三維圖像顯示的左眼圖像信號的左眼圖像(L圖像);使右眼圖像輸入單元輸入作為應(yīng)用于三維圖像顯示的右眼圖像信號的右眼圖像(R圖像)；使視差信息生成單元根據(jù)所述左眼圖像(L圖像)和所述右眼圖像(R圖像)生成視差信息；以及使虛擬視點(diǎn)圖像生成單元接收所述左眼圖像(L圖像)、所述右眼圖像(R圖像)和所述視差信息，并且生成虛擬視點(diǎn)圖像，所述虛擬視點(diǎn)圖像包括不同于所接收到的左眼圖像和右眼圖像的視點(diǎn)的視點(diǎn)圖像，其中，在所述虛擬視點(diǎn)圖像生成步驟中，通過根據(jù)虛擬視點(diǎn)圖像的圖像質(zhì)量、適當(dāng)視差量或者圖像的按圖像區(qū)域的權(quán)重中的至少一個的處理來確定虛擬視點(diǎn)位置，并且生成與所確定的虛擬視點(diǎn)位置相對應(yīng)的所述虛擬視點(diǎn)圖像。
全文摘要
本發(fā)明提供一種圖像處理裝置、圖像處理方法和程序，該圖像處理裝置包括左眼圖像輸入單元，被配置為輸入作為應(yīng)用于三維圖像顯示的左眼圖像信號的左眼圖像(L圖像)；右眼圖像輸入單元，被配置為輸入作為應(yīng)用于三維圖像顯示的右眼圖像信號的右眼圖像(R圖像)；視差信息生成單元，被配置為根據(jù)所述左眼圖像(L圖像)和所述右眼圖像(R圖像)生成視差信息；以及虛擬視點(diǎn)圖像生成單元，被配置為接收所述左眼圖像(L圖像)、所述右眼圖像(R圖像)和所述視差信息，并且生成虛擬視點(diǎn)圖像，所述虛擬視點(diǎn)圖像包括不同于所接收到的左眼圖像和右眼圖像的視點(diǎn)的視點(diǎn)圖像。
文檔編號H04N13/00GK102932657SQ20121027211
公開日2013年2月13日 申請日期2012年8月1日 優(yōu)先權(quán)日2011年8月8日
發(fā)明者牛木卓, 緒形昌美 申請人:索尼公司