專利名稱：圖像處理設(shè)備、圖像轉(zhuǎn)換方法和程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像處理設(shè)備、圖像轉(zhuǎn)換方法和程序，并且尤其涉及這樣一種圖像處理設(shè)備、圖像轉(zhuǎn)換方法和程序，其能夠在重疊顯示三維3D主圖像時(shí)使觀眾能夠始終感覺具有相同大小的子圖像(諸如字幕)，而不依賴于所述子圖像的深度方向的顯示位置。
背景技術(shù)：
近來，隨著使用雙眼立體視圖的3D電影被推廣，用于在消費(fèi)者電子設(shè)備上再現(xiàn)3D 內(nèi)容的環(huán)境也正在發(fā)展。在此狀況下，用于在3D電影等中顯示與主圖像重疊的子圖像(諸如字幕或菜單屏幕)的方法開始成為問題。例如，已經(jīng)提出一種用于把在深度方向上的顯示位置多路傳輸為字幕數(shù)據(jù)和主圖像數(shù)據(jù)的圖像處理設(shè)備，所述深度方向垂直于所述字幕的顯示表面(參照日本未經(jīng)審查的專利申請公布號(hào)2004-274125)。然而，日本未經(jīng)審查的專利申請公布號(hào)2004-274125沒能描述用于在深度方向上確定字幕的顯示位置的方法并且也沒能描述用于在深度方向上隨時(shí)間(動(dòng)態(tài)地)改變所述字幕的顯示位置的方法。因此，在依照日本未經(jīng)審查的專利申請公布號(hào)2004-274125的圖像處理設(shè)備中， 如圖IA和IB所示，當(dāng)在深度方向上包含山脈11和樹12的3D主圖像的顯示位置隨時(shí)間改變時(shí)，在深度方向上字幕13的顯示位置可能位于主圖像的前面(在用戶一側(cè))或主圖像后面(在顯示表面一側(cè))，如圖IA所示。如圖IA所示，當(dāng)在深度方向上字幕13的顯示位置在主圖像前面時(shí)，用戶把觀察點(diǎn)聚焦到前側(cè)以觀看字幕13。換句話說，必須增大會(huì)聚角。另一方面，用戶把觀察點(diǎn)聚焦到后側(cè)以觀看主圖像。換句話說，必須縮小會(huì)聚角。因此，當(dāng)在深度方向上的字幕13和主圖像的顯示位置的距離之間的差異大時(shí)，必須瞬時(shí)移動(dòng)觀察點(diǎn)以便同時(shí)觀看字幕13和主圖像。 因此在這種情況下，顯示圖像變得難以被觀看并且會(huì)使眼睛疲勞。如圖IB所示，當(dāng)在深度方向上字幕13的顯示位置在主圖像后面因而在所述字幕 13的前面顯示所述主圖像時(shí)，字幕13看起來被掩埋在所述主圖像中。因此，顯示圖像看起來非常不自然并且會(huì)使眼睛疲勞。在這方面，已經(jīng)提出一種用于依靠在深度方向上主圖像的顯示位置的最大值來控制在深度方向上字幕的顯示位置的系統(tǒng)，其中所述最大值從3D主圖像中提取或者被應(yīng)用于所述3D主圖像(例如參照國際公開W008/115222的小冊子)。在此文檔中，深度方向上顯示位置的值在前側(cè)增加。在此系統(tǒng)中，即使當(dāng)在深度方向上主圖像的顯示位置隨時(shí)間改變，在深度方向上字幕13的顯示位置也可以始終基于在深度方向上主圖像的顯示位置的最大值而位于主圖像的前面的最接近主圖像的位置。例如，即使當(dāng)在深度方向上主圖像的位置隨時(shí)間從圖2A 中所示出的位置改變到圖2B中所示出的位置，在深度方向上字幕13的顯示位置也可以始終位于在樹12的前面的最接近樹12的位置。因此，顯示圖像變?yōu)槠渲凶帜?3位于主圖像前面的自然圖像，也是其中觀察點(diǎn)的移動(dòng)量小的易見圖像。然而，在國際公布WO 08/115222的小冊子中公開的系統(tǒng)中，例如，如圖3A和所示，當(dāng)在主圖像中包括的山脈11不會(huì)隨時(shí)間改變其位置時(shí)，但是車輛14隨時(shí)間從圖3A中所示出的后側(cè)移動(dòng)到圖3B中所示出的前側(cè)，字幕13也從后側(cè)移動(dòng)到前側(cè)。在這種情況下， 由于車輛14在總視野中占據(jù)的尺寸隨著其移動(dòng)到前側(cè)而發(fā)生改變，所以車輛14的顯示尺寸增加，但是字幕13的顯示尺寸不會(huì)改變。更具體地說，如圖4A所示，當(dāng)從視距dl的位置觀察具有水平寬度Wl的車輛14時(shí)， 如果車輛14相對于總視野的視野被設(shè)置為θ 1，則當(dāng)從比視距dl更短的視距d2的位置觀察具有相同寬度Wl的車輛14時(shí)，車輛14相對于總視野的視野被設(shè)置為Θ2(其大于Θ1)。 因此，與圖4Α的情況相比，在圖4Β的情況下顯示圖像內(nèi)車輛14的水平寬度更大。然而，字幕13的顯示尺寸并不會(huì)依賴于在深度方向上字幕13的顯示位置而發(fā)生改變。因此，不管視距如何，字幕13相對于總視野的視野保持恒定，并且當(dāng)如圖5Β所示從視距d4的位置觀察字幕13時(shí)，字幕13相對于總視野的視野變?yōu)棣?3，其與當(dāng)如圖5Α所示從比視距d4長的視距d3的位置觀察字幕13時(shí)所述字幕13相對于總視野的視野相同。因此，當(dāng)在深度方向上具有水平寬度W3的字幕13的顯示位置從視距d3的位置移到視距d4 的位置時(shí)，如圖5B所示，觀眾會(huì)錯(cuò)誤地感覺到字幕13的水平寬度從水平寬度W3改變?yōu)樾∮谒綄挾萕3的水平寬度W4。這種現(xiàn)象受到視覺的“大小恒常性”的影響，其也被稱為視錯(cuò)覺。

發(fā)明內(nèi)容
依照這種方式，在國際公布WO 08/115222的小冊子中公開的系統(tǒng)中，由于字幕的顯示尺寸不管在深度方向上字幕的顯示位置如何而是恒定的，所以當(dāng)在深度方向上字幕的顯示位置在后側(cè)移動(dòng)時(shí)觀眾會(huì)感覺到字幕被放大了。同時(shí)，當(dāng)在深度方向上字幕的顯示位置在前側(cè)移動(dòng)時(shí)，觀眾會(huì)感覺字幕被縮小了。期望當(dāng)重疊顯示3D主圖像時(shí)使觀眾能夠在不依賴于子圖像的深度方向的顯示位置的情況下始終可以感覺具有相同大小的子圖像(諸如字幕)。依照本發(fā)明的一個(gè)實(shí)施例，提供了一種圖像處理設(shè)備，其包括確定裝置，用于基于包括左眼主圖像和右眼主圖像的3D主圖像的視差來確定與所述3D主圖像重疊的子圖像的視差并且基于相應(yīng)子圖像的視差來確定所述子圖像的縮放比率；放大/縮小處理裝置， 用于根據(jù)所述縮放比率來放大或縮小所述子圖像；創(chuàng)建裝置，用于通過基于所述子圖像的視差在左右方向上移位所述子圖像來創(chuàng)建左眼子圖像和右眼子圖像；和合成裝置，用于為每只眼睛把左眼主圖像和右眼主圖像與通過放大/縮小并且在左右方向上移位所述子圖像而創(chuàng)建的左眼子圖像和右眼子圖像進(jìn)行合成。依照本發(fā)明一個(gè)實(shí)施例的圖像處理方法和程序?qū)?yīng)于依照本發(fā)明一個(gè)實(shí)施例的圖像處理設(shè)備。依照本發(fā)明的一個(gè)實(shí)施例，基于包括左眼主圖像和右眼主圖像的3D主圖像的視差來確定與3D主圖像重疊的子圖像的視差，并且基于相應(yīng)子圖像的視差來確定所述子圖像的縮放比率。根據(jù)縮放比率來放大或縮小子圖像。通過基于子圖像的視差在左右方向上移位所述子圖像來創(chuàng)建左眼子圖像和右眼子圖像。針對每只眼睛把左眼主圖像和右眼主圖像與通過放大/縮小子圖像并且在左右方向上移位所述子圖像所創(chuàng)建的左眼子圖像和右眼子圖像進(jìn)行合成。依照本發(fā)明的一個(gè)實(shí)施例，可以在把諸如字幕之類的子圖像與3D主圖像重疊顯示時(shí)使觀眾能夠始終感覺到具有相同大小的子圖像，而不管在深度方向上子圖像的顯示位置如何。


圖IA和IB是用于圖示在深度方向上主圖像和字幕的顯示位置的例子的圖。圖2A和2B是用于圖示在深度方向上主圖像和字幕的顯示位置的另一例子的圖。圖3A和;3B是用于圖示當(dāng)在深度方向上主圖像的顯示位置改變時(shí)主圖像和字幕的顯示例子的圖。圖4A和4B是用于圖示由視距變化所導(dǎo)致的視野變化的圖。圖5A和5B是用于圖示視錯(cuò)覺的圖。圖6是用于圖示依照本發(fā)明一個(gè)實(shí)施例的圖像處理設(shè)備的配置例子的框圖。圖7是圖示用于確定字幕圖像的視差的第一方法的圖。圖8是圖示用于確定字幕圖像的視差的第二方法的圖。圖9是圖示用于確定字幕圖像的視差的第三方法的圖。圖10是用于圖示3D圖像的圖像形成位置的圖。圖11是用于圖示在圖像的圖像形成位置和觀眾的眼膜圖像的尺寸之間的關(guān)系的圖。圖12是用于圖示圖6的字幕圖像創(chuàng)建部件的配置例子的框圖。圖13是圖示用于生成字幕圖像的第一方法的圖。圖14是圖示用于生成字幕圖像的第二方法的圖。圖15是圖示使用圖像處理設(shè)備的圖像合成過程的流程圖。圖16是用于圖示依照本發(fā)明一個(gè)實(shí)施例的計(jì)算機(jī)的配置例子的圖。
具體實(shí)施例方式實(shí)施例實(shí)施例的圖像處理設(shè)備的配置例子圖6是用于圖示依照本發(fā)明一個(gè)實(shí)施例的圖像處理設(shè)備的配置例子的框圖。圖6的圖像處理設(shè)備30包括視差檢測部件31、字幕控制部件32、字幕圖像創(chuàng)建部件33和圖像合成部件34。圖像處理設(shè)備30通過以畫面為基礎(chǔ)重疊字幕圖像(其是用于表示字幕的圖像)，以輸入畫面為基礎(chǔ)輸出3D主圖像。具體地是，圖像處理設(shè)備30的視差檢測部件31從外部以屏幕為基礎(chǔ)接收包括左眼主圖像和右眼主圖像的3D主圖像。視差檢測部件31檢測用于表示在所接收左眼主圖像和所接收右眼主圖像的水平方向(左-右方向)上的顯示位置之間的差異(視差)的像素?cái)?shù)目，作為每個(gè)預(yù)定單位(例如，像素或包括多個(gè)像素的塊)的視差。另外，當(dāng)在水平方向上左眼主圖像的顯示位置處于在水平方向上右眼主圖像的顯示位置的右側(cè)時(shí)，視差被表示為正值。否則，當(dāng)左眼主圖像的顯示位置處于在水平方向上右眼主圖像的顯示位置的左側(cè)時(shí)，視差被表示為負(fù)值。換句話說，如果視差具有正值，那么在深度方向上主圖像的顯示位置在顯示表面的前面。否則，如果視差具有負(fù)值，那么在深度方向上主圖像的顯示位置在顯示表面的后面。另外，視差檢測部件31基于檢測的視差向字幕控制部件32提供用于表示3D主圖像的整個(gè)屏幕的視差的視差信息。視差信息可以包括3D主圖像的整個(gè)屏幕的視差的最大值和最小值、整個(gè)屏幕的視差的直方圖、用于表示在整個(gè)屏幕上每個(gè)位置的視差的視差示意圖等。字幕控制部件32 (確定裝置)基于從視差檢測部件31提供的視差信息來確定由字幕圖像創(chuàng)建部件33創(chuàng)建的字幕圖像的視差。另外，字幕控制部件32基于字幕圖像的視差來確定所述字幕圖像的縮放比率。字幕控制部件32向字幕圖像創(chuàng)建部件33提供確定的視差和確定的縮放比率作為字幕控制信息。字幕圖像創(chuàng)建部件33從外部接收字幕信息，作為用于顯示單個(gè)屏幕的字幕的信息。另外，字幕信息例如包括文本信息和布置信息，所述文本信息包括單個(gè)屏幕的字幕的字符串的字體信息，所述布置信息表示在屏幕上單個(gè)屏幕的字幕的位置。字幕圖像創(chuàng)建部件 33基于接收的字幕信息創(chuàng)建具有與主圖像相同分辨率的字幕圖像。字幕圖像創(chuàng)建部件33基于由字幕控制部件32提供的字幕控制信息中的縮放比率來二維放大或縮小字幕圖像的尺寸。另外，字幕圖像創(chuàng)建部件33通過基于由字幕控制部件 32提供的字幕控制信息中的視差在左-右方向上移位字幕圖像，來創(chuàng)建左眼字幕圖像和右眼字幕圖像。另外，字幕圖像創(chuàng)建部件33向圖像合成部件34提供左眼字幕圖像和右眼字幕圖像。針對每只眼睛，圖像合成部件34把已經(jīng)從外部接收的左眼主圖像和右眼主圖像與從字幕圖像創(chuàng)建部件33提供的左眼字幕圖像和右眼字幕圖像進(jìn)行合成。圖像合成部件 34輸出通過合成產(chǎn)生的左眼圖像和右眼圖像。盡管圖6的圖像處理設(shè)備30使用視差檢測部件31來檢測視差，不過可以在外部檢測視差并且可以把視差信息輸入到圖像處理設(shè)備30。在這種情況下，圖像處理設(shè)備30不具備視差檢測部件31。M于石角定字幕S像ffl差^77圖7到9是用于圖示使用字幕控制部件32來確定字幕圖像的視差的方法的圖。參照圖7，當(dāng)從視差檢測部件31提供視差的最小值和視差的最大值作為視差信息時(shí)，字幕控制部件32例如把視差的最大值確定為字幕圖像的視差。結(jié)果，在深度方向上字幕圖像的顯示位置變?yōu)榕c在最前面的主圖像相同的位置。參照圖8，當(dāng)從視差檢測部件31提供視差的直方圖作為視差信息時(shí)，字幕控制部件32例如把其中從最大值得到的面積(圖8中斜線區(qū)的面積)占據(jù)直方圖中整個(gè)面積的
處的視差確定為字幕的視差。參照圖9，當(dāng)從視差檢測部件31提供視差示意圖作為視差信息時(shí)，字幕控制部件 32例如基于在字幕信息中包括的布置信息、把位于屏幕上的字幕圖像位置處的主圖像的視差的最大值確定為字幕圖像的視差。具體地是，如圖9所示，布置在屏幕上右端的字幕41的視差被確定為主圖像的右端的視差的最大值，并且布置在屏幕上的下部中央的字幕42的視差被確定為主圖像的下部中央的視差的最大值。另外，圖9的視差示意圖中濃度大表示視差低。換句話說，圖中濃度小的明亮部分的視差為高，并且該部分顯示在前側(cè)。相反，圖中濃度大的陰暗部分的視差為低，并且該部分顯示在后側(cè)。因此，圖9中，主圖像的右端的視差低于下部中央的視差，并且在字幕42的后面顯示字幕41。當(dāng)多個(gè)字幕位于單個(gè)屏幕中時(shí)，字幕控制部件32基于在字幕信息中包括的每個(gè)字幕的布置信息和視差示意圖來確定每個(gè)字幕的視差，并且向字幕圖像創(chuàng)建部件33提供所有字幕的視差作為字幕圖像的視差。在這種情況下，還基于每個(gè)字幕的視差為每個(gè)字幕確定縮放比率，并且輸出所有字幕的縮放比率作為字幕圖像的縮放比率。另外，用于確定字幕圖像的視差的方法不限于結(jié)合圖7和9描述的那些方法，而是可以包括任何方法，只要當(dāng)與3D主圖像重疊字幕圖像時(shí)可以在易于被觀眾看見的位置上顯示所述字幕圖像即可。用于確定縮放比率的方法的描述圖10和11是圖示用于使用字幕控制部件32來確定縮放比率的方法的圖。圖10是用于圖示包括左眼圖像ft·和右眼圖像Pl的3D圖像的圖像形成位置的圖。在圖10中，在左眼圖像ft·和右眼圖像Pl之間的水平方向上的顯示位置的差異距離L被表示為以下方程式(1)。L = dXp...(l)在方程式(1)中，附圖標(biāo)記d標(biāo)示包括左眼圖像ft·和右眼圖像Pl的3D圖像的視差(像素的數(shù)目)，并且附圖標(biāo)記P標(biāo)示在水平方向上3D圖像顯示設(shè)備的像素的尺寸。另外，當(dāng)觀眾從視距ν的位置通過基線(瞳孔間距離)b上的兩個(gè)眼睛觀看包括左眼圖像ft·和右眼圖像Pl的3D圖像時(shí)，所述左眼圖像ft·和右眼圖像Pl成像的位置P在顯示表面前面的距離ζ處。另外，在距離L、基線b、視距ν和距離ζ之間的關(guān)系可以被表示為以下方程式⑵。
權(quán)利要求
1.一種圖像處理設(shè)備，包括確定裝置，用于基于包括左眼主圖像和右眼主圖像的三維主圖像的視差來確定與所述三維主圖像重疊的子圖像的視差，并且基于相應(yīng)子圖像的視差來確定所述子圖像的縮放比率；放大/縮小處理裝置，用于根據(jù)縮放比率來放大或縮小所述子圖像；創(chuàng)建裝置，用于通過基于所述子圖像的視差在左右方向上移位所述子圖像來創(chuàng)建左眼子圖像和右眼子圖像；以及合成裝置，用于為每只眼睛把所述左眼主圖像和所述右眼主圖像與通過放大/縮小并且在左右方向上移位所述子圖像所創(chuàng)建的左眼子圖像和右眼子圖像進(jìn)行合成。
2.如權(quán)利要求1所述的圖像處理設(shè)備，進(jìn)一步包括用于檢測所述三維主圖像的視差的檢測裝置。
3.如權(quán)利要求1所述的圖像處理設(shè)備，其中所述確定裝置基于所述三維主圖像的視差和所述子圖像在屏幕上的位置來確定所述子圖像的視差。
4.如權(quán)利要求3所述的圖像處理設(shè)備，其中提供多個(gè)子圖像，并且其中所述確定裝置基于所述三維主圖像的視差和各子圖像在屏幕上的位置來確定各子圖像的視差，并且基于各子圖像的視差來確定各子圖像的縮放比率，所述放大/縮小處理裝置基于相應(yīng)子圖像的縮放比率來放大或縮小每個(gè)子圖像，并且所述創(chuàng)建裝置通過基于相應(yīng)子圖像的視差在左右方向上移位所述子圖像來為每個(gè)子圖像創(chuàng)建左眼子圖像和右眼子圖像。
5.如權(quán)利要求1所述的圖像處理設(shè)備，其中所述子圖像是字幕。
6.一種使用圖像處理設(shè)備來處理圖像的方法，所述方法包括步驟基于包括左眼主圖像和右眼主圖像的三維主圖像的視差來確定與所述三維主圖像重疊的子圖像的視差，并且基于相應(yīng)子圖像的視差來確定所述子圖像的縮放比率；根據(jù)所述縮放比率來放大或縮小所述子圖像；通過基于所述子圖像的視差在左右方向上移位所述子圖像來創(chuàng)建左眼子圖像和右眼子圖像；以及針對每只眼睛，把所述左眼主圖像和所述右眼主圖像與通過放大/縮小并且在左右方向上移位所述子圖像所創(chuàng)建的左眼子圖像和右眼子圖像進(jìn)行合成。
7.一種用于在計(jì)算機(jī)上執(zhí)行包括以下步驟的處理的程序基于包括左眼主圖像和右眼主圖像的三維主圖像的視差來確定與所述三維主圖像重疊的子圖像的視差，并且基于相應(yīng)子圖像的視差來確定所述子圖像的縮放比率；根據(jù)縮放比率來放大或縮小所述子圖像；通過基于所述子圖像的視差在左右方向上移位所述子圖像來創(chuàng)建左眼子圖像和右眼子圖像；以及針對每只眼睛，把所述左眼主圖像和所述右眼主圖像與通過放大/縮小并且在左右方向上移位所述子圖像所創(chuàng)建的左眼子圖像和右眼子圖像進(jìn)行合成。
8.一種圖像處理設(shè)備，包括確定部件，用于基于包括左眼主圖像和右眼主圖像的三維主圖像的視差來確定與所述三維主圖像重疊的子圖像的視差，并且基于相應(yīng)子圖像的視差來確定所述子圖像的縮放比率；放大/縮小處理部件，用于根據(jù)縮放比率來放大或縮小所述子圖像； 創(chuàng)建部件，用于通過基于所述子圖像的視差在左右方向上移位所述子圖像來創(chuàng)建左眼子圖像和右眼子圖像；和合成部件，用于為每只眼睛把所述左眼主圖像和所述右眼主圖像與通過放大/縮小并且在左右方向上移位所述子圖像所創(chuàng)建的左眼子圖像和右眼子圖像進(jìn)行合成。
全文摘要
公開了一種圖像處理設(shè)備、圖像轉(zhuǎn)換方法和程序，該圖像處理設(shè)備包括確定部件，用于基于包括左眼主圖像和右眼主圖像的3D主圖像的視差來確定與所述3D主圖像重疊的子圖像的視差并且基于相應(yīng)子圖像的視差來確定所述子圖像的縮放比率；放大/縮小處理部件，用于根據(jù)所述縮放比率來放大或縮小所述子圖像；創(chuàng)建部件，用于通過基于所述子圖像的視差在左右方向上移位所述子圖像來創(chuàng)建左眼子圖像和右眼子圖像；和合成部件，用于為每只眼睛把左眼主圖像和右眼主圖像與通過放大/縮小并且在左右方向上移位子圖像而創(chuàng)建的左眼子圖像和右眼子圖像進(jìn)行合成。
文檔編號(hào)H04N13/00GK102196288SQ20111006069
公開日2011年9月21日 申請日期2011年3月10日 優(yōu)先權(quán)日2010年3月17日
發(fā)明者小林誠司 申請人:索尼公司