專利名稱：立體圖像顯示系統(tǒng)、視差轉(zhuǎn)換裝置、視差轉(zhuǎn)換方法以及程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種立體圖像顯示系統(tǒng)，并且具體地，涉及一種對(duì)立體圖像中的視差進(jìn)行轉(zhuǎn)換的視差轉(zhuǎn)換裝置、立體圖像顯示系統(tǒng)、其處理方法、以及使得計(jì)算機(jī)執(zhí)行該方法的程序。
背景技術(shù)：
近年來(lái)，使用了利用圖像顯示裝置來(lái)顯示立體圖像的技術(shù)。在觀看顯示在圖像顯示裝置上的這樣的立體圖像時(shí)，即使當(dāng)收斂角與真實(shí)世界相似時(shí)，焦距也可能不同，這成為產(chǎn)生視覺疲勞的因素。具體地，在動(dòng)畫顯示期間屏幕內(nèi)的部分過(guò)分地突出、或?qū)ο蟛槐匾赝怀龅鹊那闆r下，大的視覺改變對(duì)觀眾來(lái)說(shuō)是負(fù)擔(dān)。因此，傳統(tǒng)地，為了執(zhí)行自然的立體顯示，提出了如下立體圖像顯示裝置其進(jìn)行顯示，以使得立體圖像的顯示位置在觀察者的焦點(diǎn)深度內(nèi)(例如，參見PTL1)。利用該傳統(tǒng)的立體圖像顯示裝置，要顯示的深度距離被非線性地轉(zhuǎn)換為立體圖像的顯示位置的深度距
1 O引用列表專利文獻(xiàn)PTLl 日本未審查專利申請(qǐng)公布第2005-091508號(hào)(圖6)

發(fā)明內(nèi)容
技術(shù)問(wèn)題利用上述傳統(tǒng)技術(shù)，通過(guò)將要顯示的深度距離非線性地轉(zhuǎn)換成立體圖像的顯示位置的深度距離，立體圖像的顯示位置調(diào)整成在觀察者的焦點(diǎn)深度內(nèi)。然而，存在如下情況 其中，不僅要直接調(diào)整深度距離本身，而且還期望間接調(diào)整影響深度感知的各類要素。本發(fā)明是在考慮這樣的情形下進(jìn)行的，并且旨在根據(jù)影響立體圖像的深度感知的圖像的配置要素的特征來(lái)對(duì)立體圖像的視差進(jìn)行轉(zhuǎn)換。問(wèn)題的解決方案作出了本發(fā)明來(lái)解決上述問(wèn)題，并且其第一方面是一種具有如下幾個(gè)單元的視差轉(zhuǎn)換裝置、具有針對(duì)這些單元中的每個(gè)的處理過(guò)程的視差轉(zhuǎn)換方法、以及使得計(jì)算機(jī)執(zhí)行這些各個(gè)過(guò)程的程序，其中，該視差轉(zhuǎn)換裝置具有視差檢測(cè)單元，其根據(jù)輸入圖像的左圖像和右圖像檢測(cè)視差，并且生成保存每個(gè)像素或像素群的視差的視差圖；校正特征設(shè)置單元，其設(shè)置校正視差圖中的視差時(shí)的校正特征；視差校正單元，其根據(jù)所設(shè)置的校正特征來(lái)校正視差圖中的視差，并且生成校正后的視差圖；以及圖像合成單元，其根據(jù)校正后的視差圖，根據(jù)輸入圖像的左圖像和右圖像，合成輸出圖像的左圖像和右圖像。這產(chǎn)生了如下效果基于校正后的視差圖而合成左圖像和右圖像，其中，該校正后的視差圖進(jìn)行了根據(jù)所設(shè)置的校正特征的視差校正。另外，根據(jù)這里的第一方面，還可設(shè)置有在視差圖中設(shè)置至少兩個(gè)區(qū)域的區(qū)域設(shè)置單元；其中，校正特征設(shè)置單元針對(duì)至少兩個(gè)區(qū)域中的每個(gè)區(qū)域來(lái)設(shè)置校正特征；并且， 視差校正單元按照針對(duì)視差圖中的至少兩個(gè)區(qū)域設(shè)置的校正特征，對(duì)視差圖中的視差進(jìn)行校正。這產(chǎn)生了如下效果根據(jù)針對(duì)每個(gè)區(qū)域設(shè)置的校正特征來(lái)對(duì)視差進(jìn)行校正。另外，根據(jù)這里的第一方面，視差校正單元可在至少兩個(gè)區(qū)域相鄰的預(yù)定緩沖區(qū)域中，按照針對(duì)各相鄰區(qū)域設(shè)置的校正特征的加權(quán)和，對(duì)視差圖中的視差進(jìn)行校正。這產(chǎn)生了避免區(qū)域之間不連續(xù)的效果。另外，根據(jù)這里的第一方面，校正特征設(shè)置單元可設(shè)置校正特征，以使得在與至少兩個(gè)區(qū)域的視差圖的左邊緣和右邊緣對(duì)應(yīng)的區(qū)域中，抑制向前方向中的深度。這產(chǎn)生了如下效果避免左邊緣和右邊緣中的不自然的突出，由此解決了觀察者的不舒適(遮擋沖突)。另外，根據(jù)這里的第一方面，校正特征設(shè)置單元可針對(duì)視差圖中的至少兩個(gè)分量中的每個(gè)設(shè)置校正特征；其中，視差校正單元包括分量劃分單元，其將視差圖劃分成分量中的每個(gè)；分量視差校正單元，其根據(jù)針對(duì)每個(gè)分量設(shè)置的校正特征，按分量對(duì)視差圖中的視差進(jìn)行校正；以及分量合成單元，其合成針對(duì)每個(gè)分量校正的視差圖，并且生成校正后的視差圖。這產(chǎn)生了如下效果對(duì)于每個(gè)分量，執(zhí)行適合于相應(yīng)分量的視差校正。另外，在這種情況下，利用校正特征設(shè)置單元設(shè)置的分量可以基于視差圖中的視差頻率的分量。另外，根據(jù)這里的第一方面，利用校正特征設(shè)置單元設(shè)置的校正特征可以是非線性特征，其中，視差圖中的視差接近零的地方斜率為1，并且隨著視差圖中的視差增大收斂到預(yù)定值。這產(chǎn)生了如下效果避免接近顯示面的深度中圖像的失真。另外，在這種情況下，可基于Sigmoid函數(shù)限定利用校正特征設(shè)置單元設(shè)置的校正特征。另外，根據(jù)這里的第一方面，圖像合成單元可包括中央單眼圖像合成單元，其基于視差圖的視差，根據(jù)輸入圖像的左圖像和右圖像合成中央單眼圖像；視差/深度轉(zhuǎn)換單元，其將校正后的視差圖中的視差轉(zhuǎn)換成深度，并且生成校正后的深度圖；三維映射單元， 其基于校正后的深度圖、通過(guò)將中央單眼圖像映射在三維空間中，生成校正后的三維圖；以及立體圖像合成單元，其通過(guò)將校正后的三維圖投影到顯示面上，合成輸出圖像的右圖像和左圖像。這產(chǎn)生了如下效果根據(jù)輸入圖像的左圖像和右圖像合成中央單眼圖像，并且基于中央單眼圖像而對(duì)視差進(jìn)行校正。另外，根據(jù)這里的第一方面，圖像合成單元可具有直接三維映射單元，其基于視差圖中的視差，通過(guò)將輸入圖像的左圖像和右圖像映射在三維空間中，生成三維圖；中央單眼圖像合成單元，其通過(guò)將三維圖投影到面對(duì)虛擬中央眼的顯示面上，合成中央單眼圖像； 視差/深度轉(zhuǎn)換單元，其將校正后的視差圖中的視差轉(zhuǎn)換成深度，并且生成校正后的深度圖；三維映射單元，其基于校正后的深度圖，通過(guò)將中央單眼圖像映射在三維空間中，生成校正后的三維圖；以及立體圖像合成單元，其通過(guò)將校正后的三維圖投影到顯示面上，合成輸出圖像的右圖像和左圖像。這產(chǎn)生了如下效果根據(jù)輸入圖像的左圖像和右圖像生成三維圖，并且基于該三維圖對(duì)視差進(jìn)行校正。另外，根據(jù)這里的第一方面，還可設(shè)置有視差分析單元，其對(duì)視差圖中的視差進(jìn)行分析，并且生成視差的累積頻率分布；其中，視差校正單元基于累積頻率分布和校正特征， 對(duì)視差圖中的視差進(jìn)行校正。這產(chǎn)生了如下效果對(duì)視差直方圖進(jìn)行平滑，并且有效地改變立體圖像的深度感知。
另外，本發(fā)明的第二方面是一種立體圖像顯示系統(tǒng)，具有輸入圖像提供單元，其提供具有作為一對(duì)立體圖像的左圖像和右圖像的輸入圖像；視差檢測(cè)單元，其根據(jù)輸入圖像的左圖像和右圖像檢測(cè)視差，并且生成保存每個(gè)像素或像素群的視差的視差圖；校正特征設(shè)置單元，其設(shè)置校正視差圖中的視差時(shí)的校正特征；視差校正單元，其根據(jù)所設(shè)置的校正特征來(lái)校正視差圖中的視差，并且生成校正后的視差圖；圖像合成單元，其根據(jù)校正后的視差圖，根據(jù)輸入圖像的左圖像和右圖像，合成輸出圖像的左圖像和右圖像；以及圖像顯示裝置，其顯示輸出圖像。這產(chǎn)生了如下效果基于校正后的視差圖合成左圖像和右圖像并且顯示，其中，該校正后的視差圖進(jìn)行了根據(jù)所設(shè)置的校正特征的視差校正。發(fā)明的有利效果根據(jù)本發(fā)明，可以根據(jù)影響立體圖像的深度感知的圖像的配置要素的特征，獲得卓越的優(yōu)點(diǎn)可以對(duì)立體圖像的視差進(jìn)行轉(zhuǎn)換。


圖1是示出根據(jù)本發(fā)明的一個(gè)實(shí)施例的立體圖像顯示系統(tǒng)的配置示例的圖；圖2是示出根據(jù)本發(fā)明的第一實(shí)施例的視差轉(zhuǎn)換裝置100的配置示例的圖；圖3是示出根據(jù)本發(fā)明的第一實(shí)施例的利用視差校正單元150的視差校正的示例的圖；圖4是示出根據(jù)本發(fā)明的第一實(shí)施例的利用校正特征設(shè)置單元130的校正特征設(shè)置的前提的圖；圖5是示出根據(jù)本發(fā)明的第一實(shí)施例的利用校正特征設(shè)置單元130的校正特征設(shè)置的示例的圖；圖6是示出根據(jù)本發(fā)明的第一實(shí)施例的利用視差校正單元150的視差校正的另一個(gè)示例的圖；圖7是示出根據(jù)本發(fā)明的第一實(shí)施例的通過(guò)圖像合成單元160進(jìn)行的圖像合成的示例的圖；圖8是示出根據(jù)本發(fā)明的第一實(shí)施例的視差轉(zhuǎn)換裝置100的操作示例的圖；圖9是示出根據(jù)本發(fā)明的第二實(shí)施例的視差轉(zhuǎn)換裝置100的操作配置示例的圖；圖10是根據(jù)本發(fā)明的第二實(shí)施例的通過(guò)區(qū)域設(shè)置單元140進(jìn)行的多個(gè)區(qū)域設(shè)置的示例；圖11是示出根據(jù)本發(fā)明的第二實(shí)施例的在實(shí)現(xiàn)校正特征的加權(quán)和時(shí)的加權(quán)示例的圖；圖12是示出根據(jù)本發(fā)明的第三實(shí)施例的視差轉(zhuǎn)換裝置100的配置示例的圖；圖13是示出根據(jù)本發(fā)明的第三實(shí)施例的圖像合成單元260的配置示例的圖；圖14是示出根據(jù)本發(fā)明的第三實(shí)施例的視差/深度轉(zhuǎn)換單元的處理示例的圖；圖15是示出根據(jù)本發(fā)明的第三實(shí)施例的中央單眼圖像合成單元沈3的處理示例的圖；圖16是示出根據(jù)本發(fā)明的第三實(shí)施例的三維映射單元264和立體圖像合成單元 265的處理概要的圖17是示出根據(jù)本發(fā)明的第三實(shí)施例的三維映射單元264和立體圖像合成單元 265的處理細(xì)節(jié)的圖；圖18是示出根據(jù)本發(fā)明的第三實(shí)施例的通過(guò)三維映射單元264和立體圖像合成單元265進(jìn)行的深度曲線上的圖像選擇的示例的圖；圖19是示出根據(jù)本發(fā)明的第三實(shí)施例的通過(guò)三維映射單元264和立體圖像合成單元265進(jìn)行的深度曲線上的圖像選擇的另一個(gè)示例的圖；圖20是示出根據(jù)本發(fā)明的第四實(shí)施例的視差轉(zhuǎn)換裝置100的配置示例的圖；圖21是示出根據(jù)本發(fā)明的第四實(shí)施例的圖像合成單元360的配置示例的圖；圖22是示出根據(jù)本發(fā)明的第四實(shí)施例的通過(guò)直接三維映射單元362進(jìn)行的處理示例的圖；圖23是示出根據(jù)本發(fā)明的第四實(shí)施例的中央單眼圖像合成單元363的處理示例的圖；圖M是示出根據(jù)本發(fā)明的第五實(shí)施例的視差轉(zhuǎn)換裝置100的配置示例的圖；圖25是示出根據(jù)本發(fā)明的第五實(shí)施例的通過(guò)視差分析單元120進(jìn)行的視差分析的示例的圖；圖沈是示出根據(jù)本發(fā)明的第五實(shí)施例的視差轉(zhuǎn)換裝置100的操作示例的圖；圖27是示出根據(jù)本發(fā)明的第六實(shí)施例的視差轉(zhuǎn)換裝置100的配置示例的圖；以及圖觀是示出根據(jù)本發(fā)明的第六實(shí)施例的視差校正單元550的配置示例的圖。
具體實(shí)施例方式下面將描述本發(fā)明的實(shí)施例(在下文中稱為實(shí)施例)。將按以下順序給出描述。1.第一實(shí)施例(按照視差的大小執(zhí)行視差轉(zhuǎn)換的示例)2.第二實(shí)施例(利用按區(qū)域不同的校正特征來(lái)執(zhí)行視差轉(zhuǎn)換的示例)3.第三實(shí)施例(使用中央單眼圖像的示例)4.第四實(shí)施例(執(zhí)行直接三維映射的示例)5.第五實(shí)施例(執(zhí)行視差的直方圖平滑的示例)6.第六實(shí)施例(通過(guò)按分量不同的校正特征來(lái)執(zhí)行視差轉(zhuǎn)換的示例)<1.第一實(shí)施例>[立體圖像顯示系統(tǒng)]圖1是示出根據(jù)本發(fā)明的一個(gè)實(shí)施例的立體圖像顯示系統(tǒng)的配置示例的圖。這里的立體圖像顯示系統(tǒng)具有圖像存儲(chǔ)裝置10、視差轉(zhuǎn)換裝置100、顯示控制裝置30以及圖像顯示裝置40。圖像存儲(chǔ)裝置10存儲(chǔ)用于立體顯示的圖像數(shù)據(jù)?，F(xiàn)在，圖像數(shù)據(jù)可以是具有一對(duì)由人左眼感知的左圖像和由人右眼感知的右圖像的立體圖像，并且可以是由一對(duì)左圖像和右圖像構(gòu)成的靜止圖像，或者可以是運(yùn)動(dòng)圖像，其中，以時(shí)序方式排列左圖像和右圖像 (幀)。注意，圖像存儲(chǔ)裝置10是在權(quán)利要求中描述的輸入圖像提供單元的示例。視差轉(zhuǎn)換裝置100對(duì)存儲(chǔ)在圖像存儲(chǔ)裝置10中的圖像數(shù)據(jù)的立體圖像的視差進(jìn)行轉(zhuǎn)換。也就是說(shuō)，視差轉(zhuǎn)換裝置100的輸入和輸出兩者都是立體圖像，并且被轉(zhuǎn)換以使得由雙眼領(lǐng)會(huì)的視差不同。
顯示控制裝置30執(zhí)行控制，以使得從視差轉(zhuǎn)換裝置100輸出的圖像數(shù)據(jù)顯示在圖像顯示裝置40上。圖像顯示裝置40是將圖像數(shù)據(jù)顯示為立體圖像的立體顯示器?？蛇x方法可應(yīng)用為立體顯示方法，諸如將左圖像和右圖像交替布置在每隔一行的掃描線上的方法，或者以時(shí)分方式顯示左圖像和右圖像的方法。顯示控制裝置30執(zhí)行顯示控制，以便與這里的圖像顯示裝置40的顯示方法對(duì)應(yīng)。[視差轉(zhuǎn)換裝置]圖2是示出根據(jù)本發(fā)明的第一實(shí)施例的視差轉(zhuǎn)換裝置100的配置示例的圖。根據(jù)第一實(shí)施例的視差轉(zhuǎn)換裝置100接收由左圖像L和右圖像R構(gòu)成的立體圖像作為輸入圖像，對(duì)其視差進(jìn)行轉(zhuǎn)換，并且輸出由左圖像L'和右圖像R'構(gòu)成的立體圖像作為輸出圖像。視差轉(zhuǎn)換裝置100具有視差檢測(cè)單元110、校正特征設(shè)置單元130、視差校正單元150、 以及圖像合成單元160。視差檢測(cè)單元110根據(jù)輸入圖像的左圖像L和右圖像R檢測(cè)視差，并且生成視差圖dM。這里的視差圖dM保存輸入圖像的每個(gè)像素或像素群的視差。在這種情況下，左圖像L或右圖像R可用作輸入圖像的基準(zhǔn)。另外，可以獲得左圖像L和右圖像R兩者的視差用于隱藏部分的處理。視差的估計(jì)方法是已知技術(shù)，并且已知一種技術(shù)估計(jì)左圖像和右圖像的視差，并且通過(guò)執(zhí)行對(duì)從左圖像和右圖像移除了背景圖像的前景圖像的匹配來(lái)生成視差圖(例如，日本未審查專利申請(qǐng)公布第2006-114023號(hào))。視差校正單元150對(duì)視差圖dM中的視差進(jìn)行校正，并且生成校正后的視差圖 dM'。校正特征設(shè)置單元130設(shè)置利用視差校正單元150執(zhí)行視差校正時(shí)的校正特征。在利用視差校正單元150、使用sigmoid函數(shù)執(zhí)行視差校正的情況下，設(shè)置最大容許視差dmax 和最小容許視差dmin為校正特征。稍后將描述視差校正的細(xì)節(jié)。圖像合成單元160基于校正后的視差圖dM'合成立體圖像的左圖像L和右圖像 R，并且輸出由左圖像L'和右圖像R'構(gòu)成的立體圖像作為輸出圖像。[視差校正]圖3是示出根據(jù)本發(fā)明的第一實(shí)施例的利用視差校正單元150的視差校正的示例的圖。在這里的圖中，水平軸表示輸入視差d，而垂直軸表示校正之后的校正后的視差d'。 在視差在正方向上增大的情況下，獲得向后拖拉的感覺，而在視差在負(fù)方向上減小的情況下，獲得向前突出的感覺。用實(shí)線示出的曲線圖表示輸入視差d與校正后的視差d'之間的關(guān)系。這里的曲線圖具有作為非線性函數(shù)的示例的sigmoid函數(shù)的形式，并且輸入視差d在正方向上越增大，校正后的視差d'越接近最大容許視差dmax，而輸入視差d在負(fù)方向上越減小，校正后的視差d'越接近最小容許視差dmin。也就是說(shuō)，這里的校正特征是非線性特征，其隨著視差圖中的視差增大而收斂到預(yù)定值。最大容許視差dmax和最小容許視差dmin由顯示器大小(顯示面的大小)、觀看距離、觀眾(觀察者)的觀看功能確定，并且根據(jù)本發(fā)明的實(shí)施例，由校正特征設(shè)置單元130設(shè)置。在該曲線圖中，在輸入視差變成零的附近，使得斜率為“ 1 ”，由此可以避免接近顯示面的深度的圖像失真。然而，在整體上深度量不足的情況下，可以考慮將曲線圖的斜率增大到大于“1”，以便示出具有增強(qiáng)的深度感知的立體影像?？梢岳靡韵卤磉_(dá)式獲得這里假設(shè)的sigmoid函數(shù)。
ζ (χ) = l/(l+e-x)另外，可以使用諸如如下的函數(shù)，其中，從上面表達(dá)式的函數(shù)中減去常量值0.5，并且整體乘以比例因子d。ζ (χ) = dX (l/(l+e-x)_0. 5)圖4是示出根據(jù)本發(fā)明的第一實(shí)施例的通過(guò)校正特征設(shè)置單元130進(jìn)行的校正特征設(shè)置的前提的圖。在利用視差校正單元150、基于sigmoid函數(shù)來(lái)執(zhí)行視差校正的情況下，必須利用校正特征設(shè)置單元130將最大容許視差dmax和最小容許視差dmin設(shè)置為校正特征。通過(guò)一般感知特征來(lái)設(shè)置這些最大容許視差dmax和最小容許視差dmin。在下文中，假設(shè)首先獲得最近容許位置Dmin和最遠(yuǎn)容許位置Dmax，并且基于這些位置而獲得最大容許視差dmax和最小容許視差dmin。在圖4(a)中，將垂直地觀看在距雙眼視覺距離DD的位置處的顯示面的角度設(shè)置為α，而將垂直地觀看最近容許位置Dmin中的平面的角度設(shè)置為β。如果右眼和左眼之間的距離是雙眼之間的間距e，則可以利用以下表達(dá)式獲得角度α。tan (α /2) = (1/DD) X (e/2)α = 2tan-l(e/(2 · DD))類似地，可以利用以下表達(dá)式示出角度β。β = 2tan-l(e/(2 · Dmin))現(xiàn)在，對(duì)于一般感知特征，β - α ^ 60'成立，由此通過(guò)以下表達(dá)式示出最近容許位置Dmin。Dmin 彡 e/2tan ((60+ α ) /2)如果視線移動(dòng)得遠(yuǎn)離圖4(b)中的雙眼視線平行狀態(tài)，則擔(dān)心存在不舒適的感覺。 在雙眼視線平行狀態(tài)中，最遠(yuǎn)容許位置Dmax是無(wú)窮大位置。此時(shí)顯示面的視差變得等于雙眼之間的間距。假設(shè)雙眼之間的間距約為65mm。因此，可以將最大容許視差dmax設(shè)置為約 65mm0圖5是示出根據(jù)本發(fā)明的第一實(shí)施例的通過(guò)校正特征設(shè)置單元130進(jìn)行的校正特征設(shè)置的示例的圖。在距雙眼的最近容許位置Dmin處觀看平面時(shí)在視覺距離DD處的顯示面的視差變成最小容許視差dmin。另外，在距雙眼的最遠(yuǎn)容許位置Dmax處觀看平面時(shí)在視覺距離DD處的顯示面的視差變成最大容許視差dmax。這里，二者表達(dá)為如下表達(dá)式。dmin = e (Dmin-DD) /Dmindmax = e (Dmax-DD) /Dmax最大容許視差dmax僅必須設(shè)置為如上所述的約65mm，而在可選位置設(shè)置為最遠(yuǎn)容許位置Dmax的情況下，可以根據(jù)以上表達(dá)式獲得最大容許視差dmax。注意，根據(jù)以上表達(dá)式，使用長(zhǎng)度作為單位來(lái)獲得視差值，而通過(guò)將視差值除以顯示面的像素間距，像素?cái)?shù)可以作為單位。例如，如果假設(shè)顯示面的屏幕寬度為W[mm]，而水平方向上的像素?cái)?shù)為N[像素]，則像素間距為W/N[mm/像素]。相應(yīng)地，為了將長(zhǎng)度單位視差 d[mm]轉(zhuǎn)換成像素單位視差d"[像素]，可以使用以下表達(dá)式。d〃 = d/ (ff/N)注意，這里描述了基于一般感知特征來(lái)設(shè)置校正特征，但是可以適當(dāng)?shù)馗鶕?jù)觀眾的喜好來(lái)設(shè)置校正特征。在這種情況下，由用戶輸入要求的參數(shù)，并且校正特征設(shè)置單元 130接收該參數(shù)來(lái)設(shè)置校正特征。圖6是示出根據(jù)本發(fā)明的第一實(shí)施例的利用視差校正單元150的視差校正的另一個(gè)示例的圖。其中水平軸是輸入視差d而垂直軸為校正之后的校正視差d'的點(diǎn)與圖3中相同。在該曲線圖中，設(shè)置校正特征以使得縮窄到最大容許視差dmax和最小容許視差 dmin的區(qū)域被劃分成多個(gè)范圍，并且視差可以適當(dāng)?shù)卦佻F(xiàn)在每個(gè)范圍內(nèi)。在這種情況下，需要利用校正特征設(shè)置單元130來(lái)設(shè)置對(duì)各個(gè)區(qū)域進(jìn)行鏈接的交點(diǎn)的坐標(biāo)。現(xiàn)在，作為由校正特征設(shè)置單元130設(shè)置的校正特征，給出了如圖3中的sigmoid 函數(shù)的示例和如圖6中的線性曲線圖的示例，但是可以設(shè)置具有其它非線性相關(guān)性的校正特征。例如，可以考慮利用arctan(反正切)函數(shù)的設(shè)置。[圖像合成]圖7是示出根據(jù)本發(fā)明的第一實(shí)施例的利用圖像合成單元160的圖像合成的示例的圖。假設(shè)輸入圖像的左圖像L的坐標(biāo)(i，j)處的像素為L(zhǎng)(i，j)。此時(shí)，在輸入圖像的右
圖像R中，位置在水平方向上偏移輸入視差d的量，由此對(duì)應(yīng)于L (i，j)的像素變成R(i+d， j)。另一方面，在輸出圖像的右圖像R'中，位置在水平方向上偏移了校正后的視差 d'，由此對(duì)應(yīng)于L(i，j)的像素變成R' (i+d'，j)。另外，由于左圖像用作基準(zhǔn)，因此，輸入圖像的左圖像和輸出圖像的左圖像L'匹配。因此，利用以下表達(dá)式獲得由圖像合成單元 160合成的輸出圖像的左圖像L'和右圖像R'。L' (i，j)=L(i，j)R' (i+d'，j) = (d' ‘ L(i, j) + |d-d' · R(i+d，j))/(|d_d' |+d')注意，在該示例中，使用左圖像作為基準(zhǔn)來(lái)合成右圖像，但是反之，可以使用右圖像作為基準(zhǔn)來(lái)合成左圖像。[操作]圖8是示出根據(jù)本發(fā)明的第一實(shí)施例的視差轉(zhuǎn)換裝置100的操作示例的圖。首先，利用校正特征設(shè)置單元130設(shè)置作為初始設(shè)置的視差校正的校正特征(步驟S910)。然后利用視差檢測(cè)單元110根據(jù)輸入圖像的左圖像L和右圖像R檢測(cè)視差，并且生成視差圖 dM(步驟S920)。采用這樣設(shè)置的校正特征，利用視差校正單元150校正視差圖dM中的視差，并且生成校正后的視差圖dM'(步驟S940)?；谶@樣生成的校正后的視差圖dM'中的視差，利用圖像合成單元160根據(jù)輸入圖像合成輸出圖像(步驟S950)。這里合成后的輸出圖像經(jīng)由顯示控制裝置30顯示在圖像顯示裝置40上(步驟S990)。因此，根據(jù)本發(fā)明的第一實(shí)施例，視差校正單元150根據(jù)由校正特征設(shè)置單元130 設(shè)置的校正特征來(lái)對(duì)輸入圖像的視差進(jìn)行校正，并且圖像合成單元160采用校正后的視差合成輸出圖像。因此，可以抑制過(guò)度的深度感知，并且可以呈現(xiàn)令觀眾愉快的立體影像。〈第二實(shí)施例〉[視差轉(zhuǎn)換裝置]圖9是示出根據(jù)本發(fā)明的第二實(shí)施例的視差轉(zhuǎn)換裝置100的配置示例的圖。與第一實(shí)施例相比，根據(jù)本發(fā)明的第二實(shí)施例的視差轉(zhuǎn)換裝置100的不同在于還具有區(qū)域設(shè)置單元140。區(qū)域設(shè)置單元140在視差圖dM中設(shè)置多個(gè)區(qū)域。圖10是根據(jù)本發(fā)明的第二實(shí)施例的通過(guò)區(qū)域設(shè)置單元140進(jìn)行的多個(gè)區(qū)域設(shè)置的示例。例如，如圖10(a)所示，關(guān)于視差圖dM的中央的第一區(qū)域設(shè)置對(duì)應(yīng)于左邊緣和右邊緣的第二區(qū)域。通過(guò)以此方式設(shè)置第一區(qū)域和第二區(qū)域，可以針對(duì)每個(gè)區(qū)域設(shè)置不同的校正特征。校正特征設(shè)置單元130對(duì)于由區(qū)域設(shè)置單元140設(shè)置的每個(gè)區(qū)域單獨(dú)設(shè)置校正特征。例如，可以基于如圖10(b)所示的對(duì)于正和負(fù)兩個(gè)方向的sigmoid函數(shù)而對(duì)視差圖dM 的中央的第一區(qū)域進(jìn)行校正，而可以如圖10(c)所示對(duì)與左邊緣和右邊緣對(duì)應(yīng)的第二區(qū)域進(jìn)行校正，以使得不執(zhí)行負(fù)方向上(向前側(cè))的突出。因此，可以避免左邊緣和右邊緣處的不自然的突出，從而解決了觀察者的不舒適(遮擋沖突)。在這種情況下，為了避免區(qū)域之間的不連續(xù)性，可以在不同區(qū)域之間設(shè)置緩沖區(qū)域，以便在緩沖區(qū)域內(nèi)根據(jù)距相鄰的兩個(gè)區(qū)域的距離對(duì)兩個(gè)校正特征求加權(quán)和來(lái)確定校正后的視差。圖11是示出在實(shí)現(xiàn)根據(jù)本發(fā)明的第二實(shí)施例的校正特征的加權(quán)和時(shí)的權(quán)重的示例的圖。在該圖中示出了第一區(qū)域的權(quán)重Pl(X)和第二區(qū)域的權(quán)重p2(x)。在第一區(qū)域和第二區(qū)域之間設(shè)置緩沖區(qū)域，并且緩沖區(qū)域設(shè)置為使得離開原始區(qū)域的中央越遠(yuǎn)，權(quán)重 pl(X)或p2(x)越減小。以下表達(dá)式中是權(quán)重pl(X)和p2(x)之間的關(guān)系。pl(x)+p2(x) = 1這樣設(shè)置的權(quán)重pl(x)或p2(x)用來(lái)獲得如以下表達(dá)式所表示的最終校正視差 d'。然而，F(xiàn)l (d)是第一區(qū)域的校正函數(shù)，而F2(d)是第二區(qū)域的校正函數(shù)。d' = pl(x) XFl(d)+p2(x) XF2(d)[操作]根據(jù)本發(fā)明的第二實(shí)施例的操作與利用圖8描述的第一實(shí)施例的處理過(guò)程的操作的不同在于步驟S910中的初始設(shè)置，區(qū)域設(shè)置單元140設(shè)置多個(gè)區(qū)域，并且校正特征設(shè)置單元130針對(duì)每個(gè)區(qū)域提供校正特征。在除此之外的方面，操作與第一實(shí)施例類似，因此這里將省略詳細(xì)描述。
因此，根據(jù)本發(fā)明的第二實(shí)施例，區(qū)域設(shè)置單元140在視差圖dM中設(shè)置多個(gè)區(qū)域， 由此可以設(shè)置適于每個(gè)區(qū)域的校正特征，并且可以解決圖像邊框附近的遮擋沖突。<3.第三實(shí)施例〉[視差轉(zhuǎn)換裝置]圖12是示出根據(jù)本發(fā)明的第三實(shí)施例的視差轉(zhuǎn)換裝置100的配置示例的圖。與第一實(shí)施例相比，這里根據(jù)第三實(shí)施例的視差轉(zhuǎn)換裝置100在圖像合成單元沈0中具有不同的圖像合成內(nèi)容。下面將描述圖像合成單元260的內(nèi)容。[圖像合成]圖13是示出根據(jù)本發(fā)明的第三實(shí)施例的圖像合成單元260的配置示例的圖。圖像合成單元260具有視差/深度轉(zhuǎn)換單元沈1、中央單眼圖像合成單元沈3、三維映射單元 264以及立體圖像合成單元洸5。視差/深度轉(zhuǎn)換單元沈1將包括在校正后的視差圖dM ‘中的視差轉(zhuǎn)換成深度方向上的距離，并且生成校正后的深度圖DPM'。中央單眼圖像合成單元263根據(jù)輸入圖像的左
12圖像L和右圖像R以及視差圖dM合成中央單眼圖像C。現(xiàn)在，中央單眼圖像C是從虛擬布置在左眼和右眼之間的中央單眼觀看的圖像。假設(shè)中央單元圖像C布置在視覺距離DD處的顯示面上。三維映射單元264根據(jù)校正后的深度圖DPM'，將中央單眼圖像C映射為作為三維空間深度曲線的校正后的三維圖3DTM'。立體圖像合成單元265將映射為校正后的三維圖3DTM'的圖像投影到顯示面上，并且合成由左圖像L'和右圖像R'構(gòu)成的立體圖像。 注意，三維映射單元264是權(quán)利要求中的三維映射單元的示例。[視差/深度轉(zhuǎn)換]圖14是示出根據(jù)本發(fā)明的第三實(shí)施例的視差/深度轉(zhuǎn)換單元的處理示例的圖。如圖所示，當(dāng)雙眼之間的距離是雙眼之間的間距e并且到顯示面的距離為視覺距離DD 時(shí)，可以根據(jù)顯示面處的視差d通過(guò)以下表達(dá)式獲得深度DP。DP = e · DD/(e-d)視差/深度轉(zhuǎn)換單元沈1將包括在校正后的視差圖dM ‘中的視差插入到以上表達(dá)式的視差d中，并且得到深度DP。所獲得的深度DP被提供到三維映射單元264中，作為保存與圖像的每個(gè)像素或每個(gè)像素群對(duì)應(yīng)的深度的校正后的深度圖DPM'。注意，通過(guò)以上表達(dá)式獲得的深度DP的水平方向上的坐標(biāo)是不均勻分布的，由此可以使用內(nèi)插等獲得與圖像上的各個(gè)像素對(duì)應(yīng)的位置處的深度，并且該深度被保存為二維陣列。[中央單眼圖像合成]圖15是示出根據(jù)本發(fā)明的第三實(shí)施例的中央單眼圖像合成263的處理示例的圖。 如果位置(i，j)處的左圖像L(i，j)為基準(zhǔn)，則輸入視差d的右圖像R變成R(i+d，j)?，F(xiàn)在，如圖所示，中央單眼圖像C被設(shè)置為左圖像和右圖像之間的中間位置C(i+d/2，j)。也就是說(shuō)，利用以下表達(dá)式表達(dá)中央單眼圖像C。C(i+d/2, j) = (L(i，j)+R(i+d, j)/2因此，中央單眼圖像合成單元263合成中央單眼圖像C，其在水平方向上具有左圖像L和右圖像R之間的中間位置，并且在垂直方向上在與左圖像L和右圖像R相同的位置中。這里合成的中央單眼圖像C被提供到三維映射單元沈4。[三維映射和立體圖像合成]圖16是示出根據(jù)本發(fā)明的第三實(shí)施例的三維映射單元264和立體圖像合成單元 265的處理概要的圖。如圖16(a)所示，三維映射單元264對(duì)深度曲線進(jìn)行映射，其中，在從左眼和右眼之間估計(jì)的虛擬中央眼觀看中央單眼圖像C的像素或像素群中，進(jìn)一步觀看由校正后的深度映射DPM'示出的深度。該深度曲線為校正后的三維圖3DTM'，并且在三維空間(X，y，ζ)中被標(biāo)識(shí)。如圖16(b)所示，立體圖像合成單元265將從左眼和右眼觀看校正后的三維圖 3DTM'時(shí)的圖像投影到顯示面上。因此，合成輸出圖像的左圖像L'和右圖像R'。圖17是示出根據(jù)本發(fā)明的第三實(shí)施例的三維映射單元264和立體圖像合成單元 265的處理細(xì)節(jié)的圖。在從假設(shè)為左眼和右眼之間的虛擬中央眼觀看在觀看距離DD處的中央單眼圖像C的像素或像素群中，通過(guò)三維映射單元264對(duì)進(jìn)一步觀看通過(guò)校正后的深度圖DPM'示出的深度的位置處的深度曲線進(jìn)行映射。因此，中央單眼圖像C的水平方向上的位置xCO處的像素被映射為校正后的深度圖DPM'的水平方向上的位置xdO。如此映射為校正后的深度圖DPM'的像素通過(guò)立體圖像合成單元265投影到右圖像中從右眼看到的直線與右圖像之間的交點(diǎn)(水平方向上的位置xRO)處。類似地，像素投影到左圖像中從左眼看到的直線與左圖像之間的交點(diǎn)處。對(duì)于右圖像，在以下表達(dá)式中示出了穿過(guò)右眼與右圖像上的交點(diǎn)(水平方向上的位置xRO)的直線。Z(x) = (-DD/ (e/2-xRO)) · x+(DD · e/2) / (e/2-xRO)圖18是示出根據(jù)本發(fā)明的第三實(shí)施例的通過(guò)三維映射單元264和立體圖像合成單元265進(jìn)行的深度曲線上的圖像選擇的示例的圖。三維映射單元264在水平方向上掃描校正后的深度圖DPM'，并且將水平像素位置設(shè)置為xdO，由此以下表達(dá)式變得最小。E(X)=DPM' (x，y) - ((-DD/(e/2-xRO)) · x+(DD χ e/2) / (e/2-xRO))在存在使得以上表達(dá)式變得最小的多個(gè)位置的情況下，可選擇最接近xRO的位置。計(jì)算穿過(guò)右眼(e/2，0)和位置(xdO，DP(xdO))的直線，并且將這里的直線與單眼中央圖像C相交的交點(diǎn)的像素值設(shè)置為右圖像的位置xRO的像素值。在這里的交點(diǎn)位于相鄰像素之間的情況下，通過(guò)從兩側(cè)內(nèi)插執(zhí)行計(jì)算。圖19是示出根據(jù)本發(fā)明的第三實(shí)施例的通過(guò)三維映射單元264和立體圖像合成單元265進(jìn)行的深度曲線上的圖像選擇的另一個(gè)示例的圖。在選擇位置xdO時(shí)，根據(jù)提供上述表達(dá)式E(X)的最小值的位置xmin以及其之前和之后的x(min-l)和χ(min+1)，可利用指數(shù)曲線近似它們之間的DP(X)，并且可以獲得使得近似曲線與直線之間的差別最小的位置和深度量。[操作]根據(jù)本發(fā)明的第三實(shí)施例的操作與根據(jù)圖8中描述的第一實(shí)施例的處理過(guò)程的操作的不同在于，在步驟S950中的圖像合成中，基于中央單眼圖像而反映視差校正以執(zhí)行合成。在其它點(diǎn)中，操作與第一實(shí)施例類似，因此這里將省略其詳細(xì)描述。因此，根據(jù)本發(fā)明的第三實(shí)施例，合成根據(jù)所檢測(cè)到的視差的中央單眼圖像，并且通過(guò)基于這里的中央單眼圖像而反映視差校正，可以呈現(xiàn)使觀眾愉快的立體圖像。<4.第四實(shí)施例〉[視差轉(zhuǎn)換裝置]圖20是示出根據(jù)本發(fā)明的第四實(shí)施例的視差轉(zhuǎn)換裝置100的配置示例的圖。與第一實(shí)施例相比，根據(jù)第四實(shí)施例的視差轉(zhuǎn)換裝置100的不同在于利用圖像合成單元360 的圖像合成的內(nèi)容。下面將描述這里的圖像合成單元360的內(nèi)容。[圖像合成]圖21是示出根據(jù)本發(fā)明的第四實(shí)施例的圖像合成單元360的配置示例的圖。圖像合成單元360具有視差/深度轉(zhuǎn)換單元361、直接三維映射單元362、中央單眼圖像合成單元363、三維映射單元364以及立體圖像合成單元365。除了這里的圖像合成單元360利用直接三維映射單元362生成三維圖以及中央單眼圖像合成單元363根據(jù)這里的三維圖合成中央單眼圖像C之外，該配置與上述根據(jù)第三實(shí)施例的圖像合成單元260相似。直接三維映射單元362根據(jù)視差圖dM、輸入圖像的左圖像和右圖像生成三維圖3DTM。注意，直接三維映射單元362是權(quán)利要求中描述的直接三維映射單元的示例。另外，三維映射單元364 是權(quán)利要求中描述的三維映射單元的示例。
圖22是示出根據(jù)本發(fā)明的第四實(shí)施例的通過(guò)直接三維映射單元362進(jìn)行的處理示例的圖。使用左圖像L(x'，y)作為基準(zhǔn)，估計(jì)在水平方向上偏移視差d的位置中的右圖像R(x' +d，y)。假設(shè)直接三維映射單元362將從左眼觀看左圖像L(x'，y)的直線與從右眼觀看右圖像R(x' +d，y)的直線的交點(diǎn)設(shè)置在三維圖上的點(diǎn)3DTM(x，y，DP)處。也就是說(shuō)，可以利用以下表達(dá)式獲得3DTM(x，y，DP)。3DTM(x, y, DP) = (L(x' , y)+R(x' +d, y))/2圖23是示出根據(jù)本發(fā)明的第四實(shí)施例的利用中央單眼圖像合成單元363的處理示例的圖。中央單眼圖像合成單元363關(guān)于假設(shè)為左眼和右眼之間的虛擬中央眼、從作為深度曲線的三維圖3DTM(x，y，ζ)上的各個(gè)點(diǎn)向顯示面投影，并且合成中央單眼圖像C。也就是說(shuō)，中央單眼圖像合成單元363執(zhí)行與圖16(a)中描述的三維映射單元264相反的操作。[操作]根據(jù)本發(fā)明的第四實(shí)施例的操作與根據(jù)圖8中描述的第一實(shí)施例的處理過(guò)程的操作的不同在于，在步驟S950中的圖像合成中，基于中央單眼圖像而反映視差校正以執(zhí)行合成。在其它方面，操作與第一實(shí)施例類似，因此這里將省略其詳細(xì)描述。因此，根據(jù)本發(fā)明的第四實(shí)施例，通過(guò)根據(jù)來(lái)自輸入圖像的視差直接合成中央單眼圖像并且基于這里的中央單眼圖像而反映視差校正，可以呈現(xiàn)使觀眾愉快的立體圖像。<5.第五實(shí)施例〉[視差轉(zhuǎn)換裝置]圖M是示出根據(jù)本發(fā)明的第五實(shí)施例的視差轉(zhuǎn)換裝置100的配置示例的圖。與第一實(shí)施例相比，根據(jù)第五實(shí)施例的視差轉(zhuǎn)換裝置100的不同在于還具有生成視差的累積頻率分布的視差分析單元120和基于其累積頻率分布執(zhí)行視差校正的視差校正單元450。 以下將描述通過(guò)視差分析單元120進(jìn)行的視差分析和通過(guò)視差校正單元450進(jìn)行的視差校正的內(nèi)容。[視差分析和視差校正]圖25是示出根據(jù)本發(fā)明的第五實(shí)施例的通過(guò)視差分析單元120進(jìn)行的視差分析的示例的圖。視差分析單元120生成視差圖dM中的圖像內(nèi)的視差d的直方圖，如圖25(a) 所示。在同一圖中，水平軸為視差d，而垂直軸表示針對(duì)視差d的頻率h(d)。視差分析單元120改變視差校正單元450的輸入/輸出特征，以便平滑視差d的直方圖，由此使得視差直方圖最大化。因此，執(zhí)行平滑以使得視差出現(xiàn)頻率全部相同，因此可以有效地修改立體圖像的深度感知。如在以下表達(dá)式中那樣，執(zhí)行平滑之后的視差d'被示出為在平滑之后的視差最大值dmax與累積頻率分布P (ζ)的乘積。d' = dmax χ P(ζ)然而，通過(guò)總數(shù)據(jù)量對(duì)累積頻率分布Ρ(ζ)進(jìn)行歸一化。因此，P(Z) < 1.0成立?，F(xiàn)在，利用以下表達(dá)式表達(dá)累積頻率分布P (ζ)。P (ζ) = (1/Ν)χ Σ h(d)然而，總和Σ使用d = 0到ζ作為定義域。也就是說(shuō)，這里，視差d僅聚集于正范圍。對(duì)于負(fù)范圍，必須執(zhí)行類似的單獨(dú)處理。
圖25(b)示出了這樣獲得的平滑之后的視差d'。對(duì)于正范圍和負(fù)范圍兩者將基于累積頻率分布P(Z)的平滑之后的視差d'從視差分析單元120提供到視差校正單元 450。注意，如上所述，平滑之后的視差d'為累積頻率分布P(ζ)乘以dmax，由此，在該說(shuō)明書中被作為廣義累積頻率分布處理。視差校正單元450基于從視差分析單元120提供的累積頻率分布而執(zhí)行視差校正。也就是說(shuō)，在第一實(shí)施例中，使用諸如sigmoid函數(shù)的非線性函數(shù)來(lái)執(zhí)行視差校正，而在第五實(shí)施例中，使用累積頻率分布曲線來(lái)執(zhí)行視差校正。因此，可以根據(jù)圖像的視差分布來(lái)有效地修改校正特征，以執(zhí)行視差校正。注意，調(diào)整增益以便接近由校正特征設(shè)置單元 130設(shè)置的最大容許視差dmax和最小容許視差dmin的點(diǎn)與第一實(shí)施例相似。[操作]圖沈是示出根據(jù)本發(fā)明的第五實(shí)施例的視差轉(zhuǎn)換裝置100的操作示例的圖。首先，在校正特征設(shè)置單元130處，將視差校正的校正特征設(shè)置為初始設(shè)置(步驟S910)。在視差檢測(cè)單元110處，檢測(cè)來(lái)自輸入圖像的左圖像L和右圖像R的視差，并且生成視差圖 dM(步驟S920)。另外，通過(guò)視差分析單元120分析視差圖dM的圖像內(nèi)的視差d，并且根據(jù)視差直方圖生成累積頻率分布(步驟S930)。根據(jù)所設(shè)置的校正特征和累積頻率分布，利用視差校正單元450來(lái)校正視差圖dM的視差，并且生成校正后的視差圖dM'(步驟S940)?；谶@樣生成的校正后的視差圖dM'的視差，利用圖像合成單元160根據(jù)輸入圖像合成輸出圖像(步驟S950)。將合成后的輸出圖像經(jīng)由顯示控制裝置30顯示在圖像顯示裝置40上(步驟S990)。因此，根據(jù)本發(fā)明的第五實(shí)施例，使用通過(guò)利用視差分析單元120分析視差圖dM 的圖像內(nèi)的視差獲得的累積頻率分布，并且視差校正單元450校正輸入圖像的視差。因此， 可以根據(jù)圖像內(nèi)的視差有效地修改立體圖像的深度感知。<6.第六實(shí)施例〉[視差轉(zhuǎn)換裝置]圖27是示出根據(jù)本發(fā)明的第六實(shí)施例的視差轉(zhuǎn)換裝置100的配置示例的圖。根據(jù)第六實(shí)施例的視差轉(zhuǎn)換裝置100與第一實(shí)施例的不同在于如下點(diǎn)利用校正特征設(shè)置單元530設(shè)置根據(jù)分量的校正特征和利用視差校正單元550對(duì)于每個(gè)分量執(zhí)行視差校正。以下將描述利用視差校正單元550的視差校正的內(nèi)容。[視差校正]圖觀是示出根據(jù)本發(fā)明的第六實(shí)施例的視差校正單元550的配置示例的圖。視差校正單元550具有分量劃分單元551、第一分量視差校正單元552、第二分量視差校正單元陽(yáng)3、以及分量合成單元554。分量劃分單元551按分量來(lái)劃分視差圖dM的圖像內(nèi)的視差。例如，提取作為視差的主要(broad)分量的低頻分量和作為視差細(xì)節(jié)分量的高頻分量。因此，獲得具有不同分量的兩個(gè)圖像。例如，通常的頻帶劃分濾波器或邊緣保存型濾波器用作分量劃分單元陽(yáng)1， 由此可以提取根據(jù)視差頻率分量的分量。第一分量視差校正單元552和第二分量視差校正單元553針對(duì)各個(gè)相應(yīng)分量執(zhí)行視差校正。在視差校正時(shí)，根據(jù)由校正特征設(shè)置單元530設(shè)置的校正特征來(lái)執(zhí)行校正。例如，對(duì)于主要分量，可執(zhí)行諸如在第一實(shí)施例中描述的視差壓縮，而細(xì)節(jié)分量可以在不改變的情況下保存并且不執(zhí)行視差校正(或采用在校正前后沒(méi)有變化的視差校正)。因此，在維持深度改變的細(xì)節(jié)的同時(shí)，可以將視差的動(dòng)態(tài)范圍抑制在容許范圍內(nèi)。注意，第一分量視差校正單元552和第二分量視差校正單元553是在權(quán)利要求中描述的分量視差校正單元的示例。分量合成單元5M合成第一分量視差校正單元552和第二分量視差校正單元553 的輸出。例如，可以通過(guò)相加單元實(shí)現(xiàn)分量合成單元陽(yáng)4。注意，這里假設(shè)分量劃分單元551劃分成兩個(gè)分量，但是并不限制于此，而是可根據(jù)需要?jiǎng)澐殖扇齻€(gè)或更多個(gè)分量，并且根據(jù)各個(gè)分量執(zhí)行校正。因此，根據(jù)本發(fā)明的第六實(shí)施例，可以通過(guò)分量劃分單元551劃分成具有不同分量的多個(gè)圖像，并且分別通過(guò)不同的校正特征執(zhí)行視差校正，由此可以實(shí)現(xiàn)適于各個(gè)分量的視差校正。例如，通過(guò)抑制細(xì)節(jié)分量的視差校正，可以維持深度變化細(xì)節(jié)，同時(shí)將視差動(dòng)態(tài)范圍保持在容許范圍內(nèi)。注意，本發(fā)明的實(shí)施例示出了用于實(shí)現(xiàn)本發(fā)明的示例，并且如在本發(fā)明的實(shí)施例中闡明的那樣，本發(fā)明的實(shí)施例的項(xiàng)目和權(quán)利要求中的發(fā)明特定項(xiàng)目分別具有關(guān)聯(lián)性。類似地，權(quán)利要求中的發(fā)明特定項(xiàng)目和具有相同名稱的根據(jù)本發(fā)明的實(shí)施例的項(xiàng)目分別具有關(guān)聯(lián)性。然而，本發(fā)明不限于這些實(shí)施例，并且可以在本發(fā)明的范圍和實(shí)質(zhì)內(nèi)通過(guò)執(zhí)行對(duì)實(shí)施例的各種修改來(lái)實(shí)現(xiàn)本發(fā)明。另外，根據(jù)本發(fā)明的實(shí)施例描述的處理過(guò)程可保持為具有一系列過(guò)程的方法，或者可保持為用于使得計(jì)算機(jī)執(zhí)行這里的一系列過(guò)程的程序和存儲(chǔ)其程序的記錄介質(zhì)。例如，CD(壓縮盤)、MD(迷你盤)、DVD(數(shù)字多功能盤)、存儲(chǔ)卡、藍(lán)光盤(Blu-ray Disc)等可用作這里的記錄介質(zhì)。附圖標(biāo)記列表10圖像存儲(chǔ)裝置30顯示控制裝置40圖像顯示裝置100視差轉(zhuǎn)換裝置110視差檢測(cè)單元120視差分析單元130、530校正特征設(shè)置單元140區(qū)域設(shè)置單元150、450、550視差校正單元160,260,360圖像合成單元261、361視差/深度轉(zhuǎn)換單元362直接三維映射單元263,363中央單眼圖像合成單元263、364三維映射單元265、365立體圖像合成單元551分量劃分單元552第一分量視差校正單元
553第二分量視差校正單元554分量合成單元
權(quán)利要求
1.一種視差轉(zhuǎn)換裝置，包括視差檢測(cè)單元，所述視差檢測(cè)單元根據(jù)輸入圖像的左圖像和右圖像檢測(cè)視差，并且生成保存每個(gè)像素或像素群的所述視差的視差圖；校正特征設(shè)置單元，所述校正特征設(shè)置單元設(shè)置在校正所述視差圖中的視差時(shí)的校正特征；視差校正單元，所述視差校正單元根據(jù)所述設(shè)置的校正特征來(lái)校正所述視差圖中的視差，并且生成校正后的視差圖；以及圖像合成單元，所述圖像合成單元根據(jù)所述校正后的視差圖，根據(jù)所述輸入圖像的左圖像和右圖像，合成輸出圖像的左圖像和右圖像。
2.根據(jù)權(quán)利要求1所述的視差轉(zhuǎn)換裝置，還包括區(qū)域設(shè)置單元，所述區(qū)域設(shè)置單元在所述視差圖中設(shè)置至少兩個(gè)區(qū)域；其中，所述校正特征設(shè)置單元針對(duì)所述至少兩個(gè)區(qū)域中的每個(gè)區(qū)域來(lái)設(shè)置所述校正特征；并且其中，所述視差校正單元按照針對(duì)所述視差圖中的所述至少兩個(gè)區(qū)域設(shè)置的所述校正特征，對(duì)所述視差圖中的視差進(jìn)行校正。
3.根據(jù)權(quán)利要求2所述的視差轉(zhuǎn)換裝置，其中，所述視差校正單元在所述至少兩個(gè)區(qū)域相鄰的預(yù)定緩沖區(qū)域中，按照針對(duì)各相鄰區(qū)域設(shè)置的所述校正特征的加權(quán)和，對(duì)所述視差圖中的視差進(jìn)行校正。
4.根據(jù)權(quán)利要求2所述的視差轉(zhuǎn)換裝置，其中，所述校正特征設(shè)置單元設(shè)置所述校正特征，以使得在與所述至少兩個(gè)區(qū)域的所述視差圖的左邊緣和右邊緣對(duì)應(yīng)的區(qū)域中，抑制向前方向中的深度。
5.根據(jù)權(quán)利要求1所述的視差轉(zhuǎn)換裝置，其中，所述校正特征設(shè)置單元針對(duì)所述視差圖中的至少兩個(gè)分量中的每個(gè)分量設(shè)置所述校正特征；所述視差校正單元包括分量劃分單元，所述分量劃分單元將所述視差圖劃分成所述分量中的每個(gè)；分量視差校正單元，所述分量視差校正單元根據(jù)針對(duì)每個(gè)所述分量設(shè)置的所述校正特征，按分量對(duì)所述視差圖中的視差進(jìn)行校正；以及分量合成單元，所述分量合成單元合成針對(duì)每個(gè)所述分量校正了的視差圖，并且生成所述校正后的視差圖。
6.根據(jù)權(quán)利要求5所述的視差轉(zhuǎn)換裝置，其中，利用所述校正特征設(shè)置單元設(shè)置的所述分量基于所述視差圖中的視差頻率的分量。
7.根據(jù)權(quán)利要求1所述的視差轉(zhuǎn)換裝置，其中，利用所述校正特征設(shè)置單元設(shè)置的所述校正特征是非線性特征，其中，所述視差圖中的視差接近零的地方斜率為1，并且隨著所述視差圖中的視差增大所述斜率收斂到預(yù)定值。
8.根據(jù)權(quán)利要求7所述的視差轉(zhuǎn)換裝置，其中，基于sigmoid函數(shù)限定利用所述校正特征設(shè)置單元設(shè)置的所述校正特征。
9.根據(jù)權(quán)利要求1所述的視差轉(zhuǎn)換裝置，其中，所述圖像合成單元包括中央單眼圖像合成單元，所述中央單眼圖像合成單元基于所述視差圖的視差，根據(jù)所述輸入圖像的左圖像和右圖像合成中央單眼圖像；視差/深度轉(zhuǎn)換單元，所述視差/深度轉(zhuǎn)換單元將所述校正后的視差圖中的視差轉(zhuǎn)換成深度，并且生成校正后的深度圖；三維映射單元，所述三維映射單元基于所述校正后的深度圖、通過(guò)將所述中央單眼圖像映射在三維空間中，生成校正后的三維圖；以及立體圖像合成單元，所述立體圖像合成單元通過(guò)將所述校正后的三維圖投影到顯示面上，合成所述輸出圖像的右圖像和左圖像。
10.根據(jù)權(quán)利要求1所述的視差轉(zhuǎn)換裝置，其中，所述圖像合成單元包括直接三維映射單元，所述直接三維映射單元基于所述視差圖中的視差，通過(guò)將所述輸入圖像的左圖像和右圖像映射在三維空間中，生成三維圖；中央單眼圖像合成單元，所述中央單眼圖像合成單元通過(guò)將所述三維圖投影到面對(duì)虛擬中央眼的顯示面上，合成中央單眼圖像；視差/深度轉(zhuǎn)換單元，所述視差/深度轉(zhuǎn)換單元將所述校正后的視差圖中的視差轉(zhuǎn)換成深度，并且生成校正后的深度圖；三維映射單元，所述三維映射單元基于所述校正后的深度圖，通過(guò)將所述中央單眼圖像映射在三維空間中，生成校正后的三維圖；以及立體圖像合成單元，所述立體圖像合成單元通過(guò)將所述校正后的三維圖投影到顯示面上，合成所述輸出圖像的右圖像和左圖像。
11.根據(jù)權(quán)利要求1所述的視差轉(zhuǎn)換裝置，還包括視差分析單元，所述視差分析單元對(duì)所述視差圖中的視差進(jìn)行分析，并且生成所述視差的累積頻率分布；其中所述視差校正單元基于所述累積頻率分布和所述校正特征，對(duì)所述視差圖中的視差進(jìn)行校正。
12.—種立體圖像顯示系統(tǒng)，包括輸入圖像提供單元，所述輸入圖像提供單元提供具有作為一對(duì)立體圖像的左圖像和右圖像的輸入圖像；視差檢測(cè)單元，所述視差檢測(cè)單元根據(jù)所述輸入圖像的左圖像和右圖像檢測(cè)視差，并且生成保存每個(gè)像素或像素群的所述視差的視差圖；校正特征設(shè)置單元，所述校正特征設(shè)置單元設(shè)置在校正所述視差圖中的視差時(shí)的校正特征；視差校正單元，所述視差校正單元根據(jù)所述設(shè)置的校正特征來(lái)校正所述視差圖中的視差，并且生成校正后的視差圖；圖像合成單元，所述圖像合成單元根據(jù)所述校正后的視差圖，根據(jù)所述輸入圖像的左圖像和右圖像，合成輸出圖像的左圖像和右圖像；以及圖像顯示裝置，所述圖像顯示裝置顯示所述輸出圖像。
13.—種視差轉(zhuǎn)換方法，包括校正特征設(shè)置過(guò)程，設(shè)置在校正視差圖中的視差時(shí)的校正特征，所述視差圖保存每個(gè)像素或像素群的所述視差；視差檢測(cè)過(guò)程，根據(jù)輸入圖像的左圖像和右圖像檢測(cè)視差，并且生成所述視差圖； 校正特征設(shè)置過(guò)程，設(shè)置在校正所述視差圖中的視差時(shí)的校正特征；視差校正過(guò)程，根據(jù)所述設(shè)置的校正特征來(lái)校正所述視差圖中的視差，并且生成校正后的視差圖；圖像合成過(guò)程，根據(jù)所述校正后的視差圖，根據(jù)所述輸入圖像的左圖像和右圖像，合成輸出圖像的左圖像和右圖像；以及圖像顯示過(guò)程，在顯示裝置上顯示所述輸出圖像。
14. 一種使得計(jì)算機(jī)執(zhí)行以下過(guò)程的程序校正特征設(shè)置過(guò)程，設(shè)置在校正視差圖中的視差時(shí)的校正特征，所述視差圖保存每個(gè)像素或像素群的所述視差；視差檢測(cè)過(guò)程，根據(jù)輸入圖像的左圖像和右圖像檢測(cè)視差，并且生成所述視差圖； 視差校正過(guò)程，根據(jù)所述設(shè)置的校正特征來(lái)校正所述視差圖中的視差，并且生成校正后的視差圖；圖像合成過(guò)程，根據(jù)所述校正后的視差圖，根據(jù)所述輸入圖像的左圖像和右圖像，合成輸出圖像的左圖像和右圖像；以及圖像顯示過(guò)程，在顯示裝置上顯示所述輸出圖像。
全文摘要
根據(jù)影響三維圖像的深度感知的圖像的配置要素的特征，對(duì)三維圖像視差進(jìn)行轉(zhuǎn)換。視差檢測(cè)單元(110)根據(jù)輸入圖像的左圖像(L)和右圖像(R)檢測(cè)視差，并且生成視差圖(dM)。視差校正單元(150)校正視差圖(dM)中的視差并且生成校正后的視差圖(dM′)。校正特征設(shè)置單元(130)設(shè)置在視差校正單元(150)中執(zhí)行視差校正時(shí)所用的校正特征。圖像合成單元(160)基于校正后的視差圖(dM′)合成三維圖像的左圖像(L)和右圖像(R)，并且輸出包括左圖像(L′)和右圖像(R′)的三維圖像作為輸出圖像。因此，輸出具有根據(jù)所設(shè)置的校正特征的視差的三維圖像。根據(jù)視差大小、屏幕上的位置、空間變化的方式等配置要素特征影響深度感知的程度，設(shè)置其中的校正特征。
文檔編號(hào)H04N13/00GK102474644SQ201180003076
公開日2012年5月23日 申請(qǐng)日期2011年5月25日 優(yōu)先權(quán)日2010年6月7日
發(fā)明者森藤孝文, 牛木卓, 緒形昌美 申請(qǐng)人:索尼公司