專利名稱：視頻處理裝置、視頻處理方法以及視頻顯示裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻處理裝置、視頻處理方法以及視頻顯示裝置。
背景技術(shù)：
近年來，立體顯示視頻信號(hào)的立體視頻顯示裝置正逐漸普及。在立體視頻顯示裝置中顯示有視點(diǎn)不同的多個(gè)視差圖像，通過左眼和右眼觀看不同的視差圖像，從而能夠立體觀看視頻信號(hào)。根據(jù)顯示裝置的不同，有時(shí)導(dǎo)致存在重影觀看到在能夠顯示的深度范圍的最前面或最后面附近顯示的視頻的情況，特別存在當(dāng)重影觀看到反射式字幕(telop)時(shí)變得非常難以閱讀的問題。

發(fā)明內(nèi)容
本發(fā)明提供一種能夠高品質(zhì)地立體顯示反射式字幕的視頻處理裝置、視頻處理方法以及視頻顯示裝置。根據(jù)實(shí)施方式，視頻顯示裝置包括反射式字幕檢測(cè)部、校正系數(shù)計(jì)算部、深度校正部、視差圖像生成部以及顯示部。反射式字幕檢測(cè)部計(jì)算輸入圖像中的各個(gè)像素塊是反射式字幕的概率。校正系數(shù)計(jì)算部計(jì)算有關(guān)校正對(duì)象幀的所述深度值的校正系數(shù)，以使作為所述反射式字幕的概率最大的像素塊的深度值是規(guī)定范圍內(nèi)的值。深度校正部使用所述校正系數(shù)，對(duì)各像素的深度值進(jìn)行校正。視差圖像生成部根據(jù)被校正的所述深度值，生成所述輸入圖像的視差圖像。顯 示部立體顯示所述視差圖像。根據(jù)上述結(jié)構(gòu)的視頻顯示裝置，能給高品質(zhì)地立體顯示反射式字幕。


圖1是一實(shí)施方式所涉及的視頻顯示裝置的概略框圖。圖2是用于說明深度值X的示圖。圖3是表示視頻顯示裝置的處理動(dòng)作的一例的流程圖。
具體實(shí)施例方式下面，參照附圖，對(duì)實(shí)施方式進(jìn)行具體說明。圖1是一實(shí)施方式所涉及的視頻顯示裝置的概略框圖。視頻顯示裝置包括反射式字幕檢測(cè)部1、校正系數(shù)計(jì)算部2、深度校正部3、視差圖像生成部4以及顯示部5。反射式字幕檢測(cè)部1、校正系數(shù)計(jì)算部2、深度校正部3以及視差圖像生成部4中的至少一部分被作為視頻處理裝置，例如可以由半導(dǎo)體芯片構(gòu)成，他們其中的至少一部分也可以由軟件構(gòu)成。
反射式字幕檢測(cè)部I用于計(jì)算輸入圖像中的各個(gè)像素塊是反射式字幕的概率P，并生成表示各像素塊是反射式字幕的概率的概率圖(map)。校正系數(shù)計(jì)算部2用于計(jì)算有關(guān)校正對(duì)象幀的深度值X的校正系數(shù)，以使概率P最大的像素塊的深度值X (后述)為規(guī)定范圍內(nèi)的值。深度校正部3使用校正系數(shù)對(duì)各像素的深度值進(jìn)行校正，并生成校正后的深度值x’。視差圖像生成部4根據(jù)校正后的深度值X’生成輸入圖像的視差圖像。在顯示部5上以能夠立體觀看的方式顯示視差圖像。圖2是用于說明深度值X的圖。雖然可以針對(duì)每個(gè)像素塊設(shè)定深度值X，但也可以針對(duì)每個(gè)像素設(shè)定深度值X。在該視頻顯示裝置中，設(shè)定相對(duì)于深度中心、即顯示部5的位置，以向前面最大能看到Zf (cm)的方式顯示，以向里面最大能看到Zr (cm)的方式顯示?？梢酝ㄟ^視差圖像生成部4調(diào)整Zf、Zr。深度值X是表示顯示在顯示部5的前面什么程度或里面什么程度能看到像素的參數(shù)。在本實(shí)施方式中，X是(TxO的范圍的數(shù)字值，定義顯示在最跟前(最前面)能看到X=O的像素，顯不在最里面(最后面)能看到x=x0的像素。x0例如是255。此時(shí)，顯不以最如面為基準(zhǔn)、在下式(I)所示的位置Z (cm)處能看到深度值X的像素。Z= (Zf+Zr)*x/xO…(I)另外，表示深度中心的深度值xs由下式(2)表示。xs=xO*Zf/(Zf+Zr)…(2)S卩，以在顯示部5上能看到的方式顯示X=Xs的像素，以在顯示部5的前面能看到的方式顯示X〈XS的像素，以在顯示部5的里面能看到的方式顯示x>xs的像素。另外，設(shè)定在從深度中心往前小于等于If (cm)往后小于等于Ir (cm)的范圍內(nèi)顯示的反射式字幕是被恰當(dāng)顯示的反射式字幕，既不重影也不模糊。換言之，在距離深度中心比If (cm)靠前、或比Ir (cm)靠后的位置處，有時(shí)無法恰當(dāng)?shù)仫@示反射式字幕。lf、lr的值可以預(yù)先通過實(shí)驗(yàn)等獲知。表示反射式字幕被恰當(dāng)顯示的最前面的深度值xf、表示反射式字幕被恰當(dāng)顯示的最里面的深度值xr可以分別由下式(3)、下式(4)表示。另外，Max以及Min分別是返回自變量(argument)的最大值以及最小值的函數(shù)。xf = x0*Max(0, (Zf-1f)/(Zf+Zr))…(3)xr=xO*Min(I, (Zf+lr)/(Zf+Zr))…(4)深度值x可以預(yù)先附加給輸入圖像，也可以設(shè)置深度生成部(未圖示)，并根據(jù)輸入圖像的特征來生成深度值X。生成深度值X時(shí)，可以根據(jù)移動(dòng)矢量的大小來設(shè)定深度值X。另夕卜，也可以根據(jù)輸入圖像的顏色或邊緣(edge)等特征量，對(duì)整個(gè)輸入圖像的構(gòu)圖進(jìn)行判斷，并與針對(duì)每個(gè)構(gòu)圖預(yù)先學(xué)習(xí)到的視頻的特征量進(jìn)行比較，從而計(jì)算深度值X。并且，也可以根據(jù)輸入圖像檢測(cè)人物的面部，并對(duì)應(yīng)檢測(cè)到的面部的位置、大小，配合模板(template)，計(jì)算深度值X。圖3是表示視頻顯示裝置的處理動(dòng)作的一例的流程圖。使用圖3對(duì)各部分的動(dòng)作進(jìn)行詳細(xì)說明。首先，反射式字幕檢測(cè)部I計(jì)算各個(gè)像素塊是反射式字幕的概率P，并生成表示各像素塊是反射式字幕的概率的概率圖(步驟SI)。概率圖根據(jù)需要存儲(chǔ)在反射式字幕檢測(cè)部I內(nèi)的存儲(chǔ)器(未圖示)中。像素塊由輸入圖像中的多個(gè)像素構(gòu)成。如果像素塊內(nèi)的像素?cái)?shù)過少，則概率P的精度降低，如果過多，則反射式字幕檢測(cè)部I的處理量增加。考慮到這些，例如將像素塊設(shè)定為水平方向16像素X垂直方向16像素。在此，反射式字幕也包括字幕和頻道顯示等。雖然可以考慮有多種概率P的計(jì)算方法，作為一例，可以預(yù)先使用多個(gè)采樣圖像學(xué)習(xí)經(jīng)常顯示反射式字幕的坐標(biāo)，若該像素塊的中心坐標(biāo)與學(xué)習(xí)到的坐標(biāo)越近則越高地設(shè)定反射式字幕的概率P。例如字幕大多在畫面下側(cè)顯示，而頻道顯示大多在畫面右上或左上顯示。因而，反射式字幕檢測(cè)部I可以將越是位于這些位置的像素塊，越較高地設(shè)定反射式字幕的概率P。另外，也可以預(yù)先使用采樣圖像學(xué)習(xí)作為反射式字幕的像素塊內(nèi)的亮度梯度(luma gradient),若該像素塊內(nèi)的亮度梯度與學(xué)習(xí)到的亮度梯度越近,則設(shè)定反射式字幕的概率P越高。所謂亮度梯度是指例如對(duì)像素塊內(nèi)的鄰接的像素值的差的絕對(duì)值求積而得至IJ的值。并且，也可以從外部接收像素塊的移動(dòng)矢量，移動(dòng)矢量的大小越小則越較高地設(shè)定反射式字幕的概率P。這是由于通常反射式字幕基本不移動(dòng)。另外，也可以通過進(jìn)行文字識(shí)別來計(jì)算反射式字幕的概率P。反射式字幕的計(jì)算方法并不僅限于上述的任一種，也可以將上述方法組合，還可以通過其他方法計(jì)算概率P。然后，如下所述，校正系數(shù)計(jì)算部2計(jì)算有關(guān)校正對(duì)象幀的深度值X的校正系數(shù)，以使概率P最大的像素塊的深度值X變?yōu)橐?guī)定范圍內(nèi)的值。校正系數(shù)計(jì)算部2根據(jù)表示有無場(chǎng)景變換(scene change)的場(chǎng)景變換信息,對(duì)校正對(duì)象幀是否是場(chǎng)景變換進(jìn)行判斷(步驟S2)。當(dāng)是場(chǎng)景變換時(shí)(步驟S2中的是)，分別使用下式(5)、下式(6),對(duì)校正對(duì)象巾貞的前一巾貞的校正系數(shù)Rf_prev、Rr_prev進(jìn)行初始化(步驟S3)。另外，校正系數(shù)Rf_prev是與以在顯示部5的前面能看到的方式顯示的深度值X有關(guān)的校正系數(shù)，校正系數(shù)Rr_preV是`與以在顯示部5的里面能看到的方式顯示的深度值X有關(guān)的校正系數(shù)。Rf—prev=l…(5)Rr_prev=l*** (6)例如從設(shè)置在圖1的外部的場(chǎng)景變換檢測(cè)部(未圖示)輸入場(chǎng)景變換信息。場(chǎng)景變換檢測(cè)部可以例如根據(jù)前幀的亮度直方圖(histogram)與校正對(duì)象幀的亮度直方圖之間的差異，生成場(chǎng)景變換信息?；蛘?，場(chǎng)景變換檢測(cè)部也可以將一幀分割成多個(gè)區(qū)域，根據(jù)前幀和校正對(duì)象幀上各區(qū)域的亮度信號(hào)以及色差信號(hào)的差分，生成場(chǎng)景變換信息。另外，也可以將上述方法組合，還可以通過其他方法檢測(cè)有無場(chǎng)景變換信息。接著，校正系數(shù)計(jì)算部2參照由反射式字幕檢測(cè)部I生成的概率圖，將作為反射式字幕的概率P的最大值Pmax與預(yù)先設(shè)定的閾值Thp進(jìn)行比較(步驟S4)。當(dāng)Pmax>Thp時(shí)(步驟S4中的是)，校正系數(shù)計(jì)算部2取得有關(guān)反射式字幕的概率P為最大的一個(gè)以上的像素塊的深度值的最大值xmax以及最小值xmin?？梢詤⒄障袼貕K內(nèi)的一個(gè)以上像素的深度值來求得xmax以及xmin。另外，也可以使用像素塊內(nèi)的兩個(gè)以上像素的深度值的平均值或中間值來求得xmax以及xmin。接著，校正系數(shù)計(jì)算部2如下所述地計(jì)算校正對(duì)象幀的校正系數(shù)Rf、Rr，以便將最大值xmax以及最小值xmin校正為反射式字幕被恰當(dāng)顯示的范圍內(nèi)的深度值。另外,校正系數(shù)Rf是與以在顯示部5的前面(near-side)能看到的方式顯示的深度值x有關(guān)的校正系數(shù)，校正系數(shù)Rr是與以在顯示部5的里面(far-side)能看到的方式顯示的深度值x有關(guān)的校正系數(shù)。校正系數(shù)Rf、Rr是用于校正深度值X的I以下的系數(shù)。當(dāng)xmin〈Min(xf, Thf)時(shí)(步驟S6中的是，Thf是預(yù)先設(shè)定的常數(shù))，即，當(dāng)校正對(duì)象幀內(nèi)顯示能看到在最靠前的像素的深度值xmin小于xf且比較靠近最前面X=O時(shí)，校正系數(shù)計(jì)算部2使用下式(7)將校正系數(shù)Rf更新用于校正對(duì)象幀(步驟S7)。[數(shù)值I]
權(quán)利要求
1.一種視頻顯示裝置，其特征在于，包括 反射式字幕檢測(cè)部，用于計(jì)算輸入圖像中的各個(gè)像素塊是反射式字幕的概率； 校正系數(shù)計(jì)算部，用于計(jì)算有關(guān)校正對(duì)象幀的深度值的校正系數(shù)，以使作為所述反射式字幕的概率最大的像素塊的深度值是規(guī)定范圍內(nèi)的值； 深度校正部，使用所述校正系數(shù)，對(duì)各像素的深度值進(jìn)行校正； 視差圖像生成部，根據(jù)被校正的所述深度值，生成所述輸入圖像的視差圖像；以及 顯示部，用于立體顯示所述視差圖像。
2.根據(jù)權(quán)利要求1所述的視頻顯示裝置，其特征在于， 所述規(guī)定范圍是能恰當(dāng)立體顯示反射式字幕的深度值的范圍。
3.根據(jù)權(quán)利要求1所述的視頻顯示裝置，其特征在于， 所述深度值的校正系數(shù)包括第一校正系數(shù)以及第二校正系數(shù)，所述第一校正系數(shù)與以在基準(zhǔn)位置的前面能看見的方式顯示的像素有關(guān)，所述第二校正系數(shù)與以在所述基準(zhǔn)位置的里面能看見的方式顯示的像素有關(guān)。
4.根據(jù)權(quán)利要求1所述的視頻顯示裝置，其特征在于， 在作為所述反射式字幕的概率的最大值在規(guī)定值以下的情況下、以及在作為所述反射式字幕的概率為最大的所述像素塊的深度值的最大值或最小值在規(guī)定范圍內(nèi)的情況下，所述校正系數(shù)計(jì)算部將校正對(duì)象幀的前一幀的校正系數(shù)設(shè)定為校正對(duì)象幀的校正系數(shù)。
5.根據(jù)權(quán)利要求4所述的視頻顯示裝置，其特征在于， 在校正對(duì)象幀是場(chǎng)景變換的情況下，所述校正系數(shù)計(jì)算部將校正對(duì)象幀的前一幀的所述校正系數(shù)初始化，并設(shè)定為校正對(duì)象幀的校正系數(shù)。
6.一種視頻處理裝置，其特征在于，包括 反射式字幕檢測(cè)部，用于計(jì)算輸入圖像中的各個(gè)像素塊是反射式字幕的概率； 校正系數(shù)計(jì)算部，用于計(jì)算有關(guān)校正對(duì)象幀的深度值的校正系數(shù)，以使作為所述反射式字幕的概率最大的像素塊的深度值是規(guī)定范圍內(nèi)的值； 深度校正部，使用所述校正系數(shù)，對(duì)各像素的深度值進(jìn)行校正；以及 視差圖像生成部，根據(jù)被校正的所述深度值，生成所述輸入圖像的視差圖像。
7.根據(jù)權(quán)利要求6所述的視頻處理裝置，其特征在于， 所述規(guī)定范圍是能恰當(dāng)立體顯示反射式字幕的深度值的范圍。
8.根據(jù)權(quán)利要求6所述的視頻處理裝置，其特征在于， 所述深度值的校正系數(shù)包括第一校正系數(shù)以及第二校正系數(shù)， 所述第一校正系數(shù)與以在基準(zhǔn)位置的前面能看見的方式顯示的像素有關(guān)，所述第二校正系數(shù)與以在所述基準(zhǔn)位置的里面能看見的方式顯示的像素有關(guān)。
9.根據(jù)權(quán)利要求6所述的視頻處理裝置，其特征在于， 在作為所述反射式字幕的概率的最大值在規(guī)定值以下的情況下、以及在作為所述反射式字幕的概率為最大的所述像素塊的深度值的最大值或最小值在規(guī)定范圍內(nèi)的情況下，所述校正系數(shù)計(jì)算部將校正對(duì)象幀的前一幀的校正系數(shù)設(shè)定為校正對(duì)象幀的校正系數(shù)。
10.根據(jù)權(quán)利要求9所述的視頻處理裝置，其特征在于， 在校正對(duì)象幀是場(chǎng)景變換的情況下，所述校正系數(shù)計(jì)算部將校正對(duì)象幀的前一幀的所述校正系數(shù)初始化，并設(shè)定為校正對(duì)象幀的校正系數(shù)。
11.一種視頻處理方法，其特征在于，包括 計(jì)算輸入圖像中的各個(gè)像素塊是反射式字幕的概率的步驟； 計(jì)算有關(guān)校正對(duì)象幀的深度值的校正系數(shù)，以使作為所述反射式字幕的概率最大的像素塊的深度值是規(guī)定范圍內(nèi)的值的步驟； 使用所述校正系數(shù)，對(duì)各像素的深度值進(jìn)行校正的步驟；以及 根據(jù)被校正的所述深度值，生成所述輸入圖像的視差圖像的步驟。
全文摘要
本發(fā)明提供了能夠高品質(zhì)地立體顯示反射式字幕的視頻處理裝置、視頻處理方法以及視頻顯示裝置。該視頻顯示裝置包括反射式字幕檢測(cè)部、校正系數(shù)計(jì)算部、深度校正部、視差圖像生成部以及顯示部。反射式字幕檢測(cè)部計(jì)算輸入圖像中的各個(gè)像素塊是反射式字幕的概率。校正系數(shù)計(jì)算部計(jì)算有關(guān)校正對(duì)象幀的所述深度值的校正系數(shù)，以使作為所述反射式字幕的概率最大的像素塊的深度值是規(guī)定范圍內(nèi)的值。深度校正部使用所述校正系數(shù)，對(duì)各像素的深度值進(jìn)行校正。視差圖像生成部根據(jù)被校正的所述深度值，生成所述輸入圖像的視差圖像。顯示部立體顯示所述視差圖像。
文檔編號(hào)H04N13/04GK103067730SQ201210147329
公開日2013年4月24日 申請(qǐng)日期2012年5月11日 優(yōu)先權(quán)日2011年10月21日
發(fā)明者田中孝浩 申請(qǐng)人:株式會(huì)社東芝