專利名稱：視頻編碼裝置、視頻編碼方法、視頻再現(xiàn)裝置、視頻再現(xiàn)方法、視頻記錄介質(zhì)以及視頻數(shù)據(jù)流的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及顯示立體視頻的視頻再現(xiàn)裝置和方法以及生成立體視頻的視頻編碼 裝置和編碼方法，并且涉及保持視頻編碼數(shù)據(jù)的視頻記錄介質(zhì)和視頻數(shù)據(jù)流。
背景技術(shù)：
顯示立體視頻(三維視頻)的視頻再現(xiàn)裝置有幾種方式已得到實(shí)用化。最普遍的 方式是這樣的方式顯示左右兩眼用各自不同的視頻而用各個眼睛觀察，通過對該左右兩 眼用的視頻賦予與人觀察實(shí)際立體時同等的視差來使立體視頻視覺化。在立體顯示實(shí)拍視頻時，在攝影時使用2臺攝像機(jī)，使用在水平方向上隔開與兩 眼間隔相當(dāng)?shù)木嚯x而配置的攝像機(jī)同時拍攝。然后當(dāng)再現(xiàn)時，顯示成在左眼僅看到由左眼 用的攝像機(jī)拍攝到的視頻，在右眼僅看到由右眼用的攝像機(jī)拍攝到的視頻，可用兩眼感知 視差，從而識別為立體視頻。以往，針對用于觀察單眼各自專用的視頻的方式、提高該視頻 的分辨率來觀察的方式、削減表現(xiàn)該視頻的數(shù)據(jù)量的方式等，公開了各種技術(shù)。將立體視頻收錄在以DVD或BD為代表的視頻內(nèi)容提供用的介質(zhì)內(nèi)的需要增高起 來。在這些介質(zhì)中，除了成為內(nèi)容的主要部分的電影等的視頻以外，還可將顯示字幕的副圖 像、或者根據(jù)用戶的設(shè)備操作顯示選項(xiàng)或樣本、指導(dǎo)等的圖形進(jìn)行重疊顯示。這些附加的視 頻信息也成為突顯作為主要部分的視頻來提高內(nèi)容的價值的重要構(gòu)成要素。以往，由于視 頻是平面視頻(二維視頻)，因而重疊在其上的副圖像、圖形等的附加的視頻信息也是平面 視頻，在重疊顯示時，適當(dāng)設(shè)定透過度來表示配置的前后關(guān)系，形成在視覺上印象深刻的表 現(xiàn)。在視頻內(nèi)容為立體視頻的情況下，附加的視頻信息在平面視頻的狀態(tài)下表現(xiàn)效果 受到限制，因而要求副圖像、圖形等的附加的視頻信息也能進(jìn)行深度方向的表現(xiàn)。以往，當(dāng)在立體視頻上重疊了平面字幕時，包含視差的立體視頻被顯示成產(chǎn)生遠(yuǎn) 近感，而字幕被顯示成在無限遠(yuǎn)，或者與字幕總是顯示在圖像近前的平面顯示不同而顯示 在遠(yuǎn)景，因而存在用戶具有不協(xié)調(diào)感的問題。對此，公開了這樣的技術(shù)使字幕的數(shù)據(jù)具有 表示深度方向的顯示位置的參數(shù)，通過在重疊于立體視頻上時對字幕進(jìn)行變形處理并進(jìn)行 合成，將字幕顯示在適當(dāng)位置(例如，參照專利文獻(xiàn)1)。專利文獻(xiàn)1 日本特開2004-274125號公報在現(xiàn)有技術(shù)中，盡管能將字幕的顯示位置設(shè)定在視頻近前的適當(dāng)位置，然而只限 于這一點(diǎn)。并且，設(shè)定能使字幕自身從近前向內(nèi)傾斜來配置的深度方向的顯示位置的技術(shù) 未作公開，作為立體視頻的表現(xiàn)法缺乏自由度。

發(fā)明內(nèi)容
本發(fā)明鑒于這樣的現(xiàn)狀，目的是提供一種顯示左右兩眼用各自不同的視頻來使立 體視頻視覺化的方式，在該方式中，對于重疊在立體視頻上的副圖像、圖形等的附加的視頻信息，也能進(jìn)行深度方向的表現(xiàn)，從而能進(jìn)行立體觀察。并且，目的是削減用于對此時的副圖像、圖形等的附加的視頻信息進(jìn)行可立體觀 察的表現(xiàn)的數(shù)據(jù)量。而且，目的是在視頻再現(xiàn)裝置中，簡化在實(shí)現(xiàn)副圖像、圖形等的視頻信息的立體表 現(xiàn)時的運(yùn)算處理。同時，目的還在于，通過節(jié)約視頻再現(xiàn)裝置要求的運(yùn)算處理性能來降低成 本，以及提高在給定的運(yùn)算處理性能下進(jìn)行立體顯示的視頻信息的更新速度。本發(fā)明的視頻編碼裝置，該視頻編碼裝置生成由視頻再現(xiàn)裝置再現(xiàn)的視頻數(shù)據(jù)， 該視頻再現(xiàn)裝置通過顯示左右兩眼用各自不同的視頻來使立體視頻視覺化，其特征在于， 該視頻編碼裝置具有視頻編碼單元，其對由在水平方向上隔開與兩眼間隔相當(dāng)?shù)拈g隔而配置的第1視 點(diǎn)和第2視點(diǎn)進(jìn)行拍攝的攝像機(jī)輸出的視頻信號進(jìn)行編碼，生成表示構(gòu)成立體視頻的顯示 視頻的視頻編碼數(shù)據(jù)流；副視頻編碼單元，其對分別重疊顯示在構(gòu)成所述立體視頻的第1視點(diǎn)的顯示視頻 和第2視點(diǎn)的顯示視頻上的第1視點(diǎn)的顯示副視頻的數(shù)據(jù)和第2視點(diǎn)的顯示副視頻的數(shù)據(jù) 進(jìn)行編碼，生成副視頻編碼數(shù)據(jù)流；以及流復(fù)用單元，其對由所述視頻編碼單元生成的視頻編碼數(shù)據(jù)流、和由副視頻編碼 單元生成的副視頻編碼數(shù)據(jù)流進(jìn)行復(fù)用，在所述副視頻編碼單元中，編碼成能對所述第1視點(diǎn)的顯示副視頻內(nèi)包含的1個 以上的對象的數(shù)據(jù)獨(dú)立地進(jìn)行解碼，并且，通過將所述第2視點(diǎn)的顯示副視頻內(nèi)包含的所述1個以上的對象，相對于作為所 述第1視點(diǎn)的顯示副視頻而顯示的各自對應(yīng)的對象，進(jìn)行水平方向的移動和伸縮的至少一 方并進(jìn)行顯示，來表現(xiàn)深度，作為所述第2視點(diǎn)的顯示副視頻的數(shù)據(jù)，生成針對所述對象的各方表示左端的移 動寬度和右端的移動寬度的數(shù)據(jù)。并且，本發(fā)明的視頻再現(xiàn)裝置，該視頻再現(xiàn)裝置對編碼后的包含副視頻的立體視 頻的數(shù)據(jù)進(jìn)行解碼，通過顯示左右兩眼用各自不同的視頻來使立體視頻視覺化，其特征在 于，該視頻再現(xiàn)裝置具有視頻解碼單元，其對構(gòu)成立體視頻的所述第1視點(diǎn)的顯示視頻和第2視點(diǎn)的顯示 視頻進(jìn)行解碼；以及副視頻解碼單元，其對分別重疊顯示在構(gòu)成立體視頻的所述第1視點(diǎn)的顯示視頻 和第2視點(diǎn)的顯示視頻上的多個視點(diǎn)的顯示副視頻的數(shù)據(jù)進(jìn)行解碼，在所述副視頻解碼單元中，對所述第1視點(diǎn)的顯示副視頻內(nèi)包含的1個以上的對 象的數(shù)據(jù)獨(dú)立地進(jìn)行解碼，并且，讀取作為所述第2視點(diǎn)的顯示副視頻的數(shù)據(jù)而生成的、針對所述對象的各方的左 端的移動寬度和右端的移動寬度，將所述第2視點(diǎn)的顯示副視頻內(nèi)包含的1個以上的對象，相對于作為所述第1視 點(diǎn)的顯示副視頻而顯示的各自對應(yīng)的對象，進(jìn)行水平方向的移動和伸縮的至少一方并進(jìn)行顯不。
根據(jù)本發(fā)明，在顯示左右兩眼用各自不同的視頻來使立體視頻視覺化的方式中， 針對重疊在立體視頻上的副圖像、圖形等的副視頻信息，能進(jìn)行深度方向的表現(xiàn)，作為立體 視頻的表現(xiàn)法的自由度提高。并且，根據(jù)本發(fā)明，能削減用于對此時的副視頻信息(副圖像、圖形等)進(jìn)行可立 體觀察的表現(xiàn)的數(shù)據(jù)量。而且，根據(jù)本發(fā)明，能在視頻再現(xiàn)裝置中，簡化在立體表現(xiàn)副視頻信息(副圖像、 圖形等)時的運(yùn)算處理。并且，根據(jù)本發(fā)明，能節(jié)約視頻再現(xiàn)裝置要求的運(yùn)算處理性能，能降低其成本。并且，根據(jù)本發(fā)明，還能提高在該給定的運(yùn)算處理性能下進(jìn)行立體顯示的視頻信 息的顯示更新速度，能在立體顯示的狀態(tài)下快進(jìn)再現(xiàn)視頻信息。


圖1是示出本發(fā)明的實(shí)施方式1的視頻編碼裝置的框圖。圖2是示出本發(fā)明的實(shí)施方式1的視頻再現(xiàn)裝置的框圖。圖3中的(a)和(b)是示出用于說明本發(fā)明的原理的視差和深度的關(guān)系的圖。圖4中的(a)和(b)是示出用于說明本發(fā)明的原理的兩眼用圖像的圖。圖5中的(a)和(b)是示出用于說明本發(fā)明的原理的視差和距離的定量關(guān)系的 圖。圖6中的(a)和(b)是示出在本發(fā)明的實(shí)施方式1中使用的字幕配置的一例的圖。圖7中的(a)和(b)是示出圖6中的(a)和(b)所示的字幕的兩眼用圖像的結(jié)構(gòu) 的圖。圖8是示出圖6中的(a)和(b)的例子中的已編碼的視頻數(shù)據(jù)結(jié)構(gòu)的圖。圖9中的(a)和(b)是示出在本發(fā)明的實(shí)施方式2中使用的字幕配置的一例的圖。圖10中的(a)和(b)是示出圖9中的(a)和(b)所示的字幕的兩眼用圖像的結(jié) 構(gòu)的圖。圖11是示出圖9中的(a)和(b)的例子中的已編碼的視頻數(shù)據(jù)結(jié)構(gòu)的圖。圖12中的(a)和(b)是示出在本發(fā)明的實(shí)施方式3中使用的字幕描繪方法的一 例的圖。圖13中的(a)和(b)是示出用于說明本發(fā)明的原理的視差和高度的關(guān)系的圖。
具體實(shí)施例方式以下，使用

本發(fā)明的實(shí)施方式。實(shí)施方式1圖1示出包含本發(fā)明的實(shí)施方式1的視頻編碼裝置的系統(tǒng)的結(jié)構(gòu)。該裝置對拍攝 到的立體視頻(以下稱為主視頻)進(jìn)行數(shù)字編碼，并生成在再現(xiàn)時重疊顯示在該立體視頻 上的副視頻，即，字幕用的副圖像、根據(jù)用戶的設(shè)備操作來顯示選項(xiàng)、樣本、指導(dǎo)等的圖形等 的視頻并進(jìn)行數(shù)字編碼，生成與對主視頻進(jìn)行了數(shù)字編碼后的數(shù)據(jù)復(fù)用的視頻數(shù)據(jù)流。這 里，主視頻是能進(jìn)行立體表現(xiàn)的視頻，重疊顯示在主視頻上的副視頻也按照能進(jìn)行深度方 向的表現(xiàn)而進(jìn)行立體觀察的方式來生成并編碼，該裝置具有與左眼用攝像機(jī)11和右眼用攝像機(jī)12連接的視頻編碼器(視頻編碼單元)21、圖形生成器22、圖形數(shù)據(jù)編碼器(副視 頻編碼單元)23以及數(shù)據(jù)流復(fù)用器(流復(fù)用單元)25。數(shù)據(jù)流傳輸/蓄積單元30中的發(fā)送 /記錄單元31也形成視頻編碼裝置的一部分。在拍攝主視頻時，使用在水平方向上隔開與兩眼間隔相當(dāng)?shù)木嚯x而配置的2臺攝 像機(jī)，即左眼用攝像機(jī)11和右眼用攝像機(jī)12這2臺攝像機(jī)同時拍攝。拍攝到的各攝像機(jī) 的視頻信號被輸入到視頻數(shù)據(jù)編碼器21，在此進(jìn)行數(shù)字編碼而形成主視頻編碼數(shù)據(jù)流。立 體視頻的數(shù)字編碼公知有多種方式，在本發(fā)明中不限定于特定方式。副視頻由圖形生成器22根據(jù)內(nèi)容制作者的規(guī)格而生成，作為數(shù)字化后的副視頻 數(shù)據(jù)輸出。該副視頻數(shù)據(jù)中，除了作為副視頻而顯示的副圖像、圖形等的圖像數(shù)據(jù)以外，還 包含針對該副視頻內(nèi)包含的對象，應(yīng)顯示各對象的深度方向的位置信息。這里，由圖形生成器22生成的副視頻數(shù)據(jù)，只要以從視聽者的視點(diǎn)看到的形狀生 成即可。例如當(dāng)顯示對象是正方形時，在該對象從視點(diǎn)未等距離地朝深度方向傾斜而配置 的情況下，該對象看起來是梯形或不等邊四邊形，而以這樣看到的形狀生成副視頻數(shù)據(jù)。對 該副視頻數(shù)據(jù)附上在深度方向上如何配置的位置信息。然后，副視頻數(shù)據(jù)被輸入到圖形數(shù)據(jù)編碼器23，被編碼成左眼用的副視頻和右眼 用的副視頻。將左眼和右眼的視點(diǎn)一般化而作為第1視點(diǎn)和第2視點(diǎn)，當(dāng)例如分配了左眼 作為成為基準(zhǔn)的第1視點(diǎn)時，左眼用的副視頻內(nèi)包含的對象的數(shù)據(jù)以能獨(dú)立解碼并能顯示 的方式進(jìn)行編碼。從成為基準(zhǔn)的第1視點(diǎn)的副視頻生成第2視點(diǎn)的副視頻。在該情況下，第2視點(diǎn) 為右眼。根據(jù)兩眼的視差，右眼用的副視頻內(nèi)包含的對象只需相對于作為左眼用的副視頻 而顯示的對象朝水平方向伸縮移動來顯示，就能表現(xiàn)深度感。因此，在表現(xiàn)右眼用的副視頻 時，只需將表示相對于各對象，使其左端和右端的顯示位置從左眼用顯示時的水平位置移 動多少即可的移動寬度生成為數(shù)據(jù)，使該數(shù)據(jù)相關(guān)聯(lián)、或者附帶該數(shù)據(jù)即可。例如使該數(shù)據(jù) 作為數(shù)據(jù)流的一部分來保持。該原理在后面詳細(xì)說明。這樣在圖形數(shù)據(jù)編碼器23中生成的副視頻編碼數(shù)據(jù)與在視頻數(shù)據(jù)編碼器21中生 成的主視頻編碼數(shù)據(jù)一起被輸入到數(shù)據(jù)流復(fù)用器25。數(shù)據(jù)流復(fù)用器25對2個編碼數(shù)據(jù)進(jìn) 行復(fù)用，生成復(fù)用編碼數(shù)據(jù)流。這里，對被指定了時刻以便在相同時刻重疊顯示在一個畫 面上的主視頻和副視頻進(jìn)行合成，成為可沒有數(shù)據(jù)的下劃線等破綻地顯示的復(fù)用編碼數(shù)據(jù) 流。復(fù)用編碼數(shù)據(jù)流被輸入到數(shù)據(jù)流傳輸/蓄積單元30。數(shù)據(jù)流傳輸/蓄積單元30 在具有表示為發(fā)送/記錄單元31的功能塊中的發(fā)送功能的情況下，將復(fù)用編碼數(shù)據(jù)流調(diào)制 成傳輸用，傳輸?shù)轿挥谶b遠(yuǎn)地方的表示為接收/再現(xiàn)單元33的功能塊中的接收功能。并且， 在具有表示為發(fā)送/記錄單元31的功能塊中的記錄功能的情況下，將復(fù)用編碼數(shù)據(jù)流調(diào)制 成蓄積用，記錄并蓄積在記錄介質(zhì)32內(nèi)。只要有發(fā)送功能或記錄功能的任意一個必要的功 能即可。圖2示出包含本發(fā)明的實(shí)施方式1的視頻再現(xiàn)裝置的系統(tǒng)的結(jié)構(gòu)。該裝置由視頻 編碼裝置按照圖1中的說明編碼，將輸入到數(shù)據(jù)流傳輸/蓄積單元30的復(fù)用編碼數(shù)據(jù)流解 調(diào)成作為立體視頻的主視頻和能進(jìn)行深度方向的表現(xiàn)且進(jìn)行立體觀察的副視頻，再現(xiàn)成這些視頻重疊后的視頻，該視頻再現(xiàn)裝置具有數(shù)據(jù)流解復(fù)用器45、視頻數(shù)據(jù)解碼器(視頻解 碼單元)41、圖形數(shù)據(jù)解碼器(副視頻解碼單元)43、右眼用視頻圖形顯示合成單元52、左眼 用視頻圖形顯示合成單元51以及立體顯示顯示器60。數(shù)據(jù)流傳輸/蓄積單元30中的接收 /再現(xiàn)單元33也形成視頻再現(xiàn)裝置的一部分。在數(shù)據(jù)流傳輸/蓄積單元30中，在具有表示為接收/再現(xiàn)單元33的功能塊中的 接收功能的情況下，由發(fā)送功能傳輸?shù)膹?fù)用編碼數(shù)據(jù)流由接收功能接收并解調(diào)，輸入到數(shù) 據(jù)流解復(fù)用器45。并且，在具有表示為接收/再現(xiàn)單元33的功能塊中的再現(xiàn)功能的情況 下，蓄積在記錄介質(zhì)32內(nèi)的復(fù)用編碼數(shù)據(jù)流由再現(xiàn)功能讀出并解調(diào)，輸入到數(shù)據(jù)流解復(fù)用 器45。只要有接收功能或再現(xiàn)功能的任意一個必要的功能即可。在數(shù)據(jù)流解復(fù)用器45中，從復(fù)用編碼數(shù)據(jù)流中，參照附加給流的屬性信息，分離 出主視頻編碼數(shù)據(jù)流和副視頻編碼數(shù)據(jù)流來進(jìn)行分配。主視頻編碼數(shù)據(jù)流被輸入到視頻數(shù) 據(jù)解碼器41，副視頻編碼數(shù)據(jù)流被輸入到圖形數(shù)據(jù)解碼器43。視頻數(shù)據(jù)解碼器41對主視頻編碼數(shù)據(jù)進(jìn)行解碼，再現(xiàn)成左眼用和右眼用的各主 視頻數(shù)據(jù)。這樣解碼后的兩眼用的視頻數(shù)據(jù)被分別發(fā)送到左眼用視頻圖形顯示合成單元51 和右眼用視頻圖形顯示合成單元52。視頻數(shù)據(jù)解碼器41中的解碼，在本發(fā)明中不限定于特 定的視頻編碼方式，只要是與由視頻數(shù)據(jù)編碼器21編碼的方式對應(yīng)的方式即可。圖形數(shù)據(jù)解碼器43對副視頻編碼數(shù)據(jù)流進(jìn)行解碼，再現(xiàn)成左眼用和右眼用的各 副視頻數(shù)據(jù)。圖形數(shù)據(jù)解碼器43中的解碼，采用與由圖形數(shù)據(jù)編碼器23編碼時的方式對 應(yīng)的解碼方式。如上所述，當(dāng)把左眼分配給成為基準(zhǔn)的第1視點(diǎn)時，左眼用的副視頻內(nèi)包含的對 象的數(shù)據(jù)由于可獨(dú)立進(jìn)行解碼，因而直接作為左眼用副視頻數(shù)據(jù)輸出。并且，成為第2視點(diǎn)的右眼用的副視頻內(nèi)包含的對象，通過相對于作為左眼用的 副視頻而顯示的對象，在水平方向移動伸縮來顯示，可表現(xiàn)深度感。這里關(guān)于各對象的左端 和右端各自的顯示位置，由于作為數(shù)據(jù)具有表示從進(jìn)行左眼用顯示時的水平位置移動多少 即可的移動寬度，因而讀出該移動寬度來計(jì)算顯示位置。這樣，可再現(xiàn)根據(jù)兩眼的視差產(chǎn)生 的立體感。由于視頻信號設(shè)計(jì)成使水平方向的掃描線在畫面自上而下依次掃描來表現(xiàn)，因而 在表現(xiàn)對象的各掃描線上使顯示內(nèi)容朝水平方向移動是極其容易的。并且，關(guān)于水平方向 的伸縮，只需針對1條掃描線上的各點(diǎn)根據(jù)位置改變移動寬度，也能通過簡單的運(yùn)算處理 容易地實(shí)現(xiàn)。這樣解碼后的兩眼用的副視頻數(shù)據(jù)分別被發(fā)送到左眼用視頻圖形顯示合成單元 51和右眼用視頻圖形顯示合成單元52。在左眼用視頻圖形顯示合成單元51和右眼用視頻 圖形顯示合成單元52中，按照預(yù)定規(guī)格對分別復(fù)原后的主視頻和副視頻進(jìn)行重疊，作為視 頻顯示信號發(fā)送到立體顯示顯示器60。視聽者經(jīng)過立體顯示顯示器60識別為立體視頻。主視頻的立體顯示的深度感和副視頻的立體顯示的深度感，由內(nèi)容制作者在創(chuàng)作 (authoring)時進(jìn)行調(diào)整?；旧铣嗽谏疃确较虻奈恢帽硎厩昂箨P(guān)系以外，還能使用顏色 信息和透過度的信息表現(xiàn)副視頻，通過越遠(yuǎn)處越增大透過度來與主視頻混合這樣的設(shè)定， 表現(xiàn)與成為背景的主視頻的前后關(guān)系。以下，詳細(xì)說明只需根據(jù)兩眼的視差，相對于左眼用的副視頻的對象使對應(yīng)的右眼用的副視頻的對象在水平方向移動伸縮來顯示，就能表現(xiàn)深度感的原理，以及深度方向 的位置與水平方向的移動寬度的關(guān)系。圖3中的(a)和(b)是示出成為本發(fā)明的原理的視差和深度的關(guān)系的圖。圖3中 的(a)示出包含攝像機(jī)、即視聽者的視點(diǎn)在內(nèi)成為視頻對象的空間整體的俯視圖，圖3中的 (b)示出其側(cè)視圖。如圖3中的(a)所示，設(shè)χ軸為水平方向(右為正)，設(shè)ζ軸為深度方 向(內(nèi)為正)，如圖3中的(b)所示，設(shè)y軸為垂直方向(下為正)。左眼和右眼的視點(diǎn)、即 左眼和右眼的攝像機(jī)分別在ζ = 0的距離、χ軸上所示的L和R的位置。左眼L和右眼R的 視線的中心都如圖中箭頭(實(shí)線和虛線)所示，朝向位于相同方向的前方的無限遠(yuǎn)點(diǎn)。并 且如圖3中的(a)所示，左眼L的水平方向的視野范圍由朝深度方向擴(kuò)展的扇形(實(shí)線) 表示，右眼R的水平方向的視野范圍由朝深度方向擴(kuò)展的扇形(虛線)表示。以下，將距深度方向的視點(diǎn)的距離簡稱為距離。在左眼L的視線中心線上的距離 dl、d2、d3、d4、d5、d6、d7 的位置，分別有對象 Li、L2、L3、L4、L5、L6、L7。并且，在右眼 R 的 視線中心線上的距離dl、d2、d3、d4、d5、d6、d7的位置，分別有對象Rl、R2、R3、R4、R5、R6、 R7。對象Li、L2、L3、L4、L5、L6、L7以白棒形式從垂直方向中央向上延伸，越在遠(yuǎn)處越長。 對象附、1 2、1 3、1 4、1 5、1 6、1 7以黑棒形式從垂直方向中央向下延伸，越在遠(yuǎn)處越長。考慮 從左眼L和右眼R的視點(diǎn)觀察這些對象時的各自的觀察方法。圖4中的(a)和(b)是示出成為本發(fā)明原理的兩眼用圖像的一例的圖。圖4中的 (a)示出左眼L看到的、即當(dāng)進(jìn)行再現(xiàn)顯示時進(jìn)行左眼用顯示的圖像，圖4中的(b)示出右 眼R看到的、即進(jìn)行再現(xiàn)顯示時進(jìn)行右眼用顯示的圖像。距視點(diǎn)等距離的2個對象Ll和 R1、L2和R2等以相同間隔放置，而在視點(diǎn)的圖像上根據(jù)遠(yuǎn)近法，越是較近的距離，間隔顯示 得越大。如圖4中的(a)所示，在左眼1^中，對象1^1丄2丄3丄4丄5丄6丄7全部在水平方向 的中央看到。對象Rl、R2、R3、R4、R5、R6、R7在從水平方向的中央分別朝右側(cè)移動了 Δ Rl、 八R2、AR3、AR4、AR5、AR6、Δ R7后的位置看到。這里，考慮使用該左眼L的圖像來生成 圖4中的(b)所示的右眼R的圖像。在左眼L中在水平方向的中央看到的對象Li、L2、L3、L4、L5、L6、L7在右眼R中， 與左眼L的圖像中的水平方向的位置相比較，在分別向左移動了 Δ Li、AL2、AL3、AL4、 AL5、AL6、AL7的位置看到。并且，在左眼L中靠水平方向的右側(cè)看到的對象Rl、R2、R3、R4、R5、R6、R7在右眼 R中全部在水平方向的中央重疊看到。即，與左眼L的圖像中的水平方向的位置相比較，在 分別朝左側(cè)移動了 ARl、AR2、AR3、AR4、AR5、AR6、AR7的位置看到。從以上可知，當(dāng)使用左眼L的圖像來生成右眼R的圖像時，對象的水平方向的位 置的移動寬度，越是距離近就越大，越是距離遠(yuǎn)就越小，在無限遠(yuǎn)點(diǎn)不移動而停止在相同位 置。針對這些對象各方，只要指定與各自的位置對應(yīng)的水平方向的位置的移動寬度，就能從 左眼L的圖像生成右眼R的圖像來表現(xiàn)兩眼的視差，能再現(xiàn)深度方向的距離感。也就是說， 能生成可進(jìn)行立體觀察的圖像。圖5中的(a)和(b)是示出用于說明本發(fā)明的原理的視差和距離的定量關(guān)系的 圖。圖5中的(a)與圖3中的(a) —樣，示出包含視聽者的視點(diǎn)在內(nèi)成為視頻對象的空間 整體的俯視圖。χ軸、ζ軸的定義、左眼和右眼的視點(diǎn)、視線、視野范圍的表示方法也相同。圖5中的(b)示出左眼用的圖像。在圖5中的(a)和(b)中，2 θ是攝像機(jī)的水平視場角， d是距攝像機(jī)的距離，a是兩眼間隔，XO是水平方向的視野寬度，ΔΧ是兩眼視差，是水平 方向的像素數(shù)，ΔΙ^χ是與兩眼視差ΔΧ相當(dāng)?shù)漠嬅嫠椒较虻南袼財?shù)。針對距水平視場角2 θ的兩眼用的各攝像機(jī)朝深度方向的距離d的垂直面上的水 平方向的視野寬度X0，如下所示，求出兩眼間隔a的相對長度(稱為兩眼視差)ΔΧ。[算式1]
權(quán)利要求
1.一種視頻編碼裝置，該視頻編碼裝置生成通過顯示左右兩眼用各自不同的視頻來使 立體視頻視覺化的視頻數(shù)據(jù)，其特征在于，該視頻編碼裝置具有視頻編碼單元，其對在水平方向上隔開與兩眼間隔相當(dāng)?shù)拈g隔而配置的第1視點(diǎn)的視 頻信號和第2視點(diǎn)的視頻信號進(jìn)行編碼，生成表示構(gòu)成立體視頻的顯示視頻的視頻編碼數(shù) 據(jù)流；副視頻編碼單元，其對分別重疊顯示在構(gòu)成所述立體視頻的第1視點(diǎn)的顯示視頻和第 2視點(diǎn)的顯示視頻上的第1視點(diǎn)的顯示副視頻和第2視點(diǎn)的顯示副視頻的數(shù)據(jù)進(jìn)行編碼，生 成副視頻編碼數(shù)據(jù)流；以及流復(fù)用單元，其對由所述視頻編碼單元生成的視頻編碼數(shù)據(jù)流、和由副視頻編碼單元 生成的副視頻編碼數(shù)據(jù)流進(jìn)行復(fù)用，在所述副視頻編碼單元中，編碼成能對所述第1視點(diǎn)的顯示副視頻內(nèi)包含的1個以上 的對象的數(shù)據(jù)獨(dú)立地進(jìn)行解碼，并且，通過將所述第2視點(diǎn)的顯示副視頻內(nèi)包含的所述1個以上的對象，相對于作為所述第1 視點(diǎn)的顯示副視頻而顯示的各自對應(yīng)的對象，進(jìn)行水平方向的移動和伸縮的至少一方并進(jìn) 行顯示，來表現(xiàn)深度，作為所述第2視點(diǎn)的顯示副視頻的數(shù)據(jù)，生成針對所述對象的各方，表示與從各視點(diǎn) 到對象的距離對應(yīng)的、顯示面上的水平方向的左端的移動寬度和右端的移動寬度的數(shù)據(jù)。
2.根據(jù)權(quán)利要求1所述的視頻編碼裝置，其特征在于，作為針對所述對象的各方的左 端的移動寬度和右端的移動寬度，獨(dú)立地生成該左端的移動寬度表示左上端和左下端各自 的移動寬度、該右端的移動寬度表示右上端和右下端各自的移動寬度的數(shù)據(jù)。
3.一種視頻編碼方法，該視頻編碼方法生成通過顯示左右兩眼用各自不同的視頻來使 立體視頻視覺化的視頻數(shù)據(jù)，其特征在于，該視頻編碼方法具有視頻編碼步驟，對在水平方向上隔開與兩眼間隔相當(dāng)?shù)拈g隔而配置的第1視點(diǎn)的視頻 信號和第2視點(diǎn)的視頻信號進(jìn)行編碼，生成表示構(gòu)成立體視頻的顯示視頻的視頻編碼數(shù)據(jù) 流；副視頻編碼步驟，對分別重疊顯示在構(gòu)成所述立體視頻的第1視點(diǎn)的顯示視頻和第2 視點(diǎn)的顯示視頻上的第1視點(diǎn)的顯示副視頻和第2視點(diǎn)的顯示副視頻的數(shù)據(jù)進(jìn)行編碼，生 成副視頻編碼數(shù)據(jù)流；以及流復(fù)用步驟，對由所述視頻編碼步驟生成的視頻編碼數(shù)據(jù)流、和由副視頻編碼單元生 成的副視頻編碼數(shù)據(jù)流進(jìn)行復(fù)用，在所述副視頻編碼步驟中，編碼成能對所述第1視點(diǎn)的顯示副視頻內(nèi)包含的1個以上 的對象的數(shù)據(jù)獨(dú)立地進(jìn)行解碼，并且，通過將所述第2視點(diǎn)的顯示副視頻內(nèi)包含的所述1個以上的對象，相對于作為所述第1 視點(diǎn)的顯示副視頻而顯示的各自對應(yīng)的對象，進(jìn)行水平方向的移動和伸縮的至少一方并進(jìn) 行顯示，來表現(xiàn)深度，作為所述第2視點(diǎn)的顯示副視頻的數(shù)據(jù)，生成針對所述對象的各方，表示與從各視點(diǎn) 到對象的距離對應(yīng)的、顯示面上的水平方向的左端的移動寬度和右端的移動寬度的數(shù)據(jù)。
4.根據(jù)權(quán)利要求3所述的視頻編碼方法，其特征在于，作為針對所述對象的各方的左 端的移動寬度和右端的移動寬度，獨(dú)立地生成該左端的移動寬度表示左上端和左下端各自的移動寬度、該右端的移動寬度表示右上端和右下端各自的移動寬度的數(shù)據(jù)。
5.一種視頻再現(xiàn)裝置，該視頻再現(xiàn)裝置對通過權(quán)利要求1或2所述的視頻編碼裝置、或 者權(quán)利要求3或4所述的視頻編碼方法編碼后的包含副視頻的立體視頻的數(shù)據(jù)進(jìn)行解碼， 通過顯示左右兩眼用各自不同的視頻來使立體視頻視覺化，其特征在于，該視頻再現(xiàn)裝置 具有視頻解碼單元，其對構(gòu)成立體視頻的所述第1視點(diǎn)的顯示視頻和第2視點(diǎn)的顯示視頻 進(jìn)行解碼；以及副視頻解碼單元，其對分別重疊顯示在構(gòu)成立體視頻的所述第1視點(diǎn)的顯示視頻和第 2視點(diǎn)的顯示視頻上的多個視點(diǎn)的顯示副視頻的數(shù)據(jù)進(jìn)行解碼，在所述副視頻解碼單元中，對所述第1視點(diǎn)的顯示副視頻內(nèi)包含的1個以上的對象的 數(shù)據(jù)獨(dú)立地進(jìn)行解碼，并且，讀取作為所述第2視點(diǎn)的顯示副視頻的數(shù)據(jù)而生成的、針對所述對象的各方的左端的 移動寬度和右端的移動寬度，將所述第2視點(diǎn)的顯示副視頻內(nèi)包含的1個以上的對象，相對于作為所述第1視點(diǎn)的 顯示副視頻而顯示的各自對應(yīng)的對象，進(jìn)行與從各視點(diǎn)到對象的距離對應(yīng)的、顯示面上的 水平方向的移動和伸縮的至少一方并進(jìn)行顯示。
6.一種視頻再現(xiàn)方法，該視頻再現(xiàn)方法對通過權(quán)利要求1或2所述的視頻編碼裝置、或 者權(quán)利要求3或4所述的視頻編碼方法編碼后的包含副視頻的立體視頻的數(shù)據(jù)進(jìn)行解碼， 通過顯示左右兩眼用各自不同的視頻來使立體視頻視覺化，其特征在于，該視頻再現(xiàn)方法 具有視頻解碼步驟，對構(gòu)成立體視頻的所述第1視點(diǎn)的顯示視頻和第2視點(diǎn)的顯示視頻進(jìn) 行解碼；以及副視頻解碼步驟，對分別重疊顯示在構(gòu)成立體視頻的所述第1視點(diǎn)的顯示視頻和第2 視點(diǎn)的顯示視頻上的多個視點(diǎn)的顯示副視頻的數(shù)據(jù)進(jìn)行解碼，在所述副視頻解碼步驟中，對所述第1視點(diǎn)的顯示副視頻內(nèi)包含的1個以上的對象的 數(shù)據(jù)獨(dú)立地進(jìn)行解碼，并且，讀取作為所述第2視點(diǎn)的顯示副視頻的數(shù)據(jù)而生成的、針對所述對象的各方的左端的 移動寬度和右端的移動寬度，將所述第2視點(diǎn)的顯示副視頻內(nèi)包含的1個以上的對象，相對于作為所述第1視點(diǎn)的 顯示副視頻而顯示的各自對應(yīng)的對象，進(jìn)行與從各視點(diǎn)到對象的距離對應(yīng)的、顯示面上的 水平方向的移動和伸縮的至少一方并進(jìn)行顯示。
7.一種視頻記錄介質(zhì)，該視頻記錄介質(zhì)存儲有通過權(quán)利要求1或2所述的視頻編碼裝 置、或者權(quán)利要求3或4所述的視頻編碼方法編碼后的包含副視頻的立體視頻的數(shù)據(jù)。
8.一種視頻數(shù)據(jù)流，該視頻數(shù)據(jù)流傳輸通過權(quán)利要求1或2所述的視頻編碼裝置、或者 權(quán)利要求3或4所述的視頻編碼方法編碼后的包含副視頻的立體視頻的數(shù)據(jù)。
全文摘要
在顯示左右兩眼用各自不同的視頻來使立體視頻視覺化的方式中，生成左眼用的副圖像數(shù)據(jù)(GRD)，作為左眼用副圖像，直接重疊顯示在左眼用視頻(VDD)上。重疊顯示在右眼用視頻上的右眼用副圖像(106)通過使顯示已生成的左眼用的副圖像數(shù)據(jù)的水平位置移動預(yù)定寬度進(jìn)行顯示。例如，副圖像能構(gòu)成為包含多個對象(GRD-1、GRD-2、...GRD-N)，針對對象左右兩端在顯示畫面上的水平位置，分別設(shè)定進(jìn)行右眼用顯示時的移動寬度(108、110)并將其保持在副圖像數(shù)據(jù)(GRD)中。能對重疊在立體視頻上的副圖像進(jìn)行深度方向的表現(xiàn)，而且可削減該副圖像的數(shù)據(jù)量和用于顯示的運(yùn)算量。
文檔編號H04N13/00GK102113324SQ20098013015
公開日2011年6月29日 申請日期2009年6月10日 優(yōu)先權(quán)日2008年7月31日
發(fā)明者中根和彥 申請人:三菱電機(jī)株式會社