發(fā)送裝置、發(fā)送方法和接收器裝置制造方法
【專利摘要】本發(fā)明的目的是使得能夠良好地進(jìn)行立體圖像的顯示。在本發(fā)明中，為圖像數(shù)據(jù)的每個(gè)預(yù)定畫面獲取的第一視差信息（與畫面顯示屏幕的預(yù)定區(qū)域中的最近對象再現(xiàn)位置對應(yīng)的視差信息）和第二視差信息（與該畫面顯示屏幕的該預(yù)定區(qū)域中的最深處對象再現(xiàn)位置對應(yīng)的視差信息）被插入到視頻流中并被發(fā)送。在接收側(cè)，基于第一視差信息和第二視差信息，能夠進(jìn)行有關(guān)在同側(cè)方向和交叉方向的視差角是否在在觀看時(shí)不危害健康的預(yù)定范圍內(nèi)的檢查，并且如果需要，能夠重新配置形成立體圖像的左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)。
【專利說明】發(fā)送裝置、發(fā)送方法和接收器裝置
【技術(shù)領(lǐng)域】
[0001]本技術(shù)涉及發(fā)送裝置、發(fā)送方法和接收裝置，更具體地，涉及用于使得能夠良好地顯示立體圖像或者在立體圖像上良好地重疊顯示圖形的發(fā)送裝置等。
【背景技術(shù)】
[0002]例如，在PTLl中，提出了使用電視廣播波發(fā)送立體圖像數(shù)據(jù)的方法。在此情況下，發(fā)送形成立體圖像的左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)，并且在電視接收機(jī)中進(jìn)行利用雙眼視差的立體圖像顯示。
[0003]圖77例示對象(object)的左圖像和右圖像在屏幕上的顯示位置之間的關(guān)系和由該左圖像和右圖像形成的立體圖像在利用雙眼視差的立體圖像顯示中的再現(xiàn)位置。例如，關(guān)于對象A，其左圖像La在屏幕上顯示為偏移到右側(cè)，并且其右圖像Ra在屏幕上顯示為偏移到左側(cè)，如該圖所示，左視線和右視線在屏幕表面的前方交叉，因此該對象A的立體圖像的再現(xiàn)位置在屏幕表面的前方。
[0004]而且，例如，關(guān)于對象B，其左圖像La和右圖像Rb顯示在屏幕上的相同位置處，如該圖所示，左視線和右視線在屏幕表面上交叉，因此該對象B的立體圖像的再現(xiàn)位置在屏幕表面上。此外，例如，關(guān)于對象C，其左圖像Lc在屏幕上顯示為偏移到左側(cè)，并且其右圖像Re在屏幕上顯示為偏移到右側(cè)，如圖中所示，左視線和右視線在屏幕表面后方交叉，因此該對象C的立體圖像的再現(xiàn)位置在屏幕表面的后方。
[0005]引用列表
[0006]專利文獻(xiàn)
[0007]PTLl:日本未審查專利申請公開N0.2005-6114
【發(fā)明內(nèi)容】

[0008]技術(shù)問題
[0009]如上所述，在立體圖像顯示中，觀看者利用雙眼視差感知立體圖像中的遠(yuǎn)近(perspective)。在此，相對于最近的對象再現(xiàn)位置的視差角(在交叉方向(crossingdirection)上的視差角)和相對于最遠(yuǎn)的對象再現(xiàn)位置的視差角(在同側(cè)方向上的視差角)需要在某個(gè)范圍內(nèi)以便觀看不會引起任何健康問題。即，希望將在接收側(cè)檢查視差角，并且如果視差角不在該某個(gè)范圍內(nèi)，則將重新配置左眼圖像和右眼圖像以便視差角在該某個(gè)范圍內(nèi)。
[0010]此外，關(guān)于在接收器(比如機(jī)頂盒或者電視接收機(jī))中以重疊方式在圖像上顯示的OSD (屏幕上顯示(On-Screen Display))、應(yīng)用等的圖形,期望這樣的圖形不僅在二維空間方面而且還在三維的深度方面將與立體圖像顯示一起呈現(xiàn)。在接收器中以重疊的方式在圖像上顯示圖形的情況下，期望將根據(jù)圖像中的各個(gè)對象的遠(yuǎn)近進(jìn)行視差調(diào)整以便維持遠(yuǎn)近
一致性。
[0011]本技術(shù)的目標(biāo)是使得能夠良好地顯示立體圖像或者在立體圖像上良好地重疊顯示圖形。
[0012]問題的解決方案
[0013]本技術(shù)的一個(gè)概念在于發(fā)送裝置，包括:
[0014]圖像數(shù)據(jù)獲得單元，其獲得形成立體圖像的左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)；
[0015]視差信息獲得單元，其獲得對于獲得的圖像數(shù)據(jù)的某些畫面的每個(gè)畫面的關(guān)于左眼圖像和右眼圖像之一相對于另一者的視差信息，該視差信息包括與畫面顯示屏幕的某個(gè)區(qū)域中的最近對象再現(xiàn)位置對應(yīng)的第一視差信息以及與該畫面顯示屏幕的該某個(gè)區(qū)域中的最遠(yuǎn)對象再現(xiàn)位置對應(yīng)的第二視差信息；
[0016]視差信息插入單元，其將獲得的視差信息插入到通過對獲得的圖像數(shù)據(jù)編碼而獲得的視頻流中；以及
[0017]圖像數(shù)據(jù)發(fā)送單元，其發(fā)送某個(gè)格式的容器，該容器包括視差信息已經(jīng)被插入其中的視頻流。
[0018]在本技術(shù)中，圖像數(shù)據(jù)獲得單元獲得形成立體圖像的左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)。在此情況下，例如通過使用相機(jī)拍攝圖像或者從存儲介質(zhì)中讀取圖像數(shù)據(jù)而獲得該圖像數(shù)據(jù)。
[0019]該視差信息獲得單元獲得對于圖像數(shù)據(jù)的某些畫面的每個(gè)畫面的關(guān)于左眼圖像和右眼圖像之一相對于另一個(gè)的視差信息，該視差信息包括第一視差信息和第二視差信息。在此情況下，可以至少對于要傳輸其視差信息的畫面進(jìn)行視差信息的獲得，而不必對所有畫面進(jìn)行。第一視差信息是與畫面顯示屏幕的某個(gè)區(qū)域中的最近對象再現(xiàn)位置對應(yīng)的視差信息。第二視差信息是與該畫面顯示屏幕的該某個(gè)區(qū)域中的最遠(yuǎn)對象再現(xiàn)位置對應(yīng)的視差/[目息。
[0020]例如，視差信息獲得單元可以獲得關(guān)于通過使用劃分信息劃分畫面顯示屏幕而獲得的每個(gè)劃分的區(qū)域的第一視差信息，并且獲得關(guān)于整個(gè)畫面顯示屏幕的第二視差信息。而且，例如，所述視差信息獲得單元可以獲得關(guān)于通過使用劃分信息劃分畫面顯示屏幕而獲得的每個(gè)劃分的區(qū)域的第一視差信息和第二視差信息。此外，例如，所述視差信息獲得單元可以獲得關(guān)于通過使用第一劃分信息劃分畫面顯示屏幕獲得的每個(gè)劃分的區(qū)域的第一視差信息，并且獲得通過使用第二劃分信息劃分畫面顯示屏幕而獲得的每個(gè)劃分的區(qū)域的第二視差息。
[0021]該視差信息插入單元將獲得的第一視差信息和第二視差信息插入通過對獲得的圖像數(shù)據(jù)編碼而獲得的視頻流中。例如，以畫面為單位或者以GOP (畫面組)為單位將該視差信息插入到視頻流中。此外，可以以其他單位為單位(例如以場景為單位)插入視差信息。
[0022]在此情況下，該視差信息插入單元可以在進(jìn)行壓縮編碼處理之后將視差信息插入視頻流中。例如，在壓縮編碼處理中，可以使用可變長度碼進(jìn)行數(shù)據(jù)壓縮?；蛘?，可以獲得畫面之間的視差信息的差別數(shù)據(jù)，并且可以對該差別數(shù)據(jù)進(jìn)行可變長度編碼，以進(jìn)一步增加壓縮率。
[0023]此外，在此情況下，該視差信息插入單元可以在將視差信息插入到視頻流中的某個(gè)畫面時(shí)，進(jìn)一步插入識別該視差信息是關(guān)于整個(gè)畫面顯示屏幕的視差信息還是關(guān)于某些數(shù)量的劃分的區(qū)域的每個(gè)區(qū)域的視差信息的標(biāo)識信息。該標(biāo)識信息使得接收側(cè)能夠容易地確定傳輸?shù)狡涮幍囊暡钚畔⑹顷P(guān)于整個(gè)畫面顯示屏幕還是關(guān)于多個(gè)劃分的區(qū)域的每個(gè)區(qū)域的視差信息。
[0024]該圖像數(shù)據(jù)發(fā)送單元發(fā)送某個(gè)格式的容器，該容器包括視差信息已經(jīng)被插入其中的視頻流。例如，該容器可以是在數(shù)字廣播標(biāo)準(zhǔn)中采用的傳輸流(MPEG-2TS )。或者，例如，該容器可以是用于在因特網(wǎng)上的分發(fā)的MP4的容器或者另一格式的容器。
[0025]標(biāo)識信息插入單元將標(biāo)識視頻流是否包括插入到其中的視差信息的標(biāo)識信息插入容器的層中。例如，該容器是傳輸流，并且該標(biāo)識信息插入單元可以在節(jié)目映射表或者事件信息表之下插入該標(biāo)識信息。例如，該標(biāo)識信息插入單元在插入在事件信息表的節(jié)目映射表以下的描述符中描述標(biāo)識信息。
[0026]如上所述，在本技術(shù)中，對于圖像數(shù)據(jù)的某些畫面的每個(gè)畫面獲得的第一視差信息(與畫面顯示屏幕的某個(gè)區(qū)域中的最近對象再現(xiàn)位置對應(yīng)的視差信息)和第二視差信息(與該畫面顯示屏幕的該某個(gè)區(qū)域中的最遠(yuǎn)對象再現(xiàn)位置對應(yīng)的視差信息)被插入到視頻流中，并且發(fā)送該視頻流。因而，基于第一視差信息和第二視差信息，接收側(cè)能夠檢查相對于最近對象再現(xiàn)位置的視差角(在交叉方向上的視差角)和相對于最遠(yuǎn)對象再現(xiàn)位置的視差角(在同側(cè)方向上的視差角)是否在在其中觀看不會引起任何健康問題的某個(gè)范圍內(nèi)。
[0027]此外，本技術(shù)的另一概念在于接收裝置，包括:
[0028]圖像數(shù)據(jù)接收單元，其接收某個(gè)格式的容器，該容器包括視頻流，
[0029]其中通過對形成立體圖像的左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)編碼而獲得該視頻流，以及
[0030]其中該視頻流包括插入到其中的對于圖像數(shù)據(jù)的某些畫面的每個(gè)畫面的關(guān)于左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)之一相對于另一者的視差信息，該視差信息包括與畫面顯示屏幕的某個(gè)區(qū)域中的最近對象再現(xiàn)位置對應(yīng)的第一視差信息以及與該畫面顯示屏幕的該某個(gè)區(qū)域中的最遠(yuǎn)對象再現(xiàn)位置對應(yīng)的第二視差信息，
[0031]該接收裝置還包括:
[0032]信息獲得單元，其從所述容器中包括的視頻流獲得所述左眼圖像數(shù)據(jù)和所述右眼圖像數(shù)據(jù)，并且還獲得所述第一視差信息和所述第二視差信息；以及
[0033]控制單元，其基于獲得的第一視差信息和第二視差信息提供重新配置所述左眼圖像數(shù)據(jù)和所述右眼圖像數(shù)據(jù)以便視差角在某個(gè)范圍內(nèi)的指令。
[0034]在本技術(shù)中，該圖像數(shù)據(jù)接收單元接收某個(gè)格式的容器，該容器包括視頻流。通過對形成立體圖像的左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)編碼而獲得該視頻流。而且，該視頻流包括插入到其中的對于圖像數(shù)據(jù)的某些畫面的每個(gè)畫面的關(guān)于左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)之一相對于另一個(gè)的視差信息，該視差信息包括第一視差信息和第二視差信息。第一視差信息是與畫面顯示屏幕的某個(gè)區(qū)域中的最近對象再現(xiàn)位置對應(yīng)的視差信息。第二視差信息是與該畫面顯示屏幕的該某個(gè)區(qū)域中的最遠(yuǎn)對象再現(xiàn)位置對應(yīng)的視差信息。
[0035]該信息獲得單元從該容器中包括的視頻流獲得所述左眼圖像數(shù)據(jù)和所述右眼圖像數(shù)據(jù)，并且還獲得插入到圖像數(shù)據(jù)的某個(gè)畫面中的第一視差信息和第二視差信息。此外，該控制單元基于獲得的第一視差信息和第二視差信息提供重新配置所述左眼圖像數(shù)據(jù)和所述右眼圖像數(shù)據(jù)以便視差角在某個(gè)范圍內(nèi)的指令。
[0036]如上所述，在本技術(shù)中，基于第一視差信息和第二視差信息提供重新配置左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)以便視差角在某個(gè)范圍內(nèi)的指令。因此，可以重新配置左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)，使得相對于最近對象再現(xiàn)位置的視差角(在交叉方向上的視差角)和相對于最遠(yuǎn)對象再現(xiàn)位置的視差角(在同側(cè)方向上的視差角)在在其中觀看不會引起任何健康問題的某個(gè)范圍內(nèi)。
[0037]此外，本技術(shù)的另一概念在于發(fā)送裝置，包括:
[0038]圖像數(shù)據(jù)獲得單元，其獲得形成立體圖像的左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)；
[0039]視差信息獲得單元，其獲得對于獲得的圖像數(shù)據(jù)的某些畫面的每個(gè)畫面的關(guān)于左眼圖像和右眼圖像之一相對于另一個(gè)的視差信息；
[0040]壓縮編碼單元，其對獲得的視差信息進(jìn)行壓縮編碼處理；
[0041]視差信息插入單元，其將壓縮編碼的視差信息插入到通過對獲得的圖像數(shù)據(jù)編碼而獲得的視頻流中；以及
[0042]圖像數(shù)據(jù)發(fā)送單元，其發(fā)送某個(gè)格式的容器，該容器包括視差信息已經(jīng)被插入其中的視頻流。
[0043]在本技術(shù)中，該圖像數(shù)據(jù)獲得單元獲得形成立體圖像的左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)。在此情況下，例如，提供使用相機(jī)拍攝圖像或者從存儲介質(zhì)讀取圖像數(shù)據(jù)而獲得該圖像數(shù)據(jù)。
[0044]該視差信息獲得單元獲得對于獲得的圖像數(shù)據(jù)的某些畫面的每個(gè)畫面的關(guān)于左眼圖像和右眼圖像之一相對于另一個(gè)的視差信息。在此情況下，例如，基于左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)產(chǎn)生該視差信息，或者通過從存儲介質(zhì)讀取而獲得該視差信息。
[0045]該壓縮編碼單元對獲得的視差信息進(jìn)行壓縮編碼處理。例如，該壓縮編碼單元可以使用可變長度碼對獲得的關(guān)于各個(gè)畫面的視差信息進(jìn)行處理，作為所述壓縮編碼處理?；蛘?，例如，該壓縮編碼單元進(jìn)行獲得在獲得的各個(gè)畫面中的參考畫面和被參考的畫面之間的差別數(shù)據(jù)并對該差別數(shù)據(jù)進(jìn)行可變長度編碼的處理，作為所述壓縮編碼處理。在此情況下，例如，該壓縮編碼單元可以通過將在顯示順序上的前一畫面當(dāng)作被參考的畫面而獲得所述差別數(shù)據(jù)?；蛘撸诖饲闆r下，該壓縮編碼單元通過將在解碼順序上的前一畫面當(dāng)作被參考的畫面而獲得所述差別數(shù)據(jù)。
[0046]該視差信息插入單元將壓縮編碼的視差信息插入到通過對獲得的圖像數(shù)據(jù)編碼而獲得的視頻流中。例如，以畫面為單位或者以GOP (畫面組)為單位將視差信息插入視頻流中。此外，可以以其他單位為單位(例如以場景為單位)插入視差信息。
[0047]例如，該視差信息插入單元可以在將視差信息插入視頻流中的每個(gè)畫面中時(shí)進(jìn)一步插入識別插入的視差信息是內(nèi)部數(shù)據(jù)還是差別數(shù)據(jù)的標(biāo)識信息。在此情況下，接收側(cè)能夠容易地確定插入的視差信息是內(nèi)部數(shù)據(jù)還是差別數(shù)據(jù)。
[0048]而且，例如，該視差信息插入單元可以將對于I畫面、P畫面和被參考的B畫面的視差信息插入視頻流中，并且在插入的視差信息是差別數(shù)據(jù)的情況下，還可以插入表示直到被參考的畫面的畫面數(shù)量的信息。在此情況下，接收側(cè)能夠容易地確定被參考的畫面。
[0049]如上所述，在本技術(shù)中，對于圖像數(shù)據(jù)的某些畫面的每個(gè)畫面獲得的視差信息被插入視頻流中，并且發(fā)送該視頻流。因而，可以以畫面(幀)為單位良好地控制在接收側(cè)以疊加的方式顯示在立體圖像上的圖形的深度。此外，在本技術(shù)中，插入到視頻流中的視差信息已經(jīng)被壓縮編碼，使得可以減少數(shù)據(jù)量。
[0050]此外，本技術(shù)的另一概念在于接收裝置，包括:[0051]圖像數(shù)據(jù)接收單元，其接收某個(gè)格式的容器，該容器包括視頻流，
[0052]其中通過對形成立體圖像的左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)編碼而獲得該視頻流，以及
[0053]其中該視頻流包括對于圖像數(shù)據(jù)的某些畫面的每個(gè)畫面插入該視頻流的關(guān)于左眼圖像和右眼圖像之一相對于另一個(gè)的視差信息，
[0054]該接收裝置還包括:
[0055]信息獲得單元，其從所述容器中包括的視頻流獲得所述左眼圖像數(shù)據(jù)和所述右眼圖像數(shù)據(jù)，并且還獲得所述視差信息；以及
[0056]視差信息插值單元，其通過使用獲得的關(guān)于前一畫面和后一畫面的視差信息進(jìn)行插值而產(chǎn)生關(guān)于如下畫面的視差信息:對于該畫面，由信息獲得單元獲得的視差信息不存在。
[0057]在本技術(shù)中，該圖像數(shù)據(jù)接收單元接收某個(gè)格式的容器，該容器包括視頻流。通過對形成立體圖像的左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)編碼而獲得該視頻流。而且，該視頻流包括插入到其中的對于圖像數(shù)據(jù)的某些畫面的每個(gè)畫面的關(guān)于左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)之一相對于另一個(gè)的視差信息。
[0058]該信息獲得單元從該容器中包括的視頻流獲得左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)，并且還獲得插入到圖像數(shù)據(jù)的某個(gè)畫面中的視差信息。而且，該視差信息插值單元通過使用獲得的關(guān)于前一畫面和后一畫面的視差信息進(jìn)行插值而產(chǎn)生關(guān)于不存在視差信息的畫面的視差信息。
[0059]如上所述，在本技術(shù)中，通過使用獲得的關(guān)于前一畫面和后一畫面的視差信息進(jìn)行插值而產(chǎn)生關(guān)于不存在視差信息的畫面的視差信息。因此，例如，可以以畫面(幀)為單位良好地控制以疊加的方式顯示在立體圖像上的圖形的深度。在此情況下，當(dāng)以十進(jìn)制精度產(chǎn)生通過插值產(chǎn)生的關(guān)于畫面的視差信息時(shí)，如果該視差信息對應(yīng)于子像素的視差信息，則可以更平滑地進(jìn)行圖形的深度的動態(tài)更新。
[0060]此外，本技術(shù)的另一概念在于接收裝置，包括:
[0061]圖像數(shù)據(jù)接收單元，其接收某個(gè)格式的容器，該容器包括視頻流，
[0062]其中通過對形成立體圖像的左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)編碼而獲得該視頻流，以及
[0063]其中該視頻流包括對于圖像數(shù)據(jù)的某些畫面的每個(gè)畫面插入該視頻流的關(guān)于左眼圖像和右眼圖像之一相對于另一個(gè)的視差信息，該視差信息包括與畫面顯示屏幕的某個(gè)區(qū)域中的最近對象再現(xiàn)位置對應(yīng)的第一視差信息以及與該畫面顯示屏幕的該某個(gè)區(qū)域中的最遠(yuǎn)對象再現(xiàn)位置對應(yīng)的第二視差信息，
[0064]該接收裝置還包括:
[0065]信息獲得單元，其從所述容器中包括的視頻流獲得所述左眼圖像數(shù)據(jù)和所述右眼圖像數(shù)據(jù)，并且還獲得所述第一視差信息和所述第二視差信息；以及
[0066]發(fā)送單元，其將獲得的左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)以及獲得的第一視差信息和第二視差信息彼此相關(guān)聯(lián)地發(fā)送到外部裝置。
[0067]在本技術(shù)中，該圖像數(shù)據(jù)接收單元接收某個(gè)格式的容器，該容器包括視頻流。例如，該容器可以是在數(shù)字廣播標(biāo)準(zhǔn)中采用的傳輸流(MPEG-2TS)。或者，例如，該容器可以是用于在因特網(wǎng)上的分發(fā)的MP4的容器或者另一格式的容器。
[0068]通過對形成立體圖像的左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)編碼而獲得該視頻流。此夕卜，該視頻流包括對于圖像數(shù)據(jù)的某些畫面的每個(gè)畫面插入該視頻流的關(guān)于左眼圖像和右眼圖像之一相對于另一個(gè)的視差信息，該視差信息包括第一視差信息和第二視差信息。第一視差信息是與畫面顯示屏幕的某個(gè)區(qū)域中的最近對象再現(xiàn)位置對應(yīng)的視差信息。第二視差信息是與該畫面顯示屏幕的該某個(gè)區(qū)域中的最遠(yuǎn)對象再現(xiàn)位置對應(yīng)的視差信息。
[0069]該信息獲得單元從該容器中包括的視頻流獲得所述左眼圖像數(shù)據(jù)和所述右眼圖像數(shù)據(jù)，并且還獲得插入到圖像數(shù)據(jù)的某個(gè)畫面中的第一視差信息和第二視差信息。該發(fā)送單元將獲得的左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)以及獲得的第一視差信息和第二視差信息彼此相關(guān)聯(lián)地發(fā)送到外部裝置。
[0070]例如，該發(fā)送單元使用差分信號經(jīng)過一定數(shù)量的信道向外部裝置發(fā)送圖像數(shù)據(jù)，并且將視差信息插入該圖像數(shù)據(jù)的消隱時(shí)段中，由此向該外部裝置發(fā)送該視差信息。在此情況下，例如，該發(fā)送單元將視差信息插入位于圖像數(shù)據(jù)的消隱時(shí)段中的某個(gè)格式的信息分組中。
[0071]例如，該接收裝置還可以包括信息重新配置單元，其基于獲得的第一視差信息和第二視差信息，重新配置圖像數(shù)據(jù)和視差信息，以便視差角在某個(gè)范圍內(nèi)。該發(fā)送單元可以將重新配置的左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)以及重新配置的第一視差信息和第二視差信息彼此相關(guān)聯(lián)地發(fā)送到所述外部裝置。
[0072]如上所述，在本技術(shù)中，從接收容器中包括的視頻流獲得的左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)以及第一視差信息和第二視差信息彼此相關(guān)聯(lián)地被發(fā)送到外部裝置。因此，該外部裝置能夠基于該第一視差信息和該第二視差信息檢查相對于最近對象再現(xiàn)位置的視差角(在交叉方向上的視差角)和相對于最遠(yuǎn)對象再現(xiàn)位置的視差角(在同側(cè)方向上的視差角)是否在在其中觀看不會引起任何健康問題的某個(gè)范圍內(nèi)。
[0073]此外，在本技術(shù)中，例如，該發(fā)送單元可以以兩個(gè)畫面為單位發(fā)送關(guān)于彼此順序地相鄰的第一畫面和第二畫面的視差信息。至少關(guān)于第一畫面或者第二畫面的視差信息可以是相對于關(guān)于緊鄰在前的畫面的視差信息的差別數(shù)據(jù)。以此方式，關(guān)于第一畫面的視差信息和關(guān)于第二畫面的視差信息的任意一個(gè)是差別數(shù)據(jù)，因此可以降低傳輸數(shù)據(jù)量。
[0074]此外，在本技術(shù)中，例如，該接收裝置還可以包括確定單元，其基于關(guān)于第一畫面的視差信息和關(guān)于第二畫面的視差信息之間的差別數(shù)據(jù)，確定所述關(guān)于第一畫面的視差信息和關(guān)于第二畫面的視差信息中的哪個(gè)將是差別數(shù)據(jù)。在此情況下，例如，當(dāng)由于場景改變等，關(guān)于第一畫面的視差信息和關(guān)于第二畫面的視差信息之間的差大時(shí)，可以將關(guān)于第一畫面的視差信息確定為差別數(shù)據(jù)，并且可以進(jìn)一步降低傳輸數(shù)據(jù)量。
[0075]此外，在本技術(shù)中，例如，由發(fā)送單元發(fā)送的視差信息可以包括添加到其的指示所述關(guān)于第一畫面的視差信息是否是差別數(shù)據(jù)以及所述關(guān)于第二畫面的視差信息是否是差別數(shù)據(jù)的標(biāo)識信息。在此情況下，可以容易地確定關(guān)于第一畫面的視差信息是否是差別數(shù)據(jù)以及關(guān)于第二畫面的視差信息是否是差別數(shù)據(jù)。
[0076]本發(fā)明的有益效果
[0077]根據(jù)本技術(shù)，可以良好地進(jìn)行立體圖像的顯示或者圖形在立體圖像上的疊加顯
/Jn o【專利附圖】

【附圖說明】
[0078]圖1是例示根據(jù)一個(gè)實(shí)施例的圖像發(fā)送/接收系統(tǒng)的示例配置的框圖。
[0079]圖2是例示關(guān)于每個(gè)塊的視差信息(視差向量)的例子的圖。
[0080]圖3是描述用于以塊為單位產(chǎn)生視差信息的方法的例子的圖。
[0081]圖4包括描述用于從關(guān)于各個(gè)塊的視差信息獲得關(guān)于某些劃分的區(qū)域的視差信息的規(guī)?？s小(downsizing)處理的例子的圖。
[0082]圖5是描述劃分畫面顯示屏幕以便劃分的區(qū)域不跨越編碼塊之間的邊界的圖。
[0083]圖6是示意性例示每個(gè)畫面的各個(gè)劃分的區(qū)域中的視差信息的轉(zhuǎn)變的例子的圖。
[0084]圖7包括描述把為圖像數(shù)據(jù)的每個(gè)畫面獲得的視差信息插入到視頻流中的定時(shí)的圖。
[0085]圖8是例示在廣播站中產(chǎn)生傳輸流的傳輸數(shù)據(jù)產(chǎn)生單元的示例配置的框圖。
[0086]圖9是例示傳輸流的示例配置的圖。
[0087]圖10包括例示AVC視頻描述符的示例結(jié)構(gòu)(語法)和主清晰度內(nèi)容(語義)的圖。
[0088]圖11包括例示MVC擴(kuò)展描述符的示例結(jié)構(gòu)(語法)和主清晰度內(nèi)容(語義)的圖。
[0089]圖12包括例示圖形深度信息描述符(graphics_depth_info_descriptor)的示例結(jié)構(gòu)(語法)和主清晰度內(nèi)容(語義)的圖。
[0090]圖13例示在編碼方案是AVC的情況下在GOP的頭部處的訪問單元以及在除了 GOP頭部之外的位置處的訪問單元的例子。
[0091]圖14包括例不“depth_information_for_graphics SEI message”的不例結(jié)構(gòu)(語法)和 “depth_information_for_graphics_data() ” 的不例結(jié)構(gòu)(語法)的圖。
[0092]圖15是例示在以畫面為單位對于每個(gè)畫面插入視差信息的情況下的“d印th_information_for_graphics () ” 的不例結(jié)構(gòu)(語法)的圖。
[0093]圖16是例示在以畫面為單位對于每個(gè)畫面插入視差信息的情況下的“d印th_i nf ormat i on_f or_gr aph i c s () ” 的不例結(jié)構(gòu)(語法)的圖。
[0094]圖17是例示在以畫面為單位對于每個(gè)畫面插入視差信息的情況下的“d印th_i nf ormat i on_f or_gr aph i c s () ” 的不例結(jié)構(gòu)(語法)的圖。
[0095]圖18 是例不在“(16口1:11_;[11；1^01'1]131:;[011_;1^01'_8以口11；[08() ”的不例結(jié)構(gòu)(語法)中的主要信息的內(nèi)容(語義)的圖。
[0096]圖19包括例示劃分畫面顯示屏幕的例子的圖。
[0097]圖20是例示在對于多個(gè)畫面共同地編碼視差信息的情況下的“d印th_i nf ormat i on_f or_gr aph i c s () ” 的不例結(jié)構(gòu)(語法)的圖。
[0098]圖21是例示在對于多個(gè)畫面共同地編碼視差信息的情況下的“cbpth_i nf ormat i on_f or_gr aph i c s () ” 的不例結(jié)構(gòu)(語法)的圖。
[0099]圖22是例示在對于多個(gè)畫面共同地編碼視差信息的情況下的“cbpth_i nf ormat i on_f or_gr aph i c s () ” 的不例結(jié)構(gòu)(語法)的圖。
[0100]圖23 包括例不 “user_data () ” 的不例結(jié)構(gòu)(語法)和 “depth_information_for_graphics_data() ”的示例結(jié)構(gòu)(語法)的圖。
[0101]圖24是例示在廣播站中產(chǎn)生傳輸流的傳輸數(shù)據(jù)產(chǎn)生單元的另一示例配置的框圖。
[0102]圖25是例示壓縮編碼單元的示意性配置的例子的框圖。
[0103]圖26是例示作為可變長度碼的“Exp-Golomb code se(v)”的配置的圖。
[0104]圖27是描述非預(yù)測型(非預(yù)測型)壓縮編碼的圖。
[0105]圖28是描述預(yù)測型0 (非預(yù)測型0)的壓縮編碼的圖。
[0106]圖29是描述預(yù)測型I (非預(yù)測型I)的壓縮編碼的圖。
[0107]圖30是描述預(yù)測型2 (非預(yù)測型2)的壓縮編碼的圖。
[0108]圖31是描述預(yù)測型3 (非預(yù)測型3)的壓縮編碼的圖。
[0109]圖32是例示在以畫面為單位對于每個(gè)畫面插入壓縮編碼的視差信息的情況下的“depth_information_sei () ” 的示例結(jié)構(gòu)(語法)的圖。
[0110]圖33是例示在以畫面為單位對于每個(gè)畫面插入壓縮編碼的視差信息的情況下的“depth_information_sei () ” 的示例結(jié)構(gòu)(語法)的圖。
[0111]圖34是例示在以畫面為單位對于每個(gè)畫面插入壓縮編碼的視差信息的情況下的“depth_information_sei () ” 的示例結(jié)構(gòu)(語法)的圖。
[0112]圖35是例示在對于多個(gè)畫面共同地編碼壓縮編碼的視差信息的情況下的“depth_information_sei () ” 的示例結(jié)構(gòu)(語法)的圖。
[0113]圖36是例示對于多個(gè)畫面共同地編碼壓縮編碼的視差信息的情況下的“d印th_information_sei () ”的示例結(jié)構(gòu)(語法)的圖。
[0114]圖37是例示在對于多個(gè)畫面共同地編碼壓縮編碼的視差信息的情況下的“depth_information_sei () ” 的示例結(jié)構(gòu)(語法)的圖。
[0115]圖38是例示“depth_information_sei () ”的另一示例結(jié)構(gòu)(語法)的圖。
[0116]圖39是例示作為可變長度碼的“Exp-Golomb code ue (v) ”的配置的圖。
[0117]圖40是例示“depth_information_sei () ”的另一示例結(jié)構(gòu)(語法)的圖。
[0118]圖41是例示使用視差信息控制圖形的深度的概念的圖。
[0119]圖42是例示在視頻流包括以畫面為單位插入到其中的視差信息的情況下在圖像數(shù)據(jù)的畫面定時(shí)時(shí)順序地獲得各條視差信息的圖。
[0120]圖43是例示在視頻流包括以畫面為單位插入到其中的視差信息的情況下在圖像數(shù)據(jù)的GOP的頭部的定時(shí)共同地獲得GOP中的各個(gè)畫面的各條視差信息的圖。
[0121]圖44包括例示圖像上的標(biāo)題(字幕)和OSD圖形的顯示例子的圖。
[0122]圖45是例示機(jī)頂盒的示例配置的框圖。
[0123]圖46是例示壓縮解碼單元的示意性配置的例子的框圖。
[0124]圖47是描述視差角的檢查和圖像數(shù)據(jù)的重新配置的圖。
[0125]圖48是例示視差信息控制單元的示例配置的框圖。
[0126]圖49是描述由深度控制單元進(jìn)行的控制的框圖。
[0127]圖50是例示由深度控制單元進(jìn)行的控制處理的過程的例子的流程圖(1/2)。
[0128]圖51是例示由深度控制單元進(jìn)行的控制處理的過程的例子的流程圖(1/2)。
[0129]圖52是例示在機(jī)頂盒中控制圖形的深度的例子的圖。
[0130]圖53是例示在機(jī)頂盒中控制圖形的深度的另一例子的圖。
[0131]圖54是例示電視接收機(jī)(HDMI輸入系統(tǒng))的示例配置的框圖。[0132]圖55是描述由深度控制單元進(jìn)行的控制的框圖。
[0133]圖56是例示由深度控制單元進(jìn)行的控制處理的過程的例子的流程圖。
[0134]圖57是例示在電視接收機(jī)中控制圖形的深度的例子的圖。
[0135]圖58是例示信源(source)裝置的HDMI發(fā)送單元和收信(sink)裝置的HDMI接收單元的示例配置的框圖。
[0136]圖59是例示(在發(fā)送水平1920像素X 1080行的圖像數(shù)據(jù)的情況下)TMDS傳輸數(shù)據(jù)的示例結(jié)構(gòu)的圖。
[0137]圖60是例示信源裝置和收信裝置的HDMI電纜連接到的HDMI端子的管腳陣列(類型A)的圖。
[0138]圖61是例示在使用HDMI供應(yīng)商特定InfoFrame發(fā)送視差信息的情況下的分組結(jié)構(gòu)的例子的圖。
[0139]圖62是例示在HDMI供應(yīng)商特定InfoFrame的分組結(jié)構(gòu)的例子中的主要信息的內(nèi)容的圖。
[0140]圖63是例示在單畫面模式中劃分的區(qū)域的數(shù)量是“16”的情況下VS_Info的示例結(jié)構(gòu)的圖。
[0141]圖64是例示在雙畫面模式中劃分的區(qū)域的數(shù)量是“16”的情況下VS_Info的示例結(jié)構(gòu)的圖。
[0142]圖65是示意性例示以畫面為單位進(jìn)行接收和在單畫面模式下發(fā)送的情況的圖。
[0143]圖66是示意性例示以畫面為單位進(jìn)行接收和在雙畫面模式下發(fā)送的情況的圖。
[0144]圖67是示意性例示以GOP (多個(gè)畫面)為單位進(jìn)行接收和在單畫面模式下發(fā)送的情況的圖。
[0145]圖68是示意性例示以GOP (多個(gè)畫面)為單位進(jìn)行接收和在雙畫面模式下發(fā)送的情況的圖。
[0146]圖69是例示VS_Info(HDMI供應(yīng)商特定InfoFrame)的分組結(jié)構(gòu)的另一例子的圖。
[0147]圖70是例示VS_Info(HDMI供應(yīng)商特定InfoFrame)的分組結(jié)構(gòu)的另一例子的圖。
[0148]圖71是例示在HDMI供應(yīng)商特定InfoFrame的分組結(jié)構(gòu)的例子中的主要信息的內(nèi)容的圖。
[0149]圖72是例示用于確定N畫面和N+1畫面的順序的示例配置的框圖。
[0150]圖73是例示在ID (N+1) -D (N) | ( Th的情況下視差信息(視差值)的時(shí)間轉(zhuǎn)變的例子的圖。
[0151]圖74是例示在ID (N+1) -D (N) | >Th的情況下視差信息(視差值)的時(shí)間轉(zhuǎn)變的例子的圖。
[0152]圖75是例示圖像發(fā)送/接收系統(tǒng)的另一示例配置的框圖。
[0153]圖76是例示電視接收機(jī)的另一示例配置的框圖。
[0154]圖77是例示在利用雙眼視差的立體圖像顯示中對象的左圖像和右圖像在屏幕上的顯示位置之間的關(guān)系和由該左圖像和右圖像形成的立體圖像的再現(xiàn)位置的圖。
【具體實(shí)施方式】
[0155]下文中，將描述用于實(shí)現(xiàn)本發(fā)明的實(shí)施例(以下，稱為“實(shí)施例”)。注意，將按以下順序給出描述。
[0156]1.實(shí)施例
[0157]2.修改
[0158]〈I?實(shí)施例〉
[0159][圖像發(fā)送/接收系統(tǒng)]
[0160]圖1例示根據(jù)一個(gè)實(shí)施例的圖像發(fā)送/接收系統(tǒng)10的示例配置。圖像發(fā)送/接收系統(tǒng)10包括廣播站100、機(jī)頂盒(STB)200和用作監(jiān)視器的電視接收機(jī)300。機(jī)頂盒200和電視接收機(jī)(TV) 300經(jīng)由HDMI (高清晰度多媒體接口)電纜400相互連接。
[0161]“廣播站的描述”
[0162]廣播站100通過廣播波發(fā)送用作容器(container)的傳輸流TS。傳輸流TS包括通過對形成立體圖像的左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)編碼而獲得的視頻流。例如，左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)作為一個(gè)視頻流而發(fā)送。在此情況下，例如，左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)經(jīng)歷交織處理以便被形成為并排(side-by-side)格式或者上下(top-and_bottom)格式的圖像數(shù)據(jù)，并且該 圖像數(shù)據(jù)被包括在一個(gè)視頻流中。
[0163]或者，例如，左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)作為不同的視頻流而發(fā)送。在此情況下，例如，左眼圖像數(shù)據(jù)被包括在MVC基礎(chǔ)視圖(view)流中，并且右眼圖像數(shù)據(jù)被包括在MVC非基礎(chǔ)視圖流中。
[0164]關(guān)于左眼圖像和右眼圖像之一相對于另一個(gè)的視差信息(視差數(shù)據(jù))(對于圖像數(shù)據(jù)的某些畫面的每個(gè)畫面獲得視差信息)被插入到視頻流中。在此情況下，假設(shè)對于至少其視差信息將被發(fā)送的畫面獲得視差信息。
[0165]在此，每個(gè)畫面的視差彳目息包括第一視差彳目息和第二視差彳目息。第一視差彳目息是與畫面顯示屏幕的某個(gè)區(qū)域中的最近對象再現(xiàn)位置對應(yīng)的視差信息。另一方面，第二視差信息是與畫面顯示屏幕的該某個(gè)區(qū)域中的最遠(yuǎn)對象再現(xiàn)位置對應(yīng)的視差信息。
[0166]當(dāng)假設(shè)屏幕的位置對應(yīng)于零視差時(shí)，在對象再現(xiàn)位置在屏幕前方的情況下，獲得視差信息為負(fù)值(見圖71中的DPa)。另一方面，在對象再現(xiàn)位置在屏幕后方的情況下，獲得視差信息為正值(見圖71中的DPc)。因此，例如，在關(guān)于某個(gè)區(qū)域的多條視差信息之中，具有最小值的視差信息被用作第一視差信息。而且，例如，在關(guān)于該某個(gè)區(qū)域的多條視差信息之中，具有最大值的視差信息被用作第二視差信息。
[0167]在此情況下，例如，可以使用以下獲得方法來獲得第一視差信息和第二視差信息。
[0168](I)獲得通過使用劃分信息劃分畫面顯示屏幕而獲得的關(guān)于每個(gè)劃分的區(qū)域的第一視差信息，并且獲得關(guān)于整個(gè)畫面顯示屏幕的第二視差信息。
[0169](2)獲得通過使用劃分信息劃分畫面顯示屏幕而獲得的關(guān)于每個(gè)劃分的區(qū)域的第
一視差息和第二視差息。
[0170](3)獲得通過使用第一劃分信息劃分畫面顯示屏幕而獲得的關(guān)于每個(gè)劃分的區(qū)域的第一視差信息，并且獲得通過使用第二劃分信息劃分畫面顯示屏幕而獲得的關(guān)于每個(gè)劃分的區(qū)域的第二視差信息。
[0171](4)獲得關(guān)于整個(gè)畫面顯示屏幕的第一視差信息，并且獲得關(guān)于整個(gè)畫面顯示屏
幕的第二視差信息。
[0172]通過對關(guān)于每個(gè)塊的視差信息進(jìn)行規(guī)?？s小處理而獲得關(guān)于整個(gè)畫面顯示屏幕或者每個(gè)劃分的區(qū)域的視差信息。圖2例示關(guān)于每個(gè)塊的視差信息(視差向量)的例子。
[0173]圖3例示用于以塊為單位產(chǎn)生視差信息的方法的例子。該例子是從左眼視圖(左視圖)獲得指示右眼視圖(右視圖)的視差信息的例子。在此情況下，例如，在左眼視圖畫面中設(shè)置4*4、8*8或者16*16像素塊(視差檢測塊)。
[0174]如圖中所示，左眼視圖畫面被當(dāng)作檢測圖像，右眼視圖畫面被當(dāng)作參考圖像。對于左眼視圖畫面的每個(gè)塊，進(jìn)行右眼視圖畫面的塊搜索以便像素之間的差的絕對值之和最小，并且獲得視差數(shù)據(jù)。
[0175]即，通過進(jìn)行塊搜索以便第N塊中的差的絕對值之和最小化而獲得關(guān)于第N塊的視差信息DPn，例如如由以下等式(I)所表示。注意，在等式(I)中，Dj表示右眼視圖畫面中的像素值，并且Di表示左眼視圖畫面中的像素值。
[0176]DPn=min (2 abs (differ (Dj-Di))) --?(]_)
[0177]圖4例示規(guī)?？s小處理的例子。圖4(a)例示以上述方式獲得的關(guān)于每個(gè)塊的視差信息。基于關(guān)于每個(gè)塊的視差信息，獲得關(guān)于每組(塊的組)的第一視差信息和第二視差信息，如圖4(b)中所示。組對應(yīng)于更高層的塊，并且通過將多個(gè)相鄰的塊分組而獲得。在圖4(b)的例子中，每組由通過虛線框分組在一起的四個(gè)塊構(gòu)成。然后，例如通過從關(guān)于該組中的所有塊的各條視差信息之中選擇具有最小值的視差信息而獲得關(guān)于每組的第一視差信息。而且，例如通過從關(guān)于該組中的所有塊的各條視差信息之中選擇具有最大值的視差息而獲得關(guān)于每組的第二視差息。
[0178]隨后，基于各個(gè)組的視差向量，獲得關(guān)于每個(gè)分區(qū)的第一視差信息和第二視差信息，如圖4(c)中所示。分區(qū)對應(yīng)于組的更高層，并且通過將多個(gè)相鄰的組分組而獲得。在圖4(c)的例子中，每個(gè)分區(qū)由通過虛線框分組在一起的兩個(gè)組構(gòu)成。然后，例如通過從關(guān)于該分區(qū)中的所有組的多條第一·視差信息中選擇具有最小值的第一視差信息而獲得關(guān)于每個(gè)分區(qū)的第一視差信息。而且，例如通過從關(guān)于該分區(qū)中的所有組的多條第二視差信息中選擇具有最大值的第二視差信息而獲得關(guān)于每個(gè)分區(qū)的第二視差信息。
[0179]隨后，基于關(guān)于各個(gè)分區(qū)的視差信息，獲得關(guān)于位于最高層的整個(gè)畫面(整個(gè)畫面顯示屏幕)的第一視差信息和第二視差信息，如圖4(d)所示。在圖4(d)的例子中，整個(gè)畫面包括通過虛線框分組在一起的四個(gè)分區(qū)。然后，例如通過從關(guān)于整個(gè)畫面中包括的所有分區(qū)的各條第一視差信息之中選擇具有最小值的第一視差信息而獲得關(guān)于整個(gè)畫面的第一視差信息。而且，例如通過從關(guān)于整個(gè)畫面中包括的所有分區(qū)的各條第二視差信息之中選擇具有最大值的第二視差信息而獲得關(guān)于整個(gè)畫面的第二視差信息。
[0180]如上所述，基于劃分信息而劃分畫面顯示屏幕，并且獲得關(guān)于每個(gè)劃分的區(qū)域的視差信息。在此情況下，劃分畫面顯示屏幕使得劃分的區(qū)域不跨過編碼塊之間的邊界。圖5例示劃分畫面顯示屏幕的詳細(xì)例子。此例子是1920*1080像素格式的例子，并且是其中畫面顯示屏幕在水平和垂直方向的每個(gè)方向上被劃分為兩個(gè)區(qū)域從而獲得分區(qū)A、分區(qū)B、分區(qū)C和分區(qū)D四個(gè)劃分的區(qū)域的例子。在發(fā)送側(cè)，以16X 16塊為單位進(jìn)行編碼，因此添加了由空白數(shù)據(jù)形成的八行，并且對1920像素*1088行的圖像數(shù)據(jù)進(jìn)行編碼。因此，關(guān)于垂直方向，基于1088行，畫面顯示屏幕被劃分為兩個(gè)區(qū)域。
[0181]如上所述，對于圖像數(shù)據(jù)的某些畫面(幀)中的每個(gè)畫面獲得的關(guān)于整個(gè)畫面顯示屏幕或者每個(gè)劃分的區(qū)域(分區(qū))的視差信息(第一視差信息和第二視差信息)被插入到視頻流中。圖6示意性例示關(guān)于各個(gè)劃分的區(qū)域的視差信息的轉(zhuǎn)變的例子。在此例子中，畫面顯示屏幕在水平和垂直方向的每個(gè)方向上被劃分為四個(gè)區(qū)域，從而存在16個(gè)劃分的區(qū)域，即分區(qū)O到分區(qū)15。在此例子中，為了簡化附圖，僅例示了關(guān)于分區(qū)O、分區(qū)3、分區(qū)9和分區(qū)15的視差信息D0、D3、D9和D15的轉(zhuǎn)變。視差信息的值可以隨著時(shí)間而改變(DO、D3和D9)或者可以固定(D15)。
[0182]對于圖像數(shù)據(jù)的某些畫面中的每個(gè)畫面獲得的視差信息以畫面為單位、以GOP為單位或類似的被插入到視頻流中。圖7 (a)例示與畫面編碼同步的例子，即其中以畫面為單位將視差信息插入到視頻流中的例子。在此例子中，在發(fā)送圖像數(shù)據(jù)時(shí)發(fā)生的延遲小，這適合于其中發(fā)送由攝像機(jī)捕捉的圖像數(shù)據(jù)的實(shí)時(shí)廣播。
[0183]圖7(b)例示與編碼的視頻的I畫面(內(nèi)部畫面)或GOP (畫面組)同步的例子，即其中以GOP為單位將視差信息插入到視頻流中的例子。在此例子中，在發(fā)送圖像數(shù)據(jù)時(shí)發(fā)生比圖7(a)的例子中更大的延遲。但是，共同地發(fā)送關(guān)于多個(gè)畫面(幀)的視差信息，從而可以減少在接收側(cè)獲得視差信息的處理的數(shù)量。圖7(c)例示與視頻的場景同步的例子，即其中以場景為單位將視差信息插入視頻流中的例子。注意，圖7(a)到圖7(c)的例子僅僅是例子，并且可以以其他單位為單位插入視差信息。
[0184]或者，用于識別視頻流是否包括插入到其中的視差信息(第一視差信息和第二視差信息)的標(biāo)識信息可以被插入到傳輸流TS的層中。例如在傳輸流TS中包括的節(jié)目映射表(PMT)或事件信息表(EIT)之下插入該標(biāo)識信息。該標(biāo)識信息使得接收側(cè)能夠容易地識別視頻流是否包括插入到其中的視差信息。將在下面描述標(biāo)識信息的細(xì)節(jié)。
[0185]“傳輸數(shù)據(jù)產(chǎn)生單元的示例配置”
[0186]圖8例示在廣播站100中產(chǎn)生上述的傳輸流TS的傳輸數(shù)據(jù)產(chǎn)生單元110的示例配置。傳輸數(shù)據(jù)產(chǎn)生單元110包括圖像數(shù)據(jù)輸出單元IllL和111R、縮放器(scaler) 112L和112R、視頻編碼器113、復(fù)用器114和視差數(shù)據(jù)產(chǎn)生單元115。傳輸數(shù)據(jù)產(chǎn)生單元110還包括字幕數(shù)據(jù)輸出單元116、字幕編碼器117、音頻數(shù)據(jù)輸出單元118和音頻編碼器119。
[0187]圖像數(shù)據(jù)輸出單元IllL和IllR分別輸出形成立體圖像的左眼圖像數(shù)據(jù)VL和右眼圖像數(shù)據(jù)VR。圖像數(shù)據(jù)輸出單元IllL和IllR例如由拍攝對象的圖像并且輸出圖像數(shù)據(jù)的相機(jī)、從存儲介質(zhì)讀出圖像數(shù)據(jù)并輸出圖像數(shù)據(jù)的圖像數(shù)據(jù)讀取器等等構(gòu)成。圖像數(shù)據(jù)VL和圖像數(shù)據(jù)VR的每個(gè)是例如具有1920*1020的全HD尺寸的圖像數(shù)據(jù)。
[0188]在需要時(shí)，縮放器112L和112R在水平方向或者垂直方向上分別對圖像數(shù)據(jù)VL和圖像數(shù)據(jù)VR進(jìn)行縮放處理。例如，在形成并排格式或者上下格式的圖像數(shù)據(jù)以便將圖像數(shù)據(jù)VL和圖像數(shù)據(jù)VR作為一個(gè)視頻流來發(fā)送的情況下，縮放器112L和112R分別在水平方向或者垂直方向上將圖像數(shù)據(jù)VL和圖像數(shù)據(jù)VR縮小到一半，并且輸出縮小的圖像數(shù)據(jù)?；蛘撸?，在將圖像數(shù)據(jù)VL和圖像數(shù)據(jù)VR作為不同的視頻流、比如MVC基礎(chǔ)視圖流和MVC非基礎(chǔ)視圖流而發(fā)送的情況下，縮放器112L和112R分別照原樣輸出圖像數(shù)據(jù)VL和圖像數(shù)據(jù)VR，而不對其進(jìn)行縮放處理。
[0189]視頻編碼器113根據(jù)例如MPEG-4AVC (MVC)、MPEG-2視頻或者HEVC (高效率視頻編碼)對從縮放器112L和112R輸出的左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)進(jìn)行編碼，由此獲得編碼的視頻數(shù)據(jù)。而且，視頻編碼器113通過使用在后的級中提供的流格式化器(未示出)產(chǎn)生包括編碼的數(shù)據(jù)的視頻流。在此情況下，視頻編碼器113產(chǎn)生包括左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)的編碼的視頻數(shù)據(jù)的一個(gè)或兩個(gè)視頻流(視頻基本流)。
[0190]視差數(shù)據(jù)產(chǎn)生單元115基于從圖像數(shù)據(jù)輸出單元IllL和IllR輸出的左眼圖像數(shù)據(jù)VL和右眼圖像數(shù)據(jù)VR產(chǎn)生每個(gè)畫面(幀)的視差信息。視差數(shù)據(jù)產(chǎn)生單元115對于每個(gè)畫面獲得關(guān)于每個(gè)塊的視差信息，如上所述。注意，在圖像數(shù)據(jù)輸出單元IllL和IllR由包括存儲介質(zhì)的圖像數(shù)據(jù)讀取器構(gòu)成的情況下，視差數(shù)據(jù)產(chǎn)生單元115可以配置為從存儲介質(zhì)中與圖像數(shù)據(jù)一起讀出關(guān)于每個(gè)塊的視差信息，以便獲得視差信息?；蛘?，可以使用通過使用在視頻編碼器113中的右眼圖像數(shù)據(jù)和左眼圖像數(shù)據(jù)之間進(jìn)行的塊匹配的結(jié)果檢測視差息的方法。
[0191]此外，視差信息產(chǎn)生單元115對關(guān)于每個(gè)塊的視差信息進(jìn)行規(guī)?？s小處理，由此產(chǎn)生關(guān)于整個(gè)畫面顯示屏幕或者通過劃分畫面顯示屏幕而獲得的每個(gè)劃分的區(qū)域(分區(qū))的第一視差信息和第二視差信息。注意，例如通過用戶操作向視差信息產(chǎn)生單元115給出關(guān)于用于獲得第一視差信息和第二視差信息的方法的信息。即，給出關(guān)于與整個(gè)畫面顯示屏幕有關(guān)的視差信息的產(chǎn)生或者與通過將畫面顯示屏幕劃分為某個(gè)數(shù)量的區(qū)域而獲得的每個(gè)劃分的區(qū)域有關(guān)的視差信息的產(chǎn)生的信息。
[0192]視頻編碼器113將由視差數(shù)據(jù)產(chǎn)生單元115產(chǎn)生的關(guān)于每個(gè)畫面的第一視差信息和第二視差信息插入視頻流中。在此情況下，例如，關(guān)于每個(gè)畫面的視差信息以畫面為單位或者以GOP為單位(見圖7)插入視頻流中。注意，在左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)作為不同的視頻數(shù)據(jù)發(fā)送時(shí)，視差信息可以被插入到視頻流的僅任意一個(gè)中。
[0193]字幕數(shù)據(jù)輸出單元116輸出要疊加在圖像上的字幕(標(biāo)題)的數(shù)據(jù)。字幕數(shù)據(jù)輸出單元116由例如個(gè)人計(jì)算機(jī)等構(gòu)成。字幕編碼器117產(chǎn)生包括從字幕數(shù)據(jù)輸出單元116輸出的字幕數(shù)據(jù)的字幕流(字幕基本流)。注意，字幕編碼器117參考由視差數(shù)據(jù)產(chǎn)生單元115產(chǎn)生的關(guān)于每個(gè)塊的視差信息，并且將與字幕的顯示位置對應(yīng)的視差信息添加到字幕數(shù)據(jù)。即，字幕流中包括的字幕數(shù)據(jù)包括與字幕的顯示位置對應(yīng)的視差信息。
[0194]音頻數(shù)據(jù)輸出單元118輸出與圖像數(shù)據(jù)對應(yīng)的音頻數(shù)據(jù)。音頻數(shù)據(jù)輸出單元118由例如從存儲介質(zhì)讀出音頻數(shù)據(jù)并輸出該音頻數(shù)據(jù)的麥克風(fēng)或音頻數(shù)據(jù)讀取器構(gòu)成。音頻編碼器119根據(jù)MPEG-2音頻、AAC等等對從音頻數(shù)據(jù)輸出單元118輸出的音頻數(shù)據(jù)進(jìn)行編碼，由此產(chǎn)生音頻流(音頻基本流)。
[0195]復(fù)用器114將由視頻編碼器113、字幕編碼器117和音頻編碼器119產(chǎn)生的基本流形成為PES分組，并復(fù)用PES分組，由此產(chǎn)生傳輸流TS。在此情況下，PTS (呈現(xiàn)時(shí)間戳)被插入每個(gè)PES (分組的基本流)分組的頭部，用于在接收側(cè)的同步再現(xiàn)。
[0196]復(fù)用器114將上述的標(biāo)識信息插入傳輸流TS的層中。該標(biāo)識信息是用于識別視頻流是否包括插入到其中的視差信息(第一視差信息和第二視差信息)的信息。例如在傳輸流TS中包括的節(jié)目映射表(PMT)、事件信息表(EIT)等之下插入該標(biāo)識信息。
[0197]將簡要描述圖8所示的傳輸數(shù)據(jù)產(chǎn)生單元110的操作。從圖像數(shù)據(jù)輸出單元IllL和IllR輸出的并且形成立體圖像的左眼圖像數(shù)據(jù)VL和右眼圖像數(shù)據(jù)VR分別被提供到縮放器112L和112R。在需要時(shí)，縮放器112L和112R分別對圖像數(shù)據(jù)VL和圖像數(shù)據(jù)VR進(jìn)行水平方向上或者垂直方向上的縮放處理。從縮放器112L和112R輸出的左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)被提供到視頻編碼器113。
[0198]在視頻編碼器113中，根據(jù)例如MPEG-4AVC (MVC)、MPEG_2視頻、HEVC等對左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)進(jìn)行編碼，以便獲得編碼的視頻數(shù)據(jù)。而且，在視頻編碼器113中，由在后級中提供的流格式化器產(chǎn)生包括編碼的數(shù)據(jù)的視頻流。在此情況下，產(chǎn)生包括左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)的編碼的視頻數(shù)據(jù)的一個(gè)或兩個(gè)視頻流。
[0199]此外，從圖像數(shù)據(jù)輸出單元IllL和IllR輸出的并且形成立體圖像的左眼圖像數(shù)據(jù)VL和右眼圖像數(shù)據(jù)VR被提供到視差數(shù)據(jù)產(chǎn)生單元115。在視差數(shù)據(jù)產(chǎn)生單元115中，對于每個(gè)畫面獲得關(guān)于每個(gè)塊的視差信息。此外，在視差數(shù)據(jù)產(chǎn)生單元115中，對關(guān)于每個(gè)塊的視差信息進(jìn)行規(guī)?？s小處理，以便產(chǎn)生關(guān)于整個(gè)畫面顯示屏幕或者通過劃分該畫面顯示屏幕而獲得的每個(gè)劃分的區(qū)域的第一視差信息和第二視差信息。
[0200]由視差數(shù)據(jù)產(chǎn)生單元115產(chǎn)生的針對每個(gè)畫面的第一視差信息和第二視差信息被提供到視頻編碼器113。在視頻編碼器113中，針對每個(gè)畫面的第一視差信息和第二視差信息以畫面為單位或者以GOP為單位被插入到視頻流中。
[0201]此外，字幕數(shù)據(jù)輸出單元116輸出要疊加在圖像上的字幕(標(biāo)題)。該字幕數(shù)據(jù)被提供到字幕編碼器117。在字幕編碼器117中，產(chǎn)生包括字幕數(shù)據(jù)的字幕流。在此情況下，在字幕編碼器117中，參考由視差數(shù)據(jù)產(chǎn)生單元115產(chǎn)生的關(guān)于每個(gè)塊的視差信息，并且與顯示位置對應(yīng)的視差信息被添加到字幕數(shù)據(jù)。
[0202]此外，音頻數(shù)據(jù)輸出單元118輸出與圖像數(shù)據(jù)對應(yīng)的音頻數(shù)據(jù)。該音頻數(shù)據(jù)被提供到音頻編碼器119。在音頻編碼器119中，根據(jù)MPEG-2音頻、AAC等對音頻數(shù)據(jù)進(jìn)行編碼，從而產(chǎn)生音頻流。
[0203]由視頻編碼器113獲得的視頻流、由字幕編碼器117獲得的字幕流以及由音頻編碼器119獲得的音頻流被提供到復(fù)用器114。在復(fù)用器114中，從各個(gè)編碼器提供的基本流形成為PES分組，并且PES分組被復(fù)用，從而產(chǎn)生傳輸流TS。在此情況下，PTS被插入每個(gè)PES頭部中，用于在接收側(cè)的同步再現(xiàn)。而且，在復(fù)用器114中，例如在PMT之下或者在EIT之下插入用于識別視頻流是否包括插入到其中的視差信息的標(biāo)識信息。
[0204][標(biāo)識信息、視差信息的結(jié)構(gòu)以及TS配置]
[0205]圖9例示傳輸流TS的示例配置。在此示例配置中，左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)作為不同的視頻流發(fā)送。即，包括通過編碼左眼圖像數(shù)據(jù)產(chǎn)生的視頻流的PES分組“視頻PES1”和通過編碼右眼圖像數(shù)據(jù)產(chǎn)生的視頻流的PES分組“視頻PES2”。而且，在此示例配置中，包括通過編碼字幕數(shù)據(jù)(包括視差信息)產(chǎn)生的字幕流的PES分組“字幕PES3”和通過編碼音頻數(shù)據(jù)產(chǎn)生的音頻流的PES分組“音頻PES4”。
[0206]在視頻流的用戶數(shù)據(jù)區(qū)域，已經(jīng)插入了每個(gè)畫面的包括第一視差信息和第二視差信息的深度信息SEI (depth_information_sei ())。例如,在每個(gè)畫面的視差信息以畫面為單位插入的情況下，深度信息SEI被插入視頻流的每個(gè)畫面的用戶數(shù)據(jù)區(qū)域中。而且，例如，在每個(gè)畫面的視差信息以GOP為單位插入的情況下，深度信息SEI被插入視頻流的與GOP的頭部對應(yīng)的畫面的用戶數(shù)據(jù)區(qū)域或者插入序列參數(shù)信息的位置處。注意，盡管在此示例配置中深度信息SEI被插入兩個(gè)視頻流的兩者中，但是深度信息SEI可以僅插入視頻流之一中。
[0207]傳輸流TS包括用作PSI (節(jié)目特定信息)的PMT (節(jié)目映射表)。PSI是指示傳輸流TS中包括的每個(gè)基本流屬于哪個(gè)節(jié)目的信息。而且，傳輸流TS包括用作管理事件單元的SI (服務(wù)的信息)的EIT (事件信息表)。[0208]在PMT之下，存在具有與每個(gè)基本流有關(guān)的信息的基本循環(huán)。在此示例基本循環(huán)中，為每個(gè)流查找諸如分組標(biāo)識符的信息，并且還查找描述與基本流有關(guān)的信息的描述符。
[0209]在上述的插入識別視頻流是否包括插入到其中的視差信息(第一視差信息和第二視差信息)的標(biāo)識信息的情況下，例如在節(jié)目映射表的視頻基本循環(huán)之下插入的描述符中描述該標(biāo)識信息。該描述符是例如現(xiàn)有的AVC視頻描述符(AVC視頻描述符)或者M(jìn)VC擴(kuò)展描述符(MVC_extension_descriptor)。注意,在EIT之下可以插入深度信息描述符,如圖中的虛線所示。
[0210]圖10(a)例示其中描述了標(biāo)識信息的AVC視頻描述符的示例結(jié)構(gòu)(語法)。此描述符可應(yīng)用在其中視頻是MPEG-4AVC幀可兼容格式的情況下。此描述符已經(jīng)被包括在
H.264/AVC標(biāo)準(zhǔn)中。此處,在此描述符中新定義了 I位標(biāo)記信息“depth_info_not_existed_flag[O]”。
[0211]如圖10(b)中的定義內(nèi)容(語義)中所示，該標(biāo)記信息指示對應(yīng)的視頻流是否包括插入到其中的包括每個(gè)畫面的視差信息的深度信息SEI (depth_information_sei O )。如果標(biāo)記信息是“0”，則其指示視頻流包括深度信息SEI。另一方面，如果標(biāo)記信息是“ I ”，則其指示視頻流不包括深度信息SEI。
[0212]圖11 (a)例示其中描述了標(biāo)識信息的MVC擴(kuò)展描述符的示例結(jié)構(gòu)(語法)。該描述符可應(yīng)用在視頻是MPEG-4AVC Annex H MVC格式的情況下。此描述符已經(jīng)被包括在H.264/AVC標(biāo)準(zhǔn)中。此處,在此描述符中新定義了 I位標(biāo)記信息“depth_info_not_existed_flag”。
[0213]如圖11(b)中的定義內(nèi)容(語義)中所示，該標(biāo)記信息指示對應(yīng)的視頻流是否包括插入到其中的包括每個(gè)畫面的視差信息的深度信息SEI (depth_information_sei O )。如果標(biāo)記信息是“0”，則其指示視頻流包括深度信息SEI。另一方面，如果標(biāo)記信息是“ I ”，則其指示視頻流不包括深度信息SEI。
[0214]圖12(a)例示深度信息描述符(depth_info_descriptor)的示例結(jié)構(gòu)(語法)。8 位字段 “descriptor_tag” 指不此描述符是 “depth_info_descriptor”。8 位字段“descriptorjength”指示隨后的數(shù)據(jù)的字節(jié)數(shù)。而且，在此描述符中，描述了 I位標(biāo)記信息 “depth_info_not_existed_flag，，。
[0215]如圖12(b)中的定義內(nèi)容(語義)中所示，該標(biāo)記信息指示對應(yīng)的視頻流是否包括插入到其中的包括每個(gè)畫面的視差信息的深度信息SEI (depth_information_sei O )。如果標(biāo)記信息是“0”，則其指示視頻流包括深度信息SEI。另一方面，如果標(biāo)記信息是“ I ”，則其指示視頻流不包括深度信息SEI。
[0216]接下來,將給出將包括每個(gè)畫面的視差信息的深度信息SEI(depth_information_sei O )插入視頻流的用戶數(shù)據(jù)區(qū)域中的情況的描述。
[0217]例如，在編碼方案是AVC的情況下,“depth_information_sei O ”作為“depth_informationSEI消息”被插入訪問單元的“SEI”的部分中。圖13(a)例示在GOP (畫面組)的頭部處的訪問單元，并且圖13(b)例示在除了 GOP頭部以外的位置處的訪問單元。在每個(gè)畫面的視差信息以GOP為單位插入的情況下,“depth_information SEI消息”僅被插入到在GOP的頭部處的訪問單元中。
[0218]圖14 (a)例不 “depth_information SEI 消息”的不例結(jié)構(gòu)(語法)?！皍uid_iso_iec_11578” 具有由 “IS0/IEC11578:1996AnnexA.” 指示的 UUID 值?！癱bpth_information_sei_data()” 被插入字段 “under_data_payload_byte” 中。圖 14(b)例不 “depth_information_sei_data () ” 的不例結(jié)構(gòu)(語法)。深度信息 SEI (depth_information_sei_data ())被插入到其中?！皍serdata_id”是由無符號的16位表示的“depth_information_sei () ”的標(biāo)識符。
[0219]圖15、圖16和圖17的每個(gè)例示在以畫面為單位插入每個(gè)畫面的視差信息的情況下的“depth_information_sei () ”的示例結(jié)構(gòu)(語法)。圖18例示在這些示例結(jié)構(gòu)中的主要信息的內(nèi)容(語義)。
[0220]圖15例示與上述的獲得方法(I)“獲得關(guān)于通過使用劃分信息劃分畫面顯示屏幕而獲得的每個(gè)劃分的區(qū)域的第一視差信息，并且獲得關(guān)于整個(gè)畫面顯示屏幕的第二視差信息”對應(yīng)的示例結(jié)構(gòu)(語法)。
[0221]3位字段“partitionjype”指示畫面顯示屏幕的劃分類型。“000”指示不劃分畫面顯示屏幕，“001”指示畫面顯示屏幕在水平方向和垂直方向的每個(gè)方向上被劃分為兩個(gè)相等的區(qū)域，并且“010”指示畫面顯示屏幕在水平方向和垂直方向的每個(gè)方向上被劃分為四個(gè)相等的區(qū)域。
[0222]4位字段“partition_count”指示劃分的區(qū)域(分區(qū))的總數(shù)量,這是依賴于上述的“partition_type”的值。例如,在“partition_type=000”的情況下,劃分的區(qū)域(分區(qū))的總數(shù)量是“I”，如圖19(a)中所示。而且,例如,在“partition_type=001”的情況下,劃分的區(qū)域(分區(qū))的總數(shù)量是“4”，如圖19(b)中所示。而且，例如，在“partition_type=010”的情況下，劃分的區(qū)域(分區(qū))的總數(shù)量是“16”，如圖19(c)中所示。
[0223]8位字段“max_disparity_in_picture”指示關(guān)于整個(gè)畫面顯示屏幕的第二視差信息，即，關(guān)于整個(gè)畫面的最大視差信息(視差值)。8位字段“min_diSparity_in_partition”指示關(guān)于每個(gè)劃分的區(qū)域(分區(qū))的第一視差信息，即關(guān)于每個(gè)劃分的區(qū)域的最小視差息(視差值)。
[0224]圖16例示對應(yīng)于上述的獲得方法(2)“獲得關(guān)于通過使用劃分信息劃分畫面顯示屏幕獲得的每個(gè)劃分的區(qū)域的第一視差信息和第二視差信息”的示例結(jié)構(gòu)(語法)。在圖16中，與圖15中的部分對應(yīng)的部分的描述被適當(dāng)?shù)厥÷浴?br> [0225]3位字段“partition_type”指示畫面顯示屏幕的劃分類型。4位字段“partition_(3011111:”指示劃分的區(qū)域(分區(qū))的總數(shù)量,這是依賴于上述的、31'1:；[1:；[011_17口6”的值。8位字段“max_disparity_in_partition”指示關(guān)于每個(gè)劃分的區(qū)域(分區(qū))的第二視差信息，即，關(guān)于每個(gè)劃分的區(qū)域的最大視差信息(視差值)。8位字段“min_disparity_in_partition”指示關(guān)于每個(gè)劃分的區(qū)域(分區(qū))的第一視差信息，即關(guān)于每個(gè)劃分的區(qū)域的最小視差信息(視差值)。
[0226]圖17例示對應(yīng)于上述的獲得方法(3)“獲得關(guān)于通過使用第一劃分信息劃分畫面顯示屏幕而獲得的每個(gè)劃分的區(qū)域的第一視差信息，并且獲得關(guān)于通過使用第二劃分信息劃分畫面顯示屏幕而獲得的關(guān)于每個(gè)劃分的區(qū)域的第二視差信息”的示例結(jié)構(gòu)(語法)。在圖17中，與圖15和圖16中的部分對應(yīng)的部分的描述被適當(dāng)?shù)厥÷浴?br> [0227]3位字段“partitionjype”指示與第一視差信息的獲得有關(guān)的畫面顯示屏幕的劃分類型。4位字段“min_partition_count”指示在其中獲得第一視差信息的劃分的區(qū)域(分區(qū))的總數(shù)量，這是依賴于上述的“partition_type”的值。8位字段“min_disparity_in_partition”指示關(guān)于每個(gè)劃分的區(qū)域(分區(qū))的第一視差信息，即，關(guān)于每個(gè)劃分的區(qū)域的最小視差息(視差值)。
[0228]4位字段“max_partition_count”指示在其中獲得第二視差信息的劃分的區(qū)域(分區(qū))的總數(shù)量。8位字段“max_disparity_in_partition”指示關(guān)于每個(gè)劃分的區(qū)域(分區(qū))的第二視差信息，即，關(guān)于每個(gè)劃分的區(qū)域的最大視差信息(視差值)。
[0229]圖20、圖21和圖22的每個(gè)例示在共同地編碼多個(gè)畫面的情況下、比如以GOP為單位插入每個(gè)畫面的視差信息的情況下的“depth_information_sei O ”的示例結(jié)構(gòu)(語法)。圖18例示這些示例結(jié)構(gòu)中的主要信息的內(nèi)容(語義)。
[0230]圖20例示對應(yīng)于上述的獲得方法(1)“獲得關(guān)于通過使用劃分信息劃分畫面顯示屏幕而獲得的每個(gè)劃分的區(qū)域的第一視差信息，并且獲得關(guān)于整個(gè)畫面顯示屏幕的第二視差信息”的示例結(jié)構(gòu)(語法)。在圖20中，與圖15中的部分對應(yīng)的部分的詳細(xì)描述被適當(dāng)?shù)厥÷浴?br> [0231]6 位字段“picture_count”指不畫面的數(shù)量。“depth_information_sei O ”包括第一視差信息和第二視差信息，它們的數(shù)量對應(yīng)于畫面的數(shù)量。4位字段“partiti0n_C0unt”指示劃分的區(qū)域(分區(qū))的總數(shù)量。8位字段“max_disparity_in_picture”指示關(guān)于整個(gè)畫面顯示屏幕的第二視差信息，即，關(guān)于整個(gè)畫面的最大視差信息(視差值)。8位字段“min_disparity_in_partition”指示關(guān)于每個(gè)劃分的區(qū)域(分區(qū))的第一視差信息，即關(guān)于每個(gè)劃分的區(qū)域的最小視差信息(視差值)。盡管省略了詳細(xì)描述，但是圖20所示的示例結(jié)構(gòu)的其他部分與圖15中所示的示例結(jié)構(gòu)相同。
[0232]圖21例示對應(yīng)于上述的獲得方法(2)“獲得關(guān)于通過使用劃分信息劃分畫面顯示屏幕獲得的每個(gè)劃分的區(qū)域的第一視差信息和第二視差信息”的示例結(jié)構(gòu)(語法)。在圖21中，與圖16和圖20中的部分對應(yīng)的部分的詳細(xì)描述被適當(dāng)?shù)厥÷浴?br> [0233]6 位字段“picture_count”指不畫面的數(shù)量。“depth_information_sei O ”包括第一視差信息和第二視差信息，它們的數(shù)量對應(yīng)于畫面的數(shù)量。4位字段“partiti0n_C0unt”指示劃分的區(qū)域(分區(qū))的總數(shù)量。8位字段“max_disparity_in_partition”指示關(guān)于每個(gè)劃分的區(qū)域(分區(qū))的第二視差信息，即，關(guān)于每個(gè)劃分的區(qū)域的最大視差信息(視差值)。8位字段“min_disparity_in_partition”指示關(guān)于每個(gè)劃分的區(qū)域(分區(qū))的第一視差信息，即關(guān)于每個(gè)劃分的區(qū)域的最小視差信息(視差值)。盡管省略了詳細(xì)描述，但是圖21中的示例結(jié)構(gòu)的其他部分與圖16中所示的示例結(jié)構(gòu)相同。
[0234]圖22例示對應(yīng)于上述的獲得方法(3)“獲得關(guān)于通過使用第一劃分信息劃分畫面顯示屏幕而獲得的每個(gè)劃分的區(qū)域的第一視差信息，并且獲得關(guān)于通過使用第二劃分信息劃分畫面顯示屏幕而獲得的每個(gè)劃分的區(qū)域的第二視差信息”的示例結(jié)構(gòu)(語法)。在圖22中，與圖17、圖20和圖21中的部分對應(yīng)的部分的描述被適當(dāng)?shù)厥÷浴?br> [0235]6 位字段“picture_count” 指不畫面的數(shù)量。“depth_information_sei O ”包括第一視差信息和第二視差信息，它們的數(shù)量對應(yīng)于畫面的數(shù)量。4位字段“min_partiti0n_count”指示在其中獲得第一視差信息的劃分的區(qū)域(分區(qū))的總數(shù)量，并且4位字段“max_partiti0n_C0unt”指示在其中獲得第二視差信息的劃分的區(qū)域(分區(qū))的總數(shù)量
[0236]8位字段“min_disparity_in_partition”指示關(guān)于每個(gè)劃分的區(qū)域(分區(qū))的第一視差信息，即關(guān)于每個(gè)劃分的區(qū)域的最小視差信息(視差值)。8位字段“maX_diSparity_in_partition”指示關(guān)于每個(gè)劃分的區(qū)域(分區(qū))的第二視差信息，即，關(guān)于每個(gè)劃分的區(qū)域的最大視差信息(視差值)。盡管省略了詳細(xì)描述，但是圖22所示的示例結(jié)構(gòu)的其他部分與圖17中所示的示例結(jié)構(gòu)相同。
[0237]以上已經(jīng)給出了編碼方案是AVC的情況的描述。例如，在編碼方案是MPEG-2視頻的情況下，“depth_information_sei () ”作為用戶數(shù)據(jù)“user_data () ”被插入畫面頭部部分的用戶數(shù)據(jù)區(qū)域中。圖23(a)例示“USer_dataO”的示例結(jié)構(gòu)(語法)。32位字段“USer_data_start_code”是用戶數(shù)據(jù)(user_data)的開始代碼，其是固定值“ 0x000001B2”。
[0238]在該開始代碼之后的32位字段是用于識別用戶數(shù)據(jù)的內(nèi)容的標(biāo)識符。在此，該標(biāo)識符是“depth_information_sei_data_identifier”,其使得用戶數(shù)據(jù)能夠被識別為“depth_information_sei_data”。作為在該標(biāo)識符之后的數(shù)據(jù)主體，插入“depth_information_sei_data() ”。圖 23(b)例不“depth_information_sei_data() ”的不例結(jié)構(gòu)(語法)?！癲epth_information_sei () ”被插入到其中(見圖15到圖17以及圖20到圖22)。
[0239]已經(jīng)給出了在編碼方案是AVC或者M(jìn)PEG-2視頻的情況下將視差信息插入視頻流中的例子的描述。盡管省略了詳細(xì)描述，但是可以還在具有諸如HEVC的類似結(jié)構(gòu)的另一編碼方案中使用類似的結(jié)構(gòu)將視差信息插入視頻流中。
[0240]“傳輸數(shù)據(jù)產(chǎn)生單元的另一示例配置”
[0241]關(guān)于上述的圖8中所示的傳輸數(shù)據(jù)產(chǎn)生單元110，已經(jīng)描述了將由視差數(shù)據(jù)產(chǎn)生單元115產(chǎn)生的每個(gè)畫面的視差信息(第一視差信息和第二視差信息)照原樣插入視頻流中的例子。但是，可以在已經(jīng)通過進(jìn)行壓縮編碼處理減少每個(gè)畫面的視差信息的數(shù)據(jù)量之后將每個(gè)畫面的視差信息插入視頻流中。
[0242]圖24例示在該情況下的傳輸數(shù)據(jù)產(chǎn)生單元IlOA的示例配置。在圖24中，與圖8中的部分對應(yīng)的部分由相同的參考數(shù)字表示，并且省略其詳細(xì)描述。傳輸數(shù)據(jù)產(chǎn)生單元IlOA包括壓縮編碼單元120。壓縮編碼單元120對由視差數(shù)據(jù)產(chǎn)生單元115產(chǎn)生的每個(gè)畫面的視差信息(第一視差信息和第二視差信息)進(jìn)行壓縮編碼處理，以便減少數(shù)據(jù)量。
[0243]壓縮編碼單元120例如使用可變長度碼進(jìn)行處理，作為壓縮編碼處理。視頻編碼器113將已經(jīng)經(jīng)歷了由壓縮編碼單元120進(jìn)行的壓縮編碼的每個(gè)畫面的視差信息(第一視差信息和第二視差信息)插入視頻流中。圖24所示的傳輸數(shù)據(jù)產(chǎn)生單元IlOA的其他部分與圖8中所示的傳輸數(shù)據(jù)產(chǎn)生單元110類似地配置，并且以類似的方式工作。
[0244]圖25例示壓縮編碼單元120的示意性配置的例子。壓縮編碼單元120包括緩沖器121、減法器122和可變長度編碼單元122。緩沖器121暫時(shí)存儲輸入到其的每個(gè)畫面的視差信息。減法器122獲得畫面之間的差別數(shù)據(jù)。可變長度編碼單元122進(jìn)行可變長度編碼。可變長度編碼單元120使用例如圖26中所示的“Exp-Golomb code se(v)”作為可變長度碼，但是也可以使用另一可變長度碼。
[0245]壓縮編碼單元120根據(jù)非預(yù)測型或者預(yù)測型進(jìn)行壓縮編碼處理。首先，將描述非預(yù)測型的壓縮編碼處理。在此情況下，編碼處理單元120對輸入到其的每個(gè)畫面的視差信息進(jìn)行可變長度編碼。因此，在非預(yù)測型的壓縮編碼處理中，在圖25所示的壓縮編碼單元120中，輸入到其的每個(gè)畫面的視差信息照原樣被提供給可變長度編碼單元123。
[0246]圖27例示其中不進(jìn)行預(yù)測的僅非預(yù)測型的情況。圖27(a)例示I畫面、P畫面和B畫面的視頻片段的顯示順序的例子。對于每個(gè)視頻片段，存在每個(gè)畫面的視差信息(在圖中由“SEI”表示)。圖27(b)例示每個(gè)畫面的解碼順序(編碼順序)。每個(gè)畫面的視差信息照原樣、即在內(nèi)部數(shù)據(jù)的狀態(tài)(在圖中由“內(nèi)部”表示)下經(jīng)歷可變長度編碼。
[0247]在非預(yù)測型的情況下，不進(jìn)行SEI預(yù)測，因此需要以訪問單元為單位進(jìn)行SEI緩沖。但是，因?yàn)椴贿M(jìn)行SEI預(yù)測，所以編碼效率比在進(jìn)行預(yù)測的情況下低。
[0248]接下來，將描述預(yù)測型的壓縮編碼處理。在此情況下，在編碼處理單元120中，在輸入到其的各個(gè)畫面的各條視差信息之中，獲得參考畫面和被參考的畫面之間的差別數(shù)據(jù)，并且對差別數(shù)據(jù)進(jìn)行可變長度編碼。因此，在預(yù)測型的壓縮編碼處理中，在圖25所示的壓縮編碼單元120中，參考畫面和被參考的畫面之間的差別數(shù)據(jù)由減法器122獲得，并且被提供給可變長度編碼單元123。
[0249]作為預(yù)測型，可以使用在顯示順序中預(yù)測地參考SEI的類型(預(yù)測類型O)。圖28例示預(yù)測類型0的情況。圖28(a)例示I畫面、P畫面和B畫面的視頻片段的顯示順序的例子。在該圖中，箭頭指示在進(jìn)行預(yù)測時(shí)的預(yù)測目標(biāo)。對于每個(gè)視頻片段，存在每個(gè)畫面的視差彳目息(在圖中由“SEI ”表不)。
[0250]圖28 (b)例示每個(gè)畫面的解碼順序(編碼順序)。關(guān)于每個(gè)畫面的視差信息，I畫面的視差信息照原樣、即在內(nèi)部數(shù)據(jù)的狀態(tài)(在圖中由“內(nèi)部”表示)下經(jīng)歷可變長度編碼。關(guān)于在I畫面之后的B畫面和P畫面的視差信息，在顯示順序上緊鄰在前面的畫面被當(dāng)作參考畫面，并且獲得差別數(shù)據(jù)(在圖中由“ A ”表示)，并且該差別數(shù)據(jù)經(jīng)歷可變長度編碼。在圖28(b)中，來自每個(gè)畫面的箭頭指示該畫面所參考的被參考畫面。
[0251]在預(yù)測類型0的情況下，在顯示順序中進(jìn)行SEI預(yù)測，因此，可以將差別數(shù)據(jù)的值抑制為小，并且可以最大化編碼效率。但是，SEI預(yù)測順序與視頻編碼順序不匹配，因此需要保持SEI被存儲在緩沖器中。另外，這不適合于諸如B跳躍的特殊再現(xiàn)。
[0252]而且，在解碼順序中預(yù)測地參考SEI的類型可以被用作預(yù)測類型。此外，作為此預(yù)測類型，可以使用結(jié)合視頻畫面類型進(jìn)行SEI預(yù)測的類型(預(yù)測類型I)。圖29例示預(yù)測類型I的情況。圖29(a)例示I畫面、P畫面和B畫面的視頻片段的顯示順序的例子。對于每個(gè)視頻片段，存在對于每個(gè)畫面的視差信息(在圖中由“SEI ”表示)。
[0253]圖29(b)例示各個(gè)畫面的解碼順序。I畫面的視差信息照原樣、即在內(nèi)部數(shù)據(jù)的狀態(tài)(在圖中由“內(nèi)部”表示)下經(jīng)歷可變長度編碼。關(guān)于在I畫面之后的B畫面和P畫面的視差信息，在解碼順序上具有視頻畫面類型的畫面被當(dāng)作被參考畫面，并且獲得差別數(shù)據(jù)(在圖中由“ A ”表示)，并且該差別數(shù)據(jù)經(jīng)歷可變長度編碼。在圖29(b)中，來自每個(gè)畫面的箭頭指示該畫面所參考的被參考畫面。
[0254]在預(yù)測類型I的情況下，SEI預(yù)測順序與視頻編碼順序匹配，包括視頻的畫面類型。這適合于實(shí)時(shí)(live)編碼，并且可適用于特殊再現(xiàn)，比如B跳躍。但是，對多個(gè)幀進(jìn)行SEI預(yù)測，因此編碼效率可能比上述的預(yù)測類型0的編碼效率更低。
[0255]而且，作為預(yù)測類型，可以使用在解碼順序中預(yù)測地參考SEI并且參考緊鄰在之前被解碼的SEI的類型(預(yù)測類型2)。圖30例示預(yù)測類型2的情況。圖30(a)例示I畫面、P畫面和B畫面的視頻片段的顯示順序的例子。對于每個(gè)視頻片段，存在對于每個(gè)畫面的視差彳目息(在圖中由“SEI ”表不)。
[0256]圖30(b)例示每個(gè)畫面的解碼順序(編碼順序)。I畫面的視差信息照原樣、即在內(nèi)部數(shù)據(jù)的狀態(tài)(在圖中由“內(nèi)部”表示)下經(jīng)歷可變長度編碼。關(guān)于在I畫面之后的B畫面和P畫面的視差信息，在解碼順序中緊鄰在前的畫面被當(dāng)作被參考畫面，并且獲得差別數(shù)據(jù)(在圖中由“ Λ ”表示)，并且該差別數(shù)據(jù)經(jīng)歷可變長度編碼。在圖30(b)中，來自每個(gè)畫面的箭頭指示該畫面所參考的被參考畫面。
[0257]在預(yù)測類型2的情況下，SEI預(yù)測順序與視頻編碼順序相匹配，但是SEI預(yù)測不依賴于視頻的畫面類型。這適合于實(shí)時(shí)編碼，但是對多個(gè)幀進(jìn)行SEI預(yù)測，因此編碼效率可能比上述的預(yù)測類型O的編碼效率更低。
[0258]而且，作為預(yù)測類型，可以使用在解碼順序中預(yù)測地參考SE1、利用視頻畫面類型進(jìn)行SEI預(yù)測并且僅傳送被參考畫面(例如I畫面和P畫面)的視差信息的類型(預(yù)測類型3)。圖31例示預(yù)測類型3的情況。圖31 (a)例示I畫面、P畫面和B畫面的視頻片段的顯示順序的例子。對于每個(gè)視頻片段，存在對于每個(gè)畫面的視差信息(在圖中由“SEI”表示)。
[0259]圖31(b)例示各個(gè)畫面的解碼順序。I畫面的視差信息照原樣、即在內(nèi)部數(shù)據(jù)的狀態(tài)(在圖中由“內(nèi)部”表示)下經(jīng)歷可變長度編碼。而且，關(guān)于在I畫面之后的P畫面和被參考的B畫面(未示出)的視差信息，在解碼順序中具有視頻畫面類型的畫面被當(dāng)作被參考畫面，并且獲得差別數(shù)據(jù)(在圖中由“ Λ ”表示)，并且該差別數(shù)據(jù)經(jīng)歷可變長度編碼。在圖31(b)中，來自每個(gè)畫面的箭頭指示該畫面所參考的被參考畫面。其中SEI信息未被編碼的畫面(B畫面)的SEI信息由解碼器使用通過在顯示順序中的前一個(gè)和隨后的被參考畫面編碼的兩條SEI信息來插值。
[0260]在預(yù)測類型3的情況下，SEI預(yù)測順序與視頻編碼順序匹配，包括視頻的畫面類型。這適合于實(shí)時(shí)編碼，并且可適用于特殊再現(xiàn)，比如B跳躍。僅諸如I畫面、P畫面和被參考的B畫面的被參考的畫面的視差信息被編碼并發(fā)送，因此編碼效率增加。但是，對多個(gè)幀進(jìn)行SEI預(yù)測，因此編碼效率比上述的預(yù)測類型O的編碼效率低。此外，未編碼的SEI信息被插值并且被分配給每個(gè)畫面，因此需要清楚地呈現(xiàn)與到被預(yù)測了視差信息的畫面的時(shí)間距離對應(yīng)的畫面的數(shù)量。
[0261 ] 在使用MPEG2-TS容器發(fā)送AVC視頻流(幀可兼容的或者M(jìn)VC)的情況下，AUD (訪問單元定界符)附于每個(gè)訪問單元的頭部。AUD的信息是“primary_pic_type”,并且在I或P的情況下由值“primary_pic_type=l”表示。這意味著對應(yīng)的訪問單元(通常是I個(gè)畫面)是被參考畫面。視頻的分組順序由“AUD”_ “SPS”_ “PPS”_ “SEI”- “Slice”構(gòu)成。因此，解碼器使用AUD的信息以便在解碼“Slice (片段)”之前正確地解碼關(guān)于SEI的內(nèi)容的信息。注意，在AVC的情況下，被參考畫面包括被參考的B畫面以及I畫面和P畫面，如上所述。
[0262]在上述的預(yù)測類型3的情況下，僅諸如I畫面、P畫面和被參考的B畫面的被參考的畫面的視差信息被編碼并發(fā)送。因此，在解碼器側(cè)(接收側(cè))，通過使用例如基于前一畫面和隨后的畫面的視差信息的插值，來獲得其視差信息未被傳輸?shù)漠嬅娴囊暡钚畔?。例如，在圖31 (b)中，基于由“SE10”和“SEI3”發(fā)送的視差信息獲得與BI和B2對應(yīng)的畫面的視差信息。在插值值是小數(shù)的情況下，與“子像素視差”兼容的解碼器(接收器)能夠更平滑地進(jìn)行圖形顯示位置的動態(tài)更新。
[0263]圖32、圖33和圖34的每個(gè)例示在以畫面為單位插入每個(gè)畫面的壓縮編碼的視差信息的情況下的“depth_information_sei O ”的示例結(jié)構(gòu)(語法)。圖18例示這些示例結(jié)構(gòu)中的主要信息的內(nèi)容(語義)。盡管省略了詳細(xì)描述，但是除了視差信息已經(jīng)經(jīng)歷了壓縮編碼之外，這些示例結(jié)構(gòu)與圖15、圖16和圖17中所示的上述示例結(jié)構(gòu)(語法)相同。
[0264]圖35、圖36和圖37的每個(gè)例示如在以GOP為單位插入每個(gè)畫面的壓縮編碼的視差信息的情況下那樣在共同地編碼多個(gè)畫面的情況下的“d印th_inf0rmati0n_sei () ”的示例結(jié)構(gòu)(語法)。圖18例示這些示例結(jié)構(gòu)中的主要信息的內(nèi)容(語義)。盡管省略了詳細(xì)描述，但是除了視差信息已經(jīng)經(jīng)歷了壓縮編碼之外，這些示例結(jié)構(gòu)與圖20、圖21和圖22中所示的上述示例結(jié)構(gòu)(語法)相同。
[0265]圖38例示在預(yù)測類型3的情況下可應(yīng)用的“depth_information_sei () ”的示例結(jié)構(gòu)(語法)。圖18例示示例結(jié)構(gòu)中的主要信息的內(nèi)容(語義)。字段“picture_count_for_skipping ”指示直到用來預(yù)測視差信息的前一被參考畫面的畫面數(shù)量。注意，可以在已經(jīng)使用例如圖39中所示的“Exp-Golomb code ue (v) ”對多個(gè)畫面進(jìn)行可變長度編碼之后插入此字段中的信息。
[0266]I位標(biāo)記信息、31~1:;[1:;[011_61^1316(1_?]^”指示屏幕是否被劃分。當(dāng)該標(biāo)記信息是“I”時(shí)，其指示畫面顯示屏幕被劃分。當(dāng)該標(biāo)記信息是“0”時(shí)，其指示屏幕未被劃分。該標(biāo)記信息使得接收側(cè)能夠容易地確定發(fā)送的視差信息是對應(yīng)于整個(gè)畫面顯示屏幕還是多個(gè)劃分的區(qū)域的每個(gè)。
[0267]注意，在圖15到圖17、圖20到圖22以及圖32到圖37中所示的上述各個(gè)示例結(jié)構(gòu)(語法)中，可以用I位標(biāo)記信息“partition_enabled_flag”替代3位字段“partition_type”。或者，可以將該 3 位字段“partition_type” 處理為與 “partition_enabled_flag”類似的標(biāo)記信息。在該情況下，當(dāng)3位中的任意一位是“I”時(shí)，其指示畫面顯示屏幕被劃分。當(dāng)所有3位都是“0”時(shí) ，其指示屏幕未被劃分。
[0268]返回參考圖38，I位標(biāo)記信息“Intra_disparity_flag”指示視差信息的值(視差)是否是非預(yù)測值(內(nèi)部數(shù)據(jù))。當(dāng)該標(biāo)記信息是“I”時(shí)，其指示視差信息的值是非預(yù)測值(內(nèi)部數(shù)據(jù))。當(dāng)該標(biāo)記信息是“0”時(shí)，其指示視差信息的值是預(yù)測值(差別數(shù)據(jù))。另外，同樣在圖32到圖37中所示的上述各個(gè)示例結(jié)構(gòu)(語法)中，可以進(jìn)一步添加I位標(biāo)記信息“Intra_disparity_flag”。在此情況下,接收側(cè)能夠容易地確定插入的視差信息是內(nèi)部數(shù)據(jù)還是差別數(shù)據(jù)。
[0269]4位字段“partiti0n_C0Unt”指示劃分的區(qū)域(分區(qū))的總數(shù)量。字段“max_disparity_in_partition”指示關(guān)于每個(gè)劃分的區(qū)域(分區(qū))的第二視差信息，即關(guān)于每個(gè)劃分的區(qū)域的最大視差信息(視差值)。字段“min_disparity_in_partition”指示關(guān)于每個(gè)劃分的區(qū)域(分區(qū))的第一視差信息，即關(guān)于每個(gè)劃分的區(qū)域的最小視差信息(視差值)。
[0270]圖38所示的“depth_information_sei () ”的示例結(jié)構(gòu)(語法)對應(yīng)于圖32所示的"depth_information_sei () ”的示例結(jié)構(gòu)(語法)。盡管省略了例示，但是可以類似地考慮與圖33到圖37中所示的“depth_information_sei () ”的示例結(jié)構(gòu)(語法)對應(yīng)的結(jié)構(gòu)。而且，代替圖38中所示的“depth_information_sei () ”的示例結(jié)構(gòu)(語法),可以使用圖40所示的“depth_information_sei () ”的示例結(jié)構(gòu)(語法)。在此情況下，將3位字段“partition—type”處理為與例如“partition_enabled_flag”類似的標(biāo)記信息。
[0271]“機(jī)頂盒的描述”
[0272]機(jī)頂盒200接收由廣播波從廣播站100發(fā)送的傳輸流TS。而且，機(jī)頂盒200解碼在該傳輸流TS中包括的視頻流，并產(chǎn)生形成立體圖像的左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)。而且，機(jī)頂盒200提取已經(jīng)被插入該視頻流中的圖像數(shù)據(jù)的每個(gè)畫面的視差信息(第一視差I(lǐng)h息和第二視差息)。
[0273]機(jī)頂盒200基于第一視差信息和第二視差信息檢查相對于最近的對象再現(xiàn)位置的視差角(交叉方向上的視差角)和相對于最遠(yuǎn)的對象再現(xiàn)位置的視差角(同側(cè)方向上的視差角)是否在在其中觀看不會引起任何健康問題的某個(gè)范圍內(nèi)。然后，如果該視差角不在該某個(gè)范圍內(nèi)，則機(jī)頂盒200重新配置左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)以便視差角在該某個(gè)范圍內(nèi)，并且校正第一視差信息和第二視差信息。
[0274]而且，在以疊加的方式在圖像上顯示圖形(STB圖形)的情況下，機(jī)頂盒200通過使用圖像數(shù)據(jù)、視差信息(第一視差信息)和圖形數(shù)據(jù)獲得圖形被疊加在其上的左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)的數(shù)據(jù)。在此情況下，機(jī)頂盒200以畫面為單位向要疊加在左眼圖像和右眼圖像上的圖形給出與圖形的顯示位置對應(yīng)的視差，由此獲得圖形被疊加在其上的左眼圖像的數(shù)據(jù)以及圖形被疊加在其上的右眼圖像的數(shù)據(jù)。
[0275]作為以上述方式向圖形給出視差的結(jié)果，以疊加的方式顯示在該立體圖像上的圖形(STB圖形)在顯示位置上可以在立體圖像中的對象的前方顯示。因而，在以疊加的方式在圖像上顯示0SD、應(yīng)用、節(jié)目信息的EPG等的圖形的情況下，可以維持圖像中的各個(gè)對象的遠(yuǎn)近一致性。
[0276]圖41例示使用視差信息控制圖形的深度的概念。在視差信息是負(fù)值的情況下，給出視差使得在屏幕上用于左眼顯示的圖形偏移到右側(cè)并且用于右眼顯示的圖形偏移到左偵U。在此情況下，圖形的顯示位置在屏幕的前方。另一方面，在視差信息是正值的情況下，給出視差使得在屏幕上用于左眼顯示的圖形偏移到左側(cè)并且用于右眼顯示的圖形偏移到右側(cè)。在此情況下，圖形的顯示位置在屏幕的后方。
[0277]如上所述，視頻流包括插入到其中的為圖像數(shù)據(jù)的每個(gè)畫面獲得的視差信息。因此，機(jī)頂盒200能夠通過使用與圖形的顯示定時(shí)同步的視差信息，基于視差信息準(zhǔn)確地控制圖形的深度。
[0278]而且，圖41例示在同側(cè)方向上的視差角(Θ O- Θ 2)和在交叉方向上的視差角(θ ο- Θ I)。在機(jī)頂盒200中，基于插入到視頻流中的每個(gè)畫面的第一視差信息和第二視差信息檢查這些視差角是否在在其中觀看不會引起任何健康問題的某個(gè)范圍內(nèi)。
[0279]圖42例示其中視頻流包括以畫面為單位插入到其中的視差信息的情況的例子。在機(jī)頂盒200中，在圖像數(shù)據(jù)的畫面定時(shí)時(shí)順序地獲得各條視差信息。為了顯示圖形，使用與圖形的顯示定時(shí)對應(yīng)的視差信息(第一視差信息)，并且向圖形給出適當(dāng)?shù)囊暡?。而且，圖43例示了例如其中視頻流包括以GOP為單位插入到其中的視差信息的情況的例子。在機(jī)頂盒200中，在圖像數(shù)據(jù)的每個(gè)GOP的頭部的定時(shí)，共同地獲得針對GOP中的各個(gè)畫面的各條視差信息(視差信息集)。為了顯示圖形(STB圖形)，使用與圖形的顯示定時(shí)對應(yīng)的視差信息(第一視差信息)，并且向圖形給出適當(dāng)?shù)囊暡睢?br> [0280]圖44(a)中的“側(cè)視圖”例示了圖像上的標(biāo)題(字幕)和OSD圖形的顯示例子。在此顯示例子中，標(biāo)題和圖形疊加在由背景、中間(middle-ground)對象和前景形成的圖像上。圖44(b)中的“頂視圖”例示了背景、中間對象、前景對象、標(biāo)題和圖形的遠(yuǎn)近。圖44(b)例示了標(biāo)題和圖形被感知為在與顯示位置對應(yīng)的對象的前方。注意，盡管未示出，但是在標(biāo)題和圖形的顯示位置重疊的情況下，例如，向圖形給出適當(dāng)?shù)囊暡钜员銏D形被感知為在標(biāo)題的前方。
[0281]“機(jī)頂盒的示例配置”
[0282]圖45例示機(jī)頂盒200的示例配置。機(jī)頂盒200包括容器緩沖器211、解復(fù)用器212、編碼的緩沖器213、視頻解碼器214、解碼的緩沖器215、縮放器216、L/R重新配置單元263和疊加單元217。機(jī)頂盒200還包括壓縮解碼單元261、視差信息緩沖器218、視差信息控制單元262、機(jī)頂盒(STB)圖形產(chǎn)生單元219、深度控制單元220和圖形緩沖器221。
[0283]而且，機(jī)頂盒200包括解碼的緩沖器231、字幕解碼器232、像素緩沖器233、字幕視差信息緩沖器234和字幕顯示控制單元235。此外，機(jī)頂盒200包括解碼的緩沖器241、音頻解碼器242、音頻緩沖器243、信道混合單元244和HDMI發(fā)送單元251。
[0284]容器緩沖器211暫時(shí)存儲由數(shù)字調(diào)諧器等(未示出)接收的傳輸流TS。傳輸流TS包括視頻流、字幕流和音頻流。視頻流包括通過對左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)編碼獲得的一個(gè)或兩個(gè)視頻流。
[0285]例如，并排格式或者上下格式的圖像數(shù)據(jù)可以由左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)形成，并且可以作為一個(gè)視頻流而發(fā)送。而且，例如，左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)可以作為不同的視頻流、例如MVC基礎(chǔ)視圖流和MVC非基礎(chǔ)視圖流而發(fā)送。
[0286]解復(fù)用器212從暫時(shí)存儲在容器緩沖器211中的傳輸流TS提取視頻、字幕和音頻的各個(gè)流。而且，解復(fù)用器212從傳輸流TS中提取指示視頻流是否包括插入到其中的視差信息的標(biāo)識信息(標(biāo)記信息“graphics_depth_info_not_existed_flag[0] ”)，并將該標(biāo)識信息發(fā)送到未示出的控制單元(CPU)。如果該標(biāo)識信息指示該視頻流包括視差信息，則視頻解碼器214在控制單元(CPU)的控制下從該視頻流獲得視差信息(第一視差信息和第二視差信息)，如下所述。
[0287]編碼的緩沖器213暫時(shí)存儲由解復(fù)用器212提取的視頻流。視頻解碼器214對存儲在編碼的緩沖器213中的視頻流進(jìn)行解碼處理，由此獲得左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)。而且，視頻解碼器214獲得被插入到該視頻流中的圖像數(shù)據(jù)的每個(gè)畫面的視差信息(第一視差信息和第二視差信息)。解碼的緩沖器215暫時(shí)存儲由該視頻解碼器214獲得的左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)。
[0288]壓縮解碼單元261接收由視頻解碼器214獲得的針對圖像數(shù)據(jù)的每個(gè)畫面的視差I(lǐng)h息(第一視差息和第二視差息)，并且如果接收的視差息是壓縮編碼的，則進(jìn)行解碼處理。如果接收的視差信息不是壓縮編碼的，則壓縮解碼單元261將接收的視差信息當(dāng)作要輸出的視差信息。
[0289]壓縮解碼單元261進(jìn)行與圖24中所示的傳輸數(shù)據(jù)產(chǎn)生單元IlOA中的壓縮編碼單元120進(jìn)行的處理相反的處理。圖46例示壓縮解碼單元261的示意性配置的例子。壓縮解碼單元261包括可變長度解碼單元264、緩沖器265和添加單元266?？勺冮L度解碼單元264對壓縮編碼的輸入視差信息進(jìn)行可變長度解碼。緩沖器265暫時(shí)存儲要輸出的解碼的視差信息。添加單元266向被參考畫面的視差信息添加參考畫面的差別數(shù)據(jù)，由此獲得對于參考畫面的要輸出的視差信息。
[0290]回去參考圖45，視差信息緩沖器218暫時(shí)存儲壓縮解碼的視差信息(第一視差信息和第二視差彳目息)。視差彳目息控制單兀262基于存儲在視差彳目息緩沖器218中的每個(gè)畫面的第一視差信息和第二視差信息檢查相對于最近對象再現(xiàn)位置的視差角(在交叉方向上的視差角)和相對于最遠(yuǎn)對象再現(xiàn)位置的視差角(在同側(cè)方向上的視差角)是否在觀看不會引起任何健康問題的某個(gè)范圍內(nèi)。
[0291]如果視差角不在該某個(gè)范圍內(nèi)，則視差信息控制單元262指示L/R重新配置單元263重新配置左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)以便視差角在該某個(gè)范圍內(nèi)。而且，視差信息控制單元262根據(jù)重新配置的左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)校正第一視差信息和/或第二視差信息，并輸出該第一視差信息和/或第二視差信息。注意，在視差角在該某個(gè)范圍內(nèi)的情況下，視差信息控制單元262不指示L/R重新配置單元263重新配置左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)，并且照原樣輸出第一視差信息和第二視差信息而不校正它們。
[0292]圖47的上部分例示在接收的數(shù)據(jù)(左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù))的近側(cè)和遠(yuǎn)側(cè)的視差角的時(shí)間上的轉(zhuǎn)變的例子。范圍“d”表示觀看不會引起任何健康問題的視差角的范圍。在此例子中，在遠(yuǎn)側(cè)存在視差角在范圍d以外的時(shí)段。
[0293]圖47的下部分例示在重新配置的數(shù)據(jù)(左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù))的近側(cè)和遠(yuǎn)側(cè)的視差角的時(shí)間上的轉(zhuǎn)變的例子。(a)是當(dāng)視差角在范圍d以外時(shí)進(jìn)行限制控制的情況的例子。(b)是減小整個(gè)深度量以便視差角在范圍d內(nèi)的情況的例子。
[0294]圖48例示視差信息控制單元262的示例配置。視差信息控制單元262包括最大值獲得單元271、最小值獲得單元272、視差角檢查單元272和視差信息校正單元274。最大值獲得單元271從接收的多條第二視差信息中選擇具有最大值的第二視差信息(最大視差)，并將其提供給視 差角檢查單元273。在第二視差信息是關(guān)于整個(gè)畫面屏幕的情況下，接收的第二視差信息的條數(shù)是1，并且在第二視差信息是關(guān)于多個(gè)劃分的區(qū)域的每個(gè)的情況下，接收的第二視差信息的條數(shù)是多條。最小值獲得單元272從接收的多條第一視差信息中選擇具有最小值的一條第一視差信息(最小視差)，并將其提供給視差角檢查單元273。在第一視差信息是關(guān)于整個(gè)畫面屏幕的情況下，接收的第一視差信息的條數(shù)是I，并且在第一視差信息是關(guān)于多個(gè)劃分的區(qū)域的每個(gè)的情況下，接收的視差信息的條數(shù)是多條。
[0295]視差角檢查單元273基于第一視差信息和第二視差信息檢查在近側(cè)的視差角和在遠(yuǎn)側(cè)的視差角是否在觀看不會引起任何健康問題的視差角的范圍d內(nèi)(見圖47)，并將檢查結(jié)果提供給視差信息校正單元274。如果視差角不在范圍d內(nèi)，則視差信息校正單元274指示L/R重新配置單元263重新配置接收的左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)以便視差角在范圍d內(nèi)。
[0296]此外,為視差彳目息校正單兀274提供接收的第一視差/[目息(最小視差)和第二視差信息(最大視差)。視差信息校正單元274響應(yīng)于上述的重新配置左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)的指令，對第一視差信息和第二視差信息進(jìn)行校正處理，并輸出校正的第一視差信息(校正的最小視差)和第二視差?目息(校正的最大視差)。注意，如果視差角在范圍d內(nèi)，視差信息校正單元274不指示L/R重新配置單元263重新配置左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)，并且照原樣輸出第一視差信息和第二視差信息而不校正它們。
[0297]回去參考圖45，縮放器216在需要時(shí)對從解碼的緩沖器215輸出的左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)進(jìn)行在水平方向或垂直方向上的縮放處理。例如，在左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)在一個(gè)視頻流中作為并排格式或者上下格式的圖像數(shù)據(jù)而發(fā)送的情況下，縮放器216在水平方向或垂直方向上2X放大該圖像數(shù)據(jù)并且輸出該圖像數(shù)據(jù)。而且，例如，在左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)作為不同的視頻流(比如MVC基礎(chǔ)視圖流和MVC非基礎(chǔ)視圖流)而發(fā)送的情況下，縮放器216不進(jìn)行縮放處理并且照原樣輸出左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)。
[0298]L/R重新配置單元263重新配置左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)。S卩，在同側(cè)方向上的視差角和交叉方向上的視差角的任意一個(gè)不在在其中觀看不會引起任何健康問題的所述某個(gè)范圍內(nèi)的情況下，L/R重新配置單元263響應(yīng)于來自上述的視差信息控制單元262的重新配置指令，重新配置過左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)，使得視差角在所述某個(gè)范圍內(nèi)。
[0299]編碼的緩沖器231臨時(shí)存儲由解復(fù)用器214提取的字幕流。字幕解碼器232進(jìn)行與上述的傳輸數(shù)據(jù)產(chǎn)生單元110 (見圖8)的字幕編碼器117進(jìn)行的處理相反的處理。SP，字幕解碼器232對存儲在編碼的緩沖器231中的字幕流進(jìn)行解碼處理，由此獲得字幕數(shù)據(jù)。
[0300]字幕數(shù)據(jù)包括字幕(標(biāo)題)的位圖數(shù)據(jù)、關(guān)于字幕的顯示位置信息“字幕呈現(xiàn)位置(x2, y2)”以及關(guān)于字幕(標(biāo)題)的視差信息“字幕視差”。像素緩沖器233暫時(shí)存儲由字幕解碼器232獲得的字幕(標(biāo)題)的位圖數(shù)據(jù)以及關(guān)于字幕(標(biāo)題)的顯示位置信息“字幕呈現(xiàn)位置(x2，fir。字幕視差信息緩沖器234暫時(shí)存儲由字幕解碼器232獲得的關(guān)于字幕(標(biāo)題)的視差信息“字幕視差”。
[0301]字幕顯示控制單元235基于字幕(標(biāo)題)的位圖數(shù)據(jù)和關(guān)于字幕(標(biāo)題)的顯示位置信息和視差信息，產(chǎn)生向其給出視差的用于左眼顯示和右眼顯示的字幕的位圖數(shù)據(jù)“字幕數(shù)據(jù)”。機(jī)頂盒(STB)圖形產(chǎn)生單元219產(chǎn)生0SD、應(yīng)用、EPG等的圖形數(shù)據(jù)。該圖形數(shù)據(jù)包括圖形位圖數(shù)據(jù)“圖形數(shù)據(jù)”和關(guān)于圖形的顯示位置信息“圖形呈現(xiàn)位置(xl，yl)”。
[0302]圖形緩沖器221暫時(shí)存儲由機(jī)頂盒圖形產(chǎn)生單元219產(chǎn)生的圖形位圖數(shù)據(jù)“圖形數(shù)據(jù)”。疊加單元217分別在左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)上疊加由字幕顯示控制單元235產(chǎn)生的用于左眼顯示和右眼顯示的字幕的位圖數(shù)據(jù)“字幕數(shù)據(jù)”。
[0303]而且，疊加單元217分別在左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)上疊加存儲在圖形緩沖器221中的圖形位圖數(shù)據(jù)“圖形數(shù)據(jù)”。此時(shí)，由深度控制單元220 (以下描述)向分別在左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)上疊加的圖形位圖數(shù)據(jù)“圖形數(shù)據(jù)”給出視差。在此，在圖形位圖數(shù)據(jù)“圖形數(shù)據(jù)”與字幕的位圖數(shù)據(jù)“字幕數(shù)據(jù)”共享相同的像素的情況下，疊加單元217在字幕數(shù)據(jù)上覆寫(overwrite)該圖形數(shù)據(jù)。
[0304]深度控制單元220向分別在左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)上疊加的圖形位圖數(shù)據(jù)“圖形數(shù)據(jù)”給出視差。因此，深度控制單元220針對圖像數(shù)據(jù)的每個(gè)畫面產(chǎn)生用于左眼顯示和右眼顯示的關(guān)于圖形的顯示位置信息“呈現(xiàn)位置”，并且進(jìn)行對存儲在圖形緩沖器221中的圖形位圖數(shù)據(jù)“圖形數(shù)據(jù)”在左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)上的疊加位置的偏移控制。
[0305]如圖49所示，深度控制單元220通過使用以下信息產(chǎn)生顯示位置信息“呈現(xiàn)位置”。即，深度控制單元220使用從視差信息控制單元262輸出的針對每個(gè)畫面的第一視差信息(最小視差)。而且，深度控制單元220使用存儲在像素緩沖器233中的關(guān)于字幕(標(biāo)題)的顯示位置信息“字幕呈現(xiàn)位置(x2，YlT。
[0306]而且，深度控制單元220使用存儲在字幕視差信息緩沖器234中的關(guān)于字幕(標(biāo)題)的視差信息“字幕視差”。而且，深度控制單元220使用由機(jī)頂盒圖形產(chǎn)生單元219產(chǎn)生的關(guān)于圖形的顯示位置信息“圖形呈現(xiàn)位置(xl，yl)”。而且，深度控制單元220使用指示視頻流是否包括插入到其中的視差信息的標(biāo)識信息。[0307]而且，深度控制單元220根據(jù)字幕或圖形在圖像上的疊加，更新從視差信息控制單元262輸出的針對每個(gè)畫面的第一視差信息(最小視差)。在此情況下，深度控制單元220將關(guān)于與字幕(標(biāo)題)的顯示位置和圖形的顯示位置對應(yīng)的劃分的區(qū)域的視差信息(視差)的值更新為例如用于向字幕(標(biāo)題)或圖形給出視差的視差信息(視差)的值。
[0308]圖50和圖51中的流程圖例示由深度控制單元220進(jìn)行的控制處理的過程的例子。深度控制單元220對于在其上進(jìn)行圖形顯示的每個(gè)畫面(幀)進(jìn)行控制處理。深度控制單元220在步驟STl開始控制處理。隨后，在步驟ST2，深度控制單元220基于標(biāo)識信息確定視頻流是否包括被插入其中的圖形的視差信息。
[0309]如果該視頻流包括被插入其中的視差信息，則深度控制單元220前進(jìn)到步驟ST3中的處理。在步驟ST3中，深度控制單元220檢查包括有以疊加的方式顯示圖形的坐標(biāo)的所有劃分的區(qū)域(分區(qū))。然后，在步驟ST4，深度控制單元220比較關(guān)于目標(biāo)劃分的區(qū)域(分區(qū))的視差信息(視差)，選擇諸如最小值的最佳值，并將所選值當(dāng)作圖形視差信息(視差)的值(graphics_disparity)0
[0310]隨后，深度控制單元220前進(jìn)到步驟ST5中的處理。如果在之前的步驟ST2中視頻流不包括插入到其中的視差信息，則深度控制單元220立即前進(jìn)到步驟ST5中的處理。在步驟ST5中，深度控制單元220確定是否存在包括視差信息(視差)的字幕流。
[0311]如果存在包括視差信息(視差)的字幕流，則深度控制單元220在步驟ST6中比較針對字幕的視差信息(視差)的值(subtitle_disparity)與針對圖形的視差信息的值(graph i c s_d i spar i ty )。注意,如果視頻流不包括插入到其中的針對圖形的視差信息(視差)，則圖形的視差信息的值(graphics_disparity)將被設(shè)置為例如“O”。
[0312]隨后,在步驟ST7中，深度控制單元220確定是否滿足條件“subtitle_disparity>(graphics_disparity)”。如果滿足此條件,則在步驟ST8中，深度控制單元220基于存儲在圖形緩沖器221中的圖形位圖數(shù)據(jù)“圖形數(shù)據(jù)”獲得在其中已經(jīng)通過使用等于圖形的視差信息(視差)的值(graphiCS_diSparity)的值偏移了顯示位置的、用于左眼顯示和右眼顯示的圖形位圖數(shù)據(jù)，并且將這些圖形位圖數(shù)據(jù)分別疊加在左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)上。
[0313]隨后，在步驟ST9，深度控制單元220更新關(guān)于與已經(jīng)疊加了字幕或圖形的屏幕位置對應(yīng)的劃分的區(qū)域(分區(qū))的視差信息(視差)的值。在步驟ST9中的處理之后，深度控制單元220在步驟STlO中結(jié)束控制處理。
[0314]另一方面，如果在步驟ST7中不滿足該條件，則在步驟STlO中，深度控制單元220基于存儲在圖形緩沖器221中的圖形位圖數(shù)據(jù)“圖形數(shù)據(jù)”獲得其中已經(jīng)通過使用小于圖形的視差信息(視差)的值偏移了顯示位置的用于左眼顯示和右眼顯示的圖形位圖數(shù)據(jù)，并且將這些圖形位圖數(shù)據(jù)分別疊加在左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)上。在步驟STll中的處理之后，深度控制單元220進(jìn)行步驟ST9中的處理，并且在步驟STlO結(jié)束控制處理。
[0315]此外，如果在步驟ST5中不存在包括視差信息(視差)的字幕流，則深度控制單元220前進(jìn)到步驟ST12中的處理。在步驟ST12中，深度控制單元220通過使用在步驟ST4中獲得的針對圖形的視差信息的值(graphics_disparity)或者由機(jī)頂盒200計(jì)算的視差信息(視差)的值控制圖形的深度。
[0316]S卩，深度控制單元220基于存儲在圖形緩沖器221中的圖形位圖數(shù)據(jù)“圖形數(shù)據(jù)”，獲得其中已經(jīng)通過使用圖形的視差信息的值(graphics_disparity)或者計(jì)算的視差信息(視差)的值偏移了顯示位置的針對左眼顯示和右眼顯示的圖形位圖數(shù)據(jù)，并且將這些圖形位圖數(shù)據(jù)分別疊加在左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)上。在步驟ST12中的處理之后，深度控制單元220進(jìn)行步驟ST9中的處理，并且在步驟STlO中結(jié)束控制處理。
[0317]圖52例示在機(jī)頂盒200中控制圖形的深度的例子。在此例子中，關(guān)于圖形(STB圖形)，基于關(guān)于右側(cè)的八個(gè)劃分的區(qū)域(分區(qū)2、3、6、7、10、11、14和15)的視差信息之中具有最小值的視差信息，向用于左眼顯示的圖形和用于右眼顯示的圖形給出視差。因此，在這八個(gè)劃分的區(qū)域中在圖像(視頻)對象的前方顯示圖形。
[0318]圖53還例示了在機(jī)頂盒200中控制圖形的深度的例子。在此例子中，關(guān)于圖形(STB圖形)，基于關(guān)于右側(cè)的八個(gè)劃分的區(qū)域(分區(qū)2、3、6、7、10、11、14和15 )的視差信息之中具有最小值的視差信息以及還基于關(guān)于字幕(標(biāo)題)的視差信息，向用于左眼顯示的圖形和用于右眼顯示的圖形給出視差。
[0319]因此，在這八個(gè)劃分的區(qū)域中，圖形顯示在圖像(視頻)對象以及還有字幕(標(biāo)題)的前方。注意，在此情況下，基于關(guān)于字幕(標(biāo)題)的視差信息，在與字幕的顯示位置對應(yīng)的四個(gè)劃分的區(qū)域(分區(qū)8、9、10和11)中，字幕(標(biāo)題)還顯示在圖像(視頻)對象的前方。
[0320]注意，在圖53中的控制深度的例子的情況下，例如，按以下方式進(jìn)行更新視差信息的處理。即，首先，通過用于向字幕給出視差的視差信息值(subtitle_disparity)更新關(guān)于與字幕的顯示位置對應(yīng)的四個(gè)劃分的區(qū)域(分區(qū)8、9、10和11)的視差信息(視差)的值。隨后，通過用于向圖形給出視差的視差信息值(graphics_disparity)更新關(guān)于八個(gè)劃分的區(qū)域(分區(qū)2、3、6、7、10、11、14和15)的視差信息(視差)的值。
[0321]回去參考圖45，編碼的緩沖器241暫時(shí)存儲由解復(fù)用器212提取的音頻流。音頻解碼器242進(jìn)行與上述的傳輸數(shù)據(jù)產(chǎn)生單元110 (見圖8)的音頻編碼器119進(jìn)行的處理相反的處理。即，音頻解碼器242對存儲在編碼的緩沖器241中的音頻流進(jìn)行解碼處理，由此獲得解碼的音頻數(shù)據(jù)。音頻緩沖器243暫時(shí)存儲由音頻解碼器242獲得的音頻數(shù)據(jù)。信道混合單元244從存儲在音頻緩沖器243中的音頻數(shù)據(jù)產(chǎn)生用于實(shí)現(xiàn)例如5.1信道環(huán)繞等的每個(gè)信道的音頻數(shù)據(jù)，并輸出產(chǎn)生的音頻數(shù)據(jù)。
[0322]注意，基于PTS進(jìn)行從解碼的緩沖器215、視差信息緩沖器218、像素緩沖器233、字幕視差信息緩沖器234和音頻緩沖器243讀出信息(數(shù)據(jù))，并且實(shí)現(xiàn)傳送同步。
[0323]HDMI發(fā)送單元251通過進(jìn)行與HDMI兼容的通信，向HDMI的收信裝置(在此實(shí)施例中向電視接收機(jī)300)發(fā)送通過由疊加單元217進(jìn)行的疊加字幕和圖形的處理獲得的左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)以及由信道混合單元244獲得的每個(gè)信道的音頻數(shù)據(jù)。在此，由疊加單元217獲得的左眼圖像數(shù)據(jù)是在其上疊加了用于左眼顯示的字幕(標(biāo)題)和STB圖形的左眼圖像數(shù)據(jù)。而且，由疊加單元217獲得的右眼圖像數(shù)據(jù)是在其上疊加了用于右眼顯示的字幕(標(biāo)題)和STB圖形的右眼圖像數(shù)據(jù)。
[0324]而且，HDMI發(fā)送單元251通過使用HDMI接口向電視接收機(jī)300發(fā)送已經(jīng)由深度控制單元220更新的每個(gè)畫面的第一視差信息(最小視差)以及從視差信息控制單元262輸出的每個(gè)畫面的第二視差信息(最大視差)。在此實(shí)施例中，第一視差信息和第二視差信息在被插入到圖像數(shù)據(jù)的消隱時(shí)段中之后被傳輸。以下將描述HDMI發(fā)送單元251的細(xì)節(jié)。
[0325]將簡要描述圖45中所示的機(jī)頂盒200的操作。數(shù)字調(diào)諧器等接收的傳輸流TS暫時(shí)存儲在容器緩沖器211中。傳輸流TS包括視頻流、字幕流和音頻流。視頻流包括通過對左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)編碼獲得的一個(gè)或兩個(gè)視頻流。
[0326]在解復(fù)用器212中，從暫時(shí)存儲在容器緩沖器211中的傳輸流TS提取視頻、字幕和音頻的各個(gè)流。而且，在解復(fù)用器212中，從該傳輸流TS提取指示視頻流是否包括插入到其中的視差信息的標(biāo)識信息(標(biāo)記信息“graphics_depth_info_not_existed_flag[0] ”)，并且該標(biāo)識信息被發(fā)送到未示出的控制單元(CPU )。
[0327]由解復(fù)用器212提取的視頻流被提供給編碼的緩沖器213，并且暫時(shí)存儲在其中。然后，在視頻解碼器214中，對存儲在編碼的緩沖器213中的視頻流進(jìn)行解碼處理，以便獲得左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)。該左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)暫時(shí)存儲在解碼的緩沖器215中。
[0328]而且，在視頻解碼器214中，獲得已經(jīng)被插入到視頻流中的針對圖像數(shù)據(jù)的每個(gè)畫面的視差信息(第一視差信息和第二視差信息)。該視差信息在壓縮解碼單元261中適當(dāng)?shù)亟?jīng)歷壓縮解碼，并且暫時(shí)存儲在視差信息緩沖器218中。在視差信息控制單元262中，基于存儲在視差信息緩沖器218中的針對每個(gè)畫面的第一視差信息和第二視差信息，檢查相對于最近對象再現(xiàn)位置的視差角(在交叉方向上的視差角)和相對于最遠(yuǎn)對象再現(xiàn)位置的視差角(在同側(cè)方向上的視差角)是否在在其中觀看不會引起任何健康問題的范圍d (見圖47)內(nèi)。
[0329]然后，如果視差角不在該某個(gè)范圍內(nèi)，則視差信息控制單元262指示L/R重新配置單元263重新配置左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)，以便視差角在該范圍d內(nèi)。此外，在該情況下，視差信息控制單元262根據(jù)重新配置的左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)校正第一視差
息和/或第二視差息，并輸出校正的第一視差息和/或第二視差息。注意，在視差角在該某個(gè)范圍d內(nèi)的情況下，視差信息控制單元262不指示L/R重新配置單元263重新配置左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)，并且輸出該第一視差信息和第二視差信息而不校正它們。
[0330]在縮放器216中，在需要時(shí)，對從解碼的緩沖器215輸出的左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)進(jìn)行水平方向或垂直方向上的縮放處理。例如從縮放器216獲得1920*1080的全HD尺寸的左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)。該左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)經(jīng)由L/R重新配置單元263被提供到疊加單元217。
[0331 ] 在需要時(shí)，L/R重新配置單元263重新配置左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)。即，在同側(cè)方向和交叉方向上的視差角的任意一個(gè)不在在其中觀看不會引起任何健康問題的范圍d內(nèi)時(shí)(見圖47)，L/R重新配置單元263基于來自視差信息控制單元262的重新配置指令重新配置左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)，以便視差角在該某個(gè)范圍內(nèi)。
[0332]此外，由解復(fù)用器212提取的字幕流被提供給編碼的緩沖器231并且暫時(shí)存儲在其中。在字幕解碼器232中，對存儲在編碼的緩沖器231中的字幕流進(jìn)行解碼處理以便獲得字幕數(shù)據(jù)。該字幕數(shù)據(jù)包括字幕(標(biāo)題)的位圖數(shù)據(jù)、關(guān)于字幕的顯示位置信息“字幕呈現(xiàn)位置(x2，y2)”以及關(guān)于字幕(標(biāo)題)的視差信息“字幕視差”。
[0333]由字幕解碼器232獲得的字幕(標(biāo)題)的位圖數(shù)據(jù)和關(guān)于字幕(標(biāo)題)的顯示位置信息“字幕呈現(xiàn)位置(x2，y2)”暫時(shí)存儲在像素緩沖器233中。而且，由字幕解碼器232獲得的關(guān)于字幕(標(biāo)題)的視差信息“字幕視差”暫時(shí)存儲在字幕視差信息緩沖器234中。
[0334]在字幕顯示控制單元235中，基于字幕(標(biāo)題)的位圖數(shù)據(jù)和關(guān)于字幕(標(biāo)題)的顯示位置信息和視差信息產(chǎn)生已經(jīng)向其給出視差的用于左眼顯示和右眼顯示的字幕的位圖數(shù)據(jù)“字幕數(shù)據(jù)”。以此方式產(chǎn)生的用于左眼顯示和右眼顯示的字幕的位圖數(shù)據(jù)“字幕數(shù)據(jù)”被提供給疊加單元217，并且分別被疊加在左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)上。
[0335]在機(jī)頂盒(STB )圖形產(chǎn)生單元219中，產(chǎn)生OSD、應(yīng)用、EPG等圖形數(shù)據(jù)。該圖形數(shù)據(jù)包括圖形的位圖數(shù)據(jù)“圖形數(shù)據(jù)”以及關(guān)于圖形的顯示位置信息“圖形呈現(xiàn)位置(xl，yl)”。圖形緩沖器221暫時(shí)存儲由機(jī)頂盒(STB)圖形產(chǎn)生單元219產(chǎn)生的圖形數(shù)據(jù)。
[0336]在疊加單元217中，存儲在圖形緩沖器221中的圖形位圖數(shù)據(jù)“圖形數(shù)據(jù)”被疊加在左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)上。此時(shí)，由深度控制單元220基于從視差信息控制單元262輸出的關(guān)于圖像數(shù)據(jù)的每個(gè)畫面的各個(gè)劃分的區(qū)域的多條第一視差信息之中與圖形的顯示位置對應(yīng)的視差信息，向分別疊加在左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)上的圖形位圖數(shù)據(jù)“圖形數(shù)據(jù)”給出視差。在此情況下，如果圖形位圖數(shù)據(jù)“圖形數(shù)據(jù)”與字幕的位圖數(shù)據(jù)“字幕數(shù)據(jù)”共享相同的像素，則疊加單元217在字幕數(shù)據(jù)上覆寫圖形數(shù)據(jù)。
[0337]從疊加單元217獲得在其上疊加了用于左眼顯示的字幕(標(biāo)題)和STB圖形的左眼圖像數(shù)據(jù)以及在其上疊加了用于右眼顯示的字幕(標(biāo)題)和STB圖形的右眼圖像數(shù)據(jù)。該左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)被提供給HDMI發(fā)送單元251。
[0338]此外，由解復(fù)用器212提取的音頻流被提供給編碼的緩沖器241并且暫時(shí)存儲在其中。在音頻解碼器242中，對存儲在編碼的緩沖器241中的音頻流進(jìn)行解碼處理，以便獲得解碼的音頻數(shù)據(jù)。該音頻數(shù)據(jù)經(jīng)由音頻緩沖器243被提供給信道混合單元244。在信道混合單元244中，從該音頻數(shù)據(jù)產(chǎn)生用于實(shí)現(xiàn)例如5.1信道環(huán)繞等的每個(gè)信道的音頻數(shù)據(jù)。該音頻數(shù)據(jù)被提供給HDMI發(fā)送單元251。
[0339]此外，在深度控制單元220中，根據(jù)標(biāo)題或圖形在圖像上的疊加而更新從視差信息控制單元262輸出的關(guān)于圖像數(shù)據(jù)的每個(gè)畫面的劃分的區(qū)域的第一視差信息。在此情況下，關(guān)于與字幕(標(biāo)題)的顯示位置和圖形的顯示位置對應(yīng)的劃分的區(qū)域的視差信息(視差)的值被更新為例如用于向字幕(標(biāo)題)或圖形給出視差的視差信息(視差)的值。更新的視差信息被提供給HDMI發(fā)送單元251。而且，從視差信息控制單元262輸出的對于圖像數(shù)據(jù)的每個(gè)畫面的第二視差信息被提供給HDMI發(fā)送單元251。
[0340]HDMI發(fā)送單元251通過進(jìn)行與HDMI兼容的通信向電視接收機(jī)300發(fā)送左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)、音頻數(shù)據(jù)以及還有針對圖像數(shù)據(jù)的每個(gè)畫面的視差信息(第一視差信息和第二視差信息)。在此，該視差信息在被插入到位于圖像數(shù)據(jù)的消隱時(shí)段中的信息分組中(在此實(shí)施例中被插入到HDMI供應(yīng)商特定InfoFrame中)之后被發(fā)送。
[0341][電視接收機(jī)的描述]
[0342]回去參考圖1，電視接收機(jī)300經(jīng)由HDMI電纜400接收從機(jī)頂盒發(fā)送的左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)、音頻數(shù)據(jù)以及還有針對圖像數(shù)據(jù)的每個(gè)畫面的視差信息(第一視差I(lǐng)h息和第二視差息)。
[0343]在以疊加的方式在圖像上顯示圖形(TV圖形)的情況下，例如，電視接收機(jī)300通過使用圖像數(shù)據(jù)、第一視差信息和圖形數(shù)據(jù)獲得在其上疊加了圖形的左眼圖像和右眼圖像的數(shù)據(jù)。在此情況下，電視接收機(jī)300向要被疊加在左眼圖像和右眼圖像上的圖形給出與每個(gè)畫面的圖形的顯示位置對應(yīng)的視差，由此獲得在其上疊加了圖形的左眼圖像的數(shù)據(jù)和在其上疊加了圖形的右眼圖像的數(shù)據(jù)。[0344]作為以上述方式向圖形給出視差的結(jié)果，以疊加的方式在立體圖像上顯示的圖形(TV圖形)在顯示位置上可以在立體圖像中的對象的前方顯示。因而，在以疊加的方式在圖像上顯示0SD、應(yīng)用、節(jié)目信息的EPG等圖形的情況下，可以維持圖像中的各個(gè)對象的遠(yuǎn)近
一致性。
[0345]而且，電視接收機(jī)300能夠基于第一視差信息和第二視差信息檢查相對于最近對象再現(xiàn)位置的視差角(在交叉方向上的視差角)和相對于最遠(yuǎn)對象再現(xiàn)位置的視差角(在同側(cè)方向上的視差角)是否在在其中觀看不會引起任何健康問題的范圍d (見圖47)內(nèi)。如果視差角不在該范圍內(nèi)，則電視接收機(jī)300能夠重新配置左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)。
[0346][電視接收機(jī)的示例配置]
[0347]圖54例示電視接收機(jī)300的HDMI輸入系統(tǒng)的示例配置。注意，省略了對于視差角的檢查系統(tǒng)的例示。電視接收機(jī)300包括HDMI接收單元311、縮放器312、疊加單元313、深度控制單元314、圖形緩沖器315、電視(TV)圖形產(chǎn)生單元316和音頻處理單元317。
[0348]HDMI接收單元311通過進(jìn)行與HDMI兼容的通信從HDMI的信源裝置(在此實(shí)施例中從機(jī)頂盒200接收形成立體圖像的左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)以及音頻數(shù)據(jù)。而且，HDMI接收單元311使用HDMI接口從機(jī)頂盒200接收針對圖像數(shù)據(jù)的每個(gè)畫面的視差信息(第一視差信息和第二視差信息)。以下將描述HDMI接收單元311的細(xì)節(jié)。
[0349]在需要時(shí)，縮放器312對HDMI接收單元311接收的左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)進(jìn)行縮放處理。例如，縮放器312使得左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)的尺寸與顯示尺寸相匹配。電視(TV)圖形產(chǎn)生單元316產(chǎn)生0SD、應(yīng)用、EPG等圖形數(shù)據(jù)。該圖形數(shù)據(jù)包括圖形位圖數(shù)據(jù)“圖形數(shù)據(jù)”以及關(guān)于圖形的顯示位置信息“圖形呈現(xiàn)位置(xl，yl)”。
[0350]圖形緩沖器315暫時(shí)存儲由電視圖形產(chǎn)生單元316產(chǎn)生的圖形位圖數(shù)據(jù)“圖形數(shù)據(jù)”。疊加單元313將存儲在圖形緩沖器315中的圖形位圖數(shù)據(jù)“圖形數(shù)據(jù)”分別疊加在左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)上。此時(shí)，由以下所述的深度控制單元314向分別疊加在左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)上的圖形位圖數(shù)據(jù)“圖形數(shù)據(jù)”給出視差。
[0351]深度控制單元314向分別疊加在左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)上的圖形位圖數(shù)據(jù)“圖形數(shù)據(jù)”給出視差。為此目的，深度控制單元314對于圖像數(shù)據(jù)的每個(gè)畫面產(chǎn)生用于左眼顯示和右眼顯示的關(guān)于圖形的顯示位置信息“呈現(xiàn)位置”，并且進(jìn)行存儲在圖形緩沖器315中的圖形位圖數(shù)據(jù)“圖形數(shù)據(jù)”在左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)上的疊加位置的偏移控制。
[0352]如圖55中所示，深度控制單元314使用以下信息產(chǎn)生顯示位置信息“呈現(xiàn)位置”。即，深度控制單元314使用由HDMI接收單元311接收的關(guān)于圖像數(shù)據(jù)的每個(gè)畫面的劃分的區(qū)域(分區(qū))的第一視差信息(最小視差)。而且，深度控制單元314使用由電視圖形產(chǎn)生單元316產(chǎn)生的關(guān)于圖形的顯示位置信息“圖形呈現(xiàn)位置(xl，yl)”。而且，深度控制單元314使用指示視差信息是否已經(jīng)被HDMI接收單元311接收的接收信息。
[0353]圖56中的流程圖例示深度控制單元314進(jìn)行的控制處理的過程的例子。深度控制單元314對于在其上進(jìn)行圖形顯示的每個(gè)畫面(幀)執(zhí)行控制處理。深度控制單元314在步驟ST21中開始控制處理。隨后，在步驟ST22中，深度控制單元314基于接收信息確定圖形的視差信息是否已經(jīng)被HDMI接收單元311接收。注意，如果以下所述的HDMI供應(yīng)商特定InfoFrame的分組的標(biāo)識信息“PRTY”指示存在作為要被參考的信息的視差信息，則HDMI接收單元311從該分組中提取該視差信息以便被使用。在此情況下，該接收信息表示“已接收”。
[0354]如果已經(jīng)接收了視差信息(視差)，則深度控制單元314前進(jìn)到步驟ST23中的處理。在步驟ST23中，深度控制單元314檢查包括要在其處以疊加的方式顯示圖形的坐標(biāo)的所有劃分的區(qū)域(分區(qū))。然后，在步驟ST24中，深度控制單元314比較關(guān)于目標(biāo)劃分的區(qū)域(分區(qū))的多條第一視差信息(最小視差)，選擇諸如最小值的最佳值，并將所選值當(dāng)作圖形視差信息(視差)的值(graphics_disparity)。
[0355]隨后，在步驟ST25中，深度控制單元314基于存儲在圖形緩沖器315中的圖形位圖數(shù)據(jù)“圖形數(shù)據(jù)”獲得在其中已經(jīng)通過使用等于圖形的視差信息(視差)的值(graphics_disparity)的值偏移了顯示位置的用于左眼顯示和右眼顯示的圖形位圖數(shù)據(jù)，并且將這些圖形位圖數(shù)據(jù)分別疊加在左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)上。在步驟ST25中的處理之后，深度控制單元314在步驟ST26中結(jié)束控制處理。
[0356]另一方面，如果在步驟ST22中未接收到視差信息(視差)，則在步驟ST27中，深度控制單元314基于存儲在圖形緩沖器315中的圖形位圖數(shù)據(jù)“圖形數(shù)據(jù)”獲得在其中已經(jīng)通過使用由電視接收機(jī)300計(jì)算的視差信息(視差)的值偏移了顯示位置的用于左眼顯示和右眼顯示的圖形位圖數(shù)據(jù)，并將這些圖形位圖數(shù)據(jù)分別疊加在左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)上。在步驟ST27中的處理之后，深度控制單元314在步驟ST26中結(jié)束控制處理。
[0357]圖57例示在電視接收機(jī)300中控制圖形的深度的例子。在此例子中，關(guān)于TV圖形，基于關(guān)于右側(cè)的四個(gè)劃分的區(qū)域(分區(qū)10、11、14和15)的多條第一視差信息之中具有最小值的視差信息，向用于左眼顯示的圖形和用于右眼顯示的圖形給出視差。因此，在這四個(gè)劃分的區(qū)域中，TV圖形顯示在圖像(視頻)對象的前方。注意，在此情況下，字幕以及還有STB圖形已經(jīng)被機(jī)頂盒200疊加在圖像(視頻)上。
[0358]現(xiàn)在將簡要描述圖54中所示的電視接收機(jī)300的操作。HDMI接收單元311通過進(jìn)行與HDMI兼容的通信，從機(jī)頂盒200接收左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)、音頻數(shù)據(jù)以及還有針對圖像數(shù)據(jù)的每個(gè)畫面的視差信息(第一視差信息和第二視差信息)。
[0359]在需要時(shí)，由HDMI接收單元311接收的左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)在縮放器312中經(jīng)歷縮放處理，然后被提供給疊加單元313。在電視(TV)產(chǎn)生單元316中，產(chǎn)生0SD、應(yīng)用、EPG等圖形數(shù)據(jù)。該圖形數(shù)據(jù)包括圖形的位圖數(shù)據(jù)“圖像數(shù)據(jù)”以及關(guān)于圖形的顯示位置信息“圖形呈現(xiàn)位置(xl，yl)”。圖形緩沖器315暫時(shí)存儲由電視圖形產(chǎn)生單元315產(chǎn)生的圖形數(shù)據(jù)。
[0360]在疊加單元313中，存儲在圖形緩沖器315中的圖形位圖數(shù)據(jù)“圖形數(shù)據(jù)”分別被疊加在左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)上。此時(shí)，由深度控制單元314基于與圖形的顯示位置對應(yīng)的第一視差信息(最小視差)向分別疊加在左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)上的圖形位圖數(shù)據(jù)“圖形數(shù)據(jù)”給出視差。
[0361]深度控制單元314使用由HDMI接收單元311接收的關(guān)于圖像數(shù)據(jù)的每個(gè)畫面的每個(gè)劃分的區(qū)域(分區(qū))的第一視差信息以及由電視圖形產(chǎn)生單元316產(chǎn)生的關(guān)于圖形的顯示位置信息“圖形呈現(xiàn)位置(xl，yl)”，用于控制。
[0362]從疊加單元313獲得在其上疊加了用于左眼顯示的TV圖形的左眼圖像的數(shù)據(jù)以及在其上疊加了用于右眼顯示的TV圖形的右眼圖像的數(shù)據(jù)。這些圖像數(shù)據(jù)被發(fā)送到處理單元用于立體圖像顯示，并且進(jìn)行立體圖像顯示。
[0363]此外，由HDMI接收單元311接收的每個(gè)信道的音頻數(shù)據(jù)經(jīng)由調(diào)整音質(zhì)和音量的音頻處理單元317提供給揚(yáng)聲器，并且與立體圖像顯示同步地進(jìn)行音頻輸出。
[0364][HDMI發(fā)送單元和HDMI接收單元的示例配置]
[0365]圖58例示在圖1的圖像發(fā)送/接收系統(tǒng)10中的機(jī)頂盒200的HDMI發(fā)送單元251以及電視接收機(jī)300的HDMI接收單元311的示例配置。
[0366]HDMI發(fā)送單元251在有效圖像時(shí)段(下文中在適當(dāng)時(shí)也稱為有效視頻時(shí)段)中使用多個(gè)信道以單向方式向HDMI接收單元311發(fā)送與一個(gè)屏幕的未壓縮圖像的像素?cái)?shù)據(jù)對應(yīng)的差分信號。在此，通過從自一個(gè)垂直同步信號到下一垂直同步信號的時(shí)段中移除水平消隱時(shí)段和垂直消隱時(shí)段，獲得該有效圖像時(shí)段。而且，HDMI發(fā)送單元251在水平消隱時(shí)段或垂直消隱時(shí)段中使用多個(gè)信道以單向方式向HDMI接收單元311發(fā)送與至少伴隨圖像的音頻數(shù)據(jù)、控制數(shù)據(jù)、其他輔助數(shù)據(jù)等對應(yīng)的差分信號。
[0367]包括HDMI發(fā)送單元251和HDMI傳輸信道的三個(gè)TMDS信道#0到#2接收單元311的HDMI系統(tǒng)中的傳輸信道包括以下傳輸信道。即，存在用作傳輸信道的三個(gè)TMDS信道#0至IJ #2，用于與像素時(shí)鐘同步地以單向方式從HDMI發(fā)送單元251向HDMI接收單元311串行地發(fā)送像素?cái)?shù)據(jù)和音頻數(shù)據(jù)。而且，存在用作用于發(fā)送像素時(shí)鐘的傳輸信道的TMDS時(shí)鐘信道。
[0368]HDMI發(fā)送單元251包括HDMI發(fā)送器81。發(fā)送器81將未壓縮圖像的像素?cái)?shù)據(jù)轉(zhuǎn)換為對應(yīng)的差分信號，并使用例如三個(gè)TMDS信道#0、#1和#2的多個(gè)信道以單向方式將它們串行發(fā)送到經(jīng)由HDMI電纜400連接的HDMI接收單元311。
[0369]而且，發(fā)送器81將伴附未壓縮圖像的音頻數(shù)據(jù)、進(jìn)一步需要的控制數(shù)據(jù)、其他輔助數(shù)據(jù)等轉(zhuǎn)換為對應(yīng)的差分信號，并使用這三個(gè)TMDS信道#0、#1和#2以單向方式將它們串行發(fā)送到HDMI接收單元311。
[0370]此外，發(fā)送器81使用TMDS時(shí)鐘信道將與使用這三個(gè)TMDS信道#0、#1和#2發(fā)送的像素?cái)?shù)據(jù)同步的像素時(shí)鐘發(fā)送到經(jīng)由HDMI電纜400連接的HDMI接收單元311。在此，在一個(gè)TMDS信道#i (i=0、l或2)中，在像素時(shí)鐘的一個(gè)時(shí)鐘中傳輸10位像素?cái)?shù)據(jù)。
[0371]HDMI接收單元311在有效視頻時(shí)段中接收使用多個(gè)信道從HDMI發(fā)送單元251以單向方式發(fā)送的與像素?cái)?shù)據(jù)對應(yīng)的差分信號。而且，HDMI接收單元311在水平消隱時(shí)段或垂直消隱時(shí)段中接收使用多個(gè)信道從HDMI發(fā)送單元251以單向方式發(fā)送的與音頻數(shù)據(jù)和控制數(shù)據(jù)對應(yīng)的差分信號。
[0372]BP,HDMI接收單元311包括HDMI接收器82。HDMI接收器82接收使用TMDS信道#0、#1和#2從HDMI發(fā)送單元251以單向方式發(fā)送的與像素?cái)?shù)據(jù)對應(yīng)的差分信號以及與音頻數(shù)據(jù)和控制數(shù)據(jù)對應(yīng)的差分信號。在此情況下，HDMI接收器82與使用TMDS時(shí)鐘信道從HDMI發(fā)送單元251發(fā)送的像素時(shí)鐘同步地接收這些差分信號。
[0373]除了上述的TMDS信道#0到#2和TMDS時(shí)鐘信道之外，HDMI系統(tǒng)中的傳輸信道包括稱為DDC (顯示數(shù)據(jù)信道)83和CEC線84的傳輸信道。DDC83由被包括在HDMI電纜400中并且未示出的兩條信號線構(gòu)成。DDC83由HDMI發(fā)送單元251使用來從HDMI接收單元311讀出E-EDID (增強(qiáng)擴(kuò)展顯示識別數(shù)據(jù))。
[0374]S卩，除了 HDMI接收器81之外，HDMI接收單元311包括EDID ROM(只讀存儲器)85，其存儲作為關(guān)于其性能(配置/能力)的性能信息的E-EDID。HDMI發(fā)送單元251響應(yīng)于例如來自未示出的控制單元(CPU)的請求，使用DDC83從經(jīng)由HDMI電纜400連接的HDMI接收單元311讀出E-EDID。
[0375]HDMI發(fā)送單元251將讀出的E-EDID發(fā)送到控制單元(CPU)?？刂茊卧?CPU)能夠基于E-EDID辨識HDMI接收單元311的性能的設(shè)置。例如，控制單元(CPU)辨識包括HDMI接收單元311的電視接收機(jī)300是否能夠處理立體圖像數(shù)據(jù)，并且如果是，則進(jìn)一步辨識電視接收機(jī)300所兼容的TMDS傳輸數(shù)據(jù)結(jié)構(gòu)。
[0376]CEC線84由HDMI電纜400中包括的單個(gè)信號線(未示出)構(gòu)成，并且用于進(jìn)行控制數(shù)據(jù)在HDMI發(fā)送單元251和HDMI接收單元311之間的雙向通信。CEC線84構(gòu)成控制數(shù)據(jù)線。
[0377]而且，HDMI電纜400包括連接到稱為HPD (熱插檢測)的管腳的線(HPD線)86。信源裝置能夠使用線86檢測收信裝置的連接。注意，HPD線86也用作構(gòu)成雙向通信路徑的HEAC-線。而且，HDMI電纜400包括用于從信源裝置向收信裝置提供電力的線(電源線)87。此外，HDMI電纜400包括多用途線(utility line) 88。多用途線88也用作構(gòu)成雙向通信路徑的HEAC+線。
[0378]圖59例示TMDS傳輸數(shù)據(jù)的示例結(jié)構(gòu)。圖59例示在使用TMDS信道#0、#1和#2發(fā)送水平1920像素X垂直1080行的圖像數(shù)據(jù)的情況下各條傳輸數(shù)據(jù)的時(shí)段。
[0379]在其中使用HDMI的三個(gè)TMDS信道#0、#1和#2發(fā)送傳輸數(shù)據(jù)的視頻場中，根據(jù)傳輸數(shù)據(jù)的類型，存在三種類型的時(shí)段。這三種類型的時(shí)段包括視頻數(shù)據(jù)時(shí)段、數(shù)據(jù)島(island)時(shí)段和控制時(shí)段。
[0380]在此，視頻場時(shí)段是從某個(gè)垂直同步信號的上升沿(有效沿)到下一垂直同步信號的上升沿的時(shí)段。視頻場時(shí)段可以被劃分為水平消隱時(shí)段、垂直消隱時(shí)段和有效視頻時(shí)段。有效視頻時(shí)段是通過從視頻場時(shí)段中移除水平消隱時(shí)段和垂直消隱時(shí)段而獲得的時(shí)段。
[0381]視頻數(shù)據(jù)時(shí)段被分配給有效視頻時(shí)段。在視頻數(shù)據(jù)時(shí)段中，傳輸構(gòu)成一個(gè)屏幕的未壓縮圖像數(shù)據(jù)的與1920像素X 1080行對應(yīng)的有效像素的數(shù)據(jù)。
[0382]數(shù)據(jù)島時(shí)段和控制時(shí)段被分配給水平消隱時(shí)段和垂直消隱時(shí)段。在數(shù)據(jù)島時(shí)段和控制時(shí)段中，發(fā)送輔助數(shù)據(jù)。即，數(shù)據(jù)島時(shí)段被分配給水平消隱時(shí)段和垂直消隱時(shí)段的一部分。在數(shù)據(jù)島時(shí)段中，發(fā)送輔助數(shù)據(jù)中與控制不相關(guān)的數(shù)據(jù)、例如音頻數(shù)據(jù)的分組等。
[0383]控制時(shí)段被分配給水平消隱時(shí)段和垂直消隱時(shí)段的另一部分。在此控制時(shí)段中，發(fā)送例如垂直同步信號和水平同步信號的輔助數(shù)據(jù)中與控制有關(guān)的數(shù)據(jù)、控制分組等等。
[0384]圖60例示HDMI端子的管腳陣列的例子。圖60所示的管腳陣列稱為類型A。使用用作差分線的兩條線發(fā)送作為TMDS信道#i的差分信號的TMDS數(shù)據(jù)#i+和TMDS數(shù)據(jù)#i_。這兩條線連接到TMDS數(shù)據(jù)#i+被分配到的管腳(具有管腳號1、4和7的管腳)以及TMDS數(shù)據(jù)#i_被分配到的管腳(具有管腳號3、6和9的管腳)。
[0385]而且，用作用于控制的數(shù)據(jù)的CEC信號經(jīng)過其傳輸?shù)腃EC線84連接到具有管腳號13的管腳。而且，諸如E-EDID的SDA (串行數(shù)據(jù))信號經(jīng)過其發(fā)送的線連接到具有管腳號16的管腳。作為用于在SDA信號的發(fā)送/接收時(shí)同步的時(shí)鐘信號的SCL (串行時(shí)鐘)信號經(jīng)過其發(fā)送的線連接到具有管腳號15的管腳。上述的DDC83由SDA信號經(jīng)過其發(fā)送的線以及SCL信號經(jīng)過其發(fā)送的線構(gòu)成。[0386]而且，如上所述，由信源裝置使用來檢測收信裝置的連接的HPD線(HEAC-線)86連接到具有管腳號19的管腳。而且，多用途線(HEAC+線)88連接到具有管腳號14的管腳。而且，如上所述，用于提供電力的線87連接到具有管腳號18的管腳。
[0387][使用HDMI發(fā)送/接收視差信息的方法]
[0388]將給出使用HDMI接口發(fā)送/接收關(guān)于圖像數(shù)據(jù)的每個(gè)畫面的每個(gè)劃分的區(qū)域(分區(qū))的視差信息(視差)的方法的描述。作為此方法，可以使用用于使用位于圖像數(shù)據(jù)的消隱時(shí)段中的信息分組(例如HDMI供應(yīng)商特定infoFrame (VS_Info))的方法。
[0389]在此方法中，假設(shè)在VS_Info 中 “HDMI_Video_Format= “010”” 并且“3D_Meta_present=l”,并且指定“供應(yīng)商特定InfoFrame擴(kuò)展”。在該情況下，“3D_Metadata_type”被定義為未使用，例如“001”，并且指定關(guān)于每個(gè)劃分的區(qū)域(分區(qū))的視差信息(視差)。
[0390]圖61例示VS_Info的分組結(jié)構(gòu)的例子。在CEA-861-D中定義VS_Info，因此省略其詳細(xì)描述。圖62例示在圖61中所示的分組結(jié)構(gòu)的例子中的主要信息的內(nèi)容。
[0391]在第四字節(jié)(PB4)的第七位到第五位中，定位了指示圖像數(shù)據(jù)的類型的3位信息“HDMI_Vide0_F0rmat”。在圖像數(shù)據(jù)是3D圖像數(shù)據(jù)的情況下，3位信息是“010”。而且，在圖像數(shù)據(jù)是3D圖像數(shù)據(jù)的情況下，指示TMDS傳輸數(shù)據(jù)結(jié)構(gòu)的4位信息“3D_StruCture”位于第五字節(jié)(PB5)的第七位到第四位中。例如，在幀封裝(packing)方法中,4位信息是“0000”。
[0392]而且，“3D_Meta_preSent”位于第五字節(jié)(PB5)的第三位中，并且在指定供應(yīng)商特定InfoFrame擴(kuò)展的情況下,一位是“I”。而且,“3D_Metadata_type”位于第七字節(jié)(PB7)的第七位到第五位中。在指定關(guān)于每個(gè)劃分的區(qū)域的視差信息(視差)的情況下，該3位信息是未使用的，例如“001”。
[0393]而且，“3D_Metadata_length”位于第七字節(jié)(PB7)的第四字蘋 位到第零專革位
中。該5位信息指示關(guān)于每個(gè)劃分的區(qū)域(分區(qū))的視差信息(視差)的大小?！?D_Metadata_length”的值的范圍從0x00到OxlF，并且通過向該值加上2而獲得的值表示在此字段之后的視差信息(視差)的整個(gè)大小。例如，“00000”表示2 (十進(jìn)制數(shù))，并且“11111”表示33(十進(jìn)制數(shù))。
[0394]而且，I位標(biāo)識信息“PRTY”位于第六字節(jié)(PB6)的第零位中。該標(biāo)識信息指示VS_Info是否包括要由HDMI收信側(cè)參考的信息，在此是視差信息(視差)?！癐”指示肯定包括要由HDMI收信側(cè)參考的信息?！?”指示不一定包括要由HDMI收信側(cè)參考的信息。
[0395]隨著定位了 I位標(biāo)識信息“PRTY”，在此實(shí)施例中為電視接收機(jī)300的HDMI收信裝置、能夠確定VS_Info是否包括要參考的信息而不檢查“3D_Metadata_type”及其之后。因此，該標(biāo)識信息使得HDMI收信裝置能夠有效地進(jìn)行從VS_Info提取要被參考的信息的處理，因而可以降低處理負(fù)荷。
[0396]而且,“partition_type”位于第八字節(jié)(PB8)的第七位到第五位中。該3位信息指示目標(biāo)畫面的顯示屏幕的劃分類型?！?00”指示顯示屏幕未被劃分，“001”指示顯示屏幕在水平和垂直方向的每個(gè)方向上被劃分為兩個(gè)相等的區(qū)域，并且“010”指示顯示屏幕在水平和垂直方向的每個(gè)方向上被劃分為四個(gè)相等的區(qū)域。
[0397]而且，I位標(biāo)識信息“cLpicture”位于第八字節(jié)(PB8)的第四位中。該標(biāo)識信息表示單畫面或雙畫面?！?”表示單畫面，即發(fā)送關(guān)于一個(gè)畫面的每個(gè)劃分的區(qū)域(分區(qū))的視差信息(視差)的模式。“I”表示雙畫面，即發(fā)送關(guān)于兩個(gè)畫面的每個(gè)劃分的區(qū)域(分區(qū))的視差息(視差)的模式。
[0398]而且,“partition_count”位于第八字節(jié)(PB8)的第三位到第零位中。該4位信息表示劃分的區(qū)域(分區(qū))的總數(shù)量，并且是依賴于上述的“partitionjype”的值。例如，“0000 ”表示總數(shù)量“ 1”，并且“ 1111 ”表示總數(shù)量“ 16 ”。
[0399]此外，從第8+1字節(jié)(PB8+1)，順序地定位針對一個(gè)畫面或兩個(gè)畫面的視差信息(第一視差信息和第二視差信息)。8位信息“max_disparity_in_picture”指示關(guān)于整個(gè)畫面顯示屏幕(整個(gè)畫面)的第二視差信息，即關(guān)于整個(gè)畫面的最大視差信息(視差值)。8位信息“disparity_in_partition”指示關(guān)于每個(gè)劃分的區(qū)域(分區(qū))的第一視差信息，即關(guān)于每個(gè)劃分的區(qū)域的最小視差信息(視差值)。
[0400]圖63例不在“d_picture=0”即所述模式是單畫面模式以及“partition_type=010”即劃分的區(qū)域的數(shù)量是16的情況下的VS_Info的示例結(jié)構(gòu)。在此情況下，關(guān)于一個(gè)畫面的每個(gè)劃分的區(qū)域的視差信息位于第8+1字節(jié)(PB8+1)及其之后。另一方面，圖64例示在“d_picture=l”即所述模式是雙畫面模式并且“partition_type=010”即劃分的區(qū)域的數(shù)量是“16”的情況下的VS_Info的示例結(jié)構(gòu)。在此情況下，關(guān)于兩個(gè)畫面的每個(gè)劃分的區(qū)域的視差信息位于第8+1個(gè)字節(jié)(PB8+1)及其之后。
[0401]如上所述，在視頻流包括以畫面為單位插入到其中的視差信息的情況下，機(jī)頂盒200在圖像數(shù)據(jù)的每個(gè)畫面的定時(shí)獲得一個(gè)畫面的視差信息(見圖42)。此外，如上所述，在視頻流包括以GOP為單位插入的視差信息的情況下，機(jī)頂盒200在圖像數(shù)據(jù)的GOP的頭部的定時(shí)共同地獲得對于GOP中的各個(gè)畫面的各條視差信息(視差信息集)(見圖43)。
[0402]在任意情況下，機(jī)頂盒200能夠基于例如在機(jī)頂盒200和電視接收機(jī)300之間使用CEC線84的協(xié)商或者EDID R0M85中的設(shè)置而任意地選擇單畫面模式或者雙畫面模式。在此情況下，機(jī)頂盒200能夠根據(jù)用于發(fā)送每個(gè)畫面的視差信息的傳輸波段或者機(jī)頂盒200和電視接收機(jī)300的處理能力而選擇模式，并且能夠良好地向電視接收機(jī)300發(fā)送視差信肩、O
[0403]在電視接收機(jī)300中，基于位于VS_Info中的模式標(biāo)識信息“cLpicture”以及上述的指示是否存在參考信息“PRTY”的標(biāo)識信息，在任意傳輸模式中可以準(zhǔn)確地接收關(guān)于所有畫面的視差信息(視差)。
[0404]圖65示意性例示其中機(jī)頂盒200在圖像數(shù)據(jù)的每個(gè)畫面的定時(shí)獲得一個(gè)畫面的視差信息并且以單畫面模式將各個(gè)畫面的視差信息順序地發(fā)送到電視接收機(jī)300的情況。而且，圖66示意性例示其中機(jī)頂盒200在圖像數(shù)據(jù)的每個(gè)畫面的定時(shí)獲得一個(gè)畫面的視差信息并且以雙畫面模式將各個(gè)畫面的視差信息順序地發(fā)送到電視接收機(jī)300的情況。
[0405]而且，圖67示意性例示其中機(jī)頂盒200在圖像數(shù)據(jù)的GOP的頭部的定時(shí)共同地獲得GOP中的各個(gè)畫面的視差信息并且以單畫面模式將各個(gè)畫面的視差信息順序地發(fā)送到電視接收機(jī)300的情況。此外，圖68示意性例示其中機(jī)頂盒200在圖像數(shù)據(jù)的GOP的頭部的定時(shí)共同地獲得GOP中的各個(gè)畫面的視差信息并且以雙畫面模式將各個(gè)畫面的視差信息順序地發(fā)送到電視接收機(jī)300的情況。
[0406]注意，以上已經(jīng)給出了機(jī)頂盒200能夠任意地選擇單畫面或者雙畫面模式的描述。但是，例如，在圖像數(shù)據(jù)的GOP的頭部的定時(shí)共同地獲得GOP中的各個(gè)畫面的視差信息的情況下，可以以單畫面模式發(fā)送視差信息。在此情況下，GOP中的各個(gè)畫面的視差信息被分配給單畫面，并且以畫面為單位順序地發(fā)送各個(gè)單畫面的視差信息(見圖67)。在此情況下，即使用于對于每個(gè)畫面發(fā)送一條視差信息的傳輸帶，每個(gè)畫面的該條視差信息也可以良好地傳輸?shù)诫娨暯邮諜C(jī)300。
[0407]另一方面，在機(jī)頂盒200在兩個(gè)視頻巾貞時(shí)段中僅能夠發(fā)送VS_InfoFrame —次的情況下，或者在電視接收機(jī)300在兩個(gè)視頻巾貞時(shí)段中僅能夠接收VS_InfoFrame —次的情況下，可以使用單個(gè)VS_InfoFrame順序地發(fā)送兩個(gè)視頻幀的視差信息，如圖66中所示。
[0408]注意，以上已經(jīng)給出在雙畫面模式中以兩個(gè)畫面(兩幀)為單位照原樣即在內(nèi)部數(shù)據(jù)的狀態(tài)下發(fā)送用于彼此順序相鄰的第一畫面和第二畫面的視差信息的例子的描述。但是，在雙畫面模式中，用于第一畫面或第二畫面的視差信息可以是與緊鄰在前的畫面的視差信息的差別數(shù)據(jù)，以便降低傳輸數(shù)據(jù)的量。
[0409]圖69和圖70例示VS_Info (HDMI供應(yīng)商特定InfoFrame)的分組結(jié)構(gòu)的其他例子。盡管省略了詳細(xì)描述，但是第零字節(jié)(PBO)到第六字節(jié)(PB6)的結(jié)構(gòu)與上述的圖61中所示的分組結(jié)構(gòu)的例子相同。圖71例示圖69和圖70中所示的分組結(jié)構(gòu)的例子中的主要信息的內(nèi)容。
[0410]在第七字節(jié)(PB7)的第七位到第五位中，定位了 “3D_Metadata_type”。在指定關(guān)于每個(gè)劃分的區(qū)域(分區(qū))的視差信息(視差)的情況下，該3位信息是未使用的，例如“001”。
[0411]而且，在第七字節(jié)(PB7 )的第四冬革位到第七位中，定位了 “ 3D_Metadata_
length”。該5位信息指示關(guān)于每個(gè)劃分的區(qū)域(分區(qū))的視差信息(視差)的大小?！?D_Metadata_length”的值的范圍從0x00到0x16。例如，“00011”表示3 (十進(jìn)制數(shù))，并且“11010”表示26 (十進(jìn)制數(shù))。
[0412]在第八字節(jié)(PB8)的第七位中，定位了 I位標(biāo)識信息“cLpicture”。該標(biāo)識信息表示單畫面或雙畫面?！?”表示單畫面，即將一個(gè)畫面的視差信息(視差)作為關(guān)于每個(gè)劃分的區(qū)域(分區(qū))的視差信息(視差)而發(fā)送的模式?！癐”表示雙畫面，即將兩個(gè)畫面的視差信息(視差)作為關(guān)于每個(gè)劃分的區(qū)域(分區(qū))的視差信息而發(fā)送的模式。
[0413]在第八字節(jié)(PB8)的第五位中，定位了 I位標(biāo)識信息“partition_enable”。該標(biāo)識信息指示目標(biāo)畫面是否具有關(guān)于每個(gè)劃分的區(qū)域(分區(qū))的視差信息(視差)。“I”指示在水平和垂直方向上指定了劃分的區(qū)域，并且每個(gè)劃分的區(qū)域具有視差信息(視差)?！?”指示整個(gè)屏幕具有一條視差信息(視差)。
[0414]在第八字節(jié)(PB8)的第六位中，定位了 I位標(biāo)識信息“picture_reorder”。該標(biāo)識信息在發(fā)送雙畫面的情況下指示首先發(fā)送兩個(gè)畫面(N，N+1)中的哪個(gè)，即按時(shí)間順序N是第一個(gè)并且N+1是第二個(gè)，還是按時(shí)間順序N+1是第一個(gè)并且N是第二個(gè)?！?”指示(奸1)畫面是第一個(gè)，視差信息(視差)的值由8位表示，并且N畫面是第二個(gè)，并且與針對(N-1)畫面的視差信息(視差)的差值由4位表示?！?”指示N畫面是第一個(gè)，視差信息(視差)的值由8位表示，(n+1)畫面是第二個(gè)，并且與針對N畫面的視差信息(視差)的差值由4位表
/Jn o
[0415]而且,在第八字節(jié)(PB8)的第三位到第零位中，定位了 “partition_count”。該4位信息標(biāo)識表示劃分的區(qū)域(分區(qū))的總數(shù)量。例如，“0000”表示總數(shù)量“1”，并且“1111”表示總數(shù)量“16”。
[0416] 然后，在第8+1字節(jié)(PB8+1)以及其后中，順序地定位針對一個(gè)畫面或兩個(gè)畫面的視差?目息(第一視差?目息和第二視差?目息)。8位/[目息“max_disparity_in_picture”指不關(guān)于整個(gè)畫面顯示屏幕(整個(gè)畫面)的第二視差信息，即關(guān)于整個(gè)畫面的最大視差信息(視差值)。8位信息“disparity_in_partition”指示關(guān)于每個(gè)劃分的區(qū)域(分區(qū))的第一視差信息，即關(guān)于每個(gè)劃分的區(qū)域的最小視差信息(視差值)。
[0417]圖69中的VS_Info的示例結(jié)構(gòu)例示在“d_picture=l”并且模式是雙畫面模式以及“picture_reorder=0”并且N畫面按時(shí)間順序位于N+1畫面之前的情況下的VS_Info的示例結(jié)構(gòu)。注意，此例子例示了其中“partiti0n_C0Unt=llll”以及劃分的區(qū)域的數(shù)量是“16”的情況。
[0418]在此情況下，作為關(guān)于N畫面中的整個(gè)畫面顯示屏幕的第二視差信息的“Max_disparity_in_picture”(即針對整個(gè)畫面的最大視差信息(視差值))位于第8+1字節(jié)(PB8+1)中。而且，作為關(guān)于N畫面中的每個(gè)劃分的區(qū)域(分區(qū))的第一視差信息“Min_disparity_in_partition”(即針對每個(gè)劃分的區(qū)域的最小視差信息(視差值))位于第8+2字節(jié)(PB8+2)到第8+16字節(jié)(PB8+16)中。
[0419]而且，在此情況下，作為關(guān)于第N+1畫面中的整個(gè)畫面顯示屏幕的第二視差信息“Differential_max_disparity_in_picture”(即針對整個(gè)畫面的最大視差信息(視差值)的差別數(shù)據(jù)位于第8+17字節(jié)(PB8+17)的第三位到第零位中。作為關(guān)于N+1畫面中的每個(gè)劃分的區(qū)域(分區(qū))的第一視差信息的“Different ial_min_di spar ity_in_part it ion”(即針對每個(gè)劃分的區(qū)域的最小視差信息(視差值))的差別數(shù)據(jù)位于第8+18字節(jié)(PB8+18)到第 8+25 字節(jié)(PB8+25)中。
[0420]圖70中的VS_Info的示例結(jié)構(gòu)例示了在“d_picture=l”并且模式是雙畫面模式以及“picture_reorder=l”并且N+1畫面按時(shí)間順序位于N畫面之前的情況下的VS_Info的示例結(jié)構(gòu)。注意，此例子例示了其中、31*1:;[1:;[011_(30111^=1111”以及劃分的區(qū)域的數(shù)量是“16”的情況。
[0421]在此情況下，作為關(guān)于N+1畫面中的整個(gè)畫面顯示屏幕的第二視差信息“Max_disparity_in_picture”(即針對整個(gè)畫面的最大視差信息(視差值))位于第8+1字節(jié)(PB8+1)中。而且，作為關(guān)于N+1畫面中的每個(gè)劃分的區(qū)域(分區(qū))的第一視差信息“Min_disparity_in_partition”(即針對每個(gè)劃分的區(qū)域的最小視差信息(視差值))位于第8+2字節(jié)(PB8+2)到第8+16字節(jié)(PB8+16)中。
[0422]而且，在此情況下，作為關(guān)于N畫面中的整個(gè)畫面顯示屏幕的第二視差信息“Differential_max_disparity_in_picture”(即針對整個(gè)畫面的最大視差信息(視差值)的差別數(shù)據(jù))位于第8+17字節(jié)(PB8+17)的第三位到第零位中。作為關(guān)于N畫面中的每個(gè)劃分的區(qū)域(分區(qū))的第一視差信息的“Different ial_min_di spar ity_in_part it ion”(即針對每個(gè)劃分的區(qū)域的最小視差信息(視差值)的差別數(shù)據(jù))位于第8+18字節(jié)(PB8+18)到第 8+25 字節(jié)(PB8+25)中。
[0423][N畫面和N+1畫面的順序的確定]
[0424]在此，例如，按以下方式進(jìn)行N畫面和N+1畫面的順序的確定、即進(jìn)行“picture_reorder”將是“O”還是“I”的確定。例如利用圖72所示的配置進(jìn)行N畫面和N+1畫面的順序的確定。視差信息被提供給幀存儲器281并且被延遲一幀。在減法器282中，計(jì)算針對N+1畫面的視差信息D(N+1)和針對N畫面的視差信息D(N)之間的差別數(shù)據(jù)“D(N)-D(N+1) ”，并且將該差別數(shù)據(jù)發(fā)送到順序確定單元283。
[0425]在順序確定單元283中，將該差別數(shù)據(jù)的絕對值|D(N)_D(N+1) |與閾值Th比較，并且確定N畫面和N+1畫面的順序。當(dāng)D(N)-D(N+1)≤Th時(shí)，順序確定單元283確定“N畫面是第一個(gè)并且N+1畫面是第二個(gè)”，將VS_Info的“picture_reorder”設(shè)置為“0”，并且以圖69所不的方式定位N畫面和N+1畫面的視差彳目息。在此情況下，N+1畫面的視差"[目息是相對于N畫面的視差信息的差別數(shù)據(jù)。
[0426]圖73例示在ID (N) -D (N+1) | ( Th的情況下視差信息(視差值)的時(shí)間上的轉(zhuǎn)變的例子。在此例子中，視差信息在N-1畫面和N畫面之間明顯改變。但是，在N畫面和N+1畫面之間的視差信息的改變小。因此，滿足ID(N)-D(N+1) 1≤Th。在此情況下，N+1畫面的視差信息是相對于N畫面的視差信息的差別數(shù)據(jù)，因此其值相對小。
[0427]另一方面，當(dāng)ID (N) -D (N+1) | >Th時(shí)，順序確定單元283確定“N+1畫面是第一個(gè)并且N畫面是第二個(gè)”，將VS_Info的“picture_reorder”設(shè)置為“0”，并且以圖70所示的方式定位針對N+1畫面和N畫面的視差彳目息。在此情況下，N畫面的視差彳目息是相對于N-1畫面的視差信息的差別數(shù)據(jù)。
[0428]圖74例示在ID (N) -D (N+1) | >Th的情況下視差信息(視差值)的時(shí)間上的轉(zhuǎn)變的例子。在此例子中，在N-1畫面和N畫面之間的視差信息的改變小，但是在N畫面和N+1畫面之間的視差信息的改變 大。因此，滿足|D(N)-D (N+1) |>Th。在此情況下，對于N畫面的視差信息是相對于N-1畫面的視差信息的差別數(shù)據(jù)，因此其值相對小。
[0429]在此，關(guān)于“Min_disparity_in_partition”，每個(gè)劃分的區(qū)域(分區(qū))的 “Min_disparity_in_partition” 的最小值 Min_disparity (N+1)和 Min_disparity (N)被用作D (N+1)和D (N)，如分另Ij由以下等式(2 )和(3 )所表示的。
[0430]D(N+1)=Min_disparity(N+1)
[0431]=Minimum(Min_disparity_partition(N+1_0, N+l_l,—, N+l_15)) ? ? ? (2)
[0432]D(N) =Min_disparity(N)
[0433]=Minimum(Min_disparity_parttion(N_0, N_l,—, N_15)) ? ? ? (3)
[0434]注意，關(guān)于D(N)，代替通過使用以上公式(3)來獲得它，可以使用與作為在以上等式(2)中被采用為 D(N+1)的 Min_disparity (N+1)的“Min_disparity_partition”在相同的劃分的區(qū)域(分區(qū))中的N畫面的“Min_disparity_partition”。
[0435]另一方面，關(guān)于“Max_disparity_in_picture，，，N+1 畫面的 “Max_disparity_in_picture”被用作 D (N+1),并且N畫面的“Max_disparity_in_picture”被用作 D (N)。注意，關(guān)于|D(N)-D(N+1) I和Th之間的比較的確定結(jié)果，如果關(guān)于“Min_disparity_in_partition”的結(jié)果與關(guān)于“Max_disparity_in_picture”的結(jié)果不匹配，則可以優(yōu)先使用關(guān)于“Min_disparity_in_partition，，的結(jié)果。
[0436]注意，在上述的圖70所示的VS_Info的示例結(jié)構(gòu)中，N+1畫面按時(shí)間順序位于N畫面之前。以此方式，從第8+1字節(jié)(PB8+1)到第8+25字節(jié)(PB8+25)的結(jié)構(gòu)變得與圖69中的VS_Info的示例結(jié)構(gòu)相同，在該結(jié)構(gòu)中，N畫面按時(shí)間順序位于N+1畫面之前，因此在接收側(cè)穩(wěn)定地進(jìn)行讀取。但是，在圖70所示的VS_Info的示例結(jié)構(gòu)中，針對N+1畫面的視差信息和針對N畫面的視差信息的位置可以相反。
[0437]而且，在以上給出的描述中，已經(jīng)描述了其中機(jī)頂盒200能夠選擇單畫面或雙畫面模式的例子。但是，代替雙畫面模式，可以使用多畫面模式，并且畫面的數(shù)量可以任意選擇。此外，可能存在可選的模式的數(shù)量是3或更多的情況。在該情況下，能夠在HDMI信源側(cè)將劃分的區(qū)域(分區(qū))的數(shù)量改變?yōu)檫m當(dāng)?shù)臄?shù)量以便可以在給定的頻帶中進(jìn)行傳輸。
[0438]如上所述，在圖1所示的圖像發(fā)送/接收系統(tǒng)10中，廣播站100將對于圖像數(shù)據(jù)的某些畫面的每個(gè)畫面獲得的第一視差信息和第二視差信息插入到視頻流中，并且發(fā)送該視頻流。在此，第一視差信息是與畫面顯示屏幕的某個(gè)區(qū)域中的最近對象再現(xiàn)位置對應(yīng)的視差信息，并且第二視差信息是與畫面顯示屏幕的該某個(gè)區(qū)域中的最遠(yuǎn)對象再現(xiàn)位置對應(yīng)的視差息。因此，例如，基于第一視差息和第二視差息，在接收側(cè)的機(jī)頂盒200能夠檢查視差角是否在在其中觀看不會引起任何健康問題的某個(gè)范圍內(nèi)，并在需要時(shí)重新配置左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)。
[0439]此外，在圖1所示的圖像發(fā)送/接收系統(tǒng)10中，當(dāng)將針對圖像數(shù)據(jù)的某些畫面的每個(gè)畫面獲得的視差信息插入視頻流并發(fā)送該視頻流時(shí)，廣播站100對該視差信息進(jìn)行壓縮編碼的處理，并且可以降低數(shù)據(jù)量。
[0440]<2.修改〉
[0441]注意，在上述實(shí)施例中，圖像發(fā)送/接收系統(tǒng)10由廣播站100、機(jī)頂盒200和電視接收機(jī)300構(gòu)成。但是，如圖75所示，可以采用由廣播站100和電視接收機(jī)300A構(gòu)成的圖像發(fā)送/接收系統(tǒng)10A。
[0442]圖76例示電視接收機(jī)300A的示例配置。在圖76中，與圖45中的部分對應(yīng)的部分由相同的參考數(shù)字表示，并且省略其詳細(xì)描述。電視(TV)圖形產(chǎn)生單元219A類似于圖45中的機(jī)頂盒200的機(jī)頂盒(STB )圖形產(chǎn)生單元219，并且產(chǎn)生OSD、應(yīng)用、EPG等圖形數(shù)據(jù)。
[0443]從疊加單元217獲得在其上疊加了用于左眼顯示的字幕(標(biāo)題)和圖形的左眼圖像的數(shù)據(jù)，并且獲得在其上疊加了用于右眼顯示的字幕(標(biāo)題)和圖形的右眼圖像的數(shù)據(jù)。這些圖像數(shù)據(jù)被發(fā)送到處理單元用于立體圖像顯示，并且進(jìn)行立體圖像顯示。而且，在信道混合單元244中，從音頻數(shù)據(jù)產(chǎn)生用于實(shí)現(xiàn)例如5.1信道環(huán)繞等的每個(gè)信道的音頻數(shù)據(jù)。該音頻數(shù)據(jù)被提供給例如揚(yáng)聲器，并且根據(jù)立體圖像顯示進(jìn)行音頻輸出。
[0444]盡管省略了詳細(xì)描述，但是圖76中所示的電視接收機(jī)300A的其他部分與圖45中的機(jī)頂盒200類似地配置，并且類似地操作。
[0445]而且，在上述的實(shí)施例中，機(jī)頂盒200和電視接收機(jī)300經(jīng)由HDMI數(shù)字接口相互連接。但是，即使在它們經(jīng)由類似于HDMI數(shù)字接口的數(shù)字接口(包括無線以及有線)相互連接的情況下，本技術(shù)當(dāng)然也可以以相同的方式應(yīng)用。
[0446]而且,在上述實(shí)施例中，已經(jīng)描述使用HDMI供應(yīng)商特定InfoFrame的方法作為用于從機(jī)頂盒200向電視接收機(jī)300發(fā)送視差信息的方法?？商鎿Q地，可以使用用于使用有效空間(active space)的方法，此外，可以通過由HPD線86 (HEAC-線)和多用途線88 (HEAC+線)構(gòu)成的雙向通信路徑進(jìn)行傳輸。
[0447]而且，在上述實(shí)施例中，已經(jīng)描述了從機(jī)頂盒200經(jīng)由HDMI接口向電視接收機(jī)300發(fā)送視差信息的例子。但是，以此方式經(jīng)由HDMI接口發(fā)送視差信息的技術(shù)當(dāng)然可應(yīng)用于另一類型的信源裝置和另一類型的收信裝置的組合。例如，用于BD、DVD等的盤播放器和游戲機(jī)可以用作信源裝置，并且監(jiān)視器裝置、投影儀裝置等可以用作收信裝置。
[0448]而且，在上述實(shí)施例中，已經(jīng)描述了容器是傳輸流(MPEG-2TS)的例子。但是，本技術(shù)也可應(yīng)用于具有其中使用諸如因特網(wǎng)的網(wǎng)絡(luò)進(jìn)行向接收端的分發(fā)的配置的系統(tǒng)。在因特網(wǎng)上的分發(fā)中，在許多情況下可以使用MP4或另一格式的容器用于分發(fā)。
[0449]S卩，作為容器，可以使用諸如在數(shù)字廣播標(biāo)準(zhǔn)中采用的傳輸流(MPEG-2TS)、以及用于在因特網(wǎng)上的分發(fā)的MP4的各種格式的容器。而且，可以采用其中用于提供單個(gè)服務(wù)的方法被劃分為多個(gè)方法并且以不同的發(fā)送形式執(zhí)行各個(gè)方法的應(yīng)用，即通過無線電波發(fā)送視圖之一并且在因特網(wǎng)上發(fā)送另一視圖的情況。
[0450]另外，本技術(shù)還可以提供以下配置。
[0451](I)發(fā)送裝置，包括:
[0452]圖像數(shù)據(jù)獲得單元，其獲得形成立體圖像的左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)；
[0453]視差信息獲得單元，其獲得對于獲得的圖像數(shù)據(jù)的某些畫面的每個(gè)畫面的關(guān)于左眼圖像和右眼圖像之一相對于另一者的視差信息，該視差信息包括與畫面顯示屏幕的某個(gè)區(qū)域中的最近對象再現(xiàn)位置對應(yīng)的第一視差信息以及與該畫面顯示屏幕的該某個(gè)區(qū)域中的最遠(yuǎn)對象再現(xiàn)位置對應(yīng)的第二視差信息；
[0454]視差信息插入單元，其將獲得的視差信息插入到通過對獲得的圖像數(shù)據(jù)編碼而獲得的視頻流中；以及
[0455]圖像數(shù)據(jù)發(fā)送單元，其發(fā)送某個(gè)格式的容器，該容器包括視差信息已經(jīng)被插入其中的視頻流。
[0456](2)根據(jù)(I)的發(fā)送裝置，其中所述視差信息插入單元以畫面為單位或者以GOP為
單位插入第一視差信息和第二視差信息。
[0457]( 3 )根據(jù)(I )或(2 )的發(fā)送裝置，其中在進(jìn)行壓縮編碼處理之后，所述視差信息插入單元將獲得的視差信息插入視頻流中。
[0458](4)根據(jù)(I)到(3)的任意一項(xiàng)的發(fā)送裝置，其中所述視差信息插入單元在將視差信息插入到視頻流中的某個(gè)畫面時(shí)，進(jìn)一步插入識別該視差信息是關(guān)于整個(gè)畫面顯示屏幕的視差信息還是關(guān)于某些數(shù)量的劃分的區(qū)域的每個(gè)區(qū)域的視差信息的標(biāo)識信息。
[0459](5)根據(jù)(I)到(4)的任意一項(xiàng)的發(fā)送裝置，其中所述視差信息獲得單元獲得關(guān)于通過使用劃分信息劃分畫面顯示屏幕而獲得的每個(gè)劃分的區(qū)域的第一視差信息，并且還獲得關(guān)于整個(gè)畫面顯示屏幕的第二視差信息。
[0460](6)根據(jù)(I)到(4)的任意一項(xiàng)的發(fā)送裝置，其中所述視差信息獲得單元獲得關(guān)于通過使用劃分信息劃分畫面顯示屏幕而獲得的每個(gè)劃分的區(qū)域的第一視差信息和第二視Hfs 息。
[0461](7)根據(jù)(I)到(4)的任意一項(xiàng)的發(fā)送裝置，其中所述視差信息獲得單元獲得關(guān)于通過使用第一劃分信息劃分畫面顯示屏幕獲得的每個(gè)劃分的區(qū)域的第一視差信息，并且還獲得通過使用第二劃分信息劃分畫面顯示屏幕而獲得的每個(gè)劃分的區(qū)域的第二視差信息。
[0462](8)發(fā)送方法，包括:
[0463]獲得形成立體圖像的左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)的步驟；
[0464]對于獲得的圖像數(shù)據(jù)的某些畫面的每個(gè)畫面獲得關(guān)于左眼圖像和右眼圖像之一相對于另一個(gè)的視差信息的步驟，該視差信息包括與畫面顯示屏幕的某個(gè)區(qū)域中的最近對象再現(xiàn)位置對應(yīng)的第一視差信息以及與該畫面顯示屏幕的該某個(gè)區(qū)域中的最遠(yuǎn)對象再現(xiàn)位置對應(yīng)的第二視差信息；
[0465]將獲得的視差信息插入到通過對獲得的圖像數(shù)據(jù)編碼而獲得的視頻流中的步驟；以及
[0466]發(fā)送某個(gè)格式的容器的步驟，該容器包括視差信息已經(jīng)被插入其中的視頻流。
[0467](9)接收裝置，包括:
[0468]圖像數(shù)據(jù)接收單元，其接收某個(gè)格式的容器，該容器包括視頻流，
[0469]其中通過對形成立體圖像的左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)編碼而獲得該視頻流，以及
[0470]其中該視頻流包括插入到其中的對于圖像數(shù)據(jù)的某些畫面的每個(gè)畫面的關(guān)于左眼圖像和右眼圖像之一相對于另一個(gè)的視差信息，該視差信息包括與畫面顯示屏幕的某個(gè)區(qū)域中的最近對象再現(xiàn)位置對應(yīng)的第一視差信息以及與該畫面顯示屏幕的該某個(gè)區(qū)域中的最遠(yuǎn)對象再現(xiàn)位置對應(yīng)的第二視差信息，
[0471]該接收裝置還包括:
[0472]信息獲得單元，其從所述容器中包括的視頻流獲得所述左眼圖像數(shù)據(jù)和所述右眼圖像數(shù)據(jù)，并且還獲得所述第一視差信息和所述第二視差信息；以及
[0473]控制單元，其基于獲得的第一視差信息和第二視差信息提供重新配置所述左眼圖像數(shù)據(jù)和所述右眼圖像數(shù)據(jù)以使得視差角在某個(gè)范圍內(nèi)的指令。
[0474](10)發(fā)送裝置，包括:
[0475]圖像數(shù)據(jù)獲得單元，其獲得形成立體圖像的左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)；
[0476]視差信息獲得單元，其對于獲得的圖像數(shù)據(jù)的某些畫面的每個(gè)畫面獲得關(guān)于左眼圖像和右眼圖像之一相對于另一個(gè)的視差信息；
[0477]壓縮編碼單元，其對獲得的視差信息進(jìn)行壓縮編碼處理；
[0478]視差信息插入單元，其將壓縮編碼的視差信息插入到通過對獲得的圖像數(shù)據(jù)編碼而獲得的視頻流中；以及
[0479]圖像數(shù)據(jù)發(fā)送單元，其發(fā)送某個(gè)格式的容器，該容器包括視差信息已經(jīng)被插入其中的視頻流。
[0480](11)根據(jù)(10)的發(fā)送裝置，其中所述壓縮編碼單元使用可變長度碼對獲得的關(guān)于各個(gè)畫面的視差信息進(jìn)行處理，作為所述壓縮編碼處理。
[0481](12)根據(jù)(11)的發(fā)送裝置，其中所述壓縮編碼單元進(jìn)行獲得在獲得的各個(gè)畫面中的參考畫面和被參考的畫面之間的差別數(shù)據(jù)并對該差別數(shù)據(jù)進(jìn)行可變長度編碼的處理，作為所述壓縮編碼處理。
[0482]( 13)根據(jù)(12)的發(fā)送裝置，其中所述壓縮編碼單元通過將在顯示順序上的前一畫面當(dāng)作被參考的畫面而獲得所述差別數(shù)據(jù)。
[0483]( 14)根據(jù)(12)的發(fā)送裝置，其中所述壓縮編碼單元通過將在解碼順序上的前一畫面當(dāng)作被參考的畫面而獲得所述差別數(shù)據(jù)。
[0484](15)根據(jù)(12)到(14)的任意一項(xiàng)的發(fā)送裝置，其中所述視差信息插入單元在將視差信息插入視頻流中的每個(gè)畫面中時(shí)進(jìn)一步插入識別插入的視差信息是內(nèi)部數(shù)據(jù)還是差別數(shù)據(jù)的標(biāo)識信息。[0485](16)根據(jù)(14)的發(fā)送裝置，其中所述視差信息插入單元
[0486]在視頻流中插入針對I畫面、P畫面和被參考的B畫面的視差信息，以及
[0487]在插入的視差信息是差別數(shù)據(jù)的情況下，還插入表示直到被參考的畫面的畫面數(shù)
量的信息。
[0488](17)發(fā)送方法，包括:
[0489]獲得形成立體圖像的左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)的步驟；
[0490]對于獲得的圖像數(shù)據(jù)的某些畫面的每個(gè)畫面獲得關(guān)于左眼圖像和右眼圖像之一相對于另一個(gè)的視差信息的步驟；
[0491]對獲得的視差信息進(jìn)行壓縮編碼處理的步驟；
[0492]將壓縮編碼的視差信息插入到通過對獲得的圖像數(shù)據(jù)編碼而獲得的視頻流中的步驟；以及
[0493]發(fā)送某個(gè)格式的容器的步驟，該容器包括已經(jīng)被插入了視差信息的視頻流。
[0494](18)接收裝置，包括:
[0495]圖像數(shù)據(jù)接收單元，其接收某個(gè)格式的容器，該容器包括視頻流，
[0496]其中通過對形成立體圖像的左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)編碼而獲得該視頻流，以及
[0497]其中該視頻流包括對于圖像數(shù)據(jù)的某些畫面的每個(gè)畫面插入該視頻流的關(guān)于左眼圖像和右眼圖像之一相對于另一個(gè)的視差信息，
[0498]該接收裝置還包括:
[0499]信息獲得單元，其從所述容器中包括的視頻流獲得所述左眼圖像數(shù)據(jù)和所述右眼圖像數(shù)據(jù)，并且還獲得所述視差信息；以及
[0500]視差信息插值單元，其通過使用獲得的關(guān)于前一畫面和后一畫面的視差信息進(jìn)行插值而產(chǎn)生關(guān)于如下畫面的視差信息:對于該畫面，不存在由信息獲得單元獲得的視差信肩、O
[0501](19)接收裝置，包括:
[0502]圖像數(shù)據(jù)接收單元，其接收某個(gè)格式的容器，該容器包括視頻流，
[0503]其中通過對形成立體圖像的左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)編碼而獲得該視頻流，以及
[0504]其中該視頻流包括對于圖像數(shù)據(jù)的某些畫面的每個(gè)畫面插入該視頻流的關(guān)于左眼圖像和右眼圖像之一相對于另一個(gè)的視差信息，該視差信息包括與畫面顯示屏幕的某個(gè)區(qū)域中的最近對象再現(xiàn)位置對應(yīng)的第一視差信息以及與該畫面顯示屏幕的該某個(gè)區(qū)域中的最遠(yuǎn)對象再現(xiàn)位置對應(yīng)的第二視差信息，
[0505]該接收裝置還包括:
[0506]信息獲得單元，其從所述容器中包括的視頻流獲得所述左眼圖像數(shù)據(jù)和所述右眼圖像數(shù)據(jù)，并且還獲得所述第一視差信息和所述第二視差信息；以及
[0507]發(fā)送單元，其將獲得的左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)以及獲得的第一視差信息和第二視差信息彼此相關(guān)聯(lián)地發(fā)送到外部裝置。
[0508](20)根據(jù)(19)的接收裝置，還包括:
[0509]信息重新配置單元，其基于獲得的第一視差信息和第二視差信息，重新配置圖像數(shù)據(jù)和視差信息，以使得視差角在某個(gè)范圍內(nèi)，
[0510]其中所述發(fā)送單元將重新配置的左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)以及重新配置的第一視差信息和第二視差信息彼此相關(guān)聯(lián)地發(fā)送到所述外部裝置。
[0511](21)根據(jù)(I)或(20)的接收裝置，
[0512]其中所述發(fā)送單元以兩個(gè)畫面為單位發(fā)送關(guān)于彼此順序地相鄰的第一畫面和第二畫面的視差信息，以及
[0513]其中至少關(guān)于第一畫面或者第二畫面的視差信息是相對于關(guān)于緊鄰在前面的畫面的視差信息的差別數(shù)據(jù)。
[0514](22)根據(jù)(21)的接收裝置，還包括:
[0515]確定單元，其基于關(guān)于第一畫面的視差信息和關(guān)于第二畫面的視差信息之間的差別數(shù)據(jù)，確定所述關(guān)于第一畫面的視差信息和關(guān)于第二畫面的視差信息中的哪個(gè)將是差別數(shù)據(jù)。
[0516](23)根據(jù)(22)的接收裝置，其中由所述發(fā)送單元發(fā)送的視差信息包括添加到其的指示所述關(guān)于第一畫面的視差信息是否是差別數(shù)據(jù)以及所述關(guān)于第二畫面的視差信息是否是差別數(shù)據(jù)的標(biāo)識信息。
[0517]本技術(shù)的主要特征如下。對于每個(gè)畫面獲得的視差信息的最大值(第二視差信息)和最小值(第一視差信息)被插入到視頻流中，并且發(fā)送該視頻流，從而可以在接收側(cè)檢查視差角是否在在其中觀看不會引起任何健康問題的某個(gè)范圍內(nèi)(見圖8和圖15)。而且，在將對于每個(gè)畫面獲得的視差信息插入到視頻流中并且發(fā)送視頻流的情況下，對視差信息進(jìn)行壓縮編碼的處理，以便減少數(shù)據(jù)量(見圖24)。而且，在使用HDMI向外部裝置以兩個(gè)畫面為單位發(fā)送對于兩個(gè)順序的畫面的各條視差信息的情況下，這兩個(gè)畫面之一的視差信息是相對于緊鄰在前的畫面的差別數(shù)據(jù)，以便降低傳輸數(shù)據(jù)的量(見圖69)。
[0518]參考標(biāo)記列表
[0519]10, IOA圖像發(fā)送/接收系統(tǒng)
[0520]100廣播站
[0521 ] 110，IIOA傳輸數(shù)據(jù)產(chǎn)生單元
[0522]111L，IllR圖像數(shù)據(jù)輸出單元
[0523]112L，112R 縮放器
[0524]113視頻編碼器
[0525]114復(fù)用器
[0526]115視差數(shù)據(jù)產(chǎn)生單元
[0527]116字幕數(shù)據(jù)輸出單元
[0528]117字幕編碼器
[0529]118音頻數(shù)據(jù)輸出單元
[0530]119音頻編碼器
[0531]120壓縮編碼單元
[0532]121緩沖器
[0533]122減法器
[0534]123可變長度編碼單元[0535]200機(jī)頂盒
[0536]211容器緩沖器
[0537]212解復(fù)用器
[0538]213編碼的緩沖器
[0539]214視頻解碼器
[0540]215解碼的緩沖器
[0541]216縮放器
[0542]217疊加單元
[0543]218視差信息緩沖器
[0544]219機(jī)頂盒(STB)圖形緩沖器
[0545]219A電視(TV)圖形緩沖器
[0546]220深度控制單元
[0547]221圖形緩沖器
[0548]231編碼的緩沖器
[0549]232字幕解碼器
[0550]233像素緩沖器
[0551 ]234字幕視差信息緩沖器
[0552]235字幕顯示控制單元
[0553]241編碼的緩沖器
[0554]242音頻解碼器
[0555]243音頻緩沖器
[0556]244信道混合單元
[0557]25IHDMI 發(fā)送單元
[0558]261壓縮解碼單元
[0559]262視差信息控制單元
[0560]263L/R重新配置單元
[0561]264可變長度解碼單元
[0562]265緩沖器
[0563]266加法器
[0564]271最大值獲得單元
[0565]272最小值獲得單元
[0566]273視差角檢查單元
[0567]274視差信息校正單元
[0568]281幀存儲器
[0569]282減法器
[0570]283順序確定單元
[0571]300, 300A電視接收機(jī)
[0572]311HDMI 接收單元
[0573]312縮放器[0574]313疊加單元
[0575]314深度控制單元
[0576]315圖形緩沖器
[0577]316電視(TV)圖形產(chǎn)生單元
[0578]317音頻處理單元
[0579]400HDMI 電纜
【權(quán)利要求】
1.一種發(fā)送裝置，包括: 圖像數(shù)據(jù)獲得單元，其獲得形成立體圖像的左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)； 視差信息獲得單元，其對于獲得的圖像數(shù)據(jù)的某些畫面的每個(gè)畫面獲得關(guān)于左眼圖像和右眼圖像之一相對于另一個(gè)的視差信息，該視差信息包括與畫面顯示屏幕的某個(gè)區(qū)域中的最近對象再現(xiàn)位置對應(yīng)的第一視差信息以及與該畫面顯示屏幕的該某個(gè)區(qū)域中的最遠(yuǎn)對象再現(xiàn)位置對應(yīng)的第二視差信息； 視差信息插入單元，其將獲得的視差信息插入到通過對獲得的圖像數(shù)據(jù)編碼而獲得的視頻流中；以及 圖像數(shù)據(jù)發(fā)送單元，其發(fā)送某個(gè)格式的容器，該容器包括視差信息已經(jīng)被插入其中的視頻流。
2.根據(jù)權(quán)利要求1的發(fā)送裝置，其中所述視差信息插入單元以畫面為單位或者以GOP為單位插入第一視差信息和第二視差信息。
3.根據(jù)權(quán)利要求1的發(fā)送裝置，其中在進(jìn)行壓縮編碼處理之后，所述視差信息插入單元將獲得的視差信息插入視頻流中。
4.根據(jù)權(quán)利要求1的發(fā)送裝置，其中所述視差信息插入單元在將視差信息插入到視頻流中的某個(gè)畫面時(shí)，進(jìn)一步插入識別該視差信息是關(guān)于整個(gè)畫面顯示屏幕的視差信息還是關(guān)于某些數(shù)量的劃分的區(qū)域的每個(gè)區(qū)域的視差信息的標(biāo)識信息。
5.根據(jù)權(quán)利要求1的發(fā)送裝置，其中所述視差信息獲得單元獲得關(guān)于通過使用劃分信息劃分畫面顯示屏幕而獲得的每個(gè)劃分的區(qū)域的第一視差信息，并且還獲得關(guān)于整個(gè)畫面顯示屏幕的第二視差信息。
6.根據(jù)權(quán)利要求1的發(fā) 送裝置，其中所述視差信息獲得單元獲得關(guān)于通過使用劃分信息劃分畫面顯示屏幕而獲得的每個(gè)劃分的區(qū)域的第一視差信息和第二視差信息。
7.根據(jù)權(quán)利要求1的發(fā)送裝置，其中所述視差信息獲得單元獲得關(guān)于通過使用第一劃分信息劃分畫面顯示屏幕獲得的每個(gè)劃分的區(qū)域的第一視差信息，并且還獲得通過使用第二劃分信息劃分畫面顯示屏幕而獲得的每個(gè)劃分的區(qū)域的第二視差信息。
8.一種發(fā)送方法，包括: 獲得形成立體圖像的左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)的步驟； 對于獲得的圖像數(shù)據(jù)的某些畫面的每個(gè)畫面獲得關(guān)于左眼圖像和右眼圖像之一相對于另一個(gè)的視差信息的步驟，該視差信息包括與畫面顯示屏幕的某個(gè)區(qū)域中的最近對象再現(xiàn)位置對應(yīng)的第一視差信息以及與該畫面顯示屏幕的該某個(gè)區(qū)域中的最遠(yuǎn)對象再現(xiàn)位置對應(yīng)的第二視差信息； 將獲得的視差信息插入到通過對獲得的圖像數(shù)據(jù)編碼而獲得的視頻流中的步驟；以及 發(fā)送某個(gè)格式的容器的步驟，該容器包括視差信息已經(jīng)被插入其中的視頻流。
9.一種接收裝置，包括: 圖像數(shù)據(jù)接收單元，其接收某個(gè)格式的容器，該容器包括視頻流， 其中通過對形成立體圖像的左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)編碼而獲得該視頻流，以及 其中該視頻流包括插入到其中的對于圖像數(shù)據(jù)的某些畫面的每個(gè)畫面的關(guān)于左眼圖像和右眼圖像之一相對于另一個(gè)的視差信息，該視差信息包括與畫面顯示屏幕的某個(gè)區(qū)域中的最近對象再現(xiàn)位置對應(yīng)的第一視差信息以及與該畫面顯示屏幕的該某個(gè)區(qū)域中的最遠(yuǎn)對象再現(xiàn)位置對應(yīng)的第二視差信息， 該接收裝置還包括: 信息獲得單元，其從所述容器中包括的視頻流獲得所述左眼圖像數(shù)據(jù)和所述右眼圖像數(shù)據(jù)，并且還獲得所述第一視差信息和所述第二視差信息；以及 控制單元，其基于獲得的第一視差信息和第二視差信息提供重新配置所述左眼圖像數(shù)據(jù)和所述右眼圖像數(shù)據(jù)以使得視差角在某個(gè)范圍內(nèi)的指令。
10.一種發(fā)送裝置，包括: 圖像數(shù)據(jù)獲得單元，其獲得形成立體圖像的左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)； 視差信息獲得單元，其對于獲得的圖像數(shù)據(jù)的某些畫面的每個(gè)畫面獲得關(guān)于左眼圖像和右眼圖像之一相對于另一個(gè)的視差信息； 壓縮編碼單元，其對獲得的視差信息進(jìn)行壓縮編碼處理； 視差信息插入單元，其將壓縮編碼的視差信息插入到通過對獲得的圖像數(shù)據(jù)編碼而獲得的視頻流中；以及 圖像數(shù)據(jù)發(fā)送單元，其發(fā)送某個(gè)格式的容器，該容器包括視差信息已經(jīng)被插入其中的視頻流。
11.根據(jù)權(quán)利要求10的發(fā)送裝置，其中所述壓縮編碼單元使用可變長度碼對獲得的關(guān)于各個(gè)畫面的視差信息進(jìn)行處理，作為所述壓縮編碼處理。
12.根據(jù)權(quán)利要求11的發(fā)送裝置，其中所述壓縮編碼單元進(jìn)行獲得在獲得的各個(gè)畫面中的參考畫面和被參考的畫面 之間的差別數(shù)據(jù)并對該差別數(shù)據(jù)進(jìn)行可變長度編碼的處理，作為所述壓縮編碼處理。
13.根據(jù)權(quán)利要求12的發(fā)送裝置，其中所述壓縮編碼單元通過將在顯示順序上的前一畫面當(dāng)作被參考的畫面而獲得所述差別數(shù)據(jù)。
14.根據(jù)權(quán)利要求12的發(fā)送裝置，其中所述壓縮編碼單元通過將在解碼順序上的前一畫面當(dāng)作被參考的畫面而獲得所述差別數(shù)據(jù)。
15.根據(jù)權(quán)利要求12的發(fā)送裝置，其中所述視差信息插入單元在將視差信息插入視頻流中的每個(gè)畫面中時(shí)進(jìn)一步插入識別插入的視差信息是內(nèi)部數(shù)據(jù)還是差別數(shù)據(jù)的標(biāo)識信肩、O
16.根據(jù)權(quán)利要求14的發(fā)送裝置，其中所述視差信息插入單元 在視頻流中插入針對I畫面、P畫面和被參考的B畫面的視差信息，以及 在插入的視差信息是差別數(shù)據(jù)的情況下，還插入表示直到被參考的畫面的畫面數(shù)量的信息。
17.—種發(fā)送方法,包括: 獲得形成立體圖像的左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)的步驟； 對于獲得的圖像數(shù)據(jù)的某些畫面的每個(gè)畫面獲得關(guān)于左眼圖像和右眼圖像之一相對于另一個(gè)的視差信息的步驟； 對獲得的視差信息進(jìn)行壓縮編碼處理的步驟； 將壓縮編碼的視差信息插入到通過對獲得的圖像數(shù)據(jù)編碼而獲得的視頻流中的步驟；以及 發(fā)送某個(gè)格式的容器的步驟，該容器包括已經(jīng)被插入了視差信息的視頻流。
18.一種接收裝置，包括: 圖像數(shù)據(jù)接收單元，其接收某個(gè)格式的容器，該容器包括視頻流， 其中通過對形成立體圖像的左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)編碼而獲得該視頻流，以及其中該視頻流包括對于圖像數(shù)據(jù)的某些畫面的每個(gè)畫面插入該視頻流的關(guān)于左眼圖像和右眼圖像之一相對于另一個(gè)的視差信息， 該接收裝置還包括: 信息獲得單元，其從所述容器中包括的視頻流獲得所述左眼圖像數(shù)據(jù)和所述右眼圖像數(shù)據(jù)，并且還獲得所述視差信息；以及 視差信息插值單元，其通過使用獲得的關(guān)于前一畫面和后一畫面的視差信息進(jìn)行插值而產(chǎn)生關(guān)于如下畫面的視差信息:對于該畫面，不存在由信息獲得單元獲得的視差信息。
19.一種接收裝置，包括: 圖像數(shù)據(jù)接收單元，其接收某個(gè)格式的容器，該容器包括視頻流，其中通過對形成立體圖像的左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)編碼而獲得該視頻流，以及其中該視頻流包括對于圖像數(shù)據(jù)的某些畫面的每個(gè)畫面插入該視頻流的關(guān)于左眼圖像和右眼圖像之一相對于另一個(gè)的視差信息，該視差信息包括與畫面顯示屏幕的某個(gè)區(qū)域中的最近對象再現(xiàn)位置對應(yīng)的第一視差信息以及與該畫面顯示屏幕的該某個(gè)區(qū)域中的最遠(yuǎn)對象再現(xiàn)位置對應(yīng)的第二視差信息， 該接收裝置還包括: 信息獲得單元，其從所述容 器中包括的視頻流獲得所述左眼圖像數(shù)據(jù)和所述右眼圖像數(shù)據(jù)，并且還獲得所述第一視差信息和所述第二視差信息；以及 發(fā)送單元，其將獲得的左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)以及獲得的第一視差信息和第二視差信息彼此相關(guān)聯(lián)地發(fā)送到外部裝置。
20.根據(jù)權(quán)利要求19的接收裝置，還包括: 信息重新配置單元，其基于獲得的第一視差信息和第二視差信息，重新配置圖像數(shù)據(jù)和視差信息，以使得視差角在某個(gè)范圍內(nèi)， 其中所述發(fā)送單元將重新配置的左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)以及重新配置的第一視差信息和第二視差信息彼此相關(guān)聯(lián)地發(fā)送到所述外部裝置。
21.根據(jù)權(quán)利要求19的接收裝置， 其中所述發(fā)送單元以兩個(gè)畫面為單位發(fā)送關(guān)于彼此順序地相鄰的第一畫面和第二畫面的視差信息，以及 其中至少關(guān)于第一畫面或者第二畫面的視差信息是相對于關(guān)于緊鄰在前面的畫面的視差信息的差別數(shù)據(jù)。
22.根據(jù)權(quán)利要求21的接收裝置，還包括: 確定單元，其基于關(guān)于第一畫面的視差信息和關(guān)于第二畫面的視差信息之間的差別數(shù)據(jù)，確定所述關(guān)于第一畫面的視差信息和關(guān)于第二畫面的視差信息中的哪個(gè)將是差別數(shù)據(jù)。
23.根據(jù)權(quán)利要求22的接收裝置，其中由所述發(fā)送單元發(fā)送的視差信息包括添加到其的指示所述關(guān)于第一畫面的視差信息是否是差別數(shù)據(jù)以及所述關(guān)于第二畫面的視差信息是否是差別數(shù)據(jù)的標(biāo)識信息。
【文檔編號】H04N13/00GK103597823SQ201380001556
【公開日】2014年2月19日 申請日期:2013年1月17日 優(yōu)先權(quán)日:2012年2月16日
【發(fā)明者】塚越郁夫 申請人:索尼公司