元素流I(ESl)在3D視圖1D對(duì)應(yīng)于O的3D圖像中用作右圖像(右視圖)，并且在3D視圖1D對(duì)應(yīng)于I的3D圖像中可以用作左圖像(左視圖)。元素流2(ES2)在3D視圖1D對(duì)應(yīng)于I的3D圖像中用作右圖像(右視圖)，并且在3D視圖1D對(duì)應(yīng)于2的3D圖像中可以用作左圖像(左視圖)。
[0052]圖2是按照本發(fā)明的一個(gè)實(shí)施例，用于邊緣違反的示意圖。
[0053]圖2對(duì)應(yīng)于示出由觀看3D圖像的觀眾識(shí)別的圖像的每個(gè)部分的相對(duì)深度的俯視圖。位于中心的圓圈形式的對(duì)象被認(rèn)為是離用戶最近的，并且左側(cè)和右側(cè)的矩形被排列在圓圈形式的對(duì)象后面。由于位于左側(cè)和右側(cè)的矩形具有負(fù)視差，所以該矩形被認(rèn)為是基于屏幕放置地接近用戶的對(duì)象。
[0054]但是，同時(shí)，由于矩形位置在屏幕的兩端邊緣處，所以用戶可能將其識(shí)別為由對(duì)應(yīng)于屏幕的邊緣部分的框阻擋矩形的一部分。因此，用戶識(shí)別為基于該屏幕左側(cè)和右側(cè)的矩形位于用戶的接近位置，并且由于矩形由屏幕的框阻擋，用戶也可能識(shí)別為該矩形位于屏幕的后面。因此，用戶可能在深度方面感覺混亂。
[0055]與2D圖像不同，當(dāng)觀看3D立體圖像的時(shí)候，視角是用于顯示效果的重要部分。例如，當(dāng)幾個(gè)人并排就座觀看TV的時(shí)候，在2DTV的情況下，所有人可以觀看類似水平的圖像。但是，在3DTV的情況下，由于3DTV的悅目點(diǎn)是有限的，所以3D圖像的質(zhì)量可能按照觀看3D圖像的人的角度/位置變化。因此，在使用按照觀看位置顯示每個(gè)3D圖像的多視圖圖像顯示設(shè)備的情況下，每個(gè)觀眾可以能夠觀看3D圖像，同時(shí)感覺較好的3D效果。
[0056]由于多視圖圖像3D服務(wù)示出按照每個(gè)位置彼此不同的視點(diǎn)的屏幕，所以3D效果、邊緣違反現(xiàn)象等等在每個(gè)3D圖像中具有不同的方面。因此，為了消除或者減輕邊緣違反現(xiàn)象，應(yīng)按照每個(gè)3D圖像發(fā)送單獨(dú)的參數(shù)。尤其是，兩種方法可用于處理邊緣違反。首先，立體3DTV經(jīng)由廣播信號(hào)將接收端需要的相關(guān)參數(shù)發(fā)送給接收端以處理邊緣違反。其次，發(fā)送端可以將其邊緣違反被預(yù)先處理的立體流發(fā)送給接收端。但是，在多視圖3DTV廣播中，由于處理或者減輕邊緣違反的方法按照單個(gè)流包括于其中的視點(diǎn)的立體3D圖像變化，所以很難適用發(fā)送其邊緣違反由發(fā)送端預(yù)先消除或者減輕的立體流的方法。因此，必須具有允許接收端按照每個(gè)視點(diǎn)適當(dāng)?shù)亟邮蘸吞幚韰?shù)的廣播信令。
[0057]在這種情況下，考慮3D圖像可以對(duì)應(yīng)于直接發(fā)送的流，或者由接收端合成的3D圖像。當(dāng)圖像被合成的時(shí)候，如果作為輸入的原始圖像導(dǎo)致邊緣違反，則基于原始圖像產(chǎn)生的新3D圖像也可能導(dǎo)致邊緣違反。因此，如果用于補(bǔ)充邊緣違反的信息按照合成的3D圖像被發(fā)送，則當(dāng)觀眾觀看多視圖3DTV的時(shí)候，可能減少失真或者不便。
[0058]因此，本發(fā)明提出在提供多視圖3D圖像的3DTV中實(shí)現(xiàn)多視圖3D視頻廣播服務(wù)的接收機(jī)或者發(fā)射機(jī)的方法。并且，本發(fā)明提出使用信令信息操作和實(shí)現(xiàn)3DTV控制多視圖3D視頻輸出的方法。
[0059]圖3是按照本發(fā)明的一個(gè)實(shí)施例，用于處理邊緣違反方法的示意圖。
[0060]作為處理邊緣違反的方法之一，可以能夠使用發(fā)送端處理圖像的HIT(水平圖像轉(zhuǎn)換)技術(shù)。按照HIT技術(shù)，為了防止失真現(xiàn)象出現(xiàn)在一對(duì)L、R立體圖像的邊緣側(cè)，發(fā)送端執(zhí)行圖像的移位和繪條(bar)(剪切)處理，并且發(fā)送3D圖像。
[0061]在不考慮多視圖的情況下，以從發(fā)送端適用的方式發(fā)送移位和繪條處理的情形是可能的。但是，在多視圖3DTV的情況下，由于要適用的移位和繪條可以按照每個(gè)視點(diǎn)變化，所以發(fā)送端可能難以預(yù)期移位和繪條并且發(fā)送3D圖像。
[0062]圖3(a)示出在水平方向移動(dòng)和處理包括在3D圖像中的左圖像和右圖像的方法。
[0063]參考圖3(a)，邊緣違反處理器在向左水平方向移動(dòng)包括在3D圖像中的左圖像，并在向右水平方向移動(dòng)右圖像。在這種情況下，在水平方向的移動(dòng)距離可以按照導(dǎo)致邊緣違反的對(duì)象的顯示大小確定。尤其是，左和右圖像在水平方向被移動(dòng)以便在屏幕中不顯示該對(duì)象。
[0064]在左和右圖像中，邊緣違反處理器利用條填充由在水平方向移動(dòng)產(chǎn)生的空的區(qū)域，并且剪切偏離由在水平方向移動(dòng)產(chǎn)生的幀大小的區(qū)域。
[0065]如果3D圖像使用由前面提到的處理產(chǎn)生的左和右圖像產(chǎn)生，則可以能夠消除或者減輕邊緣違反。尤其是，預(yù)期導(dǎo)致邊緣違反的區(qū)域被剪切，并且對(duì)應(yīng)于左圖像或者右圖像的圖像可以在邊緣區(qū)域中顯示。
[0066]圖3(b)示出在水平方向移動(dòng)和處理包括在3D圖像中的左圖像和右圖像的方法。
[0067]參考圖3(b)，邊緣違反處理器將右圖像的原始圖像按照原樣保持，并且僅僅在向左水平方向移動(dòng)左圖像。在向左水平方向移動(dòng)的左圖像之中，偏離幀區(qū)域的區(qū)域被剪切，并且剩余的左圖像與右圖像組合。通過這樣做，可以配置3D圖像。
[0068]圖4是按照本發(fā)明的不同的實(shí)施例，用于處理邊緣違反方法的示意圖。
[0069]在多視圖TV中，新的隨機(jī)視點(diǎn)的3D圖像可以基于接收的視頻數(shù)據(jù)流產(chǎn)生(或者合成)。在這種情況下，如果邊緣違反存在于用于合成3D圖像的一對(duì)左/右圖像中，則邊緣違反也可能存在于合成的結(jié)果圖像中。在這種情況下，可以存在能夠消除、減輕或者防止邊緣違反存在于重新合成的3D圖像中的各種方法。
[0070]按照本發(fā)明的一個(gè)實(shí)施例，第一個(gè)方法是示意對(duì)于多個(gè)3D圖像的邊緣違反區(qū)域。(對(duì)于各種視圖的邊緣違反區(qū)域的示意)
[0071]按照第一個(gè)方法，可以能夠?qū)τ谒泻铣傻?D圖像以諸如3D_edge_handling_inforO這樣的形式示意信息。尤其是，對(duì)于許多視點(diǎn)的3D圖像，如果產(chǎn)生有關(guān)在其中出現(xiàn)邊緣違反的區(qū)域的信令信息，并且該信息被發(fā)送，則當(dāng)接收機(jī)合成3D圖像的時(shí)候，參考有關(guān)相應(yīng)的視點(diǎn)的邊緣違反區(qū)域的信息，接收機(jī)可以能夠減少或者減輕邊緣違反。在這種情況下，產(chǎn)生的信令信息可以經(jīng)由廣播信號(hào)和/或因特網(wǎng)信號(hào)傳送給接收機(jī)。用于補(bǔ)充、消除或者減輕邊緣違反的信息將稱作邊緣處理信息、邊緣處理數(shù)據(jù)或者邊緣信息。
[0072]按照本發(fā)明不同的實(shí)施例的第二個(gè)方法將提供用于邊緣違反區(qū)域檢測器(EVAD)函數(shù)的信令信息。(用于邊緣違反區(qū)域檢測器(EVAD)函數(shù)的信令信息)。
[0073]按照第二個(gè)方法，與有關(guān)左/右圖像的照相機(jī)位置的信息對(duì)應(yīng)的輸入和輸出可以示意與邊緣處理要適用于的像素間隔值對(duì)應(yīng)的邊緣違反區(qū)域檢測器(EVAD)函數(shù)。尤其是，第二個(gè)方法對(duì)應(yīng)于示意函數(shù)類型和能夠扣除LL_edge_v1lat1n_width和RR_edge_v1lat1n_width (或者 LL_edge_pixel_width 和 RR_edge_pixel_width)的相關(guān)的系數(shù)的方法。例如，如果該方法示意相關(guān)的信息的值對(duì)應(yīng)于線性地增長/減小形式，則能夠經(jīng)由函數(shù)類型對(duì)應(yīng)于線性函數(shù)的點(diǎn)、起點(diǎn)值、終點(diǎn)值等等限定函數(shù)。在不同類型的函數(shù)的情況下，可以能夠不意附加的相關(guān)的系數(shù)。
[0074]按照本發(fā)明的不同的實(shí)施例的第三個(gè)方法檢測邊緣違反而無需信令信息。(無需信令信息實(shí)現(xiàn)邊緣違反檢測)
[0075]按照第三個(gè)方法，當(dāng)用于消除、減輕或者處理邊緣違反的信息沒有分別地示意的時(shí)候，接收端本身可以檢測和處理邊緣違反區(qū)域。在這種情況下，對(duì)于通過合成圖像(視圖合成)產(chǎn)生的虛擬的圖像(虛擬的視圖)，能夠在產(chǎn)生虛擬的圖像的過程中，經(jīng)由在像素之間的映射信息扣除在其中出現(xiàn)邊緣違反的區(qū)域。當(dāng)接收端無需合成圖像(視圖合成)按照原樣輸出接收的視頻數(shù)據(jù)流的時(shí)候，能夠經(jīng)由諸如在接收端中處理的左圖像和右圖像之間特征匹配這樣的單獨(dú)的過程，扣除在其中出現(xiàn)邊緣違反的區(qū)域。作為特征匹配的一個(gè)例子，接收機(jī)分別地檢測包括在左圖像和右圖像中的對(duì)象或者像素。并且，接收機(jī)可以檢測存在于左圖像中而不存在于右圖像中的對(duì)象或者像素，或者存在于右圖像中而不存在于左圖像中的對(duì)象或者像素。接收機(jī)可以檢測存在于或者左圖像或者右圖像中的對(duì)象或者像素的區(qū)域?yàn)槠渲羞吘夁`反出現(xiàn)的區(qū)域。
[0076]參考圖4，接收端可以包括邊緣違反區(qū)域檢測器和/或邊緣違反處理器。
[0077]邊緣違反區(qū)域檢測器檢測在對(duì)于特定的視點(diǎn)合成的3D圖像的左圖像和右圖像中邊緣違反出現(xiàn)的區(qū)域。在這種情況下，在前面提到的方法之中的一個(gè)或多個(gè)方法可用于檢測邊緣違反出現(xiàn)其中的區(qū)域。
[0078]如果有關(guān)在3D圖像中出現(xiàn)的邊緣違反的信息按照第一個(gè)方法為每個(gè)視點(diǎn)提供，則邊緣違反處理器使用該信息消除、減輕或者處理邊緣違反?；蛘撸吘夁`反處理器接收有關(guān)由邊緣違反區(qū)域檢測器檢測的邊緣違反區(qū)域的信息，并且然后可以能夠使用該信息消除、減輕或者處理邊緣違反。
[0079]圖5是按照本發(fā)明的一個(gè)實(shí)施例，用于經(jīng)由SEI (輔助的增強(qiáng)信息)消息示意3D_view_processing_info 結(jié)構(gòu)的表。
[0080]如果與邊緣違反相關(guān)的信息以視頻級(jí)別被發(fā)送，則可以能夠按照每個(gè)幀或者場景應(yīng)對(duì)邊緣違反區(qū)域變化。
[0081]在H.264 (或者AVC)視頻的情況下，有關(guān)邊緣違反的信息可以發(fā)送給包括配置為幫助諸如解碼、輸出等等這樣的過程的信息的SEI (輔助的增強(qiáng)信息)區(qū)域。按照本發(fā)明，可以能夠指定進(jìn)入視頻級(jí)別的SEI消息以發(fā)送邊緣違反信息。圖5對(duì)應(yīng)于用于指定SEI消息信令3D_view_processing_info情形的實(shí)施例。作為一個(gè)實(shí)施例，如果有效載荷類型字段的值對(duì)應(yīng)于“50”，則該字段可以表示發(fā)送3D_view_processing_info的SEI消息。
[0082]邊緣違反信息或者3D邊緣處理信息對(duì)應(yīng)于用于消除、減輕或者處理在多視圖3D圖像的每個(gè)視點(diǎn)的圖像中出現(xiàn)的邊緣違反的信息。邊緣違反信息或者3D邊緣處理信息包括 3D_view_processing_info。
[0083]圖6是按照本發(fā)明的一個(gè)實(shí)施例，用于3D_view_processing_info語法的表。
[0084]為了處理其中出現(xiàn)邊緣違反的部分，可以能夠使用前面提到的移位和繪條方法?；蛘撸梢允褂美L制條而無需移位(浮動(dòng)窗口)的方法、經(jīng)由剪切和部分縮放而無需繪制條的處理邊緣違反的方法等等。由于適用于每個(gè)處理方法的參數(shù)彼此不同，所以必須擁有發(fā)送邊緣違反處理數(shù)據(jù)或者邊緣違反信息以示意適用于每個(gè)處理方法參數(shù)的方法。邊緣處理相關(guān)的數(shù)據(jù)可以作為用于視頻內(nèi)容的元數(shù)據(jù)給出。
[0085]按照本發(fā)明的一個(gè)實(shí)施例，3D圖像處理信息(3D_view_processing_infor)包括 3D_view_processing_info_id 字段、3D_view_processing_update_flag 字段、num_3D_views 字段、3D_view_ID 字 ?；>3D_view_pr1rity 字段、synthesized_L-flag 字段、synthesized_R-flag 字段、Left_view_ID 字段、L_camera_parameter_exist_flag 字段、L_cam_baseIine_distance 字段、right_view_ID 字段、R_camera_parameter_exist_flag字段、R_cam_baseIine_distance 字段、30_6(^6_11311(11;[1^_;[11；1^0()元素，和 / 或 3D_EVAD_funct1n_info ()元素。
[0086]3D_view_processing_info_id字段對(duì)應(yīng)于唯一地識(shí)別3D圖像處理信息的信息。
[0087]3D_view_processing_update_flag字段對(duì)應(yīng)于表示是否當(dāng)前發(fā)送的3D圖像處理信息與先前接收的信息相同，或者是否當(dāng)前發(fā)送的3D圖像處理信息需要被新更新的字段。如果當(dāng)前發(fā)送的3D圖