專利名稱：用于生成、傳輸以及接收立體圖像的方法和相關(guān)設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及立體視頻流(S卩，當(dāng)在可視化設(shè)備中適當(dāng)處理時，產(chǎn)生被觀看者感知為三維的圖像序列的視頻流)的生成、存儲、傳輸、接收和再現(xiàn)。如所知的那樣，可以通過再現(xiàn)兩個圖像，一個針對觀看者的右眼并且另一個針對觀看者的左眼來獲得三維感知。因此，立體視頻流傳送關(guān)于兩個圖像序列的信息，其對應(yīng)于對象或場景的右和左視角。本發(fā)明特別地涉及用于復(fù)用復(fù)合圖像內(nèi)右和左視角的兩個圖像(此后稱為右圖像和左圖像)的方法和設(shè)備，復(fù)合圖像表示立體視頻流(此后稱為容器幀)的幀。此外，本發(fā)明還涉及用于解復(fù)用所述復(fù)合圖像、即用于從其提取復(fù)用設(shè)備輸入的右和左圖像的方法和設(shè)備。
背景技術(shù)：
為了防止電視信號傳送和廣播網(wǎng)絡(luò)(不論陸地還是衛(wèi)星網(wǎng)絡(luò))受到過載，本領(lǐng)域中已知將右和左圖像復(fù)用為立體視頻流的單個復(fù)合圖像。第一示例是所謂的并排(s i de-by-s i de )復(fù)用，其中右圖像和左圖像被水平欠采樣(under samp I e )并且被并排布置在立體視頻流的相同巾貞中。該類型的復(fù)用具有如下缺點水平分辨率減半，而豎直分辨率保持不變。另ー示例是所謂的頂?shù)?top-bottom)復(fù)用，其中右圖像和左圖像被豎直欠采樣并且以ー個在另一的頂部上來布置在立體視頻流的相同幀中。此類復(fù)用具有如下缺點，豎直分辨率減半而水平分辨率保持不變。也存在其他更復(fù)雜的方法，諸如例如專利申請W003/088682中公開的ー種方法。該申請描述了使用棋盤采樣以便確定組成右和左圖像的像素數(shù)量。將針對右和左圖像的幀選擇的像素“在幾何上”壓縮為并排格式(通過移除相應(yīng)像素在列I中產(chǎn)生的空白由列2的像素填充，以此類推)。在用于在屏幕上呈現(xiàn)圖像的解碼步驟期間，將右和左圖像的幀帶回到它們的原始格式，并且通過應(yīng)用合適的插值技術(shù)來重建丟失的像素。該方法允許水平和豎直分辨率之間的比保持恒定，但是其減少了對角線分辨率并且也通過引入否則將缺少的高頻空間譜分量而改變了圖像像素中的相關(guān)性。這可以減少隨后壓縮步驟(例如，MPEG2或MPEG4或H. 264壓縮)的效率，而也增加壓縮視頻流的比特率。根據(jù)專利申請W02008/153863已知用于復(fù)用右和左圖像的其他方法。這些方法之一提供執(zhí)行右和左圖像的70%縮放；然后將縮放的圖像分解為8X8像素的塊。每個縮放圖像的塊可以壓縮為等于約一半復(fù)合圖像的區(qū)域。該方法具有如下缺點塊的重新分布通過引入高頻空間譜分量而修改了組成圖像的塊中的空間相關(guān)性，從而減少了壓縮效率。而且，每個圖像的縮放操作和每個圖像分段為大量的塊涉及高計算成本并且因此增加了復(fù)用和解復(fù)用設(shè)備的復(fù)雜性。這些方法中的另ー個將對角線縮放應(yīng)用于每個右和左圖像，使得將原始圖像變形為平行四邊形。兩個平行四邊形然后被分解為三角形分區(qū)(region)，并且組成矩形復(fù)合圖像，其中識別并且重新布置通過分解兩個平行四邊形獲得的三角形分區(qū)。以如下方式組織右和左圖像的三角形分區(qū)，該方式使得通過復(fù)合圖像的對角線來分離它們。像頂?shù)缀筒⑴欧桨敢幌?，該方案也受到了如下缺點改變水平與豎直分辨率之間的比(平衡)。此外，細分為重新布置在立體幀內(nèi)的大量三角形分區(qū)使得隨后的壓縮步驟(例如，MPEG2、MPEG4或H. 264)在通信信道上傳輸之前在三角形分區(qū)之間的邊界區(qū)域中生成贗像(artifact)。所述贗像例如可以由根據(jù)H. 264標準的壓縮過程執(zhí)行的運動估計過程產(chǎn)生。該方案的其他缺點涉及用于縮放右和左圖像的操作以及用于對三角形分區(qū)分段和旋轉(zhuǎn)平移(rototranslate)的之后操作所需的計算復(fù)雜性。
本發(fā)明的目的是提供允許克服現(xiàn)有技術(shù)缺點的、用于復(fù)用和解復(fù)用右和左圖像的復(fù)用方法和解復(fù)用方法(以及相關(guān)設(shè)備)。特別地，本發(fā)明的目的之ー是提供允許保留水平與豎直分辨率之間的平衡的、用于復(fù)用和解復(fù)用右和左圖像的復(fù)用方法和解復(fù)用方法(以及相關(guān)設(shè)備)。本發(fā)明的另一目的是提供允許隨后應(yīng)用高壓縮率而最小化失真或贗像的產(chǎn)生的、用于復(fù)用右和左圖像的復(fù)用方法(以及相關(guān)設(shè)備)。本發(fā)明的其他目的是提供特征在于減少的計算成本的復(fù)用方法和解復(fù)用方法(以及相關(guān)設(shè)備)。通過合并所附權(quán)利要求書(g在作為本說明書的完整部分)中記載的特征、用于復(fù)用和解復(fù)用右和左圖像的復(fù)用方法和解復(fù)用方法(以及相關(guān)設(shè)備)來實現(xiàn)本發(fā)明的這些和其他目的。

發(fā)明內(nèi)容
本發(fā)明基礎(chǔ)的一般思想是使兩個圖像進入其像素數(shù)量大于或等于待復(fù)用的兩個圖像(例如，右圖像和左圖像)的像素之和的復(fù)合圖像中。使第一圖像(例如，左圖像)的像素進入復(fù)合圖像而不經(jīng)歷任何改變，而將第二圖像細分為其像素布置在復(fù)合圖像的自由區(qū)域中的分區(qū)。該方案提供了兩個圖像之一保持不改變的優(yōu)勢，這導(dǎo)致了重建圖形的更好質(zhì)量。有利地，然后將第二圖像分解為最小可能數(shù)量的分區(qū)，從而最大化像素中的空間相關(guān)性并且減少壓縮階段期間的贗像的產(chǎn)生。在有利的實施例中，僅借助于平移或旋轉(zhuǎn)平移操作使第二圖像的分區(qū)進入復(fù)合圖像，因此保持水平與豎直分辨率之間的比不改變。在其他實施例中，第二圖像已經(jīng)被分解為的分區(qū)的至少ー個經(jīng)歷鏡面反轉(zhuǎn)(specular inversion)操作(即，相對于ー個軸(特別是ー邊)顛倒它)并且以如下方式布置在復(fù)合圖像中，該方式使得由于存在于兩個右和左圖像的相應(yīng)(homologous)像素(S卩，定位在相同行和列中的兩個圖像的像素)之間的強相關(guān)性，其邊之一與在接壤邊上具有相同或類似像素的另ー圖像的一邊接壤(border on)。
該解決方案提供了在邊界區(qū)域中減少贗像產(chǎn)生的優(yōu)勢。更有優(yōu)勢地，第二圖像被細分為的分區(qū)具有矩形形狀；與使用布置有在對角線方向上穿過復(fù)合圖像的邊界區(qū)域的三角形分區(qū)的解決方案相比，該選擇提供了減少后續(xù)壓縮產(chǎn)生的贗像，尤其是如果后者作用于像素的方塊(例如，針對札264標準的16X 16)。根據(jù)特別有利的實施例，通過在復(fù)合圖像中引入冗余，即通過復(fù)制某些像素組若干次來進ー步減少或甚至完全消除贗像的形成。特別地，通過將待進入復(fù)合圖像中的基本圖像分解為具有如下這樣的尺寸的分區(qū)來達到這一點，該尺寸使得這些分區(qū)的像素總數(shù)超過待分解的圖像的像素數(shù)量。換言之，圖像被分解為其中至少兩個包括圖像共同部分的分區(qū)。共同圖像部分是拆解圖像中彼此相鄰的分區(qū)之間的邊界區(qū)域。該共同部分的大小優(yōu)選地取決于后續(xù)將應(yīng)用于復(fù)合圖像的壓縮類型，并且可以充當(dāng)在重建拆解圖像時將部分地或完全地移除的緩沖區(qū)域。由于壓縮可能通過消除緩沖區(qū)域或至少其最外部分在所述分區(qū)的邊界區(qū)域中引入贗像，所以消除任何贗像并且重建忠實于原始圖像的圖像是可能的。 根據(jù)通過非限制性示例提供的本發(fā)明的某些實施例的以下描述，本發(fā)明的其他目的和優(yōu)勢將變得更清楚。


將參考附圖來描述所述實施例，其中
圖I示出了將右圖像和左圖像復(fù)用為復(fù)合圖像的設(shè)備的框 圖2是圖I的設(shè)備執(zhí)行的方法的流程 圖3示出了將進入復(fù)合圖像中的圖像的拆解的第一形式。圖4示出了根據(jù)本發(fā)明的一個實施例構(gòu)造復(fù)合圖像的第一階段。圖5示出了圖4的完整復(fù)合圖像。圖6示出了將進入復(fù)合圖像的圖像的拆解的第二形式。圖7示出了包括圖6的圖像的復(fù)合圖像。圖8示出了將進入復(fù)合圖像的圖像的拆解的第三形式。圖9示出了包括圖8的圖像的復(fù)合圖像。圖10示出了用于接收根據(jù)本發(fā)明的方法生成的復(fù)合圖像的接收器的框圖。圖11示出了重建根據(jù)圖8的方法拆解的并且進入由圖10的接收器接收的復(fù)合圖像的圖像的某些階段。圖12是用于重建復(fù)用到圖9中所示類型的復(fù)合圖像中的右和左圖像的方法的流程圖。圖13示出了根據(jù)本發(fā)明第四實施例的復(fù)合圖像。圖14a到14f示出了在針對使右圖像和左圖像進入圖13的復(fù)合圖像中而執(zhí)行的不同處理階段中的右圖像和左圖像。其中借助于類似的參考來指示合適的、類似的結(jié)構(gòu)、部件、材料和/或元素。
具體實施例方式圖I示出了用于生成立體視頻流101的設(shè)備100的框圖。在圖I中，設(shè)備100分別接收預(yù)期用于左眼(L)和用于右眼(R)的兩個圖像序列102和103，例如兩個視頻流。設(shè)備100允許實現(xiàn)用于復(fù)用兩個序列102和103的兩個圖像的方法。為了實現(xiàn)用于復(fù)用右和左圖像的方法，設(shè)備100包括用于將輸入圖像(圖I的示例中的右圖像)分解為多個子圖像的拆解器模塊104，每個子圖像對應(yīng)于接收圖像的ー個分區(qū)，以及能夠使接收圖像的像素進入將在其輸出處提供的單個復(fù)合圖像的組裝器(assembler)模塊 105。
現(xiàn)在將參考圖2描述設(shè)備100實現(xiàn)的復(fù)用方法的ー個示例。方法在步驟200中開始。隨后(步驟201)，將兩個輸入圖像之一(右或左)分解為多個分區(qū)，如圖3中所示。在圖3的示例中，拆解圖像是視頻流720p的幀R，即具有1280X720像素分辨率、25/30fps (巾貞姆秒)的逐行格式(progressive format)。圖3的幀R來自攜帶預(yù)期用于右眼的圖像的視頻流103，并且被拆解為三個分區(qū)R1、R2 和 R3。通過將圖像R劃分為相同大小的兩個部分并且隨后將這些部分之一細分為相同大小的兩個部分來獲得對圖像R的拆解。分區(qū)Rl具有640X720像素的大小并且通過取得每行的所有前640個像素來獲得分區(qū)Rl。分區(qū)R2具有640X360像素的大小并且通過取得前360行的從641到720的像素來獲得分區(qū)R2。分區(qū)R3具有640X360像素的大小并且通過取得圖像R的其余像素(即，最后360行的從641到720的像素)來獲得分區(qū)R3。在圖I的示例中，模塊104執(zhí)行拆解圖像R的操作，模塊104接收輸入圖像R (在該情況中為幀R)并且輸出對應(yīng)于三個分區(qū)R1、R2和R3的三個子圖像(即，三個像素組)。隨后(步驟202和203)，構(gòu)造復(fù)合圖像C，其包括涉及右和左輸入圖像兩者的信息；在此描述的示例中，所述復(fù)合圖像C是輸出立體視頻流的幀，并且因此其被稱為容器幀。首先(步驟202)，設(shè)備100接收的并且不由設(shè)備105拆解的輸入圖像(圖I的示例中的左圖像L)未改變地進入到容器幀中，以諸如包括兩個輸入圖像的所有像素的方式來對容器幀定大小(size)。例如,如果輸入圖像具有1280X720像素的大小，那么適合包含兩個圖像的容器幀將是1920X 1080像素的幀，例如，1080p類型的視頻流的幀(具有1920X 1080像素、25/30幀每秒的逐行格式)。在圖4的示例中，左圖像L進入到容器幀C中并且定位在左上角。這通過將圖像L的1280X720像素復(fù)制到區(qū)域Cl中來獲得，區(qū)域Cl由容器幀C的前720行的前1280個
像素組成。當(dāng)在以下描述中對使圖像進入幀中或從ー個幀向另一幀傳送或復(fù)制像素進行參考時，應(yīng)該理解這意味著執(zhí)行生成(通過使用硬件和/或軟件裝置)包括與源圖像相同像素的新幀的過程。用于將源圖像(或源圖像的像素組)再現(xiàn)為目標圖像的(軟件和/或硬件)技術(shù)被視為對于本發(fā)明的目的不重要并且在此將不再進行進一歩討論，因為它們本身為本領(lǐng)域技術(shù)人員所知。在下ー步驟203中，模塊104在步驟201中拆解的圖像進入容器幀中。這是通過將拆解的圖像的像素復(fù)制到容器幀C中的其區(qū)域中由模塊105實現(xiàn)的，該區(qū)域沒有被圖像L占用，即，區(qū)域Cl外部的區(qū)域。為了實現(xiàn)最佳可能壓縮并且在解壓縮視頻流時減少贗像的生成，通過保留相應(yīng)的空間關(guān)系來復(fù)制模塊104輸出的子圖像的像素。換言之，借助于平移和/或旋轉(zhuǎn)操作排他地將分區(qū)Rl、R2和R3復(fù)制到幀C的相應(yīng)區(qū)域中而不經(jīng)歷任何變形。模塊105輸出的容器幀C的示例在圖5中示出。將分區(qū)Rl復(fù)制到前720行的最后640個像素(區(qū)域C2)中，即之前復(fù)制的圖像L旁邊。在區(qū)域Cl下，即分別在區(qū)域C3和C4中復(fù)制分區(qū)R2和R3，區(qū)域C3和C4分別包括最后360行的前640個像素和之后的640個像素。作為對圖5所示解決方案的優(yōu)選替代，可以將分區(qū)R2和R3復(fù)制到容器幀C的由 像素組分離的分開區(qū)域中(即，既不重疊也不相鄰)，從而減少邊界分區(qū)。用于使圖像L和R進入容器幀的操作不意味著對水平與豎直分辨率之間平衡的任何變更。在一個實施例中，向幀C的其余像素分配相同的RGB值；例如，所述其余像素可以都是黑色。在其他實施例中，在復(fù)合圖像中剩下可用的空間可以用于進入用于在解復(fù)用器級重建右和左圖像所需的任何類型的信號，例如指示如何形成復(fù)合圖像。在該實施例中，沒有被右或左圖像或其部分占用的容器幀的分區(qū)用于接收信號。該信號分區(qū)的像素例如以兩種顔色(例如，黒色和白色)染色，從而產(chǎn)生攜帯信號信息的任何種類的條形碼，即線性的或ニ維的。—旦將兩個輸入圖像(和也可能是信號)傳送到容器幀中已經(jīng)完成，設(shè)備100實現(xiàn)的方法就結(jié)束并且可以壓縮并且在通信信道上傳輸容器幀并將其記錄在合適介質(zhì)(例如，⑶、DVD、藍光、大容量存儲器等)上。由于上面解釋的復(fù)用操作不改變ー個分區(qū)或圖像的像素之中的空間關(guān)系，所以設(shè)備100輸出的視頻流可以被壓縮到相當(dāng)?shù)某潭榷Ａ舴浅Ｖ覍嵱趥鬏數(shù)膱D像而不產(chǎn)生顯著贗像地重建圖像的良好概率。在描述其他實施例之前，必須指出幀R劃分為三個分區(qū)R1、R2和R3對應(yīng)于幀劃分為最小可能數(shù)量的分區(qū)，這考慮了復(fù)合圖像中可用的空間和未改變進入容器幀的左圖像占用的空間。換言之，所述最小數(shù)量是占用左圖像留在容器幀C中可用的空間所需的分區(qū)的最
小數(shù)量?！愣裕虼?，圖像必須被拆解為的分區(qū)的最小數(shù)量被定義為源圖像(右和左圖像)以及目標復(fù)合圖像(容器幀C)的格式的函數(shù)。優(yōu)選地，通過考慮將圖像(例如，上例中的R)分解為最小數(shù)量的矩形區(qū)域的需要來拆解將進入幀的圖像。在其他實施例中，如圖6所示那樣拆解右圖像R。分區(qū)R1’對應(yīng)于圖3的分區(qū)R1，并且因此包括圖像的所有720行的前640個像素。分區(qū)R2’包括與分區(qū)R1’相鄰的320列像素，而分區(qū)R3’包括最后320列像素。因此如圖7所示的那樣構(gòu)造容器幀C，轉(zhuǎn)動90°的分區(qū)R2’和R3’將布置在圖像L和分區(qū)R1’之下的區(qū)域C3’和C4’中。因此旋轉(zhuǎn)的分區(qū)R2’和R3’占用320行的720個像素；因此，區(qū)域C3’和C4’與區(qū)域Cl和C2分離，區(qū)域Cl和C2包含從圖像L和從分區(qū)R1’復(fù)制的像素。
優(yōu)選地，區(qū)域C3’和C4’與其他區(qū)域Cl和C2分離至少ー個保護線。特別地，將分區(qū)R2’和R3’的像素復(fù)制到容器幀C的最后多行(last rows)是有利和優(yōu)選的。由于在該情況中，容器幀由1080行組成，所以在圖7的實施例中，旋轉(zhuǎn)的分區(qū)R2’和R3’與上面的圖像L和分區(qū)R1’分離了保護條40個像素高。在圖7的示例中，分區(qū)R2’和R3’彼此分離，使得它們由不是來自右和左圖像的預(yù)定義顏色(例如，白色或黒色)的像素環(huán)繞。以此方式，減少了包含來自于右和左圖像的像素的分區(qū)之間的邊界區(qū)域，而還減少了由圖像壓縮引起的任何贗像并且最大化了壓縮率。作為將R2’和R3’定位到容器幀C的最后多行(如參考圖7描述的)的替代，在優(yōu)選實施例中，以使得保護條32個像素行高留在L的下邊緣與R2’和R3’的上邊緣之間的方式來定位R2’和R3’。這提供了 R2’和R3’的下邊緣與C的下邊緣之間的第二保護條8個像素行高。通過進一歩利用容器幀的寬度，以如下方式定位R2’和R3’是可能的，該方式使、得它們完全由既不來自右圖像也不來自左圖像的像素環(huán)繞。在參考圖8和圖9在此描述的其他實施例中，模塊104提取它們的像素總和超過拆解圖像的像素總和的三個子圖像Rl’ ’、R2’ ’和R3’ ’。分區(qū)R1’’對應(yīng)于圖6的分區(qū)町’，而1 2’’和1 3’’包括分區(qū)R2’和R3’的面積加上附加面積(Ra2和Ra3)，這允許最小化在圖像壓縮階段期間贗像的產(chǎn)生。因此，段R1’ ’是具有640X720像素大小并且占用待拆解的幀R的第一列的分區(qū)。段R3’’占用待拆解的幀R的最后多列(last columns)，以及與中央分區(qū)R2’’接壤。R3’ ’在左側(cè)(與R2’ ’接壤的ー側(cè))包括包含與分區(qū)R2’ ’共同的像素的緩沖條Ra3。換言之，R2’’的最后多列和R3”的前多列(組成緩沖條Ra3)重疊。優(yōu)選地，根據(jù)隨后應(yīng)用于容器幀C并且一般應(yīng)用于包含它的視頻流的壓縮類型來選擇緩沖條Ra3的大小。特別地，所述條具有如下大小，該大小是在壓縮過程中使用的基本處理單元的大小的兩倍。例如，H. 264標準提供將圖像拆解為16X 16像素的宏塊，每個宏塊表示該標準的基本處理單元?；谠摷僭O(shè)，條Ra3具有32像素的寬度。段R3’’因此具有352 (320+32) X 720像素的大小，并且包括圖像R的最后352列的像素。段R2’ ’占用待拆解的圖像R的中央部分并且在其左側(cè)包括具有與條Ra3相同大小的緩沖條Ra2。在考慮H. 264壓縮標準的示例中，條Ra2因此是32像素寬并且包括與分區(qū)R1’’共同的像素。段R2’’因此具有352X 720像素大小并且包括從幀R的從608 (R1’’的640-32)到978的列的像素。三個涉及模塊104輸出的分區(qū)Rl’ ’、R2’ ’和R3’ ’的子圖像(圖8中可見)然后進入如圖9所示的容器幀C。分區(qū)R2’’和R3’’轉(zhuǎn)動90°并且通過提供將區(qū)域C3’’和C4’’與區(qū)域Cl和C2分離的某個數(shù)量的保護像素將像素復(fù)制到幀C的最后多行(指明為C3’ ’和C4’ ’的區(qū)域)，區(qū)域Cl和C2包括圖像L和R1’ ’的像素。在圖9所示的情況中，該保護條是
8像素寬。因此，隨后壓縮幀C并且將其傳輸或保存到存儲介質(zhì)(例如，DVD)。出于該目的，提供適于壓縮圖像或視頻信號的壓縮裝置連同用于記錄和/或傳輸壓縮圖像或視頻信號的裝置。圖10示出了接收器1100的框圖，該接收器1100對接收的容器幀解壓縮(如果壓縮的話)，重建兩個右和左圖像并且使它們對于可視設(shè)備(例如，電視機)可用，這允許3D內(nèi)容的實現(xiàn)。接收器1100可以是機頂盒或內(nèi)置于電視機的接收器。針對接收器1100進行的相同評論也適用于讀取器(例如，DVD讀取器)，其讀取容器幀(可能被壓縮)并且處理它，以便獲得對應(yīng)于進入讀取器讀取的容器幀(可能被壓縮)中的右和左圖像的一對幀。參考回圖10，接收器接收(經(jīng)由線纜 或天線)壓縮立體視頻流1101并且借助于解壓縮模塊1102對其進行解壓縮，從而獲得包括對應(yīng)于幀C的幀C’序列的視頻流。如果存在理想信道或如果從大容量存儲器或數(shù)據(jù)介質(zhì)(藍光、CD、DVD)讀取了容器幀，則幀C’對應(yīng)于攜帶關(guān)于右和左圖像的信息的容器幀C，除了由壓縮過程引入的任何贗像。然后向重建模塊1103供應(yīng)這些幀C’，重建模塊1103執(zhí)行如參考圖11和12在下面描述的圖像重建方法。清楚的是，如果視頻流沒有被壓縮，則可以省略解壓縮模塊1102并且可以直接向重建模塊1103供應(yīng)視頻流。當(dāng)接收到解壓縮的容器幀C’時，重建過程在步驟1300中開始。重建模塊1103通過將解壓縮幀的前720 X 1080像素復(fù)制到小于容器幀的新幀中(例如，720p流的幀)來提取(步驟1301)左圖像し因此，重建的圖像L輸出到接收器1100 (步驟1302)。隨后，方法提供從容器幀C’提取右圖像R。提取右圖像的階段通過復(fù)制(步驟1303)包括在幀C’中的區(qū)域R1’’的一部分開始。更詳細地,將R1’’的前624 (640-16)列的像素復(fù)制到表示重建圖像Rout的新幀的對應(yīng)的前624列中，如圖11所示。事實上，這例如通過由H. 264壓縮標準執(zhí)行的運動估計過程的效果從重建階段移除了 R1’’的16列，它們大部分受到了贗像的產(chǎn)生。然后，提取R2’’的中央部分(步驟1304)。根據(jù)解壓縮的幀C’(如上所述，其對應(yīng)于圖9的幀C)，選擇區(qū)域C3’ ’的像素(對應(yīng)于源分區(qū)R2’ ’)并且進行與復(fù)用器100中執(zhí)行的旋轉(zhuǎn)相反的90°旋轉(zhuǎn)，這將它們帶回原始行/列條件，即圖8中所示的ー個。在這點，消除了 R2’ ’的前和后十六(16)列并且將其余352-32=320像素列復(fù)制到與僅從R1’ ’復(fù)制的那些像素相鄰的自由列中。通過切割分區(qū)R2’ ’的16個最外列，消除那些列，在那些列中贗像的形成很可能發(fā)生。切割區(qū)域的寬度(在該情況中是16列)取決于使用的壓縮類型。所述區(qū)域優(yōu)選地等于壓縮過程使用的基本處理單元；在此描述的情況中，H. 264標準對16X 16像素的塊操作，并且因此將切割16列。關(guān)于R3’’(步驟1305)，從幀C’提取分區(qū)C4’’的像素并且將子圖像R3’’帶回到原始行/列格式(參見圖8)。隨后，消除前16個像素列(對應(yīng)于區(qū)域Ra3的一半)并且將其余352-16=336個像素列復(fù)制到重建幀左面的最后多個自由列。比如R2’ ’，也在R3’ ’中，切割區(qū)域等于壓縮過程使用的基本處理單元。當(dāng)然，對于分區(qū)R2’’和R3’’兩者，可以以虛擬方式執(zhí)行旋轉(zhuǎn)操作，S卩，在感興趣像素的提取方面的相同結(jié)果可以通過向重建幀中復(fù)制新幀Rout的列中的(如果是R2’’，則是)區(qū)域C3’ ’(如果是R3’ ’，則是C4’ ’)的行的像素來獲得，除了對應(yīng)于待切割的十六列的(如果是R2’ ’，則是)區(qū)域C3’ ’(如果是R3’ ’，則是C4’ ’ )的最后16行，圖8中所示。在這點上，右圖像Rout已經(jīng)完全被重建并且可以被輸出(步驟1306)。用于重建包含在容器幀C’中的右和左圖像的過程因此完成(步驟1307)。針對接收器1100接收的視頻流的每個幀重復(fù)所述過程，使得輸出將由分別用于右圖像和用于左圖像的兩個視頻流1104和1105組成。參考圖10、11和12在上面描述的用于重建右和左圖像的過程基于以下假設(shè)解復(fù)用器1100知道容器幀C是如何構(gòu)建的并且因此可以提取右和左圖像。當(dāng)然，如何標準化復(fù)用方法，則這是可能的。為了考慮可以以上述方法中的任一個或總之根據(jù)利用作為所附權(quán)利要求書主題的解決方案的任ー個方法生成容器幀的事實，解復(fù)用器使用包含在復(fù)合圖像的預(yù)定義區(qū)域中的信令信息(例如，如上所述的條形碼)，以便知道必須如何對復(fù)合圖像的內(nèi)容解包以及如何重建右和左圖像。在解碼所述信號之后，解復(fù)用器將知道未改變圖像(例如，上述示例中的左圖像)的位置，以及其他圖像(例如，上述示例中的右圖像)被拆解為的分區(qū)的位置和任何變換(旋轉(zhuǎn)、平移等)。利用該信息，解復(fù)用器因此可以提取未改變的圖像(例如左圖像)并且重建拆解的圖像(例如，右圖像)。盡管到處為止已經(jīng)參考某些優(yōu)選和有利實施例示出了本發(fā)明，但是應(yīng)該清楚，本發(fā)明不限于所述實施例并且希望將涉及對象或場景的兩個不同視角(右和左)的兩個圖像合并為復(fù)合圖像的領(lǐng)域中的技術(shù)人員可以對其做出很多改變。例如，提供上述設(shè)備、特別是設(shè)備100和接收器1100的電子模塊可以被各種細分和分布；此外，可以以硬件模塊的形式或作為由處理器(特別是配備有用于臨時存儲接收的輸入幀的合適存儲器區(qū)域的視頻處理器)實現(xiàn)的軟件算法來提供它們。這些模塊因此可以并行或串行執(zhí)行根據(jù)本發(fā)明的圖像復(fù)用和解復(fù)用的ー個或多個視頻處理步驟。還要清楚，盡管優(yōu)選實施例表示將兩個720p視頻流復(fù)用為ー個1080p視頻流,但是也可以使用其他格式。本發(fā)明也不限于復(fù)合圖像的特定布置類型，因為用于生成復(fù)合圖像的不同解決方案可以具有具體優(yōu)勢。例如，參考圖I到12在上面描述的實施例提供如下優(yōu)勢它們僅執(zhí)行平移或旋轉(zhuǎn)平移操作，因此僅需要小的計算功率。替代地，可想到除了所述旋轉(zhuǎn)和/或平移操作之外，圖像也受到鏡面反轉(zhuǎn)操作，以便獲得圖13中示出的復(fù)合圖像類型。 出于最大化包含相應(yīng)像素的分區(qū)之間的邊界周長，從而采用存在于它們之中的強相關(guān)性并且最小化后續(xù)壓縮引入的贗像的目的，執(zhí)行這些附加操作。在圖13和14的示例中，為了清楚已經(jīng)假設(shè)兩個右和左圖像是相同的，即使它們一般略微不同。在該圖中，左圖像L (在圖14a中示出)定位在容器幀C的右上角，從而占用前720行的最后1280個像素。如在前面描述的示例中那樣，圖像L因此未改變地被復(fù)制到容器幀C中。代替地，根據(jù)圖3的示例拆解右圖像R ;圖14b示出了被分解為三個分區(qū)R1、R2和R3的圖像R。隨后，某些分區(qū)(圖14的示例中的分區(qū)Rl和R3)經(jīng)歷了鏡面反正操作；反轉(zhuǎn)可以相對于豎直軸(即平行于圖像的列)或相對于水平軸(即平行于圖像的行)發(fā)生。
在相對于豎直軸的反轉(zhuǎn)的情況中，列N的像素(其中N是I與1080之間的整數(shù)，1080是圖像的列數(shù))被復(fù)制到列1080+1-N中。在相對于水平軸的反轉(zhuǎn)的情況中，行M的像素(其中M是I與720之間的整數(shù)，720是圖像的行數(shù))被復(fù)制到行720+1-N中。圖14c和14d示出了從圖像R提取的并且相對于豎直軸反轉(zhuǎn)、特別是相對于豎直邊反轉(zhuǎn)(Rlrot)的分區(qū)R1。

使反轉(zhuǎn)的分區(qū)Rlinv進入前640個像素行的前640個像素。如可以在圖13的示例中看到的那樣，當(dāng)Rlinv旋轉(zhuǎn)進入容器幀C中時，與L接壤的Rlinv的像素非常類似于與Rlinv接壤的L的像素。這些像素之中的空間相關(guān)性具有減少贗像形成的優(yōu)勢。圖14和14f示出了從圖14b的圖像R提取的并且然后相對于水平軸、特別是相對于水平邊反轉(zhuǎn)(R3inv)的分區(qū)R3。分區(qū)R3inv進入最后360行的最后640個像素。這減少了贗像的生成，因為R3inv與L之間的邊界分區(qū)的像素是具有高空間相關(guān)性的像素。事實上，該邊界分區(qū)中的像素再現(xiàn)了圖像的類似或相同部分。然后通過使分區(qū)R2進入來完成容器幀C。在該示例中，沒有反轉(zhuǎn)和/或旋轉(zhuǎn)R2，因為在任何情況中將不可能使R2的邊界分區(qū)與由R或L的另一分區(qū)的相應(yīng)像素組成的邊界分區(qū)相匹配。最后，還要清楚，本發(fā)明涉及任何解復(fù)用方法，該任何解復(fù)用方法允許通過顛倒落在本發(fā)明保護范圍內(nèi)的上述復(fù)用過程之一來從復(fù)合圖像提取右圖像和左圖像。本發(fā)明因此也涉及用于從復(fù)合圖像開始生成一對圖像的方法，其包括以下步驟
-通過從所述復(fù)合圖像的分區(qū)復(fù)制鄰接(contiguous)像素的單ー組來生成所述右和
左圖像的第一圖像(例如，左圖像)，
-通過從復(fù)合圖像的不同分區(qū)復(fù)制鄰接像素的其他組來生成第二圖像(例如，右圖像)。根據(jù)ー個實施例，用于生成所述第二圖像的信息從所述復(fù)合圖像的區(qū)域提取。優(yōu)選地根據(jù)條形碼對所述信息編碼。在用于生成右和左圖像的方法的一個實施例中，在復(fù)合圖像中拆解的圖像的生成包括所述不同分區(qū)之一的像素組的鏡面反轉(zhuǎn)的至少ー個階段。在用于生成右和左圖像的方法的一個實施例中，在復(fù)合圖像中拆解的圖像的生成包括從包括待重建該圖像的像素的復(fù)合圖像的分區(qū)之一移除像素的至少ー個階段。特別地，從該分區(qū)的邊界區(qū)域移除像素。在一個實施例中，通過使包括待重建圖像的像素的像素分區(qū)僅受到平移和/或選擇操作來重建被拆解為復(fù)合圖像的不同分區(qū)的圖像。
權(quán)利要求
1.一種用于生成立體視頻流(101)的方法，所述立體視頻流(101)包括復(fù)合圖像(C)，所述復(fù)合圖像(C)包括關(guān)于右圖像(R)和左圖像(L)的信息，其中 選擇所述右圖像(R)的像素和所述左圖像(L)的像素，并且 使所述所選像素進入到所述立體視頻流的復(fù)合圖像(C)中， 所述方法其特征在于通過使所述兩個圖像之一不改變并且將另一個分解為包括多個像素的分區(qū)(Rl，R2，R3)以及使所述分區(qū)進入所述復(fù)合圖像(C)中來使所述右圖像(R)的所有像素和所述左圖像(L)的所有像素進入到所述復(fù)合圖像(C)中。
2.根據(jù)權(quán)利要求I所述的方法，其中通過考慮在所述復(fù)合圖像(C)中可用的空間和由保持未改變的所述一個圖像(L)占用的空間來將所述另一個圖像分解為最小可能數(shù)量的分區(qū)。
3.根據(jù)權(quán)利要求2所述的方法，其中所述最小數(shù)量是占用所述未改變圖像留下的自由空間所需的最小數(shù)量。
4.根據(jù)前述權(quán)利要求中任一項所述的方法，其中通過以下步驟獲得所述分區(qū) 將所述另一圖像(R)劃分為兩個相等大小的部分， 將所述兩個部分之一劃分為兩個相等大小的部分。
5.根據(jù)前述權(quán)利要求中任一項所述的方法，其中僅借助于平移操作使所述分區(qū)(Rl，R2, R3)進入所述復(fù)合圖像中。
6.根據(jù)權(quán)利要求I至4中任一項所述的方法，其中借助于平移和/或旋轉(zhuǎn)操作使所述分區(qū)(R1，R2，R3)進入所述復(fù)合圖像(C)中。
7.根據(jù)前述權(quán)利要求中任一項所述的方法，其中在所述復(fù)合圖像中保持自由的空間的至少一部分用于使用于在解復(fù)用器級重建所述右和左圖像所需的信號進入。
8.根據(jù)前述權(quán)利要求中任一項所述的方法，其中在使所述分區(qū)之一進入所述復(fù)合圖像中之前，沿所述一個分區(qū)的一邊執(zhí)行鏡面反轉(zhuǎn)操作。
9.根據(jù)權(quán)利要求8所述的方法，其中所述一個分區(qū)進入所述復(fù)合圖像中并且一邊與另一圖像或分區(qū)的一邊接壤，使得并排布置涉及相同空間區(qū)域的像素。
10.根據(jù)前述權(quán)利要求中任一項所述的方法，其中所述分區(qū)具有矩形形狀。
11.根據(jù)前述權(quán)利要求中任一項所述的方法，其中所述分區(qū)包括所述圖像的像素的列的鄰接組。
12.根據(jù)前述權(quán)利要求中任一項所述的方法，其中所述分區(qū)的至少兩個具有至少一個共同的像素組，所述像素組布置在所述至少兩個所述分區(qū)之間的邊界區(qū)域中。
13.根據(jù)前述權(quán)利要求中任一項所述的方法，其中進入所述復(fù)合圖像中的所述分區(qū)中的至少一個與包括從所述右圖像或所述左圖像復(fù)制的像素的所述復(fù)合圖像其他分區(qū)分離。
14.根據(jù)前述權(quán)利要求中任一項所述的方法，其中 接收右圖像的序列和左圖像的序列， 通過從右和左圖像的所述序列開始生成復(fù)合圖像的序列， 壓縮復(fù)合圖像的所述序列。
15.一種通過從復(fù)合圖像開始來重建一對圖像的方法，包括以下步驟 -通過從所述復(fù)合圖像的分區(qū)復(fù)制鄰接像素的單一組來生成所述右(R)和左(L)圖像的第一圖像，-通過從所述復(fù)合圖像的不同分區(qū)(Rl，R2, R3)復(fù)制鄰接像素的其他組來生成所述右(R)和左(L)圖像的第二圖像。
16.根據(jù)權(quán)利要求15所述的方法，其中從所述復(fù)合圖像的區(qū)域提取用于生成所述對圖像的信息。
17.根據(jù)權(quán)利要求20所述的方法，其中根據(jù)條形碼對所述信息編碼。
18.根據(jù)權(quán)利要求15或17所述的方法，其中所述第二圖像的生成包括所述不同分區(qū)中的至少一個的像素組的鏡面反轉(zhuǎn)的至少一個階段。
19.根據(jù)權(quán)利要求15至18中任一項所述的方法，其中所述第二圖像的生成包括從所述分區(qū)中的至少一個移除像素的至少一個階段。
20.根據(jù)權(quán)利要求19所述的方法，其中從所述至少一個分區(qū)的邊界區(qū)域移除像素。
21.根據(jù)權(quán)利要求15至20中任一項所述的方法，其中通過使所述像素分區(qū)僅受到平移操作來生成所述第二圖像。
22.根據(jù)權(quán)利要求15至21中任一項所述的方法，其中通過使所述像素分區(qū)受到旋轉(zhuǎn)和/或平移操作來生成所述第二圖像。
23.一種用于生成復(fù)合圖像(C)的設(shè)備(100)，包括用于接收右圖像和左圖像的裝置(104)以及用于生成包括關(guān)于所述右圖像和所述左圖像的信息的復(fù)合圖像(C)的裝置(105)，其特征在于包括適于實現(xiàn)根據(jù)權(quán)利要求I至14中任一項所述的方法的裝置。
24.一種用于通過從復(fù)合圖像開始重建一對圖像的設(shè)備(1100)，其特征在于實現(xiàn)根據(jù)權(quán)利要求15至22中任一項所述的方法。
25.—種立體視頻流(1101 )，其特征在于包括借助于根據(jù)權(quán)利要求I至14中任一項所述的方法生成的至少一個復(fù)合圖像(C)。
全文摘要
本發(fā)明涉及一種用于生成立體視頻流(101)的方法，該立體視頻流(101)包括復(fù)合圖像(C)，該復(fù)合圖像(C)包括關(guān)于右圖像(R)和左圖像(L)的信息。根據(jù)該方法，從右圖像(R)并從左圖像(L)選擇像素，并且然后使所選像素進入到立體視頻流的復(fù)合圖像(C)中。該方法還通過使所述兩個圖像之一不改變并且將另一個分解為包括多個像素的分區(qū)(R1,R2,R3)來提供使右圖像(R)的所有像素和左圖像(L)的所有像素進入到復(fù)合圖像(C)中。隨后使所述分區(qū)進入到復(fù)合圖像(C)中。本發(fā)明還涉及一種用于從復(fù)合圖像開始重建右圖像和左圖像的方法，以及允許所述方法實現(xiàn)的設(shè)備。
文檔編號H04N13/00GK102714742SQ201080058867
公開日2012年10月3日 申請日期2010年12月17日 優(yōu)先權(quán)日2009年12月21日
發(fā)明者G.巴洛卡, P.達馬托, S.塞利亞 申請人:西斯維爾科技有限公司