專利名稱：用于視頻編碼的方法和系統(tǒng)的制作方法
技術領域：
本發(fā)明涉及視頻處理。更具體地說，本發(fā)明涉及用于三維視頻幀緩存壓縮和減少存儲器資源的方法和系統(tǒng)。
背景技術：
很多設備都具有數(shù)字視頻功能，例如，數(shù)字電視、數(shù)字直播系統(tǒng)、數(shù)字記錄系 統(tǒng)等。數(shù)字視頻設備相比傳統(tǒng)的模擬視頻系統(tǒng)在處理和以更高帶寬效率傳送視頻序列方 面具有顯著的進步。視頻內容可以用二維格式或三維格式記錄。在各種應用，例如，DVD電影和數(shù) 字電視中，一般偏愛三維視頻，因為對觀看者來說，它通常比二維視頻更真實。三維視 頻包括左視圖視頻和右視圖視頻。三維視頻幀可以由左視圖視頻部分和右視圖視頻部分 組合而成。已經建立了很多標準來解碼壓縮的數(shù)字視頻序列，例如，MPEG-1、MPEG-2、 MPEG-4、H.263和H.264/AVC?？梢詫嚎s視頻中的幀編碼為三種可能模式1_圖片、 P-圖片和B-圖片?？梢詫嚎s視頻幀分成圖片組(Group ofpictures,縮寫為GOP)。例 如，每個GOP包括一個I-圖片、幾個P-圖片和/或幾個B-圖片。比較本發(fā)明后續(xù)將要結合附圖介紹的系統(tǒng)，現(xiàn)有技術的其它局限性和弊端對于 本領域的普通技術人員來說是顯而易見的。

發(fā)明內容
本發(fā)明提供了一種用于三維視頻幀緩存壓縮和存儲器資源減少的方法和系統(tǒng)， 結合至少一副附圖進行詳細描述，并在權利要求中得到了更完整的闡述。根據(jù)一個方面，一種用于視頻編碼的方法，包括由視頻處理系統(tǒng)中的一個或多個處理器和/或電路執(zhí)行如下步驟接收包含基本視圖視頻(base view video)和剩余視圖視頻(residual viewvideo)的 壓縮三維視頻；以及將所述接收到的基本視圖視頻和所述接收到的壓縮三維視頻的優(yōu)化視圖視頻解 碼為左視圖視頻和右視圖視頻。優(yōu)選地，所述基本視圖視頻通過根據(jù)可用存儲器資源選擇性地產生所述基本視 圖視頻中的圖片而生成。優(yōu)選地，根據(jù)所述可用存儲器資源，所述基本視圖視頻中沒有用于預測所述優(yōu) 化視圖視頻中相應圖片的一個或多個圖片被丟棄。優(yōu)選地，所述剩余視圖視頻通過從所述壓縮三維視頻的優(yōu)化視圖視頻中的圖片 中減去所述基本視圖視頻中的相應圖片而生成。優(yōu)選地，所述方法進一步包括緩存所述接收到的基本視圖視頻和所述接收到的 剩余視圖視頻。
優(yōu)選地，所述方法進一步包括將所述緩存的基本視圖視頻解碼為所述左視圖視 頻和/或所述右視圖視頻。優(yōu)選地，所述方法進一步包括將所述緩存的剩余視圖視頻中的圖片加上所述緩 存的基本視圖視頻中的相應圖片以產生所述接收的壓縮三維視頻的優(yōu)化視圖視頻中的圖 片。優(yōu)選地，所述方法進一步包括將產生的所述優(yōu)化視圖視頻中的圖片解碼為所述 左視圖視頻和/或所述右視圖視頻。優(yōu)選地，所述方法進一步包括用運動向量提取所述左視圖視頻中的圖片的宏塊 以運動預測所述右視圖視頻中的圖片的宏塊，其中所述右視圖視頻中的圖片的宏塊是根 據(jù)所述左視圖視頻中的圖片的宏塊視差預測而來。優(yōu)選地，所述方法進一步包括用所述 運動向量預提取所述左視圖視頻中的所述 圖片的一個或多個相鄰宏塊以運動預測所述右視圖視頻中的所述圖片的所述宏塊的相應 一個或多個相鄰宏塊。根據(jù)一個方面，一種用于視頻編碼的系統(tǒng)，包括用于視頻處理系統(tǒng)的一個或多個處理器和/或電路，其中所述一個或多個處理 器和/或電路用于接收包含基本視圖視頻和剩余視圖視頻的壓縮三維視頻；以及將所述接收到的基本視圖視頻和所述接收到的壓縮三維視頻的優(yōu)化視圖視頻解 碼為左視圖視頻和右視圖視頻。優(yōu)選地，所述基本視圖視頻通過根據(jù)可用存儲器資源選擇性地產生所述基本視 圖視頻中的圖片而生成。優(yōu)選地，根據(jù)所述可用存儲器資源，所述基本視圖視頻中沒有用于預測所述優(yōu) 化視圖視頻中相應圖片的一個或多個圖片被丟棄。優(yōu)選地，所述剩余視圖視頻通過從所述壓縮三維視頻的優(yōu)化視圖視頻中的圖片 中減去所述基本視圖視頻中的相應圖片而生成。優(yōu)選地，所述一個或多個處理器和/或電路用于緩存所述接收到的基本視圖視 頻和所述接收到的剩余視圖視頻。優(yōu)選地，所述一個或多個處理器和/或電路用于將緩存的基本視圖視頻解碼為 所述左視圖視頻和/或所述右視圖視頻。優(yōu)選地，所述一個或多個處理器和/或電路用于將所述緩存的剩余視圖視頻中 的圖片加上所述緩存的基本視圖視頻中的相應圖片以產生所述接收的壓縮三維視頻的優(yōu) 化視圖視頻中的圖片。優(yōu)選地，所述一個或多個處理器和/或電路用于將產生的所述優(yōu)化視圖視頻中 的圖片解碼為所述左視圖視頻和/或所述右視圖視頻。優(yōu)選地，所述一個或多個處理器和/或電路用于用運動向量提取所述左視圖視 頻中的圖片的宏塊以運動預測所述右視圖視頻中的圖片的宏塊，其中所述右視圖視頻中 的圖片的宏塊是根據(jù)所述左視圖視頻中的圖片的宏塊視差預測而來。優(yōu)選地，所述一個或多個處理器和/或電路用于用所述運動向量預提取所述左 視圖視頻中的所述圖片的一個或多個相鄰宏塊以運動預測所述右視圖視頻中的所述圖片的所述宏塊的相應一個或多個相鄰宏塊。 在下述結合附圖對本發(fā)明的詳細描述中，給出了本發(fā)明的各種特點和優(yōu)點，附 圖中用相似的附圖標號表示相似的部件。


圖1是根據(jù)本發(fā)明實施例的用于執(zhí)行幀緩存壓縮和減少三維視頻存儲器資源的 示范性視頻編碼系統(tǒng)的框圖；圖2是根據(jù)本發(fā)明實施例的用于壓縮幀緩存區(qū)和減少三維視頻存儲器資源的示 范性視頻發(fā)送單元的框圖；圖3是根據(jù)本發(fā)明實施例的可緩存在壓縮幀緩存區(qū)以供發(fā)送的示范性獨立可解 碼三維AVC流的框圖；圖4是根據(jù)本發(fā)明實施例的用于為三維視頻發(fā)送而壓縮幀緩存區(qū)的示范性步驟 的流程圖；圖5是根據(jù)本發(fā)明實施例的用于支持幀緩存壓縮和減少三維視頻存儲器資源的 示范性視頻接收單元的框圖；圖6是根據(jù)本發(fā)明實施例的用于使用壓縮幀緩存區(qū)來處理壓縮三維視頻的示范 性步驟的流程圖；圖7是根據(jù)本發(fā)明實施例的對三維視頻使用減少的存儲器資源進行視差預測的 示意圖。圖8是根據(jù)本發(fā)明實施例的用于對三維視頻使用減少的存儲器資源執(zhí)行視差預 測的示范性步驟的流程圖。
具體實施例方式本發(fā)明用于幀緩存壓縮和減少三維視頻存儲器資源的方法和/或系統(tǒng)提供了一 些實施例。根據(jù)本發(fā)明的各種實施例，視頻接收器可以用于從視頻發(fā)送器接收壓縮的三 維視頻。接收到的壓縮三維視頻可以包括基本視圖視頻和剩余視圖視頻。視頻接收器可 以用于將接收到的基本視圖視頻和接收到的壓縮三維視頻的優(yōu)化視圖視頻解碼為左視圖 視頻和右視圖視頻。基本視圖視頻中的圖片可以根據(jù)，例如，包含存儲器帶寬和大小的 可用存儲器資源選擇性生成。在本發(fā)明的一個實施例中，VTU 200可以用于根據(jù)可用存 儲器資源丟棄和/或跳過不用來預測相應優(yōu)化視片的一個或多個基本視片。視 頻發(fā)送器可以用于通過從壓縮三維視頻的優(yōu)化視圖視頻中的圖片里減去基本視圖視頻中 的相應圖片而生成剩余視圖視頻?？梢詫⒔邮盏降幕疽晥D視頻和接收到的剩余視圖視 頻緩存。可以將緩存的基本視圖視頻解碼生成左視圖視頻和/或右視圖視頻?？梢詫⒕?存的剩余視圖視頻中的圖片加到緩存的基本視圖視頻中的相應圖片里，以便產生優(yōu)化視 圖視頻中的圖片。可以將優(yōu)化視圖視頻中產生的圖片解碼生成左視圖視頻和/或右視圖 視頻。用一個運動向量來提取左視圖視頻中圖片的宏塊，以便運動預測右視圖視頻中圖 片的相應的視差預測的宏塊。根據(jù)運動視差補償，由于左視圖視頻和右視圖視頻間的高 度相關，還可以用運動向量來預提取左視圖視頻中圖片的相鄰宏塊，以便運動預測右視 圖視頻中圖片的相應的視差預測的宏塊的相應的相鄰宏塊。
圖1是根據(jù)本發(fā)明實施例的用于執(zhí)行幀緩存壓縮和減少三維視頻存儲器資源的 示范性視頻編碼系統(tǒng)的框圖。如圖1所示，示出了視頻傳送單元(VTU) 110、通信網絡 120和視頻接收單元(VRU) 130。VTU 110可以包括合適的邏輯、電路、接口和/或代碼，用于向VRU 130提供 壓縮的視頻內容。VTU 110可以用于獲取未壓縮的三維視頻并將獲得的未壓縮三維視頻 進行視頻壓縮。VTU 110可以用于利用，例如，MPEG-4多視圖視頻編碼(MVC)標準 將獲得的未壓縮三維視頻壓縮為兩種編碼視圖，即基本視圖和優(yōu)化視圖。每種編碼視圖 包括許多分層的壓縮圖片以供傳送。基本視圖和優(yōu)化視圖中的壓縮圖片可以通過通信網 絡120提供給VRU 130。由于基本視圖和優(yōu)化視圖間的高度相關，優(yōu)化視圖中的參考壓縮圖片可以從相 應的基本視圖壓縮圖片中預測得到。就這一點而言，VTU 110可以用于選擇性生成和/ 或存儲壓縮圖片，以便減少三維視頻編碼所用的存儲器資源，即存儲器帶寬和大小。例 如，可以生成及存儲用于預測相應的優(yōu)化視片的基本視片。VTU 110可以用 于丟棄和/或跳過沒有用作相應優(yōu)化視片參考的一個或多個基本視片。進一步 地，基本視圖和優(yōu)化視圖間的剩余視片可以通過從優(yōu)化視圖中的壓縮圖片里減去基 本視圖中的相應壓縮圖片而生成?？梢詫⒒疽晥D中的壓縮圖片和生成的剩余視片 分別緩存。可以將緩存的基本視圖中的壓縮圖片和緩存的剩余視片復合成單個傳輸 流以供傳送。為了提高總體編碼效率，VTU 110可以用于對獲得的未壓縮三維視頻執(zhí)行全局 運動視差估算?？梢詫⒁粋€宏塊作為全局運動視差估算中的基本單元。在這種情況下， 對于獲得的未壓縮三維視頻，右視圖視頻中的未壓縮圖片的特定宏塊可以根據(jù)左視圖視 頻中未壓縮圖片的一個具體宏塊視差預測而來。由于獲得的未壓縮三維視頻的左視圖視 頻和右視圖視頻間的高度校正，很有可能根據(jù)左視圖視頻中未壓縮圖片的具體宏塊的一 個或多個相鄰宏塊來視差預測右視圖視頻中未壓縮圖片的特定宏塊的相應的一個或多個 相鄰宏塊。就這一點而言，視差預測推算可以用于預提取相鄰宏塊以便減少突然訪問視 頻存儲器的次數(shù)。例如，當用于右視圖視頻中未壓縮圖片的特定宏塊的運動向量用來提 取左視圖視頻中未壓縮圖片的具體宏塊以便進行運動預測時，該相同的運動向量還可以 用于右視圖視頻中特定宏塊的相鄰宏塊，用來預提取左視圖視頻中未壓縮圖片的具體宏 塊的相應的相鄰宏塊以便進行運動預測。通信網絡120可以包括合適的邏輯、電路、接口和/或代碼，用于提供VTUllO 和VRU 130間的通信平臺。通信網絡120可以是有線或無線通信網絡。通信網絡120可 以是LAN、WAN、因特網等。 VRU 130可以包括合適的邏輯、電路、接口和/或代碼，用于通過通信網絡120 從VTU 110接收傳輸流。接收到的傳輸流可以包括壓縮三維視頻的基本視片和剩 余視片。接收到的基本視片和剩余視片可以存儲起來以便進行視頻解碼。 VRU 130可以用于利用，例如，MPEG-4MVC標準將壓縮的三維視頻解碼為相應解碼的 三維視頻的左視圖視頻和右視圖視頻。就這一點而言，VRU 130可以用于將存儲的基本 視片解碼為，例如，左視圖視頻?？梢詫⒋鎯Φ氖Ｓ嘁暺由舷鄳拇鎯Φ幕?本視片來再生成相關聯(lián)的優(yōu)化視片。VRU 130可以用于將再生成的優(yōu)化視片解碼為，例如，右視圖視頻。然后將左視圖視頻和右視圖視頻組合起來向用戶顯示。VRU 130可以用于執(zhí)行運動視差補償以便提高解碼的三維視頻的視頻質量。由 于解碼的三維視頻的左視圖視頻和右視圖視頻間的高度依賴性，可以用視差預測推算來 預提取運動視差補償中的相鄰宏塊。例如，用于提取左視圖視頻中未壓縮圖片的具體宏 塊以便運動預測右視圖視頻中未壓縮圖片的特定宏塊的運動向量，還可以用于預提取左 視圖視頻中的相鄰宏塊以便運動預測右視圖視頻中相應的相鄰宏塊。VRU 130的例子可 以包括，例如，機頂盒、個人電腦等。在示范性運行中，VTU 110可以用于獲取包含左視圖視頻和右視圖視頻的未壓 縮三維視頻?？梢詫⑽磯嚎s三維視頻以圖片為單位壓縮成兩種編碼視圖，即基本視圖和 優(yōu)化視圖。每種編碼視圖可以包括許多分層的壓縮圖片?？梢愿鶕?jù)可用存儲器資源丟棄 和/或跳過不用于預測相應優(yōu)化視片的一個或多個基本視片，以便減少三維視 頻編碼的存儲器資源。基本視片和優(yōu)化視片間的剩余視片可以通過從優(yōu)化 視片中減去相應的基本視片而生成?？梢詫⒒疽暺蜕傻氖Ｓ嘁?片分別緩存以供傳送?？梢詫⒕彺娴幕疽暺途彺娴氖Ｓ嘁暺瑥秃铣蓡蝹€傳 輸流，并傳送給VRU 130。VRU 130可以用于將從VTU 110接收的傳輸流解復合?？?以將得到的基本視片和剩余視片存儲起來以供視頻解碼。VRU 130可以用于將 存儲的基本視片解碼為，例如，左視圖視頻?？梢詫⒋鎯Φ氖Ｓ嘁暺由舷鄳?的存儲的基本視片來再生成相關聯(lián)的優(yōu)化視片。可以將再生成的優(yōu)化視片 壓縮為，例如，右視圖視頻。然后將得到的左視圖視頻和右視圖視頻組合起來向用戶
顯示 ο當支持運動視差估算補償時，VTU 110和VRU 130分別可以用于執(zhí)行運動視差 估算和運動視差補償，以提高視頻質量。就這一點而言，由于左視圖視頻和右視圖視頻 間的高度相關性，用于提取左視圖視頻中具體宏塊以便運動預測右視圖視頻中特定視差 預測宏塊的運動向量，還可以用于左視圖視頻中具體宏塊的相鄰宏塊以便運動預測右視 圖視頻中特定視差預測宏塊相應的相鄰宏塊。圖2是根據(jù)本發(fā)明實施例的用于壓縮幀緩存區(qū)和減少三維視頻存儲器資源的示 范性視頻發(fā)送單元的框圖。如圖2所示，示出了視頻傳送單元(VTU) 200。VTU包括 三維視頻源210、基本視圖編碼器212、優(yōu)化視圖編碼器214、基本視圖傳送(Tx)緩存區(qū) 216、優(yōu)化視圖傳送(Tx)緩存區(qū)218、全局運動視差處理單元220以及復用器220。三維視頻源210可以包括合適的邏輯、電路、接口和/或代碼，用于捕獲未壓縮 的三維視頻內容。三維視頻包括左視圖視頻和右視圖視頻。三維視頻圖片可以由左視圖 視頻部分和右視圖視頻部分組合生成。三維視頻源210可以用于向視頻編碼器，例如基 本視圖編碼器212和優(yōu)化視圖編碼器214，傳送未壓縮的三維視頻圖片，以便進行視頻壓 縮?？梢岳肕PEG-4MVC標準將未壓縮的三維視頻圖片壓縮成兩種編碼視圖，即基本 視圖和優(yōu)化視圖。每種編碼視圖可以包括許多分層的壓縮圖片?；疽晥D編碼器212可以包括合適的邏輯、電路、接口和/或代碼，用于將， 例如，來自三維視頻源210的左視圖視頻以圖片為單位編碼成基本視圖流。就這一點而 言，基本視圖編碼器212可以用于選擇性生成和/或存儲基本視圖視頻中的圖片，以減少 三維視頻編碼所用的存儲器資源。例如，基本視圖編碼器212可以用于生成及存儲用作參考來預測優(yōu)化視圖視頻中相應參考圖片的基本視片?？梢詠G棄和/或跳過不用于 預測相應優(yōu)化視片的一個或多個基本視片。基本視圖編碼器212可以用于利用 各種視頻壓縮算法，例如MPEG-4、AVC> VCl、VP6和/或其它視頻格式將來自三維 視頻源210的左視圖視頻轉化為壓縮的或編碼的視頻內容?？梢詫⒒疽晥D編碼過程中 的信息，例如場 景信息，傳送給優(yōu)化視圖編碼器214以便進行優(yōu)化視圖編碼。優(yōu)化視圖編碼器214可以包括合適的邏輯、電路、接口和/或代碼，用于將，例 如，來自三維視頻源210的右視圖視頻以圖片為單位編碼成優(yōu)化視圖流。優(yōu)化視圖編碼 器214可以用于利用各種視頻壓縮算法，例如MPEG-4、AVC> VCU VP6和/或其它視 頻格式將來自三維視頻源210的右視圖視頻轉化為壓縮的或編碼的視頻內容?？梢岳?基本視圖編碼過程中的場景信息將優(yōu)化視圖編碼過程與基本視圖編碼過程相關聯(lián)。就這 一點而言，優(yōu)化視圖編碼器214可以用于利用一個或多個生成的基本視片來預測相 應的優(yōu)化視片。得到的預測優(yōu)化視片的剩余視片可以存儲起來以供傳送， 這樣就可以壓縮傳送幀緩存區(qū)?；疽晥DTx緩存區(qū)216和優(yōu)化視圖Tx緩存區(qū)218可以包括合適的邏輯、電路、 接口和/或代碼，分別用于緩沖或存儲來自基本視圖編碼器214的壓縮基本視片和基 本視圖流與優(yōu)化視圖流之間的剩余視片?；疽晥DTx緩存區(qū)216和優(yōu)化視圖Tx緩 存區(qū)218可以在先進先出準則下工作。基本視圖Tx緩存區(qū)216和優(yōu)化視圖Tx緩存區(qū)218 可以用于管理緩存的圖片，以便根據(jù)例如目標節(jié)目的QoS，以預期的幀速率發(fā)送。全局運動視差處理單元220可以包括合適的邏輯、電路、接口和/或代碼，用于 執(zhí)行全局運動和/或視差估算。視差估算(DE)是一個確定所需的局部轉換以校準兩張 圖片中不同區(qū)域的過程。全局運動用于通過參數(shù)化運動模型來描述一個對象的不同組成 部分的運動的相干成分。全局運動估算(GME)是一個估算參數(shù)化運動模型的這些參數(shù)的 過程。全局運動視差處理單元220可以用于根據(jù)相應未壓縮圖片的宏塊執(zhí)行全局運動估 算和/或視差估算。例如，右視圖視頻中一個圖片的特定宏塊可以根據(jù)左視圖視頻中一 個圖片的特定宏塊視差預測而來。由于未壓縮三維視頻的左視圖視頻和右視圖視頻間的 高度相關性，可以用視差預測推算來預提取相鄰宏塊以供運動補償，以便減少突然訪問 存儲器的次數(shù)。就這一點而言，用于提取左視圖視頻中圖片的特定宏塊以便對右視圖視 頻中圖片的特定宏塊進行運動補償?shù)倪\動向量，還可以用于左視圖視頻中圖片的特定宏 塊的一個或多個相鄰宏塊，以便對右視圖視頻中圖片的特定宏塊的一個或多個相應相鄰 宏塊進行運動補償。全局運動視差處理單元220可以用于計算運動向量和視差向量，并 將它們傳送給復合器230以供發(fā)送。復合器230可以包括合適的邏輯、電路、接口和/或代碼，用于將壓縮的視頻流 和其它次要信息，例如運動向量和/或視差向量，合并成單個傳輸流(TS)以供發(fā)送。壓 縮的視頻流可以包括壓縮的基本視圖視頻以及剩余視圖視頻。在示范性運行中，三維視頻源210可以用于捕獲未壓縮的三維視頻內容，該三 維視頻包括左視圖視頻和右視圖視頻?？梢岳肕PEG-4MVC標準將未壓縮的三維視頻 壓縮成基本視圖視頻和優(yōu)化視圖視頻。左視圖視頻和右視圖視頻中未壓縮的圖片分別可 以由基本視圖編碼器212和優(yōu)化視圖編碼器214壓縮或編碼?；疽晥D編碼器212可以 用于丟棄和/或跳過不用于預測相應優(yōu)化視片的一個或多個基本視片，以減少三維視頻編碼所用的存儲器資源?；疽晥D和剩余視片分別可以緩存在基本視圖Tx 緩存區(qū)216和優(yōu)化視圖Tx緩存區(qū)218中，以供發(fā)送。復合器230可以用于將來自基本視 圖Tx緩存區(qū)216和優(yōu)化視圖Tx緩存區(qū)218的視頻流以及其它次要信息，例如由全局運動 視差處理單元220提供的運動向量和/或視差向量，復合生成傳輸流。生成的傳輸流可 以通過通信網絡120發(fā)送給VRU 130。圖3是根據(jù)本發(fā)明實施例的緩存在壓縮幀緩存區(qū)以供發(fā)送的示范性獨立可解碼 三維AVC流的框圖。如圖3所示，示出了三維AVC流300。三維AVC流300包括基本 視圖視頻流310和優(yōu)化視圖視頻流320，它們分別由基本視圖編碼器212和優(yōu)化視圖編碼 器214利用MPEG-4標準生成或產生?；疽晥D視頻流310包括許多圖片，其中，示出 了圖片311-319。優(yōu)化視圖視頻流320包括許多圖片，其中，示出了圖片321-325。三維 AVC流300中的圖片按分配的編碼順序生成。例如，編碼順序為1的圖片311可以由基 本視圖編碼器212第一個生成。編碼順序為2的圖片315和圖片321可以分別由基本視 圖編碼器212與優(yōu)化視圖編碼器214在圖片311之后生成。可以將沒有用于預測相應優(yōu) 化視片的一個或多個基本視片 ，例如，圖片312、314、316和/或318，丟棄和 /或跳過，以便減少三維視頻編碼所用的存儲器資源?；疽晥D視頻流310可以緩存在基 本視圖Tx緩存區(qū)216中以供發(fā)送。優(yōu)化視圖視頻流320將不發(fā)送給VRU 130。反而， 可以生成剩余視片以供發(fā)送。優(yōu)化視圖視頻流320中特定圖片的剩余視片可以 通過將優(yōu)化視圖視頻流320中的特定圖片減去基本視圖視頻流310中的相應圖片而生成。 優(yōu)化視圖視頻流320的剩余視片可以緩存在優(yōu)化視圖Tx緩存區(qū)218中以供發(fā)送。圖4是根據(jù)本發(fā)明實施例的用于為三維視頻發(fā)送而壓縮幀緩存區(qū)的示范性步驟 的流程圖。如圖4所示，示范性步驟開始于步驟402，其中三維視頻的壓縮圖片可以包 括基本視圖和優(yōu)化視圖，這些視圖分別從基本視圖編碼器212和優(yōu)化視圖編碼器214中接 收。在步驟404，基本視片可以緩存在基本視圖Tx緩存區(qū)216中以供發(fā)送。在步驟 406，對于每個優(yōu)化視片，可以通過減去相應的基本視片而生成剩余視片。 在步驟408，生成的剩余視片可以緩存在優(yōu)化視圖Tx緩存區(qū)218中以供發(fā)送。在步 驟410，復合器230可以用于復合來自基本視圖Tx緩存區(qū)216的基本視片與來自優(yōu) 化視圖Tx緩存區(qū)218的剩余視片以生成發(fā)送用的傳輸流。示范性步驟可以結束于步 驟 412。圖5是根據(jù)本發(fā)明實施例的用于支持幀緩存壓縮和減少三維視頻存儲器資源的 示范性視頻接收單元的框圖。如圖5所示，示出了視頻接收單元(VRU) 500。VRU 500 包括傳輸解復合器502、基本視圖Rx緩存區(qū)504、優(yōu)化視圖Rx緩存區(qū)506、基本視圖解 碼器508、優(yōu)化視圖解碼器510、合成器512、運動視差補償處理器514、視頻顯示設備 516、主處理器518以及存儲器520。傳輸解復合器502可以包括合適的邏輯、電路、接口和/或代碼，用于解復合或 解析從VTU 110接收到的傳輸流。接收到的傳輸流是一種包含多個流的復合流，這些流 可以是，例如基本視圖流、剩余視圖視頻流以及其它次要信息，例如三維視頻的運動和 視差估算信息。傳輸解復合器502可以用于從接收到的傳輸流中提取基本視圖流和剩余 視圖視頻流。提取的基本視圖流的圖片可以緩存在基本視圖Rx緩存區(qū)504中。提取的 剩余視圖視頻流的剩余視片可以緩存在優(yōu)化視圖Rx緩存區(qū)506中。
基本視圖Rx緩存區(qū)504和優(yōu)化視圖Rx緩存區(qū)506可以包括合適的邏輯、電路、 接口和/或代碼，分別用于緩沖或存儲提取的基本視圖壓縮圖片以及提取的剩余視 片?；疽晥DRx緩存區(qū)504和優(yōu)化視圖Rx緩存區(qū)506可以在先進先出準則下工作?；疽晥DRx緩存區(qū)504和優(yōu)化視圖Rx緩存區(qū)506可以用于管理緩存的壓縮圖片，以便根 據(jù)例如目標節(jié)目的QoS，以預期的幀速率發(fā)送?；疽晥D解碼器508可以包括合適的邏輯、電路、接口和/或代碼，用于將從 VTU 110接收到的基本視圖視頻以幀為單位解碼成，例如，三維視頻的左視圖視頻?；?本視圖解碼器508可以用于利用各種視頻解壓縮算法，例如MPEG-4、AVC> VCU VP6 和/或其它視頻格式來形成解壓縮或解碼的基本視圖視頻內容?？梢詫⒒疽晥D解碼過 程中的信息，例如場景信息，傳送給優(yōu)化視圖解碼器510以便進行優(yōu)化視圖解碼。優(yōu)化視圖解碼器510可以包括合適的邏輯、電路、接口和/或代碼，用于將來自 VTU 110的優(yōu)化視圖視頻以幀為單位解碼成，例如，三維視頻的右視圖視頻。優(yōu)化視圖 解碼器510可以用于利用優(yōu)化視圖Rx緩存區(qū)506中的剩余視片以及基本視圖Rx緩 存區(qū)504中相應的基本視片來進行優(yōu)化解碼。例如，優(yōu)化視圖解碼器510可以用于 將緩存的剩余流中的圖片加上緩存的基本視圖流中的相應圖片以再生成相關的優(yōu)化視圖 流中的圖片。優(yōu)化視圖解碼器510可以用于將再生出的優(yōu)化視圖流中的圖片解碼成，例 如，三維視頻的右視圖中解碼的圖片。可以利用各種視頻解壓縮算法，例如MPEG-4、 AVC、VCU VP6和/或其它視頻格式來形成解壓的或解碼的優(yōu)化視圖視頻內容。得到 的左視圖視頻和右視圖視頻可以傳送給合成器512，以產生用作顯示的三維圖片。合成器512可以包括合適的邏輯、電路、接口和/或代碼，用于將左視圖和右視 圖合成三維圖片以供顯示。左視圖和右視圖可以由運動視差補償處理器514進行運動視 差補償。合成器512可以用于通過視頻顯示設備516向用戶展示三維圖片。運動視差補償處理器514可以包括合適的邏輯、電路、接口和/或代碼，用于對 三維視頻的左視圖和右視片執(zhí)行全局運動和/或視差補償。例如，右視圖視頻中圖 片的特定宏塊可以根據(jù)左視圖視頻中圖片的特定宏塊視差預測而來。由于三維視頻的左 視圖視頻和右視圖視頻間的高度相關性，可以用視差預測推算來預提取相鄰宏塊以供運 動補償，以便減少突然訪問存儲器的次數(shù)?？梢杂眠\動向量來提取左視圖視頻中圖片的 特定宏塊以補償右視圖視頻中圖片的特定宏塊。該相同的運動向量還可以用于左視圖視 頻中圖片的特定宏塊的一個或多個相鄰宏塊，以便運動補償右視圖視頻中圖片的特定宏 塊的相應一個或多個相鄰宏塊。視頻顯示設備516可以包括合適的邏輯、電路和/或代碼，用于顯示從合成器 512接收的三維視頻圖片。主處理器518可以包括合適的邏輯、電路接口和/或代碼，用于操縱及控制相關 單元的運行，例如傳輸解復合器502和/或運動視差補償處理器514，以支持各種應用， 例如，VRU 500上的三維視頻流。存儲器520可以包括合適的邏輯、電路、接口和/或代碼，用于存儲VRU500可 能使用的信息，例如可執(zhí)行指令和數(shù)據(jù)?？蓤?zhí)行指令可以包括各種圖像處理函數(shù)，這些 函數(shù)可以由基本視圖解碼器508和優(yōu)化視圖解碼器510用來處理處理解碼的視頻內容?？?執(zhí)行指令可以包括運動視差補償算法，該算法可以由運動視差補償處理器514用來執(zhí)行運動視差補償。數(shù)據(jù)可以包括接收到的傳輸流數(shù)據(jù)和解碼的視頻內容。存儲器520可以 包括RAM、ROM、以閃存為例的低延遲非易失性存儲器和/或其它合適的電子數(shù)據(jù)存儲在運行中，傳輸解復合器502可以用于從VTU 110接收傳輸流。接收到的傳 輸流包括視頻流，例如基本視圖流、剩余視圖流和其它三維視頻的次要信息。接收到的 次要信息可以包括相關的運動向量和視差向量。傳輸解復合器502可以用于將接收到的 傳輸流解復合或解析成基本視圖流、剩余視圖流以及相關的運動向量和視差向量。可以 提取基本視圖流和剩余視圖流以進行視頻解碼。就這一點而言，提取的基本視圖流和剩 余視圖流可以分別緩存在基本視圖Rx緩存區(qū)504和優(yōu)化視圖Rx緩存區(qū)506中?；?視圖解碼器508可以用于將緩存的基本視圖流解碼成，例如，對應的解碼三維視頻的左 視圖流。優(yōu)化視圖解碼器510可以用于將緩存的剩余流中的圖片加上緩存的基本流中的 相應圖片，以再生成相關優(yōu)化視圖流中的圖片?？梢詫⒃偕傻膬?yōu)化視圖流解碼成，例 如，解碼的三維視頻的右視圖視頻。左視圖和右視圖視頻可以經運動視差補償處理器514 處理以獲得更高的視頻質量。就這一點而言，運動視差補償處理器514可以用于對解 碼三維視頻的左視圖和右視圖視頻中的解碼圖片的多個宏塊執(zhí)行全局運動和/或視差補 償。當右視圖視頻中圖片的特定宏塊可以根據(jù)左視圖視頻中圖片的特定宏塊視差預測而 來時，可以用左視圖視頻中圖片的特定宏塊的運動向量來提取一個或多個相關的相鄰宏 塊，以便運動補償右視圖視頻中圖片的特定宏塊的相應的一個或多個相鄰宏塊?？梢詫?運動視差補償后的左視圖和右視片組合以形成相應的可以在視頻顯示設備516上顯 示的三維圖片。圖6是根據(jù)本發(fā)明實施例的用于使用壓縮幀緩存區(qū)來處理壓縮三維視頻的示范 性步驟的流程圖。如圖6所示，示范性步驟開始于步驟602，其中傳輸解復合器502可以 用于接收壓縮三維視頻的傳輸流。接收到的傳輸流包括壓縮的三維視頻的基本視片 和剩余視片。在步驟604，傳輸解復合器502可以用于將接收到的傳輸流解復合或解 析為壓縮的三維視頻的基本視片和剩余視片。在步驟606，可以提取出壓縮的基 本視片并緩存在基本視圖Rx緩存區(qū)504中。在步驟608，可以提取出剩余視片 并緩存在優(yōu)化視圖Rx緩存區(qū)506中。在步驟610，基本視圖解碼器508可以用于將緩存 的基本視片解碼為，例如，對應的解碼的三維視頻的左視片。在步驟612，可以 將緩存的剩余視片與相應的基本視片相加以再生成相關的優(yōu)化視片。在步 驟614，優(yōu)化視圖解碼器510可以用于將再生成的優(yōu)化視片解碼為，例如，對應的解 碼的三維視頻的右視片。在步驟616，運動視差補償處理器514可以用于對左視圖和 右視圖視頻中解碼的圖片執(zhí)行運動視差補償。在步驟618，合成器512可以用于利用運 動視差補償后的左視圖和右視片來生成三維圖片以便顯示。示范性步驟結束于步驟 620。圖7是根據(jù)本發(fā)明實施例的對三維視頻使用減少的存儲器資源進行視差預測的 示意圖。如圖7所示，示出了三維視頻的左視片710和右視片720。三維視頻 可以是未壓縮源三維視頻或解碼的三維視頻。左視片710可以包括多個宏塊，其中 示出了宏塊712和714。宏塊714是宏塊712的一個相鄰宏塊。右視片720可以包 括多個宏塊，其中示出了宏塊722和724。宏塊724是宏塊722的一個相鄰宏塊。當右視片720中的宏塊722可以根據(jù)左視圖視頻710中的宏塊712視差預測而得到時，由 于左視片710和右視片720間的高度相關性，宏塊722的一個或多個相鄰宏塊， 例如，宏塊724，很有可能根據(jù)宏塊712的相應相鄰宏塊例如宏塊714視差預測而來。就 這一點而言，視差預測推算可以用于預提取相鄰宏塊以便運動估算或運動補償，這樣可 以減少突然訪問視頻存儲器的次數(shù)。例如，當一個運動向量用于提取左視圖710中的宏 塊712以便運動預測右視圖視頻720中的宏塊722時，該相同的運動向量還可以用于預提 取左視圖視頻710中宏塊712的相鄰宏塊，例如，宏塊714，以便運動預測右視圖視頻中 宏塊722的相應相鄰宏塊，例如，宏塊724。圖8是根據(jù)本發(fā)明實施例的用于對三維視頻使用減少的存儲器資源執(zhí)行視差預 測的示范性步驟的流程圖。如圖8所示，示范性步驟開始于步驟802，其中塊A是三維 視頻左視圖中的宏塊。塊B是三維視頻右視圖中的宏塊。塊B是塊A的視差預測塊。 參數(shù)MV_B是塊B的運動向量。在步驟804，需要確定塊B是否需要運動預測。當塊 B需要運動預測時，跳向步驟806，可以使用MV_B提取視頻存儲器中的塊A以運動預測 塊B。在步驟808，需要確定塊B的相鄰宏塊是否需要運動預測。當塊B的相鄰宏塊需 要運動預測時，跳向步驟810，可以使用MV_B關于視頻存儲器中塊B的相鄰宏塊來提取 左視圖中的相應宏塊。示范性步驟結束于步驟812。在步驟804，當塊B不需要運動預測時，接下來示范性步驟結束于步驟812。在步驟808，當塊B的相鄰宏塊不需要運動預測時，接下來示范性步驟結束于步 驟 812。本發(fā)明提供了一種用于三維視頻的幀緩存壓縮和存儲器資源減少的方法和系 統(tǒng)。根據(jù)本發(fā)明的各種實施例，VRU 500可以用于從VTU 200接收壓縮的三維視頻。 接收到的壓縮的三維視頻可以包括基本視圖視頻和剩余視圖視頻。VRU 500可以用于將 接收到的壓縮的三維視頻的基本視圖視頻和優(yōu)化視圖視頻解碼為左視圖視頻和右視圖視 頻?；疽晥D視頻可以根據(jù)可用存儲器資源通過選擇性產生基本視片而生成。例 如 ，VTU 200可以用于根據(jù)可用存儲器資源丟棄和/或跳過沒有用于預測相應優(yōu)化視 片的一個或多個基本視片。VTU 200可以用于通過從壓縮三維視頻的優(yōu)化視圖視頻 的圖片中減去基本視圖視頻中的相應圖片而生成剩余視圖視頻。接收到的基本視圖視頻 和接收到的剩余視圖視頻可以分別緩存在基本視圖Rx緩存區(qū)504和優(yōu)化視圖Rx緩存區(qū) 506中。緩存的基本視圖視頻可以通過基本視圖解碼器508解碼。可以用得到的解碼的 基本視圖視頻生成左視圖視頻和/或右視圖視頻。優(yōu)化視圖解碼器510可以用于將緩存 的剩余視圖視頻中的圖片與緩存的基本視圖視頻中的相應圖片相加而生成優(yōu)化視圖視頻 中的圖片。產生的優(yōu)化視圖視頻中的圖片可以通過優(yōu)化視圖解碼器510解碼。得到的解 碼的圖片可以用于生成左視圖視頻和/或右視圖視頻。VRU 500可以用于執(zhí)行運動視差 補償以得到更高的視頻質量。就這一點而言，VRU 500可以用于利用運動向量來提取左 視圖視頻中圖片的宏塊以運動預測右視圖視頻中圖片的宏塊。右視圖視頻中圖片的宏塊 可以根據(jù)左視圖視頻中圖片的宏塊視差預測以便運動預測。由于左視圖視頻和右視圖視 頻之間的高度相關性，可以用相同的運動向量來預提取左視圖視頻中圖片的一個或多個 相鄰宏塊以運動預測右視圖視頻中圖片宏塊的相應一個或多個相鄰宏塊。本發(fā)明的另一個實施例可以提供一種機器和/或計算機可讀存儲器和/或媒介，其存儲器儲的機器代碼和/或計算機程序包括至少一個代碼段，所述至少一個代碼段由 機器和/或計算機執(zhí)行，從而使該機器和/或計算機執(zhí)行上述用于幀緩存壓縮和減少三維 視頻存儲器資源的方法和系統(tǒng)的步驟。因此，本發(fā)明可以通過硬件、軟件，或者軟、硬件結合來實現(xiàn)。本發(fā)明可以在 至少一個計算機系統(tǒng)中以集中方式實現(xiàn)，或者由分布在幾個互連的計算機系統(tǒng)中的不同 部分以分散方式實現(xiàn)。任何可以實現(xiàn)方法的計算機系統(tǒng)或其它設備都是可適用的。常用 軟硬件的結合可以是安裝有計算機程序的通用計算機系統(tǒng)，通過安裝和執(zhí)行程序控制計 算機系統(tǒng)，使其按方法運行。 本發(fā)明還可以通過計算機程序產品進行實施，程序包含能夠實現(xiàn)本發(fā)明方法的 全部特征，當其安裝到計算機系統(tǒng)中時，可以實現(xiàn)本發(fā)明的方法。本文件中的計算機程 序所指的是可以采用任何程序語言、代碼或符號編寫的一組指令的任何表達式，該指 令組使系統(tǒng)具有信息處理能力，以直接實現(xiàn)特定功能，或在進行下述一個或兩個步驟之 后實現(xiàn)特定功能a)轉換成其它語言、解碼或符號；b)以不同的格式再現(xiàn)。雖然本發(fā)明是通過具體實施例進行說明的，本領域技術人員應當明白，在不脫 離本發(fā)明范圍的情況下，還可以對本發(fā)明進行各種變換及等同替代。另外，針對特定情 形或材料，可以對本發(fā)明做各種修改，而不脫離本發(fā)明的范圍。因此，本發(fā)明不局限于 所公開的具體實施例，而應當包括落入本發(fā)明權利要求范圍內的全部實施方式。
權利要求
1.一種用于視頻編碼的方法，其特征在于，包括由視頻處理系統(tǒng)中的一個或多個處理器和/或電路執(zhí)行如下步驟接收包含基本視圖視頻和剩余視圖視頻的壓縮三維視頻；以及將所述接收到的基本視圖視頻和所述接收到的壓縮三維視頻的優(yōu)化視圖視頻解碼為 左視圖視頻和右視圖視頻。
2.根據(jù)權利要求1所述的方法，其特征在于，所述基本視圖視頻通過根據(jù)可用存儲器 資源選擇性地產生所述基本視圖視頻中的圖片而生成。
3.根據(jù)權利要求2所述的方法，其特征在于，根據(jù)所述可用存儲器資源，所述基本視 圖視頻中沒有用于預測所述優(yōu)化視圖視頻中相應圖片的一個或多個圖片被丟棄。
4.根據(jù)權利要求1所述的方法，其特征在于，所述剩余視圖視頻通過從所述壓縮三維 視頻的優(yōu)化視圖視頻中的圖片中減去所述基本視圖視頻中的相應圖片而生成。
5.根據(jù)權利要求1所述的方法，其特征在于，所述方法進一步包括緩存所述接收到的 基本視圖視頻和所述接收到的剩余視圖視頻。
6.—種用于視頻編碼的系統(tǒng)，其特征在于，包括用于視頻處理系統(tǒng)的一個或多個處理器和/或電路，其中所述一個或多個處理器和/ 或電路用于接收包含基本視圖視頻和剩余視圖視頻的壓縮三維視頻；以及將所述接收到的基本視圖視頻和所述接收到的壓縮三維視頻的優(yōu)化視圖視頻解碼為 左視圖視頻和右視圖視頻。
7.根據(jù)權利要求6所述的系統(tǒng)，其特征在于，所述基本視圖視頻通過根據(jù)可用存儲器 資源選擇性地產生所述基本視圖視頻中的圖片而生成。
8.根據(jù)權利要求7所述的系統(tǒng)，其特征在于，根據(jù)所述可用存儲器資源，所述基本視 圖視頻中沒有用于預測所述優(yōu)化視圖視頻中相應圖片的一個或多個圖片被丟棄。
9.根據(jù)權利要求6所述的系統(tǒng)，其特征在于，所述剩余視圖視頻通過從所述壓縮三維 視頻的優(yōu)化視圖視頻中的圖片中減去所述基本視圖視頻中的相應圖片而生成。
10.根據(jù)權利要求6所述的系統(tǒng)，其特征在于，所述一個或多個處理器和/或電路用 于緩存所述接收到的基本視圖視頻和所述接收到的剩余視圖視頻。
全文摘要
本發(fā)明涉及一種用于視頻編碼的方法和系統(tǒng)。視頻接收器從視頻發(fā)送器接收包含基本視圖視頻和剩余視圖視頻的壓縮三維視頻。視頻接收器將接收到的基本視圖視頻和接收到的壓縮三維視頻的優(yōu)化視圖視頻解碼為左視圖視頻和右視圖視頻。基本視片根據(jù)可用存儲器資源選擇性生成。剩余視圖視頻通過從優(yōu)化視片中減去相應基本視片而生成。將接收到的基本視圖視頻和剩余視圖視頻被緩存以便進行視頻解碼。將緩存的剩余視圖視頻的圖片與緩存的基本視圖視頻的相應圖片相加，以便進行優(yōu)化視圖解碼。左視圖視頻和/或右視圖視頻由上述解碼的基本視圖和優(yōu)化視片生成。使用一個用于視差預測宏塊的運動向量來預提取相鄰宏塊。
文檔編號H04N13/00GK102026009SQ20101028218
公開日2011年4月20日 申請日期2010年9月15日 優(yōu)先權日2009年9月16日
發(fā)明者伊利亞·克萊巴諾夫, 薩米爾·赫爾亞爾卡, 陳雪敏, 馬庫斯·凱勒曼 申請人:美國博通公司