用于處理視頻數(shù)據(jù)的系統(tǒng)和方法
【專利摘要】本發(fā)明公開了用于處理視頻數(shù)據(jù)的系統(tǒng)和方法。該系統(tǒng)和方法處理具有第一分辨率視頻幀的視頻流，該第一分辨率視頻幀包括多個第二分辨率視頻幀。
【專利說明】用于處理視頻數(shù)據(jù)的系統(tǒng)和方法
[0001] 相關(guān)申請的交叉引用
[0002] 本申請是非臨時申請并要求于2013年4月25日提交的題為"System and Method for Processing Video Data"的美國臨時專利申請第61/815, 860號的權(quán)益，通過引用將其 全部內(nèi)容結(jié)合于本文中。

【技術(shù)領(lǐng)域】
[0003] 本公開內(nèi)容一般涉及用于處理視頻數(shù)據(jù)的系統(tǒng)和方法，且更具體地涉及用于處理 包含嵌入在較高分辨率視頻數(shù)據(jù)中的較低分辨率視頻數(shù)據(jù)的視頻數(shù)據(jù)的系統(tǒng)和方法。

【背景技術(shù)】
[0004] 現(xiàn)代視頻系統(tǒng)不斷推高視頻分辨率的界限。然而，卻不能始終為現(xiàn)代視頻系統(tǒng)提 供具有與它們的最大支持分辨率等效的分辨率的視頻?？赡芟蛳到y(tǒng)多次提供低于最大支持 分辨率的視頻。在具有支持較高分辨率的視頻格式的存儲器和硬盤的情況下，當(dāng)支持來自 傳統(tǒng)標(biāo)準(zhǔn)的較低分辨率視頻流時，系統(tǒng)可能得不到有效地利用。


【發(fā)明內(nèi)容】

[0005] 根據(jù)本發(fā)明的一個方面，提供了一種用于視頻處理的方法，所述方法包括：接收包 含第一分辨率視頻幀的第一視頻流，所述第一分辨率視頻幀中的至少一個被定義為包括多 個第二分辨率視頻幀；以及基于所述第一分辨率視頻幀的所述第二分辨率視頻幀產(chǎn)生第二 視頻流。
[0006] 其中，所述第一分辨率視頻幀具有第一幀速率以及多個所述第二分辨率視頻幀具 有第二幀速率。
[0007] 其中，所述第二幀速率高于所述第一幀速率。
[0008] 其中，所述第一分辨率和所述第二分辨率是位深度。
[0009] 其中，多個所述第二分辨率視頻幀包括：包含所述位深度的最高有效位的第一幀 和包含所述位深度的最低有效位的第二幀。
[0010] 其中，所述第一分辨率具有比所述第二分辨率高的分辨率。
[0011] 進(jìn)一步地，所述方法包括：在視頻編解碼器中接收所述第一分辨率幀。
[0012] 進(jìn)一步地，所述方法包括：從所述第一分辨率視頻幀中裁剪多個所述第二分辨率 視頻幀。
[0013] 進(jìn)一步地，所述方法包括：從所述第二分辨率視頻幀中產(chǎn)生第二分辨率視頻流。
[0014] 根據(jù)本發(fā)明的第二方面，提供了一種用于編碼視頻數(shù)據(jù)的系統(tǒng)，所述系統(tǒng)包括：存 儲單元；幀處理單元，可操作地耦接至所述存儲單元，所述幀處理單元被配置為檢索多個較 低分辨率視頻幀，將所述較低分辨率視頻幀組合在較高分辨率視頻幀中，以及將所述較高 分辨率視頻幀存儲在所述存儲單元中；編碼器，可操作地耦接至所述存儲單元，所述編碼器 包括被配置為將所述較高分辨率視頻幀壓縮在編碼位流中的至少一個模塊。
[0015] 其中，所述較高分辨率視頻幀定義比所述較低分辨率視頻幀低的幀速率。
[0016] 其中，所述多個較低分辨率視頻幀的每個幀位于所述較高分辨率視頻幀的區(qū)域。
[0017] 其中，所述多個較低分辨率視頻幀的每個幀包括三維視頻幀的組件幀。
[0018] 其中，所述多個較低分辨率視頻幀的至少一個幀包括二維視頻內(nèi)容。
[0019] 其中，所述多個較低分辨率視頻幀的至少一個相應(yīng)的幀包括三維深度層內(nèi)容。
[0020] 根據(jù)本發(fā)明的又一方面，提供了一種用于處理包括嵌入在高分辨率視頻數(shù)據(jù)中的 較低分辨率視頻數(shù)據(jù)的視頻數(shù)據(jù)的裝置，所述裝置包括：存儲單元；處理器，可操作地耦接 至所述存儲單元，所述處理器包括被配置為以下的至少一個模塊：將較高分辨率視頻幀緩 存在所述存儲單元中；從所述較高分辨率視頻幀中裁剪多個較低分辨率視頻幀；渲染所述 多個較低分辨率視頻幀以產(chǎn)生較低分辨率視頻流。
[0021] 其中，所述較高分辨率視頻幀包括四個較低分辨率視頻幀。
[0022] 其中，所述多個較低分辨率視頻幀包括視頻廣播的多個相機角度。
[0023] 其中，多個低清晰度視頻幀的每個幀包括不同的節(jié)目。
[0024] 其中，所述多個低清晰度視頻幀包括多個視頻流以及所述多個視頻流的至少一個 視頻流包括用于特定用戶的針對性營銷內(nèi)容。

【專利附圖】

【附圖說明】
[0025] 圖1是具有包含具有第二分辨率的多個視頻幀的第一分辨率的視頻幀的示圖；
[0026] 圖2是用于編碼包含第二分辨率的多個視頻幀的第一分辨率的視頻幀的系統(tǒng)的 框圖；
[0027] 圖3是用于解碼包含第二分辨率的多個視頻幀的第一分辨率的視頻幀的系統(tǒng)；
[0028] 圖4是顯示用于圖3所介紹的系統(tǒng)的多個操作模式的框圖；
[0029] 圖5是用于解碼包含第二分辨率的視頻內(nèi)容的第一分辨率的視頻流的方法的流 程圖；
[0030] 圖6是包含第二分辨率的多個視頻幀（包含三維內(nèi)容）的第一分辨率的視頻幀的 示圖；
[0031] 圖7是用于解碼包含三維視頻內(nèi)容的視頻流的系統(tǒng)的框圖；
[0032] 圖8是用于解碼包含三維視頻內(nèi)容的視頻流的方法的流程圖；
[0033] 圖9是包含具有增加的幀速率的多個視頻幀的第一分辨率的視頻幀的示圖；以及
[0034] 圖10是用于解碼包含具有增加的幀速率和第二分辨率的多個視頻幀的第一分辨 率的視頻幀的系統(tǒng)；以及
[0035] 圖11是根據(jù)本公開內(nèi)容的教導(dǎo)的具有第一位深度的視頻幀的示圖。

【具體實施方式】
[0036] 參考圖1，提供視頻幀的示圖。視頻幀可以具有第一分辨率并且包含具有第二分 辨率的多個視頻幀。在該實施方式中，具有第一分辨率的視頻幀可以定義較高分辨率視頻 幀102并且具有第二分辨率的視頻幀可以定義較低分辨率視頻幀104。較低分辨率視頻幀 104相組合可以形成組合的較高分辨率幀106。較高分辨率視頻幀102可以包括3840x2160 的像素分辨率，通常被稱為4k x2k分辨率或Ultra HD分辨率。在一些實施方式中，較高分 辨率視頻幀的幀速率可以是例如120Hz。然而，應(yīng)該理解，幀速率可以是任何其他視頻幀速 率（例如，60Hz、240Hz、480Hz等）。組合的較高分辨率幀106也可以包括3840x2160的總 分辨率。組合的較高分辨率幀106可以進(jìn)一步包括多個較低分辨率視頻幀，諸如，1080p分 辨率（即，每個具有1920x1080的像素分辨率）。
[0037] 在該實例中，組合的較高分辨率幀106可以包括包含相應(yīng)的視頻內(nèi)容的多個部 分或段。在一個或多個實施方式中，對應(yīng)于第一巾貞象限108、第二巾貞象限110、第三巾貞象 限112、第四幀象限114。可以在幀象限108、110、112、114的每個中顯示四個不同的節(jié)目 (program)。此外，巾貞象限108、110、112、114的每個可以是1080p分辨率。
[0038] 雖然在該實施方式中描述1080p和4k x2k的分辨率，根據(jù)本公開內(nèi)容可以應(yīng)用其 他視頻分辨率，例如720x480、1280x720、8k x4k以及其他標(biāo)準(zhǔn)的和非標(biāo)準(zhǔn)的視頻分辨率。 在一些實施方式中，多個幀可以包括位于組合的較高分辨率幀的多個區(qū)域中的任何數(shù)量的 幀。例如，多個幀可以包括位于組合的較高分辨率幀中的對應(yīng)數(shù)量的區(qū)域中的兩個至十個 幀。多個幀可以進(jìn)一步改變單個組合的較高分辨率幀中的分辨率。例如，組合的較高分辨 率幀可以包括三個1080p幀、一個1280x720幀和640x360幀。
[0039] 如本文所使用的術(shù)語節(jié)目和視頻內(nèi)容可能是指多種形式的視頻流、視頻內(nèi)容、相 機角度、通過軟件程序捕獲的視頻、計算機節(jié)目、三維視頻內(nèi)容、以及其他形式的視頻。在該 實施方式中，可以在組合的較高分辨率幀106中嵌入來自四個獨立的視頻流的幀。例如，在 單個4k x2k視頻流中可以同時傳遞四個1080p視頻流。如本文討論的術(shù)語較高分辨率和較 低分辨率被用于比較第一分辨率和第二分辨率的相對分辨率，并且不應(yīng)被視為限制本公開 內(nèi)容。一般而言，術(shù)語分辨率可以指視頻幀的像素分辨率。然而，在至少一個實施方式中， 分辨率可以指如下文所述的像素深度、位深度或顏色深度。
[0040] 參考圖2,根據(jù)本公開內(nèi)容的教導(dǎo)示出用于編碼具有第一分辨率的視頻幀的系統(tǒng) 202的框圖。具有第一分辨率的視頻幀可以進(jìn)一步包括具有第二分辨率的多個視頻幀。系 統(tǒng)通?？梢园ǎ簬幚砥?04、存儲器206、視頻幀編譯器208和編碼器210。貫穿本公開 內(nèi)容描述的在該系統(tǒng)202和其他系統(tǒng)中的存儲器可以包括各種形式的存儲器，例如，隨機 存取存儲器（RAM)、動態(tài)RAM (DRAM)、同步DRAM (SDRAM)、以及被配置為存儲數(shù)字信息的其他 形式的存儲器。
[0041] 在該【具體實施方式】中，幀處理器204可被配置為檢索單個的較低分辨率視頻幀并 且將每個視頻幀緩存在存儲器206 (例如DRAM)。存儲器206可具有足夠的容量來存儲對應(yīng) 于至少一個較高分辨率視頻幀的多個緩存的視頻幀。在該實施方式中，較低分辨率視頻幀 214a、214b、214c和214d可以是1080p視頻幀并且較高分辨率視頻幀212可以是4k x2k視 頻幀。視頻幀編譯器208可以檢索單個的較低分辨率視頻幀并且組合該幀以形成單個較高 分辨率（例如，4k x2k)視頻幀。一旦較高分辨率視頻幀被編譯，編碼器可以檢索每個較高 分辨率視頻幀。然后，編碼器可以編碼每個視頻幀以以壓縮形式創(chuàng)建高分辨率輸出視頻流。 輸出視頻稍后被解碼器處理并且壓縮作為視頻饋送（video feed)的一部分。
[0042] 現(xiàn)在參考圖1和2,編譯器可以以各種排列和順序聚合較低分辨率幀104。較低分 辨率視頻幀的特定排列以及每個幀的其他特征由編譯器來收集并被編碼器嵌入元數(shù)據(jù)。元 數(shù)據(jù)通?？梢园ㄗR別組合的較高分辨率幀106中的較低分辨率幀104的存在和排列的信 息。元數(shù)據(jù)可以進(jìn)一步包括關(guān)于高和較低分辨率幀的其他特征信息，例如，分辨率、壓縮數(shù) 據(jù)、幀速率、顏色深度和可以將較低分辨率視頻幀和較高分辨率視頻幀聯(lián)系起來的任何信 息。術(shù)語元數(shù)據(jù)可以指各種形式的數(shù)據(jù)，例如標(biāo)頭信息、數(shù)據(jù)令牌、數(shù)據(jù)包以及可在視頻流 中接收的其他識別信息。
[0043] 現(xiàn)在參考圖3,根據(jù)本公開內(nèi)容的教導(dǎo)示出用于解碼具有第一分辨率的視頻幀的 系統(tǒng)。具有第一分辨率的視頻幀可以進(jìn)一步包括具有第二分辨率的多個視頻幀。解碼系統(tǒng) 302通?？梢园ǎ航獯a器304、存儲單元306 (例如，以DRAM形式）、視頻縮放器308、視頻 合成器310。響應(yīng)于輸入視頻流的接收，系統(tǒng)302可將高分辨率視頻流的一個或多個視頻幀 緩存在存儲單元306中。解碼器304可以訪問存儲單元306中的幀的元數(shù)據(jù)以確定輸入高 分辨率視頻流的特征。然后，解碼器304可以解釋對應(yīng)于高分辨率視頻流的一個或多個較 高分辨率視頻幀的元數(shù)據(jù)以確定關(guān)于每個較高分辨率視頻幀的識別信息。識別信息可以指 示輸入高分辨率視頻流包括常規(guī)的視頻數(shù)據(jù)，例如，用于單個節(jié)目的視頻數(shù)據(jù)的單個幀，或 者在每個較高分辨率視頻幀中嵌入多個較低分辨率視頻幀。接著，整個解碼系統(tǒng)可應(yīng)用輸 入高分辨率視頻流的特征以處理多個較低分辨率視頻幀用于顯示。
[0044] 因為解碼器304從視頻流解壓縮每個較高分辨率視頻，所以可以將每個較高分辨 率視頻幀存儲在存儲單元306中。接著，視頻饋送器312可以檢索一個或多個較高分辨率 視頻幀并且將每個較高分辨率視頻幀提供至視頻縮放器308。視頻縮放器308可以根據(jù)元 數(shù)據(jù)、控制器或用戶輸入的指示裁剪和排列每個較低分辨率視頻幀。經(jīng)解壓縮，作為120Hz 的4k x2k視頻幀接收的多個視頻幀可以對應(yīng)于120Hz的四個1080p視頻流（例如，1080p 節(jié)目）對應(yīng)。
[0045] 接著，可由幀捕獲單元316捕獲來自視頻縮放器308的縮放的視頻幀。幀捕獲單元 316可以捕獲每個較低分辨率視頻幀的縮放和位置用于以單個、較高分辨率視頻幀顯示。經(jīng) 幀捕獲，可以將包括多個較低分辨率視頻幀的組合的較高分辨率視頻幀提供至視頻合成器 310。接著，視頻合成器310可以以最終的視頻格式組裝每個幀以增加附加的渲染圖形和增 強。接著，可以將組合的較高分辨率視頻幀的最終格式從合成器輸出至顯示單元。為了提供 靈活的觀看體驗，系統(tǒng)302可以進(jìn)一步提供用于被配置為改變觀看模式的用戶輸入，如圖4 所示。
[0046] 參考圖4,根據(jù)本公開內(nèi)容的教導(dǎo)示出圖示可以作為經(jīng)由解碼系統(tǒng)302輸出的視 頻模式的框圖。在第一模式402中，視頻縮放器可以檢索四個較低分辨率視頻幀?？捎梢曨l 縮放器404裁剪和縮放每個較低分辨率視頻幀。視頻縮放器404允許較低分辨率視頻幀以 單個較高分辨率幀顯示。接著，可由幀捕獲單元406完成單個較高分辨率幀的幀捕獲?？?由合成器405和輸出模塊407處理每個節(jié)目以將其輸出至顯示屏幕408。可同時顯示較低 分辨率視頻幀，如節(jié)目1、節(jié)目2、節(jié)目3和節(jié)目4所示或者所示的位置產(chǎn)生任何變化。在該 第一模式402中，在高分辨率顯示器408上同時示出四個獨立的較低分辨率視頻屏幕。在 該實例中，每個單獨的較低分辨率幀可以包括4kx2k高分辨率幀中所提供的1080p幀。
[0047] 在第二模式410中，用戶可能更喜歡在全屏幕上觀看單個節(jié)目，例如節(jié)目1。用戶 可以請求激活該模式，使得在顯示器412上全屏幕顯示節(jié)目1。在該情況下，視頻縮放器414 可以裁剪和放大（upscale)節(jié)目1的每個幀。另外，幀捕獲單元416可以捕獲節(jié)目1的每 個幀用于全屏幕顯示?？捎珊铣善?15和輸出模塊417處理視頻幀以將其全屏幕輸出在顯 示器412上。接著，用戶可以以傳統(tǒng)的觀看形式觀看節(jié)目1。
[0048] 通過檢索和放大對應(yīng)于節(jié)目2的單個幀可以類似于第二模式410支持第三模式 418。接著，視頻縮放器422可放大對應(yīng)于節(jié)目2的單個視頻幀。此外，幀捕獲單元424可 以捕獲用于節(jié)目2的較高分辨率幀?？捎珊铣善?25和輸出模塊427處理視頻幀。接著， 節(jié)目2可以以放大的較高分辨率的格式顯示在顯示器420上。類似于模式410和418,其他 模式也可以應(yīng)用于第三節(jié)目和第四節(jié)目。其他實施方式可以進(jìn)一步針對存儲在單個較高分 辨率視頻幀中的多個較低分辨率視頻幀提供，并且可以進(jìn)一步合并408中所示的四個幀的 子幀或者對應(yīng)于可在單個較高分辨率視頻幀中排列或傳遞的任何分辨率或多個分辨率的 部分小數(shù)部分。例如，包括1080p、720p和480p(DVD分辨率）的分辨率的多個幀可以組合 成單個、較大的l〇8〇p、4k x2k、或8k x4k視頻巾貞。也可以應(yīng)用與本公開內(nèi)容一致的其他標(biāo) 準(zhǔn)和非標(biāo)準(zhǔn)的視頻分辨率。
[0049] 本公開內(nèi)容中的術(shù)語節(jié)目一般用于描述廣泛的視頻內(nèi)容。在一些實施方式中，較 低分辨率幀可包括可對應(yīng)于現(xiàn)場廣播或之前錄制的廣播的多個相機角度。例如，體育賽事 的多個相機角度可以被顯示為節(jié)目1、2、3和4。在另一個實施方式中，多個獨立的視頻內(nèi)容 可以被顯示為節(jié)目1、2、3和4。針對節(jié)目的實施方式的其他實例進(jìn)一步可包括：包括商業(yè)廣 告、視頻集錦、天氣報告、比分、信用的渲染視頻內(nèi)容或任何其他視頻內(nèi)容的至少一個節(jié)目。 在包括多個相機視圖的實施方式中，用戶可以請求系統(tǒng)在全屏模式下在相機視圖之間切換 (見412和420)或同時顯示相機角度408。
[0050] 在又一個實施方式中，至少一個節(jié)目可以包括針對性視頻流，該針對性視頻流可 包括針對特定觀眾的針對性市場營銷內(nèi)容。在該實施方式中，如408中所示，可以為一個或 多個節(jié)目同時提供內(nèi)容。另外，如框412和420所示，響應(yīng)于在輸入視頻流中接收的元數(shù)據(jù) 或用戶全屏幕顯示的請求，可以切換內(nèi)容。節(jié)目的其他實例可以包括計算機軟件視頻內(nèi)容 和其他計算機應(yīng)用相關(guān)內(nèi)容。在這些實施方式中，顯示優(yōu)先級可以通過視頻流中接收的元 數(shù)據(jù)識別，也可以由用戶偏好識別。元數(shù)據(jù)可以包括指示在用戶可能返回到所選節(jié)目之前 將顯示的廣告所需要的時期的規(guī)則。
[0051] 參考圖5,502提供用于解碼視頻流的方法的流程圖?？梢砸缘谝环直媛示幋a和傳 輸視頻流。然而，根據(jù)本公開內(nèi)容的教導(dǎo)，視頻流可以包括具有第二分辨率的視頻內(nèi)容。圖 3的系統(tǒng)302可以進(jìn)一步應(yīng)用于以整個視頻顯示器中顯示的高分辨率來顯示視頻內(nèi)容。響 應(yīng)于輸入視頻流的內(nèi)容，系統(tǒng)302還可以選擇性地在每個單個較高分辨率視頻幀中顯示多 個較低分辨率視頻幀。因此，系統(tǒng)可以接收編碼視頻流（504)。響應(yīng)于輸入視頻流的接收， 輸入視頻流的視頻幀可被緩存在存儲器（諸如DRAM)中（506)?？捎山獯a器檢索視頻幀 (508)。解碼器可以被配置為拆開對應(yīng)于每個視頻幀的元數(shù)據(jù)（510)?；谠獢?shù)據(jù)，系統(tǒng)可 以識別輸入視頻流是否包括嵌入的、較低分辨率視頻幀（512)。
[0052] 雖然本文的元數(shù)據(jù)是指對應(yīng)于輸入視頻流的一個或多個幀的識別信息，但是元數(shù) 據(jù)也可包括例如包含標(biāo)頭文件、標(biāo)志的各種形式或者與或在視頻流接收到的其他識別信 息。元數(shù)據(jù)還可以由解釋器、內(nèi)部或外部的控制器、附加的處理器或被配置為識別輸入視頻 流的特性的其他電路并行解釋。接著，解碼器可以將特性應(yīng)用于解碼并且顯示輸入視頻流。 在該實施方式中，元數(shù)據(jù)可以將輸入視頻流的每個幀指定為包含與常規(guī)視頻（例如，在整 個顯示器上顯示的單個視頻流）類似的旨在顯示的單個幀。
[0053] 如果輸入視頻流包括單個幀，解碼單個較高分辨率視頻幀（514)并且將其存儲在 存儲器中。然后，從存儲器中檢索較高分辨率視頻（518)。根據(jù)需要縮放較高分辨率視頻 (520)。然后，捕獲較高分辨率幀（524)。此外，例如由合成器接著組合內(nèi)容（526)。然后， 將較高分辨率視頻提供至輸出視頻饋送（528)。
[0054] 元數(shù)據(jù)還可以將單個幀指定為包含嵌入在較高分辨率視頻幀的一部分中（例如， 在不同的象限）的多個較低分辨率視頻幀。如果確定已接收包括多個較低分辨率幀的視頻 幀，則解碼包括較低分辨率視頻幀的較高分辨率視頻幀（536)并將其存儲在存儲器中。方 法可以繼續(xù)從存儲器中檢索每個較低分辨率視頻幀（538)。然后，縮放和裁剪每個較高分辨 率幀的較低分辨率幀（542)。然后，將較低分辨率幀捕獲至最后視頻幀（544)。接著用于顯 示的每個視頻幀的捕獲，可以由合成器增加附加的渲染內(nèi)容（546)。合成器可以將嵌入在單 個較高分辨率視頻中的多個較低分辨率視頻輸出至顯示器（528)。
[0055] 現(xiàn)在參考圖6,提供具有第一分辨率的視頻幀的示圖。第一分辨率視頻幀可以具 有第一分辨率格式。此外，具有第一視頻格式的第一分辨率視頻幀可以包括第二分辨率格 式的多個視頻幀。根據(jù)本公開內(nèi)容的教導(dǎo)的多個視頻幀可以包括三維內(nèi)容。在該實施方式 中，可以實施單個較高分辨率視頻幀602來顯示可以被組合以產(chǎn)生三維內(nèi)容的多個較低分 辨率幀。每個較低分辨率視頻幀可以包括對應(yīng)于單個較低分辨率三維視頻幀的相應(yīng)的視頻 數(shù)據(jù)。
[0056] 較低分辨率視頻幀可以包括視頻層604。視頻層604可以進(jìn)一步包括兩個二維 (2D)視頻幀組件606。此外，兩個視頻層604可以包括三維（3D)增強層視頻組件608(增 強層）。如所示，視頻層604可包括均可被組合以產(chǎn)生單個3D視頻幀的兩個2D視頻幀組 件606和兩個三維增強層組件608。更具體地，2D視頻幀606可以包括左立體圖像610和 右立體圖像612。3D增強層608可以包括左增強層深度圖614和右增強層深度圖616?？?以組合每個較低分辨率層604以形成包括3D深度內(nèi)容的單個較低分辨率視頻幀。在一個 實例中，較低分辨率可以是1080p以及較高分辨率可以是4kx2k ;然而，可以根據(jù)本公開內(nèi) 容的教導(dǎo)應(yīng)用其他分辨率。
[0057] 現(xiàn)在參考圖7,根據(jù)本公開內(nèi)容的教導(dǎo)示出用于解碼包括3D視頻內(nèi)容的視頻流的 系統(tǒng)的框圖。與圖3的系統(tǒng)類似，系統(tǒng)702可以在解碼器704中接收輸入高分辨率視頻流。 解碼器704可以解碼輸入高分辨率視頻流并且在存儲器706中緩存來自高分辨率視頻流的 每個幀的多個視頻幀?？梢越忉寣?yīng)于多個視頻幀的元數(shù)據(jù)以識別視頻流的特性或特征。 如果確定輸入視頻流包括對應(yīng)于3D內(nèi)容的視頻層，視頻饋送器708可以檢索包括視頻層 710的較高分辨率幀。視頻縮放器711可以裁剪、重新排列和縮放來自視頻饋送器708的每 個較低分辨率視頻層。然后，3D渲染引擎712可以從組合的較低分辨率視頻層710中捕獲 單個3D合成幀。視頻饋送器708可以將3D合成幀作為輸出3D視頻流流出。視頻饋送器 708可以將視頻流的速度控制在元數(shù)據(jù)中所識別的幀速率。在合成器716中可以將3D視頻 流與渲染圖形組合用于顯示器718。
[0058] 在該實施方式中，在單個較高分辨率視頻幀中提供四個視頻層（710a、710b、710c、 710d)?？梢越M合四個視頻層以產(chǎn)生單個、較低分辨率3D視頻幀。當(dāng)連續(xù)產(chǎn)生時，較低分辨 率3D視頻幀可以形成較低分辨率3D視頻流。本文公開的方法和系統(tǒng)可以在單個較高分辨 率視頻幀中組合各種較低分辨率視頻內(nèi)容。較低分辨率內(nèi)容的實例可以包括各種視頻內(nèi) 容、節(jié)目、增強層、互動營銷信息和多個相機視圖。
[0059] 現(xiàn)在參考圖8,根據(jù)本公開內(nèi)容的教導(dǎo)示出用于解碼包括3D視頻內(nèi)容的視頻流的 方法的流程圖（802)。該方法可以通過接收編碼高分辨率視頻流進(jìn)行初始化（804)。所述 視頻流的每個幀可被緩存在存儲器中，例如DRAM (806)。一旦至少一個較高分辨率視頻幀已 經(jīng)緩存存儲器中，可以從存儲器中檢索較高分辨率視頻幀（808)。然后，可以拆開元數(shù)據(jù)以 識別接收的視頻幀的特性（810)。從元數(shù)據(jù)中，解碼器可以識別較高分辨率視頻幀包括3D 視頻幀。然后，可以解碼較高分辨率視頻幀并且將其存儲在存儲器中（812)。在解碼之后， 視頻饋送器可以從存儲器中檢索視頻幀（814)。然后，視頻縮放器可以縮放視頻幀（816)。 然后，可以在3D渲染引擎中組合視頻幀以創(chuàng)建單個較低分辨率3D視頻幀（818)。然后，例 如可以在合成器中組合3D視頻幀與附加的渲染圖形（820)?？梢詫?D視頻幀作為較低分 辨率3D視頻饋送輸出至顯示器（822)。
[0060] 參考圖9,根據(jù)本公開內(nèi)容的教導(dǎo)提供視頻幀的示圖。視頻幀具有第一分辨率并且 可以設(shè)置在第一幀速率。第一分辨率的視頻幀可以包括具有第二分辨率和第二幀速率的多 個視頻幀。在一個實施方式中，較高分辨率視頻幀902具有嵌入其內(nèi)的多個較低分辨率幀。 較高分辨率視頻幀902可以具有4k x2k的分辨率和60Hz的幀速率。多個較低分辨率視頻 幀904可以包括同一視頻節(jié)目的四個連續(xù)的1080p幀，每個幀為240Hz幀速率。每個較低 分辨率幀的幀速率可能比較高分辨率幀的幀速率大三倍，然而分辨率可能小三倍。
[0061] 在該實施方式中，單個節(jié)目（記為節(jié)目1)可以具有四個連續(xù)的幀，第一幀906、第 二幀908、第三幀910和第四幀912。通過將四個較低分辨率幀904存儲在較高分辨率幀902 中，包括較高分辨率視頻幀的視頻流可以被配置為傳遞具有為高分辨率視頻流的幀速率四 倍的較低分辨率視頻饋送。在一些實施方式中，較高分辨率視頻幀902可以是4kx2k的分 辨率和較低分辨率視頻幀904可以是1080p的分辨率。在其他實施方式中，每個較高分辨 率幀和較低分辨率幀可以分別包括不同的高和低幀分辨率。較高分辨率幀的另一個實例可 以是具有嵌入在8k幀內(nèi)的十六個1080p幀的7, 680x4, 320像素幀（8k)。又一個實例可以 包括嵌入8k幀內(nèi)的4k x2k幀。
[0062] 在該實施方式中的較低分辨率幀904排列有左上象限的第一幀906、右上象限的 第二幀908、左下象限的第三幀910和右下象限的第四幀912。進(jìn)一步由顯示幀順序的箭頭 指示該次序。在一些實施方式中，可以在較高分辨率幀902的不同象限中存儲每個較低分 辨率幀。例如，第一幀906可以在左上象限，第二幀908可以在左下象限，第三幀910可以 在右上象限，和第四幀912可以在右下象限。又一個實施方式可以包括第一幀906在左上 象限，第二幀908在右上象限，第三幀910在左下象限和第四幀912在右下象限。論述的關(guān) 于該實施方式的較低分辨率幀904的排列通?？梢詰?yīng)用于在該公開內(nèi)容中論述的任何實 施方式。
[0063] 現(xiàn)在參考圖10,示出用于解碼具有第一分辨率的視頻幀的系統(tǒng)1002。具有第一分 辨率的視頻幀可以包括具有第二分辨率和增加的幀速率的多個視頻幀。系統(tǒng)1002通?？?以包括：解碼器1004、存儲單元1006、視頻縮放器1008和合成器1010。與論述的其他實施 方式類似，響應(yīng)于輸入視頻流，解碼器可以被激活。然后，解碼器1004可以將輸入視頻流的 至少一個幀緩存在存儲器1006(例如DRAM)中。在該實施方式中，輸入視頻流可以包括多 個較高分辨率視頻幀，每個較高分辨率視頻幀包括四個較低分辨率視頻幀。
[0064] 利用存儲器1006中緩存的至少一個較高分辨率視頻幀，解碼器可以拆開用于較 高分辨率視頻幀的標(biāo)頭信息并且確定嵌入的較低分辨率視頻幀的特性。如參考圖9論述 的，四個較低分辨率視頻幀可以包括四個240Hz的1080p幀。可由解碼器1004識別并解碼 每個較低分辨率視頻幀。然后，可由視頻饋送器1012從存儲器1006中檢索較低分辨率視 頻幀并將其供應(yīng)至視頻縮放器1008。在視頻縮放器1008中，單個較高分辨率幀的四個單個 幀可以被裁剪和縮放為目標(biāo)顯示分辨率。然后，幀捕獲單元1014可以捕獲單個的幀并產(chǎn)生 增加的幀速率的較低分辨率視頻流。然后，合成器1010可以增加附加的視頻幀內(nèi)容并且將 視頻流輸出至顯示器1018。
[0065] 一旦視頻縮放器1008裁剪并縮放第一四個幀，可以檢索下一個較高分辨率視頻 幀的接著的四個幀。在處理輸入視頻流時，該處理可以繼續(xù)。系統(tǒng)1002可以遵循用于來自 設(shè)置在視頻流中的元數(shù)據(jù)的每個較高分辨率幀中的較低分辨率幀的順序的指令。來自顯示 器1018的輸出視頻流可以包括連續(xù)顯示以在較低分辨率中提供增強的運動數(shù)據(jù)的每個較 低分辨率視頻巾貞。與其他公開的實施方式類似，較低分辨率和較1?分辨率視頻巾貞的巾貞速率 可以變化。也可以應(yīng)用的幀速率的組合的一些實例可以包括30Hz和120Hz、50Hz和100Hz、 120Hz 和、120Hz 和 480Hz 等。
[0066] 參考圖11，示出根據(jù)本公開內(nèi)容的教導(dǎo)的具有第一位深度的視頻幀1102的示圖。 位深度可以指示用于指示單個像素的顏色的位的數(shù)量并且可以定義顏色深度。在該實施方 式中，視頻幀1102可以包括第一顏色深度并且可以具有高分辨率（例如，4kx2k)。視頻幀 1102可以進(jìn)一步包括具有第二顏色深度的多個視頻幀1104。多個視頻幀1104可以包括四 個較低分辨率（例如，1080p)視頻幀。在一些實施方式中，第一顏色深度可以定義比第二顏 色深度低的顏色深度精確度。在該實例中，第一顏色深度可以是12位以及第二顏色深度可 以是24位。顏色深度可以定義用于指示每個視頻幀的每個像素的顏色的位的數(shù)量。
[0067] 雖然在該實施方式中論述顏色深度，但位深度可以定義其他幀和像素特性。位深 度可以指像素組件數(shù)據(jù)和像素顏色組件的精確度。在一些示例中，位深度可以指像素的亮 度和色度?？梢酝ㄟ^可包括4 :2:0、4:2:2、4:2 :1、4:1:1、4:1:0、4 :4:4和其他子樣本方案的 多個子樣本方法傳送像素組件數(shù)據(jù)。在一些實施方式中，位深度可以指可以進(jìn)一步定義附 加的像素數(shù)據(jù)的像素強度。各種公開的實施方式可以進(jìn)一步被組合以定義包括幀和像素特 性的任何組合的多個部分視頻幀。
[0068] 多個視頻幀1104可以進(jìn)一步定義包括幀第二顏色深度的最高有效位的第一部分 視頻幀1106和包括第二顏色深度的最低有效位的第二部分視頻幀1108。在該實例中，第一 部分視頻幀1106可以包括第一視頻幀的每個像素的顏色深度的十二個最高有效位。第二 部分視頻幀1108可以包括第二視頻幀的每個像素的顏色深度的十二個最低有效位?？梢?組合第一部分視頻幀1106和第二部分視頻幀1108以形成具有第二顏色深度的第一視頻幀 1110。
[0069] 多個視頻幀1104可以進(jìn)一步定義包括第二顏色深度的最高有效位的第三部分視 頻幀1112和包括第二顏色深度的最低有效位的第四部分視頻幀1114。與第一部分視頻幀 1106類似，第三部分視頻幀1114可以包括第一視頻幀的每個像素的顏色深度的十二個最 高有效位。此外，第二部分視頻幀1108可以與包括第四視頻幀的每個像素的顏色深度的 十二個最低有效位的第三部分視頻幀類似。也可以組合第三部分視頻幀1112和第四部分 視頻幀1114以形成具有第二顏色深度（例如，24位的精確度或者第一顏色深度的兩倍）的 第二視頻幀1116。
[0070] 當(dāng)?shù)谝灰曨l幀1110和第二視頻幀都是利用其相應(yīng)的部分視頻幀的組合時，第一 視頻幀1110和第二視頻幀1116可以進(jìn)一步定義較低分辨率視頻幀1118的順序。較低分辨 率視頻幀1118的順序可以對應(yīng)于具有第二顏色深度的低像素分辨率視頻流的連續(xù)幀。通 過組合部分視頻幀1106至1108和部分視頻幀1110至1112以形成具有第二顏色深度的較 低分辨率視頻幀1118的順序，較低分辨率視頻幀的順序可以在與本文公開的這些類似的 系統(tǒng)中流傳輸。
[0071] 雖然該實例中的第一顏色深度和第二顏色深度分別是12位和24位，同樣可以應(yīng) 用顏色深度的其他組合。顏色深度組合的其他實例可以包括8位和16位、6位和12位、以 及4位和8位顏色深度。具有第一顏色深度的視頻幀1102和具有第二顏色深度的多個視 頻幀1104也可以改變像素分辨率。在一個實施方式中，具有第一顏色深度的視頻幀可以具 有8k分辨率以及具有第二分辨率的多個視頻幀可以具有1080p分辨率。在該實施方式中， 具有第二分辨率的多個視頻幀可以包括八個部分視頻幀?？梢越M合八個部分視頻幀以形成 具有第二顏色深度的四個較低分辨率視頻幀。還可以根據(jù)本公開內(nèi)容應(yīng)用顏色深度和分辨 率的其他組合。
[0072] 與本公開內(nèi)容介紹的其他處理類似，具有第二顏色深度的較低分辨率視頻流可以 在具有第一顏色深度的高分辨率視頻流中傳遞。當(dāng)接收高分辨率視頻流的每個幀時，可以 在存儲單元中緩存每個幀。然后，解碼器可以解壓縮高分辨率流的幀。然后，可以解釋伴隨 高分辨率視頻流的幀的元數(shù)據(jù)以識別高分辨率視頻流的幀包括具有較低分辨率的多個部 分視頻幀?？梢栽诳s放器中裁剪并組合具有較低分辨率的部分視頻幀以形成具有第二顏色 深度的多個較低分辨率視頻幀。然后，可以將具有第二顏色深度的每個較低分辨率視頻幀 捕獲至幀捕獲單元中并且輸出用于顯示。
[0073] 應(yīng)注意，本文描述的各種模塊和/或電路（例如，編碼模塊和/或電路、解碼模塊 和/或電路、編碼器的速率自適應(yīng)模塊和/或電路等）可以是單個處理設(shè)備或多個處理設(shè) 備。這種處理設(shè)備可以是微處理器、微控制器、數(shù)字信號處理器、微型計算機、中央處理單 元、現(xiàn)場可編程門陣列、可編程邏輯器件、狀態(tài)機、邏輯電路、模擬電路、數(shù)字電路、和/或基 于操作指令來操作信號（模擬和/或數(shù)字）的任何設(shè)備。操作指令可存儲在存儲器內(nèi)。存 儲器可以是單個的存儲設(shè)備或多個存儲設(shè)備。這種存儲設(shè)備可以是只讀存儲器（ROM)、隨 機存取存儲器（RAM)、易失性存儲器、非易失性存儲器、靜態(tài)存儲器、動態(tài)存儲器、閃速存儲 器、和/或儲存數(shù)字信息的任何設(shè)備。注意，當(dāng)處理模塊通過狀態(tài)機、模擬電路、數(shù)字電路和 /或邏輯電路實施方式其一個或多個功能時，存儲相應(yīng)操作指令的存儲器可以被嵌入有電 路，該電路包括狀態(tài)機、模擬電路、數(shù)字電路和/或邏輯電路。在這種實施方式中，存儲器存 儲，和耦接到那的處理模塊執(zhí)行對應(yīng)于本文說明和/或描述的至少一些步驟和/或功能的 操作指令。
[0074] 以上已借助于示出某些重要功能的性能的功能構(gòu)建模塊描述了本公開內(nèi)容的各 個方面。為了方便描述，這些功能構(gòu)建模塊的界限是任意定義的。只要某些重要功能被適 當(dāng)?shù)貓?zhí)行，就可以定義可替代的界限。類似地，流程圖在本文中也被任意定義以說明某些重 要功能。為了某種程度的使用，流程圖的界限和順序可以被另外定義，只要仍能執(zhí)行這些重 要功能。功能構(gòu)建模塊和流程圖塊和順序的這種替代定義因此落入要求保護(hù)的公開內(nèi)容的 范圍和精神之內(nèi)。
[0075] 本領(lǐng)域的技術(shù)人員清楚理解，上述描述旨在說明本公開內(nèi)容的原則。該描述并不 期望限制本公開內(nèi)容的范圍或應(yīng)用，因為在不脫離如以下權(quán)利要求所定義的本公開內(nèi)容的 精神的情況下，可以對公開內(nèi)容作出修改、變更和改變。
【權(quán)利要求】
1. 一種用于視頻處理的方法，所述方法包括： 接收包含第一分辨率視頻幀的第一視頻流，所述第一分辨率視頻幀中的至少一個被定 義為包括多個第二分辨率視頻幀；以及 基于所述第一分辨率視頻幀的所述第二分辨率視頻幀產(chǎn)生第二視頻流。
2. 根據(jù)權(quán)利要求1所述的方法，其中，所述第一分辨率視頻幀具有第一幀速率以及多 個所述第二分辨率視頻幀具有第二幀速率。
3. 根據(jù)權(quán)利要求2所述的方法，其中，所述第二幀速率高于所述第一幀速率。
4. 根據(jù)權(quán)利要求1所述的方法，其中，所述第一分辨率和所述第二分辨率是位深度。
5. 根據(jù)權(quán)利要求4所述的方法，其中，多個所述第二分辨率視頻幀包括：包含所述位深 度的最高有效位的第一幀和包含所述位深度的最低有效位的第二幀。
6. 根據(jù)權(quán)利要求1所述的方法，其中，所述第一分辨率具有比所述第二分辨率高的分 辨率。
7. 根據(jù)權(quán)利要求1所述的方法，進(jìn)一步包括：在視頻編解碼器中接收所述第一分辨率 幀。
8. 根據(jù)權(quán)利要求7所述的方法，進(jìn)一步包括：從所述第一分辨率視頻幀中裁剪多個所 述第二分辨率視頻中貞。
9. 一種用于編碼視頻數(shù)據(jù)的系統(tǒng)，所述系統(tǒng)包括： 存儲單兀； 幀處理單元，可操作地耦接至所述存儲單元，所述幀處理單元被配置為檢索多個較低 分辨率視頻幀，將所述較低分辨率視頻幀組合在較高分辨率視頻幀中，以及將所述較高分 辨率視頻幀存儲在所述存儲單元中； 編碼器，可操作地耦接至所述存儲單元，所述編碼器包括被配置為將所述較高分辨率 視頻幀壓縮在編碼位流中的至少一個模塊。
10. -種用于處理包括嵌入在高分辨率視頻數(shù)據(jù)中的較低分辨率視頻數(shù)據(jù)的視頻數(shù)據(jù) 的裝置，所述裝置包括： 存儲單兀； 處理器，可操作地耦接至所述存儲單元，所述處理器包括被配置為以下的至少一個模 塊： 將較高分辨率視頻幀緩存在所述存儲單元中； 從所述較高分辨率視頻幀中裁剪多個較低分辨率視頻幀； 渲染所述多個較低分辨率視頻幀以產(chǎn)生較低分辨率視頻流。
【文檔編號】H04N21/4402GK104125501SQ201410168639
【公開日】2014年10月29日 申請日期:2014年4月24日 優(yōu)先權(quán)日:2013年4月25日
【發(fā)明者】瓦德·基思·萬, 達(dá)雷恩·杜安·諾伊曼, 賈森·威廉·赫里克 申請人:美國博通公司