專利名稱：視頻處理中的電力和計算負荷管理技術(shù)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明一般涉及視頻處理的領(lǐng)域，且更具體來說，涉及用于視頻處理和解碼中的 電力和計算負荷管理的技術(shù)。
背景技術(shù)：
包括于視頻數(shù)據(jù)中的數(shù)字信息的量是巨大的，且傾向于隨攝影機的性能的提升一 起增加。視頻數(shù)據(jù)的處理對具備視頻能力的裝置且特定來說例如蜂窩式電話、個人數(shù)字助 理(PDA)、膝上型計算機等的無線通信裝置的電力和計算資源提出大量要求。雖然視頻壓縮主要減少空間和時間冗余，但在已捕獲(或任選地從存儲器提取) 源視頻后和在于顯示器處再現(xiàn)(消耗)經(jīng)重建的視頻前需要若干預(yù)處理和后處理操作。視 頻處理主要歸因于與電力需求(電池、通話時間等)成正比的所需算術(shù)運算對存儲器(存 儲和數(shù)據(jù)傳遞)和計算負荷提出大量要求。如果給定視頻中的冗余的量，則應(yīng)期望所述操作的數(shù)量的按比例減少。由于壓縮 比為許多數(shù)量級(100 1到1000 1)，因此不管實施開銷如何，均可實現(xiàn)待處理的視頻 數(shù)據(jù)的量的顯著減少?？臻g-時間冗余可使用壓縮元數(shù)據(jù)進行識別且對應(yīng)于冗余操作的減 少，這樣節(jié)省電力。不同冗余等級轉(zhuǎn)換成所消耗電力和計算負荷的不同等級。因此，需要用于視頻處理和解碼中的電力和計算負荷管理的技術(shù)。

發(fā)明內(nèi)容
本文中描述用于視頻處理和解碼中的電力和計算負荷管理的技術(shù)。在一個配置 中，提供一種設(shè)備，其包含處理器，所述處理器具有操作以從具有視頻的位流中提取信息并 編譯所述信息的指令的集合。所述處理器操作以基于所述信息而區(qū)分來自所述位流的可解 碼單元的電力管理(PM)序列的優(yōu)先次序以用于選擇性地解碼所述可解碼單元，并計算用 于可解碼單元的所述經(jīng)區(qū)分優(yōu)先次序的PM序列中的每一者的電力和計算負荷中的至少一 者的計劃。所述設(shè)備還包括耦合到所述處理器的存儲器。在另一方面中，提供一種集成電路(IC)，其包含具有操作以從具有視頻的位流中 提取信息并編譯所述信息的指令的集合的處理器。所述處理器操作以基于所述信息而區(qū)分 來自所述位流的可解碼單元的PM序列的優(yōu)先次序以用于解碼操作，并計算用于可解碼單
5元的所述經(jīng)區(qū)分優(yōu)先次序的PM序列中的每一者的電力和計算負荷中的至少一者的計劃。 所述集成電路還包括耦合到所述處理器的存儲器。在另一配置中，提供一種計算機程序產(chǎn)品，其包括具有用于致使計算機從具有視 頻的位流中提取信息并編譯所述信息的指令的計算機可讀媒體。所述指令進一步致使所述 計算機基于所述信息而區(qū)分來自所述位流的可解碼單元的PM序列的優(yōu)先次序以用于選擇 性地解碼所述可解碼單元，并計算用于可解碼單元的所述經(jīng)區(qū)分優(yōu)先次序的PM序列中的 每一者的電力和計算負荷中的至少一者的計劃。所述配置的另一方面包括解碼器引擎，其基于針對可用電力和/或當(dāng)前計算負荷 的所選低功率模式而選擇性地解碼可解碼單元的所述經(jīng)區(qū)分優(yōu)先次序的PM序列中的一者 或一者以上?！鞍l(fā)明內(nèi)容”不欲也不應(yīng)被解釋為表示本發(fā)明的整個廣度和范圍，根據(jù)“具體實施 方式”，特別是當(dāng)和附圖一起考慮時，將更容易明白這些和額外方面。


圖1展示無線裝置的整體方框圖。圖2A展示數(shù)據(jù)流。圖2B展示視頻層數(shù)據(jù)。圖2C展示一般MPEG格式。圖2D展示具有可解碼單元的一般MPEG位流。圖3A展示電力管理模塊和視頻編碼器和解碼器引擎的方框圖。圖;3B展示用于與電力管理模塊一起使用的解碼器引擎的方框圖。圖4展示用于計劃電力和計算負荷的過程以用于解碼可解碼單元的經(jīng)區(qū)分優(yōu)先 次序的電力管理(PM)序列的流程圖。圖5展示輸送層(TL)解析器和處理單元。圖6展示TL信息提取器和編譯器。圖7展示接收到的時間切片。圖8展示可解碼單元的TL經(jīng)區(qū)分優(yōu)先次序的PM序列產(chǎn)生器。圖9展示TL解碼MIPS和電力計劃器。圖10展示具有電力和計算負荷管理的用于解碼的過程。圖11展示在TL模式期間的多層低功率模式集合產(chǎn)生器。圖12展示視頻序列/圖片層(VS/PL)解析器和處理單元。圖13展示VS/PL提取器和編譯器。圖14展示接收到的時間切片中的VS/PL信息。圖15展示用以解碼的VS/PL經(jīng)區(qū)分優(yōu)先次序的序列產(chǎn)生器。圖16展示由VS/PL解碼MIPS和電力計劃器進行的用以估計MIPS的過程的流程 圖。圖17展示VS/PL解碼MIPS和電力計劃器。圖18展示在VS/PL模式期間的多層低功率模式集合產(chǎn)生器。圖19展示切片/宏塊層(S/MBL)解析器和處理單元。
圖20展示S/MBL提取器和編譯器。
圖21展示用以解碼的S/MBL經(jīng)區(qū)分優(yōu)先次序的序列產(chǎn)生器。
圖22展示在S/MBL模式期間的多層低功率模式集合產(chǎn)生器。
圖23展示電力管理操作的高級方框圖。
圖24以順序次序展示示范性標(biāo)準(zhǔn)(正常)解碼過程。
圖25展示具有電力管理操作的TL解碼過程的流程圖。
圖26展示具有電力管理操作的VS/PL解碼過程的流程圖。
圖27展示VS/PL信息提取協(xié)議的方框圖。
圖28展示根據(jù)VS/PL信息提取協(xié)議的來自位流的VS/PL經(jīng)解碼單元的方框圖。
圖29展示具有電力管理操作的S/MBL解碼過程的流程圖。
圖30展示S/MBL信息提取協(xié)議的方框圖。
圖31展示根據(jù)S/MBL信息提取協(xié)議的來自位流的S/MBL經(jīng)解碼單元的方框圖。
圖32展示根據(jù)所選電力管理模式的最后切片和宏塊解碼的方框圖。
圖33展示多層電力管理模式的分級布置的方框圖。
為了促進理解，已在可能處使用相同參考數(shù)字來標(biāo)示各圖所共有的相同元件，但
在適當(dāng)時添加后綴以區(qū)分這些元件。圖式中的圖像出于說明性目的而被簡化且未按比例描 繪。預(yù)期特征配置可有益地并入其它配置中而不進一步敘述。

本發(fā)明的示范性配置，且因此不應(yīng)被認為限制可承認其它同樣有效的配 置的本發(fā)明的范圍。
具體實施例方式詞語“示范性”在本文中用以指“充當(dāng)一實例、例子或說明”。在本文中被描述為 “示范性”的任何配置或設(shè)計未必被解釋為比其它配置或設(shè)計優(yōu)選或有利，且術(shù)語“核心”、 “引擎”、“機器”、“處理器”和“處理單元”可互換地使用。本文中所描述的技術(shù)可用于無線通信、計算、個人電子裝置、手持機等。下文描述 將所述技術(shù)示范性地用于無線通信。圖1展示無線通信系統(tǒng)中的無線裝置10的配置的方框圖。無線裝置10可為手持 機。無線裝置10或手持機可為蜂窩式電話或相機電話、終端、配備無線功能的個人數(shù)字助 理(PDA)、無線通信裝置、視頻游戲控制臺、膝上型計算機、具備視頻能力的裝置或某一其它 配備無線功能的裝置。所述無線通信系統(tǒng)可為碼分多址(CDMA)系統(tǒng)、全球移動通信系統(tǒng) (GSM)系統(tǒng)或某一其它系統(tǒng)。無線裝置10能夠經(jīng)由接收路徑和發(fā)射路徑提供雙向通信。在接收路徑上，由基站 發(fā)射的信號由天線12接收且提供給接收器(RCVR) 14。接收器14調(diào)節(jié)并數(shù)字化所述接收到 的信號且將樣本提供給數(shù)字區(qū)段20以供進一步處理。在發(fā)射路徑上，發(fā)射器(TMTR) 16接 收將從數(shù)字區(qū)段20發(fā)射的數(shù)據(jù)，處理并調(diào)節(jié)所述數(shù)據(jù)，且產(chǎn)生經(jīng)由天線12發(fā)射到基站的經(jīng) 調(diào)制信號。數(shù)字區(qū)段20包括各種處理、接口和存儲器單元，例如調(diào)制解調(diào)器處理器22、視頻 處理器對、控制器/處理器沈、顯示處理器觀、ARM/DSP 32、圖形處理單元(GPU) ；34、內(nèi)部 存儲器36和外部總線接口(EBI)38。調(diào)制解調(diào)器處理器22執(zhí)行對數(shù)據(jù)發(fā)射和接收的處理(例如，調(diào)制和解調(diào))。視頻處理器M對用于例如攝影機、視頻回放和視頻會議等視頻應(yīng)用 的視頻內(nèi)容(例如，靜態(tài)圖像、移動視頻和移動文本)執(zhí)行處理。視頻處理器M執(zhí)行視頻 編碼和解碼或編解碼操作。視頻編碼和解碼操作可由另一處理器來執(zhí)行或在數(shù)字區(qū)段20 中的各種處理器上共享。控制器/處理器沈可引導(dǎo)數(shù)字區(qū)段20內(nèi)的各種處理和接口單元 的操作。顯示處理器觀執(zhí)行處理以促進視頻、圖形和文本在顯示單元30上的顯示。ARM/ DSP 32可執(zhí)行用于無線裝置10的各種類型的處理。圖形處理單元34執(zhí)行圖形處理。GPU 34可遵從(例如)2005年7月觀日的公開可得的文獻“OpenGL規(guī)范，版本 1.0 (OpenGL Specification，Version 1.0)”。此文獻為針對適合于手持式和移動裝置(例 如，蜂窩式電話和其它上文提及的無線通信設(shè)備)的2D向量圖形的標(biāo)準(zhǔn)。另外，GPU 34還 可遵從 0penGL2. 0、OpenGL ES2. 0 或 D3D9. 0 圖形標(biāo)準(zhǔn)。本文中所描述的技術(shù)可用于數(shù)字區(qū)段20中的所述處理器中的任一者，例如，視頻 處理器M。內(nèi)部存儲器36存儲用于數(shù)字區(qū)段20內(nèi)的各種單元的數(shù)據(jù)和/或指令。EBI 38 促進數(shù)據(jù)沿著總線或數(shù)據(jù)線DL在數(shù)字區(qū)段20 (例如，內(nèi)部存儲器36)與主存儲器40之間 的傳遞。可用一個或一個以上DSP、微處理器、RISC等實施數(shù)字區(qū)段20。數(shù)字區(qū)段20還可 制造于一個或一個以上專用集成電路(ASIC)或某一其它類型的集成電路(IC)上。本文中所描述的技術(shù)可實施于各種硬件單元中。舉例來說，所述技術(shù)可實施于 ASIC、DSP、RISC、ARM、數(shù)字信號處理裝置(DSPD)、可編程邏輯裝置(PLD)、現(xiàn)場可編程門陣 列(FPGA)、處理器、控制器、微控制器、微處理器和其它電子單元中?？蓧嚎s原始視頻數(shù)據(jù)以便減少必須發(fā)射到無線裝置10或其它具備視頻能力的裝 置或由所述裝置處理的信息的量?？墒褂?例如)遵從業(yè)界適用的視頻壓縮和通信標(biāo)準(zhǔn)中 的一者或一者以上的視頻譯碼技術(shù)來執(zhí)行壓縮，所述視頻壓縮和通信標(biāo)準(zhǔn)包括以下標(biāo)準(zhǔn): IS0/IEC的運動圖片專家組MPEG-2和MPEG-4、ITU-T的H. 264/AVC或其它標(biāo)準(zhǔn)(AVC代表 高級視頻譯碼)。遵從非標(biāo)準(zhǔn)壓縮方法的視頻譯碼技術(shù)(例如Adobe Flash player中所 使用的VP6)還可用于產(chǎn)生經(jīng)壓縮的視頻數(shù)據(jù)。在所述配置中，可使用無線或有線接口或其 組合將原始和經(jīng)壓縮的視頻數(shù)據(jù)發(fā)射到無線裝置10或其它具備視頻能力的裝置、從無線 裝置10或其它具備視頻能力的裝置發(fā)射或在無線裝置10或其它具備視頻能力的裝置內(nèi)發(fā) 射。或者，可將經(jīng)壓縮的數(shù)據(jù)存儲于例如DVD的媒體中。將經(jīng)壓縮的視頻數(shù)據(jù)包封成有效負載格式以便使用輸送協(xié)議(例如，使用如由 IETF在實時輸送協(xié)議規(guī)范中所定義的因特網(wǎng)協(xié)議(IP))進行發(fā)射。圖2A展示無線裝置10或其它具備視頻能力的裝置必須發(fā)射或處理的數(shù)據(jù)流和對 應(yīng)協(xié)議的方框圖。數(shù)據(jù)流2141包含輸送層數(shù)據(jù)2142(例如，如輸送協(xié)議規(guī)范2145所規(guī)定 的包封)和視頻層數(shù)據(jù)2143。所述輸送層數(shù)據(jù)遵循如對應(yīng)的輸送協(xié)議中所規(guī)定的數(shù)據(jù)表示 的格式或語法或語義，且視頻層數(shù)據(jù)遵循如視頻譯碼協(xié)議2144 (例如所述壓縮標(biāo)準(zhǔn))中所 規(guī)定的視頻數(shù)據(jù)的表示的格式或語法或語義。輸送協(xié)議2145包封視頻層數(shù)據(jù)以供發(fā)射或存儲，例如，如MP4的文件格式或例 如RTP或UDP或IP的輸送格式。視頻譯碼協(xié)議2144可為視頻譯碼標(biāo)準(zhǔn)，例如MPEG-2或 MPEG-4，或H. 264/AVC,或例如Real Video或Windows Media等的任何其它視頻編解碼器。 輸送層數(shù)據(jù)的語法和語義由輸送協(xié)議支配或規(guī)定，且視頻層數(shù)據(jù)的語法和語義由視頻譯碼協(xié)議支配或規(guī)定。圖2B展示視頻層數(shù)據(jù)2143的格式。所述視頻層數(shù)據(jù)包含序列或圖片群組(GOP) 或圖片層數(shù)據(jù)2243、切片或宏塊(MB)層數(shù)據(jù)22M和塊層數(shù)據(jù)2247。在接收器處，當(dāng)接收到數(shù)據(jù)流時，在傳統(tǒng)系統(tǒng)中，視頻處理器以對應(yīng)的輸送協(xié)議規(guī) 范和視頻譯碼協(xié)議或標(biāo)準(zhǔn)規(guī)范所規(guī)定的次序解析并解碼數(shù)據(jù)流。輸送解析器以對應(yīng)于輸送 協(xié)議規(guī)范的次序解開所述包封，此在本文中被稱為正常解析操作。視頻解碼器以由視頻譯 碼協(xié)議或標(biāo)準(zhǔn)規(guī)范規(guī)定的次序解析并解碼視頻層數(shù)據(jù)，此在本文中被稱為正常解碼操作。在下文描述的系統(tǒng)和方法中，所述視頻處理器選擇性地解析和/或解碼或處理數(shù) 據(jù)流的各部分，且解析和/或解碼和處理操作的次序是基于可用電力或計算處理能力。圖2C展示一般的MPEG包格式50。MPEG包格式為數(shù)據(jù)流2141的一實例。MPEG包 格式50包括多個MPEG層52、54、56、58、60、62和64。所述MPEG層包括輸送層52、序列層 54、圖片群組(GOP)層56、圖片層58、切片層60、宏塊(iffi)層62和塊層64。在圖2A中，所 述層經(jīng)展示為堆疊的，以表示需要解碼和處理的層的分級次序。為了本文中描述的目的，將 序列層M與圖片層58分組在一起且稱作視頻序列/圖片層(VS/PL)70以實現(xiàn)本文中所描 述的電力負荷管理的目的。在一些標(biāo)準(zhǔn)中，可能僅呈現(xiàn)序列層或一圖片層或所述層的一組 合。另外，將切片層60與宏塊(iffi)層62分組在一起以形成切片/MB層(S/MBL)72以實現(xiàn) 本文中所描述的電力負荷管理的目的。在一些標(biāo)準(zhǔn)中，可省略或組合所述層中的一者或一 者以上。在MPEG壓縮中，可將視頻幀譯碼并格式化成圖片群組(GOP)，其可包括幀內(nèi)譯碼 (I)幀、預(yù)測性譯碼(P)幀和雙向預(yù)測性譯碼(B)幀中的一者或一者以上。一些B幀可為參 考幀?？蓪⒎菂⒖糂幀標(biāo)示為b幀。如可了解，不可能描述所有的幀和標(biāo)準(zhǔn)中的幀布置。圖2D展示具有可解碼單元的一般MPEG位流。所述位流在序列層M處包括序列 標(biāo)頭54A，其后為序列數(shù)據(jù)MB。序列層M為可解碼單元。序列數(shù)據(jù)54B包括圖片層58，所 述圖片層58包括表示為圖片1、圖片2、圖片3、…、圖片(N-I)和圖片N的多個圖片。每 一圖片為可解碼單元。每一圖片包括圖片標(biāo)頭58A和圖片數(shù)據(jù)58B。圖片數(shù)據(jù)58B包括切 片層60。切片層60包括表示為切片1、切片2、切片3、…、切片(M-I)和切片M的多個切 片。每一切片為可解碼單元。切片包括切片標(biāo)頭60A，之后為切片數(shù)據(jù)60B。切片的切片數(shù) 據(jù)60B包括宏塊層62。宏塊層62包括表示為MB UMB 2,MB 3、-,MB(P-I)和MB P的多 個宏塊。每一宏塊為可解碼單元。每一宏塊包括MB標(biāo)頭62A和MB數(shù)據(jù)62B。一些可解碼 單元依賴于另一可解碼單元。因此，區(qū)分優(yōu)先次序?qū)⒖紤]相依的可解碼單元。此外，每一層 中的可解碼單元中的一者或一者以上是可分的。圖3A展示電力管理模塊100和視頻編碼器引擎102和視頻解碼器引擎104的方 框圖。電力管理模塊100具有多層級低功率模式集合產(chǎn)生器114。多層級模式集合產(chǎn)生器 114具有根據(jù)MPEG格式的分級(分層的)層布置的多個低功率模式。所述多個低功率模式 是基于可在每一層處針對改進的粒度和/或視覺質(zhì)量而選擇性地解碼的可解碼單元的經(jīng) 區(qū)分優(yōu)先次序的電力管理(PM)序列。粒度可指代在給定電力消耗目標(biāo)下可執(zhí)行以最大化 所得視覺質(zhì)量的解析或解碼操作的程度。PM序列為促進電力管理的解碼或解析操作的序 列。PM序列試圖經(jīng)由選擇性解碼和/或解析操作的先行處理來最大化在給定電力下的視 覺質(zhì)量。多層級低功率模式集合產(chǎn)生器114具有多個層模式。在此配置中，所述多個層模
9式包括TL模式、VS/PL模式和SL/MB模式。如可了解，本文中所描述的技術(shù)不限于MPEG格 式，而是可與其它視頻壓縮和/或輸送協(xié)議格式一起使用。在一個實施例中，提取并編譯來自包括視頻數(shù)據(jù)的數(shù)據(jù)串流的信息，且基于此信 息，區(qū)分促進電力管理的用于數(shù)據(jù)流的解碼和解析操作的序列(PM序列)的優(yōu)先次序。在另一實施例中，區(qū)分優(yōu)先次序是基于解碼和解析操作中的至少一者的先行處 理。在又一實施例中，計算用于所述經(jīng)區(qū)分優(yōu)先次序的PM序列中的每一者的電力和計算負 荷中的至少一者的計劃。在另一實施例中，電力管理序列的所述區(qū)分優(yōu)先次序是基于視覺 質(zhì)量和粒度中的至少一者。所述實施例進一步包含產(chǎn)生低功率模式的分級列表，以基于所述區(qū)分優(yōu)先次序而 選擇性地解碼所述經(jīng)區(qū)分優(yōu)先次序的電力管理序列。可響應(yīng)于可用電力或計算負荷而選擇 低功率模式。另外，可響應(yīng)于所選低功率模式而選擇性地解碼所述經(jīng)區(qū)分優(yōu)先次序的電力 管理序列中的一者或一者以上。在另一實施例中，選擇性解碼可基于計算用于所述經(jīng)區(qū)分 優(yōu)先次序的電力管理序列的電力和計算負荷中的至少一者的計劃。在示范性配置中，由預(yù)測模式指示的冗余程度(例如)得到各層的分級集合，所述 集合又可映射到低功率/降低功率操作模式的一分等級集合。一種使用H. 264預(yù)測模式的 格式是基于以下事實視頻中對應(yīng)于幀間和幀內(nèi)預(yù)測模式的按照遞減次序的冗余的層級包 括跳過(Skip)、直接(Direct)、幀間(Inter)和幀內(nèi)(Intra)預(yù)測模式。模式的次序還對 應(yīng)于受損時(當(dāng)對應(yīng)于這些模式的MB的解碼和重建中引入不準(zhǔn)確性時)對視覺質(zhì)量的遞 增影響的次序。這些概念可擴展到其它視頻譯碼標(biāo)準(zhǔn)和格式。為了在功率優(yōu)化的視頻處理方面利用視頻中的冗余，可將涉及僅解碼器引擎104、 僅編碼器引擎102或跨編碼器引擎和解碼器引擎協(xié)調(diào)的若干方面用于電力負荷管理。在僅 解碼器引擎(DO)解決方案的情況下，可在裝置10處的解碼或再現(xiàn)期間應(yīng)用所述DO解決方 案且是編碼器不可知的。可將所述解決方案劃分為一致種類和不一致種類。一致種類解決 方案將輸出維持標(biāo)準(zhǔn)一致性的視頻流。此處，將滿足嚴格的一致性要求。在不一致解決方 案中，此解決方案的優(yōu)點為靈活性和復(fù)雜性的較大降低(與一致種類相比)以對視覺質(zhì)量 造成最小影響。在僅編碼器引擎102 (EO)解決方案的情況下，所有復(fù)雜性降低方法均在編碼期間 并入且是解碼器不可知的。在EO解決方案中，所有編碼功能偏離處理能力的角度。任選地， 用于處理能力的成本函數(shù)包括于被稱為RD功率優(yōu)化的速率-失真(RD)優(yōu)化中。在聯(lián)合編碼器-解碼器引擎(JED)解決方案的情況下，在編碼期間并入或采用電 力減少方法，且解碼器引擎執(zhí)行適當(dāng)?shù)幕シ磩幼饕蕴峁?電力/負荷/成本上的)增加的 減少。在JED解決方案中，編碼器引擎知曉解碼器引擎應(yīng)用上述的DO解決方法的能力，且 將用于適當(dāng)動作的指示符并入所述位流(用戶字段或補充增強信息(SEI)消息)或邊信道 中以在解碼器引擎處使用?；陔娏p少的集合的先前商定的協(xié)議可由編碼器引擎和解碼 器引擎兩者采用以實現(xiàn)電力/負荷/成本上的增加的減少。DO解決方案在解碼器引擎未知曉編碼過程的情況下應(yīng)用于開放式應(yīng)用。實例將 包括移動TV、按需視頻(Video-On-Demand，V0D)、PMP等。所述EO解決方案將找到在視頻 服務(wù)器中的應(yīng)用，其中需要功率友好位流以驅(qū)動低功率裝置。所述EO解決方案還在以下情 況下有用在產(chǎn)生一源的多個譯碼版本，且網(wǎng)絡(luò)服務(wù)器基于網(wǎng)絡(luò)/信道條件在所述多個譯碼版本之間自適應(yīng)地選擇/切換。與DO或EO解決方法相比，對于給定質(zhì)量，JED解決方案 提供電力減少方面的最大增益。所述JED解決方案應(yīng)用于封閉式或?qū)υ捠綉?yīng)用，其中通信 /控制路徑(實時或事前的)是可能的。下面的描述是針對DO解決方案且提供多層框架配置以調(diào)節(jié)視頻解碼中的實施和 操作復(fù)雜性。視頻解碼和再現(xiàn)操作中的負荷管理是可能的，其中例如移動TV、便攜式多媒體 播放器(PMP)(電影/DVD播放器)等各種應(yīng)用需要擴展的視頻回放。本文中所描述的體現(xiàn) 于多層框架配置中的技術(shù)可擴展到任何視頻或多媒體應(yīng)用。負荷或電力管理指代對運行時間復(fù)雜性的調(diào)節(jié)，所述運行時間復(fù)雜性包括(但不 限于)延遲、電力消耗和每秒或處理器循環(huán)百萬條指令(MIPQ可用性。調(diào)節(jié)包括在給定可 用處理、電力和時間資源的情況下優(yōu)化用戶體驗(特定來說，視頻質(zhì)量)。所述多層框架配 置允許各種粒度水平的所述調(diào)節(jié)，以用于對所述應(yīng)用對視頻解碼器實施的即時需求的預(yù)防 性和反應(yīng)性響應(yīng)兩者?；诳捎眯畔⒑碗娏?電池)水平并避免處理器停頓而推薦替代的 執(zhí)行或控制/數(shù)據(jù)流路徑。鑒于前述內(nèi)容，本文中所提供的描述主要針對由解碼器引擎104執(zhí)行的DO操作。 解碼器引擎104進行視頻解碼后可為由顯示處理器觀中的再現(xiàn)級28A (圖2 執(zhí)行的再現(xiàn)。 解碼/再現(xiàn)不必為連續(xù)過程。舉例來說，可并行地解碼多個切片，可并行地或以可不被視為 連續(xù)的波形方式再現(xiàn)圖像的若干行。但是，雖然以連續(xù)次序進行解碼和之后的再現(xiàn)是規(guī)范， 但在一配置中，這些操作是并行的。再現(xiàn)通常包括后處理(彩色空間轉(zhuǎn)換、縮放等)和之后 的合成待顯示的圖像和顯示過程(傳遞到顯示緩沖器、從此緩沖器讀取和寫入到顯示器)。 為了舉例，在連續(xù)過程中進行解碼和之后的再現(xiàn)且按時間次序發(fā)生(時序是基于用于解碼 的解碼時間戳和用于再現(xiàn)/顯示的呈現(xiàn)時間戳)。然而，到此過程(解碼和再現(xiàn))的輸入 為視頻位流(取景器的情況可能除外)，其未必依據(jù)視覺質(zhì)量按重要性次序區(qū)分優(yōu)先次序 (即，即時解碼器刷新(IDR)、幀內(nèi)(I)和預(yù)測(P)幀是交替的)。而且，將視頻位流傳遞到 解碼器引擎104的輸送層協(xié)議在按包/序列號次序呈現(xiàn)給解碼器引擎104的包中就是這 樣。以接收次序處理位流可導(dǎo)致幀丟棄且不允許在低功率操作(由用戶起始以節(jié)約電池或 由系統(tǒng)基于可用或所分配的電力進行調(diào)制)下抑制輸出視頻的質(zhì)量。處理器循環(huán)的缺少、 MIPS和/或累積的延遲和等待時間可導(dǎo)致通常在大小上較大的關(guān)鍵幀被丟棄，從而致使視 頻停頓較長持續(xù)時間。編碼器引擎102獲取或產(chǎn)生并壓縮遵從MPEG標(biāo)準(zhǔn)、H. 264或其它標(biāo)準(zhǔn)的視頻數(shù)據(jù)。 處理所述視頻數(shù)據(jù)以提取視頻信息的所選部分，以使得編碼滿足裝置10的圖像質(zhì)量、電力 和/或計算負荷需求和/或裝置10或具備視頻能力的裝置(例如，無線或有線接口)的輸 出視頻接口的發(fā)射能力、帶寬或其它特性。另外，編碼可使得解碼(由接收方進行)滿足接 收方的解碼器引擎或接收器14的質(zhì)量、電力和/或計算需求和能力。圖;3B展示用于與電力管理模塊100 —起使用的解碼器引擎104的方框圖。解碼 器引擎104包括標(biāo)準(zhǔn)(正常)序列解碼處理單元105以在電力管理或低功率模式并非必要 時解碼位流。解碼器引擎104還包括輸送層(TL)解析器和處理單元106、視頻序列/圖片 層(VS/PL)解析器和處理單元108、切片/MB層(S/MBL)解析器和處理單元110、塊層解析 器和處理單元112。在示范性配置中，未描述塊層64處的電力和計算負荷管理。如將從以下描述可見，TL解析器和處理單元106解析并處理輸送層52。VS/PL解
11析器和處理單元108至少解析并處理序列層M和圖片層58。序列層M與圖片層58的組 合在下文中被稱為視頻序列/圖片層(VS/PL)70。然而，VS/PL解析器和處理單元108還可 解析并處理GOP層56，或某一其它解析器和處理單元可用于GOP層56。因此，以虛線展示 從參考數(shù)字70到GOP層56的線。S/MBL解析器和處理單元110解析并處理切片層60和宏 塊(MB)層62。塊層解析器和處理單元112解析并處理塊層64以便解碼MPEG格式的視頻 或編程。解析器和處理單元106、108、110和112中的一者或一者以上可用于并行地、單獨 地或以組合關(guān)系操作以進行本文中所描述的電力和計算負荷管理功能。此外，可省略解析 器和處理單元106、108、110和112的電力和計算負荷管理功能中的一者或一者以上。盡管 如此，在示范性配置中，仍按需要選擇性地致動解析器和處理單元106、108和110以提供分 層的電力和計算負荷管理功能，所述分層的電力和計算負荷管理功能控制視覺質(zhì)量、電力 負荷的權(quán)衡的視覺質(zhì)量和所述層中的任一者中的粒度，以便在有效地使用電力的同時維持 或增強用戶的體驗。圖4展示用于計劃用于解碼可解碼單元的經(jīng)區(qū)分優(yōu)先次序的電力管理(PM)序列 的電力和計算負荷的過程120的流程圖。為了區(qū)分位流和可解碼單元的作為結(jié)果的電力管 理(PM)序列的優(yōu)先次序以用于選擇性解碼，針對每一分級(分層的)層提供三階段(3階 段)過程120以提供分級地布置的低功率操作模式。過程120依賴于視頻位流中的非因果 性，且所述過程的效率視先行的量(解碼器引擎的輸入緩沖器深度)而定。過程120在方框122開始，在方框122中解析和提取層信息。方框122之后為方框 124，在方框124中區(qū)分需要解碼的可解碼單元的那些PM序列(將不與序列層相混淆)的 優(yōu)先次序。為實現(xiàn)說明性目的，以列表形式展示可解碼單元的經(jīng)區(qū)分優(yōu)先次序的PM序列， 如稍后將較詳細地描述。術(shù)語“可解碼單元的經(jīng)區(qū)分優(yōu)先次序的PM序列”在下文中有時將 被稱為“經(jīng)區(qū)分優(yōu)先次序的PM序列”。然而，每一序列包括一個或一個以上可分的可解碼 單元。如將從以下描述可了解，可解碼單元包含圖片、切片和宏塊中的一者或一者以上或群 組。方框124之后為方框126，在方框126中計劃用于經(jīng)區(qū)分優(yōu)先次序的PM序列的電 力和計算負荷。在示范性配置中，依據(jù)每秒百萬條指令(MIPQ的數(shù)目計劃計算負荷。對應(yīng) 的MIPS需要所計劃或預(yù)定的電力。在方框1 處，存在經(jīng)區(qū)分優(yōu)先次序的PM序列與對應(yīng)的MIPS (且隨后是解碼PM 序列中的一者或一者以上所需的電力)的相關(guān)性。下面還相對于H. 264標(biāo)準(zhǔn)描述方框122 和124。方框1 可使用來自電力分析的對應(yīng)于典型情形(例如，測試位流)的結(jié)果，且任 選地反饋驅(qū)動訓(xùn)練或運行時間更新以供在計劃中使用。一旦已知一位流，便可計劃電力和 計算負荷(處理能力)以通知用戶所述裝置10中的電力是否不足以完全解碼位流。因此， 如果電力(電池或電能)將在位流被完全解碼之前耗盡(例如在回放期間)，則用戶具有選 擇將允許完成位流的功率模式的選項。如先前所提及，可針對壓縮數(shù)據(jù)格式中的不同層重復(fù)3階段過程120。在(對應(yīng)于 不同層的)每一方框126之后，產(chǎn)生用于解碼器引擎104的低功率模式的分級集合以用于 解碼操作的電力和計算負荷管理。此可在運行中發(fā)生，或?qū)τ谶m當(dāng)選擇的位流的集合和在 實時操作之前預(yù)先經(jīng)校準(zhǔn)/編程的解碼器，其可為預(yù)定的。
圖5展示輸送層(TL)解析器和處理單元106。TL解析器和處理單元106包括TL 信息提取器和編譯器150 (圖6)、TL經(jīng)區(qū)分優(yōu)先次序的PM序列產(chǎn)生器152 (圖8)和TL解 碼MIPS和電力計劃器154(圖9)。輸送層(TL)解析器和處理單元106將進行三階段過程 120以用于輸送層52的解碼操作的電力和計算負荷管理中。圖6展示TL信息提取器和編譯器150。TL信息提取器和編譯器150視借以接收 視頻位流的輸送協(xié)議而定。圖7中展示接收到的時間切片190的一部分的一實例。在示范 性配置中，可由TL信息提取器和編譯器150提取和編譯位流中的各種信息。TL信息提取器 和編譯器150將解析圖7中所展示的接收到的時間切片190。TL信息提取器和編譯器150 包括隨機存取點(RAP)提取器160、狀態(tài)信息提取器166、位流特性提取器176和輸送層信 息編譯器186。RAP提取器160可提取具有標(biāo)記為獲取的包/切片的位置、大小、呈現(xiàn)時間 戳(PTS)等的信息162。RAP提取器160還可提取輸送標(biāo)頭(例如，實時輸送協(xié)議(RTP)有 效負載格式中的入口點標(biāo)頭)中的RAP 164的序列。在示范性配置中，由狀態(tài)信息提取器 166提取的狀態(tài)信息包括關(guān)于信道變化170和用戶觀看偏好172 (例如在廣播或移動TV應(yīng) 用中)的信息。所提取的狀態(tài)信息166還可包括應(yīng)用變化174(例如，分辨率/預(yù)覽模式或 畫中畫模式)等。位流特性提取器176提取位速率178、幀速率180、分辨率182、應(yīng)用(存儲對串 流)184等。在位速率178的情況下，在一些情況下(例如，MPEG文件格式)容易得到值。 在其它情況下，在將輸送標(biāo)頭和填充物移除之后，(例如)由輸送層信息編譯器186基于在 由時間戳指示的一秒中的位流的大小計算位速率。TL層信息提取器和編譯器150包括TL 信息編譯器186以計算不可直接從接收到的時間切片的輸送層提取的信息。關(guān)于圖9描述 對包大小和位速率的實例計算。圖7展示接收到的時間切片190，在此實例中其具有在所接收數(shù)據(jù)中的RAP1 191、 RAP2 196、…、RAPn 198。(其可任選地為從所存儲文件中提取的位流的一區(qū)段)。每一 RAP (例如RAP1 191)具有一標(biāo)頭192，之后為具有與作為隨機存取點的經(jīng)譯碼幀(例如I 幀)相關(guān)的數(shù)據(jù)的有效負載193。所述標(biāo)頭包括多個字段，其中一者為PTS1間隔194。計算 (例如，在RTP中，從隨機存取(RA)計數(shù)和參考時間和PTS偏移導(dǎo)出)絕對RAP位置(包) 和用于每一 RAP的來自PTS1間隔194的PTS值。RAP2 196具有一標(biāo)頭，之后為具有與作為 隨機存取點的經(jīng)譯碼幀(例如I幀)相關(guān)的數(shù)據(jù)的有效負載。所述標(biāo)頭包括多個字段，其 中一者為PT&間隔。將表示為RAP-GOP的間隔界定為從RAP幀開始直到下一個RAP幀為止的圖片群 組。在輸送層處，RAP為可解碼單元。此外，RAP--GOP可為用于輸送層的可解碼單元?；?應(yīng)用，在需要時檢索或請求更多數(shù)據(jù)。舉例來說，在所存儲視頻的回放期間，有可能搜遍文 件格式標(biāo)頭以尋找相當(dāng)于幾秒秒)的數(shù)據(jù)以評估位速率和幀速率。接著，基于可用電 力，決定解碼所有數(shù)據(jù)或以減小的幀速率為目標(biāo)進行解碼。接收到的時間切片190可為用于MediaFLO 的超幀或用于數(shù)字視頻廣播(DVB) (例如DVB-H(其中H代表手持式))的時間切片。圖8展示TL經(jīng)區(qū)分優(yōu)先次序的PM序列產(chǎn)生器152。處理以上所提取的信息以創(chuàng) 建可解碼單元的TL經(jīng)區(qū)分優(yōu)先次序的PM序列的列表200。TL經(jīng)區(qū)分優(yōu)先次序的PM序列 產(chǎn)生器152導(dǎo)出絕對參數(shù)值。假設(shè)在輸送層52處已接收到具有對應(yīng)的GOP的多個包RAP119URAP2 196、…和RAPn 198。因此，待由解碼器引擎104解碼的可解碼單元的TL經(jīng)區(qū)分 優(yōu)先次序的PM序列開始于方框202。此處，可解碼單元為方框202處的RAP1、方框204處的 RAP-GOP1的剩余部分、方框206處的RAP2、方框208處的RAP-GOP2的剩余部分。對TL經(jīng) 區(qū)分優(yōu)先次序的PM序列的優(yōu)先次序區(qū)分繼續(xù)下去，直到方框210處的可解碼單元RAPn和 方框212處的RAP-GOPn的剩余部分為止。對可解碼單元的TL經(jīng)區(qū)分優(yōu)先次序的PM序列 的以上描述僅為序列的布置的一個實例。圖9展示TL解碼MIPS和電力計劃器154。在輸送層級52處，電力/計算負荷減 少的第一水平是可能的。此水平可提供粗略的電力/計算負荷減少。舉例來說，對于最低 功率模式設(shè)定或當(dāng)裝置10的電池水平已耗盡到< 10%時，將僅解碼RAP包(由方框202、 206和210表示)，且當(dāng)由再現(xiàn)級28A再現(xiàn)時，任選地，可觸發(fā)圖形處理單元34以產(chǎn)生I幀 之間的過渡效果。所述過渡效果提供低成本“視頻”而非幻燈片展示效果。基于低功率模 式，可使用其它視頻補償來補償所跳過的可解碼單元。舉例來說，可使用圖像變形(image morphing) 0補償?shù)牧硪粚嵗墒褂霉鈱W(xué)流。TL解碼MIPS和電力計劃器巧4產(chǎn)生表示用于MIPS的計劃(列4)的數(shù)據(jù)，所述 MIPS用以解碼TL經(jīng)區(qū)分優(yōu)先次序的PM序列的列表200中的可解碼單元的PM序列中的一 者、多者或全部。僅出于說明性和描述性目的，展示MIPS計劃表230。所述表具有多個列。 在列Cl中，列舉輸送層信息或可解碼單元的TL經(jīng)區(qū)分優(yōu)先次序的PM序列。在列2中，識別 用以解碼可解碼單元中的一些或全部的包大小。在列C3中，識別位速率計算。在列C4中， 提供用以解碼可解碼單元的所計劃的MIPS。如可了解，可能已在區(qū)分優(yōu)先次序階段期間導(dǎo) 出列C3中的位速率和列C2中的包大小。在此實例中，行Rl識別可解碼單元的TL經(jīng)區(qū)分優(yōu)先次序的PM序列的列表200中 的第一可解碼單元。在此例子中，所述第一可解碼單元為RAP115可基于來自TL提取器和編 譯器150的經(jīng)提取和編譯的信息而計算RAP1的包大小。在示范性配置中，RAP1的解碼包大 小對應(yīng)于RAP1的輸送包的大小_(輸送標(biāo)頭192加上有效負載19 的大小。RAP2的解碼 包大小對應(yīng)于RAP2的輸送包的大小_(輸送標(biāo)頭加上有效負載)的大小。同樣地，RAPn的 解碼包大小對應(yīng)于肌1\的輸送包的大小-(輸送標(biāo)頭加上有效負載)的大小。行RN+1 (最 后一行)對應(yīng)于整個的接收到的時間切片，例如切片190。因此，針對每一可解碼單元和行 RN+1處的用于接收到的時間切片190的整個輸送層52的所有可解碼單元而計算MIPS的計 劃。在列3中，計算或提取位速率。在此情況下，根據(jù)間隔(RAP--GOP1)的大小除以間 隔(PTS2-PTS1)或(PT&減去PTS1)的大小，基于RAPAGOP1ITSyPTS1的大小而計算位速率。 以類似于RAP1的方式計算RAP2、…、RAPn的位速率。在行RN+1中，位速率為接收到的時間 切片/間隔(PI^2-PTS1)的大小。在列4中，在行Rl中，用以解碼RAP1的所計劃的MIPS具有兩個值。第一值隨用于 RAP1的I幀大小而變。第二值隨針對給定編解碼器的具有大小(RAP--GOP1)的位流的所述 部分而變。用于MIP的計劃的信息可從輸送標(biāo)頭(RAP和對應(yīng)的PTQ得到。因此，所述可 解碼單元是可分的且在計劃MIPS時不全部解碼。而是，僅標(biāo)頭或其一部分需要解碼以提取 必要信息，如下文將更詳細地描述。在行RN+1中，根據(jù)用于給定編解碼器的位流大小(針 對時間切片)而計劃用以解碼整個時間切片的所計劃的MIPS。應(yīng)注意，用以解碼規(guī)定量的
14MIPS計劃隨電力簡檔描述和分析而變。對于列C4中的MIPS計劃中的每一者，確定對應(yīng)的電力需求。所述對應(yīng)電力可按 需計算或可預(yù)先存儲于查找表中。此通常將完成三階段過程120的第三階段。圖10說明具有電力和計算負荷管理的用于解碼的過程M0。在給定用以解碼可 解碼單元中的一者或一者以上的MIPS需求，和給定時刻的可用MIPS(或電力需求對可用電 力/安培)的情況下，可作出解碼接收到的時間切片190的全部或一部分的決策。用以虛 線展示的過程120的第三階段說明過程M0。過程120的第三階段提供解碼輸送層52所必 需的計算負荷和/或電力的必需計劃。因此，在方框242處，計劃MIPS。在方框244處，確 定對應(yīng)于所計劃的MIPS的電力。盡管示范性配置提供MIPS與電力的關(guān)系，但可使用影響 電力和計算負荷的其它值。方框244結(jié)束所述第三階段。方框244之后為方框M6，在方框246中確定給定時 刻的可用MIPS (計算負荷)。方框244之后還有方框M8，在方框248中確定給定時刻的可 用電力。并行地展示方框246和對8。盡管如此，在各種配置中，以所描繪的次序執(zhí)行過程 240和本文中所描述的其它過程的塊，或可同時地、并行地或以不同次序執(zhí)行這些步驟中的 至少兩者或其部分。方框246之后為方框250，在方框250中作出所計劃的MIPS是否大于可用MIPS的 確定。如果所述確定為“否”，意味著所述時刻的可用計算負荷是足夠的，則可在方框2M處 解碼整個輸送層52。然而，如果方框250處的確定為“是”，意味著可用計算負荷不足，則可 在方框256處根據(jù)在低功率模式設(shè)定的列表沈0(圖11)中識別出的模式中的任一者來解 碼輸送層52的一部分。方框248之后為方框252，在方框252中作出所計劃的電力是否大于可用電力的 確定。如果方框252處的確定為“否”，意味著可用電力是足夠的，則可解碼整個輸送層52。 然而，如果方框252處的確定為“是”，意味著可用電力不足，則可在方框256處根據(jù)在低功 率模式設(shè)定的列表260(圖11)中識別出的模式中的任一者來解碼輸送層52的一部分。如 果來自方框250和252的條件均為否，則將解碼整個輸送層52。對于所有其它情況，將部分 地解碼輸送層52。以虛線展示方框M8、252以表示所述方框也是任選的。圖11展示在TL模式期間的多層低功率模式集合產(chǎn)生器114。多層低功率模式集 合產(chǎn)生器114產(chǎn)生可選擇的低功率模式設(shè)定的列表沈0。在圖11的示范性配置中，存在多 個輸送層低功率模式，其表示為行Rl中的模式1、行2中的模式IA和行3中的模式2。輸 送層模式1對應(yīng)于(例如)使用所有RAP的幻燈片展示(在下文中稱為“SS-RAP”)。輸送 層模式IA對應(yīng)于具有由再現(xiàn)級28A造成的過渡效果的SS-RAP。因此，模式IA不同于模式 1的地方在于，模式IA提供優(yōu)于模式1的增強的視覺質(zhì)量。輸送層模式2對應(yīng)于基于可用 電力而選擇性地解碼RAP-G0P。列C2中的列表將提供必需指令以致使解碼器引擎104選 擇性地解碼輸送層52處的可解碼單元中的一者或一者以上。電力管理模塊100在TL模式期間基于所計劃的MIPS和/或電力而作出可將低功 率模式1、1A或2中的哪一者提供給用戶以用于位流的解碼的確定。如果存在可基于管理 可解碼單元的其它層的電力而進一步節(jié)約的可用電力，則可選擇模式2，如將關(guān)于視頻序列 /圖片層進行描述。如果選擇TL模式1A，則發(fā)生具有過渡效果的SS-RAP (I幀)的正常解碼。然而，如果選擇TL模式1，則電力管理模塊100可進行到VS/PL模式3以用于視覺質(zhì)量的進一步升級。序列/圖片層圖12展示視頻序列/圖片層(VS/PL)解析器和處理單元108。VS/PL解析器和處 理單元108包括VS/PL信息提取器和編譯器280 (圖13)、VS/PL經(jīng)區(qū)分優(yōu)先次序的PM序列 產(chǎn)生器觀2 (圖1 和VS/PL解碼MIPS和電力計劃器觀4(圖17)。VS/PL解析器和處理單 元108將進行三階段過程120以用于VS/PL 70的解碼操作的電力和計算負荷管理中。圖13展示VS/PL信息提取器和編譯器^2。VS/PL信息提取器和編譯器觀2視所述 視頻位流的VS/PL格式而定。圖14中展示根據(jù)VS/PL 70的接收到的時間切片330的一實 例?；谝曨l編解碼器(編碼器引擎和解碼器引擎)，在序列層M處提取信息。在MPEG-2 和MPEG-4的情況下，提取視頻序列層參數(shù)。這需要到視頻解碼器引擎104中的接口。稍后 將關(guān)于圖27和圖觀描述所述提取。如果不可檢索在輸送層52處列出的一些參數(shù)(例如，I幀位置或包ID)，則可在序 列層M處提取所述信息。VS/PL信息提取器和編譯器280提取I幀位置284和包ID 2860 VS/PL信息提取器和編譯器282還從(例如)用于H. 264標(biāo)準(zhǔn)或序列層M的序列參數(shù)集合 (SPS)提取簡檔四0、層級292和參數(shù)約束(C0nstrained_set_flag)294。還可使用圖片參 數(shù)集合(PPS)。VS/PL信息提取器和編譯器282還可提取或編譯圖片信息四6。所述圖片信息可 包括參考幀的數(shù)目四8、分辨率300、幀速率302(如果尚未檢索)、顯示參數(shù)(VUI)等以評估 解碼/處理數(shù)據(jù)所需的計算負荷。額外信息包括關(guān)于參考位置304、參考圖片大小306、PTS 和參考圖片信息308的信息。還可提取或編譯非參考圖片位置310、非參考圖片大小312、 非參考圖片信息314和PTS。被編譯的信息由信息編譯器316編譯。為了提取VS/PL信息， 僅解碼序列標(biāo)頭和所有圖片標(biāo)頭。如圖27和圖觀中將較詳細地描述，使圖片的有效負載 未被解碼。圖15展示VS/PL經(jīng)區(qū)分優(yōu)先次序的PM序列產(chǎn)生器觀2。在VS/PL經(jīng)區(qū)分優(yōu)先次 序的PM序列產(chǎn)生器282處，從所提取的信息導(dǎo)出絕對參數(shù)值。為了改進粒度，用較多細節(jié) 填充可解碼單元的VS/PL經(jīng)區(qū)分優(yōu)先次序的PM序列的列表360。所述優(yōu)先次序區(qū)分類似于 關(guān)于圖8所論述的優(yōu)先次序區(qū)分。然而，在此層級或?qū)犹?，基于I幀的類型(例如在HJ64 情況下的IDR和I幀)，進一步限定在輸送層52中識別出的所述多個包RAPp RAP2,…、 RAPn(方框362、382、388)或區(qū)分其優(yōu)先次序。或者，使用所述圖片標(biāo)頭信息識別所有I幀 且接著區(qū)分所述I幀的優(yōu)先次序。在示范性配置中，將方框或間隔RAP-GOP1 364進一步細分成其它VS/PL可解碼 單元。進一步區(qū)分這些VS/PL可解碼單元的優(yōu)先次序，使得IDR(或MPEG-2中，在封閉式 GOP的開始處的I幀)之后為非IDR I幀(開放式G0P)。因此，優(yōu)先次序區(qū)分可經(jīng)設(shè)定以 使得IDR幀366之后為I幀368。I幀366之后為P幀370，其之后為參考B幀372。參考 B幀372之后接著為表示為b幀374的非參考B幀。圖14展示指示幀類型(P、B和b)的 接收到的時間切片330。因此，待由解碼器引擎104解碼的VS/PL經(jīng)區(qū)分優(yōu)先次序的PM序列開始于方框 362處的RAP1,隨后是方框364處的RAP-GOPlt5根據(jù)方框366、368、370、372和374，進一步區(qū)分RAP-GOP1的優(yōu)先次序。可基于b幀進一步區(qū)分對應(yīng)于RAP-GOP1的間隔的優(yōu)先次序。 在示范性配置中，使用方框376到380處的b幀的大小信息進一步區(qū)分VS/PL經(jīng)區(qū)分優(yōu)先次 序的PM序列的優(yōu)先次序。舉例來說，具有大于FRUC閾值(表示為FRUC_THR)的大小信息 的b幀(方框376)可具有比大小小于所述FRUC閾值的那些b幀高的優(yōu)先權(quán)。另外，小于 丟棄閾值(表示為DR0P_THR)的b幀可被標(biāo)記且完全被丟棄而無FRUC。因此，在方框378 處，可將優(yōu)先次序區(qū)分準(zhǔn)則設(shè)定為DR0P_THR < b < FRUC_THR。在方框380處，可將優(yōu)先次 序區(qū)分準(zhǔn)則設(shè)定為b < DR0P_TH?？蓪⑦@些閾值映射到所需的處理循環(huán)/電力上的百分比 減小。方框382設(shè)定用于解碼RAP2的優(yōu)先次序區(qū)分。方框382之后為方框384，在方框 384中，類似于以上的方框366、368、370、372、374、376、378和380來區(qū)分針對RAP-GOP2的 剩余部分的優(yōu)先次序區(qū)分的優(yōu)先次序。所述VS/PL經(jīng)區(qū)分優(yōu)先次序的PM序列的優(yōu)先次序區(qū) 分在方框386處繼續(xù)，直到用于區(qū)分對RAPn的解碼的優(yōu)先次序的方框388為止。方框388 之后為方框390，在方框390中區(qū)分RAP-GOPn的剩余部分的優(yōu)先次序以用于解碼。視計算負荷的狀態(tài)而定，可經(jīng)由消除適當(dāng)數(shù)目個低優(yōu)先權(quán)序列或可選擇的可解碼 單元來減小或修改解碼操作的序列。圖16展示由VS/PL解碼MIPS和電力計劃器284進行的用以計劃MIPS的過程400 的流程圖。過程400開始于方框402，在方框402中確定用以解碼IDR-幀大小的MIPS。方 框402之后為方框404，在方框404中確定用以解碼所有I幀大小的MIPS。方框404之后 為方框406，在方框406中確定用以解碼所有P幀大小的MIPS。方框406之后為方框408， 在方框408中確定用以解碼所有B幀大小的MIPS。方框408之后為方框410，在方框410 中在各種條件下確定用以解碼所有b幀大小的MIPS。舉例來說，如果丟棄所述b幀中的一 些b幀(例如，Id1幀和ID2幀)，則將用以解碼的所計劃的MIPS設(shè)定為0。圖17展示VS/PL解碼MIPS和電力計劃器觀4。在幀層級處，幀類型(例如IDR、 I、P、B、b、…)、大小(306或312)和幀速率302為可用以評估解碼幀所需的處理器循環(huán)的 量或比例的關(guān)鍵因素(可包括其它限定符)。使用特定測試位流的電力簡檔描述和分析可 用以基于幀類型(IDR、I、P、B、b、…)導(dǎo)出處理器循環(huán)的量與幀大小之間的關(guān)系?？蓪⑦@ 些關(guān)系布置于查找表中以供稍后用于MIPS和電力計劃中。其它條件在此分析期間可為固 定的且在稍后外推。舉例來說，可針對1-參考圖片情形導(dǎo)出映射，且可基于獨立分析外推 相對復(fù)雜性對5-參考圖片。在H. 264標(biāo)準(zhǔn)的情況下，在解析切片標(biāo)頭之前，幀層級信息不 可用。在圖17中，VS/PL解碼MIPS和電力計劃器284產(chǎn)生用以解碼的所計劃的MIPS的 列表440。為說明性和描述性的目的而產(chǎn)生所述列表。在行Rl處，VS/PL解碼MIPS和電力 計劃器284基于每一 IDR的大小(IDR)對IDR幀進行計劃。在行R2處，VS/PL解碼MIPS和 電力計劃器284基于I幀大小的序列(大小(I1)、大小(12)、···)而產(chǎn)生用于所有I幀的所 計劃的MIPS。在行R3處，VS/PL解碼MIPS和電力計劃器284基于P幀大小(大小(P1)、大 小(P2)、…)而產(chǎn)生用于所有P幀的所計劃的MIPS。在行R4處，VS/PL解碼MIPS和電力計 劃器284基于B幀大小(大小(B1)、大小(B2)、…)而產(chǎn)生用于所有B幀的所計劃的MIPS。 在行R5處，VS/PL解碼MIPS和電力計劃器284基于B幀大小(大小^1)、大小(b2)、…) 而產(chǎn)生用于所有B幀(非參考B幀)的所計劃的MIPS。當(dāng)計劃用于所有b幀的MIPS時，作
17出是否丟棄1^和132的確定。如果丟棄，則將所計劃的MIPS設(shè)定為零(0)。還存在關(guān)于取 代bl、b2、…等的FRUC的計劃。關(guān)于圖10和圖17，對于用以解碼的所計劃的MIPS的列表450中的MIPS計劃中的 每一者，施加對應(yīng)的電力需求。在給定MIPS需求和給定時刻的可用MIPS (或電力需求對可 用電力/安培)的情況下，則可以類似于以上關(guān)于圖10所描述的方式作出解碼所有或所選 幀(部分)(其為可解碼單元)的決策。在序列/圖片層級處理的最后，中等粒度電力減少模式是可能的(假設(shè)I幀通常 構(gòu)成GOP中的位的30%，且位的數(shù)目與MIPS需求成比例，則按照約5%的臺階從0到60% 的減少是可能的)。視關(guān)于處理器負荷和電力水平的當(dāng)前狀態(tài)的反饋而定，通過消除適當(dāng) 數(shù)目個低優(yōu)先權(quán)實體來縮短操作的序列。按增加的電力需求的次序在圖18中列出在序列 /圖片層處可能的模式。圖18展示在VS/PL模式期間的多層低功率模式集合產(chǎn)生器114。多層低功率模式 集合產(chǎn)生器114產(chǎn)生低功率模式的列表450。為說明性目的而產(chǎn)生所述列表。所述列表包 括VS/PL層模式3，其對應(yīng)于用以解碼使用RAP的幻燈片展示和所有I幀的指令。因此，如 果選擇模式1A，則電力管理模塊100將評估額外MIPS是否可用，使得還可為了改進視覺質(zhì) 量或粒度而解碼所有所述I幀。VS/PL層模式3之后為VS/PL層模式4A，其對應(yīng)于用以基 于僅使用所有I幀和P幀的降低的幀速率進行解碼的指令。VS/PL層模式4A之后為VS/PL 層模式4B，其對應(yīng)于用以基于僅使用所有I幀和P幀(具有取代B (和b)幀的選擇性FRUC) 的降低的幀速率解碼的指令。在模式4B中，使用正常解碼來解碼I和P幀。然而，不解碼 B幀。而是，對于所有B或b幀，選擇性FRUC取代每一 B或b幀。VS/PL層模式4B之后為 VS/PL層模式4C，其對應(yīng)于用以基于可用電力而選擇性地解碼RAP-GOP (例如如上的I幀 和P幀)的指令。然而，作為替代操作，對于選擇性數(shù)目個B或b幀，使用所述選擇性FRUC 以取代每一 B或b幀。VS/PL層模式4C之后為VS/PL層模式4D，其對應(yīng)于用以基于使用所 有I和P幀的降低的幀速率(比模式4C高)進行解碼的指令。還可包括所有B幀。替代 地，使用所述選擇性FRUC以取代每一 B幀(任選地，針對選擇性數(shù)目個B幀)，且無操作用 于b幀。替代地，可跳過或繞過所述b幀。VS/PL層模式4D之后為VS/PL層模式5，其對應(yīng) 于用以解碼所有接收到的幀(I、P、B和b)的指令。如果選擇VS/PL層模式3或5，則將進行另一替代操作以用跳過宏塊(MB)替代。 此外，從模式2起，可通過模式4A到4D和5所提供的精細化而實現(xiàn)進一步增強的視覺質(zhì)量 或粒度。切片/MB層圖19展示切片/宏塊層(S/MBL)解析器和處理單元110。S/MBL解析器和處理單 元Iio包括S/MBL信息提取器和編譯器460 (圖20)、S/MBL經(jīng)區(qū)分優(yōu)先次序的PM序列產(chǎn)生 器462 (圖21)和S/MBL解碼MIPS和電力估計器464。S/MBL解析器和處理單元110將進 行三階段過程120以用于S/MBL 72的解碼操作的電力/負荷管理中。圖20展示S/MBL信息提取器和編譯器460。S/MBL信息提取器和編譯器460已借 以壓縮視視頻位流的協(xié)議或標(biāo)準(zhǔn)而定。此處，S/MBL信息提取器和編譯器460提取切片信 息470和MB信息472。針對對應(yīng)于在來自圖15的經(jīng)區(qū)分優(yōu)先次序的序列中識別出的圖片 的圖片而解析切片信息470和MB標(biāo)頭?？蓪碜韵惹皩覸S/PL 70中的經(jīng)區(qū)分優(yōu)先次序的
18序列(圖15)的幀的選擇部分標(biāo)記為經(jīng)解碼。請注意，如果需要電力管理的較細粒度，則可 繼續(xù)對所有圖片進行解碼。因此，僅切片標(biāo)頭和MB標(biāo)頭經(jīng)解碼。如果檢測到標(biāo)頭有錯誤，則可遺棄所述MB或整個切片的系數(shù)/MB數(shù)據(jù)。任選地， 可應(yīng)用零MV消除且稍后用更復(fù)雜的錯誤校正(EC)進行精細化。MB信息472包括MB類型 474、運動向量(MV) 476、模式478、大小480、其它信息482和每幀MB圖484。在與本申請案同時申請且具有代理人案號第071445號的第12/145，900號專利申 請案中描述了示范性每幀MB圖，且所述專利申請案如同在下文完全陳述一樣以引用的方 式并入本文中。圖21展示S/MBL經(jīng)區(qū)分優(yōu)先次序的PM序列產(chǎn)生器462。S/MBL經(jīng)區(qū)分優(yōu)先次序 的PM序列的列表490使用切片信息和MB圖來估計圖15中的經(jīng)區(qū)分優(yōu)先次序的列表中的 每一幀的復(fù)雜性。在一個配置中，僅進一步區(qū)分方框492處的P幀切片和方框502處的B 幀切片的優(yōu)先次序。在先前層處，將針對VS/PL中的任何選定模式解碼所有I幀?；诜?框494處的每一切片的ROI MB和方框496處的具有模式平滑化的非ROI MB而進一步區(qū)分 所述P幀切片的優(yōu)先次序。根據(jù)方框498處的強制性勻速運動和方框500處的強制性P跳 過而進一步區(qū)分所述模式平滑化的優(yōu)先次序?；诜娇?04處的每一切片的ROI MB和方 框506處的具有模式平滑化的非ROI MB而進一步區(qū)分所述B幀切片的優(yōu)先次序。根據(jù)方 框507處的強制性勻速運動和方框508處的強制性B跳過而進一步區(qū)分所述模式平滑化的 優(yōu)先次序?？蓱?yīng)用模式平滑化以將具有類似特性的MB進行分組。對于MB的每一個3x3或切5 窗口，針對模式的均勻性對MB的窗口進行評估。識別窗口中的界外值(具有不同于剩余MB 的模式的MB)。如果界外值在邊緣上不同，則迫使其變到窗口的一模式。否則，維持界外值 的模式。舉例來說，如果在3 X 3MB窗口中，一個MB為幀間模式而其它MB為跳過，且如果幀 間MB的殘差(由CBP或MB大小指示)小于Skip_threshold,則迫使所述MB變到跳過模 式。在模式平滑化之后，計算跳過模式MB對直接/幀間模式MB的比例且包括所述比例以 作為復(fù)雜性的一因素。另外，跳過MB的連接區(qū)域可經(jīng)由MB擴張和MB侵蝕而組合為數(shù)據(jù)瓦 片(如在第12/145,900號專利申請案中，所述專利申請案具有代理人案號第071445號)。 可接著將瓦片限定為跳過/靜態(tài)、非靜態(tài)、勻速運動、所關(guān)注區(qū)域(R0I，基于相對MB/瓦片大 小)等。在勻速運動瓦片的情況下，可量化所述MB的MV，且可迫使瓦片變到一個MV(請注 意，此可在這些MB的殘差/CBP為零或幾乎為零的情況下進行)。另一選項為僅非靜態(tài)或 ROI瓦片經(jīng)解碼且迫使剩余部分被跳過的情況。在此情況下，所述非ROI MB中的一些可具 有除跳過之外的模式，但將被強制跳過，例如在方框500和508中。圖22展示在S/MBL模式期間的多層低功率模式集合產(chǎn)生器114。多層低功率模式 集合產(chǎn)生器114產(chǎn)生低功率模式的分級列表650。操縱一幀中的MB中的哪一者和接收到的 幀中的哪一者要被處理的能力在管理解碼和再現(xiàn)過程中提供顯著水平的粒度。另外，可在 解碼期間(在運行中)執(zhí)行上述MB層級電力優(yōu)化。再次，需要詳細的簡檔描述和電力分析 以將電力減少的比例映射到對應(yīng)的低功率模式。將模式的所述實例描述為S/MBL模式6A、6B、6C、7A、7B、7C和8。在模式6A中，按 照I幀的正常解碼來解碼所述I幀。然而，可發(fā)生額外的替代操作以在電力準(zhǔn)許時改進視 覺質(zhì)量或粒度。舉例來說，在模式6A中，可迫使具有非ROI MB的P幀變到P_Skip，且可迫使B幀和b幀變到選擇性FRUC。在模式6B中，按照I幀的正常解碼來解碼I幀。模式6B 中的替代操作可包括迫使具有模式平滑化的P幀變到P_Skip且迫使B幀和b幀變到選擇 性FRUC。在模式6C中，根據(jù)正常解碼過程來解碼I幀。然而，作為一替代操作，具有模式 平滑化的P幀可為強制性勻速運動，且可迫使B幀和b幀變到選擇性FRUC。在模式7A中， 根據(jù)正常解碼過程來解碼I幀和P幀。然而，作為一替代操作，迫使具有非ROI MB的B幀 變到跳過模式。在模式7B中，根據(jù)正常解碼過程來解碼I幀和P幀。然而，作為一替代操 作，迫使具有模式平滑化的B幀變到跳過。在模式7C中，根據(jù)正常解碼過程來解碼I幀和P 幀。然而，作為一替代操作，具有模式平滑化的B幀為強制性勻速運動。在模式8中，解碼 所有接收到的幀(I、P、B和b)。圖23展示電力管理操作的高級方框圖。所述方框圖包括與顯示處理器觀的再現(xiàn) 級28A通信的解碼器引擎104。因此，電力管理(PM)模塊100以TL模式、VS/PL模式和S/ MBL模式處理所述位流。PM模塊100控制解碼器引擎104以根據(jù)所選擇的低功率模式解碼 可解碼單元。還在上述操作的低功率模式中的任一者中從來自框架的操作的經(jīng)區(qū)分優(yōu)先次 序的序列導(dǎo)出在再現(xiàn)期間所需的處理。此外，可將解碼器引擎114的輸出發(fā)送到其它裝置、 存儲器或設(shè)備?？蓪碜运鼋獯a器的輸出轉(zhuǎn)發(fā)到另一具備視頻能力的設(shè)備以用于最后存 儲或消耗(顯示)。圖形處理單元34還與顯示處理器觀通信。圖M以順序次序說明示范性標(biāo)準(zhǔn)(正常)解碼過程700。還關(guān)于圖2D描述過程 700。在視頻序列和圖片層處開始，標(biāo)準(zhǔn)(正常)解碼過程700將在方框702處解碼序列標(biāo) 頭54A，隨后在方框704處解碼圖片1的圖片標(biāo)頭58A。在解碼圖片1的圖片標(biāo)頭之后，解 碼圖片數(shù)據(jù)58B，其包括切片和宏塊信息。因此，當(dāng)解碼圖片1數(shù)據(jù)時，解碼由切片1到M指 示的所有切片單元。由于以類似方式解碼每一切片，所以將僅較詳細地描述一個切片。當(dāng)解碼切片1時，在方框706處解碼圖片1的切片1的切片標(biāo)頭60A。接著，在方 框708處解碼圖片1的切片1的宏塊(MB) 1的MB標(biāo)頭62A。在解碼MBl的MB標(biāo)頭62A之 后，在方框710處解碼圖片1的切片1的MBl的相關(guān)MB數(shù)據(jù)。接著，獲得下一個宏塊。因 此，在方框712處解碼圖片1的切片1的宏塊(MB) 2的MB標(biāo)頭62A。在解碼MB2的MB標(biāo)頭 之后，在方框714處解碼圖片1的切片1的MB2的相關(guān)MB數(shù)據(jù)62B。對于所述切片中的所 有剩余MB，繼續(xù)解碼宏塊標(biāo)頭，之后解碼相關(guān)MB數(shù)據(jù)62B。在此實例中，存在N個MB。因 此，對圖片1的切片1的解碼將以以下操作結(jié)束在方框716處解碼圖片1的切片1的MB N的MB標(biāo)頭，之后在方框718處解碼圖片1的切片1的MB N的相關(guān)MB數(shù)據(jù)62B。因此，過程700將通過以類似于上文針對幻燈片1所描述的方式解碼剩余切片中 的每一者來繼續(xù)解碼圖片1信息。在此實例中，存在M個切片。因此，在方框720處，以如 上文關(guān)于方框706到718所描述的方式解碼切片M。接下來，過程700將解碼例如圖片2的下一個圖片幀。為解碼圖片2，過程700將 在方框722處解碼圖片2的圖片標(biāo)頭58A以導(dǎo)出切片1到M的位置。因此，在方框7M處， 以如上文關(guān)于方框706到718所描述的方式解碼切片1。以類似方式解碼圖片2的所有剩 余切片。因此，在方框7 處，以如上文關(guān)于方框706到718所描述的方式解碼切片M以完 成對圖片2的解碼。過程700以類似方式循序地重復(fù)對所有圖片幀的解碼，直到最后一個圖片Z為止。 在此實例中，存在圖片1到Z。因此，為解碼最后一個圖片(圖片Z)，過程700將在方框728
20處解碼圖片Z的圖片標(biāo)頭58A，之后為在方框730處的切片1解碼。解碼圖片Z中的每一切 片，直到在方框732處解碼切片M為止。圖25說明具有電力管理操作的TL解碼過程800的流程圖。過程800開始于方框 802，在方框802中發(fā)生TL信息的提取和對可解碼單元的PM序列的TL優(yōu)先次序區(qū)分，如關(guān) 于圖6和圖8所描述。方框802之后為方框804，在方框804中針對TL經(jīng)區(qū)分優(yōu)先次序的 PM序列而計劃MIPS和/或電力負荷。方框804之后為方框806，在方框806中計劃用于TL 低功率模式集合的MIPS。方框806之后為方框808，在方框808中作出是否存在足以解碼 位流的電力的確定。如果確定為“是”，則可在方框810處根據(jù)關(guān)于圖M所描述的程序而發(fā) 生正常解碼過程700。然而，如果確定為“否”，則作為一選項，可在方框812處通知用戶不 存在足以回放視頻的電力。將給予用戶對應(yīng)于供選擇的模式1、1A和2的低功率模式選項。 替代地，可自動選擇低功率模式。方框812之后為方框814，在方框814中由用戶選擇或自 動選擇TL低功率模式。圖25的流程圖進行到圖26。圖沈說明具有電力管理操作的VS/PL解碼過程900的流程圖。過程900開始于在 方框902處執(zhí)行例如圖13和圖15中所描述的VS/PL信息提取和對PM序列的VS/PL優(yōu)先 次序區(qū)分。在方框904處，計劃用于所有幀類型(可解碼單元)的MIPS，如關(guān)于圖16和圖 17所描述。在方框906處，基于VS/PL經(jīng)區(qū)分優(yōu)先次序的PM序列而計劃用于如圖18中所 展示的每一 VS/PL低功率模式集合的MIPS和/或電力負荷?；谒媱澋腗IPS，基于視覺 質(zhì)量和粒度將PM序列分組在一起?？赡苡捎陔娏Σ蛔愣唇獯a所述序列中的一些(例如， 所有序列)。因此，在方框908處，可產(chǎn)生來自VS/PL低功率模式集合的在最大可用電力以 下的低功率模式的分等級子集。分等級隨改進的視覺質(zhì)量和/或粒度而變。在方框910處， 任選地，可向用戶通知有限的電力且向其提供對低功率模式選項的選擇。在方框912處，可 選擇所述子集的最佳分等級的低功率模式或用戶所選擇的低功率模式。在方框914處，基 于所選的VS/PL低功率模式，通過在適當(dāng)時將解碼操作插回到圖M的正常解碼過程700中 而開始解碼。在一個配置中，在基于所選低功率模式而解碼每一幀之后，可重新計劃MIPS。此 后，可使用不同的所選模式來解碼位流中的下一個幀或其它未解碼幀。因此，低功率模式可 在對位流的解碼期間動態(tài)地變化或在運行中產(chǎn)生。圖27說明從圖M的正常解碼過程700分出的VS/PL信息提取協(xié)議902A的方框 圖。在圖27中，VS/PL信息提取協(xié)議902A將在方框950處解碼序列標(biāo)頭54A。因此，導(dǎo)出 圖片1到N的位置，如通過在為圖片1到N表示的每一方框上方的箭頭所表示。在方框952 處，解碼圖片1的圖片標(biāo)頭58A。在方框％4處，解碼圖片2的圖片標(biāo)頭58A。解碼所有圖 片標(biāo)頭。在方框956處，解碼圖片Z(最后一個圖片)的圖片標(biāo)頭。因此，對所述圖片標(biāo)頭 58A的解碼允許針對特定位流導(dǎo)出可解碼單元的PM序列且針對可解碼單元的PM序列而計 劃 MIPS。圖28說明根據(jù)VS/PL信息提取協(xié)議902A的來自位流的VS/PL經(jīng)解碼單元的方框 圖。序列標(biāo)頭54A以影線展示以表示序列標(biāo)頭54A已被解碼。此外，圖片1到N中的每一 者的圖片標(biāo)頭58A以影線展示以表示圖片標(biāo)頭58A已被解碼。圖片數(shù)據(jù)58B保持無影線以 表示其在此時仍未被解碼。序列數(shù)據(jù)54B也仍未被解碼。對圖片標(biāo)頭58A的解碼允許在不 解碼圖片數(shù)據(jù)的情況下獲得用于切片和宏塊層的必要切片位置。
圖四說明具有電力管理操作的S/MBL解碼過程1000的流程圖。過程1000開始 于在方框1002處執(zhí)行例如圖20和圖21中所描述的S/MBL信息提取和對可解碼單元的PM 序列的S/MBL優(yōu)先次序區(qū)分。在一個配置中，僅提取用于P幀和B幀的信息并區(qū)分其優(yōu)先次 序。在方框1004處，重新計劃用于S/MBL低功率模式中的每一者的MIPS。在方框1006處， 產(chǎn)生來自S/MBL低功率模式集合的在最大可用電力以下的低功率模式的分等級子集。分等 級隨依據(jù)改進的視覺質(zhì)量和/或粒度而變。在方框1008處，任選地，可向用戶通知有限的 電力且向其提供對低功率模式選項的選擇。在方框1010處，可選擇所述子集的最佳分等級 的低功率模式或用戶所選擇的低功率模式。在方框1012處，基于所選S/MBL低功率模式， 通過在適當(dāng)時將解碼操作插回到圖M的正常解碼過程700中而開始P和B幀切片和MB數(shù) 據(jù)解碼。在方框1012之后，可在已解碼一個或一個以上幀之后重新計劃MIPS，以使得可根 據(jù)剩余可用電力將低功率模式升級或降級。圖30說明從圖M的正常解碼過程700分出的S/MBL信息提取協(xié)議1002A的方框 圖。將結(jié)合圖31描述圖30。圖31說明根據(jù)S/MBL信息提取協(xié)議1002A的來自位流的S/ MBL經(jīng)解碼單元的方框圖。S/MBL信息提取協(xié)議1002A將解碼第一圖片1的圖片數(shù)據(jù)58B。 為解碼圖片數(shù)據(jù)58B，僅解碼切片標(biāo)頭60A和MB標(biāo)頭62B，直到可選擇低功率模式為止。用 于圖片1到N的方框上方的箭頭指示圖片的位置。箭頭的黑色陰影表示基于低功率模式對 圖片的選擇。無陰影箭頭表示尚未選擇的圖片。在方框1050處，在方框1050處解碼圖片 1的切片標(biāo)頭60A。在方框1052處，解碼圖片1的切片1的MB 1的MB標(biāo)頭62A。在方框 1054處，解碼圖片1的切片1的MB 2的MB標(biāo)頭62A。解碼圖片1的切片1的所有宏塊標(biāo) 頭，其中在方框1056處，解碼圖片1的切片IWMB N的MB標(biāo)頭。宏塊數(shù)據(jù)62B未被解碼。 圖片數(shù)據(jù)58B、切片標(biāo)頭60A和MB標(biāo)頭62A的影線表示其解碼。解碼每一切片的切片標(biāo)頭60A，之后解碼切片的每一 MB的MB標(biāo)頭。在方框1058 處，以類似于方框1050到1056的方式解碼圖片1的切片M(最后一個切片)。以類似方式 解碼所有剩余圖片。在方框1060處，如上文關(guān)于方框1050到1058所描述，解碼圖片Z (最 后一個圖片)。因此，對所述切片和宏塊標(biāo)頭的解碼允許為特定位流導(dǎo)出可解碼單元的PM 序列且為可解碼單元的PM序列計劃MIPS。圖32說明根據(jù)所選電力管理模式的最后切片和宏塊解碼的方框圖。針對所選低 功率模式(例如，模式6A到6C和模式7A-7C)，根據(jù)待解碼的PM序列而解碼切片數(shù)據(jù)60B 和MB數(shù)據(jù)62B。切片數(shù)據(jù)60B和MB數(shù)據(jù)62B以影線展示以指示其解碼。圖33說明多層電力管理模式的分級布置的方框圖。TL PM處理1200在輸送層52 處開始電力管理的第一層。作為TL PM處理1200的結(jié)果，基于所計劃的MIPS建立多個低功 率模式。在一個配置中，提議模式1、1A和2。電力管理操作繼續(xù)到在VS/PL PM處理1202 處的第二層。電力管理的所述第二層是在序列和圖片層70處進行。VS/PL PM處理1202依 據(jù)所計劃的MIPS和視覺質(zhì)量和/或粒度而產(chǎn)生多個低功率模式。在一個配置中，產(chǎn)生模式 3、4A到4D。模式5為一功率模式，但如果所有幀被解碼，則其可能不為一低功率模式。盡 管如此，所述電力管理操作仍繼續(xù)到在S/MBL PM處理1204處的第三層。電力管理的所述 第三層是在切片和宏塊層72處進行。S/MBL PM處理1204依據(jù)所計劃的MIPS和視覺質(zhì)量 和/或粒度而產(chǎn)生多個低功率模式。在一個配置中，產(chǎn)生模式6A到6C和7A到7C。模式8 允許在電力準(zhǔn)許的情況下解碼所有幀。此外，可在位流的一部分已被解碼且MIPS的重新計劃指示所有剩余幀可被解碼之后使用模式8。在一個或一個以上示范性配置中，所描述的功能可以硬件、軟件、固件或其任何組 合來實施。如果以軟件實施，則所述功能可作為一個或一個以上指令或代碼而存儲在計算 機可讀媒體上或經(jīng)由所述計算機可讀媒體進行傳輸。計算機可讀媒體包括計算機存儲媒 體和通信媒體兩者，通信媒體包括促進將計算機程序從一處傳遞到另一處的任何媒體。存 儲媒體可為可由計算機存取的任何可用媒體。以實例而非限制的方式，所述計算機可讀媒 體可包含RAM、ROM、EEPROM、CD-ROM或其它光盤存儲裝置、磁盤存儲裝置或其它磁性存儲裝 置，或可用以載運或存儲呈指令或數(shù)據(jù)結(jié)構(gòu)的形式的所要程序代碼且可由計算機存取的任 何其它媒體。而且，恰當(dāng)?shù)貙⑷魏芜B接稱作計算機可讀媒體。舉例來說，如果使用同軸電 纜、光纖電纜、雙絞線、數(shù)字訂戶線(DSL)，或例如紅外線、無線電和微波的無線技術(shù)從網(wǎng)站、 服務(wù)器或其它遠程源發(fā)射軟件，則同軸電纜、光纖電纜、雙絞線、DSL，或例如紅外線、無線電 和微波的無線技術(shù)包括于媒體的定義中。如本文中所使用，磁盤和光盤包括壓縮光盤(CD)、 激光光盤、光盤、數(shù)字多功能光盤(DVD)、軟盤和藍光光盤，其中磁盤通常以磁性方式再現(xiàn)數(shù) 據(jù)，而光盤用激光以光學(xué)方式再現(xiàn)數(shù)據(jù)。以上各者的組合也應(yīng)包括于計算機可讀媒體的范 圍內(nèi)。提供對所揭示配置的先前描述以使所屬領(lǐng)域的技術(shù)人員能夠制造或使用本發(fā)明。 所屬領(lǐng)域的技術(shù)人員將容易明白對這些配置的各種修改，且本文中所界定的一般原理可在 不脫離本發(fā)明的精神或范圍的情況下應(yīng)用于其它配置。因此，本發(fā)明無意限于本文中所示 的配置，而將賦予本發(fā)明與本文中所揭示的原理和新穎特征相一致的最廣范圍。
權(quán)利要求
1.一種處理包括視頻數(shù)據(jù)的數(shù)據(jù)流的方法，其包含以下步驟從所述數(shù)據(jù)流中提取信息并編譯所述信息；基于所述經(jīng)提取且經(jīng)編譯的信息而區(qū)分來自所述數(shù)據(jù)流的電力管理(PM)序列的優(yōu)先 次序以用于解碼和解析操作。
2.根據(jù)權(quán)利要求1所述的方法，其中優(yōu)先次序區(qū)分是基于對解碼和解析操作中的至少一者的先行處理。
3.根據(jù)權(quán)利要求1所述的方法，其進一步包含以下步驟計算所述經(jīng)區(qū)分優(yōu)先次序的電力管理(PM)序列中的每一者所需的電力的計劃和所述 經(jīng)區(qū)分優(yōu)先次序的電力管理(PM)序列中的每一者所需的計算負荷的計劃中的至少一者。
4.根據(jù)權(quán)利要求1所述的方法，其進一步包含以下步驟基于對所述電力管理(PM)序列的所述優(yōu)先次序區(qū)分而產(chǎn)生低功率模式的分級列表。
5.根據(jù)權(quán)利要求1所述的方法，其中對電力管理(PM)序列的所述優(yōu)先次序區(qū)分是基于 所述視頻的視覺質(zhì)量和所述解碼和解析操作的粒度中的至少一者。
6.根據(jù)權(quán)利要求4所述的方法，其進一步包含以下步驟響應(yīng)于可用電能的量或處理能力而選擇低功率模式；以及響應(yīng)于所述所選的低功率模式而選擇性地解碼所述經(jīng)區(qū)分優(yōu)先次序的電力管理序列 中的一者或一者以上。
7.根據(jù)權(quán)利要求6所述的方法，其中所述選擇性解碼是基于所述經(jīng)區(qū)分優(yōu)先次序的電力管理(PM)序列中的每一者所需的 電力和所述經(jīng)區(qū)分優(yōu)先次序的電力管理(PM)序列中的每一者所需的計算負荷中的至少一者ο
8.一種用于處理包括視頻數(shù)據(jù)的數(shù)據(jù)流的裝置，其包含解析器，其用于從所述數(shù)據(jù)流中提取信息并編譯所述信息；以及處理單元，其用于基于 所述經(jīng)提取且經(jīng)編譯的信息而區(qū)分來自所述數(shù)據(jù)流的電力管理(PM)序列的優(yōu)先次序以用 于解碼操作。
9.根據(jù)權(quán)利要求8所述的裝置，其進一步包含計劃器，所述計劃器用于計算所述經(jīng)區(qū) 分優(yōu)先次序的電力管理(PM)序列中的每一者所需的電力的計劃和所述經(jīng)區(qū)分優(yōu)先次序的 電力管理(PM)序列中的每一者所需的計算負荷的計劃中的至少一者。
10.根據(jù)權(quán)利要求8所述的裝置，其中對電力管理(PM)序列的所述優(yōu)先次序區(qū)分是基 于所述視頻的視覺質(zhì)量和所述解碼操作的粒度中的至少一者。
11.根據(jù)權(quán)利要求8所述的裝置，其進一步包含產(chǎn)生器，所述產(chǎn)生器用于基于對所述電 力管理(PM)序列的所述優(yōu)先次序區(qū)分而產(chǎn)生低功率模式的分級列表。
12.根據(jù)權(quán)利要求11所述的裝置，其中所述處理單元響應(yīng)于可用電能的量或處理能力而選擇低功率模式；且響應(yīng)于所述所選的低功率模式而選擇性地解碼所述經(jīng)區(qū)分優(yōu)先次序的電力管理(PM) 序列中的一者或一者以上。
13.一種用于處理包括視頻數(shù)據(jù)的數(shù)據(jù)流的設(shè)備，其包含用于從所述數(shù)據(jù)流中提取信息并編譯所述信息的裝置；以及用于基于所述經(jīng)提取且經(jīng)編譯的信息而區(qū)分來自所述數(shù)據(jù)流的電力管理(PM)序列的優(yōu)先次序以用于解碼操作的裝置。
14.根據(jù)權(quán)利要求13所述的設(shè)備，其中所述用于區(qū)分電力管理(PM)序列的優(yōu)先次序的 裝置基于對所述解碼操作的先行處理而區(qū)分優(yōu)先次序。
15.根據(jù)權(quán)利要求13所述的設(shè)備，其進一步包含用于計算所述經(jīng)區(qū)分優(yōu)先次序的電力管理(PM)序列中的每一者所需的電力的計劃和 所述經(jīng)區(qū)分優(yōu)先次序的電力管理(PM)序列中的每一者所需的計算負荷的計劃中的至少一 者的裝置。
16.根據(jù)權(quán)利要求13所述的設(shè)備，其中對電力管理(PM)序列的所述優(yōu)先次序區(qū)分是基 于所述視頻的視覺質(zhì)量和所述解碼操作的粒度中的至少一者。
17.根據(jù)權(quán)利要求13所述的設(shè)備，其進一步包含用于基于對所述電力管理(PM)序列的所述優(yōu)先次序區(qū)分而產(chǎn)生低功率模式的分級列 表的裝置。
18.根據(jù)權(quán)利要求17所述的設(shè)備，其進一步包含用于響應(yīng)于可用電能的量或處理能力而選擇低功率模式的裝置；以及用于響應(yīng)于所述所選的低功率模式而選擇性地解碼所述經(jīng)區(qū)分優(yōu)先次序的電力管理 (PM)序列中的一者或一者以上的裝置。
19.根據(jù)權(quán)利要求18所述的設(shè)備，其中所述選擇性解碼是基于所述經(jīng)區(qū)分優(yōu)先次序的 電力管理(PM)序列中的每一者所需的電力和所述經(jīng)區(qū)分優(yōu)先次序的電力管理(PM)序列中 的每一者所需的計算負荷中的至少一者。
20.一種用于處理包括視頻數(shù)據(jù)的數(shù)據(jù)流的計算機程序產(chǎn)品，所述計算機程序產(chǎn)品包 括計算機可讀媒體，所述計算機可讀媒體存儲在被執(zhí)行時致使處理器執(zhí)行以下操作的指 令從所述數(shù)據(jù)流中提取信息并編譯所述信息；以及基于所述經(jīng)提取且經(jīng)編譯的信息而區(qū)分來自所述數(shù)據(jù)流的電力管理(PM)序列的優(yōu)先 次序以用于解碼操作。
21.根據(jù)權(quán)利要求20所述的計算機程序產(chǎn)品，其中對電力管理(PM)序列的所述優(yōu)先次 序區(qū)分是基于對所述解碼操作的先行處理。
22.根據(jù)權(quán)利要求20所述的計算機程序產(chǎn)品，其中所述計算機可讀媒體進一步存儲在 被執(zhí)行時致使處理器執(zhí)行以下操作的指令計算所述經(jīng)區(qū)分優(yōu)先次序的電力管理(PM)序列中的每一者所需的電力的計劃和所述 經(jīng)區(qū)分優(yōu)先次序的電力管理(PM)序列中的每一者所需的計算負荷的計劃中的至少一者。
23.根據(jù)權(quán)利要求20所述的計算機程序產(chǎn)品，其中對電力管理(PM)序列的所述優(yōu)先次 序區(qū)分是基于所述視頻的視覺質(zhì)量和所述解碼操作的粒度中的至少一者。
24.根據(jù)權(quán)利要求20所述的計算機程序產(chǎn)品，其中所述計算機可讀媒體進一步存儲在 被執(zhí)行時致使處理器執(zhí)行以下操作的指令基于對所述電力管理(PM)序列的所述優(yōu)先次序區(qū)分而產(chǎn)生低功率模式的分級列表。
25.根據(jù)權(quán)利要求24所述的計算機程序產(chǎn)品，其中所述計算機可讀媒體進一步存儲在 被執(zhí)行時致使處理器執(zhí)行以下操作的指令響應(yīng)于可用電能的量或處理能力而選擇低功率模式；以及響應(yīng)于所述所選的低功率模式而選擇性地解碼所述經(jīng)區(qū)分優(yōu)先次序的電力管理(PM) 序列中的一者或一者以上。
26.根據(jù)權(quán)利要求25所述的計算機程序產(chǎn)品，其中所述選擇性解碼是基于所述經(jīng)區(qū)分 優(yōu)先次序的電力管理(PM)序列中的每一者所需的電力和所述經(jīng)區(qū)分優(yōu)先次序的電力管理 (PM)序列中的每一者所需的計算負荷中的至少一者。
全文摘要
本發(fā)明提供用于視頻處理和解碼中的電力和計算負荷管理的技術(shù)。在一個配置中，提供一種設(shè)備，其包含處理器，所述處理器具有操作以從具有視頻的數(shù)據(jù)流中提取信息并編譯所述信息的指令集合。所述處理器操作以基于所述信息而區(qū)分用以處理所述數(shù)據(jù)流的解析或解碼操作集合(被稱為電力管理(PM)序列)的優(yōu)先次序，并計算用于所述經(jīng)區(qū)分優(yōu)先次序的PM序列中的每一者的電力和計算負荷中的至少一者的計劃。
文檔編號H04N7/26GK102124725SQ200980132090
公開日2011年7月13日 申請日期2009年8月19日 優(yōu)先權(quán)日2008年8月19日
發(fā)明者維雅拉克什米·R·拉溫德朗 申請人:高通股份有限公司