功率感知視頻解碼和串流的制作方法
【專利說明】功率感知視頻解碼和串流
[0001] 相關(guān)申請(qǐng)的交叉引用
[0002] 本申請(qǐng)要求2012年7月9日提交的美國(guó)臨時(shí)專利申請(qǐng)No. 61/669,581的權(quán)益，所 述申請(qǐng)的內(nèi)容全部通引用結(jié)合于此。
【背景技術(shù)】
[0003] 隨著移動(dòng)設(shè)備的普及繼續(xù)增加，這些移動(dòng)設(shè)備正被用于更多種類的應(yīng)用。附加地， 移動(dòng)設(shè)備諸如智能手機(jī)正利用越來越復(fù)雜的功能。處理中的增加會(huì)增加功率消耗，這樣負(fù) 面地影響在有限功率情況下諸如當(dāng)電池為用于設(shè)備的電源時(shí)的用戶體驗(yàn)。

【發(fā)明內(nèi)容】

[0004] 公開了用于移動(dòng)設(shè)備根據(jù)可用功率和/或能量解碼視頻的方法和系統(tǒng)。例如，移 動(dòng)設(shè)備從視頻服務(wù)器接收針對(duì)視頻串流的媒體描述文件（MDF)。所述MDF包括與多個(gè)視頻 分段相關(guān)聯(lián)的復(fù)雜性信息。所述復(fù)雜性信息可以被關(guān)聯(lián)到將被利用于在移動(dòng)設(shè)備處解碼所 述分段的處理功率的量。所述移動(dòng)設(shè)備確定針對(duì)所述移動(dòng)設(shè)備的至少一個(gè)功率量度。例 如，所述功率度量可以為留下給當(dāng)前電源諸如電池的能量的量。所述移動(dòng)設(shè)備基于來自所 述MDF的復(fù)雜性信息和所述功率量度來確定針對(duì)第一視頻分段所請(qǐng)求的第一復(fù)雜性級(jí)別。 所述移動(dòng)設(shè)備可以從所述視頻服務(wù)器請(qǐng)求以所述第一復(fù)雜性級(jí)別的第一視頻分段。
[0005] 例如，MDF中所述復(fù)雜性信息可以根據(jù)視頻分段而提供。被用來確定請(qǐng)求合適的 復(fù)雜性等級(jí)的功率量度包括將被分配用于對(duì)視頻的剩余部分進(jìn)行解碼的能量的量，用于之 前解碼的能量的量，在移動(dòng)設(shè)備處采集的與先前解碼后的分段有關(guān)的統(tǒng)計(jì)，以被用于對(duì)所 述分段質(zhì)量進(jìn)行解碼的功率比形式的成本信息，以用于所述分段的復(fù)雜性的功率比形式的 成本信息等等。所述移動(dòng)設(shè)備可以確定所述視頻串流的剩余部分的持續(xù)時(shí)間，并且可以確 定所述第一視頻分段的持續(xù)時(shí)間。所述移動(dòng)設(shè)備之后可以基于被分配用于解碼所述視頻串 流的剩余部分的能量的量、所述視頻串流的剩余部分的持續(xù)時(shí)間和所述第一視頻分段的持 續(xù)時(shí)間來確定被分配給所述第一視頻分段的能量的量。所述移動(dòng)設(shè)備可以基于在所述視頻 串流中剩余的每個(gè)分段將被分配等量的能量以用于解碼的假設(shè)做出判斷。被分配用于每個(gè) 剩余分段的能量的總和少于或等于被分配用于完成所述視頻解碼的總功率。
[0006] 所述移動(dòng)設(shè)備通過確定將導(dǎo)致大致使用被分配給所述第一視頻分段的能量的量 來解碼所述第一視頻分段的復(fù)雜性級(jí)別的方式基于來自所述MDF的復(fù)雜性信息和所述功 率量度來確定針對(duì)所述第一視頻分段所請(qǐng)求的第一復(fù)雜性級(jí)別。例如，所述復(fù)雜性級(jí)別可 以被量化，并且所述移動(dòng)設(shè)備可以選擇滿足期望的功率使用目標(biāo)的最復(fù)雜級(jí)別。所述移動(dòng) 設(shè)備通過基于分配給先前分段、被用來解碼先前分段的復(fù)雜性級(jí)別和被分配用于解碼所述 第一視頻分段的功率選擇所述第一復(fù)雜性級(jí)別的方式基于來自所述MDF的復(fù)雜性信息和 所述功率量度來確定針對(duì)所述第一視頻分段所請(qǐng)求的第一復(fù)雜性級(jí)別。
[0007] 移動(dòng)設(shè)備可以自動(dòng)地或結(jié)合網(wǎng)絡(luò)調(diào)節(jié)解碼過程從而節(jié)省能量同時(shí)限制引入解碼 誤差。例如，移動(dòng)設(shè)備確定所述第一視頻分段的區(qū)域是否包括超過高頻閾值的高頻分量。移 動(dòng)設(shè)備在所述高頻分量超過所述高頻閾值的條件下在針對(duì)所述區(qū)域的運(yùn)動(dòng)補(bǔ)償期間應(yīng)用 第一插值濾波器，或者在所述高頻分量不超過所述高頻閾值的條件下針對(duì)所述區(qū)域的運(yùn)動(dòng) 補(bǔ)償應(yīng)用第二插值濾波器。所述第二插值濾波器與比所述第一插值濾波器較短的抽頭（例 如，較低的截止頻率）相關(guān)聯(lián)，從而限制存儲(chǔ)器接入和節(jié)省功率。移動(dòng)設(shè)備可以確定不應(yīng)用 具有較短抽頭的濾波器（例如，較低的截止頻率），即使根據(jù)確定該區(qū)域?yàn)獒槍?duì)其它區(qū)域的 參考存在很少的高頻分量，意味著傳播差錯(cuò)的概率更高。移動(dòng)設(shè)備可以針對(duì)所述第一視頻 分段中的參考圖片執(zhí)行解塊，以及避免針對(duì)非參考圖片執(zhí)行解塊。
[0008] 移動(dòng)設(shè)備或其它無線發(fā)射接收單元可以包括用于基于功率條件動(dòng)態(tài)改變視頻解 碼的一個(gè)或多個(gè)功能性組件。例如，移動(dòng)設(shè)備可以包括收發(fā)信機(jī)，所述收發(fā)信機(jī)被配置成請(qǐng) 求來自視頻服務(wù)器的針對(duì)視頻文件的MDF并且從所述視頻服務(wù)器接收所述MDF。其中所述 MDF包括針對(duì)多個(gè)視頻分段的復(fù)雜性信息。所述移動(dòng)設(shè)備可以包括被配置成存儲(chǔ)針對(duì)先前 分段解碼的統(tǒng)計(jì)的復(fù)雜性統(tǒng)計(jì)和控制單元。例如，針對(duì)先前分段解碼的統(tǒng)計(jì)包括與解碼至 少一個(gè)先前分段相關(guān)聯(lián)的功率信息和針對(duì)至少一個(gè)先前分段的復(fù)雜性信息。移動(dòng)設(shè)備可以 包括被配置成確定當(dāng)前能量級(jí)別或功率級(jí)別信息的功率探測(cè)器。移動(dòng)設(shè)備可以包括功率感 知自適應(yīng)控制器，所述功率感知自適應(yīng)控制器被配置成確定基于來自所述MDF的復(fù)雜性信 息、針對(duì)所述先前分段解碼的統(tǒng)計(jì)和當(dāng)前功率信息來確定針對(duì)后續(xù)分段所請(qǐng)求的復(fù)雜性級(jí) 另IJ。移動(dòng)設(shè)備包括解碼器，所述解碼器被配置成基于由所述功率感知自適應(yīng)控制器確定的 信息確定應(yīng)用于解碼所述后續(xù)分段的參數(shù)或方法。
[0009] 例如，所述解碼器被配置成基于在給定區(qū)域內(nèi)的像素采樣的頻率分析來確定應(yīng)用 于給定區(qū)域的運(yùn)動(dòng)補(bǔ)償?shù)牟逯禐V波器。所述解碼器被配置成針對(duì)具有低于特定閾值的高頻 分量的區(qū)域的較高層時(shí)間預(yù)測(cè)，利用具有比第二插值濾波器更短的抽頭（例如更低的截止 頻率）的第一插值濾波器，并且針對(duì)較低層時(shí)間預(yù)測(cè)使用第二插值濾波器，即使當(dāng)較低層 的高頻分量低于所述閾值。所述解碼器被配置成針對(duì)除了至少塊間外具有低于特定閾值的 高頻分量的區(qū)域，利用具有比第二插值濾波器更短的抽頭（例如，更低的截止頻率）的第一 插值濾波器，其中塊間的非因果鄰居包括一個(gè)或多個(gè)內(nèi)部編碼的塊。避免塊間可以幫助阻 止在內(nèi)部編碼存在下的傳播差錯(cuò)，其中塊間的非因果鄰居包括一個(gè)或多個(gè)內(nèi)部編碼的塊。 所述功率為所述功率為自適應(yīng)控制器，被配置成基于來自所述MDF的復(fù)雜性信息、針對(duì)先 前分段解碼的統(tǒng)計(jì)和當(dāng)前功率信息來確定針對(duì)所述后續(xù)分段所請(qǐng)求的分辨率。所述分辨率 可以以指定的復(fù)雜性級(jí)別進(jìn)行請(qǐng)求。所述復(fù)雜性級(jí)別可以對(duì)應(yīng)于所述編碼器執(zhí)行編碼時(shí)的 細(xì)節(jié)級(jí)別。
[0010] 公開了一種用于無線發(fā)射/接收單元（WTRU)與視頻服務(wù)器交互以在視頻解碼期 間動(dòng)態(tài)節(jié)省功率的方法。例如，可以動(dòng)態(tài)地更新有關(guān)用于解碼剩下的功率量的判斷并且根 據(jù)更新后的判斷確定合適的復(fù)雜性級(jí)別以選擇視頻分段。例如，所述WTRU請(qǐng)求來自所述視 頻服務(wù)器的MDF。所述WTRU從所述視頻服務(wù)器接收所述MDF。所述MDF包括用于解碼視頻 串流的一個(gè)或多個(gè)視頻分段的復(fù)雜性信息。所述WTRU至少部分基于被分配用于解碼所述 視頻串流的剩余部分的剩余能量的量來確定被分配用于解碼所述視頻串流的視頻分段的 能量的量。所述WTRU基于被分配用于解碼所述視頻串流的視頻分段的能量的量來確定針 對(duì)所述視頻串流的第一視頻分段所請(qǐng)求的第一解碼復(fù)雜性級(jí)別。所述WTRU請(qǐng)求針對(duì)所述 第一視頻分段的第一解碼復(fù)雜性級(jí)別。所述WTRU重新估計(jì)被分配用于解碼所述視頻串流 的剩余部分的剩余能量的量并且確定所述WTRU缺少足夠的能量來完成每個(gè)視頻分段以當(dāng) 前能量級(jí)別對(duì)所述視頻串流的解碼。
[0011] 所述WTRU基于被分配用于解碼所述視頻串流的剩余部分的剩余能量的新的量來 確定被分配用于解碼所述視頻串流的剩余視頻分段的能量的新的量。所述WTRU基于被分 配用于解碼所述視頻串流的剩余視頻分段的能量的新的量來確定針對(duì)所述視頻串流的第 二視頻分段所請(qǐng)求的第二解碼復(fù)雜性級(jí)別。每個(gè)所述剩余視頻分段基于被分配用于解碼所 述視頻串流的剩余部分的能量的新的量而被分配等量的能量。針對(duì)各個(gè)視頻分段的各個(gè)復(fù) 雜性級(jí)別基于被分配用于解碼視頻分段的能量的量、所述各個(gè)視頻分段的持續(xù)時(shí)間和與被 利用用于解碼至少一個(gè)先前分段的能量相關(guān)聯(lián)的統(tǒng)計(jì)、針對(duì)所述至少一個(gè)先前分段的復(fù)雜 性級(jí)別、和所述至少一個(gè)先前分段的持續(xù)時(shí)間而被選擇。所述WTRU向所述服務(wù)器報(bào)告針對(duì) 各個(gè)解碼后的分段的功率使用統(tǒng)計(jì)，并且所述WTRU基于所述報(bào)告接收給定復(fù)雜性的視頻 分段。
【附圖說明】
[0012] 更詳細(xì)的理解可以從下述結(jié)合附圖以示例的方式給出的詳細(xì)描述中得到，其中：
[0013] 圖IA是在其中一個(gè)或更多個(gè)公開的實(shí)施例可得以實(shí)現(xiàn)的示例通信系統(tǒng)的系統(tǒng) 圖。
[0014] 圖IB是可在圖IA所示的通信系統(tǒng)中使用的示例無線發(fā)射/接收單元（WTRU)的 系統(tǒng)圖。
[0015] 圖IC是可在圖IA所示的通信系統(tǒng)中使用的示例無線電接入網(wǎng)和示例核心網(wǎng)的系 統(tǒng)圖。
[0016] 圖ID是可在圖IA所示的通信系統(tǒng)中使用的另一示例無線電接入網(wǎng)和示例核心網(wǎng) 的系統(tǒng)圖。
[0017] 圖IE是可在圖IA所示的通信系統(tǒng)中使用的另一示例無線電接入網(wǎng)和示例核心網(wǎng) 的系統(tǒng)圖。
[0018] 圖2描述了移動(dòng)設(shè)備增加數(shù)量的趨勢(shì)。
[0019] 圖3描述了示例推送模式視頻串流系統(tǒng)。
[0020] 圖4描述了示例基于HTTP的視頻串流系統(tǒng)。
[0021] 圖5描述了可以在移動(dòng)設(shè)備上實(shí)現(xiàn)的智能手機(jī)平臺(tái)的示例架構(gòu)。
[0022] 圖6A描述了在視頻回放場(chǎng)景中的功率使用示例。
[0023] 圖6B描述了動(dòng)態(tài)電壓和頻率調(diào)節(jié)。
[0024] 圖7描述了示例功率感知視頻串流系統(tǒng)。
[0025] 圖8描述了在客戶端處的示例可能切換操作點(diǎn)。
[0026] 圖9描述了在HEVC解碼中的示例流程。
[0027] 圖10描述了針對(duì)lumaMC流程的不同像素位置示例。
[0028] 圖IIA和IIB描述了針對(duì)使用HM6. 1解碼器的HEVC和使用隨機(jī)接入（RA)設(shè)置進(jìn) 行編碼的比特串流的時(shí)間簡(jiǎn)檔示例。
[0029] 圖12A描述了示例插值濾波器波形，所述示例插值濾波器波形可以被用于在高頻 范圍中的頻率分量的相對(duì)小部分的區(qū)域。
[0030] 圖12B描述了針對(duì)圖12A的插值濾波器的示例頻率響應(yīng)。
[0031] 圖13描述了在HEVC中的分層編碼結(jié)構(gòu)示例。
[0032] 圖14描述了在HEVC內(nèi)部編碼中使用的示例方向。
【具體實(shí)施方式】
[0033] 近些年來，移動(dòng)設(shè)備已經(jīng)成為用于廣大用戶和應(yīng)用選擇的計(jì)算平臺(tái)。例如，實(shí)際 的片上系統(tǒng)（SoC)集成電路的快速演進(jìn)已經(jīng)允許移動(dòng)設(shè)備增加其可用功能性同時(shí)保持在 使其對(duì)于手持使用實(shí)用的大小。近來，IC已經(jīng)極大地增加了移動(dòng)設(shè)備的計(jì)算能力，例如，在 CPU頻率和/或可用處理內(nèi)核數(shù)量方面。附加地，在帶寬的增加和/或無線網(wǎng)絡(luò)互聯(lián)技術(shù) (例如，4GLTE、HSPA+、WiFi等）的整個(gè)數(shù)據(jù)率已經(jīng)允許移動(dòng)設(shè)備以與傳統(tǒng)寬帶因特網(wǎng)接入 可比的速度獲得媒體。
[0034] 這些進(jìn)步是移動(dòng)設(shè)備高利用率的一些原因，這引起在部署中不斷增加