本發(fā)明屬于移動與綠色科技領(lǐng)域,具體涉及一種基于情境的移動流媒體節(jié)能優(yōu)化方法。
背景技術(shù):據(jù)ITU調(diào)查,預(yù)計(jì)2013年年末,全球整體移動通信普及率將達(dá)到96%,其中,半數(shù)以上移動用戶位于亞洲。智能手機(jī)平臺的份額正逐步上升,非智能手機(jī)平臺正逐步減小,而在智能手機(jī)平臺中,Android的表現(xiàn)突出,增幅明顯。用戶中超過70%會隨時使用智能手機(jī),智能手機(jī)在用戶生活中占據(jù)重要地位,已成為用戶生活不可或缺的一部分。然而智能手機(jī)耗電問題愈顯突出,根據(jù)對智能手機(jī)主要耗電應(yīng)用程序的統(tǒng)計(jì),除了語音通信與手機(jī)上網(wǎng)外,語音視頻播放占據(jù)相當(dāng)大比例。在智能手機(jī)主要功能耗電比重中,顯示頻和背光所耗電量占47%。目前智能手機(jī)屏幕有逐漸增大的趨勢,隨著智能手機(jī)屏幕的增大,其耗電量也會相應(yīng)提高,所以在屏幕顯示方面,節(jié)能潛力巨大。以往在使用視頻業(yè)務(wù)時,顯示屏處于常亮狀態(tài),主流客戶端為確保觀賞效果,對顯示屏亮度處理一般采取系統(tǒng)默認(rèn)設(shè)置或者不可調(diào)節(jié)的方法,大大增加了視頻播放過程中顯示屏耗電量。為此,各大廠商也在積極探尋智能手機(jī)節(jié)能優(yōu)化新方法。現(xiàn)有的顯示屏背光亮度的智能調(diào)節(jié)方法是通過預(yù)設(shè)有顯示屏背光亮度值與環(huán)境光亮度值對應(yīng)的參照表,獲取當(dāng)前環(huán)境光亮度值,并根據(jù)上述的參照表設(shè)定顯示屏亮度值來實(shí)現(xiàn),用戶也可以手動調(diào)節(jié)屏幕亮度,該方案將用戶習(xí)慣反映到參數(shù)表中。面對智能終端能耗問題,預(yù)設(shè)有顯示屏背光亮度值與環(huán)境光亮度值對應(yīng)的參照表,顯然增加了內(nèi)存開銷;由于每次用戶的亮度調(diào)節(jié)值會有變化,用戶習(xí)慣反映到參數(shù)表中的內(nèi)容會經(jīng)常被修改,復(fù)雜度相應(yīng)加大;獲取當(dāng)前環(huán)境光亮度值,根據(jù)上述的參照表設(shè)定顯示屏亮度的方法只考慮到環(huán)境亮度因素,并沒有基于內(nèi)容地對顯示屏背光亮度進(jìn)行調(diào)節(jié)。
技術(shù)實(shí)現(xiàn)要素:本發(fā)明的目的是提供一種基于情境的移動流媒體節(jié)能優(yōu)化方法,能保證用戶體驗(yàn)的前提下,既能充份利用顯示屏背光亮度的自動調(diào)節(jié)功能又能以復(fù)雜度較低的計(jì)算基于情景對顯示屏亮度進(jìn)行調(diào)節(jié),能有效節(jié)約移動終端能耗。本發(fā)明采用以下方案實(shí)現(xiàn):一種基于情境的移動流媒體節(jié)能優(yōu)化方法,其特征在于,包括以下步驟:(1)移動流媒體客戶端通過光敏傳感器獲取當(dāng)前環(huán)境亮度B1;(2)移動流媒體客戶端接收流媒體數(shù)據(jù),對接受到的數(shù)據(jù)包進(jìn)行分析,提取視頻內(nèi)容細(xì)節(jié)信息,根據(jù)視頻內(nèi)容細(xì)節(jié)信息分等級并將等級量化;(3)將環(huán)境亮度B1與視頻內(nèi)容細(xì)節(jié)等級量化值根據(jù)其影響因子大小進(jìn)行加權(quán),根據(jù)加權(quán)值的大小決定是否提交屏幕亮度調(diào)節(jié)請求,若加權(quán)值大于以前N幀亮度值作參考基準(zhǔn)動態(tài)選擇的閾值,提交屏幕調(diào)亮請求;若加權(quán)值小于該閾值,提交屏幕調(diào)暗請求;(4)統(tǒng)計(jì)視頻內(nèi)容亮度和對比度,根據(jù)環(huán)境亮度B1、視頻內(nèi)容亮度、和視頻內(nèi)容對比度根據(jù)影響因子的加權(quán)決定調(diào)整范圍;(5)對屏幕亮度調(diào)整范圍的選擇基于以下策略:對解碼出的幀,進(jìn)行亮度和對比度分析,根據(jù)直方圖分布獲取畫面亮度和對比度實(shí)時情況,環(huán)境亮度B1、畫面內(nèi)容亮度和對比度三者加權(quán)值作為分析參數(shù),得出決定亮度調(diào)整范圍的準(zhǔn)確值。在本發(fā)明一實(shí)施例中,所述步驟(2)中等級量化的具體方式包括:步驟2.1解碼獲取流媒體數(shù)據(jù)流NAL單元,對解碼后的幀進(jìn)行分析,獲取其編碼量化步長Q1;步驟2.2設(shè)定閾值為C1及將AC參數(shù)量化歸為0、1以及其他值三類;步驟2.3統(tǒng)計(jì)DCT變換系數(shù)矩陣中AC分量值,其分布服從Laplacian分布,概率密度函數(shù)如公式(1)(1)其中,,為方差,x為AC分量值;步驟2.4量化值為1的概率由公式(2)確定(2);其中,p2為量化值為1的概率,p表示落入某個區(qū)間的概率。步驟2.5設(shè)定k1、k2及k3分別為0、1和其它數(shù)值的個數(shù),n為非零AC值總數(shù),根據(jù)k2的似然函數(shù)可估計(jì)值,由公式(3)確定(3);步驟2.6將視頻內(nèi)容細(xì)節(jié)信息進(jìn)行等級劃分,根據(jù)其細(xì)節(jié)信息等級轉(zhuǎn)換為亮度等級,得到其等級量化值QV。在本發(fā)明一實(shí)施例中,所述的C1為0.625Q1,C2為1.625Q1。在本發(fā)明一實(shí)施例中,所述視頻內(nèi)容亮度CB定量值的確定方法,由公式(2)(2)將(R,G,B)圖像轉(zhuǎn)為亮度圖像,其中,P1、P2、P3值分別為0.11、0.59和0.30,Temp為對應(yīng)彩色圖像像素的亮度值,CB由其均值定量衡量。在本發(fā)明一實(shí)施例中,所述視頻內(nèi)容對比度信息量化方法為:建立4x4塊的亮度直方圖,得到每個4x4塊亮度均值,并通過計(jì)算塊間方差來衡量視頻內(nèi)容對比度CR。在本發(fā)明一實(shí)施例中,所述加權(quán)值WV的確定由環(huán)境亮度B1、視頻內(nèi)容亮度CB和視頻內(nèi)容對比度CR確定,其量化關(guān)系由公式(3)確定(3)其中w1、w2和w3為權(quán)值,w1取值0.29,w2取值0.32,w3取值0.39。在本發(fā)明一實(shí)施例中,還包括步驟(6):采用漸進(jìn)式調(diào)整方法,根據(jù)亮度調(diào)整范圍使亮度緩慢收斂到期望值。本發(fā)明的有益效果是:1、計(jì)算復(fù)雜度低:智能終端一般都有光敏傳感器,以感知環(huán)境亮度,其余處理由軟件實(shí)現(xiàn),不需改變硬件配置。通過在解碼后DCT變換系數(shù)矩陣中讀取的AC分量的分布和大小反映圖像細(xì)節(jié)信息,不需要進(jìn)行復(fù)雜的邊界檢測運(yùn)算。同時,在對比度和亮度量化分析過沖中,對圖像進(jìn)行分塊處理,針對模塊間求其方差,大大降低了運(yùn)算復(fù)雜度。2、節(jié)能效率很高:顯示屏能耗最重要的影響因素為屏幕亮度,通過內(nèi)容密度和環(huán)境亮度決定屏幕亮度調(diào)節(jié)與否能夠在不影響視頻畫面質(zhì)量的前提下節(jié)省能耗,通過分析變換系數(shù)矩陣AC分量的參數(shù),進(jìn)行畫面細(xì)節(jié)判定能夠真實(shí)反映出其內(nèi)容密度,而通過對視頻內(nèi)容亮度和對比度分析加上環(huán)境亮度因素更加準(zhǔn)確地確定亮度調(diào)整范圍,進(jìn)而可以實(shí)時自適應(yīng)改變背景亮度。3、用戶體驗(yàn)較好:在畫面亮度和相對對比度高的情況下,調(diào)低屏幕背光亮度,畫面亮度和相對對比度較高時,調(diào)暗屏幕背光亮度,這樣人眼觀察到的畫面更為清晰,另外,在流媒體播放過程中對屏幕亮度變化進(jìn)行控制,避免可能產(chǎn)生頻繁明暗交替的情況影響用戶觀看體驗(yàn)。附圖說明圖1是本發(fā)明基于情境的移動流媒體節(jié)能優(yōu)化方法的所用到的移動流媒體節(jié)能優(yōu)化架構(gòu)的示意圖。圖2是本發(fā)明基于情境的移動流媒體節(jié)能優(yōu)化方法的流程圖。圖3是本發(fā)明基于情境的移動流媒體節(jié)能優(yōu)化方法NAL單元的示意圖。具體實(shí)施方式下面結(jié)合附圖及實(shí)施例對本發(fā)明做進(jìn)一步說明。如圖1所示,本發(fā)明基于情境的移動流媒體節(jié)能優(yōu)化方法包括以下步驟:(1)移動流媒體客戶端通過光敏傳感器獲取當(dāng)前環(huán)境亮度B1。智能終端實(shí)時感知環(huán)境亮度,通過光敏傳感器將光強(qiáng)度信息轉(zhuǎn)化為可量化的值,即亮度等級。(2)移動流媒體客戶端接收流媒體數(shù)據(jù),對接受到的數(shù)據(jù)包進(jìn)行分析,提取視頻內(nèi)容細(xì)節(jié)信息,根據(jù)視頻內(nèi)容細(xì)節(jié)信息分等級并將等級量化,以值作為視頻內(nèi)容細(xì)節(jié)信息劃分依據(jù)。步驟2.1解碼獲取流媒體數(shù)據(jù)流NAL單元(圖2所示),對解碼后的幀進(jìn)行分析,獲取其編碼量化步長Q1。步驟2.2設(shè)定閾值為C1及將AC參數(shù)量化歸為0、1以及其他值三類,C1建議值為0.625Q1,C2建議值為1.625Q1。步驟2.3統(tǒng)計(jì)DCT變換系數(shù)矩陣中AC分量值,其分布服從Laplacian分布,概率密度函數(shù)如公式(1)(1)其中,,為方差,x為AC分量值。步驟2.4量化值為1的概率由公式(2)確定(2)其中,p2為量化值為1的概率,p表示落入某個區(qū)間的概率。步驟2.5設(shè)定k1、k2及k3分別為0、1和其它數(shù)值的個數(shù),n為非零AC值總數(shù),根據(jù)k2的似然函數(shù)可估計(jì)值,由公式(3)確定(3)步驟2.6將視頻內(nèi)容細(xì)節(jié)信息進(jìn)行等級劃分,根據(jù)其細(xì)節(jié)信息等級轉(zhuǎn)換為亮度等級,得到其等級量化值(QV)。(3)將環(huán)境亮度B1與視頻內(nèi)容細(xì)節(jié)等級量化值根據(jù)其影響因子大小進(jìn)行加權(quán),根據(jù)加權(quán)值的大小決定是否提交屏幕亮度調(diào)節(jié)請求,若加權(quán)值大于以前N幀亮度值作參考基準(zhǔn)動態(tài)選擇的閾值,提交屏幕調(diào)亮請求;若加權(quán)值小于該閾值,提交屏幕調(diào)暗請求;步驟3.1環(huán)境亮度B1與等級量化值(QV)根據(jù)其影響因子的大小建議權(quán)值分配分別為0.45與0.55。步驟3.2通過經(jīng)驗(yàn)和可靠測試得到?jīng)Q定是否進(jìn)行屏幕亮度調(diào)整的閾值T,最佳閾值T為55,其中,T值表示亮度等級。(4)統(tǒng)計(jì)視頻內(nèi)容亮度和對比度,由環(huán)境亮度B1、視頻內(nèi)容亮度、和視頻內(nèi)容對比度根據(jù)影響因子的加權(quán)決定調(diào)整范圍。步驟4.1視頻內(nèi)容亮度(CB)定量值的確定方法,由亮度公式(4)(4)將(R,G,B)圖像轉(zhuǎn)為亮度圖像,其中,P1、P2、P3建議值分別為0.11、0.59和0.30,Temp為對應(yīng)彩色圖像像素的亮度值,CB由其均值定量衡量。步驟4.2建立4x4塊的亮度直方圖,得到每個4x4塊亮度均值,并通過計(jì)算塊間方差來衡量視頻內(nèi)容對比度(CR)。(5)對屏幕亮度調(diào)整范圍的選擇基于以下策略:對解碼出的幀,進(jìn)行亮度和對比度分析,根據(jù)直方圖分布獲取畫面亮度和對比度實(shí)時情況,在環(huán)境亮度B1與畫面內(nèi)容亮度和對比度加權(quán)值(WV簡稱,加權(quán)值)低的情況下,調(diào)高屏幕背光亮度,加權(quán)值高時,調(diào)暗屏幕背光亮度,以相對對比度作為分析參數(shù),得出決定亮度調(diào)整范圍的準(zhǔn)確值。加權(quán)值(WV)的確定由環(huán)境亮度B1、視頻內(nèi)容亮度CB和視頻內(nèi)容對比度CR確定,其量化關(guān)系由公式(5)確定(5)其中w1、w2和w3為權(quán)值,w1建議取值0.29,w2建議取值0.32,w3建議取值0.39。(6)對由節(jié)能優(yōu)化方案造成的流媒體播放過程中屏幕亮度變化進(jìn)行控制,避免可能產(chǎn)生頻繁明暗交替的情況影響用戶觀看體驗(yàn),在收到亮度調(diào)整請求時,不立刻將顯示屏亮度改變到指定值,在指定時間內(nèi)把當(dāng)前亮度值平滑調(diào)節(jié)到請求亮度值。屏幕亮度的調(diào)節(jié)控制,采用漸進(jìn)式調(diào)整方法,使亮度緩慢收斂到期望值。此外如圖3所示,下面簡單介紹本發(fā)明另一實(shí)施例中基于情境的移動流媒體節(jié)能優(yōu)化方法的所用到的移動流媒體節(jié)能優(yōu)化架構(gòu)以方便技術(shù)人員理解,該架構(gòu)包括流媒體服務(wù)器、光敏模塊、解碼模塊、語義分析模塊、上下文處理模塊、亮度調(diào)整模塊、亮度控制模塊和顯示屏。其中,實(shí)線表示數(shù)據(jù)流量,虛線表示信令流量。上下文處理模塊與亮度調(diào)整模塊間既有數(shù)據(jù)流量又有信令流量。以上所述僅為本發(fā)明的較佳實(shí)施例,凡依本發(fā)明申請專利范圍所做的均等變化與修飾,皆應(yīng)屬本發(fā)明的涵蓋范圍。