專利名稱：一種視頻感興趣區(qū)域雙流編碼傳輸方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種視頻編碼傳輸技術(shù)領(lǐng)域的方法及系統(tǒng)，具體是一種針對(duì)感興趣區(qū)域加強(qiáng)編碼再對(duì)碼流進(jìn)行雙流傳輸?shù)姆椒ā?br> 背景技術(shù)：
當(dāng)今社會(huì)政治、經(jīng)濟(jì)高速發(fā)展，視頻監(jiān)控作為一種有效防范措施以及事后調(diào)查手段，其被關(guān)注程度也不斷提高。用戶對(duì)視頻監(jiān)控系統(tǒng)需求不同于傳統(tǒng)娛樂視頻，主要有兩方面的需求實(shí)時(shí)性需求與高質(zhì)量要求(也稱事后調(diào)閱的需求)。H. 264是MPEG-4第十部分，是由ITU-T視頻編碼專家組(VCEG)和IS0/IEC動(dòng)態(tài)圖像專家組(MPEG)聯(lián)合組成的聯(lián)合視頻組(JVT，Joint Video Team)提出的高度壓縮數(shù)字視·頻編解碼器標(biāo)準(zhǔn)。H264有許多優(yōu)良的特點(diǎn)更高的編碼效率、高質(zhì)量的視頻畫、較高的網(wǎng)絡(luò)適應(yīng)能力、采用混合編碼結(jié)構(gòu)、H. 24可以應(yīng)用在不同場(chǎng)合、錯(cuò)誤恢復(fù)功能、較高的復(fù)雜度。另夕卜，H264標(biāo)準(zhǔn)還支持靈活宏塊次序(FMO)與可伸縮編碼(SVC)功能。目前，基于H. 264中可伸縮特性，能適用于不同終端的不同需求，但對(duì)于將H. 264應(yīng)用于視頻監(jiān)控領(lǐng)域并進(jìn)行自適應(yīng)編碼的研究較少。在論文《監(jiān)控視頻的多流編碼與傳輸研究》(上海交通大學(xué)碩士論文，2012年)中提出一種時(shí)間域上的合理分配帶寬的方案，有效提高了編碼效率，剔除時(shí)間域上的信息冗余，但論文中未根據(jù)視頻中用戶感興趣的空間域進(jìn)行加強(qiáng)編碼，因而存在著一定的空間信息冗余。論文《Scalable ROI Algorithm forH. 264/SVC-Based Video Streaming)) (IEEE International Conference on ConsumerElectronics (ICCE)，2011)中對(duì)視頻的中心區(qū)域進(jìn)行ROI加強(qiáng)編碼，但其感興趣區(qū)域劃分是基于人眼模型，并非針對(duì)監(jiān)控視頻序列提出，同時(shí)也未對(duì)時(shí)間域冗余信息進(jìn)行剔除。針對(duì)當(dāng)前監(jiān)控視頻產(chǎn)業(yè)的迅速發(fā)展所遇到的海量數(shù)據(jù)傳輸存儲(chǔ)的問題，根據(jù)用戶對(duì)監(jiān)控視頻需求不同于傳統(tǒng)娛樂視頻的特點(diǎn)，本文提出了應(yīng)用于視頻監(jiān)控系統(tǒng)的視頻雙層ROI區(qū)域時(shí)空聯(lián)合編碼傳輸方法，對(duì)異常事件時(shí)間段中感興趣區(qū)域進(jìn)行高質(zhì)量編碼，并合理分配碼流傳輸?shù)臅r(shí)域帶寬。同時(shí)考慮到視頻序列中用單一的整幅圖的PSNR值來評(píng)價(jià)視頻質(zhì)量不能反應(yīng)出ROI區(qū)域與非ROI區(qū)域的區(qū)別，因而提出一個(gè)效用函數(shù)作為客觀指標(biāo)，對(duì)監(jiān)控系統(tǒng)這一特定領(lǐng)域中的視頻進(jìn)行客觀評(píng)價(jià)，同時(shí)結(jié)合主觀指標(biāo)對(duì)視頻進(jìn)行綜合考量。

發(fā)明內(nèi)容
本發(fā)明的目的在于克服有技術(shù)的不足之處，提出了一種針對(duì)感興趣區(qū)域加強(qiáng)編碼再對(duì)碼流進(jìn)行雙流傳輸?shù)姆椒跋到y(tǒng)，使其能根據(jù)視頻中用戶感興趣區(qū)域信息，對(duì)用戶感興趣區(qū)域進(jìn)行加強(qiáng)編碼，剔除視頻中的時(shí)間冗余與空間冗余，實(shí)現(xiàn)帶寬的高效利用。本發(fā)明是通過以下技術(shù)方案實(shí)現(xiàn)的本發(fā)明提供一種感興趣區(qū)域雙流編碼傳輸方法，所述感興趣區(qū)域雙流編碼傳輸，是指感興趣區(qū)域采用更高的碼率進(jìn)行加強(qiáng)編碼，而非感興趣區(qū)域則采用一般的碼率進(jìn)行編碼，所產(chǎn)生的基本流與增強(qiáng)流通過時(shí)間域上的分配，使得其能在有限帶寬情況下完成傳輸；所述方法包括如下步驟步驟一，在獲取感興趣區(qū)域信息及異常信息的基礎(chǔ)上，通過效用函數(shù)得到視頻基本流與增強(qiáng)流的具體編碼參數(shù)，同時(shí)獲得最佳的帶寬分配策略；所述的效用函數(shù)，是指充分考慮到視頻序列中不同時(shí)段不同區(qū)域的信息所含的信息重要程度的不同，其中異常時(shí)段感興趣區(qū)域具有最高重要程度，在效用函數(shù)中也具有最高的權(quán)重，而非異常時(shí)段的信息重要程度較低，相應(yīng)分配的權(quán)重也較小。步驟二，在步驟一的基礎(chǔ)上，對(duì)異常時(shí)段中感興趣區(qū)域的視頻內(nèi)容進(jìn)行加強(qiáng)編碼；本方法主要是針對(duì)視頻監(jiān)控領(lǐng)域?qū)OI區(qū)域進(jìn)行編碼，視頻監(jiān)控領(lǐng)域中更多關(guān)注的是車牌、交通中斑馬線區(qū)域等，與人眼關(guān)注模型有所不同。本文因?yàn)橹攸c(diǎn)在于ROI區(qū)域編碼算法實(shí)現(xiàn)，不在于ROI區(qū)域的提取，因而ROI區(qū)域的獲取為已知條件。
采用ROI提取算法得到ROI的區(qū)域信息，采用FMO中第二種模式，即前景與背景模式，根據(jù)FMO特性與ROI區(qū)域信息，把圖像分成ROI片組和背景片組。由于不同片組的ROI區(qū)域是獨(dú)立編碼的，通過禁止片組間的預(yù)測(cè)可以實(shí)現(xiàn)生成的ROI區(qū)域碼流與非ROI區(qū)域碼流相互獨(dú)立。這樣編碼時(shí)根據(jù)事先得到的ROI區(qū)域信息作為FMO中第2種方式的前景信息。對(duì)基本層設(shè)置實(shí)時(shí)流碼率與增強(qiáng)層設(shè)置QP值，這樣在增強(qiáng)層就能得到兩部分碼流，即ROI區(qū)域的增強(qiáng)碼流與非ROI區(qū)域的增強(qiáng)碼流。通過刪除非ROI區(qū)域的增強(qiáng)碼流，就剩下基本層碼流與ROI區(qū)域增強(qiáng)碼流，兩部分的碼流解碼即可以得到ROI區(qū)域有更高圖像質(zhì)量的視頻序列。又由于ROI區(qū)域信息是隨時(shí)間變化的，即ROI區(qū)域是動(dòng)態(tài)的，故當(dāng)ROI區(qū)域信息發(fā)生變化時(shí)，需要重新修改設(shè)置MBA的參數(shù)，對(duì)新的時(shí)間里的視頻進(jìn)行編碼，編碼后去除增強(qiáng)層非ROI區(qū)域的碼流即可。最后得到的多個(gè)碼流解碼后拼接起來的視頻序列即實(shí)現(xiàn)了動(dòng)態(tài)ROI區(qū)域增強(qiáng)的效果。步驟三，根據(jù)步驟一所分配的帶寬策略，進(jìn)行雙流傳輸；所述的雙流傳輸，具體方法為在異常事件發(fā)生時(shí)，只傳輸基本層碼流；在異常事件發(fā)生結(jié)束后，降低基本層碼流的碼率，使多余帶寬用于傳輸異常事件中的增強(qiáng)層碼流，其基增強(qiáng)層碼流只包含感興趣區(qū)域的增強(qiáng)信息。當(dāng)事件檢測(cè)模塊判定異常事件的發(fā)生，并得到異常時(shí)間段里的異常區(qū)域信息。事件檢測(cè)模塊將異常事件及區(qū)域信息發(fā)給增強(qiáng)流編碼器。同時(shí)，會(huì)有相應(yīng)的算法根據(jù)ROI區(qū)域大小自適應(yīng)地得到最佳的碼率分配方案，并將方案中編碼的實(shí)時(shí)流碼率與QP值傳遞給實(shí)時(shí)編碼器與增強(qiáng)編碼器。增強(qiáng)編碼器會(huì)對(duì)異常事件異常區(qū)域進(jìn)行加強(qiáng)編碼，并將碼流存儲(chǔ)起來。當(dāng)異常事件結(jié)束，系統(tǒng)進(jìn)入無異常事件過程。此時(shí)根據(jù)剛剛方案中所得到的實(shí)時(shí)編碼碼率進(jìn)行編碼，將實(shí)時(shí)流視頻的編碼碼率降低，留出帶寬用于增強(qiáng)流的傳輸。當(dāng)高質(zhì)流視頻傳輸完成后，再將實(shí)時(shí)流編碼器的編碼碼率上調(diào)，所有可用網(wǎng)絡(luò)傳輸帶寬用于實(shí)時(shí)流視頻的傳輸。所述根據(jù)ROI區(qū)域大小自適應(yīng)地得到最佳的碼率分配方案，是指前端檢測(cè)的是一塊區(qū)域是否為用戶感興趣區(qū)域的概率，由此概率通過雙流ROI效用函數(shù)確定其是否為感興趣區(qū)域，并在該效用函數(shù)中自適應(yīng)地調(diào)整之后基本層與增強(qiáng)層的編碼參數(shù)、基本流與增強(qiáng)流的傳輸帶寬分配。本發(fā)明還提供一種實(shí)現(xiàn)上述感興趣區(qū)域雙流編碼傳輸方法的系統(tǒng)，該系統(tǒng)包括監(jiān)控視頻發(fā)送端，網(wǎng)絡(luò)信道和監(jiān)控視頻接收端。其中發(fā)送端包括事件及區(qū)域檢測(cè)模塊，實(shí)時(shí)流編碼器，增強(qiáng)流編碼器，實(shí)時(shí)傳輸模塊以及非實(shí)時(shí)傳輸模塊；實(shí)時(shí)流編碼器、增強(qiáng)流編碼器分別產(chǎn)生前面提到的實(shí)時(shí)流與增強(qiáng)流，實(shí)時(shí)傳輸模塊，非實(shí)時(shí)傳輸模塊分別對(duì)實(shí)時(shí)流與增強(qiáng)流進(jìn)行封裝傳輸。事件及區(qū)域檢測(cè)模塊用于檢測(cè)異常事件的時(shí)間與區(qū)域，并用所得信息控制增強(qiáng)流編碼與實(shí)時(shí)流編碼。接收端包括實(shí)時(shí)流解碼器，存儲(chǔ)模塊和顯示模塊；實(shí)時(shí)流解碼器與顯示模塊為用戶提供實(shí)時(shí)顯示的服務(wù)；存儲(chǔ)模塊會(huì)存實(shí)時(shí)流與增強(qiáng)流從而組成高質(zhì)流，與顯示設(shè)備一起為用戶提供事后調(diào)閱的服務(wù)。進(jìn)一步的，所述實(shí)時(shí)流編碼器根據(jù)檢測(cè)模塊信息，產(chǎn)生實(shí)時(shí)流用于實(shí)時(shí)瀏覽，對(duì)于圖像質(zhì)量要求不高，對(duì)實(shí)時(shí)性要求較高，需要對(duì)視頻實(shí)時(shí)編碼并立即傳輸?shù)胶蠖?。進(jìn)一步的，所述增強(qiáng)流編碼器根據(jù)檢測(cè)模塊信息，產(chǎn)生增強(qiáng)流發(fā)送端利用事件檢測(cè)模塊檢測(cè)出某一事件所發(fā)生的時(shí)間段與該時(shí)間段里事件所發(fā)生的區(qū)域(即感興趣區(qū)域)， 編碼端會(huì)對(duì)該時(shí)段特定區(qū)域進(jìn)行加強(qiáng)編碼。由于增強(qiáng)流主要是為了滿足事后調(diào)查取證的作用，因而對(duì)實(shí)時(shí)性要求不高，但對(duì)特定區(qū)域的圖像質(zhì)量要求較高。因此將增強(qiáng)流安排在異常事件發(fā)生后的一段時(shí)間內(nèi)傳輸即可。增強(qiáng)流中包含特定時(shí)段特定區(qū)域的碼流以及時(shí)段與區(qū)域信息。與現(xiàn)有技術(shù)相比，本發(fā)明具有如下有益效果本發(fā)明方法除了能剔除視頻序列中冗余的時(shí)間信息外，還能剔除視頻序列中冗余的空間信息，從而實(shí)現(xiàn)異常事件中感興趣區(qū)域的加強(qiáng)編碼，提高帶寬利用率。使用本方案，使得在一定帶寬下某些視頻中本來無法看清的用戶感興趣信息得能看清。


圖I感興趣區(qū)域雙流傳輸系統(tǒng)結(jié)構(gòu)圖；圖2未使用FMO時(shí)的圖像分割；圖3前景與背景的片組映射方式FMO ；圖4原始Tcross序列第192幀；圖5Tcross 雙層 ROI 第 192 中貞；圖6Tcross 雙層非 ROI 第 192 幀；圖"7Tcross單流第 192 幀。
具體實(shí)施例方式下面結(jié)合附圖對(duì)本發(fā)明的實(shí)施例作詳細(xì)說明本實(shí)施例在以本發(fā)明技術(shù)方案為前提下進(jìn)行實(shí)施，給出了詳細(xì)的實(shí)施方式和具體的操作過程，但本發(fā)明的保護(hù)范圍不限于下述的實(shí)施例。本實(shí)施例基于JSVM平臺(tái)，對(duì)異常時(shí)段中感興趣區(qū)域進(jìn)行加強(qiáng)編碼，再將得到的碼流分為基本層碼流與增強(qiáng)層碼流進(jìn)行雙流傳輸。在有限的帶寬下，在后端恢復(fù)的視頻中能更加清晰地看到異常時(shí)段中感興趣區(qū)域的內(nèi)容。本實(shí)施例涉及的感興趣區(qū)域雙流編碼傳輸方法，包括如下具體步驟步驟一，在獲取感興趣區(qū)域信息及異常信息的基礎(chǔ)上，基于信息確定度并通過效用函數(shù)得到視頻基本流與增強(qiáng)流的具體編碼參數(shù)，同時(shí)獲得最佳的帶寬分配策略；信息確定度自適應(yīng)的監(jiān)控視頻高效編碼研究，其主要思想是根據(jù)逆香農(nóng)信息的定義信息是確定性的增加；信息量的度量由負(fù)熵變?yōu)榇_定度。在監(jiān)控視頻中，用戶定義的高層語義(異常入侵等特定事件)發(fā)生的概率，即信息的確定度，成為衡量該段視頻信息重要程度的有效度量，直接反映了用戶對(duì)該信息的感興趣程度。將信息確定度引入視頻編碼，依據(jù)視頻中信息確定度大小，自適應(yīng)地進(jìn)行差異化編碼，達(dá)到有效壓縮信息冗余的目的?；谛畔⒋_定度，指導(dǎo)監(jiān)控視頻在時(shí)間、空間和質(zhì)量等維度上的可伸縮編碼，即信息確定度自適應(yīng)的可伸縮編碼。信息是確定性的增加；信息量的度量由負(fù)熵變?yōu)榇_定度。效用函數(shù)最早是經(jīng)濟(jì)學(xué)上的一個(gè)概念。決策分析中有兩個(gè)關(guān)鍵問題一個(gè)是對(duì)所研究現(xiàn)象的狀態(tài)的不確定性進(jìn)行量化；二是對(duì)各種可能出現(xiàn)的后果賦值。一般說來，狀態(tài)的不確定性用各種狀態(tài)出現(xiàn)的概率來描述，而研究出現(xiàn)后果的價(jià)值則要用到效用理論。將效用函數(shù)引入視頻研究，通過效用函數(shù)對(duì)視頻進(jìn)行評(píng)價(jià)。最后由效用函數(shù)最優(yōu)解與帶寬的限制條件，求解得到具體編碼參數(shù)與帶寬分配比 例。本實(shí)施例中采用的系統(tǒng)結(jié)構(gòu)如附圖I所示，包括監(jiān)控視頻發(fā)送端，網(wǎng)絡(luò)信道和監(jiān)控視頻接收端。對(duì)監(jiān)控視頻進(jìn)行雙流封裝之后，需要封裝后碼流傳輸過程中網(wǎng)絡(luò)帶寬資源進(jìn)行分配。具體分配如下當(dāng)事件檢測(cè)模塊判定異常事件的發(fā)生，并得到異常時(shí)間段里的異常區(qū)域信息。事件檢測(cè)模塊將異常事件及區(qū)域信息發(fā)給增強(qiáng)流編碼器。同時(shí)，會(huì)有相應(yīng)的算法根據(jù)ROI區(qū)域大小自適應(yīng)地得到最佳的碼率分配方案，并將方案中編碼的實(shí)時(shí)流碼率與QP值傳遞給實(shí)時(shí)編碼器與增強(qiáng)編碼器。增強(qiáng)編碼器會(huì)對(duì)異常事件異常區(qū)域進(jìn)行加強(qiáng)編碼，并將碼流存儲(chǔ)起來。當(dāng)異常事件結(jié)束，系統(tǒng)進(jìn)入無異常事件過程。此時(shí)根據(jù)剛剛方案中所得到的實(shí)時(shí)編碼碼率進(jìn)行編碼，將實(shí)時(shí)流視頻的編碼碼率降低，留出帶寬用于增強(qiáng)流的傳輸。當(dāng)高質(zhì)流視頻傳輸完成后，再將實(shí)時(shí)流編碼器的編碼碼率上調(diào)，所有可用網(wǎng)絡(luò)傳輸帶寬用于實(shí)時(shí)流視頻的傳輸。《監(jiān)控視頻的多流編碼與傳輸研究》(上海交通大學(xué)碩士論文，2012年)的推導(dǎo)過程，本實(shí)施例給出與該文獻(xiàn)所不同的碼流含義下的數(shù)學(xué)表達(dá)式。在異常事件過程中實(shí)時(shí)流和高質(zhì)流的碼率和傳輸占用帶寬參數(shù)可由下式概括Ir = B =BI r ''
I "λ = O上式中艮為實(shí)時(shí)流視頻編碼碼率，Br為實(shí)時(shí)流占用的傳輸帶寬，B為視頻監(jiān)控系統(tǒng)可用的總帶寬。Bh為高質(zhì)流的占用的傳輸帶寬。當(dāng)異常事件結(jié)束后，實(shí)時(shí)流編碼的碼率降低，實(shí)時(shí)流占用的傳輸帶寬減少，多出的帶寬用于存的高質(zhì)流的傳輸?？捎孟率奖硎?。Br+Bh=B另外定義變量K=Td/Ta，即為非異常事件過程與異常事件過程的時(shí)間比。則各時(shí)間段的碼率及相應(yīng)帶寬需滿足下式。其中ΒηΑΕ表示實(shí)時(shí)流在異常事件后的帶寬，Rh,error表示異常事件時(shí)1 層ROI區(qū)域廣生的碼率，Rr,error表不異常事件時(shí)實(shí)時(shí)流碼率，Br error表不異常事件時(shí)實(shí)時(shí)流帶寬。
權(quán)利要求
1.一種感興趣區(qū)域雙流編碼傳輸方法，其特征在于，所述感興趣區(qū)域雙流編碼傳輸，是指感興趣區(qū)域采用更高的碼率進(jìn)行加強(qiáng)編碼，而非感興趣區(qū)域則采用一般的碼率進(jìn)行編碼，所產(chǎn)生的基本流與增強(qiáng)流通過時(shí)間域上的分配，使得其能在有限帶寬情況下完成傳輸；所述方法包括如下步驟 步驟一，在獲取感興趣區(qū)域信息及異常信息的基礎(chǔ)上，通過效用函數(shù)得到視頻基本流與增強(qiáng)流的具體編碼參數(shù)，同時(shí)獲得最佳的帶寬分配策略； 步驟二，在步驟一的基礎(chǔ)上，對(duì)異常時(shí)段中感興趣區(qū)域的視頻內(nèi)容進(jìn)行加強(qiáng)編碼； 步驟三，根據(jù)步驟一所分配的帶寬策略，進(jìn)行雙流傳輸。
2.根據(jù)權(quán)利要求I所述的感興趣區(qū)域雙流編碼傳輸方法，其特征是，所述的效用函數(shù)，是指充分考慮到視頻序列中不同時(shí)段不同區(qū)域的信息所含的信息重要程度的不同，其中異常時(shí)段感興趣區(qū)域具有最高重要程度，在效用函數(shù)中也具有最高的權(quán)重，而非異常時(shí)段的信息重要程度較低，相應(yīng)分配的權(quán)重也較小。
3.根據(jù)權(quán)利要求I所述的感興趣區(qū)域雙流編碼傳輸方法，其特征是，所述的雙流傳輸，具體方法為在異常事件發(fā)生時(shí)，只傳輸基本層碼流；在異常事件發(fā)生結(jié)束后，降低基本層碼流的碼率，使多余帶寬用于傳輸異常事件中的增強(qiáng)層碼流，其基增強(qiáng)層碼流只包含感興趣區(qū)域的增強(qiáng)信息；當(dāng)事件檢測(cè)模塊判定異常事件的發(fā)生，并得到異常時(shí)間段里的異常區(qū)域信息，事件檢測(cè)模塊將異常事件及區(qū)域信息發(fā)給增強(qiáng)流編碼器，同時(shí)，根據(jù)ROI區(qū)域大小自適應(yīng)地得到最佳的碼率分配方案，并將方案中編碼的實(shí)時(shí)流碼率與QP值傳遞給實(shí)時(shí)編碼器與增強(qiáng)編碼器，增強(qiáng)編碼器會(huì)對(duì)異常事件異常區(qū)域進(jìn)行加強(qiáng)編碼，并將碼流存儲(chǔ)起來；當(dāng)異常事件結(jié)束，系統(tǒng)進(jìn)入無異常事件過程，此時(shí)根據(jù)剛剛方案中所得到的實(shí)時(shí)編碼碼率進(jìn)行編碼，將實(shí)時(shí)流視頻的編碼碼率降低，留出帶寬用于增強(qiáng)流的傳輸；當(dāng)高質(zhì)流視頻傳輸完成后，再將實(shí)時(shí)流編碼器的編碼碼率上調(diào)，所有可用網(wǎng)絡(luò)傳輸帶寬用于實(shí)時(shí)流視頻的傳輸。
4.根據(jù)權(quán)利要求3所述的感興趣區(qū)域雙流編碼傳輸方法，其特征是，所述根據(jù)ROI區(qū)域大小自適應(yīng)地得到最佳的碼率分配方案，是指前端檢測(cè)的是一塊區(qū)域是否為用戶感興趣區(qū)域的概率，由此概率通過雙流ROI效用函數(shù)確定其是否為感興趣區(qū)域，并在該效用函數(shù)中自適應(yīng)地調(diào)整之后基本層與增強(qiáng)層的編碼參數(shù)、基本流與增強(qiáng)流的傳輸帶寬分配。
5.根據(jù)權(quán)利要求4所述的感興趣區(qū)域雙流編碼傳輸方法，其特征是，所述雙流ROI效用函數(shù)，具體為 雙流ROI傳輸方法最終的單幀總效用函數(shù)表示為下式U-=W 氺 U .+w U 氺U U · 氺S · .+w U 氺U U · 氺S · · 以I ”q，r ^q, r, I ”q，h，roi 以q，h，roi，i °roi, I ”q，h，nroi ^q, h, nroi, I wnroi, I 其中Wy表示實(shí)際監(jiān)控?zé)o異常事件中實(shí)時(shí)碼流產(chǎn)生效用的權(quán)重，表示了對(duì)無異常事件發(fā)生時(shí)對(duì)視頻的關(guān)注程度，wq,h,roi) wq,h,nroi分別表示實(shí)際監(jiān)控異常事件中的高質(zhì)碼流ROI區(qū)域與非ROI區(qū)域產(chǎn)生效用的權(quán)重，代表對(duì)實(shí)際監(jiān)控異常事件中對(duì)感興趣區(qū)域與非感興趣區(qū)域關(guān)注程度的不同；各項(xiàng)u值代表以一定編碼參數(shù)編碼得到的畫面能帶給用戶的相應(yīng)的全圖效用值，Uv對(duì)應(yīng)無異常事件編碼部分，Uuw對(duì)應(yīng)異常事件感興趣區(qū)域編碼部分，Ut^nroi對(duì)應(yīng)異常事件非感興趣區(qū)域編碼部分； Smm和Snroiii分別表示第i幀roi區(qū)域和非roi區(qū)域占總面積大小的百分比，反應(yīng)在實(shí)際監(jiān)控系統(tǒng)中就是視頻第i幀感興趣區(qū)域在視頻整體中所占的空間比例；而由事件檢測(cè)模塊判定一塊區(qū)域是否是ROI時(shí)需根據(jù)該區(qū)域的確為ROI區(qū)域的信息確定度來決定表示第i巾貞roi區(qū)域面積,Squrewhole表示第i巾貞視頻總面積；C為判定是否為ROI區(qū)域的信息確定度的域值，I即區(qū)域的信息確定度；
6.根據(jù)權(quán)利要求1-5任一項(xiàng)所述的感興趣區(qū)域雙流編碼傳輸方法，其特征是，所述對(duì)異常時(shí)段中感興趣區(qū)域的視頻內(nèi)容進(jìn)行加強(qiáng)編碼，具體為獲取ROI的區(qū)域信息，采用FMO中第二種模式，即前景與背景模式，根據(jù)FMO特性與ROI區(qū)域信息，把圖像分成ROI片組和背景片組；不同片組的ROI區(qū)域是獨(dú)立編碼的，通過禁止片組間的預(yù)測(cè)可以實(shí)現(xiàn)生成的ROI區(qū)域碼流與非ROI區(qū)域碼流相互獨(dú)立，這樣編碼時(shí)根據(jù)事先得到的ROI區(qū)域信息作為FMO中第二種模式的前景信息；對(duì)基本層設(shè)置實(shí)時(shí)流碼率與增強(qiáng)層設(shè)置QP值，在增強(qiáng)層就能得到兩部分碼流，即ROI區(qū)域的增強(qiáng)碼流與非ROI區(qū)域的增強(qiáng)碼流，通過刪除非ROI區(qū)域的增強(qiáng)碼流，就剩下基本層碼流與ROI區(qū)域增強(qiáng)碼流，兩部分的碼流解碼即得到ROI區(qū)域有更高圖像質(zhì)量的視頻序列。
7.根據(jù)權(quán)利要求6所述的感興趣區(qū)域雙流編碼傳輸方法，其特征是，所述ROI區(qū)域信息是隨時(shí)間變化的，即ROI區(qū)域是動(dòng)態(tài)的，當(dāng)ROI區(qū)域信息發(fā)生變化時(shí)，需要重新修改設(shè)置MBA的參數(shù)，對(duì)新的時(shí)間里的視頻進(jìn)行編碼，編碼后去除增強(qiáng)層非ROI區(qū)域的碼流，最后得到的多個(gè)碼流解碼后拼接起來的視頻序列即實(shí)現(xiàn)了動(dòng)態(tài)ROI區(qū)域增強(qiáng)的效果。
8.一種用于權(quán)利要求1-7所述方法的感興趣區(qū)域雙流編碼傳輸系統(tǒng)，其特征在于，包括監(jiān)控視頻發(fā)送端，網(wǎng)絡(luò)信道和監(jiān)控視頻接收端，其中 監(jiān)控視頻發(fā)送端包括事件及區(qū)域檢測(cè)模塊，實(shí)時(shí)流編碼器，增強(qiáng)流編碼器，實(shí)時(shí)傳輸模塊以及非實(shí)時(shí)傳輸模塊；實(shí)時(shí)流編碼器、增強(qiáng)流編碼器分別產(chǎn)生前面提到的實(shí)時(shí)流與增強(qiáng)流，實(shí)時(shí)傳輸模塊和非實(shí)時(shí)傳輸模塊分別對(duì)實(shí)時(shí)流與增強(qiáng)流進(jìn)行封裝傳輸；事件及區(qū)域檢測(cè)模塊用于檢測(cè)異常事件的時(shí)間與區(qū)域，并用所得信息控制增強(qiáng)流編碼與實(shí)時(shí)流編碼；網(wǎng)絡(luò)信道和監(jiān)控視頻接收端包括實(shí)時(shí)流解碼器，存儲(chǔ)模塊和顯示模塊；實(shí)時(shí)流解碼器與顯示模塊為用戶提供實(shí)時(shí)顯示的服務(wù)；存儲(chǔ)模塊會(huì)存實(shí)時(shí)流與增強(qiáng)流從而組成高質(zhì)流，與顯示設(shè)備一起為用戶提供事后調(diào)閱的服務(wù)。
9.根據(jù)權(quán)利要求8所述的感興趣區(qū)域雙流編碼傳輸系統(tǒng)，其特征在于，所述實(shí)時(shí)流編碼器根據(jù)檢測(cè)模塊信息，產(chǎn)生實(shí)時(shí)流，用于實(shí)時(shí)瀏覽，對(duì)于圖像質(zhì)量要求不高，對(duì)實(shí)時(shí)性要求較高，需要對(duì)視頻實(shí)時(shí)編碼并立即傳輸?shù)胶蠖恕?br> 10.根據(jù)權(quán)利要求8或9所述的感興趣區(qū)域雙流編碼傳輸系統(tǒng)，其特征在于，所述增強(qiáng)流編碼器根據(jù)檢測(cè)模塊信息，產(chǎn)生增強(qiáng)流，發(fā)送端利用事件檢測(cè)模塊檢測(cè)出某一事件所發(fā)生的時(shí)間段與該時(shí)間段里事件所發(fā)生的區(qū)域即感興趣區(qū)域，編碼端會(huì)對(duì)該時(shí)段特定區(qū)域進(jìn)行加強(qiáng)編碼，將增強(qiáng)流安排在異常事件發(fā)生后的一段時(shí)間內(nèi)傳輸，增強(qiáng)流中包含特定時(shí)段特定區(qū)域的碼流以及時(shí)段與區(qū)域信息。
全文摘要
本發(fā)明公開一種視頻感興趣區(qū)域雙流編碼傳輸方法及系統(tǒng)，該方法對(duì)感興趣區(qū)域采用更高的碼率進(jìn)行加強(qiáng)編碼，而非感興趣區(qū)域則采用一般的碼率進(jìn)行編碼，所產(chǎn)生的基本流與增強(qiáng)流通過時(shí)間域上的分配，使得其能在有限帶寬情況下完成傳輸。本發(fā)明根據(jù)特定語義事件發(fā)生的概率，決定信息確定度，進(jìn)行面向用戶的感興趣編碼，以有效地去除監(jiān)控視頻中用戶不感興趣的信息冗余，將大大提高監(jiān)控視頻的整體編碼效率。本方法通過研究監(jiān)控視頻信息確定度，建立確定度自適應(yīng)的可伸縮編碼模型與信道空域-時(shí)域資源最優(yōu)化分配的雙流封裝方法，實(shí)現(xiàn)監(jiān)控視頻的感興趣信息自適應(yīng)編碼，獲得監(jiān)控視頻編碼效率的提升。
文檔編號(hào)H04N21/238GK102905200SQ20121027900
公開日2013年1月30日 申請(qǐng)日期2012年8月7日 優(yōu)先權(quán)日2012年8月7日
發(fā)明者張重陽, 盧賢龍 申請(qǐng)人:上海交通大學(xué)