基于感興趣區(qū)域的時(shí)域可分級(jí)編碼裝置及其方法
【專利摘要】本發(fā)明公開(kāi)了基于感興趣區(qū)域的時(shí)域可分級(jí)編碼裝置及其方法，原始圖像作為基本層圖像，并對(duì)原始圖像進(jìn)行感興趣區(qū)域劃分處理得到只包含ROI部分的增強(qiáng)層圖像，并對(duì)兩者進(jìn)行獨(dú)立編碼和譯碼，在信道條件受限時(shí)，增強(qiáng)層編碼數(shù)據(jù)可丟棄并只傳輸基本層的編碼數(shù)據(jù)，此時(shí)終端接收的編碼數(shù)據(jù)有較低的時(shí)間分辨率，當(dāng)信道允許傳送增強(qiáng)層編碼數(shù)據(jù)時(shí)可傳送增強(qiáng)層圖像，終端解碼輸出時(shí)，將增強(qiáng)層圖像按對(duì)應(yīng)的ROI位置貼到前一幀輸出的基本幀圖像上。此時(shí)增強(qiáng)層圖像中ROI有較高的時(shí)間分辨率。本發(fā)明結(jié)合ROI技術(shù)和時(shí)域可分級(jí)編碼技術(shù)，既能保證ROI區(qū)域質(zhì)量，又能保證視頻流暢。
【專利說(shuō)明】
基于感興趣區(qū)域的時(shí)域可分級(jí)編碼裝置及其方法
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，具體涉及基于感興趣區(qū)域的時(shí)域可分級(jí)編碼裝置及其方法。
【背景技術(shù)】
[0002]在視頻監(jiān)控場(chǎng)景中，不同的需求導(dǎo)致對(duì)不同區(qū)域的關(guān)注度是不一樣的，對(duì)其中比較感興趣的區(qū)域(ROI ,reg1n of interest)需要較高的圖像質(zhì)量。因此在視頻編碼中會(huì)采用更高的質(zhì)量因子來(lái)對(duì)ROI進(jìn)行高質(zhì)量的編碼。例如，交通視頻監(jiān)控對(duì)于車牌清晰度有很高要求，所以含車牌的區(qū)域質(zhì)量較高，其他部分質(zhì)量差一些。為保證ROI的視頻質(zhì)量和非ROI的視頻質(zhì)量有差異，一般采用不同的編碼質(zhì)量因子對(duì)ROI和非ROI進(jìn)行量化編碼。但是其主觀效果一般，且對(duì)碼字的節(jié)約效果有限，實(shí)際中信道的狀態(tài)會(huì)受多種因素影響導(dǎo)致視頻流無(wú)法全部傳輸?shù)浇K端客戶，此時(shí)ROI區(qū)域即便采用更高的質(zhì)量進(jìn)行編碼也無(wú)法保障客戶端視頻接收的流暢。
[0003]為了解決信道的狀態(tài)會(huì)受多種因素影響導(dǎo)致視頻流無(wú)法全部傳輸?shù)浇K端客戶的問(wèn)題，可伸縮編碼技術(shù)應(yīng)用而生。圖3給出了時(shí)域可伸縮編碼示意圖，圖中紅色為T(mén)o層，綠色為!^層，藍(lán)色為!^層。時(shí)域可伸縮編碼包括基本層和增強(qiáng)層，基本層一般不能參考增強(qiáng)層。在帶寬受限時(shí)，可只傳輸基本層圖像(低幀率，圖3中To層)；在帶寬狀態(tài)較好時(shí)，可傳輸基本層和增強(qiáng)層圖像(高幀率)。然后，時(shí)域可伸縮雖解決傳輸不穩(wěn)定的問(wèn)題，但沒(méi)有考慮ROI編碼。

【發(fā)明內(nèi)容】

[0004]針對(duì)現(xiàn)有技術(shù)的不足，本發(fā)明旨在提供一種基于感興趣區(qū)域的時(shí)域可分級(jí)編碼裝置及方法，通過(guò)結(jié)合ROI技術(shù)和時(shí)域可分級(jí)編碼技術(shù)，既能保證ROI區(qū)域質(zhì)量，又能保證視頻流暢。
[0005]為了實(shí)現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案:
[0006]基于感興趣區(qū)域的時(shí)域可分級(jí)編碼裝置，包括發(fā)送端和接收端；
[0007]所述發(fā)送端包括圖像輸入設(shè)備、圖像感興趣區(qū)域劃分處理器、基本層圖像編碼器、增強(qiáng)層圖像編碼器和發(fā)送模塊;其中，所述圖像輸入設(shè)備和基本層圖像編碼器電性連接，所述圖像輸入設(shè)備與圖像感興趣區(qū)域劃分處理器、增強(qiáng)層圖像編碼器依次電性連接，所述基本層圖像編碼器和增強(qiáng)層圖像編碼器均電性連接于發(fā)送模塊；
[0008]所述接收端包括有基本層圖像譯碼器、增強(qiáng)層圖像譯碼器、圖像復(fù)合處理器、圖像輸出設(shè)備和接收模塊，所述接收模塊、基本層圖像譯碼器和圖像復(fù)合處理器依次電性連接，而所述接收模塊、增強(qiáng)層圖像譯碼器和圖像復(fù)合處理器依次電性連接，所述圖像復(fù)合處理器電性連接于圖像輸出設(shè)備;所述基本層圖像譯碼器還直接電性連接于所述圖像輸出設(shè)備。
[0009]利用上述基于感興趣區(qū)域的時(shí)域可分級(jí)編碼裝置的基于感興趣區(qū)域的時(shí)域可分級(jí)編碼方法，包括如下步驟:
[0010]SI在發(fā)送端處，原始圖像通過(guò)圖像輸入設(shè)備輸入；
[0011]S2所述原始圖像即為基本層的圖像;利用圖像感興趣區(qū)域劃分處理器對(duì)所述原始圖像進(jìn)行感興趣區(qū)域劃分，劃分為ROI部分和非ROI部分，所述ROI部分的圖像作為增強(qiáng)層的圖像；
[0012]S3利用基本層圖像編碼器對(duì)所述基本層的圖像進(jìn)行獨(dú)立編碼，另外利用增強(qiáng)層圖像編碼器對(duì)所述增強(qiáng)層的圖像進(jìn)行獨(dú)立編碼；
[0013]S4當(dāng)信道條件受限時(shí)，發(fā)送端只通過(guò)發(fā)送模塊發(fā)送基本層圖像編碼器輸出的編碼數(shù)據(jù)，當(dāng)信道條件允許時(shí)則發(fā)送基本層圖像編碼器輸出的編碼數(shù)據(jù)和增強(qiáng)層圖像編碼器輸出的編碼數(shù)據(jù)；
[0014]S5在接收端處，如果利用接收模塊只接收到基本層圖像編碼器輸出的編碼數(shù)據(jù)，則采用基本層圖像譯碼器對(duì)該編碼數(shù)據(jù)進(jìn)行譯碼得到基本層的譯碼圖像，當(dāng)同時(shí)接收到基本層圖像編碼器和增強(qiáng)層圖像編碼器輸出的編碼數(shù)據(jù)，則同時(shí)利用基本層圖像譯碼器和增強(qiáng)層圖像譯碼器分別對(duì)基本層圖像編碼器和增強(qiáng)層圖像編碼器輸出的編碼數(shù)據(jù)進(jìn)行譯碼得到基本層的譯碼圖像和增強(qiáng)層的譯碼圖像；
[0015]S6當(dāng)步驟S5中只得到基本層的譯碼圖像時(shí)，則直接向圖像輸出設(shè)備輸出所述基本層的譯碼圖像；當(dāng)步驟S5中得到基本層的譯碼圖像和增強(qiáng)層的譯碼圖像，利用圖像復(fù)合處理器將所述增強(qiáng)層的譯碼圖像替換所述基本層的譯碼圖像中與之位置對(duì)應(yīng)的部分，復(fù)合得到最終的復(fù)合譯碼圖像，并向圖像輸出設(shè)備進(jìn)行輸出。
[0016]需要說(shuō)明的是，步驟S2中，增強(qiáng)層中只包含原始圖像的ROI部分的圖像，只包含一層增強(qiáng)層。
[0017]需要說(shuō)明的是，編碼基本層的圖像時(shí)只能參考基本層的譯碼圖像，編碼增強(qiáng)層的圖像時(shí)參考基本層的譯碼圖像或參考增強(qiáng)層的譯碼圖像。
[0018]本發(fā)明的有益效果在于:
[0019]1、本發(fā)明結(jié)合ROI技術(shù)和時(shí)域可分級(jí)編碼技術(shù)，既能保證ROI區(qū)域質(zhì)量，又能保證視頻流暢。
[0020]2、在信道條件受限時(shí)，增強(qiáng)層的編碼數(shù)據(jù)可丟棄并只傳輸基本層的編碼數(shù)據(jù)，此時(shí)終端接收的編碼數(shù)據(jù)有較低的時(shí)間分辨率，當(dāng)信道允許傳送增強(qiáng)層編碼數(shù)據(jù)時(shí)可傳送增強(qiáng)層圖像，接收端解碼輸出時(shí)，將增強(qiáng)層圖像按對(duì)應(yīng)的ROI位置貼到前一幀輸出的基本層的圖像上。此時(shí)增強(qiáng)層圖像中ROI有較高的時(shí)間分辨率。
【附圖說(shuō)明】
[0021 ]圖1為本發(fā)明的裝置硬件連接示意圖；
[0022]圖2為本發(fā)明的方法流程圖；
[0023]圖3為時(shí)域可伸縮編碼的原理示意圖；
[0024]圖4為本發(fā)明實(shí)施一中輸入的原始圖像的示意圖；
[0025]圖5為本發(fā)明實(shí)施例一的基本層和增強(qiáng)層劃分示意圖。
【具體實(shí)施方式】
[0026]以下將結(jié)合附圖對(duì)本發(fā)明作進(jìn)一步的描述，需要說(shuō)明的是，本實(shí)施例以本技術(shù)方案為前提，給出了詳細(xì)的實(shí)施方式和具體的操作過(guò)程，但本發(fā)明的保護(hù)范圍并不限于本實(shí)施例。
[0027]如圖1所示，基于感興趣區(qū)域的時(shí)域可分級(jí)編碼裝置，包括發(fā)送端和接收端；
[0028]所述發(fā)送端包括圖像輸入設(shè)備、圖像感興趣區(qū)域劃分處理器、基本層圖像編碼器、增強(qiáng)層圖像編碼器和發(fā)送模塊;其中，所述圖像輸入設(shè)備和基本層圖像編碼器電性連接，所述圖像輸入設(shè)備與圖像感興趣區(qū)域劃分處理器、增強(qiáng)層圖像編碼器依次電性連接，所述基本層圖像編碼器和增強(qiáng)層圖像編碼器均電性連接于發(fā)送模塊；
[0029]所述接收端包括有基本層圖像譯碼器、增強(qiáng)層圖像譯碼器、圖像復(fù)合處理器、圖像輸出設(shè)備和接收模塊，所述接收模塊、基本層圖像譯碼器和圖像復(fù)合處理器依次電性連接，而所述接收模塊、增強(qiáng)層圖像譯碼器和圖像復(fù)合處理器依次電性連接，所述圖像復(fù)合處理器電性連接于圖像輸出設(shè)備;所述基本層圖像譯碼器還直接電性連接于所述圖像輸出設(shè)備。
[0030]如圖2所示，利用上述基于感興趣區(qū)域的時(shí)域可分級(jí)編碼裝置的基于感興趣區(qū)域的時(shí)域可分級(jí)編碼方法，包括如下步驟:
[0031]SI在發(fā)送端處，原始圖像通過(guò)圖像輸入設(shè)備輸入;當(dāng)輸入的是圖像序列時(shí)，則原始圖像就是圖像序列中的每一幀圖像。
[0032]S2所述原始圖像即為基本層的圖像;利用圖像感興趣區(qū)域劃分處理器對(duì)所述原始圖像進(jìn)行感興趣區(qū)域劃分，劃分為ROI部分和非ROI部分，所述ROI部分的圖像作為增強(qiáng)層的圖像；
[0033]S3利用基本層圖像編碼器對(duì)所述基本層的圖像進(jìn)行獨(dú)立編碼，另外利用增強(qiáng)層圖像編碼器對(duì)所述增強(qiáng)層的圖像進(jìn)行獨(dú)立編碼；
[0034]S4當(dāng)信道條件受限時(shí)，發(fā)送端只通過(guò)發(fā)送模塊發(fā)送基本層圖像編碼器輸出的編碼數(shù)據(jù)，當(dāng)信道條件允許時(shí)則發(fā)送基本層圖像編碼器輸出的編碼數(shù)據(jù)和增強(qiáng)層圖像編碼器輸出的編碼數(shù)據(jù)；
[0035]S5在接收端處，如果利用接收模塊只接收到基本層圖像編碼器輸出的編碼數(shù)據(jù)，則采用基本層圖像譯碼器對(duì)該編碼數(shù)據(jù)進(jìn)行譯碼得到基本層的譯碼圖像，當(dāng)同時(shí)接收到基本層圖像編碼器和增強(qiáng)層圖像編碼器輸出的編碼數(shù)據(jù)，則同時(shí)利用基本層圖像譯碼器和增強(qiáng)層圖像譯碼器分別對(duì)基本層圖像編碼器和增強(qiáng)層圖像編碼器輸出的編碼數(shù)據(jù)進(jìn)行譯碼得到基本層的譯碼圖像和增強(qiáng)層的譯碼圖像；
[0036]S6當(dāng)步驟S5中只得到基本層的譯碼圖像時(shí)，則直接向圖像輸出設(shè)備輸出所述基本層的譯碼圖像；當(dāng)步驟S5中得到基本層的譯碼圖像和增強(qiáng)層的譯碼圖像，利用圖像復(fù)合處理器將所述增強(qiáng)層的譯碼圖像替換所述基本層的譯碼圖像中與之位置對(duì)應(yīng)的部分，復(fù)合得到最終的復(fù)合譯碼圖像，并向圖像輸出設(shè)備進(jìn)行輸出。
[0037]需要說(shuō)明的是，步驟S2中，增強(qiáng)層中只包含原始圖像的ROI部分的圖像，只包含一層增強(qiáng)層。
[0038]需要說(shuō)明的是，編碼基本層的圖像時(shí)只能參考基本層的譯碼圖像，編碼增強(qiáng)層的圖像時(shí)參考基本層的譯碼圖像或參考增強(qiáng)層的譯碼圖像。
[0039]實(shí)施例一
[0040]根據(jù)ROI和傳輸要求確定低幀率和高幀率的倍數(shù)關(guān)系，如1:2，即基礎(chǔ)層的圖像和增強(qiáng)層的圖像隔幀交替出現(xiàn)。
[0041 ]發(fā)送端的編碼和發(fā)送過(guò)程
[0042]輸入原始圖像如圖4所示?；緦訛檩斎雸D像，其分辨率為1920X 1080，對(duì)基本層圖像進(jìn)行編碼，不區(qū)分ROI和非ROI區(qū)域，基本層圖像為T(mén)o層，如圖5所示；
[0043]如圖5所示，增強(qiáng)層為只包含原始圖像的ROI部分的圖像，只包含一層增強(qiáng)層，增強(qiáng)層為!^層，此時(shí)增強(qiáng)幀的大小為ROI大小。編碼時(shí)可參考基礎(chǔ)幀也可參考增強(qiáng)幀?；A(chǔ)層和增強(qiáng)層的編碼數(shù)據(jù)具有獨(dú)立的編碼參數(shù)如圖像大小、運(yùn)動(dòng)信息、變換參數(shù)、量化參數(shù)等。
[0044]根據(jù)傳輸信道實(shí)際狀態(tài)，增強(qiáng)層編碼數(shù)據(jù)可選擇傳輸(信道條件受限時(shí)，如信道帶寬小于或等于閾值)，也可以選擇不傳輸(信道條件允許時(shí)，如信道帶寬大于閾值)。
[0045]接收端譯碼過(guò)程:
[0046]輸入為編碼后的碼流，首先對(duì)基本層進(jìn)行譯碼，得到的譯碼圖像分辨率為1920X1080，低幀率圖像，且基本層圖像不區(qū)分ROI和非ROI區(qū)域。當(dāng)只接收到基本層圖像編碼后的編碼數(shù)據(jù)，則在譯碼后直接輸出譯碼圖像。
[0047]當(dāng)接收到的碼流中還包括增強(qiáng)層圖像編碼后的編碼數(shù)據(jù)，則進(jìn)行譯碼，譯碼得到的為增強(qiáng)層譯碼圖像，即ROI部分的譯碼圖像；
[0048]將譯碼得到的增強(qiáng)層ROI部分替換基本層圖像中對(duì)應(yīng)位置的數(shù)據(jù)，得到復(fù)合后的譯碼圖像;輸出譯碼圖像序列。
[0049]對(duì)于本領(lǐng)域的技術(shù)人員來(lái)說(shuō)，可以根據(jù)以上的技術(shù)方案和構(gòu)思，作出各種相應(yīng)的改變和變形，而所有的這些改變和變形都應(yīng)該包括在本發(fā)明權(quán)利要求的保護(hù)范圍之內(nèi)。
【主權(quán)項(xiàng)】
1.基于感興趣區(qū)域的時(shí)域可分級(jí)編碼裝置，其特征在于，包括發(fā)送端和接收端； 所述發(fā)送端包括圖像輸入設(shè)備、圖像感興趣區(qū)域劃分處理器、基本層圖像編碼器、增強(qiáng)層圖像編碼器和發(fā)送模塊;其中，所述圖像輸入設(shè)備和基本層圖像編碼器電性連接，所述圖像輸入設(shè)備與圖像感興趣區(qū)域劃分處理器、增強(qiáng)層圖像編碼器依次電性連接，所述基本層圖像編碼器和增強(qiáng)層圖像編碼器均電性連接于發(fā)送模塊； 所述接收端包括有基本層圖像譯碼器、增強(qiáng)層圖像譯碼器、圖像復(fù)合處理器、圖像輸出設(shè)備和接收模塊，所述接收模塊、基本層圖像譯碼器和圖像復(fù)合處理器依次電性連接，而所述接收模塊、增強(qiáng)層圖像譯碼器和圖像復(fù)合處理器依次電性連接，所述圖像復(fù)合處理器電性連接于圖像輸出設(shè)備;所述基本層圖像譯碼器還直接電性連接于所述圖像輸出設(shè)備。2.—種利用權(quán)利要求1所述基于感興趣區(qū)域的時(shí)域可分級(jí)編碼裝置的基于感興趣區(qū)域的時(shí)域可分級(jí)編碼方法，其特征在于，包括如下步驟: SI在發(fā)送端處，原始圖像通過(guò)圖像輸入設(shè)備輸入； S2所述原始圖像即為基本層的圖像;利用圖像感興趣區(qū)域劃分處理器對(duì)所述原始圖像進(jìn)行感興趣區(qū)域劃分，劃分為ROI部分和非ROI部分，所述ROI部分的圖像作為增強(qiáng)層的圖像； S3利用基本層圖像編碼器對(duì)所述基本層的圖像進(jìn)行獨(dú)立編碼，另外利用增強(qiáng)層圖像編碼器對(duì)所述增強(qiáng)層的圖像進(jìn)行獨(dú)立編碼； S4當(dāng)信道條件受限時(shí)，發(fā)送端只通過(guò)發(fā)送模塊發(fā)送基本層圖像編碼器輸出的編碼數(shù)據(jù)，當(dāng)信道條件允許時(shí)則發(fā)送基本層圖像編碼器輸出的編碼數(shù)據(jù)和增強(qiáng)層圖像編碼器輸出的編碼數(shù)據(jù)； S5在接收端處，如果利用接收模塊只接收到基本層圖像編碼器輸出的編碼數(shù)據(jù)，則采用基本層圖像譯碼器對(duì)該編碼數(shù)據(jù)進(jìn)行譯碼得到基本層的譯碼圖像，當(dāng)同時(shí)接收到基本層圖像編碼器和增強(qiáng)層圖像編碼器輸出的編碼數(shù)據(jù)，則同時(shí)利用基本層圖像譯碼器和增強(qiáng)層圖像譯碼器分別對(duì)基本層圖像編碼器和增強(qiáng)層圖像編碼器輸出的編碼數(shù)據(jù)進(jìn)行譯碼得到基本層的譯碼圖像和增強(qiáng)層的譯碼圖像； S6當(dāng)步驟S5中只得到基本層的譯碼圖像時(shí)，則直接向圖像輸出設(shè)備輸出所述基本層的譯碼圖像；當(dāng)步驟S5中得到基本層的譯碼圖像和增強(qiáng)層的譯碼圖像，利用圖像復(fù)合處理器將所述增強(qiáng)層的譯碼圖像替換所述基本層的譯碼圖像中與之位置對(duì)應(yīng)的部分，復(fù)合得到最終的復(fù)合譯碼圖像，并向圖像輸出設(shè)備進(jìn)行輸出。3.根據(jù)權(quán)利要求2所述的方法，其特征在于，步驟S2中，增強(qiáng)層中只包含原始圖像的ROI部分的圖像，只包含一層增強(qiáng)層。4.根據(jù)權(quán)利要求2所述的方法，其特征在于，編碼基本層的圖像時(shí)只能參考基本層的譯碼圖像，編碼增強(qiáng)層的圖像時(shí)參考基本層的譯碼圖像或參考增強(qiáng)層的譯碼圖像。
【文檔編號(hào)】H04N19/31GK106060553SQ201610597116
【公開(kāi)日】2016年10月26日
【申請(qǐng)日】2016年7月26日 公開(kāi)號(hào)201610597116.7, CN 106060553 A, CN 106060553A, CN 201610597116, CN-A-106060553, CN106060553 A, CN106060553A, CN201610597116, CN201610597116.7
【發(fā)明人】陳朝武, 郅晨, 董騫, 余子龍, 歐陽(yáng)甸, 閆雪, 邢培銀, 馬莉
【申請(qǐng)人】公安部第一研究所, 北京中盾安全技術(shù)開(kāi)發(fā)公司