本發(fā)明涉及視頻傳輸技術(shù)領(lǐng)域,特別涉及一種基于區(qū)域分類編碼的視頻編碼的方法及裝置。
背景技術(shù):
通常情況下,視頻會議主機連接高清攝像頭拍攝會場畫面,如圖1所示,進行視頻編碼傳輸。但是因為燈光、攝像頭采樣等影響,拍攝到的幻燈片區(qū)域與原始幻燈片圖像相比,具有較大的噪音,且顏色也會發(fā)生變化,比如,幻燈片上的純色區(qū)域,用攝像頭拍下來,就不是純色的了,這導(dǎo)致信息失真及視頻編碼后的壓縮比降低。如何在固定碼率下進行更有效的傳輸成為亟待解決的技術(shù)問題。
技術(shù)實現(xiàn)要素:
本發(fā)明要解決的是如何在固定碼率下進行更有效的傳輸?shù)募夹g(shù)問題。
為了解決上述問題,本發(fā)明提供了一種基于區(qū)域分類編碼的視頻編碼的方法,包括:
步驟一,識別出視頻畫面里的各內(nèi)容區(qū)域;
步驟二,分別對各區(qū)域進行預(yù)處理,降低圖像噪音。
本發(fā)明還提供了一種基于區(qū)域分類編碼的視頻編碼的裝置,包括:
識別單元,識別出視頻畫面里的各內(nèi)容區(qū)域;
預(yù)處理單元,分別對各區(qū)域進行預(yù)處理,降低圖像噪音。
本發(fā)明的技術(shù)方案實現(xiàn)了一種基于區(qū)域分類編碼的視頻編碼的方法及裝置,采用不同的方式對圖像不同區(qū)域進行預(yù)處理,可以降低圖像噪音,從而突出用戶感興趣的內(nèi)容,提高用戶的感知質(zhì)量。
附圖說明
圖1現(xiàn)有攝像頭與視頻會議主機連接示意圖;
圖2本發(fā)明攝像頭與視頻會議主機連接示意圖;
圖3一種基于區(qū)域分類編碼的視頻編碼的方法示意圖;
圖4一種基于區(qū)域分類編碼的視頻編碼的方法流程示意圖;
圖5降低空間分辨率的預(yù)處理方法示意圖;
圖6一種基于區(qū)域分類編碼的視頻編碼的裝置示意圖。
具體實施方式
下面將結(jié)合附圖及實施例對本發(fā)明的技術(shù)方案進行更詳細的說明。
需要說明的是,如果不沖突,本發(fā)明實施例以及實施例中的各個特征可以相互結(jié)合,均在本發(fā)明的保護范圍之內(nèi)。另外,雖然在流程圖中示出了邏輯順序,但是在某些情況下,可以以不同于此處的順序執(zhí)行所示出或描述的步驟。
實施例一,一種基于區(qū)域分類編碼的視頻編碼的方法,如圖3所示,包括:
步驟一,識別出視頻畫面里的各內(nèi)容區(qū)域;
步驟二,分別對各區(qū)域進行預(yù)處理,降低圖像噪音。
本發(fā)明的技術(shù)方案實現(xiàn)了一種基于區(qū)域分類編碼的視頻編碼的方法及裝置,采用不同的方式對圖像不同區(qū)域進行預(yù)處理,可以降低圖像噪音,從而突出用戶感興趣的內(nèi)容,提高用戶的感知質(zhì)量。
實施例二,一種基于區(qū)域分類編碼的視頻編碼的方法,如圖4所示,在實施例一的基礎(chǔ)上,包括:
進一步的,所述步驟一,各內(nèi)容區(qū)域分為:人臉區(qū)域、電腦顯示區(qū)域、活動區(qū)域、不活動區(qū)域中的一個或多個區(qū)域的組合。
電腦顯示區(qū)域,人臉區(qū)域、活動區(qū)域和非活動區(qū)域,人眼在感知上關(guān)注的重點不同。人臉區(qū)域是最受關(guān)注的。對于活動區(qū)域,人眼更佳關(guān)注它的運動。而對非活動區(qū)域,人眼更加關(guān)注它的細節(jié)。因此,電腦顯示區(qū)域,人臉區(qū)域、活動區(qū)域和非活動區(qū)域,在預(yù)處理環(huán)節(jié)要進行區(qū)別對待。
通過事先標注或圖像分析技術(shù),識別出視頻畫面里的人臉區(qū)域、電腦顯示區(qū)域、活動區(qū)域和非活動區(qū)域,在傳統(tǒng)的編碼流程之前,采用不同的方式對圖像不同區(qū)域進行預(yù)處理,降低圖像噪音,突出用戶感興趣的內(nèi)容,提高用戶的感知質(zhì)量。
進一步的,所述步驟二,對各區(qū)域進行預(yù)處理,所述人臉區(qū)域不進行預(yù)處理。
采用人臉檢測技術(shù),檢測出畫面里的人臉區(qū)域,將這一區(qū)域標注為A;人臉區(qū)域是最受關(guān)注的,所以人臉區(qū)域不進行預(yù)處理。
進一步的,所述步驟二,對各區(qū)域進行預(yù)處理,所述電腦顯示區(qū)域,在攝像頭采集到的畫面上,標注出電腦畫面,然后通過仿射變換,使用從電腦上采集到的畫面替換掉攝像機拍攝到的畫面里標注的電腦顯示區(qū)域。如圖2所示。
如果采用圖2結(jié)構(gòu),視頻會議主機連通攝像頭和演講電腦,在演講電腦上通過API直接采集到原始的桌面畫面。通過標注的形式,在攝像頭采集到的畫面上,標注出電腦畫面的四個角點,然后通過仿射變換,使用從電腦上采集到的畫面替換掉攝像機拍攝到的畫面里標注的電腦顯示區(qū)域,能夠有效的提升視頻會議最終畫面里的電腦顯示區(qū)域顯示質(zhì)量,且能有效的提高壓縮比。
因為視頻會議里,攝像頭通常是固定的,可以通過事先標注的方式,標注出電腦顯示區(qū)域B的四個焦點;對區(qū)域B,將從演講電腦里獲取的實時畫面,經(jīng)過仿射變換,覆蓋到幀圖像上;視頻會議主機直接連接攝像機和電腦設(shè)備,通過實時獲取電腦畫面,使用仿射變換攝像機畫面對應(yīng)內(nèi)容,來增強畫面。
進一步的,所述步驟二,對各區(qū)域進行預(yù)處理,所述活動區(qū)域,進行降低空間分辨率的預(yù)處理。
使用幀差法,在非A、非B區(qū)域里,識別出活動區(qū)域C。
進一步的,降低空間分辨率的預(yù)處理方法為:將圖像像素分成M*N的小格,將每小格內(nèi)的圖像像素,采用格子內(nèi)各像素值的平均值替代。
降低空間分辨率的預(yù)處理方法為:
將圖像像素分成M*N的小格,典型為2*2。將每小格內(nèi)的圖像像素,采用格子內(nèi)各像素值的平均值替代,如圖5所示,這樣來降低空間分辨率,提高視頻編碼壓縮率。
進一步的,所述步驟二,對各區(qū)域進行預(yù)處理,所述不活動區(qū)域,進行降低時間分辨率的預(yù)處理。
識別并標注出非活動區(qū)域D。
進一步的,降低時間分辨率的預(yù)處理方法為:假設(shè)某點像素值為V,其前n幀預(yù)處理后的像素值分別為V1,V2,…,Vn,其平均值為Vm,設(shè)定閾值t,如V和Vm的差的絕對值不高于閾值t,則預(yù)處理后,該點像素值為Vm,否則為V。這樣來降低時間分辨率,提高視頻編碼壓縮率。
實施例三,一種基于區(qū)域分類編碼的視頻編碼的裝置,如圖6所示,包括:
識別單元,識別出視頻畫面里的各內(nèi)容區(qū)域;
預(yù)處理單元,分別對各區(qū)域進行預(yù)處理,降低圖像噪音。
本發(fā)明的技術(shù)方案實現(xiàn)了一種基于區(qū)域分類編碼的視頻編碼的方法及裝置,采用不同的方式對圖像不同區(qū)域進行預(yù)處理,可以降低圖像噪音,從而突出用戶感興趣的內(nèi)容,提高用戶的感知質(zhì)量。
實施例四,一種基于區(qū)域分類編碼的視頻編碼的裝置,如圖6所示,在實施例三的基礎(chǔ)上進一步包括:
進一步的,所述識別單元,各內(nèi)容區(qū)域分為:人臉區(qū)域、電腦顯示區(qū)域、活動區(qū)域、不活動區(qū)域中的一個或多個區(qū)域的組合。
電腦顯示區(qū)域,人臉區(qū)域、活動區(qū)域和非活動區(qū)域,人眼在感知上關(guān)注的重點不同。人臉區(qū)域是最受關(guān)注的。對于活動區(qū)域,人眼更佳關(guān)注它的運動。而對非活動區(qū)域,人眼更加關(guān)注它的細節(jié)。因此,電腦顯示區(qū)域,人臉區(qū)域、活動區(qū)域和非活動區(qū)域,在預(yù)處理環(huán)節(jié)要進行區(qū)別對待。
通過事先標注或圖像分析技術(shù),識別出視頻畫面里的人臉區(qū)域、電腦顯示區(qū)域、活動區(qū)域和非活動區(qū)域,在傳統(tǒng)的編碼流程之前,采用不同的方式對圖像不同區(qū)域進行預(yù)處理,降低圖像噪音,突出用戶感興趣的內(nèi)容,提高用戶的感知質(zhì)量。
進一步的,所述預(yù)處理單元,對各區(qū)域進行預(yù)處理,所述人臉區(qū)域不進行預(yù)處理。
采用人臉檢測技術(shù),檢測出畫面里的人臉區(qū)域,將這一區(qū)域標注為A;人臉區(qū)域是最受關(guān)注的,所以人臉區(qū)域不進行預(yù)處理。
進一步的,所述預(yù)處理單元,對各區(qū)域進行預(yù)處理,所述電腦顯示區(qū)域,在攝像頭采集到的畫面上,標注出電腦畫面,然后通過仿射變換,使用從電腦上采集到的畫面替換掉攝像機拍攝到的畫面里標注的電腦顯示區(qū)域。如圖2所示。
如果采用圖2結(jié)構(gòu),視頻會議主機連通攝像頭和演講電腦,在演講電腦上通過API直接采集到原始的桌面畫面。通過標注的形式,在攝像頭采集到的畫面上,標注出電腦畫面的四個角點,然后通過仿射變換,使用從電腦上采集到的畫面替換掉攝像機拍攝到的畫面里標注的電腦顯示區(qū)域,能夠有效的提升視頻會議最終畫面里的電腦顯示區(qū)域顯示質(zhì)量,且能有效的提高壓縮比。
因為視頻會議里,攝像頭通常是固定的,可以通過事先標注的方式,標注出電腦顯示區(qū)域B的四個焦點;對區(qū)域B,將從演講電腦里獲取的實時畫面,經(jīng)過仿射變換,覆蓋到幀圖像上;視頻會議主機直接連接攝像機和電腦設(shè)備,通過實時獲取電腦畫面,使用仿射變換攝像機畫面對應(yīng)內(nèi)容,來增強畫面。
進一步的,所述預(yù)處理單元,對各區(qū)域進行預(yù)處理,所述活動區(qū)域,進行降低空間分辨率的預(yù)處理。使用幀差法,在非A、非B區(qū)域里,識別出活動區(qū)域C。
進一步的,降低空間分辨率的預(yù)處理方法為:將圖像像素分成M*N的小格,將每小格內(nèi)的圖像像素,采用格子內(nèi)各像素值的平均值替代。
降低空間分辨率的預(yù)處理方法為:
將圖像像素分成M*N的小格,典型為2*2。將每小格內(nèi)的圖像像素,采用格子內(nèi)各像素值的平均值替代,如圖5所示,這樣來降低空間分辨率,提高視頻編碼壓縮率。
進一步的,所述預(yù)處理單元,對各區(qū)域進行預(yù)處理,所述不活動區(qū)域,進行降低時間分辨率的預(yù)處理。識別并標注出非活動區(qū)域D。
進一步的,降低時間分辨率的預(yù)處理方法為:假設(shè)某點像素值為V,其前n幀預(yù)處理后的像素值分別為V1,V2,…,Vn,其平均值為Vm,設(shè)定閾值t,如V和Vm的差的絕對值不高于閾值t,則預(yù)處理后,該點像素值為Vm,否則為V。這樣來降低時間分辨率,提高視頻編碼壓縮率。
本發(fā)明根據(jù)用戶的關(guān)注點的不同,將高清視頻會議里的圖像分為四類區(qū)域:人臉區(qū)域、電腦顯示區(qū)域、活動區(qū)域和不活動區(qū)域四個區(qū)域,在傳統(tǒng)的編碼流程之前,采用不同的方式對圖像不同區(qū)域進行預(yù)處理,降低圖像噪音,突出用戶感興趣的內(nèi)容,提高用戶的感知質(zhì)量。
本領(lǐng)域普通技術(shù)人員可以理解上述方法中的全部或部分步驟可通過程序來指令相關(guān)硬件完成,所述程序可以存儲于計算機可讀存儲介質(zhì)中,如只讀存儲器、磁盤或光盤等??蛇x地,上述實施例的全部或部分步驟也可以使用一個或多個集成電路來實現(xiàn)。相應(yīng)地,上述實施例中的各模塊/單元可以采用硬件的形式實現(xiàn),也可以采用軟件功能模塊的形式實現(xiàn)。本發(fā)明不限制于任何特定形式的硬件和軟件的結(jié)合。
當然,本發(fā)明還可有其他多種實施例,在不背離本發(fā)明精神及其實質(zhì)的情況下,熟悉本領(lǐng)域的技術(shù)人員當可根據(jù)本發(fā)明作出各種相應(yīng)的改變和變形,但這些相應(yīng)的改變和變形都應(yīng)屬于本發(fā)明的權(quán)利要求的保護范圍。