專利名稱：基于感知清晰度的圖像處理方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種視頻圖像的處理方法，特別是涉及一種基于感知清晰度的圖像處理方法和裝置。
背景技術(shù)：
隨著數(shù)字信號技術(shù)和計算機(jī)網(wǎng)絡(luò)的發(fā)展，圖像的應(yīng)用領(lǐng)域越來越廣，在數(shù)字電視、萬維網(wǎng)(WWW)、實(shí)時多媒體監(jiān)控、低比特率下的移動多媒體通信、于內(nèi)容存儲和檢索多媒系統(tǒng)、Internet/Intranet上的視頻流與可視游戲、基于面部表情模擬的虛擬會議、DVD上的交互多媒體應(yīng)用、基于計算機(jī)網(wǎng)絡(luò)的可視化合作實(shí)驗(yàn)室場景應(yīng)用等領(lǐng)域，需要處理大量的圖像數(shù)據(jù)、視頻數(shù)據(jù)，但是當(dāng)前資源有限和大量的圖像數(shù)據(jù)和視頻數(shù)據(jù)之間存在著矛盾，因此有必要對圖像進(jìn)行壓縮。從圖像壓縮角度而言，其目的是以最小的數(shù)據(jù)量重現(xiàn)原始信息，因此不管采取變換、掃描，還是量化，算法的本質(zhì)特征是能使圖像變換之后變換系數(shù)統(tǒng)計分布的方差較小，非零系數(shù)更集中，能形成更多的零系數(shù)塊，最終傳輸?shù)臄?shù)據(jù)量達(dá)到最少。根據(jù)圖像壓縮研究結(jié)果表明，在預(yù)處理原始圖像后再進(jìn)行視頻數(shù)據(jù)壓縮是可以提高數(shù)據(jù)壓縮比的，但提高比率與具體的圖像內(nèi)容有很大關(guān)系。對于壓縮算法的質(zhì)量，其評價是根據(jù)壓縮前圖像和恢復(fù)后圖像來計算的，但是壓縮前圖像有原始視頻圖像和預(yù)處理后視頻圖像兩種，因此所造成的壓縮率是完全不同的，預(yù)處理圖像的壓縮率是明顯的。因此對原始視頻圖像的預(yù)處理的關(guān)鍵性的技術(shù)問題在于以何種處理算法來改善預(yù)處理后視頻圖像的視覺效果，而不是保真數(shù)據(jù)本身；以及，如何控制原始視頻圖像和預(yù)處理后視頻圖像之間的失真，使得視覺不可察覺。圖1是現(xiàn)有運(yùn)動圖像在壓縮之前的處理流程示意圖。其方法是外界圖像經(jīng)由圖像采集設(shè)備101采集得到完整的原始視頻圖像S1，視頻圖像S1再進(jìn)入圖像濾波器102，經(jīng)過處理后得到預(yù)處理后視頻圖像S2，對預(yù)處理后視頻圖像S2可以進(jìn)行圖像壓縮算法103進(jìn)行數(shù)據(jù)的壓縮。最后得到壓縮視頻碼流S3。
在圖像預(yù)處理中，常用的方法如圖像增強(qiáng)，它是指對圖像的某些特征，如邊緣、輪廓、對比度等進(jìn)行強(qiáng)化或尖銳化，以便于進(jìn)一步分析與處理。增強(qiáng)并不增加圖像數(shù)據(jù)中的相關(guān)信息，但它會增加所選特征的動態(tài)范圍，從而使這些特征檢測或識別更容易。圖像增強(qiáng)的主要方法可分為四類基于點(diǎn)運(yùn)算的方法(如灰度級變換、動態(tài)范圍調(diào)整、直方圖均衡化等)、基于空間運(yùn)算的方法(如噪聲平滑、圖像銳化、反對比度映射和統(tǒng)計比例尺度變換等)、基于變換域運(yùn)算的方法(如通帶濾波，包括低通、帶通和高通濾波)、彩色增強(qiáng)方法。
雖然，在相同的壓縮算法前提下，壓縮效率的提高依賴于對采集設(shè)備采集得到的圖像的預(yù)處理過程。在圖像采集設(shè)備采集到視頻圖像后，由于各種干擾的存在，會存在許多噪聲，如顆粒噪聲，這類噪聲可以使用邊緣保持空間濾波的方法很容易去除，如使用中值濾波、各種一階微分算子都能達(dá)到要求；另外，一般情況下，都會使用增強(qiáng)的方法對圖像進(jìn)行預(yù)處理，但我們已經(jīng)提到這類操作并不增加圖像信息，不能有助于圖像本身的緊致性，還不能很好改善當(dāng)前充分地有效地利用有限帶寬的問題。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種在保證圖像視覺效果的前提下，提高視頻數(shù)據(jù)的緊致性，從而真正達(dá)到高數(shù)據(jù)壓縮比的圖像處理的基于感知清晰度的圖像處理方法和裝置，以克服上述現(xiàn)有技術(shù)存在的問題。
為了實(shí)現(xiàn)上述目的，本發(fā)明所采用的技術(shù)方案是一種基于感知(人們?nèi)庋鬯吹綀D像的視覺效果)清晰度的圖像處理方法，該方法對輸入采集的圖像進(jìn)行處理，為輸出的圖像壓縮作準(zhǔn)備，其特點(diǎn)是所述輸入采集的圖像處理方法按以下步驟進(jìn)行第一步驟對所需處理圖像計算基于感知清晰度的圖像清晰度估計閾值；
第二步驟將基于清晰度的清晰度估計閾值參數(shù)對整幅圖像進(jìn)行自適應(yīng)增強(qiáng)。
上述第一步驟包括計算像素位置的清晰度，以及像素位置清晰度估計閾值的自適應(yīng)選擇；和所述第二步驟包括利用基于清晰度的清晰度估計閾值對整幅圖像進(jìn)行邊緣檢測，得到圖像的有效邊緣，對圖像邊緣進(jìn)行自適應(yīng)濾波器處理，亦即根據(jù)感知清晰度敏感閾值參數(shù)，對圖像有效邊緣進(jìn)行自適應(yīng)濾波處理，將有效邊緣區(qū)域增強(qiáng)，非邊緣區(qū)域抑制，提高圖像有效信息量；最后得到經(jīng)處理待壓縮的視頻圖像。
所述計算像素位置清晰度，基于像素位置的灰度梯度值與像素位置邊緣方向的能量，并利用這兩者之間的預(yù)定關(guān)系，計算像素的清晰度值。
所述像素位置的灰度梯度計算為基于本像素位置與周圍像素位置的差值的最大值或絕對值，來計算像素位置的灰度梯度值。
所述的像素的邊緣方向能量計算為在像素位置鄰域范圍內(nèi)求得能量平均；以像素位置鄰域范圍能量平均最大作為像素位置的邊緣方向，并以該方向的能量平均作為該點(diǎn)邊緣方向的能量。
所述圖像清晰度閾值估計，基于像素位置的清晰度值的集合，按照預(yù)定的計算公式，通過像素位置的梯度最大值和邊緣方向的灰度平均能量的乘積自適應(yīng)地得到清晰度閾值門限。
所述圖像有效邊緣檢測，基于像素位置的清晰度閾值門限，對圖像進(jìn)行分類，大于清晰度閾值門限的點(diǎn)為邊緣，小于清晰度閾值門限的點(diǎn)則是非圖像邊緣，最終得到圖像的有效邊緣。
本發(fā)明還提供一種基于感知清晰度的圖像處理裝置，它包括圖像采集裝置、圖像處理裝置和圖像壓縮裝置，其中圖像采集裝置的輸出端與圖像處理裝置輸入端連接，圖像處理裝置的輸出通過圖像壓縮裝置輸出壓縮圖像，其特點(diǎn)是圖像處理裝置包括計算裝置對輸入圖像進(jìn)行計算基于感知清晰度的圖像清晰度估計閾值；
增強(qiáng)裝置將基于清晰度的清晰度估計閾值參數(shù)對整幅圖像進(jìn)行自適應(yīng)增強(qiáng)。
上述計算裝置包括像素位置計算裝置計算像素位置的清晰度；估計閾值裝置對像素位置清晰度估計閾值的自適應(yīng)選擇。
上述增強(qiáng)裝置包括檢測裝置利用基于清晰度的清晰度估計閾值對整幅圖像進(jìn)行邊緣檢測，得到圖像的有效邊緣；濾波裝置根據(jù)感知清晰度敏感閾值參數(shù)，對圖像有效邊緣進(jìn)行自適應(yīng)濾波處理；輸出裝置將圖像有效邊緣區(qū)域增強(qiáng)，非邊緣區(qū)域抑制，提高圖像有效信息量，最后得到經(jīng)處理待壓縮的視頻圖像輸出。
本發(fā)明與傳統(tǒng)方法不同的是，本發(fā)明圖像處理方法先根據(jù)圖像的退化模型進(jìn)行感知清晰度自適應(yīng)檢測和圖像復(fù)原預(yù)處理，提升圖像視覺效果或視覺清晰度，然后在恢復(fù)圖像清晰度保持條件下，加大壓縮算法的數(shù)據(jù)壓縮比。由于預(yù)處理的本質(zhì)是通過抑制清晰度不敏感的圖像數(shù)據(jù)，使得圖像變換系數(shù)的視覺敏感的低頻系數(shù)分量更集中；視覺不敏感高頻系數(shù)更加接近于零；視覺敏感高頻系數(shù)變得更加大也就是清晰度更大。從而使得圖像變換非零系數(shù)的統(tǒng)計分布更加集中，而且零系數(shù)更多。由上述方法可見，恰當(dāng)?shù)念A(yù)處理方法是可以改善圖像質(zhì)量的。
本發(fā)明與現(xiàn)有技術(shù)相比具有如下優(yōu)點(diǎn)充分利用人眼的感知清晰度機(jī)理，能消除人眼不敏感的邊緣信息，能有效去除數(shù)據(jù)冗余，提高數(shù)據(jù)的緊致性，最終提高圖像表達(dá)質(zhì)量，使圖像壓縮效率更佳。


圖1為現(xiàn)有的圖像壓縮算法流程示意圖。
圖2為本發(fā)明圖像預(yù)處理和壓縮流程示意圖。
圖3為本發(fā)明的實(shí)施例的圖像處理方法的組成示意圖。
圖4為本發(fā)明的實(shí)施例的圖像處理方法的流程圖。
圖5為本發(fā)明圖像處理裝置的原理框圖。
具體實(shí)施例方式
下面結(jié)合附圖和實(shí)施例對本發(fā)明作進(jìn)一步地描述，但下述實(shí)施例不應(yīng)理解為對本發(fā)明的限制。
參考圖2，圖像處理流程包括，圖像采集設(shè)備將采集得到的視頻數(shù)據(jù)輸入到圖像預(yù)處理的視頻數(shù)據(jù)緩沖區(qū)；圖像預(yù)處理1201對視頻數(shù)據(jù)緩沖區(qū)的數(shù)據(jù)進(jìn)行初步的處理，即視頻數(shù)據(jù)進(jìn)行模糊處理1301和噪聲去除1302，然后將數(shù)據(jù)輸入到基于感知清晰度的圖像降噪處理1202的視頻數(shù)據(jù)緩沖區(qū)；基于感知清晰度的圖像降噪處理1202對緩沖區(qū)的數(shù)據(jù)進(jìn)行清晰度處理，具體的流程參考圖3；圖像壓縮算法1203對降噪處理過后的視頻數(shù)據(jù)采用指定的壓縮編碼算法進(jìn)行編碼，最后到圖像傳輸網(wǎng)絡(luò)進(jìn)行壓縮碼流的傳輸。
參考圖3，其中圖像預(yù)處理部分(1301、1302)，由于視頻圖像都存在一定的運(yùn)動，采集視頻圖像勢必造成一定的運(yùn)動模糊，采用維納濾波等相關(guān)方法進(jìn)行去模糊處理，然后去除圖像采集設(shè)備所造成的噪聲。
參考圖3，經(jīng)過預(yù)處理后的視頻數(shù)據(jù)，進(jìn)入清晰度處理部分，首先輸入到清晰度估計1303進(jìn)行清晰度估計，它主要是涉及像素位置的梯度最大值和邊緣方向的灰度平均能量，兩者做如下運(yùn)算清晰度＝梯度最大值*邊緣方向的灰度平均值需要注意的是，邊緣方向是這樣確定的，每個像素的8鄰域可以有4個方向，水平、垂直、左斜45度、右斜45度。對這四個方向的灰度平均值，求其最大作為其邊緣方向的灰度平均值。
在得到像素的清晰度以后，對整幅圖像進(jìn)行清晰度閾值的估計，得到閾值TH。
閾值TH輸入到邊緣檢測1304，對整幅圖像進(jìn)行邊緣檢測操作，超過閾值的，表示該點(diǎn)像素位置是個邊緣，小于則表示不是邊緣，如下式
E(x,y)=1,f(x,y)>TH0,f(x,y)<TH]]>將清晰度估計1303得到的閾值和邊緣檢測1304得到的邊緣信息一起輸入到自適應(yīng)濾波1305，自適應(yīng)濾波1305是按照預(yù)定公式對整幅視頻圖像進(jìn)行濾波處理。最后，輸入到圖像壓縮算法1306進(jìn)行視頻壓縮處理。
參考圖4是整個算法實(shí)現(xiàn)的具體流程圖，其流程如下將預(yù)處理后的視頻數(shù)據(jù)進(jìn)行像素位置梯度計算1401及像素方向平均能量1402計算；由這兩個參數(shù)得到像素清晰度1403；判斷是否完成整幅圖像的像素掃描，如果完成則進(jìn)行閾值估計1404，否則再回到像素位置梯度計算；利用閾值對整幅圖像進(jìn)行邊緣檢測；對整幅圖像進(jìn)行邊緣清晰度增強(qiáng)；最后提高整幅圖像的對比度。
由上述過程可知，本發(fā)明是根據(jù)人眼對邊緣信息比較敏感的特點(diǎn)，不但提高圖像的清晰度和圖像質(zhì)量，而且能提高壓縮比，有效地使用媒體記錄載體。
本發(fā)明在實(shí)際運(yùn)用時，其工作流程如下(一)調(diào)用圖像采集模塊獲取原始圖像數(shù)據(jù)；(二)調(diào)用圖像預(yù)處理模塊，將逐個進(jìn)行以下的圖像預(yù)處理1)去運(yùn)動模糊根據(jù)圖像的運(yùn)動方向，在相應(yīng)的方向上進(jìn)行模糊處理；2)去除噪聲利用中值濾波算法去除噪聲；(三)調(diào)用感知清晰度的圖像處理，1)清晰度估計確定圖像的清晰度閾值，最后確定邊緣增益控制參數(shù)；2)自適應(yīng)濾波根據(jù)第1)步得到的清晰度閾值，對相應(yīng)的邊緣區(qū)域進(jìn)行自適應(yīng)處理，敏感邊緣增強(qiáng)，不敏感區(qū)域抑制；(四)對第三步處理后的圖像，調(diào)用圖像編碼算法，得到圖像編碼流；
(五)如需要傳輸圖像或告警信息，將第五步得到圖像碼流向監(jiān)控中心傳輸；(六)返回至第二步循環(huán)處理。
本說明書中未作詳細(xì)描述的內(nèi)容屬于本領(lǐng)域?qū)I(yè)技術(shù)人員公知的現(xiàn)有技術(shù)。
權(quán)利要求
1.一種基于感知清晰度的圖像處理方法，該方法對輸入采集的圖像進(jìn)行處理，為輸出的圖像壓縮做準(zhǔn)備，其特征在于所述輸入采集的圖像處理按以下步驟進(jìn)行第一步驟對所需處理圖像進(jìn)行計算基于感知清晰度機(jī)制的圖像清晰度估計閾值；第二步驟將基于清晰度機(jī)制的清晰度估計閾值參數(shù)對整幅圖像進(jìn)行自適應(yīng)增強(qiáng)。
2.如權(quán)利要求1所述的基于感知清晰度的圖像處理方法，其特征在于所述第一步驟包括計算像素位置的清晰度，以及像素位置清晰度估計閾值的自適應(yīng)選擇；所述第二步驟包括利用基于清晰度機(jī)制的清晰度估計閾值對整幅圖像進(jìn)行邊緣檢測，得到圖像的有效邊緣，根據(jù)感知清晰度敏感閾值參數(shù)，對圖像有效邊緣進(jìn)行自適應(yīng)濾波處理，將有效邊緣區(qū)域增強(qiáng)，非邊緣區(qū)域抑制。
3.如權(quán)利要求2所述的基于感知清晰度的圖像處理方法，其特征在于計算像素位置清晰度是基于像素位置的灰度梯度值與像素位置邊緣方向的能量，并利用這兩者之間的關(guān)系，計算像素的清晰度值。
4.如權(quán)利要求3所述的基于感知清晰度的圖像處理方法，其特征在于像素位置的灰度梯度計算為是基于本像素位置與周圍像素位置的差值的最大值或絕對值，來計算像素位置的灰度梯度值。
5.如權(quán)利要求3所述的基于感知清晰度的圖像處理方法，其特征在于像素的邊緣方向能量計算是像素位置鄰域范圍求得能量平均，以像素位置鄰域范圍能量平均最大作為像素位置的邊緣方向，并以該方向的能量平均作為該點(diǎn)邊緣方向的能量。
6.如權(quán)利要求2所述的基于感知清晰度的圖像處理方法，其特征在于所述圖像清晰度閾值估計是基于像素位置的清晰度值的集合，按照預(yù)定的計算公式，自適應(yīng)地得到清晰度閾值門限。
7.如權(quán)利要求2所述的基于感知清晰度的圖像處理方法，其特征在于所述圖像有效邊緣檢測是基于像素位置的清晰度閾值門限，對圖像進(jìn)行分類，得到圖像的有效邊緣。
8.一種基于感知清晰度的圖像處理裝置，它包括圖像采集裝置、圖像處理裝置和圖像壓縮裝置，其中圖像采集裝置的輸出端與圖像處理裝置輸入端連接，圖像處理裝置的輸出通過圖像壓縮裝置輸出壓縮圖像，其特征在于圖像處理裝置包括計算裝置對輸入圖像進(jìn)行計算基于感知清晰度的圖像清晰度估計閾值；增強(qiáng)裝置將基于清晰度的清晰度估計閾值參數(shù)對整幅圖像進(jìn)行自適應(yīng)增強(qiáng)。
9.如權(quán)利要求8所述的基于感知清晰度的圖像處理裝置，其特征在于計算裝置包括像素位置計算裝置計算像素位置的清晰度；估計閾值裝置對像素位置清晰度估計閾值的自適應(yīng)選擇。
10.如權(quán)利要求8所述的基于感知清晰度的圖像處理裝置，其特征在于增強(qiáng)裝置包括檢測裝置利用基于清晰度的清晰度估計閾值對整幅圖像進(jìn)行邊緣檢測，得到圖像的有效邊緣；濾波裝置根據(jù)感知清晰度敏感閾值參數(shù)，對圖像有效邊緣進(jìn)行自適應(yīng)濾波處理；輸出裝置將圖像有效邊緣區(qū)域增強(qiáng)，非邊緣區(qū)域抑制，提高圖像有效信息量，最后得到經(jīng)處理待壓縮的視頻圖像輸出。
全文摘要
本發(fā)明涉及一種基于感知清晰度的圖像處理方法和裝置，本發(fā)明方法對所需處理圖像計算基于感知清晰度的圖像清晰度估計閾值；將基于清晰度的清晰度估計閾值參數(shù)對整幅圖像進(jìn)行自適應(yīng)增強(qiáng)。本發(fā)明裝置包括計算裝置和增強(qiáng)裝置。本發(fā)明與現(xiàn)有技術(shù)相比具有如下優(yōu)點(diǎn)充分利用人眼的感知清晰度機(jī)理，能消除人眼不敏感的邊緣信息，能有效去除數(shù)據(jù)冗余，提高數(shù)據(jù)的緊致性，最終提高圖像表達(dá)質(zhì)量，使圖像壓縮效率更佳。
文檔編號H04N7/26GK1688163SQ20041006142
公開日2005年10月26日 申請日期2004年12月24日 優(yōu)先權(quán)日2004年12月24日
發(fā)明者汪國有, 張學(xué)陽, 楊永祥 申請人:武漢精倫電子股份有限公司