專(zhuān)利名稱(chēng)：流媒體視頻圖像預(yù)處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種視頻圖像預(yù)處理方法，尤其是涉及一種對(duì)流媒體視頻圖像進(jìn)行處理使之更加適宜于網(wǎng)絡(luò)傳輸?shù)姆椒ā?br> 背景技術(shù)：
在手機(jī)流媒體所處的無(wú)線互聯(lián)網(wǎng)絡(luò)中，網(wǎng)絡(luò)帶寬極其有限。要在低端手機(jī)上實(shí)現(xiàn)流媒體解決方案，不僅僅是在算法的時(shí)間復(fù)雜度上需要高度優(yōu)化，網(wǎng)絡(luò)帶寬的瓶頸很難突破。尤其是GPRS網(wǎng)絡(luò)，更是如此。在流媒體傳輸中，視頻圖像的碼率占據(jù)著主要部分，而且碼率波動(dòng)范圍較大。傳統(tǒng)的均值濾波算子操作是一種低通濾波器，它能夠有效去除噪聲，降低碼率。但是在去除噪聲的同時(shí)，也使得圖像變得模糊。中華人民共和國(guó)國(guó)家知識(shí)產(chǎn)權(quán)局于2009年02月04日公開(kāi)了公開(kāi)號(hào)為 CN101350235A的專(zhuān)利文獻(xiàn)，名稱(chēng)是視頻圖像預(yù)處理方法，包括如下步驟初始化噪聲點(diǎn)數(shù)和噪聲閾值；計(jì)算當(dāng)前編碼塊原始像素與零運(yùn)動(dòng)矢量參考?jí)K像素差的絕對(duì)值集合；所述集合中去掉與噪聲點(diǎn)數(shù)對(duì)應(yīng)數(shù)量的最大值，然后在剩下的點(diǎn)中選出最大值；判斷該最大值是否大于噪聲閾值；若該最大值大于噪聲閾值，則用普通的快速搜索算法搜索各種塊模式的最優(yōu)運(yùn)動(dòng)矢量并選擇最優(yōu)塊模式編碼；若該最大值小于等于噪聲閾值，則調(diào)整量化步長(zhǎng)，按零運(yùn)動(dòng)矢量的模式編碼。此方案盡管降低了文件大小和播放時(shí)的處理時(shí)間，但是在視頻質(zhì)量上整體下降，對(duì)于重點(diǎn)內(nèi)容影響較大。

發(fā)明內(nèi)容
本發(fā)明主要是解決現(xiàn)有技術(shù)所存在的使視頻質(zhì)量整體下降、難以保持重點(diǎn)部分清晰度的技術(shù)問(wèn)題，提供一種可以在保證重點(diǎn)部分清晰度、保證圖像質(zhì)量的前提下降低視頻圖像的編碼碼率的流媒體視頻圖像處理方法。本發(fā)明針對(duì)上述技術(shù)問(wèn)題主要是通過(guò)下述技術(shù)方案得以解決的一種流媒體視頻圖像預(yù)處理方法，包括以下步驟
步驟一、從視頻源取得一幀RGB格式的圖像； 步驟二、將RGB格式的圖像轉(zhuǎn)換為YUV420格式的圖像；
步驟三、對(duì)YUV420格式的圖像的Y分量作邊緣檢測(cè)，得到Y(jié)分量的邊緣2值圖像； 步驟四、將YUV420圖像縮放到固定大??； 步驟五、將Y分量的邊緣2值圖像也縮放到同樣的尺寸； 步驟六、對(duì)縮放之后YUV420格式圖像的Y分量，做人臉檢測(cè)，得到人臉區(qū)域； 步驟七、對(duì)縮放之后的YUV420格式圖像的Y分量的非人臉區(qū)域和非邊緣點(diǎn)，作雙邊濾波操作；
步驟八、對(duì)縮放之后的YUV420格式圖像的U、V分量進(jìn)行雙邊濾波操作，得到處理以后的圖像。圖像重要區(qū)域一般為人臉部位和邊緣部位，處理以后的圖像將可以降低編碼碼率，而對(duì)人臉等區(qū)域不進(jìn)行處理，保證重要部位的清晰度。作為優(yōu)選，邊緣檢測(cè)包括以下步驟
A、首先用2D高斯濾波模板與原始圖像進(jìn)行卷積，以消除噪聲；
B、利用一階偏導(dǎo)有限差分算子找到灰度圖像沿著兩個(gè)方向的導(dǎo)數(shù)Gx，Gy，并求出梯度大小和梯度方向；
C、把梯度方向大致分為4個(gè)方向(0度，45度，90度，135度)，并找到沿這個(gè)像素梯度方向的鄰接像素；
D、遍歷圖像，若整個(gè)像素的灰度值與梯度方向上前后兩個(gè)像素的灰度值相比不是最大的，那么將這個(gè)像素值置為零，即不是邊緣。E、使用累積直方圖計(jì)算兩個(gè)閾值，凡是大于高閾值的一定是邊緣，凡是小于閾值的一定不是邊緣；如果在兩個(gè)之間，則根據(jù)這個(gè)像素的鄰接像素中有沒(méi)有超過(guò)高閾值的邊緣像素進(jìn)行判斷，如果有，則就是邊緣，否則不是邊緣。作為優(yōu)選，對(duì)YUV420格式圖像的縮放包括
A、對(duì)于Y分量，根據(jù)Y分量的邊緣2值圖像選擇插值核函數(shù)，如果選擇的源象素點(diǎn)處于邊緣點(diǎn)，則選擇bi-cubic計(jì)算插值核函數(shù)，否則選擇三次B樣條插值核函數(shù)，此處邊緣2值圖像信息由步驟三得到；
B、對(duì)U,V分量，統(tǒng)一采用B樣條做插值核函數(shù)進(jìn)行圖像縮放。對(duì)于圖像縮放來(lái)說(shuō)，高質(zhì)量的縮放算法有雙3次多項(xiàng)式插值bi-cubic，還可以選擇3次B樣條插值B-Spline。兩種插值都是3次多項(xiàng)式插值，只是計(jì)算插值系數(shù)所采樣的多項(xiàng)式不同而已。B樣條插值會(huì)在一定程度上模糊圖像，因?yàn)樗臑V波器系數(shù)具有低通濾波器的特性。通過(guò)試驗(yàn)也可以驗(yàn)證用B樣條插值縮放的圖像較暗，而普通的bi-cubic插值得到的圖像能夠保持原圖像的亮度不變。同時(shí)，B樣條插值后的圖像編碼出來(lái)的碼率比 bi-cubic插值后編碼出來(lái)的碼率要低10%左右。對(duì)不同區(qū)域選用不同的縮放算法，可以在保證圖像質(zhì)量和降低圖像碼率之間獲得平衡。作為優(yōu)選，人臉檢測(cè)時(shí)，如果檢測(cè)不到人臉，則當(dāng)前圖像的人臉位置固定為上一幀圖像的人臉位置，如果連續(xù)15幀都沒(méi)有檢測(cè)到人臉，則把人臉位置移到圖像的中心位置。作為優(yōu)選，每一張圖片中人臉個(gè)數(shù)最大為2。作為優(yōu)選，對(duì)縮放之后的YUV420格式圖像的Y分量的部分區(qū)域，作雙邊濾波操作包括
A、對(duì)人臉區(qū)域，不做濾波操作；
B、對(duì)邊緣點(diǎn)，不做濾波操作，其中邊緣點(diǎn)信息由步驟五得到；
C、其它部分，進(jìn)行雙邊濾波。傳統(tǒng)的濾波操作雖然能夠去除噪聲，降低碼率，但是也使得圖像的邊緣變模糊了。 而雙邊濾波bi-lateral能夠在去除噪聲的同時(shí)，有效保持圖像的邊緣。經(jīng)測(cè)試發(fā)現(xiàn)，當(dāng)采用5x5的窗口做雙邊濾波，會(huì)使得圖像變模糊，但是邊緣卻得到很好的保留。本發(fā)明采用 3x3窗口做雙邊濾波，為了不使圖像模糊，改進(jìn)了雙邊濾波器的連續(xù)高斯核函數(shù)。對(duì)于空間位置，不在采用連續(xù)高斯函數(shù)生成卷積核，而采用改進(jìn)的離散3x3的均值濾波器。
本發(fā)明帶來(lái)的實(shí)質(zhì)性效果是，可以在保證視頻中人臉區(qū)域的重要位置質(zhì)量不變的情況下，有效控制實(shí)際編碼碼率在設(shè)定的碼率附近，減小視頻文件體積，降低網(wǎng)絡(luò)負(fù)荷，為手機(jī)GPRS網(wǎng)絡(luò)實(shí)現(xiàn)流媒體技術(shù)提供了可行性的解決方案。


圖1是本發(fā)明的一種流程圖。
具體實(shí)施例方式下面通過(guò)實(shí)施例，并結(jié)合附圖，對(duì)本發(fā)明的技術(shù)方案作進(jìn)一步具體的說(shuō)明。實(shí)施例本實(shí)施例的一種流媒體視頻圖像預(yù)處理方法，如圖1所示，包括以下步驟
步驟一、從視頻源取得一幀RGB格式的圖像。步驟二、將RGB格式的圖像轉(zhuǎn)換為YUV420格式圖像。步驟三、對(duì)YUV420格式圖像的Y分量作邊緣檢測(cè)，得到Y(jié)分量的邊緣2值圖像。邊緣檢測(cè)具體包括以下步驟:A、首先用2D高斯濾波模板與原始圖像進(jìn)行卷積，以消除噪聲；
B、利用一階偏導(dǎo)有限差分算子找到灰度圖像沿著兩個(gè)方向的導(dǎo)數(shù)Gx，Gy，并求出梯度大小和梯度方向；
C、把梯度方向大致分為4個(gè)方向(0度，45度，90度，135度)，并找到沿這個(gè)像素梯度方向的鄰接像素；
D、遍歷圖像，若整個(gè)像素的灰度值與梯度方向上前后兩個(gè)像素的灰度值相比不是最大的，那么將這個(gè)像素值置為零，即不是邊緣。E、使用累積直方圖計(jì)算兩個(gè)閾值，凡是大于高閾值的一定是邊緣，凡是小于閾值的一定不是邊緣；如果在兩個(gè)之間，則根據(jù)這個(gè)像素的鄰接像素中有沒(méi)有超過(guò)高閾值的邊緣像素進(jìn)行判斷，如果有，則就是邊緣，否則不是邊緣。步驟四、將YUV420格式圖像縮放到固定大小。對(duì)于Y分量，根據(jù)Y分量的邊緣2值圖像選擇插值核函數(shù)，如果選擇的源象素點(diǎn)處于邊緣點(diǎn)，則選擇bi-cubic計(jì)算插值核函數(shù)，否則選擇三次B樣條插值核函數(shù)，此處邊緣2 值圖像信息由步驟三得到；對(duì)U, V分量，統(tǒng)一采用B樣條做插值核函數(shù)進(jìn)行圖像縮放。步驟五、將Y分量的邊緣2值圖像也縮放到同樣的尺寸。步驟六、對(duì)縮放之后YUV420格式圖像的Y分量，作人臉檢測(cè)，得到人臉區(qū)域。如果檢測(cè)不到人臉，則當(dāng)前圖像的人臉位置固定為上一幀圖像的人臉位置，如果連續(xù)15幀都沒(méi)有檢測(cè)到人臉，則把人臉位置移到圖像的中心位置。約定每一張圖片中人臉個(gè)數(shù)最大為2。步驟七、對(duì)縮放之后的YUV420格式圖像的Y分量的部分區(qū)域，作雙邊濾波操作。對(duì)人臉區(qū)域，不做濾波操作；對(duì)邊緣點(diǎn)，不做濾波操作，其中邊緣點(diǎn)信息由步驟五得到；對(duì)其它部分，進(jìn)行雙邊濾波。本實(shí)施例采用3x3窗口做雙邊濾波，為了不使圖像模糊，改進(jìn)了雙邊濾波器的連續(xù)高斯核函數(shù)。對(duì)于空間位置，不在采用連續(xù)高斯函數(shù)生成卷積核，而采用改進(jìn)的離散3x3的均值濾波器。步驟八、對(duì)縮放之后的YUV420格式圖像的U、V分量進(jìn)行雙邊濾波操作，得到處理以后的圖像。本文中所描述的具體實(shí)施例僅僅是對(duì)本發(fā)明思想作舉例說(shuō)明。本發(fā)明所屬技術(shù)領(lǐng)域的技術(shù)人員可以對(duì)所描述的具體實(shí)施例做各種各樣的修改或補(bǔ)充或采用類(lèi)似的方式替代，但并不會(huì)偏離本發(fā)明的精神或者超越所附權(quán)利要求書(shū)所定義的范圍。盡管本文較多地使用了邊緣檢測(cè)、雙邊濾波等術(shù)語(yǔ)，但并不排除使用其它術(shù)語(yǔ)的可能性。使用這些術(shù)語(yǔ)僅僅是為了更方便地描述和解釋本發(fā)明的本質(zhì)；把它們解釋成任何一種附加的限制都是與本發(fā)明精神相違背的。
權(quán)利要求
1.一種流媒體視頻圖像預(yù)處理方法，其特征在于，包括以下步驟步驟一、從視頻源取得一幀RGB格式的圖像；步驟二、將RGB格式的圖像轉(zhuǎn)換為YUV420格式圖像；步驟三、對(duì)YUV420格式圖像的Y分量作邊緣檢測(cè)，得到Y(jié)分量的邊緣2值圖像；步驟四、將YUV420格式圖像縮放到固定大?。徊襟E五、將Y分量的邊緣2值圖像也縮放到同樣的尺寸；步驟六、對(duì)縮放之后YUV420格式圖像的Y分量，作人臉檢測(cè)，得到人臉區(qū)域；步驟七、對(duì)縮放之后的YUV420格式圖像的Y分量的非人臉區(qū)域和非邊緣點(diǎn)，作雙邊濾波操作；步驟八、對(duì)縮放之后的YUV420格式圖像的U、V分量進(jìn)行雙邊濾波操作，得到處理以后的圖像。
2.根據(jù)權(quán)利要求1所述的流媒體視頻圖像預(yù)處理方法，其特征在于，所述邊緣檢測(cè)包括以下步驟A、首先用2D高斯濾波模板與原始圖像進(jìn)行卷積，以消除噪聲；B、利用一階偏導(dǎo)有限差分算子找到灰度圖像沿著兩個(gè)方向的導(dǎo)數(shù)Gx，Gy，并求出梯度大小和梯度方向；C、把梯度方向大致分為4個(gè)方向(0度，45度，90度，135度)，并找到沿這個(gè)像素梯度方向的鄰接像素；D、遍歷圖像，若整個(gè)像素的灰度值與梯度方向上前后兩個(gè)像素的灰度值相比不是最大的，那么將這個(gè)像素值置為零，即不是邊緣；E、使用累積直方圖計(jì)算兩個(gè)閾值，凡是大于高閾值的一定是邊緣，凡是小于閾值的一定不是邊緣；如果在兩個(gè)之間，則根據(jù)這個(gè)像素的鄰接像素中有沒(méi)有超過(guò)高閾值的邊緣像素進(jìn)行判斷，如果有，則就是邊緣，否則不是邊緣。
3.根據(jù)權(quán)利要求1所述的流媒體視頻圖像預(yù)處理方法，其特征在于，所述步驟四包括A、對(duì)于Y分量，根據(jù)Y分量的邊緣2值圖像選擇插值核函數(shù)，如果選擇的源象素點(diǎn)處于邊緣點(diǎn)，則選擇bi-cubic計(jì)算插值核函數(shù)，否則選擇三次B樣條插值核函數(shù)，此處邊緣2值圖像信息由步驟三得到；B、對(duì)U,V分量，統(tǒng)一采用B樣條做插值核函數(shù)進(jìn)行圖像縮放。
4.根據(jù)權(quán)利要求1所述的流媒體視頻圖像預(yù)處理方法，其特征在于，步驟六中，如果檢測(cè)不到人臉，則當(dāng)前圖像的人臉位置固定為上一幀圖像的人臉位置，如果連續(xù)15幀都沒(méi)有檢測(cè)到人臉，則把人臉位置移到圖像的中心位置。
5.根據(jù)權(quán)利要求1或4所述的流媒體視頻圖像預(yù)處理方法，其特征在于，每一張圖片中人臉個(gè)數(shù)最大為2。
6.根據(jù)權(quán)利要求1或2所述的流媒體視頻圖像預(yù)處理方法，其特征在于，所述步驟七包括A、對(duì)人臉區(qū)域，不做濾波操作；B、對(duì)邊緣點(diǎn)，不做濾波操作，其中邊緣點(diǎn)信息由步驟五得到；C、其它部分，進(jìn)行雙邊濾波。
全文摘要
本發(fā)明公開(kāi)了一種流媒體視頻圖像預(yù)處理方法，旨在提供一種在保證重要區(qū)域圖像質(zhì)量的情況下，降低圖像編碼碼率的視頻圖像預(yù)處理方法。本方法包括以下步驟從視頻源取得一幀RGB格式的圖像轉(zhuǎn)換為YUV420格式的圖像；對(duì)圖像的Y分量作邊緣檢測(cè)，得到邊緣2值圖像；將原圖像和邊緣2值圖像縮放固定大小；對(duì)圖像的Y分量作人臉檢測(cè)；對(duì)圖像的Y分量的非重要區(qū)域，作雙邊濾波操作；對(duì)圖像的U、V分量進(jìn)行雙邊濾波操作。圖像重要區(qū)域一半為人臉部位和邊緣部位，處理以后的圖像將可以降低編碼碼率，而對(duì)人臉等區(qū)域不進(jìn)行處理，保證重要部位的清晰度。本發(fā)明適用于手機(jī)等無(wú)線網(wǎng)絡(luò)的流媒體處理。
文檔編號(hào)H04N11/04GK102281439SQ20111016178
公開(kāi)日2011年12月14日 申請(qǐng)日期2011年6月16日 優(yōu)先權(quán)日2011年6月16日
發(fā)明者陳長(zhǎng)國(guó) 申請(qǐng)人:杭州米加科技有限公司