專利名稱：一種視頻幀率上變換的方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻序列處理技術(shù)，特別是在視頻序列中插入圖像的技術(shù)。
背景技術(shù)：
目前，電視機(jī)為了達(dá)到更清晰的顯示效果，常需要能夠以較高的幀率播放視頻序 列，因此要對(duì)輸入的視頻序列的幀率進(jìn)行提升，可以通過(guò)采用幀率上變換技術(shù)(FRUC)
對(duì)輸入的視頻信號(hào)中視頻序列的幀率進(jìn)行提升，幀率上變換技術(shù)主要包括插入重復(fù)
幀、插入黑(灰)幀、運(yùn)動(dòng)估計(jì)運(yùn)動(dòng)補(bǔ)償(MEMC)和插入低頻幀等。
現(xiàn)有視頻信號(hào)根據(jù)包含的視頻序列的特點(diǎn)可以分為兩類電影模式視頻序列和非 電影模式視頻序列。電影模式視頻序列中存在重復(fù)的幀圖像，如常被提及的3: 2電影
模式。非電影模式視頻序列中不含有重復(fù)的幀圖像。
采用現(xiàn)有的幀率上變換技術(shù)處理視頻序列時(shí)會(huì)存在以下問(wèn)題由于電影模式視頻 序列存在重復(fù)的幀圖像，這會(huì)導(dǎo)致播放這種視頻序列時(shí)在人的視覺(jué)感官上產(chǎn)生"抖動(dòng)" 的感受，經(jīng)過(guò)幀率上變換處理后相鄰兩幀圖像重復(fù)的次數(shù)更大，"抖動(dòng)"現(xiàn)象更為嚴(yán)重。 還是以3: 2電影模式為例進(jìn)行說(shuō)明，假定幀率為60Hz，即每秒鐘播放60幀圖像，但 是有效圖像只有24幀，根據(jù)人眼的視覺(jué)特性，這在人的視覺(jué)感受上就會(huì)產(chǎn)生"抖動(dòng)" 的印象。如果不對(duì)視頻模式加以判別，直接對(duì)3: 2電影進(jìn)行處理，使播放的幀率達(dá)到 120Hz，"抖動(dòng)"現(xiàn)象更嚴(yán)重。因此這一問(wèn)題需要加以解決。
現(xiàn)有的解決上述"抖動(dòng)"問(wèn)題的視頻幀率上變換方法是對(duì)待處理的視頻序列首先 進(jìn)行模式判斷，將視頻序列歸為電影模式視頻序列和非電影模式視頻序列。然后對(duì)判 斷出的電影模式視頻序列進(jìn)行幀選擇，即去除電影模式視頻序列中重復(fù)的幀圖像，同 樣內(nèi)容的幀圖像僅保留一幀。對(duì)非電影模式視頻序列和經(jīng)過(guò)幀選擇的電影模式視頻序 列進(jìn)行運(yùn)動(dòng)估計(jì)運(yùn)動(dòng)補(bǔ)償處理。該方案中采用的幀選擇和運(yùn)動(dòng)估計(jì)運(yùn)動(dòng)補(bǔ)償處理可以 有效解決"抖動(dòng)"問(wèn)題。
但現(xiàn)有的這一方案也存在如下問(wèn)題運(yùn)動(dòng)估計(jì)運(yùn)動(dòng)補(bǔ)償處理存在一定的"副作用"
(不能很好地解決運(yùn)動(dòng)物體遮擋和不規(guī)則運(yùn)動(dòng)的情況)，對(duì)于不存在上述"抖動(dòng)"問(wèn)題 的非電影模式視頻序列，采用運(yùn)動(dòng)估計(jì)運(yùn)動(dòng)補(bǔ)償處理會(huì)導(dǎo)致上述副作用的問(wèn)題比較突 出。

發(fā)明內(nèi)容
為了解決現(xiàn)有視頻幀率上變換方法存在的"副作用"的問(wèn)題，本發(fā)明提供了一種 視頻幀率上變換的方法。本發(fā)明的主要思想是用成本更低的插低頻幀等方法處理非電影模式視頻序列，能 夠消除所謂"副作用"。
本發(fā)明還提供了一種實(shí)現(xiàn)上述視頻幀率上變換方法的裝置。
本發(fā)明的技術(shù)方案如下
視頻幀率上變換的方法，包括如下步驟
A、 將待處理視頻序列歸類于以下類別之一的步驟電影模式視頻序列或非電影模 式視頻序列；
B、 將電影模式視頻序列進(jìn)行幀選擇的步驟，即將電影模式視頻序列中重復(fù)的幀圖 像僅保留一幀；
C、 對(duì)經(jīng)過(guò)步驟B處理的電影模式視頻序列進(jìn)行運(yùn)動(dòng)估計(jì)運(yùn)動(dòng)補(bǔ)償處理的步驟；
D、 如果執(zhí)行步驟A后得到的是非電影模式視頻序列，則對(duì)該非電影模式視頻序 列執(zhí)行插入低頻幀或插入重復(fù)幀或插入黑幀或插入灰?guī)幚淼牟襟E。
上述視頻幀率上變換的方法還包括如下步驟
判斷是否發(fā)生電影模式視頻序列到非電影模式視頻序列的轉(zhuǎn)變，并確定電影模式 視頻序列最后一幀圖像的位置；
在所述電影模式視頻序列最后一幀圖像后插入一定數(shù)量幀與所述最后一幀圖像相 同的圖像，實(shí)現(xiàn)電影模式視頻序列的幀率上變換；所述一定數(shù)量為插入該數(shù)量幀圖 像后，電影模式視頻序列幀率上變換后得到的視頻序列符合變換后頻率的要求。
所述插入低頻幀的步驟是指對(duì)待處理的幀圖像低通濾波，得到低頻幀；將待處
理圖像與所述低頻幀相減得到高頻幀；將所述高頻幀與所述待處理的幀圖像相加得到 高頻增強(qiáng)幀，以確定的順序排列所述高頻增強(qiáng)幀和低頻幀；將所述以確定的順序排列 的高頻增強(qiáng)幀和低頻幀按所述待處理視頻序列的時(shí)間順序重新構(gòu)成視頻序列。
另一種插入低頻幀的步驟是指對(duì)待處理的幀圖像分別進(jìn)行高通濾波和低通濾波，
得到高頻幀與低頻幀，將所述高頻幀與所述待處理的幀圖像相加得到高頻增強(qiáng)幀，以
確定的順序排列所述高頻增強(qiáng)幀和低頻幀；將所述以確定的順序排列的高頻增強(qiáng)幀和 低頻幀按所述待處理視頻序列的時(shí)間順序重新構(gòu)成視頻序列。 實(shí)現(xiàn)上述視頻幀率上變換方法的裝置，包括如下模塊
檢測(cè)視頻序列類別模塊，用于執(zhí)行如下步驟檢測(cè)并將待處理視頻序列歸類于以 下類別之一的步驟電影模式視頻序列或非電影模式視頻序列；
幀選擇模塊，用于執(zhí)行如下步驟將電影模式視頻序列中重復(fù)的幀圖像僅保留一
幀；
運(yùn)動(dòng)估計(jì)運(yùn)動(dòng)補(bǔ)償模塊，用于執(zhí)行如下步驟對(duì)經(jīng)過(guò)幀選擇模塊處理的電影模式 視頻序列進(jìn)行運(yùn)動(dòng)估計(jì)運(yùn)動(dòng)補(bǔ)償處理；
非電影模式視頻處理模塊，用于執(zhí)行如下步驟之一對(duì)檢測(cè)視頻序列類別模塊輸 出的非電影模式視頻序列插入低頻幀或插入重復(fù)幀或插入黑幀或插入灰?guī)?br> 檢測(cè)視頻序列類別模塊、幀選擇模塊和運(yùn)動(dòng)估計(jì)運(yùn)動(dòng)補(bǔ)償模塊順序連接；檢測(cè)視 頻序列類別模塊還與非電影模式視頻處理模塊連接。上述裝置還包括模式轉(zhuǎn)換判斷模塊和模式轉(zhuǎn)換處理模塊，模式轉(zhuǎn)換判斷模塊與檢 測(cè)視頻序列類別模塊連接，還與模式轉(zhuǎn)換處理模塊連接；
模式轉(zhuǎn)換判斷模塊執(zhí)行如下步驟判斷是否發(fā)生電影模式視頻序列到非電影模式 視頻序列的轉(zhuǎn)變，并確定電影模式視頻序列最后一幀圖像的位置；
模式轉(zhuǎn)換處理模塊執(zhí)行如下步驟在所述電影模式視頻序列最后一幀圖像后插入 一定數(shù)量幀與所述最后一幀圖像相同的圖像，實(shí)現(xiàn)電影模式視頻序列的幀率上變換； 所述一定數(shù)量為插入該數(shù)量幀圖像后，電影模式視頻序列幀率上變換后得到的視頻 序列符合變換后頻率的要求。
執(zhí)行插入低頻幀步驟的非電影模式視頻處理模塊執(zhí)行如下步驟
對(duì)待處理的幀圖像低通濾波，得到低頻幀；將待處理圖像與所述低頻幀相減得到 高頻幀；將所述高頻幀與所述待處理的幀圖像相加得到高頻增強(qiáng)幀，以確定的順序排 列所述高頻增強(qiáng)幀和低頻幀；將所述以確定的順序排列的高頻增強(qiáng)幀和低頻幀按所述 待處理視頻序列的時(shí)間順序重新構(gòu)成視頻序列。
另一種方案，執(zhí)行插入低頻幀步驟的非電影模式視頻處理模塊執(zhí)行如下步驟
對(duì)待處理的幀圖像分別進(jìn)行高通濾波和低通濾波，得到高頻幀與低頻幀，將所述 高頻幀與所述待處理的幀圖像相加得到高頻增強(qiáng)幀，以確定的順序排列所述高頻增強(qiáng) 幀和低頻幀；將所述以確定的順序排列的高頻增強(qiáng)幀和低頻幀按所述待處理視頻序列 的時(shí)間順序重新構(gòu)成視頻序列。
本發(fā)明的技術(shù)效果
本發(fā)明的技術(shù)方案對(duì)非電影模式視頻序列不采用現(xiàn)有技術(shù)中采用的運(yùn)動(dòng)估計(jì)運(yùn)動(dòng) 補(bǔ)償方法進(jìn)行幀率上變換，而是采用插入低頻幀或插入重復(fù)幀等幀率上變換方法。由 于非電影模式視頻序列不存在產(chǎn)生上述"抖動(dòng)"的原因，因此運(yùn)動(dòng)估計(jì)運(yùn)動(dòng)補(bǔ)償方法 具有的降低"抖動(dòng)"現(xiàn)象的功能并不會(huì)對(duì)非電影模式視頻序列有益，而且運(yùn)動(dòng)估計(jì)運(yùn) 動(dòng)補(bǔ)償還具有一些固有的"副作用"會(huì)對(duì)非電影模式視頻序列的處理帶來(lái)有害的影響， 如不能很好地解決運(yùn)動(dòng)物體遮擋和不規(guī)則運(yùn)動(dòng)的情況。因此本發(fā)明采用了替代運(yùn)動(dòng)估 計(jì)運(yùn)動(dòng)補(bǔ)償?shù)姆桨?，即插入低頻幀或重復(fù)幀等方法，這些方法經(jīng)過(guò)實(shí)踐證明是簡(jiǎn)單有 效的幀率上變換方法，不會(huì)產(chǎn)生如運(yùn)動(dòng)估計(jì)運(yùn)動(dòng)補(bǔ)償一樣的"副作用"。
需要說(shuō)明的是本發(fā)明所說(shuō)的"重復(fù)的幀圖像"如果沒(méi)有特別說(shuō)明，是指在生成電影 模式視頻序列過(guò)程中對(duì)原始幀圖像經(jīng)過(guò)幀到場(chǎng)的轉(zhuǎn)換以及去隔行處理產(chǎn)生并插入到視 頻序列中的若干同樣的幀圖像，如3: 2模式視頻序列中節(jié)拍3所代表的三個(gè)重復(fù)的幀 圖像；而不是僅指圖像內(nèi)容相同的若干幀圖像。


圖1為本發(fā)明視頻幀率上變換方法的一個(gè)實(shí)施例的流程圖。 圖2為本發(fā)明裝置的一個(gè)實(shí)施例的結(jié)構(gòu)原理圖。
具體實(shí)施方式
以下結(jié)合附圖對(duì)本發(fā)明的技術(shù)方案進(jìn)行詳細(xì)說(shuō)明。
首先對(duì)簡(jiǎn)單的情況下本發(fā)明的方法進(jìn)行說(shuō)明，即僅對(duì)模式唯一的視頻序列進(jìn)行判 斷與處理。第一步，對(duì)輸入的視頻序列進(jìn)行判斷并歸類于以下類型之一電影模式視 頻序列或非電影模式視頻序列。具體的方法可以引用申請(qǐng)人向中國(guó)專利局提交的申請(qǐng) 號(hào)為200810110925.6的專利申請(qǐng)。需要說(shuō)明的是，該申請(qǐng)中的視頻源為隔行視頻源， 本實(shí)施例中的視頻源為逐行視頻源。二者的視頻類型判斷方法原理相同，逐行視頻源 的視頻類型判斷方法可由隔行視頻源的視頻類型判斷方法推出。
如果上一步驟對(duì)輸入的視頻序列的判斷結(jié)果為電影模式視頻序列，則對(duì)該視頻序 列進(jìn)行幀選擇，即消除電影模式視頻序列中重復(fù)的幀圖像。以24Hz的3: 2電影模式 視頻序列為例，以前述方法判斷出了該視頻序列為3: 2電影模式，即順序的五幀圖像 中有三幀重復(fù)的圖像，及兩幀重復(fù)的圖像，因此可以在重復(fù)的三幀圖像中取一幀F(xiàn)" 重復(fù)的兩幀圖像中取一幀F(xiàn)2，以后的順序的每五幀都采取相同的操作，這樣又得到了 24Hz的視頻序列。具體的選擇方法為3: 2電影中形如A1,A2，A3,B1，B2的序列，選 擇A1， Bl進(jìn)行后續(xù)操作。其他電影模式視頻的選擇方法同理可推。
對(duì)重新得到的24Hz的視頻序列進(jìn)行運(yùn)動(dòng)估計(jì)運(yùn)動(dòng)補(bǔ)償處理，以下對(duì)運(yùn)動(dòng)估計(jì)運(yùn)動(dòng) 補(bǔ)償處理進(jìn)行舉例說(shuō)明。
一種可能的實(shí)現(xiàn)方法是基于3D遞歸搜索的運(yùn)動(dòng)估計(jì)運(yùn)動(dòng)補(bǔ)償方法，還可以是基于 FFT的運(yùn)動(dòng)估計(jì)運(yùn)動(dòng)補(bǔ)償方法。本實(shí)施例采用的是3D遞歸的方法。
具體步驟包括
獲得侯選運(yùn)動(dòng)矢量集合C。釆用基于塊匹配的3D遞歸搜索，根據(jù)視頻中存在的時(shí) 間及空間相關(guān)性，為當(dāng)前塊選取一些參考?jí)K進(jìn)行運(yùn)動(dòng)估計(jì)，得到侯選運(yùn)動(dòng)矢量集合C。
選取運(yùn)動(dòng)矢量。在侯選運(yùn)動(dòng)矢量集合C中，根據(jù)誤差準(zhǔn)則選定運(yùn)動(dòng)矢量。誤差準(zhǔn) 貝ll可以是SAD ( Summed Absolute Difference) 、 MSE ( mean square error )、 NCCF(Normalized Cross Correlation Function)等。本實(shí)施例選用的準(zhǔn)則是SAD準(zhǔn)貝U。 通過(guò)計(jì)算當(dāng)前塊內(nèi)所有像素與匹配塊內(nèi)所有像素亮度差值的和，選取差值和最小的運(yùn) 動(dòng)矢量為該塊的運(yùn)動(dòng)矢量。具體的方法采用了相關(guān)文獻(xiàn) (G.D.Haan，P.W.A.C.Biezen,H.Huijgen，and O.A.Ojo, "True-motion estimation with 3-D recursive search block matching, " IEEE Trans. Circuits Syst. Video Technol.，vol.3,no.5,pp.368-379，Oct.l993)的相關(guān)內(nèi)容。
運(yùn)動(dòng)估計(jì)后，根據(jù)運(yùn)動(dòng)矢量進(jìn)行運(yùn)動(dòng)補(bǔ)償插幀。具體包括如下步驟根據(jù)運(yùn)動(dòng)矢 量，找出內(nèi)插幀中像素在前后兩幀原始幀中的對(duì)應(yīng)位置，將對(duì)應(yīng)位置處像素的值加權(quán) 平均，即可得到內(nèi)插幀中的像素值。具體的方法采用了相關(guān)文獻(xiàn)(Byung-Tae Choi,Sung-Hee Lee and Sung_Jea Ko，"New frame rate up-conversion using bi-directional motion estimation",IEEE transactions on Consumer Electronics,Vol.46，No.3，August 2000) 的相關(guān)內(nèi)容。
本實(shí)施例應(yīng)用于倍頻變換，如從60Hz提升至120Hz，內(nèi)插幀的相位為1/2,這是 一種等相位插幀的方法，即所有幀之間的時(shí)間差是相同的，畫(huà)面看起來(lái)連續(xù)感更強(qiáng)。事實(shí)上，本發(fā)明采用的MEMC方法可以實(shí)現(xiàn)任意等相位插幀，即兩幀原始幀間可以插入 任意多個(gè)內(nèi)插幀。因此，MEMC可以應(yīng)用到但不限于倍頻的轉(zhuǎn)換，可以實(shí)現(xiàn)任意幀率之 間的轉(zhuǎn)換。
如果對(duì)輸入的視頻序列判斷的結(jié)果是非電影模式視頻序列，將該視頻序列采用插 入低頻幀或插入重復(fù)幀方法進(jìn)行幀率提升。采用這種處理方式可以減輕非電影模式視 頻序列幀率提升后的模糊現(xiàn)象。對(duì)非電影模式視頻序列的幀率提升并不限于本發(fā)明中
的方法，也可以采用現(xiàn)有的插入黑幀或插入灰?guī)绕渌椒ā?上述插入低頻幀的方法可以通過(guò)如下步驟實(shí)現(xiàn)
對(duì)待處理的幀圖像低通濾波，得到低頻幀。將待處理圖像與所述低頻幀相減得到 高頻幀。將所述高頻幀與所述待處理的幀圖像相加得到高頻增強(qiáng)幀，以確定的順序排 列所述高頻增強(qiáng)幀和低頻幀。將所述以確定的順序排列的高頻增強(qiáng)幀和低頻幀按所述 待處理視頻序列的時(shí)間順序重新構(gòu)成視頻序列。即將一幀待處理圖像分解成高頻增強(qiáng) 幀與低頻幀，用高頻增強(qiáng)幀加低頻幀替代待處理圖像并以原始視頻序列的順序依次排 列分解得到的高頻增強(qiáng)幀加低頻幀，實(shí)現(xiàn)幀率上變換。根據(jù)上變換要得到的幀率適當(dāng) 增加低頻幀的數(shù)量(如高頻增強(qiáng)幀加兩個(gè)低頻幀)，構(gòu)成幀率上變換后的視頻序列。以 下以一個(gè)具體實(shí)例進(jìn)行說(shuō)明采用7X11的二維高斯濾波器對(duì)待處理圖像進(jìn)行低通濾
波，得到低頻幀。高頻幀由待處理的幀圖像與低頻幀相減得到。高頻增強(qiáng)幀由高頻幀 與待處理的幀圖像相加得到。對(duì)原始視頻序列中所有的幀圖像均進(jìn)行上述處理，完成 處理后保持從每一原始幀圖像得到的高頻增強(qiáng)幀和低頻幀的排列順序構(gòu)成一個(gè)變換后 視頻序列單位，按原始視頻序列中幀圖像的排列順序(時(shí)間順序)排列上述變換后視 頻序列單位即構(gòu)成了完成幀率上變換的視頻序列。變換后的視頻序列呈現(xiàn)高頻增強(qiáng)幀 和低頻幀間隔排列的狀態(tài)。本方法可以有效地增加視頻序列的清晰度。
插入低頻幀的方法還可以采用另一種，具體實(shí)現(xiàn)方法與前一種方法類似，主要區(qū) 別在于高頻幀與低頻幀是對(duì)待處理的幀圖像分別進(jìn)行常規(guī)的高通濾波和低通濾波得到 的，其他步驟與前一方法相同。
上述插入重復(fù)幀的方法可以采用現(xiàn)有技術(shù)，在視頻序列中需要插入幀圖像的位置 插入與該位置前或后原始幀圖像相同的圖像，實(shí)現(xiàn)幀率上變換。
其次對(duì)復(fù)雜情況下本發(fā)明的方法進(jìn)行說(shuō)明(發(fā)生模式轉(zhuǎn)換的情況)，即待處理視頻 序列中含有多種視頻模式，當(dāng)視頻模式發(fā)生變換時(shí)的情況進(jìn)行的處理。這里所說(shuō)的模 式變換是指視頻序列中一個(gè)模式的序列結(jié)束，另一個(gè)模式序列開(kāi)始的情況。采用申請(qǐng)
人向中國(guó)專利局提交的申請(qǐng)?zhí)枮?00810110925.6的專利申請(qǐng)中的技術(shù)方案對(duì)視頻序列 進(jìn)行模式判斷，視頻序列中電影模式序列結(jié)束(而視頻序列未結(jié)束)時(shí)會(huì)出現(xiàn)電影模 式到非電影模式的轉(zhuǎn)換(以下簡(jiǎn)稱為模式轉(zhuǎn)換)。在發(fā)生上述模式轉(zhuǎn)換時(shí)有可能出現(xiàn)這 樣的問(wèn)題，即結(jié)束的這一個(gè)模式的視頻序列經(jīng)過(guò)幀率上變換處理后會(huì)發(fā)生變化后結(jié)果 與需要上變換得到的幀率有出入。需要指出的是從非電影模式到電影模式的轉(zhuǎn)換不會(huì) 出現(xiàn)上述問(wèn)題，而上述模式轉(zhuǎn)換的情況會(huì)出現(xiàn)這個(gè)問(wèn)題。為了解決這一問(wèn)題，本發(fā) 對(duì)上述模式轉(zhuǎn)換處理的方法是判斷出發(fā)生模式轉(zhuǎn)換后，對(duì)電影模式視頻序列最后一幀圖像后插入特定數(shù)量重復(fù)幀圖像(即在所述最后一幀圖像后加入特定數(shù)量幀的該圖像 的復(fù)制圖像)，以滿足上變換后頻率的要求。具體舉例說(shuō)明如下
以3: 2電影為例。在3: 2電影的一段10幀的序列A1， A2， Bl， B2， B3， Cl， C2， Dl， D2, D3中，原始幀率為60Hz，幀率上變換后的幀率設(shè)定為120Hz，也即為 倍頻變換。假設(shè)在C2處發(fā)生了電影模式到非電影模式的轉(zhuǎn)換，即在C2處檢測(cè)出之后 的視頻序列(包含C2)為非電影模式序列。按照前述方法，A1 C1均為電影模式序列， 經(jīng)過(guò)幀選擇后選取A1， Bl， C1進(jìn)行MEMC處理，幀率上變換后生成的序列為AB1， AB2， AB3， AB4， AB5， BC1， BC2， BC3， BC4， BC5。而C2' Dl， D2， D3為非 電影模式序列，按照通常插入重復(fù)幀的方法將生成C2， C2， Dl， Dl， D2， D2, D3， D3。因此，所述待處理的序列，經(jīng)過(guò)幀率上變換后最終生成18幀的序列AB1， AB2， AB3， AB4， AB5， BC1， BC2， BC3， BC4， BC5， C2， C2， Dl， Dl， D2， D2， D3， D3。顯然IO幀變換為18幀并不符合倍頻變換。因此，本發(fā)明采用對(duì)發(fā)生視頻模式轉(zhuǎn) 換的幀的前一幀重復(fù)特定次數(shù)的方法，達(dá)到倍頻變換的目的。在上述例子中，發(fā)生視 頻模式轉(zhuǎn)換的幀為C2，其前一幀為C1，重復(fù)C1幀2次，最終完成10幀到20幀的倍 頻變換。
在其他幀發(fā)生電影模式發(fā)生轉(zhuǎn)換的情況，均可參照上述實(shí)施例得到特定的重復(fù)次 數(shù)，實(shí)現(xiàn)幀率上變換。
需要說(shuō)明的是申請(qǐng)人向中國(guó)專利局提交的申請(qǐng)?zhí)枮?00810110925.6的專利申請(qǐng)中 沒(méi)有對(duì)電影模式發(fā)生模式轉(zhuǎn)換時(shí)如何進(jìn)行判斷進(jìn)行描述，在此簡(jiǎn)要說(shuō)明判斷發(fā)生模式 轉(zhuǎn)換的方法。根據(jù)該申請(qǐng)中的技術(shù)方案，視頻序列中每一幀圖像都要與前面若干幀圖 像構(gòu)成的一個(gè)視頻序列片段作為判斷的對(duì)象，與表中所列的電影模式類型進(jìn)行對(duì)比， 相當(dāng)于對(duì)每一幀圖像進(jìn)行模式判斷。當(dāng)發(fā)生模式轉(zhuǎn)換時(shí)，非電影模式(或其他電影模 式)第一幀與前面電影模式若干幀圖像構(gòu)成的一個(gè)視頻序列片段在表中無(wú)法找到對(duì)應(yīng) 結(jié)果，此時(shí)可以判斷發(fā)生電影模式轉(zhuǎn)換，電影模式視頻序列的最后一幀是當(dāng)前判斷幀 圖像的前一幀。
結(jié)合圖1對(duì)考慮復(fù)雜情況下本發(fā)明方法的過(guò)程進(jìn)行簡(jiǎn)要描述(對(duì)于以上有過(guò)詳細(xì) 介紹的步驟在本描述中不再詳細(xì)說(shuō)明)首先對(duì)輸入的視頻序列中每一幀圖像進(jìn)行模式 判斷(電影模式和非電影模式)；如果是電影模式，則進(jìn)行幀選擇和運(yùn)動(dòng)估計(jì)運(yùn)動(dòng)補(bǔ)償 處理；如果是非電影模式，則需要進(jìn)一步判斷是否發(fā)生模式轉(zhuǎn)換，如果發(fā)生模式轉(zhuǎn)換， 則進(jìn)行上述模式轉(zhuǎn)換的處理步驟，然后再進(jìn)行插入重復(fù)幀或插入黑幀或插入低頻幀步 驟；如果非電影模式?jīng)]有發(fā)生模式轉(zhuǎn)換，則直接進(jìn)行插入重復(fù)幀或插入黑幀或插入低 頻幀步驟。
圖2顯示了實(shí)現(xiàn)圖1所示方法的裝置的原理結(jié)構(gòu)，該裝置主要包括如下模塊 檢測(cè)視頻序列類別模塊，用于執(zhí)行如下步驟檢測(cè)并將待處理視頻序列歸類于以
下類別之一的步驟電影模式視頻序列或非電影模式視頻序列。
幀選擇模塊，用于執(zhí)行如下步驟將電影模式視頻序列中重復(fù)的幀圖像僅保留一 幀，以消除電影模式視頻序列中重復(fù)的幀圖像。運(yùn)動(dòng)估計(jì)運(yùn)動(dòng)補(bǔ)償模塊，用于執(zhí)行如下步驟對(duì)經(jīng)過(guò)幀選擇模塊處理的電影模式 視頻序列進(jìn)行運(yùn)動(dòng)估計(jì)運(yùn)動(dòng)補(bǔ)償處理，實(shí)現(xiàn)幀率上變換。
非電影模式視頻處理模塊，用于對(duì)非電影模式視頻序列進(jìn)行處理，實(shí)現(xiàn)非電影模 式視頻序列的幀率上變換。具體的，非電影模式視頻處理模塊執(zhí)行如下步驟之一對(duì) 檢測(cè)視頻序列類別模塊輸出的非電影模式視頻序列插入低頻幀或插入重復(fù)幀或插入黑 幀或插入灰?guī)?br> 針對(duì)前述的簡(jiǎn)單的情況(即視頻序列不發(fā)生模式轉(zhuǎn)換)，可以將上述模塊進(jìn)行如下 設(shè)置檢測(cè)視頻序列類別模塊、幀選擇模塊和運(yùn)動(dòng)估計(jì)運(yùn)動(dòng)補(bǔ)償模塊順序連接；檢測(cè) 視頻序列類別模塊還與非電影模式視頻處理模塊連接。
針對(duì)前述的復(fù)雜的情況(即視頻序列發(fā)生模式轉(zhuǎn)換)，還需要在針對(duì)簡(jiǎn)單情況設(shè)置 的基礎(chǔ)上增加模式轉(zhuǎn)換判斷模塊與模式轉(zhuǎn)換處理模塊。
針對(duì)復(fù)雜情況的裝置包括
檢測(cè)視頻序列類別模塊，用于執(zhí)行如下步驟檢測(cè)并將待處理視頻序列歸類于以 下類別之一的步驟電影模式視頻序列或非電影模式視頻序列。
幀選擇模塊，用于執(zhí)行如下步驟將電影模式視頻序列中重復(fù)的幀圖像僅保留一 幀，以消除電影模式視頻序列中重復(fù)的幀圖像。
運(yùn)動(dòng)估計(jì)運(yùn)動(dòng)補(bǔ)償模塊，用于執(zhí)行如下步驟對(duì)經(jīng)過(guò)幀選擇模塊處理的電影模式 視頻序列進(jìn)行運(yùn)動(dòng)估計(jì)運(yùn)動(dòng)補(bǔ)償處理，實(shí)現(xiàn)幀率上變換。
非電影模式視頻處理模塊，用于對(duì)非電影模式視頻序列進(jìn)行處理，實(shí)現(xiàn)非電影模 式視頻序列的幀率上變換。具體的，非電影模式視頻處理模塊執(zhí)行如下步驟之一對(duì) 檢測(cè)視頻序列類別模塊輸出的非電影模式視頻序列插入低頻幀或插入重復(fù)幀或插入黑 幀或插入灰?guī)?br> 模式轉(zhuǎn)換判斷模塊，用于執(zhí)行如下步驟判斷是否發(fā)生電影模式視頻序列到非電 影模式視頻序列的轉(zhuǎn)變，并確定電影模式視頻序列最后一幀圖像的位置；
模式轉(zhuǎn)換處理模塊，用于執(zhí)行如下步驟在所述電影模式視頻序列最后一幀圖像 后插入一定數(shù)量幀與所述最后一幀圖像相同的圖像，實(shí)現(xiàn)電影模式視頻序列的幀率上 變換；所述一定數(shù)量為插入該數(shù)量幀圖像后，電影模式視頻序列幀率上變換后得到 的視頻序列符合變換后頻率的要求。
各模塊之間的連接關(guān)系是檢測(cè)視頻序列類別模塊、幀選擇模塊和運(yùn)動(dòng)估計(jì)運(yùn)動(dòng) 補(bǔ)償模塊順序連接；檢測(cè)視頻序列類別模塊還與非電影模式視頻處理模塊連接；模式 轉(zhuǎn)換判斷模塊與檢測(cè)視頻序列類別模塊連接，還與模式轉(zhuǎn)換處理模塊連接。
當(dāng)非電影模式視頻處理模塊插入低頻幀步驟，其具體步驟如下對(duì)待處理的幀圖 像低通濾波，得到低頻幀；將待處理圖像與所述低頻幀相減得到高頻幀；將所述高頻 幀與所述待處理的幀圖像相加得到高頻增強(qiáng)幀，以確定的順序排列所述高頻增強(qiáng)幀和 低頻幀，例如高頻增強(qiáng)幀在前，低頻幀在后；將所述以確定的順序排列的高頻增強(qiáng)幀 和低頻幀按所述待處理視頻序列的時(shí)間順序重新構(gòu)成視頻序列。具體實(shí)現(xiàn)時(shí)，采用7 Xll的二維高斯濾波器進(jìn)行低通濾波，得到低頻幀。高頻幀由所述待處理的幀圖像與低幀幀相減得到。高頻增強(qiáng)幀由高頻幀與所述待處理的幀圖像相加得到。對(duì)視頻序列 中所有的幀圖像均進(jìn)行上述處理，完成處理后保持從每一原始幀圖像得到的高頻增強(qiáng) 幀和低頻幀的排列順序構(gòu)成一個(gè)變換后視頻序列單位，按原始視頻序列中幀圖像的排 列順序(時(shí)間順序)排列上述變換后視頻序列單位即構(gòu)成了完成幀率上變換的視頻序 列，變換后的視頻序列呈現(xiàn)高頻增強(qiáng)幀和低頻幀間隔排列的狀態(tài)。
當(dāng)非電影模式視頻處理模塊插入低頻幀步驟，另一種實(shí)現(xiàn)方案是插入低頻幀的具 體步驟為對(duì)待處理的幀圖像分別進(jìn)行高通濾波和低通濾波，得到高頻幀與低頻幀， 將所述高頻幀與所述待處理的幀圖像相加得到高頻增強(qiáng)幀，以確定的順序排列所述高 頻增強(qiáng)幀和低頻幀；將所述以確定的順序排列的高頻增強(qiáng)幀和低頻幀按所述待處理視 頻序列的時(shí)間順序重新構(gòu)成視頻序列，實(shí)現(xiàn)幀率上變換。
對(duì)圖2中的非電影模式視頻處理模塊執(zhí)行插入重復(fù)幀或插入黑幀或插入灰?guī)襟E 簡(jiǎn)單說(shuō)明還可以執(zhí)行以下方法之一以替代上述對(duì)待處理幀圖像進(jìn)行低通濾波的步驟:
(1) 插入重復(fù)幀在待處理幀圖像后插入同樣的幀圖像，即在視頻序列中需要插 入幀圖像的位置插入與該位置前或后原始幀圖像相同的圖像，實(shí)現(xiàn)幀率上變換。
(2) 插入黑幀在待處理幀圖像后插入黑幀(黑幀圖像)，實(shí)現(xiàn)幀率上變換。
(3) 插入灰?guī)诖幚韼瑘D像后插入灰?guī)?灰?guī)瑘D像)，實(shí)現(xiàn)幀率上變換。
權(quán)利要求
1、視頻幀率上變換的方法，包括如下步驟A、將待處理視頻序列歸類于以下類別之一的步驟電影模式視頻序列或非電影模式視頻序列；B、將電影模式視頻序列進(jìn)行幀選擇的步驟，即將電影模式視頻序列中重復(fù)的幀圖像僅保留一幀；C、對(duì)經(jīng)過(guò)步驟B處理的電影模式視頻序列進(jìn)行運(yùn)動(dòng)估計(jì)運(yùn)動(dòng)補(bǔ)償處理的步驟；其特征在于還包括如下步驟D、如果執(zhí)行步驟A后得到的是非電影模式視頻序列，則對(duì)該非電影模式視頻序列執(zhí)行插入低頻幀或插入重復(fù)幀或插入黑幀或插入灰?guī)幚淼牟襟E。
2、 根據(jù)權(quán)利要求1所述視頻幀率上變換的方法，其特征在于還包括如下步驟-判斷是否發(fā)生電影模式視頻序列到非電影模式視頻序列的轉(zhuǎn)變，并確定電影模式視頻序列最后 一幀圖像的位置；在所述電影模式視頻序列最后一幀圖像后插入一定數(shù)量幀與所述最后一幀圖像相 同的圖像，實(shí)現(xiàn)電影模式視頻序列的幀率上變換；所述一定數(shù)量為插入該數(shù)量幀圖 像后，電影模式視頻序列幀率上變換后得到的視頻序列符合變換后頻率的要求。
3、 根據(jù)權(quán)利要求1或2所述視頻幀率上變換的方法，其特征在于所述插入低頻幀 的步驟是指對(duì)待處理的幀圖像低通濾波，得到低頻幀；將待處理圖像與所述低頻幀 相減得到高頻幀；將所述高頻幀與所述待處理的幀圖像相加得到高頻增強(qiáng)幀，以確定 的順序排列所述高頻增強(qiáng)幀和低頻幀；將所述以確定的順序排列的高頻增強(qiáng)幀和低頻 幀按所述待處理視頻序列的時(shí)間順序重新構(gòu)成視頻序列。
4、 根據(jù)權(quán)利要求1或2所述視頻幀率上變換的方法，其特征在于所述插入低頻幀 的步驟是指對(duì)待處理的幀圖像分別進(jìn)行高通濾波和低通濾波，得到高頻幀與低頻幀， 將所述高頻幀與所述待處理的幀圖像相加得到高頻增強(qiáng)幀，以確定的順序排列所述高 頻增強(qiáng)幀和低頻幀；將所述以確定的順序排列的高頻增強(qiáng)幀和低頻幀按所述待處理視 頻序列的時(shí)間順序重新構(gòu)成視頻序列。
5、 實(shí)現(xiàn)權(quán)利要求1所述視頻幀率上變換方法的裝置，其特征在于包括如下模塊 檢測(cè)視頻序列類別模塊，用于執(zhí)行如下步驟檢測(cè)并將待處理視頻序列歸類于以下類別之一的步驟電影模式視頻序列或非電影模式視頻序列；幀選擇模塊，用于執(zhí)行如下步驟將電影模式視頻序列中重復(fù)的幀圖像僅保留一幀；運(yùn)動(dòng)估計(jì)運(yùn)動(dòng)補(bǔ)償模塊，用于執(zhí)行如下步驟對(duì)經(jīng)過(guò)幀選擇模塊處理的電影模式 視頻序列進(jìn)行運(yùn)動(dòng)估計(jì)運(yùn)動(dòng)補(bǔ)償處理；非電影模式視頻處理模塊，用于執(zhí)行如下步驟之一對(duì)檢測(cè)視頻序列類別模塊輸 出的非電影模式視頻序列插入低頻幀或插入重復(fù)幀或插入黑幀或插入灰?guī)?；檢測(cè)視頻序列類別模塊、幀選擇模塊和運(yùn)動(dòng)估計(jì)運(yùn)動(dòng)補(bǔ)償模塊順序連接；檢測(cè)視頻序列類別模塊還與非電影模式視頻處理模塊連接。
6、 根據(jù)權(quán)利要求5所述裝置，其特征在于還包括模式轉(zhuǎn)換判斷模塊和模式轉(zhuǎn)換處 理模塊，模式轉(zhuǎn)換判斷模塊與檢測(cè)視頻序列類別模塊連接，還與模式轉(zhuǎn)換處理模塊連 接；模式轉(zhuǎn)換判斷模塊執(zhí)行如下步驟判斷是否發(fā)生電影模式視頻序列到非電影模式 視頻序列的轉(zhuǎn)變，并確定電影模式視頻序列最后一幀圖像的位置；模式轉(zhuǎn)換處理模塊執(zhí)行如下步驟在所述電影模式視頻序列最后一幀圖像后插入 一定數(shù)量幀與所述最后一幀圖像相同的圖像，實(shí)現(xiàn)電影模式視頻序列的幀率上變換； 所述一定數(shù)量為插入該數(shù)量幀圖像后，電影模式視頻序列幀率上變換后得到的視頻 序列符合變換后頻率的要求。
7、 根據(jù)權(quán)利要求5或6所述裝置，其特征在于執(zhí)行插入低頻幀步驟的非電影模式視頻處理模塊執(zhí)行如下步驟對(duì)待處理的幀圖像低通濾波，得到低頻幀；將待處理圖像與所述低頻幀相減得到 高頻幀；將所述高頻幀與所述待處理的幀圖像相加得到高頻增強(qiáng)幀，以確定的順序排 列所述高頻增強(qiáng)幀和低頻幀；將所述以確定的順序排列的高頻增強(qiáng)幀和低頻幀按所述 待處理視頻序列的時(shí)間順序重新構(gòu)成視頻序列。
8、 根據(jù)權(quán)利要求5或6所述裝置，其特征在于執(zhí)行插入低頻幀步驟的非電影模式 視頻處理模塊執(zhí)行如下步驟對(duì)待處理的幀圖像分別進(jìn)行高通濾波和低通濾波，得到高頻幀與低頻幀，將所述 高頻幀與所述待處理的幀圖像相加得到高頻增強(qiáng)幀，以確定的順序排列所述高頻增強(qiáng) 幀和低頻幀；將所述以確定的順序排列的高頻增強(qiáng)幀和低頻幀按所述待處理視頻序列 的時(shí)間順序重新構(gòu)成視頻序列。
全文摘要
為了解決現(xiàn)有視頻幀率上變換方法存在的不能很好地解決運(yùn)動(dòng)物體遮擋和不規(guī)則運(yùn)動(dòng)的情況的問(wèn)題，本發(fā)明提供了一種視頻幀率上變換的方法將待處理視頻序列歸類于以下類別之一電影模式視頻序列或非電影模式視頻序列；將電影模式視頻序列進(jìn)行幀選擇；對(duì)經(jīng)過(guò)前一步驟處理的電影模式視頻序列進(jìn)行運(yùn)動(dòng)估計(jì)運(yùn)動(dòng)補(bǔ)償處理；對(duì)非電影模式視頻序列進(jìn)行插入低頻幀或插入重復(fù)幀等處理。本發(fā)明的視頻幀率上變換方法可以應(yīng)用于視頻序列幀率變換的情況。
文檔編號(hào)H04N5/44GK101616279SQ20091015791
公開(kāi)日2009年12月30日 申請(qǐng)日期2009年7月16日 優(yōu)先權(quán)日2009年7月16日
發(fā)明者柳崎峰, 石廣建, 旭 董, 睿 韓 申請(qǐng)人:寶利微電子系統(tǒng)控股公司