專利名稱：視頻數(shù)據(jù)處理方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及數(shù)字視頻處理，更具體地說，涉及一種利用從壓縮視頻流中提
取的信息進(jìn)行運(yùn)動(dòng)補(bǔ)償圖像率提升(picture rate up-conversion，縮寫為PRUC)
的方法和系統(tǒng)。
背景技術(shù)：
視頻顯示技術(shù)正在經(jīng)歷變革，基于液晶顯示器(LCD)或者等離子顯示平 板(PDP)的平面屏幕顯示器正在取代統(tǒng)治顯示領(lǐng)域大半個(gè)世紀(jì)的陰極射線管 (CRT)技術(shù)?，F(xiàn)有新技術(shù)的顯著特點(diǎn)是圖像以較高的圖像率通過逐行掃描 (progressive scanning)顯示在平板顯示屏上。此項(xiàng)新的顯示技術(shù)還可促進(jìn)從 標(biāo)清電視(SDTV)向高清電視(HDTV)的快速轉(zhuǎn)換。然而，傳統(tǒng)的老式視 頻壓縮系統(tǒng)仍然使用低圖像率的格式，并不能在現(xiàn)代的新顯示屏上最優(yōu)地顯示 老式視頻。
信道容量的限制可能會(huì)對(duì)低圖像率的圖像的顯示造成影響。例如， 一個(gè) 30Hz的視頻序列通過移動(dòng)網(wǎng)絡(luò)進(jìn)行廣播，那么移動(dòng)終端例如移動(dòng)電話就會(huì)從 服務(wù)器接收到一個(gè)編碼后的視頻序列。然而，基于帶寬的限制，只能傳送低比 特流的視頻序列。因此，解碼器將會(huì)移除待傳送的每三個(gè)圖像中的兩個(gè)圖像， 從而最后的視頻序列的圖像率僅為10Hz。終端雖然能夠顯示30Hz的視頻，但 由于其接收到的視頻僅為10Hz，因此該終端在顯示過程中需要進(jìn)行圖像率轉(zhuǎn) 換。
比較本發(fā)明后續(xù)將要結(jié)合附圖介紹的系統(tǒng)，現(xiàn)有技術(shù)的其它局限性和弊端 對(duì)于本領(lǐng)域的普通技術(shù)人員來說是顯而易見的
發(fā)明內(nèi)容
本發(fā)明提供了利用從壓縮視頻流中提取的信息進(jìn)行運(yùn)動(dòng)補(bǔ)償圖像率提升
(PRUC)的系統(tǒng)和/或方法，結(jié)合至少一幅附圖進(jìn)行了充分的展現(xiàn)和描述，并 在權(quán)利要求中得到了更完整的闡述。
根據(jù)本發(fā)明的一個(gè)方面，本發(fā)明提供了一種視頻數(shù)據(jù)處理方法，所述方法 包括-
從接收到的壓縮視頻數(shù)據(jù)中提取出圖像率提升(PRUC)數(shù)據(jù)； 基于所述提取出的PRUC數(shù)據(jù)生成多個(gè)插補(bǔ)圖像。
優(yōu)選地，所述提取出的PRUC數(shù)據(jù)包括塊運(yùn)動(dòng)矢量、塊編碼模式、量化 等級(jí)、量化殘留數(shù)據(jù)和/或解碼圖像中的一項(xiàng)或多項(xiàng)。
優(yōu)選地，所述方法包括基于對(duì)所述接收到的壓縮數(shù)據(jù)進(jìn)行的解壓縮來生 成所述解碼圖像。
優(yōu)選地，所述方法包括對(duì)所述解碼圖像進(jìn)行濾波以減小噪聲。 優(yōu)選地，所述方法包括基于所述塊運(yùn)動(dòng)矢量生成一個(gè)或多個(gè)運(yùn)動(dòng)矢量。 優(yōu)選地，所述生成的一個(gè)或多個(gè)運(yùn)動(dòng)矢量包括下面兩者中至少一者 一個(gè)
或多個(gè)局部運(yùn)動(dòng)矢量和/或一全局運(yùn)動(dòng)矢量。
優(yōu)選地，所述方法包括對(duì)多個(gè)所述塊運(yùn)動(dòng)矢量進(jìn)行累加以生成所述全局
運(yùn)動(dòng)矢量。
優(yōu)選地，所述方法包括對(duì)所述生成的一個(gè)或多個(gè)運(yùn)動(dòng)矢量進(jìn)行比例調(diào)整。 優(yōu)選地，所述方法包括基于所述量化殘留數(shù)據(jù)生成以下兩者中至少一者 所述生成的一個(gè)或多個(gè)運(yùn)動(dòng)矢量的置信度值和/或一致度值。
優(yōu)選地，所述方法包括對(duì)所述生成的多個(gè)插補(bǔ)圖像進(jìn)行運(yùn)動(dòng)補(bǔ)償。 優(yōu)選地，所述方法包括對(duì)所述運(yùn)動(dòng)補(bǔ)償過的多個(gè)插補(bǔ)圖像進(jìn)行非線性過濾。
優(yōu)選地，所述從接收到的壓縮視頻數(shù)據(jù)中提取圖像率提升(PRUC)數(shù)據(jù) 發(fā)生在所述接收到的壓縮視頻數(shù)據(jù)進(jìn)行解壓縮時(shí)。
根據(jù)本發(fā)明的一個(gè)方面，本發(fā)明提供了一種視頻數(shù)據(jù)處理系統(tǒng)，所述系統(tǒng)
包括
一個(gè)或多個(gè)用于從接收到的壓縮視頻數(shù)據(jù)中提取出圖像率提升(PRUC)數(shù)據(jù)的電路；
所述一個(gè)或多個(gè)電路基于所述提取出的PRUC數(shù)據(jù)生成多個(gè)插補(bǔ)圖像。 優(yōu)選地，所述提取出的PRUC數(shù)據(jù)包括塊運(yùn)動(dòng)矢量、塊編碼模式、量化
等級(jí)、量化殘留數(shù)據(jù)和/或解碼圖像中的一項(xiàng)或多項(xiàng)。
優(yōu)選地，所述一個(gè)或多個(gè)電路基于對(duì)所述接收到的壓縮數(shù)據(jù)進(jìn)行的解壓縮
來生成所述解碼圖像。
優(yōu)選地，所述一個(gè)或多個(gè)電路對(duì)所述解碼圖像進(jìn)行濾波以減小噪聲。 優(yōu)選地，所述一個(gè)或多個(gè)電路基于所述塊運(yùn)動(dòng)矢量生成一個(gè)或多個(gè)運(yùn)動(dòng)矢
優(yōu)選地，所述生成的一個(gè)或多個(gè)運(yùn)動(dòng)矢量包括下面兩者中至少一者 一個(gè) 或多個(gè)局部運(yùn)動(dòng)矢量和/或一全局運(yùn)動(dòng)矢量。
優(yōu)選地，所述一個(gè)或多個(gè)電路對(duì)多個(gè)所述塊運(yùn)動(dòng)矢量進(jìn)行累加以生成所述 全局運(yùn)動(dòng)矢量。
優(yōu)選地，所述一個(gè)或多個(gè)電路基于對(duì)所述生成的一個(gè)或多個(gè)運(yùn)動(dòng)矢量進(jìn)行 比例調(diào)整來生成一個(gè)或多個(gè)像素運(yùn)動(dòng)矢量。
優(yōu)選地，所述一個(gè)或多個(gè)電路基于所述量化殘留數(shù)據(jù)生成以下兩者中至少
一者所述生成的一個(gè)或多個(gè)運(yùn)動(dòng)矢量的置信度值和/或一致度值。
優(yōu)選地，所述一個(gè)或多個(gè)電路對(duì)所述生成的多個(gè)插補(bǔ)影響進(jìn)行運(yùn)動(dòng)補(bǔ)償。 優(yōu)選地，所述一個(gè)或多個(gè)電路對(duì)所述運(yùn)動(dòng)補(bǔ)償過的多個(gè)插補(bǔ)圖像進(jìn)行非線
性過濾。
優(yōu)選地，所述從接收到的壓縮視頻數(shù)據(jù)中提取圖像率提升(PRUC)數(shù)據(jù)
發(fā)生在所述接收到的壓縮視頻數(shù)據(jù)進(jìn)行解壓縮時(shí)。
本發(fā)明的各種優(yōu)點(diǎn)、各個(gè)方面和創(chuàng)新特征，以及其中所示例的實(shí)施例的細(xì) 節(jié)，將在以下的描述和附圖中進(jìn)行詳細(xì)介紹。


下面將結(jié)合附圖及實(shí)施例對(duì)本發(fā)明作進(jìn)一步說明，附圖中 圖1是本發(fā)明一實(shí)施例中視頻處理系統(tǒng)的結(jié)構(gòu)示意圖；圖2是本發(fā)明一實(shí)施例中圖像率提升系統(tǒng)的結(jié)構(gòu)示意圖； 圖3a是本發(fā)明一實(shí)施例中在兩個(gè)圖像之間進(jìn)行圖像插補(bǔ)的示意圖； 圖3b是本發(fā)明一實(shí)施例中一個(gè)插補(bǔ)圖像的運(yùn)動(dòng)矢量示意圖； 圖4是本發(fā)明一實(shí)施例中利用從壓縮視頻流中提取出的信息進(jìn)行運(yùn)動(dòng)補(bǔ) 償圖像率提升的步驟流程圖。
具體實(shí)施例方式
本發(fā)明的一些實(shí)施例涉及利用從壓縮視頻流中提取出的信息進(jìn)行運(yùn)動(dòng)補(bǔ) 償圖像率提升(PRUC)的系統(tǒng)和/或方法。該方法包括從在壓縮視頻數(shù)據(jù)流正 在由視頻解壓引擎進(jìn)行解壓縮時(shí)從該壓縮視頻數(shù)據(jù)流中提取出PRUC數(shù)據(jù)。 所述PRUC數(shù)據(jù)包括例如塊運(yùn)動(dòng)矢量、塊編碼模式、量化等級(jí)、量化殘留數(shù) 據(jù)和/或解碼圖像。盡管如此，所述提取出的PRUC數(shù)據(jù)并不僅限于上述內(nèi)容。 此外，所述方法還包括基于提取出的PRUC數(shù)據(jù)生成多個(gè)插補(bǔ)圖像。
圖1是本發(fā)明一實(shí)施例中視頻處理系統(tǒng)的結(jié)構(gòu)示意圖。如圖1所示，所述 系統(tǒng)包括視頻處理單元102、處理器104、存儲(chǔ)器106、編碼器118以及數(shù)據(jù)/ 控制總線108。視頻處理單元102包括寄存器110以及濾波器116。在某些情 況下> 視頻處理單元102還可包括輸入緩存112和/或輸出緩存114。視頻處理 單元102可包含適當(dāng)?shù)倪壿嬈骷?、電路?或代碼，用于對(duì)視頻圖像或者來自 視頻輸入流的視頻圖像的像素進(jìn)行濾波處理以減小噪聲。例如，視頻幀圖像可 用使用逐行視頻信號(hào)的視頻系統(tǒng)，而視頻場(chǎng)圖像(video field picture)用于使 用隔行視頻信號(hào)的視頻系統(tǒng)。視頻場(chǎng)會(huì)在頂場(chǎng)與底場(chǎng)之間進(jìn)行奇偶變換。隔行 系統(tǒng)中的頂場(chǎng)與底場(chǎng)可通過去交錯(cuò)以及組合來生成視頻幀。
視頻處理單元102可用于接收視頻輸入流，并且，在某些情況下可在輸入 緩存112中對(duì)至少接收到的視頻輸入中的一部分進(jìn)行緩沖。因此，輸入緩存 112可包括適當(dāng)?shù)倪壿嬈骷?、電路?或代碼以用于對(duì)接收到的視頻輸入流的至 少一部分進(jìn)行存儲(chǔ)。類似地，視頻處理單元102可生成經(jīng)濾波的視頻輸出流給 視頻解碼器，并且在某些情況下，視頻處理單元102會(huì)在輸出緩存114中對(duì)所 述經(jīng)濾波的視頻輸出流的至少一部分進(jìn)行緩沖。因此，輸出緩存114可包括適當(dāng)?shù)倪壿嬈骷㈦娐泛?或代碼以用于將所述經(jīng)濾波的視頻輸出流的至少一部 分進(jìn)行存儲(chǔ)。
視頻處理單元102中的濾波器116包括適當(dāng)?shù)倪壿嬈骷?、電路?或代碼， 用于對(duì)當(dāng)前像素進(jìn)行濾波操作以減小噪聲。因此，濾波器116可具有多種濾波 模式，每種濾波模式對(duì)應(yīng)一種支持的濾波操作。濾波器116可利用視頻內(nèi)容、 濾波系數(shù)、閾值電平、和/或常數(shù)來根據(jù)選擇的濾波模式生成相應(yīng)的經(jīng)濾波的 視頻輸出流。因此，視頻處理單元102可根據(jù)選擇的適當(dāng)濾波模式生成相應(yīng)的 均化系數(shù)(blending factor)。視頻處理單元102中的寄存器110可包括適當(dāng)?shù)?邏輯器件、電路和/或代碼以用于將與濾波系數(shù)、閾值電平、和/或常數(shù)相對(duì)應(yīng) 的信息進(jìn)行存儲(chǔ)。此外，寄存器110還可存儲(chǔ)與所選濾波模式相關(guān)的信息。
處理器104可包括適當(dāng)?shù)倪壿嬈骷㈦娐泛?或代碼，用于處理數(shù)據(jù)和/或 執(zhí)行系統(tǒng)控制操作。處理器104可用于對(duì)視頻處理單元102中的至少一部分操 作進(jìn)行控制。例如，處理器104可生成至少一個(gè)信號(hào)來控制視頻處理單元102 中濾波模式的選擇。此外，處理器104可對(duì)寄存器UO中至少一部分的濾波系 數(shù)、閾值電平、和/或常數(shù)進(jìn)行編程、更新和/或修改。例如，處理器104可生 成至少一個(gè)信號(hào)以獲取存儲(chǔ)于存儲(chǔ)器106中的濾波系數(shù)、閾值電平和/或常數(shù)， 并且通過數(shù)據(jù)/控制總線108將獲取的信息傳送到寄存器110中。
存儲(chǔ)器106可包括適當(dāng)?shù)倪壿嬈骷?、電路?或代碼，用于存儲(chǔ)視頻處理 單元102在對(duì)視頻輸入流進(jìn)行噪聲濾波時(shí)所利用到的信息。存儲(chǔ)器106可用于 存儲(chǔ)視頻處理單元102利用到的濾波系數(shù)、閾值電平和/或常數(shù)。
編碼器118可用于對(duì)來自處理器104和視頻處理單元102的多個(gè)統(tǒng)計(jì)輸入 進(jìn)行接收及處理。編碼器118還可通過對(duì)經(jīng)濾波的視頻輸出流進(jìn)行編碼來生成 編碼壓縮視頻流。
在運(yùn)行中，處理器104可選擇一種濾波模式并且可將所選濾波模式編程入 視頻處理單元102中的寄存器110內(nèi)。此外，處理器104還可根據(jù)所選擇濾波 模式將適當(dāng)?shù)臑V波系數(shù)、閾值電平和/或常數(shù)寫入寄存器110內(nèi)。視頻處理單 元102接收輸入視頻流并且根據(jù)所選濾波模式對(duì)視頻圖像中的像素進(jìn)行濾波 處理。在一些情況下，視頻輸入流在被處理之前通常會(huì)被存儲(chǔ)在輸入緩存112中。視頻處理單元102會(huì)生成合適的均化系數(shù)用來執(zhí)行處理器104所選擇的減 噪濾波操作。視頻處理單元102在執(zhí)行完減噪濾波操作之后會(huì)生成經(jīng)濾波的視 頻輸出流。在某些情況下，所述經(jīng)濾波的視頻輸出流在從視頻處理單元102 內(nèi)傳輸出去之前將會(huì)被存儲(chǔ)在輸出緩存114中。
處理器104決定視頻處理單元102各部分的運(yùn)行模式。例如，處理器104 會(huì)對(duì)視頻處理單元102中的數(shù)據(jù)寄存器進(jìn)行配置以便將視頻數(shù)據(jù)通過DMA傳 送至存儲(chǔ)器106。處理器104還會(huì)傳送指令給圖像傳感器以啟動(dòng)圖像捕捉。存 儲(chǔ)器106可用于存儲(chǔ)通過處理器104迸行處理以及傳送的圖像數(shù)據(jù)。存儲(chǔ)器 106還可用于存儲(chǔ)處理器104使用的代碼和/或數(shù)據(jù)。存儲(chǔ)器106同樣還可對(duì)視 頻處理單元102的其他功能性數(shù)據(jù)進(jìn)行存儲(chǔ)。例如，存儲(chǔ)器106可存儲(chǔ)語音通 訊相關(guān)的數(shù)據(jù)。處理器104可包括一狀態(tài)機(jī)用于判斷視頻數(shù)據(jù)類型是隔行型還 是逐行型。
圖2是本發(fā)明一實(shí)施例中圖像率提升系統(tǒng)的結(jié)構(gòu)示意圖。圖2所示的視頻 解碼系統(tǒng)200包括解壓引擎202以及圖像率提升(PRUC)引擎204。解壓引 擎202包括熵解碼器206、逆量化模塊208、逆變換模塊210、累加器212以 及運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)模塊214。
PRUC引擎204進(jìn)一步包括像素運(yùn)動(dòng)矢量生成模塊216、運(yùn)動(dòng)矢量置信 度及一致性量度(MVCCM)模塊222、運(yùn)動(dòng)補(bǔ)償插補(bǔ)模塊224、減噪濾波器 226以及非線性濾波模塊228。其中像素運(yùn)動(dòng)矢量生成模塊216包括塊運(yùn)動(dòng)矢 量細(xì)化模塊218以及縮放模塊220。
解壓引擎202可以是與特定視頻標(biāo)準(zhǔn)相關(guān)的視頻解碼器，比如，MPEG-2、 H.264/MPEG-4AVC、 VC1以及VP6。熵解碼器206可包括適當(dāng)?shù)倪壿嬈骷?電路和/或代碼，用于接收來自視頻編碼器例如編碼器118的壓縮視頻流。熵 解碼器206可根據(jù)特定的視頻標(biāo)準(zhǔn)，比如，MPEG-2、 H.264/MPEG-4 AVC、 VC1以及VP6，對(duì)接收到的壓縮視頻流進(jìn)行解碼操作。熵解碼器206還可基 于對(duì)接收到的壓縮視頻流進(jìn)行解碼，生成塊運(yùn)動(dòng)矢量。
逆量化模塊208可包括適當(dāng)?shù)倪壿嬈骷㈦娐泛?或代碼，用于生成量化 殘留數(shù)據(jù)。逆變換模塊210包括適當(dāng)?shù)倪壿嬈骷?、電路?或代碼，用于生成童組殘留像素并將所生成的重組殘留像素傳送至累加器212。
運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)模塊214包括適當(dāng)?shù)倪壿嬈骷㈦娐泛?或代碼，用于接收 來自熵解碼器206的一個(gè)或多個(gè)運(yùn)動(dòng)矢量以生成運(yùn)動(dòng)補(bǔ)償像素塊。累加器212 可用于將所述運(yùn)動(dòng)補(bǔ)償像素塊疊加到所述重組殘留像素上以生成一個(gè)或多個(gè) 解碼圖像。所述一個(gè)或多個(gè)解碼圖像被反饋給運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)模塊214。該運(yùn)動(dòng) 補(bǔ)償預(yù)測(cè)模塊214可用于依據(jù)參照?qǐng)D像或前一輸出圖像生成運(yùn)動(dòng)補(bǔ)償像素塊， 該操作是基于接收到的一個(gè)或多個(gè)來自熵解碼器206的運(yùn)動(dòng)矢量來完成的。
PRUC引擎204可用于從視頻解壓引擎202中提取出運(yùn)動(dòng)矢量、圖像、宏 塊編碼類型以及量化殘留數(shù)據(jù)等信息。
減噪濾波器226可包括適當(dāng)?shù)倪壿嬈骷?、電路?或代碼，用于接收來自 解壓引擎202的多個(gè)解碼圖像。該噪聲濾波器226可對(duì)所述接收到的解碼圖像 進(jìn)行解塊(de-blocking)、解環(huán)(de-ringing)或者其他減噪濾波操作。減噪濾 波器226可生成經(jīng)濾波的輸出給像素運(yùn)動(dòng)矢量生成模塊216、運(yùn)動(dòng)補(bǔ)償插補(bǔ)模 塊224以及非線性濾波模塊228。
由量化器帶來的塊變換域的分布或頻譜的變形會(huì)導(dǎo)致拼接偽像 (blockiness artifact)的產(chǎn)生。所述拼接偽像通常與量化產(chǎn)生的低頻譜系數(shù)或 者頻率失真相關(guān)。拼接偽像在塊邊界上是可見的，例如，對(duì)于MEPG1、 2以 及4，拼接偽像為8x8像素，對(duì)于MPEG4 part10 AVC，拼接偽像既可為4x4 像素也可為8x8像素。所述拼接偽像可在給定圖像或視頻中的平面結(jié)構(gòu)區(qū)域內(nèi) 被觀察到。
同樣，由量化器帶來的塊變換域的分布或頻譜的變形會(huì)導(dǎo)致環(huán)狀編碼偽 像，也稱作蚊音偽像。所述環(huán)狀編碼偽像通常與量化產(chǎn)生的高頻譜系數(shù)或者頻 率失真相關(guān)。所述環(huán)狀編碼偽像可在平面結(jié)構(gòu)區(qū)域的邊沿或者文本邊界上被觀 察到。
像素運(yùn)動(dòng)矢量生成模塊216可包括適當(dāng)?shù)倪壿嬈骷?、電路?或代碼，用 于接收來自熵解碼器206的提取出來的塊運(yùn)動(dòng)矢量以及編碼模式。像素運(yùn)動(dòng)矢 量生成模塊216用于確定局部塊運(yùn)動(dòng)矢量以及全局塊運(yùn)動(dòng)矢量并且對(duì)插補(bǔ)以 及濾波模式進(jìn)行確定。像素運(yùn)動(dòng)矢量生成模塊216還可通過對(duì)多個(gè)塊運(yùn)動(dòng)矢量進(jìn)行累計(jì)以估算出一個(gè)全局運(yùn)動(dòng)矢量(GMV)。像素運(yùn)動(dòng)矢量生成模塊216可 將運(yùn)動(dòng)矢量通過直方圖進(jìn)行分類并生成全局運(yùn)動(dòng)矢量(GMV)。
塊運(yùn)動(dòng)矢量細(xì)化模塊218可包括適當(dāng)?shù)倪壿嬈骷?、電路?或代碼，用于 對(duì)從壓縮視頻流中提取出的運(yùn)動(dòng)矢量進(jìn)行細(xì)化并且將塊運(yùn)動(dòng)矢量分解為像素 運(yùn)動(dòng)矢量。塊運(yùn)動(dòng)矢量細(xì)化模塊218可進(jìn)行局部細(xì)化搜索并且所述運(yùn)動(dòng)矢量能 夠被細(xì)化成亞像素精度。
縮放模塊220可包括適當(dāng)?shù)倪壿嬈骷㈦娐泛?或代碼，用于調(diào)整生成的 運(yùn)動(dòng)矢量以用于插補(bǔ)的或插入的圖像。像素運(yùn)動(dòng)矢量生成模塊216可利用局部 自適應(yīng)非線性濾波生成像素運(yùn)動(dòng)矢量。此外，像素運(yùn)動(dòng)矢量生成模塊216還可 測(cè)量局部運(yùn)動(dòng)矢量的一致性。
運(yùn)動(dòng)矢量置信度及一致性量度(MVCCM)模塊222可包括適當(dāng)?shù)倪壿嬈?件、電路和/或代碼，用于對(duì)提取出來的量化殘留數(shù)據(jù)以及量化等級(jí)進(jìn)行衡量。 MVCCM模塊222還可通過比較相鄰塊運(yùn)動(dòng)矢量以及運(yùn)動(dòng)補(bǔ)償塊邊界像素差 值來生成運(yùn)動(dòng)矢量一致性值。例如，較低量化等級(jí)以及較少的殘留數(shù)據(jù)會(huì)導(dǎo)致 較高的運(yùn)動(dòng)矢量置信度，而較高量化等級(jí)以及較多的殘留數(shù)據(jù)則會(huì)導(dǎo)致較低的 運(yùn)動(dòng)矢量置信度。MVCCM模塊222將會(huì)把生成的運(yùn)動(dòng)矢量置信度值以及運(yùn)動(dòng) 矢量一致性值傳送至非線性濾波模塊228。
運(yùn)動(dòng)補(bǔ)償插補(bǔ)模塊224可包括適當(dāng)?shù)倪壿嬈骷?、電路?或代碼，通過利 用經(jīng)縮放的本地及全局運(yùn)動(dòng)矢量連同減噪后的解碼圖像來生成插補(bǔ)或插入圖 像。運(yùn)動(dòng)補(bǔ)償插補(bǔ)模塊224將生成的插補(bǔ)圖像傳送到非線性濾波模塊228。
非線性濾波模塊228包括適當(dāng)?shù)倪壿嬈骷?、電路?或代碼，對(duì)接收到的 插補(bǔ)圖像進(jìn)行濾波處理以減小最后輸出插補(bǔ)圖像中的偽像。非線性濾波模塊 228可利用運(yùn)動(dòng)矢量置信度以及一致性衡量值來判斷運(yùn)動(dòng)補(bǔ)償插補(bǔ)是否會(huì)失 敗。如果非線性濾波模塊228判斷結(jié)果顯示運(yùn)動(dòng)補(bǔ)償插補(bǔ)會(huì)失敗，那么PRUC 引擎204會(huì)在場(chǎng)景變換的過程中關(guān)閉圖像插補(bǔ)操作并且重復(fù)前面的圖像。
在運(yùn)行中，解壓引擎202可接收包含低圖像率的壓縮視頻流并對(duì)所述接收 到的壓縮視頻流進(jìn)行解壓操作。PRUC引擎204利用從所述壓縮視頻流中提取 出來的運(yùn)動(dòng)矢量以及其他編碼信息進(jìn)行圖像率提升(PRUC)操作。PRUC引擎204能夠在逐行掃描中生成高圖像率的插補(bǔ)圖像并在現(xiàn)代視頻顯示器上進(jìn) 行顯示，例如，LCD屏或PDP屏。
數(shù)字視頻壓縮算法，例如，MPEG-2、 MPEG-4、 VC1以及VP6，可進(jìn)行
前向預(yù)測(cè)、后向預(yù)測(cè)以及雙向預(yù)測(cè)編碼，從而分別生成P圖和B圖。運(yùn)動(dòng)補(bǔ) 償預(yù)測(cè)編碼可發(fā)掘出連續(xù)圖像之間的即時(shí)聯(lián)系。視頻壓縮編碼器118可在允許 的瞬時(shí)窗口內(nèi)生成圖像之間的運(yùn)動(dòng)矢量(MV)。這些運(yùn)動(dòng)矢量將會(huì)被用于視 頻壓縮編碼及解碼操作中的運(yùn)動(dòng)補(bǔ)償。在所述壓縮視頻流中，運(yùn)動(dòng)補(bǔ)償信息， 例如宏塊，可包括編碼的運(yùn)動(dòng)矢量數(shù)據(jù)以及轉(zhuǎn)換的殘留數(shù)據(jù)。
當(dāng)視頻流的圖像率較低時(shí)便會(huì)出現(xiàn)一種被稱為運(yùn)動(dòng)震顫(motionjudder) 的偽像。出現(xiàn)這種運(yùn)動(dòng)震顫的原因在于即時(shí)采樣率低于場(chǎng)景中的實(shí)際運(yùn)動(dòng)速 度。運(yùn)動(dòng)補(bǔ)償插補(bǔ)模塊224可用來減小該運(yùn)動(dòng)震顫。運(yùn)動(dòng)補(bǔ)償插補(bǔ)模塊224 可改變圖像率轉(zhuǎn)換器的處理操作以使得所述轉(zhuǎn)換器能夠在對(duì)運(yùn)動(dòng)物體的捕捉 上與人眼保持一致。因此，消除了運(yùn)動(dòng)震顫的圖像會(huì)變得清晰以及輪廓分明。 PRUC引擎204可對(duì)輸入圖像流進(jìn)行辨別以判斷場(chǎng)景中的每個(gè)物體是如何運(yùn)動(dòng) 的。PRUC引擎204還可在不同時(shí)間點(diǎn)對(duì)多個(gè)物體的位置進(jìn)行插補(bǔ)以生成輸出 圖像。
PRUC引擎204還可在編碼圖像之間插補(bǔ)附加的中間圖像以替代原先采用 的重復(fù)早前編碼圖像。運(yùn)動(dòng)補(bǔ)償插補(bǔ)類似于預(yù)測(cè)圖像例如視頻壓縮過程中的P 圖以及B圖的生成。根據(jù)本發(fā)明的一實(shí)施例，PRUC引擎204在生成一個(gè)或多 個(gè)插補(bǔ)圖像的過程中并不需要對(duì)運(yùn)動(dòng)矢量以及殘留數(shù)據(jù)進(jìn)行傳輸。一個(gè)或多個(gè) 顯示設(shè)備可在接收到解碼圖像時(shí)根據(jù)壓縮視頻流執(zhí)行他們自己的PRUC，不需 要其他額外信息。
對(duì)于沒有運(yùn)動(dòng)矢量的相互獨(dú)立的宏塊，例如，內(nèi)宏塊，可采用多個(gè)插補(bǔ)運(yùn) 動(dòng)矢量。根據(jù)本發(fā)明一實(shí)施例，PRUC引擎204可在場(chǎng)景變化過程中關(guān)閉幀插 補(bǔ)并重復(fù)之前的幀。非線性濾波模塊228可采用運(yùn)動(dòng)自適應(yīng)加權(quán)中值濾波，以 在I圖與前一個(gè)P圖之間生成插補(bǔ)圖像。
圖3a是本發(fā)明一實(shí)施例中在兩個(gè)圖像之間進(jìn)行圖像插補(bǔ)的示意圖。如圖 3a所示，圖中示出了多個(gè)編碼圖像，例如，P1 302、 P2 304以及插補(bǔ)圖像304的位置。例如，插補(bǔ)圖像304插入到距離編碼圖像Pl 302 k個(gè)時(shí)間單位的地方。
圖3b是本發(fā)明一實(shí)施例中一個(gè)插補(bǔ)圖像的運(yùn)動(dòng)矢量示意圖。如圖3b所示， 圖中示出了多個(gè)編碼圖像，例如，P1 352、 P2 354以及插補(bǔ)圖像356。例如， 插補(bǔ)圖像356被插入到距離編碼圖像Pl 352 k個(gè)時(shí)間單位的地方。
運(yùn)動(dòng)矢量358從前一圖像P1 352中的某個(gè)區(qū)域指向下一圖像P2 354中的 某一區(qū)域，從而運(yùn)動(dòng)矢量358能夠捕捉兩個(gè)原始圖像Pl 352以及P2 354之間 發(fā)生的運(yùn)動(dòng)。運(yùn)動(dòng)矢量360是運(yùn)動(dòng)矢量358的一種移位形式。運(yùn)動(dòng)矢量360 被移位以與插補(bǔ)圖像356對(duì)齊。
運(yùn)動(dòng)矢量360可分成兩個(gè)運(yùn)動(dòng)矢量，例如，MV1 362以及MV2 364。每 個(gè)估算出的運(yùn)動(dòng)矢量，例如，運(yùn)動(dòng)矢量360,可進(jìn)行拆分和縮放以用于運(yùn)動(dòng)補(bǔ) 償插補(bǔ)。兩個(gè)縮放后的運(yùn)動(dòng)矢量例如MV1 362以及MV2 364的方向是相反的。 縮放后的運(yùn)動(dòng)矢量的長(zhǎng)度，例如，MV1 362的長(zhǎng)度，與插補(bǔ)圖像356和原始 圖像P1 352之間的時(shí)間差呈正比。縮放后的運(yùn)動(dòng)矢量的長(zhǎng)度，例如，MV2 364 的長(zhǎng)度，與插補(bǔ)圖像356和原始圖像P2 354之間的時(shí)間差呈正比。
圖4是本發(fā)明一實(shí)施例中利用從壓縮視頻流中提取的信息進(jìn)行運(yùn)動(dòng)補(bǔ)償 圖像率提升(PRUC)的步驟流程圖。如圖4所示，流程開始于步驟402。在 步驟404中，解壓引擎202接收來自編碼器118的壓縮視頻數(shù)據(jù)。在步驟406 中，PRUC引擎204在所述壓縮視頻數(shù)據(jù)正在由解壓引擎202進(jìn)行解壓的同時(shí) 將PRUC數(shù)據(jù)從所述壓縮視頻數(shù)據(jù)中提取出來。所述PRUC數(shù)據(jù)包括局部塊 運(yùn)動(dòng)矢量、塊編碼模式、量化等級(jí)、量化殘留數(shù)據(jù)以及解碼圖像，盡管如此， 所述提取出來的PRUC數(shù)據(jù)并不僅限于此。在步驟408中，減噪濾波器226 對(duì)所述提取的解碼圖像進(jìn)行數(shù)字化減噪濾波操作。
在步驟410中，像素運(yùn)動(dòng)矢量生成模塊216從視頻解壓引擎202處接收到 多個(gè)塊運(yùn)動(dòng)矢量，并且基于對(duì)所接收到的多個(gè)塊運(yùn)動(dòng)矢量進(jìn)行的細(xì)化和縮放來 生成像素運(yùn)動(dòng)矢量。在步驟412中，MVCCM模塊222生成運(yùn)動(dòng)矢量置信度以 及一致性衡量值。在步驟414中，運(yùn)動(dòng)補(bǔ)償插補(bǔ)模塊224通過執(zhí)行運(yùn)動(dòng)補(bǔ)償插 補(bǔ)操作來生成插補(bǔ)圖像。在步驟416中，非線性濾波模塊228對(duì)場(chǎng)景的變化進(jìn) 行檢測(cè)并對(duì)所述插補(bǔ)圖像進(jìn)行濾波操作以減小最后輸出插補(bǔ)圖像中的偽像。流程在步驟418中結(jié)束。
本發(fā)明的各實(shí)施例包括一種利用從壓縮視頻流中提取的信息進(jìn)行運(yùn)動(dòng)補(bǔ) 償圖像率提升(PRUC)的方法和系統(tǒng)，所述系統(tǒng)包括用于在壓縮視頻流正由 視頻解壓引擎202進(jìn)行解壓操作時(shí)從該壓縮視頻數(shù)據(jù)流中提取出PRUC數(shù)據(jù) 的PRUC引擎204。所述PRUC數(shù)據(jù)包括，例如，局部塊運(yùn)動(dòng)矢量、塊編碼模 式、量化等級(jí)、量化殘留數(shù)據(jù)以及解碼圖像。所述提取出來的PRUC數(shù)據(jù)并 不僅限于此。PRUC引擎可基于所述提取出來的PRUC數(shù)據(jù)生成多個(gè)插補(bǔ)圖像。
解壓引擎202可基于對(duì)所述壓縮視頻數(shù)據(jù)流進(jìn)行的解壓操作生成解碼圖 像。PRUC引擎204可包括像素運(yùn)動(dòng)矢量生成模塊216、運(yùn)動(dòng)矢量置信度及一 致性衡量(MVCCM)模塊222、運(yùn)動(dòng)補(bǔ)償插補(bǔ)模塊224、減噪濾波器226以 及非線性濾波模塊228。其中像素運(yùn)動(dòng)矢量生成模塊216包括塊運(yùn)動(dòng)矢量細(xì)化 模塊218以及縮放模塊220。
減噪濾波器226可對(duì)所述提取出來的解碼圖像進(jìn)行數(shù)字減噪濾波操作以 減小噪聲。像素運(yùn)動(dòng)矢量生成模塊216可基于接收到的塊運(yùn)動(dòng)矢量生成一個(gè)或 多個(gè)運(yùn)動(dòng)矢量。所述生成的運(yùn)動(dòng)矢量可包括一個(gè)或多個(gè)局部運(yùn)動(dòng)矢量以及全局 運(yùn)動(dòng)矢量。像素運(yùn)動(dòng)矢量生成模塊216可通過對(duì)多個(gè)塊運(yùn)動(dòng)矢量進(jìn)行累加來生 成全局運(yùn)動(dòng)矢量。
縮放模塊220用于對(duì)所述生成的運(yùn)動(dòng)矢量進(jìn)行縮放調(diào)整。像素運(yùn)動(dòng)矢量生 成模塊216可基于對(duì)所述運(yùn)動(dòng)矢量進(jìn)行的縮放調(diào)整來生成像素運(yùn)送矢量。 MVCCM模塊222基于所述從視頻解壓引擎202中提取出來的量化殘留數(shù)據(jù)生 成所述運(yùn)動(dòng)矢量的置信度值以及一致性值中的至少一個(gè)衡量值。
運(yùn)動(dòng)補(bǔ)償插補(bǔ)模塊224用于生成運(yùn)動(dòng)補(bǔ)償插補(bǔ)圖像。非線性濾波模塊228 對(duì)所述生成的插補(bǔ)圖像進(jìn)行濾波操作以減小輸出插補(bǔ)圖像中的偽像。
本發(fā)明的另一實(shí)施例包括了一種機(jī)器可讀存儲(chǔ)器，其上存儲(chǔ)有計(jì)算機(jī)程 序。該程序至少包含一段利用從壓縮視頻流中提取的信息進(jìn)行運(yùn)動(dòng)補(bǔ)償圖像率 提升的代碼，所述至少一段代碼由機(jī)器執(zhí)行使得該機(jī)器能夠執(zhí)行本申請(qǐng)中所述 的方法步驟。
因此，本發(fā)明可應(yīng)用于硬件、軟件、固件或其各種組合。本發(fā)明可以在至少一個(gè)計(jì)算機(jī)系統(tǒng)的集中模式下實(shí)現(xiàn)，或者在分布式模式下實(shí)現(xiàn)，在所述分布 式模式下，不同組件分布在幾個(gè)互聯(lián)的計(jì)算機(jī)系統(tǒng)中。采用任何適用于執(zhí)行本 發(fā)明介紹的方法的計(jì)算機(jī)系統(tǒng)或者其他設(shè)備都是合適的。 一種硬件、軟件和固 件的典型組合是具有計(jì)算機(jī)程序的通用計(jì)算機(jī)系統(tǒng)，當(dāng)程序被加載和執(zhí)行時(shí)， 控制所述計(jì)算機(jī)系統(tǒng)以使其執(zhí)行本申請(qǐng)描述的方法。
本發(fā)明還可以嵌入到計(jì)算機(jī)程序產(chǎn)品內(nèi)，所述計(jì)算機(jī)程序包含能夠?qū)崿F(xiàn)本 發(fā)明方法的全部特征，當(dāng)其安裝到計(jì)算機(jī)系統(tǒng)中時(shí)，通過運(yùn)行，可以實(shí)現(xiàn)本發(fā) 明的方法。本文件中的計(jì)算機(jī)程序所指的是可以采用任何程序語言、代碼或 符號(hào)編寫的一組指令的任何表達(dá)式，該指令組使系統(tǒng)具有信息處理能力，以直 接實(shí)現(xiàn)特定功能，或在進(jìn)行下述一個(gè)或兩個(gè)步驟之后實(shí)現(xiàn)特定功能a)轉(zhuǎn)換成 其它語言、編碼或符號(hào)；b)以不同的格式再現(xiàn)。然而，本領(lǐng)域技術(shù)人員能夠理
解的計(jì)算機(jī)程序的其它含義也被本發(fā)明所包含。
雖然本發(fā)明是通過幾個(gè)具體實(shí)施例進(jìn)行說明的，本領(lǐng)域技術(shù)人員應(yīng)當(dāng)明 白，在不脫離本發(fā)明范圍的情況下，還可以對(duì)本發(fā)明進(jìn)行各種變換及等同替代。 另外，針對(duì)特定情形或具體情況，可以對(duì)本發(fā)明做各種修改，而不脫離本發(fā)明 的范圍。因此，本發(fā)明不局限于所公開的具體實(shí)施例，而應(yīng)當(dāng)包括落入本發(fā)明 權(quán)利要求范圍內(nèi)的全部實(shí)施方式。
權(quán)利要求
1、一種視頻數(shù)據(jù)處理方法，其特征在于，所述方法包括從接收到的壓縮視頻數(shù)據(jù)中提取出圖像率提升數(shù)據(jù)；基于所述提取出的圖像率提升數(shù)據(jù)生成多個(gè)插補(bǔ)圖像。
2、 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述提取出的圖像率提升 數(shù)據(jù)包括塊運(yùn)動(dòng)矢量、塊編碼模式、量化等級(jí)、量化殘留數(shù)據(jù)和/或解碼圖像 中的一項(xiàng)或多項(xiàng)。
3、 根據(jù)權(quán)利要求2所述的方法，其特征在于，所述方法包括基于對(duì)所 述接收到的壓縮數(shù)據(jù)進(jìn)行的解壓縮來生成所述解碼圖像。
4、 根據(jù)權(quán)利要求2所述的方法，其特征在于，所述方法包括對(duì)所述解 碼圖像進(jìn)行濾波以減小噪聲。
5、 根據(jù)權(quán)利要求2所述的方法，其特征在于，所述方法包括基于所述 塊運(yùn)動(dòng)矢量生成一個(gè)或多個(gè)運(yùn)動(dòng)矢量。
6、 根據(jù)權(quán)利要求5所述的方法，其特征在于，所述生成的一個(gè)或多個(gè)運(yùn) 動(dòng)矢量包括下面兩者中至少一者 一個(gè)或多個(gè)局部運(yùn)動(dòng)矢量和/或一全局運(yùn)動(dòng)
7、 一種視頻數(shù)據(jù)處理系統(tǒng)，其特征在于，所述系統(tǒng)包括-一個(gè)或多個(gè)用于從接收到的壓縮視頻數(shù)據(jù)中提取出圖像率提升數(shù)據(jù)的電路；所述一個(gè)或多個(gè)電路基于所述提取出的圖像率提升數(shù)據(jù)生成多個(gè)插補(bǔ)圖像。
8、 根據(jù)權(quán)利要求7所述的系統(tǒng)，其特征在于，所述提取出的圖像率提升 數(shù)據(jù)包括塊運(yùn)動(dòng)矢量、塊編碼模式、量化等級(jí)、量化殘留數(shù)據(jù)和/或解碼圖像 中的一項(xiàng)或多項(xiàng)。
9、 根據(jù)權(quán)利要求8所述的系統(tǒng)，其特征在于，所述一個(gè)或多個(gè)電路基于 對(duì)所述接收到的壓縮數(shù)據(jù)進(jìn)行的解壓縮來生成所述解碼圖像。
10、 根據(jù)權(quán)利要求8所述的系統(tǒng)，其特征在于，所述一個(gè)或多個(gè)電路對(duì)所 述解碼圖像進(jìn)行濾波以減小噪聲。
全文摘要
本發(fā)明涉及一種利用從壓縮視頻流中提取的信息進(jìn)行運(yùn)動(dòng)補(bǔ)償圖像率提升的方法和系統(tǒng)。所述方法包括在壓縮視頻流正由視頻解壓引擎進(jìn)行解壓操作時(shí)從該壓縮視頻數(shù)據(jù)流中提取出PRUC數(shù)據(jù)。所述PRUC數(shù)據(jù)包括，例如，局部塊運(yùn)動(dòng)矢量、塊編碼模式、量化等級(jí)、量化殘留數(shù)據(jù)以及解碼圖像。多個(gè)插補(bǔ)圖像可基于所述提取出來的PRUC數(shù)據(jù)生成。
文檔編號(hào)H04N7/26GK101437161SQ20081017435
公開日2009年5月20日 申請(qǐng)日期2008年10月30日 優(yōu)先權(quán)日2007年10月31日
發(fā)明者布賴恩·赫格, 謝孟·陳 申請(qǐng)人:美國(guó)博通公司