專利名稱:使用各種運(yùn)動模型的編碼器輔助式幀速率提升轉(zhuǎn)換的制作方法
技術(shù)領(lǐng)域:
本發(fā)明針對一種用于編碼視頻數(shù)據(jù)的方法和設(shè)備。
技術(shù)背景如今存在多種支持各種幀速率的視頻格式。以下格式為當(dāng)前最流行的,按其所支持 的每秒幀數(shù)(fps)的次序進(jìn)行列舉24(電影原始)、25(PAL)、 30(通常為交錯(cuò)式視頻)和60(高 清晰(HD),例如720p)。盡管這些幀速率適用于大多數(shù)應(yīng)用,但為了達(dá)到移動手持機(jī)視頻 通信所需要的低帶寬,幀速率有時(shí)降低到低達(dá)15、 10、 7.5或3fps的速率。盡管這些低 速率允許具有較低計(jì)算能力的低端裝置顯示一些視頻,但所得視頻質(zhì)量遭受"急動"(S卩, 具有幻燈片演示效果),而并非平滑運(yùn)動。而且,降低的幀通常不會正確追蹤視頻中的運(yùn) 動量。舉例來說,在例如那些發(fā)生在體育賽事中的"高速運(yùn)動"視頻內(nèi)容部分期間,應(yīng) 丟失較少的幀,而在例如那些發(fā)生在脫口秀中的"低速運(yùn)動"視頻內(nèi)容片段期間,可丟 失較多的幀。視頻壓縮取決于內(nèi)容,且需要其能夠分析并并入待編碼的序列中的運(yùn)動和 紋理特征,以便改進(jìn)視頻壓縮效率。幀速率提升轉(zhuǎn)換(FRUC)是在視頻解碼器處使用視頻內(nèi)插以增加經(jīng)重建視頻的幀速 率的過程。在FRUC中,通過使用所接收的幀作為參考來建立內(nèi)插幀。目前,實(shí)施FRUC 幀內(nèi)插(下文稱為"內(nèi)插幀")的系統(tǒng)包括基于運(yùn)動補(bǔ)償內(nèi)插的方法和傳輸運(yùn)動向量的處理。 FRUC也用于各種視頻格式之間的轉(zhuǎn)換。舉例來說,在電視電影與反向電視電影應(yīng)用(矯 正電影與視頻之間的各自色彩幀速率差異的電影到錄影帶轉(zhuǎn)移技術(shù))中,逐行視頻(24幀/秒)轉(zhuǎn)換成NTSC交錯(cuò)式視頻(29.97幀/秒)。另一 FRUC方法使用加權(quán)自適應(yīng)運(yùn)動補(bǔ)償內(nèi)插(WAMCI),以減少由運(yùn)動估計(jì)和基于 區(qū)塊的處理的不足所導(dǎo)致的區(qū)塊假象。此方法是基于對多個(gè)運(yùn)動補(bǔ)償內(nèi)插(MCI)圖像進(jìn)行 加權(quán)求和的內(nèi)插。在所提議的方法中,也通過應(yīng)用類似于重疊區(qū)塊運(yùn)動補(bǔ)償(OBMC)的技 術(shù)來減少區(qū)塊邊界上的區(qū)塊假象。具體來說,為了在重疊區(qū)域處理期間減少混亂,所述 方法使用運(yùn)動分析來確定區(qū)塊運(yùn)動的類型并自適應(yīng)地應(yīng)用OBMC。實(shí)驗(yàn)結(jié)果表明所提議 的方法達(dá)成了改進(jìn)的結(jié)果,區(qū)塊假象顯著減少。又一 FRUC方法使用向量可靠性分析來減少由使用從編碼器不準(zhǔn)確地傳輸?shù)娜魏芜\(yùn) 動向量而導(dǎo)致的假象。在此方法中,運(yùn)動估計(jì)用于建構(gòu)運(yùn)動向量,將所述運(yùn)動向量與所 傳輸?shù)倪\(yùn)動向量進(jìn)行比較以確定用于幀內(nèi)插的最合乎需要的方法。在使用運(yùn)動估計(jì)的常 規(guī)提升轉(zhuǎn)換算法中,通過使用兩個(gè)鄰近解碼的幀以建構(gòu)將允許內(nèi)插幀的運(yùn)動向量來執(zhí)行 估計(jì)過程。然而,這些算法試圖改進(jìn)傳輸帶寬的利用率,而不管運(yùn)動估計(jì)操作所需的計(jì) 算量。相比而言,在使用傳輸?shù)倪\(yùn)動向量的提升轉(zhuǎn)換算法中,內(nèi)插幀的質(zhì)量很大程度上 取決于由編碼器導(dǎo)出的運(yùn)動向量。通過使用兩種方法的組合,首先分析傳輸?shù)倪\(yùn)動向量 以決定其是否可用于建構(gòu)內(nèi)插幀。接著從以下三種方法中自適應(yīng)地選擇用于內(nèi)插的方法 局部運(yùn)動補(bǔ)償內(nèi)插、全局運(yùn)動補(bǔ)償內(nèi)插和幀重復(fù)內(nèi)插。盡管FRUC技術(shù)一般被實(shí)施為視頻解碼器中的后處理功能,但此操作中通常不涉及 視頻編碼器。然而,在稱為編碼器輔助式FRUC(EA-FRUC)的方法中,編碼器可確定是 否可消除與運(yùn)動向量或參考幀(例如,殘余數(shù)據(jù))有關(guān)的特定信息的傳輸,同時(shí)仍允許解碼器自主地重新產(chǎn)生不具有消除的向量或殘余數(shù)據(jù)的幀的主要部分。舉例來說,己引入雙 向預(yù)測視頻編碼法作為對MPEG-2中的B幀編碼的改進(jìn)。在此方法中,提議使用錯(cuò)誤準(zhǔn) 則以使得在運(yùn)動補(bǔ)償預(yù)測編碼中能應(yīng)用真實(shí)運(yùn)動向量。失真測量是基于絕對差總和 (SAD),但已知此失真測量不足以提供真實(shí)失真測量,尤其在將要量化序列中兩個(gè)幀之間 的運(yùn)動量的情況下。另外,(最佳情況)當(dāng)這些閾值應(yīng)隨著分類優(yōu)選是取決于內(nèi)容而可變時(shí), 通過使用固定閾值來給閾值中的變化分類。FRUC視頻壓縮技術(shù),包括那些利用編碼器增強(qiáng)信息的技術(shù),使用基于區(qū)塊的運(yùn)動 預(yù)測,其具有平移運(yùn)動模型以在視頻幀內(nèi)給對象的運(yùn)動建模?;趨^(qū)塊的運(yùn)動預(yù)測開發(fā) 了視頻信號所固有的時(shí)間相關(guān)結(jié)構(gòu)。如基于區(qū)塊的運(yùn)動預(yù)測所使用的平移運(yùn)動建模可為 保持剛性形狀且同時(shí)在或多或少平行于視頻俘獲裝置的透鏡的平面中經(jīng)歷平移運(yùn)動的主 體減少或消除視頻信號中的時(shí)間冗余。平移運(yùn)動模型在每個(gè)編碼區(qū)塊使用兩個(gè)參數(shù)。在運(yùn)動補(bǔ)償預(yù)測和基于變換編碼的混合視頻壓縮中,由常規(guī)編碼器根據(jù)平移運(yùn)動模 型的使用而分割視頻幀,其中產(chǎn)生分區(qū)以便定位保持剛性形狀且同時(shí)經(jīng)歷平移運(yùn)動的對 象主體。舉例來說,在汽車經(jīng)過時(shí)一個(gè)人對著攝影機(jī)講話的視頻序列可分割為以下對象, 包括代表所述序列的固定背景的靜止圖像、代表講話人的頭部的視頻對象、代表與所 述人相關(guān)聯(lián)的聲音的音頻對象和作為具有矩形支持區(qū)域的子畫面的代表運(yùn)動汽車的另一 視頻對象。所述子畫面在靜止圖像上的位置可隨時(shí)間移動。遺憾的是,平移模型運(yùn)動預(yù)測不能準(zhǔn)確地預(yù)測或描述每區(qū)塊需要兩個(gè)以上參數(shù)的運(yùn) 動中的對象的運(yùn)動。結(jié)合攝像機(jī)運(yùn)動和焦距改變的獨(dú)立運(yùn)動的對象導(dǎo)致復(fù)雜的運(yùn)動向量 場,必須有效地近似所述運(yùn)動向量場以用于運(yùn)動預(yù)測。因此,殘余信號(也稱為預(yù)測錯(cuò)誤) 具有相當(dāng)大的功率,且因此含有這些運(yùn)動的視頻幀對壓縮來說是無效的。當(dāng)通過使用基 于區(qū)塊的運(yùn)動預(yù)測來內(nèi)插含有這些對象的視頻幀時(shí),歸因于平移運(yùn)動模型框架描述區(qū)塊 運(yùn)動動態(tài)的限制,內(nèi)插幀的主觀和客觀質(zhì)量兩者均較低。此外,當(dāng)根據(jù)平移模型運(yùn)動預(yù) 測來分割視頻序列時(shí),處理經(jīng)歷任意運(yùn)動和變形的對象的內(nèi)插的算法的有效性受到限制。需要一種在解碼器裝置處提供高質(zhì)量內(nèi)插幀的方法,其適當(dāng)?shù)亟o運(yùn)動對象建模,同 時(shí)減少傳輸用于執(zhí)行內(nèi)插的信息潛在所需的帶寬量,且其也減少產(chǎn)生這些幀潛在所需的 計(jì)算量,以便使其良好適用于依賴低功率處理的多媒體移動裝置。發(fā)明內(nèi)容本文所揭示的某些方面提供一種編碼器輔助式幀速率提升轉(zhuǎn)換(EA-FRUC)系統(tǒng),其在視頻編碼器處除了利用視頻編碼和預(yù)處理操作之外也利用各種運(yùn)動模型以開發(fā)將在解 碼器中發(fā)生的FRUC處理,以便改進(jìn)運(yùn)動對象的建模、壓縮效率和經(jīng)重建視頻的質(zhì)量。在一個(gè)方面中,揭示一種處理多媒體數(shù)據(jù)的方法。所述方法包含將第一和第二視 頻幀中的至少一者劃分為多個(gè)分區(qū);為所述分區(qū)中的至少一者中的至少一個(gè)對象確定建 模信息,所述建模信息與第一和第二視頻幀相關(guān)聯(lián);基于所述建模信息而產(chǎn)生內(nèi)插幀; 以及基于所述內(nèi)插幀而產(chǎn)生編碼信息,其中所述編碼信息用于產(chǎn)生在時(shí)間上與內(nèi)插幀共 同定位的視頻幀。在另一方面中,揭示一種用于處理多媒體數(shù)據(jù)的設(shè)備。所述設(shè)備包含用于將第一 和第二視頻幀中的至少一者劃分為多個(gè)分區(qū)的裝置;用于為所述多個(gè)分區(qū)中的至少一者 中的至少一個(gè)對象確定建模信息的裝置,所述建模信息與第一和第二視頻幀相關(guān)聯(lián);用 于基于所述建模信息而產(chǎn)生內(nèi)插幀的裝置;以及用于基于所述內(nèi)插幀而產(chǎn)生編碼信息的 裝置,其中所述編碼信息用于產(chǎn)生在時(shí)間上與內(nèi)插幀共同定位的視頻幀。在另一方面中,揭示一種用于處理多媒體數(shù)據(jù)的設(shè)備。所述設(shè)備包含分割模塊, 其經(jīng)配置以將第一和第二視頻幀中的至少一者劃分為多個(gè)分區(qū);建模模塊,其經(jīng)配置以 為所述多個(gè)分區(qū)中的至少一者中的至少一個(gè)對象確定建模信息,所述建模信息與第一和 第二視頻幀相關(guān)聯(lián);幀產(chǎn)生模塊,其經(jīng)配置以基于所述建模信息而產(chǎn)生內(nèi)插幀;編碼模 塊,其經(jīng)配置以基于所述內(nèi)插幀而產(chǎn)生編碼信息;和傳輸模塊,其經(jīng)配置以將所述編碼 信息傳輸?shù)浇獯a器。在又一方面中,揭示一種包含用于處理多媒體數(shù)據(jù)的指令的機(jī)器可讀媒體。所述指 令在執(zhí)行時(shí)致使機(jī)器將第一和第二視頻幀中的至少一者劃分為多個(gè)分區(qū);為所述多個(gè) 分區(qū)中的至少一者中的至少一個(gè)對象確定建模信息,所述建模信息與第一和第二視頻幀 相關(guān)聯(lián)基于所述建模信息而產(chǎn)生內(nèi)插幀;且基于所述內(nèi)插幀而產(chǎn)生編碼信息,其中所 述編碼信息用于產(chǎn)生在時(shí)間上與所述內(nèi)插幀共同定位的視頻幀。在另一方面中,揭示一種用于處理多媒體數(shù)據(jù)的處理器。所述處理器經(jīng)配置以將第 一和第二視頻幀中的至少一者劃分為多個(gè)分區(qū);為所述多個(gè)分區(qū)中的至少一者中的至少 一個(gè)對象確定建模信息,所述建模信息與第一和第二視頻幀相關(guān)聯(lián);基于所述建模信息 而產(chǎn)生內(nèi)插幀;且基于所述內(nèi)插幀而產(chǎn)生編碼信息,其中所述編碼信息用于產(chǎn)生在時(shí)間 上與所述內(nèi)插幀共同定位的視頻幀。所屬領(lǐng)域的技術(shù)人員將從以下詳細(xì)描述中明白其它目的、特征和優(yōu)點(diǎn)。然而,應(yīng)了 解,詳細(xì)描述和具體實(shí)例在指示示范性方面的同時(shí)以說明而非限制的方式給出。在不偏離其精神的情況下,可在以下描述中作出很多變化和修改,且應(yīng)將所述描述理解為包含所有這些修改。
圖1A說明根據(jù)用于傳遞串流視頻的一個(gè)方面的實(shí)施使用各種運(yùn)動模型的編碼器輔 助式幀速率提升轉(zhuǎn)換(EA-FRUC)系統(tǒng)的通信系統(tǒng)的實(shí)例。圖1B說明根據(jù)用于傳遞串流視頻的一個(gè)方面的經(jīng)配置以使用各種運(yùn)動模型的 EA-FRUC裝置的實(shí)例。圖2為說明圖1A的經(jīng)配置以使用各種運(yùn)動模型的EA-FRUC系統(tǒng)的操作的流程圖。圖3為說明通過使用基于對象的建模信息和解碼器信息來編碼視頻數(shù)據(jù)以用于提升 取樣的流程圖。圖4為說明根據(jù)本發(fā)明的一個(gè)方面的為視頻幀中的對象確定建模信息的流程圖。 圖5為說明通過使用仿射模型來為視頻幀中的對象確定運(yùn)動向量侵蝕信息的流程8圖。圖6為根據(jù)本發(fā)明的某些方面的通過使用經(jīng)配置以在平移運(yùn)動模型框架內(nèi)解碼運(yùn)動 模型的解碼器裝置來解碼通過使用基于對象的建模信息和解碼器信息而經(jīng)提升取樣的經(jīng) 編碼視頻數(shù)據(jù)位流的流程圖。
具體實(shí)施方式
如本文所述,在編碼器輔助式FRUC(EA-FRUC)系統(tǒng)的一個(gè)方面中,編碼器能夠存 取源幀以及解碼器上所使用的FRUC算法的先前知識。編碼器進(jìn)一步經(jīng)配置以使用各種 運(yùn)動模型(包括平移運(yùn)動模型)以準(zhǔn)確地給源幀中的運(yùn)動對象建模。使用由此產(chǎn)生的內(nèi)插幀 的編碼器傳輸額外信息以輔助解碼器執(zhí)行FRUC且改進(jìn)內(nèi)插期間所作出的決策。利用關(guān) 于FRUC將在解碼器中執(zhí)行的知識,EA-FRUC系統(tǒng)在視頻編碼器處利用各種運(yùn)動模型、 視頻編碼和預(yù)處理操作以改進(jìn)壓縮效率(進(jìn)而改進(jìn)傳輸帶寬的利用)和經(jīng)重建視頻的質(zhì)量 (包括經(jīng)重建運(yùn)動對象的表示)。具體來說,來自編碼器的各種運(yùn)動模型信息(例如仿射運(yùn) 動建模)可補(bǔ)充或代替提供到解碼器的通常由編碼器傳輸?shù)男畔ⅲ允沟眠\(yùn)動建模信息可 用于編碼器輔助式FRUC。在一個(gè)方面中,由編碼器提供的信息包括例如將要在解碼器處內(nèi)插的圖像的空間(例 如,精細(xì)化、模式?jīng)Q策、相鄰者特征)和時(shí)間(例如,運(yùn)動向量決策)特征的參數(shù)以及關(guān)于 正常預(yù)測(B或P)幀編碼與由FRUC過程所產(chǎn)生的內(nèi)插幀的差動信息。由編碼器提供的信 息進(jìn)一步包括各種運(yùn)動模型,所述運(yùn)動模型經(jīng)選擇以準(zhǔn)確且有效地表示來自原始視頻流 的運(yùn)動對象。若干運(yùn)動預(yù)測技術(shù)除用于平移運(yùn)動之外也可用于視頻壓縮。額外運(yùn)動類型包括旋 轉(zhuǎn)運(yùn)動;放大和縮小運(yùn)動;變形,其中場景對象的結(jié)構(gòu)和形態(tài)中的變化違背剛性主體的 假設(shè)仿射運(yùn)動;全局運(yùn)動;和基于對象的運(yùn)動。仿射運(yùn)動模型支持多個(gè)運(yùn)動類型,包 括平移運(yùn)動、旋轉(zhuǎn)運(yùn)動、剪切、平移、變形和在放大和縮小情景中使用的對象縮放。與 平移模型相比,仿射運(yùn)動模型更為通用,因?yàn)槠洳⑷胗羞@些其它運(yùn)動類型。由于旋轉(zhuǎn)、 縮放和剪切的原因,仿射運(yùn)動模型在每個(gè)經(jīng)編碼的區(qū)塊中使用六個(gè)參數(shù)。因此,其對于 場景中的對象的實(shí)際動態(tài)運(yùn)動具有更高的適應(yīng)性。基于對象的運(yùn)動預(yù)測技術(shù)用于含有經(jīng)歷不同運(yùn)動類型的多個(gè)對象的場景的視頻幀。 在這些情況下,單個(gè)運(yùn)動模型將不能有效地俘獲不同動態(tài),但作為替代,可使用大量模 型,其中針對場景中的每一對象區(qū)別地定制個(gè)別模型。本文所論述的編碼器裝置的某些方面評估解碼器裝置的特性,所述解碼器裝置將用于解碼由編碼器裝置編碼的數(shù)據(jù)并優(yōu)化視頻數(shù)據(jù)的編碼以便在內(nèi)插幀時(shí)改進(jìn)解碼器裝置 處的壓縮效率、性能和對象再現(xiàn)。舉例來說,解碼器裝置可改進(jìn)FRUC或錯(cuò)誤隱蔽。在 一個(gè)方面中,視頻幀基于行為、時(shí)間變化動態(tài)或可唯一識別的對象而被分割成通常具有 非均一大小和非均一形狀的區(qū)域集合。根據(jù)某些方面,編碼器裝置分析視頻數(shù)據(jù)(在可變 持續(xù)時(shí)間的片段中)以便定位全局運(yùn)動。在定位有全局運(yùn)動的地方,通過使用各種運(yùn)動模 型(例如仿射運(yùn)動模型)來估計(jì)相關(guān)模型參數(shù)和信號。接著可建立仿射運(yùn)動模型,其描述每 個(gè)對象或分區(qū)的平移、旋轉(zhuǎn)、縮放和形態(tài)變化變換。接著,可使用分區(qū)信息連同相關(guān)聯(lián) 的模型產(chǎn)生預(yù)測信號,所述預(yù)測信號可減少殘余信號的功率。分區(qū)映射連同相關(guān)聯(lián)的模 型(包括類型和參數(shù)信息)被傳輸?shù)浇獯a器裝置。殘余信號可被單獨(dú)壓縮且也可發(fā)送到解碼 器裝置以允許更高質(zhì)量的重建。在某些方面中,解碼器裝置接著可通過使用關(guān)于經(jīng)修改 平移運(yùn)動模型框架內(nèi)的經(jīng)編碼運(yùn)動模型的信息來分析經(jīng)編碼數(shù)據(jù)。某些方面描述用于識別對象的過程,其大大減少了用于在解碼器裝置上再現(xiàn)對象的 編碼所必需的信息量。在那些方面中的一些方面中,通過使用圖像分段、基于圖形的技 術(shù)或場景組成信息而識別一個(gè)背景對象和任何數(shù)目的前景對象。接著對背景對象進(jìn)行分 類。 一旦對視頻序列的子片段或整個(gè)視頻序列執(zhí)行并完成包含上述兩個(gè)步驟的基于對象 的場景分析,每一對象和其動態(tài)行為的演進(jìn)可由適當(dāng)?shù)倪\(yùn)動-變形模型來準(zhǔn)確描述。舉例 來說,對于經(jīng)歷均一平移運(yùn)動的對象來說,整個(gè)軌跡可由運(yùn)動向量(相對于標(biāo)稱幀間持續(xù) 時(shí)間而標(biāo)準(zhǔn)化)來簡單地描述。結(jié)合此對象的單個(gè)快照的視覺數(shù)據(jù)的此信息可用于將此對 象正確地再現(xiàn)于解碼器裝置上,直到對象移出場景為止,或直到其運(yùn)動或視覺屬性中的 一些改變?yōu)橹埂ο蟮倪\(yùn)動或視覺屬性中的一者的變化可用于識別對象的最小非均一時(shí) 間取樣圖案。以類似方式,可針對場景中先前所識別的對象確定可能相當(dāng)復(fù)雜的運(yùn)動軌跡和包藏屬性。在以下描述內(nèi)容中,給出具體細(xì)節(jié)以提供對所述方面的全面理解。然而,所屬領(lǐng)域 的技術(shù)人員將了解,可在不存在這些具體細(xì)節(jié)的情況下實(shí)踐所述方面。舉例來說,可在 方框圖中展示電組件,以便不以不必要的細(xì)節(jié)來混淆所述方面。在其它情況下,可詳細(xì) 展示這些組件、其它結(jié)構(gòu)和技術(shù)以進(jìn)一步解釋所述方面。也注意到,所述方面可被描述為一過程,所述過程被描繪為流程表、流程圖、結(jié)構(gòu) 圖或方框圖。盡管流程表可將操作描述為連續(xù)過程,但可平行或同時(shí)執(zhí)行所述操作中的 很多操作,且可重復(fù)所述過程。另外,可重新布置所述操作的次序。過程在其操作完成 時(shí)終止。過程可對應(yīng)于方法、函數(shù)、程序、常規(guī)程序、子程序等。當(dāng)過程對應(yīng)于函數(shù)時(shí),其終止對應(yīng)于所述函數(shù)返回到調(diào)用函數(shù)或主函數(shù)。圖1A說明根據(jù)用于傳遞串流視頻的一個(gè)方面的實(shí)施使用各種運(yùn)動模型的編碼器輔 助式幀速率提升轉(zhuǎn)換(EA-FRUC)系統(tǒng)的通信系統(tǒng)的實(shí)例。所述系統(tǒng)100包括編碼器裝置 105和解碼器裝置110。編碼器裝置105包括幀產(chǎn)生器115、建模器120、分割器160、多媒體編碼器125、 存儲器組件130、處理器135和接收器/發(fā)射器140。處理器135通常控制所述示范性編 碼器裝置105的整體操作。分割器組件160將視頻幀分割成不同區(qū)塊,使得運(yùn)動模型可與視頻幀的子集區(qū)域相 關(guān)聯(lián)。運(yùn)動-變形信息的分析可成功地用于對初始場景/幀進(jìn)行分段且可用于確定需要壓縮 并傳輸?shù)膸淖钚r(shí)間取樣,所述需要壓縮并傳輸?shù)膸c可基于所傳輸?shù)膸臄?shù)據(jù)而成 功地內(nèi)插的幀形成對比。在某些方面中,取樣例子的(最小)數(shù)目是基于運(yùn)動-變形動態(tài)何 時(shí)經(jīng)歷變化。因此,可基于運(yùn)動-變形動態(tài)的適當(dāng)?shù)姆侄蝸韴?zhí)行合適的幀內(nèi)插。建模器組件120經(jīng)配置以確定運(yùn)動模型并使所述運(yùn)動模型與在組成場景的視頻幀中 發(fā)現(xiàn)的對象相關(guān)聯(lián)。幀產(chǎn)生器組件115通過使用來自原始視頻流的數(shù)據(jù)以及關(guān)于將用于解碼由編碼器裝 置105傳輸?shù)臄?shù)據(jù)的解碼器的信息來產(chǎn)生內(nèi)插幀。在題為"用于視頻壓縮的編碼器輔助 式幀速率提升轉(zhuǎn)換(EA-FRUC)的方法和設(shè)備(Method and apparatus for encoder assisted-frame rate up conversion (EA-FRUC) for video compression)"的第2006/0165176號中美國專利公開案論述了用于產(chǎn)生內(nèi)插幀的系統(tǒng)和方法,所述公開案以全文引用的方 式并入本文中。多媒體編碼器125可包括子組件,所述子組件包括變換器/量化器組件,其將視頻(或 音頻或閉合字幕本文)數(shù)據(jù)從空間域變換和/或量化到另一域,例如在DCT(離散余弦變換) 情況下變換和/或量化到頻率域。所述多媒體編碼器也可包括熵值編碼器組件。所述熵值 編碼器組件可使用上下文自適應(yīng)可變長度編碼(CAVLC)。經(jīng)編碼的數(shù)據(jù)可包括經(jīng)量化的 數(shù)據(jù)、經(jīng)變換的數(shù)據(jù)、經(jīng)壓縮的數(shù)據(jù)或其任何組合。存儲器組件130用于存儲信息,所 述信息例如為待編碼的原始視頻數(shù)據(jù)、待傳輸?shù)慕?jīng)編碼視頻數(shù)據(jù)、標(biāo)頭信息、標(biāo)頭目錄 或正由各種編碼器組件操作的中間數(shù)據(jù)。在此實(shí)例中,接收器/發(fā)射器組件140含有用于從外部源145接收待編碼的數(shù)據(jù)的電 路和/或邏輯。外部源145可為(例如)外部存儲器、因特網(wǎng)、現(xiàn)場視頻和/或音頻饋入,且 接收數(shù)據(jù)可包括有線和/或無線通信。發(fā)射器140也含有用以在網(wǎng)絡(luò)150上傳輸(Tx)經(jīng)編碼數(shù)據(jù)的電路和/或邏輯(例如,發(fā)射器)。網(wǎng)絡(luò)150可為例如電話、電纜和光纖的有線系 統(tǒng)或無線系統(tǒng)的一部分。在無線通信系統(tǒng)的情況下,網(wǎng)絡(luò)150可包含(例如)碼分多址 (CDMA或CDMA2000)通信系統(tǒng)的一部分,或者所述系統(tǒng)可為頻分多址(FDMA)系統(tǒng)、正 交頻分多址(OFDMA)系統(tǒng)、時(shí)分多址(TDMA)系統(tǒng)(例如用于服務(wù)行業(yè)的GSM/GPRS(通用 分組無線電服務(wù))/EDGE(增強(qiáng)型數(shù)據(jù)GSM環(huán)境)或TETRA(陸地集群無線電)移動電話技 術(shù))、寬帶碼分多址(WCDMA)、高數(shù)據(jù)速率(lxEV-DO或1xEV-DO GoldMulticast)系統(tǒng)或 一般來說采用技術(shù)組合的任何無線通信系統(tǒng)。所傳輸?shù)臄?shù)據(jù)可包括多個(gè)位流,例如視頻、 音頻和/或閉合字幕。應(yīng)注意,可省略、重新布置和/或組合圖1中所展示的編碼器裝置105的一個(gè)或一個(gè) 以上元件。舉例來說,處理器組件135可在編碼器裝置105外部。解碼器裝置110與編碼器裝置105含有類似組件,包括多媒體解碼器165、存儲器組 件170、接收器175和處理器180。解碼器裝置IIO接收己經(jīng)由網(wǎng)絡(luò)150或從外部存儲裝 置185傳輸?shù)慕?jīng)編碼多媒體數(shù)據(jù)。接收器175含有用于結(jié)合網(wǎng)絡(luò)150而接收(Rx)經(jīng)編碼 數(shù)據(jù)的電路和/或邏輯,以及用于從外部存儲裝置185接收經(jīng)編碼數(shù)據(jù)的邏輯。外部存儲 裝置185可為(例如)外部RAM或ROM、或遠(yuǎn)程伺服器。多媒體解碼器165含有用于解碼所接收的經(jīng)編碼多媒體位流的電路和/或邏輯。多媒 體解碼器165的子組件可包括去量化組件、反變換組件和各種錯(cuò)誤恢復(fù)組件。所述錯(cuò)誤 恢復(fù)組件可包括低級錯(cuò)誤檢測與校正組件(例如里德-所羅門(Reed-SoIomon)編碼和/或 渦輪(Turbo)編碼)以及用于代替和/或隱蔽不可由低層方法校正的數(shù)據(jù)的上層錯(cuò)誤恢復(fù) 和/或錯(cuò)誤隱蔽。經(jīng)解碼多媒體數(shù)據(jù)可由顯示組件190顯示、存儲在外部存儲裝置185中或存儲在內(nèi) 部存儲器組件170中。顯示組件190可為解碼器裝置110的整合部分。顯示組件190含 有例如視頻和/或音頻顯示硬件和邏輯的部分,包括顯示屏幕和/或揚(yáng)聲器。顯示組件190 也可為外部周邊裝置。在此實(shí)例中,接收器175也含有用于將經(jīng)解碼的多媒體數(shù)據(jù)傳送 到外部存儲組件185或顯示組件190的邏輯。.應(yīng)注意,可省略、重新布置和/或組合圖1中所示的解碼器裝置110的一個(gè)或一個(gè)以 上元件。舉例來說,處理器180可位于解碼器裝置110的外部。圖1B說明根據(jù)用于傳遞串流視頻的一個(gè)方面的經(jīng)配置以使用各種運(yùn)動模型的 EA-FRUC裝置155的實(shí)例。經(jīng)配置以使用各種運(yùn)動模型的EA-FRUC裝置100包括用于 劃分第一和第二視頻幀的模塊161、用于確定建模信息的模塊121、用于產(chǎn)生內(nèi)插幀的模塊116以及用于產(chǎn)生編碼信息的模塊126。在一個(gè)方面中,用于將第一和第二視頻幀中的至少一者劃分為多個(gè)分區(qū)的裝置包含 用于劃分第一和第二視頻幀161的模塊。在一個(gè)方面中,用于確定所述多個(gè)分區(qū)中的至 少一者中的至少一個(gè)對象的建模信息的裝置包括用于確定建模信息121的模塊。在一個(gè) 方面中,用于基于所述建模信息而產(chǎn)生內(nèi)插幀的裝置包括用于產(chǎn)生內(nèi)插幀116的模塊。 在一個(gè)方面中,用于基于所述內(nèi)插幀而產(chǎn)生編碼信息的裝置包括用于產(chǎn)生編碼信息126 的模塊。圖2為說明圖1A的經(jīng)配置以使用各種運(yùn)動模型的EA-FRUC系統(tǒng)的操作的流程圖。 首先,在步驟201處,如將參看圖3進(jìn)一步詳細(xì)論述,通過使用基于對象的建模信息和 關(guān)于解碼器裝置110的信息來編碼視頻數(shù)據(jù)以用于提升取樣。接著,在步驟202處,將 經(jīng)編碼的信息傳輸?shù)浇獯a器裝置110。在某些方面中,將經(jīng)編碼的信息從編碼器裝置105 的發(fā)射器模塊140傳輸?shù)浇獯a器裝置110的接收器175。在接收到經(jīng)編碼的信息后,在步 驟203處,在解碼器裝置110解碼經(jīng)編碼的信息后完成所述過程,從而通過使用經(jīng)編碼 的基于對象的建模信息來再生原始視頻數(shù)據(jù)的壓縮版本。將參看圖6來進(jìn)一步詳細(xì)論述 步驟203。圖3為說明通過使用基于對象的建模信息和解碼器信息來編碼視頻數(shù)據(jù)以用于提升 取樣的流程圖。首先,在步驟301中,如參看圖4進(jìn)一步詳細(xì)論述,為視頻幀中的對象 確定建模信息。接著,在步驟302中,使用關(guān)于希望用于解碼經(jīng)編碼視頻數(shù)據(jù)的解碼系 統(tǒng)的信息以便進(jìn)一步提升取樣經(jīng)編碼的視頻。最終,在步驟303中,產(chǎn)生經(jīng)編碼的視頻 位流,如題為"用于在可縮放視頻編碼中適用幀速率提升轉(zhuǎn)換的方法和設(shè)備(Method and Apparatus for Using Frame Rate Up Conversion Techniques in Scalable Video Coding)"的第 2006/0002465號美國專利公開案中所論述,其在此明確以全文引用的方式并入本文中。圖4為說明根據(jù)本發(fā)明的一個(gè)方面的為視頻幀中的對象確定建模信息的流程圖。在 所說明的方面中,通過使用本文針對辨識經(jīng)歷任意運(yùn)動和變形的對象而揭示的某些有利 技術(shù)而識別運(yùn)動對象。在其它方面中,如現(xiàn)有技術(shù)中已知,可通過將運(yùn)動補(bǔ)償?shù)念A(yù)測和 基于變換編碼的混合視頻壓縮方案均一地應(yīng)用到每一視頻幀來識別對象。此外,在所說 明的方面中,所使用的仿射模塊覆蓋視頻幀的一部分,通常被稱為基于對象的仿射模塊 或局部GMC。在此情況下,編碼器裝置105執(zhí)行對象分段以定位運(yùn)動中的對象,接著通 過使用仿射模塊本身和對象描述符兩者來更新仿射模塊估計(jì)。舉例來說,二元位映射可 指示視頻幀內(nèi)的所描述對象的邊界。在仿射模塊覆蓋整個(gè)視頻幀的方面中,使用全局運(yùn)動補(bǔ)償(GMC)。對于GMC情況來說,仿射模型運(yùn)動中所使用的六個(gè)參數(shù)用于描述幀的運(yùn) 動,且被傳輸?shù)浇獯a器裝置110,而無任何其它運(yùn)動信息嵌入在位流中。在另外方面中, 可使用除仿射運(yùn)動模型之外的運(yùn)動模型。首先,在步驟401中,將視頻幀分割為若干區(qū)塊。在某些方面中,所述區(qū)塊具有固 定大小和形狀。在其它方面中,可基于包括顯著運(yùn)動-變形行為、區(qū)域內(nèi)的時(shí)間變化動態(tài)、 可唯一識別的對象的因素中的一者或其組合而將幀分割為具有非均一大小和/或非均一 形狀的區(qū)塊。接著,在步驟402中,識別一個(gè)背景對象,且識別零或多個(gè)前景對象。在某些方面 中,可通過使用圖像分段來進(jìn)行識別。圖像分段包括結(jié)合閾值處理來分析例如亮度和色 彩值的像素域?qū)傩?,以及結(jié)合基于區(qū)域的方法來分析這些屬性的某些統(tǒng)計(jì),例如平均值、 方差、標(biāo)準(zhǔn)偏差、最小值-最大值、中值和其它。在其它方面中,可通過使用例如馬克夫 (Markov)隨機(jī)場或碎片形的紋理模型來進(jìn)行識別。在其它方面中,可通過使用邊緣/輪 廓線檢測(包括對梯度圖像的流域變換)和形狀模型來進(jìn)行識別。在其它方面中,可通過使 用保留連續(xù)性的基于松弛的分段方法(通常被稱為主動輪廓線模型)來進(jìn)行識別。在其它方 面中,可通過使用例如運(yùn)動場的時(shí)間信息來進(jìn)行識別。在某些方面中,可通過在統(tǒng)一框 架內(nèi)使用上述圖像分段方法中的一些或所有的組合而發(fā)生圖像分段。在某些其它方面中,可通過使用基于圖形的技術(shù)而識別對象,例如通過使用局部和 全局、語義和統(tǒng)計(jì)(強(qiáng)度/紋理)分組提示。在另外方面中,可通過使用可從制作工具獲得 的場景組成信息來識別上文列舉的對象。在某些方面中,可通過在統(tǒng)一框架內(nèi)使用上述 識別方法中的一些或所有的組合來識別背景對象和任何前景對象。接著,在步驟403中,可對背景對象進(jìn)行分類。在某些方面中,可將背景對象分類 為靜止圖像,在此情況下,所述背景對象的一個(gè)傳輸足夠用于解碼器裝置110處的未來 幀內(nèi)插和/或解碼/重建任務(wù)。在其它方面中,可將背景對象分類為經(jīng)歷全局運(yùn)動的靜止(或 幾乎靜態(tài))圖像,所述運(yùn)動例如為搖動、巻動、旋轉(zhuǎn)、放大或縮小運(yùn)動。在此情況下,編 碼器裝置105適當(dāng)?shù)剡x擇以結(jié)合全局運(yùn)動模型的描述而傳輸背景圖像的某些取樣狀態(tài)。 所述傳輸可足夠用于解碼器裝置110處的幀內(nèi)插和/或解碼/重建任務(wù)。在另外方面中,背 景對象的分類可不屬于上述兩類中的任一者,在此情況下,背景圖像的狀態(tài)的可能更密 集的時(shí)間取樣可由編碼器裝置105傳輸以支持解碼器裝置110處的成功的幀內(nèi)插和/或解 碼/重建。接著,在步驟404中,處理從視頻數(shù)據(jù)識別的對象的運(yùn)動向量信息??赏ㄟ^使用題為"用于運(yùn)動向量處理的方法和設(shè)備(Method and Apparatus for Motion Vector Processing)" 的第2006/0018382號美國專利公開案中所揭示的系統(tǒng)和方法來處理運(yùn)動向量信息,所述 公開案在此明確以全文引用的方式并入本文中。在步驟405中,經(jīng)估計(jì)的仿射模型與運(yùn) 動對象相關(guān)聯(lián)??芍辽倩谥鸲纹矫孢\(yùn)動向量場近似法的性能中的降級來估計(jì)仿射模型。 如參看圖5進(jìn)一步詳細(xì)論述,在步驟406中通過使用運(yùn)動向量侵蝕信息來指定與每一經(jīng) 識別的運(yùn)動對象相關(guān)聯(lián)的每一仿射模型,且在步驟407中通過使用基于運(yùn)動的對象分段 來進(jìn)一步指定。這些進(jìn)一步指定用于在步驟408中更新每一各自仿射模型,且最終在為 所述仿射模型產(chǎn)生對象描述符時(shí)在步驟409中完成過程。圖5為說明通過使用仿射模型來為視頻幀中的對象確定運(yùn)動向量侵蝕信息的流程 圖。首先,在步驟501中,編碼器裝置105確定仿射模型以與運(yùn)動對象相關(guān)聯(lián)。接著, 在步驟502中,編碼器裝置105運(yùn)動到視頻幀的對象映射的第一宏區(qū)塊,其中在步驟503 中,針對對象映射的每一宏區(qū)塊,在決策狀態(tài)504中,編碼器105決定宏區(qū)塊是否與來 自步驟501的所確定的仿射模型匹配。如果宏區(qū)塊確實(shí)與所述仿射模型匹配,則在步驟 505中通過使用所述匹配的宏區(qū)塊來更新仿射模型基礎(chǔ)對象映射。接著,在步驟506中, 通過返回到步驟503,編碼器裝置105行進(jìn)到下一宏區(qū)塊。然而,如果所述宏區(qū)塊不與 所述仿射模型匹配,則在步驟506中通過返回到步驟503,解碼器裝置直接行進(jìn)到下一 宏區(qū)塊。另外,完成所述過程。盡管使用平移模型的基于區(qū)塊的運(yùn)動補(bǔ)償廣泛地布署于解碼器裝置(裝置的軟件或 硬件方面)中,但為了在解碼器裝置中實(shí)施使用不同運(yùn)動模型的EA-FRUC,在基于平移 區(qū)塊的運(yùn)動向量框架內(nèi)描述來自編碼器裝置105的運(yùn)動信息。在某些方面中,在解碼器 裝置110的基于平移區(qū)塊的運(yùn)動框架中描述不同運(yùn)動模型的過程可針對具有較小區(qū)塊大 小的區(qū)塊運(yùn)動向量遞歸地執(zhí)行,以便為較大區(qū)塊大小建立運(yùn)動向量。通過使用關(guān)于在視頻位流內(nèi)編碼的運(yùn)動模型的信息,解碼器裝置iio通過使用用于 顯示原始視頻中的對象的一定數(shù)目的像素的一部分來為選定的運(yùn)動對象產(chǎn)生運(yùn)動向量。 在某些方面中,選定的像素可均勻地分布在區(qū)塊內(nèi)。在其它方面中,可從區(qū)塊中隨機(jī)地 選擇像素。在某些方面中,區(qū)塊的多個(gè)運(yùn)動向量接著經(jīng)合并以產(chǎn)生代表所述區(qū)塊的單個(gè)運(yùn)動向 量,且所述運(yùn)動向量可進(jìn)一步經(jīng)受后處理(例如向量平滑化),如上文所述。在其它方面中, 選定的像素或?qū)ο蟮倪\(yùn)動向量可用作用于運(yùn)動估計(jì)模塊的種子運(yùn)動向量(seed motion vector),以便產(chǎn)生代表所關(guān)注的區(qū)塊的運(yùn)動向量。圖6是說明根據(jù)本發(fā)明的某些方面使用經(jīng)配置以在平移運(yùn)動模型框架內(nèi)解碼運(yùn)動模 型的解碼器裝置來解碼使用基于對象的建模信息和解碼器信息提升取樣的經(jīng)編碼視頻數(shù) 據(jù)位流的流程圖。在步驟601中,解碼器裝置110接收用于包括兩個(gè)參考幀的視頻位流的經(jīng)解碼信息。 接著,在決策狀態(tài)602中,解碼器裝置IIO決定所述位流是否包括編碼器增強(qiáng)的內(nèi)插幀。 如果包括編碼器增強(qiáng)的內(nèi)插幀,則在步驟603中,解碼器裝置除了使用參考幀之外也使 用內(nèi)插幀(其包括與各種運(yùn)動模型有關(guān)的編碼器增強(qiáng)的信息)來產(chǎn)生在時(shí)間上與內(nèi)插幀 共終端的視頻幀。換句話說,解碼器裝置使用編碼器增強(qiáng)的內(nèi)插幀以及其相關(guān)聯(lián)的參考 幀,以便產(chǎn)生代替內(nèi)插幀的視頻幀。然而,如果在步驟602中,解碼器裝置110決定編 碼器增強(qiáng)的內(nèi)插幀信息不嵌入在位流中,則在步驟604中,解碼器裝置IIO將使用參考 幀來產(chǎn)生雙向幀(B幀)。所屬領(lǐng)域的技術(shù)人員將了解,可使用多種不同工藝和技術(shù)中的任何一者來表示信息 和信號。舉例來說,可由電壓、電流、電磁波、磁場或粒子、光場或粒子或其任何組合 來表示可能貫穿上文描述內(nèi)容而參考的數(shù)據(jù)、指令、命令、信息、信號、位、符號和碼 片。所屬領(lǐng)域的技術(shù)人員將進(jìn)一步了解,結(jié)合本文所揭示的實(shí)例而描述的各種說明性邏 輯區(qū)塊、模塊和算法步驟可實(shí)施為電子硬件、計(jì)算機(jī)軟件或兩者的組合。為了清楚地說 明硬件與軟件的此可互換性,上文已大體上從其功能性角度描述了各種說明性組件、區(qū) 塊、模塊、電路和步驟。將此功能性實(shí)施為硬件還是軟件取決于特定應(yīng)用和強(qiáng)加于整個(gè) 系統(tǒng)上的設(shè)計(jì)限制。熟練的技術(shù)人員可針對每一特定應(yīng)用以不同方式來實(shí)施所述功能性, 但不應(yīng)將這些實(shí)施決策解釋為導(dǎo)致偏離所揭示的方法的范疇。可通過使用通用處理器、DSP、 ASIC、場可編程門陣列(FPGA)或其它可編程邏輯裝 置、離散門或晶體管邏輯、離散硬件組件或經(jīng)設(shè)計(jì)以執(zhí)行本文所述的功能的其任何組合 來實(shí)施或執(zhí)行結(jié)合本文所揭示的實(shí)例而描述的各種說明性邏輯區(qū)塊、模塊和電路。通用 處理器可為微處理器,但或者,所述處理器可為任何常規(guī)處理器、控制器、微控制器或 狀態(tài)機(jī)。處理器也可實(shí)施為計(jì)算裝置的組合,例如,DSP與微處理器的組合、多個(gè)微處 理器、結(jié)合DSP芯的一個(gè)或一個(gè)以上微處理器或任何其它此類配置。結(jié)合本文所揭示的實(shí)例而描述的方法或算法的步驟可直接在硬件、由處理器執(zhí)行的 軟件模塊或兩者的組合中實(shí)施。軟件模塊可駐存在RAM存儲器、快閃存儲器、ROM存 儲器、EPROM存儲器、EEPROM存儲器、寄存器、硬盤、可移除磁盤、CD-ROM或此項(xiàng)技術(shù)中所知的任何其它形式的存儲媒體中。示范性存儲媒體耦合到處理器,以使得處 理器可從存儲媒體讀取信息并將信息寫入存儲媒體?;蛘?,存儲媒體可與處理器成為一 體。處理器和存儲媒體可駐存在ASIC中。ASIC可駐存在無線調(diào)制解調(diào)器中?;蛘撸?理器和存儲媒體可作為離散組件而駐存在無線調(diào)制解調(diào)器中。提供所揭示的實(shí)例的前述描述以使得所屬領(lǐng)域的技術(shù)人員能夠制作或使用所揭示的 方法和設(shè)備。所屬領(lǐng)域的技術(shù)人員將明白對這些實(shí)例的各種修改,且本文所界定的原理 可在不偏離所揭示的方法和設(shè)備的精神或范疇的情況下適用于其它實(shí)例。
權(quán)利要求
1. 一種處理多媒體數(shù)據(jù)的方法,其包含將第一和第二視頻幀中的至少一者劃分為多個(gè)分區(qū);為所述分區(qū)中的至少一者中的至少一個(gè)對象確定建模信息,所述建模信息與所述 第一視頻幀和第二視頻幀相關(guān)聯(lián);基于所述建模信息產(chǎn)生內(nèi)插幀;以及基于所述內(nèi)插幀產(chǎn)生編碼信息,其中所述編碼信息用于產(chǎn)生在時(shí)間上與所述內(nèi)插 幀共同定位的視頻幀。
2. 根據(jù)權(quán)利要求l所述的方法,其中為所述分區(qū)中的一者中的至少一個(gè)對象確定建模 信息包含確定基于區(qū)塊的運(yùn)動場估計(jì);基于所述基于區(qū)塊的場估計(jì)而識別至少一個(gè)對象;以及 為所述至少一個(gè)對象確定仿射模型。
3. 根據(jù)權(quán)利要求1所述的方法,其進(jìn)一步包含使用色彩特征來識別所述至少一個(gè)對象 的邊界。
4. 根據(jù)權(quán)利要求1所述的方法,其進(jìn)一步包含使用紋理特征來識別所述至少一個(gè)對象 的邊界。
5. 根據(jù)權(quán)利要求1所述的方法,其進(jìn)一步包含使用像素域?qū)傩詠碜R別所述至少一個(gè)對 象的邊界。
6. 根據(jù)權(quán)利要求l所述的方法,其進(jìn)一步包含確定與所述分區(qū)中的一者相關(guān)聯(lián)的運(yùn)動向量侵蝕信息,其中所述傳輸?shù)木幋a信息 包含所述運(yùn)動向量侵蝕信息。
7. 根據(jù)權(quán)利要求1所述的方法,其中所述建模信息包含仿射模型。
8. 根據(jù)權(quán)利要求7所述的方法,其中所述仿射模型包含平移、旋轉(zhuǎn)、剪切和縮放運(yùn)動 中的至少一者。
9. 根據(jù)權(quán)利要求l所述的方法,其中所述建模信息包含全局運(yùn)動模型。
10. —種用于處理多媒體數(shù)據(jù)的設(shè)備,其包含用于將第一和第二視頻幀中的至少一者劃分為多個(gè)分區(qū)的裝置; 用于為所述多個(gè)分區(qū)中的至少一者中的至少一個(gè)對象確定建模信息的裝置,所述建模信息與所述第一視頻幀和第二視頻幀相關(guān)聯(lián) 用于基于所述建模信息產(chǎn)生內(nèi)插幀的裝置;以及用于基于所述內(nèi)插幀產(chǎn)生編碼信息的裝置,其中所述編碼信息用于產(chǎn)生在時(shí)間上 與所述內(nèi)插幀共同定位的視頻幀。
11. 根據(jù)權(quán)利要求IO所述的設(shè)備,其中所述確定裝置包含用于確定基于區(qū)塊的運(yùn)動場估計(jì)的裝置;用于基于所述基于區(qū)塊的場估計(jì)識別至少一個(gè)對象的裝置;以及 用于為所述至少一個(gè)對象確定仿射模型的裝置。
12. 根據(jù)權(quán)利要求10所述的設(shè)備,其進(jìn)一步包含使用色彩特征來識別所述至少一個(gè)對 象的邊界。
13. 根據(jù)權(quán)利要求10所述的設(shè)備,其進(jìn)一步包含使用紋理特征來識別所述至少一個(gè)對 象的邊界。
14. 根據(jù)權(quán)利要求10所述的設(shè)備,其進(jìn)一步包含使用像素域?qū)傩詠碜R別所述至少一個(gè) 對象的邊界。
15. 根據(jù)權(quán)利要求IO所述的設(shè)備,其進(jìn)一步包含-用于確定與所述分區(qū)中的一者相關(guān)聯(lián)的運(yùn)動向量侵蝕信息的裝置,其中所述傳輸?shù)木幋a信息包含所述運(yùn)動向量侵蝕信息。
16. 根據(jù)權(quán)利要求IO所述的設(shè)備,其中所述建模信息包含仿射模型。
17. 根據(jù)權(quán)利要求16所述的設(shè)備,其中所述仿射模型包含平移、旋轉(zhuǎn)、剪切和縮放運(yùn) 動中的至少一者。
18. —種用于處理多媒體數(shù)據(jù)的設(shè)備,其包含分割模塊,其經(jīng)配置以將第一和第二視頻幀中的至少一者劃分為多個(gè)分區(qū); 建模模塊,其經(jīng)配置以為所述多個(gè)分區(qū)中的至少一者中的至少一個(gè)對象確定建模 信息,所述建模信息與所述第一視頻幀和第二視頻幀相關(guān)聯(lián); 幀產(chǎn)生模塊,其經(jīng)配置以基于所述建模信息產(chǎn)生內(nèi)插幀; 編碼模塊,其經(jīng)配置以基于所述內(nèi)插幀產(chǎn)生編碼信息;以及傳輸模塊,其經(jīng)配置以將所述編碼信息傳輸?shù)浇獯a器。
19. 一種包含用于處理多媒體數(shù)據(jù)的指令的機(jī)器可讀媒體,其中所述指令在執(zhí)行時(shí)促使 機(jī)器將第一和第二視頻幀中的至少一者劃分為多個(gè)分區(qū);為所述多個(gè)分區(qū)中的至少一者中的至少一個(gè)對象確定建模信息,所述建模信息與 所述第一視頻幀和第二視頻幀相關(guān)聯(lián); 基于所述建模信息產(chǎn)生內(nèi)插幀;以及基于所述內(nèi)插幀產(chǎn)生編碼信息,其中所述編碼信息用于產(chǎn)生在時(shí)間上與所述內(nèi)插 幀共同定位的視頻幀。 20.—種用于處理多媒體數(shù)據(jù)的處理器,所述處理器經(jīng)配置以 將第一和第二視頻幀中的至少一者劃分為多個(gè)分區(qū);為所述多個(gè)分區(qū)中的至少一者中的至少一個(gè)對象確定建模信息'所述建模信息與 所述第一視頻幀和第二視頻幀相關(guān)聯(lián); 基于所述建模信息產(chǎn)生內(nèi)插幀;以及基于所述內(nèi)插幀產(chǎn)生編碼信息,其中所述編碼信息用于產(chǎn)生在時(shí)間上與所述內(nèi)插 幀共同定位的視頻幀。
全文摘要
本發(fā)明提供一種編碼器輔助式幀速率提升轉(zhuǎn)換(EA-FRUC)系統(tǒng),其除了利用視頻編碼器處的視頻編碼和預(yù)處理操作之外還利用例如仿射模型的各種運(yùn)動模型來開發(fā)將在解碼器中發(fā)生的FRUC處理,以便改進(jìn)運(yùn)動對象的建模、壓縮效率和經(jīng)重建視頻的質(zhì)量。此外,以一種減少用以在解碼器裝置上再現(xiàn)對象的編碼所必需的信息量的方式來識別對象。
文檔編號H04N7/26GK101313582SQ200680043307
公開日2008年11月26日 申請日期2006年9月27日 優(yōu)先權(quán)日2005年9月27日
發(fā)明者塞伊富拉·哈立德·奧古茲, 方 石, 維賈雅拉克希米·R·拉韋恩德拉恩, 蘇密特·辛格·塞蒂 申請人:高通股份有限公司