專利名稱：使用隨機(jī)域模型改進(jìn)圖片和視頻壓縮以及幀速率上轉(zhuǎn)換的方法和設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖片和視頻壓縮。更明確地說(shuō)，本發(fā)明涉及使用隨機(jī)域模型來(lái)改進(jìn)圖片 和視頻壓縮以及幀速率上轉(zhuǎn)換的方法和設(shè)備。
背景技術(shù)：
數(shù)字產(chǎn)品和服務(wù)(例如，數(shù)碼相機(jī)、數(shù)字錄像機(jī)、衛(wèi)星廣播數(shù)字電視(DTV)服務(wù) 和視頻流)正變得日益普及。由于數(shù)字?jǐn)?shù)據(jù)/信息存儲(chǔ)容量和共享的傳輸帶寬存在限制， 出現(xiàn)了對(duì)壓縮數(shù)字圖片和視頻幀的較大需要以便高效地存儲(chǔ)且傳輸數(shù)字圖片和視頻幀。 出于這些原因，已經(jīng)研發(fā)出許多針對(duì)數(shù)字圖片和數(shù)字視頻信號(hào)的編碼和解碼的標(biāo)準(zhǔn)。舉 例來(lái)說(shuō)，國(guó)際電信聯(lián)盟(ITU)己經(jīng)公布了針對(duì)數(shù)字視頻編碼的H,261、 H.262、 H.263和 H.264標(biāo)準(zhǔn)。而且，國(guó)際標(biāo)準(zhǔn)組織(ISO)通過(guò)其專家研究組運(yùn)動(dòng)圖像專家組(Motkm Picture Experts Group,)已經(jīng)公布了針對(duì)數(shù)字視頻編碼的標(biāo)準(zhǔn)MPEG-l、 MPEG-2和MPEG-4的 與視頻壓縮有關(guān)的部分。舉例來(lái)說(shuō)，MPEG-2視頻目前是用于經(jīng)由衛(wèi)星、地面或電纜傳 輸鏈路的數(shù)字電視廣播的標(biāo)準(zhǔn)編碼技術(shù)。在數(shù)字圖片壓縮的領(lǐng)域中，在ISO與ITU之間 聯(lián)合建立的聯(lián)合照片專家群(Joint Photographic Experts Group, JPEG)已經(jīng)公布了JPEG 和JPEG 2000標(biāo)準(zhǔn)。
這些標(biāo)準(zhǔn)規(guī)定經(jīng)編碼的數(shù)字視頻信號(hào)的語(yǔ)法和如何解碼這些信號(hào)以用于演示或回 放。然而，這些標(biāo)準(zhǔn)允許各種的不同技術(shù)(例如，算法或壓縮工具)以靈活的方式用于 將數(shù)字視頻信號(hào)從未經(jīng)壓縮格式變換成經(jīng)壓縮或經(jīng)編碼的格式。因此，目前可使用許多不同的數(shù)字視頻信號(hào)編碼器。這些數(shù)字視頻信號(hào)編碼器能夠在質(zhì)量等級(jí)變化的情況下實(shí) 現(xiàn)變化程度的壓縮。由當(dāng)代標(biāo)準(zhǔn)提供且由當(dāng)前編碼器使用的壓縮技術(shù)最適合于非無(wú)紋理 對(duì)象和圖像的壓縮。
然而，圖片和視頻幀通常包含在許多標(biāo)度上顯示出大量細(xì)節(jié)的有紋理的可視對(duì)象和 區(qū)域。這些對(duì)象的實(shí)例包含草、花、葉、水等。結(jié)合在照明條件的微小變化和/或少量的 運(yùn)動(dòng)(即，位置變化)，盡管所述對(duì)象的較高等級(jí)的效果保持不變，但其精確的細(xì)節(jié)改變。 可將這些對(duì)象中的每一者稱為紋理，可將紋理視為隨機(jī)(可能是周期性的)二維像素域 (例如，圖片或視頻幀的一部分)，其展示較小空間鄰域(例如，幾個(gè)像素內(nèi))中亮度(Y) 和/或顏色(U，V)方面的快速變化。上述壓縮算法在壓縮紋理方面的效率不是非常高。
由于這些原因以及其它原因，需要用于高效地壓縮包含紋理的可視對(duì)象和區(qū)域的方 法和系統(tǒng)。

發(fā)明內(nèi)容
一種處理多媒體數(shù)據(jù)的方法包括將數(shù)據(jù)分段為多個(gè)分區(qū)，將所述多個(gè)分區(qū)中的每一 者指配給包括第一種類和第二種類的多個(gè)種類中的一者，使用算法來(lái)對(duì)指配給所述第一 種類的所述多個(gè)分區(qū)進(jìn)行編碼，且使用紋理模型來(lái)對(duì)指配給所述第二種類的所述多個(gè)分 區(qū)進(jìn)行編碼。
一種用于處理多媒體數(shù)據(jù)的設(shè)備包括分段模塊，其經(jīng)配置以將數(shù)據(jù)分段為多個(gè)分 區(qū)；指配模塊，其經(jīng)配置以將所述多個(gè)分區(qū)中的每一者指配給包括第一種類和第二種類 的多個(gè)種類中的一者；以及編碼器，其經(jīng)配置以使用算法來(lái)對(duì)指配給所述第一種類的所
述多個(gè)分區(qū)進(jìn)行編碼，且使用紋理模型來(lái)對(duì)指配給所述第二種類的所述多個(gè)分區(qū)進(jìn)行編 碼。
一種處理多媒體數(shù)據(jù)的方法包括使用算法來(lái)對(duì)屬于第一種類的多個(gè)第一分區(qū)進(jìn)行解 碼，使用紋理模型來(lái)對(duì)屬于第二種類的多個(gè)第二分區(qū)進(jìn)行解碼，以及使用邊界信息、所 述多個(gè)第一分區(qū)和所述多個(gè)第二分區(qū)來(lái)創(chuàng)建多媒體數(shù)據(jù)。
一種用于處理多媒體數(shù)據(jù)的設(shè)備包括解碼器，其經(jīng)配置以使用算法來(lái)對(duì)屬于第一 種類的多個(gè)第一分區(qū)進(jìn)行解碼，且使用紋理模型來(lái)對(duì)屬于第二種類的多個(gè)第二分區(qū)進(jìn)行 解碼；以及產(chǎn)生模塊，其經(jīng)配置以使用邊界信息、所述多個(gè)第一分區(qū)和所述多個(gè)第二分 區(qū)來(lái)創(chuàng)建多媒體數(shù)據(jù)。


當(dāng)結(jié)合附圖考慮時(shí)，從下文所陳述的具體實(shí)施方式
將更明白本發(fā)明的特征、目標(biāo)和優(yōu)勢(shì)。
圖1是根據(jù)本發(fā)明實(shí)施例的用于傳輸和接收?qǐng)D片和視頻幀的系統(tǒng)的框圖2是根據(jù)本發(fā)明實(shí)施例的用于傳輸和接收?qǐng)D片和視頻幀的系統(tǒng)的框圖3是說(shuō)明根據(jù)本發(fā)明實(shí)施例的對(duì)圖片和視頻幀進(jìn)行編碼的方法的流程圖4A、圖4B和圖4C是根據(jù)本發(fā)明如果干實(shí)施例的用于定義馬爾可夫隨機(jī)域
(Markov Random Fields)的8連接鄰域、4連接鄰域和間接鄰域的實(shí)例；
圖5是說(shuō)明根據(jù)本發(fā)明如果干實(shí)施例的MRF模型的四種不同實(shí)現(xiàn)的圖片，其中每個(gè)
實(shí)現(xiàn)包含一個(gè)不同的鄰域定義；
圖6是說(shuō)明根據(jù)本發(fā)明實(shí)施例的對(duì)圖片和視頻幀進(jìn)行解碼的方法的流程圖； 圖7是根據(jù)本發(fā)明實(shí)施例的用于處理多媒體數(shù)據(jù)的設(shè)備的框圖8是根據(jù)本發(fā)明實(shí)施例的用于處理多媒體數(shù)據(jù)的設(shè)備的框圖； 圖9是說(shuō)明用于處理多媒體數(shù)據(jù)的設(shè)備的裝置的示范性組件的框圖；以及
圖io是說(shuō)明用于處理多媒體數(shù)據(jù)的設(shè)備的裝置的示范性組件的框圖。
具體實(shí)施例方式
現(xiàn)將參看圖式來(lái)描述實(shí)施實(shí)施本發(fā)明的多個(gè)特征的實(shí)施例的方法和系統(tǒng)。提供圖式 和相關(guān)描述以便說(shuō)明本發(fā)明的實(shí)施例而非限制本發(fā)明的范圍。本說(shuō)明書(shū)中所提到的"一 個(gè)實(shí)施例"或"一實(shí)施例"意在指示結(jié)合所述實(shí)施例而描述的特定特征、結(jié)構(gòu)或特性包 含在本發(fā)明的至少一實(shí)施例中。本說(shuō)明書(shū)中多處出現(xiàn)的詞組"在一個(gè)實(shí)施例中"或"一 實(shí)施例"未必都指代同一實(shí)施例。在全部圖式中，重復(fù)使用參考數(shù)字來(lái)指示所參考元件 之間的對(duì)應(yīng)。此外，每個(gè)參考數(shù)字的第一數(shù)位指示所述元件首次出現(xiàn)的圖。
圖1是用于傳輸和接收視頻數(shù)據(jù)(例如，圖片和視頻幀)的系統(tǒng)100的框圖。還可 使用系統(tǒng)100來(lái)對(duì)圖片和視頻幀進(jìn)行編碼(例如，壓縮)和解碼(例如，解壓縮)。系統(tǒng) 100可包含服務(wù)器102、裝置104和將服務(wù)器102連接到裝置104的通信信道106。系統(tǒng) IOO是用以說(shuō)明下文所描述的用于對(duì)圖片和視頻幀進(jìn)行編碼和解碼的方法的示范性系統(tǒng)。 可以硬件、軟件及其組合的形式來(lái)實(shí)施系統(tǒng)100。所屬領(lǐng)域的技術(shù)人員將了解，可使用 其它系統(tǒng)來(lái)代替系統(tǒng)100，同時(shí)仍維持本發(fā)明的精神和范圍。
服務(wù)器102可包含處理器108、存儲(chǔ)器110、編碼器112和I/O裝置114 (例如，收 發(fā)器)。服務(wù)器102可包含一個(gè)或一個(gè)以上處理器108、 一個(gè)或一個(gè)以上存儲(chǔ)器110、 一 個(gè)或一個(gè)以上編碼器112和一個(gè)或一個(gè)以上I/O設(shè)備114 (例如，收發(fā)器)。處理器108 和/或編碼器112可經(jīng)配置以接收?qǐng)D片和呈一連串視頻幀形式的視頻數(shù)據(jù)。處理器108和/或編碼器U2可將所述圖片和所述一連串視頻幀傳輸?shù)酱鎯?chǔ)器110,以便存儲(chǔ)且/或可壓 縮所述圖片和所述一連串視頻幀。存儲(chǔ)器110還可存儲(chǔ)由處理器108和/或編碼器112使 用的計(jì)算機(jī)指令，以便控制服務(wù)器102的運(yùn)作和功能。使用從存儲(chǔ)器110接收的計(jì)算機(jī) 指令，編碼器112可經(jīng)配置以執(zhí)行所述一連串視頻幀的并行和串行處理(例如，壓縮)。 可如下文的方法中所描述那樣實(shí)施所述計(jì)算機(jī)指令。 一旦對(duì)所述一連串幀進(jìn)行編碼，就 可將經(jīng)編碼的數(shù)據(jù)發(fā)送到I/O裝置114,以便經(jīng)由通信信道106傳輸?shù)窖b置104。
裝置104可包含處理器116、存儲(chǔ)器118、解碼器120、 I/O設(shè)備122 (例如，收發(fā)器) 和顯示裝置或屏幕124。裝置104可包含一個(gè)或一個(gè)以上處理器116、 一個(gè)或一個(gè)以上存 儲(chǔ)器118、 一個(gè)或一個(gè)以上解碼器120、 一個(gè)或一個(gè)以上I/O裝置122 (例如，收發(fā)器) 和一個(gè)或一個(gè)以上顯示裝置或屏幕124。裝置104可以是計(jì)算機(jī)、數(shù)字錄像機(jī)、手持式 裝置(例如，手機(jī)、黑莓(Blackberry)等)、機(jī)頂盒、電視機(jī)以及能夠接收、處理(例 如，解壓縮)和/或顯示一連串視頻幀的其它裝置。1/0裝置122接收經(jīng)編碼的數(shù)據(jù)，且 將經(jīng)編碼的數(shù)據(jù)發(fā)送到存儲(chǔ)器118和/或發(fā)送到解碼器120以進(jìn)行解壓縮。解碼器120經(jīng) 配置以使用經(jīng)編碼的數(shù)據(jù)來(lái)再現(xiàn)所述圖片和/或所述一連串視頻幀。 一旦經(jīng)解碼，所述圖 片和/或所述一連串視頻幀就可存儲(chǔ)在存儲(chǔ)器118中。使用從存儲(chǔ)器118檢索到的計(jì)算機(jī) 指令，解碼器120可經(jīng)配置以執(zhí)行經(jīng)編碼數(shù)據(jù)的并行和串行處理(例如，解壓縮)，以再 現(xiàn)所述圖片和/或所述一連串視頻幀?？扇缦挛牡姆椒ㄖ兴枋瞿菢訉?shí)施所述計(jì)算機(jī)指 令。處理器116可經(jīng)配置以從存儲(chǔ)器118和/或解碼器120接收所述圖片和/或所述一連串 視頻幀，且在顯示裝置124上顯示所述圖片和/或所述一連串視頻幀。存儲(chǔ)器118還可存 儲(chǔ)由處理器116和/或解碼器120使用的計(jì)算機(jī)指令，以便控制裝置104的運(yùn)作和功能。
可使用通信信道106來(lái)在服務(wù)器102與裝置104之間傳輸經(jīng)編碼的數(shù)據(jù)。通信信道 106可以是有線網(wǎng)絡(luò)和/或無(wú)線網(wǎng)絡(luò)。舉例來(lái)說(shuō)，通信信道106可包含因特網(wǎng)、同軸電纜、 光纖線路、衛(wèi)星鏈路、地面鏈路、無(wú)線鏈路以及能夠傳播信號(hào)的其它媒體。
圖2是用于傳輸和接收?qǐng)D片和視頻幀的系統(tǒng)200的框圖。還可使用系統(tǒng)200來(lái)對(duì)圖 片和視頻幀進(jìn)行編碼(例如，壓縮)和解碼(例如，解壓縮)。系統(tǒng)200可包含接收模塊 202、分段模塊204、指配模塊206、第一編碼模塊208、第二編碼模塊210和傳輸模塊 212。圖2所示的模塊可以是圖1所示裝置中的一者或一者以上的一部分。舉例來(lái)說(shuō)，接 收模塊202和傳輸模塊212可以是I/O設(shè)備114和122的一部分。而且，分段模塊204、 指配模塊206、第一編碼模塊208和第二編碼模塊210可以是編碼器112的一部分。系統(tǒng) 200是用以說(shuō)明下文描述的用于對(duì)圖片和視頻幀進(jìn)行編碼和解碼的方法的示范性系統(tǒng)。可以硬件、軟件及其組合的形式來(lái)實(shí)施系統(tǒng)200。所屬領(lǐng)域的技術(shù)人員將了解，可使用 其它系統(tǒng)來(lái)代替系統(tǒng)200，同時(shí)仍維持本發(fā)明的精神和范圍。
圖3是說(shuō)明對(duì)多媒體數(shù)據(jù)(例如，音頻、視頻、圖像等)進(jìn)行編碼的方法300的流 程圖。視頻大體由許多個(gè)視頻幀組成，且每個(gè)圖片和視頻幀由許多個(gè)像素組成。每個(gè)像 素可由許多個(gè)位(例如，24個(gè)位)表示，其中(例如)8個(gè)位表示紅色分量，8個(gè)位表 示綠色分量且8個(gè)位表示藍(lán)色分量。用來(lái)表示每個(gè)圖片和/或視頻幀的像素的數(shù)目視所述 圖片和/或視頻幀的分辨率(例如，高清晰度)而定。用來(lái)表示每個(gè)像素的位的數(shù)目視所 述圖片或視頻幀的保真度(例如，髙保真度)而定。用來(lái)表示一個(gè)或一個(gè)以上圖片或視 頻幀的位的完整集合可被稱為源數(shù)據(jù)位。出于本發(fā)明的目的，術(shù)語(yǔ)"視頻幀"可用來(lái)描 述圖片和/或視頻的幀。
編碼器U2接收源數(shù)據(jù)位(步驟302)，并使源數(shù)據(jù)從第一色彩空間(例如，RGB) 轉(zhuǎn)換到第二色彩空間(例如，YUV或YCbCr)(步驟304)。色彩空間大體由三個(gè)顏色分 量組成。此項(xiàng)技術(shù)中存在用以執(zhí)行從第一色彩空間到第二色彩空間的轉(zhuǎn)換的若干色彩空 間、色彩空間轉(zhuǎn)換算法和矩陣。色彩空間轉(zhuǎn)換矩陣的實(shí)例是
<formula>formula see original document page 15</formula>從第一色彩空間到第二色彩空間的轉(zhuǎn)換允許源數(shù)據(jù)位呈較好的形式以供壓縮。
編碼器112可分析源數(shù)據(jù)以確定相鄰視頻幀之間存在相似性還是冗余性(步驟306)。 編碼器112通常針對(duì)相似性或冗余性而將視頻幀(有時(shí)被稱為中間視頻幀)與其先前的 和隨后的視頻幀進(jìn)行比較。舉例來(lái)說(shuō)，針對(duì)相似性可將幀3與幀2和幀4進(jìn)行比較。視 相似性、冗余性和/或解碼器120的能力而定，編碼器112可對(duì)源數(shù)據(jù)位執(zhí)行幀速率上轉(zhuǎn) 換(FRUC)或編碼器輔助的幀速率上轉(zhuǎn)換(EA-FRUC)處理。
編碼器U2可計(jì)算或產(chǎn)生相似性值(S)，以確定相鄰幀之間的相似性?？墒褂?例 如)源數(shù)據(jù)的像素的Y分量來(lái)計(jì)算所述相似性值。所述相似性值可表示為S (Y2， Y3， Y4)，
其中Y2是屬于先前幀的像素(亮度/光度)值的矩陣，Y3是屬于中間或目標(biāo)幀的像素(亮 度/光度)值的矩陣，且Y4是屬于隨后幀的像素(亮度/光度)值的矩陣。產(chǎn)生相似性值 的方法的一個(gè)實(shí)例是使用絕對(duì)差值和(SAD)算法。產(chǎn)生相似性值的方法的另一實(shí)例是 使用經(jīng)運(yùn)動(dòng)補(bǔ)償?shù)腟AD (MCSAD)算法。相似性量度S(.)可將一個(gè)以上先前幀(例如{...， Y-,, Y。，Y,，Y2P考慮在內(nèi)，且同樣 可將一個(gè)以上隨后幀(例如(Y4,Y5，Y6， ...})考慮在內(nèi)。所述多幀分析(尤其在因果方向 上)更符合現(xiàn)有工藝水平的視頻壓縮技術(shù)，且可改進(jìn)時(shí)間分段性能和準(zhǔn)確度。
相似性量度S(.)可將色彩空間維度(視頻信號(hào)相對(duì)于其而表示)中的一者或一者以 上或全部考慮在內(nèi)。所述多維度分析可改進(jìn)時(shí)間分段性能和準(zhǔn)確度。
相似性量度S(.)可返回值為標(biāo)量或向量的相似性測(cè)量。值為向量的相似性測(cè)量可具 有多個(gè)標(biāo)量分量。舉例來(lái)說(shuō)，在一個(gè)實(shí)施例中，這些標(biāo)量分量中的每一者可反映不同幀 對(duì)之間的相似性值，幀對(duì)中的一者通常是當(dāng)前幀(中間或目標(biāo)幀)，且另一者是來(lái)自先前 鄰域的列表或隨后鄰域的列表的幀。在一個(gè)實(shí)施例中，值為向量的相似性測(cè)量的多個(gè)標(biāo) 量分量可反映相對(duì)于不同色彩空間維度而計(jì)算出的相似性值。
可由編碼器112處理相似性量度值序列。編碼器112可將值序列輸入到分析模塊中。 所述分析模塊可以是處理器108和/或編碼器112的一部分。所述分析模塊一般可利用具 有時(shí)變大小的非因果窗口來(lái)處理所提供的相似性量度值的子集或全部，從而針對(duì)每個(gè)幀 作出(1)時(shí)間分段決策，例如是否場(chǎng)景改變/鏡頭邊界，或(2)編碼模式?jīng)Q策，例如規(guī) 則編碼，或編碼器輔助的幀內(nèi)插(EA—FRUC)，或跳過(guò)(僅解碼器幀內(nèi)插，F(xiàn)RUC),或 (3)時(shí)間分段決策和編碼模式?jīng)Q策兩者。
分析模塊可利用感知模型(人類視覺(jué)系統(tǒng)模型)。分析模塊還可使用遞歸分析技術(shù)， 意味著系統(tǒng)具有其中當(dāng)前狀態(tài)是到達(dá)分析模塊的先前輸入的歷史的函數(shù)的存儲(chǔ)器。分析 模塊還可使用迭代分析技術(shù)，意味著每個(gè)新幀的決策未必是最終的，而是可基于對(duì)相似 性量度演變的新的或經(jīng)更新的理解稍后再次進(jìn)行再訪和更新。分析模塊還可對(duì)輸入到其 中的相似性量度值應(yīng)用濾波或其它映射。在一個(gè)實(shí)施例中，分析模塊可將相似性量度值 映射到一些不相似性測(cè)量。
在一個(gè)實(shí)施例中，編碼器112可將相似性值與一個(gè)或一個(gè)以上闞值進(jìn)行比較(步驟 308)。如果相似性值小于第一閾值(Tl)，那么相鄰幀是不相似的(轉(zhuǎn)到步驟310)。使 用上述實(shí)例，幀3與幀2或幀4或幀2和幀4兩者是不相似的。如果相似性值等于或大 于第一閾值(Tl)且小于第二閾值(T2)，那么相鄰幀是相似的(轉(zhuǎn)到步驟312)。使用 上述實(shí)例，幀3與幀2和幀4是相似的。如果相似性值等于或大于所述第二閾值(T2)， 那么柑鄰幀是非常相似的(轉(zhuǎn)到步驟314)。使用上述實(shí)例，幀3與幀2和幀4是非常相 似的。編碼器112記住視頻幀的排序或序列的一種方式是在每個(gè)視頻幀上放置時(shí)間戳或 幀編號(hào)。在一個(gè)實(shí)施例中，編碼器U2可對(duì)相似性量度值的序列(向量)使用靜態(tài)或動(dòng)態(tài)(自 適應(yīng))概率模型，以將分析任務(wù)制定為形式假設(shè)測(cè)試問(wèn)題。這允許針對(duì)時(shí)間分段或編碼 模式作出最佳(在統(tǒng)計(jì)意義上)決策。編碼器112所利用的分析模塊相對(duì)于其決策輸出 的性質(zhì)，可基于多值(模糊)邏輯原理而不是共用布爾邏輯(common Boolean logic)。 這允許復(fù)雜(在時(shí)間和空間上)視頻幀動(dòng)態(tài)特性的更高保真度的信息保存和更準(zhǔn)確的表 示。
在步驟310，編碼器112使幀計(jì)數(shù)器遞增1，以移動(dòng)到下一個(gè)幀。使用上述實(shí)例，中 間幀變成幀4。
在步驟312,編碼器112執(zhí)行EA-FRUC。對(duì)于EA-FRUC，編碼器112知道解碼器 120處所運(yùn)行的幀內(nèi)插算法。當(dāng)相鄰視頻幀是相似的時(shí)，編碼器112針對(duì)目標(biāo)幀(即，中 間幀)產(chǎn)生輔助信息或者從目標(biāo)幀檢索輔助信息，而不是發(fā)送來(lái)自相鄰視頻幀的重復(fù)數(shù) 據(jù)(步驟312)。所述輔助信息增強(qiáng)了解碼器120所執(zhí)行的內(nèi)插過(guò)程的質(zhì)量且/或降低了所 述內(nèi)插過(guò)程的計(jì)算復(fù)雜性。有了所述輔助信息，編碼器112無(wú)需發(fā)送用于整個(gè)目標(biāo)幀的 數(shù)據(jù)，而是需要將所述輔助信息發(fā)送到解碼器120以便重構(gòu)目標(biāo)幀。因此，輔助信息允 許解碼器120用最少的數(shù)據(jù)(即，使用輔助信息)來(lái)重新創(chuàng)建目標(biāo)視頻幀。
在步驟314時(shí)，編碼器112執(zhí)行FRUC觸發(fā)幀丟棄操作。FRUC允許裝置104處部 分或整個(gè)視頻幀的內(nèi)插。當(dāng)相鄰視頻幀非常相似時(shí)，編碼器112廢除或移除目標(biāo)幀使其 不能被發(fā)送到解碼器120，而不是發(fā)送來(lái)自相鄰視頻幀的重復(fù)/冗余數(shù)據(jù)(步驟314)。FRUC 可用于不同目的，例如通過(guò)完全避免傳輸用于視頻幀的選定子集的任何數(shù)據(jù)(當(dāng)這是可 行的時(shí))來(lái)增加壓縮效率，或當(dāng)用于視頻幀的擴(kuò)展部分或用于整個(gè)視頻幀的經(jīng)壓縮數(shù)據(jù) 由于信道損害而丟失時(shí)的錯(cuò)誤消除。在任一種情況下，裝置104使用其本地資源和來(lái)自 其它已接收到的幀的可用信息，來(lái)內(nèi)插(部分地或完全地)缺失的視頻幀。有了FRUC， 裝置104接收不到用于待內(nèi)插的視頻幀的擴(kuò)充/輔助數(shù)據(jù)。通常對(duì)所有的視頻幀執(zhí)行針對(duì) EA-FRUC和FRUC的分類處理(步驟310和步驟316)。
編碼器112基于一個(gè)或一個(gè)以上像素域?qū)傩?例如， 一個(gè)或一個(gè)以上彩色信道)或 變換域?qū)傩?例如，基于預(yù)界定的次能帶中的DC系數(shù)值和AC系數(shù)功率的區(qū)塊分類)， 對(duì)視頻幀執(zhí)行場(chǎng)景分析，以在時(shí)間上或空間上對(duì)所述視頻幀進(jìn)行分段，且識(shí)別所述視頻 幀上的可被準(zhǔn)確地描述為紋理的區(qū)域(步驟318)。如果第二色彩空間(步驟304)是YUV, 那么一個(gè)彩色信道優(yōu)選為Y。編碼器112可基于至少一個(gè)彩色信道(即，色彩空間分量) 來(lái)將源數(shù)據(jù)分段成若干分區(qū)或區(qū)域。每個(gè)分區(qū)或區(qū)域可具有任意、隨機(jī)或特定大小(例如，nxn像素或mxn像素，其中m和n是整數(shù))，或任意、隨機(jī)或特定形狀(例如，云 狀或正方形形狀)。每個(gè)分區(qū)或區(qū)域可具有不同的任意、隨機(jī)或特定大小和/或形狀。
編碼器112可采用特征向量，其包含源數(shù)據(jù)的變換域?qū)傩裕?x8像素區(qū)塊的從 離散余弦變換(DCT)得出的DC系數(shù)值，以及預(yù)界定的次能帶內(nèi)，即從同一8x8像素 塊的同一(DCT)變換得出的AC系數(shù)的預(yù)界定子集內(nèi)的總信號(hào)功率。這些次能帶可(例 如)對(duì)應(yīng)于純水平頻率(即，垂直邊緣)、純垂直頻率(即，水平邊緣、傾斜邊緣)和更 多類似紋理的空間頻率圖案。編碼器可計(jì)算/產(chǎn)生源數(shù)據(jù)中的每個(gè)8x8像素區(qū)塊的特征向 量，且在特征空間中使用數(shù)據(jù)群集算法來(lái)將每個(gè)8x8像素區(qū)塊分類成許多分區(qū)或區(qū)域中 的一者。
可使用若干不同分段算法(例如，空間的和/或時(shí)間的)來(lái)對(duì)源數(shù)據(jù)進(jìn)行分段。可針 對(duì)圖片和視頻幀使用空間分段，且還可針對(duì)視頻幀使用時(shí)間分段。如果針對(duì)視頻幀使用 空間分段和時(shí)間分段兩者，那么通常在時(shí)間分段之前執(zhí)行空間分段，因?yàn)榭臻g分段的結(jié) 果可用作時(shí)間分段的提示。
空間分段涉及將圖片或視頻幀劃分成許多分區(qū)。在空間分段中， 一個(gè)分區(qū)不會(huì)與另 一個(gè)分區(qū)重疊；然而，所有分區(qū)的聯(lián)合覆蓋整個(gè)圖片或視頻幀。在一個(gè)實(shí)施例中，分段 涉及將圖片和視頻幀劃分成許多具有任意形狀和大小的分區(qū)。此項(xiàng)技術(shù)中存在將圖片或 視頻幀劃分成許多具有任意形狀和大小的分區(qū)的若干空間分段算法，例如C. Pantofaru和 M. Hebert的"A Comparison of Image Segmentation Algorithms"(卡內(nèi)基'梅隆大學(xué)，機(jī)器 人學(xué)研究院，第CMU-RI-TR-05-40號(hào)技術(shù)報(bào)告，2005年9月)中所描述的那些空間分段 算法。而且，區(qū)域生長(zhǎng)是一種已知的空間分段算法。在另一實(shí)施例中，分段可涉及將圖 片或視頻幀劃分成許多具有正方形形狀但具有任意大小的分區(qū)。舉例來(lái)說(shuō)，圖像處理技 術(shù)中眾所周知的四叉樹(shù)分區(qū)算法是實(shí)現(xiàn)上述目的的一種方法。
時(shí)間分段涉及使一個(gè)或一個(gè)以上視頻幀相關(guān)聯(lián)或分組在一起?？墒褂萌舾刹煌瑫r(shí)間 分段算法(例如，場(chǎng)景改變檢測(cè)和鏡頭邊界檢測(cè))來(lái)在時(shí)間上對(duì)視頻幀進(jìn)行分段。場(chǎng)景 改變檢測(cè)涉及將作為同一場(chǎng)景的部分的所有視頻幀分組在一起。 一旦所述場(chǎng)景(例如， 包含特定賽事的視頻幀)改變，視頻幀的下一分組(即，下一場(chǎng)景)就開(kāi)始。鏡頭邊界 檢測(cè)涉及將作為同一鏡頭的部分的視頻幀分組在一起。 一旦鏡頭(例如，包含特定人物 的視頻幀)改變，視頻幀的下一分組(即，下一鏡頭)就開(kāi)始。環(huán)境確定場(chǎng)景，且內(nèi)容 確定鏡頭。
可利用分段方案(例如，基于三維隨機(jī)域/紋理模型的那些方案)來(lái)同時(shí)實(shí)現(xiàn)空間分段和時(shí)間分段兩者。
支持對(duì)具有正方形或矩形形狀且均勻大小的分區(qū)進(jìn)行編碼的壓縮算法通常利用區(qū)塊 變換編碼工具(例如，8x8離散余弦變換(DCT)算法)和基于區(qū)塊的經(jīng)運(yùn)動(dòng)補(bǔ)償?shù)臅r(shí) 間預(yù)測(cè)(MCTP)算法(例如，MPEG-4視頻壓縮算法)。對(duì)于可視數(shù)據(jù)的空間壓縮來(lái)說(shuō)， 8x8 DCT算法的使用已經(jīng)普及。8x8 DCT算法可展示為近似卡亨南-洛維變換 (Karhunen-Logve Transform, KLT),對(duì)于緩慢變化(例如，低細(xì)節(jié))可視數(shù)據(jù)來(lái)說(shuō)，KLT 在均方差意義上是最佳線性變換；然而，對(duì)于圖片或視頻幀的涉及紋理的區(qū)域來(lái)說(shuō)，KLT 并非十分有效?？蓪⒓y理描述為在多個(gè)標(biāo)度/分辨率上顯示出大量細(xì)節(jié)/變化的可視對(duì)象。 以宏區(qū)塊大小(例如，16x16)使用MCTP算法對(duì)于剛性體或經(jīng)歷平移運(yùn)動(dòng)的對(duì)象來(lái)說(shuō)是 有效的。然而，對(duì)于非剛性體(變形體)或經(jīng)歷非平移運(yùn)動(dòng)的對(duì)象(例如，運(yùn)動(dòng)中的紋 理，例如草、花地或帶葉的樹(shù)枝)來(lái)說(shuō)這些算法是不夠的，因?yàn)槠渥冃魏头瞧揭七\(yùn)動(dòng)使 得難以從一個(gè)幀到另一個(gè)幀地對(duì)特征進(jìn)行匹配。而且，紋理細(xì)節(jié)和邊界通常并不以矩形 形狀形成。因此，這些壓縮工具是普及的，但在壓縮紋理方面不是十分有效。
在編碼器112將源數(shù)據(jù)分段成許多分區(qū)之后，將所述分區(qū)中的每一者分類成許多種 類中的一種(步驟320)。在一個(gè)實(shí)施例中，種類的數(shù)目是2，其包含第一種類，例如混 合(即，基于變換編碼和MCTP的)編碼種類，和第二種類，例如紋理編碼種類。所述 分類可基于每個(gè)特定分區(qū)是否包含紋理。如果分區(qū)不包含紋理，那么將所述分區(qū)分類成 第一種類。如果分區(qū)包含紋理，那么將分區(qū)分類成第二種類。區(qū)分包含紋理的分區(qū)與不 包含紋理的分區(qū)的一個(gè)理由是因?yàn)槟承┧惴ㄍㄟ^(guò)使用經(jīng)參數(shù)化模型而在壓縮紋理方面有 效，且某些算法在壓縮紋理方面并不有效。舉例來(lái)說(shuō)，紋理模型化算法在壓縮紋理方面 有效，而通用視頻或圖片壓縮算法在壓縮紋理方面并不有效，但在壓縮非紋理對(duì)象或圖 像方面有效(步驟322和步驟324)。因此，使用同一算法來(lái)壓縮所有分區(qū)是低效且不實(shí) 際的。通過(guò)基于分區(qū)中是否存在紋理對(duì)每一分區(qū)進(jìn)行分類來(lái)實(shí)現(xiàn)較好的總體壓縮。
可使用若干不同方法來(lái)確定特定分區(qū)是否包含紋理。一種示范性方法涉及編碼器112 將壓縮算法(例如，混合編碼算法)應(yīng)用于所述分區(qū)的每一者，以確定所述分區(qū)的壓縮 是否產(chǎn)生所需的質(zhì)量和位速率操作點(diǎn)。即，如果(a)位速率小于位速率閾值，且(b) 質(zhì)量大于質(zhì)量閾值，那么將所述分區(qū)分類成第一種類。如果不滿足(a)或(b)中的任 一者，那么將所述分區(qū)分類成第二種類。
在另一實(shí)施例中，如果并不滿足(a)或(b)中的任一者，那么針對(duì)分區(qū)的原始細(xì) 節(jié)的"相關(guān)性"而對(duì)所述分區(qū)的內(nèi)容進(jìn)行估計(jì)。由于所述"相關(guān)性"分析，如果所述分區(qū)(盡管其更適于被認(rèn)為是紋理)被推斷為在其原始細(xì)節(jié)中傳達(dá)有意義的信息(即，"相 關(guān)的")，那么將所述分區(qū)分類成第一種類。否則，如果所述分區(qū)被推斷為不在其原始細(xì) 節(jié)中傳達(dá)有意義的信息(即，"不相關(guān)的")，那么將其分類成第二種類。
位速率閾值是例如源格式(即，幀大小和幀速率)、應(yīng)用類型、分區(qū)或幀的內(nèi)容以及 分區(qū)的(相對(duì))大小的多個(gè)因數(shù)的函數(shù)。在一個(gè)實(shí)施例中，所述位速率閾值針對(duì)每個(gè)分 區(qū)或幀可以是不同的。幀大小取決于圖像的空間分辨率，即每行多少個(gè)像素和一個(gè)幀中 存在多少個(gè)像素行。舉例來(lái)說(shuō)，圖像可為標(biāo)準(zhǔn)清晰度(SD，例如，720x486)、高清晰度 (HD，例如，1920x1080)、視頻圖形陣列(VGA，例如，640x480)、四分之一 VGA (QVGA, 例如，320x240)等。應(yīng)用類型可以是廣播電視、用于移動(dòng)裝置的流式視頻、通過(guò)因特網(wǎng) 的流式視頻等。分區(qū)或幀的內(nèi)容是所述分區(qū)或幀中的可視數(shù)據(jù)的復(fù)雜性的決定因素。
可相對(duì)于主觀質(zhì)量量度或客觀質(zhì)量量度來(lái)界定質(zhì)量閾值。
主觀質(zhì)量量度是對(duì)可通過(guò)不同的心理視覺(jué)測(cè)試而確定的感知質(zhì)量的測(cè)量?？蓪⒅饔^ 質(zhì)量閥值設(shè)置為(例如)關(guān)于1到5 (典型解釋為l:"非常討厭"/"差"，2:"討厭"
/ "不良"，3:"有點(diǎn)討厭"/ "中"，4:"可察覺(jué)但并不討厭"/ "良"，5;"察覺(jué)不到"/
"優(yōu)")的感知質(zhì)量標(biāo)度，平均意見(jiàn)得分(MOS)為4.0。
可使用許多不同方法來(lái)導(dǎo)出客觀質(zhì)量量度。 一種獲得客觀質(zhì)量量度的方法是確定用
于特定分區(qū)或幀的信道中的一者(例如，Y信道)的峰值信噪比(PSNR)。 orig(i，j)表示 原始圖像數(shù)據(jù)(即，第i列和第j行處的原始像素值)，且comp(i，j)表示經(jīng)壓縮的圖像數(shù) 據(jù)(即，第i列和第j行處壓縮后的像素值)?？墒褂靡韵碌仁絹?lái)確定PSNR。
f纖y "01ogu
255
1 (c， ,
行l(wèi)fcc列數(shù)《S"^(")'
=1 i=l
.(!'，J))2
接著，可將質(zhì)量閾值設(shè)置為(例如)33dB。在此實(shí)例中，如果質(zhì)量(即，PSNRY) 大于33dB,則經(jīng)壓縮的圖像具有令人滿意/良好的質(zhì)量。
其它客觀量度可以是基于參考的、基于減少的參考的或結(jié)合確定性或統(tǒng)計(jì)性測(cè)量值 的無(wú)參考量，這些測(cè)量值以與所使用的相似性量度有關(guān)且影響所述相似性量度的模糊度、 塊效應(yīng)、振蕩和其它失真的量化為目標(biāo)。
如果分區(qū)被分類成第一種類，那么使用針對(duì)非紋理化對(duì)象和圖像提供良好的壓縮結(jié)果的視頻或圖片壓縮算法或模型(例如，混合編碼算法)來(lái)壓縮或描述分區(qū)內(nèi)容(步驟 322)。
如果分區(qū)被分類成第二種類，那么使用針對(duì)紋理化對(duì)象和區(qū)域提供良好的分析和合 成結(jié)果的算法或模型(例如，紋理模型)來(lái)壓縮或描述所述分區(qū)(步驟324)。所述算法 或模型可包含以下各項(xiàng)中的一者或一者以上變換編碼、空間編碼和時(shí)間編碼。對(duì)于被 分類成第二種類的分區(qū)，壓縮是通過(guò)模型參數(shù)的無(wú)損(精確)或有損(近似)表示法和 傳輸來(lái)實(shí)現(xiàn)的。紋理模型是用來(lái)產(chǎn)生二維隨機(jī)域的概率性數(shù)學(xué)模型。所述模型的輸出的 精確概率性性質(zhì)取決于控制所述模型的參數(shù)的值。從給定的二維隨機(jī)域樣本開(kāi)始，使用 其數(shù)據(jù)，有可能估計(jì)出紋理模型的參數(shù)值，以試圖調(diào)諧所述模型以產(chǎn)生類似于所述給定 樣本的二維隨機(jī)域。此參數(shù)估計(jì)過(guò)程被稱為模型擬合。
基于紋理模型的編碼允許以令人滿意的方式表示紋理所需的位的數(shù)目大大減少，同 時(shí)仍能夠再現(xiàn)視覺(jué)上非常相似的紋理。紋理模型是能夠描述和產(chǎn)生紋理的數(shù)學(xué)工具。紋 理模型的一些實(shí)例包含馬爾可夫隨機(jī)域(MRF)、吉伯斯隨機(jī)域(GRF)、細(xì)胞自動(dòng)機(jī) (Cellular Automata)和碎形(Fractals)。 MRF提供靈活且有用的紋理模型，且可被描述 為說(shuō)明基于紋理模型的編碼。
在MRF模型中，每個(gè)像素的概率性性質(zhì)由其相鄰像素的狀態(tài)來(lái)確定或受到其相鄰像 素的狀態(tài)的影響，其中鄰域N構(gòu)成所述模型的可調(diào)諧參數(shù)。MRF模型包含許多不同的可 調(diào)諧/可調(diào)整參數(shù),這些參數(shù)控制所得圖像中的群集(即，相似亮度和顏色的分組)的強(qiáng) 度、 一致性和方向。舉例來(lái)說(shuō)，P是一組位點(diǎn)或像素位置，N是鄰域，Np是像素p的對(duì) 應(yīng)鄰域，F(xiàn)是界定于所述位點(diǎn)處表示像素值的一組隨機(jī)變量，且Fp是界定于像素p的位 置處的隨機(jī)變量。鄰域N的實(shí)例包含8連接鄰域(圖4A)、 4連接鄰域(圖4B)和間接 鄰域(圖4C)。
馬爾可夫特性(其給予此特定模型此名稱)隱含P(FP = f I F(P\{p})) = P(Fp = f I F(NP))。 在此等式中，P表示概率測(cè)量值，且\表示差集運(yùn)算。換句話說(shuō)，相對(duì)于像素p的概率性 表征，對(duì)像素p的Np鄰域內(nèi)的相鄰像素值的知曉在統(tǒng)計(jì)上等效于整組位點(diǎn)P內(nèi)除像素p 以外的所有像素值的知曉。
圖5是說(shuō)明MRF模型的四種不同實(shí)現(xiàn)的圖片，其中每種實(shí)現(xiàn)對(duì)應(yīng)于一種不同的鄰域 定義。MRF模型可描述和產(chǎn)生各種各樣的紋理，例如模糊的或明顯的、線狀的或斑點(diǎn)狀 的隨機(jī)域?？蓪?duì)所述紋理進(jìn)行分析以確定或估計(jì)其用于MRF模型的參數(shù)。
返回參看圖1和圖3， 一旦分區(qū)內(nèi)容的壓縮完成，處理器108就使用1/0裝置114來(lái)向裝置104傳輸對(duì)應(yīng)于所述分區(qū)中的每一者的經(jīng)壓縮數(shù)據(jù)(步驟326)和所述分區(qū)中的 每一者的邊界信息(步驟328)。經(jīng)壓縮的數(shù)據(jù)是已經(jīng)應(yīng)用壓縮算法或參數(shù)化模型之后的 源數(shù)據(jù)，且在后一種情況下，是經(jīng)估計(jì)且精確地或近似地表示的參數(shù)。邊界信息包含用 以界定許多分區(qū)中的每一者的邊界的信息。對(duì)于矩形形狀且具有任意大小的分區(qū)來(lái)說(shuō)， 邊界信息包含每個(gè)矩形的左上角和右下角的坐標(biāo)。用于傳達(dá)矩形(正方形)形狀且具有 任意大小的分區(qū)的另一實(shí)例是使用四叉樹(shù)表示法。對(duì)于具有任意形狀和任意大小的分區(qū) 來(lái)說(shuō)，可使用(例如)李世鵬(微軟中國(guó)研究院)和IrajSodagar (沙諾夫公司(Sarnoff Corporation))的"Generic, Scalable and Efficient Shape Coding for Visual Texture Objects in MPEG-4"來(lái)確定和表示邊界信息。
處理器108使用1/0裝置114來(lái)向裝置104傳輸將所述許多分區(qū)中的每一者的種類 信息(步驟330)。在上述實(shí)例中，處理器108可指示所述特定分區(qū)屬于第一種類還是第 二種類。所述種類信息還可包含算法或模型(例如，混合編碼算法或紋理模型)的類型 以及用于所述模型的參數(shù)。
圖6是說(shuō)明對(duì)圖片和視頻幀進(jìn)行解碼的方法600的流程圖。裝置104接收所述分區(qū) 中的每一者的經(jīng)編碼/壓縮的數(shù)據(jù)、邊界信息和種類信息(步驟602)。經(jīng)編碼/壓縮的數(shù) 據(jù)可包含用于屬于第一種類或第二種類的視頻幀和/或分區(qū)的輔助信息。解碼器120確定 屬于所述第一種類或所述第二種類的每個(gè)視頻幀或分區(qū)是否應(yīng)被解碼或內(nèi)插(步驟604)。
如果屬于第一種類或所述第二種類的視頻幀或分區(qū)應(yīng)被解碼，那么解碼器如下進(jìn)行。 解碼器120對(duì)經(jīng)編碼的數(shù)據(jù)進(jìn)行解碼且使用經(jīng)解碼的數(shù)據(jù)、邊界信息和種類信息來(lái)重構(gòu) 第一種類中的每一分區(qū)(步驟606)。解碼器120使用經(jīng)解碼的數(shù)據(jù)、邊界信息和種類信 息來(lái)執(zhí)行紋理合成并重構(gòu)屬于第二種類的每個(gè)分區(qū)(步驟608)。
如果屬于第一種類或第二種類的視頻幀或分區(qū)應(yīng)被內(nèi)插，那么解碼器如下進(jìn)行。解 碼器120確定輔助信息是否可用于待內(nèi)插的屬于第一種類或第二種類的視頻幀或分區(qū) (步驟610)。如果輔助信息不可用，那么解碼器120可使用FRUC來(lái)使用已經(jīng)接收到且 經(jīng)處理(即，解碼)的經(jīng)壓縮數(shù)據(jù)、邊界信息和種類信息來(lái)有效地(即，以低計(jì)算復(fù)雜 性以及高客觀和主觀質(zhì)量)內(nèi)插經(jīng)壓縮的源數(shù)據(jù)(步驟612)。在一個(gè)實(shí)施例中，內(nèi)插完 全缺失的幀中或部分可用幀的缺失區(qū)域內(nèi)的屬于第一種類或第二種類的所有推斷出的分 區(qū)?；诨旌暇幋a表示法的內(nèi)插方案在此項(xiàng)技術(shù)中是已知的，例如，在R. Castagno、 P. Haavisto和G. Ramponi的"用于運(yùn)動(dòng)自適應(yīng)幀速率上轉(zhuǎn)換的方法(A Method for Motion Adaptive Frame Rate Up-conversion)" (IEEE視頻技術(shù)用電路與系統(tǒng)匯刊，1996年10月，第5期，第6巻，436頁(yè)到446頁(yè))中描述。如果輔助信息是可用的，那么編碼器120 可使用EA-FRUC來(lái)使用己經(jīng)接收到并處理(即，解碼)的經(jīng)壓縮數(shù)據(jù)、邊界信息、種類 信息和輔助信息來(lái)有效地(即，以低計(jì)算復(fù)雜性以及高客觀和主觀質(zhì)量)內(nèi)插經(jīng)壓縮的 源數(shù)據(jù)(步驟614)。
一旦執(zhí)行了解碼和/或內(nèi)插，處理器116就可顯示視頻幀(步驟616)。處理器116或 解碼器120檢查以了解是否存在更多待處理的圖片或視頻幀數(shù)據(jù)(步驟618)。如果存在 更多待處理的圖片或視頻幀數(shù)據(jù)，那么解碼器120返回到用于解碼或內(nèi)插并顯示圖片或 視頻幀的過(guò)程的開(kāi)始(步驟604)。否則，當(dāng)前解碼任務(wù)結(jié)束(步驟620)。
圖7是用于處理多媒體數(shù)據(jù)的設(shè)備700的框圖。設(shè)備700可包含分段模塊702, 其經(jīng)配置以將數(shù)據(jù)分段成多個(gè)分區(qū)；識(shí)別模塊704，其經(jīng)配置以識(shí)別可表示為紋理的多 個(gè)分區(qū)；計(jì)算模塊706，其經(jīng)配置以計(jì)算相鄰視頻幀的至少兩個(gè)分區(qū)之間的相似性值； 以及選擇模塊708,其經(jīng)配置以基于所述相似性值而選擇分區(qū)以進(jìn)行編碼。設(shè)備700還 可包含指配模塊710,其經(jīng)配置以將所述多個(gè)分區(qū)中的每一者指配給包括第一種類和 第二種類的多個(gè)種類中的一者； 一個(gè)或一個(gè)以上編碼器712，其經(jīng)配置以使用算法來(lái)對(duì) 指配給所述第一種類的所述多個(gè)分區(qū)進(jìn)行編碼，且使用紋理模型來(lái)對(duì)指配給所述第二種 類的所述多個(gè)分區(qū)進(jìn)行編碼以及傳輸模塊714，其經(jīng)配置以傳輸與所述多個(gè)分區(qū)相關(guān) 聯(lián)的經(jīng)編碼的數(shù)據(jù)、邊界信息和種類信息?？梢曉O(shè)備700的配置而添加或刪除一個(gè)或一 個(gè)以上模塊。可使用硬件、軟件或其組合來(lái)實(shí)施每個(gè)模塊?？墒褂糜布④浖蚱浣M合 來(lái)實(shí)施用于分段、識(shí)別、計(jì)算、選擇、指配、編碼和傳輸?shù)难b置。舉例來(lái)說(shuō)，可用通用 處理裝置、數(shù)字信號(hào)處理裝置(DSP)、專用集成電路(ASIC)、現(xiàn)場(chǎng)可編程門陣列(FPGA) 或其它可編程邏輯裝置、離散門或晶體管邏輯、離散硬件組件或其經(jīng)設(shè)計(jì)以執(zhí)行本文所 描述的功能的任一組合來(lái)實(shí)施或執(zhí)行所述裝置。
圖8是用于處理多媒體數(shù)據(jù)的設(shè)備800的框圖。設(shè)備800可包含解碼器802，其 經(jīng)配置以使用算法來(lái)對(duì)屬于第一種類的多個(gè)第一分區(qū)進(jìn)行解碼，且使用紋理模型來(lái)對(duì)屬 于第二種類的多個(gè)第二分區(qū)進(jìn)行解碼；產(chǎn)生模塊804,其經(jīng)配置以使用邊界信息、所述
多個(gè)第一分區(qū)和所述多個(gè)第二分區(qū)來(lái)創(chuàng)建多媒體數(shù)據(jù)；以及內(nèi)插模塊806,其經(jīng)配置以 內(nèi)插所述多媒體數(shù)據(jù)以產(chǎn)生經(jīng)內(nèi)插的多媒體數(shù)據(jù)?？墒褂糜布?、軟件或其組合來(lái)實(shí)施用 于解碼、創(chuàng)建和內(nèi)插的裝置。舉例來(lái)說(shuō)，可用通用處理裝置、數(shù)字信號(hào)處理裝置(DSP)、 專用集成電路(ASIC)、現(xiàn)場(chǎng)可編程門陣列(FPGA)或其它可編程邏輯裝置、離散門或 晶體管邏輯、離散硬件組件或其經(jīng)設(shè)計(jì)以執(zhí)行本文所描述的功能的任一組合來(lái)實(shí)施或執(zhí)行所述裝置。
圖9是說(shuō)明用于處理多媒體數(shù)據(jù)的設(shè)備的裝置的示范性組件的框圖900。圖9中所 示的一個(gè)或一個(gè)以上模塊可用作用于分段、指配和編碼的裝置的組件?？墒褂糜布?、軟 件或其組合來(lái)實(shí)施所述模塊?？梢曉O(shè)備卯0的配置而添加或刪除一個(gè)或一個(gè)以上模塊。 舉例來(lái)說(shuō)，可用通用處理裝置、數(shù)字信號(hào)處理裝置(DSP)、專用集成電路(ASIC)、現(xiàn) 場(chǎng)可編程門陣列(FPGA)或其它可編程邏輯裝置、離散門或晶體管邏輯、離散硬件組件、 軟件模塊或其經(jīng)設(shè)計(jì)以執(zhí)行本文所描述的功能的任一組合來(lái)實(shí)施或執(zhí)行所述裝置。
設(shè)備900可包含用于分段的模塊902，其經(jīng)配置以將數(shù)據(jù)分段成多個(gè)分區(qū)；用于 指配的模塊卯4，其經(jīng)配置以將所述多個(gè)分區(qū)中的每一者指配給包括第一種類和第二種 類的多個(gè)種類中的一者；以及用于編碼的模塊906，其經(jīng)配置以使用算法來(lái)對(duì)指配給所 述第一種類的所述多個(gè)分區(qū)進(jìn)行編碼，且使用紋理模型來(lái)對(duì)指配給所述第二種類的所述 多個(gè)分區(qū)進(jìn)行編碼。
圖10是說(shuō)明用于處理多媒體數(shù)據(jù)的設(shè)備的裝置的示范性組件的框圖。圖10中所示 的一個(gè)或一個(gè)以上模塊可用作用于解碼和創(chuàng)建的裝置的組件。可使用硬件、軟件或其組 合來(lái)實(shí)施所述模塊?？梢曉O(shè)備1000的配置而添加或刪除一個(gè)或一個(gè)以上模塊。舉例來(lái)說(shuō)， 可用通用處理裝置、數(shù)字信號(hào)處理裝置(DSP)、專用集成電路(ASIC)、現(xiàn)場(chǎng)可編程門 陣列(FPGA)或其它可編程邏輯裝置、離散門或晶體管邏輯、離散硬件組件、軟件模塊 或其經(jīng)設(shè)計(jì)以執(zhí)行本文所描述的功能的任一組合來(lái)實(shí)施或執(zhí)行所述裝置。
設(shè)備1000可包含用于解碼的模塊1002，其經(jīng)配置以使用算法來(lái)對(duì)屬于第一種類 的多個(gè)第一分區(qū)進(jìn)行解碼，且使用紋理模型來(lái)對(duì)屬于第二種類的多個(gè)第二分區(qū)進(jìn)行解碼； 以及用于創(chuàng)建的模塊1004,其經(jīng)配置以使用邊界信息、所述多個(gè)第一分區(qū)和所述多個(gè)第 二分區(qū)來(lái)創(chuàng)建多媒體數(shù)據(jù)。
所屬領(lǐng)域的技術(shù)人員將了解，結(jié)合本文所揭示的實(shí)施例而描述的各種說(shuō)明性邏輯區(qū) 塊、模塊、電路和算法可實(shí)施為電子硬件、計(jì)算機(jī)軟件或上述兩者的組合。為了說(shuō)明硬 件與軟件的這種可互換性，上文已經(jīng)大體上根據(jù)各種說(shuō)明性組件、區(qū)塊、模塊、電路和 算法的功能性描述了各種說(shuō)明性組件、區(qū)塊、模塊、電路和算法。將此類功能性實(shí)施為 硬件還是軟件取決于特定應(yīng)用和強(qiáng)加于整個(gè)系統(tǒng)的設(shè)計(jì)限制。熟練的技術(shù)人員可針對(duì)每 個(gè)特定應(yīng)用以不同的方式來(lái)實(shí)施所描述的功能性，但此類實(shí)施決策不應(yīng)被解釋為導(dǎo)致與 本發(fā)明范圍脫離。
可用以下裝置來(lái)實(shí)施或執(zhí)行結(jié)合本文所揭示的實(shí)施例而描述的各種說(shuō)明性邏輯區(qū)塊、模塊和電路通用處理裝置、數(shù)字信號(hào)處理裝置(DSP)、專用集成電路(ASIC)、 現(xiàn)場(chǎng)可編程門陣列(FPGA)或其它可編程邏輯裝置、離散門或晶體管邏輯、離散硬件組 件或其經(jīng)設(shè)計(jì)以執(zhí)行本文所描述的功能的任一組合。通用處理裝置可以是微處理裝置， 但在替代方案中，所述處理裝置可以是任一常規(guī)處理裝置、處理裝置、微處理裝置或狀 態(tài)機(jī)。處理裝置還可實(shí)施為計(jì)算裝置的組合，例如DSP與微處理裝置的組合、多個(gè)微處 理裝置、結(jié)合DSP核心的一個(gè)或一個(gè)以上微處理裝置或任何其它此類配置。
結(jié)合本文所揭示的實(shí)施例而描述的設(shè)備、方法或算法可直接在硬件、軟件或所述兩 者的組合中實(shí)施。在軟件中，所述方法或算法可以可由處理裝置執(zhí)行的一個(gè)或一個(gè)以上 指令的形式實(shí)施。所述指令可駐存在RAM存儲(chǔ)器、快閃存儲(chǔ)器、ROM存儲(chǔ)器、EPROM 存儲(chǔ)器、EEPROM存儲(chǔ)器、寄存器、硬盤、可移除盤、CD-ROM或此項(xiàng)技術(shù)中已知的任 何其它形式的存儲(chǔ)媒體中。示范性存儲(chǔ)媒體耦合到處理裝置，使得處理裝置可從存儲(chǔ)媒 體讀取信息和向存儲(chǔ)媒體寫(xiě)入信息。在替代方案中，存儲(chǔ)媒體可與處理裝置成一體式。 處理裝置和存儲(chǔ)媒體可駐存在ASIC中。ASIC可駐存在用戶終端中。在替代方案中，處 理裝置和存儲(chǔ)媒體可作為離散組件駐存在用戶終端中。
提供所揭示實(shí)施例的先前描述是為了使所屬領(lǐng)域的技術(shù)人員能夠制作或使用本發(fā) 明。所屬領(lǐng)域的技術(shù)人員可容易了解對(duì)這些實(shí)施例的各種修改，且在不脫離本發(fā)明的精 神或范圍的情況下，本文所界定的一般原理可應(yīng)用于其它實(shí)施例。因此，不希望本發(fā)明 限于本文所展示的實(shí)施例，而是希望本發(fā)明符合與本文所揭示的原理和新穎特征一致的 最廣范圍。
在不脫離本發(fā)明的精神或本質(zhì)特征的情況下，本發(fā)明可以其它特殊形式實(shí)施。所描 述的實(shí)施例在各個(gè)方面將僅被認(rèn)為是說(shuō)明性的而非限制性的，且因此本發(fā)明的范圍由所 附權(quán)利要求書(shū)而不是由前面的描述內(nèi)容來(lái)指示。屬于權(quán)利要求書(shū)的等效物的意義和范圍 的所有改變都將包含在權(quán)利要求書(shū)的范圍內(nèi)。
權(quán)利要求
1.一種處理多媒體數(shù)據(jù)的方法，其包括將數(shù)據(jù)分段成多個(gè)分區(qū)；將所述多個(gè)分區(qū)中的每一者指配給包括第一種類和第二種類的多個(gè)種類中的一者；使用算法對(duì)指配給所述第一種類的所述多個(gè)分區(qū)進(jìn)行編碼；以及使用紋理模型對(duì)指配給所述第二種類的所述多個(gè)分區(qū)進(jìn)行編碼。
11. 根據(jù)權(quán)利要求1所述的方法，其中所述紋理模型與馬爾可夫隨機(jī)域、吉伯斯隨機(jī)域、 細(xì)胞自動(dòng)機(jī)和碎形中的至少一者相關(guān)聯(lián)。
12. 根據(jù)權(quán)利要求l所述的方法，其進(jìn)一步包括計(jì)算相鄰視頻幀的至少兩個(gè)分區(qū)之間的相似性值；基于所述相似性值選擇分區(qū)來(lái)進(jìn)行編碼；以及基于所述選定分區(qū)已經(jīng)被指配給所述第一種類還是所述第二種類，通過(guò)使用所述 算法和所述紋理模型中的至少一者對(duì)所述選定分區(qū)進(jìn)行編碼。
13. 根據(jù)權(quán)利要求12所述的方法，其中計(jì)算相似性值包括使用絕對(duì)差值和算法、平方 差值和算法以及經(jīng)運(yùn)動(dòng)補(bǔ)償算法中的至少一者。
14. 一種用于處理多媒體數(shù)據(jù)的設(shè)備，其包括分段模塊，其經(jīng)配置以將數(shù)據(jù)分段成多個(gè)分區(qū)；指配模塊，其經(jīng)配置以將所述多個(gè)分區(qū)中的每一者指配給包括第一種類和第二種類的多個(gè)種類中的一者；以及編碼器，其經(jīng)配置以使用算法對(duì)指配給所述第一種類的所述多個(gè)分區(qū)進(jìn)行編碼， 且使用紋理模型對(duì)指配給所述第二種類的所述多個(gè)分區(qū)進(jìn)行編碼。
15. 根據(jù)權(quán)利要求14所述的設(shè)備，其進(jìn)一步包括傳輸模塊，所述模塊經(jīng)配置以傳輸與 所述多個(gè)分區(qū)相關(guān)聯(lián)的經(jīng)編碼的數(shù)據(jù)、邊界信息和種類信息。
16. 根據(jù)權(quán)利要求14所述的設(shè)備，其中對(duì)數(shù)據(jù)進(jìn)行分段包括對(duì)所述數(shù)據(jù)進(jìn)行空間分段、 時(shí)間分段，或空間和時(shí)間分段兩者。
17. 根據(jù)權(quán)利要求14所述的設(shè)備，其進(jìn)一步包括識(shí)別模塊，所述模塊經(jīng)配置以識(shí)別可 表示為紋理的所述多個(gè)分區(qū)。
18. 根據(jù)權(quán)利要求14所述的設(shè)備，其中將所述多個(gè)分區(qū)中的每一者指配給多個(gè)種類中 的一者是基于所述分區(qū)是否包括紋理。
19. 根據(jù)權(quán)利要求14所述的設(shè)備，其中將所述多個(gè)分區(qū)中的每一者指配給多個(gè)種類中 的一者包括應(yīng)用模塊，其經(jīng)配置以將算法應(yīng)用于所述多個(gè)分區(qū)中的至少一者以產(chǎn)生所得數(shù) 據(jù)；以及指配模塊，其經(jīng)配置以如果所述所得數(shù)據(jù)滿足第一標(biāo)準(zhǔn)，那么將所述多個(gè)分區(qū) 中的所述至少一者指配給所述第一種類，且如果所述所得數(shù)據(jù)滿足第二標(biāo)準(zhǔn)，那么將所述多個(gè)分區(qū)中的所述至少一者指配給所述第二種類。
20. 根據(jù)權(quán)利要求19所述的設(shè)備，其中如果所述所得數(shù)據(jù)符合質(zhì)量標(biāo)準(zhǔn)和位速率標(biāo)準(zhǔn) 中的至少一者，那么所述第一標(biāo)準(zhǔn)被滿足，且如果所述所得數(shù)據(jù)不符合所述質(zhì)量標(biāo) 準(zhǔn)和所述位速率標(biāo)準(zhǔn)中的所述至少一者，那么所述第二標(biāo)準(zhǔn)被滿足。
21. 根據(jù)權(quán)利要求14所述的設(shè)備，其中所述多個(gè)分區(qū)中的每一者具有任意形狀或任意 大小。
22. 根據(jù)權(quán)利要求14所述的設(shè)備，其中對(duì)指配給所述第一種類的所述多個(gè)分區(qū)進(jìn)行編 碼包括變換編碼或混合編碼。
23. 根據(jù)權(quán)利要求14所述的設(shè)備，其中對(duì)指配給所述第二種類的所述多個(gè)分區(qū)進(jìn)行編 碼包括使所述紋理模型適合于所述多個(gè)分區(qū)的所述數(shù)據(jù)。
24. 根據(jù)權(quán)利要求14所述的設(shè)備，其中所述紋理模型與馬爾可夫隨機(jī)域、吉伯斯隨機(jī) 域、細(xì)胞自動(dòng)機(jī)和碎形中的至少一者相關(guān)聯(lián)。
25. 根據(jù)權(quán)利要求14所述的設(shè)備，其進(jìn)一步包括計(jì)算模塊，其經(jīng)配置以計(jì)算相鄰視頻幀的至少兩個(gè)分區(qū)之間的相似性值；以及 選擇模塊，其經(jīng)配置以基于所述相似性值選擇分區(qū)來(lái)進(jìn)行編碼， 其中所述編碼器經(jīng)配置以基于所述選定分區(qū)已經(jīng)被指配給所述第一種類還是所 述第二種類，通過(guò)使用所述算法和所述紋理模型中的至少一者對(duì)所述選定分區(qū)進(jìn)行編碼。
26. 根據(jù)權(quán)利要求25所述的設(shè)備，其中計(jì)算相似性值包括使用絕對(duì)差值和算法、平方 差值和算法和經(jīng)運(yùn)動(dòng)補(bǔ)償算法中的至少一者。
27. —種用于處理多媒體數(shù)據(jù)的設(shè)備，其包括用于將數(shù)據(jù)分段成多個(gè)分區(qū)的裝置；用于將所述多個(gè)分區(qū)中的每一者指配給包括第一種類和第二種類的多個(gè)種類中 的一者的裝置；以及用于使用算法對(duì)指配給所述第一種類的所述多個(gè)分區(qū)進(jìn)行編碼且使用紋理模型 對(duì)指配給所述第二種類的所述多個(gè)分區(qū)進(jìn)行編碼的裝置。
28. 根據(jù)權(quán)利要求27所述的設(shè)備，其進(jìn)一步包括用于傳輸與所述多個(gè)分區(qū)相關(guān)聯(lián)的經(jīng) 編碼的數(shù)據(jù)、邊界信息和種類信息的裝置。
29. 根據(jù)權(quán)利要求27所述的設(shè)備，其中所述用于分段的裝置包括對(duì)所述數(shù)據(jù)進(jìn)行空間 分段、時(shí)間分段，或空間和時(shí)間分段兩者。
30. 根據(jù)權(quán)利要求27所述的設(shè)備，其進(jìn)一步包括用于識(shí)別可表示為紋理的所述多個(gè)分 區(qū)的裝置。
31. 根據(jù)權(quán)利要求27所述的設(shè)備，其中所述用于將所述多個(gè)分區(qū)中的每一者指配給多 個(gè)種類中的一者的裝置是基于所述分區(qū)是否包括紋理。
32. 根據(jù)權(quán)利要求27所述的設(shè)備，其中所述用于將所述多個(gè)分區(qū)中的每一者指配給多 個(gè)種類中的一者的裝置包括用于將算法應(yīng)用于所述多個(gè)分區(qū)中的至少一者以產(chǎn)生所得數(shù)據(jù)的裝置；以及用于在所述所得數(shù)據(jù)滿足第一標(biāo)準(zhǔn)的情況下將所述多個(gè)分區(qū)中的所述至少一者指配給所述第一種類且在所述所得數(shù)據(jù)滿足第二標(biāo)準(zhǔn)的情況下將所述多個(gè)分區(qū)中的所述至少一者指配給所述第二種類的裝置。
33. 根據(jù)權(quán)利要求32所述的設(shè)備，其中如果所述所得數(shù)據(jù)符合質(zhì)量標(biāo)準(zhǔn)和位速率標(biāo)準(zhǔn) 中的至少一者，那么所述第一標(biāo)準(zhǔn)被滿足，且如果所述所得數(shù)據(jù)不符合所述質(zhì)量標(biāo) 準(zhǔn)和所述位速率標(biāo)準(zhǔn)中的所述至少一者，那么所述第二標(biāo)準(zhǔn)被滿足。
34. 根據(jù)權(quán)利要求27所述的設(shè)備，其中所述多個(gè)分區(qū)中的每一者具有任意形狀或任意 大小。
35. 根據(jù)權(quán)利要求27所述的設(shè)備，其中所述用于對(duì)指配給所述第一種類的所述多個(gè)分 區(qū)進(jìn)行編碼的裝置包括變換編碼或混合編碼。
36. 根據(jù)權(quán)利要求27所述的設(shè)備，其中所述用于對(duì)指配給所述第二種類的所述多個(gè)分 區(qū)進(jìn)行編碼的裝置包括使所述紋理模型適合于所述多個(gè)分區(qū)的所述數(shù)據(jù)。
37. 根據(jù)權(quán)利要求27所述的設(shè)備，其中所述紋理模型與馬爾可夫隨機(jī)域、吉伯斯隨機(jī) 域、細(xì)胞自動(dòng)機(jī)和碎形中的至少一者相關(guān)聯(lián)。
38. 根據(jù)權(quán)利要求27所述的設(shè)備，其進(jìn)一步包括用于計(jì)算相鄰視頻幀的至少兩個(gè)分區(qū)之間的相似性值的裝置；用于基于所述相似性值選擇分區(qū)來(lái)進(jìn)行編碼的裝置；以及用于基于所述選定分區(qū)已經(jīng)被指配給所述第一種類還是所述第二種類通過(guò)使用 所述算法和所述紋理模型中的至少一者對(duì)所述選定分區(qū)進(jìn)行編碼的裝置。
39. 根據(jù)權(quán)利要求38所述的設(shè)備，其中所述用于計(jì)算相似性值的裝置包括使用絕對(duì)差 值和算法、平方差值和算法和經(jīng)運(yùn)動(dòng)補(bǔ)償算法中的至少一者。
40. —種包括指令的機(jī)器可讀媒體，所述指令在執(zhí)行后立即致使機(jī)器-將數(shù)據(jù)分段成多個(gè)分區(qū)；將所述多個(gè)分區(qū)中的每一者指配給包括第一種類和第二種類的多個(gè)種類中的一 者；使用算法對(duì)指配給所述第一種類的所述多個(gè)分區(qū)進(jìn)行編碼；以及 使用紋理模型對(duì)指配給所述第二種類的所述多個(gè)分區(qū)進(jìn)行編碼。
41. 根據(jù)權(quán)利要求40所述的機(jī)器可讀媒體，其中所述指令傳輸與所述多個(gè)分區(qū)相關(guān)聯(lián) 的經(jīng)編碼的數(shù)據(jù)、邊界信息和種類信息。
42. 根據(jù)權(quán)利要求40所述的機(jī)器可讀媒體，其中所述指令對(duì)所述數(shù)據(jù)進(jìn)行空間分段、 時(shí)間分段，或空間和時(shí)間分段兩者。
43. 根據(jù)權(quán)利要求40所述的機(jī)器可讀媒體，其中所述指令識(shí)別可表示為紋理的所述多 個(gè)分區(qū)。
44. 根據(jù)權(quán)利要求40所述的機(jī)器可讀媒體，其中所述將所述多個(gè)分區(qū)中的每一者指配 給多個(gè)種類中的一者的指令是基于所述分區(qū)是否包括紋理。
45. 根據(jù)權(quán)利要求40所述的機(jī)器可讀媒體，其中所述將所述多個(gè)分區(qū)中的每一者指配 給多個(gè)種類中的一者的指令包括-將算法應(yīng)用于所述多個(gè)分區(qū)中的至少一者以產(chǎn)生所得數(shù)據(jù)；如果所述所得數(shù)據(jù)滿足第一標(biāo)準(zhǔn)，那么將所述多個(gè)分區(qū)中的所述至少一者指配給 所述第一種類；以及如果所述所得數(shù)據(jù)滿足第二標(biāo)準(zhǔn)，那么將所述多個(gè)分區(qū)中的所述至少一者指配給 所述第二種類。
46. 根據(jù)權(quán)利要求45所述的機(jī)器可讀媒體，其中如果所述所得數(shù)據(jù)符合質(zhì)量標(biāo)準(zhǔn)和位 速率標(biāo)準(zhǔn)中的至少一者，那么所述第一標(biāo)準(zhǔn)被滿足，且如果所述所得數(shù)據(jù)不符合所 述質(zhì)量標(biāo)準(zhǔn)和所述位速率標(biāo)準(zhǔn)中的所述至少一者，那么所述第二標(biāo)準(zhǔn)被滿足。
47. 根據(jù)權(quán)利要求40所述的機(jī)器可讀媒體，其中所述多個(gè)分區(qū)中的每一者具有任意形 狀或任意大小。
48. 根據(jù)權(quán)利要求40所述的機(jī)器可讀媒體，其中所述對(duì)指配給所述第一種類的所述多 個(gè)分區(qū)進(jìn)行編碼的指令包括變換編碼或混合編碼。
49. 根據(jù)權(quán)利要求40所述的機(jī)器可讀媒體，其中所述對(duì)指配給所述第二種類的所述多 個(gè)分區(qū)進(jìn)行編碼的指令包括使所述紋理模型適合于所述多個(gè)分區(qū)的所述數(shù)據(jù)。
50. 根據(jù)權(quán)利要求40所述的機(jī)器可讀媒體，其中所述紋理模型與馬爾可夫隨機(jī)域、吉 伯斯隨機(jī)域、細(xì)胞自動(dòng)機(jī)和碎形中的至少一者相關(guān)聯(lián)。
51. 根據(jù)權(quán)利要求40所述的機(jī)器可讀媒體，其進(jìn)一步包括執(zhí)行以下動(dòng)作的指令計(jì)算相鄰視頻幀的至少兩個(gè)分區(qū)之間的相似性值； 基于所述相似性值選擇分區(qū)來(lái)進(jìn)行編碼；以及基于所述選定分區(qū)已經(jīng)被指配給所述第一種類還是所述第二種類，通過(guò)使用所述 算法和所述紋理模型中的至少一者對(duì)所述選定分區(qū)進(jìn)行編碼。
52. 根據(jù)權(quán)利要求51所述的機(jī)器可讀媒體，其中所述計(jì)算相似性值的指令包括使用絕 對(duì)差值和算法、平方差值和算法和經(jīng)運(yùn)動(dòng)補(bǔ)償算法中的至少一者。
53. —種用于處理多媒體數(shù)據(jù)的處理器，所述處理器經(jīng)配置以將數(shù)據(jù)分段成多個(gè)分區(qū)；將所述多個(gè)分區(qū)中的每一者指配給包括第一種類和第二種類的多個(gè)種類中的一 者；以及使用算法對(duì)指配給所述第一種類的所述多個(gè)分區(qū)進(jìn)行編碼，且使用紋理模型對(duì)指 配給所述第二種類的所述多個(gè)分區(qū)進(jìn)行編碼。
54. 根據(jù)權(quán)利要求53所述的處理器，其進(jìn)一步經(jīng)配置以傳輸與所述多個(gè)分區(qū)相關(guān)聯(lián)的 經(jīng)編碼的數(shù)據(jù)、邊界信息和種類信息。
55. 根據(jù)權(quán)利要求53所述的處理器，其中分段包括對(duì)所述數(shù)據(jù)進(jìn)行空間分段、時(shí)間分 段，或空間和時(shí)間分段兩者。
56. 根據(jù)權(quán)利要求53所述的處理器，其進(jìn)一步經(jīng)配置以識(shí)別可表示為紋理的所述多個(gè) 分區(qū)。
57. 根據(jù)權(quán)利要求53所述的處理器，其中將所述多個(gè)分區(qū)中的每一者指配給多個(gè)種類 中的一者是基于所述分區(qū)是否包括紋理。
58. 根據(jù)權(quán)利要求53所述的處理器，其中將所述多個(gè)分區(qū)中的每一者指配給多個(gè)種類 中的一者包括將算法應(yīng)用于所述多個(gè)分區(qū)中的至少一者以產(chǎn)生所得數(shù)據(jù)；以及 如果所述所得數(shù)據(jù)滿足第一標(biāo)準(zhǔn)，那么將所述多個(gè)分區(qū)中的所述至少一者指配給所述第一種類，且如果所述所得數(shù)據(jù)滿足第二標(biāo)準(zhǔn)，那么將所述多個(gè)分區(qū)中的所述至少一者指配給所述第二種類。
59. 根據(jù)權(quán)利要求58所述的處理器，其中如果所述所得數(shù)據(jù)符合質(zhì)量標(biāo)準(zhǔn)和位速率標(biāo) 準(zhǔn)中的至少一者，那么所述第一標(biāo)準(zhǔn)被滿足，且如果所述所得數(shù)據(jù)不符合所述質(zhì)量 標(biāo)準(zhǔn)和所述位速率標(biāo)準(zhǔn)中的所述至少一者，那么所述第二標(biāo)準(zhǔn)被滿足。
60. 根據(jù)權(quán)利要求53所述的處理器，其中所述多個(gè)分區(qū)中的每一者具有任意形狀或任 意大小。
61. 根據(jù)權(quán)利要求53所述的處理器，其中對(duì)指配給所述第一種類的所述多個(gè)分區(qū)進(jìn)行 編碼包括變換編碼或混合編碼。
62. 根據(jù)權(quán)利要求53所述的處理器，其中對(duì)指配給所述第二種類的所述多個(gè)分區(qū)進(jìn)行 編碼包括使所述紋理模型適合于所述多個(gè)分區(qū)的所述數(shù)據(jù)。
63. 根據(jù)權(quán)利要求53所述的處理器，其中所述紋理模型與馬爾可夫隨機(jī)域、吉伯斯隨 機(jī)域、細(xì)胞自動(dòng)機(jī)和碎形中的至少一者相關(guān)聯(lián)。
64. 根據(jù)權(quán)利要求53所述的處理器，其進(jìn)一步經(jīng)配置以計(jì)算相鄰視頻幀的至少兩個(gè)分區(qū)之間的相似性值；基于所述相似性值選擇分區(qū)來(lái)進(jìn)行編碼；以及基于所述選定分區(qū)已經(jīng)被指配給所述第一種類還是所述第二種類，通過(guò)使用所述 算法和所述紋理模型中的至少一者對(duì)所述選定分區(qū)進(jìn)行編碼。
65. 根據(jù)權(quán)利要求64所述的處理器，其中計(jì)算相似性值包括使用絕對(duì)差值和算法、平 方差值和算法和經(jīng)運(yùn)動(dòng)補(bǔ)償算法中的至少一者。
66. —種處理多媒體數(shù)據(jù)的方法，其包括使用算法對(duì)屬于第一種類的多個(gè)第一分區(qū)進(jìn)行解碼； 使用紋理模型對(duì)屬于第二種類的多個(gè)第二分區(qū)進(jìn)行解碼；以及 使用邊界信息、所述多個(gè)第一分區(qū)和所述多個(gè)第二分區(qū)來(lái)創(chuàng)建多媒體數(shù)據(jù)。
67. 根據(jù)權(quán)利要求66所述的方法，其進(jìn)一步包括內(nèi)插所述多媒體數(shù)據(jù)以產(chǎn)生經(jīng)內(nèi)插的 多媒體數(shù)據(jù)。
68. 根據(jù)權(quán)利要求66所述的方法，其進(jìn)一步包括內(nèi)插所述多個(gè)第一分區(qū)以產(chǎn)生多個(gè)經(jīng) 內(nèi)插的第一分區(qū)，且內(nèi)插所述多個(gè)第二分區(qū)以產(chǎn)生多個(gè)經(jīng)內(nèi)插的第二分區(qū)。
69. 根據(jù)權(quán)利要求66所述的方法，其中對(duì)屬于所述第一種類的所述多個(gè)第一分區(qū)進(jìn)行 解碼包括變換編碼或混合編碼。
70. 根據(jù)權(quán)利要求66所述的方法，其中所述紋理模型與馬爾可夫隨機(jī)域、吉伯斯隨機(jī) 域、細(xì)胞自動(dòng)機(jī)和碎形中的至少一者相關(guān)聯(lián)。
71. —種用于處理多媒體數(shù)據(jù)的設(shè)備，其包括解碼器，其經(jīng)配置以使用算法對(duì)屬于第一種類的多個(gè)第一分區(qū)進(jìn)行解碼，且使用 紋理模型對(duì)屬于第二種類的多個(gè)第二分區(qū)進(jìn)行解碼；以及產(chǎn)生模塊，其經(jīng)配置以使用邊界信息、所述多個(gè)第一分區(qū)和所述多個(gè)第二分區(qū)來(lái) 創(chuàng)建多媒體數(shù)據(jù)。
72. 根據(jù)權(quán)利要求71所述的設(shè)備，其進(jìn)一步包括內(nèi)插模塊，所述內(nèi)插模塊經(jīng)配置以內(nèi) 插所述多媒體數(shù)據(jù)以產(chǎn)生經(jīng)內(nèi)插的多媒體數(shù)據(jù)。
73. 根據(jù)權(quán)利要求71所述的設(shè)備，其進(jìn)一步包括內(nèi)插模塊，所述內(nèi)插模塊經(jīng)配置以內(nèi) 插所述多個(gè)第一分區(qū)以產(chǎn)生多個(gè)經(jīng)內(nèi)插的第一分區(qū)，且內(nèi)插所述多個(gè)第二分區(qū)以產(chǎn) 生多個(gè)經(jīng)內(nèi)插的第二分區(qū)。
74. 根據(jù)權(quán)利要求71所述的設(shè)備，其中對(duì)屬于所述第一種類的所述多個(gè)第一分區(qū)進(jìn)行 解碼包括變換編碼或混合編碼。
75. 根據(jù)權(quán)利要求71所述的設(shè)備，其中所述紋理模型與馬爾可夫隨機(jī)域、吉伯斯隨機(jī) 域、細(xì)胞自動(dòng)機(jī)和碎形中的至少一者相關(guān)聯(lián)。
76. —種包括指令的機(jī)器可讀媒體，所述指令在執(zhí)行后立即致使機(jī)器使用算法對(duì)屬于第一種類的多個(gè)第一分區(qū)進(jìn)行解碼； 使用紋理模型對(duì)屬于第二種類的多個(gè)第二分區(qū)進(jìn)行解碼；以及 使用邊界信息、所述多個(gè)第一分區(qū)和所述多個(gè)第二分區(qū)來(lái)創(chuàng)建多媒體數(shù)據(jù)。
77. 根據(jù)權(quán)利要求76所述的機(jī)器可讀媒體，其中所述指令內(nèi)插所述多媒體數(shù)據(jù)以產(chǎn)生 經(jīng)內(nèi)插的多媒體數(shù)據(jù)。
78. 根據(jù)權(quán)利要求76所述的機(jī)器可讀媒體，其中所述指令內(nèi)插所述多個(gè)第一分區(qū)以產(chǎn) 生多個(gè)經(jīng)內(nèi)插的第一分區(qū)，且內(nèi)插所述多個(gè)第二分區(qū)以產(chǎn)生多個(gè)經(jīng)內(nèi)插的第二分 區(qū)。
79. 根據(jù)權(quán)利要求76所述的機(jī)器可讀媒體，其中所述對(duì)屬于所述第一種類的所述多個(gè) 第一分區(qū)進(jìn)行解碼的指令包括變換編碼或混合編碼。
80. 根據(jù)權(quán)利要求76所述的機(jī)器可讀媒體，其中所述紋理模型與馬爾可夫隨機(jī)域、吉 伯斯隨機(jī)域、細(xì)胞自動(dòng)機(jī)和碎形中的至少一者相關(guān)聯(lián)。
81. —種用于處理多媒體數(shù)據(jù)的設(shè)備，其包括用于使用算法對(duì)屬于第一種類的多個(gè)第一分區(qū)進(jìn)行解碼且使用紋理模型對(duì)屬于 第二種類的多個(gè)第二分區(qū)進(jìn)行解碼的裝置；以及用于使用邊界信息、所述多個(gè)第一分區(qū)和所述多個(gè)第二分區(qū)來(lái)創(chuàng)建多媒體數(shù)據(jù)的 裝置。
82. 根據(jù)權(quán)利要求81所述的設(shè)備，其進(jìn)一步包括用于內(nèi)插所述多媒體數(shù)據(jù)以產(chǎn)生經(jīng)內(nèi)插的多媒體數(shù)據(jù)的裝置。
83. 根據(jù)權(quán)利要求81所述的設(shè)備，其進(jìn)一步包括用于內(nèi)插所述多個(gè)第一分區(qū)以產(chǎn)生多 個(gè)經(jīng)內(nèi)插的第一分區(qū)且內(nèi)插所述多個(gè)第二分區(qū)以產(chǎn)生多個(gè)經(jīng)內(nèi)插的第二分區(qū)的裝 置。
84. 根據(jù)權(quán)利要求81所述的設(shè)備，其中所述用于對(duì)屬于所述第一種類的所述多個(gè)第一 分區(qū)進(jìn)行解碼的裝置包括變換編碼或混合編碼。
85. 根據(jù)權(quán)利要求81所述的設(shè)備，其中所述紋理模型與馬爾可夫隨機(jī)域、吉伯斯隨機(jī) 域、細(xì)胞自動(dòng)機(jī)和碎形中的至少一者相關(guān)聯(lián)。
86. —種用于處理多媒體數(shù)據(jù)的處理器，所述處理器經(jīng)配置以使用算法對(duì)屬于第一種類的多個(gè)第一分區(qū)進(jìn)行解碼，且使用紋理模型對(duì)屬于第二 種類的多個(gè)第二分區(qū)進(jìn)行解碼；以及使用邊界信息、所述多個(gè)第一分區(qū)和所述多個(gè)第二分區(qū)來(lái)創(chuàng)建多媒體數(shù)據(jù)。
87. 根據(jù)權(quán)利要求86所述的處理器，其進(jìn)一步經(jīng)配置以內(nèi)插所述多媒體數(shù)據(jù)以產(chǎn)生經(jīng) 內(nèi)插的多媒體數(shù)據(jù)。
88. 根據(jù)權(quán)利要求86所述的處理器，其進(jìn)一步經(jīng)配置以內(nèi)插所述多個(gè)第一分區(qū)以產(chǎn)生 多個(gè)經(jīng)內(nèi)插的第一分區(qū)，且內(nèi)插所述多個(gè)第二分區(qū)以產(chǎn)生多個(gè)經(jīng)內(nèi)插的第二分區(qū)。
89. 根據(jù)權(quán)利要求86所述的處理器，其中對(duì)屬于所述第一種類的所述多個(gè)第一分區(qū)進(jìn) 行解碼包括變換編碼或混合編碼。
90. 根據(jù)權(quán)利要求86所述的處理器，其中所述紋理模型與馬爾可夫隨機(jī)域、吉伯斯隨 機(jī)域、細(xì)胞自動(dòng)機(jī)和碎形中的至少一者相關(guān)聯(lián)。
全文摘要
一種用于處理多媒體數(shù)據(jù)的方法和設(shè)備，其包括將數(shù)據(jù)分段為多個(gè)分區(qū)，將所述多個(gè)分區(qū)中的每一者指配給包括第一種類和第二種類的多個(gè)種類中的一者，使用算法對(duì)指配給所述第一種類的所述多個(gè)分區(qū)進(jìn)行編碼，且使用紋理模型對(duì)指配給所述第二種類的所述多個(gè)分區(qū)進(jìn)行編碼。一種用于處理多媒體數(shù)據(jù)的方法和設(shè)備，其包括使用算法對(duì)屬于第一種類的多個(gè)第一分區(qū)進(jìn)行解碼，使用紋理模型對(duì)屬于第二種類的多個(gè)第二分區(qū)進(jìn)行解碼，以及使用邊界信息、所述多個(gè)第一分區(qū)和所述多個(gè)第二分區(qū)創(chuàng)建多媒體數(shù)據(jù)。
文檔編號(hào)H04N7/26GK101310534SQ200680042829
公開(kāi)日2008年11月19日 申請(qǐng)日期2006年9月27日 優(yōu)先權(quán)日2005年9月27日
發(fā)明者塞伊富拉·哈立德·奧古茲, 維賈雅拉克希米·R·拉韋恩德拉恩 申請(qǐng)人:高通股份有限公司