專利名稱：編碼器的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及媒體編碼，更具體地說，涉及利用語(yǔ)義數(shù)據(jù)對(duì)視頻內(nèi)容進(jìn)行編碼的裝 置和方法。
背景技術(shù)：
近年來，數(shù)字媒體已經(jīng)成為向用戶傳遞信息的常見載體。具體地說，數(shù)字視頻允許 用戶通過視覺和聽覺手段來獲取信息。在數(shù)字視頻的最基本的形式中，數(shù)字視頻由按照每秒幾幀的速率向用戶重放的完 整圖像幀序列組成。視頻質(zhì)量取決于各幀的分辨率，并取決于幀的顯示速率。分辨率越高 意味著各幀中可以包含的細(xì)節(jié)越多，同時(shí)，更高的幀率提高了用戶對(duì)視頻中的運(yùn)動(dòng)的感知。視頻內(nèi)容質(zhì)量的提高導(dǎo)致更大的文件尺寸，這在很多應(yīng)用中是令人不滿意的。已 經(jīng)知道編碼技術(shù)(尤其是視頻壓縮技術(shù))致力于在使視頻質(zhì)量的任何損失最小化的同時(shí)減 小文件尺寸。一般地說，視頻壓縮技術(shù)分為兩類空間壓縮和時(shí)間壓縮，很多常見的視頻壓 縮格式使用了這兩種技術(shù)的組合。空間壓縮涉及對(duì)單個(gè)圖像幀分別進(jìn)行壓縮，例如，以與針對(duì)靜態(tài)圖像的JPEG壓縮 類似的方式。時(shí)間壓縮利用連續(xù)幀序列中的相似性來減少信息存儲(chǔ)需求。在很多視頻中，大部 分場(chǎng)景不隨時(shí)間而改變。在這種情況下，來自前一場(chǎng)景的場(chǎng)景信息可以再用于呈現(xiàn)下一場(chǎng) 景，并且僅存儲(chǔ)與改變的像素相關(guān)的信息。這樣使得文件尺寸明顯減小。類似地，當(dāng)相機(jī)搖 攝場(chǎng)景時(shí)，新幀中的很大一部分與前一場(chǎng)景相同而僅在搖攝方向出現(xiàn)偏移。在這種情況下， 將僅需要對(duì)新看見的像素進(jìn)行編碼。在諸如MPEG-2的視頻壓縮中，完整信息幀被稱為完整幀或I幀(獨(dú)立幀)。這些 幀獨(dú)立于其它幀，因此，可以在不參照視頻的任何其它幀中的任何信息的情況下對(duì)這些幀 進(jìn)行解碼。通過將未壓縮的視頻幀轉(zhuǎn)換為相關(guān)幀來得到主要的壓縮節(jié)省。這些幀是為了成 功地進(jìn)行解碼而與來自相鄰幀的一些信息相關(guān)的幀。將與之前的幀相關(guān)的相關(guān)幀稱為預(yù)測(cè) 幀或P幀，而與之前的幀和隨后的幀二者都相關(guān)的幀已知為B幀。當(dāng)使用I幀時(shí)，P幀和B幀提供了寶貴的文件尺寸節(jié)省，時(shí)間壓縮技術(shù)可能使用戶 的觀看經(jīng)歷變得不方便。例如，用戶可能希望跳到文件中的特定位置，并從該位置開始重 放，而不是按照順序觀看整個(gè)視頻。如果I幀位于視頻文件中用戶所選擇的位置，則從所選擇的位置開始重放。然而， 如果I幀不處于所希望的位置，則在多數(shù)情況下，視頻解碼器將尋找最近的I幀位置。那么， 用戶必須等待視頻文件中的要播放的期待段。解決上述問題的一種公知的方法是將更多I幀插入壓縮后的視頻文件。除了位于 場(chǎng)景切換點(diǎn)的I幀之外，以規(guī)則的間隔(例如，每秒或每20幀)插入I幀，使得改進(jìn)視頻段 的粒度。然而，更多I幀的出現(xiàn)增加了視頻的文件尺寸。本發(fā)明可 解決上述問題。

發(fā)明內(nèi)容
在 一個(gè)方面中，本發(fā)明提供了一種將媒體內(nèi)容編碼為獨(dú)立數(shù)據(jù)幀和相關(guān)數(shù)據(jù)幀的 序列的方法，該方法包括以下步驟分析所述媒體內(nèi)容，以確定所述媒體內(nèi)容中在哪里出現(xiàn) 場(chǎng)景變化；生成限定了所述場(chǎng)景變化的位置的編碼參數(shù)；訪問表示所述媒體內(nèi)容的語(yǔ)義重 要部分的數(shù)據(jù)；以及更新所述編碼參數(shù)，使得在所述語(yǔ)義數(shù)據(jù)所表示的位置處出現(xiàn)獨(dú)立數(shù) 據(jù)幀。在另一個(gè)方面中，本發(fā)明提供了一種將媒體內(nèi)容編碼為獨(dú)立數(shù)據(jù)幀和相關(guān)數(shù)據(jù)幀 的序列的裝置，該裝置包括用于分析所述媒體內(nèi)容的視覺內(nèi)容的單元；表示在所述媒體 內(nèi)容中場(chǎng)景變化的位置的配置數(shù)據(jù)存儲(chǔ)器；用于訪問表示所述媒體內(nèi)容的語(yǔ)義重要部分的 數(shù)據(jù)的訪問單元；以及用于更新所述配置數(shù)據(jù)存儲(chǔ)器以在所述語(yǔ)義數(shù)據(jù)表示的位置處包括 完整幀的單元。在其它方面中，本發(fā)明提供了一種由獨(dú)立數(shù)據(jù)幀和相關(guān)數(shù)據(jù)幀的序列形成的已編 碼的媒體文件，該獨(dú)立媒體幀位于媒體文件的語(yǔ)義重要部分處。其它優(yōu)選特征在從屬權(quán)利要求中闡釋。


現(xiàn)在將參照附圖來說明本發(fā)明的實(shí)施方式，附圖中圖1示出了根據(jù)第一實(shí)施方式的編碼系統(tǒng)中的功能組件；圖2示出了圖1所示的系統(tǒng)內(nèi)的主要功能單元；圖3示出了圖2所示的視頻編碼器的操作的流程圖；圖4示意性示出了在第一輪視頻編碼處理中被處理以識(shí)別場(chǎng)景變化的已編碼的 視頻文件；圖5示出了場(chǎng)景變化I幀和語(yǔ)義I幀在樣本視頻文件內(nèi)的位置；圖6示出了敘述數(shù)據(jù)文件的內(nèi)容；圖7示出了第三實(shí)施方式中的系統(tǒng)的功能組件；圖8示出了具有位于各個(gè)原始I幀之后的額外的I幀的壓縮視頻文件；以及圖9示出了根據(jù)第五實(shí)施方式的敘述數(shù)據(jù)文件的內(nèi)容。
具體實(shí)施例方式在第一實(shí)施方式中，編碼系統(tǒng)對(duì)未壓縮的視頻文件進(jìn)行處理，以與傳統(tǒng)方式一樣 產(chǎn)生具有位于視頻內(nèi)的場(chǎng)景變化處的I幀和用于其它幀的P幀或B幀的相應(yīng)的經(jīng)壓縮的視 頻文件。此外，編碼器使用諸如敘述性信息的語(yǔ)義重要數(shù)據(jù)，來在視頻內(nèi)沒有場(chǎng)景變化但卻 敘述重要的位置處增加另外的I幀。圖1示出了根據(jù)第一實(shí)施方式的編碼系統(tǒng)1中的主要組件。該系統(tǒng)包括經(jīng)由公共 系統(tǒng)總線13進(jìn)行連接的中央處理器3、工作存儲(chǔ)器5、數(shù)據(jù)存儲(chǔ)器7、顯示接口 9和顯示器 11。系統(tǒng)1還包括連接到該系統(tǒng)總線的專用視頻編碼處理器15。圖2示出了如圖1所示的系統(tǒng)內(nèi)部的主要功能單元。視頻編碼器15從數(shù)據(jù)存儲(chǔ) 器7接收輸入的視頻文件21。該輸入的視頻文件是臨時(shí)未壓縮格式，從而各幀完全獨(dú)立于其它幀。在編碼之后，視頻編碼器15在數(shù)據(jù)存儲(chǔ)器7中存儲(chǔ)所輸出的已編碼的壓縮視頻文 件23。視頻編碼器15還從連接到敘述數(shù)據(jù)文件27的語(yǔ)義重要數(shù)據(jù)處理單元25接收數(shù)據(jù)， 該敘述數(shù)據(jù)文件27也存儲(chǔ)在數(shù)據(jù)存儲(chǔ)器7內(nèi)。圖3示出了圖2所示的視頻編碼器的操作的流程圖。在該實(shí)施方式中，視頻編碼器17使用兩輪的視頻編碼方法來產(chǎn)生經(jīng)壓縮的視頻文件23。在步驟si中，編碼器15訪問未壓縮的視頻文件21。在步驟s3中，編碼器15對(duì)所 訪問的視頻21執(zhí)行第一輪，以識(shí)別在哪里出現(xiàn)場(chǎng)景變化。將視頻文件21內(nèi)的場(chǎng)景變化位 置存儲(chǔ)在工作存儲(chǔ)器5中存儲(chǔ)的配置文件29中。在此實(shí)施方式中，視頻編碼器15存儲(chǔ)出 現(xiàn)場(chǎng)景變化的各幀的幀號(hào)。例如幀0;幀 56 ；頓 215;幀 394 ；幀 431;幀 457 ；幀 1499。圖4示意性示出了在第一輪視頻編碼處理中被處理以識(shí)別與上述示例配置文件 相對(duì)應(yīng)的場(chǎng)景變化的已編碼的視頻文件23。視頻文件23內(nèi)基于同一場(chǎng)景的片段上畫上陰 影。作為在步驟s3中的第一輪視頻編碼處理的結(jié)果，配置文件包含各個(gè)I幀需要在輸出的 視頻文件23中的位置的詳細(xì)資料。在該實(shí)施方式中，配置文件29包含出現(xiàn)了場(chǎng)景變換的 幀號(hào)的列表。為便于解釋，在該實(shí)施方式中，僅針對(duì)各個(gè)場(chǎng)景部分產(chǎn)生單個(gè)I幀?；氐綀D3，在第一輪之后，在步驟s5中，視頻編碼器15訪問語(yǔ)義重要處理單元，該 語(yǔ)義重要處理單元進(jìn)而訪問敘述數(shù)據(jù)文件27，以識(shí)別在哪里需要附加的I幀。在步驟s7 中，將這些額外的I幀位置插入配置文件29中。圖5示出場(chǎng)景變化I幀31和語(yǔ)義I幀33 在樣本視頻文件內(nèi)的位置。如圖3所示，一旦已經(jīng)更新了配置文件，則在步驟s9，視頻編碼器執(zhí)行第二輪處 理，以傳統(tǒng)方式產(chǎn)生壓縮視頻文件。最后，在步驟sll中，視頻編碼器輸出在配置文件29所 指示的位置處具有I幀31、33以及在其它幀位置具有P幀和B幀的壓縮視頻文件。在數(shù)據(jù) 存儲(chǔ)器7中存儲(chǔ)所輸出的壓縮視頻文件23?，F(xiàn)在將解釋敘述數(shù)據(jù)文件27及敘述數(shù)據(jù)文件27的生成。圖6示出了敘述數(shù)據(jù)文 件27的內(nèi)容。敘述數(shù)據(jù)文件27與視頻編碼器15所生成的配置文件29非常相似。敘述數(shù) 據(jù)文件具有關(guān)于文件的創(chuàng)建方以識(shí)別他們的創(chuàng)建方字段45以及標(biāo)識(shí)敘述數(shù)據(jù)文件27所涉 及的視頻文件21的標(biāo)題字段47。敘述數(shù)據(jù)文件27中的每個(gè)條目是幀號(hào)41和表示額外的 I幀將出現(xiàn)在壓縮視頻文件中的什么位置的相應(yīng)的時(shí)間戳43。另外，敘述數(shù)據(jù)文件27中的 每個(gè)條目可以具有表示幀的重要性的相關(guān)注釋49。在該實(shí)施方式中，由制作未壓縮視頻輸入21的用戶來生成敘述數(shù)據(jù)文件27。制 作者執(zhí)行手動(dòng)操作來標(biāo)記視頻中的觀看最終視頻的任何終端用戶可能敘述感興趣的片段 的起點(diǎn)。敘述感興趣的示例包括一些演員講話的開始、動(dòng)作序列的開始、音樂作品的開始 等。敘述感興趣的點(diǎn)并不限于音軌中的事件，還包括不會(huì)導(dǎo)致場(chǎng)景變化的視覺事件。例如，運(yùn)動(dòng)停頓或者演員步入場(chǎng)景中。在第一實(shí)施方式中，生成與輸入的未壓縮視頻文件相對(duì)應(yīng)的壓縮視頻文件，該壓 縮視頻文件在視頻制作者已經(jīng)手動(dòng)指定了特別感興趣的片段的位置處具有附加的I幀。通 過這種方式，稍后觀看壓縮視頻的用戶能夠?qū)ふ乙曨l中特定感興趣的部分。第二實(shí)施方式 在第一實(shí)施方式中，視頻編碼器利用兩輪的編碼方案由輸入的未壓縮視頻文件生 成壓縮的MPEG2視頻。在第二實(shí)施方式中，視頻編碼器利用一輪的編碼方案壓縮所輸入的 視頻文件。第三實(shí)施方式在第一和第二實(shí)施方式中，視頻編碼器處理未壓縮的視頻輸入，并且生成具有根 據(jù)由視頻制作者確定的感興趣的片段而布置的I幀以及基于場(chǎng)景變化的傳統(tǒng)I幀布置的壓 縮視頻數(shù)據(jù)。在第三實(shí)施方式中，系統(tǒng)允許將代表敘述感興趣的點(diǎn)的I幀添加到已經(jīng)壓縮的視 頻文件中。這在一旦視頻在一定長(zhǎng)度的時(shí)間內(nèi)變得可用而僅一部分視頻變成敘述感興趣的 情況下有用。圖7示出了第三實(shí)施方式中的系統(tǒng)的功能組件。這里的物理組件與第一實(shí)施方式 相同，因此將不再進(jìn)行說明。通過視頻編碼器53處理壓縮視頻文件51，以產(chǎn)生新的已編碼 且壓縮的視頻文件55。在處理所輸入的視頻文件51時(shí)，視頻編碼器53建立指定了已有的 I幀的位置的配置文件57。還經(jīng)由語(yǔ)義處理單元59來接收敘述數(shù)據(jù)文件61的信息。在再 編碼之后，新的壓縮視頻文件55在敘述數(shù)據(jù)文件61的信息所指定的位置處包含附加的I 幀。在這種情況下，新的視頻文件因?yàn)榘嗟腎幀而比舊的壓縮視頻數(shù)據(jù)文件大。第四實(shí)施方式在上述實(shí)施方式中，視頻編碼器被設(shè)置為產(chǎn)生具有位于視頻內(nèi)的場(chǎng)景轉(zhuǎn)換處的I 幀以及在由視頻的制作者或者希望向視頻中加入I幀的任何用戶所定義的敘述文件中指 定的位置處的I幀的壓縮視頻文件。在很多視頻中，當(dāng)發(fā)生場(chǎng)景變化時(shí)，在新的視頻段的起點(diǎn)和敘述重要的任何視頻 內(nèi)容的起點(diǎn)之間常常有小的時(shí)間延遲。在稍后的視頻編緝?nèi)蝿?wù)中，例如，將單獨(dú)的視頻或者 來自單個(gè)視頻的摘錄合并成合成視頻，期望濾除敘述性不重要的內(nèi)容。在第四實(shí)施方式中，編碼器進(jìn)一步操作，以在場(chǎng)景變化I幀或語(yǔ)義I幀之后插入附 加的I幀。圖8示出了在具有敘述重要I幀77和位于各個(gè)初始原始I幀75之后的額外I 幀73的壓縮視頻文件71。第五實(shí)施方式在第一實(shí)施方式到第四實(shí)施方式中，編碼器被設(shè)置為根據(jù)如敘述數(shù)據(jù)文件81中 提出的視頻文件中的敘述重要視頻內(nèi)容，在視頻中的指定位置處插入I幀。在第五實(shí)施方式中，除了插入I幀之外，視頻編碼器被設(shè)置為通過改變所插入的I 幀之后的幀的輸出視頻的質(zhì)量，來強(qiáng)調(diào)輸入視頻中的語(yǔ)義重要部分。第五實(shí)施方式中的編碼系統(tǒng)的物理組件和功能組件類似于前述實(shí)施方式中的物 理組件和功能組件，僅有的差別在于敘述數(shù)據(jù)文件81和編碼器。圖9示出了根據(jù)第五實(shí)施方式的敘述數(shù)據(jù)文件81的內(nèi)容。該敘述文件類似于前述實(shí)施方式中的敘述數(shù)據(jù)文件，該敘述文件具有創(chuàng)建方名稱83、所期望的視頻名稱85、幀 號(hào)87以及與視頻中該片斷相對(duì)應(yīng)的時(shí)間索引89和注釋91的字段。敘述數(shù)據(jù)文件83還包 括指定敘述重要內(nèi)容的持續(xù)時(shí)間的持續(xù)時(shí)間字段93的信息，在這種情況下，幀號(hào)跨越該敘 述重要事件。 編碼器從敘述數(shù)據(jù)文件81接收信息，并且，作為響應(yīng)，插入I幀，并增加對(duì)視頻中 該敘述重要的部分進(jìn)行編碼所分配的比特?cái)?shù)(此后稱為比特率)。在一些情況下，敘述重要部分將與視頻編碼器通常認(rèn)為需要更多比特的部分一 致。然而，在其它情形中，例如，在傳送特別重要的話音但視頻背景卻沒有顯著變化的情況 下，視頻編碼器將為敘述文件中定義的部分分配更高的比特率。如果存在對(duì)視頻文件尺寸 所允許的比特率的限制，則視頻編碼器將為敘述重要部分分配更高的比特率，并為視頻的 其它部分設(shè)置較低的比特率。替代例/變型例在實(shí)施方式中，視頻編碼器生成MPEG2視頻文件。可以理解，可以使用執(zhí)行時(shí)間幀 壓縮的任何壓縮格式。例如，WMV或H. 264。在第一實(shí)施方式中，編碼器使用兩輪的編碼方案。在替代例中，使用多輪的編碼方 案。例如，三輪或四輪的編碼方案。在實(shí)施方式中，由系統(tǒng)用戶手動(dòng)生成敘述文件。在替代例中，在無需用戶動(dòng)作的情 況下，生成敘述文件。音頻處理器分析視頻文件內(nèi)的音頻流，以確定何時(shí)出現(xiàn)話音并填充 (populate)敘述文件。
權(quán)利要求
1.一種將媒體內(nèi)容編碼為獨(dú)立數(shù)據(jù)幀和相關(guān)數(shù)據(jù)幀的序列的方法，該方法包括以下步驟分析所述媒體內(nèi)容，以確定所述媒體內(nèi)容中哪里出現(xiàn)了場(chǎng)景變化；生成限定了所述場(chǎng)景變化的位置的編碼參數(shù)；訪問表示所述媒體內(nèi)容中的語(yǔ)義重要部分的數(shù)據(jù)；以及更新所述編碼參數(shù)，使得在語(yǔ)義數(shù)據(jù)所表示的位置處出現(xiàn)獨(dú)立數(shù)據(jù)幀。
2.根據(jù)權(quán)利要求1所述的方法，其中，語(yǔ)義重要數(shù)據(jù)是由用戶提供的。
3.根據(jù)權(quán)利要求1或2所述的方法，其中，所述媒體內(nèi)容是未壓縮的視頻數(shù)據(jù)。
4.根據(jù)權(quán)利要求1、2或3中任一權(quán)利要求所述的方法，該方法還包括更新配置數(shù)據(jù)，以 指定在所述媒體內(nèi)容中出現(xiàn)場(chǎng)景變化之后加入完整幀。
5.根據(jù)前述權(quán)利要求中任一權(quán)利要求所述的方法，該方法還包括更新所述編碼參數(shù)， 以增加在所述媒體內(nèi)容中的語(yǔ)義重要部分處的所述媒體內(nèi)容的編碼率。
6.一種將媒體內(nèi)容編碼為獨(dú)立數(shù)據(jù)幀和相關(guān)數(shù)據(jù)幀的序列的裝置，該裝置包括 用于分析所述媒體內(nèi)容的視覺內(nèi)容的單元；表示在所述媒體內(nèi)容中場(chǎng)景變化的位置的配置數(shù)據(jù)存儲(chǔ)器；用于訪問表示所述媒體內(nèi)容的語(yǔ)義重要部分的數(shù)據(jù)的訪問單元；用于更新所述配置數(shù)據(jù)存儲(chǔ)器以在由語(yǔ)義數(shù)據(jù)表示的位置處包括完整幀的單元。
7.根據(jù)權(quán)利要求6所述的裝置，其中，語(yǔ)義重要數(shù)據(jù)是由用戶提供的。
8.根據(jù)權(quán)利要求6或7所述的裝置，其中，所述媒體內(nèi)容是未壓縮的視頻數(shù)據(jù)。
9.根據(jù)權(quán)利要求6、7或8中任一權(quán)利要求所述的裝置，其中，用于更新配置數(shù)據(jù)的單元 還進(jìn)一步操作以指定在所述媒體內(nèi)容中出現(xiàn)場(chǎng)景變化之后加入完整幀。
10.根據(jù)權(quán)利要求6至9中任一權(quán)利要求所述的裝置，該裝置還包括更新所述配置數(shù)據(jù) 存儲(chǔ)器，以增加所述媒體內(nèi)容中的語(yǔ)義重要部分處的所述媒體內(nèi)容的所述編碼率。
11.一種由完整幀和部分?jǐn)?shù)據(jù)幀的序列形成的已編碼的媒體文件，所述完整幀位于所 述媒體文件的語(yǔ)義重要部分處。
全文摘要
一種對(duì)媒體內(nèi)容進(jìn)行編碼的方法和裝置。在視頻壓縮領(lǐng)域，時(shí)間壓縮生成I幀和相關(guān)的P幀和B幀。通過視頻中場(chǎng)景切換的存在來確定I幀的布置。為了提高用戶尋找視頻中感興趣部分的能力，視頻編碼器考慮識(shí)別視頻內(nèi)感興趣的敘述點(diǎn)的語(yǔ)義數(shù)據(jù)。編碼處理生成具有出現(xiàn)在場(chǎng)景轉(zhuǎn)換處以及在視頻的敘述感興趣部分處的I幀的已編碼的視頻數(shù)據(jù)。
文檔編號(hào)H04N7/26GK102047662SQ200980119686
公開日2011年5月4日 申請(qǐng)日期2009年3月20日 優(yōu)先權(quán)日2008年3月31日
發(fā)明者喬珊·梅諾娃, 伊萬·羅珀, 伊恩·克里斯托夫·克格爾, 戴爾·羅伯遜, 蒂莫西·肖恩·史蒂文斯 申請(qǐng)人:英國(guó)電訊有限公司