對(duì)按照容器格式的媒體文件進(jìn)行的知曉語法的操縱的制作方法
【專利說明】對(duì)按照容器格式的媒體文件進(jìn)行的知曉語法的操縱
【背景技術(shù)】
[0001] 工程師使用壓縮(也稱為源編解碼（coding)或源編碼（encoding))來降低數(shù)字媒 體內(nèi)容的比特率。壓縮通過將信息轉(zhuǎn)換為更低的比特率形式來減少存儲(chǔ)和傳送媒體信息的 成本。解壓縮(也稱為解碼）從壓縮形式重建原始信息版本。"編解碼器"是編碼器/解碼 器系統(tǒng)。在過去的二十年，多種視頻編解碼器標(biāo)準(zhǔn)和格式已被采用，并且多種音頻編解碼器 標(biāo)準(zhǔn)和格式已被采用。編解碼器標(biāo)準(zhǔn)或格式典型地定義了用于已編碼媒體比特流(有時(shí)稱 作基本媒體比特流）的語法的選項(xiàng)，從而在特定特征被用于編碼和解碼時(shí)詳解了基本媒體 比特流中的參數(shù)。在許多情況下，編解碼器標(biāo)準(zhǔn)或格式還提供關(guān)于解碼器應(yīng)該實(shí)施以便在 解碼中獲得正確結(jié)果的解碼操作的細(xì)節(jié)。
[0002] 媒體容器（media container)格式規(guī)定了如何組織已編碼媒體內(nèi)容以用于存儲(chǔ)、 傳送等等。媒體容器格式可以規(guī)定關(guān)于已編碼媒體內(nèi)容、定時(shí)信息、數(shù)字權(quán)限管理信息、糾 錯(cuò)信息或其他信息的元數(shù)據(jù)。針對(duì)多媒體內(nèi)容已經(jīng)公布了多種容器格式，包括MPEG-2 TS/ PS、高級(jí)系統(tǒng)格式("ASF"）（以前的高級(jí)流送格式)、在IS0/IEC 14496-12 (ISO基礎(chǔ)媒體 文件格式)、14496-14 (MP4文件格式）和14496- 15 (AVC文件格式）中定義的MPEG-4 ("MP4")、通用文件格式("CFF")和Matroska視頻格式("MKV")。比如MP4或CFF之類的針 對(duì)容器格式的規(guī)范定義了如何組織已編碼媒體內(nèi)容并且為已編碼媒體內(nèi)容添加元數(shù)據(jù)，從 而使得媒體文件遵循容器格式。容器格式規(guī)范典型地定義了用于按照容器格式的媒體文件 的語法的選項(xiàng)，從而在特定特征被使用時(shí)詳解了媒體文件中的參數(shù)的含義和組織。在一些 情況下，容器格式規(guī)范還可以提供關(guān)于要由容器格式信宿（sink)或容器格式源實(shí)施的操作 的細(xì)節(jié)。容器格式信宿根據(jù)容器格式將(例如，來自比如音頻編碼器或視頻編碼器之類的媒 體編碼器的）基本媒體比特流中的已編碼媒體內(nèi)容放入媒體文件中。容器格式源對(duì)按照容 器格式的媒體文件進(jìn)行解析并且將基本媒體比特流提供給媒體解碼器以便進(jìn)行解碼。
[0003] 每一天，多種多樣的源將生成數(shù)百萬的按照容器格式的媒體文件。甚至更多的按 照容器格式的媒體文件被不同用戶通過各種各樣的活動(dòng)來消費(fèi)。在一些情況下，按照容器 格式的媒體文件由于在流送或會(huì)議期間的隨機(jī)比特反轉(zhuǎn)而被破壞?；蛘?，媒體文件可以由 于存儲(chǔ)失效、由于利用智能電話進(jìn)行的不適當(dāng)記錄或者出于另外的原因而被破壞。然而， 對(duì)于許多新近的容器格式而言，現(xiàn)有工具既沒有提供足夠的手段來驗(yàn)證媒體文件對(duì)于容器 格式的遵循或者至少識(shí)別已破壞的文件容器，也沒有提供足夠的手段來改動(dòng)媒體文件的元 素，以便測(cè)試重放裝備對(duì)于媒體文件中的錯(cuò)誤的恢復(fù)力。

【發(fā)明內(nèi)容】

[0004] 總的說來，這里所描述的創(chuàng)新提供了對(duì)媒體文件中根據(jù)容器格式定義的按層級(jí)組 織的語法元素實(shí)施知曉語法的操縱的方式。例如，容器格式驗(yàn)證器檢查媒體文件對(duì)于容器 格式的遵循，這可以有助于確保媒體內(nèi)容的多種多樣的源與重放裝備之間的互操作性。或 者，容器格式"模糊器"模仿媒體文件的破壞，這可以有助于測(cè)試重放裝備對(duì)于媒體文件中 的錯(cuò)誤的恢復(fù)力。或者，容器格式編輯器創(chuàng)建等效的媒體文件，這可以有助于測(cè)試媒體文件 中的新對(duì)象。
[0005] 根據(jù)這里所描述的一個(gè)創(chuàng)新集合，容器格式處理工具接收用于呈現(xiàn)的按照容器格 式的媒體文件，該媒體文件包括音頻內(nèi)容、圖像內(nèi)容和/或視頻內(nèi)容。容器格式是樹結(jié)構(gòu) 的，使得媒體文件包括根據(jù)容器格式定義的按照層級(jí)組織的語法元素。例如，根據(jù)容器格式 定義的按層級(jí)組織的語法元素是根據(jù)容器格式嵌套在層級(jí)結(jié)構(gòu)中的對(duì)象和對(duì)象屬性。容器 格式處理工具對(duì)于媒體文件中根據(jù)容器格式定義的按層級(jí)組織的語法元素中的至少一些 實(shí)施知曉語法的操縱。
[0006] 例如，作為知曉語法的操縱的一部分，容器格式驗(yàn)證器檢查媒體文件對(duì)于容器格 式的遵循。驗(yàn)證可以包括單一元素驗(yàn)證，其中，容器格式驗(yàn)證器檢查給定語法元素的值滿足 根據(jù)容器格式的用于該給定語法元素的一個(gè)或多個(gè)約束?；蛘?，驗(yàn)證可以包括交叉驗(yàn)證，其 中，容器格式驗(yàn)證器檢查給定語法元素的值與根據(jù)容器格式定義的一個(gè)或多個(gè)其他語法元 素的值相一致。此外，驗(yàn)證可以包括，檢查在呈現(xiàn)中的音頻樣本和視頻樣本之間的同步，或 者檢查根據(jù)容器格式定義的任何強(qiáng)制性語法元素的存在性。
[0007] 或者，作為知曉語法的操縱的一部分，容器格式模糊器模仿對(duì)于按照容器格式的 媒體文件的破壞。為了模仿對(duì)于媒體文件的破壞，容器格式模糊器可以針對(duì)根據(jù)容器格式 定義的一個(gè)或多個(gè)語法元素利用其他值來替代有效值，同時(shí)保留按照容器格式的媒體文件 的文件格式結(jié)構(gòu)?；蛘撸萜鞲袷侥：骺梢酝ㄟ^改動(dòng)給定語法元素的值來模仿隨機(jī)比特 反轉(zhuǎn)。此外，容器格式模糊器可以模仿音頻記錄失效(例如，通過從按照容器格式的媒體文 件的音頻軌道移除音頻數(shù)據(jù)）或者不正確的記錄終止(例如，通過將根據(jù)容器格式定義的額 外語法元素添加到按照容器格式的媒體文件的對(duì)象)。
[0008] 或者，作為知曉語法的操縱的一部分，容器格式編輯器可以以其他方式編輯媒體 文件。例如，容器格式編輯器可以將根據(jù)容器格式定義的新的語法元素插入到媒體文件中， 以便對(duì)按照容器格式的另一個(gè)媒體文件的問題進(jìn)行效仿（model)?；蛘撸萜鞲袷骄庉嬈骺?以檢測(cè)根據(jù)容器格式定義的語法元素中的一個(gè)或多個(gè)已破壞的值，并且校正所述一個(gè)或多 個(gè)已破壞的值。
[0009] 對(duì)于媒體文件中根據(jù)容器格式定義的語法元素的知曉語法的操縱可以被實(shí)施為 一種方法的一部分、適于實(shí)施該方法的一種計(jì)算系統(tǒng)的一部分、或者存儲(chǔ)用于使得計(jì)算系 統(tǒng)實(shí)施該方法的計(jì)算機(jī)可執(zhí)行指令的有形計(jì)算機(jī)可讀介質(zhì)的一部分。
[0010] 從后面參照附圖進(jìn)行的詳細(xì)描述中，本發(fā)明的前述和其他目的、特征和優(yōu)點(diǎn)將變 得更加顯而易見。
【附圖說明】
[0011] 圖1是可以在其中實(shí)施一些所描述的實(shí)施例的示例計(jì)算系統(tǒng)的圖。
[0012] 圖2a和2b是可以在其中實(shí)施一些所描述的實(shí)施例的示例網(wǎng)絡(luò)環(huán)境的圖。
[0013] 圖3是可以在其中實(shí)施一些所描述的實(shí)施例的示例媒體處理系統(tǒng)的圖。
[0014] 圖4是可以與之相結(jié)合地實(shí)施一些所描述的實(shí)施例的容器格式處理工具的圖。
[0015] 圖5是媒體文件中根據(jù)容器格式定義的按層級(jí)組織的語法元素的圖。
[0016] 圖6是圖示了用于對(duì)媒體文件中根據(jù)容器格式定義的按層級(jí)組織的語法元素進(jìn) 行知曉語法的操縱的一般化技術(shù)的流程圖。
[0017] 圖7是圖示了用于驗(yàn)證媒體文件對(duì)于容器格式的遵循的技術(shù)的流程圖。
[0018] 圖8是圖示了媒體文件中根據(jù)容器格式定義的語法元素的交叉驗(yàn)證的圖。
[0019] 圖9是圖示了用于模仿對(duì)于按照容器格式的媒體文件的破壞的技術(shù)的流程圖。
[0020] 圖10是圖示了性質(zhì)資源管理器的屏幕的圖表，其示出了已經(jīng)利用隨機(jī)值將其替 代以便模仿對(duì)于媒體文件的破壞的在媒體文件中的根據(jù)容器格式定義的所選語法元素的 值。
【具體實(shí)施方式】
[0021] 該【具體實(shí)施方式】給出了用于對(duì)按照容器格式的媒體文件進(jìn)行知曉語法的操縱的 各種創(chuàng)新。所述創(chuàng)新可以包括用于對(duì)媒體文件進(jìn)行遵循驗(yàn)證、對(duì)媒體文件的破壞進(jìn)行模仿 和對(duì)媒體文件進(jìn)行其他編輯的操作。
[0022] 對(duì)由不同源生成的媒體文件遵循給定容器格式進(jìn)行驗(yàn)證有助于確保與重放裝備 的互操作性。根據(jù)這里所描述的創(chuàng)新的一個(gè)方面，知曉語法的容器格式驗(yàn)證器檢查媒體文 件對(duì)于給定容器格式的遵循。媒體文件可以包括容器格式語法元素，其指示針對(duì)樣本(例 如，視頻幀）的時(shí)間戳、針對(duì)樣本的已編碼內(nèi)容的組塊的尺寸、已編碼內(nèi)容的組塊的偏移量 或位置、軌道信息或其他信息。容器格式驗(yàn)證器可以以若干方式來驗(yàn)證這樣的語法元素對(duì) 于容器格式的遵循，包括針對(duì)在容器格式規(guī)范中規(guī)定的約束來評(píng)估單獨(dú)的語法元素、交叉 驗(yàn)證語法元素的值與根據(jù)容器格式定義的其他相關(guān)語法元素的值相一致、以及驗(yàn)證根據(jù)容 器格式定義的任何強(qiáng)制性語法元素是存在的。
[0023] 模仿對(duì)于媒體文件的破壞可以有助于測(cè)試容器格式源的能力。根據(jù)這里所描述的 創(chuàng)新的另一方面，知曉語法的容器格式模糊器模仿對(duì)于媒體文件中根據(jù)容器格式定義的語 法元素的若干類型的破壞中的任何一個(gè)類型的破壞，同時(shí)保持媒體文件的文件格式結(jié)構(gòu)完 整無缺。對(duì)按照容器格式的媒體文件進(jìn)行解析和消費(fèi)的容器格式源可能易受到媒體文件中 的錯(cuò)誤的損壞。當(dāng)其在底層解析操作期間遇到不同類型的已破壞的媒體文件時(shí)對(duì)該容器格 式源的性能進(jìn)行評(píng)估可以導(dǎo)致在檢測(cè)錯(cuò)誤、保護(hù)免受錯(cuò)誤、隱藏錯(cuò)誤和從錯(cuò)誤恢復(fù)上的改 進(jìn)。按照這種方式，可以使得容器格式源對(duì)于容器格式源可以從其恢復(fù)(隱藏特定種類的錯(cuò) 誤并且恢復(fù)重放，而不是簡(jiǎn)單地停止重放）的破壞更魯棒，同時(shí)使得容器格式源更精確識(shí)別 其中容器格式源應(yīng)該停止重放的情形。
[0024] 根據(jù)這里所描述的創(chuàng)新的另一方面，知曉語法的容器格式編輯器對(duì)按照容器格式 的媒體文件進(jìn)行編輯，這促進(jìn)了對(duì)于具有所期望的性質(zhì)的媒體文件的評(píng)估和共享。例如，容 器格式編輯器檢測(cè)并且校正媒體文件中的破壞。或者，作為另一個(gè)示例，容器格式編輯器通 過插入根據(jù)容器格式定義的新的語法元素來構(gòu)造媒體文件，以便對(duì)在另一個(gè)媒體文件中見 到的問題進(jìn)行建模。按照這種方式，對(duì)于按照容器格式的給定媒體文件，容器格式編輯器可 以生成根據(jù)容器格式定義的語法元素的不同組合，以便表明在另一個(gè)媒體文件中識(shí)別出的 問題，而不使用由于版權(quán)問題或數(shù)字權(quán)限管理而具有訪問限定的已編碼媒體內(nèi)容。
[0025] 盡管這里所描述的