編碼的媒體的音頻視頻回放同步的制作方法
【專利說(shuō)明】編碼的媒體的音頻視頻回放同步
[0001 ] WS
[0002] 人們正越來(lái)越多地使用不同類型的設(shè)備和軟件應(yīng)用來(lái)播放多媒體內(nèi)容。例如，人 們使用諸如臺(tái)式計(jì)算機(jī)和移動(dòng)設(shè)備之類的計(jì)算設(shè)備來(lái)觀看電影和視頻剪輯，下載點(diǎn)播或流 式多媒體內(nèi)容，記錄并捕捉音頻-視頻內(nèi)容(如視頻聊天或在線會(huì)議），以及執(zhí)行使用多媒體 內(nèi)容的其他記錄和回放任務(wù)。
[0003] 為了使用戶在產(chǎn)生或消費(fèi)多媒體內(nèi)容時(shí)具有積極體驗(yàn)，重要的是多媒體內(nèi)容中的 音頻和視頻信息應(yīng)被同步。例如，如果用戶正在觀看電影，視頻內(nèi)容應(yīng)與音頻內(nèi)容同步(例 如，使得演員的嘴在時(shí)間上與該演員正在說(shuō)的話語(yǔ)一起移動(dòng)）。
[0004] 然而，隨著用于消費(fèi)和產(chǎn)生多媒體內(nèi)容的不同類型的軟件和硬件的不斷增加的數(shù) 量，對(duì)音頻-視頻同步的測(cè)試可能是有問(wèn)題的且耗時(shí)的。
[0005] 已經(jīng)開(kāi)發(fā)了一些解決方案以使用未壓縮的音頻和視頻內(nèi)容來(lái)幫助測(cè)試音頻-視頻 同步。然而，這樣的解決方案可能僅在編碼或創(chuàng)作階段檢測(cè)同步問(wèn)題時(shí)有用，且可能不能在 回放階段檢測(cè)或隔離問(wèn)題。
[0006] 因此，存在足夠機(jī)會(huì)來(lái)改進(jìn)涉及測(cè)試音頻-視頻同步的技術(shù)。
[0007] 挺塗
[0008] 提供本概述以便以簡(jiǎn)化的形式介紹以下在詳細(xì)描述中進(jìn)一步描述的一些概念。本 概述并不旨在標(biāo)識(shí)所要求保護(hù)主題的關(guān)鍵特征或必要特征，也不旨在用于限制所要求保護(hù) 主題的范圍。
[0009] 描述了用于將編碼的標(biāo)記插入到編碼的音頻-視頻內(nèi)容中的技術(shù)和工具。例如，編 碼的視頻標(biāo)記可被插入到編碼的視頻流中而不增加該編碼的視頻流的總持續(xù)時(shí)間。此外， 原始視頻流可保持基本不改變，保留所有原始(或幾乎所有原始)視頻屬性。編碼的音頻標(biāo) 記可被插入到編碼的音頻流中（例如在對(duì)應(yīng)于插入的視頻標(biāo)記的同步位置處），而不增加該 編碼的音頻流的總持續(xù)時(shí)間。此外，原始音頻流可保持基本不改變，保留所有原始(或幾乎 所有原始)音頻屬性?？墒褂镁哂胁迦氲木幋a的音頻-視頻標(biāo)記的編碼的音頻-視頻內(nèi)容來(lái) 執(zhí)行音頻-視頻同步測(cè)試。
[0010] 例如，可提供一種用于將編碼的標(biāo)記插入到編碼的音頻-視頻內(nèi)容中的方法。該方 法包括接收包括編碼的視頻流和編碼的音頻流的編碼的音頻-視頻內(nèi)容，在視頻同步位置 處將編碼的視頻標(biāo)記插入到所述編碼的視頻流中，在對(duì)應(yīng)于所述視頻同步位置的音頻同步 位置處將編碼的音頻標(biāo)記插入到所述編碼的音頻流中，以及輸出具有插入的編碼的視頻標(biāo) 記的編碼的視頻流以及具有插入的編碼的音頻標(biāo)記的編碼的音頻流。所述編碼的視頻標(biāo)記 可被插入而不用解碼或編碼(或重新編碼)所述編碼的視頻流，并且所述編碼的音頻標(biāo)記可 被插入而不用解碼或編碼(或重新編碼)所述編碼的音頻流。
[0011] 作為另一示例，可提供一種用于將編碼的標(biāo)記插入到編碼的音頻-視頻內(nèi)容中的 方法。該方法包括接收包括編碼的視頻流和編碼的音頻流的編碼的音頻-視頻內(nèi)容，分析所 述編碼的視頻流以確定視頻編碼參數(shù)，至少部分地使用所確定的視頻編碼參數(shù)來(lái)編碼視頻 標(biāo)記，以創(chuàng)建與所述編碼的視頻流兼容的編碼的視頻標(biāo)記，在視頻同步位置處將所述編碼 的視頻標(biāo)記插入到所述編碼的視頻流中，分析所述編碼的音頻流以確定音頻編碼參數(shù)，至 少部分地使用所確定的音頻編碼參數(shù)來(lái)編碼音頻標(biāo)記，以創(chuàng)建與所述編碼的音頻流兼容的 編碼的音頻標(biāo)記，在對(duì)應(yīng)于所述視頻同步位置的音頻同步位置處將所述編碼的音頻標(biāo)記插 入到所述編碼的音頻流中，以及輸出具有插入的編碼的視頻標(biāo)記的編碼的視頻流以及具有 插入的編碼的音頻標(biāo)記的編碼的音頻流。所述編碼的視頻標(biāo)記可被插入而不用解碼或編碼 (或重新編碼)所述編碼的視頻流，且在所述編碼的視頻標(biāo)記被插入之后，所述編碼的視頻 流的總持續(xù)時(shí)間可保持不變。所述編碼的音頻標(biāo)記可被插入而不用解碼或編碼(或重新編 碼)所述編碼的音頻流，且在所述編碼的音頻標(biāo)記被插入之后，所述編碼的音頻流的總持續(xù) 時(shí)間可保持不變。
[0012] 作為另一示例，可提供一種用于測(cè)試編碼的音頻-視頻內(nèi)容的同步的方法。該方法 包括接收包括編碼的視頻流和編碼的音頻流的編碼的音頻-視頻內(nèi)容，所述編碼的視頻流 包括一個(gè)或多個(gè)視頻標(biāo)記，而所述編碼的音頻流包括一個(gè)或多個(gè)對(duì)應(yīng)的音頻標(biāo)記，發(fā)起所 述編碼的音頻-視頻內(nèi)容的回放，在所述編碼的音頻_視頻內(nèi)容的回放期間：捕捉解碼的視 頻內(nèi)容(例如，所捕捉到的視頻內(nèi)容是以降低的分辨率被捕捉的），以及捕捉解碼的音頻內(nèi) 容(例如，所捕捉到的音頻內(nèi)容是以減少數(shù)量的音頻聲道和/或降低的質(zhì)量被捕捉的），根據(jù) 所捕捉到的視頻內(nèi)容和所捕捉到的音頻內(nèi)容，匹配所述一個(gè)或多個(gè)視頻標(biāo)記和所述一個(gè)或 多個(gè)對(duì)應(yīng)的音頻標(biāo)記，以及基于所述匹配，輸出音頻-視頻同步信息。
[0013] 作為另一示例，可提供包括處理單元和存儲(chǔ)器的用于執(zhí)行本文所述的操作的計(jì)算 設(shè)備。例如，一計(jì)算設(shè)備可接收編碼的音頻-視頻內(nèi)容，插入編碼的音頻-視頻標(biāo)記，以及輸 出具有插入的標(biāo)記的編碼的音頻-視頻內(nèi)容(例如作為測(cè)試音頻-視頻內(nèi)容來(lái)輸出）。一計(jì)算 設(shè)備可通過(guò)接收具有插入的標(biāo)記的編碼的音頻-視頻內(nèi)容，在回放期間捕捉音頻-視頻內(nèi) 容，以及匹配音頻-視頻標(biāo)記以確定同步結(jié)果，來(lái)測(cè)試音頻-視頻同步。
[0014] 如本文所述的，各種其它特征和優(yōu)點(diǎn)可按照需要被結(jié)合到所述技術(shù)中。
[0015] 附圖簡(jiǎn)述
[0016] 圖1是描繪將編碼的音頻-視頻標(biāo)記插入到編碼的音頻-視頻流中的示例示圖。
[0017] 圖2是描繪將編碼的音頻-視頻標(biāo)記插入到編碼的音頻-視頻流中的示例示圖，包 括解復(fù)用和復(fù)用音頻內(nèi)容。
[0018] 圖3是用于將編碼的標(biāo)記插入到編碼的音頻-視頻內(nèi)容中的示例方法的流程圖。
[0019] 圖4是用于插入編碼的視頻標(biāo)記同時(shí)保持相同的總持續(xù)時(shí)間的示例方法的流程 圖。
[0020] 圖5是用于基于音頻-視頻編碼參數(shù)來(lái)創(chuàng)建編碼的音頻-視頻標(biāo)記的示例方法的流 程圖。
[0021 ]圖6是不例視頻流和視頻時(shí)間戮表的現(xiàn)有技術(shù)不圖。
[0022] 圖7是示出插入的編碼的視頻標(biāo)記幀的示例視頻流和視頻時(shí)間戳表的示圖。
[0023] 圖8是示出在同步位置具有插入的視頻和音頻標(biāo)記的示例視頻和音頻流的示圖。
[0024] 圖9是用于測(cè)試具有插入的編碼的音頻-視頻標(biāo)記的編碼的音頻-視頻內(nèi)容的同步 的示例方法的流程圖。
[0025] 圖10是其中可實(shí)現(xiàn)某些所描述的實(shí)施例的示例性計(jì)算系統(tǒng)的示圖。
[0026] 圖11是可以連同本文所述的技術(shù)被使用的示例性移動(dòng)設(shè)備。
[0027] 圖12是可以連同本文所述的技術(shù)被使用的示例性云支持環(huán)境。
[0028] 詳細(xì)描述
[0029] 示例1 一概覽
[0030] 如本文所述，各種技術(shù)和解決方案可被應(yīng)用于測(cè)試編碼的音頻流和編碼的視頻流 之間的同步。例如，編碼的視頻標(biāo)記可被插入到一個(gè)或多個(gè)編碼的視頻流中，而編碼的音頻 標(biāo)記可被插入到一個(gè)或多個(gè)編碼的音頻流中。編碼的視頻標(biāo)記和編碼的音頻標(biāo)記可被插入 在音頻和視頻流中的相應(yīng)位置處(如同步位置或同步點(diǎn)），諸如具有相應(yīng)時(shí)間戳的位置(如 具有相同或近似相同的時(shí)間戳）。
[0031] 存在許多用于測(cè)試音頻-視頻同步的現(xiàn)有解決方案，這些現(xiàn)有解決方案將可檢測(cè) 的內(nèi)容添加到未壓縮的音頻和視頻中，編碼音頻和視頻，然后檢測(cè)同步差錯(cuò)。然而，這樣的 現(xiàn)有解決方案受到許多限制。例如，要求對(duì)原始未壓縮的音頻和視頻的訪問(wèn)，或者編碼的音 頻和視頻可能需要被解碼并與插入的內(nèi)容一起被重新編碼(例如，這可能丟失編碼的音頻 和視頻的原始屬性中的一些或全部）。此外，這樣的現(xiàn)有解決方案可能不能隔離同步差錯(cuò)的 潛在原因（例如在編碼操作和回放操作之間）。
[0032] 在本文所述的技術(shù)和解決方案中，編碼的音頻-視頻標(biāo)記可被插入到現(xiàn)有的編碼 的音頻-視頻流中?？墒褂脦в芯幋a的標(biāo)記的編碼的音頻-視頻流來(lái)執(zhí)行同步分析和測(cè)試。 例如，可用各種軟件和/或硬件回放系統(tǒng)來(lái)執(zhí)行同步測(cè)試。以此方式，可針對(duì)同步問(wèn)題來(lái)測(cè) 試端到端回放流水線。
[0033] 在一些實(shí)現(xiàn)中，編碼的音頻和視頻標(biāo)記被插入到編碼的音頻和視頻流中，而不改 變編碼的音頻和視頻流的原始持續(xù)時(shí)間或長(zhǎng)度。例如，對(duì)于視頻流，編碼的視頻流中的現(xiàn)有 的視頻幀的持續(xù)時(shí)間可被減少，而標(biāo)記幀可被插入。對(duì)于音頻，可用標(biāo)記幀替換現(xiàn)有的音頻 幀。
[0034] 在一些實(shí)現(xiàn)中，編碼的音頻和視頻流被分析以確定編碼屬性。在編碼音頻和視頻 標(biāo)記以便插入到編碼的流中時(shí)編碼屬性可被使用，以保持編碼的流的兼容性和適當(dāng)回放。
[0035] 不例2-編碼的首頻_視頻內(nèi)容
[0036] 在本文所述的技術(shù)中，標(biāo)記可被插入到編碼的音頻-視頻內(nèi)容中以在回放期間測(cè) 試音頻-視頻同步。編碼的音頻-視頻內(nèi)容包括根據(jù)一個(gè)或多個(gè)視頻編解碼器(例如根據(jù)一 個(gè)或多個(gè)視頻編碼標(biāo)準(zhǔn))編碼的一個(gè)或多個(gè)視頻流，以及根據(jù)一個(gè)或多個(gè)音頻編解碼器(例 如根據(jù)一個(gè)或多個(gè)音頻編碼標(biāo)準(zhǔn)）編碼的一個(gè)或多個(gè)音頻流。例如，可根據(jù)MPEG-1/MPEG-2 編碼標(biāo)準(zhǔn)、SMPTE VC-I編碼標(biāo)準(zhǔn)、H. 264/AVC編碼標(biāo)準(zhǔn)、新興的H. 265/HEVC編碼標(biāo)準(zhǔn)、或根據(jù) 另一視頻編碼標(biāo)準(zhǔn)來(lái)編碼編碼的視頻流。可根據(jù)AAC編碼標(biāo)準(zhǔn)、1033、10^6 -1和10^6-2編碼標(biāo) 準(zhǔn)、或根據(jù)另一音頻編碼標(biāo)準(zhǔn)來(lái)編碼編碼的音頻流。
[0037] 可從各種各樣的源接收編碼的音頻-視頻內(nèi)容。例如，可從一文件(諸如從以數(shù)字 容器格式存儲(chǔ)編碼的音頻和視頻流的文件)獲得編碼的音頻-視頻內(nèi)容?？蓮木W(wǎng)絡(luò)流傳輸 源、從捕捉設(shè)備（如來(lái)自相機(jī)和話筒的隨后被編碼的視頻和音頻）、或從另一源接收編碼的 音頻-視頻內(nèi)容。
[0038] 可按數(shù)字容器格式接收編碼的音頻-視頻內(nèi)容。數(shù)字容器格式可將一個(gè)或多個(gè)編 碼的視頻流和一個(gè)或多個(gè)編碼的音頻流分組。數(shù)字容器格式還可包括元數(shù)據(jù)(如描述不同 的視頻和音頻流）。數(shù)字容器格式的示例包括MP4(由MPEG-4標(biāo)準(zhǔn)定義）、AVI (由微軟定義）、 MKV(開(kāi)放標(biāo)準(zhǔn)Matroska多媒體容器格式）、MPEG-2傳輸流/節(jié)目流、以及ASF(高級(jí)流傳輸文 件格式）。
[0039] 不例3-首頻-視頻標(biāo)記
[0040] 在本文所述的技術(shù)中，編碼的視頻標(biāo)記可被插入到編碼的視頻流中，而編碼的音 頻標(biāo)記可被插入到編碼的音頻流中。編碼的音頻和視頻標(biāo)記可被用于在編碼的流被回放時(shí) 測(cè)試音頻-視頻同步(例如使用各種各樣的回放軟件和/或硬件在各種各樣的計(jì)算設(shè)備上在 回放期間被測(cè)