視頻內(nèi)容可被保存至文件、經(jīng)網(wǎng)絡(luò)連接流傳輸、被提供用于回放(例如經(jīng)本地或遠(yuǎn)程音頻和 視頻組件）。
[0074] 示例6-用于插入編碼的標(biāo)記的方法
[0075]在本文的示例中的任何示例中，可提供用于將編碼的音頻和視頻標(biāo)記插入到編碼 的音頻和視頻流中的方法。標(biāo)記可被插入而不改變編碼的音頻和視頻流的總持續(xù)時間（長 度）。標(biāo)記可被插入而不必解碼或編碼(或重新編碼)編碼的音頻和視頻流。
[0076]圖3是用于將編碼的標(biāo)記插入到編碼的音頻-視頻內(nèi)容中的示例方法300的流程 圖。示例方法300可至少部分地由計算設(shè)備來執(zhí)行。
[0077] 在310，包括編碼的視頻流和編碼的音頻流的編碼的音頻-視頻內(nèi)容被接收。例如， 可從文件、從網(wǎng)絡(luò)連接(諸如作為流傳輸?shù)木幋a的音頻-視頻內(nèi)容）、或從另一源接收編碼的 音頻-視頻內(nèi)容。編碼的音頻-視頻內(nèi)容可被解復(fù)用以將編碼的音頻流與編碼的視頻流分 開。替代地，編碼的音頻_視頻內(nèi)容可作為分開的編碼的流被接收。
[0078] 在320，編碼的視頻標(biāo)記被插入到編碼的視頻流中。編碼的視頻標(biāo)記可被插入在視 頻同步位置處(例如在位于特定視頻時間戳的現(xiàn)有的視頻關(guān)鍵幀處）。編碼的視頻標(biāo)記可被 插入而不用解碼或編碼編碼的視頻流。編碼的視頻標(biāo)記可被插入而不影響編碼的視頻流的 總持續(xù)時間（例如在插入之前和之后保持編碼的視頻流的相同的持續(xù)時間或長度）。
[0079]在330,編碼的音頻標(biāo)記被插入到編碼的音頻流中。編碼的音頻標(biāo)記可被插入在對 應(yīng)于視頻同步位置(例如在相同的時間戳位置處，或與該時間戳位置最接近的音頻幀）的音 頻同步位置處(例如在位于特定音頻時間戳的現(xiàn)有的音頻幀或一組音頻幀處）。編碼的音頻 標(biāo)記可被插入而不用解碼或編碼編碼的音頻流。編碼的音頻標(biāo)記可被插入而不影響編碼的 音頻流的總持續(xù)時間（例如在插入之前和之后保持編碼的音頻流的相同的持續(xù)時間）。
[0080] 在340，具有插入的標(biāo)記的編碼的視頻流和編碼的音頻流被輸出。例如，編碼的流 可被輸出至文件(例如采用某種數(shù)字容器格式）、至網(wǎng)絡(luò)連接、用于在音頻-視頻組件(如顯 示器和揚(yáng)聲器)上回放等。
[0081] 示例方法300可被用于將編碼的視頻標(biāo)記和編碼的音頻標(biāo)記插入到多個編碼的音 頻流和/或多個編碼的視頻流中。此外，示例方法300可被用于在多個同步位置(如以周期性 方式，諸如在編碼的音頻和視頻流內(nèi)每隔10秒或每隔一分鐘）處插入對應(yīng)的編碼的視頻和 音頻標(biāo)記。
[0082] 圖4是用于插入編碼的視頻標(biāo)記同時保持相同的總持續(xù)時間的示例方法400的流 程圖。示例方法400可至少部分地由計算設(shè)備來執(zhí)行。
[0083] 在410，在編碼的視頻流中選擇關(guān)鍵視頻幀（如I幀或幀內(nèi)編碼幀）。該關(guān)鍵幀可基 于各種準(zhǔn)則來被選擇。例如，可基于標(biāo)記要被插入的頻率(例如每隔10秒、每隔5分鐘等)來 選擇該關(guān)鍵幀。該關(guān)鍵幀還可基于編碼的視頻流和相關(guān)聯(lián)的編碼的首頻流之間的時序?目息 的比較來被選擇。例如，具有與編碼的音頻流中的一音頻幀的時間戳相對應(yīng)的時間戳的關(guān) 鍵視頻幀可被選擇(例如在該處該關(guān)鍵視頻幀和該音頻幀具有相同時間戳、或幾乎相同的 時間戳，諸如在彼此的幾毫秒內(nèi)）。
[0084]在420，該關(guān)鍵視頻幀的持續(xù)時間被減少，導(dǎo)致一未使用持續(xù)時間。例如，對于 30FPS(每秒幀數(shù))視頻內(nèi)容，每個幀被顯示1/30秒(大約33毫秒）。如果在410處選擇的該關(guān) 鍵視頻幀在30FPS視頻內(nèi)容內(nèi)被編碼，則該關(guān)鍵視頻幀的持續(xù)時間可被減半至1/60秒(大約 16毫秒）。在減少之后，將存在先前由該關(guān)鍵視頻幀使用的未使用持續(xù)時間。在該示例中，該 未使用持續(xù)時間將為1/60秒(大約16毫秒）。
[0085]在一些實(shí)現(xiàn)中，現(xiàn)有關(guān)鍵視頻幀的持續(xù)時間在420處被減半(例如從1/30秒減少到 1/60秒）。替代地，該現(xiàn)有的關(guān)鍵視頻幀的持續(xù)時間可被減少多于或少于一半。
[0086] 在430,使用該未使用持續(xù)時間將編碼的視頻標(biāo)記幀插入到編碼的視頻流中。例 如，如果該關(guān)鍵視頻幀從1/30秒的持續(xù)時間減少到1/60的持續(xù)時間，則被插入的編碼的視 頻標(biāo)記幀可使用未使用的1 /60秒。
[0087] 在一些實(shí)現(xiàn)中，至少部分地通過更新與編碼的視頻流相關(guān)聯(lián)的元數(shù)據(jù)(諸如指示 出時序信息的元數(shù)據(jù)表(例如時間戳表或索引表））來執(zhí)行示例方法400。這樣的元數(shù)據(jù)可指 定視頻畫面(如視頻幀和/或視頻半幀）的時序。通過修改元數(shù)據(jù)，現(xiàn)有的關(guān)鍵視頻幀持續(xù)時 間可被設(shè)置為減少的持續(xù)時間（例如在420處），而插入的編碼的視頻標(biāo)記可被設(shè)置為使用 未使用持續(xù)時間（如在430處）。
[0088] 在一些實(shí)現(xiàn)中，確定在420處現(xiàn)有的關(guān)鍵視頻幀的持續(xù)時間的減少以及從而導(dǎo)致 的未使用持續(xù)時間，使得在編碼的流被回放時插入的編碼的標(biāo)記幀將被顯示。例如，如果顯 示器(如內(nèi)置移動設(shè)備顯示器、外置計算機(jī)顯示器、或另一類型的顯示器）以60Hz顯示視頻 內(nèi)容，則視頻幀可能需要至少1/60秒的持續(xù)時間以便被顯示。在該情形中，該現(xiàn)有的關(guān)鍵視 頻幀在持續(xù)時間上可被減少以將至少1/60秒留作未使用持續(xù)時間以用于插入的編碼的視 頻幀。取決于將回放編碼的流的顯示器的顯示速率(如30H Z、60Hz、120Hz等），插入的編碼的 視頻幀的持續(xù)時間可能需要被調(diào)整，且在某些情形中（例如顯示速率小于視頻幀率的情況 下），多個編碼的視頻幀可能需要被插入以便確保標(biāo)記被顯示。
[0089]圖5是用于基于音頻-視頻編碼參數(shù)來創(chuàng)建編碼的音頻-視頻標(biāo)記的示例方法500 的流程圖。示例方法500可至少部分地由計算設(shè)備來執(zhí)行。
[0090] 在510，包括編碼的視頻流和編碼的音頻流的編碼的音頻-視頻內(nèi)容被接收。例如， 可從文件、從網(wǎng)絡(luò)連接(諸如作為流傳輸?shù)木幋a的音頻-視頻內(nèi)容）、或從另一源接收編碼的 音頻-視頻內(nèi)容。編碼的音頻-視頻內(nèi)容可被解復(fù)用以將編碼的音頻流與編碼的視頻流分 開。替代地，編碼的音頻_視頻內(nèi)容可作為分開的編碼的流被接收。
[0091] 在520,伴隨著編碼的音頻-視頻內(nèi)容510接收到的編碼的視頻流被分析以確定視 頻編碼參數(shù)。視頻編碼參數(shù)指示出視頻流是如何被編碼的（如所使用的編解碼器和相關(guān)聯(lián) 的視頻編碼標(biāo)準(zhǔn)、分辨率、幀率、和/或其他因編解碼器而異的編碼參數(shù)和選項(xiàng)）。
[0092]在530,至少部分地基于所確定的視頻編碼參數(shù)520來編碼視頻標(biāo)記（例如包括一 個或多個視頻幀和/或半幀）以創(chuàng)建編碼的視頻標(biāo)記。例如，所確定的視頻編碼參數(shù)520中的 全部或大部分可被用于創(chuàng)建編碼的視頻標(biāo)記。使用所確定的視頻編碼參數(shù)520,可用與編碼 的視頻流兼容的方式來編碼視頻標(biāo)記(例如將在編碼的視頻流被回放時適當(dāng)?shù)仫@示）。
[0093] 在540，在530處創(chuàng)建的編碼的視頻標(biāo)記被插入到編碼的視頻流中。編碼的視頻標(biāo) 記可被插入在視頻同步位置(例如特定視頻時間戳)處。編碼的視頻標(biāo)記可被插入而不用解 碼或編碼編碼的視頻流。編碼的視頻標(biāo)記可被插入而不影響編碼的視頻流的總持續(xù)時間 (例如在插入之前和之后保持編碼的視頻流的相同的持續(xù)時間）。
[0094] 在550，伴隨著編碼的音頻-視頻內(nèi)容510接收到的編碼的音頻流被分析以確定音 頻編碼參數(shù)。音頻編碼參數(shù)指示出音頻流是如何被編碼的（如所使用的編解碼器和相關(guān)聯(lián) 的音頻編碼標(biāo)準(zhǔn)、比特率、采樣率、聲道信息、和/或其他因編解碼器而異的編碼參數(shù)和選 項(xiàng)）。
[0095]在560,至少部分地基于所確定的音頻編碼參數(shù)550來編碼音頻標(biāo)記（例如包括一 個或多個音頻幀）以創(chuàng)建編碼的音頻標(biāo)記。例如，所確定的音頻編碼參數(shù)550中的全部或大 部分可被用于創(chuàng)建編碼的音頻標(biāo)記。使用所確定的音頻編碼參數(shù)550,可用與編碼的音頻流 兼容的方式來編碼音頻標(biāo)記(例如將在編碼的音頻流被回放時適當(dāng)?shù)夭シ牛?br>[0096] 在570，在560處創(chuàng)建的編碼的音頻標(biāo)記被插入到編碼的音頻流中。編碼的音頻標(biāo) 記可被插入在對應(yīng)于視頻同步位置的音頻同步位置處(例如特定音頻時間戳）（例如在編碼 的視頻流和編碼的音頻流兩者中的相同的或幾乎相同的時間戳位置）。編碼的音頻標(biāo)記可 被插入而不用解碼或編碼編碼的首頻流。編碼的首頻標(biāo)記可被插入而不影響編碼的首頻流 的總持續(xù)時間（例如在插入之前和之后保持編碼的音頻流的相同的持續(xù)時間）。
[0097] 在580，具有插入的標(biāo)記的編碼的視頻流和編碼的音頻流被輸出。例如，編碼的流 可被輸出至文件(例如采用某種數(shù)字容器格式）、至網(wǎng)絡(luò)連接、用于在音頻-視頻組件(如顯 示器和揚(yáng)聲器)上回放等。
[0098] 示例7-用于插入編碼的標(biāo)記的示例實(shí)現(xiàn)
[0099]圖6描繪了示例視頻流610和對應(yīng)的視頻時間戳表620的現(xiàn)有技術(shù)示圖。示例視頻 流610以30FPS被編碼。因此，每一幀具有1 /30秒(大約33毫秒）的持續(xù)時間。
[0100] 視頻流610描繪出多個視頻幀。具體來說，描繪了 8個視頻幀。例如，幀1可以是關(guān)鍵 幀(如I幀），幀2-7可以是從幀1預(yù)測的預(yù)測幀(如P幀），而幀8可以是另一關(guān)鍵幀。
[0101] 視頻時間戳表620指示出每個幀被顯示的時間，這也指示出每個幀顯示的持續(xù)時 間。如視頻時間戳表620中所描繪的，幀1在0毫秒(ms)處被顯示，幀2在33ms處被顯示，幀3在 66ms處被現(xiàn)實(shí)，以此類推。視頻流610中所描繪的每一幀被顯示大約33ms的持續(xù)時間。
[0102] 圖7是描繪出示出插入的編碼的視頻標(biāo)記幀的示例編碼的視頻流710和對應(yīng)的視 頻時間戳表的示圖。圖7例示出一示例實(shí)現(xiàn)，其中標(biāo)記視頻幀被插入到編碼的視頻流710中 而不改變總持續(xù)時間。
[0103] 710處描繪的編碼的視頻流包括8個視頻幀。為了將編碼的視頻標(biāo)記插入到編碼的 視頻流710中，同時保持編碼的視頻流710的相同的總持續(xù)時間，幀1(730)的持續(xù)時間已被 減少。具體來說，在該示例中，幀1 (730)的持續(xù)時間已被減半，從1/30秒減至1/60秒(從大約 33ms減至大約16ms)。持續(xù)時間的減少在圖7中被圖形地描繪為幀1 (730)現(xiàn)在占據(jù)原始的第 一幀持續(xù)時間的右邊部分(虛線右邊）。
[0104] 使用未使用的持續(xù)時間，編碼的視頻標(biāo)記幀720被插入到編碼的視頻流710中。在 該示例中，編碼的視頻標(biāo)記幀720的持續(xù)時間是使用由于現(xiàn)有的幀1 (730)的持續(xù)時間的減 少而剩下未使用的剩余1 /60秒而被插入的。插入的編碼的視頻標(biāo)記幀720在圖7中被圖形地 描繪為占據(jù)原始的第一幀持續(xù)時間的左邊部分(虛線左邊）。
[0105] 在一些實(shí)現(xiàn)中，插入編碼的視頻標(biāo)記涉及修改時間戳表(