用于編碼和流處理通過(guò)使用多個(gè)最大比特率級(jí)別編碼的視頻的系統(tǒng)和方法
【專(zhuān)利摘要】根據(jù)本發(fā)明的實(shí)施例公開(kāi)了用于流處理并回放具有各種分辨率、幀速率和/或采樣橫縱比的視頻的系統(tǒng)和方法，其中，視頻流以多個(gè)最大比特率級(jí)別中的一個(gè)被編碼。一個(gè)實(shí)施例包括處理器和存儲(chǔ)設(shè)備，存儲(chǔ)設(shè)備包含使分辨率和幀速率的組合與最大比特率相關(guān)的數(shù)據(jù)，其中，與相同最大比特率相關(guān)的多個(gè)分辨率和幀速率形成一最大比特率級(jí)別。另外，編碼應(yīng)用配置處理器以將視頻流編碼為具有不同的分辨率和幀速率的多個(gè)視頻流，其中，基于在使分辨率和幀速率的組合與最大比特率相關(guān)的數(shù)據(jù)內(nèi)指示的分辨率和幀速率組合的最大比特率級(jí)別，在編碼期間使用的目標(biāo)最大比特率被選擇。
【專(zhuān)利說(shuō)明】用于編碼和流處理通過(guò)使用多個(gè)最大比特率級(jí)別編碼的視頻的系統(tǒng)和方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及呈現(xiàn)多媒體內(nèi)容，特別是流處理(stream)按針對(duì)接收流的回放裝置的各種縮放的顯示分辨率和網(wǎng)絡(luò)連接最大數(shù)據(jù)速率優(yōu)化的各種推薦最大比特率而編碼的視頻內(nèi)容。
【背景技術(shù)】
[0002]術(shù)語(yǔ)流處理媒體描述了在回放裝置上回放媒體，其中媒體被存儲(chǔ)在服務(wù)器上并在回放期間通過(guò)網(wǎng)絡(luò)被連續(xù)發(fā)送至回放裝置。通常，回放裝置在回放期間的任何給定時(shí)間在緩沖器中存儲(chǔ)足夠量的媒體，從而防止由于回放裝置在接收到下一部分的媒體之前完成所有緩存的媒體的回放而導(dǎo)致的回放中斷。自適應(yīng)比特率流處理或自適應(yīng)流處理涉及實(shí)時(shí)檢測(cè)當(dāng)前流處理狀態(tài)(例如用戶(hù)的網(wǎng)絡(luò)帶寬和CPU能力)，并相應(yīng)地調(diào)節(jié)流媒體的質(zhì)量。
[0003]在自適應(yīng)流處理系統(tǒng)中，源媒體通常在媒體服務(wù)器上被存儲(chǔ)為指向包含實(shí)際視頻和音頻數(shù)據(jù)的多個(gè)備選流的頂層索引文件。每個(gè)流通常被存儲(chǔ)在一個(gè)或多個(gè)容器文件中。不同的自適應(yīng)流處理分辨率通常使用不同的索引和媒體容器。Matroska容器是由法國(guó)奧松丨內(nèi)(Aussonne)的非盈利組織Matroska作為開(kāi)放的標(biāo)準(zhǔn)項(xiàng)目而開(kāi)發(fā)的媒體容器。Matroska容器基于可擴(kuò)展二進(jìn)制元語(yǔ)言(EBML)，其是可擴(kuò)展標(biāo)記語(yǔ)言(XML)的二進(jìn)制衍生物。Matroska容器的解碼被許多消費(fèi)電子(CE)裝置支持。由加州圣地亞哥的DivX公司開(kāi)發(fā)的DivX Plus文件格式使用了 Matroska容器格式的擴(kuò)展,包括沒(méi)有在Matroska格式中規(guī)定的元素。

【發(fā)明內(nèi)容】

[0004]根據(jù)本發(fā)明的實(shí)施例的系統(tǒng)和方法流處理并回放具有各種分辨率、幀速率和/或采樣縱橫比的視頻，其中，視頻流以有限數(shù)量的最大比特率級(jí)別中的一個(gè)被編碼。一個(gè)實(shí)施例包括處理器和存儲(chǔ)設(shè)備，存儲(chǔ)設(shè)備包含編碼應(yīng)用和使分辨率和幀速率的組合與最大比特率相關(guān)的數(shù)據(jù)，其中，與相同最大比特率相關(guān)的多個(gè)分辨率和幀速率形成一最大比特率級(jí)另O。另外，編碼應(yīng)用配置處理器以將視頻流編碼為具有不同的分辨率和幀速率的多個(gè)視頻流，其中，基于在使分辨率和幀速率的組合與最大比特率相關(guān)的數(shù)據(jù)內(nèi)指示的分辨率和幀速率組合的最大比特率級(jí)別，在編碼視頻流期間使用的目標(biāo)最大比特率被選擇。
[0005]在進(jìn)一步的實(shí)施例中，一最大比特率級(jí)別內(nèi)的分辨率和幀速率具有處于最大比特率級(jí)別內(nèi)的一分辨率和幀速率組合的最高最佳目標(biāo)最大比特率的預(yù)定百分比內(nèi)的最佳目標(biāo)最大比特率。
[0006]在另一個(gè)實(shí)施例中，分辨率和幀速率組合的最佳目標(biāo)最大比特率通過(guò)使用公式被確定。
[0007]在另一個(gè)實(shí)施例中，分辨率和幀速率組合的最佳目標(biāo)最大比特率通過(guò)使用實(shí)驗(yàn)被確定。[0008]在另一個(gè)實(shí)施例中，一最大比特率級(jí)別內(nèi)的分辨率和幀速率具有處于該最大比特率級(jí)別內(nèi)的至少一個(gè)其它的分辨率和幀速率組合的最佳目標(biāo)最大比特率的預(yù)定百分比內(nèi)的最佳目標(biāo)最大比特率。
[0009]在又一個(gè)實(shí)施例中，使分辨率和幀速率的組合與最大比特率級(jí)別相關(guān)的數(shù)據(jù)以圖5所示的方式使分辨率和幀速率與最大比特率相關(guān)。
[0010]另一個(gè)實(shí)施例包括多個(gè)回放裝置，其中，這些回放裝置具有不同的顯示縱橫比并利用不同類(lèi)型的網(wǎng)絡(luò)連接；還包括其上存儲(chǔ)有多個(gè)視頻流的多個(gè)服務(wù)器的流處理系統(tǒng)，其中，該多個(gè)視頻流以不同的分辨率和幀速率被編碼。另外，存儲(chǔ)在流處理系統(tǒng)上的視頻流通過(guò)使用多個(gè)最大比特率級(jí)別中的一個(gè)被編碼，其中，具有不同的分辨率和幀速率的視頻流以相同最大比特率級(jí)別被編碼，回放裝置被配置為支持回放以與多個(gè)最大比特率級(jí)別對(duì)應(yīng)的最大比特率編碼的視頻數(shù)據(jù)，回放裝置被配置為從來(lái)自流處理系統(tǒng)的至少一個(gè)視頻流請(qǐng)求以由回放裝置支持的一最大比特率級(jí)別編碼的視頻數(shù)據(jù)，并且，回放裝置被配置為回放從流處理系統(tǒng)接收的、以所支持的最大比特率級(jí)別編碼的視頻數(shù)據(jù)。
[0011]進(jìn)一步的實(shí)施例同樣也包括源編碼器，其包括包含使分辨率和幀速率的組合與最大比特率級(jí)別相關(guān)的數(shù)據(jù)的存儲(chǔ)設(shè)備。另外，源編碼器被配置為將視頻流編碼為具有不同的分辨率和幀速率的多個(gè)視頻流，其中，基于在使分辨率和幀速率的組合與最大比特率級(jí)別相關(guān)的數(shù)據(jù)內(nèi)指示的分辨率和幀速率組合的最大比特率級(jí)別，在編碼視頻流期間使用的目標(biāo)最大比特率被選擇。
[0012]在另一個(gè)實(shí)施例中，使分辨率和幀速率的組合與最大比特率級(jí)別相關(guān)的數(shù)據(jù)以圖5所示的方式使分辨率和幀速率與最大比特率級(jí)別相關(guān)。
[0013]另外的實(shí)施例包括包含處理器指令的機(jī)器可讀介質(zhì)，其中，由處理器執(zhí)行指令導(dǎo)致處理器執(zhí)行用于確定用于編碼在流處理系統(tǒng)中使用的視頻數(shù)據(jù)的一組最大比特率級(jí)別的處理，該流處理系統(tǒng)包括具有不同的顯示縱橫比和網(wǎng)絡(luò)連接的回放裝置。另外，該處理包括:選擇一組的分辨率和幀速率組合；確定用于以每個(gè)分辨率和幀速率組合編碼視頻數(shù)據(jù)流的最佳目標(biāo)最大比特率；利用至少一個(gè)分組準(zhǔn)則，基于分辨率和幀速率組合的最佳目標(biāo)最大比特率，將分辨率和幀速率組合分組到多個(gè)最大比特率級(jí)別；和確定用于一最大比特率級(jí)別中的分辨率和幀速率組合的目標(biāo)最大比特率。
[0014]在另一個(gè)實(shí)施例中，分辨率和幀速率組合的最佳目標(biāo)最大比特率通過(guò)使用公式被確定。
[0015]在另一個(gè)實(shí)施例中，分辨率和幀速率組合的最佳目標(biāo)最大比特率通過(guò)使用實(shí)驗(yàn)被確定。
[0016]在另一個(gè)實(shí)施例中，該至少一個(gè)分組準(zhǔn)則將具有下述最佳目標(biāo)最大比特率的分辨率和幀速率分組到一最大比特率級(jí)別內(nèi)，其中，該最佳目標(biāo)最大比特率處于該最大比特率級(jí)別內(nèi)的一分辨率和幀速率組合的最高最佳目標(biāo)最大比特率的預(yù)定百分比內(nèi)。
[0017]在另一個(gè)實(shí)施例中，該至少一個(gè)分組準(zhǔn)則將具有下述最佳目標(biāo)最大比特率的分辨率和幀速率分組到一最大比特率級(jí)別內(nèi)，其中，該最佳目標(biāo)最大比特率處于該最大比特率級(jí)別內(nèi)的至少一個(gè)其它的分辨率和幀速率組合的最佳目標(biāo)最大比特率的預(yù)定百分比內(nèi)。
[0018]在另一個(gè)實(shí)施例中，確定用于一最大比特率級(jí)別中的分辨率和幀速率組合的目標(biāo)最大比特率包括選擇該最大比特率級(jí)別內(nèi)的分辨率和幀速率組合的最大最佳目標(biāo)比特率。[0019]在另一個(gè)實(shí)施例中，確定用于一最大比特率級(jí)別中的分辨率和幀速率組合的目標(biāo)最大比特率包括選擇該最大比特率級(jí)別內(nèi)的分辨率和幀速率組合的最小最佳目標(biāo)比特率。
[0020]在另一個(gè)實(shí)施例中，確定用于一最大比特率級(jí)別中的分辨率和幀速率組合的目標(biāo)最大比特率包括選擇該最大比特率級(jí)別內(nèi)的分辨率和幀速率組合的平均最佳目標(biāo)比特率。
[0021]進(jìn)一步的實(shí)施例還包括通過(guò)使用預(yù)定的取整函數(shù)對(duì)該平均最佳目標(biāo)比特率取整。
[0022]在又一個(gè)實(shí)施例中，確定用于一最大比特率級(jí)別中的分辨率和幀速率組合的目標(biāo)最大比特率包括基于該最大比特率級(jí)別內(nèi)的分辨率和幀速率組合中的至少一個(gè)的最佳目標(biāo)數(shù)據(jù)速率而選擇多個(gè)已知網(wǎng)絡(luò)數(shù)據(jù)速率中的一個(gè)。
【專(zhuān)利附圖】

【附圖說(shuō)明】
[0023]圖1是根據(jù)本發(fā)明的實(shí)施例的級(jí)別比特率自適應(yīng)流處理系統(tǒng)的網(wǎng)絡(luò)示意圖。
[0024]圖2在概念上示出了根據(jù)本發(fā)明的實(shí)施例的被配置為呈現(xiàn)通過(guò)利用目標(biāo)最大比特率級(jí)別編碼的視頻數(shù)據(jù)的回放裝置。
[0025]圖3是示出了根據(jù)本發(fā)明的實(shí)施例的用于在給定視頻數(shù)據(jù)的情況下確定一組比特率的處理的流程圖。
[0026]圖4是示出了根據(jù)本發(fā)明的實(shí)施例的用于確定一組編碼最大比特率級(jí)別的處理的流程圖。
[0027]圖5是示出了根據(jù)本發(fā)明的實(shí)施例的具有與最大配置比特率匹配的編碼比特率的一組分辨率的例子的表。
[0028]圖6是示出了根據(jù)本發(fā)明的實(shí)施例的用于不同縱橫比的多組分辨率的例子的表，其中，每個(gè)組中的分辨率被編碼使得每個(gè)縱橫比以落入最大比特率級(jí)別中的每個(gè)內(nèi)的分辨率被編碼。
【具體實(shí)施方式】
[0029]現(xiàn)在轉(zhuǎn)到附圖，示出了根據(jù)本發(fā)明的實(shí)施例的用于流處理和回放具有各種分辨率、幀速率和/或采樣縱橫比的視頻的系統(tǒng)和方法，其中，視頻流以有限數(shù)量的最大比特率級(jí)別中的一個(gè)被編碼。視頻數(shù)據(jù)通常被編碼以實(shí)現(xiàn)目標(biāo)最大比特率。超出特定的最大比特率閾值后，以特定的分辨率和幀速率編碼的視頻的質(zhì)量通常不明顯改善。在超出該閾值時(shí)，增加經(jīng)編碼的視頻的分辨率可提高視頻質(zhì)量。可以使用公式推薦按照其來(lái)有效地以特定的分辨率和幀速率編碼視頻內(nèi)容并具有在所選擇的分辨率下可實(shí)現(xiàn)的最高視頻質(zhì)量的最佳目標(biāo)最大比特率。作為替代方案，可通過(guò)測(cè)試確定在其位置處視頻質(zhì)量不明顯改善的比特率閾值。雖然確定按照其來(lái)編碼特定的視頻內(nèi)容段以有效地在特定的分辨率和幀速率下實(shí)現(xiàn)最聞質(zhì)量視頻的最佳最大比特率可能是有益的，但可通過(guò)規(guī)定視頻可按照其被編碼的有限數(shù)量的最大比特率而不管用于特定的幀速率和分辨率組合的最佳目標(biāo)最大比特率，來(lái)簡(jiǎn)化若干視頻內(nèi)容流到各種各樣的回放裝置的呈現(xiàn)。通常通過(guò)測(cè)試來(lái)確認(rèn)特定類(lèi)型的回放裝置回放以特定的最大比特率編碼的視頻的能力。因此，流處理系統(tǒng)所支持的最大比特率級(jí)另IJ的數(shù)量越少，則測(cè)試每個(gè)回放裝置以確認(rèn)其回放以所支持的目標(biāo)最大比特率編碼的視頻的能力的處理越簡(jiǎn)單。因此，流處理系統(tǒng)可利用一組最大比特率級(jí)別以簡(jiǎn)化驗(yàn)證在流處理系統(tǒng)內(nèi)使用的回放裝置的處理。當(dāng)視頻以若干不同的分辨率和幀速率被編碼以用于經(jīng)由流處理系統(tǒng)分發(fā)時(shí)，適于特定的分辨率和幀速率組合中的每個(gè)的最大比特率級(jí)別可被選擇并被用作編碼視頻數(shù)據(jù)流時(shí)的目標(biāo)最大比特率。
[0030]在幾個(gè)實(shí)施例中，選擇在編碼視頻以用于經(jīng)由流處理系統(tǒng)分發(fā)時(shí)使用的一組最大比特率級(jí)別的處理涉及確定用于視頻內(nèi)容的最流行的縱橫比和幀速率并接著確定視頻內(nèi)容將按照其被編碼的所有的流處理分辨率和幀速率。當(dāng)最可能的分辨率和幀速率組合被識(shí)別時(shí)，可通過(guò)使用適當(dāng)?shù)谋忍芈使交驕y(cè)試來(lái)確定用于每個(gè)分辨率和幀速率組合的最佳目標(biāo)最大比特率?？捎糜诖_定按照其來(lái)以規(guī)定的分辨率和幀速率編碼視頻的最佳目標(biāo)最大比特率的比特率公式在于2012年3月28日提交的Soroushian等人的發(fā)明名稱(chēng)為“Systemsand Methods for Encoding Alternative Streams of Video for Playback on PlaybackDevices having Predetermined Display Aspect Ratios and Network ConnectionMaximum Data Rates”的美國(guó)專(zhuān)利申請(qǐng)系列號(hào)13/432,521 (其全部公開(kāi)內(nèi)容通過(guò)引用并入于此)中被討論。最佳目標(biāo)最大比特率可接著被分組為級(jí)別，并且可針對(duì)每個(gè)級(jí)別確定最大比特率。
[0031 ] 在幾個(gè)實(shí)施例中，分辨率和幀速率組合可基于其對(duì)應(yīng)的最佳目標(biāo)最大比特率而被分組為級(jí)別，使得一組內(nèi)的所有最佳目標(biāo)最大比特率都處于該組內(nèi)的最高最佳目標(biāo)最大比特率的預(yù)定百分比內(nèi)。在許多實(shí)施例中，分辨率和幀速率組合可基于其對(duì)應(yīng)的最佳目標(biāo)最大比特率而被分組為級(jí)別，使得組內(nèi)的每個(gè)最佳目標(biāo)最大比特率處于該組內(nèi)的下一最高的最佳目標(biāo)最大比特率的預(yù)定百分比內(nèi)。在其它的實(shí)施例中，根據(jù)本發(fā)明的實(shí)施例，可利用各種分組準(zhǔn)則中的任何一種，包括將分辨率和幀速率組合基于其最佳目標(biāo)最大比特率分組為預(yù)定數(shù)量的組的準(zhǔn)則。
[0032]分配給在一級(jí)別處的分辨率和幀速率組合的最大比特率可通過(guò)任意數(shù)量的不同方式被確定，包括(但不限于)包含于該組中的最佳目標(biāo)最大比特率的平均比特率、包含于該級(jí)別中的最佳目標(biāo)最大比特率的最小比特率、和/或接近于該級(jí)別中的目標(biāo)最大比特率中的一個(gè)或多個(gè)的典型網(wǎng)絡(luò)連接數(shù)據(jù)速率。針對(duì)每個(gè)級(jí)別所確定的最大比特率可接著被用于以該級(jí)別內(nèi)的分辨率和幀速率組合來(lái)編碼內(nèi)容。在幾個(gè)實(shí)施例中，確定最大比特率級(jí)別的處理在第一處理中被執(zhí)行，并且該最大比特率級(jí)別和落入每個(gè)級(jí)別內(nèi)的分辨率和幀速率組合可被提供給源編碼系統(tǒng)以在編碼視頻內(nèi)容時(shí)使用。
[0033]在許多實(shí)施例中，流處理系統(tǒng)是自適應(yīng)的比特率流處理系統(tǒng)。自適應(yīng)比特率流處理系統(tǒng)可流處理以最大比特率編碼的視頻數(shù)據(jù)的備選流。為了獨(dú)立于網(wǎng)絡(luò)數(shù)據(jù)速率而提供最高質(zhì)量的視頻體驗(yàn)，自適應(yīng)比特率流處理系統(tǒng)根據(jù)包含但不限于可用網(wǎng)絡(luò)數(shù)據(jù)速率和視頻解碼器性能的各種因素而在視頻數(shù)據(jù)的整個(gè)呈現(xiàn)過(guò)程中在可用的視頻數(shù)據(jù)流之間切換。用于在回放期間在視頻流之間切換的系統(tǒng)和方法在于2011年8月30日提交的Braness等人的發(fā)明名稱(chēng)為 “Systems and Methods for Adaptive Bitrate Streaming of MediaStored in Matroska Container Files Using Hypertext Transfer Protocol，，的美國(guó)專(zhuān)利申請(qǐng)系列號(hào)13/221，682中公開(kāi)，其全部公開(kāi)內(nèi)容通過(guò)引用并入于此。在自適應(yīng)比特率流處理系統(tǒng)中，多個(gè)備選流可能被編碼而具有相同的縱橫比和不同的分辨率。用于選擇按照其來(lái)編碼用于在自適應(yīng)比特率流處理系統(tǒng)中使用的備選視頻流的分辨率的系統(tǒng)和方法在于2012年3月26日提交的Soroushian等人的發(fā)明名稱(chēng)為“Selection of Resolutionsfor Seamless Resolution Switching of Multimedia Content” 的美國(guó)專(zhuān)利申請(qǐng)系列號(hào)13/430, 032 (其全部公開(kāi)內(nèi)容通過(guò)引用并入于此)中被描述。雖然以下的大多數(shù)的討論參照了自適應(yīng)比特率流處理系統(tǒng)，但根據(jù)本發(fā)明的實(shí)施例的系統(tǒng)和方法可被用于非自適應(yīng)的流處理系統(tǒng)中。以下進(jìn)一步討論根據(jù)本發(fā)明的實(shí)施例的用于通過(guò)使用較小的一組最大比特率級(jí)別以多個(gè)分辨率和幀速率流處理視頻的系統(tǒng)和方法。
[0034]系統(tǒng)概要
[0035]在圖1中示出了根據(jù)本發(fā)明的實(shí)施例的流處理系統(tǒng)。流處理系統(tǒng)100包括被配置為將源視頻編碼為若干備選視頻流的源編碼器106。備選流是以不同的方式編碼相同媒體內(nèi)容的流。在許多情況下，備選流按不同的分辨率和采樣縱橫比組合以及不同的最大比特率來(lái)編碼媒體內(nèi)容(諸如但不限于視頻)。在若干實(shí)施例中，備選視頻流形成多組以與一組回放裝置的顯示縱橫比對(duì)應(yīng)的相同縱橫比編碼的備選視頻流。在許多實(shí)施例中，源編碼器具有將分辨率和幀速率組合索引到預(yù)定的一組最大比特率級(jí)別的查找表。源編碼器使用該查找表以確定按照其來(lái)以特定分辨率和幀速率組合編碼視頻的目標(biāo)最大比特率。
[0036]在許多實(shí)施例中，流處理系統(tǒng)是自適應(yīng)比特率流處理系統(tǒng)，源編碼器將每個(gè)備選流編碼到單獨(dú)的容器文件中并產(chǎn)生描述包含于容器文件內(nèi)的流中的每個(gè)流的頂級(jí)索引文件。頂級(jí)索引文件和容器文件被上載到HTTP服務(wù)器104。在其它實(shí)施例中，容器文件被上載到HTTP服務(wù)器104，頂級(jí)索引文件響應(yīng)于回放裝置對(duì)特定內(nèi)容段的請(qǐng)求而動(dòng)態(tài)產(chǎn)生。在示出的實(shí)施例中，源編碼器是服務(wù)器。在其它實(shí)施例中，源編碼器可以是包括處理器和足以執(zhí)行源媒體(包含但不限于視頻、音頻和/或字幕)轉(zhuǎn)碼的足夠的資源的任何處理裝置。
[0037]在示出的實(shí)施例中，回放裝置包括個(gè)人計(jì)算機(jī)110、CE播放器108和移動(dòng)電話(huà)112。在其它實(shí)施例中，回放裝置可包括諸如DVD播放器、Blu-ray播放器、電視機(jī)、機(jī)頂盒、視頻游戲控制臺(tái)、平板機(jī)和能夠經(jīng)由HTTP連接到服務(wù)器并回放經(jīng)編碼的媒體的其它裝置的消費(fèi)電子裝置。在示出的實(shí)施例中，各種回放裝置使用HTTP或另一適當(dāng)?shù)臒o(wú)狀態(tài)協(xié)議以經(jīng)由諸如因特網(wǎng)的網(wǎng)絡(luò)102請(qǐng)求部分的頂級(jí)索引文件和容器文件。在回放裝置通過(guò)使用來(lái)自包含于容器文件內(nèi)的備選流的部分媒體執(zhí)行自適應(yīng)比特率流處理之前，可由回放裝置執(zhí)行帶寬探測(cè)以確定可用的帶寬。一旦已完成帶寬探測(cè)，回放裝置就可利用頂級(jí)索引內(nèi)的數(shù)據(jù)——包括(但不限于)可用流中的每個(gè)的最大比特率——來(lái)確定初始流，由該初始流開(kāi)始對(duì)部分的經(jīng)編碼媒體的請(qǐng)求，作為自適應(yīng)流處理過(guò)程的一部分。
[0038]一旦開(kāi)始回放來(lái)自初始流組的內(nèi)容，回放裝置使用頂級(jí)索引以響應(yīng)于流處理狀態(tài)的變化來(lái)執(zhí)行內(nèi)容的自適應(yīng)比特率流處理。在許多自適應(yīng)比特率流處理系統(tǒng)中，回放裝置可以通過(guò)一系列的操作階段而進(jìn)展，其中回放裝置在每個(gè)階段不同地響應(yīng)流處理狀態(tài)的變化。在多個(gè)實(shí)施例中，流處理狀態(tài)的穩(wěn)定或改進(jìn)流處理狀態(tài)可以使得轉(zhuǎn)換至回放裝置假設(shè)操作狀態(tài)穩(wěn)定、緩沖更多內(nèi)容、并且對(duì)流處理狀態(tài)的波動(dòng)比較不響應(yīng)的階段。在許多實(shí)施例中，流處理狀態(tài)的惡化導(dǎo)致流切換至使用較少帶寬的較低分辨率的一組流，并且導(dǎo)致回放裝置轉(zhuǎn)換至回放裝置假設(shè)操作狀態(tài)不穩(wěn)定、緩沖更少的內(nèi)容、以及對(duì)于流處理狀態(tài)的變化做出快速響應(yīng)的階段。
[0039]源編碼器
[0040]根據(jù)本發(fā)明的實(shí)施例的源編碼器被用來(lái)按照通過(guò)使用一組預(yù)定最大比特率級(jí)別所確定的目標(biāo)最大比特率，以許多分辨率和幀速率中的任何一個(gè)來(lái)編碼源內(nèi)容。在圖2中示出了根據(jù)本發(fā)明的實(shí)施例的源編碼器的基本結(jié)構(gòu)。源編碼器150包括與存儲(chǔ)器154通信的處理器152。在示出的實(shí)施例中，存儲(chǔ)器154包括編碼應(yīng)用156、可包括(但不限于)源視頻數(shù)據(jù)和視頻數(shù)據(jù)的經(jīng)編碼的備選流的視頻數(shù)據(jù)158、和描述按照其來(lái)編碼多個(gè)分辨率和幀速率組合的目標(biāo)最大比特率的數(shù)據(jù)160。在許多實(shí)施例中，目標(biāo)最大比特率選自包括數(shù)量少于分辨率和幀速率組合的數(shù)量的多個(gè)級(jí)別的一組預(yù)定最大比特率級(jí)別。在某些實(shí)施例中，多個(gè)分辨率和幀速率組合與多個(gè)最大比特率級(jí)別中的每個(gè)相關(guān)聯(lián)。在幾個(gè)實(shí)施例中，關(guān)于目標(biāo)最大比特率級(jí)別的數(shù)據(jù)是由分辨率和幀速率組合索引并使特定的最大比特率級(jí)別與特定的分辨率和幀速率組合相關(guān)聯(lián)的查找表。在其它的實(shí)施例中，各種數(shù)據(jù)結(jié)構(gòu)中的任何結(jié)構(gòu)可被用來(lái)從一組預(yù)定的目標(biāo)最大比特率識(shí)別目標(biāo)最大比特率，以用于編碼特定的分辨率和幀速率組合。
[0041]雖然在圖2中示出了特定的結(jié)構(gòu)，但包括其中應(yīng)用和/或一組預(yù)定的最大比特率級(jí)別位于盤(pán)或一些其它形式的存儲(chǔ)設(shè)備上并在運(yùn)行時(shí)被加載到存儲(chǔ)器中的結(jié)構(gòu)的各種結(jié)構(gòu)中的任何結(jié)構(gòu)可被用來(lái)實(shí)現(xiàn)根據(jù)本發(fā)明的實(shí)施例的源編碼器。另外，包括(但不限于)圖1所示的系統(tǒng)結(jié)構(gòu)的各種系統(tǒng)結(jié)構(gòu)中的任何結(jié)構(gòu)可被用來(lái)執(zhí)行根據(jù)本發(fā)明的實(shí)施例的視頻呈現(xiàn)。在后面進(jìn)一步討論根據(jù)本發(fā)明的實(shí)施例的用于確定按照其來(lái)以多個(gè)分辨率和幀速率組合編碼視頻的一組預(yù)定的最大比特率級(jí)別的系統(tǒng)和方法。
[0042]確定目標(biāo)最大比特率
[0043]確定按照其來(lái)編碼視頻的一組預(yù)定比特率的初始步驟是確定可能要由流處理系統(tǒng)流處理的視頻的特性。一旦可能要被流處理的視頻的分辨率和幀速率組合被識(shí)別，則每個(gè)分辨率和幀速率組合的最佳目標(biāo)最大比特率可被計(jì)算，結(jié)果可被用來(lái)確定針對(duì)不同的分辨率和幀速率組合視頻可按照其被編碼的一組最大比特率級(jí)別。術(shù)語(yǔ)最佳目標(biāo)最大比特率可被用于描述一最大比特率，超出該最大比特率后，特定的分辨率和幀速率下的視頻質(zhì)量不明顯提高。換句話(huà)說(shuō)，最佳目標(biāo)最大比特率是在給定的分辨率和幀速率下可實(shí)現(xiàn)最高質(zhì)量視頻的最低比特率。在使用諸如最佳目標(biāo)最大比特率的術(shù)語(yǔ)時(shí)，通常承認(rèn)視頻質(zhì)量是主觀(guān)的。因此，不存在“真實(shí)”的最佳目標(biāo)最大比特率的概念。最佳目標(biāo)最大比特率只是可通過(guò)主觀(guān)實(shí)驗(yàn)確定的值。在許多情況下，關(guān)于目標(biāo)最大比特率的觀(guān)察產(chǎn)生了可用于基于分辨率和幀速率來(lái)計(jì)算最佳目標(biāo)最大比特率的函數(shù)的定義。如后面進(jìn)一步討論的那樣，用于確定最佳目標(biāo)最大比特率的技術(shù)沒(méi)有利用該最大比特率來(lái)選擇最大比特率級(jí)別的方式那樣重要。
[0044]在圖3中示出了根據(jù)本發(fā)明的實(shí)施例的用于確定用于在自適應(yīng)比特率流處理系統(tǒng)內(nèi)流處理的視頻的最佳目標(biāo)最大比特率的處理。處理200由選擇210流處理系統(tǒng)所支持的顯示縱橫比和幀速率開(kāi)始。顯示縱橫比和幀速率通常是基于由可能被用于在流處理系統(tǒng)內(nèi)流處理視頻的回放裝置支持的流行的顯示縱橫比和幀速率來(lái)確定的。分辨率可基于所選擇的顯示縱橫比、并且在許多情況下基于在流處理系統(tǒng)內(nèi)所支持的預(yù)計(jì)最大數(shù)據(jù)速率而被確定212。用于基于回放裝置的顯示縱橫比確定按照其來(lái)編碼備選視頻流的分辨率的處理在于2012年3月26日提交的Soroushian等的發(fā)明名稱(chēng)為“Selection of Resolutionsfor Seamless Resolution Switching of Multimedia Content” 的美國(guó)專(zhuān)利申請(qǐng)系列號(hào)13/430, 032 (以上通過(guò)引用而被并入)中被描述。
[0045]最佳目標(biāo)最大比特率針對(duì)每個(gè)所選擇的幀速率和分辨率組合被確定(214)。在幾個(gè)實(shí)施例中，最大比特率目標(biāo)通過(guò)利用比特率公式被確定214，其中，比特率公式可利用包括幀速率、分辨率和其它相關(guān)的信息的視頻數(shù)據(jù)的各種方面作為輸入。適當(dāng)?shù)谋忍芈使降睦釉谟?012年3月28日提交的Soroushian等的發(fā)明名稱(chēng)為“Systems and Methodsfor Encoding Alternative Streams of Video for Playback on Playback Deviceshaving Predetermined Display Aspect Ratios and Network Connection Maximum DataRates”的美國(guó)專(zhuān)利申請(qǐng)系列號(hào)13/432,521 (以上通過(guò)引用而被并入)中被描述。在多個(gè)實(shí)施例中，用于特定分辨率和幀速率組合的最佳目標(biāo)最大比特率的確定(214)可涉及以目標(biāo)最大比特率編碼的視頻數(shù)據(jù)的主觀(guān)或客觀(guān)質(zhì)量評(píng)價(jià)方法。一旦用于分辨率和幀速率組合中的每個(gè)的最佳目標(biāo)最大比特率被確定，則可執(zhí)行處理以識(shí)別可基于最佳目標(biāo)最大比特率而選擇的一組最大比特率。以下討論根據(jù)本發(fā)明的實(shí)施例的用于基于與特定的分辨率和幀速率組合相關(guān)聯(lián)的一組最佳目標(biāo)最大比特率來(lái)確定一組最大比特率級(jí)別的處理。
[0046]產(chǎn)生多組最大比特率級(jí)別
[0047]在圖4中示出了根據(jù)本發(fā)明的實(shí)施例的用于基于與特定分辨率和幀速率組合相關(guān)聯(lián)的一組最佳目標(biāo)最大比特率確定一組最大比特率級(jí)別的處理。處理300涉及將當(dāng)前比特率設(shè)定(310)為來(lái)自一組最佳目標(biāo)最大比特率的最高最佳目標(biāo)最大比特率。級(jí)別最大比特率通過(guò)利用當(dāng)前比特率被更新(312)。在許多實(shí)施例中，級(jí)別最大比特率可被設(shè)定為當(dāng)前比特率級(jí)別中的比特率的平均值、中值、最小值或最大值組合。在多個(gè)實(shí)施例中，級(jí)別平均比特率是當(dāng)前比特率級(jí)別中的比特率的線(xiàn)性或非線(xiàn)性組合。在其它的實(shí)施例中，級(jí)別最大比特率可在所有的級(jí)別被識(shí)別后被確定。
[0048]當(dāng)前比特率與輸入的一組最佳目標(biāo)最大比特率中的下一較低最佳目標(biāo)最大比特率相比較(314)。決策接著被做出(316)。給定閾值，如果當(dāng)前比特率與下一較低最佳目標(biāo)最大比特率之間的差值不超過(guò)該閾值，那么當(dāng)前比特率被包括于最佳最大比特率級(jí)別中。在其它的實(shí)施例中，可以利用各種準(zhǔn)則中的任何一個(gè)以基于用于分辨率和幀速率組合的最佳目標(biāo)最大比特率確定是否要在級(jí)別中包括特定的分辨率和幀速率組合。相應(yīng)地，當(dāng)前比特率被設(shè)定(318)為下一較低最佳目標(biāo)最大比特率，并且，處理循環(huán)回到更新(312)級(jí)別最大比特率。在幾個(gè)實(shí)施例中，閾值是連續(xù)的比特率級(jí)別之間的百分比差值，諸如10%。在幾個(gè)實(shí)施例中，閾值是固定值或者以非線(xiàn)性的方式與當(dāng)前比特率的值相關(guān)。如果超過(guò)閾值，那么級(jí)別最大比特率被記錄(320 )在一組最大比特率級(jí)別中。在幾個(gè)實(shí)施例中，級(jí)別比特率級(jí)別被取整到最接近的整數(shù)。另一決策(322)被做出。如果仍要考慮目標(biāo)最大比特率，那么開(kāi)始(324)新的級(jí)別比特率，將當(dāng)前比特率設(shè)定(318)為下一最高的最佳目標(biāo)最大比特率，并且處理繼續(xù)更新(312)新級(jí)別的級(jí)別最大比特率。當(dāng)所有比特率已被考慮時(shí)，處理300完成。
[0049]在若干實(shí)施例中，分配給特定的組的分辨率和幀速率以及最大比特率級(jí)別可根據(jù)特定應(yīng)用的需要而修改。例如，每個(gè)級(jí)別的最佳最大比特率可被向下(或向上)取整到10、100或1000的最接近的整數(shù)倍。雖然在圖4中示出了特定的處理，但各種處理中的任何一個(gè)可以被利用，包括基于包含(但不限于)最大化每個(gè)級(jí)別的分辨率和幀速率組合的最佳目標(biāo)最大比特率的類(lèi)似性的一個(gè)或多個(gè)準(zhǔn)則而將分辨率和幀速率組合分組到預(yù)定數(shù)量的級(jí)別中的處理。
[0050]在圖5中示出了根據(jù)本發(fā)明的實(shí)施例的基于經(jīng)編碼的視頻的分辨率和幀速率所限定的一組最大比特率級(jí)別的分組的例子。[0051]例如，在本發(fā)明的許多實(shí)施例中，1440X816是用于具有4:3的采樣縱橫比、每秒24幀的具有1920X816的主分辨率的視頻數(shù)據(jù)的子分辨率。同樣，分辨率1440X800是用于具有4:3的采樣縱橫比、每秒24幀的具有1920X800的主分辨率的視頻數(shù)據(jù)的子分辨率。1440X816視頻的編碼最大比特率是3557Kbps，1440X800視頻的編碼最大比特率是3459Kbps。在幾個(gè)實(shí)施例中，1440 X 816和1440 X 800處于彼此的閾值內(nèi)，并且，沒(méi)有其它的分辨率處于該閾值內(nèi)。用于這些分辨率的平均比特率是3508Kbps，被取整到3500Kbps。根據(jù)本發(fā)明的實(shí)施例，3500Kbps將是該組最大配置比特率中的一個(gè)最大比特率。
[0052]為了以每個(gè)最大比特率級(jí)別流處理視頻內(nèi)容，各種各樣的分辨率可根據(jù)源內(nèi)容的采樣縱橫比和幀速率而被使用。在圖6中示出了針對(duì)各種最大比特率、基于視頻內(nèi)容的幀速率和主縱橫比的推薦分辨率的示例性配置。在本發(fā)明的許多實(shí)施例中，為了最大化經(jīng)流處理的視頻數(shù)據(jù)的主觀(guān)和/或客觀(guān)質(zhì)量，相同分辨率可被用于多個(gè)幀速率和采樣縱橫比。
[0053]雖然以某些特定的方面描述了本發(fā)明，但對(duì)本領(lǐng)域技術(shù)人員來(lái)說(shuō)，許多附加的修改和變型會(huì)是明顯的。因此可以理解，在不背離本發(fā)明的范圍和精神的情況下，可通過(guò)具體描述的方式以外的方式實(shí)施本發(fā)明，包括其中由回放裝置使用的一組流處理切換狀態(tài)連續(xù)變化的回放裝置。因此，本發(fā)明的實(shí)施例在所有的方面應(yīng)被視為解釋性而非限制性的。因此，本發(fā)明的范圍不應(yīng)由示出的實(shí)施例確定，而是由權(quán)利要求及其等同物所確定。
【權(quán)利要求】
1.一種源編碼器，包括: 處理器；和 包含編碼應(yīng)用和使分辨率和幀速率的組合與最大比特率相關(guān)的數(shù)據(jù)的存儲(chǔ)設(shè)備，其中，與相同最大比特率相關(guān)的多個(gè)分辨率和幀速率形成一最大比特率級(jí)別； 其中，編碼應(yīng)用配置處理器以將視頻流編碼為具有不同的分辨率和幀速率的多個(gè)視頻流，其中，基于在使分辨率和幀速率的組合與最大比特率相關(guān)的數(shù)據(jù)內(nèi)指示的分辨率和幀速率組合的最大比特率級(jí)別，在編碼視頻流期間使用的目標(biāo)最大比特率被選擇。
2.根據(jù)權(quán)利要求1的源編碼器，其中，一最大比特率級(jí)別內(nèi)的分辨率和幀速率具有處于該最大比特率級(jí)別內(nèi)的一分辨率和幀速率組合的最高最佳目標(biāo)最大比特率的預(yù)定百分比內(nèi)的最佳目標(biāo)最大比特率。
3.根據(jù)權(quán)利要求2的源編碼器，其中，分辨率和幀速率組合的最佳目標(biāo)最大比特率通過(guò)使用公式被確定。
4.根據(jù)權(quán)利要求2的源編碼器，其中，分辨率和幀速率組合的最佳目標(biāo)最大比特率通過(guò)使用實(shí)驗(yàn)被確定。
5.根據(jù)權(quán)利要求2的源編碼器，其中，一最大比特率級(jí)別內(nèi)的分辨率和幀速率具有處于該最大比特率級(jí)別內(nèi)的至少一個(gè)其它的分辨率和幀速率組合的最佳目標(biāo)最大比特率的預(yù)定百分比內(nèi)的最佳目標(biāo)最大比特率。
6.根據(jù)權(quán)利要求1的源編碼器，其中，使分辨率和幀速率的組合與最大比特率級(jí)別相關(guān)的數(shù)據(jù)以圖5所示的方式使分辨率和幀速率與最大比特率相關(guān)。
7.—種流處理系統(tǒng),包`括: 多個(gè)回放裝置，其中，回放裝置具有不同的顯示縱橫比并利用不同類(lèi)型的網(wǎng)絡(luò)連接；和 包含其上存儲(chǔ)有多個(gè)視頻流的多個(gè)服務(wù)器的流處理系統(tǒng)，其中，該多個(gè)視頻流以不同的分辨率和幀速率被編碼， 其中，存儲(chǔ)于流處理系統(tǒng)上的視頻流通過(guò)使用多個(gè)最大比特率級(jí)別中的一個(gè)被編碼，其中，具有不同的分辨率和幀速率的視頻流以相同最大比特率級(jí)別被編碼； 其中，回放裝置被配置為支持回放以與多個(gè)最大比特率級(jí)別對(duì)應(yīng)的最大比特率編碼的視頻數(shù)據(jù)； 其中，回放裝置被配置為從來(lái)自流處理系統(tǒng)的至少一個(gè)視頻流請(qǐng)求以由回放裝置支持的一最大比特率級(jí)別編碼的視頻數(shù)據(jù)，并且， 其中，回放裝置被配置為回放從流處理系統(tǒng)接收的、以所支持的最大比特率級(jí)別編碼的視頻數(shù)據(jù)。
8.根據(jù)權(quán)利要求7的流處理系統(tǒng)，還包括: 源編碼器，其包括包含使分辨率和幀速率的組合與最大比特率級(jí)別相關(guān)的數(shù)據(jù)的存儲(chǔ)設(shè)備， 其中，源編碼器被配置為將視頻流編碼為具有不同的分辨率和幀速率的多個(gè)視頻流，其中，基于在使分辨率和幀速率的組合與最大比特率級(jí)別相關(guān)的數(shù)據(jù)內(nèi)指示的分辨率和幀速率組合的最大比特率級(jí)別，在編碼視頻流期間使用的目標(biāo)最大比特率被選擇。
9.根據(jù)權(quán)利要求8的流處理系統(tǒng)，其中，使分辨率和幀速率的組合與最大比特率級(jí)別相關(guān)的數(shù)據(jù)以圖5所示的方式使分辨率和幀速率與最大比特率級(jí)別相關(guān)。
10.一種包含處理器指令的機(jī)器可讀介質(zhì)，其中，由處理器執(zhí)行指令導(dǎo)致處理器執(zhí)行用于確定用于編碼在流處理系統(tǒng)中使用的視頻數(shù)據(jù)的一組最大比特率級(jí)別的處理，該流處理系統(tǒng)包括具有不同的顯示縱橫比和網(wǎng)絡(luò)連接的回放裝置，該處理包括: 選擇一組分辨率和幀速率組合； 確定用于以每個(gè)分辨率和幀速率組合編碼視頻數(shù)據(jù)流的最佳目標(biāo)最大比特率； 利用至少一個(gè)分組準(zhǔn)則，基于分辨率和幀速率組合的最佳目標(biāo)最大比特率，將分辨率和幀速率組合分組到多個(gè)最大比特率級(jí)別中；和 確定用于一最大比特率級(jí)別中的分辨率和幀速率組合的目標(biāo)最大比特率。
11.根據(jù)權(quán)利要求10的機(jī)器可讀介質(zhì)，其中，分辨率和幀速率組合的最佳目標(biāo)最大比特率通過(guò)使用公式被確定。
12.根據(jù)權(quán)利要求11的機(jī)器可讀介質(zhì)，其中，分辨率和幀速率組合的最佳目標(biāo)最大比特率通過(guò)使用實(shí)驗(yàn)被確定。
13.根據(jù)權(quán)利要求10的機(jī)器可讀介質(zhì)，其中，該至少一個(gè)分組準(zhǔn)則將具有下述最佳目標(biāo)最大比特率的分辨率和幀速率分組到一最大比特率級(jí)別內(nèi)，其中，該最佳目標(biāo)最大比特率處于該最大比特率級(jí)別內(nèi)的一分辨率和幀速率組合的最高最佳目標(biāo)最大比特率的預(yù)定百分比內(nèi)。
14.根據(jù)權(quán)利要求10的機(jī)器可讀介質(zhì)，其中，該至少一個(gè)分組準(zhǔn)則將具有下述最佳目標(biāo)最大比特率的分辨率和幀速率分組到一最大比特率級(jí)別內(nèi)，其中，該最佳目標(biāo)最大比特率處于該最大比特率級(jí)別內(nèi)的至少一個(gè)其它的分辨率和幀速率組合的最佳目標(biāo)最大比特率的預(yù)定百分比內(nèi)。
15.根據(jù)權(quán)利要 求10的機(jī)器可讀介質(zhì)，其中，確定用于一最大比特率級(jí)別中的分辨率和幀速率組合的目標(biāo)最大比特率包括選擇該最大比特率級(jí)別內(nèi)的分辨率和幀速率組合的最大最佳目標(biāo)比特率。
16.根據(jù)權(quán)利要求10的機(jī)器可讀介質(zhì)，其中，確定用于一最大比特率級(jí)別中的分辨率和幀速率組合的目標(biāo)最大比特率包括選擇該最大比特率級(jí)別內(nèi)的分辨率和幀速率組合的最小最佳目標(biāo)比特率。
17.根據(jù)權(quán)利要求10的機(jī)器可讀介質(zhì)，其中，確定用于一最大比特率級(jí)別中的分辨率和幀速率組合的目標(biāo)最大比特率包括選擇該最大比特率級(jí)別內(nèi)的分辨率和幀速率組合的平均最佳目標(biāo)比特率。
18.根據(jù)權(quán)利要求17的機(jī)器可讀介質(zhì)，還包括通過(guò)使用預(yù)定的取整函數(shù)對(duì)該平均最佳目標(biāo)比特率取整。
19.根據(jù)權(quán)利要求10的機(jī)器可讀介質(zhì)，其中，確定用于一最大比特率級(jí)別中的分辨率和幀速率組合的目標(biāo)最大比特率包括基于該最大比特率級(jí)別內(nèi)的分辨率和幀速率組合中的至少一個(gè)的最佳目標(biāo)數(shù)據(jù)速率而選擇多個(gè)已知網(wǎng)絡(luò)數(shù)據(jù)速率中的一個(gè)。
【文檔編號(hào)】H04N21/2662GK103875248SQ201280050321
【公開(kāi)日】2014年6月18日 申請(qǐng)日期:2012年8月30日 優(yōu)先權(quán)日:2011年8月30日
【發(fā)明者】K·索羅希安 申請(qǐng)人:索尼克Ip股份有限公司