影音流傳輸方法、影音裝置以及影音提供裝置制造方法
【專利摘要】本發(fā)明公開了一種影音流傳輸方法、影音裝置以及影音提供裝置。當(dāng)網(wǎng)絡(luò)發(fā)生壅塞的一段時(shí)間中，本發(fā)明所提出的適應(yīng)網(wǎng)絡(luò)帶寬的實(shí)時(shí)影音流系統(tǒng)及其方法，能使影音接收者平順且正確地播放出此段時(shí)間內(nèi)盡可能多的影音數(shù)據(jù)、或?qū)τ耙籼峁┱?接收者有意義的影音數(shù)據(jù)，且播放進(jìn)度跟影音提供者提供的最新進(jìn)度的差距須維持在一固定范圍內(nèi)。在一種實(shí)施方式，當(dāng)影音流存在其它不同傳輸比特率的流時(shí)，影音接收者可以依據(jù)自身網(wǎng)絡(luò)狀況，盡快切換到不高于可用帶寬的最高傳輸比特率的流來收看。
【專利說明】影音流傳輸方法、影音裝置以及影音提供裝置
【技術(shù)領(lǐng)域】
[0001 ] 本發(fā)明提出一種影音流傳輸方法、影音裝置以及影音提供裝置。
【背景技術(shù)】
[0002]現(xiàn)今人們非常習(xí)慣使用網(wǎng)絡(luò)來收看實(shí)時(shí)的(live)影音流，例如大型比賽或表演的直播、道路或大樓的監(jiān)控、游戲畫面擷取直播、遠(yuǎn)程教學(xué)、在線實(shí)時(shí)新聞、災(zāi)難現(xiàn)場畫面直播等。因?yàn)榫W(wǎng)絡(luò)有多變的特性，所以影音接收者會使用一個(gè)數(shù)據(jù)緩沖器來儲存幾百毫秒至幾秒不等的影音數(shù)據(jù)，來減緩網(wǎng)絡(luò)延遲抖動所造成的播放不連續(xù)性。然而，這個(gè)簡單的做法并不能使實(shí)時(shí)影音流的傳輸適應(yīng)網(wǎng)絡(luò)的變動。當(dāng)網(wǎng)絡(luò)壅塞時(shí)間長到令緩沖器的數(shù)據(jù)耗盡，影音接收者的傳統(tǒng)播放器有下面兩種反應(yīng)。一種反應(yīng)為不放棄任何未播數(shù)據(jù)，暫停播放一段時(shí)間直到緩沖區(qū)又有一定量數(shù)據(jù)再繼續(xù)播放，但如此會造成收看進(jìn)度與實(shí)時(shí)進(jìn)度落差變大。另一種反應(yīng)為丟棄任何接收時(shí)間超過播放時(shí)間的數(shù)據(jù)，但這很可能會造成之后的畫面不能正確呈現(xiàn)。
[0003]為了解決上述問題，這十幾年來有許多方法被提出。其中有一種叫作比特流切換(Bitstream Switch)的做法有逐漸變?yōu)橼厔莸膬A向。此做法是把一個(gè)節(jié)目流同時(shí)做出不同傳輸比特率(Bit Rate)的流。影音接收者在適當(dāng)時(shí)間點(diǎn)依據(jù)自身的網(wǎng)絡(luò)環(huán)境，從上述流中選擇不超過可用帶寬的最高傳輸比特率的流來觀賞。這個(gè)做法的好處是影音提供者僅需就大多數(shù)使用者感興趣或有辦法接收的幾種傳輸比特率(通常為3?5種)進(jìn)行壓縮即可，故不會對影音提供者造成巨大負(fù)擔(dān)。另外，影音接收者得到的收看質(zhì)量，大多情況下也很接近該網(wǎng)絡(luò)環(huán)境下所能達(dá)到的最佳質(zhì)量。
[0004]目前市面上至少已有兩種免費(fèi)軟件產(chǎn)品可以提供實(shí)時(shí)產(chǎn)生不同傳輸比特率流的功能。一種是Adobe?公司的“Flash Media Live Encoder”(簡稱FMLE)軟件,此軟件可以把網(wǎng)絡(luò)攝像機(jī)傳過來的數(shù)據(jù)，同時(shí)壓縮出3種傳輸比特率的實(shí)時(shí)消息通訊協(xié)議(Real-TimeMessaging Protocol,簡稱RTMP)的影音流,視頻壓縮格式為VP6或H.264,聲音壓縮格式為mp3或NellyMoser。另一種軟件是開放源碼的“FFMpeg”,此軟件可以將原始的一條影音流轉(zhuǎn)換出眾多數(shù)目(取決于硬件能力)的影音流(支持格式至少有:RTP、LiveFLV、RTMP)，且?guī)缀跛械膲嚎s格式都支持。另外，許多知名的影音分享平臺，例如Youtube?、優(yōu)酷?等，上面的影片大多都有幾種不同質(zhì)量可供選擇。目前這些平臺上的節(jié)目都是預(yù)先錄制的，而非實(shí)時(shí)產(chǎn)生，但大眾已經(jīng)很習(xí)慣這種使用模式，所以很自然地會期望以后的實(shí)時(shí)影音分享平臺也可以有不同質(zhì)量的影音流可供選擇。
[0005]然而，使用者并不能隨時(shí)切換流，主要原因如下所述。一是網(wǎng)絡(luò)的變化可能是短期的，使用者若太積極地隨網(wǎng)絡(luò)變化來切換流，會加劇網(wǎng)絡(luò)的動蕩。所以，使用者必須利用公知技術(shù)中的帶寬評估技術(shù)，確認(rèn)網(wǎng)絡(luò)已經(jīng)達(dá)到另外一種穩(wěn)定狀況再行切換。另外，由于主流視頻壓縮算法(H.264和Mpeg2、4)采用1、P、B三種不同的幀(Frame)來表示數(shù)據(jù)，其中P幀或B幀必須直接或間接參照先前最新的I幀才可以正確解碼出畫面，故使用者切換至另一流的時(shí)間點(diǎn)，會受限于I幀出現(xiàn)的時(shí)間點(diǎn)。這會衍生出兩個(gè)功能需求:一是在還未能切換前，要有辦法維持住可接受的觀賞質(zhì)量，一是必須幫助使用者盡快進(jìn)行切換。
[0006]最后，從目前的技術(shù)可以觀察到幾個(gè)使用者使用習(xí)慣的趨勢:(一)越來越多使用者改用平板電腦或智能手機(jī)來收看影音流，這類設(shè)備的計(jì)算能力和電力有限；(二)熱門的節(jié)目通常會有幾千或幾百個(gè)以上使用者在收看；(三)P2P (Peer-to-peer)的架構(gòu)風(fēng)行，在P2P系統(tǒng)中，每個(gè)使用者同時(shí)也要把影音流分享給別人。這些使用習(xí)慣的趨勢，會延伸出兩個(gè)效能需求:不可有太大的計(jì)算量，以及不可太耗費(fèi)網(wǎng)絡(luò)帶寬。

【發(fā)明內(nèi)容】

[0007]本發(fā)明提出一種適應(yīng)網(wǎng)絡(luò)帶寬的實(shí)時(shí)影音流系統(tǒng)以及方法。
[0008]在本發(fā)明的一種實(shí)施方式中，提出一種影音流傳輸方法，包括接收流數(shù)據(jù)，并監(jiān)控從所述流數(shù)據(jù)取得并暫存的多筆編碼數(shù)據(jù)，每一暫存的編碼數(shù)據(jù)包括多個(gè)編碼譯碼單元，而所述編碼譯碼單元以一傳送順序進(jìn)行傳送，其中此編碼數(shù)據(jù)在一實(shí)施例中可包括影音數(shù)據(jù)或可僅包括視頻數(shù)據(jù)。
[0009]在此影音流傳輸方法中，當(dāng)需要調(diào)整傳輸質(zhì)量時(shí)，取得編碼數(shù)據(jù)的信息，并根據(jù)所述編碼數(shù)據(jù)的信息取得對應(yīng)每一編碼數(shù)據(jù)內(nèi)所包括的編碼譯碼單元對應(yīng)的重要性參數(shù)，以及對應(yīng)于所述的重要性參數(shù)，調(diào)整從影音流傳輸通道所送的后續(xù)編碼數(shù)據(jù)的多個(gè)編碼譯碼單元的傳送順序。
[0010]上述根據(jù)所述編碼數(shù)據(jù)調(diào)整編碼譯碼單元的傳送順序方法在一實(shí)施例中包括判斷所述編碼數(shù)據(jù)的存量是否低于第一閾值或高于第二閾值，其中第二閾值大于第一閾值。當(dāng)所述編碼數(shù)據(jù)的存量低于第一閾值時(shí)，取得編碼數(shù)據(jù)的信息，并根據(jù)所述編碼數(shù)據(jù)的信息取得對應(yīng)每一編碼數(shù)據(jù)內(nèi)所包括的編碼譯碼單元對應(yīng)的重要性參數(shù)，以及對應(yīng)于所述的重要性參數(shù)，調(diào)整從影音流傳輸通道所傳送的后續(xù)編碼數(shù)據(jù)的多個(gè)編碼譯碼單元的傳送順序。當(dāng)編碼數(shù)據(jù)的存量高于第二閾值時(shí)，停止調(diào)整此傳送順序。
[0011]在本發(fā)明的一種實(shí)施方式中，提出一種影音流傳輸方法，包括接收一流數(shù)據(jù)，并將從流數(shù)據(jù)取得的多筆編碼數(shù)據(jù)。輸出暫存的編碼數(shù)據(jù)以進(jìn)行播放，并判斷當(dāng)編碼數(shù)據(jù)的存量是否低于第一閾值，當(dāng)編碼數(shù)據(jù)的存量低于第一閾值或已經(jīng)用盡時(shí)，暫停輸出一第一時(shí)間區(qū)間，并暫存在第一時(shí)間區(qū)間內(nèi)所收到的編碼數(shù)據(jù)。將在第一時(shí)間區(qū)間內(nèi)所收到的編碼數(shù)據(jù)調(diào)整為在一第二時(shí)間區(qū)間內(nèi)加速播放完畢，其中第二時(shí)間區(qū)間小于第一時(shí)間區(qū)間，當(dāng)所述影音數(shù)據(jù)的存量高于一第二閾值時(shí)，恢復(fù)正常播放速度。此編碼數(shù)據(jù)在一實(shí)施例中可包括影音數(shù)據(jù)或可僅包括視頻數(shù)據(jù)。
[0012]在本發(fā)明的一種實(shí)施方式中，提出一種影音流傳輸方法，包括以一第一比特傳輸率接收一第一流數(shù)據(jù)。在一切換時(shí)間切換到以一第二比特傳輸率接收一第二流數(shù)據(jù)，其中此切換時(shí)間是以目前播放時(shí)間、第一重要編碼譯碼單元的播放時(shí)間、第二重要編碼譯碼單元的播放時(shí)間進(jìn)行判斷。此目前播放時(shí)間是第一流數(shù)據(jù)在判斷時(shí)正在播放的時(shí)間，第一重要編碼譯碼單元的播放時(shí)間是第二流數(shù)據(jù)中比目前播放時(shí)間還早的第二流數(shù)據(jù)中的多個(gè)編碼數(shù)據(jù)中最新的重要編碼譯碼單元的播放時(shí)間，此第二重要編碼譯碼單元的播放時(shí)間是第二流數(shù)據(jù)中的編碼數(shù)據(jù)中比目前播放時(shí)間還晚的第二流數(shù)據(jù)中最舊的重要編碼譯碼單元，其中編碼數(shù)據(jù)的重要性判斷是根據(jù)編碼數(shù)據(jù)的信息取得對應(yīng)每一編碼數(shù)據(jù)內(nèi)的多個(gè)編碼譯碼單元所對應(yīng)的重要性參數(shù)比較取得。此編碼數(shù)據(jù)在一實(shí)施例中可包括影音數(shù)據(jù)或可僅包括視頻數(shù)據(jù)。
[0013]在本發(fā)明的一種實(shí)施方式中，提出一種影音裝置，適用于從一流數(shù)據(jù)接收多筆編碼數(shù)據(jù)，每一編碼數(shù)據(jù)包括多個(gè)編碼譯碼單元，而所述編碼譯碼單元以一編碼順序?yàn)閭魉晚樞颍渲写司幋a數(shù)據(jù)包括影音數(shù)據(jù)或僅包括視頻數(shù)據(jù)。此影音裝置包括一緩沖器、一緩沖器監(jiān)控模塊以及一幀請求模塊。此緩沖器監(jiān)控模塊用以監(jiān)控暫存于此緩沖器的編碼數(shù)據(jù)的存量，當(dāng)編碼數(shù)據(jù)的存量低于第一閾值時(shí)，發(fā)出一調(diào)整信號，當(dāng)編碼數(shù)據(jù)的存量高于第二閾值時(shí)，發(fā)出一停止調(diào)整信號。幀請求模塊響應(yīng)于所述調(diào)整信號，輸出一幀請求信號，以調(diào)整流數(shù)據(jù)中，編碼數(shù)據(jù)內(nèi)的編碼譯碼單元的傳送順序。
[0014]在本發(fā)明的一種實(shí)施方式中，上述影音裝置還包括一時(shí)戳調(diào)整模塊，用以接收下載的編碼數(shù)據(jù)，并將編碼數(shù)據(jù)暫存到該緩沖器，其中時(shí)戳調(diào)整模塊可將部分編碼數(shù)據(jù)的播放時(shí)間進(jìn)行修改。
[0015]在本發(fā)明的一種實(shí)施方式中，上述影音裝置還包括一流請求模塊，響應(yīng)于調(diào)整信號與帶寬評估器的信號，輸出一比特率請求信號，用以提供編碼數(shù)據(jù)的信息，以切換接收不同比特傳輸率的另一流數(shù)據(jù)。
[0016]在本發(fā)明的一種實(shí)施方式中，上述影音裝置還包括一上傳器與一排程器。所述上傳器用來將從該流數(shù)據(jù)接收到的編碼數(shù)據(jù)傳出。排程器用來接收來自外部的另一幀請求信號，此另一幀請求信號包括由上傳器傳出的編碼數(shù)據(jù)中，每一編碼數(shù)據(jù)內(nèi)所包括的編碼譯碼單元對應(yīng)的重要性參數(shù)，其中此重要性參數(shù)是根據(jù)這些編碼數(shù)據(jù)的信息計(jì)算取得，排程器則根據(jù)重要性參數(shù)調(diào)整上傳器傳出的編碼數(shù)據(jù)內(nèi)的編碼譯碼單元的傳送順序。
[0017]上述影音裝置還包括一時(shí)戳調(diào)整模塊與一時(shí)戳復(fù)位模塊。所述時(shí)戳調(diào)整模塊用以接收下載的編碼數(shù)據(jù)，并將編碼數(shù)據(jù)暫存到緩沖器，其中時(shí)戳調(diào)整模塊可將部分編碼數(shù)據(jù)的播放時(shí)間進(jìn)行修改。時(shí)戳復(fù)位模塊連接到時(shí)戳調(diào)整模塊，用以將修改過的播放時(shí)間進(jìn)行復(fù)位，以適合下一階影音接收者所要使用的影音流信息時(shí)間戳記。
[0018]另一實(shí)施例中，上述影音裝置還包括流請求模塊與一切換器。所述流請求模塊響應(yīng)于調(diào)整信號與一帶寬評估器的信號，輸出一比特率請求信號，用以提供編碼數(shù)據(jù)的信息，以切換接收不同比特傳輸率的另一流數(shù)據(jù)。切換器用來接收來自外部的另一比特率請求信號，用來切換由上傳器所輸出的具有一第一比特傳輸率的一第一流數(shù)據(jù)切換到具有一第二比特傳輸率的一第二流數(shù)據(jù)，并判斷從第二流數(shù)據(jù)的合適播放時(shí)間點(diǎn)開始傳送。
[0019]在本發(fā)明的一種實(shí)施方式中，上述影音裝置還包括一時(shí)戳調(diào)整模塊、一時(shí)戳復(fù)位模塊、一上傳器與一排程器。此時(shí)戳調(diào)整模塊用以接收下載的編碼數(shù)據(jù)，并將編碼數(shù)據(jù)暫存到緩沖器，其中此時(shí)戳調(diào)整模塊可將部分編碼數(shù)據(jù)的播放時(shí)間進(jìn)行修改。時(shí)戳復(fù)位模塊連接到所述時(shí)戳調(diào)整模塊，用以將修改過的播放時(shí)間進(jìn)行復(fù)位，以適合下一階影音接收者所要使用的影音流信息時(shí)間戳記。上傳器連接到所述時(shí)戳復(fù)位模塊，用來將從流數(shù)據(jù)接收到的編碼數(shù)據(jù)傳出。排程器用來接收來自外部的另一幀請求信號，此另一幀請求信號包括由上傳器傳出的編碼數(shù)據(jù)中，每一編碼數(shù)據(jù)內(nèi)所包括的編碼譯碼單元對應(yīng)的重要性參數(shù)，其中此重要性參數(shù)是根據(jù)編碼數(shù)據(jù)的信息計(jì)算取得，而此排程器根據(jù)重要性參數(shù)調(diào)整上傳器傳出的編碼數(shù)據(jù)內(nèi)的編碼譯碼單元的傳送順序。
[0020]在本發(fā)明的一種實(shí)施方式中，提出一種影音裝置，適用于從一流數(shù)據(jù)接收多筆編碼數(shù)據(jù)，每一編碼數(shù)據(jù)包括多個(gè)編碼譯碼單元，而這些編碼譯碼單元以一編碼順序?yàn)閭魉晚樞?，其中編碼數(shù)據(jù)包括影音數(shù)據(jù)或僅包括視頻數(shù)據(jù)。此影音裝置包括一緩沖器、一緩沖器監(jiān)控模塊、一時(shí)戳調(diào)整模塊、一幀請求模塊、流請求模塊、一時(shí)戳復(fù)位模塊、一上傳器、一排程器以及一切換器。此緩沖器監(jiān)控模塊用以監(jiān)控暫存于緩沖器的編碼數(shù)據(jù)的存量，當(dāng)編碼數(shù)據(jù)的存量低于第一閾值時(shí)，發(fā)出一調(diào)整信號，當(dāng)編碼數(shù)據(jù)的存量高于第二閾值時(shí)，發(fā)出一停止調(diào)整信號。時(shí)戳調(diào)整模塊用以接收下載的編碼數(shù)據(jù)，并將編碼數(shù)據(jù)暫存到緩沖器，其中時(shí)戳調(diào)整模塊可將部分編碼數(shù)據(jù)的播放時(shí)間進(jìn)行修改。幀請求模塊響應(yīng)于調(diào)整信號，輸出一幀請求信號，以調(diào)整流數(shù)據(jù)中，所述編碼數(shù)據(jù)內(nèi)的編碼譯碼單元的傳送順序。流請求模塊，響應(yīng)于調(diào)整信號與帶寬評估結(jié)果，輸出比特率請求信號，用以提供編碼數(shù)據(jù)的信息，以切換接收不同比特傳輸率的另一流數(shù)據(jù)。時(shí)戳復(fù)位模塊連接到時(shí)戳調(diào)整模塊，用以將修改過的播放時(shí)間進(jìn)行復(fù)位，以適合下一階影音接收者所要使用的影音流信息時(shí)間戳記。上傳器連接到時(shí)戳復(fù)位模塊，用來將從流數(shù)據(jù)接收到的編碼數(shù)據(jù)傳出。排程器用來接收來自外部的另一幀請求信號，此另一幀請求信號包括由上傳器傳出的編碼數(shù)據(jù)中，每一編碼數(shù)據(jù)內(nèi)所包括的編碼譯碼單元對應(yīng)的重要性參數(shù)，其中重要性參數(shù)是根據(jù)編碼數(shù)據(jù)的信息計(jì)算取得，而此排程器根據(jù)重要性參數(shù)調(diào)整上傳器傳出的編碼數(shù)據(jù)內(nèi)的編碼譯碼單元的傳送順序。切換器用來接收來自外部的另一比特率請求信號，用來切換由該上傳器所輸出的具有一第一比特傳輸率的一第一流數(shù)據(jù)切換到具有一第二比特傳輸率的一第二流數(shù)據(jù)，并判斷從第二流數(shù)據(jù)的合適播放時(shí)間點(diǎn)開始傳送。
[0021 ] 在本發(fā)明的一種實(shí)施方式中，提出一種影音提供裝置，包括一上傳器、一排程器以及一切換器。此上傳器用來傳送具有一第一比特傳輸率的一第一流數(shù)據(jù)，其中此第一流數(shù)據(jù)包括多筆編碼數(shù)據(jù)，每一編碼數(shù)據(jù)包括多個(gè)編碼譯碼單元，而這些編碼譯碼單元以一傳送順序排列，其中編碼數(shù)據(jù)包括影音數(shù)據(jù)或僅包括視頻數(shù)據(jù)。排程器用來接收一幀請求信號，并根據(jù)幀請求信號調(diào)整上傳器傳出的編碼數(shù)據(jù)內(nèi)的所述編碼譯碼單元的傳送順序。此切換器用來接收來自外部的另一比特率請求信號，用來切換由上傳器所輸出的具有一第一比特傳輸率的一第一流數(shù)據(jù)切換到具有一第二比特傳輸率的一第二流數(shù)據(jù)，并判斷從第二流數(shù)據(jù)的合適播放時(shí)間點(diǎn)開始傳送。
【專利附圖】

【附圖說明】
[0022]圖1A與IB為分別說明本發(fā)明所提出適應(yīng)網(wǎng)絡(luò)帶寬的實(shí)時(shí)影音流系統(tǒng)的不同實(shí)施例的架構(gòu)示意圖。
[0023]圖2A?2C為本發(fā)明的一個(gè)實(shí)施例的實(shí)時(shí)影音流系統(tǒng)的客戶端所使用的系統(tǒng)方塊示意圖。
[0024]圖3為本發(fā)明的一個(gè)實(shí)施例的實(shí)時(shí)影音流系統(tǒng)的服務(wù)器所使用的系統(tǒng)方塊示意圖。
[0025]圖4A?4C為本發(fā)明的一個(gè)實(shí)施例的實(shí)時(shí)影音流系統(tǒng)的客戶端所使用的系統(tǒng)方塊示意圖。
[0026]圖5為本發(fā)明的一個(gè)實(shí)施例的重要性下載順序的運(yùn)作方法流程示意圖。
[0027]圖6為說明本發(fā)明的實(shí)施例中判斷幀最遲啟動下載時(shí)間的方法示意圖。
[0028]圖7A、7B、7C為說明本發(fā)明的實(shí)施例中，使用數(shù)據(jù)類型配置重要性的示意圖。
[0029]圖8A、8B、8C為說明本發(fā)明的實(shí)施例中，依據(jù)播放時(shí)間的緊迫性來調(diào)整影音數(shù)據(jù)的重要性的過程示意圖。
[0030]圖9為說明本發(fā)明的實(shí)施例中，依據(jù)額外的重要性指定策略，采用額外標(biāo)示法調(diào)整影音數(shù)據(jù)的重要性的過程示意圖。
[0031]圖10A、10B、10C為說明本發(fā)明多個(gè)實(shí)施例中，采用快速播放方法以適應(yīng)網(wǎng)絡(luò)帶寬過程的示意圖。
[0032]圖11A、11B、11C為說明本發(fā)明多個(gè)實(shí)施例中，采用可行立即切換方法進(jìn)行切換到不同傳輸比特率的流過程的示意圖。
[0033]【主要元件符號說明】
[0034]100、300A、300A’、300A”、300B ;客戶端(Client)
[0035]200:服務(wù)器(Server)
[0036]210:播放器(Player)
[0037]220:緩沖單兀(Buffer Unit)
[0038]222:緩沖器
[0039]224:緩沖器監(jiān)控模塊
[0040]230:帶寬評估器(Bandwidth Estimator)
[0041]240:下載器(Downloader)
[0042]250:時(shí)戮調(diào)整模塊(Timestamp Regulator)
[0043]260:幀請求模塊(Frame Demander)
[0044]270:流請求模塊(Stream demander)
[0045]310:上傳器(Uploader)
[0046]320:排程器(Scheduler)
[0047]330:切換器(Switcher)
[0048]340 ~344:緩沖器
[0049]440:時(shí)戮復(fù)位模塊(Timestamp Restorer)
[0050]1110、1120、1130、1140:流數(shù)據(jù)[0051 ]1150:快速播放的時(shí)間區(qū)間
【具體實(shí)施方式】
[0052]為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明白，以下結(jié)合具體實(shí)施例，并參照附圖，對本發(fā)明作進(jìn)一步的詳細(xì)說明。
[0053]本發(fā)明提出一個(gè)適應(yīng)網(wǎng)絡(luò)帶寬的實(shí)時(shí)影音流系統(tǒng)以及方法。
[0054]在一個(gè)實(shí)施例中，本發(fā)明所提出的適應(yīng)網(wǎng)絡(luò)帶寬的實(shí)時(shí)影音流系統(tǒng)以及方法，當(dāng)網(wǎng)絡(luò)發(fā)生壅塞的一段時(shí)間中，影音接收者可以平順且正確地播放出此段時(shí)間內(nèi)盡可能多的影音數(shù)據(jù)、或是對影音提供者/接收者有意義的影音數(shù)據(jù)，且播放進(jìn)度跟影音提供者提供的最新進(jìn)度的差距須維持在一固定范圍內(nèi)。
[0055]在一個(gè)實(shí)施例中，本發(fā)明所提出的適應(yīng)網(wǎng)絡(luò)帶寬的實(shí)時(shí)影音流系統(tǒng)以及方法，當(dāng)影音流存在其它不同傳輸比特率的流時(shí)，影音接收者可以依據(jù)自身網(wǎng)絡(luò)狀況，切換到不高于可用帶寬的最高傳輸比特率的流收看。
[0056] 在一個(gè)實(shí)施例中，本發(fā)明提出一個(gè)適應(yīng)網(wǎng)絡(luò)帶寬的實(shí)時(shí)影音流系統(tǒng)以及方法，在效能上，可以達(dá)到不增加影音提供者/接收者太多的計(jì)算負(fù)擔(dān)，不增加冗余影音數(shù)據(jù)以節(jié)省帶寬。某些相關(guān)研究采用增加I幀的做法，如此會增加冗余影音數(shù)據(jù)。某些相關(guān)研究采用FEC或MDC的編碼方式，如此會增加冗余數(shù)據(jù)與計(jì)算負(fù)擔(dān)。
[0057]本發(fā)明提出一個(gè)適應(yīng)網(wǎng)絡(luò)帶寬的實(shí)時(shí)影音流系統(tǒng)以及方法，適合用于使用者想要跟上最新進(jìn)度的應(yīng)用環(huán)境，例如在部分實(shí)施例中，適用于道路或大樓監(jiān)控、災(zāi)難現(xiàn)場直播、影音接收者之間或影音接收者與提供者之間有互動需求的影音直播(例如Call-1n節(jié)目、遠(yuǎn)程教學(xué)、購物節(jié)目、視頻會議)等。
[0058]本發(fā)明提出一個(gè)適應(yīng)網(wǎng)絡(luò)帶寬的實(shí)時(shí)影音流系統(tǒng)以及方法，適合用于影音接收者的硬件能力不高(例如手持裝置等)，以及影音提供者的資源也需要節(jié)約的情況(例如有限數(shù)目的服務(wù)器希望服務(wù)盡可能多的使用者)，或是點(diǎn)對點(diǎn)(Peer-to-Peer，P2P)架構(gòu)下每個(gè)點(diǎn)(Peer)也是一個(gè)影音提供者下使用。
[0059]本發(fā)明提出一個(gè)適應(yīng)網(wǎng)絡(luò)帶寬的實(shí)時(shí)影音流系統(tǒng)以及方法，在一實(shí)施例中，包括一或多個(gè)影音提供者與一或多個(gè)影音接收者，即所謂客戶端/服務(wù)器(Client/Server)架構(gòu))。在另一實(shí)施例中，本系統(tǒng)中的影音接收者亦可同時(shí)為影音提供者，也就是點(diǎn)對點(diǎn)(P2P)架構(gòu)下的每個(gè)點(diǎn)(Peer)。
[0060]在本發(fā)明所提出的系統(tǒng)與方法中，可將網(wǎng)絡(luò)的狀態(tài)分為至少四類，例如包括:
[0061]1.壅塞-數(shù)據(jù)匱乏狀態(tài):網(wǎng)絡(luò)可用帶寬低于比特傳輸率，以至于影音接收者緩沖器中的暫存數(shù)據(jù)量少于一閾值。
[0062]2.壅塞-數(shù)據(jù)耗盡狀態(tài):網(wǎng)絡(luò)可用帶寬低于比特傳輸率，以至于影音接收者緩沖器中的暫存數(shù)據(jù)已經(jīng)耗盡。
[0063]3.切換低比特率狀態(tài):網(wǎng)絡(luò)可用帶寬低于比特傳輸率的時(shí)間超過一閾值，且用帶寬評估技術(shù)確認(rèn)網(wǎng)絡(luò)可用帶寬適合選擇另一較低比特傳輸率的流。
[0064]4.切換高比特率狀態(tài):網(wǎng)絡(luò)可用帶寬高于比特傳輸率的時(shí)間超過一閾值，且用帶寬評估技術(shù)確認(rèn)網(wǎng)絡(luò)可用帶寬適合選擇另一較高比特傳輸率的流。
[0065]上述四個(gè)網(wǎng)絡(luò)的狀態(tài)，可以稱為需要進(jìn)行調(diào)整傳輸?shù)氖录唬坏┌l(fā)生此調(diào)整傳輸?shù)氖录?，可以使用本發(fā)明中適應(yīng)網(wǎng)絡(luò)帶寬的實(shí)時(shí)影音流的一至數(shù)個(gè)方法，而達(dá)到較平順且正確的播放效果。而在本發(fā)明中適應(yīng)網(wǎng)絡(luò)帶寬的實(shí)時(shí)影音流的一至數(shù)個(gè)方法中，可分別采用重要性下載順序方法、快速播放方法、切換比特率方法等，或是在這三種方法中根據(jù)設(shè)計(jì)上的需求而例如選擇其中的一或部分的組合達(dá)到預(yù)定的效果。
[0066]例如在以下多個(gè)實(shí)施例的網(wǎng)絡(luò)狀態(tài)中采用不同的組合:
[0067]1.在壅塞-數(shù)據(jù)匱乏狀態(tài)下，采用例如重要性下載順序方法，優(yōu)先下載重要數(shù)據(jù)。
[0068]2.在壅塞-數(shù)據(jù)耗盡狀態(tài)下，影音接收者暫停播放一小段時(shí)間，同時(shí)使用例如重要性下載順序方法優(yōu)先下載重要數(shù)據(jù)，再搭配快速播放方法播放上述重要數(shù)據(jù)以追上實(shí)時(shí)時(shí)間。
[0069]3.在切換低比特率狀態(tài)，可行立即切換方法判斷網(wǎng)絡(luò)狀況是否適合在新流于目前播放進(jìn)度之后第一個(gè)I幀出現(xiàn)前進(jìn)行切換。若是，則采用重要性下載順序方法下載新流中必要的數(shù)據(jù)并以快速播放方法播放它，然后回復(fù)正常播放。若不適合立即切換，則使用重要性下載順序方法及快速播放方法繼續(xù)播放原流，直到新流于目前播放進(jìn)度之后第一個(gè)I幀的播放時(shí)間切換至新流。[0070]4.在切換高比特率狀態(tài)，運(yùn)作方式原理同在切換低比特率狀態(tài)下的運(yùn)作方式。
[0071]本發(fā)明所提出適應(yīng)網(wǎng)絡(luò)帶寬的實(shí)時(shí)影音流系統(tǒng)以及方法，所傳輸?shù)囊曨l壓縮數(shù)據(jù)，適用于各種包括例如以下特性的壓縮數(shù)據(jù)。例如在壓縮的數(shù)據(jù)中，某部分的數(shù)據(jù)僅依賴本身信息即可解壓縮，而剩余的數(shù)據(jù)須依賴自身以外的數(shù)據(jù)才能解壓縮的特性。符合上述特質(zhì)的壓縮算法有例如國際標(biāo)準(zhǔn)組織(ISO)的移動畫面專家組(MPEG)系列、H.264標(biāo)準(zhǔn)、高效率視頻編碼(High Efficiency Video Coding, HEVC)。Η.264標(biāo)準(zhǔn)是在ISO組織中則納入MPEG-4地時(shí)部分(IS0/IEC14496-10)并命名為先進(jìn)視頻編碼(Advanced Video Coding,AVC)，通常合并稱為H.264/AVC。高效率視頻編碼(HEVC)是一個(gè)由IS0/IEC MPEG及ITU-TVCEG所共同開發(fā)，被認(rèn)為是H.264/AVC的后繼者并預(yù)期在未來會成為熱門的新一代視頻編碼標(biāo)準(zhǔn)。
[0072]為方便說明，以下的描述僅采用I幀、P幀、B幀來解釋，但H.264中所使用的1、P、B片段(Slice)或是任何用以編碼/譯碼視頻的單元都可適用于本發(fā)明所提出的系統(tǒng)及/或方法。
[0073]請參照圖1A與1B，為分別說明本發(fā)明所提出適應(yīng)網(wǎng)絡(luò)帶寬的實(shí)時(shí)影音流系統(tǒng)的不同實(shí)施例的架構(gòu)示意圖。在一實(shí)施例中，如圖1A所示，本發(fā)明所提出實(shí)時(shí)影音流系統(tǒng)可運(yùn)用在客戶端/服務(wù)器(Client/Server)架構(gòu)。服務(wù)器(Server) 200提供實(shí)時(shí)影音流給客戶端(Client) 100。由于服務(wù)器200經(jīng)由網(wǎng)絡(luò)傳輸提供影音流給想要跟上最新進(jìn)度的客戶端100，但因?yàn)榫W(wǎng)絡(luò)傳輸有其限制，因此，本實(shí)施例在此披露的所謂實(shí)時(shí)影音流，只要能符合系統(tǒng)所要求一定時(shí)間傳送到客戶端100的狀態(tài)，都可符合本實(shí)施例所謂的實(shí)時(shí)狀態(tài)或是接近實(shí)時(shí)的狀態(tài)，例如與記錄事件所對應(yīng)的影音流發(fā)生時(shí)間到傳送到客戶端100的時(shí)間是例如在十秒之內(nèi)，或是在二十秒之內(nèi)等等都可稱為實(shí)時(shí)或是接近實(shí)時(shí)的狀態(tài)，但并非以此為限制，而是以系統(tǒng)所要求的時(shí)間為主。例如道路或大樓監(jiān)控、災(zāi)難現(xiàn)場直播等等，所要求反應(yīng)的時(shí)間，會依照狀況有所差異。
[0074]在另一實(shí)施例中，如圖1B所示，本發(fā)明所提出實(shí)時(shí)影音流系統(tǒng)可運(yùn)用在點(diǎn)對點(diǎn)(P2P)架構(gòu)。服務(wù)器(SerVer)200提供實(shí)時(shí)影音流給客戶端(Client)300A。而客戶端(Client) 300A則是可以成為點(diǎn)對點(diǎn)(P2P)架構(gòu)下的一個(gè)點(diǎn)(Peer)。而其它的影音接收者，例如圖示中的客戶端(Client) 300B，則是可以從其它一至多個(gè)影音接收者下載影音數(shù)據(jù)，例如從客戶端300A取得實(shí)時(shí)影音流。在P2P架構(gòu)中，每個(gè)影音接收者還可以提供本身暫存的影音數(shù)據(jù)給一或多個(gè)影音接收者。
[0075]請參照圖2A?2C，其為本發(fā)明所提出關(guān)于實(shí)時(shí)影音流系統(tǒng)多個(gè)實(shí)施例的客戶端所使用的系統(tǒng)方塊示意圖，但并非以此為限制。
[0076]在一個(gè)實(shí)施例中，請參照圖2A，其為實(shí)時(shí)影音流系統(tǒng)的客戶端所使用的系統(tǒng)方塊示意圖。此客戶端100包括播放器(Player)210、緩沖單元220、帶寬評估器(BandwidthEstimator) 230以及下載器(Downloader) 240。而用以達(dá)成本發(fā)明所提出實(shí)時(shí)影音流系統(tǒng)的客戶端100所使用的系統(tǒng)包括巾貞請求模塊(Frame Demander) 260。
[0077]上述在客戶端100所使用的系統(tǒng)可以是由個(gè)別單獨(dú)物理設(shè)備所執(zhí)行，也可以是由處理器(Processor)執(zhí)行儲存在內(nèi)存裝置內(nèi)的韌體或是軟件模塊。上述的方式都可達(dá)到本發(fā)明所提出實(shí)時(shí)影音流的系統(tǒng)。下載器240用以接收編碼數(shù)據(jù)，并傳送到緩沖單元220。而緩沖單元220則是連接到播放器210與幀請求模塊260。[0078]播放器210可以是目前市面上已有的主流播放器，例如快閃播放器(Fl ashplayer),也可以是自行開發(fā)的播放器，并播出聲音與視頻(Audio/Video, A/V)數(shù)據(jù)。緩沖單元220是位于播放器210外部的緩存單元器，用以緩沖暫存欲提供給播放器210的影音數(shù)據(jù)，例如帶有流通訊協(xié)議(例如RTMP)信息的影音數(shù)據(jù)。此緩沖單元220包括緩沖器(Buffer) 222以及一緩沖器監(jiān)控模塊(Buffer Monitor) 224。緩沖器監(jiān)控模塊224用來監(jiān)控緩沖器222存量是否不足。帶寬評估器230利用帶寬評估機(jī)制來評估目前的影音提供者到自身，以及其它可能的影音提供者到自身的可用帶寬。下載器240用來下載影音數(shù)據(jù)。幀請求模塊260傳送一幀請求給影音提供者，用以提供必要信息給影音提供者，請其改變影音數(shù)據(jù)傳送的優(yōu)先級。
[0079]在一個(gè)實(shí)施例中，請參照圖2B，其為實(shí)時(shí)影音流系統(tǒng)的客戶端所使用的系統(tǒng)方塊示意圖。此客戶端100包括播放器210、緩沖單元220、帶寬評估器230以及下載器240。而用以達(dá)成本發(fā)明所提出實(shí)時(shí)影音流系統(tǒng)的客戶端100所使用的系統(tǒng)包括時(shí)戳調(diào)整模塊(Timestamp Regulator) 250 以及巾貞請求模塊(Frame Demander) 260。
[0080]與圖2A相同的元件用相同的標(biāo)號表示，在此不再冗述。下載器240連接到時(shí)戳調(diào)整模塊250，用以接收編碼數(shù)據(jù)，并傳送到時(shí)戳調(diào)整模塊250。緩沖單元220則是連接到播放器210、時(shí)戳調(diào)整模塊250與幀請求模塊260。時(shí)戳調(diào)整模塊250將編碼數(shù)據(jù)傳送到緩沖單元220暫存。
[0081]下載器240用來下載影音數(shù)據(jù)。時(shí)戳調(diào)整250接收來自下載器240所下載的影音數(shù)據(jù)，并將某些特定視頻數(shù)據(jù)的播放時(shí)間進(jìn)行修改，使其根據(jù)修改的時(shí)戳(Timestamp)調(diào)整播放的速度。幀請求模塊260傳送一幀請求給影音提供者，用以提供必要信息給影音提供者，請其改變影音數(shù)據(jù)傳送的優(yōu)先級。
[0082]在一個(gè)實(shí)施例中，請參照圖2C，其為實(shí)時(shí)影音流系統(tǒng)的客戶端所使用的系統(tǒng)方塊示意圖。此客戶端100包括播放器210、緩沖單元220、帶寬評估器230以及下載器240。而用以達(dá)成本發(fā)明所提出實(shí)時(shí)影音流系統(tǒng)的客戶端100所使用的系統(tǒng)包括時(shí)戳調(diào)整模塊250、巾貞請求模塊260、以及流請求模塊(Stream demander) 270。
[0083]與圖2A相同的元件用相同的標(biāo)號表示，在此不再冗述。下載器240連接到時(shí)戳調(diào)整模塊250，用以接收編碼數(shù)據(jù)，并傳送到時(shí)戳調(diào)整模塊250。緩沖單元220則是連接到播放器210、時(shí)戳調(diào)整模塊250、幀請求模塊260、以及流請求模塊270。時(shí)戳調(diào)整模塊250將編碼數(shù)據(jù)傳送到緩沖單元220暫存。
[0084]時(shí)戳調(diào)整250接收來自下載器240所下載的影音數(shù)據(jù)，并將某些特定視頻數(shù)據(jù)的播放時(shí)間進(jìn)行修改，使其根據(jù)修改的時(shí)戳(Timestamp)調(diào)整播放的速度。幀請求模塊260傳送一幀請求給影音提供者，用以提供必要信息給影音提供者，請其改變影音數(shù)據(jù)傳送的優(yōu)先級。流請求模塊270傳送一比特率請求給影音提供者，用來提供必要信息給影音提供者，請其提供不同比特率的新流影音數(shù)據(jù)給客戶端100。
[0085]請參照圖3，其為本發(fā)明的一個(gè)實(shí)施例的實(shí)時(shí)影音流系統(tǒng)的服務(wù)器所使用的系統(tǒng)方塊示意圖。服務(wù)器200以一流服務(wù)器(Stream Server)進(jìn)行說明，但并非以此為限制。服務(wù)器200至少包括上傳器(Uploader) 310以及至少一個(gè)緩沖器。為方便說明，在此僅以圖示所標(biāo)示的緩沖器340?344為例，但并非以此為限制。為達(dá)成本發(fā)明所提出實(shí)時(shí)影音流系統(tǒng)的服務(wù)器200的功能，服務(wù)器200可以選擇性地包括排程器(Scheduler) 320以及/或是切換器(Switcher) 330，此為根據(jù)客戶端的需求而有不同的實(shí)施方式。例如客戶端為圖2A的架構(gòu)，則配合的服務(wù)器200可只包括排程器320。例如客戶端為圖2C的架構(gòu)，則配合的服務(wù)器200可須包括排程器320以及切換器330。
[0086]上傳器310用來將數(shù)據(jù)傳送給下一階段的影音接收者，例如圖2所述的客戶端100。排程器320用來調(diào)整要傳送給影音接收者的數(shù)據(jù)的傳送順序。切換器330用來判斷要從新流的哪個(gè)播放時(shí)間點(diǎn)開始提供數(shù)據(jù)，以及提供那些數(shù)據(jù)。而緩沖器340?344中的每個(gè)緩沖器儲存一種對應(yīng)的比特傳輸率的流數(shù)據(jù)。
[0087]請參照圖4A?4C，其為本發(fā)明多個(gè)實(shí)施例的實(shí)時(shí)影音流系統(tǒng)的客戶端所使用的系統(tǒng)方塊示意圖。
[0088]請參照圖4A，其為本發(fā)明的一個(gè)實(shí)施例的實(shí)時(shí)影音流系統(tǒng)的客戶端所使用的系統(tǒng)方塊示意圖。在此實(shí)施例中，為說明圖1所示點(diǎn)對點(diǎn)(P2P)架構(gòu)下的一個(gè)點(diǎn)(Peer)的客戶端(Client) 300A系統(tǒng)方塊示意圖?？蛻舳?Client) 300A包括播放器210、緩沖單元220、帶寬評估器230以及下載器240、以及幀請求模塊260。為了扮演點(diǎn)對點(diǎn)(P2P)架構(gòu)下的一個(gè)影音提供者，此客戶端300A還包括上傳器(Uploader)310以及排程器(Scheduler) 320。本實(shí)施例中與圖2A及圖3相同元件以相同的標(biāo)號表示，在此不再冗述。緩沖器222將數(shù)據(jù)傳送到上傳器310，再經(jīng)由上傳器310傳送到點(diǎn)對點(diǎn)(P2P)架構(gòu)下的下一個(gè)點(diǎn)(Peer)。
[0089]請參照圖4B，其為本發(fā)明的一個(gè)實(shí)施例的實(shí)時(shí)影音流系統(tǒng)的客戶端所使用的系統(tǒng)方塊示意圖。在此實(shí)施例中，為說明點(diǎn)對點(diǎn)(P2P)架構(gòu)下的一個(gè)點(diǎn)(Peer)的客戶端(Client) 300A’系統(tǒng)方塊示意圖?？蛻舳?Client) 300A’包括播放器210、緩沖單元220、帶寬評估器230以及下載器240、時(shí)戳調(diào)整模塊250以及幀請求模塊260。為了扮演點(diǎn)對點(diǎn)(P2P)架構(gòu)下的一個(gè)影音提供者，此客戶端300A還包括上傳器(Uploader) 310以及排程器320。本實(shí)施例中與圖2B及圖3相同元件以相同的標(biāo)號表示，在此不再冗述。在此實(shí)施例中，此客戶端300A’還包括一時(shí)戳復(fù)位模塊440，連接到時(shí)戳調(diào)整模塊250，用以將被時(shí)戳調(diào)整模塊250所修改過的播放時(shí)間信息修改回來或是修改為適合下一階影音接收者所要使用的影音流信息時(shí)間戳記，再經(jīng)由上傳器310傳送到點(diǎn)對點(diǎn)(P2P)架構(gòu)下的下一個(gè)點(diǎn)(Peer)。
[0090]請參照圖4C，其為本發(fā)明的一個(gè)實(shí)施例的實(shí)時(shí)影音流系統(tǒng)的客戶端所使用的系統(tǒng)方塊示意圖。在此實(shí)施例中，為說明圖1所示點(diǎn)對點(diǎn)(P2P)架構(gòu)下的一個(gè)點(diǎn)(Peer)的客戶端(Client) 300A”系統(tǒng)方塊示意圖?？蛻舳?Client) 300A”包括播放器210、緩沖單元220、帶寬評估器230以及下載器240、時(shí)戳調(diào)整模塊250、幀請求模塊260、以及流請求模塊270。為了扮演點(diǎn)對點(diǎn)(P2P)架構(gòu)下的一個(gè)影音提供者，此客戶端300A”還包括上傳器310、排程器320以及切換器(Switcher) 330。本實(shí)施例中與圖2C及圖3相同元件以相同的標(biāo)號表示，在此不再冗述。在此實(shí)施例中，此客戶端300A”還包括一時(shí)戳復(fù)位模塊(TimestampRestorer) 440，連接到時(shí)戳調(diào)整模塊250，用以將被時(shí)戳調(diào)整模塊250所修改過的播放時(shí)間信息修改回來或是修改為適合下一階影音接收者所要使用的影音流信息時(shí)間戳記，再經(jīng)由上傳器310傳送到點(diǎn)對點(diǎn)(P2P)架構(gòu)下的下一個(gè)點(diǎn)(Peer)。
[0091]在此必需注意的是,本
【發(fā)明內(nèi)容】
的圖式或上述實(shí)施例中，所述許多功能單元標(biāo)示為功能方塊或模塊，是為了具體地強(qiáng)調(diào)其實(shí)施獨(dú)立性。例如，可將功能方塊或模塊實(shí)施為硬件電路，其包含自訂VLSI電路或門極陣列、如邏輯芯片的現(xiàn)成半導(dǎo)體、晶體管、或其它離散元件。亦可在可編程硬設(shè)備中實(shí)施模塊，如可編程柵極陣列、可編程陣列邏輯、可編程邏輯設(shè)備、或其類似物。亦可在利用各種類型的處理器執(zhí)行的軟件中實(shí)施模塊。例如，可執(zhí)行碼的識別模塊包含計(jì)算機(jī)指令的一或多個(gè)物理或邏輯區(qū)塊，例如，可將這些區(qū)塊組織為對象、程序、或功能。然而，識別模塊的可執(zhí)行文件物理上不一定位于一起，而是可包含儲存于不同位置的不同指令，這些指令當(dāng)邏輯結(jié)合一起時(shí)將包含模塊并達(dá)成模塊的指定目的。
[0092]可執(zhí)行碼模塊可為單一指令或許多指令，并可分布于數(shù)個(gè)不同程序代碼片段上、不同程序中、及數(shù)個(gè)內(nèi)存裝置上。同樣地，操作數(shù)據(jù)在此可識別及說明于模塊內(nèi)，并可以任何合適形式體現(xiàn)及組織于任何合適類型的數(shù)據(jù)結(jié)構(gòu)內(nèi)?？墒占僮鲾?shù)據(jù)為單一數(shù)據(jù)集，或操作數(shù)據(jù)可分布于不同位置(包括分布于不同的儲存設(shè)備)，且操作數(shù)據(jù)可僅作為電子信號至少局部地存在。
[0093]具體方法步驟
[0094]本發(fā)明所使用的方法，將以下面的實(shí)施例加以說明，但本發(fā)明并不僅限于以下的實(shí)施例。所有與下列實(shí)施例類似的應(yīng)用場合，皆可使用本發(fā)明所提出的系統(tǒng)與方法。本發(fā)明使用主流視頻壓縮算法，例如MPEG系列、H.263、H.264等等，所使用的I幀、P幀、B幀或是1、P、B片段(Slice)都可用來解釋本發(fā)明的方法。
[0095]重要性下載順序方法
[0096]本發(fā)明所提出的方法，在一實(shí)施例中，提出一種重要性下載順序的運(yùn)作方法，內(nèi)容如下所述，并請參照圖5進(jìn)行說明。
[0097]首先，步驟S502，影音接收者的緩沖器監(jiān)控模塊可以周期性或隨時(shí)地監(jiān)測緩沖器的存量，影音接收者的帶寬評估器可以周期性或隨時(shí)地監(jiān)測網(wǎng)絡(luò)可用帶寬。
[0098]步驟S510，緩沖器監(jiān)控模塊判斷緩沖器的存量是否低于一閾值(以Thl表示)，若否，則持續(xù)監(jiān)控。若是，則影音接收者的幀請求模塊可針對未來某一段要下載的影音數(shù)據(jù)進(jìn)行如以下的方式處理。步驟S512，影音接收者取得影音數(shù)據(jù)相關(guān)信息，例如所接收影音內(nèi)容的圖像組(Group of Picture，以下簡稱GOP)信息、影音提供者的數(shù)量、是否使用網(wǎng)絡(luò)編碼(Network Coding)技術(shù)、該要被下載的編碼數(shù)據(jù)的播出時(shí)間、預(yù)測數(shù)據(jù)量大小、預(yù)測解碼時(shí)間、可用帶寬等信息。
[0099]上述圖像組(GOP)信息例如是在MPEG視頻編碼中，圖像組(GOP)即I幀和I幀之間的幀排列。圖像組就是一組以MPEG編碼的圖片或視頻流內(nèi)部的連續(xù)圖像。每一個(gè)以MPEG編碼的影片或視頻流都由連續(xù)的圖像組組成。
[0100]取得上述的信息后，影音接收者可以決定處理方式，在一實(shí)施例中，將這些影音數(shù)據(jù)自行根據(jù)重要性排序方法進(jìn)行排序后，再將排序的結(jié)果傳送給單一或是多個(gè)影音提供者，例如步驟S514?S516。在步驟S514中，影音接收者的幀請求模塊(Frame Demander)會依據(jù)一類型-緊迫性準(zhǔn)則判斷與指定取得的影音數(shù)據(jù)相關(guān)信息的重要性，并依據(jù)該重要性對未來要接收的一段影音數(shù)據(jù)進(jìn)行排序。而后在步驟S516，影音提供者收到影音接收者送來的請求是“排序結(jié)果”時(shí)，除了根據(jù)此排序結(jié)果對后續(xù)傳送的影音數(shù)據(jù)更新傳送排列順序夕卜，在另外一實(shí)施例中，影音提供者的排程器(Scheduler)還可以再依據(jù)額外指定的策略，例如廣告商要求一定要傳送有出現(xiàn)他們商標(biāo)的畫面、或是場景分析程序判斷某災(zāi)難畫面疑似出現(xiàn)人影等等特定的策略，改變畫面的重要性，以調(diào)整傳送排列順序。
[0101]在另一實(shí)施例中，影音接收者單純地將取得的影音數(shù)據(jù)相關(guān)信息，例如與排序相關(guān)的參考信息(網(wǎng)絡(luò)可用帶寬、目前播放進(jìn)度、緩沖器的存量現(xiàn)狀等等)傳給影音提供者請其代為決定未來某一段要傳送的數(shù)據(jù)的傳送順序，如步驟S518?S520。
[0102]如步驟S518，影音接收者的幀請求模塊將取得的影音數(shù)據(jù)中與排序相關(guān)的參考信息，例如:網(wǎng)絡(luò)可用帶寬、目前播放進(jìn)度、緩沖器現(xiàn)狀或上述信息的處理結(jié)果，傳送給影音提供者。步驟S520，影音提供者的排程器綜合此排序參考信息依據(jù)類型-緊迫性準(zhǔn)則及/或根據(jù)一額外指定的策略，決定未來某一段要傳輸?shù)挠耙魯?shù)據(jù)的順序，也就是依照重要性進(jìn)行排序。
[0103]步驟S522，影音提供者根據(jù)上述不同的處理方式?jīng)Q定的重要順序依序傳送編碼數(shù)據(jù)。每傳送若干個(gè)畫面、或每傳送完一個(gè)排程、或每經(jīng)過一固定或非固定時(shí)間，影音接收者或影音提供者可根據(jù)最新的可用帶寬信息以上述方式微調(diào)目前排序。同時(shí)，影音接收者或影音提供者會檢查目前排序的這一段編碼數(shù)據(jù)，是否會影響下一段要被排序的編碼數(shù)據(jù)的傳送。若不會影響，則繼續(xù)傳送目前排序的編碼數(shù)據(jù)。若產(chǎn)生影響，則中斷傳送目前排序的編碼數(shù)據(jù)。跳到步驟S502以對下一段影音數(shù)據(jù)傳送順序做排序。
[0104]步驟S524，若緩沖器監(jiān)控模塊發(fā)現(xiàn)緩沖器的存量已經(jīng)超過另一閾值(以下以Th2表示)，其中Thl < Th2 (以避免傳輸順序于重要性順序和編碼順序兩者之間頻繁切換)，影音接收者告知影音提供者于下一段未排程影音數(shù)據(jù)開始傳送時(shí)，恢復(fù)原來的傳輸模式(即依照原有的編碼順序傳送)。
[0105]上述重要性下載順序方法適用于許多情境，例如下面的情境，但并非以此為限制。
[0106]場景1:單一影音提供者，每個(gè)圖像組(GOP)的結(jié)構(gòu)已知(如:某些編碼器采固定的圖像組(GOP)結(jié)構(gòu))。
[0107]場景2:單一影音提供者，每個(gè)圖像組(GOP)的結(jié)構(gòu)未知(如:某些編碼器會依據(jù)場景變化增減I幀的出現(xiàn)頻率)。
[0108]場景3:多個(gè)影音提供者，每個(gè)圖像組(GOP)的結(jié)構(gòu)已知，影音數(shù)據(jù)無再經(jīng)過網(wǎng)絡(luò)編碼(Network Coding)等編碼技術(shù)編碼。
[0109]場景4:多個(gè)影音提供者，每個(gè)圖像組(GOP)的結(jié)構(gòu)已知，影音數(shù)據(jù)有再經(jīng)過網(wǎng)絡(luò)編碼(Network Coding)等編碼技術(shù)編碼。
[0110]場景5:多個(gè)影音提供者，每個(gè)圖像組(GOP)的結(jié)構(gòu)未知，影音數(shù)據(jù)無再經(jīng)過網(wǎng)絡(luò)編碼(Network Coding)等編碼技術(shù)編碼。
[0111]場景6:多個(gè)影音提供者，每個(gè)圖像組(GOP)的結(jié)構(gòu)未知，影音數(shù)據(jù)有再經(jīng)過網(wǎng)絡(luò)編碼(Network Coding)等編碼技術(shù)編碼。
[0112]在上述場景I或4中，則不論是影音接收者或影音提供者都可以對某段要被排序的影音數(shù)據(jù)進(jìn)行排序。
[0113]在上述場景2或6中，由影音提供者對某段要被排序的影音數(shù)據(jù)進(jìn)行排序較為合適，因?yàn)樘峁┱呖奢^接收者更早得知要被排序的影音數(shù)據(jù)的圖像組(GOP)結(jié)構(gòu)。
[0114]在上述場景3或5中，由影音接收者對某段要被排序的影音數(shù)據(jù)進(jìn)行排序較為合適，因?yàn)榇藞鼍跋虏煌挠耙籼峁┱唛g不易合作。影音接收者依據(jù)從各個(gè)影音提供者取得其所知的圖像組(GOP)結(jié)構(gòu)信息的聯(lián)集，進(jìn)行排序。
[0115]不論上述哪一場景，皆須每隔一段時(shí)間便對某一段數(shù)據(jù)計(jì)算重要性。在本發(fā)明的實(shí)施例中，所提到每隔一段時(shí)間便對某一段數(shù)據(jù)計(jì)算重要性，系針對圖像組(GOP)中所有畫面，以及這些畫面播放時(shí)間內(nèi)的聲音數(shù)據(jù)。為方便說明，被評估重要性的視頻與聲音數(shù)據(jù)，稱為評估對象集合。然而，若GOP中的畫面數(shù)目不多，為節(jié)省控制花費(fèi)，本發(fā)明的方法可適用于連續(xù)的數(shù)個(gè)GOP視為一個(gè)評估對象集合。若一個(gè)GOP的播放時(shí)間長度很長，為了提升效率，本發(fā)明也可將此GOP分割為數(shù)個(gè)評估對象集合。
[0116]當(dāng)需要執(zhí)行重要性下載順序方法時(shí)，目前下載中的GOP里的畫面，尚未下載者，以及這些畫面的播放時(shí)間內(nèi)的聲音數(shù)據(jù)，即為第一個(gè)評估對象集合。每次進(jìn)行評估前，須先計(jì)算下一個(gè)評估對象集合的最重要數(shù)據(jù)(可能為此GOP的I幀或聲音數(shù)據(jù))的最遲啟動下載時(shí)間，才能知道目前的評估對象集合可以使用多少時(shí)間來下載。
[0117]在上述的實(shí)施例中，此重要性下載順序指的是根據(jù)一指標(biāo)參數(shù)進(jìn)行調(diào)整，例如是根據(jù)數(shù)據(jù)所計(jì)算而得的重要性進(jìn)行調(diào)整，但并非以此為限制，只要能作為下載順序調(diào)整的任何因素的組合都可以稱為重要性參數(shù)，此須視設(shè)計(jì)上的需要而變化。例如可以是接收影音內(nèi)容的圖像組(GOP)信息、被評估的所述編碼數(shù)據(jù)的播出時(shí)間、預(yù)測數(shù)據(jù)量大小、預(yù)測譯碼時(shí)間、可用帶寬、所述編碼數(shù)據(jù)提供來源的數(shù)量或所述編碼數(shù)據(jù)是否采用網(wǎng)絡(luò)編碼(Network Coding)方式。在另外一實(shí)施例中，還可以再依據(jù)額外指定的策略,例如廣告商要求一定要傳送有出現(xiàn)他們商標(biāo)的畫面、或是場景分析程序判斷某災(zāi)難畫面疑似出現(xiàn)人影等等特定的策略，改變畫面的重要性，以調(diào)整傳送排列順序。
[0118]以圖6為實(shí)施例，說明判斷每個(gè)I幀的最遲啟動下載時(shí)間的方法示意圖。對于其它的信息，例如聲音的判斷原理與此實(shí)施例相同，也就是也可適用于此實(shí)施例所描述的方法，因此在此不再贅述。
[0119]首先，令影音接收者在數(shù)據(jù)不虞匱乏情況下，第Y個(gè)播放的畫面的識別碼為Y，且播放的第一個(gè)畫面的識別碼為I (識別碼即為圖6中每個(gè)畫面內(nèi)上方的數(shù)字，畫面以菱形表示)。若某一 I幀的識別碼為η,且此流的幀率(Frame Rate)固定為x幀/每秒(Framesper second, fps)，也就是每張畫面的呈現(xiàn)時(shí)間為l/χ秒。除此之外，此影音接收者的播放器于時(shí)間tstart時(shí)開始播放(緩沖器監(jiān)控模塊觀察到已傳送播放器認(rèn)可的安全緩沖時(shí)間長度ts也的數(shù)據(jù)量給播放器的時(shí)間點(diǎn)即為tstart)，則識別碼為η的I幀應(yīng)該于tstart+(n/x)秒時(shí)候播出。
[0120]若以下面的方式判斷，在未來一段適宜時(shí)間內(nèi)的可用帶寬為W，識別碼為η的I幀的數(shù)據(jù)量大小預(yù)測值s和解碼花費(fèi)時(shí)間預(yù)測值如此便可求得識別碼為η的I幀由影音提供者送出的最遲啟動下載時(shí)間I^urgmt = (tstart+n/x)-td_je-(s/w)。此法也可用來評估P幀、B幀和聲音的最遲啟動下載時(shí)間。
[0121]在此假設(shè)目前時(shí)間加上影音接收者發(fā)送請求到影音提供者的花費(fèi)時(shí)間所得的時(shí)間點(diǎn)為t，且下一評估對象集合的I幀的最遲啟動下載時(shí)間為t’，則目前評估對象集合的可用下載時(shí)間即是t’ -t。
[0122]開始排序前，還有一點(diǎn)須注意的是，當(dāng)影音接收者來指定數(shù)據(jù)的重要性時(shí)，聲音數(shù)據(jù)的重要性可由例如影片類型(如:演講節(jié)目則聲音重要，武打節(jié)目則聲音不重要)決定、使用者手動指定、或是影音提供者周期性地事先告知影音接收者接下來的評估對象的聲音重要程度等方式來決定。
[0123]若聲音為最重要，可先下載評估對象集合里的全部聲音再開始下載畫面，令全部聲音數(shù)據(jù)下載需花費(fèi)T s_d，則畫面僅分配到t’ -t-τ s_d的時(shí)間來評估重要性。若聲音最不重要，則可留到最后下載。若聲音重要性介于I幀與P幀之間，可以先下載完I幀，再下載聲音，然后剩余時(shí)間留給P幀與B幀。如果聲音重要性介于P幀與B幀之間，可以先下載完I幀與P幀后，再下載聲音，然后剩余時(shí)間留給B幀。若聲音重要性等同于P幀，則每下載一個(gè)P幀，就把該下載P幀與其上一參考畫面之間的聲音下載下來(可先P幀或先聲音)。
[0124]本發(fā)明中的實(shí)施例中，重要性以數(shù)值為例表示，數(shù)值越大表示越重要。重要性最大值為M+1，最小值為O。M值須比評估對象集合中的個(gè)數(shù)還多，且建議為一正整數(shù)，也可以是實(shí)數(shù)或任何可用以程度差異的數(shù)值皆適用于此實(shí)施例。
[0125]以上述場景I為例說明，也就是以單一影音提供者為例，每個(gè)圖像組(GOP)的結(jié)構(gòu)已知。影音接收者先以數(shù)據(jù)類型(聲音、1、P、B)和播放時(shí)間的緊迫性來指定重要性，這種指定法稱為類型-緊迫性。采用類型來指定重要性的精神為若一畫面譯碼失敗時(shí)會造成越多的畫面譯碼不正確，則該畫面越重要。采用緊迫性來指定重要性的精神為越是快要被播放到的數(shù)據(jù)越容易錯(cuò)失播放時(shí)機(jī)，故越重要。
[0126]依數(shù)據(jù)類型配置重要性
[0127]關(guān)于指定I幀的重要性，可配置為M。
[0128]關(guān)于指定聲音的重要性，則可根據(jù)以下的規(guī)則，包括⑴若聲音比I幀重要，則聲音重要性為M+1。(2)若聲音最不重要，則聲音重要性為O。(3)若聲音重要性介于1、P幀之間，聲音重要性為M-1。(4)如果聲音重要性介于P、B幀之間，則聲音的重要性設(shè)為最后一個(gè)P幀的重要性減I。之后此P幀的重要性若改變?yōu)閐，聲音的重要性就跟著改變?yōu)閐-1。
(5)若聲音重要性等同于P(或B)幀，則把每個(gè)P(或B)幀及其對應(yīng)到的聲音的重要性設(shè)為相同，這里所謂的對應(yīng)到的聲音是指該P(yáng)(或B)幀與前一幀、或該P(yáng)(或B)幀與后一幀的播放時(shí)間點(diǎn)之間的聲音。之后此P(或B)幀的重要性若改變?yōu)閐，對應(yīng)聲音的重要性就跟著改變?yōu)閐。
[0129]關(guān)于指定P幀的重要性。把M?O中未配置的值，從大到小配置給播放時(shí)間由最舊到最新的P幀。例如，評估對象集合中有3張P幀:P1、P2、P3，且Pl比P2早播出，P2比P3早播出。目前重要性M已配置給I幀，重要性M-1已配置給聲音，則可以將Pl配置重要性M-2，P2配置重要性M-3，則P3配置重要性M-4。
[0130]關(guān)于指定B幀重要性，可依照以下的規(guī)則，包括(I)播放時(shí)間上連續(xù)的B幀視為一組B畫面群，從播放時(shí)間最早的B畫面群到播放時(shí)間最晚的B畫面群中，各挑出此畫面群中數(shù)據(jù)量最大的B畫面來。例如評估對象若為I1、B3、B4、P2、B5、B6，則B3、B4是一個(gè)畫面群，B5、B6是一個(gè)畫面群。假設(shè)數(shù)據(jù)量方面是B3 > B4,B6 > B5，則第一次會挑出B3和B6。
(2)把M?O中未配置的值，從大到小配置給上述挑出來的B畫面(從數(shù)據(jù)量大的往數(shù)據(jù)量小的配置。若有數(shù)個(gè)B畫面的數(shù)據(jù)量一樣大，則再以播放時(shí)間最早的往最晚的配置)。假設(shè)目前M?M-2已配置，上例中B3數(shù)據(jù)量比B6大，則B3會被配置為重要性M_3，B6會被配置為重要性M-4。(3)若還有B畫面未被指定重要性，跳到前述步驟(1)，直到全部的B畫面已被指定重要性。
[0131]目前只以數(shù)據(jù)類型來指定重要性。上述方法可以顧慮到數(shù)據(jù)譯碼的相依性，B畫面分布的均勻性(播放畫面會較不均勻分布的平順)，及信息量較大的B畫面較數(shù)據(jù)量小的B畫面優(yōu)先。
[0132]依播放時(shí)間緊迫性配置重要性[0133]依據(jù)播放時(shí)間的緊迫性來調(diào)整影音數(shù)據(jù)的重要性的一個(gè)實(shí)施例中，采用一類似氣泡排序法的方式來調(diào)整，此法的計(jì)算量很小。
[0134]若所有比還未調(diào)整的B幀還重要的數(shù)據(jù)的下載時(shí)間總和，已經(jīng)超過此次評估對象集合的可用下載時(shí)間(先前提及的t’ _t)，則無需再依據(jù)播放時(shí)間的緊迫性來調(diào)整影音數(shù)據(jù)的重要性。
[0135]若所有比還未調(diào)整的B幀還重要的數(shù)據(jù)的下載時(shí)間總和，尚未超過此次評估對象集合的可用下載時(shí)間(先前提及的t’-t)，則目前還未調(diào)整完畢的B幀中重要性最大者，試著和符合下列條件者交換重要性:(I)重要性比該B幀大I ; (2)該交換數(shù)據(jù)不是該B幀解碼時(shí)所需直接或間接參照的數(shù)據(jù)；(3)該交換數(shù)據(jù)是否可于其最遲啟動下載時(shí)間之前啟動下載的可能性，不因交換而改變；(4)該交換數(shù)據(jù)下載完畢時(shí)間是否超過下一評估對象中最重要數(shù)據(jù)的最遲啟動下載時(shí)間的可能性，不因交換而改變。
[0136]當(dāng)沒有符合上述條件的交換數(shù)據(jù)時(shí)，若該調(diào)整中的B幀的下載時(shí)間沒有超過其最遲啟動下載時(shí)間，且其下載完畢時(shí)間也不超過下一評估對象中最重要數(shù)據(jù)的最遲啟動下載時(shí)間的話，則此B幀調(diào)整完畢。反之，則恢復(fù)該調(diào)整中的B幀所做過的所有調(diào)整，然后該B中貞視為調(diào)整完畢。
[0137]以下實(shí)施例配合圖7A~7C說明如何使用類型-緊迫性方法依據(jù)數(shù)據(jù)的類型來調(diào)整影音數(shù)據(jù)的重要性的過程示意圖。為簡化說明，此例并不包括聲音數(shù)據(jù)。圖7A顯示一評估對象集合包括 nl、n+3P、n+lB、n+2B、n+6P、n+4B、n+5B、n+9P、n+7B、n+8B。在此 1、P、B 分別指的是I幀、P幀、B幀，而前列數(shù)字代表播放順序。依據(jù)上述所提出的依數(shù)據(jù)類型配置重要性的方法后，上述數(shù)據(jù)分別得到重要性M、M-1、M-4、M-8、M-2、M-9、M-5、M-3、M-6、M-7，這同時(shí)也是其暫定的傳輸順序。圖7B顯示這些畫面數(shù)據(jù)的最遲啟動下載時(shí)間及其參考信息。此實(shí)施例中的流每秒有10張畫面，比特傳輸率是2000Kbps，評估近期未來的可用帶寬是1600Kbps。圖7C畫出本發(fā)明的實(shí)施例中，目前的傳輸策略，其中時(shí)間軸上的標(biāo)示表示該畫面的最遲啟動下載時(shí)間，虛線表示下一評估對象的最重要數(shù)據(jù)的最遲啟動下載時(shí)間，在此例子中也就是 10.5 的時(shí)間。評估對象111、11+3?、11+6?、11+9?、11+18、11+58、11+78、11+88、11+28、n+4B的預(yù)測傳輸時(shí)間分別為tl、t2、t2、t2、t3、t3、t4、t4、t5、t5，其系對應(yīng)傳輸數(shù)據(jù)的大小除以評估近期未來的可用帶寬。
[0138]圖7C可以看出，本發(fā)明所提出的方法的實(shí)施例，對于目前所指定之重要性的傳輸效果。目前可以確保nl、n+3P、n+6P、n+9P這4張畫面及時(shí)抵達(dá)影音接收者。
[0139]圖8A、8B、8C為說明本發(fā)明的多個(gè)實(shí)施例之一，依據(jù)播放時(shí)間的緊迫性來調(diào)整影音數(shù)據(jù)的重要性的過程示意圖。圖8A、8B、8C顯示依據(jù)上述方法的實(shí)施例中，執(zhí)行依據(jù)播放時(shí)間的緊迫性來調(diào)整影音數(shù)據(jù)的重要性的過程。
[0140]圖8A顯示η+1Β、η+5Β提升重要性的過程，η+lB先與n+9P互換。η+lB再與n+6P互換。接著因?yàn)棣?lB解碼需要n+3P，所以不可互換。又η+lB此時(shí)的重要性不能使它在其最遲啟動時(shí)間前開始下載，故η+lB所做的調(diào)整全部復(fù)原(即η+lB和n+6P換回來，然后η+1Β和n+9P再換回來)。
[0141]接著，n+5B先與η+lB互換。n+5B再與n+9P互換。接著因?yàn)閚+5B解碼需要n+6P，所以不可互換。又n+5B此時(shí)的重要性可使它在其最遲啟動時(shí)間前開始下載，且不影響被交換的Π+9Ρ下載完畢時(shí)間是否超過n+101的最遲啟動下載時(shí)間的可能性，故n+5B調(diào)整完畢。[0142]圖8B顯示n+7B、n+8B提升的過程，n+7B先與η+1Β互換。接著因?yàn)閚+7B解碼需要n+9P，所以不可互換。又n+7B此時(shí)的重要性會延誤n+10I的下載，故n+7B所做的調(diào)整全部復(fù)原(即n+7B和η+lB再換回來)。
[0143]接著，n+8B先與n+7B互換。n+8B再與η+lB互換。接著因?yàn)閚+8B解碼需要n+9P，所以不可互換。又n+8B此時(shí)的重要性會延誤n+10I的下載，故n+8B所做的調(diào)整全部復(fù)原(即n+8B先和η+lB換回來，n+8B再和n+7B換回來)。
[0144]圖8C顯示n+2B提升的過程，n+2B先與n+8B互換。n+2B再與n+7B互換。n+2B再與η+lB互換。n+2B再與n+9P互換。n+2B再與n+5B互換。n+2B再與n+6P互換。接著因?yàn)閚+2B解碼需要n+3P，所以不可互換。又n+2B此時(shí)的重要性可使它在其最遲啟動時(shí)間前開始下載，且不影響被交換的畫面的下載完畢時(shí)間是否超過η+lOI的最遲啟動下載時(shí)間的可能性，故n+2B調(diào)整完畢。此時(shí)該評估對象集合的可用傳輸時(shí)間已用罄，n+4B可不用嘗試提升。
[0145]在上述實(shí)施例中，本發(fā)明可以確保有6張正確解碼的畫面及時(shí)抵達(dá)影音接收者。
[0146]在上述場景I中，影音提供者若非收到影音接收者依類型-緊迫性方法所指定的重要順序，也就是上述由影音接收者自行運(yùn)算后傳來的“排序結(jié)果”，而是收到類型-緊迫性方法所需的參考數(shù)據(jù)，例如與排序相關(guān)的參考信息(網(wǎng)絡(luò)可用帶寬、目前播放進(jìn)度、緩沖器的存量現(xiàn)狀等等)，則影音提供者會代替影音接收者執(zhí)行類型-緊迫性方法來指定重要性。這樣做的好處是，若影音接收者的設(shè)備能力很差，可由設(shè)備能力較好的影音提供者代勞。不論類型-緊迫性方法的工作由誰來做，其產(chǎn)出還會被影音提供者調(diào)整一次。
[0147]一些額外的重要性指定策略會標(biāo)示出某些畫面或某段聲音特別重要。這些策略可能是廣告商要求的，或是某程序解析影音數(shù)據(jù)后決定的。當(dāng)影音提供者發(fā)現(xiàn)這些額外的重要性指定策略所標(biāo)示的數(shù)據(jù)，在類型-緊迫性方法的產(chǎn)出排序中，是可以于這些數(shù)據(jù)的最遲譯碼時(shí)間之前送到影音接收者，則排序結(jié)束，開始傳送數(shù)據(jù)。否則，影音提供者的排程器(Scheduler)會把這些標(biāo)示數(shù)據(jù)的重要性，試著進(jìn)行提升的操作。
[0148]本發(fā)明所提出額外的重要性指定策略方法，在一個(gè)實(shí)施例中，可以采用額外標(biāo)示法，詳細(xì)步驟如下所述。
[0149]首先，若所有比還未調(diào)整的標(biāo)示數(shù)據(jù)還重要的數(shù)據(jù)(不含B畫面)的下載時(shí)間總和，已經(jīng)超過此次評估對象集合的可用下載時(shí)間(先前提及的t’-t)。則無需再調(diào)整影音數(shù)據(jù)的重要性。若尚未超過，則目前尚未調(diào)整完畢的標(biāo)示數(shù)據(jù)中重要性最大者，將其重要性提高到僅小于其參考的畫面數(shù)據(jù)中重要性最小者。提升過程中，若導(dǎo)致原本可及時(shí)下載的I中貞、P幀變?yōu)閬聿患跋螺d，則試著排除排程里播放時(shí)間較該調(diào)整中數(shù)據(jù)晚的B畫面(從播放時(shí)間最晚者逐一排除)。判斷釋放出來的排程時(shí)間能否容下此該調(diào)整中數(shù)據(jù)，若可以則該標(biāo)示數(shù)據(jù)調(diào)整完畢，若不行，則放棄提升此額外標(biāo)示的數(shù)據(jù)。此實(shí)施例可以參照圖9，為說明本發(fā)明的實(shí)施例中，依據(jù)額外的重要性指定策略，采用額外標(biāo)示法調(diào)整影音數(shù)據(jù)的重要性的過程示意圖。如圖9所示，以n+4B為例，因?yàn)轭~外的重要性指定策略，將n+4B提升到n+6P與n+9P之間。
[0150]在上述場景2中(即單一影音提供者，每個(gè)GOP的結(jié)構(gòu)未知)，影音接收者無法確定目前評估對象集合的大小，故只能提供參考信息給影音提供者請其代為指定重要性。要提供的信息至少包括tstart (影音接收者的播放器開始播放的時(shí)間)、影音接收者第一個(gè)播出的畫面的識別碼、未來一段適宜時(shí)間內(nèi)的可用帶寬為W、解碼花費(fèi)時(shí)間預(yù)測值td_de。
[0151]在上述場景2中，若影音提供者的緩沖器里已經(jīng)出現(xiàn)下一評估對象集合的I幀，則直接用上述場景一所述的類型-緊迫性法和額外標(biāo)示法對目前評估對象進(jìn)行重要性配置與傳送順序排序。若尚未出現(xiàn)下一評估對象集合的I幀，則以目前緩沖器里所有未傳送給影音接收者的數(shù)據(jù)當(dāng)作目前的評估對象集合，且將目前的評估對象集合中最新的P幀的最遲傳送完畢的時(shí)間(即影音接收者來得及播放)減去目前時(shí)間t，當(dāng)作此次評估對象集合的可傳輸時(shí)間，然后再用上述場景I所述的類型-緊迫性法和額外標(biāo)示法對目前評估對象進(jìn)行重要性配置與傳送順序排序。
[0152]在上述場景3中，也就是多個(gè)影音提供者，每個(gè)GOP的結(jié)構(gòu)已知，影音數(shù)據(jù)無再經(jīng)過網(wǎng)絡(luò)編碼(Network Coding)等編碼技術(shù)編碼。由于影音提供者彼此不知道對方的運(yùn)作情況，所以要互相協(xié)調(diào)影音數(shù)據(jù)的傳送順序的復(fù)雜度很高。因此，在此情境中，本發(fā)明只讓影音接收者來決定數(shù)據(jù)的傳送順序，而決定的方式跟場景I所述的類型-緊迫性法相同，唯一的區(qū)別在于帶寬評估器(Bandwidth Estimator)所評估的未來一段適宜時(shí)間內(nèi)的可用帶寬為《，是所有影音提供者到影音接收者的可用帶寬的總和。
[0153]決定好傳送順序后，影音接收者在一實(shí)施例中，可以采用以下兩種方式來告知影音提供者。在第一種方法中，先跟各個(gè)影音提供者請求一畫面或聲音(越重要數(shù)據(jù)跟可用帶寬越大者拿)，再看哪個(gè)提供者先傳輸完，就向該影音提供者請求目前還沒傳輸者中重要性最大者。舉例來說，若有兩個(gè)影音提供者A、B，且影音提供者A的可用帶寬大于影音提供者B。目前排序好的數(shù)據(jù)順序?yàn)镮1、P1、聲音1、P2、聲音2、B1、B2、B3、B4。所以影音接收者會先向影音提供者A要II，向影音提供者B要P1。假設(shè)影音提供者B比影音提供者A先傳完，則影音接收者又繼續(xù)跟影音提供者B要聲音I。當(dāng)影音提供者B還在傳聲音I給影音接收者時(shí)，若影音提供者A已經(jīng)傳完II，則影音接收者就向影音提供者A請求P2。
[0154]第二種方法為，影音接收者先對各個(gè)影音提供者配置一畫面或聲音(越重要數(shù)據(jù)配置給可用帶寬越大者)，再依據(jù)配置畫面的預(yù)測大小以及評估的可用帶寬計(jì)算該配置數(shù)據(jù)傳完的時(shí)間，看哪個(gè)提供者先傳輸完，就把目前還沒傳輸者中重要性最大者配置給該影音提供者。待全部數(shù)據(jù)都配置好后，將配置結(jié)果傳給所有的影音提供者。
[0155]在上述場景4中，也就是有多個(gè)影音提供者，每個(gè)GOP的結(jié)構(gòu)已知，影音數(shù)據(jù)有再經(jīng)過網(wǎng)絡(luò)編碼(Network Coding)等編碼技術(shù)編碼。由于網(wǎng)絡(luò)編碼可以讓不同的影音提供者之間，無須協(xié)調(diào)便可以將一份原始數(shù)據(jù)，隨意編碼后傳給影音接收者。故此場景下，不同的影音提供者可以視為一個(gè)。也就是說，場景4中影音接收者和提供者指定重要性的方法，與場景I相同。
[0156]在上述場景5中，也就是有多個(gè)影音提供者，每個(gè)GOP的結(jié)構(gòu)未知，影音數(shù)據(jù)無再經(jīng)過網(wǎng)絡(luò)編碼(Network Coding)等編碼技術(shù)編碼。由于影音提供者彼此不知道對方的運(yùn)作情況，所以要互相協(xié)調(diào)影音數(shù)據(jù)的傳送順序的復(fù)雜度很高。因此，在此情境中，本發(fā)明只讓影音接收者來決定數(shù)據(jù)的傳送順序。首先，影音接收者向各個(gè)影音提供者收集其緩沖器狀態(tài)。然后，從這些緩沖器狀態(tài)中，挑出影音接收者未下載數(shù)據(jù)的聯(lián)集。
[0157]根據(jù)該未下載內(nèi)容的聯(lián)集，在一實(shí)施例中，可以采用以下兩種作法。
[0158]其一，若無包括I幀，則該內(nèi)容為目前評估對象集合。且將目前的評估對象集合中最新的P幀的最遲傳送完畢時(shí)間減去目前時(shí)間，當(dāng)作此次評估對象集合的可傳輸時(shí)間，然后再用上述場景I所述的類型-緊迫性法對目前評估對象進(jìn)行重要性配置與傳送順序排序。
[0159]其二，若有包括I幀，則播放時(shí)間在聯(lián)集中最舊的I幀之前且解碼時(shí)不需直接或間接依賴該I幀的畫面及其播放時(shí)間中的聲音數(shù)據(jù)，為目前評估對象集合。且將該最舊的I幀的最遲啟動下載時(shí)間減去目前時(shí)間，當(dāng)作此次評估對象集合的可傳輸時(shí)間，然后再用上述場景I所述的類型-緊迫性法對目前評估對象進(jìn)行重要性配置與傳送順序排序。
[0160]在上述場景6中，也就是有多個(gè)影音提供者，每個(gè)GOP的結(jié)構(gòu)未知，影音數(shù)據(jù)有再經(jīng)過網(wǎng)絡(luò)編碼(Network Coding)等編碼技術(shù)編碼。同場景4的解釋，這些影音提供者可視為I個(gè)。所以場景6的處理方式，等同場景2 (單一影音提供者，每個(gè)GOP的結(jié)構(gòu)未知)。
[0161]快速播放方法
[0162]當(dāng)播放進(jìn)度追上下載的最新進(jìn)度時(shí)(即緩沖區(qū)耗盡)，或是緩沖區(qū)暫存的數(shù)據(jù)量低于一第一閾值，影音接收者的時(shí)戳調(diào)整模塊(Timestamp Regulator)會暫存η時(shí)間單位的重要編碼數(shù)據(jù)，并修改這η時(shí)間單位的數(shù)據(jù)的播放時(shí)間信息，例如RTMP消息標(biāo)頭中的時(shí)戳(Timestamp)字段,使其在η時(shí)間單位期間的最后m時(shí)間單位,得以加速度(約n/m倍)播完，以追上最新進(jìn)度。如圖1OA所示，其顯示了在η時(shí)間單位期間內(nèi)的最后m時(shí)間單位內(nèi)將編碼數(shù)據(jù)播放完畢。
[0163]在最后m時(shí)間單位期間，時(shí)戳調(diào)整模塊依據(jù)修改過的時(shí)間信息，把修改過的影音數(shù)據(jù)放到緩沖器內(nèi)，以便讓播放器讀取。若是在P2P架構(gòu)下，此修改過的內(nèi)容要分享給其它的影音接收者，則在分享前，時(shí)戳復(fù)位模塊(Timestamp Restorer)會把影音數(shù)據(jù)復(fù)制過來，把播放時(shí)間信息恢復(fù)后再分享出去。
[0164]上述決定η與m值的方法詳述如下。
[0165]決定η值時(shí)，η值至少要長到足以下載一重要編碼數(shù)據(jù)(該定義等同重要性下載順序方法中所定義的重要數(shù)據(jù)。最大為網(wǎng)絡(luò)已經(jīng)恢復(fù)平順時(shí)。由于需暫停播放畫面n-m時(shí)間單位，為避免使用者無法耐心等待，η值不宜太大，在一實(shí)施例中，建議值可采用2~20秒之間。
[0166]決定m值時(shí),可以采用固定比例。即m = n/i, i為一大于I且小于等于η的正整數(shù)，也可以是實(shí)數(shù)或任何可用以比較程度差異的數(shù)值皆適用于此實(shí)施例。此法較易于實(shí)作。除此之外，m值也可采用依實(shí)際帶寬調(diào)整的方式。以上述重要性下載順序方法求得η時(shí)間區(qū)間內(nèi)可下載的幀張數(shù)為w，加上該流于η時(shí)間區(qū)間內(nèi)完整的幀張數(shù)為r，則m = nXw/r0此法可以依據(jù)帶寬變化，盡可能讓播放速度貼近正常速度。如:w = r/2,以2倍速播放；當(dāng)w=4r/5時(shí)，以1.25倍速播放。
[0167]而關(guān)于調(diào)整播放時(shí)間的信息，可考慮維持畫面之間原本的距離比例。如圖1OB所
【權(quán)利要求】
1.一種影音流傳輸方法，包括: 接收流數(shù)據(jù)，并監(jiān)控從該流數(shù)據(jù)取得并暫存的多筆編碼數(shù)據(jù)，每一暫存的該編碼數(shù)據(jù)包括多個(gè)編碼譯碼單元，其中該編碼數(shù)據(jù)包括影音數(shù)據(jù)或僅包括視頻數(shù)據(jù)；以及 當(dāng)一調(diào)整傳輸事件啟動時(shí)，取得所述編碼數(shù)據(jù)的信息，并根據(jù)所述編碼數(shù)據(jù)的信息取得對應(yīng)每一影音流傳輸通道所傳送的后續(xù)編碼數(shù)據(jù)的多個(gè)編碼譯碼單元對應(yīng)的重要性參數(shù)，以及對應(yīng)于所述重要性參數(shù)，調(diào)整該后續(xù)編碼數(shù)據(jù)的多個(gè)編碼譯碼單元的傳送順序。
2.如權(quán)利要求1所述的影音流傳輸方法，其中調(diào)整該后續(xù)編碼數(shù)據(jù)的所述編碼譯碼單元的傳送順序之步驟包括: 判斷當(dāng)所述編碼數(shù)據(jù)的存量是否低于一第一閾值或高于一第二閾值，其中該第二閾值大于該第一閾值，其中 當(dāng)所述編碼數(shù)據(jù)的存量低于該第一閾值時(shí)，取得所述編碼數(shù)據(jù)的信息，并根據(jù)所述編碼數(shù)據(jù)的信息取得對應(yīng)每一影音流傳輸通道所傳送的后續(xù)編碼數(shù)據(jù)的多個(gè)編碼譯碼單元對應(yīng)的重要性參數(shù)，以及對應(yīng)于所述重要性參數(shù)，調(diào)整該后續(xù)編碼數(shù)據(jù)的多個(gè)編碼譯碼單元的傳送順序；以及 當(dāng)所述編碼數(shù)據(jù)的存量高于該第二閾值時(shí)，停止調(diào)整該傳送順序。
3.如權(quán)利要求1所述的影音流傳輸方法，其中所述編碼數(shù)據(jù)的信息包括所述編碼數(shù)據(jù)的圖像組信息、被評估的所述編碼數(shù)據(jù)的播出時(shí)間、預(yù)測數(shù)據(jù)量大小、預(yù)測譯碼時(shí)間、可用帶寬、所述編碼數(shù)據(jù)提供來源的數(shù)量或所述編碼數(shù)據(jù)是否采用網(wǎng)絡(luò)編碼方式。
4.如權(quán)利要求1所述的影音流傳輸方法，其中所述編碼譯碼單元彼此包括交互參照關(guān)聯(lián)特性。
5.如權(quán)利要求1所`述的影音流傳輸方法，其中所述編碼譯碼單元包括符合移動畫面專家組標(biāo)準(zhǔn)的I幀、P幀以及B幀。
6.如權(quán)利要求1所述的影音流傳輸方法，其中所述編碼譯碼單元包括符合H.263、H.264、或HEVC標(biāo)準(zhǔn)的1、P、B片段。
7.如權(quán)利要求1所述的影音流傳輸方法，其中每一該影音數(shù)據(jù)內(nèi)所包括的所述編碼譯碼單元對應(yīng)的所述重要性參數(shù)，是根據(jù)所述編碼譯碼單元的類型判斷而指定所述編碼譯碼單元對應(yīng)的所述重要性參數(shù)。
8.如權(quán)利要求7所述的影音流傳輸方法，其中每一該影音數(shù)據(jù)內(nèi)所包括的所述編碼譯碼單元對應(yīng)的所述重要性參數(shù)，還包括所述編碼譯碼單元的播放時(shí)間急迫性而指定所述編碼譯碼單元對應(yīng)的所述重要性參數(shù)。
9.如權(quán)利要求7所述的影音流傳輸方法，其中每一該影音數(shù)據(jù)內(nèi)所包括的所述編碼譯碼單元對應(yīng)的重要性參數(shù)還包括根據(jù)額外指定的要求而調(diào)整所述編碼譯碼單元對應(yīng)的所述重要性參數(shù)。
10.如權(quán)利要求7所述的影音流傳輸方法，其中每一該影音數(shù)據(jù)內(nèi)所包括的所述編碼譯碼單元對應(yīng)的所述重要性參數(shù)，還包括所述編碼譯碼單元的播放時(shí)間急迫性以及額外指定的要求而指定所述編碼譯碼單元對應(yīng)的所述重要性參數(shù)。
11.如權(quán)利要求1所述的影音流傳輸方法，其中每一該編碼數(shù)據(jù)內(nèi)所包括的所述編碼譯碼單元對應(yīng)的所述重要性參數(shù)，是采用所述編碼數(shù)據(jù)的多個(gè)或一個(gè)圖像組、或該圖像組的全部或是一部份做為評估對象集合，評估所述重要性參數(shù)。
12.如權(quán)利要求11所述的影音流傳輸方法，其中對該評估對象集合進(jìn)行評估前，先取得下一個(gè)評估對象集合的最遲啟動下載時(shí)間，以取得該評估對象集合可使用的時(shí)間。
13.—種影音流傳輸方法,包括: 接收一流數(shù)據(jù)，并將從該流數(shù)據(jù)取得的多筆編碼數(shù)據(jù)暫存，其中該編碼數(shù)據(jù)包括影音數(shù)據(jù)或僅包括視頻數(shù)據(jù)； 輸出暫存的所述編碼數(shù)據(jù)以一第一速度進(jìn)行播放； 當(dāng)一調(diào)整傳輸事件啟動時(shí)，暫停輸出一第一時(shí)間區(qū)間，并暫存在該第一時(shí)間區(qū)間內(nèi)所收到的所述編碼數(shù)據(jù)；以及 將在該第一時(shí)間區(qū)間內(nèi)所收到的所述編碼數(shù)據(jù)中播放時(shí)間落于該第一時(shí)間區(qū)間內(nèi)者調(diào)整為在一第二時(shí)間區(qū)間內(nèi)以一第二速度播放完畢，其中該第二時(shí)間區(qū)間小于該第一時(shí)間區(qū)間，而該第二速度快于該第一速度。
14.如權(quán)利要求13所述的影音流傳輸方法，其中判斷調(diào)整傳輸事件發(fā)生的步驟包括: 判斷當(dāng)所述編碼數(shù)據(jù)的存量是否低于一第一閾值， 當(dāng)所述編碼數(shù)據(jù)的存量低于該第一閾值或已經(jīng)用盡時(shí)，啟動該傳輸方法，當(dāng)所述編碼數(shù)據(jù)的存量高于一第二閾值時(shí)，恢復(fù)以該第一速度進(jìn)行播放。
15.如權(quán)利要求13所述的影音流傳輸方法，其中該將在該第一時(shí)間區(qū)間內(nèi)所收到的所述編碼數(shù)據(jù)中播放時(shí)間落于該第一時(shí)間區(qū)間內(nèi)者，調(diào)整為在該第二時(shí)間區(qū)間內(nèi)播放完畢的步驟包括將所述編碼數(shù)據(jù)的播放時(shí)間信息，修改為落在該第二時(shí)間區(qū)間內(nèi)播放。
16.如權(quán)利要求15所述的影音流傳輸方法，其中在該第二時(shí)間區(qū)間內(nèi)所收到的所述編碼數(shù)據(jù)中播放時(shí)間落于該`第二時(shí)間區(qū)間內(nèi)者，也采用該第二速度播放。
17.如權(quán)利要求13所述的影音流傳輸方法，其中每一暫存的該編碼數(shù)據(jù)包括多個(gè)編碼譯碼單元，該第一時(shí)間區(qū)間至少要長到足以下載所述編碼數(shù)據(jù)中的一或多個(gè)重要編碼譯碼單元，其中該或所述重要編碼譯碼單元是根據(jù)所述編碼數(shù)據(jù)的信息取得對應(yīng)每一該編碼數(shù)據(jù)內(nèi)的所述編碼譯碼單元所對應(yīng)的重要性參數(shù)比較取得。
18.如權(quán)利要求17所述的影音流傳輸方法，其中所述編碼譯碼單元包括符合移動畫面專家組標(biāo)準(zhǔn)的I幀、P幀以及B幀。
19.如權(quán)利要求17所述的影音流傳輸方法，其中所述編碼譯碼單元包括符合H.263、H.264、或HEVC標(biāo)準(zhǔn)的1、P、B片段。
20.如權(quán)利要求13所述的影音流傳輸方法，其中該第一時(shí)間區(qū)間介于2到20秒。
21.如權(quán)利要求13所述的影音流傳輸方法，其中該第二時(shí)間區(qū)間等于該第一時(shí)間區(qū)間除以一大于I的數(shù)值。
22.如權(quán)利要求13所述的影音流傳輸方法，其中該第二時(shí)間區(qū)間依照實(shí)際帶寬調(diào)整。
23.如權(quán)利要求22所述的影音流傳輸方法，其中在該第一時(shí)間區(qū)間內(nèi)可下載幀數(shù)量為w，在該流數(shù)據(jù)中該第一時(shí)間區(qū)間內(nèi)完整幀數(shù)量為r，則該第二時(shí)間區(qū)間為該第一時(shí)間區(qū)間乘以w/r的值,其中w與r為正整數(shù)。
24.如權(quán)利要求13所述的影音流傳輸方法，其中該第二時(shí)間區(qū)間等于該第一時(shí)間區(qū)間的一半。
25.—種影音流傳輸方法,包括: 以一第一比特傳輸率接收一第一流數(shù)據(jù)；以及在一切換時(shí)間切換到以一第二比特傳輸率接收一第二流數(shù)據(jù)，其中該切換時(shí)間是以目前播放時(shí)間、第一重要編碼譯碼單元的播放時(shí)間、第二重要編碼譯碼單元的播放時(shí)間進(jìn)行判斷，其中該目前播放時(shí)間是該第一流數(shù)據(jù)在判斷時(shí)正在播放的時(shí)間，該第一重要編碼譯碼單元的播放時(shí)間是該第二流數(shù)據(jù)中比該目前播放時(shí)間還早的該第二流數(shù)據(jù)中的多個(gè)編碼數(shù)據(jù)中最新的重要編碼譯碼單元的播放時(shí)間，該第二重要編碼譯碼單元的播放時(shí)間是該第二流數(shù)據(jù)中的所述編碼數(shù)據(jù)中比該目前播放時(shí)間還晚的該第二流數(shù)據(jù)中最舊的重要編碼譯碼單元，其中 該重要編碼數(shù)據(jù)是根據(jù)所述編碼數(shù)據(jù)的信息取得對應(yīng)每一該編碼數(shù)據(jù)內(nèi)的多個(gè)編碼譯碼單元所對應(yīng)的重要性參數(shù)比較取得。
26.如權(quán)利要求25所述的影音流傳輸方法，其中，若判斷可以于第二重要編碼譯碼單元的播放時(shí)間前切換，則 維持播放該第一流數(shù)據(jù)到該切換時(shí)間前，并同時(shí)接收該第二流數(shù)據(jù)中的所述重要編碼譯碼單元； 到了該切換時(shí)間的前一畫面的播放時(shí)間后切換到該第二流數(shù)據(jù)，并修改接收的該第二流數(shù)據(jù)中的所述重要編碼譯碼單元的播放時(shí)間信息，以便在從該切換時(shí)間的前一畫面的播放時(shí)間到該切換時(shí)間播放完畢。
27.如權(quán)利要求25所述的影音流傳輸方法，其中，若判斷為不能于第二重要編碼譯碼單元的播放時(shí)間前切換，則在該第二重要編碼譯碼單元的播放時(shí)間切換到該第二流數(shù)據(jù)。
28.如權(quán)利要求25所述的影音流傳輸方法，其中，所述編碼譯碼單元包括符合移動畫面專家組標(biāo)準(zhǔn)的I幀、P幀以及B幀。
29.如權(quán)利要求25所述的影音流傳輸方法，其中所述編碼譯碼單元包括符合H.263、H.264、或HEVC標(biāo)準(zhǔn)的1、P、B片段。`
30.如權(quán)利要求25所述的影音流傳輸方法，其中，該切換時(shí)間更進(jìn)一步考慮額外可用的網(wǎng)絡(luò)帶寬。
31.如權(quán)利要求30所述的影音流傳輸方法，其中，該切換時(shí)間以一暴力法進(jìn)行判斷，也就是該目前播放時(shí)間到該第二重要編碼譯碼單元的播放時(shí)間小于一閾值時(shí)，直接將該切換時(shí)間指定為從該目前播放時(shí)間到該第二重要編碼譯碼單元的播放時(shí)間之間的一播放時(shí)間來進(jìn)行判斷。
32.如權(quán)利要求30所述的影音流傳輸方法，其中，該切換時(shí)間以二元搜索法進(jìn)行判斷，也就是以一可能范圍的中間點(diǎn)作判斷，遞歸測試直到兩次測試的中間點(diǎn)的時(shí)間距離小于一閾值或小于一個(gè)畫面的播放時(shí)間。
33.一種影音裝置，適用于從一流數(shù)據(jù)接收多筆編碼數(shù)據(jù)，每一該編碼數(shù)據(jù)包括多個(gè)編碼譯碼單元，而所述編碼譯碼單元以一編碼順序?yàn)閭魉晚樞?，其中該編碼數(shù)據(jù)包括影音數(shù)據(jù)或僅包括視頻數(shù)據(jù)，該影音裝置包括: 一緩沖器； 一緩沖器監(jiān)控模塊，用以監(jiān)控暫存于該緩沖器的所述編碼數(shù)據(jù)的存量，當(dāng)所述編碼數(shù)據(jù)的存量低于第一閾值時(shí)，發(fā)出一調(diào)整信號，當(dāng)所述編碼數(shù)據(jù)的存量高于第二閾值時(shí)，發(fā)出一停止調(diào)整信號；以及 幀請求模塊，響應(yīng)于該調(diào)整信號，輸出一幀請求信號，以調(diào)整該流數(shù)據(jù)中，所述編碼數(shù)據(jù)內(nèi)的所述編碼譯碼單元的傳送順序。
34.如權(quán)利要求33所述的影音裝置，其中該幀請求信號包括所述編碼譯碼單元對應(yīng)的重要性參數(shù)，其中所述編碼譯碼單元對應(yīng)的重要性參數(shù)是根據(jù)所述編碼數(shù)據(jù)的圖像組信息、所述編碼數(shù)據(jù)提供來源的數(shù)量、所述編碼數(shù)據(jù)是否使用網(wǎng)絡(luò)編碼、所述編碼數(shù)據(jù)的播出時(shí)間、預(yù)測數(shù)據(jù)量大小、預(yù)測解碼時(shí)間以及可用帶寬的部分或是組合計(jì)算取得。
35.如權(quán)利要求33所述的影音裝置，其中該幀請求信號包括網(wǎng)絡(luò)可用帶寬、目前播放進(jìn)度、緩沖器現(xiàn)狀三者全部或部分的組合。
36.如權(quán)利要求33所述的影音裝置，還包括一時(shí)戳調(diào)整模塊，用以接收下載的所述編碼數(shù)據(jù)，并將所述編碼數(shù)據(jù)暫存到該緩沖器，其中該時(shí)戳調(diào)整模塊可將部分所述編碼數(shù)據(jù)的播放時(shí)間進(jìn)行修改。
37.如權(quán)利要求36所述的影音裝置，還包括一流請求模塊，響應(yīng)于該調(diào)整信號與帶寬評估結(jié)果，輸出一比特率請求信號，用以提供所述編碼數(shù)據(jù)的信息，以切換接收不同比特傳輸率的另一流數(shù)據(jù)。
38.如權(quán)利要求33所述的影音裝置，還包括: 一上傳器，用來將從該流數(shù)據(jù)接收到的所述編碼數(shù)據(jù)傳出；以及 一排程器，用來接收來自外部的另一幀請求信號，該另一幀請求信號包括 由該上傳器傳出的所述編碼數(shù)據(jù)中，每一該編碼數(shù)據(jù)內(nèi)所包括的所述編碼譯碼單元對應(yīng)的重要性參數(shù)或用以計(jì)算每一該編碼數(shù)據(jù)所包括的所述編碼譯碼單元對應(yīng)的重要性參數(shù)的信息，其中 該排程器根據(jù)所述重要性參數(shù)調(diào)整該上傳器傳出的所述編碼數(shù)據(jù)內(nèi)的所述編碼譯碼單元的傳送順序 。
39.如權(quán)利要求38所述的影音裝置，其中每一該編碼數(shù)據(jù)所包括的所述編碼譯碼單元對應(yīng)的重要性參數(shù)的信息包括根據(jù)所述編碼數(shù)據(jù)的圖像組(GOP)信息、所述編碼數(shù)據(jù)提供來源的數(shù)量、所述編碼數(shù)據(jù)是否使用網(wǎng)絡(luò)編碼、所述編碼數(shù)據(jù)的播出時(shí)間、預(yù)測數(shù)據(jù)量大小、預(yù)測解碼時(shí)間以及可用帶寬的部分或其組合計(jì)算取得。
40.如權(quán)利要求38所述的影音裝置，還包括: 一時(shí)戳調(diào)整模塊，用以接收下載的所述編碼數(shù)據(jù)，并將所述編碼數(shù)據(jù)暫存到該緩沖器，其中該時(shí)戳調(diào)整模塊可將部分所述編碼數(shù)據(jù)的播放時(shí)間進(jìn)行修改；以及 一時(shí)戳復(fù)位模塊，連接到該時(shí)戳調(diào)整模塊，用以將修改過的播放時(shí)間進(jìn)行復(fù)位，以適合下一階影音接收者所要使用的影音流信息時(shí)間戳記。
41.如權(quán)利要求40所述的影音裝置，還包括: 一流請求模塊，響應(yīng)于該調(diào)整信號與一帶寬評估器的信號，輸出一比特率請求信號，用以提供所述編碼數(shù)據(jù)的信息，以切換接收不同比特傳輸率的另一流數(shù)據(jù)；以及 一切換器，用來接收來自外部的另一比特率請求信號，用來切換由該上傳器所輸出的具有一第一比特傳輸率的一第一流數(shù)據(jù)切換到具有一第二比特傳輸率的一第二流數(shù)據(jù)，并判斷從該第二流數(shù)據(jù)的合適播放時(shí)間點(diǎn)開始傳送。
42.一種影音提供裝置，包括: 一上傳器，用來傳送具有一第一比特傳輸率的一第一流數(shù)據(jù)，其中該第一流數(shù)據(jù)包括多筆編碼數(shù)據(jù)，每一該編碼數(shù)據(jù)包括多個(gè)編碼譯碼單元，而所述編碼譯碼單元以一傳送順序排列，其中該編碼數(shù)據(jù)包括影音數(shù)據(jù)或僅包括視頻數(shù)據(jù)；以及 一排程器，用來接收來自外部的一幀請求信號，該幀請求信號包括: 由該上傳器傳出的所述編碼數(shù)據(jù)中，每一該編碼數(shù)據(jù)內(nèi)所包括的所述編碼譯碼單元對應(yīng)的重要性參數(shù)或用以計(jì)算每一該編碼數(shù)據(jù)所包括的所述編碼譯碼單元對應(yīng)的重要性參數(shù)的信息，其中 該排程器根據(jù)所述重要性參數(shù)調(diào)整該上傳器傳出的所述編碼數(shù)據(jù)內(nèi)的所述編碼譯碼單元的傳送順序。
43.如權(quán)利要求42所述的影音提供裝置，其中每一該編碼數(shù)據(jù)所包括的所述編碼譯碼單元對應(yīng)的重要性參數(shù)的信息包括根據(jù)所述編碼數(shù)據(jù)的圖像組(GOP)信息、所述編碼數(shù)據(jù)提供來源的數(shù)量、所述編碼數(shù)據(jù)是否使用網(wǎng)絡(luò)編碼、所述編碼數(shù)據(jù)的播出時(shí)間、預(yù)測數(shù)據(jù)量大小、預(yù)測解碼時(shí)間以及可用帶寬的部分或其組合計(jì)算取得。
44.如權(quán)利要求42所述的影音提供裝置，還包括一切換器，用來接收來自外部的一比特率請求信號，用來控制該上傳器將具有該第一比特傳輸率的該第一流數(shù)據(jù)切換輸出具有一第二比特傳輸率的一 第二流數(shù)據(jù)，并判斷從該第二流數(shù)據(jù)的合適播放時(shí)間點(diǎn)開始傳送。
【文檔編號】H04N21/438GK103873889SQ201310050054
【公開日】2014年6月18日 申請日期:2013年2月8日 優(yōu)先權(quán)日:2012年12月17日
【發(fā)明者】游允帥 申請人:財(cái)團(tuán)法人工業(yè)技術(shù)研究院