專利名稱：：一種無(wú)線環(huán)境中的音視頻流媒體同步播放方法
技術(shù)領(lǐng)域：
：本發(fā)明屬于流媒體應(yīng)用領(lǐng)域，具體涉及一種無(wú)線環(huán)境中的音視頻流媒體同步播放方法。
背景技術(shù)：
：第三代無(wú)線通信技術(shù)已經(jīng)開發(fā)了較長(zhǎng)時(shí)間。第三代網(wǎng)絡(luò)的高數(shù)據(jù)吞吐量使得一些數(shù)據(jù)應(yīng)用得到實(shí)現(xiàn)，如網(wǎng)頁(yè)瀏覽、網(wǎng)絡(luò)游戲、電子郵件、文件下載和流媒體。在這些應(yīng)用中，流媒體應(yīng)用在傳輸帶寬和時(shí)延方面是很高的需求。由于流媒體分組在信道中傳輸時(shí)延不同，為確保服務(wù)質(zhì)量，需要進(jìn)行媒體同步控制，保證媒體流在終端可以以同步的方式進(jìn)行播放。流媒體同步包括流媒體內(nèi)同步和流媒體間同步。流媒體內(nèi)同步是維持一個(gè)流媒體內(nèi)部各個(gè)流媒體單元的時(shí)間關(guān)系，流媒體間同步是維持多個(gè)相關(guān)流媒體中流媒體單元間的時(shí)間關(guān)系。流媒體內(nèi)同步和流媒體間同步的關(guān)鍵問(wèn)題分別在于控制時(shí)延抖動(dòng)和偏移使其保持在可接受的范圍。無(wú)線流媒體應(yīng)用示意圖如圖1所示。圖中，內(nèi)容提供商將音視頻流媒體數(shù)據(jù)傳輸給流服務(wù)器，流服務(wù)器通過(guò)互聯(lián)網(wǎng)、分組數(shù)據(jù)交換機(jī)和基站控制器連接到基站，基站和無(wú)線終端之間為無(wú)線信道，采用的是無(wú)線傳輸方式。音頻分組和視頻分組從內(nèi)容服務(wù)器到無(wú)線終端之間需要經(jīng)過(guò)互聯(lián)網(wǎng)和無(wú)線信道，每個(gè)分組的傳輸時(shí)延不同且較大，這樣分組不可能按照發(fā)送順序到達(dá)終端，造成不能及時(shí)解碼和播放，導(dǎo)致播放失步。解決流媒體失步可以采用反饋和無(wú)反饋兩種方法，反饋方法需要一個(gè)反饋信道，無(wú)反饋方法則不需要一個(gè)反饋信道。在無(wú)線環(huán)境中，若流媒體同步方法采用反饋信道，會(huì)造成較長(zhǎng)的反饋時(shí)延，使得播放失步并不能得到有效解決。所以應(yīng)采用無(wú)反饋方法，只在終端使用流媒體同步方法來(lái)保證音視頻同步播放。本技術(shù)方案提出的流媒體同步方法就是一種無(wú)反饋方法。目前有一些用于無(wú)線環(huán)境的媒體同步算法或者方法。KalmanM.等人提出易錯(cuò)信道中低時(shí)延視頻流的自適應(yīng)播放算法，該算法給出流媒體系統(tǒng)模型和易錯(cuò)信道模型，通過(guò)這兩個(gè)模型設(shè)計(jì)出馬爾可夫鏈分析方法，來(lái)得到緩沖區(qū)下溢概率和播放時(shí)延的折中；YangY.H.等人提出一種保證連續(xù)播放和視頻質(zhì)量的自適應(yīng)播放算法，該算法根據(jù)信道質(zhì)量估計(jì)來(lái)調(diào)整視頻幀播放時(shí)間；ChuangH.C.等人提出一種無(wú)線信道中基于序列運(yùn)動(dòng)特征的視頻自適應(yīng)播放算法，該算法考慮蜂窩信道對(duì)接收緩沖區(qū)性能和業(yè)務(wù)質(zhì)量的影響，統(tǒng)計(jì)估計(jì)到達(dá)和離開過(guò)程來(lái)精確調(diào)整上下水位和播放幀率；LiY.等人提出一種傳輸和播放聯(lián)合控制算法來(lái)提高無(wú)線環(huán)境中媒體流的性能，對(duì)轉(zhuǎn)發(fā)器的傳輸功率最小化和接收端的播放質(zhì)量最大化，該算法使用一個(gè)新模型來(lái)跟蹤播放暫停的間隔及其抖動(dòng)來(lái)控制傳輸功率和播放幀率；LiY.等人還提出聯(lián)合控制發(fā)送端分組調(diào)度和接收端基于內(nèi)容播放的算法，來(lái)最大化通過(guò)無(wú)線信道傳輸?shù)囊曨l流質(zhì)量，該算法使用馬爾可夫決策過(guò)程進(jìn)行聯(lián)合控制，并使用視頻場(chǎng)景運(yùn)動(dòng)特征來(lái)確定播放幀率調(diào)整幅度；SuY.F.等人提出一種新穎的視頻流自適應(yīng)播放算法使得在信道條件變化時(shí)盡可能地保持播放平滑，與根據(jù)接收緩沖區(qū)占用水平進(jìn)行播放4控制的傳統(tǒng)算法不同，新算法使用緩沖區(qū)占用水平的變化來(lái)反映時(shí)變的時(shí)延抖動(dòng)，當(dāng)占用水平變化大時(shí)采取播放控制措施。可以看出，現(xiàn)有技術(shù)都是針對(duì)無(wú)線環(huán)境中視頻流媒體內(nèi)同步播放提出相應(yīng)方法，沒(méi)有考慮音頻流媒體內(nèi)和音視頻流媒體間的同步播放。
發(fā)明內(nèi)容針對(duì)上述現(xiàn)有技術(shù)都是針對(duì)視頻流討論流媒體內(nèi)同步，很少涉及音頻流媒體內(nèi)同步和音視頻流媒體間同步的問(wèn)題，本發(fā)明提出一種無(wú)線環(huán)境中的音視頻流媒體同步播放方法，該方法根據(jù)無(wú)線通信系統(tǒng)的特點(diǎn)，提出適用于無(wú)線環(huán)境的音頻流和視頻流的媒體內(nèi)同步，并在此基礎(chǔ)上實(shí)現(xiàn)音視頻流媒體間同步?！N無(wú)線環(huán)境中的音視頻流媒體同步播放方法，包括以下步驟A.確定音頻幀的大小實(shí)現(xiàn)音頻流媒體內(nèi)同步；B.確定視頻幀的播放持續(xù)時(shí)間實(shí)現(xiàn)視頻流媒體內(nèi)同步；C.以音頻流為主媒體流，視頻流為從媒體流，調(diào)整視頻媒體單元的播放持續(xù)時(shí)間來(lái)實(shí)現(xiàn)音視頻流媒體間同步。步驟A具體通過(guò)如下算法來(lái)實(shí)現(xiàn)Al.探知音頻播放緩沖區(qū)中有i個(gè)音頻幀；A2.確定即將播放幀的目標(biāo)大小LL(i)為maxi<LLaLL{i)=這里L(fēng)mL0LLa<i<HLa.Anin‘禾口Lmin>HLa的選取根據(jù)幀可擴(kuò)展程度或可壓縮、度和流媒體內(nèi)同步的要求即時(shí)延抖動(dòng)要求來(lái)確定；對(duì)于音頻，要求時(shí)延抖動(dòng)不超過(guò)10ms，那么Lmax=min{2L0,L0+10ms}，Lmin=max{0.5L0,L0-IOmsI；A3.若該幀包含靜音期，則延長(zhǎng)或縮短靜音期使該幀的大小等于LL(i)；若該幀處在突發(fā)期內(nèi)而不包含靜音期，則改變?cè)搸拇笮?，?dāng)LL(i)=Lfflax時(shí)，擴(kuò)展該幀，擴(kuò)LL(I)-L0展后的幀大小為T；當(dāng)LL(i)=Lmin時(shí)，壓縮該幀，壓縮后的幀大小為L(zhǎng)0-T4~LLji)T，這里T為該幀的基音周期；A4.按照調(diào)整后的大小進(jìn)行播放音頻幀。步驟B具體通過(guò)如下算法來(lái)實(shí)現(xiàn)Bi.探知視頻播放緩沖區(qū)中有i個(gè)視頻幀；B2.確定即將播放視頻幀的播放持續(xù)時(shí)間d(i)為—i<LLvd{i)-·LLv1+B^lAv-HLv('-HLv)LLv<i孓HLvi>HLy5其中rv是正常播放幀率，rfflax和rmin根據(jù)具體的服務(wù)質(zhì)量要求來(lái)確定，即考慮流媒體內(nèi)同步的要求即時(shí)延抖動(dòng)要求；對(duì)于TV品質(zhì)的視頻，要求時(shí)延抖動(dòng)不超過(guò)10ms，則—10001000Γπωχ=1000/rv-10=1000/rv+10；B3.按照調(diào)整后的播放持續(xù)時(shí)間播放視頻幀；音頻和視頻播放期間，每播放Na個(gè)音頻幀時(shí)，進(jìn)行一次流媒體間同步調(diào)整。步驟C具體通過(guò)如下算法來(lái)實(shí)現(xiàn)Cl.令最近播放的音頻幀q的播放時(shí)間標(biāo)簽ta(q)和最近播放的視頻幀1的播放時(shí)間標(biāo)簽tv(l)，并進(jìn)行比較，二者之間的關(guān)系有三種情況C21.若|ta(q)_tv(l)|彡80ms，音視頻播放處于同步狀態(tài)，不需要進(jìn)行調(diào)整；C22.若80ms<|ta(q)_tv(l)|彡160ms，音視頻播放處于臨界同步狀態(tài)，需進(jìn)行流媒體間同步調(diào)整；C23.若|ta(q)-tv(l)|>160ms，音視頻播放處于失步狀態(tài)，需進(jìn)行流媒體間同步調(diào)整；C31.進(jìn)行流媒體間同步調(diào)整時(shí)，gta(q)>tv(l)，表明視頻落后于音頻播放，從P-QoS考慮，不主動(dòng)丟棄視頻幀，以免引起圖像播放跳躍的感覺(jué)，因此應(yīng)提高視頻的播放幀率即減小視頻幀的播放持續(xù)時(shí)間，則視頻幀1其后η個(gè)視頻幀的播放持續(xù)時(shí)間都為1000/權(quán)利要求一種無(wú)線環(huán)境中的音視頻流媒體同步播放方法，其特征在于所述方法包括以下步驟A.確定音頻幀的大小實(shí)現(xiàn)音頻流媒體內(nèi)同步；步驟A具體通過(guò)如下算法來(lái)實(shí)現(xiàn)A1.探知音頻播放緩沖區(qū)中有i個(gè)音頻幀；A2.確定即將播放幀的目標(biāo)大小LL(i)為<mrow><mi>LL</mi><mrow><mo>(</mo><mi>i</mi><mo>)</mo></mrow><mo>=</mo><mfencedopen='{'close=''><mtable><mtr><mtd><msub><mi>L</mi><mi>max</mi></msub></mtd><mtd><mi>i</mi><mo><</mo><msub><mi>LL</mi><mi>a</mi></msub></mtd></mtr><mtr><mtd><msub><mi>L</mi><mn>0</mn></msub></mtd><mtd><msub><mi>LL</mi><mi>a</mi></msub><mo>≤</mo><mi>i</mi><mo>≤</mo><msub><mi>HL</mi><mi>a</mi></msub></mtd></mtr><mtr><mtd><msub><mi>L</mi><mi>min</mi></msub></mtd><mtd><mi>i</mi><mo>></mo><msub><mi>HL</mi><mi>a</mi></msub></mtd></mtr></mtable></mfenced></mrow>這里L(fēng)max和Lmin的選取根據(jù)幀可擴(kuò)展程度或可壓縮程度和流媒體內(nèi)同步的要求即時(shí)延抖動(dòng)要求來(lái)確定；對(duì)于音頻，要求時(shí)延抖動(dòng)不超過(guò)10ms，那么Lmax＝min{2L0，L0+10ms}，Lmin＝max{0.5L0，L010ms}；A3.若該幀包含靜音期，則延長(zhǎng)或縮短靜音期使該幀的大小等于LL(i)；若該幀處在突發(fā)期內(nèi)而不包含靜音期，則改變?cè)搸拇笮?，?dāng)LL(i)＝Lmax時(shí)，擴(kuò)展該幀，擴(kuò)展后的幀大小為當(dāng)LL(i)＝Lmin時(shí)，壓縮該幀，壓縮后的幀大小為這里T為該幀的基音周期；A4.按照調(diào)整后的大小進(jìn)行播放音頻幀；B.確定視頻幀的播放持續(xù)時(shí)間實(shí)現(xiàn)視頻流媒體內(nèi)同步；步驟B具體通過(guò)如下算法來(lái)實(shí)現(xiàn)B1.探知視頻播放緩沖區(qū)中有i個(gè)視頻幀；B2.確定即將播放視頻幀的播放持續(xù)時(shí)間d(i)為<mrow><mi>d</mi><mrow><mo>(</mo><mi>i</mi><mo>)</mo></mrow><mo>=</mo><mfencedopen='{'close=''><mtable><mtr><mtd><mfrac><mn>1</mn><mrow><msub><mi>r</mi><mi>min</mi></msub><mo>+</mo><mfrac><mrow><msub><mi>r</mi><mi>v</mi></msub><mo>-</mo><msub><mi>r</mi><mi>min</mi></msub></mrow><msub><mi>LL</mi><mi>v</mi></msub></mfrac><mo>·</mo><mi>i</mi></mrow></mfrac></mtd><mtd><mi>i</mi><mo><</mo><msub><mi>LL</mi><mi>v</mi></msub></mtd></mtr><mtr><mtd><mfrac><mn>1</mn><msub><mi>r</mi><mi>v</mi></msub></mfrac></mtd><mtd><msub><mi>LL</mi><mi>v</mi></msub><mo>≤</mo><mi>i</mi><mo>≤</mo><msub><mi>HL</mi><mi>v</mi></msub></mtd></mtr><mtr><mtd><mfrac><mn>1</mn><mrow><msub><mi>r</mi><mi>v</mi></msub><mo>+</mo><mfrac><mrow><msub><mi>r</mi><mi>max</mi></msub><mo>-</mo><msub><mi>r</mi><mi>v</mi></msub></mrow><mrow><msub><mi>B</mi><mi>v</mi></msub><mo>+</mo><mn>2</mn><msub><mi>A</mi><mi>v</mi></msub><mo>-</mo><msub><mi>HL</mi><mi>v</mi></msub></mrow></mfrac><mo>·</mo><mrow><mo>(</mo><mi>i</mi><mo>-</mo><msub><mi>HL</mi><mi>v</mi></msub><mo>)</mo></mrow></mrow></mfrac></mtd><mtd><mi>i</mi><mo>></mo><msub><mi>HL</mi><mi>v</mi></msub></mtd></mtr></mtable></mfenced></mrow>其中rv是正常播放幀率，rmax和rmin根據(jù)具體的服務(wù)質(zhì)量要求來(lái)確定，即考慮流媒體內(nèi)同步的要求即時(shí)延抖動(dòng)要求；對(duì)于TV品質(zhì)的視頻，要求時(shí)延抖動(dòng)不超過(guò)10ms，則<mrow><msub><mi>r</mi><mi>max</mi></msub><mo>=</mo><mfrac><mn>1000</mn><mrow><mn>1000</mn><mo>/</mo><msub><mi>r</mi><mi>v</mi></msub><mo>-</mo><mn>10</mn></mrow></mfrac><mo>,</mo></mrow><mrow><msub><mi>r</mi><mi>min</mi></msub><mo>=</mo><mfrac><mn>1000</mn><mrow><mn>1000</mn><mo>/</mo><msub><mi>r</mi><mi>v</mi></msub><mo>+</mo><mn>10</mn></mrow></mfrac><mo>;</mo></mrow>B3.按照調(diào)整后的播放持續(xù)時(shí)間播放視頻幀；音頻和視頻播放期間，每播放Na個(gè)音頻幀時(shí)，進(jìn)行一次流媒體間同步調(diào)整；C.以音頻流為主媒體流，視頻流為從媒體流，調(diào)整視頻媒體單元的播放持續(xù)時(shí)間來(lái)實(shí)現(xiàn)音視頻流媒體間同步；步驟C具體通過(guò)如下算法來(lái)實(shí)現(xiàn)C1.令最近播放的音頻幀q的播放時(shí)間標(biāo)簽ta(q)和最近播放的視頻幀l的播放時(shí)間標(biāo)簽tv(l)，并進(jìn)行比較，二者之間的關(guān)系有三種情況C21.若|ta(q)tv(l)|≤80ms，音視頻播放處于同步狀態(tài)，不需要進(jìn)行調(diào)整；C22.若80ms＜|ta(q)tv(l)|≤160ms，音視頻播放處于臨界同步狀態(tài)，需進(jìn)行流媒體間同步調(diào)整；C23.若|ta(q)tv(l)|＞160ms，音視頻播放處于失步狀態(tài)，需進(jìn)行流媒體間同步調(diào)整；C31.進(jìn)行流媒體間同步調(diào)整時(shí)，若ta(q)＞tv(l)，表明視頻落后于音頻播放，從PQoS考慮，不主動(dòng)丟棄視頻幀，以免引起圖像播放跳躍的感覺(jué)，因此應(yīng)提高視頻的播放幀率即減小視頻幀的播放持續(xù)時(shí)間，則視頻幀l其后n個(gè)視頻幀的播放持續(xù)時(shí)間都為1000/rmax，其中n＝[|ta(q)tv(l)|]/10這里n是整數(shù)；C32.進(jìn)行流媒體間同步調(diào)整時(shí)，若ta(q)＜tv(l)，表明視頻超前于音頻播放，從PQoS考慮，不暫停播放視頻幀，以免引起圖像播放停頓的感覺(jué)，因此要降低視頻的播放幀率即增大視頻幀的播放持續(xù)時(shí)間，則視頻幀l其后n個(gè)視頻幀的播放持續(xù)時(shí)間都為1000/rmin；在進(jìn)行流媒體間同步調(diào)整期間，不進(jìn)行視頻流媒體內(nèi)同步調(diào)整。FSA00000297914900012.tif,FSA00000297914900013.tif1.一種無(wú)線環(huán)境中的音視頻流媒體同步播放方法，其特征在于所述方法包括以下步A.確定音頻幀的大小實(shí)現(xiàn)音頻流媒體內(nèi)同步；步驟A具體通過(guò)如下算法來(lái)實(shí)現(xiàn)Al.探知音頻播放緩沖區(qū)中有i個(gè)音頻幀；A2.確定即將播放幀的目標(biāo)大小LL(i)為i^max^<LLaLL(T)=L0LLa<i<HLaL“i>HL這里L(fēng)max和Lmin的選取根據(jù)幀可擴(kuò)展程度或可壓縮程度和流媒體內(nèi)同步的要求即時(shí)延抖動(dòng)要求來(lái)確定；對(duì)于音頻，要求時(shí)延抖動(dòng)不超過(guò)10ms，那么Lmax=min{2L0,L0+10ms}，Lmin=max{0.5L0，L0_10ms}；A3.若該幀包含靜音期，則延長(zhǎng)或縮短靜音期使該幀的大小等于LL(i)；若該幀處在突發(fā)期內(nèi)而不包含靜音期，則改變?cè)搸拇笮?，?dāng)LL(i)=Lfflax時(shí)，擴(kuò)展該幀，擴(kuò)展LL(I)-L0后的幀大小為T；當(dāng)LL⑴=Lmin時(shí)，壓縮該幀，壓縮后的幀大小為L(zhǎng)0-TL0-LLji)T，這里T為該幀的基音周期；A4.按照調(diào)整后的大小進(jìn)行播放音頻幀；B.確定視頻幀的播放持續(xù)時(shí)間實(shí)現(xiàn)視頻流媒體內(nèi)同步；步驟B具體通過(guò)如下算法來(lái)實(shí)現(xiàn)Bi.探知視頻播放緩沖區(qū)中有i個(gè)視頻幀；B2.確定即將播放視頻幀的播放持續(xù)時(shí)間d(i)為η-'LLv-rVKLLvLLvH^HLv^HLvB^lAv-HLv(I-HLv)其中rv是正常播放幀率，rfflax和rmin根據(jù)具體的服務(wù)質(zhì)量要求來(lái)確定，即考慮流媒體內(nèi)同步的要求即時(shí)延抖動(dòng)要求；對(duì)于TV品質(zhì)的視頻，要求時(shí)延抖動(dòng)不超過(guò)10ms，則'max10001000//;-IO^min一1000/rv+10，1000B3.按照調(diào)整后的播放持續(xù)時(shí)間播放視頻幀；音頻和視頻播放期間，每播放Na個(gè)音頻幀時(shí)，進(jìn)行一次流媒體間同步調(diào)整；C.以音頻流為主媒體流，視頻流為從媒體流，調(diào)整視頻媒體單元的播放持續(xù)時(shí)間來(lái)實(shí)現(xiàn)音視頻流媒體間同步；步驟C具體通過(guò)如下算法來(lái)實(shí)現(xiàn)Cl.令最近播放的音頻幀q的播放時(shí)間標(biāo)簽ta(q)和最近播放的視頻幀1的播放時(shí)間標(biāo)簽tv(l)，并進(jìn)行比較，二者之間的關(guān)系有三種情況C21.若|ta(q)_tv(l)|彡80ms，音視頻播放處于同步狀態(tài)，不需要進(jìn)行調(diào)整；C22.若80ms<ta(q)-tv(l)|彡160ms，音視頻播放處于臨界同步狀態(tài)，需進(jìn)行流媒體間同步調(diào)整；C23.若|ta(q)_tv(l)I>160ms，音視頻播放處于失步狀態(tài)，需進(jìn)行流媒體間同步調(diào)整；C31.進(jìn)行流媒體間同步調(diào)整時(shí)，Sta(q)>tv(l)，表明視頻落后于音頻播放，從P-QoS考慮，不主動(dòng)丟棄視頻幀，以免引起圖像播放跳躍的感覺(jué)，因此應(yīng)提高視頻的播放幀率即減小視頻幀的播放持續(xù)時(shí)間，則視頻幀1其后η個(gè)視頻幀的播放持續(xù)時(shí)間都為1000/rmax，其中η=[|ta(q)-tv(l)]/10這里η是整數(shù)；C32.進(jìn)行流媒體間同步調(diào)整時(shí)，Sta(q)<tv(l)，表明視頻超前于音頻播放，從P-QoS考慮，不暫停播放視頻幀，以免引起圖像播放停頓的感覺(jué)，因此要降低視頻的播放幀率即增大視頻幀的播放持續(xù)時(shí)間，則視頻幀1其后η個(gè)視頻幀的播放持續(xù)時(shí)間都為1000/rmin；在進(jìn)行流媒體間同步調(diào)整期間，不進(jìn)行視頻流媒體內(nèi)同步調(diào)整。全文摘要一種無(wú)線環(huán)境中的音視頻流媒體同步播放方法，該方法根據(jù)緩沖區(qū)占用水平分別調(diào)整音頻幀大小和視頻播放幀率來(lái)達(dá)到音頻流媒體內(nèi)同步和視頻流媒體內(nèi)同步，在此基礎(chǔ)上通過(guò)比較音頻單元和視頻單元的時(shí)間標(biāo)簽來(lái)調(diào)整視頻播放幀率達(dá)到與音視頻流媒體間的同步。本發(fā)明的優(yōu)點(diǎn)是不僅給出視頻流媒體內(nèi)同步方法，還提出了無(wú)線環(huán)境中音頻流媒體內(nèi)同步方法和音視頻流媒體間同步方法，實(shí)現(xiàn)了無(wú)線環(huán)境中的音視頻流媒體的同步播放。文檔編號(hào)H04N7/24GK101964903SQ201010503510公開日2011年2月2日申請(qǐng)日期2010年10月11日優(yōu)先權(quán)日2010年10月11日發(fā)明者高強(qiáng)申請(qǐng)人:陜西賽瑞德科技發(fā)展有限責(zé)任公司