一種測(cè)量手機(jī)視頻通訊應(yīng)用端到端延時(shí)的方法
【專利摘要】本發(fā)明公開了測(cè)量手機(jī)視頻通訊應(yīng)用端到端延時(shí)的方法。本發(fā)明首先在LCD顯示器上生成并顯示一段視覺(jué)編碼時(shí)間戳序列視頻。其次發(fā)送方手機(jī)和接收方手機(jī)通過(guò)視頻通訊應(yīng)用建立視頻連接，然后發(fā)送方拍攝產(chǎn)生的視覺(jué)編碼時(shí)間戳序列視頻并發(fā)送給接收方，接收方在屏幕上顯示包含視覺(jué)編碼時(shí)間戳序列視頻的通話內(nèi)容。然后利用高清攝像機(jī)同時(shí)拍攝LCD顯示器和接收方屏幕。最后將采集到的包含視覺(jué)編碼時(shí)間戳的視頻數(shù)據(jù)送入延時(shí)分析系統(tǒng)，識(shí)別每一幀上的時(shí)間戳并計(jì)算時(shí)間戳之間的時(shí)差，得到端到端延時(shí)。本發(fā)明從計(jì)算機(jī)視覺(jué)的角度出發(fā)，把延時(shí)測(cè)量問(wèn)題轉(zhuǎn)化成時(shí)間戳識(shí)別問(wèn)題，操作流程簡(jiǎn)單，且避免了傳統(tǒng)方法中不同時(shí)鐘同步的難題，提高了延時(shí)檢測(cè)的精確度。
【專利說(shuō)明】一種測(cè)量手機(jī)視頻通訊應(yīng)用端到端延時(shí)的方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于計(jì)算機(jī)視覺(jué)領(lǐng)域，尤其涉及一種測(cè)量手機(jī)視頻通訊應(yīng)用的端到端延時(shí)的方法。
【背景技術(shù)】
[0002]端到端延時(shí)，包括視頻采集延時(shí)、壓縮延時(shí)、傳輸延時(shí)和解壓延時(shí)，是視頻通訊應(yīng)用性能指標(biāo)中相當(dāng)重要的一個(gè)參數(shù)，延時(shí)測(cè)量的準(zhǔn)確性直接關(guān)系到通訊產(chǎn)品的質(zhì)量以及安全。視頻應(yīng)用開發(fā)商除了需要檢測(cè)自己視頻通訊應(yīng)用的端到端延時(shí)之外，還需要準(zhǔn)確地檢測(cè)競(jìng)爭(zhēng)對(duì)手應(yīng)用的延時(shí)，如此才能有效地對(duì)比延時(shí)指標(biāo)。因此一種準(zhǔn)確而且通用的端到端延時(shí)檢測(cè)方法，對(duì)于視頻應(yīng)用開發(fā)商而言是非常有意義的。
[0003]傳統(tǒng)的視頻延時(shí)檢測(cè)方法是:視頻應(yīng)用在發(fā)送端采集一個(gè)系統(tǒng)時(shí)間作為時(shí)間戳發(fā)送到接收端；接收端收到的時(shí)間戳與接收端系統(tǒng)時(shí)間的時(shí)間差就是有效視頻延時(shí)。該方法王要存在兩點(diǎn)缺陷:
I)第三方不可測(cè)。白盒檢測(cè)，需要獲得應(yīng)用源碼，才能在發(fā)送端插入時(shí)間戳以及在接收端進(jìn)行解碼。第三方無(wú)法直接檢測(cè)端到端延時(shí)。
[0004]2)成本高。端到端延時(shí)的理論時(shí)間在200毫秒左右，為了減少誤差比率，發(fā)送端和接收端的系統(tǒng)時(shí)間必須校準(zhǔn)到毫秒級(jí)別。因此需要增加時(shí)間精準(zhǔn)校準(zhǔn)設(shè)備。

【發(fā)明內(nèi)容】

[0005]本發(fā)明的主要目的是針對(duì)現(xiàn)有檢測(cè)手機(jī)視頻通訊應(yīng)用端到端延時(shí)技術(shù)的缺點(diǎn)，從計(jì)算機(jī)視覺(jué)的角度出發(fā)，把延時(shí)測(cè)量問(wèn)題轉(zhuǎn)化成時(shí)間戳識(shí)別問(wèn)題。
[0006]本發(fā)明提供了一種測(cè)量手機(jī)視頻通訊應(yīng)用端到端延時(shí)的方法，包括以下步驟:
I)在IXD顯示器上生成并顯示一段視覺(jué)編碼時(shí)間戳序列視頻。
[0007]2)發(fā)送方手機(jī)和接收方手機(jī)通過(guò)視頻通訊應(yīng)用建立視頻連接，然后發(fā)送方拍攝步驟I)產(chǎn)生的視覺(jué)編碼時(shí)間戳序列視頻并發(fā)送給接收方，接收方在屏幕上顯示包含視覺(jué)編碼時(shí)間戳序列視頻的通話內(nèi)容；
3)利用攝像機(jī)同時(shí)拍攝LCD顯示器和接收方屏幕上的視覺(jué)編碼時(shí)間戳序列視頻；
4)將步驟3)采集的視覺(jué)編碼時(shí)間戳序列視頻數(shù)據(jù)送入延時(shí)分析系統(tǒng)，分析獲得的兩個(gè)視覺(jué)編碼時(shí)間戳序列視頻的時(shí)間差，即為端到端延時(shí)。
[0008]本發(fā)明將被檢測(cè)的視頻應(yīng)用系統(tǒng)視為黑盒，只需要把時(shí)間視覺(jué)模式序列圖像送入手機(jī)視頻通訊應(yīng)用系統(tǒng)中，識(shí)別獲得接收方和原時(shí)間的視覺(jué)模式的時(shí)間差即可。測(cè)試的操作流程簡(jiǎn)單有效，且避免了傳統(tǒng)檢測(cè)方法中不同時(shí)鐘同步的難題，同時(shí)提高了延時(shí)檢測(cè)的精確度。
【專利附圖】

【附圖說(shuō)明】
[0009]圖1是本發(fā)明一種測(cè)量手機(jī)視頻通訊應(yīng)用端到端延時(shí)的方法流程圖； 圖2是本發(fā)明的一種實(shí)施例流程圖。
【具體實(shí)施方式】
[0010]下面將結(jié)合本發(fā)明中的附圖，對(duì)本發(fā)明的技術(shù)方案進(jìn)行清晰、完整地描述?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有做創(chuàng)造性勞動(dòng)的前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
[0011]本發(fā)明實(shí)施例提供一種測(cè)量手機(jī)視頻通訊應(yīng)用端到端延時(shí)的方法，該方法需要的設(shè)備包括:至少兩個(gè)支持視頻通訊應(yīng)用的手機(jī)終端(本例以iPhone 4s為例)、一臺(tái)包含IXD顯示器的計(jì)算機(jī)、一個(gè)高清攝像頭和一個(gè)可使用網(wǎng)絡(luò)，配置要求如下:
用作生成播放時(shí)間視覺(jué)模式序列視頻的IXD顯示器，其要求支持至少60HZ及以上的屏
幕刷新率。
[0012]高清攝像頭要求支持25HZ及以上頻率的采樣率。
[0013]如參考圖2所示，該方法包括:
步驟1，在計(jì)算機(jī)上運(yùn)行視覺(jué)編碼時(shí)間戳序列視頻生成系統(tǒng)。該系統(tǒng)每隔30ms采集一個(gè)計(jì)算機(jī)時(shí)間并對(duì)其進(jìn)行時(shí)間戳視覺(jué)編碼(數(shù)字形式、一維碼或者二維碼等形式編碼)生成一張視覺(jué)編碼時(shí)間戳圖像，然后將其刷新展示在屏幕上。
[0014]步驟2，發(fā)送方和接收方通過(guò)視頻通訊應(yīng)用建立視頻連接。測(cè)試時(shí)將步驟I生成的視覺(jué)編碼時(shí)間戳序列視頻送入視頻通訊系統(tǒng)即利用發(fā)送方的手機(jī)攝像頭拍攝IXD屏幕上的視覺(jué)編碼時(shí)間戳圖像并實(shí)時(shí)發(fā)送到接收方。接收方在其屏幕上播放顯示包含視覺(jué)編碼時(shí)間戳圖像的通話內(nèi)容。
[0015]步驟3，IXD顯示器上的時(shí)間作為全局時(shí)間，接收方屏幕上的時(shí)間作為端時(shí)間，那么全局時(shí)間和端時(shí)間的時(shí)間差就是時(shí)間序列圖像從接收方到發(fā)送方的端到端延時(shí)。因此把IXD顯示器和接收方屏幕放置在同一空間平面上，然后利用高清攝像頭同時(shí)拍攝兩個(gè)屏幕，采集兩個(gè)屏幕同一時(shí)刻的視覺(jué)編碼時(shí)間戳的變化數(shù)據(jù)。
[0016]步驟4，將步驟3采集的視頻圖像數(shù)據(jù)送入延時(shí)分析系統(tǒng)。該系統(tǒng)處理視頻圖像中的每一幀，最后統(tǒng)計(jì)所有幀獲得最終結(jié)果。延時(shí)分析系統(tǒng)對(duì)每一幀首先定位兩個(gè)屏幕上的時(shí)間戳區(qū)域。對(duì)所有時(shí)間戳區(qū)域進(jìn)行分割之后，單獨(dú)對(duì)每一塊區(qū)域分別做包含水平校準(zhǔn)、自適應(yīng)二值化、形態(tài)學(xué)圖像操作等預(yù)處理工作。有效的預(yù)處理能提高時(shí)間戳圖像被識(shí)別的幾率。預(yù)處理之后對(duì)時(shí)間戳進(jìn)行模式識(shí)別獲得準(zhǔn)確時(shí)間。如果遇到某幀無(wú)法識(shí)別，則丟棄該幀，繼續(xù)處理下一幀。
[0017]步驟5，對(duì)步驟4獲得的全局時(shí)間和端時(shí)間根據(jù)視頻前后幀進(jìn)行正確性驗(yàn)證。因?yàn)闀r(shí)間戳是每30ms進(jìn)行刷新變化，因此識(shí)別得到的上下幀時(shí)間之差必定是30ms的倍數(shù)。根據(jù)這個(gè)特性對(duì)所有時(shí)間進(jìn)行正確性驗(yàn)證。驗(yàn)證錯(cuò)誤的幀時(shí)間可以通過(guò)前后幀正確時(shí)間進(jìn)行預(yù)估插值還原。
[0018]步驟6，在獲得所有正確的全局時(shí)間和端時(shí)間之后計(jì)算每一幀的端到端延時(shí)。最后統(tǒng)計(jì)分析視頻通訊應(yīng)用的最低、最高和平均端到端延時(shí)以及延時(shí)方差，全面衡量該應(yīng)用的延時(shí)性能。
[0019]最后，應(yīng)當(dāng)指出，以上實(shí)施例僅是本發(fā)明較有代表性的例子。顯然，本發(fā)明的技術(shù)方案并不限于上述實(shí)施例，還可以有許多變形。本領(lǐng)域的普通技術(shù)人員可在不脫離本發(fā)明的發(fā)明思想情況下，對(duì)于上述實(shí)施例做出種種修改或變化，因而本發(fā)明的保護(hù)范圍并不被上述實(shí)施例所限，而應(yīng)該是符合權(quán)利要求書提到的創(chuàng)新性特征的最大范圍。
【權(quán)利要求】
1.一種測(cè)量手機(jī)視頻通訊應(yīng)用端到端延時(shí)的方法，其特征在于該方法的具體步驟如下: 1)在IXD顯示器上生成并顯示一段視覺(jué)編碼時(shí)間戳序列視頻； 2)發(fā)送方手機(jī)和接收方手機(jī)通過(guò)視頻通訊應(yīng)用建立視頻連接，然后發(fā)送方拍攝步驟I)產(chǎn)生的視覺(jué)編碼時(shí)間戳序列視頻并發(fā)送給接收方，接收方在屏幕上顯示包含視覺(jué)編碼時(shí)間戳序列視頻的通話內(nèi)容； 3)利用攝像機(jī)同時(shí)拍攝LCD顯示器和接收方屏幕上的視覺(jué)編碼時(shí)間戳序列視頻； 4)將步驟3)采集的視覺(jué)編碼時(shí)間戳序列視頻數(shù)據(jù)送入延時(shí)分析系統(tǒng)，分析獲得的兩個(gè)視覺(jué)編碼時(shí)間戳序列視頻的時(shí)間差，即為端到端延時(shí)。
2.根據(jù)權(quán)利要求1所述一種測(cè)量手機(jī)視頻通訊應(yīng)用端到端延時(shí)的方法，其特征在于:所述的視覺(jué)編碼時(shí)間戳序列是穩(wěn)定連續(xù)變化的，即視頻在顯示A時(shí)間戳m毫秒之后顯示A+m時(shí)間戳同樣m毫秒，以此變化序列周期重復(fù)；其中A、m為任意整數(shù)時(shí)間；因此獲得的端到端延時(shí)也是連續(xù)輸出的；其中視覺(jué)編碼時(shí)間戳是數(shù)字時(shí)間的一種視覺(jué)編碼形式的時(shí)間戳圖形。
3.根據(jù)權(quán)利要求1所述的一種測(cè)量手機(jī)視頻通訊應(yīng)用端到端延時(shí)的方法，其特征在于:所述的延時(shí)分析系統(tǒng)分析時(shí)間差的過(guò)程為: 1)對(duì)輸入視頻的每一幀做圖像處理和時(shí)間識(shí)別，分別識(shí)別LCD顯示器和接收方屏幕上的時(shí)間視覺(jué)模式，兩個(gè)時(shí)間相減得到端到端延時(shí)； 2)將步驟I)得到的每一幀的延時(shí)，進(jìn)行統(tǒng)計(jì)分析獲得手機(jī)視頻通訊應(yīng)用的端到端延時(shí)。
4.根據(jù)權(quán)利要求1所述的一種測(cè)量手機(jī)視頻通訊應(yīng)用端到端延時(shí)的方法，其特征在于:測(cè)量的端到端延時(shí)是連續(xù)輸出的，并且包含了視頻端的采集延時(shí)、編碼延時(shí)、傳輸延時(shí)和解碼延時(shí)。
【文檔編號(hào)】H04N7/14GK103826117SQ201410024087
【公開日】2014年5月28日 申請(qǐng)日期:2014年1月17日 優(yōu)先權(quán)日:2014年1月17日
【發(fā)明者】宋明黎, 魏朝, 陳純, 卜佳俊, 周星辰 申請(qǐng)人:浙江大學(xué)