本發(fā)明實(shí)施例涉及視頻測試技術(shù),尤其涉及一種全景視頻的質(zhì)量測試方法和裝置。
背景技術(shù):
近年來,全景視頻的體驗(yàn)和服務(wù)日益增加,在不久的將來,傳統(tǒng)的單視角視頻服務(wù)將逐漸被多視角的全景視頻服務(wù)所代替,因?yàn)槿耙曨l能夠帶給人們更加沉浸式的視覺體驗(yàn)。因此,如何對全景視頻的主觀質(zhì)量進(jìn)行評價(jià)就顯得越來越重要。
發(fā)明人在實(shí)現(xiàn)本發(fā)明的過程中,發(fā)現(xiàn)現(xiàn)有技術(shù)存在如下缺陷:目前為止,并沒有針對全景視頻主觀質(zhì)量的完整的測試方案。已有的主觀質(zhì)量的測試方案都是針對平面視頻的。鑒于全景視頻和平面視頻之間的顯著的差異性,已有的針對平面視頻的主觀質(zhì)量測試方法無法徹底地適用于全景視頻。
技術(shù)實(shí)現(xiàn)要素:
有鑒于此,本發(fā)明實(shí)施例提供一種全景視頻的質(zhì)量測試方法和裝置,以擴(kuò)充現(xiàn)有基于平面視頻的主觀質(zhì)量測試技術(shù),滿足人們基于全景視頻的主觀質(zhì)量測試需求。
第一方面,本發(fā)明實(shí)施例提供了一種全景視頻的質(zhì)量測試方法,包括:
根據(jù)質(zhì)量測試類型,構(gòu)造設(shè)定排列順序的測試全景視頻序列,其中,所述測試全景視頻序列中同一內(nèi)容的測試全景視頻對應(yīng)多個(gè)視頻質(zhì)量;
按照所述排列順序播放所述測試全景視頻序列,并在每個(gè)測試全景視頻播放結(jié)束后,接收受試者輸入的視頻打分;
根據(jù)至少兩個(gè)所述受試者輸入的所述視頻打分,計(jì)算所述測試全景視頻序列中各測試全景視頻的質(zhì)量參數(shù)值。
第二方面,本發(fā)明實(shí)施例還提供了一種全景視頻的質(zhì)量測試裝置,包括:
視頻序列構(gòu)造模塊,用于根據(jù)質(zhì)量測試類型,構(gòu)造設(shè)定排列順序的測試全景視頻序列,其中,所述測試全景視頻序列中同一內(nèi)容的測試全景視頻對應(yīng)多個(gè)視頻質(zhì)量;
視頻序列播放打分模塊,用于按照所述排列順序播放所述測試全景視頻序列,并在每個(gè)測試全景視頻播放結(jié)束后,接收受試者輸入的視頻打分;
質(zhì)量參數(shù)值計(jì)算模塊,用于根據(jù)至少兩個(gè)所述受試者輸入的所述視頻打分,計(jì)算所述測試全景視頻序列中各測試全景視頻的質(zhì)量參數(shù)值。
本發(fā)明實(shí)施例提供的全景視頻的質(zhì)量測試方法及裝置,通過根據(jù)質(zhì)量測試類型,構(gòu)造設(shè)定排列順序的測試全景視頻序列;按照所述排列順序播放所述測試全景視頻序列,并在每個(gè)測試全景視頻播放結(jié)束后,接收受試者輸入的視頻打分;根據(jù)至少兩個(gè)所述受試者輸入的所述視頻打分,計(jì)算所述測試全景視頻序列中各測試全景視頻的質(zhì)量參數(shù)值的技術(shù)手段,提出了一種適用于全景視頻主觀質(zhì)量測試的標(biāo)準(zhǔn)化方案,擴(kuò)展了現(xiàn)有的基于平面視頻的主觀質(zhì)量測試技術(shù),滿足人們基于全景視頻的主觀質(zhì)量測試需求。
附圖說明
圖1是本發(fā)明實(shí)施例一提供的一種全景視頻的質(zhì)量測試方法的流程圖;
圖2a是本發(fā)明實(shí)施例二提供的一種全景視頻的質(zhì)量測試方法的流程圖;
圖2b是本發(fā)明實(shí)施例二提供的一種與單激勵(lì)連續(xù)質(zhì)量評分測試類型對應(yīng)的測試全景視頻序列示意圖;
圖2c是本發(fā)明實(shí)施例二提供的一種與多激勵(lì)連續(xù)質(zhì)量評分測試類型對應(yīng)的測試全景視頻序列示意圖;
圖2d是本發(fā)明實(shí)施例二提供的一種受試者視頻打分的打分類型示意圖;
圖3是本發(fā)明實(shí)施例三提供的一種全景視頻的質(zhì)量測試方法的流程圖;
圖4是本發(fā)明實(shí)施例的一種具體應(yīng)用場景的全景視頻的質(zhì)量測試架構(gòu)圖;
圖5是本發(fā)明實(shí)施例五提供的一種全景視頻的質(zhì)量測試裝置的結(jié)構(gòu)圖;
圖6是本發(fā)明實(shí)施例六提供的一種全景視頻的質(zhì)量測試裝置的結(jié)構(gòu)圖;
圖7是本發(fā)明實(shí)施例七提供的一種全景視頻的質(zhì)量測試設(shè)備的結(jié)構(gòu)圖。
具體實(shí)施方式
下面結(jié)合附圖和實(shí)施例對本發(fā)明作進(jìn)一步的詳細(xì)說明??梢岳斫獾氖?,此處所描述的具體實(shí)施例僅僅用于解釋本發(fā)明,而非對本發(fā)明的限定。另外還需要說明的是,為了便于描述,附圖中僅示出了與本發(fā)明相關(guān)的部分而非全部結(jié)構(gòu)。
另外還需要說明的是,為了便于描述,附圖中僅示出了與本發(fā)明相關(guān)的部分而非全部內(nèi)容。在更加詳細(xì)地討論示例性實(shí)施例之前應(yīng)當(dāng)提到的是,一些示例性實(shí)施例被描述成作為流程圖描繪的處理或方法。雖然流程圖將各項(xiàng)操作(或步驟)描述成順序的處理,但是其中的許多操作可以被并行地、并發(fā)地或者同時(shí)實(shí)施。此外,各項(xiàng)操作的順序可以被重新安排。當(dāng)其操作完成時(shí)所述處理可以被終止,但是還可以具有未包括在附圖中的附加步驟。所述處理可以對應(yīng)于方法、函數(shù)、規(guī)程、子例程、子程序等等。
實(shí)施例一
圖1為本發(fā)明實(shí)施例一提供的一種全景視頻的質(zhì)量測試方法的流程圖,該方法可以由全景視頻的質(zhì)量測試裝置執(zhí)行,該裝置可由軟件和/或硬件實(shí)現(xiàn),并一般可集成于用于完成全景視頻的質(zhì)量測試功能的服務(wù)器或者終端設(shè)備中。如圖1所示,本實(shí)施例的方法具體包括:
110、根據(jù)質(zhì)量測試類型,構(gòu)造設(shè)定排列順序的測試全景視頻序列。
其中,所述測試全景視頻序列中同一內(nèi)容的測試全景視頻對應(yīng)多個(gè)視頻質(zhì)量;
在本實(shí)施例中,所述測試全景視頻具體是指用于進(jìn)行質(zhì)量測試的360°方位的視頻。為了能夠準(zhǔn)確、全面的獲取受試者對測試全景視頻的視頻打分,可以在所述測試全景視頻序列中放入至少兩種內(nèi)容的視頻,且與同一內(nèi)容的視頻可以對應(yīng)多種視頻質(zhì)量(或者說視頻失真度,該失真度可以是視頻編解碼帶來的)的視頻。
其中,可以根據(jù)不同的質(zhì)量測試類型,對所述測試全景視頻序列中各個(gè)視頻的排列順序進(jìn)行設(shè)計(jì)。
在一個(gè)具體例子中,如果希望用戶能夠以絕對的直觀感受對測試全景視頻進(jìn)行視頻打分,為了避免受試者的記憶效應(yīng),對同一內(nèi)容的測試全景視頻不能連續(xù)播放。因此,測試全景視頻序列中的各視頻都需要完全隨機(jī)排列;
在另一個(gè)具體例子中,如果希望受試者能夠?qū)Χ鄠€(gè)質(zhì)量相近的測試全景視頻的比較區(qū)分,因此要求含有相同內(nèi)容的測試全景視頻被連續(xù)在測試全景視頻序列中連續(xù)排列。
120、按照所述排列順序播放所述測試全景視頻序列,并在每個(gè)測試全景視頻播放結(jié)束后,接收受試者輸入的視頻打分。
在本實(shí)施例中,為了使得用戶能夠獨(dú)立、不受干擾的對每一個(gè)測試全景視頻進(jìn)行視頻打分,因此,可以在每個(gè)測試全景視頻播放結(jié)束后,接收受試者輸入的視頻打分。
130、根據(jù)至少兩個(gè)所述受試者輸入的所述視頻打分,計(jì)算所述測試全景視頻序列中各測試全景視頻的質(zhì)量參數(shù)值。
在本實(shí)施例中,考慮到不同受試者的個(gè)體差異性,需要統(tǒng)計(jì)多個(gè)受試者對于同一測試全景視頻的視頻打分,并采取一定的數(shù)據(jù)處理,典型的,均值計(jì)算、方差計(jì)算、均方差計(jì)算或者歸一化計(jì)算等,進(jìn)而得到每個(gè)測試全景視頻的質(zhì)量參數(shù)值。
其中,所述質(zhì)量參數(shù)值具體是指與受試者的視頻打分關(guān)聯(lián)的,用于衡量受試者對一個(gè)測試全景視頻的視頻質(zhì)量的主觀感受值。
本發(fā)明實(shí)施例提供的全景視頻的質(zhì)量測試方法,通過根據(jù)質(zhì)量測試類型,構(gòu)造設(shè)定排列順序的測試全景視頻序列;按照所述排列順序播放所述測試全景視頻序列,并在每個(gè)測試全景視頻播放結(jié)束后,接收受試者輸入的視頻打分;根據(jù)至少兩個(gè)所述受試者輸入的所述視頻打分,計(jì)算所述測試全景視頻序列中各測試全景視頻的質(zhì)量參數(shù)值的技術(shù)手段,提出了一種適用于全景視頻主觀質(zhì)量測試的標(biāo)準(zhǔn)化方案,擴(kuò)展了現(xiàn)有的基于平面視頻的主觀質(zhì)量測試技術(shù),滿足人們基于全景視頻的主觀質(zhì)量測試需求。
實(shí)施例二
圖2a為本發(fā)明實(shí)施例二提供的一種全景視頻的質(zhì)量測試方法的流程示意圖。本實(shí)施例以上述實(shí)施例為基礎(chǔ)進(jìn)行具體化,在本實(shí)施例中,將根據(jù)質(zhì)量測試類型,構(gòu)造測試全景視頻序列具體為:根據(jù)單激勵(lì)連續(xù)質(zhì)量評分測試類型,將各所述測試全景視頻進(jìn)行隨機(jī)排列,以生成所述測試全景視頻序列;以及
根據(jù)多激勵(lì)連續(xù)質(zhì)量評分測試類型,將各所述測試全景視頻按照視頻內(nèi)容進(jìn)行分組;將不同分組進(jìn)行隨機(jī)排列后,將各分組中包括的各所述測試全景視頻進(jìn)行隨機(jī)排列,以生成所述測試全景視頻序列;
同時(shí),將在每個(gè)測試全景視頻播放結(jié)束后,接收受試者輸入的視頻打分具體為:在每個(gè)測試全景視頻播放結(jié)束后,進(jìn)入設(shè)定時(shí)間段的黑屏階段;在黑屏階段結(jié)束后,接收受試者輸入的視頻打分。相應(yīng)的,本實(shí)施例的方法具體包括:
210、判斷質(zhì)量測試類型:如果所述質(zhì)量測試類型為單激勵(lì)連續(xù)質(zhì)量評分測試,則執(zhí)行220;如果所述質(zhì)量測試類型為多激勵(lì)連續(xù)質(zhì)量評分測試,則執(zhí)行230。
220、將各所述測試全景視頻進(jìn)行隨機(jī)排列,以生成所述測試全景視頻序列,執(zhí)行250。
單激勵(lì)連續(xù)質(zhì)量評分(簡稱為SSCQS)測試方案,要求受試者以絕對的直觀感受對測試全景視頻序列進(jìn)行視頻打分。為了避免受試者的記憶效應(yīng),與同一內(nèi)容對應(yīng)的不同測試全景視頻不能連續(xù)播放。因此,所有全景視頻測試序列都需要完全隨機(jī)播放。舉例而言,圖2b中Ai,Bi,Ci;i∈[1,3];分別表示擁有內(nèi)容A、B、C的不同視頻質(zhì)量的原始和受損視頻。在視頻播放過程中,它們需要被隨機(jī)播放。相應(yīng)的,在構(gòu)造與單激勵(lì)連續(xù)質(zhì)量評分測試對應(yīng)的測試全景視頻序列時(shí),各所述測試全景視頻需要進(jìn)行全部隨機(jī)排列。
230、將各所述測試全景視頻按照視頻內(nèi)容進(jìn)行分組,執(zhí)行240。
240、將不同分組進(jìn)行隨機(jī)排列后,將各分組中包括的各所述測試全景視頻進(jìn)行隨機(jī)排列,以生成所述測試全景視頻序列。
雙激勵(lì)連續(xù)質(zhì)量評分(簡稱為DSCQS)測試方案,也可稱為多激勵(lì)連續(xù)質(zhì)量評分(簡稱為MSCQS)測試方案,它主要受試者對多個(gè)質(zhì)量相近的測試全景視頻進(jìn)行比較,為了方便受試者區(qū)分,要求含有相同內(nèi)容的測試全景視頻需要被連續(xù)播放。而不同內(nèi)容的測試全景視頻分組需要被隨機(jī)播放,并且每個(gè)分組內(nèi)部的測試全景視頻也需要打亂順序,因此可以稱為一種偽隨機(jī)的播放模式。如圖2c,不同視頻內(nèi)容A、B、C的視頻分組需要隨機(jī)排列,且每個(gè)視頻分組內(nèi)不同視頻質(zhì)量的視頻的排序也需要隨機(jī)。
250、按照所述排列順序播放所述測試全景視頻序列,并在每個(gè)測試全景視頻播放結(jié)束后,進(jìn)入設(shè)定時(shí)間段的黑屏階段。
在本實(shí)施例中,為了在全景視頻的質(zhì)量測試過程中,幫助受試者對不同的測試全景視頻進(jìn)行區(qū)分,并一定程度上緩解受試者的用眼疲勞,在每個(gè)測試全景視頻播放結(jié)束后,進(jìn)入設(shè)定時(shí)間段(典型的,2s、3s或者5s等)的黑屏階段。
260、在黑屏階段結(jié)束后,接收受試者輸入的視頻打分。
在本實(shí)施例中,所述視頻打分包括:用于衡量視頻整體質(zhì)量的整體質(zhì)量打分,和/或用于衡量視頻連續(xù)性的統(tǒng)一性程度打分。
可選的,受試者可以從兩個(gè)方面對測試全景視頻的質(zhì)量進(jìn)行打分:視頻的整體質(zhì)量和視頻質(zhì)量在不同方向的統(tǒng)一性。我們用A來表示視頻的整體質(zhì)量打分,B來表示視頻質(zhì)量的統(tǒng)一性程度打分。視頻的整體質(zhì)量打分最高為5分,分為五個(gè)檔次:很好(4-5分),好(3-4分),一般(2-3分),差(1-2分),很差(0-1分)。視頻質(zhì)量的統(tǒng)一性程度的最高打分為5分,分為5個(gè)檔次:很連續(xù)(4-5分),連續(xù)(3-4分),一般(2-3分),不連續(xù)(1-2分),很不連續(xù)(0-1分)。在圖2d中示出了一種受試者視頻打分的打分類型示意圖。
其中,這些打分可以是連續(xù)的,即受試者可以按照自己的感受打出類似4.3或者3.2之類的分?jǐn)?shù),而非一定是整數(shù)的分?jǐn)?shù)。每一個(gè)全景視頻的視頻打分可以為A和B分?jǐn)?shù)的總和。
270、根據(jù)至少兩個(gè)所述受試者輸入的所述視頻打分,計(jì)算所述測試全景視頻序列中各測試全景視頻的質(zhì)量參數(shù)值。
本實(shí)施例的技術(shù)方案針對不同的質(zhì)量測試類型,采用不同的隨機(jī)方式構(gòu)造測試全景視頻序列,以使得測試全景視頻的播放順序更加貼近實(shí)際的測試需求,獲取的受試者的視頻打分更加精確,同時(shí),通過在在每個(gè)測試全景視頻播放結(jié)束后,進(jìn)入設(shè)定時(shí)間段的黑屏階段,可以幫助受試者對不同的測試全景視頻進(jìn)行區(qū)分,并一定程度上緩解受試者的用眼疲勞,以進(jìn)一步提高全景視頻的質(zhì)量測試的準(zhǔn)確性和有效性。
實(shí)施例三
圖3為本發(fā)明實(shí)施例三提供的一種全景視頻的質(zhì)量測試方法的流程示意圖。本實(shí)施例以上述實(shí)施例為基礎(chǔ)進(jìn)行具體化,在本實(shí)施例中,還包括:在每個(gè)測試全景視頻的播放過程中,捕捉受試者的頭部轉(zhuǎn)動(dòng)情況;根據(jù)所述頭部轉(zhuǎn)動(dòng)情況,確定受試者觀看角度;根據(jù)所述受試者觀看角度,確定與各測試全景視頻對應(yīng)的受試者觀看位置;
相應(yīng)的,將所述根據(jù)至少兩個(gè)所述受試者的所述視頻打分,計(jì)算所述測試全景視頻序列中各測試全景視頻的質(zhì)量參數(shù)值具體為:
根據(jù)所述至少兩個(gè)所述受試者的所述視頻打分,計(jì)算各測試全景視頻的視頻整體評分;根據(jù)與各測試全景視頻對應(yīng)的受試者觀看位置,計(jì)算各測試全景視頻的視頻局部區(qū)域評分;將所述視頻整體評分與所述視頻局部區(qū)域評分的合集,作為各測試全景視頻的質(zhì)量參數(shù)值。
相應(yīng)的,本實(shí)施例的方法具體包括:
310、根據(jù)質(zhì)量測試類型,構(gòu)造設(shè)定排列順序的測試全景視頻序列。
其中,所述測試全景視頻序列中同一內(nèi)容的測試全景視頻對應(yīng)多個(gè)視頻質(zhì)量。
320、按照所述排列順序播放所述測試全景視頻序列。
330、在每個(gè)測試全景視頻的播放過程中,捕捉受試者的頭部轉(zhuǎn)動(dòng)情況。
340、根據(jù)所述頭部轉(zhuǎn)動(dòng)情況,確定受試者觀看角度。
350、根據(jù)所述受試者觀看角度,確定與各測試全景視頻對應(yīng)的受試者觀看位置。
在本實(shí)施例中,考慮到全景視頻的視角極為開闊,不同視頻觀看位置的訪問次數(shù)和最終視頻打分的關(guān)系可以在一定程度上反映局部的主觀質(zhì)量信息。
360、在每個(gè)測試全景視頻播放結(jié)束后,接收受試者輸入的視頻打分。
370、根據(jù)所述至少兩個(gè)所述受試者的所述視頻打分,計(jì)算各測試全景視頻的視頻整體評分。
首先,需要明確兩個(gè)概念,一個(gè)是參考視頻,這一類視頻一般為無失真的視頻;另一類視頻是由參考視頻經(jīng)過處理后得到的失真視頻,這一類視頻一般具有不同程度的失真。
相應(yīng)的,在一定情況下,測試全景視頻序列中可能不包括有參考視頻。也即:所述同一內(nèi)容的測試全景視頻僅包括由無失真的參考視頻經(jīng)過處理后生成的失真視頻;
相應(yīng)的,根據(jù)所述至少兩個(gè)所述受試者的所述視頻打分,計(jì)算各測試全景視頻的視頻整體評分可以包括:
根據(jù)公式:計(jì)算失真視頻j的平均意見分uj;
其中,Sij為受試者i對失真視頻j的視頻打分,Nj為觀看失真視頻j的受試者總?cè)藬?shù),i∈[1,Nj];j∈[1,M],M為測試全景視頻序列中包括的失真視頻總數(shù);
分別計(jì)算與各所述測試全景視頻對應(yīng)的所述平均意見分作為所述測試全景視頻序列中各測試全景視頻的視頻整體評分。
在另一種情況下,如果測試全景視頻序列中同時(shí)包括有參考視頻以及失真視頻,也即:同一內(nèi)容的測試全景視頻同時(shí)包括:無失真的參考視頻、以及由所述無失真的參考視頻經(jīng)過處理后生成的失真視頻;
相應(yīng)的,根據(jù)所述至少兩個(gè)所述受試者的所述視頻打分,計(jì)算各測試全景視頻的視頻整體評分可以包括:
根據(jù)公式計(jì)算受試者i對失真視頻j的平均意見分插值dij;其中,Sij為受試者i對失真視頻j的視頻打分;為受試者i對與所述失真視頻j關(guān)聯(lián)的目標(biāo)參考視頻的視頻打分;
分別根據(jù)公式:以及計(jì)算受試者i在觀看失真視頻j時(shí)對應(yīng)的視頻差分Zij;其中,Mi為與所述目標(biāo)參考視頻關(guān)聯(lián)的失真視頻的總數(shù)量;
將所述視頻差分Zij線性映射至設(shè)定數(shù)值范圍內(nèi)(典型的,0~100),生成視頻差分映射
根據(jù)公式計(jì)算失真視頻j的平均意見差分DMOSj;其中,Nj為觀看失真視頻j的受試者總?cè)藬?shù),i∈[1,Nj];j∈[1,M],M為測試全景視頻序列中包括的失真視頻總數(shù);
分別計(jì)算與各所述測試全景視頻對應(yīng)的所述平均意見差分作為所述測試全景視頻序列中各測試全景視頻的視頻整體評分。
380、根據(jù)與各測試全景視頻對應(yīng)的受試者觀看位置,計(jì)算各測試全景視頻的視頻局部區(qū)域評分。
在本實(shí)施例中,根據(jù)與各測試全景視頻對應(yīng)的受試者觀看位置,計(jì)算各測試全景視頻的視頻局部區(qū)域評分可以包括:
預(yù)先將全景視頻區(qū)域劃分至少兩個(gè)局部視頻區(qū)域;
根據(jù)與失真視頻j對應(yīng)的受試者觀看位置,確定所述失真視頻j在各所述局部視頻區(qū)域內(nèi)觀看頻率;
獲取觀看頻率超過設(shè)定閾值的局部視頻區(qū)域作為與所述失真視頻j對應(yīng)的目標(biāo)局部視頻區(qū)域;
根據(jù)公式:計(jì)算所述失真視頻j在目標(biāo)局部視頻區(qū)域r中的局部質(zhì)量分?jǐn)?shù)DMOSjr;為在觀看所述失真視頻過程中,受試者觀看位置位于所述目標(biāo)局部視頻區(qū)域r內(nèi)的受試者;NIjr為的總?cè)藬?shù);r∈[1,K],K為與失真視頻j對應(yīng)的目標(biāo)局部視頻區(qū)域數(shù)量;
分別計(jì)算與所述失真視頻j對應(yīng)的各目標(biāo)局部視頻區(qū)域的局部質(zhì)量分?jǐn)?shù)構(gòu)成質(zhì)量分?jǐn)?shù)集合;
分別計(jì)算與各所述測試全景視頻對應(yīng)的所述質(zhì)量分?jǐn)?shù)集合作為所述測試全景視頻序列中各測試全景視頻的視頻局部區(qū)域評分。
390、將所述視頻整體評分與所述視頻局部區(qū)域評分的合集,作為各測試全景視頻的質(zhì)量參數(shù)值。
綜上所述,視頻j的最終質(zhì)量輸出形式可以為一向量:[DMOSj,DMOSj1,…,DMOSjr,…]。其中第一項(xiàng)為視頻j的視頻整體評分,其余項(xiàng)為不同視頻局部區(qū)域的視頻局部區(qū)域評分。
本實(shí)施例的技術(shù)方案根據(jù)測試全景視頻序列中包括的測試全景視頻類型,采取不同的數(shù)據(jù)處理方法計(jì)算各測試全景視頻的質(zhì)量參數(shù)值,使得最終的計(jì)算結(jié)果更加貼近實(shí)際,同時(shí),由于綜合考慮計(jì)算各測試全景視頻的視頻局部區(qū)域評分,使得計(jì)算結(jié)果更加符合全景視頻的視頻特點(diǎn),最終得到的全景視頻的質(zhì)量參數(shù)值更加精準(zhǔn)。
具體應(yīng)用場景
在本具體應(yīng)用場景中需要首先明確測試環(huán)境。
1、觀看設(shè)備:不同于傳統(tǒng)的平面視頻的觀看方式,全景視頻一般需要佩戴專業(yè)的頭盔進(jìn)行觀看測試,并且頭盔質(zhì)量的好壞將極大地影響對全景視頻的主觀質(zhì)量評價(jià)結(jié)果;
2、全景視頻播放器:全景視頻播放器的選取對于全景視頻質(zhì)量評價(jià)也很重要,一般來說,全景視頻播放器需要能夠播放不同映射下的全景視頻,包括球形映射,柱狀映射和立方體映射等,播放器的性能應(yīng)該足夠優(yōu)異,避免由于播放器性能的原因而導(dǎo)致的播放卡頓或者視頻失真;
3、受試者參與主觀測試的受試者的數(shù)量應(yīng)該不少于15人,并且他們不能是本領(lǐng)域的專家。受試者的年齡范圍應(yīng)該足夠大,在性別上應(yīng)該同時(shí)包括男性和女性,并且男女的人數(shù)應(yīng)盡量均衡。受試者的視力應(yīng)該是正常的,這種正常包括正常的立體視覺能力和辨色能力。同時(shí),考慮到受試者需要佩戴頭盔進(jìn)行測試,因此要求所有的受試者不能佩戴近視眼鏡參與測試;
4、姿勢:和傳統(tǒng)的平面視頻所不同的是,全景視頻為360度方位的視頻,因此希望受試者能夠自由地轉(zhuǎn)動(dòng)頭部來對不同角度的視頻進(jìn)行觀看。在實(shí)驗(yàn)室環(huán)境下,受試者應(yīng)該保持站立的姿勢進(jìn)行全景視頻的質(zhì)量測試;在家庭環(huán)境下,鑒于大部分人傾向于坐著觀看視頻,因此在家庭環(huán)境下,受試者應(yīng)該保持坐著的姿勢進(jìn)行觀測。
在圖4中示出了本發(fā)明實(shí)施例的一種具體應(yīng)用場景的全景視頻的質(zhì)量測試架構(gòu)圖,如圖4所示,整體的測試流程由三個(gè)部分組成:訓(xùn)練部分,驗(yàn)證部分和測試部分。
在訓(xùn)練部分,實(shí)驗(yàn)人員需要告知受試者本次實(shí)驗(yàn)的目的和流程,然后受試者需要觀看事先準(zhǔn)備好的訓(xùn)練視頻以熟悉測試和打分的過程,訓(xùn)練視頻的質(zhì)量范圍應(yīng)該盡量與受試者在測試部分觀看到的測試視頻的質(zhì)量范圍保持一致。觀看完訓(xùn)練視頻后,將會(huì)有3~10分鐘的解疑時(shí)間,在這段時(shí)間里,實(shí)驗(yàn)人員將負(fù)責(zé)解答受試者關(guān)于實(shí)驗(yàn)內(nèi)容和實(shí)驗(yàn)流程方面的疑問,以便他們更好地理解本次實(shí)驗(yàn)。
驗(yàn)證環(huán)節(jié)的主要目的是驗(yàn)證受試者經(jīng)過訓(xùn)練環(huán)節(jié)后是否能夠正確地理解實(shí)驗(yàn)意圖,并按提供有效的,可信度高的主觀分?jǐn)?shù)。在這一環(huán)節(jié)中,受試者將被要求觀看不同失真程度的全景視頻并在觀看后進(jìn)行打分,注意這里受試者觀看的全景視頻不同于他們在正式測試環(huán)節(jié)中觀看的全景視頻。這一環(huán)節(jié)之后,會(huì)有3~5分鐘的校正時(shí)間,如果受試者沒有通過驗(yàn)證環(huán)節(jié),實(shí)驗(yàn)人員需要重新講解實(shí)驗(yàn)規(guī)則和實(shí)驗(yàn)內(nèi)容,待受試者明白后,重新進(jìn)行驗(yàn)證環(huán)節(jié)的驗(yàn)證過程,直至驗(yàn)證通過,受試者方可進(jìn)入下一環(huán)節(jié)。
待受試者通過驗(yàn)證環(huán)節(jié)后,就進(jìn)入正式的測試環(huán)節(jié)。在測試環(huán)節(jié)中,受試者被要求觀看一系列的全景視頻,并在完整觀看完一個(gè)視頻后進(jìn)行主觀打分。一般來說,測試視頻分為兩類,一類是參考視頻,這一類視頻一般為無失真的視頻;另一類視頻是由參考視頻經(jīng)過處理后得到的視頻,這一類視頻一般具有不同程度的失真。這兩類視頻被放在一起,播放順序由質(zhì)量測試類型確定。在圖4中,測試環(huán)節(jié)由若干個(gè)小環(huán)節(jié)組成,每一個(gè)小環(huán)節(jié)由T1,T2和打分三部分組成,T1一般為10s,為視頻播放和觀看時(shí)間,在視頻播放之后,會(huì)有短暫的黑屏?xí)r間,一般為T2=3s,其目的是提醒受試者該視頻已經(jīng)播放結(jié)束,請準(zhǔn)備進(jìn)入打分環(huán)節(jié),T2之后,就進(jìn)入針對該視頻的主觀打分時(shí)間,打分結(jié)束后就進(jìn)入下一小環(huán)節(jié),即觀看下一個(gè)測試視頻。為了避免受試者的視覺疲勞效應(yīng),建議整個(gè)測試環(huán)節(jié)的總時(shí)間不超過30分鐘,如果測試視頻過多,建議將其分為多個(gè)測試環(huán)節(jié),一個(gè)測試環(huán)節(jié)之后,受試者應(yīng)該通過充分的休息之后方可進(jìn)入下一個(gè)測試環(huán)節(jié)。
實(shí)施例四
圖5為本發(fā)明實(shí)施例四提供的一種全景視頻的質(zhì)量測試裝置的結(jié)構(gòu)圖。如圖5所示,所述裝置包括:視頻序列構(gòu)造模塊51,視頻序列播放打分模塊52以及質(zhì)量參數(shù)值計(jì)算模塊53。
視頻序列構(gòu)造模塊51,用于根據(jù)質(zhì)量測試類型,構(gòu)造設(shè)定排列順序的測試全景視頻序列,其中,所述測試全景視頻序列中同一內(nèi)容的測試全景視頻對應(yīng)多個(gè)視頻質(zhì)量。
視頻序列播放打分模塊52,用于按照所述排列順序播放所述測試全景視頻序列,并在每個(gè)測試全景視頻播放結(jié)束后,接收受試者輸入的視頻打分。
質(zhì)量參數(shù)值計(jì)算模塊53,用于根據(jù)至少兩個(gè)所述受試者輸入的所述視頻打分,計(jì)算所述測試全景視頻序列中各測試全景視頻的質(zhì)量參數(shù)值。
本發(fā)明實(shí)施例提供的全景視頻的質(zhì)量測試裝置,通過根據(jù)質(zhì)量測試類型,構(gòu)造設(shè)定排列順序的測試全景視頻序列;按照所述排列順序播放所述測試全景視頻序列,并在每個(gè)測試全景視頻播放結(jié)束后,接收受試者輸入的視頻打分;根據(jù)至少兩個(gè)所述受試者輸入的所述視頻打分,計(jì)算所述測試全景視頻序列中各測試全景視頻的質(zhì)量參數(shù)值的技術(shù)手段,提出了一種適用于全景視頻主觀質(zhì)量測試的標(biāo)準(zhǔn)化方案,擴(kuò)展了現(xiàn)有的基于平面視頻的主觀質(zhì)量測試技術(shù),滿足人們基于全景視頻的主觀質(zhì)量測試需求。
實(shí)施例五
圖6為本發(fā)明實(shí)施例五提供的一種全景視頻的質(zhì)量測試裝置的結(jié)構(gòu)圖。本實(shí)施例以上述實(shí)施例為基礎(chǔ)進(jìn)行具體化。
在本實(shí)施例中,所述視頻序列構(gòu)造模塊,具體可以用于:
根據(jù)單激勵(lì)連續(xù)質(zhì)量評分測試類型,將各所述測試全景視頻進(jìn)行隨機(jī)排列,以生成所述測試全景視頻序列。
在本實(shí)施例中,所述視頻序列構(gòu)造模塊,具體還可以用于:
根據(jù)多激勵(lì)連續(xù)質(zhì)量評分測試類型,將各所述測試全景視頻按照視頻內(nèi)容進(jìn)行分組;
將不同分組進(jìn)行隨機(jī)排列后,將各分組中包括的各所述測試全景視頻進(jìn)行隨機(jī)排列,以生成所述測試全景視頻序列。
在本實(shí)施例中,所述視頻序列播放打分模塊,具體可以用于:
在每個(gè)測試全景視頻播放結(jié)束后,進(jìn)入設(shè)定時(shí)間段的黑屏階段;
在黑屏階段結(jié)束后,接收受試者輸入的視頻打分;
其中,所述視頻打分包括:
用于衡量視頻整體質(zhì)量的整體質(zhì)量打分,和/或用于衡量視頻連續(xù)性的統(tǒng)一性程度打分。
在本實(shí)施例中,還可以包括,受試者觀看位置獲取模塊61,用于:
在每個(gè)測試全景視頻的播放過程中,捕捉受試者的頭部轉(zhuǎn)動(dòng)情況;
根據(jù)所述頭部轉(zhuǎn)動(dòng)情況,確定受試者觀看角度;
根據(jù)所述受試者觀看角度,確定與各測試全景視頻對應(yīng)的受試者觀看位置;
所述質(zhì)量參數(shù)值計(jì)算模塊,具體可以包括:
整體評分計(jì)算模塊531,用于根據(jù)所述至少兩個(gè)所述受試者的所述視頻打分,計(jì)算各測試全景視頻的視頻整體評分;
局部區(qū)域評分計(jì)算模塊532,用于根據(jù)與各測試全景視頻對應(yīng)的受試者觀看位置,計(jì)算各測試全景視頻的視頻局部區(qū)域評分;
質(zhì)量參數(shù)值合成模塊533,用于將所述視頻整體評分與所述視頻局部區(qū)域評分的合集,作為各測試全景視頻的質(zhì)量參數(shù)值。
在本實(shí)施例中,所述同一內(nèi)容的測試全景視頻包括:由無失真的參考視頻經(jīng)過處理后生成的失真視頻;
所述整體評分計(jì)算模塊,具體可以用于:
根據(jù)公式:計(jì)算失真視頻j的平均意見分uj;
其中,Sij為受試者i對失真視頻j的視頻打分,Nj為觀看失真視頻j的受試者總?cè)藬?shù),i∈[1,Nj];j∈[1,M],M為測試全景視頻序列中包括的失真視頻總數(shù);
分別計(jì)算與各所述測試全景視頻對應(yīng)的所述平均意見分作為所述測試全景視頻序列中各測試全景視頻的視頻整體評分。
在本實(shí)施例中,所述同一內(nèi)容的測試全景視頻可以包括:無失真的參考視頻、以及由所述無失真的參考視頻經(jīng)過處理后生成的失真視頻;
所述整體評分計(jì)算模塊,具體可以用于:
根據(jù)公式計(jì)算受試者i對失真視頻j的平均意見分插值dij;其中,Sij為受試者i對失真視頻j的視頻打分;為受試者i對與所述失真視頻j關(guān)聯(lián)的目標(biāo)參考視頻的視頻打分;
分別根據(jù)公式:以及計(jì)算受試者i在觀看失真視頻j時(shí)對應(yīng)的視頻差分Zij;其中,Mi為與所述目標(biāo)參考視頻關(guān)聯(lián)的失真視頻的總數(shù)量;
將所述視頻差分Zij線性映射至設(shè)定數(shù)值范圍內(nèi),生成視頻差分映射
根據(jù)公式計(jì)算失真視頻j的平均意見差分DMOSj;其中,Nj為觀看失真視頻j的受試者總?cè)藬?shù),i∈[1,Nj];j∈[1,M],M為測試全景視頻序列中包括的失真視頻總數(shù);
分別計(jì)算與各所述測試全景視頻對應(yīng)的所述平均意見差分作為所述測試全景視頻序列中各測試全景視頻的視頻整體評分。
在本實(shí)施例中,所述局部區(qū)域評分計(jì)算模塊,具體可以用于:
預(yù)先將全景視頻區(qū)域劃分至少兩個(gè)局部視頻區(qū)域;
根據(jù)與失真視頻j對應(yīng)的受試者觀看位置,確定所述失真視頻j在各所述局部視頻區(qū)域內(nèi)觀看頻率;
獲取觀看頻率超過設(shè)定閾值的局部視頻區(qū)域作為與所述失真視頻j對應(yīng)的目標(biāo)局部視頻區(qū)域;
根據(jù)公式:計(jì)算所述失真視頻j在目標(biāo)局部視頻區(qū)域r中的局部質(zhì)量分?jǐn)?shù)DMOSjr;為在觀看所述失真視頻過程中,受試者觀看位置位于所述目標(biāo)局部視頻區(qū)域r內(nèi)的受試者;NIjr為的總?cè)藬?shù);r∈[1,K],K為與失真視頻j對應(yīng)的目標(biāo)局部視頻區(qū)域數(shù)量;
分別計(jì)算與所述失真視頻j對應(yīng)的各目標(biāo)局部視頻區(qū)域的局部質(zhì)量分?jǐn)?shù)構(gòu)成質(zhì)量分?jǐn)?shù)集合;
分別計(jì)算與各所述測試全景視頻對應(yīng)的所述質(zhì)量分?jǐn)?shù)集合作為所述測試全景視頻序列中各測試全景視頻的視頻局部區(qū)域評分。
實(shí)施例六
如圖7所示,為本申請實(shí)施例六提供的全景視頻的質(zhì)量測試設(shè)備的硬件結(jié)構(gòu)示意圖,如圖7所示,該全景視頻的質(zhì)量測試設(shè)備包括:
一個(gè)或多個(gè)處理器710,圖7中以一個(gè)處理器710為例;
存儲器720;
所述電子設(shè)備還可以包括:輸入裝置730和輸出裝置740。
所述電子設(shè)備中的處理器710、存儲器720、輸入裝置730和輸出裝置740可以通過總線或者其他方式連接,圖7中以通過總線連接為例。
存儲器720作為一種非暫態(tài)計(jì)算機(jī)可讀存儲介質(zhì),可用于存儲軟件程序、計(jì)算機(jī)可執(zhí)行程序以及模塊,如本申請實(shí)施例中的數(shù)據(jù)存儲方法對應(yīng)的程序指令/模塊(例如,附圖5所示的視頻序列構(gòu)造模塊51,視頻序列播放打分模塊52以及質(zhì)量參數(shù)值計(jì)算模塊53)。處理器710通過運(yùn)行存儲在存儲器720中的軟件程序、指令以及模塊,從而執(zhí)行服務(wù)器的各種功能應(yīng)用以及數(shù)據(jù)處理,即實(shí)現(xiàn)上述方法實(shí)施例的信息處理方法。
存儲器720可以包括存儲程序區(qū)和存儲數(shù)據(jù)區(qū),其中,存儲程序區(qū)可存儲操作系統(tǒng)、至少一個(gè)功能所需要的應(yīng)用程序;存儲數(shù)據(jù)區(qū)可存儲根據(jù)電子設(shè)備的使用所創(chuàng)建的數(shù)據(jù)等。此外,存儲器720可以包括高速隨機(jī)存取存儲器,還可以包括非暫態(tài)性存儲器,例如至少一個(gè)磁盤存儲器件、閃存器件、或其他非暫態(tài)性固態(tài)存儲器件。在一些實(shí)施例中,存儲器720可選包括相對于處理器710遠(yuǎn)程設(shè)置的存儲器,這些遠(yuǎn)程存儲器可以通過網(wǎng)絡(luò)連接至終端設(shè)備。上述網(wǎng)絡(luò)的實(shí)例包括但不限于互聯(lián)網(wǎng)、企業(yè)內(nèi)部網(wǎng)、局域網(wǎng)、移動(dòng)通信網(wǎng)及其組合。
輸入裝置730可用于接收輸入的數(shù)字或字符信息,以及產(chǎn)生與電子設(shè)備的用戶設(shè)置以及功能控制有關(guān)的鍵信號輸入。輸出裝置740可包括顯示屏等顯示設(shè)備。
也即:上述電子設(shè)備包括:
一個(gè)或多個(gè)處理器;
存儲裝置,用于存儲一個(gè)或多個(gè)程序,
當(dāng)所述一個(gè)或多個(gè)程序被所述一個(gè)或多個(gè)處理器執(zhí)行,使得所述一個(gè)或多個(gè)處理器實(shí)現(xiàn)時(shí),進(jìn)行如下操作:
一種全景視頻的質(zhì)量測試方法,包括:
根據(jù)質(zhì)量測試類型,構(gòu)造設(shè)定排列順序的測試全景視頻序列,其中,所述測試全景視頻序列中包括至少一種內(nèi)容的測試全景視頻,同一內(nèi)容的測試全景視頻對應(yīng)至少一種視頻質(zhì)量;
按照所述排列順序播放所述測試全景視頻序列,并在每個(gè)測試全景視頻播放結(jié)束后,接收受試者輸入的視頻打分;
根據(jù)至少兩個(gè)所述受試者輸入的所述視頻打分,計(jì)算所述測試全景視頻序列中各測試全景視頻的質(zhì)量參數(shù)值。
進(jìn)一步的,根據(jù)質(zhì)量測試類型,構(gòu)造測試全景視頻序列包括:
根據(jù)單激勵(lì)連續(xù)質(zhì)量評分測試類型,將各所述測試全景視頻進(jìn)行隨機(jī)排列,以生成所述測試全景視頻序列。
進(jìn)一步的,根據(jù)質(zhì)量測試類型,構(gòu)造測試全景視頻序列包括:
根據(jù)多激勵(lì)連續(xù)質(zhì)量評分測試類型,將各所述測試全景視頻按照視頻內(nèi)容進(jìn)行分組;
將不同分組進(jìn)行隨機(jī)排列后,將各分組中包括的各所述測試全景視頻進(jìn)行隨機(jī)排列,以生成所述測試全景視頻序列。
進(jìn)一步的,在每個(gè)測試全景視頻播放結(jié)束后,接收受試者輸入的視頻打分包括:
在每個(gè)測試全景視頻播放結(jié)束后,進(jìn)入設(shè)定時(shí)間段的黑屏階段;
在黑屏階段結(jié)束后,接收受試者輸入的視頻打分;
其中,所述視頻打分包括:
用于衡量視頻整體質(zhì)量的整體質(zhì)量打分,和/或用于衡量視頻連續(xù)性的統(tǒng)一性程度打分。
進(jìn)一步的,還包括:
在每個(gè)測試全景視頻的播放過程中,捕捉受試者的頭部轉(zhuǎn)動(dòng)情況;
根據(jù)所述頭部轉(zhuǎn)動(dòng)情況,確定受試者觀看角度;
根據(jù)所述受試者觀看角度,確定與各測試全景視頻對應(yīng)的受試者觀看位置;
根據(jù)至少兩個(gè)所述受試者的所述視頻打分,計(jì)算所述測試全景視頻序列中各測試全景視頻的質(zhì)量參數(shù)值包括:
根據(jù)所述至少兩個(gè)所述受試者的所述視頻打分,計(jì)算各測試全景視頻的視頻整體評分;
根據(jù)與各測試全景視頻對應(yīng)的受試者觀看位置,計(jì)算各測試全景視頻的視頻局部區(qū)域評分;
將所述視頻整體評分與所述視頻局部區(qū)域評分的合集,作為各測試全景視頻的質(zhì)量參數(shù)值。
進(jìn)一步的,所述同一內(nèi)容的測試全景視頻包括:由無失真的參考視頻經(jīng)過處理后生成的失真視頻;
根據(jù)所述至少兩個(gè)所述受試者的所述視頻打分,計(jì)算各測試全景視頻的視頻整體評分包括:
根據(jù)公式:計(jì)算失真視頻j的平均意見分uj;
其中,Sij為受試者i對失真視頻j的視頻打分,Nj為觀看失真視頻j的受試者總?cè)藬?shù),i∈[1,Nj];j∈[1,M],M為測試全景視頻序列中包括的失真視頻總數(shù);
分別計(jì)算與各所述測試全景視頻對應(yīng)的所述平均意見分作為所述測試全景視頻序列中各測試全景視頻的視頻整體評分。
進(jìn)一步的,所述同一內(nèi)容的測試全景視頻包括:無失真的參考視頻、以及由所述無失真的參考視頻經(jīng)過處理后生成的失真視頻;
根據(jù)所述至少兩個(gè)所述受試者的所述視頻打分,計(jì)算各測試全景視頻的視頻整體評分包括:
根據(jù)公式計(jì)算受試者i對失真視頻j的平均意見分插值dij;其中,Sij為受試者i對失真視頻j的視頻打分;為受試者i對與所述失真視頻j關(guān)聯(lián)的目標(biāo)參考視頻的視頻打分;
分別根據(jù)公式:以及計(jì)算受試者i在觀看失真視頻j時(shí)對應(yīng)的視頻差分Zij;其中,Mi為與所述目標(biāo)參考視頻關(guān)聯(lián)的失真視頻的總數(shù)量;
將所述視頻差分Zij線性映射至設(shè)定數(shù)值范圍內(nèi),生成視頻差分映射
根據(jù)公式計(jì)算失真視頻j的平均意見差分DMOSj;其中,Nj為觀看失真視頻j的受試者總?cè)藬?shù),i∈[1,Nj];j∈[1,M],M為測試全景視頻序列中包括的失真視頻總數(shù);
分別計(jì)算與各所述測試全景視頻對應(yīng)的所述平均意見差分作為所述測試全景視頻序列中各測試全景視頻的視頻整體評分。
本發(fā)明實(shí)施例所提供的全景視頻的質(zhì)量測試裝置可用于執(zhí)行本發(fā)明任意實(shí)施例提供的全景視頻的質(zhì)量測試方法,具備相應(yīng)的功能模塊,實(shí)現(xiàn)相同的有益效果。
注意,上述僅為本發(fā)明的較佳實(shí)施例及所運(yùn)用技術(shù)原理。本領(lǐng)域技術(shù)人員會(huì)理解,本發(fā)明不限于這里所述的特定實(shí)施例,對本領(lǐng)域技術(shù)人員來說能夠進(jìn)行各種明顯的變化、重新調(diào)整和替代而不會(huì)脫離本發(fā)明的保護(hù)范圍。因此,雖然通過以上實(shí)施例對本發(fā)明進(jìn)行了較為詳細(xì)的說明,但是本發(fā)明不僅僅限于以上實(shí)施例,在不脫離本發(fā)明構(gòu)思的情況下,還可以包括更多其他等效實(shí)施例,而本發(fā)明的范圍由所附的權(quán)利要求范圍決定。