專利名稱：視頻質(zhì)量評估中的邊緣分析的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于進(jìn)行自動視頻質(zhì)量評估的方法和系統(tǒng)，尤其涉及采用邊緣分析技術(shù)的這種方法和系統(tǒng)。
背景技術(shù)：
采用人工觀察器的視頻質(zhì)量評估技術(shù)在本領(lǐng)域中是早已公知的，并且在CCIR Rec.500(ITU-R BT.500“Methodology for the SubjectiveAssessment of the Quality of Television Picture”)中描述了該技術(shù)。自動視頻質(zhì)量評估技術(shù)也是本領(lǐng)域中公知的。用于自動視頻質(zhì)量評估的現(xiàn)有技術(shù)系統(tǒng)的示例為來自美國俄勒岡州比弗頓的Tektronix公司的PQA300。該P(yáng)QA 300將由處于測試狀態(tài)下的系統(tǒng)生成的測試視頻序列與對應(yīng)的基準(zhǔn)序列進(jìn)行比較，并生成圖像質(zhì)量等級，該圖像質(zhì)量等級是表示測試視頻序列的質(zhì)量的量化值。為了生成圖像質(zhì)量等級，PQA 300相對于基準(zhǔn)序列對測試序列進(jìn)行空間分析、時(shí)間分析和全色分析。
在圖像中進(jìn)行邊緣檢測也是本領(lǐng)域公知的，并且在本領(lǐng)域中已知多種可應(yīng)用于圖像的邊緣檢測算法。已知的邊緣檢測算法的示例為Laplacian邊緣檢測器、Canny邊緣檢測器以及Rothwell邊緣檢測器。Canny邊緣檢測器的C編程語言的源代碼可以通過優(yōu)先權(quán)日之前的ftp從ftp∥figment.csee.usf.edu/pub/Edge Comparison/source code/cannv.src免費(fèi)下載獲得，而用于Rothwell邊緣檢測器的C源代碼可以從ftp∥figment.csee.usf.edu/pub/Edge Comparison/source code/rothwell.src獲得。

發(fā)明內(nèi)容
本發(fā)明通過提供用于視頻質(zhì)量評估的方法和系統(tǒng)，將在圖像處理領(lǐng)域中本來已知的邊緣檢測器技術(shù)應(yīng)用于自動視頻質(zhì)量評估領(lǐng)域，該方法和系統(tǒng)采用任意已知的邊緣檢測算法作為邊緣檢測階段(stage)的基礎(chǔ)，用于進(jìn)行測試視頻場/幀的邊緣分析，以生成邊緣參數(shù)值，然后可以將該邊緣參數(shù)值用于提高總的視頻質(zhì)量值。邊緣檢測器階段的使用有助于獲得與圖像屬性(這些圖像屬性對于人工觀察器是可以明顯感知的)相關(guān)的對于質(zhì)量評估有價(jià)值的信息，因此使得通過自動評估提供的結(jié)果與通過進(jìn)行主觀評估的人工觀察器進(jìn)行的評估更相似。
鑒于上述內(nèi)容，根據(jù)第一方面，提供了一種視頻質(zhì)量評估方法，包括以下步驟生成用于基準(zhǔn)視頻場/幀和測試視頻/幀的相應(yīng)邊緣映像(map)；生成與包含在相應(yīng)邊緣映像中的邊緣相關(guān)的數(shù)據(jù)；以及使用所生成的數(shù)據(jù)生成視頻質(zhì)量測量值。
因此，本發(fā)明的第一方面采用了視頻質(zhì)量評估方法中的邊緣檢測技術(shù)，從而相對于通過對同一測試序列進(jìn)行人工主觀測試所獲得的結(jié)果，改善了通過該方法獲得的結(jié)果。
在優(yōu)選實(shí)施例中，所述生成數(shù)據(jù)的步驟還包括生成與包含在各個(gè)邊緣映像的對應(yīng)子場/幀單元中的邊緣相關(guān)的數(shù)據(jù)。這解決了與邊緣提取算法相關(guān)的問題，因?yàn)檫@些算法對圖像中可出現(xiàn)的噪聲和退化敏感并且可能在結(jié)果中產(chǎn)生錯(cuò)誤匹配。具體地，測試序列中的平滑效果終止于與基準(zhǔn)信號中的所提取邊緣進(jìn)行比較時(shí)產(chǎn)生偏移的所提取邊緣。因此，即使這種平滑效果很有可能不被進(jìn)行主觀視頻質(zhì)量評估的人工觀察器注意到，邊緣映像的直接像素比較也可能導(dǎo)致錯(cuò)誤的視頻質(zhì)量評估值。
此外，在該優(yōu)選實(shí)施例中，所述生成數(shù)據(jù)的步驟還包括對測試和基準(zhǔn)場/幀的子單元中的邊緣像素進(jìn)行計(jì)數(shù)；確定測試和基準(zhǔn)場/幀中的對應(yīng)子場/幀單元的相應(yīng)計(jì)數(shù)之間的相應(yīng)差值；以及根據(jù)所述差值生成邊緣參數(shù)值。
因此，進(jìn)行測試和基準(zhǔn)信號的子場/幀單元的比較，并獲得邊緣參數(shù)值，該邊緣參數(shù)值表示各個(gè)子場/幀單元之間的差異。隨后可以將該邊緣參數(shù)值直接用作表示用于生成最終視頻質(zhì)量評估值的邊緣數(shù)據(jù)的單個(gè)值。
優(yōu)選地，在該優(yōu)選實(shí)施例中，所述使用步驟還包括將所述邊緣參數(shù)值與通過其它分析技術(shù)獲得的其它參數(shù)值進(jìn)行集成，以給出視頻質(zhì)量值。其它分析技術(shù)可以優(yōu)選地包括空間分析、時(shí)間分析和/或紋理分析(texture analysis)中的任何一個(gè)或多個(gè)。
優(yōu)選地，所述集成步驟包括根據(jù)預(yù)定的加權(quán)值對所述參數(shù)值進(jìn)行加權(quán)，并將進(jìn)行了加權(quán)的值相加，其中所得到的總和為視頻質(zhì)量值。
根據(jù)第二方面，本發(fā)明還提供了一種視頻質(zhì)量評估系統(tǒng)，其包括邊緣映像生成裝置，用于生成基準(zhǔn)視頻場/幀和測試視頻/幀的相應(yīng)邊緣映像；邊緣映像分析裝置，用于生成與包含在各個(gè)邊緣映像中的邊緣相關(guān)的數(shù)據(jù)；以及視頻質(zhì)量值確定裝置，用于使用所生成的數(shù)據(jù)來生成視頻質(zhì)量測量值。
在第二方面中，可以獲得與前面對于第一方面所述相同的優(yōu)點(diǎn)。另外，還可以提供相同的進(jìn)一步特征和優(yōu)點(diǎn)。
根據(jù)第三方面，本發(fā)明還提供了一種計(jì)算機(jī)程序或一組程序，其被設(shè)置為使得在由計(jì)算機(jī)系統(tǒng)執(zhí)行所述程序時(shí)，它/它們使得該系統(tǒng)執(zhí)行第一方面的方法。該一個(gè)或多個(gè)計(jì)算機(jī)程序可以通過經(jīng)調(diào)制的載波信號來實(shí)現(xiàn)，該載波信號包含有與所述計(jì)算機(jī)程序或該組程序中的至少一個(gè)相對應(yīng)的數(shù)據(jù)，例如通過網(wǎng)絡(luò)(例如互聯(lián)網(wǎng))傳送的信號。
另外，根據(jù)另一方面，本發(fā)明還提供了一種計(jì)算機(jī)可讀存儲介質(zhì)，用于存儲根據(jù)本第三方面的計(jì)算機(jī)程序或一組計(jì)算機(jī)程序中的至少一個(gè)程序。該計(jì)算機(jī)可讀存儲介質(zhì)可以是磁、光、磁光、固態(tài)或者能夠由計(jì)算機(jī)讀取的其它存儲介質(zhì)中的任何一種。


根據(jù)下面參照附圖，以示例的方式對本發(fā)明實(shí)施例的描述，本發(fā)明的進(jìn)一步特征和優(yōu)點(diǎn)將變得明了，其中相同的附圖標(biāo)記表示相同的部分，并且在附圖中圖1是表示本發(fā)明實(shí)施例的組成部分及其間的信號流的系統(tǒng)框圖；圖2是更詳細(xì)地表示在本發(fā)明實(shí)施例中使用的各種檢測器模塊的系統(tǒng)框圖；圖3是本發(fā)明實(shí)施例的空間分析器的框圖；圖4表示由本發(fā)明實(shí)施例中的空間分析器生成的金字塔陣列(pyramid array)；圖5是表示在本發(fā)明實(shí)施例中生成金字塔數(shù)組的流程圖；圖6是表示在本發(fā)明實(shí)施例中計(jì)算金字塔SNR值的流程圖；圖7是表示本發(fā)明實(shí)施例的邊緣分析器的框圖；圖8是表示本發(fā)明實(shí)施例的邊緣分析器的操作的流程圖；圖9是表示本發(fā)明實(shí)施例的紋理分析器的操作的流程圖；圖10是表示本發(fā)明實(shí)施例的集成器階段(integrator stage)的操作的流程圖；以及圖11是本發(fā)明第二實(shí)施例的框圖。
具體實(shí)施例方式
下面將描述本發(fā)明的實(shí)施例。
圖1表示本發(fā)明實(shí)施例的大致結(jié)構(gòu)的總體系統(tǒng)框圖。在圖1中，將包括基準(zhǔn)序列場/幀的基準(zhǔn)序列輸入給檢測器模塊2。同樣，還將視頻場/幀測試序列8(在這里可互換地稱為測試序列或者退化序列)輸入到檢測器模塊2中。通過將基準(zhǔn)序列輸入到待測試的系統(tǒng)(例如，視頻記錄裝置、廣播系統(tǒng)或視頻編碼解碼器)，并隨后將處于測試狀態(tài)下的系統(tǒng)的輸出作為測試序列來獲得該測試序列。檢測器模塊2用于檢測所輸入的基準(zhǔn)和測試視頻場/幀的各種視頻特性，并生成視頻特性值，然后將這些視頻特性值輸出給集成模塊4。集成模塊4將這些視頻特性值集成在一起，以給出預(yù)測的視頻質(zhì)量值10，將預(yù)測的視頻質(zhì)量值10從集成模塊4輸出。
圖2更詳細(xì)地表示了本發(fā)明實(shí)施例的結(jié)構(gòu)。這里可以看到，將基準(zhǔn)和測試視頻序列分別輸入給四個(gè)分析器，即空間頻率分析器22、亮度和色度功率信噪比分析器24、邊緣分析器26和紋理分析器28。各個(gè)分析器用于生成各種視頻特性值，作為它們分別進(jìn)行的相應(yīng)形式的分析的結(jié)果，并且將這些視頻特性值輸入給集成模塊4。該集成模塊隨后將各個(gè)視頻特性值組合在一起以生成視頻質(zhì)量值PDMOS 10，該視頻質(zhì)量值是與通過本發(fā)明實(shí)施例評估的測試視頻質(zhì)量相關(guān)的量化值。
現(xiàn)在返回以簡要地介紹四個(gè)分析器模塊22至28中的每一個(gè)，空間頻率分析器22用于對所輸入的測試視頻場/幀和基準(zhǔn)視頻場/幀進(jìn)行分析，并通過對所輸入的基準(zhǔn)視頻場/幀和測試視頻場/幀進(jìn)行金字塔分析來生成金字塔SNR值PySNR(a，b)。另外，亮度和色度PSNR分析器24對所輸入的基準(zhǔn)場/幀和所輸入的測試場/幀進(jìn)行比較，以生成隨后要輸出的亮度和色度PSNR值。類似地，邊緣檢測器分析器26對所輸入的基準(zhǔn)場/幀和所輸入的測試場/幀進(jìn)行分析，并輸出單個(gè)邊緣檢測器值EDif。最后，紋理分析器28對測試場/幀和基準(zhǔn)場/幀進(jìn)行分析，以計(jì)算表示當(dāng)前測試場/幀中的紋理的參數(shù)TextureDeg、以及表示當(dāng)前基準(zhǔn)場/幀中的紋理的參數(shù)TextureRef。在任何情況下，稍后將更詳細(xì)地描述這些空間頻率分析器22、亮度和色度功率信噪比分析器24、邊緣分析器26和紋理分析器28中的每一個(gè)的操作。
再次參照圖1，可以看到，將來自各個(gè)分析器22至28的輸出分別輸入給集成模塊4，該集成模塊用于將這些值集成在一起，以生成預(yù)測的視頻質(zhì)量值10。稍后還將更詳細(xì)描述集成器4的操作。
再次參照圖2，下面將參照圖3至圖10來描述其中所示的各個(gè)模塊和分析器的操作。
首先參照空間頻率分析器22，圖3中示出了空間頻率分析器22的內(nèi)部結(jié)構(gòu)。這里可以看出，空間頻率分析器22內(nèi)部包括第一金字塔變換生成器222，該生成器用于接收測試視頻場/幀作為輸入。另外，設(shè)置有第二金字塔變換生成器224，該生成器用于接收基準(zhǔn)視頻場/幀作為輸入。這兩個(gè)金字塔變換生成器222和224分別相同地進(jìn)行操作，以生成用于各個(gè)輸入場/幀的金字塔陣列，然后將該金字塔陣列輸入給金字塔SNR計(jì)算器226，以生成在各個(gè)對應(yīng)的測試視頻場/幀和基準(zhǔn)視頻場/幀之間的金字塔SNR量度。下面將參照圖4至圖6來描述空間頻率分析器22生成金字塔SNR量度的操作。
首先參照圖5，圖5是表示由金字塔變換生成器222或224在生成相應(yīng)的金字塔陣列時(shí)執(zhí)行的步驟的流程圖。因此，首先在步驟8.2，金字塔轉(zhuǎn)換生成器從相應(yīng)的序列(即，測試序列或基準(zhǔn)序列)接收輸入場/幀。然后，在步驟8.4，將計(jì)數(shù)器stage初始化為0，并開始處理循環(huán)，以生成金字塔陣列。隨后生成金字塔陣列的總過程為三階段兩步驟過程，其中對于各個(gè)階段0至2，在進(jìn)行水平分析之后進(jìn)行垂直分析。下面將根據(jù)步驟8.6至8.20來描述在水平和垂直分析的一個(gè)具體階段中涉及的步驟。
當(dāng)在步驟8.4開始處理循環(huán)時(shí)，對于金字塔處理的特定階段，在步驟8.6執(zhí)行的第一步驟為將正在處理的當(dāng)前場/幀如下復(fù)制到temp陣列中PTemp(x，y)＝P(x，y) x＝0...X-1，y＝0...Y-1 (8-1)然后，在步驟8.8，如下作為階段參數(shù)的當(dāng)前值的函數(shù)計(jì)算水平分析極限Tx＝X/2(stage+1)(8-2)Ty＝Y(jié)/2stage(8-3)接下來，在所計(jì)算的極限內(nèi)進(jìn)行水平分析，從而根據(jù)下式使用臨時(shí)陣列的水平元素對的平均值和差值來更新金字塔陣列P(x，y)＝0.5*(PTemp(2x，y)+PTemp(2x+1，y)) x＝0...Tx-1，y＝0...Ty-1 (8-4)P(x+Tx，y)＝PTemp(2x，y)-PTemp(2x+1，y) x＝0...Tx-1，y＝0...Ty-1 (8-5)并且在步驟8.12，使用水平分析的結(jié)果來重寫所輸入的場/幀值。
然后在步驟8.14開始對當(dāng)前處理階段進(jìn)行垂直分析，其中將所輸入的場/幀再次復(fù)制到temp陣列中。然而，在此應(yīng)該注意，在步驟8.12，使用水平分析的結(jié)果來重寫所輸入的場/幀內(nèi)的值，因此可以看出，對當(dāng)前階段的垂直分析的輸入是從緊接著當(dāng)前階段的前一水平分析的輸出。
接下來，在步驟8.16，如下作為stage值的函數(shù)計(jì)算垂直分析極限
Tx＝X/2stage(8-6)Ty＝Y(jié)/2(stage+1)(8-7)此后，在步驟8.18，根據(jù)以下方程在所計(jì)算的極限內(nèi)進(jìn)行垂直分析，以根據(jù)以下方程使用臨時(shí)陣列的垂直元素對的平均值和差值來更新金字塔陣列P(x，y)＝0.5*(PTemp(x，2y)+PTemp(x，2y+1)) x＝0...Tx-1，y＝0...Ty-1 (8-8)P(x，y+Ty)＝PTemp(x，2y)-PTemp(x，2y+1) x＝0...Tx-1，y＝0...Ty-1 (8-9)在步驟8.20，使用在步驟8.18進(jìn)行的垂直分析的結(jié)果來重寫所輸入的場/幀，以使所輸入的場/幀陣列內(nèi)的值與空間分析的第一階段的結(jié)果相對應(yīng)。在步驟8.22，進(jìn)行評估以確定是否已經(jīng)執(zhí)行了用于生成金字塔陣列的空間分析的各個(gè)階段，并且如果沒有執(zhí)行，則處理返回到步驟8.4，在步驟8.4將stage值加一，并再次重復(fù)步驟8.6至8.20。應(yīng)該注意，對于各個(gè)階段的水平分析和垂直分析的各個(gè)步驟，使用所計(jì)算的垂直和水平極限來重寫所輸入的場/幀內(nèi)的值，從而在處理通過各個(gè)階段逐步地進(jìn)行時(shí)，將保存在輸入場/幀內(nèi)的值轉(zhuǎn)換為金字塔結(jié)構(gòu)，其中在每一級有四個(gè)象限。因此，在已經(jīng)完成stage0至2中的每一個(gè)，從而在步驟8.22的評估導(dǎo)致處理循環(huán)結(jié)束時(shí)，構(gòu)造了可以在步驟8.24輸出的金字塔陣列。
在圖7中示出了在各個(gè)處理階段結(jié)束時(shí)所構(gòu)造的金字塔陣列的格式。更具體地，圖7(a)表示在階段0處理結(jié)束之后輸入場/幀陣列的內(nèi)容，此時(shí)可以看出，其后為垂直分析步驟的水平分析步驟使陣列分為四個(gè)象限Q(stage，0至3)，其中Q(0，0)包含有與所輸入的場/幀的四像素塊的平均值相對應(yīng)的值，Q(0，1)包含有與所輸入的場/幀的四像素塊的水平差值相對應(yīng)的值，Q(0，2)包含有與四像素塊的垂直差值相對應(yīng)的值，而Q(0，3)包含有與四像素塊的對角差值相對應(yīng)的值。
隨后將如圖7(a)中所示的從階段0分析輸出的象限Q(0，0)用作對FOR循環(huán)的第二次迭代的輸入，以進(jìn)行階段1處理，其結(jié)果如圖7(b)所示。這里可以看出，已經(jīng)使用與4×4像素塊的分析相關(guān)的結(jié)果重寫了象限Q(0，0)，但是其中每一個(gè)象限Q(1，0至3)包含有與前面對于階段0輸出所述的平均值、水平差值、垂直差值和對角差值相關(guān)的值。
將如圖7(b)所示的階段1分析的輸出用作對圖8的FOR循環(huán)的第三次迭代中的階段2分析的輸入，以給出圖7(c)中所示的結(jié)果，其中可以看出，已使用象限Q(2，0至3)重寫了象限Q(1，0)，其中象限Q(2，0至3)中的每一個(gè)分別與塊的平均值、塊的水平差值等相關(guān)，如前所述。在三個(gè)階段的分析之后，如圖7(c)中所示的所得到的金字塔陣列總共具有十個(gè)結(jié)果塊，其中三個(gè)塊Q(0，1至3)來自階段0(2×2像素)分析，三個(gè)象限Q(1，1至3)來自階段1(4×4像素)分析，以及四個(gè)象限Q(2，0至3)來自階段2(8×8像素)分析。應(yīng)該注意，圖8的用于生成圖7中所示的金字塔陣列的過程由各個(gè)金字塔變換生成器222和224來執(zhí)行，以生成相應(yīng)的金字塔陣列pref和pdeg，然后將這兩個(gè)陣列輸入SNR計(jì)算器226。在圖6中示出了金字塔SNR計(jì)算器226的操作。
參照圖6，首先在步驟9.2，金字塔SNR計(jì)算器226分別從金字塔變換生成器224和222接收基準(zhǔn)和退化金字塔陣列。接下來在步驟9.4，開始處理循環(huán)，該處理循環(huán)處理計(jì)數(shù)器值stage從0至2的每一個(gè)值。接下來，在步驟9.6開始嵌套的第二處理循環(huán)，該第二處理循環(huán)處理值1至3之間的計(jì)數(shù)器值quadrant。在這些嵌套的處理循環(huán)中，在步驟9.8，根據(jù)下式計(jì)算基準(zhǔn)和金字塔陣列之間的均方差量度值E(stage，quadrant)。
E(s,q)=(1/XY2)Σx=x1(s,q)x2(s,q)Σy=y1(s,q)y2(s,q)(Pr ef(x,y)-P deg(x,y))2s=0.2q=1.3---(9-1)]]>其中，x1、x2、y1和y2限定了金字塔陣列內(nèi)的象限的水平和垂直極限，并根據(jù)下式來計(jì)算x1(s，1)＝X/2(s+1)x2(s，1)＝2*x1(s，1) y1(s，1)＝0 y2(s，1)＝Y(jié)/2(s+1)(9-2)x1(s，2)＝0 x2(s，2)＝X/2(s+1)y1(s，2)＝Y(jié)/2(s+1)y2(s，2)＝2*y1(s，2) (9-3)x1(s，3)＝X/2(s+1)x2(s，3)＝2*x1(s，3) y1(s，3)＝Y(jié)/2(s+1)y2(s，3)＝2*y1(s，3) (9-4)然后在步驟9.10存儲每一個(gè)所計(jì)算的誤差量度E(stage，quadrant)，此后在步驟9.12和9.14，更新quadrant和stage計(jì)數(shù)器的值以適于該處理循環(huán)。步驟9.4至9.14和步驟9.6至9.12的處理循環(huán)的操作用于計(jì)算計(jì)數(shù)器stage和計(jì)數(shù)器quadrant的各個(gè)值的誤差量度值。
在計(jì)算均方差量度值之后，在步驟9.16，開始進(jìn)一步的處理循環(huán)，以處理計(jì)數(shù)器stage從0至2的所有可能值，此后在步驟9.18，開始嵌套的處理循環(huán)，以處理quadrant計(jì)數(shù)器的值1至3。在這些嵌套的處理循環(huán)中，在步驟9.20，根據(jù)下式計(jì)算PSNR量度PySNR(stage，quadrant)if(E＞0.0)PySNR(s，q)＝10.0*log10(2552/E(s，q))else SNR＝10.0*log10(2552*XY2) (9-5)然后在步驟9.22對其進(jìn)行存儲。在步驟9.24和后續(xù)步驟9.26，將計(jì)數(shù)器stage和quadrant的值加一，以適于這些處理循環(huán)，以使該嵌套的處理循環(huán)用于計(jì)算并存儲各個(gè)stage值和各個(gè)quadrant值的PSNR量度。假定參數(shù)stage可以取值0至2，并且參數(shù)quadrant可以取值1至3，則可以看出，通過金字塔SNR計(jì)算器226總共生成9個(gè)PSNR量度，所有這些量度都可以輸出給集成階段4。
下面將參照圖7和圖8來描述邊緣分析器26的操作。
圖7表示邊緣分析器26的內(nèi)部結(jié)構(gòu)。更具體地，邊緣分析器26包括第一邊緣檢測器262，用于接收并測試視頻場/幀，并檢測其中的邊緣；以及第二邊緣檢測器264，用于接收從匹配模塊30輸出的基準(zhǔn)視頻場/幀，并檢測其中的邊緣。邊緣檢測器262和264都優(yōu)選地根據(jù)已知的邊緣檢測算法進(jìn)行操作，并以本領(lǐng)域中已知的方式生成邊緣映像。例如，已知的邊緣檢測算法的示例有Laplacian邊緣檢測器、Canny邊緣檢測器以及Rothwell邊緣檢測器。Canny邊緣檢測器的C編程語言的源代碼可以通過優(yōu)先權(quán)日之前的ftp從ftp∥figment.csee.usf.edu/pub/EdgeComparison/source code/canny.src免費(fèi)下載獲得，而用于Rothwell邊緣檢測器的C源代碼可以從ftp∥figment.csee.usf.edu/pub/EdgeComparison/source code/rothwell.src獲得。
將由各個(gè)邊緣檢測器262和264生成的各個(gè)邊緣映像輸入給塊匹配裝置266，該塊匹配裝置用于以將要進(jìn)行說明的方式對各個(gè)邊緣映像進(jìn)行比較，并生成表示該比較的輸出參數(shù)EDif。在圖8中更詳細(xì)地示出了邊緣分析器26的操作。
參照圖8，首先在步驟11.2，各個(gè)邊緣檢測器262和264計(jì)算相應(yīng)的基準(zhǔn)和退化邊緣映像。如上所述，邊緣檢測器262和264所采用的邊緣檢測算法優(yōu)選地為現(xiàn)有技術(shù)中已知的算法，例如Canny邊緣檢測器。邊緣檢測器262和264將基準(zhǔn)和退化邊緣映像輸出給塊匹配裝置266，其中在步驟11.4，將基準(zhǔn)和退化邊緣映像中的每一個(gè)分為n×m塊。接下來，塊匹配裝置266用于對構(gòu)成基準(zhǔn)和退化邊緣映像中的每個(gè)塊內(nèi)的部分邊緣的各個(gè)像素進(jìn)行計(jì)數(shù)。因此，在步驟11.6之后，塊匹配裝置266獲得了基準(zhǔn)和退化邊緣映像中的每一個(gè)的各個(gè)塊的邊緣像素的計(jì)數(shù)。
在計(jì)數(shù)步驟之后，在步驟11.8，塊匹配裝置266計(jì)算在基準(zhǔn)和退化邊緣映像中對應(yīng)塊之間的相應(yīng)像素計(jì)數(shù)值的差異。因此在步驟11.8之后，可以獲得與在基準(zhǔn)或退化邊緣映像中之一內(nèi)的塊一樣多的差值。
在步驟11.8之后，在步驟11.10，塊匹配裝置266將各個(gè)差值賦給冪(power)Q，并且在步驟11.12，對所獲得的值求和。因此，在步驟11.10之后，仍然存在與基準(zhǔn)或退化邊緣映像之一中的塊一樣多的值，但是在步驟11.12之后，獲得了與在步驟11.10計(jì)算的值的總和相對應(yīng)的單個(gè)結(jié)果。在步驟11.14，將所獲得的總和值賦給冪1/Q，并且在步驟11.16，從塊匹配裝置266輸出該計(jì)算的結(jié)果作為EDif參數(shù)。如從圖2可以看出，將EDif參數(shù)從邊緣分析器26輸出給集成階段4。稍后將描述在集成階段中使用EDif參數(shù)。
在某些情況下考慮在邊緣求差步驟11.6至11.16中從場/幀邊緣的分析偏移量是有用的，在這種情況下，該處理如下。
在處理相應(yīng)的邊緣映像之后，塊匹配裝置隨后計(jì)算各個(gè)分析塊中的邊緣標(biāo)記像素的數(shù)量的量度，其中nX和nY限定了將沿水平和垂直方向進(jìn)行分析的非重疊塊的數(shù)量，而X1和Y1限定了從場邊緣的分析偏移量。
Bref(x,y)=Σi=i1i2Σj=j1j2EMap Re f(Nx+X1+i,My+Y1+j)]]>x＝0...nX-1，y＝0...nY-1(11-1)BDeg(x,y)=Σi=i1i2Σj=j1j2EMapDeg(Nx+X1+i,My+Y1+j)]]>x＝0...nX-1，y＝0...nY-1(11-2)
根據(jù)下式來確定求和極限i1＝-(N div 2) i2＝(N-1)div 2(11-3)j1＝-(M div 2) j2＝(M-1)div 2(11-4)其中，操作符“div”表示整除。
然后，根據(jù)下式計(jì)算整個(gè)場中的差值的量度EDif=(1/N*M*nX*nY)*(Σx=0nX-1Σy=0nY-1(B Re f(x,y)-BDeg(x,y))Q)1/Q---(11-5)]]>對于用于625廣播視頻的720×288像素場N＝4，X1＝6，nX＝178，M＝4，Y1＝10，ny＝69(11-6)而對于用于525廣播視頻的720×243像素場N＝4，X1＝6，nX＝178，M＝4，Y1＝10，ny＝58(11-7)應(yīng)該注意，由方程11-1至11-7表示的上述處理基本上與已參照圖11所述的相同，其區(qū)別在于考慮了從場/幀邊緣的分析偏移量。將通過方程11-5獲得的參數(shù)EDif以與上述相同的方式輸出給集成階段4。
下面將參照圖9來描述紋理分析器28的操作。
數(shù)字視頻壓縮傾向于通過在編碼處理中使用的DCT系數(shù)的量化，來減少圖像內(nèi)的紋理或細(xì)節(jié)。因此，紋理分析可以獲得與這種壓縮相關(guān)的重要信息，并在本實(shí)施例中用于提供視頻特性值TextureDeg和TextureRef。更具體地，通過記錄強(qiáng)度信號沿水平圖像線的轉(zhuǎn)向點(diǎn)的數(shù)量，來測量紋理參數(shù)值TextureDeg和TextureRef。如圖9所示執(zhí)行該處理。
參照圖9，首先在步驟12.2，紋理分析器28接收到待處理的當(dāng)前測試場/幀。從圖2可以看出，紋理分析器28接收測試視頻場/幀，以及原始的基準(zhǔn)場/幀。然而，在其它實(shí)施例中，紋理分析器28可以僅接收基準(zhǔn)場/幀或測試場/幀中的一個(gè)，在這種情況下僅適當(dāng)?shù)赜?jì)算一個(gè)TextureDeg或TextureRef參數(shù)。
在步驟12.2之后，在步驟12.4，將轉(zhuǎn)向點(diǎn)計(jì)數(shù)器sum初始化為零。接著，在步驟12.6，在有限循環(huán)0至Y-1內(nèi)對所輸入的視頻場/幀循環(huán)中的每條線開始處理循環(huán)，其中Y是視頻場/幀內(nèi)的線的數(shù)量。在該處理循環(huán)中，在步驟12.18，將值last_pos和last_neg均初始化為0。接下來，在步驟12.10，開始嵌套的第二處理循環(huán)，以處理每條線y中的各個(gè)像素x，其中x取值為0至X-2，其中X是在所輸入的視頻場/幀的線中的像素?cái)?shù)量。
在該嵌套的處理循環(huán)中，在步驟12.12，計(jì)算位置x處的像素值與位置x+1處的像素值之間的差值。然后，在步驟12.14，進(jìn)行評估以確定所計(jì)算的差值是否大于0，并還確定值last_neg是否大于值last_pos。如果滿足該邏輯條件，則計(jì)數(shù)器值sum加一。在步驟12.14之后，在步驟12.16，進(jìn)行二次評估，以確定在步驟12.12計(jì)算的差值是否小于0，并且還確定值last_neg是否小于值last_pos。如果滿足該邏輯條件，則計(jì)數(shù)器值sum加一。應(yīng)該注意，步驟12.14和步驟12.16的評估是相互排斥的，所以對于任何單個(gè)的特定像素不可能使計(jì)數(shù)器值sum增加兩次。在步驟12.16之后，在步驟12.18，進(jìn)行進(jìn)一步的評估以確定所計(jì)算的差值是否大于零，在這種情況下，將值last_pos設(shè)定為當(dāng)前像素?cái)?shù)量x。另選地，在步驟12.20，進(jìn)行二次評估，以確定所計(jì)算的差值是否小于零，在這種情況下，將值last_neg設(shè)定為當(dāng)前像素?cái)?shù)量x。
在步驟12.20之后，在步驟12.22，進(jìn)行評估以確定是否已經(jīng)處理了當(dāng)前線中的所有像素x，如果沒有，則處理返回到步驟12.10，在步驟12.10中對下一像素進(jìn)行處理。然而，如果已經(jīng)處理了所有像素，則處理進(jìn)行到步驟12.24，在步驟12.24中進(jìn)行評估，以確定是否已經(jīng)處理了當(dāng)前輸入幀中的所有線y，如果沒有，則處理返回到步驟12.6，開始處理下一條線。這些嵌套的處理循環(huán)的結(jié)果為對每條線上的各個(gè)像素進(jìn)行了處理，并且每當(dāng)步驟12.14和步驟12.16的評估返回“真”時(shí)，計(jì)數(shù)器sum加一。因此，在處理循環(huán)完成之后，計(jì)數(shù)器sum將包含表示在所輸入的場/幀中的紋理轉(zhuǎn)向點(diǎn)的特定值。
使用保存在計(jì)數(shù)器sum中的該值，在步驟12.26，作為保存在計(jì)數(shù)器sum中的該值的函數(shù)，如下計(jì)算紋理參數(shù)Texture＝sum*100/XY (12-1)在步驟12.28，可以將由此計(jì)算得到的紋理參數(shù)從紋理分析器28輸出給集成階段4。
下面將描述亮度和色度功率信噪比分析器24的操作。
如圖2所示，亮度和色度功率信噪比分析器24接收進(jìn)行了匹配的基準(zhǔn)視頻場/幀和退化視頻場/幀作為輸入。然后可以根據(jù)以下方程在強(qiáng)度和顏色信噪比量度中使用這些輸入，其中RefY和DegY是基準(zhǔn)和退化強(qiáng)度場，而RefU、DegU、RefV和DegV是根據(jù)YUV標(biāo)準(zhǔn)顏色格式的色度場YPSNR=10.0*log10(2552*XY/(Σx=0X-1Σy=0Y-1(Re fY(x,y)-DegY(x,y))2))---(2-1)]]>UPSNR=10.0*log10(2552*XY/(Σx=0X-1Σy=0Y-1(Re fU(x,y)-DegU(x,y))2))---(2-2)]]>VPSNR=10.0*log10(2552*XY/(Σx=0X-1Σy=0Y-1(Re fV(x,y)-DegV(x,y))2))---(2-3)]]>當(dāng)然，在本發(fā)明的其它實(shí)施例中并不使用YUV顏色模型，例如RGB和YCbCr，當(dāng)然對于本領(lǐng)域技術(shù)人員顯然可以計(jì)算相似的對應(yīng)量度。
返回圖1，將來自檢測器模塊2中的匹配模塊和分析器的各種輸出輸入給集成階段4，其中將各種值集成在一起以給出視頻質(zhì)量值10。下面將參照圖10來描述集成階段4的操作。
通常，集成階段的操作是通過對由分析器22至28生成的視頻特性參數(shù)值選擇性地適當(dāng)加權(quán)，來對測試視頻序列的感知視頻質(zhì)量進(jìn)行估計(jì)。所使用的特定參數(shù)值集合和對應(yīng)加權(quán)因子的值取決于所測試視頻的具體類型，并且通過在先校準(zhǔn)來預(yù)先確定。對具有已知主觀分值并優(yōu)選地具有與待測試的退化序列相類似的特性的大視頻序列集合進(jìn)行校準(zhǔn)。
集成過程的總體形式為首先通過場/幀檢測參數(shù)對場/幀進(jìn)行時(shí)間加權(quán)，然后組合該時(shí)間加權(quán)值和平均值，以給出預(yù)測的質(zhì)量分值(其為總體視頻質(zhì)量值)。在圖10中示出了實(shí)現(xiàn)該操作的處理。
首先，集成階段4在步驟13.2接收從各種檢測器和分析器輸出的參數(shù)值并對其進(jìn)行存儲。如上所述，空間頻率分析器22輸出PySNR值，而亮度和色度功率信噪比分析器24輸出所使用的顏色模型中的各個(gè)亮度和色度特性的PSNR值。另外，邊緣分析器26如上所述輸出EDif參數(shù)，而紋理分析器28至少給出值TextureDeg，但是如果合適，還可以輸出值TextureRef和TextureMref。對于特定的測試視頻場/幀，不管由各個(gè)較早階段輸出什么參數(shù)和值，集成階段都接收輸出信息并對其進(jìn)行存儲。
接下來，在步驟13.4，集成階段選擇視頻類型，并根據(jù)該視頻類型來選擇集成參數(shù)集合。例如，下面給出了720×288像素每場的625廣播視頻的集成參數(shù)集合，該625廣播視頻已經(jīng)以1Mbit每秒和5Mbit每秒之間的比特率進(jìn)行了MPEG編碼，并且可以通過在先校準(zhǔn)來確定N＝400，K＝6，偏移＝176.486(4-1)

表1 625廣播視頻的集成參數(shù)而525線視頻的加權(quán)值為

表2 525廣播視頻的集成參數(shù)如上所述，通過校準(zhǔn)預(yù)先確定各種加權(quán)因子的準(zhǔn)確值。另外，在集成階段4中以查找表等的方式存儲各個(gè)集成參數(shù)集合。
在選擇視頻類型并根據(jù)所存儲的查找表設(shè)定了集成參數(shù)后，在步驟13.6，開始處理循環(huán)，以處理值0至K-1內(nèi)的各個(gè)集成參數(shù)類型k，其中各個(gè)參數(shù)(k)是從各種分析器或匹配模塊接收的參數(shù)中的特定的一個(gè)。在該處理循環(huán)中，在步驟13.8，首先根據(jù)下式來計(jì)算這些參數(shù)值的時(shí)間加權(quán)平均值A(chǔ)vD(k)
AvD(k)=(1/N)*(Σn=0N-1D(k,n)mnk)1/mnk---(13-1)]]>其中，n是場的數(shù)量，D(k，n)是第k檢測參數(shù)的第n場，而mnk是“minkowski”加權(quán)系數(shù)。接下來，在步驟13.10，將時(shí)間加權(quán)平均值A(chǔ)vD(k)乘以適當(dāng)?shù)募訖?quán)系數(shù)w(k)并存儲所得到的乘積。從用于存儲在集成階段4中的視頻類型的適當(dāng)查找表，讀取適當(dāng)?shù)募訖?quán)系數(shù)w(k)。
在步驟13.12，進(jìn)行評估，進(jìn)行評估確定是否已經(jīng)處理了所有的集成參數(shù)(k)，如果沒有，則再次執(zhí)行步驟13.6的處理循環(huán)，直到處理了所有的參數(shù)為止。當(dāng)處理了所有的參數(shù)時(shí)，對于各個(gè)類型的參數(shù)k可以獲得進(jìn)行了適當(dāng)加權(quán)的時(shí)間加權(quán)平均值，然后在步驟13.14如下與偏移值一起進(jìn)行求和 以給出最終的視頻質(zhì)量值PDMOS，然后在步驟13.16輸出該視頻質(zhì)量值PDMOS。
所輸出的視頻質(zhì)量值PDMOS可用于多種用途。具體地，其可以用于評估現(xiàn)有視頻服務(wù)的質(zhì)量以確保合適的質(zhì)量，或者另選地用于測試不同視頻編碼解碼器的性能。另外，視頻質(zhì)量值可以用于評估新視頻服務(wù)的性能，例如互聯(lián)網(wǎng)上的寬帶型視頻服務(wù)。
除非上下文明確需要，否則在本說明書和權(quán)利要求書中詞語“包括”應(yīng)當(dāng)理解為包含(與排他或窮盡相反)；也就是說，其含義為“包含但并不限于”。
此外，為了避免歧義，已參考了現(xiàn)有技術(shù)文獻(xiàn)或公開，其全部或部分內(nèi)容對于讀者(本領(lǐng)域技術(shù)人員)理解本發(fā)明的任一實(shí)施例的操作或?qū)嵤┦潜匦璧模诖送ㄟ^引用并入所述內(nèi)容。
權(quán)利要求
1.一種視頻質(zhì)量評估方法，包括以下步驟生成基準(zhǔn)視頻場/幀和測試視頻/幀的相應(yīng)邊緣映像；生成與包含在所述相應(yīng)邊緣映像中的邊緣相關(guān)的數(shù)據(jù)；以及使用所生成的數(shù)據(jù)生成視頻質(zhì)量測量值。
2.根據(jù)權(quán)利要求1所述的方法，其中，所述生成數(shù)據(jù)的步驟還包括生成與包含在所述相應(yīng)邊緣映像的對應(yīng)子場/幀單元中的邊緣相關(guān)的數(shù)據(jù)。
3.根據(jù)權(quán)利要求2所述的方法，其中，所述生成數(shù)據(jù)的步驟還包括對所述測試和基準(zhǔn)場/幀的子單元中的邊緣像素進(jìn)行計(jì)數(shù)；確定所述測試和基準(zhǔn)場/幀中的對應(yīng)子場/幀單元的相應(yīng)計(jì)數(shù)之間的相應(yīng)差值；以及根據(jù)所述差值生成邊緣參數(shù)值。
4.根據(jù)權(quán)利要求3所述的方法，其中，所述使用步驟還包括將所述邊緣參數(shù)值與通過其它分析技術(shù)獲得的其它參數(shù)值進(jìn)行集成，以給出視頻質(zhì)量值。
5.根據(jù)權(quán)利要求4所述的方法，其中，所述集成步驟包括根據(jù)預(yù)定的加權(quán)值對所述參數(shù)值進(jìn)行加權(quán)，并對進(jìn)行了加權(quán)的值求和，其中所獲得的和為所述視頻質(zhì)量值。
6.一種計(jì)算機(jī)程序或一組程序，其被設(shè)置為使得當(dāng)由計(jì)算機(jī)系統(tǒng)執(zhí)行該計(jì)算機(jī)程序或該組程序時(shí)，它/它們使得該系統(tǒng)執(zhí)行權(quán)利要求1至5中的任何一項(xiàng)所述的處理。
7.一種經(jīng)調(diào)制的載波信號，該載波信號包含有與權(quán)利要求6的計(jì)算機(jī)程序或該組程序中的至少一個(gè)相對應(yīng)的數(shù)據(jù)。
8.一種計(jì)算機(jī)可讀存儲介質(zhì)，用于存儲根據(jù)權(quán)利要求6的計(jì)算機(jī)程序或一組計(jì)算機(jī)程序中的至少一個(gè)程序。
9.一種視頻質(zhì)量評估系統(tǒng)，其包括邊緣映像生成裝置，用于生成基準(zhǔn)視頻場/幀和測試視頻/幀的相應(yīng)邊緣映像；邊緣映像分析裝置，用于生成與包含在所述相應(yīng)邊緣映像中的邊緣相關(guān)的數(shù)據(jù)；以及視頻質(zhì)量值確定裝置，用于使用所生成的數(shù)據(jù)來生成視頻質(zhì)量測量值。
10.根據(jù)權(quán)利要求9所述的系統(tǒng)，其中，所述邊緣映像分析裝置還用于生成與包含在所述相應(yīng)邊緣映像的對應(yīng)子場/幀單元中的邊緣相關(guān)的數(shù)據(jù)。
11.根據(jù)權(quán)利要求10所述的系統(tǒng)，其中，所述邊緣映像分析裝置還包括計(jì)數(shù)裝置，用于對所述測試和基準(zhǔn)場/幀的子單元中的邊緣像素進(jìn)行計(jì)數(shù)；求差裝置，用于確定所述測試和基準(zhǔn)場/幀中的對應(yīng)子場/幀單元的相應(yīng)計(jì)數(shù)之間的相應(yīng)差值；以及參數(shù)計(jì)算裝置，用于根據(jù)所述差值計(jì)算邊緣參數(shù)值。
12.根據(jù)權(quán)利要求11所述的系統(tǒng)，還包括一個(gè)或多個(gè)其它分析裝置，分別用于分析所述基準(zhǔn)和測試視頻場/幀，以及生成與相應(yīng)分析的結(jié)果相關(guān)的相應(yīng)分析參數(shù)值；其中，所述視頻質(zhì)量值確定裝置還包括集成裝置，用于將所述邊緣參數(shù)值與通過所述其它分析裝置獲得的其它參數(shù)值進(jìn)行集成，以給出所述視頻質(zhì)量值。
13.根據(jù)權(quán)利要求12所述的系統(tǒng)，其中，所述集成裝置包括加權(quán)裝置，用于根據(jù)預(yù)定的加權(quán)值對所述參數(shù)值進(jìn)行加權(quán)；以及求和器，用于對進(jìn)行了加權(quán)的值進(jìn)行求和，其中所獲得的和為所述視頻質(zhì)量值。
全文摘要
本發(fā)明通過提供用于視頻質(zhì)量評估的方法和系統(tǒng)，將在本領(lǐng)域中本來已知的邊緣檢測器技術(shù)應(yīng)用于自動視頻質(zhì)量評估領(lǐng)域，該方法和系統(tǒng)采用任意已知的邊緣檢測算法作為邊緣檢測階段的基礎(chǔ)，用于進(jìn)行測試視頻場/幀的邊緣分析，以生成邊緣參數(shù)值，然后可以將該邊緣參數(shù)值用于提高總的視頻質(zhì)量值。邊緣檢測器階段的使用有助于獲得與圖像屬性相關(guān)的對于質(zhì)量評估有價(jià)值的信息，其中這些圖像屬性對于人工觀察器是可以明顯感知的，因此使得通過自動評估提供的結(jié)果與通過進(jìn)行主觀評估的人工觀察器進(jìn)行的評估更相似。
文檔編號G06T9/00GK1761975SQ200480007626
公開日2006年4月19日 申請日期2004年6月4日 優(yōu)先權(quán)日2003年6月18日
發(fā)明者亞歷山大·布雷 申請人:英國電訊有限公司