本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，尤其涉及一種三維圖像的質(zhì)量評(píng)價(jià)方法及系統(tǒng)。

背景技術(shù)：

隨著內(nèi)容生成和顯示技術(shù)的快速發(fā)展，三維圖像應(yīng)用變得越來越流行。三維顯示設(shè)備輸出的三維圖像為觀看者帶來了全新的、更生動(dòng)的娛樂體驗(yàn)，從而使得三維圖像顯示吸引了大量研究者的注意力，并得到了工業(yè)界的青睞。三維視頻的質(zhì)量直接影響到用戶的視覺體驗(yàn)，進(jìn)而影響到三維顯示應(yīng)用的推廣。然而，在有限資源下，三維視頻在視頻系統(tǒng)的采集、處理、編碼、轉(zhuǎn)換和重建等環(huán)節(jié)中，不可避免的會(huì)引入噪聲。另一方面，與傳統(tǒng)二維視頻相比，人類視覺系統(tǒng)(HVS)對(duì)三維視頻圖像的視覺感知特性顯著不同。因此，在考慮上述情況的基礎(chǔ)上，如何自動(dòng)和高效地評(píng)估三維圖像視頻的圖像質(zhì)量是一個(gè)具有挑戰(zhàn)性的問題。

現(xiàn)有的雙目立體圖像質(zhì)量評(píng)價(jià)方法大致可分為兩類，一類是基于傳統(tǒng)二維圖像質(zhì)量評(píng)價(jià)(IQA)的擴(kuò)展模型，另一類是專用于雙目立體圖像的質(zhì)量評(píng)價(jià)模型。第一類評(píng)價(jià)模型是在立體圖像上直接應(yīng)用傳統(tǒng)二維IQA模型，即：將立體圖像的左右視點(diǎn)分開，并單獨(dú)利用二維IQA模型預(yù)測(cè)每個(gè)視點(diǎn)圖像的質(zhì)量，再將左右視點(diǎn)圖像的質(zhì)量分?jǐn)?shù)進(jìn)行融合，最終獲得立體圖像的質(zhì)量分?jǐn)?shù)。然而，此類方法未考慮雙目視覺特性，降低了評(píng)價(jià)模型的預(yù)測(cè)性能。第二類評(píng)價(jià)模型在評(píng)價(jià)時(shí)嘗試結(jié)合HVS視覺特性，例如，深度感知特性。然而，該評(píng)價(jià)模型將人左、右視點(diǎn)圖像分開處理，較少地考慮左右圖像之間差異性，未能有效地反應(yīng)人眼對(duì)立體圖像的質(zhì)量偏好。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的在于提供一種三維圖像的質(zhì)量評(píng)價(jià)方法及系統(tǒng)，旨在解決由于現(xiàn)有技術(shù)無法提供一種有效的三維圖像的質(zhì)量評(píng)價(jià)方法，導(dǎo)致三維圖像的質(zhì)量評(píng)價(jià)準(zhǔn)確率低、不能真實(shí)反映三維圖像質(zhì)量的問題。

一方面，本發(fā)明提供了一種三維圖像的質(zhì)量評(píng)價(jià)方法，所述方法包括下述步驟：

當(dāng)接收待評(píng)價(jià)的三維圖像時(shí)，獲取所述待評(píng)價(jià)三維圖像對(duì)應(yīng)的原始三維圖像通過視點(diǎn)匹配得到的鄰域塊所在位置；

根據(jù)所述鄰域塊所在位置在所述待評(píng)價(jià)三維圖像中獲取對(duì)應(yīng)的鄰域塊；

獲取所述待評(píng)價(jià)三維圖像中每個(gè)所述鄰域塊的左、右視點(diǎn)圖像的亮度分量，根據(jù)所述亮度分量獲取所述鄰域塊的復(fù)數(shù)矩陣表示；

對(duì)每個(gè)所述復(fù)數(shù)矩陣進(jìn)行奇異值分解，以得到所述復(fù)數(shù)矩陣對(duì)應(yīng)的奇異值對(duì)角矩陣，將該奇異值對(duì)角矩陣記為第一奇異值對(duì)角矩陣，獲取所述原始三維圖像的奇異值對(duì)角矩陣，記為第二奇異值對(duì)角矩陣；

根據(jù)所述第一奇異值對(duì)角矩陣和第二奇異值對(duì)角矩陣，通過預(yù)設(shè)的距離計(jì)算公式，計(jì)算所述待評(píng)價(jià)三維圖像和所述原始三維圖像中相同位置的鄰域塊之間的距離，根據(jù)所述計(jì)算的得到距離獲取所述待評(píng)價(jià)三維圖像的質(zhì)量級(jí)別。

另一方面，本發(fā)明提供了一種三維圖像的質(zhì)量評(píng)價(jià)系統(tǒng)，所述系統(tǒng)包括：

位置獲取單元，用于當(dāng)接收待評(píng)價(jià)的三維圖像時(shí)，獲取所述待評(píng)價(jià)三維圖像對(duì)應(yīng)的原始三維圖像通過視點(diǎn)匹配得到的鄰域塊所在位置；

鄰域獲取單元，用于根據(jù)所述鄰域塊所在位置在所述待評(píng)價(jià)三維圖像中獲取對(duì)應(yīng)的鄰域塊；

矩陣表示單元，用于獲取所述待評(píng)價(jià)三維圖像中每個(gè)所述鄰域塊的左、右視點(diǎn)圖像的亮度分量，根據(jù)所述亮度分量獲取所述鄰域塊的復(fù)數(shù)矩陣表示；

奇異值分解單元，用于對(duì)每個(gè)所述復(fù)數(shù)矩陣進(jìn)行奇異值分解，以得到所述復(fù)數(shù)矩陣對(duì)應(yīng)的奇異值對(duì)角矩陣，將該奇異值對(duì)角矩陣記為第一奇異值對(duì)角矩陣，獲取所述原始三維圖像的奇異值對(duì)角矩陣，記為第二奇異值對(duì)角矩陣；以及

質(zhì)量獲取單元，用于根據(jù)所述第一奇異值對(duì)角矩陣和第二奇異值對(duì)角矩陣，通過預(yù)設(shè)的距離計(jì)算公式，計(jì)算所述待評(píng)價(jià)三維圖像和所述原始三維圖像中相同位置的鄰域塊之間的距離，根據(jù)所述計(jì)算的得到距離獲取所述待評(píng)價(jià)三維圖像的質(zhì)量級(jí)別。

本發(fā)明在接收待評(píng)價(jià)的三維圖像后，獲取待評(píng)價(jià)三維圖像對(duì)應(yīng)的原始三維圖像通過視點(diǎn)匹配得到的鄰域塊所在位置，在待評(píng)價(jià)三維圖像中獲取對(duì)應(yīng)位置的鄰域塊，獲取待評(píng)價(jià)三維圖像中每個(gè)鄰域塊的左、右視點(diǎn)圖像的亮度分量，進(jìn)而根據(jù)亮度分量獲取鄰域塊的復(fù)數(shù)矩陣表示，對(duì)每個(gè)復(fù)數(shù)矩陣進(jìn)行奇異值分解，以得到復(fù)數(shù)矩陣對(duì)應(yīng)的第一奇異值對(duì)角矩陣，根據(jù)第一奇異值對(duì)角矩陣和原始三維圖像的第二奇異值對(duì)角矩陣，通過預(yù)設(shè)的距離計(jì)算公式計(jì)算待評(píng)價(jià)三維圖像和原始三維圖像中相同位置的鄰域塊之間的距離，從而準(zhǔn)確得到待評(píng)價(jià)三維圖像的質(zhì)量級(jí)別，實(shí)現(xiàn)了三維圖像質(zhì)量的準(zhǔn)確評(píng)價(jià)。

附圖說明

圖1是本發(fā)明實(shí)施例一提供的三維圖像的質(zhì)量評(píng)價(jià)方法的實(shí)現(xiàn)流程圖；

圖2是本發(fā)明實(shí)施例二提供的三維圖像的質(zhì)量評(píng)價(jià)系統(tǒng)的結(jié)構(gòu)示意圖；以及

圖3是本發(fā)明實(shí)施例二提供的三維圖像的質(zhì)量評(píng)價(jià)系統(tǒng)的優(yōu)選結(jié)構(gòu)示意圖。

具體實(shí)施方式

為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖及實(shí)施例，對(duì)本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。

以下結(jié)合具體實(shí)施例對(duì)本發(fā)明的具體實(shí)現(xiàn)進(jìn)行詳細(xì)描述：

實(shí)施例一：

圖1示出了本發(fā)明實(shí)施例一提供的三維圖像的質(zhì)量評(píng)價(jià)方法的實(shí)現(xiàn)流程，為了便于說明，僅示出了與本發(fā)明實(shí)施例相關(guān)的部分，詳述如下：

在步驟S101中，當(dāng)接收待評(píng)價(jià)的三維圖像時(shí)，獲取待評(píng)價(jià)三維圖像對(duì)應(yīng)的原始三維圖像通過視點(diǎn)匹配得到的鄰域塊所在位置。

本發(fā)明實(shí)施例適用于三維圖像質(zhì)量評(píng)價(jià)設(shè)備或系統(tǒng)，以對(duì)于用戶輸入的三維圖像或三維視頻的圖像質(zhì)量進(jìn)行評(píng)價(jià)。在本發(fā)明實(shí)施例中，預(yù)先獲取原始三維圖像通過視點(diǎn)匹配得到的鄰域塊，進(jìn)而獲得這些鄰域快的位置。

優(yōu)選地，在獲取原始三維圖像通過視點(diǎn)匹配得到的鄰域塊時(shí)，使用尺度不變特征變換(Scale-invariant Feature Transform,縮寫為SIFT)算法對(duì)原始三維圖像進(jìn)行視點(diǎn)匹配，進(jìn)而在原始三維圖像中獲取每個(gè)匹配的像素點(diǎn)的鄰域塊，從而以類似于人類雙目視覺系統(tǒng)的方式，對(duì)左右視點(diǎn)圖像進(jìn)行并行化處理，在降低計(jì)算復(fù)雜度的基礎(chǔ)上，提高了視點(diǎn)匹配的精確度。具體在獲取鄰域塊的位置時(shí)，根據(jù)設(shè)置的鄰域塊尺寸，以匹配的像素點(diǎn)為中心得到鄰域塊的位置，并將這些鄰域塊的位置存儲(chǔ)下來。

在步驟S102中，根據(jù)鄰域塊所在位置在待評(píng)價(jià)三維圖像中獲取對(duì)應(yīng)的鄰域塊。

在步驟S103中，獲取待評(píng)價(jià)三維圖像中每個(gè)鄰域塊的左、右視點(diǎn)圖像的亮度分量，根據(jù)亮度分量獲取鄰域塊的復(fù)數(shù)矩陣表示。

在本發(fā)明實(shí)施例中，根據(jù)原始三維圖像視點(diǎn)匹配后得到的鄰域塊所在位置，在待評(píng)價(jià)三維圖像中的相同位置獲取對(duì)應(yīng)的鄰域塊，獲取待評(píng)價(jià)三維圖像中每個(gè)鄰域塊的左、右視點(diǎn)圖像的亮度分量，進(jìn)而根據(jù)亮度分量獲取鄰域塊的復(fù)數(shù)矩陣表示，從而得到表示該鄰域塊的復(fù)數(shù)矩陣。

優(yōu)選地，根據(jù)亮度分量獲取鄰域塊的復(fù)數(shù)矩陣表示時(shí)，通過公式計(jì)算鄰域塊的復(fù)數(shù)矩陣表示其中，其中和分別表示待評(píng)價(jià)三維圖像中鄰域塊i的左、右視點(diǎn)圖像的亮度分量，μ₁²＝-1，從而實(shí)現(xiàn)鄰域塊的精確表示。

在步驟S104中，對(duì)每個(gè)復(fù)數(shù)矩陣進(jìn)行奇異值分解，以得到復(fù)數(shù)矩陣對(duì)應(yīng)的奇異值對(duì)角矩陣，將該奇異值對(duì)角矩陣記為第一奇異值對(duì)角矩陣，并獲取原始三維圖像的奇異值對(duì)角矩陣，記為第二奇異值對(duì)角矩陣。

在本發(fā)明實(shí)施例中，在獲取待評(píng)價(jià)三維圖像的奇異值對(duì)角矩陣時(shí)，可通過對(duì)每個(gè)復(fù)數(shù)矩陣進(jìn)行奇異值分解，以得到復(fù)數(shù)矩陣對(duì)應(yīng)的奇異值對(duì)角矩陣，為了便于描述，在這里將該奇異值對(duì)角矩陣稱為第一奇異值對(duì)角矩陣。

具體地，根據(jù)公式對(duì)待評(píng)價(jià)三維圖像中鄰域塊的復(fù)數(shù)矩陣進(jìn)行奇異值分解，以得到第一奇異值對(duì)角矩陣其中Ui和Vi分別表示左、右奇異值矩陣，第一奇異值對(duì)角矩陣中的奇異值按照遞減順序排列，w表示鄰域塊的尺寸。另外，原始三維圖像的奇異值對(duì)角矩陣可預(yù)先計(jì)算并存儲(chǔ)在三維圖像質(zhì)量評(píng)價(jià)設(shè)備或系統(tǒng)中，而原始三維圖像的奇異值對(duì)角矩陣的獲取方式可與待評(píng)價(jià)三維圖像的奇異值對(duì)角矩陣相同，也可以不同。

在步驟S105中，根據(jù)第一奇異值對(duì)角矩陣和第二奇異值對(duì)角矩陣，通過預(yù)設(shè)的距離計(jì)算公式，計(jì)算待評(píng)價(jià)三維圖像和原始三維圖像中相同位置的鄰域塊之間的距離，根據(jù)計(jì)算的得到距離獲取待評(píng)價(jià)三維圖像的質(zhì)量級(jí)別。

在本發(fā)明實(shí)施例中，待評(píng)價(jià)三維圖像和原始三維圖像中相同位置的鄰域塊之間的距離反映了待評(píng)價(jià)三維圖像在該鄰域塊范圍內(nèi)發(fā)生失真情況。在計(jì)算待評(píng)價(jià)三維圖像和原始三維圖像中相同位置的鄰域塊之間的距離時(shí)，優(yōu)選地，使用距離計(jì)算公式計(jì)算待評(píng)價(jià)三維圖像和原始三維圖像中相同位置的鄰域塊i之間的距離d_i，其中，表示第一奇異值對(duì)角矩陣對(duì)角線上第j個(gè)奇異值，表示第二奇異值對(duì)角矩陣對(duì)角線上第j個(gè)奇異值。

接著，在計(jì)算得到的距離后獲取待評(píng)價(jià)三維圖像的質(zhì)量級(jí)別，優(yōu)選地，根據(jù)公式計(jì)算待評(píng)價(jià)三維圖像的質(zhì)量分?jǐn)?shù)q，其中，n為待評(píng)價(jià)三維圖像和所述原始三維圖像中位置相同的鄰域塊的數(shù)量，median({d_i})為di的中值。通過該方式可準(zhǔn)確地得到待評(píng)價(jià)三維圖像整體與原始三維圖像的區(qū)別，即待評(píng)價(jià)三維圖像的整體失真情況。進(jìn)一步地，可根據(jù)質(zhì)量分?jǐn)?shù)和預(yù)設(shè)的質(zhì)量級(jí)別劃分，輸出待評(píng)價(jià)三維圖像的質(zhì)量級(jí)別，從而更為直接得到三維圖像的質(zhì)量。

在本發(fā)明實(shí)施例中，在接收待評(píng)價(jià)的三維圖像后，在待評(píng)價(jià)三維圖像中獲取對(duì)應(yīng)位置的鄰域塊，獲取待評(píng)價(jià)三維圖像中每個(gè)鄰域塊的左、右視點(diǎn)圖像的亮度分量，從而以類似于人類雙目視覺系統(tǒng)的方式，對(duì)左右視點(diǎn)圖像進(jìn)行并行化處理，在降低計(jì)算復(fù)雜度的基礎(chǔ)上提高匹配的精確度，接著，根據(jù)亮度分量獲取鄰域塊的復(fù)數(shù)矩陣表示，對(duì)每個(gè)復(fù)數(shù)矩陣進(jìn)行奇異值分解，以得到復(fù)數(shù)矩陣對(duì)應(yīng)的第一奇異值對(duì)角矩陣，根據(jù)第一奇異值對(duì)角矩陣和原始三維圖像的第二奇異值對(duì)角矩陣，通過預(yù)設(shè)的距離計(jì)算公式計(jì)算待評(píng)價(jià)三維圖像和原始三維圖像中相同位置的鄰域塊之間的距離，從而準(zhǔn)確全面地得到待評(píng)價(jià)三維圖像的質(zhì)量。

本領(lǐng)域普通技術(shù)人員可以理解實(shí)現(xiàn)上述實(shí)施例方法中的全部或部分步驟是可以通過程序來指令相關(guān)的硬件來完成，所述的程序可以存儲(chǔ)于一計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中，所述的存儲(chǔ)介質(zhì)，如ROM/RAM、磁盤、光盤等。

實(shí)施例二：

圖2示出了本發(fā)明實(shí)施例二提供的三維圖像的質(zhì)量評(píng)價(jià)系統(tǒng)的結(jié)構(gòu)，為了便于說明，僅示出了與本發(fā)明實(shí)施例相關(guān)的部分，其中包括：

位置獲取單元21，用于當(dāng)接收待評(píng)價(jià)的三維圖像時(shí)，獲取待評(píng)價(jià)三維圖像對(duì)應(yīng)的原始三維圖像通過視點(diǎn)匹配得到的鄰域塊所在位置；

鄰域獲取單元22，用于根據(jù)鄰域塊所在位置在待評(píng)價(jià)三維圖像中獲取對(duì)應(yīng)的鄰域塊；

復(fù)數(shù)矩陣表示單元23，用于獲取待評(píng)價(jià)三維圖像中每個(gè)鄰域塊的左、右視點(diǎn)圖像的亮度分量，根據(jù)亮度分量獲取鄰域塊的復(fù)數(shù)矩陣表示；

奇異值分解單元24，用于對(duì)每個(gè)復(fù)數(shù)矩陣進(jìn)行奇異值分解，以得到復(fù)數(shù)矩陣對(duì)應(yīng)的奇異值對(duì)角矩陣，將該奇異值對(duì)角矩陣記為第一奇異值對(duì)角矩陣，獲取原始三維圖像的奇異值對(duì)角矩陣，記為第二奇異值對(duì)角矩陣；以及

質(zhì)量獲取單元25，用于根據(jù)第一奇異值對(duì)角矩陣和第二奇異值對(duì)角矩陣，通過預(yù)設(shè)的距離計(jì)算公式，計(jì)算待評(píng)價(jià)三維圖像和原始三維圖像中相同位置的鄰域塊之間的距離，根據(jù)計(jì)算的得到距離獲取待評(píng)價(jià)三維圖像的質(zhì)量級(jí)別。

優(yōu)先地，如圖3所示，矩陣表示單元23包括：

矩陣計(jì)算單元231，用于根據(jù)公式計(jì)算鄰域塊的復(fù)數(shù)矩陣表示其中，其中和分別表示待評(píng)價(jià)三維圖像中鄰域塊i的左、右視點(diǎn)圖像的亮度分量，μ₁²＝-1。

優(yōu)先地，奇異值分解單元24包括：

奇異值分解子單元241，用于根據(jù)公式對(duì)復(fù)數(shù)矩陣進(jìn)行奇異值分解，以得到第一奇異值對(duì)角矩陣其中Ui和Vi分別表示左、右奇異值矩陣，第一奇異值對(duì)角矩陣中的奇異值按照遞減順序排列。

優(yōu)先地，質(zhì)量獲取單元25包括：

距離計(jì)算單元251，用于根據(jù)距離計(jì)算公式計(jì)算待評(píng)價(jià)三維圖像和原始三維圖像中相同位置的鄰域塊i之間的距離d_i，其中，w為鄰域塊的尺寸，表示第一奇異值對(duì)角矩陣對(duì)角線上第j個(gè)奇異值，表示第二奇異值對(duì)角矩陣對(duì)角線上第j個(gè)奇異值。

優(yōu)先地，質(zhì)量獲取單元25還包括：

分?jǐn)?shù)計(jì)算單元252，用于根據(jù)公式計(jì)算待評(píng)價(jià)三維圖像的質(zhì)量分?jǐn)?shù)q，其中，n為待評(píng)價(jià)三維圖像和原始三維圖像中位置相同的鄰域塊的數(shù)量；以及

質(zhì)量級(jí)別輸出單元253，用于根據(jù)質(zhì)量分?jǐn)?shù)和預(yù)設(shè)的質(zhì)量級(jí)別劃分，輸出待評(píng)價(jià)三維圖像的質(zhì)量級(jí)別。

在本發(fā)明實(shí)施例中，三維圖像的質(zhì)量評(píng)價(jià)系統(tǒng)的各單元可由相應(yīng)的硬件或軟件單元實(shí)現(xiàn)，各單元可以為獨(dú)立的軟、硬件單元，也可以集成為一個(gè)軟、硬件單元，在此不用以限制本發(fā)明。各單元的具體實(shí)施方式可參考實(shí)施例一的描述，在此不再贅述。

以上所述僅為本發(fā)明的較佳實(shí)施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)所作的任何修改、等同替換和改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。