專(zhuān)利名稱(chēng)：基于圖像視覺(jué)質(zhì)量的視頻傳輸方法、系統(tǒng)及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像技術(shù)領(lǐng)域，特別涉及一種基于視覺(jué)質(zhì)量的自由視點(diǎn)或多視點(diǎn)視頻 傳輸方法、系統(tǒng)及裝置。
背景技術(shù)：
自由視點(diǎn)視頻是一種全新的視頻形式，是繼平面數(shù)字電視、立體數(shù)字電視之后，能 提供豐富的人機(jī)交互、靈活地以平面和立體的形式進(jìn)行顯示的視頻形式。隨著移動(dòng)多媒體 時(shí)代的到來(lái)，越來(lái)越多的人利用手機(jī)、個(gè)人數(shù)字助理(PDA)和筆記本電腦等終端設(shè)備接入 通信網(wǎng)絡(luò)，并借助終端移動(dòng)性和網(wǎng)絡(luò)覆蓋性，享受無(wú)處不在的視聽(tīng)娛樂(lè)。具有靈活交互手 段的自由視點(diǎn)視頻與無(wú)所不在的通信網(wǎng)絡(luò)之間相結(jié)合，將為未來(lái)3G移動(dòng)通信、IPv6拓展新 的、更具吸引力的業(yè)務(wù)平臺(tái)。當(dāng)前各國(guó)主流研究機(jī)構(gòu)、大學(xué)都對(duì)基于各種技術(shù)條件下的自由視點(diǎn)視頻展開(kāi)了研 究，許多公司都對(duì)這一前沿領(lǐng)域進(jìn)行了實(shí)用化、產(chǎn)品化的探索。但是，這些方案主要是針對(duì) 自由視點(diǎn)視頻業(yè)務(wù)的數(shù)據(jù)量大的特點(diǎn)，采用一些諸如H. 264視頻壓縮標(biāo)準(zhǔn)、JMVM多視點(diǎn)視 頻壓縮平臺(tái)等措施來(lái)對(duì)自由視點(diǎn)視頻數(shù)據(jù)進(jìn)行壓縮。這些方法都默認(rèn)網(wǎng)絡(luò)在任何時(shí)候都有 充足的能力來(lái)處理自由視點(diǎn)視頻流。這顯然是不夠合理的。眾所周知，基于移動(dòng)互聯(lián)網(wǎng)絡(luò) 的多媒體系統(tǒng)存在異構(gòu)性因素，即節(jié)目源在壓縮方式、時(shí)間和空間分辨率以及信息速率方 面都存在不同，不同終端之間的處理能力也存在明顯差異。所以，將視頻編解碼和網(wǎng)絡(luò)協(xié)議 簡(jiǎn)單組合的方法是很難對(duì)各種終端奏效的，尤其是在網(wǎng)絡(luò)可用資源的限制將對(duì)視頻服務(wù)的 質(zhì)量造成重大影響的情況下。因此，如何在網(wǎng)絡(luò)資源有限的情況下進(jìn)一步提高客戶(hù)端重構(gòu)的圖像質(zhì)量成為了亟 待解決的問(wèn)題。

發(fā)明內(nèi)容
本發(fā)明的目的旨在至少解決上述技術(shù)缺陷之一，提出了一種用于基于視覺(jué)質(zhì)量的 自由視點(diǎn)視頻或多視點(diǎn)視頻傳輸方法、系統(tǒng)及裝置。為達(dá)到上述目的，本發(fā)明一方面提出一種基于視覺(jué)質(zhì)量的自由視點(diǎn)視頻或多視點(diǎn) 視頻傳輸方法，包括以下步驟服務(wù)器接收原始或經(jīng)編解碼后的自由視點(diǎn)視頻或多視點(diǎn)視 頻信號(hào)；所述服務(wù)器計(jì)算虛擬視點(diǎn)圖像的視覺(jué)質(zhì)量；所述服務(wù)器根據(jù)所述虛擬視點(diǎn)圖像的 視覺(jué)質(zhì)量確定上述自由試點(diǎn)視頻或多視點(diǎn)視頻信號(hào)編碼的量化參數(shù)QP ；和所述服務(wù)器根 據(jù)確定的所述QP對(duì)所述自由視點(diǎn)視頻或多視點(diǎn)視頻信號(hào)重新進(jìn)行編碼壓縮，并向一個(gè)或 多個(gè)客戶(hù)端發(fā)送。本發(fā)明另一方面還提出了一種基于視覺(jué)質(zhì)量的自由視點(diǎn)視頻或多視點(diǎn)視頻傳輸 系統(tǒng)，包括服務(wù)器和一個(gè)或多個(gè)客戶(hù)端，所述服務(wù)器，用于接收原始或經(jīng)編解碼后的自由視 點(diǎn)視頻或多視點(diǎn)視頻信號(hào)，并計(jì)算虛擬視點(diǎn)圖像的視覺(jué)質(zhì)量，以及根據(jù)所述虛擬視點(diǎn)圖像 的視覺(jué)質(zhì)量確定上述自由試點(diǎn)視頻或多視點(diǎn)視頻信號(hào)編碼的量化參數(shù)QP，和根據(jù)確定的所述QP對(duì)所述自由視點(diǎn)視頻或多視點(diǎn)視頻信號(hào)重新進(jìn)行編碼壓縮，并向一個(gè)或多個(gè)客戶(hù)端 發(fā)送；所述客戶(hù)端，用于接收所述服務(wù)器發(fā)送的碼流，并根據(jù)用戶(hù)選擇的虛擬視點(diǎn)，利用視 頻及對(duì)應(yīng)視差進(jìn)行虛擬視點(diǎn)的繪制，并將繪制結(jié)果顯示給用戶(hù)。本發(fā)明再一方面還提出了一種服務(wù)器，包括編碼器和QP調(diào)整模塊，所述編碼器， 用于接收原始或經(jīng)編解碼后的自由視點(diǎn)視頻或多視點(diǎn)視頻信號(hào)，并根據(jù)量化參數(shù)QP對(duì)所 述自由視點(diǎn)視頻或多視點(diǎn)視頻信號(hào)進(jìn)行編碼壓縮，并向一個(gè)或多個(gè)客戶(hù)端發(fā)送；所述QP調(diào) 整模塊，用于計(jì)算虛擬視點(diǎn)圖像的視覺(jué)質(zhì)量，并根據(jù)所述虛擬視點(diǎn)圖像的視覺(jué)質(zhì)量調(diào)整所 述QP。本發(fā)明再一方面還提出了 一種客戶(hù)端，包括權(quán)重判定模塊、解碼與差錯(cuò)隱藏模塊 和視點(diǎn)選擇與虛擬視點(diǎn)繪制模塊，所述權(quán)重判定模塊，用于判斷接收到的幀碼流是否應(yīng)該 被舍棄以及是否為不能解碼的差錯(cuò)幀；所述解碼與差錯(cuò)隱藏模塊，用于當(dāng)接收到的幀為差 錯(cuò)幀時(shí)，則將其同時(shí)刻所有視點(diǎn)的視頻幀，視差幀所對(duì)應(yīng)的碼率全部舍棄，并將前一時(shí)刻的 對(duì)應(yīng)視點(diǎn)的視頻幀和視差幀拷貝至當(dāng)前時(shí)刻，并且重復(fù)拷貝動(dòng)作，直至當(dāng)前時(shí)刻的幀能正 確解碼重建，或者當(dāng)前時(shí)刻幀的權(quán)重大于前一時(shí)刻幀的權(quán)重；所述視點(diǎn)選擇與虛擬視點(diǎn)繪 制模塊，用于根據(jù)解碼結(jié)果和用戶(hù)選擇的視點(diǎn)繪制虛擬視點(diǎn)。本發(fā)明能夠根據(jù)虛擬視點(diǎn)圖像的視覺(jué)質(zhì)量對(duì)QP進(jìn)行調(diào)整，從而使得客戶(hù)端所得 到的圖像質(zhì)量具有較高水平。在本發(fā)明的優(yōu)選實(shí)施例中，可根據(jù)視覺(jué)質(zhì)量和網(wǎng)絡(luò)擁塞狀況 同時(shí)對(duì)QP進(jìn)行優(yōu)化，從而能進(jìn)一步保證客戶(hù)端得到的圖像的質(zhì)量。本發(fā)明附加的方面和優(yōu)點(diǎn)將在下面的描述中部分給出，部分將從下面的描述中變 得明顯，或通過(guò)本發(fā)明的實(shí)踐了解到。


本發(fā)明上述的和/或附加的方面和優(yōu)點(diǎn)從下面結(jié)合附圖對(duì)實(shí)施例的描述中將變 得明顯和容易理解，其中圖1為本發(fā)明實(shí)施例的由視點(diǎn)傳輸系統(tǒng)的框架圖；圖2為本發(fā)明實(shí)施例一的自由視點(diǎn)視頻或多視點(diǎn)視頻傳輸方法流程圖；圖3為本發(fā)明實(shí)施例二的自由視點(diǎn)視頻或多視點(diǎn)視頻傳輸方法流程圖；圖4為本發(fā)明實(shí)施例的服務(wù)器的結(jié)構(gòu)圖；圖5為本發(fā)明實(shí)施例的客戶(hù)端的結(jié)構(gòu)圖。
具體實(shí)施例方式下面詳細(xì)描述本發(fā)明的實(shí)施例，所述實(shí)施例的示例在附圖中示出，其中自始至終 相同或類(lèi)似的標(biāo)號(hào)表示相同或類(lèi)似的元件或具有相同或類(lèi)似功能的元件。下面通過(guò)參考附 圖描述的實(shí)施例是示例性的，僅用于解釋本發(fā)明，而不能解釋為對(duì)本發(fā)明的限制。目前，基于網(wǎng)絡(luò)的自由視點(diǎn)視頻系統(tǒng)，其客戶(hù)端所觀看到的視頻圖像質(zhì)量主要由 真實(shí)視點(diǎn)圖像重建質(zhì)量、深度/視差像重建質(zhì)量、虛擬視點(diǎn)繪制算法等因素決定。具體 包括(a)真實(shí)視點(diǎn)圖像在客戶(hù)端的重建質(zhì)量主要由編碼端進(jìn)行視頻壓縮時(shí)所采用的量 化參數(shù)(QP)所決定，QP值越大，重建質(zhì)量越低；反之，越高。
(b)真實(shí)視點(diǎn)圖像在客戶(hù)端的重建質(zhì)量也受到差錯(cuò)控制算法的影響。(c)深度/視差圖的圖像重建質(zhì)量與真實(shí)視點(diǎn)圖像的情況相同。(d)虛擬視點(diǎn)的圖像質(zhì)量同時(shí)受到真實(shí)視點(diǎn)圖像重建質(zhì)量、深度/視差圖的重建 質(zhì)量、虛擬視點(diǎn)繪制算法的影響。真實(shí)視點(diǎn)圖像與深度/視差圖的重建質(zhì)量越高，所采用的 虛擬視點(diǎn)繪制算法約好，則虛擬視點(diǎn)圖像的視覺(jué)質(zhì)量越高。本發(fā)明的目的在于改善以往自由視點(diǎn)視頻或多視點(diǎn)視頻系統(tǒng)在設(shè)計(jì)中沒(méi)有考慮 圖像視覺(jué)質(zhì)量的因素，從而提出了一種自由視點(diǎn)傳輸方法和系統(tǒng)，該方法和系統(tǒng)能夠具有 以下多項(xiàng)功能1、能夠利用圖像視覺(jué)質(zhì)量評(píng)價(jià)方法進(jìn)行多視點(diǎn)視頻與視差進(jìn)行QP優(yōu)化編碼；2、能夠設(shè)置權(quán)重等級(jí)進(jìn)行網(wǎng)絡(luò)擁塞狀況自適應(yīng)傳輸；3、能夠通過(guò)判斷網(wǎng)絡(luò)與碼流權(quán)重進(jìn)行客戶(hù)端差錯(cuò)控制。通過(guò)上述幾項(xiàng)功能，本發(fā)明能夠確?？蛻?hù)端所得到的圖像質(zhì)量具有較高的水平。 并且該發(fā)明所針對(duì)的是客戶(hù)端設(shè)備類(lèi)型與計(jì)算能力多樣化、網(wǎng)絡(luò)帶寬具有波動(dòng)、客戶(hù)端對(duì) 圖像視覺(jué)質(zhì)量具有較高要求的環(huán)境。但是需要說(shuō)明的是，上述3項(xiàng)功能既可以同時(shí)采用，也 可以分開(kāi)采用，例如僅根據(jù)圖像視覺(jué)質(zhì)量對(duì)QP進(jìn)行優(yōu)化，或者僅根據(jù)網(wǎng)絡(luò)擁塞狀況對(duì)QP進(jìn) 行調(diào)整，等等，這些均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。如圖1所示，為本發(fā)明實(shí)施例的由視點(diǎn)傳輸系統(tǒng)的框架圖。服務(wù)器101采用多層 次B幀的多視點(diǎn)視頻編碼方案對(duì)所有視頻信號(hào)、視差圖序列進(jìn)行壓縮，并將所有視頻碼流、 視差碼流向客戶(hù)端102進(jìn)行傳輸。客戶(hù)端102在接收到服務(wù)器101發(fā)來(lái)的碼流后進(jìn)行解碼， 并顯示當(dāng)前客戶(hù)所選視點(diǎn)的圖像。當(dāng)客戶(hù)選擇到虛擬視點(diǎn)時(shí)，則利用視頻與對(duì)應(yīng)視差進(jìn)行 虛擬視點(diǎn)繪制，并將繪制結(jié)果向客戶(hù)顯示。在本發(fā)明實(shí)施例中，上述視差所表示的是具有相 同語(yǔ)義的同一個(gè)像素點(diǎn)在兩個(gè)視點(diǎn)圖像間水平坐標(biāo)的差異，一個(gè)視點(diǎn)圖像中所有像素的視 差構(gòu)成該視點(diǎn)的視差圖；上述虛擬視點(diǎn)為介于兩個(gè)相機(jī)視點(diǎn)之間的任意一個(gè)視點(diǎn)，且該視 點(diǎn)上不具有相機(jī)對(duì)場(chǎng)景進(jìn)行拍攝。在本發(fā)明的一個(gè)實(shí)施例中，服務(wù)器101采用質(zhì)量識(shí)別策 略?xún)?yōu)化視頻編碼與視差編碼的方案。在本發(fā)明的優(yōu)選實(shí)施例中，服務(wù)器101還需要參考網(wǎng) 絡(luò)擁塞的程度，同時(shí)根據(jù)網(wǎng)絡(luò)擁塞的程度和圖像視覺(jué)質(zhì)量對(duì)QP進(jìn)行優(yōu)化。客戶(hù)端102在接 收到通過(guò)網(wǎng)絡(luò)傳輸?shù)拇a流之后，采用識(shí)別策略對(duì)其進(jìn)行判斷，然后根據(jù)判斷的結(jié)果進(jìn)行圖 像重構(gòu)。實(shí)施例一，如圖2所示，為本發(fā)明實(shí)施例一的自由視點(diǎn)視頻或多視點(diǎn)視頻傳輸方法流程圖， 該實(shí)施例主要根據(jù)圖像的視覺(jué)質(zhì)量S對(duì)QP進(jìn)行優(yōu)化。該方法包括以下步驟步驟S201，獲得自由視點(diǎn)視頻或多視點(diǎn)視頻信號(hào)，其中，包括視頻信號(hào)和視差圖序列等。步驟S202，計(jì)算虛擬視點(diǎn)的圖像質(zhì)量S。在本發(fā)明的一個(gè)實(shí)施例中，可根據(jù)基于 Contourlet的虛擬視點(diǎn)圖像質(zhì)量評(píng)價(jià)方法計(jì)算虛擬視點(diǎn)圖像質(zhì)量S。具體實(shí)施步驟如下(2al)、對(duì)所得到的虛擬視點(diǎn)圖像按塊大小為NXN進(jìn)行分塊，由此得到圖像中每 行、每列各有I、J個(gè)塊。取N=2n，其中η≥6。(2a2)、對(duì)虛擬視點(diǎn)圖像中的每一個(gè)塊Bvij(C)≤i≤1，0≤j≤J)，利用基于MSE 最小準(zhǔn)則的塊匹配方法，分別在其左右視點(diǎn)圖像中按水平方向找到對(duì)應(yīng)的最佳匹配塊B1ij和BKU，其中在左視點(diǎn)圖像中，B、在右視點(diǎn)圖像中。(2a3)、對(duì)所得到的塊Bvu和獲得的最佳匹配塊進(jìn)行Contourle小波分解，以得到U 個(gè)高頻子帶塊Bu, J (u = 1，2，...，U)和一個(gè)低頻塊Q/，此處X e {V, R，L}，集合中的元素 分別代表著虛擬視點(diǎn)、右視點(diǎn)、左視點(diǎn)圖像。(2a4)、對(duì)分解得到的每一個(gè)高頻子帶塊Bu,進(jìn)一步采用u_層方向?yàn)V波器組分 解，得到 2U 個(gè)子帶塊 Cu,。，J(o = 1，2，. . .，2U)。(2a5)、計(jì)算每一個(gè)子帶塊(；,?！?的方差o ,。」/。(2a6)、在o u,。, J的基礎(chǔ)上進(jìn)一步得到整幅圖像的o u,。X = E i,」(o u,。,力。(2a7)、計(jì)算得到虛擬視點(diǎn)圖像與左、右視點(diǎn)圖像在同層分解序數(shù)之間的誤差參數(shù) 5U,。= min{| ou,。v-ou,。K|，| o u,。v-o u,。L|}。(2a8)、對(duì)每一層的誤差參數(shù)進(jìn)行加權(quán)整合A =E u,。2_uSu,。。(2a9)、計(jì)算虛擬視點(diǎn)圖像的視覺(jué)質(zhì)量SM/Cl+logu^Aq +1))，其中CQ為常實(shí)數(shù)調(diào)節(jié)
因子，范圍是Qe [丨，^^，建議范圍是^曰[6,8] ；S為實(shí)數(shù)，代表主觀視覺(jué)質(zhì)量分值，值域 為(0，1]。S分值越高，視覺(jué)質(zhì)量越好。步驟S203，根據(jù)虛擬視點(diǎn)的視覺(jué)質(zhì)量S對(duì)QP進(jìn)行調(diào)整，其中，如果視覺(jué)質(zhì)量S越 高，則選擇的QP值越小，反之如果視覺(jué)質(zhì)量S越低，則選擇的QP值越大。如QP可選范圍為 [a, b]，則QP可采用與S相關(guān)的線性或非線性等的一一映射關(guān)系進(jìn)行調(diào)整，其基本原則在于 S值越高，QP值越低，但無(wú)論其采用何種方法，都屬于本專(zhuān)利的保護(hù)范圍。步驟S204，根據(jù)選擇的QP值對(duì)自由視點(diǎn)視頻或多視點(diǎn)視頻信號(hào)進(jìn)行壓縮編碼，并 將視頻碼流和視差碼流發(fā)送給客戶(hù)端102。在本發(fā)明實(shí)施例中，不僅適用于在線編碼，還適 用于離線編碼，具體包括1、針對(duì)在線編碼，其特點(diǎn)為視頻壓縮編碼的參數(shù)根據(jù)網(wǎng)絡(luò)擁塞、客戶(hù)端圖像質(zhì)量 需求反饋的情況動(dòng)態(tài)地調(diào)整，對(duì)視頻與視差信號(hào)實(shí)時(shí)壓縮并發(fā)送至客戶(hù)端。2、針對(duì)離線編碼，其特點(diǎn)在于服務(wù)器采用各種編碼參數(shù)對(duì)視頻與視差信號(hào)提前進(jìn) 行壓縮，將碼流存放在服務(wù)器以根據(jù)網(wǎng)絡(luò)與客戶(hù)端的不同反饋，及時(shí)提取碼流并發(fā)送至客 戶(hù)端。其中，在在線編碼和離線編碼中，如何選擇QP將在以下的實(shí)施例中進(jìn)行詳細(xì)描 述，在此不再贅述。實(shí)施例二，該實(shí)施例為本發(fā)明的優(yōu)選實(shí)施例，不僅根據(jù)圖像視覺(jué)質(zhì)量對(duì)QP進(jìn)行優(yōu)化，還需要 根據(jù)網(wǎng)絡(luò)擁塞的程度對(duì)QP進(jìn)行自適應(yīng)調(diào)整。如圖3所示，為本發(fā)明實(shí)施例二的自由視點(diǎn)視 頻或多視點(diǎn)視頻傳輸方法流程圖，該實(shí)施例具體包括以下步驟步驟S301，服務(wù)器獲得原始或經(jīng)編解碼后的自由視點(diǎn)視頻或多視點(diǎn)視頻信號(hào)，其 中，包括視頻信號(hào)和視差圖序列等。步驟S302，服務(wù)器計(jì)算虛擬視點(diǎn)的圖像質(zhì)量S和網(wǎng)絡(luò)擁塞的程度。步驟S303，服務(wù)器根據(jù)虛擬視點(diǎn)的圖像質(zhì)量S和網(wǎng)絡(luò)擁塞的程度對(duì)QP進(jìn)行調(diào)整。 具體包括(3b)針對(duì)實(shí)時(shí)系統(tǒng)，其特點(diǎn)為視頻壓縮編碼的參數(shù)根據(jù)網(wǎng)絡(luò)擁塞、客戶(hù)端圖像質(zhì) 量需求反饋的情況動(dòng)態(tài)地調(diào)整，對(duì)視頻與視差信號(hào)實(shí)時(shí)壓縮并發(fā)送至客戶(hù)端。具體包括
(3bl)該優(yōu)化策略體現(xiàn)在視頻編碼與視差編碼過(guò)程中所采用的編碼量化參數(shù)QP 是根據(jù)網(wǎng)絡(luò)帶寬和虛擬視點(diǎn)的圖像質(zhì)量S共同約束而進(jìn)行的，QP值越大壓縮效率越高，解 碼端圖像的重建質(zhì)量越低；反之壓縮效率越低，重建質(zhì)量越高。QP取值范圍根據(jù)系統(tǒng)所采 用的編碼標(biāo)準(zhǔn)有所不同。(3b2)視差編碼所采用的QP小于等于同視點(diǎn)視頻編碼所采用的QP，即 QPvi彡QPdi(vi為第i個(gè)視點(diǎn)，di為第i個(gè)視點(diǎn)的視差圖)。(3b3)視頻編碼所采用的QPvi根據(jù)虛擬視點(diǎn)的圖像質(zhì)量S的評(píng)價(jià)結(jié)果，為保證客
戶(hù)端視頻的重建質(zhì)量，其取值范圍為
。(3b4)假設(shè)某一視頻編解碼平臺(tái)的QP允許范圍為[a，b]之間的整數(shù)(a，b彡0)， 其中越小的QP值代表壓縮效率越低。令QP = a時(shí)的S = 1，QP = b時(shí)的S = 0，[Sb_d，1] 為用戶(hù)自定義的虛擬視點(diǎn)質(zhì)量范圍，則QPuppCT-b_d = b*(l-Sb_d)。(3b5)視點(diǎn)視頻編碼所采用的QPvi除了滿足(3b4)的限制外，為適應(yīng)網(wǎng)絡(luò)帶寬的 波動(dòng)，視頻編碼所采用的QPvi根據(jù)當(dāng)前的帶寬狀況實(shí)時(shí)進(jìn)行細(xì)微調(diào)整，調(diào)整量定義為QP/， 值域范圍為
。帶寬越小，QPvi*越大；反之，QPvi*越小。(3b6)QPvi*的確定方法為編碼平臺(tái)采用QPvi+QPvi*進(jìn)行編碼之后所輸出的碼率 rate(out) 小于網(wǎng)絡(luò)帶寬rate
(band) °(3b7) AQPi = QPvi-QPdi根據(jù)網(wǎng)絡(luò)帶寬條件進(jìn)行自適應(yīng)調(diào)整，網(wǎng)絡(luò)帶寬越低、擁塞 情況越嚴(yán)重，八(》^值越大?？蛻?hù)端要求虛擬視點(diǎn)圖像繪制的視覺(jué)質(zhì)量越高，AQPi值越小； 反之，越大。(3b8)為保證客戶(hù)端虛擬視點(diǎn)圖像的繪制視覺(jué)質(zhì)量，AQPi具有取值范圍
°(3b9)視差圖編碼所采用的 QPdi 根據(jù) AQPi = QPvi_QPdi 以及
和
共同確定，由此得到QPdi的范圍為[QPd，——，QPd廣CT_b_d]，并令QPdi =
fyp upper-bound(3c)針對(duì)離線系統(tǒng)，其特點(diǎn)在于服務(wù)器采用各種編碼參數(shù)對(duì)視頻與視差信號(hào)提 前進(jìn)行壓縮，將碼流存放在服務(wù)器以根據(jù)網(wǎng)絡(luò)與客戶(hù)端的不同反饋，及時(shí)提取碼流并發(fā)送 至客戶(hù)端。其中，離線系統(tǒng)與在線系統(tǒng)選擇QP的方式類(lèi)似，不同的是在線系統(tǒng)是在線壓 縮，離線系統(tǒng)是根據(jù)確定的QP進(jìn)行選擇。在離線系統(tǒng)中，該優(yōu)化策略體現(xiàn)在視頻編碼與 視差編碼過(guò)程中所采用的編碼量化參數(shù)分別使用[QPlower-bound，QPupper-bound]范 圍內(nèi)所有的QP進(jìn)行編碼，并將碼流在服務(wù)器進(jìn)行保存。即在服務(wù)器具有各個(gè)視點(diǎn)視頻 分別在[QPlower-bound，QPupper-bound]范圍內(nèi)所有QP編碼條件下所得到的A QP = QPupper-bound-QPlower-bound組碼流，以及對(duì)應(yīng)的A QP組視差碼流。QP值越大壓縮效率 越高，解碼端圖像的重建質(zhì)量越低；反之壓縮效率越低，重建質(zhì)量越高。QP取值范圍根據(jù)系 統(tǒng)所采用的編碼標(biāo)準(zhǔn)有所不同。步驟S304，服務(wù)器根據(jù)確定的QP進(jìn)行對(duì)自由視點(diǎn)視頻或多視點(diǎn)視頻信號(hào)重新進(jìn) 行視頻編碼，并采用針對(duì)編碼幀權(quán)重大小進(jìn)行碼流發(fā)送的自適應(yīng)策略。具體是，服務(wù)器根據(jù) 權(quán)重的大小，對(duì)部分幀進(jìn)行特殊處理，包括(3dl)權(quán)重設(shè)置是按照多層次B幀編碼方案中，位于層次編號(hào)越低的幀，其權(quán)重越 高；反之，位于層次編號(hào)越高的幀，其權(quán)重越低。層次編號(hào)為整數(shù){0，1，2，...，W}，其對(duì)應(yīng)的
9權(quán)重則為{W, ff-l,ff-2,...，0}。(3d2)網(wǎng)絡(luò)擁塞等級(jí)對(duì)應(yīng)于層次編號(hào)數(shù)設(shè)為(Bc^BpB2,...，BW}，其中B。擁塞狀況 高于B1,隨后依次遞減，至Bw時(shí)網(wǎng)絡(luò)擁塞狀況最低。(3d3)對(duì)應(yīng)于網(wǎng)絡(luò)的不同擁塞等級(jí)Bx，(a)對(duì)于實(shí)時(shí)系統(tǒng)而言，對(duì)權(quán)重范圍為{W， W-l，W-2，...，W-x}的所有幀進(jìn)行編碼，并向客戶(hù)端發(fā)送碼流；(b)對(duì)于離線系統(tǒng)而言，抽取 權(quán)重范圍為{W，W-l，W-2，...，W-x}的所有幀對(duì)應(yīng)的碼流，并向客戶(hù)端發(fā)送。步驟S305，客戶(hù)端在接收到通過(guò)網(wǎng)絡(luò)傳輸?shù)拇a流之后，采用識(shí)別策略對(duì)其進(jìn)行判 斷，然后根據(jù)判斷結(jié)果進(jìn)行圖像重構(gòu)。在本發(fā)明的一個(gè)實(shí)施例中，客戶(hù)端還需要將網(wǎng)絡(luò)擁塞 狀況等信息反饋給服務(wù)器。具體包括1、識(shí)別策略，主要用于判斷接收到的幀碼流是否該舍棄以及是否為不能解碼的差 錯(cuò)幀。具體實(shí)施步驟根據(jù)以下幾個(gè)環(huán)節(jié)，描述如下(3el)幀識(shí)別策略中的舍棄策略是根據(jù)當(dāng)前網(wǎng)絡(luò)擁塞狀況以及用戶(hù)當(dāng)前所使用的 設(shè)備運(yùn)算能力共同決定的。(3e2)對(duì)應(yīng)于服務(wù)器的設(shè)置，將網(wǎng)絡(luò)擁塞狀況定義為{B。，B1, B2, ... , Bj，其中B。 擁塞狀況高于B1,隨后依次遞減，至Bw時(shí)網(wǎng)絡(luò)擁塞狀況最低。(3e3)當(dāng)網(wǎng)絡(luò)處在不同的擁塞等級(jí)Bx時(shí)，客戶(hù)端僅接收權(quán)重范圍為{W，W_l， W-2, . . . , ff-x}的所有幀碼流。如果還有其他權(quán)重的碼流發(fā)送至客戶(hù)端，則全部予以舍棄。(3a4)用戶(hù)當(dāng)前所使用的設(shè)備其運(yùn)算能力也對(duì)客戶(hù)端接收權(quán)重范圍{W，ff-Ι, W-2，... , ff-x}有所影響，運(yùn)算能力越差的，權(quán)重范圍越小。2、解碼與差錯(cuò)隱藏(3fl)當(dāng)接收到的幀為差錯(cuò)幀，不能正確重建當(dāng)前時(shí)刻的圖像時(shí)，則將其同時(shí)刻所 有視點(diǎn)的幀、視差幀所對(duì)應(yīng)的碼率全部舍棄，并將前一時(shí)刻的對(duì)應(yīng)視點(diǎn)的幀和視差幀拷貝 至當(dāng)前時(shí)刻。(3f2)重復(fù)(3fl)的拷貝動(dòng)作，直至當(dāng)前時(shí)刻的幀能正確解碼重建，或者當(dāng)前時(shí)刻 幀的權(quán)重大于前一時(shí)刻幀的權(quán)重為止。3、視點(diǎn)選擇和虛擬視點(diǎn)繪制根據(jù)解碼結(jié)果和用戶(hù)選擇的視點(diǎn)繪制虛擬視點(diǎn)。如圖1所示，該系統(tǒng)包括服務(wù)器101和一個(gè)或多個(gè)客戶(hù)端102。服務(wù)器101用于 接收原始或經(jīng)編解碼后的自由視點(diǎn)視頻或多視點(diǎn)視頻信號(hào)，并計(jì)算虛擬視點(diǎn)圖像的視覺(jué)質(zhì) 量，以及根據(jù)所述虛擬視點(diǎn)圖像的視覺(jué)質(zhì)量確定量化參數(shù)QP，和根據(jù)確定的所述QP對(duì)所述 自由視點(diǎn)視頻或多視點(diǎn)視頻信號(hào)重新進(jìn)行編碼壓縮，并向一個(gè)或多個(gè)客戶(hù)端發(fā)送。客戶(hù)端 102用于接收所述服務(wù)器發(fā)送的碼流，并根據(jù)用戶(hù)選擇的虛擬視點(diǎn)，利用視頻及對(duì)應(yīng)視差進(jìn) 行虛擬視點(diǎn)的繪制，并將繪制結(jié)果顯示給用戶(hù)。如圖4所示，為本發(fā)明實(shí)施例的服務(wù)器的結(jié)構(gòu)圖。該服務(wù)器101包括編碼器200 和QP調(diào)整模塊203。編碼器200用于接收原始或經(jīng)編解碼后的自由視點(diǎn)視頻或多視點(diǎn)視頻 信號(hào)，并根據(jù)量化參數(shù)QP對(duì)所述自由視點(diǎn)視頻或多視點(diǎn)視頻信號(hào)重新進(jìn)行編碼壓縮，并向 一個(gè)或多個(gè)客戶(hù)端發(fā)送。QP調(diào)整模塊203用于計(jì)算虛擬視點(diǎn)圖像的視覺(jué)質(zhì)量，并根據(jù)所述 虛擬視點(diǎn)圖像的視覺(jué)質(zhì)量調(diào)整所述QP。在本發(fā)明的一個(gè)實(shí)施例中，服務(wù)器101還包括用戶(hù)與網(wǎng)絡(luò)狀況反饋模塊204，用于接收用戶(hù)的反饋，以及網(wǎng)絡(luò)擁塞狀況的反饋。QP調(diào)整模塊203還用于根據(jù)所述網(wǎng)絡(luò)擁塞狀 況調(diào)整所述QP。在本發(fā)明的一個(gè)實(shí)施例中，編碼器200包括在線編碼器201和離線編碼器202。在本發(fā)明的一個(gè)實(shí)施例中，服務(wù)器101還包括權(quán)重設(shè)置模塊205，用于根據(jù)網(wǎng)絡(luò)擁 塞等級(jí)選擇相應(yīng)權(quán)重的幀進(jìn)行發(fā)送或編碼。如圖5所示，為本發(fā)明實(shí)施例的客戶(hù)端的結(jié)構(gòu)圖?？蛻?hù)端包括權(quán)重判定模塊301、 解碼與差錯(cuò)隱藏模塊302和視點(diǎn)選擇與虛擬視點(diǎn)繪制模塊303。權(quán)重判定模塊301用于判 斷接收到的幀碼流是否應(yīng)該被舍棄以及是否為不能解碼的差錯(cuò)幀。解碼與差錯(cuò)隱藏模塊 302用于當(dāng)接收到的幀為差錯(cuò)幀時(shí)，則將其同時(shí)刻所有視點(diǎn)的視頻幀，視差幀所對(duì)應(yīng)的碼率 全部舍棄，并將前一時(shí)刻的對(duì)應(yīng)視點(diǎn)的視頻幀和視差幀拷貝至當(dāng)前時(shí)刻，并且重復(fù)拷貝動(dòng) 作，直至當(dāng)前時(shí)刻的幀能正確解碼重建，或者當(dāng)前時(shí)刻幀的權(quán)重大于前一時(shí)刻幀的權(quán)重。視 點(diǎn)選擇與虛擬視點(diǎn)繪制模塊303用于根據(jù)解碼結(jié)果和用戶(hù)選擇的視點(diǎn)繪制虛擬視點(diǎn)。本發(fā)明能夠根據(jù)虛擬視點(diǎn)圖像的視覺(jué)質(zhì)量對(duì)QP進(jìn)行調(diào)整，從而使得客戶(hù)端所得 到的圖像質(zhì)量具有較高水平。在本發(fā)明的優(yōu)選實(shí)施例中，可根據(jù)視覺(jué)質(zhì)量和網(wǎng)絡(luò)擁塞狀況 同時(shí)對(duì)QP進(jìn)行優(yōu)化，從而能進(jìn)一步保證客戶(hù)端得到的圖像的質(zhì)量。盡管已經(jīng)示出和描述了本發(fā)明的實(shí)施例，對(duì)于本領(lǐng)域的普通技術(shù)人員而言，可以 理解在不脫離本發(fā)明的原理和精神的情況下可以對(duì)這些實(shí)施例進(jìn)行多種變化、修改、替換 和變型，本發(fā)明的范圍由所附權(quán)利要求及其等同限定。
權(quán)利要求
一種基于視覺(jué)質(zhì)量的自由視點(diǎn)視頻或多視點(diǎn)視頻傳輸方法，其特征在于，包括以下步驟服務(wù)器接收原始或經(jīng)編解碼后的自由視點(diǎn)視頻或多視點(diǎn)視頻信號(hào)；所述服務(wù)器計(jì)算虛擬視點(diǎn)圖像的視覺(jué)質(zhì)量；所述服務(wù)器根據(jù)所述虛擬視點(diǎn)圖像的視覺(jué)質(zhì)量確定所述自由試點(diǎn)視頻或多視點(diǎn)視頻信號(hào)編碼的量化參數(shù)QP；和所述服務(wù)器根據(jù)確定的所述QP對(duì)所述自由視點(diǎn)視頻或多視點(diǎn)視頻信號(hào)重新進(jìn)行編碼壓縮，并向一個(gè)或多個(gè)客戶(hù)端發(fā)送。
2.如權(quán)利要求1所述的基于視覺(jué)質(zhì)量的自由視點(diǎn)視頻或多視點(diǎn)視頻傳輸方法，其特征 在于，所述服務(wù)器采用多視點(diǎn)視頻編碼方法或單視點(diǎn)視頻編碼方法對(duì)所述自由視點(diǎn)視頻或 多視點(diǎn)視頻信號(hào)進(jìn)行壓縮。
3.如權(quán)利要求2所述的基于視覺(jué)質(zhì)量的自由視點(diǎn)視頻或多視點(diǎn)視頻傳輸方法，其特征 在于，所述服務(wù)器計(jì)算虛擬視點(diǎn)圖像的視覺(jué)質(zhì)量進(jìn)一步包括對(duì)所得到的虛擬視點(diǎn)圖像按塊大小為NXN進(jìn)行分塊，其中，每行有I個(gè)塊，每列有J個(gè) 塊，其中，N = 2n，其中n彡6 ；對(duì)所述虛擬視點(diǎn)圖像中的每一個(gè)塊Bvu，利用基于MSE最小準(zhǔn)則的塊匹配方法，分別在 其左右視點(diǎn)圖像中按水平方向找到對(duì)應(yīng)的最佳匹配塊妒。_和BKU，其中，B、在左視點(diǎn)圖像 中，VKU在右視點(diǎn)圖像中；對(duì)所得到的塊Bvu和獲得的最佳匹配塊進(jìn)行Contourle小波分解，以得到U個(gè)高頻子 帶塊Bu, i/，其中，u = 1，2，. . .，U和一個(gè)低頻塊Q/，其中，X G {V，R，L}，其中，V為虛擬視 點(diǎn)圖像、R為右視點(diǎn)圖像、L為左視點(diǎn)圖像；對(duì)分解得到的每一個(gè)高頻子帶塊Bua/進(jìn)一步采用u-層方向?yàn)V波器組分解，得到2U個(gè) 子帶塊 Cu,?！?，其中，o= 1，2，...，2U;分別計(jì)算每一個(gè)子帶塊(；,“/的方差o u,。,^ ；根據(jù)得到整幅圖像的Qu,。X=E ^(0.0,,/)；計(jì)算得到所述虛擬視點(diǎn)圖像與左、右視點(diǎn)圖像在同層分解序數(shù)之間的誤差參數(shù)S u,。= min{| ou,。v-ou,。K|，| o u,。v-o u,。L|}；對(duì)每一層的誤差參數(shù)進(jìn)行加權(quán)整合A =E u,。2_uSu,。；計(jì)算所述虛擬視點(diǎn)圖像的視覺(jué)質(zhì)量 其中C(1為常實(shí)數(shù)調(diào)節(jié)因子， 范圍是 CQ G [1，10]。
4.如權(quán)利要求3所述的基于視覺(jué)質(zhì)量的自由視點(diǎn)視頻或多視點(diǎn)視頻傳輸方法，其特征 在于，所述服務(wù)器根據(jù)所述虛擬視點(diǎn)圖像的視覺(jué)質(zhì)量確定量化參數(shù)QP進(jìn)一步包括所述虛擬視點(diǎn)圖像的視覺(jué)質(zhì)量S越高，則選擇的QP越低。
5.如權(quán)利要求4所述的基于視覺(jué)質(zhì)量的自由視點(diǎn)視頻或多視點(diǎn)視頻傳輸方法，其特征 在于，QP可選范圍為[a，b]，則QP可采用與S相關(guān)的線性或非線性的一一映射關(guān)系進(jìn)行調(diào) 整，其基本原則在于S值越高，QP值越低。
6.如權(quán)利要求3所述的基于視覺(jué)質(zhì)量的自由視點(diǎn)視頻或多視點(diǎn)視頻傳輸方法，其特征 在于，所述服務(wù)器采用在線編碼或離線編碼方式對(duì)所述自由視點(diǎn)視頻信號(hào)或多視點(diǎn)視頻進(jìn)行編碼。
7.如權(quán)利要求4所述的基于視覺(jué)質(zhì)量的自由視點(diǎn)視頻或多視點(diǎn)視頻傳輸方法，其特征 在于，還包括所述服務(wù)器根據(jù)網(wǎng)絡(luò)擁塞狀況調(diào)整所述QP，其中，網(wǎng)絡(luò)擁塞狀況越嚴(yán)重，調(diào)整的Δ QPi 值越大。
8.如權(quán)利要求7所述的基于視覺(jué)質(zhì)量的自由視點(diǎn)視頻或多視點(diǎn)視頻傳輸方法，其特征 在于，還包括所述服務(wù)器根據(jù)網(wǎng)絡(luò)擁塞等級(jí)選擇相應(yīng)權(quán)重的幀進(jìn)行發(fā)送或編碼。
9.如權(quán)利要求8所述的基于視覺(jué)質(zhì)量的自由視點(diǎn)視頻或多視點(diǎn)視頻傳輸方法，其特征 在于，還包括所述客戶(hù)端判斷接收到的幀碼流是否應(yīng)該被舍棄以及是否為不能解碼的差錯(cuò)幀；如果接收到的幀為差錯(cuò)幀時(shí)，則所述客戶(hù)端將其同時(shí)刻所有視點(diǎn)的視頻幀，視差幀所 對(duì)應(yīng)的碼率全部舍棄，并將前一時(shí)刻的對(duì)應(yīng)視點(diǎn)的視頻幀和視差幀拷貝至當(dāng)前時(shí)刻；所述客戶(hù)端重復(fù)拷貝動(dòng)作，直至當(dāng)前時(shí)刻的幀能正確解碼重建，或者當(dāng)前時(shí)刻幀的權(quán) 重大于前一時(shí)刻幀的權(quán)重。
10.一種基于視覺(jué)質(zhì)量的自由視點(diǎn)視頻或多視點(diǎn)視頻傳輸系統(tǒng)，其特征在于，包括服務(wù) 器和一個(gè)或多個(gè)客戶(hù)端，所述服務(wù)器，用于接收原始或經(jīng)編解碼后的自由視點(diǎn)視頻或多視點(diǎn)視頻信號(hào)，并計(jì)算 虛擬視點(diǎn)圖像的視覺(jué)質(zhì)量，以及根據(jù)所述虛擬視點(diǎn)圖像的視覺(jué)質(zhì)量確定上述自由試點(diǎn)視頻 或多視點(diǎn)視頻信號(hào)編碼的量化參數(shù)QP，和根據(jù)確定的所述QP對(duì)所述自由視點(diǎn)視頻或多視 點(diǎn)視頻信號(hào)重新進(jìn)行編碼壓縮，并向一個(gè)或多個(gè)客戶(hù)端發(fā)送；所述客戶(hù)端，用于接收所述服務(wù)器發(fā)送的碼流，并根據(jù)用戶(hù)選擇的虛擬視點(diǎn)，利用視頻 及對(duì)應(yīng)視差進(jìn)行虛擬視點(diǎn)的繪制，并將繪制結(jié)果顯示給用戶(hù)。
11.一種服務(wù)器，其特征在于，包括編碼器和QP調(diào)整模塊，所述編碼器，用于接收原始或經(jīng)編解碼后的自由視點(diǎn)視頻或多視點(diǎn)視頻信號(hào)，并根據(jù) 量化參數(shù)QP對(duì)所述自由視點(diǎn)視頻或多視點(diǎn)視頻信號(hào)重新進(jìn)行編碼壓縮，并向一個(gè)或多個(gè) 客戶(hù)端發(fā)送；所述QP調(diào)整模塊，用于計(jì)算虛擬視點(diǎn)圖像的視覺(jué)質(zhì)量，并根據(jù)所述虛擬視點(diǎn)圖像的視 覺(jué)質(zhì)量調(diào)整上述自由試點(diǎn)視頻或多視點(diǎn)視頻信號(hào)編碼的所述QP。
12.如權(quán)利要求11所述的服務(wù)器，其特征在于，還包括用戶(hù)與網(wǎng)絡(luò)狀況反饋模塊，用于 接收用戶(hù)的反饋，以及網(wǎng)絡(luò)擁塞狀況的反饋；所述QP調(diào)整模塊，還用于根據(jù)所述網(wǎng)絡(luò)擁塞狀況調(diào)整所述QP。
13.如權(quán)利要求11或12所述的服務(wù)器，其特征在于，所述編碼器包括在線編碼器和離 線編碼器。
14.如權(quán)利要求11所述的服務(wù)器，其特征在于，還包括權(quán)重設(shè)置模塊，用于根據(jù)網(wǎng)絡(luò)擁 塞等級(jí)選擇相應(yīng)權(quán)重的幀進(jìn)行發(fā)送或編碼。
15.一種客戶(hù)端，其特征在于，包括權(quán)重判定模塊、解碼與差錯(cuò)隱藏模塊和視點(diǎn)選擇與 虛擬視點(diǎn)繪制模塊，所述權(quán)重判定模塊，用于判斷接收到的幀碼流是否應(yīng)該被舍棄以及是否為不能解碼的差錯(cuò)幀；所述解碼與差錯(cuò)隱藏模塊，用于當(dāng)接收到的幀為差錯(cuò)幀時(shí)，則將其同時(shí)刻所有視點(diǎn)的 視頻幀，視差幀所對(duì)應(yīng)的碼率全部舍棄，并將前一時(shí)刻的對(duì)應(yīng)視點(diǎn)的視頻幀和視差幀拷貝 至當(dāng)前時(shí)刻，并且重復(fù)拷貝動(dòng)作，直至當(dāng)前時(shí)刻的幀能正確解碼重建，或者當(dāng)前時(shí)刻幀的權(quán) 重大于前一時(shí)刻幀的權(quán)重；所述視點(diǎn)選擇與虛擬視點(diǎn)繪制模塊，用于根據(jù)解碼結(jié)果和用戶(hù)選擇的視點(diǎn)繪制虛擬視點(diǎn)o
全文摘要
本發(fā)明提出一種基于視覺(jué)質(zhì)量的自由視點(diǎn)視頻或多視點(diǎn)視頻傳輸方法，包括以下步驟服務(wù)器接收原始或經(jīng)編解碼后的自由視點(diǎn)視頻或多視點(diǎn)視頻信號(hào)；所述服務(wù)器計(jì)算虛擬視點(diǎn)圖像的視覺(jué)質(zhì)量；所述服務(wù)器根據(jù)所述虛擬視點(diǎn)圖像的視覺(jué)質(zhì)量確定上述自由試點(diǎn)視頻或多視點(diǎn)視頻信號(hào)編碼的量化參數(shù)QP；和所述服務(wù)器根據(jù)確定的所述QP對(duì)所述自由視點(diǎn)視頻或多視點(diǎn)視頻信號(hào)重新進(jìn)行編碼壓縮，并向一個(gè)或多個(gè)客戶(hù)端發(fā)送。本發(fā)明能夠根據(jù)虛擬視點(diǎn)圖像的視覺(jué)質(zhì)量對(duì)QP進(jìn)行調(diào)整，從而使得客戶(hù)端所得到的圖像質(zhì)量具有較高水平。
文檔編號(hào)H04L29/06GK101895752SQ201010227359
公開(kāi)日2010年11月24日 申請(qǐng)日期2010年7月7日 優(yōu)先權(quán)日2010年7月7日
發(fā)明者戴瓊海, 楊鈾 申請(qǐng)人:清華大學(xué)