專利名稱：基于網(wǎng)格的立體視頻空間可分級(jí)編碼器及其編碼方法
技術(shù)領(lǐng)域：
本發(fā)明屬于通信技術(shù)領(lǐng)域，涉及視頻處理，特別是涉及立體視頻的 空間可分級(jí)壓縮編碼器，可用于使解碼端根據(jù)不同的需求顯示不同分辨 率大小的單目和雙目視頻。
背景技術(shù)：
隨著多媒體的發(fā)展，視頻業(yè)務(wù)將是未來(lái)通信的主要業(yè)務(wù)。視頻分為 單目視頻和雙目視頻。單目視頻只能提供平面信息，而不能提供具有深
度的圖像；雙目視頻通過(guò)提供立體信息，給用戶一種身臨其境的感覺(jué)， 用戶能獲得更好的視覺(jué)效果，但雙目信息量大，通信帶寬資源十分有限， 如何有效地壓縮立體視頻成為立體視頻廣泛應(yīng)用的一個(gè)前提。隨著網(wǎng)絡(luò) 和多媒體的發(fā)展，兩者已密不可分。由于網(wǎng)絡(luò)傳輸條件不穩(wěn)定，要求視 頻編碼碼流能在網(wǎng)絡(luò)上漸進(jìn)式傳輸，編碼能夠適應(yīng)網(wǎng)絡(luò)的變化，接收端 可以接收到基本質(zhì)量的視頻。目前用戶通過(guò)移動(dòng)設(shè)備訪問(wèn)多媒體資源的 需求在逐漸增加，由于通信環(huán)境的影響、用戶的需求不同、定購(gòu)的業(yè)務(wù) 不同和用戶的終端設(shè)備能力不同，每個(gè)用戶所需的視頻碼流就不同，解 決這類問(wèn)題的最好辦法是可分級(jí)視頻編碼?？煞旨?jí)視頻編碼，是指通過(guò) 單一編碼器提供不同層次的碼流。該碼流采用分層格式，第一層提供最 基本的解碼質(zhì)量，稱為基本層，其他層提供不同質(zhì)量層次的碼流，這些 層稱為增強(qiáng)層?？煞旨?jí)編碼分為時(shí)間可分級(jí)、質(zhì)量可分級(jí)、空間可分級(jí)。 其中空間可分級(jí)使碼流適應(yīng)不同分辨率大小的終端設(shè)備。具有低分辨率 的終端只需解碼基本層的碼流，顯示低分辨率的視頻；具有高分辨率的 終端可解碼基本層和增強(qiáng)層，顯示高分辨率的視頻。
目前，空間可分級(jí)編碼都是應(yīng)用基于塊方法的運(yùn)動(dòng)估計(jì)，塊中的每 一個(gè)像素具有相同的運(yùn)動(dòng)矢量，具有簡(jiǎn)單、易于硬件實(shí)現(xiàn)的優(yōu)點(diǎn)。由于
每個(gè)塊只是考慮簡(jiǎn)單的平移，沒(méi)有考慮旋轉(zhuǎn)、縮放等運(yùn)動(dòng)，因此并不能 反映實(shí)際的運(yùn)動(dòng)。這使得塊之間的運(yùn)動(dòng)不連續(xù)，在低比特編碼情況下，解碼圖像常常出現(xiàn)明顯的塊效應(yīng)。

發(fā)明內(nèi)容
本發(fā)明的目的在于克服上述基于塊方法進(jìn)行空間可分級(jí)編碼的不 足，提出了一種基于網(wǎng)格的立體視頻空間可分級(jí)編碼器及其編碼方法， 以避免解碼圖像出現(xiàn)的塊效應(yīng)，提高在低比特率下解碼視頻的顯示效 果。
為實(shí)現(xiàn)上述目的，本發(fā)明的立體視頻可分級(jí)編碼器包括左基本層、 左增強(qiáng)層、右基本層和右增強(qiáng)層，其中
左基本層中設(shè)有I幀網(wǎng)格描述單元、第一網(wǎng)格運(yùn)動(dòng)估計(jì)單元和第一 網(wǎng)格運(yùn)動(dòng)補(bǔ)償單元，用于通過(guò)Ddaimay三角形網(wǎng)格的運(yùn)動(dòng)估計(jì)完成時(shí)域 預(yù)測(cè)； '
左增強(qiáng)層中設(shè)有第二網(wǎng)格運(yùn)動(dòng)估計(jì)單元和第二網(wǎng)格補(bǔ)償單元，用于 完成網(wǎng)格時(shí)域預(yù)測(cè)；
右基本層中設(shè)有第三網(wǎng)格運(yùn)動(dòng)估計(jì)單元和網(wǎng)格視差估計(jì)單元，用于 完成網(wǎng)格時(shí)域預(yù)測(cè)和網(wǎng)格視差估計(jì)；
右增強(qiáng)層中設(shè)有紋理向上采樣單元，用于完成層間紋理預(yù)測(cè)；
所述的編碼器左基本層輸出網(wǎng)格節(jié)點(diǎn)運(yùn)動(dòng)矢量、本地恢復(fù)的紋理信 息和基本層的殘差信息到左增強(qiáng)層中，輸出網(wǎng)格節(jié)點(diǎn)的視差矢量到右基 本層中；右基本層輸出本地恢復(fù)的紋理信息到右增強(qiáng)層中。
為實(shí)現(xiàn)上述目的，本發(fā)明的立體視頻可分級(jí)編碼方法，包括如下步
驟
(1) 下采樣輸入的高分辨率立體視頻，得到低分辨率的左右圖像， 并對(duì)I幀左圖像采用DCT編碼，得到I幀低分辨率左恢復(fù)圖像；
(2) 對(duì)I幀低分辨率左恢復(fù)圖像進(jìn)行Delaunay三角形網(wǎng)格剖分；
(3) 左基本層其他幀利用已得到的網(wǎng)格進(jìn)行網(wǎng)格節(jié)點(diǎn)運(yùn)動(dòng)補(bǔ)償，得 到低分辨率左圖像的預(yù)測(cè)圖像；
(4) 左增強(qiáng)層將低分辨率圖像中的網(wǎng)格擴(kuò)展到高分辨率圖像中，得 到高分辨層的網(wǎng)格，利用高分辨層的網(wǎng)格進(jìn)行網(wǎng)格運(yùn)動(dòng)補(bǔ)償和層間紋理 預(yù)測(cè)，得到高分辨率左圖像的預(yù)測(cè)圖像；(5) 右基本層利用左低分辨圖像中的網(wǎng)格進(jìn)行網(wǎng)格運(yùn)動(dòng)補(bǔ)償和視差 補(bǔ)償，得到低分辨率右圖像的預(yù)測(cè)圖像；
(6) 右增強(qiáng)層向上采樣右基本層本地恢復(fù)的圖像，得到高分辨率右 圖像的預(yù)測(cè)圖像；
(7) 由原圖像分別減去所述的低分辨率左圖像的預(yù)測(cè)圖像、低分辨 率右圖像的預(yù)測(cè)圖像和高分辨率右圖像的預(yù)測(cè)圖像，得到相對(duì)應(yīng)的殘差 圖像；由高分辨率左原圖像減去所述的高分辨率左圖像的預(yù)測(cè)圖像，得 到高分辨率左圖像的殘差圖像，并向上采樣低分辨率左圖像的殘差圖 像，得到高分辨率左圖像的預(yù)測(cè)殘差圖像，用該高分辨率左圖像的殘差 圖像減去高分辨率左圖像的預(yù)測(cè)殘差圖像，得到高分辨率左圖像的最終 殘差圖像；
(8) 對(duì)上述每個(gè)殘差圖像依次編碼，并將這些編碼數(shù)據(jù)進(jìn)行復(fù)用形 成最終碼流。
本發(fā)明具有如下優(yōu)點(diǎn)
本發(fā)明由于對(duì)左低分辨率恢復(fù)圖像進(jìn)行Delaimay三角形網(wǎng)格剖分， 因而使編碼端不需要編碼網(wǎng)格節(jié)點(diǎn)的位置，并且使網(wǎng)格節(jié)點(diǎn)能夠分布在 圖像的邊緣處，有利于運(yùn)動(dòng)補(bǔ)償；同時(shí)由于本發(fā)明采用網(wǎng)格運(yùn)動(dòng)估計(jì)/ 補(bǔ)償和視差估計(jì)/補(bǔ)償，不僅適用旋轉(zhuǎn)、縮放等復(fù)雜運(yùn)動(dòng)，而且更能反映 實(shí)際的運(yùn)動(dòng)，有利于預(yù)測(cè)當(dāng)前編碼圖像，得到的運(yùn)動(dòng)矢量光滑，在低比 特下編碼情況下，塊效應(yīng)不明顯，解碼視頻顯示效果好；此外由于本發(fā) 明生成的碼流包含了對(duì)應(yīng)左右高低分辨率的碼流，用戶可以根據(jù)設(shè)備能 力解碼不同的碼流，即平面需求解碼不同分辨率的單目視頻，立體顯示 需求解碼不同分辨率的雙目視頻，以觀看立體視頻。


圖1為本發(fā)明左通道空間可分級(jí)編碼器結(jié)構(gòu)框圖； 圖2為本發(fā)明右通道空間可分級(jí)編碼器結(jié)構(gòu)框圖； 圖3為本發(fā)明編碼器不同幀的幀模式分布示意圖； 圖4為本發(fā)明編碼方法流程圖； 圖5為本發(fā)明編碼方法中的運(yùn)動(dòng)估計(jì)示意圖；圖6為本發(fā)明編碼方法中低分辨率的網(wǎng)格擴(kuò)展示意圖。
具體實(shí)施例方式
參照?qǐng)D1和圖2，本發(fā)明的編碼器包括左通道空間可分級(jí)和右通道 空間可分級(jí)編碼，共分為四個(gè)層次，即左通道空間可分級(jí)設(shè)有左基本層 和左增強(qiáng)層；右通道空間可分級(jí)設(shè)有右基本層和右增強(qiáng)層。本發(fā)明編碼 器的幀模式分布如圖3所示。其中I幀采用DCT的方法直接編碼；P幀 選擇時(shí)域預(yù)測(cè)、層間紋理預(yù)測(cè)、視差預(yù)測(cè)中的一種；B幀聯(lián)合考慮這三 種預(yù)測(cè)中的兩種預(yù)測(cè)。
所述的左基本層由向下采樣單元1、第一減法單元2、第一模式選 擇開(kāi)關(guān)3、第二模式選擇開(kāi)關(guān)7、第一變換與量化單元4、第一反量化與 反變換單元5、第一變長(zhǎng)編碼單元6、第一加法單元8、第一幀存單元9、 I幀網(wǎng)格描述單元10、第一網(wǎng)格運(yùn)動(dòng)估計(jì)單元11和第一網(wǎng)格運(yùn)動(dòng)補(bǔ)償單 元12連接構(gòu)成。輸入的左通道視頻首先經(jīng)過(guò)向下采樣單元1得到基本 層的圖像。左基本層輸入幀采用I幀編碼模式時(shí)，第一模式選擇開(kāi)關(guān)3 選擇I幀模式，該幀通過(guò)第一變換和量化單元4得到量化系數(shù)，經(jīng)過(guò)第 一變長(zhǎng)編碼單元6得到可變長(zhǎng)的碼流。同時(shí)量化系數(shù)經(jīng)過(guò)第一反量化和 反變換單元5得到本地解碼的紋理信息。在I幀模式下，該紋理信息是 圖像的像素值信息，所以第二模式選擇開(kāi)關(guān)開(kāi)關(guān)7選擇I幀模式方向， 得到的本地解碼圖像。該本地解碼圖像存儲(chǔ)到第一幀存儲(chǔ)器單元9中， 供下一 P幀進(jìn)行運(yùn)動(dòng)估計(jì)，并且由I幀網(wǎng)格描述單元單元IO對(duì)該I幀進(jìn) 行Ddaunay三角形網(wǎng)格剖分，得到網(wǎng)格節(jié)點(diǎn)的分布。當(dāng)左基本層輸入幀 采用P幀編碼模式時(shí)，第一模式選擇開(kāi)關(guān)3選擇P幀模式。首先把本地 解碼中的前一幀作為參考幀，由第一網(wǎng)格運(yùn)動(dòng)估單元11進(jìn)行前向網(wǎng)格 運(yùn)動(dòng)估計(jì)，得到每一個(gè)節(jié)點(diǎn)的運(yùn)動(dòng)矢量，由仿射變換得到每個(gè)像素的運(yùn) 動(dòng)矢量，這些節(jié)點(diǎn)的運(yùn)動(dòng)矢量由第一變長(zhǎng)編碼單元6進(jìn)行編碼。第一運(yùn) 動(dòng)補(bǔ)償單元12根據(jù)第一網(wǎng)格運(yùn)動(dòng)估計(jì)單元11的運(yùn)動(dòng)得到當(dāng)前幀的預(yù)測(cè) 圖像。原基本層經(jīng)過(guò)第一減法單元2減去預(yù)測(cè)圖像得到基本層的殘差圖 像，經(jīng)過(guò)變換、量化、變長(zhǎng)編碼得到對(duì)應(yīng)的碼流。量化之后的系數(shù)經(jīng)過(guò) 第一反量化與反變換單元5并在第一加法單元8與預(yù)測(cè)圖像相加得到本地解碼圖像，存儲(chǔ)于第一幀存儲(chǔ)器單元9中。
所述的左增強(qiáng)層由第二網(wǎng)格運(yùn)動(dòng)估計(jì)13、第二網(wǎng)格運(yùn)動(dòng)補(bǔ)償單元14、第一向上采樣單元15和第二向上采樣單元20、第一加權(quán)平均單元16、第一預(yù)測(cè)選擇單元17、第二減法單元18和第三減法單元19、第二變換與量^:單元21、第二反量化和反變換單元22、第二加法單元23、第二幀存單元24和第二變長(zhǎng)編碼單元25連接構(gòu)成。當(dāng)對(duì)應(yīng)的左基本層幀采用I幀編碼模式時(shí)，增強(qiáng)層幀選擇開(kāi)關(guān)采用P幀編碼模式?；緦又写鎯?chǔ)的第一幀存儲(chǔ)單元9經(jīng)過(guò)第一向上采樣單元15得到增強(qiáng)層的預(yù)測(cè)圖像，第一預(yù)測(cè)選擇單元17中只選擇輸入的向上采樣信息。原視頻圖像在第二減法單元18中減去預(yù)測(cè)圖像得到殘差圖像。殘差圖像通過(guò)第二變化與量化單元21得到量化系數(shù)，經(jīng)第二變長(zhǎng)編碼單元25得到對(duì)應(yīng)的碼流。量化系數(shù)通過(guò)第二反量化與反變換單元22得到解碼紋理，并在第二加法單元23與預(yù)測(cè)圖像相加，得到本地解碼圖像，存儲(chǔ)在第二幀存單元24中。當(dāng)對(duì)應(yīng)的左基本層幀采用P幀編碼模式時(shí)，增強(qiáng)層采用B幀編碼模式。該幀采用聯(lián)合時(shí)域預(yù)測(cè)和層間紋理預(yù)測(cè)的方法。由基本層中的網(wǎng)格按照?qǐng)D4中的方法擴(kuò)展到高分辨率圖像中，對(duì)基本層中的運(yùn)動(dòng)矢量乘2作為增強(qiáng)層中節(jié)點(diǎn)的初始運(yùn)動(dòng)，在第二運(yùn)動(dòng)估計(jì)單元13再進(jìn)行一個(gè)小范圍之內(nèi)的運(yùn)動(dòng)提升。每個(gè)節(jié)點(diǎn)的運(yùn)動(dòng)提升矢量進(jìn)行變長(zhǎng)編碼。第二運(yùn)動(dòng)補(bǔ)償單元14由節(jié)點(diǎn)的運(yùn)動(dòng)矢量得到時(shí)域預(yù)測(cè)圖像。同時(shí)在第一向上采樣單元15中由基本層中的第一幀存單元9的向上采樣作為層間紋理預(yù)測(cè)。第一預(yù)測(cè)選擇單元17通過(guò)在時(shí)域預(yù)測(cè)圖像、層間紋理預(yù)測(cè)和第一加權(quán)平均單元16中的兩者之平均中以宏塊為單位選擇最好的預(yù)測(cè)。然后經(jīng)過(guò)第二減法單元18得到殘差圖像，該殘差圖像與基本層中第一反量化與反變換單元5的第二向上采樣單元20與第三減法單元19相減得到最終殘差圖像，對(duì)此殘差圖像進(jìn)行相應(yīng)的編碼。對(duì)該編碼碼流進(jìn)行相反的過(guò)程得到本地恢復(fù)圖像，存儲(chǔ)于第二幀存單元24中。
所述的右基本層由向下采樣單元、網(wǎng)格視差估計(jì)和補(bǔ)償單元26、網(wǎng)格運(yùn)動(dòng)估計(jì)和補(bǔ)償單元27、第二加權(quán)單元28、第二預(yù)測(cè)選擇單元29、第三模式選擇開(kāi)關(guān)單元30和第四模式選擇開(kāi)關(guān)單元31、第四減法單元32、第三變換與量化單元33、第三反量化與反變換單元34、第三加法單元35、第三幀存單元36、第三變長(zhǎng)編碼單元37連接構(gòu)成。首先由右圖像經(jīng)下采樣得到右基本層的圖像。當(dāng)對(duì)應(yīng)的左基本層幀采用I幀編碼模式時(shí)，右基本層第三模式選擇開(kāi)關(guān)單元30采用P幀編碼模式。在網(wǎng)格視差估計(jì)和補(bǔ)償單元26中由對(duì)應(yīng)左基本層中的網(wǎng)格和左基本層中的第一幀存單元9得到右圖像的基本層預(yù)測(cè)圖像。第三變長(zhǎng)編碼單元37對(duì)量化系數(shù)進(jìn)行編碼得到編碼碼流。原始基本層在第四減法單元32中減去預(yù)測(cè)圖像得到殘差圖像，經(jīng)第三變換與量化單元33得到量化系數(shù)，該量化系數(shù)經(jīng)反量化、反變換單元34得到恢復(fù)殘差圖像?；謴?fù)殘差圖像再經(jīng)過(guò)第三加法單元35與預(yù)測(cè)圖像相加，得到本地恢復(fù)圖像，存儲(chǔ)于第三幀存單元36中。當(dāng)對(duì)應(yīng)的左基本層幀采用P幀編碼模式時(shí)，右基本層第三模式選擇開(kāi)關(guān)單元30選擇采用B幀編碼模式。網(wǎng)格運(yùn)動(dòng)估計(jì)和補(bǔ)償單元27由上一幀的網(wǎng)格進(jìn)行本幀的時(shí)域預(yù)測(cè)。網(wǎng)格視差估計(jì)和補(bǔ)償單元26由左基本層得到視差預(yù)測(cè)圖像。第二預(yù)測(cè)選擇單元29在時(shí)域預(yù)測(cè)、視差預(yù)測(cè)和第二加權(quán)單元28中的兩者之平均中以宏塊為單位選擇最終的預(yù)測(cè)圖像，并得到最終的殘差圖像。該殘差圖像經(jīng)第三變換與量化單元33得到最終碼流。該碼流經(jīng)相反的過(guò)程得到右基本層本地恢復(fù)圖像，存儲(chǔ)于第三幀存儲(chǔ)單元36中。
所述的右增強(qiáng)層由第三向上采樣單元38、第五減法單元39和第四變換與量化單元40連接構(gòu)成。右通道的增強(qiáng)層統(tǒng)一采用P幀模式。對(duì)應(yīng)的基本層解碼圖像經(jīng)向上采樣單元38得到增強(qiáng)層的層間預(yù)測(cè)圖像。右增強(qiáng)層在第五減法單元39減去這個(gè)預(yù)測(cè)圖像得到殘差，在第四變換與量化單元40變換、量化得到量化系數(shù)。該量化系數(shù)通過(guò)第三變長(zhǎng)編碼單元37中編碼。
參照?qǐng)D4，本發(fā)明編碼方法包括如下步驟
步驟l，向下采樣輸入的高分辨率立體視頻，獲取I幀左恢復(fù)圖像。通過(guò)隔點(diǎn)采樣的方法向下采樣輸入的高分辨率立體視頻，分別得到低分辨率的左圖像和低分辨率的右圖像，并對(duì)I幀左圖像進(jìn)行DCT編碼得到I幀低分辨率的左恢復(fù)圖像。
步驟2，對(duì)I幀低分辨率的左恢復(fù)圖像進(jìn)行Delaunay三角形網(wǎng)格剖分。
2. 1)將I幀低分辨率左恢復(fù)圖像的四個(gè)角點(diǎn)形成兩個(gè)三角形。 由I幀低分辨率左恢復(fù)圖像首先找到該圖像的四個(gè)角點(diǎn)；再將左上 角點(diǎn)、左下角點(diǎn)和右下角點(diǎn)三個(gè)節(jié)點(diǎn)構(gòu)成第一個(gè)三角形；最后將左上角 點(diǎn)、右上角點(diǎn)和右下角點(diǎn)三個(gè)節(jié)點(diǎn)構(gòu)成第二個(gè)三角形。 2.2)找到其他網(wǎng)格節(jié)點(diǎn)并構(gòu)成三角形網(wǎng)格。
在已有三角形中找到方差最大的那個(gè)三角形作為需要插入新節(jié)點(diǎn) 的候選三角形。在這個(gè)三角形中利用Laplace算子檢測(cè)灰度變化最大的 點(diǎn)，并計(jì)算該點(diǎn)與己有的節(jié)點(diǎn)的距離，如果該距離大于一個(gè)常數(shù)D，則 將該點(diǎn)作為新插入點(diǎn)，重新生成Delaunay三角形網(wǎng)格；如果該距離小于 D，則該點(diǎn)為無(wú)效點(diǎn)，在己有三角形中找方差其次的三角形，在該三角 形中用Laplace算子檢領(lǐng)!l，得到新插入點(diǎn)，重新生成Delaunay三角形網(wǎng) 格。重復(fù)以上過(guò)程，直到插入點(diǎn)的數(shù)目達(dá)到最大數(shù)iV要求為止。
步驟3，利用網(wǎng)格節(jié)點(diǎn)運(yùn)動(dòng)估計(jì)和補(bǔ)償?shù)玫阶蠡緦又衅渌麕念A(yù) 測(cè)圖像。
對(duì)于編碼左基本層中的P幀，以左低分辨率恢復(fù)圖像為參考圖像， 采用己得到的網(wǎng)格進(jìn)行網(wǎng)格節(jié)點(diǎn)運(yùn)動(dòng)估計(jì)和補(bǔ)償，得到低分辨率左圖像 的預(yù)測(cè)圖像，其具體過(guò)程采用如圖5所述的傘形匹配搜索。
3.1) 對(duì)每個(gè)節(jié)點(diǎn)用塊匹配的方法得到每個(gè)節(jié)點(diǎn)的初始運(yùn)動(dòng)，如圖 5(a) 圖5 (b);
3.2) 固定每個(gè)節(jié)點(diǎn)的周邊節(jié)點(diǎn)，在傘形區(qū)域之內(nèi)移動(dòng)節(jié)點(diǎn)F，對(duì)變 形后的每一個(gè)三角形用六參數(shù)仿射公式進(jìn)行變換
Ay = a21x + a22_y + a23 (工)
式中，以AABF為例，(x,y)表示AABF內(nèi)部原像素的坐標(biāo)，(Ax, Ay) 表示AABF中三節(jié)點(diǎn)分別至UAA，B，F(xiàn)"對(duì)應(yīng)三節(jié)點(diǎn)的位移，由三個(gè)頂點(diǎn)A、 B、 F的運(yùn)動(dòng)矢量得到六個(gè)參數(shù)，從而得到三角形內(nèi)部每個(gè)像素的運(yùn)動(dòng)根據(jù)這些運(yùn)動(dòng)矢量由參考圖像預(yù)測(cè)當(dāng)前幀圖像得到預(yù)測(cè)圖像，選擇
使F'所在的傘形中，預(yù)測(cè)圖像與當(dāng)前圖像的誤差最小的位置F"作為節(jié) 點(diǎn)F，的新位置，如圖5(b) 圖5(c)。
所述的3.2)可進(jìn)行多次迭代，直到節(jié)點(diǎn)位置不變?yōu)橹埂Ｔ谶M(jìn)行運(yùn) 動(dòng)估計(jì)時(shí)，節(jié)點(diǎn)F的位置必須限制在傘形ABCDE的區(qū)域之內(nèi)，以保證 整個(gè)Delaunay三角形網(wǎng)格的拓?fù)浣Y(jié)構(gòu)不變。
3. 3)利用網(wǎng)格運(yùn)動(dòng)估計(jì)得到的所有節(jié)點(diǎn)的運(yùn)動(dòng)矢量和仿射變換公 式，由參考圖像進(jìn)行網(wǎng)格運(yùn)動(dòng)補(bǔ)償?shù)玫疆?dāng)前低分辨率幀左圖像的預(yù)測(cè)圖
步驟4，左增強(qiáng)層利用網(wǎng)格運(yùn)動(dòng)補(bǔ)償和層間紋理預(yù)測(cè)，得到左增強(qiáng) 層的預(yù)測(cè)圖像。
左增強(qiáng)層采用圖6所示的擴(kuò)展方法，將低分辨的網(wǎng)格中四個(gè)角點(diǎn)外 的節(jié)點(diǎn)位置乘以2，作為高分辨率的網(wǎng)格節(jié)點(diǎn)位置，并將網(wǎng)格中的四個(gè) 角點(diǎn)直接搬移到高分辨率對(duì)應(yīng)的四個(gè)角點(diǎn)處，得到高分辨層的網(wǎng)格。
對(duì)于左增強(qiáng)層中的P幀，編碼器中的左增強(qiáng)層將左低分辨率的圖像 向上采樣作為左高分辨率圖像的預(yù)測(cè)圖像；對(duì)于左增強(qiáng)層中的B幀編碼 方式，編碼器中的左增強(qiáng)層以同一層中前一幀圖像為參考，利用高分辨 層的網(wǎng)格進(jìn)行網(wǎng)格運(yùn)動(dòng)補(bǔ)償?shù)玫綍r(shí)域預(yù)測(cè)圖像，同時(shí)利用低分辨率的已 恢復(fù)的圖像向上采樣得到層間紋理預(yù)測(cè)，取兩種預(yù)測(cè)和它們的平均三者 中預(yù)測(cè)誤差最小的作為最終高分辨率左圖像的預(yù)測(cè)圖像。
步驟5，右基本層利用網(wǎng)格運(yùn)動(dòng)補(bǔ)償和網(wǎng)格視差補(bǔ)償?shù)玫接一緦?的預(yù)測(cè)圖像。
對(duì)于右基本層的P幀，以左低分辨率恢復(fù)圖像為參考和左低分辨率 圖像中的網(wǎng)格采用傘形匹配搜索得到每個(gè)網(wǎng)格節(jié)點(diǎn)的視差信息，然后由 節(jié)點(diǎn)視差和仿射變換得到視差預(yù)測(cè)圖像；
對(duì)于右基本層的B幀，除了采用以上得到的視差預(yù)測(cè)圖像，同時(shí)采 用前一幀的網(wǎng)格進(jìn)行網(wǎng)格運(yùn)動(dòng)補(bǔ)償?shù)玫綍r(shí)域預(yù)測(cè)圖像；取兩種預(yù)測(cè)圖像 和它們的平均圖像中與原圖像誤差最小的圖像，作為最終低分辨率右圖像的預(yù)測(cè)圖像。
步驟6，右增強(qiáng)層利用右基本層的信息編碼得到右增強(qiáng)層的預(yù)測(cè)圖像。
右增強(qiáng)層統(tǒng)一采用B幀方式，通過(guò)向上采樣右基本層本地恢復(fù)的圖 像，得到高分辨率右圖像的預(yù)測(cè)圖像。 步驟7,獲得所有殘差圖像。
7.1) 由低分辨率左原圖像減去低分辨率左圖像的預(yù)測(cè)圖像，得到 低分辨率左圖像的殘差圖像；
7.2) 由高分辨率左原圖像減去高分辨率左圖像的預(yù)測(cè)圖像，得到 高分辨率左圖像的殘差圖像，同時(shí)向上采樣以上所述的低分辨率左圖像 的殘差圖像，作為高分辨率左圖像的預(yù)測(cè)殘差圖像。用高分辨率左圖像 的殘差圖像減去高分辨率左圖像的預(yù)測(cè)殘差圖像得到高分辨率左圖像 最終殘差圖像；
7.3) 由低分辨率右原圖像減去低分辨率右圖像的預(yù)測(cè)圖像，得到 低分辨率右圖像的殘差圖像；
7.4) 由高分辨率右原圖像減去高分辨率右圖像的預(yù)測(cè)圖像，得到 高分辨率左圖像的殘差圖像；
步驟8，對(duì)上述所有的殘差圖像進(jìn)行編碼，復(fù)合成一個(gè)碼流。 編碼低分辨率左圖像的殘差圖像、高分辨率左圖像最終殘差圖像、 低分辨率右圖像的殘差圖像和高分辨率左圖像的殘差圖像得到低分辨 率左圖像所對(duì)應(yīng)的碼流、高分辨率左圖像所對(duì)應(yīng)的碼流、低分辨率右圖 像所對(duì)應(yīng)的碼流和高分辨率右圖像所對(duì)應(yīng)的碼流；將這些碼流組成一個(gè) 復(fù)合碼流，形成最終碼流。
權(quán)利要求
1. 一種基于網(wǎng)格的立體視頻空間可分級(jí)編碼器，包括左基本層、左增強(qiáng)層、右基本層和右增強(qiáng)層，其特征在于左基本層中設(shè)有I幀網(wǎng)格描述單元(10)、第一網(wǎng)格運(yùn)動(dòng)估計(jì)單元(11)和第一網(wǎng)格運(yùn)動(dòng)補(bǔ)償單元(12)，用于通過(guò)Delaunay三角形網(wǎng)格的運(yùn)動(dòng)補(bǔ)償完成時(shí)域預(yù)測(cè)；左增強(qiáng)層中設(shè)有第二網(wǎng)格運(yùn)動(dòng)估計(jì)單元(13)和第二網(wǎng)格補(bǔ)償單元(14)，用于完成網(wǎng)格時(shí)域預(yù)測(cè)；右基本層中設(shè)有第三網(wǎng)格運(yùn)動(dòng)估計(jì)單元(27)和網(wǎng)格視差估計(jì)單元(26)，用于完成網(wǎng)格時(shí)域預(yù)測(cè)和網(wǎng)格視差補(bǔ)償；右增強(qiáng)層中設(shè)有紋理向上采樣單元(28)，用于完成層間紋理預(yù)測(cè)；所述的編碼器左基本層輸出網(wǎng)格節(jié)點(diǎn)運(yùn)動(dòng)矢量、本地恢復(fù)的紋理信息和基本層的殘差信息到左增強(qiáng)層中，輸出網(wǎng)格節(jié)點(diǎn)的視差矢量到右基本層中；右基本層輸出本地恢復(fù)的紋理信息到右增強(qiáng)層中。
2. —種基于網(wǎng)格的立體視頻空間可分級(jí)編碼方法，包括如下步驟(1) 下采樣輸入的高分辨率立體視頻，得到低分辨率的左右圖像，并對(duì)I幀左圖像采用DCT編碼，得到I幀低分辨率左恢復(fù)圖像；(2) 對(duì)I幀低分辨率左恢復(fù)圖像進(jìn)行Delaunay三角形網(wǎng)格剖分；(3) 左基本層其他幀利用己得到的網(wǎng)格進(jìn)行網(wǎng)格節(jié)點(diǎn)運(yùn)動(dòng)補(bǔ)償，得到 低分辨率左圖像的預(yù)測(cè)圖像；(4) 左增強(qiáng)層將低分辨率圖像中的網(wǎng)格擴(kuò)展到高分辨率圖像中，得到 高分辨層的網(wǎng)格，利用高分辨層的網(wǎng)格進(jìn)行網(wǎng)格運(yùn)動(dòng)補(bǔ)償和層間紋理預(yù) 測(cè)，得到高分辨率左圖像的預(yù)測(cè)圖像；(5) 右基本層利用左低分辨圖像中的網(wǎng)格進(jìn)行網(wǎng)格運(yùn)動(dòng)補(bǔ)償和視差補(bǔ) 償，得到低分辨率右圖像的預(yù)測(cè)圖像；(6) 右增強(qiáng)層向上采樣右基本層本地恢復(fù)的圖像，得到高分辨率右圖 像的預(yù)測(cè)圖像；(7) 由原圖像分別減去所述的低分辨率左圖像的預(yù)測(cè)圖像、低分辨率右圖像的預(yù)測(cè)圖像和高分辨率右圖像的預(yù)測(cè)圖像，得到相對(duì)應(yīng)的殘差圖像；由高分辨率左原圖像減去所述的高分辨率左圖像的預(yù)測(cè)圖像，得到高 分辨率左圖像的殘差圖像，并向上采樣低分辨率左圖像的殘差圖像，得到 高分辨率左圖像的預(yù)測(cè)殘差圖像,用該高分辨率左圖像的殘差圖像減去高 分辨率左圖像的預(yù)測(cè)殘差圖像，得到高分辨率左圖像的最終殘差圖像；(8)對(duì)上述每個(gè)殘差圖像依次編碼，并將這些編碼數(shù)據(jù)進(jìn)行復(fù)用形成 最終碼流。
3. 根據(jù)權(quán)利要求2所述的立體視頻空間可分級(jí)編碼方法，其中步驟(2) 所述的對(duì)第一幀低分辨率左圖像進(jìn)行Delaunay三角形網(wǎng)格剖分，按 如下步驟進(jìn)行(3a)將低分辨率左圖像的四個(gè)角點(diǎn)形成兩個(gè)三角形；(3b)在己有的三角形中找到灰度方差最大的那個(gè)三角形，用Laplace算子檢測(cè)出該三角形中灰度變化最大的像素點(diǎn)作為新插入點(diǎn)，對(duì)所有節(jié)點(diǎn)形成Delaunay三角形網(wǎng)格；(3c)重復(fù)步驟(3b),直到節(jié)點(diǎn)的個(gè)數(shù)達(dá)到最大數(shù)N為止。
4. 根據(jù)權(quán)利要求2所述的立體視頻空間可分級(jí)編碼方法，其中步驟(3) 所述的左基本層利用已得到的網(wǎng)格進(jìn)行網(wǎng)格節(jié)點(diǎn)運(yùn)動(dòng)補(bǔ)償，按如下 傘形匹配搜索的步驟進(jìn)行(4a)對(duì)參考幀中所有的網(wǎng)格節(jié)點(diǎn)在其鄰域找當(dāng)前幀對(duì)應(yīng)的節(jié)點(diǎn)，將這 些節(jié)點(diǎn)的位置變化作為節(jié)點(diǎn)的初始運(yùn)動(dòng)矢量；(4b)依次處理所有的節(jié)點(diǎn)，固定該節(jié)點(diǎn)的相連節(jié)點(diǎn)的位置，移動(dòng)該節(jié) 點(diǎn)的位置，利用仿射變換找到使該節(jié)點(diǎn)和它相連的節(jié)點(diǎn)所形成的區(qū)域誤差 最小的位置，作為節(jié)點(diǎn)的新位置；(4c)重復(fù)步驟(4b)，直到網(wǎng)格節(jié)點(diǎn)位置不變?yōu)橹?，得到?jié)點(diǎn)的最終 運(yùn)動(dòng)矢量；(4d)由網(wǎng)格節(jié)點(diǎn)的運(yùn)動(dòng)矢量和仿射變換得到當(dāng)前幀的預(yù)測(cè)圖像。
5. 根據(jù)權(quán)利要求2所述的立體視頻空間可分級(jí)編碼方法，其中步驟(4) 所述的將低分辨率圖像中的網(wǎng)格擴(kuò)展到高分辨率圖像，是將低分辨 的網(wǎng)格四個(gè)角點(diǎn)外的節(jié)點(diǎn)位置乘以2，作為高分辨率的網(wǎng)格節(jié)點(diǎn)位置，并將網(wǎng)格中的四個(gè)角點(diǎn)直接搬移到高分辨率對(duì)應(yīng)的四個(gè)角點(diǎn)處。
6.根據(jù)權(quán)利要求2所述的立體視頻空間可分級(jí)編碼方法，其 中步驟(5)所述的右基本層利用左低分辨圖像中的網(wǎng)格進(jìn)行網(wǎng)格運(yùn)動(dòng)補(bǔ) 償和視差補(bǔ)償按如下步驟進(jìn)行(6a)網(wǎng)格運(yùn)動(dòng)補(bǔ)償采用本層中的前一幀作為參考圖像，進(jìn)行所述的傘 形匹配搜索，得到時(shí)域預(yù)測(cè)圖像；(6b)網(wǎng)格視差補(bǔ)償以對(duì)應(yīng)的左低分辨率圖像作為參考圖像，進(jìn)行所述 的傘形匹配搜索，得到視差預(yù)測(cè)圖像；(6c)選擇以上兩種預(yù)測(cè)圖像中預(yù)測(cè)誤差最小的作為右基本層的最終預(yù) 測(cè)圖像。
全文摘要
本發(fā)明公開(kāi)了一種基于網(wǎng)格的立體視頻空間可分級(jí)編碼器及其編碼方法。它屬于圖像壓縮技術(shù)領(lǐng)域，主要解決現(xiàn)有可分級(jí)編碼器基于塊方法產(chǎn)生的塊效應(yīng)問(wèn)題。該編碼器首先對(duì)左低分辨率恢復(fù)圖像進(jìn)行Delaunay三角形剖分，得到三角形網(wǎng)格；再應(yīng)用基于網(wǎng)格的運(yùn)動(dòng)補(bǔ)償和視差補(bǔ)償預(yù)測(cè)當(dāng)前編碼圖像，以左通道低分辨率恢復(fù)圖像為參考圖像；通過(guò)網(wǎng)格節(jié)點(diǎn)的運(yùn)動(dòng)信息和視差信息得到左通道不同分辨率和右通道不同分辨率的預(yù)測(cè)圖像；由原圖像分別減去這些預(yù)測(cè)圖像得到對(duì)應(yīng)的殘差圖像；再對(duì)這些殘差圖像分別編碼，形成一個(gè)復(fù)合碼流。本發(fā)明不僅能實(shí)現(xiàn)可分級(jí)的功能，而且能減少基于塊方法產(chǎn)生的塊效應(yīng)，可用于使解碼端根據(jù)不同的需求顯示不同分辨率大小的單目和雙目視頻。
文檔編號(hào)H04N7/26GK101511017SQ20091002161
公開(kāi)日2009年8月19日 申請(qǐng)日期2009年3月20日 優(yōu)先權(quán)日2009年3月20日
發(fā)明者盧朝陽(yáng), 靜 李, 焦衛(wèi)東, 胡星星, 郭大波, 韓軍功, 高全學(xué) 申請(qǐng)人:西安電子科技大學(xué)