本發(fā)明涉及計(jì)算機(jī)視覺與數(shù)字圖像處理領(lǐng)域，尤其涉及一種基于單應(yīng)性變換的光場(chǎng)數(shù)據(jù)壓縮方法。

背景技術(shù)：

最近基于微透鏡結(jié)構(gòu)的全光相機(jī)引發(fā)了學(xué)術(shù)界以及工業(yè)界的廣泛關(guān)注，其捕獲的全光數(shù)據(jù)能夠同時(shí)記錄光線的位置信息和角度信息，在三維重建、立體顯示成像以及虛擬現(xiàn)實(shí)等領(lǐng)域都展示出了巨大的應(yīng)用前景。然而，相對(duì)于傳統(tǒng)相機(jī)捕獲的圖像，全光圖像具有超高分辨率，同時(shí)其特殊的微透鏡像素分布形式也存在巨大的信息冗余。數(shù)據(jù)量的激增給光場(chǎng)數(shù)據(jù)的傳輸和存儲(chǔ)帶來巨大壓力，因此急需一種有效的光場(chǎng)數(shù)據(jù)壓縮方案，這也是由平面多媒體邁向立體影像時(shí)代急需且必須的核心技術(shù)。

針對(duì)光場(chǎng)相機(jī)捕獲的原始光場(chǎng)圖像，可通過對(duì)其渲染生成的子孔徑圖像進(jìn)行壓縮，該壓縮方案可大致分為三類：第一類是通過利用不同的掃描形式，由子孔徑圖像生成偽視頻序列，進(jìn)而基于視頻編碼器完成壓縮，該類方案由于不能提供理論上的壓縮效率分析，因此具有一定不確定性；第二類方案是將子孔徑圖像按照不同的視角關(guān)系，由空域向時(shí)域轉(zhuǎn)換，進(jìn)而利用多視點(diǎn)編碼完成光場(chǎng)數(shù)據(jù)的壓縮，該方案中由于多視點(diǎn)編碼需要配置相機(jī)參數(shù)，同時(shí)子孔徑圖像的視角數(shù)和多視點(diǎn)編碼器的視點(diǎn)數(shù)限制，使得實(shí)施起來具有一定難度；最后一類方案則是利用相鄰子孔徑圖像具有的視差關(guān)系，在視頻編碼器中引入視差補(bǔ)償?shù)木幋a工具來降低空域冗余信息，該類方案未能有效利用光場(chǎng)圖像中的宏像素的相似關(guān)系，限制了編碼效率的進(jìn)一步提升。

以上背景技術(shù)內(nèi)容的公開僅用于輔助理解本發(fā)明的構(gòu)思及技術(shù)方案，其并不必然屬于本專利申請(qǐng)的現(xiàn)有技術(shù)，在沒有明確的證據(jù)表明上述內(nèi)容在本專利申請(qǐng)的申請(qǐng)日已經(jīng)公開的情況下，上述背景技術(shù)不應(yīng)當(dāng)用于評(píng)價(jià)本申請(qǐng)的新穎性和創(chuàng)造性。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的主要目的在于提供一種基于單應(yīng)性變換的光場(chǎng)數(shù)據(jù)壓縮方法，有效降低空域內(nèi)的冗余信息，進(jìn)而實(shí)現(xiàn)編碼效率的有效提升。

為了實(shí)現(xiàn)上述目的，本發(fā)明采用以下技術(shù)方案：

本發(fā)明公開了一種基于單應(yīng)性變換的光場(chǎng)數(shù)據(jù)壓縮方法，包括以下步驟：

a1：輸入原始光場(chǎng)數(shù)據(jù)集φ(s1,s2,…,si)，將其中的子孔徑圖像si分為中心子孔徑圖像ci和相應(yīng)的鄰域子孔徑圖像ai-j；

a2：根據(jù)中心子孔徑圖像ci和相應(yīng)的鄰域子孔徑圖像ai-j求取單應(yīng)性矩陣hi-j，基于單應(yīng)性變換將鄰域子孔徑圖像ai-j投影到中心子孔徑圖像ci所在成像平面得到變換后的鄰域子孔徑圖像a′i-j，將變換后的鄰域子孔徑圖像a′i-j與中心子孔徑圖像ci相減得到殘差圖ri-j；

a3：對(duì)光場(chǎng)數(shù)據(jù)集中全部的中心子孔徑圖像ci和殘差圖像ri-j分別進(jìn)行掃描，生成中心視頻序列vc和殘差視頻序列vr；

a4：對(duì)中心視頻序列vc和殘差視頻序列vr分別進(jìn)行壓縮。

優(yōu)選地，步驟a1具體為：對(duì)其中的子孔徑圖像si按照空域排布位置關(guān)系分為中心子孔徑圖像ci和相應(yīng)的鄰域子孔徑圖像ai-j。

優(yōu)選地，步驟a1具體為：輸入的原始光場(chǎng)數(shù)據(jù)集φ(s1,s2,…,si)為n×n正方形圖像陣列，以相鄰的3×3的9張子孔徑圖像為一組，將n×n正方形圖像陣列劃分為(n/3)×(n/3)組子孔徑圖像組，其中每組子孔徑圖像組中的中心的子孔徑圖像si定義為中心子孔徑圖像ci，周圍8張相鄰的子孔徑圖像si定義為相應(yīng)的鄰域子孔徑圖像ai-j。

優(yōu)選地，步驟a2具體為：

a21：基于sift圖像匹配算法和dlt直接線性變換算法，分別求解出中心子孔徑圖像ci和相應(yīng)的鄰域子孔徑圖像ai-j的單應(yīng)性矩陣hi-j：

a22：將鄰域子孔徑圖像ai-j投影到中心子孔徑圖像ci所在成像平面得到變換后的鄰域子孔徑圖像a′i-j：

[x′,y′,1]＝[x,y,1]hi-j

其中，(x,y)為鄰域子孔徑圖像ai-j中的像素坐標(biāo)，(x′,y′)為變換后的鄰域子孔徑圖像a′i-j中的像素坐標(biāo)；

a23：將變換后的鄰域子孔徑圖像a′i-j與相應(yīng)的中心子孔徑圖像ci相減，得到殘差圖ri-j：

ir(u,v)＝ia(u,v)-ic(u,v)

其中，(u,v)為圖像中的像素坐標(biāo)，ir、ia、ic分別為ri-j、a′i-j和ci中的像素值。

優(yōu)選地，步驟a3中對(duì)光場(chǎng)數(shù)據(jù)集中全部的中心子孔徑圖像ci進(jìn)行掃描的方法為z字形掃描或者s形掃描，其中z字形掃描表示相鄰兩行間的中心子孔徑圖像ci頭尾相連，s形掃描表示相鄰兩行間的中心子孔徑圖像ci頭部相連或者尾部相連。

優(yōu)選地，步驟a3中對(duì)光場(chǎng)數(shù)據(jù)集中全部的殘差圖像ri-j進(jìn)行掃描的方法為z字形掃描或者s形掃描，其中z字形掃描表示相鄰兩行間的殘差圖像ri-j頭尾相連，s形掃描表示相鄰兩行間的殘差圖像ri-j頭部相連或者尾部相連。

優(yōu)選地，步驟a3中對(duì)光場(chǎng)數(shù)據(jù)集中全部的殘差圖像ri-j進(jìn)行掃描的方法為轉(zhuǎn)圈掃描，轉(zhuǎn)圈掃描表示對(duì)子孔徑圖像組中的8張殘差圖像ri-j轉(zhuǎn)圈掃描后，與相鄰的其他組子孔徑圖像組內(nèi)的殘差圖像ri-j首尾相連。

優(yōu)選地，步驟a4還包括對(duì)全部的單應(yīng)性矩陣hi-j編碼壓縮。

優(yōu)選地，步驟a4還包括對(duì)全部的單應(yīng)性矩陣hi-j進(jìn)行定長(zhǎng)編碼壓縮。

優(yōu)選地，步驟a4具體為：對(duì)中心視頻序列vc和殘差視頻序列vr分別利用視頻編碼器進(jìn)行壓縮編碼。

與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果在于：本發(fā)明的基于單應(yīng)性變換的光場(chǎng)數(shù)據(jù)壓縮方法，首先將原始光場(chǎng)數(shù)據(jù)集劃分為中心子孔徑圖像和相應(yīng)的鄰域子孔徑圖像，基于單應(yīng)性變換完成鄰域子孔徑圖像與中心子孔徑圖像的映射，進(jìn)而通過對(duì)獲取的殘差圖像和中心子孔徑圖像分別進(jìn)行掃描生成偽視頻序列，對(duì)視頻序列進(jìn)而壓縮后即實(shí)現(xiàn)光場(chǎng)數(shù)據(jù)編碼效率的有效提升；該光場(chǎng)數(shù)據(jù)壓縮方法，充分利用了光場(chǎng)數(shù)據(jù)的結(jié)構(gòu)特點(diǎn)，盡量地降低光場(chǎng)數(shù)據(jù)的冗余信息，從而有效提高光場(chǎng)圖像的編碼壓縮效率。

在進(jìn)一步的方案中，按照子孔徑圖像的空域排布位置關(guān)系來劃分子孔徑圖像，然后通過單應(yīng)性變換完成鄰域子孔徑圖像與中心子孔徑圖像的視角轉(zhuǎn)換，進(jìn)而掃描構(gòu)建中心視角視頻序列和殘差視頻序列，以充分利用光場(chǎng)數(shù)據(jù)中子孔徑圖像之間成像視角的幾何關(guān)系和彼此具有相似的光強(qiáng)排布特點(diǎn)，由于圖像間的相似性，殘差圖像相對(duì)平滑，進(jìn)而使得在編碼過程中充分減小碼率開銷，進(jìn)一步有效降低光場(chǎng)數(shù)據(jù)的冗余信息，從而更進(jìn)一步提高光場(chǎng)圖像的編碼壓縮效率。

附圖說明

圖1是本發(fā)明優(yōu)選實(shí)施例的基于單應(yīng)性變換的光場(chǎng)數(shù)據(jù)壓縮方法的流程示意圖；

圖2a是本發(fā)明優(yōu)選實(shí)施例的光場(chǎng)數(shù)據(jù)集的示意圖；

圖2b是圖2a中t處的放大示意圖；

圖3a是本發(fā)明優(yōu)選實(shí)施例中的對(duì)于中心子孔徑圖像的z字形掃描示意圖；

圖3b是本發(fā)明優(yōu)選實(shí)施例中的對(duì)于中心子孔徑圖像的s形掃描示意圖；

圖4a是本發(fā)明優(yōu)選實(shí)施例中的對(duì)于殘差圖像的z字形掃描示意圖；

圖4b是本發(fā)明優(yōu)選實(shí)施例中的對(duì)于殘差圖像的s形掃描示意圖；

圖4c是本發(fā)明優(yōu)選實(shí)施例中的對(duì)于殘差圖像的轉(zhuǎn)圈掃描示意圖。

具體實(shí)施方式

下面對(duì)照附圖并結(jié)合優(yōu)選的實(shí)施方式對(duì)本發(fā)明作進(jìn)一步說明。

如圖1所示，本發(fā)明優(yōu)選實(shí)施例公開了一種基于單應(yīng)性變換的光場(chǎng)數(shù)據(jù)壓縮方法，包括以下步驟：

a1：輸入原始光場(chǎng)數(shù)據(jù)集φ(s1,s2,…,si)，對(duì)其中的子孔徑圖像si按照空域排布位置關(guān)系分為中心子孔徑圖像ci和相應(yīng)的鄰域子孔徑圖像ai-j；

其中，輸入的原始光場(chǎng)數(shù)據(jù)集φ(s1,s2,…,si)由子孔徑圖像si組成。子孔徑圖像si通過光場(chǎng)相機(jī)(如lytroillum)采集所得經(jīng)過一系列前期處理后生成的原始全光圖像經(jīng)渲染算法所得，并且按照其成像視角關(guān)系排布為n×n正方形圖像陣列；以lytroillum生成的光場(chǎng)數(shù)據(jù)為例，φ(s1,s2,…,si)為15×15共225張子孔徑圖像，如圖2a所示。對(duì)于該圖像陣列，以相鄰的3×3的9張子孔徑圖像為一組，將原n×n正方形圖像陣列劃分為(n/3)×(n/3)組，如圖2b所示，每組中心的子孔徑圖像si定義為中心子孔徑圖像ci，周圍8張相鄰子孔徑圖像定義為鄰域子孔徑圖像ai-j，對(duì)于周圍四角一些光場(chǎng)無效子孔徑圖像進(jìn)行忽略及跳過(如圖2a中四個(gè)角處的淺灰色塊所示)。

a2：根據(jù)中心子孔徑圖像ci和相應(yīng)的鄰域子孔徑圖像ai-j求取單應(yīng)性矩陣hi-j，基于單應(yīng)性變換將鄰域子孔徑圖像ai-j投影到中心子孔徑圖像ci所在成像平面得到變換后的鄰域子孔徑圖像a′i-j，將變換后的鄰域子孔徑圖像a′i-j與中心子孔徑圖像ci相減得到殘差圖ri-j；

對(duì)于每個(gè)劃分好的3×3子孔徑圖像組，基于sift圖像匹配算法和dlt直接線性變換算法，分別求解出周圍8張鄰域子孔徑圖像ai-j與中心子孔徑圖像ci的單應(yīng)性矩陣hi-j；進(jìn)而利用單應(yīng)性變換將鄰域子孔徑圖像ai-j投影到中心子孔徑圖像ci所在成像平面得到變換后的鄰域子孔徑圖像a′i-j：

[x′,y′,1]＝[x,y,1]hi-j

其中，(x,y)為原鄰域子孔徑圖像ai-j中的像素坐標(biāo)，(x′,y′)為變換后的鄰域子孔徑圖像a′i-j中的像素坐標(biāo)。

將變換所得的鄰域子孔徑圖像a′i-j與相應(yīng)的中心子孔徑圖像ci相減，得到殘差圖ri-j：

ir(u,v)＝ia(u,v)-ic(u,v)

其中，(u,v)為圖像中的像素坐標(biāo)，ir、ia、ic分別為ri-j、a′i-j和ci中的像素值。

a3：對(duì)原始光場(chǎng)數(shù)據(jù)集中全部的中心子孔徑圖像ci和殘差圖像ri-j按照各自的空域掃描方式分別生成中心視頻序列vc和殘差視頻序列vr；

其中，對(duì)于中心子孔徑圖像ci，可以采用z字形掃描(zigzag掃描)或者s形掃描(s-shape掃描)，其中z字形掃描形式為相鄰兩行間的中心子孔徑圖像ci頭尾相連，如圖3a所示；而s形掃描形式為相鄰兩行間的中心子孔徑圖像ci頭部相連或者尾部相連，如圖3b所示。

對(duì)于殘差圖像ri-j，可以z字形掃描(zigzag掃描)、s形掃描(s-shape掃描)或者轉(zhuǎn)圈掃描(circle掃描)，其中z字形掃描和s形掃描形式與中心孔徑圖像ci類似，也即z字形掃描形式為相鄰兩行間的殘差圖像ri-j頭尾相連，如圖4a所示；而s形掃描形式為相鄰兩行間的殘差圖像ri-j頭部相連或者尾部相連，如圖4b所示；而轉(zhuǎn)圈掃描形式為對(duì)3×3的子孔徑圖像組內(nèi)的8張殘差圖像ri-j轉(zhuǎn)圈掃描后，與相鄰的其他組內(nèi)的殘差圖像首尾相連，如圖4c所示。

a4：對(duì)中心視頻序列vc和殘差視頻序列vr分別利用視頻編碼器進(jìn)行壓縮，同時(shí)對(duì)全部的單應(yīng)性矩陣hi-j編碼壓縮。

其中，對(duì)中心視頻序列vc和殘差視頻序列vr分別利用視頻編碼器進(jìn)行壓縮編碼，同時(shí)對(duì)全部的單應(yīng)性矩陣hi-j進(jìn)行定長(zhǎng)編碼壓縮。而解碼重建的過程則為上述過程的逆過程，在此不再贅述。

本發(fā)明的優(yōu)選實(shí)施例公開的是一種基于單應(yīng)性變換的光場(chǎng)數(shù)據(jù)壓縮方法，首先依據(jù)輸入原始光場(chǎng)數(shù)據(jù)集中子孔徑圖像空間排布的位置關(guān)系進(jìn)行中心子孔徑圖像和領(lǐng)域子孔徑圖像的劃分，利用子孔徑圖像和鄰域子孔徑圖像的相似性進(jìn)行單應(yīng)性變換，完成鄰域子孔徑圖像向中心子孔徑圖像的映射；利用變換后的鄰域子孔徑圖像和中心子孔徑圖像得到殘差圖像，分別通過掃描生成中心子孔徑圖像序列和鄰域殘差子孔徑圖像序列，由于圖像間的相似性，殘差圖像相對(duì)平滑，進(jìn)而使得在編碼過程中充分減小碼率開銷；其中該光場(chǎng)編碼方案充分利用了光場(chǎng)數(shù)據(jù)中相鄰子孔徑圖像的成像過程中視角關(guān)系，以及相鄰子孔徑圖像間相似的光強(qiáng)排布關(guān)系，平滑的殘差圖像避免了大量的碼率開銷，可以選用不同的掃描方式為編碼效率的提升提供了多種選擇，該光場(chǎng)數(shù)據(jù)壓縮方法使得光場(chǎng)圖像研究領(lǐng)域和光場(chǎng)相機(jī)的市場(chǎng)化廣泛受益。

以上內(nèi)容是結(jié)合具體的優(yōu)選實(shí)施方式對(duì)本發(fā)明所作的進(jìn)一步詳細(xì)說明，不能認(rèn)定本發(fā)明的具體實(shí)施只局限于這些說明。對(duì)于本發(fā)明所屬技術(shù)領(lǐng)域的技術(shù)人員來說，在不脫離本發(fā)明構(gòu)思的前提下，還可以做出若干等同替代或明顯變型，而且性能或用途相同，都應(yīng)當(dāng)視為屬于本發(fā)明的保護(hù)范圍。