本發(fā)明涉及光場圖像壓縮技術(shù)領(lǐng)域，尤其涉及一種基于光場子孔徑圖像相對位置關(guān)系的快速運動搜索方法。

背景技術(shù)：

光場是用來描述通過空間中每一個點和每一個方向的光的量的一個函數(shù)。離散化的光場可以用四維參數(shù)表示，包含了光在空間中的位置和方向信息。目前，獲取光場信息的手段頗多，有基于相機陣列[1]和基于微透鏡陣列[2]的諸多采樣方法。本發(fā)明專利討論的光場圖像是基于微透鏡陣列的Lytro Illum光場相機[3]拍攝得到的。

光場圖像記錄了四維光場信息，而非傳統(tǒng)相機記錄的二維光強信息。如果我們將光場圖像轉(zhuǎn)換為子孔徑圖像(subaperture image)，那么各個子孔徑圖像之間僅僅是存在微小的視角變換而已，它們的信息冗余非常大。傳統(tǒng)的圖像壓縮標準如JPEG等已不適合光場圖像的壓縮，我們需要根據(jù)光場圖像的特性開發(fā)針對光場圖像數(shù)據(jù)的高效壓縮方法。

目前的視頻壓縮的方法中，為了提高壓縮效率，一般要對編碼塊進行運動補償，從而消除時(空)域冗余信息。在基于塊運動補償?shù)囊曨l編碼框架中，運動搜索是極其重要的環(huán)節(jié)之一，同時也是復(fù)雜度最高的部分。H.265/HEVC的官方測試編碼器給出了兩種搜索算法：全搜索算法、TZSearch[4]算法。但是，這兩種算法的復(fù)雜度仍然非常大，特別是前者，雖然性能略有增加，但是運動搜索時間為TZSearch的5倍。

技術(shù)實現(xiàn)要素：

本發(fā)明的目的是提供一種基于光場子孔徑圖像相對位置關(guān)系的快速運動搜索方法，加快了運動搜索過程，并降低了編碼的復(fù)雜度。

本發(fā)明的目的是通過以下技術(shù)方案實現(xiàn)的：

一種基于光場子孔徑圖像相對位置關(guān)系的快速運動搜索方法，包括：

將光場圖像轉(zhuǎn)換為子孔徑圖像序列，并按照一定的順序?qū)⒆涌讖綀D像序列轉(zhuǎn)換為視頻序列；

利用視頻壓縮的方法對視頻序列進行編碼，在編碼過程的運動搜索環(huán)節(jié)中，利用當前幀與參考幀的在子孔徑圖像序列中的位置關(guān)系，來確定運動矢量搜索方向，從而獲得最佳搜索起始點，并結(jié)合最佳搜索起始點在其鄰域的若干點中進行亞像素搜索。

所述按照一定的順序?qū)⒆涌讖綀D像序列轉(zhuǎn)換為視頻序列包括：

將子孔徑圖像序列的不規(guī)則區(qū)域使用橫向zigzag掃描方式，在規(guī)則區(qū)域使用U形掃描方式，從而獲得相應(yīng)的視頻序列。

所述利用當前幀與參考幀的在子孔徑圖像序列中的位置關(guān)系，來確定運動矢量搜索方向，從而獲得最佳搜索起始點，并結(jié)合最佳搜索起始點在其鄰域的若干點中進行亞像素搜索包括：

從視頻序列的當前幀中的預(yù)測單元PU的左、上、右上PU的運動矢量MV，三者中值MV以及零運動矢量zero MV中選取匹配誤差最小的像素點作為搜索起始點，并確定搜索步長N；

計算當前幀以及參考幀在子孔徑圖像序列中的坐標，確定參考幀相對于當前幀的位置，從而確定運動矢量搜索方向；

按照運動矢量搜索方向，取與搜索起始點相鄰的像素點，并進行匹配誤差比較；若搜索起始點的匹配誤差最小，則運動矢量搜索結(jié)束，最佳搜索起始點即為所述搜索起始點；否則，將搜索到的匹配誤差最小的像素點作為新的搜索起始點，搜索步長加1，并重復(fù)搜索上述運動矢量搜索過程；運動矢量搜索的終止條件為新的搜索起始點的匹配誤差小于其運動矢量搜索方向中所有相鄰像素點的匹配誤差，或者達到設(shè)定的搜索步長N；

以獲得最佳搜索起始點為中心，在其鄰域的三個點(0,0),(0,y/|y|),(x/|x|,0)進行1/n和1/m亞像素搜索；其中，(x,y)表示最佳搜索起始點對應(yīng)像素點的運動矢量。

由上述本發(fā)明提供的技術(shù)方案可以看出，以當前幀和參考幀之間的相對位置關(guān)系作為先驗知識，指導(dǎo)每一步的運動搜索方向。在整像素搜索階段，本專利提出的方法只進行兩點或三點搜索，相比于HEVC中的全搜索以及TZSearch中的菱形搜索、正方向搜索有了很大的簡化；而在亞像素搜索時，本專利提出的方法僅在三個點進行搜索，相比于HEVC中的8點搜索，該方法進一步降低了編碼的復(fù)雜度。

附圖說明

為了更清楚地說明本發(fā)明實施例的技術(shù)方案，下面將對實施例描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領(lǐng)域的普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他附圖。

圖1為本發(fā)明實施例提供的一種基于光場子孔徑圖像相對位置關(guān)系的快速運動搜索方法的流程圖；

圖2為本發(fā)明實施例提供的確定參考幀相對于當前幀的位置的示意圖；

圖3為本發(fā)明實施例提供的確定參考幀相對于當前幀的位置的示意圖；

圖4為本發(fā)明實施例提供的根據(jù)運動矢量搜索方向與搜索起始點來搜索最佳搜索起始點的示意圖；

圖5為本發(fā)明實施例提供的亞像素搜索的示意圖；

圖6為本發(fā)明實施例提供的將子孔徑圖像序列轉(zhuǎn)換為視頻序列的示意圖；

圖7為本發(fā)明實施例提供的實驗結(jié)果對比圖。

具體實施方式

下面結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例。基于本發(fā)明的實施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明的保護范圍。

圖1為本發(fā)明實施例提供的一種基于光場子孔徑圖像相對位置關(guān)系的快速運動搜索方法的流程圖。如圖1所示，其主要包括：

步驟11、將光場圖像轉(zhuǎn)換為子孔徑圖像序列，并按照一定的順序?qū)⒆涌讖綀D像序列轉(zhuǎn)換為視頻序列。

本發(fā)明實施例中，可以將子孔徑圖像序列的不規(guī)則區(qū)域使用橫向zigzag掃描方式，在規(guī)則區(qū)域使用U形掃描方式，從而獲得相應(yīng)的視頻序列。

步驟12、利用視頻壓縮的方法對視頻序列進行編碼，在編碼過程的運動搜索環(huán)節(jié)中，利用當前幀與參考幀的在子孔徑圖像序列中的位置關(guān)系，來確定運動矢量搜索方向，從而獲得最佳搜索起始點，并結(jié)合最佳搜索起始點在其鄰域的若干點中進行亞像素搜索。

由于進行完亞像素運動搜索后，就可以將搜索得到的像素塊作為當前編碼像素塊的預(yù)測塊，從而采用常規(guī)方式進行預(yù)測編碼。

本發(fā)明實施例中，光場圖像的每幅子孔徑圖像是對光場某一方向的采樣，也可看作在不同視角下拍攝的同一場景的圖像，因此各個子孔徑圖像之間存在著一定的視差。在將光場圖像轉(zhuǎn)換為視頻序列進行壓縮時，我們可以利用當前幀(當前子孔徑圖像)和參考幀(參考子孔徑圖像)的視差，對運動搜索算法進行優(yōu)化。在實現(xiàn)的過程中，為了進一步簡化，我們沒有直接計算視差，而是直接利用了當前幀和參考幀的位置關(guān)系；具體如下：

1、從視頻序列的當前幀中的預(yù)測單元PU的左、上、右上PU的運動矢量MV，三者中值MV以及零運動矢量zero MV中選取匹配誤差最小的像素點作為搜索起始點，并確定搜索步長N。

2、計算當前幀以及參考幀在子孔徑圖像序列中的坐標，確定參考幀相對于當前幀的位置，從而確定運動矢量搜索方向。

示例性的，可以參見圖2與圖3。圖2與圖3為子孔徑圖像序列，每個方格均表示一個子孔徑圖像，其中的標記1表示當前幀(當前子孔徑圖像)，標記2表示參考幀(參考子孔徑圖像)。黑色的方格是因為成像過程中的漸暈效應(yīng)等導(dǎo)致子孔徑圖像不清晰，在進行壓縮編碼的時，已經(jīng)將黑色的子孔徑圖像剔除。如圖2中，參考幀相對于當前幀的位置為左、下，則運動矢量搜索方向為右、上；同理，圖3中，運動矢量搜索方向為左、上和下。

3、按照運動矢量搜索方向，取與搜索起始點相鄰的像素點，并進行匹配誤差比較；若搜索起始點的匹配誤差最小，則運動矢量搜索結(jié)束，最佳搜索起始點即為所述搜索起始點；否則，將搜索到的匹配誤差最小的像素點作為新的搜索起始點，搜索步長加1，并重復(fù)搜索上述運動矢量搜索過程；運動矢量搜索的終止條件為新的搜索起始點的匹配誤差小于其運動矢量搜索方向中所有相鄰像素點的匹配誤差，或者達到設(shè)定的搜索步長N。

示例性的，如圖4所示，假設(shè)通過上述步驟1獲得的搜索起始點為像素點A，步驟2確定的運動矢量搜索方向為右、上，則取與搜索起始點相鄰的像素點B1與B2，并進行匹配誤差比較；如果像素點A的匹配誤差最小(即運動矢量最佳)，則運動矢量搜索結(jié)束，最佳搜索起始點即為像素點A；否則，以搜索到的匹配誤差最小的像素點作為新的搜索起始點；如果像素點B2匹配誤差最小，則以像素點B2為新的搜索起始點，搜索步長加1，并繼續(xù)進行搜索，獲得像素點C1與C2；如果還沒有滿足運動矢量搜索的終止條件，則繼續(xù)搜索獲得像素點D1與D2，直至滿足運動矢量搜索的終止條件，從而獲得最佳搜索起始點。

本領(lǐng)域技術(shù)人員可以理解，上述搜索過程中，最終搜索到的像素點為整像素點。

4、如圖5所示，以獲得最佳搜索起始點為中心，在其鄰域的三個點(0,0),(0,y/|y|),(x/|x|,0)進行1/n和1/m亞像素搜索；其中，(x,y)表示最佳搜索起始點對應(yīng)像素點的運動矢量。

上述的1/n和1/m可以為1/2和1/4，也可以根據(jù)實際需求適當調(diào)整亞像素搜索的精度。

本發(fā)明實施例的上述方案中，以當前幀和參考幀之間的相對位置關(guān)系作為先驗知識，指導(dǎo)每一步的運動搜索方向。在整像素搜索階段，本專利提出的方法只進行兩點或三點搜索，相比于HEVC中的全搜索以及TZSearch中的菱形搜索、正方向搜索有了很大的簡化；而在亞像素搜索時，本專利提出的方法僅在三個點進行搜索，相比于HEVC中的8點搜索，該方法進一步降低了編碼的復(fù)雜度。

另一方面，為了驗證本發(fā)明的性能，對公開光場數(shù)據(jù)集EPFL中的光場圖像進行了實驗。本實驗采用的編碼軟件是H.266的參考軟件HM-16.6-JEM-1.0rc1；同時，本實驗采用圖6所示的順序?qū)⒆涌讖綀D像序列轉(zhuǎn)換為偽視頻序列，即子孔徑圖像序列的不規(guī)則區(qū)域使用橫向zigzag掃描方式，在規(guī)則區(qū)域使用U形掃描方式。

實驗配置：選取EPFL中的4幅光場圖像，GOPsize為10的條件下分別用兩種TZSearch搜索算法壓縮，比較兩種TZSearch搜索算法用時和壓縮質(zhì)量，實驗結(jié)果如下圖7所示。

圖7中，ME Time(sec)表示Motion Estimation花費的時間；TZ Time(sec)表示在Motion Estimation中用TZ算法搜索花費的時間；subpixelME Time(sec)表示在Motion Estimation中用亞像素搜索費的時間，TZ in ME表示TZ search搜索方法所用時間占運動估計(Motion Estimation)所用時間的比例，subpixelME in ME表示亞像素運動估計(subpixel Motion Estimation)所用時間占運動估計(Motion Estimation)所用時間的比例。JEM和本方案都只進行了1/2和1/4亞像素搜索；后三列中負號(-)表示時間減少的比例；ΔME(％)表示本方案相對于JEM中的運動估計算法減少的時間比例；ΔTZ(％)表示我們的算法相對于JEM中的TZsearch算法減少的時間比例；ΔsubpixelME(％)表示本方案中的亞像素搜索算法相對于JEM中的亞像素搜索算法減少的時間比例。

從圖7中可以看出，我們的方法相比于JEM中的TZSearch算法，運動搜索(ME)的復(fù)雜度平均降低了30.18，而平均PSNR僅僅降低了0.0288dB。很明顯，雖然性能上略有降低，但是復(fù)雜度卻有了很大的提升。

通過以上的實施方式的描述，本領(lǐng)域的技術(shù)人員可以清楚地了解到上述實施例可以通過軟件實現(xiàn)，也可以借助軟件加必要的通用硬件平臺的方式來實現(xiàn)?；谶@樣的理解，上述實施例的技術(shù)方案可以以軟件產(chǎn)品的形式體現(xiàn)出來，該軟件產(chǎn)品可以存儲在一個非易失性存儲介質(zhì)(可以是CD-ROM，U盤，移動硬盤等)中，包括若干指令用以使得一臺計算機設(shè)備(可以是個人計算機，服務(wù)器，或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個實施例所述的方法。

以上所述，僅為本發(fā)明較佳的具體實施方式，但本發(fā)明的保護范圍并不局限于此，任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明披露的技術(shù)范圍內(nèi)，可輕易想到的變化或替換，都應(yīng)涵蓋在本發(fā)明的保護范圍之內(nèi)。因此，本發(fā)明的保護范圍應(yīng)該以權(quán)利要求書的保護范圍為準。