本發(fā)明屬于計(jì)算成像、機(jī)器視覺(jué)與數(shù)字圖像處理，具體涉及一種基于條件vae模型的光場(chǎng)角度超分辨方法。

背景技術(shù)：

1、目前基于條件vae模型的光場(chǎng)角度超分辨采用無(wú)監(jiān)督學(xué)習(xí)的方法，模型的超分辨性能依賴于在大量的高分辨率光場(chǎng)數(shù)據(jù)對(duì)所構(gòu)成的數(shù)據(jù)集上進(jìn)行訓(xùn)練。

2、實(shí)際應(yīng)用中，采集大量場(chǎng)景的高分辨率光場(chǎng)數(shù)據(jù)較困難，且當(dāng)光場(chǎng)相機(jī)成像參數(shù)和場(chǎng)景有限的條件下訓(xùn)練獲取的深度學(xué)習(xí)模型在新場(chǎng)景和新的成像參數(shù)下的泛化性能較弱，基于此，提出一種基于條件vae模型的光場(chǎng)角度超分辨方法。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的就在于為了解決上述問(wèn)題而提供的一種基于條件vae模型的光場(chǎng)角度超分辨方法。

2、本發(fā)明通過(guò)以下技術(shù)方案來(lái)實(shí)現(xiàn)上述目的：

3、一種基于條件vae模型的光場(chǎng)角度超分辨方法，包括如下步驟：

4、s1：通過(guò)采集視點(diǎn)平面等間隔稀疏的光場(chǎng)子孔徑圖像陣列l(wèi)fγ和中心子孔徑圖像lf0分別輸入視差估計(jì)模塊(p)和特征提取模塊(f)，獲得場(chǎng)景初始視差圖和不同層級(jí)的中心子孔徑特征；

5、s2：將lfγ與s1獲得的初始視差圖和不同層級(jí)的中心子孔徑特征作為條件vae光場(chǎng)角度超分辨模型編碼器的輸入，輸出潛在空間的隱變量z；

6、s3：將s2獲得的隱變量z與s1獲得的初始視差圖和不同層級(jí)的中心子孔徑特征作為條件vae光場(chǎng)角度超分辨模型解碼器的輸入，輸出視點(diǎn)平面等間隔稠密的光場(chǎng)子孔徑圖像

7、s4：通過(guò)光場(chǎng)數(shù)據(jù)的空角一致性約束設(shè)計(jì)損失函數(shù)對(duì)條件vae模型參數(shù)進(jìn)行優(yōu)化；

8、s5：將視點(diǎn)平面等間隔稀疏的光場(chǎng)子孔徑圖像通過(guò)由空角一致性約束的條件vae模型進(jìn)行光場(chǎng)角度超分辨，獲得視點(diǎn)平面等間隔稠密的光場(chǎng)子孔徑圖像。

9、作為本發(fā)明的進(jìn)一步優(yōu)化方案，所述中心子孔徑特征的計(jì)算公式為：

10、d＝p(lfγ)、m＝f1(lf0)和x6＝f2(m)；

11、式中，f1代表前3層卷積的特征提取模塊，f2代表后3層卷積的特征提取模塊，d代表初始視差圖，m代表lf0通過(guò)f1提取的特征變量，x6代表lf0通過(guò)f1、f2提取的特征變量。

12、作為本發(fā)明的進(jìn)一步優(yōu)化方案，所述潛在空間的隱變量z的計(jì)算公式為：

13、

14、式中，θ1為的參數(shù)集合，z為潛在空間中隱變量，其中z中的元素服從標(biāo)準(zhǔn)正態(tài)分布n(0,1)。

15、作為本發(fā)明的進(jìn)一步優(yōu)化方案，所述光場(chǎng)子孔徑圖像的計(jì)算公式：

16、

17、式中，θ2為的參數(shù)集合。

18、作為本發(fā)明的進(jìn)一步優(yōu)化方案，所述損失函數(shù)的設(shè)計(jì)方法如下：

19、利用子孔徑陣列的視點(diǎn)位置的圖像約束和利用epi的直線約束來(lái)設(shè)計(jì)損失函數(shù)；

20、模型在訓(xùn)練階段的總體損失函數(shù)ltotal定義式如下：

21、ltotal＝lmse+λ1·lmmd+λ2·lepi

22、式中，lmse表示最小化網(wǎng)絡(luò)模型預(yù)測(cè)圖像和真實(shí)圖像之間的均方誤差損失，lmmd表示度量網(wǎng)絡(luò)模型擬合分布和真實(shí)數(shù)據(jù)分布之間差異損失，該損失利用wasserstei?n距離來(lái)度量網(wǎng)絡(luò)模型擬合重建稠密光場(chǎng)數(shù)據(jù)lfn分布和真實(shí)稠密光場(chǎng)數(shù)據(jù)lfn分布qφ(z|lfn)之間差異，即lepi表示最小化網(wǎng)絡(luò)模型預(yù)測(cè)圖像上中心視圖所有物點(diǎn)在不同視點(diǎn)上對(duì)應(yīng)位置像素值之間的均方誤差損失；

23、lmse表示最小化網(wǎng)絡(luò)模型預(yù)測(cè)圖像和真實(shí)圖像之間的均方誤差損失，其計(jì)算公式如下：

24、

25、式中，表示在n×n稠密光場(chǎng)中第k個(gè)重建視角，表示對(duì)應(yīng)的真實(shí)視角；

26、lepi表示最小化網(wǎng)絡(luò)模型預(yù)測(cè)圖像上中心視圖所有物點(diǎn)在不同視點(diǎn)上對(duì)應(yīng)位置像素值之間的均方誤差損失，其計(jì)算公式如下：

27、

28、式中，為光場(chǎng)中心子孔徑圖像中(x0,y0)點(diǎn)位置處的像素值，(x0,y0)為光場(chǎng)中心子孔徑圖像中物點(diǎn)的位置，iu,v(x,y)為光場(chǎng)子孔徑圖像中每個(gè)物點(diǎn)處的像素值，x＝x0+(u-u0)disp，disp為光場(chǎng)子孔徑圖像中物點(diǎn)在該位置所對(duì)應(yīng)的視差值。

29、作為本發(fā)明的進(jìn)一步優(yōu)化方案，所述編碼器主要由編碼模塊1、編碼模塊2(e2)、特征提取模塊和視差估計(jì)模塊(p)組成；

30、所述編碼模塊1分成水平編碼模塊和垂直編碼模塊用于處理4d光場(chǎng)數(shù)據(jù)并節(jié)省計(jì)算資源；

31、所述特征提取模塊分為特征提取模塊(f1)和特征提取模塊(f2)。

32、作為本發(fā)明的進(jìn)一步優(yōu)化方案，所述編碼器利用4d光場(chǎng)數(shù)據(jù)的空角一致性約束關(guān)系，將輸入的4d光場(chǎng)數(shù)據(jù)lfn映射到潛在空間得到潛在變量z,具體過(guò)程如下：

33、步驟一：輸入光場(chǎng)數(shù)據(jù)lfn通過(guò)和分別得到特征和記為x1和x2；

34、輸入lfn通過(guò)p得到特征p(lfn)，記作d；

35、輸入中心子孔徑圖像(lf0)通過(guò)f1得到特征f1(lf0)，記作m；

36、步驟二：將x1和x2通道拼接得到x3＝concate[x1,x2]；

37、將x3、d和m通道拼接得到特征x4＝concate[x3,d,m]，將其作為e2的輸入得到特征e2(x4)，記作x5；

38、步驟三：將x5和x6通道拼接得到x7＝concate[x5,x6]，將其作為全連接層(fc)的輸入得到潛在變量z＝fc(x7)，其中m通過(guò)f2得到特征f2(m)，記作x6。

39、作為本發(fā)明的進(jìn)一步優(yōu)化方案，所述解碼器主要由解碼模塊1、解碼模塊2(d2)、特征提取模塊和視差估計(jì)模塊(p)組成；其中解碼模塊1分成水平解碼模塊和垂直解碼模塊

40、作為本發(fā)明的進(jìn)一步優(yōu)化方案，所述解碼器利用4d光場(chǎng)的空角一致性約束關(guān)系，將潛空間中潛在變量z反向映射生成的稠密光場(chǎng)具體過(guò)程如下：

41、步驟一：輸入lf0通過(guò)f1和f2得到f2(m)，記作x6；

42、將x6和潛在變量z進(jìn)行通道拼接得到特征y1＝concate[x6,z]，將y1作為fc的輸入得到特征fc(y1)，記作y2；

43、步驟二：將y2輸入d2得到特征d2(y2)，記作y3；

44、步驟三：lf0通過(guò)f1得到特征f1(lf0)，記作m；

45、輸入lfn通過(guò)p得到特征p(lfn)，記作d；

46、將m、d和y3進(jìn)行通道拼接得到y(tǒng)4＝concate[y3,d,m]，將y4分別輸入和得到特征和記作y5和y6；

47、步驟四：將y5和y6進(jìn)行通道拼接得到特征y7＝concate[y5,y6]，將y7輸入到四維卷積層(f)生成稠密光場(chǎng)

48、一種基于無(wú)監(jiān)督學(xué)習(xí)的光場(chǎng)角度超分辨成像裝置，包括采集單元和角度域的超分辨重構(gòu)單元；

49、所述采集單元用于通過(guò)采集視點(diǎn)平面等間隔稀疏的光場(chǎng)子孔徑圖像lfγ作為視差估計(jì)模塊(p)的輸入，光場(chǎng)數(shù)據(jù)lfγ的中心子孔徑圖像lf0作為特征提取模塊(f)的輸入，輸出場(chǎng)景初始視差圖和不同層級(jí)的中心子孔徑特征；

50、所述角度域的超分辨重構(gòu)單元利用基于條件vae模型的光場(chǎng)角度超分辨模型，對(duì)lfγ中所有的光場(chǎng)子孔徑圖像同步進(jìn)行角度域的超分辨重構(gòu)，獲得具有t倍角度域分辨率的光場(chǎng)數(shù)據(jù)

51、還包括編碼器單元、解碼器單元；

52、所述編碼器單元用于將視點(diǎn)平面等間隔稀疏的光場(chǎng)子孔徑圖像lfγ與獲得的初始視差圖和不同層級(jí)的中心子孔徑特征作為條件vae光場(chǎng)角度超分辨模型編碼器eθ1的輸入，輸出潛在空間的隱變量z；

53、所述解碼器單元用于將獲得的隱變量z與獲得的初始視差圖和不同層級(jí)的中心子孔徑特征作為條件vae光場(chǎng)角度超分辨模型解碼器dθ2的輸入，輸出視點(diǎn)平面等間隔稠密的光場(chǎng)子孔徑圖像

54、本發(fā)明的有益效果在于：本發(fā)明可以不依賴大規(guī)模的高分辨率訓(xùn)練數(shù)據(jù)集，可對(duì)全部光場(chǎng)子孔徑圖像同步做角度域的超分辨重構(gòu)，設(shè)計(jì)一種基于光場(chǎng)數(shù)據(jù)的空角一致性混合損失函數(shù)，使新模型在重構(gòu)角度高分辨率的子孔徑圖像時(shí)能夠利用耦合在子孔徑圖像種的視差信息，在合成和真實(shí)數(shù)據(jù)集上數(shù)值實(shí)驗(yàn)結(jié)果接近有監(jiān)督方法，同時(shí)能夠滿足基于深度學(xué)習(xí)的方法對(duì)光場(chǎng)角度域的超分辨。