本發(fā)明屬于圖像處理，具體涉及一種聯(lián)合相位估計和去失焦模糊數(shù)據(jù)集生成及網(wǎng)絡形成方法。

背景技術：

1、四相位(qpd)圖像傳感器是四個像素共享一個微透鏡的設計，能夠測量拍攝對象上下左右四方的所有相位差異，實現(xiàn)更快速、更精準的自動對焦。除用于對焦外，也可以應用于圖像深度，去模糊等應用。相比于單目的輸入，由于能夠利用額外的相位信息從而獲得更好的效果。聯(lián)合相位估計和去模糊能夠獲得更好的效果，但是由于相關數(shù)據(jù)集的缺乏，導致相關的研究很少。

2、已有的改進前方法一：基于矩形核的dpd(兩相位檢測)數(shù)據(jù)仿真方法以及聯(lián)合視差以及去失焦模糊網(wǎng)絡設計。該方法包括：s1、構建真實數(shù)據(jù)集：采集真實場景下失焦-準焦圖像對以及基于失焦圖像序列的深度估計方法來獲取對應的深度真實標簽；s2、構建仿真數(shù)據(jù)集：對dpd圖像成像原理進行建模，提出一個基于矩形核的擴散模型來仿真獲得dpd圖像，其輸入為基于開源的rgbd圖像(nyu數(shù)據(jù)集)，輸出為dpd失焦圖像；s3首先通過depthnet獲得初始的深度圖，將初始的深度圖與dpd圖像對輸入到deblur網(wǎng)絡獲得準焦圖像與逆深度圖。方法一局限性：(1)基于矩形核的dpd數(shù)據(jù)仿真方法容易出現(xiàn)矩形光斑；(2)通過depthnet獲得初始的深度圖，利用初始的深度圖優(yōu)化去模糊效果，但在實際測試中深度估計效果不佳，會導致去模糊效果不明顯。

3、已有的改進前方法二：基于雙目結構光的dpd深度與去模糊數(shù)據(jù)集。該方法通過投影儀投影格雷碼圖像，解碼格雷碼圖像獲得被測物體的絕對深度。圖1為改進前方法二中輸入模型規(guī)則條紋和投影儀模型出現(xiàn)摩爾紋對比示意圖。圖2為改進前方法二中被測物體附加條紋的綜合圖像和視差圖像陰影部分對比示意圖。如圖1所示，期望投影儀投射到被測物體上的理想輸入模型(見圖1左)是規(guī)則密集分布的格雷碼條紋圖案，而實際低端投影儀投射出的圖案即投影儀模型(見圖1右)出現(xiàn)摩爾紋。如圖2所示，被測物體投射格雷碼條紋后，被測物體附加條紋的綜合圖像(見圖1左)紅圈內為陰影部分；采用方法二得到的視差圖像(見圖1右)紅圈部分顯示陰影部分無法獲得深度信息。方法二局限性：(1)格雷碼在低端投影儀、手機設備相機容易出現(xiàn)摩爾紋現(xiàn)象，導致匹配失敗。(2)投影條紋陰影區(qū)域沒有相位信息導致無法提供正確的深度信息。

4、已有的改進前方法三：基于迭代的聯(lián)合視差以及去失焦模糊網(wǎng)絡設計。該方法包括：s1、通過特征提取模塊，對輸入dpd圖像對特征提取獲得f{l,r}；s2、通過特征提取模塊對輸入dpd圖像對特征提取，對特征進行匹配獲得視差圖,根據(jù)視差圖來設計不同尺度的圖像模糊核；s3、通過特征重建模塊來恢復清晰的準焦圖像。方法三局限性：(1)深度網(wǎng)絡為無監(jiān)督算法，深度估計效果不佳；(2)由于需要深度結果來估計模糊核，導致去模糊效果不佳，會出現(xiàn)偽紋理。

技術實現(xiàn)思路

1、本發(fā)明的目的在于提供一種聯(lián)合相位估計和去失焦模糊數(shù)據(jù)集生成方法，克服了方法二存在的局限；本發(fā)明利用投影全亮圖像后再進行匹配，投影圖像陰影部分深度估計正確。本發(fā)明改進結構光投影條紋，將格雷碼與相移碼結合，獲得絕對相位；避免出現(xiàn)摩爾紋現(xiàn)象，得到準確的邊緣視差。

2、本發(fā)明的另一目的在于提供一種基于dpd的聯(lián)合相位估計和去失焦模糊網(wǎng)絡形成方法，本發(fā)明設置獨立的視差估計模塊，根據(jù)視差估計的結果，增加了圖像對齊模塊，提升了去模糊性能，且視差估計更準確。

3、本發(fā)明的又一目的在于提供一種基于qpd的聯(lián)合相位估計和去失焦模糊網(wǎng)絡形成方法，充分利用視差信息以及圖像信息，進行視差融合和特征融合，獲得更清晰的去模糊效果和更準確的深度估計效果。

4、本發(fā)明提供一種聯(lián)合相位估計和去失焦模糊數(shù)據(jù)集生成方法，包括：

5、s1、提供雙目采集系統(tǒng)，所述雙目采集系統(tǒng)包括投影儀和左右分布的兩個相機，對兩個所述相機進行標定，獲得兩個所述相機的畸變參數(shù)并進行畸變校正；通過標定圖像獲得兩個所述相機外參，并對所述雙目采集系統(tǒng)進行極線校正；

6、s2、將被測物體放到視場中間位置，利用所述投影儀向所述被測物體投射全亮圖像，由兩個所述相機分別拍攝所述被測物體，獲得失焦的左圖像和右圖像，對所述左圖像和所述右圖像進行匹配獲得第一視差圖像；

7、s3、利用所述投影儀向所述被測物體投射相移碼圖案和格雷碼圖案，在所述被測物體上形成條紋圖案，由兩個所述相機分別拍攝所述被測物體附加條紋的綜合圖案，獲得失焦的左綜合圖像和右綜合圖像，通過對所述左綜合圖像和所述右綜合圖像解碼獲得絕對相位，利用所述絕對相位進行匹配獲得第二視差圖像；

8、s4、將所述第一視差圖像與所述第二視差圖像進行融合獲得融合視差圖像；

9、s5、調整兩個所述相機中的任意一個相機的馬達位置，以拍攝獲得同一場景的準焦圖像，將所述準焦圖像與失焦圖像進行對齊。

10、進一步的，對兩個所述相機進行標定具體包括：

11、利用所述投影儀向標定板投射所述全亮圖像，由兩個所述相機分別拍攝所述標定板在視場范圍內多張不同位置以及不同姿態(tài)的所述標定圖像。

12、進一步的，所述全亮圖像是指投影圖像全部為白色，所述全亮圖像的整個區(qū)域的像素值均為255。

13、進一步的，步驟s2具體包括：將所述左圖像和所述右圖像作為raft-stereo的第一輸入，匹配獲得所述第一視差圖像；其中，所述左圖像和所述右圖像均為raw圖像。

14、進一步的，步驟s3具體包括：

15、所述投影儀先投射n幅正弦所述相移碼圖案到被測物體表面，后投射m副所述格雷碼圖案到被測物體表面；由兩個所述相機拍攝被測物體，獲得失焦的所述左綜合圖像和所述右綜合圖像，計算每個位置的相位差獲得包裹相位；利用n幅正弦所述相移碼圖案每個像素的均值作為閾值,將m副所述格雷碼圖像進行閾值分割獲得閾值圖像,通過所述閾值圖像以及所述包裹相位獲得所述被測物體的絕對相位信息；

16、由所述左綜合圖像和所述右綜合圖像計算獲得絕對相位圖，所述絕對相位圖作為raft-stereo的第二輸入，獲得所述第二視差圖像。

17、本發(fā)明還提供一種基于dpd的聯(lián)合相位估計和去失焦模糊網(wǎng)絡形成方法，包括：

18、s1、提供dpd模糊圖像，將所述dpd模糊圖像拆分獲得左圖像和右圖像；

19、s2、將所述左圖像和所述右圖像通過獨立的視差估計模塊提取特征并進行匹配,最后進行視差估計獲得視差圖像；

20、s3、將所述左圖像和所述右圖像通過特征提取模塊分別提取特征獲得左圖像特征和右圖像特征；

21、s4、圖像對齊模塊利用所述視差圖像對所述左圖像特征和所述右圖像特征進行對齊，將對齊后的特征疊加獲得融合特征；

22、s5、將所述融合特征進行上采樣獲得去模糊輸出圖像。

23、進一步的，還包括：

24、所述視差估計模塊包括：特征提取器、相關金字塔和基于gru的更新運算符。

25、進一步的，還包括：

26、測試階段，輸入所述dpd模糊圖像到dpd聯(lián)合相位估計和去失焦模糊網(wǎng)絡模型中，輸出所述視差圖像和所述去模糊輸出圖像。

27、本發(fā)明還提供一種基于qpd的聯(lián)合相位估計和去失焦模糊網(wǎng)絡形成方法，包括：

28、s1、提供qpd模糊圖像，將所述dpd模糊圖像拆分獲得左圖像、右圖像，以及上圖像、下圖像；

29、將所述左圖像和所述右圖像輸入第一聯(lián)合去模糊與視差估計模塊獲得第一視差圖像和第一去模糊特征；

30、將所述上圖像和所述下圖像輸入第二聯(lián)合去模糊與視差估計模塊獲得第二視差圖像以及第二去模糊特征；

31、s2、將所述第一視差圖像、所述第二視差圖像輸入視差融合模塊基于圖像內容進行融合獲得最終的融合視差圖像；

32、s3、將所述第一去模糊特征和所述第二去模糊特征輸入特征融合模塊進行特征融合后再上采樣獲得最終的去模糊輸出圖像。

33、進一步的，還包括：

34、測試階段，輸入所述qpd模糊圖像到qpd聯(lián)合相位估計和去失焦模糊網(wǎng)絡模型中，輸出所述視差圖像和所述去模糊輸出圖像。

35、與現(xiàn)有技術相比，本發(fā)明具有如下有益效果：

36、本發(fā)明提供一種聯(lián)合相位估計和去失焦模糊數(shù)據(jù)集生成方法，克服了方法二存在的局限；本發(fā)明利用投影全亮圖像后再進行匹配，會規(guī)避掉陰影的缺陷，使投影圖像陰影部分匹配正確，從而使投影圖像陰影部分深度估計正確。本發(fā)明改進結構光投影條紋，將格雷碼與相移碼結合，獲得絕對相位；避免出現(xiàn)摩爾紋現(xiàn)象，得到準確的邊緣視差。

37、本發(fā)明還提供一種基于dpd的聯(lián)合相位估計和去失焦模糊網(wǎng)絡形成方法，本發(fā)明設置獨立的視差估計模塊，可以獲得準確的視差結果；根據(jù)視差估計的結果即視差圖像，增加了圖像對齊模塊，提升了去模糊性能。相比于方法一和方法三，本發(fā)明視差估計準確且去模糊效果佳。

38、本發(fā)明還提供一種基于qpd的聯(lián)合相位估計和去失焦模糊網(wǎng)絡形成方法，針對qpd圖像傳感器的成像原理，充分利用視差信息以及圖像信息，由左圖像和右圖像獲得第一視差圖像和第一去模糊特征；將上圖像和下圖像獲得第二視差圖像和第二去模糊特征；將第一視差圖像、第二視差圖像基于圖像內容進行融合獲得最終的融合視差圖像；將第一去模糊特征和所述第二去模糊特征進行特征融合后再上采樣獲得最終的去模糊輸出圖像。充分利用qpd圖像傳感器四相位的信息，進行視差融合和特征融合，獲得更清晰的去模糊效果和更準確的深度估計效果。