一種用光場相機一次成像直接獲取深度圖的方法
【專利摘要】一種利用光場相機一次成像直接獲取深度圖的方法，包括步驟：1)在傳統(tǒng)相機內(nèi)部成像光路中嵌入微透鏡陣列構(gòu)成光場相機；2)對微透鏡陣列與圖像傳感器的相對位置進行標定；3)利用光場相機采集目標景物的原始數(shù)據(jù)，提取微透鏡陣列中每個微透鏡下的子圖像，并計算其灰度圖；4)計算每個微透鏡下子圖像與毗連微透鏡下子圖像的相似度，分別以每一個微透鏡作為目標透鏡，并選擇其周圍的多個毗連透鏡，分別建立目標模板和毗連模板，使用SAD算法計算目標模板與毗連模板的相似度，獲得最小SAD值；5)步驟4)獲得的對應(yīng)于每個微透鏡下子圖像的最小SAD值，構(gòu)成尺寸為微透鏡陣列中微透鏡個數(shù)的數(shù)值矩陣，對該矩陣中的元素進行歸一化取整即得深度圖。本發(fā)明解決了現(xiàn)有深度圖獲取技術(shù)中存在的系統(tǒng)過于復(fù)雜以及計算復(fù)雜度高的問題，獲取圖像相似度高，獲得深度圖更精確。
【專利說明】一種用光場相機一次成像直接獲取深度圖的方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及計算機視覺領(lǐng)域，尤其是立體視覺領(lǐng)域，特別涉及一種用光場相機一 次成像直接獲取深度圖的方法。 技術(shù)背景
[0002] 隨著信息科學(xué)與計算機技術(shù)的發(fā)展，三維信息獲取技術(shù)已成為工業(yè)檢測，生物醫(yī) 學(xué)，虛擬現(xiàn)實等領(lǐng)域的關(guān)鍵技術(shù)。在上述領(lǐng)域中，人們對三維信息質(zhì)量的要求也越來越高。
[0003] 深度信息則是"第三維"的體現(xiàn)，如何更為快速獲取更高精度的深度圖，一直以來 是研究與開發(fā)中的熱點方向。目前深度信息獲得的方式主要有兩大形式：主動式和被動式。 主動式主要向目標發(fā)出激光、電磁波、超聲波等能夠檢測回波的能量束，利用物理原理和一 定的數(shù)學(xué)方法計算出距離。常用方法有激光雷達深度成像、坐標測量機方法、莫爾條紋法、 結(jié)構(gòu)光法等。主動式通過對能量束發(fā)射裝置的控制可以獲取更多信息，但主動式設(shè)備造價 高，應(yīng)用范圍有限，而且主動式深度信息獲取方法對已獲取的圖像并不適用。被動式主要是 相對采用幾何信息計算深度圖，又稱計算機立體視覺。立體視覺按所需的圖像數(shù)目可分為 以下三類：a).利用一幅圖像的圖像理解方法，此種方法需要復(fù)雜的數(shù)學(xué)建模與學(xué)習(xí)過程， 效率較低，并且應(yīng)用場景受限。b).利用在兩個不同的觀察點獲得的同一景物的兩幅圖像恢 復(fù)物體三維信息的雙目立體視覺，此種方法由于所用信息不夠豐富，獲取深度圖精度往往 難以滿足需求。c).利用多個觀察點獲得多幅圖像的多目立體視覺，相較于雙目立體視覺， 此方法獲取深度圖精度更高，相較于單幅圖像的學(xué)習(xí)方法，所用時間顯著縮短，但同時構(gòu)建 多目系統(tǒng)的過高的復(fù)雜度也限制了這種方法的應(yīng)用。
[0004] 基于全光函數(shù)的思想，人們設(shè)計出可以捕獲包含入射光強度和角度信息的4D光 場的光場相機。光場相機的出現(xiàn)提供了獲取深度圖的新思路。使用光場相機獲取深度圖 能獲得多目立體視頻的精度與效率的效果，構(gòu)架系統(tǒng)的復(fù)雜度也大大降低，并且由于設(shè)備 可便攜性，應(yīng)用途徑也更為廣闊。此外由于光場相機獲取數(shù)據(jù)的關(guān)聯(lián)性，效率能夠進一步提 高，達到實時計算出深度圖。本發(fā)明使用基于微透鏡陣列的光場相機，利用其捕獲的光場中 重建不同視角的場景圖片，根據(jù)獲得圖片關(guān)聯(lián)度大的特性，僅通過一次成像就能夠獲取深 度圖的快速方法。


【發(fā)明內(nèi)容】

[0005] 為解決現(xiàn)有深度圖獲取技術(shù)存在的系統(tǒng)過于復(fù)雜以及計算復(fù)雜度高的問題，本發(fā) 明提供一種用光場相機一次成像獲取深度圖的方法，其用具有微透鏡陣列的光場相機采集 光場信息，一次成像就能夠獲取深度圖。
[0006] 本發(fā)明利用光場相機一次成像直接獲取深度圖的方法，包括如下步驟：
[0007] 1).在傳統(tǒng)相機內(nèi)部成像光路中嵌入微透鏡陣列構(gòu)成光場相機，微透鏡陣列位于 傳統(tǒng)相機的主透鏡和圖像傳感器之間，且微透鏡陣列和圖像傳感器平面的距離為微透鏡的 焦距；
[0008] 2).對微透鏡陣列與圖像傳感器的相對位置進行標定；
[0009] 3).使用微透鏡陣列采集目標景物的原始數(shù)據(jù)，提取微透鏡陣列中每個微透鏡下 的子圖像，并計算其灰度圖；
[0010] 4).計算每個微透鏡下子圖像與毗連微透鏡下子圖像的相似度，分別以每一個微 透鏡作為目標透鏡，并選擇其周圍的多個毗連透鏡，分別建立目標透鏡的目標模板和毗連 透鏡的峨連模板，使用SAD(sum-of-absolute-difference)算法計算目標模板與峨連模板 的相似度，獲得一個最小SAD值；
[0011] 5).步驟4)獲得的對應(yīng)于每個微透鏡下子圖像的最小SAD值，構(gòu)成尺寸為微透鏡 陣列中微透鏡個數(shù)的數(shù)值矩陣，對該矩陣中的元素進行歸一化，在[0, 255]區(qū)間取整即得 深度圖。
[0012] 其中，所述微透鏡陣列與主透鏡平行，并滿足光學(xué)參數(shù)的匹配。
[0013] 優(yōu)選實施例中所述微透鏡陣列由六邊形或正方形排布的若干微透鏡組成，該微透 鏡為柱狀或球狀。
[0014] 所述微透鏡陣列中每個微透鏡下能夠覆蓋10X 10個到30X30個圖像傳感器單 J Li 〇
[0015] 所述步驟2)對所述微透鏡陣列與圖像傳感器的相對位置標定方法為：
[0016] a).手工標定所述微透鏡陣列左上角、右上角以及左下角三個微透鏡中心對應(yīng)所 述圖像傳感器平面坐標分別為（xlrftUp，ylrftUp)、（XHghtUp，y HghtUp)及h eftBottomJ yieftBottom);
[0017] b).規(guī)定所述微透鏡陣列中微透鏡將沿直線發(fā)生偏移，則所述微透鏡陣列中序號 (i，j)的微透鏡的中心坐標（X，y)為：

【權(quán)利要求】
1. 一種用光場相機一次成像直接獲取深度圖的方法，其特征是包括如下步驟： 1) .在傳統(tǒng)相機內(nèi)部成像光路中嵌入微透鏡陣列構(gòu)成光場相機，微透鏡陣列位于傳統(tǒng) 相機的得主透鏡和圖像傳感器之間，且微透鏡陣列和圖像傳感器平面的距離為微透鏡的焦 距； 2) .對微透鏡陣列與圖像傳感器的相對位置進行標定； 3) .使用微透鏡陣列采集目標景物的原始數(shù)據(jù)，提取微透鏡陣列中每個微透鏡下的子 圖像，并計算其灰度圖； 4) .計算每個微透鏡下子圖像與毗連微透鏡下子圖像的相似度，分別以每一個微透鏡 作為目標透鏡，并選擇其周圍的多個毗連透鏡，分別建立目標透鏡的目標模板和毗連透鏡 的田比連模板，使用SAD(sum-of-absolute-difference)算法計算目標模板與峨連模板的相 似度，獲得一個最小SAD值； 5) .步驟4)獲得的對應(yīng)于每個微透鏡下子圖像的最小SAD值，構(gòu)成尺寸為微透鏡陣列 中微透鏡個數(shù)的數(shù)值矩陣，對該矩陣中的元素進行歸一化，在[0, 255]區(qū)間取整即得深度 圖。
2. 如權(quán)利要求1所述的方法，其特征是，所述微透鏡陣列與主透鏡平行，并滿足光學(xué)參 數(shù)的匹配。
3. 如權(quán)利要求1或2所述的方法，其特征是，所述微透鏡陣列由六邊形或正方形排布的 若干微透鏡組成，該微透鏡為柱狀或球狀。
4. 如權(quán)利要求1或2所述的方法，其特征是，所述微透鏡陣列中每個微透鏡下覆蓋 10X10個到30X30個圖像傳感器單元。
5. 如權(quán)利要求1所述的方法，其特征是，所述步驟2)對微透鏡陣列與圖像傳感器的相 對位置標定方法為： a) .手工標定所述微透鏡陣列左上角、右上角以及左下角三個微透鏡中心對應(yīng)所述圖 像傳感器干面坐標分力ij 為（XieftUp，yieftUp)、（xrightup，y rightup)及（χι eftBottom， ^leftBottom^ ? b) .規(guī)定所述微透鏡陣列中微透鏡將沿直線發(fā)生偏移，則所述微透鏡陣列中序號 (i，j)的微透鏡的中心坐標（X，y)為：
其中，R為每個微透鏡下所覆蓋正方形區(qū)域一個方向上所含像素的個數(shù)；i與j分別為 所述微透鏡位于所述陣列中的行列序號。
6. 如權(quán)利要求1所述的方法，其特征是，所述步驟4)中，在所述微透鏡陣列中根據(jù)微透 鏡所處的位置來選擇目標透鏡和其周圍3個、5個或8個毗連透鏡。
7. 如權(quán)利要求6所述的方法，其特征是，當選擇非位于所述微透鏡陣列的邊界上的微 透鏡作為目標透鏡時，相應(yīng)選擇其上方、右上、右側(cè)、右下、下方、左下、左側(cè)以及左上共8個 微透鏡為此目標透鏡的峨連透鏡。
8. 如權(quán)利要求6所述的方法，其特征是，當選擇位于所述微透鏡陣列的左上角、右上 角、右下角、左下角的微透鏡作為目標透鏡時，相應(yīng)選擇其毗連的3個微透鏡為此目標透鏡 的毗連透鏡。
9. 如權(quán)利要求6所述的方法，其特征是，當選擇所述微透鏡陣列中以下位置的微透鏡 作為目標透鏡時，相應(yīng)選擇其毗連的5個微透鏡為此目標透鏡的毗連透鏡；所述的微透鏡 是位于所述微透鏡陣列的第一行并且并非位于左上角或右上角的微透鏡，位于所述透鏡陣 列的最后一列并且并非位于右上角或右下角的微透鏡，位于所述透鏡陣列的最后一行并且 并非位于右下角或左下角的微透鏡，以及，位于所述透鏡陣列的第一列并且并非位于左下 角或左上角的微透鏡。
10.實現(xiàn)權(quán)利要求1-9任一項所述方法的一種光場相機，其特征是包括：傳統(tǒng)相機和微 透鏡陣列，微透鏡陣列設(shè)置于傳統(tǒng)相機的主透鏡和圖像傳感器之間，且微透鏡陣列和圖像 傳感器平面的距離為微透鏡的焦距； 其中，所述微透鏡陣列是用若干微透鏡排布成的六邊形或正方形板狀陣列，所述微透 鏡為柱狀或球狀；所述微透鏡陣列與主透鏡平行，兩者的F值匹配；所述微透鏡陣列中每個 微透鏡下覆蓋10X10個到30X30個圖像傳感器單元。
【文檔編號】G06T7/00GK104050662SQ201410238723
【公開日】2014年9月17日 申請日期:2014年5月30日 優(yōu)先權(quán)日:2014年5月30日
【發(fā)明者】王興政, 杜遠超, 王好謙, 張永兵, 戴瓊海 申請人:清華大學(xué)深圳研究生院