本發(fā)明屬于計算機視覺技術(shù)領(lǐng)域，尤其涉及基于光場信息的三維重建方法及系統(tǒng)。

背景技術(shù)：

光場成像技術(shù)是一種可以同時獲取光線位置和方向信息的成像方式，并利用信號處理的相關(guān)算法處理得到光場信息的技術(shù)。與傳統(tǒng)成像系統(tǒng)只能獲得光輻射的位置信息不同，光場成像系統(tǒng)能夠記錄光輻射在傳播過程中的四維位置和方向信息，因而得到了相對更多的圖像信息，為圖像處理的相關(guān)應(yīng)用提供了更廣的發(fā)展思路和方向。同時，隨著三維顯示技術(shù)的不斷發(fā)展，越來越多的物體可以以三維的形式展現(xiàn)在人們面前，使人們能夠更好地感知本源的三維世界。

現(xiàn)有主要通過以下方式來進行三維重建：第一種方式是依據(jù)傳統(tǒng)的幾何造型技術(shù)直接生成，如專業(yè)的建模軟件3DMAX、AUTOCAD等；第二種方式是通過三維掃描設(shè)備對場景進行掃描，進而實現(xiàn)場景的三維重建。第一種方式需要的周期長且操作復(fù)雜，對操作人員要求高，且重建效果不理想；第二種方式的重建效果好，但三維掃描設(shè)備價格昂貴，重建成本相對較高。

故，有必要提出一種新的技術(shù)方案，以解決上述技術(shù)問題。

技術(shù)實現(xiàn)要素：

鑒于此，本發(fā)明實施例提供一種基于光場信息的三維重建方法及系統(tǒng)，以利用光場相機一次曝光成像完成三維重建，降低三維重建的復(fù)雜度，同時節(jié)省三維重建系統(tǒng)的處理時間，降低三維重建成本。

第一方面，本發(fā)明實施例提供了一種基于光場信息的三維重建方法，所述基于光場信息的三維重建方法包括：

利用光場相機對待重建場景進行拍攝，獲得包含場景位置和方向信息的四維光場信息；

對獲得的所述四維光場信息進行頻域數(shù)字重聚焦處理，獲得聚焦距離由近到遠(yuǎn)的N張重聚焦圖片序列，所述N為大于1的整數(shù)；

對獲得的所述N張重聚焦圖片序列分別進行二級小波變換，并對二級小波變換結(jié)果進行特征提??；

以提取的所述特征作為輸入，采用SVM回歸模型對局部聚焦質(zhì)量進行回歸處理，以獲得每個像素點的聚焦質(zhì)量評價；

將所述聚焦質(zhì)量評價轉(zhuǎn)化為似然深度圖；

通過圖像分割算法對原始圖像進行顏色聚類分析，提取出隨機場節(jié)點，對基于顏色的隨機場節(jié)點進行建模，迭代處理所述似然深度圖，得到最終的場景深度圖，以實現(xiàn)對場景的三維重建。

第二方面，本發(fā)明實施例提供了一種基于光場信息的三維重建系統(tǒng)，所述基于光場信息的三維重建系統(tǒng)包括：

光場信息獲取模塊，用于利用光場相機對待重建場景進行拍攝，獲得包含場景位置和方向信息的四維光場信息；

重聚焦圖片獲取模塊，用于對獲得的所述四維光場信息進行頻域數(shù)字重聚焦處理，獲得聚焦距離由近到遠(yuǎn)的N張重聚焦圖片序列，所述N為大于1的整數(shù)；

特征提取模塊，用于對獲得的所述N張重聚焦圖片序列分別進行二級小波變換，并對二級小波變換結(jié)果進行特征提取；

聚焦質(zhì)量評價獲取模塊，用于以提取的所述特征作為輸入，采用SVM回歸模型對局部聚焦質(zhì)量進行回歸處理，以獲得每個像素點的聚焦質(zhì)量評價；

似然深度圖獲取模塊，用于將所述聚焦質(zhì)量評價轉(zhuǎn)化為似然深度圖；

場景深度圖獲取模塊，用于通過圖像分割算法對原始圖像進行顏色聚類分析，提取出隨機場節(jié)點，對基于顏色的隨機場節(jié)點進行建模，迭代處理所述似然深度圖，得到最終的場景深度圖，以實現(xiàn)對場景的三維重建。

本發(fā)明實施例與現(xiàn)有技術(shù)相比存在的有益效果是：本發(fā)明實施例利用光場相機作為場景四維光場信息的獲取工具，通過光場相機的一次成像即可完成對場景的三維重建，降低了三維重建的復(fù)雜度，同時節(jié)省了三維重建系統(tǒng)的處理時間，降低了三維重建成本。而且，通過采用基于小波變換和SVM回歸模型的圖片聚焦質(zhì)量評價方法以及基于圖像分割算法和隨機場模型的場景深度估計方法，獲得了較為理想的場景深度圖，很好地實現(xiàn)了場景的三維重建，具有較強的易用性和實用性。

附圖說明

為了更清楚地說明本發(fā)明實施例中的技術(shù)方案，下面將對實施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動性的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1是本發(fā)明實施例提供的基于光場信息的三維重建方法的實現(xiàn)流程示意圖；

圖2a是本發(fā)明實施例提供的四維光場信息的示意圖；圖2b是本發(fā)明實施例提供的二維切片信息的示意圖；

圖3是本發(fā)明實施例提供的二級小波變換后的結(jié)果圖；

圖4是本發(fā)明實施例提供的基于光場信息的三維重建系統(tǒng)的組成結(jié)構(gòu)示意圖。

具體實施方式

以下描述中，為了說明而不是為了限定，提出了諸如特定系統(tǒng)結(jié)構(gòu)、技術(shù) 之類的具體細(xì)節(jié)，以便透切理解本發(fā)明實施例。然而，本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)清楚，在沒有這些具體細(xì)節(jié)的其它實施例中也可以實現(xiàn)本發(fā)明。在其它情況中，省略對眾所周知的系統(tǒng)、裝置、電路以及方法的詳細(xì)說明，以免不必要的細(xì)節(jié)妨礙本發(fā)明的描述。

為了說明本發(fā)明所述的技術(shù)方案，下面通過具體實施例來進行說明。

請參閱圖1，為本發(fā)明實施例提供的基于光場信息的三維重建方法的實現(xiàn)流程，該方法可適用于各類終端設(shè)備，如個人計算機、平板電腦、手機等。該方法主要包括以下步驟：

步驟S101，利用光場相機對待重建場景進行拍攝，獲得包含場景位置和方向信息的四維光場信息。

具體的可以是，采用光場相機對待重建場景進行拍攝，獲得.lfp格式的數(shù)據(jù)，利用Lytro Compatible Viewer軟件提取得到Raw數(shù)據(jù)及四維光場圖像，包含場景位置和方向信息等。

在步驟S102中，對獲得的所述四維光場信息進行頻域數(shù)字重聚焦處理，獲得聚焦距離由近到遠(yuǎn)的N張重聚焦圖片序列，所述N為大于1的整數(shù)。

由于快速傅里葉變換本身具有很好的分治特性及潛在的并行性特征，可以很好的實現(xiàn)在CUDA平臺上的映射，因此本發(fā)明實施例利用CUDA技術(shù)對獲得的所述四維光場信息進行頻域數(shù)字重聚焦處理，使得三維重建系統(tǒng)的處理速度提升了近100倍。具體的可以是，利用頻域數(shù)字重聚焦算法對獲得的所述四維光場信息進行四維傅里葉變換，并對四維傅里葉變換結(jié)果進行切片處理，獲得二維切片信息，通過計算切片的二維反傅里葉變換，獲得聚焦于特定位置的N張重聚焦圖片序列，如圖2a、2b所示。

在步驟S103中，對獲得的所述N張重聚焦圖片序列分別進行二級小波變換，并對所述二級小波變換結(jié)果進行特征提取。

在本發(fā)明實施例中，對獲得的所述N張重聚焦圖片序列分別進行二級小波變換，每幅圖片經(jīng)二級小波變換后可以得到圖像的二級水平方向高頻分量、二 級垂直方向高頻分量、二級對角線方向高頻分量、一級水平方向高頻分量、一級垂直方向高頻分量、一級對角線方向高頻分量及圖像的低頻部分分量共7個分量信息，如圖3所示。再加上處理前的圖片信息，則有8個特征信息。為得到每個像素點的深度，需要對每個像素點局部聚焦質(zhì)量進行評價。

在步驟S104中，以提取的所述特征作為輸入，采用SVM回歸模型對局部聚焦質(zhì)量進行回歸處理，以獲得每個像素點的聚焦質(zhì)量評價；

在步驟S105中，將所述聚焦質(zhì)量評價轉(zhuǎn)化為似然深度圖。

在本發(fā)明實施例中，由于在不同焦距下的圖像任意一點，其在頻域中不同頻率上的能量會產(chǎn)生變化。同一點在不同焦距下的聚焦質(zhì)量呈單調(diào)形式，且在聚焦距離和該點在同一深度的情況下，聚焦質(zhì)量最佳，因此本發(fā)明實施例采用基于RBF核的SVM回歸模型對局部聚焦質(zhì)量進行回歸處理。利用所述基于RBF核的SVM回歸模型進行回歸處理前，還使用了手工標(biāo)定得到的樣本數(shù)據(jù)對SVM回歸模型進行了訓(xùn)練。示例性的，將9張重聚焦圖片序列編號為λ₁,λ₂,λ₃,λ₄,λ₅,λ₆,λ₇,λ₈,λ₉，提取每幅圖片每一像素點在不同焦距(9張重聚焦圖片序列)和不同頻率(小波變換后的8個特征信息)下的小波系數(shù)的平方(即能量)，可得到72維特征，其中表示在重聚焦圖片λ_i中的第j個頻率下的響應(yīng)值的平方。考慮到不同焦距圖像在相同頻率下的響應(yīng)是相關(guān)的，對不同聚焦圖像的相同頻率下的小波系數(shù)進行歸一化處理，可有效降低回歸模型的非線性復(fù)雜度。將提取的所述特征經(jīng)過所述基于RBF核的SVM回歸模型處理后，最終得到重聚焦圖片序列中每個像素的聚焦質(zhì)量評價值。然后通過標(biāo)定過程，將聚焦質(zhì)量評價轉(zhuǎn)化為似然深度圖。具體的可以是，令標(biāo)靶平面垂直于光場相機的光心射線，標(biāo)靶距離光場相機由近到遠(yuǎn)逐步移動，光場相機在移動的過程中持續(xù)進行拍照。為了避免聚焦質(zhì)量評價方法引入的誤差，采用聚焦質(zhì)量評價方法對光場相機獲得的圖像進行聚焦質(zhì)量評價，即直接建立由聚焦質(zhì)量評價方法獲得的聚焦質(zhì)量評價和深度之間的映射關(guān)系。由于標(biāo)靶垂直于光場相機光心射線，因此可采用對聚焦質(zhì)量評價結(jié)果的均值作為當(dāng)前圖像 的聚焦質(zhì)量。由于聚焦質(zhì)量和光場相機與標(biāo)靶的距離是單峰的關(guān)系，因此對每個聚焦距離，可以通過移動標(biāo)靶，得到一系列聚焦質(zhì)量評價結(jié)果。當(dāng)獲得最高聚焦質(zhì)量評價時，標(biāo)靶和相機的距離即為該聚焦距離下的深度。依次對上述9個聚焦距離進行如上操作，即可獲得聚焦質(zhì)量評價結(jié)果和深度之間的離散映射關(guān)系，獲得似然深度圖。

在步驟S106中，通過圖像分割算法對原始圖像進行顏色聚類分析，提取出隨機場節(jié)點，對基于顏色的隨機場節(jié)點進行建模，迭代處理所述似然深度圖，得到最終的場景深度圖，以實現(xiàn)對場景的三維重建。

由于基于像素級的深度判斷存在一定的誤差，因此獲得的似然深度圖可能不是很理想，需要采用隨機場模型對所述似然深度圖進行增強處理。

本發(fā)明實施例假設(shè)以下兩個場景(不以此為限)：第一，場景中每一相同顏色的塊都在同一個平面上；第二，相鄰塊之間，顏色越相近，兩塊平面的邊界則越相交。為了利用先驗信息，使用圖像分割算法對原始光場圖像進行顏色聚類分析，提取出隨機場節(jié)點，對基于顏色的隨機場節(jié)點進行建模，利用優(yōu)化算法迭代處理所述似然深度圖，得到最終的場景深度圖，實現(xiàn)場景的三維重建。

本發(fā)明實施例所述的三維重建方法，實現(xiàn)簡單，運算速度快，運算復(fù)雜度低，具有較強的易用性和實用性。

圖4為本發(fā)明實施例提供的基于光場信息的三維重建系統(tǒng)的組成結(jié)構(gòu)示意圖。為了便于說明，僅示出了與本發(fā)明實施例相關(guān)的部分。

所述基于光場信息的三維重建系統(tǒng)可以是內(nèi)置于終端設(shè)備(例如個人計算機、手機、平板電腦等)中的軟件單元、硬件單元或者是軟硬件結(jié)合的單元。

所述基于光場信息的三維重建系統(tǒng)包括：

光場信息獲取模塊41，用于利用光場相機對待重建場景進行拍攝，獲得包含場景位置和方向信息的四維光場信息；

重聚焦圖片獲取模塊42，用于對獲得的所述四維光場信息進行頻域數(shù)字重 聚焦處理，獲得聚焦距離由近到遠(yuǎn)的N張重聚焦圖片序列，所述N為大于1的整數(shù)；

特征提取模塊43，用于對獲得的所述N張重聚焦圖片序列分別進行二級小波變換，并對二級小波變換結(jié)果進行特征提??；

聚焦質(zhì)量評價獲取模塊44，用于以提取的所述特征作為輸入，采用SVM回歸模型對局部聚焦質(zhì)量進行回歸處理，以獲得每個像素點的聚焦質(zhì)量評價；

似然深度圖獲取模塊45，用于將所述聚焦質(zhì)量評價轉(zhuǎn)化為似然深度圖；

場景深度圖獲取模塊46，用于通過圖像分割算法對原始圖像進行顏色聚類分析，提取出隨機場節(jié)點，對基于顏色的隨機場節(jié)點進行建模，迭代處理所述似然深度圖，得到最終的場景深度圖，以實現(xiàn)對場景的三維重建。

進一步的，所述重聚焦圖片獲取模塊42具體用于：

利用頻域數(shù)字重聚焦算法對獲得的所述四維光場信息進行四維傅里葉變換，并對四維傅里葉變換結(jié)果進行切片處理，獲得二維切片信息，通過計算切片的二維反傅里葉變換，獲得聚焦于特定位置的N張重聚焦圖片序列。

進一步的，所述二級小波變換結(jié)果包括：

圖像的二級水平方向高頻分量信息、二級垂直方向高頻分量信息、二級對角線方向高頻分量信息、一級水平方向高頻分量信息、一級垂直方向高頻分量信息、一級對角線方向高頻分量信息以及圖像的低頻部分分量信息。

進一步的，所述似然深度圖獲取模塊45具體用于：

通過標(biāo)定過程，將所述聚焦質(zhì)量評價轉(zhuǎn)化為似然深度圖。

進一步的，所述重聚焦圖片獲取模塊42還具體用于：

利用CUDA技術(shù)對獲得的所述四維光場信息進行頻域數(shù)字重聚焦處理。

綜上所述，本發(fā)明實施例利用光場相機作為場景四維光場信息的獲取工具，通過光場相機的一次成像即可完成對場景的三維重建，降低了三維重建的復(fù)雜度，同時節(jié)省了三維重建系統(tǒng)的處理時間。而且，通過采用基于小波變換和SVM回歸模型的圖片聚焦質(zhì)量評價方法以及基于圖像分割算法和隨機場模型的場景 深度估計方法，獲得了較為理想的場景深度圖，很好地實現(xiàn)了場景的三維重建。本發(fā)明實施例在實現(xiàn)上述過程中，不需要增加額外的硬件，可有效降低三維重建成本，具有較強的易用性和實用性。

所屬領(lǐng)域的技術(shù)人員可以清楚地了解到，為了描述的方便和簡潔，僅以上述各功能模塊的劃分進行舉例說明，實際應(yīng)用中，可以根據(jù)需要而將上述功能分配由不同的功能單元、模塊完成，即將所述系統(tǒng)的內(nèi)部結(jié)構(gòu)劃分成不同的功能單元或模塊，以完成以上描述的全部或者部分功能。實施例中的各功能模塊可以集成在一個處理單元中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個單元中，上述集成的單元既可以采用硬件的形式實現(xiàn)，也可以采用軟件功能單元的形式實現(xiàn)。另外，各功能模塊的具體名稱也只是為了便于相互區(qū)分，并不用于限制本申請的保護范圍。上述系統(tǒng)中模塊的具體工作過程，可以參考前述方法實施例中的對應(yīng)過程，在此不再贅述。

本領(lǐng)域普通技術(shù)人員可以意識到，結(jié)合本文中所公開的實施例描述的各示例的模塊及算法步驟，能夠以電子硬件、或者計算機軟件和電子硬件的結(jié)合來實現(xiàn)。這些功能究竟以硬件還是軟件方式來執(zhí)行，取決于技術(shù)方案的特定應(yīng)用和設(shè)計約束條件。專業(yè)技術(shù)人員可以對每個特定的應(yīng)用來使用不同方法來實現(xiàn)所描述的功能，但是這種實現(xiàn)不應(yīng)認(rèn)為超出本發(fā)明的范圍。

在本發(fā)明所提供的實施例中，應(yīng)該理解到，所揭露的系統(tǒng)和方法，可以通過其它的方式實現(xiàn)。例如，以上所描述的系統(tǒng)實施例僅僅是示意性的，例如，所述模塊的劃分，僅僅為一種邏輯功能劃分，實際實現(xiàn)時可以有另外的劃分方式，例如多個單元或組件可以結(jié)合或者可以集成到另一個系統(tǒng)，或一些特征可以忽略，或不執(zhí)行。另一點，所顯示或討論的相互之間的耦合或直接耦合或通訊連接可以是通過一些接口，裝置或單元的間接耦合或通訊連接，可以是電性，機械或其它的形式。

所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位于一個地方，或者 也可以分布到多個網(wǎng)絡(luò)單元上?？梢愿鶕?jù)實際的需要選擇其中的部分或者全部單元來實現(xiàn)本實施例方案的目的。

另外，在本發(fā)明各個實施例中的各功能單元可以集成在一個處理單元中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個單元中。上述集成的單元既可以采用硬件的形式實現(xiàn)，也可以采用軟件功能單元的形式實現(xiàn)。

所述集成的單元如果以軟件功能單元的形式實現(xiàn)并作為獨立的產(chǎn)品銷售或使用時，可以存儲在一個計算機可讀取存儲介質(zhì)中?；谶@樣的理解，本發(fā)明實施例的技術(shù)方案本質(zhì)上或者說對現(xiàn)有技術(shù)做出貢獻的部分或者該技術(shù)方案的全部或部分可以以軟件產(chǎn)品的形式體現(xiàn)出來，該計算機軟件產(chǎn)品存儲在一個存儲介質(zhì)中，包括若干指令用以使得一臺計算機設(shè)備(可以是個人計算機，服務(wù)器，或者網(wǎng)絡(luò)設(shè)備等)或處理器(processor)執(zhí)行本發(fā)明實施例各個實施例所述方法的全部或部分步驟。而前述的存儲介質(zhì)包括：U盤、移動硬盤、只讀存儲器(ROM，Read-Only Memory)、隨機存取存儲器(RAM，Random Access Memory)、磁碟或者光盤等各種可以存儲程序代碼的介質(zhì)。

以上所述實施例僅用以說明本發(fā)明的技術(shù)方案，而非對其限制；盡管參照前述實施例對本發(fā)明進行了詳細(xì)的說明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解：其依然可以對前述各實施例所記載的技術(shù)方案進行修改，或者對其中部分技術(shù)特征進行等同替換；而這些修改或者替換，并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明實施例各實施例技術(shù)方案的精神和范圍。