本發(fā)明涉及圖像處理領(lǐng)域，具體而言，涉及一種圖像處理方法和裝置。

背景技術(shù)：

隨著當(dāng)今社會中圖像處理技術(shù)的飛速發(fā)展，增強現(xiàn)實(Augmented Reality，簡稱AR)技術(shù)也廣泛地應(yīng)用在圖像處理領(lǐng)域。增強現(xiàn)實(AR)技術(shù)是指將通過計算機生成的虛擬對象增加用戶對現(xiàn)實世界感知的技術(shù)，可以將虛擬的信息應(yīng)用到真實世界，并將計算機生成的虛擬物體、場景或系統(tǒng)提示信息疊加到真實場景中，從而實現(xiàn)對現(xiàn)實的增強。增強現(xiàn)實(AR)技術(shù)的最大特點是通過三維注冊方法，將虛擬場景與真實場景進行疊加，并允許用戶同時觀看真實場景中的物體和虛擬環(huán)境的物體，獲得超越真實景物的視覺感受和信息服務(wù)。增強現(xiàn)實(AR)的關(guān)鍵技術(shù)包括：虛實物體匹配(又可以稱為三維注冊過程)和三維顯示技術(shù)。在增強現(xiàn)實系統(tǒng)中，虛擬對象的三維注冊必須滿足正確性和魯棒性。因此，在不同的研究環(huán)境下，滿足性能要求的三維注冊技術(shù)是目前增強現(xiàn)實系統(tǒng)的瓶頸。

虛實物體匹配(即三維注冊過程)是指對真實場景圖像和計算機生成的虛擬對象進行無縫合成。上述無縫合成的具體過程為：首先根據(jù)真實場景中的真實對象確定虛擬對象與觀察者之間的關(guān)系，然后，通過正確的投影將虛擬對象投影至觀察者的視域范圍。但是，在現(xiàn)有的增強現(xiàn)實系統(tǒng)中，三維注冊是最基本的問題，其中，現(xiàn)有的三維注冊技術(shù)主要包括：基于認知、基于數(shù)字圖像分析和基于視覺的三維環(huán)境注冊方法。下面舉例說明基于視覺的三維環(huán)境注冊方法，以及基于視覺的三維環(huán)境注冊方法中所存在的問題。

基于視覺的三維環(huán)境注冊方法采用單攝像頭，利用攝像成像原理對真實場景進行信息采集和轉(zhuǎn)換，將三維物體圖像轉(zhuǎn)換為二維圖像，實現(xiàn)把現(xiàn)實環(huán)境的坐標表示為虛擬環(huán)境的坐標；然后，通過識別和確定標識物數(shù)據(jù)模型，即將現(xiàn)實環(huán)境坐標系與通過攝像所得到的虛擬坐標系進行比對分析，便可以計算出攝像頭相對于真實場景的位置、方向及角度；有了攝像頭的位置和姿態(tài)參數(shù)后，通過坐標系變換，便可根據(jù)現(xiàn)實環(huán)境中的坐標信息計算出虛擬對象在真實場景中的相關(guān)信息，即確定所需要添加的虛擬三維物體在真實世界中的正確位置。

概括來說，基于視覺的三維環(huán)境注冊方法是通過真實場景進行信息采集和轉(zhuǎn)換，并對坐標系進行對比和轉(zhuǎn)換，計算出虛擬對象在真實場景中位置信息，達到增強現(xiàn)實的目的。然而，從其技術(shù)層面上講，上述方案采用的單攝像頭圖像轉(zhuǎn)換過程只能獲取平面信息，是無法獲取真實場景的三維信息，其中，三維信息主要指相位信息。因為攝像成像只記錄了被攝物體表面光線強弱的變化，只能存貯被攝物體光強度的空間分布，即振幅信息。無法記錄光波的相位信息，即無法獲取深度信息。這樣就導(dǎo)致虛擬對象只能出現(xiàn)在真實場景的一個二維平面上。因此，從三維注冊技術(shù)的性能評價標準上來看，基于視覺的三維環(huán)境注冊方法沒有考慮魯棒性，無法抵抗裁剪、壓縮、濾波和噪聲等方面的攻擊。

針對上述的問題，目前尚未提出有效的解決方案。

技術(shù)實現(xiàn)要素：

本發(fā)明實施例提供了一種圖像處理方法和裝置，以至少解決現(xiàn)有的增強現(xiàn)實技術(shù)的魯棒性和正確性無法滿足目標需求的技術(shù)問題。

根據(jù)本發(fā)明實施例的一個方面，提供了一種圖像處理方法，包括：獲取真實環(huán)境中真實對象的三維坐標信息，并獲取虛擬對象的三維坐標信息，其中，所述三維坐標信息至少以下包括其中之一：振幅信息、相位信息；根據(jù)所述真實對象的三維坐標信息和所述虛擬對象的三維坐標信息生成目標全息圖；將對所述目標全息圖進行圖像再現(xiàn)，將所述虛擬對象顯示在所述真實環(huán)境中。

進一步地，獲取真實環(huán)境中真實對象的三維坐標信息包括：對所述真實對象進行全息處理，得到所述真實對象的全息圖；對所述真實對象的全息圖進行時頻分析，得到所述真實對象的波前函數(shù)，其中，所述真實對象的波前函數(shù)包括所述真實對象的所述三維坐標信息。

進一步地，對所述真實對象的全息圖進行時頻分析，得到所述真實對象的波前函數(shù)包括：通過傅里葉變換將所述真實對象的全息圖變換至頻域空間；將進行所述時頻分析之后的在頻域空間對所述真實對象的全息圖進行高通濾波處理，得到所述真實對象的物光波前信息；對所述物光波前信息進行傅里葉逆變換，得到所述真實對象的波前函數(shù)。

進一步地，獲取虛擬對象的三維坐標信息包括：獲取所述虛擬對象的預(yù)設(shè)距離；通過計算所述虛擬對象在所述預(yù)設(shè)距離處的波前函數(shù)，其中，所述虛擬對象的波前函數(shù)中包括所述虛擬對象的三維坐標信息。

進一步地，根據(jù)所述真實對象的三維坐標信息和所述虛擬對象的三維坐標信息生成目標全息圖包括：將所述真實對象的波前函數(shù)和所述虛擬對象的波前函數(shù)進行疊加得到波前信息；將得到的所述波前信息與參考光進行干涉，生成所述目標全息圖。

進一步地，對所述目標全息圖進行圖像再現(xiàn)，將所述虛擬信息虛擬對象顯示在所述真實環(huán)境中，包括：將所述目標全息圖按照預(yù)設(shè)再現(xiàn)距離進行再現(xiàn)，將所述虛擬對象顯示在所述真實環(huán)境中。

根據(jù)本發(fā)明實施例的另一方面，還提供了一種圖像處理裝置，包括：獲取模塊，用于獲取真實環(huán)境中真實對象的三維坐標信息，并獲取虛擬對象的三維坐標信息，其中，所述三維坐標信息至少以下包括其中之一：振幅信息、相位信息；生成模塊，用于根據(jù)所述真實對象的三維坐標信息和所述虛擬對象的三維坐標信息生成目標全息圖；再現(xiàn)模塊，用于對所述目標全息圖進行圖像再現(xiàn)，將所述虛擬對象顯示在所述真實環(huán)境中。

進一步地，所述獲取模塊包括：處理單元，用于對所述真實對象進行全息處理，得到所述真實對象的全息圖；分析單元，用于對所述真實對象的全息圖進行時頻分析，得到所述真實對象的波前函數(shù)，其中，所述真實對象的波前函數(shù)包括所述真實對象的所述三維坐標信息。

進一步地，所述分析單元用于：通過傅里葉變換將所述真實對象的全息圖變換至頻域空間；在頻域空間對所述真實對象的全息圖進行高通濾波，得到所述真實對象的全息圖的物光波前信息；對所述物光波前信息進行傅里葉逆變換，得到所述真實對象的波前函數(shù)。

進一步地，所述獲取模塊包括：獲取單元，用于獲取所述虛擬對象的預(yù)設(shè)距離；計算單元，用于計算所述虛擬對象在所述預(yù)設(shè)距離處的波前函數(shù)，其中，所述虛擬對象的波前函數(shù)中包括所述虛擬對象的三維坐標信息。

進一步地，所述生成模塊用于：將所述真實對象的波前函數(shù)和所述虛擬對象的波前函數(shù)進行疊加得到波前信息；將得到的所述波前信息與參考光進行干涉，生成所述目標全息圖。

進一步地，所述再現(xiàn)模塊用于：將所述目標全息圖按照預(yù)設(shè)再現(xiàn)距離進行再現(xiàn)，將所述虛擬對象顯示在所述真實環(huán)境中。

在本發(fā)明實施例中，采用獲取真實環(huán)境中真實對象的三維坐標信息，并獲取虛擬信息虛擬對象的三維坐標信息其中，三維坐標信息至少以下包括其中之一：振幅信息、相位信息；根據(jù)真實對象的三維坐標信息和虛擬對象的三維坐標信息生成目標全息圖；將目標全息圖進行圖像再現(xiàn)，其中，將虛擬對象顯示在真實環(huán)境中的方式，相對于現(xiàn)有技術(shù)中僅能獲取真實環(huán)境的二維坐標信息的方案，本發(fā)明引入了數(shù)字全息技術(shù)，即本發(fā)明通過將真實環(huán)境中真實對象的三維坐標信息和虛擬對象的三維坐標信息進行疊加得到目標全息圖，然后，對目標全息圖進行再現(xiàn)使得虛擬對象能夠表示在真實環(huán)境中，采用本發(fā)明實施例不僅達到了增強現(xiàn)實的目的，還可以滿足魯棒性和正確性的性能要求，進而解決了現(xiàn)有的增強現(xiàn)實技術(shù)的魯棒性和正確性無法滿足目標需求的技術(shù)問題。

附圖說明

此處所說明的附圖用來提供對本發(fā)明的進一步理解，構(gòu)成本申請的一部分，本發(fā)明的示意性實施例及其說明用于解釋本發(fā)明，并不構(gòu)成對本發(fā)明的不當(dāng)限定。在附圖中：

圖1是根據(jù)本發(fā)明實施例的一種圖像處理方法的流程圖；

圖2是根據(jù)本發(fā)明實施例的一種圖像處理裝置的示意圖；

圖3是根據(jù)本發(fā)明實施例的一種可選的圖像處理方法的流程圖；

圖4是根據(jù)本發(fā)明實施例的一種基于數(shù)字全息的三維注冊的示意圖；

圖5是根據(jù)本發(fā)明實施例的一種抗裁剪攻擊的性能測試的示意圖；以及

圖6是根據(jù)本發(fā)明實施例的一種抗壓縮和噪聲攻擊的性能測試的示意圖。

具體實施方式

為了使本技術(shù)領(lǐng)域的人員更好地理解本發(fā)明方案，下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分的實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都應(yīng)當(dāng)屬于本發(fā)明保護的范圍。

需要說明的是，本發(fā)明的說明書和權(quán)利要求書及上述附圖中的術(shù)語“第一”、“第二”等是用于區(qū)別類似的對象，而不必用于描述特定的順序或先后次序。應(yīng)該理解這樣使用的數(shù)據(jù)在適當(dāng)情況下可以互換，以便這里描述的本發(fā)明的實施例能夠以除了在這里圖示或描述的那些以外的順序?qū)嵤?。此外，術(shù)語“包括”和“具有”以及他們的任何變形，意圖在于覆蓋不排他的包含，例如，包含了一系列步驟或單元的過程、方法、系統(tǒng)、產(chǎn)品或設(shè)備不必限于清楚地列出的那些步驟或單元，而是可包括沒有清楚地列出的或?qū)τ谶@些過程、方法、產(chǎn)品或設(shè)備固有的其它步驟或單元。

根據(jù)本發(fā)明實施例，提供了一種圖像處理方法的實施例，需要說明的是，在附圖的流程圖示出的步驟可以在諸如一組計算機可執(zhí)行指令的計算機系統(tǒng)中執(zhí)行，并且，雖然在流程圖中示出了邏輯順序，但是在某些情況下，可以以不同于此處的順序執(zhí)行所示出或描述的步驟。

圖1是根據(jù)本發(fā)明實施例的一種圖像處理方法的流程圖，如圖1所示，該方法包括如下步驟：

步驟S102，獲取真實環(huán)境中真實對象的三維坐標信息，并獲取虛擬對象的三維坐標信息，其中，三維坐標信息至少以下包括其中之一：振幅信息、相位信息。

在本發(fā)明實施例中，真實環(huán)境又可以稱為現(xiàn)實環(huán)境，真實對象又可以稱為現(xiàn)實環(huán)境中的現(xiàn)實物體；虛擬對象為研發(fā)人員通過計算機生成的虛擬物體、場景或系統(tǒng)提示信息中的至少之一。

在本發(fā)明的一個可選實施方式中，真實對象的三維坐標信息包括：真實對象的振幅和真實對象的相位；虛擬對象的三維坐標信息包括：虛擬對象的振幅和虛擬對象的相位。

步驟S104，根據(jù)真實對象的三維坐標信息和虛擬對象的三維坐標信息生成目標全息圖。

在本發(fā)明實施例中，可以將包含振幅和相位的真實對象的三維坐標信息和虛擬對象的三維坐標信息進行數(shù)據(jù)處理，進而生成目標全息圖，然后，執(zhí)行下述步驟S106，即對目標全息圖進行圖像再現(xiàn)，對目標全息圖進行圖像再現(xiàn)之后，虛擬對象即可以表示在真實環(huán)境中。

步驟S106，對目標全息圖進行圖像再現(xiàn)，將虛擬對象顯示在真實環(huán)境中。

在本發(fā)明實施例中，通過將真實環(huán)境中真實對象的三維坐標信息和虛擬對象的三維坐標信息進行疊加得到目標全息圖，然后，對目標全息圖進行再現(xiàn)使得虛擬對象能夠表示在真實環(huán)境中，采用本發(fā)明實施例不僅達到了增強現(xiàn)實的目的，還可以滿足魯棒性和正確性的性能要求，進而解決了現(xiàn)有的增強現(xiàn)實技術(shù)的魯棒性和正確性無法滿足目標需求的技術(shù)問題。

在本發(fā)明的一個可選實施方式中，獲取真實環(huán)境中真實對象的三維坐標信息，具體為：

首先，對真實對象進行全息處理，得到真實對象的全息圖，然后，對真實對象的全息圖進行時頻分析，得到真實對象的波前函數(shù)，其中，真實對象的波前函數(shù)包括真實對象的三維坐標信息。

在本發(fā)明實施例中，可以通過光學(xué)衍射對真實環(huán)境中的真實對象進行全息記錄，以獲取真實對象的全息圖，其中，數(shù)字全息技術(shù)是指物體反射的光波與參考光波相疊加產(chǎn)生干涉條紋，被記錄的這些干涉條紋稱為全息圖，其中，全息圖在一定的條件下可以再現(xiàn)，以重現(xiàn)原物體逼真的三維像，傳統(tǒng)的全息技術(shù)分為光學(xué)全息和計算全息。

在獲取到真實對象的全息圖之后，即可以對真實對象的全息圖進行時頻分析、處理得到真實對象的波前函數(shù)，在該波前函數(shù)中包含真實對象的振幅和真實對象的相位信息。

在一個可選的實施方式中，對真實對象的全息圖進行時頻分析，得到真實對象的波前函數(shù)包括：通過傅里葉變換將真實對象的全息圖變換至頻域空間，然后，在頻域空間對真實對象的全息圖在頻域空間內(nèi)進行高通濾波，保留得到真實對象的物光波前信息，最后，通過傅里葉逆變換將物光波前信息進行傅里葉逆變換，變換得到真實對象的波前函數(shù)(波前函數(shù)又可以稱為波前復(fù)振幅函數(shù))，其中，在得到的波前函數(shù)中包括真實對象的振幅和真實對象的相位。

綜上，在本發(fā)明實施例中，采用全息技術(shù)或者通過多陣列拍攝的方法獲取真實對象的三維坐標信息，以在對虛擬對象和真實對象進行三維注冊時，能夠使得虛擬物體表示在真實的三維場景中，而不是僅僅在一個二維平面上，即滿足了現(xiàn)實增強的正確性。

通過上述描述可知，可以通過數(shù)字全息技術(shù)或者通過多陣列拍攝的方法獲取真實對象的三維坐標信息，那么在獲取虛擬對象的三維坐標信息時，可以計算虛擬對象的波前函數(shù)，其中，虛擬對象的波前函數(shù)中包括虛擬對象的三維坐標信息。在本發(fā)明實施例中，可以采用菲涅爾衍射積分算法計算虛擬對象的波前函數(shù)，其中，菲涅爾衍射指的是光波在近場區(qū)域的衍射，菲涅爾衍射積分算法可以用來計算光波在近場區(qū)域的傳播。

當(dāng)通過菲涅爾衍射積分算法計算虛擬對象的波前函數(shù)時，其實是利用菲涅耳衍射積分算法的計算來模擬光學(xué)衍射過程，其中，菲涅耳衍射積分算法的計算過程與光學(xué)衍射的計算過程是相同的，下面將具體介紹菲涅爾衍射積分算法的計算過程。

首先，可以通過下述(公式1)計算衍射距離為d的物光波前復(fù)振幅函數(shù)：

其中，d為衍射距離，(x₀,y₀)為初始物波平面坐標，O(x₀,y₀)為初始物波平面信息，U(x,y)為經(jīng)過衍射距離為d的物光波前復(fù)振幅函數(shù)，λ為波長，j為虛數(shù)單位，k為波數(shù)，x₀、y₀為原始物平面坐標，x、y為經(jīng)過距離d衍射的波前函數(shù)平面坐標。

然后，對(公式1)進行積分處理，將與積分變量無關(guān)的項提到積分號前，得到(公式2)：

從上述(公式2)中可以看出，(公式2)是對做了一次傅里葉變換，然后，將變換結(jié)果再乘以一個二次相位因子，即就可以得到經(jīng)衍射距離d衍射之后的物光波前復(fù)振幅。為了利用快速傅立葉變換FFT計算上式，可以F表示傅立葉變換，物平面取樣寬度為L₀，采樣數(shù)為N×N，采樣間距為△x₀＝△y₀＝L₀/N，然后，將上述(公式2)改寫為(公式3)，即：

在(公式3)中，△x＝△y是離散傅立葉變換后對應(yīng)的空域采樣間距，此時，根據(jù)傅立葉變換和離散傅立葉變換的關(guān)系，可以得到(公式4)：其中，(公式4)中L為經(jīng)衍射距離d的衍射圖樣采樣范圍。將(公式4)進行變換得到(公式5)：

另一方面，根據(jù)奈奎斯特取樣定理可知，當(dāng)只有當(dāng)滿足(公式6)：所描述的條件時，離散計算結(jié)果才能近似滿足奈奎斯特取樣定理的衍射場。此時，物平面和衍射場平面的取樣寬度相等，并且由(公式5)可知，此時物平面和衍射場寬度相等，即

因此，以上結(jié)果表明，如果保持物平面的取樣間隔和觀測區(qū)域不變，離散傅立葉變換計算結(jié)果在觀測平面上的衍射圖樣取樣范圍L不僅是波長λ和取樣數(shù)N的函數(shù)，并且會隨著衍射距離d的增加而增加。當(dāng)衍射距離很小時，如果取樣數(shù)N保持不變，計算結(jié)果只能對應(yīng)于觀測平面上鄰近光軸很小區(qū)域的衍射圖像。

在此需要說明的是，通過上述方式一的描述可知，在本發(fā)明實施例中，可以通過光學(xué)衍射對真實環(huán)境中的真實對象進行全息記錄，然后，又通過上述菲涅爾衍射積分算法的描述可知，在本發(fā)明實施例中，是利用菲涅耳衍射積分算法的計算來模擬光學(xué)衍射過程。因此，在獲取真實對象的全息記錄時，同樣可以采用菲涅耳衍射積分算法來模擬光學(xué)衍射過程，來獲取真實對象的全息記錄，并且，具體計算過程與計算虛擬對象的波前函數(shù)的計算過程相同，此處不再贅述。當(dāng)通過上述方法模擬計算出真實環(huán)境中真實對象的全息圖之后，可以將此全息圖進行二維傅里葉變換，并在頻域范圍內(nèi)進行高通濾波，僅保留物光波前信息部分，再對此部分進行傅里葉逆變換，得到真實環(huán)境中真實對象的波前復(fù)振幅函數(shù)(即，波前函數(shù))。

在通過上述方式一或方式二獲取真實對象的波前函數(shù)之后，并通過菲涅耳衍射積分算法計算虛擬對象的波前函數(shù)之后，可以將真實對象的波前函數(shù)和虛擬對象的波前函數(shù)進行疊加得到波前信息，然后，將得到的波前信息與參考光進行干涉，生成目標全息圖。

假設(shè)，在通過菲涅耳衍射積分算法計算得到真實對象的波前函數(shù)和虛擬對象的波前函數(shù)之后，可以將和進行疊加，得到波前信息U₁(x,y)，其中，然后，將波前信息U₁(x,y)進行全息制作，即利用參考光干涉U₁(x,y)得到目標全息圖I_H(x,y)，到此為止，即完成虛擬對象的三維注冊和虛實物體的交織過程。在本發(fā)明實施例中，和可以通過上述(公式2)中所描述的方法計算。

可選地，在本發(fā)明實施例中，可以通過下述(公式7)計算得到目標全息圖，

其中，R(x,y)表示參考光，U₁(x,y)表示經(jīng)過衍射的物波前函數(shù)(即，上述波前信息)，R^*(x,y)表示參考光共軛，U₁^*(x,y)表示物波前函數(shù)共軛。

在通過上述(公式7)得到目標全息圖I_H(x,y)之后，可以實現(xiàn)目標全息圖的再現(xiàn)，即將虛擬對象表達于真實環(huán)境中。假設(shè)，再現(xiàn)光為C(x,y)，目標全息圖I_H(x,y)，再現(xiàn)光場分布為下述(公式8)所示，其中，再現(xiàn)光為用于照射全息圖的參考光，再現(xiàn)廣場為經(jīng)過參考光照射全息圖后，生成的再現(xiàn)像(±1級衍射光)的光場分布情況：

其中，F(xiàn)為函數(shù)傅立葉變換符號，d為衍射距離，λ為波長，j為虛數(shù)單位，k為波數(shù)，(x，y)為經(jīng)過距離d衍射的波前函數(shù)生成的全息圖平面坐標，(x′，y′)為經(jīng)過參考光照射全息圖生成的再現(xiàn)像平面坐標，(△x′，△y′)對應(yīng)空域采樣間距。

由于波前記錄的結(jié)果是得到一張記有物光振幅和位相信息的目標全息圖I_H(x,y)。因此，在對目標全息進行再現(xiàn)時，使用參考光(再現(xiàn)光)C(x,y)照射全息圖，此時，會有兩束衍射光波向不同方向傳播，可看作±1級衍射光。其中一束衍射光波傳播到觀察者眼睛里，與真實物體發(fā)出的光波作用完全相同，進而就實現(xiàn)了波前再現(xiàn)。

在本發(fā)明上述實施例中，通過采用上文中描述的菲涅耳衍射積分算法，模擬了虛擬對象在真實環(huán)境下的三維注冊和顯示，進而達到了增強現(xiàn)實的目的，即準確地將虛擬對象的全部特征信息表現(xiàn)在真實環(huán)境中。

為了驗證本發(fā)實施例所提供的圖像處理方法的魯棒性和正確性，在將目標全息圖進行圖像再現(xiàn)之后，還通過裁剪攻擊、壓縮攻擊和噪聲攻擊中的至少一種對目標全息圖進行圖像攻擊。通過對圖像攻擊之后的結(jié)果進行分析可知，本發(fā)明實施例提供的圖像處理方法在保證正確性的前提下，能夠在裁剪、壓縮、濾波和噪聲等方面攻擊的抵抗性，從而滿足性能的魯棒性。其中，裁剪攻擊為通過至少之一對目標全息圖進行攻擊：十字形的虛擬對象、三角形的虛擬對象、圓形的虛擬對象、矩形的虛擬對象；壓縮攻擊為對目標全息圖按照預(yù)設(shè)比例進行壓縮；噪聲攻擊為通過預(yù)設(shè)噪聲強度的目標噪聲對目標全息圖進行攻擊。

在本實施例中還提供了一種圖像處理裝置，該圖像處理裝置中的各個模塊對應(yīng)于上述實施例及可選實施方式中的步驟，已經(jīng)進行過說明的在以下實施例中就不再贅述。

圖2是根據(jù)本發(fā)明實施例的一種圖像處理裝置的示意圖，如圖2所示，該裝置包括：獲取模塊21、生成模塊23和再現(xiàn)模塊25，其中，

獲取模塊21，用于獲取真實環(huán)境中真實對象的三維坐標信息，并獲取虛擬對象的三維坐標信息，其中，三維坐標信息至少以下包括其中之一：振幅信息、相位信息；

生成模塊23，用于根據(jù)真實對象的三維坐標信息和虛擬對象的三維坐標信息生成目標全息圖；

再現(xiàn)模塊25，用于對目標全息圖進行圖像再現(xiàn)，其中，將虛擬對象顯示在真實環(huán)境中。

在本發(fā)明實施例中，可以將包含振幅和相位的真實對象的三維坐標信息和虛擬對象的三維坐標信息進行數(shù)據(jù)處理，進而生成目標全息圖，然后，通過生成模塊23對目標全息圖進行圖像再現(xiàn)，對目標全息圖進行圖像再現(xiàn)之后，虛擬對象即可以表示在真實環(huán)境中。

作為一個可選的實施方式，獲取模塊包括：處理單元，用于對真實對象進行全息處理，得到真實對象的全息圖；分析單元，用于對真實對象的全息圖進行視頻分析，得到真實對象的波前函數(shù)，其中，真實對象的波前函數(shù)包括真實對象的三維坐標信息。

作為一個可選的實施方式，分析單元用于：通過傅里葉變換將真實對象的全息圖變換至頻域空間；在頻域空間對真實對象的全息圖進行高通濾波，得到真實對象的全息圖的物光波前信息；對物光波前信息進行傅里葉逆變換，得到真實對象的波前函數(shù)。

作為一個可選的實施方式，獲取模塊包括：獲取單元，用于獲取虛擬對象的預(yù)設(shè)距離；計算單元，用于計算虛擬對象在預(yù)設(shè)距離處的波前函數(shù)，其中，虛擬對象的波前函數(shù)中包括虛擬對象的三維坐標信息。

作為一個可選的實施方式，生成模塊用于：將真實對象的波前函數(shù)和虛擬對象的波前函數(shù)進行疊加得到波前信息；將得到的波前信息與參考光進行干涉，生成目標全息圖。

作為一個可選的實施方式，再現(xiàn)模塊用于：將目標全息圖按照預(yù)設(shè)再現(xiàn)距離進行再現(xiàn)，將虛擬對象顯示在真實環(huán)境中。

圖3是根據(jù)本發(fā)明實施例的一種可選的圖像處理方法的流程圖，如圖3所示，該方法包括如下步驟：

步驟S301，獲取真實環(huán)境下真實對象A的三維坐標信息

在本發(fā)明實施例中，可以過光學(xué)衍射對真實環(huán)境中的真實對象進行全息記錄，然后，將真實環(huán)境的三維坐標信息記錄于光學(xué)全息圖中。例如，對任意圖像進行距離為z1(其中，z1即為上述的衍射距離)的菲涅爾衍射積分計算，并與參考光干涉得到一個全息圖，以模擬真實環(huán)境的光學(xué)全息過程。然后，將此全息圖進行二維傅里葉變換，在頻域空間內(nèi)進行高通濾波，僅保留物光波前信息相關(guān)的部分，再對此部分進行傅里葉逆變換，得到真實環(huán)境中真實對象的波前復(fù)振幅函數(shù)(又可以稱為波前函數(shù))，其中，波前復(fù)振幅函數(shù)中包含三維坐標信息即，包括真實對象的振幅和真實對象相位信息。

步驟S302，獲取虛擬對象的三維坐標信息也即，獲取虛擬對象的波前函數(shù)。

在本發(fā)明實施例中，可以通過菲涅爾衍射積分算法，計算出虛擬對象在目標注冊距離z2的波前函數(shù)

步驟S303，將真實對象A的三維坐標信息和虛擬對象的三維坐標信息進行疊加；

步驟S304，基于疊加得到的波前信息制作目標全息圖，并再現(xiàn)目標全息圖；

在本發(fā)明實施例中，可以對真實環(huán)境中真實對象的三維坐標信息和虛擬對象的波前函數(shù)進行疊加，疊加的結(jié)果仍是波前復(fù)振幅函數(shù)。并根據(jù)全息原理，對疊加的結(jié)果進行全息圖制作和再現(xiàn)，將虛擬對象表達在真實環(huán)境中。

步驟S305，對目標全息圖進行魯棒性檢測。

在本發(fā)明實施例中，還可以根據(jù)三維注冊技術(shù)的性能評價標準，對虛實信息交織的結(jié)果進行攻擊，對本方案的魯棒性進行檢測和驗證。

下面將結(jié)合具體實施例對本發(fā)明提供的圖像處理方法進行舉例說明。

圖4是根據(jù)本發(fā)明實施例的一種基于數(shù)字全息的三維注冊的示意圖。如圖4所示，圖4中的(a)為真實環(huán)境中的平面物體A(即，真實對象)，大小為256×256，觀測距離為z1＝500mm；圖4中的(b)為虛擬物體平面B(即，虛擬對象)，大小為256×256，目標注冊距離為z2＝600mm；圖4中的(c)為平面物體A的波前函數(shù)和虛擬物體平面B的波前函數(shù)疊加之后的波前函數(shù)(例如，)與參考光干涉生成的全息圖(即，上述目標全息圖)，大小為1024×1024；圖4中的(d)為全息圖(c)的再現(xiàn)像，再現(xiàn)距離為z＝500mm；圖4中的(e)為全息圖(c)的另一個再現(xiàn)像，再現(xiàn)距離為z＝600mm；圖4中的(f)為全息圖(c)的又一個再現(xiàn)像，再現(xiàn)距離為z＝300mm。

通過圖4中的(d)至圖4中的(f)可知，虛擬物體平面只有在注冊距離z＝600mm下再現(xiàn)時最為清晰，同時，用戶也能夠在觀測距離z1＝500mm下看到真實場景。因此，采用本發(fā)明提供的圖像處理方法，可以將虛擬對象的深度距離和平面信息很好的表達在真實環(huán)境中。

圖5是根據(jù)本發(fā)明實施例的一種抗裁剪攻擊的性能測試的示意圖。其中，圖5中的(a)為對圖4中全息圖(c)的“十字形”攻擊；圖5中的(b)為對圖4中全息圖(c)的“三角形”攻擊；圖5中的(c)為對圖4中全息圖(c)的“矩形”攻擊；圖5中的(d)為對圖4中全息圖(c)的“圓形”攻擊。圖5中的(e)為對5(a)的再現(xiàn)像，再現(xiàn)距離為z＝500mm；圖5中的(f)為對5(b)的再現(xiàn)像，再現(xiàn)距離為z＝500mm；圖5中的(g)為對圖5中(c)的再現(xiàn)像，再現(xiàn)距離為z＝500mm；圖5中的(h)為對圖5中(d)的再現(xiàn)像，再現(xiàn)距離為z＝500mm。通過圖5可知，本發(fā)明在對抗裁剪攻擊方面有非常良好的魯棒性。

圖6是根據(jù)本發(fā)明實施例的一種抗壓縮和噪聲攻擊的性能測試的示意圖。其中，圖6中的(a)為對圖4中全息圖(c)進行JPEG壓縮攻擊的示意圖，壓縮比為30％；圖6中的(b)為對圖4中全息圖(c)進行噪聲攻擊的示意圖，噪聲強度為0.01；圖6中的(c)為對圖6中的(a)進行再現(xiàn)，再現(xiàn)距離為z＝500mm；圖6中的(d)為對圖6中的(b)進行再現(xiàn)，再現(xiàn)距離為z＝500mm。通過圖6可知，本發(fā)明在對抗壓縮攻擊和噪聲攻擊方面同樣具有令人滿意的效果。

在本發(fā)明實施例提供的圖像處理方法和裝置中，將數(shù)字全息和計算機全息技術(shù)應(yīng)用于增強現(xiàn)實系統(tǒng)中，該方法和裝置帶來的優(yōu)點包括以下至少之一：

(1)、本發(fā)明根據(jù)光學(xué)全息原理得到真實環(huán)境中真實對象的全息圖，將此全息圖進行二維傅里葉變換，并在頻率進行高通濾波，僅保留物光波前信息相關(guān)的部分，再對此部分進行傅里葉逆變換，得到真實環(huán)境中真實對象的波前函數(shù)。此波前函數(shù)是真三維信息，包含真實環(huán)境中真實對象的振幅信息和相位信息。

(2)、根據(jù)菲涅爾衍射原理和目標注冊距離計算出虛擬對象的波前函數(shù)，并與真實環(huán)境中真實對象的波前函數(shù)疊加，用于全息圖(此處的全息圖即為上述的目標全息圖)的分層記錄。通過全息圖可以對真實環(huán)境和虛擬對象進行分層信息記錄。而全息再現(xiàn)時，分層記錄的信息(真實環(huán)境和虛擬對象)不會相互干擾，使得全息圖能夠存儲巨大的信息量。

(3)、抗撕毀性是全息技術(shù)的最重要特性。本發(fā)明將全息技術(shù)引入三維注冊中，能夠增強系統(tǒng)在裁剪、壓縮、濾波和噪聲等方面攻擊的抵抗性，從而滿足性能的魯棒性。

上述本發(fā)明實施例序號僅僅為了描述，不代表實施例的優(yōu)劣。

在本發(fā)明的上述實施例中，對各個實施例的描述都各有側(cè)重，某個實施例中沒有詳述的部分，可以參見其他實施例的相關(guān)描述。

在本申請所提供的幾個實施例中，應(yīng)該理解到，所揭露的技術(shù)內(nèi)容，可通過其它的方式實現(xiàn)。其中，以上所描述的裝置實施例僅僅是示意性的，例如所述單元的劃分，可以為一種邏輯功能劃分，實際實現(xiàn)時可以有另外的劃分方式，例如多個單元或組件可以結(jié)合或者可以集成到另一個系統(tǒng)，或一些特征可以忽略，或不執(zhí)行。另一點，所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些接口，單元或模塊的間接耦合或通信連接，可以是電性或其它的形式。

所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位于一個地方，或者也可以分布到多個單元上?？梢愿鶕?jù)實際的需要選擇其中的部分或者全部單元來實現(xiàn)本實施例方案的目的。

另外，在本發(fā)明各個實施例中的各功能單元可以集成在一個處理單元中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個單元中。上述集成的單元既可以采用硬件的形式實現(xiàn)，也可以采用軟件功能單元的形式實現(xiàn)。

所述集成的單元如果以軟件功能單元的形式實現(xiàn)并作為獨立的產(chǎn)品銷售或使用時，可以存儲在一個計算機可讀取存儲介質(zhì)中。基于這樣的理解，本發(fā)明的技術(shù)方案本質(zhì)上或者說對現(xiàn)有技術(shù)做出貢獻的部分或者該技術(shù)方案的全部或部分可以以軟件產(chǎn)品的形式體現(xiàn)出來，該計算機軟件產(chǎn)品存儲在一個存儲介質(zhì)中，包括若干指令用以使得一臺計算機設(shè)備(可為個人計算機、服務(wù)器或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個實施例所述方法的全部或部分步驟。而前述的存儲介質(zhì)包括：U盤、只讀存儲器(ROM，Read-Only Memory)、隨機存取存儲器(RAM，Random Access Memory)、移動硬盤、磁碟或者光盤等各種可以存儲程序代碼的介質(zhì)。

以上所述僅是本發(fā)明的優(yōu)選實施方式，應(yīng)當(dāng)指出，對于本技術(shù)領(lǐng)域的普通技術(shù)人員來說，在不脫離本發(fā)明原理的前提下，還可以做出若干改進和潤飾，這些改進和潤飾也應(yīng)視為本發(fā)明的保護范圍。