本申請(qǐng)涉及一種圖像處理方法和裝置。優(yōu)選的，本申請(qǐng)涉及一種用于在二維顯示模式和三維顯示模式之間進(jìn)行切換的圖像處理處理方法和裝置。

背景技術(shù)：

虛擬現(xiàn)實(shí)技術(shù)是一種具沉浸感、交互性和構(gòu)想性的技術(shù)，其實(shí)現(xiàn)的交互方式之一就是三維立體顯示技術(shù)。三維立體顯示可以全面的展現(xiàn)出圖像的位置、層次和縱深，使觀(guān)察者更直觀(guān)地了解圖像的現(xiàn)實(shí)分布狀況，從而更全面了解圖像或立體投影。

目前，在虛擬現(xiàn)實(shí)中應(yīng)用的是雙目立體技術(shù)：人的左右眼分別從不同位置和角度觀(guān)看同一物體時(shí)在雙眼視網(wǎng)膜結(jié)像會(huì)出現(xiàn)的微小水平像位差，即水平視差。三維立體顯示的基本原理就是要以人工方式來(lái)重現(xiàn)視差，即將具有水平視差的左眼圖像和右眼圖像分別輸送給觀(guān)察者的左眼和右眼，使得觀(guān)察者能夠感知到立體深度，形成立體感。在這個(gè)基礎(chǔ)上發(fā)展出各式各樣的三維立體顯示技術(shù)，目前相對(duì)成熟的是基于眼鏡的三維立體顯示。

實(shí)現(xiàn)虛擬現(xiàn)實(shí)的現(xiàn)有技術(shù)之一的方法流程如圖26所示，其通過(guò)虛擬攝像機(jī)投影到屏幕上，并通過(guò)虛擬攝像機(jī)視錐體對(duì)人眼視域進(jìn)行建模。然后將視錐體里的三維物體通過(guò)透視投影變化投影在視口上，最后將視口元素渲染到顯示器屏幕。在得到空間任一點(diǎn)在左右圖像中的對(duì)應(yīng)坐標(biāo)和兩攝像機(jī)參數(shù)矩陣的條件下，即可進(jìn)行空間點(diǎn)的重建，即實(shí)現(xiàn)基于人眼視覺(jué)原理的虛擬現(xiàn)實(shí)顯示。

上述現(xiàn)有技術(shù)是目前虛擬現(xiàn)實(shí)中立體顯示的主流技術(shù)。其核心是獲取三維場(chǎng)景中任一點(diǎn)滿(mǎn)足人眼需求的左右圖像，并將左右圖像分別輸入左眼和右眼，從而產(chǎn)生立體視覺(jué)效果。

并且隨著當(dāng)今社會(huì)中圖像處理技術(shù)的飛速發(fā)展，增強(qiáng)現(xiàn)實(shí)(augmentedreality，簡(jiǎn)稱(chēng)ar)技術(shù)也廣泛地應(yīng)用在圖像處理領(lǐng)域。增強(qiáng)現(xiàn)實(shí)(ar)技術(shù)是指將通過(guò)計(jì)算機(jī)生成的虛擬對(duì)象增加用戶(hù)對(duì)現(xiàn)實(shí)世界感知的技術(shù)，可以將虛擬的信息應(yīng)用到真實(shí)世界，并將計(jì)算機(jī)生成的虛擬物體、場(chǎng)景或系統(tǒng)提示信息疊加到真實(shí)場(chǎng)景中，從而實(shí)現(xiàn)對(duì)現(xiàn)實(shí)的增強(qiáng)。增強(qiáng)現(xiàn)實(shí)(ar)技術(shù)的最大特點(diǎn)是通過(guò)三維注冊(cè)方法，將虛擬場(chǎng)景與真實(shí)場(chǎng)景進(jìn)行疊加，并允許用戶(hù)同時(shí)觀(guān)看真實(shí)場(chǎng)景中的物體和虛擬環(huán)境的物體，獲得超越真實(shí)景物的視覺(jué)感受和信息服務(wù)。增強(qiáng)現(xiàn)實(shí)(ar)的關(guān)鍵技術(shù)包括：虛實(shí)物體匹配(又可以稱(chēng)為三維注冊(cè)過(guò)程)和三維顯示技術(shù)。現(xiàn)有的三維注冊(cè)技術(shù)主要包括：基于認(rèn)知、基于數(shù)字圖像分析和基于視覺(jué)的三維環(huán)境注冊(cè)方法

虛實(shí)物體匹配(即三維注冊(cè)過(guò)程)是指對(duì)真實(shí)場(chǎng)景圖像和計(jì)算機(jī)生成的虛擬對(duì)象進(jìn)行無(wú)縫合成。上述無(wú)縫合成的具體過(guò)程為：首先根據(jù)真實(shí)場(chǎng)景中的真實(shí)對(duì)象確定虛擬對(duì)象與觀(guān)察者之間的關(guān)系，然后，通過(guò)正確的投影將虛擬對(duì)象投影至觀(guān)察者的視域范圍?；谝曈X(jué)的三維環(huán)境注冊(cè)方法采用單攝像頭，利用攝像成像原理對(duì)真實(shí)場(chǎng)景進(jìn)行信息采集和轉(zhuǎn)換，將三維物體圖像轉(zhuǎn)換為二維圖像，實(shí)現(xiàn)把現(xiàn)實(shí)環(huán)境的坐標(biāo)表示為虛擬環(huán)境的坐標(biāo)；然后，通過(guò)識(shí)別和確定標(biāo)識(shí)物數(shù)據(jù)模型，即將現(xiàn)實(shí)環(huán)境坐標(biāo)系與通過(guò)攝像所得到的虛擬坐標(biāo)系進(jìn)行比對(duì)分析，便可以計(jì)算出攝像頭相對(duì)于真實(shí)場(chǎng)景的位置、方向及角度；有了攝像頭的位置和姿態(tài)參數(shù)后，通過(guò)坐標(biāo)系變換，便可根據(jù)現(xiàn)實(shí)環(huán)境中的坐標(biāo)信息計(jì)算出虛擬對(duì)象在真實(shí)場(chǎng)景中的相關(guān)信息，即確定所需要添加的虛擬三維物體在真實(shí)世界中的正確位置。

概括來(lái)說(shuō)，基于視覺(jué)的三維環(huán)境注冊(cè)方法是通過(guò)真實(shí)場(chǎng)景進(jìn)行信息采集和轉(zhuǎn)換，并對(duì)坐標(biāo)系進(jìn)行對(duì)比和轉(zhuǎn)換，計(jì)算出虛擬對(duì)象在真實(shí)場(chǎng)景中位置信息，達(dá)到增強(qiáng)現(xiàn)實(shí)的目的。

無(wú)論是虛擬現(xiàn)實(shí)技術(shù)還是增強(qiáng)現(xiàn)實(shí)技術(shù)，都會(huì)向用戶(hù)提供三維顯示(或立體顯示)。因此，均涉及三維顯示技術(shù)，已形成立體視覺(jué)。

然而，在實(shí)際應(yīng)用中，仍然存在進(jìn)行二維顯示(即平面顯示)的需求。

例如，從用戶(hù)體驗(yàn)的角度來(lái)說(shuō)，有很多用戶(hù)更喜歡二維顯示的畫(huà)面。即便是喜歡立體視覺(jué)效果的用戶(hù)，在長(zhǎng)時(shí)間觀(guān)看立體視覺(jué)效果的影像后也會(huì)產(chǎn)生疲勞感，因此需要觀(guān)看二維顯示的畫(huà)面來(lái)進(jìn)行調(diào)節(jié)。

此外，眾所周知，相對(duì)于二維顯示而言，三維顯示會(huì)需要更大的運(yùn)算量，因此也需要更高的資源配置。如果資源配置(例如，處理器的運(yùn)算速度、存儲(chǔ)器的容量、數(shù)據(jù)傳輸?shù)乃俾实?達(dá)不到三維顯示的要求時(shí)，畫(huà)面的流暢度就會(huì)受到影響，甚至根本無(wú)法顯示畫(huà)面。這種情況下，則需要解決如何為用戶(hù)提供能夠觀(guān)看的流暢畫(huà)面的問(wèn)題。

此外，在游戲設(shè)計(jì)以及影視制品中，為了劇情或者展示效果的需要，可能會(huì)在特定的情節(jié)或場(chǎng)景下進(jìn)行二維畫(huà)面的顯示，以達(dá)到特殊的效果，如果僅僅進(jìn)行三維顯示，則顯然是不足的。

由此可見(jiàn)，在現(xiàn)有技術(shù)中存在著對(duì)二維和三維顯示進(jìn)行切換的需求，以解決用戶(hù)體驗(yàn)、硬件配置以及游戲和影視等設(shè)計(jì)需要所提出的上述問(wèn)題。

并且關(guān)于三維立體顯示，從技術(shù)層面上講，虛擬顯示技術(shù)仍然存在以下問(wèn)題：

首先，雙目立體技術(shù)仍然與觀(guān)察自然環(huán)境的三維效果存在差距。究其根本原因是我們只將需要的主要信息通過(guò)左右圖像的形式表示出來(lái)，而并沒(méi)有將場(chǎng)景的全部信息呈現(xiàn)在人眼面前。所以，傳統(tǒng)方法由于場(chǎng)景信息缺失而存在技術(shù)壁壘，只能在嚴(yán)苛條件下產(chǎn)生立體感，無(wú)法呈現(xiàn)出真實(shí)和舒適的三維效果。

其次，從算法和成本上講，傳統(tǒng)方法通常利用兩個(gè)以上的多相機(jī)陣列進(jìn)行數(shù)據(jù)采集，利用多相機(jī)陣列來(lái)優(yōu)化采集過(guò)程，此方法需要的相機(jī)數(shù)量大，成本過(guò)高，并且大量相機(jī)的標(biāo)定工作繁復(fù)。

此外，從實(shí)時(shí)性上講，傳統(tǒng)方法一定采用左右圖像的兩個(gè)或者兩個(gè)以上通道的信息，因此信息量大，需要的存儲(chǔ)空間大，傳輸效率低，從而導(dǎo)致運(yùn)算速度慢，系統(tǒng)實(shí)時(shí)性差的問(wèn)題。因此，找到一種存儲(chǔ)空間大而又易于傳輸?shù)臄?shù)據(jù)方式提高傳輸效率和運(yùn)算速度，增強(qiáng)系統(tǒng)的實(shí)用性顯得尤為重要。

并且在增強(qiáng)現(xiàn)實(shí)系統(tǒng)中，虛擬對(duì)象的三維注冊(cè)必須滿(mǎn)足正確性和魯棒性。因此，在不同的研究環(huán)境下，滿(mǎn)足性能要求的三維注冊(cè)技術(shù)是目前增強(qiáng)現(xiàn)實(shí)系統(tǒng)的瓶頸。

然而，從其技術(shù)層面上講，上述方案采用的單攝像頭圖像轉(zhuǎn)換過(guò)程只能獲取平面信息，是無(wú)法獲取真實(shí)場(chǎng)景的三維信息，其中，三維信息主要指相位信息。因?yàn)閿z像成像只記錄了被攝物體表面光線(xiàn)強(qiáng)弱的變化，只能存貯被攝物體光強(qiáng)度的空間分布，即振幅信息。無(wú)法記錄光波的相位信息，即無(wú)法獲取深度信息。這樣就導(dǎo)致虛擬對(duì)象只能出現(xiàn)在真實(shí)場(chǎng)景的一個(gè)二維平面上。因此，從三維注冊(cè)技術(shù)的性能評(píng)價(jià)標(biāo)準(zhǔn)上來(lái)看，基于視覺(jué)的三維環(huán)境注冊(cè)方法沒(méi)有考慮魯棒性，無(wú)法抵抗裁剪、壓縮、濾波和噪聲等方面的攻擊。

由此可見(jiàn)，作為向用戶(hù)提供三維顯示圖像的技術(shù)，無(wú)論是虛擬現(xiàn)實(shí)技術(shù)還是增強(qiáng)現(xiàn)實(shí)技術(shù)，均存在需要改善的問(wèn)題。

并且，在提出新的三維立體顯示的技術(shù)時(shí)，又存在三維立體顯示與二維平面顯示這兩種模式的關(guān)聯(lián)問(wèn)題，即尋找不到好的方式能夠?qū)⑷S立體顯示與二維平面顯示這兩種模式進(jìn)行整合。

由此可見(jiàn)，現(xiàn)有技術(shù)存在以下技術(shù)問(wèn)題：1)過(guò)多的三維立體顯示或過(guò)多的二維立體顯示導(dǎo)致的用戶(hù)體驗(yàn)劣化；2)通過(guò)配置較低的裝置進(jìn)行三維立體顯示時(shí)可能會(huì)出現(xiàn)無(wú)法顯示或顯示質(zhì)量低劣的情況；3)應(yīng)用以及展示的內(nèi)容需要三維顯示和二維顯示的切換；4)當(dāng)前的三維立體顯示技術(shù)成本過(guò)高、工作繁復(fù)、傳輸效率低以及運(yùn)算速度慢；5)三維立體顯示與二維平面顯示這兩種模式的實(shí)現(xiàn)方式不能很好地關(guān)聯(lián)整合的問(wèn)題；6)計(jì)算機(jī)全息圖進(jìn)行再現(xiàn)時(shí)存在零級(jí)衍射光斑和共軛像導(dǎo)致衍射效率不高，信噪比很低的問(wèn)題。

因此，迫切需要提出技術(shù)以解決上面所列出的技術(shù)問(wèn)題。

技術(shù)實(shí)現(xiàn)要素：

針對(duì)現(xiàn)有技術(shù)中存在的問(wèn)題，本申請(qǐng)?zhí)岢鲆环N用于能夠在三維顯示和二維顯示之間進(jìn)行切換的圖像處理方法和裝置以解決現(xiàn)有技術(shù)中存在的問(wèn)題。

根據(jù)本申請(qǐng)的一個(gè)方面，提供一種圖像處理方法，包括：獲取數(shù)字全息圖；根據(jù)預(yù)定條件，確定是否進(jìn)行三維顯示。以及當(dāng)確定進(jìn)行三維顯示時(shí)，基于所述數(shù)字全息圖生成用于三維顯示的圖像；或當(dāng)確定不進(jìn)行三維顯示時(shí)，基于所述數(shù)字全息圖生成用于二維顯示的圖像。

根據(jù)本申請(qǐng)的另一個(gè)方面，提供一種圖像處理裝置，包括：全息圖獲取模塊，用于獲取數(shù)字全息圖；確定模塊，用于根據(jù)預(yù)定條件，確定是否進(jìn)行三維顯示；三維圖像生成模塊，用于當(dāng)確定進(jìn)行三維顯示時(shí)，基于所述數(shù)字全息圖生成用于三維顯示的圖像；二維圖像生成模塊，用于當(dāng)確定不進(jìn)行三維顯示時(shí)，基于所述數(shù)字全息圖生成用于二維顯示的圖像。

根據(jù)本申請(qǐng)的另一個(gè)方面，提供一種圖像處理方法，包括：獲取數(shù)據(jù)流，所述數(shù)據(jù)流包括數(shù)字全息圖序列；根據(jù)預(yù)定條件，確定是否進(jìn)行三維顯示；以及當(dāng)確定進(jìn)行三維顯示時(shí)，基于所述數(shù)字全息圖序列中的數(shù)字全息圖生成用于三維顯示的圖像；或當(dāng)確定不進(jìn)行三維顯示時(shí)，基于所述數(shù)字全息圖序列中的數(shù)字全息圖生成用于二維顯示的圖像。

根據(jù)本申請(qǐng)的另一個(gè)方面，提供一種圖像處理裝置，包括：數(shù)據(jù)流獲取模塊，用于獲取數(shù)據(jù)流，所述數(shù)據(jù)流包括數(shù)字全息圖序列；確定模塊，用于根據(jù)預(yù)定條件，確定是否進(jìn)行三維顯示；三維圖像生成模塊，用于當(dāng)確定進(jìn)行三維顯示時(shí)，基于所述數(shù)字全息圖序列中的數(shù)字全息圖生成用于三維顯示的圖像；以及二維圖像生成模塊，用于當(dāng)確定不進(jìn)行三維顯示時(shí)，基于所述數(shù)字全息圖序列中的數(shù)字全息圖生成用于二維顯示的圖像。

通過(guò)本申請(qǐng)的圖像處理方法和裝置，能夠解決現(xiàn)有技術(shù)中存在的問(wèn)題，從而可以提高用戶(hù)體驗(yàn)、靈活的適用于各種硬件配置并且增強(qiáng)游戲以及展示內(nèi)容等應(yīng)用的表現(xiàn)力。

附圖說(shuō)明

此處所說(shuō)明的附圖用來(lái)提供對(duì)本申請(qǐng)的進(jìn)一步理解，構(gòu)成本申請(qǐng)的一部分，本申請(qǐng)的示意性實(shí)施例及其說(shuō)明用于解釋本申請(qǐng)，并不構(gòu)成對(duì)本申請(qǐng)的不當(dāng)限定。在附圖中：

圖1是示出根據(jù)本申請(qǐng)實(shí)施例1的圖像處理方法的流程圖；

圖2是示出根據(jù)本申請(qǐng)實(shí)施例2的圖像處理裝置的示意圖；

圖3是示出根據(jù)本申請(qǐng)實(shí)施例3的圖像處理方法的流程圖；

圖4是示出根據(jù)本申請(qǐng)實(shí)施例4的圖像處理裝置的示意圖；

圖5是示出了根據(jù)本申請(qǐng)實(shí)施例5的圖像處理系統(tǒng)的示意圖；

圖6是示出了根據(jù)本申請(qǐng)實(shí)施例5中的圖像處理裝置在接收到用戶(hù)指令后的流程圖；

圖7是示出了根據(jù)本申請(qǐng)實(shí)施例5中的圖像處理裝置在接收到數(shù)字全息圖之后的流程圖；

圖8是示出根據(jù)本申請(qǐng)實(shí)施例5的形成立體視覺(jué)的方法的流程圖；

圖9是對(duì)圖5中的步驟做出進(jìn)一步說(shuō)明的流程示意圖。

圖10(a)至圖10(d)是說(shuō)明根據(jù)實(shí)施例5的方法的效果圖；

圖11(a)至圖11(d)是說(shuō)明進(jìn)行魯棒性檢測(cè)的效果圖；

圖12是根據(jù)本申請(qǐng)的根據(jù)全息圖再現(xiàn)左圖像和右圖像的示意圖；

圖13是根據(jù)本申請(qǐng)實(shí)施例5的根據(jù)數(shù)字全息圖進(jìn)行二維顯示的方法流程；

圖14(a)是模擬基于來(lái)自虛擬對(duì)象的物光波的傅里葉頻域的示意圖；

圖14(b)是示出了所述數(shù)字全息圖的傅里葉頻譜分布的示意圖；

圖15(a)和圖15(b)是分別示出了實(shí)際的數(shù)字全息圖以及相應(yīng)的傅里葉頻譜分布圖的示意圖；

圖16(a)是示出了對(duì)數(shù)字全息圖的傅里葉頻譜進(jìn)行濾波后的頻譜的示意圖；

圖16(b)是示出了對(duì)數(shù)字全息圖的傅里葉頻譜進(jìn)行頻移后的頻譜分布的示意圖；

圖17是示出了根據(jù)實(shí)施例5的變形例所述的用于生成數(shù)字全息圖的方法的流程圖；

圖18是示出了根據(jù)本申請(qǐng)實(shí)施例6的圖像處理系統(tǒng)的示意圖；

圖19是示出了根據(jù)本申請(qǐng)實(shí)施例6中的圖像處理裝置在接收到資源配置測(cè)試參數(shù)后的流程圖；

圖20是示出了根據(jù)本申請(qǐng)實(shí)施例7的圖像處理系統(tǒng)的示意圖；

圖21是示出了根據(jù)本申請(qǐng)實(shí)施例7的圖像處理裝置在接收到應(yīng)用指示后的流程圖；

圖22是示出了根據(jù)本申請(qǐng)實(shí)施例8的圖像處理系統(tǒng)的示意圖；

圖23是示出了根據(jù)本申請(qǐng)實(shí)施例8中的圖像處理裝置在接收到資源配置測(cè)試參數(shù)后的流程圖；

圖24是示出了根據(jù)本申請(qǐng)實(shí)施例8中的圖像處理裝置在接收到用戶(hù)指令后的流程圖；

圖25是示出了根據(jù)本申請(qǐng)實(shí)施例8中的圖像處理裝置在接收到應(yīng)用指示后的流程圖；

圖26是根據(jù)現(xiàn)有技術(shù)的用于形成立體視覺(jué)的方法的流程圖；

圖27是根據(jù)現(xiàn)有技術(shù)的基于數(shù)字全息圖進(jìn)行二維顯示的方法的流程圖。

具體實(shí)施方式

為了使本技術(shù)領(lǐng)域的人員更好地理解本申請(qǐng)方案，下面將結(jié)合本申請(qǐng)實(shí)施例中的附圖，對(duì)本申請(qǐng)實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本申請(qǐng)一部分的實(shí)施例，而不是全部的實(shí)施例?；诒旧暾?qǐng)中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都應(yīng)當(dāng)屬于本申請(qǐng)保護(hù)的范圍。

需要說(shuō)明的是，本申請(qǐng)的說(shuō)明書(shū)和權(quán)利要求書(shū)及上述附圖中的術(shù)語(yǔ)“第一”、“第二”等是用于區(qū)別類(lèi)似的對(duì)象，而不必用于描述特定的順序或先后次序。應(yīng)該理解這樣使用的數(shù)據(jù)在適當(dāng)情況下可以互換，以便這里描述的本申請(qǐng)的實(shí)施例能夠以除了在這里圖示或描述的那些以外的順序?qū)嵤?。此外，術(shù)語(yǔ)“包括”和“具有”以及他們的任何變形，意圖在于覆蓋不排他的包含，例如，包含了一系列步驟或模塊或單元的過(guò)程、方法、系統(tǒng)、產(chǎn)品或設(shè)備不必限于清楚地列出的那些步驟或模塊或單元，而是可包括沒(méi)有清楚地列出的或?qū)τ谶@些過(guò)程、方法、產(chǎn)品或設(shè)備固有的其它步驟或模塊或單元。

實(shí)施例1

附圖1示出了根據(jù)實(shí)施例1的圖像處理方法的流程圖，如附圖1所示，該方法包括：

s102：獲取數(shù)字全息圖；以及

s104：根據(jù)預(yù)定條件，確定是否進(jìn)行三維顯示；以及

s106：當(dāng)確定進(jìn)行三維顯示時(shí)，基于所述數(shù)字全息圖生成用于三維顯示的圖像；或

s108：當(dāng)確定不進(jìn)行三維顯示時(shí)，基于所述數(shù)字全息圖生成用于二維顯示的圖像。

在實(shí)施例1的技術(shù)方案中，根據(jù)預(yù)定條件基于所述數(shù)字全息圖生成用于三維顯示的圖像或用于二維顯示的圖像，從而實(shí)現(xiàn)了三維顯示和二維顯示之間的切換。并且尤其是，用于進(jìn)行三維顯示的圖像和用于進(jìn)行二維顯示的都是基于數(shù)字全息圖產(chǎn)生的，從而使得進(jìn)行三維顯示和進(jìn)行二維顯示的這兩種模式的實(shí)現(xiàn)方式通過(guò)數(shù)字全息圖這一關(guān)鍵特征而整合在一起。從而在進(jìn)行顯示時(shí)，只需要提供數(shù)字全息圖即可，而不需要提供其他的圖像數(shù)據(jù)，從而提高了整合的效率以及數(shù)據(jù)傳輸、數(shù)據(jù)處理的效率。需要說(shuō)明的是，實(shí)施例1的技術(shù)方案對(duì)于生成用于三維顯示的圖像的方式?jīng)]有特別限制，凡是通過(guò)數(shù)字全息圖生成三維顯示的圖像的方式都可用于本申請(qǐng)。

可選地，所述方法還包括接收來(lái)自用戶(hù)的用戶(hù)指示或從正在運(yùn)行的應(yīng)用接收應(yīng)用指示，并且所述根據(jù)預(yù)定條件，確定是否進(jìn)行三維顯示，包括：根據(jù)所述用戶(hù)指示確定是否進(jìn)行三維顯示；或者根據(jù)所述應(yīng)用指示來(lái)確定是否進(jìn)行三維顯示。從而根據(jù)本方案，可以根據(jù)用戶(hù)的指示在二維顯示和三維顯示之間進(jìn)行切線(xiàn)，從而提高了用戶(hù)體驗(yàn)。并且根據(jù)本技術(shù)方案，可以根據(jù)正在運(yùn)行的應(yīng)用(如正在運(yùn)行的游戲以及正在演示的視頻等)的要求，實(shí)現(xiàn)三維和二維顯示的切換，增強(qiáng)了所述應(yīng)用的顯示效果以及用戶(hù)體驗(yàn)。

可選地，所述方法還包括對(duì)進(jìn)行圖像處理和/或進(jìn)行圖像顯示的裝置的相關(guān)參數(shù)進(jìn)行檢測(cè)。并且所述根據(jù)預(yù)定條件，確定是否進(jìn)行三維顯示，還包括：在根據(jù)所述用戶(hù)指示或根據(jù)所述應(yīng)用指示確定進(jìn)行三維顯示后，進(jìn)一步根據(jù)所述相關(guān)參數(shù)確定是否進(jìn)行三維顯示。從而根據(jù)本方案，在進(jìn)行三維顯示時(shí)，本方法還可以對(duì)進(jìn)行圖像處理和顯示的裝置的相關(guān)參數(shù)進(jìn)行檢測(cè)(例如，處理器的運(yùn)算速度、存儲(chǔ)器容量的大小、數(shù)據(jù)傳輸?shù)乃俾实?，從而確定是否適于進(jìn)行三維顯示，如果確定該裝置能夠進(jìn)行三維顯示時(shí)，則生成三維顯示的圖像，否則就進(jìn)行二維顯示。這樣可以靈活地根據(jù)資源配置實(shí)現(xiàn)三維和二維顯示之間的切換，從而提升了顯示的速度和效果。

可選地所述方法還包括對(duì)進(jìn)行圖像處理和/或進(jìn)行圖像顯示的裝置的相關(guān)參數(shù)進(jìn)行檢測(cè)。并且所述根據(jù)預(yù)定條件，確定是否進(jìn)行三維顯示，包括：根據(jù)所述相關(guān)參數(shù)，確定是否進(jìn)行三維顯示。從而根據(jù)本方案，在進(jìn)行三維顯示時(shí)，本方法還可以對(duì)進(jìn)行圖像處理和顯示的裝置的相關(guān)參數(shù)進(jìn)行檢測(cè)(例如，處理器的運(yùn)算速度、存儲(chǔ)器容量的大小、數(shù)據(jù)傳輸?shù)乃俾实?，從而確定是否適于進(jìn)行三維顯示，如果確定該裝置能夠進(jìn)行三維顯示時(shí)，則生成三維顯示的圖像，否則就進(jìn)行二維顯示。這樣可以靈活地根據(jù)資源配置實(shí)現(xiàn)三維和二維顯示之間的切換，從而提升了顯示的速度和效果。

可選地，所述方法還包括接收來(lái)自用戶(hù)的用戶(hù)指示或者從正在運(yùn)行的應(yīng)用接收應(yīng)用指示。并且所述根據(jù)預(yù)定條件，確定是否進(jìn)行三維顯示，包括：在根據(jù)所述相關(guān)參數(shù)確定不進(jìn)行三維顯示之后，直接確定不進(jìn)行三維顯示。也就是說(shuō)，根據(jù)相關(guān)參數(shù)判定的結(jié)果具有最高的優(yōu)先級(jí)，當(dāng)根據(jù)相關(guān)參數(shù)判定不能進(jìn)行三維顯示時(shí)，則無(wú)需考慮用戶(hù)指示或者應(yīng)用指示而只進(jìn)行二維顯示。

可選地，所述方法還包括接收來(lái)自用戶(hù)的用戶(hù)指示或者從正在運(yùn)行的應(yīng)用接收應(yīng)用指示。并且，在根據(jù)所述相關(guān)參數(shù)確定進(jìn)行三維顯示之后，所述根據(jù)預(yù)定條件，確定是否進(jìn)行三維顯示，還包括：根據(jù)所述用戶(hù)指示，確定是否進(jìn)行三維顯示；或者根據(jù)所述應(yīng)用指示確定是否進(jìn)行三維顯示。也就是說(shuō)，只有在根據(jù)相關(guān)參數(shù)判定可以進(jìn)行三維顯示時(shí)，才會(huì)根據(jù)用戶(hù)指示或應(yīng)用指示來(lái)判定是否進(jìn)行三維顯示。進(jìn)一步說(shuō)明書(shū)根據(jù)相關(guān)參數(shù)做出的決定相對(duì)于用戶(hù)指示和應(yīng)用指示具有相對(duì)較高的優(yōu)先級(jí)。

可選地，所述方法還包括接收來(lái)自用戶(hù)的用戶(hù)指示以及從正在運(yùn)行的應(yīng)用接收應(yīng)用指示，并且所述根據(jù)預(yù)定條件，確定是否進(jìn)行三維顯示，包括：根據(jù)所述用戶(hù)指示確定是否進(jìn)行三維顯示；或者根據(jù)所述用戶(hù)指示，確定基于所述應(yīng)用指示來(lái)確定是否進(jìn)行三維顯示。也就是說(shuō)，相對(duì)于應(yīng)用指示，用戶(hù)指示又具有相對(duì)較高的優(yōu)先級(jí)。因此需要由用戶(hù)指示來(lái)確定基于應(yīng)用指示確定是否進(jìn)行三維顯示。

可選地，所述獲取數(shù)字全息圖包括：獲取虛擬對(duì)象的三維信息；以及根據(jù)所述三維信息生成數(shù)字全息圖。并且所述生成用于三維顯示的圖像包括：根據(jù)所述數(shù)字全息圖以及與所述數(shù)字全息圖相關(guān)的第一參考光信息生成分別對(duì)應(yīng)于左視點(diǎn)和右視點(diǎn)的左圖像和右圖像。

由于根據(jù)數(shù)字全息圖生成對(duì)應(yīng)于左視點(diǎn)和右視點(diǎn)的左圖像和右圖像，因此在實(shí)際操作中，只需要根據(jù)數(shù)字全息圖再現(xiàn)生成系統(tǒng)需要的左右圖像，即可作為信息源輸入虛擬現(xiàn)實(shí)系統(tǒng)，從而減少相機(jī)數(shù)量和相機(jī)標(biāo)定工作，降低算法和成本代價(jià)。并且由于數(shù)字全息圖來(lái)記錄三維虛擬對(duì)象的信息，因此可以有效地防止場(chǎng)景信息的缺失。

可選地，所述獲取虛擬對(duì)象的三維信息，包括：獲取所述虛擬對(duì)象的預(yù)設(shè)記錄距離；以及計(jì)算所述虛擬對(duì)象在所述預(yù)設(shè)記錄距離處的波前函數(shù)，其中，所述波前函數(shù)包括振幅信息和相位信息，并且所述根據(jù)所述三維信息生成數(shù)字全息圖，包括：根據(jù)所述波前函數(shù)以及第二參考光信息計(jì)算生成所述數(shù)字全息圖。根據(jù)該方法，利用波前函數(shù)以及參考光信息計(jì)算生成數(shù)字全息圖，從而整個(gè)數(shù)字全息圖的生成過(guò)程都是通過(guò)計(jì)算模擬實(shí)現(xiàn)的，因此節(jié)省了生成數(shù)字全息圖的硬件成本。并且由于不需要引入實(shí)際的光源以及成像裝置，因此也使得該方法更容易實(shí)現(xiàn)。此外，除了上述方法外，任何用于獲取虛擬對(duì)象的三維信息以便生成數(shù)字全息圖的方式都適用于本申請(qǐng)，都能得到本技術(shù)方案的支持。

可選地，所述第一參考光信息包括與所述左視點(diǎn)和右視點(diǎn)對(duì)應(yīng)的左視點(diǎn)再現(xiàn)參考光信息和右視點(diǎn)再現(xiàn)參考光信息，其中，所述左視點(diǎn)再現(xiàn)參考光信息包括：模擬從與左視點(diǎn)對(duì)應(yīng)的左再現(xiàn)參考光源發(fā)出的光線(xiàn)照射到所述數(shù)字全息圖時(shí)的入射角度，所述右視點(diǎn)再現(xiàn)參考光信息包括：模擬從與右視點(diǎn)對(duì)應(yīng)的右再現(xiàn)參考光源發(fā)出的光線(xiàn)照射到所述數(shù)字全息圖時(shí)的入射角度。并且所述根據(jù)所述數(shù)字全息圖以及與所述數(shù)字全息圖相關(guān)的第一參考光信息生成分別對(duì)應(yīng)于左視點(diǎn)和右視點(diǎn)的左圖像和右圖像，包括：基于所述左視點(diǎn)再現(xiàn)參考光信息和右視點(diǎn)再現(xiàn)參考光信息以及所述數(shù)字全息圖生成所述左圖像和右圖像。根據(jù)該方法，只需要基于所述參考光信息生成與所述左視點(diǎn)和右視點(diǎn)對(duì)應(yīng)的左視點(diǎn)再現(xiàn)參考光信息和右視點(diǎn)再現(xiàn)參考光信息，再基于所述左視點(diǎn)再現(xiàn)參考光信息和右視點(diǎn)再現(xiàn)參考光信息以及所述數(shù)字全息圖即可生成所述左圖像和右圖像。由于在實(shí)際操作中，所述左視點(diǎn)參考光信息和所述右視點(diǎn)參考光信息均可根據(jù)所述參考光信息產(chǎn)生(例如根據(jù)從所述左視點(diǎn)和右視點(diǎn)發(fā)出的光線(xiàn)照射到所述數(shù)字全息圖時(shí)的入射角，基于所述參考光信息生成與所述左視點(diǎn)和右視點(diǎn)對(duì)應(yīng)的左視點(diǎn)再現(xiàn)參考光信息和右視點(diǎn)再現(xiàn)參考光信息)，因此可以?xún)H僅利用參考光信息與所述全息圖即可生成所述左圖像和右圖像，因此減少了生成所述左圖像和右圖像所需的數(shù)據(jù)量。此外對(duì)于本申請(qǐng)而言，除了該方法之外，其他的用于產(chǎn)生左圖像和右圖像的方法也適用于本申請(qǐng)的技術(shù)方案。

可選地，所述預(yù)設(shè)記錄距離至少為兩個(gè)。并且所述計(jì)算所述虛擬對(duì)象在所述預(yù)設(shè)記錄距離處的波前函數(shù)，包括：分別計(jì)算所述虛擬對(duì)象在各個(gè)所述預(yù)設(shè)記錄距離處的波前函數(shù)，并對(duì)所述波前函數(shù)進(jìn)行疊加。以及所述根據(jù)所述波前函數(shù)以及第二參考光信息計(jì)算生成所述數(shù)字全息圖，包括：根據(jù)疊加后的所述波前函數(shù)以及所述第二參考光信息計(jì)算生成所述數(shù)字全息圖。

因?yàn)槿S虛擬對(duì)象的波前函數(shù)具有不同的預(yù)設(shè)記錄距離d(不同的預(yù)設(shè)記錄距離d對(duì)應(yīng)不同的層)，因此將三維虛擬對(duì)象在不同預(yù)設(shè)記錄距離下的波前函數(shù)進(jìn)行疊加，再與參考光信息結(jié)合，形成全息圖的過(guò)程就成為分層信息記錄的過(guò)程。而全息再現(xiàn)時(shí)，只能在對(duì)應(yīng)的再現(xiàn)距離d下，才能夠清晰的再現(xiàn)出相應(yīng)的再現(xiàn)像，這樣就不會(huì)產(chǎn)生相應(yīng)的干擾。

可選地，所述獲取數(shù)字全息圖包括：獲取真實(shí)環(huán)境中真實(shí)對(duì)象的三維坐標(biāo)信息，并獲取虛擬對(duì)象的三維坐標(biāo)信息；以及根據(jù)所述真實(shí)對(duì)象的三維坐標(biāo)信息和所述虛擬對(duì)象的三維坐標(biāo)信息生成所述數(shù)字全息圖。并且所述生成用于三維顯示的圖像包括：根據(jù)所述數(shù)字全息圖以及與所述數(shù)字全息圖相關(guān)的第一參考光信息生成分別對(duì)應(yīng)于左視點(diǎn)和右視點(diǎn)的左圖像和右圖像。

在本申請(qǐng)的實(shí)施例中，真實(shí)環(huán)境又可以稱(chēng)為現(xiàn)實(shí)環(huán)境，真實(shí)對(duì)象又可以稱(chēng)為現(xiàn)實(shí)環(huán)境中的現(xiàn)實(shí)物體；虛擬對(duì)象為研發(fā)人員通過(guò)計(jì)算機(jī)生成的虛擬物體、場(chǎng)景或系統(tǒng)提示信息中的至少之一。

在本申請(qǐng)的一個(gè)可選實(shí)施方式中，真實(shí)對(duì)象的三維坐標(biāo)信息包括：真實(shí)對(duì)象的振幅和真實(shí)對(duì)象的相位；虛擬對(duì)象的三維坐標(biāo)信息包括：虛擬對(duì)象的振幅和虛擬對(duì)象的相位。

在本發(fā)明實(shí)施例中，通過(guò)將真實(shí)環(huán)境中真實(shí)對(duì)象的三維坐標(biāo)信息和虛擬對(duì)象的三維坐標(biāo)信息進(jìn)行疊加得到目標(biāo)全息圖，然后，對(duì)目標(biāo)全息圖進(jìn)行再現(xiàn)使得虛擬對(duì)象能夠表示在真實(shí)環(huán)境中，采用本發(fā)明實(shí)施例不僅達(dá)到了增強(qiáng)現(xiàn)實(shí)的目的，還可以滿(mǎn)足魯棒性和正確性的性能要求，進(jìn)而解決了現(xiàn)有的增強(qiáng)現(xiàn)實(shí)技術(shù)的魯棒性和正確性無(wú)法滿(mǎn)足目標(biāo)需求的技術(shù)問(wèn)題。并且，由于根據(jù)數(shù)字全息圖生成對(duì)應(yīng)于左視點(diǎn)和右視點(diǎn)的左圖像和右圖像，因此在實(shí)際操作中，只需要根據(jù)數(shù)字全息圖再現(xiàn)生成系統(tǒng)需要的左右圖像，即可作為信息源輸入虛擬現(xiàn)實(shí)系統(tǒng)，從而減少相機(jī)數(shù)量和相機(jī)標(biāo)定工作，降低算法和成本代價(jià)。并且由于數(shù)字全息圖來(lái)記錄三維虛擬對(duì)象的信息，因此可以有效地防止場(chǎng)景信息的缺失。

可選地，獲取真實(shí)環(huán)境中真實(shí)對(duì)象的三維坐標(biāo)信息，具體為：首先，對(duì)真實(shí)對(duì)象進(jìn)行全息處理，得到真實(shí)對(duì)象的全息圖，然后，對(duì)真實(shí)對(duì)象的全息圖進(jìn)行時(shí)頻分析，得到真實(shí)對(duì)象的波前函數(shù)，其中，真實(shí)對(duì)象的波前函數(shù)包括真實(shí)對(duì)象的三維坐標(biāo)信息。

在本發(fā)明實(shí)施例中，可以通過(guò)光學(xué)衍射對(duì)真實(shí)環(huán)境中的真實(shí)對(duì)象進(jìn)行全息記錄，以獲取真實(shí)對(duì)象的全息圖，其中，數(shù)字全息技術(shù)是指物體反射的光波與參考光波相疊加產(chǎn)生干涉條紋，被記錄的這些干涉條紋稱(chēng)為全息圖，其中，全息圖在一定的條件下可以再現(xiàn)，以重現(xiàn)原物體逼真的三維像，傳統(tǒng)的全息技術(shù)分為光學(xué)全息和計(jì)算全息。

在獲取到真實(shí)對(duì)象的全息圖之后，即可以對(duì)真實(shí)對(duì)象的全息圖進(jìn)行時(shí)頻分析、處理得到真實(shí)對(duì)象的波前函數(shù)，在該波前函數(shù)中包含真實(shí)對(duì)象的振幅和真實(shí)對(duì)象的相位信息。

可選地，對(duì)真實(shí)對(duì)象的全息圖進(jìn)行時(shí)頻分析，得到真實(shí)對(duì)象的波前函數(shù)包括：通過(guò)傅里葉變換將真實(shí)對(duì)象的全息圖變換至頻域空間，然后，在頻域空間對(duì)真實(shí)對(duì)象的全息圖在頻域空間內(nèi)進(jìn)行高通濾波，保留得到真實(shí)對(duì)象的物光波前信息，最后，通過(guò)傅里葉逆變換將物光波前信息進(jìn)行傅里葉逆變換，變換得到真實(shí)對(duì)象的波前函數(shù)(波前函數(shù)又可以稱(chēng)為波前復(fù)振幅函數(shù))，其中，在得到的波前函數(shù)中包括真實(shí)對(duì)象的振幅和真實(shí)對(duì)象的相位。

可選地，獲取虛擬對(duì)象的三維坐標(biāo)信息包括：獲取所述虛擬對(duì)象的預(yù)設(shè)記錄距離；計(jì)算所述虛擬對(duì)象在所述預(yù)設(shè)記錄距離處的波前函數(shù)，其中，所述虛擬對(duì)象的波前函數(shù)中包括所述虛擬對(duì)象的三維坐標(biāo)信息。

可選地，根據(jù)所述真實(shí)對(duì)象的三維坐標(biāo)信息和所述虛擬對(duì)象的三維坐標(biāo)信息生成數(shù)字全息圖包括：將所述真實(shí)對(duì)象的波前函數(shù)和所述虛擬對(duì)象的波前函數(shù)進(jìn)行疊加得到波前信息；以及根據(jù)所得到波前信息以及第二參考光信息計(jì)算生成所述數(shù)字全息圖。根據(jù)該方法，利用波前函數(shù)以及參考光信息計(jì)算生成數(shù)字全息圖，從而整個(gè)數(shù)字全息圖的生成過(guò)程都是通過(guò)計(jì)算實(shí)現(xiàn)的，因此節(jié)省了生成數(shù)字全息圖的硬件成本。此外，除了上述方法外，任何用于獲取虛擬對(duì)象的三維信息以便生成數(shù)字全息圖的方式都適用于本申請(qǐng)，都能得到本技術(shù)方案的支持

可選地，所述生成用于二維顯示的圖像，是通過(guò)在所述數(shù)字全息圖的頻譜中僅保留與生成所述用于二維顯示的圖像相關(guān)聯(lián)的波前函數(shù)的頻譜，而濾除其他頻譜實(shí)現(xiàn)的。從而，在進(jìn)行二維顯示時(shí)，通過(guò)在所述數(shù)字全息圖的頻譜中僅保留與生成所述用于二維顯示的圖像相關(guān)聯(lián)的波前函數(shù)的頻譜，而濾除其他頻譜實(shí)現(xiàn)的，一方面減少了計(jì)算的復(fù)雜度，另一方面率除了零級(jí)衍射和共軛像的影響，提高了顯示的質(zhì)量。

可選地，所述生成用于二維顯示的圖像，是通過(guò)在所述數(shù)字全息圖的頻譜中保留﹢1級(jí)頻譜，并且濾除0級(jí)頻譜和﹣1級(jí)頻譜而實(shí)現(xiàn)的。進(jìn)一步可選地，所述生成用于二維顯示的圖像，還包括將所述﹢1級(jí)頻譜頻移至所述數(shù)字全息圖的頻譜中的所述0級(jí)頻譜的位置。通過(guò)該方式，在進(jìn)行二維顯示時(shí)，通過(guò)在所述數(shù)字全息圖的頻譜中保留與所述用于二維顯示的圖像的波前函數(shù)相關(guān)的頻譜，而濾除0級(jí)頻譜和﹣1級(jí)頻譜而生成用于二維顯示的圖像，從而一方面減少了計(jì)算的復(fù)雜度，另一方面濾除了零級(jí)衍射和共軛像的影響，提高了顯示的質(zhì)量。

可選地，所述生成用于二維顯示的圖像，包括：對(duì)所述數(shù)字全息圖進(jìn)行傅里葉變換，生成所述數(shù)字全息圖的頻譜；在所述數(shù)字全息圖的頻譜中濾除所述0級(jí)頻譜和所述-1級(jí)頻譜，并且保留﹢1級(jí)頻譜；將所述﹢1級(jí)頻譜頻移至所述數(shù)字全息圖的頻譜中的所述0級(jí)頻譜的位置；以及對(duì)所述頻移后的所述數(shù)字全息圖的頻譜進(jìn)行逆傅里葉變換，生成用于二維顯示的圖像。這樣通過(guò)傅立葉變換實(shí)現(xiàn)波前函數(shù)在頻域以及空域之間的轉(zhuǎn)換，并且通過(guò)在所述數(shù)字全息圖的頻譜中僅保留與所述用于二維顯示的圖像的波前函數(shù)相關(guān)的頻譜，而濾除其他頻譜而生成用于二維顯示的圖像，從而一方面減少了計(jì)算的復(fù)雜度，另一方面濾除了零級(jí)衍射和共軛像的影響，提高了顯示的質(zhì)量。

實(shí)施例2

附圖2示出了根據(jù)本申請(qǐng)實(shí)施例2的圖像處理裝置200的示意圖。如圖2所示，該圖像處理裝置200包括：全息圖獲取模塊201，用于獲取數(shù)字全息圖；確定模塊202，用于根據(jù)預(yù)定條件，確定是否進(jìn)行三維顯示；三維圖像生成模塊203，用于當(dāng)確定進(jìn)行三維顯示時(shí)，基于所述數(shù)字全息圖生成用于三維顯示的圖像；二維圖像生成模塊204，用于當(dāng)確定不進(jìn)行三維顯示時(shí)，基于所述數(shù)字全息圖生成用于二維顯示的圖像。

可選地，所述確定模塊202包括：用于接收來(lái)自用戶(hù)的用戶(hù)指示的客戶(hù)指示接收單元或用于從正在運(yùn)行的應(yīng)用接收應(yīng)用指示的應(yīng)用指示接收單元；以及判定單元，用于根據(jù)所述用戶(hù)指示或所述應(yīng)用指示確定是否進(jìn)行三維顯示。

可選地，所述確定模塊202包括：參數(shù)檢測(cè)單元，用于對(duì)進(jìn)行圖像處理和/或進(jìn)行圖像顯示的裝置的相關(guān)參數(shù)進(jìn)行檢測(cè)；以及判定單元，在根據(jù)所述用戶(hù)指示或根據(jù)所述應(yīng)用指示確定進(jìn)行三維顯示后，進(jìn)一步根據(jù)所述相關(guān)參數(shù)確定是否進(jìn)行三維顯示。

可選地，所述確定模塊202包括：參數(shù)檢測(cè)單元，用于對(duì)進(jìn)行圖像處理和/或進(jìn)行圖像顯示的裝置的相關(guān)參數(shù)進(jìn)行檢測(cè)；以及判定單元，用于根據(jù)所述相關(guān)參數(shù)確定是否進(jìn)行三維顯示。

可選地，所述確定模塊202還包括用于接收來(lái)自用戶(hù)的用戶(hù)指示的客戶(hù)指示接收單元或用于從正在運(yùn)行的應(yīng)用接收應(yīng)用指示的應(yīng)用指示接收單元。并且所述判定單元配置為在根據(jù)所述相關(guān)參數(shù)確定不進(jìn)行三維顯示之后，直接確定不進(jìn)行三維顯示。

可選地，所述確定模塊202還包括用于接收來(lái)自用戶(hù)的用戶(hù)指示的客戶(hù)指示接收單元或用于從正在運(yùn)行的應(yīng)用接收應(yīng)用指示的應(yīng)用指示接收單元。并且所述判定單元配置為在根據(jù)所述相關(guān)參數(shù)確定進(jìn)行三維顯示之后，根據(jù)所述用戶(hù)指示，確定是否進(jìn)行三維顯示；或者根據(jù)所述應(yīng)用指示確定是否進(jìn)行三維顯示。

可選地，所述全息圖獲取模塊201包括：三維信息獲取單元，用于獲取虛擬對(duì)象的三維信息；以及數(shù)字全息圖生成單元，用于根據(jù)所述三維信息生成所述數(shù)字全息圖。并且所述三維圖像生成模塊203包括：左右圖像生成單元，用于根據(jù)所述數(shù)字全息圖以及與所述數(shù)字全息圖相關(guān)的第一參考光信息生成分別對(duì)應(yīng)于左視點(diǎn)和右視點(diǎn)的左圖像和右圖像。

可選地，所述三維信息獲取單元包括：預(yù)設(shè)記錄距離獲取部件，用于獲取所述虛擬對(duì)象的預(yù)設(shè)記錄距離；以及波前函數(shù)計(jì)算部件，用于計(jì)算所述虛擬對(duì)象在所述預(yù)設(shè)記錄距離處的波前函數(shù)。其中，所述波前函數(shù)包括振幅信息和相位信息。并且所述全息圖生成單元包括：全息圖計(jì)算部件，用于根據(jù)所述波前函數(shù)以及第二參考光信息計(jì)算生成所述數(shù)字全息圖。由于圖像處理裝置利用波前函數(shù)以及參考光信息計(jì)算生成數(shù)字全息圖，從而整個(gè)數(shù)字全息圖的生成過(guò)程都是通過(guò)計(jì)算模擬實(shí)現(xiàn)的，因此節(jié)省了生成數(shù)字全息圖的硬件成本。并且由于不需要引入光源以及成像裝置，因此也使得該方法更容易實(shí)現(xiàn)。

可選地，所述第一參考光信息包括與所述左視點(diǎn)和右視點(diǎn)對(duì)應(yīng)的左視點(diǎn)再現(xiàn)參考光信息和右視點(diǎn)再現(xiàn)參考光信息，其中，所述左視點(diǎn)再現(xiàn)參考光信息包括：模擬從與左視點(diǎn)對(duì)應(yīng)的左再現(xiàn)參考光源發(fā)出的光線(xiàn)照射到所述數(shù)字全息圖時(shí)的入射角度，所述右視點(diǎn)再現(xiàn)參考光信息包括：模擬從與右視點(diǎn)對(duì)應(yīng)的右再現(xiàn)參考光源發(fā)出的光線(xiàn)照射到所述數(shù)字全息圖時(shí)的入射角度。并且所述左右圖像生成單元包括：左右圖像生成部件，用于基于所述左視點(diǎn)再現(xiàn)參考光信息和右視點(diǎn)再現(xiàn)參考光信息以及所述數(shù)字全息圖生成所述左圖像和右圖像?；谠搱D像處理裝置，只需要基于所述參考光信息生成與所述左視點(diǎn)和右視點(diǎn)對(duì)應(yīng)的左視點(diǎn)再現(xiàn)參考光信息和右視點(diǎn)再現(xiàn)參考光信息，再基于所述左視點(diǎn)再現(xiàn)參考光信息和右視點(diǎn)再現(xiàn)參考光信息以及所述數(shù)字全息圖即可生成所述左圖像和右圖像。由于在實(shí)際操作中，所述左視點(diǎn)參考光信息和所述右視點(diǎn)參考光信息均可根據(jù)所述參考光信息產(chǎn)生(例如根據(jù)從所述左視點(diǎn)和右視點(diǎn)發(fā)出的光線(xiàn)照射到所述數(shù)字全息圖時(shí)的入射角，基于所述參考光信息生成與所述左視點(diǎn)和右視點(diǎn)對(duì)應(yīng)的左視點(diǎn)再現(xiàn)參考光信息和右視點(diǎn)再現(xiàn)參考光信息)，因此可以?xún)H僅利用參考光信息與所述全息圖即可生成所述左圖像和右圖像，因此減少了生成所述左圖像和右圖像所需的數(shù)據(jù)量。

可選地，所述預(yù)設(shè)記錄距離至少為兩個(gè)。并且所述波前函數(shù)計(jì)算部件包括：波前函數(shù)疊加元件，分別計(jì)算所述虛擬對(duì)象在各個(gè)所述預(yù)設(shè)記錄距離處的波前函數(shù)，并對(duì)所述波前函數(shù)進(jìn)行疊加，以及所述全息圖計(jì)算部件包括：數(shù)字全息圖生成元件，用于根據(jù)疊加后的所述波前函數(shù)以及所述第二參考光信息計(jì)算生成所述數(shù)字全息圖。因?yàn)槿S虛擬對(duì)象的波前函數(shù)具有不同的預(yù)設(shè)記錄距離d(不同的預(yù)設(shè)記錄距離d對(duì)應(yīng)不同的層)，因此將三維虛擬對(duì)象在不同預(yù)設(shè)記錄距離下的波前函數(shù)進(jìn)行疊加，再與參考光信息結(jié)合，形成全息圖的過(guò)程就成為分層信息記錄的過(guò)程。而全息再現(xiàn)時(shí)，只能在對(duì)應(yīng)的再現(xiàn)距離d下，才能夠清晰的再現(xiàn)出相應(yīng)的再現(xiàn)像，這樣就不會(huì)產(chǎn)生相應(yīng)的干擾。

可選地，所述全息圖獲取模塊201包括：三維信息獲取單元，用于獲取真實(shí)環(huán)境中真實(shí)對(duì)象的三維坐標(biāo)信息，并獲取虛擬對(duì)象的三維坐標(biāo)信息；以及數(shù)字全息圖生成單元，用于根據(jù)所述真實(shí)對(duì)象的三維坐標(biāo)信息和所述虛擬對(duì)象的三維坐標(biāo)信息生成所述數(shù)字全息圖。并且所述三維圖像生成模塊203包括：左右圖像生成單元，用于根據(jù)所述數(shù)字全息圖以及與所述數(shù)字全息圖相關(guān)的第一參考光信息生成分別對(duì)應(yīng)于左視點(diǎn)和右視點(diǎn)的左圖像和右圖像。

可選地，所述三維信息獲取單元包括：真實(shí)對(duì)象全息處理組件，用于對(duì)真實(shí)對(duì)象進(jìn)行全息處理，得到真實(shí)對(duì)象的全息圖；以及真實(shí)對(duì)象函數(shù)組件，用于對(duì)真實(shí)對(duì)象的全息圖進(jìn)行時(shí)頻分析，得到真實(shí)對(duì)象的波前函數(shù)，其中，真實(shí)對(duì)象的波前函數(shù)包括真實(shí)對(duì)象的三維坐標(biāo)信息。

可選地，所述真實(shí)對(duì)象函數(shù)組件包括：時(shí)頻分析元件，用于對(duì)真實(shí)對(duì)象的全息圖進(jìn)行時(shí)頻分析；波前函數(shù)元件，用于通過(guò)傅里葉變換將真實(shí)對(duì)象的全息圖變換至頻域空間，然后，在頻域空間對(duì)真實(shí)對(duì)象的全息圖在頻域空間內(nèi)進(jìn)行高通濾波，保留得到真實(shí)對(duì)象的物光波前信息，最后，通過(guò)傅里葉逆變換將物光波前信息進(jìn)行傅里葉逆變換，變換得到真實(shí)對(duì)象的波前函數(shù)(波前函數(shù)又可以稱(chēng)為波前復(fù)振幅函數(shù))。其中，在得到的波前函數(shù)中包括真實(shí)對(duì)象的振幅和真實(shí)對(duì)象的相位。

可選地，所述三維信息獲取單元包括：虛擬對(duì)象記錄距離獲取組件，用于獲取所述虛擬對(duì)象的預(yù)設(shè)記錄距離；虛擬對(duì)象波前函數(shù)計(jì)算組件，用于計(jì)算所述虛擬對(duì)象在所述預(yù)設(shè)記錄距離處的波前函數(shù)，其中，所述虛擬對(duì)象的波前函數(shù)中包括所述虛擬對(duì)象的三維坐標(biāo)信息。

可選地，所述數(shù)字全息圖生成單元包括：波前函數(shù)疊加組件，用于將所述真實(shí)對(duì)象的波前函數(shù)和所述虛擬對(duì)象的波前函數(shù)進(jìn)行疊加得到波前信息；以及數(shù)字全息圖生成組件，用于根據(jù)所得到波前信息以及第二參考光信息計(jì)算生成所述數(shù)字全息圖。

可選地，所述生成用于二維顯示的圖像，是通過(guò)在所述數(shù)字全息圖的頻譜中僅保留與生成所述用于二維顯示的圖像相關(guān)聯(lián)的波前函數(shù)的頻譜，而濾除其他頻譜實(shí)現(xiàn)的。

可選地，所述二維圖像生成模塊204包括濾波單元，用于所述數(shù)字全息圖的頻譜中保留﹢1級(jí)頻譜，并且濾除0級(jí)頻譜和﹣1級(jí)頻譜。

可選地，所述二維圖像生成模塊204還包括頻移單元，用于將所述﹢1級(jí)頻譜頻移至所述數(shù)字全息圖的頻譜中的所述0級(jí)頻譜的位置。

可選地，所述的二維圖像生成模塊204包括：傅里葉變換單元，用于對(duì)所述數(shù)字全息圖進(jìn)行傅里葉變換，生成所述數(shù)字全息圖的頻譜；濾波單元，用于在所述數(shù)字全息圖的頻譜中濾除所述0級(jí)頻譜和所述-1級(jí)頻譜，并保留﹢1級(jí)頻譜；頻移單元，用于將所述﹢1級(jí)頻譜頻移至所述數(shù)字全息圖的頻譜中的所述0級(jí)頻譜的位置；以及逆傅里葉變換單元，用于對(duì)所述頻移后的所述數(shù)字全息圖的頻譜進(jìn)行逆傅里葉變換，生成用于二維顯示的圖像。

實(shí)施例3

附圖3示出了根據(jù)本申請(qǐng)的實(shí)施例3的圖像處理方法的流程圖。如圖3所示，所述圖像處理方法包括：

s302：獲取數(shù)據(jù)流，所述數(shù)據(jù)流包括數(shù)字全息圖序列；

s304：根據(jù)預(yù)定條件，確定是否進(jìn)行三維顯示；以及

s306：當(dāng)確定進(jìn)行三維顯示時(shí)，基于所述數(shù)字全息圖序列中的數(shù)字全息圖生成用于三維顯示的圖像；或

s308：當(dāng)確定不進(jìn)行三維顯示時(shí)，基于所述數(shù)字全息圖序列中的數(shù)字全息圖生成用于二維顯示的圖像。

隨著網(wǎng)絡(luò)技術(shù)的發(fā)展，通過(guò)遠(yuǎn)程服務(wù)的方式提供三維立體顯示的視頻流將會(huì)成為一個(gè)趨勢(shì)，由于三維顯示技術(shù)需要提供左圖像的視頻以及右圖像的視頻，因此勢(shì)必導(dǎo)致傳輸?shù)臄?shù)據(jù)量過(guò)大。根據(jù)實(shí)施例5，在實(shí)施例1的基礎(chǔ)上獲取數(shù)字全息圖序列，從而可以形成左右圖像的視頻流，極大地減少了需要傳輸?shù)臄?shù)量，有利于提供更加優(yōu)質(zhì)的服務(wù)。

此外，關(guān)于全息圖序列中的數(shù)字全息圖的獲取和處理，可以參考實(shí)施例1中的各個(gè)方法，這里不再贅述。

實(shí)施例4

附圖4示出了根據(jù)本申請(qǐng)的實(shí)施例4的圖像處理裝置400的示意圖，如圖4所示，所述圖像處理裝置包括：

數(shù)據(jù)流獲取模塊401，用于獲取數(shù)據(jù)流，所述數(shù)據(jù)流包括數(shù)字全息圖序列；

確定模塊402，用于根據(jù)預(yù)定條件，確定是否進(jìn)行三維顯示；

三維圖像生成模塊403，用于當(dāng)確定進(jìn)行三維顯示時(shí)，基于所述數(shù)字全息圖序列中的數(shù)字全息圖生成用于三維顯示的圖像；以及

二維圖像生成模塊404，用于當(dāng)確定不進(jìn)行三維顯示時(shí)，基于所述數(shù)字全息圖序列中的數(shù)字全息圖生成用于二維顯示的圖像。

此外，關(guān)于全息圖序列中的數(shù)字全息圖的獲取和處理，可以參考實(shí)施例2中的各個(gè)裝置，這里不再贅述。

實(shí)施例5

下面，在實(shí)施例5中，將詳細(xì)解釋本申請(qǐng)技術(shù)方案的各個(gè)細(xì)節(jié)，為了便于理解本實(shí)施例的技術(shù)方案，本實(shí)例通過(guò)以下幾個(gè)部分進(jìn)行說(shuō)明：

(一)根據(jù)實(shí)施例5用于基于數(shù)字全息圖進(jìn)行切換顯示的圖像處理系統(tǒng)；

(二)基于數(shù)字全息圖進(jìn)行三維顯示形成立體視覺(jué)的方法流程；

(三)基于數(shù)字全息圖進(jìn)行三維顯示形成立體視覺(jué)的效果；

(四)獲取數(shù)字全息圖以及基于數(shù)字全息圖生成左右圖像的具體算法及原理；

(五)基于數(shù)字全息圖進(jìn)行二維顯示(即再現(xiàn)全息圖)的方法流程；

(六)基于數(shù)字全息圖進(jìn)行二維顯示的具體算法及原理；

(七)實(shí)施例5的變形例。

應(yīng)注意的本實(shí)施例僅僅用于對(duì)本申請(qǐng)的技術(shù)方案進(jìn)行解釋說(shuō)明，而不應(yīng)視為對(duì)本申請(qǐng)保護(hù)范圍的限定。并且只要沒(méi)有相反的，不能結(jié)合的啟示，實(shí)施例5的技術(shù)方案可以與前面的各個(gè)實(shí)施例進(jìn)行結(jié)合。

為了便于理解，實(shí)施例5中示出通過(guò)采用虛擬現(xiàn)實(shí)技術(shù)生成數(shù)字全息圖的技術(shù)方案，而在變形例(第(七)部分)中則示出采用增強(qiáng)顯示技術(shù)生成數(shù)字全息圖的技術(shù)方案。但是無(wú)論哪一種技術(shù)方案所生成的數(shù)字全息圖，均可用于在三維顯示模式和二維顯示模式之間進(jìn)行切換。

(一)用于基于數(shù)字全息圖進(jìn)行切換顯示的圖像處理系統(tǒng)

圖5示出了根據(jù)實(shí)施例5，用于基于數(shù)字全息圖進(jìn)行切換顯示的圖像處理系統(tǒng)500的示意圖。如圖5所示，所述的圖像處理系統(tǒng)包括圖像處理裝置510和顯示器520。其中所述圖像處理裝置510包括用戶(hù)接口511、全息圖輸入接口512、立體顯示處理模塊513、全息圖再現(xiàn)模塊514、顯示驅(qū)動(dòng)模塊515、判定單元516以及全息圖分配單元517。

其中，所述用戶(hù)接口511用于接收來(lái)自用戶(hù)的關(guān)于三維顯示或二維顯示的選擇指令或切換指令，并將用戶(hù)指令傳輸至判定單元516。

全息圖輸入接口512接收來(lái)數(shù)字全息圖，并將收到的數(shù)字全息圖發(fā)送至全息圖分配單元517。

判定單元516在從用戶(hù)接口511接收到用戶(hù)的指令后，根據(jù)用戶(hù)的指令判斷是否進(jìn)行三維顯示。如果確定進(jìn)行三維顯示(例如接收到的用戶(hù)指令是選擇進(jìn)行三維顯示的指令或者是切換至三維顯示的指令)，就將進(jìn)行三維顯示的指示發(fā)送至全息圖分配單元517；否則(例如接收到的用戶(hù)指令是選擇進(jìn)行二維顯示的指令或者是切換至二維顯示的指令)就將進(jìn)行二維顯示的指示發(fā)送至全息圖分配單元517。

全息圖分配單元517中設(shè)置有狀態(tài)寄存器(未示出)，該狀態(tài)寄存器用于保存當(dāng)前狀態(tài)是用于進(jìn)行二維顯示還是進(jìn)行三維顯示，并且該狀態(tài)寄存器從判定單元516接收用于進(jìn)行三維顯示或進(jìn)行二維顯示的指示，并根據(jù)該指示對(duì)保存的狀態(tài)進(jìn)行更新。所述全息圖分配單元517在從全息圖輸入接口512接收所述數(shù)字全息圖后，根據(jù)所述狀態(tài)寄存器中保存的狀態(tài)，將數(shù)字全息圖發(fā)送至三維顯示處理模塊513或二維顯示處理模塊514，以便進(jìn)行三維顯示或進(jìn)行二維顯示。

三維顯示處理模塊513用于基于接收的數(shù)字全息圖，根據(jù)本實(shí)施例第(二)至第(四)部分記載的流程、算法及原理(主要參考與附圖10中的步驟s1006、附圖11中的步驟s1108相關(guān)的內(nèi)容，以及公式(8)和公式(9)的相關(guān)內(nèi)容)，生成用于三維顯示的左圖像和右圖像，并將其傳輸至顯示驅(qū)動(dòng)模塊515。

二維顯示處理模塊514用于基于接收的數(shù)字全息圖，根據(jù)本實(shí)施例第(五)至第(六)部分記載的流程、算法及原理(主要參考與附圖12中的步驟s1206至s1210相關(guān)的內(nèi)容以及與第(五)部分的內(nèi)容)，生成用于二維顯示的平面圖像，并將其傳輸至顯示驅(qū)動(dòng)模塊515。

所述顯示驅(qū)動(dòng)模塊515根據(jù)所接收的用于三維顯示的左圖像和右圖像或根據(jù)接收的用于二維顯示的平面圖像向顯示器520發(fā)送顯示驅(qū)動(dòng)信號(hào)，用于進(jìn)行三維立體顯示或進(jìn)行二維平面顯示。

附圖6和圖7示出了實(shí)施例5的圖像處理裝置510的具體的操作流程圖，其中圖6示出了圖像處理裝置510在接收到用戶(hù)的指令后的流程圖，圖7示出了圖像處理裝置510在接收到數(shù)字全息圖之后的流程圖。

如圖6所示，在步驟s602，所述圖像處理裝置510通過(guò)用戶(hù)接口511接收用戶(hù)關(guān)于進(jìn)行三維顯示或二維顯示的選擇指令或切換指令。

在步驟s604，所述圖像處理裝置510通過(guò)判定單元516，根據(jù)用戶(hù)的指令判定是否進(jìn)行三維顯示。

如果判定單元516確定進(jìn)行三維顯示，則在步驟s606向全息圖分配單元517的狀態(tài)寄存器發(fā)送進(jìn)行三維顯示的指示。

如果判定單元516確定不進(jìn)行三維顯示，則在步驟s610向全息圖分配單元517的狀態(tài)寄存器發(fā)送進(jìn)行二維顯示的指示。

在步驟s608，所述全息圖分配單元517的狀態(tài)寄存器根據(jù)接收到的指示，對(duì)存儲(chǔ)在狀態(tài)寄存器中的狀態(tài)進(jìn)行更新，以便所述全息圖分配單元517在從全息圖輸入接口512接收所述數(shù)字全息圖后，根據(jù)所述狀態(tài)寄存器中保存的狀態(tài)，進(jìn)行三維顯示或二維顯示。

如圖7所示，在步驟s702，所述圖像處理裝置510通過(guò)全息圖輸入接口512接收數(shù)字全息圖。

在步驟s704，在所述圖像處理裝置510的全息圖分配單元517根據(jù)狀態(tài)寄存器中保存的狀態(tài)判斷是否進(jìn)行三維顯示。如果判斷結(jié)果為“是”，則將數(shù)字全息圖發(fā)送至三維顯示處理模塊513,并進(jìn)入步驟s706；如果判斷結(jié)果為“否”，則將數(shù)字全息圖發(fā)送至二維顯示處理模塊514，并進(jìn)入步驟s710。

在步驟s708，通過(guò)三維顯示處理模塊513，基于所接收的數(shù)字全息圖，并根據(jù)本實(shí)施例第(二)至第(四)部分記載的流程、算法及原理，生成用于三維顯示的左圖像和右圖像,并傳輸至顯示驅(qū)動(dòng)模塊515。在步驟s710，通過(guò)二維顯示處理模塊，基于接收的數(shù)字全息圖，根據(jù)本實(shí)施例第(五)至第(六)部分記載的流程、算法及原理，生成用于二維顯示的平面圖像，并傳輸至顯示驅(qū)動(dòng)模塊515。

在步驟s708，通過(guò)顯示驅(qū)動(dòng)模塊515根據(jù)所接收的左圖像和右圖像或根據(jù)接收的平面圖像向顯示器520發(fā)送顯示驅(qū)動(dòng)信號(hào)，用于進(jìn)行三維立體顯示或進(jìn)行二維平面顯示。

以上，介紹了根據(jù)實(shí)施例5的用于基于數(shù)字全息圖進(jìn)行切換顯示的圖像處理系統(tǒng)以及所包括的圖像處理裝置的操作流程。應(yīng)注意，盡管實(shí)現(xiàn)圖像處理流程的各個(gè)接口和模塊均包括在圖像處理裝置510中，但也可以分布在不同的裝置中彼此分開(kāi)。并且不同接口和模塊的功能也可以進(jìn)行適當(dāng)?shù)恼{(diào)整和組合。并且，所述的圖像處理裝置510中的各個(gè)接口和模塊也不限于硬件電路，也可以是通過(guò)處理器或控制器實(shí)現(xiàn)的各個(gè)程序模塊或軟件模塊。

通過(guò)該實(shí)施例的圖像處理系統(tǒng)，可以根據(jù)用戶(hù)的指令在三維顯示或二維顯示的模式之間進(jìn)行選擇或切換。從而提供了良好的用戶(hù)體驗(yàn)。

下面將詳細(xì)介紹根據(jù)本實(shí)施例，基于數(shù)字全息圖生成用于三維顯示的左右圖像或用于二維顯示的圖像的方法。

(二)基于數(shù)字全息圖形成立體視覺(jué)的方法流程

圖8示出了根據(jù)本申請(qǐng)實(shí)施例5的用于形成立體視覺(jué)從而進(jìn)行三維顯示的方法流程圖。為了便于理解和說(shuō)明，實(shí)施例5中通過(guò)采用虛擬現(xiàn)實(shí)技術(shù)來(lái)生成數(shù)字全息圖。

如圖8所示，所述方法包括：

s802，獲取三維虛擬對(duì)象a。即用于虛擬現(xiàn)實(shí)時(shí)顯示給用戶(hù)的三維虛擬對(duì)象。其中，本實(shí)施例中的虛擬對(duì)象是指通過(guò)計(jì)算模擬產(chǎn)生的三維虛擬對(duì)象(而不是真實(shí)存在的物體)，例如通過(guò)計(jì)算模擬產(chǎn)生的人體、物體等的三維立體對(duì)象。

s804，全息記錄。即針對(duì)所述三維虛擬對(duì)象a進(jìn)行全息記錄產(chǎn)生數(shù)字全息圖。例如通過(guò)菲涅耳衍射積分計(jì)算方法，得到三維虛擬對(duì)象a的波前復(fù)振幅函數(shù)(該函數(shù)包括物光的振幅和相位信息)?？蛇x地，將所述三維虛擬對(duì)象a的不同層面的不同衍射距離(本文中，衍射距離與前面實(shí)施例所述的預(yù)設(shè)記錄距離相對(duì)應(yīng)，為同一距離在不同應(yīng)用場(chǎng)景下的表述)下的波前復(fù)振幅信息進(jìn)行疊加，將疊加的波前復(fù)振幅函數(shù)記錄在同一張數(shù)字全息圖中，從而對(duì)三維物體進(jìn)行分層數(shù)字全息記錄，完成三維信息獲取。

s806，再現(xiàn)生成左右圖像。即根據(jù)虛擬現(xiàn)實(shí)系統(tǒng)的視點(diǎn)需求，根據(jù)模擬從所述左視點(diǎn)和右視點(diǎn)發(fā)出的光線(xiàn)照射到所述數(shù)字全息圖時(shí)的入射角，基于生成所述數(shù)字全息圖的參考光信息，生成與所有視點(diǎn)對(duì)應(yīng)的左右圖像，作為信息源輸入虛擬現(xiàn)實(shí)系統(tǒng)中。

為便于理解，結(jié)合附圖9簡(jiǎn)要解釋關(guān)于圖8中的步驟s802至步驟s806。如上面所述，三維虛擬對(duì)象a是一個(gè)通過(guò)模擬計(jì)算產(chǎn)生的三維虛擬對(duì)象，附圖9中的步驟s902對(duì)應(yīng)于上述步驟s802，圖9中的步驟s904和s906對(duì)應(yīng)于上述的步驟s804，并且圖9中的步驟s908對(duì)應(yīng)于上述步驟s806。如圖9所示，在步驟s902，通過(guò)計(jì)算機(jī)c模擬計(jì)算產(chǎn)生關(guān)于小汽車(chē)的三維虛擬對(duì)象a，其中包括三維虛擬對(duì)象a的各個(gè)點(diǎn)的坐標(biāo)(x,y,z)等數(shù)據(jù)。為了將三維虛擬對(duì)象a呈現(xiàn)給用戶(hù)以形成虛擬現(xiàn)實(shí)的場(chǎng)景并進(jìn)行三維顯示，需要生成顯示三維虛擬對(duì)象a的左圖像和右圖像以分別顯示到用戶(hù)的左眼和右眼。為了獲得上述左圖像和右圖像，在步驟s904，計(jì)算機(jī)c針對(duì)三維虛擬對(duì)象a通過(guò)菲涅耳衍射積分計(jì)算方法計(jì)算其在衍射距離處的波前復(fù)振幅函數(shù)，即，模擬來(lái)自三維虛擬對(duì)象a的物光在衍射距離處的波前復(fù)振幅函數(shù)，其中該波前復(fù)振幅函數(shù)包含該物光的振幅和相位信息?？蛇x的，由于三維虛擬對(duì)象a是立體的，因此對(duì)于其不同的層面，可以根據(jù)不同層面的衍射距離分別計(jì)算波前復(fù)振幅函數(shù)并進(jìn)行疊加。然后在步驟s906，計(jì)算機(jī)c根據(jù)所獲得的三維虛擬對(duì)象a的波前復(fù)振幅函數(shù)，計(jì)算獲得數(shù)字全息圖。并且在步驟s908，計(jì)算機(jī)c根據(jù)該數(shù)字全息圖計(jì)算獲得進(jìn)行虛擬現(xiàn)實(shí)的左圖像和右圖像。其中，關(guān)于數(shù)字全息圖以及左圖像和右圖像的產(chǎn)生和計(jì)算，將在后面結(jié)合附圖10-12進(jìn)行詳細(xì)說(shuō)明。需要注意的是，盡管為了簡(jiǎn)化說(shuō)明，上述過(guò)程都是由相同的計(jì)算機(jī)c完成的，但是根據(jù)具體的實(shí)際情況，可以通過(guò)不同的計(jì)算裝置分別完成上述的各個(gè)步驟。下面繼續(xù)介紹附圖8中的步驟。

s808，利用新生成的左右圖像更新左右輸入數(shù)據(jù)。

s810，利用更新后的左右輸入數(shù)據(jù)進(jìn)行左右畫(huà)面的分屏顯示。

s812，利用顯示設(shè)備對(duì)左右眼的畫(huà)面分別進(jìn)行過(guò)濾，使得左眼畫(huà)面只能由左眼看到以及所述右眼畫(huà)面只能由右眼看到。

s814，用戶(hù)在看到所述左右眼畫(huà)面后形成立體的視覺(jué)。

可選地，實(shí)施例5還包括對(duì)全息圖進(jìn)行魯棒性檢測(cè)的流程，具體的，在全息記錄(步驟s804)之后，在步驟s816對(duì)生成的數(shù)字全息圖進(jìn)行魯棒性攻擊，例如，對(duì)全息圖進(jìn)行裁剪、壓縮以及施加噪聲等處理。并且在步驟s818對(duì)進(jìn)行魯棒性攻擊后的全息圖進(jìn)行再現(xiàn)，以進(jìn)行魯棒性判斷。從而在通過(guò)魯棒性檢測(cè)后，在步驟s806，再現(xiàn)生成的左右圖像。

(二)基于數(shù)字全息圖形成立體視覺(jué)的技術(shù)效果

下面結(jié)合圖10中的效果圖，來(lái)說(shuō)明對(duì)三維虛擬對(duì)象a進(jìn)行全息記錄以及最終生成左圖像和右圖像的過(guò)程。

首先，在步驟s802獲取三維虛擬對(duì)象a，如圖10(a)所示。其中圖10(a)示出了關(guān)于三維虛擬對(duì)象a(即泰迪熊)的圖像。并且其中，圖像大小為360×300，觀(guān)測(cè)距離(本文中，觀(guān)測(cè)距離與前面所述的衍射距離以及預(yù)設(shè)記錄距離相對(duì)應(yīng)，為同一距離在不同應(yīng)用場(chǎng)景下的表述)為z。

然后，在步驟s804進(jìn)行全息記錄，即通過(guò)菲涅爾衍射積分方法，計(jì)算出三維虛擬對(duì)象a在觀(guān)測(cè)距離z(即泰迪熊圖像到全息圖平面的距離)的波前函數(shù)oz，包括振幅和相位信息。即，對(duì)泰迪熊圖像進(jìn)行距離為z的菲涅爾衍射積分運(yùn)算，并根據(jù)預(yù)定的參考光信息，模擬與參考光的干涉而計(jì)算得到全息圖，從而完成三維信息的記錄。其中，圖10(b)示出了設(shè)定從虛擬對(duì)象a反射的物光與參考光的夾角為30°時(shí)，計(jì)算生成的離軸全息圖。

然后在步驟s806再現(xiàn)生成左右圖像，根據(jù)模擬從所述左視點(diǎn)和右視點(diǎn)發(fā)出的光線(xiàn)照射到所述數(shù)字全息圖時(shí)的入射角，基于生成所述數(shù)字全息圖的參考光信息，計(jì)算生成與所有視點(diǎn)對(duì)應(yīng)的左右圖像。其中圖10(c)是根據(jù)全息圖圖10(b)，模擬參考光相對(duì)于全息圖的入射角為15°時(shí)再現(xiàn)的與左視點(diǎn)對(duì)應(yīng)的左圖像，再現(xiàn)距離z＝500mm(即從左視點(diǎn)到全息圖的距離，與上述觀(guān)測(cè)距離大小相同)，大小為360×300。圖10(d)是根據(jù)全息圖圖10(b)，模擬參考光相對(duì)于全息圖的入射角為45°時(shí)再現(xiàn)的與右視點(diǎn)對(duì)應(yīng)圖像，再現(xiàn)距離z＝500mm(即從右視點(diǎn)到全息圖的距離，與上述觀(guān)測(cè)距離大小相同)，大小為360×300。

進(jìn)而在步驟s808，利用生成的左右圖像圖10(c)和圖10(d)，更新左右輸入數(shù)據(jù)，并在步驟s810利用更新后的左右輸入數(shù)據(jù)進(jìn)行左右畫(huà)面的分屏顯示。并最終在步驟s814形成立體視覺(jué)。

由此可見(jiàn)，通過(guò)采用數(shù)字全息圖實(shí)現(xiàn)立體視覺(jué)，不必再象現(xiàn)有技術(shù)那樣需要通過(guò)虛擬攝像機(jī)獲得具有水平視差的左眼圖像和右眼圖像，而僅僅需要生成數(shù)字全息圖，然后根據(jù)數(shù)字全息圖生成所述左眼圖像和右眼圖像。從而能夠解決現(xiàn)有技術(shù)中存在的生成左圖像和右圖像的成本過(guò)高、工作繁復(fù)、傳輸效率低以及運(yùn)算速度慢等問(wèn)題。從而在降低成本的同時(shí)提高了數(shù)據(jù)源的可選擇性和自由度。

下面結(jié)合圖11中的效果圖，說(shuō)明對(duì)全息圖進(jìn)行的魯棒性檢測(cè)。

其中圖11(a)是對(duì)全息圖11(b)進(jìn)行圓形裁剪攻擊后的全息圖。圖11(b)是利用裁剪后的全息圖再現(xiàn)的圖像，其是模擬參考光相對(duì)于全息圖的入射角為30°時(shí)再現(xiàn)的圖像，其中的再現(xiàn)距離z＝500mm；而圖11(c)是根據(jù)全息圖圖11(a)，模擬參考光相對(duì)于全息圖的入射角為15°時(shí)再現(xiàn)的與左視點(diǎn)對(duì)應(yīng)的左圖像，再現(xiàn)距離z＝500mm。圖11(d)是根據(jù)全息圖圖11(a)，模擬參考光相對(duì)于全息圖的入射角為45°時(shí)再現(xiàn)的與右視點(diǎn)對(duì)應(yīng)圖像，再現(xiàn)距離z＝500mm。

根據(jù)圖11可以看出，本實(shí)施例的通過(guò)數(shù)字全息圖生成左右圖像的方法具有非常好的魯棒性。

(四)生成全息圖以及再現(xiàn)左右圖像的具體算法及原理；

下面說(shuō)明本實(shí)施例的基于虛擬現(xiàn)實(shí)技術(shù)生成全息圖以及再現(xiàn)左右圖像進(jìn)行三維顯示(立體顯示)的具體算法及原理，并且以下記載的用于生成全息圖以及再現(xiàn)左右圖像的方法適用于前面任意一項(xiàng)實(shí)施例中的有關(guān)生成全息圖以及再現(xiàn)左右圖像的操作。

算法及原理

具體地，算法及原理一是通過(guò)菲涅耳衍射積分計(jì)算三維虛擬對(duì)象的波前復(fù)振幅函數(shù)，采用波前信息疊加的方法生成全息圖，具體如下：

步驟1)計(jì)算從三維虛擬對(duì)象反射的物光的物光波前復(fù)振幅

首先，可以通過(guò)下述公式1計(jì)算衍射距離為d的物光波前復(fù)振幅函數(shù)：

其中，d為衍射距離，(x0,y0)為初始物波平面上與坐標(biāo)x0和y0對(duì)應(yīng)的點(diǎn)，o(x0,y0)為初始物波平面信息函數(shù)，u(x,y)為經(jīng)過(guò)衍射距離為d的物光波前復(fù)振幅函數(shù)，λ為物光的波長(zhǎng)，j為虛數(shù)單位，k為波數(shù)，x0、y0為原始物平面坐標(biāo)，x、y為經(jīng)過(guò)衍射距離d衍射的波前函數(shù)平面坐標(biāo)。

然后，對(duì)公式1進(jìn)行積分處理，將與積分變量無(wú)關(guān)的項(xiàng)提到積分號(hào)前，得到公式2：

從上述公式2中可以看出，公式2是對(duì)做了一次傅里葉變換，然后，將變換結(jié)果再乘以一個(gè)二次相位因子，即就可以得到經(jīng)衍射距離d衍射之后的物光波前復(fù)振幅。為了利用快速傅里葉變換fft計(jì)算上式，可以f表示傅里葉變換，物平面取樣寬度為l0，采樣數(shù)為n×n，采樣間距為△x0＝△y0＝l0/n，然后，將上述公式2改寫(xiě)為公式3，即：

在公式3中，△x＝△y是離散傅里葉變換后對(duì)應(yīng)的空域采樣間距，此時(shí)，根據(jù)傅里葉變換和離散傅里葉變換的關(guān)系，可以得到公式4：其中，公式4中l(wèi)為經(jīng)衍射距離d的衍射圖樣采樣范圍。將公式4進(jìn)行變換得到公式5：

另一方面，根據(jù)奈奎斯特取樣定理可知，當(dāng)只有滿(mǎn)足公式6：所描述的條件時(shí)，離散計(jì)算結(jié)果才能近似滿(mǎn)足奈奎斯特取樣定理的衍射場(chǎng)。此時(shí)，物平面和衍射場(chǎng)平面的取樣寬度相等，并且由公式5可知，此時(shí)物平面和衍射場(chǎng)寬度相等，即

因此，以上結(jié)果表明，如果保持物平面的取樣間隔和觀(guān)測(cè)區(qū)域不變，離散傅里葉變換計(jì)算結(jié)果在觀(guān)測(cè)平面上的衍射圖樣取樣范圍l不僅是波長(zhǎng)λ和取樣數(shù)n的函數(shù)，并且會(huì)隨著衍射距離d的增加而增加。當(dāng)衍射距離很小時(shí)，如果取樣數(shù)n保持不變，計(jì)算結(jié)果只能對(duì)應(yīng)于觀(guān)測(cè)平面上鄰近光軸很小區(qū)域的衍射圖像。

步驟2)根據(jù)全息原理對(duì)三維虛擬對(duì)象a進(jìn)行全息制作，即模擬通過(guò)參考光干涉物光波前復(fù)振幅u(x,y)，得到目標(biāo)全息圖ih(x,y)，ih(x,y)包含了虛擬對(duì)象的三維信息(增幅和相位信息)。在本申請(qǐng)實(shí)施例中，可以通過(guò)下述公式7計(jì)算得到目標(biāo)全息圖，ih(x,y)＝|r(x,y)+u(x,y)|²

＝|r(x,y)|²+|u(x,y)|²+r^*(x,y)u(x,y)+r(x,y)u^*(x,y)(公式7)，其中，r(x,y)

表示參考光，u(x,y)表示經(jīng)過(guò)衍射的物光波前復(fù)振幅函數(shù)(即，上述波前信息)，r^*(x,y)表示參考光共軛，u^*(x,y)表示物光波前復(fù)振幅函數(shù)共軛。

步驟3)根據(jù)虛擬現(xiàn)實(shí)系統(tǒng)的視點(diǎn)需求，生成與左視點(diǎn)和右視點(diǎn)對(duì)應(yīng)的左圖像和右圖像。即模擬不同的參考光入射角(即入射的參考光與全息圖的法線(xiàn)的夾角)，對(duì)全息圖進(jìn)行再現(xiàn)。當(dāng)參考光為r(x,y)，菲涅耳全息圖為ih(x,y)時(shí)，再現(xiàn)的光場(chǎng)分布為：

在(公式8)中，f為函數(shù)傅里葉變換符號(hào)，d為衍射距離，λ為波長(zhǎng)，j為虛數(shù)單位，k為波數(shù)，(x，y)為經(jīng)過(guò)衍射距離d衍射的波前函數(shù)生成的全息圖平面坐標(biāo)，(x′，y′)為經(jīng)過(guò)參考光照射全息圖生成的再現(xiàn)像平面坐標(biāo)，(△x′，△y′)對(duì)應(yīng)空域采樣間距。下面，參考附圖12所示對(duì)步驟3)做出具體說(shuō)明。

首先，人眼的視場(chǎng)角范圍是30度到100度，全息再現(xiàn)時(shí)，根據(jù)人眼視場(chǎng)角范圍選擇符合系統(tǒng)需求的左視點(diǎn)和右視點(diǎn)，并根據(jù)參考光設(shè)定與左視點(diǎn)和右視點(diǎn)對(duì)應(yīng)的左視點(diǎn)再現(xiàn)參考光和右視點(diǎn)再現(xiàn)參考光。例如，設(shè)定再現(xiàn)時(shí)再現(xiàn)參考光入射角度為α，則再現(xiàn)參考光的表達(dá)式變?yōu)閞(x,y)exp(jkxsinα)。根據(jù)公式8，將次再現(xiàn)參考光表達(dá)式代入公式8中從而得到下面的公式9：

由公式9可以看出，入射角度只影響到了再現(xiàn)結(jié)果的相位信息。因此，選擇兩個(gè)不同的入射角度α，即選擇出兩個(gè)不同相位信息的再現(xiàn)參考光，從而在對(duì)應(yīng)左右視點(diǎn)上，再現(xiàn)生成系統(tǒng)需要的左右圖像。

(五)基于全息圖進(jìn)行二維顯示(即再現(xiàn)全息圖)的方法流程

正如背景技術(shù)中所述，在實(shí)際應(yīng)用中，仍然存在進(jìn)行二維顯示(即平面圖像或視頻的顯示)的需求，因此接下來(lái)有必要介紹進(jìn)行二維顯示的技術(shù)。

前面在第(一)至第(三)部分詳細(xì)介紹了基于數(shù)字全息圖形成立體視覺(jué)進(jìn)行三維顯示的技術(shù)方案。那么，如果在此基礎(chǔ)上僅僅單獨(dú)地附加一個(gè)進(jìn)行二維顯示的功能，則在提供數(shù)字全息圖的同時(shí)，還需要提供一個(gè)用于二維顯示的圖像。但實(shí)際上，用戶(hù)并不一定會(huì)總是想觀(guān)看二維顯示畫(huà)面，因此如果在用戶(hù)想體驗(yàn)立體視覺(jué)時(shí)提供用于二維顯示的圖像，這無(wú)疑對(duì)資源是一種浪費(fèi)。但是由于提供方不清楚用戶(hù)會(huì)在什么時(shí)候需要二維顯示的圖像，因此為了優(yōu)化用戶(hù)體驗(yàn)，也只能在任何時(shí)候都提供二維顯示的圖像以供用戶(hù)切換，即便這時(shí)候用戶(hù)可能并不需要。這無(wú)疑會(huì)進(jìn)一步引發(fā)成本過(guò)高、工作繁復(fù)、傳輸效率低以及運(yùn)算速度慢等問(wèn)題。

因此，如果能夠?qū)λ鰯?shù)字全息圖進(jìn)行再現(xiàn)，從而進(jìn)行二維顯示，則可以避免在提供數(shù)字全息圖的同時(shí)還要單獨(dú)提供用于二維顯示的圖像?；诖?，本實(shí)施例的改進(jìn)之一在于，通過(guò)數(shù)字全息圖將三維顯示(即，虛擬現(xiàn)實(shí)或立體視覺(jué))和二維顯示(即全息圖再現(xiàn))有機(jī)地結(jié)合起來(lái)，從而只需要提供數(shù)字全息圖，根據(jù)用戶(hù)的選擇或指示，生成用于三維顯示的圖像或用于二維顯示的圖像。

目前全息再現(xiàn)(即二維顯示)的主流技術(shù)，其核心是全息記錄的逆過(guò)程。從圖像處理角度上，全息記錄是通過(guò)參考光對(duì)物波信號(hào)進(jìn)行頻域調(diào)制。而全息再現(xiàn)則是對(duì)信號(hào)調(diào)制結(jié)果進(jìn)行解調(diào)，從而恢復(fù)原來(lái)的圖像信號(hào)。然而，從技術(shù)層面上講，采用傳統(tǒng)的信號(hào)調(diào)制和解調(diào)方式對(duì)全息圖進(jìn)行再現(xiàn)，所得到的再現(xiàn)像光場(chǎng)包括：存在零級(jí)衍射光、再現(xiàn)像和共軛像，其中只有再現(xiàn)像(+1級(jí)衍射光)是我們所需要的信號(hào)。因此，由于零級(jí)衍射光斑和共軛像的存在，影響了再現(xiàn)像質(zhì)量，使再現(xiàn)像的信噪比很低。其次，從衍射效率上講，采用傳統(tǒng)的再現(xiàn)方法不能夠通過(guò)全息圖得到單一的再現(xiàn)圖像，其衍射效率不高。

因此本實(shí)施例的改進(jìn)之一在于提供數(shù)字全息圖再現(xiàn)的方法，在實(shí)現(xiàn)全息再現(xiàn)的同時(shí)，減少了傳統(tǒng)再現(xiàn)像光場(chǎng)中的零級(jí)衍射光和共軛像對(duì)再現(xiàn)像的干擾，提高再現(xiàn)像的信噪比和衍射效率。

圖13示出了根據(jù)本實(shí)施例5的根據(jù)數(shù)字全息圖進(jìn)行二維顯示(即再現(xiàn)全息圖)的方法流程。

其中步驟s1302和步驟s1304是用于獲取數(shù)字全息圖的步驟，其與圖8中的步驟s802和s804一致，在這里不再贅述。但是需要注意的是，盡管實(shí)施例5中是通過(guò)對(duì)虛擬對(duì)象進(jìn)行模擬運(yùn)算的方式產(chǎn)生數(shù)字全息圖，但這只是為了進(jìn)行實(shí)例性說(shuō)明。實(shí)際上，其他的用于生成數(shù)字全息圖的方式，也適用于本申請(qǐng)，只要能夠通過(guò)該數(shù)字全息圖獲得用于三維圖像顯示的圖像和用于二維顯示的圖像即可。例如，在下文的變形例中，將說(shuō)明另外一種根據(jù)增強(qiáng)現(xiàn)實(shí)技術(shù)的適用于本申請(qǐng)生成數(shù)字全息圖的方法。從而進(jìn)一步說(shuō)明本申請(qǐng)的技術(shù)方案相對(duì)于用于生成數(shù)字全息圖的不同方法而言，具有通用性。

這里關(guān)鍵是如何對(duì)數(shù)字全息圖進(jìn)行再現(xiàn)，從而生成二維圖像。

如圖13所示，在步驟s1306，對(duì)獲得的數(shù)字全息圖進(jìn)行傅里葉變換，從而得到數(shù)字全息圖的頻譜；

在步驟s1308，對(duì)數(shù)字全息圖的頻譜進(jìn)行濾波和頻移，從而選擇出與物光波前信息相關(guān)的頻譜部分，即﹢1級(jí)頻譜；

在步驟s1310，對(duì)濾波和頻移后的頻譜部分進(jìn)行傅里葉逆變換，從而實(shí)現(xiàn)數(shù)字全息圖的再現(xiàn)，得到用于二維顯示的圖像。

其中有關(guān)數(shù)字全息圖頻譜的濾波和頻移的內(nèi)容將在后面詳細(xì)描述。

此外，可選地，還包括在步驟s1312，將獲得的用于二維顯示的圖像與所述虛擬對(duì)象a進(jìn)行對(duì)比以檢驗(yàn)數(shù)字全息圖再現(xiàn)的效果。

采用圖13所述的方法，由于減少了傳統(tǒng)再現(xiàn)像光場(chǎng)中的零級(jí)衍射光(對(duì)應(yīng)0級(jí)頻譜)和共軛像(對(duì)應(yīng)-1級(jí)頻譜)的干擾，因此提高了再現(xiàn)像的信噪比和衍射效率。

(六)基于數(shù)字全息圖進(jìn)行二維顯示的具體算法及原理

下面介紹基于數(shù)字全息圖進(jìn)行二維顯示(即全息圖再現(xiàn))的具體算法及原理，其中關(guān)于數(shù)字全息圖的形成部分與第(四)部分中介紹的相同，這里不再贅述。根據(jù)第(四)部分中的說(shuō)明可知，生成的數(shù)字全息圖由公式7表示：

ih(x,y)＝|r(x,y)+u(x,y)|²

＝|r(x,y|²+|u(x,y)|²+r^*(x,y)u(x,y)+r(x,y)u^*(x,y)(公式7)

其中，r(x,y)表示參考光，u(x,y)表示經(jīng)過(guò)衍射的物光波前復(fù)振幅函數(shù)(即，上述波前信息)，r^*(x,y)表示參考光共軛，u^*(x,y)表示物光波前復(fù)振幅函數(shù)共軛。

然后對(duì)公式7所示的數(shù)字全息圖進(jìn)行傅里葉變換，從而得到公式10所表示的頻譜：

t(ξ,η)＝t0(ξ,η)+g(ξ-α,η-β)+g^*(ξ-α,η-β)(公式10)

在公式10中，t0(ξ,η)表示物光波衍射波前復(fù)振幅的自相關(guān)項(xiàng)和直流項(xiàng)的傅里葉頻譜部分(即，0級(jí)頻譜)，是低頻信息；g(ξ-α,η-β)表示物光波衍射波前復(fù)振幅的傅里葉頻譜部分(即，﹢1級(jí)頻譜)，g^*(ξ-α,η-β)表示共軛項(xiàng)信息的傅里葉頻譜(即，﹣1級(jí)頻譜)，其中α和β為載頻。

其中，數(shù)字全息圖的頻譜分布的示意圖如圖14(a)和圖14(b)所示。其中圖14(a)示出了模擬基于來(lái)自虛擬對(duì)象的物光波的傅里葉頻譜分布，而圖14(b)則示出了所述數(shù)字全息圖的傅里葉頻譜分布。

如圖14(a)所示，模擬基于來(lái)自虛擬對(duì)象的物光波的傅里葉頻域中的范圍為bx×by。圖14(b)中最右側(cè)的矩形表示來(lái)自虛擬對(duì)象的物光波的頻率信息(即，﹢1級(jí)頻譜)，即g(ξ-α,η-β)；圖14(b)中左側(cè)的矩形表示共軛物光波的頻率信息(即，﹣1級(jí)頻譜)，即g^*(ξ-α,η-β)；圖14(b)中的中心原點(diǎn)處的矩形表示直流項(xiàng)頻率部分(即，0級(jí)頻譜)，即t0(ξ,η)。

其中，圖15中進(jìn)一步示出了實(shí)際的數(shù)字全息圖(圖15a)以及相應(yīng)的傅里葉頻譜分布圖(圖15b)。

根據(jù)上述的頻譜分布，可以對(duì)頻譜進(jìn)行直接操作，從而對(duì)頻譜進(jìn)行濾波和頻移，從而僅僅保留來(lái)自虛擬對(duì)象的物光波的頻率信息(即，﹢1級(jí)頻譜)，即g(ξ-α,η-β)。

圖16示出了對(duì)數(shù)字全息圖的頻譜進(jìn)行濾波和頻移的示意圖。圖16(a)示出了濾波后的效果，其中表示共軛物光波的頻率信息(即，﹣1級(jí)頻譜，g^*(ξ-α,η-β))以及表示直流項(xiàng)頻率部分(即，0級(jí)頻譜，即t0(ξ,η))被濾除，從而僅僅保留表示來(lái)自虛擬對(duì)象的物光波的頻率信息(即，﹢1級(jí)頻譜)，即g(ξ-α,η-β)。圖16(b)示出了頻移后的頻譜分布，其中表示來(lái)自虛擬對(duì)象的物光波的頻率信息被頻移到中心原點(diǎn)，從而得到模擬來(lái)自虛擬對(duì)象的物光波的傅里葉頻譜分布。

接下來(lái)對(duì)圖16(b)所示出的頻譜部分進(jìn)行傅里葉逆變換，即可得到虛擬對(duì)象的物光衍射波前復(fù)振幅函數(shù)。從而可以完成全息再現(xiàn)，得到用于二維顯示的圖像。并且再現(xiàn)的二維顯示的圖像的信噪比和衍射效率均能達(dá)到較優(yōu)水平。

應(yīng)注意的是，數(shù)字全息圖的頻譜成分也是包括很多物波相關(guān)的高頻信息的(例如±2級(jí)、±3級(jí)……等頻譜)。但是這些高頻信息的強(qiáng)度相對(duì)于0級(jí)和±1級(jí)頻譜信息的強(qiáng)度而言，是極其微弱的。因此，在實(shí)施例中，僅示出對(duì)這3個(gè)頻譜(0級(jí)和±1級(jí)頻譜)進(jìn)行的處理，但并不代表本申請(qǐng)的保護(hù)范圍僅限于對(duì)這3個(gè)頻譜進(jìn)行處理。

(七)變形例

下面繼續(xù)說(shuō)明本申請(qǐng)的實(shí)施例5的變形例，其中該變形例與實(shí)施例5上述方案的區(qū)別在于數(shù)字全息圖的生成方法，但是對(duì)于如何根據(jù)該數(shù)字全息圖生成用于三維顯示的左右圖像或者生成用于二維顯示的圖像，則與實(shí)施例5上述方案一致。該變形例的內(nèi)容分為以下部分：(1)生成數(shù)字全息圖的方法流程；(2)生成數(shù)字全息圖的原理；(3)生成用于三維顯示和二維顯示的圖像；(4)本變形例的技術(shù)效果。

(1)生成數(shù)字全息圖的方法流程

在該變形例中，通過(guò)采用顯示增強(qiáng)技術(shù)中三維注冊(cè)的方法生成數(shù)字全息圖。圖17示出了根據(jù)實(shí)施例5的變形例，用于生成數(shù)字全息圖的方法的流程圖。

步驟s1701，獲取真實(shí)環(huán)境下真實(shí)對(duì)象a的三維坐標(biāo)信息

在本變形例中，可以通過(guò)光學(xué)衍射對(duì)真實(shí)環(huán)境中的真實(shí)對(duì)象進(jìn)行全息記錄，然后，將真實(shí)環(huán)境的三維坐標(biāo)信息記錄于光學(xué)全息圖中。例如，對(duì)任意圖像進(jìn)行距離為z1(其中，z1即為上述的衍射距離)的菲涅爾衍射積分計(jì)算，并與參考光干涉得到一個(gè)全息圖，以模擬真實(shí)環(huán)境的光學(xué)全息過(guò)程。然后，將此全息圖進(jìn)行二維傅里葉變換，在頻域空間內(nèi)進(jìn)行高通濾波，僅保留物光波前信息相關(guān)的部分，再對(duì)此部分進(jìn)行傅里葉逆變換，得到真實(shí)環(huán)境中真實(shí)對(duì)象的波前復(fù)振幅函數(shù)(又可以稱(chēng)為波前函數(shù))，其中，波前復(fù)振幅函數(shù)中包含三維坐標(biāo)信息即，包括真實(shí)對(duì)象的振幅和真實(shí)對(duì)象相位信息。

步驟s1702，獲取虛擬對(duì)象的三維坐標(biāo)信息也即，獲取虛擬對(duì)象的波前函數(shù)。

在本變形中，可以通過(guò)菲涅耳衍射積分計(jì)算方法，得到三維虛擬對(duì)象a的波前復(fù)振幅函數(shù)(該函數(shù)包括物光的振幅和相位信息)?？蛇x地，將所述三維虛擬對(duì)象a的不同層面的不同衍射距離(本文中，衍射距離與前面本實(shí)施例前面所述的預(yù)設(shè)記錄距離相對(duì)應(yīng)，為同一距離在不同應(yīng)用場(chǎng)景下的表述)下的波前復(fù)振幅信息進(jìn)行疊加。

步驟s1703，將真實(shí)對(duì)象a的三維坐標(biāo)信息和虛擬對(duì)象的三維坐標(biāo)信息進(jìn)行疊加；

步驟s1704，基于疊加得到的波前信息制作目標(biāo)全息圖；

在本變形例中，可以對(duì)真實(shí)環(huán)境中真實(shí)對(duì)象的三維坐標(biāo)信息和虛擬對(duì)象的波前函數(shù)進(jìn)行疊加，疊加的結(jié)果仍是波前復(fù)振幅函數(shù)。并根據(jù)全息原理，對(duì)疊加的結(jié)果進(jìn)行全息圖制作。

步驟s1705，對(duì)目標(biāo)全息圖進(jìn)行魯棒性檢測(cè)。

由此可見(jiàn)，在變形例中，還可以根據(jù)增強(qiáng)現(xiàn)實(shí)技術(shù)中的三維注冊(cè)方法的性能評(píng)價(jià)標(biāo)準(zhǔn)，對(duì)虛實(shí)信息交織的結(jié)果進(jìn)行攻擊，對(duì)本方案的魯棒性進(jìn)行檢測(cè)和驗(yàn)證。

(2)生成數(shù)字全息圖的原理。

下面將結(jié)合本變形例第(1)部分中說(shuō)明的方法流程，對(duì)本實(shí)施例生成數(shù)字全息圖的原理進(jìn)行說(shuō)明：

關(guān)于步驟s1702中所述的獲取虛擬對(duì)象的三維坐標(biāo)信息可以參考本實(shí)施例通過(guò)虛擬對(duì)象生成波前函數(shù)的原理，即本實(shí)施例第(三)部分(“生成全息圖以及再現(xiàn)左右圖像的具體算法及原理”)中的步驟1)(“計(jì)算從三維虛擬對(duì)象反射的物光的物光波前復(fù)振幅”)中的內(nèi)容，在此處不再贅述。

關(guān)于步驟s1701中所述的獲取真實(shí)環(huán)境下真實(shí)對(duì)象a的三維坐標(biāo)信息可以通過(guò)光學(xué)衍射對(duì)真實(shí)環(huán)境中的真實(shí)對(duì)象進(jìn)行全息記錄。然后，又通過(guò)上述菲涅爾衍射積分算法的描述可知，在本變形例中，是利用菲涅耳衍射積分算法的計(jì)算來(lái)模擬光學(xué)衍射過(guò)程。因此，在獲取真實(shí)對(duì)象的全息記錄時(shí)，同樣可以采用菲涅耳衍射積分算法來(lái)模擬光學(xué)衍射過(guò)程，來(lái)獲取真實(shí)對(duì)象的全息記錄，并且，具體計(jì)算過(guò)程與計(jì)算虛擬對(duì)象的波前函數(shù)的計(jì)算過(guò)程相同，此處不再贅述。當(dāng)通過(guò)上述方法模擬計(jì)算出真實(shí)環(huán)境中真實(shí)對(duì)象的全息圖之后，可以將此全息圖進(jìn)行二維傅里葉變換，并在頻域范圍內(nèi)進(jìn)行高通濾波，僅保留物光波前信息部分，再對(duì)此部分進(jìn)行傅里葉逆變換，得到真實(shí)環(huán)境中真實(shí)對(duì)象的波前復(fù)振幅函數(shù)(即，波前函數(shù))。

關(guān)于步驟s1703所述的將真實(shí)對(duì)象a的三維坐標(biāo)信息和虛擬對(duì)象的三維坐標(biāo)信息進(jìn)行疊加，可以將真實(shí)對(duì)象的波前函數(shù)和虛擬對(duì)象的波前函數(shù)進(jìn)行疊加得到波前信息。假設(shè)，在通過(guò)菲涅耳衍射積分算法計(jì)算得到真實(shí)對(duì)象的波前函數(shù)和虛擬對(duì)象的波前函數(shù)之后，可以將和進(jìn)行疊加，得到波前信息u1(x,y)，其中，在本發(fā)明實(shí)施例中，和可以通過(guò)前述公式2中所描述的方法計(jì)算。

關(guān)于步驟s1704所述的基于疊加得到的波前信息制作目標(biāo)全息圖，可以基于步驟s1703中得到的波前信息u1(x,y)，參考本實(shí)施例第(三)部分(“生成全息圖以及再現(xiàn)左右圖像的具體算法及原理”)中的步驟2)中記載的方法，根據(jù)公式7獲得目標(biāo)全息圖。在這里不再贅述。

通過(guò)以上方式即可生成數(shù)字全息圖。

(3)生成用于三維顯示和二維顯示的圖像

可以參考本實(shí)施例第(三)部分(“生成全息圖以及再現(xiàn)左右圖像的具體算法及原理”)中的步驟3)，生成左圖像和右圖像，并且可以參考本實(shí)施例的第(四)部分(“基于全息圖進(jìn)行二維顯示(即再現(xiàn)全息圖)的方法流程”)和第(五)部分(“基于數(shù)字全息圖進(jìn)行二維顯示的具體算法及原理”)來(lái)生成用于三維顯示和用于二維顯示的圖像。在這里不再贅述。

(4)變形例的技術(shù)效果

在本變形例提供的圖像處理方法和裝置中，將數(shù)字全息和計(jì)算機(jī)全息技術(shù)應(yīng)用于增強(qiáng)現(xiàn)實(shí)系統(tǒng)中，該方法和裝置帶來(lái)的優(yōu)點(diǎn)包括以下至少之一：

本發(fā)明根據(jù)光學(xué)全息原理得到真實(shí)環(huán)境中真實(shí)對(duì)象的全息圖，將此全息圖進(jìn)行二維傅里葉變換，并在頻率進(jìn)行高通濾波，僅保留物光波前信息相關(guān)的部分，再對(duì)此部分進(jìn)行傅里葉逆變換，得到真實(shí)環(huán)境中真實(shí)對(duì)象的波前函數(shù)。此波前函數(shù)是真三維信息，包含真實(shí)環(huán)境中真實(shí)對(duì)象的振幅信息和相位信息。

根據(jù)菲涅爾衍射原理和根據(jù)衍射距離計(jì)算出虛擬對(duì)象的波前函數(shù)，并與真實(shí)環(huán)境中真實(shí)對(duì)象的波前函數(shù)疊加，用于全息圖(此處的全息圖即為上述的目標(biāo)全息圖)的分層記錄。通過(guò)全息圖可以對(duì)真實(shí)環(huán)境和虛擬對(duì)象進(jìn)行分層信息記錄。而全息再現(xiàn)時(shí)，分層記錄的信息(真實(shí)環(huán)境和虛擬對(duì)象)不會(huì)相互干擾，使得全息圖能夠存儲(chǔ)巨大的信息量。

抗撕毀性是全息技術(shù)的最重要特性。本發(fā)明將全息技術(shù)引入三維注冊(cè)中，能夠增強(qiáng)系統(tǒng)在裁剪、壓縮、濾波和噪聲等方面攻擊的抵抗性，從而滿(mǎn)足性能的魯棒性。

當(dāng)然，本申請(qǐng)所提出的基于數(shù)字全息圖在三維顯示和二維顯示之間進(jìn)行切換的圖像處處理方法和圖像處理裝置并不限于實(shí)施例5及其變形例中所述記載的數(shù)字全息圖，只要是可以用于獲得用于三維顯示的圖像以及用于二維顯示的圖像的數(shù)字全息圖的技術(shù)方案都適用于本申請(qǐng)。

實(shí)施例6

下面介紹根據(jù)本申請(qǐng)實(shí)施例6，其中附圖18示出了根據(jù)實(shí)施例6，用于基于數(shù)字全息圖實(shí)現(xiàn)二維顯示和三維顯示的切換的圖像處理系統(tǒng)1800的示意圖。

如圖18所示，所述的圖像處理系統(tǒng)1800包括圖像處理裝置1810和顯示器1820。其中所述顯示裝置1810包括參數(shù)輸入接口1811、全息圖輸入接口1812、三維顯示處理模塊1813、二維顯示處理模塊1814、顯示驅(qū)動(dòng)模塊1815、判定單元1816以及全息圖分配單元1817。

其中關(guān)于全息圖輸入接口1812、全息圖分配單元1817、三維顯示處理模塊1813、二維顯示處理模塊1814以及顯示驅(qū)動(dòng)模塊1815的功能均與實(shí)施例5所述的圖像處理裝置中對(duì)應(yīng)的全息圖輸入接口512、全息圖分配單元517、三維顯示處理模塊513、二維顯示處理模塊514以及顯示驅(qū)動(dòng)模塊515的功能相同。并可以參考實(shí)施例5中所說(shuō)明的內(nèi)容執(zhí)行上述各個(gè)部件的操作，這里不再贅述，下面重點(diǎn)介紹參數(shù)輸入接口1811以及判定單元1816的操作。

其中參數(shù)輸入接口1811用于接收與該圖像處理系統(tǒng)1800的運(yùn)行相關(guān)的資源配置測(cè)試參數(shù)(例如處理器的運(yùn)行速度以及負(fù)載、緩存的剩余空間、當(dāng)前資源占有率、網(wǎng)速以及接收數(shù)字全息圖時(shí)的數(shù)據(jù)率等等)，并將接收的資源配置測(cè)試參數(shù)傳輸至判定單元1816。所述判定單元1816根據(jù)資源配置測(cè)試參數(shù)判斷當(dāng)前是否適于進(jìn)行三維顯示。如果通過(guò)資源配置測(cè)試參數(shù)，所述判定單元1816判定當(dāng)前運(yùn)行的資源配置足夠支持三維顯示，則向全息圖分配單元1817的狀態(tài)寄存器發(fā)送進(jìn)行三維顯示的指示，否則向全息圖分配單元1817的狀態(tài)寄存器發(fā)送進(jìn)行二維顯示的指示。全息圖分配單元1817的狀態(tài)寄存器在收到來(lái)自判定單元1816的指示以后，更新所存儲(chǔ)的狀態(tài)，從而使得所述全息圖分配單元1817將接收的數(shù)字全息圖發(fā)送至所述三維顯示處理模塊1813或發(fā)送至所述二維顯示處理模塊1814。

可選地，實(shí)施例6中的圖像處理裝置1810還可以設(shè)置有定時(shí)裝置，從而可以以預(yù)定的時(shí)間周期反復(fù)對(duì)資源配置情況進(jìn)行實(shí)時(shí)跟蹤和檢測(cè)，從而能夠根據(jù)資源配置的改變實(shí)時(shí)地實(shí)現(xiàn)三維顯示和二維顯示模式之間的切換。

圖19示出了實(shí)施例6中參數(shù)輸入接口1811、判定單元1816以及全息圖分配單元1817中的狀態(tài)寄存器的工作流程圖。在步驟s1902，參數(shù)輸入接口1811接收與該圖像處理系統(tǒng)1800的運(yùn)行相關(guān)的資源配置測(cè)試參數(shù)，并將其發(fā)送到判定單元1816，從而前進(jìn)到步驟s1904。在步驟s1904，所述判定單元1816根據(jù)所接收的資源配置測(cè)試參數(shù)，判斷是否進(jìn)行三維顯示。如果判定單元1816確定進(jìn)行三維顯示則進(jìn)入到步驟s1906，否則進(jìn)入到步驟s1910。在步驟s1906，判定單元1816向全息圖分配單元1817的狀態(tài)寄存器發(fā)送進(jìn)行三維顯示的指示，在步驟s1910，判定單元1816向全息圖分配單元1817的狀態(tài)寄存器發(fā)送進(jìn)行二維顯示的指示。在步驟s1908，全息圖分配單元1817的狀態(tài)寄存器根據(jù)接收到的指示更新?tīng)顟B(tài)寄存器中所存儲(chǔ)的狀態(tài)，使得所述全息圖分配單元1817將接收到的數(shù)字全息圖相應(yīng)地發(fā)送至所述三維顯示處理模塊1813或所述二維顯示處理模塊1814。然后，在步驟s1912經(jīng)過(guò)預(yù)定時(shí)間之后，再返回到步驟s1902，進(jìn)行下一循環(huán)的流程。

通過(guò)實(shí)施例6的技術(shù)方案，圖像處理裝置1810能夠根據(jù)當(dāng)前的資源配置情況在三維立體顯示和二維平面顯示之間進(jìn)行自動(dòng)的選擇或切換。從而使得當(dāng)資源配置不足以支持三維立體顯示時(shí)，也能夠通過(guò)二維平面顯示的方式在低配置的情況下進(jìn)行顯示。從而提高了顯示的連貫性。

應(yīng)注意，盡管實(shí)現(xiàn)圖像處理流程的各個(gè)接口和模塊均包括在圖像處理裝置1810中，但也可以分部在不同的裝置中彼此分開(kāi)。并且不同接口和模塊的功能也可以進(jìn)行適當(dāng)?shù)恼{(diào)整和組合。并且，所述的圖像處理裝置1810中的各個(gè)接口和模塊也不限于硬件電路，也可以是通過(guò)處理器或控制器實(shí)現(xiàn)的各個(gè)程序模塊或軟件模塊。

實(shí)施例7

下面說(shuō)明根據(jù)本申請(qǐng)實(shí)施例7的圖像處理系統(tǒng)2000，其中附圖20示出了根據(jù)實(shí)施例9的圖像處理系統(tǒng)2000的示意圖。

如圖20所示，所述的圖像處理系統(tǒng)2000包括圖像處理裝置2010和顯示器2020。其中所述圖像處理裝置2010包括指示信號(hào)輸入接口2011、全息圖輸入接口2012、三維顯示處理模塊2013、二維顯示處理模塊2014、顯示驅(qū)動(dòng)模塊2015、判定單元2016以及全息圖分配單元2017。

其中關(guān)于全息圖輸入接口2012、全息圖分配單元2017、三維顯示處理模塊2013、二維顯示處理模塊2014以及顯示驅(qū)動(dòng)模塊2015的功能均與實(shí)施例5所述的圖像處理裝置中對(duì)應(yīng)的對(duì)應(yīng)的全息圖輸入接口512、全息圖分配單元517、三維顯示處理模塊513、二維顯示處理模塊514以及顯示驅(qū)動(dòng)模塊515功能相同。這里不再贅述，下面重點(diǎn)介紹指示信號(hào)輸入接口2011以及判定單元2016的操作。

其中指示信號(hào)輸入接口2011用于從正在運(yùn)行的應(yīng)用(例如正在運(yùn)行的游戲、由內(nèi)容提供商提供的節(jié)目等)接收的應(yīng)用指示信號(hào)，并將該應(yīng)用指示信號(hào)傳輸至判定單元2016。其中，該應(yīng)用指示信號(hào)用于指示所述圖像處理系統(tǒng)2000進(jìn)行三維立體顯示或二維平面顯示的選擇或切換。所述判定單元2016根據(jù)所述應(yīng)用指示信息號(hào)判斷是否進(jìn)行三維顯示。如果所述判定單元2016根據(jù)所述應(yīng)用指示信息判定進(jìn)行三維顯示，則向全息圖分配單元2017的狀態(tài)寄存器發(fā)送進(jìn)行三維顯示的指示，否則向全息圖分配單元2017的狀態(tài)寄存器發(fā)送進(jìn)行二維顯示的指示。全息圖分配單元2017的狀態(tài)寄存器在收到來(lái)自判定單元2016的指示以后，更新所存儲(chǔ)的狀態(tài)，從而使得所述全息圖分配單元2017將接收的數(shù)字全息圖發(fā)送至所述三維顯示處理模塊2013或發(fā)送至所述二維顯示處理模塊2014，從而進(jìn)行三維顯示或進(jìn)行二維顯示。

附圖21示出了根據(jù)實(shí)施例9的圖像處理裝置2010的流程圖。在步驟s2102，圖像處理裝置2010通過(guò)指示信號(hào)輸入接口2011從正在運(yùn)行的應(yīng)用接收應(yīng)用指示信號(hào)，并將該應(yīng)用指示信號(hào)發(fā)送至判定單元2016。在步驟s2104，所述判定單元2016根據(jù)所述應(yīng)用指示信號(hào)判斷是否進(jìn)行三維顯示。如果判定單元2016確定進(jìn)行三維顯示則進(jìn)入到步驟s2106，否則進(jìn)入到步驟s2110。在步驟s2106，判定單元2016向全息圖分配單元2017的狀態(tài)寄存器發(fā)送進(jìn)行三維顯示的指示，在步驟s2110，判定單元2016向全息圖分配單元2017的狀態(tài)寄存器發(fā)送進(jìn)行二維顯示的指示。在步驟s2108，全息圖分配單元2017的狀態(tài)寄存器根據(jù)接收到的指示更新?tīng)顟B(tài)寄存器中所存儲(chǔ)的狀態(tài)，使得所述全息圖分配單元2017將接收到的數(shù)字全息圖相應(yīng)地發(fā)送至所述三維顯示處理模塊2013或所述二維顯示處理模塊2014。

通過(guò)實(shí)施例7，圖像處理系統(tǒng)2000能夠根據(jù)當(dāng)前正在運(yùn)行的游戲或正在展示的節(jié)目的請(qǐng)求，在三維立體顯示和二維平面顯示之間進(jìn)行自動(dòng)的選擇或切換。從而增強(qiáng)了游戲或節(jié)目的展示效果，并且為用戶(hù)提供更加美好的體驗(yàn)。

應(yīng)注意，盡管實(shí)現(xiàn)圖像處理流程的各個(gè)接口和模塊均包括在圖像處理裝置2010中，但也可以分部在不同的裝置中彼此分開(kāi)。并且不同接口和模塊的功能也可以進(jìn)行適當(dāng)?shù)恼{(diào)整和組合。并且，所述的圖像處理裝置2010中的各個(gè)接口和模塊也不限于硬件電路，也可以是通過(guò)處理器或控制器實(shí)現(xiàn)的各個(gè)程序模塊或軟件模塊。

實(shí)施例8

圖22示出了根據(jù)本申請(qǐng)實(shí)施例8的顯示系統(tǒng)2200的示意圖。

如圖22所示，所述的圖像處理系統(tǒng)2200包括圖像處理裝置2210和顯示器2220。其中所述圖像處理裝置2210包括參數(shù)輸入接口2211a、用戶(hù)接口2211b、指示信號(hào)輸入接口2211c、全息圖輸入接口2212、三維顯示處理模塊2213、二維顯示處理模塊2214、顯示驅(qū)動(dòng)模塊2215、判定單元2216、全息圖分配單元2217以及由資源配置寄存器2218a、用戶(hù)選擇寄存器2218b和應(yīng)用指示寄存器2218c組成的寄存器組。

其中關(guān)于全息圖輸入接口2212、全息圖分配單元2217、三維顯示處理模塊2213、二維顯示處理模塊2214以及顯示驅(qū)動(dòng)模塊2215的功能均與實(shí)施例5所述的所述的圖像處理裝置中對(duì)應(yīng)的全息圖輸入接口512、全息圖分配單元517、三維顯示處理模塊513、二維顯示處理模塊514以及顯示驅(qū)動(dòng)模塊515功能相同。這里不再贅述，下面重點(diǎn)介紹其他部分內(nèi)容。

如圖22所示，實(shí)施例10所述的圖像處理裝置2210將實(shí)施例7、8和9中的圖像處理裝置的功能進(jìn)行了整合。從而實(shí)施例10的圖像處理裝置2210包括參數(shù)輸入接口2211a、用戶(hù)接口2211b和指示信號(hào)輸入接口2211c，以及與各個(gè)接口接收的信息相對(duì)應(yīng)的資源配置寄存器2218a、用戶(hù)選擇寄存器2218b以及應(yīng)用指示寄存器2218c。從而使得所述的圖像處理系統(tǒng)2200能夠綜合參考資源配置情況、用戶(hù)的選擇以及當(dāng)前正在運(yùn)行應(yīng)用的指示等情況做出相應(yīng)的操作。

其中，所述參數(shù)輸入接口2211a、用戶(hù)接口2211b以及指示信號(hào)輸入接口2211c可以參考實(shí)施例7-9中的相應(yīng)描述。所述資源配置寄存器2218a用于存儲(chǔ)當(dāng)前的資源配置情況，例如支持三維顯示或不支持三維顯示。所述用戶(hù)選擇寄存器用于存儲(chǔ)當(dāng)前的用戶(hù)選擇，例如進(jìn)行三維顯示、進(jìn)行二維顯示或放棄選擇(此時(shí)狀態(tài)為“空”，表示用戶(hù)默認(rèn)由系統(tǒng)或運(yùn)行的應(yīng)用程序自行選擇三維或二維的顯示模式)。所述應(yīng)用指示寄存器用于存儲(chǔ)正在運(yùn)行的應(yīng)用的當(dāng)前指示，例如進(jìn)行三維顯示、進(jìn)行二維顯示或沒(méi)有(此時(shí)狀態(tài)為“空”，表示沒(méi)有運(yùn)行的應(yīng)用，這種情況下通常以二維顯示的模式顯示系統(tǒng)用戶(hù)界面)。也就是說(shuō)，所述資源配置寄存器2218a以及全息圖分配單元2217中的狀態(tài)寄存器(未示出)均可包括兩種狀態(tài)，而用戶(hù)選擇寄存器2218b和所述應(yīng)用指示寄存器2218c可包括三種狀態(tài)，如下表所示：

表1

根據(jù)上述表格，可以看出資源配置寄存器2218a、用戶(hù)選擇寄存器2218b和應(yīng)用指示寄存器2218c的狀態(tài)可能會(huì)出現(xiàn)彼此沖突的情形。在本實(shí)施例中，資源配置寄存器2218a的狀態(tài)的優(yōu)先級(jí)最高。即，當(dāng)資源配置寄存器2218a的狀態(tài)為不支持進(jìn)行三維顯示時(shí)，無(wú)論用戶(hù)選擇什么樣的指令或者所述應(yīng)用發(fā)出什么樣的指示，都只能進(jìn)行二維顯示。用戶(hù)指令的優(yōu)先級(jí)高于游戲指示的優(yōu)先級(jí)，即無(wú)論所述應(yīng)用給出二維顯示還是三維顯示的指示，除非用戶(hù)選擇寄存器的指示為“空”，否則均應(yīng)按照用戶(hù)選擇的方式進(jìn)行顯示。

所述資源配置寄存器2218a、用戶(hù)選擇寄存器2218b、應(yīng)用指示寄存器2218c以及所述狀態(tài)寄存器均可通過(guò)所述判定單元2216存取，以便根據(jù)判定單元2216發(fā)送的信息進(jìn)行更新以及由判定單元2216進(jìn)行讀取以用于判定單元2216的判斷流程。

其中，所述圖像處理裝置2210的參數(shù)輸入接口2211a接收與圖像處理系統(tǒng)2200的運(yùn)行相關(guān)的資源配置測(cè)試參數(shù)(例如處理器的運(yùn)行速度以及負(fù)載、緩存的剩余空間、當(dāng)前資源占有率、網(wǎng)速以及接收數(shù)字全息圖時(shí)的數(shù)據(jù)率等等)，并將接收的資源配置測(cè)試參數(shù)傳輸至判定單元2216。所述用戶(hù)接口2211b用于接收來(lái)自用戶(hù)的關(guān)于三維顯示或二維顯示的選擇指令或切換指令，并將用戶(hù)指令傳輸至判定單元2216。所述指示信號(hào)輸入接口2211c用于從正在運(yùn)行的應(yīng)用(例如正在運(yùn)行的游戲、由內(nèi)容提供商提供的節(jié)目等)接收的應(yīng)用指示信號(hào)，并將該應(yīng)用指示信號(hào)傳輸至判定單元2216。

其中所述圖像處理裝置2210關(guān)于參數(shù)輸入接口2211a的輸入的判定過(guò)程如附圖23所示。通常來(lái)說(shuō)，所述圖像處理系統(tǒng)2200在剛剛啟動(dòng)時(shí)，就開(kāi)始進(jìn)行資源配置參數(shù)的檢測(cè)以及接收。然后以預(yù)定的時(shí)間周期反復(fù)對(duì)資源配置情況進(jìn)行實(shí)時(shí)跟蹤和檢測(cè)，從而能夠根據(jù)資源配置的改變實(shí)時(shí)地實(shí)現(xiàn)三維顯示和二維顯示模式之間的切換。

如圖23所示，在步驟s2302，所述圖像處理裝置2210通過(guò)參數(shù)輸入接口2211a接收所檢測(cè)的資源配置測(cè)試參數(shù)。

然后在步驟s2304，所述圖像處理裝置2210通過(guò)所述判定單元2216讀取所述用戶(hù)選擇寄存器2218a，并且判定所述用戶(hù)選擇寄存器2218a是否為空。如果所述用戶(hù)選擇寄存器2218a不為空(“否”)，那就說(shuō)明書(shū)用戶(hù)已經(jīng)對(duì)三維顯示模式或者二維顯示模式做出了選擇或切換。由于在本實(shí)施例中用戶(hù)選擇的優(yōu)先級(jí)要高于應(yīng)用程序的指示，因此只有用戶(hù)選擇寄存器為空，即用戶(hù)并未選擇進(jìn)行二維或三維顯示時(shí)，流程才會(huì)進(jìn)入到步驟s2306以進(jìn)一步判定應(yīng)用指示寄存器的狀態(tài)，否則流程進(jìn)入到步驟s2312以便進(jìn)一步根據(jù)用戶(hù)選擇寄存器2218b的狀態(tài)進(jìn)行處理。

在步驟s2306，所述判定單元2216讀取應(yīng)用指示寄存器2218c，以判定所述應(yīng)用指示寄存器2218c的狀態(tài)是否為空或二維顯示。當(dāng)判定單元2216判定所述應(yīng)用指示寄存器2218c的狀態(tài)為空或二維顯示時(shí)(“是”)，流程進(jìn)入到步驟s2308。否則，即應(yīng)用指示寄存器2218c的狀態(tài)為三維顯示，流程進(jìn)入到步驟s2314。

在步驟s2308，由于當(dāng)應(yīng)用指示寄存器2218c為空或二維顯示時(shí)都是要進(jìn)行二維顯示的，因此相對(duì)于三維顯示而言對(duì)資源配置的要求會(huì)比較低。在這種情況下不需要再根據(jù)資源配置的情況進(jìn)行判定而直接可以確定進(jìn)行二維顯示。因此在步驟s2308中，所述判定單元2216根據(jù)應(yīng)用指示寄存器2218c的狀態(tài)向所述全息圖分配單元2217的狀態(tài)寄存器發(fā)送進(jìn)行二維顯示的指示，從而使得該狀態(tài)寄存器更新所存儲(chǔ)的狀態(tài)，以便將數(shù)字全息圖分配至二維顯示處理模塊2214，進(jìn)行二維顯示；并且然后判定單元2216根據(jù)所接收的資源配置測(cè)試參數(shù)判定當(dāng)前的資源配置情況是否能夠支持三維顯示，并據(jù)此更新資源配置寄存器2218a的狀態(tài)，以用于后續(xù)的判斷流程。然后經(jīng)過(guò)預(yù)定時(shí)間后，流程重新返回到步驟s2302，再次接收資源配置測(cè)試參數(shù)。

下面繼續(xù)對(duì)步驟s2304進(jìn)行說(shuō)明。當(dāng)判定單元2216在步驟s2304判定用戶(hù)選擇寄存器不為空時(shí)，則流程進(jìn)入到步驟s2312。在步驟s2312所述圖像處理裝置2210進(jìn)一步通過(guò)判定單元2216判斷所述用戶(hù)選擇寄存器2218b的狀態(tài)是否為進(jìn)行三維顯示。

當(dāng)判定單元2216在步驟s2312判定所述用戶(hù)選擇寄存器2218b的當(dāng)前狀態(tài)是進(jìn)行三維顯示時(shí)(“是”)，則流程進(jìn)入到步驟s2314；否則，即用戶(hù)選擇寄存器2218b的當(dāng)前狀態(tài)是進(jìn)行二維顯示時(shí)，流程進(jìn)入到步驟s2310。

在步驟s2310，由于當(dāng)用戶(hù)選擇寄存器2218b的狀態(tài)為二維顯示時(shí)，圖像處理系統(tǒng)2200要進(jìn)行二維顯示，因此相對(duì)于三維顯示而言對(duì)資源配置的要求會(huì)比較低。在這種情況下不需要再根據(jù)資源配置的情況進(jìn)行判定而直接可以確定進(jìn)行二維顯示。因此在步驟s2310中，所述判定單元2216根據(jù)用戶(hù)選擇寄存器2218b的狀態(tài)向所述全息圖分配單元2217的狀態(tài)寄存器發(fā)送進(jìn)行二維顯示的指示，從而使得該狀態(tài)寄存器更新所存儲(chǔ)的狀態(tài)，以便將數(shù)字全息圖分配至二維顯示處理模塊2214，進(jìn)行二維顯示；并且然后判定單元2216根據(jù)所接收的資源配置測(cè)試參數(shù)判定當(dāng)前的資源配置情況是否能夠支持三維顯示，并據(jù)此更新資源配置寄存器2218a的狀態(tài)，以用于后續(xù)的判斷流程。然后經(jīng)過(guò)預(yù)定時(shí)間后，流程重新返回到步驟s2302，再次接收資源配置測(cè)試參數(shù)。

在步驟s2314，此時(shí)至少用戶(hù)選擇寄存器2218b或應(yīng)用指示寄存器2218c的狀態(tài)為進(jìn)行三維顯示。在這種情況下，由于進(jìn)行三維顯示對(duì)資源配置的要求比較高，為了避免出現(xiàn)由于資源配置達(dá)不到三維顯示的要求而導(dǎo)致的顯示質(zhì)量劣化甚至不能顯示的情形，判定單元2216會(huì)根據(jù)所接收的資源配置測(cè)試參數(shù)判定當(dāng)前的資源配置是否能夠支持三維顯示。如果判定單元2216判定當(dāng)前的資源能夠支持三維顯示(“是”)，則流程進(jìn)入步驟s2315，否則流程進(jìn)入到步驟s2317。

在步驟s2315，判定單元根據(jù)支持三維顯示的判定結(jié)果對(duì)資源配置寄存器2218a進(jìn)行更新，并且向全息圖分配單元2217的狀態(tài)寄存器發(fā)送三維顯示的指示。

在步驟s2317，判定單元根據(jù)不支持三維顯示的判定結(jié)果對(duì)資源配置寄存器2218a進(jìn)行更新，并且向全息圖分配單元2217的狀態(tài)寄存器發(fā)送二維顯示的指示。此外，顯示系統(tǒng)2200還通過(guò)顯示器2220向用戶(hù)發(fā)出當(dāng)前資源不支持三維顯示的通知。

在步驟s2316，所述全息圖分配單元2217的狀態(tài)寄存器根據(jù)從判定單元2216接收的指示，相應(yīng)地更新?tīng)顟B(tài)寄存器，以便將數(shù)字全息圖發(fā)送至三維顯示處理模塊2213或二維顯示處理模塊2214以便進(jìn)行三維顯示或二維顯示。

在步驟s2316之后經(jīng)過(guò)預(yù)定時(shí)間，該流程重新返回到步驟s2302，再次接收資源配置測(cè)試參數(shù)。

通過(guò)這樣的方式，圖像處理裝置2210能夠根據(jù)當(dāng)前的資源配置情況在三維立體顯示和二維平面顯示之間進(jìn)行自動(dòng)的選擇或切換。從而使得當(dāng)資源配置不足以支持三維立體顯示時(shí)，也能夠通過(guò)二維平面顯示的方式在低配置的情況下進(jìn)行顯示。從而提高了顯示的連貫性。

下面，圖24示出了當(dāng)圖像處理裝置2210接收到用戶(hù)指令時(shí)的流程圖。

如圖24所示，在步驟s2402，圖像處理裝置2210通過(guò)用戶(hù)接口2211b接收來(lái)自用戶(hù)的在二維顯示和三維顯示之間進(jìn)行選擇或切換的指令。當(dāng)然，用戶(hù)也可以發(fā)出放棄選擇的指令(即用戶(hù)不對(duì)二維顯示或三維顯示進(jìn)行選擇，而由系統(tǒng)或應(yīng)用自行確定是否進(jìn)行二維顯示或三維顯示的切換)。

在步驟s2404，判定單元2216對(duì)接收到的用戶(hù)指令進(jìn)行判斷，當(dāng)判定用戶(hù)指令為進(jìn)行三維顯示時(shí)，流程進(jìn)入到步驟s2406。當(dāng)判定用戶(hù)指令為進(jìn)行二維顯示時(shí)，流程進(jìn)入到步驟s2412。當(dāng)判定用戶(hù)指令為放棄選擇時(shí)，流程進(jìn)入到步驟s2416。

在步驟s2416，當(dāng)用戶(hù)指令為放棄選擇時(shí)，判定單元2216根據(jù)用戶(hù)的指令將用戶(hù)選擇寄存器2218b所存儲(chǔ)的狀態(tài)更新為空，然后結(jié)束流程。

在步驟s2412，當(dāng)用戶(hù)指令為進(jìn)行二維顯示時(shí)，判定單元2216根據(jù)用戶(hù)的指令將用戶(hù)選擇寄存器2218b所存儲(chǔ)的狀態(tài)更新為進(jìn)行二維顯示，并且向全息圖分配單元2217的狀態(tài)寄存器發(fā)送進(jìn)行二維顯示的指示。

在步驟s2406，當(dāng)用戶(hù)指令為進(jìn)行三維顯示時(shí)，判定單元2216從資源配置寄存器2218a讀取資源配置寄存器2218a所存儲(chǔ)的狀態(tài)，當(dāng)存儲(chǔ)的狀態(tài)為支持三維顯示時(shí)，說(shuō)明當(dāng)前的資源配置能夠支持三維顯示，流程進(jìn)入到步驟s2408。否則，當(dāng)所存儲(chǔ)的狀態(tài)為不支持三維顯示時(shí)，流程進(jìn)入到步驟s2414。

在步驟s2408，判定單元2216根據(jù)用戶(hù)的指令將用戶(hù)選擇寄存器2218b所存儲(chǔ)的狀態(tài)更新為進(jìn)行三維顯示，并且向全息圖分配單元2217的狀態(tài)寄存器發(fā)送進(jìn)行三維顯示的指示。

在步驟s2414，判定單元2216根據(jù)用戶(hù)的指令將用戶(hù)選擇寄存器2218b所存儲(chǔ)的狀態(tài)更新為進(jìn)行三維顯示，但是向全息圖分配單元2217的狀態(tài)寄存器發(fā)送進(jìn)行二維顯示的指示。并且顯示系統(tǒng)2200還通過(guò)顯示器2220向用戶(hù)發(fā)出當(dāng)前資源不支持三維顯示的通知。

在步驟s2410，全息圖分配單元2217的狀態(tài)寄存器根據(jù)接收的指示，將所存儲(chǔ)的狀態(tài)更新為進(jìn)行二維顯示或進(jìn)行三維顯示，以便將數(shù)字全息圖發(fā)送至三維顯示處理模塊2213或二維顯示處理模塊2214。然后流程結(jié)束。

因此，通過(guò)該流程，用戶(hù)可以根據(jù)自己的意愿選擇二維顯示或三維顯示，或者選擇由系統(tǒng)或應(yīng)用程序自行實(shí)現(xiàn)對(duì)二維顯示或三維顯示的選擇和切換。因此增強(qiáng)了用戶(hù)體驗(yàn)，從而取得了良好的效果。

圖25示出了在指示信號(hào)輸入接口2211c接收到應(yīng)用指示信號(hào)時(shí)的流程圖。

如圖25所示，在步驟s2502，圖像處理裝置2210通過(guò)指示信號(hào)輸入接口2211c從正在運(yùn)行的應(yīng)用接收在二維顯示和三維顯示之間進(jìn)行選擇或切換的指示。

在步驟s2504，判定單元2216對(duì)用戶(hù)選擇寄存器2218b進(jìn)行訪(fǎng)問(wèn)，判定當(dāng)前用戶(hù)選擇寄存器2218b的狀態(tài)是否為“空”。如果用戶(hù)選擇寄存器的狀態(tài)為“空”(“是”)，則流程進(jìn)入到步驟s2506；否則流程進(jìn)入到步驟s2518。

在步驟s2518，由于用戶(hù)選擇寄存器的狀態(tài)不為“空”，這說(shuō)明用戶(hù)已經(jīng)對(duì)二維顯示或三維顯示做出了選擇。由于用戶(hù)選擇的優(yōu)先級(jí)高于應(yīng)用指示的優(yōu)先級(jí)，因此在這種情況下，判定單元2216僅僅根據(jù)接收到的應(yīng)用指示信號(hào)，對(duì)應(yīng)用指示寄存器2218c的狀態(tài)進(jìn)行更新，便結(jié)束流程。

在步驟s2506，由于用戶(hù)選擇寄存器狀態(tài)為“空”，這說(shuō)明用戶(hù)放棄對(duì)二維顯示或三維顯示的選擇，而交由系統(tǒng)或應(yīng)用自行進(jìn)行選擇。因此，判定單元2216判斷接收到的應(yīng)用指示是否為進(jìn)行三維顯示。當(dāng)判定應(yīng)用指示為進(jìn)行三維顯示時(shí)(“是”)，流程進(jìn)入到步驟s2508。否則當(dāng)判定應(yīng)用指示為不進(jìn)行三維顯示時(shí)(“否”)，流程進(jìn)入到步驟s2514。

在步驟s2514，當(dāng)應(yīng)用指示為不進(jìn)行三維顯示(即，進(jìn)行二維顯示)時(shí)，判定單元2216根據(jù)所接收的應(yīng)用指示將應(yīng)用指示寄存器2218c所存儲(chǔ)的狀態(tài)更新為進(jìn)行二維顯示，并且向全息圖分配單元2217的狀態(tài)寄存器發(fā)送進(jìn)行二維顯示的指示。

在步驟s2508，當(dāng)應(yīng)用指示為進(jìn)行三維顯示時(shí)，判定單元2216從資源配置寄存器2218a讀取資源配置寄存器2218a所存儲(chǔ)的狀態(tài)，當(dāng)存儲(chǔ)的狀態(tài)為支持三維顯示時(shí)，說(shuō)明當(dāng)前的資源配置能夠支持三維顯示，流程進(jìn)入到步驟s2510。否則，當(dāng)所存儲(chǔ)的狀態(tài)為不支持三維顯示時(shí)，流程進(jìn)入到步驟s2516。

在步驟s2510，判定單元2216根據(jù)所接收的應(yīng)用指示將應(yīng)用指示寄存器2218c所存儲(chǔ)的狀態(tài)更新為進(jìn)行三維顯示，并且向全息圖分配單元2217的狀態(tài)寄存器發(fā)送進(jìn)行三維顯示的指示。

在步驟s2516，判定單元2216根據(jù)所接收的應(yīng)用指示將應(yīng)用指示寄存器2218c所存儲(chǔ)的狀態(tài)更新為進(jìn)行三維顯示，但是向全息圖分配單元2217的狀態(tài)寄存器發(fā)送進(jìn)行二維顯示的指示。

在步驟s2512，全息圖分配單元2217的狀態(tài)寄存器根據(jù)接收的指示，將所存儲(chǔ)的狀態(tài)更新為進(jìn)行二維顯示或進(jìn)行三維顯示，以便將數(shù)字全息圖發(fā)送至三維顯示處理模塊2213或二維顯示處理模塊2014。然后結(jié)束流程。

從而根據(jù)該流程，圖像處理系統(tǒng)2200能夠根據(jù)當(dāng)前正在運(yùn)行的游戲或正在展示的節(jié)目的請(qǐng)求，在三維立體顯示和二維平面顯示之間進(jìn)行自動(dòng)的選擇或切換。從而增強(qiáng)了游戲或節(jié)目的展示效果，并且為用戶(hù)提供更加美好的體驗(yàn)

綜上，根據(jù)本實(shí)施例的圖像處理系統(tǒng)2200，可以綜合考慮用戶(hù)指令、資源配置以及應(yīng)用指示，而在三維顯示和二維顯示之間進(jìn)行切換。從而綜合性地滿(mǎn)足了用戶(hù)體驗(yàn)、顯示的連貫性和質(zhì)量以及應(yīng)用的演示效果等多方面的需求。

應(yīng)注意，盡管實(shí)現(xiàn)圖像處理流程的各個(gè)接口和模塊均包括在圖像處理裝置2210中，但也可以分部在不同的裝置中彼此分開(kāi)。并且不同接口和模塊的功能也可以進(jìn)行適當(dāng)?shù)恼{(diào)整和組合。并且，所述的圖像處理裝置2210中的各個(gè)接口和模塊也不限于硬件電路，也可以是通過(guò)處理器或控制器實(shí)現(xiàn)的各個(gè)程序模塊或軟件模塊。

并且，在本實(shí)施例中，資源配置判定結(jié)果的優(yōu)先級(jí)高于用戶(hù)選擇的優(yōu)先級(jí)，而用戶(hù)選擇的優(yōu)先級(jí)高于應(yīng)用指示的優(yōu)先級(jí)。但是，這只是用于對(duì)本實(shí)施例的方案進(jìn)行說(shuō)明，實(shí)際上本申請(qǐng)還可以采取其他的優(yōu)先級(jí)排序。例如應(yīng)用指示的優(yōu)先級(jí)可以高于用戶(hù)選擇的優(yōu)先級(jí)，并且用戶(hù)選擇和應(yīng)用指示的優(yōu)先級(jí)也可以高于資源配置判定結(jié)果的優(yōu)先級(jí)，等等。并且盡管實(shí)施例中給出了同時(shí)結(jié)合用戶(hù)指令、資源配置以及應(yīng)用指示三者在二維顯示和三維顯示之間進(jìn)行切換的技術(shù)方案，但也可以在上述因素中進(jìn)行任意組合，例如只考慮用戶(hù)指令和資源配置、或者只考慮用戶(hù)指令和應(yīng)用指示等等，并且也可以根據(jù)實(shí)際需要設(shè)置不同考慮因素之間的優(yōu)先級(jí)排序。

并且雖然本實(shí)施例中記載的資源配置寄存器2218a、用戶(hù)選擇寄存器2218b、應(yīng)用指示寄存器2218c以及所述全息圖分配單元中的狀態(tài)寄存器為彼此獨(dú)立的寄存器，但是也可以考慮將其功能實(shí)現(xiàn)于同一個(gè)存儲(chǔ)裝置的不同存儲(chǔ)區(qū)塊中。

綜上所述，通過(guò)本申請(qǐng)的圖像處理裝置及方法解決了現(xiàn)有技術(shù)中存在的以下技術(shù)問(wèn)題：1)過(guò)多的三維立體顯示或過(guò)多的二維立體顯示導(dǎo)致的用戶(hù)體驗(yàn)劣化；2)通過(guò)配置較低的裝置進(jìn)行三維立體顯示時(shí)可能會(huì)出現(xiàn)無(wú)法顯示或顯示質(zhì)量低劣的情況；3)應(yīng)用以及展示的內(nèi)容需要三維顯示和二維顯示的切換；4)當(dāng)前的三維立體顯示技術(shù)成本過(guò)高、工作繁復(fù)、傳輸效率低以及運(yùn)算速度慢；5)三維立體顯示與二維平面顯示這兩種模式的關(guān)聯(lián)問(wèn)題；6)計(jì)算機(jī)全息圖進(jìn)行再現(xiàn)時(shí)存在零級(jí)衍射光斑和共軛像導(dǎo)致衍射效率不高，信噪比很低的問(wèn)題。從而可以提高用戶(hù)體驗(yàn)、靈活的適用于各種硬件配置并且增強(qiáng)游戲以及展示內(nèi)容等應(yīng)用的表現(xiàn)力。

上述本申請(qǐng)實(shí)施例序號(hào)僅僅為了描述，不代表實(shí)施例的優(yōu)劣。

在本申請(qǐng)的上述實(shí)施例中，對(duì)各個(gè)實(shí)施例的描述都各有側(cè)重，某個(gè)實(shí)施例中沒(méi)有詳述的部分，可以參見(jiàn)其他實(shí)施例的相關(guān)描述。

在本申請(qǐng)所提供的幾個(gè)實(shí)施例中，應(yīng)該理解到，所揭露的技術(shù)內(nèi)容，可通過(guò)其它的方式實(shí)現(xiàn)。其中，以上所描述的裝置實(shí)施例僅僅是示意性的，例如所述單元或模塊的劃分，僅僅為一種邏輯功能劃分，實(shí)際實(shí)現(xiàn)時(shí)可以有另外的劃分方式，例如多個(gè)單元或模塊或組件可以結(jié)合或者可以集成到另一個(gè)系統(tǒng)，或一些特征可以忽略，或不執(zhí)行。另一點(diǎn)，所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過(guò)一些接口，模塊或單元的間接耦合或通信連接，可以是電性或其它的形式。

所述作為分離部件說(shuō)明的單元或模塊可以是或者也可以不是物理上分開(kāi)的，作為單元或模塊顯示的部件可以是或者也可以不是物理單元或模塊，即可以位于一個(gè)地方，或者也可以分布到多個(gè)網(wǎng)絡(luò)單元或模塊上?？梢愿鶕?jù)實(shí)際的需要選擇其中的部分或者全部單元或模塊來(lái)實(shí)現(xiàn)本實(shí)施例方案的目的。

另外，在本申請(qǐng)各個(gè)實(shí)施例中的各功能單元或模塊可以集成在一個(gè)處理單元或模塊中，也可以是各個(gè)單元或模塊單獨(dú)物理存在，也可以?xún)蓚€(gè)或兩個(gè)以上單元或模塊集成在一個(gè)單元或模塊中。上述集成的單元或模塊既可以采用硬件的形式實(shí)現(xiàn)，也可以采用軟件功能單元或模塊的形式實(shí)現(xiàn)。

所述集成的單元如果以軟件功能單元的形式實(shí)現(xiàn)并作為獨(dú)立的產(chǎn)品銷(xiāo)售或使用時(shí)，可以存儲(chǔ)在一個(gè)計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中?；谶@樣的理解，本申請(qǐng)的技術(shù)方案本質(zhì)上或者說(shuō)對(duì)現(xiàn)有技術(shù)做出貢獻(xiàn)的部分或者該技術(shù)方案的全部或部分可以以軟件產(chǎn)品的形式體現(xiàn)出來(lái)，該計(jì)算機(jī)軟件產(chǎn)品存儲(chǔ)在一個(gè)存儲(chǔ)介質(zhì)中，包括若干指令用以使得一臺(tái)計(jì)算機(jī)設(shè)備(可為個(gè)人計(jì)算機(jī)、服務(wù)器或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本申請(qǐng)各個(gè)實(shí)施例所述方法的全部或部分步驟。而前述的存儲(chǔ)介質(zhì)包括：u盤(pán)、只讀存儲(chǔ)器(rom，read-onlymemory)、隨機(jī)存取存儲(chǔ)器(ram，randomaccessmemory)、移動(dòng)硬盤(pán)、磁碟或者光盤(pán)等各種可以存儲(chǔ)程序代碼的介質(zhì)。

以上所述僅是本申請(qǐng)的優(yōu)選實(shí)施方式，應(yīng)當(dāng)指出，對(duì)于本技術(shù)領(lǐng)域的普通技術(shù)人員來(lái)說(shuō)，在不脫離本申請(qǐng)?jiān)淼那疤嵯拢€可以做出若干改進(jìn)和潤(rùn)飾，這些改進(jìn)和潤(rùn)飾也應(yīng)視為本申請(qǐng)的保護(hù)范圍。