本申請要求2015年8月3日在韓國知識產(chǎn)權局遞交的韓國專利申請10-2015-0109573號的優(yōu)先權，在此通過引用將該申請的公開內容全部并入。

技術領域

符合示范性實施例的方法和裝置涉及處理全息圖像，更具體而言涉及用于從低分辨率圖像生成計算機生成全息圖(computer generated hologram，CGH)圖像的方法和裝置，其中該低分辨率圖像被變換成低分辨率復圖像，該低分辨率復圖像被插值成高分辨率復圖像。

背景技術：

三維(3D)圖形技術要求生成大量的立體圖像來顯示3D視頻。然而，當觀看通過使用大量3D圖像生成的3D視頻時，用戶可經(jīng)歷各種問題，例如眼睛疲勞或者用戶的視野可受到限制。

為了改善用戶體驗，通過使用全息圖生成的3D視頻最近受到了關注。具體而言，全息術是一種通過控制光的幅度和相位來在3D空間中再現(xiàn)物體的技術。全息術不限制用戶的視野或引起眼睛疲勞，并且因此對用于通過生成例如計算機生成全息圖(CGH)的數(shù)字全息圖來實時地再現(xiàn)高分辨率全息圖的技術已積極進行了研究。

技術實現(xiàn)要素：

示范性實施例的一些方面涉及用于處理全息圖像的方法和裝置。

另外的方面一部分將在接下來的描述中詳盡解釋，一部分將從描述中清楚顯現(xiàn)，或者可通過給出的示范性實施例的實踐來獲知。

根據(jù)示范性實施例的一方面，提供了一種處理全息圖像的方法，該方法包括：通過對具有第一分辨率的輸入圖像數(shù)據(jù)執(zhí)行頻率變換來生成與第一分辨率相對應的第一復圖像；把具有第一分辨率的第一復圖像縮放成具有第二分辨率的第二復圖像；把與已被縮放的第二復圖像中的第二分辨率的像素分別相對應的復數(shù)值編碼成整數(shù)值；以及通過使用編碼的整數(shù)值生成具有第二分辨率的計算機生成全息圖(CGH)圖像。

第一分辨率可小于第二分辨率。

輸入圖像數(shù)據(jù)可包括具有第一分辨率的左眼二維(2D)圖像和右眼2D圖像中的每個像素的顏色數(shù)據(jù)和深度數(shù)據(jù)，并且第一復圖像的生成可包括通過執(zhí)行每個像素的顏色數(shù)據(jù)和深度數(shù)據(jù)的頻率變換以變換成與每個像素相對應的復數(shù)值來生成第一復圖像。

頻率變換可包括廣義菲涅耳變換(GFT)，并且第一復圖像的生成可包括對具有第一分辨率的至少一個輸入圖像中的每個像素執(zhí)行快速傅立葉變換(FFT)。

第一復圖像的縮放可包括通過執(zhí)行插值來將第一分辨率的第一復圖像升尺度成第二分辨率的第二復圖像。

第一復圖像的縮放可包括：將第一復圖像分離成與第一分辨率相對應的第一實圖像和第一虛圖像；通過分別對第一實圖像和第一虛圖像執(zhí)行插值來生成與第二分辨率相對應的第二實圖像和第二虛圖像；以及通過將第二實圖像和第二虛圖像彼此合成來生成第二復圖像。

編碼可包括把復數(shù)值編碼成8比特無符號整數(shù)值。

當輸入圖像是具有第二分辨率的并排格式或上下格式的立體圖像時，該方法還可包括把立體圖像預處理成第一分辨率的左眼2D圖像和右眼2D圖像，并且輸入圖像數(shù)據(jù)可包括第一分辨率的經(jīng)預處理的左眼2D圖像和經(jīng)預處理的右眼2D圖像中的像素的顏色數(shù)據(jù)和深度數(shù)據(jù)。

當輸入圖像具有大于第一分辨率的第三分辨率時，該方法還可包括把具有第三分辨率的輸入圖像降尺度成第一分辨率，并且輸入圖像數(shù)據(jù)可包括經(jīng)降尺度的輸入圖像中的像素的顏色數(shù)據(jù)和深度數(shù)據(jù)。

根據(jù)示范性實施例的一方面，提供了一種非暫態(tài)計算機可讀記錄介質，其上記錄有程序，該程序當被計算機運行時執(zhí)行該方法。

根據(jù)示范性實施例的一方面，提供了一種用于處理全息圖像的裝置，該裝置包括：頻率變換操作器，其被配置為通過對具有第一分辨率的輸入圖像數(shù)據(jù)執(zhí)行頻率變換來生成與第一分辨率相對應的第一復圖像；縮放操作器，其被配置為把具有第一分辨率的第一復圖像縮放成具有第二分辨率的第二復圖像；編碼器，其被配置為把與經(jīng)縮放的第二復圖像中的第二分辨率的像素分別相對應的復數(shù)值編碼成整數(shù)值；以及計算機生成全息圖(CGH)圖像生成器，其被配置為通過使用編碼的整數(shù)值生成具有第二分辨率的CGH圖像。

第一分辨率可小于第二分辨率。

輸入圖像數(shù)據(jù)可包括具有第一分辨率的左眼二維(2D)圖像和右眼2D圖像中的像素的顏色數(shù)據(jù)和深度數(shù)據(jù)，并且頻率變換操作器可通過對像素的顏色數(shù)據(jù)和深度數(shù)據(jù)執(zhí)行頻率變換以變換成與像素相對應的復數(shù)值來生成第一復圖像。

頻率變換可包括廣義菲涅耳變換，并且頻率變換操作器可通過對具有第一分辨率的至少一個輸入圖像中的每個像素執(zhí)行快速傅立葉變換(FFT)來生成第一復圖像。

縮放操作器可通過執(zhí)行插值來把第一分辨率的第一復圖像升尺度成第二分辨率的第二復圖像。

縮放操作器可以把第一復圖像分離成與第一分辨率相對應的第一實圖像和第一虛圖像，通過對第一實圖像和第一虛圖像的每一者執(zhí)行插值來生成與第二分辨率相對應的第二實圖像和第二虛圖像，并且通過合成第二實圖像和第二虛圖像來生成第二復圖像。

編碼器可以把復數(shù)值編碼成8比特無符號整數(shù)值。

當輸入圖像是具有第二分辨率的并排格式或上下格式的立體圖像時，縮放操作器可以把立體圖像預處理成第一分辨率的左眼2D圖像和右眼2D圖像，并且輸入圖像數(shù)據(jù)可包括第一分辨率的經(jīng)預處理的左眼2D圖像和經(jīng)預處理的右眼2D圖像中的像素的顏色數(shù)據(jù)和深度數(shù)據(jù)。

當輸入圖像具有大于第一分辨率的第三分辨率時，縮放操作器可以把具有第三分辨率的輸入圖像降尺度成第一分辨率，并且輸入圖像數(shù)據(jù)可包括經(jīng)降尺度的輸入圖像中的像素的顏色數(shù)據(jù)和深度數(shù)據(jù)。

第三分辨率可等于第二分辨率。

附圖說明

從以下結合附圖對示范性實施例的描述，上述和其它方面將變得清楚并且更容易領會，附圖中：

圖1是根據(jù)示范性實施描述使用計算設備對全息圖像的顯示的圖；

圖2是根據(jù)示范性實施例的計算設備的框圖；

圖3是根據(jù)示范性實施例的計算設備處理器的詳細硬件配置的框圖；

圖4A是圖示出根據(jù)示范性實施例的輸入圖像的圖；

圖4B是圖示出根據(jù)示范性實施例的輸入圖像的圖；

圖5是根據(jù)示范性實施例圖示出用于生成計算機生成全息圖(CGH)圖像的CGH處理的流程圖；

圖6是根據(jù)示范性實施例描述由頻率變換操作器執(zhí)行的頻率變換的圖；

圖7是根據(jù)示范性實施例描述由縮放操作器執(zhí)行的縮放操作的圖；

圖8是根據(jù)示范性實施例用于描述由編碼器執(zhí)行的編碼的圖；

圖9A和圖9B是根據(jù)另一示范性實施例示出縮放立體圖像的圖；

圖10是根據(jù)示范性實施例示出高分辨率圖像的處理的流程圖；并且

圖11是根據(jù)示范性實施例示出處理全息圖像的方法的流程圖。

具體實施方式

本文使用的術語是考慮到本公開的主題的功能從廣泛使用的一般術語中選擇的。然而，根據(jù)本領域普通技術人員的意圖、先例和新技術的出現(xiàn)，術語可以有變化。另外，在特殊情況中，選擇的術語的含義在下文描述。因此，本文使用的術語是基于與在整個說明書各處論述的內容有關的含義來定義的。

在本說明書中，當一構成元素“連接”或“被連接”到另一構成元素時，該構成元素不僅可直接接觸或被連接到該另一構成元素，而且也可通過介于其間的至少一個其它構成元素以電氣方式接觸或被連接到該另一構成元素。另外，當一部件“包括”某一構成元素時，除非另有指明，否則不可被解釋為排除另一構成元素，而是可被解釋為還包括其它構成元素。在說明書中陳述的諸如“……單元”、“～模塊”等等術語可表示用于處理至少一個功能或操作的單元并且該單元可由硬件、軟件或硬件和軟件的組合來體現(xiàn)。

諸如“包括”或“包含”之類的術語不可被解釋為必定包括說明書中描述的任何和所有構成元素或步驟，而是可被解釋為排除一些構成元素或步驟或者還包括額外的構成元素或步驟。

另外，諸如“第一”和“第二”之類的術語在本文中只是用于描述各種構成元素，但這些構成元素不受這些術語的限制。使用這種術語只是為了區(qū)分一個構成元素與另一構成元素。

參考附圖以獲得對本公開、其優(yōu)點和通過這里的實現(xiàn)構思所達成的目標的充分理解。

如本文使用的，術語“和/或”包括關聯(lián)的所列項目中的一個或多個的任意和所有組合。諸如“……中的至少一者”之類的表述當在元素的列表之前時修飾整個元素列表，而不修飾列表中的個體元素。

圖1是根據(jù)示范性實施描述使用計算設備對全息圖像的顯示的圖。

參考圖1，計算設備10通過對輸入圖像21執(zhí)行計算機生成全息圖(CGH)處理來生成CGH圖像23。計算設備10可將生成的CGH圖像23顯示為全息圖像30，用戶40可在三維(3D)空間中觀看該全息圖像30。計算設備10或者可將生成的CGH圖像23輸出到另一外部設備，該外部設備輸出全息圖像30。CGH處理可包括由計算設備10執(zhí)行的用于生成CGH圖像23的一系列處理。此外，全息圖像30可包括靜止圖像，或者被再現(xiàn)為全息圖的視頻。

全息圖是一種通過調整光的幅度和相位來在3D空間中再現(xiàn)物體的3D空間表示技術。因此，用戶對于全息輸出可具有不受限制的視野并且可不經(jīng)歷與3D圖像觀看相關聯(lián)的傳統(tǒng)視覺疲勞?？墒褂梦矬w波與參考波之間的干涉圖樣在3D空間中顯示全息圖像?？衫猛ㄟ^處理用于再現(xiàn)全息視頻的干涉圖樣來在平板顯示器上提供全息圖的CGH技術。

CGH技術通過近似光學信號并且計算由數(shù)學計算生成的干涉圖樣來生成全息圖。因為3D對象由一組3D點構成，所以生成數(shù)字全息圖的方法計算分別對應于構成3D對象的所有3D點的點全息圖來表示完整的全息圖。

計算設備10把低分辨率的輸入圖像21變換成高分辨率的CGH圖像23以顯示高分辨率的全息圖像30。全息圖像30可包括平面(二維(2D))全息圖和體積(3D)全息圖。以下，為了描述的方便，將假定低分辨率是具有1920×1080像素的分辨率的全高清(full high definition，F(xiàn)HD)并且高分辨率是具有3840×2160像素的分辨率的超HD(ultra HD，UHD)。然而，示范性實施例不限于此。例如，低分辨率圖像可以是HD圖像并且高分辨率可以是FHD圖像，或者低分辨率可以是HD圖像并且高分辨率圖像可以是UHD圖像。

低分辨率的輸入圖像21到高分辨率的CGH圖像23的變換可通過包括各種計算的CGH處理來執(zhí)行。CGH處理可包括用于計算3D空間中的每個點全息圖的快速傅立葉變換(fast Fourier transformation，F(xiàn)FT)。主要影響用于執(zhí)行CGH處理的計算量或計算速度的主要原因可能是FFT。在CGH處理中，對每個像素執(zhí)行FFT。因此，分辨率越高，執(zhí)行FFT所花費的處理越多。因此，隨著要處理的輸入圖像的分辨率增大，用于CGH處理的計算量增大并且計算速度降低。因此，如果例如經(jīng)降采樣來減小要處理的像素的數(shù)目，則當更有效地執(zhí)行FFT時，可以更高效地完成CGH處理。

以下，根據(jù)一個或多個示范性實施例的計算設備10可執(zhí)行用于將低分辨率輸入圖像21轉換成高分辨率CGH圖像23的CGH處理。下文將詳細描述CGH處理。

圖2是根據(jù)示范性實施例的計算設備的框圖。

參考圖2，計算設備10可包括存儲器110、處理器120、顯示器130和接口140。在圖2中，在計算設備10中只示出了與一個或多個示范性實施例有關的元素。因此，本領域普通技術人員將會明白，在計算設備10中還可包括除了圖2所示的元素以外的元素。

計算設備10可例如是桌面型計算機、筆記本計算機、智能電話、個人數(shù)字助理(personal digital assistant，PDA)、便攜式媒體播放器、視頻游戲機、電視機頂盒、平板設備、電子書閱讀器、可穿戴設備等等，但計算設備10不限于此。

處理器120是用于控制計算設備10的整體操作和功能的硬件電路。例如，處理器120可運行操作系統(tǒng)(operating system，OS)、用于執(zhí)行CGH處理的圖形應用編程接口(application programming interface，API)和用于顯示全息圖像的圖形驅動器。此外，處理器120可運行存儲器110中存儲的各種應用，例如全息圖再現(xiàn)應用、Web瀏覽應用、游戲應用、視頻應用，等等。

同時，處理器120可執(zhí)行用于將低分辨率輸入圖像21變換成高分辨率CGH圖像23的CGH處理，如上所述。處理器120可被實現(xiàn)為中央處理單元(central processing unit，CPU)、微處理器、圖形處理單元(graphic processing unit，GPU)、應用處理器(application processor，AP)等等中的一個或多個。

存儲器110是用于存儲被計算設備10的處理器120處理的各種數(shù)據(jù)的硬件電路。存儲器110可存儲已被處理器120處理的數(shù)據(jù)和將被處理器120處理的數(shù)據(jù)，或者可存儲經(jīng)由接口140接收的數(shù)據(jù)。例如，存儲器110可存儲低分辨率輸入圖像21和從低分辨率輸入圖像21獲得的高分辨率CGH圖像23。此外，存儲器110可存儲關于低分辨率輸入圖像21的元數(shù)據(jù)，諸如輸入圖像21中的像素的顏色值、坐標值、深度值等等，用于允許處理器120執(zhí)行CGH處理，并且可存儲通過執(zhí)行CGH處理計算的廣義菲涅耳變換(generalized Fresnel transformation，GFT)的結果，其中包括FFT和額外的內核操作的結果。

存儲器110可包括以下各項的一者或多者：隨機存取存儲器(random access memory，RAM)(諸如動態(tài)RAM(dynamic RAM，DRAM)和靜態(tài)RAM(static RAM，SRAM))、只讀存儲器(read-only memory，ROM)、電可擦除可編程ROM(electrically erasable programmable ROM，EEPROM)、致密盤(compact-disc，CD)-ROM、藍光或其它光盤存儲裝置、硬盤驅動器(hard disk drive，HDD)、固態(tài)驅動器(solid state drive，SSD)或者閃存，以及可存儲計算設備10的數(shù)據(jù)的其它外部存儲設備。

顯示器130是用于基于CGH圖像23在3D空間中顯示全息圖像30的硬件。顯示器130可包括用于全息圖的全息模塊，諸如空間光調制器(spatial light modulator，SLM)，并且可包括各種顯示面板，諸如液晶顯示器(liquid crystal display，LCD)、有機發(fā)光二極管(organic light-emitting diode，OLED)等等。也就是說，顯示器130可包括用于顯示全息圖像30的各種模塊和配置。

接口140可被實現(xiàn)為用于使得計算設備10能夠與其它外部設備通信的有線或無線接口的硬件。接口140可以是從例如外部服務器、其它設備等等接收要被變換成CGH圖像23的輸入圖像21的有線或無線網(wǎng)絡接口。此外，接口140可將關于CGH圖像23的數(shù)據(jù)發(fā)送到外部服務器、其它設備等等，以使得全息圖像30可在其它設備上被顯示或再現(xiàn)。

圖3是根據(jù)示范性實施例的計算設備處理器的詳細硬件配置的框圖。

參考圖3，處理器120可包括頻率變換操作器121、縮放操作器122、編碼器123和CGH圖像生成器124。在圖3中，為了描述的方便只示出了處理器120的與一個或多個示范性實施例有關的元素，從而處理器120還可包括除了圖3所示的元素以外的其它元素。頻率變換操作器121、縮放操作器122、編碼器123和CGH圖像生成器124是根據(jù)其功能由單獨的名稱來區(qū)分的。頻率變換操作器121、縮放操作器122、編碼器123和CGH圖像生成器124可被實現(xiàn)為一個處理器120。否則，頻率變換操作器121、縮放操作器122、編碼器123和CGH圖像生成器124的每一者可對應于處理器120中的一個或多個處理模塊(或子處理器)?；蛘?，頻率變換操作器121、縮放操作器122、編碼器123和CGH圖像生成器124可對應于根據(jù)其功能分類的軟件功能。也就是說，處理器120中的頻率變換操作器121、縮放操作器122、編碼器123和CGH圖像生成器124的實現(xiàn)形式不限于特定示例。

頻率變換操作器121對例如低分辨率(例如，F(xiàn)HD)的輸入圖像數(shù)據(jù)執(zhí)行頻率變換以生成低分辨率復圖像。復圖像是具有實部和虛部的圖像，這是對輸入圖像數(shù)據(jù)執(zhí)行FFT的結果，如下所述。輸入圖像數(shù)據(jù)可包括2D左眼圖像和2D右眼圖像的數(shù)據(jù)、3D體元(boxel)數(shù)據(jù)、3D多邊形數(shù)據(jù)，等等。

圖4A是示出根據(jù)示范性實施例的輸入圖像的圖。

參考圖4A，輸入圖像可對應于2D左眼顏色圖像410、2D左眼深度圖像415、2D右眼顏色圖像420和2D右眼深度圖像425。2D左眼顏色圖像410和2D右眼顏色圖像420可以是使用雙眼視差來再現(xiàn)一般3D圖像的圖像。2D左眼深度圖像415和2D右眼深度圖像425可以是2D左眼顏色圖像410與2D右眼顏色圖像420之間的差別圖像。

圖4B是示出根據(jù)示范性實施例的輸入圖像的圖。

參考圖4B，輸入圖像可對應于3D體元數(shù)據(jù)430。3D體元數(shù)據(jù)430可包括關于構成3D對象的體元的坐標、顏色值等等的數(shù)據(jù)。

輸入圖像數(shù)據(jù)不限于特定種類，諸如圖4A的左眼圖像和右眼圖像以及圖4B的體元數(shù)據(jù)，而是可以有變化。然而，在本示范性實施例中，為了描述的方便，假定輸入圖像包括2D左眼和右眼圖像。

返回參考圖3，頻率變換操作器121通過對于低分辨率(例如，F(xiàn)HD)的2D左眼和右眼圖像中包括的每個像素使用坐標數(shù)據(jù)(x,y數(shù)據(jù))、RGB顏色數(shù)據(jù)和深度數(shù)據(jù)(z軸坐標數(shù)據(jù))的至少一者來執(zhí)行GFT。GFT或菲涅耳變換是用于獲得經(jīng)圖像的菲涅耳衍射獲得的衍射圖像的分布的傳統(tǒng)計算。

在GFT期間，頻率變換操作器121對輸入圖像中包括的每個像素執(zhí)行FFT以獲得與每個像素相對應的復數(shù)值。與每個像素相對應的復數(shù)值可包括作為GFT的結果的關于相對于菲涅耳衍射圖樣的幅度和相位的信息。頻率變換操作器121可基于與每個像素相對應的復數(shù)值生成復圖像。也就是說，頻率變換操作器121可通過使用低分辨率(例如，F(xiàn)HD)2D左眼和右眼圖像生成低分辨率復圖像。頻率變換操作器121可將復圖像存儲在存儲器110中。復圖像可作為存儲器110的第一區(qū)域中的實部圖像數(shù)據(jù)和存儲器110的第二區(qū)域中的虛部圖像數(shù)據(jù)而被存儲在存儲器110中。

縮放操作器122將低分辨率復圖像縮放成高分辨率(例如，UHD)復圖像。詳細地說，縮放操作器122對低分辨率復圖像執(zhí)行插值以將低分辨率復圖像升尺度(up-scale)成高分辨率復圖像。復圖像的升尺度可包括對與每個像素相對應的復數(shù)值的實部和虛部執(zhí)行插值。這里，為了執(zhí)行升尺度，可使用最近鄰插值、雙線性插值、雙三次插值等等。

如以上示例中所述，當?shù)头直媛蕪蛨D像具有1920×1080的分辨率并且高分辨率復圖像具有3840×2160的分辨率時，縮放操作器122可執(zhí)行2x升尺度。

在以上描述中，描述了CGH處理中的負擔的最大部分是FFT。因為FFT是在CGH處理期間對每個像素執(zhí)行的，所有隨著輸入圖像數(shù)據(jù)的分辨率增大，計算量增大并且計算速度減小。根據(jù)本示范性實施例，在對低分辨率(例如，1920×1080)的像素執(zhí)行FFT之后執(zhí)行升尺度。因此，即使當處理器120最終生成高分辨率(例如，3840×2160)的圖像時，也可不對高分辨率圖像數(shù)據(jù)的所有像素執(zhí)行FFT，而是對低分辨率圖像數(shù)據(jù)的像素執(zhí)行FFT。因此，可減少計算量并且可提高處理速度。也就是說，與執(zhí)行從低分辨率(例如，1920×1080)圖像數(shù)據(jù)到高分辨率(例如，3840×2160)圖像數(shù)據(jù)的升尺度并隨后對于高分辨率(例如，3840×2160)圖像數(shù)據(jù)的像素執(zhí)行FFT的處理相比，本示范性實施例可減少計算量以將計算速度提高了至少兩倍。

縮放將被更詳細描述如下。縮放操作器122將低分辨率的復圖像分離成低分辨率的實圖像和虛圖像。例如，縮放操作器122可從存儲器110讀取復圖像的實部數(shù)據(jù)以獲得實圖像，并且從存儲器110讀取復圖像的虛部數(shù)據(jù)以獲得復圖像。隨后，縮放操作器122對低分辨率復圖像的實圖像的實部數(shù)據(jù)和虛圖像的虛部數(shù)據(jù)的每一者執(zhí)行插值以生成與高分辨率的復圖像相對應的實圖像和虛圖像。縮放操作器122將高分辨率的實圖像和虛圖像彼此合成以生成高分辨率的復圖像。合成的實圖像和虛圖像可作為高分辨率復圖像而被存儲在存儲器110中。

編碼器123把高分辨率復圖像的像素的復數(shù)值編碼成整數(shù)值。例如，編碼器123可將復圖像的復數(shù)值編碼成8比特無符號整數(shù)值。

CGH圖像生成器124通過使用編碼的整數(shù)值生成高分辨率(例如，UHD)的CGH圖像。當處理器120如上所述執(zhí)行CGH處理時，低分辨率的輸入圖像21(見圖1)可被變換成CGH圖像23(見圖1)。這里，CGH圖像可在復數(shù)SLM控制每個像素的相位值并且幅度SLM基于復數(shù)值控制每個像素的透射率時被輸出。SLM的幅度或相位是從編碼的整數(shù)值計算的，然后計算出的SLM的幅度被用于幅度SLM的相位控制并且計算出的SLM的相位被用于復數(shù)SLM的透射率控制。因此，編碼的整數(shù)值可用于控制復數(shù)SLM和幅度SLM以輸出CGH圖像。

圖5是根據(jù)示范性實施例用于描述用于生成CGH圖像的CGH處理的流程圖。

在操作501中，頻率變換操作器121獲得FHD左眼顏色圖像510、FHD左眼深度圖像515、FHD右眼顏色圖像520和FHD右眼深度圖像525，并且從上述圖像510、515、520和525獲得關于每個像素的RGB顏色數(shù)據(jù)和深度數(shù)據(jù)。雖然為了描述的方便假定在示范性實施例中使用2D圖像，但如上所述可使用3D體元數(shù)據(jù)。

頻率變換操作器121對每個像素執(zhí)行GFT。具體地，頻率變換操作器121可通過使用每個像素的像素值(例如，顏色值、深度值等等)作為FFT處理的輸入來執(zhí)行FFT。結果，頻率變換操作器121獲得與像素相對應的復數(shù)值，并且可基于獲得的復數(shù)值生成FHD分辨率的復圖像。因為頻率變換操作器121獲得FHD分辨率的圖像，所以FFT是在FHD分辨率下對每個像素執(zhí)行的。

在操作502中，縮放操作器122將FHD分辨率的復圖像升尺度成與UHD分辨率(3840×2160)相對應的復圖像。因為UHD分辨率是FHD分辨率的兩倍那么大，所以縮放操作器122可執(zhí)行2x升尺度。縮放操作器122通過對與FHD分辨率下的每個像素相對應的復數(shù)值進行插值來獲得與UHD分辨率的每個像素相對應的復數(shù)值，并且生成UHD分辨率的復圖像。這里，復數(shù)值的插值可與常規(guī)(實數(shù))值的插值不同，從而復數(shù)值的實部和虛部被分開存儲，實部和虛部被分別插值，并且對于實部和虛部的插值結果被收集并一起存儲在單個存儲器區(qū)域中。

處理器120繼續(xù)對低分辨率圖像數(shù)據(jù)的像素執(zhí)行計算，直到操作502中的升尺度完成為止。如上所述，如果顛倒操作501和操作502的順序(也就是說，如果在執(zhí)行操作502之后執(zhí)行操作501)，則頻率變換操作器121處理已被縮放操作器122升尺度到UHD分辨率的像素。從而，在此情況下，頻率變換操作器121對兩倍那么多的像素(3840×2160)執(zhí)行FFT。因此，計算的量不必要地大，并且CGH處理變得效率低下。

在操作503中，編碼器123把與UHD分辨率的復圖像中的像素相對應的復數(shù)值編碼成與這些像素相對應的8比特無符號整數(shù)值。

在操作504中，CGH圖像生成器124基于操作503的編碼結果生成UHD左眼CGH圖像550和UHD右眼CGH圖像555。

此外，顯示器130(見圖2)可通過使用UHD左眼CGH圖像550和UHD右眼CGH圖像555在3D空間中顯示全息圖像30(見圖1)。

圖6是根據(jù)示范性實施例描述由頻率變換操作器執(zhí)行的頻率變換的圖。

參考圖6，頻率變換操作器121獲得存儲在存儲器110(見圖2)中的FHD左眼顏色圖像510、FHD左眼深度圖像515、FHD右眼顏色圖像520和FHD右眼深度圖像525。除了上述圖像510、515、520和525本身以外，頻率變換操作器121還可從存儲器110(見圖2)獲得關于上述圖像510、515、520和525中的每個像素的RGB顏色數(shù)據(jù)和深度數(shù)據(jù)。如果3D體元數(shù)據(jù)被用作輸入圖像數(shù)據(jù)，則頻率變換操作器121可使用關于每個體元的RGB顏色數(shù)據(jù)和深度數(shù)據(jù)。

頻率變換操作器121對FHD分辨率(例如，1920×1080)的每個像素執(zhí)行頻率變換601。頻率變換601可以是GFT，并且在頻率變換601期間，尤其可執(zhí)行FFT。作為頻率變換601的結果，可獲得與像素相對應的復數(shù)值。因為執(zhí)行了GFT，所以與每個像素相對應的復數(shù)值可表示關于相對于菲涅耳衍射圖樣的幅度和相位的信息。頻率變換操作器121可基于與像素相對應的復數(shù)值生成FHD分辨率的復圖像610。

圖7是根據(jù)示范性實施例描述由縮放操作器執(zhí)行的縮放操作的圖。

參考圖7，縮放操作器122對圖6中所示的FHD分辨率的復圖像610進行縮放。

在操作701中，縮放操作器122將復圖像610分離成FHD分辨率的實圖像620和虛圖像625。也就是說，縮放操作器122將與復圖像610中的像素相對應的復數(shù)值分離成實部的實數(shù)值和虛部的虛數(shù)值。復數(shù)值可對應于復圖像610，實數(shù)值可對應于實圖像620，并且虛數(shù)值可對應于虛圖像625。

在操作702中，縮放操作器122對FHD分辨率的實圖像620執(zhí)行插值以將實圖像620升尺度成UHD分辨率的實圖像630(2x升尺度)。

在操作703中，縮放操作器122對FHD分辨率的虛圖像625執(zhí)行插值以將虛圖像625升尺度成UHD分辨率的虛圖像635(2x升尺度)。在本示范性實施例中，操作703是在執(zhí)行操作702之后執(zhí)行的，但操作702和操作703的順序可顛倒。

在操作704中，縮放操作器122將UHD分辨率的實圖像630與UHD分辨率的虛圖像635合成以生成升尺度的UHD分辨率的復圖像650(3840×2160)。這里，復圖像650的生成可包括獲得與UHD分辨率(3840×2160)的像素相對應的復數(shù)值。

圖8是根據(jù)示范性實施例用于描述由編碼器執(zhí)行的編碼的圖。

參考圖8，編碼器123使用圖7中所示的UHD分辨率的復圖像650。

編碼器123把與UHD分辨率的復圖像650的像素相對應的復數(shù)值編碼成8比特無符號整數(shù)810。例如，編碼器123可以把與像素(x1,y1)相對應的復數(shù)值編碼成“10….1”，把與像素(x2,y1)相對應的復數(shù)值編碼成“00…1…1”，把與像素(x3,y1)相對應的復數(shù)值編碼成“11….0”，并且把與其余像素相對應的其它復數(shù)值編碼成8比特無符號整數(shù)。這種與像素相對應的8比特無符號整數(shù)是與UHD分辨率的CGH圖像23(見圖1)中的像素相對應的值，并且可對應于全息圖像30(見圖1)中的點全息圖。

如上所述，處理器120可通過執(zhí)行對低分辨率的像素執(zhí)行頻率變換(例如FFT)的CGH處理來高速地把低分辨率的輸入圖像21(見圖1)變換成高分辨率的CGH圖像23(見圖1)。因此，顯示器130可高效地顯示高分辨率的全息圖像30(見圖1)。

圖9A和9B是根據(jù)示范性實施例示出縮放立體圖像的圖。

參考圖9A，輸入圖像可以是并排立體圖像910。并排立體圖像910是其中并排布置了2D左眼圖像911和2D右眼圖像913的圖像。當輸入圖像是并排立體圖像910時，縮放操作器122對并排立體圖像910執(zhí)行水平縮放。作為水平縮放的結果，并排立體圖像910被重建為單獨的圖像：低分辨率(例如，F(xiàn)HD)的2D左眼圖像920和低分辨率的2D右眼圖像925。也就是說，在頻率變換操作器121執(zhí)行頻率變換之前，縮放操作器122從并排立體圖像910重建低分辨率的2D圖像920和925。頻率變換操作器121對重建的2D圖像920和925執(zhí)行頻率變換，并且CGH處理被執(zhí)行來生成高分辨率(例如，UHD)的CGH圖像550和555(見圖5)。從而，根據(jù)輸入圖像是并排立體圖像的實施例，可執(zhí)行預處理，即水平縮放。

參考圖9B，輸入圖像可以是上下立體圖像930。上下立體圖像930是其中垂直布置了2D左眼圖像931和2D右眼圖像933的圖像。當輸入圖像是上下立體圖像930時，縮放操作器122對上下立體圖像930執(zhí)行垂直縮放。作為垂直縮放的結果，上下立體圖像930被重建為單獨的圖像：低分辨率(例如，F(xiàn)HD)的2D左眼圖像940和低分辨率的2D右眼圖像945。也就是說，在頻率變換操作器121執(zhí)行頻率變換之前，縮放操作器122從上下立體圖像930重建低分辨率的2D圖像940和945。頻率變換操作器121對重建的2D圖像940和945執(zhí)行頻率變換，并且CGH處理被執(zhí)行來生成高分辨率(例如，UHD)的CGH圖像550和555(見圖5)。從而，根據(jù)輸入圖像是上下立體圖像930的示范性實施例，可執(zhí)行預處理，即垂直縮放。

圖10是根據(jù)示范性實施例示出高分辨率圖像的處理的流程圖。

根據(jù)參考圖10示出的本示范性實施例，輸入圖像的分辨率和要生成的CGH圖像的分辨率可彼此相等。

與示出的上述示范性實施例不同，本示范性實施例中的輸入圖像的分辨率可以是與要生成的CGH圖像的分辨率相等的高分辨率(例如，UHD)。

在操作1001中，縮放操作器122對高分辨率(例如，UHD)的左眼圖像1010和高分辨率的右眼圖像1015進行降尺度(down-scale)。也就是說，縮放操作器122可以把高分辨率圖像1010和1015降尺度成低分辨率(例如，F(xiàn)HD)的左眼圖像1020和低分辨率的右眼圖像1025。這里，縮放操作器122可通過執(zhí)行插值來對高分辨率圖像1010和1015降尺度。如上所述，執(zhí)行預處理也就是降尺度來減少頻率變換操作器121執(zhí)行的FFT計算的量并且因此減少GFT計算的量。當分辨率降低時，因為像素的數(shù)目減少了，所以FFT被相應地減少以對應于像素的數(shù)目。從而，可以減少頻率變換操作器121執(zhí)行的FFT計算的量。

CGH處理中包括的操作1002、1003、1004和1005分別對應于圖5中所示的操作501、502、503和504，從而省略對其的冗余描述。

也就是說，即使當輸入圖像包括高分辨率圖像1010和1015時，頻率變換也是對低分辨率(例如，1920×1080)的像素執(zhí)行的，而不是對高分辨率(例如，3840×2160)的像素執(zhí)行的。因此，與對高分辨率的像素執(zhí)行頻率變換時(即，不執(zhí)行降尺度的情況)相比，可減少處理器120的CGH計算的量。相應地，計算速度可提高。

圖11是根據(jù)示范性實施例示出處理全息圖像的方法的流程圖。

參考圖11，處理全息圖像的方法包括參考上述附圖描述的計算設備10(處理器120)按時序執(zhí)行的處理。因此，以上給出的描述即使在下文中被省略也可應用到圖11中所示的處理全息圖像的方法。

在操作1110中，頻率變換操作器121對具有第一分辨率(低分辨率，例如FHD)的輸入圖像數(shù)據(jù)執(zhí)行頻率變換以生成低分辨率復圖像。

在操作1120中，縮放操作器122把第一分辨率的低分辨率復圖像縮放成第二分辨率(高分辨率，例如UHD)的高分辨率復圖像。

在操作1130中，編碼器123把與已被縮放的第二復圖像中的第二分辨率的像素分別對應的復數(shù)值編碼成整數(shù)值。

在操作1140中，CGH圖像生成器124通過使用編碼的整數(shù)值生成第二分辨率的CGH圖像。

根據(jù)以上描述，可以減少向用于生成CGH圖像的CGH處理施加大量負擔的GFT(尤其是FFT)計算的量，從而可高速地高效執(zhí)行CGH處理。

示范性實施例可被編寫為計算機程序并且在通用數(shù)字計算機中被實現(xiàn)，該通用數(shù)字計算機使用處理器讀取并運行非暫態(tài)計算機可讀記錄介質中存儲的計算機程序來運行程序。非暫態(tài)計算機可讀記錄介質的示例包括磁存儲介質(例如，ROM、軟盤、硬盤等等)、光記錄介質(例如，CD-ROM或DVD)，等等。

應當理解，本文描述的示范性實施例應當僅在描述意義上來加以考慮，而不是為了限制。對每個示范性實施例內的特征或方面的描述通常應當被認為可用于其它示范性實施例中的其它類似的特征或方面。

雖然已參考附圖描述了一個或多個示范性實施例，但本領域普通技術人員將會理解，在不脫離如所附權利要求限定的精神和范圍的情況下，可對其進行形式和細節(jié)上的各種改變。