本公開涉及光場成像，并涉及用于獲取和處理光場數(shù)據(jù)的技術(shù)。更準(zhǔn)確地，本公開一般涉及在用戶設(shè)備上顯示基于光場的圖像的方法和裝置，并找到了在圖像或視頻呈現(xiàn)領(lǐng)域中的應(yīng)用。

背景技術(shù)：

本節(jié)要向讀者介紹技術(shù)的各個(gè)方面，它可能涉及在下文描述和/或請(qǐng)求保護(hù)的本公開的各個(gè)方面。這一討論被認(rèn)為有助于為讀者提供背景信息，以便更好地理解本發(fā)明的各個(gè)方面。因此，應(yīng)當(dāng)理解，這些陳述要從這個(gè)角度來閱讀，而并不作為對(duì)于現(xiàn)有技術(shù)的承認(rèn)。

傳統(tǒng)的圖像捕獲設(shè)備將三維場景投射在二維傳感器上。在操作期間，傳統(tǒng)的捕獲設(shè)備在光量到達(dá)該設(shè)備內(nèi)的光傳感器(或者光檢測(cè)器)時(shí)捕獲表示光量的場景的二維(2-D)圖像。然而，此2-D圖像不包含與到達(dá)光傳感器的光線的方向分布有關(guān)的信息(其可稱為光場)。入射光的方向，例如，在這種2D獲取中丟失，并且對(duì)于單個(gè)系統(tǒng)來說類似深度的信息不能被恢復(fù)。因此，傳統(tǒng)的捕獲設(shè)備不存儲(chǔ)與來自場景的光分布有關(guān)的大部分信息。

已經(jīng)設(shè)計(jì)了光場捕獲設(shè)備(也稱為“光場數(shù)據(jù)獲取設(shè)備”)通過從場景的不同視點(diǎn)捕獲光來測(cè)量場景的四維(4D)光場。因此，通過測(cè)量沿著與光傳感器相交的每個(gè)光束行進(jìn)的光量，這些設(shè)備可捕獲額外的光學(xué)信息(與光線束的方向分布有關(guān)的信息)，以通過后處理提供新的成像應(yīng)用。由光場捕獲設(shè)備獲取/獲得的信息被稱為光場數(shù)據(jù)。光場捕獲設(shè)備在這里被定義為能夠捕獲光場數(shù)據(jù)的任何設(shè)備。存在多個(gè)類型的光場捕獲設(shè)備，其中：

-全光設(shè)備，其使用置于圖像傳感器和主透鏡之間的微透鏡陣列，如文檔US2013/0222633中所述；

-相機(jī)陣列。

光場數(shù)據(jù)還可以根據(jù)每個(gè)都通過使用傳統(tǒng)手持相機(jī)從不同視點(diǎn)拍攝的場 景的一系列2-D圖像，利用計(jì)算機(jī)生成影像(CGI)進(jìn)行模擬。

光場數(shù)據(jù)處理特別包括但不限于生成場景的重新聚焦的圖像、生成場景的透視圖、生成場景的深度圖、生成擴(kuò)展景深(EDOF)圖像、生成立體圖像和/或這些的任意組合。

因此，其中，4D光場(4DLF)允許計(jì)算具有可調(diào)的景深、聚焦距離以及觀看位置的各種重新聚焦的圖像。然而，用戶體驗(yàn)通常被限制為在TV或監(jiān)視器、2D計(jì)算機(jī)和移動(dòng)顯示器上的簡單呈現(xiàn)。

感興趣的是允許用戶根據(jù)可從基于光場的獲取系統(tǒng)計(jì)算的圖像的多個(gè)方向和景深將個(gè)性化的視圖可視化(根據(jù)給定視點(diǎn)、用戶依賴的深度虛化等)。

為此，一些學(xué)術(shù)工作已經(jīng)關(guān)注于重新聚焦，或者從光場圖像改變視點(diǎn)方向，諸如Marc Levoy發(fā)表于IEEE Computer 39，no.8(2006)：46-55的“Light fields and computational imaging”以及Ng Ren等發(fā)表于Computer Science Technical Report CSTR 2，no.11(2005)的“Light field photography with a hand-held plenoptic camera”。

一些相機(jī)制造商諸如或同樣也提供了用于個(gè)性化顯示給用戶的圖像的解決方案。

根據(jù)這些技術(shù)，通過鼠標(biāo)定位或觸碰觸摸屏提供用戶和顯示器之間的交互。例如，用戶可以指向場景中的一個(gè)對(duì)象，并且顯示給用戶的圖像將依次顯示聚焦的所選對(duì)象。

希望提供一種用于顯示光場圖像的技術(shù)，其相對(duì)于現(xiàn)有技術(shù)會(huì)增強(qiáng)用戶和光場內(nèi)容之間的交互。值得注意，希望提供一種技術(shù)，其通過優(yōu)化在光場圖像或視頻內(nèi)容中表示用戶導(dǎo)航的視點(diǎn)和/或重新聚焦參數(shù)的生成和使用，來增強(qiáng)與光場內(nèi)容的交互。

技術(shù)實(shí)現(xiàn)要素：

在一個(gè)實(shí)施例中，提供了一種用于在用戶設(shè)備上顯示至少一個(gè)基于光場的圖像的方法。這種方法包括：顯示根據(jù)被確定為用戶設(shè)備的姿勢(shì)的函數(shù)的至少一個(gè)聚焦參數(shù)聚焦的圖像。

對(duì)于姿勢(shì)，在這里并且貫穿本文檔是指相對(duì)于參考系的位置和方向的組合。

本公開因此依靠一種具有新穎性和創(chuàng)造性的在基于光場的內(nèi)容(諸如基 于光場的視頻)中的用戶導(dǎo)航的方法。實(shí)際上，取決于用戶設(shè)備的姿勢(shì)，它允許將光場圖像或視頻數(shù)據(jù)集轉(zhuǎn)換為每個(gè)用戶一個(gè)視點(diǎn)/重新聚焦。通過移動(dòng)用戶設(shè)備，用戶以主動(dòng)的方式驅(qū)動(dòng)該視點(diǎn)/重新聚焦的參數(shù)(例如，諸如空間中的主光線方向、聚點(diǎn)和深度虛化距離)。用戶與用戶設(shè)備的交互被轉(zhuǎn)換或變換為視點(diǎn)和/或重新聚焦參數(shù)。

因此本公開的技術(shù)使得在可視化視頻光場數(shù)據(jù)集時(shí)獲得更好的用戶體驗(yàn)，因?yàn)橛脩魧?duì)用戶設(shè)備的自然動(dòng)作在圖像的4D至2D重新投影或重新聚焦在用戶設(shè)備上時(shí)產(chǎn)生視覺改變。

這種技術(shù)可擴(kuò)展至若干用戶，每個(gè)用戶在給定的視頻數(shù)據(jù)集中驅(qū)動(dòng)不同的視點(diǎn)/重新聚焦。它還可能擴(kuò)展至每個(gè)用戶的若干視點(diǎn)，例如擴(kuò)展至針對(duì)立體或多視圖顯示。實(shí)際上，在已知多視圖顯示幾何特征的情況下可從光場中提取出若干視點(diǎn)/重新聚焦。例如，對(duì)于立體呈現(xiàn)，設(shè)備的姿勢(shì)/方向信息可以定義中心視圖，其被立體顯示所需的兩個(gè)視圖所取代而不是生成。幾何變換用于基于該中心視圖定義這兩個(gè)立體視圖。

必須注意光場數(shù)據(jù)集可以由多個(gè)圖像捕獲設(shè)備(諸如相機(jī)陣列)或者由全光圖像捕獲設(shè)備捕獲。它還可以使用計(jì)算機(jī)生成圖像(CGI)進(jìn)行模擬。

根據(jù)本公開的一個(gè)實(shí)施例，通過使用被嵌入在用戶設(shè)備中的至少一個(gè)傳感設(shè)備來估算姿勢(shì)。因此，一個(gè)或多個(gè)傳感器捕獲用戶與用戶設(shè)備的交互，并且用戶設(shè)備的位置和方向可以容易地從由傳感器捕獲的信息推出。

根據(jù)本公開的一個(gè)實(shí)施例，這種傳感設(shè)備屬于包括以下項(xiàng)的組：

-內(nèi)部運(yùn)動(dòng)捕獲系統(tǒng)；

-慣性測(cè)量單元(IMU)；

-指向至少一個(gè)參考元素的相機(jī)。

慣性測(cè)量單元是包括加速計(jì)和陀螺儀的組合的設(shè)備，并還可以包括磁力計(jì)。它們提供使得計(jì)算該設(shè)備的方向(旋轉(zhuǎn))和相對(duì)或絕對(duì)位置(平移)的加速度、方向和重力的測(cè)量。

相機(jī)可以是用戶設(shè)備上的前置相機(jī)，其為拍攝用戶的相機(jī)，或者是后置相機(jī)，其為拍攝用戶前面的場景的相機(jī)。使用前置相機(jī)，足夠接近地拍攝用戶面部，它可能針對(duì)用戶的面部幾何特征做出一些假設(shè)，以相對(duì)于依附于該面部的坐標(biāo)系計(jì)算相機(jī)姿勢(shì)。使用前置相機(jī)時(shí)，該傳感器也可以存在于眼球追蹤系統(tǒng)中。后置相機(jī)可以指向場景中的參考圖案，諸如AR標(biāo)簽。

這種傳感設(shè)備還可以為外部運(yùn)動(dòng)捕獲系統(tǒng)，諸如：

-從AR標(biāo)簽估算該姿勢(shì)和方向的房間中的相機(jī)；

-例如從立體視圖或多視圖估算該姿勢(shì)和方向的房間中的相機(jī)；

-從回射元件(還稱為被動(dòng)標(biāo)記)估算該姿勢(shì)和方向的光源和相機(jī)；

-以及更一般地，任意種類的運(yùn)動(dòng)捕獲(mocap)技術(shù)。

根據(jù)本公開的一個(gè)實(shí)施例，用戶設(shè)備是手持設(shè)備，諸如平板電腦或智能手機(jī)。

在平板電腦或手機(jī)屏幕上觀看光場視頻的用戶，可以容易地移動(dòng)該平板電腦的屏幕或手機(jī)屏幕，以驅(qū)動(dòng)圖像的視點(diǎn)和聚焦參數(shù)。

根據(jù)本公開的另一實(shí)施例，顯示的圖像是確定為聚焦堆棧(Focal Stack)與取決于所述設(shè)備的至少一個(gè)姿勢(shì)參數(shù)的交會(huì)平面的相交處的切片圖像。

實(shí)際上，可以重組光場圖像或視頻的數(shù)據(jù)集，以在前端透鏡的焦平面附近形成與由在其焦平面附近的透鏡生成的光場相似的光數(shù)據(jù)量。這種聚焦堆棧在圖1中示意性地圖示出。使用相機(jī)的傳統(tǒng)聚焦通過在聚焦堆棧100內(nèi)選擇圖像101、102、103中的一個(gè)進(jìn)行模擬，其對(duì)應(yīng)于將聚焦平面垂直于相機(jī)的主光軸進(jìn)行移動(dòng)。相反地，光場相機(jī)提供從不同角度和不同焦點(diǎn)考察畫面的能力。因此，光場相機(jī)的用戶能夠以不同尋常的方式控制聚焦，例如，如圖1所示，可以定義與聚焦堆棧交叉的交會(huì)平面以在聚焦堆棧100中提取切片圖像110。本公開的各實(shí)施例將這種原理擴(kuò)展至用戶在用戶設(shè)備的屏幕上可視化光場圖像或視頻，并允許通過追蹤的用戶設(shè)備姿勢(shì)參數(shù)在聚焦堆棧圖像數(shù)據(jù)量中驅(qū)動(dòng)交會(huì)平面。用戶設(shè)備的空間位置控制在用戶設(shè)備屏幕上顯示的結(jié)果圖像的焦距。

根據(jù)本公開的又一實(shí)施例，該聚焦堆棧包括場景的一組聚焦圖像，其中兩個(gè)連續(xù)的聚焦圖像在聚焦堆棧中彼此分開采樣間隔。該方法還包括：

-隨所述場景的布局而調(diào)整所述采樣間隔；

-確定該聚焦堆棧作為調(diào)整后的彼此分開采樣間隔而分開的該組連續(xù)的聚焦圖像。

因此，該場景的不同聚焦圖像在聚焦堆棧中不是如現(xiàn)有技術(shù)的情形那樣有規(guī)律地間隔。取代這種有規(guī)律地間隔，通過場景的布局來調(diào)節(jié)聚焦堆棧中圖像樣本的聚焦。換句話說，聚焦堆棧的圖像所聚焦的平面不是均勻地間隔的。例如，當(dāng)感興趣的對(duì)象出現(xiàn)在該場景中時(shí)，這些平面更為接近。這種方 法使得使用聚焦堆棧中的相同數(shù)量的切片更好地覆蓋該場景，意味著無需進(jìn)行額外的存儲(chǔ)。

本公開的實(shí)施例還涉及用于顯示至少一個(gè)基于光場的圖像的裝置，其包括：

-用于將所述圖像的至少一個(gè)聚焦參數(shù)確定為所述裝置的姿勢(shì)的函數(shù)的模塊；

-用于顯示被聚焦為所述至少一個(gè)聚焦參數(shù)的函數(shù)的圖像的顯示單元。

根據(jù)本公開的一個(gè)實(shí)施例，這種裝置嵌入了允許估算所述姿勢(shì)的至少一個(gè)傳感設(shè)備。這種傳感設(shè)備可以包括若干傳感器。

根據(jù)本公開的一個(gè)實(shí)施例，所述傳感設(shè)備屬于包括以下項(xiàng)的組：

-慣性測(cè)量單元(IMU)；

-指向至少一個(gè)參考元素的相機(jī)；

-內(nèi)部運(yùn)動(dòng)捕獲系統(tǒng)。

根據(jù)本公開的另一實(shí)施例，該裝置是一種手持設(shè)備。

根據(jù)本公開的另一實(shí)施例，該裝置包括用于將所顯示的圖像確定為被定義為聚焦堆棧與取決于所述設(shè)備的至少一個(gè)姿勢(shì)參數(shù)的交會(huì)平面的相交處的切片圖像的單元。

根據(jù)本公開的又一實(shí)施例，該聚焦堆棧包括場景的一組聚焦圖像，其中兩個(gè)連續(xù)的聚焦圖像在該聚焦堆棧中彼此隔開采樣間隔而分開，并且該裝置還包括：

-用于隨著所述場景的布局來調(diào)整所述采樣間隔的調(diào)整模塊；

-用于將該聚焦堆棧確定為彼此隔開調(diào)整后的采樣間隔而分開的該組連續(xù)的聚焦圖像。

上文描述的與用于在用戶設(shè)備上顯示基于光場的圖像的方法的實(shí)施例相關(guān)的用戶設(shè)備的描述的所有特征也應(yīng)用于這種用戶設(shè)備或裝置。

本公開還涉及一種可從通信網(wǎng)絡(luò)下載和/或記錄在計(jì)算機(jī)可讀的介質(zhì)上和/或可由處理器執(zhí)行的計(jì)算機(jī)程序產(chǎn)品，其包括用于執(zhí)行如上文所述的用于在用戶設(shè)備上顯示基于光場的圖像的方法的程序代碼指令。

本公開還涉及一種非暫態(tài)的計(jì)算機(jī)可讀介質(zhì)，其包括記錄于其上并能夠由處理器運(yùn)行的計(jì)算機(jī)程序產(chǎn)品，該計(jì)算機(jī)程序產(chǎn)品包括用于執(zhí)行如上文所述的用于在用戶設(shè)備上顯示基于光場的圖像的方法的程序代碼指令。

這種計(jì)算機(jī)程序可以存儲(chǔ)在計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上。這里使用的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)被認(rèn)為是提供固有能力以在其中存儲(chǔ)信息以及固有能力以從中提供取得信息的非暫態(tài)的存儲(chǔ)介質(zhì)。計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)可為，例如但并不限于，電，磁，光，電磁，紅外，或半導(dǎo)體系統(tǒng)、裝置或設(shè)備，或前面的任意適當(dāng)組合。當(dāng)提供可應(yīng)用本原理的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)的更具體的示例時(shí)，應(yīng)當(dāng)認(rèn)識(shí)到以下內(nèi)容僅僅是容易被本領(lǐng)域技術(shù)人員認(rèn)識(shí)的一種說明性的而非詳盡的清單：便攜式計(jì)算機(jī)磁盤；硬盤；只讀存儲(chǔ)器(ROM)；可擦除可編程只讀存儲(chǔ)器(EPROM或閃存)；便攜式壓縮磁盤只讀存儲(chǔ)器(CD-ROM)；光存儲(chǔ)設(shè)備；磁存儲(chǔ)設(shè)備；或者前面的任意適當(dāng)組合。

應(yīng)當(dāng)理解，如所聲明的，前面的一般性描述和下面的詳細(xì)描述兩者都是示例和解釋性的并且并不約束本發(fā)明。

還必須理解，本說明書中對(duì)于“一個(gè)實(shí)施例”或“一實(shí)施例”的引用，表明描述的實(shí)施例可以包括特定特征、結(jié)構(gòu)或特性，但是每個(gè)實(shí)施例可以并不必須包括該特定特征、結(jié)構(gòu)或特性。此外，這一措詞并不必須指同一實(shí)施例。此外，當(dāng)與一實(shí)施例相關(guān)地描述一特定特征、結(jié)構(gòu)或特性時(shí)，認(rèn)為在本領(lǐng)域技術(shù)人員的知識(shí)范圍內(nèi)影響與其他實(shí)施例相關(guān)的這一特征、結(jié)構(gòu)或特性，無論是否明確描述。

附圖說明

參考下面通過示例給出并且不限制保護(hù)范圍的描述和附圖可更好地理解本發(fā)明的實(shí)施例，并且其中：

圖1是圖示了在圖像的聚焦堆棧內(nèi)的切片圖像的示例的圖；

圖2a-2b是圖示了全光相機(jī)和多陣列相機(jī)的示例的圖；

圖3示出了示意性地圖示排列在圖像傳感器的傳感表面上的傳感器區(qū)域的示例的平面圖；

圖4圖示了包括理想的、完美的薄透鏡模型的示意性光場相機(jī)；

圖5示意性地圖示了根據(jù)本公開一實(shí)施例的在手持設(shè)備上的光場呈現(xiàn)；

圖6圖示了允許在圖案坐標(biāo)系中確定圖5的手持設(shè)備的姿勢(shì)的變換矩陣；

圖7是根據(jù)本公開一實(shí)施例的解釋用于在用戶設(shè)備上顯示基于光場的圖像的過程的流程圖；

圖8是圖示了根據(jù)本公開一實(shí)施例的用于根據(jù)用戶的個(gè)性化視點(diǎn)顯示基 于光場的圖像的裝置的示例的示意框圖；

圖9示意性地圖示了根據(jù)本公開一實(shí)施例的具有感興趣的對(duì)象的場景以及圖像的聚焦堆?？蛇m應(yīng)這一場景的方式；

圖10是圖示了已經(jīng)適配于圖9的場景的圖像的聚焦堆棧的示例的附圖。

圖中的組件并不一定按比例繪制，而是重點(diǎn)用于示出本發(fā)明的原理。

具體實(shí)施方式

本公開的一般原理依賴于基于光場的圖像在用戶設(shè)備上的個(gè)性化呈現(xiàn)，取決于該設(shè)備的位置和方位。

現(xiàn)在將在本公開的各實(shí)施例中給出用于在用戶設(shè)備上顯示基于光場的圖像的方法、裝置和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)的描述。

首先回顧應(yīng)用至光場相機(jī)和圖像的一些一般原理。

5.1光場相機(jī)

圖2是圖示了全光相機(jī)和多陣列相機(jī)的示例的圖。光場相機(jī)能夠記錄4D光場數(shù)據(jù)。例如，4D光場相機(jī)可以為：包括主透鏡205、微透鏡陣列210和圖像傳感器215的全光相機(jī)200(圖2a)；或者包括透鏡陣列255和單個(gè)圖像傳感器260的多陣列相機(jī)250(圖2b)。例如，多相機(jī)陣列可為鵜鶘(Pelican)陣列相機(jī)，正如文檔WO 2014149403A1中所描述的那樣。

在如圖2a所示的全光相機(jī)200的示例中，主透鏡205在主透鏡205的物場中接收來自一對(duì)象(未示出)的光并通過主透鏡205的像場傳遞該光。微透鏡陣列210包括以二維陣列排列的多個(gè)微透鏡215。明顯地，主透鏡205和微透鏡215可為更復(fù)雜的光學(xué)系統(tǒng)，諸如文檔GB2488905或文檔EP2244484(A1)的圖12和13中描述的那些。

圖3是示意性地圖示了排列在圖像傳感器的傳感表面上的傳感器區(qū)域的示例的平面圖。如圖3所示，圖像傳感器300包括以二維陣列排列的多個(gè)像素305，并通過微透鏡陣列310接收來自對(duì)象的光。微透鏡陣列310的每一個(gè)微透鏡311都具有將光引導(dǎo)至圖像傳感器300上的圓形區(qū)域315的透鏡屬性。圓形區(qū)域315的外部輪廓可以表示在圖像傳感器300上由微透鏡形成和捕獲的微圖像的形狀，其形狀取決于微透鏡311的形狀。在圖像傳感器300上的所有的像素305中，僅基本上位于圓形區(qū)域315內(nèi)部的像素305對(duì)成像有貢獻(xiàn)。換句話說，對(duì)成像有貢獻(xiàn)的像素305的像素區(qū)域(或傳感區(qū)域)基 本位于圓形區(qū)域315內(nèi)。

光場相機(jī)的圖像傳感器300記錄包括排列在2D圖像內(nèi)的2D微圖像的集合的圖像。微透鏡陣列310的每個(gè)微透鏡311形成由圓形區(qū)域315表示的微圖像。如圖3所示，在傳感器300上的像素305的坐標(biāo)在圖像傳感器300表面上的x-y坐標(biāo)系中由(x，y)表示。圖3中示出的距離p是兩個(gè)連續(xù)的微圖像之間的距離。微透鏡311被選擇為使得距離p大于像素305的大小。圖3中示出的距離w是兩個(gè)連續(xù)的微圖像之間的視差距離。如圖3所示，微圖像在圖像傳感器300的表面上的i-j坐標(biāo)系中由它們各自的坐標(biāo)(i，j)參照。

如上文所提到的，僅基本上位于圓形區(qū)域315中的像素305接收通過微透鏡311的光。微透鏡間的空間可以被遮蔽(mask)以防止光子穿過微透鏡311的外部(如果微透鏡311為正方形并且沒有形成微透鏡間的空間，則無需這種遮蔽)。

微圖像(i，j)的中心位于圖形傳感器300上的坐標(biāo)(x_ij，y_ij)處。圖3中的θ表示像素305的方形點(diǎn)陣(lattice)和微透鏡311的方形點(diǎn)陣之間的角度?？赏ㄟ^考慮微透鏡圖像(0，0)的像素坐標(biāo)(x₀₀，y₀₀)的以下等式(1)推出坐標(biāo)(x_ij，y_ij)：

距離p和w以像素為單位給出。通過乘以像素大小δ：W＝δw和P＝δp，它們分別被轉(zhuǎn)換為距離P和W的物理單位(米)。這些距離取決于光場相機(jī)的特性。

5.2光場相機(jī)的光學(xué)屬性

這里，將參考圖4討論光場相機(jī)的示例光學(xué)屬性，圖4圖示了包括理想的、完美的薄透鏡模型的示意性光場相機(jī)。

該主透鏡具有焦距F和光圈Φ。微透鏡陣列包括具有焦距f的微透鏡。微透鏡陣列的間距為φ。微透鏡陣列與主透鏡之間相隔距離D并且與傳感器之間相隔距離d。對(duì)象(未示出)與主透鏡之間相隔距離z。該對(duì)象在與主透鏡相隔距離z’處由主透鏡聚焦。圖4圖示了其中D＞z’的情況。在這種情況下，微圖像可以取決于d和f在傳感器上對(duì)焦。

視差W隨著對(duì)象(未示出)和主透鏡之間的距離z改變。為了建立W和z之間的關(guān)系，可以依靠薄透鏡等式(2)和泰雷茲定律等式(3)：

然后，通過混合等式(2)和(3)推出以下等式(4)。

W和z之間的關(guān)系并不在微透鏡圖像對(duì)焦的假設(shè)下。微圖像根據(jù)薄透鏡等式嚴(yán)格對(duì)焦：

5.3圖像重新聚焦

光場相機(jī)的一個(gè)主要屬性是計(jì)算2D重新聚焦圖像的可能性，其中重新聚焦距離在拍攝圖像后可以自由調(diào)整。僅通過平移和縮放微透鏡圖像然后將它們匯總至2D圖像中而將大小為[N_x，N_y]的4D光場圖像L投射在2D圖像中。微透鏡圖像的平移量控制著重新聚焦距離。4D光場像素L(x，y，i，j)至重新聚焦的2D圖像坐標(biāo)(X，Y)中的投射被以下等式定義：

其中s控制2D重新聚焦圖像的大小，g控制重新聚焦圖像的聚焦距離。通過考慮等式(1)，等式(6)可重寫為等式(7)：

在等式(8)中參數(shù)g可表達(dá)為p和w的函數(shù)。參數(shù)g表示必須對(duì)微透鏡圖像執(zhí)行的縮放，將它們的中心用作參考，這樣相同對(duì)象的多個(gè)縮放視圖得到疊加。

等式(7)變?yōu)椋?/p>

4D光場像素(x，y，i，j)被投射至2D重新聚焦圖像中。預(yù)先地，重新聚焦圖像R和重新聚焦圖像權(quán)重R_weight被設(shè)置為0。重新聚焦圖像的大小[N_X，N_Y]＝[sN_x，sN_y]被設(shè)置為4D光場圖像的大小的s倍。通過將位于坐標(biāo)(X，Y) 的投射的像素匯總至重新聚焦圖像中執(zhí)行該投射。對(duì)于每個(gè)投射的4D光場像素，通過在像素坐標(biāo)(X，Y)處增加1來更新重新聚焦的圖像權(quán)重：

R(X，Y)+＝L(x，y，i，j) (10)

W(X，Y)+＝1

重新聚焦的圖像權(quán)重表示每個(gè)坐標(biāo)(X，Y)已經(jīng)投射的4D光場像素的數(shù)量。在投射L的所有4D光場像素后，重新聚焦圖像R被重新聚焦圖像權(quán)重R_weight劃分。這最后的步驟歸一化每個(gè)坐標(biāo)(X，Y)接收的像素的數(shù)量。

由于投射的坐標(biāo)(X，Y)并不必須為整數(shù)坐標(biāo)，可選地使用插值技術(shù)以將非整數(shù)像素坐標(biāo)(X，Y)映射至重新聚焦圖像R和重新聚焦權(quán)重R_weight的網(wǎng)格中。插值技術(shù)對(duì)于本領(lǐng)域技術(shù)人員來說是常用的和熟知的；在本說明書中將不再對(duì)它們進(jìn)一步描述。

5.4聚焦堆棧(focal stack)

如圖1所示，聚焦堆棧100是在不同距離重新聚焦的N幅圖像R_n的集合(n∈[1，N])，其定義了一組圖像(101，102，103...)的立方體，其中N是用戶選擇的圖像數(shù)量。因此，在聚焦堆棧100中兩幅連續(xù)圖像之間的距離或間距(在z軸上)對(duì)應(yīng)于關(guān)聯(lián)于這兩幅連續(xù)圖像的兩個(gè)焦平面之間的距離。針對(duì)在對(duì)應(yīng)于在由等式(4)和(8)定義的z_min和z_max之間的聚焦距離范圍的g_min和g_max之間線性變化的g計(jì)算N幅重新聚焦的圖像。另一種選擇是通過在對(duì)應(yīng)于由等式(4)定義的z_min和z_max之間的聚焦距離范圍的w_min和w_max之間線性改變的w計(jì)算聚焦堆棧。g或w的最小最大邊界由用戶定義以便涵蓋具有在z_min和z_max內(nèi)的聚焦距離的重新聚焦的圖像。

在此實(shí)施例中描述的聚焦堆棧的計(jì)算是在4D光場由具有透鏡陣列以及可選的主透鏡的單個(gè)圖像傳感器記錄的假設(shè)下。然而，聚焦堆棧的計(jì)算并不限于由此類光場相機(jī)記錄的4D光場，因此應(yīng)當(dāng)注意可以基于由任意類型的光場相機(jī)記錄的4D光場計(jì)算重新聚焦的圖像的聚焦堆棧。

5.5根據(jù)用戶個(gè)性化視點(diǎn)重新聚焦圖像

根據(jù)本公開一實(shí)施例，將一種使顯示在用戶設(shè)備上的光場圖像適配于設(shè)備姿勢(shì)的方法提供給用戶。

圖5示出了一種全光相機(jī)50，其已經(jīng)捕獲了可能對(duì)應(yīng)于圖像或電影的4D光場數(shù)據(jù)。在現(xiàn)有技術(shù)中，存在多種方式來表示(或定義)4D光場數(shù)據(jù)。實(shí)際上，在發(fā)表于2006年7月的Ren Ng撰寫的標(biāo)題為“Digital Light Field Photography”的博士學(xué)位論文的第3.3章，描述了表示4D光場數(shù)據(jù)的三種不同的方式。第一，當(dāng)由例如圖2(a)中描述的全光相機(jī)記錄時(shí)，可通過微透鏡圖像的集合表示4D光場數(shù)據(jù)。在這一表示中的4D光場數(shù)據(jù)被命名為原始圖像(或原始4D光場數(shù)據(jù))。第二，當(dāng)由全光相機(jī)或由相機(jī)陣列記錄時(shí)，可通過一組子孔徑圖像表示4D光場數(shù)據(jù)。子孔徑圖像對(duì)應(yīng)于從視點(diǎn)捕獲的場景的圖像，該視點(diǎn)在兩幅子孔徑圖像間稍有不同。這些子孔徑圖像提供了與成像的場景的視差和深度相關(guān)的信息。第三，4D光場數(shù)據(jù)可由一組核線圖像(epipolar image)表示(例如參見發(fā)表于ISVC 2011的會(huì)議論文集的由S.Wanner等撰寫的標(biāo)題為“Generating EPI Representation of a 4D Light Fields with a Single Lens Focused Plenoptic Camera”的文章)。在另一實(shí)施例中，本領(lǐng)域技術(shù)人員可使用基于兩個(gè)平面參數(shù)化的4D光場數(shù)據(jù)。

在圖5的實(shí)施例中，僅僅作為示例，全光捕獲51可以顯示為視圖的矩陣，或者子孔徑圖像。

用戶在諸如平板電腦52的手持設(shè)備上觀看此4D光場電影。這一呈現(xiàn)可為實(shí)時(shí)呈現(xiàn)。該光場電影可以傳播至多個(gè)用戶，雖然在圖5中僅圖示出了一個(gè)。平板電腦52通過任意種類的有線或無線連接接收該光場電影。用戶可以移動(dòng)該平板電腦52，并因此修改它的位置和它的方位。在平板電腦的屏幕上，圖像的聚焦距離和視點(diǎn)隨著平板電腦的姿勢(shì)改變。

平板電腦52配備有后置相機(jī)(未示出)，其拍攝用戶前方的場景，并特別是插入該場景的一個(gè)特定標(biāo)記60(例如AR標(biāo)簽(增強(qiáng)現(xiàn)實(shí)標(biāo)簽))，如圖6所示。標(biāo)記60與一個(gè)圖案坐標(biāo)系關(guān)聯(lián)。當(dāng)已經(jīng)發(fā)現(xiàn)了描述平板電腦52距離該圖案坐標(biāo)系的位置的變換時(shí)，可以在空間中定位平板電腦52，這是因?yàn)樘峁┝诵D(zhuǎn)和平移。

為此，必須表達(dá)平板電腦平面的等式。

5.5.1平板電腦平面等式

為了定義設(shè)備坐標(biāo)系相對(duì)于圖案坐標(biāo)系，可寫出設(shè)備坐標(biāo)系的單一向量和設(shè)備從標(biāo)記坐標(biāo)系的轉(zhuǎn)換。

然后，描述從標(biāo)記CS觀看的平板電腦坐標(biāo)系(CS)的齊次變換矩陣可寫為：

然后，平板電腦的平面由(該平面的法向向量)向量和 (平面的一個(gè)點(diǎn)的位置)點(diǎn)定義。

該平面的點(diǎn)P的集合(X_p，Y_p，Z_p)由以下等式提供：

它可寫為以下格式：

作為一種選擇，坐標(biāo)可以像素(X_p，Y_p，Z_p)中估算。

為了生成具有像素坐標(biāo)(u，v)的圖像，必須定義變換：

在一個(gè)實(shí)施例中，該變換可使用

定義。

這對(duì)應(yīng)于在范圍[-1/2；+1/2]中歸一化(X，Y)空間。

然后容易確定Z_p，也就是，像素在標(biāo)記坐標(biāo)系中的位置：

注意此等式等效于投射。

5.5.2從聚焦堆棧中提取切片圖像

根據(jù)本公開的實(shí)施例，在平板電腦52上顯示的圖像是確定為聚焦堆棧100與由追蹤的平板電腦姿勢(shì)參數(shù)控制的交會(huì)平面的相交處的切片圖像。換句話說，在聚焦堆棧100內(nèi)的切片110的位置由平板電腦52相對(duì)于標(biāo)記60的位置給出。來回移動(dòng)平板電腦使得該切片在聚焦堆棧內(nèi)移動(dòng)。該切片圖像110在平板電腦52的屏幕上顯示。用戶通過來回移動(dòng)平板電腦52，可自由地選擇聚焦平面，其不必垂直于相機(jī)50的主軸。

圖7示出了根據(jù)本公開一實(shí)施例的圖示用于在平板電腦52上顯示基于光場的圖像的過程的流程圖。

在步驟S701INIT，參考標(biāo)記60，定義平板電腦的初始位置并用作參考。這一初始位置將與聚焦堆棧的聚焦圖像數(shù)量N/2關(guān)聯(lián)，即，該圖像對(duì)應(yīng)于圖像堆棧的中間圖像。

在步驟S702，由傳感器705捕獲的信息允許估算平板電腦52的姿勢(shì)，即，它的方向和它的位置。平板電腦52相對(duì)于標(biāo)記的位置被3D坐標(biāo) 特征化。平板電腦52在初始平板電腦位置 周圍的移動(dòng)與移動(dòng)聚焦堆棧的切片關(guān)聯(lián)。

因此，在步驟S703，計(jì)算要在平板電腦52上顯示的圖像，作為聚焦堆棧100的切片圖像，與當(dāng)前的平板電腦姿勢(shì)關(guān)聯(lián)。

具有大小[N_x，N_y]像素(即，與聚焦堆棧100內(nèi)的聚焦圖像的大小相同)的切片索引圖像S_i被定義為：

切片圖像S具有[N_x，N_y]像素大小。它使用切片索引圖像S_i計(jì)算： 中的索引S_i指示針對(duì)每個(gè)像素(X，Y)而言聚焦堆棧內(nèi)哪個(gè)聚焦圖像要被拷貝(函數(shù)R)到像素(X，Y)處的切片圖像S。參數(shù)α控制當(dāng)平板電腦在和軸中來回移動(dòng)時(shí)切片的傾斜速度。參數(shù)β控制該切片在軸上移動(dòng)的幅度。調(diào)整這些參數(shù)使得可在無需過于移動(dòng)平板電腦的情況下提取聚焦堆棧內(nèi)的任何切片。在中的典型的總共10cm 的偏移(最大為大約20cm)應(yīng)當(dāng)被映射至聚焦堆棧數(shù)量N的圖像。

在步驟S704，切片圖像S被顯示在平板電腦52上。S針對(duì)相機(jī)獲得的每個(gè)新圖像實(shí)施，并且還針對(duì)平板電腦的每個(gè)新位置實(shí)施，如箭頭706所示。

必須注意可使用像素坐標(biāo)(X_p，Y_p，Z_p)實(shí)現(xiàn)相同的推導(dǎo)。

圖8是圖示了根據(jù)本公開一實(shí)施例以取決于裝置位置和方向進(jìn)行個(gè)性化的方式用于顯示基于光場的圖像的裝置的示例的示意框圖。

圖8中圖示的裝置80包括由總線86連接的處理器81、存儲(chǔ)單元82、輸入設(shè)備83、輸出設(shè)備84、接口單元85和傳感器705。當(dāng)然，計(jì)算機(jī)裝置80的構(gòu)成元件可以由不同于使用總線86的總線連接的連接進(jìn)行連接。這種裝置80例如為圖5和6的平板電腦52，或者任意其他類型的手持設(shè)備，諸如智能手機(jī)。

處理器81控制裝置80的操作。存儲(chǔ)單元82存儲(chǔ)要由處理器81執(zhí)行的至少一個(gè)程序，以及各種數(shù)據(jù)，包括由光場相機(jī)捕獲和提供的4D光場圖像的數(shù)據(jù)、由處理器81執(zhí)行的計(jì)算所使用的參數(shù)、由處理器81執(zhí)行的計(jì)算的中間數(shù)據(jù)，由傳感器705捕獲的信息等。存儲(chǔ)單元82可以特別存儲(chǔ)如由光場捕獲設(shè)備提供的聚焦堆棧100。處理器81可以由任何已知和適當(dāng)?shù)挠布⒒蜍浖?、或硬件和軟件的組合形成。例如，處理器81可以由諸如處理電路的專用硬件形成，或者由執(zhí)行存儲(chǔ)在其存儲(chǔ)器中的程序的諸如CPU(中央處理單元)的可編程處理單元形成。

存儲(chǔ)單元82可以由能夠以計(jì)算機(jī)可讀的形式存儲(chǔ)程序、數(shù)據(jù)等的任意適當(dāng)?shù)拇鎯?chǔ)器或部件形成。存儲(chǔ)單元82的示例包括諸如半導(dǎo)體存儲(chǔ)器件的非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，以及載入讀寫單元的磁、光、或磁-光記錄介質(zhì)。該程序?qū)е绿幚砥?1執(zhí)行用于顯示光場圖像的過程，根據(jù)如上文參考圖7所述的本公開一實(shí)施例的裝置的姿態(tài)參數(shù)設(shè)置其聚焦參數(shù)。

輸入設(shè)備83可以由鍵盤、諸如鼠標(biāo)的定點(diǎn)裝置等形成，以使用戶輸入命令。輸出設(shè)備84可以由顯示設(shè)備形成以顯示，例如，圖形用戶界面(GUI)，或者針對(duì)用戶的視點(diǎn)而個(gè)性化的基于光場的圖像。輸入設(shè)備83和輸出設(shè)備84可以由例如觸摸屏面板整體形成。

接口單元85提供裝置80和外部裝置之間的接口。接口單元85可以經(jīng)由電纜或無線通信與外部裝置通信。在這一實(shí)施例中，該外部裝置可為光場相機(jī)。在這種情況下，由光場相機(jī)捕獲的4D光場圖像的數(shù)據(jù)可以從光場相機(jī) 通過接口單元85輸入至裝置80，然后存儲(chǔ)在存儲(chǔ)單元82中，并顯示在屏幕84上。

裝置80和光場相機(jī)彼此間可以經(jīng)由電纜或無線通信進(jìn)行通信。

雖然圖8中僅示出了一個(gè)處理器81，但必須理解這一處理器可以包括體現(xiàn)根據(jù)本公開各實(shí)施例的由裝置80執(zhí)行的功能的不同的模塊和單元，諸如：

-基于傳感器705提供的信息，用于估算該裝置的姿勢(shì)的模塊；

-用于將要顯示的圖像的聚焦參數(shù)確定為該裝置的估算的姿勢(shì)的函數(shù)的模塊；

-用于將要顯示的圖像計(jì)算為聚焦堆棧的切片圖像的單元，作為該裝置的聚焦參數(shù)和/或姿勢(shì)參數(shù)的函數(shù)。

這些模塊和單元還可以實(shí)現(xiàn)在彼此間通信和協(xié)作的若干處理器81中。

5.6使聚焦堆棧適應(yīng)于場景的布局

圖9示出了由相機(jī)400捕獲的場景的示例。這一場景包括兩個(gè)感興趣的對(duì)象401和402。感興趣的對(duì)象401與相機(jī)400相隔距離d1，而另一感興趣的對(duì)象與相機(jī)400相隔距離d2。

當(dāng)在該場景中檢測(cè)到感興趣的對(duì)象401或402時(shí)，獲知其位置(距離d1或d2)，因此可計(jì)算出聚焦值。然后還可能計(jì)算出針對(duì)這一位置的近聚焦值。這在圖9中圖示出，其中，在距離d1和d2，針對(duì)該聚焦堆棧計(jì)算出更多圖像。聚焦堆棧500因此包括對(duì)應(yīng)于最近的焦距的聚焦圖像，對(duì)應(yīng)于最遠(yuǎn)焦距的聚焦圖像，以及中間的兩組聚焦圖像：

-與感興趣的對(duì)象401相關(guān)的第一組聚焦圖像501；

-與感興趣的對(duì)象402相關(guān)的第二組聚焦圖像502；

可通過深度線性地驅(qū)動(dòng)位于感興趣的對(duì)象和其他平面(例如背景或前景)之間的圖像的計(jì)算。

在一個(gè)變形中，在聚焦堆棧中兩幅連續(xù)圖像之間的距離(還稱為步進(jìn))默認(rèn)定義為很小(兩幅連續(xù)圖像與在該場景空間中彼此間距大約20cm的焦平面相關(guān))。然后，用戶可決定選擇他/她不感興趣的區(qū)域(例如位于背景中的對(duì)象)，并且通過考慮背景中的對(duì)象并不重要這一事實(shí)確定一聚焦堆棧(因此，與所確定的聚焦堆棧中的默認(rèn)值相比增加這些圖像之間的距離)。

圖10圖示了聚焦堆棧500，其已經(jīng)使用適應(yīng)于該場景的不規(guī)則的采樣網(wǎng)格構(gòu)建。

與感興趣的對(duì)象401或402相關(guān)的集合501或502中的聚焦圖像的數(shù)量取決于感興趣的對(duì)象的深度，其中該深度對(duì)應(yīng)于從該感興趣的對(duì)象的前方到后方的距離(該對(duì)象的前方對(duì)應(yīng)于該對(duì)象最接近于相機(jī)的部分，以及該對(duì)象的后方對(duì)應(yīng)于該對(duì)象距離相機(jī)最遠(yuǎn)的部分)。感興趣的對(duì)象越深，聚焦堆棧中的對(duì)應(yīng)的聚焦圖像集合中的圖像越多，允許感興趣的對(duì)象在AIF圖像中的更精細(xì)的呈現(xiàn)，或者該場景的更好的重新聚焦能力。

實(shí)際上，由于圖9和10的實(shí)施例，更多的“對(duì)焦區(qū)域(in-focus regions)”附屬于感興趣的對(duì)象。AIF圖像對(duì)應(yīng)于聚焦的圖像，其中所有對(duì)象呈現(xiàn)為對(duì)焦，并且由聚焦融合組成。對(duì)于感興趣的對(duì)象，因此將在AIF圖像中提升DoF(景深)的質(zhì)量。

此外，與感興趣的對(duì)象相關(guān)的聚焦堆棧的切片的數(shù)量較高，其將為用戶提供更多的信息，當(dāng)他/她想要重新聚焦該場景至這一感興趣的特定對(duì)象時(shí)，特別是通過來回移動(dòng)平板電腦52以調(diào)整顯示的圖像至特定焦距和/或視點(diǎn)時(shí)。

根據(jù)本公開的備實(shí)施例，感興趣的對(duì)象401和402可以為：

-突出的對(duì)象(例如Nianyi Li，Jinwei Ye，Yu，Haibin Ling和Jingyi Yu撰寫的“Saliency Detection on Light Field”中所述)；

-在該場景中檢測(cè)到的面部、或者人體的一部分或全部；

-前景對(duì)象(例如經(jīng)由視差估算識(shí)別，如ICCP 2014，由N.Sabater，V.Drazic，M.Seifi、G.Sandri和P.Perez撰寫的“Accurate Disparity Estimation for Plenoptic Images”所述)；

-由用戶選擇的對(duì)象(例如，在某一幀上由用戶手動(dòng)選擇并沿著視頻序列追蹤的對(duì)象)。

在相同場景中，可檢測(cè)一個(gè)或多個(gè)感興趣的對(duì)象。用于聚焦堆棧的采樣網(wǎng)格將適應(yīng)于與在該場景中檢測(cè)的感興趣的對(duì)象一樣多。

當(dāng)然，在圖9和10的實(shí)施例中，由圖8的裝置80使用的或在圖7的過程中的步驟S703使用的聚焦堆棧是圖10的適應(yīng)的聚焦堆棧500，而不是圖1的常規(guī)聚焦堆棧100。

在此特定實(shí)施例中，裝置80的處理器81可以進(jìn)一步包括用于體現(xiàn)計(jì)算自適應(yīng)的聚焦堆棧作為該場景的布局的函數(shù)的功能的一組單元和模塊，并且特別是：

-根據(jù)該場景的布局減少或增加采樣間隔的調(diào)整模塊；

-用于將聚焦堆棧確定為一組彼此隔開調(diào)整后的采樣間隔的連續(xù)的聚焦圖像的模塊；

-用于識(shí)別場景中的感興趣的對(duì)象的模塊；

-用于評(píng)估感興趣的對(duì)象的深度的模塊；

-用于確定要與每個(gè)感興趣的對(duì)象關(guān)聯(lián)的聚焦圖像的數(shù)量的模塊；

-用于從光場數(shù)據(jù)集合或從根據(jù)該光場數(shù)據(jù)集合生成的視圖矩陣來估算視差的視差估算模塊。

-用于計(jì)算在場景中感興趣的對(duì)象距離估計(jì)的視差的位置的計(jì)算單元。

正如將由本領(lǐng)域技術(shù)人員認(rèn)識(shí)的，本原理的方面可實(shí)現(xiàn)為一種系統(tǒng)、方法或計(jì)算機(jī)可讀介質(zhì)。因此，本原理的各方面可采用完全硬件實(shí)施方式、完全軟件實(shí)施方式(包括固件、駐留軟件、微代碼等)、或者組合所有在這里可以通常被稱為“電路”、“模塊”或“系統(tǒng)”的軟件和硬件方面的實(shí)施方式的形式。

當(dāng)本原理由一個(gè)或多個(gè)硬件組件執(zhí)行時(shí)，可注意硬件組件包括處理器，其為集成電路諸如中央處理單元、和/或微處理器、和/或?qū)Ｓ眉呻娐?ASIC)、和/或?qū)Ｓ弥噶罴幚砥?ASIP)、和/或圖形處理單元(GPU)、和/或物理處理單元(PPU)、和/或數(shù)字信號(hào)處理器(DSP)、和/或圖像處理器、和/或協(xié)處理器、和/或浮點(diǎn)單元、和/或網(wǎng)絡(luò)處理器、和/或音頻處理器、和/或多核處理器。此外，硬件組件還可包括基帶處理器(包括諸如存儲(chǔ)器單元，以及固件)和/或接收或發(fā)送無線信號(hào)的無線電電路(其可包括天線)。在一個(gè)實(shí)施例中，硬件單元與諸如ISO/IEC 18092/ECMA-340、ISO/IEC21481/ECMA-352、GSMA、StoLPaN、ETSI/SCP(智能卡平臺(tái))、全球平臺(tái)(即，安全元素)的一個(gè)或多個(gè)標(biāo)準(zhǔn)兼容。在一個(gè)變形中，硬件組件是無線射頻識(shí)別(RFID)標(biāo)簽。在一個(gè)實(shí)施例中，硬件組件包括實(shí)現(xiàn)藍(lán)牙通信、和/或WiFi通信、和/或Zigbee通信、和/或USB通信、和/或Firewire通信、和/或NFC(近場)通信的電路。

此外，本原理的方面可采用計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)的形式。可以利用一個(gè)或多個(gè)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)的任意組合。

因此舉例來說，本領(lǐng)域技術(shù)人員將認(rèn)識(shí)到在此展示的框圖表示實(shí)現(xiàn)本發(fā)明的原理的說明性的系統(tǒng)組件和/或電路的概念視圖。相似地，將認(rèn)識(shí)到任何流程圖表、流程圖、狀態(tài)轉(zhuǎn)換圖、偽代碼等表示基本可以表示在計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中并因此由計(jì)算機(jī)或處理器執(zhí)行的各種過程，無論這種計(jì)算機(jī)或處 理器是否被明確示出。

雖然本公開已經(jīng)參考一個(gè)或多個(gè)示例進(jìn)行了描述，本領(lǐng)域技術(shù)人員將認(rèn)識(shí)到在不脫離本公開和/或附加的權(quán)利要求的范圍的情況下可以在形式和細(xì)節(jié)上作出改變。