用于產(chǎn)生3-d全光視頻圖像的系統(tǒng)和方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明大體涉及用于產(chǎn)生立體全光視頻圖像的系統(tǒng)和方法，且更明確地說(shuō)涉及用 于通過(guò)跟蹤觀察者的眼坐標(biāo)產(chǎn)生和顯示立體全光視頻圖像的系統(tǒng)和方法。
【背景技術(shù)】
[0002] 3-D立體視頻具有設(shè)定的焦點(diǎn)，意味著當(dāng)觀察者嘗試聚焦于設(shè)定的深度平面外部 的圖像時(shí)深度的錯(cuò)覺被打破。此效應(yīng)可致使3-D內(nèi)容的一些觀察者的眼疲勞，因?yàn)檠劬L 試（且未能）如原始拍攝那樣聚焦于場(chǎng)景的設(shè)定的深度平面外部的內(nèi)容。全光（也稱為 "光場(chǎng)"）相機(jī)技術(shù)允許俘獲可在圖像被俘獲之后聚焦的圖像。在傳統(tǒng)應(yīng)用環(huán)境中，此允許 將全光圖像中的任何對(duì)象帶到銳聚焦，而不管對(duì)象包含于什么焦平面中。
[0003] 在傳統(tǒng)攝影中，圖像的焦點(diǎn)區(qū)域在拍攝圖片之前配置。在已拍攝圖片之后，設(shè)定焦 點(diǎn)的區(qū)域且離焦的區(qū)域無(wú)法對(duì)焦。相反，光場(chǎng)或全光相機(jī)使用特殊透鏡和傳感器來(lái)俘獲場(chǎng) 景的范圍內(nèi)的整個(gè)光場(chǎng)。因此，全光相機(jī)能夠俘獲空間中的每個(gè)點(diǎn)中在每一方向上行進(jìn)的 所有光。利用全光相機(jī)，因?yàn)榉@所有光的顏色、方向和強(qiáng)度，所以在已拍攝圖片之后使用 軟件執(zhí)行聚焦。已拍攝圖片之后聚焦允許用戶在任何時(shí)間修改對(duì)焦的圖像區(qū)域。

【發(fā)明內(nèi)容】

[0004] 在一個(gè)實(shí)施例中，本發(fā)明提供一種用于產(chǎn)生全光圖像的系統(tǒng)。所述系統(tǒng)包括能夠 產(chǎn)生至少一個(gè)全光圖像的全光圖像源。所述系統(tǒng)進(jìn)一步包括深度映射模塊，其經(jīng)配置以將 所述至少一個(gè)全光圖像中的對(duì)象指派到深度平面。所述系統(tǒng)進(jìn)一步包括用于顯示所述至少 一個(gè)全光圖像的顯示器。所述系統(tǒng)進(jìn)一步包括眼跟蹤系統(tǒng)，其經(jīng)配置以跟蹤用戶在顯示器 上凝視的位置，且將所顯示圖像的焦平面設(shè)定為由用戶觀看的深度平面。
[0005] 在另一實(shí)施例中，本發(fā)明提供一種用于設(shè)定由用戶觀看的圖像的焦平面的方法。 所述方法包括產(chǎn)生至少一個(gè)全光圖像。所述方法進(jìn)一步包括將所述至少一個(gè)全光圖像中的 對(duì)象映射到深度平面。所述方法進(jìn)一步包括顯示所述至少一個(gè)全光圖像。所述方法進(jìn)一步 包括跟蹤顯示器上用戶的凝視的位置，以及將所顯示圖像的焦平面設(shè)定為由用戶觀看的深 度平面。
[0006] 在另一實(shí)施例中，本發(fā)明提供一種用于設(shè)定全光圖像的焦平面的系統(tǒng)。所述系統(tǒng) 包括用于產(chǎn)生至少一個(gè)全光圖像的裝置。所述系統(tǒng)進(jìn)一步包括用于將所述至少一個(gè)全光圖 像中的對(duì)象映射到深度平面的裝置。所述系統(tǒng)進(jìn)一步包括用于顯示所述至少一個(gè)全光圖像 的裝置。所述系統(tǒng)進(jìn)一步包括用于跟蹤用戶在顯示器上凝視的位置的裝置。所述系統(tǒng)進(jìn)一 步包括用于將所顯示圖像的焦平面設(shè)定為由用戶觀看的深度平面的裝置。
【附圖說(shuō)明】
[0007] 圖1為用戶觀看屏幕上的3-D全光圖像的說(shuō)明，其中用戶眼睛經(jīng)由眼鏡（B)或經(jīng) 由紅外㈧跟蹤。
[0008] 圖2為全光圖像幀的說(shuō)明，其中3個(gè)深度平面根據(jù)用戶的眼坐標(biāo)聚焦。
[0009] 圖3為根據(jù)本發(fā)明的一個(gè)實(shí)施例的系統(tǒng)級(jí)概觀的框圖。
[0010] 圖4為展示用于產(chǎn)生3-D全光視頻的過(guò)程的概觀的流程圖。
[0011] 圖5為展示用于俘獲用戶的眼位置的過(guò)程的概觀的流程圖。
[0012] 圖6為展示用于將用戶的眼坐標(biāo)映射到全光圖像深度平面的過(guò)程的概觀的流程 圖。
[0013] 圖7為展示用于將用戶的眼坐標(biāo)映射到全光圖像深度平面的過(guò)程的概觀的流程 圖。
【具體實(shí)施方式】
[0014] 本發(fā)明的實(shí)施例涉及用于向用戶顯示立體全光圖像的系統(tǒng)和方法。全光圖像含有 足夠信息以從單一全光圖像立體地顯示所述圖像。因?yàn)槿庀鄼C(jī)記錄深度信息（允許在可 變深度聚焦），所以可在軟件中由單一全光圖像俘獲構(gòu)建立體圖像。全光相機(jī)使用微透鏡陣 列俘獲"四維"光場(chǎng)信息。所述微透鏡陣列可將微透鏡上的入射光線的一部分分離為束，所 述束來(lái)源于相同位置但處于不同角方向。因此，所俘獲全光圖像含有足夠信息以再造（憑 經(jīng)驗(yàn)）覆蓋焦點(diǎn)距離范圍的大塊圖像。通過(guò)使不同焦點(diǎn)距離和深度處的圖像對(duì)匹配，可針 對(duì)3-D應(yīng)用向用戶立體地顯示全光圖像。
[0015] 實(shí)施例大體涉及使用全光圖像產(chǎn)生靜態(tài)圖像或視頻的系統(tǒng)和方法，其中圖像或視 頻的不同深度部分可由用戶通過(guò)使用眼跟蹤來(lái)聚焦。因此，在一些實(shí)施例中，個(gè)別全光圖像 流組合為幀序列以便產(chǎn)生含有多個(gè)深度平面信息的2-D或3-D電影序列。全光數(shù)據(jù)的每 一幀可以（例如）每秒30幀的標(biāo)準(zhǔn)速率組合以供向用戶顯示。當(dāng)向用戶顯示特定視頻幀 時(shí)，系統(tǒng)將計(jì)算將圖像的某些特征的2-D屏幕坐標(biāo)鏈接到其恰當(dāng)深度平面的每幀坐標(biāo)映射 圖。舉例來(lái)說(shuō)，場(chǎng)景的前景中的樹將被指派到前深度平面，且背景中的山將被指派到第二深 度平面。不同數(shù)目的深度平面可用于電影的每一場(chǎng)景。僅具有幾個(gè)要素的簡(jiǎn)單場(chǎng)景可具有 2-5個(gè)深度平面，而具有許多要素的較復(fù)雜場(chǎng)景可具有6-10個(gè)深度平面。
[0016] 一旦圖像的每一特征的2-D坐標(biāo)指派到深度平面，就可將幀顯示到標(biāo)準(zhǔn)或立體顯 示器（例如3-D電視機(jī)）上。為了將用戶的眼睛恰當(dāng)?shù)亟裹c(diǎn)到正確深度平面上，系統(tǒng)將包 含眼跟蹤組件，所述眼跟蹤組件將檢測(cè)用戶在顯示器上聚焦的位置且接著將渲染的全光圖 像再聚焦到對(duì)應(yīng)于含有觀察者的凝視的屏幕坐標(biāo)的深度平面處。用于此實(shí)施例中的眼跟蹤 裝置的實(shí)例是眾所周知的，例如Tobii技術(shù)公司（弗吉尼亞州，福爾徹奇）的IS-I或IS-2 眼跟蹤器。這些特定裝置使用紅外光反射離開用戶的角膜以便跟蹤用戶的眼睛的位置和凝 視。其它系統(tǒng)可將相機(jī)、紅外激光器或傳感器集成在抬頭顯示器或用戶佩戴的眼鏡中以計(jì) 算由用戶在任何時(shí)間點(diǎn)聚焦的圖像中的點(diǎn)。
[0017] 元件的此組合產(chǎn)生一種系統(tǒng)，其通過(guò)將所顯示圖像的焦平面修改為當(dāng)前由用戶觀 看的深度平面而顯示響應(yīng)于用戶正凝視的位置的變化的反應(yīng)性圖像或電影。此系統(tǒng)因此允 許用戶具有在2-D或立體視圖（3-D)中在任何所感知深度處所顯示場(chǎng)景的任一部分的清晰 聚焦。
[0018] 圖1為用于向用戶顯示全光圖像和視頻的全光視頻系統(tǒng)100的一個(gè)實(shí)施例的說(shuō) 明。顯示裝置11〇(例如（但不限于）電視機(jī)屏幕）向用戶顯示全光視頻信息120。屏幕 110可顯示（例如）單一全光圖像、2-D全光圖像或3-D全光視頻。在圖1中展示的實(shí)施例 中，全光圖像120包含在所顯示圖像的前景中的第一人125A和第二人125B。另外，存在在 所顯示圖像的背景中展示為場(chǎng)景的一部分的山128。具有人125A、B的圖像的前景可表示 一個(gè)深度平面，而山128的背景場(chǎng)景可表示第二深度平面。全光幀中可存在任何數(shù)目的深 度平面，其中每一深度平面表示所顯示的場(chǎng)景的不同部分。
[0019] 顯示裝置110可連接到硬件裝置140,硬件裝置140將全光數(shù)據(jù)發(fā)送到顯示裝置 110。硬件裝置140可包括（例如）藍(lán)光光盤播放器或存儲(chǔ)全光視頻或圖像數(shù)據(jù)的存儲(chǔ)裝 置。在一個(gè)實(shí)施例中（表示為"A"），一對(duì)觀察者的眼睛160正凝視顯示裝置110上的全光 圖像或視頻120,且經(jīng)由眼跟蹤裝置130沿著線(： 2和C 2跟蹤。眼跟蹤裝置130可包括紅外 系統(tǒng)以跟蹤觀察者的眼睛在全光圖像或視頻120上的位置和觀察角度。通過(guò)跟蹤觀察者的 眼睛的位置和觀察角度，系統(tǒng)可確定顯示器110上在預(yù)定義時(shí)間周期期間觀察者正觀看的 地方。舉例來(lái)說(shuō)，系統(tǒng)可在觀察者在顯示裝置110上到處觀看時(shí)每隔一秒、半秒、四分之一 秒或十分之一秒跟蹤觀察者的眼睛。眼跟蹤裝置130還可允許額外用戶觀察全光圖像或視 頻120且單獨(dú)跟蹤房間中每一觀察者的位置和凝視。
[0020] 一旦系統(tǒng)已計(jì)算用戶在任何時(shí)間點(diǎn)觀看的位置，系統(tǒng)就可確定觀察者在顯示器上 的凝視的2-D坐標(biāo)。舉例來(lái)說(shuō)，系統(tǒng)可將顯示器劃分為二維網(wǎng)格且確定用戶正觀看顯示器 120的預(yù)定義網(wǎng)格內(nèi)的位置X = 100, Y = 200。一旦確定用戶在顯示器上凝視的坐標(biāo)位置， 系統(tǒng)隨后就將確定正觀看哪一深度平面。系統(tǒng)隨后將為觀察者將所顯示圖像聚焦于觀察者 正凝視的位置和深度平面處。因此，所顯示的全光圖像幀120將變