為聚焦于對應(yīng)于觀察者 的凝視位置的深度平面。
[0021] 舉例來說，如果觀察者正凝視前景中的人125A，那么眼跟蹤裝置130可跟蹤觀察 者的眼凝視作為當(dāng)前幀120上的坐標(biāo)位置且將全光幀聚焦于歸于人125A的對應(yīng)深度平面 處。所述系統(tǒng)隨著幀變化更新對焦的深度平面。因此，隨著當(dāng)觀察者觀看幀120上的不同 地點(diǎn)而觀察者的凝視位置變化，聚焦的深度平面隨著幀在2-D視頻流中前進(jìn)而變化。此外， 全光幀120可為3-D視頻流的幀。
[0022] 因此，隨著用戶改變其在顯示屏110上凝視的位置，當(dāng)在立體視頻流中顯示幀時(shí) 系統(tǒng)將把不同深度平面帶到對焦?fàn)顟B(tài)。結(jié)果是在外觀上類似于在用戶前方播放的"現(xiàn)實(shí)"場 景，而非在顯示裝置110上顯示。在另一實(shí)施例中（表示為"B")，經(jīng)由一對眼跟蹤眼鏡150 跟蹤觀察者的眼睛。在此實(shí)施例中，顯示屏110包括內(nèi)部或外部接收器，其經(jīng)配置以將數(shù)據(jù) 發(fā)射到眼跟蹤眼鏡150和從眼跟蹤眼鏡150接收數(shù)據(jù)。眼跟蹤眼鏡150主動地跟蹤用戶在 顯示屏上凝視的位置，且將用戶的凝視信息發(fā)射到顯示屏110。顯示屏110可隨后將包含觀 察者的眼坐標(biāo)的任何2-D坐標(biāo)的凝視信息轉(zhuǎn)換為屏幕的坐標(biāo)確定系統(tǒng)。舉例來說，如果眼 鏡150內(nèi)部觀察者的眼睛正凝視全光幀120的在2-D坐標(biāo)位置（ Xl，yi)處的位置，那么顯示 屏110可使用定向余弦矩陣或數(shù)學(xué)變換將2-D坐標(biāo)位置變換為顯示屏110上坐標(biāo)（ Xl'，y/ ) 處的等效位置。一旦屏幕110上觀察者的凝視位置已知，全光幀120就可隨后聚焦于對應(yīng) 深度平面使得用戶在其在屏幕上觀看的位置處看到清晰、聚焦的圖像。如上文相對于實(shí)施 例"A"所描述，全光視頻幀120可為2-D或3-D視頻流的幀。
[0023] 圖2展示聚焦于三個(gè)不同深度平面的相同所俘獲全光圖像的不同實(shí)例。在第一圖 像201中，包含海豹202的前景深度平面設(shè)定成圖像的焦平面。因此，前方海豹202展示為 對焦，而中間海豹203和山場景204展示為離焦。在第二圖像205中，焦平面設(shè)定成與中間 深度平面重合使得場景中心的中間海豹203被帶到對焦，而前方海豹202和山場景204是 模糊的。第三圖像207展示一實(shí)例，其中焦平面設(shè)定成與背景深度平面重合使得山場景204 對焦，而前方海豹202和中間海豹203離焦。
[0024] 如圖2所示，立體電視機(jī)220可顯示電影的每一全光幀。當(dāng)顯示幀時(shí)，計(jì)算觀察者 的眼睛的凝視且隨后預(yù)測用戶在任何特定時(shí)間正觀看的電視機(jī)220上的位置。在一個(gè)實(shí) 施例中，實(shí)時(shí)跟蹤觀察者的眼移動使得基于在特定時(shí)間用戶正觀看的圖像內(nèi)的位置，呈現(xiàn) 到電視機(jī)220上的圖像不斷地進(jìn)入和離開不同焦點(diǎn)。因此，系統(tǒng)可監(jiān)視用戶的凝視并預(yù)測 (如十字準(zhǔn)線225所示）在特定時(shí)間用戶正觀看的電視機(jī)上的位置的二維坐標(biāo)。依據(jù)這些 坐標(biāo)，系統(tǒng)可預(yù)測將哪一深度平面帶到對焦。舉例來說，當(dāng)觀察者正觀看中間海豹203時(shí)， 與所述海豹相關(guān)聯(lián)的深度平面將被帶到對焦使得用戶將具有中間海豹的清晰圖片。系統(tǒng)隨 后經(jīng)配置以改變?nèi)鈭D像的焦點(diǎn)，且持續(xù)更新所顯示的焦平面以與由用戶具體觀看的特征 的深度平面協(xié)調(diào)。此允許系統(tǒng)持續(xù)向用戶呈現(xiàn)聚焦的立體信息。
[0025] 圖3為可類似于圖1的系統(tǒng)100的系統(tǒng)300的框圖。展示一組系統(tǒng)模塊310,其在 所述內(nèi)一起作用以提供眼跟蹤和深度平面聚焦系統(tǒng)的許多功能。眼跟蹤模塊304負(fù)責(zé)跟蹤 當(dāng)凝視所顯示的全光視頻或圖像時(shí)觀察者的眼睛的坐標(biāo)。觀察者的眼睛可（例如）經(jīng)由眼 跟蹤眼鏡或紅外系統(tǒng)來跟蹤。坐標(biāo)映射模塊306經(jīng)配置以將觀察者的眼睛的坐標(biāo)平面變換 為顯示裝置的相應(yīng)坐標(biāo)平面。
[0026] 顯示裝置上觀察者的凝視的2-D坐標(biāo)位置可確定當(dāng)前所顯示的全光幀上可聚焦 哪一深度平面。深度平面聚焦模塊308經(jīng)配置以將當(dāng)前所顯示的全光幀聚焦于對應(yīng)于觀察 者在幀上凝視的位置的深度模塊處。舉例來說，如果當(dāng)前所顯示的全光幀包括10個(gè)不同深 度平面，那么深度平面聚焦模塊308可計(jì)算所述10個(gè)深度平面中的哪一者對應(yīng)于觀察者的 2-D坐標(biāo)位置（如模塊306所計(jì)算），且相應(yīng)地聚焦當(dāng)前所顯示的全光幀的10個(gè)深度平面 中的一者。
[0027] 全光圖像存儲裝置322經(jīng)配置以存儲待由系統(tǒng)300顯示的全光圖像。全光2-D圖 像產(chǎn)生器模塊320可從全光圖像存儲裝置322檢索排隊(duì)以供顯示的全光圖像。全光視頻產(chǎn) 生器模塊318可經(jīng)配置以從全光圖像存儲裝置322檢索全光圖像序列且將其轉(zhuǎn)換為視頻 流。處理器302也可在系統(tǒng)300內(nèi)，所述處理器302經(jīng)配置以將用于眼跟蹤和深度平面聚焦 的所述組模塊310與全光視頻或圖像源模塊318和320的任一者組合。視頻產(chǎn)生模塊312 可經(jīng)配置以將從全光視頻模塊318輸出的2-D視頻流轉(zhuǎn)換為3-D全光視頻流。此外，系統(tǒng) 300可經(jīng)配置以允許2-D視頻信號穿通模塊312以便顯示2-D視頻流。顯示器輸出314可 經(jīng)配置以在顯示裝置（例如，監(jiān)視器或電視機(jī)）上顯示3-D視頻。產(chǎn)生圖像輸出模塊316 可以某一格式轉(zhuǎn)換單一全光圖像或幀以供在顯示器輸出314上顯示。
[0028] 圖4為展示如本文中所論述用于產(chǎn)生3-D全光視頻的過程400的一個(gè)實(shí)施例的流 程圖。過程400開始于框410處用于俘獲全光圖像。全光圖像可經(jīng)由例如"Red Hot"模型 (美國加利福尼亞州，芒廷維尤，lytro.com)等全光相機(jī)或經(jīng)配置以俘獲全光圖像的視頻 流的全光視頻錄入裝置來俘獲。在框410處，過程400還可俘獲全光圖像流且將序列中的 所俘獲的圖像"縫合在一起"以產(chǎn)生視頻流。過程400隨后移動到框420,其中界定全光圖 像中的深度平面。
[0029] 舉例來說，在具有人在前景中且樹在背景中的簡單全光幀中，過程框420可界定 僅兩個(gè)深度平面。相反，在包括多個(gè)深度區(qū)域的較復(fù)雜全光幀中，過程400在框420處可界 定圖像中的更多深度平面，其中每一深度平面代表全光圖像內(nèi)的不同深度區(qū)域。過程400 隨后繼續(xù)到過程框430以俘獲觀察者的眼位置。俘獲觀察者的眼位置的此過程430將在下 文中相對于圖5更詳細(xì)地描述。
[0030] 一旦俘獲觀察者的眼坐標(biāo)，過程400就繼續(xù)到框440以讀取眼坐標(biāo)信息。眼坐標(biāo) 信息是由觀察者觀察的顯示裝置上觀察者在所述特定時(shí)間正在觀看的所確定的坐標(biāo)位置。 過程400隨后移動到過程框450以將用戶的眼坐標(biāo)映射到所顯示的全光幀的坐標(biāo)平面和對 應(yīng)深度平面。過程450將在下文中相對于圖6更詳細(xì)地描述。
[0031] 接下來，過程400移動到過程框460,其中將全光幀或圖像聚焦于對應(yīng)于觀察者的 凝視的位置的深度平面處。此過程將在下文中相對于圖7更詳細(xì)地描述。最后，過程400 移動到框470并顯示已聚焦在對應(yīng)于觀察者的當(dāng)前凝視位置的深度平面處的全光幀。
[0032] 過程400隨后針對視頻流中的全光幀序列中的每一全光幀重復(fù)。因此，視頻序列 中的每一全光幀重新界定觀察者的2-D凝視坐標(biāo)、深度平面和聚焦區(qū)域。所得3-D視頻具有 "現(xiàn)實(shí)"外觀，其中全光視頻流中每一全光幀的聚焦區(qū)基于觀察者的凝視位置恒定地更新。
[0033] 圖5進(jìn)一步詳細(xì)說明用于俘獲用戶的眼位置的過程框430中進(jìn)行的過程。過程430 開始于起始框510且隨后移動到?jīng)Q策框520,其中確定系統(tǒng)是否檢測到觀察者正使用眼跟 蹤眼鏡。如果發(fā)現(xiàn)觀察者具有激活的眼跟蹤眼鏡，那么過程移動到框530以起始觀察者的 眼睛的跟蹤。接下來，過程移動到框540以開始在眼鏡內(nèi)部跟蹤觀察者的眼睛的觀看坐標(biāo)， 其對應(yīng)于用戶正凝視的所顯示全光圖像的區(qū)域的2-D坐標(biāo)位置。過程隨后移動到框580,其 將用戶的眼睛的坐標(biāo)映射到顯示屏上所顯示的全光圖像的對應(yīng)坐標(biāo)。此變換將取決于所顯 示的全光圖像的大小和屏幕大小而變化。過程隨后移動到框590以將觀察者的當(dāng)前眼坐標(biāo) 信息存儲在系統(tǒng)內(nèi)。
[0034] 移動回到?jīng)Q策框520,如果確定觀察者尚未激活眼跟蹤眼鏡，那么過程移動到?jīng)Q策 框550以確定紅外系統(tǒng)是否可用于跟蹤觀察者的眼睛。如果存在可用的紅外眼跟蹤系統(tǒng)， 那么過程