專(zhuān)利名稱(chēng)：三菜單顯示的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種呈現(xiàn)視覺(jué)信息的方法，該方法包括接收?qǐng)D像信息， 接收將要與所述圖像信息相結(jié)合呈現(xiàn)的次級(jí)圖像信息，處理所述圖像信 息和所述次級(jí)圖像信息以便生成將在三維空間中呈現(xiàn)的輸出信息。
本發(fā)明還涉及一種用于呈現(xiàn)視覺(jué)信息的設(shè)備，該設(shè)備包括輸入裝置 和處理裝置，該輸入裝置用于接收?qǐng)D像信息并接收將要與所述圖像信息 相結(jié)合呈現(xiàn)的次級(jí)圖像信息，該處理裝置用于處理所述圖像信息和所述 次級(jí)圖像信息以便生成將在三維空間中呈現(xiàn)的輸出信息。
本發(fā)明還涉及用于呈現(xiàn)視覺(jué)信息的計(jì)算機(jī)程序產(chǎn)品。
本發(fā)明涉及在三維[3D]顯示器上呈現(xiàn)圖像信息的領(lǐng)域，例如自動(dòng)立 體設(shè)備(比如多透鏡設(shè)備)上的視頻。
背景技術(shù)：
文獻(xiàn)US 2006/0031 776描述了一種多平面三維用戶(hù)界面。圖形元素 在三維空間中顯示。通過(guò)使用三維空間，增加了對(duì)于內(nèi)容項(xiàng)目的顯示容 量，并允許用戶(hù)界面將未選擇的項(xiàng)目移到用戶(hù)的主要視域之外。圖像信 息項(xiàng)目可以顯示在空間中的不同平面上，并且可以交疊。應(yīng)當(dāng)注意，該 文獻(xiàn)討論的是在2維顯示屏幕上顯示三維空間。
當(dāng)前正在開(kāi)發(fā)一種用于提供包括用戶(hù)的感知顯示深度范圍的真實(shí) 3D效果的各種3D顯示系統(tǒng)，比如多透鏡顯示設(shè)備或3D光束發(fā)生系統(tǒng)。 多透鏡顯示器具有由微小透鏡組成的表面，每個(gè)微小透鏡覆蓋一些像 素。用戶(hù)將在每只眼睛里接收到不同的圖像。所述光束發(fā)生系統(tǒng)要求用 戶(hù)戴上眼鏡，該眼鏡交替地與投影在屏幕上的不同圖像同步地覆蓋眼 睛。

發(fā)明內(nèi)容
文獻(xiàn)US 2006/0031776提供了在虛擬三維空間中的平面上顯示項(xiàng)目 的實(shí)例，所述項(xiàng)目呈現(xiàn)在二維顯示屏幕上。然而，該文獻(xiàn)沒(méi)有討論真實(shí) 3D顯示系統(tǒng)的選項(xiàng)，也沒(méi)有討論在這樣的顯示系統(tǒng)上顯示各種圖像信息元素。
本發(fā)明的目的是提供一種用于在3D顯示系統(tǒng)上呈現(xiàn)各種類(lèi)型圖像 信息的組合的方法和設(shè)備。
為了這個(gè)目的，根據(jù)本發(fā)明的第一方面，在如開(kāi)篇段落里所描述的
方法中，輸出信息被設(shè)置成顯示在具有顯示深度范圍的3D顯示器上， 所述處理包括檢測(cè)圖像信息的圖像深度范圍；檢測(cè)次級(jí)視覺(jué)信息的次 級(jí)深度范圍；在顯示深度范圍中確定第一子范圍和第二子范圍，所述第 一子范圍和第二子范圍無(wú)交疊；以及調(diào)節(jié)圖像深度范圍于第一子范圍 中，調(diào)節(jié)次級(jí)深度范圍于第二子范圍中。
為了這個(gè)目的，根據(jù)本發(fā)明的第二方面，在如開(kāi)篇段落中所描述的 設(shè)備中，所述處理裝置被設(shè)置用于生成用于在具有顯示深度范圍的3D 顯示器上顯示的輸出信息；檢測(cè)圖像信息的圖像深度范圍；檢測(cè)次級(jí)視 覺(jué)信息的次級(jí)深度范圍；在顯示深度范圍中確定第 一子范圍和第二子范 圍，該第一子范圍和第二子范圍無(wú)交疊；以及調(diào)節(jié)圖像深度范圍于第一 子范圍中，調(diào)節(jié)次級(jí)深度范圍于第二子范圍中。
該措施具有的效果在于，每一組圖像信息被分配有其自身的、單獨(dú) 的深度范圍。因?yàn)榈谝缓偷诙疃确秶唤化B，所以防止了通過(guò)突出更 后面的(第一)深度子范圍的元件而對(duì)位于前(第二)深度范圍中的圖 像數(shù)據(jù)中元素構(gòu)成遮擋(occlusion)。有利地，用戶(hù)不會(huì)被各種圖像 源的3D對(duì)象的混合所迷惑。
本發(fā)明還基于以下的認(rèn)識(shí)。可以要求將各種源的3D圖像信息顯示 在單個(gè)3D顯示系統(tǒng)上。發(fā)明人已經(jīng)看到，由于各種元素具有不同的深 度，顯示器上的組合圖像可能造成用戶(hù)的迷惑。例如，背景中的視頻應(yīng) 用的一些元素可以向前移動(dòng)并不可預(yù)料地(部分)遮擋處于更前的位置 上的圖形元素。對(duì)于一些應(yīng)用而言，這樣的交疊是可以預(yù)見(jiàn)的，并且在 創(chuàng)作這些內(nèi)容的同時(shí)可以調(diào)節(jié)各種元素的合適的深度位置。然而，發(fā)明 人已經(jīng)看到，在很多情況下是要顯示不可預(yù)見(jiàn)的組合。針對(duì)組合的顯示 確定子范圍以及為每個(gè)源分配非交疊的子范圍，從而避免了出現(xiàn)在不同 深度的不同源的元素的令人迷惑的混合。
在本方法的 一個(gè)實(shí)施例中，所述調(diào)節(jié)包括壓縮圖像深度范圍以適合 于第一子范圍中，和/或壓縮次級(jí)深度范圍以適合于第二子范圍中。這 具有的優(yōu)點(diǎn)是，原始圖像信息深度信息被轉(zhuǎn)換為可使用的子范圍，同時(shí)把每組圖像信息的原始深度結(jié)構(gòu)保持在減小的范圍內(nèi)。
在本方法的 一 個(gè)實(shí)施例中，輸出信息包括圖像數(shù)據(jù)和深度圖以用于 根據(jù)深度值沿著3D顯示器的深度尺寸定位圖像數(shù)據(jù)，并且該方法包括 在深度圖中把深度值的第一子范圍和深度值的第二子范圍確定為第一 子范圍和第二子范圍。這具有的優(yōu)點(diǎn)在于，可以容易地將所述子范圍映 射到深度圖中的相應(yīng)值范圍上。
根據(jù)本發(fā)明的設(shè)備和方法的其他優(yōu)選實(shí)施例在所附權(quán)利要求中給 出，所附權(quán)利要求的公開(kāi)通過(guò)引用合并于此。


根據(jù)通過(guò)參照在下面的描述中的實(shí)例而描述的實(shí)施例并參照附圖， 本發(fā)明的這些和其他方面將是明顯的并被進(jìn)一 步闡明，在附圖中，
圖1示出2D圖像和深度圖的實(shí)例，
圖2示出視頻格式的四個(gè)平面的實(shí)例，
圖3示出使用四個(gè)平面形成的合成圖像的實(shí)例，
圖4示出利用壓縮的深度呈現(xiàn)圖形和視頻，以及
圖5示出用于呈現(xiàn)3D視覺(jué)信息的系統(tǒng)。
在附圖中，與已經(jīng)描述的元件對(duì)應(yīng)的元件具有相同的附圖標(biāo)記。
具體實(shí)施例方式
下面的部分提供了三維[3D]顯示器和人的深度感知的概觀。3D顯示 器能夠提供更加生動(dòng)的深度感知，就這個(gè)意義而言，3D顯示器與2D顯示 器不同。這是因?yàn)樗鼈儽?D顯示器提供更多的深度提示，而2D顯示器只 能顯示單眼深度提示和基于運(yùn)動(dòng)的提示。
單眼(或靜態(tài))深度提示可以使用單只眼從靜態(tài)圖像獲得。畫(huà)家在 他們的繪畫(huà)中經(jīng)常使用單眼提示來(lái)創(chuàng)建深度感覺(jué)。這些提示包括相對(duì)大 小、相對(duì)地平線的高度、遮擋、透視性、紋理梯度、和光線/陰影。眼 球運(yùn)動(dòng)的提示是從觀察者眼睛的肌肉中的緊張狀態(tài)獲得的深度提示。眼 睛具有用于旋轉(zhuǎn)眼睛和用于拉伸眼睛晶狀體的肌肉。眼睛晶狀體的拉伸 和松弛被稱(chēng)為調(diào)節(jié)，其在聚焦到圖像時(shí)完成。晶狀體肌肉的伸長(zhǎng)或放松 的量提供了關(guān)于目標(biāo)有多近或多遠(yuǎn)的提示。眼睛的旋轉(zhuǎn)這樣進(jìn)行使得 雙眼聚焦在同一對(duì)象上，這稱(chēng)為會(huì)聚。最終，運(yùn)動(dòng)視差的效果在于，靠近觀察者的對(duì)象顯得比遠(yuǎn)處的對(duì)象移動(dòng)得更快。
雙眼視差是一種深度提示，該深度提示是由于我們的雙眼看到稍有 不同的圖像而得到的。單眼深度提示可以是任何2 D視覺(jué)顯示類(lèi)型并且用
在任何2D視覺(jué)顯示類(lèi)型中。為了在顯示器中重新產(chǎn)生雙眼視差，要求顯
示器能夠針對(duì)左眼和右眼而分段視圖，從而使得每只眼在顯示器上看到 稍微不同的圖像。能夠重新產(chǎn)生雙眼視差的顯示器是特殊的顯示器，我
們將之稱(chēng)為3D或立體顯示器。3D顯示器能夠沿著人眼實(shí)際感知的深度尺 寸來(lái)顯示圖像，該顯示器在本文中被稱(chēng)為具有顯示深度范圍的3D顯示 器。因而3D顯示器向左眼和右眼提供不同的視圖。
能夠提供兩個(gè)不同視圖的3D顯示器已經(jīng)出現(xiàn)了很長(zhǎng)一段時(shí)間。這些 3D顯示器中的大部分是基于使用眼鏡來(lái)分離左眼視圖和右眼視圖?，F(xiàn) 在，隨著顯示器技術(shù)的進(jìn)步，新的顯示器已經(jīng)進(jìn)入市場(chǎng)，它們能夠提供 立體的視圖而不使用眼鏡。這些顯示器被稱(chēng)為自動(dòng)立體顯示器。
第一途徑是基于LCD顯示器，該LCD顯示器使得用戶(hù)在沒(méi)有眼鏡的情 況下看到立體視頻。這可以是基于雙凸透鏡屏幕技術(shù)或隔板顯示器 (barrier display)技術(shù)。利用雙凸透鏡顯示器，LCD,皮雙凸透鏡板覆 蓋。這些透鏡衍射來(lái)自顯示器的光，使得左眼和右眼接收來(lái)自不同像素 的光。這使得顯示兩個(gè)不同圖像， 一個(gè)用于左眼視圖， 一個(gè)用于右眼視 圖。
對(duì)雙凸透鏡屏幕的替代是隔板顯示器，隔板顯示器使用位于LCD之 后和背光源前面的視差隔板來(lái)分離來(lái)自LCD中像素的光。隔板使得左眼 從屏幕前面的設(shè)定位置看到不同于右眼的像素。隔板顯示器的問(wèn)題是亮 度和分辨率的損失，而且視角很窄。這使得當(dāng)隔板顯示器用作起居室TV
時(shí)，與所述雙凸透鏡屏幕相比不是那么吸引人，例如雙凸透鏡屏幕具有 9個(gè)—見(jiàn)圖和多個(gè)觀看區(qū)域。
另一個(gè)途徑仍然基于結(jié)合高分辨率光束形成器使用快門(mén)眼鏡，該光 束形成器能夠以高刷新率(例如12011z)來(lái)顯示幀。要求所述高刷新率 是因?yàn)槔每扉T(mén)眼鏡方法交替地顯示左眼視圖和右眼視圖。戴上眼鏡的 觀察者感受到60Hz的立體視頻。所述快門(mén)眼鏡方法實(shí)現(xiàn)了高質(zhì)量的視頻
和高水平的深度。
自動(dòng)立體顯示器方法和快門(mén)眼鏡方法這兩者都經(jīng)受著調(diào)節(jié)-會(huì)聚 的失配。這限制了能夠使用這些設(shè)備舒服地觀看的深度量和時(shí)間。存在其他的顯示器技術(shù)，例如全息和立體顯示器(volumetric display), 其不受這個(gè)問(wèn)題的影響。應(yīng)當(dāng)注意本發(fā)明可以用于任何類(lèi)型的具有深度 范圍的3D顯示器。
設(shè)想的是，用于3D顯示器的圖像數(shù)據(jù)是以電子(通常是數(shù)字)數(shù)據(jù) 的形式獲得的。本發(fā)明涉及這樣的圖像數(shù)據(jù)并在數(shù)字域中操作圖像數(shù) 據(jù)。當(dāng)從源傳遞圖像數(shù)據(jù)時(shí)，圖像數(shù)據(jù)例如通過(guò)使用雙照相機(jī)可以已經(jīng) 包含3D信息，或者可以包括專(zhuān)用的預(yù)處理系統(tǒng)以從2D圖像(重新)創(chuàng)建 3D信息。圖像數(shù)據(jù)可以是靜態(tài)的，比如幻燈片，或者可以包括運(yùn)動(dòng)的視 頻，比如電影。其他的圖像數(shù)據(jù)(通常被稱(chēng)為圖形數(shù)據(jù))，可以作為所 存儲(chǔ)的對(duì)象而獲得，或者應(yīng)應(yīng)用的要求在運(yùn)行中生成。例如用戶(hù)控制信 息(比如菜單、導(dǎo)航項(xiàng)目或文本以及幫助注解)可以被添加至其他圖像 數(shù)據(jù)。
存在許多可以格式化立體圖像(稱(chēng)為3D圖像格式)的不同的方式。 一些格式基于使用2D通道中的帶寬以便還承載立體信息。例如左視圖和 右一見(jiàn)圖可以交錯(cuò)或者可以并排放置，以及放在上面和放在下面。這些方 法犧牲了用于承載立體信息的分辨率。另一個(gè)選擇是犧牲色彩，這個(gè)途 徑稱(chēng)為補(bǔ)色立體(anaglyphic stereo)。補(bǔ)色立體使用光語(yǔ)復(fù)用，該光 譜復(fù)用基于以互補(bǔ)顏色顯示兩個(gè)分離的、覆蓋的圖像。通過(guò)使用具有濾 色器的眼鏡，每只眼睛僅看到顏色與這只眼晴前面的過(guò)濾器的顏色相同 的圖像。所以例如右眼僅看到紅色圖像，而左眼僅看到綠色圖像。
不同的3D格式基于使用2D圖像和附加深度圖像(所謂的深度圖)的 兩個(gè)視圖，其傳達(dá)有關(guān)2D圖像中對(duì)象的深度的信息。
圖1示出2D圖像和深度圖的實(shí)例。左邊的圖像是2D圖像11，通常帶 有顏色，右邊的圖像是深度圖12。 2D圖像信息可以以任何合適的圖像格 式來(lái)表示。深度圖信息可以是對(duì)于每個(gè)像素具有深度值的附加數(shù)據(jù)流， 分辨率相比2D圖像可能有所降低。在深度圖中，灰度值指示2I)圖像中相 關(guān)像素的深度。白色指示靠近觀察者，而黑色指示遠(yuǎn)離觀察者的大的深 度。3D顯示器通過(guò)使用來(lái)自深度圖的深度值和通過(guò)計(jì)算要求的像素變化 來(lái)計(jì)算立體所要求的附加視圖。可以使用評(píng)估技術(shù)或孔填充技術(shù)解決遮擋。
當(dāng)視頻從播放器設(shè)備(例如藍(lán)光光盤(pán)播放器)發(fā)送到立體設(shè)備時(shí)， 添加立體到視頻還影響了視頻的格式。在2D的情況下，僅僅2D視頻流被發(fā)送(解碼的圖片數(shù)據(jù))。利用立體視頻，這個(gè)發(fā)送的流被增加了，因 為現(xiàn)在第二流必須包含第二視圖(用于立體)或深度圖而被發(fā)送。這會(huì) 加倍所要求的電氣接口上的比特率。 一 種不同的途徑是犧牲分辨率并格 式化流，使得第二視圖或深度圖交錯(cuò)或與2D視頻并排放置。圖l示出這
是如何完成的以便傳送2D數(shù)據(jù)和深度圖的實(shí)例。當(dāng)將圖形覆于視頻之上
時(shí)，可以使用其他的分離數(shù)據(jù)流。
3D發(fā)布格式應(yīng)該不僅提供視頻，還提供用于字幕、菜單和游戲的圖 形。將3D視頻和圖形結(jié)合起來(lái)要求特別的注意，因?yàn)閮H僅將2D菜單放置 在3D視頻背景的頂部上可能是不夠的。視頻中的對(duì)象可以與2D圖形項(xiàng)目 交疊，從而產(chǎn)生非常奇怪的效果并減弱了3D感受。
圖2示出視頻格式的四個(gè)平面的實(shí)例。這四個(gè)平面旨在用在例如基 于藍(lán)光光盤(pán)格式的使用透明物體的2D顯示器上?？商鎿Q地，所述平面可 以以3D顯示器的深度范圍來(lái)顯示。第一平面21定位在最接近觀察者的位 置，并被分配顯示互動(dòng)圖形。第二平面22被分配顯示展示圖形比如字幕， 第三平面23被分配顯示視頻，而第四平面24是背景平面。四個(gè)平面在藍(lán) 光光盤(pán)播放器中可用；DVD播放器具有三個(gè)平面。內(nèi)容作者可以在背景 圖像的頂部上覆上用于菜單、字幕和視頻的圖形。
圖3示出使用四個(gè)平面創(chuàng)建的合成圖像的實(shí)例。四個(gè)平面的概念參 考圖2在上面進(jìn)行了說(shuō)明。圖3示出第一平面21上的一些互動(dòng)圖形32、顯 示在第二平面22上的一些文本33、以及第三平面23上的一些視頻31。當(dāng) 所有的這些平面具有添加的第三維時(shí)會(huì)出現(xiàn)問(wèn)題。第三維"深度"必須 在這四個(gè)平面之中被共享。同樣，在一個(gè)平面中的對(duì)象會(huì)突出另一個(gè)平 面中的對(duì)象。 一些項(xiàng)目，例如文本，可以保留在2D中。假設(shè)對(duì)于字幕， 展示圖形平面將保持2維。這本身導(dǎo)致另一個(gè)問(wèn)題，因?yàn)楫?dāng)3D圖像的部 分與2D圖像交疊時(shí)，即，當(dāng)3D對(duì)象的部分比2D對(duì)象更接近觀察者時(shí)，把 2D對(duì)象結(jié)合在3D景象中可以導(dǎo)致奇怪的效果。為了克服這個(gè)問(wèn)題，將2D 文本以相距顯示器前部一個(gè)設(shè)定距離、并且以設(shè)定的深度放置在3D視頻 的前面。
然而，圖形將是2D和/或3D。這意味著圖形平面中的對(duì)象可以與背 景中的3D視頻交疊并看上去位于背景中的3D視頻的后面或前面。運(yùn)動(dòng)視 頻中的對(duì)象還可以突然出現(xiàn)，遮擋于例如菜單項(xiàng)目的圖形的前面。
用于呈現(xiàn)基于各種圖像元素的組合的3 D圖像信息的系統(tǒng)被設(shè)置如下。首先，系統(tǒng)接收?qǐng)D像信息和將要與圖像信息相結(jié)合呈現(xiàn)的次級(jí)圖像 信息。例如，各種圖像元素可以通過(guò)互聯(lián)網(wǎng)從單個(gè)源(比如光學(xué)記錄載 體)或多個(gè)源接收(例如來(lái)自硬盤(pán)的視頻流和本地生成的3D圖形對(duì)象，
或通過(guò)網(wǎng)絡(luò)的分離的3D增強(qiáng)流)。所述系統(tǒng)處理所述圖像信息和次級(jí)圖 像信息，以便生成將在具有顯示深度范圍的3D顯示器上以三維空間呈現(xiàn) 的輸出信息。
用于呈現(xiàn)各種圖像元素的組合的處理包括如下步驟。首先，例如通
過(guò)檢測(cè)圖像信息的3D格式并提取對(duì)應(yīng)的圖像深度范圍參數(shù)來(lái)檢測(cè)圖像
信息的圖像深度范圍。還檢測(cè)次級(jí)視覺(jué)信息的次級(jí)深度范圍，例如圖形
深度范圍參數(shù)。之后，根據(jù)若千個(gè)一起呈現(xiàn)的圖像信息集來(lái)將顯示深度
范圍細(xì)分成幾個(gè)子范圍。例如，為了顯示兩個(gè)3D圖像信息集，選擇第一
子范圍和第二子范圍。為了避免與3D對(duì)象交疊的問(wèn)題，第一子范圍和第
二子范圍被設(shè)置成是不交疊的。隨后，圖像深度范圍在第一子范圍中呈
現(xiàn)，而次級(jí)深度范圍在第二子范圍中呈現(xiàn)。為了將3D圖像信息調(diào)節(jié)于各
個(gè)子范圍中，調(diào)整各個(gè)圖像數(shù)據(jù)流中的深度信息以適合于各個(gè)選擇的子
范圍。例如構(gòu)成主要圖像信息的視頻信息向后移動(dòng)，同時(shí)構(gòu)成次級(jí)信息
的圖形信息向前移動(dòng)，直到防止了任何的交疊。應(yīng)當(dāng)注意，處理步驟可 以將各種圖像信息集組合成單個(gè)的輸出流，或者輸出數(shù)據(jù)可以具有不同
的圖像數(shù)據(jù)流。然而已經(jīng)調(diào)整了深度信息，使得在深度方向上不發(fā)生交疊。
在該處理的 一 個(gè)實(shí)施例中，所述調(diào)節(jié)包括壓縮主圖像深度范圍以適 合于第一子范圍中，和/或壓縮次級(jí)深度范圍以適合于第二子范圍中。 應(yīng)當(dāng)注意，主和/或次級(jí)圖像信息的原始深度范圍可能比可用的子范圍 更大。如果是這樣， 一些深度值可能會(huì)被截至各個(gè)范圍的最大值和最小 值。優(yōu)選地，例如通過(guò)線性地壓縮深度范圍以適合來(lái)將原始圖像深度范 圍轉(zhuǎn)換為子范圍。可替換地，可以應(yīng)用選擇的壓縮，例如保持前端基本 未壓縮并逐漸地進(jìn)一步向下壓縮深度。
圖像信息和次級(jí)圖像信息可以包括不同的視頻流、靜態(tài)圖像數(shù)據(jù)、 預(yù)定義的圖形、動(dòng)畫(huà)圖形等等。在一個(gè)實(shí)施例中，圖像信息是視頻信息， 而次級(jí)圖像信息是圖形，并且所述壓縮包括向后移動(dòng)視頻深度范圍以為 用于呈現(xiàn)圖形的第二子范圍讓出空間。
在一個(gè)實(shí)施例中，輸出信息依據(jù)3D格式，該3D格式包括圖像數(shù)據(jù)和深度圖，如上參照?qǐng)Dl所說(shuō)明的。深度圖具有深度值，以用于沿著3D顯示器的深度尺寸定位圖像數(shù)據(jù)。為了將圖像信息調(diào)整到選擇的子范圍內(nèi)，所述處理包括在深度圖中把深度值的第 一子范圍和深度值的第二子范圍確定為第一子范圍和第二子范圍。隨后，壓縮圖像數(shù)據(jù)以?xún)H僅覆蓋
深度值的各個(gè)子范圍。另外，2D圖像信息可以作為覆蓋的分離流而被包括，或者可以已經(jīng)結(jié)合到單個(gè)的2D圖像流。另外， 一些遮擋信息可以被添加到輸出信息中以便實(shí)現(xiàn)計(jì)算顯示設(shè)備中的各種視圖。
圖4示出呈現(xiàn)具有壓縮的深度的圖形和視頻。該圖示意性地示出具有由箭頭44指示的顯示深度范圍的3D顯示器。向后的子范圍43被分配以呈現(xiàn)作為主要圖像信息的視頻，其具有的視頻深度范圍處于全部顯示深度范圍的向后部分中。前子范圍41被分配以呈現(xiàn)作為次級(jí)圖像信息的圖形，其具有的次級(jí)深度處于全部顯示深度范圍的向前部分中。圖像顯示前表面42指示了其中生成各種(自動(dòng))立體圖像的實(shí)際平面。
在一個(gè)實(shí)施例中，所述處理包括在顯示深度范圍中確定不與第一子范圍和第二子范圍交疊的第三子范圍，以用于顯示附加的圖像信息。如在圖4中能夠看到的，第三級(jí)可以位于圖像顯示前表面42附近。特別地，附加信息可以是用于呈現(xiàn)在第三子范圍中平面上的二維信息，例如文本。明顯地，向前的圖像應(yīng)該至少是部分透明的，以允許觀看子范圍43中的視頻。
應(yīng)當(dāng)注意，對(duì)于創(chuàng)作的圖像信息而言，各種深度范圍的調(diào)整可以在創(chuàng)作期間完成。例如對(duì)于組合圖形和^L頻，這可以通過(guò)仔細(xì)地對(duì)齊圖形和視頻的深度輪廓來(lái)解決。這些圖形呈現(xiàn)在展示圖形平面和深度范圍上，該深度范圍不與視頻范圍交疊。然而，對(duì)于諸如菜單之類(lèi)的互動(dòng)圖形，這更加困難，因?yàn)閳D形在何時(shí)何處出現(xiàn)于視頻中事先是未知的。
在一個(gè)實(shí)施例中，所述接收次級(jí)圖像信息包括接收觸發(fā)，以便生成在呈現(xiàn)時(shí)具有深度性質(zhì)的圖形對(duì)象。觸發(fā)可以通過(guò)程序或應(yīng)用，例如游戲或互動(dòng)節(jié)目秀來(lái)生成。另外，用戶(hù)可以激活遠(yuǎn)程控制單元上的按鈕，并且在視頻繼續(xù)期間呈現(xiàn)菜單或圖形動(dòng)畫(huà)。用于所述調(diào)節(jié)的處理包括調(diào)整生成圖形對(duì)象的過(guò)程。調(diào)整該過(guò)程，使得圖形對(duì)象的深度性質(zhì)適合于所選擇的顯示子范圍中。
將圖像數(shù)據(jù)調(diào)節(jié)于單獨(dú)的子范圍中可能要進(jìn)行一段時(shí)間，以觸發(fā)事件開(kāi)始或結(jié)束，例如在用戶(hù)按壓一個(gè)按鈕后持續(xù)預(yù)定的時(shí)間段。同時(shí)，視頻的深度范圍可以如上所述進(jìn)行調(diào)整或壓縮以產(chǎn)生自由的深度范圍。因此，所述處理可以檢測(cè)其中沒(méi)有呈現(xiàn)次級(jí)信息的時(shí)間段，并在檢測(cè)到的時(shí)間段中，將圖像深度范圍處于顯示深度范圍中。當(dāng)其他的對(duì)象需要呈現(xiàn)并要求自由的深度子范圍時(shí)，圖像的深度范圍動(dòng)態(tài)地變化。
在 一 個(gè)實(shí)際的實(shí)施例中，所述系統(tǒng)自動(dòng)地壓縮:視頻平面的深度并向后移動(dòng)視頻平面，以便為圖形平面中更多的深度感受讓出空間。定位圖形平面，使得對(duì)象看上去像是從屏幕中跳出。這更加關(guān)注圖形并不再?gòu)?qiáng)調(diào)背景中的視頻。這使得用戶(hù)更容易導(dǎo)航通常旨在用于菜單(或更一般的用戶(hù)界面)的圖形。這還為內(nèi)容作者保留了盡可能多的創(chuàng)作自由性，因?yàn)橐曨l和圖形這兩者仍然在3D中，并且它們一起利用了顯示的最大深度范圍。
缺點(diǎn)在于，如果用戶(hù)體驗(yàn)了較長(zhǎng)的一段時(shí)間，那么將視頻放置在屏幕更后處可能導(dǎo)致觀看者不適。然而，這樣的系統(tǒng)中的互動(dòng)任務(wù)通常很短，所以這不應(yīng)該成為一個(gè)大問(wèn)題。所述不適是由于與會(huì)聚和調(diào)節(jié)之間的差異有關(guān)的問(wèn)題導(dǎo)致的。會(huì)聚是指定位兩只眼晴以便觀看 一 個(gè)對(duì)象，調(diào)節(jié)是指調(diào)整眼睛晶狀體以聚焦在對(duì)象上，使得圖像清晰呈現(xiàn)在視網(wǎng)膜上。
在一個(gè)實(shí)施例中，所述處理包括過(guò)濾圖像信息，或者過(guò)濾次級(jí)圖像信息，以用于增大圖像信息和次級(jí)信息之間的視覺(jué)差。通過(guò)在視頻內(nèi)容上放置濾波器，可以減少上述的眼睛不適。例如可以減小^L頻的對(duì)比度或亮度。特別地，可以通過(guò)過(guò)濾視頻的更高的空間頻率來(lái)降低細(xì)節(jié)的級(jí)別，從而導(dǎo)致視頻圖像的模糊。然后眼睛自然地聚焦到菜單的圖形上而不是視頻上。當(dāng)菜單定位在顯示器前端的附近時(shí)，這減少了眼睛的過(guò)度疲勞。附加的好處在于，這改進(jìn)了用戶(hù)導(dǎo)航菜單時(shí)的性能?？商鎿Q地，例如通過(guò)模糊或增大透明度可以使得次級(jí)信息(例如前面的圖形)可視度減弱。
圖5示出用于呈現(xiàn)3D視覺(jué)信息的系統(tǒng)。呈現(xiàn)設(shè)備5 O耦合到立體顯示器53 (也被稱(chēng)為3D顯示器)，其具有由箭頭44指示的顯示深度范圍。所述設(shè)備具有輸入單元51,輸入單元51用于接收?qǐng)D像信息，并接收將要與圖像信息相結(jié)合呈現(xiàn)的次級(jí)圖像信息。例如所述輸入單元設(shè)備可以包括光盤(pán)單元58,其用于從光學(xué)記錄載體54提取各種類(lèi)型的圖像信息，載體54例如DVD或被增強(qiáng)以包含3D圖像數(shù)據(jù)的藍(lán)光光盤(pán)。另外，輸入單元可以包括用于耦合到網(wǎng)絡(luò)55 (例如互聯(lián)網(wǎng))的網(wǎng)絡(luò)接口單元59。 3D圖像信息可以從遠(yuǎn)程媒體服務(wù)器57提取。所述設(shè)備具有耦合到輸入單元51的處理單元52,以用于處理圖像信息和次級(jí)圖像信息，以便生成將在三維空間中呈現(xiàn)的輸出信息56。處理單元52被設(shè)置用于生成輸出信息56，以用于顯示在3D顯示器5 3上。所述處理還包括檢測(cè)圖像信息的圖像深度范圍，并檢測(cè)次級(jí)視覺(jué)信息的次級(jí)深度范圍。在顯示深度范圍中，確定了第一子范圍和第二子范圍，所述第一子范圍和第二子范圍是非交疊的。隨后，圖像深度范圍被調(diào)節(jié)于第一子范圍中，而次級(jí)深度范圍被調(diào)節(jié)于第二子范圍中，如上面所解釋的。
應(yīng)當(dāng)注意，本發(fā)明可以使用可編程的部件以硬件和/或軟件來(lái)實(shí)施。用于實(shí)現(xiàn)本發(fā)明的方法具有如參考圖3和4針對(duì)系統(tǒng)所解釋的處理步驟。
機(jī)或?qū)Ｓ靡曨l系統(tǒng)上實(shí)現(xiàn)。盡管已經(jīng)主要通過(guò)使用光學(xué)記錄載體或互聯(lián)網(wǎng)的實(shí)施例說(shuō)明了本發(fā)明，但是本發(fā)明還適用于任何圖像處理環(huán)境，比如創(chuàng)作軟件或廣播裝置。其他的應(yīng)用包括3D個(gè)人計(jì)算機(jī)(PC)用戶(hù)接口或3W某體中心PC、 3D移動(dòng)，牆放器和3D移動(dòng)電話。
應(yīng)當(dāng)注意，在本文中，文字"包括"不排除除了所列的元件或步驟之外的其他元件或步驟的存在，并且元件前的文字"一個(gè)"不排除多個(gè)這樣的元件的存在，任何附圖標(biāo)記不限制權(quán)利要求的范圍，本發(fā)明可以借助于硬件和軟件這兩者來(lái)實(shí)現(xiàn)，并且若干"裝置"或"單元"可以由相同項(xiàng)的硬件或軟件代表，并且處理器可以實(shí)現(xiàn)一個(gè)或多個(gè)單元的功能，可能與硬件元件協(xié)作。另外，本發(fā)明不限于實(shí)施例，并且本發(fā)明在于上述的每一個(gè)新穎性特征或特征的組合。
權(quán)利要求
1. 呈現(xiàn)視覺(jué)信息的方法，該方法包括接收?qǐng)D像信息，接收將要與所述圖像信息相結(jié)合呈現(xiàn)的次級(jí)圖像信息，以及處理所述圖像信息和次級(jí)圖像信息以便生成將在三維空間中呈現(xiàn)的輸出信息，所述輸出信息被設(shè)置用于顯示在具有顯示深度范圍(44)的3D顯示器(53)上，并且所述處理包括-檢測(cè)圖像信息的圖像深度范圍，-檢測(cè)次級(jí)視覺(jué)信息的次級(jí)深度范圍，-在顯示深度范圍中確定第一子范圍(43)和第二子范圍(41)，該第一子范圍和第二子范圍無(wú)交疊，以及-調(diào)節(jié)所述圖像深度范圍于第一子范圍中，調(diào)節(jié)所述次級(jí)深度范圍于第二子范圍中。
2. 如權(quán)利要求l所述的方法，其中所述調(diào)節(jié)包括壓縮所述圖像深度范圍以適合于第 一子范圍中，和/或壓縮所述次級(jí)深度范圍以適合于第二 子范圍中。
3. 如權(quán)利要求l所述的方法，其中所述輸出信息包括圖像數(shù)據(jù)和深 度圖，以用于根據(jù)深度值沿著3D顯示器的深度尺寸定位圖像數(shù)據(jù)，并且所 述方法包括在深度圖中把深度值的第 一子范圍和深度值的第二子范圍確 定為第一子范圍和第二子范圍。
4. 如權(quán)利要求l所述的方法，其中所述接收次級(jí)圖像信息包括接收 觸發(fā)，以便生成當(dāng)呈現(xiàn)時(shí)具有深度性質(zhì)的圖形對(duì)象，并且所述調(diào)節(jié)包括調(diào) 整生成圖形對(duì)象以適合第二子范圍中的深度性質(zhì)。
5. 如權(quán)利要求l所述的方法，其中該方法包括檢測(cè)其中沒(méi)有呈現(xiàn)次 級(jí)信息的時(shí)間段，并在檢測(cè)到的時(shí)間段中，將圖像深度范圍調(diào)節(jié)于顯示深 度范圍中。
6. 如權(quán)利要求l所述的方法，其中該方法包括過(guò)濾所述圖像信息， 或者過(guò)濾所述次級(jí)圖像信息，以便增大所述圖像信息和所述次級(jí)圖像信息 之間的^L覺(jué)差。
7. 如權(quán)利要求1所述的方法，其中該方法包括在顯示深度范圍中確定 不與第一子范圍和第二子范圍交疊的第三子范圍，以用于顯示附加的圖像信息，在特殊情況下，附加信息是將要呈現(xiàn)在第三子范圍中的平面上的 二維信息。
8. 如權(quán)利要求2所述的方法，其中所述圖像信息是視頻信息，而次 級(jí)圖像信息是圖形，并且所述壓縮包括向后移動(dòng)視頻深度范圍以為用于 呈現(xiàn)圖形的第二子范圍讓出空間。
9. 用于呈現(xiàn)視覺(jué)信息的設(shè)備，該設(shè)備包括輸入裝置(51 )和處理裝置(52),所述輸入裝置(51 )用于 -接收?qǐng)D像信息，以及-接收將要與所述圖像信息相結(jié)合呈現(xiàn)的次級(jí)圖像信息， 處理裝置(52)用于處理圖像信息和次級(jí)圖像信息以便生成將在三 維空間中呈現(xiàn)的輸出信息(56)， 所述處理裝置被設(shè)置用于-生成用于顯示在具有顯示深度范圍(44)的3D顯示器(53)上的 輸出信息，-檢測(cè)圖像信息的圖像深度范圍，-檢測(cè)次級(jí)視覺(jué)信息的次級(jí)深度范圍，-在顯示深度范圍中，確定第一子范圍(")和第二子范圍(")， 所述第一子范圍和第二子范圍是非交疊的，以及-調(diào)節(jié)圖像深度范圍于第一子范圍中，并且調(diào)節(jié)次級(jí)深度范圍于第 二子范圍中。
10. 如權(quán)利要求9所述的設(shè)備，其中所述輸入裝置(51)包括光盤(pán) 單元(58)，其用于從光盤(pán)提取圖像信息。
11. 如權(quán)利要求9所述的設(shè)備，其中所述設(shè)備包括用于結(jié)合次級(jí)圖 像信息沿著所述顯示深度范圍顯示圖像信息的3D顯示器(53)。
12. 用于呈現(xiàn)視覺(jué)信息的計(jì)算機(jī)程序產(chǎn)品，該程序可操作用于使處 理器執(zhí)行如權(quán)利要求1至8中的任何一項(xiàng)所述的方法。
全文摘要
一種呈現(xiàn)視覺(jué)信息組合圖像信息(比如視頻)和次級(jí)圖像信息(比如圖形)的設(shè)備和方法。所述圖像信息和次級(jí)圖像信息被處理以生成將在三維空間中呈現(xiàn)的輸出信息。輸出信息被設(shè)置用于顯示在具有真實(shí)顯示深度范圍(44)的3D立體顯示器上。所述處理包括檢測(cè)所述圖像信息的圖像深度范圍，以及檢測(cè)所述次級(jí)視覺(jué)信息的次級(jí)深度范圍。在顯示深度范圍(44)中，確定第一子范圍(41)和第二子范圍(43)，該第一子范圍和第二子范圍是非交疊的。調(diào)節(jié)所述圖像深度范圍于第一子范圍中，而調(diào)節(jié)所述次級(jí)深度范圍于第二子范圍中。有利地，在真實(shí)3D中顯示圖形和視頻，而視頻對(duì)象不遮擋圖像對(duì)象。
文檔編號(hào)H04N13/00GK101523924SQ200780036456
公開(kāi)日2009年9月2日 申請(qǐng)日期2007年9月21日 優(yōu)先權(quán)日2006年9月28日
發(fā)明者D·何, H·李, P·S·牛頓 申請(qǐng)人:皇家飛利浦電子股份有限公司