專利名稱：立體圖像顯示方法和設備、從2d圖像數(shù)據(jù)輸入產(chǎn)生3d圖像數(shù)據(jù)的方法以及從2d圖像數(shù)據(jù) ...的制作方法
技術領域：
本發(fā)明涉及一種立體圖像顯示方法，其中，將2D圖像數(shù)據(jù)轉換為 3D圖像數(shù)據(jù)，其中，從2D圖像數(shù)據(jù)提取聚焦信息，該聚焦信息用于產(chǎn) 生3D圖像數(shù)據(jù)。
本發(fā)明還涉及一種立體圖像顯示裝置，包括用于2D圖像數(shù)據(jù)的輸 入，和將輸入的2D圖像數(shù)據(jù)轉換為3D圖像數(shù)據(jù)的轉換器，該轉換器 包括聚焦信息提取器，用于從2D圖像數(shù)據(jù)提取聚焦信息。
本發(fā)明還涉及圖像顯示數(shù)據(jù)轉換方法，其中，將2D圖像數(shù)據(jù)轉換 為3D圖像數(shù)據(jù)，并且其中，從2D圖像數(shù)據(jù)提取聚焦信息，并用于產(chǎn) 生3D圖像數(shù)據(jù)。
本發(fā)明還涉及3D圖像信號。
本發(fā)明還涉及通過計算機配置加載的計算機程序產(chǎn)品，其包括基 于2D圖像數(shù)據(jù)輸入產(chǎn)生3D圖像數(shù)據(jù)的指令，該計算機配置包括處理部件。
背景技術：
在EP1021049中披露了在開頭段落中描述的立體圖像顯示方法和 裝置。在EP1021049中，從2維視頻輸入產(chǎn)生3維視頻圖像。已知裝 置和方法采用前景/背景識別電路，該電路基于從2維視頻輸入提取的 聚焦信息來進行識別。基于邊緣檢測輸出視差控制信號，其中，銳利 邊緣位于3D圖像的前景中。
盡管已知方法和裝置提供了相對簡單的裝置和方法，但是已經(jīng)發(fā) 現(xiàn)所呈現(xiàn)的3D圖像偶爾是混亂的圖像，其中，視覺深度即3D效果很 難識別。

發(fā)明內(nèi)容
本發(fā)明的目的是基于2D圖像輸入改進3D圖像呈現(xiàn)。為了實現(xiàn)該目的，根據(jù)本發(fā)明的方法的特征在于基于聚焦特性， 將圖像分為兩個或多個區(qū)域，確定將兩個區(qū)域分開的邊緣屬于圖像的 哪個區(qū)域，按照包括邊緣的區(qū)域比相鄰區(qū)域更靠近觀看者的規(guī)則來在 區(qū)域之間建立深度次序，并根據(jù)所建立的區(qū)域深度次序來將3-D深度 信息分配到區(qū)域中。
在EP1021049的現(xiàn)有方法中，也進行邊緣檢測。銳利邊緣位于前 景。然而，由于在背景處于聚焦而前景處于散焦的情況下實際上位于 前景的部分圖像被給予背景視差，反之亦然，所以該方案有時提供混 亂的結果。這提供了混亂的圖像，其中視差信息為觀看者提供3D圖像 的某些部分位于前景而其它部分位于背景的提示，但是圖像的實際內(nèi) 容為觀看者提供了完全相反的提示，即根據(jù)視差提示是前景的圖像根 據(jù)實際內(nèi)容則是背景。
這樣，3D令人感覺十分混亂，常常令人困惑，尤其是由于由已知 方法給出的深度提示通常是有限的。假設人腦能夠根據(jù)甚至有缺陷的 深度提示來重構立體感覺。然而，在現(xiàn)有方法和裝置中的深度提示有 時彼此不一致，甚至從場景到場景還會發(fā)生變化，即，在一個場景中 深度提示是正確的，之后突然偏移到不一致的深度提示，其中前景圖 隱藏在背景樹之后。這樣，深度感覺令人困惑，或者至少觀看者感覺 到深度提示之間的十分令人惱火的沖突。
根據(jù)本發(fā)明的方法解決了或至少減少了該問題?；诰劢剐畔⒗?如模糊半徑，將圖像分為數(shù)個區(qū)域。將圖像的像素或塊群集為具有相 似的聚焦特性的多個區(qū)域?；诰劢剐畔ⅲ缑總€塊的平均模糊， 將圖像分為兩個或多個區(qū)域，其中每個區(qū)域具有平均的聚焦特性。確 定將兩個區(qū)域分隔開的邊緣屬于哪個區(qū)域。這可以通過例如對所檢測 到的邊緣的銳度(模糊)與和邊緣的每一側相鄰接的區(qū)域的平均模糊 進行比較來完成。模糊的邊緣屬于具有高模糊的相鄰接區(qū)域，而銳利 邊緣屬于具有低模糊的區(qū)域。對各區(qū)域執(zhí)行深度排序，其中按照包括 邊緣的區(qū)域比相鄰區(qū)域更靠近觀看者的規(guī)則。根據(jù)深度排序將3D信息 分配到區(qū)域。從而圖像的各種區(qū)域形成深度層。通過將像素或塊群集 為區(qū)域來執(zhí)行將圖像分為區(qū)域。盡管可以逐像素地進行該群集，但是 發(fā)現(xiàn)當在將圖像分割為區(qū)域之前為每個像素塊確定聚焦特性并將塊群 集為區(qū)域時，能得到更穩(wěn)健的結果。塊是具有nxm像素，通常是具有mxm像素的小部分圖像，其中n和m—般是2、 4、 8、或16。
與已知方法相比，該方法的優(yōu)點對于例如人部分地坐在花朵配置 后面的圖像是清楚的。該人處于聚焦狀態(tài)；花朵配置不處于聚焦狀態(tài)。 采用已知的方法，給予處于聚焦狀態(tài)且從而具有銳利圖像邊緣的人一 個視差，從而其看起來在前景中，并且給予描繪具有模糊邊緣的花朵 配置的圖像部分一個相應于背景的視差。由于人部分地位于花朵配置 后面而不是相反地位于花朵配置前面，這與真實情況不一致。從而已 知方法和裝置使觀看者面對兩個沖突的(實際上矛盾的)深度提示。 使人處于花朵配置前面的前景上的視差深度提示與圖像信息深度提示 矛盾，后者表明人坐在花朵配置的后面。
根據(jù)本發(fā)明的方法不提供沖突的深度提示。將圖像分為區(qū)域并至 少包括兩個區(qū)域，例如包括人的聚焦區(qū)域和包括花朵配置的散焦區(qū)域。 通過花朵配置的模糊邊緣形成將包括花朵配置的區(qū)域與包括人的區(qū)域 分開的邊緣。從而根據(jù)包括將兩個區(qū)域分開的邊緣的區(qū)域比其它區(qū)域 更靠近觀看者的規(guī)則，使包括花朵配置的圖像區(qū)域位于前景。由模糊 邊緣限定的散焦前景區(qū)域位于聚焦背景區(qū)域的前面。因此，如果存在 兩個區(qū)域，即散焦前景花朵配置在聚焦的人的前面，則將準確的視差 分配給兩個區(qū)域。如果存在三個區(qū)域，即散焦前景花朵配置、聚焦的 人和散焦的背景，則為三個區(qū)域提供準確的3D信息。應該強調(diào)，在該 示例中，根據(jù)本發(fā)明的方法的結果提供了與EP0121049教導的核心相 反的結果，后者指出通過將銳利邊緣置于前景上來進行深度排序。
作為優(yōu)選，根據(jù)區(qū)域的聚焦特性分配3D深度信息。平均聚焦特性 對區(qū)域之間的深度差提供提示。這能夠用來改善3D效果。
在優(yōu)選實施例中，區(qū)域的數(shù)量是三或二。結果表明，將圖像的像 素或塊群集為兩個或三個區(qū)域會得到較好的結果，而只需要有限的計 算量。幾乎所有圖像具有聚焦部分和散焦部分，而散焦部分有時是前 景，有時是背景，因此兩個區(qū)域通常是足夠的。偶爾散焦部分包括前 景和背景部分，例如，前景樹和背景森林以及中間聚焦區(qū)域，這種情 況下三個區(qū)域通常是足夠的。
在優(yōu)選實施例中，統(tǒng)計分布由圖像的像素或塊的聚焦特性構成， 根據(jù)統(tǒng)計分布確定區(qū)域的數(shù)量。
發(fā)現(xiàn)諸如模糊半徑的聚焦特性通常圍繞有限數(shù)量的峰值群集，一個對應于小的模糊半徑，即聚焦或基本上聚焦，而另一個或其它位于 較大的模糊半徑，對應于圖像的散焦部分。采用這些統(tǒng)計數(shù)據(jù)能夠快 速確定區(qū)域能被分割的區(qū)域數(shù)量。
根據(jù)本發(fā)明的圖像顯示設備包括用于執(zhí)行根據(jù)本發(fā)明的方法步驟 的部件。
本發(fā)明還可以在包括用于執(zhí)行根據(jù)本發(fā)明的方法步驟的部件的發(fā)
射機中實施。
本發(fā)明的這些和其它目標通過以下描述的實施例將變得明了 。


圖l說明了薄透鏡模型；
圖2A-2C說明了用于確定模糊半徑的可能的方法；
圖3說明了在模糊半徑和聚焦平面之間的關系；
圖4說明了模糊半徑的統(tǒng)計分布；
圖5A和5B說明了確定區(qū)域的方法；
圖6說明了用于確定邊緣屬于哪個區(qū)域的方法；
圖7說明了根據(jù)本發(fā)明的方法；
圖8說明根據(jù)本發(fā)明的顯示器；和
圖9說明根據(jù)本發(fā)明的發(fā)射機。
附圖不是按比例繪制的。 一般情況下，在附圖中，采用相同的附 圖標記表示相同的元件。
具體實施例方式
在例如薄凸透鏡等簡單的光學系統(tǒng)中，在距離透鏡特定距離處的 物體被清楚地呈現(xiàn)在圖像平面上(物體被聚焦)，而在其它距離處的 物體被與它們距離聚焦平面的距離成比例地模糊映射(物體被散焦)。 在圖1中描述了點光源的后一種情況。
模糊性能根據(jù)薄透鏡公式
其中，f代表透鏡的聚焦長度，u是物體距離和v是圖像距離。根 據(jù)圖1中的幾何關系和透鏡公式，可以得出距離u的公式其中，u。表示各個點處于聚焦中的距離。參數(shù)s是圖像平面到透 鏡的距離和參數(shù)k是由透鏡系統(tǒng)的特性確定的常數(shù)。參數(shù)f、 s和k是 相機參數(shù)，其可以根據(jù)相機校準確定。因此，估計物體的距離u包括
確定相機參數(shù)和估計模糊半徑C7。因此，在圖像的模糊性即聚焦特性
和該距離之間存在一定的關系。
對于2D到3D的轉換，視差(深度的倒數(shù))是比深度本身更恰當 的量，例如對于呈現(xiàn)的視圖的視差在視差方面呈線性。采用上述表達，
可以發(fā)現(xiàn)聚焦點和散焦點之間的視差差值與模糊半徑CJ之間的關系。
<formula>formula see original document page 8</formula>換句話說，相對聚焦平面的視差差值與模糊半徑成比例。另外， 由于為了迎合用戶的喜好和/或顯示的可能性，通?？梢愿淖兯尸F(xiàn)視 圖的視差的量，所以不必精確地確定與相機相關的常數(shù)k/s，所需要的 是確定模糊半徑C7，即確定聚焦特性。在以下說明中，由于在距離和 模糊半徑之間存在簡單關系的簡單原因，采用模糊半徑用于聚焦特性。 然而，盡管由于在模糊半徑和距離之間的簡單關系，將模糊半徑確定 為聚焦特性是優(yōu)選的，但是在本發(fā)明的概念中也可以確定模糊量的其 他測量。
圖2A-C示意性地說明了用于確定模糊半徑a的可能方法。在圖 2A中，示意性地示出了具有模糊半徑cj的被模糊邊緣。水平軸表示位 置，垂直軸表示亮度。在圖2B中，示出了其為具有寬度s的高斯濾波 器的二階導數(shù)的濾波函數(shù)。圖2A和2B的巻積提供了具有兩個峰值的 函數(shù)。合理充分地測量峰值之間的距離dh,并且模糊半徑a與濾波寬 度s和峰值距離dh之間的關系如下
a2,2)2-s2 (5)
該示例性算法是穩(wěn)健的，并且對于各種類型的內(nèi)容所得到的結果是良好的。采用每個濾波寬度值的每個像素的各種濾波寬度s，找到模 糊半徑(t。采用每個像素的c7的平均值或中間值，然后確定塊上的c7 的平均值或中間值，在該塊中，對在圖2C的部分具有較大高度的更明 顯邊緣給予較大的權重，這樣會得到穩(wěn)健的結果。發(fā)現(xiàn)在聚焦和散焦 區(qū)域之間確定的(7值中的合理的良好區(qū)分。
在圖3中示意性地示出了在u和模糊半徑cj之間的關系，并由方
程(4)可以得出在u和模糊半徑cj之間的關系。
如果根據(jù)校準參數(shù)k和s是已知的， 一旦已知模糊半徑ct，則可 以進行到聚焦平面的絕對距離的真實估計。由于這并沒有表示被模糊 物體是在聚焦平面的前面還是在聚焦平面的后面，對于根據(jù)模糊半徑 cj的真實深度估計，還需要已知至少兩個對于不同焦距的圖像。然而， 對于任意外部給定的圖像數(shù)據(jù)例如視頻，這些需求通常沒有一個是已 知的或者可得到的。然而，在圖像的散焦區(qū)域和圖像的聚焦區(qū)域之間 以及如果存在更多的區(qū)域則在各種區(qū)域之間還能進行良好的區(qū)分。
由于視差差值和模糊半徑之間的公式給出了視差差值的絕對值和 模糊半徑之間的關系，該方程具有兩個獨立的解。因此，模糊半徑(t 的兩個不同的值的確定不能進行深度排序，因為c7的相同值可以根據(jù) 靠近或遠離物體而得到。在圖4中，示意性地示出了用于模糊半徑ct
的兩個不同的值(al和(j2)。原則上存在可能的圖像平面的四種不
同的可能組合。
圖4示出了對于圖像中的塊的模糊半徑的典型分布，其中，水平 軸表示具有某一模糊半徑的塊的百分比。顯然，可以區(qū)分具有a,和cj2 值的峰值為中心的兩種模式，在該示例中對應于圖像的聚焦和散焦部 分。然而，由于兩種原因，只有這種分布還不能提供準確的深度排序。 首先，如圖3所示，由于不止一個解決方案是可能的，所以對于相應 于圖3的峰值的圖像平面的實際相對位置存在不明確性。笫二， cj分 布中的峰值是十分廣泛的。這表示實際的模糊值具有大的數(shù)值不確定 性并且不適合于推導出深度排序信息，因為每個模式(例如，散焦區(qū)) 中的模糊半徑差(在圖3中的峰值中的展開)可能超過模式之間的模 糊半徑差。因此，只采用模糊半徑的實際數(shù)值來確定深度排序，并且 每個塊的深度排序引起大量的噪聲。
然而，為了得到可靠的深度排序，根據(jù)本發(fā)明的方法和裝置執(zhí)行兩個步驟。
在第一步驟中，基于圖像的像素或塊的聚焦特性來群集圖像的像 素或塊，從而形成圖像中的區(qū)域。在本發(fā)明的最廣泛的范圍中，像素 也可以被群集。然而，對于像素的(7值的展開甚至比對于塊的跟大。 當在群集聚焦特性之前，在本示例中給定用于模糊半徑C7的平均值或 中間值，并對塊將其進行分配并基于(7的塊值而將塊群集為區(qū)時，可 以得到更穩(wěn)健的結果。將模糊半徑的平均或中間值分配給每個區(qū)?？?以采用各種方式進行群集。
可以采用簡單的迭代群集算法，該算法從啟發(fā)式初始群集開始總 是將圖像分為兩個或更多的群。然后，基于各群的特征的相似性來確 定我們是否具有一個、兩個或更多的群。
圖5A和5B說明了這種方法，其中，假設存在兩個大的區(qū)域，一 個區(qū)域聚焦，大致處于中間，由散焦區(qū)域圍繞。初始群集由將在左、 上和右邊界上(即，圖像的1/4)的塊分配到"背景"群C2，和將其 它像素分配到"前景"群C1 (參見圖5)組成。這種選擇起始于用于 背景運動模式估計的塊的選擇。啟發(fā)式地，人們期望感興趣的物體(通 常是前景)位于圖像中央的某處，而圖像的邊界不包含感興趣的物體。 對于背景運動模式估計，假設在中央的感性趣物體是前景。然而，在 群集階段并不一定進行這種假設。然而，據(jù)觀察，大部分時間，中央 群處于聚焦。
由于初始群集相當粗糙并且是基于啟發(fā)式的，因此，對于每個群 實現(xiàn)模糊半徑的初始估計的穩(wěn)健方法如下。
選擇通常分布在群內(nèi)的多個特征點(在我們的情況下28)。群的 初始模糊半徑值cr 1、 C7 2是所有這些特征點的模糊半徑a的中間值。
然后，進行迭代過程以便精煉該群
步驟l:重新分配塊。對圖像進行搜索，并且將群邊界上的每個塊 B分配到相對其平均聚焦估計具有最小偏差的群
S — C2 其他
步驟2:更新(jl和cr2的值。已經(jīng)將塊重新分配到群Cl和C2， 從而對兩個(或多個，如果存在更多)群中的每個計算新的平均或中
間群模糊半徑C7i和CT2。步驟3:迭代。進行新的搜索，參見步驟l。 該過程在幾次(一般4次)迭代后收斂。
圖5B表示這種迭代的結果形成兩個區(qū)域，具有中間模糊半徑cj八 的前景區(qū)域d，和具有中間模糊半徑ci2的背景區(qū)域C2。
典型地，該方法提供兩個區(qū)域，散焦區(qū)域和聚焦區(qū)域。這些區(qū)域 不需要連接，例如，聚焦區(qū)域可以包括兩個分離的子區(qū)域，散焦區(qū)域 也同樣包括兩個分離的子區(qū)域。當統(tǒng)計結果表示三個區(qū)域(即C7分布 的三個峰值)的跡象時，可以以三個區(qū)域開始。通過確定CJ表中的峰 值來發(fā)現(xiàn)初始群集，并簡單地將每個塊分配到具有最佳匹配C7的峰值。
一旦將該圖像分為區(qū)域d 、 C2、 C3等，就可以將區(qū)域模糊半徑cii分 配到每個區(qū)域。根據(jù)本發(fā)明的方法和裝置的下一步驟是確定區(qū)域的相 互位置，即哪個區(qū)域在哪個區(qū)域的前面。根據(jù)深度排序進行確定。為 了進行確定，采用邊緣屬于最前面物體的原理。圖6示意性說明了根 據(jù)該原理區(qū)別哪個邊緣屬于哪個區(qū)域的方法。圖6說明了沿著水平軸 的位置參數(shù)，例如x或y座標或者垂直于兩個區(qū)域之間的過渡的座標。 垂直地示出了模糊半徑。在圖6中，示意性地說明了在具有模糊半徑 a的低值的聚焦區(qū)域和具有模糊半徑a的高值的散焦區(qū)域之間的過 渡。寬度W示意性地說明了邊緣的模糊性。散焦邊緣將具有比聚焦邊 緣較大的寬度W。這示意性地如圖6的上部所示，具有小的寬度W，從 而具有銳利的過渡，而圖6的下部示出了大的寬度W從而具有模糊的
過渡。因此，在上部，分離區(qū)域d和C2的邊緣屬于具有低模糊半徑CT、
的區(qū)域d。因此，區(qū)域d是前景，在圖中以d(F)表示。區(qū)域C2是以 C2(B)表示的背景。在下部，寬度W較大。分離區(qū)域d和C2的邊緣 屬于具有高模糊半徑CT2的區(qū)域C2。因此，"模糊"區(qū)域C2是前景，在 圖中以C2 (F)表示。區(qū)域C,是以d (B)表示的背景。通過沿垂直于 各個區(qū)域之間的過渡線的線采用不同的測量點，并采用平均值或對于 每個測量點確定邊緣看起來屬于哪個區(qū)域，然后在不同測量之間投票， 容易發(fā)現(xiàn)邊緣是屬于聚焦區(qū)域還是散焦區(qū)域，在屬于聚焦區(qū)域的情況 下，聚焦區(qū)域位于散焦區(qū)域的前面，在屬于散焦區(qū)域的情況下，聚焦 區(qū)域位于散焦區(qū)域的前面。為了區(qū)別起見，寬度W只取決于一個區(qū)域 的(j，而不取決于或至少幾乎不取決于另一區(qū)域的a。采用該特征來 確定分離兩個區(qū)域的邊緣屬于哪個區(qū)域。這是用于建立邊緣屬于哪個區(qū)域的方法的一個示例。 例如，不同的方法用來使圖像分段，即，在區(qū)域之間的過渡附近 的圖像中找到亮度或顏色邊緣，并在前述群集步驟之后將該亮度或顏 色邊緣與根據(jù)前述群集步驟得出的區(qū)域之間的邊緣進行比較。
采用亮度分段，可以采用不同的方法來發(fā)現(xiàn)哪個邊緣屬于哪個區(qū) 域。 一種方式是看亮度邊緣在區(qū)域之間的過渡附近的各種區(qū)域中的方 向。僅僅通過前景圖像確定相應于區(qū)域之間的過渡的亮度邊緣，并且 屬于前景圖像的邊緣通常沿著所述過渡，即它們與過渡平行。在背景 中的亮度邊緣并不趨向于與過渡相關。
還有另一種方法如下如上所述，基于聚焦對圖像進行分段，并 且在區(qū)域之間的過渡附近發(fā)現(xiàn)亮度邊緣。通過采用兩種不同的方式確 定區(qū)域之間的邊緣，通過亮度分段和通過基于模糊半徑的群集，可以 建立邊緣屬于哪個區(qū)域。理想地，兩個確定結果應完全一致，但是這 不是事實。已經(jīng)發(fā)現(xiàn)塊的群集平均起來傾向于使區(qū)域延伸到邊緣所屬 的區(qū)域，略微超過亮度邊緣，因為整個邊緣或至少邊緣的主要部分被 分配屬于前景對象的邊緣的模糊半徑。因此，在群集中存在微小的偏 差，其使得被群集的區(qū)域延伸以包括屬于所述群集的邊緣。由于在亮 度分段中，區(qū)域之間的過渡位于使區(qū)域分離的邊緣的中間，所以在僅 僅只關心亮度中的差異時，邊緣的確定不會出現(xiàn)該偏差。因此，由于 基于如上所述模糊半徑確定的群集方法傾向于使被群集的前景區(qū)域的 邊界過分延伸到邊緣所屬的區(qū)域中，在邊緣的確定位置中存在小的差 異，而這種過渡延伸的傾向對于僅僅基于亮度分段確定的邊緣并不存 在。不同的是亮度分段使邊緣正處于亮度過渡的中間，而群集分段 高估了前景區(qū)域的尺寸。該效果也被稱作形態(tài)擴張，即群集略微擴大， 即前景對象形成的尺寸增大。群集方法的這種偏差使前景對象邊緣進 入前景群集。通過對由亮度分段確定的邊緣與由模糊半徑分段確定的 同一邊緣進行比較，使這種表面上看來的負面效果變?yōu)楹玫氖褂?。這 能夠建立邊緣屬于哪個區(qū)域。可以采用可替換的算法進行聚焦特性的 模糊半徑確定或更多的特殊確定。也可以采用用于群集的可替換的算 法。根據(jù)所使用的算法，所確定的前景區(qū)域對于由亮度邊緣確定的邊 緣過分延伸或欠延伸。在兩種情況下，可以通過對由亮度分段確定的 區(qū)域與由聚焦特性的確定和群集所確定的區(qū)域進行比較來確定邊緣屬于哪個區(qū)域。
可以僅僅基于什么區(qū)域是前景和什么區(qū)域是背景來進行深度排 序，即，可以采用視差中的固定差異來區(qū)別前景和背景區(qū)域，或區(qū)分 最前面的、中間范圍和背景區(qū)域，這與實際值(7i無關。
作為優(yōu)選，區(qū)域的模糊半徑估計被轉換為深度或深度的倒數(shù)值。 對于深度排序和CT值，我們可以采用被模糊對象的視差作為聚焦對象 的視差(即具有最低C7的區(qū)域)，加上一常數(shù)乘以前景和背景之間的 模糊半徑中的差。
<formula>formula see original document page 13</formula>其中，Aa是cj的差，K是常數(shù)，n。是聚焦平面，如果a很小， 則A a等于散焦平面的cj。為具有最低模糊值的群分配深度n。；基于 所有其它群相對于具有最低半徑值的群的深度排序，為所有其它群分
配深度值。在我們只有兩個群-聚焦和散焦-的情況下，如果前景處 于聚焦中則K為正，如果前景處于散焦區(qū)域，則K為負。
對于單個圖像模糊半徑估計，不能恢復常數(shù)P。和K，因此，我們 將需要具有不同聚焦設置的多個圖像。然而，如果我們只采用用于呈 現(xiàn)的深度圖，大多數(shù)情況下，深度圖無論如何都要被轉換并縮放以便 使屏幕的性能與用戶的喜好匹配。對于自動立體顯示裝置，例如，我 們可以以將聚焦區(qū)域呈現(xiàn)在屏幕的平面中從而具有最大銳利圖像的方 式來采用yo。然后，根據(jù)深度排序，將散焦區(qū)域呈現(xiàn)在屏幕的后面或 前面。
圖7示出了根據(jù)本發(fā)明的方法。以輸入2D信號開始，在步驟2形 成圖像塊，在步驟3確定塊聚焦特性例如塊模糊半徑ciB，在步驟4將 這些塊群集為兩個或更多個群。在步驟6確定邊緣和區(qū)域之間的關系。 參見圖6，這可以根據(jù)聚焦特性直接完成，或者并行地對圖像進行亮度 分段，并在步驟6對通過亮度分段(步驟5 )獲得的圖像邊緣與通過群 集確定的圖像邊緣進行比較，其中，比較結果導致確定了哪個邊緣屬 于哪個區(qū)域，和從而哪個區(qū)域位于哪個區(qū)域前面，即區(qū)域的深度排序 (步驟7)。根據(jù)優(yōu)選實施例，基于聚焦特性確定深度(步驟8),在 示例中給出的是模糊半徑，提供得到的3D輸出信號(步驟9)。
圖8示出了根據(jù)本發(fā)明的圖像裝置。圖像裝置具有用于執(zhí)行該方法的所有步驟的部件，即用于接收2D輸入信號的輸入1，用于形成圖 像塊的形成器2，用于計算塊聚焦特性的計算機3，用于基于聚焦來群 集圖像區(qū)域的群集器4，圖像邊緣檢測器5，邊緣區(qū)域關系確定器6， 深度排序器7和深度信息分配器8。其還包括用于將3D信號輸出到3D 顯示屏幕10的輸出9。例如，這種顯示裝置可以是自動立體顯示裝置。
圖9說明了根據(jù)本發(fā)明的發(fā)射機。與圖8的不同在于顯示屏幕本 身不是該裝置的一體化部件。例如，這種發(fā)射機可以讀取具有2D信號 的DVD，并將2D信號轉換為3D信號，用于分開銷售的3D顯示器中。 其也可以是從具有2D信號的DVD形成具有3D信號的DVD的裝置，從 而可以將3D信號提供給DVD刻錄機，或者例如被發(fā)送到另一位置。在 優(yōu)選實施例中，包括區(qū)域中的圖像分區(qū)的信息和區(qū)域的深度次序以及 各種區(qū)域的聚焦特性的3D圖像信號也形成本發(fā)明的實施例?？梢詫⑿?息分配給信號的標頭中，該標頭指定哪個塊屬于該區(qū)，或者區(qū)域之間 的分隔線、區(qū)域的次序以及優(yōu)選的區(qū)域的聚焦特性、優(yōu)選的區(qū)域模糊 半徑。采用現(xiàn)有技術的方法和裝置實現(xiàn)的3D信號不包括這種信息。例 如，可以如下產(chǎn)生根據(jù)本發(fā)明的3D信號客戶具有3D顯示裝置以及 2D數(shù)碼相機。用戶將2D家庭視頻或數(shù)字圖像發(fā)送到因特網(wǎng)地址。將原 始的2D信號轉換為3D信號，該3D信號發(fā)送回可以在其3D顯示器上 顯示視頻或圖像的用戶。
總之，本發(fā)明被描述如下
將2D圖像數(shù)據(jù)轉換為3D圖像數(shù)據(jù)。基于聚焦特性，將圖像分為 兩個或多個區(qū)域，確定使兩個區(qū)域分開的邊緣屬于哪個區(qū)域。根據(jù)包 括邊緣的區(qū)域比相鄰的區(qū)域更靠近觀看者的規(guī)則對區(qū)域進行深度排 序，并根據(jù)所建立的區(qū)域的深度次序將3D深度信息分配到區(qū)域。作為 優(yōu)選，根據(jù)區(qū)域的平均或中間聚焦特性將深度分配給每個區(qū)域。
也可以在用于根據(jù)本發(fā)明的方法或裝置的任何計算機程序產(chǎn)品中 實施本發(fā)明?？梢岳斫猓嬎銠C程序產(chǎn)品是通用處理器或專用處理器 在一系列的加載步驟(其可以包括中間轉換步驟、例如轉換為中間語 言以及最終的處理器語言)后使命令進入處理器，從而執(zhí)行本發(fā)明的 任何特征功能的命令的集合的任何物理實現(xiàn)。尤其是，計算機程序也 可以實現(xiàn)作為在諸如例如盤或磁帶上的數(shù)據(jù)、存儲器中存在的數(shù)據(jù)、 在網(wǎng)絡連接-有線或無線-上傳送的數(shù)據(jù)或在紙上的程序代碼。與程序代碼不同，也可以將程序所需的特征數(shù)據(jù)實現(xiàn)為計算機程序產(chǎn)品。 運行該方法所需的一些步驟也已經(jīng)存在于處理器的功能中，而在
計算機程序產(chǎn)品中未進行描述，諸如數(shù)據(jù)輸入和輸出步驟。
應該注意，上述實施例是為了說明本發(fā)明而不是限制本發(fā)明，而
且本領域技術人員也可以設計許多可替換實施例而不偏離所附權利要
求的范圍。
在權利要求中，置于括號中的任何附圖標記不構成對權利要求的 限制。
單詞"包括，，不排除不同于權利要求中所列的元件和步驟的其它 元件和步驟的出現(xiàn)。采用包括幾種不同的元件的硬件以及被適當編程 的計算機來實施本發(fā)明。在列舉了幾個部件的裝置權利要求中，可以 通過同一硬件實現(xiàn)這些部件中的幾個部件。通過如上所述的各種不同 的優(yōu)選實施例的特征的任意結合實現(xiàn)本發(fā)明。更具體地，應該指出， 除非另外指示或者不可能實現(xiàn)，所示出的或要求的與編碼方法或編碼
器相關的任何實施例具有用于解碼方法或解碼器的對應實施例，并且 這種解碼方法和解碼器是本發(fā)明的實施例并在此要求保護。
權利要求
1.一種立體圖像顯示方法，其中，將2D圖像數(shù)據(jù)(1)轉換為3D圖像數(shù)據(jù)(9)，其中從2D圖像數(shù)據(jù)中提取聚焦信息(σ)，該聚焦信息(σ)用于產(chǎn)生3D圖像數(shù)據(jù)，其中，基于聚焦特性(σ)，將所述圖像分為(4)具有聚焦特性(σ1，σ2)的兩個或多個區(qū)域(C1，C2)，確定(6)將兩個區(qū)域分開的邊緣屬于圖像的哪個區(qū)域，按照包括邊緣的區(qū)域比相鄰區(qū)域更靠近觀看者的規(guī)則來在所述區(qū)域之間建立深度次序，并根據(jù)所建立的區(qū)域的深度次序來將3-D深度信息分配到所述區(qū)域。
2. 根據(jù)權利要求1所要求的立體圖像顯示方法，其中，在將圖像 分割為區(qū)域之前，對塊分配聚焦特性(3 )，并將所述塊群集為區(qū)域(4 )。
3. 根據(jù)權利要求1所要求的立體圖像顯示方法，其中，根據(jù)所述 區(qū)域(C,， C2)的聚焦特性(a,， a2)分配3D深度信息(8)。
4. 根據(jù)權利要求1所要求的立體圖像顯示方法，其中，將所述圖 像分割為兩個區(qū)域(C" C2),
5. —種立體圖像顯示方法，其中，將所述圖像分割為三個區(qū)域(d， C2， C3)。
6. —種立體圖像顯示裝置，包括用于2D圖像數(shù)據(jù)的輸入(1)， 和將所述輸入的2D圖像數(shù)據(jù)轉換為3D圖像數(shù)據(jù)的轉換器，所述轉換 器包括聚焦信息提取器(3)，用于從2D圖像數(shù)據(jù)提取聚焦信息，其 中，所述裝置包括群集器(4)，用于基于聚焦特性將所述圖像群集為 具有聚焦特性的兩個或多個區(qū)域，確定器(6)，用于確定分離區(qū)域屬 于圖像的哪個區(qū)域，深度排序器(7)，用于按照包括邊緣的區(qū)域比相 鄰區(qū)域更靠近觀看者的規(guī)則進行所述區(qū)域的深度排序，和顯示器(10)， 用于顯示圖像，其中區(qū)域的表觀深度是根據(jù)所述深度排序的。根據(jù)權利要求6所要求的立體圖像顯示裝置，包括計算機(3)，用于在將所述圖像分割為區(qū)域之前，對塊計算聚焦特性，并且其中， 群集器(4)被設置用于將所述塊群集為區(qū)域。
7. 根據(jù)權利要求6所要求的立體圖像顯示裝置，其中，所述裝置 包括檢測器(5)，用于檢測區(qū)域過渡附近的亮度邊緣。
8. 根據(jù)權利要求6所要求的立體圖像顯示裝置，其中，所述裝置包括深度信息分配器(8)，用于基于所述區(qū)域的聚焦特性將深度信息 分配到區(qū)域。
9. 一種圖像顯示數(shù)據(jù)轉換方法，其中，將2D圖像數(shù)據(jù)轉換為3D 圖像數(shù)據(jù)，并且其中，從所述2D圖像數(shù)據(jù)提取聚焦信息，該聚焦信息 用于產(chǎn)生3D圖像數(shù)據(jù)，其中，基于聚焦特性(cj )，將所述圖像分為(4)具有聚焦特性(a,, a2)的兩個或多個區(qū)域(d， C2)，確定(6) 將兩個區(qū)域分開的邊緣屬于圖像的哪個區(qū)域，按照包括邊緣的區(qū)域比 相鄰區(qū)域更靠近觀看者的規(guī)則來在所述區(qū)域之間建立深度次序，并根 據(jù)所建立的區(qū)域的深度次序來將3-D深度信息分配到所述區(qū)域。
10. 根據(jù)權利要求IO所要求的圖像顯示數(shù)據(jù)轉換方法，其中，根 據(jù)所述區(qū)域(d, C2)的聚焦特性(a" cj2)分配3D深度信息(8)。
11. 一種3D圖像信號，包括與將圖像分割為兩個或多個區(qū)域和所 述區(qū)域的深度排序以及用于每個區(qū)域的平均聚焦特性相關的信息。
12. —種發(fā)射機，包括用于2D圖像數(shù)據(jù)的輸入(1),和將所述 輸入的2D圖像數(shù)據(jù)轉換為3D圖像數(shù)據(jù)的轉換器，所述轉換器包括聚 焦信息提取器(3)，用于從2D圖像數(shù)據(jù)提取聚焦信息，其中，所述 裝置包括群集器(4)，用于基于聚焦特性將所述圖像群集為具有聚焦 特性(C7m cj2)的兩個或多個區(qū)域(d， C2)，確定器(6)，用于確 定使兩個區(qū)域分開的邊緣屬于圖像的哪個區(qū)域，深度排序器(7)，用 于根據(jù)包括邊緣的區(qū)域比相鄰區(qū)域更靠近觀看者的規(guī)則來進行所述區(qū) 域的深度排序，和用于輸出3D圖像信號的輸出(9)，其中根據(jù)所建 立的區(qū)域的深度次序來將3-D深度信息分配到所述區(qū)域。
13. —種通過計算機配置加載的計算機程序產(chǎn)品，包括基于^圖 像數(shù)據(jù)輸入產(chǎn)生3D圖像數(shù)據(jù)的指令，該計算機配置包括處理部件，其 中，將所述指令配置為用于執(zhí)行如權利要求1 - 5或10 - 11的任一所 要求的方法。
全文摘要
將2D圖像數(shù)據(jù)轉換為3D圖像數(shù)據(jù)?；诰劢固匦裕瑢⑺鰣D像分為兩個或多個區(qū)域，確定將兩個區(qū)域分開的邊緣屬于圖像的哪個區(qū)域。根據(jù)包括邊緣的區(qū)域比相鄰區(qū)域更靠近觀看者的規(guī)則來對所述區(qū)域進行深度排序，并根據(jù)所建立的區(qū)域的深度次序來將3-D深度信息分配到所述區(qū)域。作為優(yōu)選，根據(jù)所述區(qū)域的平均或中間聚焦特性來將深度分配給每個區(qū)域。
文檔編號H04N13/00GK101322155SQ200680045321
公開日2008年12月10日 申請日期2006年11月27日 優(yōu)先權日2005年12月2日
發(fā)明者B·G·B·巴倫布魯格, F·E·厄恩斯特 申請人:皇家飛利浦電子股份有限公司