專利名稱：用于測量視聽參數(shù)的方法和設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明大體上涉及視聽數(shù)據(jù)流測試，并且特別地涉及用于測量立體視頻流中的3D 視覺深度的程度的方法和設(shè)備。
背景技術(shù)：
立體(即3D)圖像和視頻通過分別向左和右眼呈現(xiàn)兩個單獨且略有不同的圖像來進(jìn)行工作。圖像是不同的，因為它們每個將模擬特定場景的觀看者將分別從間隔開約IOcm 的左和右眼看到的內(nèi)容。正是眼睛之間的觀看角的此變化允許人(及其它眼睛朝前的動物， 其主要是食肉動物)通過所謂的視差來感知深度。只有當(dāng)左和右眼單獨地(即右眼不能看到任何左眼的圖像，反之亦然)且同時地觀看它們相應(yīng)的圖像時，立體媒體才起作用。存在許多不同的技術(shù)可用于實現(xiàn)此分離但同時的顯示，包括立體圖(anaglyph) (即使用兩個不同且色彩上相反的顏色濾波器)、被動式(passive)偏振(即，使用通常水平地和垂直地分開90度的偏振濾波器)和主動式(active)快門(其交替地使左眼、然后是右眼模糊)。對于前兩種方法而言，同時地顯示左和右眼圖像，但是使用相應(yīng)顏色或偏振濾波器來從視圖中去除相反眼睛的圖像，使得每個眼睛僅看到正確的圖像。而主動式快門方法將主動控制的眼鏡連接到顯示器，使得眼鏡根據(jù)在屏幕上顯示哪個圖像來交替地?fù)踝∽蠡蛴已?。因此，在此主動式快門方法中，在任何一個時間僅顯示左或右眼圖像中的一個，并且依賴于人腦來將交替顯示合并成單個圖像(很像M個幀/秒膠片被感知為全動態(tài)(full motion))。為了說明單獨的左和右眼圖像，可以以多種不同的方式來將立體圖像或視頻編碼。例如，可以將立體視頻“連續(xù)地”編碼，即編碼為連續(xù)圖像流，在用于左和右眼的顯示之間交替(可以使用濾波器將其處理成單個“雙”圖像)。同樣地，可以“并排地”對立體圖像流進(jìn)行編碼，即包含左和右眼圖像兩者的圖像流，隨后可以對其進(jìn)行處理以將圖像分離成分別用于向左和右眼顯示的流。無論編碼方法如何，用主動式或被動式3D眼鏡來觀看3D圖像的觀看者將看到兩個不同的圖像，一個在左眼中且另一個在右眼中。這是在被動式眼鏡的情況下使用偏振光/ 顏色濾波器、或者在主動式眼鏡中使用主動式快門來實現(xiàn)，所述主動式眼鏡需要與顯示3D 視頻的設(shè)備同步。由于3D圖像模擬人在真實生活中能夠看到的，所以使3D圖像可視化要求不僅使用眼鏡，而且還要求到顯示屏的適當(dāng)距離。如果該距離不正確，或者圖像的編碼深度不正確，則圖像可能看起來不自然，并因此引起眼疲勞。當(dāng)前，難以客觀地確定在視頻流中是否存在3D內(nèi)容，其是否看起來自然，或者其是否被正確地編碼。因此，本文獻(xiàn)中所描述的本發(fā)明給出了用于對3D視頻/圖像的深度方面進(jìn)行可視化和分析的方法和設(shè)備。

發(fā)明內(nèi)容
因此，提供了一種測量立體圖像的3D深度的方法，包括提供左和右眼輸入圖像， 向左和右眼輸入圖像中的每一個應(yīng)用邊緣提取濾波器，并使用經(jīng)邊緣提取的左和右眼圖像來確定立體圖像的3D深度。為了便于解釋，所描述的方法和設(shè)備提供了一種估計立體圖像或視頻中的感知的 3D視覺深度的程度(即視差)并且可視化/圖示不同2D顯示的選擇中的估計深度的手段。可選地，所述邊緣提取濾波器被顏色編碼，并且所述方法還包括將已被顏色編碼的經(jīng)邊緣提取的左和右眼圖像疊加到單個屏幕上以向用戶顯示?？蛇x地，所述邊緣提取濾波器被應(yīng)用于左和右眼圖像中的每個像素的亮度分量?？蛇x地，所述方法還包括確定指示立體圖像中的每個像素的3D深度的視差值?？蛇x地，確定視差值包括在經(jīng)邊緣提取的左或右眼圖像中的一個中選擇像素的核心(kernel)以進(jìn)行比較，在經(jīng)邊緣提取的左或右眼圖像中的另一個中確定像素的最相似選擇，并提供來自經(jīng)邊緣提取的一只眼圖像的所選核心到經(jīng)邊緣提取的另一只眼圖像的相對位置之間的分離值?？蛇x地，確定最相似選擇包括使來自經(jīng)邊緣提取的左眼圖像或經(jīng)邊緣提取的右眼圖像中的一個的所選像素核心與來自經(jīng)邊緣提取的左或右眼圖像中的另一個的一定范圍的像素相關(guān)?？蛇x地，所述相關(guān)使用經(jīng)邊緣提取的左或右眼圖像的像素之間的絕對差的和的倒數(shù)?？蛇x地，來自經(jīng)邊緣提取的左或右眼圖像中的另一個的像素的范圍包括搜索窗口，所述搜索窗口具有等于像素核心高度的高度和用戶定義長度，或具有大于像素核心高度的用戶定義高度和用戶定義長度。使用與像素核心相比具有附加高度的搜索窗口允許檢測并校正透鏡的任何垂直偏差(misalignment)?？蛇x地，確定最相似選擇還包括使用足夠的峰值幅度(peak magnitude)來選擇所比較的位置以指示可能匹配。然后，可以將所估計的視差值添加到用于圖像的視差分布列表?？蛇x地，如果未發(fā)現(xiàn)足夠的峰值幅度，則對于在測試中的像素，省略視差值?？蛇x地，所述方法還包括確定是否任何已確定視差值超過了用戶定義的正或負(fù)閾值?？蛇x地，所述方法還包括根據(jù)歸因于像素的視差量來應(yīng)用至少一個顏色，并顯示立體圖像的經(jīng)顏色編碼的灰階版本(version)以示出跨越立體圖像的視差分布。還提供了一種用于測量立體圖像的3D深度的設(shè)備，包括用于接收立體圖像的輸入端、對立體圖像的左和右眼部分進(jìn)行濾波的至少一個邊緣提取濾波器和執(zhí)行所述方法中的任何一個的處理裝置。可選地，所述設(shè)備還包括視差估計單元和比較/相關(guān)單元。還提供了一種包括所描述設(shè)備的供在電視廣播系統(tǒng)測試(或其它視聽測試設(shè)備) 中使用的操作監(jiān)視設(shè)備。還提供了一種在視覺上顯示3D圖像中的分離量的方法，包括向立體圖像的左和右眼圖像的亮度分量應(yīng)用顏色編碼的邊緣濾波器并隨后將結(jié)果得到的兩個圖像疊加在單個顯示上。還提供了一種顯示3D圖像中的對象的相對深度的方法，包括使用顏色來表示圖像的單色版本中的深度，其中，向左或右眼圖像的亮度分量應(yīng)用邊緣檢測濾波器，其中，應(yīng)用于每個邊緣的顏色將表示其在圖像中的相對深度。例如，可以將紅色用于看起來在屏幕之外的對象(即負(fù)視差)，對于零視差而言褪色至白色，并且對于看起來在遠(yuǎn)處的對象而言移動至藍(lán)色(即正視差)。還提供了一種提供可以繪制的視差分布直方圖的方法，其顯示跨越整個圖像所使用的視差的比例。這通過將每個像素的視差繪圖來實現(xiàn)?？梢栽谟脩舳x的視差水平下應(yīng)用報警極限以驅(qū)動監(jiān)視設(shè)備。所有提出的方法和設(shè)備與用來傳送左和右眼圖像的方法無關(guān)，諸如立體圖或并排。因此，所述方法和設(shè)備適用于其中在左和右眼圖像之間存在已知同步的任何3D透射方法。


現(xiàn)在將僅以示例的方式并參考附圖來描述用于測量立體圖像中的3D深度的方法和設(shè)備，在附圖中
圖1示出根據(jù)本發(fā)明的實施例的原始圖像和應(yīng)用了邊緣提取濾波器的同一圖像； 圖2示出根據(jù)本發(fā)明的實施例的被疊加成單個圖像的經(jīng)邊緣提取的左和右眼圖像； 圖3示出根據(jù)本發(fā)明的實施例的用于所選單個像素的視差估計的樣本分布； 圖4示出根據(jù)本發(fā)明的實施例的原始圖像、疊加的左/右眼邊緣提取版本和用于顯示立體圖像的相對深度的溫度顯示；
圖5示出根據(jù)本發(fā)明的實施例的用于整個圖像的視差分布圖； 圖6示出根據(jù)本發(fā)明的實施例的分析立體視頻的3D的方法的高級流程圖； 圖7示出根據(jù)本發(fā)明的實施例的分析立體視頻的3D深度的方法的視差估計部分的更詳細(xì)流程圖8示出根據(jù)本發(fā)明的實施例的用于測量立體視頻的3D深度的設(shè)備的高級示意圖。
具體實施例方式現(xiàn)在將參考附圖來描述本發(fā)明的實施例，在附圖中，已對相同或類似的部分或步驟給定相同或類似的附圖標(biāo)記。左眼幀和右眼幀上的邊緣檢測
根據(jù)本發(fā)明的實施例的用于分析立體視頻的3D深度的方法的第一步驟是向兩個輸入幀(分別為左眼和右眼幀)應(yīng)用邊緣檢測濾波器。邊緣檢測濾波器通常對構(gòu)成圖像的像素的亮度分量起作用，并通過向兩個輸入幀應(yīng)用可分離卷積濾波器來實現(xiàn)。存在適用于該過程的可用的各種邊緣檢測濾波器，特別地，例如Sobel、Prewitt和Kirsch邊緣濾波器。每種類型的濾波器的性能很可能與圖像內(nèi)容有關(guān)。也就是說，例如，一個濾波器可能更擅長具有人和動物的內(nèi)容，而另一濾波器可能更擅長風(fēng)景等。例如，根據(jù)經(jīng)驗的測試已經(jīng)顯示Sobel 濾波器對于在前景中具有對象的視頻而言特別有效。還可以將邊緣檢測稱為邊緣提取。圖1示出原始圖像110和從向原始圖像110應(yīng)用邊緣提取濾波器得到的圖像120的示例。可以看到經(jīng)邊緣提取的圖像主要是黑色/暗色的，只有經(jīng)提取的邊緣顯示出任何顯著的亮度值。雙邊緣顯示
一旦已經(jīng)產(chǎn)生了兩個左/右眼輸入幀的邊緣提取，就可以對于每只眼睛使用不同顏色來顯示兩個經(jīng)邊緣提取的輸入幀(例如用于左眼的綠色和用于右眼的藍(lán)色或分別用于左和右的紅色和藍(lán)色一這里所使用的顏色的選擇與顏色的立體圖選擇沒有任何關(guān)系，并且僅僅被選擇為在視覺上形成對比，因此在沒有眼鏡的情況下是可辨別的)并將其疊加在一起以便在同一顯示中示出。這允許(由根據(jù)所述方法和設(shè)備適配的測試設(shè)備的用戶)對在(一個或多個)采樣圖像中是否存在任何3D效果的容易的視覺識別，并且如下面將更詳細(xì)地描述的，還在視覺上指示哪些對象具有負(fù)視差和正視差。圖2示出如上所描述的那樣處理的疊加的經(jīng)邊緣提取的顯示圖像200的示例。雖然人很容易根據(jù)內(nèi)容在深度方面主觀地推斷圖像內(nèi)的項目應(yīng)在哪里，但機(jī)器需要客觀測試，并且此外，用戶可能要求可測量的參數(shù)?？梢匀缦驴陀^地測試深度。從圖2中的圖像，可以推斷圖像中的人的臉和眼鏡具有負(fù)視差(即，看起來‘在屏幕之外’)，而背景中的計算機(jī)監(jiān)視器具有正視差(即，看起來‘進(jìn)入屏幕中’)。這是因為可以看到，綠色邊緣在用于眼鏡/臉的藍(lán)色邊緣的左側(cè)，而綠色邊緣在用于計算機(jī)監(jiān)視器的對應(yīng)藍(lán)色邊緣的右側(cè)。在每種情況下，用于同一特征的兩個彩色線之間的像素距離對應(yīng)于所感知的對象深度(即視差)。因此，經(jīng)邊緣提取的左和右眼圖像內(nèi)的相同特征之間的相對水平距離是圖像分離的度量并直接與3D圖像對于觀看者而言看起來有多自然有關(guān)。顯著水平的分離將使得觀看者看起來不舒服，甚至惡心。很可能廣播公司和標(biāo)準(zhǔn)主體將對用于3D視頻/圖像材料的圖像分離的可接受水平施加限制。視差估計
在計算用于左和右眼兩者的邊緣提取幀之后，通過使用相關(guān)將兩個經(jīng)邊緣提取的左和右眼圖像相互比較來估計每個像素的視差。現(xiàn)在將描述示例性小規(guī)模相關(guān)(small scale correlation)。然而，本發(fā)明不僅限于所描述的小規(guī)模相關(guān)。對于像素P而言，利用經(jīng)邊緣提取的左眼圖像中的屏幕坐標(biāo)(X，Y)，構(gòu)建以像素P 為中心的像素的核心。下面示出此類核心的示例，采取3X3矩陣的形式。其詳述了包括在核心中的像素的坐標(biāo)(如果具有坐標(biāo)X，Y的像素是正被估計的像素-即在測試中的像素)
X-1, Y-IX, Y-IX+l, Y-IX-1, YX，YX+l, YX-1，Y+1X, Y+1X+l, Y+1
可以使用其它核心尺寸。為了簡單起見，可以忽視正好在圖像邊緣處的像素，因為將不存在對其可用的完整核心。此外，這些邊緣部分不太可能特別重要，因為它們不是觀看者的注意力的焦點。使該核心與在另一眼圖像中的用戶所選搜索窗口 M乘N相關(guān)(S卩，評估兩者之間的相似性)。由于為了容易起見，假設(shè)左和右眼圖像在空間上是對準(zhǔn)的，所以比較是在來自經(jīng)邊緣提取的左眼圖像的核心與經(jīng)邊緣提取的右眼圖像中的搜索窗口之間進(jìn)行。當(dāng)然，可以相反地執(zhí)行相關(guān)計算(即，來自經(jīng)邊緣提取的右眼圖像的核心，和來自經(jīng)邊緣提取的左眼圖像的搜索窗口)。通常由樣本核心的高度來確定搜索窗口(N)的高度。這是因為通常僅沿著水平(側(cè)向(sideways))方向(即向左或右)來執(zhí)行相關(guān)，因為立體效果僅沿著水平方向操作。而搜索窗口(M)的長度根據(jù)輸入圖像/視頻材料的參數(shù)和期望的性能特性是用戶特定的。在一個示例中，搜索窗口可以是+/-100像素，但是可以同樣地使用其它搜索窗口尺寸。增加搜索窗口尺寸對比核心增加相關(guān)時間，并且可以提供改善的準(zhǔn)確度。然而，另一方面，由于不期待視差過大，所以較小的搜索窗口應(yīng)是足夠的。在更高級的實施例中，搜索窗口可以在高度上大于核心，使得該相關(guān)在某種程度上也在垂直面中搜索。這允許自動地(在相機(jī)具有電動透鏡移動結(jié)構(gòu)的情況下)或經(jīng)由向攝影師通知以便其手動地調(diào)整透鏡來檢測和校正形成3D相機(jī)的兩個透鏡之間的任何垂直偏差。可替換地，在已經(jīng)拍攝了 3D圖像并因此不能調(diào)整透鏡的情況下，垂直偏差量的檢測可以允許兩個圖像組中的一個的后處理以通過使圖像流中的一個向上或向下移位以進(jìn)行補(bǔ)償來使圖像流重新對準(zhǔn)。這可能節(jié)省將被分類為不可用3D視頻/圖像內(nèi)容的項目(其將被有效地略微‘模糊’)。通常由圖像尺寸和最大可容許視差來確定最大偏移。在本示例中，兩個核心的相關(guān)性被定義為像素之間的差的絕對值的和的倒數(shù)。因此，在這種情況下，如果左和右是被相關(guān)的兩個核心，則相關(guān)指數(shù)是
Correlation (Left, Right) = 1 / Σ [Left(i, j) - Right (i，j)] 其中，i，j是使用中的像素的坐標(biāo)。然而，可以使用其它形式的相關(guān)，諸如移位不變模式匹配算法。在此簡化示例中，正在被查看的像素(即感興趣的像素)不是經(jīng)邊緣提取的左眼幀中的左上至右下對角線的一部分。構(gòu)造像素的3X3核心，其包括給定像素及其相鄰像素，得到以下矩陣
權(quán)利要求
1.一種測量立體圖像的3D深度的方法，包括 提供左和右眼輸入圖像；向左和右眼輸入圖像中的每一個應(yīng)用邊緣提取濾波器；以及使用經(jīng)邊緣提取的左和右眼圖像來確定立體圖像的3D深度。
2.權(quán)利要求1的方法，其中，所述邊緣濾波器被顏色編碼，并且所述方法還包括將已被顏色編碼的經(jīng)邊緣提取的左和右眼圖像疊加到單個屏幕上以向用戶顯示。
3.權(quán)利要求1或2的方法，其中，所述邊緣提取濾波器被應(yīng)用于左和右眼圖像中的每個像素的亮度分量。
4.任何前述權(quán)利要求的方法，還包括確定指示立體圖像中的每個像素的3D深度的視差值。
5.權(quán)利要求4的方法，其中，確定視差值包括在經(jīng)邊緣提取的左或右眼圖像中的一個中選擇像素的核心以進(jìn)行比較； 在經(jīng)邊緣提取的左或右眼圖像中的另一個中確定像素的最相似選擇；以及提供來自經(jīng)邊緣提取的一只眼圖像的所選核心到經(jīng)邊緣提取的另一只眼圖像的相對位置之間的分離值。
6.權(quán)利要求5的方法，其中，確定最相似選擇包括使來自經(jīng)邊緣提取的左眼圖像或經(jīng)邊緣提取的右眼圖像中的一個的所選像素核心與來自經(jīng)邊緣提取的左或右眼圖像中的另一個的一定范圍的像素相關(guān)。
7.權(quán)利要求6的方法，其中，所述相關(guān)使用經(jīng)邊緣提取的左或右眼圖像的像素之間的絕對差的和的倒數(shù)。
8.權(quán)利要求6或7的方法，其中，來自經(jīng)邊緣提取的左或右眼圖像中的另一個的像素的范圍包括搜索窗口，所述搜索窗口 具有等于像素核心高度的高度和用戶定義長度；或具有大于像素核心高度的用戶定義高度和用戶定義長度。
9.權(quán)利要求5至8中的任一項的方法，其中，確定最相似選擇還包括使用足夠的峰值幅度來選擇比較位置。
10.權(quán)利要求9的方法，其中，如果未發(fā)現(xiàn)足夠的峰值幅度，則對于在測試中的像素，省略視差值。
11.權(quán)利要求5至10中的任一項的方法，還包括確定是否任何已確定視差值超過了用戶定義的正或負(fù)閾值。
12.權(quán)利要求5至11中的任一項的方法，還包括根據(jù)歸因于像素的視差量來應(yīng)用至少一個顏色，并顯示立體圖像的經(jīng)顏色編碼的灰階版本以示出跨越立體圖像的視差分布。
13.一種用于測量立體圖像的3D深度的設(shè)備，包括 輸入端，其用于接收立體圖像；以及至少一個邊緣提取濾波器，其對立體圖像的左和右眼部分進(jìn)行濾波； 其中，所述設(shè)備適合于執(zhí)行權(quán)利要求1至12中的任一項。
14.權(quán)利要求13的設(shè)備，還包括 視差估計單元；以及比較單元。
15. 一種包括權(quán)利要求13或14中的任一項的設(shè)備的供在電視廣播系統(tǒng)測試中使用的操作監(jiān)視設(shè)備。
全文摘要
本發(fā)明涉及用于測量視聽參數(shù)的方法和設(shè)備。提供了一種測量立體圖像的3D深度的方法，包括提供左和右眼輸入圖像，向左和右眼輸入圖像中的每一個應(yīng)用邊緣提取濾波器，并使用經(jīng)邊緣提取的左和右眼圖像來確定立體圖像的3D深度。還提供了一種用于執(zhí)行測量立體圖像的3D深度的方法的設(shè)備。
文檔編號G11B15/60GK102215423SQ20111008806
公開日2011年10月12日 申請日期2011年4月8日 優(yōu)先權(quán)日2010年4月9日
發(fā)明者A·卡塞雷斯, M·諾爾曼 申請人:特克特朗尼克國際銷售有限責(zé)任公司