專利名稱：將二維圖像數(shù)據(jù)轉(zhuǎn)換為立體圖像數(shù)據(jù)的方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于生成立體或三維圖像的方法和系統(tǒng)，并且更具體地，涉及用于從 具有普遍的照相機運動的單個二維(2D)單視場圖像(monoscopic image)序列(例如，2D 視頻圖像序列)生成立體圖像對的方法和系統(tǒng)。
背景技術(shù)：
通常，立體圖像轉(zhuǎn)換是包括將二維(2D)圖像或視頻轉(zhuǎn)換成三維(3D)立體圖像或 視頻的處理。在一個傳統(tǒng)處理中，可以通過將由位于不同地點的兩個分離照相機捕獲的兩 個單視場視圖(左眼和右眼透視圖)相組合來生成立體圖像，其中，每個照相機捕獲給定場 景的2D透視圖像(左眼和右眼視圖)，并且由此將兩個2D透視圖像相組合以形成3D或立 體圖像。在其它傳統(tǒng)處理中，從由單個攝像機捕獲的原始2D單視場圖像生成3D或立體圖 像，由此，使用從原始2D圖像中提取的信息來估計對應(yīng)的2D單視場圖像對。利用這樣的方 法，可以將原始2D圖像建立為提供立體圖像對的第一視圖的左透視圖，而對應(yīng)的右透視圖 像是用于生成提供所述立體圖像對的第二視圖的對應(yīng)右透視圖而從原始2D圖像處理而得 的圖像。在一個具體的傳統(tǒng)方案中，2D到3D轉(zhuǎn)換系統(tǒng)可以被配置為使用在源圖像數(shù)據(jù)中 的順序2D圖像之間估計的照相機運動數(shù)據(jù)來從單個2D單視場圖像序列(例如，2D視頻圖 像序列)生成立體圖像對。利用這樣的技術(shù)，輸入2D圖像數(shù)據(jù)經(jīng)常是在照相機運動的情況 下捕獲的視頻片段。在分析了照相機運動之后，然后可以從輸入視頻中的2D圖像和所推導(dǎo) 的照相機運動導(dǎo)出右圖像。2D到3D轉(zhuǎn)換系統(tǒng)可以被用來將2D格式的圖像和視頻數(shù)據(jù)(電 影、家庭錄像、游戲等)轉(zhuǎn)換為立體圖像，以便使得能夠進行2D格式的源圖像數(shù)據(jù)的3D觀 看。當將第一圖像序列和第二圖像序列傳送到左眼或右眼時，第二圖像序列與第一圖像序 列一起使得能夠三維地觀看原始的二維圖像。利用照相機運動從2D圖像序列中生成立體圖像對的傳統(tǒng)方式使用深度圖(cbpth map)來產(chǎn)生/生成對應(yīng)的立體圖像對，所述深度圖是從照相機的視頻圖像數(shù)據(jù)計算而得 的。通常，這些技術(shù)包括在單視場2D圖像序列中的兩個連續(xù)2D圖像之間估計照相機運 動，使得它們變?yōu)橐?guī)范的立體對；然后，進行深度估計以便使用所估計的照相機運動來從兩 個或多個連續(xù)圖像中提取深度圖。然后，使用所估計的深度圖來將左眼圖像重新產(chǎn)生為右 眼圖像。更具體地，假設(shè)兩個連續(xù)2D圖像Li, Li+1，其中，認為輸入的2D圖像序列提供左眼 透視圖，可以通過使關(guān)于深度圖D的成本函數(shù)F (D I Li, Li+1)最小化來從2D圖像估計深度圖。
假設(shè)最優(yōu)深度圖是 ，則通過產(chǎn)生函數(shù)代=Remfer(^A),可以產(chǎn)生右圖像。理論上，如果可以精確地估計深度圖，則該傳統(tǒng)方式良好地工作。該方式的優(yōu)點在 于照相機運動可以是任意的。然而，在實踐級別，深度估計處理是有問題的，并且在大多數(shù) 情況下，深度圖被噪聲污染。結(jié)果，所估計的深度圖將包含噪聲分量Ai=DW ,其中 Di是真實深度圖，而Ae""是誤差分量。在產(chǎn)生右眼圖像時，誤差分量將被傳播并且很有可能被產(chǎn)生函數(shù)放大，從而導(dǎo)致不期望的偽像?；谡障鄼C運動的其它傳統(tǒng)方法使用平面轉(zhuǎn)換(planar transform)技術(shù)以便避 免深度圖計算，但是當被應(yīng)用于具有普遍的、任意的照相機運動的視頻數(shù)據(jù)時這樣的方式 具有明顯的限制。通常，平面轉(zhuǎn)換技術(shù)包括通過例如使用相鄰幀計算基本矩陣來從輸入 視頻序列估計照相機運動。然后，所估計的照相機運動參數(shù)被用來導(dǎo)出平面轉(zhuǎn)換矩陣，其 被用來將輸入視頻圖像序列中的當前圖像轉(zhuǎn)換為假定右眼圖像。然而，僅當照相機運動 僅包含水平運動時，才能導(dǎo)出轉(zhuǎn)換矩陣。如果照相機也沿垂直方向運動，將建立垂直視差 (parallax)，并且垂直視差在任何平面轉(zhuǎn)換下都不能被去除。大多數(shù)的深度感知(例如，即 在觀看場景時的3D或立體效果)是在大致水平的平面中獲得的而不是在垂直平面中獲得 的，這是因為觀看者的眼睛通常在大致水平的平面上間隔開，并且相應(yīng)視圖是根據(jù)觀看者 的雙眼之間距離的立體跡線而看到的。這樣，一對連續(xù)圖像之間的垂直運動或視差可以被 2D到3D轉(zhuǎn)換系統(tǒng)不正確地解釋為指示深度的運動。但是平面轉(zhuǎn)換可以去除照相機旋轉(zhuǎn)和 縮放，因而建立規(guī)范的立體圖像對(即，使左圖像和右圖像配準以具有相同的焦距和平行 的焦平面)。在這些情況下，如果照相機運動被限制于水平平移，則輸入的2D圖像的視頻流 可以被當作具有小偏離的一系列立體圖像對。

發(fā)明內(nèi)容
這里描述的各個實施例包括用于從具有任意照相機運動的單眼2D圖像序列中生 成立體圖像對的方法和系統(tǒng)，其中，使用照相機運動和考慮了視差圖生成的誤差的優(yōu)化技 術(shù)，直接估計目標圖像上的視差圖，使得生成目標圖像的處理對視差圖的估計噪聲較不敏感。在本發(fā)明的一個示例實施例中，2D到3D轉(zhuǎn)換的方法包括確定單視場2D圖像序 列中連續(xù)圖像之間的照相機運動參數(shù)，其中連續(xù)圖像包括當前參考圖像和相鄰圖像；使用 所述照相機運動參數(shù)確定目標圖像的水平視差圖；確定視差圖的每個視差向量的視差概率 值；以及使用所述視差概率值，確定目標圖像為當前參考圖像中像素值的加權(quán)平均，使得目 標圖像和當前參考圖像包括立體圖像對。例如，在本發(fā)明的一個實施例中，通過構(gòu)造成本函數(shù)來確定水平視差圖，所述成本 函數(shù)包括像素匹配成本函數(shù)分量，其確定在水平視差圖情況下將當前參考圖像中的像素 匹配到相鄰圖像中的像素的成本；以及平滑成本函數(shù)分量，其考慮水平視差圖中相鄰像素 位置的視差值的相似性以便獲得平滑的水平視差圖。另外，在本發(fā)明的一個示例實施例中，通過構(gòu)造水平視差圖的概率函數(shù)模型來確 定視差圖的視差向量的視差概率值，其中，將每個像素的視差向量的值考慮為可以是多個 離散值之一的隨機值。可以通過將成本函數(shù)的成本函數(shù)分量轉(zhuǎn)換為與概率模型相關(guān)聯(lián)的對 應(yīng)的能量函數(shù)來構(gòu)造概率函數(shù)模型。進一步，在一個示例實施例中，概率函數(shù)模型是馬爾可夫隨機場模型，其中，通過 第一和第二能量函數(shù)來定義馬爾可夫隨機場，第一能量函數(shù)對應(yīng)于匹配成本函數(shù)，而第二 能量函數(shù)對應(yīng)于平滑成本函數(shù)。可以使用諸如置信傳播算法之類的概率推理算法來確定視 差圖的每個視差向量的視差概率值。在本發(fā)明的一個示例實施例中，在估計視差圖之前，可以使用照相機運動參數(shù)來確定當前參考圖像和相鄰圖像之間的垂直照相機運動量，其中，如果垂直運動量低于預(yù)定 閾值，則可以使用平面轉(zhuǎn)換來從當前參考圖像計算目標圖像。在本發(fā)明的替代實施例中，用于將二維圖像序列轉(zhuǎn)換為三維圖像的系統(tǒng)包括圖 像數(shù)據(jù)緩存器，其用于存儲第一 2D圖像單視場序列中的連續(xù)圖像，其中，所述連續(xù)圖像包 括當前參考圖像和相鄰圖像；以及圖像數(shù)據(jù)處理系統(tǒng)。在一個實施例中，圖像數(shù)據(jù)處理系統(tǒng) 包括照相機運動估計模塊，其用于確定存儲在圖像數(shù)據(jù)緩存器中的連續(xù)圖像之間的照相 機運動參數(shù)；視差圖估計模塊，其用于使用所述照相機運動參數(shù)來確定目標圖像的水平視 差圖，并且確定視差圖的每個視差向量的視差概率值；以及圖像產(chǎn)生模塊，其用于使用所述 視差概率值確定目標圖像為當前參考圖像中像素值的加權(quán)平均，使得目標圖像和當前參考 圖像包括立體圖像對。


通過結(jié)合附圖考慮以下詳細描述可以容易理解本原理的教導(dǎo)，在附圖中圖1示出了依據(jù)本發(fā)明實施例的將2D圖像序列轉(zhuǎn)換為3D立體圖像的系統(tǒng)的高級 框圖；圖2示出了依據(jù)本發(fā)明實施例的將2D圖像序列轉(zhuǎn)換為3D立體圖像的方法的流程 圖；以及圖3示出了依據(jù)本發(fā)明替代實施例的、用于將2D圖像序列轉(zhuǎn)換為3D立體圖像的 方法的流程圖。應(yīng)理解，附圖是用于例示本發(fā)明構(gòu)思的目的，并且不必是例示本發(fā)明的唯一可能 結(jié)構(gòu)。為了便于理解，如果可能的話，已經(jīng)使用相同參考標號來表示各圖中共有的相同要
ο
具體實施例方式本原理有利地提供一種從具有普遍的照相機運動的單個二維(2D)單視場圖像序 列(例如，2D視頻圖像序列)生成立體圖像對的方法和系統(tǒng)。盡管將主要在用于將2D圖像 轉(zhuǎn)換為3D立體圖像(其中，左圖像是參考圖像，右圖像是目標圖像)的特定系統(tǒng)的背景下 描述本原理，但是本發(fā)明的特定實施例不應(yīng)被當作限制本發(fā)明的范圍。例如，在本發(fā)明的替 代實施例中，可以將任何第一圖像用作參考圖像(即，右圖像或左圖像)以便導(dǎo)出立體圖像 對。依據(jù)本發(fā)明的各個實施例，設(shè)計2D到3D轉(zhuǎn)換技術(shù)以便使用依據(jù)輸入流中的連續(xù) 2D圖像(即，參考圖像)確定的照相機運動參數(shù)、以及考慮了視差圖生成的誤差的優(yōu)化技 術(shù)，來估計右眼圖像(目標)上的視差圖，從而使用所估計的視差圖從原始2D(參考圖像) 生成右圖像(目標)的處理對視差圖的估計噪聲較不敏感。在一個實施例中，估計在右圖像上定義的視差場(disparity field)。該視差場描 述如何將Li的像素傳送給右圖像氏。例如，如果將視差場表示為D^則可以根據(jù)以下公式 一 (1)從左眼圖像轉(zhuǎn)換得到右眼圖像Ri (x, y) = Li (x+Dr (χ, y)，y)(1)視差場N包括指定被應(yīng)用于左眼圖像Li內(nèi)的像素的偏移量的向量數(shù)據(jù)，所述偏移量被應(yīng)用于左眼圖像Li內(nèi)的像素以得到右眼圖像中的對應(yīng)像素。向量數(shù)據(jù)與兩個立體圖像 之間的透視(perspective)改變、以及從照相機到要拍攝的場景的對象的距離有關(guān)。應(yīng)注 意，視差場僅具有水平分量，由此，視差場(或視差圖)包含相應(yīng)位移值d，對于左立體圖像 視圖(參考)中的每個相應(yīng)像素而言，當將位移值d應(yīng)用于Li中的相應(yīng)像素的位置(X，y) 時，給出了其在右立體圖像視圖Ri中的對應(yīng)像素的位置(x+d，y)。在這點上，可以將視差圖 考慮為位移值的矩陣，其中，該矩陣是與每個立體圖像中的像素數(shù)目相同的尺寸，使得矩陣 包含立體圖像之一中每個像素的單個一維位移值。圖1示出了依據(jù)本發(fā)明實施例的將2D圖像序列轉(zhuǎn)換為3D立體圖像的系統(tǒng)100的 高級框圖。通常，系統(tǒng)100包括圖像數(shù)據(jù)處理器110，其被配置為處理輸入的第一 2D數(shù)字 圖像(單視場)序列120并使用如下面將描述的各種圖像處理和優(yōu)化方法從該第一單眼 2D圖像序列120生成第二 2D數(shù)字圖像(單視場)序列130。在圖1的示例實施例中，第一 2D圖像序列120包括2D參考圖像Li, Li+1，Li+2...的序列，為了例示的目的，認為該2D參 考圖像Li, Li+1，Li+2...的序列是立體圖像對的左眼透視圖，第二 2D數(shù)字圖像序列130包括 2D合成(目標)圖像Ri，Ri+1，Ri+2···的序列，為了例示的目的，認為該2D參考圖像Ri, Ri+1， Ri+2...的序列是立體圖像對的對應(yīng)右眼透視圖。在一個實施例中，輸入120可以是在照相 機運動的情況下捕獲的視頻片段。第一 2D數(shù)字圖像序列120和第二 2D數(shù)字圖像序列130經(jīng)由圖像組合器模塊140 組合在一起，以便生成立體圖像序列150。立體圖像序列150可以包括分離的但同步的左 圖像流和右圖像流，所述左圖像流和右圖像流提供立體圖像對流；單個3D圖像流，其中，將 對應(yīng)的立體對交織以形成3D圖像。在圖1的實施例中，圖像數(shù)據(jù)處理器110例示性地包括輸入圖像緩存器111、照相 機運動估計模塊112、成本函數(shù)和概率函數(shù)生成模塊113、平面轉(zhuǎn)換生成模塊114、視差場估 計模塊115和圖像生成器116。圖像數(shù)據(jù)處理器110的組成系統(tǒng)部件/模塊，通過測量二維 圖像序列120中的相鄰連續(xù)圖像之間的照相機運動向量、使用該運動向量和概率建模來估 計并優(yōu)化右眼圖像上的水平視差圖以使視差圖估計誤差最小化，來實現(xiàn)各種示例操作模式 (如將參考圖2和3的流程圖所討論的)，從而生成2D右眼圖像序列130。在圖1的實施例中，圖像緩存器111接收并存儲輸入的2D圖像序列中的多個相鄰 圖像幀。照相機運動估計模塊112確定第一 2D圖像單視場序列120中的連續(xù)圖像之間的 照相機運動參數(shù)，例如當前參考圖像Li和相鄰圖像Li+1之間的照相機運動參數(shù)。在本發(fā)明 的各個實施例中，照相機運動估計模塊112還操作為圖像校正和校準模塊，以便校正和校 準當前參考圖像Li和相鄰圖像Li+1，從而當前參考圖像和相鄰圖像是規(guī)范的立體圖像對。函數(shù)生成模塊113生成被用來計算優(yōu)化的視差圖的成本函數(shù)(例如，如下面所討 論的公式2或公式4)。如下面所解釋的，成本函數(shù)被構(gòu)造有第一成本分量，其將像素匹配 成本函數(shù)確定為被用來將水平視差圖(即，目標圖像的水平視差圖)轉(zhuǎn)換為相鄰參考圖像 Li和Li+1之間的視差的水平運動轉(zhuǎn)換函數(shù)和垂直運動轉(zhuǎn)換函數(shù)的函數(shù)，該像素匹配成本函 數(shù)在視差映射的情況下考慮匹配當前參考圖像Li和相鄰圖像Li+1中的對應(yīng)像素的成本；以 及平滑分量，其考慮相鄰像素視差的視差值的相似性。函數(shù)模塊113生成定義目標圖像視差圖的概率模型的概率函數(shù)，其中，像素的視 差值是可以是表示像素的可能視差的η個離散狀態(tài)之一的隨機值。函數(shù)生成模塊113通過將成本函數(shù)轉(zhuǎn)換為概率函數(shù)可以生成概率函數(shù)。視差場估計模塊115使用函數(shù)生成模塊113生成的成本函數(shù)、概率函數(shù)和參數(shù)來 估計并優(yōu)化目標圖像的視差場(或視差圖)。如下面所解釋的，在一個示例實施例中，視差 圖估計模塊115通過使成本函數(shù)或從成本函數(shù)導(dǎo)出的概率模型的能量函數(shù)最小化來確定 視差圖的視差值的概率、并使用視差的概率值作為權(quán)重值來將目標圖像的像素值計算為參 考圖像中像素值的加權(quán)平均，從而確定初始視差圖。圖像產(chǎn)生模塊116使用所估計的視差 圖來生成并輸出第二 2D圖像(例如，目標圖像)序列，其中，對應(yīng)的目標圖像130和參考圖 像120包括立體圖像對。平面轉(zhuǎn)換模塊114可以被用來計算平面轉(zhuǎn)換矩陣，該平面轉(zhuǎn)換矩 陣被用來在照相機運動沒有或具有非常小的垂直照相機運動的情況下從參考圖像計算目 標圖像。圖1中的系統(tǒng)可以以硬件、軟件、固件、專用處理器、或它們的組合的各種形式來 實現(xiàn)。這里描述的組成系統(tǒng)組件和處理步驟可以被以軟件實現(xiàn)為應(yīng)用程序，該應(yīng)用程序包 括確切體現(xiàn)在一個或多個程序存儲設(shè)備(例如，磁軟盤、RAM、CD R0M、R0M、閃存等)上并由 包括適當結(jié)構(gòu)的任何設(shè)備、機器或平臺執(zhí)行的程序指令。還應(yīng)理解，由于這里示出的一些系 統(tǒng)組件和方法步驟優(yōu)選地以軟件實現(xiàn)，因此，系統(tǒng)組件(或處理步驟)之間的實際連接可能 取決于本原理的示例實施例被編排的方式而不同。圖2示出了依據(jù)本發(fā)明實施例的將2D圖像序列轉(zhuǎn)換為3D立體圖像的方法的流程 圖。應(yīng)理解，圖2的方法僅表示圖1的系統(tǒng)的一種示例操作模式。該方法在步驟200開始， 在步驟200，臨時緩存例如包括二維圖像序列的當前幀Li和前一幀Li+1的多個相鄰幀。然 后，該方法進行到步驟201。在步驟201，估計相鄰幀之間的照相機運動的量和方向。如上面注意到的，在估計 水平視差圖的處理中使用照相機運動參數(shù)，所述水平視差圖被應(yīng)用于當前2D圖像Li以估 計對應(yīng)的右眼圖像Ri,從而形成立體對。在該處理中，估計輸入的單視場序列的兩個連續(xù)2D 源圖像之間的照相機運動允許計算右圖像Ri,其中圖像Ri類似于與當前左圖像Li連續(xù)的圖 像，并且視差向量D類似于所估計的照相機運動向量。例如，通過例如使用相鄰幀計算基本矩陣，可以估計相鄰圖像Li和Li+1之間的照相 機運動。如本領(lǐng)域已知的，基本矩陣將一個圖像中的點與其它圖像中的對應(yīng)點相關(guān)，其中， 通過利用基本矩陣建模這樣的幀之間的照相機運動，可以確定兩個連續(xù)的輸入圖像之間的 視差映射。然后，該方法進行到步驟202。在步驟202，構(gòu)造成本函數(shù)，以基于照相機運動估計目標(例如，右)圖像的優(yōu)化后 的視差圖。通過根據(jù)以下的公式二(2)使成本函數(shù)最小化，可以生成水平視差圖 在公式(2)中，d(.，.)表示像素差，例如，歐幾里得距離。扎、民分別是表示沿水 平(χ)和垂直(y)方向中所確定的照相機運動的轉(zhuǎn)換函數(shù)，其被用來將右眼水平視差圖轉(zhuǎn) 換為Li 之間的視差，從而可以計算像素差。在公式(2)的成本函數(shù)公式中，使用運動 轉(zhuǎn)換函數(shù)來考慮圖像校正和校準。此外，在公式(2)中，S(Dlx，y))表示在視差場上所定 義的平滑限制，其可以根據(jù)以下的公式三(3)被特征化
8
S(Dr(x,y)) = | |Dr(x，y)-Dr(x_l，y) | |2+| |Dr(x,y)-Dr(x,y-1) | |2(3)取相對簡單的示例，如果照相機運動是垂直平移，則僅存在Li和Li+1之間的垂直視 差。如果校正了 LdPLi+1，則通過=可以將Dr(x，y)中的視差轉(zhuǎn)換為1^上 的視差場。公式(2)中的成本函數(shù)可以通過優(yōu)化方式(例如，動態(tài)編程和置信傳播)而最 小化。在替代實施例中，通過執(zhí)行圖像校正和校準可以將視差場估計執(zhí)行作為照相機運 動估計處理的一部分，并構(gòu)造更簡化的成本函數(shù)。即，假設(shè)作為照相機運動估計處理的一部 分，將兩個連續(xù)圖像Lp1和Li轉(zhuǎn)換為校正后的對L' η和L' i，通過根據(jù)以下公式四⑷ 使成本函數(shù)最小化，可以估計視差圖伊 其中，如公式(2)中所定義的，d(.，.)是像素差，S(Dr(x, y))是平滑限制。與公 式(2)的成本函數(shù)相比，由于相鄰參考圖像的校正和校準在之前被作為照相機運動估計處 理的一部分而執(zhí)行，因此，公式(4)的成本函數(shù)不包括用于估計水平視差圖的圖像校正和 校準分量。通常，公式(2)和(4)的成本函數(shù)包括像素匹配成本函數(shù)分量，其確定在水平視 差圖情況下將當前參考圖像中的像素匹配到相鄰圖像中的像素的成本；以及平滑成本函數(shù) 分量，其考慮水平視差圖中相鄰像素位置的視差值的相似性以便獲得平滑的水平視差圖。 盡管通過使成本函數(shù)最小化，可以估計優(yōu)化后的水平視差圖，但是在存在視差估計誤差時， 單獨使用公式(2)或(4)的水平視差圖的估計可能導(dǎo)致傳播到右眼圖像的誤差，從而導(dǎo)致 潛在的偽像。相應(yīng)地，通過使用視差估計的概率(或可信度)來考慮視差估計的不確定性。假 設(shè)視差值的概率為W(x，y，d)，右圖像的像素值根據(jù)以下公式五(5)可以被設(shè)置為左眼圖像
中像素值的加權(quán)平均 圖2的方法，然后進行到步驟203。在步驟203，通過將公式(4)的成本函數(shù)公式轉(zhuǎn)換為概率公式并且然后應(yīng)用概率 推理算法可以確定權(quán)重W(x，y，d)(即，視差向量的概率值)。在該框架下，每個像素的真實 視差值是對于每個像素位置的隨機變量。每個變量可以取η個離散狀態(tài)之一，所述離散狀 態(tài)表示那個像素位置處的可能視差。對于每個可能的視差值，存在在那個視差值處與將像 素匹配到對應(yīng)的立體圖像中的對應(yīng)像素相關(guān)聯(lián)的成本，其中，該成本優(yōu)選地基于兩個像素 之間的亮度差。再次參考圖2，可以將公式(4)中的成本函數(shù)轉(zhuǎn)換為等效的根據(jù)如下公式六(6)的 概率公式 其中，d是視差值，i和j是標識圖像中一點的唯一標記。例如，如果圖像具有 320X240大小，則i = 0表示在(0，0)處的像素，i = 321表示在(1，1)處的像素，依此類 推。這樣，Cli對應(yīng)于公式(3)中的Dlx，y)。比較公式(4)和(6)，結(jié)果是⑴總成本函數(shù)C = log p(d(.))， Φ , (Cli) = exp((I(x,y)-I' (χ-d (χ, y)))2)Fij(C^dj) =eXp([d(X，y)-d(X±l，y)]2+[d(X，y)-d(X，y±l)]2)其中，使用士是因為符號取決于像素的相鄰關(guān)系(neighborhood)。項log Z是關(guān) 于視差圖的常數(shù)，其不影響公式(6)和公式(4)的等效。通過該轉(zhuǎn)換，最小化公式(4)的成 本函數(shù)等效于最大化公式(6)中的概率函數(shù)，其中，公式(5)也已知為馬爾可夫隨機場，其 中，Cjii和Vij是馬爾可夫隨機場的勢函數(shù)(potential function) 0返回參考圖2，在步驟204，在將成本函數(shù)轉(zhuǎn)換為概率模型(例如，馬爾可夫隨機 場)之后，使用概率推理算法可以獲得給定像素的視差Mdi = w)的概率值。例如，依據(jù)本 發(fā)明可以被用來計算視差的一個推理算法是置信傳播算法，其中Mdi = w)近似真實概率 P (d, = W)，其是點i (具有坐標X，y)處的視差值的具有值W的概率，其中W是從1到M(M是 最大視差值)的整數(shù)。該方法然后進行到步驟205。在步驟205，當前源圖像Li的相關(guān)聯(lián)的2D立體圖像氏可以被使用所估計的視差概 率值而計算為當前圖像Li中像素的加權(quán)平均。具體地，參考公式(5)，可以將權(quán)重W(x，y， d)的值設(shè)置為等于給定像素的視差值的近似概率值Mdi =w)，其中，索引i對應(yīng)于具有坐 標(x，y)的像素。該方法然后可以退出。圖2的方法可應(yīng)用于普遍的照相機運動(水平的和垂直的照相機運動)。由于構(gòu) 造并使用水平視差圖來產(chǎn)生目標圖像(例如，右眼視圖)，因此盡管照相機運動可能具有垂 直分量，但仍產(chǎn)生逼真的立體圖像。然而，如果照相機運動具有水平分量以及很少或沒有垂 直分量，則可以使用平面的運動轉(zhuǎn)換來計算右眼水平視差圖并產(chǎn)生目標圖像。例如，圖3示出了依據(jù)本發(fā)明替代實施例的、用于將2D圖像序列轉(zhuǎn)換為3D立體圖 像的方法的流程圖。圖3的方法表示能夠由圖1的系統(tǒng)執(zhí)行的、用于將2D圖像序列轉(zhuǎn)換為 3D立體圖像的方法的替代實施例。在圖3的方法中，初始步驟300和301類似于圖2的步 驟200和201。更具體地，在步驟300，臨時緩存例如包括二維圖像序列的當前幀Li和前一 幀Li+1的多個相鄰幀。然后，該方法進行到步驟301。在步驟301，如上面參考圖2的方法的步驟201所描述地，估計相鄰幀之間的照相 機運動的量和方向。然后，該方法進行到步驟302。在步驟302，如果存在垂直視差的量的話，執(zhí)行垂直視差檢測處理以確定可能存在 的垂直視差的量。在一個實施例中，通過嘗試校正輸入序列中兩個圖像0^和1^+1)，可以實 現(xiàn)垂直視圖檢測。在計算了校正轉(zhuǎn)換之后，如果校正包括旋轉(zhuǎn)Li圖像，則一定存在垂直視差。因此，這里可以將旋轉(zhuǎn)角度用作用于標識垂直視差的度量。該方法然后進行到步驟303。在步驟303，確定垂直視差的量是否小于預(yù)定義閾值。即，在本發(fā)明的一個實施例 中，檢測器輸出指示所檢測的垂直視差的量的值。如果垂直視差的量小于預(yù)定義閾值(步 驟303中的肯定確定)，則該方法進行到步驟304。在步驟304，執(zhí)行平面轉(zhuǎn)換處理以便估計目標圖像氏。具體地，例如，使用構(gòu)造平 面轉(zhuǎn)換的已知方法，利用照相機運動參數(shù)來構(gòu)造平面轉(zhuǎn)換。該方法然后進行到步驟305。在步驟305，對當前參考圖像Li應(yīng)用平面轉(zhuǎn)換，以計算相關(guān)聯(lián)的目標圖像氏。該方 法然后可以退出。利用步驟304和305，可以使用照相機運動參數(shù)來導(dǎo)出可以被用來將參考圖像Li 轉(zhuǎn)換為目標圖像Ri的平面轉(zhuǎn)換矩陣。然而，僅當照相機運動只有水平運動時，才可以導(dǎo)出 轉(zhuǎn)換矩陣。如果照相機運動具有垂直分量，則將建立垂直視差，并且在任何平面轉(zhuǎn)換下都不 能去除垂直視差。然而，平面轉(zhuǎn)換可以去除照相機旋轉(zhuǎn)和縮放，因此建立了規(guī)范的立體對 (即，將左圖像和右圖像配準以便具有相同的焦距和平行的焦平面)。返回參考圖3的步驟303，然而如果確定垂直視差不小于預(yù)定義閾值(步驟303中 的否定確定)，則該方法跳到步驟306，其類似于如上所述的圖2中的步驟202。即，在步驟306，如上面參考圖2的步驟202所述地，構(gòu)造成本函數(shù)以基于照相機運 動估計目標(例如，右)圖像的優(yōu)化后的視差圖。在步驟306之后，圖3的方法進行到步驟 307。在步驟307，如上面參考圖2的步驟203所述地，將成本函數(shù)轉(zhuǎn)換為概率模型。在 步驟307之后，圖3的方法進行到步驟308。在步驟308，如上面參考圖2的步驟204所述地，對概率模型應(yīng)用概率推理算法以 確定視差模型的概率。在步驟308之后，圖3的方法進行到步驟309。在步驟309，如上面參考圖2的步驟205所述地，使用所估計的視差概率值，可以將 當前源圖像Li的相關(guān)聯(lián)的2D立體圖像Ri計算為當前圖像Li中像素的加權(quán)平均。該方法 然后可以退出。已經(jīng)描述了用于從具有普遍的照相機運動(其旨在例示而非限制)的單個二維 (2D)單視場圖像序列(例如，2D視頻圖像序列)生成立體圖像對的方法和系統(tǒng)的優(yōu)選實施 例，注意本領(lǐng)域技術(shù)人員根據(jù)以上教導(dǎo)可以作出修改和變形。因此，應(yīng)理解，可以在所公開 的發(fā)明的具體實施例中作出在由所附權(quán)利要求所概括的本發(fā)明的范圍和精神之內(nèi)的改變。 盡管以上內(nèi)容針對本發(fā)明的各個實施例，但是在不偏離本發(fā)明基本范圍的情況下可以設(shè)計 本發(fā)明的其它和另外的實施例。
權(quán)利要求
一種將二維圖像序列轉(zhuǎn)換為三維圖像的方法，包括確定(201)2D圖像的單視場序列中連續(xù)圖像之間的照相機運動參數(shù)，其中所述連續(xù)圖像包括當前參考圖像和相鄰圖像；使用所述照相機運動參數(shù)確定(202)目標圖像的水平視差圖；確定(203，204)視差圖的每個視差向量的視差概率值；以及使用所述視差概率值，確定(205)目標圖像為當前參考圖像中像素值的加權(quán)平均，使得目標圖像和當前參考圖像包括立體圖像對。
2.如權(quán)利要求1所述的方法，其中，確定水平視差圖包括構(gòu)造(202)成本函數(shù)，所述成 本函數(shù)包括像素匹配成本函數(shù)分量，其確定在水平視差圖情況下將當前參考圖像中的像 素匹配到相鄰圖像中的像素的成本；以及平滑成本函數(shù)分量，其考慮水平視差圖中相鄰像 素位置的視差值的相似性以便獲得平滑的水平視差圖。
3.如權(quán)利要求1所述的方法，其中，確定視差圖的視差向量的視差概率值包括 確定其中將每個像素的視差向量的值考慮為可以是多個離散值之一的隨機值的水平視差圖的概率模型(203)；使用概率推理算法，確定(204)視差圖中每個視差向量的最可能的視差值；以及 應(yīng)用與最可能視差值相關(guān)聯(lián)的概率值作為給定像素的權(quán)重值。
4.如權(quán)利要求3所述的方法，其中，確定水平視差圖的概率模型包括構(gòu)造(202)成本函數(shù)，所述成本函數(shù)包括像素匹配成本函數(shù)分量，其確定在水平視差 圖情況下將當前參考圖像中的像素匹配到相鄰圖像中的像素的成本；以及平滑成本函數(shù)分 量，其考慮水平視差圖中相鄰像素位置的視差值的相似性以便獲得平滑的水平視差圖；以 及將成本函數(shù)轉(zhuǎn)換(203)為對應(yīng)的能量函數(shù)。
5.如權(quán)利要求3所述的方法，其中，概率模型是馬爾可夫隨機場模型。
6.如權(quán)利要求5所述的方法，其中，通過第一和第二能量函數(shù)來定義馬爾可夫隨機場， 其中，第一能量函數(shù)對應(yīng)于匹配成本函數(shù)，而第二能量函數(shù)對應(yīng)于平滑成本函數(shù)。
7.如權(quán)利要求3所述的方法，其中，概率推理算法是置信傳播算法。
8.如權(quán)利要求1所述的方法，還包括使用照相機運動參數(shù)來確定(301)當前參考圖像和相鄰圖像之間的垂直照相機運動 量；以及如果垂直運動量低于預(yù)定閾值，則執(zhí)行(304)平面轉(zhuǎn)換來從當前參考圖像計算目標圖像。
9.如權(quán)利要求1所述的方法，還包括在使用所述照相機運動參數(shù)確定目標圖像的水 平視差圖的步驟之前，校正當前參考圖像和相鄰圖像。
10.一種用于將二維圖像序列轉(zhuǎn)換為三維圖像的系統(tǒng)(100)，包括圖像數(shù)據(jù)緩存器(111)，其用于存儲第一 2D圖像單視場序列中的連續(xù)圖像，其中，所述 連續(xù)圖像包括當前參考圖像和相鄰圖像；以及 圖像數(shù)據(jù)處理系統(tǒng)(110)，其包括照相機運動估計模塊(112)，其用于確定存儲在圖像數(shù)據(jù)緩存器中的連續(xù)圖像之間的 照相機運動參數(shù)；視差圖估計模塊(115)，其用于使用所述照相機運動參數(shù)來確定目標圖像的水平視差 圖，并且確定視差圖的每個視差向量的視差概率值；以及圖像產(chǎn)生模塊(116)，其用于使用所述視差概率值確定目標圖像為當前參考圖像中像 素值的加權(quán)平均，使得目標圖像和當前參考圖像包括立體圖像對。
11.如權(quán)利要求10所述的系統(tǒng)，其中，圖像數(shù)據(jù)處理系統(tǒng)(110)包括成本函數(shù)生成模 塊(113)，其用于構(gòu)造被視差圖估計模塊用來確定水平視差圖的成本函數(shù)，其中，所述成本 函數(shù)包括像素匹配成本函數(shù)分量，其確定在水平視差圖情況下將當前參考圖像中的像素 匹配到相鄰圖像中的像素的成本；以及平滑成本函數(shù)分量，其考慮水平視差圖中相鄰像素 位置的視差值的相似性以便獲得平滑的水平視差圖。
12.如權(quán)利要求10所述的系統(tǒng)，其中，圖像數(shù)據(jù)處理系統(tǒng)包括概率函數(shù)生成模塊 (113)，其用于確定其中將每個像素的視差向量的值考慮為可以是多個離散值之一的隨機 值的水平視差圖的概率模型，并且其中，視差圖估計模塊(115)使用概率推理算法確定視差圖中每個視差向量的最可能 的視差值，并且應(yīng)用與最可能視差值相關(guān)聯(lián)的概率值作為給定像素的權(quán)重值。
13.如權(quán)利要求12所述的系統(tǒng)，其中，概率模型是馬爾可夫隨機場模型。
14.如權(quán)利要求13所述的系統(tǒng)，其中，通過第一和第二能量函數(shù)來定義馬爾可夫隨機 場，其中，第一能量函數(shù)對應(yīng)于匹配成本函數(shù)，而第二能量函數(shù)對應(yīng)于平滑成本函數(shù)。
15.如權(quán)利要求13所述的系統(tǒng)，其中，概率推理算法是置信傳播算法。
16.如權(quán)利要求10所述的系統(tǒng)，其中，圖像數(shù)據(jù)處理系統(tǒng)包括成本函數(shù)生成模塊(113)，其構(gòu)造成本函數(shù)，所述成本函數(shù)包括像素匹配成本函數(shù)分 量，其確定在水平視差圖情況下將當前參考圖像中的像素匹配到相鄰圖像中的像素的成 本、以及平滑成本函數(shù)分量，其考慮水平視差圖中相鄰像素位置的視差值的相似性以便獲 得平滑的水平視差圖；以及概率函數(shù)生成模塊(113)，其用于構(gòu)造其中將每個像素的視差向量的值考慮為可以 是多個離散值之一的隨機值的水平視差圖的概率函數(shù)模型，其中，通過將成本函數(shù)的成本 函數(shù)分量轉(zhuǎn)換為與概率模型相關(guān)聯(lián)的對應(yīng)的能量函數(shù)來構(gòu)造概率函數(shù)模型。
17.如權(quán)利要求10所述的系統(tǒng)，其中，照相機運動估計模塊(112)使用照相機運動參數(shù) 來確定當前參考圖像和相鄰圖像之間的垂直照相機運動量；以及其中，該系統(tǒng)還包括平面轉(zhuǎn)換生成模塊(114)，其用于在照相機運動估計模塊確定垂 直運動量低于預(yù)定閾值的情況下，計算平面轉(zhuǎn)換函數(shù)，并且使用平面轉(zhuǎn)換函數(shù)來從當前參 考圖像計算目標圖像。
18.如權(quán)利要求10所述的系統(tǒng)，還包括圖像校正和校準模塊(112)，其用于校正和校 準當前參考圖像和相鄰圖像，使得當前參考圖像和相鄰圖像是規(guī)范的立體圖像對。
全文摘要
提供了用于將二維圖像序列轉(zhuǎn)換為三維圖像的方法和系統(tǒng)。在一個實施例中，一種用于將二維圖像序列轉(zhuǎn)換為三維圖像的方法包括確定(201)單視場參考2D圖像序列中連續(xù)圖像之間的照相機運動參數(shù)，其中連續(xù)圖像包括當前參考圖像和相鄰圖像；使用所述照相機運動參數(shù)確定(202)目標圖像的水平視差圖；確定(203，204)視差圖的每個視差向量的視差概率值；以及使用所述視差概率值，確定(205)目標圖像為當前參考圖像中像素值的加權(quán)平均，使得目標圖像和當前參考圖像包括立體圖像對。
文檔編號H04N13/00GK101933335SQ200880125825
公開日2010年12月29日 申請日期2008年1月29日 優(yōu)先權(quán)日2008年1月29日
發(fā)明者伊澤特·H·伊澤特, 張冬青 申請人:湯姆森特許公司