專利名稱：三維場景的分段平面重建的制作方法
三維場景的分段平面重建
背景技術(shù)：
傳統(tǒng)上，計算機(jī)的重現(xiàn)引擎可以被配置成根據(jù)二維圖像的無序集合提供恢復(fù)場景的稀疏結(jié)構(gòu)和攝像器校準(zhǔn)的自動特征匹配或特征提取。傳統(tǒng)重現(xiàn)引擎可以使用攝像器校準(zhǔn)、稀疏場景結(jié)構(gòu)、以及二維圖像把三維空間中每個像素的地點(diǎn)三角化。在三角化的地點(diǎn)中重現(xiàn)像素以形成三維場景。然而，生成的三維場景的質(zhì)量和細(xì)節(jié)常常遭受各種缺陷。例如，傳統(tǒng)重現(xiàn)引擎會作為孔重現(xiàn)二維圖像中捕捉的無紋理或非朗伯表面。通過對鄰近像素的深度進(jìn)行插值覆蓋孔。但是傳統(tǒng)重現(xiàn)引擎的插值會把具有直線的平坦表面錯誤地再現(xiàn)成三維場景中的坑洼表面。傳統(tǒng)重現(xiàn)引擎還會因?yàn)殚]塞、非朗伯表面等的不可靠匹配而錯誤地引入三維場景中的鋸齒。傳統(tǒng)重現(xiàn)引擎的質(zhì)量和細(xì)節(jié)在生成人造對象具有豐富平表面的場景、城市場景、
或者建筑場景的三維場景時顯著降級。此外，因?yàn)槲窗褌鹘y(tǒng)重現(xiàn)引擎執(zhí)行的傳統(tǒng)計算機(jī)視覺算法的假設(shè)設(shè)計成對于包含人造表面的場景工作良好，所以根據(jù)二維圖像的稀疏集合對三維場景的重建不可通過逼真方式導(dǎo)航。

發(fā)明內(nèi)容
克服本領(lǐng)域中這些和其它問題的本發(fā)明的實(shí)施例在一個方面中涉及用以根據(jù)二維圖像的集合生成可導(dǎo)航、逼真場景的計算機(jī)化重建系統(tǒng)、計算機(jī)可讀介質(zhì)、以及計算機(jī)實(shí)施的方法。計算機(jī)化重建系統(tǒng)恢復(fù)從二維圖像的集合捕捉的場景的密集、分段平面重建。計算機(jī)化重建系統(tǒng)識別三維平面候選的離散集。計算機(jī)化重建系統(tǒng)基于根據(jù)二維圖像的集合中捕捉的多個視圖重建的稀疏三維線段和場景的稀疏點(diǎn)云生成三維平面候選的離散集。繼而，通過使用基于切圖的能量最小化技術(shù)解決多標(biāo)簽馬爾可夫隨機(jī)場(MRF)優(yōu)化問題對于每個圖像恢復(fù)分段平面深度圖。計算機(jī)化重建系統(tǒng)把原始二維圖像投影到恢復(fù)的平面深度圖上以生成三維場景的重現(xiàn)。提供此發(fā)明內(nèi)容以介紹下面在具體實(shí)施方式
中進(jìn)一步描述的簡化形式的概念的選擇。此發(fā)明內(nèi)容并非意在識別要求保護(hù)主題的必要特征或關(guān)鍵特征，它也并非意在孤立地用作確定要求保護(hù)主題的范圍的過程中的輔助。


圖I是示例了按照本發(fā)明實(shí)施例的示范性運(yùn)算系統(tǒng)的網(wǎng)絡(luò) 圖2是示例了按照本發(fā)明實(shí)施例的示范性二維圖像的圖像圖；圖2A — B示例了按照本發(fā)明實(shí)施例，攝像器捕捉的二維圖像；
圖3是示例了按照本發(fā)明實(shí)施例的示范性三維平面的平面圖；圖3八示例了按照本發(fā)明實(shí)施例，根據(jù)運(yùn)動特征提取和攝像器校準(zhǔn)確定的結(jié)構(gòu)；圖3B示例了按照本發(fā)明實(shí)施例，計算機(jī)化重建服務(wù)器生成的三維線；圖3C — 3E示例了按照本發(fā)明實(shí)施例，計算機(jī)化重建服務(wù)器生成的不同三維視點(diǎn)的候選平面；圖4是示例了按照本發(fā)明實(shí)施例的運(yùn)算系統(tǒng)生成的示范性場景的三維場景圖；圖4八示例了按照本發(fā)明實(shí)施例，計算機(jī)化重建服務(wù)器生成的深度圖；圖4B示例了按照本發(fā)明實(shí)施例，計算機(jī)化重建服務(wù)器生成的代理網(wǎng)格；圖4C示例了按照本發(fā)明實(shí)施例，計算機(jī)化重建服務(wù)器生成的有紋理代理網(wǎng)格；
圖5是示例了按照本發(fā)明實(shí)施例的二維圖像內(nèi)消影方向的檢測的消影方向圖；圖5A示例了按照本發(fā)明實(shí)施例，計算機(jī)化重建系統(tǒng)處理以提取消影方向的示范性二維圖像；圖5B示例了按照本發(fā)明實(shí)施例，從二維圖像提取的消影方向的每個集群的朝向；圖5C示例了按照本發(fā)明實(shí)施例，計算機(jī)化服務(wù)器重現(xiàn)的三維場景的示范性重建；
圖6是示例了按照本發(fā)明實(shí)施例的表面法線的概率 分布的法線朝向圖；圖6八示例了按照本發(fā)明實(shí)施例，三維點(diǎn)的協(xié)方差大??；圖6B示例了按照本發(fā)明實(shí)施例，經(jīng)過三維點(diǎn)的平面的法線分布；
圖7是示例了按照本發(fā)明實(shí)施例的平面或三維線的朝向的概率分布的分布直方圖；圖7A示例了按照本發(fā)明實(shí)施例，基于根據(jù)三維點(diǎn)的決選表示法線的分布的直方圖；圖7B示例了按照本發(fā)明實(shí)施例，基于根據(jù)三維線的決選表示法線的分布的直方 圖8是示例了按照本發(fā)明實(shí)施例的從二維圖像提取的場景信息的可見性 圖9是示例了按照本發(fā)明實(shí)施例的使用馬爾可夫隨機(jī)場表示和切圖最小化表示平面的像素向標(biāo)簽的分配的 圖10是示例了按照本發(fā)明實(shí)施例的用來生成三維場景的二維圖像之間的關(guān)系的圖片一致性圖；圖IOA示例了按照本發(fā)明實(shí)施例的，示范性參考圖像；圖IOB示例了按照本發(fā)明實(shí)施例，計算機(jī)化重建系統(tǒng)使用的示范性扭曲鄰近圖像；圖IOC示例了按照本發(fā)明實(shí)施例，計算機(jī)化重建服務(wù)器確定的扭曲圖像與參考圖像之間圖片一致性的大??；
圖11是示例了按照本發(fā)明實(shí)施例的三維場景中平面的閉塞邊界和一對平面的相交處對應(yīng)的折縫邊緣的邊界圖；圖IlA示例了按照本發(fā)明實(shí)施例的，折縫邊緣；圖IlB示例了按照本發(fā)明實(shí)施例的閉塞邊界；
圖12A — B是示例了按照本發(fā)明實(shí)施例，三維劇場場景中視點(diǎn)之間的導(dǎo)航的轉(zhuǎn)變圖； 圖13A — B是示例了按照本發(fā)明實(shí)施例，三維劇場罩棚場景中視點(diǎn)之間的導(dǎo)航的轉(zhuǎn)變
圖14A — B是示例了按照本發(fā)明實(shí)施例，三維拱門場景中視點(diǎn)之間的導(dǎo)航的轉(zhuǎn)變圖； 圖15A — B是示例了按照本發(fā)明實(shí)施例，三維城堡場景中視點(diǎn)之間的導(dǎo)航的轉(zhuǎn)變圖； 圖16A — B是示例了按照本發(fā)明實(shí)施例，三維房間場景中視點(diǎn)之間的導(dǎo)航的轉(zhuǎn)變圖； 圖17A — E是示例了按照本發(fā)明實(shí)施例，三維大廳場景中視點(diǎn)之間的導(dǎo)航的轉(zhuǎn)變圖； 圖18是示例了按照本發(fā)明實(shí)施例的用以選擇用來根據(jù)電子數(shù)據(jù)庫中存儲的圖像的集 合重現(xiàn)可導(dǎo)航三維場景的平面的方法的邏輯圖；以及
圖19是示例了在根據(jù)電子數(shù)據(jù)庫中存儲的二維圖像的集合重現(xiàn)可導(dǎo)航三維場景時從二維圖像向三維平面分配像素的方法的邏輯圖。
具體實(shí)施例方式本專利通過具體性描述用于授予專利的主題以符合法定需求。然而，描述本身并非意在限制本專利的范圍。而是，發(fā)明人構(gòu)思了也可以通過其它方式實(shí)施要求保護(hù)的主題，以結(jié)合其它目前或未來技術(shù)，包括與本文件中描述的步驟類似的步驟的組合或不同步驟。此外，雖然在本文中會使用術(shù)語“步驟”和“框”意指采用的方法的不同元素，但如非和除了明確描述各步驟的次序時不應(yīng)當(dāng)把術(shù)語解釋成暗示本文中公開的各種步驟之間或之中的任何特定次序。進(jìn)一步地，下面參照整體經(jīng)引用并入本文的附圖詳細(xì)描述實(shí)施例。本發(fā)明的實(shí)施例提供了根據(jù)二維圖像生成可導(dǎo)航三維場景的計算機(jī)化重建系統(tǒng)。計算機(jī)化重建系統(tǒng)處理二維圖像以提取匹配特征、攝像器校準(zhǔn)、以及地理或空間信息。繼而，計算機(jī)化重建系統(tǒng)根據(jù)二維圖像自動檢測消影方向。計算機(jī)化重建系統(tǒng)使用匹配特征、攝像器校準(zhǔn)、空間信息、以及消影方向生成三維場景的平面候選集。計算機(jī)化重建系統(tǒng)確定平面候選集的概率朝向和生成馬爾可夫隨機(jī)場。繼而，計算機(jī)化重建系統(tǒng)使用馬爾可夫隨機(jī)場對應(yīng)的最小化函數(shù)通過從二維圖像向平面候選集分配像素根據(jù)二維圖像生成三維場
旦
-5^ O如本領(lǐng)域技術(shù)人員將會明白的，計算機(jī)化重建系統(tǒng)可以包括硬件、軟件、或者硬件和軟件的組合。硬件包括被配置成執(zhí)行存儲器中存儲的指令的存儲器和處理器。在一個實(shí)施例中，存儲器包括存儲計算機(jī)可用指令用于計算機(jī)實(shí)施的方法的計算機(jī)程序產(chǎn)品的計算機(jī)可讀介質(zhì)。計算機(jī)可讀介質(zhì)包括易失性和非易失性介質(zhì)、可移除和不可移除介質(zhì)、數(shù)據(jù)庫可讀取的介質(zhì)、交換機(jī)、以及各種其它網(wǎng)絡(luò)設(shè)備。網(wǎng)絡(luò)交換機(jī)、路由器、以及相關(guān)組件如作為與之通信的裝置一樣，本質(zhì)上是傳統(tǒng)的。通過實(shí)例、以及非限制的方式，計算機(jī)可讀介質(zhì)包括計算機(jī)存儲介質(zhì)和通信介質(zhì)。計算機(jī)存儲介質(zhì)、或者機(jī)器可讀介質(zhì)，包括以用于存儲信息的任何方法或技術(shù)實(shí)施的介質(zhì)。存儲信息的實(shí)例包括計算機(jī)可用指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊、以及其它數(shù)據(jù)表示。計算機(jī)存儲介質(zhì)包括但不限于隨機(jī)訪問存儲器(RAM)、只讀存儲器(ROM)、電可擦除可編程只讀存儲器(EEPR0M)、閃存或其它存儲器技術(shù)、壓縮光盤只讀存儲器(CD-ROM)、數(shù)字多功能盤(DVD)、全息介質(zhì)或其它光盤存儲裝置、磁盒、磁帶、磁盤存儲裝置、以及其它磁存儲設(shè)備。這些技術(shù)可以瞬間地、暫時地、或者永久地存儲數(shù)據(jù)。圖I是示例了按照本發(fā)明實(shí)施例的，示范性操作環(huán)境100的網(wǎng)絡(luò)圖。圖I中示出的操作環(huán)境100僅是示范性的以及并非意在建議對于范圍或功能的任何限制。本發(fā)明的實(shí)施例通過大量其它配置可操作。參照圖1，操作環(huán)境100包括通過網(wǎng)絡(luò)113彼此通信的計算機(jī)化重建服務(wù)器110、二維圖像120、三維場景130、筆記本電腦140、多媒體捕捉設(shè)備150和160、文件服務(wù)器170、個人計算機(jī)180、衛(wèi)星190、以及移動設(shè)備195。計算機(jī)化重建服務(wù)器110被配置成生成可導(dǎo)航三維場景130。計算機(jī)化重建服務(wù)器Iio包括平面生成器111、優(yōu)化引擎112、重建引擎113、以及多媒體索引114。計算機(jī)化重建系統(tǒng)可以從運(yùn)算設(shè)備(例如，筆記本電腦140、多媒體捕捉設(shè)備150和160、文件服務(wù)器170、個人計算機(jī)180、衛(wèi)星190、以及移動設(shè)備195)接收用以生成三維場景130的請求。請求可以包括向計算機(jī)化重建服務(wù)器110傳輸?shù)亩S圖像120的集合。計算機(jī)化重建服務(wù)器把二維圖像120的集合存儲在多媒體索引114中。平面生成器111被配置成根據(jù)二維圖像120中包括的攝像器和場景信息識別候選平面。繼而，平面生成器111確定每個候選平面的概率朝向，以及把共用類似概率朝向的候選平面集群。在一些實(shí)施例中，平面生成器111創(chuàng)建用以表示三維場景130邊界的底平面和背部平面。平面生成器111從二維圖像120提取全局場景信息。全局場景信息，可以包括三維點(diǎn)和坐標(biāo)、消影方向、三維線段、以及三維點(diǎn)的對應(yīng)性大小、三維線、以及自二維圖像120中捕捉的場景的多個視圖起的消影方向。在一個實(shí)施例中，平面生成器111執(zhí)行修改隨機(jī)樣本一致性(RANSAC)算法以使用全局場景信息檢測候選平面。平面生成器111可以從二維圖像120以及捕捉場景的攝像器提供的任何相關(guān)聯(lián)元數(shù)據(jù)提取三維點(diǎn)和坐標(biāo)。攝像器提供的元數(shù)據(jù)可以包括地點(diǎn)信息、距離信息、以及任何其它攝像器校準(zhǔn)信息。因而，平面生成器111可以使用元數(shù)據(jù)和二維圖像120來對二維圖像中每個像素生成空間三維點(diǎn)。在一些實(shí)施例中，平面生成器111基于相似性把像素分組成超級像素。 平面生成器111檢測通過二維圖像120捕捉的場景中的消影方向。在一個實(shí)施例中，平面生成器111執(zhí)行邊緣檢測算法以檢測二維圖像120中的消影方向。邊緣檢測算法提供二維圖像120中包括的二維線段。連接二維線段以形成二維圖像的集合中每個圖像的邊緣地圖。以及平面生成器111檢測三個維度中的平行線對應(yīng)的每個邊緣地圖中的線或線段。圖像中的消影點(diǎn)對應(yīng)于三維場景中的消影方向。平面生成器111對消影方向?qū)?yīng)的向量的單位球體執(zhí)行平均移位集群。平面生成器111保留具有大量消影方向的集群，丟棄稀疏集群。平面生成器111根據(jù)集群中包括的場景的不同視圖使用每個二維線段識別每個集群的代表性消影方向。在一些實(shí)施例中，平面生成器111檢查彼此幾乎正交的對的消影方向集以及如非集中已經(jīng)存在正交三元組則添加完成正交三元組的第三消影方向。使用對極約束和全局場景信息識別匹配線段的平面生成器111構(gòu)建三維線段。平面生成器111在通過二維圖像捕捉的場景中查找具有類似消影方向和受關(guān)注近端匹配點(diǎn)的二維線段對。把二維線的多個匹配對鏈接在一起，平面生成器111根據(jù)通過二維圖像捕捉的場景的大量視圖驗(yàn)證三維線的一致性。在一些實(shí)施例中，用于驗(yàn)證的大量視圖至少四個。通過把二維段對三角化和求出鏈接二維段內(nèi)重投影誤差總體最小的對來運(yùn)算三維線。繼而，平面生成器111經(jīng)由間隔分析確定三維線段的端點(diǎn)。在一些實(shí)施例中，平面生成器111尋找識別的消影方向未約束的二維段?；谒鼈兊姆较蚝蛥f(xié)方差把這些額外二維段(離群值)集群。平面生成器111基于生成的三維線和識別的消影方向確定每個三維點(diǎn)的概率地點(diǎn)和平面的朝向。平面生成器111通過評估消影方向每個對的叉乘生成似然平面朝向集
CiU。在某些實(shí)施例中，把彼此五度內(nèi)的平面朝向?yàn)樽鳛橹貜?fù)。平面生成器111基于顯著性把似然平面朝向集歸類。通過統(tǒng)計與消影方向的相應(yīng)對相關(guān)聯(lián)的集群的尺寸測量每個平面朝向Λ;的顯著性。平面生成器111確定每個三維點(diǎn)的概率地點(diǎn)。在一個實(shí)施例中，平面生成器111對于每個三維點(diǎn)運(yùn)算三維Mahalonobis距離以確定三維點(diǎn)是否屬于三維線和消影方向表示的一個或更多個平面假定。Mahalonobis距離測量三維點(diǎn)的協(xié)方差(不確切性)和平面假定的相應(yīng)擬合誤差。在某些實(shí)施例中，平面生成器111通過運(yùn)算沿著通過二維圖像120捕
捉的場景的平均查看方向朝向的向量 <來識別每個三維點(diǎn)石的近似不確切性。向量^的量值對應(yīng)于二維圖像120中像素的預(yù)計不確切性。平面生成器111可以使用向量返的量值評估平面假定的不確切性。
平面生成器111基于平面朝向集ft}上的離散似然性分布確定每個三維點(diǎn)石的表
面法線。平面生成器111基于圍繞三維點(diǎn)尤的鄰近三維點(diǎn)的數(shù)量和沿著朝向平面一個維度的健壯方差為經(jīng)過三維點(diǎn)尤的每個朝向平面給出分值。平面生成器111向密集周邊具有沿著朝向平面似然性分布的一個維度的唯一峰值的每個三維點(diǎn)分配表面法線。向三維點(diǎn)分配的表面法線限制相應(yīng)三維點(diǎn)向三維平面的分配。在一些實(shí)施例中，平面生成器111使用三維線的線方向判定三維線會在平面和三維線的分配期間決選哪些平面。類似地，平面生成器111可以使用三維點(diǎn)的表面法線判定三維點(diǎn)會在三維點(diǎn)向平面的分配期間決選哪些平面。平面生成器111使用每個三維點(diǎn)和三維線確定通過二維圖像120捕捉的場景的平面。平面生成器111建立兩個直方圖( 1 i#)以測量從三維點(diǎn)和三維線接收的每個朝向
反的決選。平面生成器111在與捕捉了相應(yīng)二維圖像120的攝像器相關(guān)聯(lián)的地點(diǎn)處于平面前方時統(tǒng)計來自每個三維點(diǎn)和三維線的決選。平面生成器111不統(tǒng)計其估算的法線未能與
平面的朝向反匹配的每個三維點(diǎn)和三維線的決選。在一些實(shí)施例中，平面生成器111過濾其估算的法線未能與平面的朝向Λ;匹配的每個三維點(diǎn)和三維線。在一個實(shí)施例中，平面生成器111對三維點(diǎn)和三維線采樣以獲得用來創(chuàng)建直方圖(馬1 Zfi2)的三維線和三維點(diǎn)的代表性集合。通過以下5" 二 h - :構(gòu)建三維點(diǎn)的樣
本集(S1)。通過以下S:' — ；>·, : - #〗* I::構(gòu)建三維線的樣本集(S2)，其中，Yk表示三維線。用尺寸 木)的自適應(yīng)高斯內(nèi)核表示每個三維點(diǎn)樣本平面生成器111調(diào)節(jié)內(nèi)核的尺寸以考慮與每個三維點(diǎn)相關(guān)聯(lián)的不確切性。平面生成器111分配用以控制直方圖/Zi2平滑性的權(quán)重(W)。繼而，平面生成器111創(chuàng)建與<正交的一維子空間以及把每個三維點(diǎn)樣本4投影在一維子空間中以確定三維點(diǎn)樣本是否共用朝向4。對于每個匹配，當(dāng)前朝向Ptr的直方圖祀中的計數(shù)增加。用尺寸(|.l't|iKr, · B,)的自適應(yīng)高斯內(nèi)核表示每個三維線樣本力。調(diào)節(jié)內(nèi)核的尺寸以考慮與每個三維線相關(guān)聯(lián)的不確切性。W是分配的用以控制直方圖私2平滑性的權(quán)重。繼而，平面生成器111創(chuàng)建與Λ;正交的一維子空間以及把每個三維線樣本Ti投影在一維子空間中以確定三維線樣本是否共用朝向&。對于每個匹配，當(dāng)前朝向&的直方圖Hi2中的計數(shù)增加。平面生成器111檢測這兩個直方圖(/f/ if )中的局部峰值。在某些實(shí)施例中，平
面生成器因?yàn)槎鄠€平行三維線常常偶然共平面以及非平行線較不可能共平面(除非場景中
存在真實(shí)平面)所以在三維線的多個(彡2)唯一方向都與&正交時統(tǒng)計Zfi2中的峰值。另
夕卜，平面生成器111執(zhí)行用以避免生成太貼近候選平面的非最大抑制。繼而，基于峰值朝向、三維點(diǎn)、以及三維線的任何組合生成候選平面。在其它實(shí)施例中，平面生成器111提供通過二維圖像120捕捉的場景的離群部分的額外平面、底平面、以及背部平面。離群部分是具有稀疏全局場景信息的二維圖像120的區(qū)域。平面生成器111可以使用兩點(diǎn)或三點(diǎn)RANSAC算法執(zhí)行消影方向和三維點(diǎn)的隨機(jī)采樣。繼而，平面生成器111計算相關(guān)聯(lián)三維點(diǎn)的不確切性，確定經(jīng)過三維點(diǎn)的額外平面的朝向以識別候選平面集。平面生成器111還運(yùn)算攝像器捕捉的二維圖像每個視圖的底平面和背部平面。通過選擇與攝像器的側(cè)向量正交的上向量估算底平面。把底平面識別成與上向量正交和三維點(diǎn)的95%處于平面以上的平面。繼而，平面生成器111細(xì)化底平面以較好地表示三維場景中的底部。通過選擇與攝像器的光學(xué)軸正交的向量估算背部平面。把背部平面識別成與光學(xué)軸正交和三維點(diǎn)的95%處于平面前方的平面。繼而，平面生成器111可以優(yōu)化背部平面以較好地表示三維空間中的背部底部。優(yōu)化引擎112被配置成使用平面生成器111提供的候選平面生成每個二維圖像的
深度圖。優(yōu)化引擎112使用二維圖像中的像素和候選平面生成馬爾可夫隨機(jī)場(MRF)。優(yōu)化引擎112生成具有表示像素和平面的節(jié)點(diǎn)的圖。圖還包括連接圖節(jié)點(diǎn)的邊緣。每個邊緣與表示用于向邊緣連接的兩個像素分配不同平面標(biāo)簽的處罰的代價。優(yōu)化引擎112評估測量向圖像中像素分配平面標(biāo)簽的一致性的目標(biāo)函數(shù)。在一些實(shí)施例中，優(yōu)化引擎112使用能量函數(shù)A確定像素的理想標(biāo)簽化。能量函數(shù)A表示通過周邊系統(tǒng)在底層像素數(shù)據(jù)上定義的MRF中后驗(yàn)概率分布的對數(shù)似然性(例如，4個連接的周邊考慮所有豎直和水平鄰近像素)。優(yōu)化引擎112可以評估
)。每個平面P對應(yīng)于標(biāo)簽I。每個像素對應(yīng)于圖像
WMO
t t
中的點(diǎn)/7以及可以分配有標(biāo)簽I。標(biāo)簽集是有限的，并且從閉集e L中選取。能量函數(shù)萬包括數(shù)據(jù)項和平滑項。數(shù)據(jù)項％允許優(yōu)化引擎112測量分配有標(biāo)簽I的像素/7的代價(處罰)。平滑項Ka ^通過每當(dāng)分別為鄰近像素/7和7分配標(biāo)簽I和矣時分配代價，允許優(yōu)化引擎112促進(jìn)分段平滑標(biāo)簽化(即，使解規(guī)則化)。在某些實(shí)施例中，Ka ^是尺度，優(yōu)化弓I擎112可以執(zhí)行擴(kuò)展移動算法以運(yùn)算在自全局最優(yōu)起的可證明距離內(nèi)的標(biāo)簽分配。在一些實(shí)施例中，優(yōu)化引擎112可以選擇平面子集Λ/ Cl P的標(biāo)簽忍。用#= K·},
i = 1···#表示平面的子集，每個選擇的平面巧面向攝像器和處在攝像器的視圖錐體內(nèi)。優(yōu)化引擎112可以基于與平面&的地點(diǎn)對應(yīng)的地點(diǎn)相關(guān)聯(lián)的像素的密度把平面&歸類。另夕卜，優(yōu)化引擎可以包括基于二維圖像的集合中地平線的地點(diǎn)將底平面和背部平面包括在平面子集#中。在一個實(shí)施例中，優(yōu)化引擎112通過組合多視片一致性、三維點(diǎn)和線的幾何臨近性、三維點(diǎn)和平面的射線可見性測量4。4測量向像素/7分配標(biāo)簽(B卩，平面％)的
代價。Dp = + + ,其中，是多視片一致性，D2p是稀疏三維點(diǎn)和線的幾何臨近性，D]測量基于三維點(diǎn)和平面的射線可見性的自由空間侵占。在實(shí)施例中，優(yōu)化引擎112可以密集地測量每個像素處的，采用稀疏約束測量一個或更多個二維圖像120中特定像素處的和優(yōu)化引擎112通過從參考圖像的鄰近圖像中選擇大量視圖測量多視片一致性心；以及測量參考圖像與鄰近像素的視圖之間的相似性。在一個實(shí)施例中，優(yōu)化引擎112
選擇參考圖像厶的A (< 10)個鄰近圖像5。繼而，優(yōu)化引擎112通過平面巧生成單應(yīng)
性以把每個鄰近圖像5扭曲成參考圖像4。優(yōu)化引擎112使用扭曲圖像G和參考圖像Tr
測量扭曲圖像S和參考圖像忍的P X P個路徑中每個像素P的歸一化交叉相關(guān)性(NCC)。
在一些實(shí)施例中，/》=9，NCC測量參考圖像(/7)的像素和扭曲圖像的像素的相似性。優(yōu)化引擎112可以考慮奇偶范圍為d的候選平面的地點(diǎn)中的不確切性。奇偶范圍δρ可以圍繞平面為中心，優(yōu)化引擎112可以查找奇偶范圍內(nèi)的最佳匹配。在一些實(shí)施例
中，優(yōu)化引擎在尋求最佳匹配時修整二維圖像(厶，S)。與每個平面相關(guān)聯(lián)的NCC的大小是
權(quán)利要求
1.一種計算機(jī)實(shí)施的方法，用以選擇用來根據(jù)電子數(shù)據(jù)庫中存儲的圖像的集合重現(xiàn)可導(dǎo)航三維場景的平面，該計算機(jī)實(shí)施的方法包括 從電子數(shù)據(jù)庫接收(1820)圖像的集合； 從圖像的集合提取(1830)場景信息，其中，場景信息包括攝像器校準(zhǔn)、三維點(diǎn)云、三維線段、以及點(diǎn)和線的多視圖對應(yīng)性的數(shù)據(jù)； 使用邊緣檢測和二維線段提取來檢測(1840)圖像的集合中每個圖像內(nèi)的消影方向； 基于消影方向和場景信息識別(1850)可導(dǎo)航三維場景中的每個平面；以及 生成(1860)馬爾可夫隨機(jī)場分布,用以基于向馬爾可夫隨機(jī)場分布應(yīng)用的最小化函數(shù)向每個平面分配像素以優(yōu)化把像素分配給可導(dǎo)航三維場景中平面的全局代價。
2.權(quán)利要求I的計算機(jī)實(shí)施的方法，其中，使用平均移位集群檢測通過圖像的集合捕捉的不同視圖的消影方向。
3.權(quán)利要求I的計算機(jī)實(shí)施的方法，其中，使用從圖像的集合提取的平行線檢測消影方向。
4.權(quán)利要求I的計算機(jī)實(shí)施的方法，進(jìn)一步包括基于從圖像的集合提取的消影方向的每個可能對的叉乘確定平面朝向集。
5.權(quán)利要求I的計算機(jī)實(shí)施的方法，其中，用向馬爾可夫隨機(jī)場分布圖應(yīng)用的最小化函數(shù)中包括的平滑項表示平面像素分配的全局代價的一部分，計算平滑項以優(yōu)選與和閉塞平面的法線向量正交的消影方向一致的二維線處的不連續(xù)性對應(yīng)的像素處的平面之間的轉(zhuǎn)變。
6.權(quán)利要求5的計算機(jī)實(shí)施的方法，進(jìn)一步包括在鄰近圖像中的相應(yīng)像素未選取同樣平面的情況下計算用以處罰向平面分配一個圖像中像素的馬爾可夫隨機(jī)場分布圖中的平滑項。
7.權(quán)利要求5的計算機(jī)實(shí)施的方法,進(jìn)一步包括 計算用以優(yōu)選圖像中的二維線或二維線段對應(yīng)的轉(zhuǎn)變的馬爾可夫隨機(jī)場分布圖中的 平滑項。
8.權(quán)利要求5的計算機(jī)實(shí)施的方法，其中，圖像的集合中每個圖像中的像素迭代地決選以確定使全局代價最小化的平面標(biāo)簽分配。
9.權(quán)利要求5的計算機(jī)實(shí)施的方法，其中，最小化函數(shù)選擇平滑項約束的馬爾可夫隨機(jī)場分布圖中的剪切代價。
10.用于存儲計算機(jī)可執(zhí)行指令的一個或更多個計算機(jī)可讀介質(zhì)，計算機(jī)可執(zhí)行指令用以執(zhí)行在根據(jù)電子數(shù)據(jù)庫中存儲的二維圖像的集合重現(xiàn)可導(dǎo)航三維場景時從二維圖像向三維平面分配像素的方法，方法包括 接收(1920) 二維圖像的集合； 根據(jù)從二維圖像提取的場景信息生成(1930)三維平面集，其中，場景信息包括消影方向、線、以及三維點(diǎn)； 使用場景信息和生成的三維平面生成(1940)馬爾可夫隨機(jī)場；以及 向生成的平面分配(1950)像素以使提供二維圖像深度圖的馬爾可夫隨機(jī)場表示的能量函數(shù)最小化，其中，使用深度圖重現(xiàn)可導(dǎo)航三維場景。
11.權(quán)利要求10的計算機(jī)可讀介質(zhì)，進(jìn)一步包括通過識別閉塞邊緣和折縫邊緣修正深度圖和邊界；以及 使用二維圖像的深度圖和二維圖像向其深度圖上的投影重現(xiàn)三維場景，其中，多個二維圖像之間的交叉淡入淡出允許集合中二維圖像中每個二維圖像的平滑視圖插值。
12.權(quán)利要求10的計算機(jī)可讀介質(zhì)，其中，向生成的平面分配像素以使馬爾可夫隨機(jī)場表示的能量函數(shù)最小化進(jìn)一步包括 考慮多視片一致性、稀疏三維點(diǎn)和線的幾何臨近性、以及根據(jù)三維點(diǎn)和線的射線可見性得出的自由空間侵占；以及 基于設(shè)置用于分配像素的條件的數(shù)據(jù)項和設(shè)置用于在平面之間轉(zhuǎn)變的條件的平滑項優(yōu)化馬爾可夫隨機(jī)場。
13.權(quán)利要求12的計算機(jī)可讀介質(zhì)，其中，數(shù)據(jù)項在鄰近圖像中的相應(yīng)像素在每個二維圖像上的迭代穿過期間未選取同樣平面的情況下處罰向平面分配一個圖像中的像素。
14.權(quán)利要求12的計算機(jī)可讀介質(zhì)，其中，平滑項包括以下平滑項中的至少一個平優(yōu)選與和閉塞平面的法線向量正交的消影方向一致的二維線處的不連續(xù)性對應(yīng)的轉(zhuǎn)變的平滑項、優(yōu)選圖像中的二維線對應(yīng)的轉(zhuǎn)變的平滑項、或者在鄰近圖像中的相應(yīng)像素在二維圖像的集合中所有圖像上的同時穿過期間未選取同樣平面的情況下處罰向平面分配一個圖像中的像素的平滑項。
15.一種具有被配置成根據(jù)二維圖像的集合生成可導(dǎo)航三維場景的存儲器和處理器的計算機(jī)系統(tǒng)，計算機(jī)系統(tǒng)包括 平面生成器(111)，被配置成根據(jù)從二維圖像提取的場景信息生成三維平面集； 優(yōu)化引擎(112)，被配置成估算二維圖像中每個二維圖像的深度圖以及定義用于從二維圖像向生成的平面分配像素的全局和局部邊界約束；以及 重建引擎(113)，用以基于三維場景的深度圖根據(jù)來自集合中每個圖像的交叉淡入淡出視圖、插值視圖、以及生成的平面創(chuàng)建多平面多邊形。
全文摘要
提供了用于根據(jù)二維圖像的集合重建三維場景的方法、系統(tǒng)、以及計算機(jī)可讀介質(zhì)。計算機(jī)化重建系統(tǒng)對二維圖像的集合執(zhí)行計算機(jī)視覺算法以識別用來對二維圖像中描繪的環(huán)境的視覺特性建模的候選平面。計算機(jī)視覺算法可以使表示二維圖像的特征之間關(guān)系和相似性的能量函數(shù)最小化以把二維圖像的像素分配給三維場景中的平面。三維場景是可導(dǎo)航的，并且描繪多個二維圖像之間的視點(diǎn)轉(zhuǎn)變。
文檔編號G06T19/00GK102804231SQ201080026636
公開日2012年11月28日 申請日期2010年6月15日 優(yōu)先權(quán)日2009年6月15日
發(fā)明者S.N.辛哈, D.E.斯蒂德利, R.S.塞利斯基 申請人:微軟公司