專利名稱：利用立體成像生成自由視點視頻的制作方法
技術領域：
本發(fā)明涉及用于生成自由視點視頻的方法和系統(tǒng)。
背景技術：
自由視點視頻(FVV)為用于從多個角度同時地捕獲整個場景的視頻捕獲和回放技術，并且其中在回放期間由觀看者動態(tài)地控制觀看視角。與由單個攝像機捕獲并且具有固定的觀看視角的特征的傳統(tǒng)視頻不同，F(xiàn)VV捕獲涉及視頻攝像機陣列及相關技術以從多個視角同時記錄視頻場景。在回放期間，合成已知的真實視點之間的中間合成視點，允許在攝像機陣列內的無縫空間導航。通常，更多個視頻攝像機組成的更密集的攝像機陣列在FVV 回放期間產生更逼真的結果。當在密集攝像機陣列中記錄了更多的真實數(shù)據(jù)時，用于合成視點的基于圖像的渲染方法更有可能生成高質量的輸出，這是由于它們獲知更多的實際數(shù)據(jù)。在具有較少的真實數(shù)據(jù)的較稀疏攝像機陣列中，在生成合成視點中必須做出更多的估計和近似，結果較不準確并因此較不逼真。用于主動深度感測的較新技術,諸如來自Microsoft⑧Corporation (微軟公司)的Kinect 系統(tǒng),通過使用結構光(即，主動立體(active stereo))來從視頻場景提取幾何結構而改進了三維重建方法，這與僅僅依靠在環(huán)境或自然光照條件下利用視頻攝像機捕獲的圖像數(shù)據(jù)的被動方法相反。結構光方法允許FVV提取更密集的深度數(shù)據(jù)，因為光圖樣在場景上提供了另外的紋理用于更密集的立體匹配。通過比較，被動方法在環(huán)境和自然光照條件下通常不能在看起來缺少紋理的表面處產生可靠的數(shù)據(jù)。由于產生更密集深度數(shù)據(jù)的能力，主動立體技術趨于需要更少的攝像機來用于高質量的3D場景重建。對于現(xiàn)有技術，諸如來自Microsoft Corporation的Kinect 系統(tǒng)，紅外(IR)圖樣被投影到場景并且由單個IR攝像機捕獲。能夠通過發(fā)現(xiàn)光圖樣的局部偏移提取深度圖。盡管有利用結構光技術的優(yōu)點，但是多個問題限制了在FVV的創(chuàng)建中相似設備的效用。

發(fā)明內容
為了提供對此處所描述的一些方面的基本理解，下面呈現(xiàn)了對本發(fā)明的簡單概要。該概要不是所要求保護的主題的廣泛綜述。既不旨在標識所要求保護的主題的要點或關鍵要素，也不旨在描繪本發(fā)明的范圍。其唯一目的是以簡單的形式呈現(xiàn)所要求保護的主題的一些概念作為在后面呈現(xiàn)的更詳細的描述的前序。實施例提供了一種用于利用主動紅外(IR)立體模塊生成視頻的方法。所述方法包括利用主動IR立體模塊計算場景的深度圖。可以通過下列步驟計算深度圖將IR圓點(dot)圖樣投影到場景上，從兩個或更多個同步的IR攝像機中的每一個IR攝像機捕獲立體圖像，檢測立體圖像內的多個圓點，計算對應于立體圖像中的多個圓點的多個特征描述符，計算立體圖像之間的視差圖，以及利用視差圖生成場景的深度圖。所述方法還包括利用深度圖在三維空間中生成場景的點云。所述方法還包括生成點云的網格并從點云的網格中生成場景的投影紋理圖。所述方法進一步包括通過組合投影紋理圖與真實圖像來生成視頻。
另一實施例提供了一種用于利用主動IR立體模塊生成視頻的系統(tǒng)。該系統(tǒng)包括被配置為實施主動IR立體模塊的處理器。主動IR立體模塊包括被配置為利用主動IR立體模塊計算場景的深度圖的深度圖計算模塊，以及被配置為利用深度圖在三維空間中生成場景的點云的點云生成模塊，其中主動IR立體模塊包括三個或更多個同步的攝像機和IR圓點圖樣投影儀。所述模塊還包括被配置為生成點云的網格的點云網格生成模塊和被配置為從點云的網格生成場景的投影紋理圖的投影紋理圖生成模塊。此外，所述模塊包括被配置為利用投影紋理圖生成場景的視頻的視頻生成模塊。此外，另一實施例提 供了用于存儲計算機可讀指令的一個或更多個非易失性計算機可讀存儲介質。計算機可讀指令在由一個或更多個處理設備執(zhí)行時提供了用于利用主動IR立體模塊生成視頻的立體模塊系統(tǒng)。計算機可讀指令包括被配置為利用主動IR立體模塊通過下列方式計算場景的深度圖的代碼將IR圓點圖樣投影到場景上，從兩個或更多個同步的IR攝像機中的每一個IR攝像機捕獲立體圖像，檢測立體圖像內的多個圓點，計算對應于立體圖像中的多個圓點的多個特征描述符，計算立體圖像之間的視差圖，并利用視差圖生成場景的深度圖。計算機可讀指令還包括代碼，所述代碼被配置為利用深度圖在三維空間中生成場景的點云，生成點云的網格，從點云的網格生成場景的投影紋理圖，并通過組合投影紋理圖與真實圖像來生成視頻。提供該概要來以簡單的形式引入概念的選擇，在下面還以詳細的描述進一步描述了這些概念。該概要不旨在標識所要求保護的主題的要點特征或必要特征，也不旨在用來限制所要求保護的主題的范圍。


圖I為用于利用主動IR立體模塊生成自由視點視頻(FVV)的立體模塊系統(tǒng)的框圖；圖2為可用于生成場景的深度圖的主動IR立體模塊的示意圖；圖3為示出了利用主動IR立體模塊生成深度圖的方法的處理流程圖；圖4為可用于標識立體圖像內的特征描述符的一種類型的劃分(binning)方法的示意圖；圖5為可用于標識立體圖像內的特征描述符的另一類型的劃分方法的示意圖；圖6為示出了用于利用主動IR立體模塊生成FVV的方法的處理流程圖；圖7為可用于生成場景的深度圖的通過同步信號連接的主動IR立體模塊的系統(tǒng)的不意圖；圖8為示出了對于兩個或更多個同步鎖相的(genlocked)主動IR立體模塊中的每一個主動IR立體模塊生成深度圖的方法的處理流程圖；圖9為示出了用于利用兩個或更多個同步鎖相的主動IR立體模塊生成FVV的方法的處理流程圖；以及圖10為示出了存儲適于利用主動IR立體模塊生成FVV的代碼的有形的計算機可讀介質的框圖。貫穿本公開和附圖使用相同的數(shù)字表示相似的組件和特征。100系列中的數(shù)字指的是最初在圖I中建立的特征，200系列中的數(shù)字指的是最初在圖2中建立的特征，300系列中的數(shù)字指的是最初在圖3中建立的特征等等。
具體實施例方式如上面所討論的，自由視點視頻(FVV)為由觀看者動態(tài)地控制觀看視角的視頻回放的技術。與由單個攝像機捕獲并且具有固定的觀看視角的特征的傳統(tǒng)視頻不同，F(xiàn)VV捕獲利用視頻攝像機陣列及相關技術來從多個視角同時記錄視頻場景。利用三維重建方法處理來自視頻陣列的數(shù)據(jù)以提取場景的紋理映射幾何結構。之后使用基于圖像的渲染方法在任意視點處生成合成視點。在每個時間幀處恢復的紋理映射幾何結構允許觀看者控制虛擬攝像機或視點的空間和時間位置二者，這實質上為FVV。換言之，實現(xiàn)了通過空間和時間二者的虛擬導航。此處公開的實施例闡明了利用主動立體觀測(stereopsis)生成場景的FVV的方 法和系統(tǒng)。立體觀測(或僅“立體”)為從兩個或更多個不同的視角提取場景的深度信息的處理。如果使用結構光，則立體具有“主動”的特征?？梢酝ㄟ^利用來自不同視角的立體圖像之間的視差檢測的方法生成深度圖來獲得場景的三維視圖。通過跨越圖像匹配點(point)來確定立體圖像的深度分布。一旦已經標識了立體圖像內的對應點，進行三角測量以恢復立體圖像深度。三角測量為基于最小化反投影(back-projection)誤差確定在三維空間中的每個點的位置的處理。反投影誤差為被投影至IJ立體圖像上的三維點的投影點和原始提取的匹配點之間的距離的和。其它相似的誤差可
用于三角測量?？梢岳孟∈鑼捇€配置的一個或更多個主動IR立體模塊生成場景的FVV。由于可以通過用來自主動IR立體模塊的IR光圖樣擴充場景來實現(xiàn)更準確的幾何結構，因此在主動IR立體模塊中的稀疏攝像機陣列配置可以產生準確的結果。之后通過生成更準確的幾何結構，可以將IR光圖樣用于增強基于圖像的渲染方法，并且這些圖樣不會干擾RGB成像。在實施例中，投影到場景上的IR光的使用允許在FVV處理期間從場景的視頻中提取高度準確的幾何結構。投影IR光的使用還允許使用稀疏攝像機陣列諸如以九十度隔開放置的軌道配置的四個模塊來記錄中央處或中央附近的場景。此外，利用稀疏攝像機陣列得到的結果比用傳統(tǒng)的被動立體可能獲得的結果更加逼真。在實施例中，可以利用主動IR立體模塊記錄場景的深度圖。如此處所使用的，“主動IR立體模塊”指的是利用立體觀測生成場景的三維深度圖的一類成像設備。術語“深度圖”通常用于三維計算機圖形應用中以描述包含與從攝像機視點到場景中的對象表面的距離相關的信息的圖像。立體視覺使用可包括亮度的圖像特征來估計立體視差?？衫脙炔?intrinsic)和外部(extrinsic)攝像機配置將視差圖轉變成深度圖。根據(jù)當前的方法,可以利用一個或更多個主動IR立體模塊創(chuàng)建場景的三維深度圖?？梢岳孟∈韬兔芗Ⅲw技術的組合生成深度圖。可以利用基于規(guī)則化的表示諸如馬爾可夫隨機場生成密集深度圖。在圖像處理和計算機視覺中，馬爾可夫隨機場為經常用來建模各種低到中級任務的非定向圖形模型?？梢岳锰卣髅枋龇上∈枭疃葓D。該方法允許生成可以以不同的概率組合的不同的深度圖。較高概率表征稀疏深度圖，較低概率表征密集深度圖。為了此處所公開的方法的目的，利用稀疏立體觀測生成的深度圖可以是優(yōu)選的，因為稀疏數(shù)據(jù)可比密集數(shù)據(jù)更可靠。通過比較立體圖像之間的特征描述符計算稀疏深度圖，這趨于以非常高置信度匹配或者根本不匹配。在實施例中，主動IR立體模塊可以包括隨機紅外(IR)激光圓點圖樣投影儀、一個或更多個RGB攝像機以及兩個或更多個立體IR攝像機，將所有這些同步(即，同步鎖相(genlock))。主動IR立體模塊可以用于利用隨機IR激光圓點圖樣投影儀將隨機IR圓點圖樣投影到場景并且利用兩個或更多個同步鎖相的IR攝像機捕獲場景的立體圖像。術語“同步鎖相”通常用于描述用于保持兩個或更多個信號之間的時間相干性的技術，即，信號之間的同步。在主動IR立體模塊中的攝像機的同步鎖相確?？缭綌z像機同時精確發(fā)生捕獲。這確保在FVV導航期間在任意給定的時間處運動對象的網格會具有適當?shù)男螤詈图y理。可以在立體IR圖像內檢測圓點，并且可以對于圓點計算若干特征描述符。特征描述符可以提供用于來自兩個或更多個同步鎖相的攝像機的立體圖像的比較的起點并且可包括立體圖像中的興趣點。例如，可以對一個立體圖像中的特定圓點進行分析并且將其與另一同步鎖相的立體圖像中的對應圓點進行比較?？梢岳脗鹘y(tǒng)的立體技術計算兩個或更多個立體圖像之間的視差圖，可以利用視差圖生成場景的深度圖。如此處所使用的，“視差圖”指的是跨越兩個或更多個立體圖像的像素偏移的分布。視差圖可用于測量從兩個或更多個不同的對應視點捕獲的立體圖像之間的差。此外，可以使用簡單的算法將視差圖轉變成深度圖。應當注意的是，當前的方法不局限于使用隨機IR圓點圖樣投影儀或IR攝像機。而是可以使用投影可識別特征的任意類型的圖樣投影儀，所述可識別特征諸如圓點、三角形、柵格等。此外，可以使用能夠檢測投影到場景上的特征出現(xiàn)的任意類型的攝像機。在實施例中，一旦已經利用主動IR立體模塊確定了場景的深度圖，可以利用深度圖為場景生成點云。點云為可以提供場景的三維表示的一種類型的場景幾何形狀。一般來講，點云為三維坐標系統(tǒng)中的頂點的集，可用于表示場景中的對象的外部表面。一旦已經生成了點云，可以對于點云中的每個點計算表面法線。三維點云可用于生成點云的幾何網格。如此處所使用的，幾何網格為由限定三維對象的形狀的頂點、邊緣和面的集合組成的隨機柵格?？梢詫碜灾鲃覫R立體模塊的RGB圖像數(shù)據(jù)投影到點云的網格上以生成投影紋理圖?？梢酝ㄟ^使來自RGB圖像數(shù)據(jù)和點云的網格的作用混合而從投影紋理圖生成FVV，以允許從任意數(shù)量的不同的攝像機角度觀看場景。還可能對于每個立體模塊單獨地生成紋理映射幾何網格，并且渲染涉及混合最鄰近網格的渲染視圖。實施例提供了由同步信號連接的多個主動IR立體模塊的系統(tǒng)。所述系統(tǒng)可包括任意數(shù)量的主動IR立體模塊，每個主動IR立體模塊包括三個或更多個同步鎖相的攝像機。具體地，每個主動IR立體模塊可包括兩個或更多個同步鎖相的IR攝像機和一個或更多個同步鎖相的RGB攝像機?？梢岳枚鄠€主動IR立體模塊的系統(tǒng)從不同的位置或視角生成場景的深度圖。多個主動IR立體模塊的系統(tǒng)可以利用主動IR立體模塊之間的同步信號被同步鎖相。同步信號可以為導致主動IR立體模塊的時間相干性的任意信號。在該實施例中，主動IR立體模塊的時間相干性確保所有的主動IR立體模塊在相同的時刻捕獲圖像，從而來自主動IR立體模塊的立體圖像彼此直接相關。一旦所有的主動IR立體模塊已經確認了同步信號的接收，則每個主動IR立體模塊可以根據(jù)上述關于單個立體模塊系統(tǒng)的方法生成深度圖。在實施例中，多個主動IR立體模塊的上述系統(tǒng)利用基于隨機IR圓點圖樣形式的隨機光的算法，所述隨機IR圓點圖樣被投影到場景上并且用兩個或更多個同步鎖相的立體IR攝像機記錄以生成深度圖。當使用另外的主動IR立體模塊來記錄同一場景時，從每個主動IR立體模塊中的IR攝像機中建設性地觀看多個隨機IR圓點圖樣。這是可能的，因為隨著向記錄陣列增加更多的主動IR立體模塊，多個主動IR立體模塊不會經受干擾。主動IR立體模塊之間的干擾的問題由于隨機IR圓點圖樣的性質而從根本上減少。每個主動IR立體模塊不試圖使由攝像機檢測到的隨機IR圓點圖樣匹配已經投影到場景上的特定構成的原始圖樣。相反，每個模塊觀測當前的圓點圖樣作為場景上的隨機圓點紋理。因此，當正被投影到場景上的當前的圓點圖樣可以為來自多個隨機IR圓點圖樣投影儀的圓點的組合時，由于圓點圖樣不與任意標準的圓點圖樣進行比較，因此圓點的實際的圖樣是不相關的。因此，這允許使用多個主動IR立體模塊來成像同一場景而不會發(fā)生干擾。事實上，隨著將更多的主動IR立體模塊添加到FVV記錄陣列中，在IR光譜中能看到的特征的量可以增加至一點，導致愈加準確的深度圖。一旦已經對每個主動IR立體模塊創(chuàng)建了深度圖，則每個深度圖可用于生成場景的點云。此外，可以內插點云以包括沒有被主動IR立體模塊捕獲的場景的區(qū)域?？梢允褂啥鄠€主動IR立體模塊生成的點云組合以創(chuàng)建一個場景的點云。由于每個主動IR立體模塊可以從不同的位置記錄場景，因此組合的點云可以表示從多個不同的視角或視點獲取的圖像數(shù)據(jù)。此外，使來自主動IR立體模塊的點云組合可以基于攝像機的校準對于場景創(chuàng)建單個世界坐標系。之后可以創(chuàng)建點云的網格并將其用于生成場景的FVV，如上所述。作為初步事項，一些圖在一個或更多個結構組件的情況下描述了概念，一個或更多個結構組件分別稱作功能、模塊、特征、元件等?？梢砸匀我夥绞綄嵤﹫D中所示的各個組件，例如，通過軟件，硬件(例如，分立的邏輯組件等)、固件等等，或者這些實施方式的任意 組合。在一個實施例中，各種組件可以反映對應的組件在實際的實施方式中的使用。在其它實施例中，可以由若干實際的組件來實施圖中所圖示的任意單個組件。圖中的任意兩個或更多個單獨的組件的描述可以反映由單個實際組件執(zhí)行的不同的功能。下面所論述的圖I提供關于可用于實施圖中所示的功能的一個系統(tǒng)的細節(jié)。其它的圖以流程圖的形式描述了概念。在這種形式中，特定的操作被描述為構成了以特定順序實行的不同的塊。這種實施方式為示例性的并且為非限制性的。此處所述的特定塊可以一起組成組并以單個操作執(zhí)行，可以將特定的塊分成多個組件塊，并且可以以與此處所圖示的順序不同的順序實行特定的塊，包括以并行方式執(zhí)行塊?？梢杂绍浖⒂布?、固件、人工處理等或者這些實施方式的任意組合來實施流程圖中所示的塊。如此處所使用的，硬件可包括計算機系統(tǒng)、分立的邏輯組件、諸如專用集成電路(ASIC)等、以及其任意的組合。關于術語，短語“被配置為”包括任意類型的功能被構成為執(zhí)行所標識操作的任何方式。功能可以被配置為利用例如軟件、硬件、固件等或者其任意組合執(zhí)行操作。術語“邏輯”包括執(zhí)行任務的任意功能。例如，在流程圖中所示的每個操作對應于執(zhí)行該操作的邏輯?？梢岳美畿浖?、硬件、固件等或者其任意組合執(zhí)行操作。
如此處所使用的，術語“組件”、“系統(tǒng)”、“客戶端”等旨在指示與計算機相關的實體，或者硬件、軟件(例如，執(zhí)行中)和/或固件，或者其組合。例如，組件可以是在處理器上運行的處理、對象、可執(zhí)行者、程序、函數(shù)、庫、子例程、和/或計算機或軟件和硬件的組合。借助于圖示，在服務器上運行的應用程序和服務器二者都可以是組件。一個或更多個組件可以駐留在處理中并且可以在一個計算機上本地化組件和/或在兩個或更多個計算機之間分布組件。術語“處理器”通常理解為指的是硬件組件，諸如計算機系統(tǒng)的處理單元。此外，所要求保護的主題可以實施為利用標準的編程和/或工程技術來產生軟件、固件、硬件或者其任意組合以控制計算機實施所公開的主題的方法、設備、或制品。此處所使用的術語“制品”旨在包括可從任意非暫態(tài)計算機可讀設備或介質中訪問的計算機程
序。 非暫態(tài)計算機可讀存儲介質可包括但不限于磁性存儲裝置(例如，硬盤、軟盤、以及磁條等)，光盤(例如，高密度盤(⑶)以及數(shù)字通用光盤(DVD)等)，智能卡以及閃存裝置(例如，卡、棒以及鍵驅動(key drive)等)。與此相反，計算機可讀介質通常(即，不必然為存儲介質)可以另外地包括通信介質，諸如用于無線信號的傳輸介質等。圖I為利用主動IR立體模塊生成FVV的立體模塊系統(tǒng)100的框圖。立體模塊系統(tǒng)100可包括適于執(zhí)行存儲的指令的處理器102以及存儲可由處理器執(zhí)行的指令的存儲裝置104。處理器102可以是單核處理器、多核處理器、計算集群、或任意數(shù)量的其它配置。存儲裝置104可包括隨機訪問存儲器(RAM)、只讀存儲器(ROM)、閃存或任意其它適合的存儲器系統(tǒng)。這些指令實施包括下列步驟的方法利用主動IR立體模塊計算場景的深度圖；利用深度圖在三維空間中生成場景的點云，生成點云的網格，根據(jù)點云的網格生成場景的投影紋理圖，并通過創(chuàng)建投影紋理圖生成FVV。處理器102通過總線106連接到一個或更多個輸入和輸出裝置。立體模塊系統(tǒng)100還可包括適于存儲主動立體算法110、深度圖112、點云114、投影紋理圖116、FVV處理算法118以及由立體模塊系統(tǒng)100生成的FVV120的存儲裝置108。存儲裝置108可包括硬盤驅動器、光盤驅動器、指形驅動器(thumbdrive)、驅動器陣列或者其任意組合。網絡接口控制器122可適于將立體模塊系統(tǒng)100通過總線106連接到網絡124。通過網絡124，可以下載電子文本和成像輸入文件126并存儲在計算機的存儲系統(tǒng)108中。此外，立體模塊系統(tǒng)100可以在網絡124上傳送深度圖、點云或者FVV。立體模塊系統(tǒng)100可以通過總線106鏈接到適于將系統(tǒng)100連接到顯示裝置130上的顯示接口 128，其中顯示裝置130可包括計算機監(jiān)視器、攝像機、電視機、投影儀、虛擬現(xiàn)實顯示器或者移動設備等。顯示裝置130還可以是三維立體顯示裝置。立體模塊系統(tǒng)100內的人機接口 132可以將系統(tǒng)連接到鍵盤134和定點裝置136，其中定點裝置136可包括鼠標、軌跡球、觸控板、操縱桿、指示桿(pointing stick)、觸筆或者觸摸屏等。還應當注意的是，立體模塊系統(tǒng)100可包括任意數(shù)量的其它組件，包括適于將立體模塊系統(tǒng)100連接到打印裝置的打印接口等。立體模塊系統(tǒng)100還可以通過總線106鏈接到適于將立體模塊系統(tǒng)100連接到隨機圓點圖樣投影儀140的隨機圓點圖樣投影儀接口 138。此外，攝像機接口 142可適合于將立體模塊系統(tǒng)100連接到三個或更多個同步鎖相的攝像機144，其中三個或更多個同步鎖相的攝像機可包括一個或更多個同步鎖相的RGB攝像機和兩個或更多個同步鎖相的IR攝像機。隨機圓點圖樣投影儀140和三個或更多個同步鎖相的攝像機144可包括在主動IR立體模塊146內。在實施例中，立體模塊系統(tǒng)100可一次連接到多個主動IR立體模塊146。在另一實施例中，可將每個主動IR立體模塊146連接到單獨的立體模塊系統(tǒng)100。換言之，可以將任意數(shù)量的立體模塊系統(tǒng)100連接到任意數(shù)量的主動IR立體模塊146。在實施例中，每個主動IR立體模塊146可包括模塊上的本地存儲器，使得每個主動IR立體模塊146可本地存儲場景的獨立視圖。此外,在另一實施例中，整個系統(tǒng)100可包括在主動IR立體模塊146內。也可將任意數(shù)量的另外的主動IR立體模塊通過網絡124連接到主動IR立體模塊146。圖2為可用于生成場景的深度圖的主動IR立體模塊202的示意圖200。如所記載的，主動IR立體模塊202可包括兩個IR攝像機204和206、RGB攝像機208以及隨機圓點圖樣投影儀210?？梢允笽R攝像機204和206同步鎖相或同步。IR攝像機204和206的同步鎖相確保攝像機是時間相干的，使得捕獲的立體圖像彼此直接關聯(lián)。此外，除了兩個IR攝像機204和206之外，還可以將任意數(shù)量的IR攝像機添加到主動IR立體模塊202。另 夕卜，主動IR立體模塊202不限于使用IR攝像機，因為許多其它類型的攝像機可以用在主動IR立體模塊202中。RGB攝像機208可以用來通過獲取例如紅、綠和藍的三種不同的彩色信號而捕獲場景的彩色圖像。除了一個RGB攝像機208之外，還可以將任意數(shù)量的另外的RGB攝像機添加到主動IR立體模塊202。RGB攝像機208的輸出可以對用于FVV應用的深度圖的創(chuàng)建提供有用的輸出?？墒褂秒S機圓點圖樣投影儀210將IR圓點的隨機圖樣212投影到場景214上。此夕卜，可以用任意類型的圓點投影儀代替隨機圓點圖樣投影儀210?？墒褂脙蓚€同步鎖相的IR攝像機204和206捕獲場景的圖像，包括IR圓點的隨機圖樣212。可以根據(jù)下面所述的圖3中的方法分析來自兩個IR攝像機204和206的圖像以生成場景的深度圖。圖3為示出了利用主動IR立體模塊生成深度圖的方法300的處理流程圖。在塊302處，將隨機IR圓點圖樣投影到場景上。隨機IR圓點圖樣可以是由主動IR立體模塊中的投影儀生成的IR激光圓點圖樣。隨機IR圓點圖樣還可以是由場景附近的任意模塊投影的任意其它類型的圓點圖樣。在塊304處，可以從主動IR立體模塊內的兩個或更多個立體攝像機捕獲立體圖像。立體攝像機可以是如上面所討論的IR攝像機，并且可以同步鎖相以確保立體攝像機是時間相干的。塊304處捕獲的立體圖像可包括來自塊302的投影的隨機IR圓點圖樣。在塊306處，可以在立體圖像內檢測圓點。可以在立體模塊系統(tǒng)100內執(zhí)行圓點的檢測。具體地，可以由立體模塊系統(tǒng)100內的圓點檢測器處理立體圖像以標識立體圖像內的各個圓點。圓點檢測器可以通過處理圓點中心(dot center)來達到子像素精度。在塊308處，可以對在立體圖像內檢測的圓點計算特征描述符。可以利用若干不同的方法計算特征描述符，包括幾種不同的劃分方法，如下面針對圖4和圖5所描述的。特征描述符可用于匹配立體圖像之間的相似特征。在塊310處，可以計算立體圖像之間的視差圖?？梢岳脗鹘y(tǒng)的立體技術計算視差圖，諸如針對圖I所討論的主動立體算法。還可以使用特征描述符來創(chuàng)建視差圖，所述視差圖可以根據(jù)立體圖像內的對應圓點的標識來映射立體圖像之間的相似性。在塊312處，可以利用來自塊310的視差圖生成深度圖。也可以利用傳統(tǒng)的立體技術計算深度圖，諸如針對圖I所討論的主動立體算法。深度圖可以表示場景的三維視圖。應當注意的是，該流程圖不旨在指示應當以任何特定的順序執(zhí)行該方法的步驟。圖4為可用于在立體圖像內標識特征描述符的一種類型的劃分方法400的示意圖。劃分方法400利用應用于立體圖像的二維柵格?？梢詫⒘Ⅲw圖像內的圓點分配給給定區(qū)塊(bin)中的特定坐標位置。這可允許基于相鄰圓點的坐標標識各個圓點的特征描述符。圖5為可用于在立體圖像內標識特征描述符的另一類型的劃分方法500的示意圖。該劃分方法500利用同心圓和柵格，例如，形成另一個二維區(qū)塊框架的極坐標系。選擇柵格的中心點，并且可以通過每個區(qū)塊對于所選軸線的角度及其距中心點的距離定位每個區(qū)塊。在區(qū)塊內，圓點可以用其空間位置、強度或徑向位置來表征。對于空間上的定位，在 不存在歧義的情況下，區(qū)塊可以用內部圓點的硬計數(shù)(hard count)表征，或者用在區(qū)塊之間交迭的圓點的軟計數(shù)(soft count)表征。對于強度調制，可以估算在特定區(qū)塊內的所有圓點的總亮度(aggregate luminance ),或者可以計算強度直方圖。此外,在特定區(qū)塊內，可以基于特定圓點與相鄰圓點之間的距離和參考角度對每個圓點確定徑向描述符。盡管圖4和圖5圖示了可用于標識立體圖像中的特征描述符的兩種類型的劃分方法，但是應當注意的是，可以使用任意其它類型的劃分方法。此外，還可使用與劃分無關的用于標識特征描述符的其它方法。圖6為示出了利用主動IR立體模塊生成FVV的方法600的處理流程圖。如上面針對圖2所討論的，可使用單個主動IR立體模塊生成適于用記錄場景的稀疏陣列攝像機渲染的FVV的紋理映射幾何模型。在塊602處，如上面針對圖3所討論的，可以利用主動IR立體模塊為場景計算深度圖。此外，如上面所討論的，可以利用稀疏和密集立體觀測的組合創(chuàng)建場景的深度圖。在塊604處，可以利用深度圖為場景生成點云。這通過將深度圖轉變成在三維空間中的點云并為點云中的每個點計算表面法線來實現(xiàn)。在塊606處，可以生成點云的網格以限定場景中的三維對象的形狀。在塊608處，可以通過將來自主動IR立體模塊的RGB圖像數(shù)據(jù)投影到點云的網格上來生成投影紋理圖。在塊610處，可以通過使來自RGB圖像數(shù)據(jù)和點云的網格的作用混合而從投影紋理圖生成FVV，以允許從不同的攝像機角度觀看場景。在實施例中，可以在諸如三維立體顯示的顯示裝置上顯示FVV。此外，可以使得能夠由用戶在FVV回放期間進行時空導航。時空導航可以允許用戶在空間和時間二者中交互地控制視頻觀看窗口。圖7為可用于生成場景708的深度圖的通過同步信號706連接的主動IR立體模塊702和704的系統(tǒng)700的示意圖。應當注意的是，除了兩個主動IR立體模塊702和704之外，系統(tǒng)還可以采用任意數(shù)量的主動IR立體模塊。此外,主動IR立體模塊702和704中的每個可以包括兩個或更多個立體攝像機710、712、714和716、一個或更多個RGB攝像機718和720、以及隨機圓點圖樣投影儀722和724，如上面針對圖2所討論的。用于主動IR立體模塊702和704的隨機圓點圖樣投影儀722和724中的每個隨機圓點圖樣投影儀可用于將隨機IR圓點圖樣726投影到場景708上。然而，應當注意的是，不是每個主動IR立體模塊702和704都必須包括隨機圓點圖樣投影儀722和724?？梢詮娜我鈹?shù)量的主動IR立體模塊或者從獨立于主動IR立體模塊的任意數(shù)量的單獨的投影裝置將任意數(shù)量的隨機IR圓點圖樣投影到場景上。主動IR立體模塊702和704之間的同步信號706可用于同步鎖相主動IR立體模塊702和704，使得它們在相同的時刻操作。根據(jù)上面提及的圖3的方法，可以對主動IR立體模塊702和704中的每一個主動IR立體模塊生成深度圖。圖8為示出了對于兩個或更多個同步鎖相的主動IR立體模塊中的每一個主動IR立體模塊生成深度圖的方法800的處理流程圖。在塊802處，將隨機IR圓點圖樣投影到場景上。隨機IR圓點圖樣可以是由主動IR立體模塊中的投影儀生成的IR激光圓點圖樣。隨機IR圓點圖樣也可以是由場景附近的任意模塊投影的任意其它類型的圓點圖樣。此外，系統(tǒng)中的任意數(shù)量的主動IR立體模塊可以同時投影隨機IR圓點圖樣。如上面所討論的，由于圓點圖樣的隨機性質，到場景上的多個圓點圖樣的交迭不會引起干擾問題。
在塊804處，可以生成同步信號。同步信號可用于同步鎖相兩個或更多個主動IR立體模塊。這確保主動IR立體模塊的時間相干性。此外，同步信號可以由一個中心模塊生成并被發(fā)送到每個主動IR立體模塊，可以由一個主動IR立體模塊生成并被發(fā)送到所有其它的主動IR立體模塊，可以由每個主動IR立體模塊生成并被發(fā)送到每個其它的主動IR立體模塊，等等。還應當注意的是，軟件或硬件同步鎖相可用于保持主動IR立體模塊之間的時間相干性。在塊806處，可以通過建立由每個主動IR立體模塊對同步信號的接收來確認主動IR立體模塊的同步鎖相。在塊808處，根據(jù)針對圖3所述的方法，可以由每個主動IR立體模塊生成場景的深度圖。盡管每個主動IR立體模塊可生成獨立的深度圖，但是主動IR立體模塊的同步鎖相確保了所有的攝像機在相同的時刻記錄場景。這允許利用從多個不同的視角獲取的深度圖創(chuàng)建準確的FVV。圖9為示出了利用兩個或更多個同步鎖相的主動IR立體模塊生成FVV的方法900的處理流程圖。在塊902處，可以對于兩個或更多個同步鎖相的主動IR立體模塊中的每個主動IR立體模塊計算深度圖，如上面針對圖8所討論的。主動IR立體模塊可以從不同的位置記錄場景并且可以通過網絡通信或任意類型的同步信號來同步鎖相以確保每個模塊中的所有攝像機時間上同步。在塊904處，如針對圖6所討論的，可以對于兩個或更多個同步鎖相的主動IR立體模塊中的每個主動IR立體模塊生成點云。在塊906處，基于在后處理中的攝像機的校準，可以將獨立生成的點云組合成單個點云，或者世界坐標系。在塊908處，在對于點計算了法線之后，可以生成組合的點云的幾何網格。在塊910處，可以通過利用RGB圖像數(shù)據(jù)和組合點云的網格創(chuàng)建投影紋理圖來生成FVV。可以將RGB圖像數(shù)據(jù)以視圖獨立的紋理映射(view-dependent texture mapping)方式紋理映射到組合點云的網格上，使得不同的觀看角度產生來自兩個RGB圖像的成比例混合的作用。在實施例中，可以在顯示裝置上顯示FVV，并且可以使得用戶能夠進行時空導航。圖10為示出了存儲適于利用主動IR立體模塊生成FVV的代碼的有形計算機可讀介質1000的框圖。可以由處理器1002通過計算機總線1004訪問有形計算機可讀介質1000。此外，有形計算機可讀介質1000可包括被配置為命令處理器1002執(zhí)行當前方法的步驟的代碼。
此處所討論的各種軟件組件可以存儲在有形的計算機可讀介質1000上，如圖10所示。例如，深度圖計算模塊1006可以被配置為利用主動IR立體模塊計算場景的深度圖。點云生成模塊1008可以被配置為利用深度圖在三維空間中生成場景的點云。點云網格生成模塊1010可以被配置為生成點云的網格。投影紋理圖生成模塊1012可以被配置為生成場景的投影紋理圖，以及視頻生成模塊1014可被配置為通過組合投影紋理圖與真實圖像來生成FVV。應當注意的是，圖10的框圖不旨在指示有形計算機可讀介質1000必須包括所有的軟件組件1006、1008、1010、1012和1014。此外，有形計算機可讀介質1000可包括圖10中未示出的另外的軟件組件。例如，有形計算機可讀介質1000還可包括被配置為在顯示裝置上顯示FVV的視頻顯示模塊和被配置為使得能夠由用戶在FVV回放期間進行時空導航的視頻回放模塊。在實施例中，可以當前的系統(tǒng)和方法用來利用稀疏和密集數(shù)據(jù)二者創(chuàng)建場景幾何結構的三維表示。根據(jù)稀疏數(shù)據(jù)創(chuàng)建的特定點云中的點會接近百分之百的置信度水平，而 根據(jù)密集數(shù)據(jù)創(chuàng)建的點云中的點可能會具有非常低的置信度水平。通過使稀疏和密集數(shù)據(jù)混合在一起，產生的場景的三維表示可以呈現(xiàn)三維可視化的準確度和豐富性之間的平衡。從而，以這種方式，可以對于每個特定的應用根據(jù)所期望的FVV的質量創(chuàng)建不同類型的FW。當前的系統(tǒng)和方法可用于多種應用。在實施例中，利用主動立體生成的FVV可用于電話會議應用。例如，使用多個主動IR立體模塊來生成電話會議的FVV可允許在分散地點的人有效地感覺像是他們都在同一房間中一樣。在另一實施例中，可以將當前的系統(tǒng)和方法用于游戲應用。例如,使用多個主動IR立體模塊生成FVV可以允許對來自不同的地點一起玩游戲的多個人的準確的三維渲染。由主動IR立體模塊捕獲的動態(tài)實時數(shù)據(jù)可用于創(chuàng)建增強的現(xiàn)實體驗，其中玩游戲的人可以虛擬地看見來自不同的地點玩游戲的其它人的三維圖像。游戲應用的用戶還可以在FVV回放期間控制觀看窗口以通過空間和時間導航。FVV還可用于教練體育運動，例如潛水，其中可以通過疊加在不同的時刻或由不同的運動員完成的動作來比較動作。盡管已經用具體結構特征和/或方法行為的語言對主題進行了描述，但是應當理解的是，所附的權利要求所限定的主題不必然限于上述的具體特征或行為。而是，公開了上述具體特征和行為作為實施權利要求的示例形式。根據(jù)本發(fā)明的實施例，提供了如下的方案I. 一種利用主動紅外(IR)立體模塊生成視頻的方法,包括利用所述主動IR立體模塊計算場景的深度圖，其中計算所述深度圖包括將IR圓點圖樣投影到所述場景上；從兩個或更多個同步的IR攝像機中的每個IR攝像機捕獲立體圖像；檢測所述立體圖像內的多個圓點；計算對應于所述立體圖像中的所述多個圓點的多個特征描述符；計算所述立體圖像之間的視差圖；以及利用所述視差圖生成所述場景的深度圖；利用所述深度圖在三維空間中生成所述場景的點云；
生成所述點云的網格；從所述點云的所述網格生成所述場景的投影紋理圖；以及利用所述投影紋理圖生成所述場景的所述視頻。2.根據(jù)附記I所述的方法，其中所述視頻為自由視點視頻(FVV)。3.根據(jù)附記I所述的方法，包括在顯示裝置上顯示所述視頻；以及使得能夠由用戶在視頻回放期間進行時空導航。4.根據(jù)附記I所述的方法，包括利用一個或更多個IR投影儀、一個或更多個同步的RGB攝像機、或者其任意組合從兩個或更多個同步的IR攝像機中的每個IR攝像機捕獲立體圖像。5.根據(jù)附記I所述的方法，包括對兩個或更多個同步的主動IR立體模塊中的每個主動IR立體模塊計算深度圖；對所述兩個或更多個同步的主動IR立體模塊中的每個主動IR立體模塊在三維空間中生成所述場景的點云；組合通過所述兩個或更多個同步的主動IR立體模塊生成的點云；創(chuàng)建所組合的點云的網格；以及通過在所述網格上創(chuàng)建投影紋理圖生成所述視頻。6.根據(jù)附記5所述的方法，其中對兩個或更多個同步的主動IR立體模塊中的每個主動IR立體模塊計算所述深度圖包括將IR圓點圖樣投影到場景上；生成用于同步鎖相所述兩個或更多個同步的主動IR立體模塊的同步信號；以及確認所述兩個或更多個同步的主動IR立體模塊中的每個主動IR立體模塊已經接收到所述同步信號，并且，如果接收到確認，則對所述兩個或更多個同步的主動IR立體模塊中的每個主動IR立體模塊生成所述場景的所述深度圖。7.根據(jù)附記I所述的方法，其中利用所述深度圖在三維空間中生成所述場景的所述點云包括將所述深度圖轉變成三維點云。8.根據(jù)附記I所述的方法，其中生成所述點云的所述網格包括將所述點云轉變成作為所述場景中的對象的三維表示的幾何網格。9.根據(jù)附記I所述的方法，其中生成所述場景的所述投影紋理圖包括通過將來自所述主動IR立體模塊的RGB圖像數(shù)據(jù)投影到所述點云的所述網格上生成所述投影紋理圖。10.根據(jù)附記I所述的方法，其中通過創(chuàng)建所述投影紋理圖生成所述視頻包括利用基于圖像的渲染方法來組合所述投影紋理圖與真實圖像，以創(chuàng)建真實圖像之間的合成視點。11. 一種用于利用主動紅外(IR)立體模塊生成視頻的系統(tǒng)，包括處理器，所述處理器被配置為實施隨機立體模塊，其中所述隨機立體模塊包括深度圖計算模塊，所述深度圖計算模塊被配置為利用所述主動IR立體模塊計算場景的深度圖，其中所述主動IR立體模塊包括三個或更多個同步的攝像機和IR圓點圖樣投影儀；點云生成模塊，所述點云生成模塊被配置為利用所述深度圖在三維空間中生成所述場景的點云；點云網格生成模塊，所述點云網格生成模塊被配置為生成所述點云的網格；投影紋理圖生成模塊，所述投影紋理圖生成模塊被配置為從所述點云的所述網格生成所述場景的投影紋理圖；以及視頻生成模塊，所述視頻生成模塊被配置為利用所述投影紋理圖生成所述場景的所述視頻。12.根據(jù)附記11所述的系統(tǒng)，包括處理器，所述處理器被配置為實施隨機立體模塊，其中所述隨機立體模塊包括
視頻顯示模塊，所述視頻顯示模塊被配置為在顯示裝置上顯示所述視頻；以及視頻回放模塊，所述視頻回放模塊被配置為使得能夠由用戶在視頻回放期間進行時空導航。13.根據(jù)附記11所述的系統(tǒng)，其中所述系統(tǒng)包括用于在房間中利用一個或更多個主動IR立體模塊來生成實時視頻的會議系統(tǒng)。14.根據(jù)附記11所述的系統(tǒng)，其中所述系統(tǒng)包括用于利用連接到游戲裝置的一個或更多個主動IR立體模塊來生成實時視頻的游戲系統(tǒng)。15.根據(jù)附記14所述的系統(tǒng)，其中所述三個或更多個同步的攝像機包括兩個或更多個同步的IR攝像機和一個或更多個同步的RGB攝像機。16. 一個或更多個非易失性計算機可讀存儲介質，用于存儲計算機可讀指令，所述計算機可讀指令在由一個或更多個處理裝置執(zhí)行時提供用于利用主動紅外(IR)立體模塊來生成視頻的立體模塊系統(tǒng)，所述計算機可讀指令包括代碼，所述代碼被配置為利用所述主動IR立體模塊計算場景的深度圖，其中計算所述深度圖包括將IR圓點圖樣投影到所述場景上；從兩個或更多個同步的IR攝像機中的每個IR攝像機捕獲立體圖像；檢測所述立體圖像內的多個圓點；計算對應于所述立體圖像中的所述多個圓點的多個特征描述符；計算所述立體圖像之間的視差圖；以及利用所述視差圖生成所述場景的深度圖；利用所述深度圖在三維空間中生成所述場景的點云；生成所述點云的網格；從所述點云的所述網格生成所述場景的投影紋理圖；以及通過組合所述投影紋理圖與真實圖像生成所述視頻。17.根據(jù)附記16所述的非易失性計算機可讀存儲介質，其中所述計算機可讀指令包括被進一步配置為進行如下步驟的代碼在顯示裝置上顯示所述視頻；以及使得能夠由用戶在視頻回放期間進行時空導航。18.根據(jù)附記16所述的非易失性計算機可讀存儲介質，其中所述主動IR立體模塊包括兩個或更多個同步的IR攝像機、一個或更多個同步的RGB攝像機、或者其任意組合。19.根據(jù)附記16所述的非易失性計算機可讀存儲介質，其中所述計算機可讀指令包括被進一步配置為進行以下步驟的代碼對兩個或更多個同步的主動IR立體模塊中的每個主動IR立體模塊計算深度圖；對所述兩個或更多個同步 的主動IR立體模塊中的每個主動IR立體模塊在三維空間中生成所述場景的點云；組合通過所述兩個或更多個同步的主動IR立體模塊生成的點云；創(chuàng)建所組合的點云的網格；以及通過創(chuàng)建所述場景的投影紋理圖生成所述視頻。20.根據(jù)附記19所述的非易失性計算機可讀存儲介質，其中被配置為對所述兩個或更多個同步的主動IR立體模塊中的每個主動IR立體模塊計算所述深度圖的代碼還包括被配置為進行如下步驟的代碼將IR圓點圖樣投影到場景上；生成用于同步鎖相所述兩個或更多個同步的主動IR立體模塊的同步信號；以及確認所述兩個或更多個同步的主動IR立體模塊中的每個主動IR立體模塊已經接收到所述同步信號，并且，如果接收到確認，則對所述兩個或更多個同步的主動IR立體模塊中的每個主動IR立體模塊生成所述場景的所述深度圖。
權利要求
1.一種利用主動紅外(IR)立體模塊(146，702，704)生成視頻的方法，包括 利用所述主動IR立體模塊(146，702，704)計算(602)場景(708)的深度圖(112)，其中計算所述深度圖(112)包括 將IR圓點圖樣(726)投影(302)到所述場景(708)上； 從兩個或更多個同步的IR攝像機(144，710，712，714，716，718，720)中的每個IR攝像機捕獲(304)立體圖像； 檢測(306)所述立體圖像內的多個圓點； 計算(308)對應于所述立體圖像中的所述多個圓點的多個特征描述符； 計算(310)所述立體圖像之間的視差圖；以及 利用所述視差圖生成(312)所述場景(708)的深度圖(112)； 利用所述深度圖(112)在三維空間中生成(604)所述場景(708)的點云(114)； 生成(606)所述點云(114)的網格； 從所述點云(114)的所述網格生成(608)所述場景(708)的投影紋理圖(116);以及 利用所述投影紋理圖(116)生成(610)所述場景(708)的所述視頻。
2.根據(jù)權利要求I所述的方法，其中所述視頻為自由視點視頻(FVV)(120)。
3.根據(jù)權利要求I所述的方法，包括 在顯示裝置(130)上顯示所述視頻；以及 使得能夠由用戶在視頻回放期間進行時空導航。
4.根據(jù)權利要求I所述的方法，包括利用一個或更多個IR投影儀(140，722，724)、一個或更多個同步的RGB攝像機、或者其任意組合從兩個或更多個同步的IR攝像機(144，710, 712，714，716，718，720)中的每個IR攝像機捕獲立體圖像。
5.根據(jù)權利要求I所述的方法，包括 對兩個或更多個同步的主動IR立體模塊(146，702，704)中的每個主動IR立體模塊計算(902)深度圖(112)； 對所述兩個或更多個同步的主動IR立體模塊(146，702，704)中的每個主動IR立體模塊在三維空間中生成(904)所述場景(708)的點云(114); 組合(906)通過所述兩個或更多個同步的主動IR立體模塊(146，702，704)生成的點云(114)； 創(chuàng)建(908)所組合的點云的網格；以及 通過在所述網格上創(chuàng)建投影紋理圖(116)生成(910)所述視頻。
6.根據(jù)權利要求5所述的方法，其中對兩個或更多個同步的主動IR立體模塊(146，702，704)中的每個主動IR立體模塊計算所述深度圖包括 將IR圓點圖樣(726)投影到場景(708)上; 生成用于同步鎖相所述兩個或更多個同步的主動IR立體模塊(146，702，704)的同步信號；以及 確認所述兩個或更多個同步的主動IR立體模塊(146，702，704)中的每個主動IR立體模塊已經接收到所述同步信號，并且，如果接收到確認，則對所述兩個或更多個同步的主動IR立體模塊(146，702，704)中的每個主動IR立體模塊生成所述場景(708)的所述深度圖(112)。
7.根據(jù)權利要求I所述的方法，其中利用所述深度圖(112)在三維空間中生成所述場景(708 )的所述點云(114 )包括將所述深度圖(112 )轉變成三維點云(114 )。
8.根據(jù)權利要求I所述的方法，其中生成所述點云(114)的所述網格包括將所述點云(114)轉變成作為所述場景(708)中的對象的三維表示的幾何網格。
9.一種用于利用主動紅外(IR)立體模塊(146，702，704)生成視頻的系統(tǒng)，包括 處理器(102)，所述處理器被配置為實施隨機立體模塊，其中所述隨機立體模塊包括 深度圖計算模塊(1006)，所述深度圖計算模塊被配置為利用所述主動IR立體模塊(146，702，704)計算場景(708)的深度圖(112)，其中所述主動IR立體模塊(146，702，704)包括三個或更多個同步的攝像機(144，710，712，714，716，718，720)和IR圓點圖樣投影儀(140，722，724)； 點云生成模塊(1008)，所述點云生成模塊被配置為利用所述深度圖(112)在三維空間中生成所述場景(708)的點云(114); 點云網格生成模塊(1010)，所述點云網格生成模塊被配置為生成所述點云(114)的網格； 投影紋理圖生成模塊(1012)，所述投影紋理圖生成模塊被配置為從所述點云(114)的所述網格生成所述場景(708)的投影紋理圖(116);以及 視頻生成模塊(1014)，所述視頻生成模塊被配置為利用所述投影紋理圖(116)生成所述場景(708)的所述視頻。
10.根據(jù)權利要求9所述的系統(tǒng)，包括 處理器(102)，所述處理器被配置為實施隨機立體模塊，其中所述隨機立體模塊包括視頻顯示模塊，所述視頻顯示模塊被配置為在顯示裝置上顯示所述視頻；以及視頻回放模塊，所述視頻回放模塊被配置為使得能夠由用戶在視頻回放期間進行時空導航。
全文摘要
本發(fā)明公開了利用立體成像生成自由視點視頻。提供了用于利用主動紅外(IR)立體模塊生成自由視點視頻的方法和系統(tǒng)。該方法包括利用主動IR立體模塊計算(602)場景的深度圖?？梢酝ㄟ^下列步驟計算深度圖將IR圓點圖樣投影到場景上；從兩個或更多個同步的IR攝像機中的每個IR攝像機捕獲立體圖像；檢測立體圖像內的圓點；計算對應于所述立體圖像中的圓點的特征描述符；計算所述立體圖像之間的視差圖；以及利用所述視差圖生成所述深度圖。該方法還包括利用所述深度圖生成(604)所述場景的點云，生成(606)所述點云的網格并從所述點云的所述網格生成(608)所述場景的投影紋理圖。該方法進一步包括利用所述投影紋理圖生成(610)所述場景的所述視頻。
文檔編號H04N13/00GK102938844SQ201210387178
公開日2013年2月20日 申請日期2012年10月12日 優(yōu)先權日2011年10月13日
發(fā)明者查爾斯·日特尼克, 辛·秉·康, 亞當·柯克, 帕特里克·斯威尼, 阿米特·米塔爾, 大衛(wèi)·哈尼特, 大衛(wèi)·埃雷克, 干尚·米特拉, 克斯圖提斯·帕蒂耶尤納斯, 亞龍·埃謝, 西蒙·溫德 申請人:微軟公司