專利名稱：基于fpga的立體視頻到多視點(diǎn)視頻的3d重構(gòu)方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種多視點(diǎn)自由立體重構(gòu)與顯示方法，尤其涉及一種基于FPGA的立體視頻到多視點(diǎn)視頻的3D重構(gòu)的方法。
背景技術(shù)：
三維立體技術(shù)并不是新興產(chǎn)物，事實(shí)上，它有著將近170年的歷史。1838年世界第 ー組立體圖像對(duì)在英國(guó)學(xué)者Charles Wheatstone筆下誕生。之后3D電影慢慢進(jìn)入人們的視線。20世紀(jì)，平面電視技術(shù)的不斷發(fā)展、電視廠商對(duì)差異化和產(chǎn)品附加價(jià)值的追求成為世界范圍內(nèi)3D研究熱潮的強(qiáng)大推動(dòng)力量。50年代的色分法、60年代的光分法以及目前當(dāng)紅的時(shí)分立體成像技術(shù)等陸續(xù)成為3D的研究焦點(diǎn)，成功應(yīng)用于電影、游戲等領(lǐng)域。但是上述技術(shù)都需額外佩戴特制設(shè)備觀看，不僅觀看視角受到限制，眼鏡引起的不適感和疲憊感也困擾了不少人，自由立體顯示技術(shù)的發(fā)展為三維電視進(jìn)入家庭應(yīng)用提供了可能性。2002年， 夏普宣布成功開(kāi)發(fā)無(wú)需專用眼鏡就能看到立體圖像的液晶顯示器。Philips公司則開(kāi)發(fā)了一系列的專門(mén)技術(shù)——“Wowvx”解決方案來(lái)提供高質(zhì)量的自由立體顯示，該解決方案包括傾斜透鏡技木、2D和3D雙重模式以及2D到3D的內(nèi)容轉(zhuǎn)換等等。2009與2010年，各種顯示技術(shù)層出不窮，如空氣投影、深度融合顯示技術(shù)等等，但最受各機(jī)構(gòu)和廠商關(guān)注的依然要屬以視差壁障和柱狀透鏡技術(shù)為代表的平板立體顯示。立體匹配是立體視覺(jué)中最重要也是最難的一部分，其目的是尋找兩幅或多幅圖像中的對(duì)應(yīng)像素點(diǎn)以便求取對(duì)應(yīng)的三維坐標(biāo)。立體匹配算法必須解決以下3個(gè)問(wèn)題選擇正確的匹配特征，尋找特征間的本質(zhì)屬性及建立能正確匹配所選特征的穩(wěn)定算法。根據(jù)匹配算法使用的約束信息的不同，立體匹配算法總體上分為局域算法和全局算法兩種。局域算法利用的是對(duì)應(yīng)點(diǎn)本身以及鄰近的局部區(qū)域的約束信息，局域算法的優(yōu)點(diǎn)是效率高，速度快，有許多加速方法如金字塔多分辨率匹配、盒濾波技術(shù)運(yùn)用、存儲(chǔ)器與高速緩存效率的提高、并行加速指令的實(shí)現(xiàn)、立體圖對(duì)的分塊并行匹配等。全局匹配算法是ー種對(duì)掃描線甚至整幅圖像進(jìn)行約束的匹配算法，將計(jì)算集中在視差的計(jì)算階段，并且有可能跳過(guò)匹配代價(jià)的累積階段。它利用了圖像的全局約束信息，對(duì)局部圖像的模糊不敏感?；谏疃葓D像的繪制技術(shù)(D印th-Image-Based Rendering，DIBR)，利用參考圖像及其對(duì)應(yīng)的深度信息來(lái)合成場(chǎng)景中的虛擬視點(diǎn)。該方法創(chuàng)新地將單視圖像和對(duì)應(yīng)的深度信息圖作為傳輸對(duì)象，在立體播放器上生成左右兩個(gè)新視點(diǎn)圖像進(jìn)行播放。它的核心思想是 McMillan于1997年提出的三維變換方程。DIBR方法的靈活性與可兼容性使它成為三維電視領(lǐng)域中研究的熱點(diǎn)問(wèn)題。利用基于深度圖的虛擬視點(diǎn)映射技術(shù)將參考圖像映射至虛擬視點(diǎn)位置吋，目標(biāo)圖像中會(huì)存在一些在參考圖像沒(méi)有對(duì)應(yīng)映射點(diǎn)的像素，這些像素點(diǎn)被稱為空洞。空洞產(chǎn)生的根本原因在于場(chǎng)景中物體之間的遮擋關(guān)系，在深度圖中表現(xiàn)為前后景物體深度值不連續(xù)。 空洞問(wèn)題是影響虛擬視點(diǎn)圖像質(zhì)量的根本因素，為了提高虛擬視點(diǎn)圖像的圖像質(zhì)量，我們需要對(duì)空洞區(qū)域的圖像內(nèi)容進(jìn)行填補(bǔ)。
根據(jù)雙目視差原理，為了使觀眾產(chǎn)生深度感，我們需要利用一定裝置使左右眼各自分別只能看到左、右圖像。當(dāng)前基于透鏡光柵的LCD多視點(diǎn)自由立體顯示設(shè)備由于其成本、尺寸、亮度上的優(yōu)勢(shì)，特別是它能夠?qū)崿F(xiàn)2D/3D之間的相互轉(zhuǎn)換，已獲得廠家和機(jī)構(gòu)越來(lái)越多的關(guān)注。根據(jù)IXD子像素排列特征、柱透鏡的光學(xué)結(jié)構(gòu)以及透鏡式立體顯示技術(shù)原理，通過(guò)對(duì)RGB分量重新排列組合，實(shí)現(xiàn)了基于透鏡光柵的LCD多視點(diǎn)自由立體顯示。以上所涉及的基于深度圖像的繪制技術(shù)、對(duì)空洞區(qū)域的圖像內(nèi)容進(jìn)行填補(bǔ)技術(shù)以及對(duì)RGB分量重新排列組合技木，都需要大量的計(jì)算量，因此很難達(dá)到實(shí)時(shí)要求。

發(fā)明內(nèi)容
本發(fā)明的目的是克服多視點(diǎn)自由立體重構(gòu)與顯示的實(shí)時(shí)性不足，提供一種基于 FPGA的立體視頻到多視點(diǎn)視頻的3D重構(gòu)方法?；贔PGA的立體視頻到多視點(diǎn)視頻的3D重構(gòu)方法的步驟如下1)采用分辨率為640X360的雙目相機(jī)立體拍攝自然場(chǎng)景，獲取左右兩路相機(jī)圖像序列并輸入計(jì)算機(jī)；2)計(jì)算機(jī)將左右兩路相機(jī)圖像序列以BT1120數(shù)據(jù)格式封裝，通過(guò)千兆以太網(wǎng)，傳輸?shù)紽PGA進(jìn)行處理；:3)FPGA通過(guò)立體匹配算法，獲得左右兩路相機(jī)圖像序列的稠密深度信息；4)多視點(diǎn)重構(gòu)模塊根據(jù)左右兩路相機(jī)圖像、相機(jī)參數(shù)、左右兩路相機(jī)圖像的深度信息，用基于深度圖像的繪制技術(shù)計(jì)算多視點(diǎn)自由立體顯示需要的兩路圖像的8個(gè)虛擬視點(diǎn)圖像；5)對(duì)于虛擬視點(diǎn)圖像中存在的空洞和遮擋區(qū)域，以其中一路圖像為主相機(jī)圖像序列，另一路圖像為輔相機(jī)圖像序列，先采用融合算法，減少空洞數(shù)量，再利用快速的空洞修復(fù)算法進(jìn)行修復(fù)；6)顯示處理模塊把左相機(jī)圖像形成的左視點(diǎn)圖像，8個(gè)虛擬視點(diǎn)圖像，利用基于柱透鏡光柵的立體顯示算法進(jìn)行適當(dāng)?shù)闹嘏挪?，生成高清圖像，分辨率為1920X1080，以適合多視點(diǎn)觀察的需要；7)重排布圖像通過(guò)HDMI接ロ輸出到裸眼三維顯示器，最終提供裸眼的、適合多人多角度觀察的圖像。所述的步驟3)為1)立體匹配依據(jù)光學(xué)成像中關(guān)于場(chǎng)景、光照以及成像過(guò)程中的若干假設(shè)，在立體圖像對(duì)中根據(jù)相似性測(cè)度選擇圖像的對(duì)應(yīng)點(diǎn)。對(duì)于左右兩路相機(jī)圖像中的對(duì)應(yīng)點(diǎn)P (xL, yL)， P' (χΕ, yK)，兩對(duì)應(yīng)點(diǎn)位于同一掃描行，其坐標(biāo)滿足如下關(guān)系xE = xL-d (χ, y), yE = yL其中d(x, y)稱為點(diǎn)pUl，yL)和ρ' (χΕ, yE)之間的視差；2)采用動(dòng)態(tài)規(guī)劃算法進(jìn)行立體匹配，其中，全局能量方程為E(d) = Edata (d)+Esmooth (d)式中Edata(d)為初始代價(jià)，以自適應(yīng)代價(jià)聚合方法進(jìn)行處理，設(shè)定亮度差閾值，窗口內(nèi)的所有像素點(diǎn)亮度值與目標(biāo)像素點(diǎn)的高度差的絕對(duì)值之和小于閾值，就擴(kuò)大窗ロ，直到達(dá)到閾值，窗ロ大小停止擴(kuò)大，在這個(gè)窗ロ大小基礎(chǔ)上，計(jì)算初始匹配代價(jià)。Es_th(d)為平滑項(xiàng)；3)基于FPGA的方法，將多個(gè)像素點(diǎn)的立體匹配算法中涉及到的高度差計(jì)算和匹配代價(jià)計(jì)算并行處理，并記錄下來(lái)，避免重復(fù)運(yùn)算。所述的步驟4)為1)基于深度圖像的繪制方法分兩個(gè)步驟a)利用深度信息，將參考圖像上所有的像素點(diǎn)重投影到對(duì)應(yīng)的三維空間中；b)將這些三維空間點(diǎn)再投影到目標(biāo)圖像平面，在平行相機(jī)模型下，像素點(diǎn)坐標(biāo)的映射關(guān)系為u = x+pn+qnXd/cXF, ν = y其中，U、ν為基于深度圖像的繪制方法映射后的橫坐標(biāo)和縱坐標(biāo)，x、y為原橫坐標(biāo)和縱坐標(biāo)，p、q為與相機(jī)參數(shù)相關(guān)的兩個(gè)參數(shù)值，η為生成虛擬視點(diǎn)號(hào)，d為原坐標(biāo)位置的視差值，c為兩路相機(jī)的基線距，F(xiàn)為相機(jī)的焦距；2)采用雙ロ SRAM進(jìn)行操作，將一行相機(jī)圖像像素坐標(biāo)數(shù)據(jù)均分為兩部分處理，兩個(gè)時(shí)鐘周期內(nèi)，先將相機(jī)圖像像素坐標(biāo)數(shù)據(jù)在第一個(gè)時(shí)鐘周期寫(xiě)入SRAM，在第二個(gè)時(shí)鐘周期從SRAM讀出相機(jī)圖像像素坐標(biāo)數(shù)據(jù)，然后進(jìn)行判斷如果該坐標(biāo)沒(méi)有被計(jì)算過(guò)，則將該坐標(biāo)對(duì)應(yīng)的像素值記錄下來(lái)；如果該坐標(biāo)沒(méi)被計(jì)算過(guò)，則比較這兩次對(duì)應(yīng)的深度值，將深度值較大的對(duì)應(yīng)的像素值記錄下來(lái)；3)利用FPGA的并行架構(gòu)，將左右兩路相機(jī)圖像序列和左右兩路相機(jī)圖像的深度信息進(jìn)行并行處理，兩塊SRAM進(jìn)行數(shù)據(jù)讀寫(xiě)的乒乓操作，當(dāng)ー塊SRAM處于寫(xiě)入狀態(tài)時(shí)，另 ー塊SRAM處于讀出狀態(tài)。所述的步驟5)為1)同時(shí)利用左右兩路相機(jī)圖像序列和左右兩路相機(jī)圖像的深度信息，對(duì)每ー個(gè)像素點(diǎn)添加空洞標(biāo)示位，根據(jù)空洞標(biāo)示位進(jìn)行融合處理，在空洞位置進(jìn)行判斷如果左圖空洞位置，對(duì)應(yīng)右圖為非空洞，則將右圖信息填充至左圖；如果左圖空洞位置，對(duì)應(yīng)右圖也為空洞，則將此位置標(biāo)志為空洞；2)將空洞填補(bǔ)劃分為非空洞點(diǎn)位置的捜索與空洞位置像素值的計(jì)算兩個(gè)子模塊， 細(xì)分流水級(jí)數(shù)，空洞位置的像素值以水平方向上左右最近的兩個(gè)非空洞點(diǎn)像素值加權(quán)平均計(jì)算得出，其中，加權(quán)值為非空洞點(diǎn)像素坐標(biāo)距離到空洞位置的像素坐標(biāo)距離的倒數(shù)；3)采用雙ロ SRAM存儲(chǔ)虛擬視點(diǎn)圖像數(shù)據(jù)，其中ー個(gè)ロ用于融合時(shí)的儲(chǔ)虛擬視點(diǎn)圖像數(shù)據(jù)寫(xiě)入操作，另ー個(gè)ロ用于空洞填補(bǔ)時(shí)的儲(chǔ)虛擬視點(diǎn)圖像數(shù)據(jù)讀寫(xiě)操作。本發(fā)明采用雙目相機(jī)立體拍攝，可以以基于FPGA的運(yùn)算下，通過(guò)立體匹配，獲得兩路相機(jī)圖像的深度信息，在已知相機(jī)參數(shù)的基礎(chǔ)上，實(shí)時(shí)產(chǎn)生兩路圖像的多個(gè)虛擬視點(diǎn)圖像；通過(guò)視點(diǎn)融合技木，有效的減少空洞數(shù)目，并以快速的空洞修復(fù)算法提高圖像質(zhì)量； 3D立體顯示設(shè)備可提供多人多角度的裸眼多視點(diǎn)立體顯示效果。


圖1是基于FPGA的立體視頻到多視點(diǎn)視頻的3D重構(gòu)方法流程圖；圖2(a)是本發(fā)明的左路相機(jī)圖像；圖2(b)是本發(fā)明的右路相機(jī)圖像；圖3是本發(fā)明的立體匹配流程圖4(a)是本發(fā)明的立體匹配生成的左圖視差圖；圖4(b)是本發(fā)明的立體匹配生成的右圖視差圖；圖5是本發(fā)明的多視點(diǎn)重構(gòu)流程圖；圖6是多視點(diǎn)重構(gòu)并經(jīng)空洞修補(bǔ)后生成的左圖8個(gè)虛擬視點(diǎn)圖和原左圖。圖7是本發(fā)明的立體圖像示例。
具體實(shí)施例方式基于FPGA的立體視頻到多視點(diǎn)視頻的3D重構(gòu)方法的步驟如下1)采用分辨率為640X360的雙目相機(jī)立體拍攝自然場(chǎng)景，獲取左右兩路相機(jī)圖像序列并輸入計(jì)算機(jī)；2)計(jì)算機(jī)將左右兩路相機(jī)圖像序列以BT1120數(shù)據(jù)格式封裝，通過(guò)千兆以太網(wǎng)，傳輸?shù)紽PGA進(jìn)行處理；:3)FPGA通過(guò)立體匹配算法，獲得左右兩路相機(jī)圖像序列的稠密深度信息；4)多視點(diǎn)重構(gòu)模塊根據(jù)左右兩路相機(jī)圖像、相機(jī)參數(shù)、左右兩路相機(jī)圖像的深度信息，用基于深度圖像的繪制技術(shù)(DIBR)計(jì)算多視點(diǎn)自由立體顯示需要的兩路圖像的8個(gè)虛擬視點(diǎn)圖像；5)對(duì)于虛擬視點(diǎn)圖像中存在的空洞和遮擋區(qū)域，以其中一路圖像為主相機(jī)圖像序列，另一路圖像為輔相機(jī)圖像序列，先采用融合算法，減少空洞數(shù)量，再利用快速的空洞修復(fù)算法進(jìn)行修復(fù)；6)顯示處理模塊把左相機(jī)圖像形成的左視點(diǎn)圖像，8個(gè)虛擬視點(diǎn)圖像，利用基于柱透鏡光柵的立體顯示算法進(jìn)行適當(dāng)?shù)闹嘏挪迹筛咔鍒D像，分辨率為1920X1080，以適合多視點(diǎn)觀察的需要；7)重排布圖像通過(guò)HDMI接ロ輸出到裸眼三維顯示器，最終提供裸眼的、適合多人多角度觀察的圖像。所述的步驟3)為1)立體匹配依據(jù)光學(xué)成像中關(guān)于場(chǎng)景、光照以及成像過(guò)程中的若干假設(shè)，在立體圖像對(duì)中根據(jù)相似性測(cè)度選擇圖像的對(duì)應(yīng)點(diǎn)。對(duì)于左右兩路相機(jī)圖像中的對(duì)應(yīng)點(diǎn)P (xL, yL)， P' (χΕ, yK)，兩對(duì)應(yīng)點(diǎn)位于同一掃描行，其坐標(biāo)滿足如下關(guān)系xE = xL-d (χ, y), yE = yL其中d(x, y)稱為點(diǎn)pUL，Yl)和P' (xe, Ye)之間的視差；2)采用動(dòng)態(tài)規(guī)劃算法進(jìn)行立體匹配，其中，全局能量方程為E(d) = Edata (d)+Esmooth (d)式中Edata(d)為初始代價(jià)，以自適應(yīng)代價(jià)聚合方法進(jìn)行處理，設(shè)定亮度差閾值，窗口內(nèi)的所有像素點(diǎn)亮度值與目標(biāo)像素點(diǎn)的高度差的絕對(duì)值之和小于閾值，就擴(kuò)大窗ロ，直到達(dá)到閾值，窗ロ大小停止擴(kuò)大，在這個(gè)窗ロ大小基礎(chǔ)上，計(jì)算初始匹配代價(jià)。Es_th(d)為平滑項(xiàng)；3)基于FPGA的方法，將多個(gè)像素點(diǎn)的立體匹配算法中涉及到的高度差計(jì)算和匹配代價(jià)計(jì)算并行處理，并記錄下來(lái)，避免重復(fù)運(yùn)算。所述的步驟4)為
1)基于深度圖像的繪制方法分兩個(gè)步驟a)利用深度信息，將參考圖像上所有的像素點(diǎn)重投影到對(duì)應(yīng)的三維空間中；b)將這些三維空間點(diǎn)再投影到目標(biāo)圖像平面，在平行相機(jī)模型下，像素點(diǎn)坐標(biāo)的映射關(guān)系為u = x+pn+qnXd/cXF, ν = y其中，U、ν為基于深度圖像的繪制方法映射后的橫坐標(biāo)和縱坐標(biāo)，x、y為原橫坐標(biāo)和縱坐標(biāo)，p、q為與相機(jī)參數(shù)相關(guān)的兩個(gè)參數(shù)值，η為生成虛擬視點(diǎn)號(hào)，d為原坐標(biāo)位置的視差值，c為兩路相機(jī)的基線距，F(xiàn)為相機(jī)的焦距；2)采用雙ロ SRAM進(jìn)行操作，將一行相機(jī)圖像像素坐標(biāo)數(shù)據(jù)均分為兩部分處理，兩個(gè)時(shí)鐘周期內(nèi)，先將相機(jī)圖像像素坐標(biāo)數(shù)據(jù)在第一個(gè)時(shí)鐘周期寫(xiě)入SRAM，在第二個(gè)時(shí)鐘周期從SRAM讀出相機(jī)圖像像素坐標(biāo)數(shù)據(jù)，然后進(jìn)行判斷如果該坐標(biāo)沒(méi)有被計(jì)算過(guò)，則將該坐標(biāo)對(duì)應(yīng)的像素值記錄下來(lái)；如果該坐標(biāo)沒(méi)被計(jì)算過(guò)，則比較這兩次對(duì)應(yīng)的深度值，將深度值較大的對(duì)應(yīng)的像素值記錄下來(lái)；3)利用FPGA的并行架構(gòu)，將左右兩路相機(jī)圖像序列和左右兩路相機(jī)圖像的深度信息進(jìn)行并行處理，兩塊SRAM進(jìn)行數(shù)據(jù)讀寫(xiě)的乒乓操作，當(dāng)ー塊SRAM處于寫(xiě)入狀態(tài)時(shí)，另 ー塊SRAM處于讀出狀態(tài)。所述的步驟5)為1)同時(shí)利用左右兩路相機(jī)圖像序列和左右兩路相機(jī)圖像的深度信息，對(duì)每ー個(gè)像素點(diǎn)添加空洞標(biāo)示位，根據(jù)空洞標(biāo)示位進(jìn)行融合處理，在空洞位置進(jìn)行判斷如果左圖空洞位置，對(duì)應(yīng)右圖為非空洞，則將右圖信息填充至左圖；如果左圖空洞位置，對(duì)應(yīng)右圖也為空洞，則將此位置標(biāo)志為空洞；2)將空洞填補(bǔ)劃分為非空洞點(diǎn)位置的捜索與空洞位置像素值的計(jì)算兩個(gè)子模塊， 細(xì)分流水級(jí)數(shù)，空洞位置的像素值以水平方向上左右最近的兩個(gè)非空洞點(diǎn)像素值加權(quán)平均計(jì)算得出，其中，加權(quán)值為非空洞點(diǎn)像素坐標(biāo)距離到空洞位置的像素坐標(biāo)距離的倒數(shù)；3)采用雙ロ SRAM存儲(chǔ)虛擬視點(diǎn)圖像數(shù)據(jù)，其中ー個(gè)ロ用于融合時(shí)的儲(chǔ)虛擬視點(diǎn)圖像數(shù)據(jù)寫(xiě)入操作，另ー個(gè)ロ用于空洞填補(bǔ)時(shí)的儲(chǔ)虛擬視點(diǎn)圖像數(shù)據(jù)讀寫(xiě)操作。實(shí)施例1)將圖像分辨率為640X360的左右相機(jī)圖像作為輸入圖像，圖2 (a)即為左相機(jī)圖像，圖2(b)即為右相機(jī)圖像。2)將兩路相機(jī)圖像序列以BT1120數(shù)據(jù)格式封裝，通過(guò)千兆以太網(wǎng)，傳輸?shù)紽PGA 進(jìn)行處理。PC傳送1920X360X2的數(shù)據(jù)幀，在FPGA開(kāi)發(fā)板的Iinux系統(tǒng)下將其擴(kuò)展為 1920X1080X2的數(shù)據(jù)幀。3)數(shù)據(jù)被分別寫(xiě)入對(duì)應(yīng)的SRAM，然后進(jìn)行立體匹配。圖3即為立體匹配流程圖。 圖4(a)即為左圖像的視差圖，圖4(b)即為右圖像的視差圖。4)得到視差圖之后，進(jìn)行多視點(diǎn)重構(gòu)操作。圖5即為多視點(diǎn)重構(gòu)流程圖。每一行數(shù)據(jù)依據(jù)相機(jī)參數(shù)映射到8個(gè)視點(diǎn)，當(dāng)8個(gè)視點(diǎn)都運(yùn)算結(jié)束之后，下一行數(shù)據(jù)從SRAM中讀出，進(jìn)行多視點(diǎn)重構(gòu)操作。圖6為多視點(diǎn)重構(gòu)后生成的8個(gè)虛擬視點(diǎn)圖。5)在多視點(diǎn)重構(gòu)操作中，空洞位置會(huì)被標(biāo)記。融合操作根據(jù)空洞標(biāo)示位，在空洞位置進(jìn)行判斷，如果左圖空洞位置，對(duì)應(yīng)右圖為非空洞，則將右圖信息填充至左圖；如果左圖空洞位置，對(duì)應(yīng)右圖也為空洞，則將此位置標(biāo)志為空洞。在空洞修復(fù)操作中，空洞位置的像素值以水平方向上左右最近的兩個(gè)非空洞點(diǎn)像素值加權(quán)平均計(jì)算得出。
6)顯示處理模塊把左相機(jī)圖像形成的左視點(diǎn)圖像，8個(gè)空洞修復(fù)后的虛擬視點(diǎn)圖像，利用基于柱透鏡光柵的立體顯示算法進(jìn)行適當(dāng)?shù)闹嘏挪?，生成高清圖像，分辨率為 1920X1080,以適合多視點(diǎn)觀察的需要。
權(quán)利要求
1.一種基于FPGA的立體視頻到多視點(diǎn)視頻的3D重構(gòu)方法，其特征在于它的步驟如下1)采用分辨率為640X360的雙目相機(jī)立體拍攝自然場(chǎng)景，獲取左右兩路相機(jī)圖像序列并輸入計(jì)算機(jī)；2)計(jì)算機(jī)將左右兩路相機(jī)圖像序列以BT1120數(shù)據(jù)格式封裝，通過(guò)千兆以太網(wǎng)，傳輸?shù)?FPGA進(jìn)行處理；3)FPGA通過(guò)立體匹配算法，獲得左右兩路相機(jī)圖像序列的稠密深度信息；4)多視點(diǎn)重構(gòu)模塊根據(jù)左右兩路相機(jī)圖像、相機(jī)參數(shù)、左右兩路相機(jī)圖像的深度信息， 用基于深度圖像的繪制技術(shù)計(jì)算多視點(diǎn)自由立體顯示需要的兩路圖像的8個(gè)虛擬視點(diǎn)圖像；5)對(duì)于虛擬視點(diǎn)圖像中存在的空洞和遮擋區(qū)域，以其中一路圖像為主相機(jī)圖像序列， 另一路圖像為輔相機(jī)圖像序列，先采用融合算法，減少空洞數(shù)量，再利用快速的空洞修復(fù)算法進(jìn)行修復(fù)；6)顯示處理模塊把左相機(jī)圖像形成的左視點(diǎn)圖像，8個(gè)虛擬視點(diǎn)圖像，利用基于柱透鏡光柵的立體顯示算法進(jìn)行適當(dāng)?shù)闹嘏挪迹筛咔鍒D像，分辨率為1920X1080，以適合多視點(diǎn)觀察的需要；7)重排布圖像通過(guò)HDMI接ロ輸出到裸眼三維顯示器，最終提供裸眼的、適合多人多角度觀察的圖像。
2.根據(jù)權(quán)利要求1所述的ー種基于FPGA的立體視頻到多視點(diǎn)視頻的3D重構(gòu)方法，其特征在于所述的步驟3)為1)立體匹配依據(jù)光學(xué)成像中關(guān)于場(chǎng)景、光照以及成像過(guò)程中的若干假設(shè)，在立體圖像對(duì)中根據(jù)相似性測(cè)度選擇圖像的對(duì)應(yīng)點(diǎn)。對(duì)于左右兩路相機(jī)圖像中的對(duì)應(yīng)點(diǎn)P0^，yL), P' (xE, yK)，兩對(duì)應(yīng)點(diǎn)位于同一掃描行，其坐標(biāo)滿足如下關(guān)系Xr = xL-d(x，y)，yK = yL其中d(x, y)稱為點(diǎn)pOl· yL)和ρ' (χΕ, yE)之間的視差；2)采用動(dòng)態(tài)規(guī)劃算法進(jìn)行立體匹配，其中，全局能量方程為E(d) = Edata (d)+Esmooth (d)式中Edata (d)為初始代價(jià)，以自適應(yīng)代價(jià)聚合方法進(jìn)行處理，設(shè)定亮度差閾值，窗口內(nèi)的所有像素點(diǎn)亮度值與目標(biāo)像素點(diǎn)的高度差的絕對(duì)值之和小于閾值，就擴(kuò)大窗ロ，直到達(dá)到閾值，窗ロ大小停止擴(kuò)大，在這個(gè)窗ロ大小基礎(chǔ)上，計(jì)算初始匹配代價(jià)。Es_th(d)為平滑項(xiàng)；3)基于FPGA的方法，將多個(gè)像素點(diǎn)的立體匹配算法中涉及到的高度差計(jì)算和匹配代價(jià)計(jì)算并行處理，并記錄下來(lái)，避免重復(fù)運(yùn)算。
3.根據(jù)權(quán)利要求1所述的ー種基于FPGA的立體視頻到多視點(diǎn)視頻的3D重構(gòu)方法，其特征在于所述的步驟4)為1)基于深度圖像的繪制方法分兩個(gè)步驟a)利用深度信息，將參考圖像上所有的像素點(diǎn)重投影到對(duì)應(yīng)的三維空間中；b)將這些三維空間點(diǎn)再投影到目標(biāo)圖像平面，在平行相機(jī)模型下，像素點(diǎn)坐標(biāo)的映射關(guān)系為u = x+pn+qnXd/cXF，ν = y其中，U、ν為基于深度圖像的繪制方法映射后的橫坐標(biāo)和縱坐標(biāo)，x、y為原橫坐標(biāo)和縱坐標(biāo)，P、q為與相機(jī)參數(shù)相關(guān)的兩個(gè)參數(shù)值，η為生成虛擬視點(diǎn)號(hào)，d為原坐標(biāo)位置的視差值，c為兩路相機(jī)的基線距，F(xiàn)為相機(jī)的焦距；2)采用雙ロSRAM進(jìn)行操作，將一行相機(jī)圖像像素坐標(biāo)數(shù)據(jù)均分為兩部分處理，兩個(gè)時(shí)鐘周期內(nèi)，先將相機(jī)圖像像素坐標(biāo)數(shù)據(jù)在第一個(gè)時(shí)鐘周期寫(xiě)入SRAM，在第二個(gè)時(shí)鐘周期從 SRAM讀出相機(jī)圖像像素坐標(biāo)數(shù)據(jù)，然后進(jìn)行判斷如果該坐標(biāo)沒(méi)有被計(jì)算過(guò)，則將該坐標(biāo)對(duì)應(yīng)的像素值記錄下來(lái)；如果該坐標(biāo)沒(méi)被計(jì)算過(guò)，則比較這兩次對(duì)應(yīng)的深度值，將深度值較大的對(duì)應(yīng)的像素值記錄下來(lái)；3)利用FPGA的并行架構(gòu)，將左右兩路相機(jī)圖像序列和左右兩路相機(jī)圖像的深度信息進(jìn)行并行處理，兩塊SRAM進(jìn)行數(shù)據(jù)讀寫(xiě)的乒乓操作，當(dāng)ー塊SRAM處于寫(xiě)入狀態(tài)時(shí)，另ー塊 SRAM處于讀出狀態(tài)。
4.根據(jù)權(quán)利要求1所述的ー種基于FPGA的立體視頻到多視點(diǎn)視頻的3D重構(gòu)方法，其特征在于所述的步驟5)為1)同時(shí)利用左右兩路相機(jī)圖像序列和左右兩路相機(jī)圖像的深度信息，對(duì)每ー個(gè)像素點(diǎn)添加空洞標(biāo)示位，根據(jù)空洞標(biāo)示位進(jìn)行融合處理，在空洞位置進(jìn)行判斷如果左圖空洞位置，對(duì)應(yīng)右圖為非空洞，則將右圖信息填充至左圖；如果左圖空洞位置，對(duì)應(yīng)右圖也為空洞， 則將此位置標(biāo)志為空洞；2)將空洞填補(bǔ)劃分為非空洞點(diǎn)位置的捜索與空洞位置像素值的計(jì)算兩個(gè)子模塊，細(xì)分流水級(jí)數(shù)，空洞位置的像素值以水平方向上左右最近的兩個(gè)非空洞點(diǎn)像素值加權(quán)平均計(jì)算得出，其中，加權(quán)值為非空洞點(diǎn)像素坐標(biāo)距離到空洞位置的像素坐標(biāo)距離的倒數(shù)；3)采用雙ロSRAM存儲(chǔ)虛擬視點(diǎn)圖像數(shù)據(jù)，其中ー個(gè)ロ用于融合時(shí)的儲(chǔ)虛擬視點(diǎn)圖像數(shù)據(jù)寫(xiě)入操作，另ー個(gè)ロ用于空洞填補(bǔ)時(shí)的儲(chǔ)虛擬視點(diǎn)圖像數(shù)據(jù)讀寫(xiě)操作。
全文摘要
本發(fā)明公開(kāi)了一種基于FPGA的立體視頻到多視點(diǎn)視頻的3D重構(gòu)的方法，它的步驟如下1)雙目相機(jī)立體拍攝自然場(chǎng)景；2)通過(guò)千兆以太網(wǎng)，將兩路彩色圖像信息，以BT1120數(shù)據(jù)格式，傳送到FPGA進(jìn)行處理；3)通過(guò)立體匹配，獲得兩路相機(jī)圖像的深度信息；4)根據(jù)算法，進(jìn)行多視點(diǎn)重構(gòu)和視點(diǎn)合成運(yùn)算；5)通過(guò)HDMI接口輸出，并在裸眼3D顯示設(shè)備提供多視點(diǎn)立體顯示。本發(fā)明采用雙目相機(jī)立體拍攝，可實(shí)現(xiàn)真實(shí)場(chǎng)景的立體顯示；高效的算法以及FPGA的并行架構(gòu)可以實(shí)現(xiàn)實(shí)時(shí)顯示；3D立體顯示設(shè)備可提供多人多角度的裸眼多視點(diǎn)立體顯示效果。
文檔編號(hào)H04N13/00GK102572482SQ20121000303
公開(kāi)日2012年7月11日 申請(qǐng)日期2012年1月6日 優(yōu)先權(quán)日2012年1月6日
發(fā)明者付航, 姚少俊, 張明, 李東曉, 王梁昊, 金鵬飛 申請(qǐng)人:浙江大學(xué)