專利名稱：一種基于圖像匹配的高分辨率深度圖實(shí)時(shí)提取裝置及方法
技術(shù)領(lǐng)域：
本發(fā)明涉及3DTV領(lǐng)域，基于圖像匹配原理，應(yīng)用于3DTV前端雙視或多視視頻的快速深度提取，即基于圖像匹配的高分辨率深度圖實(shí)時(shí)提取裝置及方法。
背景技術(shù)：
雙視或多視點(diǎn)視頻3DTV實(shí)時(shí)顯示系統(tǒng)，包含了前端視頻采集，編碼傳送，解碼顯示等部分。多視點(diǎn)視頻的數(shù)據(jù)量遠(yuǎn)比單視數(shù)據(jù)量要大。例如多視點(diǎn)是9個(gè)視點(diǎn)，如果9個(gè)視點(diǎn)采用基于H.264聯(lián)播方式編碼就是原來(lái)數(shù)據(jù)量的9倍。鑒于此，在2009年JVT和MPEG的推出了 MVD (多視+深度)數(shù)據(jù)模式。在該模式中，對(duì)傳輸?shù)囊曨l端除了原來(lái)視點(diǎn)的紋理彩色視頻外，對(duì)于每個(gè)視點(diǎn)都附加一個(gè)與之相應(yīng)的深度圖視頻。提出深度圖的概念有2個(gè)最直觀的好處:
(a):深度圖較平坦，對(duì)編碼來(lái)說(shuō)效率極高，即使采用H.264的編碼方式其編碼比特率也僅是彩色視頻編碼比特率的20-30%。(b):通過(guò)提取具有場(chǎng)景幾何信息的深度，可繪制出高質(zhì)量的虛擬視。綜上所述，快速準(zhǔn)確地提取深度圖是實(shí)時(shí)3DTV系統(tǒng)的關(guān)鍵，也是MVD模式的核心，因此諸多學(xué)者對(duì)此從未停止探索的腳步。

發(fā)明內(nèi)容
本發(fā)明目的在于提供一種基于圖像匹配的高分辨率深度圖實(shí)時(shí)提取裝置及方法，以滿足3DTV前端深度提取效率低下不能滿足實(shí)時(shí)應(yīng)用的現(xiàn)狀。利用圖像匹配的原理以及FPGA平臺(tái)并行結(jié)構(gòu)，在單片F(xiàn)PGA上編程和實(shí)現(xiàn)，可以較高質(zhì)量地進(jìn)行深度的實(shí)時(shí)提取。為達(dá)到上述目的，本發(fā)明的構(gòu)思是:
I.將雙路同步SDI輸入視頻解析為視頻數(shù)據(jù)信號(hào)，同時(shí)提取水平同步標(biāo)識(shí)信號(hào)、垂直同步標(biāo)識(shí)信號(hào)、視頻有效數(shù)據(jù)標(biāo)志信號(hào)，對(duì)于隔行掃描的視頻格式還將提取出幀數(shù)標(biāo)識(shí)信號(hào);
I1.利用基于非參數(shù)化區(qū)域變換的匹配算法對(duì)兩路視頻進(jìn)行立體匹配，對(duì)于已解析的視頻數(shù)據(jù)，通過(guò)識(shí)別水平同步標(biāo)識(shí)信號(hào)、垂直同步標(biāo)識(shí)信號(hào)、視頻有效數(shù)據(jù)標(biāo)志信號(hào)和幀數(shù)標(biāo)識(shí)信號(hào)，準(zhǔn)確地判斷出完整的一場(chǎng)、一行有效數(shù)據(jù)開(kāi)始的位置，再配合FPGA內(nèi)部BlockRam和寄存器資源，有效地將動(dòng)態(tài)的視頻匹配轉(zhuǎn)化為靜態(tài)的圖像匹配；
II1.利用WinnerTakes All優(yōu)選策略進(jìn)行視差候選值選定，采用6級(jí)兩兩比較的方法找出視差范圍內(nèi)匹配代價(jià)最小像素點(diǎn)的位置，該位置所對(duì)應(yīng)的深度即為參考點(diǎn)深度值；
將所得深度圖進(jìn)行DDR2緩存，再通過(guò)PCIE接口輸出至繪制服務(wù)器；
本發(fā)明將以上所述的SDI解析、Census區(qū)域變換實(shí)現(xiàn)、匹配代價(jià)計(jì)算、匹配代價(jià)最優(yōu)選擇和DDR2緩存控制等均在單片F(xiàn)PGA芯片中完成，攜帶安裝方便，且功能更新、升級(jí)方便。在上述模塊實(shí)現(xiàn)過(guò)程中采用Verilog HDL編程，對(duì)各個(gè)模塊采用流水線設(shè)計(jì)，并對(duì)代碼優(yōu)化布局布線，添加合理的時(shí)序約束，對(duì)Block Ram采用下降沿讀取的方式，可避免多數(shù)亞穩(wěn)態(tài)，在高分辨率視頻數(shù)據(jù)的時(shí)鐘下高速穩(wěn)定地進(jìn)行深度提取。根據(jù)上述發(fā)明構(gòu)思，本發(fā)明采用下述技術(shù)方案:
一種基于圖像匹配的高分辨率深度圖實(shí)時(shí)提取裝置，包括雙目SDI攝像機(jī)和FPGA開(kāi)發(fā)板，雙目SDI攝像機(jī)通過(guò)兩路BNC接口單向連接FPGA開(kāi)發(fā)板，F(xiàn)PGA開(kāi)發(fā)板通過(guò)PCIE接口單向連接3DTV編碼服務(wù)器；利用雙目SDI攝像機(jī)獲取圖像，在FPGA開(kāi)發(fā)板上實(shí)現(xiàn)深度圖實(shí)時(shí)提取，獲取的深度圖實(shí)時(shí)傳輸至編碼服務(wù)器。所述雙目SDI攝像機(jī)采用PanasonicAG-3DA1MC雙目高清攝像機(jī)，攝像機(jī)可通過(guò)SDI輸出高清視頻，兩路視頻經(jīng)過(guò)了圖像校正，可直接進(jìn)行立體匹配。所述FPGA開(kāi)發(fā)板采用EP2AGX260 FPGA芯片，芯片雙向連接IGB DDR2SODIMM作為數(shù)據(jù)緩存模塊，F(xiàn)PGA開(kāi)發(fā)板前端設(shè)計(jì)兩路SDI接收模塊，LMH0344均衡器對(duì)SDI信號(hào)進(jìn)行DC恢復(fù)，LMH0341解串器自動(dòng)檢測(cè)輸入數(shù)據(jù)速率并提取時(shí)鐘，F(xiàn)PGA開(kāi)發(fā)板后端通過(guò)PCIE接口以全雙工方式將深度圖輸出至3DTV編碼服務(wù)器。一種基于圖像匹配的高分辨率深度圖實(shí)時(shí)提取方法，采用上述裝置進(jìn)行深度圖的實(shí)時(shí)提取，其特征在于通過(guò)在FPGA芯片內(nèi)設(shè)計(jì)數(shù)字電路實(shí)現(xiàn)深度圖的提取，操作步驟如下:
I.SDI解析:將經(jīng)過(guò)解串之后的兩路同步SDI視頻輸入解析為視頻數(shù)據(jù)信號(hào)；
II.匹配代價(jià)估計(jì):以數(shù)字電路方式實(shí)現(xiàn)匹配代價(jià)函數(shù)的構(gòu)建和匹配代價(jià)的估計(jì)；
III.WTA最優(yōu)選擇-生成深度圖:以數(shù)字電路方式在視差范圍內(nèi)對(duì)最優(yōu)匹配進(jìn)行選擇。所述步驟I SDI 解析是通過(guò) FPGA 編程，配合 SDI Receiver (protocol )MegaCore從雙路同步SDI視頻解析出視頻數(shù)據(jù)信號(hào)，并提取出水平同步標(biāo)識(shí)信號(hào)，垂直同步標(biāo)識(shí)信號(hào)，視頻有效數(shù)據(jù)標(biāo)志信號(hào)，對(duì)于隔行掃描的視頻格式還將提取出場(chǎng)標(biāo)識(shí)信號(hào)；利用這些標(biāo)識(shí)信號(hào)配合FPGA芯片內(nèi)部的RAM和寄存器資源將動(dòng)態(tài)的同步視頻的匹配轉(zhuǎn)化為靜態(tài)的每一幀的圖像匹配。所述步驟II匹配代價(jià)估計(jì)針對(duì)每一路視頻實(shí)現(xiàn)Census變換，通過(guò)例化FPGA內(nèi)部資源Block Ram作為L(zhǎng)ine Buffer，將每一行數(shù)據(jù)進(jìn)行存儲(chǔ)，選用15X 15像素大小的匹配窗口，在匹配窗口內(nèi)部采用隔行稀疏十字交叉矩陣進(jìn)行選值，達(dá)到匹配精度與復(fù)雜度的平衡。所述步驟III WTA最優(yōu)選擇-生成深度圖是通過(guò)Winner Takes All的優(yōu)選方式在待匹配視圖上找出64像素視差范圍內(nèi)的匹配代價(jià)最小的點(diǎn)，選取該點(diǎn)為候選點(diǎn)。采用分級(jí)兩兩進(jìn)行比較的方法，經(jīng)過(guò)6級(jí)比較則可選出匹配代價(jià)最小的點(diǎn)，同時(shí)標(biāo)記匹配代價(jià)次小點(diǎn)的匹配代價(jià)值。本發(fā)明的積極效果是:可直接接受高清雙路SDI輸入，實(shí)時(shí)地提取高清晰度的深度，且可插在PC主板上，將得到的深度圖直接通過(guò)PCIE接口輸入繪制服務(wù)器，大大加速了實(shí)時(shí)3DTV制作和真實(shí)場(chǎng)景重現(xiàn)的實(shí)現(xiàn)和普及。該裝置及方法可自動(dòng)檢測(cè)雙視輸入視頻分辨率，可支持最高達(dá)1920 X 1080的高清視頻，輸出的深度圖與輸入分辨率相同。圖像匹配采用非參數(shù)化的匹配方法，有效消除兩路輸入視頻的光線差異等因素對(duì)深度提取結(jié)果造成的影響。將提取出的深度圖像通過(guò)DDR2實(shí)時(shí)緩存，使深度圖像穩(wěn)定地輸出。SDI協(xié)議解析、圖像匹配、深度提取、DDR2緩存控制等模塊均在單片F(xiàn)PGA芯片上完成，利用FPGA的并行結(jié)構(gòu)實(shí)行提取，使深度提取過(guò)程靈活高效。一般情況下深度提取的復(fù)雜度會(huì)隨著分辨率的增加而急劇增加，提取效率也會(huì)隨之急劇下降，該裝置及方法可實(shí)現(xiàn)對(duì)雙路1920 X 1080分辨率視頻的實(shí)時(shí)深度提取，有效解決了 3DTV系統(tǒng)中深度提取效率過(guò)于低下的問(wèn)題，是3DTV真實(shí)場(chǎng)景實(shí)時(shí)重現(xiàn)至關(guān)重要的環(huán)節(jié)。


下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明進(jìn)一步說(shuō)明。圖1為本發(fā)明的整體結(jié)構(gòu)圖。圖2為本發(fā)明匹配代價(jià)估計(jì)準(zhǔn)則構(gòu)建原理圖。圖3為本發(fā)明WTA最優(yōu)選擇過(guò)程中分級(jí)兩兩比較原理示意圖。圖4為本發(fā)明深度提取算法在FPGA芯片內(nèi)部實(shí)現(xiàn)的總體示意圖。
具體實(shí)施例方式為了能夠更清楚地理解本發(fā)明的技術(shù)內(nèi)容，以下結(jié)合附圖對(duì)本發(fā)明的優(yōu)選實(shí)施例作詳細(xì)描述:
實(shí)施例一:
參考圖1，本基于圖像匹配的高分辨率深度圖實(shí)時(shí)提取裝置，包括雙目SDI攝像機(jī)(I)和FPGA開(kāi)發(fā)板(2)，其特征在于所述的雙目SDI攝像機(jī)(I)單向連接FPGA開(kāi)發(fā)板(2)，所述FPGA開(kāi)發(fā)板單向連接一個(gè)3DTV編碼服務(wù)器(3);利用雙目SDI攝像機(jī)(I)獲取圖像，在FPGA開(kāi)發(fā)板(2)上實(shí)現(xiàn)深度實(shí)時(shí)提取，獲取深度圖通實(shí)時(shí)傳輸至3DTV編碼服務(wù)器。實(shí)施例二:
本實(shí)施例與實(shí)施例一基本相同，特別之處是:所述雙目SDI攝像機(jī)采用PanasonicAG-3DA1MC雙目高清攝像機(jī)。該攝像機(jī)可通過(guò)SDI輸出高清視頻，兩路視頻經(jīng)過(guò)了圖像校正，可直接進(jìn)行立體匹配。所述FPGA開(kāi)發(fā)板上采用EP2AGX260 FPGA芯片，芯片雙向連接IGB DDR2 SODIMM作為數(shù)據(jù)緩存模塊。FPGA開(kāi)發(fā)板前端設(shè)計(jì)兩路SDI接收模塊，LMH0344均衡器對(duì)SDI信號(hào)進(jìn)行DC恢復(fù)，LMH0341解串器自動(dòng)檢測(cè)輸入數(shù)據(jù)速率并提取時(shí)鐘；FPGA開(kāi)發(fā)板后端通過(guò)PCIE接口，以全雙工方式將深度圖輸出至3DTV編碼服務(wù)器。實(shí)施例三:
本基于圖像匹配的高分辨率深度圖實(shí)時(shí)提取方法，采用上述裝置進(jìn)行深度圖的實(shí)時(shí)提取，其特別之處是:通過(guò)在FPGA芯片內(nèi)設(shè)計(jì)數(shù)字電路實(shí)現(xiàn)，操作步驟如下:
I.SDI解析:將經(jīng)過(guò)解串之后的兩路同步SDI視頻輸入解析為視頻數(shù)據(jù)信號(hào)；
II.匹配代價(jià)估計(jì):以數(shù)字電路方式實(shí)現(xiàn)匹配代價(jià)函數(shù)的構(gòu)建和匹配代價(jià)的估計(jì)；
III.WTA最優(yōu)選擇-生成深度圖:以數(shù)字電路方式在視差范圍內(nèi)對(duì)最優(yōu)匹配進(jìn)行選擇。實(shí)施例四:
本實(shí)施例與實(shí)施例三基本相同，特別之處是:所述步驟I SDI解析是通過(guò)FPGA編程，配合SDI Receiver (protocol) MegaCore從雙路同步SDI視頻解析出視頻數(shù)據(jù)信號(hào)，并提取出水平同步標(biāo)識(shí)信號(hào)，垂直同步標(biāo)識(shí)信號(hào)，視頻有效數(shù)據(jù)標(biāo)志信號(hào)，對(duì)于隔行掃描的視頻格式還將提取出場(chǎng)標(biāo)識(shí)信號(hào)；利用這些標(biāo)識(shí)信號(hào)配合FPGA芯片內(nèi)部的RAM和寄存器資源將動(dòng)態(tài)的同步視頻的匹配轉(zhuǎn)化為靜態(tài)的每一幀的圖像匹配。所述步驟II匹配代價(jià)估計(jì)針對(duì)每一路視頻實(shí)現(xiàn)Census變換,通過(guò)例化FPGA內(nèi)部資源Block Ram作為L(zhǎng)ine Buffer,將每一行數(shù)據(jù)進(jìn)行存儲(chǔ)，選用15X 15像素大小的匹配窗口，在匹配窗口內(nèi)部采用隔行稀疏十字交叉矩陣進(jìn)行選值，達(dá)到匹配精度與復(fù)雜度的平衡。所述步驟III WTA最優(yōu)選擇-生成深度圖是通過(guò)Winner Takes All的優(yōu)選方式在待匹配視圖上找出64像素視差范圍內(nèi)的匹配代價(jià)最小的點(diǎn)，選取該點(diǎn)為候選點(diǎn)。采用分級(jí)兩兩進(jìn)行比較的方法，經(jīng)過(guò)6級(jí)比較則可選出匹配代價(jià)最小的點(diǎn)，同時(shí)標(biāo)記匹配代價(jià)次小點(diǎn)的匹配代價(jià)值。實(shí)施例五:
(I)裝置結(jié)構(gòu)
本裝置用于高分辨率深度圖的實(shí)時(shí)提取，總體結(jié)構(gòu)如圖1所示，包括雙目SDI攝像機(jī)和FPGA開(kāi)發(fā)板，F(xiàn)PGA開(kāi)發(fā)板前端通過(guò)SDI接口連接雙目SDI攝像機(jī)，F(xiàn)PGA開(kāi)發(fā)板后端通過(guò)PCIE接口連接3DTV繪圖服務(wù)器。雙目SDI攝像機(jī)采用Panasonic AG-3DA1MC雙目高清攝像機(jī)，該攝像機(jī)可通過(guò)SDI輸出高清視頻，兩路視頻經(jīng)過(guò)了圖像校正，可直接進(jìn)行立體匹配。FPGA開(kāi)發(fā)板主芯片采用EP2AGX260 FPGA芯片，芯片雙向連接IGB DDR2 SODIMM作為數(shù)據(jù)緩存模塊。開(kāi)發(fā)板前端設(shè)計(jì)兩路SDI接收模塊，LMH0344均衡器對(duì)SDI信號(hào)進(jìn)行DC恢復(fù)，LMH0341解串器自動(dòng)檢測(cè)輸入數(shù)據(jù)速率并提取時(shí)鐘。開(kāi)發(fā)板后端通過(guò)PCIE接口，以全雙工方式將深度圖輸出至繪制服務(wù)器?；趫D像匹配的高分辨率深度圖實(shí)時(shí)提取方法是基于上述裝置，通過(guò)在FPGA芯片中Verilog HDL數(shù)字電路編程實(shí)現(xiàn)的，其過(guò)程主要有SDI解析，匹配代價(jià)估計(jì)以及WTA最優(yōu)選擇。下面結(jié)合附圖針對(duì)每一過(guò)程進(jìn)行敘述。(2) SDI 解析
先在FPGA芯片內(nèi)將雙路同步攝像機(jī)的SDI輸入視頻分別解析，對(duì)于解析之后的數(shù)據(jù)進(jìn)行視頻處理，深度提取等。構(gòu)建SDI解析模塊，解析出來(lái)的數(shù)據(jù)符合SMPTE292標(biāo)準(zhǔn)。在隔行掃描的情況下有奇數(shù)場(chǎng)偶數(shù)場(chǎng)之分，一場(chǎng)數(shù)據(jù)中除Digital Active Line外還有Blanking行，而在一行中除了 Digital Active Pixel外還有Blanking, EAV, SAV, CRC等信號(hào)。視頻處理和深度提取是針對(duì)有效數(shù)據(jù)而言的，無(wú)效處理并不進(jìn)行處理，但欲使兩路視頻每一場(chǎng)的匹配都像靜止的圖像匹配那樣，從EAV，SAV信號(hào)中提取水平同步標(biāo)識(shí)信號(hào)，垂直同步標(biāo)識(shí)信號(hào)，視頻有效數(shù)據(jù)標(biāo)志信號(hào)和場(chǎng)標(biāo)識(shí)信號(hào)來(lái)判定一場(chǎng)有效數(shù)據(jù)的位置，一行有效數(shù)據(jù)的位置是至關(guān)重要的。(3)匹配代價(jià)估計(jì) 1.Census 變換
立體匹配算法是立體視覺(jué)中的關(guān)鍵算法，對(duì)于經(jīng)過(guò)水平矯正的兩路視頻，根據(jù)FPGA平臺(tái)的結(jié)構(gòu)特點(diǎn)，對(duì)欲求取深度的兩路視圖分別進(jìn)行Census變換，然后將參考視的某一像素點(diǎn)作為參考像素，在視差視圖的視差范圍內(nèi)求出所有像素點(diǎn)與該參考像素點(diǎn)Census序列的漢明距，接著進(jìn)行Winner Takes All最優(yōu)選擇，視差范圍內(nèi)與參考像素漢明距最小的像素點(diǎn)可視為與參考像素點(diǎn)相似度最高，即為該參考視點(diǎn)對(duì)應(yīng)的候選匹配點(diǎn)。基于硬件平臺(tái)結(jié)構(gòu)的考慮，本發(fā)明將Census變換作為基本原理進(jìn)行立體匹配，該算法是由Zabih和Woodfill提出的一種非參數(shù)化的立體匹配方法。以下就實(shí)際運(yùn)用對(duì)該算法的執(zhí)行過(guò)程進(jìn)行說(shuō)明:在視圖中選取任一點(diǎn)，以該點(diǎn)為中心劃出一個(gè)例如 > X 3的矩形，矩形中除中心點(diǎn)之外的每一點(diǎn)都與中心點(diǎn)進(jìn)行比較，灰度值小于中心點(diǎn)即記為0，灰度大于中心點(diǎn)的則記為1，以所得長(zhǎng)度為8的只有O和I的序列作為該中心點(diǎn)的Census序列。按照此過(guò)程，將視圖上的所有點(diǎn)都轉(zhuǎn)換成相應(yīng)的Census序列。

由上可知，Census變換是變換窗口內(nèi)中心像素與周?chē)袼叵啾容^的結(jié)果，是變換窗口中心像素的一種特征表示。隨著窗口和視差搜索范圍的增大，F(xiàn)PGA資源占用率將急劇增加，對(duì)于m5￡m大小的Census變換窗口，n x η大小的立體匹配范圍(匹配視圖大小)，及r大小的視差搜索范圍，求取視差的計(jì)算量如下
權(quán)利要求
1.一種基于圖像匹配的高分辨率深度圖實(shí)時(shí)提取裝置，包括雙目SDI攝像機(jī)(I)和FPGA開(kāi)發(fā)板(2)，其特征在于所述的雙目SDI攝像機(jī)(I)單向連接FPGA開(kāi)發(fā)板(2)，所述FPGA開(kāi)發(fā)板(2 )單向連接一個(gè)3DTV編碼服務(wù)器(3 );利用雙目SDI攝像機(jī)(I)獲取圖像，在FPGA開(kāi)發(fā)板(2)上實(shí)現(xiàn)深度實(shí)時(shí)提取，獲取深度圖通實(shí)時(shí)傳輸至3DTV編碼服務(wù)器(3)。
2.根據(jù)權(quán)利要求1所述的一種基于圖像匹配的高分辨率深度圖實(shí)時(shí)提取裝置，其特征在于所述雙目SDI攝像機(jī)(I)采用Panasonic AG-3DA1MC雙目高清攝像機(jī)。該攝像機(jī)可通過(guò)SDI輸出高清視頻，兩路視頻經(jīng)過(guò)了圖像校正，可直接進(jìn)行立體匹配。
3.根據(jù)權(quán)利要求1所述的一種基于圖像匹配的高分辨率深度圖實(shí)時(shí)提取裝置，其特征在于所述FPGA開(kāi)發(fā)板(2)上采用EP2AGX260 FPGA芯片(4)，芯片(4)雙向連接IGB DDR2SODIMM (5)作為數(shù)據(jù)緩存模塊。FPGA開(kāi)發(fā)板(2)前端設(shè)計(jì)兩路SDI接收模塊，LMH0344均衡器對(duì)SDI信號(hào)進(jìn)行DC恢復(fù)，LMH0341解串器自動(dòng)檢測(cè)輸入數(shù)據(jù)速率并提取時(shí)鐘；FPGA開(kāi)發(fā)板(2 )后端通過(guò)PCIE接口( 6 )，以全雙工方式將深度圖輸出至3DTV編碼服務(wù)器(3 )。
4.一種基于圖像匹配的高分辨率深度圖實(shí)時(shí)提取方法，采用權(quán)利要求1所述的一種基于圖像匹配的高分辨率深度圖實(shí)時(shí)提取裝置進(jìn)行深度圖的實(shí)時(shí)提取，其特征在于通過(guò)在FPGA芯片(4)內(nèi)設(shè)計(jì)數(shù)字電路實(shí)現(xiàn)，操作步驟如下: I.SDI解析(7):將解串之后的兩路同步SDI視頻輸入解析為視頻數(shù)據(jù)信號(hào)； II.匹配代價(jià)估計(jì)(8):以數(shù)字電路方式實(shí)現(xiàn)匹配代價(jià)函數(shù)的構(gòu)建和匹配代價(jià)的估計(jì)； III.WTA最優(yōu)選擇-生成深度圖(9):以數(shù)字電路方式在視差范圍內(nèi)對(duì)最優(yōu)匹配進(jìn)行選擇。
5.根據(jù)權(quán)利要求4所述的一種基于圖像匹配的高分辨率深度圖實(shí)時(shí)提取方法，其特征在于所述步驟I SDI解析(7)是:通過(guò)FPGA編程，配合SDI Receiver (protocol )MegaCore從雙路同步SDI視頻解析出視頻數(shù)據(jù)信號(hào)，并提取出水平同步標(biāo)識(shí)信號(hào)，垂直同步標(biāo)識(shí)信號(hào)，視頻有效數(shù)據(jù)標(biāo)志信號(hào)，對(duì)于隔行掃描的視頻格式還將提取出場(chǎng)標(biāo)識(shí)信號(hào)；利用這些標(biāo)識(shí)信號(hào)配合FPGA芯片內(nèi)部的RAM和寄存器資源將動(dòng)態(tài)的同步視頻的匹配轉(zhuǎn)化為靜態(tài)的每一幀的圖像匹配。
6.根據(jù)權(quán)利要求4所述的一種基于圖像匹配的高分辨率深度圖實(shí)時(shí)提取方法，其特征在于所述步驟II匹配代價(jià)估計(jì)(8)針對(duì)每一路視頻實(shí)現(xiàn)Census變換，通過(guò)例化FPGA內(nèi)部資源Block Ram作為L(zhǎng)ine Buffer,將每一行數(shù)據(jù)進(jìn)行存儲(chǔ)，選用15X I。像素大小的匹配窗口，在匹配窗口內(nèi)部采用隔行稀疏十字交叉矩陣進(jìn)行選值，達(dá)到匹配精度與復(fù)雜度的平衡。
7.根據(jù)權(quán)利要求4所述的一種基于圖像匹配的高分辨率深度圖實(shí)時(shí)提取方法，其特征在于所述步驟III WTA最優(yōu)選擇-生成深度圖(9)是:通過(guò)Winner Takes All的優(yōu)選方式在待匹配視圖上找出64像素視差范圍內(nèi)的匹配代價(jià)最小的點(diǎn)，選取該點(diǎn)為候選點(diǎn)。采用分級(jí)兩兩進(jìn)行比較的方法，經(jīng)過(guò)6級(jí)比較則可選出匹配代價(jià)最小的點(diǎn)，同時(shí)標(biāo)記匹配代價(jià)次小點(diǎn)的匹配代價(jià)值。
全文摘要
本發(fā)明公開(kāi)了一種基于圖像匹配的高分辨率深度圖實(shí)時(shí)提取裝置及方法。本裝置包括雙目SDI攝像機(jī)和FPGA開(kāi)發(fā)板，雙目SDI攝像機(jī)通過(guò)兩路BNC接口單向連接FPGA開(kāi)發(fā)板，F(xiàn)PGA開(kāi)發(fā)板通過(guò)PCIE接口單向連接3DTV編碼服務(wù)器；利用雙目SDI攝像機(jī)獲取圖像，在FPGA開(kāi)發(fā)板上實(shí)現(xiàn)深度圖實(shí)時(shí)提取，獲取的深度圖實(shí)時(shí)傳輸至編碼服務(wù)器。本方法的操作步驟是Ⅰ.SDI解析，Ⅱ.立體匹配，Ⅲ.WTA最優(yōu)選擇-生成深度圖。本發(fā)明可直接接受高清雙路SDI輸入，實(shí)時(shí)地提取高清晰度視頻深度圖，且可插在PC主板上，將得到的深度圖直接通過(guò)PCIE接口輸入編碼服務(wù)器，大大加速3DTV應(yīng)用以及真實(shí)場(chǎng)景重現(xiàn)的實(shí)現(xiàn)和普及。
文檔編號(hào)H04N13/00GK103167306SQ20131009310
公開(kāi)日2013年6月19日 申請(qǐng)日期2013年3月22日 優(yōu)先權(quán)日2013年3月22日
發(fā)明者王建偉, 滕國(guó)偉, 魯超, 鄒雪妹, 李火生, 成益龍, 路龍龍, 崔大海 申請(qǐng)人:上海大學(xué)