本發(fā)明涉及立體圖像處理
技術(shù)領(lǐng)域：
，尤其涉及一種雙視點(diǎn)立體視頻的圖像匹配方法及裝置。
背景技術(shù)：
：目前，立體視頻采集設(shè)備通過(guò)雙目攝像機(jī)對(duì)兩組光學(xué)系統(tǒng)中場(chǎng)景進(jìn)行采集，獲取場(chǎng)景的左右視圖，并顯示在立體顯示器上，用戶佩戴3D眼鏡就可以觀看到立體場(chǎng)景。這樣可以改善用戶的視野，增強(qiáng)觀看的立體效果，可以獲取更為豐富的場(chǎng)景信息。但是立體視頻的應(yīng)用中，如果要實(shí)現(xiàn)數(shù)字化功能，獲取場(chǎng)景的左右視圖后，就不能停留在獲取立體觀看效果上，需要進(jìn)一步的對(duì)獲取的圖像進(jìn)行分析，提取出其中豐富的信息，以為用戶提供更為精確的數(shù)字信息。現(xiàn)有技術(shù)中立體視頻的深度信息獲取，給視覺應(yīng)用帶來(lái)了很大的變化，無(wú)論是從工業(yè)檢測(cè)還是在醫(yī)療手術(shù)的效率及安全性提高上都有了很大的進(jìn)步。通過(guò)立體深度信息，用戶在應(yīng)用中可以獲取更好的視覺體驗(yàn)，更逼真的立體畫面，進(jìn)而得到觀察區(qū)域的精確信息，提高了用戶對(duì)觀察區(qū)的了解，也為量化判斷提供了更多的支持。該深度信息可通過(guò)視場(chǎng)的稠密視差圖來(lái)獲取。稠密的視差圖可以用來(lái)三維重建。由于當(dāng)前立體視頻圖片分辨率較高，在應(yīng)用中對(duì)系統(tǒng)又有實(shí)時(shí)性需求，立體匹配算法將是三維重建的基礎(chǔ)問(wèn)題，也是一個(gè)難點(diǎn)。技術(shù)實(shí)現(xiàn)要素：本發(fā)明的主要目的是提供一種雙視點(diǎn)立體視頻的圖像匹配方法，能夠獲取精確快速的稠密視差圖，為用戶提供精確的數(shù)字信息。為實(shí)現(xiàn)上述目的，本發(fā)明采用的一個(gè)技術(shù)方案為：提供一種雙視點(diǎn)立體視頻的圖像匹配方法，包括如下步驟：獲取左眼及右眼兩路視頻，并從左眼及右眼兩路視頻中提取出感興趣的圖像幀；預(yù)估感興趣的圖像幀中左眼圖像與右眼圖像的對(duì)應(yīng)像素點(diǎn)的視差域值，并根據(jù)色彩匹配代價(jià)與視差域值的大小找出與目標(biāo)像素點(diǎn)對(duì)應(yīng)的候選的匹配點(diǎn)；根據(jù)以目標(biāo)像素點(diǎn)為中心的中心域與以候選的匹配點(diǎn)為中心的中心域的所有像素點(diǎn)的色彩匹配代價(jià)、局部關(guān)聯(lián)匹配代價(jià)以及局部梯度匹配代價(jià)構(gòu)造總的匹配代價(jià)函數(shù)，并且根據(jù)總的代價(jià)函數(shù)計(jì)算出匹配代價(jià)；找出與多組匹配代價(jià)最小的匹配對(duì)并得到對(duì)應(yīng)的稠密視差圖，以及對(duì)稠密視差圖進(jìn)行優(yōu)化。優(yōu)選地，所述獲取左眼及右眼兩路視頻，并從左眼及右眼兩路視頻中提取出感興趣的圖像幀的步驟，具體包括：矯正采集的左眼及右眼兩路視頻；獲取矯正的左眼及右眼兩路視頻，并從左眼及右眼兩路視頻中提取出感興趣的圖像幀。優(yōu)選地，所述預(yù)估感興趣的圖像幀中左眼圖像與右眼圖像的對(duì)應(yīng)像素點(diǎn)的視差域值，并根據(jù)色彩匹配代價(jià)與視差域值的大小找出與目標(biāo)像素點(diǎn)對(duì)應(yīng)的候選的匹配點(diǎn)的步驟，具體包括：預(yù)估感興趣的圖像幀中左眼圖像與右眼圖像的對(duì)應(yīng)像素點(diǎn)的視差域值，并從左眼圖像中選出一像素點(diǎn)作為目標(biāo)像素點(diǎn)；計(jì)算出根據(jù)目標(biāo)像素點(diǎn)的色彩匹配代價(jià)，且當(dāng)該目標(biāo)像素點(diǎn)的色彩匹配代價(jià)小于視差域值的范圍時(shí)，并從右眼圖像尋找出與目標(biāo)像素點(diǎn)對(duì)應(yīng)的候選的匹配點(diǎn)。優(yōu)選地，所述根據(jù)以目標(biāo)像素點(diǎn)為中心的中心域與以候選的匹配點(diǎn)為中心的中心域的所有像素點(diǎn)的色彩匹配代價(jià)、局部關(guān)聯(lián)匹配代價(jià)以及局部梯度匹配代價(jià)構(gòu)造總的匹配代價(jià)函數(shù)，并且根據(jù)總的代價(jià)函數(shù)計(jì)算出匹配代價(jià)的步驟，具體包括：分別以目標(biāo)像素點(diǎn)與候選的匹配點(diǎn)的中心域構(gòu)建支持窗口，并計(jì)算支持窗口內(nèi)的所有像素點(diǎn)的色彩匹配代價(jià)；分別以目標(biāo)像素點(diǎn)與候選的匹配點(diǎn)的中心域構(gòu)建變換窗口，并計(jì)算兩個(gè)變換窗口的結(jié)構(gòu)差異以得出局部關(guān)聯(lián)匹配代價(jià)；分別以目標(biāo)像素點(diǎn)于候選的匹配點(diǎn)的中心域在水平方向上和垂直方向上構(gòu)建梯度向量，并計(jì)算出局部梯度匹配代價(jià)；根據(jù)色彩匹配代價(jià)、局部關(guān)聯(lián)匹配代價(jià)以及局部梯度匹配代價(jià)構(gòu)造總的匹配代價(jià)函數(shù)，并根據(jù)總的代價(jià)函數(shù)計(jì)算出匹配代價(jià)。優(yōu)選地，所述找出與多組匹配代價(jià)最小的匹配對(duì)并得到對(duì)應(yīng)的稠密視差圖，以及對(duì)稠密視差圖進(jìn)行優(yōu)化的步驟，具體包括：從匹配代價(jià)中篩選出匹配代價(jià)最小的匹配對(duì)，并根據(jù)多組最小匹配對(duì)的視差值形成稠密視差圖；調(diào)整局部關(guān)聯(lián)匹配代價(jià)以及局部梯度匹配代價(jià)的參數(shù)，以優(yōu)化稠密視差圖。為實(shí)現(xiàn)上述目的，本發(fā)明采用的另一個(gè)技術(shù)方案為：提供一種雙視點(diǎn)立體視頻的圖像匹配裝置，包括：獲取模塊，用于獲取左眼及右眼兩路視頻，并從左眼及右眼兩路視頻中提取出感興趣的圖像幀；預(yù)估模塊，用于預(yù)估感興趣的圖像幀中左眼圖像與右眼圖像的對(duì)應(yīng)像素點(diǎn)的視差域值，并根據(jù)色彩匹配代價(jià)與視差域值的大小找出與目標(biāo)像素點(diǎn)對(duì)應(yīng)的候選的匹配點(diǎn)；函數(shù)構(gòu)造模塊，用于根據(jù)以目標(biāo)像素點(diǎn)為中心的中心域與以候選的匹配點(diǎn)為中心的中心域的所有像素點(diǎn)的色彩匹配代價(jià)、局部關(guān)聯(lián)匹配代價(jià)以及局部梯度匹配代價(jià)構(gòu)造總的匹配代價(jià)函數(shù)，并且根據(jù)總的代價(jià)函數(shù)計(jì)算出匹配代價(jià)；優(yōu)化模塊，用于找出與多組匹配代價(jià)最小的匹配對(duì)并得到對(duì)應(yīng)的稠密視差圖，以及對(duì)稠密視差圖進(jìn)行優(yōu)化。優(yōu)選地，所述獲取模塊，包括：矯正單元，用于矯正采集的左眼及右眼兩路視頻；獲取單元，用于獲取矯正的左眼及右眼兩路視頻，并從左眼及右眼兩路視頻中提取出感興趣的圖像幀。優(yōu)選地，所述預(yù)估模塊，包括：預(yù)設(shè)單元，用于預(yù)估感興趣的圖像幀中左眼圖像與右眼圖像的對(duì)應(yīng)像素點(diǎn)的視差域值，并從左眼圖像中選出一像素點(diǎn)作為目標(biāo)像素點(diǎn)；匹配單元，用于計(jì)算出根據(jù)目標(biāo)像素點(diǎn)的色彩匹配代價(jià)，且當(dāng)該目標(biāo)像素點(diǎn)的色彩匹配代價(jià)小于視差域值的范圍時(shí)，并從右眼圖像尋找出與目標(biāo)像素點(diǎn)對(duì)應(yīng)的候選的匹配點(diǎn)。優(yōu)選地，所述函數(shù)構(gòu)造模塊，包括：第一計(jì)算單元，用于分別以目標(biāo)像素點(diǎn)與候選的匹配點(diǎn)的中心域構(gòu)建支持窗口，并計(jì)算支持窗口內(nèi)的所有像素點(diǎn)的色彩匹配代價(jià)；第二計(jì)算單元，用于分別以目標(biāo)像素點(diǎn)與候選的匹配點(diǎn)的中心域構(gòu)建變換窗口，并計(jì)算兩個(gè)變換窗口的結(jié)構(gòu)差異以得出局部關(guān)聯(lián)匹配代價(jià)；第三計(jì)算單元，用于分別以目標(biāo)像素點(diǎn)于候選的匹配點(diǎn)的中心域在水平方向上和垂直方向上構(gòu)建梯度向量，并計(jì)算出局部梯度匹配代價(jià)；匹配代價(jià)計(jì)算單元，用于根據(jù)色彩匹配代價(jià)、局部關(guān)聯(lián)匹配代價(jià)以及局部梯度匹配代價(jià)構(gòu)造總的匹配代價(jià)函數(shù)，并根據(jù)總的代價(jià)函數(shù)計(jì)算出匹配代價(jià)。優(yōu)選地，所述優(yōu)化模塊，包括：篩選單元，用于從匹配代價(jià)中篩選出匹配代價(jià)最小的匹配對(duì)，并根據(jù)多組最小匹配對(duì)的視差值形成稠密視差圖；優(yōu)化單元，用于調(diào)整局部關(guān)聯(lián)匹配代價(jià)以及局部梯度匹配代價(jià)的參數(shù)，以優(yōu)化稠密視差圖。本發(fā)明的技術(shù)方案通過(guò)獲取左眼及右眼兩路視頻并提取出感興趣的圖像幀；以及預(yù)估感興趣的圖像幀中左眼圖像與右眼圖像的對(duì)應(yīng)像素點(diǎn)的視差域值，并找出與目標(biāo)像素點(diǎn)對(duì)應(yīng)的候選的匹配點(diǎn)；以及根據(jù)以目標(biāo)像素點(diǎn)為中心的中心域與以候選的匹配點(diǎn)為中心的中心域的所有像素點(diǎn)的色彩匹配代價(jià)、局部關(guān)聯(lián)匹配代價(jià)以及局部梯度匹配代價(jià)構(gòu)造總的匹配代價(jià)函數(shù)，并且根據(jù)總的代價(jià)函數(shù)計(jì)算出匹配代價(jià)；能夠得出找出與多組匹配代價(jià)最小的匹配對(duì)應(yīng)的稠密視差圖，并通過(guò)對(duì)對(duì)稠密視差圖進(jìn)行優(yōu)化，獲取精確快速的稠密視差圖，為用戶提供精確的數(shù)字信息。附圖說(shuō)明為了更清楚地說(shuō)明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖示出的結(jié)構(gòu)獲得其他的附圖。圖1為本發(fā)明雙視點(diǎn)立體視頻的圖像匹配方法一實(shí)施例的方法流程圖；圖2為圖1中步驟S30的具體流程圖；圖3為本發(fā)明雙視點(diǎn)立體視頻的圖像匹配裝置一實(shí)施例的模塊方框圖；圖4為圖3中函數(shù)構(gòu)造模塊的具體模塊方框圖。本發(fā)明目的的實(shí)現(xiàn)、功能特點(diǎn)及優(yōu)點(diǎn)將結(jié)合實(shí)施例，參照附圖做進(jìn)一步說(shuō)明。具體實(shí)施方式下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明的一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。需要說(shuō)明，本發(fā)明中涉及“第一”、“第二”等的描述僅用于描述目的，而不能理解為指示或暗示其相對(duì)重要性或者隱含指明所指示的技術(shù)特征的數(shù)量。由此，限定有“第一”、“第二”的特征可以明示或者隱含地包括至少一個(gè)該特征。另外，各個(gè)實(shí)施例之間的技術(shù)方案可以相互結(jié)合，但是必須是以本領(lǐng)域普通技術(shù)人員能夠?qū)崿F(xiàn)為基礎(chǔ)，當(dāng)技術(shù)方案的結(jié)合出現(xiàn)相互矛盾或無(wú)法實(shí)現(xiàn)時(shí)應(yīng)當(dāng)認(rèn)為這種技術(shù)方案的結(jié)合不存在，也不在本發(fā)明要求的保護(hù)范圍之內(nèi)。請(qǐng)參照?qǐng)D1，在本發(fā)明實(shí)施例中，該雙視點(diǎn)立體視頻的圖像匹配方法，包括如下步驟：步驟S10、獲取左眼及右眼兩路視頻，并從左眼及右眼兩路視頻中提取出感興趣的圖像幀；步驟S20、預(yù)估感興趣的圖像幀中左眼圖像與右眼圖像的對(duì)應(yīng)像素點(diǎn)的視差域值，并根據(jù)色彩匹配代價(jià)與視差域值的大小找出與目標(biāo)像素點(diǎn)對(duì)應(yīng)的候選的匹配點(diǎn)；步驟S30、根據(jù)以目標(biāo)像素點(diǎn)為中心的中心域與以候選的匹配點(diǎn)為中心的中心域的所有像素點(diǎn)的色彩匹配代價(jià)、局部關(guān)聯(lián)匹配代價(jià)以及局部梯度匹配代價(jià)構(gòu)造總的匹配代價(jià)函數(shù)，并且根據(jù)總的代價(jià)函數(shù)計(jì)算出匹配代價(jià)；步驟S40、找出與多組匹配代價(jià)最小的匹配對(duì)并得到對(duì)應(yīng)的稠密視差圖，以及對(duì)稠密視差圖進(jìn)行優(yōu)化。本發(fā)明的技術(shù)方案通過(guò)獲取左眼及右眼兩路視頻并提取出感興趣的圖像幀；以及預(yù)估感興趣的圖像幀中左眼圖像與右眼圖像的對(duì)應(yīng)像素點(diǎn)的視差域值，并找出與目標(biāo)像素點(diǎn)對(duì)應(yīng)的候選的匹配點(diǎn)；以及根據(jù)以目標(biāo)像素點(diǎn)為中心的中心域與以候選的匹配點(diǎn)為中心的中心域的所有像素點(diǎn)的色彩匹配代價(jià)、局部關(guān)聯(lián)匹配代價(jià)以及局部梯度匹配代價(jià)構(gòu)造總的匹配代價(jià)函數(shù)，并且根據(jù)總的代價(jià)函數(shù)計(jì)算出匹配代價(jià)；能夠得出找出與多組匹配代價(jià)最小的匹配對(duì)應(yīng)的稠密視差圖，并通過(guò)對(duì)對(duì)稠密視差圖進(jìn)行優(yōu)化，獲取精確快速的稠密視差圖，為用戶提供精確的數(shù)字信息。在一具體的實(shí)施例中，所述步驟S10具體包括：矯正采集的左眼及右眼兩路視頻；獲取矯正的左眼及右眼兩路視頻，并從左眼及右眼兩路視頻中提取出感興趣的圖像幀。本實(shí)施例中，可以通過(guò)立體視頻生成設(shè)備的雙目攝像頭采集左眼及右眼兩路視頻，需要注意的是，為了使兩路視頻達(dá)到預(yù)期的效果，需要對(duì)該左眼及右眼的攝像頭的內(nèi)參數(shù)和外參數(shù)進(jìn)行調(diào)整以獲取矯正的左眼及右眼兩路視頻。該感興趣的圖像幀具體為重合可形成3D圖像幀，亦可為可被觀察到的圖像區(qū)域。在一具體的實(shí)施例中，所述步驟20具體包括：預(yù)估感興趣的圖像幀中左眼圖像與右眼圖像的對(duì)應(yīng)像素點(diǎn)的視差域值，并從左眼圖像中選出一像素點(diǎn)作為目標(biāo)像素點(diǎn)；計(jì)算出根據(jù)目標(biāo)像素點(diǎn)的色彩匹配代價(jià)，且當(dāng)該目標(biāo)像素點(diǎn)的色彩匹配代價(jià)小于視差域值的范圍時(shí)，并從右眼圖像尋找出與目標(biāo)像素點(diǎn)對(duì)應(yīng)的候選的匹配點(diǎn)。本實(shí)施例中，考慮到圖像的分辨率很高，在實(shí)際中，快速獲取場(chǎng)景的深度信息，對(duì)用戶來(lái)說(shuō)具有很大的意義。并且由于相鄰場(chǎng)景深度變化有限，有效地估算視差域值，在合適的視差值范圍內(nèi)，計(jì)算匹配代價(jià)，以獲取快速精確地匹配點(diǎn)對(duì)。以左眼圖像為參考圖，右眼圖像為目標(biāo)圖為例，可以利用色彩信息對(duì)左眼圖像中的每一個(gè)像素點(diǎn)在右眼圖像中尋找候選的匹配點(diǎn)，具體計(jì)算公式如下：cost(p)=Σc∈{r,g,b}abs(Ic(p)-Ic(q)),]]>其中，P表示左眼圖像中像素點(diǎn)，q表示右眼圖像中位于同一水平線上的像素點(diǎn)，遍歷右圖中該行像素點(diǎn)，求出代價(jià)函數(shù)值小于視差閾值TΤ時(shí)對(duì)應(yīng)的候選像素點(diǎn)。TΤ的值可以隨實(shí)際需要來(lái)選取。若想提高精度，則增加TΤ，這樣候選的匹配點(diǎn)增多，減小了誤匹配的可能性。反之，若想提高算法的速度，可以適當(dāng)減小TΤ的值，以提高算法的運(yùn)行速度。請(qǐng)參照?qǐng)D2，在一具體實(shí)施例中，所述步驟30具體包括：步驟S31、分別以目標(biāo)像素點(diǎn)與候選的匹配點(diǎn)的中心域構(gòu)建支持窗口，并計(jì)算支持窗口內(nèi)的所有像素點(diǎn)的色彩匹配代價(jià)；步驟S32、分別以目標(biāo)像素點(diǎn)與候選的匹配點(diǎn)的中心域構(gòu)建變換窗口，并計(jì)算兩個(gè)變換窗口的結(jié)構(gòu)差異以得出局部關(guān)聯(lián)匹配代價(jià)；步驟S33、分別以目標(biāo)像素點(diǎn)于候選的匹配點(diǎn)的中心域在水平方向上和垂直方向上構(gòu)建梯度向量，并計(jì)算出局部梯度匹配代價(jià)；步驟S34、根據(jù)色彩匹配代價(jià)、局部關(guān)聯(lián)匹配代價(jià)以及局部梯度匹配代價(jià)構(gòu)造總的匹配代價(jià)函數(shù)，并根據(jù)總的代價(jià)函數(shù)計(jì)算出匹配代價(jià)。本實(shí)施例中，步驟S31計(jì)算出本算法構(gòu)造的匹配代價(jià)函數(shù)的第一項(xiàng)AD(AbsoluteDifference)，像素點(diǎn)之間的色彩差異，具體公式如下：costAD=Σp∈Pq∈QΣc∈{r,g,b}abs(Ic(p)-Ic(q)),]]>其中，P表示左圖中以p點(diǎn)為中心建立的支持窗口，Q表示右圖中以q點(diǎn)為中心建立的支持窗口。需要指出的，如果單計(jì)算兩個(gè)像素點(diǎn)間的色彩差異，結(jié)果誤差會(huì)比較大，故采用該像素點(diǎn)的中心域來(lái)計(jì)算。步驟S32計(jì)算出本算法構(gòu)造的匹配代價(jià)函數(shù)的第二項(xiàng)Census變換，局部關(guān)聯(lián)匹配代價(jià)，具體為：先分別以p，q兩點(diǎn)為中心，建立變換尺寸為M*N的變換窗口，分別用兩個(gè)長(zhǎng)度為(N*M-1)位的二進(jìn)制表示Census變換得到的Hamming距離；然后將支持窗口中的各個(gè)像素化成灰度表示，其中N1(p)表示以P點(diǎn)為中心選定的Census變換的窗口，大小設(shè)為M*N,對(duì)于其中每個(gè)像素點(diǎn)，計(jì)算灰度強(qiáng)度，計(jì)算公式如下：gray(pi)＝R(pi)*0.299+G(pi)*0.587+B(pi)*0.114,pi∈N1(p)，并計(jì)算M*N窗口經(jīng)Census變換得到新的矩陣C，計(jì)算公式如下：Cpipi∈N1(P)=1gray(pi)<gray(P)0gray(pi)>gray(P),]]>對(duì)于Census變換的結(jié)果用長(zhǎng)為(M*N-1)bit的二進(jìn)制序列表示，采用自上而下自左向右的掃描順序，當(dāng)C矩陣中的元素為1時(shí)，對(duì)應(yīng)位置的二進(jìn)制數(shù)就為1，如此得到長(zhǎng)為M*N-1位的二進(jìn)制序列表；再，求出左眼圖像和右眼圖像的Census變換結(jié)果后，求出二者之間的差異，即可表示兩個(gè)Census變換窗口的結(jié)構(gòu)差異，用Hamming距離來(lái)表示這個(gè)差異。該Hamming距離是指兩個(gè)等長(zhǎng)字符串對(duì)應(yīng)位置的不同字符的個(gè)數(shù)；最后，計(jì)算出局部關(guān)聯(lián)匹配代價(jià)，具體為：costCencus=Σp∈Pq∈QDiff(C(p),C(q)),]]>其中，P，Q分別表示左右圖中以p和q為中心的Cencus變換窗口，C(p),C(q)表示變化后的矩陣C，二者按位比較，如果對(duì)應(yīng)位相同，則函數(shù)Diff(x)為1，反之為0，即可得到Cencus變換后，左右圖中p，q兩像素點(diǎn)的局部結(jié)構(gòu)相似性。步驟S33計(jì)算出本算法構(gòu)造的匹配代價(jià)函數(shù)的第三項(xiàng)Gradient變換，局部梯度匹配代價(jià)，具體為：求出像素點(diǎn)在水平方向x和在垂直方向y上的梯度向量，作為局部的梯度信息，具體公式如下：costGradient=Σp∈Pq∈Q(n(p)·n(q)),n(p)=px→+py→,]]>其中，表示點(diǎn)在x和y方向的梯度。梯度用像素點(diǎn)的灰度值來(lái)求得。步驟S34計(jì)算出本算法構(gòu)造的匹配代價(jià)函數(shù)，具體公式如下：costAll＝costAD+λcostCencus+μcostGradient其中，λ,μ為常數(shù)值，在后續(xù)的步驟中，可根據(jù)稠密視差圖的質(zhì)量不斷調(diào)整二者的值，以期獲取合適的權(quán)值。在一具體的實(shí)施例中，所述步驟S40具體包括：從匹配代價(jià)中篩選出匹配代價(jià)最小的匹配對(duì)，并根據(jù)多組最小匹配對(duì)的視差值形成稠密視差圖；調(diào)整局部關(guān)聯(lián)匹配代價(jià)以及局部梯度匹配代價(jià)的參數(shù)，以優(yōu)化稠密視差圖。本實(shí)施例中，在求出匹配代價(jià)后可根據(jù)Winners-Take-All算法，找到匹配代價(jià)最小的匹配對(duì)，匹配對(duì)在x坐標(biāo)的差異即為匹配點(diǎn)對(duì)的視差值。本步驟中將對(duì)λ,μ進(jìn)行不斷的修正，以期獲取質(zhì)量較高的視差圖。具體調(diào)整如下：采用人工交互的方式，定性判斷視差圖在深度不連續(xù)，紋理較少或紋理重復(fù)區(qū)域的視差值，看其是否平滑，采取控制變量法，先控制其中一個(gè)參數(shù)，改變另一個(gè)參數(shù)，分析其對(duì)視差圖的影響，以期得到質(zhì)量較優(yōu)的結(jié)果。請(qǐng)參照?qǐng)D3，在本發(fā)明的實(shí)施例中，該雙視點(diǎn)立體視頻的圖像匹配裝置，包括：獲取模塊10，用于獲取左眼及右眼兩路視頻，并從左眼及右眼兩路視頻中提取出感興趣的圖像幀；預(yù)估模塊20，用于預(yù)估感興趣的圖像幀中左眼圖像與右眼圖像的對(duì)應(yīng)像素點(diǎn)的視差域值，并根據(jù)色彩匹配代價(jià)與視差域值的大小找出與目標(biāo)像素點(diǎn)對(duì)應(yīng)的候選的匹配點(diǎn)；函數(shù)構(gòu)造模塊30，用于根據(jù)以目標(biāo)像素點(diǎn)為中心的中心域與以候選的匹配點(diǎn)為中心的中心域的所有像素點(diǎn)的色彩匹配代價(jià)、局部關(guān)聯(lián)匹配代價(jià)以及局部梯度匹配代價(jià)構(gòu)造總的匹配代價(jià)函數(shù)，并且根據(jù)總的代價(jià)函數(shù)計(jì)算出匹配代價(jià)；優(yōu)化模塊40，用于找出與多組匹配代價(jià)最小的匹配對(duì)并得到對(duì)應(yīng)的稠密視差圖，以及對(duì)稠密視差圖進(jìn)行優(yōu)化。在一具體的實(shí)施例中，所述獲取模塊10，包括：矯正單元，用于矯正采集的左眼及右眼兩路視頻；獲取單元，用于獲取矯正的左眼及右眼兩路視頻，并從左眼及右眼兩路視頻中提取出感興趣的圖像幀。本實(shí)施例中，利用立體視頻生成設(shè)備的雙目攝像頭采集左眼及右眼兩路視頻，需要注意的是，為了使兩路視頻達(dá)到預(yù)期的效果，通過(guò)矯正單元可以對(duì)該左眼及右眼的攝像頭的內(nèi)參數(shù)和外參數(shù)進(jìn)行調(diào)整，并通過(guò)獲取單元可以獲取矯正的左眼及右眼兩路視頻。該感興趣的圖像幀具體為重合可形成3D圖像幀，亦可為可被觀察到的圖像區(qū)域。在一具體的實(shí)施例中，所述預(yù)估模塊20，包括：預(yù)設(shè)單元，用于預(yù)估感興趣的圖像幀中左眼圖像與右眼圖像的對(duì)應(yīng)像素點(diǎn)的視差域值，并從左眼圖像中選出一像素點(diǎn)作為目標(biāo)像素點(diǎn)；匹配單元，用于計(jì)算出根據(jù)目標(biāo)像素點(diǎn)的色彩匹配代價(jià)，且當(dāng)該目標(biāo)像素點(diǎn)的色彩匹配代價(jià)小于視差域值的范圍時(shí)，并從右眼圖像尋找出與目標(biāo)像素點(diǎn)對(duì)應(yīng)的候選的匹配點(diǎn)。本實(shí)施例中，考慮到圖像的分辨率很高，在實(shí)際中，快速獲取場(chǎng)景的深度信息，對(duì)用戶來(lái)說(shuō)具有很大的意義。并且由于相鄰場(chǎng)景深度變化有限，有效地估算視差域值，在合適的視差值范圍內(nèi)，計(jì)算匹配代價(jià)，以獲取快速精確地匹配點(diǎn)對(duì)。以左眼圖像為參考圖，右眼圖像為目標(biāo)圖為例，可以利用色彩信息對(duì)左眼圖像中的每一個(gè)像素點(diǎn)在右眼圖像中尋找候選的匹配點(diǎn)。需要指出的是，本方案僅考慮的是左眼圖像為參考圖，右眼圖像為目標(biāo)圖的情況。實(shí)際上，當(dāng)右眼圖像為參考圖，左眼圖像為目標(biāo)圖情況正好相反，此處不再贅述。請(qǐng)參照?qǐng)D4，在一具體的實(shí)施例中，所述函數(shù)構(gòu)造模塊30，包括：第一計(jì)算單元31，用于分別以目標(biāo)像素點(diǎn)與候選的匹配點(diǎn)的中心域構(gòu)建支持窗口，并計(jì)算支持窗口內(nèi)的所有像素點(diǎn)的色彩匹配代價(jià)；第二計(jì)算單元32，用于分別以目標(biāo)像素點(diǎn)與候選的匹配點(diǎn)的中心域構(gòu)建變換窗口，并計(jì)算兩個(gè)變換窗口的結(jié)構(gòu)差異以得出局部關(guān)聯(lián)匹配代價(jià)；第三計(jì)算單元33，用于分別以目標(biāo)像素點(diǎn)于候選的匹配點(diǎn)的中心域在水平方向上和垂直方向上構(gòu)建梯度向量，并計(jì)算出局部梯度匹配代價(jià)；匹配代價(jià)計(jì)算單元34，用于根據(jù)色彩匹配代價(jià)、局部關(guān)聯(lián)匹配代價(jià)以及局部梯度匹配代價(jià)構(gòu)造總的匹配代價(jià)函數(shù)，并根據(jù)總的代價(jià)函數(shù)計(jì)算出匹配代價(jià)。本實(shí)施例中，通過(guò)第一計(jì)算單元31、第二計(jì)算單元32、第三計(jì)算單元33可以分別計(jì)算出所有像素點(diǎn)的色彩匹配代價(jià)、局部關(guān)聯(lián)匹配代價(jià)以及局部梯度匹配代價(jià)，并通過(guò)匹配代價(jià)計(jì)算單元34能夠計(jì)算出總的匹配代價(jià)。在一具體的實(shí)施例中，所述優(yōu)化模塊40，包括：篩選單元，用于從匹配代價(jià)中篩選出匹配代價(jià)最小的匹配對(duì)，并根據(jù)多組最小匹配對(duì)的視差值形成稠密視差圖；優(yōu)化單元，用于調(diào)整局部關(guān)聯(lián)匹配代價(jià)以及局部梯度匹配代價(jià)的參數(shù)，以優(yōu)化稠密視差圖。本實(shí)施例中，在求出匹配代價(jià)后，通過(guò)篩選單元根據(jù)Winners-Take-All算法，找到匹配代價(jià)最小的匹配對(duì)，匹配對(duì)在x坐標(biāo)的差異即為匹配點(diǎn)對(duì)的視差值。然后通過(guò)優(yōu)化單元將對(duì)λ,μ進(jìn)行不斷的修正，以期獲取質(zhì)量較高的視差圖。具體調(diào)整如下：采用人工交互的方式，定性判斷視差圖在深度不連續(xù)，紋理較少或紋理重復(fù)區(qū)域的視差值，看其是否平滑，采取控制變量法，先控制其中一個(gè)參數(shù)，改變另一個(gè)參數(shù)，分析其對(duì)視差圖的影響，以期得到質(zhì)量較優(yōu)的結(jié)果。以上所述僅為本發(fā)明的優(yōu)選實(shí)施例，并非因此限制本發(fā)明的專利范圍，凡是在本發(fā)明的發(fā)明構(gòu)思下，利用本發(fā)明說(shuō)明書及附圖內(nèi)容所作的等效結(jié)構(gòu)變換，或直接/間接運(yùn)用在其他相關(guān)的
技術(shù)領(lǐng)域：
均包括在本發(fā)明的專利保護(hù)范圍內(nèi)。當(dāng)前第1頁(yè)1 2 3