一種基于深度平面約束圖割優(yōu)化的圖像匹配方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及計(jì)算機(jī)視覺(jué)領(lǐng)域處理技術(shù)，特別涉及一種基于深度平面約束圖割優(yōu)化 的圖像匹配方法。
【背景技術(shù)】
[0002] 立體匹配是指尋找立體圖像對(duì)之間的對(duì)應(yīng)關(guān)系，是計(jì)算機(jī)視覺(jué)領(lǐng)域的重要問(wèn)題之 一，在軍事、航天、數(shù)字化醫(yī)學(xué)、現(xiàn)代工業(yè)設(shè)計(jì)以及傳媒等領(lǐng)域均有廣泛引用。
[0003] 現(xiàn)有的立體匹配方法主要分為兩類：基于局部約束的算法和基于全局約束的算 法。基于局部約束的算法利用興趣點(diǎn)周圍的局部信息進(jìn)行計(jì)算，涉及的信息量較少，計(jì)算復(fù) 雜度較低，但容易受噪聲的影響，對(duì)無(wú)紋理區(qū)域或紋理稀疏區(qū)域的匹配效果不理想，代表方 法是區(qū)域匹配法；基于全局約束的算法是對(duì)掃描線或整個(gè)圖像數(shù)據(jù)的信息進(jìn)行約束，建立 匹配能量函數(shù)，再通過(guò)各種方法求得能量函數(shù)的最小值。這類算法由于是全局尋優(yōu)，所以匹 配準(zhǔn)確度較高，代表方法是圖割法。
[0004] 圖割法基本思想是將立體匹配問(wèn)題先轉(zhuǎn)化為一種能量函數(shù)最優(yōu)化問(wèn)題，再將此最 優(yōu)化問(wèn)題轉(zhuǎn)化為根據(jù)能量函數(shù)構(gòu)造合適的網(wǎng)格圖，求其最小割?；趫D割的最優(yōu)化算法可 分為兩類：求全局最優(yōu)解的圖割法和求全局次優(yōu)解的圖割法。第一類方法要求能量函數(shù)項(xiàng) 必須是凸函數(shù)，能夠求得全局最優(yōu)解。但是由于函數(shù)項(xiàng)的凸性要求，無(wú)法解決遮擋約束等問(wèn) 題。第二類方法使用具有非凸性質(zhì)的平滑項(xiàng)，這時(shí)能量函數(shù)的優(yōu)化問(wèn)題是一個(gè)NP-hard問(wèn) 題，只能使用循環(huán)方式求得全局次優(yōu)解。由于使用了非凸函數(shù)項(xiàng)，可以處理遮擋約束等問(wèn) 題，但這部分處理需要較大的計(jì)算量。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明針對(duì)現(xiàn)有立體匹配方法的不足，提出了一種基于深度平面約束圖割優(yōu)化的 圖像匹配方法，包括：
[0006] 選擇待匹配圖像對(duì)中任一視圖，并在所選視圖下分別將其進(jìn)行區(qū)域分割以得到所 述待匹配圖像對(duì)在該視圖下的所有深度平面；
[0007] 對(duì)所述待匹配圖像對(duì)在該視圖下的所有深度平面的左右邊界像素點(diǎn)分別構(gòu)建能 量函數(shù)；
[0008] 使用所述待匹配圖像對(duì)在該視圖下的所有深度平面的左右邊界像素點(diǎn)及其之間 的相鄰關(guān)系構(gòu)造所有深度平面的網(wǎng)格圖；
[0009] 通過(guò)求解各所述深度平面的網(wǎng)格圖的最小割以獲取各能量函數(shù)作用域下所述待 匹配圖像對(duì)在該視圖下的所有深度平面的左右邊界像素點(diǎn)的視差結(jié)果；
[0010] 根據(jù)所述視差結(jié)果，通過(guò)遮擋處理以確定所述待匹配圖像對(duì)在該視圖下所有深度 平面最終的視差值，并根據(jù)所述視差值生成所述待匹配圖像對(duì)之間的匹配結(jié)果。
[0011] 進(jìn)一步地，在上述技術(shù)方案的基礎(chǔ)上，所述在所選視圖下分別將待匹配圖像對(duì)進(jìn) 行區(qū)域分割以得到所述待匹配圖像對(duì)在該視圖上的所有深度平面時(shí)，將所述待匹配圖像對(duì) 從RGB空間變換到LUV空間并采用meanshift方法進(jìn)行區(qū)域分割。
[0012] 進(jìn)一步地，在上述技術(shù)方案的基礎(chǔ)上，所述求解各深度平面的網(wǎng)格圖的最小割時(shí) 米用最大流-最小割算法進(jìn)行求解。
[0013] 進(jìn)一步地，在上述技術(shù)方案的基礎(chǔ)上，所述能量函數(shù)包括數(shù)據(jù)項(xiàng)和平滑項(xiàng)，其中數(shù) 據(jù)項(xiàng)通過(guò)顏色差異來(lái)衡量所述待匹配圖像對(duì)之間像素的匹配程度，平滑項(xiàng)通過(guò)相鄰像素之 間的懲罰來(lái)補(bǔ)充顏色信息的不足。
[0014] 相對(duì)于現(xiàn)有的圖像匹配方法，在全體像素上建立能量函數(shù)，導(dǎo)致求解過(guò)程非常耗 時(shí)，本發(fā)明實(shí)施例通過(guò)深度平面約束構(gòu)建立體匹配能量函數(shù)，使得在求得函數(shù)最優(yōu)解的同 時(shí)，克服過(guò)度平滑、遮擋等問(wèn)題，并顯著減少計(jì)算量，擁有更大的實(shí)用價(jià)值。
【附圖說(shuō)明】
[0015] 為了更清楚地說(shuō)明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn) 有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見(jiàn)地，下面描述中的附圖是本發(fā)明 的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)性的前提下，還可以根 據(jù)這些附圖獲得其他的附圖。
[0016] 圖1為本發(fā)明實(shí)施例提供的基于深度平面約束圖割優(yōu)化的圖像匹配方法的流程 示意圖；
[0017] 圖2是深度平面邊界點(diǎn)鄰接關(guān)系及匹配原理示意圖；
[0018] 圖3是立體匹配中網(wǎng)格圖構(gòu)造示意圖；
[0019] 圖4是視差選擇和遮擋處理不意圖。
【具體實(shí)施方式】
[0020] 為使本發(fā)明實(shí)施例的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合本發(fā)明實(shí)施例 中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例是 本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員 在沒(méi)有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
[0021] 圖1為本發(fā)明實(shí)施例提供的基于深度平面約束圖割優(yōu)化的圖像匹配方法的流程 示意圖，如圖1所示，該方法包括：
[0022] 步驟101、選擇待匹配圖像對(duì)中任一視圖，并在所選視圖下分別將其進(jìn)行區(qū)域分割 以得到所述待匹配圖像對(duì)在該視圖下的所有深度平面；
[0023] 本步驟待匹配圖像對(duì)是指需要對(duì)比的兩個(gè)圖像，任一視圖可以是六視圖上的任意 一種，比如左視圖。本步驟具體處理時(shí)，優(yōu)選地，將所述待匹配圖像對(duì)從RGB空間變換到LUV 空間并采用meanshift方法進(jìn)行區(qū)域分割。
[0024] 步驟103、對(duì)所述待匹配圖像對(duì)在該視圖下的所有深度平面的左右邊界像素點(diǎn)分 別構(gòu)建能量函數(shù)；
[0025] 本步驟具體處理時(shí)，優(yōu)選地，所述能量函數(shù)包括數(shù)據(jù)項(xiàng)和平滑項(xiàng)，其中數(shù)據(jù)項(xiàng)通過(guò) 顏色差異來(lái)衡量所述待匹配圖像對(duì)之間像素的匹配程度，平滑項(xiàng)通過(guò)相鄰像素之間的懲罰 來(lái)補(bǔ)充顏色信息的不足。
[0026] 步驟105、使用所述待匹配圖像對(duì)在該視圖下的所有深度平面的左右邊界像素點(diǎn) 及其之間的相鄰關(guān)系構(gòu)造所有深度平面的網(wǎng)格圖；
[0027] 步驟107、通過(guò)求解各所述深度平面的網(wǎng)格圖的最小割以獲取各能量函數(shù)作用域 下所述待匹配圖像對(duì)在該視圖下的所有深度平面的左右邊界像素點(diǎn)的視差結(jié)果；
[0028] 本步驟具體處理時(shí)，優(yōu)選地，所述求解各深度平面的網(wǎng)格圖的最小割采用最大 流-最小割算法進(jìn)行求解。
[0029] 步驟109、根據(jù)所述視差結(jié)果，通過(guò)遮擋處理以確定所述待匹配圖像對(duì)在該視圖下 所有深度平面最終的視差值，并根據(jù)所述視差值生成所述待匹配圖像對(duì)之間的匹配結(jié)果。
[0030] 處于同一分割平面的視差有很強(qiáng)的相關(guān)性。再進(jìn)一步，如果降低分割閾值對(duì)圖像 進(jìn)行過(guò)分割，可以認(rèn)為同一分割平面內(nèi)的像素視差均相等，在本發(fā)明中記為深度平面約束。
[0031] 采用深度平面約束圖割法進(jìn)行立體匹配，是指將圖像立體匹配看出一個(gè)組合優(yōu)化 問(wèn)題，對(duì)圖像像素點(diǎn)之間的視差建立能量函數(shù)，把匹配問(wèn)題轉(zhuǎn)化為能量函數(shù)最小化問(wèn)題，具 體包含上述步驟103~步驟109 :即建立能量函數(shù)，構(gòu)造網(wǎng)格圖，利用最小割算法求解能量 函數(shù)，最后進(jìn)行遮擋處理以得到匹配結(jié)果。
[0032] -般方法都是在全體像素上建立能量函數(shù)，導(dǎo)致求解過(guò)程非常耗時(shí)。而本發(fā)明實(shí) 施例提供的方法通過(guò)深度平面約束，將能量函數(shù)的作用域限制在深度平面左右邊界上的像 素，使得在求得函數(shù)最優(yōu)解的同時(shí)，克服過(guò)度平滑、遮擋等問(wèn)題，并顯著減少計(jì)算量，擁有更 大的實(shí)用價(jià)值。
[0033] 為進(jìn)一步詳細(xì)解釋說(shuō)明上述技術(shù)方案的步驟，下面對(duì)上述方法中能量函數(shù)做以下 詳細(xì)定義：
[0034] 公式一：
[0035] 能量函數(shù) min E (f) = min [Edata (f)+Esncmthness ⑴];
[0036] 其中Edata(f)表示數(shù)據(jù)項(xiàng)，是用來(lái)衡量圖像對(duì)之間像素的匹配程度；E s_th_s(f)表 示平滑項(xiàng)，是通過(guò)相鄰像素之間的懲罰來(lái)補(bǔ)充顏色信息的不足。
[0037] 公式二：
[0039] 其中D(p，f(p))表示像素 p視差為f(p)時(shí)的匹配相似程度，匹配程度可以采用顏 色差的平方表示：D(p，f(P)) = [I1(P)-I2^f(P))]2, IJPI^待匹配圖像。
[0040] 公式三：
[0042] 其中SjfXphfQ))和52(以?