專利名稱：一種直線立體匹配方法
技術(shù)領(lǐng)域：
本發(fā)明屬于攝影測量和圖像處理技術(shù)領(lǐng)域，特別是涉及一種直線匹配方法。
背景技術(shù)：
立體匹配是攝影測量和圖像處理領(lǐng)域長期研究的一個基本問題，它的目的是獲取目標(biāo)場景的三維信息，方法是匹配從兩個不同視點(diǎn)圖像中提取出來的特征集。直線是立體匹配應(yīng)用的一種重要特征，國內(nèi)外很多學(xué)者致力于基于直線的立體匹配問題。
目前，直線立體匹配是一個公認(rèn)的難題，主要體現(xiàn)在以下兩個方面第一，由于場景遮擋、圖像噪聲以及直線提取過程中的不確定性等問題的影響，造成從不同圖像中提取的同名直線特征的屬性出現(xiàn)差異，不易準(zhǔn)確生成直線特征匹配對假設(shè)；第二，匹配過程中沒有嚴(yán)格的去模糊約束機(jī)制，從而難于區(qū)分真實(shí)匹配對假設(shè)和虛假匹配對假設(shè)。為了得到可靠的匹配結(jié)果，絕大多數(shù)已有匹配算法將直線立體匹配問題轉(zhuǎn)化為一個優(yōu)化求解問題，為得到全局一致的匹配結(jié)果，普遍應(yīng)用唯一性約束，即限定直線特征之間的對應(yīng)關(guān)系只能是“一配一”的。事實(shí)上，直線特征之間還可能存在“一配多”甚至“多配多”等復(fù)雜對應(yīng)關(guān)系，其產(chǎn)生的原因主要是遮擋和特征不確定性，體現(xiàn)在以下三個方面第一，提取過程中一條直線特征被分割成多段；第二，一條三維直線在某個觀測視角中的投影被遮擋而斷裂成多段；第三，一組互連的空三維直線共面且該平面通過其中一個相機(jī)的攝影中心，則這組三維直線在一幅圖像中的投影共線并連接成一條直線特征，而在另一幅圖像中的投影則由多條直線特征組成。
當(dāng)前，對于包含復(fù)雜對應(yīng)關(guān)系的直線立體匹配問題有兩種解決思路第一，基于特征整體變換的方法。假定一幅圖像或模型中的一組直線與另一幅圖像或模型中的一組直線間存在參數(shù)一致的幾何變換，搜索整體變換誤差最小情況下的直線特征間對應(yīng)關(guān)系作為匹配結(jié)果。這類方法通常應(yīng)用于二維圖像配準(zhǔn)或基于模型的二維/三維目標(biāo)識別、姿態(tài)參數(shù)求解等，而對求解基于立體像對的匹配問題則很難適用；第二，對直線進(jìn)行編組的方法。應(yīng)用較多的是斷裂直線編組和感知編組方法。斷裂直線編組是在單幅圖像中將共線的臨近直線編為一組，然后以編組為單位參與匹配。該方法可以部分解決斷裂直線造成的復(fù)雜匹配問題，但對于直線特征提取不完整性嚴(yán)重的情況仍然難以得到滿意的匹配結(jié)果；感知編組是依據(jù)拓?fù)潢P(guān)系將同一幅圖像中形成特定的幾何形狀的直線特征編為一組，這種思路的優(yōu)點(diǎn)是編組之間的匹配有更多的屬性信息可用于消除模糊性，且可以在一定程度上補(bǔ)充因直線提取過程造成的直線特征不完整部分。這兩種編組方法的缺點(diǎn)在于分別在不同圖像內(nèi)對直線進(jìn)行編組，由于投影變換和遮擋等問題，編組結(jié)果由一幅圖像到另一幅圖像可能是變化的，難以保證編組過程的穩(wěn)定，并且，它們除對少數(shù)斷裂直線的兼容外，并不能完全解決所有“一配多”和“多配多”的對應(yīng)性問題，尤其是包含多條非共線直線的復(fù)雜對應(yīng)性問題。
發(fā)明內(nèi)容
本發(fā)明的目的是提供一種直線立體匹配方法，能夠?qū)χ本€立體匹配中的遮擋問題和特征不確定性問題進(jìn)行建模，對實(shí)現(xiàn)對直線間“一配一”、“一配多”或“多配多”在內(nèi)的各種對應(yīng)關(guān)系的求解。
本發(fā)明方法對該問題進(jìn)行求解的工作流程是利用提取的直線特征從統(tǒng)計意義上恢復(fù)對應(yīng)的投影直線→由恢復(fù)的投影直線生成所有直線特征編組→選取最可靠的直線特征編組作為匹配問題的解。
本發(fā)明的技術(shù)方案是，一種直線立體匹配方法，具體包括下述步驟 已知從不同視角獲取的同一場景的兩幅圖像，分別記為左圖像I1和右圖像I2，它們的成像參數(shù)已知；對圖像I1和I2進(jìn)行邊緣檢測的結(jié)果分別為圖像E1和E2，圖像E1和E2中每個邊緣點(diǎn)的灰度梯度相位已知；從左圖像I1中提取的直線特征的集合為其中，任意一個直線特征l1i的端點(diǎn)分別為s1，1i(x1，1i，y1，1i)和s1，2i(x1，2i，y1，2i)，在l1i上每隔3個像素長度取一個點(diǎn)，將這些點(diǎn)在I1中的灰度梯度相位平均值記為θ1i；從右圖像I2中提取的直線特征的集合為其中，任意一個直線特征l2i的端點(diǎn)為s2，1i(x2，1i，y2，1i)和s2，2i(x2，2i，y2，2i)，在l2i上每隔3個像素長度取一個點(diǎn)，將這些點(diǎn)在I2中的灰度梯度相位平均值記為θ2i。
第一步，利用直線特征集合恢復(fù)投影直線段 本發(fā)明將針對直線特征提取不完整以及提取斷裂這兩類不確定性問題，依據(jù)圖像E1和E2中滿足指定搜索范圍的邊緣點(diǎn)，估計每個提取的直線特征對應(yīng)的投影直線段的端點(diǎn)，求解端點(diǎn)位置參數(shù)的概率密度函數(shù)，從而在統(tǒng)計意義上恢復(fù)投影直線段。
對于任意一個直線特征γ＝1或γ＝2，由它的兩個已知端點(diǎn)計算的中點(diǎn)坐標(biāo)記為(xγ，0i，yγ，0i)，長度記為dγi，經(jīng)過它的直線記為lγi。由lγi恢復(fù)的投影直線段記為
它的兩個端點(diǎn)
和
到
的距離分別記為
和
由
恢復(fù)
的過程等效為求解
和
的概率密度函數(shù)的過程。與
的任意一個端點(diǎn)相關(guān)的距離參數(shù)
的概率密度函數(shù)求解步驟如下 第1步，搜索用于估計投影直線段端點(diǎn)的有效邊緣點(diǎn)
的有效邊緣點(diǎn)是指在指定搜索范圍內(nèi)用于估計
的端點(diǎn)
位置的邊緣點(diǎn)。
搜索有效邊緣點(diǎn)的方法包括確定搜索范圍和在該范圍內(nèi)選擇有效邊緣點(diǎn)兩個過程。有效邊緣點(diǎn)的搜索范圍包括空間搜索范圍和灰度梯度相位搜索范圍，由3個門限值來確定 Th表示
的有效邊緣點(diǎn)到直線lγi的距離最大值，最優(yōu)取值為3個像素； Tτ表示
的兩個相鄰的有效邊緣點(diǎn)在直線lγi上的投影間距離的最大值，最優(yōu)取值為3個像素，它和Th共同確定空間搜索范圍； Tθ指定
的有效邊緣點(diǎn)的灰度梯度相位搜索范圍為[θγi-Tθ，θγi+Tθ]，最優(yōu)取值為
弧度。
將lγi的端點(diǎn)sγ，qi視為
的第0個有效邊緣點(diǎn)，記為(x(0)，y(0))，它在直線lγi上的投影記為(xp(0)，yp(0)，此時，且 搜索有效邊緣點(diǎn)的方法由以下兩個步驟組成，它們被循環(huán)執(zhí)行，從搜索第1個有效邊緣點(diǎn)開始，直到確定的搜索范圍內(nèi)不再有邊緣點(diǎn)被找到。
第1)步，確定端點(diǎn)
的有效邊緣點(diǎn)的搜索范圍 當(dāng)k＝1時，第k個有效邊緣點(diǎn)的空間搜索范圍R(1)表示為以下四個點(diǎn)(u1(1)，v1(1))、(u2(1)，v2(1))、(u3(1)v3(1))和(u4(1)，v4(1))順次連接而成的矩形 其中，
的第k個有效邊緣點(diǎn)的灰度梯度相位搜索范圍為 當(dāng)k＞1時，第k個有效邊緣點(diǎn)的搜索范圍由R(k)和Ω(k)表示，確定方法為 計算投影點(diǎn)(xp(k-1)，yp(k-1))到(xp(k-2)，yp(k-2))的距離，記為τ(k-1)，第k個有效邊緣點(diǎn)的空間搜索范圍R(k)由四個點(diǎn)(u1(k)，v1(k))、(u2(k)，v2(k))、(u3(k)，v3(k))和(u4(k)，v4(k))順次連接而成 其中，λu、λv和m的取值與k＝1時相同； 第k個有效邊緣點(diǎn)的灰度梯度相位搜索范圍為Ω(k)＝Ω(1)。
第2)步，在搜索范圍內(nèi)選擇有效邊緣點(diǎn) 當(dāng)k＞0時，將同時落在R(k)和Ω(k)范圍內(nèi)的邊緣點(diǎn)的集合記為Ak。選取Ak中在直線lγi上的投影到點(diǎn)(xp(0)，yp(0))距離最小的邊緣點(diǎn)作為第k個有效邊緣點(diǎn)(x(k)，y(k))，它在直線lγi上的投影記為(xp(k)，yp(k))。
第2步，計算與端點(diǎn)相關(guān)的距離參數(shù)的概率密度函數(shù) 假定得到
的n個有效邊緣點(diǎn)，計算與
相關(guān)的距離參數(shù)
概率密度函數(shù)。
如果0≤n≤3，
的概率密度函數(shù)為 ρ的最優(yōu)取值為0.25； 如果n＞3，
的概率密度函數(shù)計算方法由以下步驟組成 第1)步，計算
的函數(shù)
其中，nt表示
的有效邊緣點(diǎn)中在直線lγi上的投影到點(diǎn)(xγ，0i，yγ，0i)距離小于
的數(shù)目，h(k)是(x(k)，y(k))到直線lγi的距離，當(dāng)γ＝1時，θ(k)表示E1中的邊緣點(diǎn)(x(k)，y(k))的灰度梯度相位，當(dāng)γ＝2時，θ(k)表示E2中的邊緣點(diǎn)(x(k)，y(k))的灰度梯度相位。
第2)步，計算
的近似導(dǎo)數(shù)
其中，Δt的最優(yōu)取值為3個像素。
第3)步，計算參數(shù)η1 其中，η0的最優(yōu)取值為0.25， 第4)步，計算
的概率密度函數(shù) 第一步恢復(fù)得到的所有投影直線段的集合記為和每條投影直線段的端點(diǎn)都是以概率密度函數(shù)的形式從統(tǒng)計意義上描述的。
第二步，對恢復(fù)投影直線段進(jìn)行特征編組 通過生成一個投影直線段匹配關(guān)系圖求解，生成的無向圖記為G，方法包括下述步驟 第1步，生成投影直線段匹配關(guān)系圖的節(jié)點(diǎn) 計算
中任意一條投影直線段
與
中任意一條投影直線段
的對應(yīng)關(guān)系測度；如果這個測度大于一個指定的門限，則判定它們是匹配的，并由
和
生成G的一個節(jié)點(diǎn)，節(jié)點(diǎn)屬性等于這個測度。
記生成的所有節(jié)點(diǎn)集合V＝{vα|α＝1，2，…，M}，任意一個節(jié)點(diǎn)vα的屬性記為μα。
第2步，判定投影直線段匹配關(guān)系圖中任意兩個節(jié)點(diǎn)間的連接關(guān)系 任取集合V中的兩個元素vα和vβ，假定與它們相對應(yīng)的投影直線段匹配對分別為
和
判定它們之間連接關(guān)系的方法包括下述步驟 第1)步，計算vα和vβ的相容關(guān)系測度 任意兩個節(jié)點(diǎn)的相容性取決于它們對應(yīng)的投影直線段匹配對包含在任意一幅圖像中的兩條投影直線段的相容性。計算投影直線段
和
的相容關(guān)系測度
以及
和
的相容關(guān)系測度
如果且則判定vα和vβ是相容的，計算節(jié)點(diǎn)vα和vβ的相容關(guān)系測度為否則，直接判定節(jié)點(diǎn)vα和vβ在圖G中不可連接，并返回判定其它節(jié)點(diǎn)間的連接關(guān)系。
第2)步，判定節(jié)點(diǎn)vα和vβ是否為直接可組合關(guān)系，計算組合關(guān)系測度 如果i＝a或j＝b，判定節(jié)點(diǎn)vα和vβ是直接可組合的，其組合關(guān)系測度為Fc(vα，vβ)＝1，進(jìn)入第4)步； 如果i≠a且j≠b，計算
和
屬于同一條真實(shí)投影直線段的概率
以及
和
屬于同一條真實(shí)投影直線段的概率
如果或則判定節(jié)點(diǎn)vα和vβ是直接可組合的，且組合關(guān)系測度為進(jìn)入第4)步；否則，進(jìn)入第3)步。
第3)步，判定節(jié)點(diǎn)vα和vβ是否為間接可組合關(guān)系，計算組合關(guān)系測度 以集合V中的元素為節(jié)點(diǎn)，建立一個新的無向圖g，如果任意兩個節(jié)點(diǎn)是直接可組合的，則將它們在g中連接起來，連接邊權(quán)重等于第2)步計算的組合關(guān)系測度。如果圖G中節(jié)點(diǎn)vα和vβ在圖g中對應(yīng)的節(jié)點(diǎn)之間存在至少一條路徑，則判定它們是間接可組合的，組合關(guān)系測度為其中，m表示不含環(huán)的路徑數(shù)，Dist(b)等于第b條不含環(huán)的路徑上所有連接邊權(quán)重的最小值；否則，直接判定它們在圖G中不可連接，并返回判定其它節(jié)點(diǎn)間的連接關(guān)系。
第4)步，計算節(jié)點(diǎn)vα和vβ之間的連接邊權(quán)重 將投影直線段匹配關(guān)系圖G中的節(jié)點(diǎn)vα和vβ進(jìn)行連接，計算連接邊權(quán)重為 W(vα，vβ)＝Fu(vα，vβ)·Fc(vα，vβ) 當(dāng)α＝β時，指定W(vα，vβ)＝0。
第3步，生成直線特征編組并計算可靠性測度 計算圖G的所有極大團(tuán)，記為Q＝{cw|w＝1，2，…，NQ}，任意一個極大團(tuán)cw是集合V的子集。利用每個極大團(tuán)生成一個直線特征編組，計算該直線特征編組的可靠性測度為 第三步，選取最可靠的直線特征編組，確定提取的直線特征間的匹配關(guān)系 按照下述方法生成直線特征編組關(guān)系圖GF利用每個生成的直線特征編組生成圖GF的一個節(jié)點(diǎn)，節(jié)點(diǎn)屬性等于相對應(yīng)的直線特征編組的可靠性測度，如果任意兩個直線特征編組中不包含相同的投影直線段，則在圖GF中連接它們對應(yīng)的節(jié)點(diǎn)。
計算圖GF的所有極大團(tuán)，其中，每個極大團(tuán)的能量等于該極大團(tuán)中包含的所有節(jié)點(diǎn)的屬性值之和，選取能量最大的極大團(tuán)包含的直線特征編組作為最可靠的直線特征編組。
在每個直線特征編組中，投影直線段之間的匹配關(guān)系是確定的，并且，這些恢復(fù)的投影直線段與提取的直線特征是一一對應(yīng)的，從而，提取的直線特征間匹配關(guān)系也是確定的，結(jié)合已知的成像參數(shù)，依據(jù)攝影測量理論可以求解匹配的直線特征對應(yīng)的三維直線段。
本發(fā)明的有益效果是 本發(fā)明利用直線特征恢復(fù)投影直線段并構(gòu)造投影直線段特征編組的方法，能夠建立起直線特征間包括“一配一”、“一配多”和“多配多”在內(nèi)的各種對應(yīng)關(guān)系；本發(fā)明第一步中通過搜索有效邊緣點(diǎn)估計投影直線端點(diǎn)的方法，可以提高投影直線段端點(diǎn)估計的可靠性，并能夠定量描述估計結(jié)果的可靠性；本發(fā)明第二步中對恢復(fù)投影直線段進(jìn)行特征編組時，采用了圖論中求解極大團(tuán)的方法，將復(fù)雜的特征編組過程轉(zhuǎn)化為一個經(jīng)典的數(shù)學(xué)問題來求解，利于實(shí)現(xiàn)；本發(fā)明第二步中生成投影直線段匹配關(guān)系圖的節(jié)點(diǎn)和判定節(jié)點(diǎn)間連接關(guān)系的方法，以投影直線段端點(diǎn)估計的可靠性為基礎(chǔ)，計算了節(jié)點(diǎn)對應(yīng)的投影直線段匹配對的匹配可能性以及同一幅圖像中的兩條投影直線段間的相容關(guān)系測度和組合關(guān)系測度，可以方便和準(zhǔn)確地計算每個直線特征編組的可靠性，提高匹配結(jié)果的正確性。
圖1是本發(fā)明所述的直線立體匹配方法流程示意圖； 圖2是本發(fā)明第一步所述的恢復(fù)投影直線段示意圖； 圖3是本發(fā)明第二步的第1步所述的計算
中任意一條投影直線段
與
中任意一條投影直線段
的對應(yīng)關(guān)系測度的示意圖； 圖4是本發(fā)明第二步的第2步所述的計算投影直線段
和
的相容關(guān)系測度
的示意圖； 圖5是本發(fā)明第二步的第2步所述的計算
和
屬于同一條真實(shí)投影直線段的概率
的示意圖。
具體實(shí)施例方式 下面結(jié)合附圖對本發(fā)明作進(jìn)一步解釋。
圖1是本發(fā)明所述的直線立體匹配方法流程示意圖本發(fā)明技術(shù)方案的輸入是已知成像參數(shù)的立體圖像對、立體圖像的邊緣檢測結(jié)果以及由立體圖像提取的直線特征，技術(shù)方案的輸出是在左右圖像提取的直線特征之間建立起來的匹配關(guān)系。其中，第一步是利用直線特征集合恢復(fù)投影直線段，包括第1步，搜索用于估計投影直線段端點(diǎn)的有效邊緣點(diǎn)，第2步，計算與端點(diǎn)相關(guān)的距離參數(shù)的概率密度函數(shù)；第二步是對恢復(fù)投影直線段進(jìn)行特征編組，包括第1步，生成投影直線段匹配關(guān)系圖的節(jié)點(diǎn)，第2步，判定投影直線段匹配關(guān)系圖中任意兩個節(jié)點(diǎn)間的連接關(guān)系，第3步，生成直線特征編組并計算可靠性測度；第三步，選取最可靠的直線特征編組，確定提取的直線特征間的匹配關(guān)系。
圖2是本發(fā)明方法第一步所述的利用提取的直線特征恢復(fù)投影直線段的方法示意圖lγi是任意一條由圖像中提取的直線特征，sγ，1i和sγ，2i是它的端點(diǎn)，(xγ，0i，yγ，0i)是它的中點(diǎn)，
和
由lγi恢復(fù)的投影直線段的端點(diǎn)，
和
分別是端點(diǎn)
和
到點(diǎn)(xγ，0i，yγ，0i)的距離，R(1)、R(2)和R(3)是在計算
的概率密度函數(shù)時確定的第1、2和3個有效邊緣點(diǎn)的空間搜索范圍，它們中的點(diǎn)表示確定的有效邊緣點(diǎn)，圖中圓圈內(nèi)給出了搜索有效邊緣點(diǎn)的局部放大效果示意圖。
圖3是本發(fā)明第二步的第1步所述的計算
中任意一條投影直線段
與
中任意一條投影直線段
的對應(yīng)關(guān)系測度的示意圖I1和I2是左右圖像，它們中的兩條實(shí)線表示用于恢復(fù)
和
的直線特征l1i和l2j，為了提高對于部分遮擋問題的適應(yīng)性，對應(yīng)關(guān)系測度的計算只依據(jù)直線特征l1i和l2j的相對應(yīng)部分，R1i表示I1中經(jīng)過l1i的端點(diǎn)的核線與I1的邊界圍成的陰影區(qū)域，T1i表示由l1i的端點(diǎn)在I2中確定的核線與I2的邊界圍成的陰影區(qū)域，R2j表示由l2j的端點(diǎn)在I1中確定的核線與I1的邊界圍成的陰影區(qū)域，T2j表示I2中經(jīng)過l2j的端點(diǎn)的核線與I2的邊界圍成的陰影區(qū)域，D1表示l1i位于內(nèi)的長度，D2表示l2j位于內(nèi)的長度，w是設(shè)定的矩形圖像塊的寬度，最優(yōu)取值為5個像素，r＝D2/D1，IL1i和IR1i表示以D1為長、w為寬并且以l1i位于的部分為公共長邊的兩塊矩形圖像區(qū)域，IL2j和IR2j表示以D2為長、(w·r)為寬并且以l2j位于的部分為公共長邊的兩塊矩形圖像區(qū)域，IL2ji和IR2ji表示對IL2j和IR2j進(jìn)行插值計算后得到兩塊與IL1i和IR1i尺寸相同的圖像區(qū)域，插值方法可采用最近鄰插值、雙線性插值或三線性插值。
如果D1與l1i的長度d1i之比小于0.2，或者D2與l2j的長度d2j之比小于0.2，則指定對應(yīng)關(guān)系測度否則，判定
和
滿足核線約束，對區(qū)域IL1i與IL2ji、IR1i與IR2ji分別進(jìn)行歸一化互相關(guān)運(yùn)算，得到兩個歸一化灰度互相關(guān)系數(shù)
和
選擇
和
中較大的一個作為
和
的對應(yīng)關(guān)系測度。
圖4是本發(fā)明第二步的第2步所述的計算投影直線段
和
的相容關(guān)系測度
的示意圖e1是圖像I1的核點(diǎn)，經(jīng)過它的虛線表示核線，
和
是兩條恢復(fù)的投影直線段，
和
上的實(shí)線部分分別表示用于恢復(fù)它們的直線特征l1i和l1α，s1，1i和s1，2i是l1i的端點(diǎn)，s1，1α和s1，2α是l1α的端點(diǎn)，(x1，0i，y1，0i)和(x1，0α，y1，0α)分別表示l1i和l1α的中點(diǎn)，如果經(jīng)過s1，1i或s1，2i的核線與l1α所在直線的交點(diǎn)位于s1，1α和s1，2α之間，或者經(jīng)過s1，1α或s1，2α的核線與l1i所在直線的交點(diǎn)位于s1，1i和s1，2i之間，則
和
的相容關(guān)系測度為否則，選擇l1i和l1α的位于經(jīng)過點(diǎn)(x1，0i，y1，0i)和(x1，0α，y1，0α)的兩條核線之間的端點(diǎn)，假定它們是s1，1i和s1，1α，Ji是經(jīng)過
的核線與L1i的延長線的交點(diǎn)，q1i是Ji與(x1，0i，y1，0i)之間的距離，Jα是經(jīng)過s1，1i的核線與l1α的延長線的交點(diǎn)，q1α是Jα與(x1，0α，y1，0α)之間的距離，計算
和
的相容關(guān)系測度為 其中，q1i可表示成
的函數(shù)，q1α可由s1，1i計算得到，d1i和d1α分別表示提取的直線特征l1i和l1α的長度。
圖5是本發(fā)明第二步的第2步所述的計算
和
屬于同一條真實(shí)投影直線段的概率
的示意圖
和
是兩條恢復(fù)的投影直線段，
和
上的實(shí)線部分分別表示用于恢復(fù)它們的直線特征l1i和l1α，選擇
和
的相互靠近的端點(diǎn)，假定它們是
和
和
可以合并的概率的計算方法包括以下步驟 第1)步，判定
和
是否共線 如果下面的不等式組不成立，則判定
和
不共線，
和
可以合并的概率計算過程結(jié)束；否則，判定它們共線，進(jìn)入第2)步。
其中， ε的最優(yōu)取值是π/20。
(x1，1i，y1，1i)和(x1，2i，y1，2i)分別表示s1，1i和s1，2i的坐標(biāo)；(x1，1α，y1，1α)和(x1，2α，y1，2α)分別表示s1，1α和s1，2α坐標(biāo)。
第2)步，計算
和
可以合并的概率 計算
和
可以合并的概率為 其中，S表示點(diǎn)(x1，0i，y1，0i)和(x1，0α，y1，0α)之間的距離。
下面詳細(xì)說明本發(fā)明中的其它有關(guān)細(xì)節(jié)。
第一點(diǎn)，極大團(tuán)求解方法 本發(fā)明中涉及的所有無向圖的極大團(tuán)求解算法均采用一種快速的極大團(tuán)求解算法，具體參見Tomita E，Tanaka A，Takahashia H.The worst-case timecomplexity for generating all maximal cliques and computational experiments.Theoretical Computer Science，2006，36328-42。
第二點(diǎn)，離散積分求解方法 本發(fā)明方案中涉及的一元和二元積分運(yùn)算全部采用牛頓-柯特斯內(nèi)差求積公式，具體參見丁麗娟和程杞元著《數(shù)值計算方法》，北京北京理工大學(xué)出版社，2005年，第168-174頁。
權(quán)利要求
1.一種直線立體匹配方法，其特征在于，包括下述步驟
已知從不同視角獲取的同一場景的兩幅圖像，分別記為左圖像I1和右圖像I2，它們的成像參數(shù)已知；對圖像I1和I2進(jìn)行邊緣檢測的結(jié)果分別為圖像E1和E2，圖像E1和E2中每個邊緣點(diǎn)的灰度梯度相位已知；從左圖像I1中提取的直線特征的集合為其中，任意一個線特征l1i的端點(diǎn)分別為s1，1i(x1，1i，y1，1i)和s1，2i(x1，2i，y1，2i)，在l1i上每隔3個像素長度取一個點(diǎn)，將這些點(diǎn)在I1中的灰度梯度相位平均值記為θ1i；從右圖像I2中提取的直線特征的集合為其中，任意一個直線特征l2i的端點(diǎn)為s2，1i(x2，1i，y2，1i)和s2，2i(x2，2i，y2，2i)，在l2i上每隔3個像素長度取一個點(diǎn)，將這些點(diǎn)在I2中的灰度梯度相位平均值記為θ2i；
第一步，利用直線特征集合恢復(fù)投影直線段
對于任意一個直線特征γ＝1或γ＝2，由它的兩個已知端點(diǎn)計算的中點(diǎn)坐標(biāo)記為(xγ，0i，yγ，0i)，長度記為dγi，經(jīng)過它的直線記為lγi；由lγi恢復(fù)的投影直線段記為
它的兩個端點(diǎn)
和
到(xγ，0i，yγ，0i)的距離分別記為
和
由lγi恢復(fù)
的過程等效為求解
和
的概率密度函數(shù)的過程；與
的任意一個端點(diǎn)相關(guān)的距離參數(shù)
的概率密度函數(shù)求解步驟如下
第1步，搜索用于估計投影直線段端點(diǎn)的有效邊緣點(diǎn)
的有效邊緣點(diǎn)是指在指定搜索范圍內(nèi)用于估計
的端點(diǎn)
位置的邊緣點(diǎn)；
有效邊緣點(diǎn)的搜索范圍包括空間搜索范圍和灰度梯度相位搜索范圍，由3個門限值來確定
Th表示
的有效邊緣點(diǎn)到直線lγi的距離最大值；
Tτ表示
的兩個相鄰的有效邊緣點(diǎn)在直線lγi上的投影間距離的最大值；
Tθ指定
的有效邊緣點(diǎn)的灰度梯度相位搜索范圍為[θγi-Tθ，θγi+Tθ]；
將lγi的端點(diǎn)sγ，qi視為
的第0個有效邊緣點(diǎn)，記為(x(0)，y(0))，它在直線lγi上的投影記為(xp(0)，yp(0))，此時，且
搜索有效邊緣點(diǎn)的方法由確定端點(diǎn)的有效邊緣點(diǎn)的搜索范圍和在搜索范圍內(nèi)選擇有效邊緣點(diǎn)兩個步驟組成，它們被循環(huán)執(zhí)行，直到確定的搜索范圍內(nèi)不再有邊緣點(diǎn)被找到；
第2步，計算與端點(diǎn)相關(guān)的距離參數(shù)的概率密度函數(shù)
假定得到
的n個有效邊緣點(diǎn)，計算與
相關(guān)的距離參數(shù)
概率密度函數(shù)
第一步恢復(fù)得到的所有投影直線段的集合記為和
第二步，對恢復(fù)投影直線段進(jìn)行特征編組
通過生成一個投影直線段匹配關(guān)系圖求解，生成的無向圖記為G，方法包括下述步驟
第1步，生成投影直線段匹配關(guān)系圖的節(jié)點(diǎn)
計算
中任意一條投影直線段
與
中任意一條投影直線段
的對應(yīng)關(guān)系測度；如果這個測度大于一個指定的門限，則判定它們是匹配的，并由
和
生成G的一個節(jié)點(diǎn)，節(jié)點(diǎn)屬性等于這個測度；
記生成的所有節(jié)點(diǎn)集合V＝{vα|α＝1，2，…，M}，任意一個節(jié)點(diǎn)vα的屬性記為μα；
第2步，判定投影直線段匹配關(guān)系圖中任意兩個節(jié)點(diǎn)間的連接關(guān)系
任取集合V中的兩個元素vα和vβ，假定與它們相對應(yīng)的投影直線段匹配對分別為
和
判定它們之間連接關(guān)系并計算連接邊權(quán)重W(vα，vβ)；
第3步，生成直線特征編組并計算可靠性測度
計算圖G的所有極大團(tuán)，記為Q＝{cw|w＝1，2，…，NQ}，任意一個極大團(tuán)cw是集合V的子集；利用每個極大團(tuán)生成一個直線特征編組，計算該直線特征編組的可靠性測度為
第三步，選取最可靠的直線特征編組，確定提取的直線特征間的匹配關(guān)系
按照下述方法生成直線特征編組關(guān)系圖GF利用每個生成的直線特征編組生成圖GF的一個節(jié)點(diǎn)，節(jié)點(diǎn)屬性等于相對應(yīng)的直線特征編組的可靠性測度，如果任意兩個直線特征編組中不包含相同的投影直線段，則在圖GF中連接它們對應(yīng)的節(jié)點(diǎn)；
計算圖GF的所有極大團(tuán)，其中，每個極大團(tuán)的能量等于該極大團(tuán)中包含的所有節(jié)點(diǎn)的屬性值之和，選取能量最大的極大團(tuán)包含的直線特征編組作為最可靠的直線特征編組；
在每個直線特征編組中，投影直線段之間的匹配關(guān)系是確定的，并且，這些恢復(fù)的投影直線段與提取的直線特征是一一對應(yīng)的，從而，提取的直線特征間匹配關(guān)系也是確定的，結(jié)合已知的成像參數(shù)，依據(jù)攝影測量理論可以求解匹配的直線特征對應(yīng)的三維直線段。
2.根據(jù)權(quán)利要求1所述的直線立體匹配方法，其特征在于，搜索有效邊緣點(diǎn)的方法是；
第1)步，確定端點(diǎn)
的有效邊緣點(diǎn)的搜索范圍
當(dāng)k＝1時，第k個有效邊緣點(diǎn)的空間搜索范圍R(1)表示為以下四個點(diǎn)(u1(1)，v1(1))、(u2(1)，v2(1))、(u3(1)，v3(1))和(u4(1)，v4(1))順次連接而成的矩形
其中，
的第k個有效邊緣點(diǎn)的灰度梯度相位搜索范圍為
當(dāng)k＞1時，第k個有效邊緣點(diǎn)的搜索范圍由R(k)和Ω(k)表示，確定方法為
計算投影點(diǎn)(xp(k-1)，yp(k-1))到(xp(k-2)，yp(k-2)的距離，記為τ(k-1)，第k個有效邊緣點(diǎn)的空間搜索范圍R(k)由四個點(diǎn)(u1(k)，v1(k))、(u2(k)，v2(k))、(u3(k)，v3(k))和(u4(k)，v4(k))順次連接而成
其中，λu、λv和m的取值與k＝1時相同；
第k個有效邊緣點(diǎn)的灰度梯度相位搜索范圍為Ω(k)＝Ω(1)；
第2)步，在搜索范圍內(nèi)選擇有效邊緣點(diǎn)
當(dāng)k＞0時，將同時落在R(k)和Ω(k)范圍內(nèi)的邊緣點(diǎn)的集合記為Ak；選取Ak中在直線lγi上的投影到點(diǎn)(xp(0)，yp(0))距離最小的邊緣點(diǎn)作為第k個有效邊緣點(diǎn)(x(k)，y(k))，它在直線lγi上的投影記為(xp(k)，yp(k))。
3.根據(jù)權(quán)利要求2所述的直線立體匹配方法，其特征在于，計算與
相關(guān)的距離參數(shù)
的概率密度函數(shù)，方法是；
如果0≤n≤3，
的概率密度函數(shù)為
ρ的最優(yōu)取值為0.25；
如果n＞3，
的概率密度函數(shù)計算方法由以下步驟組成
第1)步，計算
的函數(shù)
其中，nt表示
的有效邊緣點(diǎn)中在直線lγi上的投影到點(diǎn)(xγ，0i，yγ，0i)距離小于
的數(shù)目，h(k)是(x(k)，y(k))到直線lγi的距離，當(dāng)γ＝1時，θ(k)表示E1中的邊緣點(diǎn)(x(k)，y(k))的灰度梯度相位，當(dāng)γ＝2時，θ(k)表示E2中的邊緣點(diǎn)(x(k)，y(k))的灰度梯度相位；
第2)步，計算
的近似導(dǎo)數(shù)
其中，Δt的最優(yōu)取值為3個像素；
第3)步，計算參數(shù)η1
其中，η0的最優(yōu)取值為0.25，
第4)步，計算
的概率密度函數(shù)
4.根據(jù)權(quán)利要求3所述的直線立體匹配方法，其特征在于，判定集合V中的任意兩個元素vα和vβ之間連接關(guān)系并計算連接邊權(quán)重W(vα，vβ)的方法包括下述步驟
第1)步，計算vα和vβ的相容關(guān)系測度
計算投影直線段
和
的相容關(guān)系測度
以及
和
的相容關(guān)系測度
如果且則判定vα和vβ是相容的，計算節(jié)點(diǎn)vα和vβ的相容關(guān)系測度為否則，直接判定節(jié)點(diǎn)vα和vβ在圖G中不可連接，并返回判定其它節(jié)點(diǎn)間的連接關(guān)系；
第2)步，判定節(jié)點(diǎn)vα和vβ是否為直接可組合關(guān)系，計算組合關(guān)系測度
如果i＝a或j＝b，判定節(jié)點(diǎn)vα和vβ是直接可組合的，其組合關(guān)系測度為Fc(vα，vβ)＝1，進(jìn)入第4)步；
如果i≠a且j≠b，計算
和
屬于同一條真實(shí)投影直線段的概率
以及
和
屬于同一條真實(shí)投影直線段的概率
如果或則判定節(jié)點(diǎn)vα和vβ是直接可組合的，且組合關(guān)系測度為進(jìn)入第4)步；否則，進(jìn)入第3)步；
第3)步，判定節(jié)點(diǎn)vα和vβ是否為間接可組合關(guān)系，計算組合關(guān)系測度
以集合V中的元素為節(jié)點(diǎn)，建立一個新的無向圖g，如果任意兩個節(jié)點(diǎn)是直接可組合的，則將它們在g中連接起來，連接邊權(quán)重等于第2)步計算的組合關(guān)系測度；如果圖G中節(jié)點(diǎn)vα和vβ在圖g中對應(yīng)的節(jié)點(diǎn)之間存在至少一條路徑，則判定它們是間接可組合的，組合關(guān)系測度為其中，m表示不含環(huán)的路徑數(shù)，Dist(b)等于第b條不含環(huán)的路徑上所有連接邊權(quán)重的最小值；否則，直接判定它們在圖G中不可連接，并返回判定其它節(jié)點(diǎn)間的連接關(guān)系；
第4)步，計算節(jié)點(diǎn)vα和vβ之間的連接邊權(quán)重
將投影直線段匹配關(guān)系圖G中的節(jié)點(diǎn)vα和vβ進(jìn)行連接，計算連接邊權(quán)重為
W(vα，vβ)＝Fu(vα，vβ)·Fc(vα，vβ)
當(dāng)α＝β時，指定W(vα，vβ)＝0。
全文摘要
本發(fā)明提供一種直線立體匹配方法，能夠?qū)χ本€立體匹配中的遮擋問題和特征不確定性問題進(jìn)行建模，對實(shí)現(xiàn)對直線間“一配一”、“一配多”或“多配多”在內(nèi)的各種對應(yīng)關(guān)系的求解。本發(fā)明方法對該問題進(jìn)行求解的工作流程是利用提取的直線特征從統(tǒng)計意義上恢復(fù)對應(yīng)的投影直線→由恢復(fù)的投影直線生成所有直線特征編組→選取最可靠的直線特征編組作為匹配問題的解。本發(fā)明通過搜索有效邊緣點(diǎn)估計投影直線端點(diǎn)的方法，可以提高投影直線段端點(diǎn)估計的可靠性；對恢復(fù)投影直線段進(jìn)行特征編組，采用了圖論中求解極大團(tuán)的方法，利于實(shí)現(xiàn)；計算每個直線特征編組的可靠性，提高了匹配結(jié)果的正確性。
文檔編號G06T7/00GK101635052SQ20091004419
公開日2010年1月27日 申請日期2009年8月26日 優(yōu)先權(quán)日2009年8月26日
發(fā)明者文貢堅, 王繼陽, 回丙偉 申請人:中國人民解放軍國防科學(xué)技術(shù)大學(xué)