專利名稱：基于圖分割和多線索融合的單幅圖深度估計(jì)方法及其系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計(jì)算機(jī)視覺(jué)和圖像處理領(lǐng)域，尤其涉及一種基于圖分割和多線索融合
的單幅圖深度估計(jì)方法及其系統(tǒng)。
背景技術(shù)：
為滿足新一代數(shù)字媒體的發(fā)展需求，進(jìn)一步推動(dòng)立體顯示技術(shù)的更新，目前在計(jì) 算機(jī)視覺(jué)以及其它相關(guān)領(lǐng)域中對(duì)于三維信息恢復(fù)和場(chǎng)景重建問(wèn)題的研究成為熱點(diǎn)之一。隨 著數(shù)字圖像采集設(shè)備的迅猛發(fā)展和廣泛普及，大量的二維數(shù)據(jù)源、圖像庫(kù)、照片集成為人們 普遍擁有的媒體素材。如何基于二維圖像還原真實(shí)世界的立體信息(即第三維度的垂直于 圖像平面的深度信息)，是計(jì)算機(jī)視覺(jué)領(lǐng)域的一個(gè)經(jīng)典難題之一；解決這一問(wèn)題將使數(shù)字 媒體產(chǎn)業(yè)產(chǎn)生飛躍性的發(fā)展，帶給人們?nèi)碌囊曈X(jué)體驗(yàn)。 不同于雙目立體視方法或多視方法需要以同一場(chǎng)景從不同角度拍攝的多幅圖像 為輸入，通過(guò)攝像機(jī)標(biāo)定、對(duì)應(yīng)點(diǎn)匹配和視差估計(jì)來(lái)恢復(fù)場(chǎng)景的三維深度，單視點(diǎn)單幅圖的 深度估計(jì)方法對(duì)于數(shù)據(jù)源的要求不高，它是從普通的二維圖像中直接進(jìn)行深度估計(jì)；同時(shí) 避免了立體視覺(jué)中視場(chǎng)小、立體匹配困難的缺點(diǎn)和多目相機(jī)標(biāo)定的誤差；但是由于缺乏視 差這一重要的深度線索而使這一問(wèn)題變得非常困難。 目前已有的單視深度估計(jì)方法主要包括基于幾何透視的方法(利用透視成像中 的幾何約束關(guān)系確定目標(biāo)對(duì)象的空間三維姿態(tài)和整個(gè)場(chǎng)景的三維深度信息；主要適用于城 市建筑物等含有較為規(guī)則形狀物體的場(chǎng)景)；基于幾何光學(xué)的方法(聚焦法/散焦法聚焦 法是在焦距可調(diào)情況下，使圖像中的目標(biāo)點(diǎn)精確聚焦，然后根據(jù)透鏡成像原理求得該點(diǎn)相 對(duì)于相機(jī)的距離，該方法硬件昂貴、不易實(shí)現(xiàn)，精確聚焦定位不準(zhǔn)會(huì)帶來(lái)誤差；散焦法根據(jù) 模糊程度計(jì)算圖像中各點(diǎn)相對(duì)于相機(jī)的距離，但如何準(zhǔn)確建立散焦模型是主要難點(diǎn))；近 年來(lái)隨著機(jī)器學(xué)習(xí)理論的成熟，采用機(jī)器學(xué)習(xí)和貝葉斯推斷方法進(jìn)行單視深度估計(jì)和場(chǎng)景 重建的方法顯示出了較大的優(yōu)勢(shì)。該類方法利用多種深度線索和圖像特征，通過(guò)訓(xùn)練和學(xué) 習(xí)的方法得到待測(cè)圖像的深度圖。但是這種方法需要采集訓(xùn)練數(shù)據(jù)、建立樣本庫(kù)，計(jì)算的性 能也有待進(jìn)一步提高。 總之，目前的單視深度估計(jì)方法都還存在著自身的局限性，這個(gè)難題還沒(méi)有很好 的解決方案。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種基于圖分割和多線索融合的單幅圖深度估計(jì)方法及
其系統(tǒng)，基于本發(fā)明，可以克服目前單視深度估計(jì)所存在的基于視差所導(dǎo)致的缺陷。 本發(fā)明一種基于圖分割和多線索融合的單幅圖深度估計(jì)方法，包括如下步驟基
元匹配步驟，給定輸入圖像和基元模板，利用形狀和紋理匹配、遮擋估計(jì)以及同時(shí)進(jìn)行的圖
分割的方法，實(shí)現(xiàn)一對(duì)多的基元匹配和檢測(cè)，在輸入圖像中找到與模板相匹配的所有基元，
包括被遮擋的不完整顯現(xiàn)的基元，并由形狀匹配得到基元三維姿態(tài)的估計(jì)；深度線索提取步驟，提取每一所述基元深度線索參數(shù)，所述深度線索參數(shù)包括基元的大小、遮擋關(guān)系以及
經(jīng)計(jì)算獲取的圖像中每個(gè)基元的模糊程度；深度估計(jì)步驟，依據(jù)所述深度線索參數(shù)，對(duì)各個(gè)
基元的深度值進(jìn)行估計(jì)，并將圖像中除去基元之外的區(qū)域作為背景。深度優(yōu)化步驟，根據(jù)所
述基元的三維姿態(tài)建立模型，擬合各個(gè)基元內(nèi)部的深度變化，獲取深度圖。 上述單幅圖深度估計(jì)方法，優(yōu)選在所述基元匹配步驟中，在所述輸入圖像中找到
與所述模板相匹配的所有基元包括如下步驟圖模型建立步驟，對(duì)所述輸入圖像建立圖模
型，所述圖模型的定點(diǎn)對(duì)應(yīng)于所述輸入圖像中所提取的各個(gè)特征點(diǎn)，所述圖模型的各條邊
表示特征點(diǎn)之間的鄰接關(guān)系；分割步驟，基于所述圖模型，劃分出與所述給定模板對(duì)應(yīng)的各
個(gè)基元，所述基元由多個(gè)定點(diǎn)和邊組成。 上述單幅圖深度估計(jì)方法，優(yōu)選在所述深度線索提取步驟中，所述計(jì)算獲取的圖 像中每個(gè)基元的模糊程度包括如下步驟小波變換步驟，對(duì)所述輸入圖像二維方向上進(jìn)行 小波變換，所述二維方向?yàn)樾〔O大值的分布方向及梯度方向；基元邊緣點(diǎn)模糊度估計(jì) 步驟，在所述梯度方向上進(jìn)行正則性分析，基于所述正則性分析，估計(jì)所述基元內(nèi)邊緣點(diǎn)的 模糊度；基元內(nèi)點(diǎn)模糊度估計(jì)步驟，依據(jù)基元內(nèi)邊緣點(diǎn)的模糊度，確定與其最接近的基元內(nèi) 點(diǎn)的模糊度；基元模糊度計(jì)算步驟，計(jì)算基元區(qū)域內(nèi)，所有點(diǎn)模糊度的平均值，所述平均值 作為所述每一基元的模糊度。 上述單幅圖深度估計(jì)方法，優(yōu)選在所述深度估計(jì)步驟中，使用置信傳播算法，依據(jù) 提取的所述深度線索參數(shù)，估計(jì)每個(gè)基元的深度值。 上述單幅圖深度估計(jì)方法，優(yōu)選在深度優(yōu)化步驟中，采用平面或曲面擬合算法，擬 合各個(gè)基元內(nèi)部的深度變化，獲取深度圖。 另一方法，本發(fā)明還提供了一種基于圖分割和多線索融合的單幅圖深度估計(jì)系
統(tǒng)，包括基元匹配模塊、深度線索提取模塊、深度估計(jì)模塊和深度優(yōu)化模塊。其中，基元匹
配模塊用于給定輸入圖像和基元模板，利用形狀和紋理匹配的方法在輸入圖像中找到與模
板相匹配的所有基元，包括被遮擋的不完整顯現(xiàn)的基元，并估計(jì)基元的三維姿態(tài)；深度線索
提取模塊用于提取每一所述基元深度線索參數(shù)，所述深度線索參數(shù)包括基元的大小、遮擋
關(guān)系以及經(jīng)計(jì)算獲取的圖像中每個(gè)基元的模糊程度；深度估計(jì)模塊用于依據(jù)所述深度線索
參數(shù)，對(duì)各個(gè)基元的深度值進(jìn)行估計(jì)，并將圖像中除去基元之外的區(qū)域作為背景；深度優(yōu)化
模塊用于根據(jù)所述基元的三維姿態(tài)建立模型，擬合各個(gè)基元內(nèi)部的深度值，獲取深度圖。 上述單幅圖深度估計(jì)系統(tǒng)，優(yōu)選所述基元匹配模塊還包括圖模型建立子模塊和
分割子模塊。其中，圖模型建立子模塊用于對(duì)所述輸入圖像建立圖模型，所述圖模型的頂點(diǎn)
對(duì)應(yīng)于所述輸入圖像中所提取的各個(gè)特征點(diǎn)，所述圖模型的各條邊表示特征點(diǎn)之間的鄰接
關(guān)系；分割子模塊用于基于所述圖模型，劃分出與所述給定模板對(duì)應(yīng)的各個(gè)基元，所述基元
由多個(gè)頂點(diǎn)和邊組成。 上述單幅圖深度估計(jì)系統(tǒng)，優(yōu)選在所述深度線索提取模塊中，包括如下子模塊用 于計(jì)算獲取的圖像中每個(gè)基元的模糊程度小波變換子模塊、基元邊緣點(diǎn)模糊度估計(jì)子模 塊、基元內(nèi)點(diǎn)模糊度估計(jì)子模塊和基元模糊度計(jì)算子模塊。其中，小波變換子模塊用于對(duì)所 述輸入圖像二維方向上進(jìn)行小波變換，所述二維方向?yàn)樾〔O大值的分布方向及梯度方 向；基元邊緣點(diǎn)模糊度估計(jì)子模塊用于在所述梯度方向上進(jìn)行正則性分析，基于所述正則 性分析，估計(jì)所述基元內(nèi)邊緣點(diǎn)的模糊度；基元內(nèi)點(diǎn)模糊度估計(jì)子模塊，用于依據(jù)基元內(nèi)邊緣點(diǎn)的模糊度，確定與其最接近的基元內(nèi)點(diǎn)的模糊度；基元模糊度計(jì)算子模塊用于計(jì)算基 元區(qū)域內(nèi)，所有點(diǎn)模糊度的平均值，所述平均值作為所述每一基元的模糊度。
上述單幅圖深度估計(jì)系統(tǒng)，優(yōu)選在所述深度估計(jì)模塊中，使用置信傳播算法，依據(jù) 提取的所述深度線索參數(shù)，估計(jì)每個(gè)基元的深度值。 上述單幅圖深度估計(jì)系統(tǒng)，優(yōu)選在深度優(yōu)化模塊中，采用平面或曲面擬合算法，擬 合各個(gè)基元內(nèi)部的深度值，獲取深度圖。 本發(fā)明對(duì)于含有紋理基元或者相似物體(可統(tǒng)稱為基元)的單幅圖進(jìn)行深度估計(jì) 的方法，融合基元的大小、基元邊緣的模糊程度以及基元之間的遮擋關(guān)系這些線索來(lái)估計(jì) 它們的相對(duì)深度，具有如下有益效果 (1)基于給定模板的先驗(yàn)?zāi)Ｐ蛯我暽疃裙烙?jì)問(wèn)題轉(zhuǎn)化為一個(gè)相對(duì)容易解的問(wèn) 題。 (2)不同于傳統(tǒng)的形狀匹配方法，本發(fā)明中的形狀匹配算法是一對(duì)多的匹配，而且 匹配的目標(biāo)個(gè)數(shù)是不確定的；同時(shí)包括了遮擋推斷和三維姿態(tài)估計(jì)，解決由于遮擋造成的 不完全匹配問(wèn)題。 (3)本發(fā)明中形狀匹配和深度估計(jì)都是基于全局優(yōu)化模型進(jìn)行求解，算法更加魯 棒和精確。 (4)綜合運(yùn)用了物體成像大小、模糊程度和遮擋關(guān)系這些指示深度的線索，優(yōu)于一 般的單線索深度估計(jì)方法。 鑒于上述優(yōu)點(diǎn)，此發(fā)明能夠從單幅圖像估計(jì)和獲取三維相對(duì)深度信息，能夠滿足 基于深度圖的3-DTV系統(tǒng)的視覺(jué)質(zhì)量和立體效果的要求，可以基于豐富的二維圖像生成三 維數(shù)據(jù)和素材，滿足立體顯示系統(tǒng)對(duì)于三維數(shù)據(jù)源的需求。


圖1為本發(fā)明基于圖分割和多線索融合的單幅圖深度估計(jì)方法實(shí)施例的步驟流 程圖； 圖2為計(jì)算獲取的圖像中每個(gè)基元的模糊程度的步驟流程圖； 圖3為本發(fā)明基于圖分割和多線索融合的單幅圖深度估計(jì)系統(tǒng)實(shí)施例的結(jié)構(gòu)示
意圖； 圖4為基于圖分割和多線索融合的單幅圖深度估計(jì)系統(tǒng)實(shí)施例的工作原理示意 圖。
具體實(shí)施例方式
為使本發(fā)明的上述目的、特征和優(yōu)點(diǎn)能夠更加明顯易懂，下面結(jié)合附圖和具體實(shí) 施方式對(duì)本發(fā)明作進(jìn)一步詳細(xì)的說(shuō)明。 參照?qǐng)D1，圖1為本發(fā)明基于圖分割和多線索融合的單幅圖深度估計(jì)方法的步驟 流程圖，包括如下步驟 基元匹配步驟110，給定輸入圖像和基元模板，利用形狀和紋理匹配、遮擋估計(jì)和 同時(shí)進(jìn)行的圖分割方法，實(shí)現(xiàn)一對(duì)多的基元匹配和檢測(cè)，在輸入圖像中找到與模板相匹配 的所有基元，包括被遮擋的不完整顯現(xiàn)的基元，并由形狀匹配得到基元的三維姿態(tài)估計(jì)；
深度線索提取步驟120，提取每一所述基元深度線索參數(shù)，所述深度線索參數(shù)包括 基元的大小、遮擋關(guān)系以及經(jīng)計(jì)算獲取的圖像中每個(gè)基元的模糊程度； 深度估計(jì)步驟130，依據(jù)所述深度線索參數(shù)，對(duì)各個(gè)基元的深度值進(jìn)行估計(jì)，并將 圖像中除去基元之外的區(qū)域作為背景； 深度優(yōu)化步驟140，根據(jù)所述基元的三維姿態(tài)建立模型，擬合各個(gè)基元內(nèi)部的深度 變化，獲取深度圖。 下面對(duì)上述各個(gè)步驟進(jìn)行詳細(xì)的說(shuō)明。 基元匹配步驟110中，利用給定的基元模板在輸入圖像中進(jìn)行形狀匹配找到所有 的基元。這里基元的種類不限為單一一種，如果含有多種基元?jiǎng)t需要給出各自的模板。本算 法中采用圖切分的思想，利用各個(gè)基元和模板進(jìn)行匹配的總體代價(jià)建立全局最優(yōu)化模型， 最終從圖像中找出所有與模板相匹配的基元。注意這里的基元總數(shù)是預(yù)先未知的，需要在 優(yōu)化過(guò)程中逐漸確定。首先對(duì)目標(biāo)圖像建立一個(gè)圖模型，其中圖的頂點(diǎn)對(duì)應(yīng)著從圖像中提 取的各個(gè)特征點(diǎn)，特征包括形狀、顏色、紋理等，圖的各條邊表示特征點(diǎn)之間的鄰近關(guān)系?；?于此圖模型，我們的目標(biāo)是在圖模型中劃分出與模板對(duì)應(yīng)的各個(gè)基元，每個(gè)基元由若干頂 點(diǎn)和邊構(gòu)成。根據(jù)貝葉斯理論，希望求得使后驗(yàn)概率最大化的W :
VT = argmaxw p(WlG'T) = p ((K, {G-pMiDlG'T) 其中G表示圖模型，T表示模板，K為目標(biāo)基元個(gè)數(shù)，0為形狀匹配的三維變換矩 陣，決定了最終匹配基元的三維姿態(tài)，M為匹配的對(duì)應(yīng)矩陣。這里先驗(yàn)概率模型包括對(duì)于目 標(biāo)基元個(gè)數(shù)、圖劃分以及變換矩陣、對(duì)應(yīng)矩陣的先驗(yàn)。似然模型用每個(gè)基元和模板之間的匹 配相似性來(lái)度量。由于在當(dāng)前劃分下各個(gè)基元與模板的匹配是相對(duì)獨(dú)立的，所以整個(gè)模型 的似然由每個(gè)基元匹配的似然(即匹配的相似性)的連乘組成。為消除背景上的特征點(diǎn)的 影響，設(shè)置G。為所有不屬于基元的特征點(diǎn)集。G。的似然設(shè)置為一個(gè)常數(shù)，G。的先驗(yàn)約束為 |G。| 〈C，C為某個(gè)設(shè)定的常數(shù)。 基于上述模型，可以采用多種采樣方法來(lái)求得最大化上述后驗(yàn)概率的全局最優(yōu) 解。例如馬爾可夫-蒙特卡羅(Markov-Chain-Monte-Carlo)方法、吉布斯采樣等。本發(fā)明 中使用Swendsen-Wang Cuts這一高效的采樣算法來(lái)求解，主要包括圖頂點(diǎn)聚聯(lián)和翻轉(zhuǎn)兩種 操作。圖頂點(diǎn)聚聯(lián)是通過(guò)邊的打開(kāi)或關(guān)閉把整個(gè)圖被劃分為若干連接組(每一個(gè)在局部相 互鄰接的頂點(diǎn)的最大集合構(gòu)成一個(gè)連接組)。打開(kāi)概率的大小取決于相鄰頂點(diǎn)的組合與模 板局部匹配的好壞。而翻轉(zhuǎn)中把一個(gè)連接組的頂點(diǎn)染色為某一個(gè)基元的標(biāo)記或者不匹配標(biāo) 記。不匹配標(biāo)記用于去除不屬于任何基元的特征點(diǎn)。染色概率也取決于與模板匹配的相似 性測(cè)度。基于上述打開(kāi)概率和染色概率可以求得接受概率，進(jìn)而運(yùn)用Swendsen-Wang Cuts 算法求出最優(yōu)解。其中，Swendsen-Wang Cuts是一種公知的方法。在文獻(xiàn)"A.Barbu and S. C. Zhu， Generalizing Swendsen—Wang for ImageAnalysis， Journal of Computational and Graphical Statistics, 16 (4) :877-900， 2007"有明確的說(shuō)明。 在深度線索提取步驟120中，深度線索參數(shù)的獲取是基于步驟基元匹配步驟110 所獲取的與給定模板相匹配的基元進(jìn)行的?；拇笮∮弥睆奖硎?；遮擋關(guān)系由形狀匹配 得到，若匹配基元與模板相比有缺失，即被與其缺失位置臨近的另一個(gè)基元所遮擋。而基元 的模糊程度可以通過(guò)圖2所示的步驟獲取。
參照?qǐng)D2，圖2為計(jì)算獲取的圖像中每個(gè)基元的模糊程度的步驟流程圖，包括
小波變換步驟210，對(duì)所述輸入圖像二維方向上進(jìn)行小波變換，所述二維方向?yàn)樾?波模極大值的分布方向及梯度方向； 基元邊緣點(diǎn)模糊度估計(jì)步驟220，在所述梯度方向上進(jìn)行正則性分析，基于所述正 則性分析，估計(jì)所述基元內(nèi)邊緣點(diǎn)的模糊度； 基元內(nèi)點(diǎn)模糊度估計(jì)步驟230，依據(jù)基元內(nèi)邊緣點(diǎn)的模糊度，確定與其最接近的基 元內(nèi)點(diǎn)的模糊度； 基元模糊度計(jì)算步驟240，計(jì)算基元區(qū)域內(nèi)，所有點(diǎn)模糊度的平均值，所述平均值 作為所述每一基元的模糊度。 也就是說(shuō)，利用二維小波分析的李氏指數(shù)正則性估計(jì)各個(gè)基元的模糊度。首先對(duì) 原始圖像進(jìn)行多尺度的小波變換，該變換在二維方向上進(jìn)行，不僅考慮了小波模極大值的 分布，而且考慮了梯度方向；在梯度方向上進(jìn)行正則性分析，這樣可以更好的保持圖像的邊 緣特性，準(zhǔn)確估計(jì)出邊緣處的模糊度。基元內(nèi)的非邊緣點(diǎn)的模糊度由其最近的邊緣點(diǎn)(也 必須是在該基元內(nèi))的模糊度來(lái)決定。最終每個(gè)基元模糊度取為它所在區(qū)域內(nèi)所有點(diǎn)模糊 度的平均值。 深度估計(jì)步驟130，通過(guò)上述的幾個(gè)步驟，獲得了若干個(gè)形狀、紋理相似的基元物 體，它們的位置、大小、模糊度和相互之間的遮擋關(guān)系均已獲得。因此，可以通過(guò)這些信息來(lái) 恢復(fù)這些基元的深度。所處深度位置越遠(yuǎn)的物體其成像越小；被遮擋的物體其深度大于遮 擋它的物體的深度。根據(jù)散焦模型，模糊度也與深度成一定的函數(shù)關(guān)系?；谶@些一般性 假設(shè)，建立圖模型來(lái)求解深度。這里把每個(gè)基元作為頂點(diǎn)，各自包含著一定的深度線索(屬 性)。為方便計(jì)算把深度z的取值設(shè)為0到N之間的離散值，z G {0， 1，2， . . . N} (0代表最 遠(yuǎn)處，背景的深度值設(shè)為O)。使用置信傳播算法來(lái)估計(jì)每個(gè)基元的深度。其中數(shù)據(jù)項(xiàng)為基 元大小(用半徑r來(lái)表示)和模糊度es這兩個(gè)線索能量項(xiàng)的加權(quán)和，<formula>formula see original document page 8</formula> 其中，Wl、 w2分別為權(quán)衡基元大小和模糊度這兩個(gè)深度線索而設(shè)置的權(quán)重系數(shù)； rmax、rmin分別為所有基元半徑的最大、最小值；z。表示在這一深度值處的物體成像后被精確 聚焦。 消息傳遞項(xiàng)為<formula>formula see original document page 8</formula>
用公式(2)可以計(jì)算從基元i到j(luò)傳遞消息的更新，其中c(Zi， Zj)為基元i， j之 間遮擋關(guān)系的約束，其中，"ifi is occluded by j"表示條件"如果基元i被基元j遮擋"， else表示不滿足前述條件的情形。Di(Zi)由公式(1)計(jì)算得到。s表示任意一個(gè)除去j以 外的與i相鄰的所有基元。通過(guò)上述公式可求得各個(gè)基元的深度值。
深度優(yōu)化步驟140，設(shè)基元中心處的深度為深度估計(jì)步驟130中得到的深度，假定 基元為平面模型，利用步驟(2)中得到的基元三維姿態(tài)，即法向量方向建立平面方程，使用 平面擬合方法可以得到優(yōu)化的深度圖。 實(shí)施例中，基于給定模板的先驗(yàn)?zāi)Ｐ蛯我暽疃裙烙?jì)問(wèn)題轉(zhuǎn)化為一個(gè)相對(duì)容易解 的問(wèn)題，形狀匹配算法是一對(duì)多的匹配，而且匹配的目標(biāo)個(gè)數(shù)是不確定的；由于同時(shí)包括了 遮擋推斷和三維姿態(tài)估計(jì)，解決由于遮擋造成的不完全匹配問(wèn)題。綜合運(yùn)用了物體成像大 小、模糊程度和遮擋關(guān)系這些指示深度的線索，優(yōu)于一般的單線索深度估計(jì)方法。并且，形 狀匹配和深度估計(jì)都是基于全局優(yōu)化模型進(jìn)行求解，使本實(shí)施例的方法更加具有魯棒性和 精確性。 參照?qǐng)D3，圖3為本發(fā)明基于圖分割和多線索融合的單幅圖深度估計(jì)系統(tǒng)實(shí)施例 的結(jié)構(gòu)示意圖，包括 基元匹配模塊310，用于給定輸入圖像和基元模板，利用形狀和紋理匹配、遮擋估 計(jì)和同時(shí)進(jìn)行的圖分割的方法，在輸入圖像中找到與模板相匹配的所有基元，包括被遮擋 的不完整顯現(xiàn)的基元，并由形狀匹配得到基元的三維姿態(tài)估計(jì)； 深度線索提取模塊320，用于提取每一所述基元深度線索參數(shù)，所述深度線索參數(shù)
包括基元的大小、遮擋關(guān)系以及經(jīng)計(jì)算獲取的圖像中每個(gè)基元的模糊程度； 深度估計(jì)模塊330，用于依據(jù)所述深度線索參數(shù)，對(duì)各個(gè)基元的深度值進(jìn)行估計(jì)，
并將圖像中除去基元之外的區(qū)域作為背景； 深度優(yōu)化模塊340 ，用于根據(jù)所述基元的三維姿態(tài)建立模型，擬合各個(gè)基元內(nèi)部的 深度值，獲取深度圖。 對(duì)于基元匹配模塊310、深度線索提取模塊320、深度估計(jì)模塊330和深度優(yōu)化模 塊340原理與上述方法實(shí)施例中所描述的相同，相互之間互相參見(jiàn)即可，在此不再贅述。
參照?qǐng)D4，圖4為基于圖分割和多線索融合的單幅圖深度估計(jì)系統(tǒng)實(shí)施例的工作 原理示意圖。其中的矩形框表示具體的操作；平行四邊形框表述輸入或者輸出的數(shù)據(jù)，曲邊 梯形代表深度線索參數(shù)。 輸入給定圖像和基元模板，利用形狀和紋理匹配、遮擋估計(jì)和同時(shí)進(jìn)行的圖分割
方法，在輸入圖像中找到與模板相匹配的所有基元，包括被遮擋的不完整顯現(xiàn)的基元，并由
形狀匹配得到基元的三維姿態(tài)估計(jì)。然后提取基元的大小，記錄遮擋關(guān)系，計(jì)算圖像中每個(gè)
基元的模糊程度；融合深度線索，該深度線索包括基元大小、基元模糊度和遮擋關(guān)系估計(jì)各
個(gè)基元的深度值，圖像中除去基元之外的區(qū)域作為背景，其深度值設(shè)為最大；根據(jù)基元的三
維姿態(tài)建立模型擬合各個(gè)基元內(nèi)部的深度變化，得到更加精細(xì)準(zhǔn)確的深度圖。 以上對(duì)本發(fā)明所提供的融合單視點(diǎn)場(chǎng)景分析的多視點(diǎn)三維場(chǎng)景重建方法及其系
統(tǒng)進(jìn)行了詳細(xì)介紹，本文中應(yīng)用了具體個(gè)例對(duì)本發(fā)明的原理及實(shí)施方式進(jìn)行了闡述，以上
實(shí)施例的說(shuō)明只是用于幫助理解本發(fā)明的方法及其核心思想；同時(shí)，對(duì)于本領(lǐng)域的一般技
術(shù)人員，依據(jù)本發(fā)明的思想，在具體實(shí)施方式
及應(yīng)用范圍上均會(huì)有改變之處，綜上所述，本
說(shuō)明書(shū)內(nèi)容不應(yīng)理解為對(duì)本發(fā)明的限制。
權(quán)利要求
一種基于圖分割和多線索融合的單幅圖深度估計(jì)方法，其特征在于，包括如下步驟基元匹配步驟，給定輸入圖像和基元模板，利用形狀和紋理匹配、遮擋估計(jì)以及同時(shí)進(jìn)行的圖分割的方法，實(shí)現(xiàn)一對(duì)多的基元匹配和檢測(cè)，從而在輸入圖像中找到與模板相匹配的所有基元，包括被遮擋的不完整顯現(xiàn)的基元，并由形狀匹配得到基元三維姿態(tài)的估計(jì)；深度線索提取步驟，提取每一所述基元深度線索參數(shù)，所述深度線索參數(shù)包括基元的大小、遮擋關(guān)系以及經(jīng)計(jì)算獲取的圖像中每個(gè)基元的模糊程度；深度估計(jì)步驟，依據(jù)所述深度線索參數(shù)，對(duì)各個(gè)基元的深度值進(jìn)行估計(jì)，并將圖像中除去基元之外的區(qū)域作為背景；深度優(yōu)化步驟，根據(jù)所述基元的三維姿態(tài)建立模型，擬合各個(gè)基元內(nèi)部的深度變化，獲取深度圖。
2. 根據(jù)權(quán)利要求1所述的單幅圖深度估計(jì)方法，其特征在于，在所述基元匹配步驟中， 在所述輸入圖像中找到與所述模板相匹配的所有基元包括如下步驟圖模型建立步驟，對(duì)所述輸入圖像建立圖模型，所述圖模型的頂點(diǎn)對(duì)應(yīng)于所述輸入圖 像中所提取的各個(gè)特征點(diǎn)，所述圖模型的各條邊表示特征點(diǎn)之間的鄰接關(guān)系；分割步驟，基于所述圖模型，同時(shí)進(jìn)行形狀匹配、遮擋估計(jì)和圖分割方法，在所述圖模 型上劃分出與所述給定模板對(duì)應(yīng)的各個(gè)基元，每個(gè)所述基元由多個(gè)頂點(diǎn)和邊組成。
3. 根據(jù)權(quán)利要求2所述的單幅圖深度估計(jì)方法，其特征在于，在所述深度線索提取步 驟中，所述計(jì)算獲取的圖像中每個(gè)基元的模糊程度包括如下步驟小波變換步驟，對(duì)所述輸入圖像二維方向上進(jìn)行小波變換，所述二維方向?yàn)樾〔O 大值的分布方向及梯度方向；基元邊緣點(diǎn)模糊度估計(jì)步驟，在所述梯度方向上進(jìn)行正則性分析，基于所述正則性分 析，估計(jì)所述基元內(nèi)邊緣點(diǎn)的模糊度；基元內(nèi)點(diǎn)模糊度估計(jì)步驟，依據(jù)基元內(nèi)邊緣點(diǎn)的模糊度，確定與其最接近的基元內(nèi)點(diǎn) 的模糊度；基元模糊度計(jì)算步驟，計(jì)算基元區(qū)域內(nèi)，所有點(diǎn)模糊度的平均值，所述平均值作為所述 每一基元的模糊度。
4. 根據(jù)權(quán)利要求3所述的單幅圖深度估計(jì)方法，其特征在于，在所述深度估計(jì)步驟中， 使用置信傳播算法，依據(jù)提取的所述深度線索參數(shù)，估計(jì)每個(gè)基元的深度值。
5. 根據(jù)權(quán)利要求4所述的單幅圖深度估計(jì)方法，其特征在于，在深度優(yōu)化步驟中，采用 平面或曲面擬合算法，擬合各個(gè)基元內(nèi)部的深度變化，獲取深度圖。
6. —種基于圖分割和多線索融合的單幅圖深度估計(jì)系統(tǒng)，其特征在于，包括 基元匹配模塊，用于給定輸入圖像和基元模板，利用形狀和紋理匹配、遮擋估計(jì)和同時(shí)進(jìn)行的圖分割方法，在輸入圖像中找到與模板相匹配的所有基元，包括被遮擋的不完整顯 現(xiàn)的基元，并由形狀匹配得到基元三維姿態(tài)的估計(jì)；深度線索提取模塊，用于提取每一所述基元深度線索參數(shù)，所述深度線索參數(shù)包括基 元的大小、遮擋關(guān)系以及經(jīng)計(jì)算獲取的圖像中每個(gè)基元的模糊程度；深度估計(jì)模塊，用于依據(jù)所述深度線索參數(shù)，對(duì)各個(gè)基元的深度值進(jìn)行估計(jì)，并將圖像 中除去基元之外的區(qū)域作為背景；深度優(yōu)化模塊，用于根據(jù)所述基元的三維姿態(tài)建立模型，擬合各個(gè)基元內(nèi)部的深度值， 獲取深度圖。
7. 根據(jù)權(quán)利要求6所述的單幅圖深度估計(jì)系統(tǒng)，其特征在于，所述基元匹配模塊還包括圖模型建立子模塊，用于對(duì)所述輸入圖像建立圖模型，所述圖模型的頂點(diǎn)對(duì)應(yīng)于所述 輸入圖像中所提取的各個(gè)特征點(diǎn)，所述圖模型的各條邊表示特征點(diǎn)之間的鄰接關(guān)系；分割子模塊，基于所述圖模型，同時(shí)進(jìn)行形狀匹配、遮擋估計(jì)和圖分割算法，在所述圖 模型上劃分出與所述給定模板對(duì)應(yīng)的各個(gè)基元，得到的每個(gè)基元由多個(gè)頂點(diǎn)和邊組成。
8. 根據(jù)權(quán)利要求7所述的單幅圖深度估計(jì)系統(tǒng)，其特征在于，在所述深度線索提取模 塊中，包括如下子模塊用于計(jì)算獲取的圖像中每個(gè)基元的模糊程度小波變換子模塊，用于對(duì)所述輸入圖像二維方向上進(jìn)行小波變換，所述二維方向?yàn)樾?波模極大值的分布方向及梯度方向；基元邊緣點(diǎn)模糊度估計(jì)子模塊，用于在所述梯度方向上進(jìn)行正則性分析，基于所述正 則性分析，估計(jì)所述基元內(nèi)邊緣點(diǎn)的模糊度；基元內(nèi)點(diǎn)模糊度估計(jì)子模塊，用于依據(jù)基元內(nèi)邊緣點(diǎn)的模糊度，確定與其最接近的基 元內(nèi)點(diǎn)的模糊度；基元模糊度計(jì)算子模塊，用于計(jì)算基元區(qū)域內(nèi)，所有點(diǎn)模糊度的平均值，所述平均值作 為所述每一基元的模糊度。
9. 根據(jù)權(quán)利要求8所述的單幅圖深度估計(jì)系統(tǒng)，其特征在于，在所述深度估計(jì)模塊中， 使用置信傳播算法，依據(jù)提取的所述深度線索參數(shù)，估計(jì)每個(gè)基元的深度值。
10. 根據(jù)權(quán)利要求9所述的單幅圖深度估計(jì)系統(tǒng)，其特征在于，在深度優(yōu)化模塊中，采 用平面或曲面擬合算法，擬合各個(gè)基元內(nèi)部的深度值，獲取深度圖。
全文摘要
本發(fā)明公開(kāi)了一種基于圖分割和多線索融合的單幅圖深度估計(jì)方法及其系統(tǒng)。所述方法包括給定輸入圖像和基元模板，在圖模型的基礎(chǔ)上利用形狀和紋理匹配、遮擋估計(jì)以及同時(shí)進(jìn)行的圖分割方法，在輸入圖像中找到與模板相匹配的所有基元；然后提取每一基元深度線索參數(shù)，深度線索參數(shù)包括基元的大小、遮擋關(guān)系以及經(jīng)計(jì)算獲取的圖像中每個(gè)基元的模糊程度；依據(jù)所述深度線索參數(shù)，對(duì)各個(gè)基元的深度值進(jìn)行估計(jì)，并將圖像中除去基元之外的區(qū)域作為背景；根據(jù)形狀匹配得到的基元三維姿態(tài)對(duì)各個(gè)基元內(nèi)部區(qū)域進(jìn)行深度擬合，最終得到優(yōu)化的深度圖。本發(fā)明綜合運(yùn)用物體成像大小、模糊程度和遮擋關(guān)系這些深度線索參數(shù)，獲取單幅圖像的相對(duì)深度圖。
文檔編號(hào)G06T7/00GK101739683SQ20091024262
公開(kāi)日2010年6月16日 申請(qǐng)日期2009年12月11日 優(yōu)先權(quán)日2009年12月11日
發(fā)明者王亦洲, 王威, 郭歌, 高文 申請(qǐng)人:北京大學(xué)