本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，具體涉及一種深度圖像超分辨方法，可用于下采樣后的深度圖像超分辨。

技術(shù)背景

隨著計(jì)算機(jī)視覺(jué)技術(shù)的快速發(fā)展，傳統(tǒng)的彩色圖像不能準(zhǔn)確地刻畫(huà)現(xiàn)實(shí)的立體場(chǎng)景，因此已經(jīng)不能滿足人們認(rèn)知世界的需求。彩色圖像包含場(chǎng)景物體的色彩信息，描述的是二維信息，不能精確地描述場(chǎng)景的三維立體結(jié)構(gòu)。而三維立體影像圖像除了包含傳統(tǒng)的二維信息還包含場(chǎng)景的第三個(gè)維度的信息，也就是場(chǎng)景的深度信息。三維立體重建技術(shù)通過(guò)深度圖像能夠重構(gòu)出現(xiàn)實(shí)場(chǎng)景的三維立體信息。

盡管目前的深度圖像獲取技術(shù)取得了不錯(cuò)的發(fā)展，但是將獲取的深度圖像與同場(chǎng)景對(duì)應(yīng)的彩色圖像相比，其深度圖像的質(zhì)量依然很差，主要表現(xiàn)在分辨率較低。針對(duì)上述深度傳感技術(shù)獲取的深度圖像分辨較低，人們提出了許多深度圖像超分辨方法。其中，m.-y.liu,o.tuzel,andy.taguchi等人發(fā)表在2013ieeeconf.oncomputervisionandpatternrecognition上的“jointgeodesicupsamplingofdepthimages”，提出了聯(lián)合測(cè)量濾波的方法，簡(jiǎn)稱(chēng)jgf方法，l.-f.yu,s.-k.yeung,y.-w.tai等人發(fā)表在2013ieeeconf.oncomputervisionandpatternrecognition上的“shading-basedshaperefinementofrgb-dimages”,提出了邊緣加權(quán)非局部正則的方法，簡(jiǎn)稱(chēng)sbsr-d方法，這些方法都是利用深度圖像和彩色圖像之間結(jié)構(gòu)上的相似性來(lái)對(duì)深度圖像進(jìn)行超分辨，其存在的不足是計(jì)算復(fù)雜度高，超分辨精度低，超分辨的圖像的邊緣部分容易模糊，難以滿足實(shí)際應(yīng)用的要求。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的在于針對(duì)傳統(tǒng)基于濾波的超分辨方法的不足，提出一種基于卷積神經(jīng)網(wǎng)絡(luò)的深度圖像超分辨重構(gòu)方法，以降低計(jì)算復(fù)雜度，提高重構(gòu)深度圖像的精度，減弱超分辨的圖像的邊緣模糊，滿足實(shí)際應(yīng)用的需求。

為實(shí)現(xiàn)上述目的，本發(fā)明采用以下技術(shù)方案：

本發(fā)明提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的深度圖像超分辨方法，該方法通過(guò)神經(jīng)網(wǎng)絡(luò)的非線性學(xué)習(xí)能力建立從低分辨的深度圖像與對(duì)應(yīng)的彩色圖像到高分辨率的深度圖像的映射的卷積神經(jīng)網(wǎng)絡(luò)模型，并以該卷積神經(jīng)網(wǎng)絡(luò)為指導(dǎo)實(shí)現(xiàn)深度圖像超分辨，具體步驟包括如下：

(1)獲取訓(xùn)練樣本集，對(duì)獲取的訓(xùn)練樣本進(jìn)行預(yù)處理，得到訓(xùn)練樣本對(duì)；

(2)利用卷積神經(jīng)網(wǎng)路強(qiáng)大的非線性學(xué)習(xí)能力，得到低分辨的深度圖像與對(duì)應(yīng)的彩色圖像到高分辨率的深度圖像的映射關(guān)系，構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)模型，本發(fā)明的卷積神經(jīng)網(wǎng)絡(luò)模型包括輸入層、多個(gè)卷積層和輸出層，確定網(wǎng)絡(luò)結(jié)構(gòu)中卷積層的層數(shù)m以及卷積層中的濾波器的個(gè)數(shù)和濾波器的大小網(wǎng)絡(luò)的激活函數(shù)采用relu函數(shù)，relu(x)＝max(0,x)；

(3)訓(xùn)練(2)中卷積神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)：初始化網(wǎng)絡(luò)各層的濾波器的權(quán)值和偏置，采用最小化損失函數(shù)的方法對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行迭代優(yōu)化，經(jīng)過(guò)多次迭代后獲取網(wǎng)絡(luò)模型結(jié)構(gòu)中權(quán)重值w和偏置值b的最優(yōu)解，得到最優(yōu)卷積神經(jīng)網(wǎng)絡(luò)模型；

(4)利用訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)模型，對(duì)低分辨深度圖像進(jìn)行超分辨。

本發(fā)明與現(xiàn)有技術(shù)相比，具有以下優(yōu)點(diǎn)：

1)本發(fā)明由于利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行深度圖像超分辨，相比現(xiàn)有技術(shù)降低了計(jì)算復(fù)雜度，提高了深度圖像超分辨的精度；

2)本發(fā)明所設(shè)計(jì)的卷積神經(jīng)網(wǎng)絡(luò)模型，由于充分考慮了深度圖像和彩色圖像的邊緣部分的結(jié)構(gòu)相似性，減弱了超分辨圖像的邊緣模糊。

附圖說(shuō)明

圖1為本發(fā)明的實(shí)現(xiàn)流程圖；

圖2為本發(fā)明構(gòu)建的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖；

圖3為本發(fā)明仿真實(shí)驗(yàn)所用的moebius和dolls深度圖像；

圖4為現(xiàn)有的jgf方法、sbsr-d方法以及本發(fā)明方法對(duì)moebius深度圖像超分辨的結(jié)果圖。

圖5為現(xiàn)有的jgf方法、sbsr-d方法以及本發(fā)明方法對(duì)dolls深度圖像超分辨的結(jié)果圖。

具體實(shí)施方式

以下結(jié)合附圖對(duì)本發(fā)明的實(shí)施例和效果做進(jìn)一步詳細(xì)描述。

參照?qǐng)D1，本發(fā)明基于卷積神經(jīng)網(wǎng)絡(luò)的深度圖像超分辨方法，其實(shí)現(xiàn)步驟如下：

步驟1，構(gòu)造訓(xùn)練樣本對(duì)，獲取高分辨深度圖像集x、初始恢復(fù)深度圖像和與高分辨深度圖像對(duì)應(yīng)的彩色圖像集c，對(duì)深度圖像進(jìn)行預(yù)處理，得到訓(xùn)練樣本對(duì)。

(1a)用包含24幅深度圖像和24幅彩色圖像的middlebury圖像集作為本發(fā)明實(shí)施例中的數(shù)據(jù)集，用middlebury圖像集中的深度圖像集作為本發(fā)明實(shí)施例中的高分辨深度圖像集，即原始深度圖像集x＝{x1,x2,…,xn,…,x24}，用middlebury圖像集中的彩色圖像集作為本發(fā)明實(shí)施例中的彩色圖像集c＝{c1,c2,…,cn,…,c24}，其中，xn∈r^m×l表示第n幅高分辨深度圖像，cn∈r^m×l表示第n幅彩色圖像，1≤n≤24，m×l表示圖像的大小，m×l＝380×420；

(1b)利用直接下采樣方式對(duì)原始深度圖像集x＝{x1,x2,…,xn,…,x24}進(jìn)行下采樣得到低分辨深度圖像集y＝{y1,y2,…,yn,…,y24}；

(1c)對(duì)低分辨深度圖像集y＝{y1,y2,…,yn,…,y24}進(jìn)行插值初始放大得到初始恢復(fù)深度圖像集

步驟2，構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)模型，并利用原始深度圖像集x、初始恢復(fù)深度圖像集和彩色圖像集c訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)參數(shù)。

本步驟的實(shí)現(xiàn)如下：

(2a)初始化卷積神經(jīng)網(wǎng)絡(luò)參數(shù)：

(2a1)將初始恢復(fù)深度圖像中的深度圖像和彩色圖像集中的彩色圖像作為輸入訓(xùn)練樣本，將原始深度圖像集中的原始深度圖像作為輸出訓(xùn)練樣本；

(2a2)確定卷積層數(shù)m、濾波器的個(gè)數(shù)和濾波器的大小卷積神經(jīng)網(wǎng)絡(luò)的卷積層數(shù)、濾波器的個(gè)數(shù)和濾波器的大小決定了卷積神經(jīng)網(wǎng)絡(luò)的規(guī)模，卷積神經(jīng)網(wǎng)絡(luò)的卷積層數(shù)、濾波器的個(gè)數(shù)越多網(wǎng)絡(luò)模型的非線性學(xué)習(xí)越強(qiáng)，但是這會(huì)造成網(wǎng)絡(luò)參數(shù)太多、模型復(fù)雜度高，模型過(guò)擬合；卷積神經(jīng)網(wǎng)絡(luò)的卷積層數(shù)、濾波器的個(gè)數(shù)越少網(wǎng)絡(luò)模型的非線性學(xué)習(xí)太弱，模型欠擬合，本實(shí)施例中，卷積神經(jīng)網(wǎng)絡(luò)的隱藏層數(shù)通過(guò)實(shí)驗(yàn)調(diào)節(jié)確定為m＝8層，輸入層的濾波器的個(gè)數(shù)確定為64個(gè)，濾波器的大小為3×3×2，隱藏層的濾波器的大小確定為32個(gè)，濾波器的大小為3×3，輸出層的濾波器的大小確定為1個(gè)，濾波器的大小為3×3；

(2a3)隨機(jī)初始化各層濾波器權(quán)值wi和偏置bi，i＝1,2,…,10，給定學(xué)習(xí)速率η＝0.0003，確定每次輸入模型的訓(xùn)練樣本的圖像塊的數(shù)量，輸入圖像塊的大小，輸出圖像塊的大小，將訓(xùn)練集中的初始恢復(fù)深度圖像和彩色圖像分塊為k×k，組合成一個(gè)k×k×c的張量，c表示輸入圖像的通道數(shù)，將訓(xùn)練集中的原始深度圖像分塊為k×k，每次輸入模型訓(xùn)練的圖像塊的數(shù)量是，在本實(shí)施例中，取圖像塊的大小為k×k＝40×40，圖像的通道數(shù)c＝2。

本步驟2所構(gòu)建的卷積神經(jīng)網(wǎng)絡(luò)如圖2所示。

步驟3，根據(jù)步驟2中的卷積神經(jīng)網(wǎng)絡(luò)的模型及其訓(xùn)練參數(shù)，以最小化損失函數(shù)為目標(biāo)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)，其中損失函數(shù)l(θ)為均方誤差函數(shù)，其中，xi表示原始的深度圖像，yi表示初始恢復(fù)的深度圖像，θ表示權(quán)值，f表示卷積神經(jīng)網(wǎng)絡(luò)的映射函數(shù)，在本實(shí)施例中，最小化損失函數(shù)采用adam優(yōu)化方法，其中adam優(yōu)化方法能避免優(yōu)化過(guò)程進(jìn)入局部最優(yōu)解，并且加快優(yōu)化速度，來(lái)獲得全局最優(yōu)解，其中卷積神經(jīng)網(wǎng)絡(luò)模型的權(quán)值θ的初始值由隨機(jī)函數(shù)生成，足夠的隨機(jī)性能增強(qiáng)網(wǎng)絡(luò)的魯棒性。

步驟4，利用訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)模型，對(duì)低分辨深度圖像進(jìn)行超分辨。

(3a)將任給的一組新低分辨深度圖像和彩色圖像作為測(cè)試樣本；

(3b)將測(cè)試樣本中的低分辨深度圖像利用插值初始放大得到初始恢復(fù)的深度圖像，并將此初始恢復(fù)的深度圖像和彩色圖像組合成一個(gè)張量，此張量的大小是m×n×c，在本實(shí)施例中m×n×c＝1320×1080×2，其中m×n表示深度圖像大小，c表示輸入圖像的通道數(shù)；

(3c)將(3b)得到的張量作為已經(jīng)訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)模型的輸入，卷積神經(jīng)網(wǎng)絡(luò)的輸出是一個(gè)大小為m×n的張量，此張量代表一個(gè)圖像，即得到超分辨的深度圖像，在本實(shí)施例中m×n＝1320×1080。

本發(fā)明的效果可以通過(guò)如下仿真實(shí)驗(yàn)具體說(shuō)明：

1.仿真條件：

1)仿真實(shí)驗(yàn)所用的數(shù)據(jù)集是middlebury圖像集；

2)仿真實(shí)驗(yàn)所用的編程平臺(tái)為pycharmv2016；

3)仿真實(shí)驗(yàn)所用的moebius和dolls深度圖像如圖3所示；

4)仿真實(shí)驗(yàn)中，采用峰值信噪比psnr指標(biāo)來(lái)評(píng)價(jià)實(shí)驗(yàn)結(jié)果，峰值信噪比psnr的定義為：

其中,max為超分辨的深度圖像的最大像素值，mse為超分辨的深度圖像與原始的深度圖像的均方誤差。

2.仿真內(nèi)容：采用現(xiàn)有的jgf方法、sbsr-d方法和本發(fā)明方法對(duì)圖3所述的moebius和dolls深度圖像進(jìn)行超分辨，其超分辨結(jié)果如圖4和圖5所示，圖4是moebius深度圖像超分辨的結(jié)果，圖4(a)是jgf方法超分辨的深度圖像，圖4(b)是sbsr-d方法超分辨的深度圖像，圖4(c)是本發(fā)明方法超分辨的深度圖像；圖4是moebius深度圖像超分辨的結(jié)果，圖5(a)是jgf方法超分辨的深度圖像，圖5(b)是sbsr-d方法超分辨的深度圖像，圖5(c)是本發(fā)明方法超分辨的深度圖像；

從圖4和圖5所顯示的結(jié)果可以看出，本發(fā)明超分辨出來(lái)的深度圖像比jgf方法和sbsr-d方法超分辨出來(lái)的深度圖像更清晰，圖像邊緣更銳利，視覺(jué)效果更好。

3.峰值信噪比psnr對(duì)比

計(jì)算現(xiàn)有的jgf方法、sbsr-d方法和本發(fā)明方法對(duì)moebius低分辨的深度圖像超分辨的高分辨深度圖像的峰值信噪比psnr，結(jié)果如表1所示。

表1深度圖像的峰值信噪比psnr值(單位：db)

從表1可以看出，本發(fā)明方法超分辨的高分辨率深度圖像的峰值信噪比psnr比jgf方法、sbsr-d方法要高，表明本發(fā)明能提高深度圖像超分辨的精度。