一種生成高分辨率深度圖的方法、系統(tǒng)及計算設(shè)備的制作方法
【專利摘要】本發(fā)明屬于計算機(jī)視覺領(lǐng)域，提供了一種生成高分辨率深度圖的方法、系統(tǒng)及計算設(shè)備。該方法及系統(tǒng)是在采用上采樣算法將低分辨率深度圖轉(zhuǎn)換為高分辨率粗略深度圖后，進(jìn)一步得到該高分辨率粗略深度圖的輪廓圖，之后利用低分辨率亮度圖，在低分辨率深度圖中查找到與輪廓圖中各交疊的輪廓區(qū)塊最相似的區(qū)塊，之后采用加權(quán)拼接方式將查找到的區(qū)塊填入高分辨率粗略深度圖的相應(yīng)位置，得到高分辨率深度圖。由于是將低分辨率深度圖中的像素信息補(bǔ)充到了高分辨率粗略深度圖中，糾正了由于數(shù)據(jù)平滑效應(yīng)而在輪廓邊緣產(chǎn)生的錯誤深度數(shù)據(jù)，彌補(bǔ)了單純應(yīng)用上采樣方式的不足，得到的最終的高分辨率深度圖的顯示效果佳，且運(yùn)算速度快。
【專利說明】一種生成高分辨率深度圖的方法、系統(tǒng)及計算設(shè)備
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于計算機(jī)視覺領(lǐng)域，尤其涉及一種生成高分辨率深度圖的方法、系統(tǒng)及計算設(shè)備。
【背景技術(shù)】
[0002]在計算機(jī)視覺領(lǐng)域，深度圖用以表示場景中各點相對于攝像機(jī)的距離，即是說，深度圖中的每一像素點表示場景中某一點與攝像機(jī)之間的距離。自從微軟的kinect深度圖像傳感器商業(yè)應(yīng)用后，出現(xiàn)了更多地基于三維深度圖像的服務(wù)與產(chǎn)品，比如微軟的xboxOne體感游戲器，Leap motion的體感控制器等。
[0003]當(dāng)前的深度圖像傳感器采集到的深度圖像大部分為低分辨率深度圖，為了獲得高分辨率深度圖，現(xiàn)有技術(shù)是采用雙邊濾波等上采樣算法對深度圖像傳感器采集到的低分辨率深度圖進(jìn)行放大處理，以將低分辨率深度圖直接轉(zhuǎn)換為高分辨率深度圖。但受現(xiàn)有的上采樣算法本身的制約，該種方式得到的高分辨率深度圖中的輪廓邊緣會由于數(shù)據(jù)平滑效應(yīng)而產(chǎn)生錯誤深度數(shù)據(jù)，顯示效果較差。

【發(fā)明內(nèi)容】

[0004]本發(fā)明實施例的目的在于提供一種生成高分辨率深度圖的方法，旨在解決現(xiàn)有技術(shù)采用上采樣算法直接將低分辨率深度圖轉(zhuǎn)換為所需的高分辨率深度圖，得到的高分辨率深度圖中的輪廓邊緣會由于數(shù)據(jù)平滑效應(yīng)而產(chǎn)生錯誤深度數(shù)據(jù)，顯示效果較差的問題。
[0005]本發(fā)明實施例是這樣實現(xiàn)的，一種生成高分辨率深度圖的方法，所述方法包括以下步驟:
[0006]采集同一場景的低分辨率深度圖和第一低分辨率亮度圖，所述第一低分辨率亮度圖與所述低分辨率深度圖的尺寸一致；
[0007]對所述低分辨率深度圖進(jìn)行上采樣處理，得到高分辨率粗略深度圖，計算所述高分辨率粗略深度圖中的圖像輪廓，得到所述高分辨率粗略深度圖對應(yīng)的輪廓圖，所述高分辨率粗略深度圖與所述輪廓圖的尺寸一致；
[0008]根據(jù)局部搜索策略，利用所述第一低分辨率亮度圖，在所述低分辨率深度圖中查找與所述輪廓圖中的輪廓區(qū)塊最相似的區(qū)塊，并采用加權(quán)拼接方式將查找到的區(qū)塊填入所述高分辨率粗略深度圖的相應(yīng)位置，得到高分辨率深度圖。
[0009]本發(fā)明實施例的另一目的在于提供一種生成高分辨率深度圖的系統(tǒng)，所述系統(tǒng)包括:
[0010]圖像采集模塊，用于采集同一場景的低分辨率深度圖和第一低分辨率亮度圖，所述第一低分辨率亮度圖與所述低分辨率深度圖的尺寸一致；
[0011]第一圖像處理模塊，用于對所述低分辨率深度圖進(jìn)行上采樣處理，得到高分辨率粗略深度圖，計算所述高分辨率粗略深度圖中的圖像輪廓，得到所述高分辨率粗略深度圖對應(yīng)的輪廓圖，所述高分辨率粗略深度圖與所述輪廓圖的尺寸一致；[0012]第二圖像處理模塊，用于根據(jù)局部搜索策略，利用所述第一低分辨率亮度圖，在所述低分辨率深度圖中查找與所述輪廓圖中的輪廓區(qū)塊最相似的區(qū)塊，并采用加權(quán)拼接方式將查找到的區(qū)塊填入所述高分辨率粗略深度圖的相應(yīng)位置，得到高分辨率深度圖。
[0013]本發(fā)明實施例的另一目的在于提供一種計算設(shè)備，所述計算設(shè)備包括如上所述的生成高分辨率深度圖的系統(tǒng)。
[0014]本發(fā)明提出的生成高分辨率深度圖的方法及系統(tǒng)是在采用上采樣算法將低分辨率深度圖轉(zhuǎn)換為高分辨率粗略深度圖后，進(jìn)一步得到該高分辨率粗略深度圖的輪廓圖，之后利用低分辨率亮度圖，在低分辨率深度圖中查找到與輪廓圖中各交疊的輪廓區(qū)塊最相似的區(qū)塊，之后采用加權(quán)拼接方式將查找到的區(qū)塊填入高分辨率粗略深度圖的相應(yīng)位置，得到高分辨率深度圖。相對于現(xiàn)有技術(shù)，由于是在得到高分辨率粗略深度圖后，還進(jìn)一步將低分辨率深度圖中的像素信息補(bǔ)充到該高分辨率粗略深度圖中，糾正了由于數(shù)據(jù)平滑效應(yīng)而在輪廓邊緣產(chǎn)生的錯誤深度數(shù)據(jù)，彌補(bǔ)了單純應(yīng)用上采樣方式的不足，得到的最終的高分辨率深度圖的顯示效果佳，且運(yùn)算速度快，特別適用于三維重建、三維電視節(jié)目傳輸與制作、體感互動應(yīng)用等領(lǐng)域，具有廣泛的應(yīng)用價值。
【專利附圖】

【附圖說明】
[0015]圖1是本發(fā)明實施例一提供的生成高分辨率深度圖的方法的流程圖；
[0016]圖2是本發(fā)明實施例一中根據(jù)局部搜索策略搜索相似區(qū)塊并將區(qū)塊填入高分辨率粗略深度圖以得到高分辨率深度圖的詳細(xì)流程圖；
[0017]圖3是本發(fā)明實施例一中在低分辨率深度圖中查找與輪廓圖中的輪廓區(qū)塊最相似的區(qū)塊的詳細(xì)流程圖；
[0018]圖4a是本發(fā)明實施例一中第一低分辨率亮度圖的實例圖；
[0019]圖4b是本發(fā)明實施例一中低分辨率深度圖的實例圖；
[0020]圖4c是本發(fā)明實施例一中高分辨率粗略深度圖的實例圖；
[0021]圖4d是本發(fā)明實施例一中輪廓圖的實例圖；
[0022]圖4e是本發(fā)明實施例一中第二低分辨率亮度圖的實例圖；
[0023]圖4f是本發(fā)明實施例一中高分辨率亮度圖的實例圖；
[0024]圖4g是本發(fā)明實施例一中高分辨率深度圖的實例圖；
[0025]圖5是本發(fā)明實施例二提供的生成高分辨率深度圖的系統(tǒng)的結(jié)構(gòu)圖；
[0026]圖6是圖5中第二圖像處理模塊的結(jié)構(gòu)圖；
[0027]圖7是圖6中第二圖像處理子模塊的結(jié)構(gòu)圖。
【具體實施方式】
[0028]為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點更加清楚明白，以下結(jié)合附圖及實施例，對本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。
[0029]針對現(xiàn)有技術(shù)存在的問題，本發(fā)明是在采用上采樣算法將低分辨率深度圖轉(zhuǎn)換為高分辨率粗略深度圖后，進(jìn)一步得到該高分辨率粗略深度圖的輪廓圖，之后利用低分辨率亮度圖，在低分辨率深度圖中查找到與輪廓圖中各交疊的輪廓區(qū)塊最相似的區(qū)塊，之后采用加權(quán)拼接方式將查找到的區(qū)塊填入高分辨率粗略深度圖的相應(yīng)位置，得到高分辨率深度圖。以下將結(jié)合實施例詳細(xì)說明本發(fā)明的實現(xiàn)方式:
[0030]實施例一
[0031]本發(fā)明實施例一提出了一種生成高分辨率深度圖的方法，如圖1所示，包括:
[0032]步驟S1:采集同一場景的低分辨率深度圖和第一低分辨率亮度圖，第一低分辨率亮度圖與低分辨率深度圖的尺寸一致。
[0033]本發(fā)明實施例一中，可利用現(xiàn)有的深度圖像傳感器實現(xiàn)對低分辨率深度圖和第一低分辨率亮度圖的采集，例如，可采用微軟的kinect深度圖像傳感器同時采集同一場景尺寸相同的低分辨率深度圖和第一低分辨率亮度圖。
[0034]步驟S2:對低分辨率深度圖進(jìn)行上采樣處理，得到高分辨率粗略深度圖，計算高分辨率粗略深度圖中的圖像輪廓，得到高分辨率粗略深度圖對應(yīng)的輪廓圖，高分辨率粗略深度圖與輪廓圖的尺寸一致。
[0035]本發(fā)明實施例一中，可采用雙邊濾波算法等對低分辨率深度圖進(jìn)行上采樣處理，得到的高分辨率粗略深度圖保留了低頻信息而丟棄了高頻信息。低頻信息一般是指圖像中變化緩慢的部分，反映了圖像的框架、輪廓等概貌信息；高頻信息一般是指圖像中變化迅速的部分，反映了圖像的細(xì)節(jié)信息。
[0036]本發(fā)明實施例一中，高分辨率粗略深度圖中的圖像輪廓在表達(dá)出高分辨率粗略深度圖的全貌信息之外，還表達(dá)了場景中物體的邊界和深度之間的關(guān)系。進(jìn)一步地，計算高分辨率粗略深度圖中的圖像輪廓，得到高分辨率粗略深度圖對應(yīng)的輪廓圖的步驟可表示為:
【權(quán)利要求】
1.一種生成高分辨率深度圖的方法，其特征在于，所述方法包括以下步驟: 采集同一場景的低分辨率深度圖和第一低分辨率亮度圖，所述第一低分辨率亮度圖與所述低分辨率深度圖的尺寸一致； 對所述低分辨率深度圖進(jìn)行上采樣處理，得到高分辨率粗略深度圖，計算所述高分辨率粗略深度圖中的圖像輪廓，得到所述高分辨率粗略深度圖對應(yīng)的輪廓圖，所述高分辨率粗略深度圖與所述輪廓圖的尺寸一致； 根據(jù)局部搜索策略，利用所述第一低分辨率亮度圖，在所述低分辨率深度圖中查找與所述輪廓圖中的輪廓區(qū)塊最相似的區(qū)塊，并采用加權(quán)拼接方式將查找到的區(qū)塊填入所述高分辨率粗略深度圖的相應(yīng)位置，得到高分辨率深度圖。
2.如權(quán)利要求1所述的生成高分辨率深度圖的方法，其特征在于，所述計算所述高分辨率粗略深度圖中的圖像輪廓，得到所述高分辨率粗略深度圖對應(yīng)的輪廓圖的步驟表示為:
3.如權(quán)利要求1所述的生成高分辨率深度圖的方法，其特征在于，所述根據(jù)局部搜索策略，利用所述第一低分辨率亮度圖，在所述低分辨率深度圖中查找與所述輪廓圖中的輪廓區(qū)塊最相似的區(qū)塊，并采用加權(quán)拼接方式將查找到的區(qū)塊填入所述高分辨率粗略深度圖的相應(yīng)位置，得到高分辨率深度圖的步驟包括以下步驟: 對所述第一低分辨率亮度圖順次進(jìn)行下采樣處理和上采樣處理，得到第二低分辨率亮度圖，對所述第二低分辨率亮度圖進(jìn)行上采樣處理，得到高分辨率亮度圖，所述第二低分辨率亮度圖與所述第一低分辨率亮度圖的尺寸和分辨率一致，所述高分辨率亮度圖與所述高分辨率粗略深度圖的尺寸一致； 提取所述輪廓圖中交疊的輪廓區(qū)塊，并根據(jù)局部搜索策略，在所述低分辨率深度圖中查找與所述輪廓圖中的輪廓區(qū)塊最相似的區(qū)塊； 采用加權(quán)拼接方式將查找到的區(qū)塊填入所述高分辨率粗略深度圖的相應(yīng)位置，得到高分辨率深度圖。
4.如權(quán)利要求3所述的生成高分辨率深度圖的方法，其特征在于，所述提取所述輪廓圖中交疊的輪廓區(qū)塊，并根據(jù)局部搜索策略，在所述低分辨率深度圖中查找與所述輪廓圖中的輪廓區(qū)塊最相似的區(qū)塊的步驟包括以下步驟: 提取所述輪廓圖中交疊的輪廓區(qū)塊，交疊的各輪廓區(qū)塊的尺寸一致； 查找所述輪廓區(qū)塊在所述高分辨率亮度圖中的對應(yīng)區(qū)塊； 查找所述對應(yīng)區(qū)塊的中心點在所述第二低分辨率亮度圖中的位置坐標(biāo)，以所述位置坐標(biāo)作為中心點確定一目標(biāo)搜索區(qū)域，所述目標(biāo)搜索區(qū)域的尺寸大于所述對應(yīng)區(qū)塊的尺寸； 遍歷所述目標(biāo)搜索區(qū)域中、每一與所述對應(yīng)區(qū)塊相同尺寸的區(qū)塊，將所述目標(biāo)搜索區(qū)域中、與所述對應(yīng)區(qū)塊之間的亮度差異最小的區(qū)域作為與所述對應(yīng)區(qū)塊最相似的區(qū)塊，并得到搜索到的區(qū)塊的中心點坐標(biāo)； 根據(jù)搜索到的區(qū)塊的尺寸及所述中心點坐標(biāo)，將所述搜索到的區(qū)塊對應(yīng)到所述低分辨率深度圖中的相應(yīng)位置，得到與所述輪廓區(qū)塊最相似的區(qū)塊。
5.如權(quán)利要求4所述的生成高分辨率深度圖的方法，其特征在于，所述遍歷所述目標(biāo)搜索區(qū)域中、每一與所述對應(yīng)區(qū)塊相同尺寸的區(qū)塊，將所述目標(biāo)搜索區(qū)域中、與所述對應(yīng)區(qū)塊之間的亮度差異最小的區(qū)域作為與所述對應(yīng)區(qū)塊最相似的區(qū)塊的步驟表示為:
6.一種生成高分辨率深度圖的系統(tǒng)，其特征在于，所述系統(tǒng)包括: 圖像采集模塊，用于采集同一場景的低分辨率深度·圖和第一低分辨率亮度圖，所述第一低分辨率亮度圖與所述低分辨率深度圖的尺寸一致； 第一圖像處理模塊，用于對所述低分辨率深度圖進(jìn)行上采樣處理，得到高分辨率粗略深度圖，計算所述高分辨率粗略深度圖中的圖像輪廓，得到所述高分辨率粗略深度圖對應(yīng)的輪廓圖，所述高分辨率粗略深度圖與所述輪廓圖的尺寸一致； 第二圖像處理模塊，用于根據(jù)局部搜索策略，利用所述第一低分辨率亮度圖，在所述低分辨率深度圖中查找與所述輪廓圖中的輪廓區(qū)塊最相似的區(qū)塊，并采用加權(quán)拼接方式將查找到的區(qū)塊填入所述高分辨率粗略深度圖的相應(yīng)位置，得到高分辨率深度圖。
7.如權(quán)利要求6所述的生成高分辨率深度圖的系統(tǒng)，其特征在于，所述第二圖像處理模塊包括: 第一圖像處理子模塊，用于對所述第一低分辨率亮度圖順次進(jìn)行下采樣處理和上采樣處理，得到第二低分辨率亮度圖，對所述第二低分辨率亮度圖進(jìn)行上采樣處理，得到高分辨率亮度圖，所述第二低分辨率亮度圖與所述第一低分辨率亮度圖的尺寸和分辨率一致，所述高分辨率亮度圖與所述高分辨率粗略深度圖的尺寸一致； 第二圖像處理子模塊，用于提取所述輪廓圖中交疊的輪廓區(qū)塊，并根據(jù)局部搜索策略，在所述低分辨率深度圖中查找與所述輪廓圖中的輪廓區(qū)塊最相似的區(qū)塊； 第三圖像處理子模塊，用于采用加權(quán)拼接方式將所述第二圖像處理子模塊查找到的區(qū)塊填入所述高分辨率粗略深度圖的相應(yīng)位置，得到高分辨率深度圖。
8.如權(quán)利要求7所述的生成高分辨率深度圖的系統(tǒng)，其特征在于，所述第二圖像處理子模塊包括: 提取子模塊，用于提取所述輪廓圖中交疊的輪廓區(qū)塊，交疊的各輪廓區(qū)塊的尺寸一致； 第一查找子模塊，用于查找所述輪廓區(qū)塊在所述高分辨率亮度圖中的對應(yīng)區(qū)塊； 第二查找子模塊，用于查找所述對應(yīng)區(qū)塊的中心點在所述第二低分辨率亮度圖中的位置坐標(biāo)，以所述位置坐標(biāo)作為中心點確定一目標(biāo)搜索區(qū)域，所述目標(biāo)搜索區(qū)域的尺寸大于所述對應(yīng)區(qū)塊的尺寸；搜索子模塊，用于遍歷所述目標(biāo)搜索區(qū)域中、每一與所述對應(yīng)區(qū)塊相同尺寸的區(qū)塊，將所述目標(biāo)搜索區(qū)域中、與所述對應(yīng)區(qū)塊之間的亮度差異最小的區(qū)域作為與所述對應(yīng)區(qū)塊最相似的區(qū)塊，并得到搜索到的區(qū)塊的中心點坐標(biāo)； 第三查找子模塊，用于根據(jù)搜索到的區(qū)塊的尺寸及所述中心點坐標(biāo)，將所述搜索到的區(qū)塊對應(yīng)到所述低分辨率深度圖中的相應(yīng)位置，得到與所述輪廓區(qū)塊最相似的區(qū)塊。
9.如權(quán)利要求6所述的生成高分辨率深度圖的系統(tǒng)，其特征在于，所述圖像采集模塊是kinect深度圖像傳感器。
10.一種計算設(shè)備，其特征在于，所述計算設(shè)備包括如權(quán)利要求6至9任一項所述的生成高分辨率深度圖的 系統(tǒng)。
【文檔編號】G06T7/00GK103440664SQ201310400717
【公開日】2013年12月11日 申請日期:2013年9月5日 優(yōu)先權(quán)日:2013年9月5日
【發(fā)明者】閆曉林, 邵詩強(qiáng), 譚文偉, 付東 申請人:Tcl集團(tuán)股份有限公司