基于深度信息的多視點圖像超分辨方法
【專利摘要】本發(fā)明提供一種基于深度信息的多視點圖像超分辨方法，主要解決現(xiàn)有技術(shù)對低分辨率視點圖像進行超分辨重建時的邊緣偽影現(xiàn)象。其實現(xiàn)過程為：根據(jù)針孔相機模型，利用深度信息和相關相機參數(shù)，采用后向投影法將視點k的高分辨率彩色圖映射到視點n的圖像位置上；對投影圖像進行基于深度差和色度差的聯(lián)合視點間像素映射關系的有效性檢測，僅保留符合有效性檢測的像素點，為避免不同視點間亮度不同的影響預先對視點k的彩色圖進行亮度調(diào)整；分離出投影圖像的高頻信息，與視點n的低分辨率彩色圖上采樣后的圖像相加，得到視點n的超分辨率重建圖像。本發(fā)明在對低分辨率視點進行超分辨重建時可以有效減輕邊緣偽影現(xiàn)象，提高超分辨重建圖像的質(zhì)量。
【專利說明】基于深度信息的多視點圖像超分辨方法

【技術(shù)領域】
[0001]本發(fā)明涉及一種基于深度信息的多視點圖像超分辨方法，屬于圖像處理【技術(shù)領域】。

【背景技術(shù)】
[0002]目前多視點視頻的獲取和播放技術(shù)有了很大發(fā)展，3D立體視頻成為一項很有前景的應用。但是伴隨著立體視頻的發(fā)展，隨之產(chǎn)生了很多問題，例如傳輸數(shù)據(jù)量的增加以及計算復雜度的負擔。其解決方法是采用混合分辨率的多視點視頻架構(gòu)，在發(fā)送端將個別視點的彩色圖下采樣，得到低分辨率形式，而在接收端通過超分辨技術(shù)恢復出其高頻成分，以有效降低傳輸數(shù)據(jù)量和計算復雜度。如何在接收端有效恢復出低分辨率視點的高頻信息具有重要的研究和應用意義。
[0003]文獻“Super resolut1n for multiview images using depthinformat1n, IEEE Trans.Circuits Syst.Video Technol.，vol.22，n0.9，pp.1321 - 1331，2012”公開了一種多視點圖像超分辨方法。該方法利用深度信息在低分辨率視點和高分辨率視點的圖像像素之間建立映射關系，然后利用反向投影的方法對這種映射關系的有效性進行檢測，僅保留符合此有效性的像素點將其從高分辨率視點投影到低分辨率視點上，分離出高頻成分作為對低分辨率視點的高頻信息估計，得到低分辨率視點的分辨率提升結(jié)果。該方法的缺陷是利用反向投影法進行不同視點間像素映射關系的有效性檢測，僅利用了圖像的深度信息，由于前景物體邊緣深度不準確會產(chǎn)生邊緣偽影現(xiàn)象；其次，為進行反向投影需要進行兩次視點間映射，增加了計算復雜度。


【發(fā)明內(nèi)容】

[0004]本發(fā)明的目的在于針對上述現(xiàn)有技術(shù)的不足，提出一種基于深度信息的多視點圖像超分辨方法。該方法采用基于深度和色度的聯(lián)合視點間像素映射關系的有效性檢測，在進行低分辨率視點的超分辨重建時，可以有效消除邊緣偽影現(xiàn)象，提高超分辨重建圖像的質(zhì)量。
[0005]為了實現(xiàn)上述發(fā)明目的，本發(fā)明采用如下技術(shù)方案:
[0006]一種基于深度信息的多視點圖像超分辨方法，該方法采用基于深度和色度的聯(lián)合視點間像素映射關系的有效性檢測，以消除邊緣偽影現(xiàn)象，該方法包括以下步驟:
[0007]I)分別輸入低分辨率視點視點η的深度圖Dn和低分辨率彩色圖高分辨率視點視點k的深度圖Dk和高分辨率彩色圖Vk
[0008]2)對視點η的低分辨率彩色圖進行上采樣，得到其低頻成分圖像
[0009]3)對視點k的高分辨率彩色圖Vk先后進行下采樣和上采樣，得到其低頻成分圖像
K
[0010]4)在視點η和視點k間進行視點映射，并進行基于深度差的視點間像素映射關系的有效性檢測，將投影到視點η的圖像位置上，得到投影圖像VLn/k ；
[0011]5)將投影圖像與視點η的低頻成分圖像[F/進行亮度對比，以此調(diào)整視點k的高分辨率彩色圖Vk的圖像亮度，得到亮度調(diào)整后的圖像V' k ；
[0012]6)將亮度調(diào)整后的圖像V' k先后進行下采樣和上采樣，得到其低頻成分圖像
VLK':
[0013]7)在步驟4)的投影結(jié)果的基礎上進行基于亮度差的視點間像素映射關系的有效性檢測，將V' k投影到視點η的圖像位置上，得到Vnlk ；
[0014]8)分離出投影圖像Vnlk的高頻成分圖像；
[0015]9)對高頻成分圖像和低頻成分圖像F/進行求和，得到視點η的高分辨重建圖像療。
[0016]優(yōu)選的，在步驟4)中進行視點映射時，根據(jù)針孔相機模型，采用后向投影法，先將視點η的像素位置(U，V)投影到世界坐標系的坐標點(x，y，z)上，然后從(x，y，ζ)投影到視點k的像素位置(u’，v’ )上。
[0017]優(yōu)選的，在步驟4)中進行基于深度差的視點間像素映射關系的有效性檢測，檢測結(jié)果用ad表不:

【權(quán)利要求】
1.一種基于深度信息的多視點圖像超分辨方法，該方法采用基于深度和色度的聯(lián)合視點間像素映射關系的有效性檢測，以消除邊緣偽影現(xiàn)象，該方法包括以下步驟: 1)分別輸入低分辨率視點視點η的深度圖Dn和低分辨率彩色圖，高分辨率視點視點k的深度圖Dk和高分辨率彩色圖Vk ； 2)對視點η的低分辨率彩色圖進行上采樣，得到其低頻成分圖像P 3)對視點k的高分辨率彩色圖Vk先后進行下采樣和上采樣，得到其低頻成分圖像VkL； 4)在視點η和視點k間進行視點映射，并進行基于深度差的視點間像素映射關系的有效性檢測，將投影到視點η的圖像位置上，得到投影圖像 5)將投影圖像與視點n的低頻成分圖像JZi進行亮度對比，以此調(diào)整視點k的高分辨率彩色圖Vk的圖像亮度，得到亮度調(diào)整后的圖像V' k ； 6)將亮度調(diào)整后的圖像V,k先后進行下采樣和上采樣，得到其低頻成分圖像F/'; 7)在步驟4)的投影結(jié)果的基礎上進行基于亮度差的視點間像素映射關系的有效性檢測，將V, k投影到視點η的圖像位置上，得到Vnlk ； 8)分離出投影圖像Vnlk的高頻成分圖像匕I; 9)對高頻成分圖像和低頻成分圖像ηζ進行求和，得到視點η的高分辨重建圖像ΛK。
2.根據(jù)權(quán)利要求1所述的基于深度信息的多視點圖像超分辨方法，其特征在于:在步驟4)中進行視點映射時，根據(jù)針孔相機模型，采用后向投影法，先將視點η的像素位置(U，V)投影到世界坐標系的坐標點(X，y, ζ)上，然后從(X，y, ζ)投影到視點k的像素位置(U，，V，)上。
3.根據(jù)權(quán)利要求1所述的基于深度信息的多視點圖像超分辨方法，其特征在于:在步驟4)中進行基于深度差的視點間像素映射關系的有效性檢測，檢測結(jié)果用ad表示:
T1為預先設定的閾值，若ad等于I表示該像素點的映射結(jié)果滿足有效性檢測，若ad等于O則表示不滿足，將滿足有效性檢測的像素點投影到視點η的圖像位置上，得到投影圖像VlV n\k。
4.根據(jù)權(quán)利要求1所述的基于深度信息的多視點圖像超分辨方法，其特征在于:在步驟5)中將投影圖像廠&與視點η的低頻成分圖像轉(zhuǎn)換到HSV顏色空間進行亮度對比。
5.根據(jù)權(quán)利要求1所述的基于深度信息的多視點圖像超分辨方法，其特征在于:在步驟5)中對HSV顏色空間的視點k的高分辨率彩色圖Vk的亮度分量進行調(diào)整，然后將Vk由HSV顏色空間轉(zhuǎn)換到RGB顏色空間，得到亮度調(diào)整后的圖像Ψ k。
6.根據(jù)權(quán)利要求1所述的基于深度信息的多視點圖像超分辨方法，其特征在于:在步驟7)中先將視點k的低頻成分圖像投影到低分辨率視點的圖像位置上得到投影圖像 然后進行基于色度差的視點間像素映射關系的有效性檢測，檢測結(jié)果用a。表示:
T2為預先設定的閾值，若a。等于I表示該像素點的映射結(jié)果滿足有效性檢測，若a。等于O則表示不滿足，將亮度調(diào)整后的圖像Vk’中同時滿足基于深度差的視點間像素映射關系有效性檢測和基于色度差的視點間像素映射關系有效性檢測的像素點投影到視點η的圖像位置上，得到投 影圖像Vn|k。
【文檔編號】H04N15/00GK104079914SQ201410314800
【公開日】2014年10月1日 申請日期:2014年7月2日 優(yōu)先權(quán)日:2014年7月2日
【發(fā)明者】劉琚, 伯君, 孫國霞, 趙悅, 葛菁, 王梓 申請人:山東大學