本發(fā)明涉及一種快速生成大尺寸重對焦圖像的系統(tǒng)與方法。
背景技術(shù):
隨著近年來社交分享的流行,消費者對手機(jī)相機(jī)的要求越來越高,不僅要拍攝出像素更高,質(zhì)量更好的圖像,還要求有更多的擴(kuò)展功能,甚至期望能接近單反的效果。比如,能拍攝出對焦點不同的背景虛化圖像,如奶油般的焦外虛化效果(bokeh)等等。
雖然單反能拍攝出背景虛化的圖像,但是一旦確定焦點,圖像的前后景也就確定了,生成的圖像焦點也就不能再做更改;但是大部分消費者不是專業(yè)的攝影人員,很難一次性拍攝出滿意的圖像,他們希望拍后還能對圖像的焦點進(jìn)行修改(重對焦),重新確定圖像的前景和背景,以達(dá)到滿意的效果。
技術(shù)實現(xiàn)要素:
本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足,提供一種快速生成大尺寸重對焦圖像的系統(tǒng)與方法,針對降采樣縮小后的圖像進(jìn)行虛化系數(shù)的計算和虛化處理,得到虛化圖像后,再放大到原圖像尺寸與原圖像進(jìn)行融合,大大減少了處理時間。
本發(fā)明的目的是通過以下技術(shù)方案來實現(xiàn)的:一種快速生成大尺寸重對焦圖像的系統(tǒng),包括圖像獲取模塊和圖像處理模塊:
圖像獲取模塊,用于獲取原圖像;
圖像處理模塊,包括:
圖像預(yù)處理子模塊,用于對原圖像進(jìn)行深度信息計算和降采樣的預(yù)處理,得到降采樣原圖像和降采樣深度圖像;
圖像虛化子模塊,用于計算景深范圍和虛化系數(shù),并利用虛化系數(shù)對降采樣原圖像進(jìn)行虛化處理,得到虛化圖像;
圖像融合子模塊,用于將虛化圖像放大到原圖像尺寸,與原圖像融合,得到重對焦圖像。
進(jìn)一步地,所述的一種快速生成大尺寸重對焦圖像的系統(tǒng),還包括圖庫模塊,用于對原圖像和重對焦圖像進(jìn)行存儲。
進(jìn)一步地,所述的圖像獲取模塊包括至少兩個攝像頭,用于從不同視角采集至少兩幅原圖像。
進(jìn)一步地,所述的圖像預(yù)處理子模塊包括:
深度信息計算單元,用于根據(jù)三角測距原理計算原圖像中每一個像素點的深度值,得到深度圖像;
降采樣單元,用于通過降采樣方式對于原圖像和深度圖像進(jìn)行縮小,得到降采樣原圖像和降采樣深度圖像。
進(jìn)一步地,所述的圖像虛化子模塊包括:
景深范圍計算單元,用于根據(jù)降采樣深度圖像結(jié)合攝像頭參數(shù)計算景深范圍;
虛化系數(shù)計算單元,用于對降采樣原圖像中每一個像素點計算虛化系數(shù)blurWeight:
blurWeight = (d-T1)/(T2–T1);其中,d為當(dāng)前像素點的深度值,T1,T2為預(yù)設(shè)參數(shù),用于控制公式的斜率。
虛化處理單元,用于根據(jù)虛化系數(shù)將圖像進(jìn)行前景和背景分離:虛化系數(shù)為零的像素點表示前景,虛化系數(shù)不為零的像素點表示背景;并根據(jù)虛化系數(shù)對背景進(jìn)行虛化處理,得到虛化圖像。
進(jìn)一步地,所述的圖像融合子模塊包括:
虛化圖像放大單元,用于將虛化圖像放大到原圖像尺寸,得到虛化放大圖像;
融合單元,用于通過虛化放大圖像提示虛化和清晰的范圍和虛化程度,然后耦合到原圖像中,得到重對焦圖像。
一種快速生成大尺寸重對焦圖像的方法,包括以下步驟:
S1.利用至少具有兩個攝像頭的圖像獲取模塊獲取原圖像;
S2.對原圖像進(jìn)行深度信息計算和降采樣的預(yù)處理,得到降采樣原圖像和降采樣深度圖像;
S3.計算景深范圍和虛化系數(shù),利用虛化系數(shù)對降采樣原圖像進(jìn)行虛化處理,得到虛化圖像;
S4.將虛化圖像放大到原圖像尺寸,與原圖像融合,得到重對焦圖像。
所述的步驟S2包括以下子步驟:
S21.根據(jù)三角測距原理計算原圖像中每一個像素點的深度值,得到深度圖像;
S22.通過降采樣方式對于原圖像進(jìn)行縮小,得到降采樣原圖像;
S23.采用降采樣方式對深度圖像進(jìn)行縮小,得到降采樣深度圖像。
所述的步驟S3包括以下子步驟:
S31.根據(jù)降采樣深度圖像結(jié)合攝像頭參數(shù)計算景深范圍;
S32.對降采樣原圖像中每一個像素點計算虛化系數(shù)blurWeight:
blurWeight = (d-T1)/(T2–T1);其中,d為當(dāng)前像素點的深度值,T1,T2為預(yù)設(shè)參數(shù),用于控制公式的斜率;
S33.將虛化系數(shù)為零的像素點作為前景,虛化系數(shù)不為零的像素點作為背景,實現(xiàn)前景與背景的分離,并對作為背景的每個像素點進(jìn)行虛化處理,得到虛化圖像。
所述的步驟S4包括以下子步驟:
S41.將虛化圖像放大到原圖像尺寸,得到虛化放大圖像;
S42.根據(jù)虛化系數(shù)將虛化放大圖像和原圖像進(jìn)行融合:虛化放大圖像提示虛化和清晰的范圍和虛化程度,然后耦合到原圖像中,得到重對焦圖像。
本發(fā)明的有益效果是:針對降采樣縮小后的圖像進(jìn)行虛化系數(shù)的計算和虛化處理,得到虛化圖像后,再放大到原圖像尺寸與原圖像進(jìn)行融合,大大減少了處理時間;特別適用于手機(jī)。
附圖說明
圖1為本發(fā)明的系統(tǒng)原理框圖;
圖2為本發(fā)明的方法流程圖。
具體實施方式
下面結(jié)合附圖進(jìn)一步詳細(xì)描述本發(fā)明的技術(shù)方案,但本發(fā)明的保護(hù)范圍不局限于以下所述。
如圖1所示,一種快速生成大尺寸重對焦圖像的系統(tǒng),包括圖像獲取模塊和圖像處理模塊:
圖像獲取模塊,用于獲取原圖像;
圖像處理模塊,包括:
圖像預(yù)處理子模塊,用于對原圖像進(jìn)行深度信息計算和降采樣的預(yù)處理,得到降采樣原圖像和降采樣深度圖像;
圖像虛化子模塊,用于計算景深范圍和虛化系數(shù),并利用虛化系數(shù)對降采樣原圖像進(jìn)行虛化處理,得到虛化圖像;
圖像融合子模塊,用于將虛化圖像放大到原圖像尺寸,與原圖像融合,得到重對焦圖像。
所述的一種快速生成大尺寸重對焦圖像的系統(tǒng),還包括圖庫模塊,用于對原圖像和重對焦圖像進(jìn)行存儲。
所述的圖像獲取模塊包括至少兩個視角不同的攝像頭,用于從不同視角采集至少兩幅原圖像。
在一個實施例中,該系統(tǒng)主要應(yīng)用于手機(jī)(至少具有兩個攝像頭的手機(jī)),現(xiàn)有的手機(jī)的內(nèi)存相比PC比較有限,而分配給每個APP的則更少,但目前市面上主流手機(jī)的相機(jī)像素都很高,圖像尺寸很大,處理這樣大的圖像比較耗時;將本申請運用于手機(jī)中,圖像獲取模塊為手機(jī)的相機(jī)(或攝像頭),上述的圖像處理模塊為手機(jī)中的圖像處理APP;由于對圖像虛化系數(shù)的計算和圖像的虛化都是針對降采樣后的小尺寸圖像(降采樣原圖像和降采樣深度圖像)進(jìn)行,得到虛化圖像后再放大與原大尺寸圖像進(jìn)行融合,大大減少了處理時間。
所述的圖像預(yù)處理子模塊包括:
深度信息計算單元,用于根據(jù)三角測距原理計算原圖像中每一個像素點的深度值,得到深度圖像;
具體的,圖像獲取模塊的攝像頭(至少兩個)之間存在一定的距離,所以同一景物(或者像素點)通過兩個鏡頭所成的像有一定的差別,既視差,因為視差信息的存在,故根據(jù)三角測距原理能夠計算出原圖像中的景物(或者像素點)的深度值。
深度圖像反應(yīng)的是實際場景中物體離攝像頭的距離,從深度圖中可以看出,離鏡頭越近的地方亮度越高,越遠(yuǎn)的地方亮度越低。
例如,可定義原圖像存儲信息為(x,y,r,g,b),x, y代表當(dāng)前像素點的二維坐標(biāo),r,g,b分別代表紅色,綠色,藍(lán)色通道的值;定義深度圖存儲信息為(x,y,d), x, y代表當(dāng)前像素點的二維坐標(biāo),d為當(dāng)前像素點的深度值。
降采樣單元,用于通過降采樣方式對于原圖像和深度圖像進(jìn)行縮小,得到降采樣原圖像和降采樣深度圖像。
所述的圖像虛化子模塊包括:
景深范圍計算單元,用于根據(jù)降采樣深度圖像結(jié)合攝像頭參數(shù)計算景深范圍;
虛化系數(shù)計算單元,用于對降采樣原圖像中每一個像素點計算虛化系數(shù)blurWeight:
blurWeight = (d-T1)/(T2–T1);其中,d為當(dāng)前像素點的深度值,T1,T2為預(yù)設(shè)參數(shù),用于控制公式的斜率;
虛化處理單元,用于根據(jù)虛化系數(shù)將圖像進(jìn)行前景和背景分離:虛化系數(shù)為零的像素點表示前景,虛化系數(shù)不為零的像素點表示背景;并根據(jù)虛化系數(shù)對背景進(jìn)行虛化處理,得到虛化圖像。
所述的圖像融合子模塊包括:
虛化圖像放大單元,用于將虛化圖像放大到原圖像尺寸,得到虛化放大圖像;
融合單元,用于通過虛化放大圖像提示虛化和清晰的范圍和虛化程度,然后耦合到原圖像中,得到重對焦圖像。
如圖2所示,一種快速生成大尺寸重對焦圖像的方法,包括以下步驟:
S1.利用至少具有兩個攝像頭的圖像獲取模塊獲取原圖像;
S2.對原圖像進(jìn)行深度信息計算和降采樣的預(yù)處理,得到降采樣原圖像和降采樣深度圖像;
S3.計算景深范圍和虛化系數(shù),利用虛化系數(shù)對降采樣原圖像進(jìn)行虛化處理,得到虛化圖像;
S4.將虛化圖像放大到原圖像尺寸,與原圖像融合,得到重對焦圖像。
所述的步驟S2包括以下子步驟:
S21.根據(jù)三角測距原理計算原圖像中每一個像素點的深度值,得到深度圖像;
S22.通過降采樣方式對于原圖像進(jìn)行縮小,得到降采樣原圖像;
S23.采用降采樣方式對深度圖像進(jìn)行縮小,得到降采樣深度圖像。
在一個實施例中,可以按照步驟S21~23對原圖像進(jìn)行處理,得到降采樣原圖像和降采樣深度圖像。
在另一個實施例中,也可以先對原圖像進(jìn)行降采樣縮小處理得到降采樣原圖像,之后以降采樣原圖像的像素計算深度信息獲得降采樣深度圖像。
所述的步驟S3包括以下子步驟:
S31.根據(jù)降采樣深度圖像結(jié)合攝像頭參數(shù)計算景深范圍;
S32.對降采樣原圖像中每一個像素點計算虛化系數(shù)blurWeight:
blurWeight = (d-T1)/(T2–T1);其中,d為當(dāng)前像素點的深度值,T1,T2為預(yù)設(shè)參數(shù),用于控制公式的斜率;
S33.將虛化系數(shù)為零的像素點作為前景,虛化系數(shù)不為零的像素點作為背景,實現(xiàn)前景與背景的分離,并對作為背景的每個像素點進(jìn)行虛化處理,得到虛化圖像。
所述的步驟S4包括以下子步驟:
S41.將虛化圖像放大到原圖像尺寸,得到虛化放大圖像;
S42.根據(jù)虛化系數(shù)將虛化放大圖像和原圖像進(jìn)行融合:虛化放大圖像提示虛化和清晰的范圍和虛化程度,然后耦合到原圖像中,得到重對焦圖像。
實際對圖像進(jìn)行重對焦過程中,可以先選定進(jìn)行重對焦的原圖像,再對選定的原圖像進(jìn)行步驟S2~S4中的圖像預(yù)處理、圖像虛化和圖像融合;也可以先對圖像采集模塊獲取的所有原圖像進(jìn)行預(yù)處理,再選定進(jìn)行重對焦的原圖像,按照步驟S3~S4對該原圖像(對應(yīng)的降采樣原圖像和降采樣深度圖像)進(jìn)行圖像虛化和圖像融合。
在本申請中,針對降采樣縮小后的圖像進(jìn)行虛化系數(shù)的計算和虛化處理,得到虛化圖像后,再放大到原圖像尺寸與原圖像進(jìn)行融合,大大減少了處理時間;特別適用于手機(jī)。