一種實(shí)現(xiàn)淺景深效果的多攝像頭拍攝方法
【專利摘要】本發(fā)明提供一種實(shí)現(xiàn)淺景深效果的多攝像頭拍攝方法，其應(yīng)用在具備多個(gè)攝像頭的立體攝像裝置中，各攝像頭可同時(shí)對被攝場景進(jìn)行曝光獲得照片，然后通過對上述多攝像頭拍攝裝置拍攝到的多幅照片進(jìn)行多基線攝影測量計(jì)算，生成被攝場景的三維模型，再根據(jù)用戶提供的光學(xué)參數(shù)對三維模型進(jìn)行模擬成像，最終生成一幅帶有淺景深效果照片。本發(fā)明可以在輕便的便攜式移動(dòng)設(shè)備上實(shí)現(xiàn)一般只能在更昂貴和笨重的專業(yè)攝影器材上才能實(shí)現(xiàn)的淺景深效果，并且由于使用了被攝體的深度信息，此淺景深效果十分自然，優(yōu)于現(xiàn)有的不使用深度信息而生成淺景深的軟件的效果。
【專利說明】一種實(shí)現(xiàn)淺景深效果的多攝像頭拍攝方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種影像處理方法，具體是一種實(shí)現(xiàn)淺景深效果的多攝像頭拍攝方法。
【背景技術(shù)】
[0002]景深指相機(jī)鏡頭能夠?qū)ξ矬w成清晰像的物距范圍，在該物距范圍之外(包括前景和背景)，相機(jī)鏡頭對物體成模糊像。通過對景深的控制，攝影者可以對畫面主體及背景環(huán)境的清晰度進(jìn)行控制，從而更好地表現(xiàn)畫面主題，這種畫面虛化效果深受人們的喜愛。
[0003]拍攝時(shí)，影響景深的因素有三點(diǎn)一鏡頭的光圈大小，鏡頭的物理焦距長短以及相機(jī)與被攝對象的對焦距離遠(yuǎn)近。理論上，在其他因素一定的前提下，光圈越大、焦距越長、對焦距越近，則景深越淺，即前景和背景更模糊，虛化效果更強(qiáng)。然而，在實(shí)際拍攝中，虛化的效果和攝影設(shè)備本身的規(guī)格有很大關(guān)系。
[0004]由于不同攝影設(shè)備的感光元件尺寸大小不同，其各自配套的鏡頭的規(guī)格也不同。這種差異主要體現(xiàn)在鏡頭的物理尺寸和物理焦距上。一般來說，為大尺寸感光元件設(shè)計(jì)的鏡頭的體積會(huì)比為小尺寸感光元件設(shè)計(jì)的類似鏡頭的體積更龐大；并且即使兩支鏡頭具有相同的等效焦距(視場角)，為大尺寸感光元件設(shè)計(jì)的鏡頭的物理焦距也要比為小尺寸感光元件設(shè)計(jì)的鏡頭的物理焦距更長。這樣一來，即使兩臺(tái)相機(jī)在拍攝時(shí)使用相同視場角的鏡頭、光圈大小和對焦距，大尺寸感光元件相機(jī)獲得的景深也要比小尺寸感光元件相機(jī)更淺。
[0005]目前，市面上出售的可用于拍照片的便攜式移動(dòng)設(shè)備有卡片式相機(jī)、智能手機(jī)、平板電腦等，由于其感光元件尺寸很小，且鏡頭的物理焦距很短，很難拍攝出淺景深的畫面效果，這樣，人們對背景虛化效果的需求無法通過現(xiàn)有的便攜式移動(dòng)設(shè)備實(shí)現(xiàn)。
[0006]雖然現(xiàn)在的圖像處理軟件可以通過一定的模糊算法對圖片進(jìn)行處理，實(shí)現(xiàn)類似鏡頭虛化的模糊效果，但是由于軟件無法得知畫面中哪些區(qū)域需要進(jìn)行模糊處理以凸顯拍攝主題，因此無法通過自動(dòng)處理得到理想的虛化效果，此時(shí)只能靠人工選擇畫面區(qū)域來進(jìn)行處理，十分地繁瑣費(fèi)時(shí)。
[0007]而且，這種模擬虛化和真實(shí)的鏡頭虛化效果相比有很大的差異。這種差異主要體現(xiàn)在:
[0008]一、真實(shí)的虛化效果是嚴(yán)格與物距相關(guān)的，在景深范圍之外的物體一定會(huì)出現(xiàn)不同程度的模糊。但是由于軟件無法得知照片中物體的物距信息，因此無法判定照片內(nèi)的物體到底是在景深內(nèi)還是景深外，所以無法對物體進(jìn)行區(qū)別對待的虛化處理——最終自動(dòng)處理的結(jié)果，很可能本應(yīng)模糊的物體反而清晰，本應(yīng)清晰的物體反而模糊；
[0009]二、真實(shí)的虛化效果是隨著對焦點(diǎn)前后物體物距的變化而平滑漸變的一畫面中的物體的物距和鏡頭對焦距相差越大，則虛化程度越高。但現(xiàn)有軟件的效果往往是籠統(tǒng)的一抹了之地進(jìn)行均勻模糊處理，無法體現(xiàn)出這種漸變；
[0010]三、現(xiàn)有的軟件一般是通過卷積算法對圖像進(jìn)行模糊處理，模糊形式往往十分簡單且固定，無法很好地體現(xiàn)出不同型號鏡頭的虛化效果的差異。
[0011]現(xiàn)有的利用立體攝像系統(tǒng)生成淺景深效果的專利，例如中國專利“產(chǎn)生淺景深影像的方法及裝置(申請?zhí)朇N201110031413.2) ”，僅采用了雙攝像頭拍攝系統(tǒng)，對于復(fù)雜場景的識別能力不高，特別是對于圖像中的水平邊緣無法很好地進(jìn)行識別匹配；并且其模糊圖像的方法未考慮近景對遠(yuǎn)景的遮蔽問題，會(huì)產(chǎn)生所謂的“強(qiáng)度滲漏”現(xiàn)象，即本應(yīng)被遮蔽的物體的散景圖像反而覆蓋了前景的現(xiàn)象。
[0012]中國專利“一種移動(dòng)終端中實(shí)現(xiàn)景深效果的方法及移動(dòng)終端(申請?zhí)朇N201310039752.4) ”中，所述的“移動(dòng)終端”不能獲取圖像的深度信息，因此圖像的模糊區(qū)域不能由軟件計(jì)算自動(dòng)確定，而要由用戶指定非模糊區(qū)域并由軟件進(jìn)行聯(lián)想和排除后才能得到模糊區(qū)域，這種模糊區(qū)域與真實(shí)相機(jī)產(chǎn)生的焦外模糊區(qū)域并不一致。隨后進(jìn)行的模糊處理也未用到深度信息，因此這種模糊是一種均一的模糊，所以該景深繪制效果并不能很好地模擬真實(shí)相機(jī)的景深效果。
[0013]中國專利“產(chǎn)生淺景深圖像的方法及裝置(中國專利申請?zhí)朇N102811309A)”中的裝置也不能獲取圖像的深度信息，而是通過使用不同的光圈大小先后對物體進(jìn)行成像，其后通過分析和處理將兩幅圖像進(jìn)行融合，從而達(dá)到獲取淺景深圖像的目的。這一方法能夠達(dá)到較自然的效果，但是需要前后兩次曝光限制了其適用范圍。特別是在拍攝運(yùn)動(dòng)物體時(shí)，前后兩次曝光獲得照片不可能完全一致，這會(huì)在很大程度上影響兩幅圖像的比對分析過程，甚至得出不自然的、錯(cuò)誤的景深模擬效果。
[0014]中國專利“數(shù)字圖像的淺景深模擬方法(申請?zhí)?00810176590.8) ”中通過一個(gè)攝像頭使用不同的對焦距離拍攝多張照片，分析各照片的差異從而得出拍攝場景的深度信息，并以此為依據(jù)對圖像進(jìn)行模糊處理，從而獲得淺景深效果。此方法雖然理論上能獲得漸變的虛化效果，但由于需要對同一場景拍攝一系列的照片，耗時(shí)較多，在此期間只要被攝場景或相機(jī)一方發(fā)生移動(dòng)，都會(huì)很大程度上影響序列圖像的一致性，從而導(dǎo)致圖像的比對處理發(fā)生錯(cuò)誤，得出不自然的、錯(cuò)誤的景深模擬效果。
[0015]中國專利“淺景深模擬方法及數(shù)字相機(jī)”(申請?zhí)?201110133927.9)僅采用了單攝像頭，因此無法進(jìn)行立體攝影測量計(jì)算，所以無法得知畫面中物體的精確位置。這樣一來，要依深度信息進(jìn)行虛化效果渲染更無從談起了。
[0016]總而言之，想要通過拍攝設(shè)備實(shí)現(xiàn)理想的虛化效果，現(xiàn)有的拍攝設(shè)備要么過于笨重昂貴，要么雖輕便實(shí)惠卻無法虛化，而通過圖像處理的方法來實(shí)現(xiàn)理想的虛化效果，現(xiàn)有的軟件不僅操作起來費(fèi)時(shí)費(fèi)力，并且無法達(dá)到很自然的效果；現(xiàn)有的專利也或多或少有些缺憾。本發(fā)明能夠在拍攝裝置輕便的且成本較低的情況下，較好地實(shí)現(xiàn)自然的景深效果。

【發(fā)明內(nèi)容】

[0017]本發(fā)明提供一種實(shí)現(xiàn)淺景深效果的多攝像頭拍攝方法，可獲得被攝場景的三維信息和并生成具有自然淺景深效果的圖像。
[0018]一種實(shí)現(xiàn)淺景深效果的多攝像頭拍攝方法，其特征在于:包括如下步驟:
[0019]步驟一、提供一拍攝裝置，所述拍攝裝置包括至少三個(gè)攝像頭，所述至少三個(gè)攝像頭的光軸方向相互平行且成像平面共面，各攝像頭的對焦距設(shè)置在超焦距，；
[0020]步驟二、利用所述至少三個(gè)攝像頭同時(shí)對被攝場景拍攝得到一組照片；[0021]步驟三、對拍攝得到的照片進(jìn)行密集影像匹配，提取出被攝場景其中所有物點(diǎn)在不同照片中的像點(diǎn)坐標(biāo)，即同名點(diǎn)的坐標(biāo)；
[0022]步驟四、根據(jù)所述拍攝裝置的標(biāo)定信息以及得到的同名點(diǎn)的坐標(biāo)進(jìn)行多照片前方交會(huì)計(jì)算，得到所有同名點(diǎn)對應(yīng)物點(diǎn)的三維坐標(biāo)，生成點(diǎn)云數(shù)據(jù)；
[0023]步驟五、利用點(diǎn)云數(shù)據(jù)和照片的紋理信息，計(jì)算生成被攝場景的數(shù)字表面模型；
[0024]步驟六、將所述數(shù)字表面模型以新的攝影中心和投影平面進(jìn)行投影成像，并在投影平面上生成一幅投影照片；
[0025]步驟七、計(jì)算所述投影照片里所有像素的投影距離，作為各個(gè)像素的深度信息進(jìn)行儲(chǔ)存；
[0026]步驟八、指定所述投影照片中的某個(gè)像素作為照片的模擬對焦點(diǎn)，從步驟七得到的深度信息中讀取該像素的深度值，作為照片的對焦距；
[0027]步驟九、根據(jù)拍攝光圈號數(shù)、鏡頭焦距、容許彌散圓直徑以及步驟八確定的對焦距計(jì)算景深范圍，并根據(jù)景深范圍將所述投影照片中所有像素分為三組一背景組、景深內(nèi)組、前景組；
[0028]步驟十、拍攝光圈號數(shù)、鏡頭焦距、對焦距和畫幅對角線長四個(gè)參數(shù)，計(jì)算各個(gè)像素的相對彌散圓大小，直至把所有像素的相對彌散圓大小計(jì)算完畢；
[0029]步驟十一、對于背景組的所有像素，按照像素深度值由遠(yuǎn)至近的次序，依次在一幅空白圖像上繪制和疊加每個(gè)像素的彌散圓光斑，其中彌散圓光斑大小與步驟十中的相對彌散圓大小計(jì)算結(jié)果相一致；
[0030]步驟十二、對于景深內(nèi)組的所有像素，按照像素深度值由遠(yuǎn)至近的次序，依次在步驟十一生成的圖像上繪制和疊加每個(gè)像素，若像素的繪制位置上已有RGB信息，則將其替換；
[0031]步驟十三、對于前景組的所有像素，按照像素深度值由遠(yuǎn)至近的次序，依次在步驟十二生成的圖像上繪制和疊加每個(gè)像素的彌散圓光斑，其中彌散圓光斑大小與步驟十中的相對彌散圓大小計(jì)算結(jié)果相一致；
[0032]步驟十四、存儲(chǔ)此幅圖像，并作為最終結(jié)果呈現(xiàn)給用戶。如上所述的實(shí)現(xiàn)淺景深效果的多攝像頭拍攝方法，所述畫幅對角線長、容許彌散圓直徑和鏡頭焦距由用戶從一系列預(yù)置的真實(shí)相機(jī)機(jī)身和鏡頭型號中選取，拍攝光圈號數(shù)由用戶指定。
[0033]如上所述的實(shí)現(xiàn)淺景深效果的多攝像頭拍攝方法，所述前景深計(jì)算公式為:前景深=(光圈號數(shù)*容許彌散圓直徑*對焦距~2)/(鏡頭焦距~2+光圈號數(shù)*容許彌散圓直徑*對焦距)，所述后景深計(jì)算公式為:后景深=(光圈號數(shù)*容許彌散圓直徑*對焦距~2)/(鏡頭焦距~2-光圈號數(shù)*容許彌散圓直徑*對焦距)。
[0034]如上所述的實(shí)現(xiàn)淺景深效果的多攝像頭拍攝方法，步驟六中所述新的攝影中心的位置由軟件根據(jù)攝像頭的標(biāo)定信息，自動(dòng)取三個(gè)攝像頭攝影中心位置的平均值而得到，所述新的投影平面與三個(gè)攝像頭感光元件所在的平面共面。
[0035]本發(fā)明可以在輕便的便攜式移動(dòng)設(shè)備上實(shí)現(xiàn)一般只能在更昂貴和笨重的專業(yè)攝影器材上才能實(shí)現(xiàn)的淺景深效果，并且由于使用了被攝體的深度信息，此淺景深效果十分自然，優(yōu)于現(xiàn)有的不使用深度信息而生成淺景深的軟件的效果。本發(fā)明可以較好地解決水平邊緣識別和強(qiáng)度滲漏的問題；通過多攝像頭拍攝裝置獲取圖像的深度信息，再根據(jù)深度信息進(jìn)行景深繪制，不僅能夠自動(dòng)精確區(qū)分模糊區(qū)域和非模糊區(qū)域，還能夠較好地模擬真實(shí)相機(jī)的景深效果；
【專利附圖】

【附圖說明】
[0036]圖1是本發(fā)明多攝像頭拍攝裝置其中一實(shí)施例結(jié)構(gòu)示意圖，所述拍攝裝置作為移動(dòng)設(shè)備的拍攝附件；
[0037]圖2是本發(fā)明多攝像頭拍攝裝置另一實(shí)施例結(jié)構(gòu)示意圖，所述拍攝裝置與移動(dòng)設(shè)備本身集成為一體；
[0038]圖3(a)是本發(fā)明多攝像頭拍攝裝置的拍攝示意圖；
[0039]圖3(b)是本發(fā)明多攝像頭拍攝裝置拍攝中的幾何關(guān)系示意圖；
[0040]圖4是本發(fā)明將數(shù)字表面模型投影至像平面的示意圖；
[0041]圖5是本發(fā)明鏡頭成像的幾何光學(xué)示意圖；
[0042]圖6是本發(fā)明多攝像頭拍攝裝置的電路結(jié)構(gòu)示意圖。
[0043]圖中:101、201、301—第一攝像頭，102、202、302—第二攝像頭，103、203、303—第三攝像頭，104、204—移動(dòng)設(shè)備，105—移動(dòng)設(shè)備數(shù)據(jù)接口，106—拍攝裝置數(shù)據(jù)插頭，107—數(shù)據(jù)插頭接口，108、205—第一閃光燈，109、206—第二閃光燈，311—第一照片，312—第二照片，313—第三照片，320—物點(diǎn)，321、322、323—同名點(diǎn)，331—第一成像光線，332—第二成像光線，333一第二成像光線，400—數(shù)字表面模型，401—第一被攝場景，402—第二被攝場景，403—第二被攝場景，410—攝影中心，411 一第一投影光束，412—第二投影光束，413—第二投影光束，420—投影平面，421—第一被攝場景投影，422—第二被攝場景投影，423—第二被攝場景投影，500一處理器,600一存儲(chǔ)模塊。
【具體實(shí)施方式】
[0044]下面將結(jié)合本發(fā)明中的附圖，對本發(fā)明中的技術(shù)方案進(jìn)行清楚、完整地描述。
[0045]為達(dá)到上述目的，本發(fā)明實(shí)現(xiàn)淺景深效果的多攝像頭拍攝裝置需要配備至少三個(gè)攝像頭以及與所述至少三個(gè)攝像頭連接的處理器，所述三個(gè)處理器用于對攝像頭拍攝的照片進(jìn)行攝影測量和圖像處理功能。
[0046]本發(fā)明實(shí)現(xiàn)淺景深效果的多攝像頭拍攝裝置既可以是移動(dòng)設(shè)備的外置攝像頭附件，通過數(shù)據(jù)接口與手機(jī)、平板電腦等設(shè)備進(jìn)行連接及操作，作為移動(dòng)設(shè)備原有攝像頭的補(bǔ)充；也可以完全替代傳統(tǒng)移動(dòng)設(shè)備上的單枚攝像頭，與設(shè)備集成為一體，作為移動(dòng)設(shè)備自身的攝像頭——兩種方案均可以完整實(shí)現(xiàn)本發(fā)明提出的各項(xiàng)功能。下面將分別對兩個(gè)方案進(jìn)行闡述。
[0047]第一種方案，即當(dāng)此拍攝裝置作為移動(dòng)設(shè)備的外置攝像頭附件時(shí)，如圖1所示，移動(dòng)設(shè)備104具有第一攝像頭101，該拍攝裝置自身擁有兩個(gè)攝像頭，即第二攝像頭102和第三攝像頭103。第二攝像頭102和第三攝像頭103相距一定距離排列在拍攝裝置本體兩端。在使用時(shí)，該拍攝裝置通過拍攝裝置數(shù)據(jù)插頭106與移動(dòng)設(shè)備104的移動(dòng)設(shè)備數(shù)據(jù)接口 105相連并固定；并且根據(jù)移動(dòng)設(shè)備不同型號的數(shù)據(jù)接口，此拍攝裝置也能靈活更換對應(yīng)型號的數(shù)據(jù)插頭接口 107，以便成功對接。這時(shí)，拍攝裝置的兩個(gè)攝像頭(102、103)與移動(dòng)設(shè)備本身的攝像頭(101)相距一定距離，呈三角形排列，它們共同構(gòu)成一套三攝像頭的立體拍攝系統(tǒng)。在理想狀況下，各個(gè)攝像頭的光軸方向相互平行且成像平面共面。該拍攝裝置配備有兩枚閃光燈(第一閃光燈108、第二閃光燈109)，用于給被攝主體補(bǔ)光。需要指出的是，此種拍攝裝置在作為移動(dòng)設(shè)備的外置攝像頭附件時(shí)，其上的攝像頭數(shù)目最低為兩枚(若計(jì)入移動(dòng)設(shè)備自身攝像頭，攝像頭總數(shù)不小于三)，但也可以集成更多數(shù)量的攝像頭——此處僅以兩枚為例說明原理，并不對拍攝裝置上的攝像頭數(shù)目進(jìn)行最大數(shù)量上的限制。
[0048]如圖6所示，所述拍攝裝置還包括與第一攝像頭101、第二攝像頭102和第三攝像頭103連接的處理器以及與處理器連接的存儲(chǔ)模塊600。
[0049]第二種方案，即此拍攝裝置與移動(dòng)設(shè)備集成時(shí)，該拍攝裝置應(yīng)具有至少三枚攝像頭。如圖2所示，各枚攝像頭(201、202、203)之間相距一定距離，呈三角形排列于移動(dòng)設(shè)備204上，構(gòu)成了一套三攝像頭的立體拍攝系統(tǒng)。在理想狀況下，各個(gè)攝像頭的光軸方向相互平行且成像平面共面。在移動(dòng)設(shè)備204表面，各攝像頭之間配備有兩枚閃光燈(第一閃光燈205、第二閃光燈206)，用于給被攝主體補(bǔ)光。需要指出的是，這種與移動(dòng)設(shè)備集成的攝像頭，其數(shù)目最低為三枚，但也可以集成更多數(shù)量的攝像頭——此處僅以三枚為例說明原理，并不對拍攝裝置上的攝像頭數(shù)目進(jìn)行最大數(shù)量上的限制。所述拍攝裝置還包括與第一攝像頭201、第二攝像頭202和第三攝像頭203連接的處理器及與處理器連接的存儲(chǔ)模塊。
[0050]需要指出的是，上述的這兩種方案除了在硬件結(jié)構(gòu)上有一定差別之外，在拍攝流程、計(jì)算原理等方面是一致的。
[0051]該拍攝裝置上的攝像頭與一般手機(jī)上配備的攝像頭模塊規(guī)格類似，由鏡頭、感光元件和集成電路板等部件構(gòu)成。各攝像頭的規(guī)格參數(shù)(鏡片結(jié)構(gòu)、焦距、感光元件尺寸，像素?cái)?shù)等)一致。這種攝像頭模塊的特點(diǎn)是:感光元件尺寸小，鏡頭物理焦距短，攝像頭整體尺寸小巧；當(dāng)對焦距設(shè)置在超焦距時(shí)，能拍出具有極大景深的照片。各攝像頭具有同步拍攝的功能，即在人為控制下，在同一時(shí)刻一起對某一拍攝場景進(jìn)行曝光，每個(gè)攝像頭均記錄下一張照片。這樣可以一次性得到同一個(gè)拍攝場景的一系列具有視差的照片。
[0052]拍攝裝置使用前需要進(jìn)行鏡頭標(biāo)定，確定各個(gè)攝像頭之間的相對位置以及各攝像頭自身的光學(xué)參數(shù)(焦距、像主點(diǎn)位置、畸變系數(shù)等)，標(biāo)定可以在生產(chǎn)環(huán)節(jié)完成，也可以由用戶完成，在這里不做限定。
[0053]如圖3 (a)和圖3 (b)所不，拍攝時(shí)，各個(gè)攝像頭(弟一攝像頭301、弟二攝像頭302、第三攝像頭303)的對焦距均設(shè)置在超焦距，此時(shí)可認(rèn)為鏡頭能達(dá)到無限遠(yuǎn)合焦，即從超焦距前景距到無限遠(yuǎn)的范圍內(nèi)的所有物體均是清晰的。各個(gè)攝像頭(301、302、303)對被攝場景進(jìn)行拍攝得到照片(311、312、313)，并將這些照片(311、312、313)將進(jìn)行存儲(chǔ)，以備下階段產(chǎn)生淺景深圖像的處理流程中使用。
[0054]如與6所示，本發(fā)明其中一實(shí)施例，所述拍攝裝置包括第一攝像頭301、第二攝像頭302、第三攝像頭303、與所述第一攝像頭301、第二攝像頭302、第三攝像頭303連接的處理器500及與所述處理器500連接的存儲(chǔ)模塊600。第一攝像頭301、第二攝像頭302、第三攝像頭303同時(shí)對被攝場景拍攝得到的照片存儲(chǔ)在所述存儲(chǔ)模塊600中。
[0055]本發(fā)明的處理器500對照片的處理從整體上分為兩個(gè)部分。第一部分為計(jì)算所有像素的三維信息，生成三維模型。第二部分為生成具有淺景深效果的圖像。
[0056]第一部分(生成三維模型)的具體步驟為:
[0057]1、所述處理器500從存儲(chǔ)模塊600中讀取第一攝像頭301、第二攝像頭302、第三攝像頭303拍攝得到的多張照片(311、312、313)；
[0058]2、所述處理器500對拍攝得到的照片進(jìn)行密集影像匹配，提取出被攝場景其中一個(gè)物點(diǎn)320在不同照片(311、312、313)中的像點(diǎn)坐標(biāo)，即同名點(diǎn)(321、322、323)的坐標(biāo)。在這里需要指出的是，由于傳統(tǒng)雙像立體攝影系統(tǒng)多采用水平并列放置的兩臺(tái)攝影機(jī)，因此被攝場景中的水平邊緣會(huì)與攝影基線平行，造成兩張照片中的水平邊緣成像重合，這讓圖像處理程序無法得到足夠的信息去區(qū)分和識別水平邊緣上的同名點(diǎn)，這對影像匹配頗為不利。而本發(fā)明中的影像匹配使用的是非共線排列的至少三個(gè)攝像頭的多基線立體攝影系統(tǒng)所拍攝的像片，因此即使獲取的像片里含有與某條攝影基線平行的直線邊緣，程序也能從其他的攝影基線中獲得足夠的信息對解進(jìn)行約束，增強(qiáng)了影像匹配的可靠性，因此具有更好的影像匹配效果；
[0059]3、不斷重復(fù)第2步，直到提取出照片中所有的同名點(diǎn)的坐標(biāo)；
[0060]4、由于各攝像頭攝影中心、對應(yīng)同名點(diǎn)位置與物點(diǎn)320的連線，即三條成像光線(331、332、333)必然交會(huì)于物點(diǎn)320，因此根據(jù)拍攝裝置的標(biāo)定信息以及上一步得到的同名點(diǎn)(321、322、323)的坐標(biāo)進(jìn)行多照片前方交會(huì)計(jì)算，即可得到各個(gè)同名點(diǎn)對應(yīng)物點(diǎn)(320)的三維坐標(biāo)(X，Y, Z)；
[0061]5、不斷重復(fù)第4步，直到所有同名點(diǎn)對應(yīng)物點(diǎn)的三維坐標(biāo)均計(jì)算出來，生成點(diǎn)云數(shù)據(jù)；
[0062]6、利用點(diǎn)云數(shù)據(jù)和照片的紋理信息，計(jì)算生成被攝場景的數(shù)字表面模型400 (參見圖4)，此數(shù)字表面模型400是被攝場景的三維虛擬表現(xiàn)形式。
[0063]第二部分(淺景深圖像生成)的具體步驟為:
[0064]1、將此數(shù)字表面模型400投影以一個(gè)新的攝影中心410向一個(gè)新的投影平面420上進(jìn)行投影成像，其中攝影中心410的位置由軟件根據(jù)攝像頭的標(biāo)定信息，自動(dòng)取三個(gè)攝像頭攝影中心位置的平均值而得到，所述新的投影平面420與三個(gè)攝像頭感光元件所在的平面共面，最終在投影平面420上生成一幅投影照片。例如，數(shù)字表面模型400上的被攝場景(401、402、403)在投影平面420上生成的投影照片中對應(yīng)有被攝場景投影(421、422、423)。
[0065]2、計(jì)算這幅投影照片里所有像素的投影距離(數(shù)字表面模型400至投影平面420的法向距離)，作為各個(gè)像素的深度信息進(jìn)行儲(chǔ)存。也就是說，這幅投影照片里的每個(gè)像素除了 RGB值信息以外，還有一個(gè)對應(yīng)的深度信息。
[0066]3、由用戶從一系列預(yù)置的真實(shí)相機(jī)機(jī)身和鏡頭型號中選取想要用來模擬景深效果的相機(jī)機(jī)身和鏡頭型號，此時(shí)讀取機(jī)身的畫幅對角線長、容許彌散圓直徑和鏡頭焦距，并由用戶指定拍攝光圈號數(shù)；
[0067]4、由用戶指定(I)中生成的投影照片中的某個(gè)像素作為照片的模擬對焦點(diǎn)，從
(2)得到的深度信息中讀取該像素的深度值，作為照片的對焦距；
[0068]5、按照景深計(jì)算公式(前景深=(光圈號數(shù)*容許彌散圓直徑*對焦距~2)/(鏡頭焦距~2+光圈號數(shù)*容許彌散圓直徑*對焦距)；后景深=(光圈號數(shù)*容許彌散圓直徑*對焦距~2) / (鏡頭焦距~ 2-光圈號數(shù)*容許彌散圓直徑*對焦距))，代入(3) (4)中得到的拍攝光圈號數(shù)、鏡頭焦距、對焦距和容許彌散圓直徑四個(gè)參數(shù)，計(jì)算在這些拍攝參數(shù)下的整個(gè)照片景深范圍，并根據(jù)景深范圍將(I)中得到的照片中所有像素分為三組——背景組、景深內(nèi)組、前景組。分類依據(jù)為:若像素的深度值小于或等于前景距(即:對焦距-前景深)，則將像素分類至前景組；若像素的深度值大于前景距(即:對焦距-前景深)且小于后景距(即:對焦距+后景深)，則將像素分類至景深內(nèi)組；若像素的深度值大于或等于后景距(即:對焦距+后景深)，則將像素分類至背景組。對焦距、前景距、后景距之間的幾何關(guān)系見圖5 ；
[0069]6、按照彌散圓直徑計(jì)算公式(例如近似計(jì)算公式:相對彌散圓直徑?鏡頭焦距~2/(光圈號數(shù)*畫幅對角線長*對焦距))，代入(3) (4)中得到的拍攝光圈號數(shù)、鏡頭焦距、對焦距和畫幅對角線長四個(gè)參數(shù)，計(jì)算各個(gè)像素的相對彌散圓大小(像素的模糊程度)，直至把所有像素的相對彌散圓大小計(jì)算完畢，并保存。光學(xué)示意圖如圖5所示；
[0070]7、對于背景組的所有像素，按照像素深度值由遠(yuǎn)至近的次序，依次在一幅空白圖像上繪制和疊加每個(gè)像素的彌散圓光斑，其中彌散圓光斑大小與出)中的相對彌散圓大小計(jì)算結(jié)果相一致。不斷循環(huán)直到背景組所有像素處理完畢；
[0071]8、對于景深內(nèi)組的所有像素，按照像素深度值由遠(yuǎn)至近的次序，依次在(7)生成的圖像上繪制和疊加每個(gè)像素，若像素的繪制位置上已有RGB信息，則將其替換。不斷循環(huán)直到景深內(nèi)組所有像素處理完畢；
[0072]9、對于前景組的所有像素，按照像素深度值由遠(yuǎn)至近的次序，依次在(8)生成的圖像上繪制和疊加每個(gè)像素的彌散圓光斑，其中彌散圓光斑大小與出)中的相對彌散圓大小計(jì)算結(jié)果相一致。不斷循環(huán)直到前景組所有像素處理完畢；
[0073]需要說明的是，這里不對在(7)和(9)中繪制光斑的形狀進(jìn)行限制，實(shí)際實(shí)現(xiàn)過程中，可根據(jù)用戶的需求使用不同的光斑形狀，例如圓形、環(huán)形、心形、月牙形或是上述形狀的漸暈形式等。并且，由于在第8步中使用景深內(nèi)組的像素覆蓋了背景組像素的光斑，因此排除了背景組光斑和景深內(nèi)組像素相互沖突的情況一即“強(qiáng)度滲漏”的出現(xiàn)。
[0074]10、存儲(chǔ)此幅圖像在存儲(chǔ)模塊600中，并作為最終結(jié)果呈現(xiàn)給用戶。由于前景和背景的所有像素均被處理成模糊的光斑并疊加，而景深內(nèi)的像素直接用原始的清晰圖像繪制，因此整幅圖像能夠呈現(xiàn)出焦內(nèi)銳利而焦外柔美的淺景深視覺效果。若用戶對虛化效果不夠滿意，則可重新選擇相關(guān)光學(xué)參數(shù)，重復(fù)上述步驟生成一幅新的圖像，直至滿意為止。
【權(quán)利要求】
1.一種實(shí)現(xiàn)淺景深效果的多攝像頭拍攝方法，其特征在于包括如下步驟: 步驟一、提供一拍攝裝置，所述拍攝裝置包括至少三個(gè)攝像頭，所述至少三個(gè)攝像頭的光軸方向相互平行且成像平面共面，各攝像頭的對焦距設(shè)置在超焦距； 步驟二、利用所述至少三個(gè)攝像頭同時(shí)對被攝場景拍攝得到一組照片； 步驟三、對拍攝得到的照片進(jìn)行密集影像匹配，提取出被攝場景其中所有物點(diǎn)在不同照片中的像點(diǎn)坐標(biāo)，即同名點(diǎn)的坐標(biāo)； 步驟四、根據(jù)所述拍攝裝置的標(biāo)定信息以及得到的同名點(diǎn)的坐標(biāo)進(jìn)行多照片前方交會(huì)計(jì)算，得到所有同名點(diǎn)對應(yīng)物點(diǎn)的三維坐標(biāo)，生成點(diǎn)云數(shù)據(jù)； 步驟五、利用點(diǎn)云數(shù)據(jù)和照片的紋理信息，計(jì)算生成被攝場景的數(shù)字表面模型； 步驟六、將所述數(shù)字表面模型以新的攝影中心和投影平面進(jìn)行投影成像，并在投影平面上生成一幅投影照片； 步驟七、計(jì)算所述投影照片里所有像素的投影距離，作為各個(gè)像素的深度信息進(jìn)行儲(chǔ)存； 步驟八、指定所述投影照片中的某個(gè)像素作為照片的模擬對焦點(diǎn)，從步驟七得到的深度信息中讀取該像素的深度值，作為照片的對焦距； 步驟九、根據(jù)拍攝光圈號數(shù)、鏡頭焦距、容許彌散圓直徑以及步驟八確定的對焦距計(jì)算景深范圍，并根據(jù)景深范圍將所述投影照片中所有像素分為三組一背景組、景深內(nèi)組、前景組； 步驟十、拍攝光圈號數(shù)、鏡頭焦距、對焦距和畫幅對角線長四個(gè)參數(shù)，計(jì)算各個(gè)像素的相對彌散圓大小，直至把所有像素的相對彌散圓大小計(jì)算完畢； 步驟十一、對于背景組的所有像素，按照像素深度值由遠(yuǎn)至近的次序，依次在一幅空白圖像上繪制和疊加每個(gè)像素的彌散圓光斑，其中彌散圓光斑大小與步驟十中的相對彌散圓大小計(jì)算結(jié)果相一致；步驟十二、對于景深內(nèi)組的所有像素，按照像素深度值由遠(yuǎn)至近的次序，依次在步驟十一生成的圖像上繪制和疊加每個(gè)像素，若像素的繪制位置上已有RGB信息，則將其替換；步驟十三、對于前景組的所有像素，按照像素深度值由遠(yuǎn)至近的次序，依次在步驟十二生成的圖像上繪制和疊加每個(gè)像素的彌散圓光斑，其中彌散圓光斑大小與步驟十中的相對彌散圓大小計(jì)算結(jié)果相一致； 步驟十四、存儲(chǔ)此幅圖像，并作為最終結(jié)果呈現(xiàn)給用戶。
2.如權(quán)利要求1所述的實(shí)現(xiàn)淺景深效果的多攝像頭拍攝方法，其特征在于:所述畫幅對角線長、容許彌散圓直徑和鏡頭焦距由用戶從一系列預(yù)置的真實(shí)相機(jī)機(jī)身和鏡頭型號中選取，拍攝光圈號數(shù)由用戶指定。
3.如權(quán)利要求1所述的實(shí)現(xiàn)淺景深效果的多攝像頭拍攝方法，其特征在于:所述前景深計(jì)算公式為:前景深=(光圈號數(shù)*容許彌散圓直徑*對焦距~2)/(鏡頭焦距~2+光圈號數(shù)*容許彌散圓直徑*對焦距)，所述后景深計(jì)算公式為:后景深=(光圈號數(shù)*容許彌散圓直徑*對焦距~2)/(鏡頭焦距~2_光圈號數(shù)*容許彌散圓直徑*對焦距)。
4.如權(quán)利要求1所述的實(shí)現(xiàn)淺景深效果的多攝像頭拍攝方法，其特征在于:步驟六中所述新的攝影中心的位置由軟件根據(jù)攝像頭的標(biāo)定信息，自動(dòng)取三個(gè)攝像頭攝影中心位置的平均值而得到，所述新的投影平面與三個(gè)攝像頭感光元件所在的平面共面。
【文檔編號】G03B35/00GK103945210SQ201410195050
【公開日】2014年7月23日 申請日期:2014年5月9日 優(yōu)先權(quán)日:2014年5月9日
【發(fā)明者】李凌霄, 譚德寶, 李青云, 林莉, 張煜, 張穗 申請人:長江水利委員會(huì)長江科學(xué)院