用于產(chǎn)生全對(duì)焦圖像的方法和設(shè)備的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明大體上涉及俘獲和處理數(shù)字圖像，且特定來說涉及產(chǎn)生具有再聚焦能力的全對(duì)焦圖像。
【背景技術(shù)】
[0002]在攝影中，取決于場景中的不同對(duì)象距相機(jī)的距離，一些對(duì)象可能呈現(xiàn)為對(duì)焦，而其它對(duì)象呈現(xiàn)為離焦或模糊。這是歸因于以下事實(shí):在大多數(shù)視覺系統(tǒng)中，每一圖像以特定“焦距”俘獲?！敖咕唷敝复鷱南鄼C(jī)徑向延伸到圖像的場景中的距離。確切位于焦距處的圖像中的任何對(duì)象呈現(xiàn)為完全對(duì)焦。另一方面，并不位于焦距處(例如，較靠近或較遠(yuǎn)離相機(jī))的任何對(duì)象呈現(xiàn)為模糊和離焦。任何給定場景中的不同對(duì)象可位于距相機(jī)不同距離處，因此，很可能僅一些對(duì)象完全對(duì)焦。因此，對(duì)于由視覺系統(tǒng)俘獲的典型圖像，一些對(duì)象呈現(xiàn)為在圖像中對(duì)焦，而其它對(duì)象呈現(xiàn)為離焦。
[0003]盡管人類視覺系統(tǒng)產(chǎn)生具有類似特性的圖像(例如，在任何給定圖像中)，僅位于焦距處的對(duì)象是對(duì)焦的而其它對(duì)象是模糊的，人類適于快速掃描場景、聚焦在不同對(duì)象上，且獲得物理環(huán)境的有用“復(fù)合”視覺概念。這就是我們?nèi)绾巍坝^看”世界。然而，當(dāng)我們查看所俘獲圖像(例如顯示裝置上的圖像)時(shí)，相同自然掃描和再聚焦通常不可用。實(shí)際上，我們常常在任何給定時(shí)間查看靜態(tài)圖像，其中特定對(duì)象在圖像中對(duì)焦，且特定其它對(duì)象在圖像中是模糊或離焦的。為解決這些缺點(diǎn)，本發(fā)明呈現(xiàn)用于實(shí)現(xiàn)檢視圖像的兩種不同方法的實(shí)施例。一種方法涉及產(chǎn)生其中所有對(duì)象均對(duì)焦的“全對(duì)焦”圖像。另一方法涉及提供“再聚焦”能力，借此用戶可選擇圖像的一部分且使其對(duì)焦。

【發(fā)明內(nèi)容】

[0004]在一個(gè)實(shí)例中，揭示一種用于圖像處理的方法。所述方法大體包含獲得不同焦距處場景的多個(gè)圖像。每一圖像可展示對(duì)焦的場景的不同部分。所述方法進(jìn)一步包含(部分)獲得與所述多個(gè)圖像相關(guān)聯(lián)的第一深度圖，以及獲得與所述多個(gè)圖像相關(guān)聯(lián)的第二深度圖。第一深度圖對(duì)應(yīng)于第一鄰域大小，且第二深度圖對(duì)應(yīng)于第二鄰域大小。在一個(gè)方面中，所述第一鄰域大小小于所述第二鄰域大小。
[0005]所述方法進(jìn)一步包含基于所述多個(gè)圖像和所述第一深度圖產(chǎn)生展示對(duì)焦的場景的兩個(gè)或兩個(gè)以上部分的合成圖像。此外，所述方法包含基于所述合成圖像和所述第二深度圖產(chǎn)生展示對(duì)焦的場景的選定部分的再聚焦圖像。
[0006]在一個(gè)方面中，所述方法進(jìn)一步包含用清晰度測(cè)量濾波器對(duì)所述多個(gè)所俘獲圖像中的每一者濾波以產(chǎn)生多個(gè)經(jīng)濾波圖像。在一個(gè)方面中，清晰度測(cè)量濾波器為拉普拉斯(Laplacian)濾波器。
[0007]在一個(gè)方面中，獲得第一深度圖可包含將基于第一鄰域大小的第一二維像素函數(shù)應(yīng)用到所述多個(gè)經(jīng)濾波圖像中的每一圖像以產(chǎn)生第一多個(gè)深度圖像。類似地，獲得第二深度圖可包含將基于第二鄰域大小的第二二維像素函數(shù)應(yīng)用到所述多個(gè)經(jīng)濾波圖像中的每一圖像以產(chǎn)生第二多個(gè)深度圖像。
[0008]在一個(gè)方面中，所述第一二維像素函數(shù)涉及計(jì)算對(duì)應(yīng)于第一鄰域中的多個(gè)像素的深度值當(dāng)中的加權(quán)平均值。在另一方面中，所述第一二維像素函數(shù)涉及對(duì)對(duì)應(yīng)于第一鄰域中的像素的深度值實(shí)行經(jīng)加權(quán)投票方案。
[0009]在一個(gè)方面中，獲得所述第一深度圖包含(部分)針對(duì)每一像素位置獲得對(duì)應(yīng)于所述第一多個(gè)深度圖像的第一多個(gè)深度值當(dāng)中的最大深度值。類似地，獲得所述第二深度圖包含(部分)針對(duì)每一像素位置獲得對(duì)應(yīng)于所述第二多個(gè)深度圖像的第二多個(gè)深度值當(dāng)中的最大深度值。
[0010]在一個(gè)方面中，所述多個(gè)圖像的不同焦距均一地分布在最小焦距值與最大焦距值之間。
[0011]在一個(gè)方面中，基于第一深度圖在運(yùn)行中產(chǎn)生第二深度圖。舉例來說，可通過將加權(quán)平均值、經(jīng)加權(quán)投票方案或任何其它選擇方案應(yīng)用到對(duì)應(yīng)于第二鄰域中的多個(gè)像素的第一深度圖中的深度值來產(chǎn)生所述第二深度圖。
[0012]此外，某些方面提供一種用于圖像處理的設(shè)備。所述設(shè)備大體包含用于獲得不同焦距處場景的多個(gè)圖像的裝置。每一圖像展示對(duì)焦的場景的不同部分。所述設(shè)備進(jìn)一步包含:用于獲得與所述多個(gè)圖像相關(guān)聯(lián)的第一深度圖的裝置；用于獲得與所述多個(gè)圖像相關(guān)聯(lián)的第二深度圖的裝置;用于基于所述多個(gè)圖像和所述第一深度圖產(chǎn)生展示對(duì)焦的所述場景的兩個(gè)或兩個(gè)以上部分的合成圖像的裝置；以及用于基于所述合成圖像和所述第二深度圖產(chǎn)生展示對(duì)焦的所述場景的選定部分的再聚焦圖像的裝置。在一個(gè)方面中，第一深度圖對(duì)應(yīng)于第一鄰域大小，且第二深度圖對(duì)應(yīng)于第二鄰域大小。
[0013]某些方面提供一種用于圖像處理的非暫時(shí)性處理器可讀媒體。所述處理器可讀媒體包含(部分)處理器可讀指令，所述處理器可讀指令經(jīng)配置以致使處理器獲得不同焦距處場景的多個(gè)圖像。每一圖像展示對(duì)焦的場景的不同部分。所述指令進(jìn)一步經(jīng)配置以致使所述處理器:獲得與所述多個(gè)圖像相關(guān)聯(lián)的第一深度圖，獲得與所述多個(gè)圖像相關(guān)聯(lián)的第二深度圖，基于所述多個(gè)圖像和所述第一深度圖產(chǎn)生展示對(duì)焦的場景的兩個(gè)或兩個(gè)以上部分的合成圖像，且基于所述合成圖像和所述第二深度圖產(chǎn)生展示對(duì)焦的場景的選定部分的再聚焦圖像。在一個(gè)方面中，第一深度圖對(duì)應(yīng)于第一鄰域大小，且第二深度圖對(duì)應(yīng)于第二鄰域大小。
[0014]某些方面提供一種用于圖像處理的設(shè)備。所述設(shè)備包含(部分)至少一個(gè)處理器和耦合到所述至少一個(gè)處理器的存儲(chǔ)器。所述至少一個(gè)處理器經(jīng)配置以獲得不同焦距處的場景的多個(gè)圖像。每一圖像展示對(duì)焦的場景的不同部分。所述至少一個(gè)處理器進(jìn)一步經(jīng)配置以:獲得與所述多個(gè)圖像相關(guān)聯(lián)的第一深度圖，獲得與所述多個(gè)圖像相關(guān)聯(lián)的第二深度圖，基于所述多個(gè)圖像和所述第一深度圖產(chǎn)生展示對(duì)焦的場景的兩個(gè)或兩個(gè)以上部分的合成圖像，且基于所述合成圖像和所述第二深度圖產(chǎn)生展示對(duì)焦的場景的選定部分的再聚焦圖像。第一深度圖對(duì)應(yīng)于第一鄰域大小，且第二深度圖對(duì)應(yīng)于第二鄰域大小。
【附圖說明】
[0015]可通過參考以下各圖來實(shí)現(xiàn)對(duì)各種實(shí)施例的性質(zhì)及優(yōu)點(diǎn)的理解。在附圖中，類似組件或特征可以具有相同參考標(biāo)記。此外，可通過在參考標(biāo)記之后跟著短劃線及在類似組件當(dāng)中進(jìn)行區(qū)分的第二標(biāo)記來區(qū)分相同類型的各種組件。如果在說明書中僅使用第一參考標(biāo)記，那么描述適用于具有相同的第一參考標(biāo)記的類似組件中的任一者，而無關(guān)于第二參考標(biāo)記。
[0016]圖1說明根據(jù)本發(fā)明的某些實(shí)施例能夠俘獲和/或處理圖像的裝置的實(shí)例高級(jí)框圖。
[0017]圖2說明根據(jù)本發(fā)明的某些實(shí)施例的實(shí)例圖像組合方法。
[0018]圖3說明根據(jù)本發(fā)明的某些實(shí)施例的圖像組合方法的實(shí)例框圖。
[0019]圖4說明根據(jù)本發(fā)明的某些實(shí)施例可由裝置執(zhí)行以組合多個(gè)圖像的實(shí)例操作。
[0020]圖5A-5C說明根據(jù)本發(fā)明的某些實(shí)施例使用圖像組合方法組合的實(shí)例圖像。
[0021]圖6描述根據(jù)本發(fā)明的某些實(shí)施例可用于產(chǎn)生圖像的裝置的一個(gè)潛在實(shí)施方案。
【具體實(shí)施方式】
[0022]某些實(shí)施例呈現(xiàn)一種用于產(chǎn)生具有經(jīng)擴(kuò)展景深連同稍后在圖像的所要部分處再聚焦的能力的圖像的方法。景深通常指代圖像中呈現(xiàn)可接受的清晰度的場景中的最近與最遠(yuǎn)對(duì)象之間的距離。盡管鏡頭僅可同時(shí)精確對(duì)焦在一個(gè)距離(例如，焦距)處，但清晰度的減小可在聚焦距離的每一側(cè)上為漸進(jìn)的，使得在景深內(nèi)，不清晰在正常檢視條件下不可感知。大體來說，焦距指代對(duì)象與相機(jī)之間的距離，其中對(duì)象呈現(xiàn)為在圖像中對(duì)焦。
[0023]—個(gè)實(shí)施例使用具有不同焦距的兩個(gè)或兩個(gè)以上圖像(下文稱為焦點(diǎn)堆疊圖像)，且處理這些焦點(diǎn)堆疊圖像以產(chǎn)生合成圖像。合成圖像中的大多數(shù)或所有對(duì)象可呈現(xiàn)為對(duì)焦(例如，全對(duì)焦圖像)。
[0024]如本文所描述。通過組合具有不同焦距的兩個(gè)或兩個(gè)以上圖像，合成圖像的景深可經(jīng)擴(kuò)展為大于個(gè)別圖像中的每一者的景深。因此，相對(duì)遠(yuǎn)離彼此的對(duì)象可呈現(xiàn)為在合成圖像中對(duì)焦。
[0025]用戶通常通過改變相機(jī)的焦距而聚焦在場景中的不同對(duì)象上。舉例來說，在具有距相機(jī)的不同距離的兩個(gè)對(duì)象的場景中(例如，人接近相機(jī)，且建筑物在背景中較遠(yuǎn)處)。第一圖像可以第一焦距拍攝，其中人呈現(xiàn)為對(duì)焦，而建筑物呈現(xiàn)為離焦。此外，可從同一場景以第二焦距拍攝第二圖像，其中建筑物呈現(xiàn)為對(duì)焦，而人呈現(xiàn)為離焦。某些實(shí)施例提出一種組合這些圖像(以不同焦距拍攝的)以產(chǎn)生其中幾乎所有對(duì)象呈現(xiàn)為對(duì)焦的合成圖像的方法。在以上實(shí)例中，人和建筑物兩者可呈現(xiàn)為在合成圖像中對(duì)焦。此外，在一個(gè)實(shí)施例中，合成圖像可具有可用于稍后在圖像的所要部分處再聚焦的內(nèi)嵌信息。
[0026]此項(xiàng)技術(shù)中使用的用于合并圖像的當(dāng)前技術(shù)通常使用單一深度圖用于再聚焦和計(jì)算全對(duì)焦圖像這兩個(gè)操作。這些技術(shù)中的一些技術(shù)使用基于硬件的解決方案來俘獲光場以啟用再聚焦能力。本發(fā)明的某些實(shí)施例產(chǎn)生兩個(gè)不同深度圖(例如，掩碼)，第一深度圖可用于產(chǎn)生全對(duì)焦圖像且第二深度圖可用于再聚焦。
[0027]圖1說明根據(jù)本發(fā)明的某些實(shí)施例的圖像俘獲和/或處理裝置100的實(shí)例高級(jí)框圖。在一個(gè)實(shí)施例中，所述裝置可使用內(nèi)嵌相機(jī)