用于深度圖生成的數(shù)碼相機(jī)的配置設(shè)置的制作方法
【專利說明】
[0001] 相關(guān)申請(qǐng)的奪叉引用
[0002] 本申請(qǐng)涉及2014年11月24日提交的共同未決美國申請(qǐng)序列號(hào)14/552, 332和 2014年12月19日提交的美國申請(qǐng)序列號(hào)14/576, 936,每個(gè)申請(qǐng)的內(nèi)容在此通過引用整體 并入本文。
技術(shù)領(lǐng)域
[0003] 本公開總體上涉及用于預(yù)測(cè)性地確定數(shù)碼相機(jī)的配置設(shè)置和為了估計(jì)由圖像的 數(shù)量表示的場景深度而由數(shù)碼相機(jī)使用那些設(shè)置來捕獲的圖像的數(shù)量的方法和系統(tǒng)。
[0004] 版權(quán)通知
[0005] 本專利文檔的公開的一部分包含受版權(quán)保護(hù)的材料。版權(quán)持有人不反對(duì)由如專利 商標(biāo)局專利文件或者記錄中出現(xiàn)的專利文檔或者專利公開的任何人復(fù)制，但否則保留所有 的版權(quán)權(quán)利。
【背景技術(shù)】
[0006] 數(shù)碼相機(jī)，包括數(shù)碼單反（DSLR)相機(jī)和集成到移動(dòng)設(shè)備中的數(shù)碼相機(jī)，通常具有 使得用戶能夠使用不同的用戶定義和相機(jī)定義的配置設(shè)置的組合來捕獲數(shù)字圖像的成熟 的硬件和軟件。數(shù)字圖像提供特定場景的數(shù)字表示。然后數(shù)字圖像可以由其自身處理或者 與其他圖像結(jié)合處理以從圖像導(dǎo)出附加信息。例如，一個(gè)或者多個(gè)圖像可以被處理以估計(jì) 場景內(nèi)所描繪的對(duì)象的深度，即，每個(gè)對(duì)象與照相的位置的距離。針對(duì)場景中的每個(gè)對(duì)象或 者可能地在圖像內(nèi)的每個(gè)像素的深度估計(jì)被包括在稱為"深度圖"的文件中。此外，深度圖 可以用于改進(jìn)現(xiàn)有圖像編輯技術(shù)（例如，剪切、孔洞填充、向圖像層的復(fù)制等等）。
[0007] 散焦深度是用于使用散焦模糊（即，生成深度圖）估計(jì)場景深度的常規(guī)技術(shù)。使用 這樣的技術(shù)的深度估計(jì)是可能的，因?yàn)槌上竦膱鼍拔恢没谟糜谂臄z圖像的相機(jī)的配置設(shè) 置（例如，光圈設(shè)置和焦距設(shè)置）將具有不同的數(shù)量的散焦模糊（即，深度信息）。因此，估 計(jì)深度涉及估計(jì)不同場景位置處的深度信息的數(shù)量，不管該深度信息從一個(gè)圖像還是從多 個(gè)圖像導(dǎo)出。常規(guī)地，這樣的估計(jì)的精確度依賴于所使用的圖像數(shù)和深度信息的數(shù)量。這 是因?yàn)檩斎氲膱D像數(shù)越大，可以針對(duì)場景中的任何一個(gè)位置（例如，像素）進(jìn)行比較的深度 信息的數(shù)量越大。
[0008] 常規(guī)的散焦深度技術(shù)將單個(gè)圖像中的模糊補(bǔ)丁與關(guān)于從現(xiàn)有圖像模型中導(dǎo)出的 場景的某些假設(shè)相比較。雖然這些假設(shè)對(duì)于一些場景可以為真，但是當(dāng)下面的圖像不具有 足夠的深度信息以符合假設(shè)時(shí)它們失效。另一常規(guī)技術(shù)通過處理捕獲為焦點(diǎn)堆棧（即，相 同的光圈，不同的焦距）的多個(gè)圖像和將那些圖像對(duì)圖像模型進(jìn)行擬合來估計(jì)深度。圖像 數(shù)通常對(duì)應(yīng)于對(duì)于數(shù)碼相機(jī)可用的焦距設(shè)置的數(shù)目。這可以導(dǎo)致效率低下，因?yàn)橥ǔＥ臄z 比需要更多的圖像以提供足夠的深度信息。此外，該技術(shù)需要圖像擬合到圖像模型，這可以 導(dǎo)致不精確的深度估計(jì)。又一常規(guī)技術(shù)通過處理捕獲為光圈堆棧（即，相同的焦距，不同的 光圈）的多個(gè)圖像來估計(jì)深度。類似于焦距堆棧技術(shù)，該常規(guī)技術(shù)需要拍攝很多圖像，當(dāng)更 少的圖像提供足夠的深度信息時(shí)，這可能是低效的。并且即使該光圈堆棧技術(shù)通常捕獲比 需要更多的圖像，因?yàn)橄鄼C(jī)配置設(shè)置不被預(yù)定以保留最優(yōu)的深度信息，所得到的圖像也通 常具有其中深度信息不充分的區(qū)域。因此，通過處理使用該光圈堆棧技術(shù)捕獲的圖像而輸 出的深度圖通常非常粗糙。最后，最后一種常規(guī)技術(shù)處理具有變化的光圈和焦距設(shè)置的圖 像的緊湊集（即，數(shù)百個(gè)圖像），并且比較圖像的緊湊集中的每個(gè)像素以估計(jì)深度。該常規(guī) 技術(shù)輸出精確的深度圖，但是仍然需要可能對(duì)于捕獲和處理是低效的圖像的緊湊集。
[0009] 因此，常規(guī)的散焦深度技術(shù)依賴于關(guān)于場景的假設(shè)，需要用戶捕獲大量的輸入圖 像，需要用戶使用非預(yù)定的相機(jī)設(shè)置的模式來捕獲圖像以保留足夠的深度信息，和/或僅 能夠輸出低質(zhì)量的深度圖。因此，期望提供改進(jìn)的解決方案用于預(yù)測(cè)性地確定待捕獲的最 小圖像數(shù)和用于捕獲它們的相機(jī)配置設(shè)置，使得圖像共同地提供可以生成質(zhì)量深度圖的足 夠的深度信息。

【發(fā)明內(nèi)容】

[0010] 提供了用于預(yù)測(cè)性地確定用于在捕獲圖像中使用的圖像捕獲指令的系統(tǒng)和方法， 該圖像可以被處理以生成質(zhì)量深度圖。特別地，圖像捕獲指令，一旦確定，則指示最小數(shù)目 的待拍攝圖像，以及應(yīng)當(dāng)用什么光圈和焦距設(shè)置對(duì)其進(jìn)行拍攝使得圖像將提供足夠的深度 圖信息，從該深度圖信息可以生成具有某種程度的深度質(zhì)量的深度圖。在一些示例中，深度 質(zhì)量由清楚的深度估計(jì)（例如，當(dāng)使用深度似然函數(shù)評(píng)估時(shí)避免多峰的深度估計(jì)）表示。圖 像捕獲指令通過使用用于捕獲圖像的數(shù)碼相機(jī)的校準(zhǔn)數(shù)據(jù)來評(píng)估深度辨別力函數(shù)的場景 獨(dú)立部分而確定。在一些示例中，足夠數(shù)量的深度信息意味著，對(duì)于深度范圍內(nèi)的感興趣的 每個(gè)深度，最小數(shù)目的圖像中的至少兩個(gè)圖像內(nèi)的對(duì)應(yīng)的模糊半徑為約1像素至約2像素。
[0011] 圖像捕獲指令基于（1)標(biāo)識(shí)在待成像的場景中的對(duì)象的與相機(jī)的最近距離的估 計(jì)的輸入，和（2)用于相機(jī)的校準(zhǔn)數(shù)據(jù)而確定。對(duì)于給定的光圈設(shè)置，校準(zhǔn)數(shù)據(jù)限定圖像中 模糊增加隨著圖像中的位置遠(yuǎn)離焦平面（即，在場景中完全對(duì)焦的平面）移動(dòng)的速率。例 如，對(duì)于較大光圈，與較小光圈相比，校準(zhǔn)數(shù)據(jù)限定模糊隨著圖像中的位置遠(yuǎn)離焦平面移動(dòng) 以較大速率增加。在一些示例中，為確定圖像捕獲指令，圖像特征引擎評(píng)估一個(gè)或者多個(gè)光 圈設(shè)置以及遍及在深度范圍內(nèi)的深度值集合的焦距設(shè)置的不同組合，以確定使用哪些配置 設(shè)置可以捕獲多少圖像使得每個(gè)圖像中的最優(yōu)模糊半徑是約1像素至約2像素。深度范圍 的最小深度被設(shè)置為針對(duì)場景輸入的距離估計(jì)。深度范圍的最大深度可以是大于最小深度 的任何深度，但是為了方便起見，可以被假設(shè)為無窮大。因此，如果針對(duì)場景輸入的距離估 計(jì)為兩米，則深度范圍可以被設(shè)置為兩米至無窮大。
[0012] 為了確保貫穿深度范圍具有足夠的深度信息，圖像特征引擎訪問用于相機(jī)的校準(zhǔn) 數(shù)據(jù)，并且使用該數(shù)據(jù)確定用于在深度范圍內(nèi)的待捕獲的圖像的配置設(shè)置。在一個(gè)可以用 于任何相機(jī)透鏡的示例中，相機(jī)特征引擎將光圈設(shè)置保持恒定，并且選擇深度值（在第一 迭代中設(shè)置為深度范圍的最小深度）以確定大于深度值的焦距設(shè)置，利用該焦距設(shè)置，可 以捕獲具有足夠的深度信息的圖像（例如，在該深度值處最優(yōu)模糊半徑的范圍是約1像素 至2像素）。然后確定大于現(xiàn)有焦距設(shè)置的下一深度值，在該下一深度值處，所捕獲的圖像 將仍具有足夠的深度信息（例如，最優(yōu)模糊半徑的范圍將仍為約1像素至約2像素）并且 確定大于下一深度值的下一焦距設(shè)置，在下一焦距設(shè)置處所捕獲的圖像將繼續(xù)具有足夠的 深度信息。對(duì)于整個(gè)深度范圍重復(fù)該過程，每次輸出焦距設(shè)置。所得到的焦距設(shè)置的結(jié)果 對(duì)應(yīng)于場景的應(yīng)當(dāng)被捕獲的圖像數(shù)以確保足夠的深度信息對(duì)于生成質(zhì)量深度圖是可用的。 在也可以用于任何相機(jī)透鏡的另一示例中，圖像特征引擎使用基于厚透鏡常數(shù)對(duì)模糊半徑 進(jìn)行近似的簡化數(shù)學(xué)函數(shù)來確定最優(yōu)焦距設(shè)置的集合。在任一示例的情況下，使用光圈設(shè) 置和焦距設(shè)置的預(yù)定集合來確定圖像捕獲指令。
[0013] 由圖像特征引擎執(zhí)行的評(píng)估確保圖像的數(shù)量和對(duì)應(yīng)的焦距設(shè)置被確定使得對(duì)應(yīng) 于圖像的景深沒有顯著地重疊，不具有顯著的間隙，并且在深度范圍內(nèi)同樣地布置。景深是 在間隔的中心處具有焦平面（例如，焦距設(shè)置）的深度范圍（例如，兩米至無窮大）內(nèi)的間 隔。特別地，設(shè)置景深間隔使得針對(duì)深度范圍內(nèi)（例如，在兩米處、在五米處、在一百米處等 等）的任何像素確保約1像素至約2像素的最優(yōu)模糊半徑的范圍，包括在景深間隔內(nèi)的和 在景深間隔的邊緣處的像素。因此，根據(jù)由圖像捕獲指令標(biāo)識(shí)的圖像數(shù)，深度范圍將具有超 過一個(gè)的景深間隔。在一些示例中，深度范圍最優(yōu)地具有至少兩個(gè)景深間隔。最優(yōu)模糊半 徑的范圍包括任何像素在整個(gè)深度范圍內(nèi)應(yīng)當(dāng)經(jīng)受的模糊程度。最優(yōu)模糊半徑的范圍中的 像素可以具有約1像素至約2像素的模糊范圍。當(dāng)評(píng)價(jià)遍及深度范圍的深度值集合時(shí)，模 糊半徑的該測(cè)量可以用作約束條件。
[0014] 提及這些說明性示例不用于限制或者限定本公開，而是提供實(shí)例以幫助對(duì)其的理 解。在【具體實(shí)施方式】中討論附加的示例，并且提供進(jìn)一步的描述。
【附圖說明】
[0015] 當(dāng)參考附圖閱讀以下詳細(xì)描述時(shí)，本公開的這些和其他特征、示例和優(yōu)點(diǎn)被更好 地理解，其中：
[0016] 圖1是描繪根據(jù)至少一個(gè)實(shí)施例的用于實(shí)現(xiàn)涉及確定用于在深度圖生成中使用 的圖像捕獲指令的技術(shù)的示例圖像特征引擎、示例圖像捕獲設(shè)備及其每個(gè)的示例輸入和輸 出的框圖；
[0017] 圖2是描繪根據(jù)至少一個(gè)實(shí)施例的包括用于實(shí)現(xiàn)涉及確定用于在深度圖生成中 使用的圖像捕獲指令的技術(shù)的服務(wù)的示例圖像特征引擎的圖；
[0018] 圖3是描繪根據(jù)至少一個(gè)實(shí)施例的包括用于實(shí)現(xiàn)涉及確定用于在深度圖生成中 使用的圖像捕獲指令的技術(shù)的假設(shè)圖像補(bǔ)丁的示例圖表的圖；
[0019] 圖4是描繪根據(jù)至少一個(gè)實(shí)施例的包括用戶根據(jù)確定用于在深度圖生成中使用 的圖像捕獲指令的技術(shù)來捕獲場景的示例環(huán)境的圖；
[0020] 圖5是描繪根據(jù)至少一個(gè)實(shí)施例的用于實(shí)現(xiàn)涉及確定用于在深度圖生成中使用 的圖像捕獲指令的技術(shù)的方法的示例的流程圖；
[0021] 圖6是描繪根據(jù)至少一個(gè)實(shí)施例的用于實(shí)現(xiàn)涉及確定用于在深度圖生成中使用 的圖像捕獲指令的技術(shù)的方法的示例的流程圖；以及
[0022] 圖7是描繪根據(jù)至少一個(gè)實(shí)施例的包括用于實(shí)現(xiàn)涉及確定用于在深度圖生成中 使用的圖像捕獲指令的技術(shù)的示例用戶設(shè)備和示例圖像編輯服務(wù)的示例網(wǎng)絡(luò)環(huán)境的圖。
【具體實(shí)施方式】
[0023] 公開了用于確定用于在深度圖生成中使用的確定圖像捕獲指令的計(jì)算機(jī)實(shí)現(xiàn)系 統(tǒng)和方法。如上文所介紹的，深度圖可以通過例如比較散焦模糊中的與兩個(gè)或者更多輸入 圖像相關(guān)聯(lián)的差異生成。
[0024] 本文所描述的技術(shù)通過以這樣的方式預(yù)測(cè)性地確定圖像捕獲指令來克服上文所 指出的缺陷，該方式是場景獨(dú)立的，保留足夠的深度信息，最小化拍攝的圖像數(shù)，并且確保 質(zhì)量深度圖可以從圖像中生成。在一些示例中，深度質(zhì)量由明確的深度估計(jì)（例如，當(dāng)使用 深度似然函數(shù)評(píng)估時(shí)避免多峰的深度估計(jì)）表示。深度捕獲指令包括待拍攝的圖像數(shù)和每 個(gè)圖像的光圈設(shè)置和焦距設(shè)置。
[0025] 在不依賴于從待捕獲的場景收集的數(shù)據(jù)、全景對(duì)焦或者圖像模型的情況下確定圖 像捕獲指令。作為替代，使用深度辨別力函數(shù)的評(píng)估的結(jié)果來確定圖像捕獲指令以最大化 其場景獨(dú)立部分。深度辨別力函數(shù)的場景獨(dú)立部分特定于特定數(shù)碼相機(jī)和透鏡。通過最大 化場景獨(dú)立部分，確定最優(yōu)模糊半徑的范圍。如本文所使用的，"模糊半徑"指代由圖像中的 像素經(jīng)受的并且按照像素測(cè)量的模糊的范圍。模糊半徑依賴于用于捕獲圖像的焦距設(shè)置和 光圈設(shè)置。最優(yōu)模糊半徑的范圍用于確定圖像捕獲指令。因此，本文所描述的技術(shù)被表征 為場景獨(dú)立的，因?yàn)樗鼈冊(cè)诓豢紤]待成像的場景的補(bǔ)償?shù)那闆r下實(shí)現(xiàn)并且因此適用于具有 足夠紋理的任何場景。
[0026] 最優(yōu)模糊半徑的范圍指示，對(duì)于高頻內(nèi)容的區(qū)域（例如，在具有紋理（即，非平坦 白色壁）的待捕獲場景中的區(qū)域），足夠的深度信息在所捕獲的圖像中將是可用的使得質(zhì) 量深度圖可以從圖像中生成。因此，通過導(dǎo)致最優(yōu)模糊半徑的范圍，確定圖像捕獲指令使得 確保足夠的深度信息將是可用的。這也使得能夠生成圖像捕獲指令使得最小化待拍攝的圖 像數(shù)。待拍攝的圖像數(shù)通過確定一個(gè)或者多個(gè)焦平面在深度范圍內(nèi)的位置而確定，在深度 范圍處，聚焦在其上的所捕獲的圖像將提供足夠的深度信息（即，散焦模糊）。確定的焦平 面的位置因此對(duì)應(yīng)于相機(jī)的焦距設(shè)置并且確定的焦平面的數(shù)目對(duì)應(yīng)于場景的待拍攝的圖 像數(shù)。焦距平面確定基于固定的光圈設(shè)置。特定焦平面的位置根據(jù)相機(jī)的光圈設(shè)置變化。 這是因?yàn)楣馊τ绊懩：S著距離遠(yuǎn)離焦平面增加而增加的速率。因此，對(duì)于特定相機(jī)的特 定設(shè)置，圖像捕獲指令可以指示對(duì)于給定的深度范圍需要兩個(gè)圖像以便保留足夠的深度信 息。然而，對(duì)于具有不同的光圈設(shè)置的相同的相機(jī)，圖像捕獲指令可以指示對(duì)于給定的深度 范圍需要三個(gè)圖像以便保留足夠的深度信息。
[0027] 在生成之后，向數(shù)碼相機(jī)的用戶或者向用戶的數(shù)碼相機(jī)提供圖像捕獲指令使得數(shù) 碼相機(jī)可以被操作或者控制以使用建議的設(shè)置捕獲由圖像捕獲指令建議的圖像數(shù)。
[0028] 在一些示例中，為確定圖像捕獲指令