圖像處理裝置、圖像處理方法、程序和成像裝置制造方法
【專利摘要】本發(fā)明涉及圖像處理裝置、圖像處理方法、程序和成像裝置。提供了一種圖像處理裝置，包括：圖像獲取單元，被配置為獲取使用指示幀之間的運動的運動矢量獲得的第一圖像和用作用于獲得該運動矢量的參考圖像的第二圖像；以及圖像產(chǎn)生器，被配置為通過以預(yù)定的混合比率將第一圖像與第二圖像混合來產(chǎn)生第三圖像。
【專利說明】圖像處理裝置、圖像處理方法、程序和成像裝置
[0001]相關(guān)申請的交叉引用
[0002]本申請要求于2013年3月25日提交的日本在先專利申請JP2013-062088的優(yōu)先權(quán)，該專利申請的全部內(nèi)容以引用的方式并入本文。

【技術(shù)領(lǐng)域】
[0003]本公開涉及圖像處理裝置、圖像處理方法、程序和成像裝置。

【背景技術(shù)】
[0004]在拍攝(攝影)圖像時，已知一種用于通過疊加多個連續(xù)拍攝的圖像(幀)來獲得具有降低了的噪聲的圖像的技術(shù)。作為例子，這多個圖像被疊加在要處理的圖像(在下文中適當(dāng)?shù)乇环Q為目標(biāo)圖像)上，并且在拍攝目標(biāo)圖像之前或之后被連續(xù)地拍攝的并且通過運動估計和運動補償來對準(zhǔn)的這多個圖像被疊加。在這種情況下，在時間方向上對彼此基本上相同的圖像進行積分，由此，在每個圖像中隨機地包含的噪聲被抵消，從而降低了噪聲。在下文中，通過這種方法實現(xiàn)的降噪(NR)被稱為幀NR處理。
[0005]對于在目標(biāo)圖像中設(shè)置的目標(biāo)塊，通過使用估計的局部運動矢量來計算在兩個圖像之間的表示在整個圖像之上的變換的全局運動。全局運動通常表示作為圖像的靜止圖像部分的背景的運動和運動量。
[0006]作為使用全局運動的技術(shù)，有一種在JP2009-290827A中公開的技術(shù)。在JP2009-290827A中公開的技術(shù)中，圖像被分離成靜止背景圖像部分和運動被攝體部分，使用與從全局運動產(chǎn)生的全局運動矢量匹配的局部運動矢量來產(chǎn)生運動補償圖像(適當(dāng)?shù)乇环Q為MC圖像)，并且MC圖像和目標(biāo)圖像被疊加。在這種技術(shù)中，通過適應(yīng)地使用全局運動矢量和局部運動矢量，產(chǎn)生MC圖像，并且執(zhí)行疊加處理。


【發(fā)明內(nèi)容】

[0007]作為例子，當(dāng)在具有低照度的暗場所執(zhí)行圖像拍攝的情況下，執(zhí)行準(zhǔn)確的運動估計是非常困難的，因此，運動矢量的可靠性降低。如果基于具有低可靠性的運動矢量的MC圖像被疊加在目標(biāo)圖像上，則存在通過該處理獲得的圖像的質(zhì)量劣化的問題。
[0008]因此，本公開的一個實施例提供一種能夠產(chǎn)生要疊加在目標(biāo)圖像上的適當(dāng)?shù)膱D像的圖像處理裝置、圖像處理方法、程序和成像裝置。
[0009]根據(jù)本公開，為了實現(xiàn)上述目的，提供一種圖像處理裝置，包括:圖像獲取單元，被配置為獲取使用指示幀之間的運動的運動矢量獲得的第一圖像和用作用于獲得該運動矢量的參考圖像的第二圖像；以及圖像產(chǎn)生器，被配置為通過以預(yù)定的混合比率(blendrat1)將第一圖像與第二圖像混合來產(chǎn)生第三圖像。
[0010]根據(jù)本公開，例如，提供一種圖像處理裝置中的圖像處理方法，該圖像處理方法包括:獲取使用指示幀之間的運動的運動矢量獲得的第一圖像和用作用于獲得該運動矢量的參考圖像的第二圖像；以及通過以預(yù)定的混合比將第一圖像與第二圖像混合來產(chǎn)生第三圖像。
[0011]根據(jù)本公開，例如，提供一種用于使計算機執(zhí)行圖像處理裝置中的圖像處理方法的程序，該圖像處理方法包括:獲取使用指示幀之間的運動的運動矢量獲得的第一圖像和用作用于獲得該運動矢量的參考圖像的第二圖像；以及通過以預(yù)定的混合比將第一圖像與第二圖像混合來產(chǎn)生第三圖像。
[0012]根據(jù)本公開，例如，提供一種成像裝置，該成像裝置包括:成像單元；圖像獲取單元，被配置為獲取使用指示幀之間的運動的運動矢量獲得的第一圖像和用作用于獲得該運動矢量的參考圖像的第二圖像，該第二圖像是通過成像單元獲得的；以及圖像產(chǎn)生器，被配置為通過以預(yù)定的混合比將第一圖像與第二圖像混合來產(chǎn)生第三圖像；以及圖像加法器，被配置為將第三圖像和目標(biāo)圖像相加。
[0013]根據(jù)本公開的實施例中的一個或多個，可以產(chǎn)生要被疊加在目標(biāo)圖像上的適當(dāng)?shù)膱D像。

【專利附圖】

【附圖說明】
[0014]圖1是幀NR處理的例子的概念圖；
[0015]圖2是用于說明在拍攝靜止圖像時的幀NR處理的例子的示圖；
[0016]圖3是用于說明在拍攝運動圖像時的幀NR處理的例子的示圖；
[0017]圖4是用于說明典型的幀NR處理的例子的示圖；
[0018]圖5是用于說明根據(jù)實施例的幀NR處理的例子的示圖；
[0019]圖6是示出根據(jù)實施例的主要處理的流程的流程圖；
[0020]圖7是示出局部運動矢量的例子的示圖；
[0021]圖8是用于說明評估運動矢量的可靠性的方法的例子的示圖；
[0022]圖9是示出全局運動矢量的例子的示圖；
[0023]圖10是示出針對幀的每個塊獲得的局部運動矢量的例子的示圖；
[0024]圖11是示出對巾貞的每個塊應(yīng)用局部運動矢量或全局運動矢量的例子的示圖；
[0025]圖12是用于說明評估目標(biāo)塊的背景匹配程度的方法的例子的示圖；
[0026]圖13是示出為了獲得運動補償圖像而執(zhí)行的處理流程的例子的流程圖；
[0027]圖14是用于說明高效地執(zhí)行塊匹配處理的方法的例子的示圖；
[0028]圖15A是示出根據(jù)照度的輸入圖像的電平變化的例子的示圖；
[0029]圖15B是示出根據(jù)照度的設(shè)置增益的例子的示圖；
[0030]圖15C是示出其增益被調(diào)整的輸入圖像的電平的例子的示圖；
[0031]圖16A是示出其增益被調(diào)整的輸入圖像的電平的例子的示圖；
[0032]圖16B是示出根據(jù)照度設(shè)置混合比的例子的示圖；
[0033]圖17是示出成像裝置的示例性配置的框圖；
[0034]圖18是示出增益調(diào)整器的示例性配置的框圖；
[0035]圖19是示出運動矢量估計部的示例性配置的框圖；
[0036]圖20是示出目標(biāo)塊緩沖器的示例性配置的框圖；
[0037]圖21是示出參考塊緩沖器的示例性配置的框圖；
[0038]圖22是示出被加圖像產(chǎn)生部的示例性配置的框圖；以及
[0039]圖23是示出圖像加法器的示例性配置的框圖。

【具體實施方式】
[0040]在下文中，將參照附圖詳細地描述本公開的優(yōu)選實施例。要注意，在本說明書和附圖中，具有基本上相同的功能和結(jié)構(gòu)的構(gòu)成要素用相同的附圖標(biāo)記表示，并且省略對這些構(gòu)成要素的重復(fù)說明。
[0041 ] 將按照以下順序進行描述。
[0042]< 1.實施例〉
[0043]< 2.變型例 >
[0044]下面描述的實施例和變型例是本公開的優(yōu)選的說明性例子，并且本公開并不是要局限于這些實施例和變型例。
[0045]< 1.實施例〉
[0046](實施例的概要)
[0047]在描述本公開的實施例的概要之前，下面將描述典型的幀降噪(NR)處理。圖1是典型的幀NR處理的概念圖。在幀NR處理中，連續(xù)地拍攝的多個圖像Pl至P3在位置上對準(zhǔn)(運動補償)，然后被相互疊加，從而提供具有降低的噪聲的圖像Pmix。在多個連續(xù)地拍攝的圖像疊加時噪聲被降低了，因為在時間方向上對彼此基本上相同的圖像進行積分，從而在每一個圖像中隨機地包含的噪聲被抵消。
[0048]要疊加的多個圖像Pl至P3的數(shù)量并不限于3，而可以使用兩個圖像或者四個以上的圖像。作為例子，當(dāng)成像裝置捕獲靜止圖像時，如圖2所示，高速連續(xù)地捕獲的多個圖像之中的第一捕獲圖像P1變成目標(biāo)圖像。第二和后續(xù)的捕獲圖像(例如，圖像P20和P30)充當(dāng)參考圖像，并且被順次地疊加在目標(biāo)圖像PlO上。目標(biāo)圖像有時被稱為目標(biāo)幀，并且參考圖像有時被稱為參考中貞。
[0049]作為例子，當(dāng)成像裝置捕獲圖像時，順次地捕獲的連續(xù)幀的圖像中的每一個變成目標(biāo)圖像，如圖3所示。目標(biāo)圖像(例如，圖像P50)的前一幀的圖像(例如，圖像P60)充當(dāng)參考圖像，并且被疊加在目標(biāo)圖像上。換句話說，一個幀的圖像可以是目標(biāo)圖像，并且當(dāng)另一中貞的圖像是目標(biāo)圖像時可以是參考圖像。
[0050]這樣，在連續(xù)地捕獲的圖像被疊加的幀NR處理中，要疊加的目標(biāo)圖像和參考圖像之間的位置對準(zhǔn)(運動補償)是重要的。在一些情況下，對于這些圖像，例如，由于攝影者的照相機抖動等，可能會發(fā)生圖像位置的位移(圖像模糊)。此外，在一些情況下，對于每個圖像，由于被攝體自身的移動，也發(fā)生位移。因此，在根據(jù)實施例的幀NR處理中，例如，對于通過分割目標(biāo)圖像產(chǎn)生的多個目標(biāo)塊中的每一個，以塊為單位估計運動矢量。此外，針對每一個塊，執(zhí)行以塊為單位反映運動矢量的運動補償。
[0051]圖4示出典型的幀NR處理的概要。設(shè)置目標(biāo)圖像PlOO和與目標(biāo)圖像PlOO相應(yīng)的參考圖像P200。執(zhí)行運動估計(ME)(有時被稱為運動檢測)，該運動估計將目標(biāo)圖像PlOO與參考圖像P200進行比較并估計其運動。通過執(zhí)行運動估計來獲得運動矢量(MV)。對參考圖像P200執(zhí)行使用運動矢量的運動補償(MC)，由此獲得運動補償圖像P300。
[0052]然后，執(zhí)行用于將目標(biāo)圖像PlOO與運動補償圖像P300相加的圖像相加處理。在圖像相加處理中，可以執(zhí)行用于以像素為單位確定相加比率α的相加比率確定處理。通過執(zhí)行圖像相加處理來獲得經(jīng)過幀NR處理的輸出圖像P400。輸出圖像P400變成了具有降低的噪聲的圖像。
[0053]參考圖像有時被稱為非運動補償圖像或非運動補償幀，因為它是沒有經(jīng)過運動補償處理的圖像。另外，要與目標(biāo)圖像相加的圖像(圖4的例子中的運動補償圖像P300)有時被稱為要相加的圖像或者被加圖像。
[0054]在上述的JP2009-290827A中公開的技術(shù)中，當(dāng)局部運動矢量的可靠性高時，從局部運動矢量獲得的運動補償圖像被用作要相加的圖像。另外，當(dāng)局部運動矢量的可靠性低時，不使用局部運動矢量，而是從全局運動矢量獲得的運動補償圖像被用作要相加的圖像。因此，幀NR處理應(yīng)當(dāng)是穩(wěn)定的。
[0055]在這一方面，當(dāng)捕獲靜止圖像時，通過ISO敏感度自動控制，像素值的動態(tài)范圍將在一定程度上恒定。但是，當(dāng)在暗場所捕獲圖像的情況下，由于光量不足，動態(tài)范圍可能減小。當(dāng)捕獲運動圖像時，因為快門速度被固定，由于被攝體上的照度而導(dǎo)致像素值的動態(tài)范圍減小，從而，通過在暗場所的圖像捕獲而記錄的圖像的像素值變成非常小的值。
[0056]因此，在JP2009-290827A或現(xiàn)有技術(shù)中公開的技術(shù)中，當(dāng)使用通過在暗場所進行圖像捕獲而獲得的圖像時，適當(dāng)?shù)貓?zhí)行運動估計是非常困難的。在典型的運動估計技術(shù)中，在假設(shè)當(dāng)難以識別在暗場所等中的物體時運動矢量的可靠性原本低的情況下，利用不使用運動矢量的方法。但是，如果對于幀NR處理應(yīng)用這種方法，則例如存在如下問題。
[0057]如果在幀NR處理中沒有產(chǎn)生MC圖像，則難以執(zhí)行圖像相加。因此，不使用運動矢量非常困難。即使運動矢量的可靠性低，產(chǎn)生要相加的任何圖像也是必要的。例如，即使當(dāng)針對其運動矢量的可靠性低的部分(塊)原樣地使用參考圖像時，使用MC圖像相加的部分和使用參考圖像相加的部分也混合在畫面中，從而不能確保最終圖像的質(zhì)量。
[0058]對于其運動矢量的可靠性低的部分，例如可以認為，通過全局運動矢量來使用MC圖像，但是全局運動矢量的可靠性原本在低照度處低。
[0059]運動矢量的可靠性由輸入圖像中的物體的識別度來確定，因此，存在這樣的可能性，即，即使當(dāng)用戶捕獲相同環(huán)境中的圖像時，根據(jù)是否容易對捕獲的被攝體執(zhí)行運動估計，最終圖像也會出現(xiàn)差異。要注意，物體的識別度是指識別物體的特征的容易度。
[0060]此外，由于可以獲得有效運動矢量的閾值而發(fā)生獵振現(xiàn)象(huntingphenomenon),相應(yīng)地啟用或禁用巾貞NR處理,從而出現(xiàn)處理時間的不連續(xù)。另外，雖然存在用以應(yīng)對動態(tài)范圍的缺乏的魯棒運動估計技術(shù)，但是用戶可能原本在暗房間里捕獲圖像，由此，可能不能獲得運動矢量或者其可靠性可能降低。雖然存在執(zhí)行諸如通過在運動矢量的可靠性低時將時間連續(xù)性引入到運動矢量的估計中的內(nèi)插的處理的技術(shù)，但是運動矢量的可靠性在低照度處仍保持低，因此，內(nèi)插將是不可用的。在實施例中，產(chǎn)生要相加的適當(dāng)?shù)膱D像，以應(yīng)對上述的問題。
[0061]下面的表I旨在示出通過在低照度和高照度處捕獲圖像獲得的運動補償幀的圖像和非運動補償幀(參考幀)的圖像之間的差異的例子。
[0062]表I
[0063]

【權(quán)利要求】
1.一種圖像處理裝置，包括: 圖像獲取單元，被配置為獲取使用指示幀之間的運動的運動矢量獲得的第一圖像和用作用于獲得所述運動矢量的參考圖像的第二圖像；以及 圖像產(chǎn)生器，被配置為通過以預(yù)定的混合比率將第一圖像與第二圖像混合來產(chǎn)生第三圖像。
2.根據(jù)權(quán)利要求1所述的信息處理裝置，還包括: 檢測器，被配置為檢測輸入圖像的亮度；以及 混合比率設(shè)置單元，被配置為基于輸入圖像的亮度來設(shè)置所述混合比率。
3.根據(jù)權(quán)利要求2所述的圖像處理裝置，其中當(dāng)輸入圖像的亮度大于閾值時，混合比率設(shè)置單元將第二圖像相對于第一圖像的混合比率設(shè)置為零。
4.根據(jù)權(quán)利要求2所述的圖像處理裝置，其中混合比率設(shè)置單元設(shè)置所述混合比率，使得第二圖像相對于第一圖像的混合比率隨著輸入圖像的亮度增加而減小。
5.根據(jù)權(quán)利要求1所述的信息處理裝置，還包括: 圖像加法器，被配置為將第三圖像和目標(biāo)圖像相加。
6.根據(jù)權(quán)利要求2所述的信息處理裝置，還包括: 增益設(shè)置單元，被配置為基于輸入圖像的亮度設(shè)置對于輸入圖像的增益， 其中，混合比率設(shè)置單元根據(jù)按所設(shè)置的增益調(diào)整的輸入圖像的電平來設(shè)置所述混合比率。
7.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中第一圖像是通過使用第一運動矢量和與第一運動矢量不同的第二運動矢量中的至少一個獲得的。
8.根據(jù)權(quán)利要求7所述的圖像處理裝置， 其中第一運動矢量是針對圖像被分割成多個區(qū)域得到的每個塊獲得的局部運動矢量，并且 其中第二運動矢量是基于一個或多個所述局部運動矢量獲得的全局運動矢量。
9.一種圖像處理裝置中的圖像處理方法，該圖像處理方法包括: 獲取使用指示幀之間的運動的運動矢量獲得的第一圖像和用作用于獲得該運動矢量的參考圖像的第二圖像；以及 通過以預(yù)定的混合比率將第一圖像與第二圖像混合來產(chǎn)生第三圖像。
10.一種使計算機執(zhí)行圖像處理裝置中的圖像處理方法的程序，該圖像處理方法包括: 獲取使用指示幀之間的運動的運動矢量獲得的第一圖像和用作用于獲得該運動矢量的參考圖像的第二圖像；以及 通過以預(yù)定的混合比率將第一圖像與第二圖像混合來產(chǎn)生第三圖像。
11.一種成像裝置，包括: 成像單元； 圖像獲取單元，被配置為獲取使用指示幀之間的運動的運動矢量獲得的第一圖像和用作用于獲得該運動矢量的參考圖像的第二圖像，第二圖像是通過成像單元獲得的； 圖像產(chǎn)生器，被配置為通過以預(yù)定的混合比率將第一圖像與第二圖像混合來產(chǎn)生第三圖像；以及圖像加法器， 被配置為將第三圖像和目標(biāo)圖像相加。
【文檔編號】H04N19/527GK104079940SQ201410100425
【公開日】2014年10月1日 申請日期:2014年3月18日 優(yōu)先權(quán)日:2013年3月25日
【發(fā)明者】沼田憐 申請人:索尼公司