專利名稱：圖像處理設備、圖像處理方法以及程序的制作方法
技術領域：
本發(fā)明涉及圖像處理設備、圖像處理方法以及程序，更特別地，涉及能夠生成經(jīng)運動補償?shù)膱D像或者降低圖像中的噪聲的圖像處理設備、圖像處理方法以及程序。
背景技術：
利用諸如照相機或視頻設備的成像設備拍攝的圖像包括很多噪聲。特別地，在低照明度下或者以短曝光時間來拍攝的圖像通常包括很多噪聲。當在低照明度下或者以短曝光時間來拍攝圖像時，圖像包括很多噪聲的原因之一是由于入射光量小，因此在成像元件中積累的電荷量降低。為了基于成像數(shù)據(jù)來獲取明亮的圖像，需要對信號進行放大。當信號被放大時，在成像元件中或者在模擬電路中生成的噪聲被放大，因此圖像包括很多噪聲。為了降低噪聲，長時間曝光是有效的。然而，當長時間執(zhí)行曝光時，存在如下可能性由于在曝光期間照相機抖動，因此出現(xiàn)圖像模糊。降低噪聲的方法包括如下方法該方法通過執(zhí)行連拍來以高快門速度反復拍攝圖像、并對通過連拍在不同時刻拍攝的多個圖像執(zhí)行相加平均以使得曝光模糊幾乎不出現(xiàn)，減少(降低)與時間不相關的噪聲。然而，產(chǎn)生如下問題由于對多個圖像的相加處理引起相當大的計算量，因此處理效率退化。例如，根據(jù)現(xiàn)有技術的日本未審查專利申請公布第2009-290827號公開了一種在時間方向上減少(降低)噪聲的方法，作為通過對通過連拍在不同時刻拍攝的多個圖像執(zhí)行相加平均來降低噪聲的方法。在日本未審查專利申請公布第2009-290827號中，基本執(zhí)行對如下多個圖像的對應像素的像素值執(zhí)行相加平均處理這多個圖像被確定為是通過調整不同時刻拍攝的多個圖像的位置來拍攝同一對象而形成的。例如，使用作為噪聲降低目標的標準圖像和該標準圖像的一幀之前的參考圖像，通過將參考圖像上的對象移動到該對象在標準圖像上的同一位置，生成經(jīng)運動補償?shù)膱D像(MC圖像)。然后，對標準圖像與經(jīng)運動的補償圖像(MC)之間的對應像素執(zhí)行相加平均，以生成噪聲降低的圖像。然而，當執(zhí)行該處理時，經(jīng)運動補償?shù)膱D像(MC圖像)的像素例如可能變成具有與整個圖像的運動不同的運動的移動對象的區(qū)域(例如，諸如車或人的運動對象的區(qū)域)中與標準圖像的對應像素不同的對象像素。在運動區(qū)域中，執(zhí)行控制以便通過減少經(jīng)運動補償?shù)膱D像(MC圖像)的像素相對于標準圖像的相加權重來提高標準圖像的像素值的權重。S卩，執(zhí)行噪聲降低處理，以使得在被確定為是除移動對象的區(qū)域之外的非運動區(qū)域中積極地執(zhí)行標準圖像與經(jīng)運動補償?shù)膱D像(MC圖像)之間的對應像素的相加平均，而在移動對象的區(qū)域中將相加平均的影響減少到相當大地反映標準圖像的像素值。在日本未審查專利申請公布第2009-290827號中，通過對與整個圖像的運動對應的全局運動向量(GMV)和作為塊區(qū)域(其是圖像的劃分區(qū)域)的運動向量的局部運動向量 (LMV)進行比較、并且確定具有通過比較獲得的較大差異的塊為運動區(qū)域，執(zhí)行檢測運動區(qū)域的處理。當向量精度取決于所生成的向量的精度而下降時，通過對全局運動向量(GMV)和局部運動向量(LMV)進行比較的處理而獲得的運動確定精度顯著下降。例如，包括比被設置為計算局部運動向量的塊區(qū)域更小的局部區(qū)域的運動區(qū)域的塊有時不會被確定為運動區(qū)域塊。在這種情況下，在局部的運動區(qū)域中，可產(chǎn)生如下問題執(zhí)行與非運動區(qū)域相同的多個圖像的對應點的相加平均，從而噪聲被進一步提高。當執(zhí)行檢測運動向量的處理時，執(zhí)行通過比較連續(xù)拍攝的多個圖像的像素值而進行的匹配處理來搜索對應點。然而，例如，當在圖像的拍攝期間照明條件改變時，難以搜索對應的圖像點，因此不能適當?shù)厮愠鲞\動向量。在這種情況下，可產(chǎn)生如下問題在對全局運動向量(GMV)與局部運動向量(LMV)進行比較的處理中，運動區(qū)域的檢測精度退化，因此不能生成有效地降低噪聲的圖像。

發(fā)明內(nèi)容
期望提供一種圖像處理設備、圖像處理方法以及程序，其能夠在通過多個圖像的合成來生成噪聲降低圖像的配置中，通過改進確定運動區(qū)域的處理并且以高精度計算相加權重，實現(xiàn)生成高質量、噪聲降低的圖像。期望提供一種圖像處理設備、圖像處理方法以及程序，其能夠通過既執(zhí)行經(jīng)由全局運動向量(GMV)與局部運動向量(LMV)之間的比較而確定運動區(qū)域的處理，也執(zhí)行還使用基于標準圖像和經(jīng)運動補償?shù)膱D像的像素差異信息而算出的運動估計(ME)成功確定信息來確定運動區(qū)域的處理兩者，并且通過使用由這兩種不同方式進行的運動區(qū)域的檢測信息來以高精度計算相加權重，來實現(xiàn)生成高質量、噪聲降低的圖像。根據(jù)本發(fā)明的實施例，提供了一種圖像處理設備，其包括運動預測處理單元，其檢測標準圖像與參考圖像之間的圖像間運動；運動補償處理單元，其通過使用關于由運動預測處理單元檢測到的圖像間運動的信息移動參考圖像以便在像素位置中與標準圖像對準，來生成經(jīng)運動補償?shù)膱D像；相加處理單元，其通過將標準圖像與經(jīng)運動補償?shù)膱D像相加的相加處理，生成降低了標準圖像的噪聲的噪聲降低圖像；以及相加確定單元，其以像素單位計算經(jīng)運動補償?shù)膱D像的相加權重，該相加權重被應用于由相加處理單元在標準圖像與經(jīng)運動補償?shù)膱D像之間執(zhí)行的相加處理。相加確定單元包括第一運動區(qū)域檢測單元，其基于標準圖像與經(jīng)運動補償?shù)膱D像之間的像素差異信息來計算運動區(qū)域確定值，該運動區(qū)域確定值表示以構成標準圖像的區(qū)域單位來包括有移動對象的區(qū)域；第二運動區(qū)域檢測單元，其通過應用作為區(qū)域單位的運動信息的局部運動向量(LMV)與作為整個圖像的運動信息的全局運動向量(GMV)之間的差異信息，計算區(qū)域單位的運動區(qū)域確定值；控制映射生成單元，其依據(jù)各運動區(qū)域確定值的組合，選擇并輸出從第一運動區(qū)域檢測單元和第二運動區(qū)域檢測單元輸出的兩個運動區(qū)域確定值之一；噪聲確定表格生成單元，其根據(jù)從控制映射生成單元輸出的區(qū)域單位的運動區(qū)域確定信息，生成或校正其中限定了與像素值對應的估計噪聲量的噪聲確定表格；以及相加確定處理執(zhí)行單元，其根據(jù)基于由噪聲確定表格生成單元生成的噪聲確定表格而估計的像素單位的噪聲量，確定相加權重。在根據(jù)本發(fā)明的實施例的圖像處理設備中，在由從第一運動區(qū)域檢測單元和第二運動區(qū)域檢測單元輸出的兩個運動區(qū)域確定值的至少之一確定為很可能是運動區(qū)域的區(qū)域中，控制映射生成單元可將第一運動區(qū)域檢測單元的確定值輸出為最終確定值。在根據(jù)由第一運動區(qū)域檢測單元和第二運動區(qū)域檢測單元輸出的兩個運動區(qū)域確定值兩者確定為并非很可能是運動區(qū)域的區(qū)域中，控制映射生成單元可將第二運動區(qū)域檢測單元的確定值輸出為最終確定值。在根據(jù)本發(fā)明的實施例的圖像處理設備中，在其中根據(jù)從控制映射生成單元輸出的區(qū)域單位的運動區(qū)域確定信息而設置了表示區(qū)域不太可能是運動區(qū)域的確定值的區(qū)域中，噪聲確定表格生成單元可生成或校正噪聲確定表格，以增加與像素值對應的估計噪聲量。在其中根據(jù)從控制映射生成單元輸出的區(qū)域單位的運動區(qū)域確定信息而設置了表示區(qū)域很可能是運動區(qū)域的確定值的區(qū)域中，噪聲確定表格生成單元可生成或校正噪聲確定表格，以減少與像素值對應的估計噪聲量。在根據(jù)本發(fā)明的實施例的圖像處理設備中，相加確定處理執(zhí)行單元可執(zhí)行如下確定相加權重的處理在噪聲量大的區(qū)域中將相加權重設置為大，并且在像素單位的噪聲量小的區(qū)域中將相加權重設置為小，像素單位的噪聲量是通過由噪聲確定表格生成單元生成的噪聲確定表格來估計的。在根據(jù)本發(fā)明的實施例的圖像處理設備中，第一運動區(qū)域檢測單元可對標準圖像和經(jīng)運動補償?shù)膱D像進行分析，以確定從經(jīng)運動補償?shù)膱D像劃分的每個區(qū)域是否是與如下區(qū)域之一對應的區(qū)域(a)運動估計(ME)成功區(qū)域、(b)運動估計(ME)失敗區(qū)域、以及(c) 既不是(a)運動估計(ME)成功區(qū)域也不是(b)運動估計(ME)失敗區(qū)域的邊界區(qū)域，并且第一運動區(qū)域檢測單元根據(jù)確定結果來計算每個小區(qū)域的運動區(qū)域確定值。根據(jù)本發(fā)明的另一實施例，提供了一種在圖像處理設備中生成噪聲降低圖像的圖像處理方法，其包括以下步驟由運動預測處理單元檢測標準圖像與參考圖像之間的圖像間運動；由運動補償處理單元通過使用關于由運動預測處理單元檢測到的圖像間運動的信息移動參考圖像以便在像素位置中與標準圖像對準，來生成經(jīng)運動補償?shù)膱D像；由相加處理單元通過將標準圖像與經(jīng)運動補償?shù)膱D像相加的相加處理，生成降低了標準圖像的噪聲的噪聲降低圖像；以及由相加確定單元以像素單位計算經(jīng)運動補償?shù)膱D像的相加權重，該相加權重被應用于由相加處理單元在標準圖像與經(jīng)運動補償?shù)膱D像之間執(zhí)行的相加處理。 計算相加權重的步驟包括以下子步驟基于標準圖像與經(jīng)運動補償?shù)膱D像之間的像素差異信息來計算運動區(qū)域確定值的第一運動區(qū)域檢測子步驟，該運動區(qū)域確定值表示以構成標準圖像的區(qū)域單位來包括有移動對象的區(qū)域；通過應用作為區(qū)域單位的運動信息的局部運動向量(LMV)與作為整個圖像的運動信息的全局運動向量(GMV)之間的差異信息來計算區(qū)域單位的運動區(qū)域確定值的第二運動區(qū)域檢測子步驟；依據(jù)各運動區(qū)域確定值的組合，選擇并輸出從第一運動區(qū)域檢測子步驟和第二運動區(qū)域檢測子步驟輸出的兩個運動區(qū)域確定值之一；根據(jù)在選擇并輸出兩個運動區(qū)域確定值之一的子步驟中輸出的區(qū)域單位的運動區(qū)域確定信息，生成或校正其中限定了與像素值對應的估計噪聲量的噪聲確定表格；以及根據(jù)基于在生成或校正噪聲確定表格的子步驟中生成的噪聲確定表格而估計的像素單位的噪聲量，確定相加權重。根據(jù)本發(fā)明的又一實施例，提供了一種使得圖像處理設備執(zhí)行生成噪聲降低圖像的處理的程序。該程序執(zhí)行以下步驟由運動預測處理單元檢測標準圖像與參考圖像之間的圖像間運動；由運動補償處理單元通過使用關于由運動預測處理單元檢測到的圖像間運動的信息，移動參考圖像以便在像素位置中與標準圖像對準，來生成經(jīng)運動補償?shù)膱D像；由相加處理單元通過將標準圖像與經(jīng)運動補償?shù)膱D像相加的相加處理，生成從其降低了標準圖像的噪聲的噪聲降低圖像；以及由相加確定單元以像素單位計算經(jīng)運動補償?shù)膱D像的相加權重，該相加權重被應用于由相加處理單元在標準圖像與經(jīng)運動補償?shù)膱D像之間執(zhí)行的相加處理。計算相加權重的步驟包括以下子步驟基于標準圖像與經(jīng)運動補償?shù)膱D像之間的像素差異信息來計算運動區(qū)域確定值的第一運動區(qū)域檢測子步驟，該運動區(qū)域確定值表示以構成標準圖像的區(qū)域單位來包括有移動對象的區(qū)域；通過應用作為區(qū)域單位的運動信息的局部運動向量(LMV)與作為整個圖像的運動信息的全局運動向量(GMV)之間的差異信息來計算區(qū)域單位的運動區(qū)域確定值的第二運動區(qū)域檢測子步驟；依據(jù)各運動區(qū)域確定值的組合，選擇并輸出從第一運動區(qū)域檢測子步驟和第二運動區(qū)域檢測子步驟輸出的兩個運動區(qū)域確定值之一；根據(jù)在選擇并輸出兩個運動區(qū)域確定值之一的子步驟中輸出的區(qū)域單位的運動區(qū)域確定信息，生成或校正其中限定了與像素值對應的估計噪聲量的噪聲確定表格；以及根據(jù)基于在生成或校正噪聲確定表格的子步驟中生成的噪聲確定表格而估計的像素單位的噪聲量，確定相加權重。對于能夠執(zhí)行各種程序代碼的圖像處理設備或者計算機系統(tǒng)，可以例如通過以計算機可讀格式提供的存儲介質或者通信介質提供根據(jù)本發(fā)明的實施例的程序。通過以計算機可讀格式提供這樣的程序，在圖像處理設備或者計算機系統(tǒng)上根據(jù)該程序實現(xiàn)處理。根據(jù)通過本發(fā)明的實施例或者附圖進行的詳細描述，根據(jù)本發(fā)明的實施例的其他目的、特征以及優(yōu)點是明顯的。在本說明書中，系統(tǒng)是多個設備的邏輯集合組成，并且每個配置的每個設備不限于在同一機箱內(nèi)。根據(jù)本發(fā)明的實施例，在其中通過針對經(jīng)由標準圖像和參考圖像的運動補償而獲得的經(jīng)運動補償?shù)膱D像的合成處理來生成噪聲降低圖像的配置中，通過應用如下兩種運動區(qū)域確定信息來生成最終運動區(qū)域確定信息基于標準圖像與經(jīng)運動補償?shù)膱D像之間的像素處于信息而算出的第一運動區(qū)域檢測信息，以及通過應用作為區(qū)域單位的運動信息的局部運動向量(LMV)與作為整個圖像的運動信息的全局運動向量(GMV)之間的差異信息而算出的第二運動區(qū)域檢測信息。通過基于最終運動區(qū)域確定信息來估計噪聲，確定經(jīng)運動補償?shù)膱D像對于標準圖像的相加權重。另外，通過應用所確定的相加權重來對標準圖像和經(jīng)運動補償?shù)膱D像進行相加，生成噪聲降低圖像。因此，由于提高了運動區(qū)域確定精度并且可以根據(jù)經(jīng)運動補償?shù)膱D像的可靠性來設置相加權重，因此有可能實現(xiàn)生成高質量噪聲降低圖像的處理。


圖1是示出執(zhí)行生成噪聲降低圖像的處理的圖像處理設備的示例性配置的圖。圖2是示出生成噪聲降低圖像的示例性處理的圖。圖3是示出生成噪聲降低圖像的處理的序列的流程圖。圖4是示出相加確定單元的示例性具體配置的圖。圖5是示出作為表示由相加確定單元的噪聲估計單元所保持的像素值與噪聲量之間的對應關系的表格的噪聲確定表格的示例的圖。圖6A和6B是示出像素相加確定單元的示例性詳細配置的圖。圖7是示出相加處理單元的示例性配置的圖。圖8是示出根據(jù)本發(fā)明的實施例的圖像處理設備的示例性配置的圖。
圖9是示出根據(jù)本發(fā)明的實施例的圖像處理設備的相加確定單元的示例性配置的圖。圖10是示出設置在相加確定單元中的第一運動區(qū)域檢測單元的示例性配置和示例性處理的圖。圖11是示出基于像素值(亮度值)的差異的分散的確定處理的圖。圖12是示出設置在相加確定單元中的第一運動區(qū)域檢測單元的區(qū)域確定處理的示例性序列的流程圖。圖13是示出設置在相加確定單元中的第一運動區(qū)域檢測單元的區(qū)域確定處理的示例性序列的流程圖。圖14是示出設置在相加確定單元中的第二運動區(qū)域檢測單元的示例性配置和示例性處理的圖。圖15是示出第二運動區(qū)域檢測單元的背景/移動對象確定單元的處理的概況的圖。圖16是示出第二運動區(qū)域檢測單元的背景/移動對象確定單元的處理的圖。圖17是示出第二運動區(qū)域檢測單元的背景/移動對象確定單元的詳細配置和處理的圖。圖18是示出相加確定單元的控制映射生成單元的處理的圖。圖19是示出相加確定單元的控制映射生成單元的處理的流程圖。圖20A和20B是示出噪聲確定表格的具體示例的圖。圖21是示出根據(jù)本發(fā)明的實施例的圖像處理設備的示例性硬件配置的圖。
具體實施例方式在下文中，將參照附圖詳細描述根據(jù)本發(fā)明的實施例的圖像處理設備、圖像處理方法以及程序。在下文中，將根據(jù)以下條目順次進行描述。(1)生成噪聲降低圖像的圖像處理設備的基本配置(Ia)生成噪聲降低圖像的圖像處理設備的配置和處理(Ib)相加確定單元和相加處理單元的配置和處理(2)根據(jù)本發(fā)明的實施例的、應用高精度運動區(qū)域檢測信息生成噪聲降低圖像的圖像處理設備的示例(2a)圖像處理設備的總體配置(2b)相加確定單元的配置(2b-l)第一運動區(qū)域檢測單元(平坦映射(Flat Map)生成單元)的配置和處理(2b-2)第二運動區(qū)域檢測單元(擊中映射(Hit Map)生成單元)的配置和處理(2b-3)控制映射生成單元的配置和處理(2b-4)噪聲確定表格生成單元的配置和處理(2b-5)相加確定處理執(zhí)行單元的配置和處理(2c)相加處理單元的處理(3)根據(jù)本發(fā)明的實施例的圖像處理設備的噪聲降低效果(4)圖像處理設備的示例性硬件配置
(1)生成噪聲降低圖像的圖像處理設備的基本配置(Ia)生成噪聲降低圖像的圖像處理設備的配置和處理首先，以下將參照圖1描述通過使用多個圖像執(zhí)行圖像合成處理來生成噪聲降低圖像的圖像處理設備的示例性基本配置。圖1是示出如下圖像處理設備的配置的圖該圖像處理設備通過應用多個圖像執(zhí)行圖像合成處理來執(zhí)行生成噪聲降低圖像的處理。圖1中示出的圖像處理設備具有在與本申請的申請人相同的申請人的先前專利申請(日本專利申請第2007-136184號)中公開的圖像處理設備的幾乎相同配置。根據(jù)本發(fā)明的該實施例，改進在先前專利申請(日本專利申請第2007-136184號)中公開的圖像處理設備的配置，以實現(xiàn)生成高質量噪聲降低圖像。 以下將在條目( 中描述根據(jù)本發(fā)明的該實施例的圖像處理設備的示例。首先，將在條目 (1)中描述作為基礎的圖像處理設備的配置和處理。圖1中示出的圖像處理設備10可以被配置為單個圖像處理設備，但是也可配置為例如照相機、PC(個人計算機)、或圖像顯示設備的一個內(nèi)部組成元件。在下文中，將描述如下示例其中，在照相機內(nèi)部提供有圖1中示出的圖像處理設備10，并且將連續(xù)拍攝的圖像作為輸入圖像順次存儲在幀存儲器11中。圖像處理設備10 包括幀存儲器11、運動預測處理單元12、運動補償處理單元13、相加確定單元14以及相加處理單元15。將拍攝的圖像作為輸入圖像順次存儲在幀存儲器11中。輸入圖像是包括噪聲的圖像。圖1中示出的圖像處理設備10降低來自輸入圖像的噪聲，并且圖1中示出的相加處理單元15最終輸出噪聲降低圖像(NR圖像)。將標準圖像和參考圖像從幀存儲器11輸入到運動預測處理單元12。標準圖像指的是要對其進行噪聲降低處理的圖像。參考圖像指的是應用于標準圖像的噪聲降低處理中的圖像。例如，根據(jù)標準圖像和參考圖像計算運動向量。通過應用多個連續(xù)拍攝的參考圖像，執(zhí)行用于標準圖像的噪聲降低處理。例如，將通過應用一個標準圖像和一個參考圖像而生成的噪聲降低圖像重新存儲在幀存儲器11中，并且通過應用隨后的第二參考圖像，對作為新標準圖像的該噪聲降低圖像進行新的噪聲降低處理。以下將參照圖2描述其示例性具體示例。運動預測處理單元12通過應用來自幀存儲器11的標準圖像和參考圖像，計算運動向量。例如，通過對一個圖像幀進行劃分而獲得小區(qū)域(塊)單位，通過將參考圖像的塊的位置與標準圖像的對應塊的位置對準，輸出塊單位的運動向量MV。運動向量MV指的是表示標準圖像與參考圖像之間的圖像運動的向量。運動向量可以被設置為如下向量該向量不但包括關于平移的信息而且包括關于擴展、縮小、旋轉等的信息。可以通過例如應用塊匹配方法來檢測運動向量MV。塊匹配方法是如下處理該處理計算上述小區(qū)域(塊)中的像素值之間的絕對差和(SAD)，并且將具有小的絕對差和 (SAD)的一對塊估計為對應塊?？梢詫⒙?lián)結兩個圖像的對應塊的向量確定為運動向量。運動補償處理單元13通過應用由運動預測處理單元12生成的運動向量MV來執(zhí)行對標準圖像或參考圖像的運動補償，生成經(jīng)運動補償?shù)膱D像(MC圖像)。S卩，通過移動標準圖像和參考圖像使得利用參考圖像中的對象位置調整標準圖像中的對象位置，生成經(jīng)運動補償?shù)膱D像(MC圖像)。將由運動補償處理單元13生成的經(jīng)運動補償?shù)膱D像(MC圖像) 提供到相加確定單元14和相加處理單元15。
相加確定單元14輸入由運動補償處理單元13生成的經(jīng)運動補償?shù)膱D像(MC圖像)、標準圖像以及用來估計噪聲量的拍攝條件信息。拍攝條件信息包括關于例如從照相機的內(nèi)部微型計算機提供的、并且與輸入圖像(拍攝圖像)對應的拍攝模式、曝光時間、增益
等的信息。相加確定單元14以像素單位生成相加處理單元15中所使用的相加權重。例如， 當生成通過移動參考圖像以使其在位置上與標準圖像對準而獲得的經(jīng)運動補償?shù)膱D像(MC 圖像)、并且執(zhí)行圖像合成處理時，相加權重是通過對標準圖像的像素的相加平均而獲得的經(jīng)運動補償?shù)膱D像(MC圖像)的像素的相加權重。當正確地執(zhí)行了對準并且經(jīng)運動補償?shù)膱D像(MC圖像)的像素與標準圖像的對應像素位于同一對象的同一區(qū)域時，有可能設置大的相加權重。然而，例如，當在拍攝圖像中包括諸如人或車的移動對象時，在包括移動對象的區(qū)域中，經(jīng)運動補償?shù)膱D像(MC圖像)的像素與標準圖像的對應像素不位于同一對象的同一區(qū)域。因此，優(yōu)選地，在包括移動對象的像素區(qū)域中，將相加權重設置為小。因此，優(yōu)選地，將相加權重設置為與經(jīng)運動補償?shù)膱D像(MC圖像)的各個像素的可靠度對應的值。S卩，通過執(zhí)行如下圖像合成處理，有可能生成降低了噪聲的圖像該處理確定標準圖像與經(jīng)運動補償?shù)膱D像(MC圖像)之間的運動補償?shù)恼_性，并且增加被確定為與標準圖像的特定像素對應的同一對象部分的經(jīng)運動補償?shù)膱D像(MC圖像)的像素的相加權重。相加確定單元14確定是否在標準圖像與經(jīng)運動補償?shù)膱D像(MC圖像)之間正確地執(zhí)行了運動補償，并且計算如下的相加權重在該相加權重中提高了經(jīng)運動補償?shù)膱D像 (MC圖像)的相加比率作為提高運動補償?shù)恼_像素的可靠性的設置。相加確定單元14確定經(jīng)運動補償?shù)膱D像(MC圖像)中以像素單位的相加權重。例如，當在不同時刻拍攝的兩個圖像的同一物體的同一部分的像素之間執(zhí)行相加處理時，可以通過相加來降低與時間不相關的噪聲?？梢赃@樣說當兩個圖像的同一物體的同一位置的對應的確信度高時，可靠性高。換句話說，由于可靠性表示噪聲疊加在同一圖像上還是噪聲疊加在不同圖像上，因此需要在高精度噪聲降低處理中盡可能形成僅與噪聲量對應的相加權重。例如，當可靠性低時，將由相加確定單元14生成的相加權重設置為0，而當可靠性高時，將相加權重設置為1。相加處理單元15通過應用針對標準圖像與經(jīng)運動補償?shù)膱D像(MC圖像)之間的對應像素的每個像素所算出的相加權重，執(zhí)行相加處理。相加處理單元15通過計算標準圖像與經(jīng)運動補償?shù)膱D像(MC圖像)之間的加權平均，執(zhí)行相加處理。加權平均的權重是通過使相加權重與反饋比(return ratio)相乘而獲得的值。例如，當將反饋比設置為1/3時并且當相加權重從0至1變化時，加權平均中MC圖像的權重從0至1/3變化。將由相加處理單元15在標準圖像與經(jīng)運動補償?shù)膱D像(MC圖像)之間生成的相加結果存儲在幀存儲器11中。作為新標準圖像的圖像與新參考圖像組合，并且重復地執(zhí)行上述處理。例如，在重復處理預定次數(shù)之后，將由相加處理單元15在標準圖像與經(jīng)運動補償?shù)膱D像(MC圖像)之間生成的相加結果輸出為噪聲降低圖像(NR圖像)。將參照圖2描述其中應用了圖1中示出的圖像處理設備的示例性詳細處理示例。 在圖2的最上部分中示出的標準圖像a和參考圖像A至C的四個圖像是由照相機連續(xù)拍攝的圖像。在時間上，先行拍攝標準圖像，并且然后連續(xù)拍攝參考圖像A至C。在圖2中示出的示例中，標準圖像是先行拍攝的圖像，并且參考圖像是隨后拍攝的圖像，反之亦然。即，可以將標準圖像設置為隨后拍攝的圖像，并且就時間而言，參考圖像可以是多個先行拍攝的圖像。在圖2中示出的示例中，通過應用標準圖像all和作為隨后拍攝的圖像的參考圖像A來執(zhí)行處理。在步驟Sll中，通過應用標準圖像all和參考圖像A21來計算運動向量MV，并且然后通過應用所算出的運動向量MV來生成經(jīng)運動補償?shù)膱D像(MC圖像)。例如，參考圖像A21的塊和標準圖像all的對應塊在位置上彼此對準，以生成塊單位的運動向量MV。該對準處理由圖1中示出的運動預測處理單元12執(zhí)行。運動預測處理單元12從幀存儲器11獲取標準圖像all和參考圖像A21，并且執(zhí)行該處理。另外，運動補償處理單元13通過應用運動向量MV來對參考圖像執(zhí)行運動補償，生成經(jīng)運動補償?shù)膱D像 (MC 圖像)22。接下來，在步驟S12中，將標準圖像all與經(jīng)運動補償?shù)膱D像(MC圖像)22進行比較，并且然后執(zhí)行計算表示像素單位的相加可靠性的相加權重的相加確定處理。即，在標準圖像與經(jīng)運動補償?shù)膱D像(MC圖像)之間確定運動補償?shù)恼_性，并且然后計算如下的相加權重在該相加權重中提高了經(jīng)動補償?shù)膱D像(MC圖像)22的相加比率作為提高運動補償?shù)恼_像素的可靠性的設置。以像素單位來表示相加權重的值的映射是在圖2中示出的相加確定映射23。步驟S12的處理是由圖1中示出的相加確定單元14執(zhí)行的處理。在下文中，在步驟S13中，對標準圖像all和經(jīng)運動補償?shù)膱D像(MC圖像)22通過應用針對每個對應像素計算的相加權重(相加確定映射2 來進行相加處理。該處理由圖 1中示出的相加處理單元15執(zhí)行。由該相加處理生成的圖像(標準圖像+MC圖像)是在圖 2的最下部分中示出的標準圖像1^24。將標準圖像bM存儲在幀存儲器11中，并且將其與作為在參考圖像A21之后的定時處拍攝的參考圖像B31組合，并且然后執(zhí)行步驟S14至步驟S16的處理。步驟S14至步驟S16的處理與步驟Sll至步驟S13的處理相同。即，在步驟S14中，通過應用標準圖像bM和參考圖像B31，生成經(jīng)運動補償?shù)膱D像 (MC 圖像)32。在步驟S15中，通過應用標準圖像bM和經(jīng)運動補償?shù)膱D像(MC圖像)32，生成相加確定映射33。在步驟S16中，通過應用相加確定映射33來對標準圖像bM和經(jīng)運動補償?shù)膱D像 (MC圖像)32進行相加，生成作為標準圖像+MC圖像的標準圖像c34。將標準圖像c34存儲在幀存儲器11中，并且將其與作為在參考圖像B31之后的定時處拍攝的參考圖像C41組合，并且然后執(zhí)行步驟S17至步驟S19的處理。步驟S17至步驟S19的處理與步驟Sll至步驟S13的處理相同。即，在步驟S17中，通過應用標準圖像c34和參考圖像C41，生成經(jīng)運動補償?shù)膱D像 (MC 圖像)42。在步驟S18中，通過應用標準圖像c34和經(jīng)運動補償?shù)膱D像(MC圖像)42，生成相加確定映射43。在步驟S19中，通過應用相加確定映射43來對標準圖像c34和經(jīng)運動補償?shù)膱D像 (MC圖像)42進行相加，生成作為標準圖像+MC圖像的噪聲降低圖像(NR圖像)44。
在圖2中示出的處理示例中，通過應用三個參考圖像A至C來生成噪聲降低圖像 (NR圖像)44，但是該示例僅是示例?？赏ㄟ^重復地應用更多參考圖像，重復步驟Sll至步驟S13的處理。將參照圖3中的流程圖描述由圖1中示出的圖像處理設備執(zhí)行的噪聲降低圖像 (NR圖像)的生成序列。圖3中示出的流程圖中的步驟S51至S53的處理分別與圖2中示出的步驟Sll至步驟S13的處理對應。首先，在步驟S51中，通過應用標準圖像和參考圖像來計算運動向量MV，并且然后通過應用所算出的運動向量MV來在參考圖像的運動補償處理中生成經(jīng)運動補償?shù)膱D像 (MC圖像)。然后，在步驟S52中，通過執(zhí)行如下相加確定處理來生成相加確定映射該處理將標準圖像與經(jīng)運動補償?shù)膱D像(MC圖像)進行比較并且計算表示像素單位的相加可靠性的相加權重。然后，在步驟S53中，執(zhí)行如下處理該處理根據(jù)針對每個對應像素的相加確定映射，將標準圖像與經(jīng)運動補償?shù)膱D像(MC圖像)進行相加。在相加處理中生成與圖2中示出的標準圖像+MC圖像對應的標準圖像或噪聲降低圖像(NR圖像)。在步驟S53的處理之后，處理前進到步驟S54。在步驟S54中，確定是否存在另外的可執(zhí)行的參考圖像。例如，可執(zhí)行的參考圖像指的是在其他時刻拍攝的、并且包括與標準圖像的對象相同對象的圖像。具體地，例如，可執(zhí)行的參考圖像是連續(xù)拍攝的圖像。當存在可執(zhí)行的參考圖像時，處理返回到步驟S51，并通過應用該參考圖像和與在步驟S53中生成的標準圖像+MC圖像對應的標準圖像，重復步驟S51至S53的處理。當在步驟S54中不存在可執(zhí)行的參考圖像時，將在步驟S53中最終生成的相加后圖像輸出為噪聲降低圖像(NR圖像)。(Ib)相加確定單元和相加處理單元的配置和處理接下來，將參照圖4等描述圖1中示出的圖像處理設備10的相加確定單元14和相加處理單元15的詳細配置和處理。首先，將參照圖4描述圖1中示出的圖像處理設備10的相加確定單元14的詳細配置和處理。圖4是示出相加確定單元14的示例性配置的圖。如圖4中所示，相加確定單元14具有與亮度信號Y和兩個色差信號Cb和Cr對應的幾乎相同的確定處理配置。相加確定單元14包括圖4中示出的(a)亮度信號Y確定單元、(b)色差信號Cb確定單元、以及 (c)色差信號Cr確定單元。首先，將描述在圖4的部分(a)中示出的亮度信號Y確定單元的配置。將標準圖像和經(jīng)運動補償?shù)膱D像(MC圖像)空間同一位置處的像素數(shù)據(jù)經(jīng)由濾波器111和112提供到像素值差異計算單元113，使得計算像素值之間的差異并且計算差異絕對值。濾波器111 和112剪切圖像中的高頻分量以提高相加確定效果。像素值差異計算單元113計算標準圖像和經(jīng)運動補償?shù)膱D像(MC圖像)的空間同一位置處的像素數(shù)據(jù)的差異絕對值，并且將差異絕對值提供到像素相加確定單元116。將從噪聲估計單元110輸出的信號提供到像素相加確定單元116。將標準圖像的亮度信號Y經(jīng)由濾波器111輸入到噪聲估計單元110，以估計與像素值對應的噪聲量。將對圖像中的噪聲量具有影響的、與拍攝模式、曝光時間、增益信息等有關的拍攝條件信息從外部輸入到噪聲估計單元110。噪聲估計單元110具有在每個條件下預先測量的噪聲量與亮度值之間的關系數(shù)據(jù)作為表格。噪聲估計單元110從該表格獲得相應條件的亮度值與噪聲量之間的關系，并且將與輸入亮度值對應的噪聲量輸出到像素相加確定單元116、移動平均相加確定單元117以及移動分散相加確定單元118。例如，當曝光時間更長時，隨機噪聲趨于增大。另外，隨著用于對成像信號進行放大的增益增大，隨機噪聲趨于增大。因此，使用作為拍攝條件的與快門速度和/或增益有關的信息，生成并準備與每個快門速度和/或增益對應的像素值和噪聲量的表格。另外，可使用成像設備的拍攝模式作為拍攝條件。例如針對每幀設置拍攝條件。圖5是示出作為表示由噪聲估計單元110保持的像素值與噪聲量之間的對應關系的表格的噪聲確定表格的示例的圖。在從拍攝條件1至拍攝條件N的多個不同拍攝條件下， 限定像素值與噪聲量之間的關系。噪聲估計單元110從照相機的控制單元輸入作為拍攝條件信息的、對圖像中的噪聲量具有影響的拍攝模式、快門速度(曝光時間)、增益等，從在每個拍攝條件下預先測量的噪聲量與亮度值之間的關系數(shù)據(jù)中獲取相應條件下亮度值與噪聲量之間的關系，并且輸出與在相應拍攝條件下輸入的亮度值對應的噪聲量。將來自噪聲估計單元110的噪聲量與來自像素值差異計算單元113的像素值(亮度)之間的差異絕對值提供到像素相加確定單元116。差異絕對值是用于像素相加確定單元116的輸入指標值。像素相加確定單元116輸出作為與指標值對應的相加可靠性的相加權重。圖6A是示出像素相加確定單元的示例的圖。與亮度Y對應的像素相加確定單元 116包括將從噪聲估計單元110輸入的噪聲量轉換成確定閾值的噪聲量/確定閾值轉換單元201、確定曲線生成單元202以及相加確定單元203。噪聲量/確定閾值轉換單元201使用基于視覺特性而確定的表格，將噪聲量轉換成確定閾值，并且輸出確定閾值。確定曲線的形狀是依據(jù)確定閾值來確定的。確定曲線具有如下形狀該形狀指示表示誤差量的輸入指標值與表示誤差的可靠性的相加權重之間的對應。圖6B是示出可使用的確定曲線的若干示例的圖。每個曲線的圖形的水平軸表示輸入指標值并且其垂直軸表示指標值的相加權重。在每個曲線中，相加權重從1開始變化的指標值的值和相加權重變成0的指標值的值是確定閾值。確定閾值的大小是與噪聲量對應的值。當噪聲量大時，確定閾值是較大的指標值。確定曲線生成單元202使用從噪聲量/確定閾值轉換單元201輸出的確定閾值， 確定并輸出確定曲線。確定曲線例如被配置為表格，并且被存儲在存儲器中。相加確定單元 203使用確定曲線來輸入指標值，并且輸出與該指標值對應的相加權重。像素相加確定單元 116將相加權重提供到乘法器119。由于以像素單位使用了利用與像素值對應的噪聲量來生成的確定曲線，因此以像素單位執(zhí)行像素相加確定單元116的系列轉換、計算以及確定。在圖6B中示出的確定曲線的示例中，對于上至確定閾值1的指標值，輸出(指標值的相加權重)是1，并且對于從確定閾值1至確定閾值2的指標值，相加權重逐漸向0下降。通過確定閾值1和確定閾值2來限定確定曲線的形狀。當噪聲量大時，與確定閾值1 和確定閾值2對應的指標值是大的值。根據(jù)在圖6B中示出的確定曲線，將輸入指標轉換成相應應的相加權重，并且然后將其輸出。將從像素相加確定單元116輸出的相加權重提供到乘法器119，并且使其與如下
14相加權重相乘該相加權重是關于亮度信號的移動平均以與上述像素的差異絕對值相同的方式計算的。將乘法器119的輸出提供到乘法器120，并且使其與如下相加權重相乘該相加權重是關于亮度信號的移動分散以與上述像素的差異絕對值相同的方式計算的。將乘法器120的輸出提供到乘法器172，并且使其與關于顏色信號的像素、移動平均以及移動分散計算的相加權重相乘。從乘法器172輸出由相加確定單元14生成的相加權重。將該相加權重提供到相加處理單元15。接下來，將描述指標值是亮度信號的移動平均差異絕對值和移動分散差異絕對值的情況。如圖4中所示，將標準圖像和經(jīng)運動補償?shù)膱D像(MC圖像)的空間同一位置處的像素數(shù)據(jù)分別經(jīng)由濾波器111和112提供到移動平均差異計算單元114和移動分散差異計算單元115。移動平均差異計算單元114計算以要計算的像素(中心像素)為中心的矩形區(qū)域 (例如，(5X5)像素的區(qū)域)中的像素值的移動平均的差異。首先，通過響應于標準圖像和經(jīng)運動補償?shù)膱D像(MC圖像)的每個中的中心像素的移動來移位矩形區(qū)域、同時使矩形區(qū)域與先前像素的計算區(qū)域交疊，計算移動平均。此后，對于每個圖像的每個對應像素，計算移動平均的差異。移動分散差異計算單元115計算以要計算的像素(中心像素)為中心的矩形區(qū)域的區(qū)域中的像素值的分散。通過響應于中心像素的移動來移位矩形區(qū)域、同時使矩形區(qū)域與先前像素的計算區(qū)域交疊，計算移動分散。此后，對于每個圖像的每個對應像素，計算移動分散的差異。關于移動平均和移動分散計算相加權重的原因是要更精確地降低噪聲量。例如， 當多個像素的區(qū)域的移動平均或移動分散不同時，在許多情況下，更正確的是將圖像確定為不同的，而不是將像素值的差異絕對值確定為噪聲。移動平均差異計算單元114輸出移動平均差異信號的絕對值。移動分散差異計算單元115輸出移動分散差異信號的絕對值。將移動平均差異信號的絕對值和移動分散差異信號的絕對值分別提供到移動平均相加確定單元117和移動分散相加確定單元118。將噪聲估計單元110的輸出信號提供到移動平均相加確定單元117和移動分散相加確定單元118。移動平均相加確定單元117和移動分散相加確定單元118具有與像素相加確定單元116(參見圖6A)的相同配置，并且使用從噪聲量轉換的確定閾值來生成確定曲線(表格)。當給出作為確定曲線的指標值的移動平均差異絕對值和移動分散差異絕對值時，計算相加權重。將來自移動平均相加確定單元117的、亮度信號的相加權重提供到乘法器119，并且使其與像素相加確定單元116的輸出相乘。通過乘法器120使該相乘結果進一步與來自移動分散相加確定單元118的亮度信號的相加權重相乘。上述處理是如下處理該處理使用亮度信號的像素差異絕對值、移動平均差異絕對值以及移動分散差異絕對值作為指標值來計算相加權重。同樣，針對顏色信號計算相加權重。在分量顏色視頻信號的情況下，示出了針對亮度信號Y的采樣頻率、針對色差信號Cb 的采樣頻率以及針對色差信號Cr的采樣頻率當中的比率，諸如G 2 0)“4 2 2) 或者G 1 1)。如在上述亮度信號Y中一樣，關于色差信號Cb和Cr計算相加權重。對亮度信號和色差信號Cb和Cr進行針對圖像上的同一區(qū)域生成相加權重的處理。如根據(jù)上述采樣頻率當中的比率所已知的那樣，與針對亮度信號Y計算的相加權重相比，針對色差信號Cr和Cb計算的相加權重的數(shù)量不足。為了解決該問題，提供了執(zhí)行內(nèi)插的上采樣處理單元171。將關于來自上采樣處理單元171的色差信號的相加權重提供到乘法器172，并且使其與關于亮度信號的相加權重相乘。將描述用于色差信號Cb的處理。將標準圖像的色差信號Cb經(jīng)由濾波器131提供到噪聲估計單元130。將拍攝條件信息提供到噪聲估計單元130。如在針對亮度信號的噪聲估計單元110中一樣，噪聲估計單元130基于表示與每個拍攝條件對應的像素值與噪聲量之間的關系的表格，計算與標準圖像的色差信號Cb對應的噪聲量的估計值。噪聲估計單元130將噪聲量的估計值輸出到像素相加確定單元136、移動平均相加確定單元137以及移動分散相加確定單元138。將標準圖像的色差信號Cb和經(jīng)運動補償?shù)膱D像(MC圖像)的色差信號Cb分別經(jīng)由濾波器131和132提供到像素值差異計算單元133，使得計算像素值的差異并且計算差異絕對值。像素值差異計算單元133計算標準圖像和經(jīng)運動補償?shù)膱D像(MC圖像)空間同一位置處的像素數(shù)據(jù)的差異絕對值，并且將差異絕對值提供到像素相加確定單元136。像素相加確定單元136具有與參照圖6描述的對應于亮度信號Y的像素相加確定單元116的配置相同的配置。像素相加確定單元136包括將從噪聲估計單元130輸入的噪聲量轉換成確定閾值的噪聲量/確定閾值轉換單元201、確定曲線生成單元202以及相加確定單元203。例如，根據(jù)在圖6B中示出的確定曲線，將輸入指標值轉換成相應相加權重，并且然后將其輸出。像素相加確定單元136輸出作為與指標值(像素差異絕對值)對應的相加可靠性的相加權重。接下來，將描述指標值是色差信號Cb的移動平均差異絕對值和移動分散差異絕對值的情況。將標準圖像和經(jīng)運動補償?shù)膱D像(MC圖像)空間同一位置處的像素數(shù)據(jù)分別經(jīng)由濾波器131和132提供到移動平均差異計算單元134和移動分散差異計算單元135。移動平均差異計算單元134計算以要計算的像素(中心像素)為中心的矩形區(qū)域 (例如，(5X5)像素的區(qū)域)中的像素值的移動平均的差異。首先，通過響應于標準圖像和經(jīng)運動補償?shù)膱D像(MC圖像)的每個中的中心像素的移動來移位矩形區(qū)域、同時使矩形區(qū)域與先前像素的計算區(qū)域交疊，計算移動平均。此后，對于每個圖像的每個對應像素，計算移動平均的差異。移動分散差異計算單元135計算以要計算的像素(中心像素)為中心的矩形區(qū)域的區(qū)域中的像素值的分散。通過響應于中心像素的移動來移位矩形區(qū)域、同時使矩形區(qū)域與先前像素的計算區(qū)域交疊，計算移動分散。此后，對于每個圖像的每個對應像素，計算移動分散的差異。關于移動平均和移動分散計算相加權重的原因是要更精確地降低噪聲量。移動平均差異計算單元134輸出移動平均差異信號的絕對值。移動分散差異計算單元135輸出移動分散差異信號的絕對值。將移動平均差異信號的絕對值和移動分散差異信號的絕對值分別提供到移動平均相加確定單元137和移動分散相加確定單元138。將噪聲估計單元130的輸出信號提供到移動平均相加確定單元137和移動分散相加確定單元138。移動平均相加確定單元137和移動分散相加確定單元138具有與像素相加確定單元136(參見圖6A)的相同配置，并且使用從噪聲量轉換的確定閾值來生成確定曲線(表格)。當給出作為確定曲線的指標值的移動平均差異絕對值和移動分散差異絕對值時，計算相加權重。將來自移動平均相加確定單元137的、色差信號Cb的相加權重提供到乘法器139，并且使其與像素相加確定單元116的色差信號Cb的輸出相乘。通過乘法器140 使該相乘結果進一步與來自移動分散相加確定單元138的色差信號Cb的相加權重相乘。另一色差信號Cr具有與上述色差信號Cb的配置相同的配置。即，可以通過濾波器151和152、噪聲估計單元150、像素值差異計算單元153、以及像素相加確定單元156來計算其中使用色差信號Cr的像素差異絕對值作為指標值的相加權重?？梢酝ㄟ^濾波器151 和152、噪聲估計單元150、移動平均差異計算單元154以及移動平均相加確定單元157來計算其中使用色差信號Cr的移動平均差異絕對值作為指標值的相加權重?？梢酝ㄟ^濾波器151和152、噪聲估計單元150、移動分散差異計算單元155以及移動分散相加確定單元 158來計算其中使用色差信號Cr的移動分散差異絕對值作為指標值的相加權重。通過乘法器159使其中使用像素差異絕對值作為指標值的相加權重與其中使用移動平均差異絕對值作為指標值的相加權重相乘，并且通過乘法器160使乘法器159的輸出與其中使用移動分散差異絕對值作為指標值的相加權重相乘。通過乘法器141使從乘法器160輸出的關于色差信號Cr的相加權重與關于上述色差信號Cb的相加權重相乘。將來自乘法器141的輸出提供到上采樣處理單元171。上采樣處理單元171根據(jù)色差格式來對色差的相加權重進行內(nèi)插，并且使該點與亮度相加權重對準。通過乘法器172使上采樣處理單元171的輸出和乘法器120的輸出相乘。乘法器172的輸出是表示關注的像素的最終可靠性的相加權重。相加權重表示亮度像素、亮度移動平均、亮度移動分散、色差像素、色差移動平均以及色差移動分散中的每個的可靠性。將相加權重表達為從0至1的連續(xù)值。接下來，將參照圖7描述圖1中示出的圖像處理設備10的相加處理單元15的詳細配置和處理。將經(jīng)運動補償?shù)膱D像(MC圖像)、標準圖像以及來自相加確定單元14的相加權重信息輸入到相加處理單元15。通過乘法器251使從相加處理單元15輸出的相加權重和反饋系數(shù)(w)相乘。例如，當反饋比被設置為1/3時并且當相加權重從0至1變化時，經(jīng)運動補償?shù)膱D像(MC圖像)的加權平均的權重從0至1/3變化。將從乘法器251輸出的系數(shù)(由α表示)提供到乘法器252，并且使其可與經(jīng)運動補償?shù)膱D像(MC圖像)相乘。將系數(shù)α提供到減法器253以生成(1_α)。然后，將(1_α)提供到乘法器254 并且使其可與標準圖像(Cur圖像)相乘，通過加法器255使乘法器252和乘法器254的輸出相加，并且從加法器255輸出噪聲降低圖像(NR圖像)。還可以將作為由相加處理單元15生成的經(jīng)運動補償?shù)膱D像(MC圖像)和標準圖像的相加結果的噪聲降低圖像(NR圖像)存儲在幀存儲器11中。作為新標準圖像的該噪聲降低圖像與新參考圖像組合，并且可以對其重復地進行與上述處理相同的處理。例如，可以在重復處理預定次數(shù)之后，將由相加處理單元15生成的經(jīng)運動補償?shù)膱D像(MC圖像)和標準圖像的相加結果輸出為最終噪聲降低圖像(NR圖像)。然而，例如，當存在表示與圖像中的背景不同的運動的、諸如車或人的移動物體時，移動物體有時表示與由運動預測處理單元12算出的運動向量不同的運動。S卩，出現(xiàn)如下圖像區(qū)域該圖像區(qū)域表示與由運動預測處理單元12生成的運動向量不匹配的運動。該區(qū)域被稱為運動估計(ME)失敗區(qū)域。另一方面，表示與由運動預測處理單元12生成的運動向量匹配的運動的圖像區(qū)域被稱為運動估計(ME)成功區(qū)域。當包括運動估計(ME)失敗區(qū)域時，不生成精確的經(jīng)運動補償?shù)膱D像(MC圖像)。相加確定單元執(zhí)行標準圖像與經(jīng)運動補償?shù)膱D像(MC圖像)之間的對應像素的比較處理，例如，計算像素值差異。然而，在運動估計(ME)失敗區(qū)域中，像素值差異可變成較大的值。在以上條目(Ia)和(Ib)中描述的相加確定單元14的處理中，該像素值差異不會被確定為由于運動估計(ME)失敗的不精確的(退化的)經(jīng)運動補償?shù)膱D像(MC圖像)導致的差異或者由于強噪聲導致的差異。在這種情況下，可能輸出錯誤的相加權重并且可能導致生成沒有充分地降低噪聲的噪聲降低圖像。(2)根據(jù)本發(fā)明的實施例的、通過應用高精度運動區(qū)域的檢測信息生成噪聲降低圖像的圖像處理設備的示例在下文中，將描述其中圖像處理設備具有以下配置的
具體實施例方式為了解決以上問題，該配置能夠檢測運動區(qū)域、并且防止標準圖像與經(jīng)運動補償?shù)膱D像(MC圖像)之間的錯誤的對應像素的相加處理，并且能夠生成高質量噪聲降低圖像。(2a)圖像處理設備的總體配置在圖8中示出了根據(jù)本發(fā)明的實施例的圖像處理設備的總體配置。如圖8中所示， 根據(jù)本發(fā)明的實施例的圖像處理設備300的總體配置具有與以上參照圖1描述的配置幾乎相同的配置。即，如圖8中所示，圖像處理設備300包括幀存儲器301、運動預測處理單元 302、運動補償處理單元303、相加確定單元304以及相加處理單元305。將拍攝圖像作為輸入圖像順次存儲在幀存儲器301中。輸入圖像是包括噪聲的圖像。圖8中示出的圖像處理設備300降低來自輸入圖像的噪聲，并且圖8中示出的相加處理單元305最終輸出噪聲降低圖像(NR圖像)。根據(jù)本發(fā)明的實施例的圖像處理設備300的幀存儲器301、運動預測處理單元 302、運動補償處理單元303以及相加處理單元305具有與參照圖1至7描述的單元的相同的配置和處理，并且執(zhí)行相同處理。然而，相加確定單元304具有與參照圖1之7描述的單元的不同的配置和處理。將標準圖像和參考圖像從幀存儲器301輸入到運動預測處理單元302。標準圖像指的是要對其進行噪聲降低處理的圖像。參考圖像指的是應用于標準圖像的噪聲降低處理中的圖像。例如，根據(jù)標準圖像和參考圖像計算運動向量。通過應用多個連續(xù)拍攝的參考圖像，執(zhí)行用于標準圖像的噪聲降低處理。例如，將通過應用一個標準圖像和一個參考圖像而生成的噪聲降低圖像重新存儲在幀存儲器301中，并且通過應用隨后的第二參考圖像，對作為新標準圖像的該噪聲降低圖像進行新噪聲降低處理。運動補償處理單元303通過應用由運動預測處理單元302生成的運動向量MV來執(zhí)行對標準圖像或參考圖像的運動補償，生成經(jīng)運動補償?shù)膱D像(MC圖像)。S卩，通過移動標準圖像和參考圖像使得利用參考圖像中的對象位置調整標準圖像中的對象位置，生成經(jīng)運動補償?shù)膱D像(MC圖像)。將由運動補償處理單元303生成的經(jīng)運動補償?shù)膱D像(MC圖像)提供到相加確定單元304和相加處理單元305。經(jīng)運動補償?shù)膱D像(MC圖像)可以通過移動標準圖像來生成或者可以通過移動參考圖像來生成。在以下描述的實施例中，將描述通過移動參考圖像來生成經(jīng)運動補償?shù)膱D像(MC圖像)的示例性處理。相加確定單元304輸入由運動補償處理單元303生成的經(jīng)運動補償?shù)膱D像(MC圖像)、標準圖像以及用來估計噪聲量的拍攝條件信息。拍攝條件信息包括關于例如從照相機的內(nèi)部微型計算機提供的、并且與輸入圖像(拍攝圖像)對應的拍攝模式、曝光時間、增益
等的信息。相加確定單元304以像素單位生成相加處理單元305中所使用的相加權重。相加權重是經(jīng)運動補償?shù)膱D像(MC圖像)對于標準圖像的相加權重，并且表示經(jīng)運動補償?shù)膱D像(MC圖像)的每個像素的可靠性。即，在確定標準圖像與經(jīng)運動補償?shù)膱D像(MC圖像) 之間的運動補償正確、并且將標準圖像和經(jīng)運動補償?shù)膱D像(MC圖像)相加時，降低噪聲以便不產(chǎn)生退化的像素被認為具有高可靠性。根據(jù)本發(fā)明的實施例的圖像處理設備的相加確定單元304執(zhí)行嚴格地檢測運動區(qū)域的處理，以基于運動區(qū)域的檢測結果，更精確地驗證與標準圖像相加的經(jīng)運動補償?shù)膱D像(MC圖像)的對應像素的可靠性。具體地，相加確定單元304生成通過用以下兩種不同方式為基礎的運動區(qū)域的檢測信息的結合而獲得的運動區(qū)域檢測信息，作為運動區(qū)域檢測信息(a)使用基于標準圖像與經(jīng)運動補償?shù)膱D像之間的像素差異信息獲得的運動估計 (ME)的成功確定信息的運動區(qū)域檢測信息[平坦映射]；以及(b)通過對全局運動向量(GMV)和局部運動向量(LMV)進行比較的處理而獲得的運動區(qū)域檢測信息[擊中映射]。使用基于兩種不同方式獲得的運動區(qū)域確定信息(即，關于具有與整個圖像的運動(全局運動)不同的運動的移動對象的區(qū)域的檢測信息)，通過獲得與經(jīng)運動補償?shù)膱D像 (MC圖像)的像素對應的像素的可靠性、將具有高可靠性的經(jīng)運動補償?shù)膱D像(MC圖像)的像素的相加權重設置為高、并且將具有低可靠性的經(jīng)運動補償?shù)膱D像(MC圖像)的像素的相加權重設置為低，來確定相加權重。如上所述，當在不同時刻拍攝的兩個圖像的同一物體的同一位置的像素之間執(zhí)行相加處理時，可以通過相加來降低與時間無關的噪聲。然而，當包括移動對象時，與標準圖像的像素對應而選擇的經(jīng)運動補償?shù)膱D像(MC圖像)的像素會變成與標準圖像不同部分處的像素。因此，當對這些像素進行相加時，不會實現(xiàn)噪聲的降低。為了防止該錯誤處理，根據(jù)本發(fā)明的實施例的圖像處理設備基于與兩種方式(a) 和(b)不同的方式來執(zhí)行運動區(qū)域確定處理，并且基于確定結果來確定經(jīng)運動補償?shù)膱D像 (MC圖像)的像素的相加權重。例如，當可靠性低時，將由相加確定單元304生成的相加權重設置為0，而當可靠性高時，將相加權重設置為1。相加處理單元305通過應用針對標準圖像與經(jīng)運動補償?shù)膱D像(MC圖像)之間的每個對應像素計算的相加權重，執(zhí)行相加處理。相加處理單元305通過計算標準圖像與經(jīng)運動補償?shù)膱D像(MC圖像)之間的加權平均，執(zhí)行相加處理。加權平均的權重是通過使相加權重與反饋比相乘而獲得的值。例如，當將反饋比設置為1/3時并且當相加權重從0至 1變化時，加權平均中MC圖像的權重從0至1/3變化。將由相加處理單元305在標準圖像與經(jīng)運動補償?shù)膱D像(MC圖像)之間生成的相加結果存儲在幀存儲器301中。作為新標準圖像的圖像與新參考圖像組合，并且重復地執(zhí)行上述處理。例如，在重復處理預定次數(shù)之后，將由相加處理單元305在標準圖像與經(jīng)運動補償?shù)膱D像(MC圖像)之間生成的相加結果輸出為噪聲降低圖像(NR圖像)。(2b)相加確定單元的配置在圖9中示出了根據(jù)本發(fā)明的實施例的圖像處理設備300的相加確定單元304的示例性具體配置。如圖9中所示，根據(jù)本發(fā)明的實施例的圖像處理設備300的相加確定單元304包括第一運動區(qū)域檢測單元(平坦映射生成單元)311、第二運動區(qū)域檢測單元(擊中映射生成單元)312、控制映射生成單元313、噪聲確定表格生成單元314、以及相加確定處理執(zhí)行單元315。相加確定單元304的相加確定處理執(zhí)行單元315具有與以上參照圖4描述的配置相同的配置。相加確定處理執(zhí)行單元315生成像素單位的、圖8中示出的圖像處理設備300 的相加處理單元305中所使用的相加權重，并且將相加權重輸出到相加處理單元305。如上所述，相加權重是經(jīng)運動補償?shù)膱D像(MC圖像)對于標準圖像的相加權重、并且表示經(jīng)運動補償?shù)膱D像(MC圖像)的每個像素的可靠性。第一運動區(qū)域檢測單元(平坦映射生成單元)311使用運動估計(ME)的成功確定信息，生成運動檢測信息[平坦映射]。第二運動區(qū)域檢測單元(擊中映射生成單元)312生成通過對全局運動向量(GMV) 和局部運動向量(LMV)進行比較的處理而獲得的運動檢測信息[擊中映射]?？刂朴成渖蓡卧?13生成通過對基于兩種不同方式(平坦映射和擊中映射)生成的運動區(qū)域檢測信息進行結合而獲得的運動區(qū)域檢測信息。噪聲確定表格生成單元314基于由控制映射生成單元313生成的運動區(qū)域信息， 對噪聲確定表格進行校正。要校正的噪聲確定表格是由相加確定處理執(zhí)行單元315的噪聲估計單元110(參見圖4)保持的噪聲確定表格。相加確定處理執(zhí)行單元315具有與以上參照圖4描述的配置相同的配置。相加確定處理執(zhí)行單元315使用由噪聲確定表格生成單元314生成的噪聲確定表格，計算像素單位的相加權重(標準圖像的MC圖像的相加權重)。即，圖8中示出的圖像處理設備300的相加處理單元305中所使用的相加權重是以像素單位生成的，并且被輸出到相加處理單元 305。在下文中，將順次描述圖9中示出的相加確定單元304的處理單元的詳細配置和處理。(2b-l)第一運動區(qū)域檢測單元(平坦映射生成單元)的配置和處理首先，將描述第一運動區(qū)域檢測單元(平坦映射生成單元)311的詳細配置和處理。第一運動區(qū)域檢測單元(平坦映射生成單元)311使用運動估計(ME)的成功確定信息，生成運動區(qū)域檢測信息[平坦映射]。以下將參照圖10描述第一運動區(qū)域檢測單元311的示例性配置和示例性處理。圖 10是示出第一運動區(qū)域檢測單元311的示例性配置的圖。圖10中示出的第一運動區(qū)域檢測單元311包括差異計算單元380、分散值計算單元381、平均值計算單元382、中值計算單元383、最頻值計算單元384、最大值計算單元385、最小值計算單元386以及確定單元387。差異計算單元380輸入位于標準圖像與經(jīng)運動補償?shù)膱D像(MC圖像)之間的對應位置處的對應小區(qū)域(塊)的像素值信息。在生成了標準圖像和經(jīng)運動補償?shù)膱D像(MC 圖像)的縮小圖像之后，可針對縮小圖像執(zhí)行處理。在該實施例中，輸入每個像素的亮度值 (Y)。然而，可以輸入像素值而不是亮度值。在下文中，將描述如下示例其中，輸入標準圖像與經(jīng)運動補償?shù)膱D像(MC圖像) 之間的對應小區(qū)域的構成像素的亮度值(Y)。差異計算單元380計算標準圖像與經(jīng)運動補償?shù)膱D像(MC圖像)之間的對應小區(qū)域的構成像素的亮度值(Y)之間的差異，并且將差異輸出到分散值計算單元381、平均值計算單元382、中值計算單元383、最頻值計算單元384、 最大值計算單元385、以及最小值計算單元386。分散值計算單元381至最小值計算單元386中的每個輸出指標值，即，用來確定位于標準圖像與(MC圖像)之間的對應位置處的對應小區(qū)域是否屬于如下區(qū)域之一的運動區(qū)域確定信息(a)運動估計(ME)成功區(qū)域、(b)運動估計(ME)失敗區(qū)域、以及(c)邊界區(qū)域。因此，第一運動區(qū)域檢測單元311可包括分散值計算單元381至最小值計算單元 386之一、或者可包括其多個處理單元以使得確定單元387獲取多個指標值并且執(zhí)行合成確定?？商孢x地，取決于區(qū)域，確定單元387可通過選擇性地應用其他處理單元的指標值來執(zhí)行確定。確定單元387使用運動估計(ME)的成功確定信息，輸出運動區(qū)域檢測信息[平坦映射]。將平坦映射輸出為指標值(平坦值[Flat])，其表示每個小區(qū)域(塊)是否是例如由多個像素構成的小區(qū)域(塊)單位的運動區(qū)域。將平坦值的范圍設置為Flat = 0至3。Flat的值越小(越接近0)，則小區(qū)域越有可能是運動區(qū)域(即，經(jīng)運動補償?shù)膱D像(MC圖像)的運動估計(ME)失敗的區(qū)域)。另一方面，F(xiàn)lat的值越大(越接近3)，則小區(qū)域越不可能是運動區(qū)域(即，經(jīng)運動補償?shù)膱D像(MC圖像)的運動估計(ME)成功的區(qū)域)。首先，將描述分散值計算單元381的處理。分散值計算單元381計算從差異計算單元380輸入的、標準圖像與經(jīng)運動補償?shù)膱D像(MC圖像)之間的對應小區(qū)域的構成像素的亮度值(Y)差異的分散。確定單元387基于由分散值計算單元381生成的差異的分散，確定每個區(qū)域是否屬于以下區(qū)域之一 (a)運動估計(ME)成功區(qū)域、(b)運動估計(ME)失敗區(qū)域、以及(c)邊界區(qū)域。將參照圖11描述基于像素值(亮度值)差異的分散的確定處理。圖11是示出標準圖像401、經(jīng)運動補償?shù)膱D像(MC圖像)402、以及由圖像之間的亮度值差異構成的差異圖像403的圖。在差異圖像403中，示出了運動估計(ME)成功區(qū)域411、運動估計(ME)失敗區(qū)域 412、以及位于它們之間的邊界區(qū)域413。在圖11中，還示出了與每個區(qū)域對應的差異絕對值分布數(shù)據(jù)。
如從圖11中示出的差異絕對值分布數(shù)據(jù)理解的那樣，在運動估計(ME)成功區(qū)域 411的差異絕對值分布數(shù)據(jù)中，平均接近零并且分散小，使得分布集中在0附近。在運動估計(ME)成功區(qū)域411中，輸出表示將標準圖像的經(jīng)運動補償?shù)膱D像(MC 圖像)的相加權重設置為高的結果。具體地，輸出表示將經(jīng)運動補償?shù)膱D像(MC圖像)的相加權重設置為高的平坦值 (Flat = 3)。在運動估計(ME)失敗區(qū)域412的差異絕對值分布數(shù)據(jù)中，平均不是零并且分散是由小至大的，使得分布不是0。在運動估計(ME)失敗區(qū)域412中，輸出表示未將標準圖像的經(jīng)運動補償?shù)膱D像 (MC圖像)的相加權重設置為高的結果。具體地，輸出表示將經(jīng)運動補償?shù)膱D像(MC圖像)的相加權重設置為低的平坦值 (Flat = 0)。在邊界區(qū)域413的差異絕對值分布數(shù)據(jù)中，平均接近零并且分散大。在運動估計(ME)邊界區(qū)域413中，輸出表示將標準圖像的經(jīng)運動補償?shù)膱D像(MC 圖像)的相加權重設置為中等的結果。具體地，輸出表示將經(jīng)運動補償?shù)膱D像(MC圖像)的相加權重設置為中等的平坦值(Flat = 1 至 2)。確定單元387可以通過對在確定三個區(qū)域的處理中預先設置的閾值彼此進行比較，計算塊單位的平坦值。當存在來自其他處理單元的指標值時，考慮該指標值來計算最終的塊單位的平坦值。平均值計算單元382計算從差異計算單元380輸入的、標準圖像與經(jīng)運動補償?shù)膱D像(MC圖像)之間的對應小區(qū)域(塊)的構成像素的亮度值⑴差異的平均值。亮度值差異的平均值在(b)運動估計(ME)失敗區(qū)域中最大、在(a)運動估計(ME)成功區(qū)域中最小、并且在(c)邊界區(qū)域中居中。確定單元387對由平均值計算單元382算出的差異平均值和預設閾值進行比較， 以確定每個區(qū)域是否屬于以下區(qū)域之一 (a)運動估計(ME)成功區(qū)域、(b)運動估計(ME) 失敗區(qū)域、以及(c)邊界區(qū)域，并且然后計算塊單位的平坦值。當存在來自其他處理單元的指標值時，考慮該指標值來計算最終的塊單位的平坦值。中值計算單元383計算從差異計算單元380輸入的、標準圖像與經(jīng)運動補償?shù)膱D像(MC圖像)之間的對應小區(qū)域的構成像素的亮度值⑴差異的中值。同樣地，亮度值⑴ 差異的中值在(b)運動估計(ME)失敗區(qū)域中最大、在(a)運動估計(ME)成功區(qū)域中最小、 并且在(c)邊界區(qū)域中居中。確定單元387對由中值計算單元383算出的差異中值和預設閾值進行比較，以確定每個區(qū)域是否屬于以下區(qū)域之一 (a)運動估計(ME)成功區(qū)域、(b)運動估計(ME)失敗區(qū)域、以及(c)邊界區(qū)域，并且然后計算塊單位的平坦值。當存在來自其他處理單元的指標值時，考慮該指標值來計算最終的塊單位的平坦值。最頻值計算單元384計算從差異計算單元380輸入的、標準圖像與經(jīng)運動補償?shù)膱D像(MC圖像)之間的對應小區(qū)域的構成像素的亮度值⑴差異的最頻值。同樣地，最頻值在(b)運動估計(ME)失敗區(qū)域中最大、在(a)運動估計(ME)成功區(qū)域中最小、并且在(c)
22邊界區(qū)域中居中。確定單元387對由最頻值計算單元384算出的差異最頻值和預設閾值進行比較， 以確定每個區(qū)域是否屬于以下區(qū)域之一 (a)運動估計(ME)成功區(qū)域、(b)運動估計(ME) 失敗區(qū)域、以及(c)邊界區(qū)域，并且然后計算塊單位的平坦值。當存在來自其他處理單元的指標值時，考慮該指標值來計算最終的塊單位的平坦值。最大值計算單元385計算從差異計算單元380輸入的、標準圖像與經(jīng)運動補償?shù)膱D像(MC圖像)之間的對應小區(qū)域的構成像素的亮度值⑴差異的最大值。同樣地，最大值在(b)運動估計(ME)失敗區(qū)域中最大、在(a)運動估計(ME)成功區(qū)域中最小、并且在(c) 邊界區(qū)域中居中。確定單元387對由最大值計算單元385算出的差異最大值和預設閾值進行比較， 以確定每個區(qū)域是否屬于以下區(qū)域之一 (a)運動估計(ME)成功區(qū)域、(b)運動估計(ME) 失敗區(qū)域、以及(c)邊界區(qū)域，并且然后計算塊單位的平坦值。當存在來自其他處理單元的指標值時，考慮該指標值來計算最終的塊單位的平坦值。最小值計算單元386計算從差異計算單元380輸入的、標準圖像與經(jīng)運動補償?shù)膱D像(MC圖像)之間的對應小區(qū)域的構成像素的亮度值⑴差異的最小值。同樣地，最小值在(b)運動估計(ME)失敗區(qū)域中最大、在(a)運動估計(ME)成功區(qū)域中最小、并且在(c) 邊界區(qū)域中居中。確定單元387對由最小值計算單元386算出的差異最小值和預設閾值進行比較， 以確定每個區(qū)域是否屬于以下區(qū)域之一 (a)運動估計(ME)成功區(qū)域、(b)運動估計(ME) 失敗區(qū)域、以及(c)邊界區(qū)域，并且然后計算塊單位的平坦值。當存在來自其他處理單元的指標值時，考慮該指標值來計算最終的塊單位的平坦值。如上所述，確定單元387可通過各自應用從分散值計算單元381至最小值計算單元386輸出的指標值來確定區(qū)域，或者可通過組合多個指標值來確定區(qū)域。圖12是示出第一運動區(qū)域檢測單元311的區(qū)域確定處理的示例的流程圖。根據(jù)流程圖的處理序列，確定單元387使用由分散值計算單元381生成的差異分散值和由平均值計算單元382生成的差異平均值，確定每個區(qū)域是否屬于以下區(qū)域之一 (a)運動估計(ME) 成功區(qū)域、(b)運動估計(ME)失敗區(qū)域、以及(c)邊界區(qū)域。將描述在圖12中示出的流程圖的步驟的處理。在步驟S211中，計算標準圖像與經(jīng)運動補償?shù)膱D像(MC圖像)之間的對應像素的差異值，并且然后針對每個區(qū)域計算差異平均值和差異分散值。由差異計算單元380、分散值計算單元381、以及平均值計算單元382 執(zhí)行該處理。由確定單元387執(zhí)行步驟S212之后的處理。在步驟S212中，確定單元387對預設閾值T2和由平均值計算單元382生成的差異平均值進行比較。當滿足差異平均值> T2的關系時，處理前進到步驟S216，并且確定單元387確定該區(qū)域是“運動估計(ME)失敗區(qū)域(Flat = 0) ”。當在步驟S212中不滿足差異平均值> T2的關系時，處理前進到步驟S213。在步驟S213中，將預設閾值Tl和由平均值計算單元382生成的差異平均值進行比較，并且將由分散值計算單元381生成的差異分散值和基于預設閾值或圖像而算出的噪聲分散值進行比較。
S卩，基于如下兩個關系來執(zhí)行確定處理T1 <差異平均值的關系且差異分散值 <噪聲分散值的關系。當滿足這兩個關系時，處理前進到S215，并且將該區(qū)域確定為“運動估計(ME)成功區(qū)域(Flat = 3) ”。另一方面，當在步驟S213中不滿足這兩個關系(即，Tl <差異平均值的關系且差異分散值<噪聲分散值的關系)時，處理前進到步驟S214，并且將該區(qū)域確定為“邊界區(qū)域 (Flat = 1 至 2) ”。圖13是示出第一運動區(qū)域檢測單元311的區(qū)域確定處理的另一示例的流程圖。 根據(jù)流程圖的處理序列，確定單元387使用由差異值計算單元381生成的差異分散值、由平均值計算單元382生成的差異平均值、由最大值計算單元385生成的差異最大值、以及由最小值計算單元386算出的差異最小值，確定每個區(qū)域是否屬于以下區(qū)域之一 (a)運動估計 (ME)成功區(qū)域、(b)運動估計(ME)失敗區(qū)域、以及(c)邊界區(qū)域。將描述在圖13中示出的流程圖的步驟的處理。在步驟S221中，計算標準圖像與經(jīng)運動補償?shù)膱D像(MC圖像)之間的對應像素的差異值，并且然后針對每個區(qū)域計算差異平均值、差異分散值、差異最大值、以及差異最小值。該處理由差異計算單元380、分散值計算單元381、平均值計算單元382、最大值計算單元385、以及最小值計算單元386執(zhí)行。由確定單元387執(zhí)行步驟S222之后的處理。在步驟S222中，確定單元387對預設閾值T2和由平均值計算單元382生成的差異平均值進行比較。當滿足差異平均值> T2的關系時，處理前進到步驟，并且確定單元387確定該區(qū)域是“運動估計(ME)失敗區(qū)域(Flat = 0) ”。當在步驟S222中不滿足差異平均值> T2的關系時，處理前進到步驟S223。在步驟S223中，將預設閾值Tl和由平均值計算單元382生成的差異平均值進行比較，并且將由分散值計算單元381生成的差異分散值和基于預設閾值或圖像而算出的噪聲分散值進行比較。S卩，基于如下兩個關系來執(zhí)行確定處理T1 <差異平均值的關系和差異分散值 <噪聲分散值的關系。當滿足這兩個關系時，處理前進到步驟S227，并且將該區(qū)域確定為 “運動估計(ME)成功區(qū)域(Flat = 3) ”。另一方面，當在步驟S223中不滿足這兩個關系(即，Tl <差異平均值的關系且差異分散值<噪聲分散值的關系)時，處理前進到步驟S2M”。在步驟S2M中，確定單元387將預設閾值T3和由最小值計算單元386生成的差異最小值進行比較。當滿足差異最小值> T3的關系時，處理前進到步驟，并且將該區(qū)域確定為 “運動估計(ME)失敗區(qū)域(Flat = 0) ”。另一方面，當在步驟S2M中不滿足差異最小值> T3的關系時，處理前進到步驟 S225。在步驟S225中，確定單元387將預設閾值T4和由最大值計算單元385生成的差異最大值進行比較。當滿足差異最大值< T4的關系時，處理前進到步驟S227，并且將該區(qū)域確定為 “運動估計(ME)成功區(qū)域(Flat = 3) ”。另一方面，當在步驟S225中不滿足差異最大值< T4的關系時，處理前進到步驟
24，并且將該區(qū)域確定為“邊界區(qū)域(Flat = 1至2) ”。因此，圖9中示出的第一運動區(qū)域檢測單元311使用關于標準圖像與參考圖像的經(jīng)運動補償?shù)膱D像(MC圖像)之間的對應塊的像素信息、和關于用于經(jīng)運動補償?shù)膱D像(MC 圖像)的運動估計(ME)處理的塊單位的成功確定信息，生成每個塊單位的運動區(qū)域檢測信息[平坦映射]。平坦映射是以塊單位來與作為表示塊是否是運動區(qū)域的指標值的平坦值 (Flat = 0至；3)對應的映射。上述示例性處理被描述為以塊單位執(zhí)行的處理，但可以是以像素單位執(zhí)行的處理。平坦映射是表示標準圖像的每個塊是運動區(qū)域的可能性程度的運動區(qū)域確定指標值。例如，F(xiàn)lat = 0至3的值之一是在每個塊中設置的映射。隨著平坦值越小(越接近Flat = 0)，平坦值表示區(qū)域是運動區(qū)域。隨著平坦值越高(越接近Flat = 3)，平坦值表示區(qū)域不是運動區(qū)域。Qb-幻第二運動區(qū)域檢測單元 (擊中映射生成單元)的配置和處理接下來，將描述第二運動區(qū)域檢測單元(擊中映射生成單元)312的詳細配置和處理。第二運動區(qū)域檢測單元(擊中映射生成單元)312執(zhí)行對全局運動向量(GMV)和局部運動向量(LMV)進行比較的處理，以生成運動區(qū)域檢測信息[擊中映射]。生成集中映射的處理與在本申請人更早申請的日本專利申請第2008-144157號(日本未審查專利申請公布第2009-290827號)中公開的處理相同。圖14是示出第二運動區(qū)域檢測單元(擊中映射生成單元)312的示例性配置的圖。在該示例中，第二運動區(qū)域檢測單元(擊中映射生成單元)312包括匹配處理單元504， 其計算標準圖像的小區(qū)域(塊)與參考圖像的小區(qū)域(塊)之間的相應像素的SAD值。如上所述，SAD值是標準圖像和參考圖像的每個塊的像素值的絕對差和(SAD)。第二運動區(qū)域檢測單元(擊中映射生成單元)312包括局部運動向量計算單元 505，其根據(jù)關于從匹配處理單元504輸出的SAD值的信息來計算局部運動向量。另外，第二運動區(qū)域檢測單元312包括運動向量可靠性指標值計算單元506、全局運動計算單元507、 全局運動向量計算單元508、對比計算單元500、以及背景/移動對象確定單元509。對比計算單元500包括低通濾波器501、最大亮度值檢測單元502、以及最小亮度值檢測單元503。匹配處理單元504輸入關于標準圖像的小區(qū)域(塊)和參考圖像的小區(qū)域(塊) 的圖像數(shù)據(jù)，并且將參考向量(關于參考圖像的小區(qū)域(塊)的位置信息)和塊匹配處理的結果的SAD值提供到局部運動向量計算單元505。局部運動向量計算單元505輸入關于標準圖像的小區(qū)域(塊)和參考圖像的小區(qū)域(塊)的圖像數(shù)據(jù)，執(zhí)行關于參考向量(關于參考圖像的小區(qū)域(塊)的位置信息)的塊匹配處理，并且執(zhí)行參考圖像的塊與標準圖像的對應塊之間的位置調整以計算作為塊單位的運動向量的局部運動向量(LMV)。將算出的局部運動向量(LMV)輸入到背景/移動對象確定單元509和全局運動計算單元507。全局運動計算單元507基于從局部運動向量505輸入的多個局部運動向量(LMV)， 計算作為標準圖像和參考圖像的整個圖像的運動的全局向量。該處理可以例如由計算局部運動向量的平均值的處理等執(zhí)行?？商孢x地，可計算由預定的局部運動向量的可靠性確定算法選擇的局部運動向量的平均值。全局運動計算單元507將所算出的全局運動(GM)提供到全局運動向量計算單元508。全局運動向量計算單元508通過將全局運動(GM)應用于標準圖像的小區(qū)域(塊) 的坐標的位置(例如，中心位置)，計算標準圖像的小區(qū)域(塊)的全局運動向量(GMV)。全局運動向量計算單元508將所算出的全局運動向量(GMV)提供到背景/移動對象確定單元509。還將來自局部運動向量計算單元505的局部運動向量(LMV)提供到背景 /移動對象確定單元509。背景/移動對象確定單元509對標準圖像的每個小區(qū)域(塊)的局部運動向量 (LMV)和全局運動向量(GMV)進行比較，以確定標準圖像的小區(qū)域(塊)的局部運動向量與全局運動向量之間的一致度(即，背景一致度)。在這種情況下，背景/移動對象確定單元 509對與局部運動向量(LMV)和全局運動向量(GMV)對應的參考圖像的小區(qū)域(塊)的相關值(SAD值)彼此進行比較，以執(zhí)行背景與移動對象之間的確定。將參照圖15至17描述背景/移動對象確定單元509的處理和詳細配置。首先，將參照圖15和16描述由背景/移動對象確定單元509執(zhí)行的處理的概述。圖15是示出標準圖像521和參考圖像522的圖。標準圖像521和參考圖像522是連續(xù)拍攝的圖像。在其中拍攝了諸如人的移動對象的兩個圖像521和522中，在由于例如用戶的手抖動而移動整個圖像的狀態(tài)下拍攝圖像。整個圖像的運動與全局運動向量(GMV) 對應。在除運動區(qū)域525(諸如人)之外的背景的小區(qū)域(塊)中，與塊對應的局部運動向量(LMV)幾乎等于全局運動向量(GMV)。然而，包括運動區(qū)域525(諸如人)的塊的局部運動向量(LMV)不同于全局運動向量(GMV)。因此，背景/移動對象確定單元509以小區(qū)域單位對局部運動向量(LMV)和全局運動向量(GMV)進行比較。當差異大時，背景/移動對象確定單元509確定區(qū)域是運動區(qū)域。另一方面，當差異小時，背景/移動對象確定單元509確定區(qū)域不是運動區(qū)域。背景/移動對象確定單元509生成并輸出擊中映射，在該擊中映射中，用作表示區(qū)域是否是運動區(qū)域的確定值的擊中值(例如，Hit = 0至3)與每個小區(qū)域(塊)對應。當擊中值越小(越接近0)時，擊中值表示區(qū)域是運動區(qū)域。當擊中值越大(越接近3)時，擊中值表示區(qū)域不是運動區(qū)域。在圖15的部分(a)中，示出了針對其中局部運動向量(LMV)和全局運動向量 (GMV)之間的差異小的塊的擊中值的設置示例。在被確定為不是運動區(qū)域的小區(qū)域中設置擊中值(Hit = 2至幻。在該區(qū)域中，為了具有高噪聲降低效果，使得基于參考圖像的經(jīng)運動補償?shù)膱D像(MC圖像)的相加比率為高。另一方面，在圖15的部分(b)中，示出了針對其中局部運動向量(LMV)和全局運動向量(GMV)之間的差異大的塊的擊中值的設置示例。在被確定為是運動區(qū)域的小區(qū)域中設置擊中值(Hit = 0至1)。即使使得基于參考圖像的經(jīng)運動補償?shù)膱D像(MC圖像)的相加比率為高，該區(qū)域也不具有噪聲降低效果。將參照圖16描述背景/移動對象確定單元509的具體處理示例。
在圖16中，示出了其中檢測到局部運動向量(LMV)和全局運動向量(GMV)的塊 531。計算局部運動向量(LMV)，作為聯(lián)結針對標準圖像的塊而從參考圖像選擇的塊中具有最小SAD值的塊的向量。另一方面，全局運動向量(GMV)是表示基于標準圖像與參考圖像之間的多個局部運動向量(LMV)算出的整個圖像的運動信息的向量?？梢酝ㄟ^應用塊之間的像素值的絕對差和(SAD)，計算這些向量。例如，與圖16中示出的塊531對應的LMV和GMV分別是LMV 542和GMV 541。背景/移動對象確定單元509使用例如如在圖16的部分(a)中示出的以下確定式，執(zhí)行確定塊531是否是運動區(qū)域的處理if (LMV_SAD < thMl(GMV_SAD-SAD_offset) < LMV_SAD)。在以上式中，LMV_SAD是其中限定了局部運動向量(LMV)的塊之間的SAD值。GMV_SAD是其中限定了全局運動向量(GMV)的塊之間的SAD值。另外，th是預設閾值。SAD_offset是預先限定的偏移值。當滿足LMV_SAD < th的關系時，可以確定局部運動向量(LMV)的可靠性高。另外，當滿足(GMV_SAD_SAD_offset) < LMV_SAD時，可以確定GMV的可靠性高。因此，當滿足if語句時，如圖16的部分(bl)中所示，可以確定LMV GMV，因此可以確定區(qū)域不是運動區(qū)域。在這種情況下，可以產(chǎn)生表示區(qū)域不是運動區(qū)域的擊中值(Hit = 2M3)以與該塊對應。另一方面，當不滿足if語句時，如圖16的部分( )中所示，可以確定LMV興GMV， 因此可以確定區(qū)域是運動區(qū)域。在這種情況下，可以產(chǎn)生表示區(qū)域是運動區(qū)域的擊中值(Hit = 0至1)以與該塊對應。將參照圖17描述背景/移動對象確定單元509的示例性詳細配置。偏移生成單元561計算參照圖16描述的偏移值(OFS = SAD_offset)。偏移生成單元561根據(jù)圖像的噪聲生成偏移值0FS，并且將偏移值OFS提供到偏移相減單元563。圖像的噪聲與圖像的亮度值對應。在該示例中，將關于各個亮度值與偏移值OFS之間的對應表格的信息存儲在偏移生成單元561中。偏移生成單元561計算作為來自最大亮度值檢測單元502的最大亮度值MaxTAR 與來自最小亮度值檢測單元503的最小亮度值MinTAR之間的差的標準圖像的塊亮度值。偏移生成單元561檢索其中預先存儲了標準圖像的所算出的塊的亮度值作為參數(shù)的對應表格，并且獲取與參數(shù)的亮度值對應的偏移值0FS。偏移相減單元563從來自GMV_SAD計算單元562的SAD值中GMV_SAD減去來自偏移生成單元561的偏移值0FS，并且生成校正后的SAD值(S卩，GMV_SAD_0FS)。另外，偏移值(OFS)與圖16的部分(a)中示出的SAD_offset對應。
偏移相減單元563將所生成的校正后的SAD值提供到比較確定單元564。比較確定單元564通過以上參照圖16的部分(a)描述的確定式，計算與每個塊對應的擊中值(Hit = 0至3)。SP，確定是否滿足以下語句if (LMV_SAD < th&&(GMV_SAD-SAD_offset) < LMV_SAD) ·因此，當滿足if語句時，如圖16的部分(bl)中所示，可以確定LMV GMV，因此可以確定區(qū)域不是運動區(qū)域。在這種情況下，可以產(chǎn)生表示區(qū)域不是運動區(qū)域的擊中值(Hit = 2M3)以與該塊對應。另一方面，當不滿足if語句時，如圖16的部分( )中所示，可以確定LMV興GMV， 因此可以確定區(qū)域是運動區(qū)域。在這種情況下，可以產(chǎn)生表示區(qū)域是運動區(qū)域的擊中值(Hit = 0至1)以與該塊對應。比較確定單元564可不設置是否滿足圖16的部分(a)中示出的式的兩個模式劃分，而是可根據(jù)(GMV_SAD-SAD_0ffset)與(LMV_SAD)之間的差異值對各個塊設置兩個或更多的任意劃分，例如，示出運動區(qū)域的可能性的、作為劃分的擊中值(Hit = O至3)。輸出數(shù)據(jù)是擊中映射。擊中映射是表示標準圖像的每個塊是運動區(qū)域的可能性程度的運動區(qū)域確定的指標值，并且是其中為每個塊設置Hit = 0至3的值之一的映射。例如，隨著擊中值越低(越接近Hit = O),擊中值表示區(qū)域是運動區(qū)域。隨著擊中值越高(越接近Hit = 3)，則擊中值表示區(qū)域不是運動區(qū)域。在該實施例中，如參照圖14所述，將標準圖像和參考圖像輸入到第二運動區(qū)域檢測單元(擊中映射生成單元)312，并且然后第二運動區(qū)域檢測單元(擊中映射生成單元)312計算局部運動向量(LMV)和全局運動向量(GMV)。向量(LMV/GMV)可以由在例如圖 8中示出的圖像處理設備300的運動預測處理單元302計算。因此，可以將由運動預測處理單元302算出的向量(LMV/GMV)輸入到第二運動區(qū)域檢測單元(擊中映射生成單元)312 并且在第二運動區(qū)域檢測單元(擊中映射生成單元)312中使用。利用這樣的配置，可省略圖14中示出的局部運動向量計算單元505或全局運動向量計算單元508。(2b-3)控制映射生成單元的配置和處理接下來，將參照圖18和19描述圖9中示出的相加確定單元304的控制映射生成單元313的處理。 控制映射生成單元313輸入來自第一運動區(qū)域檢測單元(平坦映射生成單元)311 的平坦映射(Flat = O至幻并且輸入來自第二運動區(qū)域檢測單元(擊中映射生成單元)312 的擊中映射(Hit = 0至3)。平坦映射和擊中映射是表示標準圖像的塊是否是運動區(qū)域的確定信息。控制映射生成單元313獲取其中平坦值和擊中值各自與標準圖像的每個塊對應的數(shù)據(jù)。
28
控制映射生成單元313使用兩條數(shù)據(jù)，生成并輸出控制映射，在該控制映射中，設置了與標準圖像的每個塊對應的最終運動確定信息。圖18是示出由控制映射生成單元313生成的控制映射(S卩，與標準圖像的每個塊對應的最終運動確定信息)的生成示例的圖。在圖18示出的表格中，在垂直方向上設置從第一運動區(qū)域檢測單元(平坦映射生成單元)311輸入的平坦值(Flat = 0至；3)，并且在水平方向上設置從第二運動區(qū)域檢測單元(擊中映射生成單元)312輸入的擊中值(Hit = 0至3)。控制映射生成單元313確定并輸出交叉位置處的值(0至幻作為與最終塊對應的運動確定信息。具體地，當擊中值(Hit)和平坦值(Flat)之一是0( S卩，Hit = 0或者Flat = 0) 時，將平坦值(Flat = 0至3)輸出為塊的最終運動確定信息。平坦值是由圖18中示出的虛線表示的范圍區(qū)域。另一方面，當擊中值(Hit)和平坦值(Flat)都不是0 ( S卩，Hit興0且Flat Φ 0) 時，將擊中值(Hit = 0至3)輸出為塊的最終運動確定信息。擊中值是由圖18中示出的實線表示的范圍區(qū)域。與平坦值或擊中值一樣，當最終運動確定信息(0至幻的值較小(較接近0)時， 區(qū)域非常有可能是運動區(qū)域。另外，當最終運動確定信息的值較大(較接近幻時，區(qū)域不太可能是運動區(qū)域。最終運動確定信息是這樣的設置信息。在通過由第一運動區(qū)域檢測單元311和第二運動區(qū)域檢測單元312輸出的兩個運動區(qū)域確定值的至少之一確定為非常有可能是運動區(qū)域的區(qū)域中，控制映射生成單元313 輸出第一運動區(qū)域檢測單元311的所確定的值作為最終確定值。在通過由第一運動區(qū)域檢測單元311和第二運動區(qū)域檢測單元312輸出的兩個運動區(qū)域確定值兩者確定為不太可能是運動區(qū)域的區(qū)域中，控制映射生成單元313輸出第二運動區(qū)域檢測單元312的所確定的值作為最終確定值。將參照圖19中示出的流程圖描述控制映射生成單元313的處理序列。在步驟S301中，控制映射生成單元313首先獲取從作為噪聲降低處理目標的標準圖像所選擇的塊的平坦映射的值(Flat = 0至3)。接下來，在步驟S302中，控制映射生成單元313獲取同一塊的擊中映射的值(Hit =0 至 3)。接下來，在步驟S303中，控制映射生成單元313驗證針對所選擇的塊在步驟S301 中獲取的平坦值(Flat = 0至；3)和擊中值(Hit = 0至；3)，并且確定擊中值和平坦值之一是否是0。即，控制映射生成單元313確定是否Hit = 0或者Flat = 0。當確定結果為“是”時，處理前進到步驟S305，并且選擇并輸出針對該塊設置為最終運動確定信息的平坦值(Flat = 0至3)。該處理與用于由圖18中示出的虛線表示的范圍的區(qū)域的處理對應。另一方面，當步驟S303的確定結果為“否”(即，擊中值(Hit)和平坦值(Flat)都不是0)時(即，當Hit興0且Flat興0時)，處理前進到步驟S304，并且輸出針對該塊設置為最終運動確定信息的擊中值(Hit = 0至3)。該處理與用于由圖18中示出的實線表示的范圍的區(qū)域的處理對應。最終，處理前進到步驟S306，以確定是否完成了針對標準圖像的所有塊的運動區(qū)域信息的設置。當存在未處理的塊時，處理返回到步驟S301來執(zhí)行用于未處理的塊的處理。當在步驟S306中確定完成了針對標準圖像的所有塊的運動區(qū)域信息的設置時，
處理結束。因此，控制映射生成單元301針對標準圖像的所有塊選擇擊中映射或平坦映射的設置值之一，并且生成設置為運動區(qū)域信息的控制映射。將所生成的控制映射輸出到圖9 中示出的噪聲確定表格生成單元314。(2b-4)噪聲確定表格生成單元的配置和處理接下來，將描述圖9中示出的相加確定單元304的噪聲確定表格生成單元314的配置和處理。如上所述，控制映射生成單元313生成其中針對標準圖像的每個塊設置運動確定信息的控制映射。例如，控制映射是其中以標準圖像的塊單位設置運動確定信息=0至3 的一個值的映射。與平坦值或擊中值一樣，當運動確定信息(0至幻的值較小(較接近0)時，區(qū)域非常有可能是運動區(qū)域。另一方面，當運動確定信息的值較大(較接近幻時，區(qū)域不太可能是運動區(qū)域。運動確定信息是這樣的設置值。噪聲確定表格生成單元314輸入其中以標準圖像的塊單位設置運動確定信息(0 至3)的控制映射，并且對圖9中示出的相加確定單元304的相加確定處理執(zhí)行單元315中所使用的噪聲確定表格執(zhí)行校正處理。噪聲確定表格是在參考圖像與經(jīng)運動補償?shù)膱D像(MC圖像)之間的對應像素的相加處理中算出經(jīng)運動補償?shù)膱D像(MC圖像)的對應像素的相加權重時應用的表格。噪聲確定表格生成單元314輸入來自控制映射生成單元313的每個小區(qū)域(塊) 單位的運動確定結果，并且根據(jù)確定結果生成與小區(qū)域(塊)對應的噪聲確定表格。噪聲確定表格是像素值與噪聲量之間的關系數(shù)據(jù)。噪聲確定表格是設置在相加確定處理執(zhí)行單元315中的表格，并且應用于噪聲估計單元中。例如，相加確定處理執(zhí)行單元 315具有與以上參照圖4描述的相加確定單元的配置的相同配置。如以上參照圖4所述，圖4中示出的相加確定單元14包括噪聲估計單元110、130 以及150。噪聲估計單元110、130以及150具有在每個條件下預先測量的亮度值與噪聲量之間的關系數(shù)據(jù)作為表格。在參照圖4描述的示例中，通過獲得由噪聲估計單元110保持的表格中的相應條件下的亮度值與噪聲量之間的關系，將與輸入亮度值對應的噪聲量輸出到像素相加確定單元116、移動平均相加確定單元117、以及移動分散相加確定單元118。例如，當曝光時間較長時，隨機噪聲趨于增加。另外，隨著用于對成像信號進行放大的增益增加，隨機噪聲趨于增加。因此，使用關于作為拍攝條件的快門速度和/或增益的信息，生成并準備與每個快門速度和/或增益對應的像素值和噪聲量的表格。另外，可使用成像設備的拍攝模式作為拍攝條件。例如，針對每幀設置拍攝條件。噪聲估計單元110從照相機的控制單元輸入作為拍攝條件信息的、對圖像中的噪聲量具有影響的拍攝模式、快門速度(曝光時間)、增益等，從在每個拍攝條件下預先測量的噪聲量與亮度值之間的關系的數(shù)據(jù)中獲取相應條件下的亮度值與噪聲量之間的關系，并且輸出與在相應拍攝條件下輸入的亮度值對應的噪聲量。表示與輸入亮度值對應的噪聲量的表格是噪聲確定表格。在該實施例中，根據(jù)從控制映射生成單元313輸入的、針對標準圖像的每個塊的運動確定信息=0至3的值，將噪聲確定表格生成為校正后的表格。在下述實施例中，將描述根據(jù)運動確定信息=0至3來生成三種校正表格的示例。將描述根據(jù)三種運動確定信息=0至1、運動確定信息=1至2、以及運動確定信息=2至3來執(zhí)行的校正處理。在表格的校正中，本發(fā)明不限于三種校正表格，而是可根據(jù)四種(0、1、2、以及3) 運動確定信息=0至3來生成四種表格。另外，可生成五種或更多種的表格作為更小劃分的表格。因此，噪聲確定表格生成單元314根據(jù)從控制映射生成單元313輸入的、針對標準圖像的各個塊的運動確定信息=0至3的值，生成不同的噪聲確定表格，并且將不同的噪聲確定表格提供到圖9中示出的相加確定處理執(zhí)行單元315 (例如，具有圖4中示出的相同配置)的噪聲估計單元。相加確定處理執(zhí)行單元315的噪聲估計單元選擇與包括作為相加確定處理執(zhí)行單元315中的處理目標輸入的像素(即，作為相加權重計算目標輸入的像素)的區(qū)域對應的表格，并且從所選擇的表格中獲取像素值(或亮度值)與噪聲量之間的關系。此后，將關于像素值(或亮度值)與噪聲量之間的關系的信息輸出到相加確定處理執(zhí)行單元315的像素相加確定單元、移動平均相加確定單元、以及移動分散相加確定單元(參見圖4)。每個處理單元執(zhí)行根據(jù)關于從噪聲估計單元提供的噪聲量的信息的處理。S卩，像素相加確定單元、移動平均相加確定單元、以及移動分散相加確定單元(參見圖4)執(zhí)行根據(jù)運動確定信息=0至3來應用不同的估計噪聲量的處理。將參照圖20A和20B描述噪聲確定表格的具體示例。圖20A是示出由噪聲確定表格生成單元314生成的三種噪聲確定表格的圖。即，三種噪聲確定表格如下(1)原始噪聲確定表格(應用于運動確定信息=1至2的塊)(2)其中估計噪聲量被校正以便增加的校正噪聲確定表格(應用于運動確定信息 =2至3的塊)(3)其中估計噪聲量被校正以便減少的校正噪聲確定表格(應用于運動確定信息 =0至1的塊)噪聲確定表格是其中根據(jù)像素值(或者亮度值)來確定估計噪聲量的表格。在表格中，基于在圖20的(1)原始噪聲確定表格(應用于運動確定信息=1至2的塊)中的噪聲確定表格的實線曲線、根據(jù)像素值(或亮度值)來確定估計噪聲量。隨著像素值越低，在像素值中包括越多的噪聲成分。隨著像素值越高，在像素值中包括越少的噪聲成分。在圖20的最上部示出的“(1)原始噪聲確定表格”是當計算在控制映射生成單元 313中設置了 “運動確定信息=1至2”的塊區(qū)域所包括的像素的相加權重時應用的表格?！?(2)其中估計噪聲量被校正以便增加的校正噪聲確定表格”是當計算在控制映射生成單元313中確定了 “運動確定信息=2至3(作為非常不可能是運動區(qū)域的區(qū)域)，，的區(qū)域所包括的像素的相加權重時應用的表格。
“ (3)其中估計噪聲量被校正以便減少的校正噪聲確定表格”是當計算在控制映射生成單元313中確定了 “運動確定信息=0至1 (作為非常有可能是運動區(qū)域的區(qū)域)，，的區(qū)域所包括的像素的相加權重時應用的表格。如從圖20A和20B所理解的那樣，與在“(1)原始噪聲確定表格”中相比，在其中估計噪聲量被校正以便增加的“(2)對其進行估計噪聲量的增加校正的校正噪聲確定表格” 中，將估計噪聲量設置為更大。與在“(1)原始噪聲確定表格”中相比，在“(3)其中估計噪聲量被校正以便減少的校正噪聲確定表格”中，將估計噪聲量設置為更小?！?(2)其中估計噪聲量被校正以便增加的校正噪聲確定表格”是當計算在控制映射生成單元313中確定了 “運動確定信息=2至3(作為非常不可能是運動區(qū)域的區(qū)域)，，的區(qū)域所包括的像素的相加權重時應用的表格。S卩，當標準圖像的像素和經(jīng)運動補償?shù)膱D像(MC圖像)的對應像素非常有可能出現(xiàn)在同一對象的同一區(qū)域中時，應用“(2)其中估計噪聲量被校正以便增加的校正噪聲確定表格”。該處理是基于如下確定的處理確定從該區(qū)域的像素中檢測到的噪聲是純粹的噪聲而不是由于像素位置的偏離生成的噪聲，因此可以執(zhí)行大的噪聲降低處理。另一方面，當計算在控制映射生成單元313中確定了 “運動確定信息=0至1 (作為非常有可能是運動區(qū)域的區(qū)域)，，的區(qū)域所包括的像素的相加權重時，應用“ C3)其中估計噪聲量被校正以便減少的校正噪聲確定表格”。S卩，當標準圖像的像素和經(jīng)運動補償?shù)膱D像(MC圖像)的對應像素不太可能出現(xiàn)在同一對象的同一區(qū)域中時，應用“(3)其中估計噪聲量被校正以便減少的校正噪聲確定表格”。該處理是基于如下確定的處理確定從該區(qū)域的像素中檢測到的噪聲不是純粹的噪聲而非常有可能是由于像素位置的偏離生成的噪聲，因此更好的是避免執(zhí)行大的噪聲降低處理。因此，噪聲確定表格生成單元314根據(jù)由控制映射生成單元313生成的運動確定信息=0至3來修改噪聲確定表格，并且執(zhí)行噪聲估計。即，在從控制映射生成單元313輸出的區(qū)域單位的運動區(qū)域確定信息設置表示區(qū)域不太可能是運動區(qū)域的確定值的區(qū)域中， 噪聲確定表格生成單元314生成或校正噪聲確定表格，以增加與像素值對應的估計噪聲量。另外，在從控制映射生成單元313輸出的區(qū)域單位的運動區(qū)域確定信息設置表示區(qū)域非常有可能是運動區(qū)域的確定值的區(qū)域中，噪聲確定表格生成單元314生成或校正噪聲確定表格，以減少與像素值對應的估計噪聲量。在相加確定處理執(zhí)行單元315中使用所生成或所校正的噪聲確定表格。相加確定處理執(zhí)行單元315的像素相加確定單元、移動平均相加確定單元、以及移動分散相加確定單元(參見圖4)根據(jù)噪聲信息來設置與每個像素對應的相加權重(即，與標準圖像的像素對應的經(jīng)運動補償?shù)膱D像(MC圖像)的對應像素的相加權重)，其中，基于根據(jù)運動確定信息=0至3的噪聲確定表格來估計該噪聲信息。相加確定處理執(zhí)行單元315執(zhí)行如下確定相加權重的處理在存在由噪聲確定表格生成單元314生成的噪聲確定表格估計的像素單位的大噪聲量的區(qū)域中，設置大相加權重，而在像素單位的小噪聲量的區(qū)域中，設置小相加權重。圖20B是示出標準圖像與經(jīng)運動補償?shù)膱D像(MC圖像)之間的對應像素的差異值與相加權重之間的關系的圖。另外，σ表示噪聲的分散。相加確定處理執(zhí)行單元315的像素相加確定單元、移動平均相加確定單元、以及移動分散相加確定單元(參見圖4)依據(jù)各個區(qū)域設置并計算不同的相加權重，以便根據(jù)運動確定信息=0至3來應用不同的估計噪聲量。具體地，在其中設置了運動確定信息=2 至3(非常不可能是運動區(qū)域的區(qū)域)的塊中，將經(jīng)運動補償?shù)膱D像(MC圖像)的像素值加得多，由此提高去除噪聲的優(yōu)點。另一方面，在其中設置了運動確定信息=0至1 (很有可能是運動區(qū)域的區(qū)域)的塊區(qū)域中，將標準圖像的像素值加得多，由此提高保護移動物體的優(yōu)點。(2b-5)相加確定處理執(zhí)行單元的配置和處理接下來，將描述圖9中示出的相加確定單元304的相加確定處理執(zhí)行單元315的處理。圖9中示出的相加確定單元304的相加確定處理執(zhí)行單元315具有與以上參照圖 4描述的配置相同的配置。相加確定處理執(zhí)行單元315以像素單位生成圖8中示出的圖像處理設備300的相加處理單元305中所使用的相加權重，并將其輸出到相加處理單元305。 如上所述，相加權重是經(jīng)運動補償?shù)膱D像(MC圖像)對于標準圖像的的相加權重，并且表示經(jīng)運動補償?shù)膱D像(MC圖像)的每個像素的可靠性。然而，相加確定處理執(zhí)行單元315根據(jù)塊的運動確定信息=0至3的值，選擇并使用由上述噪聲確定表格生成單元314生成并校正的噪聲確定表格。具體地，使用根據(jù)運動確定信息=0至3的值校正的噪聲確定表格來計算像素單位的相加權重(標準圖像的MC 圖像的相加權重)，其中，該運動確定信息=0至3的值是由控制映射生成單元313針對標準圖像的每個塊基于平坦值和擊中值而設置的。即，以像素單位生成圖8中示出的圖像處理設備300的相加處理單元305中所使用的相加權重，并將其輸出到相加處理單元305。相加確定處理執(zhí)行單元315使用由噪聲確定表格生成單元314生成的、根據(jù)塊的運動確定信息=0至3的值的不同的噪聲確定表格，計算像素單位的相加權重(標準圖像的MC圖像的相加權重)。即，相加確定處理執(zhí)行單元315以像素單位生成圖8中示出的圖像處理設備300的相加處理單元305中所使用的相加權重，并將相加權重輸出到圖8中示出的相加處理單元305。(2c)相加處理單元的處理圖8中示出的相加處理單元305執(zhí)行如下處理應用針對標準圖像與經(jīng)運動補償?shù)膱D像(MC圖像)之間的每個對應像素計算的相加權重，并且對其進行相加。由相加處理單元305執(zhí)行的處理是與以上參照圖1和7描述的處理相同的處理。相加處理單元305通過計算標準圖像與經(jīng)運動補償?shù)膱D像(MC圖像)之間的加權平均，執(zhí)行相加處理。加權平均的權重是通過使相加權重與反饋比相乘而獲得的值。例如， 當將反饋比設置為1/3時并且當相加權重從0至1變化時，加權平均中MC圖像的權重從0 至1/3變化。將由相加處理單元305在標準圖像與經(jīng)運動補償?shù)膱D像(MC圖像)之間生成的相加結果存儲在幀存儲器301中。作為新標準圖像的圖像與新參考圖像組合，并且重復地執(zhí)行上述處理。例如，在重復處理預定次數(shù)之后，將由相加處理單元305在標準圖像與經(jīng)運動補償?shù)膱D像(MC圖像)之間生成的相加結果輸出為噪聲降低圖像(NR圖像)。(3)根據(jù)本發(fā)明的實施例的圖像處理設備的噪聲降低效果如上所述，圖8中示出的圖像處理設備300基于如下兩種不同的方式來執(zhí)行確定運動區(qū)域的處理，作為基于運動區(qū)域的檢測信息的結合來檢測運動區(qū)域的處理(a)使用基于標準圖像與經(jīng)運動補償?shù)膱D像之間的像素差異信息算出的運動估計 (ME)的成功確定信息的運動區(qū)域檢測信息[平坦映射]；以及(b)通過對全局運動向量(GMV)和局部運動向量(LMV)進行比較的處理獲得的運動區(qū)域檢測信息[擊中映射]。圖9中示出的相加確定單元304的控制映射生成單元313針對標準圖像的所有塊，通過選擇擊中映射和平坦映射的設置值之一，生成設置為運動區(qū)域信息的控制映射。具體地，當擊中值(Hit)和平坦值(Flat)之一是0( S卩，Hit = 0或者Flat = 0) 時，將平坦值(Flat = 0至3)輸出為塊的最終運動確定信息。平坦值是由圖18中示出的虛線表示的范圍區(qū)域。另一方面，當擊中值(Hit)和平坦值(Flat)都不是0 ( S卩，Hit興0且Flat Φ 0) 時，將擊中值(Hit = 0至3)輸出為塊的最終運動確定信息。擊中值是由圖18中示出的實線表示的范圍區(qū)域。當僅使用擊中映射作為塊單位的運動確定信息時，例如，可使局部移動對象的噪聲降低效果退化。當諸如照度改變的拍攝條件變化時，會出現(xiàn)問題在于，噪聲降低效果退化。由于擊中映射是通過對全局運動向量(GMV)和局部運動向量(LMV)進行比較的處理進行的運動區(qū)域檢測信息，并且依據(jù)塊單位的LMV與GMV之間的差異確定塊是否是運動區(qū)域，因此出現(xiàn)該問題。另一方面，當僅使用平坦映射時，會出現(xiàn)問題在于，對于在諸如低照度的、噪聲強的環(huán)境下拍攝的圖像，噪聲降低效果退化。由于平坦映射是通過使用運動估計(ME)的成功確定信息獲得的運動區(qū)域檢測信息、并且如參照圖10所述基于像素區(qū)域的分散值或平均值來確定運動的存在或不存在，因此出現(xiàn)該問題。然而，在根據(jù)本發(fā)明的實施例的運動確定處理中，通過對擊中映射和平坦映射進行結合來生成如在圖18中設置的運動確定信息。在圖18中示出的設置中，例如，基于擊中映射信息，可以估計出Hit = 0的區(qū)域是移動對象的內(nèi)部區(qū)域、Hit = 0至2的區(qū)域是移動對象的邊界、并且Hit = 3的區(qū)域是除移動對象之外的、諸如背景區(qū)域的區(qū)域。然而，擊中映射的值(Hit = 0至3)是通過基于LMV與GMV之間的比較的運動確定處理以及依據(jù)LMV和GMV的精度的確定結果來獲得的。即，當向量的精度不足時，確定結果會包括誤差。在根據(jù)本發(fā)明的實施例的配置中，考慮平坦值(Flat = 0至幻以便防止由于向量的錯誤計算而導致錯誤設置相加權重。例如，當在通過LVM與GMV之間的比較被確定為移動對象的區(qū)域的Hit = 0的區(qū)域中平坦值和擊中值彼此相符、但是設置了平坦值(Flat = 0至；3)時，將平坦值(Flat =0至3)設置為塊的最終運動確定信息，并且生成噪聲確定表格(參見圖20)。S卩，在通過LVM與GMV之間的比較被確定為移動對象的區(qū)域的區(qū)域(Hit = 0)中， 忽略Hit = 0的值，并且使用平坦值(Flat = 0至3)作為可靠的運動確定信息，其中，該平坦值(Flat = 0至3)作為利用運動估計(ME)成功確定信息的運動區(qū)域檢測信息。因此，當僅基于擊中映射執(zhí)行處理時，在Hit = 0的塊中，會將經(jīng)運動補償?shù)膱D像 (MC圖像)的圖像像素對于標準圖像的相加權重設置為小，因此在某些情況下會沒有運用噪聲降低效果。然而，在根據(jù)本發(fā)明的實施例的處理中，即使在Hit = 0的塊中，也參照平坦映射的平坦值(Flat = 0至幻，執(zhí)行基于平坦值的相加權重的設置。因此，根據(jù)運動估計 (ME)的成功確定信息，在被確定運動小的塊(其中平坦值大(較接近Flat = 3))中，將經(jīng)運動補償?shù)膱D像(MC圖像)的像素值的對于標準圖像的相加權重設置為大。因此，在與運動估計(ME)成功區(qū)域對應的塊中，可以使得噪聲降低效果大。即使在平坦值是0 (Flat = 0)的塊(即，根據(jù)運動估計(ME)的成功確定信息確定運動大的塊)中，也忽略擊中值(Hit = 0至3)，并且將平坦值(即，F(xiàn)lat = 0)設置為塊的最終運動確定信息。該處理防止使用基于在LMV與GMV之間的比較處理中容易出現(xiàn)的向量估計錯誤的錯誤的運動確定結果。在處理中，基于平坦值(Flat = 0)來設置經(jīng)運動補償?shù)膱D像(MC圖像)的相加權重。在根據(jù)本發(fā)明的實施例的配置中，在可以獲得其中區(qū)域基于擊中映射和平坦映射之一非常有可能是運動區(qū)域的確定結果(Hit = 0或Flat = 0)的區(qū)域中，沒有使用通過 LMV與GMV之間的比較處理生成的、作為運動確定信息的擊中映射(Hit = O至3)的確定結果，并且優(yōu)選地使用基于運動估計(ME)的成功確定信息生成的、作為運動確定信息的平坦映射(Flat = 0至3)的確定結果。 該處理使得防止相加權重由于向量估計錯誤而被設置?？偨Y根據(jù)本發(fā)明的實施例的處理，生成了兩種運動確定信息，即，通過LMV與GMV 之間的比較處理生成的、作為運動確定信息的擊中映射(Hit = 0至3)和基于運動估計 (ME)的成功確定信息生成的、作為運動確定信息的平坦映射(Flat = O至3)。然后，在由于平坦映射或擊中映射中的平坦值=0或擊中值=0而被確定為非常有可能是運動區(qū)域的區(qū)域(塊)中，優(yōu)選地使用基于運動估計(ME)的成功確定信息生成的運動確定信息。另外，在由于平坦映射和擊中映射兩個映射中的平坦值興0且擊中值興0而被確定為不太可能是運動區(qū)域的區(qū)域(塊)中，優(yōu)選地使用擊中值(Hit = O至3)，S卩，基于LMV 與GMV之間的比較結果生成的運動確定信息。執(zhí)行這樣的處理。通過選擇并應用基于根據(jù)每個映射的檢測信息的不同方式的運動確定信息(擊中映射/平坦映射)，與僅使用每個映射的情況相比，可以提高對在各種條件下拍攝的圖像的噪聲降低效果。(4)圖像處理設備的示例性硬件配置最后，將參照圖21描述作為執(zhí)行上述處理的設備的個人計算機的示例性硬件配置。CPU(中央處理單元)701根據(jù)存儲在R0M(只讀存儲器)702或存儲單元708中的程序來執(zhí)行各種處理。例如，執(zhí)行在上述實施例中描述的處理程序，諸如生成噪聲降低圖像(NR圖像)的處理。RAM(隨機存取存儲器)703適當?shù)卮鎯τ蒀PU 701執(zhí)行的程序、數(shù)據(jù)等。CPU 701、ROM 702、以及RAM 703通過總線704彼此連接。CPU 701通過總線704連接到輸入/輸出接口 705。包括鍵盤、鼠標、麥克風等的輸入單元706和包括顯示器、揚聲器等的輸出單元707連接到輸入/輸出接口 705。CPU 701 根據(jù)從輸入單元706輸入的指令執(zhí)行各種處理，并且例如將處理結果輸出到輸出單元707。連接到輸入/輸出接口 705的存儲單元708由例如硬盤構成，并且存儲由CPU 701 執(zhí)行的程序和各種數(shù)據(jù)。通信單元709經(jīng)由諸如因特網(wǎng)或局域網(wǎng)的網(wǎng)絡與外部設備通信。連接到輸入/輸出接口 705的驅動器710驅動諸如磁盤、光盤、磁光盤、或半導體存儲器的可移除介質711，并且獲取所記錄的程序、數(shù)據(jù)等。所獲取的程序或數(shù)據(jù)被傳送到存儲單元708，并且當需要時被存儲。至此已詳細描述了本發(fā)明的具體實施例。然而，對本領域的技術人員明顯的是，在不脫離本發(fā)明的要旨的情況下，可以在本發(fā)明的范圍內(nèi)進行實施例的修改和變更。即，由于根據(jù)實施例公開了本發(fā)明，因此本發(fā)明不應該被解釋為限制性的。參考本發(fā)明的權利要求來確定本發(fā)明的范圍。在本說明書中描述的系列處理可以通過硬件、軟件或者二者的組合配置來執(zhí)行。 當通過軟件執(zhí)行處理時，記錄處理序列的程序可以安裝在嵌入在專用硬件中的計算機的存儲器中并且可以被執(zhí)行，或者該程序可以安裝在能夠執(zhí)行各種處理的通用計算機中并且可以被執(zhí)行。例如，程序可以預先記錄在記錄介質中。除了將程序從記錄介質安裝到計算機中，還可以經(jīng)由網(wǎng)絡(諸如LAN(局域網(wǎng))或互聯(lián)網(wǎng))來接收該程序，并且該程序可以安裝在諸如內(nèi)置硬盤的記錄介質中。在本說明書中描述的各種處理可以根據(jù)描述按時間順序執(zhí)行，或者可以依據(jù)執(zhí)行處理的設備的處理能力來并行地或單獨地執(zhí)行，或者當需要時被執(zhí)行。另外，本說明書中的系統(tǒng)具有多個設備的邏輯集合配置，并且不限于每個配置的設備包括在同一機箱內(nèi)的情況。本申請包含與2010年3月23日向日本專利局提交的日本在先專利申請JP 2010-065833中公開的主題內(nèi)容相關的主題內(nèi)容，在此通過引用將其全文合并于此。本領域的技術人員應該理解，在所附權利要求或其等同物的范圍內(nèi)，根據(jù)設計需要和其他因素，可進行各種修改、組合、子組合以及變更。
3權利要求
1.一種圖像處理設備，其包括運動預測處理單元，其檢測標準圖像與參考圖像之間的圖像間運動； 運動補償處理單元，其通過使用關于由所述運動預測處理單元檢測到的圖像間運動的信息移動所述參考圖像以便在像素位置中與所述標準圖像對準，來生成經(jīng)運動補償?shù)膱D像；相加處理單元，其通過將所述標準圖像與所述經(jīng)運動補償?shù)膱D像相加的相加處理，生成降低了所述標準圖像的噪聲的噪聲降低圖像；以及相加確定單元，其以像素單位計算所述經(jīng)運動補償?shù)膱D像的相加權重，所述相加權重被應用于由所述相加處理單元在所述標準圖像與所述經(jīng)運動補償?shù)膱D像之間執(zhí)行的相加處理，其中，所述相加確定單元包括第一運動區(qū)域檢測單元，其基于所述標準圖像與所述經(jīng)運動補償?shù)膱D像之間的像素差異信息來計算運動區(qū)域確定值，該運動區(qū)域確定值表示以構成所述標準圖像的區(qū)域單位來包括有移動對象的區(qū)域；第二運動區(qū)域檢測單元，其通過應用作為所述區(qū)域單位的運動信息的局部運動向量 LMV與作為整個圖像的運動信息的全局運動向量GMV之間的差異信息，計算所述區(qū)域單位的運動區(qū)域確定值；控制映射生成單元，其依據(jù)各運動區(qū)域確定值的組合，選擇并輸出從所述第一運動區(qū)域檢測單元和所述第二運動區(qū)域檢測單元輸出的兩個運動區(qū)域確定值之一；噪聲確定表格生成單元，其根據(jù)從所述控制映射生成單元輸出的區(qū)域單位的運動區(qū)域確定信息，生成或校正其中限定了與像素值對應的估計噪聲量的噪聲確定表格；以及相加確定處理執(zhí)行單元，其根據(jù)基于由所述噪聲確定表格生成單元生成的噪聲確定表格而估計的像素單位的噪聲量，確定所述相加權重。
2.根據(jù)權利要求1所述的圖像處理設備，其中，在由從所述第一運動區(qū)域檢測單元和所述第二運動區(qū)域檢測單元輸出的兩個運動區(qū)域確定值的至少之一確定為很可能是運動區(qū)域的區(qū)域中，所述控制映射生成單元將所述第一運動區(qū)域檢測單元的確定值輸出為最終確定值，并且其中，在根據(jù)由所述第一運動區(qū)域檢測單元和所述第二運動區(qū)域檢測單元輸出的兩個運動區(qū)域確定值兩者確定為并非很可能是運動區(qū)域的區(qū)域中，所述控制映射生成單元將所述第二運動區(qū)域檢測單元的確定值輸出為最終確定值。
3.根據(jù)權利要求1或2所述的圖像處理設備，其中，在根據(jù)從所述控制映射生成單元輸出的區(qū)域單位的運動區(qū)域確定信息而設置了表示區(qū)域不太可能是運動區(qū)域的確定值的區(qū)域中，所述噪聲確定表格生成單元生成或校正所述噪聲確定表格，以增加與像素值對應的估計噪聲量，并且其中，在根據(jù)從所述控制映射生成單元輸出的區(qū)域單位的運動區(qū)域確定信息而設置了表示區(qū)域很可能是運動區(qū)域的確定值的區(qū)域中，所述噪聲確定表格生成單元生成或校正所述噪聲確定表格，以減少與像素值對應的估計噪聲量。
4.根據(jù)權利要求1至3中任一項所述的圖像處理設備，其中，所述相加確定處理執(zhí)行單元執(zhí)行如下確定所述相加權重的處理在像素單位的噪聲量大的區(qū)域中將所述相加權重設置為大，并且在所述像素單位的噪聲量小的區(qū)域中將所述相加權重設置為小，所述像素單位的噪聲量是通過由所述噪聲確定表格生成單元生成的噪聲確定表格來估計的。
5.根據(jù)權利要求1至4中任一項所述的圖像處理設備，其中，所述第一運動區(qū)域檢測單元對所述標準圖像和所述經(jīng)運動補償?shù)膱D像進行分析，以確定從所述經(jīng)運動補償?shù)膱D像劃分的每個區(qū)域是否是與如下區(qū)域之一對應的區(qū)域 a)運動估計ME成功區(qū)域、b)運動估計ME失敗區(qū)域、以及c)既不是a)運動估計ME成功區(qū)域也不是b)運動估計ME失敗區(qū)域的邊界區(qū)域，并且所述第一運動區(qū)域檢測單元根據(jù)確定結果來計算每個小區(qū)域的運動區(qū)域確定值。
6.一種在圖像處理設備中生成噪聲降低圖像的圖像處理方法，其包括以下步驟 由運動預測處理單元檢測標準圖像與參考圖像之間的圖像間運動；由運動補償處理單元通過使用關于由所述運動預測處理單元檢測到的圖像間運動的信息移動所述參考圖像以便在像素位置中與所述標準圖像對準，來生成經(jīng)運動補償?shù)膱D像；由相加處理單元通過將所述標準圖像與所述經(jīng)運動補償?shù)膱D像相加的相加處理，生成降低了所述標準圖像的噪聲的噪聲降低圖像；以及由相加確定單元以像素單位計算所述經(jīng)運動補償?shù)膱D像的相加權重，所述相加權重被應用于由所述相加處理單元在所述標準圖像與所述經(jīng)運動補償?shù)膱D像經(jīng)運動補償?shù)膱D像之間執(zhí)行的相加處理，其中，所述計算所述相加權重的步驟包括以下子步驟基于所述標準圖像與所述經(jīng)運動補償?shù)膱D像之間的像素差異信息來計算運動區(qū)域確定值的第一運動區(qū)域檢測子步驟，該運動區(qū)域確定值表示以構成所述標準圖像的區(qū)域單位來包括有移動對象的區(qū)域；通過應用作為所述區(qū)域單位的運動信息的局部運動向量LMV與作為整個圖像的運動信息的全局運動向量GMV之間的差異信息來計算所述區(qū)域單位的運動區(qū)域確定值的第二運動區(qū)域檢測子步驟；依據(jù)各運動區(qū)域確定值的組合，選擇并輸出從所述第一運動區(qū)域檢測子步驟和所述第二運動區(qū)域檢測子步驟輸出的兩個運動區(qū)域確定值之一；根據(jù)在所述選擇并輸出兩個運動區(qū)域確定值之一的子步驟中輸出的區(qū)域單位的運動區(qū)域確定信息，生成或校正其中限定了與像素值對應的估計噪聲量的噪聲確定表格；以及根據(jù)基于在所述生成或校正所述噪聲確定表格的子步驟中生成的噪聲確定表格而估計的像素單位的噪聲量，確定所述相加權重。
7.一種使得圖像處理設備執(zhí)行生成噪聲降低圖像的處理的程序，所述程序執(zhí)行以下步驟由運動預測處理單元檢測標準圖像與參考圖像之間的圖像間運動； 由運動補償處理單元通過使用關于由所述運動預測處理單元檢測到的圖像間運動的信息移動所述參考圖像以便在像素位置中與所述標準圖像對準，來生成經(jīng)運動補償?shù)膱D像；由相加處理單元通過將所述標準圖像與所述經(jīng)運動補償?shù)膱D像相加的相加處理，生成降低了所述標準圖像的噪聲的噪聲降低圖像；以及由相加確定單元以像素單位計算所述經(jīng)運動補償?shù)膱D像的相加權重，所述相加權重被應用于由所述相加處理單元在所述標準圖像與所述經(jīng)運動補償?shù)膱D像之間執(zhí)行的相加處理，其中，所述計算所述相加權重的步驟包括以下子步驟基于所述標準圖像與所述經(jīng)運動補償?shù)膱D像之間的像素差異信息來計算運動區(qū)域確定值的第一運動區(qū)域檢測子步驟，所述該運動區(qū)域確定值表示以構成所述標準圖像的區(qū)域單位來包括有移動對象的區(qū)域；通過應用作為所述區(qū)域單位的運動信息的局部運動向量LMV與作為整個圖像的運動信息的全局運動向量GMV之間的差異信息來計算所述區(qū)域單位的運動區(qū)域確定值的第二運動區(qū)域檢測子步驟；依據(jù)各運動區(qū)域確定值的組合，選擇并輸出從所述第一運動區(qū)域檢測子步驟和所述第二運動區(qū)域檢測子步驟輸出的兩個運動區(qū)域確定值之一；根據(jù)在所述選擇并輸出兩個運動區(qū)域確定值之一的子步驟中輸出的區(qū)域單位的運動區(qū)域確定信息，生成或校正其中限定了與像素值對應的估計噪聲量的噪聲確定表格；以及根據(jù)基于在所述生成或校正所述噪聲確定表格的子步驟中生成的噪聲確定表格而估計的像素單位的噪聲量，確定所述相加權重。
全文摘要
本發(fā)明涉及圖像處理設備、圖像處理方法以及程序。該圖像處理設備包括運動預測處理單元，其檢測標準圖像與參考圖像之間的圖像間運動；運動補償處理單元，其通過移動參考圖像以便在像素位置中與標準圖像對準，來生成經(jīng)運動補償?shù)膱D像；相加處理單元，其生成降低了標準圖像的噪聲的噪聲降低圖像；以及相加確定單元，其計算經(jīng)運動補償?shù)膱D像的相加權重。相加確定單元包括第一運動區(qū)域檢測單元，其計算運動區(qū)域確定值；第二運動區(qū)域檢測單元，其計算運動區(qū)域確定值；控制映射生成單元，其選擇并輸出兩個運動區(qū)域確定值之一；噪聲確定表格生成單元，其生成或校正噪聲確定表格；以及相加確定處理執(zhí)行單元，其確定相加權重。
文檔編號G06T5/50GK102201113SQ201110070720
公開日2011年9月28日 申請日期2011年3月16日 優(yōu)先權日2010年3月23日
發(fā)明者名云武文, 羅俊, 近藤雄飛 申請人:索尼公司