圖像處理裝置、圖像處理方法、程序以及成像設(shè)備的制作方法
【專利摘要】本公開涉及圖像處理裝置、圖像處理方法、程序以及成像設(shè)備。提供一種圖像處理裝置，包括：降噪強(qiáng)度設(shè)置單元，設(shè)置用于去除預(yù)定的噪音分量的降噪的強(qiáng)度；以及降噪強(qiáng)度校正單元，基于根據(jù)邊緣率獲得的校正數(shù)據(jù)來校正降噪的強(qiáng)度。
【專利說明】圖像處理裝置、圖像處理方法、程序以及成像設(shè)備
【技術(shù)領(lǐng)域】
[0001]本公開涉及圖像處理裝置、圖像處理方法、程序以及成像設(shè)備。
【背景技術(shù)】
[0002]存在這樣的情況，其中，由于圖像傳感器等的特性而導(dǎo)致的噪音被疊加到從由成像設(shè)備進(jìn)行的成像操作獲得的圖像數(shù)據(jù)上。用于去除這樣的噪音的處理通常被稱為降噪(NR, noise reduction)處理,并且已經(jīng)提出了關(guān)于降噪處理的各種技術(shù)。例如，日本未審專利申請公開N0.2008-177724公開一種技術(shù)，其中，確定邊緣的存在與否，并且當(dāng)確定附近存在邊緣時(shí)，在邊緣附近不執(zhí)行降噪處理。

【發(fā)明內(nèi)容】

[0003]在日本未審專利申請公開N0.2008-177724中公開的技術(shù)存在的問題是，盡管當(dāng)邊緣被留下時(shí)噪音可以被去除，但是降噪處理在邊緣附近未被執(zhí)行，這樣，在邊緣周圍的S/N比(信噪比)劣化。
[0004]因此，希望提供這樣一種圖像處理裝置、圖像處理方法、程序以及成像設(shè)備，其可以根據(jù)指示邊緣程度的邊緣率來適當(dāng)?shù)卦O(shè)置降噪的強(qiáng)度。
[0005]根據(jù)本公開實(shí)施例，提供一種圖像處理裝置，該圖像處理裝置包括:降噪強(qiáng)度設(shè)置單元，設(shè)置用于去除預(yù)定的噪音分量的降噪的強(qiáng)度；以及降噪強(qiáng)度校正單元，基于根據(jù)邊緣率獲得的校正數(shù)據(jù)來校正降噪的強(qiáng)度。
[0006]根據(jù)本公開實(shí)施例，提供一種圖像處理裝置，該圖像處理裝置包括:降噪強(qiáng)度設(shè)置單元，設(shè)置用于去除預(yù)定的噪音分量的降噪的強(qiáng)度；邊緣率計(jì)算單元，基于預(yù)定的估計(jì)值來計(jì)算邊緣率；降噪強(qiáng)度校正單元，根據(jù)邊緣率來校正降噪的強(qiáng)度；以及噪音去除單元，去除噪音分量。預(yù)定的估計(jì)值是基于第一塊與第二塊之間的SAD的值來設(shè)置的，該第一塊是在關(guān)注的像素周圍以預(yù)定大小設(shè)置的，該第二塊是在不同于關(guān)注的像素的像素周圍以與預(yù)定大小相同的大小設(shè)置的。噪音去除單元基于校正的降噪強(qiáng)度和SAD的值來去除噪音分量。
[0007]根據(jù)本公開實(shí)施例，提供一種圖像處理裝置中的圖像處理方法，該方法包括:設(shè)置用于去除預(yù)定噪音分量的降噪的強(qiáng)度；以及根據(jù)邊緣率來校正降噪的強(qiáng)度。
[0008]根據(jù)本公開實(shí)施例，提供一種使計(jì)算機(jī)執(zhí)行圖像處理裝置中的圖像處理方法的程序，該方法包括:設(shè)置用于去除預(yù)定噪音分量的降噪的強(qiáng)度；以及根據(jù)邊緣率來校正降噪的強(qiáng)度。
[0009]根據(jù)本公開實(shí)施例，提供一種成像設(shè)備，該成像設(shè)備包括:成像單元；降噪強(qiáng)度設(shè)置單元，設(shè)置用于去除預(yù)定的噪音分量的降噪的強(qiáng)度；降噪強(qiáng)度校正單元，基于根據(jù)邊緣率獲得的校正數(shù)據(jù)來校正降噪的強(qiáng)度；以及噪音去除單元，基于校正的降噪強(qiáng)度來對通過成像單元獲取的圖像數(shù)據(jù)執(zhí)行降噪處理。
[0010]根據(jù)上述的本公開的至少一個(gè)實(shí)施例，可以適當(dāng)?shù)卦O(shè)置由噪音去除單元執(zhí)行的降噪處理中的降噪的強(qiáng)度。【專利附圖】

【附圖說明】
[0011]圖1是用于描述圖像數(shù)據(jù)的輸入電平與噪音方差之間的關(guān)系的示圖；
[0012]圖2是用于描述降噪的強(qiáng)度是根據(jù)圖像數(shù)據(jù)的輸入電平來改變的例子的示圖；
[0013]圖3是用于描述根據(jù)本公開第一實(shí)施例的圖像處理裝置的配置的例子的示圖；
[0014]圖4是用于描述校正的數(shù)據(jù)的例子的表格；
[0015]圖5是用于描述校正的數(shù)據(jù)的例子的示圖；
[0016]圖6是用于描述校正的數(shù)據(jù)的另一個(gè)例子的示圖；
[0017]圖7是示出根據(jù)本公開第一實(shí)施例的處理的流程的例子的流程圖；
[0018]圖8是用于描述根據(jù)本公開第二實(shí)施例的圖像處理裝置的配置的例子的示圖；
[0019]圖9是用于描述SAD值的計(jì)算方法的例子的示圖；
[0020]圖10是用于描述用于計(jì)算多個(gè)SAD值的平均值的處理的例子的示圖；
[0021]圖11是示出根據(jù)本公開第二實(shí)施例的處理的流程的例子的流程圖；
[0022]圖12是用于描述根據(jù)本公開第三實(shí)施例的圖像處理裝置的配置的例子的示圖；
[0023]圖13是示出根據(jù)本公開第三實(shí)施例的處理的流程的例子的流程圖；
[0024]圖14是用于描述一個(gè)變型例的示圖；
[0025]圖15是用于描述另一個(gè)變型例的示圖；以及
[0026]圖16是用于描述再一個(gè)變型例的不圖。
【具體實(shí)施方式】
[0027]在下文中，將參照附圖對本公開的優(yōu)選實(shí)施例進(jìn)行詳細(xì)描述。請注意，在本說明書和附圖中，基本上具有相同的功能和結(jié)構(gòu)的結(jié)構(gòu)元件用相同的附圖標(biāo)記表示，并且省略對這些結(jié)構(gòu)元件的重復(fù)解釋。
[0028]在下文中，將參照附圖對本公開的優(yōu)選實(shí)施例進(jìn)行詳細(xì)描述。應(yīng)當(dāng)注意，將按照如下順序提供描述。
[0029]〈1.第一實(shí)施例>
[0030]<2.第二實(shí)施例>
[0031]〈3.第三實(shí)施例〉
[0032]<4.變型例 >
[0033]還應(yīng)當(dāng)注意，將在下面進(jìn)行描述的實(shí)施例是對本公開來說是優(yōu)選的特定的例子，并不對本公開的內(nèi)容有所限制。
[0034]〈1.第一實(shí)施例>
[0035][關(guān)于圖像數(shù)據(jù)的噪音方差與輸入電平之間的關(guān)系]
[0036]首先，為了使本公開易于理解，將描述圖像數(shù)據(jù)的輸入電平與噪音方差之間的關(guān)系。在成像設(shè)備中生成的噪音的分量中，存在根據(jù)圖像數(shù)據(jù)的輸入電平(亮度)改變的噪音。圖1示意性地示出當(dāng)像素的亮度值被設(shè)置為X時(shí)，相對于亮度值X的噪音方差。從圖1可以理解，噪音方差隨著亮度值X的增加而增加。這里，如果包括了不依賴于圖像數(shù)據(jù)的亮度的噪音時(shí)，那么噪音方差可以被定義為例如下面的公式I。
[0037]公式1:[0038]Or (I》=-yjax + b
[0039]在公式I中，a表示主要從對亮度有依賴的圖像傳感器的光散粒噪音推導(dǎo)出的噪音分量，并且其基本上與亮度的平方根成比例。b表示不依賴于亮度的底噪(floor noise)的分量，諸如熱噪音。X表示像素的亮度值。a和b根據(jù)圖像傳感器的特性來決定。公式I是一個(gè)例子，并且，噪聲方差可以通過簡化的下面的公式(例如，公式2)或者對噪音分量進(jìn)行更詳細(xì)地規(guī)定的其它公式來定義?？梢哉J(rèn)為噪音在靈敏度的某個(gè)級別或者更低的級別中正態(tài)分布。
[0040]公式2:
[0041]if ( jc ) = a + b
[0042]依賴于亮度的噪音可以根據(jù)噪音的預(yù)計(jì)方差通過改變閾值來被有效地去除。使用在公式I中計(jì)算的σ (X)，使用公式3來計(jì)算每個(gè)像素的閾值Th。
[0043]公式3:
[0044]Th=S* ο (X)
[0045]在公式3中的S是強(qiáng)度調(diào)整值，并且，其默認(rèn)值是在例如成像設(shè)備出廠之前設(shè)置的。強(qiáng)度調(diào)整值S可以是變量。例如，強(qiáng)度調(diào)整值S可以根據(jù)用戶的設(shè)置而改變。當(dāng)用戶將降噪的強(qiáng)度設(shè)置為高時(shí)，強(qiáng)度調(diào)整值S增加，并且，當(dāng)用戶將降噪的強(qiáng)度設(shè)置為低時(shí)，強(qiáng)度調(diào)整值S減小。
[0046]使用公式3計(jì)算的閾值針對噪音去除單元設(shè)置，該噪音去除單元執(zhí)行降噪處理。作為噪音去除單元，以ε (epsilon)濾波器或小波濾波器為例。如圖2所示，降噪的強(qiáng)度可以通過增加閾值來提升，并且降噪的強(qiáng)度可以通過減小閾值來降低。通過使用針對每個(gè)像素計(jì)算的閾值的降噪處理，噪音可以被有效地去除。
[0047]如果閾值Th是參照其上疊加有噪音的圖像數(shù)據(jù)計(jì)算的，那么閾值Th的精確度會劣化。結(jié)果，具有不當(dāng)強(qiáng)度的降噪會被施加到數(shù)據(jù)。特別是，當(dāng)具有不當(dāng)強(qiáng)度的降噪被施加到圖像數(shù)據(jù)的邊緣附近時(shí)，會出現(xiàn)丟失邊緣的問題，并且，因此，圖像的質(zhì)量會急劇地劣化。這樣，在本公開中，通過根據(jù)邊緣率來校正閾值Th，在圖像中的邊緣區(qū)域中的降噪的強(qiáng)度被更適當(dāng)?shù)卣{(diào)整。在下文中，將描述關(guān)于本公開的內(nèi)容的特定例子。
[0048][圖像處理裝置的配置]
[0049]圖3是用于描述根據(jù)本公開第一實(shí)施例的圖像處理裝置的配置的示圖。圖像處理裝置被構(gòu)建在例如成像設(shè)備中。附圖標(biāo)記101、102和103分別表示包括在成像設(shè)備中的圖像傳感器、模擬前端(AFE)和緩存存儲器。緩存存儲器103的后面的部分被連接到圖像處理裝置I。緩存存儲器103存儲一個(gè)幀或者由圖像處理裝置I的處理所需的大小的圖像數(shù)據(jù)，并且，通過圖像處理裝置I對存儲在緩存存儲器103中的圖像數(shù)據(jù)執(zhí)行降噪處理。
[0050]圖像處理裝置I被配置為包括，例如，降噪強(qiáng)度設(shè)置單元104、邊緣率計(jì)算單元
105、校正數(shù)據(jù)計(jì)算單元106、降噪強(qiáng)度校正單元107和噪音去除單元108。在該配置中，其中的一部分可以被包括在成像設(shè)備的配置中，或者與示例的配置不同的配置可以被添加到圖像處理裝置I。
[0051]應(yīng)當(dāng)注意，盡管在圖中未示出，成像設(shè)備可以被配置為具有:諸如IXD (液晶顯示器)的顯示裝置、諸如硬盤的存儲器、或者USB (通用串行總線)、或者控制成像設(shè)備的每個(gè)單元的系統(tǒng)控制器。在對已經(jīng)由圖像處理裝置I進(jìn)行了處理的圖像數(shù)據(jù)執(zhí)行眾所周知的數(shù)字圖像處理后，該圖像數(shù)據(jù)被顯示在顯示裝置上，或者存儲在存儲器中。
[0052]對每個(gè)單元進(jìn)行詳細(xì)描述。來自被攝體的光學(xué)圖像使用成像設(shè)備的透鏡和光圈(在圖中省略)被聚集(condense)。該光學(xué)圖像的光量通過光圈來調(diào)整。聚集的光學(xué)圖像由圖像傳感器101光電轉(zhuǎn)換，從而生成包括電信號的模擬圖像數(shù)據(jù)。圖像傳感器101由CXD(電荷耦合器件)傳感器、CMOS (互補(bǔ)金屬氧化物半導(dǎo)體)傳感器等來配置。圖像傳感器101具有呈例如拜爾(Bayer)陣列的RGB濾色器。
[0053]通過對從圖像傳感器101供應(yīng)的模擬圖像數(shù)據(jù)執(zhí)行例如⑶S (相關(guān)雙采樣)處理，AFE102適當(dāng)?shù)卣{(diào)整S/N (信噪)比。此外，AFE102通過執(zhí)行AGC (自動增益控制)來控制增益。另外，AFE102對模擬圖像數(shù)據(jù)執(zhí)行A/D (模擬到數(shù)字)轉(zhuǎn)換處理，從而生成數(shù)字圖像數(shù)據(jù)。AFE102輸出生成的數(shù)字圖像數(shù)據(jù)。從AFE102輸出的數(shù)字圖像數(shù)據(jù)被供應(yīng)到緩存存儲器 103。
[0054]緩存存儲器103是存儲從AFE102供應(yīng)的數(shù)字圖像數(shù)據(jù)的存儲器。緩存存儲器103存儲圖像處理裝置I執(zhí)行后續(xù)處理所需的量的圖像數(shù)據(jù)。例如，一個(gè)像素被設(shè)置為關(guān)注的像素，然后，具有在中心處包含有該關(guān)注的像素的預(yù)定區(qū)域的圖像數(shù)據(jù)被供應(yīng)到緩存存儲器103。緩存存儲器103可以例如以一個(gè)幀的大小來存儲圖像數(shù)據(jù)。圖像處理裝置I可以被設(shè)計(jì)為針對一個(gè)幀的圖像數(shù)據(jù)的預(yù)定區(qū)域執(zhí)行處理。從緩存存儲器103輸出的圖像數(shù)據(jù)被供應(yīng)到降噪強(qiáng)度設(shè)置單元104、邊緣率計(jì)算單元105和噪音去除單元108。
[0055]將描述圖像處理裝置I的每個(gè)單元。降噪強(qiáng)度設(shè)置單元104使用關(guān)注的像素的亮度值、或者除了關(guān)注的像素的亮度值以外的關(guān)注的像素周圍的像素的亮度值來計(jì)算充當(dāng)參照(在下文中，適當(dāng)?shù)乇环Q為參照亮度信息)的亮度信息。降噪強(qiáng)度設(shè)置單元104使用參照亮度信息來計(jì)算噪音方差σ U)。噪音方差可以使用上述的公式I來計(jì)算。在公式I中的X對應(yīng)于參照亮度信息。在公式I中的a和b是基于圖像傳感器101的特性的值，并且是成像設(shè)備的已知的值。降噪強(qiáng)度設(shè)置單元104將作為已知值的a和b保留在未在圖中示出的存儲器等中。這樣，降噪強(qiáng)度設(shè)置單元104可以使用公式I來計(jì)算噪音方差σ U)。
[0056]降噪強(qiáng)度設(shè)置單元104將預(yù)定強(qiáng)度調(diào)整值S乘以噪音方差σ(χ)，以計(jì)算閾值Th。應(yīng)當(dāng)注意，由降噪強(qiáng)度設(shè)置單元104計(jì)算的閾值Th被適當(dāng)?shù)胤Q為閾值Thl。使用閾值Thl來設(shè)置降噪的強(qiáng)度。由降噪強(qiáng)度設(shè)置單元104設(shè)置的降噪的強(qiáng)度被供應(yīng)到降噪強(qiáng)度校正單元 107。
[0057]邊緣率計(jì)算單元105參照關(guān)注的像素以及關(guān)注的像素周圍的像素的亮度的分布來計(jì)算關(guān)注的像素的邊緣率。邊緣率指示邊緣的程度，并且，例如，當(dāng)邊緣率低時(shí),關(guān)注的像素是圖像的平坦部分的像素，當(dāng)邊緣率高時(shí)，關(guān)注的像素是邊緣上的像素。
[0058]用于計(jì)算第一實(shí)施例中的邊緣率的方法未特別地限制。例如，計(jì)算關(guān)注的像素的亮度值與周邊的像素的亮度值之間的差，因此，可以根據(jù)其平均值來決定邊緣率。例如，一維或二維差分濾波器可以被應(yīng)用于在關(guān)注的像素周圍具有預(yù)定大小(例如3X3像素)的區(qū)域，從而決定作為邊緣率的結(jié)果。由邊緣率計(jì)算單元105計(jì)算的邊緣率被供應(yīng)到校正數(shù)據(jù)計(jì)算單元106。
[0059]校正數(shù)據(jù)計(jì)算單元106根據(jù)從邊緣率計(jì)算單元105供應(yīng)的邊緣率來計(jì)算校正數(shù)據(jù)。將在稍后描述校正數(shù)據(jù)的計(jì)算的例子。
[0060]降噪強(qiáng)度校正單元107基于從校正數(shù)據(jù)計(jì)算單元106供應(yīng)的校正數(shù)據(jù)來校正由降噪強(qiáng)度設(shè)置單元104設(shè)置的降噪的強(qiáng)度。降噪強(qiáng)度校正單元107將該校正數(shù)據(jù)乘以例如閾值Thl，從而計(jì)算作為最終的降噪的強(qiáng)度的閾值Th2，從而校正降噪的強(qiáng)度。降噪強(qiáng)度校正單元107將閾值Th2供應(yīng)到噪音去除單元108。
[0061]噪音去除單元108基于閾值Th2來執(zhí)行降噪處理以去除噪音。噪音去除單元108由例如ε濾波器來配置。ε濾波器是二維濾波器，并且具有使用閾值Th2對輸入的圖像數(shù)據(jù)執(zhí)行非線性濾波處理的功能。應(yīng)當(dāng)注意，噪音去除單元108并不限于ε濾波器，只要該單元可以根據(jù)諸如閾值的某些設(shè)置值來改變降噪的強(qiáng)度即可。噪音去除單元108可以是另一種濾波器，例如小波濾波器等。噪音去除單元108將已經(jīng)進(jìn)行了降噪處理的圖像數(shù)據(jù)輸出。
[0062]對從噪音去除單元108輸出的圖像數(shù)據(jù)執(zhí)行照相機(jī)信號處理，諸如:去馬賽克、AF(自動聚焦)、ΑΕ (自動曝光)或者AWB (自動白平衡)。已經(jīng)進(jìn)行了照相機(jī)信號處理的圖像數(shù)據(jù)被供應(yīng)到例如顯示裝置，然后，基于該圖像數(shù)據(jù)，圖像被顯示在圖像裝置上。已經(jīng)進(jìn)行了照相機(jī)信號處理的圖像數(shù)據(jù)可以以預(yù)定格式進(jìn)行壓縮，并且，壓縮的圖像數(shù)據(jù)可以被存儲在存儲器中。
[0063][圖像處理裝置的操作]
[0064]將描述圖像處理裝置I的操作的例子。已經(jīng)描述了緩存存儲器103存儲圖像數(shù)據(jù)，該圖像數(shù)據(jù)包括設(shè)置為關(guān)注的像素的像素，以及在該關(guān)注的像素周圍的3 (像素)Χ3 (像素)的塊。
[0065]降噪強(qiáng)度設(shè)置單元104使用具有3X3像素的塊的圖像數(shù)據(jù)來設(shè)置參照亮度信息Xo關(guān)于參照亮度信息X，例如，關(guān)注的像素的亮度值原樣地被設(shè)置為參照亮度信息X。為了降低噪音的影響，在該塊中的9個(gè)像素的亮度值的平均值或中間值可以被設(shè)置為參照亮度信息X。降噪強(qiáng)度設(shè)置單元104基于公式I使用參照亮度信息X和作為已知值的a和b來計(jì)算噪音方差σ U)。然后，降噪強(qiáng)度設(shè)置單元104基于公式3來計(jì)算基于噪音方差σ(X)的閾值Thl。閾值Thl被供應(yīng)到降噪強(qiáng)度校正單元107。
[0066]與由降噪強(qiáng)度設(shè)置單元104執(zhí)行的處理并行，邊緣率計(jì)算單元105計(jì)算邊緣率。該邊緣率被供應(yīng)到校正數(shù)據(jù)計(jì)算單元106。校正數(shù)據(jù)計(jì)算單元106根據(jù)邊緣率來計(jì)算校正數(shù)據(jù)，然后，將計(jì)算得到的校正數(shù)據(jù)供應(yīng)到降噪強(qiáng)度校正單元107。降噪強(qiáng)度校正單元107基于校正數(shù)據(jù)來校正閾值Thl，并計(jì)算作為最終的降噪強(qiáng)度的閾值Th2。閾值Th2被供應(yīng)到噪音去除單元108。噪音去除單元108基于閾值Th2來執(zhí)行降噪處理。
[0067]當(dāng)對關(guān)注像素執(zhí)行的處理結(jié)束時(shí)，設(shè)置新的關(guān)注像素，并且，重復(fù)如上所述的相同的處理。關(guān)注的像素以例如光柵掃描的順序來設(shè)置。使用在圖像處理裝置I中的處理，獲得了其中噪音被去除或降低的圖像數(shù)據(jù)。
[0068][校正數(shù)據(jù)的例子]
[0069]將描述由校正數(shù)據(jù)計(jì)算單元106計(jì)算的校正數(shù)據(jù)的例子。校正數(shù)據(jù)計(jì)算單元106根據(jù)從邊緣率計(jì)算單元105供應(yīng)的邊緣率，將關(guān)注的像素分類為例如邊緣部分、細(xì)節(jié)部分(具有細(xì)微模式的部分等)、以及平坦部分(其中的圖像很少變化的部分)中的任意一個(gè)。每一種分類都與作為校正數(shù)據(jù)的例子的放大率相關(guān)聯(lián)。放大率被設(shè)置為例如介于O與I之間的預(yù)定值。
[0070]如圖4中所舉例示出的，當(dāng)邊緣率是在從O到低于或等于預(yù)定值Pl的值的范圍中的值時(shí)，例如，其像素被分類到平坦部分中。邊緣部分的分類類別與例如1.0的放大率相關(guān)聯(lián)。當(dāng)邊緣率大于預(yù)定值Pl并且低于或等于預(yù)定值P2時(shí)，其像素被分類到細(xì)節(jié)部分中。細(xì)節(jié)部分與例如0.8的放大率相關(guān)聯(lián)。當(dāng)邊緣率大于預(yù)定值P2時(shí)，其像素被分類到邊緣部分中。邊緣部分與0.5的放大率相關(guān)聯(lián)。
[0071]校正數(shù)據(jù)計(jì)算單元106將根據(jù)分類類別的放大率決定為校正數(shù)據(jù)。應(yīng)當(dāng)注意，像素并不是必須被分類到邊緣部分等中，可以根據(jù)如圖5所示的邊緣率的量級來決定放大率。如圖6所示，放大率可以被設(shè)置為基本上線性地改變到預(yù)定的邊緣率(例如，預(yù)定值P2)，并且，針對預(yù)定或更高的邊緣率，可以被設(shè)置為預(yù)定值(例如，0.5)。該放大率可以通過對邊緣率執(zhí)行預(yù)定的算術(shù)操作來計(jì)算。
[0072]校正數(shù)據(jù)計(jì)算單元106將決定的放大率供應(yīng)到降噪強(qiáng)度校正單元107。降噪強(qiáng)度校正單元107將閾值Thl乘以預(yù)定的放大率，從而計(jì)算閾值Th2。
[0073]由于放大率隨著邊緣率的增大而減小，因此閾值Th2減小。換句話說，降噪的強(qiáng)度降低。通過這種方式，由于校正被執(zhí)行，從而使得降噪的強(qiáng)度隨著邊緣率增大而降低，因此在保持邊緣的同時(shí)可以有效地去除噪音。此外，即使當(dāng)邊緣率高時(shí)，執(zhí)行具有預(yù)定強(qiáng)度的降噪，那么邊緣附近的噪音也可以被去除。已經(jīng)被設(shè)置從而有效地去除對亮度有依賴的噪音分量的降噪的強(qiáng)度可以被校正為適當(dāng)?shù)慕翟霃?qiáng)度，從而保留邊緣。
[0074][處理流程的例子]
[0075]將參照圖7的流程圖描述根據(jù)第一實(shí)施例的由圖像處理裝置I執(zhí)行的處理的流程的例子。應(yīng)當(dāng)注意，處理的一部分將由成像設(shè)備的圖像傳感器或AFE來執(zhí)行。在步驟STlOl中，圖像傳感器101執(zhí)行光電轉(zhuǎn)換處理以獲得模擬圖像數(shù)據(jù)。然后，處理前進(jìn)到步驟ST102。
[0076]在步驟ST102中，AFE102對模擬圖像數(shù)據(jù)執(zhí)行處理。從由AFE102進(jìn)行的處理獲得數(shù)字圖像數(shù)據(jù)。然后，處理前進(jìn)到步驟ST103。
[0077]在步驟ST103中，處理所需大小的數(shù)字圖像數(shù)據(jù)被存儲在緩存存儲器103中。例如，在中心處包括關(guān)注的像素的3X3像素的大小的塊的圖像數(shù)據(jù)被存儲在緩存存儲器103中。當(dāng)然，塊的大小并不限于3X3像素，并且可以被設(shè)置為任意大小。然后，處理前進(jìn)到步驟 ST104。
[0078]在步驟ST104中，降噪的強(qiáng)度由降噪強(qiáng)度設(shè)置單元104來設(shè)置。如上所述，降噪強(qiáng)度設(shè)置單元104設(shè)置參照亮度信息，并使用參照亮度信息等來計(jì)算噪音方差σ(χ)。然后，噪音方差被乘以預(yù)定強(qiáng)度調(diào)整值S，以計(jì)算閾值Thl。閾值Thl被設(shè)置為降噪的強(qiáng)度。然后，處理前進(jìn)到步驟ST105。
[0079]在步驟ST105中，由邊緣率計(jì)算單元105來計(jì)算邊緣率。計(jì)算的邊緣率被供應(yīng)到校正數(shù)據(jù)計(jì)算單元106。然后，處理前進(jìn)到步驟ST106。
[0080]在步驟ST106中，由校正數(shù)據(jù)計(jì)算單元106根據(jù)邊緣率來計(jì)算(決定)校正數(shù)據(jù)。校正數(shù)據(jù)被供應(yīng)到降噪強(qiáng)度校正單元107。處理前進(jìn)到步驟ST107。
[0081]在步驟ST107中，降噪強(qiáng)度校正單元107基于校正數(shù)據(jù)來校正降噪的強(qiáng)度。降噪強(qiáng)度校正單元107將例如作為校正數(shù)據(jù)的例子的預(yù)定放大率乘以閾值Thl，以計(jì)算閾值Th2，并因此校正降噪的強(qiáng)度。閾值Th2被供應(yīng)到噪音去除單元108。然后，處理前進(jìn)到步驟ST108。
[0082]在步驟ST108中，噪音去除單元108基于作為校正的降噪強(qiáng)度的閾值Th2來執(zhí)行降噪處理。盡管未在圖中示出，但是在步驟ST108后，設(shè)置新的關(guān)注的像素，并且從步驟ST104到步驟ST108的處理被重復(fù)。當(dāng)對圖像數(shù)據(jù)中的所有像素的處理都完成時(shí)，處理結(jié)束。
[0083]在圖7中舉例示出的處理的流程中，某些處理可以被并行地執(zhí)行。例如，步驟ST104、步驟ST105和步驟ST106的處理可以被并行地執(zhí)行。
[0084]<2.第二實(shí)施例>
[0085]接下來，將描述本技術(shù)的第二實(shí)施例。根據(jù)第二實(shí)施例的圖像處理裝置2被以與圖像處理裝置I相同的方式構(gòu)建在例如成像設(shè)備中。圖8是用于描述圖像處理裝置2的配置的例子的示圖。應(yīng)當(dāng)注意到，在圖8中，相同的附圖標(biāo)記被賦予與圖像處理裝置I的各部分相同的部分或?qū)?yīng)部分。對賦予相同的附圖標(biāo)記的構(gòu)成元素的重復(fù)的描述將適當(dāng)?shù)厥÷浴?br> [0086]圖像處理裝置2被配置為包括:降噪強(qiáng)度設(shè)置單元104、校正數(shù)據(jù)計(jì)算單元106、降噪強(qiáng)度校正單元107、SAD (絕對差之和)計(jì)算單元201、SAD平均計(jì)算單元202、邊緣率計(jì)算單元203和噪音去除單元204。在各構(gòu)成元素中，某些可以被包括在成像設(shè)備中，或者，不同于舉例說明的構(gòu)成元素的構(gòu)成元素可以被添加到圖像處理裝置2。
[0087]SAD計(jì)算單元201被連接到緩存存儲器103，并且，計(jì)算例如多個(gè)SAD值，每個(gè)SAD值都是基于存儲在緩存存儲器103中的圖像數(shù)據(jù)的預(yù)定估計(jì)值的例子。將在稍后描述SAD值的計(jì)算的例子。SAD計(jì)算單元201被連接到SAD平均計(jì)算單元202，并且，多個(gè)SAD值被從SAD計(jì)算單元201供應(yīng)到SAD平均計(jì)算單元202。SAD計(jì)算單元201被進(jìn)一步連接到噪音去除單元204，并且一個(gè)或多個(gè)SAD值被從SAD計(jì)算單元201供應(yīng)到噪音去除單元204。
[0088]SAD平均計(jì)算單元202計(jì)算從SAD計(jì)算單元201供應(yīng)的SAD值的平均值。計(jì)算的SAD值的平均值被供應(yīng)到邊緣率計(jì)算單元203。
[0089]邊緣率計(jì)算單元203根據(jù)從SAD平均計(jì)算單元202供應(yīng)的SAD值的平均值來計(jì)算邊緣率。例如，其中描述了 SAD值的平均值以及對應(yīng)于SAD值的平均值的邊緣率的表格被保留，并且，邊緣率計(jì)算單元203通過讀取該表格根據(jù)SAD值的平均值來計(jì)算邊緣率。邊緣率可以通過對SAD值的平均值執(zhí)行預(yù)定的算術(shù)操作來計(jì)算。
[0090]應(yīng)當(dāng)注意，邊緣率計(jì)算單元203被連接到緩存存儲器103與噪音去除單元204之間的線，并且，存儲在緩存存儲器103中的圖像數(shù)據(jù)被配置為被供應(yīng)到邊緣率計(jì)算單元203。
[0091]噪音去除單元204基于由降噪強(qiáng)度校正單元107校正的降噪的強(qiáng)度來執(zhí)行降噪處理。噪音去除單元204例如以與噪音去除單元108相同的方式，由ε濾波器來配置。
[0092]噪音去除單元204使用從SAD計(jì)算單元201供應(yīng)的一個(gè)或多個(gè)SAD值來進(jìn)一步執(zhí)行降噪處理。已經(jīng)提出了關(guān)于使用SAD值的降噪處理的各種技術(shù)。作為相關(guān)技術(shù)的一個(gè)例子，在日本未審專利申請公開N0.2009-105533中公開的技術(shù)被舉例說明。該文獻(xiàn)中描述的技術(shù)是，以高速捕獲多個(gè)圖像，基于SAD值來決定多個(gè)圖像的加法比例，并且，根據(jù)加法比例來合成多個(gè)圖像，從而降低噪音。噪音去除單元204基于最終的降噪強(qiáng)度對例如通過重疊多個(gè)圖像所獲得的圖像進(jìn)一步執(zhí)行降噪處理。[0093][圖像處理裝置的操作]
[0094]將描述圖像處理裝置2的操作的例子。將在緩存存儲器103存儲例如7X7像素大小的塊的圖像數(shù)據(jù)的假設(shè)下給出描述。
[0095]降噪強(qiáng)度設(shè)置單元104將存儲在緩存存儲器103中的圖像數(shù)據(jù)中的預(yù)定像素設(shè)置為關(guān)注的像素。降噪強(qiáng)度設(shè)置單元104設(shè)置參照亮度信息X。設(shè)置參照亮度信息X的例子如上所述。
[0096]降噪強(qiáng)度設(shè)置單元104基于公式I使用參照亮度信息X和作為已知值的a和b來計(jì)算噪音方差σ (X)，并基于噪音方差σ (X)來計(jì)算閾值Thl。閾值Thl被供應(yīng)到降噪強(qiáng)度校正單元107。
[0097]SAD計(jì)算單元201使用存儲在緩存存儲器103中的7X7像素大小的塊的圖像數(shù)據(jù)來計(jì)算多個(gè)SAD值。該多個(gè)SAD值被供應(yīng)到SAD平均計(jì)算單元202。SAD平均計(jì)算單元202計(jì)算SAD值的平均值。SAD值的平均值被供應(yīng)到邊緣率計(jì)算單元203。邊緣率計(jì)算單元203根據(jù)SAD值的平均值來計(jì)算邊緣率。計(jì)算的邊緣率被供應(yīng)到校正數(shù)據(jù)計(jì)算單元106。
[0098]校正數(shù)據(jù)計(jì)算單元106根據(jù)邊緣率來生成校正數(shù)據(jù)。校正數(shù)據(jù)被供應(yīng)到降噪強(qiáng)度校正單元107。降噪強(qiáng)度校正單元107基于校正數(shù)據(jù)來校正閾值Thl，并計(jì)算作為最終的降噪強(qiáng)度的閾值Th2。閾值Th2被供應(yīng)到噪音去除單元204。噪音去除單元204使用SAD值和閾值Th2來執(zhí)行降噪處理。
[0099]當(dāng)對關(guān)注像素的處理結(jié)束時(shí)，設(shè)置新的關(guān)注像素，并且，重復(fù)如上所述的相同的處理。關(guān)注的像素以例如光柵掃描的順序來設(shè)置。通過在圖像處理裝置2中執(zhí)行的處理，獲得了其中噪音被去除或降低的圖像數(shù)據(jù)。
[0100][關(guān)于SAD]
[0101]將描述由SAD計(jì)算單元201計(jì)算的SAD值。圖9是用于描述計(jì)算SAD值的例子的示圖。存儲在緩存存儲器103中的圖像數(shù)據(jù)中的預(yù)定像素被設(shè)置為關(guān)注的像素。設(shè)置在中心處包括關(guān)注的像素的3X3像素大小的塊(在下文中，被適當(dāng)?shù)胤Q為目標(biāo)塊)。在緩存存儲器103中存儲的圖像數(shù)據(jù)中，設(shè)置在中心處具有與關(guān)注的像素不同的像素的與目標(biāo)塊相同的大小的塊(在下文中，被適當(dāng)?shù)胤Q為參照塊)。計(jì)算針對這些塊中的所有像素的在目標(biāo)塊中的像素的亮度值與在參照塊中的對應(yīng)像素的亮度值之差的絕對值之和(在下文中，被適當(dāng)?shù)胤Q為絕對差之和)。該絕對差之和對應(yīng)于SAD值。
[0102]多個(gè)SAD值是通過改變參照塊來獲得的。例如，假設(shè)圖10中示出的7X7像素大小的塊的圖像數(shù)據(jù)被存儲在緩存存儲器103中。圖像數(shù)據(jù)的預(yù)定像素被設(shè)置為關(guān)注的像素，并且3X3像素大小的目標(biāo)塊TB設(shè)置在該關(guān)注的像素周圍。應(yīng)當(dāng)注意到，當(dāng)關(guān)注的像素被置于圖像端部時(shí)，目標(biāo)塊TB的大小可以被適當(dāng)?shù)卣{(diào)整。
[0103]在7X7像素的塊中，設(shè)置多個(gè)參照塊。例如設(shè)置三個(gè)參照塊RB (參照塊RB1、參照塊RB2和參照塊RB3)。應(yīng)當(dāng)注意，參照塊的數(shù)量和位置可以被任意地改變。
[0104]SAD計(jì)算單元201對目標(biāo)塊TB以及三個(gè)參照塊執(zhí)行SAD值的算術(shù)操作處理，以計(jì)算三個(gè)SAD值。這三個(gè)SAD值被供應(yīng)到SAD平均計(jì)算單元202。SAD平均計(jì)算單元202計(jì)算這三個(gè)SAD值的平均值。這三個(gè)SAD值的平均值被供應(yīng)到邊緣率計(jì)算單元203。
[0105]這里，SAD值的高平均值意味著塊的差大，換句話說，像素是邊緣的可能性高。這樣，邊緣率計(jì)算單元203計(jì)算邊緣率，從而使得隨著SAD值的平均值的增大，邊緣率增大。[0106]通過校正數(shù)據(jù)計(jì)算單元106來計(jì)算放大率，從而使得隨著邊緣率增大，作為校正數(shù)據(jù)的例子的放大率減小。降噪強(qiáng)度校正單元107根據(jù)由校正數(shù)據(jù)計(jì)算單元106計(jì)算的放大率來校正降噪的強(qiáng)度。換句話說，校正降噪的強(qiáng)度，從而使得隨著邊緣率增大，降噪強(qiáng)度降低?；谛Ｕ慕翟氲膹?qiáng)度，由噪音去除單元204執(zhí)行降噪處理。換句話說，在保持邊緣的同時(shí)，可以有效地去除或降低噪音。
[0107]以這種方式，根據(jù)第二實(shí)施例的圖像處理裝置2使用每個(gè)都是估計(jì)值的例子的SAD值來計(jì)算邊緣率。通過基于多個(gè)SAD值的平均來計(jì)算邊緣率，可以以高精度計(jì)算邊緣率。
[0108]此外，在成像設(shè)備等中，當(dāng)其中使用了 SAD值的任何處理(該處理不必限定于降噪處理，而可以是用于生成深度圖的處理或用于獲得運(yùn)動向量的處理)被執(zhí)行時(shí)，SAD值可以被用于計(jì)算邊緣率的處理中，并且，不需要將用于計(jì)算SAD值的配置新添加到該處理。出于這一原因，在不增加電路的大小的情況下，可以執(zhí)行有效的降噪處理。
[0109][處理的流程]
[0110]將參照圖11中示出的流程圖描述根據(jù)第二實(shí)施例的在圖像處理裝置2中執(zhí)行的處理的流程的例子。應(yīng)當(dāng)注意，處理的一部分由成像設(shè)備的圖像傳感器或AFE來執(zhí)行。在步驟ST201中，圖像傳感器101執(zhí)行光電轉(zhuǎn)換處理以獲取模擬圖像數(shù)據(jù)。然后，處理前進(jìn)到步驟ST202。
[0111]在步驟ST202中，AFE102對模擬圖像數(shù)據(jù)執(zhí)行處理。從由AFE102執(zhí)行的處理獲得數(shù)字圖像數(shù)據(jù)。然后，處理前進(jìn)到步驟ST203。
[0112]在步驟ST203中，處理所需大小的數(shù)字圖像數(shù)據(jù)被存儲在緩存存儲器103中。7 X 7像素大小的塊的圖像數(shù)據(jù)被存儲在緩存存儲器103中。當(dāng)然，塊大小并不限于7X7像素的大小，并且可以被設(shè)置為任意大小。然后，處理前進(jìn)到步驟ST204。
[0113]在步驟ST204中，降噪的強(qiáng)度由降噪強(qiáng)度設(shè)置單元104來設(shè)置。如上所述，降噪強(qiáng)度設(shè)置單元104設(shè)置參照亮度信息，并使用參照亮度信息等來計(jì)算噪音方差σ(χ)。然后，噪音方差σ (X)被乘以預(yù)定強(qiáng)度調(diào)整值S，以計(jì)算閾值Thl。閾值Thl被設(shè)置為降噪的強(qiáng)度。然后，處理前進(jìn)到步驟ST205。
[0114]在步驟ST205中，由SAD計(jì)算單元201來計(jì)算多個(gè)SAD值。該多個(gè)SAD值被供應(yīng)到SAD平均計(jì)算單元202。然后，處理前進(jìn)到步驟ST206。
[0115]在步驟ST206中，由SAD平均計(jì)算單元202來計(jì)算SAD值的平均值。SAD值的平均值被供應(yīng)到邊緣率計(jì)算單元105。然后，處理前進(jìn)到步驟ST207。
[0116]在步驟ST207中，由邊緣率計(jì)算單元203來計(jì)算邊緣率。邊緣率計(jì)算單元203基于SAD值的平均值來計(jì)算邊緣率。該邊緣率被供應(yīng)到校正數(shù)據(jù)計(jì)算單元106。然后，處理前進(jìn)到步驟ST208。
[0117]在步驟ST208中，通過校正數(shù)據(jù)計(jì)算單元106來計(jì)算校正數(shù)據(jù)。校正數(shù)據(jù)計(jì)算單元106根據(jù)邊緣率來計(jì)算放大率，然后，將指示計(jì)算得到的放大率的信息供應(yīng)到降噪強(qiáng)度校正單元107。然后，處理前進(jìn)到步驟ST209。
[0118]在步驟ST209中，基于校正數(shù)據(jù)來校正降噪的強(qiáng)度。通過將閾值Thl乘以預(yù)定放大率來計(jì)算作為最終降噪的強(qiáng)度的閾值Th2，降噪強(qiáng)度校正單元107校正降噪的強(qiáng)度。閾值Th2被供應(yīng)到噪音去除單元204。然后，處理前進(jìn)到步驟ST210。[0119]在步驟ST210中，噪音去除單元210基于作為校正的降噪強(qiáng)度的閾值Th2來執(zhí)行降噪處理。盡管未在圖中示出，但是在步驟ST210后，設(shè)置新的關(guān)注的像素，并且從步驟ST204到步驟ST210的處理被重復(fù)。當(dāng)針對圖像數(shù)據(jù)的所有像素的處理都完成時(shí)，處理結(jié)束。
[0120]在圖11中舉例示出的處理的流程中，某些處理可以被并行地執(zhí)行。例如，步驟ST204、步驟ST205、步驟ST206、步驟ST207和步驟ST208的處理可以被并行地執(zhí)行。
[0121]〈3.第三實(shí)施例〉
[0122]接下來，將描述第三實(shí)施例。根據(jù)第三實(shí)施例的圖像處理裝置3被以與圖像處理裝置2相同的方式構(gòu)建在例如成像設(shè)備中。圖12是用于描述圖像處理裝置3的配置的例子的示圖。應(yīng)當(dāng)注意到，在圖12中，相同的附圖標(biāo)記被賦予與圖像處理裝置2的各部分相同的部分或?qū)?yīng)部分。對賦予相同的附圖標(biāo)記的構(gòu)成元素的重復(fù)的描述將適當(dāng)?shù)厥÷浴?br> [0123]圖像處理裝置3以與圖像處理裝置2基本相同的方式配置。與圖像處理裝置2不同之處在于，提供邊緣率計(jì)算單元301而不是邊緣率計(jì)算單元105,并且該邊緣率計(jì)算單元301被連接在降噪強(qiáng)度設(shè)置單元104與降噪強(qiáng)度校正單元107之間。換句話說，圖像處理裝置3被配置為使得閾值Thl被從降噪強(qiáng)度設(shè)置單元104供應(yīng)到邊緣率計(jì)算單元301。
[0124]如上所述，在圖像處理裝置2中，邊緣率被設(shè)計(jì)為根據(jù)SAD值的平均值來計(jì)算。同時(shí)，隨著計(jì)算了 SAD值的圖像數(shù)據(jù)中的平坦部分的亮度提高，SAD值傾向于增大。這是由于出現(xiàn)在圖像傳感器101中的光散粒噪音的大小與亮度的平方基本上成比例地增加。換句話說，由于存在在具有高亮度的位置中噪音的振幅高的情況，因此，即使該位置最初不是邊緣或者在邊緣附近，那么SAD值也增大。出于這一原因，確定邊緣率的精度降低。這樣，在第三實(shí)施例中，出于消除噪音對亮度的依賴的目的，執(zhí)行用于歸一化SAD值的平均的處理。
[0125]例如，通過將SAD值的平均值除以包括亮度的平方的分量的閾值Thl，邊緣率計(jì)算單元301歸一化SAD值的平均值。根據(jù)該歸一化處理的結(jié)果，計(jì)算邊緣率。由于其它處理與圖像處理裝置2的處理相同，因此省略重復(fù)的描述。
[0126]在歸一化處理中，使用了計(jì)算用來設(shè)置降噪的強(qiáng)度的閾值Thl。換句話說，在不添加用于計(jì)算歸一化處理所需的參數(shù)的新的配置的情況下，可以防止電路等的尺度的增加。此外，由于計(jì)算邊緣率的精度提高，因此可以防止在例如不是邊緣的位置的位置中的降噪的強(qiáng)度的減低。
[0127][處理的流程]
[0128]將參照圖13中示出的流程圖描述根據(jù)第三實(shí)施例的在圖像處理裝置3中執(zhí)行的處理的流程的例子。應(yīng)當(dāng)注意，處理的一部分由成像設(shè)備的圖像傳感器或AFE來執(zhí)行。在步驟ST301中，由圖像傳感器101執(zhí)行光電轉(zhuǎn)換處理以獲取模擬圖像數(shù)據(jù)。然后，處理前進(jìn)到步驟ST302。
[0129]在步驟ST302中，AFE102對模擬圖像數(shù)據(jù)執(zhí)行處理。從由AFE102進(jìn)行的處理獲得數(shù)字圖像數(shù)據(jù)。然后，處理前進(jìn)到步驟ST303。
[0130]在步驟ST303中，處理所需大小的數(shù)字圖像數(shù)據(jù)被存儲在緩存存儲器103中。例如，7X7像素大小的塊的圖像數(shù)據(jù)被存儲在緩存存儲器103中。當(dāng)然，塊的大小并不限于7X7像素的大小，并且可以被設(shè)置為任意大小。然后，處理前進(jìn)到步驟ST304。
[0131]在步驟ST304中，降噪強(qiáng)度由降噪強(qiáng)度設(shè)置單元104來設(shè)置。如上所述，降噪強(qiáng)度設(shè)置單元104設(shè)置參照亮度信息，并使用參照亮度信息等來計(jì)算噪音方差σ(χ)。然后，噪音方差σ (X)被乘以預(yù)定強(qiáng)度調(diào)整值S，以計(jì)算閾值Thl。閾值Thl被設(shè)置為降噪的強(qiáng)度。然后，處理前進(jìn)到步驟ST305。
[0132]在步驟ST305中，由SAD計(jì)算單元201來計(jì)算多個(gè)SAD值。該多個(gè)SAD值被供應(yīng)到SAD平均計(jì)算單元202。然后，處理前進(jìn)到步驟ST306。
[0133]在步驟ST306中，由SAD平均計(jì)算單元202來計(jì)算SAD值的平均值。SAD值的平均值被供應(yīng)到邊緣率計(jì)算單元301。然后，處理前進(jìn)到步驟ST307。
[0134]在步驟ST307中，由邊緣率計(jì)算單元301來計(jì)算邊緣率。邊緣率計(jì)算單元301使用閾值Thl來執(zhí)行用于歸一化SAD值的平均值的處理。邊緣率計(jì)算單元301將SAD值的平均值除以例如作為由降噪強(qiáng)度設(shè)置單元104設(shè)置的降噪強(qiáng)度的閾值Thl。邊緣率計(jì)算單元301根據(jù)在歸一化處理中計(jì)算的值來計(jì)算邊緣率。該邊緣率被供應(yīng)到校正數(shù)據(jù)計(jì)算單元
106。然后，處理前進(jìn)到步驟ST308。
[0135]在步驟ST308中，通過校正數(shù)據(jù)計(jì)算單元106來計(jì)算校正數(shù)據(jù)。校正數(shù)據(jù)計(jì)算單元106根據(jù)邊緣率來計(jì)算放大率，并且，將指示計(jì)算得到的放大率的信息供應(yīng)到降噪強(qiáng)度校正單元107。然后，處理前進(jìn)到步驟ST309。
[0136]在步驟ST309中，基于校正數(shù)據(jù)來校正降噪的強(qiáng)度。通過將閾值Thl乘以預(yù)定放大率來計(jì)算作為最終降噪的強(qiáng)度的閾值Th2，降噪強(qiáng)度校正單元107校正降噪的強(qiáng)度。閾值Th2被供應(yīng)到噪音去除單元204。然后，處理前進(jìn)到步驟ST310。
[0137]在步驟ST310中，噪音去除單元210基于作為校正的降噪強(qiáng)度的閾值Th2來執(zhí)行降噪處理。盡管未在圖中示出，但是在步驟ST310后，設(shè)置新的關(guān)注的像素，并且從步驟ST304到步驟ST310的處理被重復(fù)。當(dāng)針對圖像數(shù)據(jù)的所有像素的處理都完成時(shí)，處理結(jié)束。
[0138]在圖13中舉例示出的處理的流程中，某些處理可以被并行地執(zhí)行。例如，步驟ST304、步驟ST305和步驟ST306的處理可以被并行地執(zhí)行。
[0139]〈4.變型例〉
[0140]在上文中，已經(jīng)描述了本公開的實(shí)施例，但是本公開并不限于上述實(shí)施例，并且可以進(jìn)行各種修改。在下文中，將描述多個(gè)變型例。
[0141][第一變型例]
[0142]根據(jù)本公開實(shí)施例的圖像處理裝置并不是必須被構(gòu)建在成像設(shè)備中。例如，圖像處理裝置可以被配置為諸如個(gè)人計(jì)算機(jī)或智能電話的裝置的一部分。圖14是用于描述第一變型例的示圖。在圖14中，相同的附圖標(biāo)記被賦予與圖像處理裝置I的各部分相同的部分或?qū)?yīng)部分。對賦予相同的附圖標(biāo)記的構(gòu)成元素的重復(fù)的描述將適當(dāng)?shù)厥÷浴?br> [0143]在圖14中的附圖標(biāo)記401指示接口。需要處理的圖像數(shù)據(jù)通過接口 401來獲取，并且獲取到的圖像數(shù)據(jù)被寫入到緩存存儲器103中。通過接口 401獲取的圖像數(shù)據(jù)是存儲在可以自由地連接或拆卸的存儲器中的圖像數(shù)據(jù)、從互聯(lián)網(wǎng)下載的圖像數(shù)據(jù)等。對被寫入到緩存存儲器103的圖像數(shù)據(jù)執(zhí)行例如與圖像處理裝置I中執(zhí)行的降噪處理相同的降噪處理。
[0144]接口 401被連接到圖像處理裝置4的降噪強(qiáng)度設(shè)置單元104。關(guān)于基于圖像傳感器的特性決定的a和b的信息被從接口 401獲取，并且該信息被供應(yīng)到降噪強(qiáng)度設(shè)置單元104。降噪強(qiáng)度設(shè)置單元104基于上述的公式I來執(zhí)行算術(shù)操作，以根據(jù)從接口 401供應(yīng)的a和b的信息和參照亮度信息X來計(jì)算閾值Thl。
[0145][第二變型例]
[0146]可以針對每個(gè)預(yù)定頻帶來分割圖像數(shù)據(jù)，并且，可以根據(jù)針對每個(gè)頻帶設(shè)置的降噪的強(qiáng)度來執(zhí)行降噪處理。圖15是用于描述根據(jù)變型例的圖像處理裝置5的配置的例子的示圖。在圖15中，相同的附圖標(biāo)記被賦予與圖像處理裝置I的各部分相同的部分或?qū)?yīng)部分。對賦予相同的附圖標(biāo)記的構(gòu)成元素的重復(fù)的描述將適當(dāng)?shù)厥÷浴?br> [0147]圖像處理裝置5被配置為除了邊緣率計(jì)算單元105和校正數(shù)據(jù)計(jì)算單元106以夕卜，還包括:降噪強(qiáng)度設(shè)置單元501、降噪強(qiáng)度校正單元502、帶分割單元(帶分割濾波器)503、噪音去除單元504、另一個(gè)噪音去除單元505、另一個(gè)噪音去除單元506、以及帶合成單元507。在各構(gòu)成元素中，某些可以被包括在成像設(shè)備中，或者，不同于舉例說明的構(gòu)成元素的構(gòu)成元素可以被添加到圖像處理裝置5。
[0148]降噪強(qiáng)度設(shè)置單元501設(shè)置針對每個(gè)帶的降噪強(qiáng)度。例如，通過針對每個(gè)帶來改變上述的公式3中的強(qiáng)度調(diào)整值S，可以計(jì)算針對每個(gè)帶的閾值。例如，分別計(jì)算針對高頻帶的閾值ThlO、針對中間頻帶的閾值Th20、以及針對低頻帶的閾值Th30。每個(gè)閾值都被供應(yīng)到降噪強(qiáng)度校正單元502。
[0149]降噪強(qiáng)度校正單元502基于從校正數(shù)據(jù)計(jì)算單元106供應(yīng)的校正數(shù)據(jù)來校正閾值Thl0、Th20和Th30中的每一個(gè)。例如，從校正數(shù)據(jù)計(jì)算單元106供應(yīng)的預(yù)定放大率被分別乘以閾值ThlO、Th20和Th30。
[0150]閾值Thll是通過將預(yù)定放大率乘以閾值ThlO計(jì)算得到的。閾值Thll被供應(yīng)到噪音去除單元504。閾值Th21是通過將預(yù)定放大率乘以閾值Th20計(jì)算得到的。閾值Th21被供應(yīng)到噪音去除單元505。閾值Th31是通過將預(yù)定放大率乘以閾值Th30計(jì)算得到的。閾值Th31被供應(yīng)到噪音去除單元506。
[0151]帶分割單元503針對每個(gè)頻帶將存儲在緩存存儲器103中的圖像數(shù)據(jù)進(jìn)行分割。帶分割單元503將圖像數(shù)據(jù)分割為例如用于三個(gè)頻帶的數(shù)據(jù)，這三個(gè)頻帶包括:高頻帶、中間頻帶和低頻帶。當(dāng)然，圖像數(shù)據(jù)可以被更精細(xì)地分割。高頻帶的圖像數(shù)據(jù)被供應(yīng)到噪音去除單元504。中間頻帶的圖像數(shù)據(jù)被供應(yīng)到噪音去除單元505。低頻帶的圖像數(shù)據(jù)被供應(yīng)到噪音去除單元506。
[0152]噪音去除單元504基于閾值Thll來執(zhí)行降噪處理。噪音去除單元505基于閾值Th21來執(zhí)行降噪處理。噪音去除單元506基于閾值Th31來執(zhí)行降噪處理。
[0153]帶合成單元507對已經(jīng)通過每個(gè)噪音去除單元進(jìn)行了降噪處理的每個(gè)分量的圖像數(shù)據(jù)進(jìn)行合成。以這種方式，降噪的強(qiáng)度可以在降噪處理中針對每個(gè)帶進(jìn)行設(shè)置。
[0154][第三變型例]
[0155]圖16示出根據(jù)變型例的圖像處理裝置6的配置的例子。在圖16中，相同的附圖標(biāo)記被賦予與圖像處理裝置2的各部分相同的部分或?qū)?yīng)部分。對賦予相同的附圖標(biāo)記的構(gòu)成元素的重復(fù)的描述將適當(dāng)?shù)厥÷浴?br> [0156]圖像處理裝置6具有這樣的配置，其中，在圖像處理裝置2中執(zhí)行的降噪處理針對每個(gè)帶來執(zhí)行。此外，在圖像處理裝置6中，可以針對每個(gè)帶生成校正數(shù)據(jù)。
[0157]圖像處理裝置6被配置為除了 SAD計(jì)算單元201、SAD平均計(jì)算單元202和邊緣率計(jì)算單元203以外，還包括:降噪強(qiáng)度設(shè)置單元601、校正數(shù)據(jù)計(jì)算單元602、降噪強(qiáng)度校正單元603、帶分割單元(帶分割濾波器)604、噪音去除單元605、另一個(gè)噪音去除單元606、另一個(gè)噪音去除單元607、以及帶合成單元608。
[0158]降噪強(qiáng)度設(shè)置單元601以與降噪強(qiáng)度設(shè)置單元501相同的方式計(jì)算針對每個(gè)帶的閾值ThlO、Th20和Th30。閾值ThlO、Th20和Th30被供應(yīng)到降噪強(qiáng)度校正單元603。
[0159]校正數(shù)據(jù)計(jì)算單元602根據(jù)從邊緣率計(jì)算單元203供應(yīng)的邊緣率來計(jì)算針對每個(gè)帶的校正數(shù)據(jù)。當(dāng)邊緣率高時(shí)，例如，針對高頻帶的放大率被降低。當(dāng)邊緣率低于或等于閾值時(shí)，其像素可以被認(rèn)為是平坦部分，并且，在不針對每個(gè)帶進(jìn)行區(qū)分的情況下，可以設(shè)置一個(gè)放大率。作為用于高頻帶的放大率，計(jì)算放大率Ml。作為用于中間頻帶的放大率，計(jì)算放大率M2。作為用于低頻帶的放大率，計(jì)算放大率M3。放大率Ml、M2和M3被供應(yīng)到降噪強(qiáng)度校正單元603。
[0160]通過將作為校正數(shù)據(jù)的例子的放大率乘以閾值，降噪強(qiáng)度校正單元603校正降噪強(qiáng)度。放大率Ml被乘以閾值ThlO，以計(jì)算閾值Thl2。閾值Thl2被供應(yīng)到噪音去除單元605。放大率M2被乘以閾值Th20，以計(jì)算閾值Th22。閾值Th22被供應(yīng)到噪音去除單元606。放大率M3被乘以閾值Th30，以計(jì)算閾值Th32。閾值Th32被供應(yīng)到噪音去除單元607。
[0161]帶分割單元604針對每個(gè)頻帶將存儲在緩存存儲器103中的圖像數(shù)據(jù)進(jìn)行分割。帶分割單元604將圖像數(shù)據(jù)分割為例如用于三個(gè)頻帶的數(shù)據(jù)，這三個(gè)頻帶包括:高頻帶、中間頻帶和低頻帶。當(dāng)然，圖像數(shù)據(jù)可以被更精細(xì)地分割。高頻帶的圖像數(shù)據(jù)被供應(yīng)到噪音去除單元605。中間頻帶的圖像數(shù)據(jù)被供應(yīng)到噪音去除單元606。低頻帶的圖像數(shù)據(jù)被供應(yīng)到噪音去除單元607。
[0162]噪音去除單元605基于閾值Thl2和從SAD計(jì)算單元201供應(yīng)的SAD值來執(zhí)行降噪處理。噪音去除單元606基于閾值Th22和從SAD計(jì)算單元201供應(yīng)的SAD值來執(zhí)行降噪處理。噪音去除單元607基于閾值Th32和從SAD計(jì)算單元201供應(yīng)的SAD值來執(zhí)行降噪處理。
[0163]帶合成單元608對已經(jīng)通過每個(gè)噪音去除單元進(jìn)行了降噪處理的每個(gè)分量的圖像數(shù)據(jù)進(jìn)行合成。以這種方式，可以針對每個(gè)帶來計(jì)算校正數(shù)據(jù)，并且，因此，針對每個(gè)帶的降噪的強(qiáng)度可以使用對應(yīng)于每個(gè)帶的校正數(shù)據(jù)來得以校正。在第三實(shí)施例中描述的在圖像處理裝置3中執(zhí)行的處理可以針對每個(gè)帶來執(zhí)行。
[0164][另一個(gè)變型例]
[0165]將描述另一個(gè)變型例。在上述的實(shí)施例中，SAD被用作估計(jì)值的例子，但是也可以使用其它的估計(jì)值。例如，作為設(shè)置在對應(yīng)位置中的像素的亮度值之間的平方差的和的SSD(平方差之和)可以被用作估計(jì)值。但是，如上所述，當(dāng)在成像設(shè)備中執(zhí)行使用SAD的處理時(shí)，可以使用SAD來計(jì)算邊緣率，因此，SAD被優(yōu)選地用作估計(jì)值。
[0166]應(yīng)當(dāng)注意，在其中不會出現(xiàn)技術(shù)矛盾的范圍內(nèi)，在實(shí)施例和變型例中示出的配置和處理可以被適當(dāng)?shù)亟M合。在其中不會出現(xiàn)技術(shù)矛盾的范圍內(nèi)，在舉例說明的處理流程中的每個(gè)處理的順序可以被適當(dāng)?shù)馗淖儭４送?，在?shí)施例和變型例中示出的數(shù)值、對象等都是例子，并且，本公開并不限于這些實(shí)施例的數(shù)值等。
[0167]例如，在第三實(shí)施例中描述的歸一化處理可以被設(shè)計(jì)為在第二實(shí)施例的圖像處理裝置2中執(zhí)行。圖像處理裝置2的邊緣率計(jì)算單元203被連接到緩存存儲器103與噪音去除單元204之間的線。出于這一原因，邊緣率計(jì)算單元203可以獲得關(guān)注的像素的亮度值。邊緣率計(jì)算單元203計(jì)算關(guān)注的像素的亮度值的平方根。該歸一化處理可以被設(shè)計(jì)為通過將從SAD平均計(jì)算單元202供應(yīng)的SAD值的平均值除以關(guān)注的像素的亮度值的平方根來執(zhí)行。該歸一化處理可以被設(shè)計(jì)為通過下面處理來執(zhí)行:計(jì)算關(guān)注的像素以及在關(guān)注的像素周圍的預(yù)定塊中的像素的亮度值的平均(平均亮度)，然后將SAD值的平均值除以平均亮度的平方根。
[0168]本公開還可以應(yīng)用于所謂的云系統(tǒng)，其中，舉例說明的處理以分布式方式由多個(gè)裝置來執(zhí)行。本公開可以被實(shí)現(xiàn)為執(zhí)行在實(shí)施例和變型例中舉例說明的處理的系統(tǒng)，該系統(tǒng)是至少執(zhí)行某些舉例說明的處理的裝置。
[0169]此外，本公開并不限于裝置，并且可以被實(shí)現(xiàn)為方法、程序或記錄介質(zhì)。這樣的程序被存儲在包括在圖像處理裝置中的諸如ROM (只讀存儲器)等的存儲器中。
[0170]本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，只要在附錄的權(quán)利要求書或其等價(jià)物的范圍之內(nèi)，就可以根據(jù)設(shè)計(jì)要求和其它因素進(jìn)行各種修改、合并、子合并和改變。
[0171]另外，本技術(shù)還可以被配置如下。
[0172](I)—種圖像處理裝置，包括:
[0173]降噪強(qiáng)度設(shè)置單元，設(shè)置用于去除預(yù)定的噪音分量的降噪的強(qiáng)度；以及
[0174]降噪強(qiáng)度校正單元，基于根據(jù)邊緣率獲得的校正數(shù)據(jù)來校正降噪的強(qiáng)度。
[0175]( 2 )根據(jù)(I)所述的圖像處理裝置，還包括:
[0176]邊緣率計(jì)算單元,基于預(yù)定的估計(jì)值來計(jì)算邊緣率。
[0177](3)根據(jù)(2)所述的圖像處理裝置，其中，預(yù)定的估計(jì)值是基于第一塊與第二塊之間的SAD (絕對差之和)值來設(shè)置的，該第一塊是在關(guān)注的像素周圍以預(yù)定大小設(shè)置的，該第二塊是在不同于關(guān)注的像素的像素周圍以與預(yù)定大小相同的大小設(shè)置的。
[0178](4)根據(jù)(3)所述的圖像處理裝置，
[0179]其中，計(jì)算第一塊與多個(gè)第二塊中的每一個(gè)之間的SAD的值，并且，
[0180]其中，預(yù)定的估計(jì)值是通過對多個(gè)SAD的值進(jìn)行平均獲得的值。
[0181](5)根據(jù)(4)所述的圖像處理裝置，
[0182]其中，噪音分類具有對圖像數(shù)據(jù)的輸入電平的依賴性，并且，
[0183]其中，預(yù)定的估計(jì)值是以取消對圖像數(shù)據(jù)的輸入電平的依賴性的方式，對通過對多個(gè)SAD的值進(jìn)行平均獲得的值進(jìn)行歸一化來獲得的。
[0184](6)根據(jù)(4)所述的圖像處理裝置，其中，當(dāng)關(guān)于預(yù)定噪音分量的圖像數(shù)據(jù)的輸入電平X的平均噪音振幅是使用下列公式來建模時(shí)，該預(yù)定的估計(jì)值是通過將SAD的值的平均除以基于O (X)的值而獲得的值，或者，通過將SAD的值的平均除以基于X的值而獲得的值，該公式使用與對圖像數(shù)據(jù)的輸入電平具有依賴性的噪音分量相對應(yīng)的常數(shù)a、以及與對圖像數(shù)據(jù)的輸入電平不具有依賴性的噪音分量相對應(yīng)的常數(shù)b
[0185]
【權(quán)利要求】
1.一種圖像處理裝置，包括: 降噪強(qiáng)度設(shè)置單元，設(shè)置用于去除預(yù)定噪音分量的降噪的強(qiáng)度；以及 降噪強(qiáng)度校正單元，基于根據(jù)邊緣率獲得的校正數(shù)據(jù)來校正降噪的強(qiáng)度。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，還包括: 邊緣率計(jì)算單元，基于預(yù)定的估計(jì)值來計(jì)算邊緣率。
3.根據(jù)權(quán)利要求2所述的圖像處理裝置，其中，所述預(yù)定的估計(jì)值是基于第一塊與第二塊之間的SAD值來設(shè)置的，所述第一塊是在關(guān)注的像素周圍以預(yù)定大小設(shè)置的，所述第二塊是在不同于關(guān)注的像素的像素周圍以與所述預(yù)定大小相同的大小設(shè)置的，其中，SAD是絕對差之和。
4.根據(jù)權(quán)利要求3所述的圖像處理裝置， 其中，計(jì)算第一塊與多個(gè)第二塊中的每一個(gè)之間的SAD的值，并且， 其中，所述預(yù)定的估計(jì)值是通過對多個(gè)SAD的值進(jìn)行平均獲得的值。
5.根據(jù)權(quán)利要求4所述的圖像處理裝置， 其中，噪音分量具有對圖像數(shù)據(jù)的輸入電平的依賴性，并且， 其中，所述預(yù)定的估計(jì)值是以取消對圖像數(shù)據(jù)的輸入電平的依賴性的方式，對通過對所述多個(gè)SAD的值進(jìn)行平均獲得的值進(jìn)行歸一化來獲得的。
6.根據(jù)權(quán)利要求4所述的圖像處理裝置，其中，當(dāng)關(guān)于所述預(yù)定噪音分量的圖像數(shù)據(jù)的輸入電平X的平均噪音振幅是使用下列公式來建模時(shí)，所述預(yù)定的估計(jì)值是通過將SAD的值的平均除以基于σ (X)的值而獲得的值，或者，通過將SAD的值的平均除以基于X的值而獲得的值，該公式使用與對圖像數(shù)據(jù)的輸入電平具有依賴性的噪音分量相對應(yīng)的常數(shù)a、以及與對圖像數(shù)據(jù)的輸入電平不具有依賴性的噪音分量相對應(yīng)的常數(shù)b
7.根據(jù)權(quán)利要求1所述的圖像處理裝置， 其中，降噪強(qiáng)度設(shè)置單元設(shè)置圖像數(shù)據(jù)的每個(gè)帶的降噪的強(qiáng)度，并且， 其中，降噪強(qiáng)度校正單元基于校正數(shù)據(jù)來校正每個(gè)帶的降噪的強(qiáng)度。
8.根據(jù)權(quán)利要求1所述的圖像處理裝置， 其中，降噪強(qiáng)度設(shè)置單元設(shè)置圖像數(shù)據(jù)的每個(gè)帶的降噪的強(qiáng)度，并且， 其中，基于根據(jù)邊緣率獲得的每個(gè)帶的校正數(shù)據(jù)，降噪強(qiáng)度校正單元校正每個(gè)帶的降噪的強(qiáng)度。
9.一種圖像處理裝置，包括: 降噪強(qiáng)度設(shè)置單元，設(shè)置用于去除預(yù)定的噪音分量的降噪的強(qiáng)度； 邊緣率計(jì)算單元，基于預(yù)定的估計(jì)值來計(jì)算邊緣率； 降噪強(qiáng)度校正單元，根據(jù)邊緣率來校正降噪的強(qiáng)度；以及 噪音去除單元，去除噪音分量， 其中，所述預(yù)定的估計(jì)值是基于第一塊與第二塊之間的SAD的值來設(shè)置的，該第一塊是在關(guān)注的像素周圍以預(yù)定大小設(shè)置的，該第二塊是在不同于關(guān)注的像素的像素周圍以與所述預(yù)定大小相同的大小設(shè)置的，并且，其中，噪音去除單元基于校正的降噪強(qiáng)度和SAD的值來去除噪音分量。
10.一種圖像處理裝置中的圖像處理方法，該方法包括: 設(shè)置用于去除預(yù)定噪音分量的降噪的強(qiáng)度；以及 根據(jù)邊緣率來校正降噪的強(qiáng)度。
11.一種用于使計(jì)算機(jī)執(zhí)行圖像處理裝置中的圖像處理方法的程序，該方法包括: 設(shè)置用于去除預(yù)定噪音分量的降噪的強(qiáng)度；以及 根據(jù)邊緣率來校正降噪的強(qiáng)度。
12.—種成像設(shè)備，包括: 成像單元； 降噪強(qiáng)度設(shè)置單元，設(shè)置用于去除預(yù)定的噪音分量的降噪的強(qiáng)度； 降噪強(qiáng)度校正單元，基于根據(jù)邊緣率獲得的校正數(shù)據(jù)來校正降噪的強(qiáng)度；以及 噪音去除單元，基于校正的降噪強(qiáng)度來對通過成像單元獲取的圖像數(shù)據(jù)執(zhí)行降噪處理。
【文檔編號】H04N5/357GK103581633SQ201310296619
【公開日】2014年2月12日 申請日期:2013年7月16日 優(yōu)先權(quán)日:2012年7月24日
【發(fā)明者】川口勇輝, 小磯學(xué), 松下伸行 申請人:索尼公司