專利名稱：噪聲減少設(shè)備、噪聲減少方法、噪聲減少程序和記錄介質(zhì)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及噪聲減少裝置和噪聲減少方法，用于減少彩色圖像中的噪聲。并且本發(fā)明還涉及用于此的程序和記錄介質(zhì)。
背景技術(shù)：
由圖像拾取設(shè)備如掃描儀和數(shù)字照相機(jī)等拾取的圖像包含由于圖像拾取設(shè)備和電流的特性導(dǎo)致的噪聲，例如暗電流噪聲、熱噪聲和散粒噪聲。為了獲得高質(zhì)量的圖像，必須執(zhí)行用于減少上述噪聲的處理。然而，如果簡單地通過使用低通濾波器來減少噪聲，則同時(shí)會(huì)丟失重要的要素，例如被人們用以感知圖像的邊緣，這導(dǎo)致了圖像質(zhì)量的劣化。由此， 需要用于依據(jù)圖像的區(qū)域的特性來減少噪聲的技術(shù)。作為一種這樣的噪聲減少技術(shù)，已提出了 ε濾波器(參閱例如，非專利文獻(xiàn)1)。 ε濾波器使用與關(guān)注像素的信號(hào)差值少于或等于特定閾值的外圍像素來執(zhí)行濾波處理，這使得可以在減少噪聲同時(shí)保留成分，例如具有大的信號(hào)差值的邊緣。此外，還提出了使用雙邊濾波器的噪聲減少技術(shù)(參閱例如，非專利文獻(xiàn)2)。雙邊濾波器基于對(duì)于關(guān)注噪聲的信號(hào)差值和空間差值產(chǎn)生濾波器的加權(quán)系數(shù)來執(zhí)行濾波處理， 這使得可以如在ε濾波器情況下那樣在減少噪聲的同時(shí)保留邊緣。值得注意的是，除了上述技術(shù)外，還已提出了基于符合雙邊濾波器的原理的減少噪聲的技術(shù)(參閱例如，專利文獻(xiàn)1和2)。然而，ε濾波器和雙邊濾波器存在以下問題很可能丟失背景部分中的具有小的振幅的信號(hào)成分。因此，提出了一種解決該問題的技術(shù)(參閱例如，專利文獻(xiàn)幻。專利文獻(xiàn)3揭示了以與相鄰于關(guān)注像素的空間頻率對(duì)應(yīng)的比率來執(zhí)行ε濾波器輸出值和關(guān)注像素值的加權(quán)加法的一種技術(shù)。然而，即使專利文獻(xiàn)3中描述的方法也不能處理非加性噪聲，例如散粒噪聲，并且它在對(duì)于彩色像素的噪聲減少性能上也較差。同時(shí)，還提出了用于減少彩色圖像中的非加性噪聲的技術(shù)(參閱例如，非專利文獻(xiàn)3)，但該方法要求大量的處理成本用于分割圖像和計(jì)算統(tǒng)計(jì)值。專利文獻(xiàn)1 JP-A-2008-205737專利文獻(xiàn)2 JP-A-2007-288439專利文獻(xiàn)3 JP-A-2002-259965非專利文獻(xiàn)1 原島博、小田島薰、鹿食善明、宮川洋，“ ε -分離非線性數(shù)字濾波器及其應(yīng)用”，電子情報(bào)通信協(xié)會(huì)學(xué)報(bào)Α，1982年，卷J65-A，第四期，第297-304頁非專利文獻(xiàn) 2 :C. Tomas 禾口 R.Manduchi，"Bilateral Filtering for Gray and Color Images", Proc. Sixth Int’ 1 Conf. Computer Vision，第 839-846 頁，1998非專利文獻(xiàn) 3 :Ce Liu 等，“Automatic Estimatiion and Removal of Noise from a Single Image“ ，IEEE Trans. Pattern Analysis and Machine Intelligence,^ 30，第 2 期，第 299-314 頁，2008

發(fā)明內(nèi)容
本發(fā)明是針對(duì)現(xiàn)有技術(shù)中的上述問題做出的，且可以提供噪聲減少裝置和噪聲減少方法，用于在減少噪聲同時(shí)保留重要的要素(如被人們用以感知圖像的邊緣)，保留具有小的振幅的信號(hào)并以高的準(zhǔn)確性和低的處理成本減少彩色圖像中的非加性噪聲。而且，本發(fā)明還可以提供用于此的程序和記錄介質(zhì)。依據(jù)本發(fā)明的一方面，提供一種噪聲減少設(shè)備，其通過使用包括相鄰區(qū)域的關(guān)注像素的像素的像素值來對(duì)彩色圖像的關(guān)注像素的像素值實(shí)施噪聲減少處理。該噪聲減少設(shè)備包括代表值矢量計(jì)算單元，用于從相鄰區(qū)域中提取與預(yù)定色彩空間中的關(guān)注像素的相似度大于或等于閾值的相似區(qū)域的像素，并計(jì)算相似區(qū)域的像素的代表值矢量；差值投影單元，用于在色彩空間的特定方向上投影關(guān)注像素的關(guān)注像素矢量與代表值矢量之間的差值矢量；以及，像素值修正單元，用于以關(guān)注像素的像素值來代替通過將投影在特定方向上的差值矢量加到代表值矢量上而得到的矢量的要素。


圖1示出了數(shù)字照相機(jī)的示意性配置圖的例子；圖2示出了噪聲減少設(shè)備的功能框圖的例子；圖3示出了用于說明噪聲減少處理的流程的流程圖的例子；圖4示出了用于示意性說明平均值和方差的計(jì)算的圖示的例子；圖5示出了步驟S103的詳細(xì)流程的例子；圖6示出了繪制了噪聲相對(duì)于信號(hào)值的方差的圖示的例子；圖7示出了用于估計(jì)噪聲的方差的函數(shù)的例子；圖8A和8B示出了示意性說明差值矢量s的變換的圖示的例子；圖9示出了步驟S105的詳細(xì)流程的例子；圖IOA和IOB示出了特定方向e與相似區(qū)域的平均值的恒定RGB比率方向之間的關(guān)系；圖11示出了噪聲減少設(shè)備(第二實(shí)施例)的功能框圖的例子；圖12示出了用于說明噪聲減少處理(第二實(shí)施例)的流程的流程圖的例子；圖13示出了噪聲減少設(shè)備(第三實(shí)施例)的功能框圖的例子；圖14示出了用于說明噪聲減少處理(第三實(shí)施例)的流程的流程圖的例子；圖15示出了步驟S201的詳細(xì)流程的例子；圖16示出了噪聲減少設(shè)備(第四實(shí)施例)的功能框圖的例子；圖17示出了用于說明噪聲減少處理(第四實(shí)施例)的流程的流程圖的例子；圖18示出了具有5x5像素的大小的濾波器的例子；圖19示出了噪聲減少設(shè)備(第五實(shí)施例)的功能框圖的例子；圖20示出了用于說明噪聲減少處理(第五實(shí)施例)的流程的流程圖的例子；圖21A和21B示出了用于示意性說明差值矢量在二維方向上的投影的圖示的例子；以及圖22示出了用于示意性說明差值矢量在三維方向上的投影的圖示的例子。
具體實(shí)施例方式接下來參考附圖對(duì)用于執(zhí)行本發(fā)明的實(shí)施例的優(yōu)選模式進(jìn)行說明。(第一實(shí)施例)本實(shí)施例涉及用于減少彩色圖像中的非加性噪聲的噪聲減少設(shè)備100，該非加性噪聲依賴于信號(hào)值，且在該彩色圖像中，每個(gè)像素具有三個(gè)成分R、G和B。在以下說明中， 根據(jù)情況需要將信號(hào)值稱作像素值。本實(shí)施例的噪聲減少設(shè)備100可以優(yōu)選應(yīng)用于彩色照相機(jī)、掃描儀和具有照相機(jī)的移動(dòng)電話，只要它們拾取彩色圖像。此外，本實(shí)施例的噪聲減少處理可以應(yīng)用于由計(jì)算機(jī)從存儲(chǔ)介質(zhì)讀出的彩色圖像和經(jīng)由網(wǎng)絡(luò)獲取的彩色圖像。圖1示出了數(shù)字照相機(jī)的示意性配置圖的例子。數(shù)字照相機(jī)的配置可以是通常的類型。例如，該數(shù)字照相機(jī)具有圖像拾取單元11，用于拾取圖像；信號(hào)處理單元18，用于對(duì)從圖像拾取單元11獲取的圖像信號(hào)實(shí)施處理；主控制單元17，用于整體控制該數(shù)字照相機(jī)；幀存儲(chǔ)器19，用于存儲(chǔ)圖像數(shù)據(jù)；以及I/F(接口)21，連接到其他部件。連接到I/F 21 的有顯示單元22，用于顯示圖像；外部存儲(chǔ)器23，圖像數(shù)據(jù)存儲(chǔ)在外部存儲(chǔ)器23中或從外部存儲(chǔ)器23中讀出；以及，存儲(chǔ)卡附接單元M，存儲(chǔ)介質(zhì)25附接到存儲(chǔ)卡附接單元24。 噪聲減少處理安裝在例如信號(hào)處理單元18和主控制單元17中，但安裝噪聲減少處理的例子不限于圖1。圖像拾取單元11具有透鏡12、光圈13、電子快門14、光電變換元件15和預(yù)處理單元16。例如可以使用CMOS(輔助金屬氧化物半導(dǎo)體)和CCD(電子耦合器件)作為光電變換元件15。圖像拾取單元11包括未示出的彩色濾波器(原色的或補(bǔ)色的)，并具有一個(gè)光電變換元件15，用于例如像細(xì)胞一樣排列的每種色彩R、G和B。預(yù)處理單元16具備前置放大器、AGC (自動(dòng)增益控制)等模擬信號(hào)處理、以及A/D 變換器，在對(duì)通過光電變換元件15輸出的模擬視頻信號(hào)實(shí)施放大/箝位等預(yù)處理后，將模擬視頻信號(hào)變換為數(shù)字視頻信號(hào)。信號(hào)處理單元18具有DSP等，并對(duì)從圖像拾取單元11獲取的數(shù)字信號(hào)實(shí)施各種信號(hào)處理，例如顏色分離、白平衡調(diào)節(jié)和Y修正。信號(hào)處理單元18可以將處理后的圖像數(shù)據(jù)存儲(chǔ)在幀存儲(chǔ)器19中。此外，信號(hào)處理單元18可以從幀存儲(chǔ)器19中讀取所存儲(chǔ)的圖像數(shù)據(jù)，并對(duì)其實(shí)施圖像處理，例如噪聲減少?？梢允褂冒雽?dǎo)體存儲(chǔ)器，如VRAM、SRAM和DRAM， 作為幀存儲(chǔ)器19。從幀存儲(chǔ)器19讀出的圖像數(shù)據(jù)在由信號(hào)處理單元18進(jìn)行信號(hào)處理例如圖像壓縮后，被存儲(chǔ)在外部存儲(chǔ)器23或附接到存儲(chǔ)卡附接單元M的存儲(chǔ)介質(zhì)25中。外部存儲(chǔ)器23 是非易失性存儲(chǔ)器，例如閃存，且存儲(chǔ)介質(zhì)25是便攜式非易失性存儲(chǔ)器，USB存儲(chǔ)器、SD存儲(chǔ)卡和磁光磁盤可以可拆卸地附接到該便攜式非易失性存儲(chǔ)器。可以通過經(jīng)由I/F 21切換來使用這些存儲(chǔ)器。此外，可以通過圖未示的通信單元將圖像數(shù)據(jù)發(fā)送到服務(wù)器，或者從該服務(wù)器接收?qǐng)D像數(shù)據(jù)并存儲(chǔ)在外部存儲(chǔ)器23中。在此情況下，通信單元連接到移動(dòng)電話網(wǎng)絡(luò)和有線/無線LAN網(wǎng)絡(luò)來發(fā)送和接收?qǐng)D像數(shù)據(jù)。從幀存儲(chǔ)器19、外部存儲(chǔ)器23或記錄介質(zhì)25讀出的圖像數(shù)據(jù)被顯示在顯示單元 22上。顯示單元22是液晶顯示器、有機(jī)EL顯示器等，并被提供在數(shù)字照相機(jī)的外殼內(nèi)。顯示單元22與觸摸面板集成在一起。用戶可以通過觸摸面板和外殼內(nèi)提供的鍵盤來執(zhí)行輸入操作。主控制單元17或者主控制單元17和信號(hào)處理單元18 二者由微計(jì)算機(jī)、LSI等構(gòu)成。由此，例如，主控制單元17、信號(hào)處理單元18和幀存儲(chǔ)器19是噪聲減少設(shè)備100的原理部分的例子。微計(jì)算機(jī)的配置是計(jì)算機(jī)，在該計(jì)算機(jī)中，CPU、RAM、EEPROM、ASIC等經(jīng)由總線彼此連接。在該微計(jì)算機(jī)中，以CPU執(zhí)行EEPROM中存儲(chǔ)的噪聲減少程序20的方式將下述的噪聲減少處理應(yīng)用于圖像數(shù)據(jù)。此外，硬件，如ASIC，可以具有噪聲減少處理能力。噪聲減少程序20被預(yù)先存儲(chǔ)在EEPROM中并且與數(shù)字照相機(jī)一起裝運(yùn)。而且，噪聲減少程序 20可以存儲(chǔ)在存儲(chǔ)介質(zhì)25中以便于分發(fā)，且經(jīng)由I/F 21讀取到EEPROM中。而且，噪聲減少程序20可以經(jīng)由網(wǎng)絡(luò)下載到EEPROM中。(噪聲減少處理)圖2示出了噪聲減少設(shè)備100的功能框圖的例子，且圖3示出了用于說明噪聲減少處理的流程的流程圖的例子。噪聲減少設(shè)備100接收?qǐng)D像數(shù)據(jù)(此后稱作要被處理的圖像31)并輸出噪聲減少圖像32。噪聲減少設(shè)備100具有圖像獲取模塊101、關(guān)注像素選擇模塊102、平均值/方差計(jì)算模塊103、噪聲方差估計(jì)模塊104、差值變換模塊105、加法模塊106、以及選擇像素確定模塊107。以CPU執(zhí)行噪聲減少程序20的方式實(shí)現(xiàn)每個(gè)功能模塊。接下來參考圖3中的流程圖說明每個(gè)功能模塊。(SlOl)在步驟SlOl中，圖像獲取模塊101從幀存儲(chǔ)器19獲取要被處理的圖像31。要被處理的圖像31可以是除直接由數(shù)字照相機(jī)拾取的圖像數(shù)據(jù)之外的圖像數(shù)據(jù)。(S102)在步驟S102中，關(guān)注像素選擇模塊102從要被處理的圖像31的多個(gè)像素中選擇關(guān)注像素。例如，可以使用光柵掃描來連續(xù)地選擇關(guān)注像素。然而，只要能選擇所有的像素， 可以使用任何掃描方法。(S103)在步驟S103中，平均值/方差計(jì)算模塊103計(jì)算與關(guān)注像素相鄰的區(qū)域的像素的像素值的平均值和方差。這里使用ε過濾器和雙邊過濾器的方法是可用的。以下描述的方法是一個(gè)例子。圖4示出了用于示意性說明計(jì)算平均值和方差的圖示的例子。與關(guān)注像素相鄰的圖像實(shí)際上是彩色的。首先，平均值/方差計(jì)算部103在特定窗口中選擇在關(guān)注像素周圍的像素。該特定窗口的大小可以預(yù)先確定或依據(jù)用戶設(shè)置的噪聲減少處理的強(qiáng)度而變化。 在圖4中，9x9像素的矩形代表了該特定窗口。然后，平均值/方差計(jì)算模塊103計(jì)算關(guān)注像素與每個(gè)相鄰像素之間的相似度。例如，可以使用RGB空間內(nèi)的歐幾里得距離的倒數(shù)作為相似度。具有大于或等于預(yù)定閾值的相似度的相鄰像素用于計(jì)算平均值和方差。這使得可以提取在顏色上接近于關(guān)注像素的相鄰像素，并且在減少噪聲同時(shí)保留邊緣。值得注意的是，對(duì)每個(gè)像素計(jì)算相似度，且對(duì)R、G 和B每個(gè)計(jì)算平均值。在圖4中，在球形內(nèi)的在關(guān)注像素周圍的像素代表了與關(guān)注像素的相似度大于或等于預(yù)定閾值的相鄰像素。此后，將具有特定半徑的球形內(nèi)的區(qū)域稱作相似區(qū)域。
平均值/方差計(jì)算模塊103依據(jù)以下方程計(jì)算方差。Var (X) = E (X2) - {E (X)}2(1)Cov (X, Y) =E (XY) -E (X) E(Y)(2)其中，Var⑴表示隨機(jī)變量X的方差，Cov (X，Y)表示隨機(jī)變量X和Y的協(xié)方差， 且E(X)表示隨機(jī)變量X的期望值。換句話說，可以以將通過對(duì)像素值求平方獲得的數(shù)據(jù)、 通過乘以具有不同顏色成分的像素值獲得的數(shù)據(jù)以及原像素值彼此組合的方式，來計(jì)算相似區(qū)域的像素的方差和協(xié)方差。值得注意的是，代替計(jì)算協(xié)方差，從減少處理成本的觀點(diǎn)可以以O(shè)代替協(xié)方差。圖5示出了步驟S103的詳細(xì)流程的例子。X代表相鄰像素的像素值，表示了具有作為要素的R、G和B各成分的三維矢量。平均值/方差計(jì)算模塊103對(duì)變量μ、Σ和η設(shè)置0作為默認(rèn)值(S1031)。然后，平均值/方差計(jì)算模塊103獲取特定窗口中的相鄰像素的像素值(S1032) 并計(jì)算對(duì)于關(guān)注像素的相似度(S1033)。平均值/方差計(jì)算模塊103確定相似度是否大于或等于預(yù)定閾值(S1034)。如果相似度大于或等于預(yù)定閾值(S1034中是)，則具有該相似度的相鄰像素是用于計(jì)算平均值和方差的對(duì)象。因此，平均值/方差計(jì)算模塊103將χ、χχτ和η+1分別加到變量μ、Σ和η 上(S1035)。值得注意的是，“Τ”代表轉(zhuǎn)置。接下來，平均值/方差計(jì)算模塊103確定是否已經(jīng)選擇了該特定窗口中的所有相鄰像素(S1036)。如果還未選擇該特定窗口中的所有相鄰像素(S1035中否)，則流程返回步驟S1032來重復(fù)執(zhí)行上述處理。如果已經(jīng)選擇了該特定窗口中的所有相鄰像素(S1035中是)，則平均值/方差計(jì)算模塊103計(jì)算“μ/n”和“Σ /η-μ μ T”(S1037)?？梢砸孕∮?jì)算量獲得與當(dāng)在常規(guī)方差計(jì)算中從平方和減去平均值時(shí)相同的結(jié)果。作為圖5中的處理的結(jié)果，將μ獲取作為相似區(qū)域的平均值矢量，且將Σ獲取作為方差-協(xié)方差矩陣。Σ的對(duì)角成分是相似區(qū)域的方差。值得注意的是，可以使用各種代表值如中值來代替相似區(qū)域的平均值?？梢詫⒋碇等缙骄翟黾映?shù)或乘以常數(shù)來修正亮度和白平衡。(S103中的處理的修改例)可以改變步驟S103中用于計(jì)算平均值和方差的方法。例如，在第一實(shí)施例中，僅僅計(jì)算了相似區(qū)域的像素的平均值和方差。然而，可以以加權(quán)相似區(qū)域的像素的像素值的方式計(jì)算平均值和方差。如雙邊濾波器的情況一樣，將與關(guān)注像素的相似度和相對(duì)位置反映在濾波器的加權(quán)系數(shù)上也是有效的。例如，由于相似度較大，因此平均值/方差計(jì)算模塊 103對(duì)像素值提供較大的加權(quán)系數(shù)來計(jì)算平均值和方差。此外，在上述實(shí)施例中，RGB空間中的歐幾里德距離用于計(jì)算相似度。然而， Ln-normOi是自然數(shù))可以用于計(jì)算相似度。此外，可以從LW色彩坐標(biāo)系、XYZ色彩坐標(biāo)系等中適當(dāng)?shù)剡x擇色彩空間。在此情況下，平均值/方差計(jì)算模塊103將特定窗口中的像素的像素值(RGB)變換成所選色彩坐標(biāo)系中的像素值，其中，變換公式是已知的。平均值/方差計(jì)算模塊103可以使用與RGB空間不同的色彩空間的范數(shù)(norm)。 例如，如果使用等色空間如LW中的歐幾里德范數(shù)，則可以獲得色彩接近于人的感知的相似度。(S104)返回參考圖3，在步驟S104中，噪聲方差估計(jì)模塊104估計(jì)噪聲的方差。圖6示出了繪制了噪聲相對(duì)于信號(hào)值(像素值)的方差的圖示的例子。散粒噪聲示出了信號(hào)值與噪聲的方差之間的比例關(guān)系。因此，噪聲的方差通常依賴于像素值。由此，可以得到用于基于像素值估計(jì)噪聲的方差的函數(shù)。值得注意的是，由于對(duì)R、 G和B中的每個(gè)成分計(jì)算噪聲的方差，因此，還可以對(duì)R、G和B中的每個(gè)成分得到用于估計(jì)噪聲的方差的函數(shù)。為了減少關(guān)注像素中的噪聲，關(guān)注噪聲中包含的平均噪聲是所期望的。因此，噪聲方差估計(jì)模塊104求得相似區(qū)域的噪聲的方差。圖7示出了用于估計(jì)相似區(qū)域的噪聲的方差的函數(shù)的示例。噪聲方差估計(jì)模塊104通過使用圖7所示的函數(shù)，基于平均值矢量μ的各個(gè)成分求得相似區(qū)域的噪聲的方差ο2。這可以應(yīng)用于每個(gè)色彩成分來求得每個(gè)成分的噪聲的方差。可以將對(duì)角成分被所求得的噪聲的方差替代的矩陣用作方差-協(xié)方差矩陣Σ n0iseO在很多情況下，方差-協(xié)方差矩陣的非對(duì)角成分(協(xié)方差)可以被0代替。如果不能忽略噪聲的協(xié)方差，則以與方差估計(jì)函數(shù)相同的方式識(shí)別協(xié)方差的估計(jì)函數(shù)。通過使用協(xié)方差的估計(jì)函數(shù)來估計(jì)協(xié)方差，以計(jì)算方差-協(xié)方差矩陣。(步驟 SlO5)返回參考圖3，在步驟S105中，差值變換模塊105從關(guān)注像素g的關(guān)注像素矢量g 減去相似區(qū)域的平均值矢量P，并變換所獲得的差值(此后稱作差值矢量S)的方向和大小。圖8Α和8Β示出了用于示意性說明差值矢量s的變換的圖示的例子。如圖8Α所示，差值變換模塊105首先在特定方向e上投影差值矢量S。特定方向e可以是具有與相似區(qū)域的平均值矢量μ的成分(R、G和B)相同的RGB比率的恒定方向(此后稱作恒定RGB 比率方向)。利用該特定方向e，可以防止關(guān)注像素的像素值不同于相似區(qū)域的顏色。此外，差值矢量s在相似區(qū)域的顏色的方向上被變換，并且在被投影時(shí)被減少大小，這由此減少了導(dǎo)致顏色不同于相似區(qū)域的像素的顏色的噪聲、以及該噪聲的振幅。更優(yōu)選的，差值變換模塊105通過使用相似區(qū)域的噪聲的方差-協(xié)方差矩陣Σ n。ise 來對(duì)所投影的差值矢量s實(shí)施用于明顯減少噪聲的處理。如圖8B所示，差值變換模塊105 將所投影的矢量的大小乘以(紋理特征量)/(噪聲量+紋理特征量)的值。由此，可以依據(jù)噪聲量和紋理特征量適應(yīng)地控制噪聲減少的強(qiáng)度。值得注意的是，噪聲量是噪聲的方差-協(xié)方差矩陣Σ noise中的特定方向e上的方差，且紋理特征量是通過從相似區(qū)域的方差-協(xié)方差矩陣中減去噪聲的方差-協(xié)方差矩陣 Σ noise得到的方差-協(xié)方差矩陣Σ noise的特定方向e上的變量。通常，當(dāng)方差-協(xié)方差矩陣是Σ時(shí)，可以通過以下公式求得特定方向e (單位矢量)上的方差oe2。σ] = eTZe (3)由于紋理特征量是通過從相似區(qū)域的方差-協(xié)方差矩陣中減去噪聲的方差-協(xié)方差矩陣Σ noise獲得的，因此實(shí)質(zhì)上要求將所投影的差值矢量s的大小乘以(紋理特征量)/(噪聲量+紋理特征量)={l_(e方向上的噪聲的方差的大小)/(e方向上的相似區(qū)域的方差的大小)}。圖9示出了步驟S105的詳細(xì)流程的例子。圖9中的過程僅僅是示例。因此，只要提供了相同的結(jié)果，處理的步驟的內(nèi)容和順序是可以相互代替的。關(guān)注像素矢量g是關(guān)注像素(R、G和B的矢量)的像素值，且Σ t。tal與步驟S1035中的Σ相同，表示相似區(qū)域的方差-協(xié)方差矩陣。首先，差值變換模塊105計(jì)算差值矢量s (S1051)。s 一 g_ μ然后，差值變換模塊105在特定方向e上投影差值矢量s (S1052)。s 一 eeTs接下來，差值變換模塊105求得特定方向e上的噪聲的方差-協(xié)方差矩陣Σ noise 的大小、以及特定方向e上的相似區(qū)域的方差-協(xié)方差矩陣Σ total的大小，且從1減去二者之比來計(jì)算權(quán)重w(S105;3)。換句話說，可以減少非加性噪聲。W-I-(eT Σ noisee) / (eT Σ totale)差值變換模塊105變換所投影的差值矢量s的大小(S1054)。s 一 ws采用以上處理，可以根據(jù)噪聲量和紋理特征量來適應(yīng)地控制噪聲減少的強(qiáng)度而不損害色彩。(步驟S105中的處理的修改例)代替在恒定RGB比率方向上投影差值矢量s，在亮度方向上投影差值矢量s也是有用的。在此情況下，存在輕微改變色彩的可能性。然而，由于亮度方向是RGB空間中的恒量，因此特定方向e成為恒量而不依賴于各相似區(qū)域(即，關(guān)注像素)，這由此實(shí)現(xiàn)了加速處理。在亮度與RGB之間存在關(guān)系“亮度=0. 299R+0. 587G+0. 114B，，。因此，例如通過(0. 3 0. 6 0. 1)和原點(diǎn)的方向是特定方向e。此外，如果所投影的矢量乘以的系數(shù)具有隨著噪聲量增加而降低和隨著紋理特征量增加而增加的特性，則可以更有效地減少噪聲。例如，使用任何恒量α和β，假設(shè) "α Χ(噪聲量)/(噪聲量+紋理特征量)+ β”。如果α和β大于等于1，則權(quán)重w可以做得較小，這可以顯著減少噪聲。如果α和β小于1，則權(quán)重w可以做得較大，這容易保留紋理特征和邊緣。使用α和β作為參數(shù)，設(shè)計(jì)者可以執(zhí)行設(shè)置來符合期望的圖像質(zhì)量。(S106)返回參考圖3，在步驟S106中，加法模塊106將所變換的差值矢量s加到相似區(qū)域的平均值矢量μ上。當(dāng)將差值矢量S投影并加到平均值矢量μ上時(shí)，增加了要在濾波處理中消除的高頻，這使得可以保留具有小的振幅的信號(hào)成分。值得注意的是，如第二實(shí)施例中所描述的，還可以首先計(jì)算內(nèi)容與圖9相同的線性變換矩陣，并將其乘以平均值矢量μ。 加法模塊106基于通過該加法獲得的矢量要素RGB來替代關(guān)注像素的像素值。(S107)在步驟S107中，選擇像素確定模塊107是否已經(jīng)選擇了圖像31的所有要被處理的像素。如果存在任何未被選擇的像素，則流程進(jìn)行到步驟S102。如果已經(jīng)選擇了所有像素，則噪聲減少設(shè)備100輸出噪聲減少圖像32。噪聲減少圖像32被臨時(shí)存儲(chǔ)在例如幀存儲(chǔ)器19中，并且然后存儲(chǔ)在外部存儲(chǔ)器23或存儲(chǔ)介質(zhì)M中。(除了R、G和B之外的顏色的圖像的噪聲減少)這個(gè)實(shí)施例的噪聲減少方法可以適合于應(yīng)用于除了 R、G和B之外的顏色的圖像。 在除了 R、G和B之外的顏色的圖像的情況下，要求額外地提供處理單元用于在噪聲減少設(shè)備100之前的階段將色彩空間變換為R、G和B，并提供處理單元用于在噪聲減少設(shè)備100 之后的階段將色彩空間從R、G和B恢復(fù)到原始色彩空間。用于變換色彩空間的公式是已知的?？蛇x擇的，還可以將要被處理的圖像31輸入到噪聲減少設(shè)備100而無需對(duì)圖像31 進(jìn)行色彩變換。在此情況下，僅在需要色彩空間的變換的處理步驟(用于計(jì)算相似度的步驟S103和用于在特定方向上投影差值矢量s的步驟中部分地執(zhí)行色彩變換。(在拜耳陣列上的執(zhí)行)在拾取了彩色圖像時(shí)，常常使用拜耳陣列濾波器，拜耳陣列濾波器表示每個(gè)光電變換元件15的紅色、藍(lán)色和綠色的亮度。本發(fā)明的實(shí)施例還可以應(yīng)用于由這樣的拜耳陣列濾波器拾取的要被處理的圖像31。例如，可以在噪聲減少設(shè)備100的預(yù)處理單元16中提供電路來將拜耳陣列的數(shù)據(jù)插值(同步)到RGB數(shù)據(jù)中，并且在噪聲減少設(shè)備100之后的階段提供處理單元來將RGB 數(shù)據(jù)變稀疏成拜耳陣列。此外，還可以直接將拜耳陣列的數(shù)據(jù)輸入到噪聲減少設(shè)備100，并僅在一個(gè)像素需要RGB的部分執(zhí)行RGB插值(同步)(S103和S105)。如上所述，由于本實(shí)施例的噪聲減少設(shè)備100限制了由在色彩空間的特定方向e 上的噪聲減少處理導(dǎo)致的像素值方差，因此可以有效地減少色彩噪聲而不使色彩偏移。另外，由于噪聲減少的強(qiáng)度依據(jù)噪聲量和紋理特征量而變化，因此可以考慮到原始圖像的紋理特征量來適當(dāng)?shù)販p少強(qiáng)度依賴于信號(hào)值的非加性噪聲。(第二實(shí)施例)在第一實(shí)施例中，差值矢量S被投影在特定方向e上且被加到相似區(qū)域的平均值矢量μ上。在本實(shí)施例中，在將相似區(qū)域的平均值恒定RGB比率方向用作特定方向e時(shí)， 該特定方向e與相似區(qū)域的像素的平均值矢量μ的方向相同。圖10示出了特定方向e與恒定RGB比率方向之間的關(guān)系。換句話說，平均值矢量 μ的方向與特定方向e —致。由此，將差值矢量S投影在恒定RGB比率方向上并將其加到相似區(qū)域的像素的平均值矢量μ上的處理等同于將平均值矢量μ乘以標(biāo)量的處理?；诖耸聦?shí)，本實(shí)施例涉及噪聲減少設(shè)備100分別以求得適當(dāng)?shù)某藬?shù)η的處理、 以及將相似區(qū)域的像素的平均值矢量μ乘以作為標(biāo)量的乘數(shù)n的處理，來替代圖3中的 S105禾口 S106的處理步驟。圖11示出了噪聲減少設(shè)備100的功能框圖的例子，且圖12示出了用于說明噪聲減少處理的流程的流程圖的例子。值得注意的是，在圖11中，與圖2中相同的部分以相同的附圖標(biāo)記表示且省略其描述。此外，在圖12中，與圖3相同的部分以相同的附圖標(biāo)記表示且省略其描述。(S105-2)在步驟S105-2中，乘數(shù)計(jì)算模塊1051計(jì)算乘數(shù)η。以下公式可以用于計(jì)算乘數(shù)η。
權(quán)利要求
1.一種噪聲減少設(shè)備，其通過使用包括相鄰區(qū)域的關(guān)注像素的像素的像素值來對(duì)彩色圖像的關(guān)注像素的像素值實(shí)施噪聲減少處理，所述噪聲減少設(shè)備包括代表值矢量計(jì)算單元，用于從相鄰區(qū)域中提取與預(yù)定色彩空間中的關(guān)注像素的相似度大于或等于閾值的相似區(qū)域的像素，并計(jì)算相似區(qū)域的像素的代表值矢量；差值投影單元，用于在色彩空間的特定方向上投影關(guān)注像素的關(guān)注像素矢量與代表值矢量之間的差值矢量；以及像素值修正單元，用于以關(guān)注像素的像素值來代替通過將投影在特定方向上的差值矢量加到代表值矢量上而得到的矢量的要素。
2.—種噪聲減少設(shè)備，其通過使用包括相鄰區(qū)域的關(guān)注像素的像素的像素值來對(duì)彩色圖像的關(guān)注像素的像素值實(shí)施噪聲減少處理，所述噪聲減少設(shè)備包括代表值矢量計(jì)算單元，用于從相鄰區(qū)域中提取與預(yù)定色彩空間中的關(guān)注像素的相似度大于或等于閾值的相似區(qū)域的像素，并計(jì)算相似區(qū)域的像素的代表值矢量；乘數(shù)計(jì)算單元，用于基于代表值矢量的噪聲量和關(guān)注像素的像素值來計(jì)算乘數(shù)； 乘法單元，用于將代表值矢量乘以乘數(shù)；以及像素值修正單元，用于以關(guān)注像素的像素值來代替乘以乘數(shù)后的代表值矢量的要素。
3.根據(jù)權(quán)利要求1所述的噪聲減少設(shè)備，其中差值投影單元通過使用與代表值矢量的噪聲量和紋理特征量對(duì)應(yīng)的變換系數(shù)來對(duì)差值矢量實(shí)施線性變換。
4.根據(jù)權(quán)利要求3所述的噪聲減少設(shè)備，其中差值投影單元依據(jù)代表值矢量的噪聲量和紋理特征量來改變投影在特定方向上的差值矢量的大小。
5.根據(jù)權(quán)利要求3所述的噪聲減少設(shè)備，其中差值投影單元根據(jù)代表值矢量的噪聲量和紋理特征量來改變差值矢量在特定方向上和在與特定方向垂直的方向上的長度。
6.根據(jù)權(quán)利要求4或5所述的噪聲減少設(shè)備，其中特定方向是恒定RGB比率方向，在恒定RGB比率方向上，代表值矢量的要素和RGB比率是恒量。
7.根據(jù)權(quán)利要求4或5所述的噪聲減少設(shè)備，其中特定方向是亮度方向。
8.根據(jù)權(quán)利要求4或5所述的噪聲減少設(shè)備，進(jìn)一步包括最大方差方向計(jì)算單元，用于確定相似區(qū)域的像素的像素值的最大方差方向；其中特定方向被用作最大方差方向。
9.根據(jù)權(quán)利要求3所述的噪聲減少設(shè)備，其中代表值矢量具有表示相似區(qū)域的像素的像素值的平均值的信息， 噪聲減少設(shè)備進(jìn)一步包括噪聲量估計(jì)單元，用于基于映射來將與表示所述平均值的信息對(duì)應(yīng)的噪聲量估計(jì)為代表值矢量的噪聲量，所述映射中注冊(cè)有像素值與像素值的噪聲量的方差之間的關(guān)系。
10.根據(jù)權(quán)利要求9所述的噪聲減少設(shè)備，其中噪聲量估計(jì)單元通過從代表值矢量的方差中減去相似區(qū)域的噪聲量的方差來計(jì)算紋理特征量。
11.根據(jù)權(quán)利要求10所述的噪聲減少設(shè)備，其中噪聲量估計(jì)單元對(duì)相似區(qū)域的像素實(shí)施頻率變換，基于表示被實(shí)施了頻率變換的像素的平均值的信息來估計(jì)代表值矢量的噪聲量，并計(jì)算紋理特征量。
12.—種噪聲減少方法，其通過使用包括相鄰區(qū)域的關(guān)注像素的像素的像素值來對(duì)彩色圖像的關(guān)注像素的像素值實(shí)施噪聲減少處理，所述噪聲減少方法包括從相鄰區(qū)域中提取與預(yù)定色彩空間中的關(guān)注像素的相似度大于或等于閾值的相似區(qū)域的像素，并計(jì)算相似區(qū)域的像素的代表值矢量；在色彩空間的特定方向上投影關(guān)注像素的關(guān)注像素矢量與代表值矢量之間的差值矢量；以及以關(guān)注像素的像素值來代替通過將投影在特定方向上的差值矢量加到代表值矢量上而得到的矢量的要素。
13.—種噪聲減少方法，其通過使用包括相鄰區(qū)域的關(guān)注像素的像素的像素值來對(duì)彩色圖像的關(guān)注像素的像素值實(shí)施噪聲減少處理，所述噪聲減少方法包括從相鄰區(qū)域中提取與預(yù)定色彩空間中的關(guān)注像素的相似度大于或等于閾值的相似區(qū)域的像素，并計(jì)算相似區(qū)域的像素的代表值矢量；基于代表值矢量的噪聲量和關(guān)注像素的像素值來計(jì)算乘數(shù)； 將代表值矢量乘以乘數(shù)；以及以關(guān)注像素的像素值來代替乘以乘數(shù)后的代表值矢量的要素。
14.一種噪聲減少程序，其通過使用包括相鄰區(qū)域的關(guān)注像素的像素的像素值來對(duì)彩色圖像的關(guān)注像素的像素值實(shí)施噪聲減少處理，所述噪聲減少程序使計(jì)算機(jī)執(zhí)行以下步驟輸入彩色圖像；從相鄰區(qū)域中提取與預(yù)定色彩空間中的關(guān)注像素的相似度大于或等于閾值的相似區(qū)域的像素，并計(jì)算相似區(qū)域的像素的代表值矢量；在色彩空間的特定方向上投影關(guān)注像素的關(guān)注像素矢量與代表值矢量之間的差值矢量；以關(guān)注像素的像素值來代替通過將投影在特定方向上的差值矢量加到代表值矢量上而得到的矢量的要素；以及將像素值被代替的彩色圖像存儲(chǔ)在存儲(chǔ)單元中。
15.一種噪聲減少程序，其通過使用包括相鄰區(qū)域的關(guān)注像素的像素的像素值來對(duì)彩色圖像的關(guān)注像素的像素值實(shí)施噪聲減少處理，所述噪聲減少程序使計(jì)算機(jī)執(zhí)行以下步驟輸入彩色圖像；從相鄰區(qū)域中提取與預(yù)定色彩空間中的關(guān)注像素的相似度大于或等于閾值的相似區(qū)域的像素，并計(jì)算相似區(qū)域的像素的代表值矢量；基于代表值矢量的噪聲量和關(guān)注像素的像素值來計(jì)算乘數(shù)； 將代表值矢量乘以乘數(shù)；以關(guān)注像素的像素值來代替乘以乘數(shù)后的代表值矢量的要素；以及將像素值被代替的彩色圖像存儲(chǔ)在存儲(chǔ)單元中。
16. 一種存儲(chǔ)介質(zhì)，存儲(chǔ)有依據(jù)權(quán)利要求14或15所述的噪聲減少程序。
全文摘要
揭示了一種噪聲減少設(shè)備，該噪聲減少設(shè)備包括代表值矢量計(jì)算單元，用于從相鄰區(qū)域中提取與預(yù)定色彩空間中的關(guān)注像素的相似度大于或等于閾值的相似區(qū)域的像素，并計(jì)算相似區(qū)域的像素的代表值矢量；差值投影單元，用于在色彩空間的特定方向上投影關(guān)注像素的關(guān)注像素矢量與代表值矢量之間的差值矢量；以及，像素值修正單元，用于以關(guān)注像素的像素值來代替通過將投影在特定方向上的差值矢量加到代表值矢量上而得到的矢量的要素。
文檔編號(hào)G06T5/00GK102349090SQ20108001155
公開日2012年2月8日 申請(qǐng)日期2010年2月18日 優(yōu)先權(quán)日2009年3月16日
發(fā)明者原崇之 申請(qǐng)人:株式會(huì)社理光