專利名稱：圖像處理設(shè)備和圖像處理方法、學(xué)習(xí)設(shè)備和學(xué)習(xí)方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理設(shè)備、圖像處理方法、學(xué)習(xí)設(shè)備、學(xué)習(xí)方法、程序和記錄介質(zhì)，更具體地講，涉及能夠高度準(zhǔn)確從拜爾陣列的圖像產(chǎn)生亮度-色差空間的低噪聲圖像的圖像處理設(shè)備、圖像處理方法、學(xué)習(xí)設(shè)備、學(xué)習(xí)方法、程序和記錄介質(zhì)。
背景技術(shù)：
在過去，為了小型化的目的，成像裝置僅僅包括一個成像元件(例如，電荷耦合器件(CXD)圖像傳感器或者互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)圖像傳感器)。在這些成像裝置中，通常對成像元件的各個像素采用不同彩色濾光片，并且由此從每個像素獲取諸如紅、綠和藍(lán)(RGB)的多個顏色中的任何ー個的信號。例如，這樣由成像元件獲取的圖像變成圖I所示的彩色矩陣的圖像。在下文中，圖I的彩色矩陣被稱作“拜爾陣列”。
·
通常，通過稱作去馬賽克處理的內(nèi)插處理，由成像元件獲取的拜爾陣列的圖像被轉(zhuǎn)換成彩色圖像，其中每個像素具有例如RGB的多個彩色分量的任何一個的像素值。有人考慮使用類別分類自適應(yīng)處理作為去馬賽克處理來降低彩色圖像的噪聲(例如，見日本專利 No. 4433545)。該類別分類自適應(yīng)處理是指這樣ー個處理，其中，將關(guān)注像素(即處理圖像中的吸引注意的像素)分類成預(yù)定類別并且通過將通過與該類別對應(yīng)的學(xué)習(xí)獲得的預(yù)測系數(shù)同與關(guān)注像素對應(yīng)的非處理圖像的像素值進(jìn)行線性組合來預(yù)測關(guān)注像素的像素值。圖2是示出執(zhí)行類別分類自適應(yīng)處理作為去馬賽克處理的圖像處理設(shè)備的示例性結(jié)構(gòu)的框圖。圖2的圖像處理設(shè)備10包括成像元件11和預(yù)測信號處理單元12。圖像處理設(shè)備10的成像元件11對各個像素采用不同彩色濾光片。成像元件11針對每個像素獲取來自被攝體的光的R分量、G分量和B分量的任何ー個的模擬信號，并且對模擬信號執(zhí)行模擬到數(shù)字(AD)轉(zhuǎn)換，從而產(chǎn)生拜爾陣列的圖像。成像元件11將產(chǎn)生的拜爾陣列的圖像提供給預(yù)測信號處理單元12。預(yù)測信號處理單元12對從成像元件11提供的拜爾陣列的圖像執(zhí)行去馬賽克處理并且產(chǎn)生低噪聲RGB圖像，該低噪聲RGB圖像是包括各個像素的紅色(R)分量、緑色(G)分量和藍(lán)色(B)分量的像素值的彩色圖像。具體地講，預(yù)測信號處理單元12順序設(shè)置RGB圖像的每個像素作為關(guān)注像素，并且使用關(guān)注像素四周的拜爾陣列的圖像的各像素的像素值將關(guān)注像素分類成針對每個彩色分量的預(yù)定類別。另外，預(yù)測信號處理單元12保持針對彩色分量和類別通過學(xué)習(xí)獲得的預(yù)測系數(shù)，在該學(xué)習(xí)中預(yù)先將拜爾陣列的圖像設(shè)置為學(xué)生圖像并且將低噪聲RGB圖像設(shè)置為教師圖像的。然后，預(yù)測信號處理單元12通過針對每種彩色分量將與關(guān)注像素的類別對應(yīng)的預(yù)測系數(shù)同與關(guān)注像素四周的拜爾陣列的圖像的像素值進(jìn)行線性組合來預(yù)測關(guān)注像素的像素值。其間，在圖2的預(yù)測信號處理單元12中的類別分類自適應(yīng)處理中，由于針對每個彩色分量和類獲得預(yù)測系數(shù)，所以難以按照與彩色分量不同的単位來調(diào)整輸出圖像中的降噪程度。因此，即使調(diào)整輸出圖像中的降噪程度，任意彩色分量中的降噪程度相對強(qiáng)大，并且當(dāng)彩色分量的噪聲之外的部分受到影響時，出現(xiàn)在邊緣部分中產(chǎn)生錯誤彩色的不利效果。其間，存在一種通過將作為去馬賽克處理的結(jié)果獲得的RGB圖像轉(zhuǎn)換成亮度-色差空間的圖像(下文稱作“YUV圖像”)并且對YUV圖像執(zhí)行類別分類自適應(yīng)處理降低YUV圖像的噪聲的方法。在這個方法中，依據(jù)對亮度的清晰度靈敏而對色差的清晰度不靈敏的人類視覺屬性，色差分量(Cb和Cr分量)的降噪程度大于亮度分量(Y分量)的降噪程度。因此，由于即使輸出圖像的色差分量的噪聲降低也不會影響亮度分量(Y分量)的噪聲之外的部分，所以很難通過眼睛檢測清晰度下降。換言之，能夠降低彩色噪聲而清晰度不會下降。圖3示出了使用上述方法將拜爾陣列的圖像轉(zhuǎn)換成低噪聲YUV圖像的圖像處理設(shè)備的示例性結(jié)構(gòu)。在圖3所示的部件之中，與圖2所示的部件相同的部件由相同標(biāo)號進(jìn)行指示。將 恰當(dāng)省去冗余描述。圖3的圖像處理設(shè)備20包括成像元件11、去馬賽克處理單元21、亮度-色差轉(zhuǎn)換単元22以及預(yù)測信號處理單元23和24。圖像處理設(shè)備20的去馬賽克處理單元21對由成像元件11產(chǎn)生的拜爾陣列的圖像執(zhí)行去馬賽克處理，并且將作為結(jié)果所得的RGB圖像提供給亮度-色差轉(zhuǎn)換單元22。亮度-色差轉(zhuǎn)換單元22執(zhí)行用于將從去馬賽克處理單元21提供的RGB圖像轉(zhuǎn)換成YUV圖像的亮度-色差轉(zhuǎn)換處理。亮度-色差轉(zhuǎn)換單元22將作為結(jié)果所得的YUV圖像的亮度分量提供給預(yù)測信號處理單元23并且將亮度分量提供給預(yù)測信號處理單元24。預(yù)測信號處理單元23對從亮度-色差轉(zhuǎn)換單元22提供的YUV圖像的亮度分量執(zhí)行類別分類自適應(yīng)處理，并且產(chǎn)生低噪聲YUV圖像的亮度分量。具體地講，預(yù)測信號處理單元23順序設(shè)置低噪聲YUV圖像的每個像素作為關(guān)注像素，并且使用關(guān)注像素周圍的亮度-色差轉(zhuǎn)換單元22的降噪之前的YUV圖像的像素的像素值將關(guān)注像素的亮度分量分類成預(yù)定類別。另外，預(yù)測信號處理單元23保持針對每個類別通過學(xué)習(xí)處理獲得的亮度分量的預(yù)測系數(shù)，在該學(xué)習(xí)處理中，預(yù)先將降噪之前的YUV圖像設(shè)置為學(xué)生圖像并且將降噪后的YUV圖像設(shè)置為教師圖像。然后，預(yù)測信號處理單元23通過將與關(guān)注像素的亮度分量的類別對應(yīng)的亮度分量的預(yù)測系數(shù)與關(guān)注像素周圍的降噪之前的YUV圖像的像素值進(jìn)行線性組合來預(yù)測關(guān)注像素的亮度分量的像素值。結(jié)果，產(chǎn)生低噪聲YUV圖像的亮度分量。預(yù)測信號處理單元23輸出低噪聲YUV圖像的亮度分量作為輸出圖像的亮度分量。與預(yù)測信號處理單元23類似，預(yù)測信號處理單元24使用通過學(xué)習(xí)處理對每個類別獲得的色差分量的預(yù)測系數(shù)對從亮度-色差轉(zhuǎn)換單元22提供的YUV圖像的色差分量執(zhí)行類別分類自適應(yīng)處理。然后，預(yù)測信號處理單元24輸出作為結(jié)果產(chǎn)生的低噪聲YUV圖像的色差分量作為輸出圖像的色差分量。學(xué)習(xí)亮度分量的預(yù)測系數(shù)和色差分量的預(yù)測系數(shù)，從而輸出圖像的色差分量中的降噪程度能夠大于亮度分量中的降噪程度。

發(fā)明內(nèi)容
圖3的圖像處理設(shè)備20對拜爾陣列的圖像執(zhí)行三個處理，即，去馬賽克處理、亮度-色差轉(zhuǎn)換處理和類別分類自適應(yīng)處理。因此，當(dāng)由于去馬賽克處理等等而丟失拜爾陣列的圖像中的細(xì)線部分等等的信息吋，輸出圖像的準(zhǔn)確度下降。具體地講，當(dāng)由于去馬賽克處理而丟失細(xì)線部分等等的信息并且由此RGB圖像具有平坦部分時，亮度-色差轉(zhuǎn)換單元22很難識別RGB圖像的平坦部分是原始存在的平坦部分還是由于細(xì)線部分的丟失導(dǎo)致的平坦部分。因此，即使當(dāng)由于去馬賽克處理而丟失細(xì)線部分等等的信息時，亮度-色差轉(zhuǎn)換單元22將從去馬賽克處理單元21提供的RGB圖像轉(zhuǎn)換成YUV圖像，這與細(xì)線部分等等的信息沒有丟失的RGB圖像類似。結(jié)果，輸出圖像變成與通過對沒有經(jīng)歷去馬賽克處理的拜爾陣列的圖像進(jìn)行平滑處理獲得的圖像對應(yīng)的圖像，并且由此輸出圖像的準(zhǔn)確度下降。類似的是，即使當(dāng)由于去馬賽克處理而產(chǎn)生在拜爾陣列的圖像內(nèi)不存在的彩色邊·緣等等吋，輸出圖像的準(zhǔn)確度下降。鑒于上述研究出本發(fā)明的技術(shù)，并且可以期望高度準(zhǔn)確地從拜爾陣列的圖像產(chǎn)生低噪聲YUV圖像。根據(jù)本發(fā)明的第一實(shí)施例，提供了ー種圖像處理設(shè)備，包括亮度預(yù)測計算単元，通過使用與關(guān)注像素對應(yīng)的教師圖像和與拜爾陣列的圖像對應(yīng)的學(xué)生圖像計算通過求解表示與低噪聲圖像即包括拜爾陣列的圖像的每個像素的亮度分量和色差分量的像素值的圖像和降噪的圖像對應(yīng)的教師圖像的每個像素的亮度分量的像素值與亮度分量的預(yù)測系數(shù)之間的關(guān)系的公式進(jìn)行學(xué)習(xí)的亮度分量的預(yù)測系數(shù)和包括拜爾陣列的預(yù)定圖像的像素的像素值的亮度預(yù)測抽頭，計算關(guān)注像素即與拜爾陣列的預(yù)定圖像對應(yīng)的預(yù)定低噪聲圖像中的吸引注意的像素的亮度分量的像素值；以及色差預(yù)測計算單元，通過使用教師圖像和學(xué)習(xí)圖像計算通過求解表示教師圖像的每個像素的色差分量的像素值、與所述像素對應(yīng)的學(xué)生圖像的像素的像素值和色差分量的預(yù)測系數(shù)之間的關(guān)系的公式進(jìn)行學(xué)習(xí)的色差分量的預(yù)測系數(shù)和與預(yù)定低噪聲圖像中的關(guān)注像素對應(yīng)并且包括拜爾陣列的預(yù)定圖像的像素的像素值并且降噪效果強(qiáng)于亮度分量的預(yù)測系數(shù)的色差預(yù)測抽頭，計算關(guān)注像素的色差分量的像素值。根據(jù)本發(fā)明的第一實(shí)施例的圖像處理方法、程序以及記錄在記錄介質(zhì)內(nèi)的程序?qū)?yīng)于根據(jù)本發(fā)明的第一方面的圖像處理設(shè)備。根據(jù)本發(fā)明的第一實(shí)施例，可以通過使用與關(guān)注像素對應(yīng)的教師圖像和與拜爾陣列的圖像對應(yīng)的學(xué)生圖像計算通過求解表示與低噪聲圖像即包括拜爾陣列的圖像的每個像素的亮度分量和色差分量的像素值的圖像和降噪的圖像對應(yīng)的教師圖像的每個像素的亮度分量的像素值與亮度分量的預(yù)測系數(shù)之間的關(guān)系的公式進(jìn)行學(xué)習(xí)的亮度分量的預(yù)測系數(shù)和包括拜爾陣列的預(yù)定圖像的像素的像素值的亮度預(yù)測抽頭，計算關(guān)注像素即與拜爾陣列的預(yù)定圖像對應(yīng)的預(yù)定低噪聲圖像中的吸引注意的像素的亮度分量的像素值；以及通過使用教師圖像和學(xué)習(xí)圖像計算通過求解表示教師圖像的每個像素的色差分量的像素值、與所述像素對應(yīng)的學(xué)生圖像的像素的像素值和色差分量的預(yù)測系數(shù)之間的關(guān)系的公式進(jìn)行學(xué)習(xí)的色差分量的預(yù)測系數(shù)和與預(yù)定低噪聲圖像中的關(guān)注像素對應(yīng)并且包括拜爾陣列的預(yù)定圖像的像素的像素值并且降噪效果強(qiáng)于亮度分量的預(yù)測系數(shù)的色差預(yù)測抽頭，計算關(guān)注像素的色差分量的像素值。根據(jù)本發(fā)明的第二實(shí)施例，提供了ー種學(xué)習(xí)設(shè)備，包括學(xué)習(xí)單元，通過使用與關(guān)注像素即教師圖像中吸引注意的像素對應(yīng)并且包括與拜爾陣列的預(yù)定圖像對應(yīng)的學(xué)生圖像的像素的像素值和關(guān)注像素的像素值的預(yù)測抽頭求解表示用于學(xué)習(xí)預(yù)測系數(shù)并且與預(yù)定低噪聲圖像對應(yīng)的教師圖像的每個像素的像素值、像素的預(yù)測抽頭和預(yù)測系數(shù)之間的關(guān)系的公式計算用于將拜爾陣列的預(yù)定圖像轉(zhuǎn)換成預(yù)定低噪聲圖像即包括拜爾陣列的預(yù)定圖像的每個像素的亮度分量和色差分量的像素值的圖像和降噪的圖像的預(yù)測系數(shù)。學(xué)習(xí)亮度分量的預(yù)測系數(shù)和色差分量的預(yù)測系數(shù)以使得輸出圖像的色差分量的降噪程度能夠大于亮度分量的降噪程度。根據(jù)本發(fā)明的第二實(shí)施例，可以通過使用與關(guān)注像素即教師圖像中吸引注意的像素對應(yīng)并且包括與拜爾陣列的預(yù)定圖像對應(yīng)的學(xué)生圖像的像素的像素值和關(guān)注像素的像素值的預(yù)測抽頭求解表示用于學(xué)習(xí)預(yù)測系數(shù)并且與預(yù)定低噪聲圖像對應(yīng)的教師圖像的每個像素的像素值、像素的預(yù)測抽頭和預(yù)測系數(shù)之間的關(guān)系的公式計算用于將拜爾陣列的預(yù) 定圖像轉(zhuǎn)換成預(yù)定低噪聲圖像即包括拜爾陣列的預(yù)定圖像的每個像素的亮度分量和色差分量的像素值的圖像和降噪的圖像的預(yù)測系數(shù)。根據(jù)本發(fā)明的實(shí)施例，能夠高度準(zhǔn)確地從拜爾陣列的圖像產(chǎn)生低噪聲YUV圖像。另外，根據(jù)本發(fā)明的另ー個實(shí)施例，可以學(xué)習(xí)用于高度準(zhǔn)確從拜爾陣列的圖像產(chǎn)生低噪聲YUV圖像的預(yù)測系數(shù)。


圖I是示出了拜爾陣列的例子的圖；圖2是示出現(xiàn)有技術(shù)的圖像處理設(shè)備的示例性結(jié)構(gòu)的框圖；圖3是示出現(xiàn)有技術(shù)的圖像處理設(shè)備的另一個示例性結(jié)構(gòu)的框圖；圖4是示出根據(jù)本發(fā)明的實(shí)施例的圖像處理設(shè)備的示例性結(jié)構(gòu)的框圖；圖5是示出預(yù)測信號處理單元的詳細(xì)結(jié)構(gòu)例子的框圖；圖6是示出了類別抽頭的抽頭結(jié)構(gòu)的例子的圖；圖7是示出了預(yù)測抽頭的抽頭結(jié)構(gòu)的例子的圖；圖8是解釋圖像處理設(shè)備的圖像處理的流程圖；圖9是解釋亮度分量的類別分類自適應(yīng)處理的細(xì)節(jié)的流程圖；圖10是示出學(xué)習(xí)設(shè)備的示例性結(jié)構(gòu)的框圖；圖11是解釋學(xué)習(xí)設(shè)備的學(xué)習(xí)處理的流程圖；以及圖12是示出了根據(jù)實(shí)施例的計算機(jī)的示例性結(jié)構(gòu)的圖。
具體實(shí)施例方式在下文中，將參照附圖詳細(xì)描述本發(fā)明的優(yōu)選實(shí)施例。注意在這個說明書和附圖中，功能和結(jié)構(gòu)基本相同的組成部件由相同標(biāo)號進(jìn)行指示，并且省去對這些組成部件的重復(fù)解釋。<實(shí)施例>[根據(jù)實(shí)施例的圖像處理設(shè)備的示例性結(jié)構(gòu)]
圖4是示出根據(jù)本發(fā)明的實(shí)施例的圖像處理設(shè)備的示例性結(jié)構(gòu)的框圖。在圖4中，與圖3中相同的部件由相同標(biāo)號進(jìn)行指示。將恰當(dāng)省去對它們的冗余描述。圖4的圖像處理設(shè)備50包括成像元件11、缺陷像素校正單元51、箝位(clamp)處理單元52、白平衡単元53、預(yù)測信號處理單元54、預(yù)測信號處理單元55和輸出彩色空間轉(zhuǎn)換單元56。圖像處理設(shè)備50使用類別分類自適應(yīng)處理從拜爾陣列的圖像直接產(chǎn)生低噪聲YUV圖像。圖像處理設(shè)備50的缺陷像素校正単元51、箝位處理單元52和白平衡単元53對由成像元件11產(chǎn)生的拜爾陣列的圖像執(zhí)行預(yù)處理以提高輸出圖像的質(zhì)量。具體地講，缺陷像素校正單元51根據(jù)從成像元件11提供的拜爾陣列的圖像檢測成像元件11中的缺陷像素的像素值。成像元件11中的缺陷像素是指不會響應(yīng)入射光的元·件或者不管任何原因電荷總是保持累積的元件。缺陷像素校正単元51例如使用附近非缺陷像素的像素值校正檢測到的成像元件11中的缺陷像素的像素值，并且將校正的拜爾陣列的圖像提供給箝位處理單元52。箝位處理單元52對從缺陷像素校正單元51提供的校正的拜爾陣列的圖像進(jìn)行箝位處理。具體地講，為了防止刪除負(fù)值，成像元件11在正向上偏移模擬信號的信號值，然后執(zhí)行AD轉(zhuǎn)換。因此，箝位處理單元52對校正的拜爾陣列的圖像進(jìn)行箝位從而能夠否定在AD轉(zhuǎn)換時的偏移部分。箝位處理單元52將箝位的拜爾陣列的圖像提供給白平衡単元53。白平衡単元53通過校正從箝位處理單元52提供的拜爾陣列的圖像的彩色分量的増益來調(diào)整白平衡。白平衡単元53將已經(jīng)調(diào)整了白平衡的拜爾陣列的圖像提供給預(yù)測信號處理單兀54和預(yù)測信號處理單兀55。預(yù)測信號處理單元54基于表示用戶指定的降噪程度的噪聲參數(shù)對從白平衡単元53提供的拜爾陣列的圖像執(zhí)行針對亮度分量的類別分類自適應(yīng)處理，并且產(chǎn)生低噪聲YUV圖像的亮度分量。預(yù)測信號處理單元54將低噪聲YUV圖像的亮度分量提供給輸出彩色空間轉(zhuǎn)換単元56。預(yù)測信號處理單元55基于表示用戶指定的降噪程度的噪聲參數(shù)對從白平衡単元53提供的拜爾陣列的圖像執(zhí)行針對色差分量的類別分類自適應(yīng)處理，并且產(chǎn)生低噪聲YUV圖像的色差分量。預(yù)測信號處理單元55將低噪聲YUV圖像的色差分量提供給輸出彩色空間轉(zhuǎn)換単元56。輸出彩色空間轉(zhuǎn)換単元56將包括來自預(yù)測信號處理單元54的亮度分量和來自預(yù)測信號處理單元55的色差分量的YUV圖像轉(zhuǎn)換成由用戶預(yù)先選擇的YUV圖像或RGB圖像的圖像，并且輸出轉(zhuǎn)換后的圖像作為輸出圖像。具體地講，當(dāng)用戶選擇的圖像是YUV圖像時，輸出彩色空間轉(zhuǎn)換単元56原樣輸出包括來自預(yù)測信號處理單元54的亮度分量和來自預(yù)測信號處理單元55的色差分量的YUV圖像作為輸出圖像。然而，當(dāng)用戶選擇的圖像是RGB圖像吋，輸出彩色空間轉(zhuǎn)換単元56將包括來自預(yù)測信號處理單元54的亮度分量和來自預(yù)測信號處理單元55的色差分量的YUV圖像轉(zhuǎn)換成遵照ITU-RBT. 601等等的RGB圖像。然后，輸出彩色空間轉(zhuǎn)換單元56輸出轉(zhuǎn)換后的RGB圖像作為輸出圖像。[預(yù)測信號處理單元的詳細(xì)結(jié)構(gòu)例子]
圖5是示出圖4所示的預(yù)測信號處理單元54的詳細(xì)結(jié)構(gòu)例子的框圖。圖5的預(yù)測信號處理單元54包括預(yù)測抽頭獲取単元71、類別抽頭獲取単元72、類別號產(chǎn)生単元73、系數(shù)產(chǎn)生單元74和預(yù)測計算單元75。預(yù)測信號處理單元54的預(yù)測抽頭獲取単元71順序設(shè)置要進(jìn)行預(yù)測的低噪聲YUV圖像的每個像素作為關(guān)注像素。預(yù)測抽頭獲取単元71從由圖4所示的白平衡単元53提供的拜爾陣列的圖像獲取用于預(yù)測關(guān)注像素的亮度分量的像素值的ー個或多個像素值作為預(yù)測抽頭。然后，預(yù)測抽頭獲取単元71將預(yù)測抽頭提供給預(yù)測計算單元75。類別抽頭獲取単元72從由白平衡単元53提供的拜爾陣列的圖像獲取用于執(zhí)行類別分類以將關(guān)注像素的亮度分量的像素值分類成一個或更多類別中的任何ー個的ー個或多個像素值作為類別抽頭。然后，類別抽頭獲取単元72將類別抽頭提供給類別號產(chǎn)生單元73。類別號產(chǎn)生單元73用作亮度類別分類単元，并且基于從類別抽頭獲取單元72提供的每個彩色分量的類別抽頭對關(guān)注像素的亮度分量的像素值執(zhí)行類別分類。類別號產(chǎn)生単元73產(chǎn)生與作為結(jié)果獲得的類別對應(yīng)的類別號，并且將產(chǎn)生的類別號提供給系數(shù)產(chǎn)生單元74。例如，可以采用使用自適應(yīng)動態(tài)范圍編碼(ADRC)的方法作為執(zhí)行類別分類的方法。當(dāng)采用使用ADRC的方法作為執(zhí)行類別分類的方法吋，構(gòu)成類別抽頭的像素值經(jīng)歷ADRC處理，并且根據(jù)作為結(jié)果獲得的再量化碼決定關(guān)注像素的類別號。具體地講，執(zhí)行根據(jù)指定的比特數(shù)P均等分割類別抽頭的最大值MAX與最小值MIN之間的值并且通過下面公式(I)再量化分割結(jié)果的處理作為ADRC處理。qi=[(ki-MIN+0. 5)*2~p/DR]. . . (I)在公式(I)中，[]是指[]中的值的小數(shù)點(diǎn)后的數(shù)字被截斷。另外，Ici表示類別抽頭的第i個像素值，Qi表示類別抽頭的第i個像素值的再量化碼。另外，DR表示動態(tài)范圍并且是 “MAX-MIN+1”。然后，在下面公式(2)中使用如上所述獲得的再量化碼Qi計算關(guān)注像素的類別號類別。[數(shù)學(xué)式I]
權(quán)利要求
1.一種圖像處理設(shè)備，包括 亮度預(yù)測計算單元，通過使用與低噪聲圖像對應(yīng)的教師圖像和與拜爾陣列的圖像對應(yīng)的學(xué)生圖像計算亮度預(yù)測抽頭和亮度分量的預(yù)測系數(shù)來計算關(guān)注像素的亮度分量的像素值，所述關(guān)注像素是在與預(yù)定的拜爾陣列的圖像對應(yīng)的預(yù)定低噪聲圖像中的吸引注意的像素，通過求解表示教師圖像的每個像素的亮度分量的像素值，學(xué)生圖像中與該像素對應(yīng)的像素的像素值以及亮度分量的預(yù)測系數(shù)之間關(guān)系的方程式來學(xué)習(xí)亮度分量的預(yù)測系數(shù)，所述低噪聲圖像是這樣的圖像，低噪聲圖像是具有減小的噪聲的圖像并且低噪聲圖像由拜爾陣列圖像的每個像素的亮度分量和色差分量的像素值構(gòu)成，所述亮度預(yù)測抽頭由與關(guān)注像素對應(yīng)的預(yù)定的拜爾陣列的圖像的像素的像素值構(gòu)成；以及 色差預(yù)測計算單元，通過使用教師圖像和學(xué)生圖像計算色差分量的預(yù)測系數(shù)和與預(yù)定的低噪聲圖像中的關(guān)注像素對應(yīng)的色差預(yù)測抽頭來計算關(guān)注像素的色差分量的像素值，其中通過求解表示教師圖像的每個像素的色差分量的像素值、學(xué)生圖像中與該像素對應(yīng)的像素的像素值以及色差分量的預(yù)測系數(shù)之間關(guān)系的方程式來學(xué)習(xí)色差分量的預(yù)測系數(shù)，所述色差預(yù)測抽頭由預(yù)定的拜爾陣列的圖像的像素的像素值構(gòu)成，并且色差分量的預(yù)測系數(shù)的降噪效果高于亮度分量的預(yù)測系數(shù)的降噪效果。
2.根據(jù)權(quán)利要求I的圖像處理設(shè)備， 其中，針對表示預(yù)定低噪聲圖像中的降噪程度的每個噪聲參數(shù)學(xué)習(xí)亮度分量的預(yù)測系數(shù)和色差分量的預(yù)測系數(shù)， 亮度預(yù)測計算單元通過基于預(yù)定噪聲參數(shù)計算該噪聲參數(shù)的亮度分量的預(yù)測系數(shù)和亮度預(yù)測抽頭來計算關(guān)注像素的亮度分量的像素值，以及 色差預(yù)測計算單元通過基于預(yù)定噪聲參數(shù)計算該噪聲參數(shù)的色差分量的預(yù)測系數(shù)和色差預(yù)測抽頭來計算關(guān)注像素的色差分量的像素值。
3.根據(jù)權(quán)利要求I的圖像處理設(shè)備，還包括 亮度預(yù)測抽頭獲取單元，從預(yù)定的拜爾陣列的圖像獲取亮度預(yù)測抽頭；以及 色差預(yù)測抽頭獲取單元，從預(yù)定的拜爾陣列的圖像獲取色差預(yù)測抽頭。
4.根據(jù)權(quán)利要求I的圖像處理設(shè)備，還包括 亮度類別抽頭獲取單元，獲取與關(guān)注像素對應(yīng)的預(yù)定的拜爾陣列的圖像的像素的像素值作為用于執(zhí)行類別分類的亮度類別抽頭，所述類別分類用于將關(guān)注像素的亮度分量的像素值分類到多個類別中的任何一個； 亮度類別分類單元，基于由亮度類別抽頭獲取單元獲取的亮度類別抽頭對關(guān)注像素的亮度分量的像素值進(jìn)行分類； 色差類別抽頭獲取單元，獲取與關(guān)注像素對應(yīng)的預(yù)定的拜爾陣列的圖像的像素的像素值作為用于對關(guān)注像素的色差分量的像素值執(zhí)行類別分類的色差類別抽頭；以及 色差類別分類單元，基于由色差類別抽頭獲取單元獲取的色差類別抽頭，對關(guān)注像素的色差分量的像素值進(jìn)行分類， 其中，針對每個類別學(xué)習(xí)亮度分量的預(yù)測系數(shù)和色差分量的預(yù)測系數(shù)， 亮度預(yù)測計算單元通過計算與由亮度類別分類單元執(zhí)行類別分類獲得的關(guān)注像素的亮度分量的像素值的類別對應(yīng)的亮度分量的預(yù)測系數(shù)和亮度預(yù)測抽頭來計算關(guān)注像素的亮度分量的像素值，以及色差預(yù)測計算單元通過計算與由色差類別分類單元執(zhí)行類別分類獲得的關(guān)注像素的色差分量的像素值的類別對應(yīng)的色差分量的預(yù)測系數(shù)和色差預(yù)測抽頭來計算關(guān)注像素的色差分量的像素值。
5.—種圖像處理方法,包括 在圖像處理設(shè)備處， 通過使用與低噪聲圖像對應(yīng)的教師圖像和與拜爾陣列的圖像對應(yīng)的學(xué)生圖像計算亮度預(yù)測抽頭和亮度分量的預(yù)測系數(shù)來計算關(guān)注像素的亮度分量的像素值，所述關(guān)注像素是在與預(yù)定的拜爾陣列的圖像對應(yīng)的預(yù)定低噪聲圖像中的吸引注意的像素，通過求解表示教師圖像的每個像素的亮度分量的像素值，學(xué)生圖像中與該像素對應(yīng)的像素的像素值以及亮度分量的預(yù)測系數(shù)之間關(guān)系的方程式來學(xué)習(xí)亮度分量的預(yù)測系數(shù)，所述低噪聲圖像是這樣的圖像，低噪聲圖像是具有減小的噪聲的圖像并且低噪聲圖像由拜爾陣列圖像的每個像素的亮度分量和色差分量的像素值構(gòu)成，所述亮度預(yù)測抽頭由與關(guān)注像素對應(yīng)的預(yù)定的拜爾陣列的圖像的像素的像素值構(gòu)成；以及 通過使用教師圖像和學(xué)生圖像計算色差分量的預(yù)測系數(shù)和與預(yù)定的低噪聲圖像中的關(guān)注像素對應(yīng)的色差預(yù)測抽頭來計算關(guān)注像素的色差分量的像素值，其中通過求解表示教師圖像的每個像素的色差分量的像素值、學(xué)生圖像中與該像素對應(yīng)的像素的像素值以及色差分量的預(yù)測系數(shù)之間關(guān)系的方程式來學(xué)習(xí)色差分量的預(yù)測系數(shù)，所述色差預(yù)測抽頭由預(yù)定的拜爾陣列的圖像的像素的像素值構(gòu)成，并且色差分量的預(yù)測系數(shù)的降噪效果高于亮度分量的預(yù)測系數(shù)的降噪效果。
6.一種程序，使得計算機(jī)執(zhí)行如下處理 通過使用與低噪聲圖像對應(yīng)的教師圖像和與拜爾陣列的圖像對應(yīng)的學(xué)生圖像計算亮度預(yù)測抽頭和亮度分量的預(yù)測系數(shù)來計算關(guān)注像素的亮度分量的像素值，所述關(guān)注像素是在與預(yù)定的拜爾陣列的圖像對應(yīng)的預(yù)定低噪聲圖像中的吸引注意的像素，通過求解表示教師圖像的每個像素的亮度分量的像素值，學(xué)生圖像中與該像素對應(yīng)的像素的像素值以及亮度分量的預(yù)測系數(shù)之間關(guān)系的方程式來學(xué)習(xí)亮度分量的預(yù)測系數(shù)，所述低噪聲圖像是這樣的圖像，低噪聲圖像是具有減小的噪聲的圖像并且低噪聲圖像由拜爾陣列圖像的每個像素的亮度分量和色差分量的像素值構(gòu)成，所述亮度預(yù)測抽頭由與關(guān)注像素對應(yīng)的預(yù)定的拜爾陣列的圖像的像素的像素值構(gòu)成；以及 通過使用教師圖像和學(xué)生圖像計算色差分量的預(yù)測系數(shù)和與預(yù)定的低噪聲圖像中的關(guān)注像素對應(yīng)的色差預(yù)測抽頭來計算關(guān)注像素的色差分量的像素值，其中通過求解表示教師圖像的每個像素的色差分量的像素值、學(xué)生圖像中與該像素對應(yīng)的像素的像素值以及色差分量的預(yù)測系數(shù)之間關(guān)系的方程式來學(xué)習(xí)色差分量的預(yù)測系數(shù)，所述色差預(yù)測抽頭由預(yù)定的拜爾陣列的圖像的像素的像素值構(gòu)成，并且色差分量的預(yù)測系數(shù)的降噪效果高于亮度分量的預(yù)測系數(shù)的降噪效果。
7.一種記錄權(quán)利要求6中所述的程序的記錄介質(zhì)。
8.—種學(xué)習(xí)設(shè)備,包括 學(xué)習(xí)單元，所述學(xué)習(xí)單元通過使用與關(guān)注像素的對應(yīng)的預(yù)測抽頭和關(guān)注像素的像素值求解表示教師圖像的每個像素的像素值、該像素的預(yù)測抽頭以及預(yù)測系數(shù)之間關(guān)系的方程式來計算預(yù)測系數(shù)，所述預(yù)測系數(shù)用于將預(yù)定的拜爾陣列的圖像轉(zhuǎn)換成預(yù)定的低噪聲圖像，所述低噪聲圖像是這樣的圖像，低噪聲圖像具有減小的噪聲的圖像并且低噪聲圖像由預(yù)定的拜爾陣列的圖像的每個像素的亮度分量和色差分量的像素值構(gòu)成，所述教師圖像用于學(xué)習(xí)預(yù)測系數(shù)并且與預(yù)定的低噪聲圖像對應(yīng)，所述關(guān)注像素是教師圖像中吸引注意的像素，所述預(yù)測抽頭由與關(guān)注像素對應(yīng)的且與預(yù)定的拜爾陣列的圖像對應(yīng)的學(xué)生圖像的像素的像素值構(gòu)成。
9.根據(jù)權(quán)利要求8的學(xué)習(xí)設(shè)備，還包括 噪聲添加單元，將預(yù)定噪聲加入教師圖像； 彩色空間轉(zhuǎn)換單元，將通過噪聲添加單元加入預(yù)定噪聲的教師圖像轉(zhuǎn)換成由教師圖像的每個像素的多個預(yù)定彩色分量的像素值構(gòu)成的彩色圖像；以及 間隔剔除處理單元，對由彩色空間轉(zhuǎn)換單元轉(zhuǎn)換的彩色圖像的每個像素的多個預(yù)定彩色分量的像素值之中的預(yù)定彩色分量的像素值進(jìn)行間隔剔除，并且將作為結(jié)果獲得的拜爾陣列的圖像設(shè)置為學(xué)生圖像。
10.根據(jù)權(quán)利要求9的學(xué)習(xí)設(shè)備， 其中，噪聲添加單元針對表示預(yù)定低噪聲圖像中的降噪程度的每個噪聲參數(shù)添加與該噪聲參數(shù)對應(yīng)的預(yù)定噪聲，以及 所述學(xué)習(xí)單元通過針對每個噪聲參數(shù)使用預(yù)測抽頭和關(guān)注像素的像素值求解所述方程式來計算每個噪聲參數(shù)的預(yù)測系數(shù)，所述預(yù)測抽頭由構(gòu)成與該噪聲參數(shù)對應(yīng)的學(xué)生圖像并且對應(yīng)于關(guān)注像素的像素的像素值構(gòu)成。
11.根據(jù)權(quán)利要求8的學(xué)習(xí)設(shè)備，還包括 預(yù)測抽頭獲取單元，用于從學(xué)生圖像獲取預(yù)測抽頭。
12.根據(jù)權(quán)利要求8的學(xué)習(xí)設(shè)備，還包括 類別抽頭獲取單元，獲取與關(guān)注像素對應(yīng)的學(xué)生圖像的像素的像素值作為用于執(zhí)行類別分類的類別抽頭，所述類別分類將關(guān)注像素分類到多個類別中的任何一個；以及 類別分類單元，基于由類別抽頭獲取單元獲取的類別抽頭對關(guān)注像素執(zhí)行類別分類， 其中，學(xué)習(xí)單元通過使用關(guān)注像素的像素值和預(yù)測抽頭針對關(guān)注像素的每個類別求解所述方程式來計算每個類別的預(yù)測系數(shù)。
13.—種學(xué)習(xí)方法，包括 在學(xué)習(xí)設(shè)備， 通過使用與關(guān)注像素的對應(yīng)的預(yù)測抽頭和關(guān)注像素的像素值求解表示教師圖像的每個像素的像素值、該像素的預(yù)測抽頭以及預(yù)測系數(shù)之間關(guān)系的方程式來計算預(yù)測系數(shù)，所述預(yù)測系數(shù)用于將預(yù)定的拜爾陣列的圖像轉(zhuǎn)換成預(yù)定的低噪聲圖像，所述低噪聲圖像是這樣的圖像，低噪聲圖像是具有減小的噪聲的圖像并且低噪聲圖像由預(yù)定的拜爾陣列的圖像的每個像素的亮度分量和色差分量的像素值構(gòu)成，所述教師圖像用于學(xué)習(xí)預(yù)測系數(shù)并且與預(yù)定的低噪聲圖像對應(yīng)，所述關(guān)注像素是教師圖像中吸引注意的像素，所述預(yù)測抽頭由與關(guān)注像素對應(yīng)的且與預(yù)定的拜爾陣列的圖像對應(yīng)的學(xué)生圖像的像素的像素值構(gòu)成。
14.一種程序，使得計算機(jī)執(zhí)行如下處理 通過使用與關(guān)注像素的對應(yīng)的預(yù)測抽頭和關(guān)注像素的像素值求解表示教師圖像的每個像素的像素值、該像素的預(yù)測抽頭以及預(yù)測系數(shù)之間關(guān)系的方程式來計算預(yù)測系數(shù)，所述預(yù)測系數(shù)用于將預(yù)定的拜爾陣列的圖像轉(zhuǎn)換成預(yù)定的低噪聲圖像，所述低噪聲圖像是這樣的圖像，低噪聲圖像具有減小的噪聲的圖像并且低噪聲圖像由預(yù)定的拜爾陣列的圖像的每個像素的亮度分量和色差分量的像素值構(gòu)成，所述教師圖像用于學(xué)習(xí)預(yù)測系數(shù)并且與預(yù)定的低噪聲圖像對應(yīng)，所述關(guān)注像素是教師圖像中吸引注意的像素，所述預(yù)測抽頭由與關(guān)注像素對應(yīng)的且與預(yù)定的拜爾陣列的圖像對應(yīng)的學(xué)生圖像的像素的像素值構(gòu)成。
15.—種記錄權(quán)利要求14中所述的程序的記錄介質(zhì)。
全文摘要
預(yù)測信號處理單元通過計算亮度分量的預(yù)測系數(shù)和亮度預(yù)測抽頭計算關(guān)注像素的亮度分量的像素值。預(yù)測信號處理單元通過計算降噪效果高于亮度分量的預(yù)測系數(shù)的色差分量的預(yù)測系數(shù)和色差預(yù)測抽頭計算關(guān)注像素的色差分量的像素值。例如，本發(fā)明可以應(yīng)用到圖像處理設(shè)備。
文檔編號H04N5/217GK102790885SQ201210146230
公開日2012年11月21日 申請日期2012年5月11日 優(yōu)先權(quán)日2011年5月20日
發(fā)明者千田圭祐 申請人:索尼公司