專利名稱：圖像處理設備、圖像處理方法、程序、存儲介質(zhì)和學習設備的制作方法
技術領域：
本技術涉及圖像處理設備、圖像處理方法、程序、存儲介質(zhì)和學習設備，更具體地說，涉及能夠高精度地生成從Bayer陣列的圖像放大的彩色圖像的圖像處理設備、圖像處理方法、程序、存儲介質(zhì)和學習設備。
背景技術：
過去，存在為了便于小型化，只包括一個成像元件，比如電荷耦合器件(CCD)圖像傳感器或互補金屬氧化物半導體(CMOS)圖像傳感器的成像設備。在該成像設備中，不同的濾色器通常用于成像元件的各個像素，從而從各個像素獲得諸如紅色、綠色和藍色(RGB)之類多種顏色中的任意之一的信號。例如，按照這種方式，利用成像元件獲得的圖像變成圖I中圖解說明的彩色陣列的圖像。下面，圖I的彩色陣列被稱為“Bayer陣列”。
·
一般，利用稱為去馬賽克處理的插值處理，把用成像元件獲得的Bayer陣列的圖像轉(zhuǎn)換成其中每個像素具有諸如RGB之類多種顏色分量中的任意之一的像素值的彩色圖像。作為生成從Bayer陣列的圖像放大的彩色圖像的方法，一種方法是利用去馬賽克處理，從Bayer陣列的圖像生成彩色圖像，然后對彩色圖像進行放大處理(例如，參見日本專利申請公開No. 2006-54576)。圖2是圖解說明利用以上的方法，生成放大的彩色圖像的圖像處理設備的結(jié)構(gòu)的方框圖。圖2的圖像處理設備10包括成像元件11、去馬賽克處理單元12和放大處理單元13。圖像處理設備10的成像元件11把不同的濾色器用于相應的像素。成像元件11為每個像素，獲得來自被攝物體的光的R分量、G分量和B分量任意之一的模擬信號，對模擬信號進行模-數(shù)(AD)轉(zhuǎn)換，從而生成Bayer陣列的圖像。成像元件11把生成的Bayer陣列的圖像提供給去馬賽克處理單元12。去馬賽克處理單元12對從成像元件11供給的Bayer陣列的圖像進行去馬賽克處理，生成具有各個像素的R分量、G分量和B分量的像素值的彩色圖像(下面稱為“RGB圖像”)。隨后，去馬賽克處理單元12把生成的RGB圖像提供給放大處理單元13。放大處理單元13根據(jù)從外部輸入的水平方向和垂直方向的放大率，對從去馬賽克處理單元12供給的RGB圖像進行放大處理，然后輸出放大的RGB圖像，作為輸出圖像。作為以任意倍率放大RGB圖像的方法，存在一種利用類別分類自適應處理的方法(例如，參見日本專利No. 4441860)。類別分類自適應處理指的是把處理后的圖像中的關注像素(它是所關注的像素)分類到預定類別，然后通過線性組合對應于該類別，通過學習獲得的預測系數(shù)，和對應于關注像素的未處理圖像的像素值，預測關注像素的像素值的處理
發(fā)明內(nèi)容
例如，當類別分類自適應處理被用作圖I的圖像處理設備10中的去馬賽克處理和放大處理時，諸如存在于Bayer陣列的圖像中的細線部分之類的信息可能因去馬賽克處理而丟失，從而輸出圖像的精度降低。具體地說，當諸如細線部分之類的信息因去馬賽克處理而丟失，從而RGB圖像具有平坦部分時，對放大處理單元13來說，很難識別RGB圖像的平坦部分是本來存在的平坦部分，還是因細線部分的丟失而引起的平坦部分。從而，即使當諸如細線部分之類的信息已因去馬賽克處理而丟失時，放大處理單元13仍然類似于其中諸如細線部分之類的信息未被丟失的RGB圖像，對從去馬賽克處理單元12供給的RGB圖像進行放大處理。因此，輸出圖像變成與通過平滑未經(jīng)過去馬賽克處理的Bayer陣列的圖像而獲得的圖像對應的圖像，從而，輸出圖像的精度降低。類似地，甚至當由于去馬賽克處理，生成不存在于Bayer陣列的圖像中的顏色的邊緣等時，輸出圖像的精度被降低。鑒于上面所述，做出了本技術，理想的是高精度地生成從Bayer陣列的圖像放大·的彩色圖像。按照本技術的一個實施例，提供一種圖像處理設備，包括預測計算單元，所述預測計算單元借助通過利用與包括以第一放大率放大的Bayer陣列的圖像的像素的多個預定顏色分量的像素值的彩色圖像對應的教師圖像，和對應于Bayer陣列的圖像的學生圖像，進行關于教師圖像的各個像素的各個顏色分量的預測系數(shù)和預測抽頭的計算，為每個顏色分量計算關注像素的像素值，并輸出包括每個顏色分量的關注像素的像素值的預定彩色圖像，所述關注像素是與以第二放大率放大的Bayer陣列的預定圖像對應的預定彩色圖像中的所關注的像素，所述預測系數(shù)是通過求解表示所述教師圖像的各個像素的像素值、對應于該像素并以第一放大率放大的學生圖像的像素的像素值、和預測系數(shù)之間的關系的公式而學習的，所述預測抽頭包括以第二放大率放大的Bayer陣列的預定圖像的像素的像素值，并且對應于關注像素。按照本技術的第一方面的圖像處理方法、程序和記錄在存儲介質(zhì)中的程序?qū)诎凑毡炯夹g的第一方面的圖像處理設備。按照本實施例，在圖像處理設備，借助利用與包括以第一放大率放大的Bayer陣列的圖像的像素的多個預定顏色分量的像素值的彩色圖像對應的教師圖像，和對應于Bayer陣列的圖像的學生圖像，關于教師圖像的各個像素的各個顏色分量，和作為教師圖像的每個像素在學生圖像中的位置與最接近該位置的學生圖像的像素的位置之間的距離的每個像素間距離的預測系數(shù)和預測抽頭的計算，能夠為每個顏色分量計算關注像素的像素值，并輸出包括每個顏色分量的關注像素的像素值的預定彩色圖像，所述關注像素是與以第二放大率放大的Bayer陣列的預定圖像對應的預定彩色圖像中的所關注的像素，所述預測系數(shù)是通過求解表示所述教師圖像的各個像素的像素值、對應于該像素的學生圖像的像素的像素值、和預測系數(shù)之間的關系的公式學習的預測系數(shù)之中的，對應于關注像素間距離的預測系數(shù)，所述關注像素間距離是Bayer陣列的預定圖像中的關注像素的位置和最接近關注像素的像素(它是Bayer陣列的預定圖像的最接近該位置的像素)的位置之間的距離，所述預測抽頭包括Bayer陣列的預定圖像的像素的像素值，并且對應于關注像素。按照本發(fā)明的另一個實施例，提供一種學習設備，所述學習設備包括學習單元，所述學習單元通過利用預測抽頭和關注像素的像素值，關于教師圖像的各個像素的各個顏色分量和各個像素間距離，求解表示教師圖像的各個像素的像素值、對應像素的預測抽頭和預測系數(shù)之間的關系的公式，計算每個顏色分量和每個像素間距離的預測系數(shù)，所述像素間距離是教師圖像的各個像素在學生圖像中的位置和最接近該位置的學生圖像的各個像素的位置之間的距離，所述預測抽頭包括與關注像素對應的像素的像素值，所述關注像素是教師圖像中的所關注的像素，所述教師圖像是包括用于預測系數(shù)的學習，并且對應于Bayer陣列的預定圖像的學生圖像之中，以第二放大率放大的學生圖像的各個像素的多個顏色分量的像素值的彩色圖像，所述預測系數(shù)用于把Bayer陣列的預定圖像轉(zhuǎn)換成包括以第一放大率放大的Bayer陣列的預定圖像的各個像素的多個顏色分量的像素值的預定彩色圖像。按照本技術的第二方面的學習方法、程序和記錄在存儲介質(zhì)中的程序?qū)诎凑毡炯夹g的第二方面的學習設備。按照本實施例，通過利用預測抽頭和關注像素的像素值，關于教師圖像的各個像素的各個顏色分量，求解表示教師圖像的各個像素的像素值、該像素的預測抽頭和預測系·數(shù)之間的關系的公式，能夠計算每個顏色分量的預測系數(shù)，所述預測抽頭包括與關注像素對應的像素的像素值，所述關注像素是教師圖像中的所關注的像素，所述教師圖像是與通過在對應圖像中，根據(jù)第二放大率，放大學生圖像而獲得的圖像對應的彩色圖像，所述學生圖像用于預測系數(shù)的學習，并且對應于Bayer陣列的預定圖像，所述預測系數(shù)用于把Bayer陣列的預定圖像轉(zhuǎn)換成包括以第一放大率放大的Bayer陣列的預定圖像的各個像素的多個顏色分量的像素值的預定彩色圖像。按照本實施例的另一個實施例，提供一種圖像處理設備，包括預測計算單元，所述預測計算單元借助利用與包括以第一放大率放大的Bayer陣列的圖像的像素的多個預定顏色分量的像素值的彩色圖像對應的教師圖像，和對應于Bayer陣列的圖像的學生圖像，關于教師圖像的各個像素的各個顏色分量和各個像素間距離的預測系數(shù)和預測抽頭的計算，為每個顏色分量計算關注像素的像素值，并輸出包括每個顏色分量的關注像素的像素值的預定彩色圖像，所述像素間距離是教師圖像的各個像素在學生圖像中的位置與最接近該位置的學生圖像的像素的位置之間的距離，所述關注像素是與以第二放大率放大的Bayer陣列的預定圖像對應的預定彩色圖像中的所關注的像素，所述預測系數(shù)是通過求解表示所述教師圖像的各個像素的像素值、對應于該像素的學生圖像的像素的像素值、和預測系數(shù)之間的關系的公式學習的預測系數(shù)之中的，對應于關注像素間距離的預測系數(shù)，所述關注像素間距離是Bayer陣列的預定圖像中的關注像素的位置和最接近關注像素的像素(它是Bayer陣列的預定圖像的最接近該位置的像素)的位置之間的距離，所述預測抽頭包括Bayer陣列的預定圖像的像素的像素值，并且對應于關注像素。按照本實施例，借助利用與包括以第一放大率放大的Bayer陣列的圖像的像素的多個預定顏色分量的像素值的彩色圖像對應的教師圖像，和對應于Bayer陣列的圖像的學生圖像，關于教師圖像的各個像素的各個顏色分量和各個像素間距離的預測系數(shù)和預測抽頭的計算，能夠為每個顏色分量計算關注像素的像素值，并輸出包括每個顏色分量的關注像素的像素值的預定彩色圖像，所述像素間距離是教師圖像的各個像素在學生圖像中的位置與最接近該位置的學生圖像的像素的位置之間的距離，所述關注像素是與以第二放大率放大的Bayer陣列的預定圖像對應的預定彩色圖像中的所關注的像素，所述預測系數(shù)是通過求解表示所述教師圖像的各個像素的像素值、對應于該像素的學生圖像的像素的像素值、和預測系數(shù)之間的關系的公式學習的預測系數(shù)之中的，對應于關注像素間距離的預測系數(shù)，所述關注像素間距離是Bayer陣列的預定圖像中的關注像素的位置和最接近關注像素的像素(它是Bayer陣列的預定圖像的最接近該位置的像素)的位置之間的距離，所述預測抽頭包括Bayer陣列的預定圖像的像素的像素值，并且對應于關注像素。按照本實施例，學習設備包括學習單元，所述學習單元利用預測抽頭和關注像素的像素值，關于教師圖像的各個像素的各個顏色分量，求解表示教師圖像的各個像素的像素值、該像素的預測抽頭和預測系數(shù)之間的關系的公式，計算每個顏色分量的預測系數(shù)，所述預測抽頭包括與關注像素對應的像素的像素值，所述關注像素是教師圖像中的所關注的像素，所述教師圖像是與通過在對應圖像中，根據(jù)第二放大率，放大學生圖像而獲得的圖像對應的彩色圖像，所述學生圖像用于預測系數(shù)的學習，并且對應于Bayer陣列的預定圖像，所述預測系數(shù)用于把Bayer陣列的預定圖像轉(zhuǎn)換成包括以第一放大率放大的Bayer陣列的預定圖像的各個像素的多個顏色分量的像素值的預定彩色圖像。
·
按照本技術的另一個實施例，通過利用預測抽頭和關注像素的像素值，關于教師圖像的各個像素的各個顏色分量，求解表示教師圖像的各個像素的像素值、該像素的預測抽頭和預測系數(shù)之間的關系的公式，能夠計算每個顏色分量的預測系數(shù)，所述預測抽頭包括與關注像素對應的像素的像素值，所述關注像素是教師圖像中的所關注的像素，所述教師圖像是與通過在對應圖像中，根據(jù)第二放大率，放大學生圖像而獲得的圖像對應的彩色圖像，所述學生圖像用于預測系數(shù)的學習，并且對應于Bayer陣列的預定圖像，所述預測系數(shù)用于把Bayer陣列的預定圖像轉(zhuǎn)換成包括以第一放大率放大的Bayer陣列的預定圖像的各個像素的多個顏色分量的像素值的預定彩色圖像。按照本技術的第一和第三方面，能夠高精度地生成從Bayer陣列的圖像放大的彩色圖像。此外，按照本技術的第二和第四方面，能夠?qū)W習用于高精度地生成從Bayer陣列的圖像放大的彩色圖像的預測系數(shù)。


圖I是圖解說明Bayer陣列的例子的示圖；圖2是圖解說明圖像處理設備的例證結(jié)構(gòu)的方框圖；圖3是圖解說明按照本技術的第一實施例的圖像處理設備的例證結(jié)構(gòu)的方框圖；圖4是圖解說明放大處理單元的詳細例證結(jié)構(gòu)的方框圖；圖5是圖解說明放大預測處理單元的詳細例證結(jié)構(gòu)的方框圖；圖6是圖解說明輸出圖像的像素的位置的第一示圖；圖7圖解說明圖5的放大預測處理單元中的類別抽頭的抽頭結(jié)構(gòu)的例子的示圖；圖8是圖解說明圖5的放大預測處理單元中的預測抽頭的抽頭結(jié)構(gòu)的例子的示圖；圖9是圖解說明與用圖5中圖示的插值單元插值的類別抽頭對應的位置的示圖；圖10是說明放大處理單元的圖像處理的流程圖11是圖解說明學習圖5的放大預測處理單元中的預測系數(shù)的學習設備的例證結(jié)構(gòu)的方框圖；圖12是說明圖11的學習設備的學習處理的流程圖；圖13A和13B是圖解說明輸出圖像的例子的示圖；圖14是圖解說明按照本技術的第二實施例的圖像處理設備的放大預測處理單元的例證結(jié)構(gòu)的方框圖；圖15是圖解說明輸出圖像的像素的位置的第二示圖；圖16是圖解說明圖14的放大預測處理單元中的類別抽頭的抽頭結(jié)構(gòu)的例子的示·
圖17是圖解說明圖14的放大預測處理單元中的預測抽頭的抽頭結(jié)構(gòu)的例子的示圖；圖18是說明中心像素的位置的示圖；圖19是圖解說明包括在圖14的放大預測處理單元中的放大處理單元的圖像處理的流程圖；圖20是圖解說明學習圖14的放大預測處理單元中的預測系數(shù)的學習設備的例證結(jié)構(gòu)的方框圖；圖21是說明圖20的學習設備的學習處理的流程圖；圖22是圖解說明按照一個實施例的計算機的例證結(jié)構(gòu)的示圖。
具體實施例方式下面參考附圖，詳細說明本公開的優(yōu)選實施例。注意在說明書和附圖中，功能和結(jié)構(gòu)基本相同的構(gòu)成元件用相同的附圖標記表示，這些構(gòu)成元件的重復說明被省略。<第一實施例>[圖像處理設備的例證結(jié)構(gòu)]圖3是圖解說明按照本技術的第一實施例的圖像處理設備的例證結(jié)構(gòu)的方框圖。在圖3中，和圖2中相同的組件用相同的附圖標記表示。將適當?shù)厥÷运鱿嗤M件的冗余說明。圖3的圖像處理設備30的結(jié)構(gòu)和圖2的結(jié)構(gòu)的主要不同之處在于代替去馬賽克處理單元12和放大處理單元13，設置了放大處理單元31。圖像處理設備30利用類別分類自適應處理，直接生成從Bayer陣列的圖像放大的RGB圖像。具體地說，圖像處理設備30的放大處理單元31根據(jù)用戶(未示出)等從外部輸入的水平方向和垂直方向的放大率，放大利用成像元件11生成的Bayer陣列的圖像。水平方向和垂直方向的放大率可以彼此相同或不同。水平方向和垂直方向的放大率可以是整數(shù)或分數(shù)。放大處理單元31對Bayer陣列的放大圖像進行類別分類自適應處理，從而生成RGB圖像。放大處理單元31輸出生成的RGB圖像，作為輸出圖像。[放大處理單元的例證結(jié)構(gòu)]圖4是圖解說明在圖3中圖示的放大處理單元31的詳細例證結(jié)構(gòu)的方框圖。圖4的放大處理單元31包括缺陷像素校正單元51、箝位處理單元52、白平衡單元53和放大預測處理單元54。放大處理單元31的缺陷像素校正單元51、箝位處理單元52和白平衡單元53對Bayer陣列的圖像進行預處理，以便提高輸出圖像的質(zhì)量。具體地說，放大處理單元31的缺陷像素校正單元51從供給自圖3的成像元件11的Bayer陣列的圖像中，檢測成像元件11中的缺陷像素的像素值。成像元件11中的缺陷像素指的是不論由于什么原因，對入射光沒有反應的元件，或者電荷始終蓄積在其中的元件。缺陷像素校正單元51利用周圍的非缺陷像素的像素值，校正成像元件11中的缺陷像素的檢測像素值，然后把Bayer陣列的校正圖像提供給箝位處理單元52。箝位處理單元52對從缺陷像素校正單元51供給的Bayer陣列的校正圖像進行箝位。具體地說，為了防止負值被刪除，成像元件11沿著正向移動模擬信號的信號值，隨后進行AD轉(zhuǎn)換。從而，箝位處理單元52對Bayer陣列的校正圖像進行箝位，以致在AD轉(zhuǎn)換時的移動部分能夠被取消。箝位處理單元52把Bayer陣列的箝位圖像提供給白平衡單元53。
·
白平衡單元53通過校正從箝位處理單元52供給的Bayer陣列的圖像的顏色分量的增益，調(diào)整白平衡。白平衡單元53把白平衡已被調(diào)整的Bayer陣列的圖像提供給放大預測處理單元54。放大預測處理單元54根據(jù)從外部輸入的水平方向和垂直方向的放大率，放大從白平衡單元53供給的Bayer陣列的圖像。隨后，放大預測處理單元54對Bayer陣列的放大圖像進行類別分類自適應處理，從而生成RGB圖像。放大預測處理單元54輸出生成的RGB圖像，作為輸出圖像。[放大預測處理單元的詳細例證結(jié)構(gòu)]圖5是圖解說明在圖4中圖示的放大預測處理單元54的詳細例證結(jié)構(gòu)的方框圖。圖5的放大預測處理單元54包括插值單元71、預測抽頭獲取單元72、類別抽頭獲取單元73、類別號生成單元74、系數(shù)生成單元75和預測計算單元76。放大預測處理單元54的插值單元71起放大處理單元的作用，根據(jù)從外部輸入的水平方向和垂直方向的放大率，確定待預測的輸出圖像的各個像素在從圖4的白平衡單元53供給的Bayer陣列的圖像中的位置。插值單元71順序把輸出圖像的各個像素設定為關注像素。插值單元71確定Bayer陣列的圖像中的，與用于預測關注像素的像素值的一個或多個像素值(下面稱為“預測抽頭”)對應的位置。具體地說，插值單元71把對于Bayer陣列的圖像中，在與輸出圖像中的關注像素的位置相同的位置，在空間上具有預定位置關系的位置確定為對應于預測抽頭的位置。插值單元71對Bayer陣列的圖像進行預定插值處理，插入存在于對應于預測抽頭的位置的各個顏色分量的像素值。插值單元71把通過插值而獲得的每個顏色分量的預測抽頭提供給預測抽頭獲取單元72。插值單元71確定Bayer陣列的圖像中，與用于進行類別分類的一個或多個像素值(下面稱為“類別抽頭”)對應的位置，所述類別分類用于把關注像素分類到一個或多個類別中的任意一個類別。具體地說，插值單元71把對于Bayer陣列的圖像中，在與輸出圖像中的關注像素的位置相同的位置，在空間上具有預定位置關系的位置確定為對應于類別抽頭的位置。插值單元71對Bayer陣列的圖像進行預定插值處理，插入存在于對應于類別抽頭的位置的各個顏色分量的像素值。插值單元71把通過插值而獲得的每個顏色分量的類別抽頭提供給類別抽頭獲取單元73。例如，利用雙三次技術的插值處理、線性插值處理等可用作插值單元71中的插值處理。預測抽頭和類別抽頭可以具有相同的抽頭結(jié)構(gòu)或者不同的抽頭結(jié)構(gòu)。不過，與放大率無關，預測抽頭和類別抽頭的抽頭結(jié)構(gòu)是不變的。預測抽頭獲取單元72獲得從插值單元71供給的每個顏色分量的預測抽頭，然后把獲得的預測抽頭提供給預測計算單元76。類別抽頭獲取單元73獲得從插值單元71供給的每個顏色分量的類別抽頭，然后把獲得的類別抽頭提供給類別號生成單元74。類別號生成單元74起類別分類單元的作用，根據(jù)從類別抽頭獲取單元73供給的每個顏色分量的類別抽頭，為每個顏色分量，對關注像素進行類別分類。類別號生成單元74生成與作為結(jié)果獲得的類別對應的類別號，然后把生成的類別號提供給系數(shù)生成單元75。 例如，利用自適應動態(tài)范圍編碼(ADRC)的方法可被用作進行類別分類的方法。當利用ADRC的方法被用作進行類別分類的方法時，構(gòu)成類別抽頭的像素值經(jīng)歷ADRC處理，然后按照作為結(jié)果獲得的再量化碼，確定關注像素的類別號。具體地說，作為ADRC處理，進行依據(jù)以下的公式(I)，用指定的比特數(shù)P均勻分割類別抽頭的最大值MAX和最小值MIN之間的值，隨后再量化分割結(jié)果的處理。qi=[(ki-MIN+0. 5)*2~p/DR]... (I)在公式(I)中，[]意味[]中的數(shù)值的在小數(shù)點之后的數(shù)字被舍位。此外，Iii表示類別抽頭的第i個像素值，Qi表示類別抽頭的第i個像素值的再量化碼。另外，DR表示動態(tài)范圍，為 “MAX-MIN+1”。隨后，利用如上所述獲得的再量化碼qi;如以下公式(2)中那樣計算關注像素的類別號class。[數(shù)學式I]class = 丨(2 P),丨…(2)
i~l在公式⑵中，η表示構(gòu)成類別抽頭的像素值的數(shù)目。除了利用ADRC的方法之外，利用通過應用諸如離散余弦變換(DCT)、向量量化(VQ)、或差分脈沖碼調(diào)制(DPCM)之類數(shù)據(jù)壓縮技術而壓縮的數(shù)據(jù)的數(shù)量作為類別號的方法也可用作進行類別分類的方法。系數(shù)生成單元75保存利用后面參考圖11和12說明的學習而獲得的每個顏色分量和類別的預測系數(shù)。系數(shù)生成單元75讀取保存的預測系數(shù)之中，與從類別號生成單元74供給的每個顏色分量的類別號對應的類別的預測系數(shù)，然后把讀取的預測系數(shù)提供給預測計算單元76。預測計算單元76利用從預測抽頭獲取單元72供給的每個顏色分量的預測抽頭，和從系數(shù)生成單元75供給的每個顏色分量預測系數(shù)，對每個顏色分量，進行計算關注像素的像素值的真值的預測值的預定預測計算。從而，預測計算單元76生成關注像素的每個顏色分量的像素值的預測值，作為輸出圖像的關注像素的每個顏色分量的像素值，然后輸出生成的像素值。[輸出圖像的每個像素的位置的例子]圖6是圖解說明當水平方向和垂直方向的放大率為2倍時，輸出圖像的各個像素的位置的示圖。在圖6中，白色圓點代表輸入插值單元71的Bayer陣列的圖像的像素的位置，黑色圓點代表輸出圖像的像素的位置。如圖6中圖解所示，當水平方向和垂直方向的放大率為2倍時，輸出圖像的各個像素的位置之間的水平方向間隔為輸入插值單元71的Bayer陣列的圖像的各個像素的位置之間的水平方向間隔的一半(1/2)。此外，輸出圖像的各個像素的位置之間的垂直方向間隔為輸入插值單元71的Bayer陣列的圖像的各個像素的位置之間的垂直方向間隔的一半(1/2)?！類別抽頭的抽頭結(jié)構(gòu)的例子]圖7是圖解說明類別抽頭的抽頭結(jié)構(gòu)的例子的示圖。類別抽頭可具有和圖7中圖解說明的結(jié)構(gòu)不同的抽頭結(jié)構(gòu)。在圖7中，X標記代表和輸出圖像中的關注像素的位置相同的Bayer陣列的圖像中的位置(下面稱為“關注像素對應位置”)。在圖7中，環(huán)形標記代表與關注像素的類別抽頭對應的Bayer陣列的圖像中的位置。在圖7的例子中，與以關注像素對應位置為中心，分別沿著水平方向和垂直方向，間隔Bayer陣列的圖像的像素單元排列5個像素值的總共9個位置對應的像素值被視為類別抽頭。這種情況下，對應于類別抽頭的位置等同于以從外部輸入的水平方向和垂直方向的放大率放大的Bayer陣列的圖像的各個像素任意之一的位置。即，類別抽頭包括以從外部輸入的水平方向和垂直方向的放大率放大的Bayer陣列的圖像中的9個像素值。此外，關注像素對應位置和對應于類別抽頭的位置之間的關系是不變的，與從外部輸入的水平方向和垂直方向的放大率無關。[預測抽頭的抽頭結(jié)構(gòu)的例子]圖8是圖解說明預測抽頭的抽頭結(jié)構(gòu)的例子的示圖。預測抽頭可以具有和圖8中圖解說明的結(jié)構(gòu)不同的抽頭結(jié)構(gòu)。在圖8中，X標記代表關注像素對應位置。在圖8中，環(huán)形標記代表與關注像素的預測抽頭對應的Bayer陣列的圖像中的位置。在圖8的例子中，與總共13個位置對應的像素值被視為預測抽頭，所述13個位置包括以關注像素對應位置為中心，分別沿著水平方向和垂直方向，間隔Bayer陣列的圖像的像素單元排列5個像素值的總共9個位置，和分別在所述9個位置之中，位于關注像素對應位置的左右兩側(cè)的兩個相鄰位置的上下方，間隔Bayer陣列的圖像的像素單元排列I個像素值的總共4個位置。即，與構(gòu)成預測抽頭的像素值對應的位置被排列成菱形。這種情況下，對應于預測抽頭的位置等同于以從外部輸入的水平方向和垂直方向的放大率放大的Bayer陣列的圖像的任意一個像素的位置。即，類別抽頭包括以從外部輸入的水平方向和垂直方向的放大率放大的Bayer陣列的圖像中的13個像素值。此外，關注像素對應位置和對應于預測抽頭的位置之間的關系是不變的，與從外部輸入的水平方向和垂直方向的放大率無關。[利用插值單元的插值的說明]圖9是圖解說明與利用圖5的插值單元71插值的類別抽頭對應的位置的示圖。在圖9中,X標記代表關注像素對應位置。此外,在圖9中，白色圓點代表輸入插值單元71的Bayer陣列的圖像的各個像素的位置，而黑色圓點代表輸出圖像的各個像素的位置。此外，在圖9的例子中，水平方向和垂直方向的放大率為2倍，類別抽頭具有在圖7中圖示的結(jié)構(gòu)。如圖9中圖解所示，例如，插值單元71插入與以關注像素對應位置為中心，分別沿著水平方向和垂直方向，間隔Bayer陣列的圖像的像素單元排列5個像素值的總共9個位置對應的像素值，作為類別抽頭。即，在圖9中，插入在用虛線圓環(huán)繞的黑色圓點表示的各個位置的像素值，作為類別抽頭。
·
利用Bayer陣列的圖像的各個顏色分量的像素值之中，在對應于構(gòu)成類別抽頭的各個像素值的位置的周邊位置的像素值，對每個顏色分量進行類別抽頭的插值。例如，利用在圖9中，用環(huán)繞以虛線圓的黑色圓點表示的9個位置的周邊位置的R分量的像素值，插入R分量的類別抽頭，所述R分量的類別抽頭用于生成在圖9的關注像素對應位置的關注像素的R分量的像素值。[預測計算的說明]下面說明圖5的預測計算單元76中的預測計算，和用于預測計算的預測系數(shù)的學習。例如，當線性一階預測計算被用作預定預測計算時，利用以下的線性一階公式，獲得輸出圖像的每個像素的每個顏色分量的像素值[數(shù)學式2]
0y = Σ Wi Xj…(3)
i'= I在公式(3)中，Xi代表構(gòu)成關于像素值I的預測抽頭的像素值之中的第i個像素值，Wi代表被乘以第i個像素值的第i個預測系數(shù)。此外，η代表構(gòu)成預測抽頭的像素值的數(shù)目。此外，當yk'代表第k個樣本的輸出圖像的像素的各個顏色分量的像素值的預測值時，該預測值用以下的公式(4)表示。yk' =W1 Xxkl+W2XXk2+…+WnXXkn …(4)在公式⑷中，xki代表構(gòu)成關于預測值的真值的預測抽頭的像素值之中的第i個像素值，Wi代表被乘以第i個像素值的第i個預測系數(shù)。此外，η代表構(gòu)成預測抽頭的像素值的數(shù)目。此外，當yk代表預測值yk'的真值時，預測誤差ek用以下的公式(5)表示。Gk=Yk-Iff1 X xkl+W2 X Xk2+…+WnX XkJ …(5)在公式(5)中，Xki代表構(gòu)成關于預測值yi/的真值的預測抽頭的像素值之中的第i個像素值，Wi代表被乘以第i個像素值的第i個預測系數(shù)。此外，η代表構(gòu)成預測抽頭的像素值的數(shù)目。對真值yk的預測來說，使公式(5)的預測誤差ek變?yōu)镺的預測系數(shù)Wi最佳，不過當用于學習的樣本的數(shù)目小于η時，預測系數(shù)Wi不被唯一地確定。在這方面，例如，當最小二乘法被用作代表預測系數(shù)Wi為最佳的規(guī)范時，通過使用以下的公式(6)表示的平方誤差之和E最小化，能夠獲得最佳的預測系數(shù)I。[數(shù)學式3]
Ill
權利要求
1.一種圖像處理設備，包括 預測計算單元，所述預測計算單元通過利用與包括以第一放大率放大的Bayer陣列的圖像的像素的多個預定顏色分量的像素值的彩色圖像對應的教師圖像、和對應于Bayer陣列的圖像的學生圖像，計算教師圖像的各個像素的各個顏色分量的預測系數(shù)和預測抽頭，為每個顏色分量計算關注像素的像素值，并輸出包括每個顏色分量的關注像素的像素值的預定彩色圖像，所述關注像素是與以第二放大率放大的Bayer陣列的預定圖像對應的預定彩色圖像中的所關注的像素，所述預測系數(shù)是通過求解表示所述教師圖像的各個像素的像素值、對應于該像素并以第一放大率放大的學生圖像的像素的像素值、和預測系數(shù)之間的關系的公式而學習的，所述預測抽頭由對應于關注像素的、以第二放大率放大的Bayer陣列的預定圖像的像素的像素值構(gòu)成。
2.按照權利要求I所述的圖像處理設備，還包括 根據(jù)第二放大率放大Bayer陣列的預定圖像的放大處理單元， 其中預測計算單元通過計算各個顏色分量的預測系數(shù)和預測抽頭，為各個顏色分量計算關注像素的像素值，所述預測抽頭由對應于關注像素的、用放大處理單元以第二放大率放大的Bayer陣列的預定圖像的像素的像素值構(gòu)成。
3.按照權利要求2所述的圖像處理設備，其中 放大處理單元根據(jù)第二放大率，為每個關注像素，放大Bayer陣列的預定圖像的一部分，從而生成預測抽頭。
4.按照權利要求2所述的圖像處理設備， 其中放大處理單元通過根據(jù)第二放大率，為每個顏色分量，對對應顏色分量的Bayer陣列的預定圖像的像素值進行差值，來進行放大，和 預測計算單元通過計算每個顏色分量的預測系數(shù)和預測抽頭的每個顏色分量，為每個顏色分量計算關注像素的像素值，所述預測抽頭由對應于關注像素的、用放大處理單元為每個顏色分量放大的Bayer陣列的預定圖像的像素的像素值構(gòu)成。
5.按照權利要求I所述的圖像處理設備，還包括 預測抽頭獲取單元，所述預測抽頭獲取單元獲得對應于關注像素，以第二放大率放大的Bayer陣列的預定圖像的像素的像素值，作為預測抽頭， 其中預測計算單元通過計算每個顏色分量的預測系數(shù)和預測抽頭獲取單元獲得的預測抽頭，為每個顏色分量計算關注像素的像素值。
6.按照權利要求I所述的圖像處理設備，還包括 類別抽頭獲取單元，所述類別抽頭獲取單元獲得對應于關注像素的、以第二放大率放大的Bayer陣列的預定圖像的像素的像素值，作為類別抽頭，所述類別抽頭用于進行把關注像素分類到多個類別任意之一的類別分類； 類別分類單元，所述類別分類單元根據(jù)類別抽頭獲取單元獲得的類別抽頭，對關注像素進行類別分類， 其中為每個類別和教師圖像的各個像素的顏色分量，學習預測系數(shù)，和 預測計算單元通過計算與通過類別分類單元的類別分類而獲得的關注像素的類別對應的每個顏色分量的預測系數(shù)以及預測抽頭，為每個顏色分量計算關注像素的像素值。
7.按照權利要求6所述的圖像處理設備，還包括放大處理單元，所述放大處理單元根據(jù)第二放大率，為每個關注像素，放大Bayer陣列的預定圖像的一部分，從而生成預測抽頭和類別抽頭；和 預測抽頭獲取單元，所述預測抽頭獲取單元獲得利用放大處理單元生成的預測抽頭， 其中類別抽頭獲取單元獲得利用放大處理單元生成的類別抽頭。
8.按照權利要求6所述的圖像處理設備，還包括 放大處理單元，所述放大處理單元通過根據(jù)第二放大率為每個顏色分量對對應顏色分量的Bayer陣列的預定圖像的像素值進行差值，來進行放大；和 預測抽頭獲取單元，所述預測抽頭獲取單元獲得對應于關注像素的、由放大處理單元為每個顏色分量放大的Bayer陣列的預定圖像的像素的像素值，作為對應顏色分量的預測抽頭， 其中類別抽頭獲取單元獲得對應于關注像素的、由放大處理單元為每個顏色分量放大的Bayer陣列的預定圖像的像素的像素值，作為對應顏色分量的類別抽頭， 類別分類單元根據(jù)類別抽頭獲取單元獲得的每個顏色分量的類別抽頭，為每個顏色分量，對關注像素進行類別分類，和 預測計算單元通過計算與通過類別分類單元的類別分類而獲得的關注像素的每個顏色分量的類別對應的預測系數(shù)以及預測抽頭獲取單元獲得的每個顏色分量的預測抽頭，為每個顏色分量計算關注像素的像素值。
9.按照權利要求2所述的圖像處理設備， 其中，所述放大處理單元存儲關注像素與中心像素之間的每個距離的預測系數(shù)，而不是存儲每個放大率的預測系數(shù)，所述中心像素是Bayer陣列的圖像的最接近關注像素的位置的像素。
10.一種圖像處理方法，包括 在圖像處理設備處，通過利用與包括以第一放大率放大的Bayer陣列的圖像的像素的多個預定顏色分量的像素值的彩色圖像對應的教師圖像，和對應于Bayer陣列的圖像的學生圖像，計算關于教師圖像的各個像素的各個顏色分量的預測系數(shù)和預測抽頭，來計算關注像素的像素值，并輸出包括每個顏色分量的關注像素的像素值的預定彩色圖像，所述關注像素是與以第二放大率放大的Bayer陣列的預定圖像對應的預定彩色圖像中的所關注的像素，所述預測系數(shù)是通過求解表示所述教師圖像的各個像素的像素值、對應于該像素并以第一放大率放大的學生圖像的像素的像素值、和預測系數(shù)之間的關系的公式而學習的，所述預測抽頭由對應于關注像素的、包括以第二放大率放大的Bayer陣列的預定圖像的像素的像素值構(gòu)成。
11.一種使計算機執(zhí)行下述步驟的程序 借助利用與包括以第一放大率放大的Bayer陣列的圖像的像素的多個預定顏色分量的像素值的彩色圖像對應的教師圖像，和對應于Bayer陣列的圖像的學生圖像，關于教師圖像的各個像素的各個顏色分量的預測系數(shù)和預測抽頭的計算，計算關注像素的像素值，并輸出包括每個顏色分量的關注像素的像素值的預定彩色圖像，所述關注像素是與以第二放大率放大的Bayer陣列的預定圖像對應的預定彩色圖像中的所關注的像素，所述預測系數(shù)是通過求解表示所述教師圖像的各個像素的像素值，對應于該像素，并以第一放大率放大的學生圖像的像素的像素值，和預測系數(shù)之間的關系的公式學習的，所述預測抽頭對應于關注像素，包括以第二放大率放大的Bayer陣列的預定圖像的像素的像素值。
12.—種記錄按照權利要求11所述的程序的存儲介質(zhì)。
13.—種學習設備,包括 學習單元，所述學習單元通過利用預測抽頭和關注像素的像素值，關于教師圖像的各個像素的各個顏色分量，求解表示教師圖像的各個像素的像素值、該像素的預測抽頭以及預測系數(shù)之間的關系的公式，計算每個顏色分量的預測系數(shù)，所述預測抽頭由與關注像素對應的像素的像素值構(gòu)成，所述關注像素是教師圖像中的所關注的像素，所述教師圖像是與通過在對應圖像中根據(jù)第二放大率放大學生圖像而獲得的圖像對應的彩色圖像，所述學生圖像用于預測系數(shù)的學習，并且對應于Bayer陣列的預定圖像，所述預測系數(shù)用于把Bayer陣列的預定圖像轉(zhuǎn)換成包括以第一放大率放大的Bayer陣列的預定圖像的各個像素的多個顏色分量的像素值的預定彩色圖像。
14.一種圖像處理設備，包括 預測計算單元，所述預測計算單元通過利用與包括以第一放大率放大的Bayer陣列的圖像的像素的多個預定顏色分量的像素值的彩色圖像對應的教師圖像，和對應于Bayer陣列的圖像的學生圖像，計算關于教師圖像的各個像素的各個顏色分量和各個像素間距離的預測系數(shù)和預測抽頭，來為每個顏色分量計算關注像素的像素值，并輸出包括每個顏色分量的關注像素的像素值的預定彩色圖像，所述像素間距離是教師圖像的各個像素在學生圖像中的位置與學生圖像的最接近該位置的像素的位置之間的距離，所述關注像素是與以第二放大率放大的Bayer陣列的預定圖像對應的預定彩色圖像中的所關注的像素，所述預測系數(shù)是通過求解表示所述教師圖像的各個像素的像素值、對應于該像素的學生圖像的像素的像素值、以及預測系數(shù)之間的關系的公式而學習的預測系數(shù)之中的對應于關注像素間距離的預測系數(shù)，所述關注像素間距離是Bayer陣列的預定圖像中的關注像素的位置和最接近關注像素的像素的位置之間的距離，所述最接近關注像素的像素是Bayer陣列的預定圖像的最接近所述關注像素的位置的像素，所述預測抽頭由對應于所述關注像素的、Bayer陣列的預定圖像的像素的像素值構(gòu)成。
15.按照權利要求14所述的圖像處理設備， 其中為教師圖像的每個像素的每個顏色分量、每個像素間距離、和與教師圖像的每個像素在學生圖像中的位置最接近的學生圖像的像素的每個顏色分量，學習預測系數(shù)，和 預測計算單元通過計算預測抽頭和預測系數(shù)中的、與所述關注像素間距離和最接近所述關注像素的像素的顏色分量對應的預測系數(shù)，來為每個顏色分量計算所述關注像素的像素值。
16.按照權利要求14所述的圖像處理設備，還包括 類別抽頭獲取單元，所述類別抽頭獲取單元獲得與最接近所述關注像素的像素對應的Bayer陣列的預定圖像的像素的像素值，作為用于進行把關注像素分類到多個類別任意之一的類別分類的預測抽頭；和 類別分類單元，所述類別分類單元根據(jù)類別抽頭獲取單元獲得的類別抽頭，對關注像素進行類別分類， 其中為每個類別、教師圖像的每個像素的每個顏色分量、和每個像素間距離，學習預測系數(shù)，以及預測計算單元通過計算預測抽頭和預測系數(shù)之中的、與通過類別分類單元的類別分類而獲得的關注像素的類別和關注像素間距離對應的預測系數(shù)，為每個顏色分量計算關注像素的像素值。
17.按照權利要求14所述的圖像處理設備，還包括 根據(jù)第二放大率放大Bayer陣列的預定圖像的放大處理單元， 其中，所述放大處理單元存儲關注像素與中心像素之間的每個距離的預測系數(shù)，而不是存儲每個放大率的預測系數(shù)，所述中心像素是Bayer陣列的圖像的最接近關注像素的位置的像素。
18.—種圖像處理方法，包括 在圖像處理設備處，通過利用與包括以第一放大率放大的Bayer陣列的圖像的像素的多個預定顏色分量的像素值的彩色圖像對應的教師圖像、和對應于Bayer陣列的圖像的學生圖像，計算關于教師圖像的各個像素的各個顏色分量和各個像素間距離的預測系數(shù)和預測抽頭，為每個顏色分量計算關注像素的像素值，并輸出包括每個顏色分量的關注像素的像素值的預定彩色圖像，所述像素間距離是教師圖像的各個像素在學生圖像中的位置與學生圖像的最接近該位置的像素的位置之間的距離，所述關注像素是與以第二放大率放大的Bayer陣列的預定圖像對應的預定彩色圖像中的所關注的像素，所述預測系數(shù)是通過求解表示所述教師圖像的各個像素的像素值、對應于該像素的學生圖像的像素的像素值、和預測系數(shù)之間的關系的公式而學習的預測系數(shù)之中的對應于關注像素間距離的預測系數(shù)，所述關注像素間距離是Bayer陣列的預定圖像中的關注像素的位置和最接近關注像素的像素的位置之間的距離，所述最接近關注像素的像素是Bayer陣列的預定圖像的最接近所述關注像素的位置的像素，所述預測抽頭由對應于所述關注像素的、Bayer陣列的預定圖像的像素的像素值構(gòu)成。
19.一種使計算機執(zhí)行下述步驟的程序 借助利用與包括以第一放大率放大的Bayer陣列的圖像的像素的多個預定顏色分量的像素值的彩色圖像對應的教師圖像，和對應于Bayer陣列的圖像的學生圖像，關于教師圖像的各個像素的各個顏色分量和各個像素間距離的預測系數(shù)和預測抽頭的計算，為每個顏色分量計算關注像素的像素值，并輸出包括每個顏色分量的關注像素的像素值的預定彩色圖像，所述像素間距離是教師圖像的各個像素在學生圖像中的位置與最接近該位置的學生圖像的像素的位置之間的距離，所述關注像素是與以第二放大率放大的Bayer陣列的預定圖像對應的預定彩色圖像中的所關注的像素，所述預測系數(shù)是通過求解表示所述教師圖像的各個像素的像素值，對應于該像素的學生圖像的像素的像素值，和預測系數(shù)之間的關系的公式學習的預測系數(shù)之中的，對應于關注像素間距離的預測系數(shù)，所述關注像素間距離是Bayer陣列的預定圖像中的關注像素的位置和最接近關注像素的像素，即，Bayer陣列的預定圖像的最接近該位置的像素的位置之間的距離，所述預測抽頭包括Bayer陣列的預定圖像的像素的像素值，并且對應于關注像素。
20.一種記錄按照19所述的程序的存儲介質(zhì)。
21.—種學習設備,包括 學習單元，所述學習單元通過利用預測抽頭和關注像素的像素值，關于教師圖像的各個像素的各個顏色分量和各個像素間距離，求解表示教師圖像的各個像素的像素值、對應像素的預測抽頭以及預測系數(shù)之間的關系的公式，來計算每個顏色分量和每個像素間距離的預測系數(shù)，所述像素間距離是教師圖像的各個像素在學生圖像中的位置和學生圖像的最接近該位置的各個像素的位置之間的距離，所述預測抽頭由與關注像素對應的像素的像素值構(gòu)成，所述關注像素是教師圖像中的所關注的像素，所述教師圖像是包括用于預測系數(shù)的學習并且對應于Bayer陣列的預定圖像的學生圖像之中的、以第二放大率放大的學生圖像的各個像素的多個顏色分量的像素值的彩色圖像， 所述預測系數(shù)用于把Bayer陣列的預定圖像轉(zhuǎn)換成包括以第一放大率放大的Bayer陣列的預定圖像的各個像素的多個顏色分量的像素值的預定彩色圖像。
全文摘要
本發(fā)明公開了圖像處理設備、圖像處理方法、程序、存儲介質(zhì)和學習設備。預測計算單元借助學習的預測系數(shù)和預測抽頭的計算，為每個顏色分量計算關注像素的像素值，然后輸出包括每個顏色分量的關注像素的像素值的輸出圖像。例如，本技術可應用于圖像處理設備。
文檔編號G06T3/40GK102789630SQ20121014491
公開日2012年11月21日 申請日期2012年5月11日 優(yōu)先權日2011年5月20日
發(fā)明者千田圭祐, 宮井岳志, 高橋紀晃 申請人:索尼公司