圖像處理裝置、圖像處理方法和程序的制作方法
【專利摘要】本發(fā)明公開了一種圖像處理裝置、圖像處理方法和程序。所述圖像處理裝置包括：代表值計(jì)算單元，它從第一圖像選擇指定區(qū)，并且計(jì)算在所述指定區(qū)中的所述各顏色分量的代表值；類別分類單元，它對(duì)所述指定區(qū)進(jìn)行類別分類；系數(shù)讀取單元，它讀取預(yù)先存儲(chǔ)的系數(shù)；顏色分量變換單元，它將所述指定區(qū)內(nèi)的預(yù)定的像素有關(guān)的像素值設(shè)定為預(yù)測抽頭，將一個(gè)顏色分量的像素值設(shè)定為基準(zhǔn)，并將各顏色分量的像素值變換成變換值；和積和計(jì)算單元，它將所述變換值設(shè)定為變量并通過使用讀取的系數(shù)進(jìn)行積和運(yùn)算來計(jì)算第二圖像的各像素值。根據(jù)本發(fā)明，從具有由多個(gè)顏色分量構(gòu)成的彩色濾波器陣列的圖像傳感器的輸出可以獲得各顏色分量的圖像信號(hào)，而不會(huì)降低圖像質(zhì)量。
【專利說明】圖像處理裝置、圖像處理方法和程序
[0001]相關(guān)申請(qǐng)的交叉參考
[0002]本申請(qǐng)要求于2013年3月29日提交的日本在先專利申請(qǐng)JP2013-074757的權(quán)益，其全部內(nèi)容以引用的方式并入本文。

【技術(shù)領(lǐng)域】
[0003]本技術(shù)涉及一種圖像處理裝置、圖像處理方法和程序，尤其涉及一種能夠從具有由多個(gè)顏色分量構(gòu)成的彩色濾波器陣列的圖像傳感器的輸出獲得各顏色分量的圖像信號(hào)而不會(huì)降低圖像質(zhì)量的圖像處理裝置、圖像處理方法和程序。

【背景技術(shù)】
[0004]目前主要有兩種使用圖像傳感器的成像裝置。一種是使用一個(gè)圖像傳感器的單芯式(one-chip)裝置(以下稱為單芯式相機(jī))。另一種是使用三個(gè)圖像傳感器的三芯式裝置(以下稱為三芯式相機(jī))。
[0005]在三芯式相機(jī)中，例如，使用三個(gè)圖像傳感器，即，R信號(hào)用的圖像傳感器、G信號(hào)用的圖像傳感器和B信號(hào)用的圖像傳感器，因此通過三個(gè)圖像傳感器獲得三原色信號(hào)。然后，從三原色信號(hào)產(chǎn)生的彩色圖像信號(hào)被存儲(chǔ)在記錄介質(zhì)中。
[0006]在單芯式相機(jī)中，使用其中由分配給每個(gè)像素的彩色濾波器陣列制成的彩色編碼濾波器安裝在前面的一個(gè)圖像傳感器，并且針對(duì)每個(gè)像素獲得由彩色編碼濾波器彩色編碼的顏色分量的信號(hào)。作為構(gòu)成彩色編碼濾波器的彩色濾波器陣列，例如，使用紅色(R)、綠色(G)和藍(lán)色(B)的原彩色濾波器陣列或黃色(Ye)、青色(Cy)和品紅色(Ma)的互補(bǔ)濾波器陣列。然后，在單芯式相機(jī)中，通過圖像傳感器針對(duì)一個(gè)像素獲得一種顏色分量的信號(hào)，并且通過進(jìn)行線性插值處理產(chǎn)生由每個(gè)像素保持的顏色分量的信號(hào)以外的其他顏色信號(hào)，從而獲得接近由三芯式相機(jī)獲得的圖像的圖像。在攝像機(jī)中，為了小型化和輕量化而使用單芯式方式。
[0007]作為構(gòu)成彩色編碼濾波器的彩色濾波器陣列，在大部分時(shí)間使用拜耳(Bayer)布局的彩色濾波器陣列。在拜耳布局中，G色濾波器被排列為棋盤圖案，R和B色濾波器在每行中交替排列在剩余部分上。
[0008]在這種情況下，在圖像傳感器中，從其中配置三原色R、G和B之一顏色的濾波器的各像素中，只有對(duì)應(yīng)于該濾波器顏色的圖像信號(hào)被輸出。即，從其中配置R色濾波器的像素中，R分量的圖像信號(hào)被輸出，但是G分量和B分量的圖像信號(hào)沒有被輸出。按相同方式，從G像素中，僅有G分量的圖像信號(hào)被輸出，R分量和B分量的圖像信號(hào)沒有被輸出。從B像素中，僅有B分量的圖像信號(hào)被輸出，R分量和G分量的圖像信號(hào)沒有被輸出。
[0009]然而，在圖像處理的下游側(cè)中，在各像素的信號(hào)的處理時(shí)，R分量、G分量和B分量的圖像信號(hào)是必要的。因此，在現(xiàn)有的技術(shù)中，從來自nXm(n和m是正整數(shù))個(gè)像素構(gòu)成的圖像傳感器的輸出通過各自的插值計(jì)算獲得nXm個(gè)R像素的圖像信號(hào)、nXm個(gè)G像素的圖像信號(hào)和η Xm個(gè)B像素的圖像信號(hào)，并輸出到下游側(cè)。
[0010]此外，提出了以下的技術(shù)，其中從nXm個(gè)R像素的圖像信號(hào)通過插值計(jì)算獲得2nX 2m個(gè)R像素的圖像信號(hào)，從nXm個(gè)G像素的圖像信號(hào)通過插值計(jì)算獲得2ηX 2m個(gè)G像素的圖像信號(hào)，從nXm個(gè)B像素的圖像信號(hào)通過插值計(jì)算獲得2ηX 2m個(gè)B像素的圖像信號(hào)(例如，參照日本未經(jīng)審查的專利申請(qǐng)公開N0.2000-341705)。
[0011]在日本未經(jīng)審查的專利申請(qǐng)公開N0.2000-341705中，對(duì)應(yīng)于關(guān)注像素的像素和其鄰近的像素值被設(shè)定為輸入圖像中的變量，并且通過使用由預(yù)先學(xué)習(xí)獲得的系數(shù)的積和計(jì)算來預(yù)測輸出圖像的關(guān)注像素的像素值。通過這樣做，從來自單芯式相機(jī)的圖像傳感器的輸出可以生成三原色信號(hào)，并且可以生成像素密度是原始圖像的4倍的圖像信號(hào)。
[0012]順便說一下，在日本未經(jīng)審查的專利申請(qǐng)公開N0.2000-341705中，對(duì)應(yīng)于圖像傳感器中各R、G和B的像素值原樣地用作抽頭(tap，夕〃 7°)，即，預(yù)測計(jì)算的變量。
[0013]然而，由于R、G和B的像素值中的相關(guān)性初始很低，例如，即使在關(guān)注像素附近的多個(gè)像素值被作為抽頭輸入，也難以在預(yù)測計(jì)算中產(chǎn)生足夠的效果。
[0014]此外，在單芯式相機(jī)的圖像傳感器中，為了避免偽色、假像等的影響，入射在圖像傳感器上的光通常被設(shè)置為通過光學(xué)低通濾波器。
[0015]然而，按這種方式通過將入射到圖像傳感器光設(shè)置為通過光學(xué)低通濾波器使圖像褪色。
[0016]即，在現(xiàn)有的技術(shù)中，在單芯式相機(jī)中，在不會(huì)造成圖像質(zhì)量下降的情況下，例如圖像的褪色、偽色或假像，很難獲得三原色信號(hào)。


【發(fā)明內(nèi)容】

[0017]希望從具有由多個(gè)顏色分量構(gòu)成的彩色濾波器陣列的圖像傳感器的輸出獲得各顏色分量的圖像信號(hào)，而不會(huì)降低圖像質(zhì)量。
[0018]根據(jù)本技術(shù)的實(shí)施方案，提供了一種圖像處理裝置，包括:代表值計(jì)算單元，所述代表值計(jì)算單元從由使用圖像信號(hào)構(gòu)成的第一圖像選擇作為由預(yù)定數(shù)量的像素構(gòu)成的區(qū)域的指定區(qū)，所述圖像信號(hào)從其中對(duì)應(yīng)于多個(gè)顏色分量中的各顏色分量的像素在平面上規(guī)則地配置的單芯式像素單元輸出，并且所述代表值計(jì)算單元計(jì)算在所述指定區(qū)中的所述各顏色分量的代表值；類別分類單元，所述類別分類單元基于從所述指定區(qū)的像素值獲得的特征量對(duì)所述指定區(qū)進(jìn)行類別分類；系數(shù)讀取單元，所述系數(shù)讀取單元基于進(jìn)行所述類別分類的結(jié)果讀取預(yù)先存儲(chǔ)的系數(shù)；顏色分量變換單元，所述顏色分量變換單元將所述指定區(qū)內(nèi)的預(yù)定的像素有關(guān)的像素值設(shè)定為預(yù)測抽頭，將所述多個(gè)顏色分量中的一個(gè)顏色分量的像素值設(shè)定為基準(zhǔn)，并將所述預(yù)測抽頭的各顏色分量的像素值變換成使用所述代表值進(jìn)行抵消而獲得的變換值；和積和計(jì)算單元，所述積和計(jì)算單元將所述變換值設(shè)定為變量并通過使用讀取的系數(shù)進(jìn)行積和運(yùn)算來計(jì)算第二圖像的各像素值，第二圖像是僅由對(duì)應(yīng)于所述多個(gè)顏色分量中的各顏色分量的像素構(gòu)成的圖像。
[0019]在所述圖像處理裝置中，所述單芯式像素單元可以是具有R、G和B顏色分量的拜耳布局的像素單元；和其中所述代表值計(jì)算單元可以基于R或B像素附近的G像素計(jì)算R或B像素的插值g，可以基于G像素附近的R像素或B像素計(jì)算G像素的插值r和插值b，可以通過使用從G像素直接獲得的輸入值G和插值g的平均值計(jì)算G的代表值，可以基于插值r和輸入值G之間的差、從R像素直接獲得的輸入值R和插值g之間的差以及G的代表值，計(jì)算R的代表值，和可以基于插值b和輸入值G之間的差、從B像素直接獲得的輸入值B和插值g之間的差以及G的代表值，計(jì)算B的代表值。
[0020]在所述圖像處理裝置中，如果第二圖像是僅由G像素構(gòu)成的圖像，所述顏色分量變換單元可以通過使用R的代表值和G的代表值之間的差抵消輸入值R，和可以通過使用B的代表值和G的代表值之間的差抵消輸入值B ;其中如果第二圖像是僅由R像素構(gòu)成的圖像，所述顏色分量變換單元可以通過使用G的代表值和R的代表值之間的差抵消輸入值G，和可以通過使用B的代表值和R的代表值之間的差抵消輸入值B，和其中如果第二圖像是僅由B像素構(gòu)成的圖像，所述顏色分量變換單元可以通過使用G的代表值和B的代表值之間的差抵消輸入值G，和可以通過使用R的代表值和B的代表值之間的差抵消輸入值R。
[0021]在所述圖像處理裝置中，如果在具有多個(gè)顏色分量的圖像中，生成僅由第一顏色分量構(gòu)成的第二圖像，和在具有多個(gè)顏色分量的圖像中，生成僅由不同于第一顏色分量的第二顏色分量構(gòu)成的第二圖像，那么可以從僅由第一顏色分量構(gòu)成的第二圖像獲取所述預(yù)測抽頭。
[0022]所述圖像處理裝置還可以包括:計(jì)算所述預(yù)測抽頭的虛擬色差的虛擬色差計(jì)算單元，其中如果在具有多個(gè)顏色分量的圖像中，生成僅由不同于第一顏色分量的第二顏色分量構(gòu)成的第二圖像，那么所述積和計(jì)算單元可以將所述預(yù)測抽頭的虛擬色差設(shè)定為變量并可以通過使用讀取的系數(shù)進(jìn)行積和運(yùn)算來計(jì)算第二圖像的虛擬色差，和其中可以從第一圖像中的指定區(qū)獲取僅由對(duì)應(yīng)于第二顏色分量的像素構(gòu)成的所述預(yù)測抽頭。
[0023]在所述圖像處理裝置中，所述虛擬色差計(jì)算單元可以通過構(gòu)成所述預(yù)測抽頭的像素的值乘以由色空間的規(guī)格規(guī)定的矩陣系數(shù)來計(jì)算所述虛擬色差。
[0024]所述圖像處理裝置還可以包括:另一個(gè)顏色分量變換單元，所述另一個(gè)顏色分量變換單元將所述指定區(qū)內(nèi)的預(yù)定的像素有關(guān)的像素值設(shè)定為類別抽頭，將所述多個(gè)顏色分量中的一個(gè)顏色分量的像素值設(shè)定為基準(zhǔn)，并將所述類別抽頭的各顏色分量的像素值變換成使用所述代表值進(jìn)行抵消而獲得的變換值，其中所述類別分類單元可以基于從所述另一個(gè)顏色分量變換單元變換獲得的變換值確定所述類別抽頭的特征量。
[0025]在所述圖像處理裝置中，可以通過預(yù)先學(xué)習(xí)獲得由所述系數(shù)讀取單元讀取的系數(shù)，其中在所述預(yù)先學(xué)習(xí)中，通過使用在所述單芯式像素單元和被寫體之間配置的光學(xué)低通濾波器，由使用從在靠近所述被寫體的位置中配置并僅由對(duì)應(yīng)于所述多個(gè)顏色分量的像素構(gòu)成的多個(gè)像素單元輸出的圖像信號(hào)構(gòu)成的圖像可以被設(shè)定為教師圖像，其中由使用從所述單芯式像素單元輸出的圖像信號(hào)構(gòu)成的圖像可以被設(shè)定為學(xué)生圖像，和其中可以通過求解其中所述學(xué)生圖像的像素和所述教師圖像的像素彼此映射的正規(guī)方程式來計(jì)算所述系數(shù)。
[0026]根據(jù)本技術(shù)的另一個(gè)施方案，提供了一種圖像處理方法，包括:使代表值計(jì)算單元從由使用圖像信號(hào)構(gòu)成的第一圖像選擇作為由預(yù)定數(shù)量的像素構(gòu)成的區(qū)域的指定區(qū)，所述圖像信號(hào)從其中對(duì)應(yīng)于多個(gè)顏色分量中的各顏色分量的像素在平面上規(guī)則地配置的單芯式像素單元輸出，并且計(jì)算在所述指定區(qū)中的所述各顏色分量的代表值；使類別分類單元基于從所述指定區(qū)的像素值獲得的特征量對(duì)所述指定區(qū)進(jìn)行類別分類；使系數(shù)讀取單元基于進(jìn)行所述類別分類的結(jié)果讀取預(yù)先存儲(chǔ)的系數(shù)；使顏色分量變換單元將所述指定區(qū)內(nèi)的預(yù)定的像素有關(guān)的像素值設(shè)定為預(yù)測抽頭，將所述多個(gè)顏色分量中的一個(gè)顏色分量的像素值設(shè)定為基準(zhǔn)，并將所述預(yù)測抽頭的各顏色分量的像素值變換成使用所述代表值進(jìn)行抵消而獲得的變換值；和使積和計(jì)算單元將所述變換值設(shè)定為變量并通過使用讀取的系數(shù)進(jìn)行積和運(yùn)算來計(jì)算第二圖像的各像素值，第二圖像是僅由對(duì)應(yīng)于所述多個(gè)顏色分量中的各顏色分量的像素構(gòu)成的圖像。
[0027]根據(jù)本技術(shù)的另一個(gè)施方案，提供了一種使計(jì)算機(jī)起到圖像處理裝置功能的程序，包括:代表值計(jì)算單元，所述代表值計(jì)算單元從由使用圖像信號(hào)構(gòu)成的第一圖像選擇作為由預(yù)定數(shù)量的像素構(gòu)成的區(qū)域的指定區(qū)，所述圖像信號(hào)從其中對(duì)應(yīng)于多個(gè)顏色分量中的各顏色分量的像素在平面上規(guī)則地配置的單芯式像素單元輸出，并且所述代表值計(jì)算單元計(jì)算在所述指定區(qū)中的所述各顏色分量的代表值；類別分類單元，所述類別分類單元基于從所述指定區(qū)的像素值獲得的特征量對(duì)所述指定區(qū)進(jìn)行類別分類；系數(shù)讀取單元，所述系數(shù)讀取單元基于進(jìn)行所述類別分類的結(jié)果讀取預(yù)先存儲(chǔ)的系數(shù)；顏色分量變換單元，所述顏色分量變換單元將所述指定區(qū)內(nèi)的預(yù)定的像素有關(guān)的像素值設(shè)定為預(yù)測抽頭，將所述多個(gè)顏色分量中的一個(gè)顏色分量的像素值設(shè)定為基準(zhǔn)，并將所述預(yù)測抽頭的各顏色分量的像素值變換成使用所述代表值進(jìn)行抵消而獲得的變換值；和積和計(jì)算單元，所述積和計(jì)算單元將所述變換值設(shè)定為變量并通過使用讀取的系數(shù)進(jìn)行積和運(yùn)算來計(jì)算第二圖像的各像素值，第二圖像是僅由對(duì)應(yīng)于所述多個(gè)顏色分量中的各顏色分量的像素構(gòu)成的圖像。
[0028]根據(jù)本技術(shù)的實(shí)施方案，從由使用圖像信號(hào)構(gòu)成的第一圖像選擇作為由預(yù)定數(shù)量的像素構(gòu)成的區(qū)域的指定區(qū)，所述圖像信號(hào)從其中對(duì)應(yīng)于多個(gè)顏色分量中的各顏色分量的像素在平面上規(guī)則地配置的單芯式像素單元輸出，并且計(jì)算在所述指定區(qū)中的所述各顏色分量的代表值；基于從所述指定區(qū)的像素值獲得的特征量對(duì)所述指定區(qū)進(jìn)行類別分類；基于進(jìn)行所述類別分類的結(jié)果讀取預(yù)先存儲(chǔ)的系數(shù)；將所述指定區(qū)內(nèi)的預(yù)定的像素有關(guān)的像素值設(shè)定為預(yù)測抽頭，將所述多個(gè)顏色分量中的一個(gè)顏色分量的像素值設(shè)定為基準(zhǔn)，并將所述預(yù)測抽頭的各顏色分量的像素值變換成使用所述代表值進(jìn)行抵消而獲得的變換值；和所述變換值被設(shè)定為變量并通過使用讀取的系數(shù)進(jìn)行積和運(yùn)算來計(jì)算第二圖像的各像素值，第二圖像是僅由對(duì)應(yīng)于所述多個(gè)顏色分量中的各顏色分量的像素構(gòu)成的圖像。
[0029]根據(jù)本技術(shù)，從具有由多個(gè)顏色分量構(gòu)成的彩色濾波器陣列的圖像傳感器的輸出可以獲得各顏色分量的圖像信號(hào)，而不會(huì)降低圖像質(zhì)量。

【專利附圖】

【附圖說明】
[0030]圖1是用于說明在單芯式相機(jī)的圖像傳感器中獲取圖像信號(hào)的方法的圖；
[0031]圖2是示出根據(jù)本技術(shù)適用的圖像處理裝置的一個(gè)實(shí)施方案的構(gòu)成例的方框圖；
[0032]圖3是示出指定區(qū)的例子的圖；
[0033]圖4是用于說明計(jì)算插值g的方法的例子的圖；
[0034]圖5是用于描述計(jì)算插值r的方法的例子的圖；
[0035]圖6是用于說明計(jì)算插值b的方法的例子的圖；
[0036]圖7是示出對(duì)應(yīng)于圖2的圖像處理裝置的學(xué)習(xí)裝置的構(gòu)成例的方框圖；
[0037]圖8A?8D是示出在圖2的圖像處理裝置或圖7的學(xué)習(xí)裝置中獲取的類別抽頭或預(yù)測抽頭的結(jié)構(gòu)的例子的示意圖；
[0038]圖9是說明由圖2的圖像處理裝置進(jìn)行的圖像處理的例子的流程圖；
[0039]圖10是說明代表RGB計(jì)算處理的例子的流程圖；
[0040]圖11是說明由圖7的學(xué)習(xí)裝置進(jìn)行的系數(shù)學(xué)習(xí)處理的例子的流程圖；
[0041]圖12是示出本技術(shù)適用的根據(jù)另一個(gè)實(shí)施方案的圖像處理裝置的構(gòu)成例的方框圖；
[0042]圖13A?13D是示出在圖12的圖像處理裝置中獲取的類別抽頭或預(yù)測抽頭的結(jié)構(gòu)的例子的示意圖；
[0043]圖14A?14D是示出在圖12的圖像處理裝置中獲取的類別抽頭或預(yù)測抽頭的結(jié)構(gòu)的例子的示意圖；
[0044]圖15A?I?是示出在圖12的圖像處理裝置中獲取的類別抽頭或預(yù)測抽頭的結(jié)構(gòu)的例子的示意圖；
[0045]圖16是示出本技術(shù)適用的根據(jù)另一個(gè)實(shí)施方案的圖像處理裝置的構(gòu)成例的方框圖；
[0046]圖17A?17D是示出在圖16的圖像處理裝置中獲取的類別抽頭或預(yù)測抽頭的結(jié)構(gòu)的例子的示意圖；
[0047]圖18A?18D是示出在圖12的圖像處理裝置中獲取的類別抽頭或預(yù)測抽頭的結(jié)構(gòu)的例子的不意圖；和
[0048]圖19是示出個(gè)人電腦的構(gòu)成例的方框圖。

【具體實(shí)施方式】
[0049]下面參照【專利附圖】

【附圖說明】本說明書中所公開的技術(shù)的實(shí)施方案。
[0050]圖1是用于說明在單芯式相機(jī)的圖像傳感器中獲取圖像信號(hào)的方法的圖。
[0051]在這個(gè)例子中，從被寫體11反射的光通過光學(xué)低通濾波器12，并且被圖像傳感器13接收。
[0052]在單芯式相機(jī)中，使用其中由分配給每個(gè)像素的彩色濾波器陣列制成的彩色編碼濾波器安裝在前面的一個(gè)圖像傳感器，并且針對(duì)每個(gè)像素獲得由彩色編碼濾波器彩色編碼的顏色分量的信號(hào)。
[0053]在這點(diǎn)上，拜耳布局的彩色濾波器陣列用于圖像傳感器13中，G色濾波器被排列為棋盤圖案，R和B色濾波器在每行中交替排列在剩余部分上。即，在圖像傳感器13中的矩形區(qū)域內(nèi)的4個(gè)像素由兩個(gè)G像素、一個(gè)R像素和一個(gè)B像素構(gòu)成。
[0054]在單芯式相機(jī)中，在圖像處理的下游側(cè)中，在各像素的信號(hào)的處理時(shí)，R分量、G分量和B分量的圖像信號(hào)是必要的。因此，必須基于從圖像傳感器13輸出的像素值，通過進(jìn)行插值運(yùn)算以獲得針對(duì)每個(gè)像素的R分量、G分量和B分量的像素值。
[0055]此外，在圖像傳感器13中，為了避免偽色、假像等的影響，入射在圖像傳感器上的光被設(shè)置為通過光學(xué)低通濾波器。然而，按這種方式通過將入射到圖像傳感器光設(shè)置為通過光學(xué)低通濾波器使圖像褪色。
[0056]因此，根據(jù)本技術(shù)，基于從圖像傳感器13輸出的像素值，可以獲得當(dāng)分別對(duì)應(yīng)于R分量、G分量和B分量的三個(gè)圖像傳感器配置成框(由圖中的虛線表示的矩形)14時(shí)獲得的像素值。
[0057]圖2是示出根據(jù)本技術(shù)適用的圖像處理裝置的一個(gè)實(shí)施方案的構(gòu)成例的方框圖。在圖像處理裝置100中，對(duì)應(yīng)于關(guān)注像素的像素和其鄰近的像素值被設(shè)定為輸入圖像中的變量，并且通過使用由預(yù)先學(xué)習(xí)獲得的系數(shù)的積和計(jì)算來預(yù)測輸出圖像的關(guān)注像素的像素值。
[0058]輸入圖像被輸入到圖像處理裝置100中，例如，被設(shè)置為由其中使用拜耳布局的彩色濾波器陣列的圖像傳感器的輸出值構(gòu)成的圖像。即，輸入圖像被設(shè)置為對(duì)應(yīng)于信號(hào)是從圖1的圖像傳感器13輸出的信號(hào)的圖像。因此，在輸入圖像中，從其中配置R色濾波器的像素中，獲得R分量的圖像信號(hào)，但是沒有獲得G分量和B分量的圖像信號(hào)。按相同方式，從G像素中，僅獲得G分量的圖像信號(hào)，沒有獲得R分量和B分量的圖像信號(hào)。然后，從B像素中，僅獲得B分量的圖像信號(hào)，沒有獲得R分量和G分量的圖像信號(hào)。
[0059]圖2的圖像處理裝置100由代表RGB計(jì)算單元101以及分別對(duì)應(yīng)于RGB色的類別抽頭選擇單元、分別對(duì)應(yīng)于RGB色的預(yù)測抽頭選擇單元、分別對(duì)應(yīng)于RGB色的色變換單元、分別對(duì)應(yīng)于RGB色的類別分類單元、分別對(duì)應(yīng)于RGB色的系數(shù)存儲(chǔ)器和分別對(duì)應(yīng)于RGB色的積和計(jì)算單元構(gòu)成。
[0060]在下述的用于獲取類別抽頭或預(yù)測抽頭的圖像的區(qū)域(稱為指定區(qū))中，代表RGB計(jì)算單元101計(jì)算被設(shè)置為分別作為R、G和B的顏色分量的像素值的基準(zhǔn)的代表值Dr、Db和Dg。
[0061]例如，如圖3的粗線框所示，指定區(qū)被設(shè)定。在圖3中，圖中的每個(gè)圓圈表示輸入圖像的像素，并且中央的陰影圓圈表示的像素被設(shè)定為類別抽頭或預(yù)測抽頭的中心像素。此夕卜，每個(gè)圓圈內(nèi)寫入的字母R、G、B表示各像素的顏色分量。
[0062]指定區(qū)，即，中心像素被設(shè)定為中心的包括類別抽頭或預(yù)測抽頭的區(qū)域，被任意地設(shè)定，但是當(dāng)指定區(qū)設(shè)定為大幅地超出類別抽頭或預(yù)測抽頭的區(qū)域時(shí)，根據(jù)圖像的區(qū)域的最佳處理難以進(jìn)行。由此，優(yōu)選的是，指定區(qū)被設(shè)定為與類別抽頭或預(yù)測抽頭相同的區(qū)域。
[0063]此外，在下面的說明中，通過運(yùn)算計(jì)算出的平均值、插值、代表值等被適當(dāng)?shù)貐⒄眨沁\(yùn)算前的輸入圖像的像素值根據(jù)各像素的顏色分量分別稱為輸入值G、輸入值R和輸入值B，以區(qū)分各像素值。即，從其中拜耳布局的圖像傳感器的R色濾波器被配置的像素直接獲得的像素值被設(shè)定為輸入值R，從其中拜耳布局的圖像傳感器的G色濾波器被配置的像素直接獲得的像素值被設(shè)定為輸入值G，從其中拜耳布局的圖像傳感器的B色濾波器被配置的像素直接獲得的像素值被設(shè)定為輸入值B。
[0064]在這個(gè)例子中，由圖中的粗線包圍并且由中心像素被設(shè)定為中心的25(=5X5)個(gè)像素構(gòu)成的區(qū)域被設(shè)定為指定區(qū)。
[0065]首先，代表RGB計(jì)算單元101計(jì)算G分量的代表值Dg。
[0066]此時(shí)，如圖4所示，其中指定區(qū)內(nèi)的R分量像素或B分量像素被設(shè)定為中心，代表RGB計(jì)算單元101對(duì)像素Gl?G4(即，中心像素附近(上下左右方向)的4個(gè)G像素)的輸入值Gl?輸入值G4取平均，從而計(jì)算出插值g，它是在中心像素的像素位置中的插值的G分量的值。通過這樣做，在輸入圖像中不具有G分量的R分量像素和B分量像素具有插值的G分量(插值g)。
[0067]然后，代表RGB計(jì)算單元101計(jì)算指定區(qū)內(nèi)的所有G像素(這里，12個(gè))的輸入值G和插值g的平均值作為代表值Dg。
[0068]接下來,代表RGB計(jì)算單元101計(jì)算R分量的代表值Dr。此時(shí),代表RGB計(jì)算單元101計(jì)算插值r，它是在指定區(qū)內(nèi)的G像素的各像素位置中的插值的R分量的值。例如，如果計(jì)算圖4中的像素Gl或像素G4所示位置中的插值r，那么如圖5所示，分別緊挨著G像素左側(cè)和緊挨著G像素右側(cè)的像素Rl和R2的平均值被設(shè)定為插值r。
[0069]通過這樣做，可以在指定區(qū)內(nèi)的G像素的像素位置中獲得輸入值G和插值r，并且可以在指定區(qū)內(nèi)的R像素的像素位置中獲得輸入值R和插值g。
[0070]然后，在各像素位置中，計(jì)算(插值r-輸入值G)和(輸入值R-插值g)，并且計(jì)算代表值Dr，它是從將代表值Dg加到計(jì)算出的(插值r-輸入值G)和(輸入值R-插值g)的平均值上得到的值。
[0071]此外，代表RGB計(jì)算單元101計(jì)算B分量的代表值Db。此時(shí)，代表RGB計(jì)算單元101計(jì)算插值b，它是在指定區(qū)內(nèi)的G像素的各像素位置中的插值的B分量的值。例如，如果計(jì)算圖4中的像素Gl或像素G4所示位置中的插值b，那么如圖6所示，分別緊挨著G像素上側(cè)和緊挨著G像素下側(cè)的像素BI和像素B的平均值被設(shè)定為插值b。
[0072]通過這樣做，可以在指定區(qū)內(nèi)的G像素的像素位置中獲得輸入值G和插值b，并且可以在指定區(qū)內(nèi)的B像素的像素位置中獲得輸入值B和插值g。
[0073]然后，在各像素位置中，計(jì)算(插值b-輸入值G)和(輸入值B-插值g)，并且計(jì)算代表值Db，它是從將代表值Dg加到計(jì)算出的(插值b-輸入值G)和(輸入值B-插值g)的平均值上得到的值。
[0074]返回參照?qǐng)D2，G類別抽頭選擇單元102-1從輸入圖像中選擇G類別抽頭，它是生成G分量圖像需要的類別抽頭，并且獲取G類別抽頭。例如，G類別抽頭由預(yù)定數(shù)量的像素構(gòu)成，其中在對(duì)應(yīng)于輸出圖像的關(guān)注像素的位置中的輸入圖像的像素被設(shè)定為中心像素，并且中心像素被設(shè)定為中心。
[0075]G類別抽頭選擇單元102-1選擇的G類別抽頭被供給到G變換單元105_11。G變換單元105-11被設(shè)定成對(duì)構(gòu)成G類別抽頭的各像素值進(jìn)行G變換處理。
[0076]例如，G變換處理如下進(jìn)行。如果構(gòu)成G類別抽頭的像素值是輸入值G，那么計(jì)算變換值G’，如果構(gòu)成G類別抽頭的像素值是輸入值R，那么計(jì)算變換值R’，如果構(gòu)成G類別抽頭的像素值是輸入值B，那么計(jì)算變換值B’。
[0077]在這點(diǎn)上，變換值G’、變換值R’和變換值B’使用下式⑴?(3)計(jì)算。
[0078]G，=G (I)
[0079]R，=R- (Dr-Dg) (2)
[0080]B，=B- (Db-Dg) (3)
[0081]構(gòu)成G類別抽頭的各像素值之間的相關(guān)性通過進(jìn)行G變換處理提高。即，輸入圖像的R像素和B像素的各像素值抵消被設(shè)定為基準(zhǔn)的G像素的像素值，因此，可以除去由于構(gòu)成G類別抽頭的各像素值之間的顏色分量的差異帶來的變化。
[0082]返回參照2，從G變換單元105-11輸出的G類別抽頭被供給到G類別分類單元106-1。此外，從G變換單元105-11輸出的G類別抽頭由使用上式(I)?(3)計(jì)算的變換值G’、變換值R’和變換值B’構(gòu)成。
[0083]G類別分類單元106-1使用自適應(yīng)動(dòng)態(tài)范圍編碼(ADRC)對(duì)供給的G類別抽頭進(jìn)行編碼，從而生成類別代碼。這里生成的類別代碼被輸出到G系數(shù)存儲(chǔ)器107-1。
[0084]G系數(shù)存儲(chǔ)器107-1讀取被映射到從G類別分類單元106_1輸出的類別代碼的存儲(chǔ)的系數(shù)。然后，G系數(shù)存儲(chǔ)器107-1將讀取的系數(shù)供給到G積和計(jì)算單元108-1。此外，作為預(yù)先學(xué)習(xí)獲得的系數(shù)并且用在下述的積和計(jì)算中的系數(shù)被映射到類別代碼而存儲(chǔ)在G系數(shù)存儲(chǔ)器107-1中。
[0085]G預(yù)測抽頭選擇單元103-1從輸入圖像中選擇G預(yù)測抽頭，它是生成G分量圖像需要的預(yù)測抽頭，并且獲取G預(yù)測抽頭。例如，G預(yù)測抽頭由預(yù)定數(shù)量的像素構(gòu)成，其中在對(duì)應(yīng)于輸出圖像的關(guān)注像素的位置中的輸入圖像的像素被設(shè)定為中心像素，并且中心像素被設(shè)定為中心。
[0086]G預(yù)測抽頭選擇單元103-1選擇的G預(yù)測抽頭被供給到G變換單元105_12。G變換單元105-12被設(shè)定成對(duì)構(gòu)成G預(yù)測抽頭的各像素值進(jìn)行G變換處理。
[0087]G變換單元105-12進(jìn)行的G變換處理與G變換單元105-11的相同。即，使用上式
(I)~(3)，如果構(gòu)成G預(yù)測抽頭的像素值是輸入值G，那么計(jì)算變換值G’，如果構(gòu)成G預(yù)測抽頭的像素值是輸入值R，那么計(jì)算變換值R’，如果構(gòu)成G預(yù)測抽頭的像素值是輸入值B，那么計(jì)算變換值B’。
[0088]從G變換單元105-12輸出的G預(yù)測抽頭被供給到G積和計(jì)算單元108_1。此外，從G變換單元105-12輸出的G預(yù)測抽頭由使用上式(I)~(3)計(jì)算的變換值G’、變換值R’和變換值B’構(gòu)成。
[0089]G積和計(jì)算單元108-1在預(yù)先構(gòu)造的線性一次式中代入從G變換單元105-12輸出的G預(yù)測抽頭作為變量，并且使用從G系數(shù)存儲(chǔ)器107-1供給的系數(shù)進(jìn)行預(yù)測值運(yùn)算。即，基于G預(yù)測抽頭，G積和計(jì)算單元108-1對(duì)成為輸出圖像的G分量圖像(稱為G輸出圖像)的關(guān)注像素的像素值進(jìn)行預(yù)測計(jì)算。
[0090]在這點(diǎn)上，說明輸出圖像的關(guān)注像素的像素值的預(yù)測計(jì)算。
[0091]下面，例如，從具有拜耳布局的彩色濾波器陣列的圖像傳感器輸出的圖像數(shù)據(jù)被定義為第一圖像數(shù)據(jù)，從配置在圖1的框14中的G分量圖像傳感器輸出的圖像數(shù)據(jù)被定義為第二圖像數(shù)據(jù)。然后，考慮使用預(yù)定的預(yù)測計(jì)算從第一圖像數(shù)據(jù)的像素值獲得第二圖像數(shù)據(jù)的像素值。
[0092]當(dāng)例如采用作為預(yù)定的預(yù)測計(jì)算的線性一次預(yù)測計(jì)算時(shí)，使用下面的線性一次式獲得第二圖像數(shù)據(jù)(下文中適當(dāng)?shù)胤Q為第二圖像的像素)的像素的像素值y。

N
[0093]y= Σ WnXn
η-1(4)
[0094]然而，在式⑷中，xn表示構(gòu)成第二圖像的像素y用的預(yù)測抽頭的第η個(gè)第一圖像數(shù)據(jù)的像素(下文中適當(dāng)?shù)胤Q為第一圖像的像素)的像素值，wn表示與第η個(gè)第一圖像的像素(像素值)相乘的第η個(gè)抽頭系數(shù)。此外，在式(4)中，預(yù)測抽頭由N個(gè)第一圖像的像
Xi, X2,...? Xn 豐勾
[0095]在這點(diǎn)上，第二圖像的像素的像素值I也可以通過二次以上的高次式獲得，而不是式(4)表示的線性一次式。
[0096]下面，當(dāng)?shù)趉個(gè)樣本中的第二圖像的像素的像素值的真值由yk表示并且通過式
(4)獲得的其真值yk的預(yù)測值是yk’時(shí)，其預(yù)測誤差ek由下式表示。
[0097]ek=yk_yk’ (5)
[0098]下面，由于式(5)的預(yù)測值yk’根據(jù)式⑷獲得，因此當(dāng)式(5)的yk’根據(jù)式(4)置換時(shí)，獲得下式。
[0099]

【權(quán)利要求】
1.一種圖像處理裝置，包括: 代表值計(jì)算單元，所述代表值計(jì)算單元從由使用圖像信號(hào)構(gòu)成的第一圖像選擇作為由預(yù)定數(shù)量的像素構(gòu)成的區(qū)域的指定區(qū)，所述圖像信號(hào)從其中對(duì)應(yīng)于多個(gè)顏色分量中的各顏色分量的像素在平面上規(guī)則地配置的單芯式像素單元輸出，并且所述代表值計(jì)算單元計(jì)算在所述指定區(qū)中的所述各顏色分量的代表值； 類別分類單元，所述類別分類單元基于從所述指定區(qū)的像素值獲得的特征量對(duì)所述指定區(qū)進(jìn)行類別分類； 系數(shù)讀取單元，所述系數(shù)讀取單元基于進(jìn)行所述類別分類的結(jié)果讀取預(yù)先存儲(chǔ)的系數(shù)； 顏色分量變換單元，所述顏色分量變換單元將所述指定區(qū)內(nèi)的預(yù)定的像素有關(guān)的像素值設(shè)定為預(yù)測抽頭，將所述多個(gè)顏色分量中的一個(gè)顏色分量的像素值設(shè)定為基準(zhǔn)，并將所述預(yù)測抽頭的各顏色分量的像素值變換成使用所述代表值進(jìn)行抵消而獲得的變換值；和積和計(jì)算單元，所述積和計(jì)算單元將所述變換值設(shè)定為變量并通過使用讀取的系數(shù)進(jìn)行積和運(yùn)算來計(jì)算第二圖像的各像素值，第二圖像是僅由對(duì)應(yīng)于所述多個(gè)顏色分量中的各顏色分量的像素構(gòu)成的圖像。
2.如權(quán)利要求1所述的圖像處理裝置， 其中所述單芯式像素單元是具有R、G和B顏色分量的拜耳布局的像素單元，和 其中所述代表值計(jì)算單元， 基于R或B像素附近的G像素計(jì)算R或B像素的插值g, 基于G像素附近的R像素或B像素計(jì)算G像素的插值r和插值b， 通過使用從G像素直接獲得的輸入值G和插值g的平均值計(jì)算G的代表值， 基于插值r和輸入值G之間的差、從R像素直接獲得的輸入值R和插值g之間的差以及G的代表值，計(jì)算R的代表值，和 基于插值b和輸入值G之間的差、從B像素直接獲得的輸入值B和插值g之間的差以及G的代表值，計(jì)算B的代表值。
3.如權(quán)利要求2所述的圖像處理裝置， 其中如果第二圖像是僅由G像素構(gòu)成的圖像， 所述顏色分量變換單元通過使用R的代表值和G的代表值之間的差抵消輸入值R，和 通過使用B的代表值和G的代表值之間的差抵消輸入值B， 其中如果第二圖像是僅由R像素構(gòu)成的圖像， 所述顏色分量變換單元通過使用G的代表值和R的代表值之間的差抵消輸入值G，和 通過使用B的代表值和R的代表值之間的差抵消輸入值B，和 其中如果第二圖像是僅由B像素構(gòu)成的圖像， 所述顏色分量變換單元通過使用G的代表值和B的代表值之間的差抵消輸入值G，和 通過使用R的代表值和B的代表值之間的差抵消輸入值R。
4.如權(quán)利要求1所述的圖像處理裝置， 其中如果在具有多個(gè)顏色分量的圖像中，生成僅由第一顏色分量構(gòu)成的第二圖像，和在具有多個(gè)顏色分量的圖像中，生成僅由不同于第一顏色分量的第二顏色分量構(gòu)成的第二圖像，那么從僅由第一顏色分量構(gòu)成的第二圖像獲取所述預(yù)測抽頭。
5.如權(quán)利要求1所述的圖像處理裝置，還包括: 計(jì)算所述預(yù)測抽頭的虛擬色差的虛擬色差計(jì)算單元， 其中如果在具有多個(gè)顏色分量的圖像中，生成僅由不同于第一顏色分量的第二顏色分量構(gòu)成的第二圖像，那么 所述積和計(jì)算單元將所述預(yù)測抽頭的虛擬色差設(shè)定為變量并通過使用讀取的系數(shù)進(jìn)行積和運(yùn)算來計(jì)算第二圖像的虛擬色差，和 其中從第一圖像中的指定區(qū)獲取僅由對(duì)應(yīng)于第二顏色分量的像素構(gòu)成的所述預(yù)測抽頭。
6.如權(quán)利要求5所述的圖像處理裝置， 其中所述虛擬色差計(jì)算單元通過構(gòu)成所述預(yù)測抽頭的像素的值乘以由色空間的規(guī)格規(guī)定的矩陣系數(shù)來計(jì)算所述虛擬色差。
7.如權(quán)利要求1所述的圖像處理裝置，還包括: 另一個(gè)顏色分量變換單元，所述另一個(gè)顏色分量變換單元將所述指定區(qū)內(nèi)的預(yù)定的像素有關(guān)的像素值設(shè)定為類別抽頭，將所述多個(gè)顏色分量中的一個(gè)顏色分量的像素值設(shè)定為基準(zhǔn)，并將所述類別抽頭的各顏色分量的像素值變換成使用所述代表值進(jìn)行抵消而獲得的變換值， 其中所述類別分類單元基于從所述另一個(gè)顏色分量變換單元變換獲得的變換值確定所述類別抽頭的特征量。
8.如權(quán)利要求1所述的圖像處理裝置， 其中通過預(yù)先學(xué)習(xí)獲得由所述系數(shù)讀取單元讀取的系數(shù)， 其中在所述預(yù)先學(xué)習(xí)中， 通過使用在所述單芯式像素單元和被寫體之間配置的光學(xué)低通濾波器，由使用從在靠近所述被寫體的位置中配置并僅由對(duì)應(yīng)于所述多個(gè)顏色分量的像素構(gòu)成的多個(gè)像素單元輸出的圖像信號(hào)構(gòu)成的圖像被設(shè)定為教師圖像， 其中由使用從所述單芯式像素單元輸出的圖像信號(hào)構(gòu)成的圖像被設(shè)定為學(xué)生圖像，和其中通過求解其中所述學(xué)生圖像的像素和所述教師圖像的像素彼此映射的正規(guī)方程式來計(jì)算所述系數(shù)。
9.一種圖像處理方法，包括: 使代表值計(jì)算單元從由使用圖像信號(hào)構(gòu)成的第一圖像選擇作為由預(yù)定數(shù)量的像素構(gòu)成的區(qū)域的指定區(qū)，所述圖像信號(hào)從其中對(duì)應(yīng)于多個(gè)顏色分量中的各顏色分量的像素在平面上規(guī)則地配置的單芯式像素單元輸出，并且計(jì)算在所述指定區(qū)中的所述各顏色分量的代表值； 使類別分類單元基于從所述指定區(qū)的像素值獲得的特征量對(duì)所述指定區(qū)進(jìn)行類別分類； 使系數(shù)讀取單元基于進(jìn)行所述類別分類的結(jié)果讀取預(yù)先存儲(chǔ)的系數(shù)； 使顏色分量變換單元將所述指定區(qū)內(nèi)的預(yù)定的像素有關(guān)的像素值設(shè)定為預(yù)測抽頭，將所述多個(gè)顏色分量中的一個(gè)顏色分量的像素值設(shè)定為基準(zhǔn)，并將所述預(yù)測抽頭的各顏色分量的像素值變換成使用所述代表值進(jìn)行抵消而獲得的變換值；和使積和計(jì)算單元將所述變換值設(shè)定為變量并通過使用讀取的系數(shù)進(jìn)行積和運(yùn)算來計(jì)算第二圖像的各像素值，第二圖像是僅由對(duì)應(yīng)于所述多個(gè)顏色分量中的各顏色分量的像素構(gòu)成的圖像。
10.一種使計(jì)算機(jī)起到圖像處理裝置功能的程序，包括: 代表值計(jì)算單元，所述代表值計(jì)算單元從由使用圖像信號(hào)構(gòu)成的第一圖像選擇作為由預(yù)定數(shù)量的像素構(gòu)成的區(qū)域的指定區(qū)，所述圖像信號(hào)從其中對(duì)應(yīng)于多個(gè)顏色分量中的各顏色分量的像素在平面上規(guī)則地配置的單芯式像素單元輸出，并且所述代表值計(jì)算單元計(jì)算在所述指定區(qū)中的所述各顏色分量的代表值， 類別分類單元，所述類別分類單元基于從所述指定區(qū)的像素值獲得的特征量對(duì)所述指定區(qū)進(jìn)行類別分類， 系數(shù)讀取單元，所述系數(shù)讀取單元基于進(jìn)行所述類別分類的結(jié)果讀取預(yù)先存儲(chǔ)的系數(shù)， 顏色分量變換單元，所述顏色分量變換單元將所述指定區(qū)內(nèi)的預(yù)定的像素有關(guān)的像素值設(shè)定為預(yù)測抽頭，將所述多個(gè)顏色分量中的一個(gè)顏色分量的像素值設(shè)定為基準(zhǔn)，并將所述預(yù)測抽頭的各顏色分量的像素值變換成使用所述代表值進(jìn)行抵消而獲得的變換值，和積和計(jì)算單元，所述積和計(jì)算單元將所述變換值設(shè)定為變量并通過使用讀取的系數(shù)進(jìn)行積和運(yùn)算來計(jì)算第二圖像的各像素值，第二圖像是僅由對(duì)應(yīng)于所述多個(gè)顏色分量中的各顏色分量的像素構(gòu)成的圖像。
【文檔編號(hào)】H04N9/04GK104079900SQ201410057982
【公開日】2014年10月1日 申請(qǐng)日期:2014年2月20日 優(yōu)先權(quán)日:2013年3月29日
【發(fā)明者】奧村明弘, 藤?zèng)g一郎, 安藤勝俊, 土屋隆史 申請(qǐng)人:索尼公司