圖像處理設(shè)備、圖像處理方法及程序的制作方法
【專利摘要】本發(fā)明提供了一種可以減少Zipper噪聲的圖像處理設(shè)備、圖像處理方法及程序。所述圖像處理設(shè)備包括：類別抽頭選擇單元，其從由單板式像素部輸出的圖像信號(hào)形成的第一圖像中，選擇與對(duì)應(yīng)于多個(gè)顏色分量的像素相關(guān)的像素值作為抽頭類別；類別分類單元，其基于所述類別抽頭的特征量將第二圖像的目標(biāo)像素分為多個(gè)類別中的任意一類；預(yù)測(cè)抽頭選擇單元，其從第一圖像中選擇與多個(gè)顏色分量的第一顏色分量相對(duì)應(yīng)的像素的像素值作為預(yù)測(cè)抽頭；以及積和運(yùn)算單元，其將所述預(yù)測(cè)抽頭的第一顏色分量的像素值來(lái)作為變量，并通過(guò)利用讀出的系數(shù)進(jìn)行積和運(yùn)算來(lái)運(yùn)算所述第二圖像的像素值。
【專利說(shuō)明】圖像處理設(shè)備、圖像處理方法及程序

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種圖像處理設(shè)備、圖像處理方法及程序，具體涉及一種可以減少Zipper噪聲的圖像處理設(shè)備、圖像處理方法及程序。

【背景技術(shù)】
[0002]使用圖像傳感器的成像設(shè)備主要包括:使用單個(gè)圖像傳感器的單板式設(shè)備(以下稱為單板式相機(jī))和使用三個(gè)圖像傳感器的三板式相機(jī)(以下稱為三板式相機(jī))。
[0003]在三板式相機(jī)中，例如提供了用于獲取R信號(hào)、G信號(hào)、B信號(hào)的三個(gè)圖像傳感器，利用該三個(gè)圖像傳感器獲得三個(gè)原色信號(hào)。此外，從這三個(gè)原色信號(hào)生成的顏色圖像信號(hào)記錄在記錄介質(zhì)上。
[0004]在單板式相機(jī)中，采用了單個(gè)圖像傳感器，其中，由分配給各個(gè)像素的濾色器的陣列形成的顏色編碼濾色器設(shè)置在前面，并為各個(gè)像素獲得由該顏色編碼濾色器進(jìn)行顏色編碼的顏色分量信號(hào)。作為形成該顏色編碼濾色器的濾色器陣列，采用紅色(R)、綠色(G)和藍(lán)色(B)的原色濾色器陣列，或者采用黃色(Ye)、青色(Cy)和品紅色(Mg)的互補(bǔ)濾色器陣列。此外，在單板式相機(jī)中，利用圖像傳感器為各個(gè)像素獲得單個(gè)顏色分量信號(hào)，通過(guò)線性插值處理生成各個(gè)像素的除顏色分量信號(hào)之外的顏色信號(hào)，從而得到接近由三板式相機(jī)所獲得的圖像的圖像。在攝像機(jī)等中，采用單板式是為了小型化并減輕重量。
[0005]具有拜耳陣列的濾色器陣列常用作形成顏色編碼濾色器的濾色器陣列。在拜耳陣列中，G濾色器設(shè)置為網(wǎng)格圖案(checkered pattern), R濾色器和B濾色器在余下的部分中對(duì)于每一列交替地設(shè)置。
[0006]在這種情況下，圖像傳感器從設(shè)有R、G和B三種原色的其中一個(gè)濾色器的各個(gè)像素中僅輸出與濾色器的顏色相對(duì)應(yīng)的圖像信號(hào)。換言之，從設(shè)有R濾色器的像素中輸出R分量圖像信號(hào)，但不輸出G分量圖像信號(hào)和B分量圖像信號(hào)。同樣，從G像素中僅輸出G分量圖像信號(hào)，但不輸出R分量圖像信號(hào)和B分量圖像信號(hào)。從B像素中僅輸出B分量圖像信號(hào)，但不輸出R分量圖像信號(hào)和B分量圖像信號(hào)。
[0007]然而，當(dāng)在圖像處理的后續(xù)階段中處理各個(gè)像素的信號(hào)時(shí)，R分量圖像信號(hào)、G分量圖像信號(hào)和B分量圖像信號(hào)對(duì)于每個(gè)像素是必須的。因此，在相關(guān)技術(shù)中，分別通過(guò)插值運(yùn)算從由nXm個(gè)像素形成的圖像傳感器的輸出中獲得R像素的nXm個(gè)圖像信號(hào)、G像素的nXm個(gè)(η和m均為正整數(shù))圖像信號(hào)和B像素的nXm個(gè)圖像信號(hào)，并將這些圖像信號(hào)輸出到后續(xù)階段。
[0008]DLMMSE方法在相關(guān)技術(shù)中是眾所周知的(參見L.Zhang和X.Wu, 2005年發(fā)表在 IEEE Trans.0n Image Processing, Vol.14, N0.12,第 2167 ?2178 頁(yè)的 “Colordemosaicking via direct1nal linear minimum mean square-error estimat1n，，中提及的DLMMSE算法)。
[0009]在DLMMSE方法中，首先，針對(duì)來(lái)自圖像傳感器的輸入圖像，對(duì)G分量像素信號(hào)進(jìn)行插值，在對(duì)G分量進(jìn)行插值之后利用色差(B-G和R-G)對(duì)B分量像素信號(hào)和R分量像素信號(hào)進(jìn)行插值。另外，當(dāng)對(duì)G分量進(jìn)行插值時(shí)，生成插值，該插值在輸入圖像的垂直方向和水平方向上均產(chǎn)生最小平方誤差。進(jìn)而，檢測(cè)到垂直方向和水平方向上的方向性，并基于檢測(cè)結(jié)果對(duì)垂直方向上的插值和水平方向上的插值按比例進(jìn)行分配。
[0010]然而，在采用DLMMSE方法的情況下，在局部?jī)H出現(xiàn)R分量的圖案中會(huì)發(fā)生平均色差小于原有色差的現(xiàn)象。
[0011]具體地說(shuō)，如圖1所示，通過(guò)采用DLMMSE方法，在來(lái)自圖像傳感器的輸入圖像(圖2)中，基于采用三點(diǎn)(包括與設(shè)為中心像素的R像素相鄰的左右G像素)計(jì)算得出的色差與采用五點(diǎn)(包括相鄰的左右G像素和R像素)計(jì)算得出的色差之間的比較，采用五點(diǎn)計(jì)算得出的色差水平低于采用三點(diǎn)計(jì)算得出的色差水平。換言之，在僅出現(xiàn)R分量的圖案中，如果作為中心像素的R像素的水平低于相鄰的左右R像素的平均水平，那么中央R像素的色差(R-G)水平降低了。結(jié)果是，由于R分量是以固定的方式計(jì)算得出的，所以中央R像素的G分量水平增加了。
[0012]如上所述，僅一個(gè)點(diǎn)的G分量水平增加了，因此單獨(dú)生成了白點(diǎn)或黑點(diǎn)。這種噪聲稱之為Zipper噪聲。換言之，如DLMMSE方法中，在通過(guò)對(duì)某個(gè)方向上的色差進(jìn)行平均來(lái)增加分辨率的感覺的方法中，存在局部出現(xiàn)色差變化的位置會(huì)發(fā)生Zipper噪聲這種可能性。此外，圖3圖示了通過(guò)三點(diǎn)計(jì)算得到的圖形。圖4圖示了通過(guò)五點(diǎn)計(jì)算得到的圖形，Zipper噪聲發(fā)生在通過(guò)五點(diǎn)計(jì)算得到的圖像中。


【發(fā)明內(nèi)容】

[0013]本發(fā)明期望即使在來(lái)自圖像傳感器的輸入圖像中存在局部色差變化的位置處能夠減少Zipper噪聲的發(fā)生。
[0014]根據(jù)本發(fā)明的實(shí)施例，提供了一種圖像處理設(shè)備，其包括:類別抽頭選擇單元，其從由單板式像素部輸出的圖像信號(hào)形成的第一圖像中，選擇與對(duì)應(yīng)于多個(gè)顏色分量的像素相關(guān)的像素值作為類別抽頭，在所述單板式像素部中，分別對(duì)應(yīng)于所述多個(gè)顏色分量的所述像素規(guī)則地設(shè)置在平面上；類別分類單元，其基于從所述類別抽頭的所述多個(gè)顏色分量的像素值中獲得的特征量，將第二圖像的目標(biāo)像素分為多個(gè)類別中的任意一類，所述第二圖像中的每一個(gè)由所述多個(gè)顏色分量中的僅僅單個(gè)顏色分量的像素形成；系數(shù)讀取單元，其基于所述類別分類的結(jié)果讀取預(yù)先儲(chǔ)存的系數(shù)；預(yù)測(cè)抽頭選擇單元，其從所述第一圖像中選擇與對(duì)應(yīng)于所述多個(gè)顏色分量中的第一顏色分量的像素相關(guān)的像素值作為預(yù)測(cè)抽頭；以及積和運(yùn)算單元，其將所述預(yù)測(cè)抽頭的所述第一顏色分量的像素值用作變量，并利用讀出的所述系數(shù)通過(guò)積和運(yùn)算來(lái)運(yùn)算所述第二圖像的像素值，其中，僅僅由所述第一顏色分量形成的所述第二圖像是從由所述多個(gè)顏色分量形成的圖像中生成的；并且，當(dāng)從由所述多個(gè)顏色分量形成的所述圖像中生成僅僅由與所述第一顏色分量不同的第二顏色分量形成的所述第二圖像時(shí)，所述預(yù)測(cè)抽頭從僅僅由所述第一顏色分量形成的所述第二圖像獲取。
[0015]所述圖像處理設(shè)備可進(jìn)一步包括:代表值運(yùn)算單元，其從所述第一圖像中選擇包括預(yù)定數(shù)量的像素的指定區(qū)域，并為所述指定區(qū)域中的各個(gè)顏色分量運(yùn)算代表值；第一顏色分量轉(zhuǎn)換單元，其將所述預(yù)測(cè)抽頭的所述第一顏色分量的像素值轉(zhuǎn)換為第一轉(zhuǎn)換值，所述第一轉(zhuǎn)換值是通過(guò)利用所述代表值相對(duì)于作為基準(zhǔn)的所述多個(gè)顏色分量之一的像素值使所述第一顏色分量的像素值進(jìn)行偏移而獲得的。這里，所述積和運(yùn)算單元將所述第一轉(zhuǎn)換值用作變量，并利用讀出的所述系數(shù)通過(guò)積和運(yùn)算來(lái)運(yùn)算所述第二圖像的像素值。
[0016]所述圖像處理設(shè)備可進(jìn)一步包括:第二顏色分量轉(zhuǎn)換單元，其將所述類別抽頭的所述多個(gè)顏色分量的像素值轉(zhuǎn)換為第二轉(zhuǎn)換值，所述第二轉(zhuǎn)換值是通過(guò)利用所述代表值相對(duì)于作為基準(zhǔn)的所述多個(gè)顏色分量之一的像素值使所述多個(gè)顏色分量的像素值進(jìn)行偏移而獲得的。這里，所述類別分類單元基于所述第二轉(zhuǎn)換值確定所述類別抽頭的特征量。
[0017]在所述圖像處理設(shè)備中，其中，所述單板式像素部是包括R、G和B分量的具有拜耳陣列的像素部。另外，所述代表值運(yùn)算單元:基于R像素或B像素周圍的G像素計(jì)算所述R像素或所述B像素的插值g ;基于所述G像素周圍的所述R像素或所述B像素計(jì)算所述G像素的插值r和插值b ;通過(guò)利用輸入值G和所述插值g的平均值來(lái)運(yùn)算G代表值，所述輸入值G是從所述G像素直接獲得的；基于所述插值r和所述輸入值G之間的差值、從所述R像素直接獲得的輸入值R和所述插值g之間的差值、以及所述G代表值來(lái)運(yùn)算R代表值；以及基于所述插值b和所述輸入值G之間的差值、從所述B像素直接獲得的輸入值B和所述插值g之間的差值、以及所述G代表值來(lái)運(yùn)算B代表值。
[0018]在所述圖像處理設(shè)備中，當(dāng)所述第二圖像僅由所述G像素形成時(shí)，所述顏色分量轉(zhuǎn)換單元使所述輸入值R偏移所述R代表值和所述G代表值之間的差值,并使所述輸入值B偏移所述B代表值和所述G代表值之間的差值。當(dāng)所述第二圖像僅由R像素形成時(shí)，所述顏色分量轉(zhuǎn)換單元使所述輸入值G偏移所述G代表值和所述R代表值之間的差值，并使所述輸入值B偏移所述B代表值和所述R代表值之間的差值。此外，當(dāng)所述第二圖像僅由B像素形成時(shí)，所述顏色分量轉(zhuǎn)換單元使所述輸入值G偏移所述G代表值和所述B代表值之間的差值，并使所述輸入值R偏移所述R代表值和所述B代表值之間的差值。
[0019]所述圖像處理設(shè)備可進(jìn)一步包括:顏色變化檢測(cè)單元，其從所述第一圖像檢測(cè)顏色分量變化，并且，所述類別分類單元基于所述顏色變化檢測(cè)單元的檢測(cè)結(jié)果執(zhí)行類別分類。
[0020]在所述圖像處理設(shè)備中，所述系數(shù)讀取單元讀出的所述系數(shù)是通過(guò)學(xué)習(xí)預(yù)先獲得的。在所述學(xué)習(xí)中，將從多個(gè)像素部輸出的圖像信號(hào)所形成的圖像用作教師圖像，各個(gè)所述像素部均包含所述多個(gè)顏色分量中的僅僅單個(gè)顏色分量的像素，所述像素部設(shè)置在比設(shè)在所述單板式像素部和目標(biāo)之間的光學(xué)低通濾波器更靠近所述目標(biāo)的位置處；將從所述單板式像素部輸出的圖像信號(hào)所形成的圖像用作學(xué)生圖像；以及通過(guò)解算使所述學(xué)生圖像的像素和所述教師圖像的像素彼此映射的標(biāo)準(zhǔn)方程式來(lái)計(jì)算所述系數(shù)。
[0021]根據(jù)本發(fā)明的另一實(shí)施例的圖像處理方法或程序是與根據(jù)本發(fā)明的實(shí)施例的圖像處理設(shè)備相對(duì)應(yīng)的圖像處理方法或程序。
[0022]根據(jù)本發(fā)明實(shí)施例的所述圖像處理設(shè)備、所述圖像處理方法和程序，從由單板式像素部輸出的圖像信號(hào)形成的第一圖像中，選擇與對(duì)應(yīng)于多個(gè)顏色分量的像素相關(guān)的像素值作為類別抽頭，在所述單板式像素部中，分別對(duì)應(yīng)于所述多個(gè)顏色分量的所述像素規(guī)則地設(shè)置在平面上；基于從所述類別抽頭的所述多個(gè)顏色分量的像素值中獲得的特征量，將第二圖像的目標(biāo)像素分為多個(gè)類別中的任意一類，所述第二圖像中的每一個(gè)由所述多個(gè)顏色分量中的僅僅單個(gè)顏色分量的像素形成；基于所述類別分類的結(jié)果讀取預(yù)先儲(chǔ)存的系數(shù)；從所述第一圖像中選擇與對(duì)應(yīng)于所述多個(gè)顏色分量中的第一顏色分量的像素相關(guān)的像素值作為預(yù)測(cè)抽頭；將所述預(yù)測(cè)抽頭的所述第一顏色分量的像素值用作變量，并利用讀出的所述系數(shù)通過(guò)積和運(yùn)算來(lái)運(yùn)算所述第二圖像的像素值；從由所述多個(gè)顏色分量形成的圖像中生成僅僅由所述第一顏色分量形成的所述第二圖像；并且，當(dāng)從由所述多個(gè)顏色分量形成的所述圖像生成僅僅由與所述第一顏色分量不同的第二顏色分量形成的所述第二圖像時(shí)，從僅僅由所述第一顏色分量形成的所述第二圖像獲取所述預(yù)測(cè)抽頭。
[0023]根據(jù)本發(fā)明的實(shí)施例,可以減少Zipper噪聲。

【專利附圖】

【附圖說(shuō)明】
[0024]圖1是圖示了 Zipper噪聲的原理的示意圖；
[0025]圖2是圖示了輸入圖像的示意圖；
[0026]圖3是圖不了利用DLMMSE方法(二點(diǎn)計(jì)算)獲得的圖像的不意圖；
[0027]圖4是圖不了利用DLMMSE方法(五點(diǎn)計(jì)算)獲得的圖像的不意圖；
[0028]圖5是圖示了單板式相機(jī)的圖像傳感器中的圖像信號(hào)采集方法的示意圖；
[0029]圖6是圖示了根據(jù)應(yīng)用本發(fā)明的圖像處理設(shè)備的實(shí)施例的配置的框圖；
[0030]圖7是圖示了指定區(qū)域的示例的示意圖；
[0031]圖8是圖示了插值g的計(jì)算方法的示例的示意圖；
[0032]圖9是圖示了插值r的計(jì)算方法的示例的示意圖；
[0033]圖10是圖示了插值b的計(jì)算方法的示例的示意圖；
[0034]圖11是圖示了與圖6所示圖像處理設(shè)備相對(duì)應(yīng)的學(xué)習(xí)設(shè)備的配置示例的示意圖；
[0035]圖12A?12D是圖示了由圖6所示圖像處理設(shè)備或圖11所示學(xué)習(xí)設(shè)備獲取的類別抽頭或預(yù)測(cè)抽頭的結(jié)構(gòu)示例的示意圖；
[0036]圖13是圖示了由圖6所示圖像處理設(shè)備執(zhí)行的圖像處理的示例的流程圖；
[0037]圖14是圖不了代表RGB運(yùn)算處理的不例的流程圖；
[0038]圖15是圖示了由圖11所示學(xué)習(xí)設(shè)備執(zhí)行的系數(shù)學(xué)習(xí)處理的示例的流程圖；
[0039]圖16是圖示了根據(jù)應(yīng)用本發(fā)明的圖像處理設(shè)備的實(shí)施例的配置示例的框圖；
[0040]圖17A?17D是圖示了由圖16所示圖像處理設(shè)備獲取的G類別抽頭的結(jié)構(gòu)示例的不意圖；
[0041]圖18A?18D是圖示了由圖16所示圖像處理設(shè)備獲取的G預(yù)測(cè)抽頭的結(jié)構(gòu)示例的不意圖；
[0042]圖19A?19D是圖示了由圖16所示圖像處理設(shè)備獲取的R類別抽頭的結(jié)構(gòu)示例的不意圖；
[0043]圖20A?20D是圖示了由圖16所示圖像處理設(shè)備獲取的R預(yù)測(cè)抽頭的結(jié)構(gòu)示例的不意圖；
[0044]圖21A?21D是圖示了由圖16所示圖像處理設(shè)備獲取的B類別抽頭的結(jié)構(gòu)示例的不意圖；
[0045]圖22k?22D是圖示了由圖16所示圖像處理設(shè)備獲取的B預(yù)測(cè)抽頭的結(jié)構(gòu)示例的不意圖；
[0046]圖23是圖示了圖16所示圖像處理設(shè)備的另一配置示例的框圖；
[0047]圖24是根據(jù)應(yīng)用本發(fā)明的圖像處理設(shè)備的另一實(shí)施例的配置示例的框圖；
[0048]圖25是圖示了由圖24所示圖像處理設(shè)備執(zhí)行的圖像處理的示例的流程圖；
[0049]圖26是圖示了由圖16或圖24所示圖像處理設(shè)備獲取的類別抽頭的另一結(jié)構(gòu)示例的不意圖；
[0050]圖27是圖示了由圖16或圖24所示圖像處理設(shè)備獲取的預(yù)測(cè)抽頭的另一結(jié)構(gòu)示例的不意圖；以及
[0051]圖28是圖示了計(jì)算機(jī)的配置示例的框圖。

【具體實(shí)施方式】
[0052]下文將基準(zhǔn)附圖對(duì)本發(fā)明的實(shí)施例進(jìn)行描述。
[0053]圖像信號(hào)獲取方法
[0054]圖5是圖示了單板式相機(jī)的圖像傳感器中的圖像信號(hào)獲取方法的示意圖。
[0055]在該示例中，由對(duì)象11反射的光穿過(guò)光學(xué)低通濾波器12并由圖像傳感器13接收。
[0056]在單板式相機(jī)中，采用了單圖像傳感器，在該單圖像傳感器中，為各個(gè)像素分配的濾色器陣列所形成的顏色編碼濾色器設(shè)置在前面，為各個(gè)像素獲得由顏色編碼濾色器進(jìn)行顏色編碼的顏色分量信號(hào)。
[0057]這里，在圖像傳感器13中采用了具有拜耳陣列(Bayer array)的濾色器陣列，G濾色器設(shè)置為網(wǎng)格圖案，R和B濾色器在剩余部分中每一列交替設(shè)置。換言之，圖像傳感器13中矩形區(qū)域中的四個(gè)像素包括兩個(gè)G像素、單個(gè)R像素和單個(gè)B像素。
[0058]在單板式相機(jī)中，當(dāng)在圖像處理的后續(xù)階段對(duì)各個(gè)像素的信號(hào)進(jìn)行處理時(shí)，R分量、G分量和B分量圖像信號(hào)對(duì)于各個(gè)像素都是必要的。為此，必須基于從圖像傳感器13輸出的像素值通過(guò)插值運(yùn)算等獲得各個(gè)像素的R分量、G分量和B分量像素值。
[0059]此外，在圖像傳感器13中，使入射到圖像傳感器的光穿過(guò)光學(xué)低通濾波器12，以避免假色、假象等等的影響。然而，如果如上所述使光通過(guò)光學(xué)低通濾波器12，則會(huì)使圖像模糊不清。
[0060]因此，在本發(fā)明中，基于從圖像傳感器13輸出的像素值，可以獲得像素值，該像素值是假設(shè)在幀(圖5中的虛線矩形)14中設(shè)置分別對(duì)應(yīng)于R分量、G分量和B分量的三個(gè)圖像傳感器而獲得的。
[0061]1.第一實(shí)施例
[0062]圖像處理設(shè)備的配置
[0063]圖6是圖示了根據(jù)應(yīng)用了本發(fā)明的圖像處理設(shè)備的實(shí)施例的配置示例的框圖。圖像處理設(shè)備100將輸入圖像中與目標(biāo)像素及其外圍像素對(duì)應(yīng)的像素的值作為變量，并利用通過(guò)學(xué)習(xí)而預(yù)先獲得的系數(shù)通過(guò)積和(product-sum)運(yùn)算預(yù)測(cè)輸出圖像的目標(biāo)像素的像素值。
[0064]輸入到圖像處理設(shè)備100的輸入圖像是利用圖像傳感器的輸出值而形成的圖像，該圖像傳感器采用例如具有拜耳陣列的濾色器陣列。換言之，輸入圖像是與從例如圖5所示圖像傳感器13輸出的信號(hào)相對(duì)應(yīng)的圖像。因此，在輸入圖像中，從設(shè)有R濾色器的像素中獲得R分量圖像信號(hào)，但是G分量和B分量圖像信號(hào)則不從設(shè)有R濾色器的像素中獲得。相似地，僅G分量圖像信號(hào)從G像素獲得，而R分量和B分量圖像信號(hào)不從G像素獲得。相似地，僅B分量圖像信號(hào)從B像素獲得，而R分量和G分量圖像信號(hào)不從B像素獲得。
[0065]圖6的圖像處理設(shè)備100包括:代表RGB運(yùn)算單元101、分別與R、G和B相對(duì)應(yīng)的類別抽頭(tap)選擇單元、分別與R、G和B相對(duì)應(yīng)的預(yù)測(cè)抽頭選擇單元、分別與R、G和B相對(duì)應(yīng)的顏色轉(zhuǎn)換單元、分別與R、G和B相對(duì)應(yīng)的類別分類單元、分別與R、G和B相對(duì)應(yīng)的系數(shù)存儲(chǔ)器、以及分別與R、G和B相對(duì)應(yīng)的積和運(yùn)算單元。
[0066]代表RGB運(yùn)算單元101在用于獲取下文所述的類別抽頭或預(yù)測(cè)抽頭的圖像中的區(qū)域(下文稱為指定區(qū)域)中，將Dr、Db和Dg運(yùn)算為用作R、G和B各個(gè)顏色分量的像素值的基準(zhǔn)的代表值。
[0067]例如，假設(shè)該指定區(qū)域設(shè)置為如圖7的實(shí)線幀所示。在圖7中，各個(gè)圓表示輸入圖像的像素，由位于中心的陰影圓所表示的像素被認(rèn)為是類別抽頭或預(yù)測(cè)抽頭的中心像素。此外，各個(gè)圓中的字母R、G和B表示各個(gè)像素的顏色分量。
[0068]指定區(qū)域可任意設(shè)置為包括了以中心像素為中心的類別抽頭或預(yù)測(cè)抽頭的區(qū)域，但是如果設(shè)置了大大超過(guò)類別抽頭或預(yù)測(cè)抽頭的區(qū)域，那么可能難以執(zhí)行對(duì)應(yīng)于圖像區(qū)域的最佳處理。為此，指定區(qū)域優(yōu)選地是與類別抽頭或預(yù)測(cè)抽頭相同的區(qū)域。
[0069]此外，在下文的描述中，盡管通過(guò)運(yùn)算而得到的平均值、插值和代表值等被恰當(dāng)?shù)貐⒄?，但根?jù)各個(gè)像素的顏色分量，執(zhí)行運(yùn)算之前的輸入圖像的各個(gè)像素值稱為輸入值G、輸入值R和輸入值B，以便彼此區(qū)別。換言之，將從設(shè)置有具有拜耳陣列的圖像傳感器的R濾色器的像素直接獲得的像素值設(shè)置為輸入值R ;將從設(shè)置有具有拜耳陣列的圖像傳感器的G濾色器的像素直接獲得的像素值設(shè)置為輸入值G ;將從設(shè)置有具有拜耳陣列的圖像傳感器的B濾色器的像素直接獲得的像素值設(shè)置為輸入值B。
[0070]在該示例中，將圖7中以實(shí)線圍繞且包括以中心像素為中心的25 (5x5)個(gè)像素的區(qū)域設(shè)置為指定區(qū)域。
[0071]代表RGB運(yùn)算單元101首先計(jì)算G分量代表值Dg。
[0072]此時(shí)，如圖8所示，代表RGB運(yùn)算單元101將指定區(qū)域中的R分量像素或B分量像素作為中心像素，并對(duì)作為中心像素的四個(gè)外圍像素(上下左右)的像素Gl?G4的輸入值Gl?G4進(jìn)行平均，從而計(jì)算出插值g，該插值g是插到中心像素的像素位置處的G分量的值。相應(yīng)地，輸入圖像中不具有G分量的R分量像素和B分量像素具有插入的G分量(插值g)°
[0073]此外，代表RGB運(yùn)算單元101計(jì)算指定區(qū)域中所有G像素(在該示例中為12個(gè))的輸入值G和插值g的平均值作為代表值Dg。
[0074]接著，代表RGB運(yùn)算單元101計(jì)算R分量代表值Dr。此時(shí)，代表RGB運(yùn)算單元101計(jì)算插值r，該插值r是在指定區(qū)域中插到G像素的各個(gè)像素位置處的R分量的值。例如，如圖9所示，在計(jì)算圖8中像素Gl或像素G4所在位置處的插值r時(shí)，將左右兩側(cè)上與G像素相鄰的像素R2和Rl的平均值當(dāng)作插值r。
[0075]相應(yīng)地，在指定區(qū)域中的G像素的像素位置處可以獲得輸入值G和插值r，在指定區(qū)域中的R像素的像素位置處可以獲得輸入值R和插值g。
[0076]此外，計(jì)算各個(gè)像素位置處的(插值r-輸入值G)和(輸入值R-插值g)，將在計(jì)算出的(插值r-輸入值G)和(輸入值R-插值g)的平均值上加上代表值Dg而獲得的值計(jì)算為代表值Dr。
[0077]接著，代表RGB運(yùn)算單元101計(jì)算B分量代表值Db。此時(shí)，代表RGB運(yùn)算單元101計(jì)算插值b，該插值b是插到指定區(qū)域中G像素的各個(gè)像素位置處的B分量的值。例如，如圖10所示，在計(jì)算圖8中像素Gl或像素G4所在位置上的插值b時(shí)，將在上下兩側(cè)上與G像素相鄰的像素BI和B2的平均值當(dāng)作插值b。
[0078]相應(yīng)地，在指定區(qū)域中的G像素的像素位置處可以獲得輸入值G和插值b，在指定區(qū)域中的B像素的像素位置處可以獲得輸入值B和插值g。
[0079]此外，計(jì)算各個(gè)像素位置處的(插值b-輸入值G)和(輸入值B-插值g)，將在計(jì)算出的(插值b-輸入值G)和(輸入值B-插值g)的平均值上加上代表值Dg而獲得的值計(jì)算為代表值Db。
[0080]再次參見圖6，G類別抽頭選擇單元102-1選擇并獲取G類別抽頭，該G類別抽頭是從輸入圖像生成G分量圖像所必需的類別抽頭。G類別抽頭由例如預(yù)定數(shù)量的以中心像素為中心的像素形成，該中心像素是處于與輸出圖像的目標(biāo)像素相對(duì)應(yīng)的位置處的輸入圖像的像素。
[0081]將G類別抽頭選擇單元102-1選擇的G類別抽頭提供給G轉(zhuǎn)換單元105-11。G轉(zhuǎn)換單元105-11對(duì)形成G類別抽頭的各個(gè)像素值進(jìn)行G轉(zhuǎn)換處理。
[0082]例如，G轉(zhuǎn)換處理執(zhí)行如下。在形成G類別抽頭的像素值為輸入值G的情況下，運(yùn)算轉(zhuǎn)換值G’ ；在形成G類別抽頭的像素值為輸入值R的情況下，運(yùn)算轉(zhuǎn)換值R’ ；在形成G類別抽頭的像素值為輸入值B的情況下，運(yùn)算轉(zhuǎn)換值B’。
[0083]這里，利用方程(I)?(3)分別運(yùn)算轉(zhuǎn)換值G’、轉(zhuǎn)換值R’和轉(zhuǎn)換值B’。
[0084]G，= G (I)
[0085]R’ = R —(Dr — Dg) (2)
[0086]B’ = B — (Db 一 Dg) (3)
[0087]可以通過(guò)執(zhí)行G轉(zhuǎn)換處理來(lái)增加形成G類別抽頭的各個(gè)像素值的相關(guān)性。換言之，相對(duì)于用作基準(zhǔn)的G像素的像素值，對(duì)輸入圖像的R像素和B像素的各個(gè)像素值進(jìn)行偏移，因此可以消除由形成G類別抽頭的各個(gè)像素值的顏色分量差異引起的變化。
[0088]再次參見圖6，將從G轉(zhuǎn)換單元105-11輸出的G類別抽頭提供給G類別分類單元106-1。此外，從G轉(zhuǎn)換單元105-11輸出的G類別抽頭包括利用上述方程(I)?(3)已經(jīng)運(yùn)算得出的轉(zhuǎn)換值G’、轉(zhuǎn)換值R’和轉(zhuǎn)換值B’。
[0089]G類別分類單元106-1通過(guò)使用自適應(yīng)動(dòng)態(tài)范圍編碼(ADRC)對(duì)提供的G類別抽頭進(jìn)行編碼以便生成類別代碼。將生成的類別代碼輸出給G系數(shù)存儲(chǔ)器107-1。
[0090]G系數(shù)存儲(chǔ)器107-1讀取存儲(chǔ)為與從G類別分類單元106_1輸出的類別代碼具有相關(guān)性的系數(shù)，并將讀出的系數(shù)提供給G積和運(yùn)算單元108-1。此外，G系數(shù)存儲(chǔ)器107-1將通過(guò)學(xué)習(xí)而預(yù)先獲得的且用于下文所述積和運(yùn)算的系數(shù)存儲(chǔ)為與類別代碼具有相關(guān)性。[0091 ] G預(yù)測(cè)抽頭選擇單元103-1從輸入圖像選擇并獲取G預(yù)測(cè)抽頭，該G預(yù)測(cè)抽頭是生成G分量圖像所必需的預(yù)測(cè)抽頭。G預(yù)測(cè)抽頭由例如預(yù)定數(shù)量的以中心像素為中心的像素形成，該中心像素是處于與輸出圖像的目標(biāo)像素相對(duì)應(yīng)的位置處的輸入圖像的像素。
[0092]將G預(yù)測(cè)抽頭選擇單元103-1選擇的G預(yù)測(cè)抽頭提供給G轉(zhuǎn)換單元105_12。G轉(zhuǎn)換單元105-12對(duì)形成G預(yù)測(cè)抽頭的各個(gè)像素值進(jìn)行G轉(zhuǎn)換處理。
[0093]G轉(zhuǎn)換單元105-12執(zhí)行的G轉(zhuǎn)換處理與G轉(zhuǎn)換單元105-11執(zhí)行的G轉(zhuǎn)換處理相同。換言之，通過(guò)利用上述方程(I)~(3)，在形成G預(yù)測(cè)抽頭的像素值為輸入值G的情況下，運(yùn)算轉(zhuǎn)換值G’ ；在形成G預(yù)測(cè)抽頭的像素值為輸入值R的情況下，運(yùn)算轉(zhuǎn)換值R’ ；在形成G預(yù)測(cè)抽頭的像素值為輸入值B的情況下，運(yùn)算轉(zhuǎn)換值B’。
[0094]將從G轉(zhuǎn)換單元105-12輸出的G預(yù)測(cè)抽頭提供給G積和運(yùn)算單元108_1。此外，從G轉(zhuǎn)換單元105-12輸出的G預(yù)測(cè)抽頭包括利用上述方程(I)~(3)已經(jīng)運(yùn)算得出的轉(zhuǎn)換值G’、轉(zhuǎn)換值R’和轉(zhuǎn)換值B’。
[0095]G積和運(yùn)算單元108-1將從G轉(zhuǎn)換單元105-12輸出的G預(yù)測(cè)抽頭作為變量分配給預(yù)先設(shè)置的一階線性方程，并利用從G系數(shù)存儲(chǔ)器107-1提供的系數(shù)執(zhí)行預(yù)測(cè)值的運(yùn)算。換言之，G積和運(yùn)算單元108-1基于G預(yù)測(cè)抽頭預(yù)測(cè)性地運(yùn)算作為輸出圖像的G分量圖像(下文稱為G輸出圖像)中目標(biāo)像素的像素值。
[0096]本文將對(duì)輸出圖像的目標(biāo)像素的像素值的預(yù)測(cè)運(yùn)算進(jìn)行描述。
[0097]例如，假設(shè)從具有拜耳陣列的濾色器陣列的圖像傳感器輸出的圖像數(shù)據(jù)以及從圖5所示幀14中設(shè)置的G分量圖像傳感器輸出的圖像數(shù)據(jù)為第二圖像數(shù)據(jù)。此外，可以認(rèn)為通過(guò)預(yù)定的預(yù)測(cè)運(yùn)算從第一圖像數(shù)據(jù)的像素值獲得第二圖像數(shù)據(jù)的像素值。
[0098]當(dāng)例如采用一階線性預(yù)測(cè)運(yùn)算作為該預(yù)定的預(yù)測(cè)運(yùn)算時(shí)，利用以下一階線性方程獲得第二圖像數(shù)據(jù)的像素(下文恰當(dāng)?shù)胤Q為第二圖像的像素)的像素值y。

【權(quán)利要求】
1.一種圖像處理設(shè)備，其包括: 類別抽頭選擇單元，其從由單板式像素部輸出的圖像信號(hào)形成的第一圖像中，選擇與對(duì)應(yīng)于多個(gè)顏色分量的像素相關(guān)的像素值作為類別抽頭，在所述單板式像素部中，分別對(duì)應(yīng)于所述多個(gè)顏色分量的所述像素規(guī)則地設(shè)置在平面上； 類別分類單元，其基于從所述類別抽頭的所述多個(gè)顏色分量的像素值中獲得的特征量，將第二圖像的目標(biāo)像素分為多個(gè)類別中的任意一類，所述第二圖像中的每一個(gè)由所述多個(gè)顏色分量中的僅僅單個(gè)顏色分量的像素形成； 系數(shù)讀取單元，其基于所述類別分類的結(jié)果讀取預(yù)先儲(chǔ)存的系數(shù)； 預(yù)測(cè)抽頭選擇單元，其從所述第一圖像中選擇與對(duì)應(yīng)于所述多個(gè)顏色分量中的第一顏色分量的像素相關(guān)的像素值作為預(yù)測(cè)抽頭；以及 積和運(yùn)算單元，其將所述預(yù)測(cè)抽頭的所述第一顏色分量的像素值用作變量，并利用讀出的所述系數(shù)通過(guò)積和運(yùn)算來(lái)運(yùn)算所述第二圖像的像素值， 其中，僅僅由所述第一顏色分量形成的所述第二圖像是從由所述多個(gè)顏色分量形成的圖像中生成的；并且， 當(dāng)從由所述多個(gè)顏色分量形成的所述圖像中生成僅僅由與所述第一顏色分量不同的第二顏色分量形成的所述第二圖像時(shí)，所述預(yù)測(cè)抽頭從僅僅由所述第一顏色分量形成的所述第二圖像獲取。
2.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其進(jìn)一步包括: 代表值運(yùn)算單元，其從所述第一圖像中選擇包括預(yù)定數(shù)量的像素的指定區(qū)域，并為所述指定區(qū)域中的各個(gè)顏色分量運(yùn)算代表值； 第一顏色分量轉(zhuǎn)換單元，其將所述預(yù)測(cè)抽頭的所述第一顏色分量的像素值轉(zhuǎn)換為第一轉(zhuǎn)換值，所述第一轉(zhuǎn)換值是通過(guò)利用所述代表值相對(duì)于作為基準(zhǔn)的所述多個(gè)顏色分量之一的像素值使所述第一顏色分量的像素值進(jìn)行偏移而獲得的， 其中，所述積和運(yùn)算單元將所述第一轉(zhuǎn)換值用作變量，并利用讀出的所述系數(shù)通過(guò)積和運(yùn)算來(lái)運(yùn)算所述第二圖像的像素值。
3.根據(jù)權(quán)利要求2所述的圖像處理設(shè)備，其進(jìn)一步包括: 第二顏色分量轉(zhuǎn)換單元，其將所述類別抽頭的所述多個(gè)顏色分量的像素值轉(zhuǎn)換為第二轉(zhuǎn)換值，所述第二轉(zhuǎn)換值是通過(guò)利用所述代表值相對(duì)于作為基準(zhǔn)的所述多個(gè)顏色分量之一的像素值使所述多個(gè)顏色分量的像素值進(jìn)行偏移而獲得的， 其中，所述類別分類單元基于所述第二轉(zhuǎn)換值確定所述類別抽頭的特征量。
4.根據(jù)權(quán)利要求3所述的圖像處理設(shè)備， 其中，所述單板式像素部是包括R、G和B分量的具有拜耳陣列的像素部，并且， 所述代表值運(yùn)算單元: 基于R像素或B像素周圍的G像素計(jì)算所述R像素或所述B像素的插值g ； 基于所述G像素周圍的所述R像素或所述B像素計(jì)算所述G像素的插值r和插值b ；通過(guò)利用輸入值G和所述插值g的平均值來(lái)運(yùn)算G代表值，所述輸入值G是從所述G像素直接獲得的； 基于所述插值r和所述輸入值G之間的差值、從所述R像素直接獲得的輸入值R和所述插值g之間的差值、以及所述G代表值來(lái)運(yùn)算R代表值；以及基于所述插值b和所述輸入值G之間的差值、從所述B像素直接獲得的輸入值B和所述插值g之間的差值、以及所述G代表值來(lái)運(yùn)算B代表值。
5.根據(jù)權(quán)利要求4所述的圖像處理設(shè)備， 其中，當(dāng)所述第二圖像僅由所述G像素形成時(shí)，所述顏色分量轉(zhuǎn)換單元使所述輸入值R偏移所述R代表值和所述G代表值之間的差值,并使所述輸入值B偏移所述B代表值和所述G代表值之間的差值， 當(dāng)所述第二圖像僅由R像素形成時(shí)，所述顏色分量轉(zhuǎn)換單元使所述輸入值G偏移所述G代表值和所述R代表值之間的差值,并使所述輸入值B偏移所述B代表值和所述R代表值之間的差值，并且， 當(dāng)所述第二圖像僅由B像素形成時(shí)，所述顏色分量轉(zhuǎn)換單元使所述輸入值G偏移所述G代表值和所述B代表值之間的差值,并使所述輸入值R偏移所述R代表值和所述B代表值之間的差值。
6.根據(jù)權(quán)利要求1~5中的任一項(xiàng)所述的圖像處理設(shè)備，其進(jìn)一步包括: 顏色變化檢測(cè)單元，其從所述第一圖像檢測(cè)顏色分量變化， 其中，所述類別分類單元基于所述顏色變化檢測(cè)單元的檢測(cè)結(jié)果執(zhí)行類別分類。
7.根據(jù)權(quán)利要求1~5中的任一項(xiàng)所述的圖像處理設(shè)備， 其中，所述系數(shù)讀取單元讀出的所述系數(shù)是通過(guò)學(xué)習(xí)預(yù)先獲得的，在所述學(xué)習(xí)中， 將從多個(gè)像素部輸出的圖像信號(hào)所形成的圖像用作教師圖像，各個(gè)所述像素部均包含所述多個(gè)顏色分量中的僅僅單個(gè)顏色分量的像素，所述像素部設(shè)置在比設(shè)在所述單板式像素部和目標(biāo)之間的光學(xué)低通濾波器更靠近所述目標(biāo)的位置處； 將從所述單板式像素部輸出的圖像信號(hào)所形成的圖像用作學(xué)生圖像；以及通過(guò)解算使所述學(xué)生圖像的像素和所述教師圖像的像素彼此映射的標(biāo)準(zhǔn)方程式來(lái)計(jì)算所述系數(shù)。
8.一種圖像處理設(shè)備的圖像處理方法，所述方法包括: 使所述圖像處理設(shè)備: 從由單板式像素部輸出的圖像信號(hào)形成的第一圖像中，選擇與對(duì)應(yīng)于多個(gè)顏色分量的像素相關(guān)的像素值作為類別抽頭，在所述單板式像素部中，分別對(duì)應(yīng)于所述多個(gè)顏色分量的所述像素規(guī)則地設(shè)置在平面上； 基于從所述類別抽頭的所述多個(gè)顏色分量的像素值中獲得的特征量，將第二圖像的目標(biāo)像素分為多個(gè)類別中的任意一類，所述第二圖像中的每一個(gè)由所述多個(gè)顏色分量中的僅僅單個(gè)顏色分量的像素形成； 基于所述類別分類的結(jié)果讀取預(yù)先儲(chǔ)存的系數(shù)； 從所述第一圖像中選擇與對(duì)應(yīng)于所述多個(gè)顏色分量中的第一顏色分量的像素相關(guān)的像素值作為預(yù)測(cè)抽頭； 將所述預(yù)測(cè)抽頭的所述第一顏色分量的像素值用作變量，并利用讀出的所述系數(shù)通過(guò)積和運(yùn)算來(lái)運(yùn)算所述第二圖像的像素值； 從由所述多個(gè)顏色分量形成的圖像中生成僅僅由所述第一顏色分量形成的所述第二圖像；并且， 當(dāng)從由所述多個(gè)顏色分量形成的所述圖像中生成僅僅由與所述第一顏色分量不同的第二顏色分量形成的所述第二圖像時(shí)，從僅僅由所述第一顏色分量形成的所述第二圖像獲取所述預(yù)測(cè)抽頭。
9.一種使計(jì)算機(jī)執(zhí)行從第一圖像生成第二圖像的圖像處理的程序，所述程序使所述計(jì)算機(jī): 從由單板式像素部輸出的圖像信號(hào)形成的第一圖像中，選擇與對(duì)應(yīng)于多個(gè)顏色分量的像素相關(guān)的像素值作為類別抽頭，在所述單板式像素部中，分別對(duì)應(yīng)于所述多個(gè)顏色分量的所述像素規(guī)則地設(shè)置在平面上； 基于從所述類別抽頭的所述多個(gè)顏色分量的像素值中獲得的特征量，將第二圖像的目標(biāo)像素分為多個(gè)類別中的任意一類，所述第二圖像中的每一個(gè)由所述多個(gè)顏色分量中的僅僅單個(gè)顏色分量的像素形成； 基于所述類別分類的結(jié)果讀取預(yù)先儲(chǔ)存的系數(shù)； 從所述第一圖像中選擇與對(duì)應(yīng)于所述多個(gè)顏色分量中的第一顏色分量的像素相關(guān)的像素值作為預(yù)測(cè)抽頭； 將所述預(yù)測(cè)抽頭的所述第一顏色分量的像素值用作變量，并利用讀出的所述系數(shù)通過(guò)積和運(yùn)算來(lái)運(yùn)算所述第二圖像的像素值； 從由所述多個(gè)顏色分量形成的圖像中生成僅僅由所述第一顏色分量形成的所述第二圖像；并且， 當(dāng)從由所述多個(gè)顏色 分量形成的所述圖像中生成僅僅由與所述第一顏色分量不同的第二顏色分量形成的所述第二圖像時(shí)，從僅僅由所述第一顏色分量形成的所述第二圖像獲取所述預(yù)測(cè)抽頭。
【文檔編號(hào)】H04N9/07GK104079905SQ201410108389
【公開日】2014年10月1日 申請(qǐng)日期:2014年3月21日 優(yōu)先權(quán)日:2013年3月29日
【發(fā)明者】藤?zèng)g一郎, 奧村明弘, 安藤勝俊, 土屋隆史 申請(qǐng)人:索尼公司