專利名稱：圖像處理裝置以及圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種電子靜態(tài)相機或高清晰(HD)電影等領(lǐng)域中的圖像處理裝置以及圖像處理方法。詳細地講，涉及一種以從作為單板彩色攝像元件的具有顏色陣列(array:排列)的周期性的多顏色像素的拍攝元件輸出的原始圖像RAW數(shù)據(jù)為處理對象的用于抑制畫質(zhì)變差的技術(shù)，該畫質(zhì)變差的原因是:該RAW數(shù)據(jù)由于進行四個像素混合等的偶數(shù)像素混合輸出，因而在彼此正交的第I以及第2陣列方向上像素數(shù)據(jù)分布產(chǎn)生不均衡，從而導(dǎo)致畫質(zhì)變差。由于隔行變換等原因，本發(fā)明不僅需要在一維垂直的一個方向上進行處理，而且在二維水平垂直的兩個方向上、也就是需要在面上確保自然的清晰度并降低偽色的產(chǎn)生，以便提高畫質(zhì)。另外，在利用比原始圖像RAW數(shù)據(jù)小的小型RAW記錄模式進行的攝影、預(yù)覽顯示或HD電影等的動態(tài)圖像攝影中，為了變更數(shù)據(jù)尺寸而進行尺寸調(diào)整(resize)處理，SP使當(dāng)以在二維方向上像素數(shù)據(jù)分布出現(xiàn)不均衡的原始圖像RAW數(shù)據(jù)為處理對象，來進行處理變得更復(fù)雜的尺寸調(diào)整處理時，本發(fā)明也能夠?qū)崿F(xiàn)高質(zhì)量的圖像處理。
背景技術(shù)：
在數(shù)字相機中設(shè)有用于在CCD(Charge Coupled Device)或 M0S(Metal OxideSemiconductor)等拍攝元件上進行彩色攝像的分色濾光器。利用拜耳方式將R(紅)、G(綠)、B(藍)的原色濾光器以棋盤格狀圖案(checkerboard pattern)的方式配置。將通過分色濾光器拍攝到的圖像數(shù)據(jù)稱為RAW數(shù)據(jù)。RAW數(shù)據(jù)與JPEG格式等的數(shù)據(jù)相比文件尺寸較大，顯像(再現(xiàn))再生處理花費時間。隨著拍攝元件的高像素化和高速讀出處理技術(shù)的發(fā)展，已逐漸開始使用比原始圖像小的小型RAW圖像。小型RAW圖像在靜止圖像拍攝時使用液晶監(jiān)視器確認被攝體的監(jiān)視模式或尺寸進行了歸一化的動態(tài)圖像攝影的HD電影中也備受矚目。作為小型的拍攝處理方法，具有在拍攝元件內(nèi)將每隔一個像素的同色信號相加進行讀出的方法(像素混合讀出方法)。由此，能獲得輸出有效像素數(shù)被減少了的小型的RAW數(shù)據(jù)，能夠?qū)崿F(xiàn)處理時間的縮短和省電。作為像素混合的代表例，有九個像素混合方式和四個像素混合方式。九個像素混合方式是將水平方向上的每隔一個像素的同色信號的三個像素以及垂直方向上的每隔一個像素的同色信號的三個像素形成的合計九個像素的矩陣的像素數(shù)據(jù)混合作為一個像素份的數(shù)據(jù)，將圖像尺寸(數(shù)據(jù)量)設(shè)為1/9。另一方面，四個像素混合方式是將水平方向上的每隔一個像素的同色信號的兩個個像素以及垂直方向上的每隔一個像素的同色信號的兩個像素形成的合計四個像素的矩陣的像素數(shù)據(jù)混合作為一個像素份的數(shù)據(jù)，將圖像尺寸(數(shù)據(jù)量)設(shè)為1/4。關(guān)于利用原色拜耳陣列的九個像素混合，使用圖29 圖36進行簡單說明。b、gl、g2、r的小寫字母表示混合前的彩色要素，B、G1、G2、R表示混合后的彩色要素。b和B表示藍色；gl和g2表不綠色；r和R表不紅色。gl和Gl分別表不位于彩色要素b、B的橫向相鄰的綠色；g2和G2分別表示位于彩色要素b、B的縱向相鄰的綠色。基于RGB拜耳陣列的周期性，沿著水平方向的bg或BG的反復(fù)的行數(shù)據(jù)和gr或GR的反復(fù)的行數(shù)據(jù)，在垂直方向上被交替地輸出。在混合之后也保持著混合前的拜耳陣列。圖29表示的是混合對象的彩色要素為b (藍色)的情況。粗線的四邊形表示在原始圖像RAW數(shù)據(jù)的分布空間內(nèi)混合對象的九個彩色要素b的像素數(shù)據(jù)所占的單位塊。在以塊為單位的第I行第I列的塊中，用圓圈表示的第I行第I列、第I行第3列、第I行第5列、第3行第I列、第3行第3列、第3行第5列、第5行第I列、第5行第3列以及第5行第5列的9個像素b的數(shù)據(jù)通過相加而被混合。該混合之后的像素數(shù)據(jù)B，如圖30所示，以擔(dān)當(dāng)位于上述三行三列的左右方向的中央和上下方向的中央的像素的方式被配置。圖30的像素數(shù)據(jù)B的位置在圖29中為同色b的像素位置。另外，后面要提到的四個像素混合的情況在這一點上不同。這一點通過對圖36和圖41進行比較可知。這種配置方式適用于所有的單位塊，混合后的彩色要素B(藍色)的像素數(shù)據(jù)的配置像素如圖30所示。圖31表示混合對象的彩色要素為gl (綠色)的情況。粗線的四邊形表示的是混合對象的九個彩色要素gl (綠色)的像素數(shù)據(jù)所占的單位塊。在圖31的單位塊中，其左右方向中央的像素位于圖29的相鄰的兩個單元塊的正中央。在圖31中，在第I行第I列的塊中，用圓圈表示的第I行第4列、第I行第6列、第I行第8列、第3行第4列、第3行第6列、第3行第8列、第5行第4列、第5行第6列以及第5行第8列的九個像素的數(shù)據(jù)通過相加而被混合。該混合之后的像素數(shù)據(jù)，如圖32所示，以擔(dān)當(dāng)位于上述三行三列的左右方向的中央和上下方向的中央的像素的方式被配置。這種配置方式適用于所有的單位塊，混合后的彩色要素Gl (綠色)的像素數(shù)據(jù)的配置像素如圖32所示。若將圖30和圖32結(jié)合的話，就成為圖33。由該圖可知，彩色要素B和彩色要素GI的混合數(shù)據(jù)配置像素的坐標分布在水平方向上成為均等的分布。其間隔在水平方向上為兩個像素份。圖30和圖32中的水平方向間隔為五個像素份，為奇數(shù)。因此，在相隔五個像素份的相鄰的兩個像素的正中央位置處能夠毫不困難地配置其他顏色的像素。設(shè)m為任意的自然數(shù)，奇數(shù)用(2m+l)表示。其中央為{(2m+l)+l}/2 =m+l(自然數(shù))，因為除得開，所以正好相當(dāng)于中央。圖34表示混合對象的彩色要素為g2 (綠色)的情況?；旌蠑?shù)據(jù)配置像素的坐標成為圖36中的G2。圖35表示混合對象的彩色要素為r (紅色)的情況。混合數(shù)據(jù)配置像素的坐標成為圖36中的R。圖36是將混合數(shù)據(jù)配置像素B、G1、G2和R的坐標統(tǒng)一進行了表示。由圖36可知，排列在垂直方向的彩色要素B和彩色要素G2、或者彩色要素Gl和彩色要素R成為均等間隔。該間隔在垂直方向上為兩個像素份。在同色的彩色要素之間以相隔五個像素份的方式相鄰的兩個像素的正中央位置上能夠毫不困難地配置其他顏色的像素。如上所述，在九個像素混合的情況下，混合數(shù)據(jù)配置像素的坐標在水平方向和垂直方向上都成為均等分布的狀態(tài)。通過圖37 圖41對四個像素混合的情況進行說明。圖37表示混合對象的彩色要素為b的情況。在以塊為單位的第I行第I列的塊中，用圓圈表示的第I行第I列、第I行第3列、第3行第I列以及第3行第3列的四個像素b的數(shù)據(jù)通過相加而被混合。該混合之后的像素數(shù)據(jù)，如圖41所示，以擔(dān)當(dāng)位于兩行兩列的左右方向的中央和上下方向的中央的像素的方式被配置。圖41的像素數(shù)據(jù)B的位置成為圖37中的不同顏色r的像素位置(在上述混合九個像素的情況下為同色的像素位置)。這種配置方式適用于所有的單位塊，混合后的彩色要素B的像素數(shù)據(jù)的配置像素成為如圖41所示。
圖38表示混合對象的彩色要素為gl的情況。用圓圈表示的第I行第2列、第I行第4列、第3行第2列以及第3行第4列的四個像素的數(shù)據(jù)通過相加而被混合。該混合之后的像素數(shù)據(jù)，如圖41所示，以擔(dān)當(dāng)位于兩行兩列的左右方向的中央和上下方向的中央的像素方式被配置。圖41的像素數(shù)據(jù)Gl的位置在圖38中也成為同色的顏色g2的像素位置(不過，在Gl和g2中后綴不同)。這種配置方式適用于所有的單位塊，混合后的彩色要素Gl的像素數(shù)據(jù)的配置像素成為如圖41所示。圖39表示混合對象的彩色要素為g2的情況?；旌蠑?shù)據(jù)配置像素的坐標成為圖41中的G2。圖40表示混合對象的彩色要素為r的情況。混合數(shù)據(jù)配置像素的坐標成為圖41的R。圖41的像素數(shù)據(jù)R的位置成為圖40的不同顏色即顏色b的像素位置(在上述混合九個像素的情況下為同色的像素位置)。由總結(jié)了上述內(nèi)容的圖41可知，彩色要素B和彩色要素Gl的混合數(shù)據(jù)配置像素的坐標分布在水平方向上成為不均等的分布。彩色要素G2和彩色要素R的混合數(shù)據(jù)配置像素的坐標分布也同樣在水平方向上成為不均等的分布。另外，彩色要素B和彩色要素G2的混合數(shù)據(jù)配置像素的坐標分布在垂直方向上成為不均等的分布。彩色要素Gl和彩色要素R的混合數(shù)據(jù)配置像素的坐標分布也同樣在垂直方向上成為不均等的分布。圖42A 圖42C對圖37 圖41的說明進行了匯總。在原色拜耳陣列的拍攝元件中，在像素混合在水平方向上進行的情況下，每隔一個像素配置了同色的顏色濾光器，因此，驅(qū)動拍攝元件，以使被混合的像素也以每隔一個像素的定時被混合。在像素混合在垂直方向上進行的情況下也相同。圖42A表示原始圖像RAW數(shù)據(jù)。圖42B表示四個像素混合后的RAW數(shù)據(jù)的原始圖像RAW數(shù)據(jù)上的分布。其與圖41相對應(yīng)。圖41和圖42B表示的是，關(guān)于連續(xù)輸入的各個像素數(shù)據(jù)擔(dān)當(dāng)原始圖像中的哪個坐標位置的數(shù)據(jù)的像素數(shù)據(jù)分布。圖42C表示四個像素混合后的RAW數(shù)據(jù)的實際定時上均等間隔的陣列。當(dāng)利用圖42A的拍攝元件進行四個像素混合讀出像素數(shù)據(jù)時，在拍攝元件中，從其光接收部(光電轉(zhuǎn)換部)向次級的像素混合部發(fā)送兩行的重復(fù)BG的行數(shù)據(jù)。像素混合部包括垂直傳送開關(guān)、由電容器組構(gòu)成的信號電壓保持電路以及水平傳送開關(guān)等，將四個像素混合后的重復(fù)BG的行數(shù)據(jù)從信號輸出行輸出(參照專利文獻4)。接下來，從拍攝元件的光接收部向像素混合部發(fā)送兩行的重復(fù)GR的行數(shù)據(jù)，將四個像素混合后的重復(fù)GR的行數(shù)據(jù)從信號輸出行輸出。這種四個像素混合后的重復(fù)BG的行數(shù)據(jù)和重復(fù)GR的行數(shù)據(jù)被交替地連續(xù)輸出。在各重復(fù)的行數(shù)據(jù)中連續(xù)的像素組在定時上間隔相等。在混合后的拜耳陣列的像素數(shù)據(jù)中，按順序輸入的數(shù)據(jù)的定時是在水平方向上均等的定時，另外，可以認為在垂直方向上也是均等的定時。不過，關(guān)于這些像素數(shù)據(jù)擔(dān)當(dāng)原始圖像的哪個位置的像素的像素數(shù)據(jù)分布，如圖41或圖42B所示，成為不均等的分布。另外，這種情況成為以下要闡述的畫質(zhì)變差的原因。如果進行四個像素混合處理，則配置混合后的像素數(shù)據(jù)的像素的坐標成為混合前的兩個像素的中央，因此，如圖41或圖42B所示，由配置混合后的像素數(shù)據(jù)的像素的坐標可知，在垂直方向和水平方向上變得不均等。無論在水平方向還是在垂直方向上都呈現(xiàn):奇數(shù)項的B和奇數(shù)項的G過分接近；奇數(shù)項的G和偶數(shù)項的B相隔過遠；奇數(shù)項的G和奇數(shù)項的R過分接近；奇數(shù)項的R和偶數(shù)項的G相隔過遠。過分接近的間隔為零像素份，相隔過遠的間隔為兩個像素份，呈不均勻。如果在這種像素混合后的拜耳陣列中產(chǎn)生像素數(shù)據(jù)分布的不均衡，則會失去混合形成的高頻信息向低頻的折返分量的連續(xù)性，成為使畫質(zhì)變差的主要原因。另外，能夠說 九個像素混合與四個像素混合具有以下不同點。在九個像素混合中，存在配置混合藍色之后的像素數(shù)據(jù)的像素數(shù)據(jù)分布的行在水平和垂直方向上都是奇數(shù)行；這一點與混合前相同。存在配置混合紅色之后的像素數(shù)據(jù)的像素數(shù)據(jù)分布的行在水平和垂直方向上都是偶數(shù)行，這一點與混合前相同。配置混合綠I和綠2之后的像素數(shù)據(jù)的像素數(shù)據(jù)分布也相同，在像素混合前后沒有變化。相比之下，在四個像素混合中，存在配置混合藍色之后的像素數(shù)據(jù)的像素數(shù)據(jù)分布的行在水平和垂直方向上都是從奇數(shù)行變化為偶數(shù)行。存在配置混合紅色之后的像素數(shù)據(jù)的像素數(shù)據(jù)分布的行在水平和垂直方向上都是從偶數(shù)行變化為奇數(shù)行。配置混合綠I和綠2之后的像素數(shù)據(jù)的像素數(shù)據(jù)分布也相同，在像素混合的前后發(fā)生變化。作為關(guān)于像素數(shù)據(jù)分布的校正的現(xiàn)有技術(shù)，公開了一種以在每隔一行將同色信號相加而讀出的情況下，解決圖像的失真或波紋等問題為目的的技術(shù)(例如，參照專利文獻I)。不過，該技術(shù)只是在垂直方向上進行分布均勻化。以下，根據(jù)圖43A-圖43C對專利文獻I的技術(shù)概要進行說明。如圖43A所示，拍攝元件m2通過來自拍攝元件驅(qū)動部m8的定時信號而被驅(qū)動。如圖43B的(a)和(b)所示，針對在垂直方向上相鄰的像素信號，將同色信號混合。混合后的信號利用A/D轉(zhuǎn)換器m4轉(zhuǎn)換成數(shù)字信號，用相機信號處理部m6實施分色處理等，然后，生成亮度信號和色差信號。針對所生成的色差信號和亮度信號，將η設(shè)為自然數(shù)(η = 1，2…)，成為第(2η-1)行和第2η行過分接近，第2η行和第(2η+1)行相隔過遠的不均等狀態(tài)。因此，如圖43C所示，校正處理部(重心偏離校正處理部)ml0針對由相機信號處理部m6輸出的色差和亮度信號進行像素數(shù)據(jù)分布不均衡的校正。Y2n以及Υ(2η土偶數(shù))為亮度和色差信號的偶數(shù)行，是由于垂直方向像素數(shù)據(jù)分布不均衡而導(dǎo)致過分接近的兩行中的上一行。Υ(2η土奇數(shù))為亮度和色差信號的奇數(shù)行，是過分接近的兩行中的下一行。Y’ 2η以及Y’(2η土偶數(shù))表示像素數(shù)據(jù)分布不均衡校正后的亮度和色差信號的偶數(shù)行；Y’(2η土奇數(shù))表示不均衡校正后的亮度色差信號的奇數(shù)行。Υ2η和Υ2η+1的間隔、與Υ2η+1和Υ2η+2的間隔之比為I: 3，因此，為了使垂直方向像素數(shù)據(jù)分布不均衡校正后的信號成為等間隔，如以下公式所示進行校正處理。Y，2n = Υ2ηY，2η+1 = (2/3) XY2n+l+(l/3) ΧΥ2η+2即，將偶數(shù)行的信號直接輸出，且對奇數(shù)行的信號進行校正計算，以使與下一行的信號成為2: I的比率。通過進行這種處理，配置混合后的像素數(shù)據(jù)的像素的垂直方向坐標分布變得均等，能夠獲得不存在由于像素數(shù)據(jù)分布不均衡而引起的圖像失真或波紋的圖像。但是，出于記錄將尺寸進行了歸一化的動態(tài)圖像等目的，有時會利用拍攝元件上的像素混合而縮小到四分之一尺寸，然后，進行拜耳陣列的RAW數(shù)據(jù)的尺寸調(diào)整處理(例如，參照專利文獻2)。在該專利文獻2中公開了以下方法:即，當(dāng)從由具有作為原始圖像的RGB的顏色陣列的周期性的多顏色的像素形成的原始圖像來生成尺寸調(diào)整圖像時，并不是在將原始圖像分色成R、G和B數(shù)據(jù)之后進行尺寸調(diào)整處理，而是進行從原始圖像獲得的亮度數(shù)據(jù)和色差數(shù)據(jù)的兩個系統(tǒng)的尺寸調(diào)整處理?，F(xiàn)有技術(shù)文獻專利文獻專利文獻I JP特開2004-147093號公報專利文獻2:W02010/016166專利文獻3 JP特開2004-312140號公報專利文獻4 JP特開2005-107252號公報
發(fā)明概要發(fā)明要解決的技術(shù)課題作為前提，將圖像處理的對象設(shè)為從具有顏色陣列的周期性的多顏色像素的拍攝元件輸出的原始圖像RAW數(shù)據(jù)，并且，設(shè)為是由于該RAW數(shù)據(jù)為四個像素混合等的偶數(shù)像素混合輸出，因此在彼此正交的第I以及第2陣列方向上像素數(shù)據(jù)分布產(chǎn)生不均衡的數(shù)據(jù)。在此，像素數(shù)據(jù)分布是指關(guān)于連續(xù)輸入的各個像素數(shù)據(jù)擔(dān)當(dāng)原始圖像中的哪個坐標位置的數(shù)據(jù)的分布。在九個像素混合等的奇數(shù)像素混合中，像素數(shù)據(jù)分布不會產(chǎn)生不均衡，但在四個像素混合等的偶數(shù)像素混合中，會產(chǎn)生像素數(shù)據(jù)分布的不均衡。如果在像素混合后產(chǎn)生像素數(shù)據(jù)分布的不均衡，則會失去由混合形成的高頻信息向低頻的折回分量的連續(xù)性，成為使畫質(zhì)變差的主要原因。將每隔一行的同色信號相加而讀出的專利文獻I的技術(shù)是在垂直方向上校正像素數(shù)據(jù)分布的不均衡，沒有提到任何關(guān)于水平方向上的校正。像素數(shù)據(jù)分布不均衡的校正效果在很大程度上取決于相機信號處理部m6的特性。最初進行分色處理，接下來進行各種處理，生成關(guān)注像素位置的亮度信號和色差信號。這是一般的二維濾光處理，像素數(shù)據(jù)分布的不均衡分量也二維地分散，因此，像素間距量級的像素數(shù)據(jù)分布不均衡的校正效果小。另夕卜，關(guān)于校正處理部mlO以使像素數(shù)據(jù)分布成為均等的方式進行色差和亮度信號的校正這一內(nèi)容，由于對偶數(shù)行或奇數(shù)行中的任意一個都不進行校正處理，因此，在該行中不會發(fā)生由于校正而導(dǎo)致清晰度變差的情況。但是，關(guān)于進行校正處理的行，由于清晰度變差，因此，存在每一行的清晰度不同的這一缺陷。也就是說，專利文獻I的技術(shù)不是二維處理，因此，不能夠充分地解決畫質(zhì)變差的問題。另一方面，在利用行上的像素單位的濾光處理，從原始圖像中抽出亮度數(shù)據(jù)和顏色載波(carrier:載體)數(shù)據(jù)進行尺寸調(diào)整處理的專利文獻2的技術(shù)中，在以四個像素混合的RAW數(shù)據(jù)為尺寸調(diào)整處理對象的情況下，在像素數(shù)據(jù)分布的不均衡狀態(tài)下進行尺寸調(diào)整處理。其結(jié)果是，在圖像中產(chǎn)生偽色或在清晰度中產(chǎn)生不協(xié)調(diào)感，難以獲得充分展現(xiàn)原始圖像的拍攝特征的尺寸調(diào)整的RAW數(shù)據(jù)。

發(fā)明內(nèi)容
本發(fā)明就是鑒于這種情況而實現(xiàn)的，其目的是:當(dāng)對由于四個像素混合等的偶數(shù)像素混合輸出而導(dǎo)致在二維方向上產(chǎn)生像素數(shù)據(jù)分布不均衡的原始圖像RAW數(shù)據(jù)進行圖像處理時，能夠降低由像素數(shù)據(jù)分布的不均衡分量導(dǎo)致的偽亮度信號和偽色，并確保清晰度。并且，當(dāng)對在二維方向上像素數(shù)據(jù)分布產(chǎn)生不均衡的原始圖像RAW數(shù)據(jù)進行尺寸調(diào)整處理時，也能夠降低偽亮度信號和偽色，并確保清晰度。解決技術(shù)課題的手段本發(fā)明通過采用以下的方法來解決上述問題?！?》、《2》、《3》…等的帶括號的數(shù)字對應(yīng)于提出申請時的“技術(shù)方案”的技術(shù)方案的編號。為了便于說明，在以下的記載中這些帶括號的數(shù)字不一定按照順序，有時會打亂順序，有時會前后替換?！禝》作為大前提，將圖像處理的對象設(shè)為來自具有顏色陣列的周期性的多顏色像素的拍攝元件的數(shù)據(jù)，并且是由于四個像素混合等的偶數(shù)像素混合輸出而導(dǎo)致在彼此正交的第I以及第2陣列方向上像素數(shù)據(jù)分·布產(chǎn)生不均衡的原始圖像RAW數(shù)據(jù)。其代表例是四個像素混合的RAW數(shù)據(jù)。不過，不局限于四個像素混合的RAW數(shù)據(jù)，而是廣泛地以一般的偶數(shù)像素混合的RAW數(shù)據(jù)為對象。在此，關(guān)于第I陣列方向和第2陣列方向，哪一個都可以是水平方向，哪一個都可以是垂直方向。即，當(dāng)進行二維方向的分布均等化處理時，即可以在水平方向的處理之后進行垂直方向的處理,或者也可以改變順序,在垂直方向的處理之后進行水平方向的處理。關(guān)于分布均等化處理，參照后面要提到的實施例1的注解(*1)能夠加深理解。關(guān)于在沿著第I陣列方向的狀態(tài)下輸入的二維不均等分布的一系列的陣列像素數(shù)據(jù)(原始圖像RAW數(shù)據(jù))，通過進行將像素數(shù)據(jù)分布(關(guān)于連續(xù)輸入的各個像素數(shù)據(jù)擔(dān)當(dāng)原始圖像中的哪個坐標位置的數(shù)據(jù)的分布)從第I陣列方向上的不均等分布狀態(tài)校正為均等分布狀態(tài)的處理，生成第I多顏色陣列數(shù)據(jù)。這是第I分布均等化處理。該第I分布均等化處理通常是利用插值處理實現(xiàn)的。通過第I分布均等化處理，在第I陣列的方向上，像素數(shù)據(jù)分布被校正為均等分布的狀態(tài)。但是，在第2陣列方向上還是不均等分布。因此，通過進行將實施了第I分布均等化處理之后的RAW數(shù)據(jù)(第I多顏色陣列數(shù)據(jù):在第2陣列方向上成為不均等分布的一系列的像素數(shù)據(jù))的像素數(shù)據(jù)分布在第2陣列方向上從不均等分布的狀態(tài)校正為均等分布的狀態(tài)的處理，從而生成第2多顏色陣列數(shù)據(jù)。這是第2分布均等化處理。該第2分布均等化處理通常也是通過插值處理實現(xiàn)的。通過第2分布均等化處理，在第2陣列方向上也將像素數(shù)據(jù)分布校正為均等分布的狀態(tài)。以上為用于解決上述現(xiàn)有技術(shù)中的技術(shù)問題的本發(fā)明的技術(shù)思想。在本發(fā)明中，面向該技術(shù)思想的創(chuàng)作構(gòu)成了第I分布均等化處理部和第2分布均等化處理部。關(guān)于這一點，能夠參照圖1.
向第I分布均等化處理部Al輸入原始圖像RAW數(shù)據(jù)，該數(shù)據(jù)由于來自具有顏色陣列的周期性的多顏色像素的拍攝元件的四個像素混合等的偶數(shù)像素混合輸出導(dǎo)致在彼此正交的第I以及第2陣列方向上像素數(shù)據(jù)分布產(chǎn)生不均衡。第I分布均等化處理部Al是作為將輸入的原始圖像RAW數(shù)據(jù)的第I陣列方向的像素數(shù)據(jù)分布均等化的處理部而構(gòu)成的。作為其構(gòu)成要素，第I分布均等化處理部Al具有第I濾光處理部al、第I亮度分布均等化處理部a2和第I顏色陣列再現(xiàn)處理部a7。在第I濾光處理部al中，原始圖像RAW數(shù)據(jù)以第I陣列方向(水平方向或垂直方向)的行單位被輸入。第I濾光處理部al具有將所輸入的原始圖像RAW數(shù)據(jù)通過沿著第I陣列方向的像素單位的濾光處理劃分成連續(xù)的第I亮度數(shù)據(jù)和連續(xù)的第I顏色載波數(shù)據(jù)的功能。將原始圖像RAW數(shù)據(jù)同時劃分成連續(xù)的第I亮度數(shù)據(jù)和第I顏色載波數(shù)據(jù)的功能表示在不將原始圖像分色成R、G和B數(shù)據(jù)的情況下，以原來的連續(xù)數(shù)據(jù)實施分布均等化處理的功能。在此，之所以不將原始圖像分色成R、G和B數(shù)據(jù)，是因為如果在分色之后進行分布均等化處理，則難以確保清晰度及降低偽色的發(fā)生。另外，之所以同時劃分成連續(xù)的第I亮度數(shù)據(jù)和第I顏色載波數(shù)據(jù)，是因為當(dāng)分布均等化處理時，在作為一般所采用的方法的插值處理中，在本發(fā)明中進行不同顏色之間的插值。如果是同色之間的插值，則有時不用劃分成亮度數(shù)據(jù)和顏色載波數(shù)據(jù)，但在本發(fā)明中，由于是相鄰的兩個像素之間的插值，因此成為不同顏色之間的插值。而且，還因為亮度數(shù)據(jù)和顏色載波數(shù)據(jù)在濾波處理中特性彼此不同。即，亮度數(shù)據(jù)高頻分量多、容易出現(xiàn)因折返失真導(dǎo)致的畫質(zhì)變差的影響。顏色載波數(shù)據(jù)中高頻分量少，故難以出現(xiàn)因折返失真導(dǎo)致的畫質(zhì)變差的影響。因此，為了確保清晰度并降低產(chǎn)生偽色，優(yōu)選在與連續(xù)的第I顏色載波數(shù)據(jù)保持獨立的狀態(tài)下對連續(xù)的第I亮度數(shù)據(jù)進行分布均等化處理。第I亮度分布均等化處理部a2具有將在第I陣列方向上成為連續(xù)的第I亮度數(shù)據(jù)的亮度分布均等化從而生成第2亮度數(shù)據(jù)的功能。第I顏色陣列再現(xiàn)處理部a7具有通過將在第I濾光處理部al分離生成的第I顏色載波數(shù)據(jù)(在第I陣列方向上成為連續(xù))與第I亮度分布均等化處理部a2生成的連續(xù)的第2亮度數(shù)據(jù)進行再合成從而生成第I多色顏色陣列數(shù)據(jù)的功能。從第I分布均等化處理部Al向第2分布均等化處理部BI輸入第I多顏色陣列數(shù)據(jù)(在第I陣列方向被分布均等化)。第2分布均等化處理部BI構(gòu)成為:將所輸入的第I多顏色陣列數(shù)據(jù)在第2陣列方向(垂直方向或水平方向)上通過對像素數(shù)據(jù)分布進行均等化而生成第2多顏色陣列數(shù)據(jù)。第2分布均等化處理部BI作為其構(gòu)成要素而具有第2濾光處理部bl、第2亮度分布均等化處理部b2和第2顏色陣列再現(xiàn)處理部b7。第I多顏色陣列數(shù)據(jù)以第2陣列方向的行為單位輸入到第2濾光處理部bl中。第2濾光處理部bl具有通過沿著第2陣列方向的像素單位的濾光處理從而將所輸入的第I多顏色陣列數(shù)據(jù)劃分成連續(xù)的第3亮度數(shù)據(jù)和連續(xù)的第2顏色載波數(shù)據(jù)的功能。第2亮度分布均等化處理部b2具有通過將由第2濾光處理部bl輸出的第3亮度數(shù)據(jù)(在第2陣列方向上成為連續(xù))的亮度分布進行均等化從而生成第4亮度數(shù)據(jù)的功能。第2顏色陣列再現(xiàn)處理部b7具有通過將在第2濾光處理部al分離生成的第2顏色載波數(shù)據(jù)(在第2陣列方向上成為連續(xù))與從第2亮度分布均等化處理部b2輸出的第4亮度數(shù)據(jù)進行再合成從而生成第2多色顏色陣列數(shù)據(jù)的功能。由于難以同時實現(xiàn)確保清晰度和抑制產(chǎn)生偽色，因此，在本發(fā)明的上述構(gòu)成中，不是將原始圖像分色成R、G和B數(shù)據(jù)，而是在將原始圖像RAW數(shù)據(jù)劃分成連續(xù)的第I亮度數(shù)據(jù)和連續(xù)的第I顏色載波數(shù)據(jù)之后，在與第I顏色載波數(shù)據(jù)獨立的狀態(tài)下進行第I亮度數(shù)據(jù)的分布均等化處理，由此生成連續(xù)的第2亮度數(shù)據(jù)。而且，將生成的第2亮度數(shù)據(jù)與事先劃分的連續(xù)的第I顏色載波數(shù)據(jù)進行再合成。以上是第I陣列方向上的獨立的亮度數(shù)據(jù)的分布均等化處理以及分布均等化處理后的亮度數(shù)據(jù)和顏色載波數(shù)據(jù)的再合成處理的說明。在本發(fā)明中，不僅在第I陣列方向上，而且在與第I陣列方向正交的第2陣列方向上也按順序地進行這種處理。通過將這些處理相乘，能夠在二維方向上良好地實現(xiàn)確保自然的清晰度并抑制偽色產(chǎn)生的效果。另外，本發(fā)明以由于是四個像素混合等的偶數(shù)像素混合輸出而導(dǎo)致在二維方向上像素數(shù)據(jù)分布產(chǎn)生不均衡的原始圖像RAW數(shù)據(jù)為處理對象，且能夠降低偽亮度信號和偽色并確保清晰度?！?》接下來，對也具有尺寸調(diào)整處理功能的形式的圖像處理裝置進行說明。在具有上述《I》的構(gòu)成的情況下，無論在第I分布均等化處理部Al中、還是在第2分布均等化處理部BI中，都在亮度分布均等化處理部(a2、b2)的后級設(shè)置顏色陣列再現(xiàn)處理部(a7、b7)，但是，在此，為了進行尺寸調(diào)整處理，而在亮度分布均等化處理部和顏色陣列再現(xiàn)處理部之間設(shè)置亮度尺寸調(diào)整處理部(a3、b3)。亮度尺寸調(diào)整處理部(a3、b3)具有通過對亮度分布均等化處理部進行分布均等化處理之后的連續(xù)的亮度數(shù)據(jù)(第2、第4亮度數(shù)據(jù))在第I或第2陣列方向上進行尺寸調(diào)整處理從而生成第2-1的亮度數(shù)據(jù)和第5亮度數(shù)據(jù)的功能。尺寸調(diào)整處理是對數(shù)據(jù)尺寸進行變更的處理，分為縮小尺寸調(diào)整和擴大尺寸調(diào)整。一般來講，通過像素數(shù)據(jù)的間隔剔除來進行減小數(shù)據(jù)尺寸的縮小尺寸調(diào)整。另一方面，顏色載波數(shù)據(jù)的尺寸調(diào)整處理與亮度數(shù)據(jù)的尺寸調(diào)整處理相比較復(fù)雜。從濾光處理部輸出的顏色載波數(shù)據(jù)會具有色差的信號形式，而且成為按每個像素符號反轉(zhuǎn)(翻轉(zhuǎn))的信號形式。由此，在顏色載波數(shù)據(jù)中，在按每個像素符號進行反轉(zhuǎn)的狀態(tài)下、即顏色排列按每個像素呈交替不同顏色的狀態(tài)下進行像素數(shù)據(jù)的間隔剔除會導(dǎo)致明顯的畫質(zhì)變差，所以是不可以的。因此，在將從濾光處理部輸出的顏色載波數(shù)據(jù)進行符號反轉(zhuǎn)之后，使符號反轉(zhuǎn)之后的顏色載波數(shù)據(jù)的顏色排列統(tǒng)一成相同顏色，在此基礎(chǔ)上進行尺寸調(diào)整處理。這樣一來，在與尺寸調(diào)整處理之后的亮度數(shù)據(jù)進行合成之前，對將顏色排列統(tǒng)一成相同顏色的尺寸調(diào)整后的顏色差分數(shù)據(jù)再次實施符號反轉(zhuǎn)處理，由此，顏色差分數(shù)據(jù)被復(fù)原成原來的顏色陣列的周期性。復(fù)原后的顏色載波數(shù)據(jù)被與尺寸調(diào)整處理之后的亮度數(shù)據(jù)合成。以上為大致介紹。接下來，對其詳細內(nèi)容進行說明。關(guān)于這一內(nèi)容可以參照圖2。作為重要的構(gòu)成要素，具有第I分布均等化尺寸處理部A2和第2分布均等化尺寸處理部B2。在第I分布均等化尺寸調(diào)整處理部A2中輸入在彼此正交的第I以及第2陣列方向上像素數(shù)據(jù)分布產(chǎn)生不均衡的原始圖像RAW數(shù)據(jù)。第I分布均等化尺寸調(diào)整處理部A2具有通過對所輸入的原始圖像RAW數(shù)據(jù)的第I陣列方向的像素數(shù)據(jù)分布進行均等化并進行尺寸調(diào)整處理從而生成第I多色顏色陣列數(shù)據(jù)的功能。第2分布均等化尺寸調(diào)整處理部B2具有通過將從第I分布均等化尺寸調(diào)整處理部A2輸出的在第I陣列方向上進行了分布均等化及尺寸調(diào)整處理的第I多顏色陣列數(shù)據(jù)的第2陣列方向的像素數(shù)據(jù)分布進行均等化并進行尺寸調(diào)整從而生成第2多色顏色陣列數(shù)據(jù)的功能。第I分布均等化尺寸調(diào)整處理部A2作為其構(gòu)成要素具有:第I濾光處理部al、第I亮度分布均等化處理部a2、第I亮度尺寸調(diào)整處理部a3、第I顏色反轉(zhuǎn)解調(diào)部a4、第I顏色差分尺寸調(diào)整處理部a5、第I顏色載波調(diào)制部a6和第I顏色陣列再現(xiàn)處理部a7。第I濾光處理部al具有通過沿著第I陣列方向(水平方向或垂直方向)的像素單位的濾光處理從而將原始圖像RAW數(shù)據(jù)劃分成連續(xù)的第I亮度數(shù)據(jù)和連續(xù)的第I顏色載波數(shù)據(jù)的功能。第I顏色載波數(shù)據(jù)是連續(xù)的且符號交替地反轉(zhuǎn)、并成為顏色排列按每個像素呈交替不同顏色的數(shù)據(jù)形式。第I亮度分布均等化處理部a2具有通過將由第I濾光處理部al生成的連續(xù)的第I亮度數(shù)據(jù)的第I陣列方向的亮度分布進行均等化從而生成第2亮度數(shù)據(jù)的功能。第I亮度尺寸調(diào)整處理部a3具有通過將第I亮度分布均等化處理部a2輸出的連續(xù)的第2亮度數(shù)據(jù)在第I陣列方向上再次進行尺寸調(diào)整處理從而生成第2-1亮度數(shù)據(jù)的功能。第I顏色反轉(zhuǎn)解調(diào)部a4具有解調(diào)第I顏色載波數(shù)據(jù)并生成連續(xù)且顏色排列統(tǒng)一成相同顏色的第I顏色差分數(shù)據(jù)的功能。第I顏色差分數(shù)據(jù)是連續(xù)的、并成為顏色排列統(tǒng)一成相同顏色的數(shù)據(jù)形式。第I顏色差分尺寸調(diào)整處理部a5具有通過將第I顏色差分數(shù)據(jù)在第I陣列方向上進行尺寸調(diào)整處理從而生成第2顏色差分數(shù)據(jù)的功能。第2顏色差分數(shù)據(jù)是連續(xù)的、并成為顏色排列統(tǒng)一成相同顏色的數(shù)據(jù)形式。第I顏色載波調(diào)制部a6具有再次將第2顏色差分數(shù)據(jù)調(diào)制成符號交替地反轉(zhuǎn)并顏色陣列的周期性已被復(fù)原的第1-1顏色載波數(shù)據(jù)的功能。第I顏色陣列再現(xiàn)處理部a7具有通過將第I亮度尺寸調(diào)整處理部a3輸出的第2-1亮度數(shù)據(jù)和第I顏色載波調(diào)制部a6輸出的第1-1顏色載波數(shù)據(jù)進行再合成從而生成第I多顏色陣列數(shù)據(jù)的功能。第2分布均等化尺寸處理部B2作為其構(gòu)成要素具有 第2濾光處理部bl、第2亮度分布均等化處理部b2、第2亮度尺寸調(diào)整處理部b3、第2顏色反轉(zhuǎn)解調(diào)部b4、第2顏色差分尺寸調(diào)整處理部b5、第2顏色載波調(diào)制部b6和第2顏色陣列再現(xiàn)處理部b7。第2濾光處理部bl具有通過進行沿著第2陣列方向(垂直方向或水平方向)的像素單位的濾光處理，從而將第I分布均等化尺寸處理部A2輸出的第I多顏色陣列數(shù)據(jù)劃分成連續(xù)的第3亮度數(shù)據(jù)和連續(xù)的第2顏色載波數(shù)據(jù)的功能。第I顏色載波數(shù)據(jù)是連續(xù)的、且符號交替地反轉(zhuǎn)、并成為顏色排列每個像素呈交替不同顏色的數(shù)據(jù)形式。第2亮度分布均等化處理部b2具有通過將由第2濾光處理部bl輸出的第3亮度數(shù)據(jù)的第2陣列方向的亮度分布進行均等化從而生成第4亮度數(shù)據(jù)的功能。第2亮度尺寸調(diào)整處理部b3具有通過將第2亮度分布均等化處理部b2輸出的第4亮度數(shù)據(jù)在第2陣列方向上進行尺寸調(diào)整處理從而生成第5亮度數(shù)據(jù)的功能。第2顏色反轉(zhuǎn)解調(diào)部b4具有解調(diào)第2濾光處理部bl輸出的第2顏色載波數(shù)據(jù)，并生成連續(xù)且顏色排列統(tǒng)一成相同顏色的第3顏色差分數(shù)據(jù)的功能。第2顏色差分尺寸調(diào)整處理部b5具有通過將第2顏色反轉(zhuǎn)解調(diào)部b4輸出的第3顏色差分數(shù)據(jù)在第2陣列方向上進行尺寸調(diào)整處理從而生成第4顏色差分數(shù)據(jù)的功能。第2顏色載波調(diào)制部b6具有再次將第2顏色差分尺寸調(diào)整處理部b5輸出的第4顏色差分數(shù)據(jù)調(diào)制成符號交替地反轉(zhuǎn)并顏色陣列的周期性已被復(fù)原的第3顏色載波數(shù)據(jù)的功能。第2顏色陣列再現(xiàn)處理部b7具有通過將第2亮度尺寸調(diào)整處理部b3輸出的第5亮度數(shù)據(jù)和第2顏色載波調(diào)制部b6輸出的第3顏色載波數(shù)據(jù)進行再合成從而生成第2多顏色陣列數(shù)據(jù)的功能。
根據(jù)上述構(gòu)成的作用如下所述。原始圖像RAW數(shù)據(jù)被劃分成連續(xù)的亮度數(shù)據(jù)和連續(xù)的顏色載波數(shù)據(jù)。亮度數(shù)據(jù)在與顏色載波數(shù)據(jù)獨立的狀態(tài)下被分布均等化處理，然后再被尺寸調(diào)整處理。另一方面，顏色載波數(shù)據(jù)被解調(diào)并轉(zhuǎn)換成顏色差分數(shù)據(jù)，之后再進行尺寸調(diào)整處理。不過，顏色載波數(shù)據(jù)首先被符號反轉(zhuǎn)，接下來進行尺寸調(diào)整處理，然后再進行符號反轉(zhuǎn)處理而被返回到原來的信號形式。這種技術(shù)性動作是重點。然后，將進行了分布均等化及尺寸調(diào)整處理之后的連續(xù)的亮度數(shù)據(jù)和經(jīng)過了尺寸調(diào)整處理的連續(xù)的顏色載波數(shù)據(jù)進行再合成。這一系列的處理在第I陣列方向和與其正交的第2陣列方向的兩個方向上進行。作為以上動作的結(jié)果，對于由于四個像素混合等偶數(shù)像素混合輸出而導(dǎo)致在二維方向上像素數(shù)據(jù)分布產(chǎn)生不均衡的原始圖像RAW數(shù)據(jù)，能夠在二維方向上良好地實現(xiàn)確保自然的清晰度和抑制偽色產(chǎn)生的效果，并能夠進行尺寸調(diào)整處理。作為這種實現(xiàn)了二維的亮度分布均等化處理和尺寸調(diào)整處理的結(jié)果，在利用比原始圖像RAW數(shù)據(jù)小的小型RAW記錄模式進行的攝影或預(yù)覽顯示或HD電影等的動畫攝影中能夠進行高質(zhì)量的圖像處理。以上對本發(fā)明的圖像處理裝置進行了說明。以下，針對相關(guān)的圖像處理方法來說明本發(fā)明?！?7》作為對應(yīng)具有上述《I》的構(gòu)成的圖像處理裝置的圖像處理方法，存在包括以下多個步驟的方法。包括:第I分布均等化處理步驟，從具有顏色陣列的周期性的多顏色像素的拍攝元件輸入在彼此正交的第I和第2陣列方向上產(chǎn)生了由于偶數(shù)像素混合輸出而導(dǎo)致的像素數(shù)據(jù)分布的不均衡的原始圖像RAW數(shù)據(jù)之后，通過將所輸入的上述原始圖像RAW數(shù)據(jù)的上述第I陣列方向的像素數(shù)據(jù)分布進行均等化，從而生成第I多顏色陣列數(shù)據(jù)；以及第2分布均等化處理步驟，通過將上述第I多顏色陣列數(shù)據(jù)的上述第2陣列方向的像素數(shù)據(jù)分布進行均等化，從而生成第2多顏色陣列數(shù)據(jù)；上述第I分布均等化處理步驟包括:第I濾光處理步驟，通過沿著上述第I陣列方向的像素單位的濾光處理，從而將上述原始圖像RAW數(shù)據(jù)劃分成連續(xù)的第I亮度數(shù)據(jù)和連續(xù)的第I顏色載波數(shù)據(jù)；第I亮度分布均等化處理步驟，通過將上述第I亮度數(shù)據(jù)的上述第I陣列方向的亮度分布進行均等化，從而生成第2亮度數(shù)據(jù)；以及第I顏色陣列再現(xiàn)處理步驟，通過將上述第2亮度數(shù)據(jù)與上述第I顏色載波數(shù)據(jù)進行再合成，從而生成上述第I多顏色陣列數(shù)據(jù)；上述第2分布均等化處理步驟包括:第2濾光處理步驟，通過沿著上述第2陣列方向的像素單位的濾光處理，從而將上述第I多顏色陣列數(shù)據(jù)劃分成連續(xù)的第3亮度數(shù)據(jù)和連續(xù)的第2顏色載波數(shù)據(jù)；第2亮度分布均等化處理步驟，通過將上述第3亮度數(shù)據(jù)的上述第2陣列方向的亮度分布進行均等化，從而生成第4亮度數(shù)據(jù)；以及第2顏色陣列再現(xiàn)處理步驟，通過將上述第4亮度數(shù)據(jù)與上述第2顏色載波數(shù)據(jù)進行再合成，從而生成上述第2多顏色陣列數(shù)據(jù)?！?0》作為對應(yīng)于具有上述《4》的構(gòu)成的圖像處理裝置的圖像處理方法，存在包括以下多個步驟的方法。包括:第I分布均等化尺寸調(diào)整處理步驟，從具有顏色陣列的周期性的多顏色像素的拍攝元件輸入在彼此正交的第I和第2陣列方向上產(chǎn)生了由于偶數(shù)像素混合輸出而導(dǎo)致的像素數(shù)據(jù)分布的不均衡的原始圖像RAW數(shù)據(jù)之后，通過將所輸入的上述原始圖像RAW數(shù)據(jù)的上述第I陣列方向的像素數(shù)據(jù)分布進行均等化并進行尺寸調(diào)整，從而生成第I多顏色陣列數(shù)據(jù)；以及第2分布均等化尺寸調(diào)整處理步驟，通過將上述第I多顏色陣列數(shù)據(jù)的上述第2陣列方向的像素數(shù)據(jù)分布進行均等化并進行尺寸調(diào)整，從而生成第2多顏色陣列數(shù)據(jù)；上述第I分布均等化尺寸調(diào)整處理步驟包括:第I濾光處理步驟，通過沿著上述第I陣列方向的像素單位的濾光處理，從而將上述原始圖像RAW數(shù)據(jù)劃分成連續(xù)的第I亮度數(shù)據(jù)、和符號交替反轉(zhuǎn)且顏色排列按每個像素呈交替顏色不同的連續(xù)的第I顏色載波數(shù)據(jù)；第I亮度分布均等化處理步驟，通過將上述第I亮度數(shù)據(jù)的上述第I陣列方向的亮度分布進行均等化，從而生成第2亮度數(shù)據(jù)；第I亮度尺寸調(diào)整處理步驟，通過在上述第I陣列方向上對上述第2亮度數(shù)據(jù)進行尺寸調(diào)整處理，從而生成第2-1亮度數(shù)據(jù)；第I顏色反轉(zhuǎn)解調(diào)步驟，通過對上述第I顏色載波數(shù)據(jù)進行解調(diào)，從而生成連續(xù)且顏色排列被統(tǒng)一成相同顏色的第I顏色差分數(shù)據(jù)；第I顏色差分尺寸調(diào)整處理步驟，通過在上述第I陣列方向上對上述第I顏色差分數(shù)據(jù)進行尺寸調(diào)整處理，從而生成第2顏色差分數(shù)據(jù)；第I顏色載波調(diào)制步驟，將上述第2顏色差分數(shù)據(jù)調(diào)制成符號交替地反轉(zhuǎn)且顏色陣列的周期性已被復(fù)原的第1-1顏色載波數(shù)據(jù)；以及第I顏色陣列再現(xiàn)處理步驟，通過將上述第1-1顏色載波數(shù)據(jù)與上述第2-1亮度數(shù)據(jù)進行再合成，從而生成上述第I多顏色陣列數(shù)據(jù)，上述第2分布均等化尺寸調(diào)整處理步驟包括:第2濾光處理步驟，通過沿著第2陣列方向的像素單位的濾光處理，從而將上述第I多顏色陣列數(shù)據(jù)劃分成連續(xù)的第3亮度數(shù)據(jù)和符號交替地反轉(zhuǎn)且顏色排列按每個像素呈交替顏色不同的連續(xù)的第2顏色載波數(shù)據(jù)；第2亮度分布均等化處理步驟，通過將上述第3亮度數(shù)據(jù)的上述第2陣列方向的亮度分布均等化，從而生成第4亮度數(shù)據(jù)；第2亮度尺寸調(diào)整處理步驟，通過在上述第2陣列方向上對上述第4亮度數(shù)據(jù)進行尺寸調(diào)整處理，從而生成第5亮度數(shù)據(jù)；第2顏色反轉(zhuǎn)解調(diào)步驟，通過對上述第2顏色載波數(shù)據(jù)進行解調(diào)，從而生成連續(xù)的并且顏色排列被統(tǒng)一成相同顏色的第3顏色差分數(shù)據(jù)；第2顏色差分尺寸調(diào)整處理步驟，通過在上述第2陣列方向上對上述第3顏色差分數(shù)據(jù)進行尺寸調(diào)整處理，從而生成第4顏色差分數(shù)據(jù)；第2顏色載波調(diào)制步驟，將上述第4顏色差分數(shù)據(jù)調(diào)制成符號交替地反轉(zhuǎn)并且顏色陣列的周期性已被復(fù)原的第3顏色載波數(shù)據(jù)；以及第2顏色陣列再現(xiàn)處理步驟，通過將上述三顏色載波數(shù)據(jù)與上述第5亮度數(shù)據(jù)進行再合成，從而生成上述第2多顏色陣列數(shù)據(jù)；而且，在圖像處理用的程序或記錄介質(zhì)中，能夠如下所示地展開涉及上述圖像處理方法的發(fā)明?！?3》根據(jù)本發(fā)明的圖像處理用程序是對應(yīng)于《17》 《32》的圖像處理方法而制成的程序，能夠按照順序由計算機執(zhí)行與各自的步驟對應(yīng)的多個步驟?！?4》本發(fā)明的圖像處理用記錄介質(zhì)是記錄有上述《33》的程序的能夠利用計算機讀取的記錄介質(zhì)。發(fā)明效果本發(fā)明以由于四個像素混合等的偶數(shù)像素混合輸出而導(dǎo)致在二維方向上像素數(shù)據(jù)分布產(chǎn)生不均衡的原始圖像RAW數(shù)據(jù)為處理對象，通過在第I陣列方向和與其正交的第2陣列方向的兩個方向上進行以下處理:
將原始圖像RAW數(shù)據(jù)劃分成連續(xù)的亮度數(shù)據(jù)和連續(xù)的顏色載波數(shù)據(jù)；在與連續(xù)的顏色載波數(shù)據(jù)相獨立的狀態(tài)下進行連續(xù)的亮度數(shù)據(jù)的分布均等化處理；以及將分布均等化處理之后的連續(xù)的亮度數(shù)據(jù)和上述連續(xù)的顏色載波數(shù)據(jù)進行再合成，從而能夠確保在二維方向上實現(xiàn)自然的清晰度并抑制產(chǎn)生偽色的效果。另外，即使在針對由于四個像素混合等的偶數(shù)像素混合輸出而導(dǎo)致在二維方向上像素數(shù)據(jù)分布產(chǎn)生不均衡的原始圖像RAW數(shù)據(jù)的尺寸調(diào)整處理中，也能夠?qū)崿F(xiàn)確保在二維方向上保證自然的清晰度并抑制偽色產(chǎn)生的效果的尺寸調(diào)整處理。由此，在利用比原始圖像RAW數(shù)據(jù)小的小型RAW記錄模式進行的攝影或預(yù)覽顯示或HD電影等的動態(tài)圖像攝影中，能夠進行高質(zhì)量的圖像處理。


圖1是表示本發(fā)明的圖像處理裝置的第I基本結(jié)構(gòu)的框圖。圖2是表示本發(fā)明的圖像處理裝置的第2基本結(jié)構(gòu)的框圖。圖3A是本發(fā)明的圖像處理裝置中的第I或第2亮度分布均等化處理部進行的亮度數(shù)據(jù)的分布均等化處理的說明圖(其1-1)。圖3B是本發(fā)明的圖像處理裝置中的第I或第2亮度分布均等化處理部進行的亮度數(shù)據(jù)的分布均等化處理的說明圖(其1-2)。圖3C是本發(fā)明的圖像處理裝置中的第I或第2亮度分布均等化處理部進行的亮度數(shù)據(jù)的分布均等化處理的說明圖(其1-3)。圖4A是本發(fā)明的圖像處理裝置中的第I或第2亮度分布均等化處理部進行的亮度數(shù)據(jù)的分布均等化處理的說明圖(其2-1)。圖4B是本發(fā)明的圖像處理裝置中的第I或第2亮度分布均等化處理部進行的亮度數(shù)據(jù)的分布均等化處理的說明圖(其2-2)。圖5是表示對本發(fā)明的實施例1中的四個像素混合后的RAW數(shù)據(jù)進行分布均等化處理順序的示意圖。圖6是表示本發(fā)明的實施例1中的水平分布均等化處理的構(gòu)成的框圖。圖7是表示將本發(fā)明的實施例1中的偶數(shù)項的像素數(shù)據(jù)的亮度值擬制為坐標的右側(cè)移動而進行插值的水平分布均等化處理部的構(gòu)成的框圖(其I)。圖8是表示將本發(fā)明的實施例1中的偶數(shù)項的像素數(shù)據(jù)的亮度值擬制為坐標的右側(cè)移動而進行插值的水平分布均等化處理部的構(gòu)成的框圖(其2)。圖9是表示將本發(fā)明的實施例1中的偶數(shù)項的像素數(shù)據(jù)的亮度值擬制為坐標的右側(cè)移動而進行插值的水平分布均等化處理部的構(gòu)成的框圖(其3)。圖10是表示將本發(fā)明的實施例1中的奇數(shù)項的像素數(shù)據(jù)的亮度值擬制為坐標的左側(cè)移動而進行插值的水平分布均等化處理部的構(gòu)成的框圖(其I)。圖11是表示將本發(fā)明的實施例1中的奇數(shù)項的像素數(shù)據(jù)的亮度值擬制為坐標的左側(cè)移動而進行插值的水平分布均等化處理部的構(gòu)成的框圖(其2)。圖12是表示將本發(fā)明的實施例1中的奇數(shù)項的像素數(shù)據(jù)的亮度值擬制為坐標的左側(cè)移動而進行插值的水平分布均等化處理部的構(gòu)成的框圖(其3)。圖13是表示將本發(fā)明的實施例1中的偶數(shù)項的像素數(shù)據(jù)的亮度值擬制為坐標的右側(cè)移動而進行插值，將奇數(shù)項的像素數(shù)據(jù)的亮度值擬制為坐標的左側(cè)移動而進行插值的水平分布均等化處理部的構(gòu)成的框圖(其I)。圖14是表示將本發(fā)明的實施例1中的偶數(shù)項的像素數(shù)據(jù)的亮度值擬制為坐標的右側(cè)移動而進行插值，將奇數(shù)項的像素數(shù)據(jù)的亮度值擬制為坐標的左側(cè)移動而進行插值的水平分布均等化處理部的構(gòu)成的框圖(其2)。圖15是表示將本發(fā)明的實施例1中的偶數(shù)項的像素數(shù)據(jù)的亮度值擬制為坐標的右側(cè)移動而進行插值，將奇數(shù)項的像素數(shù)據(jù)的亮度值擬制為坐標的左側(cè)移動而進行插值的水平分布均等化處理部的構(gòu)成的框圖(其3)。圖16A的圖表示的是作為本發(fā)明的實施例1中的兩個步驟的尺寸調(diào)整處理的中間緩存器的行存儲器的寫入讀出操作(其I)。圖16B的圖表示的是作為本發(fā)明的實施例1中的兩個步驟的尺寸調(diào)整處理的中間緩存器的行存儲器的寫入讀出操作(其2)。圖17是表示利用本發(fā)明的實施例1中的行存儲器的垂直分布均等化處理的構(gòu)成的框圖。圖18是表示將本發(fā)明的實施例1中的偶數(shù)行的像素數(shù)據(jù)的亮度值擬制為坐標的下側(cè)移動而進行插值，將奇數(shù)行的像素數(shù)據(jù)的亮度值擬制為坐標的上側(cè)移動而進行插值的垂直分布均等化處理部的構(gòu)成的框圖。圖19A表示的是對本發(fā)明的實施例1中的CZP (圓形波帶片:circular zoneplate)圖像在水平和垂直方向的兩個方向上進行了分布均等化處理的情況下的分布均等化處理RAW數(shù)據(jù)結(jié)果(其1-1)。圖19B表示的是對本發(fā)明的實施例1中的CZP (圓形波帶片:circular zoneplate)圖像在水平和垂直方向的兩個方向上進行了分布均等化處理的情況下的分布均等化處理RAW數(shù)據(jù)結(jié)果(其1-2)。圖20A表示的是對本發(fā)明的實施例1中的CZP圖像在水平和垂直的兩個方向上進行了分布均等化處理的情況下的分布均等化處理RAW數(shù)據(jù)結(jié)果(其2-1)。圖20B表示的是對本發(fā)明的實施例1中的CZP圖像在水平和垂直的兩個方向上進行了分布均等化處理的情況下的分布均等化處理RAW數(shù)據(jù)結(jié)果(其2-2)。圖21是表示對本發(fā)明的實施例2中的四個像素混合后的RAW數(shù)據(jù)進行分布均等化和尺寸調(diào)整處理的順序的示意圖。圖22是表示對本發(fā)明的實施例2中的水平分布均等化和尺寸調(diào)整處理的構(gòu)成的框圖。圖23是表示利用本發(fā)明的實施例2中的行存儲器的垂直分布均等化和尺寸調(diào)整處理的構(gòu)成的框圖。圖24是表示將本發(fā)明的實施例2中的偶數(shù)行的像素數(shù)據(jù)的亮度值擬制為坐標的下側(cè)移動而進行插值的垂直分布均等化處理部的構(gòu)成的框圖。圖25是表示保持本發(fā)明的實施例2中的垂直方向的清晰度，并將奇數(shù)行的像素數(shù)據(jù)的亮度值擬制為坐標的上側(cè)移動而進行插值的垂直分布均等化處理部的構(gòu)成的框圖。
圖26是表示保持本發(fā)明的實施例2中的垂直方向的清晰度，并將偶數(shù)行的像素數(shù)據(jù)的亮度值擬制為坐標的下側(cè)移動而進行插值的垂直分布均等化處理部的構(gòu)成的框圖。圖27是表示作為安裝了本發(fā)明的圖像處理裝置的單板式數(shù)字相機的拍攝裝置的結(jié)構(gòu)的框圖。圖28A是表示RGB原色型的拜耳陣列的例子的概念圖。圖28B是表示RGB原色型的蜂窩陣列的例子的概念圖。圖29是在九個像素混合中混合對象的彩色要素為藍色的情況下的混合方法的說明圖。圖30是在九個像素混合中混合對象的彩色要素為藍色的情況下的混合結(jié)果的說明圖。圖31是在九個像素混合中混合對象的彩色要素為綠色I的情況下的混合方法的說明圖。圖32是在九個像素混合中混合對象的彩色要素為綠色I的情況下的混合結(jié)果的說明圖。圖33是將在九個像素混合中混合對象的彩色要素為藍色的情況下的混合結(jié)果和彩色要素為綠色I的情況下的混合結(jié)果匯總的圖。圖34是在九個像素混合中混合對象的彩色要素為綠色2的情況下的混合方法的說明圖。圖35是在九個像素混合中混合對象的彩色要素為紅色的情況下的混合方法的說明圖。圖36是將在九個像素混合中的四種彩色要素的混合結(jié)果匯總的圖。圖37是在四個像素混合中混合對象的彩色要素為藍色的情況下的混合方法的說明圖。圖38是在四個像素混合中混合對象的彩色要素為綠色I的情況下的混合方法的說明圖。圖39是在四個像素混合中混合對象的彩色要素為綠色2的情況下的混合方法的說明圖。圖40是在四個像素混合中混合對象的彩色要素為紅色的情況下的混合方法的說明圖。圖41是在四個像素混合中將4種彩色要素的混合結(jié)果匯總的圖。圖42A是匯總了圖37 圖41的說明的圖(其I)。圖42B是匯總了圖37 圖41的說明的圖(其2)。圖42C是匯總了圖37 圖41的說明的圖(其3)。圖43A是現(xiàn)有技術(shù)中的像素數(shù)據(jù)分布校正的說明圖(其I)。圖43B是現(xiàn)有技術(shù)中的像素數(shù)據(jù)分布校正的說明圖(其2)。圖43C是現(xiàn)有技術(shù)中的像素數(shù)據(jù)分布校正的說明圖(其3)。
具體實施例方式具有上述《I》的結(jié)構(gòu)(參照圖1)的本發(fā)明的圖像處理裝置，在以下的實施方式中能夠更有利地進行展開。《2》在上述“解決技術(shù)課題的手段”部分提到的《I》的結(jié)構(gòu)中，關(guān)于將第I多顏色陣列數(shù)據(jù)轉(zhuǎn)送給第2分布均等化處理部BI的緩存器，具有以下形式。即，該緩存器由具有二維展開的存儲空間的幀存儲器構(gòu)成。該幀存儲器的構(gòu)成方式為:在與在該幀存儲器中寫入上述第I多顏色陣列數(shù)據(jù)的方向正交的方向上，從該幀存儲器讀出上述第I多顏色陣列數(shù)據(jù)并提供給上述第2分布均等化尺寸調(diào)整處理部。在具有這種構(gòu)成方式的情況下，作為第2分布均等化處理部BI，能夠使用與第I分布均等化處理部A具有相同結(jié)構(gòu)的處理部，由此實現(xiàn)結(jié)構(gòu)的簡單化?！?》在上述《I》的構(gòu)成中，還具有將上述第I多顏色陣列數(shù)據(jù)轉(zhuǎn)送給第2部分均等化處理部BI的緩存器，上述緩存器由以多行構(gòu)成的行存儲器構(gòu)成。該行存儲器的構(gòu)成方式為:上述第I多顏色陣列數(shù)據(jù)按每一行被寫入到該行存儲器中，同時，多行的第I多顏色陣列數(shù)據(jù)被從該行存儲器中讀出并轉(zhuǎn)送到上述第2分布均等化處理部。在具有這種構(gòu)成的情況下，第2分布均等化處理部BI成為構(gòu)成與第I分布均等化處理部Al不同的處理部。由于使用多行的行存儲器在將多行的多顏色陣列數(shù)據(jù)寫入的同時，讀出多行的數(shù)據(jù)，因此，對處理的高速化能夠寄予期望?！?》在上述“解決技術(shù)課題的手段”的尺寸調(diào)整處理中提到的《4》的構(gòu)成(參照圖2)中，存在以下形式:即，還具有從第I分布均等化尺寸調(diào)整處理部A2輸出在第I陣列方向上進行了分布均等化和尺寸調(diào)整處理的多顏色陣列數(shù)據(jù)，該多顏色陣列數(shù)據(jù)被轉(zhuǎn)送到第2分布均等化尺寸調(diào)整處理部B2的緩存器。該緩存器包括具有二維展開的存儲空間的幀存儲器。該幀存儲器的構(gòu)成方式為:在與在該幀存儲器中寫入上述第I多顏色陣列數(shù)據(jù)的方向正交的方向上，從該幀存儲器讀出上述第I多顏色陣列數(shù)據(jù)并提供給上述第2分布均等化尺寸調(diào)整處理部。在具有這種構(gòu)成方式的情況下，作為第2分布均等化尺寸調(diào)整處理部B2，能夠使用與第I分布均等化尺寸調(diào)整處理部A2具有相同結(jié)構(gòu)的處理部，由此實現(xiàn)結(jié)構(gòu)的簡化?！?》在關(guān)于上述尺寸調(diào)整處理提到的《4》的構(gòu)成中，還具有將上述第I多顏色陣列數(shù)據(jù)轉(zhuǎn)送給上述第2分布均等化尺寸調(diào)整處理部B2的緩存器，上述緩存器具有以多行構(gòu)成的行存儲器。該行存儲器的構(gòu)成方式為:上述第I多顏色陣列數(shù)據(jù)按每一行被寫入到該行存儲器中，同時，多行的第I多顏色陣列數(shù)據(jù)被從該行存儲器中讀出并轉(zhuǎn)送到第2分布均等化處理部B2。在具有這種構(gòu)成的情況下，第2分布均等化尺寸調(diào)整處理部B2成為構(gòu)成與第I分布均等化尺寸調(diào)整處理部A2不同的處理部。由于使用多行的行存儲器在將多行的第I多顏色陣列數(shù)據(jù)寫入到上述行存儲器的同時，將多行的第I多顏色陣列數(shù)據(jù)從上述行存儲器讀出，因此，對處理的高速化能夠寄予期望?！?》在涉及上述尺寸調(diào)整處理的《4》 《6》的構(gòu)成中，上述第I亮度尺寸調(diào)整處理部a3、上述第2顏色差分尺寸調(diào)整處理部a5、上述第2亮度尺寸調(diào)整處理部b3、和上述第2顏色差分尺寸調(diào)整處理部b5具有進行縮小尺寸調(diào)整處理作為其尺寸調(diào)整處理的功能。根據(jù)該縮小尺寸調(diào)整處理，在利用小型RAW記錄模式進行的攝影或預(yù)覽顯示、或者尺寸進行了歸一化的HD電影等的動態(tài)圖像攝影中，能夠?qū)D像處理向高質(zhì)量提高。《8》在涉及上述尺寸調(diào)整處理的《4》 《6》的構(gòu)成中，也存在以下方式:即，上述第I亮度尺寸調(diào)整處理部a3、上述第I顏色差分尺寸調(diào)整處理部a5、上述第2亮度尺寸調(diào)整處理部b3、和上述第2顏色差分尺寸調(diào)整處理部b5具有進行擴大尺寸調(diào)整處理作為其尺寸調(diào)整處理的功能。《9》在上述《I》 《8》的構(gòu)成中，關(guān)于上述第I和第2亮度分布均等化處理部a2和b2進行的亮度數(shù)據(jù)的分布均等化處理，存在以下的方式。使用圖3A進行說明。另外，該圖是以沿著水平方向的行進行考慮的，具體而言，其對應(yīng)于第I亮度分布均等化處理部a2。在第2亮度分布均等化處理部b2的情況下，可以考慮將圖的狀態(tài)旋轉(zhuǎn)90度。分布均等化處理，是將該處理對象像素P的第I或第2陣列方向上的兩個相鄰的像素中離得更遠的一方的相當(dāng)于不同顏色的像素設(shè)為引用像素Q。用該處理對象像素P的亮度數(shù)據(jù)Ya和引用像素Q的亮度數(shù)據(jù)Yb進行插值，將利用該插值處理獲得的插值亮度數(shù)據(jù)設(shè)為該處理對象像素P的插值之后的亮度數(shù)據(jù)Ya*。由于拍攝元件進行的四個像素混合等的偶數(shù)像素混合輸出的緣故，處理對象像素P的亮度數(shù)據(jù)Ya在原始圖像RAW數(shù)據(jù)中在二維方向上產(chǎn)生了像素數(shù)據(jù)分布的不均衡。上述插值處理使該處理對象像素P的亮度數(shù)據(jù)Ya接近于與多個像素混合之前的原始圖像的均等化分布狀態(tài)相當(dāng)?shù)南袼氐牧炼葦?shù)據(jù)，并設(shè)為插值后的亮度數(shù)據(jù)Ya*。關(guān)于這種情況下的插值處理的更具體的形式，將在以下的《10》中進行說明?！?0》在上述插值處理中提到的《9》的構(gòu)成中，關(guān)于上述第I或第2亮度分布均等化處理部a2、b2進行的亮度數(shù)據(jù)的分布均等化處理，存在以下的方式。使用圖3B進行說明。假設(shè)將處理對象像素P設(shè)置在其相鄰的兩個像素的中央，將此時的像素設(shè)為虛擬配置像素P*。另外，將處理對象像素P的亮度數(shù)據(jù)設(shè)為Ya，將上述引用像素Q的亮度數(shù)據(jù)設(shè)為Yb。引用像素Q是處理對象像素P的水平方向或垂直方向的相鄰兩個像素中離得更遠的一方的相當(dāng)于不同顏色的像素。另外，將引用像素Q與虛擬配置像素P*的間距設(shè)為α，將處理對象像素P與虛擬配置像素P*的間距設(shè)為β。插值亮度數(shù)據(jù)Ya*是按照分點公式，以上述兩個間距α和β對處理對象像素P的亮度數(shù)據(jù)Ya和引用像素Q的亮度數(shù)據(jù)Yb進行比例分割而求出的。該比例分割的公式為Ya*= ( α.Ya+ β.Yb) / ( α + β )關(guān)于間距α、β，將過分間隔側(cè)作為α，將過分接近側(cè)作為β。因此，α > β。上述公式，無論在將虛擬配置像素P*設(shè)定為處理對象像素P的右側(cè)的情況下，還是在設(shè)定為左側(cè)的情況(圖3C)下，都通用。例如，在四個像素混合的情況下，處理對象像素P的相鄰的兩個像素之間的間距為四個像素份。另外，“間距”是指像素中央之間的距離，這與在圖36或圖41中所說明的“間隔”不同。針對虛擬配置像素P*，可以使處理對象像素P向引用像素Q —側(cè)移動一個像素份。這是因為，虛擬配置像素P*與原來的相鄰的像素的間距分別成為兩個像素份，虛擬配置像素P*會位于相鄰的兩個像素的中央。也就是說，引用像素Q與虛擬配置像素P*的間距α成為兩個像素份，處理對象像素P與虛擬配置像素P*的間距β成為一個像素份U=2, β = I)。因此，在處理對象像素P的亮度數(shù)據(jù)為Ya，引用像素Q的亮度數(shù)據(jù)為Yb時，插值亮度數(shù)據(jù)Ya*成為Ya* = (2.Ya+1.Yb)/3。
在此，應(yīng)該注意的是，擔(dān)當(dāng)亮度數(shù)據(jù)Ya的處理對象像素P的顏色與擔(dān)當(dāng)亮度數(shù)據(jù)Yb的引用像素Q的顏色彼此不同。順便說明，針對以RGB拜耳陣列反復(fù)BG的行的兩種像素B、G，在B的右側(cè)的G過分接近B，在G的右側(cè)的B與G過分相隔，在這種狀態(tài)下，當(dāng)假設(shè)將處理對象像素P的G配置在相鄰的兩個像素B和B的中央時，成為基于處理對象像素的G的亮度數(shù)據(jù)Ya和其右側(cè)的過分相隔的引用像素的B的亮度數(shù)據(jù)Yb的上述公式Y(jié)a* = (2.Ya+1.Yb)/3的分布均等化處理。即，擔(dān)當(dāng)亮度數(shù)據(jù)Ya的處理對象像素P的顏色為G，這與擔(dān)當(dāng)亮度數(shù)據(jù)Yb的引用像素Q的顏色B不同。另外，在后續(xù)處理的顏色陣列再現(xiàn)處理中，成為擔(dān)當(dāng)插值亮度數(shù)據(jù)Ya*的處理對象像素P的顏色為G。上述例子是將處理對象像素P向右側(cè)移動設(shè)為虛擬配置像素P*的情況，接下來，使用圖3C對將處理對象像素P向左側(cè)移動設(shè)為虛擬配置像素P*的情況進行說明。關(guān)于以RGB拜耳陣列反復(fù)BG的行的兩種像素B和G，與上述相同，在B的右側(cè)的G過分接近B，在G的右側(cè)的B與G過分相隔，在這種狀態(tài)下，當(dāng)假設(shè)將處理對象像素P的B配置在相鄰的兩個像素G和G的中央時，成為基于處理對象像素的B的亮度數(shù)據(jù)Ya和其左側(cè)的過分相隔的G的亮度數(shù)據(jù)Yb的上述公式Y(jié)a* = (2.Ya+1.Yb)/3的分布均等化處理。即，擔(dān)當(dāng)亮度數(shù)據(jù)Ya的處理對象像素P的顏色為B，這與擔(dān)當(dāng)亮度數(shù)據(jù)Yb的引用像素Q的顏色G不同。另夕卜，在后續(xù)處理的顏色陣列再現(xiàn)處理中，成為擔(dān)當(dāng)插值亮度數(shù)據(jù)Ya*的處理對象像素P的顏色為B。《11》在上述插值處理中提到的《9》的構(gòu)成中，關(guān)于上述第I或第2亮度分布均等化處理部a2和b2進行的亮度數(shù)據(jù)的分布均等化處理，具有以下方式。利用圖4A和圖4B進行說明。即，假設(shè)處理對象P以及引用像素Q都向彼此相隔的方向移動成為均等分布的狀態(tài)。即，對于處于過分相隔狀態(tài)的相鄰的兩個像素，以使位于左側(cè)的像素向右側(cè)移動，使位于右側(cè)的像素向左側(cè)移動的方式進行分布均等化處理。在此，首先，考慮右側(cè)移動量與左側(cè)移動量之間的比。如圖4A所示，在四個像素混合的情況下進行分布均等化處理，其結(jié)果是，相鄰的像素之間的間距成為兩個像素份。在此，考慮像素A、B、C和D。在處于過分相隔狀態(tài)的相鄰的兩個像素B和C中，將左側(cè)的像素B向右側(cè)移動X，將右側(cè)的像素C向左側(cè)同樣移動X。對像素A和D也進行同樣操作。即，將像素A向左側(cè)移動X，將像素D向右側(cè)移動X。這樣一來，移動后的四個像素A’、B’、C’和D’被分布均等化。接下來，求出移動量。在處于分布均等化處理之前的過分相隔狀態(tài)的相鄰的兩個像素B與C的間距(三個像素)、分布均等化處理之后的相鄰的兩個像素B與C的間距(兩個像素)、和移動量X之間，下列公式成立。2像素份+2.X = 3像素份因此,成為X = 0.5像素份。當(dāng)前，關(guān)注于像素B。將使B移動到B’時的移動量按照B和C的比例分割而計算出。B與B’的間距為X。將C與B’的間距設(shè)為y，x+y = 3像素份，由于x = 0.5像素份，因此，y = 2.5像素份。X與y之比為1: 5。由此可知，在比例分割中使用的系數(shù)α ’和β，設(shè)為 α，> β ’，成為 α，: β，= 5:1。在圖4Β中，如(α )和(β )所示，在將處理對象像素P設(shè)為虛擬配置像素P*的情況下，引用像素Q與虛擬配置像素P*的間距α，和處理對象像素P與虛擬配置像素P*的間距β’的比與《10》的情況下的α: β不同。但是，比例分割的公式為相同形式。Ya* = ( α ’.Ya+ β ’.Yb) / ( α ’ + β ’)在四個像素混合的情況下，α ’: β’=5: 1，因此，Ya* = (5.Ya+1.Yb) /6另外，如(α)和(Y)所示，在將處理對象像素Q作為虛擬配置像素Q*的情況下，引用像素P與虛擬配置像素Q*的間距α ’和處理對象像素Q與虛擬配置像素Q*的間距β ’的比也與上述相同為α ’: β ’ = 5: I。( ε )將(β )和(Υ )匯總，再將對像素P的左邊的像素和像素Q的右邊的像素進行同樣處理的結(jié)果匯總，其相當(dāng)于圖4A的下側(cè)部分?！?2》在涉及上述插值處理的《9》 《11》的構(gòu)成中，根據(jù)亮度分布均等化處理部對處理對象像素P的亮度數(shù)據(jù)進行的插值處理，能夠獲得確保自然的清晰度并抑制偽色產(chǎn)生的效果。但是，另一方面，由于該插值處理的緣故，關(guān)于用于插值處理的像素P和Q的亮度數(shù)據(jù)，在頻率特性上會導(dǎo)致高頻分量減少的結(jié)果。在不進行插值處理而直接通過的像素的亮度數(shù)據(jù)中，不會發(fā)生高頻分量減少的情況，由于該插值處理的有無而產(chǎn)生的畫質(zhì)的非對稱性，從改善畫質(zhì)變差的角度來看會成為一個障礙。因此，在上述構(gòu)成中，關(guān)于上述第I和第2的亮度分布均等化處理部a2和b2，優(yōu)選以如下方式構(gòu)成。即，當(dāng)進行針對處理對象像素P的亮度數(shù)據(jù)的插值處理時，在該插值處理之前，進行用于插值處理的像素P和Q的亮度數(shù)據(jù)的高頻強調(diào)處理，然后進行插值處理，以這種方式構(gòu)成第I和第2亮度分布均等化處理部a2和b2。在像這樣構(gòu)成的情況下，關(guān)于插值處理中使用的像素P和Q的亮度數(shù)據(jù)，由于事先將高頻分量進行增益放大而強調(diào)，因此，即使在之后的插值處理中高頻分量減少，結(jié)果也是從整體上來講高頻分量的衰減得到解決。其結(jié)果是，雖然產(chǎn)生了由于插值處理引起的高頻分量的減少，但能夠獲得良好的畫質(zhì)改善的效果。《13》在涉及上述插值處理的《9》 《11》的構(gòu)成中，以在進行處理對象像素P的亮度數(shù)據(jù)的插值處理之后，進行插值處理執(zhí)行之后的亮度數(shù)據(jù)的高頻強調(diào)處理的方式，構(gòu)成第I和第2亮度分布均等化處理部a2和b2。在像這樣構(gòu)成的情況下，即使進行了插值處理的處理對象像素P的亮度數(shù)據(jù)的高頻分量減少，也由于在其之后對高頻分量進行增益放大而強調(diào)，因而，從結(jié)果來看，整體上解決了高頻分量衰減的問題。其結(jié)果是，能夠根據(jù)插值處理獲得良好的畫質(zhì)改善的效果?！?4》作為該圖像處理裝置的處理對象的圖像數(shù)據(jù)是在第I以及第2陣列方向上像素數(shù)據(jù)分布產(chǎn)生不均衡的原始圖像RAW數(shù)據(jù)。作為其典型例，在上述《I》 《13》的構(gòu)成中，上述原始圖像RAW數(shù)據(jù)具有RGB拜耳陣列的周期性，存在將沿著水平方向的反復(fù)BG的行數(shù)據(jù)和反復(fù)GR的行數(shù)據(jù)在垂直方向上被交替輸出的RAW數(shù)據(jù)作為對象的形式。不過，不局限于此，也廣泛地包括后面要提到的方式。另外，也可以將反復(fù)RB的行數(shù)據(jù)和連續(xù)的G信號的行數(shù)據(jù)在垂直方向上被交替輸出的蜂窩陣列的RAW數(shù)據(jù)作為對象?！?5》在上述《I》 《13》的構(gòu)成中，也可以將上述原始圖像RAW數(shù)據(jù)設(shè)為使用具有通過補色濾光器以周期性進行了顏色排列的多顏色的像素的單板相機元件而獲取的RAW數(shù)據(jù)。RGB拜耳陣列是原色方式，但除此之外，也能夠使用黃(Y)、品紅(M)、青(C)和綠(G)的補色方式的彩色濾光器陣列。
《16》在上述《I》 《13》的構(gòu)成中，也可以將上述原始圖像RAW數(shù)據(jù)設(shè)為使用單板相機拍攝元件獲取的RAW數(shù)據(jù)，該拍攝元件具有通過補色濾光器利用在行上的像素單位以周期性進行了顏色排列的多顏色的像素、和在其他行不具有周期性的單一顏色的像素。例如，能夠使用原色和補色的任意組合或白色(W)?！?8》在上述“解決技術(shù)課題的手段”部分關(guān)于圖像處理方法所提到的《17》的構(gòu)成中，存在以下方式:即，作為將上述第I多顏色陣列數(shù)據(jù)轉(zhuǎn)送給上述第2分布均等化處理步驟的緩存器，使用具有二維展開的存儲空間的幀存儲器，在與向上述幀存儲器中寫入上述第I多顏色陣列數(shù)據(jù)的方向正交的方向上，從上述幀存儲器中讀出上述第I多顏色陣列數(shù)據(jù)并轉(zhuǎn)送給上述第2分布均等化尺寸調(diào)整處理步驟?！?9》在上述《17》的構(gòu)成中，存在以下方式:S卩，作為將上述第I多顏色陣列數(shù)據(jù)轉(zhuǎn)送給上述第2分布均等化處理步驟的緩存器，使用由多個行形成的行存儲器，將來自上述第I分布均等化處理步驟的上述第I多顏色陣列數(shù)據(jù)按照每一行地寫入到上述行緩存器中，同時，從上述行緩存器讀出多行的上述第I多顏色陣列數(shù)據(jù)并提供給第2分布均等化處
理步驟?！?1》在上述“解決技術(shù)課題的手段”部分關(guān)于涉及尺寸調(diào)整處理的圖像處理方法所提到的《20》的構(gòu)成中，存在以下方式:即，作為將在利用上述第I分布均等化尺寸調(diào)整處理步驟輸出的第I陣列方向上進行了分布均等化和尺寸調(diào)整處理的上述第I多顏色陣列數(shù)據(jù)轉(zhuǎn)送給上述第2分布均等化尺寸調(diào)整處理步驟的緩存器，使用具有二維展開的存儲空間的幀存儲器，在與向上述幀存儲器中寫入上述第I多顏色陣列數(shù)據(jù)的方向正交的方向上，從上述幀存儲器中讀出上述第I多顏色陣列數(shù)據(jù)并轉(zhuǎn)送給上述第2分布均等化尺寸調(diào)整處理步驟?！?2》在上述《20》的構(gòu)成中，存在以下方式:即，作為將上述第I多顏色陣列數(shù)據(jù)轉(zhuǎn)送給上述第2分布均等化尺寸調(diào)整處理步驟的緩存器，使用由多個行形成的行存儲器，將上述第I多顏色陣列數(shù)據(jù)按照每一行地寫入到上述行緩存器中，同時，從上述行緩存器讀出多行的第I多顏色陣列數(shù)據(jù)并轉(zhuǎn)送給第2分布均等化尺寸調(diào)整處理步驟?！?3》在關(guān)于涉及上述尺寸調(diào)整處理的圖像處理方法的《20》 《22》的構(gòu)成中，存在以下方式:即，上述第I亮度尺寸調(diào)整處理步驟及第I顏色差分尺寸調(diào)整處理步驟、以及上述第2亮度尺寸調(diào)整處理步驟及第2顏色差分尺寸處理步驟作為其尺寸調(diào)整處理而進行縮小尺寸調(diào)整處理?！?4》在關(guān)于涉及上述尺寸調(diào)整處理的圖像處理方法的《20》 《22》的構(gòu)成中，存在以下方式:即，上述第I亮度尺寸調(diào)整處理步驟及第I顏色差分尺寸調(diào)整處理步驟、以及上述第2亮度尺寸調(diào)整處理步驟及第2顏色差分尺寸處理步驟作為其尺寸調(diào)整處理而進行擴大尺寸調(diào)整處理?！?5》在關(guān)于上述圖像處理方法的《17》 《24》的構(gòu)成中，存在以下方式:即，上述第I和第2亮度分布均等化處理步驟進行的亮度數(shù)據(jù)的分布均等化處理是以下所述的處理，即通過插值處理而使處理對象像素P的亮度數(shù)據(jù)接近于對多個像素混合之前的原始圖像設(shè)定的任意像素的亮度數(shù)據(jù)，并且，在上述處理對象像素P的相鄰的兩個像素中，將構(gòu)成離上述處理對象像素更遠的一方的相鄰像素的相當(dāng)于不同顏色的像素設(shè)定為引用像素Q，然后，將利用上述處理對象像素P的亮度數(shù)據(jù)和引用像素Q的亮度數(shù)據(jù)的插值處理而獲得的插值亮度數(shù)據(jù)作為上述處理對象像素P的亮度數(shù)據(jù)?！?6》在涉及關(guān)于上述插值處理所提到的圖像處理方法的《25》的構(gòu)成中，存在以下方式:即，上述第I和第2亮度分布均等化處理步驟進行的亮度數(shù)據(jù)分布均等化處理是以下所述的處理，即，將假設(shè)位于上述相鄰像素的中央的虛擬配置像素P*與上述引用像素Q之間的間距、以及上述處理對象像素P與上述虛擬配置像素P*之間的間距代入分點公式，由此，對上述處理對象像素P的亮度數(shù)據(jù)和上述引用像素Q的亮度數(shù)據(jù)進行比例分割，從所得到的比例分割的結(jié)果獲得上述插值亮度數(shù)據(jù)?！?7》在涉及關(guān)于上述插值處理所提到的圖像處理方法的《25》的構(gòu)成中，也存在以下方式:即，上述第I和第2亮度分布均等化處理步驟進行的亮度數(shù)據(jù)分布均等化處理是以下所述的處理，即，將在假設(shè)使處理對象像素P和引用像素Q向彼此相隔的方向移動并成為均等分布的狀態(tài)的狀態(tài)下的上述處理對象像素P設(shè)為虛擬配置像素P*，然后，將上述引用像素Q與上述虛擬配置像素P*之間的間距、以及上述處理對象像素P與上述虛擬配置像素P*之間的間距代入分點公式，由此，將上述處理對象像素P的亮度數(shù)據(jù)和上述引用像素Q的亮度數(shù)據(jù)進行比例分割，基于所得到的比例分割的結(jié)果獲得上述插值亮度數(shù)據(jù)?！?8》在關(guān)于上述插值處理中提到的圖像處理方法《25》 《27》的構(gòu)成中，存在以下方式:即，上述第I和第2亮度分布均等化處理步驟在進行處理對象像素P的亮度數(shù)據(jù)的插值處理之前進行上述處理對象像素的亮度數(shù)據(jù)的高頻強調(diào)處理?！?9》在關(guān)于上述插值處理中提到的圖像處理方法《25》 《27》的構(gòu)成中，存在以下方式:即，上述第I和第2亮度分布均等化處理步驟在進行處理對象像素P的亮度數(shù)據(jù)的插值處理之后進行上述處理對象像素的亮度數(shù)據(jù)的高頻強調(diào)處理?！?0》在關(guān)于上述圖像處理方法的《17》 《29》的構(gòu)成中，存在以下方式:即，上述原始圖像RAW數(shù)據(jù)是具有RGB拜耳陣列的周期性、并且沿著水平方向的反復(fù)BG的行數(shù)據(jù)和反復(fù)GR的行數(shù)據(jù)被在垂直方向上交替輸出的RAW數(shù)據(jù)?！?1》在關(guān)于上述圖像處理方法的《17》 《29》的構(gòu)成中，也存在以下方式:即，上述原始圖像RAW數(shù)據(jù)是使用具有通過補色濾光器以周期性進行了顏色排列的多顏色的像素的單板彩色拍攝元件獲得的RAW數(shù)據(jù)?！?2》在關(guān)于上述圖像處理方法的上述《17》 《29》的構(gòu)成中，也存在以下方式:即，上述原始圖像RAW數(shù)據(jù)是使用單板彩色拍攝元件獲取的RAW數(shù)據(jù)，該拍攝元件具有通過補色濾光器利用在行上的像素單位以周期性進行了顏色排列的多顏色的像素和在其他行不具有周期性的單一顏色的像素。
實施例以下，參照附圖對本發(fā)明的圖像處理裝置以及圖像處理方法的實施例進行說明。(預(yù)備性說明)作為安裝了本發(fā)明的圖像處理裝置的裝置，在圖27中舉例給出了作為單板式數(shù)字相機的拍攝裝置A。在拍攝部6中，通過光學(xué)透鏡I的光，通過光學(xué)LPF (低通濾光器)2和彩色濾光器3入射到拍攝元件4。在CCD型或CMOS型的拍攝元件4的光接收面上二維地排列了多個光電二極管。光學(xué)LPF2將取決于拍攝元件4的像素間距的采樣頻率以上的高頻分量除去。彩色濾光器3在與拍攝元件4的各像素對應(yīng)的位置上具有存在R、G、B的任意一種顏色的顏色陣列，進行入射到光電二極管的光的顏色選擇。圖28A表示作為RGB原色類型的彩色濾光器陣列的例子的拜耳陣列，彩色要素在水平方向以及垂直方向上分別按恒定的間距排列成正方形的行列。也可以是圖28B的蜂窩式陣列。在拍攝元件4的光接收面成像的被攝體圖像被各光電二極管轉(zhuǎn)換成與入射的光量相應(yīng)的量的信號電荷，并基于驅(qū)動脈沖而作為與信號電荷相應(yīng)的電壓信號(圖像信號)被按順序讀出。拍攝元件4具有利用快門脈沖的定時來控制各光電二極管的電荷積累時間(快門速度)的電子快門功能。拍攝元件4的動作(曝光、讀出等)由CPU17控制。18是保存有程序以及控制所需的各種數(shù)據(jù)等的ROM(只讀存儲器)，19是作為CPU17的工作用區(qū)域而使用的RAM(隨機存取存儲器)。從拍攝元件4輸出的圖像信號被發(fā)送到AFE(模擬前端)部5，在進行模擬增益調(diào)整和CDS(相關(guān)二次采樣)等處理之后，利用Α/D轉(zhuǎn)換處理轉(zhuǎn)換成數(shù)字的圖像數(shù)據(jù)。在利用JPEG格式進行記錄的模式的情況下，從拍攝元件4輸出的原始圖像的數(shù)據(jù)經(jīng)過前處理部7被發(fā)送給圖像信號處理部10。前處理部7和圖像信號處理部10進行以下處理:即，根據(jù)來自CPU17的命令經(jīng)由存儲器控制部8并利用圖像存儲器9獲得關(guān)于各像素的R/G/B的信息的同時化處理、白平衡調(diào)整、伽瑪校正、亮度.色差信號的生成、輪廓強調(diào)、利用電子變焦功能的變倍(擴大/縮小)處理等。經(jīng)過信號處理的圖像數(shù)據(jù)被發(fā)送到壓縮擴展部13，根據(jù)JPEG格式的壓縮格式進行壓縮，并通過記錄介質(zhì)I/F(接口)部14記錄在記錄介質(zhì)15中。另一方面，在將減少了拍攝元件4的輸出有效像素數(shù)的原始圖像RAW數(shù)據(jù)進行輸出的情況下，先進行位于從在拍攝元件4上以拜耳陣列配置的每隔一個像素為相同顏色的光接收元件而獲得的信號的關(guān)注像素附近的同色像素信號的混合，然后輸出(九個像素混合、四個像素混合)。該原始圖像RAW數(shù)據(jù)被以使圖中所示的反復(fù)BG的行數(shù)據(jù)和反復(fù)GR的行數(shù)據(jù)被交替反復(fù)的連續(xù)的行數(shù)據(jù)的形式輸入到前處理部7。在記錄RAW數(shù)據(jù)的模式的情況下，圖像數(shù)據(jù)在不經(jīng)過同時化其他信號處理的情況下被經(jīng)由存儲器控制部8和記錄介質(zhì)I/F部14而記錄到記錄介質(zhì)15中。RAW數(shù)據(jù)并未進行同時化等的信號處理，每個像素只保持一個不同顏色信息的馬賽克狀的圖像。由于也不進行壓縮處理，因此具有較大的文件尺寸。另外，還有對RAW數(shù)據(jù)進行可逆性壓縮的模式。實施例對如上所述構(gòu)成的拍攝裝置A中的圖像處理裝置及其圖像處理方法的實施例1進行說明。該圖像處理裝置的整個部分或主要部分構(gòu)成在圖27中的前處理部7。另外，有時也作為專用的圖像處理裝置構(gòu)成。它是在保持RAW數(shù)據(jù)的狀態(tài)記錄在記錄介質(zhì)15的情況下，從記錄介質(zhì)15讀入RAW數(shù)據(jù)并處理的裝置。圖5 (a)的圖表示的是，針對從拍攝部6的AFE部5輸出的四個像素混合后的RAW數(shù)據(jù)在上述處理部7中進行分布均等化處理的順序的概況。如上所述，四個像素混合后的RAW數(shù)據(jù)以使反復(fù)BG的行數(shù)據(jù)和反復(fù)GR的行數(shù)據(jù)被交替反復(fù)的連續(xù)的行數(shù)據(jù)的形式被輸入到前處理部7。如圖5(a)所示，通過對作為單板式的原始圖像數(shù)據(jù)(I面)的四個像素混合后的RAW數(shù)據(jù)Dll實施水平分布均等化處理Hl和垂直分布均等化處理Vl這兩個步驟的處理，來進行在二維方向上的分布均等化處理。利用水平分布均等化處理H1，將四個像素混合后的RAW數(shù)據(jù)Dll作為在水平方向上進行了分布均等化的RAW數(shù)據(jù)D12(第I多顏色陣列數(shù)據(jù))，然后，利用垂直分布均等化處理Vl將其作為在垂直方向上進行了分布均等化的最終的RAW數(shù)據(jù)D13 (第2多顏色陣列數(shù)據(jù))。分布均等化處理是將表示連續(xù)輸入的各個混合后的像素數(shù)據(jù)分別擔(dān)當(dāng)原始圖像RAW數(shù)據(jù)中的哪一個坐標位置的數(shù)據(jù)的像素數(shù)據(jù)分布以在水平方向或垂直方向上成為均等的方式進行校正的處理。雖然毋庸置疑，但若為了不引起誤解而注釋的話，則分布均等化處理不變更(移動)像素的位置(二維空間的坐標位置)。最終只涉及到像素數(shù)據(jù)的數(shù)據(jù)插值，僅僅是在進行該數(shù)據(jù)插值之后的運算中利用坐標位置。在將處理對象像素的像素值(亮度以及色度)比擬作坐標空間的分布進行比較的情況下，成為不均等的分布，因此，為了改正這一點，使用相鄰的像素的像素值來校正處理對象像素的像素值，由此，在將校正后的像素值比擬作坐標空間的分布進行比較的情況下，成為均等分布(*1)。作為由兩個步驟形成的水平分布均等化處理Hl和垂直分布均等化處理Vl的實施方式，具有以下要提到的兩種方式。圖5的(b)和(c)分別表示它們的概況。在圖5(b)所示的方式中，作為兩個步驟的分布均等化處理Hll和Vll的緩存器而使用幀存儲器FMl。將水平分布均等化處理Hll之后的RAW數(shù)據(jù)D12 (第I多顏色陣列數(shù)據(jù))暫且都寫入幀存儲器FMl中。接下來，當(dāng)從幀存儲器FMl讀出RAW數(shù)據(jù)D12時，向與寫入時正交的方向的垂直方向讀出并進行垂直分布均等化處理VII，獲得分布均等化的最終的RAW數(shù)據(jù)D13 (第2多顏色陣列數(shù)據(jù))。在這種方式的情況下，垂直分布均等化處理Vll成為與水平分布均等化處理Hll相同的處理。在圖5(c)所示的方式中，為了將兩個步驟的分布均等化處理H12和V12作為管線(pipe-line)處理(并列處理)，使用由多個行形成的行存儲器LMl作為緩存器。實施水平分布均等化處理Hl2，并將其輸出寫入行存儲器LMl中。同時，從行存儲器LMl中讀出在RAW數(shù)據(jù)D12中集合的多行的RAW數(shù)據(jù)，在與多行上的水平方向的同一個位置的數(shù)據(jù)垂直的方向上進行垂直分布均等化處理V12，獲得分布均等化的最終的RAW數(shù)據(jù)D13。此時，垂直分布均等化處理V12成為與水平分布均等化處理H12不同的處理。圖5(b)和圖5(c)的圖像處理裝置內(nèi)置于圖27的拍攝裝置A中的前處理部7內(nèi)。接下來，使用圖6對水平分布均等化處理Hl進行詳細說明。水平分布均等化處理Hl是進行行上的像素單位的處理的一維的管線處理，包括:彩色載波除去濾光處理部11，其從四個像素混合后的RAW數(shù)據(jù)的反復(fù)BG或GR的行數(shù)據(jù)dl中提取行亮度數(shù)據(jù)d2 ;彩色載波提取濾光處理部12，其從行數(shù)據(jù)dl中提取以BG進行行反復(fù)或者以GR進行行反復(fù)的行彩色載波數(shù)據(jù)d4 ;水平分布均等化處理部20，其通過對行亮度數(shù)據(jù)d2進行水平方向的分布均等化處理從而生成行亮度數(shù)據(jù)d3 ;以及彩色陣列再現(xiàn)處理部30，其將分布均等化的行亮度數(shù)據(jù)d3和事先劃分的行彩色載波數(shù)據(jù)d4進行再合成，并生成在水平方向上分布均等化的行數(shù)據(jù)d5。彩色載波除去濾光處理部11和彩色載波提取濾光處理部12相當(dāng)于圖1的第I濾光處理部al，水平分布均等化處理部相當(dāng)于圖1的第I亮度分布均等化處理部a2，彩色陣列再現(xiàn)處理部30相當(dāng)于圖1的第I彩色陣列再現(xiàn)處理部a7。另外，行數(shù)據(jù)dl相當(dāng)于第I多顏色陣列數(shù)據(jù)，行亮度數(shù)據(jù)d2相當(dāng)于第I亮度數(shù)據(jù)，行彩色載波數(shù)據(jù)d4相當(dāng)于第I彩色載波數(shù)據(jù)，行亮度數(shù)據(jù)d3相當(dāng)于第2亮度數(shù)據(jù)，行數(shù)據(jù)d5相當(dāng)于RAW數(shù)據(jù)12、即第I多顏色陣列數(shù)據(jù)。另外，雖然在圖6中對關(guān)于四個像素混合后的RAW數(shù)據(jù)的反復(fù)BG的行數(shù)據(jù)進行了圖示，但反復(fù)GR的行數(shù)據(jù)也成為同樣的處理。對使用圖6所示的水平分布均等化處理功能來對四個像素混合的拜耳陣列的圖像進行處理的情況進行說明。該處理過程用于使用高像素的拍攝元件4進行動態(tài)圖像攝影。如圖6所示，成為輸入圖像的四個像素混合后的原始圖像RAW數(shù)據(jù)是反映了拜耳陣列的像素配置的馬賽克狀的圖像數(shù)據(jù)，通常，從拍攝元件4中以行單位讀出。該行單位的輸入數(shù)據(jù)分為兩種，一種是按照每個像素來反復(fù)B和G的信息的BG的行數(shù)據(jù)dl，一種是圖中沒有表示的按照每個像素來反復(fù)G和R的信息的GR的行數(shù)據(jù)dl。這兩種行數(shù)據(jù)dl經(jīng)過用于除去以兩個像素周期進行變化的奈奎斯特頻率附近的彩色載波的彩色載波除去濾光處理部11的處理，針對反復(fù)BG的行，生成成為B和G的平均值{δ (B+G)}的行亮度數(shù)據(jù)d2，針對圖中沒有表示的反復(fù)GR的行，生成成為G和R的平均值{ δ (G+R)}的行亮度數(shù)據(jù)d2 ( δ=1/2)。另外，BG或GR的兩種行數(shù)據(jù)dl經(jīng)過用于提取以兩個像素周期進行變化的奈奎斯特頻率附近的彩色載波的彩色載波提取濾光處理部12的處理，針對反復(fù)BG的行，輸出以奈奎斯特頻率進行了調(diào)制的BG的行彩色載波數(shù)據(jù)d4 ;針對圖中沒有表示的反復(fù)GR的行，輸出以奈奎斯特頻率進行了調(diào)制的GR的行彩色載波數(shù)據(jù)d4。BG或GR的兩種行亮度數(shù)據(jù)d2利用水平分布均等化處理部20進行像素數(shù)據(jù)分布校正，并作為BG或GR的分布均等化的行亮度數(shù)據(jù)d3而輸出。接下來，對水平分布均等化處理部20進行詳細說明。圖7表示的是，將混合后的像素數(shù)據(jù)組中的水平方向上的偶數(shù)項的像素數(shù)據(jù)的亮度值擬制成坐標的右側(cè)移動而進行插值的形式的水平分布均等化處理部20的構(gòu)成。輸入到水平分布均等化處理部20的行亮度數(shù)據(jù)d2成為使上述反復(fù)BG的行數(shù)據(jù)和反復(fù)GR的行數(shù)據(jù)被交替反復(fù)的連續(xù)的行數(shù)據(jù)的形式。該行亮度數(shù)據(jù)d2由于四個像素混合輸出的緣故，像素數(shù)據(jù)分布變得不均衡。通過圖示所表示的兩個像素過分接近、兩個像素相隔過遠的情況就是這種情況。不過，各像素數(shù)據(jù)是在定時上相同的時間間隔的狀態(tài)下被輸入的，這一點需要注意。行亮度數(shù)據(jù)d2被輸入到一像素延遲器21。設(shè)置一像素延遲器21的原因是:為了使用圖3說明的在時間上存在一時鐘之差的兩個像素數(shù)據(jù)、也就是處理對象像素P和引用像素Q這兩個數(shù)據(jù)來對處理對象像素P的亮度值進行插值處理，而需要使這兩個像素數(shù)據(jù)的定時一致。利用乘法器22將一像素延遲器21的輸出與系數(shù)α相乘，利用乘法器23將一像素延遲器21的輸入與系數(shù)β相乘并輸入到加法器24中，再利用除法器25將加法的結(jié)果除以(α+β)。利用輸出的像素開關(guān)部26每隔一個像素交替地選擇一像素延遲器21的輸出和利用除法器25進行的(α+β)的除法計算的輸出。首先，對將偶數(shù)項的像素數(shù)據(jù)的亮度值擬制成坐標的右側(cè)移動而進行插值的分布均等化的操作進行說明。當(dāng)輸入的行亮度數(shù)據(jù)d2的奇數(shù)項的像素數(shù)據(jù)被輸入到一像素延遲器21時(即，行亮度數(shù)據(jù)d2的奇數(shù)項的像素數(shù)據(jù)在一像素延遲器21被延遲處理并輸出時)，像素開關(guān)部26選擇上述奇數(shù)項的像素數(shù)據(jù)且直通輸出。在圖3B中，這一點與處理對象像素P (偶數(shù)項)的左邊相鄰的像素P-(奇數(shù)項)的亮度值不變地配置在正下方的情況相對應(yīng)。相比之下，當(dāng)輸入的行亮度數(shù)據(jù)d2的偶數(shù)項的像素數(shù)據(jù)被輸入到一像素延遲器21時，利用乘法器22將從一像素延遲器21輸出的延遲后的偶數(shù)項的像素數(shù)據(jù)與系數(shù)α相乘，另一方面，利用乘法器23將奇數(shù)項的像素數(shù)據(jù)在不進行延遲處理的情況下與系數(shù)β相乘。然后，利用加法器24將這兩個像素數(shù)據(jù)相加，然后，利用除法器25使該加法的結(jié)果除以(α+β)，利用像素開關(guān)部26選擇并輸出該除法計算的結(jié)果(利用線性插值處理進行的亮度值的分布均等化輸出)。在圖3Β中，這一點與處理對象像素P (偶數(shù)項)通過自身亮度值Ya和引用像素Q的亮度值Yb而被插值處理成亮度值Ya*的情況相對應(yīng)。順便說明，處理對象像素P和引用像素Q從定時上看存在一個像素份之差。引用像素Q比處理對象像素P延遲一個像素份。因此，通過用一像素延遲器21將像素數(shù)據(jù)延遲一個像素份(保持處理對象像素P)，來等待引用像素Q被輸入，以進行處理對象像素P的插值處理。處理對象像素P的亮度值Ya與系數(shù)α ( = 2)相乘，引用像素Q的亮度值Yb與系數(shù)β ( = I)相乘，接下來，進行加法計算處理和除法計算處理，由此，獲得插值后的亮度值Ya*。另外，圖3表示的是原始圖像RAW數(shù)據(jù)的空間分布情況，并不是表示像素數(shù)據(jù)的時間分布。在空間上，處理對象像素P和引用像素Q相隔三個像素份，但在時間上，與其他所有的像素組相同，都相隔一個像素份。根據(jù)本處理，能夠?qū)⒒旌虾蟮南袼財?shù)據(jù)組中的水平方向上的偶數(shù)項的像素數(shù)據(jù)的亮度值擬制為坐標的右側(cè)移動而進行插值。乘法器22的系數(shù)α和乘法器23的系數(shù)β由于利用相鄰的兩個像素的線性插值來對由于四個像素混合導(dǎo)致的像素數(shù)據(jù)分布的不均衡進行校正處理，因此在理論上成為α: β = 2:1。不過，為了簡化利用除法器25進行的除法計算處理，能夠通過以作為近似值而成為例如α: @=10:6或0: β = 11: 5的方式，將(α+β)設(shè)為2的指數(shù)(2η)的16，從而簡化處理。圖8表示的是通過高頻強調(diào)來保持水平方向的清晰度、并將偶數(shù)項的像素數(shù)據(jù)的亮度值擬制為坐標的右側(cè)移動而進行插值的方式的水平分布均等化處理部20的構(gòu)成。像素數(shù)據(jù)分布不均衡的行亮度數(shù)據(jù)d2被輸入到一像素延遲器21a和高頻強調(diào)處理部27。一像素延遲器21a對行亮度數(shù)據(jù)d2進行一像素份延遲處理，并將延遲結(jié)果輸入到輸出的像素開關(guān)部26。高頻強調(diào)處理部27將行亮度數(shù)據(jù)d2的高頻的增益提高，然后，將處理后的行亮度數(shù)據(jù)d2輸入到一像素延遲器21和乘法器23。一像素延遲器21對高頻強調(diào)處理部27的輸出進行一像素份延遲處理，并將延遲結(jié)果輸入到乘法器22。乘法器22將一像素延遲器21的輸出與系數(shù)α相乘，并將相乘的結(jié)果輸入到加法器24。乘法器23將高頻強調(diào)處理部27的輸出(一像素延遲器21的輸入)與系數(shù)β相乘，并將相乘的結(jié)果輸入到加法器24。加法器24將乘法器22的輸出與乘法器23的輸出相加，并將相加的結(jié)果輸入到除法器25。除法器25將加法器24的輸出除以(α+β)，并將除法計算的結(jié)果輸入到輸出的像素開關(guān)部26。輸出的像素開關(guān)部26每隔一個像素交替地選擇一像素延遲器21a的輸出和除法器25的輸出。在該構(gòu)成中，將進行高頻強調(diào)的對象僅作為涉及使用系數(shù)α和β的插值處理的像素數(shù)據(jù)，不是插值處理對象的像素數(shù)據(jù)僅直通(through)像素開關(guān)部26而不進行高頻強調(diào)。這樣一來，在將高頻強調(diào)處理部27配置在輸入側(cè)的本實施方式中，直通的行是從高頻強調(diào)處理部27的輸入側(cè)分支，而不是一像素延遲器21的輸出側(cè)。而且，與插入高頻強調(diào)處理部27的部分的延遲相應(yīng)地，在直通的行上插入一像素延遲器21a。接下來，對將偶數(shù)項的像素數(shù)據(jù)的亮度值擬制為坐標的右側(cè)移動而進行插值的分布均等化的操作進行說明。當(dāng)輸入的行亮度數(shù)據(jù)d2的奇數(shù)項的像素數(shù)據(jù)成為一像素延遲器21a的輸出時，像素開關(guān)部26選擇奇數(shù)項的像素數(shù)據(jù)進行直通輸出。另一方面，當(dāng)輸入的行亮度數(shù)據(jù)d2的偶數(shù)項的像素數(shù)據(jù)成為一像素延遲器21a的輸出時，利用乘法器22將從一像素延遲器21輸出的偶數(shù)項的像素數(shù)據(jù)與系數(shù)α相乘；利用乘法器23將由高頻強調(diào)處理部27處理并輸入到一像素延遲器21中的奇數(shù)項的像素數(shù)據(jù)與系數(shù)β相乘。然后，利用加法器24將這兩個像素數(shù)據(jù)相加，并利用除法器使加法器24的計算結(jié)果除以(α + β )，除法器25的除法計算結(jié)果(利用線性插值處理進行的亮度值的分布均等化輸出)被輸入到像素開關(guān)部26。像素開關(guān)部26將一像素延遲器21a的輸出和除法器25的除法計算結(jié)果選擇輸出。根據(jù)本處理，在插值處理之前，關(guān)于用于插值處理的像素P和Q的亮度數(shù)據(jù)事先對高頻分量進行增益提高以進行強調(diào)，因此，即使在之后的插值處理中高頻分量減少，作為結(jié)果，也從整體上解決了高頻分量的衰減。因此，能夠在不會破壞水平方向的清晰度的情況下，將混合后的像素數(shù)據(jù)組中的水平方向的偶數(shù)項的像素數(shù)據(jù)的亮度值擬制成坐標的右側(cè)移動而進行插值，即使存在由于插值處理引起的高頻分量減少的問題，也能夠提高畫質(zhì)改善的效果。在上述內(nèi)容中，由于利用相鄰的兩個像素的線性插值對四個像素混合導(dǎo)致的像素數(shù)據(jù)分布的不均衡進行校正處理，因此，乘法器22的系數(shù)α和乘法器23的系數(shù)β在理論上成為α: β = 2:1。不過，為了簡化利用除法器25進行的除法計算，能夠通過以作為近似值而成為例如ct: 6=10:6或<!: β = 11: 5的方式將(α+β)設(shè)為2的指數(shù)(2η)的16，從而簡化處理。圖9也表示通過高頻強調(diào)來保持水平方向的清晰度，并將偶數(shù)項的像素數(shù)據(jù)的亮度值擬制為坐標的右側(cè)移動而進行插值的方式的水平分布均等化處理部20的構(gòu)成。與圖8的不同之處在于:針對每隔一個像素進行了插值處理的連續(xù)的分布均等化處理后的像素數(shù)據(jù)，利用像素開關(guān)部26之后的高頻強調(diào)處理部28只對插值像素數(shù)據(jù)進行高頻強調(diào)。圖10表示將混 合后的像素數(shù)據(jù)組中的水平方向上的奇數(shù)項的像素數(shù)據(jù)的亮度值擬制為坐標的左側(cè)移動而進行插值的實施方式的水平分布均等化處理部20的構(gòu)成。像素數(shù)據(jù)分布不均衡的行 亮度數(shù)據(jù)d2被輸入到一像素延遲器31、乘法器32和像素開關(guān)部36中。乘法器32將一像素延遲器31的輸入與系數(shù)α相乘。一像素延遲器31將行亮度數(shù)據(jù)d2延遲一像素份。一像素延遲器31的輸出被輸入到乘法器33。乘法器33將一像素延遲器31的輸出與系數(shù)β相乘。乘法器33的輸出和乘法器34的輸出被輸出到加法器34。加法器34將乘法器33的輸出和乘法器34的輸出相加，并將計算結(jié)果輸入到除法器35。除法器35使乘法器34的加法計算結(jié)果除以(α + β )，并將該計算結(jié)果輸入到像素開關(guān)部36。像素開關(guān)部36每隔一個像素地交替選擇并輸出一像素延遲器31的輸入和除法器35的除法計算結(jié)果。對將奇數(shù)項的像素數(shù)據(jù)的亮度值擬制為坐標的左側(cè)移動而進行插值的分布均等化的操作進行說明。當(dāng)被輸入的行亮度數(shù)據(jù)d2的偶數(shù)項的像素數(shù)據(jù)成為一像素延遲器31的輸入時，像素開關(guān)部36選擇上述偶數(shù)項的像素數(shù)據(jù)并直通輸出。這在圖3C中與處理對象像素P (奇數(shù)項)的左側(cè)的像素Q (偶數(shù)項)的亮度值為不變并配置在正下方的情況相對應(yīng)。
另一方面，當(dāng)輸入的行亮度數(shù)據(jù)d2的奇數(shù)項的像素數(shù)據(jù)成為一像素延遲器31的輸入時，利用乘法器32將輸入到一像素延遲器31的奇數(shù)項的像素數(shù)據(jù)與系數(shù)α相乘，利用乘法器33將從一像素延遲器31輸出的偶數(shù)項的像素數(shù)據(jù)與系數(shù)β相乘。然后，利用加法器34將這兩個像素數(shù)據(jù)相加，然后利用除法器35使該加法計算的結(jié)果除以(α + β )，利用像素開關(guān)部36選擇并輸出該除法計算的結(jié)果(利用線性插值處理進行的亮度值的分布均等化輸出)。在圖3C中，這一點與處理對象像素P(奇數(shù)項)通過自身亮度值Ya和引用像素Q的亮度值Yb被插值處理成亮度值Ya*的情況相對應(yīng)。順便說明，引用像素Q和處理對象像素P從定時上看，存在一個像素份之差。處理對象像素P比引用像素Q延遲一個像素份。因此，通過用一像素延遲器31保持引用像素Q，從而等待處理對象像素P的輸入，進行處理對象像素P的插值處理。處理對象像素P的亮度值Ya與系數(shù)α ( = 2)相乘，引用像素Q的亮度值Yb與系數(shù)β ( = I)相乘，接下來，利用加法計算處理對乘法計算結(jié)果進行除法計算處理，獲得插值后的亮度值Ya*。通過本處理，能夠?qū)⒒旌虾蟮南袼財?shù)據(jù)組中的水平方向的奇數(shù)項的像素數(shù)據(jù)的亮度值擬制為坐標的左側(cè)移動而進行插值。由于利用相鄰的兩個像素的線性插值對四個像素混合導(dǎo)致的像素數(shù)據(jù)分布的不均衡進行校正處理，因此，乘法器32的系數(shù)α和乘法器33的系數(shù)β在理論上成為α: β=2: I。不過，為了簡化利用除法器35進行的除法計算，能夠通過以作為近似值成為例如α: 3=10:6或0: β = 11: 5的方式將(α + β )設(shè)為2的指數(shù)(2η)的16，從而簡化處理。另夕卜，α: β = 11: 5比α: β = 10: 6精確度更高。圖11表示通過高頻強調(diào)來保持水平方向的清晰度，并將奇數(shù)項的像素數(shù)據(jù)的亮度值擬制成坐標的左側(cè)移動而進行插值的實施方式的水平分布均等化處理部20的構(gòu)成。像素數(shù)據(jù)分布不均衡的行亮度數(shù)據(jù)d2被高頻強調(diào)處理部37提高到高頻的增益，然后，被輸入到一像素延遲器31中。另外，一像素延遲器31的輸入也被輸入到乘法器32中，并在此與系數(shù)α相乘。一像素延遲器31的輸出利用乘法器33與系數(shù)β相乘，然后，被輸入到加法器34中。加法器34將乘法器33的乘法計算結(jié)果和乘法器32的乘法計算結(jié)果相加，并將加法計算結(jié)果輸入到除法器35。除法器35使加法器34的加法計算結(jié)果除以(α+β)，并將該計算結(jié)果輸入到輸出的像素開關(guān)部36。像素開關(guān)部36每隔一個像素地交替選擇高頻強調(diào)處理部37的輸入和除法器35的除法計算結(jié)果。雖然在圖8的情況下在直通的行中插入了一像素延遲器21，但在圖11的本例的情況下，引用像素Q在前，處理對象像素P在后，因此，不需要用于定時調(diào)整的一像素延遲器。將奇數(shù)項的像素數(shù)據(jù)的亮度值擬制成坐標的左側(cè)移動而進行插值的分布均等化的動作與圖10相同。通過本處理，在插值處理之前，關(guān)于用于插值處理的像素P和Q的亮度數(shù)據(jù)事先對高頻分量進行增益提高以進行強調(diào)，因此，即使在之后的插值處理中高頻分量減少，作為結(jié)果，也從整體上解決了高頻分量的衰減。因此，能夠在不會破壞水平方向的清晰程度的情況下，將混合后的像素數(shù)據(jù)組中的水平方向的奇數(shù)項的像素數(shù)據(jù)的亮度值擬制成坐標的左側(cè)移動而進行插值，即使存在由于插值處理引起的高頻分量減少的問題，也能夠提高畫質(zhì)改善的效果。圖12也表示通過高頻強調(diào)來保持水平方向的清晰度，并將奇數(shù)項的像素數(shù)據(jù)的亮度值擬制成坐標的左側(cè)移動而進行插值的實施方式的水平分布均等化處理部20的構(gòu)成。與圖11的不同之處在于，像素開關(guān)部36之后級的高頻強調(diào)處理部38只對從每隔一個像素進行插值處理的連續(xù)的分布均等化處理后的像素數(shù)據(jù)中選擇性提取的插值像素數(shù)據(jù)進行高頻強調(diào)。圖13表示將混合后的像素數(shù)據(jù)組中的水平方向的偶數(shù)項的像素數(shù)據(jù)的亮度值擬制成向坐標的右側(cè)移動進行插值，將奇數(shù)項的像素數(shù)據(jù)的亮度值擬制成坐標的左側(cè)移動而進行插值的實施方式的水平分布均等化處理部20的構(gòu)成?；緲?gòu)成合成了圖7和圖10的構(gòu)成。在該構(gòu)成中，作為一像素延遲器，設(shè)置了第I 一像素延遲器21和第2 —像素延遲器31這兩個一像素延遲器。因為這與以下的狀態(tài)對應(yīng)。即，在使用圖4A和圖4B說明的時間上具有一時鐘份之差的處理對象像素P和引用像素Q這兩個數(shù)據(jù)來對處理對象像素P的亮度值進行插值處理的情況下，產(chǎn)生以下兩種狀態(tài)，一種是處理對象像素P在時間上提前于引用像素Q的情況，另外一種是處理對象像素Q在時間上延遲于引用像素P的情況。根據(jù)圖13的構(gòu)成，能夠與這兩種狀態(tài)對應(yīng)地進行插值處理。像素數(shù)據(jù)分布不均衡的行亮度數(shù)據(jù)d2被輸入到第I 一像素延遲器21和乘法器23中。第I 一像素延遲器21使行亮度數(shù)據(jù)d2延遲一像素份，并將延遲結(jié)果輸入到乘法器22和第2 —像素延遲器31和乘法器32。乘法器22將第I 一像素延遲器21的輸出與系數(shù)α相乘，并將乘法計算結(jié)果輸入到第I加法器24。乘法器23將行亮度數(shù)據(jù)d2與系數(shù)β相乘，并將乘法計算結(jié)果輸入到第I加法器24。第I加法器24將乘法器22的輸出與乘法器23的輸出相加，并將加法計算結(jié)果輸入到除法器25。除法器25使加法器24的輸出除以(α+β),并將除法計算結(jié)果輸入到輸出的像素開關(guān)部39。第2 —像素延遲器31進一步使第I 一像素延遲部21的輸出延遲一像素份，并將延遲結(jié)果輸入到乘法器33。乘法器33將第2—像素延遲器31的輸出與系數(shù)β相乘，并將乘法計算結(jié)果輸入到第2加法器34。乘法器32將第I 一像素延遲器21的輸出與系數(shù)α相乘，并將乘法計算結(jié)果輸入到第2加法器34。第2加法器34將乘法器33的輸出和乘法器32的輸出相加，并將加法計算結(jié)果輸入到第2除法器35。第2除法器35使第2加法器34的輸出除以(α+β)，并將除法計算的結(jié)果輸入到輸出的像素開關(guān)部39。像素開關(guān)部39每隔一個像素地交替選擇，并輸出第I除法器25的輸出和第2除法器35的輸出。接下來，對根據(jù)圖13的構(gòu)成的將偶數(shù)項的像素數(shù)據(jù)的亮度值擬制為坐標的右側(cè)移動而進行插值，將奇數(shù)項的像素數(shù)據(jù)的亮度值擬制為坐標的左側(cè)移動而進行插值的分布均等化的操作進行說明。當(dāng)所輸入的行亮度數(shù)據(jù)d2的奇數(shù)項的像素數(shù)據(jù)成為第I 一像素延遲器21的輸出時，像素開關(guān)部39選擇第2除法器35的輸出并進行輸出。另一方面，當(dāng)所輸入的行亮度數(shù)據(jù)d2的偶數(shù)項的像素數(shù)據(jù)成為第I 一像素延遲器21的輸出時，像素開關(guān)部39選擇第I除法器25的輸出并進行輸出。通過本處理，能夠?qū)⒒旌虾蟮南袼財?shù)據(jù)組中的水平方向上的偶數(shù)項的像素數(shù)據(jù)的亮度值擬制為坐標的右側(cè)移動而進行插值，將奇數(shù)項的像素數(shù)據(jù)的亮度值擬制為坐標的左側(cè)移動而進行插值。乘法器22和32的系數(shù)α以及乘法器23和33的系數(shù)β，由于利用相鄰的兩個像素的線性插值來對四個像素混合導(dǎo)致的像素數(shù)據(jù)分布的不均衡進行校正處理而在理論上成為α: β = 5:1。不過，為了簡化利用除法器25和35進行的除法計算，能夠通過以作為近似值成為例如α: β =27: 5或α: β = 53: 11的方式將(α+β)設(shè)為2的指數(shù)(2n)的32或64，從而簡化處理。另外，α: 3=27:5與0: β = 28: 4或α: β = 26: 6相比，α: β = 27: 5的精確度更高。另外，α: β = 53: 11與α: β = 54: 10或α: β = 52: 12相比，α: β = 53: 11的精確度更高。α.β = 53.11 比 α.β = 27.5 的精確度更！H]。圖14表示通過高頻強調(diào)來保持水平方向的清晰度、并將偶數(shù)項的像素數(shù)據(jù)的亮度值擬制為坐標的右側(cè)移動而進行插值，將奇數(shù)項的像素數(shù)據(jù)的亮度值擬制成坐標的左側(cè)移動而進行插值的實施方式的水平分布均等化處理部20的構(gòu)成?；緲?gòu)成與圖13的構(gòu)成相同，在輸入中利用高頻強調(diào)處理部27來提高高頻的增益。圖15也表示通過高頻強調(diào)來保持水平方向的清晰度，并將偶數(shù)項的像素數(shù)據(jù)的亮度值擬制為坐標的右側(cè)移動而進行插值，將奇數(shù)項的像素數(shù)據(jù)的亮度值擬制成坐標的左側(cè)移動而進行插值的實施方式的水平分布均等化處理部20的構(gòu)成?；緲?gòu)成與圖13的構(gòu)成相同，在輸出中利用高頻強調(diào)處理部38來提高高頻的增益。返回圖6，利用水平分布均等化處理部20進行了分布均等化的行亮度數(shù)據(jù)d3在顏色陣列再現(xiàn)處理部30中經(jīng)過作為與顏色載波數(shù)據(jù)d4的加法計算處理的再合成處理后，成為使B和G的信息按照每個像素進行反復(fù)的已被分布均等化的行數(shù)據(jù)d5，并被輸出。另夕卜，成為使圖中沒有表示的G和R的信息按照每個像素進行反復(fù)的已被分布均等化的行數(shù)據(jù)，并被輸出。用公式表示反復(fù)BG的行的再合成。首先，如果在亮度數(shù)據(jù){δ (B+G)}和顏色載波數(shù)據(jù){ Y (B-G)，- Y (B-G)}中設(shè)定為δ = 0.5, Y = 0.5，則成為亮度數(shù)據(jù){0.5 (B+G)}、顏色載波數(shù)據(jù){0.5 (B-G)，-0.5 (B-G)}。如果按照每個像素將亮度數(shù)據(jù)相加，則{0.5(B+G) + (B-G)}、{0.5(B+G)-(B-G)}、…被反復(fù)。即，作為 B、G、B、G、…再生反復(fù) BG的行數(shù)據(jù)。

在反復(fù)GR的行中也同樣，如果在亮度數(shù)據(jù){δ (G+R) }、顏色載波數(shù)據(jù){ Y (G-R)，- Y (G-R)}中設(shè)定為δ =0.5, Y =0.5,則成為亮度數(shù)據(jù){0.5 (G+R)}、顏色載波數(shù)據(jù){0.5 (G-R)，-0.5 (G-R)}。如果按照每個像素將亮度數(shù)據(jù)相加，則{0.5 (G+R) + (G-R)}、{0.5(G+R)-(G-R)}、…被反復(fù)。即，作為G、R、G、R、…再生反復(fù)GR的行數(shù)據(jù)。另外，雖然將對應(yīng)于亮度數(shù)據(jù)和顏色載波數(shù)據(jù)的系數(shù)設(shè)為δ和Υ，在加法計算處理之前進行增益調(diào)整，以合成數(shù)據(jù)的增益成為與輸入等同的方式進行處理，但由于目的是從亮度信號和顏色載波信號這兩種信號分量中產(chǎn)生RGB的獨立的一個顏色分量，因此，不一定需要在計算之前進行增益調(diào)整，可以在成為RGB的獨立的顏色分量之后進行增益調(diào)難
iF.0另外，雖然對RGB拜耳陣列的水平方向的尺寸調(diào)整處理功能進行了說明，但蜂窩陣列也能夠?qū)嵤┍景l(fā)明。具體而言，當(dāng)在蜂窩陣列中提取行單位的數(shù)據(jù)時，從圖42B的蜂窩陣列起，奇數(shù)行的R和B周期性反復(fù)，偶數(shù)行成為連續(xù)的G信號。關(guān)于偶數(shù)行，雖然不存在顏色的調(diào)制分量，但能夠利用本發(fā)明的方法將G信號判斷為行亮度數(shù)據(jù)進行處理。另外，關(guān)于不存在調(diào)制分量的僅為G信號的偶數(shù)行，利用顏色載波提取濾光處理部12將輸出的增益設(shè)為0，通過顏色陣列再現(xiàn)處理部30的再合成，R和B的信息作為按照每一像素進行反復(fù)的已被尺寸調(diào)整的RB行數(shù)據(jù)來輸出，G的信息作為連續(xù)排列的已被尺寸調(diào)整的G行數(shù)據(jù)來輸出。
圖6所示的水平分布均等化處理功能在實施圖5(b)中所示的兩個步驟的分布均等化處理Hll和Vll時使用。此時，垂直分布均等化處理Vll當(dāng)從幀存儲器FMl讀出數(shù)據(jù)時，在與寫入時正交的方向的垂直方向上讀出，并輸入到分布均等化處理VII，因此，成為與水平分布均等化處理Hll相同的處理。S卩，垂直分布均等化處理Vll能夠使用與水平分布均等化處理Hll相同的結(jié)構(gòu)，因此，能夠?qū)崿F(xiàn)構(gòu)成的簡化。接下來，如圖5(c)所示，對使用由多行構(gòu)成的行存儲器LMl作為兩個步驟的尺寸調(diào)整處理H12和V12的中間緩存器的情況下的詳細內(nèi)容進行說明。圖16A表不行存儲器LMl的寫入讀出動作。圖16B表不圖16A的下一個行數(shù)據(jù)處理中的相同行存儲器的寫入讀出動作。LMl是由η行構(gòu)成的行存儲器。WC表示針對行存儲器LMl進行的數(shù)據(jù)寫入循環(huán)，作為針對η行的寫入控制，一行一行按順序地以環(huán)狀巡回的方式寫入。RC表示針對行存儲器LMl進行的數(shù)據(jù)讀出循環(huán)，將η行中的(η-1)行的存儲器數(shù)據(jù)匯總并選擇，并且與寫入控制同樣地按照順序以環(huán)狀巡回的方式讀出。在本例中，能夠通過劃分寫入行與讀出行，從而使寫入和讀出非同步地進行。這樣一來，通過將完成了水平方向的分布均等化處理的RAW數(shù)據(jù)D12中的集合在一起的多行份的RAW數(shù)據(jù)從行存儲器LMl中匯總并讀出，從而對多行上的水平方向的同一位置的數(shù)據(jù)dH在縱向上進行垂直分布均等化處理Vl2，獲得被分布均等化的最終的RAW數(shù)據(jù)D13。此時，垂直分布均等化處理V12成為與水平分布均等化處理H12不同的處理，多個行單位的任意的處理針對關(guān)注像素進行垂直方向的分布均等化處理，并在水平方向上進行管線輸出。由于是使用多行的行存儲器LM1，在寫入多行份的多顏色陣列數(shù)據(jù)的同時讀出多行份的數(shù)據(jù)的構(gòu)成，因此，能夠高速化地進行處理。圖17表示利用圖16A和圖16B的行存儲器LMl的情況下的圖5(c)中的垂直分布均等化處理V12的詳細內(nèi)容。該垂直分布均等化處理V12針對關(guān)注像素在垂直方向上進行分布均等化處理，并進行水平方向的一行份的管線處理。該垂直分布均等化處理V12也與圖6的水平分布均等化處理H12相同，作為亮度信號處理和顏色載波提取處理這兩個系統(tǒng)處理來實施。在本例中，作為輸入數(shù)據(jù)，將在與9行份的RAW數(shù)據(jù)垂直的方向上成為相同水平位置的九個像素作為一個垂直方向處理單位dHl和dH2進行處理。具體而言，包括:顏色載波除去濾光處理部41，其從9行份的RAW數(shù)據(jù)中提取在垂直方向上位于關(guān)注行及其上下的三種類的垂直方向亮度數(shù)據(jù)dl2(Yl，Y2，Y3);顏色載波提取濾光處理部42，其提取垂直方向的關(guān)注行位置的顏色載波數(shù)據(jù)dl4 ;垂直分布均等化處理部43，其使用三種類的垂直方向亮度數(shù)據(jù)dl2(Yl，Y2，Y3)進行垂直方向的分布均等化處理，并生成行亮度數(shù)據(jù)dl3 ;以及顏色陣列再現(xiàn)處理部44，其將在垂直方向上分布均等化的行亮度數(shù)據(jù)dl3和顏色載波數(shù)據(jù)dl4再合成，生成最終的在垂直方向上被分布均等化的RAW行數(shù)據(jù)dl5。顏色載波除去濾光處理部41和顏色載波提取濾光處理部42相當(dāng)于圖1的第2濾光處理部bl，垂直分布均等化處理部43相當(dāng)于圖1的第2亮度分布均等化處理部b2，顏色陣列再現(xiàn)處理部44相當(dāng)于圖1的第2顏色陣列再現(xiàn)處理部b7。另外，垂直方向亮度數(shù)據(jù)dl2(Yl，Y2，Y3)相當(dāng)于第3亮度數(shù)據(jù)，顏色載波數(shù)據(jù)dl4相當(dāng)于第2顏色載波數(shù)據(jù)，行亮度數(shù)據(jù)dl3相當(dāng)于第4亮度數(shù)據(jù)，RAff行數(shù)據(jù)dl5相當(dāng)于第2多顏色陣列數(shù)據(jù)。使用在圖17中詳細表示的垂直分布均等化處理功能，關(guān)于拜耳陣列的圖像，對進行像素數(shù)據(jù)的分布均等化處理的情況進行說明。該處理過程與圖6相同，用于例如RAW處理結(jié)果的動態(tài)圖像拍攝。如圖17的垂直方向處理單位dHl和dH2所示，雖然水平分布均等化處理后的四個像素混合RAW數(shù)據(jù)保持著反映了拜耳陣列的像素配置的馬賽克狀的陣列，但像素數(shù)據(jù)分布在垂直方向上成為不均衡。水平分布均等化處理后的四個像素混合RAW數(shù)據(jù)由于將多個行作為同時輸入數(shù)據(jù)，因此，如圖16所示以行單位被巡回地寫入到行存儲器LM1，并將多行匯總后巡回地讀出。相對于水平分布均等化處理后的9行單位的輸入數(shù)據(jù)的各行上的水平方向的同一位置的垂直方向數(shù)據(jù)，垂直方向處理單位dHl成為在垂直方向上使B和G的信息按照每個像素進行反復(fù)的BG列數(shù)據(jù)；垂直方向處理單位dH2成為使在垂直方向上G和R的信息按照每個像素進行反復(fù)的GR列數(shù)據(jù)，這兩種在水平方向上進行反復(fù)。這兩種垂直方向的列數(shù)據(jù)具有在垂直方向上以兩個像素周期進行變化的奈奎斯特頻率附近的顏色載波信息，由于利用除去顏色載波的顏色載波除去濾光處理部41生成位于關(guān)注中心行及其上下行的三種垂直方向亮度數(shù)據(jù)dl2(Yl，Y2，Y3)，因此，分別使用垂直方向處理單位dHl的七個像素的數(shù)據(jù)進行濾光處理。成為B和G的平均值的三種垂直方向亮度數(shù)據(jù)dl2(Yl，Y2，Y3)被從垂直方向處理單位dHl輸出，成為G和R的平均值的三種垂直方向亮度數(shù)據(jù)dl2(Yl，Y2，Y3)被從下一個垂直方向處理單位dH2輸出。另外，上述兩種垂直方向處理單位dHl和dH2利用提取在垂直方向上以兩個像素周期變化的奈奎斯特頻率附近的顏色載波的顏色載波提取濾光處理部42，關(guān)于BG列，被輸入以奈奎斯特頻率調(diào)制的(B-G)分量的顏色載波數(shù)據(jù)dl4，關(guān)于反復(fù)GR的行，輸出以奈奎斯特頻率調(diào)制的(G-R)分量的顏色載波數(shù)據(jù)dl4。為了對亮度數(shù)據(jù)和顏色載波數(shù)據(jù)的垂直方向的像素數(shù)據(jù)分布進行均等化，在顏色載波提取濾光處理部42中，以成為9行的中心的第5行為基準進行在垂直方向上具有對稱系數(shù)的濾光處理。垂直分布均等化處理部43對在垂直方向上提取的三種垂直方向亮度數(shù)據(jù)dl2(Yl，Y2，Y3)進行垂直方向上的像素數(shù)據(jù)的分布均等化處理。圖18表示使用垂直方向的三種垂直方向亮度數(shù)據(jù)dl2 (Yl，Y2，Y3)，將偶數(shù)行的像素數(shù)據(jù)的亮度值擬制為坐標的下側(cè)移動而進行插值，將奇數(shù)行的像素數(shù)據(jù)的亮度值擬制為坐標的上側(cè)移動而進行插值的實施方式的垂直分布均等化處理部43的構(gòu)成。原理與水平方向處理的說明相同，將延遲時間從一像素延遲置換成一行期間的延遲，通過輸入三種垂直方向亮度數(shù)據(jù)dl2(Yl，Y2，Y3)來實現(xiàn)垂直方向的分布均等化處理。在垂直方向上像素數(shù)據(jù)分布不均衡的垂直方向亮度數(shù)據(jù)dl2(Yl，Y2，Y3)，將Y2作為關(guān)注行，將其上方側(cè)的行設(shè)為Y1，將下方側(cè)的行設(shè)為Y3。利用乘法器46將輸入的亮度數(shù)據(jù)Yl與系數(shù)β相乘，利用乘法器45將輸入的亮度數(shù)據(jù)Υ2與系數(shù)α相乘，利用加法器47將所獲得的兩個乘法計算的結(jié)果相加，利用第I除法器48使上述加法計算結(jié)果除以(α +β )。另外，利用乘法器50將輸入的亮度數(shù)據(jù)Υ3與系數(shù)β相乘，利用乘法器49將輸入的亮度數(shù)據(jù)Υ2與系數(shù)α相乘，利用加法器51將所獲得的這兩個乘法計算結(jié)果相加，利用第2除法器52使該計算結(jié)果除以(α+β)。利用輸出的行開關(guān)部53，按照每一個像素地選擇第I除法器48的輸出和第2除法器52的輸出。對將偶數(shù)行的像素數(shù)據(jù)的亮度值擬制為坐標的下側(cè)移動而進行插值，將奇數(shù)行的像素數(shù)據(jù)的亮度值擬制為坐標的上側(cè)移動而進行插值的分布均等化的操作進行說明。在所輸入的行亮度數(shù)據(jù)Y2成為奇數(shù)行的情況下，行開關(guān)部53對第I除法器48的輸出進行一行期間選擇并輸出。另一方面，在所輸入的行亮度數(shù)據(jù)Y2成為偶數(shù)行的情況下，行開關(guān)部53對第2除法器52的輸出進行一行期間選擇并輸出。根據(jù)本處理，能夠?qū)⑴紨?shù)行的像素數(shù)據(jù)的亮度值擬制為坐標的下側(cè)移動而進行插值，將奇數(shù)行的像素數(shù)據(jù)的亮度值擬制為坐標的上側(cè)移動而進行插值。由于利用相鄰的兩行數(shù)據(jù)的線性插值來對由于四個像素混合導(dǎo)致的垂直方向的像素數(shù)據(jù)分布的不均衡進行校正處理，因此，乘法器45、62的系數(shù)α與乘法器46、63的系數(shù)β在理論上成為α: β = 5:1。不過，為了簡化除法器48、65的除法計算處理，能夠通過以作為近似值而成為例如α: β =27: 5或α: β = 53: 11的方式將(α+β)設(shè)為2的指數(shù)(2η)的32或64，從而簡化處理。另外，將偶數(shù)行的像素數(shù)據(jù)的亮度值擬制為坐標的下側(cè)移動而進行插值的情況下的輸出的行開關(guān)部53進行的輸出行的選擇如下所述。即，在Υ2的關(guān)注行為奇數(shù)行的亮度數(shù)據(jù)的情況下，經(jīng)由用雙點劃線表示的信號線直接進行直通輸出，在偶數(shù)行的亮度數(shù)據(jù)的情況下，選擇第2除法器52的輸出。將其按照每一行像素交替切換。不使用除法器48的輸出信號線。此時，由于利用相鄰的兩個行數(shù)據(jù)的線性插值來對像素數(shù)據(jù)分布的不均衡進行校正處理，因此，乘法器49的系數(shù)α與乘法器50的系數(shù)β在理論上成為α: β = 2:1。不過，為了簡化除法器52的除法計算處理，能夠通過以作為近似值而成為例如α: β =10: 6或α: β = 11: 5的方式將(α + β )設(shè)為2的指數(shù)(2η)的16，從而簡化處理。另外，在將奇數(shù)行的像素數(shù)據(jù)的亮度值擬制為坐標的上側(cè)移動而進行插值的情況下，輸出的行開關(guān)部53進行的輸出行的選擇如下所述。即，在Υ2的關(guān)注行為偶數(shù)行的亮度數(shù)據(jù)的情況下，經(jīng)由用雙點劃線線表示的信號線直接進行直通輸出，在奇數(shù)行的亮度數(shù)據(jù)的情況下，選擇第I除法器48的輸出，將其按照每一行像素交替切換。不使用除法器52的輸出信號線。此時，由于利用相鄰的兩個行數(shù)據(jù)的線性插值來對像素數(shù)據(jù)分布的不均衡進行校正處理，因此，乘法器45的系數(shù)α與乘法器46的系數(shù)β在理論上成為α: β =2: I。不過，為了簡化除法器48的除法計算處理，與上述相同，能夠通過以作為近似值而成為例如α: β=10:6*α: β = 11: 5的方式將(α+β)設(shè)為2的指數(shù)(2")的16，從而簡化處理。返回到圖17的處理進行說明。在上述垂直分布均等化處理部43進行處理的在垂直方向被分布均等化的行亮度數(shù)據(jù)dl3，經(jīng)過作為與顏色陣列再現(xiàn)處理部44的顏色載波數(shù)據(jù)dl4的加法計算處理的再合成處理，成為在與垂直方向處理單位dHl垂直的方向上按照每個像素使B和G的信息反復(fù)的在垂直方向上被分布均等化了的反復(fù)BG的行數(shù)據(jù)dl5。在行數(shù)據(jù)dl5中，成為在與垂直方向處理單位dH2垂直的方向上按照每個像素使G和R的信息反復(fù)的在垂直方向上被分布均等化了的數(shù)據(jù)(GR的行數(shù)據(jù)dl5)。通過上述處理，能夠生成在水平和垂直方向上都進行了像素數(shù)據(jù)的分布均等化處理的RAW數(shù)據(jù)。將如上所述獲得的RAW分布均等化處理后的圖像數(shù)據(jù)(dl5)輸入到圖27的圖像信號處理部10進行信號處理，轉(zhuǎn)換成最終的圖像，例如動態(tài)圖像攝影圖像。圖19A以及圖19B表示的是:針對實際的拜耳陣列的四個像素混合的RAW數(shù)據(jù)，在與CZP(圓形波帶片:circular zone plat e)圖像水平和垂直的兩個方向上進行本發(fā)明的分布均等化處理的情況下的分布均等化處理RAW數(shù)據(jù)結(jié)果。圖19A的處理圖像是拍攝元件上的四個像素混合的拜耳陣列的RAW數(shù)據(jù)(原始圖像:無高頻強調(diào))。圖19B的處理圖像是對拍攝元件上的四個像素混合的拜耳陣列的RAW數(shù)據(jù)實施了本發(fā)明的分布均等化處理的結(jié)果(有高頻強調(diào))。通過對圖19A的區(qū)域Ul和圖19B的區(qū)域U2進行比較或?qū)^(qū)域Wl和區(qū)域W2進行比較可知，能夠從四個像素混合后的RAW數(shù)據(jù)生成減輕了由于四個像素混合引起的反復(fù)所導(dǎo)致的不穩(wěn)定(鋸齒狀邊緣:jaggy)的RAW數(shù)據(jù)。在高頻強調(diào)的情況下，成為圖20B的區(qū)域W3所示，能夠更加抑制由于四個像素混合引起的反復(fù)所導(dǎo)致的不穩(wěn)定，并獲得更加流暢的清晰度?？傊鶕?jù)本實施例，以由于四個像素混合等偶數(shù)像素混合輸出而導(dǎo)致在二維方向上像素數(shù)據(jù)分布產(chǎn)生不均衡的原始圖像RAW數(shù)據(jù)作為處理對象，能夠降低偽亮度信號和偽色，并確保清晰度。實施例2以下，對本發(fā)明的實施例2中的圖像處理裝置以及圖像處理方法進行說明。圖21 (a)表示的是針對四個像素混合后的RAW數(shù)據(jù)，在圖27的拍攝裝置A的前處理部7進行分布均等化并且進行尺寸調(diào)整處理的順序的概要。如圖21(a)所示，作為單板式的原始圖像(一面)的四個像素混合后的RAW數(shù)據(jù)D21的分布均等化以及尺寸調(diào)整處理是作為水平分布均等化及尺寸調(diào)整處理H2、以及垂直分布均等化及尺寸調(diào)整處理V2這兩個步驟的處理進行的。四個像素混合后的RAW數(shù)據(jù)D21通過水平分布均等化及尺寸調(diào)整處理H2成為在水平方向上進行了分布均等化及尺寸調(diào)整處理的RAW數(shù)據(jù)D22 ;通過垂直分布均等化及尺寸調(diào)整處理V2進一步成為在垂直方向上進行了分布均等化及尺寸調(diào)整處理的RAW數(shù)據(jù)D23。作為由兩個步驟構(gòu)成的水平分布均等化及尺寸調(diào)整處理H2、以及垂直分布均等化及尺寸調(diào)整處理V2的實施方式，具有以下所述的兩個實施方式。圖21(b)和圖21 (c)分別表示其概要。在圖21的(b)所示的實施方式中，使用幀存儲器FM2作為兩個步驟的分布均等化及尺寸調(diào)整處理H21、V21的緩沖器。將水平分布均等化及尺寸調(diào)整處理H21之后的RAW數(shù)據(jù)D22都暫時寫入幀存儲器FM2。接下來，當(dāng)從幀存儲器FM2讀出RAW數(shù)據(jù)D22時，在與寫入時正交的方向的垂直方向上讀出并進行垂直分布均等化及尺寸調(diào)整處理V21，獲得分布均等化及尺寸調(diào)整處理過的最終的RAW數(shù)據(jù)D32。在這種實施方式的情況下，垂直分布均等化及尺寸調(diào)整處理V21成為與水平分布均等化及尺寸調(diào)整處理H21相同的處理。在圖21(c)所示的實施方式中，為了將兩個步驟的分布均等化及尺寸調(diào)整處理H22、V22設(shè)為管線處理，使用由多行形成的行存儲器LM2作為緩沖器。實施水平分布均等化及尺寸調(diào)整處理H22，并將其輸出寫入行存儲器LM2中。同時，從行存儲器LM2中讀出RAW數(shù)據(jù)D22中的匯總的多行份的RAW數(shù)據(jù)，對多行上的水平方向的同一位置的數(shù)據(jù)在垂直方向上進行垂直分布均等化及尺寸調(diào)整處理V22，獲得分布均等化的最終的RAW數(shù)據(jù)D23。此時，垂直分布均等化及尺寸調(diào)整處理V22成為與水平分布均等化及尺寸調(diào)整處理H22不同的處理。使用圖22對水平分布均等化及尺寸調(diào)整處理H2進行詳細說明。水平分布均等化及尺寸調(diào)整處理H2是進行行上的像素單位的處理的一維的管線處理，包括:顏色載波除去濾光處理部61，其從四個像素混合后的RAW數(shù)據(jù)的反復(fù)BG或GR的行數(shù)據(jù)d21提取連續(xù)的行亮度數(shù)據(jù)d22 ;顏色載波提取濾光處理部62，其從行數(shù)據(jù)d21中提取反復(fù)BG或GR的連續(xù)的行顏色載波數(shù)據(jù)d25 ;水平分布均等化處理部63 (相當(dāng)于圖2的第I亮度分布均等化處理部a2)，其通過對行亮度數(shù)據(jù)d22進行水平方向的分布均等化處理從而生成行亮度數(shù)據(jù)d23 ;水平亮度尺寸調(diào)整處理部64，其通過對分布均等化的行亮度數(shù)據(jù)d23進行縮小調(diào)整處理從而生成行亮度數(shù)據(jù)d24 ;顏色反轉(zhuǎn)解調(diào)部65，其通過對調(diào)制的行顏色載波數(shù)據(jù)d25進行顏色反轉(zhuǎn)解調(diào)從而生成連續(xù)的行顏色差分數(shù)據(jù)d26 ;水平顏色差分尺寸調(diào)整處理部66，其通過進行行顏色差分數(shù)據(jù)d26的縮小調(diào)整處理從而生成行顏色差分數(shù)據(jù)d27 ;顏色載波調(diào)制部67，其將尺寸調(diào)整后的行顏色差分數(shù)據(jù)d27再次轉(zhuǎn)換成反復(fù)BG或GR的行顏色載波數(shù)據(jù)d28 ;以及顏色陣列再現(xiàn)處理部68，其將從水平亮度尺寸調(diào)整處理部64輸出的行亮度數(shù)據(jù)d24與行顏色載波數(shù)據(jù)d28再合成，生成在水平方向上被分布均等化了的行數(shù)據(jù)d29。顏色載波除去濾光處理部61和顏色載波提取濾光處理部62相當(dāng)于圖2的第I濾光處理部al，水平分布均等化處理部63相當(dāng)于圖2的第I亮度分布均等化處理部a2，水平亮度尺寸調(diào)整處理部64相當(dāng)于圖2的第I亮度尺寸調(diào)整處理部a3，顏色反轉(zhuǎn)解調(diào)部65相當(dāng)于圖2的第I顏色反轉(zhuǎn)解調(diào)部a4，水平顏色差分尺寸調(diào)整處理部66相當(dāng)于圖2的第I顏色差分尺寸調(diào)整處理部a5，顏色載波調(diào)制部67相當(dāng)于第I顏色載波調(diào)制部a6，顏色陣列再現(xiàn)處理部68相當(dāng)于圖2的第I顏色差分尺寸調(diào)整處理部a7。另外，行數(shù)據(jù)d21相當(dāng)于第I多顏色陣列數(shù)據(jù)，行亮度數(shù)據(jù)d22相當(dāng)于第I亮度數(shù)據(jù)，行顏色載波數(shù)據(jù)d25相當(dāng)于第I顏色載波數(shù)據(jù)，行亮度數(shù)據(jù)d23相當(dāng)于第2亮度數(shù)據(jù)，行亮度數(shù)據(jù)d24相當(dāng)于第2-1亮度數(shù)據(jù)，行顏色差分數(shù)據(jù)d26相當(dāng)于第I顏色差分數(shù)據(jù)，行顏色差分數(shù)據(jù)d27相當(dāng)于第2顏色差分數(shù)據(jù)，行顏色載波數(shù)據(jù)d28相當(dāng)于第1-1顏色載波數(shù)據(jù)，行數(shù)據(jù)d29相當(dāng)于第I多顏色陣列數(shù)據(jù)。對圖22所示的使用水平分布均等化及尺寸調(diào)整處理功能來對四個像素混合的拜耳陣列的圖像進行處理的情況進行說明。該處理過程用于使用高像素的拍攝元件4進行動態(tài)圖像攝影。成為輸入圖像的四個像素混合后的RAW數(shù)據(jù)是反映了拜耳陣列的像素配置的馬賽克狀的圖像，通常，從拍攝元件4以行單位讀出。該行單位的輸入數(shù)據(jù)成為按照每個像素反復(fù)B和G的信息的BG的行數(shù)據(jù)d21和按照每個像素反復(fù)圖中沒有表示的G和R的信息的GR的行數(shù)據(jù)d21這兩種類。這兩種類的行數(shù)據(jù)d21經(jīng)過用于除去以兩個像素周期進行變化的奈奎斯特頻率附近的顏色載波的顏色載波除去濾光處理部61的處理，在反復(fù)BG的行中輸出成為B和G的平均值{δ (B+G)}的行亮度數(shù)據(jù)d22，在圖中沒有表示的反復(fù)GR的行中輸出成為G和R的平均值{ δ (G+R)}的行亮度數(shù)據(jù)d22 ( δ = 1/2)。BG或GR的兩種類的行亮度數(shù)據(jù)d22在水平分布均等化處理部63進行像素數(shù)據(jù)分布校正，作為BG或GR的被分布均等化的行亮度數(shù)據(jù)d23輸出。水平分布均等化處理部63的詳細內(nèi)容與已經(jīng)說明的圖6的水平分布均等化處理部20相同。另外，BG或GR這兩種行數(shù)據(jù)d21經(jīng)過用于提取以兩個像素周期進行變化的奈奎斯特頻率附近的顏色載波的顏色載波提取濾光處理部62的處理，關(guān)于反復(fù)BG的行，輸出以那奎斯特頻率調(diào)制的BG的行顏色載波數(shù)據(jù)d25，關(guān)于圖中沒有表示的反復(fù)GR的行，輸出以那奎斯特頻率調(diào)制的GR的行顏色載波數(shù)據(jù)d25。BG或GR這兩種行顏色載波數(shù)據(jù)d25成為按照每個像素符號反轉(zhuǎn)的狀態(tài)，即成為顏色排列按照每個像素呈交替不同顏色的狀態(tài)。利用顏色反轉(zhuǎn)解調(diào)部65對該行顏色載波數(shù)據(jù)d25按照每個像素進行符號反轉(zhuǎn)，使顏色排列統(tǒng)一成相同顏色，并作為連續(xù)的BG或GR的行顏色差分數(shù)據(jù)d26而被輸出。接下來，利用水平分布均等化處理部63進行了分布均等化的行亮度數(shù)據(jù)d23通過水平亮度尺寸調(diào)整處理部64按照縮小比率進行線性插值間隔剔除，成為進行了分布均等化及尺寸調(diào)整的亮度數(shù)據(jù)d24。行顏色差分數(shù)據(jù)d26通過水平顏色差分尺寸調(diào)整處理部66按照縮小比率進行線性插值間隔剔除，成為調(diào)整了尺寸的行顏色差分數(shù)據(jù)d27。對各數(shù)據(jù)實施同一比率的水平方向的縮小調(diào)整。

在水平方向上尺寸被縮小調(diào)整過的連續(xù)的并且顏色排列統(tǒng)一成同色的行顏色差分數(shù)據(jù)d27{Y (B-G)，Y (G-R)}接受顏色載波調(diào)制部67的處理，由此，作為用于利用以兩個像素周期變化的那奎斯特頻率進行調(diào)制的等效處理，按照每個像素符號再次被交替地反轉(zhuǎn)，成為恢復(fù)了顏色排列的周期性的顏色載波數(shù)據(jù)d28{ Y (B-G)，-Y (B-G)}和{ Y (G-R), - Y (G-R)}。被分布均等化及尺寸調(diào)整過的行亮度數(shù)據(jù)d24接受顏色陣列再現(xiàn)處理部68的再合成處理(具體而言，是與被尺寸調(diào)整過的行顏色載波數(shù)據(jù)d28的加法計算處理)，由此，成為B和G的信息按照每個像素反復(fù)的被分布均等化及尺寸調(diào)整過的行亮度數(shù)據(jù)d29并被輸出。另外，被分布均等化及尺寸調(diào)整過的行亮度數(shù)據(jù)d24成為圖中沒有表示的G和R的信息按照每個像素反復(fù)的被進行了分布均等化及尺寸調(diào)整處理的行數(shù)據(jù)并被輸出。反復(fù)BG的行的再合成由公式表示。首先，如果設(shè)δ =0.5, Y =0.5，則被進行了分布均等化及尺寸調(diào)整的行亮度數(shù)據(jù){S (B+G)}和行顏色載波數(shù)據(jù)U (B-G)，- Y (B-G)}成為進行了分布均等化及尺寸調(diào)整的行亮度數(shù)據(jù){0.5(B+G)}和行顏色載波數(shù)據(jù){0.5 (B-G)，-0.5 (B-G) }。如果按照每個像素將亮度數(shù)據(jù)和顏色載波數(shù)據(jù)相加，則反復(fù)0.5{(B+G) + (B-G)}、0.5{(B+G)-(B-G)}、…。SP，作為 B、G、B、G、…而再生被進行了分布均等化及尺寸調(diào)整處理的行數(shù)據(jù)d29。在反復(fù)GR的行中也同樣，如果在被進行了分布均等化及尺寸調(diào)整的行亮度數(shù)據(jù){S (G+R)}和行顏色載波數(shù)據(jù)U (G-R)，I (G-R)}中設(shè)δ = 0.5、Y = 0.5，則成為被進行了分布均等化及尺寸調(diào)整的行亮度數(shù)據(jù){0.5(G+R)}和行顏色載波數(shù)據(jù){0.5 (G-R), -0.5 (G-R)10如果按照每個像素將亮度數(shù)據(jù)和顏色載波數(shù)據(jù)相加，則反復(fù)
0.5 {(G+R) + (G-R)} ,0.5 {(G+R) - (G-R)},…。SP，作為 R、G、R、G、…而再生被進行了分布均等化及尺寸調(diào)整處理的行數(shù)據(jù)d29。另外，雖然將針對亮度數(shù)據(jù)和顏色載波數(shù)據(jù)的系數(shù)作為δ和Υ，在加法計算處理之前進行增益調(diào)整，以使合成數(shù)據(jù)的增益成為與輸入等同的方式進行了處理，但由于其目的在于從亮度信號和顏色載波信號這兩種信號分量中生成RGB的獨立的一個顏色分量，因此，不一定需要在計算之前進行增益調(diào)整，可以在成為RGB的獨立的顏色分量之后進行增
益調(diào)整。另外，雖然對RGB拜耳陣列的水平方向的分布均等化及尺寸調(diào)整處理功能進行了說明，但在蜂窩陣列中也和實施例1相同，能夠使用本發(fā)明。
圖22所示的水平分布均等化及尺寸調(diào)整處理功能能夠在實施圖21 (b)所示的兩個步驟的分布均等化及尺寸調(diào)整處理H21、V21時使用。此時，當(dāng)從幀存儲器FM2讀出數(shù)據(jù)時，垂直分布均等化及尺寸調(diào)整處理V21，在與寫入時正交的方向的垂直方向上讀出，然后，將所讀出的數(shù)據(jù)輸入到分布均等化及尺寸調(diào)整處理V21，因此，成為與水平分布均等化及尺寸調(diào)整處理H21相同的處理。即，能夠使用相同的構(gòu)成，因此，實現(xiàn)了構(gòu)成的簡化。接下來，如圖21 (C)所示，對使用由多行形成的行存儲器LM2作為兩個步驟的分布均等化及尺寸調(diào)整處理H22和V22的中間緩沖器的情況進行詳細說明。圖23表示行存儲器LM2的寫入讀出操作?？刂品椒ㄅc實施例1相同。圖23表示的是利用與實施例1的圖16的行存儲器LMl具有同樣構(gòu)成的圖21 (C)的行存儲器LM2的情況下的圖21(c)中的垂直分布均等化及尺寸調(diào)整處理V22的詳細內(nèi)容。垂直分布均等化及尺寸調(diào)整處理V22與實施例1相同，對關(guān)注像素在垂直方向上進行分布均等化處理，并進行水平方向的I行份的管線處理。圖23的垂直分布均等化及尺寸調(diào)整處理V22也和圖22的水平分布均等化及尺寸調(diào)整處理H21相同，作為亮度信號處理和顏色載波提取處理的兩個系統(tǒng)來實施。在本實施例2中，為了進行分布均等化處理后的尺寸調(diào)整處理，在垂直方向上具有多個亮度信號處理和顏色載波提取處理。在本例中，作為輸入數(shù)據(jù)，在與10行份的RAW數(shù)據(jù)垂直的方向上，將成為同一水平位置的10個像素作為一個垂直方向處理單位dH3和dH4進行處理。具體而言,作為最低限度所需的功能，具有以下的處理部:即，顏色載波除去濾光處理部71，其從10行份的RAW數(shù)據(jù)中提取在垂直方向上包括關(guān)注行的位于其上下的最小的四種類的垂直方向亮度數(shù)據(jù)d30(Yl，Y2，Y3，Y4);顏色載波提取濾光處理部72，其提取垂直方向的包括關(guān)注行的位于其上下的最小的三種顏色載波數(shù)據(jù)C1、C2、C3 ;垂直分布均等化處理部73，其使用四種類的垂直方向亮度數(shù)據(jù)d30(Yl，Y2，Y3，Y4)，在垂直方向上進行三個系統(tǒng)的分布均等化處理，將三種類的垂直分布均等化的行亮度數(shù)據(jù)d31輸出；顏色反轉(zhuǎn)解調(diào)部74，其對在垂直方向上調(diào)制的三種類的顏色載波數(shù)據(jù)Cl、C2、C3分別進行顏色反轉(zhuǎn)解調(diào)，在垂直方向上分別輸出連續(xù)的三種類的顏色差分數(shù)據(jù)d33 ;垂直亮度尺寸調(diào)整部75，其對在垂直方向上連續(xù)的三種類的進行了垂直分布均等化的行亮度數(shù)據(jù)d31進行垂直方向的縮小處理，在垂直方向上輸出被分布均等化及尺寸調(diào)整了的行亮度數(shù)據(jù)d32 ;垂直顏色差分尺寸調(diào)整處理部76，其對在垂直方向上連續(xù)的三種類的顏色差分數(shù)據(jù)d33進行垂直方向的縮小調(diào)整，并輸出BG的行顏色差分數(shù)據(jù)d34 ;顏色載波調(diào)制部77，其將尺寸調(diào)整后的顏色差分數(shù)據(jù)d34再轉(zhuǎn)換成顏色載波數(shù)據(jù)，并輸出垂直方向的行顏色載波數(shù)據(jù)d35 ;以及顏色陣列再現(xiàn)處理部78，其將在垂直方向分布均等化及尺寸調(diào)整過的行亮度數(shù)據(jù)d32和垂直方向的行顏色載波數(shù)據(jù)d35再合成，生成最終的垂直方向的分布均等化及尺寸調(diào)整過的RAW數(shù)據(jù)d36。顏色載波除去濾光處理部71和顏色載波提取濾光處理部72相當(dāng)于圖2的第I濾光處理部bI ;垂直分布均等化處理部73相當(dāng)于圖2的第2亮度分布均等化處理部b2 ;顏色反轉(zhuǎn)解調(diào)部74相當(dāng)于圖2的第2顏色反轉(zhuǎn)解調(diào)部b4 ;垂直亮度尺寸調(diào)整部75相當(dāng)于圖2的第2亮度尺寸調(diào)整處理部b3 ;垂直顏色差分尺寸調(diào)整處理部76相當(dāng)于圖2的第2顏色差分尺寸調(diào)整處理部b5 ;顏色載波調(diào)制部77相當(dāng)于圖2的第2顏色載波調(diào)制部b6 ;顏色陣列再現(xiàn)處理部78相當(dāng)于圖2的第2顏色陣列再現(xiàn)處理部b7。垂直方向亮度數(shù)據(jù)d30(Yl，Y2，Y3，Y4)相當(dāng)于第3亮度數(shù)據(jù)；顏色載波數(shù)據(jù)C1、C2、C3相當(dāng)于第2顏色載波數(shù)據(jù)；行亮度數(shù)據(jù)d31相當(dāng)于第4亮度數(shù)據(jù)；顏色差分數(shù)據(jù)d33相當(dāng)于第3顏色載波數(shù)據(jù)；行亮度數(shù)據(jù)d32相當(dāng)于第5亮度數(shù)據(jù)；行顏色差分數(shù)據(jù)d34相當(dāng)于第4顏色差分數(shù)據(jù)；垂直方向的行顏色載波數(shù)據(jù)d35相當(dāng)于第3顏色載波數(shù)據(jù)；RAW數(shù)據(jù)d36相當(dāng)于第2多顏色陣列數(shù)據(jù)。對利用圖23進行了詳細表示的垂直分布均等化及尺寸調(diào)整處理功能，對拜耳陣列的圖像進行分布均等化及尺寸調(diào)整處理的情況進行說明。該處理過程與實施例1相同，例如用于RAW處理結(jié)果的動畫處理記錄。如圖23的垂直方向處理單位dH3和dH4所示，水平分布均等化處理后的四個像素混合RAW數(shù)據(jù)保持反映了拜耳陣列的像素配置的馬賽克狀的陣列，并且在垂直方向上像素數(shù)據(jù)分布成為不均衡。為了將多行同時作為輸入數(shù)據(jù)，而與實施例1的圖16所示相同，以行單位在行存儲器LM2中巡回地寫入，將多行匯總后巡回地讀出。在本說明中利用由11行構(gòu)成的行存儲器LM2，將10行的輸出統(tǒng)一地輸出。針對水平分布均等化處理后的10行單位的輸入數(shù)據(jù)的各行上的水平方向的同一位置的垂直方向數(shù)據(jù)，垂直方向處理單位dH3成為在垂直方向上按照每個像素反復(fù)B和G的信息的BG列數(shù)據(jù)；垂直方向處理單位dH4成為在垂直方向上按照每個像素反復(fù)G和R的信息的GR列數(shù)據(jù)，這兩個種類在水平方向上反復(fù)。這兩個種類的垂直方向的列數(shù)據(jù)具有在垂直方向上以兩個像素周期進行變化的奈奎斯特頻率附近的顏色載波信息，除去顏色載波的顏色載波除去濾光處理部71為了生成位于包括關(guān)注中心行的上下行的四個種類的垂直方向亮度數(shù)據(jù)d30(Yl，Y2，Y3，Y4)，而分別使用垂直方向處理單位dH3的七個像素的數(shù)據(jù)進行濾光處理。成為B和G的平均值的四個種類的垂直方向亮度數(shù)據(jù)d30(Yl，Y2，Y3，Y4)，從垂直方向處理單位dH3被輸出，成為G和R的平均值的四個種類的垂直方向亮度數(shù)據(jù)d30 (Yl，Y2，Y3，Y4)，從之后的垂直方向處理單位dH4被輸出。另外，提取在垂直方向上以兩個像素周期進行變化的奈奎斯特頻率附近的顏色載波的顏色載波提取濾光處理部72，從兩個種類的垂直方向處理單位dH3，dH4中，針對BG列，輸出以奈奎斯特頻率調(diào)制的(B-G)分量的顏色載波數(shù)據(jù)，針對反復(fù)GR的行，輸出以奈奎斯特頻率調(diào)制的(G-R)分量的顏色載波數(shù)據(jù)。在本實施例中，為了在之后進行使用線性插值的垂直亮度尺寸處理部75的處理，而生成位于包括關(guān)注中心行的上下行的三個種類的顏色載波數(shù)據(jù)C1、C2、C3。C1、C2、C3使用分別從垂直方向處理單位dH3的上方起向下方各錯開一個像素而得到的七個像素的數(shù)據(jù)進行了濾光處理。為了將亮度數(shù)據(jù)和顏色載波數(shù)據(jù)的垂直方向的分布均等化，顏色載波除去濾光處理部71和顏色載波提取濾光處理部72從10行上起以第5行作為基準的關(guān)注行，進行在垂直方向具有對稱系數(shù)的濾光處理。垂直分布均等化處理部73使用在垂直方向上提取的四個種類的垂直方向亮度數(shù)據(jù)d30(Yl，Y2，Y3，Y4)，進行垂直方向的像素數(shù)據(jù)的分布均等化處理，生成在垂直方向上連續(xù)的三個種類的被垂直分布均等化了的行亮度數(shù)據(jù)d31。針對由于四個像素的混合導(dǎo)致的像素數(shù)據(jù)分布不均衡的分布均等化處理，基本上與實施例1相同。在實施例1中，以一個系統(tǒng)只輸出成為關(guān)注行的被分布均等化了的亮度數(shù)據(jù)，但在本實施例中，為了在之后實施使用線性插值的垂直亮度尺寸調(diào)整處理部75的處理，而輸出關(guān)注行和位于其上下的行的3行份的在垂直方向進行了分布均等化的行亮度數(shù)據(jù)。圖24表示的是將垂直方向的偶數(shù)行的像素數(shù)據(jù)的亮度值擬制為坐標的下側(cè)移動而進行插值的垂直分布均等化處理部73的構(gòu)成。作為在具有周期性像素數(shù)據(jù)分布不均衡的狀態(tài)下輸入的行亮度數(shù)據(jù)，輸入從圖像的垂直方向的上邊向下方相鄰的Y1、Y2、Y3、Y4的4行份的數(shù)據(jù)。數(shù)據(jù)Yl在輸入到行開關(guān)部85的同時也被輸入到乘法器81中。乘法器81將數(shù)據(jù)Yl與系數(shù)α相乘，并將該結(jié)果輸入到加法器83中。數(shù)據(jù)Υ2被輸入到乘法器82。乘法器82將數(shù)據(jù)Υ2與系數(shù)β相乘，并將該結(jié)果輸入到加法器83中。加法器83將兩個乘法器81和83的乘法計算數(shù)據(jù)相加，并將該相加的結(jié)果輸入到除法器84中。除法器84使所輸入的加法計算數(shù)據(jù)除以(α+β)，并將該結(jié)果輸入到行開關(guān)部85中。行開關(guān)部85每隔一行地選擇并輸出數(shù)據(jù)Yl的直通數(shù)據(jù)輸出和除法器84的除法計算數(shù)據(jù)。數(shù)據(jù)Υ2被輸入到行開關(guān)部90，并也被輸入到乘法器86中。乘法器86將數(shù)據(jù)Υ2與系數(shù)α相乘，并將該結(jié)果輸入到加法器88中。數(shù)據(jù)Υ3被輸入到乘法器87中。乘法器87將數(shù)據(jù)Υ3與系數(shù)β相乘，并將該結(jié)果輸入到加法器88中。加法器88將兩個乘法器86和87的乘法計算數(shù)據(jù)相加，并將該結(jié)果輸入到除法器89中。除法器89使所輸入的加法計算數(shù)據(jù)除以(α + β )，并將該結(jié)果輸入到行開關(guān)部90中。行開關(guān)部90每隔一行地選擇并輸出數(shù)據(jù)Υ2的直通數(shù)據(jù)輸出和除法器89的除法計算數(shù)據(jù)。數(shù)據(jù)Υ3被輸入到行開關(guān)部95，并也被輸入到乘法器91中。乘法器91將數(shù)據(jù)Υ3與系數(shù)α相乘，并將該結(jié)果輸入到加法器93中。數(shù)據(jù)Υ4被輸入到乘法器92中。乘法器92將數(shù)據(jù)Υ4與系數(shù)β相乘，并將該結(jié)果輸入到加法器93中。加法器93將兩個乘法器91和92的乘法計算數(shù)據(jù)相加，并將該結(jié)果輸入到除法器94中。除法器94使所輸入的加法計算數(shù)據(jù)除以(α+β)，并將該結(jié)果輸入到行開關(guān)部95中。行開關(guān)部95每隔一行地選擇并輸出數(shù)據(jù)Υ3的直通數(shù)據(jù)輸出和除法器94的除法計算數(shù)據(jù)。對針對圖像的垂直方向的偶數(shù)行的分布均等化的操作進行說明。關(guān)注所輸入的行亮度數(shù)據(jù)d30，為了校正原始圖像的垂直方向的像素數(shù)據(jù)分布不均衡，使用線性插值處理，以圖像上邊為基準對偶數(shù)行位置的行亮度數(shù)據(jù)Line2和行亮度數(shù)據(jù)Line4進行分布均等化?？刂频那闆r有兩種。(I)作為數(shù)據(jù)Yl和數(shù)據(jù)Y3，而輸入奇數(shù)行的數(shù)據(jù)；作為數(shù)據(jù)Y2和數(shù)據(jù)Y4，而輸入偶數(shù)行的數(shù)據(jù)。(2)作為數(shù)據(jù)Yl和數(shù)據(jù)Y3，而輸入偶數(shù)行的數(shù)據(jù)；作為數(shù)據(jù)Y2和數(shù)據(jù)Y4，而輸入奇數(shù)行的數(shù)據(jù)。在上述(I)的狀態(tài)下，輸入奇數(shù)行的數(shù)據(jù)Yl (亮度)和數(shù)據(jù)Y3 (亮度)是利用行開關(guān)部85和行開關(guān)部95經(jīng)過一行期間所選擇的，然后，所選擇的數(shù)據(jù)作為在垂直方向被分布均等化了的行亮度數(shù)據(jù)I和經(jīng)過了垂直方向分布均等化的行亮度數(shù)據(jù)3而被從行開關(guān)部85和行開關(guān)部95輸出。為了對成為輸入偶數(shù)行的行亮度數(shù)據(jù)進行向下方的分布均等化，實施以下的處理。即，將用乘法器86計算的數(shù)據(jù)Y2和系數(shù)α的相乘數(shù)據(jù)與用乘法器87計算的數(shù)據(jù)Υ3和系數(shù)β的相乘數(shù)據(jù)利用加法器88進行相加計算，然后，利用除法器89使該相加計算數(shù)據(jù)除以(α+β)，利用行開關(guān)部90以一行期間選擇所獲得的除法計算數(shù)據(jù)。由此，生成在垂直方向上被分布均等化了的行亮度數(shù)據(jù)2，所生成的行亮度數(shù)據(jù)2被從行開關(guān)部90輸出。在上述(2)的狀態(tài)下，為了進行輸入奇數(shù)行的數(shù)據(jù)Yl (亮度)的向下方的分布均等化而實施以下處理。即，將用乘法器81計算的數(shù)據(jù)Yl與系數(shù)α的相乘數(shù)據(jù)和用乘法器82計算的數(shù)據(jù)Υ2與系數(shù)β的相乘數(shù)據(jù)，利用加法器83進行相加計算，然后，利用除法器84使該相加計算數(shù)據(jù)除以(α+β)，利用行開關(guān)部85以一行期間選擇所獲得的除法計算數(shù)據(jù)。由此，生成在垂直方向上被分布均等化了的行亮度數(shù)據(jù)1，生成的行亮度數(shù)據(jù)I被從行開關(guān)部85輸出。數(shù)據(jù)Υ2被利用行開關(guān)部90經(jīng)過一行期間而選擇出，然后，作為在垂直方向上被進行了分布均等化的行亮度數(shù)據(jù)2而輸出。將用乘法器91計算的數(shù)據(jù)Υ3與系數(shù)α的相乘數(shù)據(jù)和用乘法器92計算的數(shù)據(jù)Υ4與系數(shù)β的相乘數(shù)據(jù)，利用加法器93進行相加計算，然后，利用除法器94使該相加計算數(shù)據(jù)除以(α+β)，利用行開關(guān)部95以一行期間選擇所獲得的除法計算數(shù)據(jù)。由此，生成在垂直方向上被分布均等化了的行亮度數(shù)據(jù)3，生成的行亮度數(shù)據(jù)I被從行開關(guān)部85輸出。如上所述，通過本處理，能夠?qū)⒋怪狈较虻呐紨?shù)混合后的像素數(shù)據(jù)的亮度值擬制為坐標的下側(cè)移動而進行插值。與實施例1相同，在校正由于四個像素混合導(dǎo)致的像素數(shù)據(jù)分布不均衡的情況下，由于利用相鄰的兩個像素的線性插值進行校正處理，因此，系數(shù)α與系數(shù)β在理論上成為α: β = 2:1。不過，為了簡化利用除法器84、89、94進行的1/(α+β)的除法計算處理，能夠通過以作為近似值而成為α: 0=10:6或<!: β=11: 5的方式將(α+β)設(shè)為2的指數(shù)(2η) 16，從而簡化處理。圖25表示的是保持垂直方向的清晰度、并將奇數(shù)行的像素數(shù)據(jù)的亮度值擬制為坐標的上側(cè)移動而進行插值的垂直分布均等化處理部73的構(gòu)成?；静僮鞯乃悸放c圖24相同，具有用于提高校正行的垂直方向的清晰度的高頻強調(diào)處理部110。在進行行的線性插值處理之前，進行垂直高頻強調(diào)處理來保持垂直方向的清晰度。圖26表示的是保持垂直方向的清晰度、并將偶數(shù)行的像素數(shù)據(jù)的亮度值擬制為坐標的下側(cè)移動而進行插值的垂直分布均等化處理部73的構(gòu)成?；静僮鞯乃悸放c圖24相同，具有用于提高校正行的垂直方向的清晰度的高頻強調(diào)處理部120。進行行的線性插值處理，只對在垂直方向上被進行了分布均等化處理的輸出的校正處理行在后續(xù)處理中進行垂直高頻強調(diào)處理來保持垂直方向的清晰度。返回到圖23的處理，針對在上述垂直方向上被進行了分布均等化的三行的行亮度數(shù)據(jù)d31，利用垂直亮度尺寸處理部75的處理并按照縮小比率進行三行輸入的垂直方向上的線性插值處理，線性插值處理后的數(shù)據(jù)被作為以行為單位在垂直方向上被進行了分布均等化及尺寸調(diào)整的行亮度數(shù)據(jù)d32間隔剔除而輸出。關(guān)于對在垂直方向上調(diào)制的三種類的顏色載波數(shù)據(jù)Cl、C2、C3分別進行了顏色反轉(zhuǎn)解調(diào)的并且在垂直方向上各自連續(xù)的三種類的顏色差分數(shù)據(jù)d33，利用垂直顏色差分尺寸調(diào)整處理部76并按照縮小比率對其進行與三行輸入的垂直方向上的亮度數(shù)據(jù)相同的線性插值處理，線性插值處理后的數(shù)據(jù)被作為 以行為單位反復(fù)BG的行顏色差分數(shù)據(jù)d34間隔剔除而輸出。針對通過垂直方向的行間隔剔除被尺寸調(diào)整的反復(fù)BG的行顏色差分數(shù)據(jù)d34，進行使用按照每行輸出使符號反轉(zhuǎn)的顏色載波調(diào)制部77的處理作為用于按照以垂直方向的兩個像素周期進行變化的奈奎斯特頻率進行調(diào)制的等價處理。進行了符號反轉(zhuǎn)處理的數(shù)據(jù)被作為恢復(fù)了顏色陣列的周期性的在垂直方向上反復(fù)BG的行顏色載波數(shù)據(jù)d35，從載波調(diào)制部77輸出。顏色陣列再現(xiàn)處理部78將在垂直方向上被進行了分布均等化及尺寸調(diào)整的行亮度數(shù)據(jù)d32與垂直方向的行顏色載波數(shù)據(jù)d35再合成。由此，顏色陣列再現(xiàn)處理部78生成在垂直方向上被進行了分布均等化處理及尺寸調(diào)整的最終的RAW數(shù)據(jù)d36。RAW數(shù)據(jù)d36包括在垂直方向上使B和G的信息按照每個像素反復(fù)并且在水平和垂直方向上都被尺寸調(diào)整過的反復(fù)BG的行數(shù)據(jù)、以及在垂直方向上使G和R的信息按照每個像素反復(fù)并且在水平和垂直方向上都被尺寸調(diào)整過的反復(fù)GR的行數(shù)據(jù)。另外，雖然在本實施例中對縮小處理進行了說明，但在圖23所示的使用垂直方向尺寸調(diào)整處理功能進行擴大處理的情況下，處理的流程也成為與上述相同的處理。不過，在擴大處理時，由于與輸入數(shù)據(jù)的行數(shù)相比，輸出數(shù)據(jù)的行數(shù)變多，因此，通過高速地實施尺寸調(diào)整處理后的后續(xù)處理，或者暫時停止連續(xù)的輸入數(shù)據(jù)，并且還同步地停止尺寸調(diào)整處理的前級處理，能夠?qū)崿F(xiàn)擴大處理。接下來，將被分布均等化及尺寸調(diào)整處理過的RAW數(shù)據(jù)d36輸入到圖27的圖像信號處理部10進行信號處理，轉(zhuǎn)換成最終的圖像(例如，預(yù)覽顯示圖像或者以小于拍攝元件的像素數(shù)的規(guī)格尺寸被記錄的動態(tài)圖像攝影圖像)。如上所述，在本發(fā)明的對四個像素混合RAW數(shù)據(jù)實施的分布均等化及尺寸調(diào)整處
理中，.將原始圖像RAW數(shù)據(jù)劃分成連續(xù)的亮度數(shù)據(jù)和連續(xù)的顏色載波數(shù)據(jù)；.進一步對連續(xù)的亮度數(shù)據(jù)進行尺寸調(diào)整處理；.另一方面，對連續(xù)的顏色載波數(shù)據(jù)進行尺寸調(diào)整處理；在此，針對顏色載波數(shù)據(jù)，首先實施符號反轉(zhuǎn)，然后進行尺寸調(diào)整處理，再次進行符號反轉(zhuǎn)，返回到原來的信號形式，在經(jīng)過這些處理后，將分布均等化及尺寸調(diào)整處理后的連續(xù)的亮度數(shù)據(jù)和尺寸調(diào)整處理后的連續(xù)的顏色載波數(shù)據(jù)進行再合成。在第I陣列方向和與其正交的第2陣列方向的兩個方向上進行上述一系列的處理。其結(jié)果是，能夠防止在由于像素混合導(dǎo)致的像素數(shù)據(jù)分布不均衡所引起的最終圖像中產(chǎn)生偽信號。而且，能夠確保亮度信號的最大清晰度。能夠獲得這種效果的本發(fā)明對于預(yù)覽顯示或動態(tài)圖像攝影處理來講是非常適合的方法。另外，在本發(fā)明的實施例中，雖然針對以拍攝元件對四個像素混合后的RAW數(shù)據(jù)進行的水平分布均等化處理和垂直分布均等化處理的兩種處理進行了說明，但根據(jù)需要也能夠只進行單向的校正處理。另外，在拍攝元件上的像素混合只以單向的兩個像素混合而被輸出的情況下，只要按照像素混合的方向適當(dāng)?shù)剡x擇并實施水平或垂直處理即可。另外，實施本發(fā)明的手段不局限于專用的圖像處理裝置(圖像再生裝置或圖像加工裝置)，也可以是計算機。另外，圖像處理的一部分或全部不局限于硬件(信號處理電路)，也可以通過軟件來實現(xiàn)。而且，本發(fā)明的圖像處理程序以及記錄介質(zhì)，既可以構(gòu)成單獨的應(yīng)用程序軟件，也可以作為圖像加工軟件或文件管理用軟件等的應(yīng)用程序的一部分組裝。另外，本發(fā)明的圖像處理程序以及記錄介質(zhì)的使用不局限于計算機等的計算機系統(tǒng)的情況，也能夠作為組裝到數(shù)字攝像機或便攜式電話等的信息設(shè)備中的中央處理器(CPU)的操作程序、記錄介質(zhì)使用。產(chǎn)業(yè)上的可利用性本發(fā)明的圖像處理裝置以及圖像處理方法，通過對由于拍攝元件的像素混合而導(dǎo)致像素數(shù)據(jù)分布出現(xiàn)不均衡的RAW原始圖像進行分布均等化并再合成RAW數(shù)據(jù)，能夠生成降低了偽亮度信號并確保清晰度的RAW數(shù)據(jù)，而且，通過與從單板彩色拍攝元件獲得的RAW原始圖像的縮小處理和擴大處理一起進行使用，作為具有高質(zhì)量的RAW數(shù)據(jù)的尺寸轉(zhuǎn)換處理的電子靜態(tài)攝像機、RAff數(shù)據(jù)的尺寸轉(zhuǎn)換處理程序等是有用的。附圖標記的說明Al第I分布均等化處理部BI第2分布均等化處理部A2 第I分布均等化尺寸調(diào)整處理部B2第2分布均等化尺寸調(diào)整處理部al第I濾光處理部a2第I亮度分布均等化處理部a3第I亮度尺寸調(diào)整處理部a4第I顏色反轉(zhuǎn)解調(diào)部a5第I顏色差分尺寸調(diào)整處理部a6第I顏色載波調(diào)制部a7第I顏色陣列再現(xiàn)處理部bl第2濾光處理部b2第2亮度分布均等化處理部b3第2亮度尺寸調(diào)整處理部b4第2顏色反轉(zhuǎn)解調(diào)部b5第2顏色差分尺寸調(diào)整處理部b6第2顏色載波調(diào)制部b7第2顏色陣列再現(xiàn)處理部H1、H11、Hl2 水平分布均等化處理V1、VI1、Vl2 垂直分布均等化處理H2、H21、H22 水平分布均等化及尺寸調(diào)整處理V2、V21、V22 垂直分布均等化及尺寸調(diào)整處理FM1、FM2幀存儲器LM1、LM2行存儲器I拍攝元件11顏色載波除去濾光處理部12顏色載波提取濾光處理部20水平分布均等化處理部27、28高頻強調(diào)處理部30顏色陣列再現(xiàn)處理部
37、38高頻強調(diào)處理部41顏色載波除去濾光處理部42顏色載波提取濾光處理部43垂直分布均等化處理部44顏色陣列再現(xiàn)處理部61顏色載波除去濾光處理部62顏色載波提取濾光處理部63水平分布均等化處理部64水平亮度尺寸調(diào)整處理部65顏色反轉(zhuǎn)解調(diào)部66水平顏色差分尺寸調(diào)整處理部67顏色載波調(diào)制部68顏色陣列再現(xiàn)處理部71顏色載波除去濾光處理部
`
72顏色載波提取濾光處理部73垂直分布均等化處理部74顏色反轉(zhuǎn)解調(diào)部75垂直亮度尺寸調(diào)整處理部76垂直顏色差分尺寸調(diào)整處理部77顏色載波調(diào)制部78顏色陣列再現(xiàn)處理部110、120高頻強調(diào)處理部
權(quán)利要求
1.一種圖像處理裝置，具有: 第I分布均等化處理部，其從具有顏色陣列的周期性的多顏色像素的拍攝元件輸入在彼此正交的第I和第2陣列方向上發(fā)生了由于偶數(shù)像素混合輸出而導(dǎo)致的像素數(shù)據(jù)分布的不均衡的原始圖像RAW數(shù)據(jù)之后，通過對所輸入的上述原始圖像RAW數(shù)據(jù)的上述第I陣列方向的像素數(shù)據(jù)分布進行均等化，從而生成第I多顏色陣列數(shù)據(jù)；以及 第2分布均等化處理部，其在輸入了上述第I多顏色陣列數(shù)據(jù)之后，通過對所輸入的上述第I多顏色陣列數(shù)據(jù)的上述第2陣列方向的像素數(shù)據(jù)分布進行均等化，從而生成第2多顏色陣列數(shù)據(jù)， 上述第I分布均等化處理部具有: 第I濾光處理部，其通過沿著上述第I陣列方向的像素單位的濾光處理，將上述原始圖像RAW數(shù)據(jù)劃分成連續(xù)的第I亮度數(shù)據(jù)和連續(xù)的第I顏色載波數(shù)據(jù)； 第I亮度分布均等化處理部，其通 過將上述第I亮度數(shù)據(jù)的上述第I陣列方向的亮度分布進行均等化，從而生成第2亮度數(shù)據(jù)；以及 第I顏色陣列再現(xiàn)處理部，其通過將上述第I顏色載波數(shù)據(jù)對上述第2亮度數(shù)據(jù)進行再合成，從而生成上述第I多顏色陣列數(shù)據(jù)， 上述第2分布均等化處理部具有: 第2濾光處理部，其通過沿著上述第2陣列方向的像素單位的濾光處理，將上述第I多顏色陣列數(shù)據(jù)劃分成連續(xù)的第3亮度數(shù)據(jù)和連續(xù)的第2顏色載波數(shù)據(jù)； 第2亮度分布均等化處理部，其通過將上述第3亮度數(shù)據(jù)的上述第2陣列方向的亮度分布進行均等化，從而生成第4亮度數(shù)據(jù)；以及 第2顏色陣列再現(xiàn)處理部，其通過將上述第2顏色載波數(shù)據(jù)對上述第4亮度數(shù)據(jù)進行再合成，從而生成上述第2多顏色陣列數(shù)據(jù)。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中， 還具有將上述第I多顏色陣列數(shù)據(jù)轉(zhuǎn)送給上述第2分布均等化處理部的緩存器， 上述緩存器具備具有被二維展開的存儲空間的幀存儲器， 上述幀存儲器構(gòu)成為:在與向該幀存儲器中寫入上述第I多顏色陣列數(shù)據(jù)的方向正交的方向上，從該幀存儲器讀出上述第I多顏色陣列數(shù)據(jù)并提供給上述第2分布均等化尺寸調(diào)整處理部。
3.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中， 還具有將上述第I多顏色陣列數(shù)據(jù)轉(zhuǎn)送給上述第2分布均等化處理部的緩存器， 上述緩存器具有由多行構(gòu)成的行存儲器， 上述行存儲器構(gòu)成為:上述第I多顏色陣列數(shù)據(jù)按每一行被寫入到該行存儲器中，同時，多行的第I多顏色陣列數(shù)據(jù)被從該行存儲器中讀出并被轉(zhuǎn)送到上述第2分布均等化處理部。
4.一種圖像處理裝置，具有: 第I分布均等化尺寸調(diào)整處理部，其從具有顏色陣列的周期性的多顏色像素的拍攝元件輸入在彼此正交的第I和第2陣列方向上發(fā)生了由于偶數(shù)像素混合輸出而導(dǎo)致的像素數(shù)據(jù)分布的不均衡的原始圖像RAW數(shù)據(jù)之后，通過對所輸入的上述原始圖像RAW數(shù)據(jù)的上述第I陣列方向的像素數(shù)據(jù)分布進行均等化并且進行尺寸調(diào)整，從而生成第I多顏色陣列數(shù)據(jù)；以及 第2分布均等化尺寸調(diào)整處理部，其通過對上述第I多顏色陣列數(shù)據(jù)的上述第2陣列方向的像素數(shù)據(jù)分布進行均等化并且進行尺寸調(diào)整，從而生成第2多顏色陣列數(shù)據(jù)， 上述第I分布均等化尺寸調(diào)整處理部具有: 第I濾光處理部，其利用沿著上述第I陣列方向的像素單位的濾光處理，將上述原始圖像RAW數(shù)據(jù)劃分成連續(xù)的第I亮度數(shù)據(jù)、和符號交替地反轉(zhuǎn)且顏色排列成為按每個像素呈交替不同顏色的連續(xù)的第I顏色載波數(shù)據(jù)； 第I亮度分布均等化處理部，其通過將上述第I亮度數(shù)據(jù)的上述第I陣列方向的亮度分布進行均等化，從而生成第2亮度數(shù)據(jù)； 第I亮度尺寸調(diào)整處理部，其通過將上述第2亮度數(shù)據(jù)在上述第I陣列方向上進行尺寸調(diào)整處理，從而生成第2-1亮度數(shù)據(jù)； 第I顏色反轉(zhuǎn)解調(diào)部，其通過解調(diào)上述第I顏色載波數(shù)據(jù)，從而生成連續(xù)且顏色排列統(tǒng)一成相同顏色的第I顏色差分數(shù)據(jù)； 第I顏色差分尺寸調(diào)整處理部，其通過將上述第I顏色差分數(shù)據(jù)在上述第I陣列方向上進行尺寸調(diào)整處理，從而生成第2顏色差分數(shù)據(jù)； 第I顏色載波調(diào)制部，其將上述第2顏色差分數(shù)據(jù)調(diào)制成符號交替地反轉(zhuǎn)且顏色陣列的周期性已被復(fù)原的第1-1顏色載波數(shù)據(jù)；以及 第I顏色陣列再現(xiàn)處理部，其通過將上述第1-1顏色載波數(shù)據(jù)對上述第2-1亮度數(shù)據(jù)進行再合成，從而生成上述第I多顏色陣列數(shù)據(jù)， 上述第2分布均等化 尺寸調(diào)整處理部具有: 第2濾光處理部，其利用沿著上述第2陣列方向的像素單位的濾光處理，將上述第I多顏色陣列數(shù)據(jù)劃分成連續(xù)的第3亮度數(shù)據(jù)、和符號交替地反轉(zhuǎn)且顏色排列成為按每個像素呈交替不同顏色的連續(xù)的第2顏色載波數(shù)據(jù)； 第2亮度分布均等化處理部，其通過將上述第3亮度數(shù)據(jù)的上述第2陣列方向的亮度分布進行均等化，從而生成第4亮度數(shù)據(jù)； 第2亮度尺寸調(diào)整處理部，其通過將上述第4亮度數(shù)據(jù)在上述第2陣列方向上進行尺寸調(diào)整處理，從而生成第5亮度數(shù)據(jù)； 第2顏色反轉(zhuǎn)解調(diào)部，其通過解調(diào)上述第2顏色載波數(shù)據(jù)，從而生成連續(xù)且顏色排列統(tǒng)一成相同顏色的第3顏色差分數(shù)據(jù)； 第2顏色差分尺寸調(diào)整處理部，其通過將上述第3顏色差分數(shù)據(jù)在上述第2陣列方向上進行尺寸調(diào)整處理，從而生成第4顏色差分數(shù)據(jù)； 第2顏色載波調(diào)制部，其將上述第4顏色差分數(shù)據(jù)調(diào)制成符號交替地反轉(zhuǎn)且顏色陣列的周期性已被復(fù)原的第3顏色載波數(shù)據(jù)；以及 第2顏色陣列再現(xiàn)處理部，其通過將上述第3顏色載波數(shù)據(jù)對上述第5亮度數(shù)據(jù)進行再合成，從而生成上述第2多顏色陣列數(shù)據(jù)。
5.根據(jù)權(quán)利要求4所述的圖像處理裝置，其中， 還具有將上述第I多顏色陣列數(shù)據(jù)轉(zhuǎn)送給上述第2分布均等化尺寸調(diào)整處理部的緩存器， 上述緩存器具備具有被二維展開的存儲空間的幀存儲器，上述幀存儲器構(gòu)成為:在與向該幀存儲器中寫入上述第I多顏色陣列數(shù)據(jù)的方向正交的方向上，從該幀存儲器讀出上述第I多顏色陣列數(shù)據(jù)并提供給上述第2分布均等化尺寸調(diào)整處理部。
6.根據(jù)權(quán)利要求4所述的圖像處理裝置，其中， 還具有將上述第I多顏色陣列數(shù)據(jù)轉(zhuǎn)送給上述第2分布均等化尺寸調(diào)整處理部的緩存器， 上述緩存器具有由多行構(gòu)成的行存儲器， 上述行存儲器構(gòu)成為:上述第I多顏色陣列數(shù)據(jù)按每一行被寫入到該行存儲器中，同時，多行的第I多顏色陣列數(shù)據(jù)被從該行存儲器中讀出并被轉(zhuǎn)送到上述第2分布均等化尺寸調(diào)整處理部。
7.根據(jù)權(quán)利要求4所述的圖像處理裝置，其中， 上述第I亮度尺寸調(diào)整處理部、上述第2顏色差分尺寸調(diào)整處理部、上述第2亮度尺寸調(diào)整處理部和上述第2顏色差分尺寸調(diào)整處理部具有進行縮小尺寸調(diào)整處理作為其尺寸調(diào)整處理的功能。
8.根據(jù)權(quán)利要求4所述的圖像處理裝置，其中， 上述第I亮度尺寸調(diào)整處理部、上述第I顏色差分尺寸調(diào)整處理部、上述第2亮度尺寸調(diào)整處理部和上述第2顏色差分尺寸調(diào)整處理部具有進行擴大尺寸調(diào)整處理作為其尺寸調(diào)整處理的功能。
9.根據(jù)權(quán)利要求1或4所述的圖像處理裝置，其中， 由上述第I亮度分布均等化處理部或者上述第2亮度分布均等化處理部進行的上述亮度數(shù)據(jù)分布均等化處理是以下的處理，即: 通過插值處理使處理對象像素的亮度數(shù)據(jù)接近于對多個像素混合前的原始圖像設(shè)定的任意像素的亮度數(shù)據(jù)； 并且，在將構(gòu)成上述處理對象像素的兩相鄰的相鄰像素當(dāng)中的與上述處理對象像素相隔得更遠的上述相鄰像素的相當(dāng)于不同顏色的像素設(shè)定為引用像素之后，將利用上述處理對象像素的亮度數(shù)據(jù)和上述引用像素的亮度數(shù)據(jù)的插值處理而獲得的插值亮度數(shù)據(jù)作為上述處理對象像素的亮度數(shù)據(jù)。
10.根據(jù)權(quán)利要求9所述的圖像處理裝置，其中， 由上述第I亮度分布均等化處理部或上述第2亮度分布均等化處理部進行的上述亮度數(shù)據(jù)分布均等化處理是以下的處理，即: 通過將假設(shè)為位于上述相鄰像素的中央的虛擬配置像素和上述引用像素之間的間隔距離、與上述處理對象像素和上述虛擬配置像素之間的間隔距離代入分點公式，從而對上述處理對象像素的亮度數(shù)據(jù)和上述引用像素的亮度數(shù)據(jù)進行比例分割，根據(jù)所得到的比例分割結(jié)果來獲得上述插值亮度數(shù)據(jù)。
11.根據(jù)權(quán)利要求9所述的圖像處理裝置，其中， 上述第I亮度分布均等化處理部或上述第2亮度分布均等化處理部進行的上述亮度數(shù)據(jù)分布均等化處理是以下的處理，即: 將在假設(shè)為向上述處理對象像素和上述引用像素彼此間隔開的方向移動且呈均等分布狀態(tài)的狀態(tài)下的上述處理對象像素設(shè)為虛擬配置像素之后，將上述引用像素和上述虛擬配置像素之間的間隔距離、與上述處理對象像素和上述虛擬配置像素之間的間隔距離代入分點公式，由此，對上述處理對象像素的亮度數(shù)據(jù)和上述引用像素的亮度數(shù)據(jù)進行比例分害I]，基于所得到的比例分割結(jié)果來獲得上述插值亮度數(shù)據(jù)。
12.根據(jù)權(quán)利要求9所述的圖像處理裝置，其中， 上述第I亮度分布均等化處理部和上述第2亮度分布均等化處理部構(gòu)成為:在進行上述插值處理之前進行上述處理對象像素的亮度數(shù)據(jù)的高頻強調(diào)處理和上述引用像素的亮度數(shù)據(jù)的高頻強調(diào)處理。
13.根據(jù)權(quán)利要求9所述的圖像處理裝置，其中， 上述第I亮度分布均等化處理部和上述第2亮度分布均等化處理部構(gòu)成為:在進行上述插值處理之后，進行上述處理對象像素的亮度數(shù)據(jù)的高頻強調(diào)處理和上述引用像素的亮度數(shù)據(jù)的高頻強調(diào)處理。
14.根據(jù)權(quán)利要求1或4所述的圖像處理裝置，其中， 上述原始圖像RAW數(shù)據(jù)是具有RGB拜耳陣列的周期性、并且沿著水平方向反復(fù)BG的行數(shù)據(jù)和反復(fù)GR的行數(shù)據(jù)在垂直方向上被交替輸出的RAW數(shù)據(jù)。
15.根據(jù)權(quán)利要求1或4所述的圖像處理裝置，其中， 上述原始圖像RAW數(shù)據(jù)是單板彩色拍攝元件獲取的RAW數(shù)據(jù)，該單板彩色拍攝元件具有利用補色濾光器呈周期性地進行了顏色陣列排列的多顏色的像素。
16.根據(jù)權(quán)利要求1或4所述的圖像處理裝置，其中， 上述原始圖像RAW數(shù)據(jù)是單板彩色拍攝元件獲取的RAW數(shù)據(jù)，該單片彩色拍攝元件具有利用補色濾光器以行上的像素為單位呈周期性地進行了顏色陣列排列的多顏色的像素、以及在與上述行不同的其他行呈非周期性地進行了陣列排列的單色像素。
17.—種圖像處理方法,包括: 第I分布均等化處理步驟，從具有顏色陣列的周期性的多顏色像素的拍攝元件輸入在彼此正交的第I和第2陣列方向上產(chǎn)生了由于偶數(shù)像素混合輸出而導(dǎo)致的像素數(shù)據(jù)分布的不均衡的原始圖像RAW數(shù)據(jù)之后，通過將所輸入的上述原始圖像RAW數(shù)據(jù)的上述第I陣列方向的像素數(shù)據(jù)分布進行均等化，從而生成第I多顏色陣列數(shù)據(jù)；以及 第2分布均等化處理步驟，通過將上述第I多顏色陣列數(shù)據(jù)的上述第2陣列方向的像素數(shù)據(jù)分布進行均等化，從而生成第2多顏色陣列數(shù)據(jù)， 上述第I分布均等化處理步驟包括: 第I濾光處理步驟，通過沿著上述第I陣列方向的像素單位的濾光處理，從而將上述原始圖像RAW數(shù)據(jù)劃分成連續(xù)的第I亮度數(shù)據(jù)和連續(xù)的第I顏色載波數(shù)據(jù)； 第I亮度分布均等化處理步驟，通過將上述第I亮度數(shù)據(jù)的上述第I陣列方向的亮度分布進行均等化，從而生成第2亮度數(shù)據(jù)；以及 第I顏色陣列再現(xiàn)處理步驟，通過將上述第I顏色載波數(shù)據(jù)對上述第2亮度數(shù)據(jù)進行再合成，從而生成上述第I多顏色陣列數(shù)據(jù)， 上述第2分布均等化處理步驟包括: 第2濾光處理步驟，通過沿著上述第2陣列方向的像素單位的濾光處理，從而將上述第I多顏色陣列數(shù)據(jù)劃分成連續(xù)的第3亮度數(shù)據(jù)和連續(xù)的第2顏色載波數(shù)據(jù)； 第2亮度分布均等化處理步驟，通過將上述第3亮度數(shù)據(jù)的上述第2陣列方向的亮度分布進行均等化，從而生成第4亮度數(shù)據(jù)；以及 第2顏色陣列再現(xiàn)處理步驟，通過將上述第2顏色載波數(shù)據(jù)對上述第4亮度數(shù)據(jù)進行再合成，從而生成上述第2多顏色陣列數(shù)據(jù)。
18.根據(jù)權(quán)利要求17所述的圖像處理方法，其中， 作為將上述第I多顏色陣列數(shù)據(jù)轉(zhuǎn)送給上述第2分布均等化處理步驟的緩存器，使用具有被二維展開的存儲空間的幀存儲器，在與向上述幀存儲器中寫入上述第I多顏色陣列數(shù)據(jù)的方向正交的方向上，從上述幀存儲器讀出上述第I多顏色陣列數(shù)據(jù)并轉(zhuǎn)送到上述第2分布均等化尺寸調(diào)整處理步驟。
19.根據(jù)權(quán)利要求17所述的圖像處理方法，其中， 作為將上述第I多顏色陣列數(shù)據(jù)轉(zhuǎn)送給上述第2分布均等化處理步驟的緩存器，使用由多行構(gòu)成的行存儲器，將上述第I多顏色陣列數(shù)據(jù)按每一行寫入到上述行緩存器中，同時，將多行的第I多顏色陣列數(shù)據(jù)從上述行緩存器中讀出并轉(zhuǎn)送到上述第2分布均等化處理步驟。
20.—種圖像處理方法，包括: 第I分布均等化尺寸調(diào)整處理步驟，從具有顏色陣列的周期性的多顏色像素的拍攝元件輸入在彼此正交的第I和第2陣列方向上產(chǎn)生了由于偶數(shù)像素混合輸出而導(dǎo)致的像素數(shù)據(jù)分布的不均衡的原始圖像RAW數(shù)據(jù)之后，通過將所輸入的上述原始圖像RAW數(shù)據(jù)的上述第I陣列方向的像素數(shù)據(jù)分布進行均等化并進行尺寸調(diào)整，從而生成第I多顏色陣列數(shù)據(jù)；以及 第2分布均等化尺寸調(diào)整處理步驟，通過將上述第I多顏色陣列數(shù)據(jù)的上述第2陣列方向的像素數(shù)據(jù)分布進行均等化并進行尺寸調(diào)整，從而生成第2多顏色陣列數(shù)據(jù)， 上述第I分布均等化尺寸調(diào)整處理步驟包括: 第I濾光處理步驟，通過沿著上述第I陣列方向的像素單位的濾光處理，從而將上述原始圖像RAW數(shù)據(jù)劃分成連續(xù)的第I亮度數(shù)據(jù)、和符號交替反轉(zhuǎn)且顏色排列按每個像素呈交替顏色不同的連續(xù)的第I顏色載波數(shù)據(jù)； 第I亮度分布均等化處理步驟，通過將上述第I亮度數(shù)據(jù)的上述第I陣列方向的亮度分布進行均等化，從而生成第2亮度數(shù)據(jù)； 第I亮度尺寸調(diào)整處理步驟，通過在上述第I陣列方向上對上述第2亮度數(shù)據(jù)進行尺寸調(diào)整處理，從而生成第2-1亮度數(shù)據(jù)； 第I顏色反轉(zhuǎn)解調(diào)步驟，通過對上述第I顏色載波數(shù)據(jù)進行解調(diào)，從而生成連續(xù)且顏色排列被統(tǒng)一成相同顏色的第I顏色差分數(shù)據(jù)； 第I顏色差分尺寸調(diào)整處理步驟，通過在上述第I陣列方向上對上述第I顏色差分數(shù)據(jù)進行尺寸調(diào)整處理，從而生成第2顏色差分數(shù)據(jù)； 第I顏色載波調(diào)制步驟，將上述第2顏色差分數(shù)據(jù)調(diào)制成符號交替地反轉(zhuǎn)且顏色陣列的周期性已被復(fù)原的第1-1顏色載波數(shù)據(jù)；以及 第I顏色陣列再現(xiàn)處理步驟，通過將上述第1-1顏色載波數(shù)據(jù)對上述第2-1亮度數(shù)據(jù)進行再合成，從而生成上述第I多顏色陣列數(shù)據(jù)， 上述第2分布均等化尺寸調(diào)整處理步驟包括: 第2濾光處理步驟，通過沿著第2陣列方向的像素單位的濾光處理，從而將上述第I多顏色陣列數(shù)據(jù)劃分成連續(xù)的第3亮度數(shù)據(jù)和符號交替地反轉(zhuǎn)且顏色排列按每個像素呈交替顏色不同的連續(xù)的第2顏色載波數(shù)據(jù)； 第2亮度分布均等化處理步驟，通過將上述第3亮度數(shù)據(jù)的上述第2陣列方向的亮度分布進行均等化，從而生成第4亮度數(shù)據(jù)； 第2亮度尺寸調(diào)整處理步驟，通過在上述第2陣列方向上對上述第4亮度數(shù)據(jù)進行尺寸調(diào)整處理，從而生成第5亮度數(shù)據(jù)； 第2顏色反轉(zhuǎn)解調(diào)步驟，通過對上述第2顏色載波數(shù)據(jù)進行解調(diào)，從而生成連續(xù)且顏色排列被統(tǒng)一成相同顏色的第3顏色差分數(shù)據(jù)； 第2顏色差分尺寸調(diào)整處理步驟，通過在上述第2陣列方向上對上述第3顏色差分數(shù)據(jù)進行尺寸調(diào)整處理，從而生成第4顏色差分數(shù)據(jù)； 第2顏色載波調(diào)制步驟，將上述第4顏色差分數(shù)據(jù)調(diào)制成符號交替地反轉(zhuǎn)并且顏色陣列的周期性已被復(fù)原的第3顏色載波數(shù)據(jù)；以及 第2顏色陣列再現(xiàn)處理步驟，通過將上述第3顏色載波數(shù)據(jù)對上述第5亮度數(shù)據(jù)進行再合成，從而生成上述第2多顏色陣列數(shù)據(jù)；
21.根據(jù)權(quán)利要求20所述的圖像處理方法，其中， 作為將上述第I多顏色陣列數(shù)據(jù)發(fā)轉(zhuǎn)送給上述第2分布均等化尺寸調(diào)整處理步驟的緩存器，使用具有被二維展開的存儲空間的幀存儲器，在與向上述幀存儲器中寫入上述第I多顏色陣列數(shù)據(jù)的方向正交的方向上，從上述幀存儲器讀出上述第I多顏色陣列數(shù)據(jù)并轉(zhuǎn)送到上述第2分布均等化尺寸調(diào)整處理步驟。
22.根據(jù)權(quán)利要求20所述的圖像處理方法，其中， 作為將上述第I多顏色陣列數(shù)據(jù)轉(zhuǎn)送給上述第2分布均等化尺寸調(diào)整處理步驟的緩存器，使用由多行構(gòu)成的行存儲器，將上述第I多顏色陣列數(shù)據(jù)按每一行寫入到上述行緩存器中，同時，將多行的上述第I多顏色陣列數(shù)據(jù)從上述行緩存器中讀出并轉(zhuǎn)送到上述第2分布均等化尺寸調(diào)整處理步驟。
23.根據(jù)權(quán)利要求20所述的圖像處理方法，其中， 上述第I亮度尺寸調(diào)整處理步驟、上述第I顏色差分尺寸調(diào)整處理步驟、上述第2亮度尺寸調(diào)整處理步驟和上述第2顏色差分尺寸調(diào)整處理步驟進行縮小尺寸調(diào)整處理作為其尺寸調(diào)整處理。
24.根據(jù)權(quán)利要求20所述的圖像處理方法，其中， 上述第I亮度尺寸調(diào)整處理步驟、上述第I顏色差分尺寸調(diào)整處理步驟、上述第2亮度尺寸調(diào)整處理步驟和上述第2顏色差分尺寸調(diào)整處理步驟進行擴大尺寸調(diào)整處理作為其尺寸調(diào)整處理。
25.根據(jù)權(quán)利要求17或20所述的圖像處理方法，其中， 上述第I亮度分布均等化處理步驟或者上述第2亮度分布均等化處理步驟進行的亮度數(shù)據(jù)分布均等化處理是以下的處理，即: 通過插值處理使處理對象像素的亮度數(shù)據(jù)接近于對多個像素混合前的原始圖像設(shè)定的任意像素的亮度數(shù)據(jù)； 并且，在將構(gòu)成上述處理對象像素的兩相鄰的相鄰像素當(dāng)中的與上述處理對象像素相隔得更遠的上述相鄰像素的相當(dāng)于不同顏色的像素設(shè)定為引用像素之后，將利用上述處理對象像素的亮度數(shù)據(jù)和上述引用像素的亮度數(shù)據(jù)的插值處理而獲得的插值亮度數(shù)據(jù)作為上述處理對象像素的亮度數(shù)據(jù)。
26.根據(jù)權(quán)利要求25所述的圖像處理方法，其中， 由上述第I亮度分布均等化處理步驟或上述第2亮度分布均等化處理步驟進行的上述亮度數(shù)據(jù)分布均等化處理是以下的處理，即: 通過將假設(shè)為位于上述相鄰像素的中央的虛擬配置像素和上述引用像素之間的間隔距離、與上述處理對象像素和上述虛擬配置像素之間的間隔距離代入分點公式，從而對上述處理對象像素的亮度數(shù)據(jù)和上述引用像素的亮度數(shù)據(jù)進行比例分割，根據(jù)所得到的比例分割結(jié)果來獲得上述插值亮度數(shù)據(jù)。
27.根據(jù)權(quán)利要求25所述的圖像處理方法，其中， 上述第I亮度分布均等化處理部或上述第2亮度分布均等化處理部進行的上述亮度數(shù)據(jù)分布均等化處理是以下的處理，即: 將在假設(shè)為向上述處理對象像素和上述引用像素彼此間隔開的方向移動且呈均等分布狀態(tài)的狀態(tài)下的上述處理對象像素設(shè)為虛擬配置像素之后，將上述引用像素和上述虛擬配置像素之間的間隔距離、與上述處理對象像素和上述虛擬配置像素之間的間隔距離代入分點公式，由此，對上述處理對象像素的亮度數(shù)據(jù)和上述引用像素的亮度數(shù)據(jù)進行比例分割，基于所得到的比例分割結(jié)果來獲得上述插值亮度數(shù)據(jù)。
28.根據(jù)權(quán)利要求25所述的圖像處理方法，其中， 在上述第I亮度分布均等化處理步驟和上述第2亮度分布均等化處理步驟中，在進行上述插值處理之前，進行上述處理對象像素的亮度數(shù)據(jù)的高頻強調(diào)處理。
29.根據(jù)權(quán)利要求25所述的圖像處理方法，其中， 在上述第I亮度分布均等化處理步驟和上述第2亮度分布均等化處理步驟中，在進行上述插值處理之后，進行上述處理對象像素的亮度數(shù)據(jù)的高頻強調(diào)處理。
30.根據(jù)權(quán)利要求17或20所述的圖像處理方法，其中， 上述原始圖像RAW數(shù)據(jù)是具有RGB拜耳陣列的周期性、并且沿著水平方向反復(fù)BG的行數(shù)據(jù)和反復(fù)GR的行數(shù)據(jù)在垂直方向上被交替輸出的RAW數(shù)據(jù)。
31.根據(jù)權(quán)利要求17或20所述的圖像處理方法，其中， 上述原始圖像RAW數(shù)據(jù)是單板彩色拍攝元件獲取的RAW數(shù)據(jù)，該單板彩色拍攝元件具有利用補色濾光器呈周期性地進行了顏色陣列排列的多顏色的像素。
32.根據(jù)權(quán)利要求17或20所述的圖像處理方法，其中， 作為上述原始圖像RAW數(shù)據(jù)是單板彩色拍攝元件獲取的RAW數(shù)據(jù)，該單片板彩色拍攝元件具有利用補色濾光器以行上的像素為單位呈周期性地進行了顏色陣列排列的多顏色的像素以及在與上述行不同的其他行呈非周期性地進行了陣列排列的單色像素。
33.一種圖像處理用程序，是與根據(jù)權(quán)利要求17或20所述的圖像處理方法相對應(yīng)地制成的程序，能夠利用計算機按順序執(zhí)行與各個步驟對應(yīng)的多個步驟。
34.一種能夠用計算機讀取的圖像處理用記錄介質(zhì)，記錄有權(quán)利要求33所述的程序。
全文摘要
在第1濾光處理步驟中，利用沿著第1陣列方向的像素單位的濾光處理，將原始圖像RAW數(shù)據(jù)劃分為第1亮度數(shù)據(jù)和第1顏色載波數(shù)據(jù)。在第1亮度分布均等化處理步驟中，通過對第1亮度數(shù)據(jù)的第1陣列方向的亮度分布進行均等化，從而生成第2亮度數(shù)據(jù)。在第1顏色陣列再現(xiàn)處理步驟中，通過將第2亮度數(shù)據(jù)與第1顏色載波數(shù)據(jù)進行再合成，從而生成第1多顏色陣列數(shù)據(jù)。在第2濾光處理步驟中，利用沿著第2陣列方向的像素單位的濾光處理，將第1多顏色陣列數(shù)據(jù)劃分成第3亮度數(shù)據(jù)和第2顏色載波數(shù)據(jù)。在第2亮度分布均等化處理步驟中，通過對第3亮度數(shù)據(jù)的第2陣列方向的亮度分布進行均等化，從而生成第4亮度數(shù)據(jù)。在第2顏色陣列再現(xiàn)處理步驟中，通過將第4亮度數(shù)據(jù)與第2顏色載波數(shù)據(jù)進行再合成，從而生成第2多顏色陣列數(shù)據(jù)。
文檔編號H04N9/07GK103155567SQ20118005033
公開日2013年6月12日 申請日期2011年8月1日 優(yōu)先權(quán)日2010年10月20日
發(fā)明者秦野敏信 申請人:松下電器產(chǎn)業(yè)株式會社