專利名稱：攝像裝置、圖像處理方法、圖像處理程序及半導體集成電路的制作方法
技術領域：
本發(fā)明涉及攝像裝置、圖像處理方法、圖像處理程序及安裝有圖像處理功能的半 導體集成電路，尤其涉及適用于對從單板彩色攝像元件得到的原圖像的縮小處理、放大處 理、形變修正的圖像數(shù)據(jù)尺寸轉(zhuǎn)換處理裝置、電子靜態(tài)圖片相機、圖像數(shù)據(jù)尺寸轉(zhuǎn)換處理程 序、半導體集成電路等。
背景技術：
公知有一種利用(XD、MOS傳感器等攝像元件對通過攝影鏡頭的被攝體像進行攝 像，然后針對從該攝像元件輸出的圖像數(shù)據(jù)進行規(guī)定的圖像處理的數(shù)碼相機。一般的數(shù)碼 相機在將從攝像元件得到的圖像信號轉(zhuǎn)換成10比特或12比特或14比特的數(shù)字數(shù)據(jù)，實施 了各種圖像處理之后，根據(jù)JPEG編碼等壓縮方式來壓縮圖像數(shù)據(jù)，并將其記錄到記錄介質(zhì) 中。由于所記錄的圖像已經(jīng)被實施了各種圖像處理，所以如果用戶自身對再生圖像實施進 一步的圖像處理，則有時畫質(zhì)會劣化。另外，在相機內(nèi)不實施圖像處理而對從攝像元件輸出的每個像素的模擬信號進行 了 A/D轉(zhuǎn)換之后，以不施加圖像處理的原始(RAW)狀態(tài)直接記錄數(shù)字數(shù)據(jù)的方式，作為單反 數(shù)碼相機的功能已經(jīng)逐漸普及。作為使用方法，通過在相機側(cè)記錄未加工的RAW數(shù)據(jù)，然后 利用個人電腦等外部裝置進行圖像的再現(xiàn)(顯像)處理，來實現(xiàn)高品質(zhì)的打印、和與用戶的 目的相符的更高級的圖像編輯。在這樣的攝像裝置中，為了拍攝彩色圖像而在攝像元件上設置有色分解濾色器。 例如，在拜爾(Bayer)方式的色分解濾色器中，對應于攝像元件的像素，R(紅)、G(綠)、 B(藍)原色濾色器被配置成方格圖案。即，在拜爾排列中，沿像素排列的水平方向及垂直方 向兩個方向，相同色成分的濾色器每隔1個像素排列。通過這樣的色分解濾色器拍攝的圖 像數(shù)據(jù)，需要被處理成保持拜爾排列。其原因在于，如果拜爾排列被破壞，則無法從圖像數(shù) 據(jù)再現(xiàn)被攝體的顏色。RAW形式的數(shù)據(jù)與JPEG形式等的數(shù)據(jù)相比，文件尺寸較大、再生處理相對比較花 費時間。對于RAW數(shù)據(jù)的再生而言，根據(jù)針對1個像素只有1個顏色信息的大尺寸原圖像 數(shù)據(jù)，施加伽馬修正、取得白平衡，同時針對各像素進行得到R/G/B的信息那樣的同時化處 理，最終必須得到再現(xiàn)圖像。在還確認畫面內(nèi)的細節(jié)的再現(xiàn)性的情況下，需要對這樣的大 尺寸的圖像進行處理，但例如在使用數(shù)碼相機的液晶顯示器只確認顏色的再現(xiàn)性的情況下 (想要確認色調(diào)、顏色的感覺時)、或者為了確認明亮度的程度、變更了伽馬修正的施加情 況時的結(jié)果等，即使不使用如此大的圖像也能夠通過小的圖像充分確認。而且，在攝像元件的高像素化和高速讀出處理技術進展過程中，當進行被稱為小 RAff的比原圖像小的圖像記錄模式時的攝影、以HD電影為代表的尺寸被標準化的動態(tài)圖像 攝影時，通過在處理的前階段縮小RAW圖像，進行再生處理或記錄處理，能夠節(jié)省后序處理 的冗長處理，因此可以大幅縮短處理時間，還能夠?qū)崿F(xiàn)系統(tǒng)的省電。如上所述，為了高速顯示RAW數(shù)據(jù)的處理結(jié)果、或者以預覽用圖像文件尺寸的最小化或RAW形式數(shù)據(jù)的小尺寸記錄、尺寸被標準化的動態(tài)圖像記錄等為目的，可進行RAW圖 像的縮小處理。以往，當對作為原圖像的RGB的RAW數(shù)據(jù)調(diào)整大小(resize)時，采取了在最初的 處理中色分離成獨立的R、G、B數(shù)據(jù)、或者通過同色像素的混合來間隔提取的方法(參照專 利文獻1 3)。或者，在對實際大小(fullsize)的圖像處理后的YCrCb數(shù)據(jù)施加了 LPF (低 通濾波)之后，將縮小調(diào)整大小后的數(shù)據(jù)作為1個小RAW文件(參照專利文獻4)。專利文獻1 特開2003-346143號公報專利文獻2 特開2001-245141號公報專利文獻3 特開2002-84547號公報專利文獻4 特開2007-158509號公報在專利文獻1 3的技術中，由于當對作為原圖像的RGB的RAW數(shù)據(jù)調(diào)整大小時， 采用了在最初的處理中色分離成獨立的R、G、B數(shù)據(jù)、或者通過同色像素的混合來間隔提取 的方法，所以，當在RAW數(shù)據(jù)中對空間配置的RGB數(shù)據(jù)進行色分離時，由于因通過采樣、像素 相加實現(xiàn)的間隔提取而折回到低頻的奈奎斯特頻率附近的高頻成分無法通過LPF被除去， 所以在縮小后再配置的縮小RAW數(shù)據(jù)上會產(chǎn)生高頻的偽信號。結(jié)果，圖像出現(xiàn)偽色、發(fā)生分 辨感的劣化，存在無法得到將原圖像的攝像特征充分發(fā)揮的縮小RAW圖像這一缺點。另外，在專利文獻4的技術中，在實際大小的圖像處理之后實施了縮小調(diào)整大小 處理，但縮小調(diào)整大小處理是減少記錄像素數(shù)的處理，圖像處理后通過縮小調(diào)整大小處理 而被間隔提取舍去的數(shù)據(jù)成為冗長處理，從省電觀點出發(fā)，效率差。并且，在安裝到LSI等 硬件的情況下，由于經(jīng)由外部的存儲緩沖器而被處理，所以與處理量成比例地伴隨著LSI 的I/O緩沖器的耗電。

發(fā)明內(nèi)容
本發(fā)明鑒于這樣的事情而提出，其目的在于，提供在對原圖像調(diào)整大小時，能夠在 降低偽亮度信號、偽色的同時保持分辨感的攝像裝置及圖像處理方法、以及實現(xiàn)該圖像處 理方法的圖像處理程序和半導體集成電路。為了實現(xiàn)上述目的，本發(fā)明在根據(jù)由色排列具有周期性的多種顏色的像素構成的 原圖像的數(shù)字圖像信號，生成縮小或放大的調(diào)整大小圖像時，將原圖像色分離成R、G、B數(shù) 據(jù)之后，不實施調(diào)整大小處理，而實施從原圖像得到的亮度數(shù)據(jù)與色差數(shù)據(jù)這2個系統(tǒng)的 調(diào)整大小處理。若具體說明，則根據(jù)本發(fā)明，實施下述的處理通過行單位的濾波處理從原圖像提 取出亮度數(shù)據(jù)和載色數(shù)據(jù)的濾波處理；對所述載色數(shù)據(jù)進行噪聲除去的噪聲除去處理；將 噪聲除去后的載色數(shù)據(jù)轉(zhuǎn)換成色差數(shù)據(jù)的色差數(shù)據(jù)解調(diào)處理；對提取出的亮度數(shù)據(jù)和所述 色差數(shù)據(jù)分別實施特性不同的濾波處理的帶限濾波處理；對亮度數(shù)據(jù)和色差數(shù)據(jù)獨立地進 行調(diào)整大小的調(diào)整大小處理；將調(diào)整大小后的色差數(shù)據(jù)重新轉(zhuǎn)換成載色數(shù)據(jù)的載色調(diào)制處 理；和將調(diào)整大小后的亮度數(shù)據(jù)與調(diào)制后的載色數(shù)據(jù)重新合成，生成最終的多色排列數(shù)據(jù) 的色排列再現(xiàn)處理。如果對行單位的亮度數(shù)據(jù)和色差數(shù)據(jù)，根據(jù)行位置連續(xù)地變更調(diào)整大小比率來進 行調(diào)整大小，則還能夠從原圖像的數(shù)字圖像信號以行單位生成調(diào)整大小比率不同的圖像。
(發(fā)明效果)根據(jù)本發(fā)明，例如在生成未進行同時化等信號處理的原圖像(RAW圖像)的縮小圖 像時，按照不使原圖像的亮度信號成分與各色信號成分的再現(xiàn)頻帶走樣的方式，實施具有 與亮度信號成分和色差信號成分的二維再現(xiàn)頻帶相似的頻帶特性的LPF，并根據(jù)LPF處理 后的圖像進行亮度信號成分與色差信號成分的調(diào)整大小處理，來變更像素數(shù)，并對2個信 號進行疊加處理，得到了調(diào)整大小圖像。像素的調(diào)整大小比率依賴于原圖像與最終應該生 成的圖像的比率而設定。如此得到的調(diào)整大小圖像反映了調(diào)整大小前的原圖像的再現(xiàn)特 性的特征。由此，不僅可實現(xiàn)再現(xiàn)處理時間的縮短，而且能夠防止最終圖像中的偽信號的發(fā) 生，保持各色信號的最大分辨感。更具體而言，根據(jù)本發(fā)明，由于不將RAW數(shù)據(jù)中空間配置的RGB數(shù)據(jù)色分離成R/G/ B這3色，而對于亮度數(shù)據(jù)施加與調(diào)整大小后的尺寸對應的亮度LPF，來進行調(diào)整大小處理， 所以高頻亮度成分不折返回低頻、并且能夠確保分辨度。關于色數(shù)據(jù)，通過特性不同的濾波 處理(高頻除去性能高)提取低頻成分，進行調(diào)整大小后疊加到亮度信號中，可抑制在縮小 RAff數(shù)據(jù)上產(chǎn)生高頻的偽信號，能夠降低偽色并保持分辨感。而且，當對連續(xù)的亮度數(shù)據(jù)和色差數(shù)據(jù)實施調(diào)整大小處理時，通過使調(diào)整大小比 率可變，能夠以簡單的構成降低偽色，同時保持分辨感，來實現(xiàn)形變修正。另外，如果在前處理中實施縮小調(diào)整大小處理，則通過針對原圖像的尺寸以小的 尺寸實現(xiàn)顯示處理、記錄處理，可減少后段處理量，從省電觀點出發(fā)效率良好。


圖1是表示本發(fā)明的實施方式涉及的攝像裝置的構成的框圖。圖2(a)是表示濾色器的蜂窩排列的例子的概念圖，圖2(b)是表示拜爾排列的例 子的概念圖。圖3是表示本發(fā)明的實施方式涉及的圖像處理方法的概略圖。圖4是表示在圖3的兩個步驟的調(diào)整大小處理中利用幀存儲器的例子的概念圖。圖5是表示在圖3的兩個步驟的調(diào)整大小處理中利用由多個行構成的行存儲器的 例子的概念圖。圖6是表示圖3中的RAW數(shù)據(jù)水平方向調(diào)整大小處理的詳細步驟的圖。圖7是表示實施圖5的例子時的行存儲器的寫入讀出動作的概念圖。圖8是表示圖7的下一個定時下的該行存儲器的寫入讀出動作的概念圖。圖9是表示利用行存儲器時的圖3中的RAW數(shù)據(jù)垂直方向調(diào)整大小處理的詳細步 驟的圖。圖10是表示濾色器的拜爾排列中的各色的二維再現(xiàn)頻帶的圖。
11(a)是將CZP (圓形波帶片Circular Zone Plate)圖像色分離成R、G、B數(shù) 據(jù)后，沿水平方向?qū)嵤┝?1/2的調(diào)整大小處理時的縮小RAW圖像的圖，圖11(b)是對該圖像 實施了本發(fā)明的亮度數(shù)據(jù)與色差數(shù)據(jù)的2個系統(tǒng)的縮小調(diào)整大小處理時的縮小RAW圖像的 圖。圖12(a)是表示通過廣角鏡頭產(chǎn)生的桶型特性的輸入圖像的圖，圖12(b)是表示 對該輸入圖像沿水平方向及垂直方向?qū)嵤┬袉挝坏恼{(diào)整大小處理而產(chǎn)生的修正結(jié)果的圖。
7
圖13是將本發(fā)明的調(diào)整大小處理功能作為數(shù)字電路安裝到數(shù)字信號處理LSI的 輸入部時的半導體集成電路的框圖。圖14是將本發(fā)明的調(diào)整大小處理功能作為MOS圖像傳感器的輸出前的數(shù)字電路 進行安裝時的半導體集成電路的框圖。圖15是將本發(fā)明的調(diào)整大小處理功能作為對MOS圖像傳感器的模擬輸出進行A/ D轉(zhuǎn)換的模擬前端LSI的輸出前的數(shù)字電路進行安裝時的半導體集成電路的框圖。圖中10-攝像裝置；12-攝像部；101-光學透鏡；102-光學LPF (低通濾波器)； 103-濾色器；104-攝像元件；105-AFE (模擬前端)部；106-前處理部；107-存儲器控制部； 108-圖像存儲器；109-圖像信號處理部；110-壓縮解壓部；111-記錄媒介I/F(接口)部； 112-記錄媒介；113-操作面板；114-CPU ； 115-R0M ； 116-RAM ； 117-顯示處理部；118-顯示 器I/F部；120-RAW調(diào)整大小處理部；131-數(shù)字信號處理LSI ； 141-M0S圖像傳感器(LSI)； 151-模擬前端LSI ；301-CCDRAW圖像；302-RAW數(shù)據(jù)水平方向調(diào)整大小處理；303-CCDRAW調(diào) 整大小圖像；304-RAW數(shù)據(jù)垂直方向調(diào)整大小處理；305-CXDRAW調(diào)整大小圖像；400-幀存 儲器；500-行存儲器；601-行單位的CXDRAW圖像；602-載色除去濾波處理；603-亮度用帶 限濾波處理；604-亮度信號水平方向縮小調(diào)整大小處理；605-增益電平調(diào)整處理；606-載 色提取濾波處理；607-色差數(shù)據(jù)解調(diào)處理；608-中值噪聲除去處理；609-色差用帶限濾波 處理；610-色差信號水平方向縮小調(diào)整大小處理；611-載色調(diào)制處理；612-色排列再現(xiàn)處 理；701-行存儲器；702-數(shù)據(jù)寫入循環(huán)；703-數(shù)據(jù)讀出循環(huán)；704-多個行上的水平方向同 一位置的數(shù)據(jù)；901-由7個像素構成的處理單位；902-載色除去濾波處理；903-亮度用帶 限濾波處理；904-亮度信號垂直方向縮小調(diào)整大小處理；905-載色提取濾波處理；906-色 差數(shù)據(jù)解調(diào)處理；907-中值噪聲除去處理；908-色差用帶限濾波處理；909-色差信號垂直 方向縮小調(diào)整大小處理；910-載色調(diào)制處理；911-色排列再現(xiàn)處理；912-增益電平調(diào)整處 理。
具體實施例方式下面，根據(jù)附圖，對本發(fā)明涉及的圖像處理方法及圖像處理程序的優(yōu)選實施方式 進行詳細說明。圖1是本發(fā)明的實施方式涉及的攝像裝置的構成圖。該攝像裝置10是將通過攝 像部12拍攝的被攝體的光學像轉(zhuǎn)換成數(shù)字圖像數(shù)據(jù)，并記錄到記錄媒介112的單板式數(shù)碼 相機。攝像部12包括光學透鏡101、光學LPF102、濾色器103、攝像元件104、AFE(模擬前 端)部105。攝像元件104是以CXD型或CMOS型等為代表的圖像傳感器。在攝像元件104的 受光面二維排列有多個光電二極管(感光像素)，對通過光學透鏡101后的被攝體信息進行 光電轉(zhuǎn)換。光學LPF102具有將依賴于攝像元件104的像素間距等的采樣頻率以上的高頻 成分除去的作用，防止在圖像再現(xiàn)(信號處理)后的最終圖像中發(fā)生混淆。濾色器103具有在與攝像元件104的各像素對應的位置存在R、G、B的其中一種顏 色那樣的規(guī)定色排列，對向作為受光元件的光電二極管入射的光進行色選擇。圖2(a)及圖2(b)表示RGB原色類型的濾色器排列的例子。圖2 (a)所示的蜂窩 排列將受光元件(光電二極管)的幾何學形狀的中心在行方向及列方向上分別錯移1/2間距配置。圖2(b)所示的拜爾排列將受光元件在行方向及列方向上分別以一定間距排列成 正方行列。需要說明的是，在實際的攝像元件104的成像面中，圖2(a)及圖2(b)所示的像 素排列的構造沿水平方向及垂直方向周期性反復。當然，在本發(fā)明的實施上，濾色器103的 排列構造不限定于圖2(a)及圖2(b)所示的例子，還能夠采用G條紋等各種排列構造。而 且，在本例中使用了原色濾色器，但在實施本發(fā)明時并不限定于原色濾色器，也可以采用由 黃(Y)、洋紅(M)、青(C)、綠(G)構成的補色濾色器、或采用原色與補色的任意組合以及白 (W)。通過了圖1的光學透鏡101的光經(jīng)過光學LPF102和濾色器103，入射到攝像元件 104中。在攝像元件104的受光面成像的被攝體像，被各光電二極管轉(zhuǎn)換成與入射光量對 應量的信號電荷，根據(jù)從未圖示的驅(qū)動電路賦予的脈沖，作為與信號電荷對應的電壓信號 (圖像信號)被依次讀出。攝像元件104具有根據(jù)快門選通脈沖的定時來控制各光電二極管的電荷蓄積時 間(快門速度)的電子快門功能。攝像元件104的動作(曝光、讀出等)由CPU114控制。從攝像元件104輸出的圖像信號被發(fā)送給AFE部105，在模擬增益、⑶S (相關二重 采樣)等處理后，通過A/D轉(zhuǎn)換處理被轉(zhuǎn)換成數(shù)字信號。而且，在以CMOS型為代表的攝像元件104中，還存在作為實現(xiàn)高速讀出的機構，在 該攝像元件104內(nèi)安裝了噪聲處理部和A/D轉(zhuǎn)換器，直接作為數(shù)字信號輸出的方式。被A/D轉(zhuǎn)換后的圖像數(shù)據(jù)按照攝像裝置10的動作模式，經(jīng)過必要的信號處理、或 省略信號處理而記錄到記錄媒介112中。本例的攝像裝置10能夠記錄JPEG形式的圖像， 并且能夠記錄A/D轉(zhuǎn)換之后不做處理的圖像(以下稱為CXDRAW圖像)。在以JPEG形式記錄的情況下，A/D轉(zhuǎn)換后的圖像數(shù)據(jù)經(jīng)過前處理部106被發(fā)送到 圖像信號處理部109。前處理部106與圖像信號處理部109是實施同時化處理(對與濾色 器排列相伴的色信號的空間錯位進行插值，計算各點的顏色的處理)、白平衡(WB)調(diào)整、伽 馬修正、亮度 色差信號生成、輪廓強調(diào)、基于電子變焦功能的變倍(放大/縮小)處理、像 素數(shù)的轉(zhuǎn)換(調(diào)整大小)處理等各種處理的處理機構，按照來自CPU114的指令來處理圖像 信號。上述前處理部106及圖像信號處理部109具有能夠借助存儲器控制部107暫時存儲 處理中途的圖像的圖像存儲器108，在利用該圖像存儲器108的同時進行圖像信號的處理。在前處理部106與圖像信號處理部109中經(jīng)過了規(guī)定的信號處理后的圖像數(shù)據(jù)被 發(fā)送給壓縮解壓部110，按照JPEG形式的壓縮格式被壓縮。另外，壓縮形式不限定于JPEG， 也可以采用MPEG等其他方式，并采用與所使用的壓縮形式對應的壓縮引擎。壓縮后的圖像數(shù)據(jù)經(jīng)由記錄媒介I/F(接口)部111被記錄到記錄媒介112中。記 錄媒介112不限定于以存儲卡為代表的半導體存儲器，還可以使用磁盤、光盤、光磁盤等各 種介質(zhì)。而且，不限定于可移動媒介，也可以是攝像裝置10中內(nèi)置的記錄介質(zhì)(內(nèi)部存儲 器)O另一方面，在是記錄CXDRAW圖像的模式的情況下，被AFE部105的A/D轉(zhuǎn)換而數(shù)字 化后的圖像數(shù)據(jù)，不經(jīng)過同時化等其他信號處理而經(jīng)由存儲器控制部107、記錄媒介I/F部 111記錄到記錄媒介112中。S卩，CXDRAW圖像是未被進行伽馬修正、白平衡調(diào)整、同時化等 信號處理的圖像，是對應于濾色器103的排列圖案，按每個像素只保持一個不同的色信息 的鑲嵌狀圖像。當然，由于也未進行壓縮處理，所以具有大的文件尺寸。另外，在將CCDRAW圖像向記錄媒介112記錄時，可以進行可逆的壓縮來記錄，也可以記錄非壓縮的數(shù)據(jù)。CPUl 14是按照規(guī)定的程序統(tǒng)一控制本攝像裝置10的控制部，根據(jù)來自操作面板 113的指示信號，控制攝像裝置10內(nèi)的各電路的動作。R0M115中保存有CPU114所執(zhí)行的 程序及控制所必要的各種數(shù)據(jù)等，RAMI 16被作為CPU114的工作用區(qū)域而利用。操作面板113是用于由用戶對攝像裝置10輸入各種指示的機構，例如包括用于 選擇攝像裝置10的動作模式的模式選擇開關、輸入菜單項目的選擇操作(光標移動操作) 或再生圖像的快進/倒退等指示的方向鍵、指示選擇項目的確定(登記)或動作的執(zhí)行的 執(zhí)行鍵、用于消去選擇項目等所希望的對象或取消指示的取消鍵、電源開關、變焦開關、釋 放開關(release switch)等各種操作機構。CPUl 14根據(jù)從操作面板113輸入的指示信號，按照各種攝影條件(曝光條件、閃 光燈發(fā)光有無、攝影模式等)，控制攝像元件104等的攝像部12，并且進行自動曝光(AE)控 制、自動焦點調(diào)節(jié)(AF)控制、自動白平衡(AWB)控制、透鏡驅(qū)動控制、圖像處理控制、記錄媒 介112的讀寫控制等。例如，CPU114在檢測到釋放開關的半按壓時，進行自動焦點調(diào)節(jié)(AF)控制，當檢 測到釋放開關的完全按壓時，開始用于取入記錄用圖像的曝光及讀出控制。而且，CPU114根 據(jù)需要，向未圖示的閃光燈控制電路發(fā)送指令，控制氙管等閃光發(fā)光管(發(fā)光部)的發(fā)光。前處理部106包括進行AE控制及AF控制所必要的運算的自動運算部，根據(jù)響應 于釋放開關的半按壓而取入的圖像信號，進行焦點評價值運算、AE運算等，并將該運算結(jié)果 傳遞給CPU114。若檢測到釋放開關的完全按壓，則CPU114根據(jù)焦點評價值運算的結(jié)果，控 制未圖示的透鏡驅(qū)動用馬達，使光學透鏡101移動到對焦位置，并且控制光圈、電子快門， 進行曝光控制。如此取入的圖像數(shù)據(jù)按照記錄模式被記錄到記錄媒介112中。其中，117是 顯示處理部，118是顯示器I/F部。接著，說明對由如上述那樣構成的攝像裝置10記錄的CXDRAW圖像進行處理的圖 像處理裝置及其圖像處理方法。由攝像裝置10記錄的CXDRAW圖像通過專用的圖像處理裝 置或個人電腦等進行再現(xiàn)(顯像)處理?；蛘撸材軌蚶脠D1中的前處理部106及圖像 信號處理部109實施再現(xiàn)(顯像)處理。圖3是表示由CXDRAW圖像生成縮小圖像的圖像處理的概略步驟的圖。下面，對由 圖1中的前處理部106及圖像信號處理部109實施本圖像處理的情況進行說明。如圖3所示，將對作為單板式的原圖像(1面)的CXDRAW圖像301進行縮小調(diào)整 大小的處理，作為RAW數(shù)據(jù)水平方向調(diào)整大小處理302和RAW數(shù)據(jù)垂直方向調(diào)整大小處理 304這兩個步驟的處理來進行。CXDRAW圖像301通過水平方向調(diào)整大小處理302，成為水平 方向被調(diào)整大小后的CXDRAW調(diào)整大小圖像303，并通過垂直方向調(diào)整大小處理304進而成 為垂直方向被調(diào)整大小后的CXDRAW調(diào)整大小圖像305。在實施上述兩個步驟的調(diào)整大小處理302、304時有兩個方式。圖4及圖5分別表 示其概要。在圖4中，作為兩個步驟的調(diào)整大小處理302、304的緩沖器，使用了幀存儲器400。 將水平方向調(diào)整大小處理302之后的CXDRAW調(diào)整大小圖像303暫時全部寫入到幀存儲器 400中，當讀出該CXDRAW調(diào)整大小圖像303時，沿縱方向讀出，進行垂直方向調(diào)整大小處理 304，得到最終的CXDRAW調(diào)整大小圖像305。此時，垂直方向調(diào)整大小處理304是與水平方向調(diào)整大小處理302相同的處理。在圖5中，作為兩個步驟的調(diào)整大小處理302、304的緩沖器，使用了由多個行構成 的行存儲器500。一邊實施水平方向調(diào)整大小處理302，一邊將其輸出寫入到行存儲器500 中，同時從行存儲器500中讀出CXDRAW調(diào)整大小圖像303中歸納的多個行量的CXDRAW調(diào) 整大小數(shù)據(jù)，對多個行上的水平方向的同一位置的數(shù)據(jù)沿縱方向進行垂直方向調(diào)整大小處 理304，得到最終的CXDRAW調(diào)整大小圖像305。此時，垂直方向調(diào)整大小處理304與水平方 向調(diào)整大小處理302成為不同的處理，根據(jù)是否以行單位利用多個行單位的動作輸出的判 定處理來進行輸出。利用圖6，對水平方向調(diào)整大小處理302的細節(jié)進行說明。水平方向調(diào)整大小處理 302是一維的流水線處理，包括通過行單位的濾波處理從CXDRAW圖像601提取出亮度數(shù) 據(jù)的載色除去濾波處理602 ；提取出載色數(shù)據(jù)的載色提取濾波處理606 ；對調(diào)制后的載色數(shù) 據(jù)進行色反轉(zhuǎn)解調(diào)，輸出連續(xù)的色差數(shù)據(jù)的色差數(shù)據(jù)解調(diào)處理607 ；針對連續(xù)的色差數(shù)據(jù) 進行噪聲除去的中值(median)噪聲除去處理608 ；對提取出的所述亮度數(shù)據(jù)和所述色差數(shù) 據(jù)分別實施特性不同的濾波處理的亮度用帶限濾波處理603及色差用帶限濾波處理609 ； 對亮度數(shù)據(jù)和色差數(shù)據(jù)獨立進行縮小調(diào)整大小的亮度信號水平方向縮小調(diào)整大小處理604 及色差信號水平方向縮小調(diào)整大小處理610 ；將調(diào)整大小后的色差數(shù)據(jù)再轉(zhuǎn)換成載色數(shù) 據(jù)，進行增益電平調(diào)整的載色調(diào)制處理611 ；調(diào)整大小后的亮度數(shù)據(jù)的增益電平調(diào)整處理 605 ；和將調(diào)整大小后電平被調(diào)整了的亮度數(shù)據(jù)與調(diào)制后的載色數(shù)據(jù)重新合成，形成最終的 多色排列數(shù)據(jù)的色排列再現(xiàn)處理612。說明利用在圖6中表示了詳細內(nèi)容的水平方向調(diào)整大小處理功能，對拜爾排列的 圖像進行處理的情況。該處理步驟例如在對CCDRAW處理結(jié)果進行預覽顯示的情況、對縮小 RAff圖像進行攝影的情況、或?qū)σ员葦z像元件104的像素數(shù)小的標準尺寸記錄的動態(tài)圖像 進行攝影而使用。如圖6所示，作為原圖像的CXDRAW圖像601是反映了拜爾排列的像素配置的鑲嵌 狀圖像，通常從攝像元件104以行單位被讀出。該原圖像的行單位的輸入數(shù)據(jù)為R與G的信 息按每個像素反復的RG行、和B與G的信息按每個像素反復的BG行這兩種。這兩種行數(shù) 據(jù)經(jīng)過將以2個像素周期變化的奈奎斯特頻率附近的載色除去的載色除去濾波處理602， 對于RG行而言，輸出成為R與G的平均值的亮度數(shù)據(jù){ α (R+G)}，對于BG行而言，輸出B與 G的平均值的亮度數(shù)據(jù){ α (B+G)}。而且，所述兩種行數(shù)據(jù)經(jīng)過將以2個像素周期變化的奈奎斯特頻率附近的載色提 取出的載色提取濾波處理606，對于RG行而言，輸出以奈奎斯特頻率被調(diào)制后的R-G成分數(shù) 據(jù)，對于BG行而言，輸出以奈奎斯特頻率被調(diào)制后的B-G成分數(shù)據(jù)。所述以奈奎斯特頻率 被調(diào)制后的R-G成分數(shù)據(jù)及B-G成分數(shù)據(jù)，通過按每1個像素使符號反轉(zhuǎn)的色差數(shù)據(jù)解調(diào) 處理607，作為連續(xù)的R-G數(shù)據(jù)、B-G數(shù)據(jù)被輸出。通過對這些連續(xù)的R-G數(shù)據(jù)及B-G數(shù)據(jù) 進一步實施中值噪聲除去處理608，將攝像元件輸出中含有的隨機噪聲成分除去。當針對提取出的所述兩種亮度數(shù)據(jù)和色差數(shù)據(jù)分別實施同一比率的水平方向的 縮小調(diào)整大小時，為了抑制縮小后的返回噪聲，對亮度數(shù)據(jù)用及色差數(shù)據(jù)用分別實施特性 不同的亮度用帶限濾波處理603、和色差用帶限濾波處理609。此時，作為色差用帶限，在設 想最終記錄格式為JPEG或TIFF、MPEG的情況下，優(yōu)選設定為亮度用帶限的2分之1以下。被帶限的亮度數(shù)據(jù)通過亮度信號水平方向縮小調(diào)整大小處理604，與縮小比率對應地進行 線性插值間隔提取。另一方面，被帶限的色差數(shù)據(jù)通過色差信號水平方向縮小調(diào)整大小處 理610，與縮小比率對應地進行線性插值間隔提取。對于在水平方向被調(diào)整大小后的色差數(shù)據(jù){β (R-G), β (B-G)}，作為用于按照以 2個像素周期變化的奈奎斯特頻率進行調(diào)制的等效處理，實施按每1個像素使符號反轉(zhuǎn)的 載色調(diào)制處理 611。結(jié)果，成為{β (R-G)、-β (R-G)}, {β (B-G)、-β (B-G)}。另一方面，被調(diào)整大小后的亮度數(shù)據(jù)在實施了增益電平調(diào)整處理605之后，通過 與被調(diào)整大小后的載色數(shù)據(jù)的相加處理、即色排列再現(xiàn)處理612中的重新合成，作為R與G 的信息按每個像素反復的被調(diào)整大小后的RG行、及B與G的信息按每個像素反復的被調(diào)整 大小后的BG行輸出。利用數(shù)學式表示RG行的重新合成。首先，若在亮度數(shù)據(jù){> (R+G)}、載色數(shù) 據(jù){β (R-G)、-i3 (R-G)}中設 α = 0.5、β = 0.5，則變?yōu)榱炼葦?shù)據(jù){0. 5 (R+G)}、載色 數(shù)據(jù){0. 5 (R-G)、-0.5 (R-G) }。若對每個像素加上亮度數(shù)據(jù)，則重復0. 5 {(R+G) + (R-G)}、 0. 5{(R+G)-(R-G)}、……。即，將RG行數(shù)據(jù)再生為R、G、R、G、……。在BG行中也同樣，若在亮度數(shù)據(jù){a (B+G)}、載色數(shù)據(jù){β (B-G),-β (B-G)}中設 α =0.5、β =0.5，則變?yōu)榱炼葦?shù)據(jù){0.5 (B+G)}、載色數(shù)據(jù){0. 5 (B_G)、-0. 5 (B_G)}。若 對每個像素加上亮度數(shù)據(jù)，則重復0.5{(B+G) + (B-G)}、0.5{(B+G)-(B-G)}、……。即，將BG 行數(shù)據(jù)再生為B、G、B、G、……。另外，雖然針對亮度數(shù)據(jù)和色差數(shù)據(jù)將系數(shù)設為α、β，在相加處理前進行增益調(diào) 整，按照合成數(shù)據(jù)的增益與輸入同等的方式進行了處理，但由于目的在于從亮度信號和色 差信號這兩種信號成分產(chǎn)生RGB獨立的1個色成分，所以不是必須在運算前進行增益調(diào)整， 也可以在成為RGB獨立的色成分之后進行增益調(diào)整。而且，關于中值噪聲除去處理608，雖然對連續(xù)的R-G數(shù)據(jù)和B-G數(shù)據(jù)進行了實施， 但也可以對載色提取濾波處理606之前的每隔1個像素的同色像素實施。并且，在利用圖6所示的水平方向調(diào)整大小處理功能實施放大處理的情況下，也 成為處理的流程與上述同樣的處理。其中，由于放大處理時輸出數(shù)據(jù)數(shù)比輸入數(shù)據(jù)數(shù)多，所 以通過高速實施調(diào)整大小處理604、610的后段處理、或使連續(xù)的輸入數(shù)據(jù)暫時停止，并且 調(diào)整大小處理604、610的前段處理也同步停止，來實現(xiàn)放大處理。另外，說明了 RGB拜爾排列中的水平方向調(diào)整大小處理功能，但在蜂窩排列中也 能實施本發(fā)明。具體而言，當在蜂窩排列中提取了行單位的數(shù)據(jù)時，基于圖2(a)的蜂窩排 列，使得奇數(shù)行周期性重復R與B、偶數(shù)行成為連續(xù)的G信號。關于偶數(shù)行，不存在顏色的 調(diào)制成分，但通過本發(fā)明的方法能夠?qū)信號當作亮度數(shù)據(jù)來實施處理。而且，對于只有不 存在調(diào)制成分的G信號的偶數(shù)行，通過載色調(diào)制處理611使輸出的增益為0，基于色排列再 現(xiàn)處理612中的重新合成，作為R與B的信息按每個像素重復的被調(diào)整大小后的RB行、和 G的信息連續(xù)排列的被調(diào)整大小后的G行輸出。圖6所示的水平方向調(diào)整大小處理功能能夠在實施圖4中表示的兩個步驟的調(diào)整 大小處理302、304時使用。此時，垂直方向調(diào)整大小處理304成為與水平方向調(diào)整大小處 理302相同的處理。接著，對如圖5所示，使用由多個行構成的行存儲器500來作為兩個步驟的調(diào)整大小處理302、304的緩沖器時的細節(jié)進行說明。圖7表示此時的行存儲器的寫入讀出動作。圖8表示圖7的下一個定時下的該行 存儲器的寫入讀出動作。在圖7及圖8中，701是由8行構成的行存儲器。702表示針對行 存儲器701的數(shù)據(jù)寫入循環(huán)，作為對8行的寫入控制，一邊按每1行依次以環(huán)狀巡回、一邊 不斷寫入。703表示針對行存儲器701的數(shù)據(jù)讀出循環(huán)，一邊匯總選擇8行中的7行存儲器 數(shù)據(jù)，一邊與寫入控制同樣地按順序以環(huán)狀巡回并不斷讀出。在圖7及圖8的例子中，為了使所使用的行存儲器701的容量為最小限度，使相對 環(huán)狀的巡回寫入的、7行同時巡回讀出的開頭行的位置成為比寫入行慢1行的位置。而且， 通過劃分寫入行和讀出行，還能夠使寫入與讀出不同步地動作。這樣，通過從圖7及圖8所示的行存儲器701中匯總讀出CXDRAW調(diào)整大小圖像 303中的匯集的多個行量的CCDRAW調(diào)整大小數(shù)據(jù)，能夠?qū)Χ鄠€行上的水平方向的同一位置 的數(shù)據(jù)704沿縱方向進行垂直方向調(diào)整大小處理304，來得到CXDRAW調(diào)整大小圖像305。此 時，垂直方向調(diào)整大小處理304成為與水平方向調(diào)整大小處理302不同的處理，根據(jù)是否基 于下述判定處理進行輸出，來變更與輸入行數(shù)相對應的輸出行數(shù)，實現(xiàn)垂直方向調(diào)整大小 處理304，所述判定處理用于判定是否以行單位利用多個行單位的任意處理輸出。圖9表示了利用圖7及圖8的行存儲器701時的圖3中的垂直方向調(diào)整大小處理 304的詳細步驟。該垂直方向調(diào)整大小處理304將沿垂直方向?qū)嵤┑幕咎幚碜鳛?行量 的流水線處理來實施，相對于輸入行數(shù)，根據(jù)是否作為有效行在后段使用的判斷處理來控 制輸出行數(shù)。圖9的垂直方向調(diào)整大小處理304也與圖6的水平方向調(diào)整大小處理302同樣，作 為亮度信號處理和色差信號處理這2個系統(tǒng)處理而實施。其中，在圖9中，作為輸入數(shù)據(jù)， 將相對于7行量的CXDRAW圖像在垂直方向成為同一水平位置的7像素作為1個處理單位 901，來實施處理。圖9的垂直方向調(diào)整大小處理304包括從所述7行量的CXDRAW圖像提取出垂直 方向的亮度數(shù)據(jù)的載色除去濾波處理902 ；提取出垂直方向的載色數(shù)據(jù)的載色提取濾波處 理905 ；針對在垂直方向被調(diào)制后的載色數(shù)據(jù)進行色反轉(zhuǎn)解調(diào)，輸出在垂直方向連續(xù)的色 差數(shù)據(jù)的色差數(shù)據(jù)解調(diào)處理906 ；針對在垂直方向連續(xù)的色差數(shù)據(jù)進行噪聲除去的中值噪 聲除去處理907 ；對提取出的所述亮度數(shù)據(jù)和所述色差數(shù)據(jù)分別沿垂直方向?qū)嵤┨匦圆煌?的濾波處理的亮度用帶限濾波處理903及色差用帶限濾波處理908 ；對亮度數(shù)據(jù)和色差數(shù) 據(jù)獨立地進行縮小調(diào)整大小的亮度信號垂直方向縮小調(diào)整大小處理904及色差信號垂直 方向縮小調(diào)整大小處理909;將調(diào)整大小后的色差數(shù)據(jù)再次轉(zhuǎn)換成載色數(shù)據(jù)，進行增益電 平調(diào)整的載色調(diào)制處理910 ；調(diào)整大小后的亮度數(shù)據(jù)的增益電平調(diào)整處理912 ；以及將調(diào)整 大小后被調(diào)整電平的亮度數(shù)據(jù)和調(diào)制后的載色數(shù)據(jù)重新合成，生成最終的多色排列數(shù)據(jù)的 色排列再現(xiàn)處理911。說明利用圖9中表示了詳細內(nèi)容的垂直方向調(diào)整大小處理功能，對拜爾排列的圖 像進行縮小調(diào)整大小處理的情況。該處理步驟例如在進行CXDRAW處理結(jié)果的預覽顯示的 情況、進行縮小RAW圖像攝影的情況、或進行以比攝像元件104的像素數(shù)小的標準尺寸記錄 的動態(tài)圖像攝影而使用。如圖9的處理單位901所示，水平調(diào)整大小處理后的CXDRAW圖像保持著反映了拜爾排列的像素配置的鑲嵌狀排列，如圖7及圖8所示，被以行單位巡回寫入到行存儲器701 中，并將多個行匯總后巡回讀出。在本說明中，利用由8行構成的行存儲器701，將7行的輸 出匯總后輸出。水平調(diào)整大小處理后的7行單位的輸入數(shù)據(jù)、即圖9的處理單位901，成為相對于 行上的水平方向的同一位置的垂直方向關注數(shù)據(jù)，沿垂直方向按每個像素重復R與G的信 息的RG行；和沿垂直方向按每個像素重復B與G的信息的BG行這兩種。這兩種垂直方向的行數(shù)據(jù)具有在垂直方向以2個像素周期變化的奈奎斯特頻率 附近的載色信息，通過除去所述載色的載色除去濾波處理902的Yl TO被實施處理，生成 亮度數(shù)據(jù)。本實施方式中，在Yl TO的濾色器中分別利用3像素的數(shù)據(jù)，輸出5種亮度數(shù) 據(jù)。關于垂直方向的RG行，輸出成為R與G的平均值的亮度數(shù)據(jù)，關于接下來的垂直方向 的BG行，輸出成為B與G的平均值的亮度數(shù)據(jù)。而且，所述兩種垂直方向的行數(shù)據(jù)，通過對在垂直方向以2個像素周期變化的奈 奎斯特頻率附近的載色進行提取的載色提取濾波處理905的色差1 色差6被處理，關于 RG行，輸出被以奈奎斯特頻率調(diào)制后的R-G成分數(shù)據(jù)，關于BG行，輸出被以奈奎斯特頻率調(diào) 制后的B-G成分數(shù)據(jù)。在垂直方向被以奈奎斯特頻率調(diào)制后的各6個R-G成分數(shù)據(jù)及B-G成分數(shù)據(jù)，通 過在垂直方向按每1個像素進行符號反轉(zhuǎn)的色差數(shù)據(jù)解調(diào)處理906，作為在垂直方向連續(xù) 的R-G數(shù)據(jù)、B-G數(shù)據(jù)被輸出。這里，為了使垂直方向的重心與亮度數(shù)據(jù)對齊，使行數(shù)與Yl Y5相同，所以將2行的平均值輸出作為Cl C5的輸出。關于這些在垂直方向連續(xù)的5個R-G數(shù)據(jù)及B-G數(shù)據(jù)，通過進一步實施中值噪聲 除去處理907，來除去攝像元件輸出中含有的隨機噪聲成分。在對沿垂直方向提取出的所述兩種亮度數(shù)據(jù)和色差數(shù)據(jù)分別實施同一比率的垂 直方向的縮小調(diào)整大小時，為了抑制縮小后的返回噪聲，按亮度數(shù)據(jù)用及色差數(shù)據(jù)用分別 實施特性不同的亮度用帶限濾波處理903、和色差用帶限濾波處理908。此時，作為色差用 帶限，設想最終記錄格式為JPEG、TIFF或MPEG的情況，優(yōu)選設定為亮度用帶限的2分之1 以下。在垂直方向被帶限后的亮度數(shù)據(jù)，通過亮度信號垂直方向縮小調(diào)整大小處理904，按 照縮小比率被進行CXDRAW調(diào)整大小圖像303的7行輸入在垂直方向的線性插值，以行單位 并對應縮小比率被進行行間隔提取輸出。另一方面，在垂直方向被帶限的色差數(shù)據(jù)，通過色 差信號垂直方向縮小調(diào)整大小處理909，按照縮小比率被進行CXDRAW調(diào)整大小圖像303的 7行輸入在垂直方向的與亮度數(shù)據(jù)同樣的線性插值，以行單位并對應縮小比率被進行行間 隔提取輸出。通過垂直方向的行間隔提取而被調(diào)整大小的色差數(shù)據(jù)，作為用于按照以垂直方向 的2個像素周期變化的奈奎斯特頻率進行調(diào)制的等效處理，實施按每一個行輸出使符號反 轉(zhuǎn)的載色調(diào)制處理910。另一方面，通過垂直方向的行間隔提取而被調(diào)整大小的亮度數(shù)據(jù)， 在實施了增益電平調(diào)整處理912之后，通過與基于垂直方向的行間隔提取而被調(diào)整大小的 載色數(shù)據(jù)的相加處理、即色排列再現(xiàn)處理911中的重新合成，作為在垂直方向按每個像素 重復R與G的信息的水平垂直都被調(diào)整大小的RG行、及在垂直方向按每個像素重復B與G 的信息的水平垂直都被調(diào)整大小的BG行而輸出。另外，關于中值噪聲除去處理907，針對連續(xù)的R-G數(shù)據(jù)和B-G數(shù)據(jù)進行了實施，但也可以對載色提取濾波處理905之前的每隔1個像素的同色像素實施。而且，在本實施方式中說明了縮小調(diào)整大小，但在利用圖9所示的垂直方向調(diào)整 大小處理功能實施放大處理的情況下，處理的流程也成為與上述同樣的處理。其中，由于放 大處理時相對輸入數(shù)據(jù)的行數(shù)而言輸出數(shù)據(jù)的行數(shù)變多，所以通過高速實施調(diào)整大小處理 904,909的后段處理、或使連續(xù)的輸入數(shù)據(jù)暫時停止，并且調(diào)整大小處理904、909的前段處 理也同步停止，來實現(xiàn)放大處理。將如以上所述那樣得到的CXDRAW調(diào)整大小圖像305輸入到圖1的圖像信號處理 部109，進行信號處理，轉(zhuǎn)換成最終的圖像、例如預覽顯示圖像、或以比攝像元件104的像素 數(shù)小的標準尺寸記錄的動態(tài)圖像攝影圖像。接著，針對圖6及圖9中的帶限濾波處理603、609 ;903、908的細節(jié)進行說明。如 上所述，在考慮將CXDRAW圖像301縮小調(diào)整大小，進行規(guī)定的處理時，重要的是按照縮 小率來設計帶限濾色器。該帶限濾色器的頻帶特性在亮度數(shù)據(jù)的情況下，只要設為縮小 率Xfs(其中，fs為采樣頻率)即可，但對于色差數(shù)據(jù)，優(yōu)選按照成為亮度數(shù)據(jù)的1/2的方 式設為縮小率X fs/2。與之相反，如果劃一地實施濾波處理，則對于原來采樣頻率高的亮度 數(shù)據(jù)而言，在分辨感方面發(fā)生劣化，對于原來采樣頻率低的色差數(shù)據(jù)而言，在偽信號方面產(chǎn) 生劣化。鑒于此，在本發(fā)明的實施方式中，成為對CXDRAW圖像301實施針對亮度數(shù)據(jù)和色 差數(shù)據(jù)分別獨立設定的帶限濾波處理603、609 ；903,908的構成，對于應該對各信號實施的 帶限濾色器的頻帶特性，將亮度數(shù)據(jù)設為縮小率Xfs、將色差數(shù)據(jù)設為縮小率Xfs/2，并 且使該二維的特性與原來的亮度數(shù)據(jù)和色差數(shù)據(jù)的再現(xiàn)頻帶相似。圖10表示拜爾排列中的各色的二維的再現(xiàn)頻帶。是在拜爾排列的情況下，將基于 采樣定理的各色的再現(xiàn)頻帶表示在空間頻率坐標(沒有標準化的絕對空間頻率的坐標系) 上的圖。R、B信號的二維再現(xiàn)頻帶成為矩形，G信號的二維再現(xiàn)頻帶成為菱形。另外，由圖10可知，拜爾排列中的R、B信號的再現(xiàn)頻帶、與G信號的再現(xiàn)頻帶成為 相互旋轉(zhuǎn)了 45度的關系。大小的不同是因為G信號的采樣點的多少不同。通過采用以上那樣的帶限濾波處理603、609 ；903,908,能夠在不犧牲各色的采樣 頻率的情況下，將圖像再現(xiàn)后的偽色發(fā)生抑制為最小限度。圖11(a)及圖11(b)表示作為實際的拜爾排列的CXDRAW圖像，對CZP(圓形波帶 片)圖像沿水平方向?qū)嵤┝?1/2的調(diào)整大小處理時的縮小RAW數(shù)據(jù)結(jié)果。圖11(a)的處理 圖像是在將CCDRAW圖像中被空間配置的拜爾排列的RGB數(shù)據(jù)色分離成R/G/B這3色之后， 實施了縮小調(diào)整大小的結(jié)果。圖11(b)的處理圖像是本發(fā)明的對亮度數(shù)據(jù)和色差數(shù)據(jù)這2 個系統(tǒng)實施了縮小調(diào)整大小處理的結(jié)果。通過圖11(a)與圖11(b)的比較可知，根據(jù)本發(fā)明的實施方式，可以從大尺寸的 CCDRAff圖像生成具有相同再現(xiàn)頻帶的特征的縮小RAW圖像，能夠防止最終圖像中的偽色的 發(fā)生，并且可保持亮度信號的最大分辨感。接著，對利用了本發(fā)明的CXDRAW圖像的調(diào)整大小處理的圖像的形變修正進行說明。圖12(a)是表示通過廣角鏡頭產(chǎn)生的桶型特性的CXDRAW圖像的圖。圖12(b)是 對該CCDRAW圖像沿水平方向及垂直方向?qū)嵤┝诵袉挝坏恼{(diào)整大小處理的結(jié)果的圖。
當從具有桶型特性地被攝像的原圖像的數(shù)字圖像信號以行單位實施調(diào)整大小處 理時，可以通過以行單位變更調(diào)整大小的比率，來修正形變。行單位的處理與上述實施方式 同樣，包括從原圖像基于行單位的濾波處理來提取亮度數(shù)據(jù)和載色數(shù)據(jù)的濾波處理步驟； 對所述載色數(shù)據(jù)進行噪聲除去的噪聲除去步驟；將噪聲除去后的載色數(shù)據(jù)轉(zhuǎn)換成色差數(shù)據(jù) 的色差數(shù)據(jù)解調(diào)步驟；對提取出的亮度數(shù)據(jù)和所述色差數(shù)據(jù)分別實施特性不同的帶限濾波 處理的帶限濾波處理步驟；針對行單位的亮度數(shù)據(jù)和色差數(shù)據(jù)，根據(jù)行位置連續(xù)地變更調(diào) 整大小比率，來進行調(diào)整大小的連續(xù)任意比率可變調(diào)整大小處理步驟；將調(diào)整大小后的行 單位的色差數(shù)據(jù)再次轉(zhuǎn)換成載色數(shù)據(jù)的載色調(diào)制步驟；和將調(diào)整大小后的行單位的亮度數(shù) 據(jù)與調(diào)制后的載色數(shù)據(jù)重新合成，生成最終的多色排列數(shù)據(jù)的色排列再現(xiàn)處理步驟。在進行處理時，需要根據(jù)行位置連續(xù)變更調(diào)整大小比率，由于調(diào)整大小比率依賴 于光學透鏡101的特性，所以預先將光學透鏡101的特性數(shù)據(jù)登記到圖1的R0M115中等，對 應于攝像元件104的像素數(shù)由CPU114對圖3的RAW數(shù)據(jù)水平方向調(diào)整大小處理302及RAW 數(shù)據(jù)垂直方向調(diào)整大小處理304設定修正數(shù)據(jù)，實施兩個步驟的調(diào)整大小處理302、304。而且，作為由光學透鏡101的特性引起的現(xiàn)象，有被稱為倍率色像差的現(xiàn)象。當對 CXDRAW圖像實施調(diào)整大小處理時，在圖像處理的針對按每一行提取出的色差數(shù)據(jù)對應于行 位置連續(xù)變更調(diào)整大小比率，來進行調(diào)整大小的連續(xù)任意比率可變調(diào)整大小處理步驟中， 能夠?qū)⑸顢?shù)據(jù)相對于亮度數(shù)據(jù)的任意比率設定為對與伴隨色像差的亮度數(shù)據(jù)的偏差進 行修正的值，并且通過按照調(diào)整大小后的行亮度數(shù)據(jù)與調(diào)整大小處理后尺寸不同的行色差 數(shù)據(jù)的中心位置一致的方式，實施行數(shù)據(jù)的讀出，來進行修正。另外，在將實施本發(fā)明的機構設為專用的圖像處理裝置時，作為其方式，可以安裝 到半導體集成電路的內(nèi)部來實現(xiàn)。在安裝到半導體集成電路的情況下，有代表性的3種安 裝方式和其復合方式。圖13、圖14及圖15中表示了其概略圖。圖13中的131是以基于本發(fā)明的圖像處理方法的體系結(jié)構(architecture)實現(xiàn) 的數(shù)字電路、即安裝了 RAW調(diào)整大小處理部120的數(shù)字信號處理LSI，是在該數(shù)字信號處理 LSI131的輸入部安裝了所述數(shù)字電路的半導體集成電路。圖14中的141是以基于本發(fā)明的圖像處理方法的體系結(jié)構實現(xiàn)的數(shù)字電路、即安 裝了 RAW調(diào)整大小處理部120的MOS圖像傳感器，在以CMOS型為代表的攝像元件104中， 作為實現(xiàn)高速讀出的機構，有在該攝像元件104內(nèi)安裝了噪聲處理部和A/D轉(zhuǎn)換器，直接作 為數(shù)字信號而輸出的方式，是在內(nèi)置A/D轉(zhuǎn)換器的能夠數(shù)字輸出的該MOS圖像傳感器141 的輸出部安裝了所述數(shù)字電路的半導體集成電路。圖15中的151是以基于本發(fā)明的圖像處理方法的體系結(jié)構實現(xiàn)的數(shù)字電路、即安 裝了 RAW調(diào)整大小處理部120的模擬前端LSI，是在內(nèi)置有A/D轉(zhuǎn)換器并能夠數(shù)字輸出的該 模擬前端LSI151的輸出部安裝了所述數(shù)字電路的半導體集成電路。而且，實現(xiàn)本發(fā)明的機構不限于專用的圖像處理裝置(圖像再生裝置或圖像加工 裝置、半導體集成電路)，也可以是個人電腦。并且，圖像處理并不限于其處理的一部分或全 部由硬件(信號處理電路)實現(xiàn)，也可以通過軟件實現(xiàn)。另外，本發(fā)明的圖像處理程序可以構成為單獨的應用程序軟件，也可以作為圖像 加工軟件、文件管理用軟件等應用程序的一部分而組入。此外，本發(fā)明的圖像處理程序不限 定于在個人電腦等計算機系統(tǒng)中應用的情況，也可以作為組裝在數(shù)碼相機、移動電話機等信息設備的中央處理裝置(CPU)的動作程序來應用。(產(chǎn)業(yè)上的可利用性)如以上說明那樣，本發(fā)明涉及的攝像裝置、圖像處理方法、圖像處理程序及半導體 集成電路由于在對原圖像調(diào)整大小時，能夠在降低偽亮度信號、偽色的同時保持分辨感，所 以尤其作為從單板彩色攝像元件得到的原圖像的縮小處理、放大處理、或是用于形變修正 的圖像數(shù)據(jù)尺寸轉(zhuǎn)換處理裝置、電子靜態(tài)圖片相機、圖像數(shù)據(jù)尺寸轉(zhuǎn)換處理程序、半導體集 成電路等是有用的。
權利要求
1.一種攝像裝置，用于處理由色排列具有周期性的多種顏色的像素構成的原圖像的數(shù) 字圖像信號，該攝像裝置包括通過行單位的濾波處理從所述原圖像提取出亮度數(shù)據(jù)和載色數(shù)據(jù)的濾波處理部；對所述載色數(shù)據(jù)進行噪聲除去的噪聲除去部；將噪聲除去后的載色數(shù)據(jù)轉(zhuǎn)換成色差數(shù)據(jù)的色差數(shù)據(jù)解調(diào)部；對提取出的亮度數(shù)據(jù)和所述色差數(shù)據(jù)分別實施特性不同的帶限濾波處理的帶限濾波 處理部；對亮度數(shù)據(jù)和色差數(shù)據(jù)獨立地進行縮小調(diào)整大小或放大調(diào)整大小的調(diào)整大小處理部；將調(diào)整大小后的色差數(shù)據(jù)重新轉(zhuǎn)換成載色數(shù)據(jù)的載色調(diào)制部；以及將調(diào)整大小后的亮度數(shù)據(jù)與調(diào)制后的載色數(shù)據(jù)重新合成，生成最終的多色排列數(shù)據(jù)的 色排列再現(xiàn)處理部。
2.根據(jù)權利要求1所述的攝像裝置，其特征在于，還具有下述功能基于通過針對所述原圖像的行單位的一維處理而僅一個方向被調(diào)整 大小處理后的多色排列數(shù)據(jù)，實施再次的調(diào)整大小處理，由此生成被二維調(diào)整大小處理后 的多色排列數(shù)據(jù)。
3.根據(jù)權利要求1所述的攝像裝置，其特征在于，還具有下述功能將通過針對所述原圖像的行單位的一維處理而僅一個方向被調(diào)整大 小處理后的多色排列數(shù)據(jù)暫時寫入到存儲裝置中，當從所述存儲裝置讀出所述被調(diào)整大小 處理后的多色排列數(shù)據(jù)時，沿著與寫入時的行方向正交的方向以行單位讀出，并實施再次 的調(diào)整大小處理，來生成被二維調(diào)整大小處理后的多色排列數(shù)據(jù)。
4.根據(jù)權利要求1所述的攝像裝置，其特征在于，還具有下述功能將通過針對所述原圖像的行單位的一維處理而僅一個方向被調(diào)整大 小處理后的多色排列數(shù)據(jù)，按每一行寫入到由多個行構成的行存儲器中，同時讀出多個行 的數(shù)據(jù)，通過從該讀出的多個行數(shù)據(jù)的水平方向的同一位置的垂直方向關注數(shù)據(jù)組中提取 出亮度數(shù)據(jù)和載色數(shù)據(jù)，實施再次的處理，并且實施使與輸入行數(shù)相對應的輸出行增減的 處理，來生成被二維調(diào)整大小處理后的多色排列數(shù)據(jù)。
5.根據(jù)權利要求1所述的攝像裝置，其特征在于，所述調(diào)整大小處理部具有針對行單位的亮度數(shù)據(jù)和色差數(shù)據(jù)，根據(jù)行位置連續(xù)變更調(diào) 整大小比率來進行調(diào)整大小的功能。
6.根據(jù)權利要求5所述的攝像裝置，其特征在于，所述調(diào)整大小處理部具有將色差數(shù)據(jù)相對于亮度數(shù)據(jù)的任意比率設定成不同的值，并 且按照調(diào)整大小后的行亮度數(shù)據(jù)與尺寸不同的行色差數(shù)據(jù)的中心位置一致的方式來進行 行數(shù)據(jù)的讀出輸出調(diào)整的功能。
7.根據(jù)權利要求1所述的攝像裝置，其特征在于，所述原圖像是利用下述單板彩色攝像元件取得的圖像，所述單板彩色攝像元件具有通 過原色濾色器或補色濾色器而被周期性地色排列的多種顏色的像素。
8.根據(jù)權利要求1所述的攝像裝置，其特征在于，所述原圖像是利用下述單板彩色攝像元件取得的圖像，所述單板彩色攝像元件具有通過原色濾色器或補色濾色器而以行單位被周期性地色排列的多種顏色的像素、和在其他行 不具備周期性的單一顏色的像素。
9.一種圖像處理方法，用于處理由色排列具有周期性的多種顏色的像素構成的原圖像 的數(shù)字圖像信號，該圖像處理方法包括通過行單位的濾波處理從所述原圖像提取出亮度數(shù)據(jù)和載色數(shù)據(jù)的濾波處理步驟；對所述載色數(shù)據(jù)進行噪聲除去的噪聲除去步驟；將噪聲除去后的載色數(shù)據(jù)轉(zhuǎn)換成色差數(shù)據(jù)的色差數(shù)據(jù)解調(diào)步驟；對提取出的亮度數(shù)據(jù)和所述色差數(shù)據(jù)分別實施特性不同的帶限濾波處理的帶限濾波 處理步驟；對亮度數(shù)據(jù)和色差數(shù)據(jù)獨立地進行縮小調(diào)整大小或放大調(diào)整大小的調(diào)整大小處理步驟；將調(diào)整大小后的色差數(shù)據(jù)重新轉(zhuǎn)換成載色數(shù)據(jù)的載色調(diào)制步驟；和將調(diào)整大小后的亮度數(shù)據(jù)與調(diào)制后的載色數(shù)據(jù)重新合成，生成最終的多色排列數(shù)據(jù)的 色排列再現(xiàn)處理步驟。
10.根據(jù)權利要求9所述的圖像處理方法，其特征在于，還具有下述步驟基于通過針對所述原圖像的行單位的一維處理而僅一個方向被調(diào)整 大小處理后的多色排列數(shù)據(jù)，實施再次的調(diào)整大小處理，由此生成被二維調(diào)整大小處理后 的多色排列數(shù)據(jù)。
11.根據(jù)權利要求9所述的圖像處理方法，其特征在于，還具有下述步驟將通過針對所述原圖像的行單位的一維處理而僅一個方向被調(diào)整大 小處理后的多色排列數(shù)據(jù)暫時寫入到存儲裝置中，當從所述存儲裝置讀出所述被調(diào)整大小 處理后的多色排列數(shù)據(jù)時，沿著與寫入時的行方向正交的方向以行單位讀出，并實施再次 的調(diào)整大小處理，來生成被二維調(diào)整大小處理后的多色排列數(shù)據(jù)。
12.根據(jù)權利要求9所述的圖像處理方法，其特征在于，還具有下述步驟將通過針對所述原圖像的行單位的一維處理而僅一個方向被調(diào)整大 小處理后的多色排列數(shù)據(jù)，按每一行寫入到由多個行構成的行存儲器中，同時讀出多個行 的數(shù)據(jù)，通過從該讀出的多個行數(shù)據(jù)的水平方向的同一位置的垂直方向關注數(shù)據(jù)組中提取 出亮度數(shù)據(jù)和載色數(shù)據(jù)，實施再次的處理，并且實施使與輸入行數(shù)相對應的輸出行增減的 處理，來生成被二維調(diào)整大小處理后的多色排列數(shù)據(jù)。
13.根據(jù)權利要求9所述的圖像處理方法，其特征在于，所述調(diào)整大小處理步驟具有針對行單位的亮度數(shù)據(jù)和色差數(shù)據(jù)，根據(jù)行位置連續(xù)變更 調(diào)整大小比率來進行調(diào)整大小的步驟。
14.根據(jù)權利要求13所述的圖像處理方法，其特征在于，所述調(diào)整大小處理步驟具有將色差數(shù)據(jù)相對于亮度數(shù)據(jù)的任意比率設定成不同的值， 并且按照調(diào)整大小后的行亮度數(shù)據(jù)與尺寸不同的行色差數(shù)據(jù)的中心位置一致的方式來進 行行數(shù)據(jù)的讀出輸出調(diào)整的步驟。
15.根據(jù)權利要求9所述的圖像處理方法，其特征在于，所述原圖像是利用下述單板彩色攝像元件取得的圖像，所述單板彩色攝像元件具有通 過原色濾色器或補色濾色器而被周期性地色排列的多種顏色的像素。
16.根據(jù)權利要求9所述的圖像處理方法，其特征在于，所述原圖像是利用下述單板彩色攝像元件取得的圖像，所述單板彩色攝像元件具有通 過原色濾色器或補色濾色器而以行單位被周期性地色排列的多種顏色的像素、和在其他行 不具備周期性的單一顏色的像素。
17.一種圖像處理程序，用于處理由色排列具有周期性的多種顏色的像素構成的原圖 像的數(shù)字圖像信號，該圖像處理程序使計算機執(zhí)行下述功能，所述功能包括通過行單位的濾波處理從所述原圖像提取出亮度數(shù)據(jù)和載色數(shù)據(jù)的濾波處理功能； 對所述載色數(shù)據(jù)進行噪聲除去的噪聲除去功能； 將噪聲除去后的載色數(shù)據(jù)轉(zhuǎn)換成色差數(shù)據(jù)的色差數(shù)據(jù)解調(diào)功能； 對提取出的亮度數(shù)據(jù)和所述色差數(shù)據(jù)分別實施特性不同的帶限濾波處理的帶限濾波 處理功能；對亮度數(shù)據(jù)和色差數(shù)據(jù)獨立地進行縮小調(diào)整大小或放大調(diào)整大小的調(diào)整大小處理功能；將調(diào)整大小后的色差數(shù)據(jù)重新轉(zhuǎn)換成載色數(shù)據(jù)的載色調(diào)制功能；和 將調(diào)整大小后的亮度數(shù)據(jù)與調(diào)制后的載色數(shù)據(jù)重新合成，生成最終的多色排列數(shù)據(jù)的 色排列再現(xiàn)處理功能。
18.一種半導體集成電路，是安裝了以基于權利要求9所述的圖像處理方法的體系結(jié) 構實現(xiàn)的數(shù)字電路的數(shù)字信號處理LSI，在該數(shù)字信號處理LSI的輸入部安裝了所述數(shù)字 電路。
19.一種半導體集成電路，是安裝了以基于權利要求9所述的圖像處理方法的體系結(jié) 構實現(xiàn)的數(shù)字電路的MOS圖像傳感器，在內(nèi)置A/D轉(zhuǎn)換器的能夠數(shù)字輸出的所述MOS圖像 傳感器的輸出部安裝了所述數(shù)字電路。
20.一種半導體集成電路，是安裝了以基于權利要求9所述的圖像處理方法的體系結(jié) 構實現(xiàn)的數(shù)字電路的模擬前端LSI，在內(nèi)置有A/D轉(zhuǎn)換器并能夠數(shù)字輸出的所述模擬前端 LSI的輸出部安裝了所述數(shù)字電路。
全文摘要
本發(fā)明提供一種攝像裝置、圖像處理方法、圖像處理程序及半導體集成電路。不將由單板彩色攝像元件得到的原圖像、即CCDRAW圖像(601)色分離成與拜爾排列對應的R、G、B數(shù)據(jù)，而利用行單位的濾波處理(602、606)提取出亮度數(shù)據(jù)和載色數(shù)據(jù)，在對載色數(shù)據(jù)實施了色差數(shù)據(jù)解調(diào)處理(607)和中值噪聲除去處理(608)的基礎上，對亮度數(shù)據(jù)和色差數(shù)據(jù)分別實施特性不同的帶限濾波處理(603、609)。進而，對亮度數(shù)據(jù)和色差數(shù)據(jù)獨立地進行調(diào)整大小處理(604、610)，經(jīng)過從調(diào)整大小后的色差數(shù)據(jù)向載色數(shù)據(jù)的調(diào)制處理(611)，實施由載色數(shù)據(jù)與調(diào)整大小后的亮度信號的重新合成實現(xiàn)的色排列再現(xiàn)處理(612)。
文檔編號H04N1/393GK102090067SQ20098012668
公開日2011年6月8日 申請日期2009年3月18日 優(yōu)先權日2008年8月4日
發(fā)明者秦野敏信 申請人:松下電器產(chǎn)業(yè)株式會社