專利名稱:信號(hào)處理裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種信號(hào)處理裝置，特別是涉及一種如下的信號(hào)處理裝置，即，即使在固體攝像元件的多像素化發(fā)展的情況下，也不使驅(qū)動(dòng)頻率增加、電路面積擴(kuò)大，而在固定時(shí)間內(nèi)補(bǔ)償適當(dāng)?shù)奶幚?，并且不產(chǎn)生畫質(zhì)的劣化。
背景技術(shù)：
近年來，在使用一個(gè)固體攝像元件來記錄數(shù)字運(yùn)動(dòng)圖像的裝置(例如單板式數(shù)字?jǐn)z像機(jī))、或者使用多個(gè)固體攝像元件來記錄數(shù)字運(yùn)動(dòng)圖像的裝置(例如三板式數(shù)字?jǐn)z像機(jī))中，其系統(tǒng)所具有的固體攝像元件的多像素化正在發(fā)展。
即使在這種多像素化正在發(fā)展的狀況下，在這些運(yùn)動(dòng)圖像攝像系統(tǒng)中其輸出也由電視信號(hào)標(biāo)準(zhǔn)規(guī)格(例如，NTSC(NationalTelevision System Committee全國電視系統(tǒng)委員會(huì))、PAL(Phase Alternation by Line逐行倒相)、SECAM(SEquentialCouleur A Memoire順序傳送與存儲(chǔ)彩色電視系統(tǒng))等)規(guī)定，因此必須對(duì)在固定的時(shí)間內(nèi)決定的場(field)頻率(或者幀頻率)、水平分辨率、垂直分辨率進(jìn)行補(bǔ)償，并進(jìn)行適當(dāng)?shù)奶幚怼?br> 在從固體攝像元件得到的圖像的像素?cái)?shù)(分辨率)少的情況下，通常通過如圖1所示的結(jié)構(gòu)來實(shí)現(xiàn)合適的處理。
圖1是表示現(xiàn)有的數(shù)字?jǐn)z像機(jī)整體結(jié)構(gòu)中的信號(hào)處理系統(tǒng)的系統(tǒng)結(jié)構(gòu)例的框圖。
如圖1所示，信號(hào)處理系統(tǒng)1基本上由透鏡11、固體攝像元件12、A/D(Analog/Digital模擬/數(shù)字)轉(zhuǎn)換器13、照相機(jī)信號(hào)處理部14構(gòu)成。其中的照相機(jī)信號(hào)處理部14由以下部分構(gòu)成依靠像素的校正處理部21(以下簡單稱為校正處理部21)、不依靠像素的校正處理部22(以下稱為非依靠校正處理部22)、同時(shí)化處理部23、調(diào)制、YC轉(zhuǎn)換處理部24、以及分辨率轉(zhuǎn)換處理部25。
在此，依靠像素的校正處理部21在使用了固體攝像元件12的數(shù)字?jǐn)z像機(jī)中，考慮固體攝像元件21的各像素中、即使沒有光入射的狀態(tài)下也輸出異常水平信號(hào)的所謂缺陷像素來進(jìn)行校正。由此，在通過拍攝得到的圖像的畫質(zhì)劣化的情況下，也利用該依靠像素的校正處理部21來檢查固體攝像元件12的哪個(gè)像素是缺陷像素，并校正其檢查結(jié)果得到的缺陷像素。
透鏡11使來自被攝體的光L1成為光L2而聚焦到固體攝像元件12上。
固體攝像元件12由CCD(Charge Coupled Device電荷耦合裝置)、CMOS(Complementary Metal Oxide Semiconductor互補(bǔ)金屬氧化物半導(dǎo)體)等構(gòu)成，接收通過透鏡11入射的來自被攝體的光L1(光L2)進(jìn)行光電轉(zhuǎn)換，將作為與受光量相應(yīng)的電信號(hào)的模擬圖像信號(hào)E1輸出到A/D轉(zhuǎn)換器13。在固體攝像元件12的表面上構(gòu)成各像素的每個(gè)受光元件分別具備紅(R)、綠(G)、藍(lán)(B)的OCCF(On Chip Color Filter晶載彩色濾光片)，對(duì)于每個(gè)像素只有聚集的光L2之中、各OCCF的透射色成分被進(jìn)行光電轉(zhuǎn)換。
A/D轉(zhuǎn)換器13將從固體攝像元件12提供的模擬信號(hào)E1轉(zhuǎn)換成數(shù)字信號(hào)S1，將數(shù)字信號(hào)S1輸出到照相機(jī)信號(hào)處理部14(校正處理部21)。
照相機(jī)信號(hào)處理部14中的校正處理部21，作為依靠像素的校正處理，對(duì)數(shù)字信號(hào)S1實(shí)施例如像素缺陷校正處理(專利文獻(xiàn)1)、頻道差調(diào)整增益處理(專利文獻(xiàn)2)、像素單位中的降低噪音處理(專利文獻(xiàn)3)等，將得到的信號(hào)S2輸出到非依靠校正處理部22。
在專利文獻(xiàn)1中，公開了如下技術(shù)在能夠選擇性地切換場讀出模式和幀讀出模式的攝像機(jī)中，當(dāng)設(shè)定了進(jìn)行缺陷像素檢測的模式時(shí)，強(qiáng)制將攝像元件的讀出模式設(shè)為幀讀出模式。
在專利文獻(xiàn)2中，公開了具備CCD圖像傳感器的裝置，該CCD圖像傳感器以線單位讀出一個(gè)畫面的像素信息，將以線單位讀出的像素信息分割為左右兩個(gè)頻道進(jìn)行輸出。在該裝置中，左右獨(dú)立地檢測從CCD圖像傳感器讀出的像素?cái)?shù)據(jù)的黑色水平，按頻道對(duì)黑色水平分別進(jìn)行校正等。
在專利文獻(xiàn)3中，公開了如下技術(shù)在實(shí)施降低噪音的對(duì)象的關(guān)注像素與位于關(guān)注像素周邊的周邊像素的像素之間，實(shí)施平滑化以及插值處理之后進(jìn)行二次微分，將該二次微分的結(jié)果與閾值進(jìn)行比較，判斷周邊像素是能夠使用于降低噪音的像素、還是不能夠使用于降低噪音的像素，利用判斷為能夠使用于降低噪音的像素來進(jìn)行降低噪音。
返回圖1的說明，非依靠校正處理部22對(duì)從校正處理部21提供的信號(hào)S2，例如進(jìn)行對(duì)面內(nèi)各色都實(shí)施均勻增益的數(shù)字增益處理、實(shí)施在面內(nèi)均勻且各色獨(dú)立的增益的白平衡增益處理等的處理，將得到的信號(hào)S3輸出到同時(shí)化處理部23。
同時(shí)化處理部23根據(jù)信號(hào)S3，對(duì)每個(gè)像素分別生成空間相位一致的R、G、B信號(hào)，將生成的R、G、B信號(hào)輸出到調(diào)制、YC轉(zhuǎn)換處理部24。在信號(hào)處理系統(tǒng)1是單板式系統(tǒng)的情況下，信號(hào)S3按每個(gè)顏色而空間取樣點(diǎn)不同，因此在同時(shí)化處理部23中進(jìn)行依靠固體攝像元件12的OCCF配置圖案的同時(shí)化處理(使空間相位一致的處理)。
調(diào)制、YC轉(zhuǎn)換處理部24將從同時(shí)化處理部23提供的R、G、B信號(hào)作為對(duì)象，進(jìn)行高畫質(zhì)化處理、1/γ處理、Y信號(hào)生成處理、C信號(hào)生成處理等，將得到的視頻信號(hào)Y1、C1輸出到分辨率轉(zhuǎn)換處理部25。
分辨率轉(zhuǎn)換處理部25進(jìn)行將從調(diào)制、YC轉(zhuǎn)換處理部24提供的視頻信號(hào)Y1、C1轉(zhuǎn)換為遵循輸出格式的信號(hào)的處理，將得到的視頻信號(hào)Y2、C2輸出到外部。在分辨率轉(zhuǎn)換處理部25中，作為遵循輸出格式的轉(zhuǎn)換處理進(jìn)行例如分辨率轉(zhuǎn)換、隔行掃描處理(將逐行掃描方式的圖像信號(hào)轉(zhuǎn)換成隔行掃描方式的圖像信號(hào)的處理)、有效圖像區(qū)域的切出處理(例如，除去手抖動(dòng)校正用處理邊緣，只切出有效的區(qū)域進(jìn)行輸出的處理)。
從分辨率轉(zhuǎn)換處理部25輸出的信號(hào)作為用于記錄運(yùn)動(dòng)圖像的信號(hào)，或者作為用于顯示正在獲取的圖像的信號(hào)，在設(shè)置在后級(jí)的未圖示的處理部中使用。
圖2是表示現(xiàn)有的信號(hào)處理系統(tǒng)1的其他結(jié)構(gòu)例的框圖。對(duì)與圖1的結(jié)構(gòu)對(duì)應(yīng)的結(jié)構(gòu)賦予相同的符號(hào)。適當(dāng)省略重復(fù)的說明。
在圖2的信號(hào)處理系統(tǒng)1中，在校正處理部21-1和校正處理部21-2中分別并行進(jìn)行由圖1的校正處理部21進(jìn)行的處理，在非依靠校正處理部22-1和非依靠校正處理部22-2中分別并行進(jìn)行由圖1的非依靠校正處理部22進(jìn)行的處理。
同樣地，在同時(shí)化處理部23-1和同時(shí)化處理部23-2中分別并行進(jìn)行由圖1的同時(shí)化處理部23進(jìn)行的處理，在調(diào)制、YC轉(zhuǎn)換處理部24-1和調(diào)制、YC轉(zhuǎn)換處理部24-2中分別并行進(jìn)行由圖1的調(diào)制、YC轉(zhuǎn)換處理部24進(jìn)行的處理。
即，圖2的A/D轉(zhuǎn)換器13將從固體攝像元件12提供的模擬信號(hào)E1轉(zhuǎn)換成數(shù)字信號(hào)，將轉(zhuǎn)換得到的數(shù)字信號(hào)分成數(shù)字信號(hào)S1-1和數(shù)字信號(hào)S1-2兩個(gè)信號(hào)，分別將數(shù)字信號(hào)S1-1輸出到校正處理部21-1，將數(shù)字信號(hào)S1-2輸出到校正處理部21-2。
圖2的分辨率轉(zhuǎn)換處理部25根據(jù)從調(diào)制、YC轉(zhuǎn)換處理部24-1提供的視頻信號(hào)Y1-1、C1-1以及從調(diào)制、YC轉(zhuǎn)換處理部24-2提供的視頻信號(hào)Y1-2、C1-2，進(jìn)行轉(zhuǎn)換成遵循輸出格式的信號(hào)的處理，將得到的視頻信號(hào)Y2、C2輸出到外部。
此外，在圖2的信號(hào)處理系統(tǒng)1中，通過由校正處理部21-1實(shí)施處理而得到的信號(hào)S2-1被提供給非依靠校正處理部22-1，通過由校正處理部21-2實(shí)施處理而得到的信號(hào)S2-2被提供給非依靠校正處理部22-2。將信號(hào)S2-1和信號(hào)S2-2這兩個(gè)信號(hào)合并后得到的信號(hào)對(duì)應(yīng)于圖1的信號(hào)S2。
另外，通過由非依靠校正處理部22-1實(shí)施處理而得到的信號(hào)S3-1被提供給同時(shí)化處理部23-1，通過由非依靠校正處理部22-2實(shí)施處理而得到的信號(hào)S3-2被提供給同時(shí)化處理部23-2。將信號(hào)S3-1和信號(hào)S3-2這兩個(gè)信號(hào)合并后得到的信號(hào)對(duì)應(yīng)于圖1的信號(hào)S3。
同樣地，通過由同時(shí)化處理部23-1實(shí)施處理而得到的R、G、B信號(hào)被提供給調(diào)制、YC轉(zhuǎn)換處理部24-1，通過由同時(shí)化處理部23-2實(shí)施處理而得到的R、G、B信號(hào)被提供給調(diào)制、YC轉(zhuǎn)換處理部24-2。將通過由同時(shí)化處理部23-1實(shí)施處理而得到的R、G、B信號(hào)和通過由同時(shí)化處理部23-2實(shí)施處理而得到的R、G、B信號(hào)的兩個(gè)信號(hào)合并后得到的信號(hào)對(duì)應(yīng)于圖1的R、G、B信號(hào)。
通過由調(diào)制、YC轉(zhuǎn)換處理部24-1實(shí)施處理而得到的視頻信號(hào)Y1-1、C1-1被提供給分辨率轉(zhuǎn)換處理部25，通過由調(diào)制、YC轉(zhuǎn)換處理部24-2實(shí)施處理得到的視頻信號(hào)Y1-2、C1-2被提供給分辨率轉(zhuǎn)換處理部25。將視頻信號(hào)Y1-1、C1-1和視頻信號(hào)Y1-2、C1-2合并后得到的信號(hào)對(duì)應(yīng)于圖1的視頻信號(hào)Y1、C1。
這樣，通過使多個(gè)結(jié)構(gòu)分擔(dān)而并行地進(jìn)行在一個(gè)結(jié)構(gòu)中進(jìn)行的處理，能夠避免增加成為照相機(jī)信號(hào)處理部14的動(dòng)作基準(zhǔn)的驅(qū)動(dòng)頻率。
如圖1、圖2所示，在現(xiàn)有的信號(hào)處理系統(tǒng)1中，在一系列處理的最后步驟中進(jìn)行遵循輸出格式的轉(zhuǎn)換處理。
專利文獻(xiàn)1日本特開平5-344426號(hào)公報(bào)專利文獻(xiàn)2日本特開2002-252808號(hào)公報(bào)專利文獻(xiàn)3日本特開2005-311455號(hào)公報(bào)
發(fā)明內(nèi)容
發(fā)明要解決的問題這樣，在采用了在一系列處理的最后步驟中進(jìn)行遵循輸出格式的轉(zhuǎn)換處理的結(jié)構(gòu)的情況下，當(dāng)固體攝像元件12的多像素化發(fā)展時(shí)，與此相伴產(chǎn)生增加系統(tǒng)的驅(qū)動(dòng)頻率、消耗電力變大的問題。當(dāng)由固體攝像元件12的多像素化而導(dǎo)致處理對(duì)象的數(shù)據(jù)的量變多時(shí)，為了以相同的結(jié)構(gòu)維持該處理，需要提高驅(qū)動(dòng)頻率。
另外，為了降低驅(qū)動(dòng)頻率而采用了如圖2所示的進(jìn)行并行處理的結(jié)構(gòu)的情況下，當(dāng)然需要兩個(gè)相同的結(jié)構(gòu)，因此產(chǎn)生涉及使電路規(guī)模增大、電路面積擴(kuò)大的問題。
而且，為了降低照相機(jī)信號(hào)處理部14的驅(qū)動(dòng)頻率，也可以考慮通過在固體攝像元件12上進(jìn)行相加讀出處理而減少實(shí)質(zhì)的輸入像素?cái)?shù)，但是在該情況下產(chǎn)生無法校正由相加導(dǎo)致的分辨率的劣化、由于固體攝像元件12的像素單位導(dǎo)致的畫質(zhì)劣化的問題。
本發(fā)明是鑒于這樣的狀況而完成的，即使在固體攝像元件的多像素化發(fā)展的情況下，也不會(huì)導(dǎo)致增加驅(qū)動(dòng)頻率、擴(kuò)大電路面積，而在固定時(shí)間內(nèi)補(bǔ)償適當(dāng)?shù)奶幚?，并且不產(chǎn)生畫質(zhì)的劣化。
用于解決問題的手段本發(fā)明的一個(gè)側(cè)面的信號(hào)處理裝置，對(duì)輸入的圖像信號(hào)實(shí)施信號(hào)處理，輸出信號(hào)處理的結(jié)果，該信號(hào)處理裝置具備第一校正處理單元，對(duì)輸入的上述圖像信號(hào)實(shí)施依靠成為上述圖像信號(hào)輸出源的攝像元件的像素的校正處理；第二校正處理單元，對(duì)提供的圖像信號(hào)實(shí)施不依靠上述攝像元件的像素的校正處理；同時(shí)化處理單元，根據(jù)提供的圖像信號(hào)，生成表示拍攝到的圖像的、空間相位一致的RGB信號(hào)；轉(zhuǎn)換單元，根據(jù)提供的圖像信號(hào)，至少進(jìn)行生成亮度信號(hào)、顏色信號(hào)的處理；以及第一分辨率轉(zhuǎn)換單元，將拍攝到的圖像轉(zhuǎn)換成與輸出的圖像的分辨率相同分辨率的圖像，上述第一分辨率轉(zhuǎn)換單元設(shè)置在比設(shè)置上述第一校正處理單元的位置靠后級(jí)的位置上、且設(shè)置在比設(shè)置上述轉(zhuǎn)換單元的位置靠前級(jí)的位置上。
還能夠設(shè)置第二分辨率轉(zhuǎn)換單元，該第二分辨率轉(zhuǎn)換單元進(jìn)行切出有效像素范圍的圖像的處理、以及將逐行掃描方式的圖像信號(hào)轉(zhuǎn)換成隔行掃描方式的圖像信號(hào)的處理中的至少任意一個(gè)，將處理結(jié)果作為上述信號(hào)處理的結(jié)果進(jìn)行輸出。
在本發(fā)明的一個(gè)側(cè)面中，分辨率轉(zhuǎn)換單元設(shè)置在比設(shè)置校正處理單元的位置靠后級(jí)的位置上、且設(shè)置在比設(shè)置轉(zhuǎn)換單元的位置靠前級(jí)的位置上，其中，上述分辨率轉(zhuǎn)換單元將拍攝到的圖像轉(zhuǎn)換成與輸出的圖像的分辨率相同分辨率的圖像；上述校正處理單元對(duì)輸入的圖像信號(hào)實(shí)施依靠成為圖像信號(hào)輸出源的攝像元件的像素的校正處理；上述轉(zhuǎn)換單元根據(jù)提供的圖像信號(hào)，至少進(jìn)行生成亮度信號(hào)、顏色信號(hào)的處理。
發(fā)明的效果根據(jù)本發(fā)明的一個(gè)側(cè)面，能夠不用增加驅(qū)動(dòng)頻率、擴(kuò)大電路面積，而在固定時(shí)間內(nèi)補(bǔ)正適當(dāng)?shù)奶幚?，并且不產(chǎn)生畫質(zhì)的劣化。
圖1是表示現(xiàn)有的數(shù)字?jǐn)z像機(jī)整體結(jié)構(gòu)中的信號(hào)處理系統(tǒng)的系統(tǒng)結(jié)構(gòu)例的框圖。
圖2是表示現(xiàn)有的信號(hào)處理系統(tǒng)的系統(tǒng)的其他結(jié)構(gòu)例的框圖。
圖3是表示與本發(fā)明的一個(gè)實(shí)施方式相關(guān)的數(shù)字?jǐn)z像機(jī)整體結(jié)構(gòu)中的信號(hào)處理系統(tǒng)的系統(tǒng)結(jié)構(gòu)例的框圖。
圖4是表示信號(hào)處理系統(tǒng)1的另一個(gè)結(jié)構(gòu)例的框圖。
圖5是表示信號(hào)處理系統(tǒng)1的又一個(gè)結(jié)構(gòu)例的框圖。
圖6是表示圖像的分辨率變化的示例的圖。
圖7是表示圖像的分辨率變化的另一示例的圖。
附圖標(biāo)記說明1信號(hào)處理系統(tǒng)；11透鏡；12固體攝像元件；13A/D轉(zhuǎn)換器；14照相機(jī)信號(hào)處理部；21校正處理部；22非依靠校正處理部；23同時(shí)化處理部；24調(diào)制、YC轉(zhuǎn)換處理部；25分辨率轉(zhuǎn)換處理部。
具體實(shí)施方式以下，說明本發(fā)明的實(shí)施方式，下面舉例說明本發(fā)明的構(gòu)成要件與說明書或者附圖中記載的實(shí)施方式的對(duì)應(yīng)關(guān)系。本記載是為了證實(shí)支持本發(fā)明的實(shí)施方式被記載在說明書或者附圖中。因此，即使有雖然記載在說明書或者附圖中、但是沒有作為與本發(fā)明的構(gòu)成要件對(duì)應(yīng)的實(shí)施方式記載在這里的實(shí)施方式，也不意味著該實(shí)施方式不與該構(gòu)成要件對(duì)應(yīng)。相反，即使實(shí)施方式作為與發(fā)明對(duì)應(yīng)的部分而記載于此，也不意味著該實(shí)施方式不與該構(gòu)成要件以外的構(gòu)成要件對(duì)應(yīng)。
本發(fā)明一個(gè)側(cè)面的信號(hào)處理裝置(例如，圖3的信號(hào)處理系統(tǒng)1)，對(duì)輸入的圖像信號(hào)實(shí)施信號(hào)處理，輸出信號(hào)處理的結(jié)果，該信號(hào)處理裝置具備第一校正處理單元(例如，圖3的校正處理部21-1、21-2)，對(duì)輸入的上述圖像信號(hào)實(shí)施依靠成為上述圖像信號(hào)輸出源的攝像元件的像素的校正處理；第二校正處理單元(例如，圖3的非依靠校正處理部22-1、22-2)，對(duì)提供的圖像信號(hào)實(shí)施不依靠上述攝像元件的像素的校正處理；同時(shí)化處理單元(例如，圖3的同時(shí)化處理部23-1、23-2)，根據(jù)提供的圖像信號(hào)，生成表示拍攝到的圖像的、空間相位一致的RGB信號(hào)；轉(zhuǎn)換單元(例如，圖3的調(diào)制、YC轉(zhuǎn)換處理部24)，根據(jù)提供的圖像信號(hào)，至少進(jìn)行生成亮度信號(hào)、顏色信號(hào)的處理；以及第一分辨率轉(zhuǎn)換單元(例如，圖3的分辨率轉(zhuǎn)換處理部25-1)，將拍攝到的圖像轉(zhuǎn)換成與輸出的圖像的分辨率相同分辨率的圖像，上述第一分辨率轉(zhuǎn)換單元設(shè)置在比設(shè)置上述第一校正處理單元的位置靠后級(jí)的位置上、且設(shè)置在比設(shè)置上述轉(zhuǎn)換單元的位置靠前級(jí)的位置上。
在該信號(hào)處理裝置中，還能夠設(shè)置第二分辨率轉(zhuǎn)換單元(例如，圖3的分辨率轉(zhuǎn)換處理部25-2)，該第二分辨率轉(zhuǎn)換單元進(jìn)行切出有效像素范圍的圖像的處理、以及將逐行掃描方式的圖像信號(hào)轉(zhuǎn)換成隔行掃描方式的圖像信號(hào)的處理中的至少任意一個(gè)，將處理結(jié)果作為上述信號(hào)處理的結(jié)果進(jìn)行輸出。
以下，參照本發(fā)明的實(shí)施方式。
圖3是表示與本發(fā)明的一個(gè)實(shí)施方式相關(guān)的數(shù)字?jǐn)z像機(jī)整體結(jié)構(gòu)中的信號(hào)處理系統(tǒng)的系統(tǒng)結(jié)構(gòu)例的框圖。對(duì)與圖1、圖2對(duì)應(yīng)的結(jié)構(gòu)賦予相同的符號(hào)。
在圖3的信號(hào)處理系統(tǒng)1中，在一系列的信號(hào)處理中，R、G、B的各信號(hào)被同時(shí)化之前并行地進(jìn)行處理。
即，圖3的A/D轉(zhuǎn)換器13將從固體攝像元件12提供的模擬信號(hào)E1轉(zhuǎn)換成數(shù)字信號(hào)，將進(jìn)行轉(zhuǎn)換得到的數(shù)字信號(hào)分成數(shù)字信號(hào)S1-1和數(shù)字信號(hào)S1-2兩個(gè)信號(hào)，分別將數(shù)字信號(hào)S1-1輸出到校正處理部21-1，將數(shù)字信號(hào)S1-2輸出到校正處理部21-2。
照相機(jī)信號(hào)處理部14中的校正處理部21-1，作為依靠像素的校正處理，對(duì)數(shù)字信號(hào)S1-1實(shí)施例如像素缺陷校正處理(專利文獻(xiàn)1)、頻道差調(diào)整增益處理(專利文獻(xiàn)2)、像素單位中的降低噪音處理(專利文獻(xiàn)3)等，將得到的信號(hào)S2-1輸出到非依靠校正處理部22-1。
非依靠校正處理部22-1對(duì)從校正處理部21-1提供的信號(hào)S2-1，例如進(jìn)行對(duì)面內(nèi)各色都實(shí)施均勻的增益的數(shù)字增益處理、實(shí)施在面內(nèi)均勻且各色獨(dú)立的增益的白平衡增益處理等的處理，將得到的信號(hào)S3-1輸出到同時(shí)化處理部23-1。
同時(shí)化處理部23-1根據(jù)信號(hào)S3-1，對(duì)每個(gè)像素分別生成空間相位一致的R1-1、G1-1、B1-1信號(hào)，將生成的R1-1、G1-1、B1-1信號(hào)輸出到分辨率轉(zhuǎn)換處理部25-1。在信號(hào)處理系統(tǒng)1是單板式系統(tǒng)的情況下，信號(hào)S3-1按每個(gè)顏色而空間取樣點(diǎn)不同，因此在同時(shí)化處理部23-1中進(jìn)行依靠固體攝像元件12的OCCF配置圖案的同時(shí)化處理(使空間相位一致的處理)。
另一方面，校正處理部21-2作為依靠像素的校正處理，與校正處理部21-1相同，對(duì)數(shù)字信號(hào)S1-2實(shí)施例如像素缺陷校正處理(專利文獻(xiàn)1)、頻道差調(diào)整增益處理(專利文獻(xiàn)2)、像素單位中的降低噪音處理(專利文獻(xiàn)3)等，將得到的信號(hào)S2-2輸出到非依靠校正處理部22-2。
非依靠校正處理部22-2對(duì)從校正處理部21-2提供的信號(hào)S2-2，進(jìn)行對(duì)面內(nèi)各色都實(shí)施均勻的增益的數(shù)字增益處理、實(shí)施在面內(nèi)均勻且各色獨(dú)立的增益的白平衡增益處理等處理，將得到的信號(hào)S3-2輸出到同時(shí)化處理部23-2。
同時(shí)化處理部23-2根據(jù)信號(hào)S3-2，對(duì)每個(gè)像素分別生成空間相位一致的R1-2、G1-2、B1-2信號(hào)，將生成的R1-2、G1-2、B1-2信號(hào)輸出到分辨率轉(zhuǎn)換處理部25-1。
分辨率轉(zhuǎn)換處理部25-1將從同時(shí)化處理部23-1提供的R1-1、G1-1、B1-1信號(hào)以及從同時(shí)化處理部23-2提供的R1-2、G1-2、B1-2信號(hào)作為對(duì)象，進(jìn)行將由這些信號(hào)表示的圖像轉(zhuǎn)換成與輸出格式的圖像分辨率相同分辨率的圖像的轉(zhuǎn)換處理(例如縮小操作)，將得到的R2、G2、B2信號(hào)輸出到調(diào)制、YC轉(zhuǎn)換處理部24。
調(diào)制、YC轉(zhuǎn)換處理部24將從分辨率轉(zhuǎn)換處理部25-1提供的R2、G2、B2信號(hào)作為對(duì)象，進(jìn)行高畫質(zhì)化處理、1/γ處理、Y信號(hào)生成處理、C信號(hào)生成處理等，將得到的視頻信號(hào)Y1、C1輸出到分辨率轉(zhuǎn)換處理部25-2。
分辨率轉(zhuǎn)換處理部25-2進(jìn)行將從調(diào)制、YC轉(zhuǎn)換處理部24提供的視頻信號(hào)Y1、C1轉(zhuǎn)換成遵循輸出格式的信號(hào)的處理，將得到的視頻信號(hào)Y2、C2輸出到外部。在分辨率轉(zhuǎn)換處理部25-2中，作為遵循輸出格式的轉(zhuǎn)換處理進(jìn)行例如隔行掃描處理、有效圖像區(qū)域的切出處理(例如，除去手抖動(dòng)校正用處理邊緣，只切出有效的區(qū)域進(jìn)行輸出的處理)。
從分辨率轉(zhuǎn)換處理部25-2輸出的信號(hào)作為用于記錄運(yùn)動(dòng)圖像的信號(hào)、或者作為用于顯示正在獲取的圖像的信號(hào)，在設(shè)置在后級(jí)的未圖示的處理部中使用。
這樣，通過僅將由圖1、圖2的分辨率轉(zhuǎn)換處理部25進(jìn)行的處理(分辨率轉(zhuǎn)換處理、隔行掃描處理、有效圖像區(qū)域的切出處理)中的進(jìn)行分辨率轉(zhuǎn)換處理的結(jié)構(gòu)(圖3的分辨率轉(zhuǎn)換處理部25-1)，設(shè)置在比進(jìn)行高畫質(zhì)化處理、1/γ處理、Y信號(hào)生成處理、C信號(hào)生成處理的結(jié)構(gòu)(調(diào)制、YC轉(zhuǎn)換處理部24)靠前級(jí)的位置上，由此即使在并行地進(jìn)行處理的情況下，也不需要如圖2所示設(shè)置兩個(gè)進(jìn)行該高畫質(zhì)化處理、1/γ處理、Y信號(hào)生成處理、C信號(hào)生成處理的結(jié)構(gòu)。
另外，即使在固體攝像元件12的多像素化發(fā)展的情況下，也能夠通過分辨率的縮小處理在一系列處理的較早階段減少作為處理對(duì)象的數(shù)據(jù)量，因此能夠通過并行進(jìn)行一系列處理中的一部分來抑制驅(qū)動(dòng)頻率的增加，還能夠抑制電路面積的擴(kuò)大。而且，能夠在固定時(shí)間內(nèi)補(bǔ)償適當(dāng)?shù)奶幚?，另外，并沒有在固體攝像元件12中進(jìn)行像素值的相加等，因此不產(chǎn)生畫質(zhì)的劣化。
圖4是表示信號(hào)處理系統(tǒng)1的另一個(gè)結(jié)構(gòu)例的框圖。對(duì)與上述結(jié)構(gòu)對(duì)應(yīng)的結(jié)構(gòu)賦予相同的符號(hào)。
在圖4的信號(hào)處理系統(tǒng)1中，在一系列的信號(hào)處理中，在進(jìn)行校正系統(tǒng)的處理為止并行地進(jìn)行處理。
即，圖4的A/D轉(zhuǎn)換器13、校正處理部21-1、21-2、非依靠校正處理部22-1、22-2，與圖3的A/D轉(zhuǎn)換器13、校正處理部21-1、21-2，非依靠校正處理部22-1、22-2相同。
圖4的A/D轉(zhuǎn)換器13將從固體攝像元件12提供的模擬信號(hào)E1轉(zhuǎn)換成數(shù)字信號(hào)，將轉(zhuǎn)換得到的數(shù)字信號(hào)分成數(shù)字信號(hào)S1-1和數(shù)字信號(hào)S1-2這兩個(gè)信號(hào)，分別將數(shù)字信號(hào)S1-1輸出到校正處理部21-1，將數(shù)字信號(hào)S1-2輸出到校正處理部21-2。
校正處理部21-1對(duì)數(shù)字信號(hào)S1-1實(shí)施依靠像素的校正處理，將得到的信號(hào)S2-1輸出到非依靠校正處理部22-1。非依靠校正處理部22-1對(duì)從校正處理部21-1提供的信號(hào)S2-1進(jìn)行數(shù)字增益處理、白平衡增益處理等，將得到的信號(hào)S3-1輸出到分辨率轉(zhuǎn)換處理部25-1。
另一方面，校正處理部21-2對(duì)數(shù)字信號(hào)S1-2實(shí)施依靠像素的校正處理，將得到的信號(hào)S2-2輸出到非依靠校正處理部22-2。非依靠校正處理部22-2對(duì)從校正處理部21-2提供的信號(hào)S2-2實(shí)施數(shù)字增益處理、白平衡增益處理等，將得到的信號(hào)S3-2輸出到分辨率轉(zhuǎn)換處理部25-1。
分辨率轉(zhuǎn)換處理部25-1將從非依靠校正處理部22-1提供的信號(hào)S3-1和從非依靠校正處理部22-2提供的信號(hào)S3-2作為對(duì)象，進(jìn)行將由這些信號(hào)表示的圖像轉(zhuǎn)換成與輸出格式的圖像分辨率相同分辨率的圖像的轉(zhuǎn)換處理(例如縮小操作)，將得到的信號(hào)S4輸出到同時(shí)化處理部23。
從圖4的非依靠校正處理部22-1輸出的信號(hào)S3-1和從非依靠校正處理部22-2輸出的信號(hào)S3-2，表示通過固體攝像元件12獲取的整個(gè)圖像的校正系統(tǒng)的處理結(jié)果，與此相對(duì)，從分辨率轉(zhuǎn)換處理部25-1輸出的信號(hào)S4，表示將通過固體攝像元件12獲取的整個(gè)圖像例如縮小的圖像的校正系統(tǒng)的處理結(jié)果。
同時(shí)化處理部23根據(jù)從分辨率轉(zhuǎn)換處理部25-1提供的信號(hào)S4，對(duì)每個(gè)像素分別生成空間相位一致的R、G、B信號(hào)，將生成的R、G、B信號(hào)輸出到調(diào)制、YC轉(zhuǎn)換處理部24。
調(diào)制、YC轉(zhuǎn)換處理部24將從同時(shí)化處理部23提供的R、G、B信號(hào)作為對(duì)象，進(jìn)行高畫質(zhì)化處理、1/γ處理、Y信號(hào)生成處理、C信號(hào)生成處理等，將得到的視頻信號(hào)Y1、C1輸出到分辨率轉(zhuǎn)換處理部25-2。
分辨率轉(zhuǎn)換處理部25-2進(jìn)行將從調(diào)制、YC轉(zhuǎn)換處理部24提供的視頻信號(hào)Y1、C1轉(zhuǎn)換成遵循輸出格式的信號(hào)的處理，將得到的視頻信號(hào)Y2、C2輸出到外部。在分辨率轉(zhuǎn)換處理部25-2中，作為遵循輸出格式的轉(zhuǎn)換處理進(jìn)行例如隔行掃描處理、有效圖像區(qū)域的切出處理。
這樣，通過僅將由圖1、圖2的分辨率轉(zhuǎn)換處理部25進(jìn)行的處理(分辨率轉(zhuǎn)換處理、隔行掃描處理、有效圖像區(qū)域的切出處理)中的進(jìn)行分辨率轉(zhuǎn)換處理的結(jié)構(gòu)(圖4的分辨率轉(zhuǎn)換處理部25-1)，設(shè)置在比進(jìn)行同時(shí)化處理的結(jié)構(gòu)(同時(shí)化處理部24)靠前級(jí)的位置上，由此不需要如圖2所示設(shè)置兩個(gè)進(jìn)行該同時(shí)化處理的結(jié)構(gòu)。
另外，根據(jù)圖4的結(jié)構(gòu)，與圖3的結(jié)構(gòu)相同，也能夠通過分辨率的縮小處理而在一系列處理的較早階段減少成為處理對(duì)象的數(shù)據(jù)的量，因此能夠抑制驅(qū)動(dòng)頻率的增加，也能夠抑制電路面積的擴(kuò)大。而且，能夠在固定時(shí)間內(nèi)補(bǔ)償適當(dāng)?shù)奶幚恚硗?，不產(chǎn)生畫質(zhì)的劣化。
圖5是表示信號(hào)處理系統(tǒng)1的又一個(gè)結(jié)構(gòu)例的框圖。對(duì)與上述結(jié)構(gòu)對(duì)應(yīng)的結(jié)構(gòu)賦予相同的符號(hào)。
在圖5的信號(hào)處理系統(tǒng)1中，在一系列的信號(hào)處理中，在進(jìn)行校正系統(tǒng)的兩個(gè)處理中的依靠像素的校正處理為止，并行地進(jìn)行處理。
即，圖5的A/D轉(zhuǎn)換器13、校正處理部21-1、21-2，與圖3、圖4的A/D轉(zhuǎn)換器13、校正處理部21-1、21-2相同。
圖5的A/D轉(zhuǎn)換器13將從固體攝像元件12提供的模擬信號(hào)E1轉(zhuǎn)換成數(shù)字信號(hào)，將進(jìn)行轉(zhuǎn)換得到的數(shù)字信號(hào)分成數(shù)字信號(hào)S1-1和數(shù)字信號(hào)S1-2的兩個(gè)信號(hào)，分別將數(shù)字信號(hào)S1-1輸出到校正處理部21-1，將數(shù)字信號(hào)S1-2輸出到校正處理部21-2。
校正處理部21-1對(duì)數(shù)字信號(hào)S1-1實(shí)施依靠像素的校正處理，將得到的信號(hào)S2-1輸出到分辨率轉(zhuǎn)換處理部25-1。另一方面，校正處理部21-2對(duì)數(shù)字信號(hào)S1-2實(shí)施依靠像素的校正處理，將得到的信號(hào)S2-2輸出到分辨率轉(zhuǎn)換處理部25-1。
分辨率轉(zhuǎn)換處理部25-1將從校正處理部21-1提供的信號(hào)S2-1和從校正處理部21-2提供的信號(hào)S2-2作為對(duì)象，進(jìn)行將由這些信號(hào)表示的圖像的分辨率轉(zhuǎn)換成與輸出格式的圖像分辨率相同分辨率的轉(zhuǎn)換處理(例如縮小操作)，將得到的信號(hào)S3輸出到非依靠校正處理部22。
非依靠校正處理部22以后的結(jié)構(gòu)與圖1的結(jié)構(gòu)相同。即，非依靠校正處理部22對(duì)從分辨率轉(zhuǎn)換處理部25-1提供的信號(hào)S3進(jìn)行數(shù)字增益處理、白平衡增益處理等，將得到的信號(hào)S4輸出到同時(shí)化處理部23。
同時(shí)化處理部23根據(jù)信號(hào)S4，對(duì)每個(gè)像素分別生成空間相位一致的R、G、B信號(hào)，將生成的R、G、B信號(hào)輸出到調(diào)制、YC轉(zhuǎn)換處理部24。
調(diào)制、YC轉(zhuǎn)換處理部24將從同時(shí)化處理部23提供的R、G、B信號(hào)作為對(duì)象，進(jìn)行高畫質(zhì)化處理、1/γ處理、Y信號(hào)生成處理、C信號(hào)生成處理等，將得到的視頻信號(hào)Y1、C1輸出到分辨率轉(zhuǎn)換處理部25-2。
分辨率轉(zhuǎn)換處理部25-2進(jìn)行將從調(diào)制、YC轉(zhuǎn)換處理部24提供的視頻信號(hào)Y1、C1轉(zhuǎn)換成遵循輸出格式的信號(hào)的處理，將得到的視頻信號(hào)Y2、C2輸出到外部。在分辨率轉(zhuǎn)換處理部25-2中，作為遵循輸出格式的轉(zhuǎn)換處理進(jìn)行例如隔行掃描處理、有效圖像區(qū)域的切出處理。
這樣，通過僅將由圖1、圖2的分辨率轉(zhuǎn)換處理部25進(jìn)行的處理(分辨率轉(zhuǎn)換處理、隔行掃描處理、有效圖像區(qū)域的切出處理)中的進(jìn)行分辨率轉(zhuǎn)換處理的結(jié)構(gòu)(圖5的分辨率轉(zhuǎn)換處理部25-1)，設(shè)置在比進(jìn)行不依靠像素的校正處理的結(jié)構(gòu)(非依靠校正處理部22)靠前級(jí)的位置上，由此不需要如圖2所示設(shè)置兩個(gè)進(jìn)行該校正處理的結(jié)構(gòu)。
根據(jù)圖5的結(jié)構(gòu)，與圖3、圖4的結(jié)構(gòu)相同，也能夠通過分辨率的縮小處理，在一系列處理的較早的階段減少成為處理對(duì)象的數(shù)據(jù)的量，因此能夠抑制驅(qū)動(dòng)頻率的增加，也能夠抑制電路面積的擴(kuò)大。而且，能夠在固定時(shí)間內(nèi)補(bǔ)償適當(dāng)?shù)奶幚恚硗?，不產(chǎn)生畫質(zhì)的劣化。
如上所述，通過僅將由圖1、圖2的分辨率轉(zhuǎn)換處理部25進(jìn)行的處理(分辨率轉(zhuǎn)換處理、隔行掃描處理、有效圖像區(qū)域的切出處理)中的進(jìn)行分辨率轉(zhuǎn)換處理的結(jié)構(gòu)(圖3、圖4、圖5的分辨率轉(zhuǎn)換處理部25-1)，設(shè)置在更靠前級(jí)的位置(比進(jìn)行依靠圖像的校正處理的結(jié)構(gòu)靠后級(jí)的位置)上，由此不需要如圖2所示設(shè)置多個(gè)比其靠后級(jí)的結(jié)構(gòu)。
如上所述，在將分辨率轉(zhuǎn)換處理部設(shè)置為兩個(gè)處理部的信號(hào)處理系統(tǒng)1中，根據(jù)該設(shè)置的位置、提供的功能，由各處理部的處理得到的圖像分辨率的變化各種各樣。
圖6是表示圖像分辨率的變化的示例的圖。
例如，如圖6的左端所示，對(duì)從固體攝像元件12以逐行掃描方式讀出的圖像(逐行掃描圖像)，為了抑制后級(jí)結(jié)構(gòu)的驅(qū)動(dòng)頻率，在初級(jí)的分辨率轉(zhuǎn)換處理部即分辨率轉(zhuǎn)換處理部25-1中直接用逐行掃描圖像來實(shí)施縮小處理。
對(duì)于由縮小處理得到的逐行掃描圖像，在后級(jí)的分辨率轉(zhuǎn)換處理部即分辨率轉(zhuǎn)換處理部25-2中，實(shí)施遵循輸出格式的尺寸(例如，除去手抖動(dòng)校正處理用切出邊緣的有效區(qū)域)的切出處理、以及隔行掃描處理，輸出利用這些處理得到的圖像。
在圖6的示例中，從固體攝像元件12讀出的逐行掃描圖像是2000×1500像素尺寸的圖像，由分辨率轉(zhuǎn)換處理部25-1實(shí)施縮小處理后的逐行掃描圖像成為800×540像素尺寸的圖像。另外，由分辨率轉(zhuǎn)換處理部25-2實(shí)施切出處理后的隔行掃描圖像成為720×480像素尺寸的圖像。
圖7是表示圖像分辨率的變化的另一例的圖。
例如，如圖7的左端所示，對(duì)從固體攝像元件12以逐行掃描方式讀出的逐行掃描圖像，為了抑制后級(jí)結(jié)構(gòu)的驅(qū)動(dòng)頻率，在初級(jí)的分辨率轉(zhuǎn)換處理部即分辨率轉(zhuǎn)換處理部25-1中，直接用逐行掃描圖像實(shí)施縮小處理。
另外，在圖7的示例中，在分辨率轉(zhuǎn)換處理部25-1中，設(shè)為不僅進(jìn)行縮小處理，還進(jìn)行隔行掃描處理。這樣，能夠適當(dāng)改變使兩個(gè)分辨率轉(zhuǎn)換處理部分別進(jìn)行的處理的內(nèi)容(提供的功能)。
對(duì)于通過縮小處理和隔行掃描處理得到的隔行掃描圖像，在后級(jí)的分辨率轉(zhuǎn)換處理部即分辨率轉(zhuǎn)換處理部25-2中實(shí)施遵循輸出格式的尺寸的切出處理，輸出利用這些處理得到的圖像。
在圖7的示例中，從固體攝像元件12讀出的逐行掃描圖像是2000×1500像素尺寸的圖像，由分辨率轉(zhuǎn)換處理部25-1實(shí)施縮小處理和隔行掃描處理后的隔行掃描圖像成為800×540像素尺寸的圖像。另外，由分辨率轉(zhuǎn)換處理部25-2實(shí)施切出處理后的隔行掃描圖像成為720×480像素尺寸的圖像。
以上，說明了將如圖3至圖5所示的照相機(jī)信號(hào)處理部14設(shè)置在數(shù)字?jǐn)z像機(jī)中的情況，但只要是具有運(yùn)動(dòng)圖像、靜止圖像的攝影功能的攝像裝置，就可以在任何裝置中應(yīng)用。
另外，在圖5示出的信號(hào)處理系統(tǒng)1的分辨率轉(zhuǎn)換處理部25-1中，通過進(jìn)行由分辨率轉(zhuǎn)換處理部25-2執(zhí)行的隔行掃描處理、有效圖像區(qū)域的切出處理等，不需要在調(diào)制、YC轉(zhuǎn)換處理部24的后級(jí)設(shè)置分辨率轉(zhuǎn)換處理部25-2，能夠進(jìn)一步抑制電路面積的擴(kuò)大。
權(quán)利要求
1.一種信號(hào)處理裝置，對(duì)輸入的圖像信號(hào)實(shí)施信號(hào)處理，輸出信號(hào)處理的結(jié)果，該信號(hào)處理裝置具備第一校正處理單元，對(duì)輸入的上述圖像信號(hào)實(shí)施依靠成為上述圖像信號(hào)輸出源的攝像元件的像素的校正處理；第二校正處理單元，對(duì)提供的圖像信號(hào)實(shí)施不依靠上述攝像元件的像素的校正處理；同時(shí)化處理單元，根據(jù)提供的圖像信號(hào)，生成表示拍攝到的圖像的、空間相位一致的RGB信號(hào)；轉(zhuǎn)換單元，根據(jù)提供的圖像信號(hào)，至少進(jìn)行生成亮度信號(hào)、顏色信號(hào)的處理；以及第一分辨率轉(zhuǎn)換單元，將拍攝到的圖像轉(zhuǎn)換成與輸出的圖像的分辨率相同分辨率的圖像，上述第一分辨率轉(zhuǎn)換單元設(shè)置在比設(shè)置上述第一校正處理單元的位置靠后級(jí)的位置上、且設(shè)置在比設(shè)置上述轉(zhuǎn)換單元的位置靠前級(jí)的位置上。
2.根據(jù)權(quán)利要求
1所述的信號(hào)處理裝置，其特征在于，還具備第二分辨率轉(zhuǎn)換單元，該第二分辨率轉(zhuǎn)換單元進(jìn)行切出有效像素范圍的圖像的處理、以及將逐行掃描方式的圖像信號(hào)轉(zhuǎn)換成隔行掃描方式的圖像信號(hào)的處理中的至少任意一個(gè)，將處理結(jié)果作為上述信號(hào)處理的結(jié)果進(jìn)行輸出。
專利摘要
提供一種信號(hào)處理裝置。不用增加驅(qū)動(dòng)頻率、擴(kuò)大電路面積，而在固定時(shí)間內(nèi)補(bǔ)償適當(dāng)?shù)奶幚?，并且不產(chǎn)生畫質(zhì)的劣化。對(duì)從固體攝像元件(12)以逐行掃描方式讀出的圖像(逐行掃描圖像)，為了抑制后級(jí)結(jié)構(gòu)的驅(qū)動(dòng)頻率，在作為初級(jí)的分辨率轉(zhuǎn)換處理部的分辨率轉(zhuǎn)換處理部(25－1)中直接用逐行掃描圖像來實(shí)施縮小處理。對(duì)于由縮小處理得到的逐行掃描圖像，在作為后級(jí)的分辨率轉(zhuǎn)換處理部的分辨率轉(zhuǎn)換處理部(25－2)中實(shí)施遵循輸出格式的尺寸的切出處理、以及隔行掃描處理，輸出利用這些處理得到的圖像。本發(fā)明能夠適用于處理所拍攝的圖像的數(shù)字?jǐn)z像機(jī)。
文檔編號(hào)H04N5/232GK1992823SQ200610170551
公開日2007年7月4日 申請(qǐng)日期2006年12月26日
發(fā)明者小坂井良太 申請(qǐng)人:索尼株式會(huì)社導(dǎo)出引文BiBTeX, EndNote, RefMan