專利名稱：圖像處理裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理裝置，更詳細地，涉及對通過光學(xué)系統(tǒng)攝像而獲得的電子圖像數(shù)據(jù)進行處理的圖像處理裝置。
背景技術(shù)：
在數(shù)字照相機等電子攝像裝置中，一般的，通過CCD(電荷耦合器件)等攝像元件對通過光學(xué)系統(tǒng)成像的被攝體像進行光電轉(zhuǎn)換，獲得攝像數(shù)據(jù)，對該攝像數(shù)據(jù)實行各種圖像處理，然后以JPEG(聯(lián)合圖像專家組)等壓縮方式進行壓縮，記錄于存儲卡等記錄介質(zhì)中，該數(shù)字照相機等電子攝像裝置成為兼作為圖像處理裝置的設(shè)備。
圖32是表示圖像處理裝置的一般的圖像處理的步驟的圖。
CCD等攝像元件對通過光學(xué)系統(tǒng)成像的光學(xué)被攝體像進行光電轉(zhuǎn)換，生成電攝像信號。該攝像信號被進行了像素缺陷的校正以及A/D轉(zhuǎn)換等預(yù)處理后，被存儲于幀存儲器中。
接著，存儲在幀存儲器中的圖像數(shù)據(jù)被讀出，通過第1圖像處理、第2圖像處理、……、第N圖像處理等，被進行從單片信號(single-chipsignal)向3片信號(three-chip signal)的轉(zhuǎn)換處理、低通濾波處理、邊緣強調(diào)處理、放大縮小處理等各種圖像處理。
圖像處理后的圖像信號進一步被通過JPEG等壓縮方式進行壓縮，作為圖像文件被記錄在存儲卡中。
圖33是表示用于進行上述圖32所示的一般圖像處理的現(xiàn)有的圖像處理裝置的結(jié)構(gòu)的方框圖。
該圖像處理裝置具有CCD 91、預(yù)處理部92、幀存儲器94、第1圖像處理部95a、第2圖像處理部95b、…、第N圖像處理部95n、JPEG處理部96、存儲卡等97、連接除了上述CCD 91之外的上述各電路和后述的CPU 93的總線98、以及統(tǒng)一控制包含上述各電路的該圖像處理裝置的CPU 93。
在通過該圖33所示的結(jié)構(gòu)的圖像處理裝置進行上述圖32所示的處理時，具體地為如下的步驟。
首先，通過總線98將來自預(yù)處理部92的圖像數(shù)據(jù)暫時存儲于幀存儲器94。
接著，從該幀存儲器94讀出圖像數(shù)據(jù)，通過總線98輸入到第1圖像處理部95a，進行第1圖像處理，將處理后的圖像數(shù)據(jù)寫入到幀存儲器94上。
同樣地，進行如下處理從該幀存儲器94讀出第1圖像處理后的圖像數(shù)據(jù)，通過總線98輸入到第2圖像處理部95b，進行第2圖像處理，將處理后的圖像數(shù)據(jù)寫入到幀存儲器94上，對每個圖像處理部重復(fù)進行同樣的處理。
這樣，在進行圖像處理時，圖像數(shù)據(jù)多次流經(jīng)總線98，而由于一般情況下圖像數(shù)據(jù)的數(shù)據(jù)大小均較大，所以對總線98增添了很大負荷。給予總線98的這種大負荷，在使用連寫功能時等變得更為顯著。
根據(jù)這樣的觀點，在例如特開2000-311241號公報中公開了如下的技術(shù)將多個圖像處理部連接成能夠進行流水線處理，對來自幀存儲器的圖像進行流水線處理，從而減輕總線的負荷，由此在減輕總線的負荷的同時，能夠不增加存儲器容量而實時地進行包括放大縮小處理在內(nèi)的圖像處理。
而且，在特開2000-312327號公報中也公開了如下技術(shù)通過以塊單位按預(yù)定方向(列方向)讀出存儲在幀存儲器中的圖像，減少進行流水線處理時的緩存量，能夠構(gòu)成低耗電、節(jié)省存儲器的圖像處理裝置。
但是，在包括數(shù)字照相機以及銀鹽照相機在內(nèi)的照相機的光學(xué)系統(tǒng)中，肯定有大小的差別，一般都會產(chǎn)生失真像差。例如在拍攝格子狀的被攝體時，該失真像差被觀測為圓桶型、枕型等(參照本發(fā)明的實施方式的圖3(A)、圖3(B)、圖3(C))。另外，當前銷售的照相機，能進行光學(xué)變焦的機種很多，但這樣的可變焦的光學(xué)系統(tǒng)在從廣角端到望遠端的變焦范圍內(nèi)變更焦點距離時，很多情況下失真像差的狀態(tài)發(fā)生變化。
對于這種現(xiàn)象，以往以來已經(jīng)開發(fā)了作為圖像處理的一部分而進行失真校正的技術(shù)，作為其一例，例如可列舉出在特開平6-181530號公報中公開的技術(shù)。在該公報所記載的一般圖像處理中，從幀存儲器例如以行單位讀出數(shù)據(jù)。
另外，作為圖像處理的一部分而進行失真校正的其它的技術(shù)，例如在特開平10-224695號公報中公開了各圖像處理部對幀存儲器進行隨機存取的技術(shù)。根據(jù)該技術(shù)，因為不需要在圖像處理部內(nèi)設(shè)置緩沖器，所以具有可使該圖像處理部的電路規(guī)模變小的優(yōu)點。
而且，在上述照相機的光學(xué)系統(tǒng)中會產(chǎn)生色像差是已公知的。該色像差是因為當光入射到光學(xué)系統(tǒng)時，由于光的波長不同使得折射率不同而產(chǎn)生的，在通過光學(xué)系統(tǒng)成像為光學(xué)像時，出現(xiàn)由每個波長所成像的光學(xué)像產(chǎn)生微小偏差的現(xiàn)象。雖然將光學(xué)系統(tǒng)設(shè)計成使得該色像差盡可能變小，但是從配置空間以及重量、成本等角度看，很難完全消滅色像差。
在上述特開平6-181530號公報中公開的技術(shù)中，為了對校正后的圖像的1行進行作為圖像處理的失真校正，如圖34所示，必須橫跨圖像整體的橫向方向的寬度，讀出失真校正所需要的多行校正前的圖像數(shù)據(jù)。該圖34是用于說明以往為了進行失真校正處理所必需的存儲器容量的圖。因為這些多行的圖像數(shù)據(jù)被暫時存儲于設(shè)置在圖像處理部的內(nèi)部的緩沖器中后被進行處理，所以為了得到1行的校正圖像，作為緩沖器需要比較大的容量，使得電路規(guī)模變大，制造成本增加，并且耗電也增加。而且，由于圖像處理部內(nèi)的緩沖存儲器容量的原因，可處理的圖像大小受到限制。
另外，在公開于上述特開平10-224695號公報的技術(shù)中，如果要隨機存取由SDRAM等構(gòu)成的幀存儲器，則與從SDRAM高速讀出的突發(fā)(burst)傳送相比，數(shù)據(jù)的傳送時間成為使整體的處理時間增大的主要因素。
但是，在圖像處理裝置中，通過設(shè)置用于進行上述失真校正處理的處理塊和用于進行放大縮小處理的處理塊兩方，可進行放大縮小處理和失真校正處理兩方。但是，這些處理伴隨著每個像素的插值運算，處理電路也變成大規(guī)模，因此在單純設(shè)置兩個處理電路的結(jié)構(gòu)中，電路結(jié)構(gòu)變大，耗電上升，并且制造成本也增加。
而且，優(yōu)選不用怎么增加成本等，也能良好地校正上述的色像差。
本發(fā)明是鑒于上述情況而提出的，其目的在于提供一種圖像處理裝置，其能夠不增大總線的數(shù)據(jù)傳送量和存儲器容量而進行圖像處理。
另外，本發(fā)明的目的在于提供一種圖像處理裝置，其能夠進行放大縮小處理和失真校正處理，電路規(guī)模小且耗電低。
而且，本發(fā)明的目的在于提供一種圖像處理裝置，其能夠進行失真校正處理和色像差校正處理，電路規(guī)模小且耗電低。

發(fā)明內(nèi)容
本發(fā)明是一種圖像處理裝置，對經(jīng)過光學(xué)系統(tǒng)進行攝像而獲得的電子圖像數(shù)據(jù)進行處理，所述圖像數(shù)據(jù)的像素數(shù)據(jù)被二維地排列在行方向和列方向上，該圖像處理裝置包括存儲器，其至少在進行圖像處理前存儲所述圖像數(shù)據(jù)，并且也能在進行了圖像處理后存儲所述圖像數(shù)據(jù)；第1數(shù)據(jù)順序轉(zhuǎn)換部，其以所述圖像數(shù)據(jù)的所述二維排列的塊為單位，從所述存儲器通過總線按行方向讀出該塊內(nèi)的像素數(shù)據(jù)，然后，按列方向輸出該塊內(nèi)的像素數(shù)據(jù)；圖像處理部，其通過與所述總線不同的信息傳達路徑被與所述第1數(shù)據(jù)順序轉(zhuǎn)換部連接成能夠進行流水線處理，輸入從該第1數(shù)據(jù)順序轉(zhuǎn)換部按列方向輸出的圖像數(shù)據(jù)，進行了圖像處理后，按該列方向輸出；以及第2數(shù)據(jù)順序轉(zhuǎn)換部，其被與所述圖像處理部連接成能夠進行流水線處理，將從該圖像處理部按列方向輸出的圖像數(shù)據(jù)轉(zhuǎn)換為行方向的圖像數(shù)據(jù)而輸出。
另外，本發(fā)明是一種圖像處理裝置，能夠?qū)?jīng)過光學(xué)系統(tǒng)進行攝像而獲得的電子圖像數(shù)據(jù)，進行包括失真校正處理和放大縮小處理的圖像處理，該圖像處理裝置具有失真校正處理部，該失真校正處理部包括插值坐標生成部，其用于生成與進行了可包含失真校正處理和放大縮小處理在內(nèi)的圖像處理的插值處理后的像素位置對應(yīng)的插值處理前的坐標數(shù)據(jù)，即插值坐標數(shù)據(jù)；存儲部，其用于存儲所述圖像數(shù)據(jù)的至少一部分；存儲器控制部，其基于所述插值坐標數(shù)據(jù)，進行將所述圖像數(shù)據(jù)的一部分寫入到所述存儲部的控制，和從該存儲部讀出的控制；以及插值運算部，其通過對根據(jù)所述存儲器控制部的控制從所述存儲部讀出的圖像數(shù)據(jù)進行插值運算，生成進行了插值處理后的像素位置的圖像數(shù)據(jù)。
而且，本發(fā)明是一種圖像處理裝置，對經(jīng)過光學(xué)系統(tǒng)進行攝像而獲得的電子圖像數(shù)據(jù)進行處理，所述圖像數(shù)據(jù)由多個成分構(gòu)成，該圖像處理裝置具有失真校正處理單元，該失真校正處理單元包括失真校正系數(shù)計算單元，其根據(jù)離失真中心位置的距離，針對所述每個成分算出用于校正由所述光學(xué)系統(tǒng)引起的失真像差的失真校正系數(shù)；以及失真校正運算單元，其使用通過所述失真校正系數(shù)計算單元算出的每個成分的失真校正系數(shù)，按照每個成分對所述圖像數(shù)據(jù)進行失真校正。


圖1是表示本發(fā)明的第1實施方式的圖像處理裝置的結(jié)構(gòu)的方框圖。
圖2是表示上述第1實施方式的失真校正處理部的結(jié)構(gòu)的方框圖。
圖3是表示在上述第1實施方式中，通過光學(xué)系統(tǒng)拍攝了格子狀的被攝體時的失真像差的示例的圖。
圖4是用于說明在上述第1實施方式中包含失真校正的插值處理的概要的圖。
圖5是用于說明在上述第1實施方式中的16點插值的處理的圖。
圖6是表示上述第1實施方式的圖像數(shù)據(jù)的讀出順序的圖。
圖7是表示上述第1實施方式的數(shù)據(jù)順序轉(zhuǎn)換部的結(jié)構(gòu)的方框圖。
圖8是表示在上述第1實施方式中校正圖像和攝像圖像的對應(yīng)關(guān)系，以及處理所需要的緩存量的圖。
圖9是表示在所述第1實施方式中按照離失真中心的距離，使讀出的圖像數(shù)據(jù)的寬度在縱向方向上不同的示例的圖。
圖10是表示在上述第1實施方式中按照離失真中心的距離，使讀出的圖像數(shù)據(jù)的大小以及讀出開始位置不同的示例的圖。
圖11是表示上述第1實施方式的圖像處理裝置的結(jié)構(gòu)的第1變形例的方框圖。
圖12是表示上述第1實施方式的圖像處理裝置的結(jié)構(gòu)的第2變形例的方框圖。
圖13是表示上述第1實施方式的圖像處理裝置的結(jié)構(gòu)的第3變形例的方框圖。
圖14是表示上述第1實施方式的圖像處理裝置的結(jié)構(gòu)的第4變形例的方框圖。
圖15是表示本發(fā)明的第2實施方式的圖像處理裝置的結(jié)構(gòu)的方框圖。
圖16是表示上述第2實施方式的失真校正處理部的更詳細的結(jié)構(gòu)的方框圖。
圖17是表示上述第2實施方式的失真校正系數(shù)計算電路的結(jié)構(gòu)的一例的方框圖。
圖18是表示上述第2實施方式的失真校正系數(shù)計算電路的結(jié)構(gòu)的其它例子的方框圖。
圖19是表示上述第2實施方式中針對每塊生成插值位置時的狀況的時序圖。
圖20是表示上述第2實施方式中按照每3塊1次的比例生成插值位置時的狀況的時序圖。
圖21是表示上述第3實施方式的失真校正處理部的結(jié)構(gòu)的概要的方框圖。
圖22是表示在上述第3實施方式中通過光學(xué)系統(tǒng)拍攝圖像時產(chǎn)生的色像差的一例的圖。
圖23是表示在上述第3實施方式中，在能夠算出與B相關(guān)的插值數(shù)據(jù)的時刻被存儲在內(nèi)部存儲部中的圖像數(shù)據(jù)的狀況的圖。
圖24是表示在所述第3實施方式中，在能夠算出R、G、B的每一個的插值數(shù)據(jù)的時刻被存儲在內(nèi)部存儲部中的圖像數(shù)據(jù)的狀況的圖。
圖25是表示上述第3實施方式的失真校正處理部的更詳細的結(jié)構(gòu)的方框圖。
圖26是表示上述第3實施方式的失真校正系數(shù)計算電路的結(jié)構(gòu)的方框圖。
圖27是表示上述第3實施方式的距離依存系數(shù)計算電路的結(jié)構(gòu)的方框圖。
圖28是表示上述第3實施方式的失真校正系數(shù)計算電路的結(jié)構(gòu)的其它例的方框圖。
圖29是表示上述第3實施方式的Ch.0用失真校正電路的結(jié)構(gòu)的方框圖。
圖30是表示上述第3實施方式的準許同步電路的結(jié)構(gòu)的方框圖。
圖31是用于說明上述第3實施方式的準許同步電路的動作的時序圖。
圖32是表示圖像處理裝置的一般圖像處理的步驟的圖。
圖33是表示用于進行上述圖32所示的一般圖像處理的現(xiàn)有圖像處理裝置的結(jié)構(gòu)的方框圖。
圖34是用于說明以往為了進行失真校正處理而需要的存儲器容量的圖。
具體實施例方式
以下，參照

本發(fā)明的實施方式。
從圖1到圖14是表示本發(fā)明的第1實施方式的圖，圖1是表示圖像處理裝置的結(jié)構(gòu)的方框圖。
該圖像處理裝置包含以下部分而構(gòu)成對通過光學(xué)系統(tǒng)成像的光學(xué)被攝體像進行光電轉(zhuǎn)換，生成電攝像信號的攝像元件CCD 1；對從該CCD1輸出的攝像信號進行像素缺陷的校正以及A/D轉(zhuǎn)換等預(yù)處理的預(yù)處理部2；存儲通過該預(yù)處理部2處理后的幀圖像的幀存儲器4；通過后述的總線11按每個預(yù)定塊讀出被存儲在該幀存儲器4中的圖像數(shù)據(jù)，并暫時存儲，然后變更讀出順序并輸出的第1數(shù)據(jù)順序轉(zhuǎn)換部5；對從該第1數(shù)據(jù)順序轉(zhuǎn)換部5輸出的圖像數(shù)據(jù)實施預(yù)定的圖像處理的作為圖像處理部的圖像處理部6；對通過該圖像處理部6處理后的圖像數(shù)據(jù)進行失真校正處理的作為圖像處理部的失真校正處理部7；對從該失真校正處理部7輸出的每塊的圖像數(shù)據(jù)進行暫時存儲，按與由上述第1數(shù)據(jù)順序轉(zhuǎn)換部5從幀存儲器4中讀出時相同的方向讀出并輸出的第2數(shù)據(jù)順序轉(zhuǎn)換部8；對從該第2數(shù)據(jù)順序轉(zhuǎn)換部8輸出的圖像數(shù)據(jù)，通過JPEG等壓縮方式進行壓縮的JPEG處理部9；將通過該JPEG處理部9進行了壓縮的圖像數(shù)據(jù)通過后述的總線11暫時寫入幀存儲器4，將該寫入的圖像數(shù)據(jù)通過總線11讀出并輸入，作為圖像文件進行存儲的作為非易失性存儲單元的存儲卡等10；將除了上述CCD 1之外的上述各電路與后述的CPU 3進行連接的總線11；以及作為統(tǒng)一控制包含上述各電路的該圖像處理裝置的控制單元的CPU 3。
這里，從上述第1數(shù)據(jù)順序轉(zhuǎn)換部5到JPEG處理部9，不通過總線11，而通過與該總線11不同的信息傳達路徑連接成能夠進行流水線處理，以二維像素排列的預(yù)定的塊單位對圖像數(shù)據(jù)進行傳送并處理。從而數(shù)據(jù)量大的圖像數(shù)據(jù)不需要針對每個處理多次從總線11被傳送，所以可大幅減輕總線11的負荷，并且通過按塊單位來進行處理，可使圖像處理部的內(nèi)部緩沖器部的容量變小。
另外，在該圖1所示的示例中，僅設(shè)置了1個進行圖像處理的圖像處理部6，然而也可以在上述流水線處理的路徑上配置與多個圖像處理對應(yīng)的多個圖像處理部。這里，作為圖像處理的例子，與上述同樣，可列舉從單片信號向3片信號的轉(zhuǎn)換處理、低通濾波處理、邊緣強調(diào)處理、放大縮小處理等。這時的圖像處理部6的配置可以是在上述失真校正處理部7的前級側(cè)，也可以是后級側(cè)。
其次，圖2是表示上述失真校正處理部7的結(jié)構(gòu)的方框圖。
該失真校正處理部7按預(yù)定塊單位從前級的處理塊接收圖像數(shù)據(jù)，在進行了失真校正后，輸出到后級的處理塊，在上述圖1所示的結(jié)構(gòu)例中，前級的處理塊對應(yīng)于圖像處理部6，后級的處理塊對應(yīng)于第2數(shù)據(jù)順序轉(zhuǎn)換部8。
在該失真校正處理部7中，隨帶設(shè)置有控制寄存器7a，被設(shè)定有來自CPU 3的針對該失真校正處理部7的設(shè)定值和各種數(shù)據(jù)等，同時能從該CPU 3讀出處理結(jié)果的狀態(tài)等。
該失真校正處理部7的處理概要也如圖4和圖5所示，大體如下所述。圖4是用于說明包含失真校正的插值處理的概要的圖，圖5是用于說明16點插值的處理的圖。
首先，如圖4(B)所示，預(yù)先準備失真校正處理后的圖像的坐標系(X，Y)。該坐標系(X，Y)中的圖像數(shù)據(jù)，在開始失真校正處理前，什么也沒有求出。
設(shè)定該坐標系(X，Y)中的目標點(關(guān)注像素)(其對應(yīng)于失真校正處理后的圖像的各像素的坐標，同樣表示為(X，Y)。)，通過坐標變換求出對應(yīng)于該目標點(X，Y)的圖像數(shù)據(jù)的坐標(插值坐標數(shù)據(jù))(X’，Y’)(參照圖4(A))。該(X，Y)和(X’，Y’)的對應(yīng)關(guān)系由用于向上述CCD 1成像被攝體像的光學(xué)系統(tǒng)的光學(xué)性質(zhì)所決定，根據(jù)光學(xué)系統(tǒng)的設(shè)計值或制造后的光學(xué)系統(tǒng)的檢查來預(yù)先求出對該對應(yīng)關(guān)系進行了定義的參數(shù)等，存儲于未圖示的非易失性存儲器等中。而且，上述CPU 3從該非易失性存儲器等中讀出參數(shù)，設(shè)定到上述控制寄存器7a中。
這樣，當通過對應(yīng)關(guān)系求出坐標(X’，Y’)時，為了求出該坐標(X’，Y’)的圖像數(shù)據(jù)所需要的周圍的圖像數(shù)據(jù)的坐標被決定。例如，在進行Cubic插值處理的情況下，如圖5所示，對于該坐標(X’，Y’)(圖5的圖像數(shù)據(jù)成為Dout的點)，決定周圍的16點的坐標。
因此，根據(jù)這16點的坐標的圖像數(shù)據(jù)D0～D15，通過使用預(yù)定的插值公式求出用白圈表示的坐標(X’，Y’)點的圖像數(shù)據(jù)Dout，其成為失真校正處理后的圖像的目標點(X，Y)的圖像數(shù)據(jù)。
通過一邊使上述目標點(X，Y)移動，一邊算出必要范圍的全部圖像數(shù)據(jù)，生成失真校正后的圖像數(shù)據(jù)。
用于進行這種處理的失真校正處理部7如圖2所示，包含以下部分而構(gòu)成用于生成目標點的坐標(X，Y)的插值位置生成部21；用于根據(jù)由該插值位置生成部21生成的目標點的坐標(X，Y)，算出失真校正處理前的圖像數(shù)據(jù)的坐標(X’，Y’)的失真校正坐標變換部22；選擇器23，在不進行失真校正處理的情況下，其選擇從上述插值位置生成部21輸出的坐標(X，Y)，在進行失真校正處理的情況下，選擇從上述失真校正坐標變換部22輸出的坐標(X’，Y’)；存儲器控制部24，其控制來自前級的處理塊的圖像數(shù)據(jù)的讀出，并且控制后述的內(nèi)部存儲部25以便發(fā)送為了對應(yīng)從上述選擇器23輸出的坐標來進行插值處理所需要的周圍像素的圖像數(shù)據(jù)；內(nèi)部存儲部25，其存儲來自前級的處理塊的圖像數(shù)據(jù)，根據(jù)上述存儲器控制部24的控制向后述的插值運算部26輸出插值所需要的周圍像素的圖像數(shù)據(jù)；插值運算部26，其根據(jù)從該內(nèi)部存儲部25輸出的目標點附近的圖像數(shù)據(jù)和從上述選擇器23輸出的目標點的坐標，如上述那樣例如通過Cubic插值，求出該目標點的圖像數(shù)據(jù)，向后級的處理塊輸出。
這些結(jié)構(gòu)塊內(nèi)的上述插值位置生成部21、失真校正坐標變換部22以及選擇器23成為構(gòu)成插值坐標生成部20的要素。
上述插值位置生成部21使用由上述CPU 3在上述控制寄存器7a中設(shè)定的插值開始位置(XST，YST)以及插值步長(ΔX，ΔY)，如下面的公式1所示，算出進行插值的目標點(X，Y)的坐標。
公式1X=XST+k×ΔXY=YST+l×ΔY]]>這里，k是在使目標點在X方向僅移動ΔX時所增加的變量，1是使目標點在Y方向僅移動ΔY時所增加的變量。
并且，上述插值開始位置(XST，YST)可以設(shè)定為圖像內(nèi)的任意位置。另外，通過由上述CPU 3適當設(shè)定上述插值步長(ΔX，ΔY)，可進行圖像的放大或縮小。
上述失真校正坐標變換部22根據(jù)從上述插值位置生成部21輸出的失真校正處理后的目標點的坐標(X，Y)，如下所示算出失真校正處理前的目標點的坐標(X’，Y’)。
即，首先使用處理對象的圖像的失真中心位置的坐標(Xd，Yd)、用于對失真校正處理后由該失真校正引起的被攝體位置偏移攝像時的位置進行校正的中心偏移校正量(Xoff，Yoff)、以及在使用表示光學(xué)系統(tǒng)的光學(xué)性質(zhì)的參數(shù)來進行失真校正處理的情況下用于對校正后的圖像超出作為圖像數(shù)據(jù)所必需的范圍或不足進行校正的范圍校正倍率M，求出下面的公式2所示的中間計算值(X(點)，Y(點))(這里，在文章中將在字符上面所標的點表示為(點)。)。
公式2X·=M·(X-Xd)+(Xd+Xoff)Y·=M·(Y-Yd)+(Yd+Yoff)]]>并且，上述失真中心位置的坐標(Xd，Yd)是相當于在上述CCD 1上成像被攝體光學(xué)像的光學(xué)系統(tǒng)的光軸所相交的圖像上的位置的坐標。
另外，上述失真中心位置的坐標(Xd，Yd)、中心偏移校正量(Xoff，Yoff)、范圍校正倍率M通過上述CPU 3被設(shè)定于上述控制寄存器7a中。
下面，使用求出的計算值(X(點)，Y(點))、上述失真中心位置的坐標(Xd，Yd)、以及用于在間隔取入圖像數(shù)據(jù)的情況下對在圖像的縱向方向和橫向方向上空間取樣不同進行校正的系數(shù)(SX，SY)，按下面的公式3所示來計算表示離失真中心的距離的Z(更準確地說是Z的平方)。
公式3Z2={SX·(X·-Xd)}2+{SY·(Y·-Yd)}2]]>使用這樣算出的Z、由上述CPU 3設(shè)定到上述控制寄存器7a中的表示光學(xué)系統(tǒng)的失真像差相關(guān)的光學(xué)性質(zhì)的參數(shù)即失真校正系數(shù)A、B、C、D、E、和上述計算值(X(點)，(Y(點))、以及上述失真中心位置的坐標(Xd，Yd)，按下面的公式4所示，算出與失真校正處理后的目標點的坐標(X，Y)對應(yīng)的失真校正處理前的目標點的坐標(X’，Y’)。
公式4X′=(X·-Xd)·[1+A·Z2+B·Z4+C·Z6+D·Z8+E·Z10+···]+XdY′=(Y·-Yd)·[1+A·Z2+B·Z4+C·Z6+D·Z8+E·Z10+···]+Yd]]>這里，圖3是表示通過光學(xué)系統(tǒng)拍攝格子狀的被攝體時的失真像差的示例的圖。首先，圖3(A)是表示格子狀的被攝體的示例。以往，因為僅考慮到Z的2次項，所以雖然能夠?qū)νㄟ^光學(xué)系統(tǒng)拍攝如圖3(A)所示的被攝體時可產(chǎn)生的如圖3(B)所示的圓桶型的失真像差或如圖3(C)所示的枕型的失真像差進行某種程度的校正，但不能對如圖3(D)所示的草笠型失真像差進行校正。但是，在本第1實施方式中，如該公式4所示，因為考慮至超過Z的2次項的次數(shù)，即例如4次項或6次項，所以也能夠高精度地校正這種更高次的像差。而且，也可以考慮至更高次的項。
通過上述插值位置生成部21算出的坐標(X，Y)，或通過失真校正坐標變換部22算出的坐標(X’，Y’)被輸入到選擇器23，根據(jù)是否進行失真校正來選擇所需要的坐標。
另外，上述插值運算部26根據(jù)從上述選擇器23輸出的坐標，從上述內(nèi)部存儲部25讀出該坐標附近的像素的圖像數(shù)據(jù)D0～D15，通過使用下面的公式5，算出該目標點相關(guān)的失真校正處理后的圖像數(shù)據(jù)Dout，并輸出到后級塊。
公式5Dout＝kx0(ky0D0+ky1D4+ky2D8+ky3D12)+kx1(ky0D1+ky1Ds+ky2D9+ky3D13)+kx2(ky0D2+ky1D6+ky2D10+ky3D14)+kx3(ky0D3+Ky1D7+ky2D11+ky3D15)這里，kx0～kx3、ky0～ky3是例如進行Cubic插值時被規(guī)定的預(yù)定插值系數(shù)。
接著，圖6是表示本第1實施方式的圖像數(shù)據(jù)的讀出順序的圖。
圖像數(shù)據(jù)通常被按沿行方向讀出，一般都是反復(fù)進行先全部讀出1行的圖像數(shù)據(jù)，接著全部讀出下一相鄰行的圖像數(shù)據(jù)這樣的動作。
與此相對，本第1實施方式的圖像處理裝置在行方向僅讀出預(yù)定長度，移動到下一行同樣僅讀出預(yù)定長度，湊齊了預(yù)定的行數(shù)后，按列方向順序輸出，從而將數(shù)據(jù)順序進行了轉(zhuǎn)換，以便按預(yù)定塊單位在縱向方向讀出圖像數(shù)據(jù)。將可從幀存儲器4高速讀出的寬度作為單位來決定在該行方向的預(yù)定長度。
其后繼續(xù)讀出的塊是在行方向相鄰(在圖6中，成為右相鄰)的塊，在到達了圖像數(shù)據(jù)的右端時，稍微向下偏移讀出下一塊組，使得與至今為止讀出的一連串的塊組在縱向方向重復(fù)。為了分別生成由第2數(shù)據(jù)順序轉(zhuǎn)換部8輸出的相鄰行(橫向方向)的數(shù)據(jù)而需要的圖像數(shù)據(jù)有部分重復(fù)。因此，在第1數(shù)據(jù)順序轉(zhuǎn)換部5，需要考慮這部分來讀出。
因為圖像數(shù)據(jù)的讀出命令被連續(xù)發(fā)出，所以實際上這種塊單位的讀出被連續(xù)地進行，在圖6中的行方向上細長矩形內(nèi)的數(shù)據(jù)如實線箭頭所示，在縱向方向連續(xù)流過。
參照圖7說明用于使這樣的圖像數(shù)據(jù)的讀出成為可能的第1數(shù)據(jù)順序轉(zhuǎn)換部5和第2數(shù)據(jù)順序轉(zhuǎn)換部8的結(jié)構(gòu)。圖7是表示數(shù)據(jù)順序轉(zhuǎn)換部的結(jié)構(gòu)的方框圖。
第1數(shù)據(jù)順序轉(zhuǎn)換部5如圖7(A)所示，具有多個可存儲塊單位的圖像數(shù)據(jù)的存儲器，此處有2個，為存儲器5a和存儲器5b。幀存儲器4被可切換地連接于這些存儲器5a和存儲器5b，并且圖像處理部6也被可切換地連接于這些存儲器5a和存儲器5b，當幀存儲器4與存儲器5a和存儲器5b中的一方連接時，該存儲器5a和存儲器5b中的另一方被切換成與圖像處理部6連接。即，對存儲器5a、5b進行切換使得它們不同時與幀存儲器4和圖像處理部6雙方連接。
存儲于幀存儲器4中的幀圖像的一部分被按塊單位在行方向讀出，并被存儲到其中一個存儲器中，這里例如是存儲器5a。
與此并行，已經(jīng)從幀存儲器4被讀出并存儲的塊單位的圖像數(shù)據(jù)從存儲器5b按列方向(縱向方向)被順序讀出，輸出到圖像處理部6。
當從幀存儲器4向存儲器5a的寫入和從存儲器5b向圖像處理部6的讀出結(jié)束時，切換寫入側(cè)的開關(guān)以及讀出側(cè)的開關(guān)，接著開始從幀存儲器4向存儲器5b進行下一個塊單位的圖像數(shù)據(jù)的寫入，并且開始從存儲器5a向圖像處理部6的塊單位的圖像數(shù)據(jù)的讀出。
第2數(shù)據(jù)順序轉(zhuǎn)換部8如圖7(B)所示，幾乎與上述第1數(shù)據(jù)順序轉(zhuǎn)換部5同樣地構(gòu)成，也幾乎同樣地進行動作。
即，第2數(shù)據(jù)順序轉(zhuǎn)換部8具有存儲器8a和存儲器8b而構(gòu)成。
而且，在該第2數(shù)據(jù)順序轉(zhuǎn)換部8進行動作時，從失真校正處理部7在列方向(縱向方向)對存儲器8a和存儲器8b中的一方進行寫入，從存儲器8a和存儲器8b中的另一方在行方向(橫向方向)進行讀出，輸出到JPEG處理部9。
另外，作為圖2的內(nèi)部存儲部25所需要的緩存量如圖8所示。圖8是表示校正圖像和攝像圖像的對應(yīng)關(guān)系以及處理所需要的緩存量的圖。
圖8的虛線彼此交叉的點表示從圖像處理部6向失真校正處理部7輸入的圖像數(shù)據(jù)(即進行失真校正處理前的圖像數(shù)據(jù)，并且是從幀存儲器4讀出的圖像數(shù)據(jù))。另外，黑點表示根據(jù)失真校正處理后的目標點的坐標(X，Y)算出的失真校正處理前的目標點的坐標(X’，Y’)，表示成為處理對象的多個點(在圖8所示的例中，由橫4×縱5點構(gòu)成的點)。這些點被用于例如以在縱向方向排列的5個點單位來進行失真校正處理，為了處理例如橫4×縱5點的塊內(nèi)的最右側(cè)的縱5點(圖8中在粗實線上配置的5點)所需要的緩存量為圖8中的箭頭所示的范圍，即由縱9×橫7點構(gòu)成的輸入圖像數(shù)據(jù)塊(其中，這是進行Cubic插值時需要目標點的周圍16點的圖像數(shù)據(jù)的情況，如果變更插值方法，則所需要的緩存量會改變)。
并且，關(guān)于緩沖器(內(nèi)部存儲部25)的大小(存儲容量)，必須確保能對失真像差最大的圖像的4角部分進行插值處理的大小。
另外，在圖6所示的例中，在幀畫面內(nèi)的任何位置均相等地獲取在縱向方向讀出的像素數(shù)，但不限于此，也可以如圖9所示，根據(jù)位置使得在縱向方向讀出的像素數(shù)不同。圖9是表示根據(jù)離失真中心的距離使得讀出的圖像數(shù)據(jù)的寬度在縱向方向不同的示例的圖。即，由失真像差引起的失真是越遠離失真中心則越大，相反越靠近失真中心則越小。因此，如果在遠離失真中心的位置，則在縱向方向讀出的像素數(shù)較多，在靠近失真中心的位置則在縱向方向讀出的像素數(shù)較少，這樣能夠使處理更高速化。
而且，圖10是表示根據(jù)距失真中心的距離使讀出的圖像數(shù)據(jù)的大小以及讀出開始位置不同的示例的圖。該圖10所示的例中，根據(jù)橫向方向的位置而變更在縱向方向讀出的像素數(shù)，并且也以塊單位變更讀出圖像數(shù)據(jù)的開始位置。
即，如果將失真中心位于畫面的大致中央部的情況作為例子，則即使在同一行上，越是中央部則越靠近失真中心，越是左右端則越遠離失真中心。因此，靠近失真中心的中央部在縱向方向讀出的像素數(shù)少，遠離失真中心的左右端部在縱向方向讀出的像素數(shù)多。而且，在發(fā)生圖示的圓桶型失真像差的情況下，對應(yīng)于基于該像差的曲線形狀，在左右端將縱向方向的稍下側(cè)作為讀出塊單位的圖像數(shù)據(jù)的開始位置，在中央部將縱向方向的稍上側(cè)作為讀出塊單位的圖像數(shù)據(jù)的開始位置。這里，示出了發(fā)生圓桶型的失真像差的情況，但在發(fā)生枕型或草笠型的失真像差的情況下，也可以對應(yīng)于已經(jīng)發(fā)生的失真形狀，變更讀出的像素數(shù)。
并且，在讀出的塊中，不僅可以使讀出的像素數(shù)在縱向方向不同，也可以使其在橫向方向不同。
另外，上述中，對通過圖像處理部6處理后的圖像數(shù)據(jù)進行失真校正，但不限于此。
圖11是表示圖像處理裝置的結(jié)構(gòu)的第1變形例的方框圖。圖11示出了將從CCD 1輸出的攝像數(shù)據(jù)(例如，Bayer數(shù)據(jù))暫時存儲在幀存儲器4中后，在3片化之前進行失真校正的結(jié)構(gòu)例，與上述圖1所示的結(jié)構(gòu)相比，圖像處理部6和失真校正處理部7的位置被交換。在上述圖1中，例如按照每種顏色對通過圖像處理部6進行了3片化后的圖像數(shù)據(jù)進行處理，但不限于此，如該圖11所示，也可以對從具有Bayer排列的濾色器的CCD 1輸出的Bayer數(shù)據(jù)進行失真校正處理。該情況下，不是使用相鄰的多個像素(例如16像素)進行插值處理，而使用Bayer排列的同色的相鄰像素進行插值處理。根據(jù)該結(jié)構(gòu)，與3片化后的圖像數(shù)據(jù)相比，能減少進行失真校正的數(shù)據(jù)量。
下面，圖12是表示圖像處理裝置的結(jié)構(gòu)的第2變形例的方框圖。該圖12表示了對記錄在存儲卡等10中的圖像數(shù)據(jù)進行失真校正處理的結(jié)構(gòu)例。在該結(jié)構(gòu)例中，在第1數(shù)據(jù)順序轉(zhuǎn)換部5的前級配置有JPEG處理部9，對從存儲卡等10讀出的通過JPEG等壓縮方式進行了壓縮的圖像數(shù)據(jù)進行解壓縮。解壓縮后的圖像數(shù)據(jù)經(jīng)由該第1數(shù)據(jù)順序轉(zhuǎn)換部5和圖像處理部6，由失真校正處理部7按上述方式進行處理，在第2數(shù)據(jù)順序轉(zhuǎn)換部8中被轉(zhuǎn)換為原來的數(shù)據(jù)順序。并且，在作為TIFF(Tag image fileformat)等非壓縮數(shù)據(jù)記錄在存儲卡等10中的情況下，也可以不特別進行解壓縮處理，而執(zhí)行包含失真校正在內(nèi)的圖像處理。
接著，圖13是表示圖像處理裝置的結(jié)構(gòu)的第3變形例的方框圖。該圖13表示了不將失真校正處理后的圖像數(shù)據(jù)進行壓縮，而是為了圖像顯示等而輸出的結(jié)構(gòu)例。通過第2數(shù)據(jù)順序轉(zhuǎn)換部8被轉(zhuǎn)換為原來的數(shù)據(jù)順序的圖像數(shù)據(jù)不被利用JPEG等壓縮方式進行壓縮，而是通過總線11被寫入視頻存儲器12，作為圖像被顯示。
進一步，圖14是表示圖像處理裝置的結(jié)構(gòu)的第4變形例的方框圖。該圖14表示了將在失真校正處理中使用的距離信息(上述的從失真中心到插值位置的距離Z)也用于其它圖像處理的結(jié)構(gòu)例。在該結(jié)構(gòu)例中，在圖像處理部6的后級，按如下順序在流水線處理路徑上配置了用于校正由上述光學(xué)系統(tǒng)引起的周圍光量不足的作為圖像處理部的陰影校正部14；用于切去不要的高頻成分的作為圖像處理部的低通濾波(LPF)處理部15；上述失真校正處理部7；以及用于強調(diào)圖像中的邊緣部分的作為圖像處理部的邊緣強調(diào)處理部16。而且將距離信息從失真校正處理部7向陰影校正部14、低通濾波(LPF)處理部15、邊緣強調(diào)處理部16輸出，根據(jù)需要在這些處理中使用該距離信息。
從而陰影校正部14能夠適當?shù)貙Ω鶕?jù)離失真中心的距離而產(chǎn)生的周圍光量不足進行校正。另外，在根據(jù)離失真中心的距離而產(chǎn)生的失真像差例如是圓桶型的情況下，在校正了失真像差時，圖像的周圍部被拉長，圖像的清晰度有可能下降，而通過低通濾波處理部15和邊緣強調(diào)處理部16可對此進行適當?shù)男Ｕ?。而且，因為這些陰影校正部14、低通濾波處理部15、邊緣強調(diào)處理部16不需要分別個別地算出距離信息，所以可縮小電路規(guī)模。
并且，圖示中從失真校正處理部7向位于流水線處理路徑上的在該失真校正處理部7的前級的陰影校正部14和低通濾波處理部15輸出距離信息，但考慮到處理順序，也可以另外構(gòu)成用于算出距離Z的處理塊，并將其配置在使用距離信息的各塊的前級側(cè)。
并且，在上述中，對在數(shù)字照相機中使用圖像處理裝置的例子進行了說明，但不限于此，可以是專用的圖像處理裝置，也可以是作為計算機等的擴展電路板而提供的類型的圖像處理裝置。
另外，作為圖像處理的對象，不限于在數(shù)字照相機或攝影機中，通過作為攝像元件的CCD等攝像單元對通過光學(xué)系統(tǒng)成像的被攝體進行光電轉(zhuǎn)換而得到的圖像數(shù)據(jù)，或者對該圖像數(shù)據(jù)進行處理得到的非壓縮圖像數(shù)據(jù)，或者對該圖像數(shù)據(jù)進行處理后壓縮而得到的壓縮圖像數(shù)據(jù)，也可以將例如通過用掃描儀等攝像單元取入用銀鹽照相機拍攝的膠片、或印刷物而獲得的圖像數(shù)據(jù)等作為上述的失真校正處理的對象。
而且，作為圖像處理的對象不限于像素數(shù)據(jù)完全排列在行方向以及列方向上的圖像數(shù)據(jù)。例如，即使是用具有蜂窩型的像素排列的攝像元件所拍攝的圖像數(shù)據(jù)，只要成為能夠在行方向以及列方向進行實質(zhì)性處理的圖像數(shù)據(jù)，則也能進行上述的失真校正處理。
根據(jù)這種第1實施方式，向圖像處理部和失真校正處理部的圖像數(shù)據(jù)的傳送通過不同于總線的信息傳達路徑來進行，以便能夠進行流水線處理，而且因為按塊單位來進行數(shù)據(jù)傳送，并且籌劃其讀出方向，所以不用增大總線的數(shù)據(jù)傳送量和存儲器容量，即可進行包含失真校正在內(nèi)的圖像處理。
而且，因為考慮到了從失真中心到插值位置的距離的4次項、6次項或比其更高的高次項來計算與失真校正處理后的目標點的坐標對應(yīng)的失真校正處理前的目標點的坐標，所以也能高精度地校正草笠型的失真像差等更高次的像差。
另外，因為能夠通過選擇器來選擇由插值位置生成部所生成的坐標和由失真校正坐標變換部所變換的坐標，所以可根據(jù)需要按照所希望的來選擇是否進行失真校正。這樣，可以在攝像時不進行失真校正處理，而將圖像數(shù)據(jù)等暫時存儲在存儲卡等中，在后面的時刻再從該存儲卡讀出圖像數(shù)據(jù)進行失真校正處理。如果進行這種選擇，則因為在攝像時能省略失真校正處理，所以可進行更高速的處理。
而且，將通過失真校正處理部算出的距離信息輸出到陰影校正部和低通濾波器、邊緣強調(diào)處理部，從而可適當?shù)匦Ｕ車饬坎蛔慊蜻m當?shù)匦Ｕ龍D像的不清晰，而不會增大電路規(guī)模。
另外，根據(jù)因離失真中心的距離而不同的失真像差的大小，適當變更從存儲器讀出的塊單位的圖像數(shù)據(jù)的行方向的尺寸和列方向的尺寸中的至少一方，從而能夠讀出處理所需要的最小限度的數(shù)據(jù)，因此可使處理高速化。
圖15～圖20是表示本發(fā)明的第2實施方式的圖，圖15是表示圖像處理裝置的結(jié)構(gòu)的方框圖。
該第2實施方式中，省略與上述第1實施方式相同的部分的說明，主要就不同點進行說明。
該第2實施方式的圖像處理裝置從上述圖1所示的第1實施方式的圖像處理裝置中除去了第1數(shù)據(jù)順序轉(zhuǎn)換部5和第2數(shù)據(jù)順序轉(zhuǎn)換部8。
另外，該第2實施方式的圖像處理部、作為失真校正處理單元的失真校正處理部7不僅對由上述圖像處理部6處理后的圖像數(shù)據(jù)進行失真校正處理，而且還進行放大縮小處理。
而且，與上述相同的是，上述圖像處理部6、失真校正處理部7、JPEG處理部9通過不同于總線11的信息傳達路徑被連接成可進行流水線處理。這時，可通過按塊單位來進行處理使得容量減小的圖像處理部的內(nèi)部緩沖器是上述圖2所示的內(nèi)部存儲部25或圖16所示的2端口SRAM(靜態(tài)存儲器)25a。
另外，失真校正處理部7的結(jié)構(gòu)與參照上述圖2說明過的相同。
并且，在上述圖15所示的結(jié)構(gòu)例中，失真校正處理部7的前級的處理塊對應(yīng)于圖像處理部6，后級的處理塊對應(yīng)于JPEG處理部9。
這里，對在上述插值位置生成部21和失真校正坐標變換部22中算出坐標時的基本公式以及通過對其變形能夠縮小電路規(guī)模的實用公式進行說明。
首先，對基本公式進行說明。
上述插值位置生成部21基本是使用由上述CPU 3設(shè)定到上述控制寄存器7a中的插值開始位置(XST，YST)以及插值步長(ΔX，ΔY)，如上述公式1所示那樣，算出進行插值的目標點的坐標(X，Y)。
上述失真校正坐標變換部22基本是根據(jù)從上述插值位置生成部21輸出的失真校正處理后的目標點的坐標(X，Y)，按如下所示算出失真校正處理前的目標點的坐標(X’，Y’)。
即，失真校正坐標變換部22首先求出上述公式2所示的中間計算值(X(點)，Y(點))(這里，在文章中將在字符上面所標的點表示為(點))。
接著，失真校正坐標變換部22按上述公式3所示來計算表示離失真中心的距離的Z(更準確地說是Z的平方)。
失真校正坐標變換部22使用這樣算出的Z，由上述CPU 3設(shè)定到上述控制寄存器7a中的表示光學(xué)系統(tǒng)的與失真像差相關(guān)的光學(xué)性質(zhì)的參數(shù)即失真校正系數(shù)A、B、C，上述計算值(X(點)，Y(點))，以及上述失真中心位置的坐標(Xd，Yd)，按下面的公式6所示，算出與失真校正處理后的目標點的坐標(X，Y)對應(yīng)的失真校正處理前的目標點的坐標(X’，Y’)。
公式6X′=(X·-Xd)·[1+A·Z2+B·Z4+C·Z6]+XdY′=(Y·-Yd)·[1+A·Z2+B·Z4+C·Z6]+Yd]]>在該第2實施方式中，如該公式6所示，因為考慮到了超過Z的2次項的次數(shù)，即例如4次項或6次項，所以也能高精度地校正上述圖3(D)所示的草笠型的失真像差等更高次的像差。并且，這里示出了考慮到6次項的例子，但也可以如上述公式4所示，對8次項、10次項等更高次的像差進行校正。
上述通過插值位置生成部21算出的坐標(X，Y)，或通過失真校正坐標變換部22算出的坐標(X’，Y’)被輸入到選擇器23，根據(jù)是否進行失真校正，選擇所需要的坐標。
下面，對能縮小電路規(guī)模的實用公式進行說明。
首先，將公式2以及公式1代入到上述公式3中，變形為下面的公式7所示。
公式7Z2=M2·([SX·{(X-Xd)+XoffM}]2+[SY·{(Y-Yd)+YoffM}]2)]]>=M2·([SX·{(XST+kΔX-Xd)+XoffM}]2+[SY·{(YST+lΔY-Yd)+YoffM}]2)]]>而且，引入公式8所示的新的常數(shù)表達式，將上述公式7變形為公式9所示。
公式8X··ST=SX·{(XST-Xd)+XoffM}Y··ST=SY·{(YST-Yd)+YoffM}ΔX··=SX×ΔXΔY··=SY×ΔY]]>
公式9Z2=M2Z··2=M2·{(X··ST+kΔX··)2+(Y··ST+lΔY··)2}]]>這里，公式9中的Z(2點)被定義為如下面的公式10所示，X2、Y2(插值坐標數(shù)據(jù))被定義為如下面的公式11所示。
公式10Z··=ZM]]>公式11X2=X··ST+kΔX··Y2=Y··ST+lΔY··]]>如果使用按該公式10以及公式11所示定義的Z(2點)，則上述的公式6被變形為如下面的公式12所示。
公式12X′=[1+(AM2)Z··2+(BM4)Z··4+(CM6)Z··6]·(X·-Xd)+Xd=[1+A·Z··2+B·Z··4+C·Z··6]·(X·-Xd)+Xd=[1+A·Z··2+B·Z··4+C·Z··6]·{M(XST-Xd)+Xoff+M·kΔX}+Xd=[1+A·Z··2+B·Z··4+C·Z··6]·(X···+kΔX···)+Xd=F·X1+XdY′=[1+(AM2)Z··2+(BM4)Z··4+(CM6)Z··6]·(Y·-Yd)+Yd=[1+A·Z··2+B·Z··4+C·Z··6]·(Y·-Yd)+Yd=[1+A·Z··2+B·Z··4+C·Z··6]·{M(YST-Yd)+Yoff+M·lΔY}+Yd=[1+A·Z··2+B·Z··4+C·Z··6]·(Y···+lΔY···)+Yd=F·Y1+Yd]]>這里，在該公式12中，使用了按下面的公式13～公式16所示來定義的常數(shù)表達式或變量表達式。
公式13A·=AM2B·=BM4C·=CM6]]>公式14X···=M(XST-Xd)+XoffΔX···=M·ΔXY···=M(YST-Yd)+YoffΔY···=M·ΔY]]>公式15X1=X···+kΔX···Y1=Y···+lΔY···]]>公式16F=[1+A·Z··2+B·Z··4+C·Z··6]]]>在按照上述公式1～公式3以及公式6所示的基本公式進行運算的情況下，系數(shù)為14個，乘法運算次數(shù)為13次。即，系數(shù)是失真中心位置(Xd，Yd)、中心偏移校正量(Xoff，Yoff)、范圍校正倍率M、系數(shù)(Sx，Sy)、失真校正系數(shù)A、B、C、插值開始位置(XST，YST)、插值步長(ΔX，ΔY)，合計14個。另外，乘法運算次數(shù)為與公式2中的M的乘法運算2次；分別與公式3中的Sx、Sy的乘法運算以及2個平方運算共4次；與公式6中的失真校正系數(shù)A、B、C的乘法運算3次；Z的4次方以及6次方計算中乘法運算2次；大括號與小括號的乘法運算2次，合計13次。
與此相對，在按照上述公式7～公式16所示的實用公式進行運算的情況下，系數(shù)為13個，乘法運算次數(shù)為9次。即，系數(shù)是X(2點)ST、Y(2點)ST、ΔX(2點)、ΔY(2點)、X(3點)、Y(3點)、ΔX(3點)、ΔY(3點)、A(點)、B(點)、C(點)、Xd、Yd，合計13個。另外，乘法運算次數(shù)為公式9中的括號內(nèi)的2個平方運算2次；與公式16中的A(點)、B(點)、C(點)的乘法運算3次；該公式16中的Z(點)的4次方以及6次方計算中乘法運算2次；與公式12中的F的乘法運算2次，合計為9次。
在這種運算中所處理的數(shù)，即使動態(tài)范圍大，計算次數(shù)僅稍微增加，電路規(guī)模也會變得很大，因此通過按上述所示的實用公式進行運算，可減少乘法器的個數(shù)，并且可削減用于設(shè)定系數(shù)的寄存器，可有效縮小電路規(guī)模。
基于進行了這樣變形的實用公式，對應(yīng)于上述插值位置生成部21的插值位置計算電路21a(參照后述的圖16)使用由上述CPU 3設(shè)定于上述控制寄存器7a中的插值開始位置(X(3點)，Y(3點))以及插值步長(ΔX(3點)，ΔY(3點))，如上述公式15所示，算出進行插值的目標點的坐標(插值位置)(X1，Y1)。
另外，上述失真校正坐標變換部22的作為失真校正系數(shù)計算單元的失真校正系數(shù)計算電路22a(參照后述的圖16以及圖17)，使用由上述CPU 3設(shè)定于上述控制寄存器7a中的A(點)、B(點)、C(點)，如上述公式16所示，算出失真校正系數(shù)F。并且，如后面所述，也可以通過圖18所示的結(jié)構(gòu)算出失真校正系數(shù)F，來代替該圖17所示的結(jié)構(gòu)。
而且，上述失真校正坐標變換部22的插值位置校正電路22b(參照后述的圖16)使用算出的失真校正系數(shù)F和由上述CPU 3設(shè)定于上述控制寄存器7a中的失真中心位置的坐標(Xd，Yd)，根據(jù)上述目標點的坐標(插值位置)(X1，Y1)，利用上述公式12算出失真校正處理前的目標點的坐標(插值坐標數(shù)據(jù))(X’，Y’)。
接著，上述插值運算部26根據(jù)從上述選擇器23輸出的坐標，從上述內(nèi)部存儲部25讀出該坐標附近的像素的圖像數(shù)據(jù)D0～D15，通過使用上述公式5，算出與該目標點相關(guān)的失真校正處理后的圖像數(shù)據(jù)Dout，輸出到后級的處理塊。
圖16是表示失真校正處理部7的更詳細的結(jié)構(gòu)的方框圖。
上述插值位置生成部21具有用于按上面所述算出上述目標點的坐標(X1，Y1)的插值位置計算電路21a。
上述失真校正坐標變換部22具有用于按上述公式16所示算出上述失真校正系數(shù)F的失真校正系數(shù)計算電路22a，以及使用通過該失真校正系數(shù)計算電路22a算出的失真校正系數(shù)F按上述公式12所示算出失真校正處理前的目標點的坐標(X’，Y’)的插值位置校正電路22b。
上述選擇器23在不進行失真校正處理的情況下(與是否進行放大縮小處理無關(guān))，選擇來自上述插值位置計算電路21a的坐標(X1，Y1)，在進行失真校正處理的情況下(與是否伴隨著放大縮小處理無關(guān))，選擇來自上述插值位置校正電路22b的坐標(X’，Y’)。
通過加法器27a、27b分別將該選擇器23選擇的坐標(X1，Y1)或坐標(X’，Y’)與經(jīng)由控制寄存器7a由上述CPU 3設(shè)定的失真中心位置的坐標(Xd，Yd)進行相加。
這些加法器27a、27b的輸出被輸出到讀出地址生成電路24a和緩存釋放量計算電路24c。
進一步，通過上述插值位置計算電路21a算出的坐標(X1，Y1)，也通過與經(jīng)由上述選擇器23的路徑不同的另外路徑被輸入到該讀出地址生成電路24a。而且，該讀出地址生成電路24a將存儲著與該坐標(X1，Y1)關(guān)聯(lián)的像素數(shù)據(jù)(在進行16點插值的情況下，以該坐標(X1，Y1)為中心的16個像素數(shù)據(jù))的地址ADR輸出給2端口SRAM 25a，并且將插值系數(shù)(例如，如上述公式5所示的插值系數(shù)kx0～kx3，ky0～ky3)以及表示輸出的像素數(shù)據(jù)是D0～D15的哪個位置的像素數(shù)據(jù)的數(shù)據(jù)串控制信號輸出到插值電路26a。而且，該讀出地址生成電路24a將寫入許可信號WE_N輸出給后級的處理塊。
上述2端口SRAM 25a是對應(yīng)于上述圖2所示的內(nèi)部存儲部25的電路部分。
插值電路26a對應(yīng)于上述圖2所示的插值運算部26，該插值電路26a使用從上述2端口SRAM 25a讀出的圖像數(shù)據(jù)進行如上述公式5所示的插值處理，將處理后的圖像數(shù)據(jù)輸出到后級的處理塊。
上述緩存釋放量計算電路24c根據(jù)來自上述插值位置計算電路21a的輸出以及來自上述選擇器23的輸出，算出在上述2端口SRAM 25a中可釋放的存儲容量(緩存釋放量)。
緩沖器空余容量監(jiān)視電路24d參照該緩存釋放量計算電路24c的輸出，掌握上述2端口SRAM 25a的空余容量的狀況。
寫入地址生成電路24b接收來自前級的處理塊的圖像數(shù)據(jù)，記錄在上述2端口SRAM 25a中。
GRANT_N發(fā)送判定電路24e接收來自后級的處理塊的請求圖像數(shù)據(jù)的請求信號REQ_N，根據(jù)上述寫入地址生成電路24b和緩存釋放量計算電路24c的輸出，判斷能否發(fā)送圖像數(shù)據(jù)，在能發(fā)送的情況下，向后級的處理塊輸出許可信號GRANT_N，并且也向上述插值位置計算電路21a輸出。該GRANT_N發(fā)送判定電路24e還向該失真校正系數(shù)計算電路22a輸出觸發(fā)trig，使得失真校正系數(shù)計算電路22a按照接收了該許可信號GRANT_N的插值位置計算電路21a算出坐標(X1，Y1)并輸出的定時來輸出失真校正系數(shù)F。
并且在上述圖16所示的失真校正處理部7的結(jié)構(gòu)內(nèi)，向除了上述失真校正坐標變換部22之外的各電路供給時鐘CLK2，而向該失真校正坐標變換部22供給不同于該時鐘CLK2的時鐘CLK1。
這樣，在不進行失真校正處理的情況下，即在例如僅進行放大縮小處理的情況下，或失真校正處理和放大縮小處理兩方都不進行的情況下，如果停止向失真校正坐標變換部22的供給時鐘CLK1，則可抑制沒必要的耗電。另外，通過降低或返回地控制所供給的時鐘CLK1的時鐘數(shù)，也能控制并調(diào)整每單位時間內(nèi)生成插值坐標數(shù)據(jù)的次數(shù)。
下面，對該圖16所示的失真校正處理部7的動作進行說明。
緩沖器空余容量監(jiān)視電路24d通過緩存釋放量計算電路24c來監(jiān)視2端口SRAM 25a的空余容量，如果有預(yù)定的空余容量，則向前級的處理塊發(fā)出請求信號REQ，以便發(fā)送預(yù)定的塊單位的圖像數(shù)據(jù)(以下，適當?shù)胤Q作單位行(UL)數(shù)據(jù))(步驟S1)。
前級的處理塊接收該請求信號REQ，在能夠發(fā)送圖像數(shù)據(jù)時發(fā)送許可信號GRANT，上述緩沖器空余容量監(jiān)視電路24d接收該許可信號GRANT(步驟S2)。
該緩沖器空余容量監(jiān)視電路24d通過在內(nèi)部所保持的計數(shù)器來把握2端口SRAM 25a的空余容量，在接收許可信號GRANT的同時，將該內(nèi)部計數(shù)器的值減去1。如果該內(nèi)部計數(shù)器變?yōu)?，則該緩沖器空余容量監(jiān)視電路24d進行動作以便撤消上述請求信號REQ(步驟S3)。
而且，從前級的處理塊向?qū)懭氲刂飞呻娐?4b輸入寫入許可信號WE，接著輸入圖像數(shù)據(jù)。與此相應(yīng)，寫入地址生成電路24b向2端口SRAM25a輸出控制信號，將圖像數(shù)據(jù)DATA寫入到該2端口SRAM 25a中的由地址ADDRESS所指定的區(qū)域。另外，每當1UL數(shù)據(jù)被輸入，寫入地址生成電路24b就增大BLC計數(shù)器(表示在作為內(nèi)部緩沖器的2端口SRAM 25a中儲存了多少數(shù)據(jù)的計數(shù)器)，輸出給GRANT_N發(fā)送判定電路24e(步驟S4)。
當GRANT_N發(fā)送判定電路24e從后級的處理塊接收到請求信號REQ_N時，判定在2端口SRAM 25a內(nèi)是否有下次可發(fā)送的UL數(shù)據(jù)，在判定為有的情況下，向后級的處理塊和上述插值位置計算電路21a發(fā)送許可信號GRANT_N(步驟S5)。
插值位置計算電路21a接收該許可信號GRANT_N以開始動作，當進行了1UL的量的插值位置即坐標(X1，Y1)的計算動作時，算出下一個UL的開頭坐標并結(jié)束(步驟S6)。
上述GRANT_N發(fā)送判定電路24e與插值位置計算電路21a開始動作并輸出坐標(X1，Y1)相同步，在失真校正系數(shù)計算電路22a能夠輸出失真校正系數(shù)F的定時，向該失真校正系數(shù)計算電路22a輸出觸發(fā)trig(步驟S7)。
當失真校正系數(shù)計算電路22a接收了觸發(fā)trig時，針對UL數(shù)據(jù)內(nèi)的像素，根據(jù)上述公式16算出失真校正系數(shù)F，輸出給插值位置校正電路22b。該失真校正系數(shù)計算電路22a也與上述插值位置計算電路21a同樣，在進行了1UL的量的動作時，算出下一個UL開頭坐標并結(jié)束(步驟S8)。
插值位置校正電路22b使用從該失真校正系數(shù)計算電路22a接收的失真校正系數(shù)F和從上述插值位置計算電路21a接收的坐標(X1，Y1)，根據(jù)上述公式12算出坐標(X’，Y’)。該插值位置校正電路22b也按照上述失真校正系數(shù)計算電路22a，在進行了1UL的量的動作時，算出下一個UL的開頭坐標并結(jié)束(步驟S9)。
選擇器23根據(jù)通過上述控制寄存器7a由上述CPU 3設(shè)定的動作模式，在進行失真校正處理的情況下，選擇來自上述插值位置校正電路22b的坐標(X’，Y’)，在不進行失真校正處理的情況下，選擇來自上述插值位置計算電路21a的坐標(X1，Y1)(步驟S10)。
加法器27a、27b將通過該選擇器23選擇的坐標(X1，Y1)或坐標(X’，Y’)分別與失真中心位置的坐標(Xd，Yd)相加(步驟S11)。
讀出地址生成電路24a將為了用于插值，根據(jù)從加法器27a、27b獲取的坐標而從2端口SRAM 25a讀出的像素數(shù)據(jù)的地址ADR輸出給該2端口SRAM 25a，并且將插值系數(shù)和數(shù)據(jù)串控制信號輸出給插值電路26a(步驟S12)。
插值電路26a使用從讀出地址生成電路24a獲取的插值系數(shù)、數(shù)據(jù)串控制信號以及從2端口SRAM 25a獲取的像素數(shù)據(jù)，如上述公式5所示，算出被插值的像素數(shù)據(jù)，輸出給后級的處理塊(步驟S13)。
緩存釋放量計算電路24c根據(jù)上述插值位置計算電路21a和加法器27a、27b的輸出，一旦確認了UL數(shù)據(jù)已經(jīng)被輸出至最后，則計算當前結(jié)束了處理的UL的開頭坐標與下一個UL開頭坐標的差，為了釋放存儲了不必要的數(shù)據(jù)的緩沖器(2端口SRAM 25a內(nèi)的區(qū)域)，向緩沖器空余容量監(jiān)視電路24d輸出緩存釋放量，并且，向上述GRANT_N發(fā)送判定電路24e發(fā)送為了進行下一個UL處理而需要從前級的處理塊接收后面多少數(shù)據(jù)的信息(步驟S14)。
當緩沖器空余容量監(jiān)視電路24d在上述步驟S14中確認了在作為內(nèi)部緩沖器的2端口SRAM 25a中有存儲區(qū)域空余的情況時，則返回上述步驟S1，重復(fù)進行上述的處理(步驟S15)。
GRANT_N發(fā)送判定電路24e根據(jù)來自上述寫入地址生成電路24b的BLC計數(shù)器的值以及來自緩存釋放量計算電路24c的輸出，判定能否將下一個UL數(shù)據(jù)發(fā)送給后級的處理塊，在判定為可發(fā)送的情況下，進行上述步驟S5的處理(步驟S16)。
圖17是表示上述失真校正系數(shù)計算電路22a的結(jié)構(gòu)的一例的方框圖。該失真校正系數(shù)計算電路22a根據(jù)上述公式16算出失真校正系數(shù)F。
并且，在該圖17中，以及以下所示的圖17的說明中，Z是指在公式10的左邊表示的Z(2點)，系數(shù)A、B、C是指在公式13的左邊表示的A(點)、B(點)、C(點)。
失真校正系數(shù)計算電路22a具有當從上述GRANT_N發(fā)送判定電路24e輸入了觸發(fā)trig時，根據(jù)上述公式11算出插值坐標X2、Y2的失真校正用坐標計算電路31；將通過該失真校正用坐標計算電路31算出的插值坐標X2轉(zhuǎn)換為浮點小數(shù)的浮點小數(shù)化電路32a；將通過上述失真校正用坐標計算電路31算出的插值坐標Y2轉(zhuǎn)換為浮點小數(shù)的浮點小數(shù)化電路32b；對通過上述浮點小數(shù)化電路32a被浮點小數(shù)化的插值坐標X2進行平方的平方計算器33a；對通過上述浮點小數(shù)化電路32b被浮點小數(shù)化的插值坐標Y2進行平方的平方計算器33b；通過將由上述平方計算器33a算出的插值坐標X2的平方與由上述平方計算器33b算出的插值坐標Y2的平方相加，算出Z(更準確地說，是如上所述Z(2點)。以下相同)的平方的加法器34；通過對該加法器34的輸出進行平方，算出Z的4次方的平方計算器33c；對來自上述加法器34的輸出進行延遲的延遲電路35b；通過將由上述平方計算器33c算出的Z的4次方，與被該延遲電路35b延遲、并根據(jù)定時輸出的Z的平方相乘，算出Z的6次方的乘法器36d；對來自上述加法器34的輸出進行延遲，并且對來自上述平方計算器33c的輸出進行延遲的延遲電路35a；將被上述延遲電路35a延遲并按照定時輸出的Z的平方，與由上述CPU 3設(shè)定于控制寄存器7a中的系數(shù)A(更準確地說，是如上所述A(點)。以下相同)相乘的乘法器36a；將被上述延遲電路35a延遲并按照定時輸出的Z的4次方，與由上述CPU 3設(shè)定于控制寄存器7a中的系數(shù)B(更準確地說，是如上所述B(點)。以下相同)相乘的乘法器36b；將從上述乘法器36d輸出的Z的6次方，與由上述CPU 3設(shè)定于控制寄存器7a中的系數(shù)C(更準確地說，是如上所述C(點)。以下相同)相乘的乘法器36c；將由上述CPU 3設(shè)定于控制寄存器7a中的上述系數(shù)A的符號signA賦予給上述乘法器36a的輸出，并轉(zhuǎn)換為定點小數(shù)的定點小數(shù)化電路37a；將由上述CPU 3設(shè)定于控制寄存器7a中的上述系數(shù)B的符號signB賦予給上述乘法器36b的輸出，并轉(zhuǎn)換為定點小數(shù)的定點小數(shù)化電路37b；將由上述CPU 3設(shè)定于控制寄存器7a中的上述系數(shù)C的符號signC賦予給上述乘法器36c的輸出，并轉(zhuǎn)換為定點小數(shù)的定點小數(shù)化電路37c；通過將來自上述定點小數(shù)化電路37a的輸出、來自上述定點小數(shù)化電路37b的輸出、來自上述定點小數(shù)化電路37c的輸出，與由上述CPU 3設(shè)定于控制寄存器7a中的常數(shù)1.0相加，算出基于上述公式16的失真校正系數(shù)F的加法器38。
并且，在該圖17中，用雙線表示的部分是進行浮點小數(shù)的運算處理的部分，通過將動態(tài)范圍廣的X2、Y2和Z等作為浮點小數(shù)來進行處理，在保持精度的同時縮小了電路規(guī)模。
另外，圖18是表示上述失真校正系數(shù)計算電路22a的結(jié)構(gòu)的其它例的方框圖。
該圖18所示的失真校正系數(shù)計算電路22a具有上述失真校正用坐標計算電路31、上述浮點小數(shù)化電路32a、上述浮點小數(shù)化電路32b、上述平方計算器33a、上述平方計算器33b、上述加法器34、LUT(查找表)39，該LUT39使用從該加法器34輸出的被浮點小數(shù)化的Z(更準確地說，是如上所述的Z(2點)。以下相同)的平方來進行參照，從而輸出被定點小數(shù)化的失真校正系數(shù)F。
在該圖18中，雙線表示的部分也是進行浮點小數(shù)的運算處理的部分。
這樣，該圖18所示的結(jié)構(gòu)例通過使用查找表，縮短了用于計算失真校正系數(shù)F的處理時間，降低了電路的耗電。
并且，在使用該結(jié)構(gòu)例的情況下，上述系數(shù)A、B、C不是由CPU 3設(shè)定的，而是固定值。當然，在即使查找表的規(guī)模變大也沒有關(guān)系的情況下，可以準備與上述系數(shù)A、B、C的多個組合對應(yīng)的查找表，來使用適當?shù)牟檎冶怼?br> 接著，圖19是表示在每個時鐘生成插值位置時的狀況的時序圖，圖20是表示按每3個時鐘1次的比例來生成插值位置時的狀況的時序圖。
圖19表示在每個時鐘生成插值位置時的動作的狀況，當從后級的處理塊向GRANT_N發(fā)送判定電路24e輸入請求信號REQ_N時，該GRANT_N發(fā)送判定電路24e在能夠輸出圖像數(shù)據(jù)的時候，向該后級的處理塊發(fā)送許可信號GRANT_N。
該許可信號GRANGT_N也被輸入給插值位置計算電路21a，生成插值位置X1、Y1并輸出。在該圖19所示的例中，插值位置X1、Y1在每個時鐘被輸出。
而且，在經(jīng)過了適當?shù)奶幚頃r間后，從上述插值電路26a向后級的處理塊輸出插值后的圖像數(shù)據(jù)，此時從上述讀出地址生成電路24a輸出寫入許可信號WE_N。
另外，圖20表示按每3個時鐘1次的比例來生成插值位置時的動作的狀況的圖。
到許可信號GRANT_N被輸入到插值位置計算電路21a為止的動作與圖19所示的情況相同，而之后該插值位置計算電路21a按每3個時鐘1次的比例來生成插值位置X1、Y1并輸出。
另外，從插值位置X1、Y1被生成到從上述插值電路26a輸出插值后的圖像數(shù)據(jù)為止的處理所需要的時間也與圖19所示的情況相同，但因為插值位置X1、Y1的生成是每3個時鐘1次，所以插值后的圖像數(shù)據(jù)的輸出也同樣是每3個時鐘1次，與此相應(yīng)，寫入許可信號WE_N的輸出也成為每3個時鐘1次。
并且，這里示出了每個時鐘或每3個時鐘進行1次插值位置的生成的例子，但不限于此，也可以每適當?shù)亩鄠€時鐘進行1次插值位置的生成，或者，也可以每n個時鐘進行m次(n≥m)(例如，每3個時鐘2次)插值位置的生成，也可用按任意的頻率生成插值位置。另外，也可以動態(tài)變更這種相對于時鐘數(shù)的插值位置的生成數(shù)的比例。
根據(jù)這種第2實施方式，獲得與上述的第1實施方式幾乎同樣的效果，并且因為可通過1個電路同時進行失真校正處理和放大縮小處理，所以能夠縮短處理時間，縮小電路規(guī)模。從而能以低成本構(gòu)成高速圖像處理裝置。
另外，在不進行失真校正處理時，通過停止提供給失真校正坐標變換部的時鐘，即通過停止提供給失真校正系數(shù)計算電路和插值位置校正電路的時鐘，可降低耗電。
而且，通過根據(jù)需要不在每個時鐘(不是每個時鐘而是間隔著時鐘)進行這些插值位置計算電路的坐標計算，可以在時間方向上分散耗電。通過適當變更該單位時間里計算坐標的次數(shù)，可實現(xiàn)更有效的耗電的分散。從而可抑制處理電路的溫度上升，并且降低了圖像處理裝置整體的瞬間耗電(峰值耗電)。
而且因為根據(jù)變形后的實用公式來生成插值坐標數(shù)據(jù)，使得與基于基本公式的情況相比減少了乘法運算的次數(shù)，因此能削減設(shè)置于插值位置生成部或失真校正坐標變換部內(nèi)部的乘法器的個數(shù)，可實現(xiàn)電路規(guī)模的縮小。
另外，與失真校正后的圖像內(nèi)的關(guān)注像素(X，Y)對應(yīng)的位置(即，對(X，Y)考慮Xoff、Yoff、M、SX、SY等的位置)和失真中心位置(Xd，Yd)之間的距離Z(或Z(2點))是動態(tài)范圍廣的數(shù)，它們的平方、4次方、6次方等進一步變?yōu)閯討B(tài)范圍廣的數(shù)，但因為將它們作為浮點小數(shù)來進行處理，進行運算并算出失真校正系數(shù)，所以能夠在保證精度的同時縮小電路規(guī)模。
另外，在求出失真校正系數(shù)時，根據(jù)上述距離Z(或Z(2點))(或它的平方)，使用可參照的查找表的情況下，能夠在縮短處理時間的同時縮小電路規(guī)模。
從圖21到圖31表示本發(fā)明的第3實施方式。在該第3實施方式中，對與上述第1、第2實施方式相同的部分省略說明，主要僅對不同點進行說明。
該第3實施方式的圖像處理裝置的主要部分的結(jié)構(gòu)與上述第2實施方式的圖15所示的相同。
另外，在該第3實施方式中，能夠通過按預(yù)定的塊單位傳送圖像數(shù)據(jù)來減小容量的內(nèi)部緩沖器是上述圖2所示的內(nèi)部存儲部25或圖29所示的2端口SRAM 25a。
圖21是表示上述失真校正處理部7的結(jié)構(gòu)的概要的方框圖。
彩色圖像數(shù)據(jù)通常被分解為RGB或YCbCr等3個(或其以上)獨立的信號成分，針對每個成分分別進行處理。這里，將3個獨立的信號成分分別被處理的路徑(通道)設(shè)為Ch.0、Ch.1、Ch.2來進行說明，具體地說，例如通過Ch.0處理的信號成為R，通過Ch.1處理的信號成為G，通過Ch.2處理的信號成為B等。
在該失真校正處理部7，各通道的失真校正處理部向前級的對應(yīng)的通道的處理塊發(fā)送請求，按預(yù)定塊單位接收根據(jù)該請求從前級的處理塊發(fā)送來的圖像數(shù)據(jù)，進行了失真校正后，輸出給后級的對應(yīng)的通道的處理塊。具體地說，用于處理Ch.0數(shù)據(jù)的失真校正處理部成為7A，用于處理Ch.1數(shù)據(jù)的失真校正處理部成為7B，用于處理Ch.2數(shù)據(jù)的失真校正處理部成為7C，它們都被包含于上述失真校正處理部7中。并且，當這些失真校正處理部7A、7B、7C從后級的塊接收到希望發(fā)送圖像數(shù)據(jù)的意旨的請求時，在能夠發(fā)送的階段，按預(yù)定的塊單位向該后級的塊發(fā)送圖像數(shù)據(jù)。
并且，在上述圖15所示的結(jié)構(gòu)例中，前級的處理塊對應(yīng)于圖像處理部6，后級的處理塊對應(yīng)于JPEG處理部9，這些前級和后級的處理塊也構(gòu)成為按照每個通道來進行處理。
在失真校正處理部7中附設(shè)有控制寄存器7a，來自CPU 3的針對該失真校正處理部7的設(shè)定值和各種數(shù)據(jù)等被設(shè)定到上述失真校正處理部7A、7B、7C，同時能夠從CPU 3讀取處理結(jié)果的狀態(tài)等。
上述失真校正處理部7的1個通道部分的處理的概要與參照上述圖4和圖5說明過的幾乎相同。
而且，用于進行這種處理的1個通道的失真校正處理部7與上述圖2所示的相同。
另外，在上述插值位置生成部21和失真校正坐標變換部22中算出坐標時的基本公式、以及通過對其變形從而能夠縮小電路規(guī)模的實用公式，與在上述的第2實施方式中參照公式1～公式3以及公式5～公式16說明過的相同。
此時，由后述的圖26所示的、上述失真校正坐標變換部22的作為失真校正系數(shù)計算單元的失真校正系數(shù)計算電路22a進行如上述公式16所示的失真校正系數(shù)F的計算，但也可以使用后述的圖28所示的結(jié)構(gòu)來代替該圖26所示的結(jié)構(gòu)。
而且，由如后述的圖29所示的上述失真校正坐標變換部22的插值位置校正電路22b根據(jù)上述公式12算出失真校正處理前的目標點的坐標(插值坐標數(shù)據(jù))(X’，Y’)。
圖22是表示通過光學(xué)系統(tǒng)拍攝圖像時發(fā)生的色像差的一例的圖。
在該圖22所示的例中，發(fā)生了枕型的失真像差，并且紅色R從失真中心觀察在綠色G的內(nèi)側(cè)，藍色B從失真中心觀察在綠色G的外側(cè)，發(fā)生了分別偏移的色像差。而且，該色像差引起的偏移是離失真中心的距離越遠則越大。
這樣，因為色像差針對每種顏色而不同，所以插值處理也如圖21所示，按照每種顏色進行。圖25是表示上述失真校正處理部7的更詳細的結(jié)構(gòu)的方框圖。
上述失真校正處理部7A具有Ch.0用失真校正電路7A1作為失真校正運算單元，上述失真校正處理部7B具有Ch.1用失真校正電路7B1作為失真校正運算單元，上述失真校正處理部7C具有Ch.2用失真校正電路7C1作為失真校正運算單元。
另外，用于算出失真校正系數(shù)F的失真校正系數(shù)計算電路22a構(gòu)成上述失真校正坐標變換部22的一部分，因為能夠在失真校正處理部7A、7B、7C中共用，所以作為對3個通道共用的單一的電路來設(shè)置，算出Ch.0用失真校正系數(shù)F0、Ch.1用失真校正系數(shù)F1、Ch.2用失真校正系數(shù)F2，分別輸出給上述Ch.0用失真校正電路7A1、Ch.1用失真校正電路7B1、Ch.2用失真校正電路7C1。
另外，在進行了失真校正處理或放大縮小處理的插值處理后，向后級的處理塊輸出圖像數(shù)據(jù)時，根據(jù)該后級的處理塊的處理內(nèi)容，有時同時需要3個通道的圖像數(shù)據(jù)。然而，如上述圖22所示，在有色像差的情況下，關(guān)注像素的位置因顏色而不同，所以不一定要同時收集全3個數(shù)據(jù)來輸出。
參照圖23以及圖24對此進行說明。圖23是表示在能夠算出與B相關(guān)的插值數(shù)據(jù)的時刻被存儲在內(nèi)部存儲部中的圖像數(shù)據(jù)的狀況的圖，圖24是表示在能夠算出分別與R、G、B相關(guān)的插值數(shù)據(jù)的時刻被存儲在內(nèi)部存儲部中的圖像數(shù)據(jù)的狀況的圖。
在3個通道同時開始插值數(shù)據(jù)的計算處理的情況下，來自前級的處理塊的圖像數(shù)據(jù)被按順序存儲于各通道的內(nèi)部存儲部25(后述的圖29所示的2端口SRAM 25a)中。此時，已經(jīng)作為數(shù)據(jù)而被存儲的部分是用斜線表示的部分。在圖23所示的時刻，雖然圖像數(shù)據(jù)的積蓄已達到了可進行與藍色B相關(guān)的插值數(shù)據(jù)的計算的量，但還沒有達到可進行與綠色G以及紅色R相關(guān)的插值數(shù)據(jù)的計算的量。
另外，在圖24所示的時刻，圖像數(shù)據(jù)的積蓄已進行到了可進行與紅色R、綠色G、藍色B相關(guān)的插值數(shù)據(jù)的計算的程度。
這樣，在成為能夠算出3個通道的插值數(shù)據(jù)的時刻，由作為準許同步單元的準許同步電路27進行同步以便許可向后級的處理塊傳輸圖像數(shù)據(jù)。
如果以Ch.0是R、Ch.1是G、Ch.2是B的情況為例，當成為如上述圖23所示的狀態(tài)時，上述Ch.0用失真校正電路7A1輸出請求開始失真校正處理的請求信號trok_0，雖然未圖示，但Ch.1用失真校正電路7B1在能夠進行失真校正處理的時刻，輸出請求開始失真校正處理的請求信號trok_1，當成為如上述圖24所示的狀態(tài)時，Ch.2用失真校正電路7C1輸出請求開始失真校正處理的請求信號trok_2。
準許同步電路27在全部收集全了這些請求信號trok_0、trok_1、trok_2后，即當能夠通過3個通道的全部發(fā)送插值數(shù)據(jù)時，向后級的處理塊中的進行與Ch.0相關(guān)的處理的部分輸出許可信號GRANT_N0，向進行與Ch.1相關(guān)的處理的部分輸出許可信號GRANT_N1，向進行與Ch.2相關(guān)的處理的部分輸出許可信號GRANT_N2，并且對Ch.0用失真校正電路7A1、Ch.1用失真校正電路7B1、Ch.2用失真校正電路7C1進行控制，以便如后面所述同時開始失真校正處理。
并且，該準許同步電路27如后面所述，在內(nèi)部具有開關(guān)，能夠?qū)κ欠袷?個通道的輸出同步進行切換。
圖26是表示上述失真校正系數(shù)計算電路22a的結(jié)構(gòu)的方框圖。
該失真校正系數(shù)計算電路22a是用于根據(jù)上述公式16來算出失真校正系數(shù)F的失真校正系數(shù)計算單元，該公式16中的反映光學(xué)系統(tǒng)的光學(xué)性質(zhì)的A(點)、B(點)、C(點)被針對每個通道，即針對例如RGB的每個顏色成分，由上述CPU 3設(shè)定到控制寄存器7a中。
并且，在該圖26以及后述的圖27、圖28的圖中，而且在以下所示的圖26到圖28的說明中，Z是指公式10的左邊所示的Z(2點)，系數(shù)A、B、C是指公式13的左邊所示的A(點)、B(點)、C(點)。
失真校正系數(shù)計算電路22a具有當從上述準許同步電路27輸入了許可信號e_grant時，根據(jù)上述公式11算出插值坐標X2、Y2的失真校正用坐標計算電路31；將通過該失真校正用坐標計算電路31算出的插值坐標X2轉(zhuǎn)換為浮點小數(shù)的浮點小數(shù)化電路32a；將通過該失真校正用坐標計算電路31算出的插值坐標Y2轉(zhuǎn)換為浮點小數(shù)的浮點小數(shù)化電路32b；對通過上述浮點小數(shù)化電路32a進行了浮點小數(shù)化的插值坐標X2進行平方的平方計算器33a；對通過上述浮點小數(shù)化電路32b進行了浮點小數(shù)化的插值坐標Y2進行平方的平方計算器33b；通過將上述平方計算器33a算出的插值坐標X2的平方與上述平方計算器33b算出的插值坐標Y2的平方相加，來算出Z(更準確地說，是上述的Z(2點)。以下相同)的平方的加法器34；通過對該加法器34的輸出進行平方，來算出Z的4次方的平方計算器33c；對來自上述加法器34的輸出進行延遲的延遲電路35b；通過將由上述平方計算器33c算出的Z的4次方，與通過該延遲電路35b被延遲并按照定時輸出的Z的平方相乘，來算出Z的6次方的乘法器36；對來自上述加法器34的輸出進行延遲，并且對來自上述平方計算器33c的輸出進行延遲的延遲電路35a；使用從該延遲電路35a按照定時輸出的Z的平方和Z的4次方，以及從上述乘法器36輸出的Z的6次方，分別算出Ch.0用、Ch.1用、Ch.2用的失真校正系數(shù)F0、F1、F2的距離依存系數(shù)計算電路40a、40b、40c。
圖27是表示作為上述距離依存系數(shù)計算電路40a、40b、40c中的任意1個的距離依存系數(shù)計算電路40的結(jié)構(gòu)的方框圖。
該距離依存系數(shù)計算電路40具有將被上述延遲電路35a延遲、按照定時輸出的Z的平方，與由上述CPU 3設(shè)定于控制寄存器7a中的系數(shù)A(更準確地說，是上述的A(點)。以下相同)相乘的乘法器41a；將被上述延遲電路35a延遲、按照定時輸出的Z的4次方，與由上述CPU 3設(shè)定于控制寄存器7a中的系數(shù)B(更準確地說，是上述的B(點)。以下相同)相乘的乘法器41b；將從上述乘法器36輸出的Z的6次方與由上述CPU 3設(shè)定于控制寄存器7a中的系數(shù)C(更準確地說，是上述的C(點)。以下相同)相乘的乘法器41c；將由上述CPU 3設(shè)定于控制寄存器7a中的上述系數(shù)A的符號signA賦予給來自上述乘法器41a的輸出，并轉(zhuǎn)換為定點小數(shù)的定點小數(shù)化電路42a；將由上述CPU 3設(shè)定于控制寄存器7a中的上述系數(shù)B的符號signB賦予給來自上述乘法器41b的輸出，并轉(zhuǎn)換為定點小數(shù)的定點小數(shù)化電路42b；將由上述CPU 3設(shè)定于控制寄存器7a中的上述系數(shù)C的符號signC賦予給來自上述乘法器41c的輸出，并轉(zhuǎn)換為定點小數(shù)的定點小數(shù)化電路42c；通過將來自上述定點小數(shù)化電路42a的輸出、來自上述定點小數(shù)化電路42b的輸出、來自上述定點小數(shù)化電路42c的輸出、由上述CPU 3設(shè)定于控制寄存器7a中的常數(shù)1.0相加，算出基于上述公式16的失真校正系數(shù)F(即，失真校正系數(shù)F0、F1、F2中的任意一個)的加法器43。
并且，在圖26以及圖27中，用雙線表示的部分是進行浮點小數(shù)的運算處理的部分，通過將動態(tài)范圍廣的X2、Y2和Z作為浮點小數(shù)來處理，在保持精度的同時縮小了電路規(guī)模。
此時，如上述圖26所示，失真校正系數(shù)計算電路22a的一部分，即失真校正用坐標計算電路31、浮點小數(shù)化電路32a、32b、平方計算器33a、33b、33c、加法器34、延遲電路35a、35b、乘法器36，構(gòu)成為不依賴于通道的共用的部分。這樣，能夠進一步實現(xiàn)電路規(guī)模的縮小，降低耗電。
另外，圖28是表示上述失真校正系數(shù)計算電路22a的結(jié)構(gòu)的其它例的方框圖。
該圖28所示的失真校正系數(shù)計算電路22a具有以下部分而構(gòu)成上述失真校正用坐標計算電路31；上述浮點小數(shù)化電路32a；上述浮點小數(shù)化電路32b；上述平方計算器33a；上述平方計算器33b；上述加法器34；通過使用從該加法器34輸出、被浮點小數(shù)化的Z(更準確地說，是上述的Z(2點)。以下相同)的平方并進行參照，分別輸出被定點小數(shù)化的失真校正系數(shù)F0、F1、F2的LUT(查找表)39a、39b、39c。
在該圖28中，用雙線表示的部分也是進行浮點小數(shù)的運算處理的部分。
這樣，該圖28所示的結(jié)構(gòu)例通過使用查找表，縮短了用于算出失真校正系數(shù)F0、F1、F2的處理時間，降低了電路的耗電。
并且，在應(yīng)用該結(jié)構(gòu)例的情況下，每個通道的上述系數(shù)A、B、C不是由CPU 3設(shè)定的，而是成為固定值。當然，在即使查找表的規(guī)模變大也沒有關(guān)系的情況下，也可以針對每個通道準備與上述系數(shù)A、B、C的多個組合對應(yīng)的查找表，使用合適的查找表。
下面，圖29是表示上述Ch.0用失真校正電路7A1的結(jié)構(gòu)的方框圖。因為Ch.1用失真校正電路7B1、Ch.2用失真校正電路7C1的結(jié)構(gòu)也與該Ch.0用失真校正電路7A1的結(jié)構(gòu)相同，所以這里只對Ch.0用失真校正電路7A1進行說明。
插值位置計算電路21a用于如上述那樣算出上述目標點的坐標(X1，Y1)，是對應(yīng)于上述插值位置生成部21的電路部分。
插值位置校正電路22b用于使用通過上述失真校正系數(shù)計算電路22a算出的失真校正系數(shù)F0，如上述公式12所示那樣，算出失真校正處理前的目標點的坐標(X’，Y’)，成為上述失真校正坐標變換部22的一部分。
上述選擇器23在不進行失真校正處理的情況下(不管是否進行放大縮小處理)，選擇來自上述插值位置計算電路21a的坐標(X1，Y1)，在進行失真校正處理的情況下(不管是否伴隨放大縮小處理)，選擇來自上述插值位置校正電路22b的坐標(X’，Y’)。
通過加法器27a、27b，分別將通過該選擇器23選擇的坐標(X1，Y1)或坐標(X’，Y’)與通過控制寄存器7a由上述CPU 3設(shè)定的失真中心位置的坐標(Xd，Yd)進行加法運算。
這些加法器27a、27b的輸出被輸出到讀出地址生成電路24a和緩存釋放量計算電路24c。
而且，通過上述插值位置計算電路21a算出的坐標(X1，Y1)也通過與經(jīng)由上述選擇器23的路徑不同的路徑被輸入到該讀出地址生成電路24a。而且，該讀出地址生成電路24a將存儲有與該坐標(X1，Y1)關(guān)聯(lián)的像素數(shù)據(jù)(在進行16點插值的情況下，是以該坐標(X1，Y1)為中心的16個像素數(shù)據(jù))的地址ADR輸出給2端口SRAM 25a，并且將插值系數(shù)(例如，如上述公式5所示的插值系數(shù)kx0～kx3，ky0～ky3)和表示要輸出的像素數(shù)據(jù)是D0～D15的哪個位置的像素數(shù)據(jù)的數(shù)據(jù)串控制信號輸出給插值電路26a。進而，該讀出地址生成電路24a將寫入許可信號WE_N0輸出給后級的與Ch.0對應(yīng)的處理塊。
上述2端口SRAM 25a是與上述圖2所示的內(nèi)部存儲部25對應(yīng)的電路部分。
插值電路26a與上述圖2所示的插值運算部26對應(yīng)，使用從上述2端口SRAM 25a讀出的圖像數(shù)據(jù)，進行如上述公式5所示的插值處理，將處理后的圖像數(shù)據(jù)輸出給后級的處理塊。
上述緩存釋放量計算電路24c根據(jù)來自上述插值位置計算電路21a的輸出和經(jīng)由上述加法器27a、27b的來自上述選擇器23的輸出，算出在上述2端口SRAM 25a中可釋放的存儲容量(緩存釋放量)。
緩沖器空余容量監(jiān)視電路24d參照該緩存釋放量計算電路24c的輸出，把握上述2端口SRAM 25a的空余容量的狀況。
寫入地址生成電路24b接收來自前級的處理塊的與Ch.0相關(guān)的圖像數(shù)據(jù)，并且記錄在上述2端口SRAM 25a中。
數(shù)據(jù)可否發(fā)送判定電路24f接收來自與Ch.0相關(guān)的后級的處理塊的請求圖像數(shù)據(jù)的請求信號REQ_N0，根據(jù)上述寫入地址生成電路24b和緩存釋放量計算電路24c的輸出，判斷能否進行圖像數(shù)據(jù)的發(fā)送，在能夠的情況下，將請求信號trok_0輸出給上述準許同步電路27。
下面，對該圖29所示的失真校正處理部7的動作進行說明。
緩沖器空余容量監(jiān)視電路24d通過緩存釋放量計算電路24c監(jiān)視2端口SRAM 25a的空余容量，如果有預(yù)定的空余容量，則向與Ch.0相關(guān)的前級的處理塊發(fā)出請求信號REQ_0，以便發(fā)送預(yù)定的塊單位的圖像數(shù)據(jù)(以下，適當?shù)胤Q作單位行(UL)數(shù)據(jù))(步驟S21)。
與Ch.0相關(guān)的前級的處理塊接收該請求信號REQ_0，在能夠發(fā)送圖像數(shù)據(jù)時，發(fā)送許可信號GRANT_0，上述緩沖器空余容量監(jiān)視電路24d接收該許可信號GRANT_0(步驟S22)。
該緩沖器空余容量監(jiān)視電路24d通過保持于內(nèi)部的計數(shù)器來把握2端口SRAM 25a的空余容量，在接收許可信號GRANT的同時，將該內(nèi)部計數(shù)器的值減1。一旦該內(nèi)部計數(shù)器變成了0，則該緩沖器空余容量監(jiān)視電路24d進行動作，以撤消上述請求信號REQ_0(步驟S23)。
而且，從與Ch.0相關(guān)的前級的處理塊向?qū)懭氲刂飞呻娐?4b輸入寫入許可信號WE_0，接著輸入圖像數(shù)據(jù)。與此對應(yīng)，寫入地址生成電路24b向2端口SRAM 25a輸出控制信號，將圖像數(shù)據(jù)DATA寫入到該2端口SRAM 25a中的由地址ADDRESS所指定的區(qū)域。另外，每當被輸入1UL數(shù)據(jù)，寫入地址生成電路24b就增大BLC計數(shù)器(表示在作為內(nèi)部緩沖器的2端口SRAM 25a中存儲有多少數(shù)據(jù)的計數(shù)器)，并輸出給數(shù)據(jù)可否發(fā)送判定電路24f(步驟S24)。
當數(shù)據(jù)可否發(fā)送判定電路24f從與Ch.0相關(guān)的后級的處理塊接收到請求信號REQ_N0時，判定在2端口SRAM 25a內(nèi)是否存在接下來能夠發(fā)送的UL數(shù)據(jù)，在判定為存在的情況下，向上述準許同步電路27發(fā)送請求信號trok_0(步驟S25)。
如后面所述，準許同步電路27在具備了圖像數(shù)據(jù)的發(fā)送條件時，向與各通道相關(guān)的后級的處理塊以及與各通道相關(guān)的插值位置計算電路21a輸出許可信號GRANT_N0、GRANT_N1、GRANT_N2。
與Ch.0相關(guān)的插值位置計算電路21a接收該許可信號GRANT_N0，開始動作，當進行了1UL的量的插值位置即坐標(X1，Y1)的計算動作時，算出下一個UL的開頭坐標并結(jié)束(步驟S26)。
上述準許同步電路27與插值位置計算電路21a開始動作并輸出坐標(X1，Y1)相同步地在失真校正系數(shù)計算電路22a能夠輸出失真校正系數(shù)F0的定時，向該失真校正系數(shù)計算電路22a輸出許可信號e_grant(步驟S27)。
當失真校正系數(shù)計算電路22a接收到許可信號e_grant時，根據(jù)上述公式16算出與各通道相關(guān)的失真校正系數(shù)F0、F1、F2，輸出給各通道的插值位置校正電路22b。該失真校正系數(shù)計算電路22a也與上述插值位置計算電路21a相同，在進行了1UL的量的動作時，算出下一個UL開頭坐標并結(jié)束(步驟S28)。
與Ch.0相關(guān)的插值位置校正電路22b使用從該失真校正系數(shù)計算電路22a獲取的失真校正系數(shù)F0和從上述插值位置計算電路21a獲取的坐標(X1，Y1)，基于上述公式12算出坐標(X’，Y’)。該插值位置校正電路22b也依照上述失真校正系數(shù)計算電路22a，在進行了1UL的量的動作時，算出下一個UL開頭坐標并結(jié)束(步驟S29)。
選擇器23根據(jù)通過上述控制寄存器7a由上述CPU 3設(shè)定的動作模式，在進行失真校正處理的情況下，選擇來自上述插值位置校正電路22b的坐標(X’，Y’)，在不進行失真校正處理的情況下，選擇來自上述插值位置計算電路21a的坐標(X1，Y1)(步驟S30)。
加法器27a、27b將通過該選擇器23選擇的坐標(X1，Y1)或坐標(X’，Y’)分別與失真中心位置的坐標(Xd，Yd)相加(步驟S31)。
讀出地址生成電路24a將為了用于插值，根據(jù)從加法器27a、27b獲取的坐標而從2端口SRAM 25a讀出的像素數(shù)據(jù)的地址ADR輸出給該2端口SRAM 25a，并且將插值系數(shù)和數(shù)據(jù)串控制信號輸出給插值電路26a輸出(步驟S32)。
插值電路26a使用從讀出地址生成電路24a獲取的插值系數(shù)和數(shù)據(jù)串控制信號，以及從2端口SRAM 25a獲取的像素數(shù)據(jù)，如上述公式5所示，算出被插值后的像素數(shù)據(jù)，并輸出給與Ch.0相關(guān)的后級的處理塊(步驟S33)。
緩存釋放量計算電路24c基于上述插值位置計算電路21a以及加法器27a、27b的輸出，一旦確認了已經(jīng)輸出UL數(shù)據(jù)直至最后的情況，則算出當前結(jié)束處理的UL開頭坐標和下一個UL開頭坐標的差，為了釋放存儲著不需要的數(shù)據(jù)的緩沖器(2端口SRAM 25a內(nèi)的區(qū)域)，將緩存釋放量向緩沖器空余容量監(jiān)視電路24d輸出，并且，將關(guān)于為了進行下一個UL處理而需要從與Ch.0相關(guān)的前級的處理塊接收后面多少數(shù)據(jù)的信息發(fā)送給上述數(shù)據(jù)可否發(fā)送判定電路24f(步驟S34)。
緩沖器空余容量監(jiān)視電路24d在上述步驟S34確認了在作為內(nèi)部緩沖器的2端口SRAM 25a中有存儲區(qū)域的空余時，返回上述步驟S21，反復(fù)進行上述的處理(步驟S35)。
數(shù)據(jù)可否發(fā)送判定電路24f根據(jù)來自上述寫入地址生成電路24b的BLC計數(shù)器的值和來自緩存釋放量計算電路24c的輸出，判定能否將下一個UL數(shù)據(jù)發(fā)送給后級的處理塊，在判定為能發(fā)送的情況下，進行上述步驟S25的處理(步驟S36)。
圖30是表示準許同步電路27的結(jié)構(gòu)的方框圖，圖31是用于說明準許同步電路27的動作的時序圖。
首先，通過參照上述控制寄存器7a而得到的DT_ON是保存表示是否進行失真校正的布爾值的數(shù)據(jù)，以下面的方式構(gòu)成在0(假)的情況下被取為低電平信號，在1(真)的情況下被取為高電平信號。
該準許同步電路27具有以下部分而構(gòu)成用于取得來自Ch.0用失真校正電路7A1的請求信號trok_0、來自Ch.1用失真校正電路7B1的請求信號trok_1與來自Ch.2用失真校正電路7C1的請求信號trok_2的邏輯積的“與”電路51；用于檢測上述請求信號trok_0、trok_1、trok_2和“與”電路51的輸出的上升沿的微分電路52；被進行切換使得當DT_ON是低電平時連接到與請求信號trok_0相關(guān)的微分電路52的輸出側(cè)，當該DT_ON是高電平時連接到與上述“與”電路51相關(guān)的微分電路52的輸出側(cè)的開關(guān)53a；被進行切換使得當DT_ON是低電平時連接到與請求信號trok_1相關(guān)的微分電路52的輸出側(cè)，當該DT_ON是高電平時連接到與上述“與”電路51相關(guān)的微分電路52的輸出側(cè)的開關(guān)53b；被進行切換使得當DT_ON是低電平時連接到與請求信號trok_2相關(guān)的微分電路52的輸出側(cè)，當該DT_ON是高電平時連接到與上述“與”電路51相關(guān)的微分電路52的輸出側(cè)的開關(guān)53c；取得與上述“與”電路51相關(guān)的微分電路52的輸出與DT_ON的邏輯積，作為許可信號e_grant輸出給上述失真校正系數(shù)計算電路22a的失真校正用坐標計算電路31的“與”電路54。
這樣的準許同步電路27的動作如下所述。
首先，當DT_ON是低電平時，即不進行失真校正時，上述開關(guān)53a、53b、53c分別被切換到用于檢測請求信號trok_0、trok_1、trok_2的微分電路52的輸出側(cè)。
此時，如圖31的左側(cè)所示，當高電平信號被輸入到請求信號trok_0時，通過微分電路52檢測到其上升沿，作為GRANT_N0輸出。接著，當高電平信號被輸入到請求信號trok_1時，通過微分電路52檢測到其上升沿，作為GRANT_N1輸出，并且之后當高電平信號被輸入到請求信號trok_2時，通過微分電路52檢測到其上升沿，作為GRANT_N2輸出。這樣，在DT_ON是低電平時，來自3個通道的圖像數(shù)據(jù)的輸出針對每個通道按照各自的定時來進行。
另外，當DT_ON變?yōu)榈碗娖綍r，不管“與”電路51的輸出如何，“與”電路54的輸出維持在低電平狀態(tài)，許可信號e_grant不被輸出(或成為不許可輸出)，所以上述失真校正系數(shù)計算電路22a不進行失真校正系數(shù)F0、F1、F2的計算。因此，與各通道相關(guān)的插值位置校正電路22b也不動作，結(jié)果，不進行失真插值處理。
接著，當DT_ON是高電平時，即進行失真校正時，上述開關(guān)53a、53b、53c被切換到與“與”電路51相關(guān)的微分電路52的輸出側(cè)。
此時，如圖31的右側(cè)所示，即使向請求信號trok_0輸入高電平信號，在該時刻，因為請求信號trok_1、trok_2被維持在低電平的狀態(tài)，所以該“與”電路51的輸出仍維持在低電平狀態(tài)。
其后，在請求信號trok_0是高電平、而且請求信號trok_1成為高電平時，在請求信號trok_2為低電平的期間，“與”電路51的輸出仍被維持在低電平狀態(tài)。
而且，在請求信號trok_0、trok_1、trok_2全部成為高電平時，“與”電路51的輸出變?yōu)楦唠娖?，通過微分電路52檢測到其上升沿。
該微分電路52的輸出作為許可信號GRANT_N0、GRANT_N1、GRANT_N2同時被輸出，并且也輸出給“與”電路54，取得與成為高電平的DT_ON的邏輯積，作為許可信號e_grant輸入到上述失真校正系數(shù)計算電路22a。
這樣，在DT_ON是高電平時，按照同步的定時進行來自3個通道的圖像數(shù)據(jù)的輸出。
根據(jù)這種第3實施方式，取得了與上述的第1、第2實施方式幾乎同樣的效果，并且，可實現(xiàn)能進行失真校正和色像差校正、電路規(guī)模小且低耗電的圖像處理裝置。
特別地，通過對多個通道共用失真校正系數(shù)計算電路的至少一部分，可有效減小電路規(guī)模，實現(xiàn)低耗電。此時，因為將動態(tài)范圍廣的數(shù)作為浮點小數(shù)來處理進行運算，所以能夠在確保精度的同時縮小電路規(guī)模。而且，在參照查找表求出失真校正系數(shù)的情況下，能夠在縮短處理時間的同時縮小電路規(guī)模。
另外，因為設(shè)置了準許同步電路，能夠同時進行來自各通道的圖像數(shù)據(jù)輸出，所以能良好地對應(yīng)在后級的處理塊中同時需要多個通道的圖像數(shù)據(jù)的情況。此時，準許同步電路能夠以通過開關(guān)將多個通道的圖像數(shù)據(jù)按照各自的定時輸出的方式來進行處理，所以可根據(jù)需要來進行選擇。
另外，因為根據(jù)變形后的實用公式生成插值坐標數(shù)據(jù)，使得與基于基本公式的情況相比減少了乘法次數(shù)，所以能削減設(shè)置于插值位置生成部或失真校正坐標變換部的內(nèi)部的乘法器的個數(shù)，能實現(xiàn)電路規(guī)模的縮小。
而且，具有能通過同一電路同時來進行放大縮小處理和失真校正處理的優(yōu)點。
并且，本發(fā)明不限于上述的實施方式，當然可以在不脫離發(fā)明的主旨的范圍內(nèi)進行各種變形和應(yīng)用。
根據(jù)如以上說明的本發(fā)明的圖像處理裝置，能夠不增大總線的數(shù)據(jù)傳送量和存儲器容量，而進行圖像處理。
另外，實現(xiàn)了能夠進行放大縮小處理和失真校正處理、電路規(guī)模小且低耗電的圖像處理裝置。
而且，實現(xiàn)了能夠進行失真校正和色像差校正、電路規(guī)模小且低耗電的圖像處理裝置。
權(quán)利要求
1.一種圖像處理裝置，對經(jīng)過光學(xué)系統(tǒng)進行攝像而獲得的電子圖像數(shù)據(jù)進行處理，所述圖像數(shù)據(jù)具有二維地排列在行方向和列方向上的像素數(shù)據(jù)，其特征在于，具有存儲器，其至少在進行圖像處理前存儲所述圖像數(shù)據(jù)，并且也能在進行了圖像處理后存儲所述圖像數(shù)據(jù)；第1數(shù)據(jù)順序轉(zhuǎn)換部，其以所述圖像數(shù)據(jù)的所述二維排列的塊為單位，從所述存儲器通過總線按行方向讀出該塊內(nèi)的像素數(shù)據(jù)，然后，按列方向輸出該塊內(nèi)的像素數(shù)據(jù)；圖像處理部，其通過與所述總線不同的信息傳達路徑被與所述第1數(shù)據(jù)順序轉(zhuǎn)換部連接成能夠進行流水線處理，輸入從該第1數(shù)據(jù)順序轉(zhuǎn)換部按列方向輸出的圖像數(shù)據(jù)，進行了圖像處理后，按該列方向輸出；以及第2數(shù)據(jù)順序轉(zhuǎn)換部，其被與所述圖像處理部連接成能夠進行流水線處理，將從該圖像處理部按列方向輸出的圖像數(shù)據(jù)轉(zhuǎn)換為行方向的圖像數(shù)據(jù)而輸出。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于，所述第1數(shù)據(jù)順序轉(zhuǎn)換部能夠變更從所述存儲器讀出的以塊為單位的圖像數(shù)據(jù)的行方向的尺寸和列方向的尺寸中的至少一方。
3.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于，進行所述圖像處理前的圖像數(shù)據(jù)是下述數(shù)據(jù)中的任意一個通過攝像單元對由光學(xué)系統(tǒng)成像的被攝體光學(xué)像進行光電轉(zhuǎn)換而輸出的攝像數(shù)據(jù)；根據(jù)需要對該攝像數(shù)據(jù)實施除了壓縮處理之外的預(yù)定處理后的非壓縮圖像數(shù)據(jù)；根據(jù)需要對所述攝像數(shù)據(jù)實施除了壓縮處理之外的預(yù)定處理后，再進行了壓縮處理的壓縮圖像數(shù)據(jù)。
4.根據(jù)權(quán)利要求2所述的圖像處理裝置，其特征在于，進行所述圖像處理前的圖像數(shù)據(jù)是下述數(shù)據(jù)中的任意一個通過攝像單元對由光學(xué)系統(tǒng)成像的被攝體像進行光電轉(zhuǎn)換而輸出的攝像數(shù)據(jù)；根據(jù)需要對該攝像數(shù)據(jù)實施除了壓縮處理之外的預(yù)定處理的非壓縮圖像數(shù)據(jù)；根據(jù)需要對所述攝像數(shù)據(jù)實施除了壓縮處理之外的預(yù)定處理后，再進行了壓縮處理的壓縮圖像數(shù)據(jù)。
5.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于，所述圖像處理部構(gòu)成為具有失真校正處理部，該失真校正處理部用于校正由所述光學(xué)系統(tǒng)引起的失真像差。
6.根據(jù)權(quán)利要求4所述的圖像處理裝置，其特征在于，所述圖像處理部構(gòu)成為具有失真校正處理部，該失真校正處理部用于校正由所述光學(xué)系統(tǒng)引起的失真像差。
7.根據(jù)權(quán)利要求5所述的圖像處理裝置，其特征在于，所述失真校正處理部具有生成插值坐標的插值坐標生成部；用于存儲所述圖像數(shù)據(jù)的一部分的內(nèi)部存儲部；以及插值運算部，其根據(jù)由所述插值坐標生成部生成的插值坐標，并根據(jù)存儲于所述內(nèi)部存儲部中的圖像數(shù)據(jù)，生成該插值坐標的像素數(shù)據(jù)。
8.根據(jù)權(quán)利要求6所述的圖像處理裝置，其特征在于，所述失真校正處理部具有生成插值坐標的插值坐標生成部；用于存儲所述圖像數(shù)據(jù)的一部分的內(nèi)部存儲部；以及插值運算部，其根據(jù)由所述插值坐標生成部生成的插值坐標，并根據(jù)存儲于所述內(nèi)部存儲部中的圖像數(shù)據(jù)，生成該插值坐標的像素數(shù)據(jù)。
9.根據(jù)權(quán)利要求7所述的圖像處理裝置，其特征在于，所述插值坐標生成部具有插值位置生成部，其生成失真校正后的圖像中作為插值對象的像素的坐標；以及失真校正坐標變換部，其求出與由該插值位置生成部生成的坐標對應(yīng)的失真校正前的圖像中的坐標。
10.根據(jù)權(quán)利要求8所述的圖像處理裝置，其特征在于，所述插值坐標生成部具有插值位置生成部，其生成失真校正后的圖像中作為插值對象的像素的坐標；以及失真校正坐標變換部，其求出與由該插值位置生成部生成的坐標對應(yīng)的失真校正前的圖像中的坐標。
11.根據(jù)權(quán)利要求9所述的圖像處理裝置，其特征在于，所述插值坐標生成部還具有選擇器，該選擇器選擇由所述插值位置生成部生成的坐標和由所述失真校正坐標變換部求出的坐標中的任意一個并輸出給所述插值運算部。
12.根據(jù)權(quán)利要求10所述的圖像處理裝置，其特征在于，所述插值坐標生成部還具有選擇器，該選擇器選擇由所述插值位置生成部生成的坐標和由所述失真校正坐標變換部求出的坐標中的任意一個并輸出給所述插值運算部。
13.根據(jù)權(quán)利要求9所述的圖像處理裝置，其特征在于，所述失真校正坐標變換部使用包含將從失真中心到插值位置的距離的整數(shù)次方進行線性組合而獲得的多項式的預(yù)定校正公式，求出與通過所述插值位置生成部生成的坐標對應(yīng)的失真校正前的圖像中的坐標。
14.根據(jù)權(quán)利要求10所述的圖像處理裝置，其特征在于，所述失真校正坐標變換部使用包含將從失真中心到插值位置的距離的整數(shù)次方進行線性組合而獲得的多項式的預(yù)定校正公式，求出與通過所述插值位置生成部生成的坐標對應(yīng)的失真校正前的圖像中的坐標。
15.根據(jù)權(quán)利要求11所述的圖像處理裝置，其特征在于，所述失真校正坐標變換部使用包含將從失真中心到插值位置的距離的整數(shù)次方進行線性組合而獲得的多項式的預(yù)定校正公式，求出與通過所述插值位置生成部生成的坐標對應(yīng)的失真校正前的圖像中的坐標。
16.根據(jù)權(quán)利要求12所述的圖像處理裝置，其特征在于，所述失真校正坐標變換部使用包含將從失真中心到插值位置的距離的整數(shù)次方進行線性組合而獲得的多項式的預(yù)定校正公式，求出與通過所述插值位置生成部生成的坐標對應(yīng)的失真校正前的圖像中的坐標。
17.根據(jù)權(quán)利要求13所述的圖像處理裝置，其特征在于，所述多項式包含超過了所述距離的2次項的高次項。
18.根據(jù)權(quán)利要求14所述的圖像處理裝置，其特征在于，所述多項式包含超過了所述距離的2次項的高次項。
19.根據(jù)權(quán)利要求15所述的圖像處理裝置，其特征在于，所述多項式包含超過了所述距離的2次項的高次項。
20.根據(jù)權(quán)利要求16所述的圖像處理裝置，其特征在于，所述多項式包含超過了所述距離的2次項的高次項。
21.根據(jù)權(quán)利要求13所述的圖像處理裝置，其特征在于，所述圖像處理部還包括所述失真校正處理部以外的其它圖像處理部，所述失真校正坐標變換部將與從所述失真中心到插值位置的距離相關(guān)的信息輸出給所述其它圖像處理部。
22.根據(jù)權(quán)利要求14所述的圖像處理裝置，其特征在于，所述圖像處理部還包括所述失真校正處理部以外的其它圖像處理部，所述失真校正坐標變換部將與從所述失真中心到插值位置的距離相關(guān)的信息輸出給所述其它圖像處理部。
23.根據(jù)權(quán)利要求15所述的圖像處理裝置，其特征在于，所述圖像處理部還包括所述失真校正處理部以外的其它圖像處理部，所述失真校正坐標變換部將與從所述失真中心到插值位置的距離相關(guān)的信息輸出給所述其它圖像處理部。
24.根據(jù)權(quán)利要求16所述的圖像處理裝置，其特征在于，所述圖像處理部還包括所述失真校正處理部以外的其它圖像處理部，所述失真校正坐標變換部將與從所述失真中心到插值位置的距離相關(guān)的信息輸出給所述其它圖像處理部。
25.根據(jù)權(quán)利要求17所述的圖像處理裝置，其特征在于，所述圖像處理部還包括所述失真校正處理部以外的其它圖像處理部，所述失真校正坐標變換部將與從所述失真中心到插值位置的距離相關(guān)的信息輸出給所述其它圖像處理部。
26.根據(jù)權(quán)利要求18所述的圖像處理裝置，其特征在于，所述圖像處理部還包括所述失真校正處理部以外的其它圖像處理部，所述失真校正坐標變換部將與從所述失真中心到插值位置的距離相關(guān)的信息輸出給所述其它圖像處理部。
27.根據(jù)權(quán)利要求19所述的圖像處理裝置，其特征在于，所述圖像處理部還包括所述失真校正處理部以外的其它圖像處理部，所述失真校正坐標變換部將與從所述失真中心到插值位置的距離相關(guān)的信息輸出給所述其它圖像處理部。
28.根據(jù)權(quán)利要求20所述的圖像處理裝置，其特征在于，所述圖像處理部還包括所述失真校正處理部以外的其它圖像處理部，所述失真校正坐標變換部將與從所述失真中心到插值位置的距離相關(guān)的信息輸出給所述其它圖像處理部。
29.根據(jù)權(quán)利要求21所述的圖像處理裝置，其特征在于，所述其它圖像處理部包括陰影校正部、低通濾波處理部、邊緣強調(diào)處理部之中的1個以上。
30.根據(jù)權(quán)利要求22所述的圖像處理裝置，其特征在于，所述其它圖像處理部包括陰影校正部、低通濾波處理部、邊緣強調(diào)處理部之中的1個以上。
31.根據(jù)權(quán)利要求23所述的圖像處理裝置，其特征在于，所述其它圖像處理部包括陰影校正部、低通濾波處理部、邊緣強調(diào)處理部之中的1個以上。
32.根據(jù)權(quán)利要求24所述的圖像處理裝置，其特征在于，所述其它圖像處理部包括陰影校正部、低通濾波處理部、邊緣強調(diào)處理部之中的1個以上。
33.根據(jù)權(quán)利要求25所述的圖像處理裝置，其特征在于，所述其它圖像處理部包括陰影校正部、低通濾波處理部、邊緣強調(diào)處理部之中的1個以上。
34.根據(jù)權(quán)利要求26所述的圖像處理裝置，其特征在于，所述其它圖像處理部包括陰影校正部、低通濾波處理部、邊緣強調(diào)處理部之中的1個以上。
35.根據(jù)權(quán)利要求27所述的圖像處理裝置，其特征在于，所述其它圖像處理部包括陰影校正部、低通濾波處理部、邊緣強調(diào)處理部之中的1個以上。
36.根據(jù)權(quán)利要求28所述的圖像處理裝置，其特征在于，所述其它圖像處理部包括陰影校正部、低通濾波處理部、邊緣強調(diào)處理部之中的1個以上。
37.一種圖像處理裝置，能夠?qū)?jīng)過光學(xué)系統(tǒng)進行攝像而獲得的電子圖像數(shù)據(jù)進行包括失真校正處理和放大縮小處理的圖像處理，其特征在于，該圖像處理裝置具有失真校正處理部，該失真校正處理部包括插值坐標生成部，其用于生成與進行了可包含失真校正處理和放大縮小處理在內(nèi)的圖像處理的插值處理后的像素位置對應(yīng)的插值處理前的坐標數(shù)據(jù)，即插值坐標數(shù)據(jù)；存儲部，其用于存儲所述圖像數(shù)據(jù)的至少一部分；存儲器控制部，其基于所述插值坐標數(shù)據(jù)，進行將所述圖像數(shù)據(jù)的一部分寫入到所述存儲部的控制，和從該存儲部讀出的控制；以及插值運算部，其通過對根據(jù)所述存儲器控制部的控制從所述存儲部讀出的圖像數(shù)據(jù)進行插值運算，生成進行了插值處理后的像素位置的圖像數(shù)據(jù)。
38.根據(jù)權(quán)利要求37所述的圖像處理裝置，其特征在于，所述插值坐標生成部包括插值位置生成部，其生成與進行了不包含失真校正處理而包含放大縮小處理在內(nèi)的圖像處理的插值處理后的像素位置對應(yīng)的插值處理前的坐標數(shù)據(jù)，即插值位置；失真校正坐標變換部，其使用由所述插值位置生成部生成的插值位置，生成與進行了包含失真校正處理在內(nèi)的圖像處理的插值處理后的像素位置對應(yīng)的插值處理前的坐標數(shù)據(jù)，即插值坐標數(shù)據(jù)；以及選擇器，其在不進行失真校正處理的情況下，選擇所述插值位置生成部的輸出，在進行失真校正處理的情況下，選擇所述失真校正坐標變換部的輸出，并將所選擇的輸出輸出給所述存儲器控制部。
39.根據(jù)權(quán)利要求38所述的圖像處理裝置，其特征在于，所述失真校正坐標變換部包括失真校正系數(shù)計算電路，其算出表示由所述光學(xué)系統(tǒng)的失真像差引起的坐標變化的系數(shù)，即失真校正系數(shù)；以及插值位置校正電路，其使用通過所述失真校正系數(shù)計算電路算出的失真校正系數(shù)，來校正由所述插值位置生成部生成的插值位置，從而生成所述插值坐標數(shù)據(jù)。
40.根據(jù)權(quán)利要求38所述的圖像處理裝置，其特征在于，所述失真校正處理部通過被供給時鐘而進行動作，該失真校正處理部的所述失真校正坐標變換部被供給與提供給該失真校正處理部的該失真校正坐標變換部以外的部分的時鐘不同的時鐘。
41.根據(jù)權(quán)利要求39所述的圖像處理裝置，其特征在于，所述失真校正處理部通過被供給時鐘而進行動作，該失真校正處理部的所述失真校正坐標變換部被供給與提供給該失真校正處理部的該失真校正坐標變換部以外的部分的時鐘不同的時鐘。
42.根據(jù)權(quán)利要求38所述的圖像處理裝置，其特征在于，所述失真校正處理部通過被供給時鐘而進行動作，所述插值位置生成部，或者該插值位置生成部以及所述失真校正坐標變換部不是按照每個時鐘而是間隔著時鐘來進行插值位置的生成，或者插值位置的生成以及插值坐標數(shù)據(jù)的生成。
43.根據(jù)權(quán)利要求39所述的圖像處理裝置，其特征在于，所述失真校正處理部通過被供給時鐘而進行動作，所述插值位置生成部，或者該插值位置生成部以及所述失真校正坐標變換部不是按照每個時鐘而是間隔著時鐘來進行插值位置的生成，或者插值位置的生成以及插值坐標數(shù)據(jù)的生成。
44.根據(jù)權(quán)利要求40所述的圖像處理裝置，其特征在于，所述失真校正處理部通過被供給時鐘而進行動作，所述插值位置生成部，或者該插值位置生成部以及所述失真校正坐標變換部不是按照每個時鐘而是間隔著時鐘來進行插值位置的生成，或者插值位置的生成以及插值坐標數(shù)據(jù)的生成。
45.根據(jù)權(quán)利要求41所述的圖像處理裝置，其特征在于，所述失真校正處理部通過被供給時鐘而進行動作，所述插值位置生成部，或者該插值位置生成部以及所述失真校正坐標變換部不是按照每個時鐘而是間隔著時鐘來進行插值位置的生成，或者插值位置的生成以及插值坐標數(shù)據(jù)的生成。
46.根據(jù)權(quán)利要求38所述的圖像處理裝置，其特征在于，所述失真校正坐標變換部根據(jù)變形后的實用公式來生成插值坐標數(shù)據(jù)，使得與基于基本公式的情況相比減少了乘法次數(shù)。
47.根據(jù)權(quán)利要求39所述的圖像處理裝置，其特征在于，所述失真校正坐標變換部根據(jù)變形后的實用公式來生成插值坐標數(shù)據(jù)，使得與基于基本公式的情況相比減少了乘法次數(shù)。
48.根據(jù)權(quán)利要求40所述的圖像處理裝置，其特征在于，所述失真校正坐標變換部根據(jù)變形后的實用公式來生成插值坐標數(shù)據(jù)，使得與基于基本公式的情況相比減少了乘法次數(shù)。
49.根據(jù)權(quán)利要求41所述的圖像處理裝置，其特征在于，所述失真校正坐標變換部根據(jù)變形后的實用公式來生成插值坐標數(shù)據(jù)，使得與基于基本公式的情況相比減少了乘法次數(shù)。
50.根據(jù)權(quán)利要求42所述的圖像處理裝置，其特征在于，所述失真校正坐標變換部根據(jù)變形后的實用公式來生成插值坐標數(shù)據(jù)，使得與基于基本公式的情況相比減少了乘法次數(shù)。
51.根據(jù)權(quán)利要求43所述的圖像處理裝置，其特征在于，所述失真校正坐標變換部根據(jù)變形后的實用公式來生成插值坐標數(shù)據(jù)，使得與基于基本公式的情況相比減少了乘法次數(shù)。
52.根據(jù)權(quán)利要求44所述的圖像處理裝置，其特征在于，所述失真校正坐標變換部根據(jù)變形后的實用公式來生成插值坐標數(shù)據(jù)，使得與基于基本公式的情況相比減少了乘法次數(shù)。
53.根據(jù)權(quán)利要求45所述的圖像處理裝置，其特征在于，所述失真校正坐標變換部根據(jù)變形后的實用公式來生成插值坐標數(shù)據(jù)，使得與基于基本公式的情況相比減少了乘法次數(shù)。
54.根據(jù)權(quán)利要求39所述的圖像處理裝置，其特征在于，所述失真校正系數(shù)計算電路根據(jù)與失真校正后的圖像內(nèi)的關(guān)注像素對應(yīng)的位置和失真中心位置之間的距離計算所述失真校正系數(shù)，通過浮點小數(shù)運算來進行該計算中的運算處理的至少一部分。
55.根據(jù)權(quán)利要求54所述的圖像處理裝置，其特征在于，所述失真校正系數(shù)計算電路具有查找表，該查找表存儲所述距離的平方值與所述失真校正系數(shù)的對應(yīng)關(guān)系，通過所述浮點小數(shù)運算求出該距離的平方值，通過根據(jù)求出的距離的平方值來參照該查找表，求出所述失真校正系數(shù)。
56.一種圖像處理裝置，對經(jīng)過光學(xué)系統(tǒng)進行攝像而獲得的電子圖像數(shù)據(jù)進行處理，所述圖像數(shù)據(jù)由多個成分構(gòu)成，其特征在于，該圖像處理裝置具有失真校正處理部，該失真校正處理部包括失真校正系數(shù)計算部，其根據(jù)離失真中心位置的距離，針對所述每個成分算出用于校正由所述光學(xué)系統(tǒng)引起的失真像差的失真校正系數(shù)；以及失真校正運算部，其使用通過所述失真校正系數(shù)計算部算出的每個成分的失真校正系數(shù)，按照每個成分對所述圖像數(shù)據(jù)進行失真校正。
57.根據(jù)權(quán)利要求56所述的圖像處理裝置，其特征在于，所述失真校正運算部被與構(gòu)成所述圖像數(shù)據(jù)的所有成分一對一對應(yīng)地設(shè)置多個。
58.根據(jù)權(quán)利要求57所述的圖像處理裝置，其特征在于，所述失真校正運算部構(gòu)成為具有用于存儲圖像數(shù)據(jù)的內(nèi)部緩沖器，并且在該內(nèi)部緩沖器中已存儲了進行失真校正處理所需要的圖像數(shù)據(jù)的階段，輸出失真校正處理開始請求，還具有準許同步部，該準許同步部在收集全了來自所述多個失真校正運算部的全部失真校正運算部的失真校正處理開始請求后，對這些全部的失真校正運算部進行控制以便開始失真校正處理。
59.根據(jù)權(quán)利要求58所述的圖像處理裝置，其特征在于，所述準許同步部向所述失真校正系數(shù)計算部輸出用于許可失真校正系數(shù)的計算處理的許可信號，以開始由該失真校正系數(shù)計算部進行的與所有成分相關(guān)的失真校正系數(shù)的計算，從而對全部的失真校正運算部進行控制，以便開始失真校正處理。
60.根據(jù)權(quán)利要求56所述的圖像處理裝置，其特征在于，所述失真校正系數(shù)計算部的至少一部分作為在計算所述每個成分的失真校正系數(shù)時對所有成分共用的部分而構(gòu)成。
61.根據(jù)權(quán)利要求57所述的圖像處理裝置，其特征在于，所述失真校正系數(shù)計算部的至少一部分作為在計算所述每個成分的失真校正系數(shù)時對所有成分共用的部分而構(gòu)成。
62.根據(jù)權(quán)利要求58所述的圖像處理裝置，其特征在于，所述失真校正系數(shù)計算部的至少一部分作為在計算所述每個成分的失真校正系數(shù)時對所有成分共用的部分而構(gòu)成。
63.根據(jù)權(quán)利要求59所述的圖像處理裝置，其特征在于，所述失真校正系數(shù)計算部的至少一部分作為在計算所述每個成分的失真校正系數(shù)時對所有成分共用的部分而構(gòu)成。
64.根據(jù)權(quán)利要求60所述的圖像處理裝置，其特征在于，所述失真校正系數(shù)計算部算出離所述失真中心位置的距離的平方值，根據(jù)該平方值按每個成分求出所述失真校正系數(shù)，對所述所有成分共用的部分是用于算出離該失真中心位置的距離的平方值的部分。
65.根據(jù)權(quán)利要求61所述的圖像處理裝置，其特征在于，所述失真校正系數(shù)計算部算出離所述失真中心位置的距離的平方值，根據(jù)該平方值按每個成分求出所述失真校正系數(shù)，對所述所有成分共用的部分是用于算出離該失真中心位置的距離的平方值的部分。
66.根據(jù)權(quán)利要求62所述的圖像處理裝置，其特征在于，所述失真校正系數(shù)計算部算出離所述失真中心位置的距離的平方值，根據(jù)該平方值按每個成分求出所述失真校正系數(shù)，對所述所有成分共用的部分是用于算出離該失真中心位置的距離的平方值的部分。
67.根據(jù)權(quán)利要求63所述的圖像處理裝置，其特征在于，所述失真校正系數(shù)計算部算出離所述失真中心位置的距離的平方值，根據(jù)該平方值按每個成分求出所述失真校正系數(shù)，對所述所有成分共用的部分是用于算出離該失真中心位置的距離的平方值的部分。
68.根據(jù)權(quán)利要求64所述的圖像處理裝置，其特征在于，所述失真校正系數(shù)計算部針對所述每個成分都具有查找表，該查找表存儲離所述失真中心位置的距離的平方值與所述失真校正系數(shù)的對應(yīng)關(guān)系，所述失真校正系數(shù)計算部根據(jù)所述算出的距離的平方值，通過參照所述每個成分的查找表，針對每個成分求出所述失真校正系數(shù)。
69.根據(jù)權(quán)利要求65所述的圖像處理裝置，其特征在于，所述失真校正系數(shù)計算部針對所述每個成分都具有查找表，該查找表存儲離所述失真中心位置的距離的平方值與所述失真校正系數(shù)的對應(yīng)關(guān)系，所述失真校正系數(shù)計算部根據(jù)所述算出的距離的平方值，通過參照所述每個成分的查找表，針對每個成分求出所述失真校正系數(shù)。
70.根據(jù)權(quán)利要求66所述的圖像處理裝置，其特征在于，所述失真校正系數(shù)計算部針對所述每個成分都具有查找表，該查找表存儲離所述失真中心位置的距離的平方值與所述失真校正系數(shù)的對應(yīng)關(guān)系，所述失真校正系數(shù)計算部根據(jù)所述算出的距離的平方值，通過參照所述每個成分的查找表，針對每個成分求出所述失真校正系數(shù)。
71.根據(jù)權(quán)利要求67所述的圖像處理裝置，其特征在于，所述失真校正系數(shù)計算部針對所述每個成分都具有查找表，該查找表存儲離所述失真中心位置的距離的平方值與所述失真校正系數(shù)的對應(yīng)關(guān)系，所述失真校正系數(shù)計算部根據(jù)所述算出的距離的平方值，通過參照所述每個成分的查找表，針對每個成分求出所述失真校正系數(shù)。
全文摘要
一種應(yīng)用于數(shù)字照相機的圖像處理裝置，具有幀存儲器(4)，其存儲經(jīng)由總線(11)輸入的通過CCD(1)對由光學(xué)系統(tǒng)生成的光學(xué)像進行攝像而獲得的圖像數(shù)據(jù)；第1數(shù)據(jù)順序轉(zhuǎn)換部(5)，其從該幀存儲器(4)按塊單位在行方向讀出圖像數(shù)據(jù)并輸入，轉(zhuǎn)換成列方向并輸出；圖像處理部(6)，其被與該第1數(shù)據(jù)順序轉(zhuǎn)換部(5)連接成可進行流水線處理，并進行圖像處理；失真校正處理部(7)，其被與該圖像處理部(6)連接成可進行流水線處理，并進行失真校正處理；第2數(shù)據(jù)順序轉(zhuǎn)換部(8)，其被與該失真校正處理部(7)連接成可進行流水線處理，將列方向的塊數(shù)據(jù)恢復(fù)成行方向的塊數(shù)據(jù)并輸出給幀存儲器(4)。
文檔編號H04N5/08GK1799064SQ20048001545
公開日2006年7月5日 申請日期2004年5月31日 優(yōu)先權(quán)日2003年6月2日
發(fā)明者古川英明, 日暮正樹, 上野晃 申請人:奧林巴斯株式會社