專利名稱：畸變修正裝置和具備該畸變修正裝置的攝像裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及對由攝像所獲得的影像信號實施相對由于使用在攝像中的透鏡而產(chǎn)生的畸變像差(失真，distortion)的修正的畸變修正裝置和具備該畸變修正裝置的攝像裝置。
背景技術(shù)：
在利用光學(xué)透鏡，以CCD(Charge Coupled Device電荷耦合器件)或CMOS傳感器等固體攝像元件來進(jìn)行攝像時，因為在光學(xué)透鏡上存在像差，故在向固體攝像元件的成像位置上產(chǎn)生偏移。因此，如果把這個固體攝像元件所輸出的影像信號直接進(jìn)行再生顯示，則作為畸變的圖像再生顯示。在該再生圖像上表現(xiàn)的畸變，被叫做畸變像差(失真)。該失真因光學(xué)透鏡的形狀或光學(xué)透鏡與固體攝像元件之間的相對位置關(guān)系而表現(xiàn)不同的特性。作為這樣的失真，有如圖17A所示，相對理想成像位置，成為擴展的成像位置的「枕形失真」，及如圖17B所示，相對理想成像位置，成為變窄的成像位置的「桶形失真」。另外，在圖17A和圖17B中，虛線表示理想的成像位置，實線表示實際的成像位置。
另外，如圖17A或如圖17B所表現(xiàn)的失真值，相對光學(xué)透鏡的光軸與成像位置(相當(dāng)于固體攝像元件的像素位置)之間的距離相當(dāng)?shù)膱D像高度，非線形變化。已經(jīng)提出把這樣的失真值相對每一個像素位置存儲在數(shù)據(jù)表中的同時，參照該數(shù)據(jù)表，利用每一個像素位置的失真值來修正圖像畸變的攝像裝置。然而，在這樣的攝像裝置中，為了存儲每一個像素位置的失真值，其存儲器容量變大。
對此，作為現(xiàn)有技術(shù)的一種，提出失真(歪斜率)D近似成正比于圖像高度(相對距離)的二次方的值，通過設(shè)置根據(jù)該歪斜率的近似公式來修正光學(xué)畸變的計算電路，從而取消將修正值按照每一個像素位置進(jìn)行存儲的存儲器、的攝像裝置(參照特開平6-153065號公報)。另外，作為其他的現(xiàn)有技術(shù)，提出通過將任意的圖像高度作為基準(zhǔn)來修正圖像的畸變量，從而減少負(fù)方向的修正畸變量，與將對應(yīng)于光軸的畫面中心位置作為基準(zhǔn)的情況相比，在攝像表面上可以變?yōu)閺V范圍圖像的、攝像裝置(參照特開平6-165024號公報)。另外，作為其他的現(xiàn)有技術(shù)，提出通過利用近似多項式計算部來進(jìn)行二次近似多項式的計算，從而求出相對畸變修正后的像素位置的畸變修正前的像素位置，并且，對已經(jīng)求出的畸變修正前的像素位置的亮度信號和色差信號，進(jìn)行不同的插補計算、的攝像裝置(參照特開平11-250239號公報)。
根據(jù)特開平6-153065號公報的攝像裝置，通過設(shè)置計算電路，從而不使用存儲了每一個像素位置的修正值的存儲器，就可以進(jìn)行與失真值相應(yīng)的畸變修正，但是，所有的失真并不限于成正比于圖像高度的二次方，不能對應(yīng)于所有的畸變。另外，根據(jù)特開平6-165024號公報的攝像裝置，通過把畸變像差的基準(zhǔn)位置變?yōu)椴煌谂c光軸相應(yīng)的中心位置的圓周上，從而可以盡可能地有效利用攝像元件的攝像面。然而，在本文獻(xiàn)中也根據(jù)變焦位置來決定近似公式，其近似公式本身或用近似公式的每一個像素位置的修正量也存儲在存儲器中。因此，每一個像素位置的修正量被存儲的情況下，其存儲器容量變大。
另外，根據(jù)特開平11-250239號公報的攝像裝置，通過對利用了近似公式進(jìn)行畸變修正后的信號，利用計算量多的插補式，來求出人類視覺靈敏度高的亮度信號，并且利用計算量少的插補式，來求出人類視覺靈敏度低的亮度信號，從而即使使用失真大的透鏡，也可以以高速進(jìn)行計算處理。然而，對于進(jìn)行坐標(biāo)位置的畸變修正之際的近似公式，存儲由聚焦位置所決定的近似公式的系數(shù)的攝像裝置，在聚焦位置和設(shè)定過的聚焦位置不同的情況下，不能計算近似公式的系數(shù)。

發(fā)明內(nèi)容
本發(fā)明是鑒于這樣的問題而進(jìn)行的，其目的在于，提供一種可以將用于進(jìn)行畸變修正的近似公式變?yōu)榕c每一個像素位置的圖像高度相應(yīng)的近似公式的畸變修正裝置和具備該畸變修正裝置的攝像裝置。
為了達(dá)到上述目的，本發(fā)明的畸變修正裝置，是一種通過將作為所輸入影像信號坐標(biāo)位置的輸入坐標(biāo)位置進(jìn)行轉(zhuǎn)換，而對影像信號實施畸變修正的畸變修正裝置，其中包括存儲成為圖像高度-失真曲線上的離散點的失真數(shù)據(jù)的失真數(shù)據(jù)存儲器；該圖像高度-失真曲線表示，作為所輸出影像信號坐標(biāo)位置的輸出坐標(biāo)位置與對應(yīng)于該輸出坐標(biāo)位置的所述輸入坐標(biāo)位置的相關(guān)值的失真和作為相對該輸出坐標(biāo)位置的所述影像信號的距圖像中心位置的距離的圖像高度(相對距離)之間的關(guān)系；失真計算部，其從該失真數(shù)據(jù)存儲器讀出，所述輸出坐標(biāo)位置的所述圖像高度附近的規(guī)定數(shù)的所述失真數(shù)據(jù)，計算出近似于該輸出坐標(biāo)位置的所述圖像高度附近的所述圖像高度-失真曲線的近似公式，通過在該近似公式中代入該輸出坐標(biāo)位置的所述圖像高度，來求出該輸出坐標(biāo)位置的所述失真；坐標(biāo)計算部，其根據(jù)所述輸出坐標(biāo)位置和針對該輸出坐標(biāo)位置、利用所述失真計算部計算出的所述失真，求出所述輸入坐標(biāo)位置；作為所述輸出坐標(biāo)位置的數(shù)據(jù)，輸出針對該輸出坐標(biāo)位置、以所述坐標(biāo)計算部獲得的所述輸入坐標(biāo)位置的數(shù)據(jù)。
另外，本發(fā)明的攝像裝置包括由透鏡所構(gòu)成的光學(xué)系統(tǒng)；移動該光學(xué)系統(tǒng)的所述透鏡位置的透鏡驅(qū)動控制部；通過對作為所輸入影像信號坐標(biāo)位置的輸入坐標(biāo)位置進(jìn)行轉(zhuǎn)換，從而對根據(jù)所述透鏡位置而輸入的影像信號實施畸變修正處理的畸變修正處理部；所述畸變修正處理部具有存儲多個成為圖像高度-失真曲線上的離散點的失真數(shù)據(jù)的失真數(shù)據(jù)存儲器，圖像高度-失真曲線表示，作為所輸出影像信號坐標(biāo)位置的輸出坐標(biāo)位置與對應(yīng)于該輸出坐標(biāo)位置的所述輸入坐標(biāo)位置的相關(guān)值的失真和作為相對該輸出坐標(biāo)位置的所述影像信號的距圖像中心位置的距離的圖像高度(相對距離)之間的關(guān)系；失真計算部，其從該失真數(shù)據(jù)存儲器讀出，所述輸出坐標(biāo)位置的所述圖像高度附近的規(guī)定數(shù)的所述失真數(shù)據(jù)，計算出近似于該輸出坐標(biāo)位置的所述圖像高度附近的所述圖像高度-失真曲線的近似公式，通過在該近似公式中代入該輸出坐標(biāo)位置的所述圖像高度，來求出該輸出坐標(biāo)位置的所述失真；坐標(biāo)計算部，其根據(jù)所述輸出坐標(biāo)位置和針對該輸出坐標(biāo)位置、利用所述失真計算部計算出的所述失真，求出所述輸入坐標(biāo)位置；并且作為所述輸出坐標(biāo)位置的數(shù)據(jù)，輸出針對該輸出坐標(biāo)位置、以所述坐標(biāo)計算部獲得的所述輸入坐標(biāo)位置的數(shù)據(jù)，根據(jù)由所述透鏡驅(qū)動控制部設(shè)定的所述透鏡位置，設(shè)定由所述失真數(shù)據(jù)存儲器讀出的所述失真數(shù)據(jù)。
根據(jù)本發(fā)明，存儲多點成為圖像高度-失真曲線上的離散點的失真數(shù)據(jù)，并且，利用輸出坐標(biāo)位置的圖像高度附近的多個失真數(shù)據(jù)，可以求出表示輸出坐標(biāo)位置的圖像高度附近的圖像高度-失真曲線的近似公式。因此，不僅可以抑制為了再生圖像高度-失真曲線而存儲的數(shù)據(jù)的存儲容量，還可以用少的計算量來獲得精度高的近似曲線，進(jìn)行精度高的畸變修正成為可能。
另外，不僅可以同時進(jìn)行邊界強調(diào)處理，還可以使根據(jù)其圖像高度或失真或坐標(biāo)位置而設(shè)定的參數(shù)變化。因此，可以實施與坐標(biāo)位置相應(yīng)的邊界強調(diào)處理，可以防止由于插補處理所引起的分辨率降低的現(xiàn)象。此外，對顏色信號可以求出不同的圖像高度-失真曲線的近似公式，所以在進(jìn)行坐標(biāo)位置畸變修正的同時，可以修正每一個顏色的不同的折射率成為原因的顏色像差。進(jìn)一步地，由于可以根據(jù)因輸出的影像信號而使圖像畸變的程度來設(shè)定失真數(shù)據(jù)，故可以容易生成對應(yīng)于所要的圖像顯示狀態(tài)的影像信號。


圖1是表示第一～第三實施方式的攝像裝置的內(nèi)部構(gòu)成的框圖。
圖2A～圖2E是表示固體攝像元件的坐標(biāo)位置與圖像高度和失真之間的關(guān)系的圖。
圖3A和圖3B是用于說明存儲在失真數(shù)據(jù)存儲器中的失真數(shù)據(jù)的圖。
圖4是表示第一實施方式的攝像裝置的信號處理部的內(nèi)部構(gòu)成的框圖。
圖5表示固體攝像元件的像素的坐標(biāo)位置的關(guān)系。
圖6A和圖6B是用于說明圖像高度-失真曲線的近似公式的計算方法的圖。
圖7A～圖7D是用于說明插補系數(shù)的計算動作和插補處理動作的圖。
圖8是表示第二實施方式的攝像裝置的信號處理部的內(nèi)部構(gòu)成的框圖。
圖9是表示圖像高度與邊界成分的放大率之間的關(guān)系的曲線。
圖10是表示失真與邊界成分的放大率之間的關(guān)系的曲線。
圖11是表示坐標(biāo)位置與邊界成分的放大率之間的關(guān)系的曲線。
圖12是表示第三實施方式的攝像裝置的信號處理部的內(nèi)部構(gòu)成的框圖。
圖13是表示設(shè)置在固體攝像裝置中的濾色器的構(gòu)成的圖。
圖14A和圖14B是表示顏色修正處理前和顏色修正處理后的、存儲在圖像存儲器中的影像信號的狀態(tài)的圖。
圖15A～圖15D是用于說明顏色修正處理的圖。
圖16是表示第四實施方式的攝像裝置的內(nèi)部構(gòu)成的框圖。
圖17A和圖17B是用于說明枕形失真和桶形失真的圖。
具體實施例方式
<第一實施方式>
參照

本發(fā)明的第一實施方式。圖1是表示本實施方式的攝像裝置的內(nèi)部構(gòu)成的框圖。另外，圖4是表示本實施方式的攝像裝置的信號處理部的內(nèi)部構(gòu)成的框圖。
圖1的攝像裝置包括由來自被攝像體的光射入的多個透鏡構(gòu)成的光學(xué)系統(tǒng)1；接收通過光學(xué)系統(tǒng)1而射入的光，并輸出與射入光量相應(yīng)的電信號的CCD或CMOS傳感器等固體攝像元件2；將從固體攝像元件2輸出的影像信號轉(zhuǎn)換為數(shù)字信號的A/D轉(zhuǎn)換部3；暫時存儲影像信號的圖像存儲器4；讀出存儲在圖像存儲器4中的影像信號后，進(jìn)行各種信號處理的信號處理部5；把信號處理部5中處理過的影像信號轉(zhuǎn)換為模擬信號的D/A轉(zhuǎn)換部6；設(shè)定光學(xué)系統(tǒng)1內(nèi)的透鏡的變焦位置和聚焦位置的透鏡驅(qū)動控制部7；存儲用來進(jìn)行畸變修正的后面要敘述的失真數(shù)據(jù)的失真數(shù)據(jù)存儲器8；和按照透鏡驅(qū)動控制部7所設(shè)定的變焦位置和聚焦位置，選擇并讀出存儲在失真數(shù)據(jù)存儲器8內(nèi)的失真數(shù)據(jù)的選擇器9。
下面說明，這樣構(gòu)成的存儲在攝像裝置的失真數(shù)據(jù)存儲器8中的失真數(shù)據(jù)。首先，作為畸變像差的失真是根據(jù)從作為光學(xué)系統(tǒng)1的光軸到成像位置為止的距離的圖像高度而變化的值。即，在圖2A中表示固體攝像元件2的有效面時，根據(jù)表示距該有效面的中心(與光學(xué)系統(tǒng)1的光軸重疊的位置)的相對距離的圖像高度r，失真D變化。另外，圖像高度r是將從固體攝像元件2的有效面到頂點為止的距離(相當(dāng)于有效面的對角線的一半長度)設(shè)為100％時的距有效面中心位置的相對距離。
并且，相對由于畸變像差而在固體攝像元件2的有效面上實際成像的成像位置的圖像高度r，將通過沒有畸變像差的光學(xué)系統(tǒng)而成像的理想成像位置的圖像高度設(shè)為R。根據(jù)該實際的成像位置的圖像高度r和理想的成像位置的圖像高度R，可以如下表示失真D。
D＝(r-R)/R×100(％)在這樣定義失真D時，且變?yōu)檎硇问д娴那闆r下，如圖2B所示，失真D變?yōu)檎闹?、且變?yōu)橄鄬嶋H成像位置的圖像高度r而非線形增加的特性，另外，在變?yōu)橥靶问д娴那闆r下，如圖2C所示，失真D變?yōu)樨?fù)的值、且變?yōu)橄鄬嶋H成像位置的圖像高度r而非線形減少的特性。為了簡化信號處理的實際成像的坐標(biāo)位置的計算處理，變換為相對該實際的成像位置的圖像高度r的失真D，將相對該理想的成像位置的圖像高度R的D變換為相對于理想成像位置的圖像高度R的D。即，變換為可以如圖2D或圖2E所示的、表示相對理想成像位置的圖像高度R的失真D的變化的圖像高度-失真曲線上的離散性的多個點(R，D)，并作為失真數(shù)據(jù)存儲在失真數(shù)據(jù)存儲器8中。
即，表示這樣的失真D與理想的成像位置的圖像高度R之間關(guān)系的圖像高度-失真曲線Dx變?yōu)槿鐖D3A所示時，作為失真數(shù)據(jù)存儲該圖像高度-失真曲線Dx上的n個(在圖3的例子中是10個)離散性的點的各自的圖像高度R和失真D。此時，作為失真數(shù)據(jù)dx-1、dx-2、......dx-n存儲圖3A的圖像高度-失真曲線Dx上的離散性的點(以下稱「離散點」)的值(R1，Dx-1)、(R2，Dx-2)、......(Rn，Dx-n)。另外，在下面，為了簡化其處理的說明，將圖像高度-失真曲線Dx的鄰接的離散點設(shè)為其圖像高度的差為ΔR并恒定來進(jìn)行說明。即，作為失真數(shù)據(jù)，存儲以恒定的圖像高度ΔR取樣的離散點的圖像高度和失真。實際上，這個圖像高度的差為任意的，并沒有必要恒定。
另外，如圖3B所示，根據(jù)由透鏡驅(qū)動控制部7設(shè)定的變焦位置或聚焦位置，決定m個(圖3B中的例子中是6個)圖像高度-失真曲線D1、D2、......Dm。此時，對m個圖像高度-失真曲線D1、D2、......Dm的每一個，只存儲n×m個的n個失真數(shù)據(jù)d1-1～d1-n、d2-1～d2-n、...dm-1～dm-n。該失真數(shù)據(jù)d1-1、d2-1、......、d1-n、d2-1、d2-2、......d2-n、......、dm-1、dm-2、......dm-n分別變?yōu)?R1，D1-1)、(R2，D1-2)、......(Rn，D1-n)、(R1，D2-1)、(R2，D2-2)、......(Rn，D2-n)、......(R1，Dm-1)、(R2，Dm-2)、......(Rn，Dm-n)。
根據(jù)由透鏡驅(qū)動控制部7設(shè)定的變焦位置或聚焦位置，選擇器9選擇這樣存儲在失真數(shù)據(jù)存儲器8中的n×m個失真數(shù)據(jù)中、表示一個圖像高度-失真曲線的n個失真數(shù)據(jù)。即，如果選擇器9確認(rèn)根據(jù)由透鏡驅(qū)動控制部7設(shè)定的變焦位置或聚焦位置而設(shè)定的圖像高度-失真曲線為Dk(1≤k≤m)，則從失真數(shù)據(jù)存儲器8中讀出，表示該圖像高度-失真曲線為Dk的失真數(shù)據(jù)dk-1～dk-n。
另外，圖像存儲器4在通過信號處理部5而被提供了來自A/D轉(zhuǎn)換部3的影像信號的同時，根據(jù)矩陣狀配設(shè)在固體攝像元件2內(nèi)的像素的坐標(biāo)位置，存儲構(gòu)成影像信號的每一個像素的數(shù)據(jù)。由信號處理部5讀出存儲在該圖像存儲器4的固體攝像元件2的每一個像素相應(yīng)的數(shù)據(jù)后，利用被讀出的每一個像素來實施信號處理。該信號處理部5作為如圖4所示的畸變修正處理部5a而構(gòu)成。
圖4所示的畸變修正處理部5a包括設(shè)定理想成像位置的坐標(biāo)位置(X，Y)(以下稱「理想坐標(biāo)」)的理想坐標(biāo)設(shè)定部51；由理想坐標(biāo)設(shè)定部51所設(shè)定的理想坐標(biāo)(X，Y)求出圖像高度Rx的圖像高度計算部52；求出相對圖像高度計算部52所確認(rèn)的圖像高度Rx的失真Dx的失真計算部53；利用失真計算部53中所獲得的失真Dx和理想坐標(biāo)設(shè)定部51中所設(shè)定的理想坐標(biāo)(X，Y)，來求出現(xiàn)實成像的坐標(biāo)位置(x，y)(以下稱「現(xiàn)實坐標(biāo)」)的畸變坐標(biāo)計算部54；計算求出畸變坐標(biāo)計算部54中計算出的現(xiàn)實坐標(biāo)(x，y)的數(shù)據(jù)用的插補系數(shù)的插補系數(shù)計算部55；確認(rèn)畸變坐標(biāo)計算部54中所獲得的現(xiàn)實坐標(biāo)(x，y)附近存在的像素的坐標(biāo)位置(以下作為「插補用周圍像素的坐標(biāo)」)，指示圖像存儲器4輸出插補用周圍像素的坐標(biāo)數(shù)據(jù)的存儲器控制器56；通過利用插補系數(shù)計算部55所獲得的插補系數(shù)，對圖像存儲器4所輸出的插補用周圍像素的坐標(biāo)數(shù)據(jù)進(jìn)行插補處理，從而作為理想坐標(biāo)(X，Y)輸出的像素插補處理部57。
下面說明，這樣構(gòu)成的畸變修正處理部5a的動作。此時，如圖5所示，在固體攝像元件2中，假設(shè)在水平方向上分配2x0+1的像素、且在垂直方向上分配2y0+1的像素。另外，該固體攝像元件2的像素的坐標(biāo)位置因為以配置在左上頂點的像素作為原點(0，0)，所以每一個像素的坐標(biāo)位置變?yōu)?0，0)～(2x0，2y0)。因此，固體攝像元件2的中心位置(和構(gòu)成光學(xué)系統(tǒng)1透鏡的光軸一致的點)的坐標(biāo)位置變?yōu)?x0，y0)。另外，理想坐標(biāo)(X，Y)和現(xiàn)實坐標(biāo)(x，y)分別為依據(jù)圖5的原點(0，0)的相對位置的坐標(biāo)位置。
在這樣設(shè)定坐標(biāo)位置時，作為理想坐標(biāo)(0，0)～(2x0，2y0)的一個，如果在理想坐標(biāo)設(shè)定部51中設(shè)定理想坐標(biāo)(X，Y)，則提供給圖像高度計算部52和畸變坐標(biāo)計算部54。然后，在圖像高度計算部52中，利用理想坐標(biāo)(X，Y)與中心坐標(biāo)(x0，y0)之間的相對位置，求出圖像高度Rx。即，通過利用如下的計算式，從而在圖像高度計算部52中可以求出理想坐標(biāo)(X，Y)的圖像高度Rx。
Rx＝((X-x0)2+(Y-y0)2)1/2/(x02+y02)1/2另外，如果求出相對這樣求出的理想坐標(biāo)(X，Y)的圖像高度Rx，則jiang該圖像高度Rx提供給失真計算部53。該失真計算部53提供選擇器9中被選擇的表示圖像高度-失真曲線Dk的失真數(shù)據(jù)dk-1～dk-n。然后，在圖像高度-失真曲線Dk中，利用相當(dāng)于圖像高度計算部52中所求出的圖像高度Rx附近的四個離散點Va～Vd的失真數(shù)據(jù)dk-a、dk-b、dk-c、dk-d，求出相對相當(dāng)于dk-b、dk-c的離散點Vb、Vc之間曲線的近似公式f(R)。
另外，如圖6A所示，用失真數(shù)據(jù)dk-a、～dk-d所表示的四個離散點Va～Vd分別是圖像高度-失真曲線Dk上的鄰接的離散點，圖像高度Rx存在于用失真數(shù)據(jù)dk-b、dk-c所表示的兩個離散點Vb、Vc之間。并且，作為(Ra，Da)、(Rb，Db)、(Rc，Dc)、(Rd，Dd)，表示離散點Va、Vb、Vc、Vd的失真數(shù)據(jù)dk-a、dk-b、dk-c、dk-d。此時，Rb＝Ra+ΔR、Rc＝Ra+2×ΔR、Rd＝Ra+3×ΔR。
此時，首先，求出離散點Vb、Vc的圖像高度差Rc-Rb＝ΔR和失真差Dc-Db＝ΔD。另外，如圖6B所示，利用以下式來求出，連接離散點Va、Vc的直線L1的傾斜度t1和連接離散點Vb、Vd的直線L2的傾斜度t2。
t1＝(Dc-Da)/(Rc-Ra)＝(Dc-Da)/(2×ΔR)t2＝(Dd-Db)/(Rd-Rb)＝(Dd-Db)/(2×ΔR)其次，由于離散點Vb、Vc的曲線變?yōu)橐噪x散點Vb作為原點(0，0)，求出變?yōu)槠?次式的近似公式F(R)＝A×R3+B×R2+C×R。此時，求出近似公式F(R)的系數(shù)A～C，以便滿足如下的(1)～(3)式的條件。即，由于近似公式F(R)的曲線通過變?yōu)?ΔR，ΔD)的離散點Vc的同時，離散點Vb的切線的傾斜度等于直線L1的傾斜度t1，離散點Vc的切線的傾斜度等于直線L2的傾斜度t2。
F(ΔR)＝A×(ΔR)3+B×(ΔR)2+C×(ΔR)＝ΔD......(1)F′(0)＝3A×02+2B×0+C＝t1 ......(2)F′(ΔR)＝3A×(ΔR)2+2B×(ΔR)+C＝t2 ......(3)因此，滿足上述的(1)～(3)式條件的系數(shù)A～C，可以如下求出。然后，通過把這樣獲得的系數(shù)A～C的F(R)，平行移動離散點Vb的坐標(biāo)(Ra+ΔR，Db)量，從而可以求出以下的f(R)。
A＝-(2×ΔD-ΔR×(t1+t2))/ΔR)2B＝-(2×t1+t2-3×ΔD/ΔR)/ΔRC＝t1f(R)＝A×(R-Rb)3+B×(R-Rb)2+C×(R-Rb)+Db通過對這樣求出的近似公式f(R)，代入圖像高度計算部52所給予的圖像高度Rx，來求出失真Dx＝f(R)。然后，將所得到的失真Dx提供給畸變坐標(biāo)計算部54。在畸變坐標(biāo)計算部54中，利用失真計算部53中所獲得的失真Dx和理想坐標(biāo)設(shè)定部51中所設(shè)定的理想坐標(biāo)(X，Y)，求出相對理想坐標(biāo)(X，Y)的現(xiàn)實坐標(biāo)(x，y)。即，現(xiàn)實坐標(biāo)(x，y)的水平方向的坐標(biāo)(x)和垂直方向的坐標(biāo)(y)的值，分別變?yōu)槿缦隆?br> x＝(X-x0)×(1+Dx/100)+x0y＝(Y-x0)×(1+Dx/100)+y0在畸變坐標(biāo)計算部54中，如果這樣求出現(xiàn)實坐標(biāo)(x，y)，則提供給插補系數(shù)計算部55和存儲器控制器56。在插補系數(shù)計算部55和存儲器控制器56中，分別首先確認(rèn)已經(jīng)求出的現(xiàn)實坐標(biāo)(x，y)的水平方向的坐標(biāo)(x)和垂直方向的坐標(biāo)(y)各自的值是否為整數(shù)。即，使xi、yi為整數(shù)、且xd、yd為小數(shù)、且x＝xi+xd、y＝y(tǒng)i+yd時，分別確認(rèn)xd是否為0、yd是否為0。
然后，在xd和yd同時為0時，因為現(xiàn)實坐標(biāo)(x，y)和坐標(biāo)(xi，yi)一致，如圖7A所示，由存儲器控制器56指示，以使圖像存儲器4輸出坐標(biāo)位置(xi，yi)的像素數(shù)據(jù)。并且，此時，在插補系數(shù)計算部55中，將插補系數(shù)設(shè)定為1，以使坐標(biāo)位置(xi，yi)的像素數(shù)據(jù)被直接利用。因此，在像素插補處理部57中，作為理想坐標(biāo)(X，Y)的數(shù)據(jù)，輸出由圖像存儲器4所輸出的坐標(biāo)位置(xi，yi)的像素數(shù)據(jù)dii。
另外，在xd為0而yd不是0時，如圖7B所示，把變?yōu)樽鴺?biāo)位置(xi，yi)、(xi，yi+1)的兩個像素作為插補用周圍像素，由存儲器控制器56指示，以使圖像存儲器4輸出坐標(biāo)位置(xi，yi)、(xi，yi+1)的像素數(shù)據(jù)。并且，此時，在插補系數(shù)計算部55中，利用現(xiàn)實坐標(biāo)(x，y)與坐標(biāo)位置(xi，yi)、(xi，yi+1)之間的相對位置，把插補系數(shù)設(shè)定為yd。因此，在像素插補處理部57中，作為理想坐標(biāo)(X，Y)的數(shù)據(jù)，輸出用插補系數(shù)yd對由圖像存儲器4輸出的坐標(biāo)位置(xi，yi)、(xi，yi+1)的像素數(shù)據(jù)dii、di(i+1)進(jìn)行了插補的數(shù)據(jù)(1-yd)×dii+yd×di(i+1)。
另外，在yd為0而xd不是0時，如圖7C所示，把變?yōu)樽鴺?biāo)位置(xi，yi)、(xi+1，yi)的兩個像素作為插補用周圍像素，由存儲器控制器56指示，以使圖像存儲器4輸出坐標(biāo)位置(xi，yi)、(xi+1，yi)的像素數(shù)據(jù)。并且，此時，在插補系數(shù)計算部55中，利用現(xiàn)實坐標(biāo)(x，y)與坐標(biāo)位置(xi，yi)、(xi+1，yi)之間的相對位置，把插補系數(shù)設(shè)定為xd。因此，在像素插補處理部57中，作為理想坐標(biāo)(X，Y)的數(shù)據(jù)，輸出用插補系數(shù)xd對由圖像存儲器4輸出的坐標(biāo)位置(xi，yi)、(xi+1，yi)的像素數(shù)據(jù)dii、d(i+1)I進(jìn)行過插補的數(shù)據(jù)(1-xd)×dii+xd×d(i+1)i。
另外，在yd和xd都不是0時，如圖7D所示，把變?yōu)樽鴺?biāo)位置(xi，yi)、(xi，yi+1)、(xi+1，yi)、(xi+1，yi+1)的四個像素作為插補用周圍像素，由存儲器控制器56指示，以使圖像存儲器4輸出坐標(biāo)位置(xi，yi)、(xi，yi+1)、(xi+1，yi)、(xi+1，yi+1)的像素數(shù)據(jù)。并且，此時，在插補系數(shù)計算部55中，根據(jù)現(xiàn)實坐標(biāo)(x，y)與坐標(biāo)位置(xi，yi)、(xi，yi+1)、(xi+1，yi)、(xi+1，yi+1)之間的相對位置，把插補系數(shù)設(shè)定為xd、yd。因此，在像素插補處理部57中，作為理想坐標(biāo)(X，Y)的數(shù)據(jù)，輸出利用插補系數(shù)xd、yd對由圖像存儲器4輸出的坐標(biāo)位置(xi，yi)、(xi，yi+1)、(xi+1，yi)、(xi+1，yi+1)的像素數(shù)據(jù)dii、di(i+1)、d(i+1)i、d(i+1)(i+1)進(jìn)行過插補的數(shù)據(jù)(1-yd)×((1-xd)×dii+xd×d(i+1)i)+yd×((1-xd)×di(i+1)+xd×d(i+1)(i+1))的數(shù)據(jù)。
這樣，通過在像素插補處理部57中，插補理想坐標(biāo)(0，0)～(2x0，2y0)各自的數(shù)據(jù)，從而把實施了畸變插補的數(shù)據(jù)向D/A轉(zhuǎn)換部6輸出。另外，在此時，也可以在確認(rèn)現(xiàn)實坐標(biāo)(x，y)與插補用周圍像素坐標(biāo)位置之間的相對關(guān)系時，只確認(rèn)坐標(biāo)位置(xi，yi)的插補用周圍像素，通過確認(rèn)現(xiàn)實坐標(biāo)(x，y)與坐標(biāo)位置(xi，yi)之間的水平方向和垂直方向的相對關(guān)系，來確認(rèn)插補系數(shù)。
另外，在存儲在失真數(shù)據(jù)存儲器8中的失真數(shù)據(jù)，在取樣圖像高度ΔR為2α且恒定的情況下，可以將由失真計算部53求出的f(R)的系數(shù)A、B的計算式用下式替代，變?yōu)椴恍枰娐贰Ａ硗?，下式中的記號a》b意味著把a移位到b位右邊(低位側(cè))。
A＝-(2×ΔD)》(3×α)+(t1+t2)》(2×α)B＝-(2×t1+t2)》α+(3×ΔD)》(2×α)另外，在失真數(shù)據(jù)存儲器8中，相對設(shè)定在透鏡驅(qū)動控制部7的m處變焦位置或聚焦位置，存儲如圖3B所示的m個圖像高度-失真曲線D1、D2、......Dm上成為離散點的失真數(shù)據(jù)。此時，m處變焦位置或聚焦位置以外的變焦位置或聚焦位置被設(shè)定時，通過插補處理存儲在失真數(shù)據(jù)存儲器8中的變?yōu)槠淝昂笪恢玫亩鄠€圖像高度-失真曲線，從而生成與已經(jīng)設(shè)定的變焦位置或聚焦位置相應(yīng)的失真數(shù)據(jù)，也是可以的。
進(jìn)一步地，也可以是在理想坐標(biāo)設(shè)定部51中每次設(shè)定理想坐標(biāo)時，選擇器9從失真數(shù)據(jù)存儲器8中選擇所必要的失真數(shù)據(jù)并提供給失真計算部53。此時，根據(jù)圖像高度計算部52所獲得的圖像高度，失真計算部53使選擇器9動作，同時選擇器9從失真數(shù)據(jù)存儲器8選擇所必要的失真數(shù)據(jù)并進(jìn)行提供。
<第二實施方式>
參照

本發(fā)明的第二實施方式。本實施方式的攝像裝置和第一實施方式同樣，成為圖1所示的構(gòu)成。圖8是表示本實施方式的攝像裝置的信號處理部的內(nèi)部構(gòu)成的框圖。本實施方式的攝像裝置和第一實施方式的攝像裝置不同的是，在信號處理部5中不僅實施畸變修正處理，還實施邊界強調(diào)處理。因此，對于該信號處理部5以外的部分及其動作，因為和第一實施方式相同，參照第一實施方式，以省略其詳細(xì)的說明。
如圖8所示，本實施方式的攝像裝置的信號處理部5包括和第一實施方式相同的畸變修正處理部5a；通過進(jìn)行二次微分來提取邊界成分，并且把這個邊界成分和原來的影像信號相加，以實施邊界強調(diào)處理的邊界強調(diào)處理部5b。而且，圖8所示的邊界強調(diào)處理部5b包括指示從圖像存儲器4讀出數(shù)據(jù)的像素的存儲器控制器61；通過對包含由圖像存儲器4讀出的對象像素的多個像素的數(shù)據(jù)實施二次微分或?qū)嵤┚?nèi)偏析(coring)處理，而提取相對每一個像素的邊界成分的邊界成分提取部62；把邊界成分提取部62所提取的邊界成分，以放大率β來放大的放大部63；對每一個對象像素設(shè)定放大部63中的放大率β的放大率設(shè)定部64；把放大部63中已經(jīng)放大的邊界成分和由圖像存儲器4讀出的對象像素的數(shù)據(jù)相加的加法運算部65。另外，畸變修正處理部5a的構(gòu)成和第一實施方式同樣，成為圖4所示的構(gòu)成。
下面說明這樣構(gòu)成信號處理部5時的動作。關(guān)于畸變修正處理部5a，參照第一實施方式，并省略其詳細(xì)的說明。即，和第一實施方式同樣，通過使畸變修正處理部5a的各部進(jìn)行動作，實施畸變修正處理，而將相對各理想坐標(biāo)(0，0)～(2x0，2y0)的數(shù)據(jù)從圖像插補處理部57輸出。這樣，由圖像插補處理部57輸出的相對各理想坐標(biāo)(0，0)～(2x0，2y0)的數(shù)據(jù)存儲在與坐標(biāo)位置相應(yīng)的圖像存儲器4的地址位置。
這樣，如果在圖像存儲器4中存儲相對畸變修正處理后的各理想坐標(biāo)(0，0)～(2x0，2y0)的數(shù)據(jù)，則作為從理想坐標(biāo)(0，0)開始按順序?qū)嵤┻吔鐝娬{(diào)處理的對象像素，由圖像存儲器4讀出其數(shù)據(jù)，并且由圖像存儲器4讀出鄰接于對象像素的水平方向和垂直方向的多個邊界強調(diào)用周圍像素。此時，存儲器控制器61指示圖像存儲器4的地址，以便讀出對象像素和邊界強調(diào)用周圍像素。然后，所讀出的對象像素和邊界強調(diào)用周圍像素被提供給邊界成分提取部62，以提取相對對象像素的邊界成分ed。
此時，在放大率設(shè)定部64中，根據(jù)相對對象像素坐標(biāo)位置的圖像高度或失真來設(shè)定放大率β。另外，關(guān)于放大率設(shè)定部64中的放大率β的設(shè)定方法，在后面敘述。然后，如果將邊界成分提取部62中提取出的邊界成分ed和放大率設(shè)定部64中的放大率β提供給放大部63，則以放大率β放大邊界成分ed，而輸出β×ed。另外，如果將從圖像存儲器4讀出的對象像素的數(shù)據(jù)d和放大部63中被放大的邊界成分β×ed提供給加法運算部65，則在加法運算部65中進(jìn)行加法運算，向D/A轉(zhuǎn)換部6輸出對象像素的數(shù)據(jù)d+β×ed。這樣，由于各部動作，從而在邊界強調(diào)處理部5b，對畸變修正處理部5a中進(jìn)行過畸變修正處理的影像信號實施邊界強調(diào)處理。
下面說明，這樣動作的邊界強調(diào)處理部5b的放大率設(shè)定部64的放大率β的設(shè)定動作的各例。
1、放大率β設(shè)定動作的第一例在本例中，放大率設(shè)定部64提供畸變修正處理部5a的圖像高度計算部52中求出的圖像高度。即，由圖像高度計算部52提供由存儲器控制器61指示了讀出的對象像素的坐標(biāo)位置的圖像高度Rx。此時，通過使相對由理想坐標(biāo)設(shè)定部51設(shè)定的理想坐標(biāo)的圖像高度計算部52所計算出的圖像高度Rx延遲，并提供給邊界強調(diào)處理部5b的放大率設(shè)定部64，而將對象像素的坐標(biāo)位置的圖像高度Rx提供給放大率設(shè)定部64，也是可以的。
由圖9的關(guān)系式求出，與這樣由圖像高度計算部52給出的對象像素圖像高度Rx相應(yīng)的放大率β。另外，圖9是表示放大率β與圖像高度Rx之間關(guān)系的曲線，表示圖像高度Rx越大放大率β越大的特性。這樣，圖像高度Rx越大、放大部63中被放大的邊界成分變大。即，越是失真值變大的圖像高度大的部分，越實施強的邊界強調(diào)處理。
2、放大率β的設(shè)定動作的第二例在本例中，放大率設(shè)定部64提供畸變修正處理部5a的失真計算部53中求出的失真Dx＝f(Rx)。即，將由存儲器控制器61指示了讀出的對象像素的坐標(biāo)位置的失真Dx提供給失真計算部53。此時，通過使相對由理想坐標(biāo)設(shè)定部51設(shè)定的理想坐標(biāo)的失真計算部53所計算的失真Dx被延遲，并提供給邊界強調(diào)處理部5b的放大率設(shè)定部64，從而將對象像素的坐標(biāo)位置的失真Dx提供給放大率設(shè)定部64，也是可以的。
由圖10的關(guān)系式求出，與這樣由失真計算部53給出的對象像素的失真Dx相應(yīng)的放大率β。另外，圖10是表示放大率β與失真Dx之間關(guān)系的曲線，表示失真Dx絕對值越大放大率β越大的特性。這樣，失真Dx絕對值越大，放大部63中被放大的邊界成分變大。即，越是失真絕對值變大的部分，越實施強的邊界強調(diào)處理。
3、放大率β的設(shè)定動作的第三例在本例中，放大率設(shè)定部64提供畸變修正處理部5a的畸變坐標(biāo)計算部54所求出的現(xiàn)實坐標(biāo)(x，y)。即，由畸變坐標(biāo)計算部54提供由存儲器控制器61指示了讀出的對象像素的坐標(biāo)位置的現(xiàn)實坐標(biāo)(x，y)。此時，通過使相對由理想坐標(biāo)設(shè)定部51設(shè)定的理想坐標(biāo)的畸變坐標(biāo)計算部54所計算出的現(xiàn)實坐標(biāo)(x，y)延遲，并提供給邊界強調(diào)處理部5b的放大率設(shè)定部64，而將對象像素的坐標(biāo)位置的現(xiàn)實坐標(biāo)(x，y)提供給放大率設(shè)定部64，也是可以的。
這樣，如果由畸變坐標(biāo)計算部54提供對象像素的現(xiàn)實坐標(biāo)(x，y)，則在該現(xiàn)實坐標(biāo)(x，y)變?yōu)?xi+xd，yi+yd)時，該現(xiàn)實坐標(biāo)(x，y)的插補用周圍像素的坐標(biāo)位置(xi，yi)、(xi，yi+1)、(xi+1，yi)、(xi+1，yi+1)被確認(rèn)。即，在xd和yd同時為0時，如圖7A所示，被確認(rèn)為和坐標(biāo)位置(xi，yi)的像素一致，另外，在xd為0、且yd不是0時，如圖7B所示，以變?yōu)樽鴺?biāo)位置(xi，yi)、(xi，yi+1)的兩個像素作為插補用周圍像素，另外，在yd為0、且xd不是0時，如圖7C所示，以變?yōu)樽鴺?biāo)位置(xi，yi)、(xi+1，yi)的兩個像素作為插補用周圍像素，另外，在xd和yd都不是0時，如圖7D所示，以變?yōu)樽鴺?biāo)位置(xi，yi)、(xi，yi+1)、(xi+1，yi)、(xi+1，yi+1)的四個像素作為插補用周圍像素。
這樣，如果相對對象像素的現(xiàn)實坐標(biāo)的插補用周圍像素的坐標(biāo)位置，則確認(rèn)被確認(rèn)過的插補用周圍像素與對象像素之間的水平方向和垂直方向的相對位置。此時，如圖11所示，設(shè)定放大率β，以使對象像素的現(xiàn)實坐標(biāo)(x，y)越接近坐標(biāo)位置(xi，yi)、(xi，yi+1)、(xi+1，yi)、(xi+1，yi+1)的插補用周圍像素Ga～Gd的中心位置Go，放大率β就越大。即，畸變修正處理部5a的插補系數(shù)計算部55所獲得的水平方向和垂直方向的插補系數(shù)xd、yd越接近0.5，其放大率β就變得越大。此時，分別用如下的運算式來表示β與插補系數(shù)xd、yd的關(guān)系。式中α和β0為常數(shù)，且α是正的數(shù)。
β＝β0×(0.5-|xd-0.5|)×(0.5-|yd-0.5|)+αβ＝β0×((0.5-|xd-0.5|)+(0.5-|yd-0.5|))+αβ＝β0×((0.5-|xd-0.5|)2+(0.5-|yd-0.5|)2)1/2+α放大率設(shè)定部64通過進(jìn)行該第一例～第三例的任意一個的動作，從而可以在每一個像素設(shè)定最佳放大率β。另外，這樣在放大率設(shè)定部64中設(shè)定放大率β時，也可以組合第一例～第三例來進(jìn)行設(shè)定動作。此時，例如，可以組合第一例和第三例；如第一例那樣，根據(jù)對象像素的圖像高度來設(shè)定放大率β之后，如第三例那樣，根據(jù)對象像素的現(xiàn)實坐標(biāo)來設(shè)定放大率β。也可以組合第二例和第三例，如第二例那樣，根據(jù)對象像素的失真來設(shè)定放大率β之后，如第三例那樣，根據(jù)對象像素的現(xiàn)實坐標(biāo)來設(shè)定放大率β。
另外，在本實施方式中，信號處理部5進(jìn)行畸變修正處理部5a的畸變修正處理后，由邊界強調(diào)處理部5b進(jìn)行邊界強調(diào)處理；但也可以是由邊界強調(diào)處理部5b進(jìn)行邊界強調(diào)處理后，進(jìn)行畸變修正處理部5a的畸變修正處理。
<第三實施方式>
參照

本發(fā)明的第三實施方式。本實施方式的攝像裝置和第一實施方式同樣，成為圖1所示的構(gòu)成。另外，圖12是表示本實施方式的攝像裝置的信號處理部的內(nèi)部構(gòu)成的框圖。本實施方式的攝像裝置和第二實施方式的攝像裝置不同的是，在信號處理部5不僅實施畸變修正處理和邊界強調(diào)處理，還實施顏色像差修正處理。由此，由于該信號處理部5以外的部分及其動作和第一及第二實施方式同樣，故參照第一及第二實施方式，并省略其詳細(xì)的說明。
本實施方式的攝像裝置是在固體攝像元件2的每一個像素的表面上設(shè)置不同的濾色器，以便在固體攝像元件2的各自的水平方向和垂直方向中，從互相鄰接的像素輸出不同的顏色信號。即，在固體攝像元件2的像素表面上設(shè)置由多種子濾色器構(gòu)成的單板式濾色器。另外，在本實施方式中，設(shè)置在該固體攝像元件2的單板式濾色器是R(紅)、G(綠)、B(藍(lán))的子濾色器如圖13所示排列的貝葉型的濾色器。
另外，如圖12所示，在本實施方式的攝像裝置的信號處理部5包括和第一實施方式的畸變修正處理部5a同樣構(gòu)成的畸變修正處理部5ra、5ga、5ba；和第二實施方式的邊界強調(diào)處理部5b同樣構(gòu)成的邊界強調(diào)處理部5rb、5gb、5bb；根據(jù)相對各顏色信號(RGB信號)的周圍像素的數(shù)據(jù)，進(jìn)行插補處理的顏色插補處理部5c；由各顏色信號生成亮度信號和色差信號的信號生成部5d；利用各顏色信號的折射率之比，使失真數(shù)據(jù)放大或衰減的失真數(shù)據(jù)放大部50r、50b。
這樣在構(gòu)成信號處理部5時，顏色插補處理部5c按每一個像素的數(shù)據(jù)讀出，相對圖像存儲器4的每一個地址，根據(jù)其現(xiàn)實坐標(biāo)而存儲的影像信號。然后，從所讀出的坐標(biāo)位置，判定是RGB信號的哪個顏色信號，在是R信號的情況下，通過由周圍像素進(jìn)行插補處理而生成該像素的G信號和B信號；在是G信號的情況下，通過由周圍像素進(jìn)行插補處理而生成該像素的R信號和B信號；在是B信號的情況下，通過由周圍像素進(jìn)行插補處理而生成該像素的R信號和G信號。然后，對每一個像素，分別生成RGB信號，存儲在與圖像存儲器4的現(xiàn)實坐標(biāo)相應(yīng)的每一個地址位置。
下面說明，利用最簡單的插補方法來生成RGB信號的方法。如圖14A所示，在圖像存儲器4中，RGB信號分別存儲在輸出每一個信號的現(xiàn)實坐標(biāo)(0，0)～(2x0，2y0)相應(yīng)的地址位置A00～A2xo2yo中。然后，成為顏色插補處理的對象像素的像素位置Pxy的R信號被讀出時，如圖15A所示，在配置分別輸出RGB信號的像素的情況下，由鄰接于水平方向和垂直方向的像素位置P(x-1)y、P(x+1)y、Px(y-1)、Px(y+1)的四個像素的G信號進(jìn)行插補而生成像素位置Px y的G信號，并且，由在對角線方向鄰接的像素位置P(x-1)(y-1)、P(x-1)(y+1)、P(x+1)(y-1)、P(x+1)(y+1)的四個像素的B信號進(jìn)行插補而生成像素位置Pxy的B信號。
另外，在成為顏色插補處理的對象像素的像素位置Pxy的G信號被讀出時，如圖15B所示，在配置分別輸出RGB信號的像素的情況下，利用鄰接于水平方向的像素位置P(x-1)y、P(x+1)y的兩個像素的R信號進(jìn)行插補而生成像素位置Pxy的R信號，并且，由在垂直方向鄰接的像素位置Px(y-1)、Px(y+1)兩個像素的B信號進(jìn)行插補而生成像素位置Pxy的B信號。此外，如圖15C所示，在配置分別輸出RGB信號的像素的情況下，利用鄰接于垂直方向的像素位置Px(y-1)、Px(y+1)的兩個像素的R信號進(jìn)行插補而生成像素位置Pxy的R信號，并且，利用在水平方向鄰接的像素位置P(x-1)y、P(x+1)y兩個像素的B信號進(jìn)行插補而生成像素位置Pxy的B信號。
另外，在成為顏色插補處理的對象像素的像素位置Pxy的B信號被讀出時，如圖15D所示，在配置分別輸出RGB信號的像素的情況下，利用在水平方向和垂直方向鄰接的像素位置P(x-1)y、P(x+1)y、Px(y-1)、Px(y+1)的四個像素的G信號進(jìn)行插補而生成像素位置Pxy的G信號，并且，利用在對角線方向鄰接的像素位置P(x-1)(y-1)、P(x-1)(y+1)、P(x+1)(y-1)、P(x+1)(y+1)的四個像素的R信號進(jìn)行插補而生成像素位置Pxy的R信號。另外，在圖14A、圖14B、和圖15A～圖15D中，括號內(nèi)所示的RGB分別對應(yīng)于RGB信號。
這樣，為了生成對象像素輸出的顏色信號以外的顏色信號，如果進(jìn)行利用周圍像素顏色信號的顏色插補處理，則由顏色插補處理部5c向圖像存儲器4輸出每一個像素的RGB信號。然后，所生成的每一個像素的RGB信號分別存儲在圖像存儲器4中分別分配給RGB信號的存儲區(qū)域4r、4g、4b的現(xiàn)實坐標(biāo)相應(yīng)的地址位置中。
即，如圖14B所示，現(xiàn)實坐標(biāo)(0，0)～(2x0，2y0)各自的像素位置的R信號存儲在與現(xiàn)實坐標(biāo)(0，0)～(2x0，2y0)相應(yīng)的存儲區(qū)域4r的地址位置Ar00～Ar2xo2yo中，并且，現(xiàn)實坐標(biāo)(0，0)～(2x0，2y0)各自的像素位置的G信號存儲在與現(xiàn)實坐標(biāo)(0，0)～(2x0，2y0)相應(yīng)的存儲區(qū)域4g的地址位置Ag00～Ag2xo2yo中，現(xiàn)實坐標(biāo)(0，0)～(2x0，2y0)各自的像素位置的B信號存儲在與現(xiàn)實坐標(biāo)(0，0)～(2x0，2y0)相應(yīng)的存儲區(qū)域4b的地址位置Ab00～Ab2xo2yo。
這樣，如果將顏色插補處理部5c中被顏色插補而生成的每一個現(xiàn)實坐標(biāo)相應(yīng)的RGB信號存儲在圖像存儲器4內(nèi)，則畸變修正處理部5ra、5ga、5ba通過進(jìn)行和第一實施方式的畸變修正處理部5a相同動作，從而實施相對各RGB信號的畸變修正處理。此時，如果選擇器9從失真數(shù)據(jù)存儲器8選擇的失真數(shù)據(jù)為相對G信號的失真數(shù)據(jù)，則將該失真數(shù)據(jù)直接提供給畸變修正處理部5ga。并且，在失真數(shù)據(jù)放大部50r中，利用根據(jù)R信號的折射率與G信號折射率之比而獲得的放大率，放大或衰減選擇器9提供的失真數(shù)據(jù)后，提供給畸變修正處理部5ra。同樣，在失真數(shù)據(jù)放大部50b中，利用根據(jù)B信號的折射率與G信號的折射率之比而獲得的放大率，將選擇器9所提供的失真數(shù)據(jù)放大或衰減后，提供給畸變修正處理部5ba。
由此，畸變修正處理部5ra通過利用存儲在存儲區(qū)域4r內(nèi)的數(shù)據(jù)，進(jìn)行基于來自失真數(shù)據(jù)放大部50r的失真數(shù)據(jù)的畸變修正處理，從而分別生成相對理想坐標(biāo)(0，0)～(2x0，2y0)的數(shù)據(jù)。然后，相對各理想坐標(biāo)(0，0)～(2x0，2y0)的畸變修正處理后的R信號數(shù)據(jù)，存儲在與其坐標(biāo)位置相應(yīng)的圖像存儲器4的存儲區(qū)域4r的地址位置中。同樣，畸變修正處理部5ga通過利用存儲在存儲區(qū)域4g內(nèi)的數(shù)據(jù)，進(jìn)行基于選擇器9直接提供的失真數(shù)據(jù)的畸變修正處理，從而分別生成相對理想坐標(biāo)(0，0)～(2x0，2y0)的數(shù)據(jù)。然后，相對各理想坐標(biāo)(0，0)～(2x0，2y0)的畸變修正處理后的G信號數(shù)據(jù)，存儲在與其坐標(biāo)位置相應(yīng)的圖像存儲器4的存儲區(qū)域4g的地址位置中。
另外，畸變修正處理部5ba通過利用存儲在存儲區(qū)域4b內(nèi)的數(shù)據(jù)，進(jìn)行基于來自失真數(shù)據(jù)放大部50b的畸變修正處理，從而分別生成相對理想坐標(biāo)(0，0)～(2x0，2y0)的數(shù)據(jù)。然后，將相對各理想坐標(biāo)(0，0)～(2x0，2y0)的畸變修正處理后的B信號數(shù)據(jù)，存儲在與其坐標(biāo)位置相應(yīng)的圖像存儲器4的存儲區(qū)域4b的地址位置中。這樣，由于各畸變修正處理部5ra、5ga、5ba分別進(jìn)行動作，故不僅可以進(jìn)行畸變修正處理，還可以修正因每顏色信號的折射率不同而產(chǎn)生的顏色像差。
這樣，若相對畸變修正處理后的理想坐標(biāo)(0，0)～(2x0，2y0)各自的RGB信號數(shù)據(jù)分別存儲在圖像存儲器4的存儲區(qū)域4r、4g、4b中，則邊界強調(diào)處理部5rb、5gb、5bb通過進(jìn)行和第二實施方式的邊界強調(diào)處理部5b同樣的動作，從而實施相對各RGB信號的邊界強調(diào)處理。此時，邊界強調(diào)處理部5rb、5gb、5bb分別提供畸變修正處理部5ra、5ga、5ba中分別求出的圖像高度、失真和現(xiàn)實坐標(biāo)，以設(shè)定每一個理想坐標(biāo)的放大率。
由此，邊界強調(diào)處理部5rb根據(jù)畸變修正處理部5ra中分別求出的圖像高度、失真和現(xiàn)實坐標(biāo)，求出相對各理想坐標(biāo)(0，0)～(2x0，2y0)的放大率。然后，利用存儲在存儲區(qū)域4r內(nèi)的相對各理想坐標(biāo)(0，0)～(2x0，2y0)的數(shù)據(jù)，根據(jù)針對其理想坐標(biāo)而設(shè)定的放大率來進(jìn)行邊界強調(diào)處理。
同樣，邊界強調(diào)處理部5gb根據(jù)畸變修正處理部5ga中分別求出的圖像高度、失真和現(xiàn)實坐標(biāo)，求出相對各理想坐標(biāo)(0，0)～(2x0，2y0)的放大率。然后，利用存儲在存儲區(qū)域4g內(nèi)的相對各理想坐標(biāo)(0，0)～(2x0，2y0)的數(shù)據(jù)，根據(jù)針對其理想坐標(biāo)而設(shè)定的放大率來進(jìn)行邊界強調(diào)處理。
另外，邊界強調(diào)處理部5bb根據(jù)畸變修正處理部5ba中分別求出的圖像高度、失真和現(xiàn)實坐標(biāo)，求出相對各理想坐標(biāo)(0，0)～(2x0，2y0)的放大率。然后，利用存儲在存儲區(qū)域4b內(nèi)的相對各理想坐標(biāo)(0，0)～(2x0，2y0)的數(shù)據(jù)，根據(jù)針對其理想坐標(biāo)而設(shè)定的放大率來進(jìn)行邊界強調(diào)處理。
這樣，分別在邊界強調(diào)處理部5rb、5gb、5bb中實施了邊界強調(diào)處理的各理想坐標(biāo)(0，0)～(2x0，2y0)的RGB信號，向信號生成部5d輸出。然后，在信號生成部5d中，利用每一個像素的每一個理想坐標(biāo)位置的RGB信號，如果生成亮度信號和色差信號，則向D/A轉(zhuǎn)換部6輸出。
另外，在本實施方式中，信號處理部5進(jìn)行顏色插補處理部5c的顏色插補處理后，進(jìn)行畸變修正處理部5ra、5ga、5ba和邊界強調(diào)處理部5rb、5gb、5bb的畸變修正處理和邊界強調(diào)處理；但也可以是，進(jìn)行過第二實施方式的畸變修正處理部5a和邊界強調(diào)處理部5b進(jìn)行的畸變修正處理和邊界強調(diào)處理后，進(jìn)行顏色插補處理部5c的顏色插補處理。此時，在畸變修正處理部5a和邊界強調(diào)處理部5b中，對每一個理想坐標(biāo)位置設(shè)定與其顏色信號相應(yīng)的失真數(shù)據(jù)，以進(jìn)行畸變修正處理和邊界強調(diào)處理。
另外，在失真數(shù)據(jù)放大部50r、50b中，將選擇器9所選擇的失真數(shù)據(jù)轉(zhuǎn)換為分別與RB信號相應(yīng)的失真數(shù)據(jù)，但也可以由選擇器9選擇分別與RGB信號相應(yīng)的失真數(shù)據(jù)，提供給畸變修正處理部5ra、5ga、5ba。進(jìn)而，也可以將上述的顏色信號作為從每一個顏色信號所具備的固體攝像元件2輸出圖像的、不需要顏色插補處理的3板式攝像裝置的RGB信號；濾色器也可以是補色型的濾色器。
<第四實施方式>
參照

本發(fā)明的第四實施方式。圖16是表示本實施方式的攝像裝置的內(nèi)部構(gòu)成的框圖。
本實施方式的攝像裝置和第一～第三實施方式的攝像裝置(圖1)不同，不僅具備由用戶設(shè)定圖像顯示狀態(tài)的顯示狀態(tài)設(shè)定部10，并且把表示該顯示狀態(tài)設(shè)定部10所設(shè)定的圖像狀態(tài)的信號提供給選擇器9。即，通過操作顯示狀態(tài)設(shè)定部10，可以設(shè)定為故意顯示具備枕形失真或桶形失真的圖像。
此時，若將表示由顯示狀態(tài)設(shè)定部10設(shè)定的圖像顯示狀態(tài)的信號提供給選擇器9，則在選擇器9中，根據(jù)由透鏡驅(qū)動控制部7設(shè)定的光學(xué)系統(tǒng)1內(nèi)的透鏡的變焦位置、聚焦位置和由顯示狀態(tài)設(shè)定部10設(shè)定的圖像顯示狀態(tài)，選擇存儲在失真數(shù)據(jù)存儲器8的失真數(shù)據(jù)。由此，在信號處理部5所具備的畸變修正處理部5a(也包括第三實施方式的畸變修正處理部5ra、5ga、5ba)中生成與顯示狀態(tài)設(shè)定部10所設(shè)定的圖像顯示狀態(tài)相應(yīng)的影像信號。
此時，選擇器9從失真數(shù)據(jù)存儲器8讀出由光學(xué)系統(tǒng)1內(nèi)的透鏡的變焦位置及聚焦位置所決定的失真數(shù)據(jù)；和由顯示狀態(tài)設(shè)定部10所設(shè)定的圖像顯示狀態(tài)所確認(rèn)的失真數(shù)據(jù)，求出提供給畸變修正處理部5a的失真數(shù)據(jù)。
即，從失真數(shù)據(jù)存儲器8讀出由光學(xué)系統(tǒng)1內(nèi)的透鏡的變焦位置及聚焦位置所決定的、圖像高度-失真曲線的失真數(shù)據(jù)；和通過將顯示狀態(tài)設(shè)定部10所設(shè)定的圖像顯示狀態(tài)作為現(xiàn)實坐標(biāo)而決定的圖像高度-失真曲線的失真數(shù)據(jù)。然后，對已經(jīng)讀出的各曲線的失真數(shù)據(jù)，確認(rèn)圖像高度變?yōu)橄嗤氖д鏀?shù)據(jù)的相關(guān)關(guān)系，利用其相關(guān)關(guān)系，生成在畸變修正處理部5a中進(jìn)行畸變修正處理用的失真數(shù)據(jù)，也可以。
這樣，在本實施方式中，由于可以由顯示狀態(tài)設(shè)定部10設(shè)定圖像的顯示狀態(tài)，故例如在從固體攝像元件2提供的影像信號具備圖17B所示的桶形失真時，在信號處理部5中可以故意轉(zhuǎn)換為具備圖17A所示的枕形失真的影像信號來輸出。另外，在本實施方式中，只是由選擇器9進(jìn)行的失真數(shù)據(jù)的設(shè)定動作不同，而信號處理部5進(jìn)行和第一～第三實施方式的任意一個信號處理部5相同的動作。
(工業(yè)上的可利用性)這樣構(gòu)成的畸變修正裝置和攝像裝置，可以應(yīng)用在攝像靜止圖像或運動圖像的攝像裝置中。另外，作為這樣的攝像裝置，可以應(yīng)用于攝像單色影像或彩色影像的任一種。進(jìn)一步地，也可以應(yīng)用于將攝像所獲得的影像信號記錄為數(shù)字信號的裝置或?qū)z像所獲得的影像信號記錄為模擬信號的裝置的任何裝置種。
權(quán)利要求
1.一種畸變修正裝置，其中通過將作為所輸入影像信號坐標(biāo)位置的輸入坐標(biāo)位置進(jìn)行轉(zhuǎn)換，而對影像信號實施畸變修正，其特征在于，包括存儲成為圖像高度-失真曲線上的離散點的失真數(shù)據(jù)的失真數(shù)據(jù)存儲器；該圖像高度-失真曲線表示，作為所輸出影像信號坐標(biāo)位置的輸出坐標(biāo)位置與對應(yīng)于該輸出坐標(biāo)位置的所述輸入坐標(biāo)位置的相關(guān)值的失真和作為相對該輸出坐標(biāo)位置的所述影像信號的距圖像中心位置的距離的圖像高度之間的關(guān)系；失真計算部，其從該失真數(shù)據(jù)存儲器讀出所述輸出坐標(biāo)位置的所述圖像高度附近的規(guī)定數(shù)的所述失真數(shù)據(jù)，計算出近似于該輸出坐標(biāo)位置的所述圖像高度附近的所述圖像高度-失真曲線的近似公式，通過在該近似公式中代入該輸出坐標(biāo)位置的所述圖像高度，來求出該輸出坐標(biāo)位置的所述失真；坐標(biāo)計算部，其根據(jù)所述輸出坐標(biāo)位置和針對該輸出坐標(biāo)位置、利用所述失真計算部計算出的所述失真，求出所述輸入坐標(biāo)位置；其中，作為所述輸出坐標(biāo)位置的數(shù)據(jù)，輸出針對該輸出坐標(biāo)位置、以所述坐標(biāo)計算部獲得的所述輸入坐標(biāo)位置的數(shù)據(jù)。
2.根據(jù)權(quán)利要求1所述的畸變修正裝置，其中，還包括插補處理部，其在不能輸入相對所述坐標(biāo)計算部所獲得的所述輸入坐標(biāo)位置的影像信號的數(shù)據(jù)時，把所述輸入坐標(biāo)位置附近的、存在數(shù)據(jù)的多個所述輸入坐標(biāo)，作為周圍輸入坐標(biāo)來確認(rèn)，根據(jù)該多個周圍輸入坐標(biāo)與所述坐標(biāo)計算部所獲得的所述輸入坐標(biāo)位置之間的位置關(guān)系，通過插補該多個周圍輸入坐標(biāo)的數(shù)據(jù)，而生成所述坐標(biāo)計算部中所獲得的所述輸入坐標(biāo)位置數(shù)據(jù)。
3.根據(jù)權(quán)利要求1所述的畸變修正裝置，其中，在所述失真計算部中，通過讀出所述輸出坐標(biāo)位置的所述圖像高度附近的四個所述失真數(shù)據(jù)，來計算所述近似公式。
4.根據(jù)權(quán)利要求3所述的畸變修正裝置，其中，包括求出相對所述輸出坐標(biāo)位置的所述圖像高度的圖像高度計算部；并且，在所述失真計算部中，作為第一失真數(shù)據(jù)，從所述失真數(shù)據(jù)存儲器讀出具有作為接近所述圖像高度計算部中所計算出的所述圖像高度值且比該圖像高度還低的圖像高度的失真數(shù)據(jù)；作為第二失真數(shù)據(jù)，從所述失真數(shù)據(jù)存儲器讀出具有作為接近所述圖像高度計算部中所計算出的所述圖像高度值且比該圖像高度還高的圖像高度的失真數(shù)據(jù)；作為第三失真數(shù)據(jù)，從所述失真數(shù)據(jù)存儲器讀出具有作為接近相對所述輸出坐標(biāo)位置的所述第一失真數(shù)據(jù)的圖像高度值且比該圖像高度還小的圖像高度的失真數(shù)據(jù)；作為第四失真數(shù)據(jù)，從所述失真數(shù)據(jù)存儲器讀出具有作為接近相對所述輸出坐標(biāo)位置的所述第二失真數(shù)據(jù)的圖像高度值且比該圖像高度還大的圖像高度的失真數(shù)據(jù)；利用所述第一～第四失真數(shù)據(jù)來計算成為3次式的所述近似公式。
5.根據(jù)權(quán)利要求4所述的畸變修正裝置，其中，在所述失真計算部中確認(rèn)表示所述第二和第三失真數(shù)據(jù)的直線的傾斜度等于所計算出的所述近似公式的所述第一失真數(shù)據(jù)的切線的傾斜度的第一條件；表示所述第一和第四失真數(shù)據(jù)的直線的傾斜度等于所計算出的所述近似公式的所述第二失真數(shù)據(jù)的切線的傾斜度的第二條件；表示所述近似公式通過所述第一和第二失真數(shù)據(jù)的第三條件，將滿足所述第一～第三條件的3次式作為所述近似公式。
6.一種攝像裝置，其特征在于，包括由透鏡構(gòu)成的光學(xué)系統(tǒng)；移動該光學(xué)系統(tǒng)的所述透鏡位置的透鏡驅(qū)動控制部；通過對作為所輸入影像信號坐標(biāo)位置的輸入坐標(biāo)位置進(jìn)行轉(zhuǎn)換，從而對根據(jù)所述透鏡位置而輸入的影像信號實施畸變修正處理的畸變修正處理部；所述畸變修正處理部具有存儲多個成為圖像高度-失真曲線上的離散點的失真數(shù)據(jù)的失真數(shù)據(jù)存儲器，圖像高度-失真曲線表示，作為所輸出影像信號坐標(biāo)位置的輸出坐標(biāo)位置與對應(yīng)于該輸出坐標(biāo)位置的所述輸入坐標(biāo)位置的相關(guān)值的失真和作為相對該輸出坐標(biāo)位置的所述影像信號的距圖像中心位置的距離的圖像高度(相對距離)之間的關(guān)系；失真計算部，其從該失真數(shù)據(jù)存儲器讀出所述輸出坐標(biāo)位置的所述圖像高度附近的規(guī)定數(shù)的所述失真數(shù)據(jù)，計算出近似于該輸出坐標(biāo)位置的所述圖像高度附近的所述圖像高度-失真曲線的近似公式，通過在該近似公式中代入該輸出坐標(biāo)位置的所述圖像高度，來求出該輸出坐標(biāo)位置的所述失真；坐標(biāo)計算部，其根據(jù)所述輸出坐標(biāo)位置和針對該輸出坐標(biāo)位置、利用所述失真計算部計算出的所述失真，求出所述輸入坐標(biāo)位置；并且作為所述輸出坐標(biāo)位置的數(shù)據(jù)，輸出針對該輸出坐標(biāo)位置、以所述坐標(biāo)計算部獲得的所述輸入坐標(biāo)位置的數(shù)據(jù)，其中根據(jù)由所述透鏡驅(qū)動控制部設(shè)定的所述透鏡位置，設(shè)定由所述失真數(shù)據(jù)存儲器讀出的所述失真數(shù)據(jù)。
7.根據(jù)權(quán)利要求6所述的攝像裝置，其中，還包括對所輸入的影像信號，在每一個圖像位置實施不同程度的邊界強調(diào)處理的邊界強調(diào)處理部。
8.根據(jù)權(quán)利要求7所述的攝像裝置，其中，利用于所述邊界強調(diào)處理的參數(shù)，根據(jù)成為對象像素的所述輸出坐標(biāo)位置的圖像高度而設(shè)定。
9.根據(jù)權(quán)利要求7所述的攝像裝置，其中，利用于所述邊界強調(diào)處理的參數(shù)，根據(jù)成為對象像素的所述輸出坐標(biāo)位置的失真而設(shè)定。
10.根據(jù)權(quán)利要求7所述的攝像裝置，其中，利用于所述邊界強調(diào)處理的參數(shù)，根據(jù)相對成為對象像素的所述輸出坐標(biāo)位置而求出的所述輸入坐標(biāo)位置，來進(jìn)行設(shè)定。
11.根據(jù)權(quán)利要求6所述的攝像裝置，其中，由所述固體攝像元件輸出成為多種顏色信號的影像信號，并且在所述畸變修正處理部中，利用分別與所述顏色信號對應(yīng)的所述失真數(shù)據(jù)，對各所述顏色信號求出不同的所述圖像高度—失真曲線的所述近似公式。
12.根據(jù)權(quán)利要求6所述的攝像裝置，其中，由所述失真數(shù)據(jù)存儲器讀出的所述失真數(shù)據(jù)，根據(jù)有意地使所輸出影像信號的圖像的畸變程度而設(shè)定。
全文摘要
通過選擇器(9)讀出離散性存儲在失真數(shù)據(jù)存儲器(8)中的失真數(shù)據(jù)并提供給信號處理部(5)。在信號處理部(5)中，對每一個坐標(biāo)位置，利用所提供的失真數(shù)據(jù)來求出，表示圖像高度－失真曲線的近似公式，并且，根據(jù)該近似公式進(jìn)行畸變修正。
文檔編號G06T1/00GK1678035SQ200510055899
公開日2005年10月5日 申請日期2005年3月17日 優(yōu)先權(quán)日2004年3月29日
發(fā)明者岡田誠司, 森幸夫, 木下敦史 申請人:三洋電機株式會社