專(zhuān)利名稱(chēng)：廣角圖像生成裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及對(duì)反射面所反射的光線進(jìn)行攝像，生成廣角圖像的廣角圖像生成裝置。
背景技術(shù)：
作為利用反射面的廣角攝像裝置的已有技術(shù)例，有日本專(zhuān)利第2939087號(hào)所述的所謂全方位攝像機(jī)。這是能夠利用具有圍繞攝像機(jī)光軸的旋轉(zhuǎn)對(duì)稱(chēng)形狀的反射面，使旋轉(zhuǎn)軸周?chē)?60度方向上的圖像一次成像于攝像面上的裝置。又，對(duì)于攝像得到的全方位圖像進(jìn)行圖像變換處理，能夠得到所謂全景圖像。
全方位攝像機(jī)在監(jiān)視區(qū)域?yàn)?60度的情況下是有效的。但是在監(jiān)視區(qū)域大約為180度就可以的情況下，全方位攝像機(jī)拍攝了大約180度大小的不需要的區(qū)域，作為攝像元件的使用方法是低效率的。
因此考慮只拍攝反射面形成的反射像中以垂直于該反射面的旋轉(zhuǎn)中心軸的任意方向作為基準(zhǔn)方向的大約±90°大小那樣的廣角攝像裝置。
即使是對(duì)于這樣的廣角攝像裝置得到的圖像(以下稱(chēng)為“廣角圖像”)，也與專(zhuān)利2939087號(hào)所示的全方位攝像機(jī)的情況相同，通過(guò)運(yùn)算處理能夠得到將用通常圖像角度的攝像機(jī)拍攝的圖像連接起來(lái)那樣的圖像、即展開(kāi)圖像。
下面對(duì)展開(kāi)處理進(jìn)行說(shuō)明。
圖33是用于說(shuō)明展開(kāi)處理的廣角攝像裝置8的示意圖。采用從紙面到眼前的方向?yàn)閄軸，紙面的左右方向?yàn)閅軸，紙面的上下方向?yàn)閆軸的坐標(biāo)。而且Z軸與鉛直方向一致。
廣角攝像裝置8由具有軸旋轉(zhuǎn)對(duì)稱(chēng)形狀的雙曲面反射鏡1、成像透鏡2和攝像元件3構(gòu)成。攝像裝置由成像透鏡2和攝像元件3構(gòu)成。
雙曲面反射鏡1具有圍繞雙曲面的旋轉(zhuǎn)中心軸周?chē)摹?0°大小的反射面。以其0°方向?yàn)榛鶞?zhǔn)光軸方向，在這里，采用與Y軸方向一致的方向。4為雙曲面反射鏡1的內(nèi)部焦點(diǎn)。6是雙曲面反射鏡1的旋轉(zhuǎn)中心軸，與Z軸一致。
從空間內(nèi)的任意點(diǎn)P(X、Y、Z)發(fā)出，向內(nèi)部焦點(diǎn)4入射的光線在雙曲面反射鏡1的反射面上反射，聚焦于旋轉(zhuǎn)中心軸6上的外部焦點(diǎn)(未圖示)上。配置該外部焦點(diǎn)的位置和成像透鏡2的主點(diǎn)7的位置，使其大致一致，光線通過(guò)成像透鏡2在攝像元件3的攝像面5上成像。
又，21是考慮由廣角圖像映射為展開(kāi)圖像時(shí)的假想投影面、即假想圓筒面。假想圓筒面21的該旋轉(zhuǎn)中心軸與雙曲面反射鏡1的旋轉(zhuǎn)中心軸6相一致。
考慮對(duì)應(yīng)于空間內(nèi)的任意點(diǎn)P(X，Y，Z)的攝像面5上的點(diǎn)(即廣角圖像上的點(diǎn))p(x，y)。雙曲面反射鏡1的雙曲面形狀用以下公式(公式1)表示。
(X2+Y2)/a2-Z2/b2＝-1(公式1)這里，a、b為決定雙曲面形狀的常數(shù)。另外，c＝(a2+b2)0.5(公式2)又，公式3～公式5成立。
Z＝(X2+Y2)0.5tan β+c (公式3)tanβ＝{(b2+c2)sinα-2bc}/{(b2-c2)cosα} (公式4)tanα＝F/(x2+y2)0.5(公式5)這里，F(xiàn)是由成像透鏡2與攝像元件3組成的攝像裝置的焦點(diǎn)距離。關(guān)于角度α和β，參考圖33。
如果利用(公式3)～(公式5)決定X，Y，Z以及b，c，F(xiàn)，就可以決定(X2+Y2)0.5、即攝像面5上的與旋轉(zhuǎn)中心軸6的交點(diǎn)到點(diǎn)p的距離。
又，根據(jù)射向內(nèi)部焦點(diǎn)4的光線通過(guò)雙曲面反射鏡1反射向外部焦點(diǎn)這樣的雙曲面的性質(zhì)，XY平面以及xy平面中的點(diǎn)P、點(diǎn)p的方向一致。因此，Y/X＝y(tǒng)/x (公式6)如果利用(公式6)求解X，Y，則點(diǎn)p的方向也能夠決定，以此可以一義地確定與P(X，Y，Z)相對(duì)應(yīng)的攝像面5上的點(diǎn)(即廣角圖像上的點(diǎn))p(x，y)。亦即，即使在對(duì)大約±90度大小的視野進(jìn)行攝像的廣角攝像裝置中，也與全方位攝像機(jī)的情況相同，通過(guò)確定展開(kāi)圖像的投影面(假想圓筒面21)，考慮由廣角圖像映射為投影面，以決定展開(kāi)圖像的各像素在廣角圖像中的對(duì)應(yīng)點(diǎn)，并且可以因此確定展開(kāi)圖像的全部像素的輝度值以生成展開(kāi)圖像。
但是在這里，反射面的旋轉(zhuǎn)中心軸在垂直于基準(zhǔn)方向的面內(nèi)偏離鉛直方向的情況下，如果忽略該傾斜，對(duì)由該廣角攝像裝置所得到的圖像進(jìn)行運(yùn)算處理，并且將大約±90度大小的廣角圖像轉(zhuǎn)換為展開(kāi)圖像，則展開(kāi)圖像的外框與反射面旋轉(zhuǎn)中心軸沒(méi)有傾斜時(shí)相比沒(méi)有不同。另一方面，展開(kāi)圖像的內(nèi)容是傾斜反射面旋轉(zhuǎn)中心軸的傾斜程度，將使觀看者感到不舒服。
又，這樣的廣角攝像裝置旋轉(zhuǎn)軸方向的視野，通常|β|＜|γ|，其中β為仰角、γ為俯角(參考圖33)。因此，展開(kāi)圖像中的仰角為0的位置(以下稱(chēng)為“視線中心”)偏向展開(kāi)圖形的短邊方向的任一方向。這時(shí)，離展開(kāi)圖像中的離視線中心較遠(yuǎn)的部分看來(lái)與其他部分相比更為傾斜，因此比其他部分更顯得有畸變。
下面利用圖34對(duì)全方位攝像機(jī)進(jìn)行說(shuō)明。
圖34(a)表示全方位攝像機(jī)的基本構(gòu)成。全方位攝像機(jī)100是由作為具有軸旋轉(zhuǎn)對(duì)稱(chēng)形狀的反射面的雙曲面反射鏡101、成像透鏡102以及CCD等攝像元件103構(gòu)成的。
104是雙曲面反射鏡101的內(nèi)部焦點(diǎn)。105是攝像元件103的攝像面。106是雙曲面反射鏡101的旋轉(zhuǎn)中心軸，在這里，使其與Z軸相一致。此外，將垂直于該雙曲面反射鏡101的旋轉(zhuǎn)中心軸的任意方向作為Y軸方向。107是成像透鏡102的主點(diǎn)。將連接內(nèi)部焦點(diǎn)104與主點(diǎn)107的直線的2等分點(diǎn)作為坐標(biāo)系的原點(diǎn)O。
又，108a、108b是入射于雙曲面反射鏡101的光線，109a、109b是光線108a、108b對(duì)雙曲面反射鏡101的入射點(diǎn)。110a、110b是在入射點(diǎn)109a、109b反射的光線108a、108b在攝像面105上的成像點(diǎn)。
從YZ平面內(nèi)的某個(gè)點(diǎn)發(fā)出，向內(nèi)部焦點(diǎn)104入射，并且到達(dá)雙曲面反射鏡101上的入射點(diǎn)109a、109b的光線108a、109b，在雙曲面反射鏡101的反射面上反射，并且聚焦于旋轉(zhuǎn)中心軸106上的外部焦點(diǎn)(未圖示)上。該外部焦點(diǎn)的位置和成像透鏡102的主點(diǎn)107的位置配置得大致一致，光線108a、108b通過(guò)成像透鏡102在攝像元件103的攝像面105上的成像點(diǎn)110a、110b上成像。
圖34(b)表示攝像面105上的成像情況。如圖所示，將紙面向上的方向作為Y軸。又將垂直于紙面的方向作為Z軸方向。包含光線108a、108b的，從全方位攝像機(jī)100的旋轉(zhuǎn)中心軸106的周?chē)?60度對(duì)內(nèi)部焦點(diǎn)104，入射到雙曲面反射鏡101的光束(未圖示)與光線108a、108b一樣，通過(guò)雙曲面反射鏡101的外部焦點(diǎn)(未圖示)，并且通過(guò)成像透鏡102，在攝像面105上形成圓形像111。又，在圓形像111中，Y方向兩端為光線108a、108b的成像點(diǎn)110a、110b。
關(guān)于將如上所述得到的圓形全方位圖像轉(zhuǎn)換為全景圖像的展開(kāi)處理將在以下進(jìn)行說(shuō)明。
圖35是為了說(shuō)明展開(kāi)處理而對(duì)全方位攝像機(jī)100進(jìn)行模式性表示的圖。雙曲面反射鏡101、成像透鏡102、攝像元件103、內(nèi)部焦點(diǎn)104、攝像面105、旋轉(zhuǎn)中心軸106以及主點(diǎn)107與圖34說(shuō)明的內(nèi)容相同。
112是考慮由圓形全方位圖像映射為展開(kāi)圖像時(shí)的假想投影面、即假想圓筒面。假想圓筒面112的該旋轉(zhuǎn)中心軸與雙曲面反射鏡101的旋轉(zhuǎn)中心軸106相一致。設(shè)定坐標(biāo)軸時(shí)，將從紙面出發(fā)向著自己的方向作為X軸，將紙面的左右方向作為Y軸，將紙面的上下方向作為Z軸。又使Z軸與旋轉(zhuǎn)中心軸106相一致。
如同已經(jīng)說(shuō)明的那樣，從空間內(nèi)的任意點(diǎn)P(XP、YP、ZP)發(fā)出，向內(nèi)部焦點(diǎn)104入射的光線在雙曲面反射鏡101的反射面上反射，聚焦于旋轉(zhuǎn)中心軸106上的外部焦點(diǎn)(未圖示)上。該外部焦點(diǎn)的位置與成像透鏡102的主點(diǎn)107的位置配置得大致一致，光線通過(guò)成像透鏡102在攝像元件103的攝像面105上成像。
考慮與空間內(nèi)的任意點(diǎn)P(XP、YP、ZP)相對(duì)應(yīng)的攝像面105上的點(diǎn)，即，作為圓形全方位圖像上的點(diǎn)的p(XP、YP)。雙曲面反射鏡101的雙曲面形狀通過(guò)(公式7)表示。
(X2+Y2)/a2-Z2/b2＝-1 (公式7)這里，a、b為決定雙曲面形狀的常數(shù)。另外，c＝(a2+b2)0.5(公式8)又，(公式9)～(公式11)成立。
Z＝(X2+Y2)0.5tanα+c (公式9)tanα＝{(b2+c2)sinβ-2bc}/{(b2-c2)cosβ} (公式10)tanβ＝F/(X2+y2)0.5(公式11)這里，F(xiàn)是成像透鏡102與攝像元件103組成的攝像裝置的焦點(diǎn)距離。角度α是連接內(nèi)部焦點(diǎn)104與任意點(diǎn)P的直線與XY平面之間所形成的角度。角度β是連接主點(diǎn)107(與雙曲面反射鏡101的外部焦點(diǎn)大致一致)與攝像面105上的點(diǎn)p的直線與XY平面之間所形成的角度。如果利用(公式9)～(公式11)決定XP、YP、ZP以及b，c，F(xiàn)的值，就可以決定(xP2+yP2)0.5、即從與攝像面105上的與旋轉(zhuǎn)中心軸106的交點(diǎn)到點(diǎn)p的距離。
又，由于射向內(nèi)部焦點(diǎn)104的光線在雙曲面反射鏡101反射后射向外部焦點(diǎn)的雙曲面性質(zhì)，XY平面及xy平面上的點(diǎn)P、點(diǎn)p方向一致。因此，Y/X＝y(tǒng)/x (公式12)如果利用(公式1 2)求XP、YP，則點(diǎn)p的方向也得到?jīng)Q定。
根據(jù)以上所述，可以一義地確定與P(XP、YP、ZP)相對(duì)應(yīng)的攝像面5上的點(diǎn)(即圓形的全方位圖像上的點(diǎn))p(xP，yP)。因此，通過(guò)確定展開(kāi)圖像的投影面(假想圓筒面112)，并考慮由圓形的全方位圖像映射于投影面，以確定對(duì)于展開(kāi)圖像的各像素的圓形的全方位圖像中的對(duì)應(yīng)點(diǎn)，并據(jù)此確定展開(kāi)圖像的全部像素的輝度值，以生成展開(kāi)圖像。
全方位攝像機(jī)在監(jiān)視區(qū)域?yàn)?60度的情況下是有效的。但是在監(jiān)視區(qū)域大致為180度即可的情況下，全方位攝像機(jī)拍攝了大約180度大小的不需要的區(qū)域，作為攝像元件的使用方法是低效率的。

發(fā)明內(nèi)容
本發(fā)明的目的在于，提供即使將廣角攝像裝置置于其旋轉(zhuǎn)中心軸在與基準(zhǔn)光軸方向相垂直的面內(nèi)相對(duì)于鉛直方向傾斜的狀態(tài)，作為廣角圖像生成裝置的輸出成為圖像內(nèi)的水平方向與TV監(jiān)視器的水平方向一致的圖像，并不會(huì)給予觀察者一種不舒適的感覺(jué)的廣角圖像生成裝置。
又，在考慮到反射面所形成的反射像中，將垂直于該反射面的旋轉(zhuǎn)中心軸的任意方向作為基準(zhǔn)方向，只對(duì)其大約±90度大小的部分進(jìn)行攝像的廣角圖像生成裝置的情況下，想要對(duì)廣角圖像使用與全方位攝像機(jī)的情況相同的處理，以得到展開(kāi)圖像時(shí)，存在因攝像裝置的光軸的傾斜以及光學(xué)像差等原因造成的圖像變形，得到的展開(kāi)圖像不能成為正確圖像的問(wèn)題，本發(fā)明目的就在于提供一種能夠解決這樣的問(wèn)題的廣角圖像生成裝置。
本發(fā)明的權(quán)利要求1所記載的廣角圖像生成裝置是一種由廣角攝像裝置與運(yùn)算處理裝置構(gòu)成的廣角圖像生成裝置，其特征在于，廣角攝像裝置是由在相對(duì)于旋轉(zhuǎn)對(duì)稱(chēng)體的旋轉(zhuǎn)中心軸垂直的任意方向上取基準(zhǔn)光軸，且具有將所述基準(zhǔn)光軸的方向作為0度的角度范圍至少是θ(θ1≤θ≤θ2、-90°≤θ1≤90°、-90°≤θ2≤90°、θ1＜θ2)的凸面形狀的反射面的反射鏡、以及所述反射鏡的旋轉(zhuǎn)中心軸上具有主點(diǎn)，且使所述反射鏡的反射像成像，對(duì)所述反射鏡的旋轉(zhuǎn)中心軸周?chē)闹辽偈铅冉嵌鹊姆秶膶?duì)象物進(jìn)行攝像的攝像裝置構(gòu)成，在相對(duì)于所述基準(zhǔn)光軸垂直的平面內(nèi)，將所述反射鏡的旋轉(zhuǎn)中心軸向任意的旋轉(zhuǎn)中心軸面內(nèi)的傾斜方向傾斜設(shè)置，運(yùn)算處理裝置由對(duì)所述廣角攝像裝置得到的圖像進(jìn)行運(yùn)算處理，生成展開(kāi)圖像的展開(kāi)圖像生成部、以及對(duì)應(yīng)所述旋轉(zhuǎn)中心軸面內(nèi)傾斜方向使所述展開(kāi)圖像傾斜，并將所述展開(kāi)圖像的數(shù)據(jù)形式轉(zhuǎn)換為用于輸出的形式，作為輸出圖像生成的輸出圖像生成部構(gòu)成。
本發(fā)明的權(quán)利要求2所記載的廣角圖像生成裝置是一種由廣角攝像裝置與運(yùn)算處理裝置構(gòu)成的廣角圖像生成裝置，其特征在于，廣角攝像裝置是由在相對(duì)于旋轉(zhuǎn)對(duì)稱(chēng)體的旋轉(zhuǎn)中心軸垂直的任意方向上取基準(zhǔn)光軸，具有將所述基準(zhǔn)光軸的方向作為0度，角度范圍至少是θ(θ1≤θ≤θ2、-90°≤θ1≤90°、-90°≤θ2≤90°、θ1＜θ2)的凸面形狀的反射面的反射鏡、以及所述反射鏡的旋轉(zhuǎn)中心軸上具有主點(diǎn)，使所述反射鏡的反射像成像，對(duì)所述反射鏡的旋轉(zhuǎn)中心軸周?chē)闹辽佴冉嵌确秶鷥?nèi)的對(duì)象物進(jìn)行攝像的攝像裝置構(gòu)成，在相對(duì)于所述基準(zhǔn)光軸垂直的平面內(nèi)，將所述反射鏡的旋轉(zhuǎn)中心軸向任意的旋轉(zhuǎn)中心軸面內(nèi)的傾斜方向傾斜設(shè)置，運(yùn)算處理裝置由對(duì)所述廣角攝像裝置得到的圖像進(jìn)行運(yùn)算處理，生成對(duì)應(yīng)于所述旋轉(zhuǎn)中心軸面內(nèi)傾斜方向傾斜的展開(kāi)圖像的展開(kāi)圖像生成部、以及將所述展開(kāi)圖像的數(shù)據(jù)形式轉(zhuǎn)換為用于輸出的形式，作為輸出圖像生成的輸出圖像生成部構(gòu)成。
本發(fā)明的權(quán)利要求3所記載的廣角圖像生成裝置，是在權(quán)利要求1或權(quán)利要求2中，其特征在于，所述反射鏡為在旋轉(zhuǎn)中心軸上具有內(nèi)部焦點(diǎn)的雙曲面形狀，并且使所述雙曲面形狀的外部焦點(diǎn)的位置與所述攝像裝置的主點(diǎn)位置一致或者大致一致。
本發(fā)明的權(quán)利要求4所記載的廣角圖像生成裝置，是在權(quán)利要求1～權(quán)利要求3中的任意一項(xiàng)中，其特征在于，使所述旋轉(zhuǎn)中心軸面內(nèi)傾斜方向與水平方向一致或者大致一致。
本發(fā)明的權(quán)利要求5所記載的廣角圖像生成裝置，是在權(quán)利要求1～權(quán)利要求4中的任意一項(xiàng)中，其特征在于，所述廣角攝像裝置或者所述運(yùn)算處理裝置具有檢測(cè)所述旋轉(zhuǎn)中心軸面內(nèi)傾斜方向的旋轉(zhuǎn)中心軸面內(nèi)傾斜方向檢測(cè)部，對(duì)應(yīng)所述旋轉(zhuǎn)中心軸面內(nèi)傾斜方向檢測(cè)部的輸出結(jié)果，利用所述運(yùn)算處理裝置使所述展開(kāi)圖像傾斜，生成輸出圖像。
本發(fā)明的權(quán)利要求6所記載的廣角圖像生成裝置，是在權(quán)利要求5中，其特征在于，設(shè)置于所述運(yùn)算處理裝置內(nèi)的旋轉(zhuǎn)中心軸面內(nèi)傾斜方向檢測(cè)部形成可以進(jìn)行圖像處理，并檢測(cè)旋轉(zhuǎn)中心軸面內(nèi)傾斜方向的結(jié)構(gòu)。
本發(fā)明的權(quán)利要求7所記載的廣角圖像生成裝置，是在權(quán)利要求1～權(quán)利要求4中的任意一項(xiàng)中，其特征在于，所述廣角攝像裝置或者所述運(yùn)算處理裝置具有輸入所述旋轉(zhuǎn)中心軸面內(nèi)傾斜方向的旋轉(zhuǎn)中心軸面內(nèi)傾斜方向輸入部，對(duì)應(yīng)于所述旋轉(zhuǎn)中心軸面內(nèi)傾斜方向輸入部的輸入結(jié)果，利用所述運(yùn)算處理裝置使所述展開(kāi)圖像傾斜，生成輸出圖像。
本發(fā)明的權(quán)利要求8所記載的廣角圖像生成裝置，是由廣角攝像裝置與運(yùn)算處理裝置構(gòu)成的廣角圖像生成裝置，其特征在于，廣角攝像裝置是由在相對(duì)雙曲面旋轉(zhuǎn)中心軸垂直的任意方向上取基準(zhǔn)光軸，具有將所述基準(zhǔn)光軸的方向作為0度的角度范圍至少是θ(θ1≤θ≤θ2、-90°≤θ1≤90°、-90°≤θ2≤90°、θ1＜θ2)的雙曲面形狀的反射面的雙曲面反射鏡、以及使所述雙曲面反射鏡的外部焦點(diǎn)位置與主點(diǎn)位置大致一致，使所述雙曲面反射鏡的反射像成像，對(duì)所述雙曲面反射鏡的旋轉(zhuǎn)中心軸周?chē)闹辽偈铅冉嵌确秶膶?duì)象物進(jìn)行攝像的攝像裝置構(gòu)成，在包含基準(zhǔn)光軸與所述雙曲面反射鏡旋轉(zhuǎn)中心軸的平面內(nèi)，將所述雙曲面反射鏡的旋轉(zhuǎn)中心軸向任意的旋轉(zhuǎn)中心軸的前面傾斜方向傾斜設(shè)置，運(yùn)算處理裝置是由對(duì)所述廣角攝像裝置所得到的圖像，將以通過(guò)所述雙曲面反射鏡的內(nèi)部焦點(diǎn)的任意軸作為假想圓筒旋轉(zhuǎn)中心軸的假想圓筒作為投影面進(jìn)行運(yùn)算處理，生成展開(kāi)圖像的展開(kāi)圖像生成部、以及將所述展開(kāi)圖像的數(shù)據(jù)形式轉(zhuǎn)換為用于輸出的形式，并作為輸出圖像生成的輸出圖像生成部構(gòu)成。
本發(fā)明的權(quán)利要求9所記載的廣角圖像生成裝置，是在權(quán)利要求8中，其特征在于，無(wú)論所述旋轉(zhuǎn)中心軸前面傾斜方向如何，在包含所述基準(zhǔn)光軸與所述雙曲面反射鏡的旋轉(zhuǎn)中心軸的平面內(nèi)設(shè)定的基準(zhǔn)軸與所述假想圓筒旋轉(zhuǎn)中心軸平行或者一致。
本發(fā)明的權(quán)利要求10所記載的廣角圖像生成裝置，是在權(quán)利要求9中，其特征在于，所述旋轉(zhuǎn)中心軸前面傾斜方向是包含所述基準(zhǔn)光軸與所述雙曲面反射鏡的旋轉(zhuǎn)中心軸的平面內(nèi)的所述廣角攝像裝置的視場(chǎng)角中心相對(duì)所述基準(zhǔn)軸垂直的方向。
本發(fā)明的權(quán)利要求11所記載的廣角圖像生成裝置，是在權(quán)利要求9或者權(quán)利要求10中，其特征在于，所述廣角攝像裝置或者所述運(yùn)算處理裝置具有檢測(cè)所述旋轉(zhuǎn)中心前面傾斜方向的旋轉(zhuǎn)中心軸前面傾斜方向檢測(cè)部，對(duì)應(yīng)所述旋轉(zhuǎn)中心軸前面傾斜方向檢測(cè)部的輸出結(jié)果，利用所述運(yùn)算處理裝置生成輸出圖像。
本發(fā)明的權(quán)利要求12所記載的廣角圖像生成裝置，是在權(quán)利要求9或者權(quán)利要求10中，其特征在于，所述廣角攝像裝置或者所述運(yùn)算處理裝置內(nèi)具有輸入所述旋轉(zhuǎn)中心軸前面傾斜方向的旋轉(zhuǎn)中心軸前面傾斜方向輸入部，對(duì)應(yīng)于所述旋轉(zhuǎn)中心軸前面傾斜方向輸入部的輸入結(jié)果，利用所述輸出圖像生成部生成輸出圖像。
本發(fā)明的權(quán)利要求13所記載的廣角圖像生成裝置，其特征在于，設(shè)置有在相對(duì)于旋轉(zhuǎn)對(duì)稱(chēng)體的旋轉(zhuǎn)中心軸垂直的任意方向上取基準(zhǔn)光軸，具有將所述基準(zhǔn)光軸的方向作為0度的角度范圍至少是θ(θ1≤θ≤θ2、-180°≤θ1≤180°、-180°≤θ2≤180°、θ1＜θ2)的凸面形狀反射面的反射鏡、在所述反射鏡的旋轉(zhuǎn)中心軸上具有主點(diǎn)，在視場(chǎng)角記為2α?xí)r光軸相對(duì)所述旋轉(zhuǎn)中心軸朝著基準(zhǔn)光軸方向傾斜α以下的角度，使所述反射鏡的反射像成像，并對(duì)所述反射鏡的旋轉(zhuǎn)中心軸周?chē)辽偈铅冉嵌确秶膶?duì)象物進(jìn)行攝像的攝像裝置、根據(jù)由所述攝像裝置得到的廣角圖像生成從所述旋轉(zhuǎn)中心軸上觀察的展開(kāi)圖像的展開(kāi)圖像生成部、以及生成包含所述展開(kāi)圖像生成部將所述廣角圖像加以展開(kāi)時(shí)的所述廣角圖像與所述展開(kāi)圖像的像素對(duì)應(yīng)關(guān)系信息的展開(kāi)表的展開(kāi)表生成部。
本發(fā)明的權(quán)利要求14所記載的廣角圖像生成裝置，其特征在于，設(shè)置有在相對(duì)于旋轉(zhuǎn)對(duì)稱(chēng)體的旋轉(zhuǎn)中心軸垂直的任意方向上取基準(zhǔn)光軸，具有將所述基準(zhǔn)光軸的方向作為0度的角度范圍至少是θ(θ1≤θ≤θ2、-180°≤θ1≤180°、-180°≤θ2≤180°、θ1＜θ2)的凸面形狀反射面的反射鏡、在所述反射鏡的旋轉(zhuǎn)中心軸上具有主點(diǎn)，在視場(chǎng)角記為2α?xí)r光軸相對(duì)所述旋轉(zhuǎn)中心軸朝著基準(zhǔn)光軸方向傾斜α以下角度，使所述反射鏡的反射像成像，對(duì)所述反射鏡的旋轉(zhuǎn)中心軸周?chē)辽偈铅冉嵌确秶膶?duì)象物進(jìn)行攝像的攝像裝置、根據(jù)由所述攝像裝置得到的廣角圖像生成從所述旋轉(zhuǎn)中心軸上觀察的展開(kāi)圖像的展開(kāi)圖像生成部、生成包含所述展開(kāi)圖像生成部將所述廣角圖像加以展開(kāi)時(shí)的所述廣角圖像與所述展開(kāi)圖像的像素對(duì)應(yīng)關(guān)系信息的展開(kāi)表的展開(kāi)表生成用運(yùn)算處理裝置、以及保持由所述展開(kāi)表生成用運(yùn)算處理裝置生成的所述展開(kāi)表，同時(shí)連接于所述展開(kāi)圖像生成部的展開(kāi)表存儲(chǔ)部。
本發(fā)明的權(quán)利要求15所記載的廣角圖像生成裝置，其特征在于，設(shè)置有具備凸面形狀的反射面的反射鏡、所述反射鏡的旋轉(zhuǎn)中心軸上具有主點(diǎn)，使所述反射鏡的反射像成像，對(duì)所述反射鏡的旋轉(zhuǎn)中心軸周?chē)?60度范圍的對(duì)象物進(jìn)行攝像的攝像裝置、根據(jù)由所述攝像裝置得到的廣角圖像生成從所述旋轉(zhuǎn)中心軸上觀察的展開(kāi)圖像的展開(kāi)圖像生成部、以及生成包含所述展開(kāi)圖像生成部將所述廣角圖像加以展開(kāi)時(shí)的所述廣角圖像與所述展開(kāi)圖像的像素對(duì)應(yīng)關(guān)系信息的展開(kāi)表的展開(kāi)表生成部。
本發(fā)明的權(quán)利要求16所記載的廣角圖像生成裝置，其特征在于，設(shè)有具備凸面形狀的反射面的反射鏡、所述反射鏡的旋轉(zhuǎn)中心軸上具有主點(diǎn)，使所述反射鏡的反射像成像，對(duì)所述反射鏡的旋轉(zhuǎn)中心軸周?chē)?60度范圍的對(duì)象物進(jìn)行攝像的攝像裝置、根據(jù)由所述攝像裝置得到的廣角圖像生成從所述旋轉(zhuǎn)中心軸上觀察的展開(kāi)圖像的展開(kāi)圖像生成部、生成包含所述展開(kāi)圖像生成部將所述廣角圖像加以展開(kāi)時(shí)的所述廣角圖像與所述展開(kāi)圖像的像素對(duì)應(yīng)關(guān)系信息的展開(kāi)表的展開(kāi)表生成用運(yùn)算處理裝置、以及保持由所述展開(kāi)表生成用運(yùn)算處理裝置生成的所述展開(kāi)表，同時(shí)連接于所述展開(kāi)圖像生成部的展開(kāi)表存儲(chǔ)部。
本發(fā)明的權(quán)利要求17所記載的廣角圖像生成裝置，是在權(quán)利要求13～權(quán)利要求16中的任意一項(xiàng)中，其特征在于，所述反射鏡是在旋轉(zhuǎn)中心軸上具有內(nèi)部焦點(diǎn)的雙曲面形狀，所述雙曲面形狀的外部焦點(diǎn)的位置與所述攝像裝置的主點(diǎn)位置大致一致。
本發(fā)明的權(quán)利要求18所記載的廣角圖像生成裝置，是在權(quán)利要求17中，其特征在于，構(gòu)成展開(kāi)表生成部或者展開(kāi)表生成用運(yùn)算處理裝置，使其能夠生成包含與攝像裝置的光軸傾斜量相對(duì)應(yīng)的廣角圖像與展開(kāi)圖像的像素對(duì)應(yīng)關(guān)系信息的展開(kāi)表。
本發(fā)明的權(quán)利要求19所記載的廣角圖像生成裝置，是在權(quán)利要求17中，其特征在于，使展開(kāi)表生成部或者展開(kāi)表生成用運(yùn)算處理裝置形成能夠根據(jù)以下數(shù)學(xué)公式生成展開(kāi)表的結(jié)構(gòu)，所述公式即tanα＝{(b2+c2)sinβ-2bc}/{(b2-c2)cosβ}c＝(a2+b2)0.5(x2+y2)0.5＝F·cosβ/cosγ(θ)/sin(β+γ(θ))cosφ＝cosθ/(1+tan2γ(90°)·sin2θ)0.5tanγ(θ)＝tanγ(90°)·sin(θ)其中，a、b是決定反射鏡的雙曲面的形狀的常數(shù)，雙曲面形狀是在XYZ空間中表示為(X2+Y2)/a2-Z2/b2＝-1的雙曲面中Z＞0的形狀，α是上述反射鏡的內(nèi)部焦點(diǎn)與空間中的任意點(diǎn)連結(jié)的直線與XY平面形成的角度，β是從上述任意點(diǎn)來(lái)的入射光入射到攝像裝置的攝像面上的點(diǎn)與上述攝像裝置的主點(diǎn)連結(jié)的直線與XY平面形成的角度，F(xiàn)是上述攝像裝置的焦距，θ是在XY平面中以基準(zhǔn)光軸方向?yàn)?0°時(shí)所述入射光的入射方向，γ是取決于上述入射方向θ的上述攝像面的傾斜，φ是上述入射光在上述攝像面上的入射方向。
本發(fā)明的權(quán)利要求20所記載的廣角圖像生成裝置，是在權(quán)利要求13～權(quán)利要求17中的任意一項(xiàng)中，其特征在于，構(gòu)成展開(kāi)表生成部或展開(kāi)表生成用運(yùn)算處理裝置，并使其能夠生成包含將含有攝像裝置的光學(xué)像差引起的畸變的廣角圖像與畸變修正后的廣角圖像的對(duì)應(yīng)關(guān)系和上述畸變修正后的廣角圖像與展開(kāi)圖像的對(duì)應(yīng)關(guān)系加以合成的像素對(duì)應(yīng)關(guān)系信息的展開(kāi)表。
本發(fā)明的權(quán)利要求21所記載的廣角圖像生成裝置，是在權(quán)利要求13～權(quán)利要求17中的任意一項(xiàng)中，其特征在于，構(gòu)成展開(kāi)表生成部或展開(kāi)表生成用運(yùn)算處理裝置，并使其能夠生成通過(guò)變更考慮廣角圖像與展開(kāi)圖像的像素對(duì)應(yīng)關(guān)系時(shí)的假想投影面的形狀，改變所述廣角圖像與所述展開(kāi)圖像的像素對(duì)應(yīng)關(guān)系的展開(kāi)表。
本發(fā)明的權(quán)利要求22所記載的廣角圖像生成裝置，是在權(quán)利要求13～權(quán)利要求17中的任意一項(xiàng)中，其特征在于，構(gòu)成展開(kāi)表生成部或展開(kāi)表生成用運(yùn)算處理裝置，并使其能夠生成任意變更展開(kāi)圖像上設(shè)置的任意遮掩區(qū)域內(nèi)的廣角圖像與展開(kāi)圖像的像素對(duì)應(yīng)關(guān)系，遮蔽所述遮掩區(qū)域內(nèi)的展開(kāi)圖像的展開(kāi)表。
本發(fā)明的權(quán)利要求23所記載的廣角圖像生成裝置，是在權(quán)利要求13～權(quán)利要求17中的任意一項(xiàng)中，其特征在于，在展開(kāi)圖像生成部的后級(jí)，追加作為展開(kāi)圖像生成部的后處理，根據(jù)展開(kāi)圖像上的位置進(jìn)行改變強(qiáng)調(diào)程度的高頻分量強(qiáng)調(diào)處理的圖像質(zhì)量修正處理部。
本發(fā)明的權(quán)利要求24所記載的廣角圖像生成裝置，是在權(quán)利要求17～權(quán)利要求23中的任意一項(xiàng)中，其特征在于，設(shè)置進(jìn)行使利用展開(kāi)圖像生成部展開(kāi)的圖像的特定區(qū)域成為與原來(lái)不同的圖像的圖像遮蔽處理的圖像遮蔽處理部。


圖1是本發(fā)明實(shí)施形態(tài)1的廣角圖像生成裝置的結(jié)構(gòu)圖。
圖2是本發(fā)明實(shí)施形態(tài)1的對(duì)象物體a、b、c的說(shuō)明圖。
圖3是本發(fā)明實(shí)施形態(tài)1的廣角圖像生成裝置中攝像面上的成像示意圖。
圖4是本發(fā)明實(shí)施形態(tài)1的廣角圖像生成裝置拍攝的圖像的展開(kāi)處理結(jié)果的示意圖。
圖5是輸出到本發(fā)明實(shí)施形態(tài)1的TV監(jiān)視器的輸出圖像的示意圖。
圖6是廣角圖像生成裝置的旋轉(zhuǎn)和旋轉(zhuǎn)時(shí)的輸出圖像的示意圖。
圖7是本發(fā)明實(shí)施形態(tài)2的廣角圖像生成裝置的結(jié)構(gòu)圖。
圖8是從X軸方向(鉛直上方)觀察本發(fā)明實(shí)施形態(tài)3的廣角圖像生成裝置的結(jié)構(gòu)圖。
圖9是從X軸方向(鉛直上方)觀察本發(fā)明實(shí)施形態(tài)4的廣角圖像生成裝置的結(jié)構(gòu)圖。
圖10是本發(fā)明實(shí)施形態(tài)5的廣角圖像生成裝置的結(jié)構(gòu)圖。
圖11是本發(fā)明實(shí)施形態(tài)5的廣角圖像生成裝置的說(shuō)明圖。
圖12是本發(fā)明實(shí)施形態(tài)5的廣角圖像生成裝置的攝像面上的成像示意圖。
圖13是本發(fā)明實(shí)施形態(tài)5的對(duì)象物體a、b、c的說(shuō)明圖。
圖14是本發(fā)明實(shí)施形態(tài)5得到的廣角圖像說(shuō)明圖。
圖15是本發(fā)明實(shí)施形態(tài)5的展開(kāi)表作成流程圖。
圖16是本發(fā)明實(shí)施形態(tài)5的廣角攝像裝置的結(jié)構(gòu)圖。
圖17是本發(fā)明實(shí)施形態(tài)5的攝像面附近的放大圖。
圖18是本發(fā)明實(shí)施形態(tài)5中從Z軸方向觀察的情況下的雙曲面反射鏡和攝像面的配置圖。
圖19是Xa、Ya面上的角度θ與xy面上的角度φ的關(guān)系的說(shuō)明圖。
圖20是攝像裝置的光學(xué)畸變的影響的說(shuō)明圖。
圖21是試驗(yàn)圖案圖像的說(shuō)明圖。
圖22是展開(kāi)圖像的左右的析像度差的說(shuō)明圖。
圖23是展開(kāi)圖像上的位置和清晰度系數(shù)的關(guān)系的說(shuō)明圖。
圖24是本發(fā)明實(shí)施形態(tài)6的廣角圖像生成裝置的結(jié)構(gòu)圖。
圖25是本發(fā)明實(shí)施形態(tài)6的對(duì)象物體a、b、c的說(shuō)明圖。
圖26是本發(fā)明實(shí)施形態(tài)6的攝像面上的成像示意圖。
圖27是本發(fā)明實(shí)施形態(tài)6的展開(kāi)表作成流程圖。
圖28是表示假想投影面與操作者的關(guān)系的說(shuō)明圖。
圖29是關(guān)于假想投影面形狀的變更方法的說(shuō)明圖。
圖30是遮蔽ATM操作面板的情況的示意圖。
圖31是本發(fā)明實(shí)施形態(tài)6的廣角圖像生成裝置的結(jié)構(gòu)圖。
圖32是本發(fā)明實(shí)施形態(tài)7的廣角圖像生成裝置的結(jié)構(gòu)圖。
圖33是展開(kāi)處理說(shuō)明圖。
圖34是全方位攝像機(jī)的說(shuō)明圖。
圖35是全方位攝像機(jī)的展開(kāi)處理說(shuō)明圖。
具體實(shí)施形態(tài)下面就圖1～圖9所示的實(shí)施形態(tài)1～實(shí)施形態(tài)4各實(shí)施形態(tài)，對(duì)即使是使廣角攝像裝置處于其旋轉(zhuǎn)中心軸在垂直于基準(zhǔn)光軸方向的面內(nèi)相對(duì)于鉛錘方向取傾斜狀態(tài)，作為廣角圖像生成裝置的輸出，成為圖像內(nèi)的水平方向與TV監(jiān)視器的水平方向一致的圖像，不會(huì)給觀眾以不協(xié)調(diào)的感覺(jué)的感覺(jué)圖像的生成裝置進(jìn)行說(shuō)明。
實(shí)施形態(tài)1圖1～圖5表示本發(fā)明的實(shí)施形態(tài)1。
圖1表示實(shí)施形態(tài)1的廣角圖像生成裝置，將紙面上下方向上的坐標(biāo)軸設(shè)定為X軸，從紙面向著讀者的方向的坐標(biāo)軸作為Y軸，紙面左右方向的坐標(biāo)軸作為Z軸。另外，將X軸設(shè)定于鉛直方向。
廣角攝像裝置8由雙曲面反射鏡1、成像透鏡2以及攝像元件3構(gòu)成。攝像裝置由成像透鏡2、攝像元件3構(gòu)成。雙曲面反射鏡1具有雙曲面旋轉(zhuǎn)中心軸周?chē)?0度大小的反射面。其0度方向，即基準(zhǔn)光軸方向作為Y軸方向。另外，基準(zhǔn)光軸采用通過(guò)雙曲面反射鏡1內(nèi)部焦點(diǎn)4的光軸。雙曲面反射鏡1的旋轉(zhuǎn)中心軸6以Y軸作為旋轉(zhuǎn)軸且偏離鉛直方向90度，與Z軸(水平方向)一致。
向內(nèi)部焦點(diǎn)4入射的光線a、b、c在雙曲面反射鏡1的反射面上反射，聚焦于旋轉(zhuǎn)中心軸6上的外部焦點(diǎn)(未圖示)。配置得使該外部焦點(diǎn)的位置和成像透鏡2的主點(diǎn)7的位置一致或者大致一致，光線a、b、c通過(guò)成像透鏡2在攝像元件3的攝像面5上成像。
在圖1中將成像透鏡2描寫(xiě)成用一片構(gòu)成，但是也可以由多片透鏡構(gòu)成。此外，在這里將反射鏡1限定為雙曲面形狀，但也可以采用半球、圓錐等旋轉(zhuǎn)對(duì)稱(chēng)形狀。只是，在那種情況下，由于不存在外部焦點(diǎn)，成像透鏡2的主點(diǎn)7可以是在旋轉(zhuǎn)中心軸6上的任意位置上。
作為設(shè)置于廣角攝像裝置8的旋轉(zhuǎn)中心軸面內(nèi)傾斜方向檢測(cè)部的旋轉(zhuǎn)方式的Y軸周?chē)嵌葌鞲衅?2，輸出垂直于基準(zhǔn)光軸方向的面內(nèi)(XZ平面內(nèi))的旋轉(zhuǎn)中心軸6相對(duì)于作為基準(zhǔn)的軸(這里采用鉛直軸)傾斜幾度的信息。
演算處理裝置11由展開(kāi)圖像生成部9以及輸出圖像生成部10構(gòu)成。展開(kāi)圖像生成部9中，對(duì)利用廣角攝像裝置8的攝像元件3所得到的180度視場(chǎng)角的廣角圖像，按照對(duì)應(yīng)于雙曲面反射鏡1的形狀、成像透鏡2以及攝像元件3的光學(xué)特性決定的算法，進(jìn)行使廣角圖像轉(zhuǎn)換為展開(kāi)圖像的處理。
輸出圖像生成部10，對(duì)利用展開(kāi)圖像生成部9得到的展開(kāi)圖像，依據(jù)Y軸周?chē)嵌葌鞲衅?2的輸出，進(jìn)行下述傾斜修正處理，并向NTSC制式轉(zhuǎn)換。13是表示來(lái)自演算處理裝置11的輸出圖像的TV監(jiān)視器。
下面根據(jù)動(dòng)作對(duì)圖1的構(gòu)成作更詳細(xì)的說(shuō)明。
圖1中，光線a、b、c表示來(lái)自對(duì)象物的任意光線。因此決定將各光線的對(duì)象物稱(chēng)為對(duì)象a、b、c。對(duì)象物a、b、c用圖2(a)所示的屏幕14上所描寫(xiě)的「a」、「b」、「c」文字表示，考慮可以通過(guò)雙曲面反射鏡1看到描寫(xiě)對(duì)象物a、b、c的面地設(shè)置該屏幕14，以便如圖2(b)所示在Z軸周?chē)鷱腪軸到屏幕表面的距離保持一定的情況。
如同已經(jīng)說(shuō)明的那樣，向著內(nèi)部焦點(diǎn)4并入射于雙曲面反射鏡1的反射面上的光線全部朝著外部焦點(diǎn)(未圖示)反射，通過(guò)將外部焦點(diǎn)與主點(diǎn)的位置設(shè)置成一致或者大致一致的成像透鏡2在攝像元件3的攝像面5上成像。
從而，相對(duì)于基準(zhǔn)光軸方向(Y軸方向)±90°的范圍在攝像面5上成像。這時(shí)，由攝像元件3得到的圖像示于圖3。可知對(duì)象物被完全包含于其中。
演算處理裝置11對(duì)由廣角攝像裝置8輸出的圖3所示的廣角圖像，在展開(kāi)圖像生成部9進(jìn)行向展開(kāi)圖像轉(zhuǎn)換的處理。
如已說(shuō)明的那樣，展開(kāi)處理通過(guò)確定展開(kāi)圖像的投影面(假想圓筒面21)，考慮由廣角圖像向投影面的映射，以決定展開(kāi)圖像的各像素的廣角圖像中的對(duì)應(yīng)點(diǎn)，而且可以因此確定展開(kāi)圖像的全部像素的輝度值，以生成展開(kāi)圖像。一旦對(duì)例如圖3所示的廣角圖像進(jìn)行展開(kāi)處理，就將得到圖4那樣的展開(kāi)圖像。
對(duì)于通過(guò)在以上那樣的展開(kāi)圖像生成部9的處理所制作的展開(kāi)圖像，在輸出圖像生成部10進(jìn)行向輸出圖像變換的處理。
在輸出圖像生成部10進(jìn)行2個(gè)處理。
首先對(duì)展開(kāi)圖像的傾斜修正處理進(jìn)行說(shuō)明。
一旦在垂直于基準(zhǔn)光軸方向的面內(nèi)使旋轉(zhuǎn)中心軸6相對(duì)于鉛直方向傾斜90度，展開(kāi)圖像將成為如圖4所示那樣相對(duì)該圖像內(nèi)的鉛直方向本來(lái)應(yīng)有的方向傾斜90度的圖像。
因此，通過(guò)對(duì)該橫長(zhǎng)的展開(kāi)圖像實(shí)施圖像旋轉(zhuǎn)處理，對(duì)傾斜進(jìn)行修正。具體方法是，采用編入廣角攝像裝置8的旋轉(zhuǎn)方式的Y軸周?chē)嵌葌鞲衅?2，將觀察Y軸+方向時(shí)的順時(shí)針旋轉(zhuǎn)方向作為正方向?qū)ο鄬?duì)于廣角攝像裝置8的旋轉(zhuǎn)中心軸6的鉛直方向的傾斜角進(jìn)行測(cè)量。
將順時(shí)針?lè)较蜃鳛檎较虿⑼ㄟ^(guò)圖像處理演算使展開(kāi)圖像旋轉(zhuǎn)這樣得到的傾斜角大小。
接著對(duì)輸出圖像化處理進(jìn)行說(shuō)明。
廣角圖像的展開(kāi)處理、傾斜修正處理是在將圖像數(shù)字化的狀態(tài)下進(jìn)行的。因此，進(jìn)行轉(zhuǎn)換為適用于顯示數(shù)字化圖像的形式，例如NTSC制式的處理。具體地說(shuō)，首先在數(shù)字?jǐn)?shù)據(jù)的階段追加空白區(qū)域使圖像尺寸適合NTSC尺寸。該空白區(qū)域即使是采用輝度為0的區(qū)域也沒(méi)有關(guān)系，并且放入某種信息(例如顯示背景圖像、攝像時(shí)間的標(biāo)題說(shuō)明等)也沒(méi)關(guān)系。其次，通過(guò)采用已有的NTSC編碼芯片等構(gòu)成電路，將成為NTSC尺寸的數(shù)字?jǐn)?shù)據(jù)轉(zhuǎn)換成NTSC。即使是在圖4所示的展開(kāi)圖像，輸出圖像如圖5所示那樣，在圖像內(nèi)的水平方向與實(shí)際水平方向一致或者大致一致的狀態(tài)下，也能夠在TV監(jiān)視器13上顯示。
而且，作為輸出形式并非局限于NTSC，也可以是PAL等其他制式。
又，這里是采用將旋轉(zhuǎn)中心軸6傾斜90度的構(gòu)成，但是傾斜角并非局限于90度。但是，如果將傾斜角設(shè)定為90度，可以得到在通常的廣角光學(xué)系統(tǒng)中難以實(shí)現(xiàn)的鉛直方向180度的視野，因此為了能夠得到從站在本裝置旁邊的人的臉開(kāi)始到手里、腳下為止的作為一張的圖像，因此具有可以適用于例如ATM(自動(dòng)提款機(jī))和自動(dòng)售貨機(jī)等的監(jiān)視用途的優(yōu)點(diǎn)。
又，本發(fā)明并非限定于使旋轉(zhuǎn)中心軸6傾斜任意角度，將廣角攝像裝置8加以固定的情況。例如，如圖6中示意表示的那樣，將基準(zhǔn)光軸作為旋轉(zhuǎn)軸使廣角攝像裝置8以一定的速度旋轉(zhuǎn)，將其輸出圖像輸出到TV監(jiān)視器13。這時(shí)，輸出圖像也以一定速度在TV監(jiān)視器內(nèi)旋轉(zhuǎn)。但是，其圖像內(nèi)容成為水平方向與TV監(jiān)視器的水平方向相一致的內(nèi)容，并且可以作為用于事件等的特殊顯示器使用。
又，實(shí)施形態(tài)1中，雖然對(duì)傾斜修正處理采用使展開(kāi)圖像內(nèi)的水平方向與輸出圖像的水平方向相一致那樣控制的方法，但是并非局限于此。例如也可以采用使展開(kāi)圖像內(nèi)的水平方向與輸出圖像的水平方向之間的偏移保持一定那樣的控制、或按照使展開(kāi)圖像內(nèi)的水平方向與輸出圖像的水平方向之間的偏移保持一定的規(guī)定使其變化那樣的控制。
又，實(shí)施形態(tài)1中，雖然雙曲面反射鏡1采用具有±90度大小的反射面，但是并非局限于此。只要是至少±90度以下的范圍即可。
又，實(shí)施形態(tài)1中，是將旋轉(zhuǎn)方式的Y軸周?chē)嵌葌鞲衅?2安裝在廣角攝像裝置8上得到傾斜信息。作為其他方法，也可以在演算處理裝置11中采用圖像處理得到傾斜信息。
具體地說(shuō)，進(jìn)行攝影，確定攝影條件使作為角度計(jì)量基準(zhǔn)的對(duì)象物進(jìn)入得到的展開(kāi)圖像中。而且通過(guò)圖像處理求該對(duì)象物的展開(kāi)圖像內(nèi)的傾斜角，確定輸出圖像化處理時(shí)的傾斜角使其角度為一定值。如果采用該方法，將具有無(wú)需角度傳感器的優(yōu)點(diǎn)。
又，實(shí)施形態(tài)1中，在展開(kāi)圖像生成部9進(jìn)行由廣角圖像生成展開(kāi)圖像的處理，并在輸出圖像生成部10中進(jìn)行展開(kāi)圖像的傾斜修正處理以及向NTSC等轉(zhuǎn)換的輸出圖像化處理，但是也可以采用在展開(kāi)圖像生成部9生成展開(kāi)圖像，同時(shí)進(jìn)行展開(kāi)圖像的傾斜修正，在輸出圖像生成部10只進(jìn)行輸出圖像化處理的結(jié)構(gòu)。
具體地說(shuō)，采用作為已有技術(shù)說(shuō)明的方法確定展開(kāi)圖像的各像素在廣角圖像中的對(duì)應(yīng)點(diǎn)，并且按此確定展開(kāi)圖像的各像素的輝度值。通過(guò)將這樣得到的各像素的輝度值預(yù)先依次存儲(chǔ)在考慮到展開(kāi)圖像生成部9內(nèi)的沒(méi)有圖示出的存儲(chǔ)器上的展開(kāi)圖像的傾斜的位置上，以生成傾斜修正了的展開(kāi)圖像。在此時(shí)的展開(kāi)圖像的傾斜量通過(guò)Y軸周?chē)鷥A斜傳感器12取得。在輸出圖像生成部10接收傾斜修正了的展開(kāi)圖像并進(jìn)行輸出圖像化處理。
采用這樣的構(gòu)成，由于可以同時(shí)進(jìn)行展開(kāi)圖像的生成與傾斜修正，具有可以期待提高處理速度的優(yōu)點(diǎn)。
這樣采用實(shí)施形態(tài)1，即使將廣角攝像裝置8置于其旋轉(zhuǎn)中心軸6在垂直于基準(zhǔn)光軸方向的面內(nèi)相對(duì)于鉛直方向傾斜的狀態(tài)，也可以使作為廣角圖像生成裝置的輸出成為圖像內(nèi)的水平方向與TV監(jiān)視器13的水平方向一致的圖像，并且不會(huì)給予觀眾以一種不協(xié)調(diào)的感覺(jué)。
實(shí)施形態(tài)2圖7是本發(fā)明實(shí)施形態(tài)2的廣角圖像生成裝置。
與圖1中所示的實(shí)施形態(tài)1不同的部分是，去除作為旋轉(zhuǎn)中心軸面內(nèi)傾斜方向檢測(cè)部的Y軸周?chē)嵌葌鞲衅?2，并且將通過(guò)手動(dòng)操作輸入設(shè)定旋轉(zhuǎn)中心軸面內(nèi)傾斜方向的旋轉(zhuǎn)中心軸面內(nèi)傾斜方向輸入部15設(shè)置于運(yùn)算處理裝置11。
下面對(duì)這樣構(gòu)成的廣角圖像生成裝置就其動(dòng)作以與所述形態(tài)1不同的部分為中心進(jìn)行說(shuō)明。
旋轉(zhuǎn)中心軸面內(nèi)傾斜方向輸入部15是可變電阻器等輸入設(shè)定器。通過(guò)該輸入設(shè)定器，在輸入圖像生成部10內(nèi)設(shè)定作為常數(shù)數(shù)據(jù)被確保的，相對(duì)于垂直于廣角攝像裝置8的旋轉(zhuǎn)中心軸6的基準(zhǔn)光軸方向的面內(nèi)的鉛直方向的傾斜角的值。其他動(dòng)作與實(shí)施形態(tài)1相同。
這樣采用實(shí)施形態(tài)2，可以采用省略Y軸周?chē)嵌葌鞲衅?2的構(gòu)成，因此可以更為廉價(jià)地構(gòu)成裝置整體。而且，在這里雖然假設(shè)旋轉(zhuǎn)中心軸面內(nèi)傾斜方向輸入部15為可變電阻器等輸入設(shè)定器，但并非限于這種形態(tài)。例如，對(duì)輸出圖像生成部10內(nèi)確保的常數(shù)數(shù)據(jù)的改寫(xiě)，也可以從輸出圖像生成部10的外部用個(gè)人電腦進(jìn)行，旋轉(zhuǎn)中心軸面內(nèi)傾斜方向輸入部15也可以作為輸出圖像生成部10與所述個(gè)人電腦之間的連接部。
在上述實(shí)施形態(tài)中，將旋轉(zhuǎn)中心軸面內(nèi)傾斜方向輸入部15設(shè)置在運(yùn)算處理裝置11中，但是也可以將向輸出圖像生成部10輸入旋轉(zhuǎn)中心軸面內(nèi)傾斜方向用的可變電阻器等輸入設(shè)定器或者輸出圖像生成部10與個(gè)人電腦之間的所述連接部設(shè)置在廣角攝像裝置8一側(cè)。
又，在實(shí)施形態(tài)2中，雙曲面反射鏡1采用具有±90度大小的反射面，但是并非局限于此。只要是至少±90度以下的范圍即可。
實(shí)施形態(tài)3圖8所示是實(shí)施形態(tài)3的廣角圖像生成裝置。
在該圖8中，1’表示基準(zhǔn)狀態(tài)的雙曲面反射鏡的位置。6’表示基準(zhǔn)狀態(tài)的旋轉(zhuǎn)中心軸的位置?；鶞?zhǔn)狀態(tài)的旋轉(zhuǎn)中心軸6’采取與水平方向一致或者大致一致的中心軸，此為傾斜之前的狀態(tài)。雙曲面反射鏡1、成像透鏡2、攝像元件3、雙曲面反射鏡1的內(nèi)部焦點(diǎn)4、攝像元件3的攝像面5、雙曲面反射鏡1的旋轉(zhuǎn)中心軸6以及成像透鏡2的主點(diǎn)7，與實(shí)施形態(tài)1的廣角圖像生成裝置相同。
不同點(diǎn)是，在包含基準(zhǔn)光軸與旋轉(zhuǎn)中心軸6的面內(nèi)，相對(duì)基準(zhǔn)狀態(tài)的旋轉(zhuǎn)中心軸6’，以內(nèi)部焦點(diǎn)4為中心，以傾斜角度θ傾斜設(shè)置旋轉(zhuǎn)中心軸6，以及X軸周?chē)嵌葌鞲衅?6的測(cè)定方向?yàn)閮A斜角θ。
18’與19’表示基準(zhǔn)狀態(tài)中的廣角攝像裝置8的攝影界限，20’表示基準(zhǔn)狀態(tài)中的廣角攝像裝置8的視野范圍，18與19表示使旋轉(zhuǎn)中心軸6只以傾斜角θ偏離基準(zhǔn)狀態(tài)時(shí)(傾斜時(shí))的廣角攝像裝置8的視野范圍。20表示使旋轉(zhuǎn)中心軸6只以傾斜角θ偏離基準(zhǔn)狀態(tài)時(shí)(傾斜時(shí))的廣角攝像裝置8的視野范圍。21表示考慮由廣角圖像映射為展開(kāi)圖像時(shí)的作為假想投影面的假想圓筒面。
接著，在展開(kāi)圖像生成部9，對(duì)利用廣角攝像裝置8得到的180度視場(chǎng)角的廣角圖像，采用X軸周?chē)嵌葌鞲衅?6的輸出，并且按照后述的算法進(jìn)行使廣角圖像向展開(kāi)圖像轉(zhuǎn)換的處理。在輸出圖像生成部10，對(duì)利用展開(kāi)圖像生成部9得到的展開(kāi)圖像，進(jìn)行向NTSC制式的變換。
13與實(shí)施形態(tài)1的內(nèi)容相同，是顯示來(lái)自運(yùn)算處理裝置11的輸出圖像的TV監(jiān)視器。
還有，在這里雖然基準(zhǔn)狀態(tài)的旋轉(zhuǎn)中心軸6’、旋轉(zhuǎn)中心軸6’與水平方向一致，但是并不限于此。
下面采用圖8，以與實(shí)施形態(tài)1的不同部分為中心對(duì)其動(dòng)作進(jìn)行說(shuō)明。
得到廣角攝像裝置8的180度視野的廣角圖像的動(dòng)作與實(shí)施形態(tài)1相同。不同點(diǎn)是，視野只傾斜角θ大小從圖8中所示的基準(zhǔn)狀態(tài)的視野范圍20’變化為傾斜時(shí)的視野范圍20。
運(yùn)算處理裝置11中，對(duì)由廣角攝像裝置8輸出的廣角圖像，在展開(kāi)圖像生成部9進(jìn)行向展開(kāi)圖像轉(zhuǎn)換的處理。該處理中，空間內(nèi)的任意點(diǎn)P與攝像面5上的點(diǎn)(即廣角圖像上的點(diǎn))p之間的對(duì)應(yīng)關(guān)系的思路與實(shí)施形態(tài)1相同。不同點(diǎn)是，考慮展開(kāi)圖像時(shí)的投影面，即空間內(nèi)的點(diǎn)P的選取方法。具體地說(shuō)，考慮圖8所示的假想圓筒面21。通常是將假想圓筒面21設(shè)想為其中心軸與旋轉(zhuǎn)中心軸6相一致，但是在實(shí)施形態(tài)3，將對(duì)利用X軸周?chē)嵌葌鞲衅?6得到的基準(zhǔn)狀態(tài)的旋轉(zhuǎn)中心軸6’的，傾斜后的旋轉(zhuǎn)中心軸6的傾斜角記為θ時(shí)，使假想圓筒面21的中心軸相對(duì)傾斜后的旋轉(zhuǎn)中心軸6在包含基準(zhǔn)光軸與旋轉(zhuǎn)中心軸6的平面內(nèi)，以內(nèi)部焦點(diǎn)4為中心傾斜-θ角。也就是使假想圓筒面21的中心軸與基準(zhǔn)狀態(tài)的旋轉(zhuǎn)中心軸6’一致。采用對(duì)應(yīng)于空間點(diǎn)P的廣角圖像上的點(diǎn)p的輝度值求對(duì)應(yīng)于這樣確定的假想圓筒面21上的任意空間點(diǎn)P的展開(kāi)圖像上的點(diǎn)的輝度，制作展開(kāi)圖像。
還有，在這里雖然將使廣角攝像裝置8偏離基準(zhǔn)狀態(tài)時(shí)的旋轉(zhuǎn)中心作為內(nèi)部焦點(diǎn)4，但是并不限于此。但是，如果使旋轉(zhuǎn)中心與內(nèi)部焦點(diǎn)一致或者大致一致，則具有可以使廣角攝像裝置8的視點(diǎn)大體保持穩(wěn)定地對(duì)傾斜角進(jìn)行調(diào)整的優(yōu)點(diǎn)。
對(duì)在以上所述的展開(kāi)圖像生成部9進(jìn)行的處理中制作的展開(kāi)圖像，在輸出圖像生成部10進(jìn)行向輸出圖像的變換處理。實(shí)施形態(tài)3中，沒(méi)有實(shí)施形態(tài)1中所包含的「傾斜修正處理」，只是進(jìn)行輸出圖像化處理。輸出圖像化處理進(jìn)行與實(shí)施形態(tài)1的輸出圖像化處理相同的處理。
這樣采用實(shí)施形態(tài)3，通過(guò)使廣角攝像裝置8在包含基準(zhǔn)光軸與旋轉(zhuǎn)中心軸6的平面內(nèi)傾斜，作為廣角圖像生成裝置，可以改變旋轉(zhuǎn)中心軸6的方向視野范圍。
又，通過(guò)測(cè)量廣角攝像裝置8相對(duì)于基準(zhǔn)狀態(tài)的傾斜角，并利用其值使作為展開(kāi)圖像的投影面的假想圓筒面21的中心軸經(jīng)常與基準(zhǔn)狀態(tài)的旋轉(zhuǎn)中心軸6’一致，以此可以在不改變展開(kāi)圖像中的視線中心位置(展開(kāi)圖像中的仰角為0的位置。向著成為與成像透鏡2的主點(diǎn)7等價(jià)的內(nèi)部焦點(diǎn)4的光線，與作為投影面的假想圓筒面21垂直相交的位置。)的情況下能夠變更視野范圍。特別是，將從基準(zhǔn)光軸到基準(zhǔn)狀態(tài)的視野界限18’為止的角度的絕對(duì)值記為φ，將從基準(zhǔn)光軸到基準(zhǔn)狀態(tài)的視野界限19’為止的角度的絕對(duì)值記為ψ，假設(shè)θ在圖8中以順時(shí)針?lè)较蜃鳛檎较?，則即使是做成雙曲面反射鏡1時(shí)使φ＜ψ，如果將θ設(shè)定為(φ-ψ)/2，就可以使用整個(gè)視野范圍，得到視線中心在展開(kāi)圖像的短邊方向的中央的展開(kāi)圖像。
因此，可以使離展開(kāi)圖像中的視線中心的距離為最小，離展開(kāi)圖像中的視線中心遠(yuǎn)的部分由于看起來(lái)比其他部分斜所以看起來(lái)有畸變的問(wèn)題能夠減輕。
而且，本發(fā)明并不限于使廣角視線裝置8向任意角度傾斜并固定的廣角圖像生成裝置。
具體地說(shuō)，通過(guò)對(duì)應(yīng)于X軸周?chē)嵌葌鞲衅?6的輸出動(dòng)態(tài)地對(duì)假想圓筒面21中心軸的傾斜進(jìn)行控制，確保與基準(zhǔn)狀態(tài)的旋轉(zhuǎn)中心軸6’保持一致，可以對(duì)應(yīng)包含廣角攝像裝置8的基準(zhǔn)光軸(Y軸)與旋轉(zhuǎn)中心軸6的面內(nèi)的動(dòng)態(tài)傾斜。
又，在實(shí)施形態(tài)3中雖然使雙曲面反射鏡1具有±90度大小的反射面，但并不限于此。只要是至少±90度以下的范圍即可。
又，在實(shí)施形態(tài)3中，雖然表示了使假想圓筒面21呈-θ傾斜以抵消廣角攝像裝置8相對(duì)于基準(zhǔn)狀態(tài)的傾斜角θ，但是并不限于此。
例如，也可以采取例如將假想圓筒面21的中心軸相對(duì)于基準(zhǔn)狀態(tài)的旋轉(zhuǎn)中心軸6’的傾斜設(shè)定為0以外的一定值那樣的控制，或按照一定的規(guī)定使其改變的控制。
實(shí)施形態(tài)4圖9是本發(fā)明實(shí)施形態(tài)4的廣角圖像生成裝置。
與實(shí)施形態(tài)3不同的部分是，沒(méi)有X軸周?chē)嵌葌鞲衅?6，將旋轉(zhuǎn)中心軸前面傾斜方向輸入部17設(shè)置在運(yùn)算處理裝置11中。
下面根據(jù)廣角圖像生成裝置動(dòng)作，以不同于實(shí)施形態(tài)3的部分為中心，對(duì)該裝置進(jìn)行說(shuō)明。
旋轉(zhuǎn)中心軸前面傾斜方向輸入部17是可變電阻器等輸入設(shè)定器。該輸入設(shè)定器對(duì)在展開(kāi)圖像生成部9內(nèi)作為常數(shù)數(shù)據(jù)確保的，廣角攝像裝置8在包含基準(zhǔn)光軸(Y軸)與旋轉(zhuǎn)中心軸6的面內(nèi)的基準(zhǔn)狀態(tài)的，旋轉(zhuǎn)中心軸6相對(duì)于旋轉(zhuǎn)中心軸6’的傾斜角的值進(jìn)行設(shè)定、變更。其他動(dòng)作與實(shí)施形態(tài)3相同。
采用該實(shí)施形態(tài)4，由于可以形成省略X軸周?chē)嵌葌鞲衅?6的結(jié)構(gòu)，因此可以更為廉價(jià)地構(gòu)成整個(gè)裝置。這里雖然將旋轉(zhuǎn)中心軸前面傾斜方向輸入部17設(shè)置在運(yùn)算處理裝置11中，但也可以將旋轉(zhuǎn)中心軸前面傾斜方向輸入部17設(shè)置于廣角攝像裝置8構(gòu)成。
而且，這里雖然旋轉(zhuǎn)中心軸前面傾斜方向輸入部17采用可變電阻器等輸入設(shè)定器，但并不限于此。例如，對(duì)展開(kāi)圖像生成部9內(nèi)確保的常數(shù)數(shù)據(jù)的改寫(xiě)也可以從展開(kāi)圖像生成部9的外部，采用個(gè)人電腦進(jìn)行，旋轉(zhuǎn)中心軸前面傾斜方向輸入部17也可以作為展開(kāi)圖像生成部9與個(gè)人電腦之間的連接部。該連接部設(shè)置在廣角攝像裝置8或者運(yùn)算處理裝置11中。
又，實(shí)施形態(tài)4中雖然使雙曲面反射鏡1具有±90度大小的反射面，但是并不限于此。只要是至少±90度以下的范圍即可。
又，在實(shí)施形態(tài)4中，雖然也表示出使假想圓筒面21呈-θ傾斜以抵消廣角攝像裝置8相對(duì)于基準(zhǔn)狀態(tài)的傾斜角θ，但是不限于此。例如，廣角攝像裝置8相對(duì)于基準(zhǔn)狀態(tài)的傾斜角θ為0時(shí)，只使假想圓筒面21傾斜即可。如果那樣的話，也能夠在將廣角攝像裝置8固定的情況下變更視線中心。
如上所述采用本發(fā)明，則即使將廣角攝像裝置置于其旋轉(zhuǎn)中心軸在與基準(zhǔn)光軸方向相垂直的面內(nèi)相對(duì)于鉛直方向方向傾斜的狀態(tài)，作為廣角圖像生成裝置的輸出，也能夠成為圖像內(nèi)的水平方向與TV監(jiān)視器的水平方向一致的圖像，不會(huì)給觀眾一種不協(xié)調(diào)的感覺(jué)。
又，即使使廣角攝像裝置置于在包含其旋轉(zhuǎn)中心軸與基準(zhǔn)光軸的面內(nèi)相對(duì)某個(gè)基準(zhǔn)狀態(tài)傾斜的狀態(tài)，也可以通過(guò)測(cè)量其傾斜角并且利用該值使作為展開(kāi)圖像投影面的假想圓筒面的中心軸經(jīng)常與基準(zhǔn)狀態(tài)的旋轉(zhuǎn)中心軸一致，以此可以不改變展開(kāi)圖像中的視線中心的位置地變更視野范圍。還有，可以使用整個(gè)視野范圍，得到視線中心在展開(kāi)圖像短邊方向的中央那樣的展開(kāi)圖像。因此，可以將離展開(kāi)圖像中的任意點(diǎn)的視線中心的最大距離最小化。離展開(kāi)圖像中的視線中心遠(yuǎn)的部分由于比其他部分看來(lái)更傾斜，因此與其他部分相比畸變顯得更明顯的問(wèn)題可以減輕。
根據(jù)圖10～圖32所示的實(shí)施形態(tài)5～實(shí)施形態(tài)7各個(gè)實(shí)施形態(tài)，在反射面形成的反射像中，在考慮以垂直于該反射面的旋轉(zhuǎn)中心軸的任意方向作為基準(zhǔn)方向，只對(duì)其大約±90度大小進(jìn)行攝像的廣角攝像裝置的情況下，如果想要對(duì)廣角圖像適用與全方位攝像機(jī)的情況同樣的處理以得到展開(kāi)圖像，則將由于攝像裝置的光軸傾斜和光學(xué)像差等原因造成的圖像變形而使得到的展開(kāi)圖像不能成為正確圖像，下面對(duì)能夠解決這一問(wèn)題的廣角圖像生成裝置進(jìn)行說(shuō)明。
實(shí)施形態(tài)5圖10～圖23、圖30表示本發(fā)明實(shí)施形態(tài)5。
圖10是本發(fā)明實(shí)施形態(tài)5的廣角圖像生成裝置。
設(shè)定坐標(biāo)軸時(shí)，將紙面的上下方向作為Z軸，將從紙面向自己這一方的方向作為Y軸，將紙面的左右方向作為X軸。另外，取Z軸于鉛直方向上。
該廣角圖像生成裝置是由對(duì)反射鏡形成的反射像進(jìn)行攝像的廣角攝像裝置8以及圖像處理裝置22構(gòu)成的。
首先對(duì)廣角攝像裝置進(jìn)行說(shuō)明。
廣角攝像裝置8是由雙曲面反射鏡1、成像透鏡2以及CCD等攝像元件3構(gòu)成的。又，攝像裝置由成像透鏡2以及攝像元件3構(gòu)成。
雙曲面反射鏡1具有雙曲面的旋轉(zhuǎn)中心軸周?chē)募s±90°大小的反射面。以其0度的方向稱(chēng)為基準(zhǔn)光軸方向，在這里采用與Y軸一致的方向。
4為雙曲面反射鏡1的內(nèi)部焦點(diǎn)。5是攝像元件3的攝像面。6是雙曲面反射鏡1的旋轉(zhuǎn)中心軸。這里，使旋轉(zhuǎn)中心軸6與Z軸(鉛直)方向相一致。向內(nèi)部焦點(diǎn)4入射的光線a、b、c在雙曲面反射鏡1的反射面上反射，聚焦于旋轉(zhuǎn)中心軸6上的外部焦點(diǎn)(未圖示)。配置得使該外部焦點(diǎn)的位置和成像透鏡2的主點(diǎn)7的位置大致一致，光線a、b、c通過(guò)成像透鏡2在攝像元件3的攝像面5上成像。這里，使成像透鏡2與攝像元件3所共有的光軸(未圖示)相對(duì)雙曲面反射鏡1的旋轉(zhuǎn)中心軸6朝基準(zhǔn)光軸方向傾斜設(shè)置。有關(guān)該傾斜的結(jié)構(gòu)將用圖11在后面敘述。
還有，雖然圖10中是將成像透鏡2描寫(xiě)為1片結(jié)構(gòu)的透鏡，但是用多片構(gòu)成也可以。
以下對(duì)圖像處理裝置22進(jìn)行說(shuō)明。
圖像處理裝置22是由展開(kāi)表生成部23、展開(kāi)圖像生成部24、圖像質(zhì)量修正處理部25以及圖像遮蔽處理部26構(gòu)成。
在展開(kāi)表生成部23中，進(jìn)行使根據(jù)雙曲面反射鏡1的形狀、成像透鏡2以及攝像元件3的光學(xué)特性以及配置確定的算法算出，利用廣角攝像裝置8得到的廣角圖像向展開(kāi)圖像轉(zhuǎn)換時(shí)所采用的展開(kāi)表的計(jì)算處理。下面將對(duì)該算法進(jìn)行敘述。
展開(kāi)圖像生成部24參考通過(guò)由展開(kāi)表生成部23得到的展開(kāi)表，進(jìn)行使廣角圖像向展開(kāi)圖像轉(zhuǎn)換的處理。
在圖像質(zhì)量修正處理部25，對(duì)在展開(kāi)圖像生成部24生成的展開(kāi)圖像進(jìn)行后述圖像質(zhì)量修正處理。
圖像遮蔽處理部26對(duì)在圖像質(zhì)量修正處理部25生成的圖像質(zhì)量修正后的展開(kāi)圖像進(jìn)行后述圖像遮蔽處理。27是顯示圖像處理裝置22輸出的圖像的監(jiān)視器。
以下用圖11對(duì)廣角攝像裝置8的構(gòu)成進(jìn)行詳細(xì)說(shuō)明。
圖11(a)是廣角攝像裝置8的YZ平面中的剖面圖，表示基本構(gòu)成。與全方位攝像機(jī)100不同的部分是雙曲面反射鏡1具有雙曲面的旋轉(zhuǎn)中心周?chē)摹?0度大小的反射面、以及一邊使成像透鏡2的主點(diǎn)7與雙曲面反射鏡1的外部角度大致一致，一邊使成像透鏡2以及攝像元件3所共有的光軸28相對(duì)旋轉(zhuǎn)中心軸向基準(zhǔn)光軸方向(Y軸方向)傾斜角度γ設(shè)置。另外，用虛線表示的20、30表示配置得與圖34(a)所示的全方位攝像機(jī)100相同情況下的成像透鏡、攝像元件。
向內(nèi)部焦點(diǎn)4入射的YZ平面內(nèi)的光線29a、29b在雙曲面反射鏡1的入射點(diǎn)30a、30b反射，并且聚焦于旋轉(zhuǎn)中心軸6上的外部焦點(diǎn)(未圖示)。配置得使該外部焦點(diǎn)的位置和成像透鏡2的主點(diǎn)7的位置大致一致，光線29a、29b通過(guò)成像透鏡2在攝像元件3的攝像面5上的成像點(diǎn)31a、31b上成像。
又，使用成像透鏡20與攝像元件30時(shí)的光線29a、29b的成像點(diǎn)為31a0、31b0。因而得到的像在采用成像透鏡20與攝像元件30的情況下，成為圖11(b)中虛線表示的320那樣的半圓形像。這恰好是將全方位攝像機(jī)100得到的圖34(b)的圓形像111取一半得到的像。這樣，即使采用全方位攝像機(jī)100中所使用的那樣的成像透鏡20與攝像元件30也能得到180度視場(chǎng)角的廣角圖像。但是如果就這樣使用，攝像元件30的利用率將非常差。
另一方面，在采用圖11(a)中用虛線表示的成像透鏡2、攝像元件3的情況下，所得到的圖像為圖1(b)中加斜線表示的半圓形圖像32。即通過(guò)使光軸28傾斜可以挪動(dòng)半圓形圖像32在攝像面5中上下方向(相當(dāng)于Y軸方向)的位置。其結(jié)果是，通過(guò)如半圓形圖像32那樣調(diào)整倍率，又將成像位置調(diào)整到光軸28的傾斜角度γ，以此可以使攝像面5上半圓形圖像32的左右方向長(zhǎng)度最大化，并能夠盡可能有效地使用攝像面5的像素進(jìn)行攝像。
而且，在該實(shí)施形態(tài)5，攝像面5上半圓形圖像32雖然使其圓弧部分在靠近攝像面5的邊緣的位置成像，但并不限于此。也可以在例如使半圓形圖像32的弦部在靠近攝像面5的邊緣的位置上成像。
又，該實(shí)施形態(tài)5中雖然使雙曲面反射鏡1具有±90度大小的反射面，但是并不限于此。只要是±180度以下的范圍也可以。采用例如具有±(90+θ)度大小的雙曲面反射鏡1的情況下，可以如圖12所示得到±(90+θ)度大小的圖像。
下面對(duì)這樣構(gòu)成的廣角圖像生成裝置的動(dòng)作更詳細(xì)地進(jìn)行說(shuō)明。
首先對(duì)廣角攝像裝置首先對(duì)廣角攝像裝置8的成像的編排進(jìn)行說(shuō)明。
圖10中，光線a、b、c表示來(lái)自對(duì)象物的任意光線。因此將各光線的對(duì)象物稱(chēng)為對(duì)象a、b、c。對(duì)象物a、b、c采用圖13(a)所示的屏幕33上所描述的「a」、「b」、「c」文字表示，考慮可以通過(guò)雙曲面反射鏡1看到描述對(duì)象物a、b、c的面地設(shè)置該屏幕33，以便如圖13(b)所示，在Z軸周?chē)⑶沂筞軸到屏幕表面的距離保持一定的情況。
如已經(jīng)說(shuō)明的那樣，對(duì)著內(nèi)部焦點(diǎn)4并入射在雙曲面反射鏡1的反射面上的光線全部朝著外部焦點(diǎn)(未圖示)反射，通過(guò)將外部焦點(diǎn)與主點(diǎn)的位置設(shè)置成一致或者大致一致的成像透鏡2在攝像元件3的攝像面5上成像。因此，相對(duì)基準(zhǔn)光軸方向(Y軸方向)大致±90的范圍在攝像面5上成像。這時(shí)，利用攝像元件3到的廣角圖像示于圖14中。可知包括全部對(duì)象物a、b、c。
接著，在圖像處理裝置22中，對(duì)從廣角攝像裝置8輸出的圖14所示的廣角圖像進(jìn)行向展開(kāi)圖像轉(zhuǎn)換的展開(kāi)處理。首先，在開(kāi)始展開(kāi)處理之前的初期階段，在展開(kāi)表生成部23對(duì)用于展開(kāi)處理的展開(kāi)表進(jìn)行計(jì)算。這里，所謂展開(kāi)表，是指對(duì)應(yīng)于展開(kāi)圖像的各個(gè)像素的廣角圖像上的坐標(biāo)值的表。展開(kāi)表生成部23中進(jìn)行處理的流程圖示于圖15。
在圖15的步驟S1中，在算出展開(kāi)表的基礎(chǔ)上，讀入必要的雙曲面反射鏡1的反射面形狀參數(shù)以及攝像裝置的焦點(diǎn)距離等信息。只要是把這些信息預(yù)先寫(xiě)入例如展開(kāi)表生成部23內(nèi)的ROM中，將其讀入的結(jié)構(gòu)即可。當(dāng)然，也可以采用以某些方法從外部輸入的結(jié)構(gòu)。
在步驟S2中，進(jìn)行展開(kāi)表的各個(gè)要素的計(jì)算。展開(kāi)表是在確定展開(kāi)圖像的投影面并且考慮從廣角圖像映射到投影面，通過(guò)確定展開(kāi)圖像各個(gè)像素在廣角圖像中的對(duì)應(yīng)點(diǎn)而生成。該對(duì)應(yīng)點(diǎn)確定方法的詳細(xì)情況將在以后敘述。
在步驟S3中，對(duì)步驟S2計(jì)算出的展開(kāi)表，修正由成像透鏡2以及攝像元件3組成的攝像裝置的光學(xué)畸變影響。該修正方法的詳細(xì)情況將在以后敘述。
將通過(guò)上述流程計(jì)算出的展開(kāi)表存儲(chǔ)在展開(kāi)表生成部23內(nèi)的RAM中。
這里，利用圖16～圖19對(duì)步驟S2中的廣角圖像與投影面之間的對(duì)應(yīng)點(diǎn)確定方法進(jìn)行詳細(xì)說(shuō)明。
圖16是包含廣角攝像裝置8的旋轉(zhuǎn)中心軸與基準(zhǔn)光軸方向的面(YZ平面)中的截面的示意圖。雙曲面反射鏡1、成像透鏡2、攝像元件3、內(nèi)部焦點(diǎn)4、攝像面5、旋轉(zhuǎn)中心軸6以及主點(diǎn)7與圖11中說(shuō)明的內(nèi)容相同。
34是考慮來(lái)自廣角圖像的映射時(shí)的假想投影面。這里將假想投影面34考慮為其旋轉(zhuǎn)中心軸與雙曲面反射鏡1的旋轉(zhuǎn)中心軸6相一致的圓筒面。而且，假想投影面34并不限于圓筒面。也可以是例如球面。
35是從假想投影面34上的任意點(diǎn)P(XP、YP、ZP)向內(nèi)部焦點(diǎn)4的方向發(fā)出的光線。
空間坐標(biāo)系采用Z軸與旋轉(zhuǎn)中心軸一致的坐標(biāo)系，將連接內(nèi)部焦點(diǎn)4與主點(diǎn)7的直線的2等分點(diǎn)作為原點(diǎn)O。另外，將從紙面向自己這一方向作為X軸，將紙面的左右方向作為Y軸。廣角圖像上(攝像面5上)的坐標(biāo)系將旋轉(zhuǎn)中心軸6與攝像面5的交點(diǎn)作為原點(diǎn)O，將從紙面向自己的方向作為x軸，又，如圖16中所示，將紙面的左右方向作為y軸。
考慮與假想投影面34上的任意點(diǎn)P(XP、YP、ZP)對(duì)應(yīng)的攝像面5上的點(diǎn)(即廣角圖像上的點(diǎn))p(xP、yP)。雙曲面反射鏡1的雙曲面形狀與在《背景技術(shù)》部份說(shuō)明的全方位攝像機(jī)100的情況同樣用(公式7)表示。
(X2+Y2)/a2-Z2/b2＝-1(公式7)這里，a、b是決定雙曲面形狀的常數(shù)。又，c＝(a2+b2)0.5(公式8)又，(公式9)、(公式10)也與全方位攝像機(jī)100的情況同樣成立。
Z＝(X2+Y2)0.5·tanα+c (公式9)tanα＝{(b2+c2)·sinβ-2bc}/{(b2-c2)·cosβ} (公式10)這里，角度α是連接內(nèi)部焦點(diǎn)4與任意點(diǎn)P的直線與XY平面之間所形成的角度。角度β是連接主點(diǎn)7(與雙曲面反射鏡的外部焦點(diǎn)大致一致)與攝像面5上的點(diǎn)p的直線與XY平面之間所形成的角度。
如果根據(jù)(公式9)確定XP、YP、ZP，α將被確定。如果根據(jù)(公式10)確定α與b、c，則β將被確定。
全方位攝像機(jī)100中，如果接著使用(公式11)確定F值，就可以得出(x2+y2)0.5，即從廣角圖像上的原點(diǎn)到p的距離。然而，實(shí)施形態(tài)5中，由于攝像面5傾斜γ角度，因此不能用(公式11)正確求出(x2+y2)0.5值。因此，這樣就不能正確地進(jìn)行展開(kāi)處理。
因而在實(shí)施形態(tài)5中采用(公式13)。
(x2+y2)0.5＝F·cosβ/cosγ/sin(β+γ) (公式13)下面用圖17就(公式13)的推導(dǎo)方法進(jìn)行說(shuō)明。
圖17是將圖16廣角攝像裝置8的攝像面5附近放大的圖。圖17中，將在YZ平面內(nèi)，與Y軸平行并且通過(guò)攝像面5上的原點(diǎn)o的直線與來(lái)自任意點(diǎn)P的光線的交點(diǎn)設(shè)定為q。這時(shí)，∠pqo＝β，∠poq＝γ。另外，線段oq的長(zhǎng)度|oq|由(公式14)表示。
|oq|＝F·tan(90°-β)/cosγ＝F/tanβ/cosγ (公式14)因此，利用Δopq中的正弦定理，|op|即(x2+y2)0.5可通過(guò)(公式13)求得。
(x2+y2)0.5＝sinβ·F/tanβ/cosγ/sin(180°-β-γ)＝F·cosβ/cosγ/sin(β+γ) (公式13)這里，F(xiàn)是由成像透鏡2與攝像元件3構(gòu)成的攝像裝置的焦點(diǎn)距離。
如果根據(jù)(公式9)、(公式10)、(公式13)確定XP、YP、ZP以及b、c、F，就確定了(xP2+yP2)0.5、即攝像面5上的原點(diǎn)o到點(diǎn)p的距離。雖然以上的論證在包含Z軸的YZ平面以外的平面也成立，但是必須注意攝像面5的傾斜角度γ相應(yīng)于是取包含Z軸的YZ平面以外的哪個(gè)平面而有變化這一點(diǎn)。有關(guān)這一點(diǎn)下面將用圖18進(jìn)行說(shuō)明。
圖18表示從Z軸方向觀察時(shí)的雙曲面反射鏡1與攝像面5。
35表示從假想投影面34上的任意點(diǎn)P(圖18中未圖示)出發(fā)，在雙曲面反射鏡1上反射并到達(dá)攝像面5上的點(diǎn)p的光線。如圖18中所示，角度θ定義為，將X軸的—方向作為0度，左旋時(shí)定義為+角度。例如，光線35在YZ平面內(nèi)的情況下，θ＝90度。這時(shí)的θ與攝像面5的傾斜角度γ(θ)的關(guān)系成為像(公式15)那樣的關(guān)系。
tanγ(θ)＝tanγ(90°)·sinθ (公式15)這里所謂γ(90°)，表示θ＝90°時(shí)的γ。另外，(公式13)成為像(公式13a)那樣。
(x2+y2)0.5＝F·cosβ/cosγ(θ)/sin(β+γ(θ))(公式13a)通過(guò)以上的論證，可以得到在包含Z軸各平面中的原點(diǎn)o到點(diǎn)p的距離。接著考慮在XY平面中從原點(diǎn)O朝點(diǎn)P的方向θ與xy平面、即攝像面5上的從原點(diǎn)o朝點(diǎn)p的方向Φ之間的關(guān)系。這里，Φ是如圖18所示那樣規(guī)定將X軸的+方向作為0度的攝像面上的點(diǎn)的方向用的角度參數(shù)。
全方位攝像機(jī)100的情況下，θ＝Φ，XY平面以及xy平面中的點(diǎn)P、點(diǎn)p的方向一致。但是，由于在廣角攝像裝置8的情況下，相對(duì)于XY平面，攝像面5傾斜γ(90°)，θ與Φ的關(guān)系成為像(公式16)那樣的關(guān)系。
cosΦ＝cosθ/(1+tan2γ(90°)·sin2θ)0.5(公式16)下面用圖19就(公式16)的推導(dǎo)方法進(jìn)行說(shuō)明。
圖19的Xa、Ya平面是以Z軸為中心使XY平面作180度旋轉(zhuǎn)并且使Xa軸與x軸相一致地平行移動(dòng)的結(jié)果。這里，θ將Xa軸的—方向作為0度，在Xa、Ya平面上以順時(shí)針?lè)较蜃鳛?方向，并且是與XY平面的θ等價(jià)的參數(shù)。
因此，在這里不變更參數(shù)名，仍舊使用θ。另外，Φ將x軸的—方向作為0度，在xy平面上以順時(shí)針?lè)较蜃鳛?方向。這樣設(shè)定，推導(dǎo)出θ與Φ之間的關(guān)系。圓弧CAD是單位圓的一半。又，CBD其與Xa、Ya平面的交線為半圓CAD，并且是作為與Xa、Ya平面垂直的半圓柱與xy平面之間的交線。這時(shí)矢量oA、oB如(公式17)(公式18)所示。
oA＝(-cosθ、sinθ、0) (公式17)oB＝(-cosθ、sinθ、tanγ(90°)·sinθ) (公式18)因此，通過(guò)使用與-x方向的單位矢量-X的標(biāo)積，求得(公式16)。
cosΦ＝oB·X/|oB|＝cosθ/(1+tan2γ(90°)·sin2θ)0.5(公式16)根據(jù)以上所述，如果得知β、γ(＝γ(90°))、F，通過(guò)使用(公式13)、(公式15)、(公式16)，可以一義確定與P(XP、YP、ZP)相對(duì)應(yīng)的攝像面5上的點(diǎn)(即廣角圖像上的點(diǎn))p(xP，yP)。XP、YP、ZP的值，在將假想投影面34的半徑設(shè)為M、將展開(kāi)圖像的橫方向(長(zhǎng)邊方向)像素?cái)?shù)量設(shè)為ISX、將長(zhǎng)方向(短邊方向)像素?cái)?shù)量設(shè)定為ISY，則可以表示如下。
XP＝M·cosθYP＝M·sinθZP＝2π·M·(j-j0)/ISX (公式19)其中，θ＝180°·i/ISX，I是展開(kāi)圖像上的X坐標(biāo)值，是0≤i＜ISX的整數(shù)，j是展開(kāi)圖像上的Y坐標(biāo)值，是0≤i＜ISY的整數(shù)，另外，j0是ZP＝c時(shí)(視線方向?yàn)樗椒较驎r(shí))的展開(kāi)圖像上的Y坐標(biāo)值。通過(guò)使用(公式19)可以使展開(kāi)圖像上的點(diǎn)與假想投影面34的點(diǎn)P(XP、YP、ZP)一一對(duì)應(yīng)。
因此，通過(guò)確定展開(kāi)圖像投影面(假想投影面34)，考慮從投影面映射為廣角圖像，可以確定展開(kāi)圖像限定于各個(gè)像素的，廣角圖像上的理想的對(duì)應(yīng)點(diǎn)。
下面用圖20對(duì)圖15的步驟S3中修正成像透鏡2以及攝像元件3組成的攝像裝置修正光學(xué)畸變的方法進(jìn)行詳細(xì)說(shuō)明。
圖20是對(duì)光學(xué)畸變的影響的示意圖。如果得到?jīng)]有光學(xué)畸變的理想的圖像，在視場(chǎng)角為180度的情況下，可以得到圖20(a)所示的半圓形的像。但是，實(shí)際上光學(xué)系統(tǒng)中包含光學(xué)性畸變，像例如圖20(b)所示那樣，半圓形的像發(fā)生畸變。因此，如果不將該光學(xué)畸變考慮進(jìn)去而進(jìn)行展開(kāi)處理，所得到的展開(kāi)圖像將不能成為正確的圖像。
因此，在實(shí)施形態(tài)5中，預(yù)先掌握使用的光學(xué)系統(tǒng)的畸變量，修正步驟2中制作的展開(kāi)表以消除該影響。
下面首先對(duì)畸變量的掌握方法進(jìn)行簡(jiǎn)單說(shuō)明。
作為用數(shù)學(xué)公式記述光學(xué)畸變的一般性的方法，經(jīng)常使用高次多項(xiàng)式。在這里，考慮采用(公式20)中所示的多項(xiàng)式的情況。
Δx＝kx(x2+y2)Δy＝ky(x2+y2)這里，Δx、Δy分別是x、y方向的畸變量。K是調(diào)整畸變量的參數(shù)。公式20作為表示畸變量的公式是非常簡(jiǎn)單的公式，設(shè)定的參數(shù)只是k。在用于實(shí)際光學(xué)系統(tǒng)的情況下，用(公式20)記述光學(xué)歪斜量有時(shí)也不充分。在那種情況下，使用考慮到高次項(xiàng)的公式即可。
用成像透鏡2以及攝像元件3組成的攝像裝置對(duì)作為基準(zhǔn)(即為測(cè)量畸變量，包含距離為已知的圖案)的試驗(yàn)圖案36進(jìn)行攝像。作為試驗(yàn)圖案36，也可以使用例如圖21(a)所示的描繪2維方格的圖案。在這里，只要例如格子的間距為已知即可。其結(jié)果得到的試驗(yàn)圖案圖像37如21(b)所示，由于光學(xué)畸變的影響，成為與原來(lái)的試驗(yàn)圖案36不同的圖案。將根據(jù)方格間距與攝像條件可以計(jì)算出的理想的方格點(diǎn)的坐標(biāo)值與根據(jù)試驗(yàn)圖案圖像37得到的對(duì)應(yīng)的方格點(diǎn)的坐標(biāo)值作多個(gè)(n個(gè))比較，以此取得畸變量的取樣。在將取n個(gè)取樣中的第i號(hào)數(shù)據(jù)的理想坐標(biāo)值設(shè)為x(i)、y(i)，將那時(shí)的x方向的實(shí)測(cè)畸變量設(shè)為Δx(i)、將y方向的實(shí)測(cè)畸變量設(shè)定為Δy(i)時(shí)，根據(jù)最小二乘法求出(公式21)的2個(gè)誤差函數(shù)成為最小的k。
Ex＝∑(Δx(i)-kx(i)(x(i)2+y(i)2))Ey＝∑(Δy(i)-ky(i)(x(i)2+y(i)2)) (公式21)通過(guò)以上處理，確定表示攝像裝置的畸變量的(公式20)。接著用其修正步驟S2求得的理想的展開(kāi)表。展開(kāi)表的x方向、y方向的各個(gè)像素(各要素)中，包含與不考慮光學(xué)畸變時(shí)的各個(gè)像素對(duì)應(yīng)的廣角圖像的像素值。將其記為(x0(X，Y)、y0(X，Y))。這里，(X，Y)是當(dāng)前作為對(duì)象的展開(kāi)表的像素(要素)的坐標(biāo)值。將該值代入(公式20)，計(jì)算出修正后的值(x1(X，Y)、y1(X，Y))。具體地說(shuō)，是對(duì)各像素(要素)進(jìn)行(公式22)的計(jì)算。
x1(X，Y)＝x0(X，Y)+k·x0(X，Y)·(x0(X，Y)2+y0(X，Y)2)y1(X，Y)＝y(tǒng)0(X，Y)+k·y0(X，Y)·(x0(X，Y)2+y0(X，Y)2)(公式22)通過(guò)對(duì)展開(kāi)表的所有像素(要素)進(jìn)行該處理，可以得到修正攝像裝置的光學(xué)畸變的展開(kāi)表。因此，假如使用這樣的展開(kāi)表進(jìn)行展開(kāi)處理，就可以得到排除攝像裝置光學(xué)畸變影響的展開(kāi)圖像。
又，這樣的光學(xué)畸變修正處理也可以在一旦在制作展開(kāi)圖像之后對(duì)該展開(kāi)圖像進(jìn)行，但是那種情況下必須在每一次制作展開(kāi)圖像時(shí)進(jìn)行(公式22)所示的復(fù)雜運(yùn)算處理。然而在實(shí)施形態(tài)5中，由于通過(guò)將光學(xué)畸變修正處理添加入展開(kāi)表，可以只在展開(kāi)表生成部23中的初期展開(kāi)表制作時(shí)進(jìn)行(公式22)那樣的復(fù)雜運(yùn)算處理，也可以在展開(kāi)圖像制作時(shí)只進(jìn)行通常的展開(kāi)處理，因此從運(yùn)算成本方面來(lái)看也是非常有價(jià)值的。
下面對(duì)展開(kāi)圖像生成部24進(jìn)行說(shuō)明。
展開(kāi)圖像生成部24中，參考由展開(kāi)表生成部23產(chǎn)生成展開(kāi)表，將利用廣角攝像裝置8得到的廣角圖像變換為展開(kāi)圖像。這時(shí)，與坐標(biāo)值為整數(shù)值的展開(kāi)圖像的各個(gè)像素對(duì)應(yīng)的廣角圖像的像素位置通常其坐標(biāo)值不為整數(shù)值。但是，廣角圖像只存在整數(shù)坐標(biāo)位置的數(shù)據(jù)。作為該對(duì)策，處理速度相比圖像質(zhì)量?jī)?yōu)先的情況下，通過(guò)將展開(kāi)表的坐標(biāo)值的數(shù)據(jù)四舍五入等的手段，使其整數(shù)化，用本來(lái)必要的像素近旁的像素的輝度值代用也可以。圖像質(zhì)量比處理速度優(yōu)先的情況下，也可以根據(jù)本來(lái)必要的像素近旁的4個(gè)像素的輝度數(shù)據(jù)進(jìn)行插補(bǔ)運(yùn)算，以此作出本來(lái)必要的像素的輝度數(shù)據(jù)。
下面對(duì)圖像質(zhì)量修正處理部25進(jìn)行說(shuō)明。
圖像質(zhì)量修正處理部25對(duì)展開(kāi)圖像生成部25制作的展開(kāi)圖像進(jìn)行圖像質(zhì)量修正處理。以下對(duì)該圖像質(zhì)量修正處理進(jìn)行說(shuō)明。
在展開(kāi)圖像生成部24中生成的展開(kāi)圖像存在解像度在圖像內(nèi)的上部與下部不同的問(wèn)題。即如圖22所示，在廣角圖像與通過(guò)對(duì)其實(shí)施展開(kāi)處理所得到的展開(kāi)圖像39之間的對(duì)應(yīng)關(guān)系中，由于展開(kāi)圖像39的上端下端的關(guān)系成了廣角圖像38的外環(huán)內(nèi)環(huán)的關(guān)系，因?yàn)樾畔⒘恐疃诮庀穸犬a(chǎn)生差異。因此，在展開(kāi)圖像39中，與外圍部所對(duì)應(yīng)的部分相比，內(nèi)圓部所對(duì)應(yīng)的部分的焦點(diǎn)顯得模糊。此外，作為其他主要因素，由成像透鏡2與攝像元件3所構(gòu)成的攝像裝置中有視場(chǎng)深度，雖然是一點(diǎn)點(diǎn)，但是也有在半圓形狀的廣角圖像38的半徑方向上產(chǎn)生焦點(diǎn)不模糊(例如，在廣角圖像38的內(nèi)圓部分中焦點(diǎn)非常符合，在外圍部分中焦點(diǎn)稍微不準(zhǔn)的模糊)的情況。作為展開(kāi)圖像39最終得到的圖像，包含使上述2種主要因素重合在一起的結(jié)果所導(dǎo)致的模糊。
在圖像質(zhì)量修正處理部25，相對(duì)這樣的展開(kāi)圖像39，沿著展開(kāi)圖像39的上下方向(即對(duì)應(yīng)于作為原圖像的廣角圖像38的半徑方向)確定與該每個(gè)場(chǎng)所相對(duì)的清晰化系數(shù)，并且采用該系數(shù)進(jìn)行強(qiáng)調(diào)圖像高頻率成分的清晰化處理。
作為清晰化處理，采用例如稱(chēng)為“不清晰遮掩”(アンシヤ一プマスキンダ)法。該方法表現(xiàn)為(公式23)。
B’(i，j)＝B(i，j)+C(B(i，j)-B-(i，j)) (公式23)這里，B(i，j)作為坐標(biāo)(i，j)的像素的輝度值。B-(i，j)作為坐標(biāo)(i，j)的像素近旁的局部平均輝度值(例如近旁3×3范圍的平均輝度值)，并且為低頻分量組成的輝度值。因此，(B(i，j)-B-(i，j)為從原圖像中扣除低頻分量，取出高頻成分的操作。C為清晰化系數(shù)。通過(guò)將高頻分量放大C倍合并加入原圖像，可以得到強(qiáng)調(diào)高頻成分的清晰化圖像。
使清晰化系數(shù)C對(duì)應(yīng)展開(kāi)圖像39上下方向的位置變化，進(jìn)行清晰化處理。首先對(duì)采用攝像裝置可以理想地不模糊地對(duì)雙曲面反射鏡1上的像進(jìn)行攝像的情況進(jìn)行說(shuō)明。
這種情況下得到的展開(kāi)圖像39如圖23(a)所示那樣，其下端部成為因原廣角圖像的內(nèi)圓部與外圍部的信息量之間的差所產(chǎn)生的模糊區(qū)域40。這里，模糊區(qū)域40并非同樣模糊，隨著從展開(kāi)圖像39的中央附近向下端靠近而逐漸模糊。這時(shí)，通過(guò)如圖23(a)中圖表所示那樣使清晰化系數(shù)C相應(yīng)于模糊情況從0開(kāi)始變化，對(duì)應(yīng)模糊情況進(jìn)行修正處理(清晰化處理)。
而且，這里顯示從展開(kāi)圖像39的上下方向的大約中央附近開(kāi)始增加清晰化系數(shù)C的值的情況的圖表，但是并不限于此。本發(fā)明的主旨是隨著逐漸接近下端，惡化的模糊情況增加，與其相應(yīng)，增加清晰化系數(shù)C的值，例如，使清晰化系數(shù)C大于0的地方，即使是展開(kāi)圖像39的上端也沒(méi)有關(guān)系。又，增加清晰化系數(shù)C的方法也可以根據(jù)模糊情況以及攝影對(duì)象等進(jìn)行調(diào)整，也可以正比于離使清晰化系數(shù)C大于0的場(chǎng)所的距離的3次方的比例增加。
下面就用攝像裝置對(duì)雙曲面反射鏡1上的像進(jìn)行攝像時(shí)，因場(chǎng)所的不同而產(chǎn)生對(duì)焦情況的差異的情況，用圖23(b)進(jìn)行說(shuō)明。
這種情況下，通過(guò)調(diào)整攝像裝置的焦點(diǎn)，對(duì)得到的展開(kāi)圖像39的模糊區(qū)域進(jìn)行調(diào)整。由于清晰化處理是強(qiáng)調(diào)圖像的高頻分量的處理，作為對(duì)象的圖像一旦模糊到某種程度以上，即使進(jìn)行處理也不能發(fā)揮有意義的效果。因此盡可能調(diào)整焦點(diǎn)以改善最模糊狀態(tài)(模糊嚴(yán)重)的部分。具體地說(shuō)，如果調(diào)整焦點(diǎn)使性焦點(diǎn)模糊部分出現(xiàn)在廣角圖像38的內(nèi)環(huán)部，就使模糊狀態(tài)在內(nèi)環(huán)部分惡化的條件疊加，變得不能完全修正好。為了避免這種情況，進(jìn)行調(diào)整時(shí)使焦點(diǎn)的峰值從廣角圖像38的半徑方向的中央稍微向內(nèi)環(huán)部分靠近，并且對(duì)焦點(diǎn)進(jìn)行調(diào)整，在展開(kāi)圖像中，最終使上下端的模糊區(qū)域40如圖23(b)所示，可以取得大致平衡。這時(shí)，模糊區(qū)域40并也非同樣模糊，隨著從展開(kāi)圖像39從中央附近向上下端靠近而逐漸模糊。這時(shí)，如圖23(b)的圖表所示，通過(guò)將清晰化系數(shù)C與模糊情況相對(duì)照，并且隨著從展開(kāi)圖像39的中央附近向上下端靠近使其從0開(kāi)始變化，以此進(jìn)行與模糊情況相對(duì)應(yīng)的修正處理(清晰化處理)。
下面對(duì)圖像遮蔽處理部26進(jìn)行說(shuō)明。
對(duì)在圖像質(zhì)量處理部25生成的圖像質(zhì)量修正后的展開(kāi)圖像進(jìn)行圖像遮蔽處理的圖像遮蔽處理部26構(gòu)成如下。
圖30(a)表示不進(jìn)行遮蔽處理時(shí)的展開(kāi)圖像，圖30(b)表示進(jìn)行遮蔽處理時(shí)的展開(kāi)圖像。展開(kāi)圖像中的41是自動(dòng)提款機(jī)(ATM)終端，42是操作者，47是ATM終端41的操作面板。由于遮蔽處理前的圖30(a)中可以看到全視場(chǎng)，且操作者42的操作以及輸入結(jié)果等映入眼底，密碼等私人信息有向外泄漏的危險(xiǎn)。因此，通過(guò)圖像遮蔽處理部26采用輝度值0將ROM中存儲(chǔ)的遮蔽區(qū)域48全部涂滿，采用這樣的處理，可以造成如圖30(b)所示的看不見(jiàn)操作者42的操作以及輸入結(jié)果等的情況。
而且，在這里雖然采用以輝度值0進(jìn)行涂抹，但并不限于此。如果能夠?qū)⒄诒螀^(qū)域48內(nèi)的圖像用不同于本來(lái)圖像的圖像填補(bǔ)也可以，即使描繪0以外的輝度值或者隨機(jī)模式圖像也可以。
實(shí)施以上那樣的處理所生成的展開(kāi)圖像在未圖示出的圖像形式變換部變換為NTSC那樣的視頻信號(hào)，并且從圖像處理裝置22輸出。監(jiān)視器27接收該信號(hào)并顯示展開(kāi)圖像。
這樣采用實(shí)施形態(tài)5，即使將廣角攝像裝置8的光學(xué)系統(tǒng)作為由攝像透鏡2以及攝像元件3構(gòu)成的攝像裝置的光軸28相對(duì)旋轉(zhuǎn)中心軸6傾斜的構(gòu)成，也可以確定相對(duì)于展開(kāi)圖像的各個(gè)像素的，廣角圖像上的理想的對(duì)應(yīng)點(diǎn)，并且對(duì)進(jìn)一步考慮到攝像裝置的光學(xué)性畸變的影響的展開(kāi)表進(jìn)行修正，因此可以進(jìn)行正確的展開(kāi)處理。又，通過(guò)圖像質(zhì)量修正處理，可以減輕展開(kāi)圖像在不同場(chǎng)所所產(chǎn)生的解像度的差異。
另外，通過(guò)利用圖像遮蔽處理部26對(duì)展開(kāi)圖像的一部分實(shí)施遮蔽處理，并且在使其看不見(jiàn)之后立即輸出，可以使操作者的操作內(nèi)容、輸入內(nèi)容不被看見(jiàn)，防止私人信息泄漏。
而且，在該實(shí)施形態(tài)5中，雖然采用在相對(duì)旋轉(zhuǎn)對(duì)稱(chēng)體的旋轉(zhuǎn)中心軸垂直的任意方向上取基準(zhǔn)光軸，并將所述基準(zhǔn)光軸的方向設(shè)置為0度，且具有大約±90度或者±90度以上范圍的凸面形狀的反射面的反射鏡，呈旋轉(zhuǎn)中心軸上具有內(nèi)部焦點(diǎn)的雙曲面形狀，且所述雙曲面形狀的外部焦點(diǎn)的位置與所述攝像裝置的主點(diǎn)的位置大約一致，但即使是該反射鏡的形狀不是雙曲面也可以。
另外，實(shí)施形態(tài)5中，雖然表示出廣角攝像裝置8對(duì)旋轉(zhuǎn)中心軸周?chē)蠹s±90度大小的范圍進(jìn)行攝像的情況，但即使是采用對(duì)圖34(a)所示的旋轉(zhuǎn)中心軸周?chē)蠹s360度大小范圍進(jìn)行攝像的全方位攝像機(jī)100作為廣角攝像裝置，并且在圖像處理裝置22進(jìn)行與全方位攝像機(jī)100相對(duì)應(yīng)的展開(kāi)處理的情況，在此前說(shuō)明的光學(xué)畸變的影響修正、圖像質(zhì)量修正處理、以及圖像遮蔽處理也具有與實(shí)施形態(tài)5的情況同樣的效果。
實(shí)施形態(tài)6圖24～圖31表示本發(fā)明實(shí)施形態(tài)6。
圖24表示本發(fā)明實(shí)施形態(tài)6中的廣角圖像生成裝置。
設(shè)定坐標(biāo)軸時(shí)，將紙面的上下方向作X軸，將從紙面向著自己的方向作為Y軸，將紙面的左右方向作為Z軸。另外，Z軸方向?yàn)樗椒较?。?shí)施形態(tài)6與實(shí)施形態(tài)5之間的構(gòu)成上的不同點(diǎn)是，設(shè)置廣角攝像裝置8使Z軸與水平方向一致。處理上的不同之處是，在圖像處理裝置22的展開(kāi)表生成部23中，使其展開(kāi)表生成時(shí)所采用的假想投影面34的形狀具有特征，以及相對(duì)展開(kāi)圖像生成部24中對(duì)于實(shí)施形態(tài)5的情況傾斜90度，生成圖像頂部底部變正確的展開(kāi)圖像。以下對(duì)這些不同點(diǎn)進(jìn)行說(shuō)明。
在圖24中，光線a、b、c表示來(lái)自對(duì)象物的任意光線。因此決定將各光線的對(duì)象物稱(chēng)為a、b、c。對(duì)象物a、b、c用圖25(a)所示的屏幕33上所描述的「a」、「b」、「c」文字表示，考慮可以通過(guò)雙曲面反射鏡1看到描繪對(duì)象物a、b、c的面地設(shè)置該畫(huà)面33，以便如圖25(b)所示圍繞著Z軸并且使Z軸到屏幕表面的距離保持一定的情況。這時(shí)將在攝像元件3所得到的廣角圖像在圖26中表示。已知包含全部對(duì)象物a、b、c。
作為這樣將廣角攝像裝置8設(shè)置得使旋轉(zhuǎn)中心軸6與水平方向一致的情況下的用途例，有對(duì)ATM終端以及自動(dòng)售貨機(jī)等的監(jiān)視的情況。用于得到在通常的廣角光學(xué)系統(tǒng)中難以實(shí)現(xiàn)的鉛直方向180度左右的視野，可以得到站在本裝置旁邊的人的臉到手頭的一張像，因此可以適用于ATM(自動(dòng)提款機(jī))以及自動(dòng)售貨機(jī)等的監(jiān)視用途。
以下對(duì)圖像處理裝置22的處理中與實(shí)施形態(tài)的主要不同點(diǎn)進(jìn)行說(shuō)明。
首先，與實(shí)施形態(tài)5的情況相同，在開(kāi)始展開(kāi)處理之前的初期階段，在展開(kāi)表生成部23對(duì)用于展開(kāi)處理的展開(kāi)表進(jìn)行計(jì)算。用圖27對(duì)展開(kāi)表生成部23中進(jìn)行的處理的流程進(jìn)行說(shuō)明。在圖27所示的流程中進(jìn)行的處理中與實(shí)施形態(tài)5的情況不同的2點(diǎn)中的1點(diǎn)是，在決定廣角圖像與投影面之間的理想的對(duì)應(yīng)點(diǎn)的步驟S2中，變更假設(shè)的假想投影面34的形狀。下面用圖28對(duì)該點(diǎn)進(jìn)行詳細(xì)說(shuō)明。
圖28表示操作ATM終端41的操作者42與廣角攝像裝置8以及假想投影面34之間的關(guān)系。34是其旋轉(zhuǎn)中心軸通過(guò)廣角攝像裝置8的雙曲面反射鏡1的內(nèi)部焦點(diǎn)4，并作為垂直于紙面的圓筒形的假想投影面，以往是考慮投影在這樣的投影面上的圖像的重放。ATM終端41的操作者42在使用ATM終端41時(shí)通常采取向15～30度左右的前方傾斜，傾斜角43。由于臉部與胸部相比離作為廣角攝像裝置8的觀察點(diǎn)的內(nèi)部焦點(diǎn)的距離更遠(yuǎn)，因此在可得到的展開(kāi)圖像內(nèi)胸部附近的圖像較大，越靠近臉部圖像顯得越小，致使視覺(jué)產(chǎn)生不協(xié)調(diào)感。
因此在實(shí)施形態(tài)6中，如圖28所示，對(duì)與成為得到的視野中心方向的基準(zhǔn)光軸方向相反方向上設(shè)定其中心軸45的新的假想投影面44進(jìn)行設(shè)定。所謂考慮向該新的假想投影面44的投影，相當(dāng)于將作為廣角攝像裝置8的觀察點(diǎn)的內(nèi)部焦點(diǎn)4假想性地向著與基準(zhǔn)光軸方向46的相反方向移動(dòng)到中心軸45的位置為止。因此，可以減緩操作者42使用ATM終端41時(shí)的，相對(duì)于廣角攝像裝置8的觀察點(diǎn)，臉部位置與胸部位置的距離之差。
下面用圖29對(duì)具體的假想投影面形狀的變更方法進(jìn)行說(shuō)明。
圖29與圖28相同，表示對(duì)從Z軸方觀察的已有的假想投影面34和改變形狀的假想投影面44。θ是以X軸方向作為0度對(duì)從假想投影面44上的點(diǎn)P向著廣角攝像裝置8的未圖示的內(nèi)部焦點(diǎn)4的光線在XY平面上的方位角進(jìn)行的設(shè)定的。α是以X軸方向作為0度對(duì)從假想投影面44上的點(diǎn)P向著假想投影面44的中心軸上的未圖示的假想內(nèi)部焦點(diǎn)(即、通過(guò)內(nèi)部焦點(diǎn)的基準(zhǔn)光軸與中心軸的45的交點(diǎn))的光線在XY平面上的方位角進(jìn)行的設(shè)定的。另外，圖29中將內(nèi)部焦點(diǎn)4的位置記為O1，將中心軸45的位置記為O2。
與實(shí)施形態(tài)5同樣采用(公式9)、(公式10)、(公式13a)、(公式15)以及(公式16)決定與假想投影面上的點(diǎn)P(XP、YP、ZP)相對(duì)應(yīng)的廣角圖像的點(diǎn)p(xP，yP)，但與這時(shí)的實(shí)施形態(tài)5不同之處是公式16中θ的給定方法。實(shí)施形態(tài)5中，特別是將展開(kāi)圖像的寬方向(長(zhǎng)邊方向)像素?cái)?shù)量設(shè)定為ISX、將橫方向的視野角設(shè)定為180°時(shí)，只要使θ＝180°·i/ISX(其中，i為整數(shù)，0≤i＜ISX)地等間隔地取θ就可以。在實(shí)施形態(tài)6中以與等間隔地取α的情況等價(jià)地決定θ即可。ΔPO1O2中根據(jù)正弦定理公式24成立。
R/sin(90°+θ)＝r/sin(90°-α)(公式24)對(duì)公式24進(jìn)行整理，就得到公式25。
θ＝cos-1/(R·cosα/r)(公式25)其中，α1≤α＜α2因此，將α＝(α2-α1)·i/ISX(其中n為整數(shù)，0≤i＜ISX)代入公式25的α，求出θ，只要用該θ制作展開(kāi)表，就可以變更假想投影面的形狀。
還有，在這里雖然考慮圓筒為假想投影面34，但即使是球面等其他形狀也沒(méi)有關(guān)系。
以下是在圖27所示的在流程中進(jìn)行的處理中與實(shí)施形態(tài)5的情況不同的2點(diǎn)中的另外一點(diǎn)，即用圖30對(duì)進(jìn)行光學(xué)畸變影響修正的步驟S3后面進(jìn)行的遮蔽處理(步驟S4)進(jìn)行說(shuō)明。
圖30(a)是不進(jìn)行遮蔽處理的情況下的展開(kāi)圖像，圖30(b)是進(jìn)行遮蔽處理情況下的展開(kāi)圖像。展開(kāi)圖像中的41是ATM終端，42是操作者，47是ATM終端41的操作面板。由于遮蔽處理前的圖30(a)中可以看到整個(gè)視野，操作者42的操作以及輸入結(jié)果等被映入眼底，因此密碼等私人信息有向外泄漏的危險(xiǎn)。這里，通過(guò)在廣角圖像中指定來(lái)自雙曲面反射鏡1的像沒(méi)有成像的左上角等那樣置換相當(dāng)于遮蔽區(qū)域48的部分的展開(kāi)表的坐標(biāo)值數(shù)據(jù)以及與原來(lái)內(nèi)容不同的內(nèi)容，例如相當(dāng)于遮蔽區(qū)域48的所有展開(kāi)表要素，實(shí)現(xiàn)遮蔽處理。
如以上所述，通過(guò)將遮蔽處理信息填入展開(kāi)表，可以在圖24的展開(kāi)圖像生成部24中進(jìn)行展開(kāi)處理時(shí)，能夠無(wú)需增加運(yùn)算負(fù)荷地進(jìn)行遮蔽處理。
以下在展開(kāi)圖像生成部24中，通過(guò)進(jìn)行以上那樣的處理，用展開(kāi)表生成部23中生成的展開(kāi)表生成展開(kāi)圖像。與這時(shí)的實(shí)施形態(tài)5不同之處是，如圖30所示，進(jìn)行縱方向成為視場(chǎng)角180度的展開(kāi)處理，使展開(kāi)圖像的頂部底部正確。
下面在圖像質(zhì)量修正處理部25進(jìn)行與實(shí)施形態(tài)5的情況相同的處理，在未圖示的圖像形式轉(zhuǎn)換部變換成NTSC那樣的視頻信號(hào)并將展開(kāi)圖像顯示在監(jiān)視器27上。
這樣采用實(shí)施形態(tài)6，由于可以通過(guò)變更假想投影面44的形狀，假想性地變更廣角攝像裝置8的觀察點(diǎn)，因此可以減輕離開(kāi)廣角攝像裝置8的內(nèi)部焦點(diǎn)4的距離之差所引起的展開(kāi)圖像的不協(xié)調(diào)感。另外，通過(guò)對(duì)展開(kāi)圖像的一部分實(shí)施遮蔽處理，且在看不見(jiàn)之后輸出，可以使操作者的操作內(nèi)容、輸入內(nèi)容不被看見(jiàn)，防止私人信息泄漏。
而且，在這里雖然顯示將遮蔽處理的信息填入展開(kāi)表的方法，但是在生成展開(kāi)圖像之后進(jìn)行圖像遮蔽處理也可以。如圖31所示，即使在緊接圖像質(zhì)量修正處理部25之后設(shè)置圖像遮蔽處理部49，并且在這里也可以進(jìn)行將遮蔽區(qū)域48內(nèi)部涂滿以使輝度值為0那樣的處理。
而且，在實(shí)施形態(tài)6中，雖然使雙曲面反射鏡1具有±90度大小的反射面，但是并不限于此。只要是±180度以下的范圍就可以。
又，實(shí)施形態(tài)6中，雖然表示出廣角攝像裝置8對(duì)旋轉(zhuǎn)中心軸周?chē)蠹s±90度大小的范圍進(jìn)行攝像的情況，但即使在采用對(duì)圖34(a)所示的旋轉(zhuǎn)中心軸周?chē)蠹s360度大小范圍進(jìn)行攝像的全方位攝像機(jī)100作為廣角攝像裝置8，并且在圖像處理裝置22進(jìn)行與全方位攝像機(jī)100相對(duì)應(yīng)的展開(kāi)處理的情況下，在此之前說(shuō)明的假想投影面形狀的變更以及遮蔽處理也具有與實(shí)施形態(tài)6的情況相同的效果。另外，用全方位攝像機(jī)進(jìn)行假想投影面形狀變更的情況下，由于可以采用一張廣角圖像表現(xiàn)觀察點(diǎn)的移動(dòng)，因此可以使用將攝像場(chǎng)所稍微挪動(dòng)的多張廣角圖像，實(shí)現(xiàn)觀察點(diǎn)可以平滑移動(dòng)的步行通過(guò)軟件。
實(shí)施形態(tài)7圖32表示本發(fā)明實(shí)施形態(tài)7。
與實(shí)施形態(tài)6不同的部份是，使圖像處理裝置22內(nèi)的處理單元之一、即展開(kāi)表生成部23獨(dú)立開(kāi)來(lái)，新設(shè)置展開(kāi)表生成用運(yùn)算處理裝置51，在圖像處理裝置22內(nèi)設(shè)置展開(kāi)表存儲(chǔ)部代替展開(kāi)表生成部23。
下面以與實(shí)施形態(tài)6不同的部份為中心對(duì)該圖32的動(dòng)作進(jìn)行說(shuō)明。
廣角攝像裝置8與實(shí)施形態(tài)6中使用的相同。展開(kāi)表生成用運(yùn)算處理裝置51，具體地說(shuō)，是微機(jī)或個(gè)人電腦等的運(yùn)算裝置，在這里進(jìn)行實(shí)施形態(tài)6的展開(kāi)表生成部23進(jìn)行的展開(kāi)表的生成。生成的展開(kāi)表被送到圖像處理裝置22，存儲(chǔ)于展開(kāi)表存儲(chǔ)部50。
展開(kāi)表的傳送方法采用例如SD卡(Secure Digital卡 注冊(cè)商標(biāo))等存儲(chǔ)卡52。展開(kāi)表生成用運(yùn)算處理裝置51和圖像處理裝置22兩者設(shè)置有未圖示的SD卡槽(slot)。在展開(kāi)表生成用運(yùn)算處理裝置51，生成的展開(kāi)表記錄于SD卡。將該SD卡插入圖像處理裝置22的SD卡槽，讀取SD卡記錄內(nèi)記錄的展開(kāi)表，存儲(chǔ)于展開(kāi)表存儲(chǔ)部50。
接著，展開(kāi)圖像生成部24讀入展開(kāi)表存儲(chǔ)部50存儲(chǔ)的展開(kāi)表進(jìn)行展開(kāi)處理。以后的處理與實(shí)施形態(tài)6相同。
這樣采用實(shí)施形態(tài)7，在圖像處理裝置22的展開(kāi)表生成處理不再需要，因此裝置啟動(dòng)時(shí)的展開(kāi)表生成處理用的啟動(dòng)時(shí)間可以不要。
還有，在實(shí)施形態(tài)7，表示出使實(shí)施形態(tài)6的圖像處理裝置22內(nèi)的處理單元之一、即展開(kāi)表生成部23獨(dú)立開(kāi)來(lái)，新設(shè)置展開(kāi)表生成用運(yùn)算處理裝置51，在圖像處理裝置22內(nèi)設(shè)置展開(kāi)表存儲(chǔ)部50代替展開(kāi)表生成部23的情況。在實(shí)施形態(tài)5的情況下進(jìn)行同樣的變更時(shí)，也能夠與實(shí)施形態(tài)7的情況下得到同樣的效果。又，不管哪一種情況，采用對(duì)圖34(a)所示的旋轉(zhuǎn)中心軸周?chē)蠹s360度大小范圍進(jìn)行攝像的全方位攝像機(jī)100作為廣角攝像裝置8，并且用圖像處理裝置22和展開(kāi)表生成用運(yùn)算處理裝置51進(jìn)行與全方位攝像機(jī)100對(duì)應(yīng)的處理那樣的變更，也能夠得到與實(shí)施形態(tài)7相同的效果。
如上所述采用本發(fā)明，作為廣角攝像裝置的光學(xué)系統(tǒng)，采用以攝像透鏡和攝像元件構(gòu)成的攝像裝置的光軸相對(duì)于旋轉(zhuǎn)中心軸傾斜的結(jié)構(gòu)，也能夠決定對(duì)于展開(kāi)圖像的各像素的，廣角圖像上的理想的對(duì)應(yīng)點(diǎn)，由于進(jìn)行考慮攝像裝置的光學(xué)畸變的影響的，展開(kāi)表的修正，能夠進(jìn)行正確的展開(kāi)處理。又可以利用圖像質(zhì)量修正處理，減輕展開(kāi)圖像的處所的不同引起的析像度差。
又由于通過(guò)變更假想投影面的形狀能夠假想地變更廣角攝像裝置的觀察點(diǎn)，能夠減輕與廣角攝像裝置的內(nèi)部焦點(diǎn)的距離造成的展開(kāi)圖像的不協(xié)調(diào)感。又，對(duì)展開(kāi)圖像的一部分實(shí)施遮蔽處理，使其看不見(jiàn)置后將其輸出，以此使操作者的操作內(nèi)容、輸入內(nèi)容不被攝入，能夠防止私人信息的泄漏。
還有，如果采用與圖像處理裝置分開(kāi)另行設(shè)置展開(kāi)表生成用運(yùn)算處理裝置的結(jié)構(gòu)，則圖像處理裝置中的展開(kāi)表生成處理不再必要，因此裝置啟動(dòng)時(shí)的展開(kāi)表生成處理用的啟動(dòng)時(shí)間可以不要。
權(quán)利要求
1.一種廣角圖像生成裝置，由廣角攝像裝置與運(yùn)算處理裝置構(gòu)成，其特征在于，廣角攝像裝置由在相對(duì)于旋轉(zhuǎn)對(duì)稱(chēng)體的旋轉(zhuǎn)中心軸垂直的任意方向上取基準(zhǔn)光軸，且具有將所述基準(zhǔn)光軸的方向作為0度的角度范圍至少是θ的凸面形狀的反射面的反射鏡、以及所述反射鏡的旋轉(zhuǎn)中心軸上具有主點(diǎn)，且使所述反射鏡的反射像成像，對(duì)所述反射鏡的旋轉(zhuǎn)中心軸周?chē)闹辽偈铅冉嵌鹊姆秶膶?duì)象物進(jìn)行攝像的攝像裝置構(gòu)成，在相對(duì)于所述基準(zhǔn)光軸垂直的平面內(nèi)，將所述反射鏡的旋轉(zhuǎn)中心軸向任意的旋轉(zhuǎn)中心軸面內(nèi)的傾斜方向傾斜設(shè)置，其中，θ1≤θ≤θ2、-90°≤θ1≤90°、-90°≤θ2≤90°、θ1＜θ2，運(yùn)算處理裝置由對(duì)所述廣角攝像裝置得到的圖像進(jìn)行運(yùn)算處理，生成展開(kāi)圖像的展開(kāi)圖像生成部、以及對(duì)應(yīng)所述旋轉(zhuǎn)中心軸面內(nèi)傾斜方向使所述展開(kāi)圖像傾斜，并將所述展開(kāi)圖像的數(shù)據(jù)形式轉(zhuǎn)換為用于輸出的形式，作為輸出圖像生成的輸出圖像生成部構(gòu)成。
2.一種廣角圖像生成裝置，由廣角攝像裝置與運(yùn)算處理裝置構(gòu)成，其特征在于，廣角攝像裝置由在相對(duì)于旋轉(zhuǎn)對(duì)稱(chēng)體的旋轉(zhuǎn)中心軸垂直的任意方向上取基準(zhǔn)光軸，具有將所述基準(zhǔn)光軸的方向作為0度，角度范圍至少是θ的凸面形狀的反射面的反射鏡、以及所述反射鏡的旋轉(zhuǎn)中心軸上具有主點(diǎn)，使所述反射鏡的反射像成像，對(duì)所述反射鏡的旋轉(zhuǎn)中心軸周?chē)闹辽佴冉嵌确秶鷥?nèi)的對(duì)象物進(jìn)行攝像的攝像裝置構(gòu)成，在相對(duì)于所述基準(zhǔn)光軸垂直的平面內(nèi)，將所述反射鏡的旋轉(zhuǎn)中心軸向任意的旋轉(zhuǎn)中心軸面內(nèi)的傾斜方向傾斜設(shè)置，其中，θ1≤θ≤θ2、-90°≤θ1≤90°、-90°≤θ2≤90°、θ1＜θ2，運(yùn)算處理裝置由對(duì)所述廣角攝像裝置得到的圖像進(jìn)行運(yùn)算處理，生成對(duì)應(yīng)于所述旋轉(zhuǎn)中心軸面內(nèi)傾斜方向傾斜的展開(kāi)圖像的展開(kāi)圖像生成部、以及將所述展開(kāi)圖像的數(shù)據(jù)形式轉(zhuǎn)換為用于輸出的形式，作為輸出圖像生成的輸出圖像生成部構(gòu)成。
3.根據(jù)權(quán)利要求1或2所述的廣角圖像生成裝置，其特征在于，所述反射鏡為在旋轉(zhuǎn)中心軸上具有內(nèi)部焦點(diǎn)的雙曲面形狀，并且使所述雙曲面形狀的外部焦點(diǎn)的位置與所述攝像裝置的主點(diǎn)位置一致或者大致一致。
4.根據(jù)權(quán)利要求1或2或3所述的廣角圖像生成裝置，使所述旋轉(zhuǎn)中心軸面內(nèi)傾斜方向與水平方向一致或者大致一致。
5.根據(jù)權(quán)利要求1～4中的任意一項(xiàng)所述的廣角圖像生成裝置，其特征在于，所述廣角攝像裝置或者所述運(yùn)算處理裝置具有檢測(cè)所述旋轉(zhuǎn)中心軸面內(nèi)傾斜方向的旋轉(zhuǎn)中心軸面內(nèi)傾斜方向檢測(cè)部，對(duì)應(yīng)所述旋轉(zhuǎn)中心軸面內(nèi)傾斜方向檢測(cè)部的輸出結(jié)果，利用所述運(yùn)算處理裝置使所述展開(kāi)圖像傾斜，生成輸出圖像。
6.根據(jù)權(quán)利要求5所述的廣角圖像生成裝置，其特征在于，設(shè)置于所述運(yùn)算處理裝置內(nèi)的旋轉(zhuǎn)中心軸面內(nèi)傾斜方向檢測(cè)部，形成可以進(jìn)行圖像處理并檢測(cè)旋轉(zhuǎn)中心軸面內(nèi)傾斜方向的結(jié)構(gòu)。
7.根據(jù)權(quán)利要求1～4中的任意一項(xiàng)所述的廣角圖像生成裝置，其特征在于，所述廣角攝像裝置或者所述運(yùn)算處理裝置具有輸入所述旋轉(zhuǎn)中心軸面內(nèi)傾斜方向的旋轉(zhuǎn)中心軸面內(nèi)傾斜方向輸入部，對(duì)應(yīng)于所述旋轉(zhuǎn)中心軸面內(nèi)傾斜方向輸入部的輸入結(jié)果，利用所述運(yùn)算處理裝置使所述展開(kāi)圖像傾斜，生成輸出圖像。
8.一種廣角圖像生成裝置，由廣角攝像裝置與運(yùn)算處理裝置構(gòu)成，其特征在于，廣角攝像裝置是由在相對(duì)雙曲面旋轉(zhuǎn)中心軸垂直的任意方向上取基準(zhǔn)光軸，具有將所述基準(zhǔn)光軸的方向作為0度的角度范圍至少是θ的雙曲面形狀的反射面的雙曲面反射鏡、以及使所述雙曲面反射鏡的外部焦點(diǎn)位置與主點(diǎn)位置大致一致，使所述雙曲面反射鏡的反射像成像，對(duì)所述雙曲面反射鏡的旋轉(zhuǎn)中心軸周?chē)闹辽偈铅冉嵌确秶膶?duì)象物進(jìn)行攝像的攝像裝置構(gòu)成，在包含基準(zhǔn)光軸與所述雙曲面反射鏡旋轉(zhuǎn)中心軸的平面內(nèi)，將所述雙曲面反射鏡的旋轉(zhuǎn)中心軸向任意的旋轉(zhuǎn)中心軸的前面傾斜方向傾斜設(shè)置，其中，θ1≤θ≤θ2、-90°≤θ1≤90°、-90°≤θ2≤90°、θ1＜θ2，運(yùn)算處理裝置是由對(duì)所述廣角攝像裝置所得到的圖像，將以通過(guò)所述雙曲面反射鏡的內(nèi)部焦點(diǎn)的任意軸作為假想圓筒旋轉(zhuǎn)中心軸的假想圓筒作為投影面進(jìn)行運(yùn)算處理，生成展開(kāi)圖像的展開(kāi)圖像生成部、以及將所述展開(kāi)圖像的數(shù)據(jù)形式轉(zhuǎn)換為用于輸出的形式，并作為輸出圖像生成的輸出圖像生成部構(gòu)成。
9.根據(jù)權(quán)利要求8所述的廣角圖像生成裝置，其特征在于，無(wú)論所述旋轉(zhuǎn)中心軸前面傾斜方向如何，在包含所述基準(zhǔn)光軸與所述雙曲面反射鏡的旋轉(zhuǎn)中心軸的平面內(nèi)設(shè)定的基準(zhǔn)軸與所述假想圓筒旋轉(zhuǎn)中心軸平行或者一致。
10.根據(jù)權(quán)利要求9所述的廣角圖像生成裝置，其特征在于，所述旋轉(zhuǎn)中心軸前面傾斜方向是包含所述基準(zhǔn)光軸與所述雙曲面反射鏡的旋轉(zhuǎn)中心軸的平面內(nèi)的所述廣角攝像裝置的視場(chǎng)角中心相對(duì)所述基準(zhǔn)軸垂直的方向。
11.根據(jù)權(quán)利要求9或10所述的廣角圖像生成裝置，其特征在于，所述廣角攝像裝置或者所述運(yùn)算處理裝置具有檢測(cè)所述旋轉(zhuǎn)中心前面傾斜方向的旋轉(zhuǎn)中心軸前面傾斜方向檢測(cè)部，對(duì)應(yīng)所述旋轉(zhuǎn)中心軸前面傾斜方向檢測(cè)部的輸出結(jié)果，利用所述運(yùn)算處理裝置生成輸出圖像。
12.根據(jù)權(quán)利要求9或10所述的廣角圖像生成裝置，其特征在于，所述廣角攝像裝置或者所述運(yùn)算處理裝置內(nèi)具有輸入所述旋轉(zhuǎn)中心軸前面傾斜方向的旋轉(zhuǎn)中心軸前面傾斜方向輸入部，對(duì)應(yīng)于所述旋轉(zhuǎn)中心軸前面傾斜方向輸入部的輸入結(jié)果，利用所述輸出圖像生成部生成輸出圖像。
13.一種廣角圖像生成裝置，其特征在于，設(shè)置有在相對(duì)于旋轉(zhuǎn)對(duì)稱(chēng)體的旋轉(zhuǎn)中心軸垂直的任意方向上取基準(zhǔn)光軸，具有將所述基準(zhǔn)光軸的方向作為0度的角度范圍至少是θ的凸面形狀反射面的反射鏡，其中，θ1≤θ≤θ2、-180°≤θ1≤180°、-180°≤θ2≤180°、θ1＜θ2、在所述反射鏡的旋轉(zhuǎn)中心軸上具有主點(diǎn)，在視場(chǎng)角記為2α?xí)r光軸相對(duì)所述旋轉(zhuǎn)中心軸朝著基準(zhǔn)光軸方向傾斜α以下的角度，使所述反射鏡的反射像成像，并對(duì)所述反射鏡的旋轉(zhuǎn)中心軸周?chē)辽偈铅冉嵌确秶膶?duì)象物進(jìn)行攝像的攝像裝置、根據(jù)由所述攝像裝置得到的廣角圖像生成從所述旋轉(zhuǎn)中心軸上觀察的展開(kāi)圖像的展開(kāi)圖像生成部、以及生成包含所述展開(kāi)圖像生成部將所述廣角圖像加以展開(kāi)時(shí)的所述廣角圖像與所述展開(kāi)圖像的像素對(duì)應(yīng)關(guān)系信息的展開(kāi)表的展開(kāi)表生成部。
14.一種廣角圖像生成裝置，其特征在于，設(shè)置有在相對(duì)于旋轉(zhuǎn)對(duì)稱(chēng)體的旋轉(zhuǎn)中心軸垂直的任意方向上取基準(zhǔn)光軸，具有將所述基準(zhǔn)光軸的方向作為0度的角度范圍至少是θ的凸面形狀反射面的反射鏡，其中，θ1≤θ≤θ2、-180°≤θ1≤180°、-180°≤θ2≤180°、θ1＜θ2、在所述反射鏡的旋轉(zhuǎn)中心軸上具有主點(diǎn)，在視場(chǎng)角記為2α?xí)r光軸相對(duì)所述旋轉(zhuǎn)中心軸朝著基準(zhǔn)光軸方向傾斜α以下角度，使所述反射鏡的反射像成像，對(duì)所述反射鏡的旋轉(zhuǎn)中心軸周?chē)辽偈铅冉嵌确秶膶?duì)象物進(jìn)行攝像的攝像裝置、根據(jù)由所述攝像裝置得到的廣角圖像生成從所述旋轉(zhuǎn)中心軸上觀察的展開(kāi)圖像的展開(kāi)圖像生成部、生成包含所述展開(kāi)圖像生成部將所述廣角圖像加以展開(kāi)時(shí)的所述廣角圖像與所述展開(kāi)圖像的像素對(duì)應(yīng)關(guān)系信息的展開(kāi)表的展開(kāi)表生成用運(yùn)算處理裝置、以及保持由所述展開(kāi)表生成用運(yùn)算處理裝置生成的所述展開(kāi)表，同時(shí)連接于所述展開(kāi)圖像生成部的展開(kāi)表存儲(chǔ)部。
15.一種的廣角圖像生成裝置，其特征在于，設(shè)置有具備凸面形狀的反射面的反射鏡、所述反射鏡的旋轉(zhuǎn)中心軸上具有主點(diǎn)，使所述反射鏡的反射像成像，對(duì)所述反射鏡的旋轉(zhuǎn)中心軸周?chē)?60度范圍的對(duì)象物進(jìn)行攝像的攝像裝置、根據(jù)由所述攝像裝置得到的廣角圖像生成從所述旋轉(zhuǎn)中心軸上觀察的展開(kāi)圖像的展開(kāi)圖像生成部、以及生成包含所述展開(kāi)圖像生成部將所述廣角圖像加以展開(kāi)時(shí)的所述廣角圖像與所述展開(kāi)圖像的像素對(duì)應(yīng)關(guān)系信息的展開(kāi)表的展開(kāi)表生成部。
16.一種廣角圖像生成裝置，其特征在于，設(shè)有具備凸面形狀的反射面的反射鏡、所述反射鏡的旋轉(zhuǎn)中心軸上具有主點(diǎn)，使所述反射鏡的反射像成像，對(duì)所述反射鏡的旋轉(zhuǎn)中心軸周?chē)?60度范圍的對(duì)象物進(jìn)行攝像的攝像裝置、根據(jù)由所述攝像裝置得到的廣角圖像生成從所述旋轉(zhuǎn)中心軸上觀察的展開(kāi)圖像的展開(kāi)圖像生成部、生成包含所述展開(kāi)圖像生成部將所述廣角圖像加以展開(kāi)時(shí)的所述廣角圖像與所述展開(kāi)圖像的像素對(duì)應(yīng)關(guān)系信息的展開(kāi)表的展開(kāi)表生成用運(yùn)算處理裝置、以及保持由所述展開(kāi)表生成用運(yùn)算處理裝置生成的所述展開(kāi)表，同時(shí)連接于所述展開(kāi)圖像生成部的展開(kāi)表存儲(chǔ)部。
17.根據(jù)權(quán)利要求13～16中的任意一項(xiàng)所述的廣角圖像生成裝置，其特征在于，所述反射鏡是在旋轉(zhuǎn)中心軸上具有內(nèi)部焦點(diǎn)的雙曲面形狀，所述雙曲面形狀的外部焦點(diǎn)的位置與所述攝像裝置的主點(diǎn)位置大致一致。
18.根據(jù)權(quán)利要求17所述的廣角圖像生成裝置，其特征在于，構(gòu)成展開(kāi)表生成部或者展開(kāi)表生成用運(yùn)算處理裝置，使其能夠生成包含與攝像裝置的光軸傾斜量相對(duì)應(yīng)的廣角圖像與展開(kāi)圖像的像素對(duì)應(yīng)關(guān)系信息的展開(kāi)表。
19.根據(jù)權(quán)利要求17所述的廣角圖像生成裝置，其特征在于，使展開(kāi)表生成部或者展開(kāi)表生成用運(yùn)算處理裝置形成能夠根據(jù)以下數(shù)學(xué)公式生成展開(kāi)表的結(jié)構(gòu)，所述公式即tanα＝{(b2+c2)sinβ-2bc}/{(b2-c2)cosβ}c＝(a2+b2)0.5(x2+y2)0.5＝F·cosβ/cosγ(θ)/sin(β+γ(θ))cosφ＝cosθ/(1+tan2γ(90°)·sin2θ)0.5tanγ(θ)＝tanγ(90°)·sin(θ)其中，a、b是決定反射鏡的雙曲面的形狀的常數(shù)，雙曲面形狀是在XYZ空間中表示為(X2+Y2)/a2-Z2/b2＝-1的雙曲面中Z＞0的形狀，α是上述反射鏡的內(nèi)部焦點(diǎn)與空間中的任意點(diǎn)連結(jié)的直線與XY平面形成的角度，β是從上述任意點(diǎn)來(lái)的入射光入射到攝像裝置的攝像面上的點(diǎn)與上述攝像裝置的主點(diǎn)連結(jié)的直線與XY平面形成的角度，F(xiàn)是上述攝像裝置的焦距，θ是在XY平面中以基準(zhǔn)光軸方向?yàn)?0°時(shí)所述入射光的入射方向，γ是取決于上述入射方向θ的上述攝像面的傾斜，φ是上述入射光在上述攝像面上的入射方向。
20.根據(jù)權(quán)利要求13～17中的任一項(xiàng)所述的廣角圖像生成裝置，其特征在于，構(gòu)成展開(kāi)表生成部或展開(kāi)表生成用運(yùn)算處理裝置，并使其能夠生成包含將含有攝像裝置的光學(xué)像差引起的畸變的廣角圖像與畸變修正后的廣角圖像的對(duì)應(yīng)關(guān)系和上述畸變修正后的廣角圖像與展開(kāi)圖像的對(duì)應(yīng)關(guān)系加以合成的像素對(duì)應(yīng)關(guān)系信息的展開(kāi)表。
21.根據(jù)權(quán)利要求13～17中的任一項(xiàng)所述的廣角圖像生成裝置，其特征在于，構(gòu)成展開(kāi)表生成部或展開(kāi)表生成用運(yùn)算處理裝置，并使其能夠生成通過(guò)變更考慮廣角圖像與展開(kāi)圖像的像素對(duì)應(yīng)關(guān)系時(shí)的假想投影面的形狀，改變所述廣角圖像與所述展開(kāi)圖像的像素對(duì)應(yīng)關(guān)系的展開(kāi)表。
22.根據(jù)權(quán)利要求13～17中的任一項(xiàng)所述的廣角圖像生成裝置，其特征在于，構(gòu)成展開(kāi)表生成部或展開(kāi)表生成用運(yùn)算處理裝置，并使其能夠生成任意變更展開(kāi)圖像上設(shè)置的任意遮掩區(qū)域內(nèi)的廣角圖像與展開(kāi)圖像的像素對(duì)應(yīng)關(guān)系，遮蔽所述遮掩區(qū)域內(nèi)的展開(kāi)圖像的展開(kāi)表。
23.根據(jù)權(quán)利要求13～17中的任一項(xiàng)所述的廣角圖像生成裝置，其特征在于，在展開(kāi)圖像生成部的后級(jí)，追加作為展開(kāi)圖像生成部的后處理，根據(jù)展開(kāi)圖像上的位置進(jìn)行改變強(qiáng)調(diào)程度的高頻分量強(qiáng)調(diào)處理的圖像質(zhì)量修正處理部。
24.根據(jù)權(quán)利要求17～23中的任一項(xiàng)所述的廣角圖像生成裝置，其特征在于，設(shè)置進(jìn)行使利用展開(kāi)圖像生成部展開(kāi)的圖像的特定區(qū)域成為與原來(lái)不同的圖像的圖像遮蔽處理的圖像遮蔽處理部。
全文摘要
在使用具有旋轉(zhuǎn)對(duì)稱(chēng)的凸面形狀的反射鏡對(duì)大致有±90°大小的廣角圖像進(jìn)行攝像，實(shí)施運(yùn)算處理，以得到展開(kāi)圖像的廣角圖像生成裝置中，反射面的旋轉(zhuǎn)中心軸在垂直于0°方向的面內(nèi)偏離鉛直方向傾斜的情況下，得到的圖像，其內(nèi)容傾斜了反射面的旋轉(zhuǎn)中心軸的傾斜程度，存在著使觀察者有不協(xié)調(diào)感覺(jué)的問(wèn)題。本發(fā)明在用反射鏡(1)對(duì)大致有±90°大小的廣角圖像進(jìn)行攝像的攝像裝置內(nèi)設(shè)置角度傳感器(12)，測(cè)定垂直于0°方向的面內(nèi)的傾斜。用該值在運(yùn)算處理裝置11進(jìn)行展開(kāi)處理，同時(shí)進(jìn)行展開(kāi)圖像的旋轉(zhuǎn)處理，使展開(kāi)圖像內(nèi)的水平與輸出監(jiān)視器(13)的水平一致。
文檔編號(hào)H04N5/225GK1535449SQ0281492
公開(kāi)日2004年10月6日 申請(qǐng)日期2002年5月20日 優(yōu)先權(quán)日2001年5月25日
發(fā)明者林謙一, 曾我部靖, 村田茂樹(shù), 樹(shù), 靖 申請(qǐng)人:松下電器產(chǎn)業(yè)株式會(huì)社