專(zhuān)利名稱(chēng)：影像顯示裝置以及影像顯示方法
技術(shù)領(lǐng)域：
本發(fā)明涉及影像顯示裝置以及影像顯示方法，特別是涉及將來(lái)自多個(gè)照相機(jī)的影 像合成并進(jìn)行顯示的裝置和方法。
背景技術(shù)：
在日本特開(kāi)平9-114979號(hào)公報(bào)中提出了以下的照相機(jī)系統(tǒng)，其中該照相機(jī)系統(tǒng) 利用相互配置在不同位置的多個(gè)照相機(jī)對(duì)拍攝對(duì)象進(jìn)行拍攝，并使用從上述多個(gè)照相機(jī)獲 得的多個(gè)圖像，生成從與各照相機(jī)的位置不同的視點(diǎn)看到的假想的攝像圖像。獲得各照相 機(jī)的攝像圖像中的拍攝對(duì)象的三次元位置坐標(biāo)，并根據(jù)該坐標(biāo)再次構(gòu)成從任意視點(diǎn)看到的 圖像。然而，在日本特開(kāi)平9-114979號(hào)公報(bào)的系統(tǒng)中，使用被固定在各個(gè)位置的多個(gè)照 相機(jī)拍攝的攝像圖像來(lái)生成視點(diǎn)不同的假想的圖像，例如在將車(chē)輛駐車(chē)于駐車(chē)空間時(shí)，當(dāng) 想要生成易于駕駛操作的俯視影像等假想的影像時(shí)，則需要在駐車(chē)空間側(cè)設(shè)置有固定位置 的多個(gè)照相機(jī)。這樣就必須確保多個(gè)照相機(jī)的設(shè)置場(chǎng)所，因此導(dǎo)致設(shè)置多個(gè)照相機(jī)的費(fèi)用 提高，設(shè)置多個(gè)照相機(jī)需要花費(fèi)時(shí)間這樣的問(wèn)題。近年來(lái)，基于提高駕駛的安全性、操作性普遍使用以下裝置即在車(chē)輛上搭載用于 拍攝車(chē)輛后方和側(cè)方的照相機(jī)，例如在車(chē)輛后退時(shí)將來(lái)自該照相機(jī)的影像顯示于配置在駕 駛席的顯示器上。如果能夠利用這樣的搭載于車(chē)輛的照相機(jī)，并且在駐車(chē)空間側(cè)只設(shè)置一個(gè)固定照 相機(jī)并生成俯視圖像等，則容易且便宜地使駐車(chē)時(shí)的駕駛操作變得容易，然而伴隨車(chē)輛的 移動(dòng)，由于搭載于車(chē)輛的照相機(jī)與駐車(chē)空間側(cè)的固定照相機(jī)的相對(duì)位置關(guān)系發(fā)生改變，因 此在日本特開(kāi)平9-114979號(hào)公報(bào)的系統(tǒng)中難以生成俯視影像等。

發(fā)明內(nèi)容
本發(fā)明是鑒于上述以往的問(wèn)題而做出的，其目的在于提供一種即使使用相互的相 對(duì)位置關(guān)系變化的多個(gè)照相機(jī)，也能夠顯示規(guī)定視點(diǎn)下的影像的影像顯示裝置和影像顯示 方法。本發(fā)明涉及的影像顯示裝置具備多個(gè)照相機(jī)，它們相互的相對(duì)位置關(guān)系變化； 相對(duì)位置計(jì)算部，其計(jì)算出多個(gè)照相機(jī)相互的相對(duì)位置關(guān)系；影像合成部，其根據(jù)由相對(duì)位 置計(jì)算部計(jì)算出的相對(duì)位置關(guān)系將來(lái)自多個(gè)照相機(jī)的影像相互合成，而制成規(guī)定視點(diǎn)下的 影像；顯示器，其顯示由影像合成部制成的影像。本發(fā)明涉及的影像顯示方法如下計(jì)算出相互的相對(duì)位置關(guān)系變化的多個(gè)照相 機(jī)的相互的相對(duì)位置關(guān)系，并根據(jù)計(jì)算出的相對(duì)位置關(guān)系將來(lái)自多個(gè)照相機(jī)的影像相互合 成，而制成規(guī)定視點(diǎn)下的影像，并顯示所制成的規(guī)定視點(diǎn)下的影像。根據(jù)本發(fā)明，由于通過(guò)相對(duì)位置計(jì)算部計(jì)算出多個(gè)照相機(jī)相互的相對(duì)位置關(guān)系， 并根據(jù)該相對(duì)位置關(guān)系通過(guò)影像合成部將來(lái)自多個(gè)照相機(jī)的影像相互合成，因此即使使用相互的相對(duì)位置關(guān)系發(fā)生改變的多個(gè)照相機(jī)，也能夠顯示規(guī)定視點(diǎn)下的影像。


圖1是本發(fā)明的實(shí)施方式1涉及的影像顯示裝置的構(gòu)成的框圖。圖2是表示實(shí)施方式1的作用的流程圖。圖3是表示實(shí)施方式2涉及的影像顯示裝置的構(gòu)成的框圖。圖4是表示實(shí)施方式2的相對(duì)位置計(jì)算部的構(gòu)成的框圖。圖5是表示在實(shí)施方式2中使用的標(biāo)記的圖。圖6是表示在計(jì)算出實(shí)施方式2的移動(dòng)照相機(jī)和固定照相機(jī)的相對(duì)位置關(guān)系的步 驟的作用的流程圖。圖7是表示實(shí)施方式3涉及的影像顯示裝置的構(gòu)成的框圖。圖8是表示實(shí)施方式3的作用的流程圖。圖9是表示實(shí)施方式3的顯示器的畫(huà)面的圖。圖10是表示實(shí)施方式3的顯示器的畫(huà)面的圖。圖11是表示實(shí)施方式4涉及的影像顯示裝置的構(gòu)成的框圖。圖12是表示實(shí)施方式4的相對(duì)位置計(jì)算部的構(gòu)成的框圖。圖13是表示實(shí)施方式4的作用的流程圖。圖14是表示實(shí)施方式4涉及的影像顯示裝置的構(gòu)成的框圖。
具體實(shí)施例方式以下，基于

本發(fā)明的實(shí)施方式。實(shí)施方式1圖1表示本發(fā)明的實(shí)施方式1涉及的影像顯示裝置的構(gòu)成。預(yù)先在規(guī)定的場(chǎng)所設(shè) 置固定照相機(jī)A，并且在與該固定照相機(jī)A不同的場(chǎng)所配置移動(dòng)照相機(jī)B。移動(dòng)照相機(jī)B搭 載于車(chē)輛等移動(dòng)體U,并且構(gòu)成為能夠與移動(dòng)體U —起自由移動(dòng)。在移動(dòng)體U上連接有相對(duì)位置計(jì)算部1，相對(duì)位置計(jì)算部1用于計(jì)算移動(dòng)照相機(jī)B 相對(duì)于固定照相機(jī)A的相對(duì)位置關(guān)系，在相對(duì)位置計(jì)算部1和固定照相機(jī)A以及移動(dòng)照相 機(jī)B上連接有影像合成部2。此外，在影像合成部2上連接有顯示器3。另外，移動(dòng)體U具有未圖示的傳感器，該傳感器用于獲得自身的當(dāng)前位置和方向 等位置信息，該傳感器的檢測(cè)信號(hào)被輸入相對(duì)位置計(jì)算部1。接下來(lái)，參照?qǐng)D2的流程圖說(shuō)明實(shí)施方式1的作用。首先，在步驟Sl中，由固定照 相機(jī)A進(jìn)行拍攝，接著在步驟S2中由移動(dòng)照相機(jī)B進(jìn)行拍攝。進(jìn)而，在步驟S3中，由相對(duì)位置計(jì)算部1計(jì)算出移動(dòng)照相機(jī)B相對(duì)于固定照相機(jī)A的相對(duì)位置關(guān)系。此時(shí)，來(lái)自用于獲得移動(dòng)體U的位置信息的傳感器的檢測(cè)信號(hào)被輸入到 相對(duì)位置計(jì)算部1，因此相對(duì)位置計(jì)算部1能夠根據(jù)所輸入的檢測(cè)信號(hào)來(lái)掌握移動(dòng)體U的當(dāng) 前位置和方向。因此，通過(guò)對(duì)該移動(dòng)體U的當(dāng)前位置和方向與設(shè)置固定照相機(jī)A的規(guī)定場(chǎng) 所進(jìn)行比較，由此，相對(duì)位置計(jì)算部1計(jì)算出移動(dòng)照相機(jī)B相對(duì)于固定照相機(jī)A的相對(duì)位置 關(guān)系。這樣當(dāng)計(jì)算出固定照相機(jī)A與移動(dòng)照相機(jī)B的相對(duì)位置關(guān)系時(shí)，在步驟S4中，由影像合成部2基于該相對(duì)位置關(guān)系將固定照相機(jī)A拍攝的影像和移動(dòng)照相機(jī)B拍攝的影像 合成為一個(gè)，并制成從上方向下方俯視的俯視影像作為合成影像。而且，在步驟S5中將俯視影像顯示于顯示器3。這里，作為固定照相機(jī)A拍攝的影像和移動(dòng)照相機(jī)B拍攝的影像的合成以及俯視 影像的制成的例子，可以例舉出日本特開(kāi)平3-99952號(hào)公報(bào)。另外，作為用于獲得移動(dòng)體U的位置信息的傳感器，只要是能夠掌握移動(dòng)體U的移 動(dòng)位置和方向的傳感器即可，例如，能夠使用車(chē)速傳感器或移動(dòng)量傳感器和偏航傳感器，或 者GPS傳感器和偏航傳感器、或者向移動(dòng)體U搭載的位置不同的兩個(gè)GPS傳感器等。相對(duì)位置傳感器1、影像合成部2以及顯示器3能夠搭載于移動(dòng)體U。此時(shí)，固定 照相機(jī)A和影像合成部2之間的連接，也能夠通過(guò)有線進(jìn)行連接，或者還能夠通過(guò)無(wú)線進(jìn)行 連接。在固定照相機(jī)A和影像合成部2之間用無(wú)線進(jìn)行連接時(shí)，需要在固定照相機(jī)A和影 像合成部2上分別具備通信單元。另外，也可以不將相對(duì)位置計(jì)算部1、影像合成部2以及顯示器3搭載于移動(dòng)體U 而是設(shè)置于規(guī)定的場(chǎng)所。此時(shí)，用于獲得移動(dòng)體U的位置信息的傳感器和相對(duì)位置計(jì)算部1 通過(guò)有線或無(wú)線進(jìn)行連接，并且固定照相機(jī)A和移動(dòng)照相機(jī)B與影像合成部2之間通過(guò)有 線或無(wú)線進(jìn)行連接。此外，也可以在移動(dòng)體U上只搭載相對(duì)位置計(jì)算部1而將影像合成部2和顯示器3 設(shè)置在規(guī)定場(chǎng)所，或者在移動(dòng)體U上搭載相對(duì)位置計(jì)算部1和影像合成部2而只將顯示器 3設(shè)置在規(guī)定場(chǎng)所。實(shí)施方式2圖3中表示本發(fā)明的實(shí)施方式2涉及的影像顯示裝置的構(gòu)成。本實(shí)施方式2的構(gòu) 成為在圖1表示的實(shí)施方式1的裝置中預(yù)先在規(guī)定的固定位置設(shè)置作為固定目標(biāo)的標(biāo)記 M，由此來(lái)代替具有用于獲得移動(dòng)體U位置信息的傳感器，相對(duì)位置計(jì)算部1根據(jù)由移動(dòng)照 相機(jī)B拍攝的標(biāo)記M的圖像計(jì)算出固定照相機(jī)A與移動(dòng)照相機(jī)B的相對(duì)位置關(guān)系。如圖4所示，相對(duì)位置計(jì)算部1包括依次與移動(dòng)照相機(jī)B連接的圖像處理單元4、 位置參數(shù)計(jì)算單元5以及相對(duì)位置確定單元6。另外，作為固定目標(biāo)的標(biāo)記M是固定設(shè)置在與固定照相機(jī)A具有規(guī)定的位置關(guān)系 的規(guī)定場(chǎng)所，并預(yù)先掌握標(biāo)記M相對(duì)于固定照相機(jī)A的規(guī)定的位置關(guān)系的標(biāo)記。作為該標(biāo) 記M，例如如圖5所示，可以使用四個(gè)直角等腰三角形相互抵接的具有正方形狀的外形的圖 形。相互鄰接的直角等腰三角形用不同的顏色涂飾區(qū)分，該標(biāo)記M具有由多條邊的交點(diǎn)構(gòu) 成的5個(gè)特征點(diǎn)Cl C5。如上所述，只要能夠預(yù)先掌握標(biāo)記M相對(duì)于固定照相機(jī)A的位置關(guān)系，則可以將標(biāo) 記M配置在固定照相機(jī)A的視野以外。在本實(shí)施方式2中，也是按照?qǐng)D2表示的流程圖的步驟Sl S5，將俯視影像等的 合成圖像顯示于顯示器3，然而步驟3的固定照相機(jī)A與移動(dòng)照相機(jī)B的相對(duì)位置關(guān)系的計(jì) 算方法與實(shí)施方式1不同，是按照?qǐng)D6的流程圖表示的步驟S6 S8，并以如下方式進(jìn)行相 對(duì)位置關(guān)系的計(jì)算。S卩，首先在步驟S6中，相對(duì)位置計(jì)算部1的圖像處理單元4，從由移動(dòng)照相機(jī)B拍攝的標(biāo)記M的圖像中抽出標(biāo)記M的5個(gè)特征點(diǎn)Cl C5，且分別識(shí)別并取得圖像上的這些特征點(diǎn)Cl C5的二次元坐標(biāo)。然后，在步驟S7中，位置參數(shù)計(jì)算單元5根據(jù)由圖像處理單元4識(shí)別出的特征點(diǎn) Cl C5的各個(gè)二次元坐標(biāo)，計(jì)算出由6個(gè)參數(shù)構(gòu)成的位置參數(shù)，這6個(gè)參數(shù)是以標(biāo)記M為 基準(zhǔn)的移動(dòng)照相機(jī)B的三次元坐標(biāo)(x，y，z)、傾角(俯角)、水平角(方向角)、轉(zhuǎn)向角(旋 轉(zhuǎn)角)。在此，說(shuō)明位置參數(shù)計(jì)算單元5的位置參數(shù)的計(jì)算方法。首先，以從移動(dòng)體U上的規(guī)定位置相對(duì)于路面垂直向下而得到的地面上的點(diǎn)作為 原點(diǎn)0，假設(shè)水平方向設(shè)定了 χ軸和y軸、垂直方向設(shè)定了 ζ軸的路面坐標(biāo)系，并且假設(shè)在由 移動(dòng)照相機(jī)B拍攝的圖像上設(shè)定了 X軸和Y軸的圖像坐標(biāo)系。圖像坐標(biāo)系中標(biāo)記M的特征點(diǎn)Cl C5的坐標(biāo)值Xm和Ym (m = 1 5)，是根據(jù)路 面坐標(biāo)系中標(biāo)記M的特征點(diǎn)Cl C5的6個(gè)位置參數(shù)，即坐標(biāo)值xm、ym和zm以及上述傾角 (俯角)、水平角(方向角)、轉(zhuǎn)向角(旋轉(zhuǎn)角)的角度參數(shù)Kn(n = 1 3)，并用函數(shù)F和 G，以下列關(guān)系式來(lái)表示。Xm = F (xm, ym, zm, Kn) +DXmYm = G (xm, ym, zm, Kn) +DYm在此，DXm和DYm是用函數(shù)F和G計(jì)算出的特征點(diǎn)Cl C5的X坐標(biāo)和Y坐標(biāo)與 由圖像處理單元4識(shí)別出的特征點(diǎn)Cl C5的坐標(biāo)值Xm和Ym的偏差。即，通過(guò)分別表示5個(gè)特征點(diǎn)Cl C5的X坐標(biāo)和Y坐標(biāo)，對(duì)6個(gè)位置參數(shù)(xm， ym, zm, Kn)制成共計(jì)10個(gè)關(guān)系式。因此，求出使偏差DXm和DYm的平方和S = E (DXm2+DYm2)為最小的位置參數(shù)(xm， ym, zm, Kn) 0即，解決使S最小化的最佳化問(wèn)題。公知的最佳化法例如可以用單工法、縮 減梯度法、牛頓法、準(zhǔn)牛頓法等。這里，通過(guò)制成比要計(jì)算的位置參數(shù)(xm，ym，zm，Kn)的個(gè)數(shù)“6”更多的關(guān)系式來(lái) 決定位置參數(shù)，因此能夠獲得高精度的位置參數(shù)Um，ym, zm, Kn)。在本實(shí)施方式2中，雖然通過(guò)5個(gè)特征點(diǎn)Cl C5對(duì)6個(gè)位置參數(shù)(xm，ym, zm, Kn) 制成了 10個(gè)關(guān)系式，然而關(guān)系式的數(shù)量比要計(jì)算的位置參數(shù)(xm，ym, zm, Kn)的個(gè)數(shù)越多 越好，如果通過(guò)最少3個(gè)特征點(diǎn)制成6個(gè)關(guān)系式，就能夠計(jì)算出6個(gè)位置參數(shù)(xm，ym, zm, Kn)。在步驟S8中，相對(duì)位置確定單元6使用這樣計(jì)算出的移動(dòng)照相機(jī)B的位置參數(shù)來(lái) 確定移動(dòng)照相機(jī)B相對(duì)于固定照相機(jī)A的相對(duì)位置關(guān)系。即，根據(jù)使用位置參數(shù)計(jì)算單元 5計(jì)算出的位置參數(shù)，確定移動(dòng)照相機(jī)B與標(biāo)記M的相對(duì)位置關(guān)系，由于預(yù)先掌握了標(biāo)記M 相對(duì)于固定照相機(jī)A的規(guī)定的位置關(guān)系，從而進(jìn)一步確定移動(dòng)照相機(jī)B與固定照相機(jī)A的 相對(duì)位置關(guān)系。如上所述，將由相對(duì)位置計(jì)算部1計(jì)算出的固定照相機(jī)A和移動(dòng)照相機(jī)B的相對(duì) 位置關(guān)系發(fā)送到影像合成部2，影像合成部根據(jù)該相對(duì)位置關(guān)系將固定照相機(jī)A拍攝的影 像與移動(dòng)照相機(jī)B拍攝的影像合成為一個(gè)并制成俯視影像顯示于顯示器3。這里，在本實(shí)施方式2中，由于計(jì)算出由6個(gè)參數(shù)構(gòu)成的位置參數(shù)，S卩，以標(biāo)記M為 基準(zhǔn)的移動(dòng)照相機(jī)B的三次元坐標(biāo)(x，y，z)、傾角(俯角)、水平角(方向角)、轉(zhuǎn)向角(旋 轉(zhuǎn)角)，因此即使配置標(biāo)記M的地面與移動(dòng)體U當(dāng)前位置的地面之間存在高低差或傾斜，也能夠正確地確定標(biāo)記M與移動(dòng)照相機(jī)B的相對(duì)位置關(guān)系，進(jìn)而正確地確定固定照相機(jī)A與移動(dòng)照相機(jī)B的相對(duì)位置關(guān)系，因此能夠制成高精度的俯視影像。然而，在配置標(biāo)記M的地面與移動(dòng)體U當(dāng)前位置的地面之間不存在傾斜時(shí)，只要至 少計(jì)算出由以標(biāo)記M為基準(zhǔn)的移動(dòng)照相機(jī)B的三次元坐標(biāo)(X，y，ζ)和水平角(方向角)4 個(gè)參數(shù)構(gòu)成的位置參數(shù)，就能夠確定標(biāo)記M與移動(dòng)照相機(jī)B的相對(duì)位置關(guān)系。此時(shí)，只要用 標(biāo)記M的最少兩個(gè)特征點(diǎn)的二次元坐標(biāo)來(lái)制成4個(gè)關(guān)系式就能夠求出4個(gè)位置參數(shù)，然而， 優(yōu)選地，使用更多特征點(diǎn)的二次元坐標(biāo)并利用最小二乘法等，高精度地計(jì)算出4個(gè)位置參 數(shù)。此外，在標(biāo)記M和移動(dòng)體U位于同一平面上，并且配置標(biāo)記M的地面與移動(dòng)體U當(dāng) 前位置的路面之間不存在高低差和傾斜時(shí)，只要至少計(jì)算出由以標(biāo)記M為基準(zhǔn)的移動(dòng)照相 機(jī)B的二次元坐標(biāo)(x，y)和水平角(方向角)3個(gè)參數(shù)構(gòu)成的位置參數(shù)，就能夠確定標(biāo)記M 與移動(dòng)照相機(jī)B的相對(duì)位置關(guān)系。此時(shí)，只要用標(biāo)記M的最少兩個(gè)特征點(diǎn)的二次元坐標(biāo)來(lái) 制成4個(gè)關(guān)系式就能夠求出3個(gè)位置參數(shù)，然而優(yōu)選為，用更多特征點(diǎn)的二次元坐標(biāo)并利用 最小二乘法等，高精度地計(jì)算出3個(gè)位置參數(shù)。實(shí)施方式3圖7中表示本發(fā)明的實(shí)施方式3涉及的影像顯示裝置的構(gòu)成。本實(shí)施方式3表示 了將固定照相機(jī)A固定在車(chē)庫(kù)等駐車(chē)空間側(cè)并且將移動(dòng)照相機(jī)B搭載于向駐車(chē)空間進(jìn)行駐 車(chē)的車(chē)輛上，并將圖3表示的實(shí)施方式2的裝置用于駐車(chē)輔助的例子。在駐車(chē)空間S的內(nèi)部或附近配置駐車(chē)空間側(cè)裝置11，并在向駐車(chē)空間S進(jìn)行駐車(chē) 的車(chē)輛上搭載有車(chē)輛側(cè)裝置12。駐車(chē)空間側(cè)裝置11具有固定照相機(jī)A，固定照相機(jī)A配置在駐車(chē)空間S的內(nèi)部、用 于拍攝駐車(chē)空間S的入口附近，在固定照相機(jī)A上經(jīng)由編碼器13而連接有通信部14。編碼 器13用于將由固定照相機(jī)A拍攝的影像壓縮成適于無(wú)線傳輸?shù)男问?，通信?4主要用于 將由編碼器13壓縮的映像數(shù)據(jù)向車(chē)輛側(cè)裝置12發(fā)送。在固定照相機(jī)A和通信部14上連 接有控制部15。此外，駐車(chē)空間側(cè)裝置11具有固定設(shè)置在駐車(chē)空間S入口附近的地面的標(biāo) 記M。這里，固定照相機(jī)A的內(nèi)部參數(shù)(焦點(diǎn)距離、變形常數(shù)等)和外部參數(shù)(相對(duì)于駐 車(chē)空間S的相對(duì)位置、角度等)是預(yù)先已知的。同樣，相對(duì)于固定照相機(jī)A的標(biāo)記M的相對(duì) 位置也是已知的。另一方面，車(chē)輛側(cè)裝置12具有移動(dòng)照相機(jī)B，移動(dòng)照相機(jī)B設(shè)置在車(chē)輛的后部、用 于拍攝車(chē)輛的后方，在向駐車(chē)空間S后退駐車(chē)時(shí)，由該移動(dòng)照相機(jī)B拍攝駐車(chē)空間S的標(biāo)記 M。在移動(dòng)照相機(jī)B上連接有相對(duì)位置計(jì)算部1。另外，車(chē)輛側(cè)裝置12具有與駐車(chē)空間側(cè)裝 置11的通信部14之間進(jìn)行通信的通信部16，在該通信部16上連接有譯碼器17。譯碼器 17用于對(duì)由通信部16接收的來(lái)自駐車(chē)空間側(cè)裝置11的壓縮的映像數(shù)據(jù)進(jìn)行譯碼。影像合成部2與譯碼器17連接，影像選擇部18與影像合成部2和移動(dòng)照相機(jī)B 雙方連接，并配置于該車(chē)輛駕駛席的顯示器3與影像選擇部18連接。另外，控制部19與移動(dòng)照相機(jī)B、相對(duì)位置計(jì)算部1、通信部16以及影像選擇部18 連接。移動(dòng)照相機(jī)B的內(nèi)部參數(shù)(焦點(diǎn)距離、變形常數(shù)等)以及相對(duì)于車(chē)輛的相對(duì)位置和角度等是預(yù)先已知的。如圖4所示，車(chē)輛側(cè)裝置12的相對(duì)位置計(jì)算部1包括順次連接于移動(dòng)照相機(jī)B與影像合成部2之間的圖像處理單元4、位置參數(shù)計(jì)算單元5、相對(duì)位置計(jì)算單元6。接下來(lái)，參照?qǐng)D8的流程圖說(shuō)明實(shí)施方式3的作用。首先，作為步驟S11，在使車(chē)輛位于駐車(chē)空間S附近且標(biāo)記M進(jìn)入移動(dòng)照相機(jī)B的 視野內(nèi)的狀態(tài)下，通過(guò)車(chē)輛側(cè)裝置12的控制部19使移動(dòng)照相機(jī)B動(dòng)作進(jìn)行標(biāo)記M的拍攝。由移動(dòng)照相機(jī)B拍攝的圖像被輸入到相對(duì)位置計(jì)算部1，然后在步驟S12中，相對(duì) 位置計(jì)算部1按照?qǐng)D6表示的流程圖計(jì)算出移動(dòng)照相機(jī)B與固定照相機(jī)A的相對(duì)位置關(guān)系。于是，控制部19根據(jù)由相對(duì)位置計(jì)算部1計(jì)算出的相對(duì)位置關(guān)系，計(jì)算出移動(dòng)照 相機(jī)B相對(duì)于固定照相機(jī)A的相對(duì)距離L，并在步驟S13中將該相對(duì)距離L與規(guī)定值Lth進(jìn) 行比較，在相對(duì)距離L大于規(guī)定值Lth時(shí)，在步驟S14中使影像選擇部18選擇移動(dòng)照相機(jī) B的映像數(shù)據(jù)。由此，如圖9所示，在駕駛席的顯示器3的畫(huà)面上顯示由移動(dòng)照相機(jī)B拍攝 的車(chē)輛后方的影像。另一方面，在移動(dòng)照相機(jī)B相對(duì)于固定照相機(jī)A的相對(duì)距離L小于規(guī)定值Lth時(shí)， 在步驟S15中控制部19從通信部16向駐車(chē)空間側(cè)裝置11發(fā)送映像數(shù)據(jù)的請(qǐng)求信號(hào)。在駐車(chē)空間側(cè)裝置11中，當(dāng)由通信部14從車(chē)輛側(cè)裝置12接收到映像數(shù)據(jù)的請(qǐng)求 信號(hào)時(shí)，在步驟S16中，通過(guò)控制部15使固定照相機(jī)A動(dòng)作，并在駐車(chē)空間S的入口附近進(jìn) 行拍攝。而且，由編碼器13將由固定照相機(jī)A拍攝的影像數(shù)據(jù)壓縮成適于無(wú)線傳輸?shù)男问?后，從通信部14向車(chē)輛側(cè)裝置12發(fā)送。在步驟S17中，當(dāng)由車(chē)輛側(cè)裝置12的通信部16從駐車(chē)空間側(cè)裝置11接收到映像 數(shù)據(jù)時(shí)，該映像數(shù)據(jù)在被譯碼器17譯碼后發(fā)送到影像合成部2。在步驟S18中，影像合成部2根據(jù)固定照相機(jī)A和移動(dòng)照相機(jī)B的相對(duì)位置關(guān)系， 將固定照相機(jī)A的影像和移動(dòng)照相機(jī)B的影像合成為一個(gè)從而制成俯視影像。根據(jù)移動(dòng)照相機(jī)B相對(duì)于固定照相機(jī)A的相對(duì)距離L小于規(guī)定值Lth的結(jié)果，在 步驟S19中，控制部19使影像選擇部18選擇影像合成部2的映像數(shù)據(jù)。由此，如圖10所 示，在駕駛席的顯示器3的畫(huà)面上顯示由影像合成部2制成的俯視影像。這里，在步驟S13中使用的規(guī)定值Lth為，例如假設(shè)駐車(chē)空間S的兩側(cè)部和內(nèi)部被 墻面等分割的車(chē)庫(kù)，并將后退駐車(chē)中的車(chē)輛V的一部分開(kāi)始進(jìn)入固定照相機(jī)A的視野內(nèi)時(shí) 的移動(dòng)照相機(jī)B與固定照相機(jī)A的相對(duì)距離設(shè)定為基準(zhǔn)即可。只要這樣設(shè)定規(guī)定值Lth，則在車(chē)輛V未進(jìn)入固定照相機(jī)A的視野內(nèi)時(shí)，如圖9所 示，在顯示器3的畫(huà)面上顯示由移動(dòng)照相機(jī)B拍攝的車(chē)輛后方的影像，在車(chē)輛V進(jìn)入到固定 照相機(jī)A的視野內(nèi)之后，如圖10所示，在顯示器3的畫(huà)面上顯示俯視影像。因此，能夠一邊 看著顯示器3上顯示的俯視影像一邊進(jìn)行車(chē)輛V的駕駛操作，因而易于掌握車(chē)輛V與駐車(chē) 空間S的相對(duì)位置關(guān)系，從而能夠使車(chē)輛V高精度地駐車(chē)于駐車(chē)空間S內(nèi)。實(shí)施方式4圖11中表示本發(fā)明的實(shí)施方式4涉及的影像顯示裝置的構(gòu)成。本實(shí)施方式4的 構(gòu)成為，在圖3所示的實(shí)施方式2的裝置中配置搭載于第一移動(dòng)體Ul的第一移動(dòng)照相機(jī)Bl 和搭載于第二移動(dòng)體U2的第二移動(dòng)照相機(jī)B2，由此來(lái)代替固定照相機(jī)A和移動(dòng)照相機(jī)B， 并且在移動(dòng)照相機(jī)Bl和B2上連接相對(duì)位置計(jì)算部21來(lái)代替相對(duì)位置計(jì)算部1，由上述移動(dòng)照相機(jī)Bl和B2雙方來(lái)拍攝共同的標(biāo)記M。如圖12所示，相對(duì)位置計(jì)算部21具有與第一移動(dòng)照相機(jī)Bl連接的第一計(jì)算部22、與第二移動(dòng)照相機(jī)B2連接的第二計(jì)算部23、與上述第一計(jì)算部22和第二計(jì)算部23連 接的第三計(jì)算部24，且第三計(jì)算部24與影像合成部2連接。接下來(lái)，參照?qǐng)D13的流程圖說(shuō)明實(shí)施方式4的作用。首先，在步驟S21中，在標(biāo)記M進(jìn)入第一移動(dòng)照相機(jī)Bl的視野內(nèi)的狀態(tài)下，由第一 移動(dòng)照相機(jī)Bl進(jìn)行拍攝。然后，在步驟S22中，相對(duì)位置計(jì)算部21的第一計(jì)算部22，從第 一移動(dòng)照相機(jī)Bl拍攝的標(biāo)記M的圖像中抽出標(biāo)記M的5個(gè)特征點(diǎn)Cl C5，并在分別識(shí)別、 取得圖像上的這些特征點(diǎn)Cl C5的二次元坐標(biāo)之后，在步驟S23中，基于這些特征點(diǎn)Cl C5的二次元坐標(biāo)計(jì)算出由6個(gè)參數(shù)構(gòu)成的位置參數(shù)，這6個(gè)參數(shù)為以標(biāo)記M為基準(zhǔn)的第 一移動(dòng)照相機(jī)Bl的三次元坐標(biāo)(X，y，ζ)、傾角(俯角)、水平角(方向角)、轉(zhuǎn)向角(旋轉(zhuǎn) 角)。然后，在步驟S24中在標(biāo)記M進(jìn)入到第二移動(dòng)照相機(jī)Β2的視野內(nèi)的狀態(tài)下，由第 二移動(dòng)照相機(jī)Β2進(jìn)行拍攝。接著，在步驟S25中，相對(duì)位置計(jì)算部21的第二計(jì)算部23，從 第二移動(dòng)照相機(jī)Β2拍攝的標(biāo)記M的圖像中抽出標(biāo)記M的5個(gè)特征點(diǎn)Cl C5，并在分別識(shí) 另O、取得圖像上的這些特征點(diǎn)Cl C5的二次元坐標(biāo)之后，在步驟S26中，基于這些特征點(diǎn) Cl C5的二次元坐標(biāo)計(jì)算出由6個(gè)參數(shù)構(gòu)成的位置參數(shù)，這6個(gè)參數(shù)為以標(biāo)記M為基準(zhǔn) 的第二移動(dòng)照相機(jī)B2的三次元坐標(biāo)(x，y，z)、傾角(俯角)、水平角(方向角)、轉(zhuǎn)向角(旋 轉(zhuǎn)角)。此外，相對(duì)位置計(jì)算部21的第三計(jì)算部24，根據(jù)由第一計(jì)算部22和第二計(jì)算部 23計(jì)算出的第一移動(dòng)照相機(jī)Bl和第二移動(dòng)照相機(jī)B2的位置參數(shù)，在步驟S27中確定第一 移動(dòng)照相機(jī)Bl和第二移動(dòng)照相機(jī)B2的相對(duì)位置關(guān)系。這樣，由相對(duì)位置計(jì)算部21計(jì)算出的第一移動(dòng)照相機(jī)Bl與第二移動(dòng)照相機(jī)B2的 相對(duì)位置關(guān)系被發(fā)送到影像合成部2，影像合成部2基于該相對(duì)位置關(guān)系，在步驟S28中，將 第一移動(dòng)照相機(jī)Bl拍攝的影像和第二移動(dòng)照相機(jī)B2拍攝的影像合成為一個(gè)從而制成俯視 影像，在步驟S29中，將該俯視影像顯示于顯示器3。實(shí)施方式5圖14中表示本發(fā)明的實(shí)施方式5涉及的影像顯示裝置的構(gòu)成。本實(shí)施方式5的 構(gòu)成為，在圖11所示的實(shí)施方式4的裝置中，在不同的位置分別設(shè)置多個(gè)標(biāo)記Ml和M2，并 由第一移動(dòng)照相機(jī)Bl和第二移動(dòng)照相機(jī)B2分別拍攝不同的標(biāo)記，來(lái)代替由第一移動(dòng)照相 機(jī)Bl和第二移動(dòng)照相機(jī)B2拍攝共同的標(biāo)記M。標(biāo)記Ml和標(biāo)記M2的相對(duì)位置關(guān)系是預(yù)先掌握的。例如，可以預(yù)先將標(biāo)記Ml和標(biāo) 記M2的相對(duì)位置關(guān)系存儲(chǔ)于相對(duì)位置計(jì)算部21?；蛘?，通過(guò)條形碼等單元預(yù)先記錄標(biāo)記 Ml和M2各自的位置信息，以便從由各照相機(jī)拍攝的圖像中識(shí)別其位置信息?；蛘咭部梢詮?配置在各標(biāo)記附近的無(wú)線發(fā)送機(jī)來(lái)發(fā)送標(biāo)記Ml和M2各自的位置信息，并由第一移動(dòng)體Ul 和第二移動(dòng)體U2接收，從而識(shí)別其位置信息。在由第一移動(dòng)照相機(jī)Bl拍攝標(biāo)記Ml、由第二移動(dòng)照相機(jī)B2拍攝標(biāo)記M2時(shí)，相對(duì) 位置計(jì)算部21的第一計(jì)算部22基于由第一移動(dòng)照相機(jī)Bl拍攝的標(biāo)記Ml的圖像，計(jì)算出 以標(biāo)記Ml為基準(zhǔn)的第一移動(dòng)照相機(jī)Bl的位置參數(shù)，相對(duì)位置計(jì)算部21的第二計(jì)算部23基于由第二移動(dòng)照相機(jī)B2拍攝的標(biāo)記M2的圖像，計(jì)算出以標(biāo)記M2為基準(zhǔn)的第二移動(dòng)照相 機(jī)B2的位置參數(shù)。在此，由于預(yù)先掌握了標(biāo)記Ml和標(biāo)記M2的相對(duì)位置關(guān)系，因此相對(duì)位置計(jì)算部21 的第三計(jì)算部24能夠根據(jù)由第一計(jì)算部22和第二計(jì)算部23分別計(jì)算出的位置參數(shù)和標(biāo) 記Ml與M2之間的相對(duì)位置關(guān)系，確定第一移動(dòng)照相機(jī)Bl與第二移動(dòng)照相機(jī)B2的相對(duì)位
置關(guān)系。其結(jié)果是，影像合成部2能夠基于該相對(duì)位置關(guān)系將由第一移動(dòng)照相機(jī)Bl拍攝的 影像和由第二移動(dòng)照相機(jī)B2拍攝的影像合成為一個(gè)制成俯視影像，并將該俯視影像顯示 于顯不器3。這里，在由各移動(dòng)照相機(jī)Bi、B2拍攝的標(biāo)記被確定為不是標(biāo)記Ml和M2中任一個(gè) 時(shí)，或同時(shí)拍攝到兩個(gè)標(biāo)記Ml和M2時(shí)，為了判別所拍攝的標(biāo)記是否為標(biāo)記Ml和M2中的任 一個(gè)的圖像，優(yōu)選地，使雙方的標(biāo)記Ml和M2的形狀、色彩等相互不同。其他實(shí)施方式在上述各實(shí)施方式中，由影像合成部2制成的合成影像不限于俯視影像，影像合 成部2能夠制成與各照相機(jī)的視點(diǎn)不同的來(lái)自任意假想視點(diǎn)P的影像。另外，也不一定限 于來(lái)自與各照相機(jī)的視點(diǎn)不同的假想視點(diǎn)P的影像，影像合成部2可以制成來(lái)自多個(gè)照相 機(jī)中的任一個(gè)照相機(jī)的視點(diǎn)的影像。例如，在上述實(shí)施方式3中影像合成部2將駐車(chē)空間 側(cè)的固定照相機(jī)A的影像轉(zhuǎn)換成來(lái)自車(chē)載的移動(dòng)照相機(jī)B的視點(diǎn)的影像，并與移動(dòng)照相機(jī)B 的影像進(jìn)行合成，由此能夠獲得如下的合成圖像，該合成圖像是對(duì)圖9所示的、在僅由車(chē)載 的移動(dòng)照相機(jī)B拍攝的影像中被墻壁遮擋而成為死角的駐車(chē)空間S內(nèi)的區(qū)域進(jìn)行透視而增 加的圖像?；蛘?，獲得增加了在僅由車(chē)載的移動(dòng)照相機(jī)B拍攝的影像中因在拍攝范圍外而 成為死角區(qū)域的合成圖像。在上述各實(shí)施方式中，雖然是將來(lái)自一臺(tái)固定照相機(jī)A和一臺(tái)移動(dòng)照相機(jī)B、或者 來(lái)自?xún)膳_(tái)移動(dòng)照相機(jī)Bl和B2的影像進(jìn)行合成，將來(lái)自相互的相對(duì)位置關(guān)系發(fā)生改變的三 臺(tái)以上的照相機(jī)的影像進(jìn)行合成，從而制成來(lái)自任意假想視點(diǎn)P的影像。另外，移動(dòng)體U、UU U2不限于車(chē)輛等移動(dòng)裝置，例如也可以是拿著照相機(jī)步行的 人。實(shí)施方式2 5中所使用的標(biāo)記具有使4個(gè)直角等腰三角形相互抵接的正方形狀的外形，然而不限于此，也可以使用各種標(biāo)記。然而優(yōu)選為，對(duì)自然界存在的形狀容易判別、 具備特殊的形狀、色彩等，通過(guò)圖像處理單元4的圖像識(shí)別而容易認(rèn)知其存在的標(biāo)記，且容 易識(shí)別內(nèi)部包含的特征點(diǎn)的標(biāo)記。另外，為了能夠基于所識(shí)別的特征點(diǎn)的二次坐標(biāo)而高精度地計(jì)算出照相機(jī)和標(biāo)記 的相對(duì)位置關(guān)系，優(yōu)選設(shè)置在具有足夠的大小并且照相機(jī)容易認(rèn)知的場(chǎng)所。具體而言，能夠 將照相機(jī)設(shè)置在所配置的場(chǎng)所的周邊地面、墻面、頂面等。
權(quán)利要求
一種影像顯示裝置，其特征在于，具備多個(gè)照相機(jī)，它們相互的相對(duì)位置關(guān)系變化；相對(duì)位置計(jì)算部，其計(jì)算出所述多個(gè)照相機(jī)的相互的相對(duì)位置關(guān)系；影像合成部，其根據(jù)由所述相對(duì)位置計(jì)算部計(jì)算出的相對(duì)位置關(guān)系將來(lái)自所述多個(gè)照相機(jī)的影像相互合成，而制成規(guī)定視點(diǎn)下的影像；顯示器，其顯示由所述影像合成部制成的影像。
2.根據(jù)權(quán)利要求1所述的影像顯示裝置，其特征在于，所述多個(gè)照相機(jī)包括至少一個(gè) 移動(dòng)照相機(jī)和至少一個(gè)固定照相機(jī)。
3.根據(jù)權(quán)利要求1所述的影像顯示裝置，其特征在于，所述多個(gè)照相機(jī)分別由移動(dòng)照 相機(jī)構(gòu)成。
4.根據(jù)權(quán)利要求2或3所述的影像顯示裝置，其特征在于，具有至少一個(gè)特征點(diǎn)的固定 目標(biāo)預(yù)先被設(shè)置在規(guī)定的固定位置，所述相對(duì)位置計(jì)算部根據(jù)由所述移動(dòng)照相機(jī)拍攝的所述固定目標(biāo)的圖像，計(jì)算出以所 述固定目標(biāo)為基準(zhǔn)的所述移動(dòng)照相機(jī)的位置參數(shù)，并根據(jù)所計(jì)算出的位置參數(shù)計(jì)算出所述 移動(dòng)照相機(jī)相對(duì)于其他照相機(jī)的相對(duì)位置關(guān)系。
5.根據(jù)權(quán)利要求4所述的影像顯示裝置，其特征在于，所述固定目標(biāo)由規(guī)定形狀的標(biāo) 記構(gòu)成。
6.根據(jù)權(quán)利要求1至5中任意一項(xiàng)所述的影像顯示裝置，其特征在于，所述影像合成部制成來(lái)自與所述多個(gè)照相機(jī)的視點(diǎn)不同的假想視點(diǎn)的影像，以作為規(guī) 定視點(diǎn)下的影像。
7.根據(jù)權(quán)利要求6所述的影像顯示裝置，其特征在于，所述影像合成部制成俯視影像，以作為規(guī)定視點(diǎn)下的影像。
8.根據(jù)權(quán)利要求1至5中任意一項(xiàng)所述的影像顯示裝置，其特征在于，所述影像合成部通過(guò)從所述多個(gè)照相機(jī)中任意一個(gè)照相機(jī)的視點(diǎn)觀察并對(duì)死角區(qū)域 增加影像來(lái)制成影像，以作為規(guī)定視點(diǎn)下的影像。
9.一種影像顯示方法，其特征在于，計(jì)算出相互的相對(duì)位置關(guān)系變化的多個(gè)照相機(jī)的相互的相對(duì)位置關(guān)系，根據(jù)計(jì)算出的相對(duì)位置關(guān)系將來(lái)自所述多個(gè)照相機(jī)的影像相互合成，而制成規(guī)定視點(diǎn) 下的影像，顯示所制成的規(guī)定視點(diǎn)下的影像。
全文摘要
本發(fā)明提供一種影像顯示裝置以及影像顯示方法。由固定照相機(jī)A進(jìn)行拍攝并且由移動(dòng)照相機(jī)B進(jìn)行拍攝，由相對(duì)位置計(jì)算部1根據(jù)從用于獲得移動(dòng)體U的位置信息的傳感器輸入的檢測(cè)信號(hào)來(lái)掌握移動(dòng)體U的當(dāng)前位置和方向，并且通過(guò)該移動(dòng)體U的當(dāng)前位置和方向與設(shè)置固定照相機(jī)A的規(guī)定的場(chǎng)所的比較，計(jì)算出移動(dòng)照相機(jī)B相對(duì)于固定照相機(jī)A的相對(duì)位置關(guān)系?；谠撓鄬?duì)位置關(guān)系，由影像合成部2將固定照相機(jī)A拍攝的影像和移動(dòng)照相機(jī)B拍攝的影像合成為一個(gè)，并將來(lái)自假想的視點(diǎn)P的合成影響顯示于顯示器3。
文檔編號(hào)B60R1/00GK101828394SQ20088011164
公開(kāi)日2010年9月8日 申請(qǐng)日期2008年10月6日 優(yōu)先權(quán)日2007年10月19日
發(fā)明者中島豐, 富岡雅巳, 嶋崎和典, 木村富雄 申請(qǐng)人:株式會(huì)社豐田自動(dòng)織機(jī)