影像顯示裝置及影像顯示系統(tǒng)的制作方法
【專(zhuān)利摘要】本發(fā)明提供能夠容易且高精度地檢測(cè)立體物的存在并使其反映在俯視圖像的技術(shù)。特征在于，具備：特征量檢測(cè)條件確定部，其針對(duì)從至少2個(gè)不同的視點(diǎn)拍攝共同區(qū)域而得的圖像的俯視圖像，確定檢測(cè)預(yù)定的特征量的條件；特征量檢測(cè)部，其使用所確定的所述特征量檢測(cè)條件，針對(duì)拍攝所述共同區(qū)域而得的圖像的各俯視圖像檢測(cè)所述特征量；混合率確定部，其根據(jù)通過(guò)所述特征量檢測(cè)部檢測(cè)出的特征量，確定將從所述不同的視點(diǎn)拍攝的、拍攝共同區(qū)域而得的圖像的俯視圖像的像素混合時(shí)的混合率；以及俯視圖像合成部，其根據(jù)通過(guò)所述混合率確定部確定的混合率，將拍攝所述共同區(qū)域而得的圖像的俯視圖像的像素混合并進(jìn)行合成輸出。
【專(zhuān)利說(shuō)明】
影像顯示裝置及影像顯示系統(tǒng)
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及影像顯示裝置的技術(shù)。本發(fā)明要求2014年3月27日申請(qǐng)的申請(qǐng)?zhí)枮?014-066268的日本專(zhuān)利的優(yōu)先權(quán)，對(duì)于認(rèn)可通過(guò)文獻(xiàn)參照進(jìn)行引入的指定國(guó)，將該申請(qǐng)所記載的內(nèi)容通過(guò)參照弓I入到本申請(qǐng)。
【背景技術(shù)】
[0002]作為本技術(shù)領(lǐng)域的【背景技術(shù)】，存在日本特開(kāi)2009-289185號(hào)公報(bào)(專(zhuān)利文獻(xiàn)I)。該公報(bào)中記載了一種圖像處理裝置，該圖像處理裝置具備:指定單元，其指定各自部分地具有共同視場(chǎng)的K個(gè)(K為2以上的整數(shù))攝像機(jī);合成單元，其參照分配給所述K個(gè)攝像機(jī)的各自的權(quán)重，合成從通過(guò)所述指定單元指定的K個(gè)攝像機(jī)分別輸出的K個(gè)視場(chǎng)圖像;判別單元，其與所述指定單元的指定處理相關(guān)聯(lián)地判別在所述共同視場(chǎng)中是否存在動(dòng)態(tài)立體物;第I控制單元，其在所述判別單元的判別結(jié)果為否定時(shí)以既定方式控制所述K個(gè)攝像機(jī)的權(quán)重;計(jì)算單元，其在所述判別單元的判別結(jié)果為肯定時(shí)，針對(duì)所述K個(gè)攝像機(jī)的每一個(gè)計(jì)算到所述動(dòng)態(tài)立體物的距離的縮小量；以及第2控制單元，其根據(jù)通過(guò)所述計(jì)算單元計(jì)算出的縮小量控制所述K個(gè)攝像機(jī)的權(quán)重。
[0003]現(xiàn)有技術(shù)文獻(xiàn)
[0004]專(zhuān)利文獻(xiàn)
[0005]專(zhuān)利文獻(xiàn)I:日本特開(kāi)2009-289185號(hào)公報(bào)

【發(fā)明內(nèi)容】

[0006]在上述技術(shù)所涉及的加權(quán)的合成方法中，只公開(kāi)了針對(duì)障礙物的圖像部分使用O或者I這兩個(gè)值選擇一方攝像機(jī)的圖像的加權(quán)的方法。該方法中，如果障礙物的圖像和背景圖像的分離處理失敗，則會(huì)生成非常不自然的合成圖像，因此，需要以非常高的精度分離障礙物的圖像和背景圖像，處理量的要求和硬件能力的要求高。
[0007]本發(fā)明的目的在于，容易且高精度地檢測(cè)立體物的存在并使其反映在俯視圖像中。
[0008]用于解決課題的手段
[0009]本申請(qǐng)包含多個(gè)解決上述問(wèn)題的至少一部分的手段，舉例如下。為了解決上述問(wèn)題，本發(fā)明的影像顯示裝置的特征在于，具備:特征量檢測(cè)條件確定部，其針對(duì)從至少2個(gè)不同的視點(diǎn)拍攝共同區(qū)域而得的圖像的俯視圖像，確定檢測(cè)預(yù)定的特征量的條件;特征量檢測(cè)部，其使用所確定的上述特征量檢測(cè)條件，針對(duì)拍攝上述共同區(qū)域而得的圖像的各俯視圖像檢測(cè)上述特征量;混合率確定部，其根據(jù)通過(guò)上述特征量檢測(cè)部檢測(cè)出的特征量，確定將從上述不同的視點(diǎn)拍攝的、拍攝共同區(qū)域而得的圖像的俯視圖像的像素混合時(shí)的混合率；以及俯視圖像合成部，其根據(jù)通過(guò)上述混合率確定部確定的混合率，將拍攝上述共同區(qū)域而得的圖像的俯視圖像的像素混合并進(jìn)行合成輸出。
[0010]發(fā)明的效果
[0011]根據(jù)本發(fā)明，能夠容易且高精度地檢測(cè)立體物的存在并將其反映在俯視圖像中。上述以外的問(wèn)題、結(jié)構(gòu)及效果通過(guò)以下實(shí)施方式的說(shuō)明可得以明了
【附圖說(shuō)明】
[0012]圖1是表示本發(fā)明的實(shí)施方式的影像顯示裝置的結(jié)構(gòu)例的圖。
[0013]圖2是表示影像顯示裝置的硬件結(jié)構(gòu)例的圖。
[0014]圖3是表示影像顯示裝置的使用狀況的例子的圖。
[0015]圖4是表示影像顯示裝置的輸出例的圖。
[0016]圖5是表示影像顯示裝置的特征量的檢測(cè)處理的概要的圖。
[0017]圖6是表示存儲(chǔ)在特征量檢測(cè)條件存儲(chǔ)部中的數(shù)據(jù)結(jié)構(gòu)的圖。
[0018]圖7是表示存儲(chǔ)在混合信息存儲(chǔ)部中的數(shù)據(jù)結(jié)構(gòu)的圖。
[0019]圖8是表示特征量的掃描方向與圖像的旋轉(zhuǎn)量的關(guān)系的圖。
[0020]圖9是表示同心圓上的特征量的掃描方向及其實(shí)現(xiàn)方法的例子的圖。
[0021 ]圖10是表示混合率決定處理的處理流程的圖。
[0022]圖11是表示以特征量為基準(zhǔn)進(jìn)行混合并合成俯視圖像的畫(huà)面例的圖。
[0023]圖12是表示選擇圖像并合成俯視圖像的畫(huà)面例的圖。
[0024]圖13是表示與隨時(shí)間推移的立體物的變化對(duì)應(yīng)的混合率的變化的例子的圖。
[0025]圖14是表示影像顯示裝置的拍攝對(duì)象的區(qū)域的設(shè)定例的圖。
【具體實(shí)施方式】
[0026]以下，參照【附圖說(shuō)明】應(yīng)用了本發(fā)明的實(shí)施方式的影像顯示裝置100及包含該影像顯示裝置100的影像顯示系統(tǒng)I的例子。
[0027]圖1是表示應(yīng)用了本發(fā)明的第一實(shí)施方式的影像顯示裝置100的結(jié)構(gòu)例的圖。影像顯示裝置100包含控制部110、存儲(chǔ)部120以及攝像機(jī)控制部130。影像顯示裝置100是向用戶呈現(xiàn)俯視圖像的終端。例如，影像顯示裝置100典型地為導(dǎo)航裝置或者車(chē)輛控制裝置等，是使用拍攝車(chē)輛的周?chē)玫膱D像呈現(xiàn)從上空俯視這樣的俯視圖像的裝置。但是，不限于此，也可以是個(gè)人計(jì)算機(jī)裝置、便攜電話終端、平板終端、PDA(Personal Digital Assistant:個(gè)人數(shù)字助手)等電子信息終端。
[0028]控制部110進(jìn)行影像顯示裝置100的基本控制。例如，控制部110擔(dān)負(fù)影像顯示裝置100整體的電源管理、利用操作系統(tǒng)進(jìn)行的各種裝置的控制及任務(wù)管理等監(jiān)管功能等。再者，控制部110包含特征量檢測(cè)條件確定部111、特征量檢測(cè)部112、混合率確定部113以及俯視圖像合成部114。特征量檢測(cè)條件確定部111確定適當(dāng)?shù)臈l件用于檢測(cè)圖像的特征量。此夕卜，如后述，為了更高精度地檢測(cè)特征量，特征量檢測(cè)條件例如包含詳細(xì)地確定圖像的掃描方向的信息等。
[0029]特征量檢測(cè)部112針對(duì)圖像檢測(cè)預(yù)定的特征量。具體地，特征量中包含立體物在畫(huà)面上所占面積的比率等。
[0030]混合率確定部113確定在合成從不同的視點(diǎn)位置拍攝共同的區(qū)域而得的多個(gè)圖像并生成俯視圖像時(shí)使用的各圖像間的數(shù)據(jù)的加權(quán)。具體地，混合率確定部113根據(jù)各圖像間的特征量中是否可見(jiàn)相關(guān)性、可見(jiàn)各圖像間的特征量的區(qū)域是否包含共同的區(qū)域內(nèi)的相同位置等來(lái)確定混合率。
[0031]俯視圖像合成部114根據(jù)混合率確定部113所確定的混合率，將拍攝共同的區(qū)域而得的多個(gè)圖像的像素混合，由此合成輸出俯視圖像。
[0032]存儲(chǔ)部120包含特征量檢測(cè)條件存儲(chǔ)部121及混合信息存儲(chǔ)部122。
[0033]在特征量檢測(cè)條件存儲(chǔ)部121中存儲(chǔ)有在根據(jù)確定所拍攝的區(qū)域的信息及拍攝該區(qū)域的視點(diǎn)位置的組合檢測(cè)特征量時(shí)應(yīng)用的條件。在后述的圖7的說(shuō)明中進(jìn)行特征量檢測(cè)條件存儲(chǔ)部121的詳細(xì)說(shuō)明。
[0034]在混合信息存儲(chǔ)部122中存儲(chǔ)有用于確定所拍攝的區(qū)域的信息及拍攝該區(qū)域的視點(diǎn)位置間的混合率的信息。在后述的圖8的說(shuō)明中進(jìn)行混合信息存儲(chǔ)部122的詳細(xì)說(shuō)明。
[0035]攝像機(jī)控制部130向可給影像顯示裝置100提供圖像的攝像機(jī)指示包含拍攝開(kāi)始及拍攝結(jié)束的各種控制，取得從攝像機(jī)輸出的圖像。以上是影像顯示裝置100的結(jié)構(gòu)的概要。
[0036]圖2是表示應(yīng)用了本發(fā)明的第一實(shí)施方式的影像顯示裝置100及包含該影像顯示裝置100的影像顯示系統(tǒng)I的硬件結(jié)構(gòu)例的圖。
[0037]影像顯示系統(tǒng)I包含影像顯示裝置100、攝像機(jī)群101以及顯示器108。攝像機(jī)群101包含從第I攝像機(jī)到第n(n為整數(shù))攝像機(jī)的多個(gè)攝像機(jī)。典型地，影像顯示系統(tǒng)I使用搭載在車(chē)輛上的多個(gè)(η個(gè))攝像機(jī)拍攝車(chē)輛周?chē)膱D像，通過(guò)影像顯示裝置100合成各攝像機(jī)的拍攝圖像，通過(guò)顯示器108顯示車(chē)輛的周?chē)母┮晥D像。此外，攝像機(jī)群101不僅包括可主要拍攝可視光的攝像機(jī)，例如也可以包括對(duì)紅外線具有感光度區(qū)域并輸出為圖像的暗視攝像機(jī)等攝像機(jī)。
[0038]影像顯示裝置100具備包含一個(gè)或者多個(gè)解碼部的解碼部群102、CPU(CentralProcessing Unit:中央處理單元)104、存儲(chǔ)器105、輔助存儲(chǔ)裝置106以及編碼部107。具備如下結(jié)構(gòu):將從構(gòu)成攝像機(jī)群101的各攝像機(jī)發(fā)送來(lái)的圖像在具有分別對(duì)應(yīng)的解碼部的解碼部群102中進(jìn)行解碼處理，并經(jīng)由總線103存儲(chǔ)在存儲(chǔ)器105。另外，將存儲(chǔ)在存儲(chǔ)器105中的來(lái)自各攝像機(jī)的拍攝圖像通過(guò)CPU104進(jìn)行合成處理，并用于生成車(chē)輛的周?chē)母┮晥D像。然后，將所合成的俯視圖像通過(guò)編碼部107進(jìn)行編碼并通過(guò)顯示器108進(jìn)行再現(xiàn)處理。
[0039]另外，通過(guò)CPUl04來(lái)實(shí)現(xiàn)上述的特征量檢測(cè)條件確定部111、特征量檢測(cè)部112、混合率確定部113、俯視圖像合成部114以及攝像機(jī)控制部130。另外，通過(guò)輔助存儲(chǔ)裝置106及存儲(chǔ)器105來(lái)實(shí)現(xiàn)特征量檢測(cè)條件存儲(chǔ)部121和混合信息存儲(chǔ)部122。
[0040 ]此外，CPU104例如對(duì)通過(guò)視場(chǎng)角在預(yù)定以上范圍的廣角的攝像機(jī)取得的圖像進(jìn)行因光學(xué)系統(tǒng)所產(chǎn)生的失真的修正處理及透視變換處理，使用每個(gè)攝像機(jī)的圖像作成成為構(gòu)成俯視圖像的一部分的基礎(chǔ)的圖像。另外，CPU14進(jìn)行這些俯視圖像的剪切、合成、α混合處理等處理，擔(dān)負(fù)生成車(chē)輛的周?chē)w的俯視圖像的處理。
[0041]另外，CPU104還對(duì)拍攝圖像數(shù)據(jù)進(jìn)行邊緣提取、輪廓提取、高斯處理、噪聲去除處理、閾值處理等各種圖像處理，也進(jìn)行畫(huà)在道路上描繪的白線、障礙物、行人等的有無(wú)和映現(xiàn)出它們的面積的大小的檢測(cè)處理。
[0042]編碼部107進(jìn)行所生成的俯視圖像的編碼處理。顯示器108顯示從影像顯示裝置100輸出的俯視圖像。顯示器108例如為L(zhǎng)CD(Liquid Crystal Display:液晶顯示器)等，但不將種類(lèi)限于此，可以是CRT(Cathode Ray Tube:陰極射線管、LC0S(Liquid Crystal OnSi I icon:娃基液晶)、OLED (Organic light-emitting d1de:有機(jī)發(fā)光二極管)、全息照相光學(xué)元件或者投影儀裝置等任意的顯示設(shè)備。另外，不只是平面型的監(jiān)視器，也可以是HUD(Head—Up Display:平視顯不器)、HMD(Head Mounted Display:頭戴式顯不器)等。
[0043]圖3是表示影像顯示裝置的使用狀況的例子的圖。示出了在該使用狀況，使用設(shè)置在車(chē)輛200的多個(gè)攝像機(jī)拍攝同一被拍攝體205而得的圖像的例子。另外，本例示出了在車(chē)輛200上設(shè)置有前方攝像機(jī)201、左側(cè)攝像機(jī)202、后方攝像機(jī)203、右側(cè)攝像機(jī)204，并且行人(被拍攝體205)步行到車(chē)輛200的左斜前方的狀況。
[0044]在該狀況中，由朝向行進(jìn)方向前方地安裝在車(chē)輛200的前方攝像機(jī)201拍攝并轉(zhuǎn)換成俯視圖像的圖像為正面圖像206，由左側(cè)攝像機(jī)202拍攝并轉(zhuǎn)換成俯視圖像的圖像為左側(cè)面圖像207。以通過(guò)在垂直向下方向上傾斜預(yù)定的角度來(lái)確保斜下(地面方向)的視場(chǎng)角的方式安裝前方攝像機(jī)201及左側(cè)攝像機(jī)202。此外，雖未圖示，但不言而喻，將由后方攝像機(jī)203拍攝并轉(zhuǎn)換成俯視圖像的圖像生成為背面圖像，另外，將由右側(cè)攝像機(jī)204拍攝并轉(zhuǎn)換成俯視圖像的圖像生成為右側(cè)面圖像。
[0045]在該例中，關(guān)于被拍攝體(行人)205的腳部分，分別在正面圖像206中包含正面腳圖像205a、在左側(cè)面圖像207中包含左側(cè)面腳圖像205b。
[0046]—般，在生成俯視圖像的處理中，對(duì)由攝像機(jī)拍攝的圖像進(jìn)行在圖像端部產(chǎn)生的鏡頭失真的修正處理和使放大率根據(jù)進(jìn)深的距離而變化的透視變換。因此，在俯視圖像中，立體物以拉伸的方式失真映現(xiàn)，在由前方攝像機(jī)201拍攝的正面圖像206中，如正面腳圖像205a那樣，在從前方攝像機(jī)201引出的箭頭的方向上拉伸地顯示。同樣地，在由左側(cè)攝像機(jī)202拍攝的左側(cè)面圖像207中，如左側(cè)面腳圖像205b那樣，在從左側(cè)攝像機(jī)202引出的箭頭的方向上拉伸地顯示。即，本來(lái)是同一被拍攝體即被拍攝體(行人)205，但因攝像機(jī)的視點(diǎn)位置的差異，在俯視圖像中顯示為在不同的朝向上拉伸的正面腳圖像205a、左側(cè)面腳圖像205b。這是因被拍攝體即被拍攝體(行人)205是立體物而產(chǎn)生的現(xiàn)象。在被拍攝體不是立體物的情況下，例如白線208這樣的畫(huà)在道路上的平面狀的圖案的情況下，如俯視圖像中的白線208a、白線208b那樣，即使在俯視圖像中也可無(wú)形狀上的差異地拍攝，如若對(duì)準(zhǔn)位置也可重疊。
[0047]S卩，當(dāng)從不同的方向拍攝同一被拍攝體并變換為俯視圖像時(shí)，在比較兩個(gè)圖像并檢測(cè)出形狀在不同的方向上拉伸這一特征的情況下，可認(rèn)為存在立體物，在檢測(cè)出兩個(gè)圖像內(nèi)無(wú)形狀上的差異的特征的情況下，可以判定為在路面上存在近似平面的物體。再者，如從前方攝像機(jī)201、左側(cè)攝像機(jī)202引出的箭頭的方向所示，俯視圖像中立體物的形狀拉伸的方向取決于攝像機(jī)與立體物的位置關(guān)系，因此，可以說(shuō)俯視圖像中立體物的形狀拉伸的方向能夠成為根據(jù)所檢測(cè)出的圖像判定立體物的有無(wú)的有力的判定條件。在本實(shí)施方式中，基于該性質(zhì)，根據(jù)攝像機(jī)即視點(diǎn)位置與立體物的位置關(guān)系，決定檢測(cè)特征時(shí)的處理?xiàng)l件。由此，可以說(shuō)能夠以使得立體物的提取精度提高并更容易看清多個(gè)攝像機(jī)圖像的重疊的部分的方式進(jìn)行混合處理。
[0048]圖4是表示影像顯示裝置100的俯視圖像的輸出例的圖。在俯視圖像中，將拍攝區(qū)域劃分為預(yù)定的區(qū)域，并且對(duì)由其他攝像機(jī)重疊地拍攝的區(qū)域的圖像進(jìn)行某種圖像合成來(lái)顯示。在圖4中，將車(chē)輛200的周?chē)鷦澐譃?個(gè)區(qū)域(左前區(qū)域300、正面區(qū)域301、右前區(qū)域302、左區(qū)域303、右區(qū)域304、左后區(qū)域305、背面區(qū)域306、右后區(qū)域307)。這種情況下，由前方攝像機(jī)201拍攝的區(qū)域?yàn)樽笄皡^(qū)域300、正面區(qū)域301、右前區(qū)域302。另外，由左側(cè)攝像機(jī)202拍攝的區(qū)域?yàn)樽笄皡^(qū)域300、左區(qū)域303、左后區(qū)域305。對(duì)于其他區(qū)域，以后方攝像機(jī)203、右側(cè)攝像機(jī)204的視點(diǎn)位置及朝向、視角為基準(zhǔn)也進(jìn)行同樣地設(shè)定。
[0049]這種情況下，左前區(qū)域300是由前方攝像機(jī)201和左側(cè)攝像機(jī)202取得的圖像所重疊的區(qū)域(在之后的記載中，將像這樣由多個(gè)攝像機(jī)共同拍攝的區(qū)域稱(chēng)為“重疊區(qū)域”)。同樣地，可以說(shuō)右前區(qū)域302、左后區(qū)域305、右后區(qū)域307也是由多個(gè)攝像機(jī)共同拍攝的重疊區(qū)域。此外，在圖4中，雖然以斜線顯示右前區(qū)域302、左后區(qū)域305、右后區(qū)域307，但實(shí)際上會(huì)顯示所拍攝的對(duì)象。
[0050]在俯視圖像中，考慮如上所述的立體物表現(xiàn)為在以視點(diǎn)位置為基準(zhǔn)的方向上延伸這一點(diǎn)，可以說(shuō)在地面上沒(méi)有突起物(立體物)而為平面的情況下，共同的區(qū)域的圖像基本上相同，能夠重疊在一起。
[0051]圖3中的俯視圖像中的白線208a、208b為平面，因此，在俯視圖像中，能夠?qū)拙€308重疊地顯示在同一位置。另一方面，當(dāng)在重疊區(qū)域即左前區(qū)域300中存在立體物(例如，行人)的情況下，通過(guò)對(duì)立體物即行人的正面腳圖像205a、左側(cè)腳圖像205b以預(yù)定的混合率進(jìn)行混合處理來(lái)進(jìn)行顯示，從而不會(huì)遺漏立體物的存在。由此，可以避免立體物的圖像的一部分消失。
[0052]圖5是表示影像顯示裝置100的特征量的檢測(cè)處理的概要的圖。當(dāng)在重疊區(qū)域中從圖像提取立體物時(shí)，特征量檢測(cè)條件確定部111及特征量檢測(cè)部112進(jìn)行該特征量的檢測(cè)處理。正面圖像400a是由前方攝像機(jī)201拍攝并轉(zhuǎn)換成俯視圖像的圖像，左側(cè)面圖像400b是由左側(cè)攝像機(jī)202拍攝并轉(zhuǎn)換成俯視圖像的圖像。如前所述，在進(jìn)行了俯視轉(zhuǎn)換的正面圖像400a和左側(cè)面圖像400b中，因視點(diǎn)位置的不同立體物在不同的方向上拉伸顯示，路面上的物體顯示在重疊的位置。因此，當(dāng)俯視圖像合成部114針對(duì)拍攝共同的區(qū)域即重疊區(qū)域而得的雙方的圖像進(jìn)行從各圖像中去除共同物的處理時(shí)，能夠分別獲得去除了共同物(平面物)的正面立體物圖像40 Ia、左側(cè)面立體物圖像40 Ib。這是通過(guò)俯視圖像合成部114從各圖像針對(duì)與其他圖像對(duì)應(yīng)的范圍去除共同部分的信息而實(shí)現(xiàn)。
[0053]具體地，在正面立體物圖像401a、左側(cè)面立體物圖像401b中，能夠作為差異留下映入各圖像中的立體物(正面腳圖像205a、左側(cè)面腳圖像205b)，并能夠作為共同部分去除路面上的物體208a、208b。
[0054]然后，為了高精度地提取立體物，特征量檢測(cè)條件確定部111確定適當(dāng)?shù)臋z測(cè)條件。作為補(bǔ)充，根據(jù)上述那樣的特性，立體物的輪廓延伸的方向是與從重疊區(qū)域觀察的視點(diǎn)位置的方向?qū)?yīng)的方向，因此，可以說(shuō)有效地提高提取精度的檢測(cè)條件在于確定適當(dāng)?shù)妮喞獟呙璺较颉Ｒ虼?，特征量檢測(cè)條件確定部111根據(jù)視點(diǎn)位置與共同的區(qū)域的幾何關(guān)系來(lái)確定特征量檢測(cè)條件。具體地，特征量檢測(cè)條件確定部111根據(jù)視點(diǎn)位置和從共同的區(qū)域觀察的視點(diǎn)位置的方向來(lái)確定用于特征量檢測(cè)的輪廓掃描的方向。
[0055]此外，一般，通過(guò)在圖像上的預(yù)定的方向(通常為水平像素方向)上掃描亮度或者RGB、CMY的值等構(gòu)成圖像的要素的變化量來(lái)進(jìn)行輪廓的提取處理，當(dāng)掃描方向與檢測(cè)對(duì)象處于正交的狀態(tài)時(shí)，多可取得高的檢測(cè)精度?；诖?，特征量檢測(cè)條件確定部111設(shè)定檢測(cè)條件用于以與立體物的輪廓的延伸方向正交的方式進(jìn)行掃描。
[0056]然后，特征量檢測(cè)條件確定部111針對(duì)正面立體物圖像401a、左側(cè)面立體物圖像401b分別確定輪廓掃描方向402a、輪廓掃描方向402b。
[0057]然后，特征量檢測(cè)部112根據(jù)所確定的輪廓掃描方向402a、輪廓掃描方向402b分別掃描正面立體物圖像401a、左側(cè)面立體物圖像401b，檢測(cè)輪廓403a、403b。以上是特征量的檢測(cè)處理的概要。
[0058]圖6是表示存儲(chǔ)在特征量檢測(cè)條件存儲(chǔ)部121中的數(shù)據(jù)結(jié)構(gòu)的圖。在特征量檢測(cè)條件存儲(chǔ)部121中對(duì)應(yīng)地存儲(chǔ)有區(qū)域確定信息121A、代表點(diǎn)121B、視點(diǎn)位置確定信息121C以及特征量檢測(cè)條件121D。區(qū)域確定信息121A是在多個(gè)圖像間確定共同拍攝的區(qū)域的信息。代表點(diǎn)121B是代表通過(guò)區(qū)域確定信息121A確定的區(qū)域的點(diǎn)。通過(guò)代表點(diǎn)121B確定的位置例如可以是區(qū)域的重心，也可以是中心，還可以是區(qū)域的任意一個(gè)頂點(diǎn)。例如，不限于拍攝區(qū)域的重心，也可以將拍攝區(qū)域內(nèi)離攝像機(jī)最遠(yuǎn)的點(diǎn)、最近的點(diǎn)或者拍攝區(qū)域內(nèi)檢測(cè)出的物體上的點(diǎn)等作為代表點(diǎn)。
[0059]視點(diǎn)位置確定信息121C是確定視點(diǎn)位置即攝像機(jī)的位置的信息。特征量檢測(cè)條件121D是為了檢測(cè)特征量而應(yīng)該使用的條件。例如，在特征量檢測(cè)條件121D中預(yù)先存儲(chǔ)有應(yīng)該將圖像旋轉(zhuǎn)角應(yīng)用為θ(θ是與從視點(diǎn)位置到區(qū)域的代表點(diǎn)的線段正交的直線的延伸方向和輪廓的提取處理中掃描亮度的變化量的方向的角度的差值)這一內(nèi)容的條件。
[0060]圖7是表示存儲(chǔ)在混合信息存儲(chǔ)部122中的數(shù)據(jù)結(jié)構(gòu)的圖。在混合信息存儲(chǔ)部122中對(duì)應(yīng)地存儲(chǔ)有區(qū)域確定信息122Α和混合率122Β。區(qū)域確定信息121A是在多個(gè)圖像間確定共同拍攝的區(qū)域的信息。混合率122Β是在使用多個(gè)圖像合成輸出通過(guò)區(qū)域確定信息121Α確定的區(qū)域時(shí)確定圖像間的權(quán)重的信息。例如，混合率122Β是指定將由“攝像機(jī)001”拍攝的圖像和由“攝像機(jī)002”拍攝的圖像的加權(quán)以“ρ: (Ι-p)”(P為O到I的數(shù))的比進(jìn)行加權(quán)來(lái)進(jìn)行混合的信息。
[0061 ]嚴(yán)格來(lái)說(shuō)，在正面圖像400a中立體物被拉伸地拍攝時(shí)的圖像上的方向根據(jù)區(qū)域內(nèi)的位置也會(huì)不同，但通過(guò)將其看作同一方向并將輪廓掃描方向設(shè)定為相同能夠降低運(yùn)算處理的負(fù)荷。
[0062]圖8是表示特征量的掃描方向與圖像的旋轉(zhuǎn)量的關(guān)系的圖。即，圖8是根據(jù)輪廓掃描方向501掃描正面立體物圖像401 a來(lái)檢測(cè)輪廓的處理中的具體的方法的示意圖。這里，正面立體物圖像401a具有與前方攝像機(jī)(視點(diǎn)位置)201在水平方向上相距X，在垂直方向上相距y的重心500。因此，特征量檢測(cè)條件確定部111在與連接前方攝像機(jī)(視點(diǎn)位置)201和重心500的線段正交的方向上設(shè)定輪廓掃描方向501。
[0063]在該處理中，特征量檢測(cè)條件確定部111將正面立體物圖像401a的代表點(diǎn)即重心500作為旋轉(zhuǎn)的中心，使正面立體物圖像40Ia旋轉(zhuǎn)特征量檢測(cè)條件12ID所示的圖像旋轉(zhuǎn)角Θ。不限于此，特征量檢測(cè)條件確定部111也可以在使處理圖像自身旋轉(zhuǎn)根據(jù)攝像機(jī)位置與拍攝區(qū)域的位置關(guān)系而決定的角度后，實(shí)施共同的邊緣檢測(cè)。
[0064]此外，如上所述，圖像旋轉(zhuǎn)角Θ是與從視點(diǎn)位置到區(qū)域的代表點(diǎn)的線段正交的直線的延伸方向和輪廓的提取處理中掃描亮度的變化量的方向的角度的差值。由此，能夠使掃描亮度的變化量的方向(水平或者垂直方向)與輪廓掃描方向501并行，能夠獲得高的輪廓提取精度。此外，該旋轉(zhuǎn)量也可以根據(jù)每個(gè)攝像機(jī)或者根據(jù)每個(gè)拍攝方向而設(shè)為最佳的角度。例如，在后方攝像機(jī)的情況下，在適合垂直方向的掃描的情況下(例如，入庫(kù)時(shí)的定位用等)，圖像旋轉(zhuǎn)角Θ也可以被設(shè)定為使輪廓掃描方向?yàn)榇怪狈较颉?br>[0065]圖9是表示同心圓上的特征量的掃描方向及其實(shí)現(xiàn)方法的例子的圖。即，圖9是在上述的檢測(cè)輪廓的處理中用于能夠進(jìn)行更高精度的檢測(cè)的提取方向的設(shè)定例。在圖9中列舉了當(dāng)從正面立體物圖像401a提取輪廓時(shí)，以與以前方攝像機(jī)(視點(diǎn)位置)201為中心的同心圓的切線方向盡可能接近的方式設(shè)定掃描方向的方法的例子。通過(guò)像這樣將一個(gè)區(qū)域細(xì)致地劃分來(lái)進(jìn)行掃描，能夠在與立體物的輪廓的延伸方向大致正交的方向上進(jìn)行掃描來(lái)檢測(cè)輪廓。
[0066]具體地，假定使用前方攝像機(jī)201拍攝重疊區(qū)域并進(jìn)行俯視轉(zhuǎn)換而得的正面立體物圖像401a進(jìn)行設(shè)定的情況。在圖9中，針對(duì)正面立體物圖像401a，在源于前方攝像機(jī)(視點(diǎn)位置)201的同心圓的切線方向上設(shè)定輪廓掃描方向502。作為該方法，如果預(yù)先設(shè)定將正面立體物圖像401a沿著通過(guò)接近視點(diǎn)位置的頂點(diǎn)的直線進(jìn)一步細(xì)分而得的區(qū)域410?440，則特征量檢測(cè)條件確定部111能夠針對(duì)每個(gè)區(qū)域確定并設(shè)定與連接重心和前方攝像機(jī)(視點(diǎn)位置)201之間的線段正交的方向的掃描方向503A?503D，能夠高精度地檢測(cè)輪廓。
[0067]立體物拉伸的方向基本上是連接攝像機(jī)和與立體物的地面接觸的位置的線段的延伸方向，在圖9的方法中，由于在正面立體物圖像401a的面內(nèi)輪廓掃描方向不同，因此，有必要根據(jù)圖像內(nèi)的探索區(qū)域變更輪廓提取濾波器等的影像顯示方法，運(yùn)算處理的負(fù)荷變高。但是，由于能夠與立體物的拉伸方向大致正交地進(jìn)行輪廓提取處理，因此能夠獲得立體物的高提取精度。
[0068]此外，輪廓掃描方向的設(shè)定方法不限于圖8、圖9所示的例子，例如也可以是根據(jù)前方攝像機(jī)201的視點(diǎn)位置與重疊區(qū)域的位置關(guān)系決定拉普拉斯濾波器或者索貝爾濾波器(sobel filter)等邊緣檢測(cè)濾波器的濾波器系數(shù)。由此，能夠更高精度地提取輪廓。
[0069 ]圖10是在重疊區(qū)域中的圖像合成的動(dòng)作順序中決定混合率的處理的例子。在本例中，關(guān)于使用“攝像機(jī)I”即前方攝像機(jī)201和“攝像機(jī)2”即左側(cè)攝像機(jī)202拍攝的區(qū)域中共同拍攝的區(qū)域即左前區(qū)域300，成為合成基于“攝像機(jī)I”取得的俯視圖像和基于“攝像機(jī)2”取得的俯視圖像的區(qū)域。
[0070]首先，特征量檢測(cè)條件確定部111根據(jù)攝像機(jī)I與重疊區(qū)域的位置關(guān)系決定基于攝像機(jī)I取得的俯視圖像的處理?xiàng)l件Cl (步驟S001)。具體地，特征量檢測(cè)條件確定部111參照特征量檢測(cè)條件存儲(chǔ)部121，讀出與相當(dāng)于重疊區(qū)域的區(qū)域確定信息121A和相當(dāng)于攝像機(jī)I的配置位置的視點(diǎn)位置確定信息121C的組合對(duì)應(yīng)的特征量檢測(cè)條件121D。
[0071]然后，特征量檢測(cè)條件確定部111根據(jù)攝像機(jī)2與重疊區(qū)域的位置關(guān)系，決定基于攝像機(jī)2取得的俯視圖像的處理?xiàng)l件C2 (步驟S002) ο具體地，特征量檢測(cè)條件確定部111參照特征量檢測(cè)條件存儲(chǔ)部121，讀出與相當(dāng)于重疊區(qū)域的區(qū)域確定信息121A和相當(dāng)于攝像機(jī)2的配置位置的視點(diǎn)位置確定信息121C的組合對(duì)應(yīng)的特征量檢測(cè)條件121D。
[0072]然后，特征量檢測(cè)部112使用處理?xiàng)l件Cl檢測(cè)在基于攝像機(jī)I取得的俯視圖像的重疊區(qū)域中存在的立體物(步驟S003)。此外，假定檢測(cè)出的立體物具有圖像特征量Q1。具體地，特征量檢測(cè)部112針對(duì)基于攝像機(jī)I取得的俯視圖像應(yīng)用處理?xiàng)l件Cl，在滿足處理?xiàng)l件Cl的狀態(tài)下在輪廓掃描方向上進(jìn)行掃描來(lái)確定立體物的輪廓。此時(shí)，特征量檢測(cè)部112通過(guò)基于邊緣等較多的部分或者拉普拉斯濾波器或者索貝爾濾波器進(jìn)行的輪廓提取、二值化處理、色彩信息、直方圖信息或者各種圖形識(shí)別處理等來(lái)提取圖像特征量。然后，特征量檢測(cè)部112確定可提取邊緣或者輪廓的像素的位置或者該邊緣的亮度的高低等圖像特征量Q1。
[0073]然后，特征量檢測(cè)部112使用處理?xiàng)l件C2檢測(cè)基于攝像機(jī)2取得的俯視圖像的重疊區(qū)域中存在的立體物(步驟S004)。此外，假定檢測(cè)出的立體物具有圖像特征量Q2。具體地，特征量檢測(cè)部112針對(duì)基于攝像機(jī)2取得的俯視圖像應(yīng)用處理?xiàng)l件C2，在滿足處理?xiàng)l件C2的狀態(tài)下在輪廓掃描方向上掃描來(lái)確定立體物的輪廓。此時(shí)，特征量檢測(cè)部112通過(guò)基于邊緣等較多的部分或者拉普拉斯濾波器或者索貝爾濾波器進(jìn)行的輪廓提取、二值化處理、色彩信息、直方圖信息或者各種圖形識(shí)別處理等來(lái)提取圖像特征量。然后，特征量檢測(cè)部112確定可提取邊緣或者輪廓的像素的位置或者該邊緣的亮度的高低等圖像特征量Q2。
[0074]此外，對(duì)于圖像特征量Ql、Q2的任一方，也可以利用SIFT(Scale — InvariantFeature Transform:尺度不變特征變換)或者H0G(Histograms of Oriented Gradients:方向梯度直方圖)等的圖像的特征量。另外，也可以將HOG特征量和行人的姿態(tài)的特征量組合來(lái)甄別可提取的特征信息是行人等人還是物體。如此，根據(jù)是行人還是物體，切換對(duì)比度強(qiáng)調(diào)處理和危險(xiǎn)度顯示等輸出內(nèi)容，即可對(duì)駕駛員提供更便于使用的良好的信息。
[0075]然后，混合率確定部113判定圖像特征量Ql與Q2是否具有預(yù)定以上較強(qiáng)相關(guān)性(步驟S005)。具體地，混合率確定部113判定所檢測(cè)出的物體的像素位置是一致還是集中于某范圍內(nèi)、特征量的差值是否在預(yù)定的范圍內(nèi)。這也可以是通過(guò)進(jìn)行迄今存在的統(tǒng)計(jì)處理或者聚類(lèi)處理來(lái)判定空間上的距離關(guān)系或語(yǔ)義距離關(guān)系的相關(guān)性。
[0076]然后，在相關(guān)性在預(yù)定以上較強(qiáng)的情況下(步驟S005中為“是”的情況下)，混合率確定部113以重疊區(qū)域中不存在立體物而決定使用基于攝像機(jī)I取得的俯視圖像和基于攝像機(jī)2取得的俯視圖像以預(yù)定的混合率來(lái)合成重疊區(qū)域的俯視圖像，并使俯視圖像合成部114執(zhí)行合成(步驟S006)。這種情況下，在以任一方的俯視圖像的混合率為“O”的方式進(jìn)行合成的情況下，實(shí)質(zhì)上也可以選擇利用通過(guò)攝像機(jī)I或者攝像機(jī)2的任一方取得的俯視圖像。但是，當(dāng)在俯視圖像彼此的連接處附近存在立體物的情況下，其圖像有可能消失。因此，可以說(shuō)與選擇利用任一方的俯視圖像來(lái)生成俯視圖像相比，優(yōu)選通過(guò)“O以外的”預(yù)定的混合率來(lái)進(jìn)行混合合成。
[0077]然后，俯視圖像合成部114針對(duì)在基于攝像機(jī)I取得的俯視圖像和基于攝像機(jī)2取得的俯視圖像的對(duì)應(yīng)的位置的像素信息(例如，亮度信息或者RGB信息)進(jìn)行與混合率對(duì)應(yīng)的加權(quán)來(lái)合成一個(gè)俯視圖像。俯視圖像合成部114在合成俯視圖像時(shí)結(jié)束混合率決定處理。此外，所合成的俯視圖像之后被發(fā)送、輸出至編碼部107、顯示器108。
[0078]在相關(guān)性在預(yù)定以上不強(qiáng)的情況下(步驟S005中為“否”的情況下)，混合率確定部113確定基于攝像機(jī)I取得的俯視圖像和基于攝像機(jī)2取得的俯視圖像中分別包含的立體物處于重疊區(qū)域內(nèi)的何處，判定是否處于預(yù)定以上共同的位置(步驟S007)。即，混合率確定部113判定在共同的區(qū)域上是否存在由各攝像機(jī)取得的圖像的特征量以預(yù)定以上的程度重復(fù)的區(qū)域。
[0079]在立體物處于共同的位置的情況下(在步驟S007中為“是”的情況下)，混合率確定部113根據(jù)圖像特征量Ql和Q2決定混合率(步驟S008)。具體地，混合率確定部113首先對(duì)基于攝像機(jī)I取得的圖像特征量Ql進(jìn)行預(yù)定的運(yùn)算，并將結(jié)果設(shè)為F(Q1)。同樣地，將對(duì)基于攝像機(jī)2取得的圖像特征量Q2進(jìn)行預(yù)定的運(yùn)算而得的結(jié)果設(shè)為F(Q2)。然后，混合率確定部113通過(guò)下式(I)確定根據(jù)基于攝像機(jī)I取得的圖像特征量Ql的合成的加權(quán)的比率。
[0080]合成加權(quán)P1=F(Q1)/(F(Q1)+F(Q2))……式(I)
[0081]同樣地，通過(guò)下式(2)確定根據(jù)基于攝像機(jī)2取得的圖像特征量Q2的合成的加權(quán)的比率。
[0082]合成加權(quán)P2=F(Q2)/(F(Q1)+F(Q2))……式(2)
[0083]此外，作為上述預(yù)定的運(yùn)算F，可以考慮對(duì)在重疊區(qū)域內(nèi)具有預(yù)定的閾值以上的特征量的圖像的像素?cái)?shù)進(jìn)行提取并進(jìn)行計(jì)數(shù)這樣的運(yùn)算。這種情況下，可以將基于攝像機(jī)I取得的俯視圖像和基于攝像機(jī)2取得的俯視圖像的各自的重疊區(qū)域內(nèi)的立體物的圖像所占據(jù)的大小作為可改變混合率的要素。
[0084]另外，作為上述預(yù)定的運(yùn)算F，也可以考慮對(duì)基于攝像機(jī)I取得的俯視圖像和基于攝像機(jī)2取得的俯視圖像的重疊區(qū)域內(nèi)的像素的圖像特征量的總和、平均、加權(quán)平均、重心、中心值等進(jìn)行計(jì)算等各種運(yùn)算。這種情況下，不僅重疊區(qū)域內(nèi)的立體物的圖像所占據(jù)的大小，而且特征量的值的大小也可作為可改變混合率的要素。
[0085]或者，也可以按每個(gè)像素來(lái)決定混合率。這種情況下，也可以作為F(Ql)使用對(duì)象的像素中的特征量自身，作為F(Q2)使用對(duì)象的像素中的特征量自身。也可以是按每個(gè)像素比較F(Ql)和F(Q2)，將值大的一方的圖像的混合率設(shè)定為較大。
[0086]另外，例如雖然使基于攝像機(jī)I取得的俯視圖像的混合率特征量的比率連續(xù)變化，但也可以在“特征量的比率”接近于0.5的部分，較大地設(shè)定混合率的變化的斜率。通過(guò)這種混合率的計(jì)算方法，在“特征量的比率”變化時(shí)，可以一邊平穩(wěn)地切換混合率，一邊增強(qiáng)更具有特征的圖像(存在立體物的可能性高的圖像)的對(duì)比度。由此，具有用戶更易識(shí)別存在立體物的可能性較高的圖像這樣的效果。
[0087]另外，例如雖然使基于攝像機(jī)I取得的俯視圖像的混合率特征量的比率連續(xù)變化，但也可以在特征量的比率為預(yù)定的大小以上或者預(yù)定的大小以下的情況下，將特征量大的俯視圖像的混合率設(shè)為I，將另一方的俯視圖像的混合率設(shè)為O。通過(guò)這種混合率的計(jì)算方法，在特征量的比率變化時(shí)，可以一邊平穩(wěn)地切換混合率，一邊進(jìn)一步增強(qiáng)更具有特征的圖像(存在立體物的可能性高的圖像)的對(duì)比度。由此，具有用戶更易識(shí)別存在立體物的可能性較高的圖像這樣的效果。
[0088]另外，例如也可以是在特征量的比率變化時(shí)，以階梯狀地切換的方式設(shè)定混合率。這種情況下，切換等級(jí)的數(shù)量越多，混合率的切換越平穩(wěn)。如此，即使像根據(jù)特征量的比率的變化階梯狀地切換混合率這樣的、混合率的變化相對(duì)于特征量的比率的變化不連續(xù)，也能夠作為本發(fā)明的一實(shí)施方式。
[0089]此外，關(guān)于運(yùn)算F，對(duì)存在立體物的可能性高的圖像，假定并說(shuō)明了運(yùn)算結(jié)果的值增大的情況，但與之相反，即也可以是存在立體物的可能性越高的圖像，運(yùn)算結(jié)果的值越減小這樣的運(yùn)算F。
[0090]如此，對(duì)于立體物部分的圖像，混合率也可以取多個(gè)值。由此，可以說(shuō)立體物部分也可以根據(jù)存在立體物的可能性的高低而更自然地進(jìn)行合成。
[0091]另外，混合率可按重疊區(qū)域整體或者像素單位進(jìn)行計(jì)算并用于按重疊區(qū)域整體或者像素單位的合成處理，因此，也可以防止在重疊區(qū)域內(nèi)產(chǎn)生邊界線那樣的不自然的圖像的接合部分，能夠生成更自然的合成圖像。
[0092]另外，作為其他的混合率的決定方法，也可以將從左前區(qū)域300內(nèi)的某像素位置到“攝像機(jī)I”即前方攝像機(jī)201和“攝像機(jī)2”即左側(cè)攝像機(jī)202的距離分別設(shè)為dl、d2，根據(jù)距離dl和d2之比來(lái)設(shè)定固定的混合率。即，也可以在處于接近“攝像機(jī)I”即前方攝像機(jī)201的距離的像素位置(即dl <d2)，較高地設(shè)定前方攝像機(jī)201的圖像的混合率。例如，也可以通過(guò)式“Pl = d2/(dl+d2)”來(lái)分配前方攝像機(jī)201的圖像的混合率，通過(guò)式“P2 = dl/(dl+d2)”來(lái)分配左側(cè)攝相機(jī)202的圖像的混合率。
[0093]但是，在這種情況下，由于在過(guò)于接近攝像機(jī)的像素位置焦點(diǎn)偏移或者失真增大的可能性高，因此，對(duì)于預(yù)定以上過(guò)于接近的像素位置，優(yōu)選以增大通過(guò)距離較遠(yuǎn)的一方的攝像機(jī)取得的俯視圖像的加權(quán)的方式修正混合率。即，也可以在將接近限度閾值設(shè)為dth(其中，dl最小值SdthSdl最大值)時(shí)，在dl<d2且dl<dth的位置，以使通過(guò)較近的前方攝像機(jī)201取得的俯視圖像的混合率Pl降低的方式進(jìn)行修正。例如，置換上述設(shè)定的混合率卩1、？2，通過(guò)式叩1 = (11/((11+(12)”來(lái)分配前方攝像機(jī)201的圖像的混合率，通過(guò)式“?2 = (12/(dl+d2)”來(lái)分配左側(cè)攝像機(jī)202的圖像的混合率。由此，能夠減輕在距攝像機(jī)過(guò)近的位置產(chǎn)生的焦點(diǎn)偏移或失真地進(jìn)行顯示。
[0094]然后，俯視圖像合成部114使用混合率對(duì)立體物的存在進(jìn)行突出強(qiáng)調(diào)(highlight)等來(lái)進(jìn)行包含進(jìn)行增強(qiáng)的表現(xiàn)的俯視圖像合成(步驟S009)。具體地，俯視圖像合成部114針對(duì)在基于攝像機(jī)I取得的俯視圖像和基于攝像機(jī)2取得的俯視圖像的對(duì)應(yīng)的位置的像素信息(例如，亮度信息或者RGB信息)進(jìn)行與所決定的混合率對(duì)應(yīng)的加權(quán)來(lái)合成一個(gè)俯視圖像。俯視圖像合成部114在合成俯視圖像時(shí)結(jié)束混合率決定處理。此外，所合成的俯視圖像之后被發(fā)送、輸出至顯示器108。
[0095]圖11是表示以特征量為基準(zhǔn)進(jìn)行混合來(lái)合成俯視圖像的畫(huà)面例的圖。該例為當(dāng)在混合率決定處理的步驟S005中判定為特征量不相關(guān)，在步驟S007中判定為物體處于共同的位置時(shí)，即，使用步驟S008中決定的混合率來(lái)合成俯視圖像的處理的例子。在基于攝像機(jī)I取得的俯視圖像和基于攝像機(jī)2取得的俯視圖像的重疊區(qū)域中，在基于攝像機(jī)I取得的俯視圖像1101中映現(xiàn)出由攝像機(jī)I拍攝的行人的腳1103。在基于攝像機(jī)2取得的俯視圖像1102中，映現(xiàn)出由攝像機(jī)2拍攝的行人的腳1104。由于拍攝同一重疊區(qū)域，在該區(qū)域內(nèi)存在立體物即行人，因此行人的腳1103、1104分別向不同的方向拉伸。
[0096]在該例中，行人的腳1103和行人的腳1104均在共同的位置1108具有特征量，因此，計(jì)算通過(guò)攝像機(jī)I取得的俯視圖像1101和通過(guò)攝像機(jī)2取得的俯視圖像1102的混合率“P:(1-P)”，俯視圖像合成部114根據(jù)該混合率合成俯視合成圖像1105。其結(jié)果，由攝像機(jī)I拍攝的行人的腳1106和由攝像機(jī)2拍攝的行人的腳1107按照各自的混合率被合成并被包含在俯視合成圖像1105。
[0097]返回到流程說(shuō)明。在立體物不在共同的位置的情況下(步驟S007中為“否”的情況下)，混合率確定部113決定將圖像特征量Ql和Q2的任一方特征量較大的圖像采用為俯視圖像(步驟SOlO )。
[0098]然后，俯視圖像合成部114使用所采用的俯視圖像進(jìn)行俯視圖像合成(步驟S010)。具體地，俯視圖像合成部114采用基于攝像機(jī)I取得的俯視圖像和基于攝像機(jī)2取得的俯視圖像中的、重疊區(qū)域的特征量較大一方的圖像來(lái)合成俯視圖像。俯視圖像合成部114在合成俯視圖像時(shí)結(jié)束混合率決定處理。此外，所合成的俯視圖像之后被發(fā)送、輸出至顯示器108。此外，為了避免誤檢測(cè)所造成的在連接處附近的圖像的消失，也可以將能夠提取到特征的攝像機(jī)圖像的混合率優(yōu)先進(jìn)行混合處理來(lái)合成俯視圖像。
[0099]圖12是表示選擇圖像來(lái)合成俯視圖像的畫(huà)面例的圖。該例為當(dāng)在混合率決定處理的步驟S005中判定為不相關(guān)，在步驟S007中判定為物體不在共同的位置時(shí)，即在步驟SOlO中選擇性地采用俯視圖像來(lái)進(jìn)行合成的處理的例子。在基于攝像機(jī)I取得的俯視圖像和基于攝像機(jī)2取得的俯視圖像的重疊區(qū)域中，在基于攝像機(jī)I取得的俯視圖像1201中映現(xiàn)出由攝像機(jī)I拍攝的行人的腳1203。在基于攝像機(jī)2取得的俯視圖像1202中，映現(xiàn)出由攝像機(jī)2拍攝的圖像，但不存在相當(dāng)于行人的腳的立體物。這是在重疊區(qū)域內(nèi)什么都不存在，但在攝像機(jī)I附近存在行人(立體物)，行人在攝像機(jī)I的俯視圖像1201中作為物體被映照出的情況。另一方面，由于在攝像機(jī)2的俯視圖像1202附近什么都不存在，因此沒(méi)有任何影像顯示。
[0100]在該例中，俯視圖像合成部114采用由攝像機(jī)I拍攝而得的俯視圖像1201合成俯視圖像1205 O其結(jié)果，由攝像機(jī)I拍攝的行人的腳1203被包含在俯視合成圖像1205中。
[0101]以上是混合率決定處理的處理內(nèi)容。根據(jù)混合率決定處理，針對(duì)各自部分地具有從不同的視點(diǎn)位置拍攝共同的區(qū)域而得的圖像的多個(gè)圖像信息，應(yīng)用特征量檢測(cè)條件并檢測(cè)共同的區(qū)域的特征量，使用每個(gè)圖像的共同的區(qū)域的特征量確定混合包含共同的區(qū)域的圖像的加權(quán)，能夠合成包含共同的區(qū)域的俯視圖像。即，通過(guò)在由多個(gè)攝像機(jī)拍攝的重疊區(qū)域中提取從不同的方向拍攝而得的攝像機(jī)圖像的圖像特征量并判定他們的相關(guān)性，能夠區(qū)分畫(huà)在道路上描繪的平面狀的圖案和立體物。另外，當(dāng)存在立體物時(shí)，判定特征量的位置上的重疊，能夠判別立體物是存在于重疊區(qū)域內(nèi)還是存在于重疊區(qū)域外。而且，能夠結(jié)合各狀態(tài)使俯視圖像合成時(shí)的混合率變化，從而得到良好的俯視圖像。
[0102]以上，使用【附圖說(shuō)明】了第一實(shí)施方式。可以說(shuō)根據(jù)第一實(shí)施方式，影像顯示裝置100能夠利用由多個(gè)攝像機(jī)拍攝而得的圖像，檢測(cè)障礙物或行人，按照檢測(cè)結(jié)果，以容易看清圖像中映現(xiàn)出的障礙物或者行人的方式合成各攝像機(jī)圖像的俯視圖像，生成車(chē)輛的所有周?chē)母┮晥D像。換言之，影像顯示系統(tǒng)I包含多個(gè)攝像裝置及影像顯示裝置，所述多個(gè)攝像裝置取得部分地包含從不同的視點(diǎn)位置拍攝共同的區(qū)域而得的圖像的圖像信息。
[0103]而且，可以說(shuō)影像顯示裝置具備:特征量檢測(cè)條件確定部，其確定成為檢測(cè)與圖像信息有關(guān)的預(yù)定的特征量的條件的特征量檢測(cè)條件;特征量檢測(cè)部，其針對(duì)多個(gè)圖像信息應(yīng)用特征量檢測(cè)條件來(lái)檢測(cè)共同的區(qū)域的特征量;混合率確定部，其使用每個(gè)圖像的共同的區(qū)域的特征量來(lái)確定混合包含共同的區(qū)域的圖像的加權(quán)；以及俯視圖像合成部，其使用混合率合成包含共同的區(qū)域的俯視圖像。
[0104]此外，本發(fā)明不限于上述的實(shí)施例，還包含各種變形例。例如，上述的實(shí)施例是為了便于理解地說(shuō)明本發(fā)明而詳細(xì)地進(jìn)行了說(shuō)明的例子，并非限定必須具備所說(shuō)明的全部的結(jié)構(gòu)。另外，可將某實(shí)施例的結(jié)構(gòu)的一部分替換成其它實(shí)施例的結(jié)構(gòu)，另外，可在某實(shí)施例的結(jié)構(gòu)中追加其它實(shí)施例的結(jié)構(gòu)。另外，針對(duì)各實(shí)施例的結(jié)構(gòu)的一部分，可以進(jìn)行其它結(jié)構(gòu)的追加、刪除、替換。
[0105]此外，本實(shí)施方式的影像顯示系統(tǒng)I構(gòu)成為包含影像顯示裝置100、攝像機(jī)群101以及顯示器108，但攝像機(jī)群101和顯示器108的任一方或者兩者也可以不由影像顯示系統(tǒng)I直接管理。例如，也可以應(yīng)用于合成由設(shè)置在并非車(chē)輛的場(chǎng)所(例如，美術(shù)館的展覽等)的多個(gè)監(jiān)視攝像機(jī)取得并發(fā)送的圖像來(lái)作成監(jiān)視對(duì)象區(qū)域的俯視圖像的情況。
[0106]在上述的第一實(shí)施方式中，針對(duì)拍攝共同的區(qū)域而得的多個(gè)圖像，相互比較特征量求出混合率來(lái)進(jìn)行合成，但并不限于此。例如考慮隨時(shí)間推移的滯后現(xiàn)象并考慮前后的時(shí)刻的混合率，也可以根據(jù)時(shí)間推移以不會(huì)變化太大的方式漸漸地變更混合率。
[0107]圖13是表示與隨時(shí)間推移的立體物的變化對(duì)應(yīng)的混合率的變化的例子的圖。例如圖13是表示立體物即行人在重疊區(qū)域內(nèi)移動(dòng)時(shí)的合成圖像的例子的圖。在圖13中，以時(shí)間順序排列行人在由攝像機(jī)I和攝像機(jī)2兩個(gè)攝像機(jī)共同拍攝的區(qū)域即重疊區(qū)域1300內(nèi)從左側(cè)向右側(cè)步行時(shí)的重疊區(qū)域1300中的行人的合成圖像。
[0108]在時(shí)刻11時(shí)間點(diǎn)，關(guān)于由攝像機(jī)I拍攝的行人的腳1301和由攝像機(jī)2拍攝的行人的腳1302，根據(jù)圖像特征量(例如，映現(xiàn)有腳的面積)決定他們的混合率，以由攝像機(jī)I拍攝的行人側(cè)為P 1 = 0.9，攝像機(jī)2側(cè)為P2 = 0.1等進(jìn)行合成。如此，通過(guò)設(shè)定混合率，映現(xiàn)出行人的腳的面積較大的一側(cè)、即由攝像機(jī)I拍攝的腳1301被清楚地顯示。
[0109]在時(shí)刻t2時(shí)間點(diǎn)，由攝像機(jī)I拍攝的行人的腳1303和由攝像機(jī)2拍攝的行人的腳1304的圖像特征量(面積)為相同程度，混合率均相等，以P1 = P2 = 0.5或者Pl = 0.6、P2 =
0.4等進(jìn)行合成。
[0110]在時(shí)刻t3時(shí)間點(diǎn)，由攝像機(jī)2拍攝的腳1306的圖像特征量比由攝像機(jī)I拍攝的行人的腳1305稍大，按照混合率為攝像機(jī)I側(cè)以Pl =0.3、攝像機(jī)2側(cè)以P2 = 0.7進(jìn)行合成。
[0111]在時(shí)刻t4時(shí)間點(diǎn)，由攝像機(jī)2拍攝的腳1308的圖像特征量遠(yuǎn)大于由攝像機(jī)I拍攝的行人的腳1307，按照混合率為攝像機(jī)I側(cè)以Pl =0.1、攝像機(jī)2側(cè)以P2 = 0.9進(jìn)行合成。其結(jié)果，由較大地映現(xiàn)出腳的面積的攝像機(jī)2拍攝的腳1308被清楚地顯示。
[0112]如此，根據(jù)第一實(shí)施方式的發(fā)明，在由多個(gè)攝像機(jī)拍攝同一物體時(shí)，根據(jù)圖像特征量的相對(duì)的比率設(shè)定混合率，由此能夠生成將以更大面積地映現(xiàn)出的一方的圖像的對(duì)比度增大的圖像。對(duì)此，進(jìn)一步，在求混合率的處理中，混合率確定部113也可以應(yīng)用下式(3)來(lái)求出混合率。
[0113]混合率pi(t) =pl(t-l)+k(pl_calc(t)-pl(t-l))......式(3)
[0114]S卩，可將時(shí)刻t的攝像機(jī)I的混合率pl(t)設(shè)為與時(shí)刻(t-1)的混合率的差的k倍(k為O到I的數(shù))加上時(shí)刻(t-Ι)的混合率。其中，在式(3)中，pl_calc(t)的值設(shè)為基于特征量計(jì)算而得的t時(shí)刻的修正前的混合率。即，按每個(gè)預(yù)定的期間確定混合的加權(quán)，在該每個(gè)預(yù)定的期間的混合的加權(quán)時(shí)，能夠以與預(yù)定的期間之前或者之后或者前后的期間的混合的加權(quán)之間的變化量為預(yù)定以下的方式進(jìn)行加權(quán)。
[0115]或者，也可以進(jìn)行將來(lái)時(shí)刻的亮度的預(yù)測(cè)，以平滑地達(dá)到該預(yù)測(cè)的亮度的方式設(shè)定混合率。
[0116]此外，在上述的第一實(shí)施方式中，在時(shí)刻t2，當(dāng)圖像特征量在圖像間為相同程度的情況下，雖然應(yīng)該設(shè)定混合率相等，即P1=P2 = 0.5，但是，這種情況下，合成兩圖像而得的圖像的亮度會(huì)變高，有可能難以識(shí)別。因此，考慮滯后現(xiàn)象，也可以進(jìn)行優(yōu)先顯示在一時(shí)刻前混合率高的圖像的處理。具體地，在圖13的例子中，在時(shí)刻t2的一時(shí)刻前的時(shí)刻tl，Pl這一方混合率高。因此，在圖像特征量為相同程度的時(shí)刻t2的處理中，優(yōu)先Pl，針對(duì)所檢測(cè)出的圖像特征量進(jìn)行加上預(yù)定的比率或者值、或者乘以預(yù)定的比率或者值的處理。由此，例如，將混合率設(shè)為Pl = 0.6、P2 = 0.4等，可以使攝像機(jī)I的影像容易看清。另外，此時(shí)，也可以根據(jù)之前的運(yùn)動(dòng)預(yù)測(cè)下一時(shí)刻的運(yùn)動(dòng)，設(shè)定Pl = 0.4，P2 = 0.6。如該方法，在使用攝像機(jī)I和攝像機(jī)2檢測(cè)出相同程度的圖像特微量的情況下，根據(jù)時(shí)間順序的特征量的變化進(jìn)行混合，以避免兩個(gè)影像的混合率相等的狀況(PI = P2 = 0.5 )，由此，可以減少雙方的圖像變淡而難以識(shí)別的現(xiàn)象。
[0117]此外，當(dāng)圖像信息為在預(yù)定的期間拍攝的運(yùn)動(dòng)圖像的情況下，也可以采用使用運(yùn)動(dòng)矢量信息來(lái)計(jì)算混合率的方法。即，為了檢測(cè)圖像特征量，利用光流的運(yùn)動(dòng)矢量信息，據(jù)此計(jì)算出重疊區(qū)域的混合率并合成圖像。將多個(gè)幀的運(yùn)動(dòng)矢量用作圖像特征量，根據(jù)運(yùn)動(dòng)矢量的總和之比計(jì)算混合率。具體地，計(jì)算攝像機(jī)I的圖像內(nèi)的運(yùn)動(dòng)矢量的總和SCaml以及攝像機(jī)2的圖像內(nèi)的運(yùn)動(dòng)矢量1404的總和XCam2。據(jù)此，按照下式(4)、(5)計(jì)算攝像機(jī)I的混合率PI和攝像機(jī)2的混合率P2。
[0118]Pl = Σ Caml/( Σ Caml+ Σ Cam2)……式(4)
[0119]P2= ECam2/( ECaml+ECam2)……式(5)
[0120]S卩，較大地設(shè)定具備運(yùn)動(dòng)大的影像的攝像機(jī)圖像的混合率。使用這些混合率生成包含運(yùn)動(dòng)物體的合成圖像1405。根據(jù)該方法，可生成在重疊區(qū)域內(nèi)運(yùn)動(dòng)越大越清楚地提高了對(duì)比度的圖像。
[0121]圖14是表示影像顯示裝置100的拍攝對(duì)象的區(qū)域的設(shè)定例的圖。對(duì)于輪廓的檢測(cè)，可以說(shuō)是應(yīng)用了能夠進(jìn)行更高精度的立體物的輪廓檢測(cè)的結(jié)構(gòu)的變形例。在圖14中示出了通過(guò)進(jìn)一步細(xì)化圖4所示的區(qū)域中的重疊區(qū)域并減小延伸方向和掃描方向的偏移來(lái)提高立體物的檢測(cè)精度的結(jié)構(gòu)。
[0122]在圖14中，基本具備與第一實(shí)施方式同樣的結(jié)構(gòu)，但是，將左前區(qū)域300進(jìn)一步劃分成扇形，設(shè)置第I區(qū)域300A、第2區(qū)域300B、第3區(qū)域300C、第4區(qū)域300D、第5區(qū)域300E、第6區(qū)域300F、第7區(qū)域300G。另外，對(duì)各區(qū)域固定地設(shè)定混合率。
[0123]例如，在第I區(qū)域300A中，由于其重心位置接近前方攝像機(jī)201側(cè)，因此，將前方攝像機(jī)201的圖像的混合率設(shè)為Pl =0.9，將左側(cè)攝像機(jī)202的圖像的混合率設(shè)為P2 = 0.1。對(duì)此，對(duì)于相鄰的第2區(qū)域300B，由于稍遠(yuǎn)離前方攝像機(jī)201，因此設(shè)P1=0.8、P2 = 0.2。同樣地，對(duì)于第3到第6區(qū)域，也根據(jù)距離前方攝像機(jī)201的距離和距離左側(cè)攝像機(jī)202的距離來(lái)設(shè)定混合率。在第7區(qū)域300G中，由于接近左側(cè)攝像機(jī)202，因此設(shè)Pl = 0.1、P2 = 0.9。如此，以越接近前方攝像機(jī)201越優(yōu)先前方攝像機(jī)201的圖像，越接近左側(cè)攝像機(jī)202越優(yōu)先左側(cè)攝像機(jī)202的圖像的方式設(shè)定混合率。由此，在各劃分的區(qū)域中，以強(qiáng)調(diào)來(lái)自接近的攝像機(jī)的圖像的方式進(jìn)行混合，因此可作成更容易看清的圖像。再者，在各劃分區(qū)域中，也可以根據(jù)各攝像機(jī)圖像的特征量來(lái)調(diào)整混合率。
[0124]另外，上述的各構(gòu)成、功能、處理部、處理單元等的一部分或者全部，也可以通過(guò)處理器解釋并執(zhí)行實(shí)現(xiàn)各個(gè)功能的程序而用軟件實(shí)現(xiàn)。實(shí)現(xiàn)各功能的程序、表、文件等的信息能夠保存在存儲(chǔ)器、硬盤(pán)、SSD等記錄裝置，或者IC卡、SD卡、DVD等存儲(chǔ)介質(zhì)中。
[0125]另外，示出了考慮說(shuō)明上需要的控制線、信息線，未必限定為示出了產(chǎn)品上全部的控制線、信息線。實(shí)際上，可以考慮為幾乎全部的結(jié)構(gòu)都相互連接。
[0126]另外，上述的各結(jié)構(gòu)、功能、處理部等，例如可以通過(guò)將他們的一部分或全部設(shè)計(jì)在集成電路等而用硬件實(shí)現(xiàn)。此外，上述的實(shí)施方式的技術(shù)要素可以單獨(dú)應(yīng)用，也可以分為程序組件和硬件部件這樣的多個(gè)部分應(yīng)用。
[0127]以上對(duì)于本發(fā)明，以實(shí)施方式為中心進(jìn)行了說(shuō)明。
[0128]符號(hào)說(shuō)明
[0129]I……影像顯示系統(tǒng)，100……影像顯示裝置、110……控制部、111……特征量檢測(cè)條件確定部、112……特征量檢測(cè)部、113……混合率確定部、114……俯視圖像合成部、120……存儲(chǔ)部、121……特征量檢測(cè)條件存儲(chǔ)部、122……混合信息存儲(chǔ)部、130……攝像機(jī)
fe制部D
【主權(quán)項(xiàng)】
1.一種影像顯示裝置，其特征在于， 該影像顯示裝置具備: 特征量檢測(cè)條件確定部，其針對(duì)從至少2個(gè)不同的視點(diǎn)拍攝共同區(qū)域而得的圖像的俯視圖像，確定檢測(cè)預(yù)定的特征量的條件； 特征量檢測(cè)部，其使用所確定的所述特征量檢測(cè)條件，針對(duì)拍攝所述共同區(qū)域而得的圖像的各俯視圖像檢測(cè)所述特征量； 混合率確定部，其根據(jù)通過(guò)所述特征量檢測(cè)部檢測(cè)出的特征量，確定將從所述不同的視點(diǎn)拍攝的、拍攝共同區(qū)域而得的圖像的俯視圖像的像素混合時(shí)的混合率;以及 俯視圖像合成部，其根據(jù)通過(guò)所述混合率確定部確定的混合率，將拍攝所述共同區(qū)域而得的圖像的俯視圖像的像素混合并進(jìn)行合成輸出。2.根據(jù)權(quán)利要求1所述的影像顯示裝置，其特征在于， 所述特征量檢測(cè)條件確定部根據(jù)所述共同區(qū)域和所述視點(diǎn)所在的位置確定所述特征量檢測(cè)條件。3.根據(jù)權(quán)利要求1所述的影像顯示裝置，其特征在于， 所述特征量檢測(cè)條件確定部將在與從所述共同區(qū)域的預(yù)定代表點(diǎn)朝向所述視點(diǎn)所在的位置的方向正交的方向上掃描并提取拍攝所述共同區(qū)域而得的圖像的俯視圖像的特征量確定為處理?xiàng)l件。4.根據(jù)權(quán)利要求1所述的影像顯示裝置，其特征在于， 所述特征量檢測(cè)條件確定部將在以所述視點(diǎn)所在的位置為中心的同心圓的切線方向上掃描并提取拍攝所述共同區(qū)域而得的圖像的俯視圖像的特征量確定為處理?xiàng)l件。5.根據(jù)權(quán)利要求1所述的影像顯示裝置，其特征在于， 所述特征量檢測(cè)條件確定部將如下內(nèi)容確定為處理?xiàng)l件:為使從所述共同區(qū)域的代表點(diǎn)朝向所述視點(diǎn)所在的位置的方向?yàn)樗椒较蚧蛘叽怪狈较蚨古臄z所述共同區(qū)域而得的圖像的俯視圖像旋轉(zhuǎn)，進(jìn)行掃描來(lái)提取圖像的特征量。6.根據(jù)權(quán)利要求1所述的影像顯示裝置，其特征在于， 所述混合率確定部針對(duì)拍攝所述共同區(qū)域而得的圖像的各俯視圖像的特征量，判定多個(gè)所述俯視圖像信息間的相關(guān)性的強(qiáng)弱，在判定為相關(guān)性比預(yù)定弱的情況下，判定在所述共同區(qū)域上是否存在拍攝所述共同的區(qū)域而得的圖像的各俯視圖像的特征量以預(yù)定以上的程度重復(fù)的區(qū)域，根據(jù)該區(qū)域的有無(wú)來(lái)切換混合的方法。7.根據(jù)權(quán)利要求6所述的影像顯示裝置，其特征在于， 在通過(guò)所述混合率確定部判定為存在拍攝所述共同的區(qū)域而得的圖像的各俯視圖像的特征量以預(yù)定以上的程度重復(fù)的區(qū)域的情況下，所述俯視圖像合成部以對(duì)拍攝所述共同的區(qū)域而得的圖像的俯視圖像的特征量大的圖像的混合率進(jìn)行較大地設(shè)定的方式將所述俯視圖像的像素混合并進(jìn)行合成輸出。8.根據(jù)權(quán)利要求6所述的影像顯示裝置，其特征在于， 在通過(guò)所述混合率確定部判定為不存在拍攝所述共同的區(qū)域而得的圖像的各俯視圖像的特征量以預(yù)定以上的程度重復(fù)的區(qū)域的情況下，所述俯視圖像合成部采用拍攝所述共同的區(qū)域而得的圖像的俯視圖像的特征量大的圖像合成輸出所述俯視圖像。9.根據(jù)權(quán)利要求1所述的影像顯示裝置，其特征在于， 所述混合率確定部針對(duì)拍攝所述共同區(qū)域而得的圖像的各俯視圖像的特征量，判定所述多個(gè)所述俯視圖像信息間的相關(guān)性的強(qiáng)弱，在判定為相關(guān)性比預(yù)定強(qiáng)的情況下，以在所述共同區(qū)域上從所述視點(diǎn)所在的位置到所述共同區(qū)域的距離越近的圖像越大地設(shè)定所述圖像中包含的像素的混合率的方式合成輸出所述俯視圖像。10.根據(jù)權(quán)利要求1所述的影像顯示裝置，其特征在于， 所述俯視圖像是在預(yù)定的期間拍攝的運(yùn)動(dòng)圖像， 所述特征量檢測(cè)部檢測(cè)各圖像內(nèi)的運(yùn)動(dòng)矢量來(lái)作為所述俯視圖像的特征量， 所述俯視圖像合成部根據(jù)所述共同區(qū)域中的各圖像的運(yùn)動(dòng)矢量來(lái)設(shè)定混合率。11.根據(jù)權(quán)利要求1所述的影像顯示裝置，其特征在于， 所述俯視圖像合成部針對(duì)所述共同區(qū)域的圖像，以朝向與所述共同區(qū)域相鄰的區(qū)域?qū)λ龌旌下寿x予傾斜地變化的方式合成輸出所述俯視圖像。12.根據(jù)權(quán)利要求1所述的影像顯示裝置，其特征在于， 所述俯視圖像合成部按照每個(gè)預(yù)定的期間確定所述混合率，在確定該每個(gè)預(yù)定的期間的混合率時(shí)，以與所述預(yù)定的期間之前或者之后或者前后的期間的混合率之間的變化量為預(yù)定以下的方式進(jìn)行確定。13.一種影像顯示系統(tǒng)，其特征在于， 該影像顯示系統(tǒng)包含取得從相互不同的視點(diǎn)拍攝共同區(qū)域而得的圖像的俯視圖像的多個(gè)攝像裝置及影像顯示裝置， 所述影像顯示裝置具備: 特征量檢測(cè)條件確定部，其針對(duì)所述俯視圖像，確定成為檢測(cè)預(yù)定的特征量的條件的特征量檢測(cè)條件； 特征量檢測(cè)部，其針對(duì)拍攝所述共同區(qū)域而得的圖像的各俯視圖像，使用所確定的所述特征量檢測(cè)條件來(lái)檢測(cè)特征量； 混合率確定部，其根據(jù)通過(guò)所述特征量檢測(cè)部檢測(cè)出的特征量，確定將從所述不同的視點(diǎn)的位置拍攝的、拍攝共同區(qū)域而得的圖像的俯視圖像的像素混合時(shí)的混合率;以及 俯視圖像合成部，其根據(jù)通過(guò)所述混合率確定部確定的混合率，將拍攝所述共同區(qū)域而得的圖像的俯視圖像的像素混合并進(jìn)行合成輸出。
【文檔編號(hào)】G06T3/00GK105960800SQ201580006815
【公開(kāi)日】2016年9月21日
【申請(qǐng)日】2015年1月15日
【發(fā)明人】樋口晴彥, 中島滿雄, 內(nèi)田吉孝, 中村浩之, 小野崎勝夫, 鹽屋崇之
【申請(qǐng)人】歌樂(lè)株式會(huì)社