車外后視鏡或者車輛行駛的過程中的沖擊量在規(guī)定值以上時執(zhí)行。
[0149]存儲器140可與基準圖像傳送請求相對應(yīng)地傳送基準圖像。在車輛啟動時的情況下，可傳送與停車場相關(guān)的基準圖像，在操作車外后視鏡時或者車輛行駛中沖擊量在規(guī)定值以上的情況下，可傳送包括有車輛車體區(qū)域的基準圖像或包括有車道線的圖像等。
[0150]接著，車輛用全景環(huán)視裝置100的處理器170基于拍攝圖像和基準圖像之間的差分來計算偏移信息(步驟S730)。
[0151]在基準圖像和拍攝圖像內(nèi)包含有車輛的特征線(character line)的情況下，處理器170可基于基準圖像內(nèi)的特征線和拍攝圖像內(nèi)的特征線之間的差分來計算偏移信息。
[0152]其中，車輛的特征線可以是包括機罩標牌(hood emblem)、或者機罩邊緣線(edgeline)等的概念。
[0153]另外，在基準圖像和拍攝圖像內(nèi)包含有車輛外部的對象物的情況下，處理器170可基于基準圖像內(nèi)的對象物和拍攝圖像內(nèi)的對象物之間的差分來計算偏移信息。
[0154]其中，車輛外部對象物可包括停車場的車輛防跨帶、立柱、或標識牌、信號燈、路燈中的至少一個。
[0155]另外，在偏移信息在規(guī)定值以上的情況下，處理器170可控制通過包括有顯示器180或音頻輸出部185的輸出部(未圖示)來輸出用于表示不能生成全景環(huán)視圖像的提示消息。
[0156]另外，在車輛啟動、操作車外后視鏡或車輛行駛的過程中的沖擊量在規(guī)定值以上的情況下，處理器170可計算偏移信息。
[0157]另外，處理器170可基于第一至第四攝像頭195a、…、195d中第一攝像頭的基準圖像和來自第一攝像頭195a的拍攝圖像來計算第一偏移信息，并對第二至第四攝像頭中的至少一部分攝像頭利用所計算出的第一偏移信息。由此，當其他攝像頭的位置偏移時，也能夠簡便地利用共同的偏移信息。
[0158]接著，車輛用全景環(huán)視裝置100的處理器170可利用偏移信息來合成由多個環(huán)視攝像頭195a、195b、195c、195d拍攝得到的圖像，由此生成全景環(huán)視圖像(步驟S740)。
[0159]處理器170可控制顯示器180顯示圖像校準后的全景環(huán)視圖像。
[0160]此時，處理器170進行如下控制:在顯示器180上顯示的全景環(huán)視圖像上，區(qū)分顯示基于偏移信息來補正的區(qū)域，或者顯示所補正的量。由此，能夠改善使用者的使用方便性。
[0161]另外，處理器170進行如下控制:在顯示器180上一起顯示利用偏移信息來生成的全景環(huán)視圖像和未利用偏移信息來生成的第二全景環(huán)視圖像。
[0162]另外，當在顯示器180上顯示的全景環(huán)視圖像和第二全景環(huán)視圖像中選擇了全景環(huán)視圖像時，處理器170可通過控制繼續(xù)使用偏移信息來生成全景環(huán)視圖像。由此，能夠改善使用者的使用方便性。
[0163]另外，在顯示器180上的全景環(huán)視圖像上區(qū)分出基于偏移信息來補正的區(qū)域或顯示出所補正的量的狀態(tài)下，當發(fā)生使用者輸入時，處理器170可與使用者輸入相對應(yīng)地控制改變所補正的區(qū)域、所補正的量或偏移信息中的至少一個。由此，能夠改善使用者的使用方便性。
[0164]圖8A至圖8B例示出在多個環(huán)視攝像頭195a、195b、195c、195d中右側(cè)攝像頭195c的位置偏移的情況下所生成的全景環(huán)視圖像的一部分產(chǎn)生亂碼的情況。
[0165]首先，圖8A例示出多個環(huán)視攝像頭195a、195b、195c、195d中右側(cè)攝像頭195c的位置偏移的情況。特別地，例示出其未朝向右側(cè)面Lol，而是朝向右側(cè)后面Lo2。
[0166]如上所述，在右側(cè)攝像頭195c的位置偏移的情況下，當生成全景環(huán)視圖像時，在各圖像的臨界區(qū)域附近可能會產(chǎn)生圖像亂碼現(xiàn)象等。
[0167]圖8B的(a)部分例示出右側(cè)攝像頭195c的位置為正常情況下的全景環(huán)視圖像210，圖8B的(b)例示出右側(cè)攝像頭195c的位置朝右側(cè)后面方向偏移的情況下的全景環(huán)視圖像211。
[0168]圖8B的(b)部分特別是例示出在后面攝像頭195b圖像和右側(cè)攝像頭195c圖像之間的臨界區(qū)域803產(chǎn)生圖像亂碼或邊緣增加。當駕駛者觀看這樣的全景環(huán)視圖像211時，在該臨界區(qū)域803上會感覺到不自然。
[0169]本發(fā)明中為了改善這樣的問題，例示出對基準圖像和拍攝圖像進行比較，或者利用陀螺儀傳感器來比較攝像頭的基準位置信息和當前位置信息。
[0170]圖9A例示出右側(cè)攝像頭195c的位置為正常情況下所拍攝的圖像和右側(cè)攝像頭195c的位置朝右側(cè)后面方向偏移的情況下所拍攝的圖像。
[0171]圖9A的(a)部分例示出多個環(huán)視攝像頭195a、195b、195c、195d分別獲取拍攝圖像910a、910b、910c、910d。
[0172]圖9A的(b)部分例示出多個環(huán)視攝像頭195a、195b、195c、195d分別獲取拍攝圖像910a、910b、911c、910d。
[0173]將圖9A的(a)和(b)進行比較，可以確定隨著右側(cè)攝像頭195c的位置朝右側(cè)后面方向偏移，所拍攝的圖像910c、911c將會產(chǎn)生差分。
[0174]處理器170可利用這樣的差分來計算偏移信息。
[0175]S卩，如圖9B所示，處理器170可從存儲器140接收右側(cè)攝像頭的基準圖像，例如，接收圖9A的(a)部分的圖像910c，并從右側(cè)攝像頭195c接收拍攝圖像911c。
[0176]此外，處理器170可計算基準圖像910c和拍攝圖像911c之間的差分，并基于該差分來計算偏移信息。即，由于右側(cè)攝像頭195c朝右側(cè)后面偏移，因而可對于所拍攝的圖像計算出用于朝左側(cè)前面方向進行部分補正的偏移信息。
[0177]另外，圖9C例示出基準圖像和拍攝圖像的另一個例子。
[0178]圖9C例示出基準圖像920內(nèi)包括有規(guī)定對象921的情況和右側(cè)攝像頭195c拍攝得到的圖像925內(nèi)的對象926朝右側(cè)后面方向移動。
[0179]處理器170可計算基準圖像920和拍攝圖像925之間的差分，并基于該差分來計算偏移信息offsetl。S卩，可基于對象921、926的位置差分，對于所拍攝的圖像925計算出用于朝左側(cè)前面方向進行部分補正的偏移信息offsetl。
[0180]此外，處理器170可利用計算出的偏移信息offsetl來對所拍攝的圖像925進行校準。即，可控制為與基準圖像920相同地進行校準。
[0181]圖9D的(a)部分例示出在全景環(huán)視圖像211內(nèi)的后面攝像頭195b圖像和右側(cè)攝像頭195c圖像之間的臨界區(qū)域803產(chǎn)生圖像亂碼或邊緣增加。
[0182]圖9D的(b)部分例示出在處理器170中基于偏移信息而被校準的全景環(huán)視圖像930。由此，將生成臨界區(qū)域803上不存在有圖像亂碼現(xiàn)象等的自然的圖像。由此，車輛用全景環(huán)視裝置可基于校準后的圖像來提供準確的全景環(huán)視圖像。
[0183]另外，處理器170可對與第一攝像頭相鄰的第二攝像頭及第三攝像頭，利用計算出的第一偏移信息。
[0184]S卩，處理器170可進行如下控制:將計算出的偏移信息offsetl利用于與右側(cè)攝像頭195c相鄰的后方攝像頭195b及前方攝像頭105b并執(zhí)行校準。
[0185]例如，處理器170也可將計算出的偏移信息offsetl的一部分利用于由前方攝像頭195d或后方攝像頭195b拍攝得到的圖像，來獲取校準后的圖像。此外，也可基于這樣的圖像而生成全景環(huán)視圖像。
[0186]圖10例示出基準圖像和拍攝圖像內(nèi)包括有車輛的特征線。
[0187]參照附圖，在右側(cè)攝像頭195c的基準圖像1020和拍攝圖像1025內(nèi)可包含有車輛的特征線。例如，可包含有右側(cè)車體的下端部。
[0188]附圖中例示出對于右側(cè)攝像頭195c的基準圖像1020內(nèi)的車輛的特征線1021和拍攝圖像1025內(nèi)的車輛的特征線1026。
[0189]附圖中例示出拍攝圖像1025內(nèi)的車輛的特征線1026朝右側(cè)對角線方向傾斜。
[0190]處理器170基于基準圖像1020內(nèi)的車輛的特征線1021和拍攝圖像1025內(nèi)的車輛的特征線1026之間的差分來計算偏移信息offset2。S卩，可計算出右側(cè)攝像頭195c朝右側(cè)后方偏移。
[0191]此外，處理器170可利用偏移信息offset2對拍攝得到的圖像進行校準，以使圖像朝左側(cè)前方得到補正。
[0192]另外，與圖10不同地，基準圖像和拍攝圖像內(nèi)可包括有車輛外部的對象物，處理器170可基于基準圖像內(nèi)的對象物和拍攝圖像內(nèi)的對象物之間的差分來計算偏移信息。
[0193]其中，車輛外部對象物可包括停車場的車輛防跨帶、立柱、或標識牌、信號燈、路燈中的至少一個。
[0194]另外，在偏移信息在規(guī)定值以上的情況下，處理器170可輸出用于表示不能生成全景環(huán)視圖像的提示消息。特別地，可通過顯示器180或音頻輸出部185輸出提示消息。
[0195]圖11例示出用于表示不能生成全景環(huán)視圖像的提示消息1112顯示于顯示器180。
[0196]除了用于表示不能生成全景環(huán)視圖像的提示消息1112以外，處理器170還可控制一同輸出位置偏移的攝像頭信息1110和喚起注意消息1114。
[0197]另外，在車輛啟動、操作車外后視鏡或者車輛行駛的過程中的沖擊量在規(guī)定值以上的情況下，處理器170可計算偏移信息。
[0198]圖12例示出在車輛行駛中沖擊量在規(guī)定值以上的情況下用于表示執(zhí)行基于偏移信息的校準的消息1220顯示于顯示器180。
[0199]另外，除了用于表示執(zhí)行基于偏移信息的校準的消息1220以外，處理器170還可通過控制一同輸出用于表示車輛行駛中沖擊量在規(guī)定值以上的消息1210。
[0200]另外，處理器170可進行如下控制:將全景環(huán)視圖像和在全景環(huán)視圖像上基于偏移信息得到補正的區(qū)域進行區(qū)分顯示，或者顯示所補正的量。
[0201]圖13A是例示出在顯示器180上一起顯示校準后的全景環(huán)視圖像930、用于表示基于偏移信息得到補正的區(qū)域的信息1311以及補正量信息1313的圖。
[0202]由此，使用者可直觀地得知因哪個攝像頭部分偏移而執(zhí)行了校準，并且所補正的量為多少。
[0203]另外，處理器170可根據(jù)使用者的輸入來在生成全景環(huán)視圖像時改變補正量。
[0204]圖13B與圖13A類似，但是其例示出在顯示器180上還顯示有補正量設(shè)定菜單1315和用于補正量設(shè)定的項目1316、1318。
[0205]通過選擇項目1316，可生成并輸出補正量增加的全景環(huán)視圖像，通過選擇項目1318，可生成并輸出補正量減少的全景環(huán)視圖像。
[0206]另外，處理器170可通過控制將利用偏移信息來生成的全景環(huán)視圖像和未利用偏移信息來生成的第二全景環(huán)視圖像一起顯示于顯示器180。
[0207]圖14例示出在顯示器180上一起顯示出未利用偏移信息來生成的第二全景環(huán)視圖像211和利用偏移信息來生成的全景環(huán)視圖像930。
[0208]此時，處