攝像機參數(shù)運算裝置、導(dǎo)航系統(tǒng)及攝像機參數(shù)運算方法
【專利摘要】一種攝像機參數(shù)運算裝置，其運算表示攝像機的安裝位置的高度和攝像機的朝向的攝像機參數(shù)，該攝像機參數(shù)用于將攝像機拍攝到的包含道路的風(fēng)景的風(fēng)景圖像變換成導(dǎo)航用，該攝像機參數(shù)運算裝置包括：取得位置信息的位置信息取得部；基于位置信息取得與當(dāng)前位置對應(yīng)的道路數(shù)據(jù)并從道路數(shù)據(jù)取得在當(dāng)前位置的路寬信息的路寬信息取得部；從攝像機取得風(fēng)景圖像的風(fēng)景圖像取得部；和基于風(fēng)景圖像和路寬信息對攝像機參數(shù)進行校正計算的攝像機參數(shù)校正部。
【專利說明】攝像機參數(shù)運算裝置、導(dǎo)航系統(tǒng)及攝像機參數(shù)運算方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及攝像機參數(shù)運算裝置、導(dǎo)航系統(tǒng)及攝像機參數(shù)運算方法。

【背景技術(shù)】
[0002]作為本發(fā)明的【背景技術(shù)】有專利文獻I。專利文獻I中記載了即使在車輛行駛中也能夠高頻度地修正車載攝像機的光軸的車載攝像機的校準(zhǔn)裝置。
[0003]已有技術(shù)文獻
[0004]專利文獻
[0005]專利文獻1:日本特開2008-11174號公報


【發(fā)明內(nèi)容】

[0006]發(fā)明要解決的問題
[0007]然而，根據(jù)專利文獻I中記載的車載攝像機的校準(zhǔn)裝置，由于在拍攝到路面標(biāo)志時進行攝像機參數(shù)的校正，因此關(guān)于路面標(biāo)志的信息需要預(yù)先包含在地圖數(shù)據(jù)中。然而，這存在地圖數(shù)據(jù)大小變得比以往更大的問題。
[0008]因此，本發(fā)明提供一種保持原有的地圖數(shù)據(jù)不變地進行攝像機參數(shù)的校正的導(dǎo)航用攝像機參數(shù)運算裝置和導(dǎo)航用攝像機參數(shù)運算方法。
[0009]用于解決問題的手段
[0010]根據(jù)本發(fā)明的第一方式，一種攝像機參數(shù)運算裝置，其運算表示安裝在移動物體上的攝像機的安裝位置的高度和攝像機的朝向的攝像機參數(shù)，該攝像機參數(shù)用于將由攝像機拍攝到的包含移動物體移動的道路的風(fēng)景的風(fēng)景圖像變換成導(dǎo)航用，該攝像機參數(shù)運算裝置包括:位置信息取得部，其取得關(guān)于移動物體的當(dāng)前位置的位置信息；路寬信息取得部，其基于位置信息取得與當(dāng)前位置對應(yīng)的道路數(shù)據(jù)，從道路數(shù)據(jù)取得關(guān)于移動物體移動的道路在當(dāng)前位置上的路寬的路寬信息；從攝像機取得風(fēng)景圖像的風(fēng)景圖像取得部；和攝像機參數(shù)校正部，其基于風(fēng)景圖像和路寬信息，對攝像機參數(shù)進行校正計算。
[0011]根據(jù)本發(fā)明的第二方式，一種攝像機參數(shù)運算方法，在為了將安裝在移動物體上的攝像機所拍攝到的包含移動物體移動的道路的風(fēng)景的風(fēng)景圖像變換成導(dǎo)航用，而運算表示攝像機的安裝位置的高度和攝像機的朝向的攝像機參數(shù)的攝像機參數(shù)運算裝置中，取得關(guān)于移動物體的當(dāng)前位置的位置信息，基于位置信息取得與當(dāng)前位置對應(yīng)的道路數(shù)據(jù)，從道路數(shù)據(jù)取得關(guān)于移動物體移動的道路在當(dāng)前位置上的路寬的路寬信息，從攝像機取得風(fēng)景圖像，基于風(fēng)景圖像和路寬信息，對攝像機參數(shù)進行校正計算。
[0012]發(fā)明的效果
[0013]通過本發(fā)明，能夠提供一種保持原有的地圖數(shù)據(jù)不變地進行用于將圖像變換成導(dǎo)航用的攝像機參數(shù)的校正計算的攝像機參數(shù)運算裝置和導(dǎo)航用攝像機參數(shù)運算方法。

【專利附圖】

【附圖說明】
[0014]圖1是表示導(dǎo)航系統(tǒng)的整體結(jié)構(gòu)的圖。
[0015]圖2是表示中央裝置執(zhí)行的攝像機參數(shù)可否校正判斷處理流程的圖。
[0016]圖3是表示中央裝置所執(zhí)行的攝像機參數(shù)校正時刻判定處理流程的圖。
[0017]圖4是用于說明攝像機參數(shù)校正時刻判定處理的補充說明圖。
[0018]圖5是表示中央裝置執(zhí)行的攝像機參數(shù)校正處理流程的圖。
[0019]圖6是用于說明圖5的攝像機參數(shù)校正處理的步驟S508的補充說明圖。
[0020]圖7是用于說明圖5的攝像機參數(shù)校正處理的步驟S502的補充說明圖。
[0021]圖8是用于說明圖5的攝像機參數(shù)校正處理的步驟S502的補充說明圖。
[0022]圖9是用于說明圖5的攝像機參數(shù)校正處理的步驟S502的補充說明圖。
[0023]圖10是表示導(dǎo)航系統(tǒng)執(zhí)行的利用圖像信息的到目的地的引導(dǎo)導(dǎo)航處理流程的圖。
[0024]圖11是表示導(dǎo)航系統(tǒng)單機執(zhí)行的利用圖像信息的到目的地的引導(dǎo)導(dǎo)航處理流程的圖。
[0025]圖12是說明通過包含于導(dǎo)航系統(tǒng)的中央裝置中的路線引導(dǎo)部在步驟S1118中執(zhí)行的引導(dǎo)導(dǎo)航中的一個例子的處理流程。
[0026]圖13是表示輸出到導(dǎo)航系統(tǒng)的導(dǎo)航裝置中所含的顯示部50的顯示例的圖。
[0027]圖14是表示輸出到導(dǎo)航系統(tǒng)的導(dǎo)航裝置中所含的顯示部50的顯示例的圖。
[0028]圖15是表示輸出到導(dǎo)航系統(tǒng)的導(dǎo)航裝置中所含的顯示部50的顯示例的圖。
[0029]圖16是表示導(dǎo)航系統(tǒng)的整體結(jié)構(gòu)的圖。

【具體實施方式】
[0030]---第一實施方式---
[0031]以下參考附圖針對本發(fā)明的第一實施方式詳細地進行說明。
[0032](整體結(jié)構(gòu))
[0033]圖1是表示本發(fā)明的第一實施方式的導(dǎo)航系統(tǒng)的整體結(jié)構(gòu)的圖。以下設(shè)導(dǎo)航裝置為本實施方式的導(dǎo)航系統(tǒng)的終端裝置，針對本實施方式進行說明。
[0034]在圖1中，本實施方式的中央裝置I連接到通信網(wǎng)絡(luò)2，經(jīng)基站3利用移動電話等無線通信連接到安裝在車輛4上的導(dǎo)航裝置5。進一步地，導(dǎo)航裝置5上連接了攝像機6。攝像機6是安裝在車輛4上、用于拍攝車輛4當(dāng)前位置周邊的風(fēng)景圖像的攝像機。
[0035]中央裝置I由包含中央CPU (Central Processing Unit，中央處理器)100和由半導(dǎo)體存儲器、硬盤裝置等構(gòu)成的存儲裝置110等的計算機(信息處理裝置)構(gòu)成。如圖1所示，該中央裝置I在功能上包含通信接口部11、信息取得部12、攝像機(參數(shù))可否校正判斷部13、攝像機(參數(shù))校正時刻檢測部14、信息提供部15、圖像處理部16、前方風(fēng)景預(yù)測圖像生成部17、攝像機參數(shù)校正部18、地圖數(shù)據(jù)庫20等功能模塊而構(gòu)成。
[0036]信息取得部12、攝像機可否校正判斷部13、攝像機校正時刻檢測部14、信息提供部15、圖像處理部16、前方風(fēng)景預(yù)測圖像生成部17、攝像機參數(shù)校正部18，通過中央CPU100執(zhí)行保存在未圖示的程序存儲器中的規(guī)定程序而實現(xiàn)。地圖數(shù)據(jù)庫20包含在存儲裝置110 中。
[0037]通信接口部11進行對應(yīng)通信網(wǎng)絡(luò)2的通信控制，并且通過通信網(wǎng)絡(luò)2與導(dǎo)航裝置5進行數(shù)據(jù)收發(fā)。
[0038]信息取得部12經(jīng)通信接口部11取得從導(dǎo)航裝置5發(fā)送來的處理請求、由攝像機6拍攝到的車輛4前方的風(fēng)景圖像的圖像信息、車輛4的當(dāng)前位置的位置信息(經(jīng)度瑋度等坐標(biāo)、以及時刻)、包含車輛4的軌跡數(shù)據(jù)、移動方向及行駛速度等的各種行駛信息。
[0039]攝像機參數(shù)可否校正判斷部13將信息取得部12取得到的車輛4的位置信息和移動方向等行駛信息與從地圖數(shù)據(jù)庫20讀入的道路數(shù)據(jù)進行地圖匹配。由此，攝像機參數(shù)可否校正判斷部13取得道路信息，識別并取得包括車輛4行駛的道路的周邊道路的道路信息中所含的對攝像機參數(shù)校正有效的信息，例如路寬、車道數(shù)、坡度、轉(zhuǎn)彎等信息。此時，攝像機參數(shù)可否校正判斷部13也可通過信息取得部12從外部信息中心取得車輛4行駛的道路附近的交通信息例如天氣、氣溫、路面狀況、堵車、道路施工等信息，進行施工中的道路不適宜攝像機校正等判斷。外部信息中心具有發(fā)布關(guān)于天氣、氣溫、路面狀況、堵車、道路施工等的交通信息的發(fā)布服務(wù)器，連接到通信網(wǎng)絡(luò)2。
[0040]攝像機參數(shù)校正時刻檢測部14與風(fēng)景預(yù)測圖像生成部17和圖像處理部16協(xié)同工作。風(fēng)景預(yù)測圖像生成部17基于由攝像機參數(shù)可否校正判斷部13取得的道路數(shù)據(jù)和下述的攝像機參數(shù)校正部18計算出的攝像機參數(shù)，來生成車輛4前方的風(fēng)景預(yù)測圖像。如上所述，由攝像機參數(shù)可否校正判斷部13取得的道路數(shù)據(jù)為基于由信息取得部12取得的車輛4的當(dāng)前位置的位置信息及移動方向的道路數(shù)據(jù)。
[0041]攝像機參數(shù)校正時刻檢測部14從風(fēng)景預(yù)測圖像生成部17取得車輛4前方的風(fēng)景預(yù)測圖像。攝像機參數(shù)校正時刻檢測部14通過使圖像處理部16基于信息取得部12取得的攝像機參數(shù)對信息取得部12取得的車輛4的當(dāng)前位置周邊的風(fēng)景圖像的圖像信息進行變換，從而取得風(fēng)景變換圖像。攝像機參數(shù)校正時刻檢測部14分別生成上述風(fēng)景預(yù)測圖像和上述風(fēng)景變換圖像的顯示圖像上的特征點或特征線，相互比較這些特征點或特征線的坐標(biāo)，判斷是否具有相似性。基于該相似性判斷結(jié)果，攝像機參數(shù)校正時刻檢測部14判斷是否需要進行表示攝像機6的姿態(tài)(朝向)即安裝在車輛4的攝像機6的安裝位置的高度和攝像機6相對于車輛4的朝向的攝像機參數(shù)的校正，其中攝像機6與生成車輛4當(dāng)前位置周邊的風(fēng)景圖像的圖像信息的導(dǎo)航裝置5連接。
[0042]攝像機參數(shù)校正部18在攝像機參數(shù)校正時刻檢測部14判斷為需要攝像機參數(shù)校正時，利用信息取得部12取得的車輛4的當(dāng)前位置周邊的風(fēng)景圖像的圖像信息和攝像機參數(shù)可否校正判斷部13取得的關(guān)于車輛4行駛的道路在當(dāng)前位置周邊的路寬和車道數(shù)的路寬信息，來校正攝像機參數(shù)。如上所述，該路寬信息由攝像機參數(shù)可否校正判斷部13從道路數(shù)據(jù)取得，該道路數(shù)據(jù)包含于由攝像機參數(shù)可否校正判斷部13基于信息取得部12取得的車輛4的位置信息和移動方向而從地圖數(shù)據(jù)庫20讀入的車輛4的當(dāng)前位置周邊的地圖信息中。
[0043]信息提供部15在攝像機參數(shù)可否校正判斷部13判斷為攝像機參數(shù)不可校正時，將該判斷結(jié)果經(jīng)由通信接口部11發(fā)送到導(dǎo)航裝置5。信息提供部15在攝像機參數(shù)校正時刻檢測部14判斷為不需攝像機參數(shù)校正時，將該判斷結(jié)果經(jīng)由通信接口部11發(fā)送到導(dǎo)航裝置5。信息提供部15在攝像機參數(shù)校正時刻檢測部14判斷為需攝像機參數(shù)校正時，將攝像機參數(shù)校正部18計算出的攝像機參數(shù)經(jīng)由通信接口部11發(fā)送到導(dǎo)航裝置5。
[0044]安裝在車輛4上的導(dǎo)航裝置5包含顯示部50、通信部51、主體部52、操作部53、GPS (Global Posit1ning System，全球定位系統(tǒng))接收部54、攝像機連接部55、存儲部56等而構(gòu)成。
[0045]導(dǎo)航裝置5為包含作為終端CPU的主體部52、存儲部56等而構(gòu)成的計算機。導(dǎo)航裝置5也可為內(nèi)置了未圖示的DVD (Digital Versatile Disk，數(shù)字多功能光盤)等的驅(qū)動裝置、閃存、USB (Universal Serial Bus，通用串行總線)存儲器的讀寫裝置等的計算機。在此，存儲部56由半導(dǎo)體存儲器或硬盤裝置等構(gòu)成，保存有地圖數(shù)據(jù)庫520。此外，操作部53包含各種開關(guān)、按鈕、觸摸屏、遙控裝置、語音麥克風(fēng)等輸入裝置，并且包含語音揚聲器等輸出裝置。顯示部50由IXD(Liquid Crystal Display，液晶顯示器)等構(gòu)成。通信部51經(jīng)由基站3和通信網(wǎng)絡(luò)2與中央裝置I連接以能夠進行基于無線通信的數(shù)據(jù)通信。GPS接收裝置54接收來自未圖示的GPS衛(wèi)星的電波，檢測出車輛4的當(dāng)前位置。攝像機連接部55連接到攝像機6，讀入由攝像機6拍攝的車輛前方的風(fēng)景圖像的圖像信息。
[0046]主體部52包含通信控制部511、信息取得部512、攝像機參數(shù)更新部513、圖像處理部514、位置信息取得部51、圖像處理取得部516、路線探索部517、路線引導(dǎo)部518、輸入輸出接口部519、路線引導(dǎo)信息生成部522等功能模塊而構(gòu)成。主體部52的這些功能模塊通過主體部52執(zhí)行保存在未圖示的程序存儲器中的規(guī)定程序來實現(xiàn)。
[0047]通信控制部511進行對進行基于移動電話或無線LAN等的通信的通信部51的通信控制，并且經(jīng)由基站3或通信網(wǎng)絡(luò)2與中央裝置I之間進行數(shù)據(jù)收發(fā)。輸入輸出接口部519將來自操作部53的開關(guān)、按鈕、語音或觸摸屏等的輸入信息轉(zhuǎn)換成對目的地或中央裝置I的請求信息等各種信息，輸入到主體部52，并且向顯示部50和/或操作部53的語音生成裝置輸出地圖信息和由路線引導(dǎo)部518生成的引導(dǎo)信息等顯示信息或語音信息。
[0048]位置信息取得部515取得GPS接收部54檢測出的經(jīng)度瑋度、高度及時刻信息等GPS信息和來自安裝在車輛4上的未圖示的姿態(tài)(朝向)傳感器的車輛4的前進方向等姿態(tài)(朝向)信息，保存在存儲部56中。此時，也可通過位置信息取得部515和上述的位置信息一起取得經(jīng)由未圖示的車內(nèi)網(wǎng)絡(luò)例如CAN(Controller Area Network，控制器局域網(wǎng))取得車輛4的剎車信息、閃光燈、停車、方向盤操作信息等行駛信息，并作為行駛軌跡信息保存到存儲部56中。
[0049]信息提供部521在導(dǎo)航裝置5的電源開啟時(開始駕駛時)、由輸入輸出接口部519請求路線時、根據(jù)從位置信息取得部515獲得的數(shù)據(jù)檢測出車輛4的移動時、或者在指定的時間，將從位置信息取得部515獲得的車輛4的當(dāng)前位置的位置信息或從圖像信息取得部516取得的車輛4前方的風(fēng)景圖像的圖像信息等發(fā)送到中央裝置1，請求攝像機參數(shù)的更新。
[0050]信息取得部512經(jīng)由通信部51和通信控制部511取得從中央裝置I發(fā)送來的包含攝像機參數(shù)的各種信息。信息取得部512將取得的攝像機參數(shù)保存在攝像機參數(shù)存儲部513 中。
[0051]圖像信息取得部516取得攝像機6拍攝的車輛4前方的風(fēng)景圖像的圖像信息。圖像信息取得部516取得的圖像信息經(jīng)由信息提供部512、通信控制部511由通信部51發(fā)送到中央裝置I。此外，圖像信息取得部516取得的風(fēng)景圖像的圖像信息被發(fā)送給圖像處理部514，該風(fēng)景圖像被基于攝像機參數(shù)進行坐標(biāo)變換，用于車輛4周邊的地物檢測。
[0052]圖像處理部514從圖像信息取得部516取得攝像機6拍攝的車輛4前方的風(fēng)景圖像的圖像信息，利用攝像機參數(shù)存儲部513保存的攝像機參數(shù)對該風(fēng)景圖像進行坐標(biāo)變換。圖像處理部514通過該坐標(biāo)變換獲得與車輛4的乘員從車輛4的當(dāng)前位置眺望時的風(fēng)景相當(dāng)?shù)娘L(fēng)景變換圖像，基于該風(fēng)景變換圖像識別道路、標(biāo)志、建筑物、人物或前方車輛等周邊地物，將該結(jié)果提供給路線引導(dǎo)部518。
[0053]路線探索部517根據(jù)經(jīng)由輸入輸出接口部519輸入的路線請求從地圖數(shù)據(jù)庫520讀取道路網(wǎng)信息，計算從出發(fā)地即車輛4的當(dāng)前位置到目的地的推薦路線。路線探索部517例如利用迪杰斯特拉(Dijkstra)法等數(shù)學(xué)方法探索基于單位路鏈的行程時間、速度或距離等的最低成本路線作為推薦路線。路線探索部517向路線引導(dǎo)部518提供關(guān)于推薦路線的路線信息。
[0054]路線引導(dǎo)信息生成部522基于圖像處理部514提供的周邊地物信息、路徑探索部517提供的路線信息，生成到目的地的引導(dǎo)信息。路線引導(dǎo)部518基于路線引導(dǎo)信息生成部522生成的引導(dǎo)信息經(jīng)由輸入輸出接口部519和操作部53將車輛4按照推薦路線引導(dǎo)到目的地。
[0055]此外，圖1所示的例子中，中央裝置I在圖像處理部16中根據(jù)從導(dǎo)航裝置5發(fā)送來的圖像信息計算道路或建筑物等特征點(或特征線)，但也可在導(dǎo)航裝置5的圖像處理部514中計算這些特征點(或特征線)并發(fā)送到中央裝置I。這種情況下，不需要從導(dǎo)航裝置5向中央裝置I發(fā)送圖像信息，減少了通信量。
[0056]此外，在圖1所示的例子中，導(dǎo)航裝置5在圖像處理部514中識別周邊地物，利用識別的結(jié)果進行引導(dǎo)導(dǎo)航，但也可如圖16所示的導(dǎo)航系統(tǒng)，在中央裝置I的圖像處理部16中進行周邊地物的識別。這種情況下，從中央裝置I向?qū)Ш窖b置5發(fā)送周邊地物的位置和距離信息。通過這樣，可以不需要導(dǎo)航裝置5的圖像處理部514，減小導(dǎo)航裝置5的處理負擔(dān)，即使導(dǎo)航裝置5的主體部52的CPU處理能力不高也能夠進行利用圖像處理的到目的地的引導(dǎo)導(dǎo)航。此外，為了正確地識別周邊地物，期望在地圖數(shù)據(jù)庫520中保存道路的形狀、路寬、車道信息、建筑物的形狀和高度等周邊地物的詳細的且新的信息。在圖16所示的導(dǎo)航系統(tǒng)中，為了進行使中央裝置I的圖像處理部16正確地識別周邊地物的圖像處理，中央裝置I的地圖數(shù)據(jù)庫20保存周邊地物的詳細的且新的信息即可。因此，終端裝置5即使不具有大容量的地圖數(shù)據(jù)庫520也能夠進行利用圖像處理的到目的地的引導(dǎo)導(dǎo)航。
[0057](攝像機參數(shù)可否校正判斷部13的處理流程)
[0058]圖2是表示本實施方式的中央裝置I中包含在中央裝置I的中央CPU100中的攝像機參數(shù)可否校正判斷部13的處理流程的例子。攝像機可否校正判斷部13判斷是否能夠進行基于攝像機參數(shù)校正部18的攝像機6的攝像機參數(shù)校正。中央CPU 100收到由通信接口部11接收的來自導(dǎo)航裝置5的請求信息，開始攝像機參數(shù)可否校正判斷處理，執(zhí)行下述各步驟的處理。開始本處理后，信息取得部12取得由通信接口部11接收的來自導(dǎo)航裝置5的請求信息。攝像機可否校正判斷部13取得由信息取得部12取得的請求信息中所含的由車輛4的經(jīng)度和瑋度表示的位置信息和移動方向等信息(步驟S20)。攝像機可否校正判斷部13根據(jù)車輛4的位置信息和移動方向，從地圖數(shù)據(jù)庫20取得位于當(dāng)前位置的包括車輛4前方的車輛周邊的地圖數(shù)據(jù)(步驟S21)。攝像機可否校正判斷部13通過地圖匹配處理確定車輛4行駛的道路(步驟S22)。攝像機可否校正判斷部13基于包含車輛4行駛的道路信息和/或車輛4的周邊道路的信息的道路信息，在以下的步驟S23、S24和S25中判斷車輛4行駛的道路是否滿足當(dāng)前位置周邊的規(guī)定道路條件。
[0059]攝像機可否校正判斷部13確認車輛4行駛的道路或周邊道路是否為居民區(qū)道路(步驟S23)。在道路數(shù)據(jù)中未包含詳細的道路信息或正確的道路信息時，或者在道路數(shù)據(jù)中包含與具有規(guī)定道路屬性的道路對應(yīng)的道路數(shù)據(jù)時，將對應(yīng)該道路數(shù)據(jù)的道路判斷為居民區(qū)道路。規(guī)定的道路屬性例如為比規(guī)定寬度小的道路寬度、比規(guī)定數(shù)目小的車道數(shù)、窄道路等道路種類或者除了雙向車道分離的主線路鏈之外的路鏈種類。攝像機可否校正判斷部13在車輛4行駛的道路或周邊道路判斷為居民區(qū)道路的情況下(步驟S23為“是”)，判斷為車輛4行駛的當(dāng)前位置被包含在無法進行攝像機參數(shù)校正的區(qū)域中，并輸出判斷結(jié)果(步驟S27)，結(jié)束本處理。
[0060]在步驟S23中，與車輛4行駛的道路或周邊道路對應(yīng)的道路數(shù)據(jù)中包含詳細的道路信息或正確的道路信息的情況下(步驟S23為“否”)，確認車輛4行駛的道路或周邊道路是否存在起伏(步驟S24)。在車輛4行駛的道路或周邊道路為存在坡道或上下方向的起伏變化的道路的情況下(步驟S24為“是”)，攝像機可否校正判斷部13判斷為車輛4行駛的當(dāng)前位置被包含在無法進行攝像機參數(shù)校正的區(qū)域中，并輸出判斷結(jié)果(步驟S27)，結(jié)束本處理。例如基于路鏈數(shù)據(jù)中所含的坡度信息或高度信息，在道路坡度比規(guī)定坡度值大的情況下，判斷為存在道路的起伏變化。如果車輛4行駛的道路或周邊道路中不存在起伏變化(步驟S24為“否”)，攝像機可否校正判斷部13確認車輛4在當(dāng)前位置周邊預(yù)定行駛的道路區(qū)間(或者行駛的可能性高的道路區(qū)間)的直線性(步驟S25)。在道路區(qū)間短并且存在較多左右彎曲等方向轉(zhuǎn)換的地方或者道路區(qū)間中包含曲線區(qū)間等的情況下，判斷為該道路區(qū)間不具有直線性。例如在基于路鏈數(shù)據(jù)中所含的曲率信息，道路曲率比規(guī)定的曲率值大的情況下，判斷為道路不具有直線性。例如，車輛4在當(dāng)前位置周邊預(yù)定行駛的道路區(qū)間中相互連接的兩條道路區(qū)間形成了比規(guī)定角度小的連接角度的情況下，判斷為道路不具有直線性。
[0061]車輛4的當(dāng)前位置周邊的道路區(qū)間不具有直線性的情況下(步驟S25為“否”)，攝像機可否校正判斷部13判斷為車輛4的當(dāng)前位置被包含在無法進行攝像機參數(shù)校正的區(qū)域中，并輸出判斷結(jié)果(步驟S27)，結(jié)束本處理。車輛4的當(dāng)前位置周邊的道路區(qū)間具有直線性的情況下(步驟S25為“是”)，攝像機可否校正判斷部13判斷為車輛4行駛的道路在當(dāng)前位置周邊滿足規(guī)定道路條件。這種情況下，攝像機可否校正判斷部13判斷為在車輛4的當(dāng)前位置能夠進行攝像機參數(shù)校正，并輸出該判斷結(jié)果(步驟S26)，結(jié)束本處理。
[0062](攝像機參數(shù)校正時刻檢測部14的處理流程)
[0063]圖3是表示本實施方式的中央裝置I中包含在中央裝置I的中央CPU100中的攝像機參數(shù)校正時刻檢測部14的處理流程的例子。攝像機參數(shù)校正時刻檢測部14判斷是否需要攝像機參數(shù)校正。
[0064]通過包含在中央裝置I的中央CPU 100中的攝像機參數(shù)可否校正判斷部13判斷為能夠進行攝像機參數(shù)校正后，攝像機參數(shù)校正時刻檢測部14使風(fēng)景預(yù)測圖像生成部17生成車輛4的當(dāng)前位置上車輛4的前方(前進方向)的風(fēng)景預(yù)測圖像，并取得所生成的風(fēng)景預(yù)測圖像(步驟S30)。風(fēng)景預(yù)測圖像以攝像機的高度為視點來生成。顯示例300表示所生成的風(fēng)景預(yù)測圖像的一個例子。作為此時使用的攝像機的高度，可預(yù)先設(shè)定車高，也可在攝像機6內(nèi)置GPS功能的情況下設(shè)定從GPS獲得的攝像機6的高度信息。接著，攝像機參數(shù)校正時刻檢測部14通過基于道路數(shù)據(jù)的計算，使圖像處理部16從預(yù)測風(fēng)景提取道路或建筑物等周圍地物在顯示畫面坐標(biāo)上的特征點(特征線)(步驟S31)。在本實施方式中，使用道路邊緣作為周圍地物的特征點(特征線)進行說明。顯示例301中表示道路邊緣的一個例子。線段Al和A2為預(yù)測風(fēng)景中前方道路兩側(cè)的邊緣線。
[0065]接著，攝像機參數(shù)校正時刻檢測部14取得由信息取得部12取得的攝像機6拍攝的包含車輛4的前方道路的風(fēng)景圖像的圖像信息(表示在顯示例304中)和當(dāng)前的攝像機參數(shù)，發(fā)送給圖像處理部16(步驟S32)。攝像機參數(shù)校正時刻檢測部14使圖像處理部16利用當(dāng)前的攝像機參數(shù)對風(fēng)景圖像的圖像信息進行坐標(biāo)變換，生成相當(dāng)于從車輛4的當(dāng)前位置眺望的實際風(fēng)景的變換圖像(步驟S33)。顯示例302中表示了生成的實際風(fēng)景的一個例子。攝像機參數(shù)校正時刻檢測部14使圖像處理部16通過圖像處理計算從實際風(fēng)景提取周圍地物在顯示畫面坐標(biāo)上的特征點(特征線)(步驟S34)。顯示例303中表示實際風(fēng)景的道路邊緣的一個例子。線段BI和B2為前方道路的兩端的邊緣線。
[0066]道路邊緣Al和A2與道路邊緣BI和B2對應(yīng)相同的道路，從同一視點看到的風(fēng)景應(yīng)該相同，因此道路邊緣Al和A2應(yīng)該分別與道路邊緣BI和B2 —致。攝像機參數(shù)校正時刻檢測部14比較雙方的道路邊緣在畫面上的坐標(biāo)值來判斷道路邊緣Al和A2與道路邊緣BI和B2的相似性(步驟S35)。在不認為有相似性的情況下(步驟S35為“否”)，攝像機參數(shù)校正時刻檢測部14判斷為需要攝像機參數(shù)校正，并輸出該判斷結(jié)果(步驟S36)，結(jié)束本處理。在認為有相似性的情況下(步驟S35為“是”)，攝像機參數(shù)校正時刻檢測部14判斷為不需攝像機參數(shù)校正，并輸出該判斷結(jié)果(步驟S36)，結(jié)束本處理。
[0067]圖4是用于對圖3的步驟S35中的道路邊緣相似性判定處理進行補充說明的補充圖。圖中的道路邊緣Al、A2為從預(yù)測風(fēng)景提取出的道路邊緣，道路邊緣B1、B2為從實際風(fēng)景提取出的道路邊緣。點40和41為從各道路邊緣獲得的消失點。攝像機參數(shù)校正時刻檢測部14根據(jù)作為各消失點在畫面的水平方向(X方向)和垂直方向(Y方向)上的X分量和Y分量的乂40、￥40、乂41、￥41，計算消失點在顯示坐標(biāo)上的差，在該差超過規(guī)定范圍的情況下判斷為沒有相似性。作為坐標(biāo)差的替代，也可使用圖中各邊緣線的角度差Θ I(道路邊緣Al與BI相互所成的角度)和角度差Θ 2(道路邊緣A2與B2相互所成的角度)，在其分別為規(guī)定角度以上的角度差的情況下，判斷為沒有相似性。在道路邊緣Al和BI與道路邊緣A2和B2相互平行的情況下或者在有效的顯示坐標(biāo)的范圍內(nèi)無法獲得角度差的情況下，也同樣地判斷為沒有相似性。
[0068](攝像機參數(shù)校正部18的處理流程)
[0069]圖5是表示本實施方式的中央裝置I中包含在中央裝置I的中央CPU100中的攝像機參數(shù)校正部18的攝像機參數(shù)校正計算處理流程的例子。攝像機參數(shù)校正部18對攝像機參數(shù)進行校正計算。圖6是用于說明圖5的處理流程的步驟S508的補充圖，圖7?9是用于說明步驟S502的補充圖。
[0070]在攝像機參數(shù)校正時刻檢測部14判斷為需要攝像機參數(shù)校正后，攝像機參數(shù)校正部18確認車輛4上安裝的攝像機6是否具有陀螺傳感器等姿態(tài)傳感器并且該姿態(tài)傳感器獲得的數(shù)據(jù)是否已經(jīng)被信息取得部12經(jīng)由通信接口部11獲得(步驟S500)。在此，攝像機的姿態(tài)由作為三軸的旋轉(zhuǎn)角的俯仰角Θ C、側(cè)傾角Φ(3、偏航角Itc表示。在已獲得攝像機6的姿態(tài)信息的情況下(步驟S500為“是”)，攝像機參數(shù)校正部18取得攝像機的姿態(tài)信息(θ C、φ C、φ C)(步驟S510)。接著，攝像機參數(shù)校正部18取得車輛4的姿態(tài)信息(Θ V、Φν、Φν)(步驟S511)。在此，如果車輛4具有陀螺儀等姿態(tài)傳感器并且該姿態(tài)傳感器獲得的車輛4的姿態(tài)信息被導(dǎo)航裝置5取得，則信息取得部12可經(jīng)由通信接口部11取得車輛4的姿態(tài)信息(Θ V、φ V、φ V)。攝像機參數(shù)校正部18取得該車輛4的姿態(tài)信息(Θ V、φ V、Φ V)。如果沒有獲得車輛4的姿態(tài)信息，攝像機參數(shù)校正部18根據(jù)包含車輛4過去的行駛軌跡的位置信息計算車輛4的朝向來設(shè)定車輛4的姿態(tài)(Θ V、φ V、φ V)。
[0071]接著，攝像機參數(shù)校正部18根據(jù)上述攝像機6的姿態(tài)信息和車輛4的姿態(tài)信息，計算用于對與攝像機6的朝向相應(yīng)地在攝像機6的拍攝圖像中產(chǎn)生的失真(歪斜)進行修正的修正參數(shù)(步驟S512)。此時的處理利用圖6進行補充說明。圖6舉以垂直于紙面的ζ軸為中心的旋轉(zhuǎn)角即偏航角為例子來表示攝像機姿態(tài)與車輛姿態(tài)的差異。攝像機6設(shè)置在車輛4的車內(nèi)，攝像機6的朝向不一定與車輛4的前進方向(前方)一致。因此，需要利用從上述各姿態(tài)傳感器獲得角度信息，將攝像機6得到的拍攝圖像變換成從車輛4眺望的風(fēng)景。在各姿態(tài)傳感器輸出以正北為基準(zhǔn)的角度信息Φ V的情況下，將攝像機6得到的拍攝圖像的拍攝角度中的偏航角旋轉(zhuǎn)移動δ φ = Φ c+Φ V，則與車輛姿態(tài)的偏航角一致。該旋轉(zhuǎn)移動量δ φ設(shè)為偏航角的校正參數(shù)。對于與其它兩軸對應(yīng)的俯仰角、側(cè)傾角也同樣地計算與拍攝角度通過旋轉(zhuǎn)移動而與車輛姿態(tài)一致時的旋轉(zhuǎn)角度對應(yīng)的修正參數(shù)S Θ、δ φ。
[0072]接著，攝像機參數(shù)校正部18取得攝像機6拍攝的風(fēng)景圖像的圖像信息(步驟S503) ο圖像520表示此時的風(fēng)景圖像的一個例子。攝像機參數(shù)校正部18利用步驟S512中計算的修正參數(shù)，對圖像520進行坐標(biāo)變換，生成從車輛4眺望的圖像521 (步驟S504)。攝像機參數(shù)校正部18檢測圖像521的特征點(特征線)。在本實施方式中，攝像機參數(shù)校正部18檢測道路邊緣523和524作為圖像521的特征點(特征線)(步驟S505)。如圖像525所示，攝像機參數(shù)校正部18根據(jù)經(jīng)過畫面中心點P的中心線和步驟S505中檢測出的道路邊緣，計算畫面上的道路寬度(路寬)w。攝像機參數(shù)校正部18從地圖數(shù)據(jù)庫20中所含的與當(dāng)前位置相應(yīng)地取得的道路數(shù)據(jù)中，取得與畫面上的道路對應(yīng)的實際道路的道路寬度(路寬)W (步驟S506)。攝像機參數(shù)校正部18基于畫面上的道路寬度w與實際的道路寬度W之比，計算攝像機的安裝位置的高度h (步驟S507)。將步驟S512中計算出的表示攝像機朝向的修正參數(shù)θ，δ φ，δ φ)和步驟S507中計算出的攝像機的安裝位置的高度h作為用于將攝像機6拍攝的風(fēng)景圖像的圖像信息變換成導(dǎo)航用的新攝像機參數(shù)，校正攝像機參數(shù)(步驟S508)，并結(jié)束本處理。
[0073]在未獲得攝像機姿態(tài)信息的情況下(步驟S500為“否”)，攝像機參數(shù)校正部18利用步驟S30中生成的車輛前方的風(fēng)景預(yù)測圖像來計算攝像機6的修正參數(shù)(δ θ，δ φ，δ Φ)。首先，取得從表示預(yù)測風(fēng)景的風(fēng)景預(yù)測圖像和表示實際風(fēng)景的風(fēng)景變換圖像得到的道路邊緣的消失點40、41(步驟S501)。根據(jù)經(jīng)過圖4所示的消失點40、41的直線70，計算修正參數(shù)θ，δ φ，δ φ)(步驟S502)。在此，利用多個消失點計算攝像機參數(shù)的方法在日本特開2008-11174號公報中也有公開。在本實施方式中，通過從對應(yīng)預(yù)測風(fēng)景的風(fēng)景預(yù)測圖像取得消失點的其中之一，即使在對應(yīng)實際風(fēng)景的風(fēng)景變換圖像只能得到一個消失點時，也可獲得修正參數(shù)。
[0074]針對步驟S502的處理利用圖7?9進行補充說明。首先，利用圖7說明計算側(cè)傾角的修正參數(shù)δ φ的方法。作經(jīng)過消失點40、41的直線70和與畫面700的橫軸方向(χ軸方向)平行的直線71。計算兩直線所成的角度α，并將該角度α作為側(cè)傾角的修正參數(shù)δ φ。
[0075]圖8是用于計算俯仰角的修正參數(shù)δ Θ的補充說明圖。點Q為從畫面中心點P向直線70所引的垂線的交點。如果攝像機6的焦距f為已知的值，則俯仰角的修正參數(shù)δ Θ可由式(I)求出。
[0076]【式I】
[0077]δ Θ = tarT1 {線段 PQ/f}
[0078]進一步地，圖9是用于設(shè)定偏航角的修正參數(shù)δ φ的補充說明圖。以消失點41為點U，求出線段QU在χ軸方向的分量，通過式(2)計算偏航角的修正參數(shù)δ φ。
[0079]【式2】
[0080]δ φ = tarT1 {線段 QU.cos δ Θ /f}
[0081]接著，攝像機參數(shù)校正部18取得攝像機6拍攝的風(fēng)景圖像的圖像信息(步驟S503)。攝像機參數(shù)校正部18利用步驟S502中得到的修正參數(shù)(δ θ，δ φ，δ φ )，對步驟S503中取得的風(fēng)景圖像進行坐標(biāo)變換(S504)，并檢測變換后的畫面上的道路邊緣(步驟S505)。攝像機參數(shù)校正部18計算畫面上的道路寬度(路寬)w。攝像機參數(shù)校正部18從地圖數(shù)據(jù)庫20中所含的與當(dāng)前位置相應(yīng)地取得的道路數(shù)據(jù)中，取得與畫面上的道路對應(yīng)的實際道路的道路寬度(路寬)W(步驟S506)。攝像機參數(shù)校正部18基于畫面上的道路寬度w與實際的道路寬度W之比，計算攝像機的安裝位置的高度(步驟S507)。攝像機參數(shù)校正部18將步驟S502和S507中計算出的攝像機參數(shù)作為新攝像機參數(shù)，校正攝像機參數(shù)(步驟S508)，并結(jié)束本處理。
[0082](導(dǎo)航系統(tǒng)的整體處理流程)
[0083]圖10表示由本實施方式的中央裝置I和導(dǎo)航裝置5構(gòu)成的導(dǎo)航系統(tǒng)的整體處理流程。在該導(dǎo)航系統(tǒng)中，進行攝像機6的攝像機參數(shù)校正，進行利用攝像機6拍攝的風(fēng)景圖像的圖像信息的到目的地的引導(dǎo)導(dǎo)航。圖14、圖15是表示導(dǎo)航裝置5的畫面顯示例1400和1500的圖，為本處理流程的補充說明圖。
[0084]在導(dǎo)航裝置5中，在通過將攝像機6安裝到攝像機連接部55來將攝像機6連接到導(dǎo)航裝置5后，開始導(dǎo)航處理。位置信息取得部515取得由GPS接收部接收到的GPS信號，更新與車輛4的當(dāng)前位置和前進方向相關(guān)的位置信息(步驟S1110)。圖像信息取得部516經(jīng)由攝像機連接部55取得攝像機6拍攝的風(fēng)景圖像的圖像信息。信息提供部521將更新后的位置信息和攝像機6拍攝的風(fēng)景圖像的圖像信息經(jīng)由通信控制部511和通信部51發(fā)送到中央裝置1，請求攝像機參數(shù)(步驟S1111)。
[0085]包含在中央裝置I的CPU 100中的信息取得部12經(jīng)由通信接口部11接收來自導(dǎo)航裝置5的攝像機參數(shù)請求(步驟S1101)。在信息取得部12接收到攝像機參數(shù)請求后，攝像機可否校正判斷部13基于攝像機參數(shù)請求中所含的位置信息，從地圖數(shù)據(jù)庫20讀取地圖信息，通過地圖匹配確定對應(yīng)車輛4當(dāng)前位置的地圖上的位置(步驟S1102)。如果步驟S1102中確定地圖上的位置例如為道路上的位置，攝像機可否校正判斷部13按照圖2的攝像機參數(shù)可否校正判斷處理來判斷是否能夠進行攝像機參數(shù)的校正(步驟SI 103)。如果不能進行攝像機參數(shù)校正(步驟S1103為“否”)，攝像機可否校正判斷部13判斷為不能進行攝像機參數(shù)校正，信息提供部15經(jīng)由通信接口部11將不能進行攝像機參數(shù)校正的通知發(fā)送給導(dǎo)航裝置5 (步驟S1107)，中央裝置I側(cè)的處理結(jié)束。
[0086]在能夠進行攝像機參數(shù)校正的情況下(步驟S1103為“是”)，攝像機參數(shù)校正時刻檢測部14按照圖3的攝像機參數(shù)校正時刻檢測處理流程檢測是否需要攝像機參數(shù)校正(步驟S1104)。如果不需要攝像機參數(shù)校正(步驟S1104為“否”)，攝像機參數(shù)校正時刻檢測部14判斷為不需要攝像機參數(shù)校正，信息提供部15經(jīng)由通信接口部11將不需攝像機參數(shù)校正的通知發(fā)送到導(dǎo)航裝置5 (步驟S1108)，中央裝置I側(cè)的處理結(jié)束。在需要攝像機參數(shù)校正的情況下(步驟S1104為“是”)，攝像機參數(shù)校正部18按照圖5的攝像機參數(shù)校正計算處理流程執(zhí)行攝像機參數(shù)的校正計算處理(步驟SI 105)。信息提供部15將步驟S1105中攝像機參數(shù)校正部18獲得的攝像機參數(shù)經(jīng)由通信接口部11發(fā)送到導(dǎo)航裝置5(步驟SI 106)，中央裝置I側(cè)的處理結(jié)束。
[0087]導(dǎo)航裝置5的信息取得部512經(jīng)由通信部51和通信控制部511接收來自中央裝置I的信息(步驟SI 112)，在信息取得部512在步驟SI 112的接收信息包含不能進行攝像機校正的通知的情況下(步驟S1113為“是”)，信息取得部512經(jīng)由輸入輸出接口部519在顯示部50等輸出車輛4的當(dāng)前位置的行駛環(huán)境中無法進行攝像機參數(shù)校正的消息(步驟S1120)。路線探索部517探索從車輛4的當(dāng)前位置到目的地的推薦路線。路線引導(dǎo)信息生成部522基于路線探索部517獲得的路線信息，生成用于按照路線探索部517探索得到的推薦路線將車輛4引導(dǎo)到目的地的路線引導(dǎo)信息。路線引導(dǎo)部518利用路線引導(dǎo)信息生成部522生成的引導(dǎo)信息，進行不與攝像機6協(xié)同的引導(dǎo)(步驟S1121)，同時在該引導(dǎo)中信息提供部521經(jīng)由通信控制部511和通信部51向中央裝置I請求攝像機參數(shù)，直到能夠進行攝像機參數(shù)校正為止。
[0088]圖14表示步驟SI 120中的顯示部50的顯示例1400。圖標(biāo)141表示與攝像機的協(xié)同工作狀態(tài)。顯示消息140顯示校正中的通知直到獲得步驟S1114中的判定結(jié)果為止，即直到實施攝像機參數(shù)校正為止。信息取得部512在步驟S1112中接收到不需要攝像機參數(shù)校正的通知的信息的情況下(步驟S1114為“是”)，經(jīng)由輸入輸出接口部519向顯示部50等輸出無需攝像機參數(shù)更新的消息(步驟S1121)，利用攝像機參數(shù)存儲部513中保存的攝像機參數(shù)來執(zhí)行步驟SI 116以后的處理。
[0089]圖15表示步驟SI 121中的顯示部50的顯示輸出例1500。攝像機校正結(jié)束后，圖標(biāo)141變成圖標(biāo)151，顯示消息140也切換成顯示消息150。信息取得部512在步驟S1112接收到包含攝像機參數(shù)的信息的情況下(步驟S1114為“否”)，將攝像機參數(shù)存儲部513中保存的攝像機參數(shù)更新為步驟S1112中接收到的攝像機參數(shù)(步驟S1115)。圖像信息取得部516從攝像機連接部55取得攝像機6拍攝的風(fēng)景圖像的圖像信息(步驟S1116)。圖像處理部514從攝像機參數(shù)存儲部513讀取更新后的攝像機參數(shù)，通過利用該更新后的攝像機參數(shù)對圖像信息進行坐標(biāo)變換來生成風(fēng)景變換圖像(步驟S1117)。
[0090]圖像處理部514基于步驟S1117中生成的風(fēng)景變換圖像和攝像機6的焦距，識別和計算車輛4到當(dāng)前位置周邊的地物例如車輛4前方交叉路口及在該交叉路口正在等待綠燈的前方車輛為止的推算距離，并且識別車輛4行駛中的行駛車道等(步驟S1118)。利用圖像處理來識別在車道端部所畫的線的種類，例如實線、虛線、雙線等種類，由此識別車輛4行駛中的行駛車道。路線探索部517探索從車輛4的當(dāng)前位置到目的地的推薦路線。路線引導(dǎo)信息生成部522利用步驟S1117中圖像處理部514得到的從車輛4的當(dāng)前位置到前方交叉路口或前方車輛的推算距離及行駛車道相關(guān)的行駛狀況的識別結(jié)果、路線探索部517探索得到的推薦路線的信息、和步驟S1117中生成的風(fēng)景變換圖像，生成路線引導(dǎo)信息(步驟S1119)。該路線引導(dǎo)信息中包含了如下的用于進行引導(dǎo)導(dǎo)航的信息，例如在路線引導(dǎo)部518在判斷為未在車輛4應(yīng)在的行駛車道上移動時引導(dǎo)車輛4的乘員進行車道移動，或者警告向前方車輛等前方檢測物接近的危險等。
[0091]路線引導(dǎo)部518基于步驟S1119中生成的路線引導(dǎo)信息，經(jīng)由輸入輸出接口部519向顯示部50等輸出上述車道移動的引導(dǎo)或上述危險的警告，同時將車輛4按照推薦路線引導(dǎo)到目的地(步驟S1120)。本處理返回步驟S1116(步驟S1121)，使得在車輛4按照推薦路線到達目的地之前或者輸入導(dǎo)航處理結(jié)束的通知之前重復(fù)步驟S1116?S1121的處理。如果在引導(dǎo)中攝像機6從攝像機連接部55取下后又再次裝上，則執(zhí)行從步驟SlllO開始的本處理，基于安裝狀態(tài)的攝像機6的姿態(tài)信息和車輛4的姿態(tài)信息來校正攝像機參數(shù)。
[0092]中央裝置I的中央CPU 100計算表示攝像機6的安裝位置的高度h和攝像機6的朝向(δ θ，δ φ，δ φ)的攝像機參數(shù)。為了將安裝在車輛4上的攝像機6所拍攝的、包含車輛4行駛的道路的風(fēng)景的風(fēng)景圖像變換成導(dǎo)航用而計算該攝像機參數(shù)。中央CPU 100包括信息取得部12、攝像機可否校正判斷部13、攝像機參數(shù)校正時刻檢測部14、攝像機參數(shù)校正部18。信息取得部12取得關(guān)于車輛4當(dāng)前位置的位置信息，并且經(jīng)由與終端裝置5的通信從攝像機6取得風(fēng)景圖像。攝像機參數(shù)校正部18基于位置信息取得與當(dāng)前位置相應(yīng)的道路數(shù)據(jù)，從道路數(shù)據(jù)中取得車輛4行駛的道路在當(dāng)前位置的路寬。攝像機參數(shù)校正部18基于風(fēng)景圖像和路寬信息對攝像機參數(shù)進行校正計算。由此，能夠利用現(xiàn)有的地圖數(shù)據(jù)中所含的現(xiàn)有的道路數(shù)據(jù)進行攝像機參數(shù)的校正。
[0093]在利用由可拆卸的攝像機6拍攝的風(fēng)景圖像的圖像信息將車輛4引導(dǎo)到目的地的導(dǎo)航系統(tǒng)中，由于攝像機6的重新安裝、引導(dǎo)中的操作或振動導(dǎo)致攝像機6的姿態(tài)產(chǎn)生偏移，存在需要頻繁進行攝像機參數(shù)校正的情況。中央裝置I的中央CPU 100基于車輛4的周圍環(huán)境來判斷能否進行攝像機參數(shù)校正，在檢測到攝像機6的狀態(tài)發(fā)生偏移時對攝像機參數(shù)進行校正計算。因此，即使終端裝置5的主體部52的CPU處理能力不太高，主體部52也能夠一邊識別車輛4行駛中的周圍環(huán)境一邊將車輛4引導(dǎo)導(dǎo)航到目的地。
[0094]經(jīng)由通信從終端裝置5向中央裝置I發(fā)送攝像機參數(shù)校正所需的位置信息和圖像信息，在中央裝置I進行攝像機參數(shù)校正計算，并將中央裝置I計算所得的攝像機參數(shù)發(fā)送到終端裝置5。因此，即使終端裝置5不具備攝像機參數(shù)校正計算所需的功能，也能夠一邊修正攝像機6的姿態(tài)偏移帶來的影響，一邊利用由攝像機6拍攝到的風(fēng)景圖像的圖像信息進行車輛4的引導(dǎo)導(dǎo)航。即，由于在中央裝置I中進行攝像機參數(shù)校正計算，因此即使終端裝置5不具有攝像機參數(shù)校正計算所需的詳細且最新的地圖，也能夠利用由攝像機6拍攝到的風(fēng)景圖像的圖像信息進行車輛4的引導(dǎo)導(dǎo)航。具體而言，即使使用類似智能手機那樣的不具有地圖的終端裝置作為終端裝置5，也能夠利用由智能手機所具備的攝像頭拍攝到的風(fēng)景圖像的圖像信息進行車輛4的引導(dǎo)導(dǎo)航。
[0095]---變形例---
[0096](I)圖10的處理流程對應(yīng)于在中央裝置I側(cè)進行關(guān)于攝像機參數(shù)校正的處理的方式，但為了使得步驟S1116?S1119的處理可在中央裝置I側(cè)執(zhí)行，可通過信息提供部521經(jīng)由通信控制部511和通信部51將步驟S1116取得的風(fēng)景圖像的圖像信息發(fā)送到中央裝置I。這種情況下，信息取得部512經(jīng)由通信部51和通信接口部511取得在中央裝置I側(cè)得到的車輛4的行駛狀況的識別結(jié)果(車輛4的與周邊地物的距離、行駛車道等)以及到目的地的路線引導(dǎo)信息。通過這樣，終端裝置5的結(jié)構(gòu)變得更簡單，不對終端裝置5的主體部52產(chǎn)生攝像機參數(shù)校正和圖像處理相關(guān)的處理負擔(dān)，因此車輛4到目的地的路線計算、引導(dǎo)導(dǎo)航以及其它的處理能夠無延遲地在合適的時刻執(zhí)行。此外，不需在地圖數(shù)據(jù)庫520中保存車輛4的周邊地物的識別所需的包括道路寬度的地物形狀等的詳細的地圖信息，能夠減小地圖數(shù)據(jù)庫520的大小。此外，如果利用GPS接收部54取得的位置信息、時刻和行駛速度，在車輛4到達引導(dǎo)點前等規(guī)定位置時、根據(jù)到達規(guī)定位置的預(yù)測時間等更新預(yù)先設(shè)定的時間或交通信息時、或者在車輛4在規(guī)定速度以上行駛時等，控制從終端裝置5向中央裝置I的圖像信息的發(fā)送時刻，則能夠抑制終端裝置5的主體部52的通信負擔(dān)。
[0097](2)圖11表示導(dǎo)航裝置5不與中央裝置I協(xié)同下單獨地執(zhí)行圖10的處理時的處理流程。與中央裝置I的步驟S1102、S1103、S1104、S1105中進行的攝像機參數(shù)校正計算相關(guān)的處理相當(dāng)?shù)奶幚碛蓪?dǎo)航裝置5進行。位置信息取得部515更新位置信息(步驟S1110)，執(zhí)行與步驟S1102相同的地圖匹配(步驟S101)，路線探索部517與步驟S1103同樣地判斷能否進行攝像機參數(shù)校正(步驟S102)。如果攝像機參數(shù)可校正，則路線探索部517與步驟S1104同樣地判斷是否需要攝像機參數(shù)校正(步驟S103)，在需要攝像機校正的情況下，路線探索部517進行與步驟S1105同樣的攝像機參數(shù)校正計算(步驟S104)。之后，利用校正后的攝像機參數(shù)識別周邊的行駛環(huán)境、執(zhí)行到目的地的引導(dǎo)導(dǎo)航的步驟S1116?1121的處理與上述相同。
[0098](3)圖12是說明路線引導(dǎo)部518在步驟S1120執(zhí)行的利用圖像信息的引導(dǎo)導(dǎo)航的一個例子的處理流程。圖13是用于說明圖12的處理流程的補充圖。在步驟S1120中，基于左右轉(zhuǎn)彎地點通知等路線引導(dǎo)信息將車輛4引導(dǎo)到目的地，其中路線引導(dǎo)信息由路線引導(dǎo)信息生成部522基于路線探索部517計算的路線信息而生成。路線引導(dǎo)部518通過位置信息取得部515取得GPS接收部54得到的位置信息，確認車輛4的當(dāng)前位置是否在引導(dǎo)點(步驟S120)。在車輛4的當(dāng)前位置不在引導(dǎo)點的情況下(步驟S120為“否”)，如果路線引導(dǎo)信息生成部522生成的路線引導(dǎo)信息中存在導(dǎo)航信息，路線引導(dǎo)部518取得該導(dǎo)航信息(步驟S125)，并經(jīng)由輸入輸出接口部519分別在操作部53和/或顯示部50以語音和/或畫面顯示進行輸出(步驟S124)。
[0099]在車輛4的當(dāng)前位置為引導(dǎo)點的情況下(步驟S120為“是”)，路線引導(dǎo)部518取得步驟S1118中計算得到的從車輛4到周邊地物的推算距離信息、例如從車輛4到引導(dǎo)點的推算距離(步驟S121)。在引導(dǎo)點為左右轉(zhuǎn)彎交叉路口的情況下，路線引導(dǎo)部518例如取得到圖13的人行橫道126的推算距離。進一步地，根據(jù)在步驟S1118中識別的在車道端部所畫的線127的模式種類(直線)和線128的模式種類(虛線)，通過圖像處理識別車輛4行駛中的車道(步驟S122)。路線引導(dǎo)部518從地圖數(shù)據(jù)庫520取得車輛4行駛的車道相關(guān)的信息，根據(jù)引導(dǎo)點的左右轉(zhuǎn)彎方向、車輛4到引導(dǎo)點的推算距離和行駛車道，使路線引導(dǎo)導(dǎo)航信息生成部522生成該引導(dǎo)點的導(dǎo)航信息，并取得該導(dǎo)航信息(步驟S123)。路線引導(dǎo)部518經(jīng)由輸入輸出接口部519分別在操作部53和顯示部50將該導(dǎo)航信息以語音和/或畫面顯示進行輸出(步驟S124)。
[0100]例如，在車輛準(zhǔn)備在前方的引導(dǎo)點右轉(zhuǎn)并且車輛4當(dāng)前行駛的車道不是右轉(zhuǎn)車道而是直行車道的情況下，路線引導(dǎo)部518使路線引導(dǎo)導(dǎo)航信息生成部522生成提醒向右轉(zhuǎn)車道移動的箭頭129和導(dǎo)航文字130，在顯示部50進行畫面顯示。在此，關(guān)于構(gòu)成導(dǎo)航信息的箭頭129和導(dǎo)航文字130，在考慮安全和交通狀況(行駛速度)的合適時刻通知車輛4到引導(dǎo)點126的預(yù)測到達時間或推算距離。
[0101](4)在即使圖3的步驟S35中為否定判定但車輛4的當(dāng)前位置位于引導(dǎo)點附近時，也將處理推進到S37而不進行攝像機參數(shù)校正計算處理和攝像機參數(shù)發(fā)送。由此能夠減小終端裝置5在引導(dǎo)導(dǎo)航時對主體部52的CPU處理能力的影響。
[0102]上述各實施方式和變形例可分別進行組合。此外，只要不破壞本發(fā)明的特征性的功能，本發(fā)明對上述實施方式中的機器結(jié)構(gòu)并不加以限定。對于可認為在本發(fā)明的技術(shù)思想范圍內(nèi)的其它實施方式，也被包含在本發(fā)明的范圍內(nèi)。
[0103]下一優(yōu)先權(quán)基礎(chǔ)申請的公開內(nèi)容作為引文包含于此。
[0104]日本專利申請2012年第172930號(2012年8月3日申請)
[0105]附圖標(biāo)記的說明
[0106]1......中央裝置
[0107]2......通信網(wǎng)絡(luò)
[0108]3......基 ? 占
[0109]4......車輛
[0110]5……終端裝置(導(dǎo)航裝置)
[0111]6……攝像機
[0112]11……通信接口部
[0113]12……信息取得部
[0114]13……攝像機參數(shù)可否校正判斷部
[0115]14……攝像機參數(shù)校正時刻檢測部
[0116]15……信息提供部
[0117]16......圖像處理部
[0118]17……風(fēng)景預(yù)測圖像生成部
[0119]18……攝像機參數(shù)校正部
[0120]20......地圖數(shù)據(jù)庫
[0121]50......顯示部
[0122]51......通信部
[0123]52......主體部
[0124]53……操作部
[0125]54……GPS接收部
[0126]55……攝像機連接部
[0127]56……存儲部
[0128]100......中央 CPU
[0129]110……存儲裝置
[0130]511......通信控制部
[0131]512……信息取得部
[0132]513……攝像機參數(shù)存儲部
[0133]514......圖像處理部
[0134]515……位置信息取得部
[0135]516……圖像信息取得部
[0136]517……路線探索部
[0137]518......路線引導(dǎo)部
[0138]519……輸入輸出接口部
[0139]520……地圖數(shù)據(jù)庫
[0140]521……信息提供部
[0141]522……路線引導(dǎo)信息生成部
【權(quán)利要求】
1.一種攝像機參數(shù)運算裝置，其運算表示安裝在移動物體上的攝像機的安裝位置的高度和所述攝像機的朝向的攝像機參數(shù)，該攝像機參數(shù)用于將由所述攝像機拍攝到的包含所述移動物體移動的道路的風(fēng)景的風(fēng)景圖像變換成導(dǎo)航用，該攝像機參數(shù)運算裝置的特征在于，包括: 位置信息取得部，其取得關(guān)于所述移動物體的當(dāng)前位置的位置信息； 路寬信息取得部，其基于所述位置信息取得與所述當(dāng)前位置對應(yīng)的道路數(shù)據(jù)，從所述道路數(shù)據(jù)取得關(guān)于所述移動物體移動的道路在所述當(dāng)前位置上的路寬的路寬信息； 從所述攝像機取得所述風(fēng)景圖像的風(fēng)景圖像取得部；和 攝像機參數(shù)校正部，其基于所述風(fēng)景圖像和所述路寬信息，對所述攝像機參數(shù)進行校正計算。
2.如權(quán)利要求1所述的攝像機參數(shù)運算裝置，其特征在于，還包括: 預(yù)測圖像生成部，其基于所述位置信息和由所述路寬信息取得部取得的所述道路數(shù)據(jù)，生成所述風(fēng)景的預(yù)測圖像，并且提取所述預(yù)測圖像中所含的第一特征部分； 風(fēng)景圖像取得部，其取得由所述攝像機拍攝到的所述風(fēng)景圖像； 第一變換部，其基于所述攝像機參數(shù)對所述風(fēng)景圖像進行坐標(biāo)變換，由此生成第一風(fēng)景變換圖像； 特征提取部，其利用圖像處理運算從所述第一風(fēng)景變換圖像提取第二特征部分；和相似性判斷部，其判斷所述預(yù)測圖像生成部取得的所述第一特征部分與所述特征提取部取得的所述第二特征部分是否相似， 在由所述相似性判斷部判斷出所述第一特征部分與所述第二特征部分不相似時，由所述攝像機參數(shù)校正部對所述攝像機參數(shù)進行校正計算。
3.如權(quán)利要求2所述的攝像機參數(shù)運算裝置，其特征在于，還包括: 道路數(shù)據(jù)取得部，其基于所述位置信息取得與所述當(dāng)前位置對應(yīng)的所述道路數(shù)據(jù)；和道路條件判斷部，其基于所述道路數(shù)據(jù)判斷在所述當(dāng)前位置周邊所述道路是否滿足規(guī)定的道路條件， 在由所述道路條件判斷部判斷出所述道路滿足所述道路條件時，由所述攝像機參數(shù)校正部對所述攝像機參數(shù)進行校正計算。
4.如權(quán)利要求3所述的攝像機參數(shù)運算裝置，其特征在于: 所述道路條件判斷部在以下任一情況下判斷所述道路滿足所述規(guī)定的道路條件:在當(dāng)前位置周邊的所述道路的路寬小于規(guī)定寬度的情況；在當(dāng)前位置周邊的所述道路的車道數(shù)小于規(guī)定數(shù)目的情況；在當(dāng)前位置周邊的所述道路的道路種類被劃分為小道路的情況；與在當(dāng)前位置周邊的所述道路對應(yīng)的路鏈的路鏈種類不為主線路鏈的情況；在當(dāng)前位置周邊的所述道路的坡度大于規(guī)定的坡度值的情況；在當(dāng)前位置周邊的所述道路的曲率大于規(guī)定的曲率值的情況；和與在當(dāng)前位置周邊的所述道路對應(yīng)的路鏈與其它路鏈的連接角度小于規(guī)定角度的情況。
5.一種導(dǎo)航系統(tǒng)，其特征在于，包括: 權(quán)利要求1?4中任一項所述的攝像機參數(shù)運算裝置； 攝像機連接部，其用于安裝并連接所述攝像機，使所述風(fēng)景圖像取得部能夠取得由所述攝像機拍攝到的所述風(fēng)景圖像；和 第二變換部，其基于由所述攝像機參數(shù)校正部校正計算后的所述攝像機參數(shù)，對所述風(fēng)景圖像進行坐標(biāo)變換，由此生成第二風(fēng)景變換圖像。
6.如權(quán)利要求5所述的導(dǎo)航系統(tǒng)，其特征在于，還包括: 路線探索部，其探索從所述當(dāng)前位置到所述目的地的推薦路線； 路線引導(dǎo)信息生成部，其基于所述推薦路線和所述第二風(fēng)景變換圖像，生成用于使用所述第二風(fēng)景變換圖像將所述移動物體按照所述推薦路線引導(dǎo)到所述目的地的路線引導(dǎo)?目息;和 路線引導(dǎo)部，其基于所述路線引導(dǎo)信息生成部生成的所述路線引導(dǎo)信息，將所述移動物體按照所述推薦路線引導(dǎo)到所述目的地。
7.如權(quán)利要求6所述的導(dǎo)航系統(tǒng)，其特征在于: 所述導(dǎo)航系統(tǒng)還包括移動狀況識別部，所述移動狀況識別部基于所述第二風(fēng)景變換圖像、所述攝像機的焦距、由所述攝像機參數(shù)校正部校正計算后的所述攝像機參數(shù)，計算從所述當(dāng)前位置到所述當(dāng)前位置周邊的所述道路上的交叉路口或所述移動物體前方的其它移動物體的推算距離，并且基于在所述風(fēng)景圖像包含的所述移動體移動的車道的端部所畫的線的種類，利用圖像處理來識別所述車道，由此識別所述移動物體的移動狀況， 所述路線引導(dǎo)信息生成部基于由所述移動狀況識別部識別出的所述推算距離和所述車道、以及所述第二風(fēng)景變換圖像，生成所述路線引導(dǎo)信息。
8.如權(quán)利要求6所述的導(dǎo)航系統(tǒng)，其特征在于: 所述位置信息取得部、所述路寬信息取得部、所述風(fēng)景圖像取得部、所述攝像機參數(shù)校正部、所述第二變換部、所述路線探索部和所述路線引導(dǎo)信息生成部包含于服務(wù)器裝置中，所述攝像機連接部和所述路線引導(dǎo)部包含于終端裝置中， 所述服務(wù)器裝置還包含第一通信處理部，所述第一通信處理部從所述終端裝置接收所述風(fēng)景圖像取得部所要取得的所述風(fēng)景圖像，并且向所述終端裝置發(fā)送由所述路線引導(dǎo)信息生成部生成的所述路線引導(dǎo)信息， 所述終端裝置還包含第二通信處理部，所述第二通信處理部向所述服務(wù)器裝置發(fā)送由所述攝像機拍攝到的所述風(fēng)景圖像，并且從所述服務(wù)器裝置接收在所述路線引導(dǎo)部進行的路線引導(dǎo)中使用的所述路線引導(dǎo)信息。
9.如權(quán)利要求6所述的導(dǎo)航系統(tǒng)，其特征在于: 所述位置信息取得部、所述路寬信息取得部、所述風(fēng)景圖像取得部和所述攝像機參數(shù)校正部包含于服務(wù)器裝置中， 所述攝像機連接部、所述第二變換部、所述路線探索部、所述路線引導(dǎo)信息生成部和所述路線引導(dǎo)部包含于終端裝置中， 所述服務(wù)器裝置還包含第一通信處理部，所述第一通信處理部從所述終端裝置接收所述風(fēng)景圖像取得部所要取得的所述風(fēng)景圖像，并且向所述終端裝置發(fā)送由所述攝像機參數(shù)校正部校正計算后的所述攝像機參數(shù)， 所述終端裝置還包含第二通信處理部，所述第二通信處理部向所述服務(wù)器裝置發(fā)送由所述攝像機拍攝到的所述風(fēng)景圖像，并且從所述服務(wù)器裝置接收在所述第二變換部生成所述第二風(fēng)景圖像中使用的所述攝像機參數(shù)。
10.一種攝像機參數(shù)運算方法，其特征在于: 在為了將安裝在移動物體上的攝像機所拍攝到的包含所述移動物體移動的道路的風(fēng)景的風(fēng)景圖像變換成導(dǎo)航用，而運算表示所述攝像機的安裝位置的高度和所述攝像機的朝向的攝像機參數(shù)的攝像機參數(shù)運算裝置中， 取得關(guān)于所述移動物體的當(dāng)前位置的位置信息， 基于所述位置信息取得與所述當(dāng)前位置對應(yīng)的道路數(shù)據(jù)， 從所述道路數(shù)據(jù)取得關(guān)于所述移動物體移動的道路在所述當(dāng)前位置上的路寬的路寬信息， 從所述攝像機取得所述風(fēng)景圖像， 基于所述風(fēng)景圖像和所述路寬信息，對所述攝像機參數(shù)進行校正計算。
【文檔編號】G09B29/10GK104520675SQ201380041261
【公開日】2015年4月15日 申請日期:2013年8月1日 優(yōu)先權(quán)日:2012年8月3日
【發(fā)明者】奧出真理子, 蛭田智昭, 天谷真一, 志磨健 申請人:歌樂株式會社