本發(fā)明涉及AVM系統(tǒng)的公差校正裝置及其方法。
背景技術：
：通常，乘坐在車輛內(nèi)部的駕駛員的視野主要朝向前方，駕駛員的左右側和后方視野被車體遮擋相當一部分，因此具有非常有限的視野。為了解決上述問題，通常使用用來彌補駕駛員有限范圍的視野的側鏡等視野輔助工具，最近的趨勢是，車輛中應用包括攝像手段的技術，用來拍攝車輛外部圖像提供給駕駛員。其中，具有全景監(jiān)測系統(tǒng)(AVM：AroundViewMonitoring)(以下稱作AVM)，即在目前車輛周圍設置多個攝像機，顯示車輛周邊360°全方位的圖像。AVM系統(tǒng)不僅提供通過拍攝車輛周邊的多個攝像機所拍攝的單獨視圖(view)，還組合車輛周邊的圖像，提供駕駛員猶如從空中觀看車輛般的頂視圖(TopView)圖像，從而顯示車輛周邊障礙物，消除死角地帶。圖1中概略地示出了AVM系統(tǒng)的概念。參照圖1時，車輛100的前后方、左右側分別設置有攝像機110a、110b、110c、110d(以下，統(tǒng)稱為110)。攝像機110分別拍攝車輛100的前后方以及左右側的圖像A、B、C、D，并將拍攝的圖像重建為如同從上方觀看車輛100的狀態(tài)的圖像(參照圖1的(b))，并輸出到安裝在車輛100上的各種顯示裝置上。其中，在生成如圖1的(b)所示的頂視圖的過程中，組合利用多個攝像機所拍攝的周邊圖像時，攝像機的安裝誤差會產(chǎn)生如個別攝像機所拍攝的圖像之間的不整合的缺陷，這種在車輛中的攝像機安裝過程中所產(chǎn)生的誤差稱作公差。目前研究出一種用軟件去除頂視圖生成過程中的缺陷的圖像校正方法，美國專利公開US2009/0010630號也公開了攝像機系統(tǒng)的圖像校正方法。以往，利用設置在車輛上的攝像機生成車輛周邊圖像的頂視圖的過程中，為了校正公差，一直使用了矩形、三角形、棋盤形態(tài)的多邊形圖案。對于圖像中出現(xiàn)的多邊形圖案，找出頂點或X字記號等特征，利用特征的世界坐標(worldcoordinate)和圖像坐標來校正公差，從而生成頂視圖。此時，對于多邊形圖案，需任意賦予世界坐標，但為了賦予世界坐標，需要掌握頂點之間的距離或頂點的位置關系等多邊形圖案在世界坐標中的相對信息。這樣的制約具有如下不便，即為了生成頂視圖，需按照指定規(guī)格設置多邊形圖案，輸入或掌握圖案信息很費勁。在先技術文獻專利文獻美國專利公開US2009/0010630號(公開日期2009年1月8日)-Camerasystemandmethodofcorrectingcamerafittingerrors技術實現(xiàn)要素：發(fā)明所要解決的技術問題因此，本發(fā)明是為了解決上述問題而提出的，提供一種AVM系統(tǒng)的公差校正裝置及其方法，其利用圓形圖案(pattern)而非多邊形圖案，無需輸入圖案的世界坐標，當圖案滿足圖像出現(xiàn)的條件時可生成頂視圖，利用為了生成頂視圖而計算的單應矩陣(homography)，能夠正確地推定攝像機的外部參數(shù)。本發(fā)明提供一種AVM系統(tǒng)的公差校正裝置及其方法，即便使圖案位于任意位置也能校正公差，可以縮短設置圖案所需的時間，即使不知道攝像機和圖案的相對以及絕對位置，也能夠合成多個攝像機的圖像，自動尋找圓形圖案，從而可用于自動校正公差。本發(fā)明的其他目的會通過以下說明的優(yōu)選實施例更加明確。問題的解決方法根據(jù)本發(fā)明的一個實施方式，提供一種設置在車輛上的攝像機的公差校正裝置，該裝置包括：圖像輸入部，將由所述車輛具備的攝像機對配置在所述車輛周邊的圓形圖案進行拍攝而獲得的圖像信號，分別轉換為攝像機圖像數(shù)據(jù)；以及公差校正部，在所述攝像機圖像數(shù)據(jù)中提取與所述圓形圖案對應的橢圓，利用所述橢圓和所述圓形圖案之間的相關關系，計算出所述攝像機 圖像數(shù)據(jù)和頂視圖圖像之間的單應矩陣(homography)，并計算出所述攝像機的外部參數(shù)(extrinsicparameter)，從而在世界坐標上推定所述攝像機的位置。所述攝像機包括設置在所述車輛的前方、右側、左側以及后方的第一攝像機、第二攝像機、第三攝像機以及第四攝像機，所述圓形圖案可包括第一圓形圖案，該第一圓形圖案被配置成滿足如下位置條件，即，位于所述攝像機中相鄰攝像機的視角重疊的區(qū)域內(nèi)的任意位置?；蛘?，所述攝像機包括設置在所述車輛的前方、右側、左側以及后方的第一攝像機、第二攝像機、第三攝像機以及第四攝像機，所述圓形圖案包括第一圓形圖案，該第一圓形圖案包含于從至少兩個視圖獲得的所述攝像機圖像數(shù)據(jù)中。所述圓形圖案還包括以與所述車輛的左右側車輪成水平的方式配置的第二圓形圖案。所述公差校正部可執(zhí)行如下步驟：從所述攝像機圖像數(shù)據(jù)提取橢圓；提取所述橢圓的輪廓；校正所述攝像機的由內(nèi)部參數(shù)引起的畸變；基于校正畸變后的橢圓的輪廓坐標，計算出橢圓方程式；利用所述橢圓方程式，計算出世界坐標和攝像機圖像數(shù)據(jù)之間的單應矩陣。所述公差校正部求出經(jīng)過圓形點(circularpoint)變換的所述橢圓的交點，求出投影矩陣的逆矩陣P-1和仿射矩陣的逆矩陣A-1，并可根據(jù)下面的數(shù)學式計算出單應矩陣H。數(shù)學式是HI=P-1A-1I=P-1β+iαi0=β+iαi-l1l3(β+iα)-il2l3,]]>α=-cos(φ)sin(φ)sin2(θ)cos2(φ)cos2(θ)+sin2(θ)β=-cos(θ)cos2(θ)cos2(φ)+sin2(φ),]]>φ是旋轉角(rotationalangle)，θ是仰角(elevationangle)。所述公差校正部利用將所述世界坐標變換為所述攝像機圖像數(shù)據(jù)的圖像 坐標的矩陣P、所述攝像機的內(nèi)部參數(shù)K、世界坐標和攝像機坐標之間的旋轉變換R、在世界坐標中的攝像機坐標之間的移動量C之間的相關關系，利用單應矩陣H和已知的K，從在世界坐標上推定攝像機的位置。另一方面，根據(jù)本發(fā)明的另一實施方式，提供設置在車輛上的攝像機的公差校正方法以及記錄用于執(zhí)行該公差校正方法的程序的記錄介質。根據(jù)一個實施例的公差校正方法可以包括如下步驟：通過圖像輸入部，將所述車輛具備的攝像機對配置在所述車輛周邊的圓形圖案進行拍攝而獲得的圖像信號，分別變換為攝像機圖像數(shù)據(jù)；從所述攝像機圖像數(shù)據(jù)提取與所述圓形圖案對應的橢圓；利用所述橢圓和所述圓形圖案之間的相關關系，計算出所述攝像機圖像數(shù)據(jù)和頂視圖圖像之間的單應矩陣；以及計算出所述攝像機的外部參數(shù)，在世界坐標上推定所述攝像機的位置。所述計算單應矩陣的步驟可以包括如下步驟：提取所述橢圓的輪廓；校正所述攝像機的由內(nèi)部參數(shù)引起的畸變；基于校正畸變后的橢圓的輪廓坐標，計算出橢圓方程式；以及利用所述橢圓方程式，計算出世界坐標和攝像機圖像數(shù)據(jù)之間的單應矩陣。求出經(jīng)過圓形點變換的所述橢圓之間的交點，求出投影矩陣的逆矩陣P-1和仿射矩陣的逆矩陣A-1，并根據(jù)指定的數(shù)學式，計算出單應矩陣H。所述攝像機位置推定步驟中，可利用將所述世界坐標變換為所述攝像機圖像數(shù)據(jù)的圖像坐標的矩陣P、所述攝像機的內(nèi)部參數(shù)K、世界坐標和攝像機坐標之間的旋轉變換R、在世界坐標中的攝像機坐標之間的移動量C之間的相關關系，利用單應矩陣H和已知的K，在世界坐標上推定攝像機的位置。通過下面的圖、專利權利要求范圍以及發(fā)明的詳細說明，除上述以外的其他方式、特征、優(yōu)點會更明確。發(fā)明效果本發(fā)明具有如下效果：利用圓形圖案而非多邊形圖案，無需輸入圖案的世界坐標，只要圖案滿足圖像出現(xiàn)的條件，就可以生成頂視圖，并利用為了生成頂視圖而計算的單應矩陣，能夠正確推定攝像機的外部參數(shù)。另外還具有如下效果：即使將圖案位于任意位置也能校正公差，能夠縮短設置圖案所需的時間，即使不知道攝像機和圖案的相對以及絕對位置，也能合成多個攝像機的圖像，自動尋找圓形圖案，因此還可用于自動校正公差。附圖說明圖1是概略地示出AVM系統(tǒng)的概念的圖。圖2是概略地示出本發(fā)明的一實施例的AVM系統(tǒng)的結構的框圖。圖3是用于說明為了進行本發(fā)明的實施例的校正公差的圓形圖案配置的一例的概略圖。圖4是示出本發(fā)明的一實施例的AVM系統(tǒng)中的公差校正過程的流程圖。圖5是詳細示出校正公差過程中單應矩陣計算過程的流程圖。圖6是拍攝圓形圖案的圖像。圖7是示出在圖像內(nèi)找到橢圓的狀態(tài)的圖。圖8是提取橢圓輪廓的圖。圖9是示出校正畸變前后的橢圓輪廓坐標的圖。圖10是利用所計算的單應矩陣進行重建的頂視圖圖像。圖11是表示攝像機的推定位置的頂視圖圖像。附圖標記100：車輛110a、110b、110c、110d：攝像機200：AVM系統(tǒng)210：圖像輸入部220：存儲部230：公差校正部240：圖像合成部250：顯示部311、313、315、317：第一圓形圖案321、323、325、327：第二圓形圖案具體實施方式本發(fā)明可進行多種變更，并具有多種實施例，將通過附圖示例并詳細說明特定實施例。但是本發(fā)明并非限定于特定實施方式，本發(fā)明包括本發(fā)明思想以及技術范圍所包括的所有變更、等同物以及替代物。涉及到某結構要素“連接于”或“銜接于”另一結構要素時，可以直接連接或銜接于其另一要素，但是也要理解為中間會存在其他結構要素。相反，涉及到某要素“直接連接于”或“直接銜接于”另一結構要素時，要理解為中間不存在其他結構要素。第一、第二等術語可用于說明多種結構要素，但是所述結構要素不被所述術語限定。所述術語只能用于將一個結構要素區(qū)別于另一結構要素的目的。在本說明書中所使用的術語只是用于說明特定實施例，并非意圖限定本發(fā)明。單數(shù)的表述使文章脈絡清楚且不產(chǎn)生歧義，并包括復數(shù)的表述。要理解，本說明書中，“包括”或“具備”等術語是用來指定說明書中所記載的特征、數(shù)字、步驟、動作、結構要素、零件或其組合的存在，并非事先排除一個或其以上的其他特征或數(shù)字、步驟、動作、結構要素、零件或它們的組合的存在或附加功能性。另外，參照各附圖所說明的實施例的結構要素并非只能有限地適用于該實施例，在維持本發(fā)明技術思想的范圍內(nèi)，可以包括在其他實施例，另外，即使省略單獨的說明，也可以實現(xiàn)為合并多個實施例的一個實施例。另外，參照附圖進行說明時，與附圖標記無關地對相同結構要素標注相同或相關的參照標記，并省略對此的重復說明。在說明本發(fā)明的過程中，公知技術的具體說明使本發(fā)明的宗旨不清楚時，省略對其的詳細說明。圖2是概略地示出根據(jù)本發(fā)明的一個實施例的AVM系統(tǒng)的結構的框圖。根據(jù)本發(fā)明的一個實施例的AVM系統(tǒng)200，對通過設置在車輛上的攝像機拍攝的圖像進行校正處理，并將所生成的周邊圖像顯示在畫面上，以使駕駛員能夠確認車輛周邊情況。本實施例的特征在于，為了校正將攝像機安裝到車輛時所產(chǎn)生的公差而利用圓形圖案，即便使圖案位于任意位置也能校正公差，即使不知道攝像機和圖案的相對以及絕對位置，也能對多個攝像機的圖像進行合成。參照圖2時，本實施例的AVM系統(tǒng)200包括圖像輸入部210、存儲部220、公差校正部230、圖像合成部240、顯示部250。雖未圖示，但是還可以包括控制部，其用于控制AVM系統(tǒng)200所包括的一個以上結構要素的動作。圖像輸入部210將設置在車輛100的多個位置(例如，用于分別拍攝前方、后方、左側以及右側的指定位置)的攝像機110拍攝并被輸入的各攝像 機圖像信號，分別生成為攝像機圖像數(shù)據(jù)，并存儲到存儲部220。在這里，攝像機110可以是大視角的廣角攝像機，從而能夠通過少數(shù)攝像機拍攝車輛周邊環(huán)境。存儲部220中可以存儲例如AVM系統(tǒng)200的運行程序、通過圖像輸入部210生成的攝像機圖像數(shù)據(jù)、通過后述的圖像合成部240合成處理的AVM圖像數(shù)據(jù)(特別是頂視圖)等。存儲部220可以分開運行為永久存儲數(shù)據(jù)的永久存儲器和動作時臨時存儲所需的數(shù)據(jù)而運行的臨時存儲器。公差校正部230分析存儲在存儲部220的攝像機圖像數(shù)據(jù)，找出圓形圖案(在圖像內(nèi)呈橢圓形態(tài))，根據(jù)事先指定的外部參數(shù)推定算法對圖案信息(與圖像內(nèi)的圓形圖案相關的信息)進行加工，從而計算出單應矩陣(homography)。另外，在計算單應矩陣的過程中，還可以計算出攝像機110的外部參數(shù)(extrinsicparameter)，從而能夠在世界坐標上推定攝像機110的位置。圖像合成部240利用公差校正部230推定的攝像機的位置以及圖案信息，對攝像機圖像數(shù)據(jù)進行變換，從而生成猶如從車輛上防俯瞰車輛周邊環(huán)境的頂視圖(TopView)，并合成為AVM圖像數(shù)據(jù)。即，將車輛100周邊圖像的攝像機圖像數(shù)據(jù)變換為頂視圖圖像以后，基于公差校正部230推定的攝像機位置，調(diào)整頂視圖圖像的位置以及方向并進行合成，從而能夠生成相當于車輛100整個周邊的頂視圖的AVM圖像數(shù)據(jù)。通過圖像合成部240生成的AVM圖像數(shù)據(jù)可以通過顯示部250輸出。圖3是用于說明為了進行本發(fā)明實施例的校正公差的圓形圖案配置的一例的概略圖。如圖3所示，放置有車輛的校正區(qū)域周邊可任意設置第一圓形圖案311、313、315、317。用于校正公差的第一圓形圖案311、313、315、317，其形狀為圓形，如圖3所示，以其中心點為中心，與旋轉角度無關地始終呈現(xiàn)相同的形狀。即，在設置圖案過程中，無需像現(xiàn)有的多邊形圖案那樣以正確的角度設置在事先指定的位置，因此能夠縮短圖案設置所需的時間。另外，第一圓形圖案311、313、315、317不像現(xiàn)有的多邊形圖案那樣位于事先指定的位置，而是只要滿足規(guī)定位置條件，位于任意位置也能校正公 差。第一圓形圖案311、313、315、317的位置條件是，利用設置在車輛上的攝像機110進行拍攝時最少兩個圖案需出現(xiàn)在一個圖像中。即，每個攝像機圖像數(shù)據(jù)需出現(xiàn)最少兩個圖案，這是因為相同的第一圓形圖案至少要在從不同的視圖獲得的攝像機圖像數(shù)據(jù)中顯示。例如，如圖所示，通過設置在前方的第一攝像機110a拍攝的圖像中包括兩個第一圓形圖案311、313，通過設置在右側的第二攝像機110b拍攝的圖像中包括兩個第一圓形圖案313、317，通過設置在左側的第三攝像機110c拍攝的圖像中包括兩個第一圓形圖案311、315，通過設置在后方的第四攝像機110d拍攝的圖像包括兩個第一圓形圖案315、317。因此，本實施例中，第一圓形圖案311、313、315、317的位置條件是，第一圓形圖案被放置在相鄰兩個攝像機視角重疊的區(qū)域內(nèi)，只要是視角重疊的區(qū)域，放在任意位置都無妨。另外，第一圓形圖案311、313、315、317的尺寸可以全部相同。另外，在知道直徑信息的情況下，在圖像合成部240生成頂視圖時，可正確計算像素間距(pixelpitch)(mm/pixel)。但是，直徑信息未被限定。即，根據(jù)情況可以使用直徑不同的第一圓形圖案。在本實施例中，當只存在第一圓形圖案311、313、315、317時，因圓基本沒有方向性，因此在后述的圖像合成部240生成AVM圖像數(shù)據(jù)時，有可能產(chǎn)生頂視圖旋轉的現(xiàn)象(看似旋轉的現(xiàn)象)。為了避免這種現(xiàn)象，設置第二圓形圖案321、323、325、327，使其與車輛的左右側車輪成水平，利用從左側圖像數(shù)據(jù)以及右側圖像數(shù)據(jù)檢測出的圖案信息，找準左右側區(qū)域在頂視圖圖像的水平后，找準前后方區(qū)域，從而防止頂視圖看似旋轉的現(xiàn)象。下面，參照相關附圖，對利用這樣的圓形圖案來校正公差并生成頂視圖的過程進行說明。圖4是示出本發(fā)明的一個實施例的AVM系統(tǒng)中的公差校正以及頂視圖生成過程的流程圖，圖5是詳細示出公差校正過程中單應矩陣計算過程的流程圖，圖6是拍攝圓形圖案的圖像，圖7是示出在圖像內(nèi)找到橢圓的圖，圖8是提取橢圓輪廓的圖，圖9是示出校正畸變前后的橢圓輪廓坐標的圖，圖10 是利用所計算的單應矩陣進行重建的頂視圖圖像，圖11是表示攝像機的推定位置的頂視圖圖像。如圖3所示，完成第一圓形圖案311、313、315、317以及/或第二圓形圖案312、323、325、327的配置后，利用安裝在車輛上的攝像機110拍攝包括圓形圖案的車輛周邊環(huán)境(步驟S410)，圖像輸入部210接收拍攝有圓形圖案的攝像機圖像數(shù)據(jù)。在這里，攝像機圖像數(shù)據(jù)可以存儲到存儲部220或直接傳送到圖像輸入部210。圖6中示出了攝像機圖像數(shù)據(jù)的示例。公差校正部230利用從圖像輸入部210直接接收的或存儲在存儲部220的攝像機圖像數(shù)據(jù)，計算單應矩陣(步驟S420)。圖5中詳細示出了單應矩陣的計算過程。公差校正部230從攝像機圖像數(shù)據(jù)提取橢圓(步驟S510)。這是因為，拍攝到圓形圖案時，除在垂直上方拍攝的情況以外，會顯示為橢圓形態(tài)。參照圖7，從圖像數(shù)據(jù)找到的橢圓顯示為白色。從攝像機圖像數(shù)據(jù)提取橢圓的方法可利用圖像分割(segmentation)法、霍夫變換(houghtransform)法等。圖像分割法是在圖像內(nèi)分離特定區(qū)域的技術，霍夫變換法是提取圖像內(nèi)特征的技術，其利用投票(voting)方法在圖像提取直線或圓成分。對于本領域技術人員來說，在圖像提取橢圓的技術是不言而喻的，因此省略對其的詳細說明。接下來，提取橢圓的輪廓(步驟S520)。圖8示出了從圖像提取的橢圓的輪廓線。橢圓的輪廓可以利用坎尼(Canny)、索貝爾(soble)、普里威特(prewitt)等一般檢測圖像邊緣(edge)的方法提取。對于本領域技術人員來說橢圓輪廓提取過程也是公知的，因此省略對其的詳細說明。接下來，設置在車輛上的攝像機的圖像中存在由攝像機的內(nèi)部參數(shù)(intrinsicparameter)引起的畸變，因此進行畸變校正(步驟S530)，將所提取的橢圓輪廓坐標變換為沒有畸變的圖像坐標。攝像機的內(nèi)部參數(shù)可以是透鏡的形狀引起的鏡頭畸變(lensdistortion)，這可以用泰勒級數(shù)表達。另一個內(nèi)部參數(shù)可以是表示CCD面板至透鏡中心的距離的焦距(focallength)以及在CCD面板上成像時表示實際圖像的中心點的圖像中心(imagecenter)。對每個攝像機可以事先計算出由攝像機內(nèi)部參數(shù)引起的畸變系數(shù)，圖9 中示出了這種由攝像機內(nèi)部參數(shù)引起的畸變校正前后橢圓的輪廓坐標。紅色(位于下方的兩個小橢圓)為畸變校正前的橢圓的輪廓坐標，藍色(位于上方的兩個大橢圓)為畸變校正后的橢圓的輪廓坐標。與圖8比較時，看起來橢圓的大小以及形狀不同是因為，在圖8的圖像中，作為基準點的左上角為(0，0)，相比之下，在圖9中，左下角為(0，0)。另外，以Y軸為基準，其范圍在圖8中是0～480，而在圖9中表示為270～370。接下來，基于橢圓輪廓坐標，計算出橢圓方程式(步驟S540)。計算橢圓方程式的方法是，利用橢圓擬合(ellipsefit)等圖像的邊緣信息，并利用相關區(qū)域的輪廓(contour)信息，計算與輪廓很好地匹配的橢圓的方法，可使用SVD或RANSAC算法等。對本領域技術人員來說橢圓方程式計算方式公知的，因此省略對其的詳細說明。利用橢圓方程式，計算出世界坐標和圖像之間的單應矩陣(步驟S550)。對于單應矩陣計算過程的詳細說明如下。在齊次坐標(homogeneouscoordinates)中，所有圓都如下表示。數(shù)學式1(x-aw)2+(y-bw)2＝r2w2其中，(x，y，w)是齊次坐標，(a，b，1)是圓的中心，r是圓的半徑。這時(1，i，0)T和(1，-1，0)T與a、b、r無關地始終滿足數(shù)學式1，因此，成為包含于所有圓的點。因此，這兩點是在復數(shù)平面上任意兩個圓交叉的點，該點稱作圓形點(circularpoint)。因此，在圖像中呈現(xiàn)為橢圓形態(tài)的圓始終在圓形點I和J具有交點。I和J可用如下坐標表示。I＝(1，i，0)T，J＝(1，-1，0)T，其中，i為世界坐標和所拍攝的圖像之間存在單應矩陣H和H-1，H和H-1可用如下的S、A、P的乘積表示。數(shù)學式2H-1＝SAPH＝(SAP)-1＝P-1A-1S-1其中，S表示相似(similarity)矩陣，A表示仿射(affinity)矩陣，P表 示投影(projectivity)矩陣。其中，表示為P-1=100010-l1l3-l2l3ll3,A-1=βα0010001.]]>α和β是仿射變換的系數(shù)，通過如下計算。其中是消失線(vanishingline)。α=-cos(φ)sin(φ)sin2(θ)cos2(φ)cos2(φ)+sin2(θ)]]>β=-cos(θ)cos2(θ)cos2(φ)+sin2(φ)]]>其中，φ為旋轉角(rotationalangle)，θ為仰角(elevationangle)。S-1=sr1sr2txsr3sr4ty001]]>對圓形點的變換不產(chǎn)生影響，因此可以省略。其中，s表示比例(scale)，r1～r4表示旋轉，tx、ty表示移動量。圓形點I和J是任意兩個圓相交的點，因此在圖像中相交的點也是圓形點I和J變換的點HI和HJ，因此如下表示。數(shù)學式4HI=P-1A-1I=P-1β+iαi0=β+iαi-l1l3(β+iα)-il2l3]]>HJ是HI的共軛復數(shù)。圖像中出現(xiàn)的橢圓全部在圖像上的兩點HI和HJ具有交點。為了方便，利用兩個橢圓時，兩個橢圓可用下式表示。數(shù)學式5d1x2+d2xy+d3y2+d4x+d5y+d6＝0e1x2+e2xy+e3y2+e4x+e5y+e6＝0求出數(shù)學式5的兩個橢圓的交點，代入到前面所述的HI，可求出P-1和A-1，在圖像中可求出頂視圖的單應矩陣H。此時，知道被拍攝的圓形圖案的直徑時，也能夠知道S-1的s(比例)。再次參照圖4，如前面所述算出單應矩陣H后，能夠通過以下過程推定世界坐標中存在的攝像機的位置(步驟S430)。世界坐標X和圖像坐標x之間存在使其相互匹配(mapping)的投影矩陣(projectionmatrix)P，用下式表示。數(shù)學式6x＝PX其中，P表示將世界坐標變換為攝像機圖像數(shù)據(jù)的圖像坐標的矩陣，如數(shù)學式7所示，可用攝像機的內(nèi)部參數(shù)K、世界坐標和攝像機坐標之間的旋轉變換R、在世界坐標中的攝像機坐標之間的移動量C表示。其中，內(nèi)部參數(shù)K可以包括X軸方向上的比例因子(scalefactor)、Y軸方向上的比例因子、歪斜(skew)、主點(principalpoint)位置等。數(shù)學式7P=KR[I|-C~]=K[r1r2r3|-RC~]]]>其中，單應矩陣H是頂視圖圖像(二維圖像)和攝像機圖像數(shù)據(jù)之間的變換矩陣，因此沒有Z軸變換，所以可看作P中去除r3的特殊情況，如下式表示。數(shù)學式8H=K[r1r2|-RC~]]]>此時，r3可通過r1和r2的外積求出，因此具有γ3＝γ1×γ2的關系。利用此關系可推理出r3，由此推理出P。在P中已知K和R，因此利用在前面求出的單應矩陣H和已知的K，在世界坐標能夠推理出攝像機的位置接下來，在圖像合成部240，利用在前面推定的攝像機位置信息和圖案信 息，將攝像機圖像數(shù)據(jù)變換為頂視圖圖像，對前方、后方、左側以及右側的頂視圖圖像進行合成，從而能夠生成AVM圖像數(shù)據(jù)(步驟S440)。在這里，在頂視圖圖像的合成過程中，通過對從第二圓形圖案321、323、325、327提取的橢圓進行圖案信息解析，能夠找準左右側區(qū)域的頂視圖圖像的水平，然后找準前后方區(qū)域的頂視圖圖像。圖10中示出了利用步驟S420中計算的單應矩陣來重建的頂視圖圖像，圖11中用紅色*(點)表示在步驟S430推定的攝像機位置。在所述本發(fā)明的AVM系統(tǒng)中生成頂視圖并推定外部參數(shù)的方法，可在計算機能夠讀取的記錄介質中，以可通過計算機能夠讀取的代碼實現(xiàn)。計算機可讀記錄介質包括存儲有可通過計算機系統(tǒng)解讀的數(shù)據(jù)的、所有種類的記錄介質。例如，ROM(ReadOnlyMemory：只讀存儲器)、RAM(RandomAccessMemory：隨機存取存儲器)、磁帶、磁盤、閃存、光數(shù)據(jù)存儲裝置等。另外，計算機可讀記錄介質分散在通過計算機通信網(wǎng)連接的計算機系統(tǒng)，可通過能夠以分散方式讀取的代碼存儲并被執(zhí)行。以上，參照本發(fā)明的優(yōu)選實施例進行了說明，本領域技術人員能夠在不超出權利要求范圍中所記載的本發(fā)明的思想以及范圍的情況下，對本發(fā)明進行修改以及變更。當前第1頁1 2 3