專利名稱：測量設(shè)備和控制方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種在攝像設(shè)備拍攝測量對象的圖像時使用 該測量對象的模型來測量該攝像設(shè)備的位置和方位的測量設(shè)備 和控制方法。
背景技術(shù)：
例如，在才是供現(xiàn)實空間和虛擬空間的組合顯示的混合現(xiàn)實 感系統(tǒng)中，需要測量拍攝現(xiàn)實空間的圖像的照相機(以下將其適 當稱為照相機)等的攝像設(shè)備的位置和方位。
過去，采用具有的已知3D位置的標記的方法是眾所周知的 用于測量攝像設(shè)備的位置和方位的方法。在該方法中，使用在 拍攝圖像中檢測到的標記在拍攝圖像內(nèi)的位置與通過基于攝像 設(shè)備的大致的位置和方位將標記的3 D位置投影在成像平面上 所獲得的投影位置之間的距離作為誤差，并且估計位置和方位 以便優(yōu)化使該誤差最小化的目標函數(shù)。而且，所采用的標記通 常具有特殊的易于檢測的幾何或色調(diào)相關(guān)的特征。
此外，已公開了 一種利用測量對象的模型來測量位置和方 位的方法，在該方法中，采用測量對象的結(jié)構(gòu)，并且將構(gòu)成測 量對象的平面的邊界視為邊緣。應(yīng)該注意，這里所使用的術(shù)語 "邊緣"是指在拍攝圖像中觀察到濃度的較大變化的區(qū)域。
Tom Drummond和Roberto Cipolla在"Real-time visual tracking of complex structures", IEEE Transactions of Pattern Analysis and Machine Intelligence. Vol. 24, No. 7， pp.932-946， 2002(以下稱之為文獻l)中說明了 一種借助作為測量對象的幾 何特征的線段(稱為測量線段)來估計位置和方位的方法。在該方法下，從攝像設(shè)備的大致的位置和方位來看，將測量線段的 三維位置投影在成像平面上，并且通過利用在拍攝圖像中所檢 測到的邊緣與投影測量線段之間的距離作為目標函數(shù)，來估計
<i置禾口方4立。
以下給出該技術(shù)的概述。
-使用大致估計的位置和方位，將來自測量對象的測量線段 投影在拍攝圖像上。
-通過搜索投影測量線段附近的拍攝圖像中的像素，獲得濃 度發(fā)生局部變化的邊緣區(qū)域的位置。
-執(zhí)行優(yōu)化，從而縮小投影測量線段與邊緣區(qū)域的位置之間 的距離。
-更新估計的位置和方位的值。
由于只要已知對象3D模型，就可以使用對象3D模型作為測 量設(shè)備的測量對象，因而這種基于使用測量對象中存在的測量 線段的位置和方位估計具有廣泛的應(yīng)用范圍。另外，在上述估 計中，拍攝圖像內(nèi)的邊緣搜索的范圍僅限于投影測量線段周圍 的圖像。因此，這提供如下優(yōu)點與在從整個拍攝圖像通過圖 像處理檢測邊緣時獲得模型的距離的方法相比，可以縮短處理 時間。因此，該位置和方位估計已用于頭部位置估計等的混合 現(xiàn)實感中需要實時處理的攝像設(shè)備的對準。
在文獻l中，使用形狀相對簡單的測量對象作為測量對象， 并且攝像設(shè)備與測量對象之間的距離改變也不大。因此，在視 野中的測量對象模型的方位發(fā)生微小變化時，在所觀察的邊緣 幾乎不發(fā)生變化，這使得位置和方位的估計成為可能。
在實際環(huán)境中，通常將測量對象的影子等視為邊緣，這通 常使得位置和方位估計不可靠。在L. Vacchetti, V. Lepetit和P. Fua的"Combining edge and texture information for real-timeaccurate 3D camera tracking", Proceedings of International Symposium on Mixed and Augmented Reality, pp. 48-57, 2004(以
下稱之為文獻2)中，將所觀察的多個邊緣的其中一個與測量線 段相關(guān)聯(lián)，并且進行優(yōu)化計算，從而最小化關(guān)聯(lián)邊緣與投影在 成像平面上的測量線段之間的距離。根據(jù)文獻2，在包括待測量 的邊緣以外的邊緣的環(huán)境中，可以利用用以通過重復(fù)使用上述 關(guān)聯(lián)相關(guān)的假定使得誤差最小化所執(zhí)行的收斂，來進行魯棒的 位置和方位估計。
迄今為止提出的方法在測量對象與觀察該測量對象的攝 像設(shè)備之間的相對位置關(guān)系變化不大時都可以很好地工作。然 而，當攝像設(shè)備與人的運動結(jié)合時，即，當人為了導(dǎo)航等握持 攝像設(shè)備本身并且移動時，就會出現(xiàn)問題。這些問題是由于以 下事實而引起的當人圍繞建筑物或在戶外行走時，測量對象 和攝像設(shè)備的相對位置發(fā)生相當大的變化。
這里，作為例子，圖2A 2H示出握持攝像設(shè)備的人正沿著 室內(nèi)走廊行走的情況。圖2A、 2C、 2E和2G表示從里面行走的 人的視點位置看到的建筑物結(jié)構(gòu)的邊緣。圖2B、 2D、 2F和2H 是示出從上面看的室內(nèi)環(huán)境的圖，其中，黑點表示正在行走的 人的位置，并且附加給黑點的三角形表示正在行走的人的注一見 方向。在圖2A、 2C、 2E和2G中的各位置所獲得的俯視圖對應(yīng) 于圖2B、 2D、 2F禾口2H。
如果觀察圖2A中門的邊緣和圖2C中門的邊緣，我們可以發(fā) 現(xiàn)盡管我們正在看同 一觀察對象，即，同一個門，但是由于 視點和對象的相對位置的不同，因而可以觀察到的圖像幾何特 征的結(jié)構(gòu)已改變。此外，圖2E和圖2G示出正在行走的人快速向 走來的方向回看的情況?？梢钥闯觯藭r，由正在行走的人觀 察到的對象從接近的門的邊緣突然變成向遠處延伸的走廊的邊緣。因此，在測量對象為室內(nèi)或室外結(jié)構(gòu)并且四處攜帶攝像設(shè)
備的應(yīng)用中，經(jīng)常發(fā)生圖2A、 2C、 2E和2G所示的視點變化。
當所觀察的對象和攝像設(shè)備的相對位置改變時，在拍攝圖 像上的投影和測量對象的幾何特征中出現(xiàn)問題。即，當觀察處 于相對遠離攝像設(shè)備的位置的詳細幾何特征時，投影圖像上相 互接近的投影幾何特征之間的間隔變窄，并且，在某些情況下， 可能將多個幾何特征投影在小于l個像素內(nèi)。為了處理這種情 況，設(shè)想根據(jù)幾何特征和攝像設(shè)備的相對位置關(guān)系來切換幾何 特征，但是，必需以系統(tǒng)方式預(yù)先設(shè)置幾何特征和攝像設(shè)備的
相對位置之間的關(guān)系。
然而，在可以回頭看的走廊等的環(huán)境中出現(xiàn)的難題是多個 模型之間的延遲切換。而且，基本上，難以檢測拍攝圖像中小 于l個像素的線段。因此，當接近的幾何特征處于遠處時，變得 難以在拍攝圖像內(nèi)的各個投影幾何特征中檢測到雙方的圖像幾 何特征，這就影響了估計結(jié)果。同時，由于根據(jù)接近的投影幾 何特征所獲得的圖像幾何特征搜索區(qū)域重疊，因而變得更加難 以實現(xiàn)有效處理。
此外，在用于獲得位置和方位的優(yōu)化計算過程中不得不重 復(fù)執(zhí)行非線性計算。因此，當對圖像幾何特征檢測等的處理花
費大量時間時，在達到足夠的精度之前就停止迭代。這在需要 視頻幀率的實時處理以及位置和方位的精度的混合現(xiàn)實感技術(shù) 中是不期望的。

發(fā)明內(nèi)容
考慮到上述問題做出了本發(fā)明，并且本發(fā)明提供一種可以 在不受攝像設(shè)備與測量對象之間的相對位置關(guān)系的影響的情況 下有效獲得攝像設(shè)備的位置和方位的測量設(shè)備和方法。根據(jù)本發(fā)明的一個方面，提供一種測量設(shè)備，用于測量用 于拍攝一 個或更多個測量對象的圖像的攝像設(shè)備相對于測量對 象的相對位置和方位，所述測量設(shè)備包括圖像獲取部件，用
于從所述攝像設(shè)備獲取拍攝圖像；投影部件，用于基于所述攝 像設(shè)備的位置和方位，將所述測量對象的3 D模型的幾何特征投 影到所述拍攝圖像上，以獲得投影幾何特征；選擇部件，用于 基于在所述拍攝圖像中所述投影幾何特征間的距離，從由所述 投影部件獲得的所述投影幾何特征中選擇要用于計算位置和方 位的投影幾何特征；以及計算部件，用于使用由所述選擇部件 選擇的所述投影幾何特征、以及在所述拍攝圖像中檢測到的與 所選擇的所述投影幾何特征相對應(yīng)的圖像幾何特征，來計算所 述攝像設(shè)備相對于所述測量對象的相對位置和方位。
根據(jù)本發(fā)明的另一方面，提供一種用于測量設(shè)備的控制方 法，所述測量設(shè)備用于測量用于拍攝一個或更多個測量對象的 圖像的攝像設(shè)備相對于測量對象的相對位置和方位，所述控制 方法包括如下步驟圖像獲取步驟，用于從所述攝像設(shè)備獲取 拍攝圖像；投影步驟，用于基于所述攝像設(shè)備的位置和方位， 將所述測量對象的3 D模型的各幾何特征投影到所述拍攝圖像 上，以獲得投影幾何特征；選擇步驟，用于基于在所述拍攝圖 像中所述投影幾何特征間的距離，從在所述投影步驟中獲得的 所述投影幾何特征中選擇要用于計算位置和方位的投影幾何特 征；以及計算步驟，用于使用在所述選擇步驟中選擇的所述投 影幾何特征、以及在所述拍攝圖像中檢測到的與所選擇的所述 投影幾何特征相對應(yīng)的圖像幾何特征，來計算所述攝像設(shè)備相 對于所述測量對象的相對位置和方位。
通過以下參考附圖對典型實施例的說明，本發(fā)明的其它特 征將顯而易見。


圖l是示出根據(jù)實施例l的測量設(shè)備的功能結(jié)構(gòu)的圖。
圖2A ~ 2H示出在視點變化時所觀察到的圖像幾何特征的 分布的差異。
圖3是說明實施例1的測量設(shè)備中所使用的圖像幾何特征 的搜索起點和搜索對應(yīng)點的圖。
圖4是示出根據(jù)本發(fā)明實施例的測量設(shè)備的功能結(jié)構(gòu)的圖。
圖5是示出在用于混合現(xiàn)實感應(yīng)用中時的根據(jù)本發(fā)明實施 例的測量設(shè)備的結(jié)構(gòu)的圖。
具體實施例方式
下面參考附圖詳細說明本發(fā)明的優(yōu)選實施例。
實施例1
圖l是示出測量設(shè)備100和攝像設(shè)備50的框圖。圖l示出測量 "i殳備100中的處理的流程和凄t據(jù)流。應(yīng)該注意，作為由未示出的 CPU執(zhí)行存儲在未示出的ROM或RAM中的控制程序的結(jié)果，部 分或全部實現(xiàn)以下示出的測量i殳備100的結(jié)構(gòu)。換句話i兌，可以 通過在常見計算機上執(zhí)行用于執(zhí)行下述處理的控制程序來實現(xiàn) 測量設(shè)備IOO。
在本實施例的測量設(shè)備100中，通過拍ii圖像輸入單元iio 和粗略輸入單元130(附圖中標記為"粗略位置/方位輸入單元") 來連接拍攝場景的圖像的攝像設(shè)備50、以及獲取攝像設(shè)備50的 大致的位置和方位的粗略測量設(shè)備70(附圖中標記為"粗略位置 /方位測量設(shè)備")。而且，從幾何特征輸入單元120獲取描述測 量對象對準所使用的幾何特征的測量對象的3 D模型6 0 。幾何特征輸入單元120可以被配置成從裝載的存儲介質(zhì)接受3D模型60 作為輸入(讀取)，或者可以被配置成通過網(wǎng)絡(luò)等從外部接受3D 模型60作為輸入。測量設(shè)備100的目的是在攝像設(shè)備50拍攝包 括通過測量對象的3D模型60所描述的測量對象的場景的圖像 時，使用拍攝圖像信息，以獲得攝像設(shè)備50相對于測量對象的 相對位置和方4立。
應(yīng)該注意，在本實施例中，允許測量^:備100進行位置和 方位估計的條件是在由攝像設(shè)備5 0拍攝的場景的拍攝圖像中 包括測量對象的圖像。應(yīng)該注意，當在拍攝圖像中沒有測量對 象的圖像時，可以"照原樣"使用粗略測量設(shè)備70的測量值。
攝像設(shè)備50是利用由CCD或CMOS元件構(gòu)成的光電轉(zhuǎn)換元 件的2D攝像設(shè)備。而且，攝像設(shè)備50通過拍攝圖像輸入單元110 將視頻信號發(fā)送給測量設(shè)備IOO。拍攝圖像輸入單元110被配置 成允許通過信號線纜(線路)或無線地進行視頻信號的傳送。此 外，可以釆用將攝像設(shè)備50包含在測量設(shè)備100中的形式，或者 采用將用于實現(xiàn)測量設(shè)備10 0的處理的結(jié)構(gòu)包含在攝像設(shè)備5 0 的處理器中的形式。
測量對象的3D模型60是包括測量對象的3D幾何信息的模 型，并且包括作為由攝像設(shè)備50拍攝的圖像中的邊緣所檢測到 的幾何特征。總的來說，可以使用CAD和其它設(shè)計數(shù)據(jù)作為3D 模型60。而且，還可以配置3D模型60以允許輸入由測量裝置所 測得的值作為3D模型。應(yīng)該注意，商品化的3D測量應(yīng)用程序可 以用于編輯3D模型。此外，還可以利用測量工具測量建筑物中 的墻表面和門的邊緣。在本實施例中，假定在可以附接到測量 設(shè)備10 0并可以從測量設(shè)備10 0移除的存儲介質(zhì)上提供目標測量 對象，以允許測量設(shè)備100切換測量對象。因此，利用能夠從可 移動存儲介質(zhì)讀取數(shù)據(jù)的接口來安裝測量設(shè)備10 0的幾何特征輸入單元120。
另一方面，當處理現(xiàn)有固定測量對象時，可以使用非易失
性存儲器或存儲介質(zhì)將3D模型信息包含在測量設(shè)備100中。即， 可以在執(zhí)行測量之前以某種方式將測量對象的3D模型60提供 給測量設(shè)備IOO。因此，可以通過存儲在外部存儲介質(zhì)上的多個 3D模型來指定3D模型60,以及可以通過網(wǎng)絡(luò)從遠程服務(wù)器獲取 3D才莫型60。
此外，由于測量設(shè)備100可以包含可從拍攝圖像檢測到的 幾何特征數(shù)據(jù)，因而測量設(shè)備100可以被配置成包括用于轉(zhuǎn)換各 種31)模型數(shù)據(jù)格式的處理單元。
粗略測量設(shè)備70是用于提供攝像設(shè)備50的大致的位置和 方位的設(shè)備?？梢允褂脺y量6DoF(六自由度)，即，使用磁場或 超聲波的傳感器在空間中的位置和方位的設(shè)備。應(yīng)該注意，還 可以利用通過設(shè)置已知位置處的具有圖形特征的標記并從拍攝 圖像檢測這些標記而獲得的攝像設(shè)備50的粗略位置和方位。
而且，由于只要理解攝像設(shè)備50相對于測量對象的大致相 對位置和方位就足夠了，因此， 一旦可以使用測量設(shè)備100獲得
高精度的位置和方位，則可以在以后利用這些位置和方位結(jié)果。 因此，如果在將攝像設(shè)備50置于預(yù)定初始位置之后啟動了位置 和方位測量，則可以不需要粗略測量設(shè)備70。這樣，用于獲得 粗略位置和方位的方法對本發(fā)明的實施不施加限制，并且可以 使用任何方法來獲取位置和方位。
接著將說明位置和方位測量設(shè)備10 0的結(jié)構(gòu)。 位置和方位測量設(shè)備100包括輸入單元，用于輸入來自 其它裝置的信息；處理單元，用于基于來自輸入單元的信息， 估計攝像設(shè)備相對于測量對象的相對位置和方位；以及輸出單 元，用于輸出攝像設(shè)備的位置和方位，從而其它裝置可以使用該攝像設(shè)備的位置和方位。下面說明作為用于輸入的單元的拍 攝圖像輸入單元110、幾何特征輸入單元120以及粗略輸入單元
130。
首先，給出對于用以獲取拍攝圖像的攝像設(shè)備50的結(jié)構(gòu)的 說明。通過拍攝圖像輸入單元110將攝像設(shè)備50連接到測量設(shè)備 100。在本實施例中，假定拍攝圖像輸入單元110具有用于視頻 信號輸入的連接器，該連接器與符合視頻信號輸出規(guī)格的、攝 像設(shè)備50的—見頻輸出端連接。
接著，將給出關(guān)于測量對象的3D模型60的讀取的說明。假 定3D模型60的格式是測量設(shè)備100支持的格式。應(yīng)該注意，在 處理設(shè)計CAD數(shù)據(jù)的情況下，幾何特征輸入單元120具有相應(yīng) 的CAD格式分析能力，這使得可以處理任何模型數(shù)據(jù)。假定從 各個模型格式提取并保持與圖像幾何特征相對應(yīng)的模型數(shù)據(jù)，
從而在拍攝圖像中檢測用于估計設(shè)備的位置和方位的測量對 象。換句話說，幾何特征輸入單元120基于根據(jù)粗略測量設(shè)備70 的攝像設(shè)備50的位置和方位，選擇拍攝圖像中存在的測量對象 的模型，并且保持該模型。
在本實施例中，假定幾何特征包括一條或多條線段，并且 針對各線段至少包含兩個點，即，3D起點和終點。應(yīng)該注意， 如下所述，可以通過剪切(clip)生成起點和纟冬點兩者。如果以通 過幾何特征建立的模型坐標系表示構(gòu)成線段的各點的坐標，貝'J 可以通過參考模型坐標系中的位置和方位與在擴展成實際空間 尺度期間所使用的比例因子，將起點和終點兩者與現(xiàn)實空間相 匹酉己。
接著將說明從粗略測量設(shè)備70獲取粗略位置和方位。假定 粗略測量設(shè)備70基于來自隨同攝像設(shè)備50移動的傳感器的信 息，測量攝像設(shè)備的大致位置和方位。在本實施例中，假定通過串行通信獲取粗略測量設(shè)備70的信息。粗略輸入單元130通過 串行通信，從粗略測量設(shè)備70荻取安裝有傳感器的攝像設(shè)備50 的大致位置和方位。此外，可以在粗略輸入單元130或粗略測量 設(shè)備70中對適當?shù)膫鞲衅鬟M行偏移調(diào)整。
接著說明本實施例中的測量設(shè)備100的位置和方位估計所 涉及的處理。
通過參考水平同步信號和垂直同步信號，圖像獲取單元 200對通過拍攝圖像輸入單元110傳送的拍攝圖像，即，攝像設(shè) 備50的視頻信號進行采樣，并且將該拍攝圖像保存為2D圖像數(shù) 據(jù)。假定與攝像設(shè)備5 0的攝像定時同步地執(zhí)行測量設(shè)備10 0的各 單元所進行的處理。從攝像設(shè)備50輸出的視頻同步信號可以用 于確認攝像定時。而且，當期望在攝像設(shè)備50中使用低偏斜光 學(xué)元件時，在使用表現(xiàn)偏斜的光學(xué)元件的情況下，可以預(yù)先校 準該鏡頭的偏斜，并使用該偏斜進行校正。更具體地，圖像獲 取單元2 0 0保持以數(shù)學(xué)模型的形式來近似正使用的鏡頭的偏斜 的參數(shù)。當其它處理單元(例如，圖像幾何特征搜索單元600) 檢查拍攝圖像的像素濃度時，圖像獲取單元200使用所保持的參 數(shù)來對偏斜進行校正，并提供該像素濃度。這樣，檢查像素濃 度的處理單元可以檢查基于鏡頭偏斜校正等式校正后的像素位 置處的濃度，這還使得可以在允許近似的偏斜范圍內(nèi)維持拍攝 圖像中的邊緣的線性。
接著說明由本實施例中的測量設(shè)備10 0的幾何特征投影單 元300所進行的處理。假定這里所使用的"幾何特征"由起點和終 點這兩點組成。而且，假定已將幾何特征的坐標系轉(zhuǎn)換成基于 基準坐標系的表示。
基準坐標系中的點的坐標[xw， yw, Zw]t和照相機坐標系中 的拍攝圖像中的坐標[ux Uy]使用透視投影變換的矩陣P以如下方式相關(guān)。 等式l<formula>formula see original document page 16</formula>
這里，獲h 4卡為齊次坐才示變4奐表示(homogeneous coordinate transformation representation), 并且使用所獲得的h 計算[UxUy]T。而且，如果元素為R"、 R12、 R13、 R21、 R22、 R23, R31、 R32和R33的矩陣R(3x3矩陣)是基準坐標系中的方位旋轉(zhuǎn)矩 陣，并且1=[" ty tz]是平行移動矢量，則可以以下面的方式表示 上面的等式中的P。
等式2<formula>formula see original document page 16</formula>
這里，fx、 fy是水平和垂直方向上的焦距，并且Px、 Py是水
平和垂直方向上的主點坐標。
如果預(yù)先校準了與攝像設(shè)備50中使用的光學(xué)元件的偏斜
有關(guān)的參數(shù)，則上面的等式的參數(shù)中的參數(shù)fx、fy和Px、 Py變?yōu)?br> 已知值。此外，盡管作為照相機的方位分量的R具有9個分量，
但是使用關(guān)于三個獨立矢量的旋轉(zhuǎn)所產(chǎn)生的表示就足夠了 。因 此，使用通過三個變量表示關(guān)于旋轉(zhuǎn)軸的旋轉(zhuǎn)角度的方法，來 表示旋轉(zhuǎn)變換。即，如果旋轉(zhuǎn)軸的矢量為k^d，并且旋轉(zhuǎn)角
度為ra,則將按如下表示旋轉(zhuǎn)矩陣R。 等式3(1 - cos ) + cos r。 (1 - cos r。) - /;sim; r,義(1 - c。s ra ) + sin/; ^ (1 - cos ra) + ^sim; rv2 (1 - cos r。) + cos ,。 r》,z (1 - cos r。) - ,,inr。 W (1 - cos r。) - r,im; (1 - cos r。) + —r。
(1 - cos r。) + cos r。
應(yīng)該注意，在相對于旋轉(zhuǎn)軸，1^2+1^2+1"22=1的條件下，并且 方位為co，則下面的等式成立。 等式4
幾何特征的起,泉和終點可以經(jīng)過透視j殳影變換，并且被變 換成照相機坐標系中的拍攝圖像內(nèi)的點。
實際上，通過對依靠光學(xué)元件在CCD或CMOS等成^象元件 上形成圖像的光進行采樣來獲得拍攝圖像。因此，成像元件的 范圍是預(yù)先確定的。幾何特征投影單元3 0 0僅保持起點或終點包 含在拍攝圖像區(qū)域中的幾何特征，作為透視投影變換計算的結(jié) 果。當在拍攝圖像區(qū)域內(nèi)僅包括幾何特征的一個點，即，或者 起點或者終點時，使用該線段與拍攝圖像區(qū)域的邊界的交點作 為新的起點或終點。這樣的處理是在計算機圖形中稱為"剪切" 的典型處理。
此外，在現(xiàn)實環(huán)境下，投影幾何特征有時存在于投影幾何 特征被其它對象遮擋并且不能觀察到該投影幾何特征的位置。 在這種情況下，如在上述文獻l中所述，可以使用關(guān)于由多個幾 何特征所構(gòu)成的3D模型表面的信息來判斷是否可以觀察到投 影幾何特征。
接著說明投影幾何特征選擇單元400。投影幾何特征選擇 單元400使由幾何特征投影單元300所投影的各個幾何特征經(jīng)過 基于畫面(拍攝圖像中的)上的幾何特征之間的距離來判斷是否 將它們用于位置和方位計算的處理。首先，投影幾何特征選擇單元400獲得投影幾何特征在拍 攝圖像中的距離。這里，給出對于第i個投影幾何特征的說明。
第i個投影幾何特征的起點為Ps(i^[xSi, ySi]T,并且其終點為 Pe(i)==[xei， yej]T。以下面的方式計算投影幾何特征在拍攝圖像 中的距離Di。 等式5
當距離Di短于預(yù)定閾值D'時，判斷為該投影幾何特征將不 用于獲得隨后的邊緣的距離的處理。另一方面，當距離Di的長 度等于或大于D'時，假定該投影幾何特征隨后將用于基于邊緣 距離的位置和方位估計處理。
應(yīng)該注意，當位置和方位發(fā)生微小變化時，投影長度幾乎 保持相同，這允許在重復(fù)位置和方位估計處理時基于距離I)i的 值的緩存的有效處理。
此外，在本實施例中，基于該投影幾何特征和其它投影幾 何特征之間的相互距離，對是否使用該投影幾何特征進行判斷。 在本實施例中，對于已經(jīng)過投影變換的第i個投影幾何特征的起 點Ps(i)和終點Pe(i),獲得與直到第(i-1)個投影幾何特征為止的 處理后的投影幾何特征中所選擇使用的投影幾何特征的起,#、和 終點的距離。應(yīng)該注意，第i個投影幾何特征的起點Ps(i)和終點 Pe(i)分別是Ps(i)二[xSj ySi]T和Pe(i)^xei yej]T。然后，將最短距離 與預(yù)定閾值進行比較，并且判斷為將不使用小于該闊值的距離。
作為上述處理的結(jié)果，在投影圖像中的平行和相鄰的投影 幾何特征中，不使用作為與已選擇使用的線段鄰近的線段或判 斷為具有等于或小于D'的長度的線段。作為執(zhí)行這些選擇操作 的結(jié)果，減少了進行下述的拍攝圖像中的邊緣搜索的圖像區(qū)域中的值檢查的頻率，并且可以執(zhí)行有效處理。此外，使用鄰近 投影幾何特征的邊緣搜索區(qū)域的重疊，使得可以動態(tài)處理由于 攝像設(shè)備和測量對象之間的位置關(guān)系的變化而觀察到的邊緣變 化。此外，作為不使用判斷為具有等于或小于D'的長度的線段 的結(jié)果，從經(jīng)過計算的項中排除不允許獲得足夠信息來確定線 段方向的線段。
接著，對于已經(jīng)過幾何特征投影單元300的透視投影變換 的投影幾何特征中由投影幾何特征選擇單元400所選擇使用的 投影幾何特征，投影幾何特征搜索設(shè)置單元500計算用于在拍攝 圖像中執(zhí)行邊緣搜索的點。接著參考圖3說明對于投影幾何特征 搜索設(shè)置單元500的圖像幾何特征的搜索起點和搜索相應(yīng)點(搜 索終點)的設(shè)置。
在圖3中，給出第i個投影幾何特征(本實施例中的投影測量 線段)301的說明。第i個投影幾何特征301的起點在Ps(i)=[xsi, ysif,并且其終點在Pe(ih[xei， yei]T。通過下面的等式表示連接 Ps(i)和Pe(i)的矢量Vj:
等式6
并且通過下面的等式表示標準化矢量 等式7<formula>formula see original document page 19</formula>
接著，沿著連接Ps(i)和Pe(i)的線段設(shè)置等距的搜索起點 c(i,m)。這里，m的范圍是0 Mi,其中，使用預(yù)定搜索線段間隔 B根據(jù)下面的等式獲得Mi。
等式8<formula>formula see original document page 20</formula>
在上面的等式中，[](高斯符號)表示沒有超過給定數(shù)的最大
整數(shù)。使用作為結(jié)果的Mi,實際搜索間隔bi為 等式9
然后，通過下面的等式表示搜索起點C(i,m):
等式IO
從搜索起點C(j,m)開始在與測量線段垂直的方向上執(zhí)行拍攝 圖像中的邊緣的搜索。搜索范圍是從各搜索起點C(i,m)開始并且 延伸到搜索相應(yīng)點S + (i，m)和S —(i，m)的線段區(qū)域，其中，橫過該線段 區(qū)域進行邊緣即圖像幾何特征的搜索。如果投影測量線段的標 準化矢量7,的法向矢量為,那么下面的關(guān)系成立
等式ll
下面還將上述的法向矢量指定為"標準化法向矢量Vii""。
如果從搜索相應(yīng)點到搜索起點的距離為d,則搜索相應(yīng)點
S + (,，m)的位置將為
等式12
,s'V,) =c(,,') +<，
并且，對側(cè)的搜索相應(yīng)點S —(i，m)的位置將為
等式13
r(',"o =c(,, ，) _^丄.應(yīng)該注意，在將這里的標準化法向矢量VL的方向設(shè)置成與 投影幾何特征垂直時，完全可以將搜索方向設(shè)置成允許在投影 幾何特征附近搜索圖像幾何特征的方向。
具體地，可以4吏用通過在上、下、左和右四個方向上、或 者在另外還包括右上、右下、左上和左下的八個方向上對標準 化法向矢量Vjj進行量化所獲得的矢量。選擇相對于標準化法向 矢量V」j具有小差異的標準化矢量方向，使得可以有效處理圖像
幾何特征搜索。
此外，還可以預(yù)先在3D模型中描述幾何特征搜索方向，并 且使用通過使搜索方向經(jīng)過透視投影變換所產(chǎn)生的矢量。
圖像幾何特征搜索單元600基于從圖像獲取單元200所獲 得的拍攝圖像中由投影幾何特征搜索設(shè)置單元5 0 0所設(shè)置的搜 索起點和搜索相應(yīng)點之間的像素濃度，檢測圖像幾何特征。例 如，圖像幾何特征搜索單元600檢測讀取的相鄰像素的濃度具有 (超過預(yù)定閾值的點中的)明顯濃度梯度的點，并且保持此時感 興趣的像素的位置作為圖像幾何特征檢測位置。
此外，增加處理的總效率的有效方法是參考從圖像獲取 單元200獲取圖像時開始已經(jīng)歷的時間，并判斷已經(jīng)歷的時間是 否超過預(yù)定值，如果超過預(yù)定值，則設(shè)置為中斷檢測處理。
計算單元700(附圖中標記為"位置/方位計算單元")基于拍 攝圖像中由圖像幾何特征搜索單元600所檢測到的圖像幾何特 征的位置和與該位置相對應(yīng)的測量對象的投影測量線段的位置 之間的距離，計算并更新測量對象和攝像設(shè)備的相對位置和方 位。這里，給出關(guān)于計算單元700的攝像設(shè)備的位置和方位的計 算和更新的處理的說明。
通過執(zhí)行優(yōu)化計算，從而減小根據(jù)估計的位置和方位所觀 察到的測量對象的幾何特征的投影位置與所觀察到的實際拍攝圖像平面上的圖像幾何特征的位置之間的差，可以獲得攝像設(shè) 備的更新后的位置和方位。在本實施例中，如上所述，使用測 量線段作為幾何特征。
這里，將所觀察到的圖像幾何特征的位置與測量對象的幾 何特征的投影位置之間的距離當作誤差，并且使用該誤差作為 誤差函數(shù)E。誤差函數(shù)E接受照相機的位置t二 [txty tz]T、根據(jù)關(guān)
于旋轉(zhuǎn)軸的淡:轉(zhuǎn)角度的照相才幾的方位ro = [cox coy 2]7和基準坐 標系中的所觀察到的目標點的位置Xw二 [xwywzw]T，作為輸入。
如果投影位置為U' = [U'x U'y]T,并且所觀察到的位置為U =
l U x U y ],則可以由它們的差來表示拍攝圖像的誤差函數(shù)。
等式14
<formula>formula see original document page 22</formula>
總的來說，位置和方位與觀察目標點的位置之間的關(guān)系是 非線性的，這是為什么通過上述等式所表示的誤差函數(shù)E對于 輸入也是非線性函數(shù)的原因。由于在本實施例中使用線段作為
投影幾何特征，因而投影點為U" = [U"x U"y]T，其中該投影點使 通過邊緣搜索檢測到的觀察點U = [Ux Uy]T與通過從該點向投影
線段繪制法線所獲得的交點相匹配。在這種情況下，使用等式
15作為誤差函數(shù)。 等式15
<formula>formula see original document page 22</formula>
如果在攝像設(shè)備的位置和方位經(jīng)過微小變化的范圍中對 于上述等式的線性近似使用 一階泰勒展開，則可以以下面的方
式重寫該等式。
等式16<formula>formula see original document page 23</formula>
通過將該等式的左右部分乘以J的轉(zhuǎn)置矩陣JT，可以按照下
面表示校正矢量A的等式。 等式18
<formula>formula see original document page 23</formula>
進行更新直到校正矢量A的值減小為止，這使得可以獲得 高精度的位置和方位。盡管上述方法示出基于牛頓法的解法， 但是顯然可以使用其它方法進行優(yōu)化計算。
應(yīng)該注意，由于眾所周知的非線性優(yōu)化技術(shù)能夠足以減小 圖像幾何特征的位置與通過將測量對象的幾何特征投影到拍攝 圖像上所獲得的投影幾何特征的位置之間的所觀察到的圖像中的距離，因而在本實施例中可以應(yīng)用這些非線性優(yōu)化技術(shù)。例
如，存在這樣一種方法對于大致估計的位置和方位，生成大
量顯示變量值附近的微小差的隨機組合，獲得各組合的誤差， 并利用具有小誤差值的組合。
而且，假定如果通過計算單元700處理后的誤差低于預(yù)定 值，則終止基于相應(yīng)的拍攝圖像的位置和方位估計，并且通過 輸出單元140輸出該結(jié)果(攝像設(shè)備80的位置和方位)。如果該誤 差大于預(yù)定值，則將更新后的位置和方位傳遞給幾何特征投影 單元300,并且使用更新后的位置和方位執(zhí)行基于邊緣搜索結(jié)果 的位置和方位估計。如果在計算單元700中所進行的更新的次數(shù) 超過預(yù)定值，則意味著不能平穩(wěn)進行位置和方位的估計。在這 種情況下，在本實施例中，將粗略輸入單元130的值輸出給輸出 單元140?；谶@種處理，測量設(shè)備100可以輸出位置和方位計 算結(jié)果，雖然它們表示低精度粗略位置和方位。此時，還可以 將表示是否已精確地判斷了位置和方位的值輸出給輸出單元 140。通過進行這些處理，該設(shè)備可用于允許測量設(shè)備100的用 戶判斷是否將輸出的位置和方位測量值校正成高精度。例如， 在利用混合現(xiàn)實感技術(shù)的應(yīng)用中，假定連續(xù)執(zhí)行位置和方位測 量，并且表示位置和方位測量處理沒有成功的信息使得可以更 改應(yīng)用程序所進行的處理。
應(yīng)該注意，盡管以上給出的說明是關(guān)于獲得位置和方位的 所有六個參數(shù)的情況，但是，相同技術(shù)還可應(yīng)用于通過其它方
式獲得一些參數(shù)并隨后獲得其余參數(shù)的情況。例如，可以以類 似方式處理在將攝像設(shè)備安裝在三角架上的環(huán)境下獲得方位的 情況，或者處理使用用于測量相對于重力軸的傾斜的傳感器所 產(chǎn)生的測量值傾斜角度來優(yōu)化位置和方位的四個參數(shù)的情況。 應(yīng)該注意，盡管上述實施例l示出了使用構(gòu)成測量對象的3D模型的線段作為幾何特征的情況，但是在實際實施中不局限 于使用線段。例如，即使幾何特征為點、圓、橢圓等，都可以 應(yīng)用本發(fā)明。
例如，如果幾何特征為點，則投影圖像中點的分布根據(jù)攝 像設(shè)備和測量對象的相對位置而變化。如果已投影在投影圖像 上的點與拍攝圖像中的幾何特征的投影點之間的距離小于一個 像素，則將難以分離并檢測各個圖像幾何特征。因此，通過在 本實施例中使用的投影幾何特征選擇單元400中進行與上述實 施例中的相同處理，可以解決這一問題。
如上所述，根據(jù)實施例l，基于投影幾何特征的位置關(guān)系， 適當選擇用于位置和方位計算的幾何特征。因此，可以以有效 方式獲得攝像設(shè)備的位置和方位，而不受攝像設(shè)備和測量對象 的相對位置的影響。
實施例2
上述實施例l說明了這樣一種方法，在該方法中，在拍攝圖 像中搜索與投影幾何特征的位置相對應(yīng)的圖像幾何特征，并且 估計位置和方位，以降低它們之間的距離。在檢測拍攝圖像中 的圖像幾何特征期間所進行的線段的檢測中，可以使用普通 Sobel算子和Canny算子。這里，將拍攝圖像中通過圖像處理所 檢測到的線段(將其適當?shù)胤Q為邊緣)稱為邊緣元素。
關(guān)于投影幾何特征和邊緣元素的匹配，假定獲得了粗略位 置和方位，可以將處于投影幾何特征附近的邊緣中具有類似長 度、方向等的邊緣處理相關(guān)聯(lián)，并且可以估計位置和方位，以 縮小與這些邊緣元素的距離。在這種情況下，可以通過根據(jù)拍 攝圖像中的距離確定幾何特征的使用來減少多余的關(guān)聯(lián)處理。
實施例3
當測量對象是描述整個建筑物結(jié)構(gòu)的模型等的具有很大線段的3 D模型時，位置和方位估計所需的幾何特征根據(jù)攝像設(shè)備 50和測量對象之間的距離，經(jīng)過相當大的變化。因此，如果不 能以有效方式進行處理，則難以在照相機的成像間隔內(nèi)進行位 置和方位估計。在實際實施中，在拍攝圖像中，位置和方位估 計所需的幾何特征可以具有特定長度，并且可以具有各種方向。 因此，因為即使中斷了圖像幾何特征搜索處理，也能夠完 成位置和方位估計所需的幾何特征的處理，因而，考慮位置和 方位估計所需的幾何特征的處理順序的處理，使得可以處理很 大的幾何特征，同時維持位置和方位的精度。
圖4是示出具有幾何特征排序單元800的實施例3的測量設(shè) 備100的結(jié)構(gòu)的流程圖，其中，幾何特征排序單元800表示確定 模型的處理順序的幾何特征排序部件。應(yīng)該注意，除幾何特征 排序單元800以外，圖4所示的結(jié)構(gòu)與實施例l(圖l)的結(jié)構(gòu)相同。 因此，這里給出的說明集中于幾何特征排序單元800所進行的處 理。
在實施例3中，假定如果幾何特征為線段，則幾何特征排 序單元8 0 0計算拍攝圖像中的投影幾何特征的長度，并且從最長 至最短對它們進行排序。而且，如果使用線段附近所分布的點 和像素作為幾何特征，則可以使用定義像素分布的分布值來進
行排序。應(yīng)該注意，盡管這里的說明是參考投影幾何特征的長 度這一情況，但是在實際實施中，為了能夠?qū)崿F(xiàn)實施例3的效果， 進行排序使得可以以優(yōu)先方式處理位置和方位估計期間允許有 效圖像幾何特征檢測的線段就足夠了 。
例如，存在這樣一種排序方法升高拍攝圖像中允許容易 的圖像幾何特征檢測的幾何特征的優(yōu)先程度。在初始化期間，
將所有優(yōu)先程度設(shè)置成"未檢測"，其后，使所有投影幾何特征 經(jīng)過一次檢測。接著，保存在拍攝圖像中的圖像幾何檢測期間所獲得的相鄰像素之間的濃度差，并且使用濃度差進行排序。 而且，這可以應(yīng)用于以下情況如果注—見方向改變，并且爿見察 幾何特征變得不同，則基于邊緣搜索處理動態(tài)地改變優(yōu)先程度
被設(shè)置為"未檢測"的幾何特征。而且，在幾何特征投影單元300
中轉(zhuǎn)換成照相機坐標系的轉(zhuǎn)換期間，還計算從照相機視點位置
開始的幾何特征的深度方向。因此，幾何特征排序單元800從深 度方向靠近該視點的特征開始進行排序，作為結(jié)果，可以首先 處理對于位置和方位精度具有顯著影響的邊緣。
而且，還可以使用這樣一種方法將保持預(yù)定數(shù)量的幾何 特征的排序結(jié)果的表保存在幾何特征排序單元800中，并且不保 存超過該預(yù)定數(shù)量的結(jié)果，這在使處理更有效方面是有效的。
實施例4
接著示出將上述實施例中所述的測量設(shè)備100應(yīng)用于混合 現(xiàn)實感的例子。
圖5是示出將根據(jù)實施例5的測量設(shè)備10 0應(yīng)用于基于混合 現(xiàn)實感技術(shù)將虛擬對象CG與測量對象合成的方式的示意圖。在 圖5中，測量對象10是形狀已知的3D對象。假定由多個面構(gòu)成 具有曲面的構(gòu)成面。而且，觀察測量對象的角度不局限于特定 方式。
通過拍攝圖像輸入單元110將攝像設(shè)備5 0所拍攝的圖像輸 入給測量設(shè)備IOO。而且，為了合成圖像，還將攝像設(shè)備50連接 到色度4建合成i殳備(chroma隱key compositing apparatus)920的圖 像輸入單元921。假定已將測量對象10的3D模型60登記在測量 設(shè)備100中。
當在拍攝圖像中存在測量對象10時，測量設(shè)備100使用輸 出單元140輸出攝像設(shè)備50的位置和方位測量的結(jié)果。CG描繪 設(shè)備910通過輸入單元911從測量設(shè)備100接受攝像設(shè)備50的位置和方位。CG描繪設(shè)備910使用從輸入單元911輸入的位置和方
位作為CG視點位置，并且使虛擬對象經(jīng)過CG描繪，從而將描 繪的圖像輸出給CG圖像輸出單元912。這里，CG描繪設(shè)備910 在測量對象10上描繪作為虛擬對象的兩個圓柱體941 ，并且使用 CG圖像輸出單元912輸出虛擬對象CG圖像940等的圖像。應(yīng)該 注意，虛擬對象CG圖像940的背景顏色是由色度鍵合成設(shè)備920 所設(shè)置的色度鍵匹配顏色。
色度鍵合成設(shè)備920從圖像輸入單元921接受攝像設(shè)備50 的拍攝圖像作為輸入，并且從色度鍵目標圖像輸入單元922取得 虛擬對象CG圖像940。然后，色度鍵合成設(shè)備920合成虛擬對象 CG圖像940與拍攝圖像，其中，在虛擬對象CG圖像940中，具 有色度4建匹配顏色的區(qū)域為透明，并且^f吏用色度4建合成圖像輸 出單元923輸出所生成的合成圖像930。作為上述處理的結(jié)果， 將輸出的合成圖像930變成圖像，在該圖像中，具有在拍攝的測 量對象上描繪的兩個圓柱體941，即，虛擬對象。
根據(jù)實施例4，為了檢查組件與組件的千涉，可以在畫面 上與使用CAD所設(shè)計的虛擬組件一起觀察實際組件。而且，由 于操作者通過觀看頭安裝顯示器(HMD: Head Mount Display) 上的合成圖像930可以容易地進行上述檢查，因而這是優(yōu)選的。
如果將注視方向設(shè)置在與此時的攝像設(shè)備的方向相同的 方向上，則頭部單元的位置和方位可以與正觀察的現(xiàn)實空間一 致，這使得可以預(yù)期基于混合現(xiàn)實感來提高可操作性。此外， 可以使用單個計算機程序?qū)崿F(xiàn)測量設(shè)備IOO、 CG描繪設(shè)備910 和色度鍵合成設(shè)備920。
根據(jù)上述實施例，可以以有效方式獲得攝像設(shè)備的位置和 方位，而不受攝像設(shè)備和測量對象之間的相對位置關(guān)系的影響。
其它實施例
28盡管作為本發(fā)明典型實施例說明了上述典型結(jié)構(gòu)，但是， 通常，使用實現(xiàn)本發(fā)明的處理部件的設(shè)備和照相機就足夠了 。 例如，如果以在蜂窩式電話或便攜式計算機上實現(xiàn)本發(fā)明的處 理配置的程序的形式執(zhí)行處理，則獲得相同效果。此外，還可 以4吏用位置和方位測量結(jié)果實現(xiàn)用于呈現(xiàn)與鄰近i殳施和位置有 關(guān)的信息的二維服務(wù)。
盡管上面說明了 一些實施例，但是本發(fā)明可以有例如系 統(tǒng)、裝置、方法、程序或存儲介質(zhì)等實施例。具體地，本發(fā)明 可應(yīng)用于由多個裝置構(gòu)成的系統(tǒng)、也可應(yīng)用于由單個裝置構(gòu)成 的設(shè)備。
應(yīng)該注意，本發(fā)明包括以下情況通過直接或遠程向系統(tǒng) 或設(shè)備提供軟件程序，并允許該系統(tǒng)或設(shè)備的計算機讀取并執(zhí) 行所提供的程序代碼，來實現(xiàn)上述實施例的功能。在這種情況 下，所提供的程序?qū)?yīng)于在實施例的附圖中所示的流程圖。
因此，由于可以在計算機上實現(xiàn)功能處理這一情況，因而 安裝在計算機上的程序代碼可以實現(xiàn)本發(fā)明。
在這種情況下，只要具有程序的功能，實施例可以采用各 種形式，例如對象代碼、由解釋程序執(zhí)行的程序、提供給OS的 腳本數(shù)據(jù)等。
以下介質(zhì)可用作用于提供該程序的計算機可讀存儲介質(zhì)。 例如，存儲介質(zhì)可以為軟(floppy "W)盤、硬盤、光盤、磁光盤、 MO、 CD-ROM、 CD-R、 CD-RW、磁帶、非易失性存儲卡、ROM 或DVD(DVD陽ROM、 DVD畫R)等。
另外，使用客戶端計算機上的瀏覽器連接到因特網(wǎng)主頁， 并且從該主頁將本發(fā)明的計算機程序下載到硬盤或其它記錄介 質(zhì)上，這可以作為提供該程序的方法。在這種情況下，下載的 程序可以是具有自動安裝功能的壓縮文件。而且，還可以通過
29將構(gòu)成本發(fā)明的程序的程序代碼分成多個文件，并且從不同主 頁下載各文件，來實現(xiàn)本發(fā)明。換句話說，允許多個用戶下載 在計算機上實現(xiàn)本發(fā)明的功能處理所使用的程序文件的WWW 服務(wù)器也包括在本發(fā)明中。
而且，可以采用以下形式對本發(fā)明的程序進行加密，將 加密后的程序存儲在CD-ROM或其它存儲介質(zhì)上，并且將其分 發(fā)給用戶。在這種情況下，可以允許滿足一定條件的用戶通過 因特網(wǎng)從主頁下載解密加密所使用的密鑰信息，并且使用該密 鑰信息執(zhí)行加密程序，并將該程序安裝在計算機上。
而且，除基于計算機執(zhí)行讀入的程序?qū)崿F(xiàn)實施例的上述功 能以外，還可以基于該程序的指令，與運行在計算機上的OS等 協(xié)作，實現(xiàn)實施例的功能。在這種情況下，OS等執(zhí)行部分或全 部實際處理，并且基于這種處理實現(xiàn)上述實施例的功能。
此外，可以通過將從記錄介質(zhì)讀取的程序?qū)懭朐O(shè)置在與計 算機連接的擴展單元或插入計算機中的擴展板中的存儲器中， 來實現(xiàn)上述實施例的部分或全部功能。在這種情況下，在將程 序?qū)懭霐U展板或擴展單元之后，設(shè)置在該擴展板或擴展單元中 的C P U等基于該程序的指令進行部分或全部實際處理。
盡管參考典型實施例說明了本發(fā)明，但是應(yīng)該理解，本發(fā) 明不局限于所公開的典型實施例。所附權(quán)利要求書的范圍符合 最寬的解釋，以包含所有修改、等同結(jié)構(gòu)和功能。
權(quán)利要求
1. 一種測量設(shè)備，用于測量用于拍攝一個或更多個測量對象的圖像的攝像設(shè)備相對于測量對象的相對位置和方位，所述測量設(shè)備包括圖像獲取部件，用于從所述攝像設(shè)備獲取拍攝圖像；投影部件，用于基于所述攝像設(shè)備的位置和方位，將所述測量對象的3D模型的幾何特征投影到所述拍攝圖像上，以獲得投影幾何特征；選擇部件，用于基于在所述拍攝圖像中所述投影幾何特征間的距離，從由所述投影部件獲得的所述投影幾何特征中選擇要用于計算位置和方位的投影幾何特征；以及計算部件，用于使用由所述選擇部件選擇的所述投影幾何特征、以及在所述拍攝圖像中檢測到的與所選擇的所述投影幾何特征相對應(yīng)的圖像幾何特征，來計算所述攝像設(shè)備相對于所述測量對象的相對位置和方位。
2. 根據(jù)權(quán)利要求l所述的測量設(shè)備，其特征在于，所述投 影部件用于通過將構(gòu)成測量對象的3 D模型并與可以在所述拍 攝圖像中檢測到的圖像幾何特征相對應(yīng)的線段投影到所述拍攝 圖像上，來獲得所述投影幾何特征。
3. 根據(jù)權(quán)利要求1或2所述的測量設(shè)備，其特征在于，所述 計算部件包括設(shè)置部件，用于為所選擇的所述投影幾何特征設(shè)置所述拍 攝圖像中的一個或更多個點，并獲得各點處的搜索方向；以及搜索部件，用于基于由所述設(shè)置部件設(shè)置的所述點和所述 搜索方向，在所述拍攝圖像中搜索圖像幾何特征。
4. 根據(jù)權(quán)利要求1或2所述的測量設(shè)備，其特征在于，所述 投影幾何特征是線段，所述選擇部件用于如果所述投影幾何特 征與至少一個先前確定的投影幾何特征相距至少預(yù)定距離，則選擇該投影幾何特征。
5. 根據(jù)權(quán)利要求1或2所述的測量設(shè)備，其特征在于，還包 括幾何特征排序部件，所述幾何特征排序部件用于為由所述投 影部件獲得的所述測量對象的多個投影幾何特征設(shè)置所述選擇 部件的處理的順序。
6. 根據(jù)權(quán)利要求5所述的測量設(shè)備，其特征在于，所述幾幾何特征在所述拍攝圖像中的長度的順序。
7. 根據(jù)權(quán)利要求5所述的測量設(shè)備，其特征在于，所述幾 何特征排序部件用于將所述投影幾何特征排序成基于在所述拍 攝圖像中檢測相應(yīng)的圖像幾何特征的能力的高低的順序。
8. 根據(jù)權(quán)利要求1或2所述的測量設(shè)備，其特征在于，所述 投影幾何特征是線段，所述選擇部件用于如果所述投影幾何特 征在所述拍攝圖像中的長度大于預(yù)定閾值，則選擇該投影幾何 特征。
9. 一種用于測量設(shè)備的控制方法，所述測量設(shè)備用于測量 用于拍攝一個或更多個測量對象的圖像的攝像設(shè)備相對于測量 對象的相對位置和方位，所述控制方法包括如下步驟圖像獲取步驟，用于從所述攝像設(shè)備獲取拍攝圖像； 投影步驟，用于基于所述攝像設(shè)備的位置和方位，將所述測量對象的3D模型的各幾何特征投影到所述拍攝圖像上，以獲得投影幾何特征；選擇步驟，用于基于在所述拍攝圖像中所述投影幾何特征間的距離，從在所述投影步驟中獲得的所述投影幾何特征中選 擇要用于計算位置和方位的投影幾何特征；以及計算步驟，用于使用在所述選擇步驟中選擇的所述投影幾 何特征、以及在所述拍攝圖像中檢測到的與所選擇的所述投影幾何特征相對應(yīng)的圖像幾何特征，來計算所述攝像設(shè)備相對于 所述測量對象的相對位置和方位。
10. 根據(jù)權(quán)利要求9所述的控制方法，其特征在于，所述投 影步驟包括通過將構(gòu)成測量對象的3D模型并與可以在所述拍 攝圖像中檢測到的圖像幾何特征相對應(yīng)的線段投影到所述拍攝 圖像上，來獲得所述投影幾何特征。
11. 根據(jù)權(quán)利要求9或10所述的控制方法，其特征在于，所 述計算步驟包括設(shè)置步驟，用于為在所述選擇步驟中選擇的所述投影幾何 特征設(shè)置所述拍攝圖像中的 一個或更多個點，并獲得各點處的 搜索方向；以及搜索步驟，用于基于在所述設(shè)置步驟中設(shè)置的所述點和所 述搜索方向，在所述拍攝圖像中搜索圖像幾何特征。
12. 根據(jù)權(quán)利要求9或10所述的控制方法，其特征在于，所 述投影幾何特征是線段，所述選擇步驟包括如果所述投影幾何 特征與至少一個先前確定的投影幾何特征相距至少預(yù)定距離，則選擇該投影幾何特征。
13. 根據(jù)權(quán)利要求9或10所述的控制方法，其特征在于，還 包括幾何特征排序步驟，所述幾何特征排序步驟包括為在所述 投影步驟中獲得的所述測量對象的多個投影幾何特征設(shè)置所述 選擇步驟中的處理的順序。
14. 根據(jù)權(quán)利要求13所述的控制方法，其特征在于，所述 幾何特征排序步驟包括將所述投影幾何特征排序成基于所述投 影幾何特征在所述拍攝圖像中的長度的順序。
15. 根據(jù)權(quán)利要求13所述的控制方法，其特征在于，所述 幾何特征排序步驟包括將所述投影幾何特征排序成基于在所述 拍攝圖像中檢測相應(yīng)的圖像幾何特征的能力的高低的順序。
16.根據(jù)權(quán)利要求9或10所述的控制方法，其特征在于，所 述投影幾何特征是線段，所述選擇步驟包括如果所述投影幾何 特征在所述拍攝圖像中的長度大于預(yù)定閾值，則選擇該投影幾何特征。
全文摘要
本發(fā)明涉及一種測量設(shè)備和控制方法。該測量設(shè)備(100)使用攝像設(shè)備(50)獲取拍攝圖像，其中該測量設(shè)備(100)測量用于拍攝一個或更多個測量對象(10)的圖像的攝像設(shè)備(50)相對于測量對象的相對位置和方位。而且，基于攝像設(shè)備(50)的位置和方位，將測量對象(10)的3D模型中存在的各個幾何特征投影到拍攝圖像上，從而獲得投影幾何特征。然后，基于在拍攝圖像中投影幾何特征間的距離，從作為結(jié)果所生成的投影幾何特征中選擇要用于計算位置和方位的投影幾何特征。然后，使用所選擇的投影幾何特征、以及在拍攝圖像中檢測到的與所選擇的投影幾何特征相對應(yīng)的圖像幾何特征，來計算攝像設(shè)備(50)相對于測量對象的相對位置和方位。
文檔編號G01B11/00GK101294793SQ20081009347
公開日2008年10月29日 申請日期2008年4月28日 優(yōu)先權(quán)日2007年4月26日
發(fā)明者內(nèi)山晉二, 小林一彥 申請人:佳能株式會社