專利名稱：利用相機校準投影儀的方法
技術領域：
本發(fā)明涉及利用相對彼此之間處于固定物理關系的相機來校準投影儀的方法。
背景技術：
便攜式數(shù)字投影儀目前很常見。當這些投影儀被連接到PC或VCR上時，其典型地安裝在臺上且被瞄準顯示表面，以顯示幻燈片展示或視頻。許多這些投影儀使用透射LCD，且經(jīng)常僅具有一個單主透鏡。投影儀可以一次一個或作為圖像序列來顯示圖像。
許多這些投影儀被這樣加以設計，以便于當投影儀被水平地放置在水平支撐表面上時，水平未變形的圖像被投影在顯示表面上，這樣投影儀的光軸典型地垂直于垂直投射表面而排列。如果任何上述假設被違犯，則投影表面上最后所得到的圖像可能不是矩形，而將最多是梯形，且最糟糕是任意四邊形。這個問題被稱為梯形失真。
對于現(xiàn)有技術投影儀，修正梯形失真的唯一方法是通過四處移動投影儀、傾斜且旋轉投影儀來單調(diào)乏味地調(diào)節(jié)投影儀的物理位置直至接近矩形的圖像得以顯示。在一些情況下，有可能無法物理性地調(diào)節(jié)投影儀的位置。例如，投影儀可能需要正好在顯示表面上部或下部。一些現(xiàn)有技術投影儀從光學上或者通過用戶提供投影儀的位置數(shù)據(jù)來修正失真的圖像。為了自動地修正變形的圖像，投影儀需要被校準。然而，在計算機視覺或投影幾何領域，投影儀一直得到極小的關注。
相機的校準過程是眾所周知的。典型地，利用針孔相機模型來表達相機的光學系統(tǒng)。然而，在投影儀和相機之間存在兩個主要差別。首先且最顯著地是，僅僅作為輸出設備的投影儀，不可能像相機所做的那樣來觀察校準圖案。給定六個或以上2D投影儀象素與在公知目標對象上對應的3D點之間的對應，則校準投影儀是容易做到的，見0.Faugeras在MIT Press，Cambridge，Massachusetts，1993上所著的“Three-Dimensional Computer VisionA GeometricViewpoint”。那個技術要求單調(diào)乏味的的手工過程來選擇照明3D點的那些投影儀象素。
為了使這個及其任何其它半自動方法自動化，必須使用輸入設備如相機。投影儀和相機的第二主要差別在于有關簡化相機模型的主點接近圖像中心這一傳統(tǒng)假設對于投影儀是無效的。大多數(shù)投影儀使用離軸投影。當它們被放置在臺上或安裝在天花板上時，圖像分別通過透鏡的上半部和下半部而被投影。因此，主點被垂直地移位。
有可能將兩個或多個相機附著到投影儀上，且使用被投影的校準圖像和立體校準技術。然而，多個相機增加了成本、處理資源和帶寬。此外，在投影儀上安裝多個相機將需要對現(xiàn)存投影儀的設計做大量修改。
因此，存在對用于校準數(shù)字投影儀的方法及簡化系統(tǒng)的需求。
發(fā)明的公開內(nèi)容本發(fā)明提供了利用相對彼此處于固定物理關系的相機來校準投影儀的方法。針對投影儀和相機相對于顯示表面的第一和第二姿勢，輸出圖像被投影到投影儀的顯示表面上。針對每個姿勢，需要一個輸入圖像。
針對每個姿勢，根據(jù)每個輸入圖像確定投影儀的透視投影矩陣及相機的透視投影矩陣。針對每個姿勢，確定從投影儀的透視投影矩陣和相機的透視投影矩陣到歐幾里得(Euclidean)形式的變換，以及根據(jù)上述變換確定投影儀的固有參數(shù)。
附圖的簡要說明

圖1是利用根據(jù)本發(fā)明的單個相機來校準投影儀的系統(tǒng)方框圖；圖2是利用根據(jù)本發(fā)明的單個相機來校準投影儀的方法流程圖；以及圖3a-b是距離主點的垂直偏差的圖形。
完成本發(fā)明的最佳模式校準系統(tǒng)如圖1所示，我們的發(fā)明提供一種用于校準相對于相機110處于固定位置的投影儀100的方法。優(yōu)選地，所述投影儀使用數(shù)字輸出機理。投影儀100能夠將輸出圖像103顯示在顯示表面104上。典型地，投影儀100被定位在投影室內(nèi)的臺120上，或者被安裝在天花板上。因此，投影儀100不總是完好地相對于顯示表面被垂直定位，并且輸出圖像103看起來是翹曲的。這被典型地稱為“梯形失真”。
因此，相機110獲得被投影的輸出圖像的輸入圖像，并且確定投影儀的校準參數(shù)和修正參數(shù)。然后這些參數(shù)被用來去除輸出圖像103的翹曲，以便于它看起來正好是矩形形式105。問題是投影儀僅僅是一個輸出設備，因此，沒有辦法來確定它的位置是如何影響翹曲的。
我們的方法確定了投影儀100和相機110兩者的固有參數(shù)，以及它們的相對姿勢。然后，后校準再現(xiàn)過程可以利用這一信息并結合基于重力用來提供垂直坐標的傾斜傳感130，來去除被投影圖像103的翹曲。
校準方法如圖2所示，首先，針對投影儀100和相機110相對于顯示表面的兩種不同姿勢，我們將校準圖案140投影(210)到顯示表面104上。針對每種姿勢，我們接下來獲得(220)被投影圖案的輸入圖像。在與由Zhang，Z.于Proc.7thInt. Conference on Computer Vision，1999第666-673頁中的“Flexible camera calibration by viewinga plane from unknown orientations”及由Sturm，P。和Maybank，S.于Proc。of IEEE Conference on Computer Vision and PatternRecognition，June 1999第432-437頁中的“On plane-based cameracalibrationA general algorithm，singularities，applications，”所說明的過程相類似的過程中，通過使用校準圖案的多個視圖，我們獲取了(230)相機110的固有參數(shù)。
校準圖案140具有投影儀輸出圖像和相機輸入圖像之間的至少四個或更多個點或線的對應。所述對應被用來確定平面的兩個截然不同的單應性，每個單應性用于每個姿勢。
投影重建兩個單應性被用來按如下構建一景物直至投影變換。已知由相機110所獲得的校準圖案140的輸入圖像和投影儀100的輸出校準圖像，則通過3×3單應性矩陣H輸出和輸入圖像中的對應產(chǎn)生聯(lián)系。如果m1和m2是屬于平面∏的3D點M的投影，則m2～＝Hm1，其中m1和m2是齊次坐標且～＝是指達到等級的相等(equality upto scale)。
已知兩個截然不同的平面(姿勢)，及由此兩個截然不同的單應性，則通過使用下述廣義本征值方程式來確定輸出和輸入圖像中的外極(epipoles)e1和e2，(e1～＝)kH-11e2＝H-12e2其中k是未知的標量。
對于景物的投影重建，則投影儀及相機的透視投影矩陣按如下被加以確定240，P1p＝[I|O]P2p＝[H|e2]，其中H是單應性之一。在我們的系統(tǒng)中，P1p定義了相機110的投影矩陣且P2p定義了投影儀100的投影矩陣。
歐幾里得重建其次，投影矩陣被升級，以給出歐幾里得重建。目的是找出4×4變換250矩陣Gp260，以便于P1e＝P1pGp～＝A1[I|O]，以及P2e＝P2pGp～＝A2[R|-Rt]，其中A1是說明已知的相機固有參數(shù)的3×3矩陣，A2是說明未知的投影儀固有參數(shù)的3×3矩陣，且旋轉R和平移t定義了投影儀100和相機110之間的相對物理關系，直至未知等級(up to unknownscale)。
A1是公知的且可以被提公因子，這樣目的是找出矩陣G260以便于
P1e＝P1pG～＝[I|O]，以及(1)P2e＝P2pG～＝A2[R|-Rt].
A2最通用的形式涉及五個固有參數(shù)焦距、畫面長寬比、主點和斜角、可不計的徑向畸變。假設投影儀具有單位畫面長寬比和零斜角是合理的。
我們的方法是使用涉及兩個固有參數(shù)的A2簡化形式，即焦距R和主點距離圖像中心C的垂直偏差d。如圖3a中所示對于現(xiàn)有技術相機校準技術所常見的主點接近圖像的中心這一假設對于其中主點通常距離圖像中心C具有一基本垂直偏差d的投影儀來說并不正確，如圖3b所示。
因此，A2具有這樣的形式A2＝[f00；0fd；001].
其中f是焦點，且d是主點的垂直偏差。
從方程式(1)中，G為如下形式G=100001000010n1n2n31.]]>在此，矢量n＝[n1 n2 n3]T定義了在投影坐標系內(nèi)處于無窮遠的平面。目的是找出n以及由此找出G。如果G′指示G的頭三列，則它遵循P2pG′～＝A2R。因此，P2pG’G’TP2pT～＝A2RRTA2T＝A2A2T這導致P2PI3×3nnTnTnP2PT≅A2A2T,---(2)]]>
其中K2＝A2A2T＝[f200；0(f2+d2)d；0d1].
方程式(2)被用來產(chǎn)生對n的三個未知量的約束。所述約束中的兩個約束(k2(1，2)＝0和k2(1，3)＝0在n1、n2、n3和nTn中是線性的。第三個約束(k2(2，2)-K2(1，1)-K2(2，3)2＝0)是二次的。因此，有可能以nTn來表達n1、n2和n3。
使用二次約束(n12+n22+n32＝nTn)產(chǎn)生n的三個未知量的四個解。每個解采用方程式(2)來確定270固有參數(shù)f和d，以及采用方程式(1)被用來確定R和t。
去掉物理上不可能的解(例如其中被觀察的景物點位于相機后面的解)給出真實A2、R和t的單一解。
通過使用具體術語和實例對這一發(fā)明加以說明。要理解為在本發(fā)明的實質和范圍內(nèi)可進行各種其它的適配和修改。因此，所附加權利要求的目的將所有這樣的變動和修改涵蓋在本發(fā)明的真實實質和范圍內(nèi)。
權利要求
1.一種利用相對彼此處于固定物理關系的相機來校準投影儀的方法，包括針對投影儀和相機相對于顯示表面的第一和第二姿勢，將輸出圖像投影到顯示表面上；針對每個姿勢獲取一個輸入圖像；針對每個姿勢，根據(jù)每個輸入圖像來確定投影儀的透視投影矩陣和相機的透視投影矩陣；針對每個姿勢，確定投影儀的透視投影矩陣和相機的透視投影矩陣到歐幾里得形式的變換；以及從所述變換中得出投影儀的固有參數(shù)。
全文摘要
一種方法利用相對彼此處于固定物理關系的相機來校準投影儀。針對投影儀和相機相對于顯示表面的第一和第二姿勢，將輸出圖像投影到顯示表面上。針對每個姿勢獲取一個輸入圖像。針對每個姿勢，根據(jù)每個輸入圖像來確定投影儀的透視投影矩陣和相機的透視投影矩陣。針對每個姿勢確定從投影儀的透視投影矩陣和相機的透視投影矩陣到歐幾里得形式的變換，以及從所述變換中確定投影儀的固有參數(shù)。
文檔編號G03B21/00GK1491515SQ02804791
公開日2004年4月21日 申請日期2002年12月4日 優(yōu)先權日2001年12月10日
發(fā)明者R·拉斯卡, P·比爾茲利, R 拉斯卡, 壤 申請人:三菱電機株式會社