一種面向多投影拼接顯示的參數(shù)化自動(dòng)幾何校正方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種多投影拼接顯示系統(tǒng)的校正方法，具體來(lái)說(shuō)，是一種面向多投影 拼接顯示的參數(shù)化自動(dòng)幾何校正方法。
【背景技術(shù)】
[0002] 多投影拼接顯示技術(shù)是一種把多臺(tái)投影機(jī)投射的畫面進(jìn)行拼接融合從而實(shí)現(xiàn)比 單個(gè)顯示設(shè)備更大尺寸、更高分辨率的無(wú)縫畫面的技術(shù)。采用多投影拼接顯示技術(shù)的顯示 系統(tǒng)稱之為多投影拼接顯示系統(tǒng)。多投影拼接顯示系統(tǒng)主要要素包括投影機(jī)、投影面（投 影幕）以及觀察者。即使沒有交互的需求，觀察者的信息也十分重要，將決定顯示系統(tǒng)的最 佳觀察區(qū)域。
[0003] 多投影拼接顯示技術(shù)是一種典型的大屏幕顯示技術(shù)，理論上可以實(shí)現(xiàn)在任意曲面 上的大尺寸、高分辨率、寬視場(chǎng)角的無(wú)縫畫面顯示，基于平板電視的電視墻相比之下，雖然 也能實(shí)現(xiàn)大尺寸以及高分辨率但局限很多，比如電視墻無(wú)法做到真正的無(wú)縫顯示，而且很 難做到任意形狀的成像面。由于其上述優(yōu)點(diǎn)，多投影拼接顯示技術(shù)廣泛的應(yīng)用于虛擬現(xiàn)實(shí)、 仿真訓(xùn)練、文化娛樂等領(lǐng)域中，并有著很好的應(yīng)用前景。
[0004] 多投影拼接系統(tǒng)中，投影機(jī)連接圖像源計(jì)算機(jī)，投射圖像源計(jì)算機(jī)繪制的畫面。投 影機(jī)與圖像源計(jì)算機(jī)不一定是一對(duì)一的映射關(guān)系，一臺(tái)圖像源計(jì)算機(jī)可以輸出多個(gè)顯示畫 面分別提供給對(duì)應(yīng)的投影機(jī)。對(duì)投影畫面進(jìn)行拼接融合的過(guò)程稱之為校正。按照校正方式， 分為軟件方式和硬件方式。硬件校正需要在投影機(jī)和圖像源計(jì)算機(jī)之間使用硬件融合器， 硬件融合器對(duì)畫面進(jìn)行預(yù)變形以及融合帶衰減之后把畫面輸出，實(shí)現(xiàn)多投影融合圖像，但 每個(gè)投影通道顯示的圖像的透視矩陣，還需要在圖像源計(jì)算機(jī)中的圖像繪制軟件中設(shè)置。 基于軟件的多投影拼接技術(shù)硬件結(jié)構(gòu)簡(jiǎn)單、配置靈活，更具擴(kuò)展性，無(wú)需增加額外的硬件融 合器，所有的配置均在圖像繪制軟件中完成。無(wú)論是硬件方式還是軟件方式，多投影拼接顯 示技術(shù)包括兩個(gè)過(guò)程，離線校準(zhǔn)和實(shí)時(shí)校正。所謂離線校準(zhǔn)，就是采用一定的工具和手段， 獲得投影機(jī)畫面幾何預(yù)變形、邊緣融合、色彩等參數(shù)的過(guò)程；這些參數(shù)獲得之后，作為多投 影系統(tǒng)配置的一部分，應(yīng)用到實(shí)時(shí)圖像生成和繪制當(dāng)中，由此產(chǎn)生的畫面為滿足觀察者要 求的無(wú)縫大幅畫面。
[0005] 已有的多投影拼接顯示技術(shù)在工業(yè)領(lǐng)域的應(yīng)用日趨成熟，但從技術(shù)方法上存在如 下問(wèn)題：
[0006] 1、忽視了投影系統(tǒng)三要素（投影機(jī)、投影面、觀察者）的建模。大部分方法繞過(guò)了 投影機(jī)及屏幕的幾何模型，直接使用投影出來(lái)的模式畫面與投影屏幕上的基準(zhǔn)進(jìn)行比對(duì)調(diào) 整試湊，時(shí)間周期長(zhǎng)，初始校正和再校正時(shí)間長(zhǎng)。
[0007] 2、離線校正工程存在大量的人工干預(yù)。校正過(guò)程依賴于經(jīng)驗(yàn)，并且過(guò)于主觀，對(duì)于 校正的結(jié)果很難定量的評(píng)價(jià)。
[0008] 3、系統(tǒng)過(guò)于復(fù)雜，提高了成本，降低了可靠性。已有方法通過(guò)在投影屏幕上打出紅 外基準(zhǔn)或者直接在投影屏幕上安裝基準(zhǔn)點(diǎn)，增加了系統(tǒng)復(fù)雜性，而且影響了投影系統(tǒng)的最 終顯示效果。
[0009] 4、自動(dòng)校正局限多，配置不靈活。已有自動(dòng)校正方法需要攝像機(jī)看到待校正的投 影通道的全部，或者大部分，在投影顯示系統(tǒng)所處空間不大時(shí)無(wú)法實(shí)現(xiàn)自動(dòng)校正；已有方法 采用分段平面構(gòu)造屏幕模型，對(duì)于曲率較大的屏幕，要么需要更詳細(xì)的細(xì)分增加了校正的 復(fù)雜性，要么得到的校正結(jié)果精度不高。

【發(fā)明內(nèi)容】

[0010] 針對(duì)上述問(wèn)題，本發(fā)明提出一種面向多投影拼接顯示的參數(shù)化自動(dòng)幾何校正方 法，將投影機(jī)、投影屏幕以及觀察者在內(nèi)的投影系統(tǒng)要素建立為帶未知參數(shù)的幾何模型；采 用立體攝像機(jī)對(duì)和普通相機(jī)為自動(dòng)校正過(guò)程唯一需要的額外硬件。本發(fā)明針對(duì)屏幕類型為 平面幕、柱面幕以及球面幕的多投影顯示系統(tǒng)，由于屏幕的幾何形狀可以用參數(shù)化二次曲 面描述，同時(shí)投影機(jī)和觀察者信息也可以用內(nèi)外參數(shù)建模。首先把投影機(jī)、投影屏幕以及觀 察者在內(nèi)的投影系統(tǒng)要素建立為帶未知參數(shù)的幾何模型，則本發(fā)明校正過(guò)程即未知參數(shù)求 解并應(yīng)用于投影系統(tǒng)的過(guò)程，且整個(gè)未知參數(shù)的求解過(guò)程無(wú)需人的參與。
[0011] 本發(fā)明一種面向多投影拼接顯示的參數(shù)化自動(dòng)幾何校正方法，包括離線幾何校正 與實(shí)時(shí)圖像校正兩部分；
[0012] 其中，離線校正的具體步驟為：
[0013] 步驟1、對(duì)多投影拼接顯示系統(tǒng)進(jìn)行幾何建模。
[0014] 步驟2、屏幕建模；
[0015] 建立屏蒂幾何t旲型S，S=Splane，Seylindel?或SsphOTe，分別對(duì)應(yīng)著平面蒂，柱面蒂和球 面幕模型，其中的屏幕幾何模型的參數(shù)向量為 s。
[0016] 步驟3、攝像機(jī)對(duì)的標(biāo)定；
[0017] 對(duì)攝像機(jī)對(duì)進(jìn)行標(biāo)定，分別得到兩臺(tái)攝像機(jī)的內(nèi)參數(shù)MP[RI ，其中，K。為攝 像機(jī)內(nèi)參數(shù)矩陣；[R。|t。]為攝像機(jī)外參數(shù)矩陣；i為攝像機(jī)編號(hào)，i= 1、2。
[0018] 步驟4、通過(guò)攝像機(jī)對(duì)，對(duì)多投影拼接顯示系統(tǒng)中的每個(gè)重疊帶進(jìn)行下述步驟，具 體如下：
[0019] A、調(diào)整攝像機(jī)對(duì)的位置和姿態(tài)；
[0020] 將攝像機(jī)對(duì)對(duì)準(zhǔn)投影屏幕中兩個(gè)投影通道的重疊帶區(qū)域，并在兩臺(tái)攝像機(jī)相對(duì)位 置不變的前提下，調(diào)整兩臺(tái)攝像機(jī)的位置和姿態(tài)，使兩臺(tái)攝像機(jī)所拍攝的重疊帶面積最大 化。
[0021] B、投射特征圖像序列并識(shí)別特征點(diǎn)；
[0022] a、對(duì)于重疊帶所涉及的投影通道，投影機(jī)使用格林編碼圖像規(guī)則，生成特征圖像 序列，投射在投影屏幕上；
[0023] b、攝像機(jī)對(duì)中兩臺(tái)攝像機(jī)拍攝各臺(tái)投影機(jī)投射的特征圖像序列中的每一幅圖像， 并分別進(jìn)行下述操作：
[0024] 在每一幅圖像的橫向和縱向上，進(jìn)行邊界檢測(cè)，求得邊界后對(duì)橫向和縱向條紋求 交，搜索連通域獲取交點(diǎn)即為特征點(diǎn)；并根據(jù)格林編碼規(guī)則，提取特征點(diǎn)的編碼信息作為其 唯一索引值。在攝像機(jī)平面坐標(biāo)系下，給出包含索引信息的特征點(diǎn)坐標(biāo)集合{p。}，根據(jù)索引 值，同時(shí)得到對(duì)應(yīng)的投影機(jī)緩存平面中特征點(diǎn)坐標(biāo)集合{pp}，Pp基于投影機(jī)幀緩存平面坐 標(biāo)系給出。
[0025] C、重構(gòu)特征點(diǎn)的三維坐標(biāo)；
[0026] 令立體攝像機(jī)對(duì)中，一臺(tái)攝像機(jī)的內(nèi)外參數(shù)分別為MP[Rel |tj，特征點(diǎn)集合為 &。1};對(duì)應(yīng)的，另一臺(tái)攝像機(jī)的內(nèi)外參數(shù)分別為1(。 2和[1?。2卜。2]，特征點(diǎn)集合為&。2}。由于 {pj和{pe2}中包含了索引值信息，因此得到兩者精確的對(duì)應(yīng)關(guān)系；并根據(jù)立體視覺原理， 得到投影到屏幕上的特征點(diǎn)在世界參考坐標(biāo)系下的三維坐標(biāo)集{P}。
[0027] 步驟5:屏幕參數(shù)辨識(shí)；
[0028] 根據(jù)屏幕幾何模型構(gòu)造參數(shù)s估計(jì)目標(biāo)函數(shù)，利用三維重構(gòu)和優(yōu)化迭代方法由 {P}估計(jì)屏幕幾何模型的參數(shù)向量s的最優(yōu)值。
[0029] 步驟6 :投影機(jī)內(nèi)外參數(shù)標(biāo)定；
[0030] 對(duì)于重疊帶涉及的每個(gè)投影通道，構(gòu)造基于投影機(jī)-投影屏幕的目標(biāo)函數(shù)，利用 最優(yōu)化算法由{P}及其對(duì)應(yīng)的{pp}估計(jì)投影機(jī)的內(nèi)參數(shù)矩陣Kw_和外參數(shù)矩陣[Rw_|tw_]的 最優(yōu)值；j為投影機(jī)的編號(hào)。
[0031] 步驟7 :生成邊緣融合模板；
[0032] 根據(jù)投影機(jī)的投影參數(shù)，計(jì)算投影重疊帶的幾何參數(shù)，并計(jì)算重疊帶對(duì)應(yīng)的投影 通道的邊緣融合模板。
[0033] 步驟8:計(jì)算視點(diǎn)參數(shù)；
[0034] 為了標(biāo)定觀察者坐標(biāo)系到全局坐標(biāo)系的轉(zhuǎn)換矩陣，本發(fā)明中在觀察者坐標(biāo)系原點(diǎn) 放置一個(gè)相機(jī)，并使相機(jī)光軸方向與觀察者視線方向重合，此時(shí)相機(jī)坐標(biāo)系就代表了觀察 者坐標(biāo)系。選擇相機(jī)能夠拍攝到的一個(gè)投影通道投射特征圖案，由相機(jī)進(jìn)行捕捉提取特征 點(diǎn)。根據(jù)上述步驟中得到的屏幕參數(shù)集合s、該投影通道對(duì)應(yīng)投影機(jī)的投影矩陣Kp和轉(zhuǎn)換 矩陣[RIt 渴剎標(biāo)個(gè)賠紅占的三維坐標(biāo)，然后