構(gòu)造如下目標(biāo)代價(jià)函數(shù)：
[0035]
【主權(quán)項(xiàng)】
1. 一種面向多投影拼接顯示的參數(shù)化自動(dòng)幾何校正方法，其特征在于：包括離線幾何 校正與實(shí)時(shí)圖像校正兩部分； 其中，離線校正的具體步驟為： 步驟1、對(duì)多投影拼接顯示系統(tǒng)進(jìn)行幾何建模； 步驟2、屏幕建模； 建立屏蒂幾何t旲型S，S=Splane，Seylindel?或SsphOTe，分別對(duì)應(yīng)著平面蒂，柱面蒂和球面蒂 模型，其中的屏幕幾何模型的參數(shù)向量為s; 步驟3、攝像機(jī)對(duì)的標(biāo)定； 對(duì)攝像機(jī)對(duì)進(jìn)行標(biāo)定，分別得到兩臺(tái)攝像機(jī)的內(nèi)參數(shù)MP[RI，其中，K。為攝像機(jī) 內(nèi)參數(shù)矩陣；[R」t。]為攝像機(jī)外參數(shù)矩陣；i為攝像機(jī)編號(hào)，i= 1、2 ; 步驟4、通過攝像機(jī)對(duì)，對(duì)多投影拼接顯示系統(tǒng)中的每個(gè)重疊帶進(jìn)行下述步驟，具體如 下： A、 調(diào)整攝像機(jī)對(duì)的位置和姿態(tài)； 將攝像機(jī)對(duì)對(duì)準(zhǔn)投影屏幕中兩個(gè)投影通道的重疊帶區(qū)域，并在兩臺(tái)攝像機(jī)相對(duì)位置不 變的前提下，調(diào)整兩臺(tái)攝像機(jī)的位置和姿態(tài)，使兩臺(tái)攝像機(jī)所拍攝的重疊帶面積最大化； B、 投射特征圖像序列并識(shí)別特征點(diǎn)； a、 對(duì)于重疊帶所涉及的投影通道，投影機(jī)使用格林編碼圖像規(guī)則，生成特征圖像序列， 投射在投影屏幕上； b、 攝像機(jī)對(duì)中兩臺(tái)攝像機(jī)拍攝各臺(tái)投影機(jī)投射的特征圖像序列中的每一幅圖像，并分 別進(jìn)行下述操作： 在每一幅圖像的橫向和縱向上，進(jìn)行邊界檢測(cè)，求得邊界后對(duì)橫向和縱向條紋求交，搜 索連通域獲取交點(diǎn)即為特征點(diǎn)；并根據(jù)格林編碼規(guī)則，提取特征點(diǎn)的編碼信息作為其唯一 索引值。在攝像機(jī)平面坐標(biāo)系下，給出包含索引信息的特征點(diǎn)坐標(biāo)集合{p。}，根據(jù)索引值， 同時(shí)得到對(duì)應(yīng)的投影機(jī)緩存平面中特征點(diǎn)坐標(biāo)集合{pp}，％基于投影機(jī)幀緩存平面坐標(biāo)系 給出； C、 重構(gòu)特征點(diǎn)的三維坐標(biāo)； 令立體攝像機(jī)對(duì)中，一臺(tái)攝像機(jī)的內(nèi)外參數(shù)分別為MP[RdItJ，特征點(diǎn)集合為 &。1};對(duì)應(yīng)的，另一臺(tái)攝像機(jī)的內(nèi)外參數(shù)分別為1(。2和[1?。2卜。 2]，特征點(diǎn)集合為&。2}。由于 {pj和{pe2}中包含了索引值信息，因此得到兩者精確的對(duì)應(yīng)關(guān)系；并根據(jù)立體視覺原理， 得到投影到屏幕上的特征點(diǎn)在世界參考坐標(biāo)系下的三維坐標(biāo)集{P}; 步驟5 :屏幕參數(shù)辨識(shí)； 根據(jù)屏幕幾何模型構(gòu)造參數(shù)s估計(jì)目標(biāo)函數(shù)，利用三維重構(gòu)和優(yōu)化迭代方法由{P}估 計(jì)屏幕幾何模型的參數(shù)向量s的最優(yōu)值； 步驟6:投影機(jī)內(nèi)外參數(shù)標(biāo)定； 對(duì)于重疊帶涉及的每個(gè)投影通道，構(gòu)造基于投影機(jī)-投影屏幕的目標(biāo)函數(shù)，利用最優(yōu) 化算法由{P}及其對(duì)應(yīng)的{pp}估計(jì)投影機(jī)的內(nèi)參數(shù)矩陣Kw_和外參數(shù)矩陣[Rw_|tw_]的最優(yōu) 值；j為投影機(jī)的編號(hào)； 步驟7 :生成邊緣融合模板； 根據(jù)投影機(jī)的投影參數(shù)，計(jì)算投影重疊帶的幾何參數(shù)，并計(jì)算重疊帶對(duì)應(yīng)的投影通道 的邊緣融合模板； 步驟8 :計(jì)算視點(diǎn)參數(shù)； 為了標(biāo)定觀察者坐標(biāo)系到全局坐標(biāo)系的轉(zhuǎn)換矩陣，本發(fā)明中在觀察者坐標(biāo)系原點(diǎn)放置 一個(gè)相機(jī)，并使相機(jī)光軸方向與觀察者視線方向重合，此時(shí)相機(jī)坐標(biāo)系就代表了觀察者坐 標(biāo)系。選擇相機(jī)能夠拍攝到的一個(gè)投影通道投射特征圖案，由相機(jī)進(jìn)行捕捉提取特征點(diǎn)。 根據(jù)上述步驟中得到的屏幕參數(shù)集合s、該投影通道對(duì)應(yīng)投影機(jī)的投影矩陣Kp和轉(zhuǎn)換矩陣 [RpItp]，可以得到每個(gè)特征點(diǎn)的三維坐標(biāo)，然后構(gòu)造如下目標(biāo)代價(jià)函數(shù)：
其中，1為特征點(diǎn)的索引值，P。# {p。}，^是相機(jī)中提取的特征點(diǎn)，氤滿足
，且PiG{P}，KV為已知的相機(jī)內(nèi)參數(shù)矩陣，[Rv|tv]為相機(jī)坐標(biāo)系也就是 觀察者坐標(biāo)系的轉(zhuǎn)換矩陣，通過迭代優(yōu)化算法得到[Rv|tv]。 實(shí)時(shí)圖像校正具體方法如下： 步驟a:第一次渲染，計(jì)算期望圖像； 對(duì)于每個(gè)投影通道，基于觀察者眼點(diǎn)，渲染對(duì)應(yīng)的3D虛擬場(chǎng)景，并保存在該投影通道 對(duì)應(yīng)的投影機(jī)紋理緩存中； 步驟b:投影紋理綁定； 根據(jù)觀察者眼點(diǎn)的外參數(shù)矩陣[Rv|tv]，將期望圖像以投影紋理的方式綁定到根據(jù)屏幕 參數(shù)模型s生成的幾何模型上； 步驟c:第二次渲染； 以投影機(jī)參數(shù)&和[Rp|tp]作為觀察者的眼點(diǎn)對(duì)包含屏幕參數(shù)模型的圖像進(jìn)行渲染， 將本次渲染的輸出圖像與該投影通道的邊緣融合模板對(duì)應(yīng)的像素相乘之后輸出給投影機(jī)。
2.如權(quán)利要求1所述一種面向多投影拼接顯示的參數(shù)化自動(dòng)幾何校正方法，其特征在 于：所述步驟1對(duì)多投影拼接顯示系統(tǒng)進(jìn)行幾何建模中，坐標(biāo)系定義方式為： a、 定義世界參考坐標(biāo)系； 對(duì)多通道投影顯示系統(tǒng)進(jìn)行幾何建模，需把其中的全部要素統(tǒng)一到一個(gè)坐標(biāo)系中，這 個(gè)坐標(biāo)系就是世界參考坐標(biāo)系。世界參考坐標(biāo)系的原點(diǎn)和坐標(biāo)軸方向可以任意設(shè)定，需符 合右手定則； b、 定義投影屏幕坐標(biāo)系； 投影屏幕坐標(biāo)系的坐標(biāo)原點(diǎn)和方向基于世界參考坐標(biāo)系給出，可任意設(shè)定，需符合右 手定則。本發(fā)明中投影屏幕坐標(biāo)系的選取應(yīng)以便于對(duì)投影屏幕進(jìn)行幾何建模為原則； c、 定義投影機(jī)坐標(biāo)系； 多通道投影顯示系統(tǒng)中，每臺(tái)投影機(jī)的坐標(biāo)系基于世界參考坐標(biāo)系給出，以投影機(jī)的 光心為原點(diǎn)，以光軸方向?yàn)閆軸方向，以像源橫向?yàn)閄軸，Y軸符合右手定則； d、 定乂攝像機(jī)對(duì)坐標(biāo)系； 攝像機(jī)對(duì)坐標(biāo)系基于世界參考坐標(biāo)系給出；對(duì)于攝像機(jī)對(duì)而言，其中一臺(tái)攝像機(jī)坐標(biāo) 作為攝像機(jī)對(duì)坐標(biāo)系，以位于攝像機(jī)對(duì)右側(cè)的攝像機(jī)光心為坐標(biāo)原點(diǎn)，光軸方向?yàn)閆軸方 向，與光軸垂直的攝像機(jī)成像面橫軸為X軸，Y軸由右手定則給出；另一臺(tái)攝像機(jī)坐標(biāo)系定 義在攝像機(jī)對(duì)坐標(biāo)系上； e、 定義攝像機(jī)對(duì)參考坐標(biāo)系； 攝像機(jī)對(duì)參考坐標(biāo)系基于攝像機(jī)對(duì)坐標(biāo)系給出，以位于攝像機(jī)對(duì)右側(cè)的攝像機(jī)光心為 坐標(biāo)原點(diǎn)，光軸方向?yàn)閆軸方向，與光軸垂直的攝像機(jī)成像面橫軸為X軸，Y軸由右手定則 給出； f、 定義觀察者坐標(biāo)系； 觀察者坐標(biāo)系為觀察者在世界坐標(biāo)系中的位置和方向；坐標(biāo)原點(diǎn)為視點(diǎn)位置，Z軸為 視線方向，X軸指向左側(cè)，Y軸定義符合右手定則； g、 定義攝像機(jī)圖像平面坐標(biāo)系； 攝像機(jī)圖像平面坐標(biāo)系以攝像機(jī)所拍攝的圖像左下角為坐標(biāo)原點(diǎn)，X軸指向右，Y軸指 向上，以像素為單位； h、 定義投影機(jī)幀緩存平面坐標(biāo)系； 投影機(jī)幀緩存平面坐標(biāo)系以投影機(jī)投射的圖像左下角為坐標(biāo)原點(diǎn)，X軸指向右，Y軸指 向上，以像素為單位。
3.如權(quán)利要求1所述一種面向多投影拼接顯示的參數(shù)化自動(dòng)幾何校正方法，其特征在 于：所述步驟6中，基于投影機(jī)-投影屏幕的目標(biāo)函數(shù)為：
其中，k為特征點(diǎn)的索引值，Pke{P}，為空間中與Pjg離最近且滿足
的點(diǎn)，Ppk為投影機(jī)幀緩存中與Pk對(duì)應(yīng)的特征點(diǎn)精確坐標(biāo)，Ppke{Pp}，Hsp為投影機(jī)矩陣。根 據(jù)投影幾何分析，Hsp=Kp[Rp |tp]，其中投影內(nèi)參數(shù)矩陣Kp是上三角矩陣，旋轉(zhuǎn)矩陣Rp是正 交矩陣，對(duì)Hsp進(jìn)行QR分解即可得到K5和[Rp |tp]。
【專利摘要】本發(fā)明公開一種面向多投影拼接顯示的參數(shù)化自動(dòng)幾何校正方法，包括離線校正和實(shí)時(shí)校正兩個(gè)部分。其中，離線校正通過立體攝像機(jī)對(duì)采集由各自投影通道打出的模式圖像序列，從采集的模式圖像序列中計(jì)算得到各自投影通道在屏幕上的特征點(diǎn)信息，由此計(jì)算投影屏幕幾何模型中的未知參數(shù)以及各自投影機(jī)的內(nèi)外參數(shù)；進(jìn)而得到觀察者位置和姿態(tài)信息，最終得到投影系統(tǒng)幾何模型中的全部未知參數(shù)。實(shí)時(shí)校正是把得到的參數(shù)作為系統(tǒng)配置文件，實(shí)時(shí)加載系統(tǒng)配置文件，渲染出來的多通道顯示圖像為一整幅透視關(guān)系正確，無邊緣突變的高分辨率圖像。本發(fā)明的優(yōu)點(diǎn)為：可自動(dòng)完成多投影顯示系統(tǒng)的參數(shù)標(biāo)定，對(duì)相機(jī)的分辨率和視場(chǎng)角要求相對(duì)較低。
【IPC分類】G06T17-00, G06T7-00
【公開號(hào)】CN104778694
【申請(qǐng)?zhí)枴緾N201510169540
【發(fā)明人】戴樹嶺, 雷小永, 趙永嘉
【申請(qǐng)人】北京航空航天大學(xué)
【公開日】2015年7月15日
【申請(qǐng)日】2015年4月10日