專利名稱：自適應(yīng)于投影表面的智能投影方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種在科研教育領(lǐng)域(科學(xué)可視化)、各類仿真領(lǐng)域(虛擬現(xiàn)實(shí))、娛 樂和會(huì)議(普適計(jì)算環(huán)境，墻壁拐角等復(fù)雜室內(nèi)背景下的保真投影)、以及氣象交通的大屏 幕監(jiān)控展示等領(lǐng)域中自適應(yīng)于投影表面的智能投影方法。
背景技術(shù)：
自適應(yīng)于投影表面的投影儀自主校正，含義是投影儀自動(dòng)判斷投影表面與投影儀 自身的相對(duì)位置關(guān)系，以及投影表面的空間幾何信息，然后通過預(yù)變換圖像，使得圖像投影 在投影表面上能產(chǎn)生視覺上連貫一致的效果。幾何校正算法的核心是找出投影表面、相機(jī) 和投影儀三者的空間關(guān)系，已有的幾何校正算法主要集中在平面投影上。Surati在屏幕前放置精密的網(wǎng)格來進(jìn)行相機(jī)在屏幕空間上的標(biāo)定，然后建立一個(gè) 查找表進(jìn)行快速映射變換，獲得投影儀在屏幕上的正確映射。PixelFlex假設(shè)相機(jī)的拍攝 和投影儀的投影都近似于針孔投影，因此使用投影變換來線性表達(dá)它們之間的關(guān)系，建立 了相機(jī)和投影儀間的單應(yīng)矩陣。Chen Y.使用帶可控制云臺(tái)的相機(jī)(pan-tilt-zoom)來高 分辨率地捕獲投影儀重疊區(qū)，然后用模擬退火方法來進(jìn)行全局優(yōu)化。SimWall使用兩次投 影、在線消除投影儀非線性因素的幾何校正算法，該方法簡(jiǎn)化了幾何校正過程，并提高了校 正精度。這些方法大多基于良好的投影環(huán)境并且需要在屏幕四周設(shè)置若干特征，以使得系 統(tǒng)識(shí)別出目標(biāo)投影區(qū)域，不足之處在于其校正過程比較復(fù)雜，對(duì)數(shù)據(jù)采集和投影儀位置要 求嚴(yán)格。對(duì)于曲面，和平面的主要不同是投影表面的建模更為復(fù)雜，一旦建模后則其他計(jì) 算方法與平面情況類似。對(duì)于常見的弧幕、球幕等規(guī)則投影曲面可以直接建立較為精確的 二次曲面表達(dá)式，處理方法較為直接，但是對(duì)于更復(fù)雜的表面，比如未知幾何模型的房屋墻 角或者具有不規(guī)則凹凸形狀的投影表面，則由于無法建立簡(jiǎn)單的數(shù)學(xué)表達(dá)式，實(shí)現(xiàn)難度較 大。Raskar使用雙目視覺的方法對(duì)場(chǎng)景進(jìn)行整體建模，得到曲面上各點(diǎn)的空間位置信息。但 這種方法在房間范圍內(nèi)固定兩個(gè)以上相機(jī)，然后對(duì)相機(jī)和投影儀進(jìn)行標(biāo)定，不能自由移動(dòng)， 對(duì)環(huán)境適應(yīng)性較差。Ashdown提出一種適合多塊平面拼合的幾何校正算法，利用直線型結(jié)構(gòu) 光來識(shí)別多平面的接縫，可以自由移動(dòng)投影儀和相機(jī)，但該方法限制了投影表面的類型，不 適用于一般曲面。

發(fā)明內(nèi)容
本發(fā)明的目的在于針對(duì)現(xiàn)有技術(shù)的不足，提供一種自適應(yīng)于投影表面的智能投影 方法。該方法根據(jù)投影表面的形狀和位置對(duì)投影儀放映的圖像進(jìn)行幾何校正，使其投影在 投影表面的圖像沒有變形，消除復(fù)雜投影環(huán)境對(duì)投影儀視覺效果的影響。本發(fā)明的目的是通過以下技術(shù)方案來實(shí)現(xiàn)的—種自適應(yīng)于投影表面的智能投影方法，自適應(yīng)于投影表面的智能投影系統(tǒng)包括 計(jì)算機(jī)、投影儀、攝像頭和傾角計(jì)，該方法包括以下步驟
(1)用計(jì)算機(jī)視覺方法對(duì)安裝在投影儀上的攝像頭進(jìn)行相機(jī)標(biāo)定，消除攝像頭徑 向畸變和切向畸變；(2)對(duì)安裝在投影儀上的雙軸數(shù)字傾角計(jì)進(jìn)行水平校準(zhǔn)，并設(shè)定傾角計(jì)測(cè)量精度 和信號(hào)傳輸頻率；(3)用雙軸數(shù)字傾角計(jì)實(shí)時(shí)反饋測(cè)量數(shù)據(jù)，在數(shù)據(jù)變化超出設(shè)定閾值的情況下觸 發(fā)計(jì)算機(jī)中的投影儀校正系統(tǒng)；(4)用攝像頭采集的圖像和雙軸數(shù)字傾角計(jì)反饋的數(shù)據(jù)結(jié)合計(jì)算機(jī)視覺方法將投 影儀放映的圖像進(jìn)行水平校正，使得放映出的圖像與世界坐標(biāo)系同軸；(5)用攝像頭采集的圖像結(jié)合計(jì)算機(jī)視覺方法計(jì)算投影儀的有效投影區(qū)域；(6)用計(jì)算機(jī)視覺方法對(duì)經(jīng)過水平校正的投影儀進(jìn)行幾何校正，消除投射在投影 表面的圖像的幾何形變；(7)使用雙通道顯卡繪制方法，繪制經(jīng)過校正的無形變圖像；(8)實(shí)時(shí)切換智能投影系統(tǒng)的工作狀態(tài)，進(jìn)行在線自主校正。本發(fā)明的有益效果是1.可以有效消除復(fù)雜投影背景對(duì)投影儀幾何校正的影響，投影背景可以是任何反 光物質(zhì)表面，不需要專業(yè)投影幕布。2.可以智能感知投影環(huán)境調(diào)整投影圖像，使得投影系統(tǒng)不受狹小空間的限制，實(shí) 現(xiàn)了任意擺放投影儀隨時(shí)隨地進(jìn)行投影。3.具有獨(dú)立的實(shí)時(shí)在線校正系統(tǒng)，投影校正過程無需人工參與，極大簡(jiǎn)化了投影 儀的安裝調(diào)節(jié)過程。4.基于軟件進(jìn)行系統(tǒng)控制和幾何校正，極大的降低了硬件成本。5.采用計(jì)算機(jī)視覺方法對(duì)采集數(shù)據(jù)處理和分析，極大的降低了投影系統(tǒng)運(yùn)行成 本。


圖1為有效投影區(qū)域示例圖，其中，(a)為普通平面投影有效投影區(qū)域示例圖， (b)為復(fù)雜表面投影有效投影區(qū)域示例圖，■表示多邊形投影區(qū)域，□表示矩形有效投影區(qū) 域；圖2為二進(jìn)制編碼特征圖，其中，(a) (i)依次為第一張至第九張二進(jìn)制編碼特 征圖；圖3為特征圖采集與圖像處理過程示例圖，其中，(a)為采集特征圖，(b)為采集反 色特征圖，(c)為圖像處理特征圖；圖4中，(a)為在投影圖像中建立由采集到的特征圖像中的特征點(diǎn)坐標(biāo)組成的 Delaimay三角剖分網(wǎng)格示意圖；(b)為投影儀將投影圖像直接投射在墻角后發(fā)生明顯的非 線性畸變示意圖；(c)為基于對(duì)應(yīng)三角網(wǎng)格之間的分段線性映射進(jìn)行插值變換，將離散三 角圖像集合拼接生成一個(gè)新的圖像示意圖；(d)為將(c)生成的新圖像投影在與(b)相同 位置的墻角，從攝像頭的采集圖像檢驗(yàn)已經(jīng)分辨不出幾何形變示意圖；圖5為智能投影系統(tǒng)結(jié)構(gòu)框圖；圖6為實(shí)施例的校正前后對(duì)比圖，其中，(a)和(b)分別為實(shí)施例1未校正圖像和校正圖像，(C)和(d)分別為實(shí)施例2未校正圖像和校正圖像。
具體實(shí)施例方式自適應(yīng)于投影表面的智能投影系統(tǒng)包括計(jì)算機(jī)、投影儀、攝像頭和傾角計(jì)，系統(tǒng)的 安裝過程如下首先，將攝像頭和雙軸數(shù)字傾角計(jì)安裝在投影儀上，并保證攝像頭鏡頭和雙 軸數(shù)字傾角計(jì)方向軸與投影儀的鏡頭同軸方向；然后將攝像頭和雙軸數(shù)字傾角計(jì)的輸出端 口連接到計(jì)算機(jī)，并安裝相應(yīng)的驅(qū)動(dòng)程序，同時(shí)將計(jì)算機(jī)顯卡的一個(gè)輸出口連接到投影儀。本發(fā)明自適應(yīng)于投影表面的智能投影方法，具體包括以下步驟1、用計(jì)算機(jī)視覺方法對(duì)安裝在投影儀上的攝像頭進(jìn)行相機(jī)標(biāo)定，消除攝像頭徑向 畸變和切向畸變。攝像頭由于本身的物理性質(zhì)在獲取圖像時(shí)會(huì)引入來自透鏡的畸變，本發(fā)明通過攝 像頭標(biāo)定算法計(jì)算出攝像頭的物理內(nèi)部參數(shù)進(jìn)行校正。攝像頭標(biāo)定主要計(jì)算的是透鏡結(jié)構(gòu) 引入的徑向畸變和切向畸變，作為計(jì)算機(jī)視覺領(lǐng)域的一個(gè)重要研究方向現(xiàn)在已經(jīng)有較為成 熟的標(biāo)定方法，比如Aziz和Karara提出的直接線性變換標(biāo)定法，R. Y. Tsai提出的基于徑向 約束的兩步標(biāo)定法，以及張正友提出的平面標(biāo)定法等。本發(fā)明采用的是張正友相機(jī)標(biāo)定法， 通過計(jì)算得到攝像頭內(nèi)部參數(shù)對(duì)攝像頭進(jìn)行相機(jī)標(biāo)定，在校正系統(tǒng)中使用這個(gè)標(biāo)定后的攝 像頭實(shí)時(shí)獲取圖像。2、對(duì)安裝在投影儀上的雙軸數(shù)字傾角計(jì)進(jìn)行水平校準(zhǔn)，并設(shè)定傾角計(jì)測(cè)量精度和 信號(hào)傳輸頻率?？梢杂糜?jì)算機(jī)上的傾角計(jì)控制軟件對(duì)安裝在投影儀上的雙軸數(shù)字傾角計(jì)進(jìn)行水 平校準(zhǔn)。3、用雙軸數(shù)字傾角計(jì)實(shí)時(shí)反饋測(cè)量數(shù)據(jù)，在數(shù)據(jù)變化超出設(shè)定閾值的情況下觸發(fā) 計(jì)算機(jī)中的投影儀校正系統(tǒng)。4、用攝像頭采集的圖像和雙軸數(shù)字傾角計(jì)反饋的數(shù)據(jù)結(jié)合計(jì)算機(jī)視覺方法將投 影儀放映的圖像進(jìn)行水平校正，使得放映出的圖像與世界坐標(biāo)系同軸。投影儀放映時(shí)，通過透鏡的光束類似于針孔成像，那么投影儀發(fā)生細(xì)小傾斜或其 它類似晃動(dòng)時(shí)投射在投影表面的圖像會(huì)發(fā)生很大的畸變，這種畸變有兩種第一種是投影 儀鏡頭移動(dòng)軌跡垂直于世界坐標(biāo)系的坐標(biāo)軸，這類幾何形變智能投影系統(tǒng)通過攝像頭標(biāo)定 和投影儀校正來消除；第二種是投影儀鏡頭移動(dòng)軌跡斜交于世界坐標(biāo)系的坐標(biāo)軸引起的， 這類幾何形變?cè)黾恿藞D像旋轉(zhuǎn)偏移的情況。智能投影系統(tǒng)的攝像頭安裝在投影鏡頭的同軸 方向，對(duì)于第二種幾何形變不能通過攝像頭和投影儀配合直接校正，必須引入水平測(cè)量設(shè) 備。智能投影系統(tǒng)將一個(gè)雙軸數(shù)字傾角計(jì)安裝在投影儀上，并保持與攝像頭以及投影儀鏡 頭同軸方向。首先，在計(jì)算機(jī)上的傾角計(jì)控制程序中將雙軸數(shù)字傾角計(jì)進(jìn)行水平校準(zhǔn)并設(shè) 定水平參數(shù)，進(jìn)入工作狀態(tài)后實(shí)時(shí)反饋給計(jì)算機(jī)雙軸數(shù)字傾角計(jì)的測(cè)量數(shù)據(jù)，并將測(cè)量數(shù) 據(jù)換算成投影儀的傾斜角度，對(duì)顯卡幀緩存中的預(yù)投影圖像進(jìn)行處理，消除投影儀傾斜導(dǎo) 致的圖像旋轉(zhuǎn)。5、用攝像頭采集的圖像結(jié)合計(jì)算機(jī)視覺方法計(jì)算投影儀的有效投影區(qū)域。智能投影系統(tǒng)面向的是復(fù)雜表面投影環(huán)境，投影儀的投影區(qū)域通常情況下是一個(gè) 不規(guī)則的多邊形區(qū)域，而觀眾希望看到的圖像是經(jīng)過幾何校正的標(biāo)準(zhǔn)矩形圖像。智能投影系統(tǒng)通過計(jì)算得到不規(guī)則多邊形區(qū)域中可以投影矩形圖像的矩形區(qū)域，這個(gè)矩形區(qū)域被稱 為有效投影區(qū)域。智能投影系統(tǒng)向投影表面放映一組邊緣特征圖片，并用攝像頭同步獲取。特征圖 片分辨率和投影儀分辨率相同且背景為黑色，并分別用白色球形點(diǎn)陣沿圖片左邊緣、下邊 緣、有邊緣、上邊緣均勻排列，采用圖像處理方法對(duì)采集到的邊緣特征圖像進(jìn)行處理，識(shí)別 并計(jì)算出每張邊緣特征圖中球形特征點(diǎn)的中心坐標(biāo)，并依次連接成線，在投射在投影表面 的圖像任意扭曲的情況下可以通過這個(gè)方法得到投影儀在投影表面的投影區(qū)域，但是，這 個(gè)多邊形區(qū)域大多數(shù)情況下并不是標(biāo)準(zhǔn)矩形，需要進(jìn)一步計(jì)算該多邊形內(nèi)最大的矩形區(qū) 域。計(jì)算凸多邊形內(nèi)的最大矩形有成熟的計(jì)算幾何方法參考，但在復(fù)雜的凸多邊形情 況時(shí)并沒有一個(gè)通用有效的方法，智能投影系統(tǒng)采用了一種“矩形生長(zhǎng)”的方法來計(jì)算。首 先計(jì)算多邊形的中心點(diǎn)坐標(biāo)，以它為中心建立2*2的初始矩形并按單個(gè)像素步長(zhǎng)增長(zhǎng)，如 果矩形的任意一條邊接觸到外面的多邊形，那么矩形就在該方向上停止“生長(zhǎng)”，在其它方 向繼續(xù)“生長(zhǎng)”。這樣最終得到一個(gè)存在于多邊形內(nèi)的“較大”矩形。經(jīng)過多次實(shí)驗(yàn)表明，通 過這種計(jì)算“矩形生長(zhǎng)”得到的多邊形內(nèi)“較大”矩形已經(jīng)可以滿足確定投影標(biāo)準(zhǔn)矩形區(qū)域 的需要(如圖1)。6、用計(jì)算機(jī)視覺方法對(duì)經(jīng)過水平校正的投影儀進(jìn)行幾何校正，消除投射在投影表 面的圖像的幾何形變。6. 1結(jié)構(gòu)光設(shè)計(jì)以二進(jìn)制編碼特征圖作為主動(dòng)結(jié)構(gòu)光的方法廣泛應(yīng)用于三維測(cè)量領(lǐng)域，例如三維 曲面重構(gòu)、三維輪廓測(cè)量等，本智能投影系統(tǒng)采用二進(jìn)制編碼特征圖確定投影儀和投影表 面之間的對(duì)應(yīng)關(guān)系。首先，需要制作一張由N個(gè)均勻排列的特征點(diǎn)組成的特征圖像，并對(duì)這N個(gè)點(diǎn)從1 到N給予唯一的編號(hào)，如左上角第一個(gè)點(diǎn)編號(hào)為1，這樣依次編號(hào)，最后一個(gè)特征點(diǎn)編號(hào)為 N。在這里，對(duì)于特征點(diǎn)的類型和數(shù)量可以根據(jù)投影環(huán)境和投影精度的不同來進(jìn)行選擇，從 類型上可以使用球形離散點(diǎn)、棋盤格角點(diǎn)、橫豎條紋交點(diǎn)等作為特征點(diǎn)，在數(shù)量上可以根據(jù) 投影儀投射圖像的分辨率以及校正精度的不同來確定。根據(jù)實(shí)際情況選擇合適的特征點(diǎn)類 型和數(shù)量可以在投影儀校正過程中取得更好的效果。本智能投影系統(tǒng)的投影對(duì)象是復(fù)雜的投影表面，投射的結(jié)構(gòu)光會(huì)發(fā)生不可預(yù)測(cè)的 扭曲，形如橫豎條紋這樣的特征圖不容易計(jì)算精確的交點(diǎn)坐標(biāo)，針對(duì)這種情況選擇使用球 形離散特征點(diǎn)作為結(jié)構(gòu)光進(jìn)行投射。同時(shí)，由于所選投影儀的最佳分辨率1024*768，智能投 影系統(tǒng)在保證特征點(diǎn)均勻排列于整個(gè)投影區(qū)域的前提下確定球形圖案的半徑為10個(gè)像素 并按照19*25組成特征點(diǎn)陣列，即球形特征點(diǎn)共475個(gè)，所以N = 475。475的二進(jìn)制表示為 111011011，所以可以用9位二進(jìn)制數(shù)表示這475個(gè)編號(hào)。智能投影系統(tǒng)制作了 9張?zhí)卣鲌D 片來投影這些特征點(diǎn)(如圖2)，第一張圖是將前面提到的包含所有475個(gè)特征點(diǎn)的圖像只 保留編號(hào)的二進(jìn)制表達(dá)第一位(從右至左)為1的特征點(diǎn)后生成的圖像，依此為例制作另 外8張圖像，即第i (1 < i < 9)張圖表示包含所有編號(hào)的二進(jìn)制表達(dá)第i位為1的特征點(diǎn) 的特征圖，那么就可以用這9張圖像來給每一個(gè)特征點(diǎn)唯一的用二進(jìn)制標(biāo)識(shí)。例如，101的 9位二進(jìn)制表示為001100101，那么編號(hào)101就對(duì)應(yīng)在第一張、第三張、第六張、第七張圖片
6都存在的白色球形特征點(diǎn)，智能投影系統(tǒng)將9張?zhí)卣鼽c(diǎn)圖像依次投射在投影表面，通過判 斷每一個(gè)特征點(diǎn)出現(xiàn)哪些圖片即得到了所有這些特征點(diǎn)各自的編號(hào)，通過這種方法可以計(jì) 算出這些特征點(diǎn)在攝像頭獲取圖像的坐標(biāo)系中坐標(biāo)(X，Y)與投影圖像坐標(biāo)系中的坐標(biāo)(U， V)的對(duì)應(yīng)關(guān)系，這為之后進(jìn)行分段線性計(jì)算時(shí)提供了必要條件。6. 2特征圖采集與圖像處理本智能投影系統(tǒng)使用安裝在投影儀上的攝像頭同步采集投射于投影表面的特征 圖像(圖3(a))，為了能夠準(zhǔn)確計(jì)算所有特征點(diǎn)的中心坐標(biāo)，必須采用圖像處理方法對(duì)采集 的圖像進(jìn)行預(yù)處理。由于智能投影系統(tǒng)應(yīng)用的對(duì)象是投影環(huán)境復(fù)雜的情況，那么首先要做 的是消除采集圖像中特征點(diǎn)以外的背景干擾。采集圖像中的背景干擾來自于兩個(gè)方面，第 一個(gè)是投影環(huán)境本身形狀、顏色、亮度等的干擾，另一個(gè)是由于投影儀投射的特征點(diǎn)亮度遠(yuǎn) 高于投影背景，并且特征點(diǎn)數(shù)量大、排列密集，用攝像頭采集時(shí)由于其本身感光能力的限制 不可避免的造成特征點(diǎn)的反光即特征點(diǎn)陣產(chǎn)生不規(guī)則大面積光暈，增加獲取離散特征點(diǎn)的 球形輪廓的難度，影響特征點(diǎn)中心坐標(biāo)計(jì)算的準(zhǔn)確性。智能投影系統(tǒng)先對(duì)采集到的特征圖進(jìn)行高斯濾波處理消除背景噪聲，這樣可以得 到更加平滑的圖像，接著將采集到的背景圖與特征圖進(jìn)行差分，消除大部分背景干擾。同 時(shí)，智能投影系統(tǒng)針對(duì)采集到的特征圖中不規(guī)則大面積光暈的情況向投影表面投射一個(gè)與 特征點(diǎn)圖顏色相反的反色點(diǎn)陣圖(圖3(b))，采集后將其與經(jīng)過高斯濾波和消除背景的特 征圖進(jìn)行差分，可以有效的將散射的不規(guī)則大面積光暈消除。接下來，對(duì)處理后的特征圖進(jìn)行結(jié)構(gòu)單元為球形的開運(yùn)算消除特征點(diǎn)之外的細(xì)小 背景紋理，再進(jìn)行結(jié)構(gòu)單元為矩形的閉運(yùn)算將特征點(diǎn)球形區(qū)域經(jīng)過圖像膨脹補(bǔ)充完整，最 后對(duì)特征圖進(jìn)行二值化處理得到一組便于坐標(biāo)計(jì)算的特征圖(圖3(c))。6. 3建立對(duì)應(yīng)關(guān)系智能投影系統(tǒng)對(duì)處理后的特征圖組運(yùn)用二進(jìn)制編碼方法，確定采集特征圖中與投 影特征圖475個(gè)點(diǎn)的一一對(duì)應(yīng)關(guān)系，即采集特征圖中的每一個(gè)點(diǎn)可以從1到475進(jìn)行編號(hào) 并且這些編號(hào)與投影特征圖中的特征點(diǎn)編號(hào)準(zhǔn)確一致。分別計(jì)算特征點(diǎn)陣的中心坐標(biāo)可 以得到采集特征圖中編號(hào)為i的特征點(diǎn)坐標(biāo)(X” Yi)在投影特征圖中的對(duì)應(yīng)特征點(diǎn)坐標(biāo) (Ui, Vi)，即可以建立兩個(gè)坐標(biāo)平面特征點(diǎn)坐標(biāo)的一一映射集合(Xi, Yi) — (Ui, Vi) (i = 1， 2 j ···；475)ο投影儀校正的目標(biāo)是解決投影圖像的變形問題，智能投影系統(tǒng)需要將計(jì)算得到 的特征點(diǎn)之間的映射關(guān)系拓展到兩個(gè)坐標(biāo)平面的映射關(guān)系，正如前文所述，對(duì)于投影對(duì)象 是非參數(shù)化平面的情況這種映射關(guān)系是一種復(fù)雜的非線性映射關(guān)系，求解過程的計(jì)算量很 大。為滿足實(shí)時(shí)在線校正的要求，智能投影系統(tǒng)采用的是一種分段線性方法，將采集到的投 影表面圖像和投影圖像進(jìn)行合理的網(wǎng)格劃分，在兩個(gè)圖像中對(duì)應(yīng)細(xì)小網(wǎng)格間使用線性插值 變換。智能投影系統(tǒng)采用Delaimay三角剖分方法生成網(wǎng)格，Delaunay三角剖分方法可 以將空間點(diǎn)連接為三角形并保證三角形中最小的角最大，這種方法生成的三角形網(wǎng)格形狀 相似、大小均勻，非常適合用在分段線性計(jì)算中。按照Delaimay三角剖分方法在采集到的 投影表面特征圖中以計(jì)算得到的特征點(diǎn)中心坐標(biāo)為頂點(diǎn)集合進(jìn)行網(wǎng)格化，可以得到一個(gè)基 于頂點(diǎn)和邊的三角形網(wǎng)格描述集合T (V, S) (V表示基于特征點(diǎn)中心的頂點(diǎn)集合，S表示所有
7三角形網(wǎng)格的邊的集合)。那么對(duì)于集合中任意一個(gè)三角形A，一定可以利用三個(gè)頂點(diǎn)的對(duì) 應(yīng)關(guān)系在投影圖像的特征點(diǎn)集合中找到對(duì)應(yīng)的點(diǎn)坐標(biāo)即可以找到一個(gè)對(duì)應(yīng)的三角形A’，這 樣按照集合T中的三角形頂點(diǎn)連接關(guān)系在投影圖像的特征點(diǎn)圖中一一對(duì)應(yīng)連結(jié)，就可以得 到一個(gè)新的三角形網(wǎng)格T’，在網(wǎng)格數(shù)量適當(dāng)?shù)那闆r下T和T’滿足分段線性映射關(guān)系。將網(wǎng)格T覆蓋于待投影圖像的整個(gè)坐標(biāo)平面(如圖4(a))，這樣每一個(gè)三角形都 覆蓋一定面積的圖像區(qū)域，即用網(wǎng)格T分割的離散圖像集合P，然后將網(wǎng)格T’也覆蓋于待 投影圖像的整個(gè)坐標(biāo)平面，同樣得到一個(gè)用網(wǎng)格T’分割的離散圖像集合P’，那么根據(jù)T和 T’的一一映射關(guān)系，可以找到離散圖像P與P’之間的一一對(duì)應(yīng)關(guān)系。在網(wǎng)格數(shù)量、大小適 當(dāng)?shù)那闆r下對(duì)應(yīng)三角形圖像之間的對(duì)應(yīng)關(guān)系近似于線性映射關(guān)系，即離散圖像P與P’整體 近似于分段線性映射。最后，智能投影系統(tǒng)分別對(duì)所有對(duì)應(yīng)三角形網(wǎng)格Ti和T’ i覆蓋的三角形圖像之間 計(jì)算單應(yīng)性矩陣Hi (Ti — T’ i)，可以得到一個(gè)建立在兩個(gè)坐標(biāo)平面之間的單應(yīng)性矩陣集合 H(T — Τ’)，根據(jù)集合H的分段線性映射關(guān)系用線性插值方法將所有網(wǎng)格T分割的離散三 角形圖像集合P的形狀和像素值分段線性計(jì)算，最終得到一個(gè)新的三角形圖像集合Pnrat，將 PnOT按照坐標(biāo)位置組合成一幅新的圖像(如圖4(c))，智能投影系統(tǒng)將這張圖像按照計(jì)算得 到的投影表面的有效投影區(qū)域坐標(biāo)范圍進(jìn)行適當(dāng)縮放，最后用投影儀投射到投影表面，此 時(shí)觀眾看到的是準(zhǔn)確校正的垂直于世界坐標(biāo)系的標(biāo)準(zhǔn)矩形圖像(如圖4(d))，從視覺感覺 不到復(fù)雜投影環(huán)境對(duì)投影圖像產(chǎn)生的影響。7、使用雙通道顯卡繪制方法，繪制經(jīng)過校正的無形變圖像。智能投影系統(tǒng)在某一固定位置處于工作狀態(tài)時(shí)，對(duì)每一幀預(yù)投影圖像使用相同的 校正方法進(jìn)行計(jì)算，最終得到新的圖像投射在投影表面。將預(yù)投影圖像在顯卡的第一個(gè)通 道進(jìn)行繪制，然后根據(jù)上述校正方法對(duì)這幀圖像采用分段線性方法進(jìn)行計(jì)算并將計(jì)算結(jié)果 輸入第二個(gè)通道，最后在第二個(gè)通道繪制經(jīng)過幾何校正的新圖像輸出給投影儀投射于投影 表面。用戶最終看到的是經(jīng)過幾何校正的無形變圖像。8、實(shí)時(shí)切換智能投影系統(tǒng)的工作狀態(tài)，進(jìn)行在線自主校正。本智能投影系統(tǒng)具有實(shí)時(shí)在線自主校正的能力，其處于工作狀態(tài)的校正系統(tǒng)是一 個(gè)獨(dú)立的在線閉環(huán)系統(tǒng)。根據(jù)校正算法的主要流程，智能投影系統(tǒng)可以設(shè)置為兩種工作狀 態(tài)，即監(jiān)控狀態(tài)和校正狀態(tài)。處于監(jiān)控狀態(tài)時(shí)，投影儀正常放映，傾角計(jì)進(jìn)行實(shí)時(shí)監(jiān)控，一旦傾角計(jì)的數(shù)值變化 超出設(shè)定閾值，則向系統(tǒng)發(fā)送信號(hào)觸發(fā)校正系統(tǒng)，智能投影系統(tǒng)開始進(jìn)入校正狀態(tài)。進(jìn)入校 正狀態(tài)后，智能投影系統(tǒng)在攝像頭、數(shù)字傾角計(jì)、投影儀以及校正算法的配合下進(jìn)行一系列 的圖像處理和計(jì)算，在滿足預(yù)設(shè)的校正標(biāo)準(zhǔn)后結(jié)束校正狀態(tài)，系統(tǒng)繼續(xù)進(jìn)入監(jiān)控狀態(tài)。智能投影系統(tǒng)在監(jiān)控和校正這兩種狀態(tài)不斷進(jìn)行切換，保證投影圖像在任意投影 表面的無形變放映，這兩個(gè)互斥的進(jìn)程類似于分布式計(jì)算環(huán)境中的“生產(chǎn)者與消費(fèi)者”問 題，它們之間通過信號(hào)量解決共享硬件資源的沖突。本發(fā)明中，所說的相機(jī)標(biāo)定是使用張正友相機(jī)標(biāo)定法對(duì)攝像頭進(jìn)行校準(zhǔn)。本發(fā)明中，所說的投影儀水平校正是先在計(jì)算機(jī)上的傾角計(jì)控制程序中將雙軸數(shù) 字傾角計(jì)進(jìn)行水平校準(zhǔn)并設(shè)定水平參數(shù)，進(jìn)入工作狀態(tài)后實(shí)時(shí)反饋給計(jì)算機(jī)雙軸數(shù)字傾角 計(jì)的測(cè)量數(shù)據(jù)，并將測(cè)量數(shù)據(jù)換算成投影儀的傾斜角度，對(duì)顯卡幀緩存中的預(yù)投影圖像進(jìn)行處理，消除投影儀傾斜導(dǎo)致的圖像旋轉(zhuǎn)。本發(fā)明中，所說的有效投影區(qū)域是投影儀投射一組特征圖像，經(jīng)過攝像頭采集后 通過計(jì)算機(jī)中的圖像處理程序分析，可以計(jì)算出投影儀投射在復(fù)雜投影表面時(shí)觀眾從視覺 上看到的不規(guī)則的高亮區(qū)域中的一個(gè)規(guī)則矩形區(qū)域，該矩形區(qū)域與世界坐標(biāo)系同軸。本發(fā)明中，所說的幾何校正是計(jì)算機(jī)通過分析攝像頭采集到的投影儀投射在投影 表面的特征圖像，用計(jì)算機(jī)視覺方法計(jì)算出投影儀處于當(dāng)前位姿時(shí)預(yù)投影圖像與投射在投 影表面的投影圖像之間的分段線性關(guān)系，根據(jù)二者之間的分段線性關(guān)系對(duì)顯卡的幀緩存進(jìn) 行處理，消除投射在投影表面的投影圖像的不規(guī)則幾何形變。本發(fā)明中，所說的雙通道顯卡繪制方法是將預(yù)投影圖像在顯卡的第一個(gè)通道進(jìn)行 繪制得到一幀圖像，然后使用幾何校正方法對(duì)這幀圖像采用分段線性方法進(jìn)行計(jì)算并將計(jì) 算結(jié)果輸入第二個(gè)通道，在顯卡的第二個(gè)通道繪制完成一幀新的圖像，這幀圖像通過第二 個(gè)通道的輸出端口輸入給投影儀進(jìn)行投影。本發(fā)明中，所說的實(shí)時(shí)在線自主校正是計(jì)算機(jī)通過信號(hào)量機(jī)制控制智能投影系統(tǒng) 實(shí)時(shí)在監(jiān)控狀態(tài)和校正狀態(tài)進(jìn)行切換，整個(gè)過程不需人工進(jìn)行參與，其處于工作狀態(tài)的校 正系統(tǒng)是個(gè)獨(dú)立的在線閉環(huán)系統(tǒng)。本發(fā)明中，所說的投影儀可采用DLP投影儀。本發(fā)明中，所說的傾角計(jì)可采用串口輸出雙軸傾角傳感器。以下通過實(shí)施例對(duì)本發(fā)明做進(jìn)一步說明實(shí)施例本實(shí)施例中，如圖5所示智能投影系統(tǒng)采用CPU為Intel Core2 Quad CPUQ6600 2. 40GHz，雙通道顯卡為ATI Radeon HD 4800的計(jì)算機(jī)作為主要計(jì)算平臺(tái)。攝像頭采用 Logitech公司型號(hào)為QuickCam Pro for Notebooks的網(wǎng)絡(luò)攝像頭，該產(chǎn)品帶自動(dòng)對(duì)焦功 能，有效像素為2百萬。雙軸數(shù)字傾角計(jì)為SCA126T，是瑞芬科技針對(duì)工業(yè)現(xiàn)場(chǎng)控制領(lǐng)域推 出串口輸出型雙軸傾角傳感器，內(nèi)置高精度16bit A/D差分轉(zhuǎn)換器，通過5階濾波算法，輸 出雙方向的傾角值，輸出速度能達(dá)到20次/秒。投影儀采用型號(hào)為L(zhǎng)enovo T151的DLP數(shù) 字投影儀，該投影儀采用TI DLP微反射數(shù)字投影技術(shù)，亮度為4000流明，運(yùn)用RealLight 色彩還原技術(shù)通過實(shí)時(shí)測(cè)算輸入信號(hào)的色彩飽和度、色域、色調(diào)、色溫、伽瑪?shù)汝P(guān)鍵色彩指 標(biāo)實(shí)現(xiàn)色彩補(bǔ)償和校正功能，確保輸出信號(hào)在色彩表現(xiàn)上與輸入信號(hào)保持一致，以達(dá)到理 想的色彩還原效果。首先，在計(jì)算機(jī)上安裝智能投影系統(tǒng)的控制程序以及攝像頭的驅(qū)動(dòng)程序和傾角計(jì) 的控制軟件，將攝像頭和雙軸數(shù)字傾角計(jì)的輸出端口連接到計(jì)算機(jī)的USB端口，同時(shí)將計(jì) 算機(jī)顯卡的一個(gè)VGA輸出接口連接到投影儀的輸入接口。然后，將攝像頭和雙軸數(shù)字傾角 計(jì)固定在投影儀上，并保證攝像頭鏡頭和雙軸數(shù)字傾角計(jì)方向軸與投影儀的鏡頭同軸方 向。然后，用智能投影系統(tǒng)的控制程序測(cè)試各個(gè)硬件的工作狀況，確保滿足系統(tǒng)要求。最后， 對(duì)安裝在投影儀上的攝像頭使用張正友相機(jī)標(biāo)定法進(jìn)行相機(jī)標(biāo)定，消除攝像頭徑向畸變和 切向畸變；使用計(jì)算機(jī)上的傾角計(jì)控制軟件對(duì)安裝在投影儀上的雙軸數(shù)字傾角計(jì)進(jìn)行水平 校準(zhǔn)，在智能投影系統(tǒng)控制程序中設(shè)定傾角計(jì)測(cè)量精度和信號(hào)傳輸頻率；設(shè)定傾角計(jì)數(shù)值 變化閾值，用雙軸數(shù)字傾角計(jì)實(shí)時(shí)反饋測(cè)量數(shù)據(jù)，在數(shù)據(jù)變化超出設(shè)定閾值的情況下觸發(fā) 計(jì)算機(jī)中的投影儀校正系統(tǒng)。
處于工作狀態(tài)的智能投影系統(tǒng)，實(shí)時(shí)分析傾角計(jì)反饋數(shù)據(jù)決定是否觸發(fā)校正狀 態(tài)，進(jìn)入校正狀態(tài)后，分析攝像頭實(shí)時(shí)采集的圖像和雙軸數(shù)字傾角計(jì)反饋的數(shù)據(jù)結(jié)合計(jì)算 機(jī)視覺方法將投影儀放映的圖像進(jìn)行水平校正，使得放映出的圖像與世界坐標(biāo)系同軸。同 時(shí)，用攝像頭采集的圖像結(jié)合計(jì)算機(jī)視覺方法計(jì)算投影儀的有效投影區(qū)域，最后，用計(jì)算機(jī) 視覺方法對(duì)經(jīng)過水平校正的投影儀進(jìn)行幾何校正，消除投射在投影表面的圖像的幾何形 變。使用該智能投影系統(tǒng)在室內(nèi)選取墻角和雨傘的不規(guī)則傘面這兩個(gè)不同場(chǎng)景進(jìn)行 投影實(shí)驗(yàn)，墻角和雨傘的表面信息和三維模型均未知，同時(shí)實(shí)驗(yàn)的光照情況也不確定，并且 背景情況復(fù)雜，包括電燈的光線反射和其他物體的紋理干擾，智能投影系統(tǒng)的使用效果如 圖6所示，投影圖像經(jīng)過校正后投影效果已經(jīng)滿足了觀察者的視覺檢驗(yàn)標(biāo)準(zhǔn)。
權(quán)利要求
一種自適應(yīng)于投影表面的智能投影方法，自適應(yīng)于投影表面的智能投影系統(tǒng)包括計(jì)算機(jī)、投影儀、攝像頭和傾角計(jì)，其特征在于，該方法包括以下步驟(1)用計(jì)算機(jī)視覺方法對(duì)安裝在投影儀上的攝像頭進(jìn)行相機(jī)標(biāo)定，消除攝像頭徑向畸變和切向畸變。(2)對(duì)安裝在投影儀上的雙軸數(shù)字傾角計(jì)進(jìn)行水平校準(zhǔn)，并設(shè)定傾角計(jì)測(cè)量精度和信號(hào)傳輸頻率。(3)用雙軸數(shù)字傾角計(jì)實(shí)時(shí)反饋測(cè)量數(shù)據(jù)，在數(shù)據(jù)變化超出設(shè)定閾值的情況下觸發(fā)計(jì)算機(jī)中的投影儀校正系統(tǒng)。(4)用攝像頭采集的圖像和雙軸數(shù)字傾角計(jì)反饋的數(shù)據(jù)結(jié)合計(jì)算機(jī)視覺方法將投影儀放映的圖像進(jìn)行水平校正，使得放映出的圖像與世界坐標(biāo)系同軸。(5)用攝像頭采集的圖像結(jié)合計(jì)算機(jī)視覺方法計(jì)算投影儀的有效投影區(qū)域。(6)用計(jì)算機(jī)視覺方法對(duì)經(jīng)過水平校正的投影儀進(jìn)行幾何校正，消除投射在投影表面的圖像的幾何形變。(7)使用雙通道顯卡繪制方法，繪制經(jīng)過校正的無形變圖像。(8)實(shí)時(shí)切換智能投影系統(tǒng)的工作狀態(tài)，進(jìn)行在線自主校正。
2.根據(jù)權(quán)利要求1所述的自適應(yīng)于投影表面的智能投影方法，其特征在于，所述步驟(1)中，所述相機(jī)標(biāo)定是使用張正友相機(jī)標(biāo)定法對(duì)攝像頭進(jìn)行校準(zhǔn)。
3.根據(jù)權(quán)利要求1所述的自適應(yīng)于投影表面的智能投影方法，其特征在于，所述步驟(2)中，所述投影儀水平校正是先在計(jì)算機(jī)上將雙軸數(shù)字傾角計(jì)進(jìn)行水平校準(zhǔn)并設(shè)定水平 參數(shù)，進(jìn)入工作狀態(tài)后實(shí)時(shí)反饋給計(jì)算機(jī)雙軸數(shù)字傾角計(jì)的測(cè)量數(shù)據(jù)，并將測(cè)量數(shù)據(jù)換算 成投影儀的傾斜角度，對(duì)顯卡幀緩存中的預(yù)投影圖像進(jìn)行處理，消除投影儀傾斜導(dǎo)致的圖 像旋轉(zhuǎn)。
4.根據(jù)權(quán)利要求1所述的自適應(yīng)于投影表面的智能投影方法，其特征在于，所述步驟(5)中，所述有效投影區(qū)域是投影儀投射一組特征圖像，經(jīng)過攝像頭采集后通過計(jì)算機(jī)計(jì)算 出投影儀投射在復(fù)雜投影表面時(shí)觀眾從視覺上看到的不規(guī)則的高亮區(qū)域中的一個(gè)規(guī)則矩 形區(qū)域，該矩形區(qū)域與世界坐標(biāo)系同軸。
5.根據(jù)權(quán)利要求1所述的自適應(yīng)于投影表面的智能投影方法，其特征在于，所述步驟(6)中，所述幾何校正是計(jì)算機(jī)通過分析攝像頭采集到的投影儀投射在投影表面的特征圖 像，用計(jì)算機(jī)視覺方法計(jì)算出投影儀處于當(dāng)前位姿時(shí)預(yù)投影圖像與投射在投影表面的投影 圖像之間的分段線性關(guān)系，根據(jù)二者之間的分段線性關(guān)系對(duì)顯卡的幀緩存進(jìn)行處理，消除 投射在投影表面的投影圖像的不規(guī)則幾何形變。全文摘要
本發(fā)明公開了一種自適應(yīng)于投影表面的智能投影方法，該方法用計(jì)算機(jī)視覺方法根據(jù)投影表面的形狀和位置對(duì)投影儀放映的圖像進(jìn)行幾何校正，使其投影在投影表面的圖像沒有發(fā)生變形，消除了復(fù)雜投影環(huán)境對(duì)投影儀視覺效果的影響。本智能投影系統(tǒng)具有獨(dú)立的實(shí)時(shí)在線校正系統(tǒng)，投影校正過程無需人工參與，大大簡(jiǎn)化了投影儀的安裝調(diào)節(jié)過程；采用計(jì)算機(jī)視覺方法對(duì)采集數(shù)據(jù)處理和分析，降低了投影系統(tǒng)的運(yùn)行成本；可以自動(dòng)獲取投影環(huán)境和投影儀位姿信息，不受空間限制任意擺放投影儀放映無形變圖像。
文檔編號(hào)G06F3/14GK101916175SQ20101026255
公開日2010年12月15日 申請(qǐng)日期2010年8月20日 優(yōu)先權(quán)日2010年8月20日
發(fā)明者宋廣華, 朱博, 解利軍, 鄭耀 申請(qǐng)人:浙江大學(xué)