專利名稱：多投影拼接幾何校正方法及校正裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理技術(shù)，尤其涉及一種多投影拼接幾何校正方法及校正裝置。
背景技術(shù)：
大屏幕顯示系統(tǒng)是一個多路輸入、超大單屏的顯示系統(tǒng)。在大屏幕拼接系統(tǒng)中，顯示出來的是一幅整體的畫面，它由各信號源的圖像拼接而成。每臺設(shè)備只顯示圖像的一部分?；∧槐惩妒侵笍幕∧槐趁?，分別投影圖像到弧幕中。為了得到較好的顯示效果，需要對投影儀中的圖像進行校準(zhǔn)。現(xiàn)有技術(shù)存在一些幾何校準(zhǔn)方案，但是，現(xiàn)有方案中需要較復(fù)雜的數(shù)學(xué)模型建立或者需要過多的圖像映射變換過程。

發(fā)明內(nèi)容
本發(fā)明實施例提供一種多投影拼接幾何校正方法及校正裝置，采用較少的圖像映射實現(xiàn)幾何校準(zhǔn)。本發(fā)明實施例提供一種多投影拼接幾何校正方法，包括獲取攝像機到3D弧幕的映射關(guān)系；根據(jù)投影儀到攝像機的映射關(guān)系、所述攝像機到3D弧幕的映射關(guān)系以及3D弧幕到輸入超分辨率圖像映射關(guān)系，得到投影儀幀緩存圖像變換映射表；
根據(jù)所述投影儀幀緩存圖像變換映射表，對投影儀要投影的圖像進行幾何配準(zhǔn)校正。本發(fā)明實施例提供一種校正裝置，包括獲取模塊，用于獲取攝像機到3D弧幕的映射關(guān)系；確定模塊，用于根據(jù)投影儀到攝像機的映射關(guān)系、所述獲取模塊得到的所述攝像機到3D弧幕的映射關(guān)系以及3D弧幕到輸入超分辨率圖像映射關(guān)系，得到投影儀幀緩存圖像變換映射表；校正模塊，用于根據(jù)所述投影儀幀緩存圖像變換映射表，對投影儀要投影的圖像進行幾何配準(zhǔn)校正。由上述技術(shù)方案可知，本發(fā)明實施例在求解投影儀幀緩存圖像變換映射表時，所需的圖像映射關(guān)系較少，因此可以采用較少的圖像映射實現(xiàn)多投影時的幾何校準(zhǔn)，實現(xiàn)方法簡便易行。


為了更清楚地說明本發(fā)明實施例中的技術(shù)方案，下面將對實施例描述中所需要使用的附圖作一簡單地介紹，顯而易見地，下面描述中的附圖是本發(fā)明的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動性的前提下，還可以根據(jù)這些附圖獲得其他的附圖。圖I為本發(fā)明第一實施例的方法流程示意圖2為本發(fā)明第二實施例的方法流程示意圖；圖3為本發(fā)明第二實施例中3D弧幕在世界坐標(biāo)系中的圖像及攝像機對該3D弧幕的拍攝圖像的示意圖；圖4為本發(fā)明第二實施例中攝像機針孔成像模型的示意圖；圖5為本發(fā)明第二實施例中求解攝像機內(nèi)外參數(shù)的實現(xiàn)方式一的流程示意圖；圖6為本發(fā)明第二實施例中求解攝像機內(nèi)外參數(shù)的實現(xiàn)方式二的流程示意圖；圖7為本發(fā)明第二實施例中3D弧幕的2D參數(shù)化表示示意圖；圖8為本發(fā)明第二實施例中完整輸入圖像坐標(biāo)與3D弧幕坐標(biāo)相同的2D參數(shù)化表示示意圖； 圖9為本發(fā)明第二實施例的方法流程不意圖；圖10為本發(fā)明第三實施例中3D弧幕與虛擬2D平幕的示意圖；圖11為本發(fā)明第三實施例中攝像機圖像的示意圖；圖12為本發(fā)明第三實施例中虛擬攝像機圖像的示意圖；圖13為本發(fā)明第四實施例的裝置結(jié)構(gòu)示意圖。
具體實施例方式為使本發(fā)明實施例的目的、技術(shù)方案和優(yōu)點更加清楚，下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述，顯然，所描述的實施例是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。圖I為本發(fā)明第一實施例的方法流程示意圖，包括步驟11 :校正裝置獲取攝像機到3D弧幕的映射關(guān)系；其中，攝像機到3D弧幕的映射關(guān)系可以通過兩個虛擬平幕作為中間參數(shù)確定，此時可以包括根據(jù)攝像機圖像與虛擬攝像機圖像的映射關(guān)系，以及虛擬攝像機圖像與虛擬2D平幕的映射關(guān)系，得到攝像機與虛擬2D平幕的映射關(guān)系；根據(jù)所述攝像機與虛擬2D平幕的映射關(guān)系，以及虛擬2D平幕與3D弧幕的映射關(guān)系，得到攝像機到3D弧幕的映射關(guān)系?；蛘撸瑪z像機到3D弧幕的映射關(guān)系也可以通過攝像機內(nèi)外參數(shù)作為中間參數(shù)確定，此時可以包括根據(jù)對3D弧幕的拍攝圖像，及所述3D弧幕的幾何信息，求解攝像機內(nèi)外參數(shù)；根據(jù)所述攝像機內(nèi)外參數(shù)及所述3D弧幕的2D坐標(biāo)，得到攝像機到3D弧幕的映射關(guān)系O上述兩種方法可以具體參見下述實施例。步驟12 :校正裝置根據(jù)投影儀到攝像機的映射關(guān)系、所述攝像機到3D弧幕的映射關(guān)系以及3D弧幕到輸入超分辨率圖像映射關(guān)系，得到投影儀幀緩存圖像變換映射表；其中，通過步驟11可以確定攝像機到3D弧眷的映射關(guān)系—D。另外，投影儀到攝像機的映射關(guān)系FUi = 1,2,3)(以3個投影儀進行拼接為例)可以采用現(xiàn)有技術(shù)實現(xiàn)，例如，可以采用如下方式確定I)制作特征blob模板圖；2) 3個投影儀分別投影到3D弧幕；3)分別由固定位置與參數(shù)的攝像機拍攝，獲得3個攝像機圖像；
4)對該3個攝像機圖像進行特征檢測，并建立與已知特征blob位置信息的模板圖間的點對映射關(guān)系；此時的映射是稀疏的。5)應(yīng)用Rational Bezier Patch曲面插值算法,建立致密的投影儀到攝像機圖像的映射。至此，將得到的致密的投影儀到攝像機圖像的映射作為上述的投影儀到攝像機圖像的映射關(guān)系FUi = 1，2，3)。再者，3D弧幕到輸入超分辨率圖像映射關(guān)系FD —311可以采用如下方式確定此映射變換公式如下(mx, my) = FD —Su(s, t) = (s, t)·
其中，D表示投影幕(Display), Su表示輸入超分辨率(SuperImage)圖像；Ov my)，(s，t)分別為輸入超分辨率圖像中的點，3D弧幕的2D坐標(biāo)點；由于輸入超分辨率圖像的坐標(biāo)含義與3D弧幕的2D坐標(biāo)定義一致，則顯然有
\s = mx
[t = my因此，F(xiàn)d — Su為單位變換。通過上述計算，得到了投影儀到攝像機的映射關(guān)系0卜。(i = 1，2，3)、攝像機到3D弧幕的映射關(guān)系Fp11以及3D弧幕到輸入超分辨率圖像映射關(guān)系FD —su，之后，可以根據(jù)上述3個映射關(guān)系，得到投影儀幀緩存圖像變換映射表。具體可以如下首先，根據(jù)上述3個映射關(guān)系級聯(lián)得到FiUaO+ = 1，2，3)，即，(jnx, fny ) — FD—Su (Fc—D (Fp—c (x,少)))= FcHc(x,y))=F^Su(x,y)其中，(x，y)為投影儀幀圖像點的坐標(biāo)。之后，根據(jù)€‘(/ = 1,2,3)得到投影儀幀圖像中某一點對應(yīng)的輸入超分辨率圖像中的點，根據(jù)輸入超分辨率圖像中的點計算顏色值并賦給該投影儀幀圖像中的點，例如，(xl，yl)對應(yīng)(mxl，myl)，則可以將!!^，myl鄰近的點(點的個數(shù)可以設(shè)定)進行插值計算得到的顏色值賦給(xl, yl)。之后，通過顏色比對確定投影儀幀緩存圖像變換映射表另RGB (X，y) = RGB (mPff_x,mPW—y),則得到點(x,y)到點(mPW—x, mPW—y)的映射 F11^ PW(i = 1,2,3), RGB (mPff x,mPff y)的值為輸入超分辨率圖像中的點的顏色值。即選取一個點(X，y)，計算得到該點的顏色值RGB(X，y)，之后找到具有相同顏色值RGB (X, y) = RGB (mPff x, mPff y)的點(mPW—x, mPff y),即得到變換關(guān)系(mPW _x,mPW _y) = F'P^PW(i = l,2,3)(x,y)上述的RGBO表示顏色值。至此則得到了投影儀幀緩存圖像變換映射表戶卜 (1 = 1，2，3)。步驟13 :校正裝置根據(jù)所述投影儀幀緩存圖像變換映射表，對投影儀要投影的圖像進行幾何配準(zhǔn)校正。
S卩，在得到投影儀幀緩存圖像變換映射表Ρρ — ρ α = 1,2,3)之后，可以對投影儀中的緩存圖像進行幾何配準(zhǔn)校正，即校正后的點的坐標(biāo)(mPW x，mPW y)與校正前點的坐標(biāo)(X，y)的關(guān)系為(mPff x, mPW—y) = F1p^PW(x, y) (i = 1,2,3)。另外，上述的校正裝置可以為獨立的裝置，其對投影儀中待緩存的圖像進行上述幾何配準(zhǔn)校正后，將校正后的圖像發(fā)送給投影儀進行緩存后投影。也可以是，該校正設(shè)備內(nèi)嵌在投影儀中以在緩存前進行校正。本實施例在求解投影儀幀緩存圖像變換映射表時，所需的圖像映射關(guān)系較少，因此可以采用較少的圖像映射實現(xiàn)多投影時的幾何校準(zhǔn)，實現(xiàn)方法簡便易行。圖2為本發(fā)明第二實施例的方法流程示意圖，本實施例以攝像機內(nèi)外參數(shù)作為中間參數(shù)確定攝像機到3D弧幕的映射關(guān)系。參見圖2，本實施例包括

步驟21 :根據(jù)對3D弧幕的拍攝圖像，及所述3D弧幕的幾何信息，求解攝像機內(nèi)外參數(shù)；優(yōu)選的，本發(fā)明實施例的3D弧幕的幾何信息是已知的。在實際多點視頻會議應(yīng)用中，3D弧幕，特別是柱面弧幕多投影系統(tǒng)更能給用戶帶來沉浸式體驗，本地與遠(yuǎn)端用戶更有身處同一會場的感覺。并且，柱面弧幕產(chǎn)品化，大批量定制化更容易，柱面弧幕的規(guī)格容易實現(xiàn)定制下來。規(guī)則化的、已知信息的3D柱面弧幕用于多投影拼接系統(tǒng)中，在求解各種變換映射時，就沒有必要再去求解投影幕幾何信息了，直接使用已知幾何信息即可。而現(xiàn)有技術(shù)中通常使用各種復(fù)雜的方式求解該3D弧幕的幾何信息，但是，隨著3D弧幕定制化的出現(xiàn)，本發(fā)明實施例可以采用定制化的3D弧幕，即可以在幾何校準(zhǔn)時獲取已知的3D弧幕的幾何信息。當(dāng)然，如果對幾何校正有非常高的精度要求，也可以將已知的3D弧幕信息作為3D弧幕幾何信息的初始估計，之后再采用各種方法獲取更為精確的3D弧幕幾何信息。求解攝像機內(nèi)外參數(shù)可以如下首先，關(guān)于3D弧幕圖3為本發(fā)明實施例中3D弧幕在世界坐標(biāo)系中的圖像及攝像機對該3D弧幕的拍攝圖像的示意圖，參見圖3，3D弧幕包括4個頂點A、B、C和D，3D弧幕的上下兩個曲線分別為圓弧AB和圓弧CD，左右線段分別為線段AD和線段BC。當(dāng)3D弧幕的幾何信息是已知的，則線段AB、⑶、AD、BC的長度、圓弧AB的長度、圓弧CD的長度、圓弧AB的半徑及圓弧CD的半徑均是已知的。其次，關(guān)于3D與2D的對應(yīng)關(guān)系攝像機采用的是針孔模型，圖4為本發(fā)明實施例中攝像機針孔成像模型的示意圖，在該針孔模型下，攝像機按透視射影變換將3D世界空間P3的點的齊次表達式為M = (X，y，z，1)τ，投影到2D圖像空間P2的點的齊次表達式為m= (u，v，l)T。用公式標(biāo)定可寫成m ^ HM = K(R T)M其中，H表示3X4的攝像機投影矩陣， 表示方程兩邊在相差一個比例因子的意義下相等。(R T)為由R和T組成的一個大矩陣。假設(shè)攝像機光心不在無窮遠(yuǎn)平面上，攝像機投影矩陣H可做如下分解H = K (R T)
K、R、T為待求解的攝像機內(nèi)外參數(shù)，其中，K為攝像機的內(nèi)部參數(shù)，R為攝像機相對于世界坐標(biāo)系的旋轉(zhuǎn)矩陣，T為攝像機相對于世界坐標(biāo)系的平移矩陣。攝像機內(nèi)外參數(shù)可以參照如下描述攝像機標(biāo)定的目的是獲得攝像機的內(nèi)部參數(shù)K和外部參數(shù)(包括旋轉(zhuǎn)矩陣R和平移向量T)，攝像機內(nèi)部的幾何和光學(xué)特性，即為內(nèi)部參數(shù)；攝像機坐標(biāo)系相對于空間坐標(biāo)系的位置關(guān)系，即為外部參數(shù)。K為一個表示攝像機內(nèi)部參數(shù)的上三角矩陣，如下
權(quán)利要求
1.一種多投影拼接幾何校正方法，其特征在于，包括 犾取攝像機到3D弧.的映射關(guān)系； 根據(jù)投影儀到攝像機的映射關(guān)系、所述攝像機到3D弧幕的映射關(guān)系以及3D弧幕到輸入超分辨率圖像映射關(guān)系，得到投影儀幀緩存圖像變換映射表； 根據(jù)所述投影儀幀緩存圖像變換映射表，對投影儀要投影的圖像進行幾何配準(zhǔn)校正。
2.根據(jù)權(quán)利要求I所述的方法，其特征在于，所述獲取攝像機到3D弧幕的映射關(guān)系，包括 根據(jù)攝像機圖像與虛擬攝像機圖像的映射關(guān)系，以及虛擬攝像機圖像與虛擬2D平幕的映射關(guān)系，得到攝像機與虛擬2D平幕的映射關(guān)系； 根據(jù)所述攝像機與虛擬2D平幕的映射關(guān)系，以及虛擬2D平幕與3D弧幕的映射關(guān)系，得到攝像機到3D弧幕的映射關(guān)系。
3.根據(jù)權(quán)利要求I所述的方法，其特征在于，所述獲取攝像機到3D弧幕的映射關(guān)系，包括 根據(jù)對3D弧幕的拍攝圖像，及所述3D弧幕的幾何信息，獲取攝像機內(nèi)外參數(shù)； 根據(jù)所述攝像機內(nèi)外參數(shù)及所述3D弧幕的2D坐標(biāo)，得到攝像機到3D弧幕的映射關(guān)系O
4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述3D弧幕的幾何信息為已知信息。
5.根據(jù)權(quán)利要求3或4所述的方法，其特征在于，所述根據(jù)對3D弧幕的拍攝圖像，及所述3D弧幕的幾何信息，獲取攝像機內(nèi)外參數(shù)，包括 根據(jù)所述拍攝圖像中上下曲線的點的數(shù)目，對所述3D弧幕的上下曲線進行等間隔采樣，并建立拍攝圖像的點與3D弧幕的采樣點之間的對應(yīng)關(guān)系； 根據(jù)設(shè)定的初始的攝像機的內(nèi)外參數(shù)及所述3D弧幕的幾何信息得到所述3D弧幕采樣點對應(yīng)的2D坐標(biāo)，并獲取拍攝圖像中點的2D坐標(biāo)與3D弧幕的采樣點對應(yīng)的2D坐標(biāo)的誤差和； 如果所述誤差和不滿足精度要求，則更新所述初始的攝像機的內(nèi)外參數(shù)，并采用更新后的攝像機的內(nèi)外參數(shù)重新計算所述3D弧幕的采樣點對應(yīng)的2D坐標(biāo)，直至所述誤差和滿足精度要求； 獲取誤差和滿足精度要求時對應(yīng)的攝像機的內(nèi)外參數(shù)。
6.根據(jù)權(quán)利要求3或4所述的方法，其特征在于，所述根據(jù)對3D弧幕的拍攝圖像，及所述3D弧幕的幾何信息，獲取攝像機內(nèi)外參數(shù)，包括 根據(jù)所述3D弧幕的幾何信息及設(shè)定的初始的攝像機的內(nèi)外參數(shù)，計算3D弧幕的曲線對應(yīng)的2D曲線； 計算3D弧幕的曲線對應(yīng)的2D曲線與拍攝圖像的曲線之間的距離； 如果所述距離不滿足精度要求，則更新所述初始的攝像機的內(nèi)外參數(shù)，并采用更新后的攝像機的內(nèi)外參數(shù)重新計算3D弧幕的曲線對應(yīng)的2D曲線，直至所述距離滿足精度要求； 獲取距離滿足精度要求時對應(yīng)的攝像機的內(nèi)外參數(shù)。
7.一種校正裝置，其特征在于，包括 獲取模塊，用于獲取攝像機到3D弧幕的映射關(guān)系；確定模塊，用于根據(jù)投影儀到攝像機的映射關(guān)系、所述獲取模塊得到的所述攝像機到3D弧幕的映射關(guān)系，以及3D弧幕到輸入超分辨率圖像映射關(guān)系，得到投影儀幀緩存圖像變換映射表； 校正模塊，用于根據(jù)所述投影儀幀緩存圖像變換映射表，對投影儀要投影的圖像進行幾何配準(zhǔn)校正。
8.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述獲取模塊包括第一單元，所述第一單元用于 根據(jù)攝像機圖像與虛擬攝像機圖像的映射關(guān)系，以及虛擬攝像機圖像與虛擬2D平幕的映射關(guān)系，得到攝像機與虛擬2D平幕的映射關(guān)系； 根據(jù)所述攝像機與虛擬2D平幕的映射關(guān)系，以及虛擬2D平幕與3D弧幕的映射關(guān)系，得到攝像機到3D弧幕的映射關(guān)系。
9.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述獲取模塊包括第二單元，所述第二單元用于 根據(jù)對3D弧幕的拍攝圖像，及所述3D弧幕的幾何信息，獲取攝像機內(nèi)外參數(shù)； 根據(jù)所述攝像機內(nèi)外參數(shù)及所述3D弧幕的2D坐標(biāo)，得到攝像機到3D弧幕的映射關(guān)系O
10.根據(jù)權(quán)利要求9所述的裝置，其特征在于，所述第二單元獲取的所述3D弧幕的幾何信息為已知信息。
11.根據(jù)權(quán)利要求9或10所述的裝置，其特征在于，所述第二單元具體用于 根據(jù)所述拍攝圖像中上下曲線的點的數(shù)目，對所述3D弧幕的上下曲線進行等間隔采樣，并建立拍攝圖像的點與3D弧幕的采樣點之間的對應(yīng)關(guān)系； 根據(jù)設(shè)定的初始的攝像機的內(nèi)外參數(shù)及所述3D弧幕的幾何信息得到所述3D弧幕采樣點對應(yīng)的2D坐標(biāo)，并獲取拍攝圖像中點的2D坐標(biāo)與3D弧幕的采樣點對應(yīng)的2D坐標(biāo)的誤差和； 如果所述誤差和不滿足精度要求，則更新所述初始的攝像機的內(nèi)外參數(shù)，并采用更新后的攝像機的內(nèi)外參數(shù)重新計算所述3D弧幕的采樣點對應(yīng)的2D坐標(biāo)，直至所述誤差和滿足精度要求； 獲取誤差和滿足精度要求時對應(yīng)的攝像機的內(nèi)外參數(shù)；并 根據(jù)所述攝像機內(nèi)外參數(shù)及所述3D弧幕的2D坐標(biāo)，得到攝像機到3D弧幕的映射關(guān)系O
12.根據(jù)權(quán)利要求9或10所述的裝置，其特征在于，所述第二單元具體用于 根據(jù)所述3D弧幕的幾何信息及設(shè)定的初始的攝像機的內(nèi)外參數(shù)，計算3D弧幕的曲線對應(yīng)的2D曲線； 計算3D弧幕的曲線對應(yīng)的2D曲線與拍攝圖像的曲線之間的距離； 如果所述距離不滿足精度要求，則更新所述初始的攝像機的內(nèi)外參數(shù)，并采用更新后的攝像機的內(nèi)外參數(shù)重新計算3D弧幕的曲線對應(yīng)的2D曲線，直至所述距離滿足精度要求； 獲取距離滿足精度要求時對應(yīng)的攝像機的內(nèi)外參數(shù)；并 根據(jù)所述攝像機內(nèi)外參數(shù)及所述3D弧幕的2D坐標(biāo)，得到攝像機到3D弧幕的映射關(guān)系。
全文摘要
本發(fā)明提供一種多投影拼接幾何校正方法及校正裝置。該方法包括獲取攝像機到3D弧幕的映射關(guān)系；根據(jù)投影儀到攝像機的映射關(guān)系、所述攝像機到3D弧幕的映射關(guān)系以及3D弧幕到輸入超分辨率圖像映射關(guān)系，得到投影儀幀緩存圖像變換映射表；根據(jù)所述投影儀幀緩存圖像變換映射表，對投影儀要投影的圖像進行幾何配準(zhǔn)校正。本發(fā)明可以簡單有效地實現(xiàn)校正。
文檔編號G06F3/14GK102841767SQ20111016965
公開日2012年12月26日 申請日期2011年6月22日 優(yōu)先權(quán)日2011年6月22日
發(fā)明者李凱, 王靜, 趙光耀, 劉源 申請人:華為終端有限公司