本發(fā)明涉及圖像處理領(lǐng)域，具體涉及一種基于固聯(lián)魚眼鏡頭攝像機(jī)組的全景視頻生成方法。

背景技術(shù)：

現(xiàn)如今的全景拼接，如智能手機(jī)全景拼接，大多使用單攝像機(jī)來獲取影像，使得拍攝面積有限，而且在實(shí)際拍攝過程中很容易產(chǎn)生很大的視差。隨著拍攝設(shè)備的分辨率提高以及應(yīng)用場(chǎng)景的復(fù)雜化，例如實(shí)時(shí)監(jiān)控，人們希望用更多攝像機(jī)拍攝高分辨率的全景圖來對(duì)現(xiàn)實(shí)場(chǎng)景進(jìn)行展示。因此更大、更全的高清全景圖對(duì)全景拼接技術(shù)提出了更高要求。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的在于，提供一種通過球面投影拼接算法，解決以上技術(shù)問題；

本發(fā)明所解決的技術(shù)問題可以采用以下技術(shù)方案來實(shí)現(xiàn)：一種基于固聯(lián)魚眼鏡頭攝像機(jī)組的全景視頻生成方法，提供若干個(gè)相互固聯(lián)的魚眼鏡頭的攝像機(jī)，每一攝像機(jī)分別用于采集原始的平面圓形圖像，還包括以下步驟，

步驟1，獲得所述攝像機(jī)之間的空間位姿關(guān)系以及每一攝像機(jī)的參數(shù)；

步驟2，根據(jù)步驟1中獲得的空間位姿關(guān)系以及參數(shù)構(gòu)建成像模型平面、標(biāo)準(zhǔn)視場(chǎng)球面，每一攝像機(jī)采集的所述平面圓形圖像分別位于對(duì)應(yīng)的所述成像模型平面上，將所述平面圓形圖像從所述成像模型平面投影到標(biāo)準(zhǔn)視場(chǎng)球面形成第一球面圖像，并根據(jù)所述第一球面圖像的像點(diǎn)坐標(biāo)求取所述標(biāo)準(zhǔn)視場(chǎng)球面到所述成像模型平面的映射關(guān)系；

步驟3，根據(jù)所述映射關(guān)系將每一所述攝像機(jī)實(shí)時(shí)采集的所述平面圓形圖像分別投影到同一所述標(biāo)準(zhǔn)視場(chǎng)球面上形成第二球面圖像；

步驟4，將相鄰的所述攝像機(jī)對(duì)應(yīng)的所述第二球面圖像之間存在的重合部分進(jìn)行融合得到融合圖像；

步驟5，將所述融合圖像以及第二球面圖像進(jìn)行拼接，得到球面全景圖。進(jìn)一步的，步驟2包括

步驟2-1，根據(jù)步驟1中獲得的空間位姿關(guān)系以及參數(shù)構(gòu)建成像模型平面、成像模型曲面、標(biāo)準(zhǔn)視場(chǎng)球面，每一攝像機(jī)采集的平面圓形圖像分別位于對(duì)應(yīng)的成像模型平面上；

步驟2-2，將原始的所述平面圓形圖像從成像模型平面投影到對(duì)應(yīng)的所述成像模型曲面形成第一曲面圖像；

步驟2-3，將所述成像模型曲面上的第一曲面圖像重投影到所述標(biāo)準(zhǔn)視場(chǎng)球面上形成第一球面圖像；

步驟2-4，根據(jù)對(duì)應(yīng)的平面圓形圖像的像點(diǎn)坐標(biāo)和第一球面圖像的像點(diǎn)坐標(biāo)求取所述標(biāo)準(zhǔn)視場(chǎng)球面到所述成像模型平面的映射關(guān)系。

進(jìn)一步的，步驟4包括

步驟4-1，對(duì)步驟3中的每一所述第二球面圖像的重合部分進(jìn)行三角化，并將三角化之后的所述第二球面圖像的重合部分于切平面上投影形成若干三角形圖像，計(jì)算每個(gè)所述三角形圖像內(nèi)的特征點(diǎn)；

步驟4-2，將屬于不同第二球面圖像的兩個(gè)具有相同特征點(diǎn)的三角形圖像在所述切平面上進(jìn)行相向平移，對(duì)平移后的三角形圖像進(jìn)行拉伸以形成兩個(gè)等大且相互重合的拉伸圖像；

步驟4-3，對(duì)步驟4-2中兩個(gè)所述拉伸圖像進(jìn)行融合以形成融合圖像，將所述融合圖像從切平面重投影到標(biāo)準(zhǔn)視場(chǎng)球面。

進(jìn)一步的，所述步驟4-2中，拉伸前的所述三角形圖像和拉伸后的所述拉伸圖像為相似三角形。

進(jìn)一步的，所述步驟4-3中，融合所述拉伸圖像的公式如下：

其中，I₁和I₂為待融合圖像，I為融合后圖像，ω₁+ω₂＝1，0<ω₁,ω₂<1，ω₁、ω₂分別是待融合圖像中像點(diǎn)坐標(biāo)的權(quán)值，(x,y)表示切平面上圖像的像點(diǎn)坐標(biāo)，I₁(x,y)和I₂(x,y)為待融合圖像中對(duì)應(yīng)坐標(biāo)的像點(diǎn)的灰度，I(x,y)為融合后圖像中對(duì)應(yīng)坐標(biāo)的像點(diǎn)的灰度。

進(jìn)一步的，所述步驟4-3中，還包括對(duì)所述融合圖像進(jìn)行平滑處理。

有益效果：由于采用以上技術(shù)方案，本發(fā)明利用多個(gè)空間位置確定的魚眼攝像機(jī)，保證水平方向360度和垂直方向180度無盲區(qū)拍攝，獲取多個(gè)角度的大比例尺清晰影像。利用本專利圖像拼接技術(shù)，將多角度的影像拼接成一幅擁有360度水平視角和180度垂直視角的球面全景圖。多攝像機(jī)獲取的球面全景圖信息更加豐富。

附圖說明

圖1為魚眼鏡頭攝像機(jī)重投影示意圖；

圖2為魚眼鏡頭攝像機(jī)圖像三角化劃分示意圖；

圖3為相鄰魚眼鏡頭攝像機(jī)重疊視場(chǎng)示意圖；

圖4為相鄰魚眼鏡頭攝像機(jī)重疊視場(chǎng)切平面投影示意圖；

圖5為魚眼鏡頭攝像機(jī)組全景圖像生成流程圖。

具體實(shí)施方式

下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例。基于本發(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動(dòng)的前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。

需要說明的是，在不沖突的情況下，本發(fā)明中的實(shí)施例及實(shí)施例中的特征可以相互組合。

下面結(jié)合附圖和具體實(shí)施例對(duì)本發(fā)明作進(jìn)一步說明，但不作為本發(fā)明的限定。

參照?qǐng)D2，球面全景圖是與人眼模型最接近的全景描述。本專利的全景拼接是將不同魚眼攝像機(jī)獲得的影像首先根據(jù)其預(yù)設(shè)的成像模型投影到模型曲面上，然后再將魚眼鏡頭攝像機(jī)成像模型上的圖像重投影到標(biāo)準(zhǔn)視場(chǎng)球面上，當(dāng)攝像機(jī)組中的所有攝像機(jī)都完成重投影過程之后再進(jìn)行全景拼接，形成一幅畸變、變形較少的全景圖像。

本專利的球面重投影模型如圖1所示，步驟2解釋如下中，C為魚眼鏡頭攝像機(jī)圖像的中心，對(duì)應(yīng)的投影球面半徑為r，O為標(biāo)準(zhǔn)視場(chǎng)球面的球心，對(duì)應(yīng)的半徑為R，魚眼鏡頭攝像機(jī)成像投影球面與標(biāo)準(zhǔn)視場(chǎng)球面在中心點(diǎn)C對(duì)應(yīng)的像點(diǎn)相切，切點(diǎn)為T。設(shè)P為魚眼鏡頭攝像機(jī)圖像上某一點(diǎn)，Q為魚眼鏡頭攝像機(jī)成像投影曲面上與P對(duì)應(yīng)的像點(diǎn)，成像模型球面上的像點(diǎn)Q重投影到標(biāo)準(zhǔn)視場(chǎng)球面上，記為像點(diǎn)M。

為了準(zhǔn)確地將魚眼鏡頭攝像機(jī)圖像投影到標(biāo)準(zhǔn)視場(chǎng)球面上，需要提前對(duì)魚眼鏡頭攝像機(jī)的成像參數(shù)進(jìn)行標(biāo)定，例如魚眼圖像中心點(diǎn)坐標(biāo)C(Cx,Cy)、魚眼圖像成像球面半徑r和標(biāo)準(zhǔn)視場(chǎng)球面半徑R。

魚眼鏡頭攝像機(jī)幾種常見投影方法有體視投影、等距投影、等立體角投影、正交投影等，根據(jù)魚眼鏡頭攝像機(jī)的成像模型可將魚眼鏡頭攝像機(jī)采集的原始的平面圓形圖像從成像模型平面投影到其成像模型曲面上，即魚眼圖像上的原始像點(diǎn)P首先根據(jù)成像模型平面投影到魚眼鏡頭攝像機(jī)成像投影曲面上形成第一曲面圖像，設(shè)對(duì)應(yīng)的投影像點(diǎn)為Q,其中與光軸的夾角θ是由P點(diǎn)距離光心C點(diǎn)的距離|CP|和魚眼攝像機(jī)的成像模型決定的。

將第一曲面圖像從成像模型曲面到標(biāo)準(zhǔn)視場(chǎng)球面上，得到第一球面圖像，二就可以根據(jù)第一球面圖像以及原始的平面圓形圖像，即建立了由點(diǎn)P→Q→M的映射關(guān)系。但是由于球面面積大于其赤道面的面積，因此在標(biāo)準(zhǔn)視場(chǎng)球面上會(huì)出現(xiàn)未定義的“空洞點(diǎn)”現(xiàn)象，這時(shí)可以按照逆映射的順序求取M→Q→P的映射關(guān)系，從而解決該問題。

球面重投影具體實(shí)施步驟如下：

步驟1中，本專利球面重投影部分以四攝像機(jī)結(jié)構(gòu)為例，求出全景攝像機(jī)組的魚眼攝像機(jī)之間的位姿關(guān)系；位姿關(guān)系的確定不屬于本專利的發(fā)明點(diǎn)，而可以通過現(xiàn)有的位姿關(guān)系確定方法進(jìn)行確定，二魚眼攝像機(jī)的參數(shù)構(gòu)建系統(tǒng)時(shí)讀入系統(tǒng)。

步驟2-1中，對(duì)魚眼鏡頭攝像機(jī)的成像參數(shù)進(jìn)行標(biāo)定，得到魚眼圖像中心點(diǎn)坐標(biāo)C(Cx,Cy)、魚眼圖像成像球面半徑r，標(biāo)準(zhǔn)視場(chǎng)球面半徑R與具體的魚眼攝像機(jī)模型有關(guān)，可通過實(shí)驗(yàn)驗(yàn)證獲得，具體數(shù)據(jù)與實(shí)際的魚眼鏡頭攝像機(jī)參數(shù)相關(guān)，而根據(jù)這些參數(shù)就可以生成標(biāo)準(zhǔn)視場(chǎng)球面，然后將根據(jù)每個(gè)所述魚眼鏡頭攝像機(jī)成像模型構(gòu)建對(duì)應(yīng)的成像模型曲面以及對(duì)應(yīng)的標(biāo)準(zhǔn)視場(chǎng)球面。

步驟2-2中，根據(jù)具體的魚眼鏡頭攝像機(jī)所對(duì)應(yīng)的投影模型，例如正交投影模型，將魚眼鏡頭攝像機(jī)采集的原始的平面圓形圖像投影到其成像模型曲面上；

步驟2-3、2-4中，利用步驟1中標(biāo)定出的全景攝像機(jī)組的位姿關(guān)系，按照逆映射的順序求取M→Q→P的映射關(guān)系，將四個(gè)魚眼鏡頭攝像機(jī)的圖像投影到標(biāo)準(zhǔn)視場(chǎng)球面上。

而接下來就是進(jìn)行全景拼接的步驟，是將已經(jīng)投影到同一球面下的圖像拼接成一副大視野的球面全景圖，包含圖像配準(zhǔn)與圖像融合兩個(gè)步驟。圖像拼接是指通過對(duì)齊兩幅或者若干幅有空間位置上重疊信息的圖像，并將對(duì)齊之后的圖像組合成一副無縫的、高清晰的圖像技術(shù)。

步驟4的作用是對(duì)投影到同一大圓下的不同魚眼圖像的重合部分之間存在嚴(yán)重畸變和視差，本專利采用三角化校正，首先將重合部分的不同魚眼圖像進(jìn)行三角化，如圖2所示的方法，然后對(duì)每個(gè)三角形內(nèi)的特征點(diǎn)進(jìn)行匹配。通過特征點(diǎn)的匹配得出的特征點(diǎn)間的空間距離，可以得出三角化后三角形頂點(diǎn)需要的位移。同時(shí)我們定義代價(jià)函數(shù)限定三角形的移動(dòng)遵守相似變化，該策略將使得最終拉伸的三角形區(qū)域在視覺上是平滑的。三角化如圖2所示，對(duì)球面進(jìn)行三角網(wǎng)格劃分獲得圖形，劃分方法上目前較多應(yīng)用，在此不做贅述，其優(yōu)選如圖2所示的劃分方法進(jìn)行劃分。

移動(dòng)的代價(jià)函數(shù)基本策略是，例如，考慮三角形ΔG₁G₂G₃中包含一特征點(diǎn)P，已知P點(diǎn)的對(duì)應(yīng)匹配點(diǎn)位Q，首先通過對(duì)ΔG₁G₂G₃的平移縮短P、Q的歐拉距離。同時(shí)，為了避免過度修正導(dǎo)致的圖像不平整，我們定義，當(dāng)空間中任意頂點(diǎn)位置發(fā)生位移時(shí)，與之直接相鄰的頂點(diǎn)也應(yīng)該配合移動(dòng)。我們測(cè)量移動(dòng)前和移動(dòng)后三角形的相似度來描述臨接定點(diǎn)的移動(dòng)距離和方向。最后，我們希望特征點(diǎn)不豐富區(qū)域盡量保持原位，我們給與每個(gè)頂點(diǎn)移動(dòng)權(quán)值，權(quán)值定義為與特征點(diǎn)距離相關(guān)的函數(shù)。當(dāng)優(yōu)化最終代價(jià)函數(shù)時(shí)，最終結(jié)果是一個(gè)實(shí)現(xiàn)特征點(diǎn)匹配，同時(shí)維持整個(gè)三角形網(wǎng)格平滑的結(jié)果。

由于魚眼鏡頭攝像機(jī)產(chǎn)生的畸變，圖像臨近圖像邊緣的信息可靠度不如圖像中心，我們進(jìn)一步優(yōu)化三角網(wǎng)格的布局，產(chǎn)生一種如圖2所示的外密內(nèi)疏的結(jié)構(gòu)。如此，在臨近圖像邊緣我們?cè)试S更多的頂點(diǎn)位移修正圖像。反之在圖像中心區(qū)域，位移受限于三角形數(shù)量，圖像將盡量保留原始信息。

而步驟4-3中，圖像對(duì)齊、配準(zhǔn)之后難免會(huì)在拼接處產(chǎn)生痕跡，影響最終的全景圖視覺效果，本專利優(yōu)選加權(quán)平均法對(duì)拼接處的圖像灰度值先加權(quán)后疊加平均進(jìn)行處理，假設(shè)I₁和I₂分別為待融合圖像，I為融合之后的圖像，則有：

其中，ω₁+ω₂＝1，0<ω₁,ω₂<1是重疊區(qū)域像素的權(quán)值，經(jīng)過平滑處理后，再將其進(jìn)行球面重投影，得到最終的球面全景圖。權(quán)值根據(jù)實(shí)際情況比重進(jìn)行配置，在此不做限定，與具體位置可以相關(guān)。

結(jié)合以上說明，實(shí)施步驟如下：

步驟4-1中，對(duì)投影到同一大圓下的不同魚眼圖像的重合部分如圖3所示進(jìn)行三角化，然后將三角化之后的圖像按照如圖4所示的方法進(jìn)行切平面投影，對(duì)每個(gè)三角形內(nèi)的特征點(diǎn)進(jìn)行匹配；

步驟4-2中，通過步驟8中，得出的特征點(diǎn)間的空間距離，計(jì)算出三角化后將所述三角形頂點(diǎn)需要的位移，限定三角形的移動(dòng)遵守相似變化，然后進(jìn)行拉伸；

步驟4-3中，根據(jù)公式(1)對(duì)拉伸之后的三角形圖像進(jìn)行融合；

步驟5中，將融合之后的重合部分進(jìn)行球面重投影，得到最終的球面全景圖。

以上所述僅為本發(fā)明較佳的實(shí)施例，并非因此限制本發(fā)明的實(shí)施方式及保護(hù)范圍，對(duì)于本領(lǐng)域技術(shù)人員而言，應(yīng)當(dāng)能夠意識(shí)到凡運(yùn)用本發(fā)明說明書及圖示內(nèi)容所作出的等同替換和顯而易見的變化所得到的方案，均應(yīng)當(dāng)包含在本發(fā)明的保護(hù)范圍內(nèi)。