本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，特別是涉及基于全景拼接數(shù)據(jù)映射表的輔助泊車系統(tǒng)及方法。

背景技術(shù)：

全景輔助泊車系統(tǒng)通過安裝在車身前后左右4路魚眼攝像頭實(shí)時(shí)采集車身周圍的圖像，圖像處理單元將這四路魚眼圖像進(jìn)行畸變矯正，然后將這四路魚眼圖像經(jīng)過透視變換到一個(gè)空間坐標(biāo)系下，接著生成全景圖像，并傳送到中控臺(tái)顯示設(shè)備，用戶可在車內(nèi)直觀的看到車身周圍的環(huán)境，能夠有效提高行車的安全性。

全景輔助泊車系統(tǒng)由于輸入的原始圖像是由多個(gè)超廣角車載攝像頭獲取到的，且需要經(jīng)過畸變矯正、單應(yīng)性變換來進(jìn)行系統(tǒng)標(biāo)定，這將導(dǎo)致物體形變和顏色差異較大，無論使用哪種配準(zhǔn)算法，都無法得到理想的配準(zhǔn)效果，找到一個(gè)最優(yōu)的圖像配準(zhǔn)位置，是全景輔助泊車系統(tǒng)的實(shí)現(xiàn)難點(diǎn)。全景輔助泊車系統(tǒng)由于系統(tǒng)的特殊應(yīng)用需求，需要系統(tǒng)的硬件裝置能夠滿足實(shí)際應(yīng)用中的實(shí)時(shí)性要求。

技術(shù)實(shí)現(xiàn)要素：

為了解決現(xiàn)有技術(shù)的不足，本發(fā)明提供了基于全景拼接數(shù)據(jù)映射表的輔助泊車方法，目的在于利用全景拼接模板圖像生成全景拼接數(shù)據(jù)映射表。

本發(fā)明的另一目的是提供基于全景拼接數(shù)據(jù)映射表的輔助泊車系統(tǒng)，該系統(tǒng)根據(jù)包含數(shù)據(jù)映射關(guān)系表的文件可以實(shí)時(shí)地生成全景視頻圖像。

基于全景拼接數(shù)據(jù)映射表的輔助泊車方法，包括：

在車身四周的地面上設(shè)置標(biāo)定布，利用標(biāo)定布上棋盤格區(qū)域和公共覆蓋區(qū)域的布局和尺寸信息，將安裝在車輛車身上的相鄰攝像頭的覆蓋區(qū)域內(nèi)的圖像進(jìn)行粗配準(zhǔn)；

然后利用公共覆蓋區(qū)域內(nèi)的物體特征將相鄰攝像頭的覆蓋區(qū)域內(nèi)的圖像進(jìn)行微調(diào)，利用圖像特征的非相似度，所有分屬于不同攝像機(jī)所采集的圖像特征非相似度的和達(dá)到最小時(shí)，找到最優(yōu)的圖像配準(zhǔn)位置；

利用全景拼接模板圖像生成全景拼接數(shù)據(jù)映射表，根據(jù)包含數(shù)據(jù)映射關(guān)系表的文件可以實(shí)時(shí)地生成全景視頻圖像。

進(jìn)一步的，在要標(biāo)定車輛車身前方、左方、后方和右方安裝4路魚眼超廣角攝像頭。

進(jìn)一步的，利用攝像頭獲取汽車前方、左方、后方和右方的四幅魚眼標(biāo)定圖像a0(x00,y00)、a1(x10,y10)、a2(x20,y20)、a3(x30,y30)，對(duì)這四副魚眼標(biāo)定圖像進(jìn)行畸變校正，得到四幅畸變校正后的魚眼標(biāo)定圖像b0(x01,y01)、b1(x11,y11)、b2(x21,y21)、b3(x31,y31)。

進(jìn)一步的，分別識(shí)別b0(x01,y01)、b1(x11,y11)、b2(x21,y21)、b3(x31,y31)圖像中的棋盤格內(nèi)角點(diǎn)，得到圖像中的棋盤格內(nèi)角點(diǎn)的世界坐標(biāo)和圖像坐標(biāo)，根據(jù)棋盤格內(nèi)角點(diǎn)的世界坐標(biāo)和圖像坐標(biāo)能夠計(jì)算出b0(x01,y01)、b1(x11,y11)、b2(x21,y21)、b3(x31,y31)圖像的單應(yīng)性變換矩陣h0、h1、h2、h3，根據(jù)該單應(yīng)性變換矩陣，對(duì)圖像b0(x01,y01)、b1(x11,y11)、b2(x21,y21)、b3(x31,y31)分別進(jìn)行鳥瞰變換，得到四幅鳥瞰標(biāo)定圖像c0(x02,y02)、c1(x12,y12)、c2(x22,y22)、c3(x32,y32)。

進(jìn)一步的，單應(yīng)性變換需要保證四幅鳥瞰標(biāo)定圖像中涉及的單個(gè)棋盤方格的圖像尺寸相同，并且鳥瞰標(biāo)定圖像中棋盤格的方向與全景拼接的方向一致。

進(jìn)一步的，所述全景拼接模板圖像的生成方式為：根據(jù)標(biāo)定布棋盤格區(qū)域的實(shí)際尺寸、棋盤格區(qū)域之間的實(shí)際垂直間距、棋盤格區(qū)域的圖像尺寸信息以及全景鳥瞰標(biāo)定圖像的顯示距離，生成全景拼接模板圖像。

進(jìn)一步的，所述全景拼接模板圖像由中心區(qū)域rcent、前方區(qū)域ra、左方區(qū)域rb、后方區(qū)域rc、右方區(qū)域rd五塊組成，中心區(qū)域rcent為汽車模型圖像，前方區(qū)域ra、左方區(qū)域rb、后方區(qū)域rc、右方區(qū)域rd分別與相應(yīng)方向的鳥瞰標(biāo)定圖像c0(x02,y02)、c1(x12,y12)、c2(x22,y22)、c3(x32,y32)相對(duì)應(yīng)，根據(jù)棋盤格區(qū)域的尺寸確定兩兩鳥瞰標(biāo)定圖像的拼接縫隙，拼接縫隙對(duì)應(yīng)的矩形區(qū)域就是兩兩鳥瞰標(biāo)定圖像的重疊區(qū)域。

進(jìn)一步的，根據(jù)拼接線的位置、鳥瞰圖像中棋盤格的圖像位置，將四幅鳥瞰標(biāo)定圖像拼接為一幅完整的全景鳥瞰標(biāo)定圖像d(x3,y3)。

進(jìn)一步的，所述找到最優(yōu)的圖像配準(zhǔn)位置具體包括：確定相鄰鳥瞰標(biāo)定圖像的重疊區(qū)域，對(duì)相鄰鳥瞰標(biāo)定圖像的重疊區(qū)域圖像分別進(jìn)行特征提取，根據(jù)這兩個(gè)重疊區(qū)域的圖像特征，將這兩幅鳥瞰標(biāo)定圖像位置進(jìn)行微調(diào)，搜索到兩兩相鄰鳥瞰圖像的最佳配準(zhǔn)位置，最終使得在4個(gè)重合區(qū)域內(nèi)，所有分屬于不同攝像機(jī)所采集的圖像特征非相似度的和達(dá)到最小。

進(jìn)一步的，生成全景拼接映射表文件，全景拼接映射表由以下幾部分組成：

f0：鳥瞰標(biāo)定圖像c0(x02,y02)與前方魚眼標(biāo)定圖像a0(x00,y00)之間像素點(diǎn)坐標(biāo)映射表m0；

f1：鳥瞰標(biāo)定圖像c1(x12,y12)與左方魚眼標(biāo)定圖像a1(x10,y10)之間像素點(diǎn)坐標(biāo)映射表m1；

f2：鳥瞰標(biāo)定圖像c2(x22,y22)與后方魚眼標(biāo)定圖像a2(x20,y20)之間像素點(diǎn)坐標(biāo)映射表m2；

f3：鳥瞰標(biāo)定圖像c3(x32,y32)與右方魚眼標(biāo)定圖像a3(x30,y30)之間像素點(diǎn)坐標(biāo)映射表m3；

f4：全景鳥瞰標(biāo)定圖像d(x3,y3)與4個(gè)方向鳥瞰標(biāo)定圖像之間像素點(diǎn)所屬區(qū)域映射表m4，映射表m4可表示為公式(1)，其中r0、r1、r2、r3分別是鳥瞰標(biāo)定圖像c0(x02,y02)、c1(x12,y12)、c2(x22,y22)、c3(x32,y32)的子圖像，且不屬于全景視頻圖像中相鄰鳥瞰標(biāo)定圖像的融合區(qū)域，相鄰鳥瞰標(biāo)定圖像的融合區(qū)域是相鄰鳥瞰標(biāo)定圖像重疊區(qū)域的子圖像，r4、r5、r6、r7屬于相鄰鳥瞰標(biāo)定圖像的融合區(qū)域，在融合區(qū)域中對(duì)所屬重疊區(qū)域圖像進(jìn)行融合處理，其中r4是鳥瞰標(biāo)定圖像c0(x02,y02)、c1(x12,y12)的重疊區(qū)域子圖像，r5是鳥瞰標(biāo)定圖像c1(x12,y12)、c2(x22,y22)的重疊區(qū)域子圖像，r6是鳥瞰標(biāo)定圖像c2(x22,y22)、c3(x32,y32)的重疊區(qū)域子圖像，r7是鳥瞰標(biāo)定圖像c0(x02,y02)、c3(x32,y32)的重疊區(qū)域子圖像；

f5：全景鳥瞰標(biāo)定圖像d(x3,y3)與4個(gè)方向鳥瞰標(biāo)定圖像c0(x02,y02)、c1(x12,y12)、c2(x22,y22)、c3(x32,y32)之間像素點(diǎn)坐標(biāo)映射表m5，且對(duì)于相鄰鳥瞰標(biāo)定圖像融合區(qū)域內(nèi)的任意像素點(diǎn)(x′3,y′3)，需要說明(x′3,y′3)與所屬的兩個(gè)鳥瞰圖像像素點(diǎn)的坐標(biāo)映射關(guān)系；

f6：對(duì)于相鄰鳥瞰標(biāo)定圖像的融合區(qū)域r4、r5、r6、r7內(nèi)確定像素點(diǎn)的融合因子h1、h2，其中h1、h2分別是所屬鳥瞰圖像重疊部分對(duì)應(yīng)坐標(biāo)下像素的權(quán)值，將融合區(qū)域r4、r5、r6、r7中涉及的任意像素點(diǎn)的坐標(biāo)(x′3,y′3)與該像素點(diǎn)的融合因子存入映射表m6。

進(jìn)一步地，所述標(biāo)定布由棋盤格區(qū)域和公共覆蓋區(qū)域組成，公共覆蓋區(qū)域主要是作為全景拼接的標(biāo)記物，在汽車的前后左右的地面上距離車身設(shè)定距離分別放置或繪制前標(biāo)定布、后標(biāo)定布、左標(biāo)定布和右標(biāo)定布，保證相鄰標(biāo)定布棋盤格矩形區(qū)域相互垂直，且保證標(biāo)定布位于前后左右魚眼攝像的可視范圍內(nèi)，根據(jù)放置或繪制于汽車前后左右四個(gè)方向的標(biāo)定布，利用攝像頭獲取汽車四周的標(biāo)定圖像信息。

進(jìn)一步地，所述全景拼接模板圖像前方區(qū)域ra由區(qū)域r0、r7組成，左方區(qū)域rb由區(qū)域r1、r4組成，后方區(qū)域rc由區(qū)域r2、r5組成，右方區(qū)域rd由區(qū)域r3、r6組成。

進(jìn)一步地，實(shí)時(shí)地生成全景視頻圖像實(shí)現(xiàn)步驟：實(shí)時(shí)獲取車身周圍的4路魚眼實(shí)時(shí)圖像后，對(duì)r0、r1、r2、r3區(qū)域內(nèi)的像素，根據(jù)標(biāo)定系統(tǒng)生成的數(shù)據(jù)映射表文件，映射到所屬原始魚眼圖像的坐標(biāo)，確定輸出像素值，對(duì)于r4、r5、r6、r7區(qū)域內(nèi)的像素，根據(jù)數(shù)據(jù)映射表文件，映射到所要參與計(jì)算的原始魚眼圖像的坐標(biāo)，根據(jù)映射表確定的融合因子，將該像素點(diǎn)進(jìn)行融合，確定輸出像素值。

基于全景拼接數(shù)據(jù)映射表的輔助泊車系統(tǒng)，包括：

圖像采集模塊，利用安裝在車輛車身前方、左方、后方和右方的4路魚眼超廣角攝像頭獲取圖像，并對(duì)圖像進(jìn)行同步處理；

判斷模塊，用于對(duì)同步處理后的圖像進(jìn)行判斷是否需要標(biāo)定，若需要?jiǎng)t將同步處理后的圖像傳輸至系統(tǒng)標(biāo)定模塊，否則，轉(zhuǎn)入全景生成模塊；

系統(tǒng)標(biāo)定模塊，同步處理后的前視頻圖像、后視頻圖像、左視頻圖像及右視頻圖像分別進(jìn)行畸變校正，之后再分別進(jìn)行鳥瞰變換，將鳥瞰變換后的圖像進(jìn)行全景拼接并生成全景拼接數(shù)據(jù)映射表；

全景生成模塊，用于對(duì)視頻圖像重映射變換，之后對(duì)變換后的圖像進(jìn)行處理后傳輸至顯示模塊進(jìn)行圖像顯示。

與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：

本發(fā)明的全景輔助泊車系統(tǒng)利用標(biāo)定布信息將鳥瞰標(biāo)定圖像進(jìn)行粗配準(zhǔn)，利用公共覆蓋區(qū)域內(nèi)的物體特征將圖像進(jìn)行微調(diào)，實(shí)現(xiàn)了鳥瞰標(biāo)定圖像的最優(yōu)化配準(zhǔn)，利用自動(dòng)生成的拼接模板，利用全景拼接數(shù)據(jù)映射生成全景拼接數(shù)據(jù)映射表。

使用本發(fā)明能夠有效地提高全景標(biāo)定圖像的配準(zhǔn)精度、提高了全景視頻圖像的拼接融合效果、有效地滿足硬件的實(shí)時(shí)性要求。

本發(fā)明結(jié)合全景泊車產(chǎn)品開發(fā)中的實(shí)際需求，解決全景泊車系統(tǒng)中的關(guān)鍵問題。

附圖說明

構(gòu)成本申請(qǐng)的一部分的說明書附圖用來提供對(duì)本申請(qǐng)的進(jìn)一步理解，本申請(qǐng)的示意性實(shí)施例及其說明用于解釋本申請(qǐng)，并不構(gòu)成對(duì)本申請(qǐng)的不當(dāng)限定。

圖1是全景輔助泊車系統(tǒng)模塊框圖；

圖2是標(biāo)定布位置示意圖；

圖3是全景拼接模板圖；

圖4是全景拼接鳥瞰圖像顯示范圍圖。

具體實(shí)施方式

應(yīng)該指出，以下詳細(xì)說明都是例示性的，旨在對(duì)本申請(qǐng)?zhí)峁┻M(jìn)一步的說明。除非另有指明，本文使用的所有技術(shù)和科學(xué)術(shù)語具有與本申請(qǐng)所屬技術(shù)領(lǐng)域的普通技術(shù)人員通常理解的相同含義。

需要注意的是，這里所使用的術(shù)語僅是為了描述具體實(shí)施方式，而非意圖限制根據(jù)本申請(qǐng)的示例性實(shí)施方式。如在這里所使用的，除非上下文另外明確指出，否則單數(shù)形式也意圖包括復(fù)數(shù)形式，此外，還應(yīng)當(dāng)理解的是，當(dāng)在本說明書中使用術(shù)語“包含”和/或“包括”時(shí)，其指明存在特征、步驟、操作、器件、組件和/或它們的組合。

正如背景技術(shù)所介紹的，現(xiàn)有技術(shù)中存在的不足，為了解決如上的技術(shù)問題，本申請(qǐng)?zhí)岢隽嘶谌捌唇訑?shù)據(jù)映射表的輔助泊車方法及系統(tǒng)。

全景輔助泊車系統(tǒng)的工作過程可分為兩個(gè)子系統(tǒng)，其中一個(gè)工作子系統(tǒng)為標(biāo)定系統(tǒng)，是首次安裝好系統(tǒng)后進(jìn)行標(biāo)定，對(duì)4路魚眼圖像進(jìn)行圖像處理，生成全景拼接圖像，最終的目的是生成原始魚眼圖像與全景拼接圖像之間的數(shù)據(jù)映射表，另一個(gè)工作子系統(tǒng)是在標(biāo)定完系統(tǒng)后，在獲取到4路魚眼實(shí)時(shí)圖像后，利用標(biāo)定系統(tǒng)生成的數(shù)據(jù)映射表生成全景實(shí)時(shí)圖像。

本申請(qǐng)的一種典型的實(shí)施方式中，本發(fā)明實(shí)施例采用如下的系統(tǒng)設(shè)計(jì)方案：利用pc機(jī)來標(biāo)定全景輔助泊車系統(tǒng)，確定魚眼超廣角攝像頭獲取到的標(biāo)定圖像和全景拼接圖像數(shù)據(jù)映射表，并將該數(shù)據(jù)映射表寫入文本文件中，然后將該文件拷貝到使用usb接口的存儲(chǔ)設(shè)備中，全景輔助泊車系統(tǒng)的硬件設(shè)備通過讀取usb端口中的包含數(shù)據(jù)映射表的文件完成全景輔助泊車設(shè)備的初始化。在下次啟動(dòng)全景輔助泊車設(shè)備時(shí)，系統(tǒng)讀取閃存中包含數(shù)據(jù)映射表的信息單元，利用該數(shù)據(jù)映射表對(duì)實(shí)時(shí)的四路魚眼視頻圖像進(jìn)行處理，生成實(shí)時(shí)的全景視頻圖像，并將其在顯示屏上顯示。本發(fā)明實(shí)施例中一種用于全景輔助泊車圖像系統(tǒng)工作框圖如附圖1所示。

在車身的前后左右固定好4個(gè)魚眼超廣角車載攝像頭，對(duì)于汽車的前方和后方的攝像頭，可以安裝在車牌上方附近，安裝角度為傾斜向下，對(duì)于汽車左方和右方的攝像頭，可以安裝在后視鏡附近，安裝角度為垂直向下。根據(jù)車輛的長(zhǎng)寬比例，確定標(biāo)定布的尺寸和布局，標(biāo)定布上繪制有棋盤格和拼接標(biāo)記物，將標(biāo)定布放置在汽車的四周，使得車輛的前方、后方和兩側(cè)分別放置有用于標(biāo)定的棋盤格標(biāo)記物，同時(shí)在兩兩攝像頭的公共覆蓋區(qū)域內(nèi)放置有拼接標(biāo)記物，標(biāo)定布位置示意圖如附圖2。

選用魚眼相機(jī)標(biāo)定工具對(duì)系統(tǒng)中要使用的魚眼相機(jī)進(jìn)行標(biāo)定，可以選用opencv或者matlab標(biāo)定工具箱對(duì)魚眼相機(jī)進(jìn)行標(biāo)定，這里選用matlab標(biāo)定工具箱。

本申請(qǐng)的另一種典型的實(shí)施方式中，標(biāo)定步驟：對(duì)4路魚眼標(biāo)定圖像進(jìn)行圖像處理，生成全景拼接圖像，最終的目的是生成原始魚眼圖像與全景拼接圖像之間的數(shù)據(jù)映射表，實(shí)現(xiàn)步驟描述如下：

步驟(1)：在要標(biāo)定車輛車身前方、左方、后方和右方固定好4路魚眼攝像頭，在地面上按照附圖2所示放置(繪制)標(biāo)定布，這里標(biāo)定布上的四個(gè)棋盤格區(qū)域的布局和尺寸都是完全相同的。

步驟(2)：獲取汽車前方、左方、后方和右方的四幅魚眼標(biāo)定圖像a0(x00,y00)、a1(x10,y10)、a2(x20,y20)、a3(x30,y30)；根據(jù)畸變校正模型對(duì)前方、左方、后方和右方魚眼標(biāo)定圖像進(jìn)行畸變校正，得到四幅畸變校正后的魚眼標(biāo)定圖像b0(x01,y01)、b1(x11,y11)、b2(x21,y21)、b3(x31,y31)。

步驟(3)：分別識(shí)別畸變校正后的魚眼標(biāo)定圖像中的棋盤格內(nèi)角點(diǎn)，得到棋盤格內(nèi)角點(diǎn)構(gòu)成的矩形區(qū)域四個(gè)頂點(diǎn)的圖像坐標(biāo)，所有棋盤方格內(nèi)角點(diǎn)構(gòu)成的矩形區(qū)域左上頂點(diǎn)、右上頂點(diǎn)、左下頂點(diǎn)、右下頂點(diǎn)對(duì)應(yīng)的圖像坐標(biāo)分別為p0、p1、p2、p3。若圖像中水平方向有a個(gè)棋盤方格，垂直方向上有b個(gè)棋盤方格。若p4(x0,y0)是棋盤方格內(nèi)角點(diǎn)構(gòu)成的矩形區(qū)域左上頂點(diǎn)在鳥瞰圖像中對(duì)應(yīng)的坐標(biāo)，則棋盤方格內(nèi)角點(diǎn)構(gòu)成的矩形區(qū)域右上頂點(diǎn)、左下頂點(diǎn)、右下頂點(diǎn)在鳥瞰圖像中對(duì)應(yīng)的坐標(biāo)分別為p5((a-2)×u+x0,y0)、p6(x0,(b-2)×u+y0)、p7((a-2)×u+x0,(b-2)×u+y0)，其中u是鳥瞰變換后單個(gè)棋盤方格的圖像尺寸，c′0、c′1、c′2、c′3分別為將圖像b0、b1、b2、b3以左上頂點(diǎn)為中心逆時(shí)針旋轉(zhuǎn)0度、90度、180度和270度后的圖像，計(jì)算p4、p5、p6、p7在圖像c′0、c′1、c′2、c′3中對(duì)應(yīng)的像素點(diǎn)p′0、p′1、p′2、p′3，根據(jù)棋盤格內(nèi)角點(diǎn)的圖像坐標(biāo)p0、p1、p2、p3和棋盤格內(nèi)角點(diǎn)的世界坐標(biāo)p′0、p′1、p′2、p′3能夠計(jì)算出圖像的單應(yīng)性變換矩陣；根據(jù)單應(yīng)性變換矩陣，對(duì)每幅畸變校正后魚眼標(biāo)定圖像分別進(jìn)行鳥瞰變換，得到四幅鳥瞰圖像c0(x02,y02)、c1(x12,y12)、c2(x22,y22)、c3(x32,y32)，分別確定四副鳥瞰圖像的融合區(qū)域。

步驟(4)：根據(jù)公式(2)、(3)、(4)、(5)、(6)、(7)、(8)、(9)、(10)生成如附圖3所示的拼接模板圖像，其中wlr、wrr、hfr、hrr與全景鳥瞰圖像的顯示距離相關(guān)，如附圖4所示。

wv＝a×u(10)

將四幅鳥瞰圖像拼接為一幅完整的全景鳥瞰圖像d(x3,y3)，確定兩兩鳥瞰標(biāo)定圖像的重疊區(qū)域。

步驟(5)：對(duì)相鄰鳥瞰標(biāo)定圖像的重疊區(qū)域分別進(jìn)行二值化處理，在其中一個(gè)特征圖像上選取一個(gè)目標(biāo)模板圖像amh，大小為mmh×nmh，在另一個(gè)特征圖像上有模板amh覆蓋下的搜素子圖像bmh，大小為lmh×wmh，記mmh和lmh中的最大值為r，記nmh和wmh中的最大值為c，對(duì)于圖像上不存在的像素點(diǎn)，另其像素值為0，即表示這個(gè)像素點(diǎn)不是該圖像上的特征點(diǎn)。利用公式(11)計(jì)算目標(biāo)模板amh和搜索子圖像bmh的非相似度pmh，根據(jù)模板amh和模板覆蓋下的子圖bmh匹配時(shí)pmh取得最小值，完成兩幅圖像之間的配準(zhǔn)，通過特征的匹配關(guān)系建立圖像之間的配準(zhǔn)映射變換。最終使得在全景拼接圖像的4個(gè)重合區(qū)域內(nèi)，所有分屬與不同攝像機(jī)所采集的圖像特征非相似度的和達(dá)到最小。

步驟(6)：根據(jù)步驟(3)計(jì)算的單應(yīng)性變換矩陣和所使用的魚眼圖像畸變矯正模型，可以生成全景拼接映射表m0、m1、m2和m3，根據(jù)全景拼接模板圖像可以生成映射表m4、m5。融合區(qū)域圖像融合采用羽化的方法，具體融合方法如公式(12)、公式(13)、公式(14)，其中d1、d2分別為拼接融合區(qū)域像素點(diǎn)到重疊邊界ac、ab的距離，在計(jì)算融合區(qū)域r4、r5、r6、r7像素點(diǎn)像素值時(shí)，參與計(jì)算的重疊圖像is分別為a0、a1、a2和a3，參與計(jì)算的重疊圖像it分別為a1、a2、a3和a0。將融合區(qū)域r4、r5、r6、r7中涉及的像素點(diǎn)的坐標(biāo)與該像素點(diǎn)的融合漸變因子存入映射表m6。將包含全景拼接映射關(guān)系表m0、m1、m2、m3、m4、m5和m6的信息寫入全景拼接映射表文件。

h1+h2＝1(13)

e(x,y)＝h1is(x,y)+h²it(x,y)(14)

若(x′3,y′3)為全景視頻圖像中的像素點(diǎn)，在標(biāo)定完后，在獲取到4路魚眼實(shí)時(shí)圖像后，利用標(biāo)定系統(tǒng)生成的數(shù)據(jù)映射表生成全景實(shí)時(shí)圖像，實(shí)現(xiàn)步驟描述如下：

步驟(1)：讀取全景拼接映射表文件，將與全景拼接映射表相關(guān)變量進(jìn)行初始化；

步驟(2)：根據(jù)映射表m4，可以確定像素點(diǎn)(x′3,y′3)所屬的區(qū)域；

步驟(3)：若像素點(diǎn)(x′3,y′3)屬于r0、r1、r2、r3中的一個(gè)區(qū)域，確定像素點(diǎn)(x′3,y′3)與魚眼圖像的坐標(biāo)映射表mk。根據(jù)坐標(biāo)映射表m5，可以確定與像素點(diǎn)(x′3,y′3)對(duì)應(yīng)的鳥瞰圖像像素點(diǎn)坐標(biāo)ck(x′k2,y′k2)，根據(jù)坐標(biāo)映射表mk可以確定鳥瞰圖像像素點(diǎn)ck(x′k2,y′k2)相對(duì)應(yīng)的魚眼圖像像素點(diǎn)坐標(biāo)ak(x′k0,y′k0)，從而確定了最終像素點(diǎn)的像素值；

步驟(4)若像素點(diǎn)(x′3,y′3)屬于r4、r5、r6、r7中的一個(gè)區(qū)域，確定重疊區(qū)域像素點(diǎn)(x′3,y′3)與魚眼圖像的坐標(biāo)映射表ms、mt。根據(jù)坐標(biāo)映射表m5，可以確定參與計(jì)算像素點(diǎn)(x′3,y′3)像素值相對(duì)應(yīng)的鳥瞰圖像像素點(diǎn)坐標(biāo)cs(x′s2,y′s2)、ct(x′t2,y′t2)，根據(jù)坐標(biāo)映射表ms、mt可以確定鳥瞰圖像像素點(diǎn)cs(x′s2,y′s2)、ct(x′t2,y′t2)相對(duì)應(yīng)的魚眼圖像像素點(diǎn)坐標(biāo)as(x′s0,y′s0)、at(x′t0,y′t0)。根據(jù)映射表m6確定(x′3,y′3)的融合因子，將該像素點(diǎn)進(jìn)行融合處理，得到最終輸出的像素值。

以上所述僅為本申請(qǐng)的優(yōu)選實(shí)施例而已，并不用于限制本申請(qǐng)，對(duì)于本領(lǐng)域的技術(shù)人員來說，本申請(qǐng)可以有各種更改和變化。凡在本申請(qǐng)的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本申請(qǐng)的保護(hù)范圍之內(nèi)。