本發(fā)明涉及一種全景拼接圖與局部視頻或圖像融合顯示的方法。
背景技術(shù)：
：常用的監(jiān)控?cái)z像機(jī)中，有一種PTZ像機(jī)如圖1，雖然鏡頭的拍攝范圍有限，但由于裝在可旋轉(zhuǎn)的云臺(tái)上，可以實(shí)現(xiàn)水平和俯仰的轉(zhuǎn)動(dòng)，拓展監(jiān)控范圍。為了實(shí)現(xiàn)對(duì)周圍環(huán)境的概括了解，拼接技術(shù)經(jīng)常出現(xiàn)在這類PTZ像機(jī)的應(yīng)用領(lǐng)域，通過(guò)將像機(jī)在不同角度拍攝的圖片進(jìn)行拼接，得到一張覆蓋范圍極大甚至是全景的圖片。如圖2。但拼接的圖像是靜止的，不可能實(shí)時(shí)更新，因而仍然需要接個(gè)像機(jī)視頻綜合使用。視頻圖像與全景拼接圖像的配合使用，需要使用者切換，并抽象定位融合視頻在全景拼接圖像的內(nèi)容。人機(jī)體驗(yàn)上仍然有諸多不便。目前運(yùn)用于PTZ像機(jī)的拼接模型多包括柱面模型，球面模型等，通過(guò)特征匹配，球坐標(biāo)變換等方法，實(shí)現(xiàn)PTZ像機(jī)圖片序列在模型上的拼接組合。如圖3,為PTZ相機(jī)通過(guò)柱面模型拼接的環(huán)帶全景圖。全景拼接圖可以直接2D顯示，也可以通過(guò)3D引擎進(jìn)行變換，變成虛擬PTZ顯示。如圖4，由3D引擎獲取的4個(gè)方向上的虛擬PTZ圖像。除此以外，也有一種在PTZ裝置中加入全景鏡頭的產(chǎn)品，直接由輔助鏡頭生成全景圖。技術(shù)實(shí)現(xiàn)要素：為了解決上述的技術(shù)問(wèn)題，本發(fā)明的目的是提供一種全景拼接圖與局部視頻或圖像融合顯示的方法，該方法改善解決這種分離式的人機(jī)體驗(yàn)。為了實(shí)現(xiàn)上述的目的，本發(fā)明采用了以下的技術(shù)方案：一種全景拼接圖與局部視頻或圖像融合顯示的方法，該方法包括以下的步驟：a)根據(jù)全景拼接的算法，得到全景拼接圖像素坐標(biāo)系Rpano與拼接模型坐標(biāo)系Rmodel的對(duì)應(yīng)關(guān)系Fp-m；b)獲取PTZ像機(jī)視頻當(dāng)前幀或某張截圖的拍攝角度Pan和Tilt；c)根據(jù)PTZ像機(jī)拍攝范圍和變倍，獲取當(dāng)前幀或某張截圖的水平方向拍攝角度范圍Rangepan以及垂直方向上的Rangetilt，以及分辨率(Widv,Heiv)；d)根據(jù)Pan、Tilt、Rangepan和Rangetilt，獲取模型坐標(biāo)系Rmodel與PTZ像機(jī)的像素坐標(biāo)系Rpt的對(duì)應(yīng)關(guān)系Fm-pt；e)選定顯示方式，在顯示全景拼接圖的同時(shí)，根據(jù)對(duì)應(yīng)關(guān)系Fp-m和Fm-pt計(jì)算全景圖中各個(gè)位置是否在PTZ像機(jī)的當(dāng)前拍攝范圍內(nèi)，如果在范圍內(nèi)，則通過(guò)內(nèi)容替換、內(nèi)容覆蓋和/或內(nèi)容融合方法，顯示PTZ像機(jī)的當(dāng)前視頻幀或截圖；如果在范圍外，則顯示原始拼接圖的內(nèi)容。作為優(yōu)選，本發(fā)明的的全景拼接圖為2D顯示全景拼接圖或3D顯示全景拼接圖。作為優(yōu)選，全景拼接圖為2D顯示全景拼接圖時(shí)，Rpano為笛卡爾坐標(biāo)系Rmodel為歸一化極坐標(biāo)系Fp-m:Pm=xpano*Pmax-PminWidpano+PminTm=ypano*Tmax-TminHeipano+Tmin.]]>作為進(jìn)一步改進(jìn)，全景拼接圖為2D顯示全景拼接圖時(shí)，步驟d)中，F(xiàn)m-pt:xpt=Dis*tan(ΔPan)+Widv*0.5ypt=Dis*tan(ΔTilt)+Heiv*0.5,]]>其中：Dis＝Widv*0.5/tan(Rpan*0.5)或者Dis＝Heiv*0.5/tan(Rtilt*0.5)，ΔPan=Pm-PvΔTilt=Tm-Tv.]]>作為優(yōu)選，全景拼接圖為3D顯示全景拼接圖時(shí)，Rpano為笛卡爾坐標(biāo)系Rmodel為笛卡爾坐標(biāo)系Pm=arccos(xm||xdmydm||):ym>0180+arccos(xm||xdmydm||):ym<0Tm=arcsin(zm||xmymzm||)1,]]>Fm-p:xpano=(Pm-Pmin)*Widpano/(Pmax-Pmin)ypano=(Tm-Tmin)*Heipano/(Tmax-Tmin);]]>作為進(jìn)一步改進(jìn)，全景拼接圖為3D顯示全景拼接圖時(shí)，步驟d)中，m00m01m02m10m11m12m20m21m22*xdydzd=xmymzm,]]>xdydzd=m00m01m02m10m11m12m20m21m22-1*xmymzm,]]>Fm-pt:xpt=Dis*yd/||xdyd||+Widv*0.5ypt=Dis*zd/||xdydzd||+Heiv*0.5,]]>其中：m00m01m02m10m11m12m20m21m22=cos(Tv)sin(Tv)0-sin(Tv)cos(Tv)0001*cos(Pv)0-sin(Pv)010sin(Pv)0cos(Pv).]]>本發(fā)明由于采用了上述的技術(shù)方案，通過(guò)PTZ像機(jī)當(dāng)前視頻或某張截圖的拍攝角度(水平角Pan，俯仰角Tilt)，以及拍攝范圍(鏡頭視場(chǎng)角、變倍Zoom)，計(jì)算圖像區(qū)域在全景拼接模型的具體位置，然后更新全景圖像中相應(yīng)區(qū)域內(nèi)的內(nèi)容，當(dāng)拍攝角度和范圍改變時(shí)，更改全景圖像中的相應(yīng)區(qū)域，而原先視頻覆蓋的區(qū)域還原回全景拼接圖。該方法改善解決全景拼接圖與局部視頻或圖像融合顯示的人機(jī)體驗(yàn)。附圖說(shuō)明圖1為PTZ攝像機(jī)圖像。圖2為PTZ攝像機(jī)拼接圖像。圖3為環(huán)帶全景圖。圖4為多角度下虛擬PTZ技術(shù)圖。圖5為笛卡爾坐標(biāo)系視頻投影圖。圖6為環(huán)帶拼接圖和搖頭機(jī)視頻幀內(nèi)容圖。圖7為視頻幀所在范圍圖。圖8為2D顯示全景拼接與視頻幀融合結(jié)果圖。圖9為3D顯示全景拼接與視頻幀融合結(jié)果圖。具體實(shí)施方式下面結(jié)合附圖對(duì)本發(fā)明的具體實(shí)施方式做一個(gè)詳細(xì)的說(shuō)明。本發(fā)明的涉及到參數(shù)解釋如下：xpano：全景拼接圖像素坐標(biāo)值X分量，左上角為0，右下角為Widpanoypano：全景拼接圖像素坐標(biāo)值Y分量，左上角為0，右下角為HeipanoWidpano：全景拼接圖寬Heipano：全景拼接圖高Pm：極坐標(biāo)系拼接模型的水平角分量Tm：極坐標(biāo)系拼接模型的俯仰角分量Pv：搖頭機(jī)云臺(tái)的水平角分量Tv：搖頭機(jī)云臺(tái)的俯仰角分量Rpan：視頻圖像水平方向的視場(chǎng)角度Rtilt：視頻圖像垂直方向的視場(chǎng)角度Widv：視頻圖像寬Heiv：視頻圖像水高xpt：視頻圖像素坐標(biāo)值X分量，左上角為0，右下角為Widvypt：視頻圖像素坐標(biāo)值X分量，左上角為0，右下角為Heivxm：3D顯示時(shí)，笛卡爾坐標(biāo)系拼接模型的歸一化方向向量的X分量ym：3D顯示時(shí)，笛卡爾坐標(biāo)系拼接模型的歸一化方向向量的Y分量zm：3D顯示時(shí)，笛卡爾坐標(biāo)系拼接模型的歸一化方向向量的Z分量xm：3D顯示時(shí)，笛卡爾坐標(biāo)系視頻投影的歸一化方向向量的X分量ym：3D顯示時(shí)，笛卡爾坐標(biāo)系視頻投影的歸一化方向向量的Y分量zm：3D顯示時(shí)，笛卡爾坐標(biāo)系視頻投影的歸一化方向向量的Z分量笛卡爾坐標(biāo)系視頻投影圖5，鏡頭光軸為X軸。實(shí)施例12D顯示全景拼接與搖頭機(jī)視頻的融合搖頭機(jī)只有Pan、Tilt兩個(gè)自由度，沒(méi)有Zooma)獲取柱面全景環(huán)帶與拼接模型坐標(biāo)系轉(zhuǎn)換關(guān)系Fp-mRpano為笛卡爾坐標(biāo)系Rmodel為歸一化極坐標(biāo)系Pm|∈(Pmin,Pmax)Tm|∈(Tmin,Tmax)1,]]>Fp-m:Pm=xpano*Pmax-PminWidpano+PminTm=ypano*Tmax-TminHeipano+Tmin;]]>b)通過(guò)私有信息或協(xié)議，獲取搖頭機(jī)視頻當(dāng)前幀的拍攝角度c)獲取搖頭機(jī)拍攝范圍以及視頻分辨率其中必須滿足Heiv＝Widv*tan(Rtilt*0.5)/tan(Rpan*0.5)或者Rtilt＝atctan(Heiv/Widv*tan(Rpan*0.5))*2；d)獲取模型坐標(biāo)系Rmodel與搖頭機(jī)視頻像素坐標(biāo)系Rpt的對(duì)應(yīng)關(guān)系Fm-pt，F(xiàn)m-pt:xpt=Dis*tan(ΔPan)+Widv*0.5ypt=Dis*tan(ΔTilt)+Heiv*0.5;]]>其中：Dis＝Widv*0.5/tan(Rpan*0.5)或者Dis＝Heiv*0.5/tan(Rtilt*0.5)；ΔPan=Pm-PvΔTilt=Tm-Tv;]]>如果xpt∈(0,Widv)并且ypt∈(0,Heiv)，則全景拼接圖中該位置內(nèi)容被融合替換成視頻當(dāng)前幀的響應(yīng)內(nèi)容。如下圖：圖6顯示全景拼接圖和搖頭機(jī)當(dāng)前視頻幀；圖7顯示計(jì)算出的搖頭機(jī)當(dāng)前視頻所在位置；圖8為融合最終結(jié)果。實(shí)施例23D顯示全景拼接與搖頭機(jī)視頻的融合搖頭機(jī)只有Pan、Tilt兩個(gè)自由度，沒(méi)有Zoom。而3D顯示，有模型坐標(biāo)系為原始坐標(biāo)系，分別計(jì)算模型不同位置對(duì)應(yīng)的球面拼接圖位置和搖頭機(jī)視頻位置。a)獲取球面拼接模型與拼接圖的坐標(biāo)系轉(zhuǎn)換關(guān)系Fm-pRpano為笛卡爾坐標(biāo)系Rmodel為笛卡爾坐標(biāo)系Pm=arccos(xm||xdmydm||):ym>0180+arccos(xm||xdmydm||):ym<0Tm=arcsin(zm||xmymzm||)1,]]>Fm-p:xpano=(Pm-Pmin)*Widpano/(Pmax-Pmin)ypano=(Tm-Tmin)*Heipano/(Tmax-Tmin);]]>b)通過(guò)私有信息或協(xié)議，獲取搖頭機(jī)視頻當(dāng)前幀的拍攝角度c)獲取搖頭機(jī)拍攝范圍以及視頻分辨率其中必須滿足Heiv＝Widv*tan(Rtilt*0.5)/tan(Rpan0.5)或者Rtilt＝atctan(Heiv/Widv*tan(Rpan*0.5))*2；d)獲取模型坐標(biāo)系Rmodel與搖頭機(jī)視頻像素坐標(biāo)系Rpt的對(duì)應(yīng)關(guān)系Fm-ptxuyuzu=cos(Pv)cos(Tv)sin(Pv)cos(Tv)sin(Tv),]]>m00m01m02m10m11m12m20m21m22*xdydzd=xmymzm,]]>xdydzd=m00m01m02m10m11m12m20m21m22-1*xmymzm,]]>Fm-pt:xpt=Dis*yd/||xdyd||+Widv*0.5ypt=Dis*zd/||xdydzd||+Heiv*0.5,]]>其中：m00m01m02m10m11m12m20m21m22=cos(Tv)sin(Tv)0-sin(Tv)cos(Tv)0001*cos(Pv)0sin(Pv)010sin(Pv)0cos(Pv).]]>如果xpt∈(0,Widv)并且ypt∈(0,Heiv)，則全景拼接圖中該位置內(nèi)容被融合替換成視頻當(dāng)前幀的響應(yīng)內(nèi)容。如圖9為融合最終結(jié)果。當(dāng)前第1頁(yè)1 2 3