本發(fā)明涉及安防監(jiān)控技術(shù)領(lǐng)域，尤其涉及到在線實(shí)時視頻監(jiān)控技術(shù)，具體為一種三維全景視頻監(jiān)控裝置及其視頻圖像處理方法。

背景技術(shù)：

視頻監(jiān)控是安防領(lǐng)域的重要組成部分，近年來，隨著圖像處理技術(shù)和視頻傳輸技術(shù)的發(fā)展，視頻監(jiān)控技術(shù)也得到了很大的發(fā)展。但是，現(xiàn)有的視頻監(jiān)控產(chǎn)品大多是監(jiān)控點(diǎn)采用單臺攝像頭，若干監(jiān)控點(diǎn)采集不同視角的監(jiān)控區(qū)域場景，并將監(jiān)控畫面通過有線或無線方式傳輸至監(jiān)控室，多個獨(dú)立監(jiān)控窗口實(shí)現(xiàn)監(jiān)控。由于單臺攝像頭的監(jiān)控視角有限，對于大場景監(jiān)控場所，監(jiān)控人員需要監(jiān)測多個窗口，往往不能及時發(fā)現(xiàn)監(jiān)控中的異常，另外由于目前單臺攝像頭在監(jiān)控室中顯示的監(jiān)控畫面相互獨(dú)立，缺乏關(guān)聯(lián)性，同時，傳統(tǒng)的監(jiān)控設(shè)備為二維視頻監(jiān)控模式，監(jiān)控場景畫面不直觀，監(jiān)控效率較低下。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的是針對現(xiàn)有技術(shù)的不足，提出了一種基于視頻拼接技術(shù)的三維全景視頻監(jiān)控裝置及其視頻圖像處理方法，可以實(shí)現(xiàn)在同一屏幕內(nèi)大范圍三維全景視頻監(jiān)控，且監(jiān)控畫面連續(xù)，方便監(jiān)控人員及時發(fā)現(xiàn)監(jiān)控區(qū)域的異常。

本發(fā)明第一方面提出的三維全景視頻監(jiān)控裝置，包括監(jiān)控前端和監(jiān)控室端,所述監(jiān)控室端包括互相連接服務(wù)器和監(jiān)控顯示屏,所述監(jiān)控前端包括分布在監(jiān)控區(qū)域內(nèi)多處并與所述服務(wù)器信號連接的監(jiān)控探頭，所述多個監(jiān)控探頭均設(shè)置有括嵌入式處理器及分別與嵌入式處理器連接的用于對監(jiān)控區(qū)域的視頻圖像采集的視頻采集模塊、對所采集的視頻圖像進(jìn)行視頻處理的視頻處理模塊、對探頭位置進(jìn)行定位的GPS模塊、將所述視頻圖像信息和探頭位置信息與所述監(jiān)控室端通信連接的第一通信模塊；所述監(jiān)控室端的服務(wù)器包括用于安裝操作系統(tǒng)的中心處理器模塊以及分別與所述中心處理器模塊連接的用于與第一通信模塊連接的第二通信模塊、用于人工交互的輸入設(shè)備、用于對視頻圖像拼接處理的圖像處理模塊、用于存儲視頻圖像的存儲模塊和用于顯示視頻的顯示模塊；其特征在于監(jiān)控區(qū)域內(nèi)多個所述視頻采集模塊采集的圖像畫面連續(xù)且所采集的圖像至少有部分重合，所述圖像處理模塊中設(shè)有GPU圖形處理器，所述GPU圖形處理器用于對多個監(jiān)控探頭形成的多路視頻圖像進(jìn)行拼接后生成連續(xù)監(jiān)控畫面的全景視頻，中心處理器模塊根據(jù)全景視頻信息及探頭位置信息進(jìn)行立體三維建模后輸出大場景的三維全景視頻。

本發(fā)明方案中，多個所述視頻采集模塊采集的圖像畫面連續(xù)且所采集的圖像至少有部分重合，從而使得GPU圖形處理器能在對圖像拼接時將圖像的重合部分融合后拼接成連續(xù)的視頻圖像，而不會出現(xiàn)重復(fù)疊景和斷續(xù)景，視頻圖像效果連續(xù)清晰，易于監(jiān)控每一個時段的情況；而中心處理器模塊根據(jù)全景視頻信息及探頭位置信息進(jìn)行立體三維建模后輸出大場景的三維全景視頻，再通過顯示模塊在一個顯示窗口就可以顯示所有監(jiān)控探頭采集的多路視頻圖像，提升了各路視頻的關(guān)聯(lián)性，形成三維直觀的監(jiān)控畫面，方便監(jiān)控，提升監(jiān)控效率。

進(jìn)一步的，所述三維全景視頻監(jiān)控裝置還包括與所述第二通信模塊通信連接并獲取三維全景視頻的移動監(jiān)控終端，所述移動監(jiān)控終端至少包括一個智能監(jiān)控移動終端?？梢詫?shí)現(xiàn)遠(yuǎn)距離多方同時監(jiān)控。

進(jìn)一步的，所述智能監(jiān)控移動終端為筆記本電腦或平板電腦或智能手機(jī)中的一種。由于這些移動終端均為嵌入式設(shè)備，其內(nèi)安裝有監(jiān)控系統(tǒng)應(yīng)用軟件，通過第二通信模塊與中心處理器模塊無線連接，即可以調(diào)取存儲模塊中的過往監(jiān)控視頻，也可以可調(diào)取觀看實(shí)時三維全景監(jiān)控視頻，通過這些移動終端可顯示整體監(jiān)控畫面，也可顯示某個監(jiān)控小畫面，并放大該監(jiān)控小畫面。

進(jìn)一步的，所述輸入設(shè)備至少包括鍵盤、鼠標(biāo)和觸摸屏中的一種。用于對服務(wù)器的人機(jī)界面交互，可通過輸入設(shè)備選取某個監(jiān)控小畫面的顯示，并以不同角度進(jìn)行縮放。

進(jìn)一步的，所述視頻采集模塊包括攝像頭驅(qū)動電路和攝像頭組，攝像頭組為單臺或多臺攝像頭的組合。

本發(fā)明另一方面還提供三維全景視頻監(jiān)控裝置的視頻圖像處理方法，包括以下步驟：

S1 ：視頻幀圖像預(yù)處理

對視頻圖像進(jìn)行預(yù)處理，噪聲消除，對產(chǎn)生幾何畸變的圖像的校正，同時，融入直方圖均衡化圖像增強(qiáng)算法，對清晰度較低的圖像實(shí)現(xiàn)圖像增強(qiáng)；

S2: 視頻幀圖像配準(zhǔn)

使用幀圖像配準(zhǔn)算法，完成圖像特征點(diǎn)檢測、特征描述和特征匹配，使圖像間互相重疊部分對準(zhǔn)，將待拼接圖像轉(zhuǎn)換到參考圖像的坐標(biāo)系，構(gòu)成完整的圖像；

S3：視頻幀圖像融合

使用幀圖像融合算法對拼接重疊區(qū)域進(jìn)行融合，使顏色逐漸過渡，保證拼合邊界平滑過渡，消除拼接線，生成平滑無縫的全景視頻圖像。

通過本法方拼接的視頻圖像連續(xù)性好，清晰度高，方便監(jiān)控人員及時發(fā)現(xiàn)監(jiān)控區(qū)域的異常，提高監(jiān)控效率。

進(jìn)一步的，所述幀圖像融合算法采用加權(quán)平滑法。加權(quán)平滑法對拼接重疊區(qū)域進(jìn)行融合，使顏色逐漸過渡，保證拼合邊界平滑過渡，消除拼接線，生成平滑無縫的全景視頻圖像。

與現(xiàn)有技術(shù)相比，本發(fā)明的基于視頻拼接技術(shù)的三維全景視頻監(jiān)控裝置及其視頻圖像處理方法具有的優(yōu)點(diǎn)為：監(jiān)控畫面連續(xù)，大范圍三維全景監(jiān)控效果，監(jiān)控更加方便、直觀；另外監(jiān)控人員可攜帶智能監(jiān)控移動終端進(jìn)行對監(jiān)控點(diǎn)的監(jiān)控，無需守候在監(jiān)控室內(nèi)，更加方便監(jiān)控人員的行動，如遇到突發(fā)事故時，監(jiān)控人員可邊監(jiān)控事故現(xiàn)場畫面，邊向事故地點(diǎn)行動。

附圖說明

本發(fā)明的上述和/或附加的方面和優(yōu)點(diǎn)從結(jié)合下面附圖對實(shí)施例的描述中將變得明顯和容易理解，其中：

圖1是本發(fā)明三維全景視頻監(jiān)控裝置的整體結(jié)構(gòu)方框圖；

圖2是圖1中監(jiān)控探頭的攝像頭組結(jié)構(gòu)方框圖；

圖3是圖1中監(jiān)控室端服務(wù)器結(jié)構(gòu)方框圖；

圖4是本發(fā)明三維全景視頻監(jiān)控裝置的攝像頭組合結(jié)構(gòu)示意圖；

圖5是本發(fā)明的三維全景視頻監(jiān)控裝置的視頻圖像處理方法流程圖。

具體實(shí)施方式

為了能夠更清楚地理解本發(fā)明的上述目的、特征和優(yōu)點(diǎn)，下面結(jié)合附圖和具體實(shí)施方式對本發(fā)明進(jìn)行進(jìn)一步的詳細(xì)描述。需要說明的是，在不沖突的情況下，本申請的實(shí)施例及實(shí)施例中的特征可以相互組合。

在下面的描述中闡述了很多具體細(xì)節(jié)以便于充分理解本發(fā)明，但是，本發(fā)明還可以采用其他不同于在此描述的方式來實(shí)施，因此，本發(fā)明的保護(hù)范圍并不受下面公開的具體實(shí)施例的限制。

下面參照圖1至5對本發(fā)明實(shí)施例作進(jìn)一步的描述。

如圖1所示，一種全景視頻監(jiān)控裝置包括監(jiān)控前端和監(jiān)控室端,監(jiān)控室端包括互相連接服務(wù)器和監(jiān)控顯示屏,監(jiān)控前端包括分布在監(jiān)控區(qū)域內(nèi)多處并與服務(wù)器信號連接的監(jiān)控探頭，如監(jiān)控探頭1、監(jiān)控探頭2、監(jiān)控探頭3……、監(jiān)控探頭n，監(jiān)控探頭可以根據(jù)監(jiān)控區(qū)域范圍的需要進(jìn)行調(diào)整數(shù)量和位置，這n個監(jiān)控探頭與服務(wù)器通過有線或無線通信連接，以將監(jiān)控探頭采集到的圖像信息傳遞至服務(wù)器；如圖2所示，監(jiān)控探頭均設(shè)置有括嵌入式處理器及分別與嵌入式處理器連接的用于對監(jiān)控區(qū)域的視頻圖像采集的視頻采集模塊、對所采集的視頻圖像進(jìn)行視頻處理的視頻處理模塊、對探頭位置進(jìn)行定位的GPS模塊、將視頻圖像信息和探頭位置信息與監(jiān)控室端通信連接的第一通信模塊；如圖4所示，監(jiān)控室端的服務(wù)器包括用于安裝操作系統(tǒng)的中心處理器模塊以及分別與中心處理器模塊連接的用于與第一通信模塊連接的第二通信模塊、用于人工交互的輸入設(shè)備、用于對視頻圖像拼接處理的圖像處理模塊、用于存儲視頻圖像的存儲模塊和用于顯示視頻的顯示模塊；其中，監(jiān)控區(qū)域內(nèi)的多個視頻采集模塊采集的圖像畫面連續(xù)且所采集的圖像至少有部分重合，圖像處理模塊中設(shè)有GPU圖形處理器， GPU圖形處理器用于對多個監(jiān)控探頭形成的多路視頻圖像進(jìn)行拼接后生成連續(xù)監(jiān)控畫面的全景視頻，中心處理器模塊根據(jù)全景視頻信息及探頭位置信息進(jìn)行立體三維建模輸出大場景的三維全景視頻。

多個所述視頻采集模塊采集的圖像畫面連續(xù)且所采集的圖像至少有部分重合，從而使得GPU圖形處理器能在對圖像拼接時將圖像的重合部分融合后拼接成連續(xù)的視頻圖像，而不會出現(xiàn)重復(fù)疊景和斷續(xù)景，視頻圖像效果連續(xù)清晰，易于監(jiān)控每一個時段的情況；中心處理器模塊根據(jù)全景視頻信息及探頭位置信息進(jìn)行立體三維建模后輸出大場景的三維全景視頻，再通過顯示模塊在一個顯示屏窗口就可以顯示所有監(jiān)控探頭采集的多路視頻圖像，提升了各路視頻的關(guān)聯(lián)性，形成三維直觀的監(jiān)控畫面，方便監(jiān)控，提升監(jiān)控效率。

一個具體實(shí)施例中，如圖1所示，三維全景視頻監(jiān)控裝置還包括多個移動監(jiān)控終端，如移動監(jiān)控終端1、移動監(jiān)控終端2、移動監(jiān)控終端3……如移動監(jiān)控終端n，這些移動監(jiān)控終端均與第二通信模塊通信連接從而從服務(wù)器獲取三維全景視頻，移動監(jiān)控終端至少包括一個智能監(jiān)控移動終端，這樣就可以實(shí)現(xiàn)遠(yuǎn)距離多方同時監(jiān)控，方便遠(yuǎn)方人員及時掌握監(jiān)控區(qū)域第一手現(xiàn)場信息。

作為實(shí)施例的具體選項(xiàng)，智能監(jiān)控移動終端為筆記本電腦或平板電腦或智能手機(jī)中的一種。由于這些移動終端均為嵌入式設(shè)備，其內(nèi)安裝有監(jiān)控系統(tǒng)應(yīng)用軟件，通過第二通信模塊與中心處理器模塊無線連接，即可以調(diào)取存儲模塊中的過往監(jiān)控視頻，也可以可調(diào)取觀看實(shí)時三維全景監(jiān)控視頻，通過這些移動終端可顯示整體監(jiān)控畫面，也可顯示某個監(jiān)控小畫面，并放大該監(jiān)控小畫面。

作為實(shí)施例的具體選項(xiàng)，所述輸入設(shè)備至少包括鍵盤、鼠標(biāo)和觸摸屏中的一種。用于對服務(wù)器的人機(jī)界面交互，可通過輸入設(shè)備選取某個監(jiān)控小畫面的顯示，并以不同角度進(jìn)行縮放。

一個具體實(shí)施例的改進(jìn)方案，視頻采集模塊包括攝像頭驅(qū)動電路和攝像頭組，攝像頭組為單臺或多臺攝像頭的組合，如圖4所示，圖中a之f分別表示攝像頭組分別由1臺攝像頭、2臺攝像頭、3臺攝像頭、4臺攝像頭、5臺攝像頭、6臺攝像頭組成，其中箭頭方向?yàn)閿z像頭鏡頭中心線方向，多臺攝像頭從不同方向獲取不同監(jiān)控區(qū)域的視頻圖像，攝像頭個數(shù)可根據(jù)實(shí)際所需監(jiān)控視角決定，監(jiān)控區(qū)域攝像頭同時采集多路監(jiān)控視頻。

如圖5所示，上述三維全景視頻監(jiān)控裝置的視頻圖像處理方法，包括以下步驟：

S1：視頻幀圖像預(yù)處理

對視頻圖像進(jìn)行預(yù)處理，噪聲消除，對產(chǎn)生幾何畸變的圖像的校正，同時，融入直方圖均衡化圖像增強(qiáng)算法，對清晰度較低的圖像實(shí)現(xiàn)圖像增強(qiáng);

S2: 視頻幀圖像配準(zhǔn)

使用幀圖像配準(zhǔn)算法，完成圖像特征點(diǎn)檢測、特征描述和特征匹配，使圖像間互相重疊部分對準(zhǔn)，將待拼接圖像轉(zhuǎn)換到參考圖像的坐標(biāo)系，構(gòu)成完整的圖像；其中圖像處理領(lǐng)域可采用的配準(zhǔn)方法有基于Harris角點(diǎn)檢測的圖像配準(zhǔn)算法、基于ORB算法等，可根據(jù)圖像的類型如像素、特征來選擇配準(zhǔn)方法;

S3：視頻幀圖像融合

使用幀圖像融合算法對拼接重疊區(qū)域進(jìn)行融合，融合算法有加權(quán)平滑法、漸入漸出方法等，本實(shí)施例采用加權(quán)平滑法對拼接重疊區(qū)域進(jìn)行融合，使顏色逐漸過渡，保證拼合邊界平滑過渡，消除拼接線，生成平滑無縫的全景視頻圖像。

與現(xiàn)有技術(shù)相比，本發(fā)明的基于視頻拼接技術(shù)的三維全景視頻監(jiān)控裝置及其視頻圖像處理方法具有的優(yōu)點(diǎn)為：監(jiān)控畫面連續(xù)，大范圍三維全景監(jiān)控效果，監(jiān)控更加方便、直觀；另外監(jiān)控人員可攜帶智能監(jiān)控移動終端進(jìn)行對監(jiān)控點(diǎn)的監(jiān)控，無需守候在監(jiān)控室內(nèi)，更加方便監(jiān)控人員的行動，如遇到突發(fā)事故時，監(jiān)控人員可邊監(jiān)控事故現(xiàn)場畫面，邊向事故地點(diǎn)行動。

與現(xiàn)有技術(shù)相比，本實(shí)施例采用基于視頻拼接技術(shù)的三維全景視頻監(jiān)控裝置及其視頻圖像處理方法具有的優(yōu)點(diǎn)為：監(jiān)控畫面連續(xù)，大范圍三維全景監(jiān)控效果，監(jiān)控更加方便、直觀；另外監(jiān)控人員可攜帶智能監(jiān)控移動終端進(jìn)行對監(jiān)控點(diǎn)的監(jiān)控，無需守候在監(jiān)控室內(nèi)，更加方便監(jiān)控人員的行動，如遇到突發(fā)事故時，監(jiān)控人員可邊監(jiān)控事故現(xiàn)場畫面，邊向事故地點(diǎn)行動。

以上僅為本發(fā)明的優(yōu)選實(shí)施例而已，并不用于限制本發(fā)明，對于本領(lǐng)域的技術(shù)人員來說，本發(fā)明可以有各種更改和變化。凡在本發(fā)明的創(chuàng)造性精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。