專利名稱：一種全景視頻采集裝置的制作方法
技術(shù)領(lǐng)域：
本實(shí)用新型涉及監(jiān)控領(lǐng)域，尤其涉及一種全景視頻采集裝置。
背景技術(shù)：
視頻信息在日常生活中對(duì)信息的表達(dá)起著十分重要的作用，特別是隨著網(wǎng)絡(luò)技術(shù)的發(fā)展，視頻技術(shù)越來越多的涉及我們生活的各個(gè)領(lǐng)域，譬如，視頻會(huì)議，視頻電話，監(jiān)控，等等。由于普通相機(jī)的視角往往不能滿足需要，例如由于距離的限制，某些超大尺寸的物體無法用一張照片拍攝下來，這在航空航天照片的拍攝中顯得尤為突出。上世紀(jì)九十年代提出的基于圖像的繪制(IBR)是用寬視角圖像或360度柱面全景圖或球面全景圖來虛擬展示實(shí)際場景，通過對(duì)這一靜止圖像進(jìn)行連續(xù)插值而實(shí)現(xiàn)對(duì)場景的交互式連續(xù)瀏覽，是GBR的一種互補(bǔ)。全景圖就是把離散的圖像信息完全在一副圖像上顯示，這樣就克服了上述的·關(guān)于視角的限制。全景圖的表示模式主要有柱面全景圖，立方體全景圖和球面全景圖。采用柱面全景圖來表示場景，其優(yōu)點(diǎn)是圖像較為容易處理，但在實(shí)際應(yīng)用中，這種無底面的有限柱面將對(duì)垂直方向的視域有一定的限制；獲得立方體全景圖像，照相機(jī)的鏡頭必須是90度，還不能讓場景中的直線在圖像中產(chǎn)生彎曲，這是難以做到的；球面全景圖符合人體視覺結(jié)構(gòu)特征，能方便的實(shí)現(xiàn)俯視、仰視、360°環(huán)視。全景視頻，即全景圖像加上一個(gè)時(shí)間軸，顯示不同時(shí)刻的全景圖序列，其代表的信息更加豐富，可實(shí)時(shí)反映場景的變化?，F(xiàn)有技術(shù)往往通過魚眼鏡頭進(jìn)行實(shí)現(xiàn)，并采用PC機(jī)進(jìn)行視頻合成，這樣，不但魚眼鏡頭價(jià)格過高，存在一定的視角盲區(qū)，而且進(jìn)行視頻合成時(shí)處理速度慢，穩(wěn)定性差，生成的360度視場視頻不能達(dá)到實(shí)時(shí)播放的效果。

實(shí)用新型內(nèi)容本實(shí)用新型的實(shí)施例提供了一種全景視頻采集裝置，通過多個(gè)攝像頭模組對(duì)場景信息進(jìn)行采集，并基于FPGA對(duì)采集的場景信息進(jìn)行處理，可對(duì)動(dòng)態(tài)視頻實(shí)時(shí)處理，具有實(shí)時(shí)、優(yōu)質(zhì)的顯示效果。為達(dá)到上述目的，采用如下技術(shù)方案一種全景視頻采集裝置，包括多個(gè)在不同方向布置的攝像頭模組、與攝像頭模組對(duì)應(yīng)的多個(gè)編碼器、FPGA芯片以及輸出模塊；所述多個(gè)攝像頭模組分別與一個(gè)編碼器連接；所述FPGA芯片包括同屏顯示OSD模塊和圖像混合模塊；所述圖像混合模塊與輸出模塊連接，所述多個(gè)編碼器通過FPGA芯片的引腳與同屏顯示OSD模塊連接，所述多個(gè)編碼器還通過FPGA芯片的引腳與圖像混合模塊連接，所述輸出模塊通過FPGA芯片的引腳與同屏顯示OSD模塊。優(yōu)選的，所述多個(gè)攝像頭模組均通過同軸電纜與AD芯片連接。優(yōu)選的，所述FPGA芯片為采取混合相位差算法、非線性融合算法，對(duì)采集到的動(dòng)態(tài)視頻進(jìn)行實(shí)時(shí)處理的FPGA芯片。優(yōu)選的，所述攝像頭模組為可調(diào)攝像頭，為六個(gè)，分別設(shè)置于所述裝置的不同角度。優(yōu)選的，所述輸出模塊包括與FPGA芯片連接的VGA單元和網(wǎng)絡(luò)輸出單元。本實(shí)用新型實(shí)施例提供的一種全景視頻采集裝置，通過多個(gè)攝像頭模組對(duì)場景信息進(jìn)行采集，并基于FPGA對(duì)采集的場景信息進(jìn)行處理，采取混合相位差算法，非線性融合算法，實(shí)時(shí)將多路采集的獨(dú)立視頻轉(zhuǎn)換為全景視頻，通過VGA單元或網(wǎng)絡(luò)輸出，實(shí)現(xiàn)全景視頻監(jiān)控，具有實(shí)時(shí)、優(yōu)質(zhì)的顯示效果。

圖I為本實(shí)用新型提供的一種全景視頻采集裝置的模塊結(jié)構(gòu)圖。
具體實(shí)施方式
以下結(jié)合附圖對(duì)本實(shí)用新型實(shí)施例一種全景視頻采集裝置進(jìn)行詳細(xì)描述。全景檢測技術(shù)是目前監(jiān)控技術(shù)中的重要發(fā)展方向之一，在常見的安檢系統(tǒng)中可通過運(yùn)用多個(gè)攝像頭或快球系統(tǒng)對(duì)周邊環(huán)境進(jìn)行360度柱狀或球狀圖像檢測?；谝曨l的目標(biāo)的檢測與跟蹤在軍事武器、機(jī)器人導(dǎo)航、智能監(jiān)控系統(tǒng)等領(lǐng)域具有廣泛的應(yīng)用，它是一種融合了圖像處理、模式識(shí)別、人工智能、自動(dòng)控制等多領(lǐng)域先進(jìn)技術(shù)的綜合應(yīng)用技術(shù)。而全景視頻是對(duì)單攝像機(jī)視頻的擴(kuò)展，它綜合應(yīng)用圖像配準(zhǔn)、圖像融合技術(shù)，無縫拼接生成的360度視場視頻。本實(shí)施例中的全景視頻采集裝置，攝像頭模組為可調(diào)攝像頭，為六個(gè)，分別設(shè)置于所述裝置的不同角度。本實(shí)施例中，六組攝像頭分別設(shè)置于六面體結(jié)構(gòu)的六個(gè)面上，即方位上的前、后、左、右、上、下。如圖I所示，包括多個(gè)在不同方向布置的攝像頭模組IOla-IOlf、與攝像頭模組對(duì)應(yīng)的多個(gè)編碼器102a-102f、FPGA芯片103以及輸出模塊104。所述的多個(gè)攝像頭模組IOla-IOlf分別通過一 AD芯片(圖中未視出)與一個(gè)編碼器102a-102f連接，所述的FPGA芯片103包括同屏顯示OSD模塊103a、圖像混合模塊103b ；所述圖像混合模塊103b與輸出模塊104連接，所述多個(gè)編碼器102a-102f通過FPGA芯片103的引腳與同屏顯示OSD模塊103a連接，所述多個(gè)編碼器102a_102f還通過FPGA芯片103的引腳與圖像混合模塊103b連接，所述輸出模塊104通過FPGA芯片103的引腳與同屏顯示OSD模塊103a連接。各攝像頭模組把采集到的視頻信號(hào)轉(zhuǎn)化為時(shí)分復(fù)用的模擬信號(hào)，通過同軸電纜線傳輸?shù)教幚碇靼迳希苊饬瞬⑿袛?shù)字信號(hào)在長距離傳輸可能產(chǎn)生的串?dāng)_影響。AD芯片示意的是視頻解碼芯片，將模擬信號(hào)轉(zhuǎn)換為標(biāo)準(zhǔn)視頻格式的數(shù)字信號(hào)(比如ITU656)，方便編碼器和FPGA芯片進(jìn)行處理。每個(gè)編碼器對(duì)單幅圖像進(jìn)行測距測速等計(jì)算，將攝像頭模組生成的AV信號(hào)轉(zhuǎn)換為數(shù)字信號(hào)，輸出的視頻格式可采用ITU656或YUV422格式，編碼器由FPGA芯片進(jìn)行控制，并且將處理好的數(shù)據(jù)送到FPGA芯片上的同屏顯示OSD模塊(On Screen Display)，用于在輸出處理信息。同時(shí)各編碼器把圖像信號(hào)送到FPGA芯片的端口上，通過圖像混合模塊實(shí)現(xiàn)全景圖像的拼接，最后通過視頻輸出模塊將圖像信號(hào)和監(jiān)測數(shù)據(jù)同時(shí)通過輸出模塊進(jìn)行輸出。各攝像頭模組應(yīng)該具有視角廣、成像畸變小的特點(diǎn)。圖像質(zhì)量不宜太高，過大的數(shù)據(jù)量會(huì)嚴(yán)重影響處理的實(shí)時(shí)性。采用640*480VGA的圖像格式比較符合系統(tǒng)設(shè)計(jì)要求。本實(shí)用新型采用FPGA芯片將采集的六路視頻信號(hào)進(jìn)行處理、拼接、合成，并采用非線性融合技術(shù)以及混合相位差技術(shù)對(duì)視頻信號(hào)進(jìn)行優(yōu)化處理，并對(duì)海量信號(hào)進(jìn)行并行處理，從而確保了全景視頻的實(shí)時(shí)顯示效果。本實(shí)用新型的處理流程，主要步驟包括步驟SlOl，獲取六通道視頻，采用六個(gè)攝像頭模組來采集視頻信息。首先對(duì)每個(gè)相機(jī)進(jìn)行編號(hào)，每個(gè)相機(jī)以自己為圓心來采集視頻。在視頻采集的過程中按照時(shí)間同步來規(guī)范視頻。六個(gè)攝像頭模組的角度可調(diào)，確保采集到全景視頻，無死角。在其他實(shí)施例中，視頻采集時(shí)側(cè)面設(shè)置5臺(tái)攝像頭模組分別采集側(cè)部視頻；頂部采用一個(gè)攝像頭模組采集頂部
的視頻信息。步驟S102，視頻合成，裁剪可以分為基于光學(xué)以及基于像素分析的?；谙袼胤治龅碾m然精確度較高，但是由于其耗時(shí)的特點(diǎn)，不適于在此使用，所以采取混合相位差算法、非線性融合算法，對(duì)采集到的動(dòng)態(tài)視頻進(jìn)行實(shí)時(shí)處理，即采用基于光學(xué)裁剪的方法對(duì)六張部分全景圖進(jìn)行裁剪，然后通過邊緣平滑對(duì)邊緣部分進(jìn)行處理，合成一張全景圖。最終通過視頻編碼，將不同時(shí)間軸的紋理合成全景視頻。步驟S103，邊緣處理完以后即將視頻進(jìn)行編碼，視頻編解碼器，是指一個(gè)能夠?qū)?shù)字視頻進(jìn)行壓縮或者解壓縮的程序或者設(shè)備。通常這種壓縮屬于有損數(shù)據(jù)壓縮。歷史上，視頻信號(hào)是以模擬形式存儲(chǔ)在磁帶上的。隨著Compact Di sc的出現(xiàn)并進(jìn)入市場,音頻信號(hào)以數(shù)字化方式進(jìn)行存儲(chǔ)，視頻信號(hào)也開始使用數(shù)字化格式，一些相關(guān)技術(shù)也開始隨之發(fā)展起來。一個(gè)典型的數(shù)字視頻編解碼器的第一步是將從攝像機(jī)輸入的視頻從RGB (R、G、B分別代表紅、綠、藍(lán)三基色的分量)色度空間轉(zhuǎn)換到Y(jié)CbCr (Y代表亮度，Cb和Cr代表色差)色度空間，而且通常還伴有色度抽樣來生成4 :2:0格式的視頻(有時(shí)候在隔行掃描的情況下會(huì)采用4:2:2的抽樣方式)。轉(zhuǎn)換到Y(jié)CbCr色度空間會(huì)帶來兩點(diǎn)好處1)這樣做部分的解除了色度信號(hào)中的相關(guān)性，提高了可壓縮能力。2)這樣做將亮度信號(hào)分離出來，而亮度信號(hào)對(duì)視覺感覺是最重要的，相對(duì)來說色度信號(hào)對(duì)視覺感覺就不是那么重要，可以抽樣到較低的分辨率(4:2:0或者4:2:2)而不影響人觀看的感覺。步驟S104，通過讀取六個(gè)視頻，并對(duì)圖像幀進(jìn)行處理生成一個(gè)新的視頻序列，至此就完成了全景視頻。所述輸出模塊包括與FPGA芯片連接的VGA單元和網(wǎng)絡(luò)輸出單元，將FPGA芯片轉(zhuǎn)換的全景視頻通過VGA接口或網(wǎng)絡(luò)輸出。VGA單元通過FPGA芯片發(fā)出的視頻控制信號(hào)與顯示設(shè)備通信，網(wǎng)絡(luò)輸出單元將FPGA輸出的全景視頻通過網(wǎng)絡(luò)輸出。本實(shí)用新型實(shí)施例提供的一種全景視頻采集裝置，通過多個(gè)攝像頭模組對(duì)場景信息進(jìn)行采集，并基于FPGA對(duì)采集的場景信息進(jìn)行處理，采取混合相位差算法，非線性融合算法，實(shí)時(shí)將多路采集的獨(dú)立視頻轉(zhuǎn)換為全景視頻，通過VGA單元或網(wǎng)絡(luò)輸出，實(shí)現(xiàn)全景視頻監(jiān)控，具有實(shí)時(shí)、優(yōu)質(zhì)的顯示效果。以上所述，僅為本實(shí)用新型的具體實(shí)施方式
，但本實(shí)用新型的保護(hù)范圍并不局限于此，任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本實(shí)用新型揭露的技術(shù)范圍內(nèi)，可輕易想到變化或替換，都應(yīng)涵蓋在本實(shí)用新型的保護(hù)范圍之內(nèi)。因此，本實(shí)用新型的保護(hù)范圍應(yīng)所述以權(quán)利要求的 保護(hù)范圍為準(zhǔn)。
權(quán)利要求1.一種全景視頻采集裝置，其特征在于，包括 多個(gè)在不同方向布置的攝像頭模組、與攝像頭模組對(duì)應(yīng)的多個(gè)編碼器、FPGA芯片以及輸出模塊； 所述多個(gè)攝像頭模組分別與一個(gè)編碼器連接； 所述FPGA芯片包括同屏顯示OSD模塊和圖像混合模塊；所述圖像混合模塊與輸出模塊連接，所述多個(gè)編碼器通過FPGA芯片的引腳與同屏顯示OSD模塊連接，所述多個(gè)編碼器還通過FPGA芯片的引腳與圖像混合模塊連接，所述輸出模塊通過FPGA芯片的引腳與同屏顯示OSD模塊。
2.根據(jù)權(quán)利要求I所述的裝置，其特征在于所述多個(gè)攝像頭模組均通過同軸電纜與AD芯片連接。
3.根據(jù)權(quán)利要求I所述的裝置，其特征在于所述FPGA芯片為采取混合相位差算法、非線性融合算法，對(duì)采集到的動(dòng)態(tài)視頻進(jìn)行實(shí)時(shí)處理的FPGA芯片。
4.根據(jù)權(quán)利要求I所述的裝置，其特征在于所述攝像頭模組為可調(diào)攝像頭，為六個(gè)，分別設(shè)置于所述裝置的不同角度。
5.根據(jù)權(quán)利要求I所述的裝置，其特征在于所述輸出模塊包括與FPGA芯片連接的VGA單元和網(wǎng)絡(luò)輸出單元。
專利摘要本實(shí)用新型實(shí)施例公開了一種全景視頻采集裝置，屬于監(jiān)控領(lǐng)域。裝置包括多個(gè)在不同方向布置的攝像頭模組、與攝像頭模組對(duì)應(yīng)的多個(gè)編碼器、FPGA芯片以及輸出模塊；所述多個(gè)攝像頭模組分別與一個(gè)編碼器連接；所述FPGA芯片包括同屏顯示OSD模塊和圖像混合模塊；所述圖像混合模塊與輸出模塊連接，所述多個(gè)編碼器通過FPGA芯片的引腳與同屏顯示OSD模塊連接。本實(shí)用新型通過多個(gè)攝像頭模組對(duì)場景信息進(jìn)行采集，并基于FPGA對(duì)采集的場景信息進(jìn)行處理，采取混合相位差算法，非線性融合算法，實(shí)時(shí)將多路采集的獨(dú)立視頻轉(zhuǎn)換為全景視頻，通過VGA單元或網(wǎng)絡(luò)輸出，實(shí)現(xiàn)全景視頻監(jiān)控，具有實(shí)時(shí)、優(yōu)質(zhì)的顯示效果。
文檔編號(hào)G03B37/04GK202721763SQ201220394888
公開日2013年2月6日 申請(qǐng)日期2012年8月9日 優(yōu)先權(quán)日2012年8月9日
發(fā)明者段莉華, 趙照 申請(qǐng)人:北京博威康技術(shù)有限公司