專利名稱：一種基于sopc的雙路視頻融合處理裝置及其融合方法
技術領域：
本發(fā)明涉及一種基于SOPC ( System-on-a-Programmable-Chip)的雙路視頻融合處理裝置及其融合方法，特別是對于紫外相機視頻信號及背景視頻信號融合的處理系統(tǒng)。
背景技術：
通過不同波段的攝像機對同一場景拍攝獲得的視頻信息具有一定的相關性和互補性，將兩路視頻信號經(jīng)過圖像融合技術獲得一路視頻信號，則能夠保存更多的信息，對圖像源的特征有更精準和全面的認識。雙路視頻融合的處理技術可以用于科學研究、工農(nóng)業(yè)生產(chǎn)、軍事技術、醫(yī)療衛(wèi)生等領域。在軍事領域中的應用主要有海防監(jiān)控、目標識別、雙波段成像制導等。在高壓電路傳輸、變電站和配電系統(tǒng)的檢測方面，可以使用可見光和紫外雙波段的視頻信號融合來檢測系統(tǒng)的運行狀態(tài)。專利文件“基于A R M和D S P異構雙核處理器的圖像融合系統(tǒng)和方法”(專利號200910196270)提供了一種了采用 A RM (Advanced RISC Machines)和 DSP (digital signal processor)雙核處理的方式，通過ARM調(diào)用D S P的嵌入式系統(tǒng)來共同完成圖像融合，其缺點是使用較多的處理器內(nèi)核，功耗比較大，電路板布局比較復雜，成本較高。

發(fā)明內(nèi)容
本發(fā)明為解決使用ARM、DSP雙核處理功耗大、電路板布局復雜、成本高等技術問題提供一種基于SOPC的雙路視頻融合處理裝置及其融合方法。本發(fā)明解決上述技術問題的技術方案如下一種基于SOPC的雙路視頻融合裝置， 包括第一 A/D轉(zhuǎn)換器、第二 A/D轉(zhuǎn)換器、可編程芯片系統(tǒng)和顯示設備，
所述第一 A/D轉(zhuǎn)換器的輸入端與所述紫外相機的輸出端連接，所述第一 A/D轉(zhuǎn)換器的輸出端與所述可編程芯片系統(tǒng)連接，用于將接收的模擬視頻信號轉(zhuǎn)化為數(shù)字視頻信號，并將其發(fā)送至所述可編程芯片系統(tǒng)；
所述第二 A/D轉(zhuǎn)換器的輸入端與可見光相機的輸出端連接，其輸出端與所述可編程芯片系統(tǒng)連接，用于將接收的模擬視頻信號轉(zhuǎn)化為數(shù)字視頻信號，并將其發(fā)送至所述可編程芯片系統(tǒng)；
所述可編程芯片系統(tǒng)，由FPGA芯片及及其外圍電路組成，用于將所接收的所述第一 A/ D轉(zhuǎn)換器、所述第二 A/D轉(zhuǎn)換器傳輸?shù)臄?shù)字視頻信號、進行融合、字幕疊加后發(fā)送至所述顯不設備顯不。進一步的，所述可編程芯片系統(tǒng)包括閾值分割模塊、圖像存儲模塊、圖像融合模塊、字幕疊加和進程控制模塊、以及圖像顯示模塊，
所述閾值分割模塊，用于根據(jù)設定的閾值、將接收的所述第一 A/D轉(zhuǎn)換器發(fā)送的數(shù)字視頻信號分割為0和1的二值圖像信息，并將其存儲到圖像存儲模塊；
所述圖像融合模塊，將所述二值圖像信息與所述第二 A/D轉(zhuǎn)換器發(fā)送的數(shù)字視頻信號，依據(jù)選定的圖像融合算法，融合為一路視頻信號，并將其發(fā)送至所述字幕疊加和進程控
4制模塊；
所述字幕疊加和進程控制模塊，用于控制所述可編程芯片系統(tǒng)的運行狀態(tài)、以及將字幕疊加到所述圖像融合模塊發(fā)送的視頻信號上，并將其發(fā)送至所述圖像顯示模塊；
所述圖像顯示模塊，用于將所述字幕疊加和進程控制模塊發(fā)送的視頻信號轉(zhuǎn)換為模擬視頻信號，并將其發(fā)送至所述顯示設備顯示。進一步的，還包括與字幕疊加和進程控制模塊連接的輸入模塊，用于輸入字幕的顏色或圖像的顏色或其他控制信息，實現(xiàn)人機交互。一種通過權利要求1至3任一項所述的基于SOPC的雙路視頻融合裝置實現(xiàn)的雙路視頻融合方法，包括以下步驟
步驟1 所述第一 A/D轉(zhuǎn)換器將所述紫外相機輸出的模擬視頻信號轉(zhuǎn)換為數(shù)字視頻信號并傳輸至所述可編程芯片系統(tǒng)，同時，所述第二 A/D轉(zhuǎn)換器將所述可見光相機輸出的模擬視頻信號轉(zhuǎn)換為數(shù)字視頻信號并傳輸至所述可編程芯片系統(tǒng)；
步驟2 所述可編程芯片系統(tǒng)將所述第一 A/D轉(zhuǎn)換器傳輸?shù)臄?shù)字視頻信號和所述第二 A/D轉(zhuǎn)換器傳輸?shù)臄?shù)字視頻信號融合為一路視頻信號，并將其輸出至所述顯示設備顯示。進一步的，所述步驟2包括
步驟2. 1 所述閾值分割模塊根據(jù)設定的閾值、將接收的所述第一 A/D轉(zhuǎn)換器發(fā)送的數(shù)字視頻信號分割為0和1的二值圖像信息，并將其存儲到圖像存儲模塊；
步驟2. 2 所述圖像融合模塊，將所述二值圖像信息與所述第二 A/D轉(zhuǎn)換器發(fā)送的數(shù)字視頻信號融合為一路視頻信號，并將其發(fā)送至所述字幕疊加和進程控制模塊；
步驟2. 3 所述字幕疊加和進程控制模塊將字幕疊加到所述圖像融合模塊發(fā)送的視頻信號上，并將其發(fā)送至所述圖像顯示模塊；
步驟2. 4 所述圖像顯示模塊將所述字幕疊加和進程控制模塊發(fā)送的視頻信號轉(zhuǎn)換為模擬視頻信號，并將其發(fā)送至所述顯示設備顯示。進一步的，所述步驟2. 3中，所述字幕疊加和進程控制模塊將字幕疊加到所述圖像融合模塊發(fā)送的視頻信號上，可通過輸入模塊設置字幕的顏色，并將經(jīng)過上述處理的視頻信號發(fā)送至所述圖像顯示模塊。進一步的，所述步驟2. 2中的圖像融合算法為雙線性插值算法。本發(fā)明的有益效果是本裝置使用SOPC作為控制系統(tǒng)中心，在一片F(xiàn)PGA上完成視頻采集，圖像融合，字幕疊加等功能，結(jié)構設計緊湊，系統(tǒng)可靠性高。通用性本系統(tǒng)不僅可以用作一路黑白、一路彩色圖像的融合，也可以用作兩路黑白或兩路彩色圖像的融合，具有較好的通用性?？蓴U展性在模擬信號處理的基礎上，本裝置也可以通過擴展接口，處理數(shù)字式輸入的視頻信號，能夠在更廣泛的范圍內(nèi)使用
人機交互性本裝置加上顯示裝置和按鍵，能夠較好地實現(xiàn)人機交互，通過鍵盤控制疊加灰度圖像的顏色，和字幕的顏色等。多用途性本裝置不僅可以用在紫外成像儀中，也可以使用在有相對關系的兩路圖像的疊加上，也可以只使用一路圖像，并控制相關的設備。


圖1為本發(fā)明雙路視頻融合裝置的結(jié)構框圖； 圖2為本發(fā)明雙路視頻硬件結(jié)構框圖3為電路板系統(tǒng)電源連接圖； 圖4為本發(fā)明融合方法流程圖。
具體實施例方式以下結(jié)合附圖對本發(fā)明的原理和特征進行描述，所舉實例只用于解釋本發(fā)明，并非用于限定本發(fā)明的范圍。如圖1所示，一種基于SOPC的雙路視頻融合裝置，包括第一 A/D轉(zhuǎn)換器、第二 A/D 轉(zhuǎn)換器、可編程芯片系統(tǒng)和顯示設備，
所述第一 A/D轉(zhuǎn)換器的輸入端與所述紫外相機的輸出端連接，所述第一 A/D轉(zhuǎn)換器的輸出端與所述可編程芯片系統(tǒng)連接，用于將接收的模擬視頻信號轉(zhuǎn)化為數(shù)字視頻信號，并將其發(fā)送至所述可編程芯片系統(tǒng)；
所述第二 A/D轉(zhuǎn)換器的輸入端與可見光相機的輸出端連接，其輸出端與所述可編程芯片系統(tǒng)連接，用于將接收的模擬視頻信號轉(zhuǎn)化為數(shù)字視頻信號，并將其發(fā)送至所述可編程芯片系統(tǒng)；
所述可編程芯片系統(tǒng)，由FPGA芯片及及其外圍電路組成，用于將所接收的所述第一 A/ D轉(zhuǎn)換器、所述第二 A/D轉(zhuǎn)換器傳輸?shù)臄?shù)字視頻信號、進行融合、字幕疊加后發(fā)送至所述顯不設備顯不。所述可編程芯片系統(tǒng)包括閾值分割模塊、圖像存儲模塊、圖像融合模塊、字幕疊加和進程控制模塊、以及圖像顯示模塊，
所述閾值分割模塊，用于根據(jù)設定的閾值、將接收的所述第一 A/D轉(zhuǎn)換器發(fā)送的數(shù)字視頻信號分割為0和1的二值圖像信息，并將其存儲到圖像存儲模塊；
所述圖像融合模塊，將所述二值圖像信息與所述第二 A/D轉(zhuǎn)換器發(fā)送的數(shù)字視頻信號融合為一路視頻信號，并將其發(fā)送至所述字幕疊加和進程控制模塊；
所述字幕疊加和進程控制模塊，用于控制所述可編程芯片系統(tǒng)的運行狀態(tài)、以及將字幕疊加到所述圖像融合模塊發(fā)送的視頻信號上，并將其發(fā)送至所述圖像顯示模塊；
所述圖像顯示模塊，用于將所述字幕疊加和進程控制模塊發(fā)送的視頻信號轉(zhuǎn)換為模擬視頻信號，并將其發(fā)送至所述顯示設備顯示?？删幊绦酒到y(tǒng)還包括產(chǎn)生各個模塊所要求的工作時鐘和供電路板使用的本地同步時鐘的時鐘模塊?？删幊绦酒到y(tǒng)還包括與字幕疊加和進程控制模塊連接的輸入模塊，用于輸入字幕的顏色或圖像的顏色或其他控制信息，實現(xiàn)人機交互。如圖2所示，所述現(xiàn)場可編程門陣列FPGA芯片采用Xilinx公司Vietex-4系列的芯片，它是本系統(tǒng)硬件的核心。FPGA除了與IDT72V659S (作為圖像存儲模塊的DPRAM)以及第一 A/D轉(zhuǎn)換器、第二 A/D轉(zhuǎn)換器連接以外，還連接用鍵盤接口(本實施例中的輸入模塊采用鍵盤)和備用接口。所述FPGA芯片周圍的主要芯片有
FPGA芯片的配置芯片采用XCF32P，存儲容量為32Mbits。在FPGA中可以通過M[2:0] 選擇FPGA在上電時的配置模式，在本系統(tǒng)中使用Sbits并行的配置模式。配置芯片與FPGA在JTAG上為菊花鏈的結(jié)構。第一 A/D轉(zhuǎn)換器和第二 A/D轉(zhuǎn)換器均采用芯片ADV7180，能夠?qū)AL制式的模擬視頻信號轉(zhuǎn)化為16位的YCrCb分量的數(shù)字視頻信號，并輸出行場同步信號和時鐘信號到現(xiàn)場可編程門陣列FPGA中，這些信號將作為圖像融合模塊融合圖像的輸入信息。圖像存儲模塊采用DPRAM芯片IDT72V659S，用來緩存紫外圖像數(shù)據(jù)，并緩存字幕疊加和進程控制模塊所需要的信息。DPRAM芯片，容量為128K χ 36字節(jié)，配置成夠滿足絕大多數(shù)情況下對需要處理的圖像的容量要求。本系統(tǒng)32位連接到FPGA上，能將DPRAM的兩個端口都接入到FPGA 中，接數(shù)據(jù)線的是時候接的是按照 LD[7:0]、LD[16:9]、LD[25:18]、LD[35:27]、RD[7:0]、 RD[16:9]、RD[25:18]、RD[35:27]的方式連接的。這樣連接的原因是，DPRAM在操作的是以 9bits為一個單位進行操作的，其中的Byte Enable信號都是針對9bits設計的，但是常用的數(shù)據(jù)格式為Sbits的，在設計的時候，取9bits數(shù)據(jù)的低Sbits接到FPGA進行操作。圖像顯示模塊采用模擬信號輸出芯片采用ADV7170，它能夠?qū)PGA輸入的數(shù)字信號和FPGA輸入的行場同步信號及時鐘信號合成為PAL制式的模擬信號，送到顯示設備顯示出來。電源電路模塊由2塊開關電源變換芯片和2塊線性電源變換芯片組成，分別提供 +5V、3. 3V、1. 8V和1. 2V的電壓到信號處理電路板。圖3為電路板系統(tǒng)電源連接圖，通過PTH78060將12V的外接電源轉(zhuǎn)為3. 3V，在通過PTH04070將3. 3V轉(zhuǎn)化為1. 2V，這個是FPGA工作的內(nèi)核電壓。通過LT1963AEST-1. 8將 3. 3V 的電壓轉(zhuǎn)化為 1. 8V，為 FPGA 的 I/O 口及 ADV7180 供電。通過 LT1963AEST-2. 5 將 3. 3V 的電壓轉(zhuǎn)化為2. 5V，為FPGA的I/O提供工作電壓。在本系統(tǒng)中設計了一個電源監(jiān)控系統(tǒng)。電源監(jiān)控系統(tǒng)使用的芯片為TPS3307。該芯片可以監(jiān)控3. 3V，2. 5V以及一個可以配置的高于1. 25V的電源。在設計中中將3. 3V、2. 5V 以及1. 8V作為監(jiān)控對象。當這些電源低于預設值的時候系統(tǒng)就會復位。如圖4所示，一種通過基于SOPC的雙路視頻融合裝置實現(xiàn)的雙路視頻融合方法， 包括以下步驟
步驟1 所述第一 A/D轉(zhuǎn)換器將所述紫外相機輸出的模擬視頻信號轉(zhuǎn)換為數(shù)字視頻信號并傳輸至所述可編程芯片系統(tǒng)，同時，所述第二 A/D轉(zhuǎn)換器將所述可見光相機輸出的模擬視頻信號轉(zhuǎn)換為數(shù)字視頻信號并傳輸至所述可編程芯片系統(tǒng)；
步驟2 所述可編程芯片系統(tǒng)將所述第一 A/D轉(zhuǎn)換器傳輸?shù)臄?shù)字視頻信號和所述第二 A/D轉(zhuǎn)換器傳輸?shù)臄?shù)字視頻信號融合為一路視頻信號，并將其輸出至所述顯示設備顯示。進一步的，所述步驟2包括
步驟2. 1 所述閾值分割模塊根據(jù)設定的閾值、將接收的所述第一 A/D轉(zhuǎn)換器發(fā)送的數(shù)字視頻信號分割為0和1的二值圖像信息，并將其存儲到圖像存儲模塊；
步驟2. 2 所述圖像融合模塊，采用設定的圖像融合算法將所述二值圖像信息與所述第二 A/D轉(zhuǎn)換器發(fā)送的數(shù)字視頻信號融合為一路視頻信號，并將其發(fā)送至所述字幕疊加和進程控制模塊；所述圖像融合算法為雙線性插值算法，還可以將所述二值圖像的信息和所述第二 A/D轉(zhuǎn)換器發(fā)送的數(shù)字視頻信號疊加，也可以使用其他的視頻融合算法；
步驟2. 3 所述字幕疊加和進程控制模塊將字幕疊加到所述圖像融合模塊發(fā)送的視頻信號上，并將其發(fā)送至所述圖像顯示模塊；
步驟2. 4 所述圖像顯示模塊將所述字幕疊加和進程控制模塊發(fā)送的視頻信號轉(zhuǎn)換為模擬視頻信號，并將其發(fā)送至所述顯示設備顯示。進一步的，所述步驟2. 3中，所述字幕疊加和進程控制模塊將字幕疊加到所述圖像融合模塊發(fā)送的視頻信號上，可通過輸入模塊設置字幕的顏色，并將經(jīng)過上述處理的視頻信號發(fā)送至所述圖像顯示模塊。系統(tǒng)工作時，通過配置芯片XCF32配置FPGA，F(xiàn)PGA啟動之后，通過配置模塊和IIC 總線配置ADV7180，使其輸出8:4:4的YCrCb分量的彩色視頻信號，連接可見光相機的A/D 轉(zhuǎn)換芯片輸出彩色圖像，連接紫外相機的A/D轉(zhuǎn)換芯片輸出灰度圖像。兩路A/D轉(zhuǎn)換芯片正常工作之后，將轉(zhuǎn)換后的數(shù)字信號輸入到FPGA中，F(xiàn)PGA讀取兩視頻數(shù)據(jù)，并對由紫外相機傳輸過來的灰度圖像進行預處理，將其分割為二值圖像之后存儲在內(nèi)部RAM中。同時圖像融合模塊依據(jù)相關的參數(shù)，將處理后的二值圖像和可見光圖像融合在一起，融合處理后，通過數(shù)字轉(zhuǎn)模擬芯片轉(zhuǎn)換之后輸出視頻信號到顯示模塊上。以上所述僅為本發(fā)明的較佳實施例，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進等，均應包含在本發(fā)明的保護范圍之內(nèi)。
8
權利要求
1.一種基于SOPC的雙路視頻融合裝置，其特征在于包括第一 A/D轉(zhuǎn)換器、第二 A/D轉(zhuǎn)換器、可編程芯片系統(tǒng)和顯示設備，所述第一 A/D轉(zhuǎn)換器的輸入端與所述紫外相機的輸出端連接，所述第一 A/D轉(zhuǎn)換器的輸出端與所述可編程芯片系統(tǒng)連接，用于將接收的模擬視頻信號轉(zhuǎn)化為數(shù)字視頻信號，并將其發(fā)送至所述可編程芯片系統(tǒng)；所述第二 A/D轉(zhuǎn)換器的輸入端與可見光相機的輸出端連接，其輸出端與所述可編程芯片系統(tǒng)連接，用于將接收的模擬視頻信號轉(zhuǎn)化為數(shù)字視頻信號，并將其發(fā)送至所述可編程芯片系統(tǒng)；所述可編程芯片系統(tǒng)，由FPGA芯片及及其外圍電路組成，用于將所接收的所述第一 A/ D轉(zhuǎn)換器、所述第二 A/D轉(zhuǎn)換器傳輸?shù)臄?shù)字視頻信號、進行融合、字幕疊加后發(fā)送至所述顯不設備顯不。
2.根據(jù)權利要求1所述的基于SOPC的雙路視頻融合裝置，其特征在于所述可編程芯片系統(tǒng)包括閾值分割模塊、圖像存儲模塊、圖像融合模塊、字幕疊加和進程控制模塊、以及圖像顯示模塊，所述閾值分割模塊，用于根據(jù)設定的閾值、將接收的所述第一 A/D轉(zhuǎn)換器發(fā)送的數(shù)字視頻信號分割為0和1的二值圖像信息，并將其存儲到圖像存儲模塊；所述圖像融合模塊，將所述二值圖像信息與所述第二 A/D轉(zhuǎn)換器發(fā)送的數(shù)字視頻信號，依據(jù)選定的圖像融合算法，將兩路視頻信號融合為一路視頻信號，并將其發(fā)送至所述字幕疊加和進程控制模塊；所述字幕疊加和進程控制模塊，用于控制所述可編程芯片系統(tǒng)的運行狀態(tài)、以及將字幕疊加到所述圖像融合模塊發(fā)送的視頻信號上，并將其發(fā)送至所述圖像顯示模塊；所述圖像顯示模塊，用于將所述字幕疊加和進程控制模塊發(fā)送的視頻信號轉(zhuǎn)換為模擬視頻信號，并將其發(fā)送至所述顯示設備顯示。
3.根據(jù)權利要求2所述的基于SOPC的雙路視頻融合裝置，其特征在于還包括與字幕疊加和進程控制模塊連接的輸入模塊，用于輸入字幕的顏色或圖像的顏色或其他控制信息，實現(xiàn)人機交互。
4.一種通過權利要求1至3任一項所述的基于SOPC的雙路視頻融合裝置實現(xiàn)的雙路視頻融合方法，其特征在于包括以下步驟步驟1 所述第一 A/D轉(zhuǎn)換器將所述紫外相機輸出的模擬視頻信號轉(zhuǎn)換為數(shù)字視頻信號并傳輸至所述可編程芯片系統(tǒng)，同時，所述第二 A/D轉(zhuǎn)換器將所述可見光相機輸出的模擬視頻信號轉(zhuǎn)換為數(shù)字視頻信號并傳輸至所述可編程芯片系統(tǒng)；步驟2 所述可編程芯片系統(tǒng)將所述第一 A/D轉(zhuǎn)換器傳輸?shù)臄?shù)字視頻信號和所述第二 A/D轉(zhuǎn)換器傳輸?shù)臄?shù)字視頻信號融合為一路視頻信號，并將其輸出至所述顯示設備顯示。
5.根據(jù)權利要求4所述的雙路視頻融合方法，其特征在于所述步驟2包括步驟2. 1 所述閾值分割模塊根據(jù)設定的閾值、將接收的所述第一 A/D轉(zhuǎn)換器發(fā)送的數(shù)字視頻信號分割為0和1的二值圖像信息，并將其存儲到圖像存儲模塊；步驟2. 2 所述圖像融合模塊，將所述二值圖像信息與所述第二 A/D轉(zhuǎn)換器發(fā)送的數(shù)字視頻信號，依據(jù)相關的圖像融合算法，融合為一路視頻信號，并將其發(fā)送至所述字幕疊加和進程控制模塊；步驟2. 3 所述字幕疊加和進程控制模塊將字幕疊加到所述圖像融合模塊發(fā)送的視頻信號上，并將其發(fā)送至所述圖像顯示模塊；步驟2. 4 所述圖像顯示模塊將所述字幕疊加和進程控制模塊發(fā)送的視頻信號轉(zhuǎn)換為模擬視頻信號，并將其發(fā)送至所述顯示設備顯示。
6.根據(jù)權利要求5所述的雙路視頻融合方法，其特征在于所述步驟2.3中，所述字幕疊加和進程控制模塊將字幕疊加到所述圖像融合模塊發(fā)送的視頻信號上，可通過輸入模塊設置字幕的顏色，并將經(jīng)過上述處理的視頻信號發(fā)送至所述圖像顯示模塊。
7.根據(jù)權利要求5所述的雙路視頻融合方法，其特征在于所述步驟2.2中的圖像融合算法為雙線性插值算法。
全文摘要
本發(fā)明涉及一種基于SOPC的雙路視頻融合裝置，包括第一A/D轉(zhuǎn)換器、第二A/D轉(zhuǎn)換器、可編程芯片系統(tǒng)和顯示設備，第一A/D轉(zhuǎn)換器的輸入端與紫外相機的輸出端連接，第一A/D轉(zhuǎn)換器的輸出端與可編程芯片系統(tǒng)連接，用于將接收的模擬視頻信號轉(zhuǎn)化為數(shù)字視頻信號，并將其發(fā)送至可編程芯片系統(tǒng)；第二A/D轉(zhuǎn)換器的輸入端與可見光相機的輸出端連接，其輸出端與可編程芯片系統(tǒng)連接，用于將接收的模擬視頻信號轉(zhuǎn)化為數(shù)字視頻信號，并將其發(fā)送至可編程芯片系統(tǒng)；可編程芯片系統(tǒng)，由FPGA芯片及及其外圍電路組成，用于將所接收的第一A/D轉(zhuǎn)換器、第二A/D轉(zhuǎn)換器傳輸?shù)臄?shù)字視頻信號、進行融合、字幕疊加后發(fā)送至顯示設備顯示。本發(fā)明還涉及一種融合方法。
文檔編號H04N5/265GK102523389SQ201110417548
公開日2012年6月27日 申請日期2011年12月14日 優(yōu)先權日2011年12月14日
發(fā)明者商凱, 王建輝, 王文涵, 王斌, 金明智, 鐘勝 申請人:武漢市兌爾科技有限公司