一種多路圖像融合系統(tǒng)及圖像融合方法
【專利摘要】本發(fā)明公開一種多路圖像融合系統(tǒng)及圖像融合方法，包括有一圖像數(shù)據(jù)輸入接口模塊、一圖像數(shù)據(jù)解壓模塊、一主處理器模塊、及一系統(tǒng)電源模塊，該多路圖像數(shù)據(jù)輸入接口模塊接收外部輸入的多路圖像數(shù)據(jù)后，該圖像數(shù)據(jù)解壓模塊以多路并行工作的方式將多路圖像數(shù)據(jù)進行解壓，解壓后多路圖像數(shù)據(jù)由主處理器模塊進行完整的圖像融合，并且該主處理器模塊對外圍器件進行多路實時控制和同步通信。本發(fā)明具有多路并行的結(jié)構特點，并且基于可編程邏輯器件，因而具有處理數(shù)據(jù)帶寬高，并行處理速度快，實時性高和電路組成簡單，集成度高，功能模塊升級方便等優(yōu)點。
【專利說明】一種多路圖像融合系統(tǒng)及圖像融合方法
【技術領域】
[0001]本發(fā)明涉及一種圖像融合系統(tǒng)，特別是涉及一種多路圖像融合系統(tǒng)及圖像融合方法。
【背景技術】
[0002]圖像融合是把同一場景從不同特性、不同時間、不同分辨率傳感器獲得的多副圖像融合成一副圖像的先進圖像處理技術。
[0003]近年來，隨著半導體工藝的不斷進步，圖像傳感器的分辨率越來越高，客戶對圖像分辨率和幀頻的要求也不斷提高，為了不斷適應市場和實際應用的需要，一方面可以采用大面陣高分辨率圖像傳感器，另一方面可以將多個圖像傳感器拼接在一起組成一個大面陣圖像傳感器或者是兩方面的結(jié)合。這些技術的快速發(fā)展，導致圖像融合處理的數(shù)據(jù)量非常巨大，并且對于圖像融合系統(tǒng)的處理速度和實時的圖像融合效果提出了很高的要求。
[0004]目前的現(xiàn)有技術主要存在如下問題:
[0005](I)多路、高分辨率圖像數(shù)據(jù)傳輸和處理過程中，數(shù)據(jù)處理帶寬低、處理速度慢，并且圖像融合顯示實時性差；
[0006](2)多路圖像無縫融合中的圖像采集、處理與顯示的時序控制精度較低；
[0007](3)圖像數(shù)據(jù)緩存機制可靠性低，容易造成圖像丟幀時還原圖像不完整；
[0008](4)圖像數(shù)據(jù)源的多路圖像采集數(shù)不確定情況下，硬件系統(tǒng)結(jié)構復雜，兼容性差。
[0009]因此，迫切需要找到一種能夠進行海量圖像數(shù)據(jù)融合的基于可編程器件的高性能多路并行處理系統(tǒng)。
【發(fā)明內(nèi)容】
[0010]本發(fā)明的目的是:提供一種能夠進行海量圖像數(shù)據(jù)融合的基于可編程器件的高性能多路并行處理系統(tǒng)，解決現(xiàn)有技術中的數(shù)據(jù)處理帶寬低、速度慢，圖像顯示實時性差，硬件結(jié)構復雜，兼容性差等問題。
[0011]為實現(xiàn)上述目的，本發(fā)明提供了一種多路圖像融合系統(tǒng)，其特征在于，包括:
[0012]圖像數(shù)據(jù)輸入接口模塊，用于接收外部多路傳感器輸入的多路圖像數(shù)據(jù)；
[0013]圖像數(shù)據(jù)解壓模塊，用于將所述圖像數(shù)據(jù)輸入接口模塊傳輸?shù)乃龆嗦穲D像數(shù)據(jù)以多路并行工作的方式進行解壓；
[0014]主處理器模塊，用于控制外圍器件的啟動和運行，并將接收到的該圖像數(shù)據(jù)解壓模塊并行輸入的多路圖像數(shù)據(jù)進行圖像數(shù)據(jù)融合；
[0015]系統(tǒng)電源模塊，用于提供系統(tǒng)所需電源。
[0016]上述多路圖像融合系統(tǒng)，其特征在于，還進一步包括:
[0017]圖像數(shù)據(jù)存儲模塊，所述圖像數(shù)據(jù)存儲模塊采用FPGA外掛大容量RAM緩存模塊的方式存儲所述圖像數(shù)據(jù)。
[0018]上述多路圖像融合系統(tǒng)，其特征在于，還進一步包括:
[0019]圖像數(shù)據(jù)顯示模塊，用于所述系統(tǒng)主處理器模塊融合拼接后的所述圖像數(shù)據(jù)的顯不輸出。
[0020]上述所述的多路圖像融合系統(tǒng)，其特征在于，還進一步包括:
[0021]系統(tǒng)程序加載模塊，用于存儲并加載所述系統(tǒng)主處理器模塊的配置文件。
[0022]上述多路圖像融合系統(tǒng)，其特征在于，所述圖像數(shù)據(jù)解壓模塊進一步包括:多個圖像數(shù)據(jù)解壓子模塊，多個該圖像數(shù)據(jù)解壓子模塊并行工作，且功能相同。
[0023]上述多路圖像融合系統(tǒng)，其特征在于，所述圖像數(shù)據(jù)解壓子模塊選用處理芯片為專用圖像解壓芯片或者可編程器件。
[0024]上述多路圖像融合系統(tǒng)，其特征在于，所述圖像數(shù)據(jù)顯示模塊由專用的ASIC芯片來完成圖像顯示，該ASIC芯片控制由FPGA實現(xiàn)。
[0025]上述多路圖像融合系統(tǒng)，其特征在于，所述系統(tǒng)主處理器模塊進一步包括:
[0026]同步通信模塊，用于實時監(jiān)測外部多路圖像數(shù)據(jù)的輸入，實時啟動所述圖像數(shù)據(jù)輸入接口模塊和所述圖像數(shù)據(jù)解壓模塊，完成同步通信；
[0027]主處理器圖像數(shù)據(jù)緩存模塊，作為所述主處理器內(nèi)部小容量存儲器以臨時存放少量圖像數(shù)據(jù)；
[0028]存儲器控制模塊，用于控制所述主處理器圖像數(shù)據(jù)緩存模塊將暫存的所述多路圖像數(shù)據(jù)以一幀完整圖像數(shù)據(jù)儲存到所述圖像數(shù)據(jù)存儲模塊，主處理器在存儲多路圖像數(shù)據(jù)時，將每路圖像數(shù)據(jù)存儲為兩份，其中一份用于后續(xù)的圖像融合，另一份作為備份；
[0029]圖像邊緣檢測模塊，用于對存儲在所述圖像數(shù)據(jù)存儲模塊的所述完整圖像數(shù)據(jù)，進行相鄰圖像模塊的邊緣部分檢測；
[0030]圖像融合模塊，用于將經(jīng)邊緣檢測后的所述圖像數(shù)據(jù)進行融合拼接；
[0031]圖像顯示控制模塊，用于完成圖像融合后的所述完整圖像數(shù)據(jù)的格式顯示控制。
[0032]上述多路圖像融合系統(tǒng)，其特征在于，所述圖像邊緣檢測模塊和所述圖像融合模塊由FPGA編程實現(xiàn)。
[0033]上述多路圖像融合系統(tǒng)，其特征在于，所述圖像顯示控制模塊由FPGA編程實現(xiàn)，以兼容多種圖像輸出接口。
[0034]本發(fā)明還提供了一種多路圖像融合系統(tǒng)的圖像融合方法，所述多路圖像融合系統(tǒng)包括圖像數(shù)據(jù)接口模塊、圖像數(shù)據(jù)解壓模塊及系統(tǒng)主處理器模塊，其特征在于，所述方法包括:
[0035]圖像數(shù)據(jù)輸入步驟，用于通過所述多路圖像數(shù)據(jù)接口模塊接收從外部傳感器輸入的多路圖像數(shù)據(jù)；
[0036]圖像數(shù)據(jù)解壓步驟，用于通過所述圖像數(shù)據(jù)解壓模塊以多路并行工作的方式將所述的多路圖像數(shù)據(jù)進行解壓；
[0037]圖像主控制處理步驟，用于通過所述系統(tǒng)主處理器模塊將所述圖像數(shù)據(jù)解壓模塊解壓后的多路圖像數(shù)據(jù)進行圖像融合處理。
[0038]上述多路圖像融合方法，其特征在于，進一步包括:
[0039]圖像數(shù)據(jù)存儲步驟，用于通過FPGA外掛大容量RAM緩存模塊的方式存儲所述圖像數(shù)據(jù)。
[0040]上述多路圖像融合方法，其特征在于，進一步包括:
[0041]圖像數(shù)據(jù)顯示步驟，用于所述系統(tǒng)主處理器模塊融合拼接后的所述圖像數(shù)據(jù)的顯不輸出。
[0042]上述多路圖像融合方法，其特征在于，還進一步包括:
[0043]系統(tǒng)程序加載步驟，用于存儲并加載所述系統(tǒng)主處理器模塊的配置文件。
[0044]上述多路圖像融合方法，其特征在于，所述圖像主控制處理步驟，進一步包括:
[0045]同步通信步驟，用于實時監(jiān)測外部多路圖像數(shù)據(jù)的輸入，實時啟動所述圖像數(shù)據(jù)輸入接口模塊和所述圖像數(shù)據(jù)解壓模塊，完成同步通信；
[0046]主處理器圖像數(shù)據(jù)緩存步驟，作為通過所述主處理器內(nèi)部小容量存儲器臨時存放少量圖像數(shù)據(jù)；
[0047]存儲器控制步驟，用于控制所述主處理器圖像數(shù)據(jù)緩存模塊將暫存的所述多路圖像數(shù)據(jù)以一幀完整圖像數(shù)據(jù)儲存到所述圖像數(shù)據(jù)存儲模塊，在存儲多路圖像數(shù)據(jù)時，將每路圖像數(shù)據(jù)存儲為兩份，其中一份用于后續(xù)的圖像融合，另一份作為備份；
[0048]圖像邊緣檢測步驟，用于對存儲在所述圖像數(shù)據(jù)存儲模塊的所述完整圖像數(shù)據(jù)，進行相鄰圖像模塊的邊緣部分檢測；
[0049]圖像融合步驟，用于將經(jīng)邊緣檢測后的所述圖像數(shù)據(jù)進行融合拼接；
[0050]圖像顯示控制步驟，用于完成圖像融合后的所述完整圖像數(shù)據(jù)的格式顯示控制。
[0051]上述多路圖像融合方法，其特征在于，所述圖像邊緣檢測步驟，進一步包括:
[0052]步驟1，對輸入的多路圖像數(shù)據(jù)作預判，確定多路圖像數(shù)據(jù)在一幀圖像中的位置；
[0053]步驟2，統(tǒng)計相鄰的兩路圖像數(shù)據(jù)邊緣處的行或列的統(tǒng)計量；
[0054]步驟3，計算所述兩個行或列的統(tǒng)計量的差值，再除以所述兩行或列的統(tǒng)計量之和，此值與設定的閾值比較，小于閾值說明找到了圖像的邊緣，大于或等于閾值說明未找到相鄰的圖像邊緣；
[0055]步驟4，重復執(zhí)行步驟3，直到找到兩相鄰的圖像邊緣，在顯示圖像時將其融合拼接;
[0056]步驟5，若在設定的重復查找次數(shù)內(nèi)，仍未找到滿足閾值的圖像邊緣，說明圖像邊緣有圖像丟失，則調(diào)用存儲在所述圖像數(shù)據(jù)存儲模塊中對應位置的備份圖像數(shù)據(jù)填補遺失的圖像數(shù)據(jù)，重復執(zhí)行步驟I，直到檢測所有相鄰的圖像邊緣。
[0057]與現(xiàn)有技術相比，本發(fā)明的有益效果在于:
[0058](I)數(shù)據(jù)處理帶寬高:多路圖像的并行接收與解壓采用多個功能子模塊并行執(zhí)行，處理效率聞，滿足多路超聞清，聞巾貞頻圖像處理的需要；
[0059](2)控制精度高:多路圖像無縫融合中的并行圖像采集、處理與顯示的時序控制精度高；
[0060](3)可靠性高:圖像緩存時采用高可靠的多路圖像數(shù)據(jù)備份的方法，提高了圖像融合和顯示可靠性。
[0061](4)集成度高:采用可編程邏輯器件來實現(xiàn)圖像緩存和拼接，簡化了電路的組成，集成度高，功能模塊升級方便。
【專利附圖】
【附圖說明】
[0062]圖1是整個系統(tǒng)各個模塊連接原理框圖；
[0063]圖2是系統(tǒng)主處理器模塊內(nèi)部結(jié)構框圖；
[0064]圖3是外部大容量存儲器模塊中存儲資源的分配情況；
[0065]圖4是多路圖像融合方法步驟；
[0066]圖5是主處理器步驟；
[0067]圖6是圖像邊緣檢測的步驟。
[0068]其中，附圖標記:
[0069]10多路圖像數(shù)據(jù)輸入接口模塊
[0070]20圖像數(shù)據(jù)解壓模塊
[0071]30系統(tǒng)主處理器模塊
[0072]31同步通信模塊
[0073]32主處理器圖像數(shù)據(jù)緩存模塊
[0074]33存儲器控制模塊
[0075]34圖像邊緣檢測模塊
[0076]35圖像融合模塊
[0077]36圖像顯示控制模塊
[0078]40圖像數(shù)據(jù)存儲模塊
[0079]41圖像數(shù)據(jù)存儲模塊A
[0080]42圖像數(shù)據(jù)存儲模塊B
[0081]43圖像數(shù)據(jù)備份模塊
[0082]50圖像數(shù)據(jù)顯示模塊
[0083]60系統(tǒng)程序加載模塊
[0084]70系統(tǒng)電源模塊
[0085]S409?S450、S510?560、S610?S650:本發(fā)明各實施例的施行步驟
【具體實施方式】
[0086]以下結(jié)合附圖和具體實施例對本發(fā)明進行詳細描述，但不作為對本發(fā)明的限定。
[0087]關于本發(fā)明的具體實施例，請參考圖1所示，其包括有一多路圖像數(shù)據(jù)輸入接口模塊10、一圖像數(shù)據(jù)解壓模塊20，一系統(tǒng)主處理器模塊30，圖像數(shù)據(jù)存儲模塊40、一圖像數(shù)據(jù)顯不模塊50、一系統(tǒng)程序加載模塊60、一系統(tǒng)電源模塊70。
[0088]該多路圖像數(shù)據(jù)輸入接口模塊10，接收外部輸入的多路壓縮圖像數(shù)據(jù)，將輸入的壓縮圖像數(shù)據(jù)并行傳輸給圖像數(shù)據(jù)解壓模塊20。
[0089]進一步地，上述多路圖像數(shù)據(jù)輸入接口模塊10的輸入接口可以實現(xiàn)千兆以太網(wǎng)口，無線輸入口，光纖傳輸?shù)?，并且上述多路圖像數(shù)據(jù)輸入接口模塊10可以采用專用SOC芯片實現(xiàn)。
[0090]圖像數(shù)據(jù)解壓模塊20，包括多個功能相同的子模塊來完成解壓，多個圖像數(shù)據(jù)解壓子模塊并行工作，并行處理多路輸入的圖像數(shù)據(jù)，解壓后的圖像數(shù)據(jù)并行輸入到主處理器模塊30。
[0091]進一步地，上述的圖像數(shù)據(jù)解壓模塊20，采用專用圖像解壓集成芯片或者采用可靈活配置的DSP、FPGA等芯片編程實現(xiàn)，采用可編程器件來解壓增強了系統(tǒng)的靈活性，以滿足各種不同編碼格式的需要。
[0092]請參考圖2所示，系統(tǒng)主處理器模塊30，作為系統(tǒng)的核心主要完成對外圍器件的啟動與同步通信，以及多路圖像的融合工作。請參考圖2所示，系統(tǒng)主處理器模塊30內(nèi)部包括六個子模塊:同步通信模塊31，主處理器圖像數(shù)據(jù)緩存模塊32，存儲器控制模塊33，圖像邊緣檢測模塊34，圖像融合模塊35，圖像顯示控制器模塊36。
[0093]進一步地，上述同步通信模塊31實時監(jiān)測外部多路數(shù)據(jù)的輸入情況，對于上述多路圖像數(shù)據(jù)輸入接口模塊10的每個接口進行監(jiān)測，當某路有數(shù)據(jù)包傳入時實時啟動上述圖像數(shù)據(jù)解壓模塊20中相應的解壓子模塊進行解壓，解壓數(shù)據(jù)先暫存到主處理器模塊內(nèi)部的上述主處理器圖像數(shù)據(jù)緩存模塊32，然后在上述存儲器控制模塊33的控制下儲存到外部的圖像數(shù)據(jù)存儲模塊40。多路圖像的融合工作主要在上述圖像融合模塊35和上述圖像邊緣檢測模塊34配合下完成。
[0094]進一步地，上述圖像邊緣檢測模塊34主要是完成多路圖像中相鄰的兩個圖像模塊的邊緣部分的檢測。圖像融合的主要目的就是讓兩相鄰的圖像在融合時，圖像邊緣緊密銜接，既不出現(xiàn)圖像邊緣斷裂也不出現(xiàn)圖像邊緣重疊。
[0095]進一步地，上述圖像邊緣檢測模塊34和上述圖像融合模塊35，采用FPGA編程實現(xiàn)。輸入的多路圖像信號中，場景中相鄰的兩路圖像在邊緣部分可能有重疊區(qū)域，在上述圖像邊緣檢測模塊34中檢測出重疊區(qū)域，在圖像融合時將重疊區(qū)域合并?；蛘呦噜張D像邊緣有微小遺失時可以用相鄰的數(shù)據(jù)替代，而當圖像邊緣數(shù)據(jù)出現(xiàn)較顯著丟失時就到備份圖像數(shù)據(jù)的存儲器中讀取相應部位的圖像數(shù)據(jù)來填補缺失的圖像數(shù)據(jù)，因此對于多路圖像數(shù)據(jù)的備份需要實時更新，保證備份存儲器中存儲的是上一幀圖像數(shù)據(jù)。
[0096]進一步地，上述圖像顯示控制器模塊36采用FPGA編程實現(xiàn)，由于FPGA具有靈活的重構性，上述圖像顯示控制器模塊36可以設計為多種圖像輸出接口，在主處理器模塊外圍配置相應的視頻接口芯片就可顯示需要的圖像格式，例如:HDM1、VGA等。
[0097]圖像數(shù)據(jù)存儲模塊40，請參考圖3所示，包括:圖像數(shù)據(jù)存儲模塊A41，圖像數(shù)據(jù)存儲模塊B42，圖像數(shù)據(jù)備份模塊43。在緩存圖像數(shù)據(jù)時采用乒乓操作結(jié)構，即兩個大容量存儲器模塊A、B中一個存儲器負責寫入，一個存儲器負責讀出，在處理下一幀圖像時，兩個存儲器交換讀寫功能，剛才負責圖像數(shù)據(jù)寫入的存儲器此刻負責圖像數(shù)據(jù)的讀出、剛才負責圖像數(shù)據(jù)讀出的存儲器此刻負責圖像數(shù)據(jù)的寫入、以此循環(huán)完成圖像的連續(xù)處理。圖像數(shù)據(jù)備份模塊實時更新最后一幀圖像數(shù)據(jù)，以備圖像數(shù)據(jù)缺失或者幀丟失時用來代替。
[0098]進一步地，上述的圖像數(shù)據(jù)存儲模塊40在存儲多路圖像時，采用大容量的緩存模塊將每路圖像數(shù)據(jù)存儲兩份，其中一份用于后續(xù)的圖像融合，另一份作為備份，當某路在傳輸過程中出現(xiàn)數(shù)據(jù)丟失時，使用備份數(shù)據(jù)填補，備份數(shù)據(jù)實時更新。對于超高分辨率的圖像數(shù)據(jù)可以使用FPGA外掛大容量的RAM實現(xiàn)。
[0099]圖像數(shù)據(jù)顯示模塊50，該模塊由專用的ASIC芯片完成，針對圖像格式的需要，選用相應的芯片模塊，包括:VGA接口芯片，HDMI接口芯片等。
[0100]系統(tǒng)程序加載模塊60，用于存儲并加載系統(tǒng)中可編程器件的配置文件，包括:主處理器模塊30的配置文件。該模塊采用FPGA器件完成。
[0101]系統(tǒng)電源模塊70，提供系統(tǒng)中各個功能模塊所需的電源供應。
[0102]請參考圖4所示，本發(fā)明還提出了一種多路圖像融合系統(tǒng)的圖像融合方法，其特征在于，包括:
[0103]步驟S409，存儲并加載系統(tǒng)主處理器模塊的配置文件；
[0104]步驟S410，通過多路圖像數(shù)據(jù)接口模塊接收從外部傳感器輸入的多路圖像數(shù)據(jù)；
[0105]步驟S420，通過圖像數(shù)據(jù)解壓模塊以多路并行工作的方式將多路圖像數(shù)據(jù)進行解壓；
[0106]步驟S430，通過系統(tǒng)主處理器模塊將圖像數(shù)據(jù)解壓模塊解壓后的多路圖像數(shù)據(jù)進行圖像融合處理；
[0107]步驟S440，通過FPGA外掛大容量RAM緩存模塊的方式存儲圖像數(shù)據(jù)；
[0108]步驟S450，系統(tǒng)主處理器模塊融合拼接后的圖像數(shù)據(jù)的顯示輸出。
[0109]其中步驟S430，請參考圖5所示，主處理器模塊的步驟，進一步包括:
[0110]步驟S510，實時監(jiān)測外部多路圖像數(shù)據(jù)的輸入，實時啟動圖像數(shù)據(jù)輸入接口模塊和圖像數(shù)據(jù)解壓模塊，完成同步通信；
[0111]步驟S520，通過主處理器內(nèi)部小容量存儲器臨時存放少量圖像數(shù)據(jù)；
[0112]步驟S530，控制主處理器圖像數(shù)據(jù)緩存模塊將暫存的多路圖像數(shù)據(jù)以一幀完整圖像數(shù)據(jù)儲存到圖像數(shù)據(jù)存儲模塊，執(zhí)行步驟S440，在存儲多路圖像數(shù)據(jù)時，將每路圖像數(shù)據(jù)存儲為兩份，其中一份用于后續(xù)的圖像融合，另一份作為備份；
[0113]步驟S540，對存儲在圖像數(shù)據(jù)存儲模塊的完整圖像數(shù)據(jù)，進行相鄰圖像模塊的邊緣部分檢測；
[0114]步驟S550，將經(jīng)邊緣檢測后的圖像數(shù)據(jù)進行融合拼接；
[0115]步驟S560，完成圖像融合后的完整圖像數(shù)據(jù)的格式顯示控制，執(zhí)行步驟S450。
[0116]其中，圖像邊緣檢測步驟S540，請參考圖6所示，進一步包括:
[0117]步驟S610，對輸入的多路圖像數(shù)據(jù)作預判，確定多路圖像數(shù)據(jù)在一幀圖像中的位置；
[0118]步驟620，統(tǒng)計相鄰的兩路圖像數(shù)據(jù)邊緣處的行或列的統(tǒng)計量；
[0119]步驟630，計算兩個行或列的統(tǒng)計量的差值，再除以兩行或列的統(tǒng)計量之和，此值與設定的閾值比較，小于閾值說明找到了圖像的邊緣，大于或等于閾值說明未找到相鄰的圖像邊緣；
[0120]步驟640，重復執(zhí)行步驟630，直到找到兩相鄰的圖像邊緣，在顯示圖像時將其融合拼接，執(zhí)行步驟S550 ；
[0121]步驟650，若在設定的重復查找次數(shù)內(nèi)，仍未找到滿足閾值的圖像邊緣，說明圖像邊緣有圖像丟失，則調(diào)用存儲在所述圖像數(shù)據(jù)存儲模塊中對應位置的備份圖像數(shù)據(jù)填補遺失的圖像數(shù)據(jù)，重復執(zhí)行步驟610，直到檢測所有相鄰的圖像邊緣。
[0122]當然，本發(fā)明還可有其它多種實施例，在不背離本發(fā)明精神及其實質(zhì)的情況下，熟悉本領域的技術人員當可根據(jù)本發(fā)明做出各種相應的改變和變形，但這些相應的改變和變形都應屬于本發(fā)明所附的權利要求的保護范圍。
【權利要求】
1.一種多路圖像融合系統(tǒng)，其特征在于，包括: 圖像數(shù)據(jù)輸入接口模塊，用于接收外部多路傳感器輸入的多路圖像數(shù)據(jù)； 圖像數(shù)據(jù)解壓模塊，用于將所述圖像數(shù)據(jù)輸入接口模塊傳輸?shù)乃龆嗦穲D像數(shù)據(jù)以多路并行工作的方式進行解壓； 主處理器模塊，用于控制外圍器件的啟動和運行，并將接收到的該圖像數(shù)據(jù)解壓模塊并行輸入的多路圖像數(shù)據(jù)進行圖像數(shù)據(jù)融合； 系統(tǒng)電源模塊，用于提供系統(tǒng)所需電源。
2.根據(jù)權利要求1所述的多路圖像融合系統(tǒng)，其特征在于，還進一步包括: 圖像數(shù)據(jù)存儲模塊，所述圖像數(shù)據(jù)存儲模塊采用外掛大容量緩存模塊的方式存儲所述圖像數(shù)據(jù)。
3.根據(jù)權利要求1或2所述的多路圖像融合系統(tǒng)，其特征在于，還進一步包括: 圖像數(shù)據(jù)顯示模塊，用于所述系統(tǒng)主處理器模塊融合拼接后的所述圖像數(shù)據(jù)的顯示輸出。
4.根據(jù)權利要求3所述的多路圖像融合系統(tǒng)，其特征在于，還進一步包括: 系統(tǒng)程序加載模塊，用于存儲并加載所述系統(tǒng)主處理器模塊的配置文件。
5.如權利要求1所述的多路圖像融合系統(tǒng)，其特征在于，所述圖像數(shù)據(jù)解壓模塊進一步包括:多個圖像數(shù)據(jù)解壓子模塊，多個該圖像數(shù)據(jù)解壓子模塊并行工作，且功能相同。
6.如權利要求1所述的多路圖像融合系統(tǒng)，其特征在于，所述圖像數(shù)據(jù)解壓子模塊選用處理芯片為專用圖像解壓芯片或者可編程器件。
7.如權利要求3所述的多路圖像融合系統(tǒng)，其特征在于，所述圖像數(shù)據(jù)顯示模塊由專用的芯片來完成圖像顯示，該八31(:芯片控制由？？以實現(xiàn)。
8.如權利要求3所述的多路圖像融合系統(tǒng)，其特征在于，所述系統(tǒng)主處理器模塊進一步包括: 同步通信模塊，用于實時監(jiān)測外部多路圖像數(shù)據(jù)的輸入，實時啟動所述圖像數(shù)據(jù)輸入接口模塊和所述圖像數(shù)據(jù)解壓模塊，完成同步通信； 主處理器圖像數(shù)據(jù)緩存模塊，作為所述主處理器內(nèi)部小容量存儲器以臨時存放少量圖像數(shù)據(jù)； 存儲器控制模塊，用于控制所述主處理器圖像數(shù)據(jù)緩存模塊將暫存的所述多路圖像數(shù)據(jù)以一幀完整圖像數(shù)據(jù)儲存到所述圖像數(shù)據(jù)存儲模塊，主處理器在存儲多路圖像數(shù)據(jù)時，將每路圖像數(shù)據(jù)存儲為兩份，其中一份用于后續(xù)的圖像融合，另一份作為備份； 圖像邊緣檢測模塊，用于對存儲在所述圖像數(shù)據(jù)存儲模塊的所述完整圖像數(shù)據(jù)，進行相鄰圖像模塊的邊緣部分檢測； 圖像融合模塊，用于將經(jīng)邊緣檢測后的所述圖像數(shù)據(jù)進行融合拼接； 圖像顯示控制模塊，用于完成圖像融合后的所述完整圖像數(shù)據(jù)的格式顯示控制。
9.如權利要求8所述的多路圖像融合系統(tǒng)，其特征在于，所述圖像邊緣檢測模塊和所述圖像融合模塊由編程實現(xiàn)。
10.如權利要求8所述的多路圖像融合系統(tǒng)，其特征在于，所述圖像顯示控制模塊由？？以編程實現(xiàn)，以兼容多種圖像輸出接口。
11.一種權利要求1-10中任一項所述的多路圖像融合系統(tǒng)的圖像融合方法，所述多路圖像融合系統(tǒng)包括圖像數(shù)據(jù)接口模塊、圖像數(shù)據(jù)解壓模塊及系統(tǒng)主處理器模塊，其特征在于，所述方法包括: 圖像數(shù)據(jù)輸入步驟，用于通過所述多路圖像數(shù)據(jù)接口模塊接收從外部傳感器輸入的多路圖像數(shù)據(jù)； 圖像數(shù)據(jù)解壓步驟，用于通過所述圖像數(shù)據(jù)解壓模塊以多路并行工作的方式將所述的多路圖像數(shù)據(jù)進行解壓； 圖像主控制處理步驟，用于通過所述系統(tǒng)主處理器模塊將所述圖像數(shù)據(jù)解壓模塊解壓后的多路圖像數(shù)據(jù)進行圖像融合處理。
12.根據(jù)權利要求11所述多路圖像融合方法，其特征在于，進一步包括: 圖像數(shù)據(jù)存儲步驟，用于通過外掛大容量狀1緩存模塊的方式存儲所述圖像數(shù)據(jù)。
13.根據(jù)權利要求11或12所述多路圖像融合方法，其特征在于，進一步包括: 圖像數(shù)據(jù)顯示步驟，用于所述系統(tǒng)主處理器模塊融合拼接后的所述圖像數(shù)據(jù)的顯示輸出。
14.根據(jù)權利要求13所述多路圖像融合方法，其特征在于，還進一步包括: 系統(tǒng)程序加載步驟，用于存儲并加載所述系統(tǒng)主處理器模塊的配置文件。
15.如權利要求13所述的多路圖像融合方法，其特征在于，所述圖像主控制處理步驟，進一步包括: 同步通信步驟，用于實時監(jiān)測外部多路圖像數(shù)據(jù)的輸入，實時啟動所述圖像數(shù)據(jù)輸入接口模塊和所述圖像數(shù)據(jù)解壓模塊，完成同步通信； 主處理器圖像數(shù)據(jù)緩存步驟，作為通過所述主處理器內(nèi)部小容量存儲器臨時存放少量圖像數(shù)據(jù)； 存儲器控制步驟，用于控制所述主處理器圖像數(shù)據(jù)緩存模塊將暫存的所述多路圖像數(shù)據(jù)以一幀完整圖像數(shù)據(jù)儲存到所述圖像數(shù)據(jù)存儲模塊，在存儲多路圖像數(shù)據(jù)時，將每路圖像數(shù)據(jù)存儲為兩份，其中一份用于后續(xù)的圖像融合，另一份作為備份； 圖像邊緣檢測步驟，用于對存儲在所述圖像數(shù)據(jù)存儲模塊的所述完整圖像數(shù)據(jù)，進行相鄰圖像模塊的邊緣部分檢測； 圖像融合步驟，用于將經(jīng)邊緣檢測后的所述圖像數(shù)據(jù)進行融合拼接； 圖像顯示控制步驟，用于完成圖像融合后的所述完整圖像數(shù)據(jù)的格式顯示控制。
16.根據(jù)權利要求15所述多路圖像融合方法，其特征在于，所述圖像邊緣檢測步驟，進一步包括: 步驟1，對輸入的多路圖像數(shù)據(jù)作預判，確定多路圖像數(shù)據(jù)在一幀圖像中的位置； 步驟2，統(tǒng)計相鄰的兩路圖像數(shù)據(jù)邊緣處的行或列的統(tǒng)計量； 步驟3，計算所述兩個行或列的統(tǒng)計量的差值，再除以所述兩行或列的統(tǒng)計量之和，此值與設定的閾值比較，小于閾值說明找到了圖像的邊緣，大于或等于閾值說明未找到相鄰的圖像邊緣；步驟4，重復執(zhí)行步驟3，直到找到兩相鄰的圖像邊緣，在顯示圖像時將其融合拼接；步驟5，若在設定的重復查找次數(shù)內(nèi)，仍未找到滿足閾值的圖像邊緣，說明圖像邊緣有圖像丟失，則調(diào)用存儲在所述圖像數(shù)據(jù)存儲模塊中對應位置的備份圖像數(shù)據(jù)填補遺失的圖像數(shù)據(jù)，重復執(zhí)行步驟1，直到檢測所有相鄰的圖像邊緣。
【文檔編號】G06T5/50GK104424627SQ201310379468
【公開日】2015年3月18日 申請日期:2013年8月27日 優(yōu)先權日:2013年8月27日
【發(fā)明者】劉攀, 蘇威積, 林秀春, 裴彥杰, 肖鵬, 鐘松延, 張力, 鄧超, 黃敏君, 杜麗, 孟飛, 董一伯, 董博, 趙薇, 牛坤, 張健, 劉雨睿, 王東東, 張春杰, 黃傳鶴 申請人:北京計算機技術及應用研究所, 北京航天愛威電子技術有限公司