本發(fā)明涉及一種高速實時圖像處理系統(tǒng)電路，是基于cameralink接口和雙dsp+fpga架構(gòu)的高幀頻圖像處理電路。

背景技術(shù)：

在現(xiàn)代化的戰(zhàn)爭中，圖像處理技術(shù)極大的提高了軍事戰(zhàn)斗能力，在對物體識別、目標定位、實時跟蹤、快速摧毀以及地形偵測、情報獲取等方面發(fā)揮著非常重要的作用。隨著科學技術(shù)的日新月異和信息技術(shù)的快速進步，人們對圖像處理的速度和質(zhì)量的要求愈加提高。以ccd器件作為感光器件的工業(yè)數(shù)字相機發(fā)展迅速，現(xiàn)階段ccd器件正在朝高幀頻寬視角的方向發(fā)展，其結(jié)果是數(shù)據(jù)量的不斷提升，具體體現(xiàn)在圖像像素的提升和幀頻的增加，一幀圖像的像素由幾十萬發(fā)展到幾千萬，圖像的幀頻也得到了量的提升，由幾十幀發(fā)展到上百幀，甚至幾百幀上千幀的級別。眾相機接口協(xié)議中，cameralink接口由于工作效率高、協(xié)議標準簡單、性能優(yōu)越、通信距離遠、成本低廉的優(yōu)點，在新型圖像處理系統(tǒng)中具有非常廣泛的發(fā)展空間。目前，常規(guī)的cameralink接口的圖像處理電路已經(jīng)不能滿足高速處理的要求。

技術(shù)實現(xiàn)要素：

本發(fā)明的目的在于提供一種高速實時圖像處理系統(tǒng)，用于解決上述現(xiàn)有技術(shù)的問題。

本發(fā)明一種高速實時圖像處理系統(tǒng)，其特征在于，包括：主控處理電路、圖像解碼電路、數(shù)據(jù)存儲電路、模擬顯示電路以及串口通信電路；其中主控處理電路包括：采用fpga和兩dsp，fpga用于協(xié)調(diào)控制各電路工作和圖像數(shù)據(jù)的預處理，兩dsp用于運行圖像算法；圖像解碼電路，用于將外部攝像機的圖像信息進行解碼，并發(fā)送給fpga；數(shù)據(jù)存儲電路，用于進行fpga和兩dsp的數(shù)據(jù)存儲；模擬顯示電路，用于將fpga的視頻信號輸出顯示；串口通信電路，用于fpga與外部進行串口通信；其中，fpga在激活攝像機之后，接收圖像數(shù)據(jù)，fpga的控制仲裁設(shè)定了圖像解碼數(shù)據(jù)的存儲具有最高優(yōu)先級，以保證不能丟幀；dsp芯片的接口置為第二優(yōu)先級，模擬顯示電路設(shè)為第三優(yōu)先級；在圖像存儲的行間隙和幀間隙時，響應(yīng)第二和第三優(yōu)先級的讀數(shù)據(jù)請求。

根據(jù)本發(fā)明的高速實時圖像處理系統(tǒng)的一實施例，其中，數(shù)據(jù)存儲電路包括：四顆ddr3芯片以及兩顆ddr2芯片；四顆ddr3芯片與fpga連接，分別存儲解碼后的所有幀圖像數(shù)據(jù)，其中每一組兩顆ddr3芯片內(nèi)的數(shù)據(jù)再分別提供給一個dsp和vga模擬顯示使用；另外兩顆ddr2芯片分別掛接在兩dsp上，供dsp芯片作跟蹤識別算法時暫存圖像用。

根據(jù)本發(fā)明的高速實時圖像處理系統(tǒng)的一實施例，其中，圖像解碼電路采用5片圖像解碼芯片搭配電容隔直濾波和電阻，組成視頻解碼芯片組。

根據(jù)本發(fā)明的高速實時圖像處理系統(tǒng)的一實施例，其中，模擬顯示電路包括da轉(zhuǎn)換器以及外圍電容電阻。

根據(jù)本發(fā)明的高速實時圖像處理系統(tǒng)的一實施例，其中，攝像機的信號包括：圖像數(shù)據(jù)信號、相機控制信號、串行通信信號和電源信號。

根據(jù)本發(fā)明的高速實時圖像處理系統(tǒng)的一實施例，其中，fpga向模擬顯示電路提供10位的r、g、b分量數(shù)字信號和消隱信號，轉(zhuǎn)換成模擬的三基色信號，通過d-sub電纜連接到vga顯示器的接口上；而行同步信號和場同步信號由fpga產(chǎn)生后直接接入d-sub電纜，模擬顯示電路產(chǎn)生時序匹配的行場同步以及消隱信號。

根據(jù)本發(fā)明的高速實時圖像處理系統(tǒng)的一實施例，其中，串口通信電路包含一片電平轉(zhuǎn)換芯片和一個rs62驅(qū)動芯片，rs62驅(qū)動芯片用于將ttl電平轉(zhuǎn)換為rs62電平，電平轉(zhuǎn)換芯片用于fpga與rs62驅(qū)動芯片之間的電平轉(zhuǎn)換。

根據(jù)本發(fā)明的高速實時圖像處理系統(tǒng)的一實施例，其中，fpga的型號為xc6vlx130t-2ffg1156；dsp的型號為tms320c6455。

根據(jù)本發(fā)明的高速實時圖像處理系統(tǒng)的一實施例，其中，圖像解碼電路包括5片解碼芯片，3片cameralink接口lvds至cmos/ttl轉(zhuǎn)換芯片，1片coms/ttl至lvds轉(zhuǎn)換芯片將控制信號轉(zhuǎn)換為lvds信號，1片包含coms/ttl至lvds和lvds至coms/ttl的雙向轉(zhuǎn)換芯片。

根據(jù)本發(fā)明的高速實時圖像處理系統(tǒng)的一實施例，其中，模擬視頻顯示電路選用的da轉(zhuǎn)換器的型號為adv7123jst芯片。

本發(fā)明高速實時圖像處理系統(tǒng)中，fpga是在asic中應(yīng)用比較廣泛的可編程邏輯器件，其豐富的資源和優(yōu)秀的并行處理能力對大量高速數(shù)據(jù)信號的處理比較有優(yōu)勢，dsp擅長處理結(jié)構(gòu)復雜的算法，并具有運算速度快、尋址方式靈活和通信性能強大等優(yōu)點，可以輕松處理高速信號。

附圖說明

圖1所示為本發(fā)明一種高速實時圖像處理系統(tǒng)的模塊圖；

圖2所示為一種高速實時圖像處理系統(tǒng)的硬件電路示意圖；

圖3所示為fpga數(shù)據(jù)流控制與仲裁程序控制流程圖；

圖4所示圖像解碼電路原理圖；

圖5所示為數(shù)據(jù)緩存電路示意圖；

圖6所示為模擬顯示電路示意圖；

圖7所示為串口通信電路示意圖。

具體實施方式

為使本發(fā)明的目的、內(nèi)容、和優(yōu)點更加清楚，下面結(jié)合附圖和實施例，對本發(fā)明的具體實施方式作進一步詳細描述。

圖1所示為本發(fā)明一種高速實時圖像處理系統(tǒng)的模塊圖，圖2所示為一種高速實時圖像處理系統(tǒng)的硬件電路示意圖，高速實時圖像處理系統(tǒng)包括：主控處理電路1、圖像解碼電路2、數(shù)據(jù)存儲電路3、模擬顯示電路4以及串口通信電路5。其中主控處理電路1采用fpga11兩雙dsp12和13的方式實現(xiàn)。圖像解碼電路2采用5片專用圖像解碼芯片搭配電容隔直濾波、電阻端接，組成視頻解碼芯片組21，并配合camera-link攝像機7工作。數(shù)據(jù)存儲電路3采用兩組四顆ddr3芯片31，以及兩顆ddr2芯片32和33實現(xiàn)；模擬顯示電路4采用da轉(zhuǎn)換器41配合外圍電容電阻實現(xiàn)。

如圖1以及圖2所示，主控處理電路1的fpga11作主控芯片，負責協(xié)調(diào)控制各電路工作和圖像數(shù)據(jù)的預處理，dsp12和13作主處理芯片，負責運行圖像算法。

圖3所示為fpga數(shù)據(jù)流控制與仲裁程序控制流程圖，如圖1至圖3所示，為滿足視頻實時性的要求，fpga11最重要的是完成對高幀頻數(shù)據(jù)流的控制與仲裁。fpga11在激活cameralink攝像機之后便會收到大量圖像數(shù)據(jù)，一方面，fpga11需要整合解碼數(shù)據(jù)，提取圖像數(shù)據(jù)和控制信息，并將圖像幀行列像素點及時寫入ddr3芯片31，另一方面，dsp處理器12和13需要實時讀取每一幀圖像數(shù)據(jù)，da轉(zhuǎn)換器41需要完成指定幀頻的視頻輸出，所以fpga11又要分別完成從ddr3芯片31中讀取有效圖像數(shù)據(jù)的任務(wù)，所以fpga11對數(shù)據(jù)流的控制與仲裁非常重要。因各個接口對圖像數(shù)據(jù)的需求，fpga11的控制仲裁程序設(shè)定了對ddr3芯片31的操作的優(yōu)先級，設(shè)定圖像解碼數(shù)據(jù)的存儲具有最高優(yōu)先級，以保證不能丟幀；dsp芯片12和13的接口因需要做識別跟蹤算法運算，也不能丟幀故置為第二優(yōu)先級，da轉(zhuǎn)換器41對應(yīng)的vga顯示器因6可控制顯示幀頻(當前設(shè)置顯示每秒60幀，遠低于相機的500幀)，數(shù)據(jù)量可控且較小，故設(shè)為第三優(yōu)先級。視頻解碼芯片組21在解析數(shù)據(jù)的同時會產(chǎn)生幀號和行號，以此作為存儲地址的參考，根據(jù)圖像解碼的時序，按行將圖像數(shù)據(jù)存入ddr3芯片31。只有在存儲的行間隙、幀間隙時，仲裁程序才會響應(yīng)第二和第三優(yōu)先級的讀數(shù)據(jù)請求。即利用ddr3芯片31的高速存取速度優(yōu)勢換取多個接口實時視頻流處理功能的完整實現(xiàn)。

圖4所示圖像解碼電路原理圖，如圖4所示，cameralink攝像機7的信號主要分為：圖像數(shù)據(jù)信號、相機控制信號、串行通信信號和電源信號，對應(yīng)其硬件接口電路所實現(xiàn)的功能為：1)視頻解碼芯片組21進行，lvds信號至cmos/ttl信號的轉(zhuǎn)換；2)fpga11對相機端的控制；3)fpga11與cameralink攝像機7進行異步串行通信。因此可以將視頻解碼芯片組21劃分為3個部分：數(shù)據(jù)接收電路、控制信號電路和串口通信電路。cameralink攝像機7標準的信號需要通過解碼電路解析之后才能使用，且cameralink攝像機7提供的信號全部是差分信號。cameralink攝像機7接口進來的差分對信號經(jīng)過視頻解碼芯片組21的一、二、三解碼后轉(zhuǎn)變成3.3v單端數(shù)字信號，再由電平轉(zhuǎn)換芯片23將3.3v信號轉(zhuǎn)換成本fpga11的io口所需的2.5v信號。其中視頻解碼芯片組21一、二、三分別解碼cameralink攝像機7數(shù)據(jù)信號，控制信號和串口通信信號。另外，cameralink攝像機7的lvds信號的pcb總線是要保證差分阻抗100ω，并在fpga11的接收端管腳接100ω的匹配電阻以減小信號反射，保證信號完整性，另外需為視頻解碼芯片組21添加退偶電容，以減小噪聲，提高信號質(zhì)量。

圖5所示為數(shù)據(jù)緩存電路示意圖，如圖1、圖2以及圖5所示，數(shù)據(jù)緩存電路共由4組ddr組成，其中兩組ddr3芯片31與fpga11連接，分別存儲解碼后的所有幀圖像數(shù)據(jù)，其中每一組ddr3芯片31內(nèi)的數(shù)據(jù)再分別提供給一個dsp12或13和vga模擬顯示使用；另外兩組ddr2芯片32和33則分別掛接在dsp芯片12或13上，供dsp芯片12或13作跟蹤識別算法時暫存圖像用。

圖6所示為模擬顯示電路示意圖，如圖1、圖2以及圖6所示，模擬顯示電路4由da轉(zhuǎn)換器41和電平轉(zhuǎn)換模塊43組成。vga接口顯示時序中最少需要給vga顯示器6提供五個信號，即紅綠藍三個基色信號和行、場同步信號。設(shè)計中，fpga11向da轉(zhuǎn)換器41提供10位的r、g、b分量數(shù)字信號和消隱信號，轉(zhuǎn)換成模擬的三基色信號，該信號需要通過d-sub電纜連接到vga顯示器6的接口上；而行同步信號和場同步信號(數(shù)字信號)可以由fpga11產(chǎn)生后直接接入d-sub電纜，因此在da轉(zhuǎn)換器41中要產(chǎn)生時序匹配的行場同步以及消隱信號。在電路設(shè)計中需要注意以下幾個問題：comp信號用于da轉(zhuǎn)換器41的參考運放補償，應(yīng)通過一個0.1μf的陶瓷電容將da轉(zhuǎn)換器41的管腳連到其模擬電源上；vref時電壓參考輸出管腳，應(yīng)通過一個0.1μf的陶瓷電容將該管腳連到模擬電源上；rset管腳用來控制視頻信號的滿幅度，可以在該管腳上經(jīng)一個560ω電阻或者可調(diào)變阻器連到模擬地端，如果在該管腳上接的是可調(diào)變阻器，加電測試之前應(yīng)該線測量rset的對地電阻值，該值不能過??；為提高圖像質(zhì)量，需要在ior、iog、iob輸出管腳處分別接一個75ω的端接電阻，并且離芯片盡可能近，以減少反射。另外，da轉(zhuǎn)換器41屬于模擬器件，供電和地信號都應(yīng)與數(shù)字部分區(qū)別開。3.3va模擬電壓可以通過在pcb的3.3v上添加磁珠獲得，模擬地信號也是同樣的處理方法，同時為了得到干凈的模擬電源，應(yīng)該在da轉(zhuǎn)換器41的電源端和模擬地間添加退耦電容。

圖7所示為串口通信電路示意圖，如圖7所示，串口通信電路包含一片電平轉(zhuǎn)換芯片53和一個rs62驅(qū)動芯片51。rs62驅(qū)動芯片51可以將ttl電平轉(zhuǎn)換為rs62電平，其工作電壓是3.3v，所以需要添加電平轉(zhuǎn)換芯片55以連接fpga11的通信。

如圖1以及圖2所示，對于一實施例，主控處理電路1中，fpga11采用xilinx公司的xc6vlx130t-2ffg1156。fpga11內(nèi)部使用編寫的視頻解碼、vga顯示和ddr3的ip核進行控制；dsp12和13選用了ti公司推出的高性能處理器tms320c6455，內(nèi)核峰值頻率可達1.0ghz，峰值處理能力為8000mips，且具備高速通信接口srio可以滿足圖像數(shù)據(jù)的實時讀取。

如圖1、圖2以及圖4所示，對于一實施例，圖像解碼電路2正常工作在full模式,同時兼容base模式，因此需要3種解碼芯片共計5片：3片cameralink接口lvds至cmos/ttl轉(zhuǎn)換芯片，1片coms/ttl至lvds轉(zhuǎn)換芯片將控制信號轉(zhuǎn)換為lvds信號，1片包含coms/ttl至lvds和lvds至coms/ttl的雙向轉(zhuǎn)換芯片。根據(jù)cameralink接口標準的推薦，三種芯片分別選擇ds90cr288a、ds90lv047和fin1019芯片，其中ds90cr288a實現(xiàn)lvds信號轉(zhuǎn)換，速度可以達到85mhz。另外由于cameralink轉(zhuǎn)換芯片為3.3v接口電平，而實施例中的v6fpga11最高支持到2.5v接口電平，因此在cameralink攝像機7和fpga11的io管腳之間加入ti公司的sn74alvc16645芯片實現(xiàn)2.5v和3.3v之間的電平轉(zhuǎn)換。cameralink攝像機7的lvds信號的pcb總線是要保證差分阻抗100ω，并在接收端端接100ω的匹配電阻以減小信號反射，保證信號完整性，另外需為ds90cr288a芯片添加退偶電容，以減小噪聲，提高信號質(zhì)量。經(jīng)過上述電路解析出的信號分為三種，分別是圖像數(shù)據(jù)信號、相機控制信號和串行通信信號。圖像數(shù)據(jù)信號分為幀有效信號fval、行有效信號lval、數(shù)據(jù)有效信號dval、保留信號和數(shù)據(jù)信號。數(shù)據(jù)信號可以根據(jù)相機工作模式的不同(base、medium、full三種模式)有不同的通道分配方法。base模式下，數(shù)據(jù)信號只占用a、b、c三個通道，medium模式下，數(shù)據(jù)信號占用a～f六個通道，full模式下，數(shù)據(jù)信號占用a～h八個通道。

如圖1以及圖2所示，數(shù)據(jù)存儲電路3選用ddr顆粒芯片，其中fpga11外掛兩組獨立的ddr3芯片31，每組采用兩片鎂光公司生產(chǎn)的16位存儲位寬4gb容量的mt41k256m16ha-125it芯片，組成32bits，設(shè)計工作速率可達1066mhz，理論讀寫帶寬可達4.16gb每秒，完全可以滿足高幀頻圖像的讀寫要求。fpga11中使用了migip核作為ddr3控制器。為了盡可能增加dsp12和13的外掛存儲器的存儲容量，必須充分利用ddr2控制器的尋址能力，所以系統(tǒng)的設(shè)計是掛接512mb、32bit數(shù)據(jù)寬度的ddr2-sdram，采用兩片16bit的芯片級聯(lián)進行位擴展，每片的存儲容量為256mb。兩片ddr2芯片32和33的數(shù)據(jù)線分別連到dsp12和13的ddr2控制器的高16位和低16位，ldm和udm分別連到dsddqm[1:0]和dsddqm[3:2]，ldqs/ldqs#和udqs/udqs#分別連到dsddqs[1:0]/dsddqs#[1:0]和dsddqs[3:2]/dsddqs#[3:2]。其他控制線兩片ddr2sdram共用。dsp12和13內(nèi)部集成ddr2控制器，編寫代碼配置好ddr控制器后，就可以正常訪問ddr2芯片了。

如圖1、圖2以及圖6所示，模擬視頻顯示電路4選擇的是美國ad公司的adv7123jst芯片，作為視頻da轉(zhuǎn)換器41，該芯片是一款高速數(shù)模轉(zhuǎn)換器件，具有三路10位相互獨立的高速數(shù)模轉(zhuǎn)換輸入口，分別是r[0～9]、g[0～9]、b[0～9]，并且可以實現(xiàn)互補輸出。單電源可選+5v或+3.3v供電,為降低功耗，系統(tǒng)中使用+3.3v模擬電壓供電。由于前述所選cameralink攝像機7輸出的像素是10位，剛好可以滿足adv7123芯片的3路10位像素的輸入。復位引腳通過一個電阻連接到地來控制滿量程視頻信號的大小，當標稱圖像電平兩端接75ω負載時，rset＝560ω。相應(yīng)vga接口釆用的是標準15針d-sub定義。

如圖1、圖2以及圖7所示，串口通信電路5采用max3490芯片作為rs62的驅(qū)動芯片51，ti公司的sn74alvc16645芯片作為3.3v與2.5v的電平轉(zhuǎn)換芯片53。

本發(fā)明的一種高幀頻的實時圖像處理電路，相機幀頻可達500幀每秒，圖像像素1280x1024，像素點深度10bits，實際帶寬781.25mb/s，處理電路將會對每一幀圖像進行識別跟蹤處理，處理結(jié)果會立即發(fā)送給外部系統(tǒng)設(shè)備和可以實時顯示圖像與追蹤信息的vga顯示器上，vga輸出像素1280x1024，60幀每秒。采用高幀頻工業(yè)相機，圖像帶寬781.25mb/s，多組ddr緩存圖像數(shù)據(jù)，fpga加雙dsp進行圖像處理，vga顯示器實時顯示相機捕捉的圖像，并實時疊加目標物體的追蹤信息，突破了速率瓶頸。

以上所述僅是本發(fā)明的優(yōu)選實施方式，應(yīng)當指出，對于本技術(shù)領(lǐng)域的普通技術(shù)人員來說，在不脫離本發(fā)明技術(shù)原理的前提下，還可以做出若干改進和變形，這些改進和變形也應(yīng)視為本發(fā)明的保護范圍。