專(zhuān)利名稱(chēng)：基于fpga的視頻圖像預(yù)處理器的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及安全監(jiān)控領(lǐng)域，尤其是一種基于FPGA的視頻圖像預(yù)處理器。
背景技術(shù)：
安全監(jiān)控領(lǐng)域需要大量使用視頻監(jiān)控系統(tǒng)，視頻監(jiān)控系統(tǒng)中的攝像機(jī)對(duì)監(jiān) 控現(xiàn)場(chǎng)進(jìn)行攝錄，監(jiān)控人員不用去現(xiàn)場(chǎng)巡邏便可從顯示設(shè)備上看到監(jiān)控現(xiàn)場(chǎng) 的實(shí)際情況。普通監(jiān)控?cái)z像機(jī)雖然可以遍歷全景360度視角的每個(gè)位置，但 不能同時(shí)監(jiān)控整個(gè)全景視場(chǎng)的情況，為了解決這一問(wèn)題，越來(lái)越多的能夠采 集全景的攝錄設(shè)備(如曲面全景反射鏡、魚(yú)眼鏡頭等)被應(yīng)用于視頻監(jiān)控系
統(tǒng)中，這種視頻監(jiān)控系統(tǒng)的原理為通過(guò)全景攝錄設(shè)備的特性將整個(gè)全景圖
像映射到某一指定平面內(nèi)，然后使用CMOS/CCD圖像傳感器來(lái)獲取圖像信 息，從而進(jìn)行顯示、攝錄或其它處理。
為了更充分利用全景圖像的信息，采集全景攝錄的圖像傳感器一般選用 200萬(wàn)以上像素的CM0S/CCD圖像傳感器，以獲取更多全景圖像細(xì)節(jié)。然而， 圖像傳感器輸出的原始數(shù)字圖像存在色彩失真度高、圖像清晰度低、噪音混 雜嚴(yán)重以及格式特殊無(wú)法直接輸出給顯示設(shè)備或者攝錄設(shè)備等缺點(diǎn)，因此要 先對(duì)原始數(shù)字圖像進(jìn)行包括曝光調(diào)整、降噪濾波、白平衡、Bayer圖像插值、 RGB色彩校正、Gamma校正、RGB到Y(jié)CC色彩空間轉(zhuǎn)換、邊緣增強(qiáng)、對(duì)比度增 強(qiáng)以及錯(cuò)誤色彩抑止等復(fù)雜的預(yù)處理過(guò)程以彌補(bǔ)其原有的諸多不足。
現(xiàn)有的視頻監(jiān)控系統(tǒng)通常使用DSP(數(shù)字信號(hào)處理器)對(duì)圖像進(jìn)行如全景 圖像切割、縮放、校正、視頻壓縮、分析等各種處理，但是，DSP的視頻采集 端口的吞吐能力是有限的，如有些DSP只能對(duì)分辨率較低的圖像傳感器的視 頻圖像數(shù)據(jù)進(jìn)行實(shí)時(shí)采集和處理；另外，在視頻采集端口吞吐量允許的情況 下，雖然能夠完成圖像采集任務(wù)，但是由于視頻圖像數(shù)據(jù)量大，要完成實(shí)時(shí) 圖像預(yù)處理等大數(shù)據(jù)量復(fù)雜運(yùn)算，必然會(huì)導(dǎo)致DSP的資源大量消耗，可能很 難再勝任后續(xù)的圖像處理工作，因此，通常需要在進(jìn)入DSP之前對(duì)采集的圖 像進(jìn)行預(yù)處理，但是，現(xiàn)有帶有預(yù)處理功能的圖像傳感器最大只能支持到200 萬(wàn)像素，而專(zhuān)用的圖像預(yù)處理器IC芯片也沒(méi)有能夠處理200萬(wàn)以上像素的產(chǎn) 品。綜上所述，現(xiàn)有視頻圖像處理技術(shù)存在以下一些問(wèn)題l.DSP設(shè)備因后續(xù) 各種復(fù)雜視頻處理任務(wù)，可能無(wú)法同時(shí)勝任200萬(wàn)以上像素的視頻圖像數(shù)據(jù) 預(yù)處理任務(wù)；2.DSP視頻采集端口存在傳輸瓶頸問(wèn)題
發(fā)明內(nèi)容
本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提出一種能夠?qū)Ω叻直媛蕡D像
傳感器的視頻圖像數(shù)據(jù)進(jìn)行實(shí)時(shí)預(yù)處理并解決DSP視頻采集端口的傳輸瓶頸 問(wèn)題的基于FPGA的視頻圖像預(yù)處理器。
本發(fā)明解決其技術(shù)問(wèn)題是采取以下技術(shù)方案實(shí)現(xiàn)的 一種基于FPGA的視頻圖像預(yù)處理器，其特征在于由圖像預(yù)處理模塊 及FIFO緩沖模塊連接構(gòu)成，圖像預(yù)處理模塊的輸入端與視頻圖像數(shù)據(jù)及同步 信號(hào)相連接，F(xiàn)IFO緩沖模塊的輸出端輸出己處理的視頻圖像數(shù)據(jù)及DSP數(shù)據(jù) 讀取申請(qǐng)信號(hào)。
而且，所述的圖像預(yù)處理模塊由預(yù)處理流水線模塊和同步信號(hào)處理模塊 連接構(gòu)成，預(yù)處理流水線模塊及同步信號(hào)處理模塊的輸入端分別與視頻圖像 數(shù)據(jù)及同步信號(hào)相連接，預(yù)處理流水線模塊及同步信號(hào)處理模塊的輸出端輸 出視頻圖像數(shù)據(jù)及同步信號(hào)。
而且，所述的預(yù)處理流水線模塊由曝光調(diào)整處理模塊、降噪濾波處理模 塊、白平衡處理模塊、Bayer圖像插值處理模塊、RGB色彩校正處理模塊、 Gamma校正處理模塊、RGB到Y(jié)CC色彩空間轉(zhuǎn)換處理模塊、邊緣增強(qiáng)處理 模塊、對(duì)比度增強(qiáng)處理模塊以及錯(cuò)誤色彩抑止處理模塊順序連接構(gòu)成。
而且，所述的同步信號(hào)處理模塊由移位寄存器構(gòu)成，移位寄存器的時(shí)鐘 及數(shù)據(jù)輸入端分別與工作時(shí)鐘及同步信號(hào)相連接，移位寄存器的數(shù)據(jù)輸出端 輸出同步信號(hào)。
而且，所述的FIFO緩沖模塊由數(shù)據(jù)寬度調(diào)整模塊、FIFO存儲(chǔ)器和FIFO 控制模塊連接構(gòu)成，數(shù)據(jù)寬度調(diào)整模塊的輸入端與圖像預(yù)處理模塊輸出的視 頻圖像數(shù)據(jù)和同步信號(hào)相連接，數(shù)據(jù)寬度調(diào)整模塊的輸出端與FIFO存儲(chǔ)器相 連接，F(xiàn)IFO存儲(chǔ)器的一輸出端與FIFO控制模塊連接，F(xiàn)IFO存儲(chǔ)器的另一輸 出端輸出視頻圖像數(shù)據(jù)，F(xiàn)IFO控制模塊的輸出端輸出DSP數(shù)據(jù)讀取申請(qǐng)信號(hào)。
而且，所述的數(shù)據(jù)寬度調(diào)整模塊由四個(gè)存儲(chǔ)器及數(shù)據(jù)重組模塊構(gòu)成，四個(gè) 存儲(chǔ)器的時(shí)鐘輸入端和使能輸入端分別與工作時(shí)鐘及同步信號(hào)相連接，第四 存儲(chǔ)器的數(shù)據(jù)輸入端與24位視頻圖像數(shù)據(jù)相連接，第四存儲(chǔ)器的數(shù)據(jù)輸出端 與第三存儲(chǔ)器的數(shù)據(jù)輸入端相連接，第三存儲(chǔ)器的數(shù)據(jù)輸出端與第二存儲(chǔ)器 的數(shù)據(jù)輸入端相連接，第二存儲(chǔ)器的數(shù)據(jù)輸出端與第一存儲(chǔ)器的輸入端相連 接，四個(gè)存儲(chǔ)器的數(shù)據(jù)輸出端同時(shí)與數(shù)據(jù)重組模塊相連接，數(shù)據(jù)重組模塊的 輸出端輸出64位視頻圖像數(shù)據(jù)。
而且，所述的FIFO控制模塊由比較器構(gòu)成，F(xiàn)IFO控制模塊的兩個(gè)輸入 端分別與FIFO存儲(chǔ)器已使用數(shù)據(jù)量和預(yù)設(shè)緩沖數(shù)據(jù)量相連接，F(xiàn)IFO控制模 塊的輸出端輸出DSP數(shù)據(jù)讀取申請(qǐng)信號(hào)。-
1. 本視頻圖像預(yù)處理器采用FPGA內(nèi)部高速并行處理單元和內(nèi)部集成存 儲(chǔ)器進(jìn)行視頻圖像處理，利用FPGA處理速度快、資源豐富的優(yōu)勢(shì)，采用流水 線方式的并行處理模式對(duì)視頻圖像數(shù)據(jù)進(jìn)行預(yù)處理，實(shí)現(xiàn)了 200萬(wàn)以上高分 辨率數(shù)字視頻圖像的實(shí)時(shí)預(yù)處理，解決了當(dāng)前市場(chǎng)上，因沒(méi)有200萬(wàn)像素以 上專(zhuān)用視頻預(yù)處理芯片或帶有預(yù)處理功能的圖像傳感器，而導(dǎo)致DSP需要完 成視頻圖像預(yù)處理工作，因而消耗大量?jī)?nèi)部資源，無(wú)法完成后續(xù)各類(lèi)處理工 作的問(wèn)題。
2. 本視頻圖像預(yù)處理器通過(guò)FPGA內(nèi)建的FIFO存儲(chǔ)器與TI的C64x系列 視頻DSP的外部存儲(chǔ)接口相連，采用PDT (外部設(shè)備傳輸)模式、64位數(shù)據(jù) 總線、最高133MHz工作時(shí)鐘與DSP進(jìn)行視頻圖像數(shù)據(jù)傳輸，提高了 了 DSP視 頻圖像數(shù)據(jù)采集的吞吐量，解決了 DSP進(jìn)行視頻圖像數(shù)據(jù)采集時(shí)存在的傳輸 瓶頸問(wèn)題。
3. 本視頻圖像預(yù)處理器可以根據(jù)具體的預(yù)處理功能需求定制不同的IP 核，對(duì)于視頻圖像預(yù)處理功能的修改和升級(jí)十分方便。
4. 本視頻圖像預(yù)處理器采用FPGA可編程邏輯器件具有設(shè)計(jì)實(shí)現(xiàn)簡(jiǎn)便、 兼容性強(qiáng)、穩(wěn)定性高的特點(diǎn)，尤其是開(kāi)發(fā)周期短和內(nèi)部資源豐富等特點(diǎn)，非 常適合于高性能低成本的視頻處理應(yīng)用。
5. 本發(fā)明實(shí)現(xiàn)了 200萬(wàn)以上高分辨率圖像傳感器視頻圖像數(shù)據(jù)的實(shí)時(shí)預(yù) 處理功能，解決了DSP進(jìn)行視頻圖像數(shù)據(jù)采集時(shí)存在的傳輸瓶頸問(wèn)題，并具 有實(shí)現(xiàn)簡(jiǎn)便、兼容性強(qiáng)、穩(wěn)定性高、便于修改與升級(jí)的特點(diǎn)，可廣泛應(yīng)用于 采用大像素圖像傳感器的視頻監(jiān)控系統(tǒng)。


圖1是本發(fā)明與圖像傳感器及DSP連接構(gòu)成的視頻圖像處理系統(tǒng)方框圖2是本發(fā)明結(jié)構(gòu)方框圖3是本發(fā)明圖像預(yù)處理模塊方框圖4是本發(fā)明同步信號(hào)處理模塊方框圖5是本發(fā)明FIFO緩沖模塊方框圖6是本發(fā)明數(shù)據(jù)寬度調(diào)整模塊方框圖7是本發(fā)明FIFO控制模塊方框圖。
具體實(shí)施例方式
以下結(jié)合附圖對(duì)本發(fā)明實(shí)施例做進(jìn)一步詳述
一種基于FPGA的視頻圖像預(yù)處理器在視頻系統(tǒng)中的應(yīng)用如圖1所示， 其前端與CMOS或CCD等圖像傳感器相連，其后端與數(shù)字信號(hào)處理器(DSP) 相連接從而構(gòu)成視頻處理系統(tǒng)，在本實(shí)施例中，F(xiàn)PGA采用了 Altera公司的 CycloneII系列FPGA芯片，數(shù)字信號(hào)處理器(DSP)采用了 TI的C64x系列DSP處理器?；贔PGA的視頻圖像預(yù)處理器能夠?qū)η岸说膱D像傳感器的視 頻圖像數(shù)據(jù)進(jìn)行預(yù)處理，并將預(yù)處理后的視頻圖像數(shù)據(jù)傳送給DSP。
如圖2所示，基于FPGA預(yù)處理器由圖像預(yù)處理模塊及FIFO緩沖模塊連 接構(gòu)成，圖像預(yù)處理模塊的輸入端與視頻圖像數(shù)據(jù)及同步信號(hào)相連接，圖像 預(yù)處理模塊的輸出端與FIFO緩沖模塊相連接，F(xiàn)IFO緩沖模塊的輸出端輸出 已處理的視頻圖像數(shù)據(jù)及數(shù)據(jù)讀取申請(qǐng)信號(hào)。其工作過(guò)程為圖像預(yù)處理模 塊接收來(lái)自圖像傳感器的視頻圖像數(shù)據(jù)，對(duì)其進(jìn)行圖像預(yù)處理后，將數(shù)據(jù)送 入FIFO緩沖模塊，F(xiàn)IFO緩沖模塊根據(jù)預(yù)先設(shè)定的緩沖數(shù)據(jù)量，當(dāng)?shù)竭_(dá)預(yù)設(shè) 值時(shí)向DSP發(fā)出DSP數(shù)據(jù)讀取申請(qǐng)信號(hào)，該DSP數(shù)據(jù)讀取申請(qǐng)信號(hào)為DMA 事件觸發(fā)信號(hào)，DSP收到該讀取申請(qǐng)后，將FIFO緩沖模塊中的視頻圖像數(shù)據(jù) 通過(guò)外部存儲(chǔ)接口讀出。
如圖3所示，圖像預(yù)處理模塊由預(yù)處理流水線模塊和同步信號(hào)處理模塊 連接構(gòu)成，預(yù)處理流水線模塊及同步信號(hào)處理模塊的輸入端分別與視頻圖像 數(shù)據(jù)及同步信號(hào)相連接，預(yù)處理流水線模塊及同步信號(hào)處理模塊的輸出端輸 出預(yù)處理的視頻圖像數(shù)據(jù)及同步信號(hào)。由于圖像預(yù)處理模塊需要對(duì)高分辨率 視頻數(shù)據(jù)進(jìn)行預(yù)處理操作，為了獲得足夠快的處理速度，預(yù)華理流水線模塊 通過(guò)流水線方式并行處理視頻數(shù)據(jù)，預(yù)處理流水線模塊由曝光調(diào)整處理模塊、 降噪濾波處理模塊、白平衡處理模塊、Bayer圖像插值處理模塊、RGB色彩 校正處理模塊、Gamma校正處理模塊、RGB到Y(jié)CC色彩空間轉(zhuǎn)換處理模塊、 邊緣增強(qiáng)處理模塊、對(duì)比度增強(qiáng)處理模塊以及錯(cuò)誤色彩抑止處理模塊順序連 接構(gòu)成，這些單獨(dú)構(gòu)成的處理模塊順序安排在預(yù)處理流水線的某一級(jí)上。由 于流水線是逐級(jí)進(jìn)行的，因此在流水化運(yùn)算過(guò)程中，會(huì)導(dǎo)致數(shù)據(jù)輸出延遲， 為了保證數(shù)據(jù)與同步信號(hào)的同步，同步信號(hào)處理模塊根據(jù)預(yù)處理流水線的延 遲時(shí)鐘數(shù)，對(duì)同步信號(hào)進(jìn)行相同的延遲，以保證后續(xù)模塊正常工作，如圖4 所示，同步信號(hào)處理模塊由移位寄存器構(gòu)成，移位寄存器的時(shí)鐘及數(shù)據(jù)輸入 端分別與工作時(shí)鐘及同步信號(hào)相連接，移位寄存器的數(shù)據(jù)輸出端輸出同步信 號(hào)。在圖像預(yù)處理模塊中，預(yù)處理流水線模塊接收視頻圖像數(shù)據(jù)和同步信號(hào)， 根據(jù)同步信號(hào)通過(guò)內(nèi)部數(shù)十至上百級(jí)流水線，對(duì)輸入的視頻圖像數(shù)據(jù)逐級(jí)進(jìn) 行預(yù)處理，最終將處理完成的視頻圖像數(shù)據(jù)輸出；同步信號(hào)處理模塊為保證 視頻圖像數(shù)據(jù)與同步信號(hào)同步，根據(jù)預(yù)處理流水線所延遲的時(shí)間，對(duì)同步信 號(hào)進(jìn)行相同延遲并輸出。
如圖5所示，F(xiàn)IFO緩沖模塊由數(shù)據(jù)寬度調(diào)整模塊、FIFO存儲(chǔ)器和FIFO 控制模塊連接構(gòu)成，數(shù)據(jù)寬度調(diào)整模塊的輸入端與視頻圖像數(shù)據(jù)和同步信號(hào) 相連接，數(shù)據(jù)寬度調(diào)整模塊的輸出端與FIFO存儲(chǔ)器相連接，F(xiàn)IFO存儲(chǔ)器一 個(gè)輸出端與FIFO控制模塊連接，F(xiàn)IFO存儲(chǔ)器的另一輸出端與DSP視頻圖像數(shù)據(jù)相連接，F(xiàn)IFO控制模塊的輸出端輸出DSP數(shù)據(jù)讀取申請(qǐng)信號(hào)。如圖6所 示，數(shù)據(jù)寬度調(diào)整模塊由四個(gè)存儲(chǔ)器及數(shù)據(jù)重組模塊構(gòu)成，四個(gè)存儲(chǔ)器的時(shí) 鐘輸入端和使能輸入端分別與工作時(shí)鐘及同步信號(hào)相連接，第四存儲(chǔ)器的數(shù) 據(jù)輸入端與24位視頻圖像數(shù)據(jù)相連接，第四存儲(chǔ)器的數(shù)據(jù)輸出端與第三存儲(chǔ) 器的數(shù)據(jù)輸入端相連接，第三存儲(chǔ)器的數(shù)據(jù)輸出端與第二存儲(chǔ)器的數(shù)據(jù)輸入 端相連接，第二存儲(chǔ)器的數(shù)據(jù)輸出端與第一存儲(chǔ)器的輸入端相連接，四個(gè)存 儲(chǔ)器的數(shù)據(jù)輸出端同時(shí)與數(shù)據(jù)重組模塊相連接，數(shù)據(jù)重組模塊的輸出端輸出 64位視頻圖像數(shù)據(jù)。如圖7所示，F(xiàn)IFO控制模塊由比較器構(gòu)成，其兩個(gè)輸入 端分別與FIFO存儲(chǔ)器已使用數(shù)據(jù)量和預(yù)設(shè)緩沖數(shù)據(jù)量相連接，其輸出端輸出 DSP數(shù)據(jù)讀取申請(qǐng)信號(hào)。
FIFO緩沖模塊的數(shù)據(jù)處理過(guò)程為由于數(shù)字信號(hào)處理器(DSP)為T(mén)I的 C64x系列DSP處理器，其外部存儲(chǔ)接口寬度最大為64位，為了充分利用帶 寬，因此FIFO存儲(chǔ)器與其設(shè)計(jì)為相同數(shù)據(jù)線寬度。而由圖像預(yù)處理模塊輸出 的數(shù)據(jù)，由于經(jīng)過(guò)色彩空間轉(zhuǎn)換后，為24位的YCbCr格式的數(shù)據(jù)，為了能夠 符合64位數(shù)據(jù)寬度，需要首先對(duì)YCbCr格式視頻圖像數(shù)據(jù)進(jìn)行重組。另外， 視頻輸出的數(shù)模轉(zhuǎn)換多采用4: 2: 2格式的YCbCr數(shù)據(jù)作為輸入，因此數(shù)據(jù) 寬度調(diào)整模塊首先對(duì)4: 4: 4的YCbCr數(shù)據(jù)進(jìn)行重采樣，由原來(lái)兩個(gè)YCbCr 的24位數(shù)據(jù)組成一個(gè)32位的YCbYCr的數(shù)據(jù)，從而完成由4: 4: 4到4: 2: 2的轉(zhuǎn)換，然后將兩個(gè)32位的YCbYCr數(shù)據(jù)組成一個(gè)64位數(shù)據(jù)送給FIFO存 儲(chǔ)器進(jìn)行緩沖。如圖6所示，通過(guò)存儲(chǔ)器將四個(gè)時(shí)鐘周期輸入的YCbCr數(shù)據(jù) 進(jìn)行重新采樣和組合，若24位YCbCr數(shù)據(jù)為由高到低位按照一個(gè)字節(jié)Cr 一 個(gè)字節(jié)Cb—個(gè)字節(jié)Y排列，那么4: 4: 4到4: 2: 2的轉(zhuǎn)換為將第一個(gè)時(shí)鐘 周期輸入的24位YCbCr數(shù)據(jù)(YCC1[23..0])和第二個(gè)時(shí)鐘周期輸入的24位 YCbCr數(shù)據(jù)(YCC2[23..0])重組，取YCC1[23.,0]的Y (YCC1[7..0])和Cb (YCC1[15..8])與YCC2[23,.0]的Y (YCC2[7..0])禾B Cr (YCC2[23..16])，組 成一個(gè)32位的YCbYCr數(shù)據(jù)，然后將兩個(gè)32位YCbYCr拼為一個(gè)64位的數(shù) 據(jù)。另外，在原來(lái)同步信號(hào)有效的時(shí)間里，由于數(shù)據(jù)重采樣和重組需要占用 時(shí)間，而使得原來(lái)3/4的有效時(shí)間不再輸出有效數(shù)據(jù)，因此需要對(duì)有效同步信 號(hào)進(jìn)行調(diào)整。數(shù)據(jù)寬度調(diào)整模塊根據(jù)原有視頻同步信號(hào)和本身數(shù)據(jù)重組的工 作過(guò)程，將有效信號(hào)分割為周期為4個(gè)有效時(shí)鐘的短周期，在每個(gè)周期的最 后一個(gè)有效時(shí)鐘來(lái)臨后，通知FIFO存儲(chǔ)器緩存數(shù)據(jù)，從而完成有效數(shù)據(jù)同步 的調(diào)整。另外，由于FIFO存儲(chǔ)器緩沖的數(shù)據(jù)量是很小的，例如對(duì)一幀圖像的 一行進(jìn)行緩沖。過(guò)多的緩沖會(huì)導(dǎo)致FPGA片上資源匱乏，因此需要在數(shù)據(jù)緩 沖達(dá)到某一設(shè)定值時(shí)，及時(shí)通知DSP進(jìn)行讀取以避免FIFO溢出。使用Altera 的FPGA設(shè)計(jì)軟件，生成的FIFO可以輸出其已使用數(shù)據(jù)量的信息。FIFO控制模塊根據(jù)當(dāng)前FIFO已使用的數(shù)據(jù)量與預(yù)先設(shè)定的數(shù)據(jù)量相比，當(dāng)大于預(yù)設(shè) 值時(shí)向DSP發(fā)出DSP數(shù)據(jù)讀取申請(qǐng)信號(hào)。由于DSP通過(guò)外部存儲(chǔ)器接口讀 取數(shù)據(jù)的速度非常快(133MHz時(shí)鐘，數(shù)據(jù)寬度64位)，因此FIFO緩沖模塊 應(yīng)在緩沖一次讀取的全部數(shù)據(jù)后再申請(qǐng)讀取。但在讀取過(guò)程中還會(huì)有新的數(shù) 據(jù)寫(xiě)入，所以FIFO的大小應(yīng)比預(yù)設(shè)的數(shù)據(jù)量大。例如每次如果緩沖一行的 500萬(wàn)像素(2608X1952)圖像傳感器的數(shù)據(jù)，則使用的數(shù)據(jù)量為2608/4X8 = 5216字節(jié)，為了保證在DSP相應(yīng)讀取申請(qǐng)和讀取過(guò)程中不丟失新的輸入數(shù)據(jù)， 應(yīng)將FIFO大小設(shè)定為緩沖數(shù)據(jù)量的兩倍，也就是10432字節(jié)。
本發(fā)明的工作過(guò)程為基于FPGA的視頻圖像預(yù)處理器在開(kāi)始工作后， 其圖像預(yù)處理模塊根據(jù)圖像傳感器發(fā)送的同步信號(hào)及視頻圖像數(shù)據(jù)，對(duì)視頻 圖像數(shù)據(jù)進(jìn)行曝光調(diào)整、降噪濾波、白平衡、Bayer圖像插值、RGB色彩校 正、Gamma校正、RGB到Y(jié)CC色彩空間轉(zhuǎn)換、邊緣增強(qiáng)、對(duì)比度增強(qiáng)以及 錯(cuò)誤色彩抑止流水預(yù)處理，使得圖像達(dá)到更好的還原效果，降低噪音和失真， 并執(zhí)行適當(dāng)?shù)膱D像格式轉(zhuǎn)換，以利于后續(xù)處理和顯示使用，圖像預(yù)處理模塊 將處理后的數(shù)據(jù)送入FIFO緩沖模塊，F(xiàn)IFO緩沖模塊使用FIFO存儲(chǔ)器對(duì)數(shù)據(jù) 進(jìn)行緩沖，當(dāng)緩沖數(shù)據(jù)達(dá)到預(yù)先設(shè)定的數(shù)據(jù)量時(shí)，F(xiàn)IFO緩沖模塊向DSP發(fā)出 DSP數(shù)據(jù)讀取申請(qǐng)信號(hào)，DSP應(yīng)答申請(qǐng)后，將數(shù)據(jù)通過(guò)外部存儲(chǔ)器接口讀出。 由于DSP的外部存儲(chǔ)接口提供一種PDT數(shù)據(jù)傳輸模式，通過(guò)將其數(shù)據(jù)總線置 為高阻，同時(shí)通過(guò)外部存儲(chǔ)接口控制SDRAM和FIFO,兩者間進(jìn)行直接數(shù)據(jù) 傳輸。本發(fā)明中采用這種數(shù)據(jù)傳輸模式，通過(guò)向DSP發(fā)送DSP數(shù)據(jù)讀取申請(qǐng) 信號(hào)，外部存儲(chǔ)器接口采用PDT模式直接將數(shù)據(jù)傳給SDRAM,傳輸過(guò)程由 DMA控制器控制，無(wú)需DSP內(nèi)核干預(yù)，大大提高了執(zhí)行效率。
需要強(qiáng)調(diào)的是，本發(fā)明所述的實(shí)施例是說(shuō)明性的，而不是限定性的，因 此本發(fā)明并不限于具體實(shí)施方式
中所述的實(shí)施例，凡是由本領(lǐng)域技術(shù)人員根 據(jù)本發(fā)明的技術(shù)方案得出的其他實(shí)施方式，同樣屬于本發(fā)明保護(hù)的范圍。
權(quán)利要求
1.一種基于FPGA的視頻圖像預(yù)處理器，其特征在于由圖像預(yù)處理模塊及FIFO緩沖模塊連接構(gòu)成，圖像預(yù)處理模塊的輸入端與視頻圖像數(shù)據(jù)及同步信號(hào)相連接，F(xiàn)IFO緩沖模塊的輸出端輸出已處理的視頻圖像數(shù)據(jù)及DSP數(shù)據(jù)讀取申請(qǐng)信號(hào)。
2. 根據(jù)權(quán)利要求1所述的基于FPGA的視頻圖像預(yù)處理器，其特征在 于所述的圖像預(yù)處理模塊由預(yù)處理流水線模塊和同步信號(hào)處理模塊連接構(gòu) 成，預(yù)處理流水線模塊及同步信號(hào)處理模塊的輸入端分別與視頻圖像數(shù)據(jù)及 同步信號(hào)相連接，預(yù)處理流水線模塊及同步信號(hào)處理模塊的輸出端輸出視頻 圖像數(shù)據(jù)及同步信號(hào)。
3. 根據(jù)權(quán)利要求2所述的基于FPGA的視頻圖像預(yù)處理器，其特征在 于所述的預(yù)處理流水線模塊由曝光調(diào)整處理模塊、降噪濾波處理模塊、白 平衡處理模塊、Bayer圖像插值處理模塊、RGB色彩校正處理模塊、Gamma 校正處理模塊、RGB到Y(jié)CC色彩空間轉(zhuǎn)換處理模塊、邊緣增強(qiáng)處理模塊、對(duì) 比度增強(qiáng)處理模塊以及錯(cuò)誤色彩抑止處理模塊順序連接構(gòu)成。
4. 根據(jù)權(quán)利要求2所述的基于FPGA的視頻圖像預(yù)處理器，其特征在 于所述的同步信號(hào)處理模塊由移位寄存器構(gòu)成，移位寄存器的時(shí)鐘及數(shù)據(jù) 輸入端分別與工作時(shí)鐘及同步信號(hào)相連接，移位寄存器的數(shù)據(jù)輸出端輸出同 步信號(hào)。
5. 根據(jù)權(quán)利要求1所述的基于FPGA的視頻圖像預(yù)處理器，其特征在 于所述的FIFO緩沖模塊由數(shù)據(jù)寬度調(diào)整模塊、FIFO存儲(chǔ)器和FIFO控制模 塊連接構(gòu)成，數(shù)據(jù)寬度調(diào)整模塊的輸入端與圖像預(yù)處理模塊輸出的視頻圖像 數(shù)據(jù)和同步信號(hào)相連接，數(shù)據(jù)寬度調(diào)整模塊的輸出端與FIFO存儲(chǔ)器相連接， FIFO存儲(chǔ)器的一輸出端與FIFO控制模塊連接，F(xiàn)IFO存儲(chǔ)器的另一輸出端輸 出視頻圖像數(shù)據(jù)，F(xiàn)IFO控制模塊的輸出端輸出DSP數(shù)據(jù)讀取申請(qǐng)信號(hào)。
6、 根據(jù)權(quán)利要求5所述的基于FPGA的視頻圖像預(yù)處理器，其特征在于 所述的數(shù)據(jù)寬度調(diào)整模塊由四個(gè)存儲(chǔ)器及數(shù)據(jù)重組模塊構(gòu)成，四個(gè)存儲(chǔ)器的 時(shí)鐘輸入端和使能輸入端分別與工作時(shí)鐘及同步信號(hào)相連接，第四存儲(chǔ)器的 數(shù)據(jù)輸入端與24位視頻圖像數(shù)據(jù)相連接，第四存儲(chǔ)器的數(shù)據(jù)輸出端與第三存 儲(chǔ)器的數(shù)據(jù)輸入端相連接，第三存儲(chǔ)器的數(shù)據(jù)輸出端與第二存儲(chǔ)器的數(shù)據(jù)輸 入端相連接，第二存儲(chǔ)器的數(shù)據(jù)輸出端與第一存儲(chǔ)器的輸入端相連接，四個(gè) 存儲(chǔ)器的數(shù)據(jù)輸出端同時(shí)與數(shù)據(jù)重組模塊相連接，數(shù)據(jù)重組模塊的輸出端輸 出64位視頻圖像數(shù)據(jù)。
7、 根據(jù)權(quán)利要求5所述的基于FPGA的視頻圖像預(yù)處理器，其特征在于所述的FIFO控制模塊由比較器構(gòu)成，F(xiàn)IFO控制模塊的兩個(gè)輸入端分別與 FIFO存儲(chǔ)器已使用數(shù)據(jù)量和預(yù)設(shè)緩沖數(shù)據(jù)量相連接，F(xiàn)IFO控制模塊的輸出端 輸出DSP數(shù)據(jù)讀取申請(qǐng)信號(hào)。
全文摘要
本發(fā)明涉及安全監(jiān)控領(lǐng)域的一種基于FPGA的視頻圖像預(yù)處理器，其技術(shù)特點(diǎn)是該視頻圖像預(yù)處理器由圖像預(yù)處理模塊及FIFO緩沖模塊連接構(gòu)成，圖像預(yù)處理模塊的輸入端與視頻圖像數(shù)據(jù)及同步信號(hào)相連接，F(xiàn)IFO緩沖模塊的輸出端輸出已處理的視頻圖像數(shù)據(jù)及DSP數(shù)據(jù)讀取申請(qǐng)信號(hào)。本發(fā)明實(shí)現(xiàn)了200萬(wàn)以上高分辨率圖像傳感器視頻圖像數(shù)據(jù)的實(shí)時(shí)預(yù)處理功能，解決了DSP進(jìn)行視頻圖像數(shù)據(jù)處理時(shí)存在的視頻采集端口傳輸瓶頸問(wèn)題，并具有實(shí)現(xiàn)簡(jiǎn)便、兼容性強(qiáng)、穩(wěn)定性高、便于修改與升級(jí)的特點(diǎn)，可廣泛應(yīng)用于采用大像素圖像傳感器的視頻監(jiān)控系統(tǒng)。
文檔編號(hào)H04N9/64GK101309430SQ20081005365
公開(kāi)日2008年11月19日 申請(qǐng)日期2008年6月26日 優(yōu)先權(quán)日2008年6月26日
發(fā)明者權(quán)立偉 申請(qǐng)人:天津市亞安科技電子有限公司