本發(fā)明涉及圖像處理、安防、視頻監(jiān)控等相關(guān)領(lǐng)域，尤其涉及一種高分辨率圖像采集與處理裝置。

背景技術(shù)：

隨著計算機視覺與圖像處理技術(shù)的不斷發(fā)展及其應(yīng)用領(lǐng)域的擴大，人們對于高分辨率、高清晰度視頻/圖像的需求也不斷增大。眾所周知，固定分辨率的圖像在經(jīng)過多級放大以后，會出現(xiàn)失真的情況，研究人員針對這種情況，一般有多種改進方案，第一種方案是前端采集的圖像分辨率固定不變，在后端處理的時候采取改進插值算法等措施，使得圖像在一定程度上可以繼續(xù)，使圖像失真保持在一個可以容忍的范圍，但是這種方法的不足之處在于，在圖像繼續(xù)放大到一定倍數(shù)的情況下，還會出現(xiàn)噪點，即馬賽克現(xiàn)象。另外一種改進方法就是通過提高前端ccd/cmos圖像傳感器采集圖像的分辨率，因為分辨率提高，在同尺寸顯示屏幕大小的情況下，每英寸所擁有的像素點數(shù)目越多即密度越高，單位像素點就會比較小，圖像細節(jié)也就會越豐富，所呈現(xiàn)出的清晰度也越高。

目前，傳輸高分辨率圖像多采用串行接口，如lvds(lowvoltagedifferentialsignaling，低電壓差分接口)接口，該接口采用差分傳輸，抗干擾強。每個通道的傳輸速率可達1gb/s，且傳輸距離遠，可實現(xiàn)高速度、低功耗數(shù)據(jù)傳輸。針對視頻圖像處理的主流開發(fā)平臺多采用dsp(digitalsignalprocessor)等處理器，若采用上述第二種改進方法，則需要采用具有高帶寬視頻輸入接口的處理器，而眾多性能相對較低的應(yīng)用處理器，其視頻輸入接口很難滿足高分辨率乃至超高分辨率圖像傳輸像素時鐘的需求，更無法達到實時處理高分辨率圖像的需求。

當前，市場上存在可以直接采集高分辨率圖像的fpga處理器，該處理器性能強大，可擁有高達64通道的lvds接口，高帶寬，可以采集超高分辨率的圖像數(shù)據(jù)，其內(nèi)部集成高性能dsp核，也可以進行相關(guān)算法處理。然而這種芯片最大的不足在于價格昂貴，對于消費領(lǐng)域的產(chǎn)品來說，難以控制產(chǎn)品成本，且研發(fā)難度大。

技術(shù)實現(xiàn)要素：

為了克服已有圖像處理裝置的對高分辨率圖像實時處理的能力較差、適用性較差、靈活性較差的不足，本發(fā)明提供一種實時處理高分辨率圖像、適用性良好、靈活性較高的高分辨率圖像采集與處理裝置。

本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是：

一種高分辨率圖像采集與處理裝置，所述裝置包括圖像獲取模塊、lvds串并轉(zhuǎn)換模塊、數(shù)據(jù)映射模塊、圖像裁剪模塊、多路同步模塊、通信控制模塊、圖像處理模塊、輸出顯示模塊和外設(shè)。

所述圖像獲取模塊，用于配置圖像傳感器的工作參數(shù)；

所述lvds串并轉(zhuǎn)換模塊，用于對lvds每個通道數(shù)據(jù)分別進行解串化，從串行數(shù)據(jù)流中恢復(fù)時鐘信號，并解調(diào)還原數(shù)據(jù)；

所述數(shù)據(jù)映射模塊，用于根據(jù)lvds高速傳輸協(xié)議，將各個差分通道解析出來的各比特數(shù)據(jù)進行對齊、解數(shù)據(jù)幀和組合映射操作；

所述圖像裁剪模塊，用于對高分辨率圖像的裁剪與同步，包括時序控制單元、圖像裁剪單元和存儲單元；

所述時序控制單元，用于為裁剪出來的圖像數(shù)據(jù)添加行、場信號，控制各個異步fifo讀/寫操作以及數(shù)據(jù)選擇；

所述圖像裁剪單元，用于解析和裁剪上述并行數(shù)據(jù)，去除圖像數(shù)據(jù)的非有效數(shù)據(jù)部分，并根據(jù)主處理器的視頻輸入接口所能承受的最大輸入時鐘或帶寬，對各行信號進行分割裁剪操作，最終輸出裁剪后的多路小幀圖像數(shù)據(jù)；

所述存儲單元，用于實現(xiàn)對圖像數(shù)據(jù)進行緩存，用于對映射模塊輸出的圖像數(shù)據(jù)進行暫時的存儲及緩沖，使用異步fifo緩沖實現(xiàn)，以及對裁剪模塊輸出的圖像數(shù)據(jù)進行暫時的存儲及緩沖；

所述多路同步模塊，用于對上述多路小幀圖像數(shù)的同步操作，將同步后的圖像數(shù)據(jù)在同一時間并行傳輸給主處理器的視頻輸入接口；

所述通信控制模塊，用于實現(xiàn)各處理器之間的通信；

所述圖像處理模塊，用于實現(xiàn)圖像縮放處理；

所述輸出顯示模塊，用于實現(xiàn)圖像顯示；

所述外設(shè)包括按鍵控制單元、指示燈、蜂鳴器和串行通信單元。

進一步，所述圖像獲取模塊包括鏡頭，ccd/cmos圖像傳感器，圖像采集單元；所述鏡頭是將拍攝景物在傳感器上成像的器件，由多片透鏡組成；所述ccd/cmos圖像傳感器是將捕捉到的光源信號轉(zhuǎn)化為數(shù)字信號的設(shè)備；所述圖像采集單元由可編程邏輯器件實現(xiàn)，通過對ccd/cmos圖像傳感器的工作參數(shù)進行配置，采集高分辨率的圖像。

再進一步，所述圖像獲取模塊中，所述工作參數(shù)包括輸出的視頻格式、分辨率、幀率、曝光率、增益以及像素輸出頻率。

更進一步，所述通信控制模塊中，主處理器與fpga之間的通信，包括對分辨率和幀率參數(shù)配置要求，通信協(xié)議選用i²cspi或uart。

本發(fā)明的技術(shù)構(gòu)思為：本發(fā)明提出使用fpga等可編程邏輯器件對高分辨率圖像裁剪的方案，通過fpga對高分辨率圖像進行采集、解析、裁剪、同步，以改善主處理器無法采集高分辨率圖像的情況，既可以達到實時處理高分辨率圖像的需求，又可以降低產(chǎn)品成本。

本發(fā)明提供一種基于高分辨率圖像裁剪的方法以適應(yīng)具有低帶寬視頻輸入接口的應(yīng)用處理器。具體來說，該系統(tǒng)根據(jù)應(yīng)用處理器的視頻輸入端口所能承受的最大輸入時鐘頻率/帶寬，通過fpga(現(xiàn)場可編程門陣列)/pld(可編程邏輯器件)/cpld(復(fù)雜可編程邏輯器件)等對高分辨率圖像進行解析及裁剪，再經(jīng)過主處理器(帶有isp的多個應(yīng)用處理器，或者多個isp+帶有多路視頻輸入接口的處理器)對裁剪后的圖像進行相關(guān)處理，最后輸出高清晰度圖像，從而改善顯示畫質(zhì)，提升用戶體驗。

本發(fā)明的有益效果主要表現(xiàn)在：充分利用fpga的并行處理能力，采用面積換速度、串/并轉(zhuǎn)換等思想，實時處理高分辨率的圖像，以適應(yīng)各類具有視頻接口的應(yīng)用處理器，靈活性好。

附圖說明

圖1是本發(fā)明實施例中采集模塊的結(jié)構(gòu)示意圖；

圖2是本發(fā)明實施例中圖像裁剪區(qū)域示意圖；

圖3是本發(fā)明實施例中高分辨率圖像采集/處理裝置的功能框圖；

圖4是本發(fā)明實施例中fpga內(nèi)部功能實現(xiàn)框圖；

圖5是本發(fā)明實施例中待裁剪的原始的h/v信號示意圖；

圖6是本發(fā)明實施例中經(jīng)過裁剪處理后輸出的h/v信號示意圖；

圖7是本發(fā)明實施例中經(jīng)過裁剪處理后輸出的圖像數(shù)據(jù)示意圖；

圖8是本發(fā)明實施例中多路同步原理示意圖；

圖9是本發(fā)明實施例中多路同步模塊具體實現(xiàn)流程圖；

圖10是本發(fā)明實施例中經(jīng)過多路同步模塊同步后的h/v信號和圖像數(shù)據(jù)示意圖；

圖11是本發(fā)明實施例中實現(xiàn)面積與速度互換原則實現(xiàn)示意圖，

具體實施方式

下面結(jié)合附圖對本發(fā)明作進一步描述。

參照圖1～圖11，一種高分辨率圖像采集與處理裝置，包括圖像獲取模塊、lvds串并轉(zhuǎn)換模塊、數(shù)據(jù)映射模塊、圖像裁剪模塊、多路同步模塊、通信控制模塊、圖像處理模塊、輸出顯示模塊和外設(shè)。

所述圖像獲取模塊，其主要作用是配置圖像傳感器的工作參數(shù)，包括輸出的視頻格式、分辨率、幀率、曝光率、增益以及像素輸出頻率等參數(shù)。該模塊主要包括鏡頭，ccd/cmos圖像傳感器，圖像采集單元。

鏡頭是將拍攝景物在傳感器上成像的器件，由多片透鏡組成，鏡頭的好壞直接影響采集圖像的色彩還原性和層次感，鏡頭片數(shù)越多，成像就越真實。

所述ccd/cmos圖像傳感器是一種將捕捉到的光源信號轉(zhuǎn)化為數(shù)字信號的設(shè)備，可以原始數(shù)據(jù)(rawdata)的格式輸出。圖像傳感器是決定圖像質(zhì)量的最關(guān)鍵因素。

所述圖像采集單元也可稱為參數(shù)設(shè)置單元，可由可編程邏輯器件實現(xiàn)。主要通過對ccd/cmos圖像傳感器的工作參數(shù)進行配置，采集高分辨率的圖像。

所述lvds串并轉(zhuǎn)換模塊由fpga供應(yīng)商提供的ip核(intellectualpropertycore)完成，主要實現(xiàn)對lvds每個通道數(shù)據(jù)分別進行解串化，從串行數(shù)據(jù)流中恢復(fù)時鐘信號，并解調(diào)還原數(shù)據(jù)。

所述數(shù)據(jù)映射模塊，其主要作用是根據(jù)lvds高速傳輸協(xié)議，將各個差分通道解析出來的各比特數(shù)據(jù)進行對齊、解數(shù)據(jù)幀、組合映射等操作。該部分主要由ip核完成，最終輸出原始的并行數(shù)據(jù)。

所述圖像裁剪模塊，其主要作用是實現(xiàn)對高分辨率圖像的裁剪與同步。該模塊主要包括時序控制單元，圖像裁剪單元，存儲單元。

所述時序控制單元，其主要作用是為裁剪出來的圖像數(shù)據(jù)添加行、場信號，控制各個異步fifo讀/寫操作以及數(shù)據(jù)選擇。

所述圖像裁剪單元，其主要作用是解析和裁剪上述并行數(shù)據(jù)(剔除傳感器中出來的ob(光學(xué)黑區(qū))和dummy(啞元)的數(shù)據(jù))，去除圖像數(shù)據(jù)的非有效數(shù)據(jù)部分，并根據(jù)主處理器的視頻輸入接口所能承受的最大輸入時鐘或帶寬，對各行信號進行分割裁剪操作，最終輸出裁剪后的多路小幀圖像數(shù)據(jù)。

所述存儲單元，其主要作用是實現(xiàn)對圖像數(shù)據(jù)進行緩存。用于對映射模塊輸出的圖像數(shù)據(jù)進行暫時的存儲及緩沖，該部分主要使用異步fifo(firstinfirstout，先進先出隊列)緩沖實現(xiàn)，以及對裁剪模塊輸出的圖像數(shù)據(jù)進行暫時的存儲及緩沖，該部分使用同步fifo實現(xiàn)。

所述多路同步模塊，其主要作用是實現(xiàn)對上述多路小幀圖像數(shù)的同步操作，將同步后的圖像數(shù)據(jù)在同一時間并行傳輸給主處理器的視頻輸入接口。

所述通信控制模塊，其主要作用是各處理器之間的通信。尤其指主處理器(主設(shè)備)與fpga(從設(shè)備)之間的通信。包括對分辨率、幀率等參數(shù)配置要求等等。通信協(xié)議可選用i²c(inter－integratedcircuit，i²c總線)，spi(serialperipheralinterface)，uart(universalasynchronousreceiver/transmitter)等。

所述圖像處理模塊，其主要作用是實現(xiàn)圖像縮放等圖像處理算法。

所述輸出顯示模塊，其主要作用是實現(xiàn)圖像顯示，如液晶顯示器或者hdmi等帶有視頻輸出接口的顯示設(shè)備。

所述外設(shè)，主要包括按鍵控制單元、指示燈、蜂鳴器、串行通信單元等。

如圖1所示，為本采集模塊的結(jié)構(gòu)示意圖，攝像頭實際采集幀幀中采集物理區(qū)域的大小根據(jù)攝像頭所處的水平面與采集區(qū)域的水平面之間的垂直距離確定，距離越大采集范圍越大。

如圖2所示，為本發(fā)明實施例中圖像裁剪區(qū)域示意圖，根據(jù)主處理器的視頻輸入接口所能承受的最大輸入像素時鐘fpclk，計算最少需要裁剪的個數(shù)s＝fp/fpclk，其中，s為整數(shù)，fp為原始的像素時鐘。圖中陰影部分指裁剪出來的相鄰兩路圖像的重疊區(qū)域。

值得說明的是，如圖2所示，為解決裁剪后小幀圖像邊界明顯、邊界顏色差異的問題，對于輸出yuv等格式的數(shù)據(jù)，需要根據(jù)碼流存放的格式進行裁剪，以便于后端isp進行相關(guān)圖像處理，因此每路圖像的行分辨率(即裁剪長度)并非均勻的m/s。具體來說，每行第一路像素為原始圖像的第1到第(m/s+z)個像素，每行第二路像素為原始圖像的第(m/s-z)到第(2m/s+z)個像素，每行第三路像素為原始圖像的第(2m/s-z)到第(3m/s+z)個像素，…，每行第s路像素為原始圖像的第(s-z)到第s個像素，最終，相鄰小幀圖像邊界像素重合，保證不會丟失邊界的亮度/色度信息。例如：yuv422(yuyv排列)格式，每個像素點占2個字節(jié)，存放的碼流順序為:y0u0y1v1y2u2y3v3，…，則使z取1即可。為方便理解和計算，下文假設(shè)每行每路裁剪的像素數(shù)均為m/s個，因此下文所有提到的裁剪長度m/s需要分別對應(yīng)上述實際分割出來的像素數(shù)量。

如圖3所示，為實現(xiàn)整個高分辨率圖像采集/處理裝置的功能框圖。

該裝置及方法的核心部分通過fpga實現(xiàn)，其具體工作方式如下：

實施例1：

如圖4所示，為fpga內(nèi)部功能實現(xiàn)框圖，主要模塊包括lvds_video_rx模塊串并轉(zhuǎn)換模塊a，信號映射rx_signal_mapping模塊b，裁剪模塊c，多路同步模塊d。

lvds_video_rx模塊a主要由fpga供應(yīng)商提供的ip核完成，如lattice的iddrx核、altera的atllvds核等。由于各個通道的差分數(shù)據(jù)傳輸路徑不同(如pcb走線長度等)，最終導(dǎo)致通道之間出現(xiàn)傳輸延遲，因此，必須要根據(jù)lvds視頻傳輸?shù)膮f(xié)議，分別對每個差分通道傳輸?shù)谋忍亓鬟M行解串，該模塊正是實現(xiàn)單獨通道的解串化，輸出多路并行數(shù)據(jù)，根據(jù)對sensor的配置決定數(shù)據(jù)寬度如8bit或10bit。

rx_signal_mapping模塊b也可參考fpga供應(yīng)商提供的解決方案完成，主要作用是根據(jù)lvds高速傳輸協(xié)議，將接收模塊對各個差分通道解析出來的數(shù)據(jù)進行位對齊、解數(shù)據(jù)幀、組合映射等操作，最終輸出標準格式的并行圖像數(shù)據(jù)。

如圖5所示，為rx_signal_mapping模塊輸出的原始的h/v信號；rx_signal_mapping模塊將輸出m×n分辨率的圖像(有效像素數(shù))，其中m為水平分辨率，表示水平方向上有m個像素點；n為垂直分辨率，表示垂直方向上有n個像素點(n行)，并行raw格式hs/vs分別為原始的行、場信號，fp為該模塊輸出的原始的像素時鐘。

值得說明的是，lvds解串化是一個復(fù)雜的任務(wù)，fpga供應(yīng)商提供的ip核并局限于上述兩個模塊，這里只是根據(jù)該裝置的特點，列舉了其中兩個關(guān)鍵模塊，比如bit_alignment等模塊在這里雖未說明，但也是實現(xiàn)該裝置不可或缺的部分，都是實現(xiàn)lvds轉(zhuǎn)并行數(shù)據(jù)的必要模塊。

以上是對本實施例1中實現(xiàn)lvds串并轉(zhuǎn)換的基本組成模塊的簡要闡述。下面再對如何實現(xiàn)像素級圖像裁剪進行詳細說明。

所述裁剪模塊c主要采用s個異步fifo(afifo)實現(xiàn)，采用邊寫邊讀的方式，通過利用fpga內(nèi)部有限的存儲資源，進行逐行逐像素操作，主要采用內(nèi)部計數(shù)的方式，把解串后的數(shù)字視頻信號進行行同步提取，最終輸出s路分辨率為m/s×n的圖像。

異步fifo所需的最小深度值計算如下：

上述公式定義如下：

異步fifo深度afifo_depth：指該異步fifo可以存儲多少個n位的數(shù)據(jù)；

寫時鐘頻率w_clk：寫操作所遵循的時鐘，在每個時鐘沿來臨時寫入數(shù)據(jù)；

讀時鐘頻率r_clk：讀操作所遵循的時鐘，在每個時鐘沿來臨時讀出數(shù)據(jù)；

在寫時鐘周期里，每b個時鐘周期會有a個數(shù)據(jù)寫入afifo；

在讀時鐘周期里，每y個時鐘周期會有x個數(shù)據(jù)讀出afifo。

異步fifo的寬度n：一次讀寫操作的數(shù)據(jù)位；

本系統(tǒng)中異步fifo寬度n為10bit；寫時鐘頻率w_clk是讀時鐘頻率r_clk的s倍，即：w_clk＝r_clk×s，w_clk＝fp，其中，fp為像素時鐘；突發(fā)長度burst_length＝m/s。表示將一行m個10bit像素分成s份，即每包數(shù)據(jù)量為10m/s比特；每m/s個寫時鐘周期會有m/s個數(shù)據(jù)寫入afifo，每m/s個讀時鐘周期也會有m/s個數(shù)據(jù)讀出afifo；

即：

值得說明的是，為準確檢測空、滿狀態(tài)，避免不同時鐘域中可能出現(xiàn)的亞穩(wěn)態(tài)問題，需要采用格雷碼計數(shù)方式，那么該異步fifo的最小深度要設(shè)置為大于上述深度計算值的2的冪次方。

裁剪單元總體思路如下：

首先根據(jù)主處理器的視頻輸入接口所能承受的最大輸入時鐘頻率，計算出所需要分割的份數(shù)s，對水平方向的數(shù)據(jù)進行裁剪，逐行操作。

該模塊一邊接收rx_signal_mapping模塊輸出的圖像數(shù)據(jù)，一邊以w_clk(等于fp)的寫時鐘頻率將需要裁剪的該行第1路數(shù)據(jù)寫入buffer，緊接著順序把buffer中的m/s個10bit并行數(shù)據(jù)讀出；寫完該行第1路之后，緊接著開始寫入該行第2路數(shù)據(jù)，…，反復(fù)操作。并發(fā)地，配置buffer的讀時鐘r_clk為w_clk的s分頻，以讀時鐘的節(jié)拍上述每個buffer進行讀操作，此時，讀寫同時以各自的頻率操作。

并發(fā)地，計數(shù)器單元與控制單元開始工作。

計數(shù)器單元的目的是計算該行每小段寫入異步fifo的數(shù)據(jù)量，即保證每行裁剪出來的像素均為m/s個；

時序控制單元的目的是控制各個異步fifo讀寫指令，并選擇寫入各個異步fifo的數(shù)據(jù)，同時該控制單元將產(chǎn)生s路小幀圖像對應(yīng)的行、場信號，以及為s路小幀圖像添加對應(yīng)的幀開始/結(jié)束標志。

具體實施流程如下：

第1幀第1行：

裁剪單元先檢測到vs的上升沿信號，后檢測到hs的上升沿信號(假設(shè)行、場信號均是高電平數(shù)據(jù)有效)。首先當hs上升沿信號來臨，開始對afifo_a1進行寫操作，同時以寫時鐘頻率的1/s(即r_clk)讀出，等到寫入m/s個像素，開始跳到下一個異步fifo，讀使能保持有效；

同樣地，將第m/s+1到第2m/s個像素寫入afifo_a2，同時以讀時鐘r_clk讀出；

直到檢測到hs的下降沿信號時(此時vs一直是高電平)，停止寫操作，計數(shù)器清零。此時對afifo_as寫操作完成，表示一行數(shù)據(jù)已經(jīng)全部等份寫入s個異步fifo。

此時讀操作仍在進行，其中fifo_a1剛好讀空；fifo_a2已經(jīng)讀出m(s-1)/s²個數(shù)據(jù)，即fifo_a2里還有m/s²個數(shù)據(jù)未讀出；fifo_a3已經(jīng)讀出m(s-2)/s²個數(shù)據(jù)，即fifo_a3還有2m/s²個數(shù)據(jù)未讀出，同樣地，此時fifo_as里面還有m(s-1)/s²個數(shù)據(jù)未讀出。按照上述流程對異步fifo進行讀寫操作，永遠不會出現(xiàn)寫滿的情況。

第1幀第2行：

當再次檢測到hs的上升沿信號時，表示已經(jīng)開始進行下一行圖像數(shù)據(jù)的緩沖，此時再啟動寫操作，繼續(xù)用計數(shù)器打拍，控制讀寫指令。同上述第1行的操作流程，陸續(xù)向afifo_a1-afifo_as中寫數(shù)據(jù)；

反復(fù)操作，直到該裁剪單元檢測到vs的下降沿信號時，表示已完成一幀圖像的寫操作，但此時讀操作仍在進行，等到所有afifo都讀空，表示已完成一幀圖像的讀操作。此時，即完成裁剪模塊第1幀圖像的并行輸出。

第2幀：

當裁剪模塊再次檢測到vs的上升沿信號，后檢測到hs的上升沿信號時，啟動寫操作，分別對應(yīng)往上述afifo中寫數(shù)據(jù)，開始進行第2幀圖像的讀寫，如此反復(fù)，形成整個動態(tài)流水線的讀寫操作。

如圖6所示，為經(jīng)過裁剪模塊裁剪后輸出的h/v信號效果示意圖；

如圖7所示，為經(jīng)過裁剪模塊裁剪后輸出的圖像數(shù)據(jù)效果示意圖；

然而正如圖6和圖7所示，通過裁剪模塊輸出的s個小幀圖像，輸出各幀圖像起點不同，顯然不是同步輸出的。其中，相鄰的小幀圖像最多會相差1/s行，首個小幀圖像與第s個小幀圖像最多相差s-1/s行。因此，為保證這s路圖像嚴格同步輸出到后端isp模塊，就要對這些小幀圖像進行多路同步操作。

所述多路同步模塊d主要采用(s-1)個同步fifo(sfifo)實現(xiàn)。

該同步fifo的讀寫時鐘相等，等于裁剪單元的異步fifo讀時鐘，即fp/s；

所述同步fifo寬度分別為10bit，20bit，......，10(s-1)bit；

所述同步fifo最小深度計算公式如下：

如圖8所示，為s路圖像同步模塊實現(xiàn)原理框圖。

如圖9所示，為s路圖像同步具體實施流程圖。

結(jié)合圖8和圖9，介紹多路同步模塊具體實現(xiàn)的流程如下：

首先將第一路超前的行數(shù)據(jù)寫入sfifo1，等到檢測到下一個行信號時，再從sfifo1中讀出，兩路行數(shù)據(jù)合并到一起；然后作為下一個超前的行數(shù)據(jù)，寫入sfifo2；檢測到第三個行信號上升沿，從sfifo2讀出，…，如此反復(fù)操作，最終合成高位寬的數(shù)據(jù)流。

如圖8所示，首先將10bita1與10bita2同步，整合成1通道20bita_1_2，其中高10位是a2的圖像數(shù)據(jù)，低10位是a1的圖像數(shù)據(jù)；同樣地，將a_1_2與a3整合成1通道30bita_1_2_3，...，直到合成10sbit的數(shù)據(jù)流；最終同步后的行、場信號會以第s小幀圖像的行、場信號為基準。

pix_assign模塊的主要作用是同步發(fā)送s通道數(shù)據(jù)流。以每10bit為1個通道，利用fpga的并行處理能力，從低位到高位，同時將上述整合的10sbit分離出s路10bit小幀圖像的數(shù)據(jù)。該模塊輸出的s路視頻完全同步，并行輸出到后端isp再進行相關(guān)處理。

如圖10所示，為s路圖像同步后的h/v信號和圖像數(shù)據(jù)效果示意圖。

實施例2：

實施例2主要針對超高分辨率圖像的采集預(yù)處理，主要在裁剪單元和時序控制單元與實施例1存在不一致。

針對超高分辨率圖像的采集及處理，由于其數(shù)據(jù)吞吐量很大，需要的并行像素同步時鐘也很大，因此對內(nèi)部無法支持高讀寫速率fifo的fpga，需要采用面積速度互換原則。

如圖11所示，將原本一個時鐘周期完成的較大的邏輯通過合理的切割后，由多個時鐘周期完成，用多倍的邏輯資源來實現(xiàn)同樣的功能，從而滿足數(shù)據(jù)的吞吐量要求。在該系統(tǒng)中，需將上述實施方式一的裁剪單元中每個異步fifo單元替換成用y個同步fifo，即總共需要s×y個同步fifo替代s個異步fifo。其中，每個同步fifo的讀寫時鐘頻率均為fp/y，即采樣時鐘頻率相同，但是相鄰采樣時鐘相位偏移360/y度，其主要目的是保證在每個并行像素時鐘fp的上升沿進行采樣。

圖11中數(shù)據(jù)選擇控制單元的主要作用是完成緩沖區(qū)的選擇，控制寫入/讀出的時序以及寫入的數(shù)據(jù)，并生成對應(yīng)小幀圖像的行、場信號。采用這種面積換速度的方法可充分利用fpga的并行性，雖然消耗了更多的內(nèi)部存儲資源，但是降低了寄存器間的傳播延時，保證了數(shù)據(jù)吞吐量不變，同時也提高了系統(tǒng)的穩(wěn)定性。

實施例2的具體實施流程如下：

首先根據(jù)fpga內(nèi)部fifo能夠承受的最大輸入時鐘，設(shè)置y的取值，然后設(shè)置這y個同步fifo需要的最小深度值。計算如下：

首先，采用串/并轉(zhuǎn)換的方法，邊寫邊讀，將第1個像素存儲到sfifo1，第2個像素存儲到sfifo2，…，第y個像素存儲到sfifoy；第y+1個像素存儲到sfifo1，…，直到向同步fifo中寫入第m/s個數(shù)據(jù)，表示完成該行第1路裁剪像素的寫入；

對該行下一段數(shù)據(jù)進行同樣的操作，…，直到完成第s路的讀寫，表示已完成第一行像素的緩沖。其中，在寫入上述sfifo的同時，需以占空比為1/y的讀使能信號陸續(xù)將s路數(shù)據(jù)讀出。

此時，該行第一段的y個同步fifo剛好讀空，該行第二段的y個同步fifo均已讀出2/y的像素，…，該行第s段的y個同步fifo均已讀出1/y的像素；同樣地，對剩余行的數(shù)據(jù)根據(jù)同樣的流程操作，直到完成第n行的數(shù)據(jù)讀寫，表示完成1幀圖像在不同時鐘域的數(shù)據(jù)緩沖。反復(fù)操作，最終可輸出像素點間隔y的s×y路圖像數(shù)據(jù)。

將上述s路y個位寬10bit的并行數(shù)據(jù)轉(zhuǎn)換為單路位寬為10bit串行數(shù)據(jù)流，最終輸出多路小幀圖像。

將上述輸出的多路小幀圖像數(shù)據(jù)輸出到多路同步模塊，該部分實施流程和上述實施方式一中的多路同步模塊實施流程相同，不再贅述。

實施例3

實施例3與實施例1相似，都是采取s個異步fifo進行不同時鐘域的數(shù)據(jù)緩沖，主要在時序控制單元與實施方式一存在不一致。實施方式一是對s個異步fifo的進行邊寫邊讀操作，實施方式三則采取先寫后讀的方式。

實施例3的具體實施流程如下：

首先，以w_clk(等于fp)的寫時鐘頻率將需要裁剪的該行第1路數(shù)據(jù)寫入異步fifo，此時讀使能置為無效，然后陸續(xù)寫入該行第2路數(shù)據(jù)，…，直到寫入該行第s路第一個數(shù)據(jù)時，同時對這s個異步fifo使能讀操作，將該行s路圖像數(shù)據(jù)同時讀出來，以此保證多路數(shù)據(jù)的同步。

針對其他行的數(shù)據(jù)進行同樣操作，直到完成第n行第s路的數(shù)據(jù)讀寫，表示完成1幀圖像在不同時鐘域的數(shù)據(jù)緩沖。反復(fù)操作即可輸出多路小幀視頻。

事實上，實施例3所需要用的s個異步fifo的容量均不相同，其中每行第一個異步fifo所需要的容量最大，其最小深度計算如下：

因此，實施例3中使用的s個異步fifo的總?cè)萘勘葘嵤├?中的s個異步fifo總?cè)萘恳蠛芏?，但是實施?的優(yōu)點在于s個異步fifo輸出的多路數(shù)據(jù)已經(jīng)同步，無需多路同步模塊，即可直接輸出到后端isp。值得一提的是，與實施例3相比，在上述實施例1的多路同步模塊中，使用的同步fifo的位寬逐漸加倍，因此在需要裁剪很多路的情況下，同樣也會出現(xiàn)占用資源高的情況。但從整個系統(tǒng)的成本及實際應(yīng)用的角度考慮，不會分成太多路，因此，該裝置中的實施例1為優(yōu)選實施方式。

以上是對本裝置的介紹，至此，完成本發(fā)明裝置及方法的具體實施方式說明。

最后說明的是，以上優(yōu)選實施例僅用以說明本發(fā)明的技術(shù)方案而非限制，盡管通過上述優(yōu)選實施例已經(jīng)對本發(fā)明進行了詳細的描述，但本發(fā)明并不限于以上實施例，還可以有許多變形。本領(lǐng)域技術(shù)人員應(yīng)當理解，本發(fā)明本領(lǐng)域的普通技術(shù)人員能從本發(fā)明公開的內(nèi)容直接導(dǎo)出或聯(lián)想到的所有變形，均應(yīng)認為是本發(fā)明的保護范圍。