一種圖像采集幀率自適應(yīng)調(diào)整裝置的制造方法
【專利摘要】本發(fā)明公開了一種圖像采集幀率自適應(yīng)調(diào)整裝置，該裝置包括相互通信的分光圖像采集系統(tǒng)以及圖像處理系統(tǒng)，其中分光圖像采集系統(tǒng)主要包括第一傳感器以及第二傳感器，還包括用于將從鏡頭采集的攜帶圖像信息的光束分成強(qiáng)度相同或相似的兩束光束的分光元器件，第一傳感器以及第二傳感器(5)分別于第一FPGA處理器連接；圖像處理系統(tǒng)包括用于與第一FPGA處理器通信的第二FPGA處理器，第二FPGA處理器通過SRIO芯片與多個并行DSP處理器連接；第二FPGA處理器還通過Intel板卡與外界交互式設(shè)備相連。按照本發(fā)明實現(xiàn)的圖像采集幀率自適應(yīng)調(diào)整裝置，能夠顯著地提高圖像采集處理的速度和能力，從而達(dá)到微秒級的超高速處理速度。
【專利說明】
一種圖像采集幀率自適應(yīng)調(diào)整裝置
技術(shù)領(lǐng)域
[0001] 本發(fā)明屬于數(shù)字圖像采集與處理領(lǐng)域，更具體地，涉及一種圖像采集幀率自適應(yīng) 調(diào)整裝置。
【背景技術(shù)】
[0002] 高速視覺系統(tǒng)在基礎(chǔ)科學(xué)、軍事應(yīng)用、工業(yè)應(yīng)用等領(lǐng)域具有越來越廣泛的應(yīng)用。隨 著對視覺系統(tǒng)高幀率、高精度、實時性的要求越來越高，依靠現(xiàn)有的提高讀寫速度來提高幀 率的方法存在一系列缺陷：（1)圖像采集系統(tǒng)幀率的提升總會存在提升上限，很難完全滿足 超高速測量要求；（2)幀率的提升也意味著更大的數(shù)據(jù)計算量，這也會使系統(tǒng)更難達(dá)到實時 性要求；（3)對于在圖像采集過程中，速度變化范圍較大的運(yùn)動物體，幀率的過高與過低都 會對測量與處理結(jié)果產(chǎn)生影響。
[0003] 其中在高速視覺系統(tǒng)中應(yīng)用的較多的一種技術(shù)是分光跨幀技術(shù)，其是一種利用多 個光學(xué)成像單元按照特定時序要求采集多幅圖片并將圖片整合的技術(shù)。成像單元按照設(shè)定 時間序列依次曝光采集圖片，采集到的圖片之間具有特定的時序關(guān)系，通過數(shù)字圖像處理 技術(shù)即可分析出相鄰兩張圖片的運(yùn)動特征關(guān)系。
[0004] 現(xiàn)有的圖像采集系統(tǒng)一般都是基于一種開環(huán)控制的采集系統(tǒng)，即采集過程中采集 幀率固定，這對于速度實時變化的運(yùn)動測量具有一定的局限性，即圖像采集速度相對于物 體運(yùn)動速度過快或者過慢都會對測量結(jié)果造成一定影響:測量速度相對于物體和運(yùn)動速度 過快，會造成數(shù)據(jù)量過大且相鄰圖像對位移過小無法計算;測量速度相對于物體運(yùn)動速度 過慢，同一物體可能運(yùn)動出測量區(qū)域，導(dǎo)致無法計算運(yùn)動速度。因此，需要提出一種手段來 解決上述問題。

【發(fā)明內(nèi)容】

[0005] 針對現(xiàn)有技術(shù)的以上缺陷或改進(jìn)需求，本發(fā)明提供了一種，其目的在于提供一種 圖像采集幀率自適應(yīng)調(diào)整裝置及方法，由此解決幀間間隔實時可調(diào)、圖像數(shù)據(jù)實時化處理 的特點(diǎn)的技術(shù)問題。
[0006] 為實現(xiàn)上述目的，按照本發(fā)明的一個方面，提供了一種圖像采集幀率自適應(yīng)調(diào)整 裝置，其特征在于，該裝置包括相互通信的分光圖像采集系統(tǒng)以及圖像處理系統(tǒng)；
[0007] 其中所述分光圖像采集系統(tǒng)主要包括第一傳感器以及第二傳感器，還包括用于將 從鏡頭采集的攜帶圖像信息的光束分成強(qiáng)度相同或相似的兩束光束的分光元器件，所述第 一傳感器以及第二傳感器分別與第一 FPGA處理器連接；
[0008] 所述圖像處理系統(tǒng)包括用于與所述第一 FPGA處理器通信的第二FPGA處理器，所述 第二FPGA處理器通過SRIO芯片與多個并行DSP處理器連接；所述第二FPGA處理器還通過 Intel板卡與外界交互式設(shè)備相連。
[0009] 進(jìn)一步地，所述DSP處理器計算采樣幀率的時間間隔之間的兩張圖像中的目標(biāo)的 運(yùn)動位移，獲得所述目標(biāo)當(dāng)前運(yùn)動速度，并且估算下一采樣幀率的時刻內(nèi)所述目標(biāo)的運(yùn)動 速度，從而根據(jù)所述運(yùn)動速度計算所述下一采樣幀率發(fā)送于所述第一 FPGA處理器，控制所 述兩個傳感器的按所述采樣幀率分時曝光，由此實現(xiàn)所述圖像采集幀率的自適應(yīng)調(diào)整。
[0010] 進(jìn)一步地，所述目標(biāo)的下一采樣幀率的運(yùn)動速度的估計主要包括如下步驟:所述 目標(biāo)的在該估計運(yùn)動速度下，在未調(diào)整的所述采樣幀率下的運(yùn)動位移使得所述目標(biāo)不移出 所述兩個傳感器的圖像采集范圍之外。
[0011] 總體而言，通過本發(fā)明所構(gòu)思的以上技術(shù)方案與現(xiàn)有技術(shù)相比，能夠取得下列有 益效果：
[0012] 提出了一種能夠?qū)崿F(xiàn)圖像采集幀率自適應(yīng)調(diào)整的整體系統(tǒng)，在這個系統(tǒng)中，采用 設(shè)計好的計算處理框架來實現(xiàn)數(shù)據(jù)的處理，從而能夠顯著地提高圖像采集處理的速度和能 力，從而達(dá)到微秒級的超高速處理速度。
【附圖說明】
[0013] 圖1是按照本發(fā)明實現(xiàn)的圖像采集幀率自適應(yīng)調(diào)整裝置的架構(gòu)圖；
[0014] 圖2是按照本發(fā)明實現(xiàn)的圖像采集幀率自適應(yīng)裝置信號流與圖像數(shù)據(jù)流；
[0015] 圖3是按照本發(fā)明實現(xiàn)的圖像采集幀率自適應(yīng)裝置的自適應(yīng)調(diào)整控制環(huán)路；
[0016] 圖4是按照本發(fā)明實現(xiàn)的可擴(kuò)展分布式處理器架構(gòu)。
[0017] 在所有附圖中，相同的附圖標(biāo)記用來表示相同的元件或結(jié)構(gòu)，其中：
[0018] 1-濾光片，2-半透半反鏡，3-反射鏡，4-傳感器1，5-傳感器2
【具體實施方式】
[0019] 為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖及實施例，對 本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實施例僅僅用以解釋本發(fā)明，并 不用于限定本發(fā)明。此外，下面所描述的本發(fā)明各個實施方式中所涉及到的技術(shù)特征只要 彼此之間未構(gòu)成沖突就可以相互組合。
[0020] 為了實現(xiàn)采集系統(tǒng)曝光時間的實時控制，需要對采集到的圖片數(shù)據(jù)進(jìn)行實時處 理，然后根據(jù)計算得到的當(dāng)前速度計算出下一時刻曝光時間間隔?；趫D片實時處理結(jié)果 對圖片的實時采集進(jìn)行控制就是本發(fā)明的主要解決的問題。
[0021] 圖像處理速度的實時性就要求圖像處理速度低于相鄰兩幀圖片采集時間間隔，單 純使用PC(Personal Computer)的圖像處理系統(tǒng)已經(jīng)很難滿足上述需求。而FPGA(Field Programmable Gate Array)的并行處理能力與流水線技術(shù)能夠顯著提高圖像處理的速度。 因此，使用FPGA作為嵌入式圖像處理器能夠很好地滿足圖像高速處理的要求。
[0022]基于FPGA的圖像處理是一種結(jié)合軟件與硬件的應(yīng)用，開發(fā)難度較大，且FPGA對串 行化程度較高的算法及其運(yùn)算效率并沒有顯著提高。而采用基于多核架構(gòu)的DSP作為系統(tǒng) 協(xié)處理器，可以很好協(xié)調(diào)設(shè)計難度與處理速度的關(guān)系，并減小由于復(fù)雜算法對FPGA邏輯資 源的浪費(fèi)。
[0023] 處理器之間采用基于SRKKSerial RapidIO)協(xié)議的分布式處理器架構(gòu)進(jìn)行通信。 更具體地，采用高性能FPGA作為系統(tǒng)主處理器，兩個多核DSP作為系統(tǒng)協(xié)處理器，采用SRIO 數(shù)據(jù)交換芯片作為連接各個處理器包括FPGA及DSP的數(shù)據(jù)中心?；诜植际教幚砥骷軜?gòu)的 處理系統(tǒng)設(shè)計具有很好的處理器擴(kuò)展能力，例如在DSP處理器的并行處理上經(jīng)過簡單的擴(kuò) 展即可實現(xiàn)數(shù)據(jù)的高速處理能力
[0024]如圖1所示，外界光束通過鏡頭的聚焦和濾光片1的濾波，投射到半透半反鏡2上， 半透半反鏡2的透過率與反射率之比為50:50，此時，一束光分為光束A和光束B兩束能量相 同的光束。光束A直接聚焦到傳感器1上，光束B投射到過一個全反射鏡3生成光束C，光束C被 聚焦到傳感器2上，在光路設(shè)計中要保證投射到兩個傳感器1和2上的光束所經(jīng)過的光路等 長，因此在本裝置中需要設(shè)計一個可多自由度微調(diào)的光學(xué)調(diào)整平臺，調(diào)節(jié)誤差要小于0.1像 素誤差。
[0025]圖像處理系統(tǒng)產(chǎn)生初始觸發(fā)信號，并將初始觸發(fā)信號通過高速傳輸接口發(fā)送到圖 像采集系統(tǒng)，圖像采集系統(tǒng)控制兩個傳感器分時曝光，兩個傳感器開始分時進(jìn)行圖像采集， 兩傳感器之間初始采集時間間隔為A tl。采集到的具有△ t時間間隔的兩幅圖像數(shù)據(jù)依次 送到采集系統(tǒng)控制器FPGAl JPGAl控制器對圖像完成濾波和鏡像矯正等預(yù)處理操作，兩組 圖像數(shù)據(jù)通過高速低延遲傳輸協(xié)議Camera-1 ink協(xié)議發(fā)送到高速圖像處理系統(tǒng)，Camera-1 ink協(xié)議采用Ful 1模式進(jìn)行傳輸，最高傳輸速度達(dá)到7.8Gbps。
[0026]高速圖像處理系統(tǒng)接收到圖像數(shù)據(jù)，并對圖像數(shù)據(jù)進(jìn)行預(yù)處理和處理操作，其中 預(yù)處理算法等并行性較高且復(fù)雜度相對較低的算法主要由FPGA2完成，運(yùn)動速度計算和速 度預(yù)測算法等復(fù)雜度較高的算法由兩個DSP處理器完成。FPGA2同時負(fù)責(zé)圖像數(shù)據(jù)的分配功 能，將圖像數(shù)據(jù)分配成兩組并行數(shù)據(jù)，然后將兩組數(shù)據(jù)分別傳輸?shù)絻蓚€并行多核DSP，F(xiàn)PGA 與DSP之間基于SRIO的高速通信連接，可實現(xiàn)最高20Gbps的傳輸速率。在本實施方式中，復(fù) 雜度較低的算法類別指的是高斯濾波、二值化等實現(xiàn)簡單、運(yùn)算量大、實時性高的處理算 法，而復(fù)雜度較高的算法類別指的是光流法、遞歸算法等。
[0027] DSP處理器根據(jù)數(shù)字圖像分析技術(shù)，可以算出At時間間隔中兩張圖片的運(yùn)動位 移，從而獲得物體當(dāng)前運(yùn)動速度，并根據(jù)速度預(yù)測算法估算出下一時刻物體運(yùn)動速度，從而 根據(jù)速度計算出下一時刻兩個傳感器較合適的采集時間間隔A t2。然后將△ t2傳輸?shù)綀D像 采集板卡控制傳感器第二次分時曝光，按照此種方式，不斷完成圖像的分時采集、傳輸、實 時處理和采集間隔調(diào)整功能。具體地，在上述的圖像處理實施方式中，主要通過以下的方式 來完成:高速圖像處理裝置對獲得的圖像數(shù)據(jù)實時處理，獲得此時被測物體速度V 1，并通過 卡爾曼預(yù)測算法根據(jù)此時速度預(yù)測下一時刻物體運(yùn)動速度V ' 2，根據(jù)預(yù)測結(jié)果，物體在該估 計運(yùn)動速度運(yùn)動下，在未調(diào)整的采樣幀率下的運(yùn)動位移使得物體不移出所述兩個傳感器的 圖像采集范圍之外，在一些實施例中，通常通過限定該物體可能發(fā)生的位移距離A s閾值來 獲取調(diào)整幀率，即&決定下一時刻采集系統(tǒng)兩幅圖片之間的時間間隔At2,例如，在 V, 流場測量領(lǐng)域，流場粒子在相鄰兩幀圖片中的位移不能超出1/4查詢窗口；在運(yùn)動追蹤領(lǐng) 域，被測物體在相鄰兩幀圖片中不能超出視野范圍。然后高速圖像處理系統(tǒng)控制， 分光與圖像采集系統(tǒng)中的FPGA1，由其產(chǎn)生觸發(fā)信號觸發(fā)傳感器分時采集，即At2通過查表 法將調(diào)節(jié)參數(shù)通過cameralink傳送至FPGAl產(chǎn)生對應(yīng)的兩路相隔△ t2的觸發(fā)信號控制相機(jī) 曝光，下一時刻的傳感器按照計算出的時間間隔進(jìn)行曝光。按照以上采集圖像幀率的自適 應(yīng)調(diào)整方式，實現(xiàn)整個圖像系統(tǒng)幀率實時調(diào)整從而實現(xiàn)每一幀圖像的采集由此完成。
[0028]如圖2所示，是按照本發(fā)明實現(xiàn)的系統(tǒng)控制信號流與圖像數(shù)據(jù)流的流向圖，其中 FPGA硬件的處理部分主要包括圖像采集模塊以及圖像預(yù)處理與采集控制模塊，而兩個部分 的DSP主要實現(xiàn)圖像處理模塊的功能。
[0029] 如圖3所示，是按照本發(fā)明實現(xiàn)的整體的自適應(yīng)調(diào)整控制環(huán)路的控制環(huán)路的控制 流向示意圖，為了保證系統(tǒng)的實時性，每次采集的圖像數(shù)據(jù)在圖像處理系統(tǒng)中所消耗的時 間要小于兩次采集的時間間隔，并在該時間內(nèi)完成觸發(fā)信號的生成與傳輸，以此保證系統(tǒng) 幀間間隔的實時可調(diào)。因此，基于圖像的高速采集與處理技術(shù)，在保證實時采集與處理的基 礎(chǔ)上實現(xiàn)幀間間隔實時調(diào)整是本發(fā)明的闡述重點(diǎn)之一。
[0030] 為了保證系統(tǒng)觸發(fā)的精確性，在圖像采集裝置中設(shè)計了高精度延時模塊，采用高 精度延時芯片DS1100L完成時間間隔脈沖信號的高精度控制，最高控制精度可達(dá)4ns。
[0031] 如圖4,本發(fā)明采用基于SRIO交換芯片的分布式處理器架構(gòu)，因為具體采用的SRIO 交換芯片為80HCPS1848，支持48路SRIO通道，所以，只需要添加相應(yīng)的擴(kuò)展計算板卡到相應(yīng) 的SRIO接口上就可以提升整個系統(tǒng)的計算能力，因此，本發(fā)明可支持后期系統(tǒng)計算能力的 擴(kuò)充。
[0032] 在高速視覺系統(tǒng)應(yīng)用中，圖像數(shù)據(jù)的實時存儲對于保存原始數(shù)據(jù)具有很重要的意 義，但由于圖像數(shù)據(jù)量較大，因此一般采取的存儲策略是適當(dāng)丟棄部分?jǐn)?shù)據(jù)。在本發(fā)明中， 在超高速圖像處理系統(tǒng)上采用了基于FPGA的并行SATA(Serial ΑΤΑ) 口設(shè)計方案，可最多支 持10通道的SATA接口并行操作，對于SATA-II協(xié)議，單通道最高讀寫速率可到3Gbps，系統(tǒng)最 高存儲速率可達(dá)30Gbps。
[0033] 本發(fā)明中，為了實現(xiàn)人機(jī)交互功能，在系統(tǒng)中設(shè)計了一款I(lǐng)ntel板卡進(jìn)行人機(jī)交 互，Intel板卡與圖像處理系統(tǒng)的主處理器FPGA2通過千兆以太網(wǎng)進(jìn)行數(shù)據(jù)通信，完成操作 者對系統(tǒng)的指令控制，同時Intel板卡配有一塊電容顯示屏，可以將處理后的結(jié)果數(shù)據(jù)實時 顯示在處理器上。
[0034]本領(lǐng)域的技術(shù)人員容易理解，以上所述僅為本發(fā)明的較佳實施例而已，并不用以 限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)所作的任何修改、等同替換和改進(jìn)等，均應(yīng)包含 在本發(fā)明的保護(hù)范圍之內(nèi)。
【主權(quán)項】
1. 一種圖像采集幀率自適應(yīng)調(diào)整裝置，其特征在于，該裝置包括相互通信的分光圖像 采集系統(tǒng)以及圖像處理系統(tǒng)； 其中所述分光圖像采集系統(tǒng)主要包括第一傳感器(4)以及第二傳感器(5)，還包括用于 將從鏡頭采集的攜帶圖像信息的光束分成強(qiáng)度相同或相似的兩束光束的分光元器件，所述 第一傳感器(4)以及第二傳感器(5)分別于第一 FPGA處理器連接； 所述圖像處理系統(tǒng)包括用于與所述第一 FPGA處理器通信的第二FPGA處理器，所述第二 FPGA處理器通過SRIO芯片與多個并行DSP處理器連接;所述第二FPGA處理器還通過Intel板 卡與外界交互式設(shè)備相連。2. 如權(quán)利要求1所述的圖像采集幀率自適應(yīng)調(diào)整裝置，其特征在于，所述DSP處理器計 算采樣幀率的時間間隔之間的兩張圖像中的目標(biāo)的運(yùn)動位移，獲得所述目標(biāo)當(dāng)前運(yùn)動速 度，并且估算下一采樣幀率的時刻內(nèi)所述目標(biāo)的運(yùn)動速度，從而根據(jù)所述運(yùn)動速度計算所 述下一采樣幀率發(fā)送于所述第一 FPGA處理器，控制所述兩個傳感器(4,5)的按所述采樣幀 率分時曝光，由此實現(xiàn)所述圖像采集幀率的自適應(yīng)調(diào)整。3. 如權(quán)利要求2所述的圖像采集幀率自適應(yīng)調(diào)整裝置，其特征在于，所述目標(biāo)的下一采 樣幀率的運(yùn)動速度的估計主要包括如下步驟:所述目標(biāo)的在該估計運(yùn)動速度下，在未調(diào)整 的所述采樣幀率下的運(yùn)動位移使得所述目標(biāo)不移出所述兩個傳感器(4,5)的圖像采集范圍 之外。
【文檔編號】H04N5/235GK105915813SQ201610308842
【公開日】2016年8月31日
【申請日】2016年5月11日
【發(fā)明人】楊華, 馮佳樂, 歐陽振興
【申請人】華中科技大學(xué)