專利名稱：用于機(jī)器視覺(jué)的嵌入式圖像處理裝置的制作方法
技術(shù)領(lǐng)域：
本實(shí)用新型屬于圖像處理技術(shù)領(lǐng)域，特別涉及到嵌入式圖像處理 技術(shù)。
背景技術(shù)：
在機(jī)器視覺(jué)領(lǐng)域，傳統(tǒng)的圖像處理方法包括兩種基于PC的處 理技術(shù)和基于嵌入式系統(tǒng)的處理技術(shù)。
前者利用PC的CPU計(jì)算能力作為圖像計(jì)算的硬件結(jié)構(gòu)，PC條件 下的軟件開(kāi)發(fā)方便、快速，算法靈活，缺點(diǎn)是系統(tǒng)龐大，系統(tǒng)穩(wěn)定性 比專用的嵌入式系統(tǒng)低。
后者是利用嵌入式處理器或者圖像處理專用集成電路ASIC的處 理能力，來(lái)進(jìn)行圖像計(jì)算，其特點(diǎn)是針對(duì)性強(qiáng)、功耗低、穩(wěn)定性好， 處理能力可從低端覆蓋到高端。但是嵌入式處理器開(kāi)發(fā)復(fù)雜、周期長(zhǎng)， 非ASIC電路處理能力弱，單純DSP的處理速度甚至普遍不及目前的 PC中的桌面處理器，性能高的專用ASIC電路成本昂貴。
隨著半導(dǎo)體技術(shù)的發(fā)展，F(xiàn)PGA作為一種嵌入式處理技術(shù)，其處 理能力有了長(zhǎng)足的發(fā)展，其理論處理能力可以與ASIC相比美，售價(jià) 卻遠(yuǎn)遠(yuǎn)低于后者，目前一個(gè)典型的FPGA芯片，其全部硬件資源的處 理能力可達(dá)到400G MACs，而相比之下當(dāng)今主流的PC架構(gòu)雙核CPU 只有8G MACs的處理速度，二者相差50倍。FPGA的處理能力雖說(shuō)有 了長(zhǎng)足的進(jìn)步，但是對(duì)于機(jī)器視覺(jué)中的圖像處理而言，挑戰(zhàn)依然存在， 原因在于圖像本身的數(shù)據(jù)量過(guò)于龐大，而一般的FPGA內(nèi)部?jī)?nèi)存資源 甚至還沒(méi)法放下完整的一張長(zhǎng)、寬皆為2000x2000像素，24位真彩 的圖像。
由于一般圖像處理算法的后一個(gè)算法步驟需要前一個(gè)算法步驟 的輸出作為輸入，但是FPGA內(nèi)部圖像只能放下一張，所以在某一個(gè) 時(shí)刻只能有一個(gè)算法步驟在對(duì)圖像進(jìn)行處理和運(yùn)算，這就違背了 FPGA 并行計(jì)算的天性，沒(méi)法發(fā)揮FPGA的處理能力。幸運(yùn)的是內(nèi)存技術(shù)的 發(fā)展使得大容量、高帶寬的片外內(nèi)存成為可能，以標(biāo)準(zhǔn)的128bi t DDR2內(nèi)存為例，在200MHz IO速率下，其吞吐量可以達(dá)到6. 4G字節(jié)每秒， 相當(dāng)于266幀/S的2000x2000x24bit的圖4象，這個(gè)吞吐量遠(yuǎn)遠(yuǎn)超多 目前各種相機(jī)的輸出速度，若配合FPGA內(nèi)部的內(nèi)存資源，足以滿足 絕大多數(shù)圖像處理的應(yīng)用需求。
此外，在機(jī)器視覺(jué)領(lǐng)域，由于圖像處理算法的發(fā)展，典型的機(jī)器 視覺(jué)圖像方案中，圖像的處理方法已經(jīng)形成標(biāo)準(zhǔn)的步驟，如圖像增強(qiáng)、 模板匹配、測(cè)量、瑕瘋檢測(cè)等等。其中每一種功能都有許多具體的實(shí) 現(xiàn)算法，理論上每個(gè)步驟之間只需要通過(guò)圖像數(shù)據(jù)進(jìn)行交互，同一個(gè) 圖像被前面一個(gè)算法步驟處理后，緊接著就被送往下一個(gè)處理步驟， 算法步驟之間幾乎沒(méi)有太多的牽連，可以并行執(zhí)行，但是必須針對(duì)不 同的圖像，這種特性恰恰是FPGA所擅長(zhǎng)的，但是如前所述，F(xiàn)PGA內(nèi) 部沒(méi)法提供足夠的內(nèi)存資源同時(shí)處理幾副圖像數(shù)據(jù)。
在這樣的背景下，本實(shí)用新型提供了一種可結(jié)合FPGA高速并行 處理的特性和DDR2內(nèi)存吞吐量大的特性的圖像處理的方法和裝置。

實(shí)用新型內(nèi)容
本實(shí)用新型的目的在于提供一種用于機(jī)器視覺(jué)的嵌入式圖像處 理的方法及裝置，用以提供一種具有處理機(jī)器視覺(jué)圖像功能的嵌入式 電子設(shè)備裝置。
一種用于機(jī)器視覺(jué)的嵌入式圖像處理裝置，它是這樣實(shí)現(xiàn)的，該 裝置包括有如下的組成部分
DSP處理器，它是用以控制下述的FPGA和存儲(chǔ)器之間協(xié)調(diào)處理 的運(yùn)算處理器；
FPGA，它由用以實(shí)現(xiàn)各自作用的功能模塊組成，該功能模塊包括 有圖像采集模塊、圖像輸出模塊和橋路模塊；
存儲(chǔ)器，它包括有與FPGA中每個(gè)功能模塊相對(duì)應(yīng)的內(nèi)存塊，可 通過(guò)DSP處理器的調(diào)度向FPGA提供預(yù)存的圖像以及存儲(chǔ)經(jīng)FPGA處理 過(guò)的圖像。
進(jìn)一步，在DSP中設(shè)置有圖像后處理模塊。
而在FPGA中，還可以設(shè)置有圖像預(yù)處理功能模塊。本實(shí)用新型的優(yōu)點(diǎn)在于
本實(shí)用新型所述的用于機(jī)器視覺(jué)的嵌入式圖像處理的方法及裝 置，在機(jī)器視覺(jué)領(lǐng)域圖像處理方面，克服了利用PC處理圖像時(shí)的系統(tǒng) 龐大，系統(tǒng)穩(wěn)定性比專用的嵌入式系統(tǒng)低的缺點(diǎn)。
該裝置的出現(xiàn)非常充分的顯示了，利用嵌入式處理器或者圖像處 理專用集成電路ASIC的處理能力，來(lái)進(jìn)行圖像計(jì)算時(shí)針對(duì)性強(qiáng)、功 耗低、穩(wěn)定性好，處理能力可從低端覆蓋到高端的種種優(yōu)點(diǎn)。
該裝置的存儲(chǔ)器內(nèi)存容量大，速度快，可以同時(shí)存儲(chǔ)多幅圖像， 并隨時(shí)由FPGA中的功能模塊調(diào)用。更重要的是本設(shè)計(jì)方法中各種功 能塊的接口統(tǒng)一，相互之間沒(méi)有必然的關(guān)聯(lián)，替換一個(gè)步驟并不會(huì)影 響前后的處理步驟的效果，這樣可以使功能升級(jí)方便簡(jiǎn)單，如若設(shè)計(jì) 更改，直接增加或者減少功能模塊，原有設(shè)計(jì)結(jié)構(gòu)保持不變，從而減 少了工作量，加塊新產(chǎn)品推廣速度。


圖1是本實(shí)用新型所述的用于機(jī)器視覺(jué)的嵌入式圖像處理的裝 置的結(jié)構(gòu)框圖。
圖2是本實(shí)用新型所述的用于機(jī)器視覺(jué)的嵌入式圖像處理的裝 置的結(jié)構(gòu)框圖。
圖3是本實(shí)用新型所述的用于機(jī)器視覺(jué)的嵌入式圖像處理的方 法的流程圖。
具體實(shí)施例
參圖l所示，本實(shí)用新型的設(shè)計(jì)結(jié)構(gòu)為在存儲(chǔ)器400中，預(yù)設(shè) 一定數(shù)量的內(nèi)存塊410,其中內(nèi)存塊410的首部用來(lái)存放圖像的基本 信息，如圖像的采集時(shí)間、大小、格式、圖像數(shù)據(jù)的具體位置等數(shù)據(jù)。 每個(gè)內(nèi)存塊410的大小相同，對(duì)應(yīng)系統(tǒng)內(nèi)最大需要處理的圖像大小。 內(nèi)存塊由FPGA300統(tǒng)一管理，在FPGA300內(nèi)部按照需要設(shè)計(jì)有各種功 能模塊310,每個(gè)功能模塊310在工作時(shí)候都可以擁有一塊存儲(chǔ)器4 00 中的內(nèi)存塊410，功能模塊310可按照設(shè)計(jì)的不同，完成不同的功能 且可以對(duì)獲取的圖像塊進(jìn)行寫(xiě)入和讀取，各個(gè)功能模塊之間沒(méi)有必然關(guān)系，它們只獨(dú)立的負(fù)責(zé)處理對(duì)應(yīng)數(shù)據(jù)，處理完成后由DSP200進(jìn)行 調(diào)度開(kāi)始處理下以一個(gè)內(nèi)存塊410。
功能模塊310之間功能，只能被主系統(tǒng)啟動(dòng)，功能模塊310被啟 動(dòng)后即自動(dòng)運(yùn)行，直到該模塊定義的處理任務(wù)結(jié)束。各個(gè)功能模塊 310結(jié)構(gòu)統(tǒng)一，可按照需要擴(kuò)展。多個(gè)功能模塊310可以共享同一個(gè) 內(nèi)存模塊410，各個(gè)功能模塊310通過(guò)統(tǒng)一的內(nèi)存接口 500操作訪問(wèn) 存儲(chǔ)器400。
具體的功能模塊310可以是往存儲(chǔ)器400內(nèi)寫(xiě)入數(shù)據(jù)的數(shù)據(jù)源， 比如照相機(jī)，再具體的可以是數(shù)字相機(jī)(如USB相機(jī)或者千兆網(wǎng)相 機(jī))，也可以是一個(gè)通過(guò)視頻解碼器連接進(jìn)入系統(tǒng)的傳統(tǒng)模擬相機(jī)。 或者功能模塊310也可能是一個(gè)圖像增強(qiáng)濾波的IP單元，它可同時(shí) 往存儲(chǔ)器400中讀取圖像的時(shí)候回送增強(qiáng)后的圖像數(shù)據(jù)。亦或者是用 于圖像輸出的單元，負(fù)責(zé)讀取把存儲(chǔ)器400中的圖像并輸出到顯示器 600上，亦或者是個(gè)外部訪問(wèn)存儲(chǔ)器400的橋路。
結(jié)合圖2再舉相關(guān)實(shí)施例進(jìn)行描述
該具體實(shí)施例是一個(gè)典型的圖像處理裝置，它由FPGA300、 DSP200、 DDR2401、顯示器600組成，F(xiàn)PGA300中實(shí)現(xiàn)的具體功能才莫 塊包括
圖像采集模塊320負(fù)責(zé)從各種數(shù)據(jù)源采集圖像數(shù)據(jù)，并裝置采用 的千兆網(wǎng)的4妄口的相才幾。
圖像輸出模塊350負(fù)責(zé)以固定的間期將內(nèi)存中的圖像數(shù)據(jù)搬移 到顯示器上。
圖像預(yù)處理模塊330負(fù)責(zé)從內(nèi)存中獲取圖像塊并進(jìn)行圖像預(yù)處 理，包括圖像的內(nèi)容與格式的處理等。
橋路模塊340,用來(lái)負(fù)責(zé)為DSP200提供圖像數(shù)據(jù)，并將處理結(jié) 果寫(xiě)回DDR2401存4諸器內(nèi)。
另外還有一個(gè)圖像后處理模塊210在DSP200中實(shí)現(xiàn)，他通過(guò)橋 路模塊34 0獲取圖像數(shù)據(jù)并通過(guò)DSP2 00軟件的方式進(jìn)行圖像處理。
DSP200控制各個(gè)功能模塊310之間的協(xié)調(diào)圖像采集模塊320 采集好數(shù)據(jù)放到410中后，通知DSP200新圖像數(shù)據(jù)準(zhǔn)備好的信息，DSP200控制該功能模塊310連接另外一片空閑的內(nèi)存塊410，并再次 啟動(dòng)圖像采集模塊320抓取下一幅圖像。同時(shí)剛才抓取到的圖像放到 內(nèi)存塊410中后，DSP200通知下一個(gè)圖像預(yù)處理模塊330從內(nèi)存塊 410中提取圖像數(shù)據(jù)并進(jìn)行預(yù)處理。
預(yù)處理結(jié)束后，圖像抓取模塊一般已經(jīng)獲得下一幅圖像，則此時(shí) 立即開(kāi)始預(yù)處理最新圖像，否則模塊空閑等待下一個(gè)數(shù)據(jù)。被預(yù)處理 過(guò)的圖像數(shù)據(jù)被橋路模塊340送往圖像后處理模塊210進(jìn)行后處理， 該處理過(guò)程，主要用以圖像顯示方面的內(nèi)容、格式等處理操作。處理 后的圖像再被送往圖像輸出模塊350，再輸出給顯示器600進(jìn)行顯示。
在一副新的圖像數(shù)據(jù)經(jīng)過(guò)流水線各個(gè)步驟到達(dá)圖像輸出模塊350 之前，圖像輸出模塊350將一直重復(fù)輸出上次的圖像。本裝置的系統(tǒng) 的速度瓶頸在于圖像的輸入速度，即圖像采集模塊320抓取圖像的速 度，由于是面向圖像數(shù)據(jù)塊的模塊化設(shè)計(jì)，所以圖像采集模塊320、 圖像預(yù)處理模塊330、橋路模塊340以及圖像輸出模塊350相互之間 功能獨(dú)立，互不影響。比如可以任意提高圖像預(yù)處理模塊330的算法 復(fù)雜度，來(lái)轉(zhuǎn)變圖像的內(nèi)容及格式。期間可適當(dāng)?shù)脑黾釉撃K處理時(shí) 間，只要該模塊處理完畢，圖像采集模塊320新采集的圖像數(shù)據(jù)還沒(méi) 有或者剛剛準(zhǔn)備好則系統(tǒng)的吞吐量不受任何影響。
綜合前述內(nèi)容，參考著圖3所示，該用于機(jī)器視覺(jué)的嵌入式圖像 處理的方法4口下
步驟1,在FPGA300內(nèi)部根據(jù)需求情況設(shè)置包括有圖像采集模塊 320、圖像預(yù)處理模塊330、圖像輸出模塊350和橋路模塊340在內(nèi) 的功能模塊310;
步驟2，在存儲(chǔ)器400中，對(duì)應(yīng)著上一步驟所設(shè)定的各功能模塊 310，分別設(shè)定內(nèi)存塊410,每個(gè)內(nèi)存塊410與在FPGA300內(nèi)部所設(shè) 置的功能模塊310相對(duì)應(yīng)；
步驟3，在FPGA300中的功能模塊310在執(zhí)行運(yùn)算功能時(shí)，通過(guò) DSP200經(jīng)由存儲(chǔ)器400上的內(nèi)存塊410進(jìn)行信息調(diào)度；
步驟4,信息在FPGA300中處理完成后由DSP200調(diào)度轉(zhuǎn)存至存 儲(chǔ)器400中；
7步驟5，經(jīng)由DSP200調(diào)度需要處理的下一個(gè)內(nèi)存塊410中的信 息內(nèi)容。
該設(shè)計(jì)方法的優(yōu)點(diǎn)是利用了 FPGA并行計(jì)算的特征，各個(gè)功能 模塊可同時(shí)分別進(jìn)行運(yùn)算，DSP作為主控制器可以靈活切換、調(diào)配各 個(gè)功能模塊，甚至可以通過(guò)特定的功能模塊獲取內(nèi)存塊的數(shù)據(jù)進(jìn)行處 理；配套的內(nèi)存，如DDR2內(nèi)存，其容量大，速度快，可以同時(shí)存儲(chǔ) 多幅圖像，并隨時(shí)由FPGA中的功能塊調(diào)用。最后更重要的是本設(shè)計(jì) 方法中各種功能塊的接口統(tǒng)一，相互之間沒(méi)有必然的關(guān)聯(lián)，替換一個(gè) 步驟并不會(huì)影響前后的處理步驟的效果，這樣可以使功能升級(jí)方便簡(jiǎn) 單，如若設(shè)計(jì)更改，直接增加或者減少功能^^莫塊，原有設(shè)計(jì)結(jié)構(gòu)保持 不變，從而減少了工作量，加塊新產(chǎn)品推廣速度。
以上是對(duì)本實(shí)用新型的描述而非限定，基于本實(shí)用新型思想的其 它實(shí)施方式，均在本實(shí)用新型的保護(hù)范圍之中。
權(quán)利要求1.一種用于機(jī)器視覺(jué)的嵌入式圖像處理裝置，其特征在于該裝置包括有如下的組成部分DSP處理器，它是用以控制下述的FPGA和存儲(chǔ)器之間協(xié)調(diào)處理的運(yùn)算處理器；FPGA，它由用以實(shí)現(xiàn)各自作用的功能模塊組成，該功能模塊包括有圖像采集模塊、圖像輸出模塊和橋路模塊；存儲(chǔ)器，它包括有與FPGA中每個(gè)功能模塊相對(duì)應(yīng)的內(nèi)存塊，可通過(guò)DSP處理器的調(diào)度向FPGA提供預(yù)存的圖像以及存儲(chǔ)經(jīng)FPGA處理過(guò)的圖像。
2. 根據(jù)權(quán)利要求1所述的一種用于機(jī)器視覺(jué)的嵌入式圖像處理 裝置，其特征在于在DSP中設(shè)置有圖像后處理模塊。
3. 根據(jù)權(quán)利要求1所述的一種用于機(jī)器視覺(jué)的嵌入式圖像處理 裝置，其特征在于在FPGA設(shè)置有圖像預(yù)處理功能模塊。
4. 根據(jù)權(quán)利要求1所述的一種用于機(jī)器視覺(jué)的嵌入式圖像處理 裝置，其特征在于所述的存儲(chǔ)器，為DDR2存儲(chǔ)器。
專利摘要本實(shí)用新型提供一種用于機(jī)器視覺(jué)的嵌入式圖像處理裝置，屬于圖像處理技術(shù)領(lǐng)域，特別涉及到嵌入式圖像處理技術(shù)。本實(shí)用新型所述的裝置，包括有如下的組成部分DSP處理器，它是用以控制下述的FPGA和存儲(chǔ)器之間協(xié)調(diào)處理的運(yùn)算處理器；FPGA，它由用以實(shí)現(xiàn)各自作用的功能模塊組成，該功能模塊包括有圖像采集模塊、圖像輸出模塊和橋路模塊；存儲(chǔ)器，它包括有與FPGA中每個(gè)功能模塊相對(duì)應(yīng)的內(nèi)存塊。本實(shí)用新型的優(yōu)點(diǎn)在于其中的存儲(chǔ)器內(nèi)存容量大，速度快，可以同時(shí)存儲(chǔ)多幅圖像，并隨時(shí)通過(guò)DSP調(diào)用FPGA中的功能模塊，所實(shí)現(xiàn)的圖像處理功能的速度快，且新品開(kāi)發(fā)形式更為簡(jiǎn)潔。
文檔編號(hào)G06T1/20GK201421623SQ20092007023
公開(kāi)日2010年3月10日 申請(qǐng)日期2009年4月10日 優(yōu)先權(quán)日2009年4月10日
發(fā)明者勇 張, 青 王 申請(qǐng)人:王 青;張 勇