專利名稱：一種可重構(gòu)的視覺前處理器和視覺處理系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視覺處理技術(shù)領(lǐng)域，具體涉及基于卷積運算的視覺前處理技術(shù)；本發(fā)明提出的可重構(gòu)的視覺前處理器能夠?qū)Υ蠓直媛实幕叶葓D像進(jìn)行實時視覺前處理。
背景技術(shù)：
視覺是人類最重要的獲取信息和知識的途徑。人類獲取信息的80%來自視覺。人類視覺系統(tǒng)的前端有各種不同的組織參與視覺信息的前處理，因而人類的視覺系統(tǒng)能夠輕易的處理視覺問題。人類為了模仿自身視覺功能，對視覺系統(tǒng)進(jìn)行了大量理論研究和實驗。近年來，視覺不僅在框架模型與算法方面得到了長足的進(jìn)展，而且在先進(jìn)制造、醫(yī)學(xué)、國防、公共安全和空間技術(shù)等領(lǐng)域獲得廣泛應(yīng)用。隨著集成電路制造エ藝的發(fā)展，單芯片的集成度和規(guī)模越來越大，設(shè)計和實現(xiàn)具有完整功能的視覺芯片成為可能。片上系統(tǒng)(System on a Chip, SoC)已成為視覺芯片設(shè)計時首選的技術(shù)，如何在單芯片上實現(xiàn)小體積、低功耗的視覺系統(tǒng)，設(shè)計具有視覺感知和圖像處理功能的視覺芯片，是當(dāng)前視覺與智能信息處理領(lǐng)域的研究熱點。目前的視覺芯片主要有兩類，一種是為完成某一特定視覺任務(wù)設(shè)計的專用視覺芯片(Albrecht Rothermel, “A CMOS Chip With Active Pixel Array and Specific TestFeatures for Subretinal Implantation”)。專用視覺芯片具有高性能、低功耗、面積小的優(yōu)點，但是視覺應(yīng)用靈活多變，這類芯片靈活性差的缺陷，使其很難應(yīng)用到功能較多的視覺系統(tǒng)中。另ー種是為實現(xiàn)多種視覺任務(wù)使用可重編程或可重構(gòu)技術(shù)設(shè)計的通用視覺芯片(Alexey Lopich,“A SIMD Cellular Processor Array Vision Chip With AsynchronousProcessing CapabiIitie，，；Wan_cheng Zhang,“A Programmable Vision Chip Based onMultiple Levels of Parallel Processors”)。這類芯片同時具有高性能和靈活性。但是已有的通用視覺芯片用同一種結(jié)構(gòu)完成不同層次的視覺處理任務(wù)，浪費了其靈活性和資源。綜上所述，目前的視覺芯片主要存在的問題有專用視覺芯片靈活性差，不適合被廣泛使用；通用視覺芯片計算效率低，資源浪費。

發(fā)明內(nèi)容
本發(fā)明的目的在于將復(fù)雜的視覺處理分為不同層次，提供ー種可重構(gòu)的視覺前處理器結(jié)構(gòu)用于基于卷積的底層視覺處理；其結(jié)構(gòu)簡單、易于應(yīng)用、速度快，能夠?qū)Υ蠓直媛实幕叶葓D像進(jìn)行實時處理。通過重配置，可以改變處理器中各模塊的連接方式和處理任務(wù)，可完成的多種卷積運算，實現(xiàn)通用視覺前處理任務(wù)。為了達(dá)到上述目的，本發(fā)明采用以下技術(shù)方案予以實現(xiàn)ー種可重構(gòu)的視覺前處理器，包括色度空間轉(zhuǎn)換模塊、可重構(gòu)卷積陣列、卷積后處理模塊、采樣存儲模塊和硬件重配置控制器；色度空間轉(zhuǎn)換模塊、可重構(gòu)卷積陣列、卷積后處理模塊依次連接；采樣存儲模塊連接色度空間轉(zhuǎn)換模塊、可重構(gòu)卷積陣列和卷積后處理模塊；硬件重配置控制器連接色度空間轉(zhuǎn)換模塊、可重構(gòu)卷積陣列、卷積后處理模塊和采樣存儲模塊；色度空間轉(zhuǎn)換模塊，用于將接收到的不同色度空間的視頻圖像信號轉(zhuǎn)換為亮度圖像信號；可重構(gòu)卷積陣列，用于完成不同模板的各種圖像卷積運算；卷積后處理模塊，用于將完成卷積運算的圖像進(jìn)行ニ值分割；采樣存儲模塊，用于對原始視頻圖像、色度空間轉(zhuǎn)換模塊輸出的亮度圖像、可重構(gòu)卷積陣列輸出的卷積運算后的圖像、卷積后處理模塊輸出的ニ值圖像進(jìn)行采樣，并輸出給存儲器存儲。本發(fā)明進(jìn)一步的改進(jìn)在于所述可重構(gòu)卷積陣列包括若干8X8卷積陣列，若干8 X 8卷積陣列間可以串聯(lián)、并聯(lián)或串并混合連接。本發(fā)明進(jìn)一步的改進(jìn)在于所述卷積后處理模塊包括若干比較器和查找表，比較器和查找表串聯(lián)于可重構(gòu)卷積陣列輸出。 本發(fā)明進(jìn)一步的改進(jìn)在于所述采樣存儲模塊包括若干減采樣、串并轉(zhuǎn)換器、字節(jié)-字轉(zhuǎn)換器、數(shù)據(jù)讀取和總線接ロ。本發(fā)明進(jìn)一步的改進(jìn)在于所述色度空間轉(zhuǎn)換模塊、可重構(gòu)卷積陣列、卷積后處理模塊、采樣存儲模塊、硬件重配置控制器共同連接ー個寄存器組，所述寄存器組存放色度空間轉(zhuǎn)換模塊、可重構(gòu)卷積陣列、卷積后處理模塊、采樣存儲模塊、硬件重配置控制器的重配置信息、運算控制信息和交互信息。本發(fā)明進(jìn)一步的改進(jìn)在于所述色度空間轉(zhuǎn)換模塊、可重構(gòu)卷積陣列、卷積后處理模塊、采樣存儲模塊、硬件重配置控制器共同連接ー個中斷產(chǎn)生器，色度空間轉(zhuǎn)換模塊、可重構(gòu)卷積陣列、卷積后處理模塊、采樣存儲模塊、硬件重配置控制器的中斷請求通過寄存器組和中斷產(chǎn)生器輸出給外部控制模塊。本發(fā)明進(jìn)一步的改進(jìn)在于所述可重構(gòu)卷積陣列包括4個8X8卷積陣列；卷積后處理模塊包括6個比較器和2個4096 X 8bit查找表；采樣存儲模塊包括13個減采樣模塊，6個串并轉(zhuǎn)換單元，4個字節(jié)轉(zhuǎn)字轉(zhuǎn)換模塊，4個數(shù)據(jù)讀取和總線接ロ模塊。一種根據(jù)上述的可重構(gòu)視覺前處理器構(gòu)建的可重構(gòu)視覺前處理系統(tǒng)，其包括第ー總線、第二總線、外部設(shè)備總線、連接在第一總線上的第一存儲器、連接在第一總線上的CPU、連接在第二總線上的第二存儲器、連接第一總線和第二總線的第一橋接電路、分別與CPU、第一總線和第二總線連接的可重構(gòu)視覺前處理器、連接第一總線和外部設(shè)備總線的第ニ橋接電路、以及與外部設(shè)備總線和可重構(gòu)視覺前處理器連接的寄存器組和中斷控制器。優(yōu)選的，所述可重構(gòu)視覺前處理器中的可重構(gòu)卷積陣列包括4個8X8卷積陣列；卷積后處理模塊包括6個比較器和2個4096X8bit查找表；采樣存儲模塊包括13個減采樣模塊，6個串并轉(zhuǎn)換單元，4個字節(jié)轉(zhuǎn)字轉(zhuǎn)換模塊，4個數(shù)據(jù)讀取和總線接ロ模塊。優(yōu)選的，4個8X8卷積陣列采用串并混合連接方式。相對于現(xiàn)有技術(shù)，本發(fā)明具有以下優(yōu)點本發(fā)明利用可重構(gòu)技術(shù)，實現(xiàn)了ー種用于基于卷積運算的可重構(gòu)視覺前處理器，并用此運算器構(gòu)建了可重構(gòu)的視覺前處理處理系統(tǒng)，能夠?qū)崿F(xiàn)任意不大于16X16的卷積運算。依靠其強大的計算能力能夠為更高層次的視覺處理提供特征。本發(fā)明實現(xiàn)的可重構(gòu)視覺前處理器結(jié)構(gòu)簡單、速度快、靈活性好，能夠方便的實現(xiàn)基于卷積的各種圖像運算。本發(fā)明構(gòu)建的可重構(gòu)視覺前處理系統(tǒng)結(jié)構(gòu)簡單規(guī)則，高性能，能夠?qū)Υ蠓直媛实幕叶葓D像進(jìn)行實時處理；加入配置和控制寄存器組存放控制參數(shù)、配置信息和系統(tǒng)運行狀態(tài)參數(shù)，可以實現(xiàn)系統(tǒng)模塊間的通信與同步；加入中斷產(chǎn)生器，使系統(tǒng)模塊相互間同步功能更完善。


圖I是可重構(gòu)視覺前處理器的結(jié)構(gòu)示意圖；圖2是2X2卷積陣列的結(jié)構(gòu)示意圖；圖3是8X8卷積陣列的結(jié)構(gòu)示意圖；圖4是8X8卷積陣列實現(xiàn)不同卷積運算的結(jié)構(gòu)示意圖； 圖5是卷積后處理的結(jié)構(gòu)示意圖；圖6是采樣存儲模塊的結(jié)構(gòu)示意圖；圖7是可重構(gòu)視覺前處理系統(tǒng)的結(jié)構(gòu)示意圖。
具體實施例方式下面結(jié)合

和具體實施方式
對本發(fā)明做詳細(xì)說明。參照圖1，本發(fā)明提出了ー種可重構(gòu)的視覺前處理器，包括色度空間轉(zhuǎn)換模塊、可重構(gòu)卷積陣列、卷積后處理模塊、采樣存儲模塊、硬件重配置控制器；色度空間轉(zhuǎn)換模塊、可重構(gòu)卷積陣列、卷積后處理模塊依次連接；采樣存儲模塊連接色度空間轉(zhuǎn)換模塊、可重構(gòu)卷積陣列和卷積后處理模塊；硬件重配置控制器連接色度空間轉(zhuǎn)換模塊、可重構(gòu)卷積陣列、卷積后處理模塊和采樣存儲模塊；色度空間轉(zhuǎn)換模塊將不同色度空間的視頻圖像信號轉(zhuǎn)換為亮度圖像信號；可重構(gòu)卷積陣列完成不同模板的各種圖像卷積運算；卷積后處理模塊將完成卷積運算的圖像進(jìn)行ニ值分割；采樣存儲模塊可對原始視頻圖像、色度空間轉(zhuǎn)換模塊輸出的亮度圖像、可重構(gòu)卷積陣列輸出的卷積運算后的圖像、卷積后處理模塊輸出的ニ值圖像進(jìn)行采樣，并輸出給存儲器存儲。參照圖2，ー個2 X 2卷積陣列単元包括4個2輸入乘法器、I個4輸入加法器。其中乘法器一個輸入為卷積模板系數(shù)，另ー個輸入為圖像信號。4輸入加法器的輸入為4個乘法器的結(jié)果。參照圖3，I個8X8卷積陣列包括16個2X2卷積陣列、5個4輸入加法器。4個2X2卷積陣列組成ー個4X4卷積陣列，4個2X2卷積陣列的結(jié)果輸入I個加法器。4個4X4卷積陣列的結(jié)果輸入ー個加法器，組成I個8X8卷積陣列。參照圖4，ー個8X8卷積陣列通過不同連接，可以實現(xiàn)不同卷積運算。圖(a)所示連接方式，8 X 8卷積陣列可以實現(xiàn)5 X 5、6 X 6、7 X 7或8 X 8模板大小的卷積運算；(b)所示連接方式，8 X 8卷積陣列可以同時實現(xiàn)4個3 X 3或4X 4模板大小的卷積運算；(c)所示連接方式，8X8卷積陣列可以同時實現(xiàn)16個2X2模板大小的卷積運算。參照圖5，卷積后處理模塊包括若干比較器和查找表，比較器和查找表的輸入為可重構(gòu)卷積陣列輸出。查找表可串聯(lián)比較器或直接輸出結(jié)果。參照圖6，采樣存儲模塊包括若干減采樣、串并轉(zhuǎn)換器、字節(jié)-字轉(zhuǎn)換器、數(shù)據(jù)讀取和總線接ロ。參照圖7，符合本發(fā)明的可重構(gòu)視覺前處理系統(tǒng)，其包括第一總線、第二總線、連接在第一總線上的CPU、連接在第一總線上的第一存儲器(SDRAMl)、連接在第二總線上的第ニ存儲器(SDRAM2)、連接在第二總線上的可重構(gòu)視覺前處理器、連接第一總線和第二總線的橋接電路I、外部設(shè)備總線、連接第一總線和外部設(shè)備總線的橋接電路2、分別與外部設(shè)備總線和可重構(gòu)視覺前處理器連接的寄存器組和中斷控制器。其中系統(tǒng)基于可重構(gòu)視覺前處理器以及片上存儲和互聯(lián)資源實現(xiàn)硬件可重構(gòu)。CPU對各運算單元、存儲和互聯(lián)資源實現(xiàn)動態(tài)配置和重構(gòu)，靈活地改變系統(tǒng)的硬件功能，完成不同卷積運算的視覺前處理任務(wù)。這樣整個系統(tǒng)兼具具硬件的高效性和軟件的靈活性，為完成復(fù)雜多變的視覺任務(wù)提供了很好的硬件基礎(chǔ)。權(quán)利要求
1.ー種可重構(gòu)的視覺前處理器，其特征在于包括色度空間轉(zhuǎn)換模塊、可重構(gòu)卷積陣列、卷積后處理模塊、采樣存儲模塊和硬件重配置控制器；色度空間轉(zhuǎn)換模塊、可重構(gòu)卷積陣列、卷積后處理模塊依次連接；采樣存儲模塊連接色度空間轉(zhuǎn)換模塊、可重構(gòu)卷積陣列和卷積后處理模塊；硬件重配置控制器連接色度空間轉(zhuǎn)換模塊、可重構(gòu)卷積陣列、卷積后處理模塊和采樣存儲模塊； 色度空間轉(zhuǎn)換模塊，用于將接收到的不同色度空間的視頻圖像信號轉(zhuǎn)換為亮度圖像信號; 可重構(gòu)卷積陣列，用于完成若干種模板的圖像卷積運算； 卷積后處理模塊，用于將完成卷積運算的圖像進(jìn)行ニ值分割； 采樣存儲模塊，用于對原始視頻圖像、色度空間轉(zhuǎn)換模塊輸出的亮度圖像、可重構(gòu)卷積陣列輸出的卷積運算后的圖像、卷積后處理模塊輸出的ニ值圖像進(jìn)行采樣，并輸出給存儲器存儲； 硬件重配置控制器，用于對可重構(gòu)視覺前處理器的重配置。
2.根據(jù)權(quán)利要求I所述的ー種可重構(gòu)的視覺前處理器，其特征在于 所述可重構(gòu)卷積陣列包括若干8X8卷積陣列，若干8X8卷積陣列間串聯(lián)、并聯(lián)或串并混合連接。
3.根據(jù)權(quán)利要求I所述的ー種可重構(gòu)的視覺前處理器，其特征在于 所述卷積后處理模塊包括若干比較器和查找表，比較器和查找表串聯(lián)于可重構(gòu)卷積陣列輸出。
4.根據(jù)權(quán)利要求I所述的ー種可重構(gòu)的視覺前處理器，其特征在于 所述采樣存儲模塊包括若干減采樣、串并轉(zhuǎn)換器、字節(jié)-字轉(zhuǎn)換器、數(shù)據(jù)讀取和總線接□。
5.根據(jù)權(quán)利要求I所述的ー種可重構(gòu)的視覺前處理器，其特征在于，所述色度空間轉(zhuǎn)換模塊、可重構(gòu)卷積陣列、卷積后處理模塊、采樣存儲模塊、硬件重配置控制器共同連接ー個寄存器組，所述寄存器組存放色度空間轉(zhuǎn)換模塊、可重構(gòu)卷積陣列、卷積后處理模塊、采樣存儲模塊、硬件重配置控制器的重配置信息、運算控制信息和交互信息。
6.根據(jù)權(quán)利要求5所述的ー種可重構(gòu)的視覺前處理器，其特征在于，所述色度空間轉(zhuǎn)換模塊、可重構(gòu)卷積陣列、卷積后處理模塊、采樣存儲模塊、硬件重配置控制器共同連接ー個中斷產(chǎn)生器，色度空間轉(zhuǎn)換模塊、可重構(gòu)卷積陣列、卷積后處理模塊、采樣存儲模塊、硬件重配置控制器的中斷請求通過寄存器組和中斷產(chǎn)生器輸出給外部控制模塊。
7.根據(jù)權(quán)利要求I所述的ー種可重構(gòu)的視覺前處理器，其特征在于，所述可重構(gòu)卷積陣列包括4個8 X 8卷積陣列；卷積后處理模塊包括6個比較器和2個4096 X 8bit查找表；采樣存儲模塊包括13個減采樣模塊，6個串并轉(zhuǎn)換單元，4個字節(jié)轉(zhuǎn)字轉(zhuǎn)換模塊，4個數(shù)據(jù)讀取和總線接ロ模塊。
8.ー種根據(jù)權(quán)利要求I至6中任一項所述的可重構(gòu)視覺前處理器構(gòu)建的可重構(gòu)視覺前處理系統(tǒng)，其特征在于包括第一總線、第二總線、外部設(shè)備總線、連接在第一總線上的第一存儲器、連接在第一總線上的CPU、連接在第二總線上的第二存儲器、連接第一總線和第二總線的第一橋接電路、分別與CPU、第一總線和第二總線連接的可重構(gòu)視覺前處理器、連接第一總線和外部設(shè)備總線的第二橋接電路、以及與外部設(shè)備總線和可重構(gòu)視覺前處理器連接的寄存器組和中斷控制器。
9.如權(quán)利要求8所述的可重構(gòu)視覺前處理系統(tǒng)，其特征在于所述可重構(gòu)視覺前處理器中的可重構(gòu)卷積陣列包括4個8X8卷積陣列；卷積后處理模塊包括6個比較器和2個4096X8bit查找表；采樣存儲模塊包括13個減采樣模塊，6個串并轉(zhuǎn)換單元，4個字節(jié)轉(zhuǎn)字轉(zhuǎn)換模塊，4個數(shù)據(jù)讀取和總線接ロ模塊。
10.如權(quán)利要求9所述的可重構(gòu)視覺前處理系統(tǒng)，其特征在于4個8X8卷積陣列采用串并混合連接方式。
全文摘要
本發(fā)明提供一種可重構(gòu)的視覺前處理器，包括色度空間轉(zhuǎn)換模塊、可重構(gòu)卷積陣列、卷積后處理模塊、采樣存儲模塊和硬件重配置控制器；色度空間轉(zhuǎn)換模塊、可重構(gòu)卷積陣列、卷積后處理模塊依次連接；采樣存儲模塊連接色度空間轉(zhuǎn)換模塊、可重構(gòu)卷積陣列和卷積后處理模塊；硬件重配置控制器分別連接上述四個模塊；色度空間轉(zhuǎn)換模塊，用于將接收到的不同色度空間的視頻圖像信號轉(zhuǎn)換為亮度圖像信號；可重構(gòu)卷積陣列，用于不同模板的各種圖像卷積運算；卷積后處理模塊，用于將完成卷積運算的圖像進(jìn)行二值分割；硬件重配置控制器，用于對可重構(gòu)視覺前處理器的重配置。本發(fā)明結(jié)構(gòu)簡單、易于應(yīng)用、速度快，能夠?qū)Υ蠓直媛实幕叶葓D像進(jìn)行實時視覺前處理。
文檔編號G06T1/20GK102646262SQ201210047720
公開日2012年8月22日 申請日期2012年2月28日 優(yōu)先權(quán)日2012年2月28日
發(fā)明者周婷, 張斌, 李宇海, 梅魁志, 殷浩, 董培祥, 趙晨, 鄭南寧 申請人:西安交通大學(xué)