專利名稱：高性能圖像處理系統(tǒng)及圖像數(shù)據(jù)處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像數(shù)據(jù)處理領(lǐng)域，尤其是涉及一種用于圖像識別的高性能圖像處理系統(tǒng)及圖像數(shù)據(jù)處理方法。
背景技術(shù)：
目前圖像識別技術(shù)的應用和發(fā)展是依靠微處理器(MCU，Micro ControlUnit)技術(shù)或數(shù)字信號處理(DSP，Digital Signal Processing)技術(shù)所支持的處理器系統(tǒng)來完成的。 在隨著圖像識別技術(shù)的深化和精細化應用的推廣，如多媒體圖像數(shù)據(jù)的識別、軍事偵察圖像的判讀，公安業(yè)務中的圖像鑒別、飛機和衛(wèi)星遙感圖像的高速處理等，對圖像識別技術(shù)的實現(xiàn)方法提出了更高的要求。圖像本身的高分辨率要求和實時性要求迫使圖像識別產(chǎn)品必須解決大量數(shù)據(jù)存取和大量數(shù)據(jù)的關(guān)聯(lián)計算問題，如點積運算。由于數(shù)據(jù)量巨大，它們不可能全部存儲在微處理器內(nèi)部，而不得不存儲在處理器外部，并且要被處理器反復調(diào)用。鑒于上述問題，目前的解決方法主要有(一 )、基于傳統(tǒng)計算機體系結(jié)構(gòu)建立的通用系統(tǒng)，利用計算機硬盤為數(shù)據(jù)存儲介質(zhì)，配合圖像處理模塊，構(gòu)建圖像處理實時平臺。該種方法拓展了存儲空間，但體積龐大，價格昂貴，不利于系統(tǒng)的高度集成。( 二 )、采用嵌入式結(jié)構(gòu)，利用處理器之外的存儲器，如SDRAM或FLASH實現(xiàn)大容量高速存儲。該種方法大大增加了數(shù)據(jù)存儲量且對數(shù)據(jù)存儲速度提出了更高的要求，但并未解決處理器大向量數(shù)據(jù)運算難的問題，同時提高了設(shè)計成本。(三)、可為圖像識別算法設(shè)計匹配的處理芯片。該種方法將使圖像處理方法失去通用性，與大量現(xiàn)有軟件和通用軟件編程環(huán)境不兼容，增加開發(fā)成本。中華人民共和國國家知識產(chǎn)權(quán)局于2007年1月31日公開了授權(quán)公告號為 CN1297899C的專利文獻，名稱為數(shù)字圖像匹配芯片。它包括地址產(chǎn)生電路，主、從相關(guān)處理電路，比較定位及控制邏輯產(chǎn)生電路，先入先出存貯器，外部控制接口電路；該外部控制接口電路將外部輸入的地址和對應的數(shù)據(jù)分別輸出給地址產(chǎn)生電路、主從相關(guān)處理電路、比較定位及控制邏輯產(chǎn)生電路，地址產(chǎn)生電路產(chǎn)生四路搜索區(qū)像素地址和中斷信號，從相關(guān)電路對該控制接口電路輸入的數(shù)據(jù)與搜索區(qū)像素數(shù)據(jù)進行運算輸出給主相關(guān)處理電路，并與從相關(guān)處理電路和先入先出存貯器輸入的數(shù)據(jù)及搜索區(qū)像素數(shù)據(jù)進行運算后得到最佳匹配位置。此方案不具有通用性，移植性不高，與現(xiàn)有的軟件不能兼容。

發(fā)明內(nèi)容
本發(fā)明主要是解決現(xiàn)有技術(shù)所存在的通用處理器對大量數(shù)據(jù)進行點積運算困難、 價格昂貴、通用性不高的技術(shù)問題，提供一種與通用處理器配套的，高處理速度，同時具備易使用，低成本的硬件結(jié)構(gòu)，實現(xiàn)圖像的高性能識別的高性能圖像處理系統(tǒng)及圖像數(shù)據(jù)處理方法。本發(fā)明針對上述技術(shù)問題主要是通過下述技術(shù)方案得以解決的一種高性能圖像處理系統(tǒng)，包括通用處理器、協(xié)處理器、存儲器，通用處理器與協(xié)處理器連接，通用處理器與協(xié)處理器分別與存儲器連接，通用處理器與標準串口連接及外部圖像輸入設(shè)備連接。存儲器中存有圖像模板和外部圖像輸入設(shè)備輸入的實時數(shù)據(jù)。通用處理器是整個系統(tǒng)的控制單元，對圖像模板進行分析和預處理并控制其他部件工作。當需要進行圖像比較處理時，通用處理器發(fā)出指令，將實時數(shù)據(jù)和圖像模板數(shù)據(jù)同時送抵協(xié)處理器進行點積運算，并存儲運算結(jié)果，供通用處理器隨時調(diào)用。整個系統(tǒng)采用了計算機DMA (Direct Memory Access，直接存儲器訪問)的模式，使數(shù)據(jù)的點積運算在協(xié)處理器中運行，減輕了通用處理器的負荷，加快了識別速度。尤其對于大數(shù)據(jù)量的情況也可以流暢處理，而且不需要價格昂貴的硬件支持。作為優(yōu)選，協(xié)處理器包括點積運算部件、多端口存儲控制器和DMA控制器，點積運算部件與DMA控制器連接，點積運算部件和DMA控制器分別連接多端口存儲控制器，多端口存儲控制器連接存儲器，DMA控制器連接通用處理器。作為優(yōu)選，存儲器包括第一子存儲器和第二子存儲器，第一子存儲器和第二子存儲器同時連接協(xié)處理器，通用處理器連接第二子存儲器。第二子存儲器用來保存圖像模板數(shù)據(jù)，第一子存儲器用來保存實時的圖像數(shù)據(jù)，配合協(xié)處理器中的多端口存儲控制器可以保證數(shù)據(jù)順序、快速地在存儲器和點積運算部件之間讀取和保存。作為優(yōu)選，點積運算部件包括依次連接的乘法器、加法器和點積結(jié)果寄存器。點積計算是一對數(shù)據(jù)相乘，然后與以前的乘積累加的運算方法。運算時，在乘法器相乘的時候新的操作數(shù)在讀取。乘法器的結(jié)果在與點積結(jié)果寄存器的數(shù)據(jù)相加時，乘法器做第二對操作數(shù)的相乘，同時第三對數(shù)據(jù)又在讀取，即流水線式處理方式。該方法保證存儲器讀數(shù)據(jù)、乘法器相乘和加法器相加同時執(zhí)行命令操作，大大地提高了計算速度。點積運算的操作數(shù)是兩組數(shù)據(jù)，分別存在用于存放模板圖像數(shù)據(jù)的第二子存儲器和用于存放實時圖像數(shù)據(jù)的第一子存儲器中。對于實時圖像數(shù)據(jù)，其含義是一幀圖像或一幀圖像中的一個窗口。對于模板圖像數(shù)據(jù)，它是與實時圖像數(shù)據(jù)的尺寸相同的數(shù)據(jù)，是經(jīng)過通用處理器處理過后用于與實時圖像數(shù)據(jù)比較的模板。通用處理器每次啟動協(xié)處理器做的點積運算通常是圖像中一個窗口的像素數(shù)據(jù)量。作為優(yōu)選，所述協(xié)處理器還包括圖像預處理單元，圖像預處理單元與多端口存儲控制器連接。圖像預處理單元將實時圖像數(shù)據(jù)進行邊緣特征提取、消除噪音、確定灰度閾值等操作，并將處理以后的數(shù)據(jù)存入到第一子存儲器中。大量的數(shù)據(jù)不需要進入通用處理器， 降低了對通用處理器的要求。一種圖像數(shù)據(jù)處理方法，包括以下步驟A、初始化操作，將寄存結(jié)果設(shè)為0 ；B、將模板圖像數(shù)據(jù)存入存儲器；C、對實時圖像數(shù)據(jù)進行預處理并存儲；D、按序讀取模板圖像數(shù)據(jù)中的一個和經(jīng)過步驟C處理的實時圖像數(shù)據(jù)一個，對兩個數(shù)據(jù)進行乘法操作；E、將步驟D得到的數(shù)據(jù)與寄存結(jié)構(gòu)進行加法操作，所得值設(shè)為新的寄存結(jié)果；F、如果模板圖像數(shù)據(jù)已被遍歷，轉(zhuǎn)到步驟G，否則重復步驟D ；G、寄存結(jié)果為計算得到的兩個窗口圖像的相似度參數(shù)，經(jīng)過多種窗口組合計算，評判各種組合計算的相似度參數(shù)，最大者判定圖像相同。作為優(yōu)選，預處理包括邊緣特征提取、消除噪音和確定灰度。作為優(yōu)選，步驟E在處理前一組數(shù)據(jù)時，步驟D同時在處理后一組數(shù)據(jù)。本發(fā)明帶來的有益效果是，可以進行大數(shù)據(jù)量情況的處理，運行速度快，有良好的通用性，硬件成本低，使用范圍廣，并降低對通用處理器的要求。


圖1是本發(fā)明的一種簡略電路框圖；圖2是本發(fā)明的一種詳細電路框圖；圖中1、通用處理器，2、協(xié)處理器，3、存儲器，4、外部圖像輸入設(shè)備，5、I/O端口， 2UDMA控制器，22、多端口存儲控制器，23、點積運算部件，231、乘法器，232、加法器，233、點積結(jié)果寄存器，24、圖像預處理單元，31、第一子存儲器，32、第二子存儲器。
具體實施例方式下面通過實施例，并結(jié)合附圖，對本發(fā)明的技術(shù)方案作進一步具體的說明。實施例本實施例的一種高性能圖像處理系統(tǒng)，如圖1所示，包括相互連接的通用處理器1、協(xié)處理器2和存儲器3，通用處理器1還連接I/O端口 5，協(xié)處理器2連接外部圖像輸入設(shè)備4。存儲器3包括第一子存儲器31和第二子存儲器32。協(xié)處理器2包括點積運算部件23、多端口存儲控制器22和DMA控制器21和圖像預處理單元24，點積運算部件 23和DMA控制器21分別連接多端口存儲控制器22，多端口存儲控制器22連接存儲器3。 點積運算部件23包括依次連接的乘法器231、加法器232和點積結(jié)果寄存器233。圖像預處理單元連接外部圖像輸入設(shè)備4。通用處理器1首先將通過I/O端口 5得到的識別對象的模板數(shù)據(jù)存入第二子存儲器32中。系統(tǒng)工作時，外部圖像輸入設(shè)備4實時地將捕獲到的視頻圖像信號送入圖像預處理單元24。圖像預處理單元24先將收到的實時圖像數(shù)據(jù)進行一些預處理，如邊緣特征提取、消除噪音、確定灰度閾值等，然后存入第一子存儲器31中。協(xié)處理器將第一子存儲器31 中的實時圖像數(shù)據(jù)與第二子存儲器32中的模板圖像數(shù)據(jù)進行相關(guān)性比對。對比結(jié)果存入存儲器3中，通用處理器1可以讀取對比結(jié)果并通過I/O端口 5發(fā)送到外部。比對操作是由協(xié)處理器2完成的，它將第一子存儲器31中的實時圖像數(shù)據(jù)與第二子存儲器32中的模板圖像數(shù)據(jù)做點積計算。在此過程中通用處理器1可做其它工作，提高了性能、節(jié)省了時間。通用處理器1可以使用51系列單片機，也可以是ARM或DSP處理器。DMA控制器21是協(xié)處理器2連接通用處理器1的接口，也是協(xié)處理器2執(zhí)行通用處理器1命令的控制器。它接收通用處理器1送來的實時圖像數(shù)據(jù)的存儲地址，圖像數(shù)據(jù)的向量長度，模板圖像數(shù)據(jù)的存儲地址，然后啟動點積運算部件23開始計算。計算結(jié)束后， 又向通用處理器1送出完成信號。DMA控制器21的芯片是8237 DMAC0它有業(yè)界認可的完整的控制結(jié)構(gòu)和控制方式， 包括與通用處理器1之間的通訊方式，與存儲器3之間的控制方式。本設(shè)計對這種標準的 DMA控制標準做了如下擴充(a)傳統(tǒng)DMA的作用是大量的存儲器間數(shù)據(jù)傳輸，而本設(shè)計則將其擴展為在存儲器內(nèi)大數(shù)據(jù)量的數(shù)據(jù)運算，可以對高達數(shù)百KB的數(shù)據(jù)進行運算，而傳統(tǒng)的DMA是以一維向量為傳輸單位的，而本實施例的DMA是以二維圖像為傳輸單位的；(b)傳統(tǒng)DMA的數(shù)據(jù)傳輸是一組數(shù)據(jù)的存儲器間傳輸，而本設(shè)計是多組數(shù)據(jù)的同時讀取和運算。存儲器3的工作是靠多端口存儲控制器22完成的。存儲器3是多存儲器體、多讀寫端口，需要有多端口存儲控制器22對其進行協(xié)調(diào)完成數(shù)據(jù)的傳輸。在數(shù)據(jù)傳輸?shù)倪^程中，保證了數(shù)據(jù)流順序、快速地在存儲器3與點積運算部件23之間讀取和保存。點積的一般算式是A = a (1) X b (1) +a (2) X b (2) +.........+a (η) Xb (η)點積計算是一對數(shù)據(jù)相乘，然后與以前的乘積累加的運算法則。點積的操作數(shù)分別來自存儲實時圖像數(shù)據(jù)的第一子存儲器31和存儲圖像模板數(shù)據(jù)的第二子存儲器32，在乘法器231相乘的時候新的操作數(shù)又在讀出。乘法器231的結(jié)果在與點積結(jié)果寄存器233 的數(shù)據(jù)相加時，乘法器231做第二對操作數(shù)的相乘，同時第三對數(shù)據(jù)又在讀出，即流水線式處理方式。該方法保證存儲器3讀數(shù)據(jù)、乘法器231相乘和加法器232相加同時執(zhí)行命令操作，大大地提高了計算速度。本設(shè)計的圖像數(shù)據(jù)每個像素為8位，圖像模板為16位，乘法的結(jié)果為24位，加法器44位，最多可達IM個數(shù)據(jù)的累加。圖像數(shù)據(jù)處理包括以下步驟Α、初始化操作，將寄存結(jié)果設(shè)為0 ；B、將模板圖像數(shù)據(jù)存入存儲器；C、對實時圖像數(shù)據(jù)進行預處理并存儲；D、按序讀取模板圖像數(shù)據(jù)中的一個和經(jīng)過步驟C處理的實時圖像數(shù)據(jù)一個，對兩個數(shù)據(jù)進行乘法操作；Ε、將步驟D得到的數(shù)據(jù)與寄存結(jié)構(gòu)進行加法操作，所得值設(shè)為新的寄存結(jié)果；F、如果模板圖像數(shù)據(jù)已被遍歷，轉(zhuǎn)到步驟G，否則重復步驟D ；G、寄存結(jié)果為計算得到的兩個窗口圖像的相似度參數(shù)，經(jīng)過多種窗口組合計算， 評判各種組合計算的相似度參數(shù)，最大者判定圖像相同。預處理包括邊緣特征提取、消除噪音和確定灰度。步驟E在處理前一組數(shù)據(jù)時，步驟D同時在處理后一組數(shù)據(jù)。本文中所描述的具體實施例僅僅是對本發(fā)明精神作舉例說明。本發(fā)明所屬技術(shù)領(lǐng)域的技術(shù)人員可以對所描述的具體實施例做各種各樣的修改或補充或采用類似的方式替代，但并不會偏離本發(fā)明的精神或者超越所附權(quán)利要求書所定義的范圍。盡管本文較多地使用了通用處理器、協(xié)處理器等術(shù)語，但并不排除使用其它術(shù)語的可能性。使用這些術(shù)語僅僅是為了更方便地描述和解釋本發(fā)明的本質(zhì)；把它們解釋成任何一種附加的限制都是與本發(fā)明精神相違背的。
權(quán)利要求
1.一種高性能圖像處理系統(tǒng)，包括通用處理器、協(xié)處理器、存儲器，其特征在于，所述通用處理器與所述協(xié)處理器連接，所述通用處理器與所述協(xié)處理器分別與所述存儲器連接， 所述通用處理器與I/O端口連接，所述協(xié)處理器連接外部圖像輸入設(shè)備。
2.根據(jù)權(quán)利要求1所述的高性能圖像處理系統(tǒng)，其特征在于，所述協(xié)處理器包括點積運算部件、多端口存儲控制器和DMA控制器，所述點積運算部件和所述DMA控制器分別連接所述多端口存儲控制器，所述多端口存儲控制器連接所述存儲器，所述DMA控制器連接所述通用處理器。
3.根據(jù)權(quán)利要求1或2所述的高性能圖像處理系統(tǒng)，其特征在于，所述存儲器包括第一子存儲器和第二子存儲器，所述第一子存儲器和所述第二子存儲器同時連接所述協(xié)處理器，所述通用處理器連接所述第二子存儲器。
4.根據(jù)權(quán)利要求1或2所述的高性能圖像處理系統(tǒng)，其特征在于，所述點積運算部件包括依次連接的乘法器、加法器和點積結(jié)果寄存器。
5.根據(jù)權(quán)利要求1或2所述的高性能圖像處理系統(tǒng)，其特征在于，所述協(xié)處理器還包括圖像預處理單元，所述圖像預處理單元與所述多端口存儲控制器連接。
6.一種如權(quán)利要求1所述的高性能圖像處理系統(tǒng)進行圖像數(shù)據(jù)處理的方法，其特征在于，包括以下步驟A、初始化操作，將寄存結(jié)果設(shè)為0；B、將模板圖像數(shù)據(jù)存入存儲器；C、對實時圖像數(shù)據(jù)進行預處理并存儲；D、按序讀取模板圖像數(shù)據(jù)中的一個和經(jīng)過步驟C處理的實時圖像數(shù)據(jù)一個，對兩個數(shù)據(jù)進行乘法操作；E、將步驟D得到的數(shù)據(jù)與寄存結(jié)構(gòu)進行加法操作，所得值設(shè)為新的寄存結(jié)果；F、如果模板圖像數(shù)據(jù)已被遍歷，轉(zhuǎn)到步驟G，否則重復步驟D；G、寄存結(jié)果為兩個窗口圖像的相似度，根據(jù)多種窗口組合計算相似度判定圖像是否相同。
7.根據(jù)權(quán)利要求6所述的圖像數(shù)據(jù)處理方法，其特征在于，所述預處理包括邊緣特征提取、消除噪音和確定灰度。
8.根據(jù)權(quán)利要求6所述的圖像數(shù)據(jù)處理方法，其特征在于，所述步驟E在處理前一組數(shù)據(jù)時，步驟D同時在處理后一組數(shù)據(jù)。
全文摘要
本發(fā)明公開了一種高性能圖像處理系統(tǒng)及圖像數(shù)據(jù)處理方法，旨在提供一種可以進行大數(shù)據(jù)量計算，運行速度快，有良好的通用性，硬件成本低，使用范圍廣的高性能圖像處理系統(tǒng)及圖像數(shù)據(jù)處理方法。它包括相互連接的通用處理器、協(xié)處理器、存儲器，通用處理器與I/O端口連接，協(xié)處理器與外部圖像輸入設(shè)備連接。存儲器中存有圖像模板和外部圖像輸入設(shè)備輸入的實時數(shù)據(jù)。系統(tǒng)運行時，通用處理器發(fā)出指令，將實時數(shù)據(jù)和圖像模板數(shù)據(jù)同時送抵協(xié)處理器進行點積運算，并存儲運算結(jié)果，供通用處理器隨時調(diào)用。數(shù)據(jù)的點積運算在協(xié)處理器中運行，減輕了通用處理器的負荷，加快了識別速度。本發(fā)明適用于所有圖像識別領(lǐng)域，尤其是需要實時圖像識別的情況。
文檔編號G06T1/20GK102184521SQ20111007167
公開日2011年9月14日 申請日期2011年3月24日 優(yōu)先權(quán)日2011年3月24日
發(fā)明者鞠怡明 申請人:蘇州迪吉特電子科技有限公司