一種智能相機(jī)的控制方法
【專利摘要】本發(fā)明公開一種智能相機(jī)的控制方法，用于智能相機(jī)，該智能相機(jī)包括FPGA可編程器件、DSP處理器、ARM處理器、RAM存儲(chǔ)器以及輸入輸出接口，該輸入輸出接口包括CCD/CMOS接口、視頻流接口、I/O接口、網(wǎng)口和串口；該控制方法包括以下步驟：步驟1：ARM處理器監(jiān)聽輸入輸出接口，如果有控制指令，則根據(jù)預(yù)設(shè)的規(guī)則將控制指令分類，并發(fā)送至FPGA可編程器件和/或DSP處理器進(jìn)行處理；其中，控制指令包括相機(jī)拍照指令、視頻處理指令、選擇是否啟動(dòng)運(yùn)行指令、系統(tǒng)調(diào)用內(nèi)部存儲(chǔ)的相應(yīng)程序指令、屏蔽檢測(cè)功能指令；步驟2:ARM處理器接收用戶的控制命令，進(jìn)行初步判斷，根據(jù)不同的命令發(fā)送至FPGA可編程器件或者DSP處理器進(jìn)行處理；步驟3：DSP處理器將處理后的結(jié)果由輸入輸出接口發(fā)出。
【專利說明】一種智能相機(jī)的控制方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及智能相機(jī)，具體涉及一種智能相機(jī)的控制方法。
【背景技術(shù)】
[0002]當(dāng)前工業(yè)技術(shù)發(fā)展速度飛速，在越來越高的人工成本下促使圖像處理技術(shù)替代人工檢測(cè)產(chǎn)品表面瑕疵，這就給國(guó)內(nèi)外企業(yè)帶來技術(shù)的更新革命競(jìng)賽。例如在車牌智能識(shí)別應(yīng)用領(lǐng)域，當(dāng)前車牌智能識(shí)別所使用的智能相機(jī)及系統(tǒng)結(jié)構(gòu)主要是2種:第一種是國(guó)內(nèi)企業(yè)能掌握的比較多基于計(jì)算機(jī)視覺系統(tǒng)，其需要PC+采集卡+相機(jī)+圖像處理軟件，其特點(diǎn)是:相機(jī)采用安防監(jiān)控用普通模擬相機(jī)，經(jīng)過采集卡采集后到PC進(jìn)行車牌軟件分析。該方法具有相機(jī)成本低的優(yōu)點(diǎn)，但是具有軟件開發(fā)難度大、系統(tǒng)穩(wěn)定性差、維護(hù)難、需要有編程技術(shù)工程師開發(fā)項(xiàng)目應(yīng)用等等的缺點(diǎn)。第二種是基于DSP開發(fā)，把DSP直接植入到相機(jī)內(nèi)，一顆相機(jī)就能替代原來相機(jī)及車牌識(shí)別算法，然后將結(jié)果數(shù)據(jù)和圖片發(fā)送到服務(wù)器端。該方法的優(yōu)點(diǎn)是:應(yīng)用簡(jiǎn)單開發(fā)項(xiàng)目容易，穩(wěn)定性好，但具有成本高、不好普及的缺點(diǎn)。

【發(fā)明內(nèi)容】

[0003]因此，針對(duì)上述的問題，本發(fā)明提出一種新型的智能相機(jī)及其控制方法，采用FPGA+ DSP+ ARM +觸摸顯示屏的架構(gòu)而開發(fā)的新型智能相機(jī)，將(XD、CMOS芯片直接植入到FPGA+DSP+ARM板上做成體積小的智能相機(jī)，其采用的FPGA+ DSP+ARM架構(gòu)成本低廉，與其他同類產(chǎn)品相比，具有更高處理速度和可靠性，無需PC控制及設(shè)定等優(yōu)勢(shì)，并解決了現(xiàn)有技術(shù)之不足。
[0004]為了解決上述技術(shù)問題，本發(fā)明的一種智能相機(jī)的控制方法，用于智能相機(jī)，該智能相機(jī)包括FPGA可編程器件、DSP處理器、ARM處理器、RAM存儲(chǔ)器以及輸入輸出接口，該輸入輸出接口包括(XD/CM0S接口、視頻流接口、I/O接口、網(wǎng)口和串口。該控制方法包括以下步驟:
步驟1:ARM處理器監(jiān)聽輸入輸出接口，如果有控制指令，則根據(jù)預(yù)設(shè)的規(guī)則將控制指令分類，并發(fā)送至FPGA可編程器件和/或DSP處理器進(jìn)行處理；其中，控制指令包括相機(jī)拍照指令、視頻處理指令、選擇是否啟動(dòng)運(yùn)行指令、系統(tǒng)調(diào)用內(nèi)部存儲(chǔ)的相應(yīng)程序指令(通信
口)；
步驟2: ARM處理器接收用戶的控制命令，并進(jìn)行初步判斷，根據(jù)不同的命令發(fā)送至FPGA可編程器件或者DSP處理器進(jìn)行處理；
如果是相機(jī)拍照指令，則轉(zhuǎn)到步驟21，如果是選擇視頻處理指令，則轉(zhuǎn)到步驟22 ;如果是是否啟動(dòng)運(yùn)行指令，則轉(zhuǎn)到步驟23 ;如果是系統(tǒng)調(diào)用內(nèi)部存儲(chǔ)的相應(yīng)程序指令，則轉(zhuǎn)到步驟24 ；
步驟21:相機(jī)拍照指令，是由FPGA可編程器件發(fā)送拍照信號(hào)，輸入輸出接口將采集的圖像數(shù)據(jù)發(fā)給FPGA可編程器件，F(xiàn)PGA可編程器件接收到圖像數(shù)據(jù)后進(jìn)行圖像處理；FPGA可編程器件圖像處理后將圖像數(shù)據(jù)傳送給DSP處理器；DSP處理器對(duì)該圖像數(shù)據(jù)進(jìn)行視覺算法處理；
步驟22:視頻處理指令，是由輸入輸出接口將采集的視頻流發(fā)給FPGA可編程器件，F(xiàn)PGA可編程器件對(duì)接收到的視頻流進(jìn)行逐幀處理，處理后轉(zhuǎn)發(fā)給DSP處理器進(jìn)行算法分析；
步驟23:選擇是否啟動(dòng)運(yùn)行指令，是由輸入輸出接口將采集的是否啟動(dòng)發(fā)給ARM處理器，ARM處理器接收用戶的操作指令，如果是啟動(dòng)，則發(fā)送至FPGA可編程器件執(zhí)行啟動(dòng)；如果是不啟動(dòng)，則結(jié)束該流程；
步驟24:系統(tǒng)調(diào)用內(nèi)部存儲(chǔ)的相應(yīng)程序指令(通信口)，包括以下過程:ARM處理器預(yù)先設(shè)定每個(gè)程序是由FPGA可編程器件處理，還是由DSP處理器進(jìn)行處理；ARM處理器接收用戶的操作指令，并根據(jù)該操作指令找到相應(yīng)的程序，然后查找該程序的優(yōu)先級(jí)以及處理器，如果該程序的處理器是FPGA可編程器件，則由FPGA可編程器件啟動(dòng)該程序并處理；如果該程序的處理器是DSP處理器，則由DSP處理器啟動(dòng)該程序并處理；
一般的，在設(shè)定哪個(gè)程序是由FPGA可編程器件處理，還是由DSP處理器進(jìn)行處理時(shí)，是根據(jù)該程序的復(fù)雜度來設(shè)定的，如果某個(gè)程序的復(fù)雜度很高，例如該程序的算法維度大于M，那么則由處理能力強(qiáng)的DSP處理器來處理，如果某個(gè)程序的復(fù)雜度不高，則可由處理能力較弱的FPGA可編程器件 處理。
[0005]另外，ARM處理器還預(yù)先為每個(gè)程序設(shè)定運(yùn)行的優(yōu)先級(jí)；當(dāng)同時(shí)有一個(gè)以上的程序待運(yùn)行，記為程序A、程序B、程序C…程序N ；
情形1:如果程序A、程序B、程序C...程序N預(yù)先設(shè)定均是由FPGA可編程器件單獨(dú)進(jìn)行處理，則將程序A、程序B、程序C…程序N的優(yōu)先級(jí)排序，那么令位于單數(shù)號(hào)的程序(程序A、程序C...)由FPGA可編程器件進(jìn)行處理，位于雙數(shù)號(hào)的程序(程序B...)由DSP處理器進(jìn)行處理；
情形2:如果程序A、程序B、程序C...程序N預(yù)先設(shè)定均是由DSP處理器單獨(dú)進(jìn)行處理，則將程序A、程序B、程序C…程序N的優(yōu)先級(jí)排序，那么令位于單數(shù)號(hào)的程序(程序A、程序0..)由DSP處理器進(jìn)行處理，位于雙數(shù)號(hào)的程序(程序B...)由FPGA可編程器件進(jìn)行處理；情形3:如果程序A、程序B、程序C...程序N預(yù)先設(shè)定是由FPGA可編程器件或者DSP處理器，則按照優(yōu)先級(jí)順序執(zhí)行上述程序，直到其中一個(gè)處理器(FPGA可編程器件或者DSP處理器)空閑，則重復(fù)情形I或者情形2的執(zhí)行方法。
[0006]步驟3 =DSP處理器將處理后的結(jié)果由輸入輸出接口發(fā)出。
[0007]進(jìn)一步的，所述步驟21的相機(jī)拍照指令，具體包括以下過程:由FPGA可編程器件發(fā)送拍照信號(hào)，輸入輸出接口中的(XD/CM0S接口開始將每行像素?cái)?shù)據(jù)發(fā)給FPGA可編程器件，由FPGA可編程器件進(jìn)行ROI圖像分割，ROI分割是根據(jù)ARM處理器發(fā)給FPGA可編程器件的程序設(shè)定的數(shù)據(jù)將整要處理圖像的部位分割出來，然后再用FPGA可編程器件進(jìn)行預(yù)處理，該預(yù)處理包括二值化處理、高斯、膨脹、RBG顏色提取、小波等處理。根據(jù)ROI分割出來的圖像比原始圖像小(根據(jù)檢測(cè)設(shè)定檢測(cè)區(qū)域)處理速度可以提到1-10倍；FPGA可編程器件處理后的圖像已經(jīng)只有原始圖的幾分之幾，數(shù)據(jù)量很小，再傳送給DSP處理器，由DSP處理器進(jìn)行視覺算法處理，如灰度模保匹配、幾何外形匹配，邊緣提取及尺寸測(cè)量等算法處理；FPGA可編程器件處理后結(jié)果發(fā)給ARM處理器做圖像顯示及結(jié)果判定，最后由GPIO及以太網(wǎng)或串口發(fā)出結(jié)果數(shù)據(jù)。[0008]步驟22:視頻處理指令，是由輸入輸出接口將采集的視頻流發(fā)給FPGA可編程器件，F(xiàn)PGA可編程器件可編程控制器對(duì)接收到的視頻流進(jìn)行逐幀處理，同時(shí)轉(zhuǎn)發(fā)給DSP處理器的H264編碼器。如檢測(cè)車輛主要目的是要車牌，F(xiàn)PGA可編程器件負(fù)責(zé)自動(dòng)將車牌位置提取出來，然后將車牌左右上下30個(gè)像素范圍的圖片截取下來，然后進(jìn)行顏色提取及神經(jīng)網(wǎng)絡(luò)分析提出處理，再發(fā)給DSP處理器。DSP處理器收到預(yù)處理后的小圖進(jìn)行OCR算法分析，并得出結(jié)果發(fā)給上位機(jī)，同時(shí)將圖片壓縮為JPG格式，由H264編碼壓縮通過BNC接口發(fā)出。
[0009]本發(fā)明采用上述方法，采用FPGA+ DSP+ ARM +觸摸顯示屏的架構(gòu)，三核(FPGA+DSP+ ARM)協(xié)助處理，且FPGA和ARM價(jià)格低廉，因此整個(gè)智能相機(jī)成本低；且對(duì)程序的優(yōu)先級(jí)以及處理器都做了預(yù)先設(shè)置，實(shí)現(xiàn)FPGA+ DSP+ ARM的三核協(xié)同完成智能處理，具有更高的處理速度和可靠性。
【具體實(shí)施方式】
[0010]現(xiàn)結(jié)合【具體實(shí)施方式】對(duì)本發(fā)明進(jìn)一步說明。
[0011]本發(fā)明的一種智能相機(jī)的控制方法，用于智能相機(jī)，該智能相機(jī)包括FPGA可編程器件、DSP處理器、ARM處理器以及輸入輸出接口，該輸入輸出接口包括(XD/CM0S接口、視頻流接口、I/O接口、網(wǎng)口和串口。該智能相機(jī)的工作流程如下:首先，初始化相機(jī)；然后相機(jī)上電后，啟動(dòng)自檢，電壓是否正常，接口是否連接，內(nèi)存是否正常，顯示是否正常；然后硬件檢測(cè)正常后加載存儲(chǔ)在ARM處理器的軟件程序，并根據(jù)該軟件程序執(zhí)行該智能相機(jī)的控制方法。
[0012]其控制方法如下:ARM處理器監(jiān)聽輸入輸出接口的控制命令，跟并根據(jù)其控制命令的類別來發(fā)送至FPGA可編程器件或者DSP處理器進(jìn)行處理。從RAM存儲(chǔ)器里取出圖片或視頻，進(jìn)行壓縮編碼并輸出，RAM存儲(chǔ)器等待輸入輸出接口的外部觸發(fā)信號(hào)。等待輸入輸出接口是否給出拍照觸發(fā)信號(hào)，當(dāng)收到輸入輸出接口的觸發(fā)信號(hào)后，從RAM存儲(chǔ)器取出當(dāng)前幀圖像，進(jìn)行OCR算法處理，處理后得到結(jié)果，將車牌數(shù)據(jù)和圖片一起由輸入輸出接口通過以太網(wǎng)發(fā)送出去，ARM處理器啟動(dòng)軟件程序開始運(yùn)行處理，得出結(jié)果從輸入輸出接口輸出。
[0013]另外，本發(fā)明的智能相機(jī)在進(jìn)行自檢，是通過其內(nèi)設(shè)置的檢測(cè)程序?qū)崿F(xiàn)的。例如，可通過觸摸屏設(shè)定檢測(cè)工具，DSP處理器內(nèi)部ROM已經(jīng)燒入多個(gè)算法程序，用戶只要選擇相應(yīng)工具，然后選擇所要檢測(cè)的區(qū)域，完成一個(gè)工具設(shè)定，可以重復(fù)添加不同的算法工具。
[0014]另外本發(fā)明還增加了視頻流接口，此接口是采用DSP視頻壓縮算法功能，可輸出高清的圖像也可以壓縮成錄像用的視頻格式，供安防監(jiān)控用。
[0015]具體的，本發(fā)明的一種智能相機(jī)的控制方法包括以下步驟:
步驟1:ARM處理器監(jiān)聽輸入輸出接口，如果有控制指令，則根據(jù)預(yù)設(shè)的規(guī)則將控制指令分類，并發(fā)送至FPGA可編程器件和/或DSP處理器進(jìn)行處理；其中，控制指令包括相機(jī)拍照指令、視頻處理指令、選擇是否啟動(dòng)運(yùn)行指令、系統(tǒng)調(diào)用內(nèi)部存儲(chǔ)的相應(yīng)程序指令(通信
口)；
步驟2: ARM處理器接收用戶的控制命令，并進(jìn)行初步判斷，根據(jù)不同的命令發(fā)送至FPGA可編程器件或者DSP處理器進(jìn)行處理；
如果是相機(jī)拍照指令，則轉(zhuǎn)到步驟21，如果是選擇視頻處理指令，則轉(zhuǎn)到步驟22 ;如果是是否啟動(dòng)運(yùn)行指令，則轉(zhuǎn)到步驟23 ;如果是系統(tǒng)調(diào)用內(nèi)部存儲(chǔ)的相應(yīng)程序指令，則轉(zhuǎn)到步驟24 ；
步驟21:相機(jī)拍照指令，是由FPGA可編程器件發(fā)送拍照信號(hào)，輸入輸出接口將采集的圖像數(shù)據(jù)發(fā)給FPGA可編程器件，F(xiàn)PGA可編程器件接收到圖像數(shù)據(jù)后進(jìn)行圖像處理；FPGA可編程器件圖像處理后將圖像數(shù)據(jù)傳送給DSP處理器；DSP處理器對(duì)該圖像數(shù)據(jù)進(jìn)行視覺算法處理；
步驟22:視頻處理指令，是由輸入輸出接口將采集的視頻流發(fā)給FPGA可編程器件，F(xiàn)PGA可編程器件對(duì)接收到的視頻流進(jìn)行逐幀處理，處理后轉(zhuǎn)發(fā)給DSP處理器進(jìn)行算法分析；
步驟23:選擇是否啟動(dòng)運(yùn)行指令，是由輸入輸出接口將采集的是否啟動(dòng)發(fā)給ARM處理器，ARM處理器接收用戶的操作指令，如果是啟動(dòng)，則發(fā)送至FPGA可編程器件執(zhí)行啟動(dòng)；如果是不啟動(dòng)，則結(jié)束該流程；
步驟24:系統(tǒng)調(diào)用內(nèi)部存儲(chǔ)的相應(yīng)程序指令(通信口)，包括以下過程:ARM處理器預(yù)先設(shè)定每個(gè)程序是由FPGA可編程器件處理，還是由DSP處理器進(jìn)行處理；ARM處理器接收用戶的操作指令，并根據(jù)該操作指令找到相應(yīng)的程序，然后查找該程序的優(yōu)先級(jí)以及處理器，如果該程序的處理器是FPGA可編程器件，則由FPGA可編程器件啟動(dòng)該程序并處理；如果該程序的處理器是DSP處理器，則由DSP處理器啟動(dòng)該程序并處理； 一般的，在設(shè)定哪個(gè)程序是由FPGA可編程器件處理，還是由DSP處理器進(jìn)行處理時(shí)，是根據(jù)該程序的復(fù)雜度來設(shè)定的，如果某個(gè)程序的復(fù)雜度很高，例如該程序的算法維度大于M，那么則由處理能力強(qiáng)的DSP處理器來處理，如果某個(gè)程序的復(fù)雜度不高，則可由處理能力較弱的FPGA可編程器件處理。
[0016]另外，ARM處理器還預(yù)先為每個(gè)程序設(shè)定運(yùn)行的優(yōu)先級(jí)；當(dāng)同時(shí)有一個(gè)以上的程序待運(yùn)行，記為程序A、程序B、程序C…程序N ；
情形1:如果程序A、程序B、程序C...程序N預(yù)先設(shè)定均是由FPGA可編程器件單獨(dú)進(jìn)行處理，則將程序A、程序B、程序C…程序N的優(yōu)先級(jí)排序，那么令位于單數(shù)號(hào)的程序(程序A、程序C...)由FPGA可編程器件進(jìn)行處理，位于雙數(shù)號(hào)的程序(程序B...)由DSP處理器進(jìn)行處理；
情形2:如果程序A、程序B、程序C...程序N預(yù)先設(shè)定均是由DSP處理器單獨(dú)進(jìn)行處理，則將程序A、程序B、程序C…程序N的優(yōu)先級(jí)排序，那么令位于單數(shù)號(hào)的程序(程序A、程序0..)由DSP處理器進(jìn)行處理，位于雙數(shù)號(hào)的程序(程序B...)由FPGA可編程器件進(jìn)行處理；
情形3:如果程序A、程序B、程序C…程序N預(yù)先設(shè)定是由FPGA可編程器件或者DSP處理器，則按照優(yōu)先級(jí)順序執(zhí)行上述程序，直到其中一個(gè)處理器(FPGA可編程器件或者DSP處理器)空閑，則重復(fù)情形I或者情形2的執(zhí)行方法。
[0017]另外，內(nèi)部存儲(chǔ)的相應(yīng)程序一般是存儲(chǔ)在存儲(chǔ)器FLSH里面的。簡(jiǎn)單來說，上述程序是由ARM處理器指定好調(diào)用哪個(gè)算法程序進(jìn)行執(zhí)行，正常FPGA可編程器件的內(nèi)部存儲(chǔ)器已經(jīng)寫入幾個(gè)算法程序比如程序1-程序10號(hào)，先執(zhí)行哪個(gè)程序是由ARM處理器指定給FPGA可編程器件的，比如在開始檢測(cè)前ARM處理器通過人工設(shè)定的指令用戶程序設(shè)定好FPGA可編程器件要調(diào)用幾個(gè)程序的先后順序，開始運(yùn)行時(shí)就按設(shè)定的調(diào)用流程加載到內(nèi)存等待圖片過來開始運(yùn)算處理； 步驟3:DSP處理器將處理后的結(jié)果由輸入輸出接口發(fā)出。
[0018]進(jìn)一步的，所述步驟21的相機(jī)拍照指令，具體包括以下過程:由FPGA可編程器件發(fā)送拍照信號(hào)，輸入輸出接口中的(XD/CM0S接口開始將每行像素?cái)?shù)據(jù)發(fā)給FPGA可編程器件，由FPGA可編程器件進(jìn)行ROI圖像分割，ROI分割是根據(jù)ARM處理器發(fā)給FPGA可編程器件的程序設(shè)定的數(shù)據(jù)將整要處理圖像的部位分割出來，然后再用FPGA可編程器件進(jìn)行預(yù)處理，該預(yù)處理包括二值化處理、高斯、膨脹、RBG顏色提取、小波等處理。根據(jù)ROI分割出來的圖像比原始圖像小(根據(jù)檢測(cè)設(shè)定檢測(cè)區(qū)域)處理速度可以提到1-10倍；FPGA可編程器件處理后的圖像已經(jīng)只有原始圖的幾分之幾，數(shù)據(jù)量很小，再傳送給DSP處理器，由DSP處理器進(jìn)行視覺算法處理，如灰度模保匹配、幾何外形匹配，邊緣提取及尺寸測(cè)量等算法處理；FPGA可編程器件處理后結(jié)果發(fā)給ARM處理器做圖像顯示及結(jié)果判定，最后由GPIO及以太網(wǎng)或串口發(fā)出結(jié)果數(shù)據(jù)；
步驟22:視頻處理指令，是由輸入輸出接口將采集的視頻流發(fā)給FPGA可編程器件，F(xiàn)PGA可編程器件可編程控制器對(duì)接收到的視頻流進(jìn)行逐幀處理，同時(shí)轉(zhuǎn)發(fā)給DSP處理器的H264編碼器。如檢測(cè)車輛主要目的是要車牌，F(xiàn)PGA可編程器件負(fù)責(zé)自動(dòng)將車牌位置提取出來，然后將車牌左右上下30個(gè)像素范圍的圖片截取下來，然后進(jìn)行顏色提取及神經(jīng)網(wǎng)絡(luò)分析提出處理，再發(fā)給DSP處理器。DSP處理器收到預(yù)處理后的小圖進(jìn)行OCR算法分析，并得出結(jié)果發(fā)給上位機(jī)，同時(shí)將圖片壓縮為JPG格式，由H264編碼壓縮通過BNC接口發(fā)出。
[0019]本發(fā)明采用上述方法，采用FPGA+ DSP+ ARM +觸摸顯示屏的架構(gòu)，三核協(xié)助處理，且FPGA和ARM價(jià)格低廉，因此整個(gè)智能相機(jī)成本低，且三核協(xié)同完成了智能處理，具有更高的處理速度和可靠性。
[0020]本發(fā)明具體在應(yīng)用到車牌識(shí)別領(lǐng)域時(shí)，將車牌識(shí)別OCR算法處理放到ARM處理器內(nèi)執(zhí)行，執(zhí)行后的結(jié)果圖片并附帶字符信息通過輸入輸出接口發(fā)送給服務(wù)器，進(jìn)而實(shí)現(xiàn)車牌識(shí)別。
[0021]盡管結(jié)合優(yōu)選實(shí)施方案具體展示和介紹了本發(fā)明，但所屬領(lǐng)域的技術(shù)人員應(yīng)該明白，在不脫離所附權(quán)利要求書所限定的本發(fā)明的精神和范圍內(nèi)，在形式上和細(xì)節(jié)上可以對(duì)本發(fā)明做出各種變化，均為本發(fā)明的保護(hù)范圍。
【權(quán)利要求】
1.一種智能相機(jī)的控制方法，用于智能相機(jī)，該智能相機(jī)包括FPGA可編程器件、DSP處理器、ARM處理器、RAM存儲(chǔ)器以及輸入輸出接口，該輸入輸出接口包括(XD/CMOS接口、視頻流接口、I/O接口、網(wǎng)口和串口 ；該控制方法包括以下步驟: 步驟1:ARM處理器監(jiān)聽輸入輸出接口，如果有控制指令，則根據(jù)預(yù)設(shè)的規(guī)則將控制指令分類，并發(fā)送至FPGA可編程器件和/或DSP處理器進(jìn)行處理；其中，控制指令包括相機(jī)拍照指令、視頻處理指令、選擇是否啟動(dòng)運(yùn)行指令、系統(tǒng)調(diào)用內(nèi)部存儲(chǔ)的相應(yīng)程序指令； 步驟2: ARM處理器接收用戶的控制命令，并進(jìn)行初步判斷，根據(jù)不同的命令發(fā)送至FPGA可編程器件或者DSP處理器進(jìn)行處理； 如果是相機(jī)拍照指令，則轉(zhuǎn)到步驟21，如果是選擇視頻處理指令，則轉(zhuǎn)到步驟22 ;如果是是否啟動(dòng)運(yùn)行指令，則轉(zhuǎn)到步驟23 ;如果是系統(tǒng)調(diào)用內(nèi)部存儲(chǔ)的相應(yīng)程序指令，則轉(zhuǎn)到步驟24 ； 步驟21:相機(jī)拍照指令，是由FPGA可編程器件發(fā)送拍照信號(hào)，輸入輸出接口將采集的圖像數(shù)據(jù)發(fā)給FPGA可編程器件，F(xiàn)PGA可編程器件接收到圖像數(shù)據(jù)后進(jìn)行圖像處理；FPGA可編程器件圖像處理后將圖像數(shù)據(jù)傳送給DSP處理器；DSP處理器對(duì)該圖像數(shù)據(jù)進(jìn)行視覺算法處理； 步驟22:視頻處理指令，是由輸入輸出接口將采集的視頻流發(fā)給FPGA可編程器件，F(xiàn)PGA可編程器件對(duì)接收到的視頻流進(jìn)行逐幀處理，處理后轉(zhuǎn)發(fā)給DSP處理器進(jìn)行算法分析； 步驟23:選擇是否啟動(dòng)運(yùn)行指令，是由輸入輸出接口將采集的是否啟動(dòng)發(fā)給ARM處理器，ARM處理器接收用戶的操作指令，如果是啟動(dòng)，則發(fā)送至FPGA可編程器件執(zhí)行啟動(dòng)；如果是不啟動(dòng)，則結(jié)束該流程； 步驟24:系統(tǒng)調(diào)用內(nèi)部存儲(chǔ)的相應(yīng)程序指令(通信口)，包括以下過程:ARM處理器預(yù)先設(shè)定每個(gè)程序是由FPGA可編程器件處理，還是由DSP處理器進(jìn)行處理；ARM處理器接收用戶的操作指令，并根據(jù)該操作指令找到相應(yīng)的程序，然后查找該程序的優(yōu)先級(jí)以及處理器，如果該程序的處理器是FPGA可編程器件，則由FPGA可編程器件啟動(dòng)該程序并處理；如果該程序的處理器是DSP處理器，則由DSP處理器啟動(dòng)該程序并處理； 步驟3 =DSP處理器將處理后的結(jié)果由輸入輸出接口發(fā)出。
2.根據(jù)權(quán)利要求1所述的智能相機(jī)的控制方法，其特征在于:所述步驟24中，在設(shè)定哪個(gè)程序是由FPGA可編程器件處理，還是由DSP處理器進(jìn)行處理時(shí)，是根據(jù)該程序的復(fù)雜度來設(shè)定的，如果某個(gè)程序的復(fù)雜度很高，即該程序的算法維度大于M，那么則由處理能力強(qiáng)的DSP處理器來處理，如果某個(gè)程序的復(fù)雜度不高，則由處理能力較弱的FPGA可編程器件處理。
3.根據(jù)權(quán)利要求1或2所述的智能相機(jī)的控制方法，其特征在于:所述步驟24中，ARM處理器還預(yù)先為每個(gè)程序設(shè)定運(yùn)行的優(yōu)先級(jí)；當(dāng)同時(shí)有一個(gè)以上的程序待運(yùn)行，記為程序A、程序B、程序C…程序N ； 情形1:如果程序A、程序B、程序C...程序N預(yù)先設(shè)定均是由FPGA可編程器件單獨(dú)進(jìn)行處理，則將程序A、程序B、程序C…程序N的優(yōu)先級(jí)排序，那么令位于單數(shù)號(hào)的程序由FPGA可編程器件進(jìn)行處理，位于雙數(shù)號(hào)的程序由DSP處理器進(jìn)行處理； 情形2:如果程序A、程序B、程序C...程序N預(yù)先設(shè)定均是由DSP處理器單獨(dú)進(jìn)行處理，則將程序A、程序B、程序C…程序N的優(yōu)先級(jí)排序，那么令位于單數(shù)號(hào)的程序由DSP處理器進(jìn)行處理，位于雙數(shù)號(hào)的程序由FPGA可編程器件進(jìn)行處理； 情形3:如果程序A、程序B、程序C...程序N預(yù)先設(shè)定是由FPGA可編程器件或者DSP處理器，則按照優(yōu)先級(jí)順序執(zhí)行上述程序，直到其中一個(gè)處理器空閑，則重復(fù)情形I或者情形2的執(zhí)行方法。
4.根據(jù)權(quán)利要求1所述的智能相機(jī)的控制方法，其特征在于:所述步驟21的相機(jī)拍照指令，具體包括以下過程:由FPGA可編程器件發(fā)送拍照信號(hào)，輸入輸出接口中的(XD/CMOS接口開始將每行像素?cái)?shù)據(jù)發(fā)給FPGA可編程器件，由FPGA可編程器件進(jìn)行ROI圖像分割，ROI分割是根據(jù)ARM處理器發(fā)給FPGA可編程器件的程序設(shè)定的數(shù)據(jù)將整要處理圖像的部位分割出來，然后再用FPGA可編程器件進(jìn)行預(yù)處理，該預(yù)處理包括二值化處理、高斯、膨脹、RBG顏色提取、小波等處理；根據(jù)ROI分割出來的圖像比原始圖像小處理速度可以提到1-10倍；FPGA可編程器件處理后的圖像已經(jīng)只有原始圖的幾分之幾，數(shù)據(jù)量很小，再傳送給DSP處理器，由DSP處理器進(jìn)行視覺算法處理；FPGA可編程器件處理后結(jié)果發(fā)給ARM處理器做圖像顯示及結(jié)果判定，最后由GPIO及以太網(wǎng)或串口發(fā)出結(jié)果數(shù)據(jù)。
5.根據(jù)權(quán)利要求1所述的智能相機(jī)的控制方法，其特征在于:所述步驟22的視頻處理指令，是由輸入輸出接口將采集的視頻流發(fā)給FPGA可編程器件，F(xiàn)PGA可編程器件可編程控制器對(duì)接收到的視頻流進(jìn)行逐幀處理，同時(shí)轉(zhuǎn)發(fā)給DSP處理器的H264編碼器； 如檢測(cè)車輛主要目的是要車牌，F(xiàn)PGA可編程器件負(fù)責(zé)自動(dòng)將車牌位置提取出來，然后將車牌左右上下30個(gè)像素范圍的圖片截取下來，然后進(jìn)行顏色提取及神經(jīng)網(wǎng)絡(luò)分析提出處理，再發(fā)給DSP處理器； DSP處理器收到預(yù)處理后的小圖進(jìn)行OCR算法分析，并得出結(jié)果發(fā)給上位機(jī)，同時(shí)將圖片壓縮為JPG格式，由H264編碼壓縮通過BNC接口發(fā)出。
【文檔編號(hào)】H04N5/232GK103945124SQ201410143106
【公開日】2014年7月23日 申請(qǐng)日期:2014年4月11日 優(yōu)先權(quán)日:2014年4月11日
【發(fā)明者】賴明鐘 申請(qǐng)人:廈門麥克瑪視電子信息技術(shù)有限公司