一種基于嵌入式的該分辨率圖像處理系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及的是一種圖像處理系統(tǒng)，特別涉及的是一種在嵌入式平臺(tái)下應(yīng)用的針對(duì)高分辨率全景圖像展開(kāi)的系統(tǒng)。
【背景技術(shù)】
[0002]近年來(lái)，隨著數(shù)碼相機(jī)甚至連手機(jī)都由原來(lái)幾十萬(wàn)像素的分辨率，發(fā)展到千萬(wàn)像素甚至更高的級(jí)別，圖像傳感器制造技術(shù)的高速發(fā)展，對(duì)圖像和視頻的處理能力要求也越來(lái)越高。圖像處理系統(tǒng)在工業(yè)生產(chǎn)、軍事、醫(yī)學(xué)等多個(gè)領(lǐng)域中得到了廣泛的應(yīng)用。主流的圖像處理系統(tǒng)由CXD攝像頭、采集卡和計(jì)算機(jī)等部分組成，然而這些系統(tǒng)往往暴露出結(jié)構(gòu)復(fù)雜、成本較高、體積較大等等缺點(diǎn)。隨著傳感技術(shù)、半導(dǎo)體技術(shù)以及嵌入式系統(tǒng)的不斷發(fā)展，一種新的圖像處理系統(tǒng)——嵌入式圖像處理系統(tǒng)開(kāi)始步入圖像系統(tǒng)發(fā)展史的里程。嵌入式圖像處理系統(tǒng)以其處理能力強(qiáng)、可靠性強(qiáng)、體積小、功耗低、成本低、保密性好等眾多優(yōu)點(diǎn)有效地克服了傳統(tǒng)圖像處理系統(tǒng)的缺點(diǎn)，因此具有廣闊的發(fā)展前景。
[0003]嵌入式圖像處理系統(tǒng)將大量的圖像處理運(yùn)算過(guò)程從通用的以PC為機(jī)構(gòu)架的設(shè)備體系轉(zhuǎn)移到以FPGA、DSP等為處理核心的專(zhuān)用嵌入式結(jié)構(gòu)中?，F(xiàn)場(chǎng)可編程門(mén)陣列FPGA以其應(yīng)用靈活、集成度高、功能強(qiáng)大、設(shè)計(jì)周期短、開(kāi)發(fā)成本低的特點(diǎn)，越來(lái)越多地被應(yīng)用在圖像處理領(lǐng)域。大量的實(shí)踐證明，F(xiàn)PGA具有并行處理能力與流水線作業(yè)能力，可以顯著地提高圖像處理的速度，因此基于FPGA的開(kāi)發(fā)圖像處理系統(tǒng)有著廣闊的發(fā)展前景。而各種高性能的DSP不僅可以滿足在運(yùn)算性能上的要求，而且由于DSP的可編程性，還可以在硬件一級(jí)獲得系統(tǒng)設(shè)計(jì)的極大靈活性。DSP的通用性、可靠性和靈活性都很高。嵌入式圖像處理系統(tǒng)相對(duì)于傳統(tǒng)的PC機(jī)處理系統(tǒng)有著很大的優(yōu)勢(shì):它實(shí)現(xiàn)了設(shè)備的小型化；強(qiáng)化了設(shè)備的專(zhuān)用功能；提高了處理數(shù)據(jù)的速度和實(shí)時(shí)性；以及給PC機(jī)系統(tǒng)直接提供成熟的中間數(shù)據(jù)或結(jié)論。它將圖像處理系統(tǒng)設(shè)計(jì)成PC機(jī)系統(tǒng)的一個(gè)外設(shè)，實(shí)現(xiàn)了設(shè)備在硬件和功能上的獨(dú)立，既可以獨(dú)立完成功能明確的特定任務(wù)，又可以和PC機(jī)系統(tǒng)配合完成更復(fù)雜的功能。

【發(fā)明內(nèi)容】

[0004]本發(fā)明的目的是提供一種在嵌入式平臺(tái)下應(yīng)用的針對(duì)高分辨率全景圖像展開(kāi)的方系統(tǒng)，以提高嵌入式系統(tǒng)處理高清圖像的速度和實(shí)時(shí)性。
[0005]本發(fā)明是這樣實(shí)現(xiàn)的:
[0006]—種基于嵌入式的該分辨率圖像處理系統(tǒng),其組成包括:Camera Link的相機(jī)接口、容量為 4MX 16 位的 SSRAM、FPGA1EP3C80F780I7、SDR SDRAM、EP3C80F780I7、顯示器驅(qū)動(dòng)。
[0007]所述的一種基于嵌入式的該分辨率圖像處理系統(tǒng)，其特征是對(duì)圖像的實(shí)時(shí)處理，采用的是乒乓操作，一個(gè)內(nèi)存區(qū)域用于新一場(chǎng)圖像的采集，另一個(gè)內(nèi)存區(qū)域用于剛剛采集到的整幅圖像的處理，在一個(gè)圖像場(chǎng)周期內(nèi)采集和處理都必須完成，然后切換其工作的內(nèi)存區(qū)域，交替使用。
[0008]所述的一種基于嵌入式的該分辨率圖像處理系統(tǒng)，其特征是系統(tǒng)選用的SSRAM是CYPRESS公司的CY7C1472BV25，工作電壓為2.5V，組織結(jié)構(gòu)為4MX 18bit，是帶有流水線的同步SRAM，標(biāo)稱(chēng)工作頻率200MHz，可以突發(fā)操作，并且沒(méi)有數(shù)據(jù)潛伏期，具有ZBT的結(jié)構(gòu)，在讀操作和寫(xiě)操作之間切換時(shí)不需要任何延遲，可以保證持續(xù)的讀或?qū)?，每個(gè)周期都能夠傳輸一次數(shù)據(jù)。
[0009]這個(gè)嵌入式系統(tǒng)是這樣組成的:一組Camera Link的相機(jī)接口，可以兼容Base模式，Medium模式，F(xiàn)ull模式；4片容量為4MX16位的SSRAM，專(zhuān)用于全景圖像展開(kāi)和貝爾插值；FPGAl (EP3C80F780I7)，專(zhuān)門(mén)負(fù)責(zé)全景展開(kāi)和貝爾插值運(yùn)算；兩片16MX16位的SDRSDRAM用于顯示和千兆網(wǎng)傳輸?shù)木彺?；FPGA2 (EP3C80F780I7)，負(fù)責(zé)除全景展開(kāi)和貝爾插值運(yùn)算外的所有任務(wù)，包括顯示器驅(qū)動(dòng)，和千兆以太網(wǎng)的接收和發(fā)送；一路千兆以太網(wǎng)接口(M88E1111)，用于上傳圖像數(shù)據(jù)，和接收控制命令；一路顯示器接口(ADV7125)，實(shí)時(shí)顯示相機(jī)的圖像或展開(kāi)后的圖像；4096ρΧΧ3072ρΧ，25fps的相機(jī)負(fù)責(zé)圖像數(shù)據(jù)采集。
[0010]對(duì)圖像的實(shí)時(shí)處理，采用的是乒乓操作，一個(gè)內(nèi)存區(qū)域用于新一場(chǎng)圖像的采集，另一個(gè)內(nèi)存區(qū)域用于剛剛采集到的整幅圖像的處理，在一個(gè)圖像場(chǎng)周期內(nèi)采集和處理都必須完成，然后切換其工作的內(nèi)存區(qū)域，交替使用。這樣的優(yōu)點(diǎn)是處理后輸出的圖像數(shù)據(jù)是同一場(chǎng)的。如果僅有一個(gè)工作區(qū)域會(huì)使得被處理的圖像正在被刷新和覆蓋，輸出的圖像數(shù)據(jù)不屬于同一場(chǎng)，動(dòng)態(tài)圖像參差不齊，視覺(jué)效果很差。
[0011]本發(fā)明還包括:
[0012]系統(tǒng)選用的SSRAM是CYPRESS公司的CY7C1472BV25，工作電壓為2.5V，組織結(jié)構(gòu)為4MX 18bit，是帶有流水線的同步SRAM，標(biāo)稱(chēng)工作頻率200MHz，可以突發(fā)操作，并且沒(méi)有數(shù)據(jù)潛伏期，具有ZBT的結(jié)構(gòu)，在讀操作和寫(xiě)操作之間切換時(shí)不需要任何延遲，可以保證持續(xù)的讀或?qū)?，每個(gè)周期都能夠傳輸一次數(shù)據(jù)。系統(tǒng)一共用了 4片SSRAM，每片的地址總線、控制總線和數(shù)據(jù)總線都是相互獨(dú)立的，任何存儲(chǔ)器之間沒(méi)有擴(kuò)展的拓?fù)潢P(guān)系，但是又需要統(tǒng)一管理和操作，4片SSRAM受一個(gè)控制器來(lái)管理，而不是分別用4個(gè)控制器來(lái)管理，這樣做的目的是充分利用SSRAM獨(dú)立的地址線、數(shù)據(jù)線來(lái)提高尋址速度。
【附圖說(shuō)明】
[0013]圖1為嵌入式圖像處理系統(tǒng)的板級(jí)結(jié)構(gòu)圖；
[0014]圖2為異步FIFO結(jié)構(gòu)示意簡(jiǎn)圖；
[0015]圖3為4片SSRAM的乒乓操作示意圖。
【具體實(shí)施方式】
[0016]下面結(jié)合附圖舉例對(duì)本發(fā)明做更詳細(xì)地描述:
[0017]—種基于嵌入式的該分辨率圖像處理系統(tǒng),其組成包括:Camera Link的相機(jī)接口、容量為 4MX 16 位的 SSRAM、FPGA1EP3C80F780I7、SDR SDRAM、EP3C80F780I7、顯示器驅(qū)動(dòng)。
[0018]其特征是對(duì)圖像的實(shí)時(shí)處理，采用的是乒乓操作，一個(gè)內(nèi)存區(qū)域用于新一場(chǎng)圖像的采集，另一個(gè)內(nèi)存區(qū)域用于剛剛采集到的整幅圖像的處理，在一個(gè)圖像場(chǎng)周期內(nèi)采集和處理都必須完成，然后切換其工作的內(nèi)存區(qū)域，交替使用。
[0019]其特征是系統(tǒng)選用的SSRAM是CYPRESS公司的CY7C1472BV25，工作電壓為2.5V,組織結(jié)構(gòu)為4MX18bit，是帶有流水線的同步SRAM，標(biāo)稱(chēng)工作頻率200MHz，可以突發(fā)操作，并且沒(méi)有數(shù)據(jù)潛伏期，具有ZBT的結(jié)構(gòu)，在讀操作和寫(xiě)操作之間切換時(shí)不需要任何延遲，可以保證持續(xù)的讀或?qū)?，每個(gè)周期都能夠傳輸一次數(shù)據(jù)。
[0020]結(jié)合圖1，圖1是嵌入式圖像處理系統(tǒng)的板級(jí)結(jié)構(gòu)圖。這個(gè)嵌入式系統(tǒng)是這樣組成的:一組Camera Link的相機(jī)接口，可以兼容Base模式，Medium模式，F(xiàn)ull模式；4片容量為4MX16位的SSRAM，專(zhuān)用于全景圖像展開(kāi)和貝爾插值；FPGA1 (EP3C80F780I7)，專(zhuān)門(mén)負(fù)責(zé)全景展開(kāi)和貝爾插值運(yùn)算；兩片16MX16位的SDR SDRAM用于顯示和千兆網(wǎng)傳輸?shù)木彺妫籉PGA2 (EP3C80F780I7)，負(fù)責(zé)除全景展開(kāi)和貝爾插值運(yùn)算外的所有任務(wù)，包括顯示器驅(qū)動(dòng)，和千兆以太網(wǎng)的接收和發(fā)送；一路千兆以太網(wǎng)接口(M88E1111)，用于上傳圖像數(shù)據(jù)，和接收控制命令；一路顯示器接口(ADV7125)，實(shí)時(shí)顯示相機(jī)的圖像或展開(kāi)后的圖像；4096pxX3072px, 25fps的相機(jī)負(fù)責(zé)圖像數(shù)據(jù)采集。
[0021]結(jié)合圖2，圖2是異步FIFO結(jié)構(gòu)示意簡(jiǎn)圖。它包括數(shù)據(jù)存儲(chǔ)區(qū)和控制邏輯兩部分，數(shù)據(jù)將按照接收的順序依次從FIFO的出口輸出。FIFO的工作過(guò)程是:上游節(jié)點(diǎn)是FIFO的數(shù)據(jù)輸入端，在寫(xiě)使能信號(hào)有效時(shí)，數(shù)據(jù)被寫(xiě)入FIFO的頂部(由FIFO內(nèi)部的寫(xiě)指針控制)，并且FIFO內(nèi)部寫(xiě)指針后移一個(gè)單位，同時(shí)FIFO滿信號(hào)將控制上游節(jié)點(diǎn)是否發(fā)送數(shù)據(jù)；FIF0的下游節(jié)點(diǎn)是FIFO的數(shù)據(jù)輸出端，當(dāng)讀使能信號(hào)有效時(shí)，位于FIFO底部單元的數(shù)據(jù)將被讀出(由FIFO內(nèi)部的讀指針控制)，并且FIFO讀指針將后移一個(gè)單位，同時(shí)空信號(hào)將控制下游節(jié)點(diǎn)是否讀取數(shù)據(jù)。
[0022]結(jié)合圖3，圖3是4片SSRAM的乒乓操作示意圖。系統(tǒng)一共用了 4片SSRAM，每片的地址總線、控制總線和數(shù)據(jù)總線都是相互獨(dú)立的，任何存儲(chǔ)器之間沒(méi)有擴(kuò)展的拓?fù)潢P(guān)系，但是又需要統(tǒng)一管理和操作，4片SSRAM受一個(gè)控制器來(lái)管理，而不是分別用4個(gè)控制器來(lái)管理，這樣做的目的是充分利用SSRAM獨(dú)立的地址線、數(shù)據(jù)線來(lái)提高尋址速度。
[0023]因此對(duì)這個(gè)特定控制器的功能要求如下:能完成對(duì)4片SSRAM的讀寫(xiě)操作，每2片SSRAM為一組構(gòu)成乒乓操作所需的結(jié)構(gòu)，數(shù)據(jù)采集時(shí)每個(gè)周期要寫(xiě)入的數(shù)據(jù)為32位寬，將處于寫(xiě)入狀態(tài)的2片SSRAM擴(kuò)展成4MX32bit的組織結(jié)構(gòu)，而展開(kāi)運(yùn)算讀取數(shù)據(jù)時(shí)需將處于讀狀態(tài)的2片SSRAM做成2X4MX 16bit的組織結(jié)構(gòu)，即地址總線保持相互獨(dú)立的狀態(tài)，使其獲得最大的隨機(jī)尋址性能。在乒乓操作時(shí)，需要對(duì)分別處于讀寫(xiě)狀態(tài)的兩組SSRAM進(jìn)行切換，SSRAM具備ZBT零總線切換的結(jié)構(gòu)，對(duì)單片SSRAM本身可以在讀寫(xiě)狀態(tài)下無(wú)延遲自由切換，這種切換方式不是所有存儲(chǔ)器都可以實(shí)現(xiàn)的，只有那些ZBT存儲(chǔ)器才可以，這種存儲(chǔ)器在頻繁的讀寫(xiě)切換中依然能保障100%的總線利用率。為了充分利用這些性能將4片SSRAM在乒乓操作切換時(shí)設(shè)計(jì)成ZBT零總線切換結(jié)構(gòu)。
【主權(quán)項(xiàng)】
1.一種基于嵌入式的該分辨率圖像處理系統(tǒng)，其組成包括:Camera Link的相機(jī)接口、容量為 4MX16 位的 SSRAM、FPGA1EP3C80F780I7、SDR SDRAM、EP3C80F780I7、顯示器驅(qū)動(dòng)。
2.根據(jù)權(quán)利要求1所述的一種基于嵌入式的該分辨率圖像處理系統(tǒng)，其特征是對(duì)圖像的實(shí)時(shí)處理，采用的是乒乓操作，一個(gè)內(nèi)存區(qū)域用于新一場(chǎng)圖像的采集，另一個(gè)內(nèi)存區(qū)域用于剛剛采集到的整幅圖像的處理，在一個(gè)圖像場(chǎng)周期內(nèi)采集和處理都必須完成，然后切換其工作的內(nèi)存區(qū)域，交替使用。
3.根據(jù)權(quán)利要求1所述的一種基于嵌入式的該分辨率圖像處理系統(tǒng)，其特征是系統(tǒng)選用的SSRAM是CYPRESS公司的CY7C1472BV25，工作電壓為2.5V,組織結(jié)構(gòu)為4MX 18bit,是帶有流水線的同步SRAM，標(biāo)稱(chēng)工作頻率200MHz，可以突發(fā)操作，并且沒(méi)有數(shù)據(jù)潛伏期，具有ZBT的結(jié)構(gòu)，在讀操作和寫(xiě)操作之間切換時(shí)不需要任何延遲，可以保證持續(xù)的讀或?qū)?，每個(gè)周期都能夠傳輸一次數(shù)據(jù)。
【專(zhuān)利摘要】一種基于嵌入式的該分辨率圖像處理系統(tǒng)，其組成包括：Camera Link的相機(jī)接口、容量為4M×16位的SSRAM、FPGA1EP3C80F780I7、SDR SDRAM、EP3C80F780I7、顯示器驅(qū)動(dòng)，兩片16M×16位的SDR SDRAM用于顯示和千兆網(wǎng)傳輸?shù)木彺妫籉PGA2，負(fù)責(zé)除全景展開(kāi)和貝爾插值運(yùn)算外的所有任務(wù)，包括顯示器驅(qū)動(dòng)，和千兆以太網(wǎng)的接收和發(fā)送；一路千兆以太網(wǎng)接口，一路顯示器接口，實(shí)時(shí)顯示相機(jī)的圖像或展開(kāi)后的圖像；相機(jī)負(fù)責(zé)圖像數(shù)據(jù)采集。對(duì)圖像的實(shí)時(shí)處理，采用的是乒乓操作，一個(gè)內(nèi)存區(qū)域用于新一場(chǎng)圖像的采集，另一個(gè)內(nèi)存區(qū)域用于剛剛采集到的整幅圖像的處理，在一個(gè)圖像場(chǎng)周期內(nèi)采集和處理都必須完成，然后切換其工作的內(nèi)存區(qū)域，交替使用。
【IPC分類(lèi)】G06F13-16, G06F12-02
【公開(kāi)號(hào)】CN104679679
【申請(qǐng)?zhí)枴緾N201310625656
【發(fā)明人】張立新
【申請(qǐng)人】哈爾濱功成科技創(chuàng)業(yè)投資有限公司
【公開(kāi)日】2015年6月3日
【申請(qǐng)日】2013年11月28日