專利名稱：一種采用雙核控制的網(wǎng)絡(luò)攝像機的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及數(shù)字圖像處理領(lǐng)域，具體的說特別涉及到一種采用雙核控制的網(wǎng)絡(luò)攝像機。
背景技術(shù)：
近幾年來，以數(shù)字圖像處理為對象的嵌入式處理芯片的不斷涌現(xiàn)，為高速圖像處理的硬件實現(xiàn)奠定了較好的物質(zhì)基礎(chǔ)。在ー些專業(yè)領(lǐng)域，開始進行嵌入式芯片進行數(shù)字圖像的采集、預(yù)處理、壓縮解壓縮等方面的應(yīng)用研究。利用嵌入式技術(shù)采用專用芯片和實時操作系統(tǒng)，把視頻壓縮和網(wǎng)絡(luò)傳輸功能集成到ー個嵌入式網(wǎng)絡(luò)攝像機內(nèi)，可以直接連入以太網(wǎng)，網(wǎng)絡(luò)攝像機是針對網(wǎng)絡(luò)環(huán)境下的監(jiān)控需求而設(shè)計的，因此它克服了傳統(tǒng)CCTV監(jiān)控系統(tǒng)無法通過網(wǎng)絡(luò)獲取視頻信息的缺點；在監(jiān)控終端，一方面，遠程監(jiān)控人員通過在IE瀏覽器內(nèi)輸入攝像機的IP，即可訪問到網(wǎng)絡(luò)攝像機，進行監(jiān)控現(xiàn)場的瀏覽，另一方面，監(jiān)控人員也 可通過專用的監(jiān)控終端軟件，進行現(xiàn)場監(jiān)控，IP攝像機是全數(shù)字化的監(jiān)控設(shè)備，它基于標準的TCP/IP協(xié)議，能夠通過局域網(wǎng)/無線網(wǎng)/互聯(lián)網(wǎng)傳輸。尤其針對無線傳輸網(wǎng)絡(luò)，隨著我國第三代移動通訊技術(shù)3G的發(fā)展，利用3G無線網(wǎng)絡(luò)進行現(xiàn)場實時視頻監(jiān)控與指揮已成為應(yīng)對突發(fā)事件獲取現(xiàn)場圖像信息的第一選擇。通過安裝3G無線視頻監(jiān)控系統(tǒng)，將圖像信息通過3G網(wǎng)絡(luò)無線實時傳輸?shù)街笓]中心的監(jiān)視屏幕或各監(jiān)控車輛終端以及手機移動終端上進行顯示，以便于相關(guān)領(lǐng)導(dǎo)能及時掌握突發(fā)事件現(xiàn)場的圖像、位置、狀態(tài)等動態(tài)信息，及時對現(xiàn)場進行布控和處理。對于IP網(wǎng)絡(luò)攝像機系統(tǒng)的設(shè)計方案，目前比較流行的有I.基于ARM處理器和專用視頻編解碼ASIC芯片
這種方案常見的是選擇以ARM為核心處理器和專用的媒體編解碼芯片進行組合，ARM處理器完成系統(tǒng)外設(shè)通信與控制功能，而視頻信號的壓縮編碼由專用的ASIC芯片來完成，如海思半導(dǎo)體推出的Hi3510芯片，Broadcom公司推出的支持高清消費類視頻產(chǎn)品的BCM7411芯片等都是基于MPEG4或者H. 264視頻編碼標準的專用ASIC芯片。其優(yōu)點是開發(fā)時間短，性能可靠，但是由于采用的是ASIC芯片，其靈活性較差，產(chǎn)品一旦定型，進行ニ次開發(fā)周期較長。2.基于面向媒體信息處理的單核DSP如TI公司的TMS320DM64x系列的數(shù)字媒體處理DSP，ADI公司的Blackfin系列媒體處理器BF561等，以及Philips公司的Trimedia / Nexperia系列的多媒體處理DSP。面向多媒體處理的專用DSP，集成了 MCU和DSP的優(yōu)越功能，并且加入專門用于媒體處理的硬件指令，使得它在處理視頻等多媒體數(shù)據(jù)時的效率有了極大的提高，在采用軟件算法吋，可以方便地實現(xiàn)視頻編解碼標準的算法轉(zhuǎn)換和新標準的升級而不需要修改硬件，靈活性很高，但是采用軟件編解碼，在實現(xiàn)復(fù)雜度很高的MPEG4或者H. 264算法時難度很大，同時芯片的負荷比較重。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種采用雙核控制的網(wǎng)絡(luò)攝像機，通過采用ARM和DSP雙核控制對于視頻圖像的處理，克服了傳統(tǒng)技術(shù)中的不足，從而實現(xiàn)本發(fā)明的目的。本發(fā)明所解決的技術(shù)問題可以采用以下技術(shù)方案來實現(xiàn)一種采用雙核控制的網(wǎng)絡(luò)攝像機，包括網(wǎng)絡(luò)攝像機硬件系統(tǒng)和網(wǎng)絡(luò)服務(wù)中心；所述網(wǎng)絡(luò)攝像機硬件系統(tǒng)的核心為主控芯片，主控芯片通過接ロ連接有圖像采集裝置、數(shù)據(jù)傳輸接口裝置、存儲裝置和電源；所述網(wǎng)絡(luò)服務(wù)中心通過數(shù)據(jù)傳輸接口裝置與網(wǎng)絡(luò)攝像機硬件系統(tǒng)連接，所述主控芯片包括通過相互之間的中斷來實現(xiàn)通信的DSP核和ARM核，所述DSP核和ARM核均與存儲裝置連接；所述ARM核控制圖像采集裝置獲取圖像信息后發(fā)送給存儲裝置，井向DSP核發(fā)送控制信號；DSP核收到控制信號后，開始獲取存儲裝置中的圖像信息，并對圖像信息進行格式轉(zhuǎn)換，然后采用MPEG4算法進行幀間編碼壓縮，處理完畢后發(fā)送反饋信號給ARM核；ARM 核接收到反饋信號后，對處理完畢后的圖像信息進行RTP封包處理，然后控制數(shù)據(jù)傳輸接口裝置進行發(fā)送。在本發(fā)明的一個實施例中，所述主控芯片設(shè)置有視頻前端輸入接口和視頻末端輸出接ロ ；視頻前端輸入接ロ由電荷耦合元件控制器、預(yù)處理器、柱狀模塊、自動曝光/白平衡/聚焦模塊和寄存器組成，視頻末端輸出接ロ由視頻編碼器和在線視頻顯示處理器組成。在本發(fā)明的一個實施例中，所述數(shù)據(jù)傳輸接ロ裝置包括有線網(wǎng)絡(luò)接口和無線網(wǎng)絡(luò)接ロ。在本發(fā)明的一個實施例中，所述存儲裝置包括32位的DDR控制器和與其連接的兩片16位DDR芯片，DDR控制器用于存儲圖像數(shù)據(jù)、ARM核和DSP核的代碼。一種采用雙核控制的網(wǎng)絡(luò)攝像方法，所述包括如下步驟圖像采集，主控芯片中的ARM核通過接ロ控制圖像采集裝置采集圖像；圖像處理，主控芯片中的DSP核接收到ARM的控制信號后對采集到的圖像數(shù)據(jù)進行YUV格式轉(zhuǎn)換得到Y(jié)UV4:2:0格式數(shù)據(jù)，再采用優(yōu)化的MPEG4壓縮算法，對完成處理的YUV4:2:0格式數(shù)據(jù)進行幀間編碼壓縮；網(wǎng)絡(luò)傳輸，壓縮編碼完成后，進行視頻預(yù)存緩沖處理，對編碼數(shù)據(jù)進行RTP封包處理，然后通過數(shù)據(jù)傳輸接口裝置進行發(fā)送。在本發(fā)明的一個實施例中，所述網(wǎng)絡(luò)傳輸完成后，進行命令解析處理，判斷是否有自適應(yīng)或重傳控制命令，實現(xiàn)動態(tài)調(diào)整幀碼率以降低無線網(wǎng)絡(luò)傳輸負載，或者通過預(yù)存緩沖機制提取出丟失視頻數(shù)據(jù)，完成重傳數(shù)據(jù)傳輸。本發(fā)明的有益效果在干通過采用雙核控制的結(jié)構(gòu)設(shè)計，降低了芯片負荷比重，靈活性很高，二次開發(fā)周期較短。


圖I為本發(fā)明所述的采用雙核控制的網(wǎng)絡(luò)攝像機的結(jié)構(gòu)框圖。圖2為本發(fā)明所述的采用雙核控制的網(wǎng)絡(luò)攝像機的硬件結(jié)構(gòu)圖。圖3為本發(fā)明所述的雙核通信的示意圖。
圖4為本發(fā)明所述的圖像采集模塊的工作示意圖。圖5為本發(fā)明所述的網(wǎng)絡(luò)傳輸模塊的工作示意圖。
具體實施例方式為使本發(fā)明實現(xiàn)的技術(shù)手段、創(chuàng)作特征、達成目的與功效易于明白了解，下面結(jié)合具體實施方式
，進ー步闡述本發(fā)明。如圖I和圖2所示，本發(fā)明所述的ー種采用雙核控制的網(wǎng)絡(luò)攝像機，包括網(wǎng)絡(luò)攝像機硬件系統(tǒng)100、嵌入式軟件200和網(wǎng)絡(luò)服務(wù)中心300 ;所述網(wǎng)絡(luò)攝像機硬件系統(tǒng)的核心為主控芯片110，主控芯片通過接ロ連接有圖像采集裝置120、數(shù)據(jù)傳輸接口裝置、存儲裝置130和電源140 ;所述網(wǎng)絡(luò)服務(wù)中心通過數(shù)據(jù)傳輸接口裝置與網(wǎng)絡(luò)攝像機硬件系統(tǒng)連接，所述主控芯片包括通過相互的中斷來實現(xiàn)通信的DSP核和ARM核，DSP核用于搜集、分析和 處理圖像采集裝置獲取的圖像數(shù)據(jù)，ARM核用于實現(xiàn)接ロ的控制功能，向DSP単元發(fā)出控制指令。所述ARM核控制圖像采集裝置獲取圖像信息后發(fā)送給存儲裝置，井向DSP核發(fā)送控制信號；DSP核收到控制信號后，開始獲取存儲裝置中的圖像信息，并對圖像信息進行格式轉(zhuǎn)換，然后采用MPEG4算法進行幀間編碼壓縮，處理完畢后發(fā)送反饋信號給ARM核；ARM核接收到反饋信號后，對處理完畢后的圖像信息進行RTP封包處理，然后控制數(shù)據(jù)傳輸接口裝置進行發(fā)送。如圖3所示，本發(fā)明采用低功耗、高性能的32位TMS320C64x內(nèi)核和ARM926EJ-S內(nèi)核，工作頻率分別高達594MHz和297MHz ;支持多媒體處理技術(shù)，采用的是TMS320C64xDSP內(nèi)核，增強了對視頻和音頻的解碼能力。多電源管理模式，雙內(nèi)核電壓供給為1.6V;ARM926EJ-S內(nèi)核具有16KB指令和8KB數(shù)據(jù)Cache，TMS320C64x DSP內(nèi)核具有32KB程序RAM/Cache、80KB 數(shù)據(jù) RAM/Cache 及 64KB 未定義 RAM/Cache ;支持 3. 3V 或 I. 8V 的 I/O 接口和存儲器接ロ。在DM6446中ARM核和DSP核之間的通信主要是通過相互的中斷來實現(xiàn)。ARM和 DSP 之間的資源共享主要指外設(shè)，如 EDMA, Timer0/1, Power &SleepController, ASP和 EMIFA Data。本發(fā)明設(shè)置有I個視頻前端輸入接口和I個視頻末端輸出接ロ，視頻前端輸入接ロ用于接收外部傳感器或視頻譯碼器等圖像，視頻末端輸出接ロ輸出圖像到顯示屏上。視頻前端輸入(VPFE)接ロ由I個CCD控制器(CCDC)、I個預(yù)處理器、柱狀模塊、自動曝光/白平衡/聚焦模塊(H3A)和寄存器組成。CCD控制器可以與視頻解碼器、CMOS傳感器或電荷耦合裝置連接；預(yù)處理器是ー個實時的圖形處理器，它把CMOS或CCD得到的原始圖形從RGB(三原色)轉(zhuǎn)變?yōu)閅UV4:2:0編碼；柱狀模塊和H3A模塊則提供原始圖形信息。視頻末端輸出(VPBE)接ロ由I個在線視頻顯示處理器(OSD)和I個視頻編碼器組成。在線視頻顯示處理器既能夠顯示兩組獨立的視頻窗ロ或兩組獨立的OSD窗ロ，還可以以I個視頻窗ロ、I個OSD窗口和I個屬性窗ロ的形式顯示。 內(nèi)存主要用來緩存視頻輸入圖像數(shù)據(jù)，存儲ARM和DSP代碼等。本發(fā)明選用Micron公司的MT47H64M16BT型號DDR2芯片，該芯片單片容量為1Gb，提供16位字長數(shù)據(jù)總線接ロ，芯片采用I. 8V做為輸入電壓，其內(nèi)存支持差分鎖存信號，可以保證電路在高速情況下準確的鎖存總線上的數(shù)據(jù)，使系統(tǒng)更加穩(wěn)定可靠。為提高系統(tǒng)內(nèi)存容量并最大限度利用DDR2控制器的32數(shù)據(jù)總線，設(shè)計選用兩MT47H64M16BT，分別作為數(shù)據(jù)總線的高低16位，組成32位數(shù)據(jù)總線、大小為256Mbyte的內(nèi)存系統(tǒng)。將兩片16位DDR2芯片與32位總線的DDR2控制器連接時，把數(shù)據(jù)總線和相應(yīng)的數(shù)據(jù)選通信號及字節(jié)使能信號與相應(yīng)DDR2芯片分別連接，其它信號兩片DDR2芯片公用。此時，32位數(shù)據(jù)總線的DDR2控制器可同時訪問兩片DDR2芯片。所示嵌入式軟件可劃分為3個部分。(I)圖像采樣、原始碼流捕獲組件得到Y(jié)UV格式的視頻數(shù)據(jù)。如圖4所示，主要完成視頻的采集、圖像格式轉(zhuǎn)換。采用V4L2接ロ采集攝像頭的視頻數(shù)據(jù)，V4L2是Linux下開發(fā)視頻采集設(shè)備驅(qū)動程序的一套規(guī)范，這套規(guī)范使用分層的方法給驅(qū)動程序開發(fā)提供了清晰的模型和一致的接ロ。應(yīng)用程序處于最上層，V4L2處于中間層，而硬件設(shè)備處于下層，從而通過驅(qū)動程序，應(yīng)用程序?qū)υO(shè)備的操作如同一個文件一 樣，屏蔽了硬件設(shè)備的具體操作。(2)壓縮部分。壓縮碼流捕獲組件得到壓縮的視頻數(shù)據(jù)流，存為標準格式的壓縮文件。本發(fā)明中充分利用了 Davinci編解碼引擎接ロ進行應(yīng)用程序編程，對采集到的視頻數(shù)據(jù)進行YUV格式轉(zhuǎn)換后，采用優(yōu)化的MPEG4壓縮算法，對完成處理的YUV4:2:0格式數(shù)據(jù)進行幀間編碼壓縮。(3)自適應(yīng)網(wǎng)絡(luò)傳輸部分，完成視頻數(shù)據(jù)自適應(yīng)網(wǎng)絡(luò)的傳輸。主要完成視頻數(shù)據(jù)及系統(tǒng)數(shù)據(jù)的有線網(wǎng)絡(luò)傳輸和3G無線網(wǎng)絡(luò)傳輸，用于支持視頻監(jiān)控及系統(tǒng)控制通訊等功能。在現(xiàn)場突發(fā)事件情況下通常采用3G無線網(wǎng)絡(luò)傳輸，設(shè)計中采用RTP/RTCP協(xié)議配合使用，由于無線網(wǎng)絡(luò)的不穩(wěn)定性，加入了自適應(yīng)幀碼率處理機制及QoS處理機制，保證了視頻圖像質(zhì)量和實時性要求。其基本過程是壓縮編碼完成后，進行視頻預(yù)存緩沖處理，對編碼數(shù)據(jù)進行RTP封包處理，然后經(jīng)過USB總線傳輸?shù)?G模塊中，通過無線網(wǎng)絡(luò)進行發(fā)送；接收數(shù)據(jù)完成后，進行命令解析處理，判斷是否有自適應(yīng)或重傳控制命令，實現(xiàn)動態(tài)調(diào)整幀碼率以降低無線網(wǎng)絡(luò)傳輸負載，或者通過預(yù)存緩沖機制提取出丟失視頻數(shù)據(jù)，完成重傳數(shù)據(jù)傳輸。所述網(wǎng)絡(luò)服務(wù)中心負責系統(tǒng)的整體管理運行，并將視頻和其他信息分發(fā)到各需求點。中心由四層結(jié)構(gòu)組成客戶層、信息發(fā)布層、應(yīng)用層和數(shù)據(jù)層。所述客戶層主要指用戶界面，完成對應(yīng)用邏輯的調(diào)用及各種輸入、控制、查詢等界面功能的實現(xiàn)。所述信息發(fā)布層通過多臺Web服務(wù)器分擔客戶層對應(yīng)用層的數(shù)據(jù)流量，將數(shù)據(jù)流量均勻分布到多臺Web服務(wù)器上，主要通過Web Switch平衡負載。所述應(yīng)用層主要包括應(yīng)用邏輯層和數(shù)據(jù)邏輯層。應(yīng)用邏輯層主要用于處理各類的程序應(yīng)用邏輯，如數(shù)據(jù)的檢查，事務(wù)處理及控制以及各種運算關(guān)系；數(shù)據(jù)邏輯層則直接與數(shù)據(jù)庫打交道，針對設(shè)計中劃分出的數(shù)據(jù)對象的各種可能操作提供對應(yīng)的方法。所述數(shù)據(jù)層包括系統(tǒng)中所有的存儲數(shù)據(jù)，主要是數(shù)據(jù)庫服務(wù)器存儲大量的數(shù)據(jù)信息和數(shù)據(jù)邏輯，所有與數(shù)據(jù)有關(guān)的安全、完整性控制、數(shù)據(jù)的一致性、并發(fā)操作等都是在這ー層完成，保證應(yīng)用層使用的要求。數(shù)據(jù)應(yīng)用層設(shè)計采用了集群方式，提高系統(tǒng)的處理能力，確保無單點故障，同時使系統(tǒng)具有高度的可擴展能力。
以上顯示和描述了本發(fā)明的基本原理和主要特征和本發(fā)明的優(yōu)點。本行業(yè)的技術(shù)人員應(yīng)該了解，本發(fā)明不受上述實施例的限制，上述實施例和說明書中描述的只是說明本發(fā)明的原理，在不脫離本發(fā)明精神和范圍的前提下，本發(fā)明還會有各種變化和改進，這些變化和改進都落入要求保護的本發(fā) 明范圍內(nèi)。本發(fā)明要求保護范圍由所附的權(quán)利要求書及其等效物界定。
權(quán)利要求
1.一種采用雙核控制的網(wǎng)絡(luò)攝像機，包括網(wǎng)絡(luò)攝像機硬件系統(tǒng)和網(wǎng)絡(luò)服務(wù)中心；所述網(wǎng)絡(luò)攝像機硬件系統(tǒng)的核心為主控芯片，主控芯片通過接ロ連接有圖像采集裝置、數(shù)據(jù)傳輸接口裝置、存儲裝置和電源；所述網(wǎng)絡(luò)服務(wù)中心通過數(shù)據(jù)傳輸接口裝置與網(wǎng)絡(luò)攝像機硬件系統(tǒng)連接，其特征在于，所述主控芯片包括通過相互之間的中斷來實現(xiàn)通信的DSP核和ARM核，所述DSP核和ARM核均與存儲裝置連接； 所述ARM核控制圖像采集裝置獲取圖像信息后發(fā)送給存儲裝置，井向DSP核發(fā)送控制信號；DSP核收到控制信號后，開始獲取存儲裝置中的圖像信息，并對圖像信息進行格式轉(zhuǎn)換，然后采用MPEG4算法進行幀間編碼壓縮，處理完畢后發(fā)送反饋信號給ARM核；ARM核接收到反饋信號后，對處理完畢后的圖像信息進行RTP封包處理，然后控制數(shù)據(jù)傳輸接口裝置進行發(fā)送。
2.根據(jù)權(quán)利要求I所述的ー種采用雙核控制的網(wǎng)絡(luò)攝像機，其特征在于，所述主控芯片設(shè)置有視頻前端輸入接口和視頻末端輸出接ロ ；視頻前端輸入接ロ由電荷耦合元件控制器、預(yù)處理器、柱狀模塊、自動曝光/白平衡/聚焦模塊和寄存器組成，視頻末端輸出接ロ由視頻編碼器和在線視頻顯示處理器組成。
3.根據(jù)權(quán)利要求I所述的ー種采用雙核控制的網(wǎng)絡(luò)攝像機，其特征在于，所述數(shù)據(jù)傳輸接口裝置包括有線網(wǎng)絡(luò)接口和無線網(wǎng)絡(luò)接ロ。
4.根據(jù)權(quán)利要求I所述的ー種采用雙核控制的網(wǎng)絡(luò)攝像機，其特征在于，所述存儲裝置包括32位的DDR控制器和與其連接的兩片16位DDR芯片，DDR控制器用于存儲圖像數(shù)據(jù)、ARM核和DSP核的代碼。
5.一種采用雙核控制的網(wǎng)絡(luò)攝像方法，其特征在于，所述包括如下步驟 圖像采集，主控芯片中的ARM核通過接ロ控制圖像采集裝置采集圖像； 圖像處理，主控芯片中的DSP核接收到ARM的控制信號后對采集到的圖像數(shù)據(jù)進行YUV格式轉(zhuǎn)換得到Y(jié)UV4:2:0格式數(shù)據(jù)，再采用優(yōu)化的MPEG4壓縮算法，對完成處理的YUV4:2:0格式數(shù)據(jù)進行幀間編碼壓縮； 網(wǎng)絡(luò)傳輸，壓縮編碼完成后，進行視頻預(yù)存緩沖處理，對編碼數(shù)據(jù)進行RTP封包處理，然后通過數(shù)據(jù)傳輸接ロ裝置進行發(fā)送。
6.根據(jù)權(quán)利要求5所述的ー種采用雙核控制的網(wǎng)絡(luò)攝像方法，其特征在于，所述網(wǎng)絡(luò)傳輸完成后，進行命令解析處理，判斷是否有自適應(yīng)或重傳控制命令，實現(xiàn)動態(tài)調(diào)整幀碼率以降低無線網(wǎng)絡(luò)傳輸負載，或者通過預(yù)存緩沖機制提取出丟失視頻數(shù)據(jù)，完成重傳數(shù)據(jù)傳輸。
全文摘要
本發(fā)明公開了一種采用雙核控制的網(wǎng)絡(luò)攝像機，包括網(wǎng)絡(luò)攝像機硬件系統(tǒng)、嵌入式軟件和網(wǎng)絡(luò)服務(wù)中心；所述網(wǎng)絡(luò)攝像機硬件系統(tǒng)的核心為主控芯片，主控芯片通過接口連接有圖像采集裝置、數(shù)據(jù)傳輸接口裝置、存儲裝置和電源；所述網(wǎng)絡(luò)服務(wù)中心通過數(shù)據(jù)傳輸接口裝置與網(wǎng)絡(luò)攝像機硬件系統(tǒng)連接，所述主控芯片包括通過相互的中斷來實現(xiàn)通信的DSP核和ARM核，DSP核用于搜集、分析和處理圖像采集裝置獲取的圖像數(shù)據(jù)，ARM核用于實現(xiàn)接口的控制功能，向DSP單元發(fā)出控制指令。本發(fā)明的有益效果在于通過采用雙核控制的結(jié)構(gòu)設(shè)計，降低了芯片負荷比重，靈活性很高，二次開發(fā)周期較短。
文檔編號H04N7/26GK102724395SQ20121021401
公開日2012年10月10日 申請日期2012年6月26日 優(yōu)先權(quán)日2012年6月26日
發(fā)明者李萬才, 李震宇, 楊明, 梅林 , 江洪, 湯志偉, 沈冬青, 齊力 申請人:公安部第三研究所