專利名稱：采用雙核處理器對輸入視頻進(jìn)行結(jié)構(gòu)化描述的裝置和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及ー種實現(xiàn)視頻結(jié)構(gòu)化描述的裝置和方法，特別涉及一種采用雙核處理器對輸入視頻進(jìn)行結(jié)構(gòu)化描述的裝置和方法。
背景技術(shù)：
隨著視頻監(jiān)控資料在公共安防領(lǐng)域中的重要性越來越突出，目前的視頻監(jiān)控主要以人工監(jiān)控和人工查閱錄像資料來查找證據(jù)和線索為主。隨著監(jiān)控網(wǎng)絡(luò)規(guī)模的不斷擴(kuò)大、視頻資料的急劇增長，人工監(jiān)控和查閱越來越難以滿足日益增長的城市安全監(jiān)控需求。另夕卜，現(xiàn)有的原始視頻圖像數(shù)據(jù)屬于一種難以進(jìn)行檢索、查詢的 非結(jié)構(gòu)化數(shù)據(jù)，若需要通過視頻錄像來查找某個線索或者細(xì)節(jié)，必須采用人工調(diào)閱該錄像視頻片斷方法，對該視頻錄像進(jìn)行完整的分析。比如從一段監(jiān)控錄像中查找“一輛紅色的轎車”，必須人工從頭至尾觀看該錄像片斷，才能找出所有相關(guān)的畫面或場景。如果給出更多、更長的監(jiān)控視頻錄像，人工就很難完成分析和查找工作，因此如何對這些數(shù)據(jù)進(jìn)行信息化管理和深度應(yīng)用是視頻智能處理分析技術(shù)領(lǐng)域的一個前沿課題。申請?zhí)枮?01010199898. I的專利申請文件公開了ー種用DSP和FPGA實現(xiàn)視頻結(jié)構(gòu)化描述的裝置及方法，用DSP和FPGA實現(xiàn)對輸入視頻進(jìn)行結(jié)構(gòu)化描述將視頻結(jié)構(gòu)化描述的智能圖象處理技術(shù)和基于DSP和FPGA的嵌入式系統(tǒng)進(jìn)行了有機(jī)的結(jié)合，對視頻圖像進(jìn)行分析、理解，并產(chǎn)生結(jié)構(gòu)化描述數(shù)據(jù)，對視頻監(jiān)控和視頻數(shù)據(jù)進(jìn)行管理，實現(xiàn)對視頻圖像數(shù)據(jù)的查詢、瀏覽、檢索等信息化的應(yīng)用。但是該技術(shù)方案中的DSP和FPGA是兩個相互獨(dú)立的控制元件，在使用過程中需要額外的外圍接口和控制程序來協(xié)調(diào)兩者之間的通訊控制。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種采用雙核處理器對輸入視頻進(jìn)行結(jié)構(gòu)化描述的裝置，將圖象處理技術(shù)和基于雙核控制芯片的嵌入式系統(tǒng)進(jìn)行了有機(jī)的結(jié)合，ARM核主要用來控制外圍模塊及設(shè)備通信，DSP核主要負(fù)責(zé)視頻結(jié)構(gòu)化描述的相關(guān)算法、對視頻圖像進(jìn)行分祈、理解，并產(chǎn)生結(jié)構(gòu)化描述數(shù)據(jù)，克服了傳統(tǒng)技術(shù)中的不足，從而實現(xiàn)本發(fā)明的目的。本發(fā)明所解決的技術(shù)問題可以采用以下技術(shù)方案來實現(xiàn)采用雙核處理器對輸入視頻進(jìn)行結(jié)構(gòu)化描述的裝置，其核心為雙核控制芯片，所述雙核控制芯片通過接ロ連接有圖像采集模塊、視頻結(jié)構(gòu)化描述程序存儲器、高速動態(tài)數(shù)據(jù)存儲器、斷電保存程序存儲器、網(wǎng)絡(luò)傳輸模塊、串行數(shù)據(jù)模塊和電源，雙核控制芯片包括ARM核和DSP核，所述ARM核和DSP核均與高速動態(tài)數(shù)據(jù)存儲器連接；所述ARM核控制圖像采集模塊中的圖像A/D采樣模塊對輸入的原始視頻圖像進(jìn)行A/D采樣和轉(zhuǎn)換，得到圖像數(shù)字信號后傳輸給高速動態(tài)數(shù)據(jù)存儲器，井向DSP核發(fā)送控制信號;DSP核收到控制信號后，DSP核獲取高速動態(tài)數(shù)據(jù)存儲器中的圖像數(shù)字信號，并對其進(jìn)行鏡頭分割、關(guān)鍵幀提取、運(yùn)動目標(biāo)區(qū)域檢測和靜態(tài)目標(biāo)區(qū)域分割，得到若干視頻圖像片段、關(guān)鍵幀和子區(qū)域；然后對視頻圖像片段、關(guān)鍵幀和子區(qū)域進(jìn)行特征提取和高級語義分析處理，獲取圖像特征和高級語義數(shù)據(jù)，最后對原始視頻圖像、圖像特征和高級語義數(shù)據(jù)進(jìn)行編碼，得到視頻圖像的編碼和視頻圖像結(jié)構(gòu)化描述數(shù)據(jù)的編碼，編碼完畢后發(fā)送反饋信號給ARM核；所述ARM核接收到反饋信號后，控制網(wǎng)絡(luò)傳輸模塊對視頻圖像的編碼和視頻圖像結(jié)構(gòu)化描述數(shù)據(jù)的編碼進(jìn)行網(wǎng)絡(luò)傳輸。在本發(fā)明的一個實施例中，所述圖像采集模塊包括圖像A/D采樣模塊和圖像采集設(shè)備，圖像A/D采樣模塊獲取圖像采集設(shè)備提供的標(biāo)準(zhǔn)PAL、NTSC或SECAM制式的視頻數(shù)
據(jù)。 在本發(fā)明的一個實施例中，所述雙核控制芯片除了使用其內(nèi)部的RAM外，還在外部連接有高速動態(tài)數(shù)據(jù)存儲器，所述高速動態(tài)數(shù)據(jù)存儲器設(shè)置有公共數(shù)據(jù)交換區(qū)。在本發(fā)明的一個實施例中，所述鏡頭分割是指把一段視頻序列根據(jù)鏡頭邊界分割 成若干個鏡頭，每個鏡頭是一段時間序列的幀，連續(xù)記錄ー個單獨(dú)的攝像機(jī)的動作，描述ー個連續(xù)的動作而沒有主要的內(nèi)容變化，鏡頭分割主要通過鏡頭邊界檢測來實現(xiàn)。在本發(fā)明的一個實施例中，所述關(guān)鍵幀提取就是在某個鏡頭或者某個視頻片斷中提取的ー些具有代表性的視頻幀，用來表現(xiàn)該鏡頭或視頻片斷的內(nèi)容；關(guān)鍵幀提取的方法包括隨機(jī)抽取、根據(jù)圖像質(zhì)量抽取、根據(jù)感興趣區(qū)域的位置和大小抽取或事件觸發(fā)抽取。在本發(fā)明的一個實施例中，所述運(yùn)動目標(biāo)區(qū)域檢測是指在視頻序列中，檢測場景中運(yùn)動的目標(biāo)，把畫面中運(yùn)動目標(biāo)的區(qū)域和背景區(qū)域分開，并對運(yùn)動目標(biāo)區(qū)域進(jìn)行標(biāo)記或遮罩處理，檢測的方法為背景差分方法，即根據(jù)當(dāng)前圖像和背景圖像的差異來檢測運(yùn)動目標(biāo)區(qū)域。在本發(fā)明的一個實施例中，所述靜態(tài)目標(biāo)區(qū)域分割處理是指根據(jù)色彩、紋理、輪廓、邊緣或者事物的完整性，對整個圖像進(jìn)行分割和劃分，獲得若干個子區(qū)域。在本發(fā)明的一個實施例中，所述特征提取是指提取視頻片斷、圖像子區(qū)域的視覺特征，主要包括顔色、紋理、運(yùn)動、形狀、定位、輪廓、線條、人像特征。在本發(fā)明的一個實施例中，所述高級語義分析處理為對視頻圖像片斷、關(guān)鍵幀和子區(qū)域及圖像特征進(jìn)行分割、聚類、匹配、解義、分類、判別等運(yùn)算和操作，產(chǎn)生圖像描述高級語義數(shù)據(jù)，其中視頻圖像的編碼和壓縮方法包括MPEG-2、MPEG-4、H. 264、SVAC, AVS壓縮編碼方式，視頻結(jié)構(gòu)化描述數(shù)據(jù)編碼為可擴(kuò)展標(biāo)記語言或ニ進(jìn)制的壓縮編碼。本發(fā)明的有益效果在于用雙核控制芯片實現(xiàn)對輸入視頻進(jìn)行結(jié)構(gòu)化描述的裝置和方法將視頻結(jié)構(gòu)化描述的智能圖象處理技術(shù)和基于雙核DSP的嵌入式系統(tǒng)進(jìn)行了有機(jī)的結(jié)合，ARM核主要用來控制外圍模塊及設(shè)備通信，DSP核主要負(fù)責(zé)視頻結(jié)構(gòu)化描述的相關(guān)算法、對視頻圖像進(jìn)行分析、理解，并產(chǎn)生結(jié)構(gòu)化描述數(shù)據(jù)。該裝置可以有效地對視頻監(jiān)控和視頻數(shù)據(jù)進(jìn)行管理，實現(xiàn)對視頻圖像數(shù)據(jù)的查詢、瀏覽、檢索等信息化的應(yīng)用。本發(fā)明提供的視頻圖像結(jié)構(gòu)化描述的裝置工作性能穩(wěn)定可靠，適用范圍較為廣泛，能夠大幅度提高現(xiàn)有視頻監(jiān)控系統(tǒng)的智能化程度，降低人工監(jiān)控的成本，實現(xiàn)視頻監(jiān)控的信息化管理。


圖I為本發(fā)明所述的視頻結(jié)構(gòu)化描述裝置的硬件系統(tǒng)結(jié)構(gòu)圖。
圖2為本發(fā)明所述的視頻結(jié)構(gòu)化描述裝置的主程序流程圖。圖3為本發(fā)明所述的視頻結(jié)構(gòu)化描述裝置的處理流程圖。圖4為本發(fā)明所述的圖像A/D采樣模塊的示意圖。圖5為本發(fā)明所述的高速動態(tài)數(shù)據(jù)存儲器的示意圖。圖6為本發(fā)明所述的網(wǎng)絡(luò)傳輸模塊的示意圖。圖7為本發(fā)明的所述的視頻圖像結(jié)構(gòu)化描述的方法及設(shè)備系統(tǒng)應(yīng)用示意圖。
圖8為本發(fā)明實施例應(yīng)用本方法和設(shè)備對視頻關(guān)鍵幀結(jié)構(gòu)化描述的示意圖。
具體實施例方式為使本發(fā)明實現(xiàn)的技術(shù)手段、創(chuàng)作特征、達(dá)成目的與功效易于明白了解，下面結(jié)合具體實施方式
，進(jìn)ー步闡述本發(fā)明。如圖I所示，本發(fā)明所述的采用雙核處理器對輸入視頻進(jìn)行結(jié)構(gòu)化描述的裝置，其核心為雙核控制芯片100，雙核控制芯片通過接ロ連接有圖像采集模塊160、視頻結(jié)構(gòu)化描述程序存儲器120、高速動態(tài)數(shù)據(jù)存儲器110、斷電保存程序存儲器、網(wǎng)絡(luò)傳輸模塊150、串行數(shù)據(jù)模塊130和電源140，雙核控制芯片包括ARM核和DSP核，所述ARM核和DSP核均與高速動態(tài)數(shù)據(jù)存儲器連接；如圖2和圖3所示，所述ARM核控制圖像采集模塊中的圖像A/D采樣模塊對輸入的原始視頻圖像進(jìn)行A/D采樣和轉(zhuǎn)換，得到圖像數(shù)字信號后傳輸給高速動態(tài)數(shù)據(jù)存儲器，井向DSP核發(fā)送控制信號；DSP核收到控制信號后，DSP核獲取高速動態(tài)數(shù)據(jù)存儲器中的圖像數(shù)字信號，并對其進(jìn)行鏡頭分割、關(guān)鍵幀提取、運(yùn)動目標(biāo)區(qū)域檢測和靜態(tài)目標(biāo)區(qū)域分割，得到若干視頻圖像片段、關(guān)鍵幀和子區(qū)域；然后對視頻圖像片段、關(guān)鍵幀和子區(qū)域進(jìn)行特征提取和高級語義分析處理，獲取圖像特征和高級語義數(shù)據(jù)，最后對原始視頻圖像、圖像特征和高級語義數(shù)據(jù)進(jìn)行編碼，得到視頻圖像的編碼和視頻圖像結(jié)構(gòu)化描述數(shù)據(jù)的編碼，編碼完畢后發(fā)送反饋信號給ARM核；所述ARM核接收到反饋信號后，控制網(wǎng)絡(luò)傳輸模塊對視頻圖像的編碼和視頻圖像結(jié)構(gòu)化描述數(shù)據(jù)的編碼進(jìn)行網(wǎng)絡(luò)傳輸。其中所述的鏡頭分割是指把一段視頻序列根據(jù)鏡頭邊界分割成若干個鏡頭，每個鏡頭是一段時間序列的幀，連續(xù)記錄ー個單獨(dú)的攝像機(jī)的動作，一般描述ー個連續(xù)的動作而沒有主要的內(nèi)容變化，鏡頭分割主要通過鏡頭邊界檢測來實現(xiàn)。所述的關(guān)鍵幀提取就是在某個鏡頭或者某個視頻片斷中提取的ー些具有代表性的視頻幀，用來表現(xiàn)該鏡頭或視頻片斷的內(nèi)容。關(guān)鍵幀提取的方法包括①隨機(jī)抽取根據(jù)圖像質(zhì)量抽取根據(jù)感興趣區(qū)域的位置和大小抽取事件觸發(fā)抽取。所述的運(yùn)動目標(biāo)區(qū)域檢測是指在視頻序列中，檢測場景中運(yùn)動的目標(biāo)，把畫面中運(yùn)動目標(biāo)的區(qū)域和背景區(qū)域分開，并對運(yùn)動目標(biāo)區(qū)域進(jìn)行標(biāo)記或遮罩處理。檢測的方法為背景差分方法，即根據(jù)當(dāng)前圖像和背景圖像的差異來檢測運(yùn)動目標(biāo)區(qū)域。所述的靜態(tài)目標(biāo)區(qū)域分割處理是指根據(jù)色彩、紋理、輪廓、邊緣或者事物的完整性，對整個圖像進(jìn)行分割和劃分，獲得若干個子區(qū)域。所述的對視頻圖像片斷和子區(qū)域進(jìn)行特征提取是指提取視頻片斷、圖像子區(qū)域的視覺特征，主要包括顔色、紋理、運(yùn)動、形狀、定位、輪廓、線條、人像等特征。所述的高級語義分析處理包括對視頻圖像片斷、關(guān)鍵幀和子區(qū)域及圖像特征進(jìn)行分割、聚類、匹配、解義、分類、判別等運(yùn)算和操作，產(chǎn)生圖像描述高級語義數(shù)據(jù)。所述的對視頻圖像、圖像特征和高級語義數(shù)據(jù)進(jìn)行編碼包括對視頻圖像的編碼和壓縮、對圖像特征和高級語義數(shù)據(jù)的編碼和壓縮，獲得視頻圖像的編碼和視頻圖像結(jié)構(gòu)化描述數(shù)據(jù)的編碼。其中視頻圖像的編碼和壓縮方法包括MPEG-2、MPEG-4、H. 264、SVAC, AVS等壓縮編碼方式，視頻結(jié)構(gòu)化描述數(shù)據(jù)編碼可以是可擴(kuò)展標(biāo)記語言(XML)或者ニ進(jìn)制的XML壓縮編碼。如圖4所示，圖像A/D采樣模塊采TVP5146芯片，TVP5146屬高質(zhì)量視頻解碼芯片，能把所有常見的基帶模擬視頻格式轉(zhuǎn)換成數(shù)字視頻格式。它支持RGB和YPbPr信號的A /D轉(zhuǎn)換，支持NTSC，PAL和SECAM復(fù)合視頻的解碼和A / D轉(zhuǎn)換，支持將S端子信號轉(zhuǎn)換為YCbCr信號。TVP5146的A / D轉(zhuǎn)換采樣速率在采樣寬度為IObit時可以達(dá)到30MSPS。該 芯片擁有10個視頻輸入引腳，所以支持多種圖像格式的単獨(dú)或組合輸入。視頻數(shù)據(jù)通過TVP5146視頻編解碼芯片轉(zhuǎn)換成IObit YUV4 :2 :2格式，然后送至視頻前端處理。視頻前端處理包括預(yù)覽引擎、直方圖模塊、圖像縮放模塊和自動聚焦/曝光，白平衡等模塊處理。處理完的數(shù)據(jù)送到視頻后端處理或者送到DSP做進(jìn)ー步處理，也可以存入硬盤。視頻后端主要包括OSD模塊和視頻編碼模塊。視頻數(shù)據(jù)經(jīng)過視頻編碼模塊處理后可以有模擬/數(shù)據(jù)等多種顯示格式。如圖5所示，在處理過程中需開辟多幀圖像的存儲空間作為緩存，因此選用2片MT47H64M16BT芯片組成256M高速存儲器。SDRAM存儲器是整個DM6446系統(tǒng)的緩沖中心。系統(tǒng)代碼運(yùn)行、圖像數(shù)據(jù)搬移等都要使用DDR2。本系統(tǒng)采用兩片數(shù)據(jù)寬度為16位的DDR2存儲器組成寬度為32位的數(shù)據(jù)總線。MT47H32M16BT數(shù)據(jù)寬度為16位，所以對于高字節(jié)和底字節(jié)分別由UDQS，UDQS#和LDQS，LDQS#控制。MT47H32M16的時鐘信號CK和CK#也為ー對差分信號。系統(tǒng)將CK信號上升沿與CK#信號的下降沿的交叉點作為系統(tǒng)時鐘的正沿(上升沿)。在系統(tǒng)時鐘的正沿鎖存命令(包括數(shù)據(jù)和信號)。MT47H32M16的輸入數(shù)據(jù)和DQS信號的兩個邊沿有夫，而輸出數(shù)據(jù)和DQS及CK時鐘的兩個邊沿有夫。如圖6所示，有線網(wǎng)絡(luò)傳輸模塊采用DM6446集成的以太網(wǎng)控制器，包括以太網(wǎng)介質(zhì)訪問控制器(EMAC)和物理層管理數(shù)據(jù)輸入輸出(MDIO)。EMAC控制雙核DSP和物理層芯片(PHY)之間的數(shù)據(jù)流，而MDIO控制PHY的配置并且監(jiān)視其狀態(tài)。PHY采用Intel公司的LXT971A,支持100BASE-TX和100BASE-T兩種模式，并提供MII接ロ。圖7給出了本發(fā)明的視頻圖像分析描述的方法及設(shè)備系統(tǒng)的ー個典型的應(yīng)用系統(tǒng)。該應(yīng)用系統(tǒng)包括監(jiān)控攝像機(jī)、視頻分析描述設(shè)備、數(shù)據(jù)存儲和應(yīng)用管理服務(wù)器、用戶組成。監(jiān)控攝像機(jī)采集現(xiàn)場的視頻圖像，傳送到視頻分析描述設(shè)備。視頻分析描述設(shè)備接收視頻圖像，并對其進(jìn)行分析和描述處理，產(chǎn)生視頻圖像的編碼和視頻圖像描述數(shù)據(jù)的編碼，傳送到數(shù)據(jù)存儲和應(yīng)用管理服務(wù)器。數(shù)據(jù)存儲和應(yīng)用管理服務(wù)器接收并存儲視頻編碼和視頻圖像描述數(shù)據(jù)的編碼，并對其進(jìn)行管理，提供瀏覽、檢索、查詢等信息化應(yīng)用服務(wù)。用戶可以通過終端設(shè)備與數(shù)據(jù)存儲和應(yīng)用管理服務(wù)器進(jìn)行交互，進(jìn)行查詢、瀏覽、檢索等操作。圖8為ー個典型視頻監(jiān)控場景中采用本發(fā)明的視頻結(jié)構(gòu)化描述方法及設(shè)備對關(guān)鍵幀的分析和結(jié)構(gòu)化描述過程。這是ー個道路監(jiān)控的場景，其監(jiān)控視頻圖像采用本發(fā)明的視頻圖像結(jié)構(gòu)化描述的方法和設(shè)備進(jìn)行處理。通過對視頻圖像進(jìn)行鏡頭分割、關(guān)鍵幀提取、運(yùn)動目標(biāo)區(qū)域檢測、靜態(tài)目標(biāo)區(qū)域分割處理，把圖像分成若干個片斷、關(guān)鍵幀和子區(qū)域。如圖4所示，本例中關(guān)鍵幀處理后，得到4個子區(qū)域子區(qū)域I為ー個奔跑的人，子區(qū)域2為ー輛紅色的轎車，子區(qū)域3為ー輛藍(lán)色的卡車，子區(qū)域I為ー棵樹。通過對視頻圖像、關(guān)鍵幀和子區(qū)域進(jìn)行特征提取和高級語義分析處理，能夠獲得視頻圖像、關(guān)鍵幀和子區(qū)域的視覺特征(如主色調(diào)特征、輪廓特征、位置特征等)和高級語義描述數(shù)據(jù)(如“一個在路邊奔跑的人”、“一輛紅色的轎車”、“卡車”、“藍(lán)色”、“一棵樹”、“反向行駛”等)。最后對視頻圖像、圖像特征和高級語義數(shù)據(jù)進(jìn)行編碼，得到視頻圖像的編碼和視頻圖像描述數(shù)據(jù)的編碼。由于采用本發(fā)明的視頻圖像分析描述的方法和設(shè)備，通過對非結(jié)構(gòu)化的視頻圖像數(shù)據(jù)進(jìn)行分析和描述產(chǎn)生結(jié)構(gòu)化的視頻描述數(shù)據(jù)編碼，從而 實現(xiàn)對視頻圖像數(shù)據(jù)的結(jié)構(gòu)化、信息化的管理。例如用戶可以通過檢索關(guān)鍵詞“轎車”、“紅色”，就可以快速檢索到相應(yīng)的視頻錄像片斷，并且快速定位到包含有紅色轎車出現(xiàn)的視頻幀。與傳統(tǒng)的人工調(diào)閱錄像相比，大大提高了查詢、檢索的效率。 以上顯示和描述了本發(fā)明的基本原理和主要特征和本發(fā)明的優(yōu)點。本行業(yè)的技術(shù)人員應(yīng)該了解，本發(fā)明不受上述實施例的限制，上述實施例和說明書中描述的只是說明本發(fā)明的原理，在不脫離本發(fā)明精神和范圍的前提下，本發(fā)明還會有各種變化和改進(jìn)，這些變化和改進(jìn)都落入要求保護(hù)的本發(fā)明范圍內(nèi)。本發(fā)明要求保護(hù)范圍由所附的權(quán)利要求書及其等效物界定。
權(quán)利要求
1.采用雙核處理器對輸入視頻進(jìn)行結(jié)構(gòu)化描述的裝置，其核心為雙核控制芯片，所述雙核控制芯片通過接ロ連接有圖像采集模塊、視頻結(jié)構(gòu)化描述程序存儲器、高速動態(tài)數(shù)據(jù)存儲器、斷電保存程序存儲器、網(wǎng)絡(luò)傳輸模塊、串行數(shù)據(jù)模塊和電源，其特征在于，雙核控制芯片包括ARM核和DSP核，所述ARM核和DSP核均與高速動態(tài)數(shù)據(jù)存儲器連接； 所述ARM核控制圖像采集模塊中的圖像A/D采樣模塊對輸入的原始視頻圖像進(jìn)行A/D采樣和轉(zhuǎn)換，得到圖像數(shù)字信號后傳輸給高速動態(tài)數(shù)據(jù)存儲器，井向DSP核發(fā)送控制信號； DSP核收到控制信號后，DSP核獲取高速動態(tài)數(shù)據(jù)存儲器中的圖像數(shù)字信號，并對其進(jìn)行鏡頭分割、關(guān)鍵幀提取、運(yùn)動目標(biāo)區(qū)域檢測和靜態(tài)目標(biāo)區(qū)域分割，得到若干視頻圖像片段、關(guān)鍵幀和子區(qū)域；然后對視頻圖像片段、關(guān)鍵幀和子區(qū)域進(jìn)行特征提取和高級語義分析處理，獲取圖像特征和高級語義數(shù)據(jù)，最后對原始視頻圖像、圖像特征和高級語義數(shù)據(jù)進(jìn)行編碼，得到視頻圖像的編碼和視頻圖像結(jié)構(gòu)化描述數(shù)據(jù)的編碼，編碼完畢后發(fā)送反饋信號給ARM核； 所述ARM核接收到反饋信號后，控制網(wǎng)絡(luò)傳輸模塊對視頻圖像的編碼和視頻圖像結(jié)構(gòu)化描述數(shù)據(jù)的編碼進(jìn)行網(wǎng)絡(luò)傳輸。
2.根據(jù)權(quán)利要求I所述的采用雙核處理器對輸入視頻進(jìn)行結(jié)構(gòu)化描述的裝置，其特征在于，所述圖像采集模塊包括圖像A/D采樣模塊和圖像采集設(shè)備，圖像A/D采樣模塊獲取圖像采集設(shè)備提供的標(biāo)準(zhǔn)PAL、NTSC或SECAM制式的視頻數(shù)據(jù)。
3.根據(jù)權(quán)利要求I所述的采用雙核處理器對輸入視頻進(jìn)行結(jié)構(gòu)化描述的裝置，其特征在于，所述雙核控制芯片除了使用其內(nèi)部的RAM外，還在外部連接有高速動態(tài)數(shù)據(jù)存儲器，所述高速動態(tài)數(shù)據(jù)存儲器設(shè)置有公共數(shù)據(jù)交換區(qū)。
4.根據(jù)權(quán)利要求I所述的采用雙核處理器對輸入視頻進(jìn)行結(jié)構(gòu)化描述的裝置，其特征在干，所述鏡頭分割是指把一段視頻序列根據(jù)鏡頭邊界分割成若干個鏡頭，每個鏡頭是ー段時間序列的幀，連續(xù)記錄ー個單獨(dú)的攝像機(jī)的動作，描述ー個連續(xù)的動作而沒有主要的內(nèi)容變化，鏡頭分割主要通過鏡頭邊界檢測來實現(xiàn)。
5.根據(jù)權(quán)利要求I所述的采用雙核處理器對輸入視頻進(jìn)行結(jié)構(gòu)化描述的裝置，其特征在于，所述關(guān)鍵幀提取就是在某個鏡頭或者某個視頻片斷中提取的ー些具有代表性的視頻幀，用來表現(xiàn)該鏡頭或視頻片斷的內(nèi)容；關(guān)鍵幀提取的方法包括隨機(jī)抽取、根據(jù)圖像質(zhì)量抽取、根據(jù)感興趣區(qū)域的位置和大小抽取或事件觸發(fā)抽取。
6.根據(jù)權(quán)利要求I所述的采用雙核處理器對輸入視頻進(jìn)行結(jié)構(gòu)化描述的裝置，其特征在于，所述運(yùn)動目標(biāo)區(qū)域檢測是指在視頻序列中，檢測場景中運(yùn)動的目標(biāo)，把畫面中運(yùn)動目標(biāo)的區(qū)域和背景區(qū)域分開，并對運(yùn)動目標(biāo)區(qū)域進(jìn)行標(biāo)記或遮罩處理，檢測的方法為背景差分方法，即根據(jù)當(dāng)前圖像和背景圖像的差異來檢測運(yùn)動目標(biāo)區(qū)域。
7.根據(jù)權(quán)利要求I所述的采用雙核處理器對輸入視頻進(jìn)行結(jié)構(gòu)化描述的裝置，其特征在于，所述靜態(tài)目標(biāo)區(qū)域分割處理是指根據(jù)色彩、紋理、輪廓、邊緣或者事物的完整性，對整個圖像進(jìn)行分割和劃分，獲得若干個子區(qū)域。
8.根據(jù)權(quán)利要求I所述的采用雙核處理器對輸入視頻進(jìn)行結(jié)構(gòu)化描述的裝置，其特征在于，所述特征提取是指提取視頻片斷、圖像子區(qū)域的視覺特征，主要包括顔色、紋理、運(yùn)動、形狀、定位、輪廓、線條、人像特征。
9.根據(jù)權(quán)利要求I所述的采用雙核處理器對輸入視頻進(jìn)行結(jié)構(gòu)化描述的裝置，其特征在于，所述高級語義分析處理為對視頻圖像片斷、關(guān)鍵幀和子區(qū)域及圖像特征進(jìn)行分割、聚類、匹配、解義、分類、判別等運(yùn)算和操作，產(chǎn)生圖像描述高級語義數(shù)據(jù)，其中視頻圖像的編碼和壓縮方法包括MPEG-2、MPEG-4、H. 264、SVAC, AVS壓縮編碼方式，視頻結(jié)構(gòu)化描述數(shù)據(jù)編碼為可擴(kuò)展標(biāo)記語言或ニ進(jìn)制的壓縮編碼。
10.采用雙核處理器對輸入視頻進(jìn)行結(jié)構(gòu)化描述的方法，其特征在于，所述方法包括如下步驟 1)雙核控制芯片中ARM核控制圖像采集模塊獲取原始視頻，得到圖像數(shù)字信號后傳輸給高速動態(tài)數(shù)據(jù)存儲器，井向DSP核發(fā)送控制信號； 2)DSP核收到控制信號后，DSP核獲取高速動態(tài)數(shù)據(jù)存儲器中的圖像數(shù)字信號，并對其進(jìn)行鏡頭分割、關(guān)鍵幀提取、運(yùn)動目標(biāo)區(qū)域檢測和靜態(tài)目標(biāo)區(qū)域分割，得到若干視頻圖像片段、關(guān)鍵幀和子區(qū)域；然后對視頻圖像片段、關(guān)鍵幀和子區(qū)域進(jìn)行特征提取和高級語義分析處理，獲取圖像特征和高級語義數(shù)據(jù)，最后對原始視頻圖像、圖像特征和高級語義數(shù)據(jù)進(jìn)行編碼，得到視頻圖像的編碼和視頻圖像結(jié)構(gòu)化描述數(shù)據(jù)的編碼，編碼完畢后發(fā)送反饋信號給ARM核； 3)所述ARM核接收到反饋信號后，控制網(wǎng)絡(luò)傳輸模塊對視頻圖像的編碼和視頻圖像結(jié)構(gòu)化描述數(shù)據(jù)的編碼進(jìn)行網(wǎng)絡(luò)傳輸。
全文摘要
本發(fā)明公開了一種采用雙核處理器對輸入視頻進(jìn)行結(jié)構(gòu)化描述的裝置及方法，其核心為雙核控制芯片，這種系統(tǒng)可通過單芯片的雙核DSP處理器對視頻進(jìn)行處理分析，把圖像分成若干個片斷和子區(qū)域，并對視頻圖像片斷和子區(qū)域進(jìn)行特征提取和高級語義分析處理，最后對視頻圖像、圖像特征和高級語義數(shù)據(jù)進(jìn)行編碼，得到視頻圖像的編碼和視頻圖像結(jié)構(gòu)化描述數(shù)據(jù)的編碼，并通過有線和無線兩種方式進(jìn)行網(wǎng)絡(luò)傳輸。這些編碼數(shù)據(jù)既是視頻圖像特征和內(nèi)容的結(jié)構(gòu)化描述，方便用戶進(jìn)行查詢、檢索和瀏覽，使監(jiān)控視頻數(shù)據(jù)得到有效應(yīng)用和管理。
文檔編號H04N5/14GK102724485SQ20121021400
公開日2012年10月10日 申請日期2012年6月26日 優(yōu)先權(quán)日2012年6月26日
發(fā)明者李萬才, 李震宇, 楊明, 梅林 , 江洪, 湯志偉, 沈冬青, 齊力 申請人:公安部第三研究所