專利名稱：基于fpga的實時畫中畫產(chǎn)生方法及其裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像后處理技術(shù)領(lǐng)域，特別是需要在一個顯示界面內(nèi)顯示多路視頻信號的畫中畫技術(shù)。
背景技術(shù)：
在有一路監(jiān)控設(shè)備監(jiān)控某個整體場景，當(dāng)畫面檢測到感興趣的情況，需要重點顯示這部分畫面的情況下，需要把圖像的感興趣部分提取出來重點顯示，同時不能損傷整體的畫面數(shù)據(jù)，這就需要采用畫中畫的方式解決。目前采用的方式是:將兩幀視頻數(shù)據(jù)整體寫入內(nèi)存，然后在CPU的控制下，將數(shù)據(jù)分塊讀出，對兩幀數(shù)據(jù)進(jìn)行對比，獲取感興趣的數(shù)據(jù)區(qū)域。這種方式優(yōu)點是處理方式靈活性強，缺點是需要緩沖兩幀或多幀視頻數(shù)據(jù)，數(shù)據(jù)緩存量大，系統(tǒng)引入的延時大，在高幀率大數(shù)據(jù)流量下，處理器會來不及處理，不能滿足實時處理的要求。

發(fā)明內(nèi)容
本發(fā)明的目的是針對現(xiàn)有技術(shù)存在的不足，提供一種基于FPGA的實時畫中畫產(chǎn)生方法及其裝置，本發(fā)明具有實時的畫面檢測、提取，并將感興趣畫面在整體畫面中實時顯示的能力。本發(fā)明的技術(shù)方案如下:一種基于FPGA的實時畫中畫產(chǎn)生方法，其包括以下步驟:步驟一:根據(jù)當(dāng)前視頻數(shù)據(jù)流的控制使能信號，提取當(dāng)前幀的行場信息，緩存當(dāng)前幀的數(shù)據(jù)；步驟二:根據(jù)當(dāng)前幀的行場信息，讀取上一幀對應(yīng)行場位置的數(shù)據(jù)，緩存上一幀的數(shù)據(jù)；步驟三:通過對當(dāng)前幀緩存數(shù)據(jù)和上一幀緩存數(shù)據(jù)的畫面檢測，獲取感興趣的區(qū)域，將感興趣的區(qū)域?qū)懭雰?nèi)存；步驟四:整幀數(shù)據(jù)接收完畢之后，將感興趣的數(shù)據(jù)讀出到緩存中，并進(jìn)行處理；步驟五:處理后的感興趣數(shù)據(jù)與從內(nèi)存讀出來的整幀數(shù)據(jù)進(jìn)行合并，形成畫中畫。所述步驟一、步驟二以及步驟四中，畫面緩存的原理是:在控制邏輯的控制下，按照當(dāng)前幀的行場信息對RAM進(jìn)行數(shù)據(jù)讀寫操作；數(shù)據(jù)在一行開始寫入RAM之前，先把當(dāng)前行場坐標(biāo)的數(shù)據(jù)從RAM讀取出來，作為下一行RAM的寫入數(shù)據(jù)；對于當(dāng)前幀緩存、上一幀緩存的數(shù)據(jù)流讀寫，都是由當(dāng)前幀的行場坐標(biāo)使能來控制的；對于興趣畫面緩存，其控制信息包括:當(dāng)前幀與上一幀畫面檢測出來的感興趣畫面的坐標(biāo)，是否需要處理，以及處理后的感興趣區(qū)域的坐標(biāo)；在坐標(biāo)區(qū)域內(nèi)的畫面進(jìn)行數(shù)據(jù)緩存的使能，不是感興趣區(qū)域的數(shù)據(jù)不進(jìn)行數(shù)據(jù)緩存使能。所述步驟一、步驟二中，對視頻數(shù)據(jù)流而言，行場有效數(shù)據(jù)在數(shù)據(jù)使能信號的控制下，逐行流過；檢測視頻數(shù)據(jù)流的消隱區(qū)、有效數(shù)據(jù)區(qū)，并檢測當(dāng)前數(shù)據(jù)流的行場開始和行場結(jié)束；根據(jù)當(dāng)前行的場坐標(biāo)產(chǎn)生讀地址，讀地址用于從行數(shù)據(jù)緩存讀取需要的數(shù)據(jù)；寫地址可以采用根據(jù)行數(shù)據(jù)讀取延時周期延時之后的讀地址，也可以采用行場坐標(biāo)生成的地址。所述步驟三中，畫面檢測是針對當(dāng)前幀緩存數(shù)據(jù)和上一幀緩存數(shù)據(jù)進(jìn)行濾波處理，濾波之后的數(shù)據(jù)進(jìn)行特征提?。惶卣魈崛〉膬?nèi)容包括5X5行數(shù)據(jù)的邊緣信息、亮度信息、直方圖統(tǒng)計信息、加權(quán)亮度統(tǒng)計信息；對當(dāng)前幀和上一幀的上述特征信息進(jìn)行比較，如果差值滿足在預(yù)定的設(shè)置閾值之內(nèi)，則判斷該區(qū)域是感興趣的區(qū)域，記錄區(qū)域坐標(biāo)；根據(jù)感興趣區(qū)域的行場坐標(biāo)生成往內(nèi)存寫數(shù)據(jù)的使能信號，視頻數(shù)據(jù)流在使能信號的控制下，把感興趣的視頻數(shù)據(jù)寫入內(nèi)存。所述步驟四中，感興趣區(qū)域的行場坐標(biāo)被寫入到興趣畫面緩存中，并在一整幀視頻寫入內(nèi)存完畢后，同步到輸出幀數(shù)據(jù)流上；興趣畫面處理包括對興趣畫面部分進(jìn)行圖像增強、對比度拉伸、縮放，以及區(qū)域邊緣重點突出顯示。所述步驟五中，通過接收上一幀緩存出來的數(shù)據(jù)，根據(jù)當(dāng)前的行場信息，產(chǎn)生當(dāng)前畫面數(shù)據(jù)有效的使能控制信號；通過接收興趣區(qū)域處理后的數(shù)據(jù)流和對應(yīng)的興趣區(qū)域的行場坐標(biāo)，產(chǎn)生當(dāng)前數(shù)據(jù)是否參與視頻合成的使能控制信號；若當(dāng)前幀畫面數(shù)據(jù)流和興趣區(qū)域數(shù)據(jù)同時有效，則開始進(jìn)行視頻合成；合成控制針對當(dāng)前視頻數(shù)據(jù)流的數(shù)據(jù)的亮度分量Y和色度分量CbCr分別乘以一個系數(shù)得到；合成后的視頻數(shù)據(jù)為:Υ=Υ1*χ+Υ2*(l-χ)；CbCr=CbCrI*x+CbCr2*(1-χ);其中χ為從O到I的合成百分比；Y1, CbCrl是當(dāng)前視頻數(shù)據(jù)流的亮度分量和色度分量；Y2，CbCr2是感興趣區(qū)域視頻數(shù)據(jù)流的亮度分量和色度分量。本發(fā)明還提供一種實現(xiàn)上述方法的基于FPGA的實時畫中畫產(chǎn)生裝置，其包括以下功能模塊:一個視頻幀控制器，其輸入為視頻數(shù)據(jù)源，其輸出分別與當(dāng)前幀緩存器以及上一幀緩存器相連接；一個當(dāng)前幀緩存器，其輸入與視頻幀控制器相連接，其輸出分別與畫面檢測模塊以及內(nèi)存控制器相連接；一個上一幀緩存器，其輸入分別與視頻幀控制器以及內(nèi)存控制器相連接，其輸出分別與畫面檢測模塊以及視頻合成控制模塊相連接；一個畫面檢測模塊，其輸入分別與當(dāng)前幀緩存器以及上一幀緩存器相連接，其輸出與興趣畫面控制器相連接；一個興趣畫面控制器，其輸入與畫面檢測模塊相連接，其輸出與內(nèi)存控制器相連接；一個興趣畫面緩存器，其輸入與內(nèi)存控制器相連接，其輸出與興趣畫面處理模塊相連接；一個興趣畫面處理模塊，其輸入與興趣畫面緩存器相連接，其輸出與視頻合成控制模塊相連接；一個視頻合成控制模塊，其輸入分別與上一幀緩存器以及興趣畫面處理模塊相連接，其輸出為合成的畫中畫視頻數(shù)據(jù)。所述當(dāng)前幀緩存器、上一幀緩存器以及興趣畫面緩存器分別由第一行存儲器、第二行存儲器、第三行存儲器、第四行存儲器以及延時邏輯單元組成；輸入視頻數(shù)據(jù)流經(jīng)過延時邏輯單元后，作為第四行存儲器的寫入數(shù)據(jù)，第四行存儲器的讀取數(shù)據(jù)作為第三行存儲器的寫入數(shù)據(jù)，第三行存儲器的讀取數(shù)據(jù)作為第二行存儲器的寫入數(shù)據(jù)，第二行存儲器的讀取數(shù)據(jù)作為第一行存儲器的寫入數(shù)據(jù)；所述延時邏輯單元的延時與行存儲器數(shù)據(jù)讀取的延時相同。所述視頻幀控制器由第一寫控制模塊、第一讀控制模塊、第二寫控制模塊以及第二讀控制模塊組成；所述視頻數(shù)據(jù)源經(jīng)過第一寫控制模塊、第一讀控制模塊產(chǎn)生當(dāng)前幀緩存器的讀寫控制信號；所述視頻數(shù)據(jù)源經(jīng)過第二寫控制模塊、第二讀控制模塊產(chǎn)生上一幀緩存器的讀寫控制信號。所述畫面檢測模塊由第一濾波模塊、第一特征提取模塊、第二濾波模塊、第二特征提取模塊、特征向量對比模塊以及閾值比較模塊組成；所述當(dāng)前幀緩存器的輸出信號依次經(jīng)過第一濾波模塊、第一特征提取模塊輸入特征向量對比模塊；所述上一幀緩存器的輸出信號依次經(jīng)過第二濾波模塊、第二特征提取模塊輸入特征向量對比模塊；特征向量對比模塊的輸出信號經(jīng)過閾值比較模塊輸入所述興趣畫面控制器。所述視頻合成控制模塊由視頻流使能控制模塊、興趣區(qū)域使能控制模塊以及合成控制模塊組成；所述上一幀緩存器的輸出信號經(jīng)過視頻流使能控制模塊產(chǎn)生第一使能控制信號；所述興趣畫面處理模塊的輸出信號經(jīng)過興趣區(qū)域使能控制模塊產(chǎn)生第二使能控制信號；所述第一使能控制信號和第二使能控制信號對合成控制模塊是否輸出信號進(jìn)行控制。本發(fā)明的有益技術(shù)效果是:本發(fā)明可以在視頻數(shù)據(jù)流上實時檢測提取感興趣的畫面區(qū)域，并將感興趣區(qū)域縮小或放大之后，在整體的畫面上顯示的畫中畫。采用雙端口 RAM對數(shù)據(jù)流進(jìn)行緩存，通過數(shù)據(jù)流的控制，同時檢測當(dāng)前的興趣畫面區(qū)域，并將感興趣數(shù)據(jù)通過內(nèi)存控制器和當(dāng)前的視頻數(shù)據(jù)流同時寫入內(nèi)存。在進(jìn)行對比的同時，上一幀數(shù)據(jù)連同感興趣數(shù)據(jù)從內(nèi)存取出，經(jīng)視頻合成模塊將感興趣畫面以畫中畫的形式實時顯示。本發(fā)明的數(shù)據(jù)緩存量小，系統(tǒng)引入延時小，處理器處理速度快，適合在高幀率大數(shù)據(jù)流量下進(jìn)行實時控制。本發(fā)明附加的優(yōu)點將在下面具體實施方式
部分的描述中給出，部分將從下面的描述中變得明顯，或通過本發(fā)明的實踐了解到。


圖1是本發(fā)明的原理框圖。圖2是本發(fā)明的當(dāng)前幀緩存、上一幀緩存和興趣畫面緩存的原理圖。圖3是本發(fā)明的視頻幀控制的原理圖。圖4是本發(fā)明的畫面檢測的原理圖。圖5是本發(fā)明的視頻合成控制的原理圖。
具體實施例方式下面結(jié)合附圖對本發(fā)明的具體實施方式
做進(jìn)一步說明。圖1示出了本發(fā)明方法的原理框圖，也是本發(fā)明裝置的電路原理框圖。如圖1所示，在一種實施例中，本發(fā)明電路裝置的組成包括視頻幀控制器1、當(dāng)前幀緩存器2、上一幀緩存器3、畫面檢測模塊4、興趣畫面控制器5、興趣畫面緩存器6、興趣畫面處理模塊7以及視頻合成控制模塊8。本發(fā)明方法的思路是:根據(jù)當(dāng)前數(shù)據(jù)流的控制使能信號，提取當(dāng)前幀的行場信息，根據(jù)這些控制信息讀取上一幀對應(yīng)行場位置的數(shù)據(jù)，并分別緩存5行數(shù)據(jù)。這些數(shù)據(jù)供畫面檢測模塊4獲取感興趣的區(qū)域，感興趣的區(qū)域被寫入內(nèi)存控制器9。等整幀數(shù)據(jù)接收完畢之后，這部分感興趣的數(shù)據(jù)，在興趣畫面控制器5的控制下被讀出到緩存中，并根據(jù)需要進(jìn)行處理。處理后的興趣數(shù)據(jù)，在視頻合成控制模塊8的控制下按照一定的時隙將這部分?jǐn)?shù)據(jù)與從內(nèi)存讀出來的整幀數(shù)據(jù)進(jìn)行合并,形成畫中畫。圖2示出了當(dāng)前幀緩存、上一幀緩存和感興趣畫面緩存的原理圖。如圖2所示，該部分的電路裝置，即當(dāng)前幀緩存器2、上一幀緩存器3以及興趣畫面緩存器6，其組成分別包括4個行存儲器和一組延時邏輯組成。行存儲器由FPGA內(nèi)部的雙口 RAM組成，在控制邏輯的控制下，按照當(dāng)前幀的行場信息對RAM進(jìn)行數(shù)據(jù)讀寫操作。數(shù)據(jù)在一行開始寫入RAM之前，先把當(dāng)前行場坐標(biāo)的數(shù)據(jù)從RAM讀取出來，作為下一行RAM的寫入數(shù)據(jù)。當(dāng)前幀的當(dāng)前行的數(shù)據(jù)流經(jīng)過延時后，作為第四行存儲器的輸入數(shù)據(jù)，其中延時邏輯的延時與行存儲器數(shù)據(jù)讀取的延時相同。第四行存儲器的讀取數(shù)據(jù)作為第三行存儲器的寫入數(shù)據(jù)。第三行存儲器的讀取數(shù)據(jù)作為第二行存儲器的寫入數(shù)據(jù)。第二行存儲器的讀取數(shù)據(jù)作為第一行存儲器的寫入數(shù)據(jù)。對于當(dāng)前幀緩存、上一幀緩存的數(shù)據(jù)流讀寫，都是由當(dāng)前幀的行場坐標(biāo)使能來控制的。興趣畫面緩存是由興趣畫面控制器產(chǎn)生的控制信息控制的，該控制信息包含有:當(dāng)前幀與上一幀畫面檢測出來的感興趣畫面的坐標(biāo)，是否需要處理，以及處理后的感興趣區(qū)域的坐標(biāo)。在坐標(biāo)區(qū)域內(nèi)的畫面進(jìn)行數(shù)據(jù)緩存的使能，不是感興趣區(qū)域的數(shù)據(jù)不進(jìn)行數(shù)據(jù)緩存使能。圖3示出了視頻幀控制的原理圖。如圖3所示，該部分的電路裝置，即視頻幀控制器I是由當(dāng)前幀的控制信號產(chǎn)生模塊、上一幀的控制信號產(chǎn)生模塊兩部分組成。這兩部分又分別由讀控制和寫控制組成。對視頻數(shù)據(jù)流而言，行場有效數(shù)據(jù)在數(shù)據(jù)使能信號的控制下，逐行流過?？刂破鳈z測視頻數(shù)據(jù)流的消隱區(qū)、有效數(shù)據(jù)區(qū)，并檢測當(dāng)前數(shù)據(jù)流的行場開始和行場結(jié)束。讀控制器根據(jù)當(dāng)前行的場坐標(biāo)產(chǎn)生讀地址，這個讀地址用于從行數(shù)據(jù)緩存讀取需要的數(shù)據(jù)。寫地址可以采用根據(jù)行數(shù)據(jù)讀取延時周期延時之后的讀地址，也可以采用行場坐標(biāo)生成的地址。圖4示出了畫面檢測的原理圖。如圖4所示，畫面檢查的原理是:針對幀數(shù)據(jù)行緩存器緩存的數(shù)據(jù)當(dāng)前幀和上一幀的數(shù)據(jù)進(jìn)行濾波處理。濾波處理可以采用中值濾波、均值濾波等濾波方式。濾波之后的數(shù)據(jù)進(jìn)行特征提取，特征提取主要是提取5 X 5行數(shù)據(jù)的邊緣信息，亮度信息，直方圖統(tǒng)計信息，加權(quán)亮度統(tǒng)計信息。然后當(dāng)前幀和上一幀對這些特征信息進(jìn)行比較，如果兩幀的差值滿足在預(yù)定的設(shè)置閾值之內(nèi)，那么判斷該區(qū)域是感興趣的區(qū)域，區(qū)域坐標(biāo)記錄下來，并按照幀同步方式同步到興趣畫面控制器5使用。興趣畫面控制器5首先接收畫面檢測模塊檢測出來的感興趣區(qū)域的行場坐標(biāo)，根據(jù)這個坐標(biāo)生成往內(nèi)存寫數(shù)據(jù)的使能信號，視頻數(shù)據(jù)流在使能信號的控制下，把感興趣的視頻數(shù)據(jù)寫入內(nèi)存。感興趣區(qū)域的行場坐標(biāo)同時寫入興趣畫面緩存器6中，并在一整幀視頻寫入內(nèi)存完畢后，同步到輸出幀數(shù)據(jù)流上，使這些控制信號與視頻數(shù)據(jù)流同步輸出到興趣畫面處理模塊7。興趣畫面處理主要是對興趣畫面部分進(jìn)行一些圖像增強，對比度拉伸，縮放，區(qū)域邊緣重點突出顯示功能，本發(fā)明包括但不限于這些功能，可以根據(jù)需要選擇其中的某種功能進(jìn)行嵌入實現(xiàn)。圖5示出了視頻合成控制的原理圖。如圖5所示，該部分的電路裝置，即視頻合成控制模塊8主要由視頻流使能控制模塊、興趣區(qū)域使能控制模塊、合成控制模塊三部分組成。其中視頻流使能控制模塊接收行上一幀緩存出來的數(shù)據(jù)，根據(jù)當(dāng)前的行場信息，產(chǎn)生當(dāng)前換面數(shù)據(jù)有效的使能控制信號。興趣區(qū)域使能控制模塊接收興趣區(qū)域處理后的數(shù)據(jù)流和對應(yīng)的興趣區(qū)域的行場坐標(biāo)，產(chǎn)生當(dāng)前數(shù)據(jù)是否參與視頻合成的使能控制信號。如果當(dāng)前幀畫面數(shù)據(jù)流有效和興趣區(qū)域數(shù)據(jù)同時有效，那么合成控制模塊開始進(jìn)行視頻合成。視頻合成的過程針對當(dāng)前視頻數(shù)據(jù)流的數(shù)據(jù)的亮度分量Y和色度分量CbCr分別乘以一個系數(shù)得到；合成后的視頻數(shù)據(jù)為:Υ=Υ1*χ+Υ2* (l-χ)；CbCr=CbCr I *x+CbCr 2* (l-χ)。其中χ為從O到I的合成百分比；Y I, CbCrl是當(dāng)前視頻數(shù)據(jù)流的亮度分量和色度分量；Y2，CbCr2是感興趣區(qū)域視頻數(shù)據(jù)流的亮度分量和色度分量。將整幀視頻圖像作為背景，感興趣的區(qū)域從整幀圖像中獲取后，可以放置在整幀圖像的不同位置，也可以疊放在整幀圖像的不同位置，其目的是可以同時觀察整幀圖像和感興趣區(qū)域。以上所述的僅是本發(fā)明的優(yōu)選實施方式，本發(fā)明不限于以上實施例。可以理解，本領(lǐng)域技術(shù)人員在不脫離本發(fā)明的基本構(gòu)思的前提下直接導(dǎo)出或聯(lián)想到的其他改進(jìn)和變化，均應(yīng)認(rèn)為包含在本發(fā)明的保護(hù)范圍之內(nèi)。
權(quán)利要求
1.一種基于FPGA的實時畫中畫產(chǎn)生方法，其特征在于包括以下步驟: 步驟一:根據(jù)當(dāng)前視頻數(shù)據(jù)流的控制使能信號，提取當(dāng)前幀的行場信息，緩存當(dāng)前幀的數(shù)據(jù)； 步驟二:根據(jù)當(dāng)前幀的行場信息，讀取上一幀對應(yīng)行場位置的數(shù)據(jù)，緩存上一幀的數(shù)據(jù)； 步驟三:通過對當(dāng)前幀緩存數(shù)據(jù)和上一幀緩存數(shù)據(jù)的畫面檢測，獲取感興趣的區(qū)域，將感興趣的區(qū)域?qū)懭雰?nèi)存； 步驟四:整幀數(shù)據(jù)接收完畢之后，將感興趣的數(shù)據(jù)讀出到緩存中，并進(jìn)行處理； 步驟五:處理后的感興趣數(shù)據(jù)與從內(nèi)存讀出來的整幀數(shù)據(jù)進(jìn)行合并，形成畫中畫。
2.根據(jù)權(quán)利要求1所述基于FPGA的實時畫中畫產(chǎn)生方法，其特征在于:所述步驟一、步驟二以及步驟四中，畫面緩存的原理是:在控制邏輯的控制下，按照當(dāng)前幀的行場信息對RAM進(jìn)行數(shù)據(jù)讀寫操作；數(shù)據(jù)在一行開始寫入RAM之前，先把當(dāng)前行場坐標(biāo)的數(shù)據(jù)從RAM讀取出來，作為下一行RAM的寫入數(shù)據(jù)；對于當(dāng)前幀緩存、上一幀緩存的數(shù)據(jù)流讀寫，都是由當(dāng)前幀的行場坐標(biāo)使能來控制的；對于興趣畫面緩存，其控制信息包括:當(dāng)前幀與上一幀畫面檢測出來的感興趣畫面的坐標(biāo)，是否需要處理，以及處理后的感興趣區(qū)域的坐標(biāo)；在坐標(biāo)區(qū)域內(nèi)的畫面進(jìn)行數(shù)據(jù)緩存的使 能，不是感興趣區(qū)域的數(shù)據(jù)不進(jìn)行數(shù)據(jù)緩存使能。
3.根據(jù)權(quán)利要求1所述基于FPGA的實時畫中畫產(chǎn)生方法，其特征在于:所述步驟一、步驟二中，對視頻數(shù)據(jù)流而言，行場有效數(shù)據(jù)在數(shù)據(jù)使能信號的控制下，逐行流過；檢測視頻數(shù)據(jù)流的消隱區(qū)、有效數(shù)據(jù)區(qū)，并檢測當(dāng)前數(shù)據(jù)流的行場開始和行場結(jié)束；根據(jù)當(dāng)前行的場坐標(biāo)產(chǎn)生讀地址，讀地址用于從行數(shù)據(jù)緩存讀取需要的數(shù)據(jù)；寫地址可以采用根據(jù)行數(shù)據(jù)讀取延時周期延時之后的讀地址，也可以采用行場坐標(biāo)生成的地址。
4.根據(jù)權(quán)利要求1所述基于FPGA的實時畫中畫產(chǎn)生方法，其特征在于:所述步驟三中，畫面檢測是針對當(dāng)前幀緩存數(shù)據(jù)和上一幀緩存數(shù)據(jù)進(jìn)行濾波處理，濾波之后的數(shù)據(jù)進(jìn)行特征提??；特征提取的內(nèi)容包括5X5行數(shù)據(jù)的邊緣信息、亮度信息、直方圖統(tǒng)計信息、力口權(quán)亮度統(tǒng)計信息；對當(dāng)前幀和上一幀的上述特征信息進(jìn)行比較，如果差值滿足在預(yù)定的設(shè)置閾值之內(nèi)，則判斷該區(qū)域是感興趣的區(qū)域，記錄區(qū)域坐標(biāo)；根據(jù)感興趣區(qū)域的行場坐標(biāo)生成往內(nèi)存寫數(shù)據(jù)的使能信號，視頻數(shù)據(jù)流在使能信號的控制下，把感興趣的視頻數(shù)據(jù)寫入內(nèi)存。
5.根據(jù)權(quán)利要求1所述基于FPGA的實時畫中畫產(chǎn)生方法，其特征在于:所述步驟五中，通過接收上一幀緩存出來的數(shù)據(jù)，根據(jù)當(dāng)前的行場信息，產(chǎn)生當(dāng)前畫面數(shù)據(jù)有效的使能控制信號；通過接收興趣區(qū)域處理后的數(shù)據(jù)流和對應(yīng)的興趣區(qū)域的行場坐標(biāo)，產(chǎn)生當(dāng)前數(shù)據(jù)是否參與視頻合成的使能控制信號；若當(dāng)前幀畫面數(shù)據(jù)流和興趣區(qū)域數(shù)據(jù)同時有效，則開始進(jìn)行視頻合成；合成控制針對當(dāng)前視頻數(shù)據(jù)流的數(shù)據(jù)的亮度分量Y和色度分量CbCr分別乘以一個系數(shù)得到；合成后的視頻數(shù)據(jù)為:Y=Yl*x+Y2*(1-x)；CbCr=CbCrI*x+CbCr2* (1-χ);其中χ為從O到I的合成百分比；Y1, CbCrl是當(dāng)前視頻數(shù)據(jù)流的亮度分量和色度分量；Y2，CbCr2是感興趣區(qū)域視頻數(shù)據(jù)流的亮度分量和色度分量。
6.一種實現(xiàn)權(quán)利要求1所述基于FPGA的實時畫中畫產(chǎn)生方法的裝置，其特征在于包括以下功能模塊: 一個視頻幀控制器(1)，其輸入為視頻數(shù)據(jù)源，其輸出分別與當(dāng)前幀緩存器(2)以及上一幀緩存器(3)相連接； 一個當(dāng)前幀緩存器(2)，其輸入與視頻幀控制器(I)相連接，其輸出分別與畫面檢測模塊(4)以及內(nèi)存控制器(9)相連接； 一個上一幀緩存器(3)，其輸入分別與視頻幀控制器(I)以及內(nèi)存控制器(9)相連接，其輸出分別與畫面檢測模塊(4)以及視頻合成控制模塊(8)相連接； 一個畫面檢測模塊(4)，其輸入分別與當(dāng)前幀緩存器(2)以及上一幀緩存器(3)相連接，其輸出與興趣畫面控制器(5)相連接； 一個興趣畫面控制器(5)，其輸入與畫面檢測模塊(4)相連接，其輸出與內(nèi)存控制器 (9)相連接； 一個興趣畫面緩存器(6)，其輸入與內(nèi)存控制器(9)相連接，其輸出與興趣畫面處理模塊(7)相連接； 一個興趣畫面處理模塊(7)，其輸入與興趣畫面緩存器(6)相連接，其輸出與視頻合成控制模塊(8)相連接； 一個視頻合成控制模塊(8)，其輸入分別與上一幀緩存器(3)以及興趣畫面處理模塊(7)相連接，其輸出為合成的畫中畫視頻數(shù)據(jù)。
7.根據(jù)權(quán)利要求6所述基于FPGA的實時畫中畫產(chǎn)生裝置，其特征在于:所述當(dāng)前幀緩存器(2)、上一幀緩存器(3)以及興趣畫面緩存器(6)分別由第一行存儲器、第二行存儲器、第三行存儲器、第四行存儲器以及延時邏輯單元組成；輸入視頻數(shù)據(jù)流經(jīng)過延時邏輯單元后，作為第四行存儲器的寫入數(shù)據(jù)，第四行存儲器的讀取數(shù)據(jù)作為第三行存儲器的寫入數(shù)據(jù)，第三行存儲器的讀取數(shù)據(jù)作為第二行存儲器的寫入數(shù)據(jù)，第二行存儲器的讀取數(shù)據(jù)作為第一行存儲器的寫入數(shù)據(jù)；所述延時邏輯單元的延時與行存儲器數(shù)據(jù)讀取的延時相同。
8.根據(jù)權(quán)利要求6所述基于FPGA的實時畫中畫產(chǎn)生裝置，其特征在于:所述視頻幀控制器(I)由第一寫控制模塊、第一讀控制模塊、第二寫控制模塊以及第二讀控制模塊組成；所述視頻數(shù)據(jù)源經(jīng)過第一寫控制模塊、第一讀控制模塊產(chǎn)生當(dāng)前幀緩存器(2)的讀寫控制信號；所述視頻數(shù)據(jù)源經(jīng)過第二寫控制模塊、第二讀控制模塊產(chǎn)生上一幀緩存器(3)的讀寫控制信號。
9.根據(jù)權(quán)利要求6所述基于FPGA的實時畫中畫產(chǎn)生裝置，其特征在于:所述畫面檢測模塊(4)由第一濾波模塊、第一特征提取模塊、第二濾波模塊、第二特征提取模塊、特征向量對比模塊以及閾值比較模塊組成；所述當(dāng)前幀緩存器(2)的輸出信號依次經(jīng)過第一濾波模塊、第一特征提取模塊輸入特征向量對比模塊；所述上一幀緩存器(3)的輸出信號依次經(jīng)過第二濾波模塊、第二特征提取模塊輸入特征向量對比模塊；特征向量對比模塊的輸出信號經(jīng)過閾值比較模塊輸入所述興趣畫面控制器(5 )。
10.根據(jù)權(quán)利要求6所述基于FPGA的實時畫中畫產(chǎn)生裝置，其特征在于:所述視頻合成控制模塊(8)由視頻流使能控制模塊、興趣區(qū)域使能控制模塊以及合成控制模塊組成；所述上一幀緩存器(3)的輸出信號經(jīng)過視頻流使能控制模塊產(chǎn)生第一使能控制信號；所述興趣畫面處理模塊(7)的輸出信號經(jīng)過興趣區(qū)域使能控制模塊產(chǎn)生第二使能控制信號；所述第一使能控制信號和第二使能控制信號對合成控制模塊是否輸出信號進(jìn)行控制。
全文摘要
本發(fā)明提供一種基于FPGA的實時畫中畫產(chǎn)生方法及其裝置，根據(jù)當(dāng)前數(shù)據(jù)流的控制使能信號提取當(dāng)前幀的行場信息，讀取上一幀對應(yīng)行場位置的數(shù)據(jù)，并分別緩存數(shù)據(jù)，供畫面檢測模塊獲取感興趣的區(qū)域，感興趣的區(qū)域被寫入內(nèi)存；等整幀數(shù)據(jù)接收完畢之后，感興趣的數(shù)據(jù)在興趣畫面控制器的控制下被讀出到緩存中，并根據(jù)需要進(jìn)行處理；處理后的興趣數(shù)據(jù)在視頻合成控制模塊的控制下與從內(nèi)存讀出來的整幀數(shù)據(jù)進(jìn)行合并，形成畫中畫。本發(fā)明可以在視頻數(shù)據(jù)流上實時檢測提取感興趣的畫面區(qū)域，并將感興趣區(qū)域縮小或放大之后，在整體的畫面上顯示的畫中畫。數(shù)據(jù)緩存量小，系統(tǒng)引入延時小，處理器處理速度快，適合在高幀率大數(shù)據(jù)流量下進(jìn)行實時控制。
文檔編號H04N7/18GK103095997SQ20131005910
公開日2013年5月8日 申請日期2013年2月25日 優(yōu)先權(quán)日2013年2月25日
發(fā)明者袁琦睦, 鄭雪芳, 陸建恩, 劉錫鋒 申請人:袁琦睦