專利名稱：視頻信號多處理器并行處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種并行視頻信號處理方法，尤其是高分辨率數(shù)字視頻信號的編碼和解碼處理方法。
背景技術(shù)：
數(shù)字視頻信號的數(shù)據(jù)量非常大，特別是高分辨率視頻信號的實時處理，需要巨大的數(shù)據(jù)處理能力。
目前常用DSP(數(shù)字信號處理器)進(jìn)行視頻信號處理，特別地為視頻和音頻信號處理設(shè)計了專用的DSP，這些處理器具有專用的視頻和音頻數(shù)據(jù)輸入輸出接口，有的還具有一定視頻協(xié)處理能力，如數(shù)據(jù)格式轉(zhuǎn)換、VLC(變長編碼)、VLD(變長解碼)和OSD(屏幕疊加顯示)等，可非常方便地進(jìn)行數(shù)字視音頻信號的處理，如壓縮編碼和解碼等，這樣的處理器稱之為多媒體處理器或媒體處理器。
可編程邏輯器件(PLD，如FPGA和CPLD)，因具有強(qiáng)大的并行處理能力，非常適用于視頻信號處理，可編程邏輯器件也可擴(kuò)展視頻輸入和輸出接口，有的還內(nèi)嵌MCU或MPU，可方便地用于視頻信號處理，成為多媒體處理專用可編程邏輯器件，本發(fā)明也將其歸為多媒體處理器。
然而，多媒體處理器的處理能力有限，而人們對視頻信號分辨率的要求卻越來越高，單個處理器的處理能力常不能滿足處理高分辨率視頻信號的要求。比如，目前單片多媒體處理器還不能實現(xiàn)1080i格式的高清晰度視頻信號的H.264、AVS或MPEG4等標(biāo)準(zhǔn)的實時視頻壓縮編碼，更不能處理4百萬像素等更高分辨率的視頻信號。一種解決方案是采用多片處理器并行實現(xiàn)高分辨率視頻信號的處理，但由于視頻處理常需要信號反饋，這就需要并行處理的各處理器間實現(xiàn)高速數(shù)據(jù)通信，常用的方法是采用增加雙口RAM或FIFO實現(xiàn)相互間的高速數(shù)據(jù)通信，但這種方法實現(xiàn)較復(fù)雜，開發(fā)難度大，雙口RAM和FIFO的成本較高，因而實用性較差。目前也有采用差分高速串行接口實現(xiàn)處理器間通信的多處理器并行處理方式，但目前這類帶差分高速串行接口的處理器均為高端處理器，成本較高。

發(fā)明內(nèi)容
本發(fā)明要解決的技術(shù)問題是提供一種視頻信號的多處理器并行處理方法，利用該方法能較方便地實現(xiàn)多個多媒體處理器的并行處理，從而降低多處理器并行處理的復(fù)雜性，解決高分辨率視頻信號處理的處理能力瓶頸問題。
為達(dá)到上述目的，本發(fā)明采用的技術(shù)方案是這樣的采用多個具有視頻輸入和視頻輸出接口的子塊處理器，該子塊處理器為多媒體處理器，可以是具有一個或多個視頻輸入和輸出接口的DSP(如TI公司的TMS320DM642處理器可配置為具有4個視頻輸入接口和2個視頻輸出接口等工作方式)，也可以是具有視頻輸入和輸出接口的可編程器件。所述的子塊處理器構(gòu)成一個并行視頻處理系統(tǒng)，并將輸入的視頻圖像分成多個子塊(子區(qū)域)，每個子塊用一個處理器進(jìn)行處理。
為了實現(xiàn)對各子塊處理器處理結(jié)果的融合，本發(fā)明所構(gòu)成的系統(tǒng)中還設(shè)有一個合成處理器，該合成處理器可以是一個多媒體處理器或一個MPU(微處理器，如ARM、MIPS)。例如，該系統(tǒng)用于高分辨率視頻編碼時，每個子塊處理器的輸出結(jié)果均輸?shù)皆摵铣商幚砥鳎珊铣商幚砥魍瓿蓴?shù)據(jù)合成和復(fù)接等，形成一個完整的數(shù)據(jù)流。合成處理器同時可承擔(dān)應(yīng)用系統(tǒng)的其它任務(wù)，如音頻接口和編解碼，視頻流復(fù)接和解復(fù)接，也能將解復(fù)接后的視頻數(shù)據(jù)通過雙向數(shù)據(jù)接口(如以太網(wǎng)、HPI、EMIF)分發(fā)給各子塊處理器。
如果合成處理器采用一片多媒體處理器實現(xiàn)，則它可接收來自各處理器輸出的光柵視頻數(shù)據(jù)，在合成處理器中融合為高分辨率光柵視頻數(shù)據(jù)，并通過其視頻輸出口輸出。這樣的系統(tǒng)的典型應(yīng)用是高清視頻解碼和多路視頻拼屏。
如果需要處理的視頻圖像較大或算法較復(fù)雜，則需要將視頻分成較多子塊，即需要較多的子塊處理器并行處理，這時可用多個處理器組成合成處理器組。例如，采用多片多媒體處理器構(gòu)成合成處理器組，每片合成處理器接收其中幾路子塊處理器輸出的光柵視頻信號，各合成處理器的輸出信號輸入另一合成處理器，最后合成為高分辨率視頻信號，再通過其視頻輸出口輸出。
由于多媒體處理器的視頻輸入口可采用行、場(或幀)控制視頻信號的輸入，為減少輸入到多媒體處理器的數(shù)據(jù)量，如對給定處理器，只需將分派給該處理器的視頻子塊數(shù)據(jù)輸入該處理器，本發(fā)明的并行視頻處理系統(tǒng)還可包含若干接口控制電路。在對應(yīng)各子塊處理器的每個視頻輸入口，都可設(shè)置一個接口控制電路，因而所構(gòu)成的系統(tǒng)中有多個接口控制電路，用于改變視頻信號的行、場(或幀)控制信號，從而控制輸入到處理器的圖像數(shù)據(jù)有效范圍，即只將特定的視頻子塊或區(qū)域輸入相應(yīng)的子塊處理器。所述的接口控制電路可以用一片或多片CPLD、FPGA等可編程器件或其它邏輯電路實現(xiàn)。行、場(或幀)控制信號可以是行、場(或幀)有效信號或同步信號，可以用信號線傳輸，或采用特定碼嵌入在視頻數(shù)據(jù)中。
利用多媒體處理器的視頻接口還可實現(xiàn)多個處理器間的高速數(shù)據(jù)通信。本發(fā)明采用多媒體處理器視頻輸出口輸出視頻信號及其它信號，另一個多媒體處理器采用視頻輸入口接收該信號，從而實現(xiàn)多媒體處理器間的數(shù)據(jù)傳輸。由于所用的多媒體處理器具有多個視頻輸入和視頻輸出接口，用這種方法就可實現(xiàn)大規(guī)模的并行視頻處理。為了只輸入需要的數(shù)據(jù)，同樣采用接口控制電路控制視頻數(shù)據(jù)輸入的有效范圍。
本發(fā)明中由于多媒體處理器的視頻輸入和輸出端口數(shù)量有限，為了便于實現(xiàn)視頻信號的大規(guī)模并行處理，視頻子塊的劃分應(yīng)使每個子塊的相鄰子塊的數(shù)量不超過多媒體處理器的視頻輸入端口數(shù)量，如可將視頻圖像劃分成垂直或水平條狀子塊，或?qū)⒁曨l圖像田字形劃分成四個子塊。


圖1是幾種視頻圖像子塊劃分的示意圖。
圖2是對應(yīng)圖1(a)子塊劃分實現(xiàn)并行處理的一個實施例。
圖3是對應(yīng)圖1(b)或(c)子塊劃分實現(xiàn)并行處理的一個實施例。
圖4是采用圖3實施例結(jié)構(gòu)方式進(jìn)行視頻轉(zhuǎn)碼處理的一個實施例。
圖5是與圖4類似，采用二片處理器進(jìn)行解碼的視頻轉(zhuǎn)碼處理實施例。
具體實施例方式
對高分辨率的視頻數(shù)據(jù)，每一幀有較大的尺寸，如1920×1080分辨率的HDTV視頻數(shù)據(jù)，可將每幀圖像分為如圖1(a)所示4塊，每塊大小為960×540，也可將視頻圖像分為如圖1(b)所示4塊，每塊大小為480×1080，也可將視頻圖像分為如圖1(c)所示4塊，每塊大小為1920×270。這樣可以用4個多媒體處理器分別處理其中的一塊，每塊視頻圖像壓縮編碼后的數(shù)據(jù)送合成處理器合成為完整的視頻信號。對于分辨率更大的視頻信號或處理復(fù)雜度更高的算法，則可以用這種方法分成更多的子塊，如圖1(d)所示。對于如HDTV 1080i這樣的隔行視頻信號，則每個子塊輸入多媒體處理器是分二場進(jìn)行的。
由于幀間視頻處理技術(shù)需要利用以前圖像幀處理后的數(shù)據(jù)，如幀間視頻編碼需要利用前一幀圖像的重建數(shù)據(jù)(重建幀)進(jìn)行運(yùn)動估計，即所謂參考幀，H.264和AVS等視頻編碼標(biāo)準(zhǔn)甚至需要多個參考幀。其它視頻處理也可能要用到以前的圖像幀數(shù)據(jù)。問題是幀間視頻處理需要用到的參考幀圖像數(shù)據(jù)或中間處理結(jié)果數(shù)據(jù)并不限制在所在的分塊內(nèi)，也即需要相鄰分塊對應(yīng)的視頻數(shù)據(jù)。如用幀間視頻編碼算法進(jìn)行運(yùn)動估計時，要用到周圍圖像數(shù)據(jù)，如圖1(a)中對C塊中宏塊的運(yùn)動估計需要用到圖中虛線框內(nèi)的參考幀數(shù)據(jù)。也就是說，采用分塊方式進(jìn)行幀間視頻處理，若每個處理器處理其中一個分塊，則每個處理器均需要用到來自其它處理器的參考幀圖像數(shù)據(jù)，這些數(shù)據(jù)可由相應(yīng)處理器通過視頻輸出接口輸出，再由當(dāng)前處理器的視頻輸入口接收到存貯器中。如圖1(a)，若分塊A用處理器1處理，分塊B用處理器2處理，分塊C用處理器3處理，分塊D用處理器4處理，處理器1、處理器2和處理器4的視頻輸出數(shù)據(jù)需要輸入到處理器3，處理器1、處理器2和處理器4可利用其視頻輸出口輸出數(shù)據(jù)，分別由處理器3的三個視頻輸入接口接收這些視頻數(shù)據(jù)。
對于圖1(b)、(c)和(d)的子塊劃分方法，每個子塊的處理最多只要用到相鄰二塊的數(shù)據(jù)。也就是說，處理如圖(b)、(c)和(d)中所示每個子塊的處理器，需接收來自處理該子塊相鄰二子塊的子塊處理器的視頻數(shù)據(jù)。我們稱處理相鄰子塊的子塊處理器為相鄰處理器。這種子塊劃分方法的好處是，可以用很多處理器并行處理很大的視頻序列數(shù)據(jù)。
圖2是用上述方法的一個實施例，對應(yīng)圖1(a)的子塊劃分。該實施例采用TI的TMS320DM642多媒體處理器，也可以采用其它有多個視頻輸入輸出接口的多媒體處理器。DM642含3個視頻端口，每個視頻端口又可作為2個10位端口使用，如果全部作為輸入，則共可有6個視頻輸入口。
輸入的視頻信號可以是來自傳感器(如CCD或CMOS圖像傳感器)的視頻數(shù)據(jù)或其它高清視頻設(shè)備輸出的視頻信號或其它可通過多媒體處理器視頻口輸入的視頻數(shù)據(jù)，我們稱其為外部視頻信號。通過對應(yīng)每個處理器的接口控制電路控制和改變視頻信號的行、場控制信號，這些信號可以是行、場(或幀)有效信號或同步信號，從而控制輸入到子塊處理器的圖像數(shù)據(jù)有效范圍，即只將特定的視頻子塊輸入相應(yīng)的處理器。而視頻數(shù)據(jù)可以直接輸入多媒體處理器的視頻輸入口或為了時序匹配作一定的延時。
每個處理器將其處理后的視頻數(shù)據(jù)，如視頻編解碼算法中的重建幀、視頻圖像分析中的中間結(jié)果或數(shù)據(jù)，通過視頻輸出口輸出，我們稱其為內(nèi)部視頻信號，同樣經(jīng)過接口控制電路，通過控制和改變視頻信號中的行、場(或幀)控制信號選擇有效視頻數(shù)據(jù)，再通過處理器的視頻輸入口輸入處理器。
由于每個處理器需要接收一路外部視頻信號和來自對應(yīng)三個相鄰處理器的三路內(nèi)部視頻信號，即共需接收四路視頻數(shù)據(jù)，這四路視頻數(shù)據(jù)都需要經(jīng)過接口控制電路選擇有效數(shù)據(jù)，也即共需四個獨(dú)立的接口控制電路，這些接口控制電路可一片或多片邏輯電路中實現(xiàn)。在采用多片邏輯電路實現(xiàn)時，由于接口控制電路為對視頻信號中行、場(或幀)控制信號進(jìn)行改變，對應(yīng)同一數(shù)據(jù)源(外部視頻信號或內(nèi)部視頻信號)的接口控制電路可以組合在一起，從而簡化電路。接口控制電路可以是CLPD、FPGA或其它邏輯電路。
每個處理器用四個視頻輸入口接收這四路視頻信號，用一個視頻輸出口輸出一路視頻信號給相鄰處理器。
每個處理器各另用一個視頻接口輸出一路處理后的視頻信號到合成處理器，合成處理器用四個視頻輸入口接收這四路視頻信號。合成處理也可以通過以太網(wǎng)、HPI、EMIF等接口與各視頻處理器通信，從而實現(xiàn)對各視頻處理器的控制、給各視頻處理器分發(fā)數(shù)據(jù)流。
圖3是用上述方法的另一個實施例，對應(yīng)圖1(b)或(c)的子塊劃分。其中處理器1、處理器2、處理器3、處理器4分別用于處理視頻子塊A、視頻子塊B、視頻子塊C、視頻子塊D，處理器1接收外部視頻信號及來自處理器2的視頻信號，處理器2接收外部視頻信號及來自處理器1和處理器3的視頻信號，處理器3接收外部視頻信號及來自處理器2和處理器4的視頻信號，處理器4接收外部視頻信號及來自處理器3的視頻信號。對視頻信號的控制方式與圖1例相同。特別地，對于H.264和AVS等具有幀內(nèi)預(yù)測模式的視頻編碼和解碼算法，其幀內(nèi)編碼宏塊的編碼和解碼均需要用到其左側(cè)和上部相鄰像素，圖1(c)所示的子塊劃分更能適應(yīng)實時編碼和解碼。
圖4是利用圖3所示方法實現(xiàn)的一個用于視頻轉(zhuǎn)碼的實施例。該實施例用一片處理器實現(xiàn)視頻解碼，如實現(xiàn)HDTV分辨率的MPEG2視頻解碼，將解碼后的視頻信號送到各視頻處理器，工作原理與圖3相同，所不同的是解碼處理器將碼流中關(guān)于宏塊的運(yùn)動矢量、量化參數(shù)等信息傳輸給合成處理器，并由合成處理通過以太網(wǎng)、HPI、EMIF等接口傳輸給處理器1、處理器2、處理器3、處理器4，也可由解碼處理器直接將這些信息通過數(shù)據(jù)總線傳輸給各視頻處理器(如圖4中虛線所示)，從而提高視頻編碼算法中運(yùn)動估計的速度，或者可以將這些信息嵌入在視頻數(shù)據(jù)中，當(dāng)作視頻數(shù)據(jù)通過視頻接口傳輸給各視頻處理器，這時需要將原圖像進(jìn)行擴(kuò)展。
對于需要更復(fù)雜的視頻解碼時，如要實現(xiàn)1080i分辨率的H.264/AVC視頻解碼，則可用2片或4片多媒體處理器用上述方法實現(xiàn)并行視頻解碼處理。
圖5是用6片多媒體處理器和一片合成處理器實現(xiàn)視頻轉(zhuǎn)碼的一個實施例。
合成控制處理器將需要轉(zhuǎn)碼的原始碼流通過以太網(wǎng)、HPI、EMIF等接口傳輸給解碼處理器1和解碼處理器2，它們均是多媒體處理器。由于解碼過程中需要從相鄰處理器(這里是另一個解碼處理器)獲得參考幀視頻數(shù)據(jù)，故這二個處理器均通過視頻輸出和輸入口將重建幀傳輸給對方。解碼處理器1將解碼后的視頻數(shù)據(jù)通過視頻口傳輸給編碼處理器1和編碼處理器2，解碼處理器2將解碼后的視頻數(shù)據(jù)通過視頻口傳輸給編碼處理器3和編碼處理器4。同時，解碼處理器1和解碼處理器2將運(yùn)動矢量等信息通過以太網(wǎng)、HPI、EMIF等接口傳輸給各編碼處理器(可直接傳輸或通過合成控制處理器轉(zhuǎn)發(fā))。
本發(fā)明的主要特點(diǎn)是采用多媒體處理器的視頻口進(jìn)行視頻數(shù)據(jù)的處理器間傳輸，從而實現(xiàn)大規(guī)模并行視頻處理?？捎糜诘幌抻谏鲜鲆曨l子塊劃分及實施例。本發(fā)明方法也可用于視頻數(shù)據(jù)融合，如多路視頻拼接和融合，本發(fā)明方法可用于各種高分辨率視頻處理，如高分辨視頻中的目標(biāo)分割和理解等。
權(quán)利要求
1.一種視頻信號多處理器并行處理方法，采用多個子塊處理器和合成處理器實現(xiàn)視頻信號的并行處理，其特征在于子塊處理器對整幅圖像進(jìn)行分區(qū)域并行處理，每個子塊處理器處理視頻圖像的一個區(qū)域，這些處理器間可通過視頻輸入和輸出接口進(jìn)行通信；合成處理器通過通信接口與子塊處理器通信，實現(xiàn)對各子塊處理器處理結(jié)果的融合。
2.根據(jù)權(quán)利要求1所述的視頻信號多處理器并行處理方法，其特征在于在子塊處理器的視頻輸入口，可設(shè)置一接口控制電路，用以改變視頻信號的行、場控制信號，控制輸入到子塊處理器的圖像數(shù)據(jù)有效范圍，其中行、場控制信號可以采用獨(dú)立的控制線，也可以嵌入在視頻數(shù)據(jù)中。
3.根據(jù)權(quán)利要求1或2所述的視頻信號多處理器并行處理方法，其特征在于子塊處理器的視頻輸出接口可與其它一個或多個子塊處理器的視頻輸入接口連接，用以實現(xiàn)處理器間的數(shù)據(jù)通信。
4.根據(jù)權(quán)利要求1或2或3所述的視頻信號多處理器并行處理方法，其特征在于可實現(xiàn)視頻轉(zhuǎn)碼處理，視頻解碼處理將解碼后的視頻數(shù)據(jù)通過視頻接口輸入到子塊處理器，同時將原運(yùn)行矢量、量化等參數(shù)通過通信接口或嵌入在視頻數(shù)據(jù)中，傳輸給各子塊處理器。
5.根據(jù)權(quán)利要求4所述的視頻信號多處理器并行處理方法，其特征在于采用多個解碼處理器實現(xiàn)視頻解碼，解碼處理器間采用視頻接口進(jìn)行視頻數(shù)據(jù)傳輸，解碼后的視頻數(shù)據(jù)通過視頻接口和控制電路傳輸給相應(yīng)的子塊處理器。
全文摘要
本發(fā)明公開了一種視頻信號多處理器并行處理方法，它采用多個子塊處理器和合成處理器實現(xiàn)視頻信號的并行處理。所述子塊處理器對整幅圖像進(jìn)行分區(qū)域并行處理，每個子塊處理器處理視頻圖像的一個區(qū)域，這些處理器間可通過視頻輸入和輸出接口進(jìn)行通信；所述合成處理器通過通信接口與子塊處理器通信，實現(xiàn)對各子塊處理器處理結(jié)果的融合。本發(fā)明能較方便地實現(xiàn)多個多媒體處理器的并行處理，從而降低多處理器并行處理的復(fù)雜性，解決高分辨率視頻信號處理的處理能力瓶頸問題。
文檔編號H04N5/765GK1889667SQ20061005266
公開日2007年1月3日 申請日期2006年7月26日 優(yōu)先權(quán)日2006年7月26日
發(fā)明者唐慧明, 蔣國華, 褚方杰 申請人:浙江大學(xué)