專利名稱:在基于塊的視頻編碼系統(tǒng)中確定最佳網(wǎng)格的方法和設(shè)備的制作方法
技術(shù)領(lǐng)域:
本發(fā)明涉及在基于塊的視頻信號(hào)編碼系統(tǒng)中使用的確定最佳網(wǎng)絡(luò)的方法和設(shè)備,更具體地,涉及確定最佳網(wǎng)絡(luò)以便改善表示對(duì)象圖象的視頻信號(hào)的編碼效率的方法和設(shè)備。
在數(shù)字電視系統(tǒng),例如可視電話、電視會(huì)議和高清晰度電視系統(tǒng)中,由于視頻幀內(nèi)的視頻行信號(hào)包括被稱為象素值的一系列數(shù)字?jǐn)?shù)據(jù),所以需要大量的數(shù)字?jǐn)?shù)據(jù)來(lái)確定各視頻幀。但是,由于普通傳輸信道的可用頻率帶寬有限,所以為了經(jīng)由這種傳輸信道傳送大量的數(shù)字?jǐn)?shù)據(jù),就必然要利用數(shù)據(jù)壓縮技術(shù)來(lái)壓縮或減少數(shù)據(jù)量,對(duì)于諸如可視電話或電視會(huì)議系統(tǒng)這樣的低位率視頻信號(hào)編碼器更是要這樣做。
在低位率編碼系統(tǒng)中編碼視頻信號(hào)的這種技術(shù)之一是所謂的面向?qū)ο蟮姆治?綜合編碼技術(shù),其中把輸入視頻圖象分成對(duì)象,利用不同的編碼信道處理定義各對(duì)象的運(yùn)動(dòng)、輪廓和象素?cái)?shù)據(jù)的三組參數(shù)。
這種面向?qū)ο缶幋a方案的一個(gè)例子是所謂的運(yùn)動(dòng)圖象專家組(MPEG)階段4(MPEG-4),這一編碼方案在諸如低位率通信、交互多媒體(例如游戲、交互TV等)和區(qū)域監(jiān)視的應(yīng)用中提供允許基于內(nèi)容的交互性、改善的編碼效率和/或普遍可達(dá)性的視聽(tīng)編碼標(biāo)準(zhǔn)(參看例如MPEG-4VideoVerification Model Version 2.0,國(guó)際標(biāo)準(zhǔn)化組織,ISO/IEC JTC1/SC29/WG11 N1260,1996年3月)。
根據(jù)MPEG-4,輸入視頻圖象被分成多個(gè)視頻對(duì)象平面(VOP),它們相當(dāng)于用戶能夠存取和操作的位流中的實(shí)體??蓪OP稱為對(duì)象,可用其寬度和高度可以是圍繞各對(duì)象的16個(gè)象素的最小倍數(shù)的邊界矩形來(lái)表示,以便編碼器根據(jù)逐個(gè)VOP、即根據(jù)逐個(gè)對(duì)象地處理輸入視頻圖象。
就是說(shuō),用邊界矩形來(lái)表示各VOP,并且必需按照4∶2∶0的格式正確地設(shè)定邊界矩形的亮度(Y)和色度(U,V)數(shù)據(jù)之間的相位差。具體來(lái)說(shuō),由于在4∶2∶0格式中每一色度數(shù)據(jù)與4(=2×2)個(gè)亮度數(shù)據(jù)相關(guān),所以可以這樣實(shí)現(xiàn)這種相位差的正確設(shè)定,即首先分別把邊界矩形在上角坐標(biāo)舍入為不大于包圍對(duì)象的最緊密的矩形的左上角坐標(biāo)、例如(2n+1,2m+1)的最接近的偶數(shù)、例如(2n,2m),n和m為整數(shù)。然后這樣確定該邊界矩形的右下角,即使得該邊界矩形的寬和高是16個(gè)象素的最小倍數(shù)。
MPEG-4中討論的邊界矩形的信息包括形狀信息和由亮度和色度數(shù)據(jù)組成的彩色信息,形狀信息用例如二進(jìn)制掩碼來(lái)表示,與亮度數(shù)據(jù)相關(guān)。在二進(jìn)制掩碼中,一個(gè)二進(jìn)制值、例如0被用來(lái)表示位于邊界矩形內(nèi)的對(duì)象之外的象素,另一二進(jìn)制值、例如1被用來(lái)表示該對(duì)象內(nèi)的象素。因此,VOP內(nèi)的亮度數(shù)據(jù)被根據(jù)二進(jìn)制掩碼進(jìn)行處理,可將其稱為亮度形狀數(shù)據(jù),由此選擇了待編碼的可用亮度數(shù)據(jù)。
為了處理在邊界矩形內(nèi)的亮度數(shù)據(jù),邊界矩形一般被分成若干個(gè)利用搜索網(wǎng)格產(chǎn)生的同樣大小的搜索塊,然后利用各種基于塊的編碼技術(shù)、例如DCT編碼技術(shù)順序地編碼這些同樣大小的搜索塊并逐塊地進(jìn)行量化。
但是,由于編碼效率受到對(duì)象的邊界區(qū)域的顯著影響,所以非常希望減少包括了對(duì)象的邊界的搜索塊的數(shù)目來(lái)減少數(shù)字信號(hào)的數(shù)據(jù)量。
因此,本發(fā)明的主要目的是提供在基于塊的視頻信號(hào)編碼系統(tǒng)中使用的、確定用于視頻對(duì)象平面的最佳網(wǎng)絡(luò)的方法和設(shè)備,該方法和設(shè)備能夠提供最少的邊緣塊、即環(huán)繞對(duì)象的邊界的搜索塊,由此改善了視頻信號(hào)的編碼效率。
本發(fā)明的另一目的是提供確定用于視頻對(duì)象平面的最佳網(wǎng)格的方法和設(shè)備,該方法和設(shè)備能夠有效地提供具有最小平均活動(dòng)性的邊緣塊,由此改善了視頻信號(hào)的編碼效率。
根據(jù)本發(fā)明,提供了在基于塊的視頻信號(hào)編碼系統(tǒng)中使用的、確定最佳搜索網(wǎng)格的方法和設(shè)備,最佳搜索網(wǎng)格把對(duì)象的視頻信號(hào)的視頻對(duì)象平面分成多個(gè)同樣大小的搜索塊,每一搜索塊有N×N個(gè)象素,N為正整數(shù),該方法包括以下步驟(a)產(chǎn)生多個(gè)搜索網(wǎng)格,每一搜索網(wǎng)格相對(duì)于相鄰搜索網(wǎng)格移位了預(yù)定的間距;(b)利用對(duì)象的形狀信息檢測(cè)被包括在每一搜索網(wǎng)格內(nèi)的邊緣塊,邊緣塊指具有對(duì)象的一部分邊界的搜索塊;以及(c)根據(jù)邊緣塊的數(shù)目和網(wǎng)格在邊緣塊內(nèi)的象素值選擇搜索網(wǎng)格,以便把所選的搜索網(wǎng)格確定為最佳搜索網(wǎng)格。
參看附圖閱讀最佳實(shí)施例的以下描述將清楚本發(fā)明的上述和其它目的及特點(diǎn),其中
圖1是根據(jù)本發(fā)明的用于確定VOP的最佳網(wǎng)格的設(shè)備的方框圖;圖2表示由一個(gè)搜索網(wǎng)格產(chǎn)生的搜索塊和在對(duì)象的邊界上形成的邊緣塊;圖3示出一示范性幀來(lái)表示搜索網(wǎng)格的偏移。
圖1表示本發(fā)明一最佳實(shí)施例的在基于塊的視頻信號(hào)編碼系統(tǒng)中使用的、確定用于視頻對(duì)象平面(VOP)的最佳網(wǎng)格的設(shè)備10的方框圖,該設(shè)備10包括搜索網(wǎng)格產(chǎn)生電路20-1至20-M、邊緣塊檢測(cè)電路40-1至40-M、活動(dòng)性計(jì)算電路73-1至73-M、第一和第二比較電路50、70以及多路復(fù)用器75。
表示對(duì)象邊界的形狀信息被提供給每一邊緣塊檢測(cè)電路40-1至40-M,形狀信息一般,用二進(jìn)制掩碼、即“0”和“1”來(lái)表示。在此期間,包括亮度和色度數(shù)據(jù)的視頻幀信號(hào)被傳送給每一活動(dòng)性計(jì)算電路73-1至73-M。
搜索網(wǎng)絡(luò)產(chǎn)生電路20-1至20-M分別產(chǎn)生第一至第M個(gè)搜索網(wǎng)格,每一搜索網(wǎng)格可以通過(guò)沿水平和垂直方向?qū)⑵湎噜従W(wǎng)格移位預(yù)定數(shù)目的象素位置、例如一個(gè)象素或兩個(gè)象素來(lái)獲得。
搜索網(wǎng)格產(chǎn)生電路20-1至20-M分別向邊緣塊檢測(cè)電路40-1至40-M、活動(dòng)性計(jì)算電路73-1至73-M以及向多路復(fù)用器75提供搜索網(wǎng)格信息、例如相應(yīng)搜索網(wǎng)格的偏移。參看圖2,該圖概略地示出覆蓋了幀21的一示范性搜索網(wǎng)絡(luò)22。搜索網(wǎng)格22是無(wú)數(shù)的格子,其每一同樣大小的單元形成搜索塊23。搜索塊23包含M個(gè)象素,M等于N×N,N是例如8或16的整數(shù),搜索塊的大小M依賴于待編碼信號(hào)的類型。
由于搜索網(wǎng)格22可移位,所以可有相應(yīng)于多個(gè)不同偏移的多個(gè)移位位置,其中定義一偏移來(lái)表示幀21的最遠(yuǎn)的左上角象素和搜索網(wǎng)格22的最遠(yuǎn)的左上角搜索塊的象素之間的位移。參看圖3,如果最左上角搜索塊的(1,1)象素位于幀的(3,2)象素處,就把搜索網(wǎng)格稱為相應(yīng)于偏移(3,2)的(3,2)搜索網(wǎng)格。同樣地,把相應(yīng)于偏移(2,3)的搜索網(wǎng)格稱為(2,3)搜索網(wǎng)格,依此類推。
一旦搜索網(wǎng)格被移位,就可能會(huì)產(chǎn)生不完整的搜索塊24,其中不完整的搜索塊是如圖2所示沒(méi)有N×N個(gè)象素的搜索塊。由于搜索網(wǎng)格可以逐個(gè)象素地被移位,所以如果一個(gè)搜索塊具有N×N個(gè)象素,就可以有相應(yīng)于M(=N×N)個(gè)偏移的M(=N×N)個(gè)被移位的搜索網(wǎng)格。但是,如果需要的話,可以每?jī)蓚€(gè)象素地移位搜索網(wǎng)格,以便按照4∶2∶0-格式編碼色度電平,每一色度電平與四個(gè)最接近的亮度電平相關(guān)。
即使一對(duì)象也許遠(yuǎn)大于搜索塊,但也可選擇搜索網(wǎng)格使該對(duì)象可被該搜索網(wǎng)格的最少數(shù)目的搜索塊所包圍。
回到圖1,對(duì)形狀信息和由每一相應(yīng)的搜索網(wǎng)格產(chǎn)生電路20-1至20-M提供的搜索網(wǎng)格信息作出響應(yīng),每一邊緣塊檢測(cè)電路40-1至40-M檢測(cè)邊緣來(lái)產(chǎn)生表示邊緣塊的位置的邊緣塊信息。如圖2所示,邊緣塊25指包括對(duì)象的一部分邊界26的搜索塊,即在這些搜索塊內(nèi),表示形狀信息的二進(jìn)制值不相同。換句話說(shuō),如果二進(jìn)制值在一搜索塊內(nèi)不相同,即一些二進(jìn)制值是“0”而另一些二進(jìn)制值是“1”,就把該搜索塊稱為邊緣塊,但在其內(nèi)全部二進(jìn)制值都相同、即都是0或都是1的搜索塊不是邊緣塊。
因?yàn)榫幋a效率對(duì)于對(duì)象的邊界是決定性的,所以我們?cè)谶@一實(shí)施例中挑選出了“邊緣”。在本發(fā)明的另一實(shí)施例中,如果需要的話,我們可以用“對(duì)象”來(lái)代替“邊緣”。在這種情況下,表示一對(duì)象的、包括二進(jìn)制值“1”的搜索塊成為對(duì)象塊,所以可以通過(guò)替換邊緣塊信息來(lái)產(chǎn)生表示對(duì)象塊的位置的對(duì)象塊信息。
回到圖1,每一邊緣塊檢測(cè)電路40-1至40-M通過(guò)導(dǎo)線L11至LM1向每一相應(yīng)的活動(dòng)性計(jì)算電路73-1至73-M和向多路復(fù)用器75傳送在相應(yīng)搜索網(wǎng)格上的邊緣塊信息。
每一邊緣塊檢測(cè)電路40-1至40-M還對(duì)在相應(yīng)搜索網(wǎng)格上的邊緣塊的個(gè)數(shù)進(jìn)行計(jì)數(shù)以產(chǎn)生邊緣塊數(shù)目信號(hào)。如果任一不完整的搜索塊包含對(duì)象的一部分邊界,則因?yàn)椴荒軌驅(qū)Σ煌暾乃阉鲏K執(zhí)行通常的編碼,所以最好給相應(yīng)搜索網(wǎng)格的邊緣塊數(shù)目信號(hào)指定最大值,以便該搜索網(wǎng)格在接著的編碼過(guò)程中不大重要。邊緣塊檢測(cè)電路40-1至40-M的全部邊緣塊數(shù)目信號(hào)通過(guò)導(dǎo)線L12至LM2提供給第一比較電路50。
第一比較電路50對(duì)全部邊緣塊數(shù)目相互進(jìn)行比較,選擇全部邊緣塊數(shù)目中的最小值來(lái)向第二比較電路70提供第一選擇信號(hào),該第一選擇信號(hào)表示具有最少數(shù)目的邊緣塊的搜索網(wǎng)格。如果一個(gè)以上的搜索網(wǎng)格具有同一最小數(shù)目的邊緣塊、就選擇所有相應(yīng)的搜索網(wǎng)格并將該最小值作為第一選擇信號(hào)傳送給第二比較電路70。
在此期間,對(duì)每一邊緣塊檢測(cè)電路40-1至40-M傳送的邊緣塊信息作出響應(yīng),每一活動(dòng)性計(jì)算電路73-1至73-M如下地計(jì)算被包括在相應(yīng)搜索網(wǎng)格內(nèi)的每一邊緣塊的活動(dòng)性值A(chǔ)V=1MΣi=1NΣj=1N(H(i,j)-m)2]]>其中的M等于N×N,一邊緣塊內(nèi)象素的數(shù)目,H(i,j)表示該邊緣塊內(nèi)位置(i,j)處的象素值、例如亮度電平或色度電平,m是該邊緣塊內(nèi)全部象素的平均象素值,i和j分別是不大于整數(shù)N的正整數(shù)值。然后,每一活動(dòng)性計(jì)算電路73-1至73-M計(jì)算相應(yīng)搜索網(wǎng)格的平均活動(dòng)性值,它表示在該相應(yīng)搜索網(wǎng)格內(nèi)的全部邊緣塊的活動(dòng)性值的平均值。
對(duì)第一比較電路50提供的第一選擇信號(hào)和活動(dòng)性計(jì)算電路73-1至73-M提供的全部平均活動(dòng)性值作出響應(yīng),第二比較電路70對(duì)相應(yīng)于第一選擇信號(hào)的搜索網(wǎng)格的全部平均活動(dòng)性值相互進(jìn)行比較,選擇上述搜索網(wǎng)格的最小平均活動(dòng)性值作為第二選擇信號(hào)提供給多路復(fù)用器75,該第二選擇信號(hào)表示一些搜索網(wǎng)格中的具有邊緣塊的最小平均活動(dòng)性值的一搜索網(wǎng)格。
在本發(fā)明的另一最佳實(shí)施例中,如果一個(gè)以上的搜索網(wǎng)格被第一比較電路50選擇,具有同一最小邊緣塊數(shù)目的搜索網(wǎng)絡(luò),就可以首先只對(duì)選擇的搜索網(wǎng)格而不對(duì)全部搜索網(wǎng)格計(jì)算平均活動(dòng)性值,然后可以在選擇的搜索網(wǎng)格內(nèi)選擇具有最小平均活動(dòng)性值的搜索網(wǎng)格。
對(duì)第二選擇信號(hào)作出響應(yīng),多路復(fù)用器75就根據(jù)每一搜索網(wǎng)格產(chǎn)生電路20-1至20-M傳送的搜索網(wǎng)格信息在具有最小邊緣塊數(shù)目的搜索網(wǎng)格內(nèi)選擇具有最小平均活動(dòng)性值的搜索網(wǎng)格。然后,根據(jù)每一邊緣塊檢測(cè)電路40-1至40-M傳送的邊緣塊信息,多路復(fù)用器7 5把搜索網(wǎng)格信息和在選出的搜索網(wǎng)格上的邊緣塊信息作為當(dāng)前幀的最佳搜索網(wǎng)格信息進(jìn)行傳送。
把該最佳搜索網(wǎng)格信息、例如第K個(gè)搜索網(wǎng)格信息提供給多個(gè)編碼處理器(未示出)、例如DCT和Q處理器,以便對(duì)視頻信號(hào)進(jìn)行編碼。因此,這些編碼處理器能夠在最佳搜索網(wǎng)格的逐個(gè)搜索塊的基礎(chǔ)上進(jìn)行視頻信號(hào)的編碼。
雖然已相對(duì)于特定實(shí)施例描述了本發(fā)明,但本領(lǐng)域的普通技術(shù)人員將認(rèn)識(shí)到,在不違背所附權(quán)利要求書(shū)中限定的發(fā)明精神和不超出其范圍的前提下,可以對(duì)本發(fā)明作出各種改進(jìn)。
權(quán)利要求
1.在基于塊的視頻信號(hào)編碼系統(tǒng)中使用的、用于確定把對(duì)象的視頻信號(hào)的視頻對(duì)象平面分成多個(gè)同樣大小的搜索塊的最佳搜索網(wǎng)格的方法,每一搜索塊具有N×N個(gè)象素,N為正整數(shù),所述方法包括以下步驟(a)產(chǎn)生多個(gè)搜索網(wǎng)格,其中每一搜索網(wǎng)格相對(duì)于相鄰搜索網(wǎng)格移位了預(yù)定的間距;(b)利用對(duì)象的形狀信息檢測(cè)包括在每一搜索網(wǎng)格內(nèi)的邊緣塊,其中邊緣塊指具有對(duì)象的一部分邊界的搜索塊;以及(c)根據(jù)邊緣塊的數(shù)目和在邊緣塊內(nèi)的象素值選擇搜索網(wǎng)格,以便把所選的搜索網(wǎng)格確定為最佳搜索網(wǎng)格。
2.根據(jù)權(quán)利要求1所述的方法,其中所述步驟(c)包括以下步驟(c1)選出具有最小數(shù)目的邊緣塊的搜索網(wǎng)格;(c2)如果多個(gè)搜索網(wǎng)格具有同一最小數(shù)目的邊緣塊,就根據(jù)被包括在這些搜索網(wǎng)格的每一個(gè)內(nèi)的邊緣塊的象素值計(jì)算這些搜索網(wǎng)格的每一個(gè)的平均活動(dòng)性值,平均活動(dòng)性值表示邊緣塊的象素值之間的離散程度;(c3)檢測(cè)這些搜索網(wǎng)格中的具有最小平均活動(dòng)性值的搜索網(wǎng)格;以及(c4)把檢測(cè)的搜索網(wǎng)格確定為最佳搜索網(wǎng)格。
3.根據(jù)權(quán)利要求2所述的方法,其中所述步驟(c2)還包括以下步驟(c21)根據(jù)被包括在所述每一搜索網(wǎng)格內(nèi)的邊緣塊的象素值計(jì)算在每一搜索網(wǎng)格內(nèi)的每一邊緣塊的活動(dòng)性值,各邊緣塊的各活動(dòng)性值計(jì)算如下AV=1MΣi=1NΣj=1N(H(i,j)-m)2]]>其中的M是在一邊緣塊內(nèi)的N×N個(gè)象素的數(shù)目,H(i,j)表示該邊緣塊內(nèi)的象素位置(i,j)處的象素值,m是該邊緣塊內(nèi)全部象素值的平均象素值,i和j分別是不大于整數(shù)N的正整數(shù);以及(c22)對(duì)在一搜索網(wǎng)格內(nèi)的全部邊緣塊的全部活動(dòng)性值求平均來(lái)產(chǎn)生該搜索網(wǎng)格的平均活動(dòng)性值。
4.根據(jù)權(quán)利要求3所述的方法,其中每一搜索網(wǎng)格逐個(gè)象素地彼此移位。
5.根據(jù)權(quán)利要求4所述的方法,其中的象素值是象素的亮度電平。
6.在基于塊的視頻信號(hào)編碼系統(tǒng)中使用的、用于確定把對(duì)象的視頻信號(hào)的視頻對(duì)象平面分成多個(gè)同樣大小的搜索塊的最佳搜索網(wǎng)格的設(shè)備,每一搜索塊具有N×N個(gè)象素,N為正整數(shù),所述設(shè)備包括產(chǎn)生多個(gè)搜索網(wǎng)格的裝置,其中每一搜索網(wǎng)格相對(duì)于相鄰搜索網(wǎng)格移位了預(yù)定的間距;利用對(duì)象的形狀信息檢測(cè)被包括在每一搜索網(wǎng)格內(nèi)的邊緣塊的裝置,邊緣塊指具有對(duì)象的一部分邊界的搜索塊;以及根據(jù)邊緣塊的數(shù)目和在邊緣塊內(nèi)的象素值選擇搜索網(wǎng)格,以便把所選的搜索網(wǎng)格確定為最佳搜索網(wǎng)格的裝置。
7.根據(jù)權(quán)利要求6所述的設(shè)備,其中所述選擇裝置包括選出具有最小數(shù)目的邊緣塊的搜索網(wǎng)格的裝置;如果多個(gè)搜索網(wǎng)格具有同一最小數(shù)目的邊緣塊,就根據(jù)被包括在這些搜索網(wǎng)格的每一個(gè)內(nèi)的邊緣塊的象素值計(jì)算這些搜索網(wǎng)格的每一個(gè)的平均活動(dòng)性值的裝置,平均活動(dòng)性值表示邊緣塊的象素值之間的離散程度;檢測(cè)這些搜索網(wǎng)格中的具有最小平均活動(dòng)性值的搜索網(wǎng)格的裝置;以及把檢測(cè)的搜索網(wǎng)格確定為最佳搜索網(wǎng)格的裝置。
8.根據(jù)權(quán)利要求7所述的設(shè)備,其中所述計(jì)算裝置包括根據(jù)被包括在所述每一搜索網(wǎng)格內(nèi)的邊緣塊的象素值計(jì)算在每一搜索網(wǎng)格內(nèi)的每一邊緣塊的活動(dòng)性值的裝置,各邊緣塊的各活動(dòng)性值計(jì)算如下AV=1MΣi=1NΣj=1N(H(i,j)-m)2]]>其中的M是在一邊緣塊內(nèi)的N×N個(gè)象素的數(shù)目,H(i,j)表示該邊緣塊內(nèi)的象素位置(i,j)處的象素值,m是該邊緣塊內(nèi)全部象素值的平均象素值,i和j分別是不大于整數(shù)N的正整數(shù);以及對(duì)在一搜索網(wǎng)格內(nèi)的全部邊緣塊的全部活動(dòng)性值求平均來(lái)產(chǎn)生該搜索網(wǎng)格的平均活動(dòng)性值的裝置。
9.根據(jù)權(quán)利要求8所述的設(shè)備,其中每一搜索網(wǎng)格逐個(gè)象素地彼此稱位。
10.根據(jù)權(quán)利要求9所述的設(shè)備,其中的象素值是象素的亮度電平。
全文摘要
在基于塊的視頻信號(hào)編碼系統(tǒng)中使用的、通過(guò)把對(duì)象的視頻對(duì)象平面分成多個(gè)同樣大小的搜索塊來(lái)確定搜索網(wǎng)格的方法,該方法產(chǎn)生多個(gè)搜索網(wǎng)格,每一搜索網(wǎng)格相對(duì)于相鄰搜索網(wǎng)格移位了預(yù)定的間距,并檢測(cè)被包括在每一搜索網(wǎng)格內(nèi)的邊緣塊。然后,該方法根據(jù)邊緣塊的數(shù)目和在邊緣塊內(nèi)的象素值選擇搜索網(wǎng)格。
文檔編號(hào)H04N7/32GK1168060SQ9711173
公開(kāi)日1997年12月17日 申請(qǐng)日期1997年4月24日 優(yōu)先權(quán)日1996年5月23日
發(fā)明者金鎮(zhèn)憲 申請(qǐng)人:大宇電子株式會(huì)社