專利名稱：視頻編碼和解碼中用于隱性塊分割的方法與設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明原理總體而言涉及視頻編碼與解碼，具體而言涉及視頻編碼和解碼中用于 隱性塊分割的方法與設(shè)備。
背景技術(shù)：
通過(guò)為一個(gè)宏塊中的不同區(qū)域提供不同的預(yù)測(cè)信息，提出了許多可以提供更加 準(zhǔn)確的動(dòng)態(tài)補(bǔ)償?shù)姆椒?。相關(guān)實(shí)例包括國(guó)際標(biāo)準(zhǔn)化組織或國(guó)際電工委員會(huì)(IS0/IEC)運(yùn) 動(dòng)圖像專家組-4(MPEG-4)第十部分的高級(jí)視頻編碼(AVC)標(biāo)準(zhǔn)或國(guó)際電信聯(lián)盟電信局 (ITU-T)的H. 264推薦標(biāo)準(zhǔn)(以下稱為“MPEG-4AVC標(biāo)準(zhǔn)”)或?qū)哟涡退牟鏄?shù)(hierarchical quadtree, QT)方法中使用的技術(shù)。在這些方法中，一個(gè)宏塊被分割成更小的塊，并且為每一小塊搜索最佳的匹配。隨 著宏塊中小塊的增多，原始宏塊與相匹配的宏塊之間的失真減少，但是會(huì)導(dǎo)致開(kāi)銷的增加。 因此，存在一個(gè)最低率失真點(diǎn)，且通常由拉格朗日工具(Lagrangian tool)確定最佳塊模 式。為了提高四叉樹(shù)方法中使用方塊或矩形塊的匹配力，提出了基于幾何學(xué)的方法 (geometry based approach，GEO)。在基于幾何學(xué)的方法中，一個(gè)塊由一條直線分成兩個(gè)更 小的被稱為楔形體(wedge)的塊，該直線由斜度和平移參數(shù)描述。同時(shí)對(duì)最佳參數(shù)和相匹 配的楔形體進(jìn)行搜索。雖然基于幾何學(xué)的方法比四叉樹(shù)方法能較好的捕獲對(duì)象邊界，但是 基于幾何學(xué)的方法仍僅限于直線分割?；趯?duì)象的運(yùn)動(dòng)分割方法被提出來(lái)以解決遮擋問(wèn)題。根據(jù)基于對(duì)象的運(yùn)動(dòng)分割方 法，相鄰塊的運(yùn)動(dòng)矢量在塊分割之后被復(fù)制以便捕獲一個(gè)塊中不同的運(yùn)動(dòng)。為了避免傳輸 分割信息，使用在時(shí)間(t-Ι)和(t-2)處預(yù)先編碼的幀來(lái)估測(cè)在時(shí)間(t)處的當(dāng)前幀的分 割。己經(jīng)發(fā)現(xiàn)運(yùn)動(dòng)一補(bǔ)償預(yù)測(cè)編碼(motion-compensated predictive coding,MCPC) 技術(shù)是獲取幀間相關(guān)性的最有效的技術(shù)。在運(yùn)動(dòng)-補(bǔ)償預(yù)測(cè)編碼方案中，原始輸入幀和已 解碼幀的預(yù)測(cè)之間的差異被編碼。這個(gè)差異幀通常被稱為預(yù)測(cè)誤差幀。使用預(yù)測(cè)指標(biāo)的目的是為了減少預(yù)測(cè)誤差幀的能量，以便于預(yù)測(cè)誤差幀在轉(zhuǎn)換之 后具有較低的熵值并能夠因此以低比特率編碼。在圖像壓縮設(shè)計(jì)中最大的挑戰(zhàn)之一是怎樣 提高預(yù)測(cè)的質(zhì)量，或者換言之，怎樣使預(yù)測(cè)指標(biāo)(predictor)盡可能的與當(dāng)前的信號(hào)接近。當(dāng)前的基于塊的運(yùn)動(dòng)補(bǔ)償或差異補(bǔ)償中，固定大小的矩形塊限制了為初始的任意 形的塊范圍尋找較好的預(yù)測(cè)指標(biāo)的能力?；趬K的搜索方法為一個(gè)塊中主導(dǎo)部分找到一個(gè) 匹配，以至于遮擋對(duì)象沒(méi)有得到很好的預(yù)測(cè)?？紤]到預(yù)測(cè)的準(zhǔn)確性，最佳方法是把原始?jí)K分割成不同的對(duì)象并為每個(gè)分割塊搜索匹配。但是，這要求編碼器將分割信息傳輸?shù)浇獯a器 中，并且這種額外的開(kāi)銷會(huì)抵銷加強(qiáng)的預(yù)測(cè)指標(biāo)帶來(lái)的好處。

發(fā)明內(nèi)容
現(xiàn)有技術(shù)的上述缺點(diǎn)以及其他缺點(diǎn)用本發(fā)明原理能夠解決，本發(fā)明原理涉及視頻 編碼和解碼中用于隱性塊分割的方法和設(shè)備。根據(jù)本發(fā)明原理的一個(gè)方面，提供了一種設(shè)備。該設(shè)備包括一個(gè)編碼器，該編碼器 使用對(duì)一個(gè)圖像的至少一個(gè)圖像部分的至少兩個(gè)預(yù)測(cè)指標(biāo)的像素差值進(jìn)行的塊分割方法 為所述一個(gè)圖像部分進(jìn)行編碼。所述編碼器隱性地發(fā)送塊分割信息，解碼器使用該信息為 所述圖像部分解碼。根據(jù)本發(fā)明原理的另一方面，提供了一種方法。該方法包括使用對(duì)一個(gè)圖像的至 少一個(gè)圖像部分的至少兩個(gè)預(yù)測(cè)指標(biāo)的像素差值進(jìn)行的塊分割方法為所述一個(gè)圖像部分 進(jìn)行編碼。所述編碼步驟包括隱性地發(fā)送塊分割信息，解碼器使用該信息為所述圖像部分 解碼。還是根據(jù)本發(fā)明原理的另一方面，提供了一種設(shè)備。該設(shè)備包括一個(gè)解碼器，該解 碼器使用對(duì)一個(gè)圖像的至少一個(gè)圖像部分的至少兩個(gè)預(yù)測(cè)指標(biāo)的像素差值進(jìn)行的塊分割 方法為所述一個(gè)圖像部分進(jìn)行解碼。所述解碼器隱性地確定塊分割信息。根據(jù)本發(fā)明原理的又一方面，提供了一種方法。該方法包括使用對(duì)一個(gè)圖像的至 少一個(gè)圖像部分的至少兩個(gè)預(yù)測(cè)指標(biāo)的像素差值進(jìn)行的塊分割方法為所述至少一個(gè)圖像 部分進(jìn)行解碼。所述解碼步驟包括隱性地確定塊分割信息。結(jié)合附圖閱讀下文中對(duì)示例實(shí)施例的具體描述，將能更好的理解本發(fā)明原理的所 述的及其他的功能、特征和優(yōu)點(diǎn)。


本發(fā)明原理結(jié)合以下示例性附圖比較容易理解，附圖中圖1根據(jù)本發(fā)明原理的一個(gè)實(shí)施例，示出了具有隱性塊分割(implicit block segmentation, IBS)塊模式的一個(gè)示例編碼器的結(jié)構(gòu)圖。圖2根據(jù)本發(fā)明原理的一個(gè)實(shí)施例，示出了具有隱性塊分割(IBS)塊模式的一個(gè) 示例解碼器的結(jié)構(gòu)圖。圖3示出了一個(gè)應(yīng)用本發(fā)明原理的、基于一維的K-均值聚類算法用于圖像分割的 圖像后期處理技術(shù)的示范圖。圖4根據(jù)本發(fā)明原理的一個(gè)實(shí)施例，示出了一個(gè)用于確定一個(gè)圖象塊的一個(gè)預(yù)測(cè) 指標(biāo)對(duì)和相關(guān)權(quán)重指數(shù)搜索的示范方法的流程圖；和圖5根據(jù)本發(fā)明原理的一個(gè)實(shí)施例，示出了用于計(jì)算一個(gè)圖像塊的隱性塊分割 (IBS)預(yù)測(cè)指標(biāo)的示范方法的流程圖。
具體實(shí)施例方式本發(fā)明原理涉及視頻編碼和解碼中用于隱性塊分割的方法和設(shè)備。本說(shuō)明書(shū)中闡明了本發(fā)明原理。由此應(yīng)認(rèn)識(shí)到雖然說(shuō)明書(shū)中沒(méi)有明確描述和示
6出，但是所屬領(lǐng)域的技術(shù)人員將能夠據(jù)此設(shè)計(jì)出各種不同的設(shè)置，所述設(shè)置應(yīng)體現(xiàn)本發(fā)明 原理并包含在本原理的實(shí)質(zhì)和范疇中。在此列出的所有示例和條件語(yǔ)言是以示范教學(xué)為目的，以幫助讀者理解發(fā)明者所 貢獻(xiàn)出的本發(fā)明原理及其概念，以此進(jìn)一步深化該技術(shù)，并不僅限于這些具體描述的示例 和條件。此外，說(shuō)明書(shū)中對(duì)所有原理、功能和本發(fā)明原理的實(shí)施例及其有關(guān)的具體示例的 描述都包含結(jié)構(gòu)和功能上對(duì)等的有關(guān)原理。另外，目的在于使這種對(duì)等原理既包括當(dāng)下眾 所周知的對(duì)等原理也包括將來(lái)提出的對(duì)等原理，即提出的執(zhí)行相同功能的任何元件，不管 其結(jié)構(gòu)如何。例如，這樣就使本領(lǐng)域技術(shù)人員認(rèn)識(shí)到說(shuō)明書(shū)中示出的結(jié)構(gòu)圖再現(xiàn)了體現(xiàn)本發(fā)明 原理的示范性電路的概念化視圖。同樣，應(yīng)了解到任何流程表、流程圖、狀態(tài)轉(zhuǎn)移圖和偽代 碼等等表示的各種程序可能在計(jì)算機(jī)可讀介質(zhì)中得到充分的展現(xiàn)，并由計(jì)算機(jī)或處理器來(lái) 執(zhí)行，不管這種計(jì)算機(jī)或處理器是否被明確地展示出來(lái)。附圖中示出的各種元件的功能可以通過(guò)使用專用硬件和能夠與適當(dāng)?shù)能浖Y(jié)合 執(zhí)行軟件指令的硬件來(lái)取得。當(dāng)功能由處理器來(lái)提供時(shí)，這些功能即可以通過(guò)單個(gè)專用 處理器來(lái)獲得，也可以由單個(gè)共享的處理器來(lái)獲得，或者由多個(gè)獨(dú)立的處理器(其中一些 處理器可能是共享的)來(lái)獲得。此外，術(shù)語(yǔ)“處理器”或“控制器”在表面上的使用不應(yīng)該 被理解成僅能夠執(zhí)行軟件指令的硬件，并且可以隱含地包括(不限于此)數(shù)字信息處理 ^ (digital signal processor, DSP) >WKi^^fil^ (read-only memory, ROM)、隨機(jī)存取存儲(chǔ)器(random access memory, RAM)和非易失性存儲(chǔ)器。其他的常規(guī)和/或傳統(tǒng)的硬件也可包含在內(nèi)。同樣，附圖中所示的任何轉(zhuǎn)換只是 概念意義上的。他們的功能可以通過(guò)程序邏輯操作、專用邏輯和程序控制與專用邏輯之間 的交互來(lái)完成，甚至手動(dòng)操作都可以。結(jié)合上下文能夠明確地理解實(shí)施者可選的這個(gè)技術(shù)。在權(quán)利要求書(shū)中，表示為執(zhí)行特定功能的任何元件都將包含執(zhí)行此功能的任何方 式，如包括a) —個(gè)電路元件組合執(zhí)行該功能，或b)任何形式的軟件，即包括固件、微碼等 等，與使該軟件執(zhí)行所述功能的電路結(jié)合完成此功能。這些權(quán)利要求所限定的本發(fā)明原理 在于把各種所述的裝置提供的多個(gè)功能以權(quán)利要求書(shū)中所要求的方式結(jié)合和集合在一起。 因而，應(yīng)該意識(shí)到任何能夠提供這些功能的裝置與說(shuō)明書(shū)中所示的裝置是等效的。說(shuō)明書(shū)中的引用語(yǔ)，本發(fā)明原理中的“一個(gè)具體實(shí)施例”及其他表述方式表示關(guān)于 實(shí)施例中描述的特定特征、結(jié)構(gòu)、特點(diǎn)等等包含在本發(fā)明原理的至少一個(gè)實(shí)施例中。這樣， 出現(xiàn)在說(shuō)明書(shū)中不同地方的短語(yǔ)“在一個(gè)具體實(shí)施例里”或其他表述形式未必指同一個(gè)具 體實(shí)施例。應(yīng)該注意到“/”，“和/或” “至少之一”的使用，例如，“A/B”，"A和/或B”和“A 和B中的至少一個(gè)”意味著包括僅選擇第一個(gè)列出的選項(xiàng)(A)，或僅選擇第二個(gè)列出的選項(xiàng) ⑶，或選擇兩個(gè)選項(xiàng)(A和B)。又例如，“A、B和/或C”和“A、B和C中的至少之一”，這樣 的短語(yǔ)旨在包括僅選擇第一個(gè)列出的選項(xiàng)(A)，或僅選擇第二個(gè)列出的選項(xiàng)(B)，或僅選擇 第三個(gè)列出的選項(xiàng)(C)，或僅選擇第一和第二個(gè)列出的選項(xiàng)(A和B)，或僅選擇第一和第三 個(gè)列出的選項(xiàng)(A和C)，或僅選擇第二和第三個(gè)列出的選項(xiàng)(B和C)，或選擇所有三個(gè)選項(xiàng) (A和B和C)。如果列出的條目數(shù)量多，選擇的范圍可以擴(kuò)大，這對(duì)于本領(lǐng)域和相關(guān)領(lǐng)域的普通技術(shù)人員來(lái)說(shuō)，很明顯上述內(nèi)容可以擴(kuò)展到其他的條目。此外，應(yīng)該認(rèn)識(shí)到說(shuō)明書(shū)中的本發(fā)明原理的一個(gè)或多個(gè)實(shí)施例是針對(duì)MPEG-4AVC 標(biāo)準(zhǔn)進(jìn)行描述的，本發(fā)明原理不單純局限于這一標(biāo)準(zhǔn)，還可針對(duì)其他視頻信號(hào)編碼標(biāo)準(zhǔn)、及 其推薦標(biāo)準(zhǔn)和擴(kuò)展標(biāo)準(zhǔn)(包括MPEG 4AVC標(biāo)準(zhǔn)的擴(kuò)展)使用，同時(shí)保留本發(fā)明原理的實(shí)質(zhì)。 例如，在本說(shuō)明書(shū)提供的本發(fā)明原理的教導(dǎo)下，本領(lǐng)域和相關(guān)領(lǐng)域的普通技術(shù)人員就能夠 容易地將本發(fā)明原理應(yīng)用于可擴(kuò)展視頻編碼(scalable video coding, SVC)和多視點(diǎn)視頻 編碼(multi-view video coding, MVC)環(huán)境中，同時(shí)保留了本發(fā)明原理的實(shí)質(zhì)。多視點(diǎn)視 頻編碼是用于多視點(diǎn)序列編碼的壓縮框架。一個(gè)多視點(diǎn)視頻編碼(MVC)序列是一個(gè)兩個(gè)或 多個(gè)視頻序列的集合，這些視頻序列能從不同的視角捕獲同一個(gè)場(chǎng)景(scene)?？蓴U(kuò)展視頻 編碼指的是將一個(gè)視頻序列編碼成一個(gè)比特流，該比特流具有一個(gè)基本層和一個(gè)或多個(gè)增 強(qiáng)層。另外，于此可交替地使用的術(shù)語(yǔ)“串像”(cross-view)和“視內(nèi)”("inter view"), 兩者都指屬于當(dāng)前視域以外中的圖像。而且，說(shuō)明書(shū)中使用的短語(yǔ)“塊分割信息”指的是描述至少一個(gè)或多個(gè)參考圖像 或參考圖像的圖像部分的分割信息，此信息用于為當(dāng)前的一個(gè)圖像的一部分編碼和/或解 碼。在一個(gè)實(shí)施例中，這種塊分割信息涉及應(yīng)用于至少兩個(gè)預(yù)測(cè)指標(biāo)之間的像素差值的分 割。在一個(gè)實(shí)施例中，這種塊分割信息涉及的信息指示出一個(gè)特定參考圖像的哪一個(gè)像素 屬于根據(jù)塊分割處理方法(block segmentation process)分割的特定參考圖像的哪一分 割塊。應(yīng)注意到這種塊分割信息不是顯性地發(fā)送給一個(gè)相應(yīng)的解碼器。而是，這種塊分割 信息可以使用一個(gè)或多個(gè)語(yǔ)法元素被隱性地發(fā)送，其包括但不僅限于高級(jí)語(yǔ)法元。同樣，說(shuō)明書(shū)中使用的“高級(jí)語(yǔ)法元”(high level syntax)指的是按等級(jí)分 布在宏塊層之上的比特流中存在的語(yǔ)法元。例如，在此使用的“高級(jí)語(yǔ)法元”可以指，但 不僅限于切片頭層(slice header level)、補(bǔ)充增強(qiáng)信息(supplemental enhancement information, SEI)層，圖片參數(shù)集(picture parameter set, PPS)層、序列參數(shù)集 (sequence parameter set, SPS)層禾口網(wǎng)絡(luò)提取層(network abstraction layer, NAL)單 元頭層的語(yǔ)法元。如上所述，本發(fā)明原理涉及視頻編碼和解碼中用于隱性塊分割的方法和設(shè)備。參見(jiàn)圖1，具有隱性塊分割塊(implicit block segmentation, IBS)的塊模式的 示例編碼器一般如參考標(biāo)號(hào)100所示。組合器105的一個(gè)輸出與轉(zhuǎn)換器110的一個(gè)輸入信號(hào)通信連接。轉(zhuǎn)換器110的一 個(gè)輸出與量化器115的一個(gè)輸入信號(hào)通信連接。量化器115的一個(gè)輸出與熵編碼器120的 第一個(gè)輸入和反向量化器125的一個(gè)輸入信號(hào)通信連接。反向量化器125的一個(gè)輸出與反 向轉(zhuǎn)換器130的一個(gè)輸入信號(hào)通信連接。反向轉(zhuǎn)換器130的一個(gè)輸出與組合器132的第一 個(gè)非反向輸入信號(hào)通信連接。解塊濾波器135的一個(gè)輸出與解碼參考圖像緩沖器140的一 個(gè)輸入信號(hào)通信連接。解碼參考圖像緩沖器140的一個(gè)輸出與分割裝置145的一個(gè)輸入和 轉(zhuǎn)換器160的第二個(gè)輸入信號(hào)通信連接。分割裝置145的一個(gè)輸出和權(quán)重指標(biāo)確定裝置150的一個(gè)輸入信號(hào)通信連接。權(quán) 重指標(biāo)確定裝置150的第一個(gè)輸出與預(yù)測(cè)指標(biāo)組合器155的一個(gè)輸入信號(hào)通信連接。預(yù)測(cè) 指標(biāo)組合器155的第一個(gè)輸出與轉(zhuǎn)換器160的第一個(gè)輸入信號(hào)通信連接。轉(zhuǎn)換器160的一個(gè)輸出與組合器105的一個(gè)倒相輸入信號(hào)通信連接。預(yù)測(cè)指標(biāo)組合器155的第二個(gè)輸出與 組合器132的第二個(gè)非反相輸入信號(hào)通信連接。組合器132的的一個(gè)輸出與解塊濾波器 135的一個(gè)輸入信號(hào)通信連接。權(quán)重指標(biāo)確定裝置150的第二個(gè)輸出與轉(zhuǎn)換器165的第一個(gè)輸入信號(hào)通信連接。 轉(zhuǎn)換器165的第二個(gè)輸入沒(méi)有任何連接。轉(zhuǎn)換器165的一個(gè)輸出與熵編碼器120的第二個(gè) 輸入信號(hào)通信連接。組合器105的一個(gè)非反相輸入可作為編碼器100的一個(gè)輸入用來(lái)做為編碼器100 的輸入。熵編碼器120的一個(gè)輸出可作為編碼器100的一個(gè)輸出用來(lái)輸出比特流。權(quán)重指標(biāo)確定裝置150為每個(gè)分割塊查找權(quán)重指標(biāo)(由分割器145確定)。預(yù)測(cè) 指標(biāo)組合器155為每一分割塊組合預(yù)測(cè)指標(biāo)(predictor)。圖1中，當(dāng)轉(zhuǎn)換器160的第一個(gè)輸入和轉(zhuǎn)換器165的第一個(gè)輸入都被使用時(shí)，啟用 IBS模式。參見(jiàn)圖2，具有隱性塊分割(IBS)塊模式的示例解碼器一般如參考標(biāo)號(hào)200所示。熵解碼器205的一個(gè)輸出與反向量化器210的一個(gè)輸入、解碼參考圖像緩沖器240 的第一輸入和轉(zhuǎn)換器245的第一輸入信號(hào)通信連接。轉(zhuǎn)換器245的第二個(gè)輸入處于不連接 狀態(tài)。反向量化器210的一個(gè)輸出與反向轉(zhuǎn)換器215的一個(gè)輸入信號(hào)通信連接。反向轉(zhuǎn)換 器215的一個(gè)輸出與組合器220的第一個(gè)非反相輸入信號(hào)通信連接。組合器220的一個(gè)輸 出與解塊濾波器225的一個(gè)輸入信號(hào)通信連接。解塊濾波器225的一個(gè)輸出與解碼參考圖 像緩沖器240的第二個(gè)輸入信號(hào)通信連接。解碼參考圖像緩沖器240的一個(gè)輸出與分割裝 置235的一個(gè)輸入和轉(zhuǎn)換器250的第二個(gè)輸入信號(hào)通信連接。分割裝置235的一個(gè)輸出與 預(yù)測(cè)指標(biāo)組合器230的第一個(gè)輸入信號(hào)通信連接。預(yù)測(cè)指標(biāo)組合器230的一個(gè)輸出與轉(zhuǎn)換 器250的第一個(gè)輸入信號(hào)通信連接。轉(zhuǎn)換器250的一個(gè)輸出與組合器220的第二個(gè)非反相 輸入信號(hào)通信連接。轉(zhuǎn)換器245的一個(gè)輸出與預(yù)測(cè)指標(biāo)組合器230的第二個(gè)輸入信號(hào)通信 連接。熵解碼器205的一個(gè)輸入可作為解碼器200的一個(gè)輸入用于接收比特流。解塊濾 波器225的輸出可作為解碼器200的一個(gè)輸出用于輸出一個(gè)序列的圖像。圖2中，當(dāng)轉(zhuǎn)換器145的第一個(gè)輸入和轉(zhuǎn)換器150的第一輸入都被使用時(shí)，啟用 IBS模式。這樣，根據(jù)本發(fā)明原理，提供了用于視頻編碼和解碼的方法和設(shè)備，其中原始?jí)K不 被分割。而是，我們將分割解碼器中可用的參考?jí)K，并由此省去了向解碼器發(fā)送用于描述分 割的額外開(kāi)銷的必要。根據(jù)本發(fā)明原理，我們通過(guò)組合侯選預(yù)測(cè)指標(biāo)估測(cè)一個(gè)預(yù)測(cè)指標(biāo)，這 樣擴(kuò)展了以現(xiàn)有的視頻編解碼標(biāo)準(zhǔn)形成預(yù)測(cè)信號(hào)的方法。本發(fā)明原理不同于現(xiàn)有的方法， 因?yàn)楸景l(fā)明原理使用不進(jìn)行顯性信號(hào)發(fā)送的塊分割，這在沒(méi)有額外開(kāi)銷的情況下提供了適 應(yīng)本區(qū)域信號(hào)特點(diǎn)的能力。在一個(gè)實(shí)施例中，我們?cè)谝粋€(gè)MPEG-4AVC標(biāo)準(zhǔn)環(huán)境中應(yīng)用隱性 分割。但是，如上所述，本發(fā)明原理不僅限于MPEG-4AVC標(biāo)準(zhǔn)。隱性塊分割(IBS)的編碼運(yùn)算法則出于示范的目的，假定兩個(gè)預(yù)測(cè)指標(biāo)P(1，Pl用于一個(gè)給定的宏塊(比如，相鄰幀的 兩個(gè)16X 16塊)，其中P(l指基本預(yù)測(cè)指標(biāo)，Pl是指增加預(yù)測(cè)指標(biāo)。這兩個(gè)預(yù)測(cè)指標(biāo)pQ和 Pl已被編碼器選定，并且這兩個(gè)預(yù)測(cè)指標(biāo)的位置已經(jīng)以信號(hào)的形式發(fā)送給了解碼器。為
9了預(yù)測(cè)的最佳分割，原始宏塊的每一個(gè)像素會(huì)被分配到能提供最佳的近似性的一個(gè)預(yù)測(cè)指 標(biāo)Po或Pi。但是，由于依據(jù)原始?jí)K本身進(jìn)行判定，因而這種運(yùn)轉(zhuǎn)在沒(méi)有發(fā)送邊信息(side information)的情況下不能隱性地完成?；趯?duì)由兩個(gè)預(yù)測(cè)指標(biāo)之間的差值決定的預(yù)期目 標(biāo)的觀測(cè)，我們將分割應(yīng)用于預(yù)測(cè)指標(biāo)差值的塊，Pd = PcTPi。由于預(yù)測(cè)指標(biāo)差值的噪聲特 點(diǎn)，基于邊緣信息的分割方法不能有效地檢測(cè)16X 16宏塊中的單一邊界。在現(xiàn)有的技術(shù)方法中，一維(l-D)K-均值聚類算法在以下稱為“K-均值聚類算法 的現(xiàn)有技術(shù)方法”，被用作為一個(gè)基本的分割運(yùn)算方法。根據(jù)K-均值聚類算法的現(xiàn)有技術(shù) 方法，以Pd的最大值和最小值之間的均衡差值對(duì)隊(duì)質(zhì)心初始化。最大運(yùn)行次數(shù)(也就是迭 代次數(shù)的數(shù)字)設(shè)定為20。由于一維(l-D)K-均值聚類算法中沒(méi)有考慮到空間連通性，同 一個(gè)分割塊中在K-均值聚類算法處理后存在著分離像素。一個(gè)兩步圖像后期處理技術(shù)可 以被應(yīng)用從而兼顧空間信息。參見(jiàn)圖3，基于圖像分割的一維(l-D)K-均值聚類的圖像后 期處理技術(shù)的示范例一般如參考標(biāo)號(hào)300所出。兩步圖像后期處理技術(shù)的第一步，使用圖 像連通元件標(biāo)記(connected component labeling)將分配到同一分割塊310的分離像素 305分類成不同的分割塊。這樣，對(duì)于圖3中最左邊的塊301來(lái)說(shuō)，它右上角的分割塊310 變成了中間塊302的分割塊320。第二步，為了避免有噪聲分割塊，如果分割塊330的像素 數(shù)目小于Npix，那么分割塊330合并到相鄰分割塊中(如分割塊310和320中的一個(gè))，合 并的依據(jù)是該相鄰塊與當(dāng)前分割塊330中具有最小的分割平均差值。應(yīng)該注意到分割塊的 數(shù)量取決于基本層和增強(qiáng)層預(yù)測(cè)指標(biāo)之間的差異。K-均值聚類算法的現(xiàn)有技術(shù)方法中，實(shí) 驗(yàn)過(guò)程中隊(duì)和Npix各自的設(shè)定值為2和10。通過(guò)求最小化平方差的和能夠?yàn)槊恳环指顗K計(jì)算最佳權(quán)重值。但是，在使用將要 對(duì)其進(jìn)行編碼的塊的信息計(jì)算出最佳權(quán)重值之后，必須以信號(hào)的方式發(fā)送選定值。對(duì)于 16X16的塊，如果殘差中全部的縮減量給定，那么這種信令開(kāi)銷可能不被判定為正確的。 為了限制開(kāi)銷，在一個(gè)實(shí)施例中，權(quán)重值從一個(gè)預(yù)先確定的集合W= {(1,0), (0,1), (1/2， 1/2)}中選定，分別與使用{p0，pl，(p0+pl)/2}進(jìn)行的預(yù)測(cè)相對(duì)應(yīng)。這樣，一個(gè)僅有三個(gè)值 {0,1,2}的權(quán)重指標(biāo)將以信號(hào)的方式被發(fā)送。綜上所述，對(duì)將要對(duì)其進(jìn)行編碼的塊的預(yù)測(cè)可 以通過(guò)發(fā)送兩個(gè)預(yù)測(cè)指標(biāo)P(l和Pl的信號(hào)及每個(gè)分割塊使用的權(quán)重值來(lái)獲得。分割塊本身 由編碼器和解碼器以解碼預(yù)測(cè)指標(biāo)同樣的方式產(chǎn)生的，因而沒(méi)有必要發(fā)送邊信息。其他編碼運(yùn)算法則和變體除了上述用于隱性塊分割的編碼運(yùn)算法則外，也能夠應(yīng)用以下的一個(gè)或多個(gè)方法 來(lái)提高隱性塊分割的效率。a.分割方法i)可以使用基于邊緣信息的分割方法。例如，可以使用Canny算子邊緣檢測(cè)器和 /或Sobel邊緣檢測(cè)器進(jìn)行分割，并且使用霍夫變換(Hough transform)將分離邊緣連接起 來(lái)。b.分割目標(biāo)i)可以使用基本層預(yù)測(cè)指標(biāo)進(jìn)行分割。例如，不使用分割基本層和增強(qiáng)層預(yù)測(cè)指 標(biāo)之間的預(yù)測(cè)指標(biāo)差，而是使用可用參考中的基本層預(yù)測(cè)指標(biāo)進(jìn)行隱性塊分割。既然解碼 器中也有可用的參考，那么不需要發(fā)送分割信息信號(hào)。ii)可使用深度圖進(jìn)行分割。例如，如果深度圖在多視角視頻序列中可用，那么見(jiàn)于對(duì)象深度是準(zhǔn)確估測(cè)對(duì)象邊界的線索，此深度圖可以用于分割。為了實(shí)現(xiàn)隱性分割，解碼 器中可以使用同樣的深度圖。c.搜索方法i)可以使用一個(gè)增強(qiáng)層預(yù)測(cè)指標(biāo)備用值的有限集合。例如，為了降低與分割相關(guān) 的搜索的復(fù)雜性，可以使用一個(gè)備用基本層預(yù)測(cè)指標(biāo)備用值的有限集合進(jìn)行搜索。為了進(jìn) 一步降低搜索的復(fù)雜性，可以使用一個(gè)增強(qiáng)層預(yù)測(cè)指標(biāo)備用值的有限集合進(jìn)行搜索，而不 用完全搜索。同樣的基本層預(yù)測(cè)指標(biāo)侯選值的集合可以作為增強(qiáng)層預(yù)測(cè)指標(biāo)侯選值的集合 使用。ii)可以執(zhí)行基本層和增強(qiáng)層預(yù)測(cè)指標(biāo)的完全搜索。例如，如果對(duì)基本層和增強(qiáng)層 預(yù)測(cè)指標(biāo)進(jìn)行完全搜索，可以獲得最大的編碼效率。這種方法提供了隱性塊分割的最大編 碼效率。d.誤差度量(error metric)既然分割邊界與MPEG-4AVC標(biāo)準(zhǔn)中4X4或8X8的塊離散余弦變換(discrete cosine transform, DCT)的邊界不一致，如果不同分割塊中的殘差的離散余弦DC層 級(jí)不同，那么高頻組建在離散余弦變換之后將增加。絕對(duì)值的和(sum of absolute differences, SAD)或平方差的和(sum of squared differences, SSD)不能測(cè)量 AC 的增 加，因此，測(cè)量任何AC增加量的一個(gè)不同的誤差度量可用于尋找更好的匹配。例如，可使用 阿達(dá)瑪(Hadamard)誤差度量選定權(quán)重指標(biāo)。e.加成權(quán)重指標(biāo)因?yàn)榘l(fā)送最佳權(quán)重值能夠覆蓋16X16宏塊的分割塊的增益，使用預(yù)定權(quán)重值集 合W來(lái)替代。集合W中的權(quán)重值能從基本集(1，0)和(0，1)開(kāi)始擴(kuò)展?；跈?quán)重值出現(xiàn)的 頻率分配指標(biāo)。如果選定權(quán)重值的頻率較頻繁，那么分配較小的指標(biāo)。例如，將加成權(quán)重 指數(shù)(3/4,1/4) (1/4,3/4)添加到集合W中，并分別映射到‘3’和‘4’。僅當(dāng)有足夠的編碼 增益的時(shí)，二進(jìn)制運(yùn)算編碼(binary arithmetic coding,BAC)或可變長(zhǎng)度編碼(variable length coding, VLC)將選定這些指標(biāo)。隱性塊分割(IBS)的解碼運(yùn)算法則解碼器中，從編碼過(guò)程中獲得的額外信息可能包括宏塊中使用的預(yù)測(cè)指標(biāo)的類 型。例如，如果使用兩個(gè)預(yù)測(cè)指標(biāo)，即，一個(gè)基本層預(yù)測(cè)指標(biāo)和一個(gè)增強(qiáng)層預(yù)測(cè)指標(biāo)，那么此 信息將最終被傳送給解碼器。此外，這種額外信息可包括每一個(gè)分割塊的權(quán)重指標(biāo)。通過(guò)使用該信息，將以下的運(yùn)算法則用于隱性塊分割(IBS)1.對(duì)語(yǔ)法進(jìn)行解碼。2.獲取基本層預(yù)測(cè)指標(biāo)(Ptl)和增強(qiáng)層預(yù)測(cè)指標(biāo)(Pl)。預(yù)測(cè)指標(biāo)的差值由這兩個(gè) 預(yù)測(cè)指標(biāo)根據(jù)公式Pd = Po-P!計(jì)算得出。3.基于基本層預(yù)測(cè)指標(biāo)(Ptl)和增強(qiáng)層預(yù)測(cè)指標(biāo)(Pl)的上下文關(guān)系，將用于編碼器 同樣的分割方法應(yīng)用于預(yù)測(cè)指標(biāo)差值Pd。例如，分割過(guò)程包括但不僅限于一維(l-D)K-均 值聚類算法和基于邊緣信息的分割法等，其被用于圖像后期處理技術(shù)。4.使用編碼器發(fā)送的權(quán)重指標(biāo)對(duì)于每個(gè)分割塊計(jì)算出加權(quán)預(yù)測(cè)指標(biāo)的和。雖然在上述算法中增強(qiáng)層預(yù)測(cè)指標(biāo)的數(shù)量被限定為一個(gè)，但是本領(lǐng)域和相關(guān)技術(shù)中的普通技術(shù)人員很容易理解多個(gè)預(yù)測(cè)指標(biāo)能用于增強(qiáng)層預(yù)測(cè)指標(biāo)。同樣，如果權(quán)重指標(biāo) 由編碼器和解碼器共享，權(quán)重指標(biāo)能定義為任何組合。也就是說(shuō)，只要編碼器和解碼器共享 同一信息，我們就能夠確定權(quán)重矩陣。這樣，“任何組合”意味著“任何有用的組合”，例如， W = {(1，0)，(0，1)，(1/2,1/2)，(1/3,2/3)，(1/6,5/6)}。當(dāng)然，也可以使用其它的組合，但 都包含在本發(fā)明原理的實(shí)質(zhì)內(nèi)。MPEG-4AVC標(biāo)準(zhǔn)下隱性塊分割的執(zhí)行隱性塊分割(IBS)能在視頻編碼和解碼中實(shí)現(xiàn)。在一個(gè)實(shí)施例中，本發(fā)明原理根 據(jù)MPEG-4AVC標(biāo)準(zhǔn)實(shí)施的。因在INTER16X 16和INTER16 X 8模式中間插入INTER16X 16_ IBS隱性塊分割，當(dāng)前塊間模式得到擴(kuò)展。表1示出P及SP切片的宏塊類型值0到5。表 1 為了降低搜索的復(fù)雜性，在對(duì)增強(qiáng)層預(yù)測(cè)指標(biāo)Pl進(jìn)行完全搜索時(shí)，我們使用一個(gè) 基本層預(yù)測(cè)指標(biāo)P(l的侯選值的有限集合。基本層預(yù)測(cè)指標(biāo)的最佳候選值從下列模式中的 最佳匹配中獲得INTER16X16 ；INTER16X8 ；INTER8X16和INTER8X8。同樣，原始宏塊分 割塊的最佳匹配被添加到一個(gè)基本層預(yù)測(cè)指標(biāo)的侯選值集合中。使用INTER16X16的運(yùn)動(dòng) 搜索步驟可以找到原始宏塊分割塊的最佳匹配。為了選定INTER16X 16_IBS (隱性塊分割)的最佳預(yù)測(cè)指標(biāo)對(duì)(pQ，Pl)，在一個(gè)實(shí) 施例中，用到三個(gè)不同的誤差度量。對(duì)于每一個(gè)基本層預(yù)測(cè)指標(biāo)侯選值，在搜索范圍內(nèi)能夠 搜索到最佳的互補(bǔ)增強(qiáng)層預(yù)測(cè)指標(biāo)。第一個(gè)誤差度量是絕對(duì)值的和，其用于為每一個(gè)分割 塊判定權(quán)重指標(biāo)。為集合W中所有的權(quán)重值計(jì)算每個(gè)分割塊的絕對(duì)值的和，并且選定絕對(duì) 差值的最小和的權(quán)重指標(biāo)。其次，為一個(gè)特定的基本層預(yù)測(cè)指標(biāo)選擇最好的增強(qiáng)層預(yù)測(cè)指 標(biāo)的過(guò)程中，簡(jiǎn)化的速率-失真(rate-distortion，R-D)值，即J，可以用如下公式定義
N一 其中N是pd中分割塊的數(shù)量，B是每個(gè)分割塊中權(quán)重指標(biāo)的比特?cái)?shù)，B被定義為B =log2|W|。MVcost(Pl)是增強(qiáng)層預(yù)測(cè)指標(biāo)Pl的運(yùn)動(dòng)矢量成本。MVcostO和入使用在聯(lián) 合模型(Joint Model)參考軟件中的編碼方法。對(duì)于M基本層預(yù)測(cè)指標(biāo)侯選值，可以找到 與之匹配的相同數(shù)量的增強(qiáng)層預(yù)測(cè)指標(biāo)。最后，M基本層和增強(qiáng)層預(yù)測(cè)指標(biāo)對(duì)的速率-失真(R-D)值被算出，并與MPEG-4AVC標(biāo)準(zhǔn)(例如，使用一個(gè)速率_失真模式進(jìn)行測(cè)定)下的其 他塊模式的速率-失真(R-D)值相比較。INTER16X16_IBS中的編碼信息包括每個(gè)分割塊 中基本層和增強(qiáng)層預(yù)測(cè)指標(biāo)的參考指數(shù)和運(yùn)動(dòng)矢量及其每一個(gè)分割塊的權(quán)重指標(biāo)。比如， 權(quán)重指標(biāo)在速率_失真模式測(cè)定中通過(guò)可變長(zhǎng)度碼進(jìn)行編碼，在比特流編碼中通過(guò)二進(jìn)制 運(yùn)算碼進(jìn)行編碼。當(dāng)然，也可以使用其它的本發(fā)明原理實(shí)質(zhì)內(nèi)的編碼技術(shù)。表2中示出了示例性片頭語(yǔ)法。表 2 表3中示出了示例性的宏塊預(yù)測(cè)語(yǔ)法。表 3 對(duì)于表 2，extractSegment ()是由發(fā)送的 ref_idx_I0, ref_idx_11，mvd_I0 禾口mvd_ II預(yù)測(cè)指標(biāo)中計(jì)算出分割塊的函數(shù)，并且返回所查找到的分割塊的數(shù)量。參見(jiàn)圖4，確定一個(gè)圖象塊的一個(gè)預(yù)測(cè)指標(biāo)和相關(guān)權(quán)重指標(biāo)搜索的示范方法一般 如參考標(biāo)號(hào)400所示。舉例而言，方法400可以在視頻編碼器中執(zhí)行。所述方法400包括開(kāi)始?jí)K405，該開(kāi)始?jí)K405將控制權(quán)傳送給一個(gè)環(huán)路限位塊 406。環(huán)路限制位塊406為一個(gè)基本層預(yù)測(cè)指標(biāo)和一個(gè)增強(qiáng)層預(yù)測(cè)指標(biāo)的最佳對(duì)(p0，pi) 形成一個(gè)循環(huán)，并且將控制權(quán)傳送給功能塊408。功能塊408設(shè)定分割塊的初始數(shù)隊(duì)，并 將控制權(quán)傳送給功能塊410。功能塊410使用基本層預(yù)測(cè)指標(biāo){pj 466和增強(qiáng)層預(yù)測(cè)指標(biāo) {pl}477通過(guò)公式pd = Po-Pl計(jì)算出預(yù)測(cè)指標(biāo)差值pd，并傳送控制權(quán)到功能塊415。功能塊415對(duì)預(yù)測(cè)指標(biāo)差值pd實(shí)施一維(l-D)K-均值聚類算法和圖像后期處理技術(shù)法，并將控 制信息傳送給一個(gè)功能塊420。功能塊420在每個(gè)分割中找到最佳權(quán)重指標(biāo)，并將控制權(quán)傳 送給判定塊425。判定塊425判定是否當(dāng)前分割的速率-失真(R-D)值j有最小值。假如 這樣的話，那么控制權(quán)將被傳送到功能塊430。否則，控制權(quán)將被傳送到判定塊435。功能塊430為一個(gè)給定的基本層預(yù)測(cè)指標(biāo)P(l更新權(quán)重指標(biāo)和增強(qiáng)層預(yù)測(cè)指標(biāo)Pl， 并將控制權(quán)傳送給判定塊435。判定塊435判定是否所有增強(qiáng)層預(yù)測(cè)指標(biāo)Pl已被搜索到。假如這樣的話，那么控 制權(quán)將被傳送給判定塊440。否則，控制權(quán)將被傳送回功能塊410，以便于使用增強(qiáng)層預(yù)測(cè) 指標(biāo){Pl}477的下一個(gè)預(yù)測(cè)指標(biāo)計(jì)算出預(yù)測(cè)指標(biāo)差值pd。判定塊440判定是否(P(l，Pl)的速率-失真(R-D)值是最小的。假如這樣的話，那 么控制權(quán)將被傳送給功能塊445。否則，控制權(quán)將被傳送給判定塊450。功能塊445更新權(quán)重指標(biāo)和預(yù)測(cè)指標(biāo)對(duì)(Ptl，Pl)，并將控制權(quán)傳送給判定塊450。判定塊450判定是否所有的基本層預(yù)測(cè)指標(biāo)P(l已被搜索到。假如這樣的話，那么 控制權(quán)將被傳送給環(huán)路限位塊455。否則，控制權(quán)將被傳送回功能塊410，以便于使用基本 層預(yù)測(cè)指標(biāo){PJ466的下一個(gè)預(yù)測(cè)指標(biāo)計(jì)算出預(yù)測(cè)指標(biāo)差值pd。功能塊455終止最佳對(duì)(P(l，Pl)的循環(huán)，并將控制權(quán)傳送給一個(gè)功能塊458。功能 塊458返回最佳對(duì)(Ptl，Pl)，并將控制權(quán)傳送給結(jié)束塊499。參見(jiàn)圖5，用于為一個(gè)圖像塊計(jì)算一個(gè)隱形塊分割(IBS)方法的示范方法一般如 參考標(biāo)號(hào)500所示。方法500可以，例如，在一個(gè)視頻解碼器中被實(shí)現(xiàn)。方法500包括一個(gè)開(kāi)始?jí)K505，開(kāi)始?jí)K505將控制權(quán)傳送給一個(gè)功能塊508。功能 塊508設(shè)定分割塊的初始數(shù)為隊(duì)，并將控制權(quán)傳送給功能塊510。功能塊510使用基本層 預(yù)測(cè)指標(biāo){pj 566和增強(qiáng)層預(yù)測(cè)指標(biāo){pj 577通過(guò)公式pd = Po-Pl計(jì)算出預(yù)測(cè)指標(biāo)差值pd， 并將控制權(quán)傳送給功能塊515。功能塊515對(duì)預(yù)測(cè)指標(biāo)差值pd實(shí)施一維(l-D)K-均值聚類 算法和圖像后期處理技術(shù)法，并將控制權(quán)傳送給功能塊520。功能塊520使用權(quán)重指標(biāo)588 為每個(gè)分割塊計(jì)算預(yù)測(cè)指標(biāo)的加權(quán)和，并將控制權(quán)傳送給功能塊525。功能塊525組合每個(gè) 分割塊的預(yù)測(cè)指標(biāo)，并將控制權(quán)傳送給功能塊530。功能塊530返回隱性塊分割(IBS)預(yù)測(cè) 指標(biāo)，并將控制權(quán)傳送給一個(gè)結(jié)束塊599。結(jié)合錯(cuò)配補(bǔ)償工具由于MPEG-4AVC標(biāo)準(zhǔn)中4X4或8X8塊的離散余弦變換，當(dāng)離散余弦變換塊里存 在分割邊界的時(shí)，不同預(yù)測(cè)指標(biāo)引起的殘差就容易增加AC分量。如果串像編碼中存在亮度 錯(cuò)配，那么這種情形很嚴(yán)重。根據(jù)本發(fā)明原理將亮度補(bǔ)償工具與推薦的隱性塊分割(IBS) 結(jié)合將會(huì)提高串像預(yù)測(cè)的編碼效率。本發(fā)明的很多附帶優(yōu)點(diǎn)/特征將在此予以描述，其中的一些已經(jīng)在上文提到過(guò)。 例如，優(yōu)點(diǎn)/特征之一是一種設(shè)備，該設(shè)備具有一個(gè)編碼器，該編碼器使用對(duì)至少一個(gè)圖像 部分的至少兩個(gè)預(yù)測(cè)指標(biāo)的像素差值進(jìn)行的塊分割方法為所述一個(gè)圖像部分進(jìn)行編碼。所 述編碼器隱性地發(fā)送塊分割信息，解碼器使用該信息為所述圖像部分解碼。另一個(gè)優(yōu)點(diǎn)/特征是如上所述具有編碼器的設(shè)備，其中該編碼器發(fā)送至少兩個(gè)預(yù) 測(cè)指標(biāo)信息，解碼器利用此信息為所述圖像部分解碼。又一個(gè)優(yōu)點(diǎn)/特征是如上所述具有編碼器的設(shè)備，其中該編碼器發(fā)送一個(gè)權(quán)重指標(biāo)，解碼器用此權(quán)重指標(biāo)為所述圖像部分解碼。再一個(gè)優(yōu)點(diǎn)/特征是如上所述具有編碼器的設(shè)備，其中針對(duì)至少一個(gè)參考圖像中 的至少一個(gè)塊執(zhí)行塊分割。又一優(yōu)點(diǎn)/特征是如上所述具有編碼器的設(shè)備，其中使用基于邊緣信息分割法和 K-均值聚類算法中的至少一個(gè)方法執(zhí)行塊分割。再者，另一優(yōu)點(diǎn)/特征是如上所述具有編碼器的設(shè)備，其中在塊分割之后所述編 碼器將圖像后期處理技術(shù)方法用于至少兩個(gè)預(yù)測(cè)指標(biāo)的像素差值的計(jì)算，以此去除那里的 噪聲塊并使用那里的空間信息。此外，又一優(yōu)點(diǎn)/特征是如上所述具有編碼器的設(shè)備，其中對(duì)于每個(gè)分割塊，此編 碼器為至少兩個(gè)預(yù)測(cè)指標(biāo)中的一個(gè)計(jì)算出相應(yīng)的權(quán)重值，并為此圖像部分計(jì)算出最終的預(yù) 測(cè)指標(biāo)作為一個(gè)加權(quán)預(yù)測(cè)指標(biāo)的和。同樣，另一優(yōu)點(diǎn)/特征是如上所述具有編碼器的設(shè)備，其中此編碼器發(fā)送與至少 兩個(gè)預(yù)測(cè)指標(biāo)的每個(gè)有關(guān)的運(yùn)動(dòng)信息和視差信息中的至少一個(gè)信息。加之，另一優(yōu)點(diǎn)/特征是如上所述具有編碼器的設(shè)備，其中圖像是對(duì)應(yīng)于多視角 視頻內(nèi)容的圖像集合中的一個(gè)，該圖像集合對(duì)于一個(gè)同樣的或相似的場(chǎng)景來(lái)說(shuō)擁有不同的 視點(diǎn)。這個(gè)圖像代表不同視點(diǎn)中的當(dāng)前視點(diǎn)。至少兩個(gè)預(yù)測(cè)指標(biāo)中的至少一個(gè)預(yù)測(cè)是一個(gè) 視內(nèi)預(yù)測(cè)，該視內(nèi)預(yù)測(cè)對(duì)應(yīng)于不同視點(diǎn)中特定的一個(gè)而不是當(dāng)前的這一個(gè)。至少兩個(gè)預(yù)測(cè) 指標(biāo)中的至少另一個(gè)是與不同視點(diǎn)中的當(dāng)前的一個(gè)相對(duì)應(yīng)的時(shí)域預(yù)測(cè)。基于本發(fā)明的教導(dǎo)，相關(guān)領(lǐng)域的普通技術(shù)人員容易探知本發(fā)明原理的所述的及其 他的特征和優(yōu)點(diǎn)。應(yīng)該認(rèn)識(shí)到本發(fā)明原理的教導(dǎo)可以通過(guò)各種形式執(zhí)行，如硬件、軟件、固 件、特殊用途的處理器或以上元件的結(jié)合。優(yōu)選地，本發(fā)明原理的教導(dǎo)作為一個(gè)硬件和軟件的結(jié)合執(zhí)行。此外，軟件可以作為 一個(gè)明確包含在一個(gè)程序存儲(chǔ)單元上的應(yīng)用程序被執(zhí)行。該應(yīng)用程序可以被上載到一個(gè)包 含任何適當(dāng)結(jié)構(gòu)的機(jī)器上，并可以由此機(jī)器執(zhí)行。優(yōu)選地，此機(jī)器更適合在一個(gè)擁有硬件如 一個(gè)或多個(gè)中央處理器(CPU)、隨機(jī)存取存儲(chǔ)器(“RAM”)和輸入/輸出(“I/O”)接口的 計(jì)算機(jī)平臺(tái)上執(zhí)行。計(jì)算機(jī)平臺(tái)也可以包括一個(gè)操作系統(tǒng)和微指令代碼。說(shuō)明書(shū)中描述的 各種程序和功能既可以是可由CPU執(zhí)行的微指令代碼的一部分，也可以是應(yīng)用程序的一部 分，或者兩者的任意組合。除此之外，其他各種外圍單元，如附加數(shù)據(jù)存儲(chǔ)單元和打印單元 可以連接到計(jì)算機(jī)平臺(tái)上。更應(yīng)該認(rèn)識(shí)到，因?yàn)楦綀D中描述的一些組成系統(tǒng)元件和方法更適合在軟件中執(zhí) 行，系統(tǒng)元件或程序功能塊之間的實(shí)際連接因本發(fā)明原理的編程方式的不同而不同。在本 發(fā)明的教導(dǎo)下，相關(guān)技術(shù)的普通技術(shù)人員將能夠設(shè)想出本發(fā)明原理的所述的和相似的實(shí)施 方式或配置。雖然本發(fā)明中已經(jīng)參考附圖描述了示范性的實(shí)施例，但是應(yīng)該知道本發(fā)明原理不 僅限于那些具體的實(shí)施例，相關(guān)領(lǐng)域的技術(shù)人員在不背離本發(fā)明原理的范疇或?qū)嵸|(zhì)的情況 下可能會(huì)實(shí)現(xiàn)各種變化和修改。所有的這些變化和修改將包含在如附屬的權(quán)利要求中限定 的本發(fā)明原理的范疇內(nèi)。
權(quán)利要求
一種設(shè)備，包含編碼器(100)，所述編碼器使用對(duì)一個(gè)圖像的至少一個(gè)圖像部分的至少兩個(gè)預(yù)測(cè)指標(biāo)的像素差值進(jìn)行的塊分割方法為所述至少一個(gè)圖像部分進(jìn)行編碼，其中所述編碼器(100)隱性地發(fā)送塊分割信息，所述塊分割信息被解碼器用于為所述至少一個(gè)圖像部分解碼。
2.如權(quán)利要求1所述的設(shè)備，其中所述編碼器(100)發(fā)送所述至少兩個(gè)預(yù)測(cè)指標(biāo)，所述 至少兩個(gè)預(yù)測(cè)指標(biāo)被解碼器用于為所述圖像部分解碼。
3.如權(quán)利要求1所述的設(shè)備，其中所述編碼器(100)發(fā)送一個(gè)權(quán)重指標(biāo)，所述權(quán)重指標(biāo) 被解碼器用于為所述圖像部分解碼。
4.如權(quán)利要求1所述的設(shè)備，其中針對(duì)至少一個(gè)參考圖像中的至少一個(gè)塊執(zhí)行塊分割。
5.如權(quán)利要求1所述的設(shè)備，其中使用基于邊緣信息分割法和K-均值聚類算法中的至 少一個(gè)方法執(zhí)行塊分割。
6.如權(quán)利要求1所述的設(shè)備，其中在塊分割之后，此編碼器將圖像后期處理技術(shù)方法 用于至少兩個(gè)預(yù)測(cè)指標(biāo)的像素差值，從而去除其中的噪聲塊并使用其中的空間信息。
7.如權(quán)利要求1所述的設(shè)備，其中對(duì)于每個(gè)分割塊，所述編碼器(100)為所述至少兩個(gè) 預(yù)測(cè)指標(biāo)的每一個(gè)計(jì)算出相應(yīng)的權(quán)重值，并為此圖像部分算出最終的預(yù)測(cè)指標(biāo)作為加權(quán)預(yù) 測(cè)指標(biāo)的和。
8.如權(quán)利要求1所述的設(shè)備，其中所述編碼器(100)發(fā)送與所述至少兩個(gè)預(yù)測(cè)指標(biāo)中 的每一個(gè)相關(guān)的運(yùn)動(dòng)信息和視差信息中的至少一個(gè)信息。
9.如權(quán)利要求1所述的設(shè)備，其中所述圖像是對(duì)應(yīng)于多視角視頻內(nèi)容的圖像集合中的 一個(gè)圖像，所述圖像集合具有一個(gè)同樣的場(chǎng)景或相似的場(chǎng)景的不同視點(diǎn)，所述圖像代表不 同視點(diǎn)中的當(dāng)前視點(diǎn)，其中，所述至少兩個(gè)預(yù)測(cè)指標(biāo)中的至少一個(gè)預(yù)測(cè)指標(biāo)是一個(gè)對(duì)應(yīng)于 不同視點(diǎn)中的不同于當(dāng)前視點(diǎn)的一個(gè)視點(diǎn)的視內(nèi)預(yù)測(cè)，并且，所述至少兩個(gè)預(yù)測(cè)指標(biāo)中的 至少另一個(gè)預(yù)測(cè)指標(biāo)是與不同視點(diǎn)中的當(dāng)前視點(diǎn)相對(duì)應(yīng)的時(shí)域預(yù)測(cè)。
10.一種方法，包括使用對(duì)一個(gè)圖像的至少一個(gè)圖像部分的至少兩個(gè)預(yù)測(cè)指標(biāo)的像素差值進(jìn)行的塊分割 方法為所述至少一個(gè)圖像部分進(jìn)行編碼(415，515)，其中所述編碼步驟包括隱性地發(fā)送塊分割信息，所述塊分割信息被解碼器用于為所述 至少一個(gè)圖像部分解碼。
11.如權(quán)利要求10所述的方法，其中所述編碼步驟包括發(fā)送所述至少兩個(gè)預(yù)測(cè)指標(biāo) (458)，所述至少兩個(gè)預(yù)測(cè)指標(biāo)被解碼器用于為圖像部分解碼。
12.如權(quán)利要求10所述的方法，其中所述編碼步驟包括發(fā)送一個(gè)權(quán)重指標(biāo)(445)，所述 權(quán)重指標(biāo)被解碼器用于為圖像部分解碼。
13.如權(quán)利要求10所述的方法，其中在至少一個(gè)參考圖像中的至少一個(gè)塊上執(zhí)行塊分割。
14.如權(quán)利要求10所述的方法，其中使用基于邊緣信息分割法和K-均值聚類算法中的 至少一種方法執(zhí)行塊分割(415)。
15.如權(quán)利要求10所述的方法，還包括在塊分割之后，將圖像后期處理技術(shù)應(yīng)用到至少兩個(gè)預(yù)測(cè)指標(biāo)之間的像素差值，以去除其中的噪聲塊并利用其中的空間信息(415)。
16.如權(quán)利要求10所述的方法，其中對(duì)于每一個(gè)分割塊，所述編碼步驟包括為至少兩 個(gè)預(yù)測(cè)指標(biāo)中的每一個(gè)計(jì)算出相應(yīng)的權(quán)重值，并為所述圖像部分算出最終的預(yù)測(cè)指標(biāo)作為 加權(quán)預(yù)測(cè)指標(biāo)的和(445)。
17.如權(quán)利要求10所述的方法，其中所述編碼步驟包括發(fā)送與所述至少兩個(gè)預(yù)測(cè)指標(biāo) 中的每一個(gè)相關(guān)的運(yùn)動(dòng)信息和視差信息中的至少一個(gè)信息。
18.如權(quán)利要求10所述的方法，其中所述圖像是對(duì)應(yīng)于多視角視頻內(nèi)容的圖像集合中 的一個(gè)圖像，所述圖像集合具有一個(gè)同樣的場(chǎng)景或相似的場(chǎng)景的不同視點(diǎn)，所述圖像代表 不同視點(diǎn)中的當(dāng)前視點(diǎn)，其中，所述至少兩個(gè)預(yù)測(cè)指標(biāo)中的至少一個(gè)預(yù)測(cè)是一個(gè)對(duì)應(yīng)于不 同視點(diǎn)中的不同于當(dāng)前視點(diǎn)的一個(gè)視點(diǎn)的視內(nèi)預(yù)測(cè)，并且，所述至少兩個(gè)預(yù)測(cè)指標(biāo)中的至 少另一個(gè)預(yù)測(cè)指標(biāo)是與不同視點(diǎn)中的當(dāng)前視點(diǎn)相對(duì)應(yīng)的時(shí)域預(yù)測(cè)。
19.一個(gè)設(shè)備，包括解碼器(200)，所述解碼器使用對(duì)一個(gè)圖像的至少一個(gè)圖像部分的至少兩個(gè)預(yù)測(cè)指標(biāo) 的像素差值進(jìn)行的塊分割方法為所述至少一個(gè)圖像部分進(jìn)行解碼，其中所述解碼器隱性地確定塊分割信息。
20.如權(quán)利要求19所述的設(shè)備，其中從至少一個(gè)語(yǔ)法元素中隱性地確定塊分割信息。
21.如權(quán)利要求19所述的設(shè)備，其中所述解碼器(200)接收到表示所述至少兩個(gè)預(yù)測(cè) 指標(biāo)的信息，所述解碼器使用所述至少兩個(gè)預(yù)測(cè)指標(biāo)為圖像部分解碼。
22.如權(quán)利要求19所述的設(shè)備，其中所述解碼器(200)接收到一個(gè)權(quán)重指標(biāo)，所述解碼 器使用所述權(quán)重指標(biāo)為圖像部分解碼。
23.如權(quán)利要求19所述的設(shè)備，其中在至少一個(gè)參考圖像中的至少一個(gè)塊上執(zhí)行塊分割。
24.如權(quán)利要求19所述的設(shè)備，其中使用基于邊緣信息的分割法和K-均值聚類算法中 的至少一個(gè)方法執(zhí)行塊分割。
25.如權(quán)利要求19所述的設(shè)備，其中在塊分割之后，所述解碼器將圖像后期處理技術(shù) 應(yīng)用于至少兩個(gè)預(yù)測(cè)指標(biāo)之間的像素差值以去除其中的噪聲塊并利用其中的空間信息。
26.如權(quán)利要求19所述的設(shè)備，其中對(duì)于每一個(gè)分割塊，所述解碼器基于所述至少兩 個(gè)預(yù)測(cè)指標(biāo)的每一個(gè)的權(quán)重指標(biāo)計(jì)算出與所述至少兩個(gè)預(yù)測(cè)指標(biāo)的每一個(gè)相應(yīng)的權(quán)重值， 并為所述圖像部分計(jì)算出最終的預(yù)測(cè)指標(biāo)作為加權(quán)預(yù)測(cè)指標(biāo)的和。
27.如權(quán)利要求19所述的設(shè)備，其中所述解碼器接收與所述至少兩個(gè)預(yù)測(cè)指標(biāo)中的每 一個(gè)相關(guān)的運(yùn)動(dòng)信息和視差信息中的至少一個(gè)信息，并利用所接收的信息為所述圖像部分 解碼。
28.如權(quán)利要求19所述的設(shè)備，其中所述圖像是對(duì)應(yīng)于多視角視頻內(nèi)容的圖像集合中 的一個(gè)圖像，所述圖像集合具有一個(gè)同樣的場(chǎng)景或相似的場(chǎng)景的不同視點(diǎn)，所述圖像代表 不同視點(diǎn)中的當(dāng)前視點(diǎn)，其中，所述至少兩個(gè)預(yù)測(cè)指標(biāo)中的至少一個(gè)預(yù)測(cè)指標(biāo)是一個(gè)對(duì)應(yīng) 于不同視點(diǎn)中的不同于當(dāng)前視點(diǎn)的一個(gè)視點(diǎn)的視內(nèi)預(yù)測(cè)，并且，所述至少兩個(gè)預(yù)測(cè)指標(biāo)中 的至少另一個(gè)預(yù)測(cè)指標(biāo)是與不同視點(diǎn)中的當(dāng)前視點(diǎn)相對(duì)應(yīng)的時(shí)域預(yù)測(cè)。
29.一種方法，包括使用對(duì)一個(gè)圖像的至少一個(gè)圖像部分的至少兩個(gè)預(yù)測(cè)指標(biāo)的像素差值進(jìn)行的塊分割方法為所述至少一個(gè)圖像部分進(jìn)行解碼，其中所述解碼步驟包括隱性地確定塊分割信息(515)。
30.如權(quán)利要求29所述的方法，其中塊分割信息從至少一個(gè)語(yǔ)法元素隱性地確定。
31.如權(quán)利要求29所述的方法，其中所述解碼步驟包括接收表示所述至少兩個(gè)預(yù)測(cè)指 標(biāo)的信息(566，577)，所述解碼器使用所述至少兩個(gè)預(yù)測(cè)指標(biāo)為圖像部分解碼。
32.如權(quán)利要求29所述的方法，其中所述解碼步驟包括接收一個(gè)權(quán)重指標(biāo)(588)，所述 解碼器使用所述權(quán)重指標(biāo)為圖像部分解碼。
33.如權(quán)利要求29所述的方法，其中在至少一個(gè)參考圖像中的至少一個(gè)塊上執(zhí)行塊分割。
34.如權(quán)利要求29所述的方法，其中使用基于邊緣信息分割法和K-均值聚類算法中的 至少一種方法執(zhí)行塊分割(515)。
35.如權(quán)利要求29所述的方法，其中所述解碼步驟包括，在塊分割之后，將圖像后期處 理技術(shù)應(yīng)用到至少兩個(gè)預(yù)測(cè)指標(biāo)之間的像素差值以去除其中的噪聲塊并利用其中的空間 信息(515)。
36.如權(quán)利要求29所述的方法，其中對(duì)于每一個(gè)分割塊，所述解碼步驟包括基于所述 至少兩個(gè)預(yù)測(cè)指標(biāo)的每一個(gè)的權(quán)重指標(biāo)計(jì)算出與所述至少兩個(gè)預(yù)測(cè)指標(biāo)的每一個(gè)相應(yīng)的 權(quán)重值，并為所述圖像部分算出最終的預(yù)測(cè)指標(biāo)作為加權(quán)預(yù)測(cè)指標(biāo)的和(520)。
37.如權(quán)利要求29所述的方法，其中所述解碼步驟包括接收與所述至少兩個(gè)預(yù)測(cè)指標(biāo) 中的每一個(gè)相關(guān)的運(yùn)動(dòng)信息和視差信息中的至少一個(gè)信息，并利用所接收的信息為所述圖 像部分解碼。
38.如權(quán)利要求29所述的方法，其中所述圖像是對(duì)應(yīng)于多視角視頻內(nèi)容的圖像集合中 的一個(gè)圖像，所述圖像集合具有一個(gè)同樣的場(chǎng)景或相似的場(chǎng)景的不同視點(diǎn)，所述圖像代表 不同視點(diǎn)中的當(dāng)前視點(diǎn)，其中，所述至少兩個(gè)預(yù)測(cè)指標(biāo)中的至少一個(gè)預(yù)測(cè)指標(biāo)是一個(gè)對(duì)應(yīng) 于不同視點(diǎn)中的不同于當(dāng)前視點(diǎn)的一個(gè)視點(diǎn)的視內(nèi)預(yù)測(cè)，并且，所述至少兩個(gè)預(yù)測(cè)指標(biāo)中 的至少另一個(gè)預(yù)測(cè)指標(biāo)是與不同視點(diǎn)中的當(dāng)前視點(diǎn)相對(duì)應(yīng)的時(shí)域預(yù)測(cè)。
全文摘要
提供了視頻編碼和解碼中用于隱性塊分割的方法和設(shè)備。所述設(shè)備包括一個(gè)編碼器(100)，該編碼器使用對(duì)至少一個(gè)圖像部分的至少兩個(gè)預(yù)測(cè)指標(biāo)的像素差值進(jìn)行的塊分割方法為所述至少一個(gè)圖像部分進(jìn)行編碼。該編碼器(100)隱性地發(fā)送塊分割信息，解碼器使用此信息為該圖像部分解碼。
文檔編號(hào)H04N7/26GK101933329SQ200980103709
公開(kāi)日2010年12月29日 申請(qǐng)日期2009年1月15日 優(yōu)先權(quán)日2008年2月5日
發(fā)明者尹鵬, 蘇葉平, 金在勛 申請(qǐng)人:湯姆遜許可公司