經(jīng)抽取圖像數(shù)據(jù)的傳輸及恢復(fù)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明的實施例涉及圖像處理，且更特定來說，涉及視頻或圖像內(nèi)的經(jīng)抽取顏色 通道的傳輸、接收及恢復(fù)。
【背景技術(shù)】
[0002] 眾所周知，人類視覺系統(tǒng)（下稱"HVS"）在亮度域中相比于在顏色域中對空間 細(xì)節(jié)更敏感。此效應(yīng)的精確測量已表明，在正常白天觀察條件下，HVS針對明度細(xì)節(jié)相比 于針對顏色細(xì)節(jié)多約2. 2倍的空間視敏度。圖像及視頻（例如見于JPEG(參看IS0/IEC 10918-1:1994)及大多數(shù)視頻壓縮系統(tǒng)，例如MPEG及其衍生物（參看IS0/IEC13818、ISO/ IEC14496及IS0/IEC23008))的有效傳輸及處理通過將明度（Y或亮度）通道與顏色 (CbCr或色度）通道分離并接著在編碼及傳輸之前按一個倍頻程進行抽取而降低色度通道 的分辨率來充分利用此效應(yīng)。此通常被稱為4:2:0色度子采樣。這些經(jīng)抽取色度通道的存 在是通過位流旗標(biāo)而從編碼器發(fā)信到解碼器。在接收及解碼后，位流旗標(biāo)的存在就通常通 過簡單的升采樣過程（例如，雙三次插值或雙線性插值）向解碼器指示按比例放大色度通 道。
[0003] 按一個以上倍頻程抽取色度通道可顯著地降低待傳輸?shù)男畔⒌牧?，但是?jīng)解碼及 經(jīng)按比例放大的色度通道展現(xiàn)包含小對象的降低的飽和度的多種假象及顏色溢出，顏色溢 出為顏色從小對象溢入到相鄰背景對象中的感知。主要出于此原因，在任何當(dāng)前圖像或視 頻壓縮標(biāo)準(zhǔn)中不支持按一個以上倍頻程抽取色度通道。
[0004] 在使用更高級的按比例放大方法進行圖像引導(dǎo)式按比例縮放時已存在一些近期 工作，例如在科普夫（Kopf)、約翰尼斯（Johannes)等人的"聯(lián)合雙邊升采樣"（美國計算機 協(xié)會圖形學(xué)（TOG)(ACMTransactionsonGraphics)，第 26卷，第3 期.ACM，2007 年（其以 引用的方式并入本文中））中所教示，以聯(lián)合雙邊采樣的形式允許3D圖像的經(jīng)抽取深度圖 的恢復(fù)，所述3D圖像可應(yīng)用于經(jīng)抽取色度通道的恢復(fù)，所述經(jīng)抽取色度通道已按一個以上 倍頻程抽取。然而，由于位流語法不支持發(fā)信按一個以上倍頻程抽取的此類通道，故實施這 些方法需要對圖像及視頻的編碼及解碼標(biāo)準(zhǔn)進行緊耦合及改變。
[0005] 另外，按一個以上倍頻程簡單地按比例縮小色度通道并傳遞與全分辨率亮度通道 共同混合的經(jīng)抽取色度通道會使大多數(shù)視頻解碼器的運動估計混淆，這是由于它們依賴于 亮度及色度通道的空間對應(yīng)性以便實現(xiàn)準(zhǔn)確的運動估計，借此降低它們的效率。另外，在針 對圖像編碼及視頻編碼器兩者的低位率、高量化的情景中，經(jīng)共同混合的色度通道可在亮 度通道上遺留可見的印記，從而在亮度通道上造成可辨認(rèn)為色度通道的陰影的假象。

【發(fā)明內(nèi)容】

[0006] 通過提供一種用于按一個以上倍頻程抽取的色度通道的傳輸、接收及恢復(fù)及按比 例放大的系統(tǒng)及方法而在所屬領(lǐng)域中補救上述問題且實現(xiàn)技術(shù)解決方案。第一處理裝置的 第一顏色通道處理器通過子采樣按一個以上倍頻程抽取輸入圖像或視頻的色度通道以創(chuàng) 建經(jīng)抽取色度通道。所述第一顏色通道處理器將全分辨率亮度通道及經(jīng)抽取色度通道布置 在新的第二圖像或視頻的不同空間位置中，使得它們不重疊。所述第一顏色通道處理器將 所述第二圖像或視頻傳遞到編碼器。所述編碼器將所述經(jīng)編碼的所述第二圖像或視頻傳遞 到傳輸器，所述傳輸器將所述經(jīng)編碼的第二圖像或視頻傳輸?shù)降诙幚硌b置。所述第一處 理裝置通過帶內(nèi)或帶外發(fā)信方法中的任一者向所述第二處理裝置發(fā)信所述經(jīng)抽取色度通 道的存在。所述第二處理裝置用基于標(biāo)準(zhǔn)的解碼器解碼所述經(jīng)編碼的第二圖像以創(chuàng)建經(jīng)解 碼的第二圖像。所述第二處理裝置的第二顏色通道處理器將所述經(jīng)解碼的第二圖像的所述 亮度及色度非重疊空間布置分離成分離通道。所述第二顏色通道處理器使用所述經(jīng)分離 亮度通道作為統(tǒng)計先驗而執(zhí)行所述經(jīng)分離的經(jīng)抽取色度通道的聯(lián)合雙邊升采樣以匹配于 所述經(jīng)分離亮度通道的分辨率。所述聯(lián)合雙邊升采樣可包括逐倍頻程多尺度聯(lián)合雙邊升采 樣。所述第二處理裝置可進一步對所述經(jīng)恢復(fù)色度通道執(zhí)行直方圖拉伸操作。
[0007] 通過提供一種用于編碼圖像數(shù)據(jù)的系統(tǒng)及方法而在所屬領(lǐng)域中補救上述問題且 實現(xiàn)技術(shù)解決方案。第一處理裝置的顏色通道處理器接收包括一或多個色度通道及一亮度 通道的第一組圖像數(shù)據(jù)。所述顏色通道處理器降低所述一或多個色度通道的分辨率以產(chǎn)生 一或多個分辨率降低的色度通道。所述顏色通道處理器將所述亮度通道及所述一或多個分 辨率降低的色度通道布置成第二組圖像數(shù)據(jù)。所述亮度通道及所述一或多個分辨率降低的 色度通道的空間坐標(biāo)在所述第二組圖像數(shù)據(jù)的空間位置中不重疊。所述處理裝置將所述第 二組圖像數(shù)據(jù)傳輸?shù)较掠窝b置。
[0008] 在實例中，所述第一組圖像數(shù)據(jù)及所述第二組圖像數(shù)據(jù)可由多個像素組成，所述 多個像素中的每一像素具有所述一或多個色度通道及所述亮度通道。
[0009] 在實例中，降低所述一或多個色度通道的所述分辨率可包括按至少一個倍頻程抽 取所述一或多個色度通道。在實例中，按至少一個倍頻程抽取所述一或多個色度通道可包 括按一個以上倍頻程抽取所述一或多個色度通道。
[0010] 在實例中，降低所述一或多個色度通道的所述分辨率可包括使用降采樣方法抽取 所述一或多個色度通道。使用降采樣方法抽取所述一或多個色度通道可包括使用插值方法 通過連續(xù)地應(yīng)用單倍頻程降采樣步驟抽取所述一或多個色度通道。
[0011] 在實例中，所述處理裝置可向所述下游裝置傳輸包括所述第一組圖像數(shù)據(jù)的所述 一或多個色度通道的所述分辨率的降低程度的信息。在實例中，所述處理裝置可向所述下 游裝置傳輸包括所述第二組圖像數(shù)據(jù)的所述亮度通道及所述一或多個分辨率降低的色度 通道的所述布置的信息。所述信息可包括所述亮度通道及所述一或多個分辨率降低的色度 通道的所述空間坐標(biāo)不重疊的指示。
[0012] 在實例中，所述顏色通道處理器可將所述第二組圖像數(shù)據(jù)傳輸?shù)骄幋a器。所述編 碼器可操作以使用編碼方法編碼所述第二組圖像數(shù)據(jù)。所述編碼器可將所述經(jīng)編碼的第二 組圖像數(shù)據(jù)傳輸?shù)絺鬏斊?。所述傳輸器可將所述?jīng)編碼的第二組圖像數(shù)據(jù)傳輸?shù)剿鱿掠?裝置。
[0013] 通過提供一種用于解碼圖像數(shù)據(jù)的系統(tǒng)及方法而在所屬領(lǐng)域中補救上述問題且 實現(xiàn)技術(shù)解決方案。第一處理裝置從第二處理裝置接收包括一或多個色度通道及一亮度通 道的第一組圖像數(shù)據(jù)。所述一或多個色度通道在分辨率方面相對于所述亮度通道而降低。 所述第一處理裝置進一步從所述第二處理裝置接收包括所述一或多個色度通道的所述分 辨率的降低程度的第一信息及包括所述亮度通道及所述一或多個分辨率降低的色度通道 的空間布置的第二信息。所述第一處理裝置的顏色通道處理器鑒于所述第二信息而反轉(zhuǎn)所 述亮度通道及所述一或多個分辨率降低的色度通道的所述空間布置以產(chǎn)生第二組圖像數(shù) 據(jù)。所述顏色通道處理器鑒于所述第一信息而恢復(fù)所述一或多個分辨率降低的色度通道的 所述分辨率以實質(zhì)上匹配于所述經(jīng)分離亮度通道的所述分辨率以產(chǎn)生第三組圖像數(shù)據(jù)。所 述第一處理裝置將所述第三組圖像數(shù)據(jù)傳輸?shù)较掠窝b置。
[0014] 在實例中，所述第一組圖像數(shù)據(jù)、所述第二組圖像數(shù)據(jù)及所述第三組圖像數(shù)據(jù)是 由多個像素組成，所述多個像素中的每一像素具有所述一或多個色度通道及所述亮度通 道。
[0015] 在實例中，所述第一信息可指示按至少一個倍頻程抽取所述一或多個分辨率降低 的色度通道。在實例中，所述第一信息可指示按一個以上倍頻程抽取所述一或多個分辨率 降低的色度通道。
[0016] 在實例中，所述第二信息可指示所述亮度通道及所述一或多個分辨率降低的色度 通道的空間坐標(biāo)不重疊。
[0017] 在實例中，反轉(zhuǎn)所述亮度通道及所述一或多個分辨率降低的色度通道的所述空間 布置可包括鑒于所述第一信息而將所述亮度通道與所述一或多個分辨率降低的色度通道 分咼。
[0018] 在實例中，恢復(fù)所述一或多個分辨率降低的色度通道的所述分辨率以實質(zhì)上匹配 于所述經(jīng)分離亮度通道的所述分辨率可包括執(zhí)行所述經(jīng)分離的經(jīng)抽取色度通道的聯(lián)合雙 邊升采樣以匹配于所述經(jīng)分離亮度通道的所述分辨率。
[0019] 在實例中，根據(jù)所述第一信息及所述第二信息使用所述經(jīng)分離亮度通道作為統(tǒng)計 先驗。
[0020] 在實例中，所述聯(lián)合雙邊升采樣可為所述經(jīng)分離的經(jīng)抽取色度通道的逐倍頻程多 尺度聯(lián)合雙邊升采樣。
[0021] 在實例中，所述顏色通道處理器可對所述經(jīng)恢復(fù)的一或多個色度通道執(zhí)行直方圖 拉伸操作。
[0022] 在實例中，恢復(fù)所述分辨率可進一步包括組合所述經(jīng)分離的經(jīng)恢復(fù)的一或多個色 度通道及所述亮度通道以產(chǎn)生所述第三組圖像數(shù)據(jù)?？蓪⑺鼋?jīng)恢復(fù)的第三組圖像數(shù)據(jù)傳 輸?shù)斤@示器或下游裝置。
【附圖說明】
[0023] 結(jié)合附圖考慮下文提出的實例的詳細(xì)描述將更容易理解本發(fā)明，且其中相同的元 件符號是指類似的元件。
[0024] 圖1為說明實例計算系統(tǒng)的框圖，本發(fā)明的實例可在所述實例計算系統(tǒng)中操作。
[0025] 圖2為說明與圖1的編碼計算系統(tǒng)相關(guān)聯(lián)的編碼方法的實例的流程圖。
[0026] 圖3為說明解碼計算系統(tǒng)的實例的框圖，本發(fā)明的實例可在所述解碼計算系統(tǒng)中 操作。
[0027] 圖4為說明與圖3的編碼計算系統(tǒng)相關(guān)聯(lián)的解碼方法的實例的流程圖。
[0028] 圖5為圖1及3的計算系統(tǒng)相結(jié)合而工作的實例實施方案的框圖。
[0029] 圖6展示全分辨率亮度通道及經(jīng)雙倍頻程抽取的色度通道在相同空間程度中共 同混合的布置（現(xiàn)有技術(shù)）。
[0030] 圖7展示通過使亮度與按一個以上倍頻程抽取的色度通道共同混合而引入的陰 影假象（現(xiàn)有技術(shù)）。
[0031] 圖8展示亮度通道及按一個以上倍頻程子采樣的色度通道的所揭露空間布置。
[0032] 圖9展示亮度通道及按一個以上倍頻程子采樣的色度通道的所揭露空間布置，所 述一個以上倍頻程允許更有效地使用可用幀程度。
[0033] 圖10展示HVS針對明度及顏色的空間分辨率敏感度。
[0034] 圖11展示原始全分辨率Cb通道。
[0035] 圖12展示當(dāng)與按一個以上倍頻程抽取的色度通道一起使用時通過現(xiàn)有技術(shù)色度 按比例放大過程而引入的Cb通道中的顏色溢出（現(xiàn)有技術(shù)）。
[0036] 圖13展示通過本發(fā)明的實例恢復(fù)Cb通道。
[0037] 圖14說明呈計算機系統(tǒng)的實例形式的機器的圖形表示，在所述計算機系統(tǒng)內(nèi)可 執(zhí)行用于致使所述機器執(zhí)行本文中論述的方法中的一或多者的一組指令。
[0038] 應(yīng)理解，附圖是出于說明本發(fā)明的概念的目的且可不按比例。
【具體實施方式】
[0039] 本發(fā)明的實施例提供一種用于按一個以上倍頻程抽