專利名稱：用于幀兼容視頻傳輸?shù)穆?lián)合層優(yōu)化的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像或視頻優(yōu)化。更具體地，本發(fā)明的實(shí)施例涉及用于幀兼容視頻傳輸?shù)穆?lián)合層優(yōu)化。
背景技術(shù)：
近來，在業(yè)界中已經(jīng)存在對立體(3D)視頻傳輸?shù)南喈?dāng)大的興趣和關(guān)注。以3D呈現(xiàn)的高賣座電影已經(jīng)使3D立體視頻成為主流，同時大型體育賽事當(dāng)前也以3D來制作和廣播。特別地，動畫電影正日益以立體格式生產(chǎn)并呈現(xiàn)。雖然已經(jīng)存在足夠大的基數(shù)的支持3D的電影屏幕，但是消費(fèi)型3D應(yīng)用卻并非如此。在該空間的努力仍然處于起步階段，但是若干行業(yè)組織正在將相當(dāng)大的努力投入到支持消費(fèi)型3D的顯示的開發(fā)和市場營銷中(見參考文獻(xiàn)[I])。


合并到本說明書中并構(gòu)成本說明書的一部分的附圖，示出了本公開的一個或更多個實(shí)施例，并且與示例性實(shí)施例的描述一起用于解釋公開的原理和實(shí)現(xiàn)。圖1示出用于立體素材的傳輸?shù)乃讲蓸?并排布置。圖2示出用于立體素材的傳輸?shù)拇怪辈蓸?上下布置。圖3示出具有用于層間預(yù)測的參考處理單元的可伸縮(scalable)視頻編碼系統(tǒng)。圖4示出具有用于層間預(yù)測的參考處理的幀兼容3D立體可伸縮視頻編碼系統(tǒng)。圖5示出具有用于層間預(yù)測的參考處理的幀兼容3D立體可伸縮視頻解碼系統(tǒng)。圖6示出用于編碼決策的率失真優(yōu)化框架。圖7示出用于編碼決策的失真的快速計(jì)算。圖8示出用于多層幀兼容全分辨率視頻傳輸系統(tǒng)中的率失真優(yōu)化的增強(qiáng)。計(jì)算了增強(qiáng)層(EL)中的失真的附加估計(jì)(D’和D’’)。計(jì)算了 EL中率使用(rate usage)的附加估計(jì)(R’)。圖9示出用于考慮到對增強(qiáng)層的影響的編碼決策的失真的快速計(jì)算。圖10示出示出多階段編碼決策處理的流程圖。圖11示出用于多層幀兼容全分辨率視頻傳輸系統(tǒng)中的率失真優(yōu)化的增強(qiáng)?；緦?BL) RPU使用由RPU優(yōu)化模塊所估計(jì)的參數(shù)，該RPU優(yōu)化模式使用原始的BL輸入和EL輸入。或者，BL輸入可以通過模擬編碼處理并添加編碼偽像(artifact)的模塊。
圖12示出用于編碼決策的失真的快速計(jì)算，所述編碼決策考慮對增強(qiáng)層的影響并使用原始輸入圖片或輕微修改的輸入來執(zhí)行RPU參數(shù)優(yōu)化以模擬編碼偽像。圖13示出用于多層幀兼容全分辨率視頻傳輸系統(tǒng)中的率失真優(yōu)化的增強(qiáng)。編碼決策對增強(qiáng)層的影響通過考慮EL中的運(yùn)動估計(jì)和運(yùn)動補(bǔ)償來測量。圖14示出本地方法的一個實(shí)施例中的RPU參數(shù)優(yōu)化處理中的步驟。圖15示出本地方法的另一實(shí)施例中的RPU參數(shù)優(yōu)化處理中的步驟。圖16示出幀級方法中的RPU參數(shù)優(yōu)化處理中的步驟。圖17示出用于考慮到對增強(qiáng)層的影響的編碼決策的失真的快速計(jì)算。附加的運(yùn)動估計(jì)步驟也考慮EL中的運(yùn)動估計(jì)的影響。圖18示出考慮到允許使用非因果信息的依賴層，用于改進(jìn)運(yùn)動補(bǔ)償?shù)奶幚淼牡谝粚?shí)施例。圖19示出考慮到針對先前層和依賴層兩者執(zhí)行編碼，用于改進(jìn)運(yùn)動補(bǔ)償?shù)奶幚淼牡诙?shí)施例。圖20示出考慮到針對先前層執(zhí)行優(yōu)化的編碼決策并且考慮非因果信息的依賴層，用于改進(jìn)運(yùn)動補(bǔ)償?shù)牡谌龑?shí)施例。圖21示出采用BL和EL的輸出作為輸入并且產(chǎn)生每個視點(diǎn)的全分辨率重構(gòu)的模塊。圖22示出針對編碼決策的失真的快速計(jì)算，所述編碼決策使用EL和BL的樣本來考慮對全分辨率重構(gòu)的影響。圖23示出針對編碼決策的失真的快速計(jì)算，所述編碼決策考慮來自前一層的失真信息和樣本。
具體實(shí)施例方式根據(jù)本公開的第一實(shí)施例，提供一種用于對多層的層幀兼容圖像或視頻傳輸系統(tǒng)中的編碼決策進(jìn)行優(yōu)化的方法，該系統(tǒng)包括一個或更多個獨(dú)立層以及一個或更多個依賴層，該系統(tǒng)提供多個數(shù)據(jù)結(jié)構(gòu)的幀兼容表示，該系統(tǒng)還包括在第一層與一個或更多個依賴層中的至少之一之間的至少一個參考處理單元(RPU)，第一層為獨(dú)立層或依賴層，該方法包括:提供第一層估計(jì)失真；以及提供一個或更多個依賴層估計(jì)失真。根據(jù)本公開的第二實(shí)施例，提供一種聯(lián)合層幀兼容編碼決策優(yōu)化系統(tǒng)，包括:第一層；第一層估計(jì)失真單元；一個或更多依賴層；在第一層與一個或更多依賴層中至少之一之間的至少一個參考處理單元(RPU);以及在第一層與一個或更多依賴層中至少之一之間的一個或更多依賴層估計(jì)失真單元。雖然立體顯示技術(shù)和立體內(nèi)容創(chuàng)建是必須被適當(dāng)?shù)靥幚硪源_保足夠高質(zhì)量的體驗(yàn)的問題，但是3D內(nèi)容的傳輸同樣關(guān)鍵。內(nèi)容傳輸包括若干部分。一個特別重要的方面是壓縮的部分，其形成本公開的范圍。立體傳輸具有挑戰(zhàn)性，部分原因在于必須通信的信息量的加倍。另外，用于對這種內(nèi)容進(jìn)行解碼的計(jì)算需求和存儲器吞吐量需求也顯著增加。通常，存在可以通過其將立體內(nèi)容傳輸至消費(fèi)者的兩種主要分發(fā)途徑:固定媒體，如藍(lán)光盤；以及數(shù)字分發(fā)網(wǎng)絡(luò)，諸如線纜和衛(wèi)星廣播以及因特網(wǎng)，其中因特網(wǎng)包括將內(nèi)容傳輸至各種裝置(諸如機(jī)頂盒、PC、具有適當(dāng)視頻解碼器裝置的顯示器)以及其它平臺(諸如游戲裝置和移動裝置)的下載和流解決方案。當(dāng)前已部署的藍(lán)光播放器和機(jī)頂盒的大多數(shù)均支持基本的編解碼器，諸如基于ITU-T Rec.H.264/IS0/IEC14496-10 (見參考文獻(xiàn)[2])現(xiàn)有技術(shù)視頻編碼標(biāo)準(zhǔn)(也稱為高級視頻編碼標(biāo)準(zhǔn)-AVC)的附錄A以及SMPTE VC-1標(biāo)準(zhǔn)(見參考文獻(xiàn)[3])的框架的那些基本編解碼器。傳輸立體內(nèi)容最普遍的方式是傳輸兩個視點(diǎn)(通常為左視點(diǎn)和右視點(diǎn))的信息。傳輸這樣的兩個視點(diǎn)的一種方式是將它們編碼為獨(dú)立的視頻序列，該處理也稱為聯(lián)播。然而，這種方法存在多種缺陷。例如，由于左視點(diǎn)序列和右視點(diǎn)序列不能利用視點(diǎn)間相關(guān)性，所以壓縮效率劣化并且利用帶寬的大幅增加來維持可接受的質(zhì)量水平。然而，可以聯(lián)合優(yōu)化它們的編碼處理，卻仍然針對每個視點(diǎn)獨(dú)立地產(chǎn)生可解碼的比特流。盡管如此，需要提高立體視頻的壓縮效率同時保持向后兼容性。兼容性可以用支持多個層的編解碼器來實(shí)現(xiàn)。多層或可伸縮比特流由以預(yù)定義的依賴關(guān)系所表征的多個層組成。一個或更多個那些層被稱為基本層(BL)，基本層(BL)需要在其它任何層之前被解碼并且它們彼此之間能夠獨(dú)立解碼。剩余的層通常被稱為增強(qiáng)層(EL)，原因是它們的功能被設(shè)置為在僅一個基本層或多個基本層被解析并被解碼時用于改進(jìn)內(nèi)容(分辨率或質(zhì)量/保真度)或增強(qiáng)內(nèi)容(特征的添加，諸如添加新的視點(diǎn))。增強(qiáng)層也被稱為依賴層，原因在于它們?nèi)恳蕾囉诨緦印Ｔ谝恍┣闆r下，一個或更多個增強(qiáng)層可以依賴于其它更高優(yōu)先級的增強(qiáng)層的解碼，原因是增強(qiáng)層可以采用來自基本層之一或先前編碼(較高優(yōu)先級)的增強(qiáng)層之一的層間預(yù)測。因此，解碼也可以終止于中層間之一。多層或可伸縮的比特流使得在質(zhì)量/信噪比(SNR)、空間分辨率和/或時間分辨率、和/或附加視點(diǎn)的可用性方面的可伸縮性是可能的。例如，使用基于H.264/MPEG-4PartlO的附錄A框架的編解碼器或使用VC-1或VP8編解碼器，可以產(chǎn)生時間上可伸縮的比特流。第一基本層(如果被解碼)可以提供每秒15幀(fps)的圖像序列的版本，而第二增強(qiáng)層(如果被解碼)可以聯(lián)合已解碼的基本層來提供30fps的相同圖像序列。例如，當(dāng)采用H.264/MPEG-4PartlO的附錄G的AVC視頻編碼標(biāo)準(zhǔn)時，SNR可伸縮性以及時間可伸縮性和空間可伸縮性的進(jìn)一步擴(kuò)展是可能的。在這種情況下，基本層生成圖像序列的第一質(zhì)量或分辨率版本，而一個或更多增強(qiáng)層可以在視覺質(zhì)量或分辨率方面提供另外的改進(jìn)。類似地，基本層可以提供圖像序列的低分辨率版本。分辨率可以通過對附加的增強(qiáng)層進(jìn)行解碼來改進(jìn)。然而，可伸縮或多層的比特流對于提供多視點(diǎn)可伸縮性也是有用的。H.264/AVC的多視點(diǎn)編碼(MVC)擴(kuò)展(附錄H)的立體高框架(profile)最近已完成，并且已被采用為用于以立體內(nèi)容為特征的下一代藍(lán)光盤(藍(lán)光3D)的視頻編解碼器。該編碼方法試圖在一定程度上解決立體視頻流的高比特率需求。該立體高框架利用與H.264/AVC的附錄A的高框架兼容并且對視點(diǎn)中被稱為基本視點(diǎn)的一個視點(diǎn)進(jìn)行壓縮的基本層。然后，增強(qiáng)層對被稱為依賴視點(diǎn)的其它視點(diǎn)進(jìn)行壓縮。雖然基本層本身是有效的H.264/AVC比特流并且能夠獨(dú)立于增強(qiáng)層解碼，但可能且通常對于增強(qiáng)層卻不是這樣。這是由于下述事實(shí):增強(qiáng)層能夠利用來自基本層的解碼圖片作為運(yùn)動補(bǔ)償?shù)念A(yù)測參考。結(jié)果，依賴視點(diǎn)(增強(qiáng)層)可以受益于視點(diǎn)間預(yù)測。例如，針對具有高視點(diǎn)間相關(guān)性(低立體視差)的場景，壓縮可以顯著地改進(jìn)。因此，MVC擴(kuò)展方法試圖通過采用立體視差來解決增加的帶寬的問題。然而，這樣做會以與現(xiàn)有部署的機(jī)頂盒和藍(lán)光播放器的基礎(chǔ)架構(gòu)的兼容性為代價。即使現(xiàn)有的H.264解碼器可能能夠解碼并顯示基本視點(diǎn)，但是其將簡單地丟棄并忽略依賴視點(diǎn)。結(jié)果，現(xiàn)有的解碼器將僅能夠觀看2D內(nèi)容。因此，雖然MVC保留了 2D兼容性，但是沒有考慮傳統(tǒng)裝置中的3D內(nèi)容的傳輸。向后兼容性的缺失是趨于快速采用消費(fèi)型3D立體視頻的另外障礙。消費(fèi)型3D的部署可以通過利用機(jī)頂盒、藍(lán)光播放器和高清晰度電視機(jī)的安裝基礎(chǔ)而加速。大多數(shù)顯示器生產(chǎn)商當(dāng)前均提供支持3D立體顯示的高清晰度電視機(jī)。這些包括主要的顯示技術(shù)，諸如IXD (液晶顯示器)、等離子以及DLP (數(shù)字光處理器)(參考文獻(xiàn)[I])。關(guān)鍵在于:在仍然利用現(xiàn)有的且已部署的編解碼器諸如VC-1和H.264/AVC的同時，向顯示器提供具有包含兩個視點(diǎn)但仍在單個幀的范圍內(nèi)的內(nèi)容。這種對立體內(nèi)容進(jìn)行格式化使得其符合單個圖片或幀內(nèi)的方法被稱為幀兼容。請注意:幀兼容表示的大小不需要與原始視點(diǎn)幀的大小相同。類似于H.264的MVC擴(kuò)展，申請人的立體3D消費(fèi)型傳輸系統(tǒng)(美國臨時申請61/223，027號，其全部內(nèi)容通過引用合并到本文中)以基本層和增強(qiáng)層為特征。與MVC方法形成對照，視點(diǎn)可以被復(fù)用到兩層中，以便將基本層和增強(qiáng)層提供給消費(fèi)者，該基本層通過攜帶兩個視點(diǎn)的二次采樣版本而幀兼容，該增強(qiáng)層在與基本層組合時導(dǎo)致兩個視點(diǎn)的全分辨率重構(gòu)。幀兼容格式包括并排、上下以及五點(diǎn)梅花形/棋盤交錯。在圖1至圖2中示出了一些指示性示例。另外，附加的處理階段可以呈現(xiàn)為:在使用基本層的解碼幀作為用于預(yù)測增強(qiáng)層的運(yùn)動補(bǔ)償?shù)膮⒖贾皩緦拥慕獯a幀進(jìn)行處理。分別可以在圖4和圖5中看到針對在美國臨時申請61/223，027號(其全部內(nèi)容通過引用合并到本文中)中提出的系統(tǒng)的編碼器和解碼器的圖。應(yīng)該注意:甚至非幀兼容的編碼布置諸如MVC的布置也可以利用附加的處理步驟又稱為參考處理單元(RPU)來進(jìn)行增強(qiáng)，該參考處理單元(RPU)在從基本視點(diǎn)所取的參考被用作用于預(yù)測依賴視點(diǎn)的參考之前對其進(jìn)行處理。這也在美國臨時申請61/223，027號中描述的，其全部內(nèi)容通過引用合并到本文中，并且在圖3中被示出。美國臨時 申請61/223，027號(其全部內(nèi)容通過引用合并到本文中)的幀兼容技術(shù)確保幀兼容基本層，并且通過使用預(yù)處理器/RPU元件而成功地減少用于實(shí)現(xiàn)立體視點(diǎn)的全分辨率重構(gòu)的總成本。在圖5的左手側(cè)示出針對用于幀兼容全分辨率立體傳輸?shù)膬蓪酉到y(tǒng)的全分辨率重構(gòu)的處理的示例。基于增強(qiáng)層的可用性，對于最終的重構(gòu)視點(diǎn)存在兩個選項(xiàng)。它們可以從基本層VFaBI^ut的巾貞兼容輸出被插入并且任選地被后處理以產(chǎn)生VtHdut和V1^uout (如果例如增強(qiáng)層不可用或者我們正在權(quán)衡復(fù)雜度)，或者它們可以與增強(qiáng)層的合適樣本復(fù)用以產(chǎn)生每個視點(diǎn)的較高的表示重構(gòu)請注意:在兩種情況下所產(chǎn)生的重構(gòu)視點(diǎn)可以具有相同的分辨率。然而，與一種代碼信息用于所有樣本的后者情況(針對一些實(shí)現(xiàn)，樣本中的一半在基本層中而其余的在增強(qiáng)層中，盡管比例可以不同)相反，在前一種情況下，用于樣本中的一半樣本的信息是可用的而其余的使用智能算法來插入，如在參考文獻(xiàn)[3]和美國臨時申請61/170，995號中所討論和引用的，其全部內(nèi)容通過引用合并到本文中?，F(xiàn)代視頻編解碼器采用大量編碼工具。這些工具包括幀間預(yù)測和幀內(nèi)預(yù)測。在幀間預(yù)測中，使用來自存儲在參考圖片緩沖器中的參考圖片的運(yùn)動補(bǔ)償預(yù)測來預(yù)測當(dāng)前圖片中的塊或區(qū)域，以產(chǎn)生預(yù)測塊或區(qū)域。幀間預(yù)測的一種類型是單一預(yù)測運(yùn)動補(bǔ)償，其中預(yù)測塊從單個參考圖片獲取。現(xiàn)代編解碼器也應(yīng)用雙預(yù)測運(yùn)動補(bǔ)償，其中最終的預(yù)測塊是兩個預(yù)測“假設(shè)”塊的加權(quán)線性(或者甚至是非線性)組合的結(jié)果，預(yù)測“假設(shè)”塊可以從單個參考圖片或兩個不同的參考圖片獲取。具有三個或更多個組合塊的多假設(shè)方案也已經(jīng)被提出。請注意:在本公開中區(qū)域和塊可互換使用。區(qū)域可以為包括多個塊或甚至單個像素的矩形，但也可以包括簡單地連接但未構(gòu)成矩形的多個塊。也可能存在區(qū)域可以不是矩形的實(shí)現(xiàn)。在這種情況下，區(qū)域可以為像素的無形狀的組(未必連接)，或可以由不限制大小的六角形或三角形(如在網(wǎng)格編碼中)組成。另外，多于一種類型的塊可以被用于相同的圖片，并且塊不需要為相同大小的塊。塊或通常的構(gòu)造區(qū)域更易于描述并處理，但是已經(jīng)存在利用非塊概念的編解碼器。在幀內(nèi)預(yù)測中，使用相同的圖片的編碼(因果)樣本(例如，來自已經(jīng)被編碼的相鄰宏塊的樣本)來預(yù)測當(dāng)前圖片中的塊或區(qū)域。在幀間預(yù)測或幀內(nèi)預(yù)測之后，從原始的源塊中減去預(yù)測塊以獲得預(yù)測殘差。首先對預(yù)測殘差進(jìn)行變換，并且對在變換中使用的變換系數(shù)進(jìn)行量化。通常通過使用控制量化步驟的量化參數(shù)來控制量化。然而，也可以通過使用控制量化是否趨于零或遠(yuǎn)離零的量化偏移、系數(shù)閾值和基于格架(trellis)的決策等來影響量化。使用產(chǎn)生壓縮比特流的熵編碼器來對量化的變換系數(shù)與其它信息(諸如編碼模式、運(yùn)動、塊大小等)一起進(jìn)行編碼。用于獲得最終的重構(gòu)塊的操作反映(miiTor) 了解碼器的操作:量化的變換系數(shù)(解碼器仍然需要從比特流對它們進(jìn)行解碼)被逆量化和逆變換(以該順序)以產(chǎn)生重構(gòu)的殘差塊。在可選的環(huán)路濾波階段(通常出于去塊和去偽像(artifact)的目的)之后，重構(gòu)的殘差塊然后被添加到幀間或幀內(nèi)預(yù)測塊以產(chǎn)生隨后存儲在參考圖像緩沖器中的最終重構(gòu)塊。在圖3、圖4和圖5中示出了上述處理。在圖6中，選擇編碼模式(例如，幀間或幀內(nèi)、塊大小、針對運(yùn)動補(bǔ)償?shù)倪\(yùn)動向量、量化等)的處理被描述為“視差估計(jì)0”，而在給定視差估計(jì)模塊中的選擇的情況下生成預(yù)測樣本的處理被稱為“視差補(bǔ)償O”。視差估計(jì)包括運(yùn)動估計(jì)和照明估計(jì)以及編碼決策，而視差補(bǔ)償包括運(yùn)動補(bǔ)償和照明補(bǔ)償以及生成幀內(nèi)預(yù)測樣本等。運(yùn)動和照明估計(jì)以及編碼決策對于視頻編碼器的壓縮效率是關(guān)鍵的。在現(xiàn)代編解碼器中，可以存在多個幀內(nèi)預(yù)測模式(例如從垂直或水平的相鄰者來預(yù)測)以及多個幀間預(yù)測模式(例如不同的塊大小、參考指數(shù)或針對多假設(shè)預(yù)測的每個塊的運(yùn)動向量的不同數(shù)目)?，F(xiàn)代編解碼器主要使用平移運(yùn)動模型。然而，已經(jīng)提出更全面的運(yùn)動模型(諸如仿射、透視以及拋物線運(yùn)動模型等)以用于可以處理更復(fù)雜的運(yùn)動類型(例如相機(jī)變焦、旋轉(zhuǎn)等)的視頻編解碼器。在本公開中，術(shù)語“編碼決策(coding decision)”指的是除了視頻編碼系統(tǒng)的自由度之外，模式的選擇(例如幀間4X4與幀內(nèi)16X16)以及運(yùn)動補(bǔ)償參數(shù)或照明補(bǔ)償參數(shù)、參考指數(shù)、去塊濾波器參數(shù)、塊大小、運(yùn)動向量、量化矩陣和偏移、量化策略(包括基于格架)、閾值的選擇。另外，編碼決策也可以包括控制對每個層進(jìn)行處理的預(yù)處理器的參數(shù)的選擇。因此，運(yùn)動估計(jì)也可以被視為編碼決策的特殊情況。另外，幀間預(yù)測利用運(yùn)動和照明補(bǔ)償，因此通常需要好的運(yùn)動向量和照明參數(shù)。請注意:這里提出的術(shù)語“運(yùn)動估計(jì)”也將包括照明參數(shù)估計(jì)的處理。對于術(shù)語“視差估計(jì)”，同樣成立。同時，術(shù)語“運(yùn)動補(bǔ)償”和“視差補(bǔ)償”將被假定為包括照明補(bǔ)償。假定大量的編碼參數(shù)是可用的，諸如使用不同的預(yù)測方法、變換、量化參數(shù)以及熵編碼方法等，可以實(shí)現(xiàn)各種編碼權(quán)衡(在不同速率下的不同的失真水平和/或復(fù)雜度水平)。就復(fù)雜度而言，對以下中任一個或全部做出參考:實(shí)現(xiàn)復(fù)雜度、存儲復(fù)雜度以及計(jì)算復(fù)雜度。某些編碼決策可以例如減少率成本(rate cost)和失真同時卻以顯著更高的計(jì)算復(fù)雜度為代價。由于解碼器的規(guī)格對于相應(yīng)的編碼器的實(shí)現(xiàn)者是已知的，因此編碼工具對復(fù)雜度的影響可能預(yù)先估計(jì)。雖然解碼器的具體實(shí)現(xiàn)可能變化，但是具體實(shí)現(xiàn)中的每種實(shí)現(xiàn)必須遵循解碼器規(guī)格。對于許多操作，僅存在少數(shù)可能的實(shí)現(xiàn)方法，因此可以對這些實(shí)現(xiàn)方法執(zhí)行復(fù)雜度分析以估計(jì)計(jì)算(加法、除法以及乘法等)以及存儲操作(復(fù)制和加載操作等)的數(shù)目。除了存儲操作之外，存儲復(fù)雜度也依賴于包括在某些編碼工具中的存儲器的(附加的)量。另外，計(jì)算復(fù)雜度和存儲復(fù)雜度兩者均影響執(zhí)行時間和功率使用。因此，在復(fù)雜度估計(jì)中，通常使用近似于每個特定操作對執(zhí)行時間和/或功率使用的影響的因子來對這些操作進(jìn)行加權(quán)。通過創(chuàng)建編碼測試模式并且對軟件或硬件解碼器進(jìn)行測試以建立復(fù)雜度估計(jì)模型，可以獲得復(fù)雜度的較好估計(jì)。然而，這些模型經(jīng)?？梢砸蕾囉谟糜诮⒛Ｐ偷南到y(tǒng)，其通常難以一般化。實(shí)現(xiàn)復(fù)雜度例如可以指多少晶體管以及何種類型的晶體管被用于實(shí)現(xiàn)特定的編碼工具，其可能影響基于計(jì)算復(fù)雜度和存儲復(fù)雜度所生成的功率使用的估計(jì)。失真是一種對源參考塊或區(qū)域與某一重構(gòu)的塊或區(qū)域之間的不同或差異的衡量。這種衡量包括全參考度量(諸如廣泛使用的差值平方和(SSD)、其等價的峰值信噪比(PSNR)或絕對差值總和(SAD))、絕對變換(例如阿達(dá)瑪，hadamard)差值總和、結(jié)構(gòu)相似性度量(SSIM)或者減少/無參考度量，其中減少/無參考度量完全不考慮源但試圖去估計(jì)重構(gòu)的區(qū)域或塊自身的主觀/感知質(zhì)量。全參考度量或無參考度量也可以利用人類視覺系統(tǒng)(HVS)考慮(諸如亮度和對比度靈敏度、對比度和空間屏蔽等)來增強(qiáng)，以便于更好地考慮感知影響。另外，編碼決策處理可以被定義為其也可以以串行或并行的方式組合一個或更多個度量(例如，如果第一失真度量滿足某一規(guī)則就計(jì)算第二失真度量，或者可以以并行或聯(lián)合考慮的方式計(jì)算兩個失真度量)。雖然較舊的系統(tǒng)的編碼決策基本上基于質(zhì)量性能(失真的最小化)，但是更多的現(xiàn)代系統(tǒng)使用聯(lián)合考慮兩種測量(比特率和質(zhì)量/失真)的更復(fù)雜的方法來確定適當(dāng)?shù)木幋a模式。另外，針對所選的編碼模式，可以考慮涉及復(fù)雜度(實(shí)現(xiàn)復(fù)雜度、計(jì)算復(fù)雜度和/或存儲復(fù)雜度)的估計(jì)的第三測量。該處理被稱為率失真優(yōu)化處理(RD0),并且在參考文獻(xiàn)[4]、參考文獻(xiàn)[5]以及參考文獻(xiàn)[8]中已將其成功地應(yīng)用于解決編碼決策和運(yùn)動估計(jì)的問題。代替僅對作為某個運(yùn)動向量或編碼模式選擇的結(jié)果的失真D或率成本R進(jìn)行最小化，可以對聯(lián)合的拉格朗日成本J = D+λ R進(jìn)行最小化，其中λ被稱為拉格朗日拉姆達(dá)參數(shù)。其它算法(諸如模擬退火、遺傳算法、博弈論等)可以被用于優(yōu)化編碼決策和運(yùn)動估計(jì)。當(dāng)還考慮復(fù)雜度時，處理被稱為率復(fù)雜度失真優(yōu)化(RCD0)。在這些情況下，可以通過考慮附加項(xiàng)和附加的拉格朗日拉姆達(dá)參數(shù)來擴(kuò)展拉格朗日最小化，如下所示:J = D+X2C+λ圖6示出了使用率失真優(yōu)化的編碼決策處理的圖。針對每種編碼模式，在使用拉格朗日優(yōu)化計(jì)算拉格朗日成本J的情況下，必須獲取失真和率成本?！耙暡罟烙?jì)O”模塊使用如下量作為輸入:(a)源輸入塊或區(qū)域，其針對幀兼容壓縮可以包括交錯的立體幀對的情況；(b) “因果信息”，其包括來自已經(jīng)被編碼的區(qū)域/塊的運(yùn)動向量和像素樣本；以及(C)參考圖片，其來自參考圖片緩沖器(在那種情況下基本層的參考圖片緩沖器)。然后，該模塊選擇參數(shù)(待使用的幀內(nèi)或幀間預(yù)測模式、參考指數(shù)、照明參數(shù)以及運(yùn)動向量等)并將其發(fā)送到“視差補(bǔ)償O”模塊，“視差補(bǔ)償O”模塊僅使用因果信息以及來自參考圖片緩沖器的信息產(chǎn)生預(yù)測塊或區(qū)域rpral。從源塊或區(qū)域減去預(yù)測塊或區(qū)域rpral，然后對所產(chǎn)生的預(yù)測殘差然后進(jìn)行變換和量化。然后，所變換并量化的殘差經(jīng)歷可變長度的熵編碼(VLC)以便于估計(jì)率使用。率使用(rate usage)包括用于發(fā)送特定編碼模式(比其它編碼模式的發(fā)送成本更大的一些模式)，運(yùn)動向量、參考指數(shù)(用于選擇參考圖片)、照明補(bǔ)償參數(shù)以及所變換并量化的系數(shù)等的位。針對給定的編碼模式和參數(shù)，為了獲取失真估計(jì)，所變換并量化的殘差經(jīng)歷逆量化以及逆變換，并且最終被加至預(yù)測塊或區(qū)域以產(chǎn)生重構(gòu)的塊或區(qū)域。然后，該重構(gòu)的塊在與原始的源塊一起被饋送到“失真計(jì)算O”模塊中之前可以可選地經(jīng)歷循環(huán)濾波(以更好地反映解碼器的操作)以產(chǎn)生r_。因此，獲取了失真估計(jì)D。圖7中示出了針對避免了全編碼和全重構(gòu)的快速方案的相似的圖。可以觀察到主要的差別在于:失真計(jì)算利用視差補(bǔ)償模塊的直接輸出，即預(yù)測塊或區(qū)域rpMd ;以及率失真使用通常僅考慮編碼模式和運(yùn)動參數(shù)(包括照明補(bǔ)償參數(shù)和參考指數(shù)的編碼)的影響。通常，諸如這些方案由于低的計(jì)算開銷而基本上用于運(yùn)動估計(jì)；然而，也可以將方案應(yīng)用于一般的編碼決策。類似地，也可以使用圖6的復(fù)雜方案執(zhí)行運(yùn)動估計(jì)。以上的優(yōu)化策略已經(jīng)被廣泛地部署，并且可以針對單層編解碼器產(chǎn)生非常好的編碼效果。然而，在多層幀兼容全分辨率方案如本公開中所參考的方案中，層并非彼此獨(dú)立，如美國臨時專利申請61/223，027號所示出的，其全部內(nèi)容通過引用合并到本文中。圖3和圖4示出了增強(qiáng)層已經(jīng)訪問到附加的參考圖片，例如通過對來自基本層參考圖片緩沖器的基本層圖片進(jìn)行處理所生成的經(jīng)RPU處理的圖片。從而，基本層中的編碼選擇可能對增強(qiáng)層的性能具有不利影響。可以存在下述情況:某個運(yùn)動向量、某個編碼模式、所選擇的去塊濾波器參數(shù)、量化矩陣和偏移量的選擇以及甚至自適應(yīng)量化或系數(shù)閾值的使用可以針對基本層產(chǎn)生好的編碼效果，但是也可能損害增強(qiáng)層處的壓縮效率和感知質(zhì)量。圖6和圖7的編碼決策方案沒有解決該相關(guān)性。之前已經(jīng)針對多層編碼器的編碼決策和運(yùn)動估計(jì)進(jìn)行過研究?？梢栽趨⒖嘉墨I(xiàn)中發(fā)現(xiàn)應(yīng)用到H.26L-PFGS SNR可伸縮視頻編碼器的通用方法，其中率失真優(yōu)化的傳統(tǒng)觀念被擴(kuò)展為同樣考慮在一層中編碼決策對其依賴層的失真和率使用的影響。在參考文獻(xiàn)中示出相似的方法，但其目標(biāo)為ITU-T/IS0/IEC H.264/14496-10視頻編碼標(biāo)準(zhǔn)的附錄G (可伸縮視頻編碼)。在那個參考文獻(xiàn)中，拉格朗日成本計(jì)算被擴(kuò)展為包括來自依賴層的失真項(xiàng)和率使用項(xiàng)。除運(yùn)動估計(jì)和編碼決策的優(yōu)化之外，參考文獻(xiàn)還示出了針對考慮到對依賴層的影響的量化的率失真最優(yōu)的基于網(wǎng)格的方案。本公開描述了對傳統(tǒng)的運(yùn)動估計(jì)、幀內(nèi)預(yù)測以及編碼決策技術(shù)進(jìn)行改進(jìn)和擴(kuò)展的方法，以解決在幀兼容(可選地，全分辨率)多層編碼系統(tǒng)中的層間依賴，該系統(tǒng)采用一個或更多個RPU處理單元以用于對給定有另一層的存儲參考圖片的層的表示進(jìn)行預(yù)測。當(dāng)從另一個視點(diǎn)預(yù)測一個視點(diǎn)時，RPU處理元素可以執(zhí)行濾波、丟失的樣本的插值、擴(kuò)充采樣、縮減采樣以及運(yùn)動或立體視差補(bǔ)償?shù)?。RPU可以在區(qū)域的基礎(chǔ)上處理來自前一層的參考圖片，將不同的參數(shù)應(yīng)用到每個區(qū)域。這些區(qū)域可以為任意形狀和大小(也參見針對幀間和幀內(nèi)預(yù)測的區(qū)域的定義)?？刂芌PU處理器的操作的參數(shù)此后將被稱為RPU參數(shù)。
如之前所描述，術(shù)語“編碼決策”指的是一個或更多個模式(例如幀間4X4和幀內(nèi)16X16)、運(yùn)動或照明補(bǔ)償參數(shù)、參考指數(shù)、去塊濾波器參數(shù)、塊大小、運(yùn)動向量、量化矩陣和偏移、量化策略(包括基于網(wǎng)格)和閾值以及用在視頻編碼系統(tǒng)中的各種其它參數(shù)的選擇。另外，編碼決策也可以涉及控制對每個層進(jìn)行處理的預(yù)處理器的參數(shù)的選擇。以下是將在下面段落中描述的實(shí)施例的簡要說明:(a)考慮RPU的影響的第一實(shí)施例(參見示例I)。(b)根據(jù)第一實(shí)施例建立的并且執(zhí)行附加的操作以仿效依賴層的編碼處理的第二實(shí)施例(參見示例2)。這進(jìn)而會導(dǎo)致更精確的失真估計(jì)和率使用估計(jì)。(c)通過對濾波器、插值和運(yùn)動/立體視差補(bǔ)償、由RUP使用的參數(shù)(RPU參數(shù))的選擇進(jìn)行優(yōu)化，根據(jù)以上兩個實(shí)施例中的任一個實(shí)施例建立的第三實(shí)施例(參見示例3)。(d)通過考慮依賴層中的運(yùn)動估計(jì)和編碼決策的影響，根據(jù)以上三個實(shí)施例中的任一個實(shí)施例建立的第四實(shí)施例(參見示例4)。(e)針對僅基本層或基本層和層的子集兩者或者針對聯(lián)合的所有層，還考慮每個視點(diǎn)的全分辨率重構(gòu)的圖片中的失真的第五實(shí)施例(參見示例5)。貫穿本公開還將示出另外的實(shí)施例。以上實(shí)施例中的每個實(shí)施例將表示不同的性能-復(fù)雜度權(quán)衡。示例 I在本公開中，術(shù)語“依賴(cbpendent)”和“增強(qiáng)”可以互換使用。隨后可以通過參考依賴層所依賴的層來指明術(shù)語?！耙蕾噷印笔轻槍ζ浣獯a依賴于先前層(其也可以是另外的依賴層)的層。獨(dú)立于任何其它層的層被稱為基本層。這不排除包括多于一個基本層的實(shí)現(xiàn)。術(shù)語“先前層”可以指基本層或增強(qiáng)層。當(dāng)圖涉及僅具有兩個層一基本層(第一)和增強(qiáng)層(相關(guān))一的實(shí)施例時，這也不應(yīng)該將本公開限制于兩層實(shí)施例。例如，與許多圖中所示的相反，第一層可以為另外的增強(qiáng)(依賴)層而不是基本層。本公開的實(shí)施例可以應(yīng)用于具有兩個或更多個層的任意多層系統(tǒng)。如圖3和圖4所示，第一示例考慮RPU (100)對增強(qiáng)層或依賴層的影響。依賴層可以通過將RPU (100)應(yīng)用到先前層的重構(gòu)參考圖片然后將經(jīng)處理的圖片存儲在依賴層的參考圖片緩沖器中來考慮附加的參考圖片。在實(shí)施例中，RPU的基于區(qū)域或塊的實(shí)現(xiàn)被直接應(yīng)用到由先前層處的R-D優(yōu)化所產(chǎn)生的可選的循環(huán)濾波重構(gòu)樣本rM。。如圖8中，在幀兼容輸入包括來自立體幀對的樣本的情況下，RPU產(chǎn)生經(jīng)處理的樣本rKPU (1100),該經(jīng)處理的樣本rKPU (1100)包括依賴層中共同定位(co_located)的塊或區(qū)域的預(yù)測。RPU可以使用一些預(yù)定義的RTO參數(shù)以便于執(zhí)行EL樣本的插值/預(yù)測。這些固定的RPU參數(shù)可以通過用戶輸入的先驗(yàn)值而是固定的，或者可以依賴于因果過去。也可以使用在之前幀的相同層的RPU處理期間以編碼順序所選擇的RPU參數(shù)。出于從之前幀選擇RPU參數(shù)的目的，選擇最相關(guān)的幀是理想的，最相關(guān)的幀通常是時間上最接近的幀。也可以考慮用于相同層的已經(jīng)處理的、可能鄰近塊或區(qū)域的RPU參數(shù)。另外的實(shí)施例可以聯(lián)合考慮固定的RPU參數(shù)以及來自因果過去的參數(shù)。編碼決策可以考慮兩者，并且選擇滿足選擇規(guī)則的一個(例如，針對拉格朗日最小化的情況，其涉及將拉格朗日成本最小化)。圖8示出了執(zhí)行編碼決策的實(shí)施例。在先前層處的重構(gòu)樣本rM。(1101)被傳遞到在增強(qiáng)層中對并置樣本rKPU (1100)進(jìn)行插值/估計(jì)的RPU。然后，這些可以與依賴層的原始的輸入樣本(1105)—起被傳遞到失真計(jì)算器I (1102)以針對在先前層處的編碼決策對依賴層的影響來產(chǎn)生失真估計(jì)D’(1103)。圖9示出了針對編碼決策的失真和率使用的快速計(jì)算的實(shí)施例。與圖8的復(fù)雜實(shí)現(xiàn)相比，不同之處在于代替先前層的重構(gòu)樣本，先前層的預(yù)測區(qū)域或塊rpMd (1500)被用作RPU (100)的輸入。圖8和圖9的實(shí)現(xiàn)表示在復(fù)雜度和性能方面不同權(quán)衡。另一實(shí)施例是多階段處理。可以使用圖9 (僅預(yù)測殘差，而非全分辨率)的較簡單的方法來在4X4幀內(nèi)預(yù)測模式之間進(jìn)行確定，或在針對8X8幀間模式的分區(qū)大小之間進(jìn)行確定，并且使用圖8的具有殘差的全重構(gòu)的高復(fù)雜度方法來在8X8幀間或4X4幀內(nèi)之間執(zhí)行最終的確定。本領(lǐng)域的技術(shù)人員將理解的是，利用本公開的教示可以使用任何類型的多階段確定方法。在這些實(shí)施例中的熵編碼器可以為相對低復(fù)雜度的實(shí)現(xiàn)，其僅估計(jì)熵編碼器將會使用的位。圖10示出了圖示多階段編碼決策處理的流程圖。初始步驟涉及將編碼參數(shù)分成(S1001) A組和B組。提供(S1002)B組參數(shù)的第一設(shè)置(S1002)。針對B組參數(shù)的第一設(shè)置，考慮到對一個或多個依賴層的影響以低復(fù)雜度來測試(S1003)A組參數(shù)的設(shè)置。執(zhí)行測試(S1003)直到針對B組參數(shù)的第一設(shè)置對A組參數(shù)的所有設(shè)置進(jìn)行過測試為止?；贐組參數(shù)的第一設(shè)置來確定(S1005)A組參數(shù)的最優(yōu)設(shè)置A%并且考慮到對一個或多個依賴層的影響以高復(fù)雜度來對A*進(jìn)行測試(S1006)。針對B組參數(shù)中的每個設(shè)置執(zhí)行步驟(S1003，S1004, S1005, S1006)中的每個步驟。一旦已經(jīng)針對B組參數(shù)中的每個參數(shù)對所有A組參數(shù)進(jìn)行過測試，則可以確定參數(shù)(A% B*)的最優(yōu)設(shè)置。請注意:多階段編碼決策處理可以將編碼參數(shù)分成多于兩個組。附加的失真估計(jì)D’(1103)可以不必代替來自先前層的失真計(jì)算器O (1117)的失真估計(jì)D (1104)。可以在拉格朗日成本J中使用適當(dāng)?shù)募訖?quán)聯(lián)合考慮D和D’，如J =WtlXD-W1XD'+ λ XR。在一個實(shí)施例中，權(quán)重Wtl和權(quán)重W1可以總計(jì)為I。在另外的實(shí)施例中，權(quán)重Wtl和權(quán)重W1可以根據(jù)使用場景而調(diào)整使得權(quán)重可以是每個層的相對重要性的函數(shù)。權(quán)重可以依賴于目標(biāo)解碼器/裝置，編碼流的客戶端的容量。作為非限制性示例，如果客戶中的一半可以解碼至先前層并且其余客戶已經(jīng)訪問至并且包括依賴層，那么權(quán)重可分別設(shè)置為二分之一和二分之一。除傳統(tǒng)的編碼決策和運(yùn)動估計(jì)之外，根據(jù)本公開的實(shí)施例還可以應(yīng)用于之前已經(jīng)在本公開中定義過的編碼決策的一般定義，該編碼決策的一般定義也包括針對每層的輸入內(nèi)容的預(yù)處理器的參數(shù)選擇。后者可以通過考慮預(yù)處理器參數(shù)(如濾波器)選擇對一個或更多個依賴層的影響而在先前層處優(yōu)化預(yù)處理器。在再一的實(shí)施例中，出于加速目的，針對先前層的預(yù)測或重構(gòu)樣本的獲取以及涉及RPU的后續(xù)處理和失真計(jì)算等可以僅考慮亮度樣本。當(dāng)復(fù)雜度不是問題時，解碼器可以針對編碼決策來考慮亮度和色度兩者。在另一的實(shí)施例中，先前層處的“視差估計(jì)O”模塊可以考慮原始的先前層樣本來代替來自參考圖片緩沖器的參考圖片的使用。類似的實(shí)施例也可以在所有后續(xù)方法中應(yīng)用于所有的視差估計(jì)模塊。示例 2如圖8的底部所示，通過設(shè)置附加的失真估計(jì)和率使用估計(jì)以及仿效在依賴層處的編碼處理，根據(jù)第一實(shí)例建立了第二示例。雖然第一示例比較RPU的影響，但是其避免了最終的依賴層重構(gòu)樣本rKPU，_的大成本推導(dǎo)。最終重構(gòu)樣本的推導(dǎo)可以改進(jìn)失真估計(jì)的保真度，從而因此改進(jìn)率失真優(yōu)化處理的性能。從依賴層源(1105)塊或區(qū)域減去RPU的輸出rEPU (1100)以產(chǎn)生作為失真的測量的預(yù)測殘差。然后，該殘差被變換(1106)并量化(1107)(使用依賴層的量化參數(shù))。然后，所變換并量化的殘差被饋送到產(chǎn)生依賴層率使用R’的估計(jì)的熵編碼器(I 108)。接下來，所變換并量化的殘差經(jīng)歷逆量化(1109)和逆變換(1110)，并且結(jié)果被加到RPU的輸出(1100)以產(chǎn)生依賴層重構(gòu)。然后，依賴層重構(gòu)可以可選地由環(huán)路濾波器(1112)進(jìn)行濾波以產(chǎn)(1111)，并且!.^^。最終被送往失真計(jì)算器2 (1113)，失真計(jì)算器2 (1113)也考慮源輸入依賴層(1105)的塊或區(qū)域并且產(chǎn)生附加的失真估計(jì)D’’(1115)?？梢栽趫D8的底部看見針對兩層的該方案的實(shí)施例。在基本層或依賴層處的熵編碼器(1116和1108)可以為低復(fù)雜度的實(shí)現(xiàn)，其僅估計(jì)熵編碼器將會使用的位的數(shù)目。在一個實(shí)施例中，可以用較低復(fù)雜度的方法(如通用的可變長編碼(指數(shù)哥倫布編碼))來取代復(fù)雜方法(如算數(shù)編碼)。在另一實(shí)施例中，可以用查找表來取代算數(shù)或可變長編碼法，查找表提供在編碼期間將使用的位的數(shù)目的估計(jì)。類似于第一示例，可以與預(yù)先估計(jì)(如果可用)聯(lián)合考慮附加的失真估計(jì)和率成本估計(jì)。使用適當(dāng)加權(quán)的拉格朗日成本J可以被修改為:J =W0XD+WiXD' +w2XD’ ’ + λ aXR+λ iXR’。在另一實(shí)施例中，用于率估計(jì)的拉姆達(dá)值以及失真估計(jì)的增益因子可以依賴于在先 前層和依賴層中使用的量化參數(shù)。示例 3如圖11和圖12所示,通過針對RPU優(yōu)化參數(shù)選擇,根據(jù)示例I和示例2建立了第三示例。在如圖3所示的幀兼容全分辨率傳輸系統(tǒng)的實(shí)際實(shí)現(xiàn)中，編碼器首先對先前層進(jìn)行編碼。當(dāng)重構(gòu)圖片被插入到參考圖片緩沖器中時，由RPU對重構(gòu)圖片進(jìn)行處理以獲取RPU參數(shù)。然后，使用重構(gòu)圖片作為輸入，這些參數(shù)被用于引導(dǎo)依賴層圖片的預(yù)測。一旦依賴層圖片預(yù)測完成，新的圖片就被插入依賴層的參考圖片緩沖器中。這種事件序列具有意想不到的結(jié)果:在先前層中用于編碼決策的本地RPU不知道最終的RPU處理將如何解決。在另一實(shí)施例中，可以選擇默認(rèn)RPU參數(shù)。這些可以不可知地設(shè)置。但是在一些情況下，當(dāng)處理之前的區(qū)域或圖片時，可以根據(jù)可用的因果數(shù)據(jù)(如預(yù)先編碼樣本、運(yùn)動向量、照明補(bǔ)償參數(shù)、編碼模式以及塊大小)、RPU參數(shù)選擇等來設(shè)置它們。然而，通過考慮當(dāng)前的依賴層輸入(1202)，更好的性能是可能的。為了針對先前層(例如，BL或其它前增強(qiáng)層)中的每個編碼決策來完全地考慮RPU的影響，RPU處理模塊也可以使用預(yù)測的或重構(gòu)的塊以及源依賴層(例如，EL)塊作為輸入來執(zhí)行RPU參數(shù)優(yōu)化。然而，這種方法是復(fù)雜的，原因是RPU優(yōu)化處理針對先前層處的每個經(jīng)比較的編碼模式(或運(yùn)動向量)進(jìn)行重復(fù)。為了減少計(jì)算復(fù)雜度，如圖11所示，包括有在基于區(qū)域/塊的RPU (處理模塊)之前進(jìn)行操作的RPU參數(shù)優(yōu)化(1200)模塊。RPU參數(shù)優(yōu)化(1200 )的目的為:當(dāng)處理用于依賴層參考圖片緩沖器中的依賴層參考時對最終的RPU (100)將使用的參數(shù)進(jìn)行估計(jì)。區(qū)域可以與幀一樣大并且可以與像素的塊一樣小。然后，這些參數(shù)被傳遞到本地RPU以控制其操作。
在另一實(shí)施例中，RPU參數(shù)優(yōu)化模塊(1200)可以被本地實(shí)現(xiàn)為先前層編碼決策的一部分，并且被用于每個區(qū)域或塊。在本地方法的本實(shí)施例中，先前層中的每個運(yùn)動塊被編碼，并且針對每個編碼模式或運(yùn)動向量，生成經(jīng)預(yù)測或重構(gòu)的塊并且使其通過針對相應(yīng)的塊產(chǎn)生預(yù)測的RPU處理器。RI3U利用參數(shù)如濾波器系數(shù)來預(yù)測當(dāng)前層中的塊。如之前所討論的，這些RPU參數(shù)可以是預(yù)定義的或者通過使用因果信息來獲取。因此，當(dāng)在前層中對塊進(jìn)行編碼時，獲得優(yōu)化模塊。特別地，圖16示出了圖示針對本地方法的本實(shí)施例的RPU優(yōu)化處理的流程圖。處理以針對先前層的編碼參數(shù)的第一設(shè)置(包括例如編碼模式和/或運(yùn)動向量)的測試(S1601)開始，其導(dǎo)致重構(gòu)或預(yù)測的區(qū)域。在測試階段(S1601)之后，可以基于作為所測試的編碼參數(shù)設(shè)置的結(jié)果的重構(gòu)或預(yù)測區(qū)域來生成(S1602)優(yōu)化RPU參數(shù)的第一設(shè)置?？蛇x地，RPU參數(shù)選擇階段也可以考慮原始的或預(yù)處理的先前層區(qū)域值。然后，基于本公開的教示和所確定的RPU參數(shù)來獲取失真估計(jì)和率估計(jì)。測試了另外的編碼參數(shù)設(shè)置。一旦已經(jīng)測試完編碼參數(shù)設(shè)置中的每個編碼參數(shù)設(shè)置，則選擇出最優(yōu)的編碼參數(shù)設(shè)置，并且使用最優(yōu)的編碼參數(shù)設(shè)置對先前層的塊或區(qū)域進(jìn)行編碼(S1604)。重復(fù)(S1605)之前的步驟(S1601，S1602, S1603, S1604)直到所有塊已經(jīng)被編碼為止。在本地方法的另一實(shí)施例中，可以在對先前層的區(qū)域進(jìn)行編碼之前實(shí)現(xiàn)RPU參數(shù)優(yōu)化模塊(1200)。圖15示出了圖示出本地方法的本實(shí)施例中RPU優(yōu)化處理的流程圖。特別地，基于原始的或經(jīng)處理的原始圖片針對每個塊或區(qū)域執(zhí)行一次RPU參數(shù)優(yōu)化(S1501)，并且從優(yōu)化(S1501)所獲得的相同RPU參數(shù)被用于每個經(jīng)測試的編碼參數(shù)設(shè)置(包括例如編碼模式或運(yùn)動向量等)(S1502)。在考慮參數(shù)設(shè)置對一個或多個依賴層的影響的情況下，一旦某個先前層編碼參數(shù)設(shè)置已經(jīng)被測試(S1502)，則另一參數(shù)設(shè)置被類似地測試(S1503)直到全部編碼參數(shù)設(shè)置已經(jīng)被測試為止。與圖16相反，參數(shù)設(shè)置的測試(S1502)不影響在初始步驟(S1501)中獲得的優(yōu)化RPU參數(shù)。繼全部參數(shù)設(shè)置(S1503)的測試之后，選擇出最優(yōu)參數(shù)設(shè)置并且對塊或區(qū)域進(jìn)行編碼(S1504)。重復(fù)(S1505)之前的步驟(S1501，S1502，S1503, S1504)直到所有塊已經(jīng)被編碼為止。在基于幀的實(shí)施例中，該前置預(yù)測器可以使用源依賴層輸入(1202)和源先前層輸入(1201)作為輸入。另外的實(shí)施例被定義為:其中代替原始先前層輸入，執(zhí)行低復(fù)雜度編碼操作，該低復(fù)雜度編碼操作使用與實(shí)際編碼處理的量化類似的量化并且產(chǎn)生較接近于RPU實(shí)際使用的先前層“參考”。圖14示出了圖示基于幀的實(shí)施例中的RPU優(yōu)化處理的流程圖。在幀級方法中，由于RPU優(yōu)化在先前層的編碼之前發(fā)生，因此僅原始圖片或經(jīng)處理的原始圖片可用。特別地，僅基于原始圖片或經(jīng)處理的原始圖片對RPU參數(shù)進(jìn)行優(yōu)化(S1401)。繼RPU參數(shù)優(yōu)化(S1401)之后，在考慮參數(shù)設(shè)置對一個或更多個依賴層的影響的情況下對編碼參數(shù)設(shè)置進(jìn)行測試(S1402)。類似地對另外的編碼參數(shù)設(shè)置進(jìn)行測試(S1403)直到所有參數(shù)設(shè)置已經(jīng)被測試為止。針對所有經(jīng)測試的編碼參數(shù)設(shè)置，在S1401中所估計(jì)的同一固定RI3U參數(shù)被用于對依賴層RPU的影響進(jìn)行建模。類似于圖15并與圖16相反，參數(shù)設(shè)置的測試(S1602)不影響在初始優(yōu)化步驟(S1601)中獲得的優(yōu)化RPU參數(shù)。繼所有參數(shù)設(shè)置的測試(S1403)之后，選擇出最優(yōu)編碼參數(shù)并且對塊進(jìn)行編碼(S1404)。重復(fù)(S1405)之前的步驟(S1401，S1402, S1403, S1404)直到所有塊已經(jīng)被編碼為止。
相對于圖16所示的針對形成編碼參數(shù)設(shè)置的每個編碼模式或運(yùn)動向量來生成優(yōu)化參數(shù)的本地方法，圖15的實(shí)施例降低了復(fù)雜度。具體實(shí)施例的選擇可以是并行化和實(shí)現(xiàn)需求(例如,針對本地化版本的存儲需求將會降低，同時基于幀的版本將會容易轉(zhuǎn)換成不同的處理線程并在例如以編碼順序?qū)χ皫M(jìn)行編碼時運(yùn)行；后者對于第二本地級實(shí)施方法也是成立的)的問題。另外，在實(shí)現(xiàn)本地法的實(shí)施例中，RPU優(yōu)化模塊可以使用重構(gòu)樣本或預(yù)測樣本rpMd作為RI3U處理器的輸入，RPU處理器生成依賴層輸入的預(yù)測。然而，存在有其中基于幀的方法可以在壓縮性能方面理想的情況，原因是編碼器的區(qū)域大小和RPU的區(qū)域大小可以不相同。例如，RPU可以使用顯著更大的大小。在這種情況下，基于幀的RI3U優(yōu)化模塊做出的選擇可以較接近于最終結(jié)果。具有基于切片的RPU優(yōu)化模塊的實(shí)施例將更傾向于使用例如多線程的并行化。應(yīng)用到低復(fù)雜度本地級方法以及幀級方法兩者的實(shí)施例可以使用幀內(nèi)編碼器(1203)，其中幀內(nèi)預(yù)測模式用于在先前層的輸入被用作RPU優(yōu)化模塊的輸入之前對先前層的輸入進(jìn)行處理。其它實(shí)施例可以使用先前層編碼器的超低復(fù)雜度實(shí)現(xiàn)來模擬類似效果。在圖11和圖12中分別示出了基于幀的實(shí)現(xiàn)的復(fù)雜實(shí)施例和快速實(shí)施例。對于以上實(shí)施例中的一些實(shí)施例，在針對先前層的編碼決策期間所獲得的估計(jì)RPU參數(shù)可以與在最終的RPU優(yōu)化和處理期間實(shí)際使用的RPU參數(shù)不同。通常，在先前層已經(jīng)被編碼之后發(fā)生最終的RPU優(yōu)化。最終的RI3U優(yōu)化通?？紤]整個圖片。在實(shí)施例中，從與這些差異有關(guān)的過去編碼圖片收集信息(空間和時間坐標(biāo))，并且將信息與RPU優(yōu)化模塊的當(dāng)前參數(shù)估計(jì)結(jié)合使用以便于對由RPU用于創(chuàng)建新的參考的最終參數(shù)進(jìn)行估計(jì)，并且在編碼決策處理期間使用這些校正參數(shù)。在其中開始對先前層中的每個塊的進(jìn)行編碼之前，RI^U優(yōu)化步驟考慮整個圖片(如圖14的幀級實(shí)施例中)的另一實(shí)施例中，可以收集有關(guān)先前層的在其編碼之后的重構(gòu)像素的值以及用于驅(qū)動RPU處理的像素的值，該像素值可以是原始值或被處理為加有量化噪聲的值(壓縮偽像)。然后，該信息可以用在后續(xù)圖片中以便于修改量化噪聲處理，使得在RPU優(yōu)化期間所使用的樣本更接近類似編碼樣本。

示例 4如圖13所示，通過考慮依賴層中的運(yùn)動估計(jì)和編碼決策的影響，根據(jù)三個之前示例中的任一個建立第四示例。圖3示出了由RPU (100)所產(chǎn)生的參考圖片被添加到依賴層參考圖片緩沖器(700)。然而，這僅是存儲在參考圖片緩沖器中的參考圖片中的一個，參考圖片緩沖器也可以包含屬于之前幀的依賴層重構(gòu)圖片(以編碼順序)。通常，在雙向預(yù)測或多假設(shè)運(yùn)動估計(jì)的情況下的這種一個或多個參考(稱為“時間”參考)可以被選擇為代替(在單向預(yù)測運(yùn)動估計(jì)/補(bǔ)償中)“層間”參考或與“層間”參考(由RPU生成的參考)組合(在多假設(shè)/雙向預(yù)測運(yùn)動估計(jì)/補(bǔ)償中)。針對雙向預(yù)測運(yùn)動估計(jì)，可以從層間參考中選擇一個塊，而從“時間”參考中選擇另一個塊。考慮到例如視頻中的場景改變，在該情況下時間參考將與當(dāng)前依賴層重構(gòu)圖片具有低(或無)時間相關(guān)性，而層間相關(guān)性通常會為高。在該情況下，將選擇RPU參考?？紤]針對完全靜態(tài)場景的情況，在該情況下，時間參考將與當(dāng)前依賴層重構(gòu)圖片具有高的時間相關(guān)性；特別地，時間相關(guān)性可以高于層間RPU預(yù)測的時間相關(guān)性。因此，利用“時間”參考代替“層間”參考或與“層間”參考組合的這種選擇，通常會致使之前所估計(jì)的D’和D’’失真不可靠。因此，在示例4中，提出通過考慮依賴層處的參考圖片選擇和編碼決策(由于也可以考慮幀內(nèi)預(yù)測)來增強(qiáng)先前層處的編碼決策的技術(shù)。另一實(shí)施例可以在依賴層處的兩個失真估計(jì)之間進(jìn)行確定。失真估計(jì)的第一種類型是示例I至3中所估計(jì)的一種失真估計(jì)。其對應(yīng)于層間參考。先前層處的另一類型失真對應(yīng)于如圖13所示的時間參考。對該失真進(jìn)行估計(jì)使得運(yùn)動估計(jì)模塊2(1301)采用下述量作為輸入并且在給定層間和時間參考的情況下確定最好地預(yù)測源塊的運(yùn)動參數(shù)，上述量包括:來自依賴層參考圖片緩沖器(1302)的時間參考；RPU處理器的經(jīng)處理的輸出rKPU ;可以包括來自當(dāng)前塊或區(qū)域的相鄰者的經(jīng)RI3U處理的樣本和編碼參數(shù)(如運(yùn)動向量，原因是它們提高率估計(jì))的因果信息；以及源依賴層輸入塊。因果信息可以用來執(zhí)行運(yùn)動估計(jì)。針對單向預(yù)測運(yùn)動補(bǔ)償?shù)那闆r，不需要層間塊rKPU和因果信息。然而，針對雙向預(yù)測或多假設(shè)預(yù)測，還必須聯(lián)合考慮層間塊rKPU和因果信息以產(chǎn)生最可能的預(yù)測塊。然后，運(yùn)動參數(shù)以及時間參考、層間塊以及因果信息被傳遞到運(yùn)動補(bǔ)償模塊2(1303)，運(yùn)動補(bǔ)償模塊2 (1303)產(chǎn)生預(yù)測區(qū)域或塊ΓκΡΒ，ΜεΡ (1320)。然后，使用所預(yù)測的塊或區(qū)域rKPB，KP (1320)和源輸入依賴層塊或區(qū)域來計(jì)算與時間參考有關(guān)的失真。然后，對應(yīng)于時間的失真計(jì)算塊(1310)和層間失真計(jì)算塊(1305)的失真被傳遞到選擇器(1304)，選擇器(1304)是使用與依賴層編碼器的規(guī)則類似的規(guī)則來對塊(和失真)進(jìn)行選擇的比較模塊。這些規(guī)則也可以包括拉格朗日優(yōu)化，其中例如針對依賴層參考的運(yùn)動向量的成本也被考慮進(jìn)去。在較簡單的實(shí)施例中，選擇器模塊(1304)將選擇兩個失真中的最小者。然后，該新的失真值可以被用為代替原始的層間失真值(如利用示例I至3所確定的)。在圖13的底部示出了該實(shí)施例的圖示。另一實(shí)施例可以使用與來自先前層編碼器的相同幀對應(yīng)的運(yùn)動向量。運(yùn)動向量可以被照原樣使用，或者可選地，它們可以被用于初始化并且因此運(yùn)動估計(jì)模塊中加速運(yùn)動搜索。運(yùn)動向量也指的是照明補(bǔ)償參數(shù)、去塊參數(shù)、量化偏移以及量化矩陣等。其它實(shí)施例可以圍繞由先前層編碼器所提供的運(yùn)動向量來進(jìn)行小型細(xì)化搜索。

另外的實(shí)施例通過使用運(yùn)動估計(jì)和運(yùn)動補(bǔ)償而增強(qiáng)了層間失真的精確度。至此一直假定RPU處理器的輸出rKPU被照原樣使用以預(yù)測依賴層輸入塊或區(qū)域。然而，由于由RPU處理器所產(chǎn)生的參考被置于參考圖片緩沖器中，所以其將被用作運(yùn)動補(bǔ)償參考圖片。因此，除全零(0，O )之外的運(yùn)動向量可以被用于獲取針對依賴層的預(yù)測塊。雖然運(yùn)動向量(MV)大多數(shù)時間針對兩個方向?qū)⒔咏?，但是非零情況也是可能的。為了考慮這些運(yùn)動向量，添加了視差估計(jì)模塊I (1313)，視差估計(jì)模塊I (1313)將RPU的輸出rKPU、輸入依賴層塊或區(qū)域、以及因果信息作為輸入，該因果信息可以包括來自當(dāng)前塊或區(qū)域的相鄰者的RPU處理的樣本和編碼參數(shù)(如運(yùn)動向量，原因是它們增強(qiáng)了率估計(jì))。因果信息可以用于執(zhí)行運(yùn)動估計(jì)。如圖13所示，使用預(yù)測的塊rKPU以及來自其已經(jīng)編碼的周圍因果區(qū)域的經(jīng)RI3U處理的塊作為運(yùn)動補(bǔ)償參考來對依賴層輸入塊進(jìn)行估計(jì)。然后，所估計(jì)的運(yùn)動向量(1307)與因果相鄰樣本(1308)以及經(jīng)預(yù)測的塊或區(qū)域(1309) —起被傳遞到最終的視差補(bǔ)償模塊I(1314)以產(chǎn)生最終的預(yù)測塊rKPB，MCP (1306)。然后，該塊在失真計(jì)算器(1305)中與依賴層輸入塊或區(qū)域進(jìn)行比較以產(chǎn)生層間失真。圖17中示出了針對增強(qiáng)先前層處的編碼決策的快速計(jì)算的另一實(shí)施例的圖示。
在另一實(shí)施例中，由于總是存在幀內(nèi)預(yù)測可以在率失真性能方面比幀間預(yù)測或?qū)娱g預(yù)測執(zhí)行地更好的情況，所以運(yùn)動估計(jì)模塊I (1301)和運(yùn)動補(bǔ)償模塊I (1303)也可以是同樣使用因果信息來執(zhí)行幀內(nèi)預(yù)測的一般視差估計(jì)和補(bǔ)償模塊。圖18示出了圖示如下實(shí)施例的流程圖，該實(shí)施例允許通過先前層的多個編碼通道來使用來自圖13的運(yùn)動估計(jì)(1313，1301)的模塊I和模塊2的非因果信息以及圖13的運(yùn)動補(bǔ)償(1314，1303)。在不考慮對依賴層的影響的情況下可能地執(zhí)行第一編碼通道(S1801)。然后，經(jīng)編碼的樣本由RPU進(jìn)行處理以形成針對其依賴層(S1802)的初步RPU參考。在下一編碼通道中，在考慮到對一個或更多個依賴層的影響的情況下對先前層進(jìn)行編碼(S1803)?？紤]到對一個或更多個依賴層的影響，可以進(jìn)行另外的編碼通道(S1804)以產(chǎn)生改進(jìn)的運(yùn)動補(bǔ)償。在先前層的編碼處理期間，運(yùn)動估計(jì)模塊I (1313)和運(yùn)動補(bǔ)償模塊I(1314)以及運(yùn)動估計(jì)模塊2 (1301)和運(yùn)動補(bǔ)償模塊2 (1303)現(xiàn)在可以使用初步RPU參考作為非因果信息。圖19示出了圖示另一實(shí)施例的流程圖，其中迭代法針對先前層與可選的依賴層兩者執(zhí)行多個編碼通道。在可選的初始步驟(S1901)中，基于原始的或經(jīng)處理的原始參數(shù)可以獲得優(yōu)化的RPU參數(shù)的設(shè)置。更具體地，編碼器可以使用固定的RPU參數(shù)設(shè)置或可以使用原始的先前層樣本或預(yù)量化的樣本對RPU進(jìn)行優(yōu)化。在第一編碼通道中(S1902)，通過可能地考慮對依賴層的影響來對先前層進(jìn)行編碼。然后，先前層的編碼圖片由RPU進(jìn)行處理(S1903)并產(chǎn)生依賴層參考圖片和RPU參數(shù)?？蛇x地，初步RPU參考也可以在步驟S1903中獲取。然后，可以對實(shí)際依賴層進(jìn)行完全編碼(S1904)。在下一迭代中(S1905)，通過考慮RPU的影響對前層進(jìn)行重編碼，其中原始的固定RPU參數(shù)現(xiàn)在由在依賴層的前編碼通道中獲取的RPU參數(shù)代替。同時，由于使用時間或幀內(nèi)預(yù)測將影響依賴層的樣本的失真，所以可以考慮在之前迭代的依賴層處的編碼模式選擇。另外的迭代(S1906)是可能的。在執(zhí)行一定數(shù)目的迭代之后或一旦實(shí)現(xiàn)某個規(guī)則(例如但非限制性的，針對層中的每個層的編碼結(jié)果和/或RPU參數(shù)改變很小或收斂)，可以終止迭代。在另一實(shí)施例中，運(yùn)動估計(jì)模塊I (1313)和運(yùn)動補(bǔ)償模塊I (1314)以及運(yùn)動估計(jì)模塊2 (1301)和運(yùn)動補(bǔ)償模塊2 (1303)不必僅考慮圍繞經(jīng)RPU處理的塊的因果信息。一種選項(xiàng)是通過簡單地使用原始的先前層樣本并且執(zhí)行RPU處理以獲取相鄰的經(jīng)RPU處理的塊來代替該因果信息的。另一選項(xiàng)是用具有類似于示例2的壓縮偽像的預(yù)量化塊來代替原始塊。因此，在運(yùn)動估計(jì)和運(yùn)動補(bǔ)償處理期間，甚至可以使用非因果的塊。在光柵掃描編碼順序中，當(dāng)前塊的在右邊和底部的塊可以用作參考。通過采用在區(qū)域級(regional level)上具有多次迭代的方法,另一實(shí)施例針對前層對編碼決策進(jìn)行優(yōu)化，并且還解決了非因果信息的不可用的問題。圖20示出了圖示這種實(shí)施例的流程圖。圖片首先被分割成塊或宏塊的組(S2001)，該組包含空間相鄰的至少兩個塊或宏塊。這些組也可以彼此交疊。多次迭代被應(yīng)用于這些組中的每個組。在可選的步驟(S2002)中，使用原始參數(shù)或經(jīng)處理的原始參數(shù)可以獲取優(yōu)化的RI3U參數(shù)的設(shè)置。更具體地，編碼器可以使用固定的RPU參數(shù)設(shè)置或可以使用原始的先前層樣本或預(yù)量化樣本對RPU進(jìn)行優(yōu)化。在第一迭代中(S2003)，通過考慮對依賴層塊的影響來對先前層的塊的組進(jìn)行編碼，針對依賴層塊有足夠的相鄰塊信息可用。然后，先前層的經(jīng)編碼的組由RPU進(jìn)行處理(S2004)并且產(chǎn)生RPU參數(shù)。在下一迭代中，通過考慮RPU的影響然后對先前層進(jìn)行重編碼，其中原始的固定參數(shù)現(xiàn)在由在依賴層的之前編碼通道中獲取的參數(shù)代替。另外的迭代(S2006)是可能的。在執(zhí)行一定數(shù)目的迭代之后或一旦實(shí)現(xiàn)某一規(guī)則(例如但非限制性的，針對層中的每個層的編碼結(jié)果和/或RPU參數(shù)改變很少或收斂)，可以終止迭代。在當(dāng)前組的編碼終止之后，編碼器以編碼順序使用下一組來重復(fù)(S2007)以上處理(S2003，S2004，S2005，S2006)直到整個先前層圖片已經(jīng)被編碼為止。每次對組進(jìn)行編碼時，對該組中的所有塊進(jìn)行編碼。這意味著針對交疊組將再次對交疊塊進(jìn)行重編碼。優(yōu)點(diǎn)在于不具有非因果信息的邊界塊在一個組中被編碼時可以訪問后續(xù)交疊組中的非因果信息。應(yīng)該重申的是，這些組也可以彼此交疊。例如，考慮區(qū)域的每個交疊組包含兩個水平相鄰的宏塊或區(qū)域的情況。假設(shè)區(qū)域I包含宏塊1，2和3，而區(qū)域2包含宏塊2，3和4。還考慮以下布置:宏塊2被定位為朝向宏塊I的右邊，宏塊3被定位為朝向2的右邊，以及宏塊4被定位為朝向宏塊3的右邊。所有的四個宏塊沿著相同的水平軸布置。在對區(qū)域I進(jìn)行編碼的第一迭代期間，對宏塊1，2和3進(jìn)行編碼(可選地，在考慮依賴層影響的情況下)。估計(jì)運(yùn)動補(bǔ)償對經(jīng)RPU處理的參考區(qū)域的影響。然而，針對非因果區(qū)域，僅經(jīng)RPU處理的樣本可以用在估計(jì)中，其中經(jīng)RPU處理的樣本將原始的先前層樣本或預(yù)處理的/預(yù)壓縮的樣本作為輸入。然后，由RPU對區(qū)域進(jìn)行處理，其產(chǎn)生用于預(yù)測依賴層的經(jīng)處理的樣本。然后，對這些經(jīng)處理的樣本進(jìn)行緩存。在對區(qū)域I進(jìn)行重編碼的附加迭代期間，具體地在宏塊I的編碼期間，由于來自宏塊2的緩存的經(jīng)RPU處理的區(qū)域可以用于估計(jì)運(yùn)動補(bǔ)償?shù)挠绊懀砸蕾噷佑绊懣紤]更加精確。類似地，重編碼宏塊2受益于來自宏塊3的緩存的經(jīng)RPU處理的樣本。另外，在區(qū)域2的第一迭代期間，具體地在宏塊2的編碼期間，可以使用來自之前編碼的宏塊3(在區(qū)域I中)的信息(包括RPU參數(shù))。示例5在以上所描述的 示例I至4中，關(guān)于先前層或依賴層源提出了失真計(jì)算。然而，例如在每個層對立體幀圖像對進(jìn)行打包的情況下，特別是對于感知質(zhì)量而言，針對最終的擴(kuò)展采樣全分辨率圖片(例如左視點(diǎn)和右視點(diǎn))來計(jì)算失真可以更加有利。圖21和圖22示出了針對幀兼容的全分辨率視頻傳輸創(chuàng)建的全分辨率重構(gòu)(1915)的示例模塊。即使僅先前層可用，全分辨率重構(gòu)也是可能的，并且全分辨率重構(gòu)涉及丟失樣本的插值以及濾波和可選地運(yùn)動或立體視差補(bǔ)償。在所有層均可用的情況下，來自所有層的樣本被組合并且重處理以產(chǎn)生全分辨率重構(gòu)視點(diǎn)。所述處理可能需要運(yùn)動或視差補(bǔ)償、濾波以及插值等操作。這種模塊也可以基于區(qū)域或塊進(jìn)行操作。因此，如下的另外的實(shí)施例是可能的:其中代替計(jì)算(例如但非限制性的)關(guān)于依賴層輸入的RPU輸出rKPU的失真，首先可以使用區(qū)域或塊rKPU，_或 rEPU/EPUB, MCP 或 ^EPU 作為依賴層輸入并且使用區(qū)域或塊或rpMd作為先前層輸入插入全分辨率圖片如視點(diǎn)。然后，視點(diǎn)的全分辨率塊或區(qū)域可以與視點(diǎn)的原始源塊或區(qū)域(在它們被濾波、處理、縮減采樣以及復(fù)用以創(chuàng)建每個層的輸入之前)進(jìn)行比較。圖23所示的實(shí)施例可以僅涉及來自先前層(2300)的失真和樣本。具體地，預(yù)測塊或區(qū)域rpMd (2320)被饋送到RPU (2305)和先前層重構(gòu)器(2310)中。RPU (2305)輸出被饋送到當(dāng)前層重構(gòu)器(2315)中的rKPU (2325)。當(dāng)前層重構(gòu)器(2315)生成屬于第一視點(diǎn)V0 (2301)和第二視點(diǎn) V1 (2302)的信息 VQ，F(xiàn)K，KPU (2327)和 V1Akpu (2329)。請注意:雖然使用了術(shù)語“視點(diǎn)”，但是視點(diǎn)指的是可以用一個或更多個另外的數(shù)據(jù)結(jié)構(gòu)進(jìn)行處理以產(chǎn)生重構(gòu)圖像的任何數(shù)據(jù)結(jié)構(gòu)。請注意:雖然在圖23中使用了預(yù)測塊或區(qū)域!^- (2320)，但是代替地，重構(gòu)塊或區(qū)域1^?？梢杂迷谌我粚又?。重構(gòu)的塊或區(qū)域1^?？紤]了正變換和正量化(以及對應(yīng)的逆變換和逆量化)以及任何(通常為可選的)循環(huán)濾波(用于去塊和去偽像的目的)的影響。返回參照圖23，第一失真計(jì)算模塊(2330)基于在先前層重構(gòu)器(2310)的輸出與第一視點(diǎn)Vtl (2301)之間的比較來計(jì)算失真，其中先前層重構(gòu)器(2310)的輸出包括來自先前層的信息。第二失真計(jì)算模塊(2332)基于在先前層重構(gòu)器(2310)的輸出與第二視點(diǎn)V1(2302)之間的比較來計(jì)算失真。第一失真估計(jì)D (2350)是來自第一和第二失真計(jì)算模塊(2330，2332)的失真計(jì)算的函數(shù)。類似地，第三和第四失真計(jì)算模塊(2334，2336)分別基于RPU輸出rKPU (2325)以及第一視點(diǎn)Vtl (2301)和第二視點(diǎn)V1 (2302)來生成失真計(jì)算。第二失真估計(jì)D’ (2352)是來自第二和第四失真計(jì)算模塊(2334, 2336)的失真計(jì)算的函數(shù)。通過僅考慮先前層來計(jì)算關(guān)于全分辨率圖片的失真仍然不能解釋對依賴層的影響。然而，其在擴(kuò)充采樣全分辨率域中的基本層質(zhì)量為重要的應(yīng)用中將是有益的。一個這種場景包括在沒有增強(qiáng)層的情況下幀兼容立體圖像對的廣播。當(dāng)基于像素的度量(如SSD和PSNR)不受影響時，如果先前層在質(zhì)量測量之前被擴(kuò)充采樣至全分辨率，則感知度量會受
Mo如果使用先前層(針對本示例為BL)和先前層所依賴的所有層的樣本將失真插值/擴(kuò)充采樣到全分辨率，則使Dbufk表示全分辨率視點(diǎn)的失真。如果使用先前層和用于對依賴層EL進(jìn)行解碼所有層的樣本將失真插值/擴(kuò)充采樣到全分辨率，則使Deufk表示全分辨率視點(diǎn)的失真。多個依賴層可以是可能的。這些失真關(guān)于它們的原始全分辨率視點(diǎn)而不是各個層輸入源進(jìn)行計(jì)算。特別地，如果預(yù)處理被用于生成層輸入源，則處理可以可選地被應(yīng)用于原始全分辨率視點(diǎn)。`在之前的示例I至4中的每個示例中所描述的實(shí)施例的失真計(jì)算模塊可以通過丟失樣本的插值而采用全分辨率失真度量。對于示例4中的選擇器模塊(1304)同樣成立。選擇器(1304)可以針對給定增強(qiáng)層考慮全分辨率重構(gòu)，或者可以聯(lián)合考慮先前層全分辨率失真和增強(qiáng)層全分辨率失真兩者。在拉格朗日最小化的情況下，度量可以被修改為:J = W0XDBL；P^w1XDeufe+λ XR0如之前實(shí)施例所描述的，針對每個失真項(xiàng)的權(quán)重的值可以依賴于每個操作點(diǎn)的感知以及金融或商業(yè)意義，如僅使用先前層樣本的全分辨率重構(gòu)或考慮到用于對EL增強(qiáng)層進(jìn)行解碼的所有層的全分辨率重構(gòu)。每個層的失真可以使用高復(fù)雜度重構(gòu)塊或使用預(yù)測塊以加速計(jì)
笪在具有多個層的情況下，期望針對與不同依賴層對應(yīng)的多個操作點(diǎn)來優(yōu)化聯(lián)合編碼決策。如果一個層被表示為ELl并且第二層被表示為EL2，那么編碼決策規(guī)則被修改為同樣考慮兩個層。在拉格朗日最小化的情況下，可以用等式:J = w0XDbupe+W!XDEL1；fe+w2XDel
2,FE+ λ XR來評估所有操作點(diǎn)。在另一實(shí)施例中，可以評估針對每個層的不同失真度量。這通過適當(dāng)?shù)卣{(diào)整度量使得它們?nèi)匀豢梢月?lián)合用在選擇規(guī)則(如拉格朗日最小化函數(shù))中而是可能的。例如，一個層可以使用SSD度量，而另一層可以使用SSIM度量和SSD度量的某種組合。因此，針對被認(rèn)為是較重要的層可以使用較高性能和較大成本的度量。另外，不具有全分辨率評估的度量和具有全分辨率評估的度量可以用于相同層。這可能是期望的，例如，在幀兼容并排布置中，關(guān)于顯示的內(nèi)部擴(kuò)充采樣至全分辨率處理方面沒有控制和獲知可用的情況下。然而，由于在一些兩層系統(tǒng)中所有樣本均可用而不用插值，所以可以利用針對依賴層的全分辨率考慮。具體地，D和D’度量兩者可以與Dbufk和Deufk度量組合使用?？梢詧?zhí)行失真度量中的每個失真度量的聯(lián)合優(yōu)化。圖22示出了在針對相關(guān)(例如增強(qiáng))層計(jì)算失真(1901&1903)期間的全分辨率評估的實(shí)現(xiàn)，使得可以獲取全分辨率失真。針對每個視點(diǎn)(1907&1909)的失真度量可以不同，并且失真組合器(1905)產(chǎn)生最終的失真估計(jì)(1913)。失真組合器可以是線性的或者可以是最大或最小操作。另外的實(shí)施例可以使用同樣來自一個或更多個先前層的預(yù)測或重構(gòu)樣本以及由RPU處理器所生成的經(jīng)估計(jì)的依賴層樣本來執(zhí)行全分辨率重構(gòu)。代替表示依賴層的失真的D’，可以通過考慮全分辨率重構(gòu)和全分辨率源視點(diǎn)來計(jì)算失真D’。本實(shí)施例也應(yīng)用于示例I至示例4。具體地，針對目標(biāo)層(例如，依賴層)提供全分辨率重構(gòu)的重構(gòu)器還可能需要來自較高優(yōu)先級的層(如先前層)的另外的輸入。在第一示例中，考慮到基本層對幀兼容表示進(jìn)行編碼。第一增強(qiáng)層經(jīng)由RPU使用來自基本層的層間預(yù)測，并對全分辨率左視點(diǎn)進(jìn)行編碼。第二增強(qiáng)層經(jīng)由另一 RPU使用來自基本層的層間預(yù)測，并對全分辨率右視點(diǎn)進(jìn)行編碼。重構(gòu)器采用來自兩個增強(qiáng)層中的每個增強(qiáng)層的輸出作為輸入。在另一示例中，考慮到基本層對包括有偶數(shù)列左視點(diǎn)和奇數(shù)列右視點(diǎn)的幀兼容表示進(jìn)行編碼。增強(qiáng)層經(jīng)由RPU使用來自基本層的層間預(yù)測，并且對包括奇數(shù)列左視點(diǎn)和偶數(shù)列右視點(diǎn)的幀兼容表示進(jìn)行編碼。來自基本層和增強(qiáng)層中的每個層的輸出被饋送到重構(gòu)器中以提供視點(diǎn)的全分辨率重構(gòu)。請注意:用于重構(gòu)內(nèi)容(例如視點(diǎn))的全分辨率重構(gòu)可以不與原始輸入視點(diǎn)一致。與被打包到一個或更多個幀兼容基本層中的樣本相比，全分辨率重構(gòu)可以為較低分辨率或較高分辨率?？傊?，根據(jù)若干實(shí)施例，本公開考慮下述實(shí)施例:其可以實(shí)現(xiàn)為針對可伸縮全分辨率3D立體編碼和通用多層視頻編碼中的用途而開發(fā)的產(chǎn)品。應(yīng)用包括BD視頻編碼器、播放器以及以適當(dāng)格式創(chuàng)建的視頻光盤，或者甚至包括目標(biāo)為其它應(yīng)用(如廣播、衛(wèi)星和IPTV系統(tǒng)等)的內(nèi)容和系統(tǒng)。本公開中所描述的方法和系統(tǒng)可以以硬件、軟件、固件或它們的組合來實(shí)現(xiàn)。被描述為塊、模塊或部件的特征可以一起(例如，在邏輯器件如集成邏輯器件中)或獨(dú)立地(例如，作為獨(dú)立連接的邏輯器件)實(shí)現(xiàn)。本公開的方法的軟件部分可以包括具有指令的計(jì)算機(jī)可讀介質(zhì)，該指令在被執(zhí)行時至少部分地執(zhí)行所描述的方法。計(jì)算機(jī)可讀介質(zhì)可以包括例如隨機(jī)存取存儲器(RAM)和/或只讀存儲器(ROM)?？梢酝ㄟ^處理器(例如，數(shù)字信號處理器(DSP))、專用集成電路(ASIC)或現(xiàn)場可編程邏輯陣列(FPGA)來執(zhí)行指令。如本文所描述的，本發(fā)明的實(shí)施例因此可以涉及以下表I中所列舉的一個或更多個示例性實(shí)施例。因此，本發(fā)明可以以本文所描述的形式中的任何一種形式實(shí)施，包括但不限于以下所列舉的示例性實(shí)施例(EEE)，其描述了本發(fā)明的一些部分的結(jié)構(gòu)、特征和功能性。表I列舉的示例件實(shí)施例EEE1.一種用于對多層的層幀兼容圖像或視頻傳輸系統(tǒng)中的編碼決策進(jìn)行優(yōu)化的方法，所述系統(tǒng)包括一個或更多個獨(dú)立層以及一個或更多個依賴層，所述系統(tǒng)提供多個數(shù)據(jù)結(jié)構(gòu)的幀兼容表示，所述系統(tǒng)還包括在第一層與所述一個或更多個依賴層中的至少一個依賴層之間的至少一個參考處理單元(RPU)，所述第一層是獨(dú)立層或依賴層，所述方法包括:提供第一層估計(jì)失真；以及提供一個或更多個依賴層估計(jì)失真。EEE2.根據(jù)列舉的示例性實(shí)施例1所述的方法，其中，所述圖像或視頻傳輸系統(tǒng)提供所述多個數(shù)據(jù)結(jié)構(gòu)的全分辨率表示。EEE3.根據(jù)權(quán)利要求1至2中任一項(xiàng)所述的方法，其中，所述RPU適于接收所述第一層的重構(gòu)區(qū)域或塊信息。EEE4.根據(jù)權(quán)利要求1至2中任一項(xiàng)所述的方法，其中，所述RPU適于接收所述第一層的預(yù)測區(qū)域或塊信息。EEE5.根據(jù)列舉的示例性實(shí)施例3所述的方法，其中，輸入到所述RPU的所述重構(gòu)區(qū)域或塊信息是正和逆變換和量化的函數(shù)。EEE6.根據(jù)前述權(quán)利要求的任一項(xiàng)所述的方法，其中，所述RPU使用預(yù)定義RPU參數(shù)來針對依賴層預(yù)測樣本。EEE7.根據(jù)列舉的示例性實(shí)施例6所述的方法，其中，所述RPU參數(shù)是固定的。EEE8.根據(jù)列舉的示例性實(shí)施例6所述的方法，其中，所述RPU參數(shù)依賴于因果過去。EEE9.根據(jù)列舉的示例性實(shí)施例6所述的方法，其中，所述RPU參數(shù)是從相同層中的之前幀中選擇的RPU參數(shù)的函數(shù)。EEE10.根據(jù)列舉的示例性實(shí)施例6所述的方法，其中，所述RPU參數(shù)是針對相同層中的相鄰塊或區(qū)域所選擇的RPU參數(shù)的函數(shù)。EEEl1.根據(jù)列舉的示例性實(shí)施例6所述的方法,其中，所述RPU參數(shù)是自適應(yīng)地在固定的RPU參數(shù)與依賴于因果過去的RPU參數(shù)之間進(jìn)行選擇。EEE12.根據(jù)權(quán)利要求1至11中任一項(xiàng)所述的方法，其中，所述編碼決策考慮亮度樣本。EEE13.根據(jù)權(quán)利要求1至11中任一項(xiàng)所述的方法，其中，所述編碼決策考慮亮度樣本和色度樣本。EEE14.根據(jù)權(quán)利要求1至13中任一項(xiàng)所述的方法，其中，所述一個或更多個依賴層估計(jì)失真對在所述RPU的輸出與所述一個或更多個依賴層中的至少一個依賴層的輸入之間的失真進(jìn)行估計(jì)。EEE15.根據(jù)列舉的示例性實(shí)施例14所述的方法，其中，通過一系列的正和逆變換和量化操作來對來自所述一個或更多個依賴層中的所述RPU的區(qū)域或塊信息進(jìn)一步進(jìn)行處理，以考慮所述失真估計(jì)。
EEE16.根據(jù)列舉的示例性實(shí)施例15所述的方法，其中，對經(jīng)過變換和量化處理的所述區(qū)域或塊信息進(jìn)行熵編碼。EEE17.根據(jù)列舉的示例性實(shí)施例16所述的方法，其中，所述熵編碼是通用可變長編碼。EEE18.根據(jù)列舉的示例性實(shí)施例16所述的方法，其中，所述熵編碼是用查找表的可變長編碼方法，所述查找表提供編碼時要使用的位的估計(jì)數(shù)目。EEE19.根據(jù)權(quán)利要求1至18中任一項(xiàng)所述的方法，其中，所述估計(jì)的失真選自由差值平方和、峰值信噪比、絕對差值總和、絕對變換差值總和以及結(jié)構(gòu)相似度量組成的組。EEE20.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的方法，其中，針對聯(lián)合層優(yōu)化，聯(lián)合考慮所述第一層估計(jì)失真以及所述一個或更多個依賴層估計(jì)失真。EEE21.根據(jù)列舉的示例性實(shí)施例20所述的方法，其中，在拉格朗日等式中使用權(quán)重因子來執(zhí)行所述第一層估計(jì)失真和所述一個或更多個依賴層估計(jì)失真的聯(lián)合考慮。EEE22.根據(jù)列舉的示例性實(shí)施例21所述的方法，其中，所述權(quán)重因子的總和等于
OEEE23.根據(jù)權(quán)利要求21和22中任一項(xiàng)所述的方法，其中，分配到層的權(quán)重因子的值是所述層相對于其它層的相對重要性的函數(shù)。EEE24.根據(jù)權(quán)利要求1至23中任一項(xiàng)所述的方法，還包括:在考慮所述依賴層對針對第一層區(qū)域的編碼決策的影響期間，針對所述RPU選擇優(yōu)化RPU參數(shù)以用于所述RPU的操作。EEE25.根據(jù)列舉的示例性實(shí)施例24所述的方法，其中，所述優(yōu)化RPU參數(shù)是所述第一層的輸入和所述一個或更多個依賴層的輸入的函數(shù)。EEE26.根據(jù)列舉的示例性實(shí)施例24或25所述的方法，其中，所述優(yōu)化RPU參數(shù)被設(shè)置為之前的第一層模式確定的一部分。EEE27.根據(jù)列舉的示例性實(shí)施例24或25所述的方法，其中，在開始第一層的編碼之前提供所述優(yōu)化RPU參數(shù)。 EEE28.根據(jù)權(quán)利要求24至27中任一項(xiàng)所述的方法，其中，所述第一層的輸入是經(jīng)編碼的輸入。EEE29.根據(jù)權(quán)利要求24至28中任一項(xiàng)所述的方法，其中，所述經(jīng)編碼的輸入是被量化的。EEE30.根據(jù)列舉的示例性實(shí)施例29所述的方法，其中，所述經(jīng)編碼的輸入是幀內(nèi)編碼器的結(jié)果。EEE31.根據(jù)權(quán)利要求24至30中任一項(xiàng)所述的方法，其中，所選擇的RPU參數(shù)在區(qū)域的基礎(chǔ)上改變，并且針對每個區(qū)域中的編碼決策可以考慮多個設(shè)置。

EEE32.根據(jù)權(quán)利要求24至30中任一項(xiàng)所述的方法，其中，所選擇的RPU參數(shù)在區(qū)域的基礎(chǔ)上改變，并且針對每個區(qū)域中的編碼決策可以考慮單個設(shè)置。EEE33.根據(jù)列舉的示例性實(shí)施例32所述的方法，其中，所述優(yōu)化RPU參數(shù)的步驟還包括:(a)針對當(dāng)前區(qū)域來選擇RPU參數(shù)設(shè)置；(b)使用所選擇的固定RPU參數(shù)設(shè)置來測試編碼參數(shù)設(shè)置；
(c)針對每個編碼參數(shù)設(shè)置重復(fù)步驟(b)；(d)通過滿足預(yù)定規(guī)則來選擇所測試的編碼參數(shù)中的一個編碼參數(shù)；(e)使用所選擇的編碼參數(shù)設(shè)置來對所述第一層的區(qū)域進(jìn)行編碼；以及(f)針對每個區(qū)域重復(fù)步驟(a)至(e)。EEE34.根據(jù)示例性實(shí)施例31所述的方法,其中，所述提供RPU參數(shù)的步驟還包括:(a)應(yīng)用編碼參數(shù)設(shè)置；(b)基于作為步驟(a)的所述編碼參數(shù)設(shè)置的結(jié)果的所重構(gòu)或預(yù)測的區(qū)域來選擇RPU參數(shù)；(C)將所述RPU參數(shù)提供至所述RPU ；(d)使用步驟(b)的所選擇的RPU參數(shù)設(shè)置來測試編碼參數(shù)設(shè)置；(e)針對每個編碼參數(shù)設(shè)置重復(fù)步驟(a)至(d)。(f)通過滿足預(yù)定規(guī)則來選擇所測試的編碼參數(shù)的一個編碼參數(shù)；以及(g)針對每個區(qū)域來重復(fù)步驟(a)至(f)。EEE35.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的方法，其中，所述一個或更多個依賴層估計(jì)失真中的至少一個依賴層估計(jì)失真是時間失真，其中所述時間失真是考慮到來自之前被編碼的幀的重構(gòu)依賴層圖片的失真。EEE36.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的方法，其中，所述一個或更多個依賴層中的所述時間失真是在時間參考的輸出與所述一個或更多個依賴層中的至少一個依賴層的輸入之間的估計(jì)失真，其中所述時間參考是來自依賴層參考圖片緩沖器的依賴層參考圖片。EEE37.根據(jù)列舉的示例性實(shí)施例36所述的方法，其中，所述時間參考是來自所述一個或更多個依賴層參考圖片緩沖器的區(qū)域或塊信息的運(yùn)動估計(jì)和運(yùn)動補(bǔ)償以及因果信息的函數(shù)。EEE38.根據(jù)權(quán)利要求35至37中任一項(xiàng)所述的方法，其中，所述一個或更多個依賴層估計(jì)失真中的至少一個依賴層估計(jì)失真是層間估計(jì)失真。EEE39.根據(jù)權(quán)利要求36至38中任一項(xiàng)所述的方法，還包括:針對所述一個或更多個依賴層中的每個依賴層，在所述層間估計(jì)失真與所述時間失真之間選擇估計(jì)失真。EEE40.根據(jù)權(quán)利要求36至39中任一項(xiàng)所述的方法，其中，所述層間估計(jì)失真是所述一個或更多個依賴層中的視差估計(jì)和視差補(bǔ)償?shù)暮瘮?shù)。EEE41.根據(jù)權(quán)利要求35至40中任一項(xiàng)所述的方法，其中，所述估計(jì)失真是所述層間估計(jì)失真和所述時間失真中的最小者。EEE42.根據(jù)權(quán)利要求35至41中任一項(xiàng)所述的方法，其中，所述一個或更多個依賴層估計(jì)失真中的至少一個依賴層估計(jì)失真基于來自所述第一層的相應(yīng)幀。EEE43.根據(jù)列舉的示例性實(shí)施例42所述的方法，其中，來自所述第一層的所述相應(yīng)幀針對依賴層失真估計(jì)提供信息，所述信息包括運(yùn)動向量、照明補(bǔ)償參數(shù)、去塊參數(shù)以及量化偏移和矩陣中的至少一個。EEE44.根據(jù)列舉的示例性實(shí)施例43所述的方法,還包括:基于所述運(yùn)動向量進(jìn)行細(xì)化搜索。
EEE45.根據(jù)權(quán)利要求35至44中任一項(xiàng)所述的方法，還包括迭代方法，所述步驟包括:( a )初始化RPU參數(shù)設(shè)置；(b)通過考慮所選擇的RPU參數(shù)對所述第一層進(jìn)行編碼；(c)獲取經(jīng)RPU處理的參考圖片；(d)使用所獲取的RPU參考對所述第一層進(jìn)行編碼以考慮針對所述經(jīng)RPU處理的參考圖片的運(yùn)動補(bǔ)償；以及(e)重復(fù)步驟(b)至(d)直到滿足性能或最大迭代規(guī)則為止。EEE46.根據(jù)權(quán)利要求35至44中任一項(xiàng)所述的方法，還包括迭代方法,所述步驟包括:(a)選擇RPU參數(shù)設(shè)置；(b)通過考慮所選擇的RPU參數(shù)來對所述第一層進(jìn)行編碼；(C)獲取新的RI3U參數(shù)設(shè)置并且可選地獲取經(jīng)RPU處理的參考圖片；以及(d)可選地對當(dāng)前幀的依賴層進(jìn)行編碼；(e)使用所獲取的RPU參數(shù)設(shè)置對所述第一層進(jìn)行編碼，并且可選地考慮所述經(jīng)RPU處理的參考以針對經(jīng)RPU處理的參考圖片的運(yùn)動補(bǔ)償進(jìn)行建模，并且可選地考慮來自步驟(d)的所述依賴層處的編碼決策；以及(f)重復(fù)步驟(C)至(e)直到滿足性能或最大迭代規(guī)則為止。EEE47.根據(jù)權(quán)利要求35至44中任一項(xiàng)所述的方法，還包括:Ca)將幀分割成區(qū)域的組，其中組包括空間上相鄰的至少兩個區(qū)域，初始化RPU參數(shù)設(shè)置；(b)可選地選擇所述RPU參數(shù)設(shè)置；(c)通過考慮所述一個或更多個依賴層中的至少一個依賴層同時考慮可用情況下的非因果區(qū)域，對所述第一層的區(qū)域的所述組進(jìn)行編碼；(d)選擇新的RPU參數(shù)設(shè)置；(e)通過使用所述新的RI3U參數(shù)設(shè)置同時考慮可用情況下的非因果區(qū)域，對區(qū)域的所述組進(jìn)行編碼；(f)重復(fù)步驟(d)至(e)直到滿足性能或最大迭代規(guī)則為止；以及(g)重復(fù)步驟(C)至(f)直到所述區(qū)域的所有組已經(jīng)被編碼為止。EEE48.根據(jù)權(quán)利要求47所述的方法，其中，所述組交疊。EEE49.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的方法，其中，所述一個或更多個估計(jì)失真包括一個或更多個失真計(jì)算的組合。EEE50.根據(jù)列舉的示例性實(shí)施例49所述的方法，其中，第一一個或更多個失真計(jì)算是第一數(shù)據(jù)結(jié)構(gòu)，并且第二一個或更多個失真計(jì)算是第二數(shù)據(jù)結(jié)構(gòu)。EEE51.根據(jù)列舉的示例性實(shí)施例50所述的方法，其中，針對所述第一數(shù)據(jù)結(jié)構(gòu)的所述失真計(jì)算和針對所述第二數(shù)據(jù)結(jié)構(gòu)的所述失真計(jì)算是所述第一層和所述一個或更多個依賴層的完全重構(gòu)樣本的函數(shù)。EEE52.根據(jù)權(quán)利要求49至51中任一項(xiàng)所述的方法，其中，針對聯(lián)合層優(yōu)化，聯(lián)合考慮所述第一層估計(jì)失真和所述一個或更多個依賴層估計(jì)失真。
EEE53.根據(jù)列舉的示例性實(shí)施例52所述的方法，其中，考慮所述第一層估計(jì)失真和所述一個或更多個依賴層估計(jì)失真兩者。EEE54.根據(jù)列舉的示例性實(shí)施例52所述的方法，其中，在拉格朗日等式中使用權(quán)重因子來執(zhí)行所述第一層估計(jì)失真和所述一個或更多個依賴層估計(jì)失真的聯(lián)合優(yōu)化。EEE55.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的方法，其中，所述第一層是基本層或增強(qiáng)層，并且所述一個或更多個依賴層分別是一個或更多個增強(qiáng)層。EEE56.一種聯(lián)合層巾貞兼容編碼決策優(yōu)化系統(tǒng),所述系統(tǒng)包括:第一層；第一層估計(jì)失真單元；一個或更多個依賴層；在所述第一層與所述一個或更多個依賴層中的至少一個依賴層之間的至少一個參考處理單元(RPU);以及在所述第一層與所述一個或更多個依賴層中的至少一個依賴層之間的一個或更多個依賴層估計(jì)失真單元。EEE57.根據(jù)列舉的示例性實(shí)施例56所述的系統(tǒng)，其中，所述一個或更多個依賴層估計(jì)失真單元中的至少一個依賴層估計(jì)失真單元適于對在所述RPU的重構(gòu)輸出與所述一個或更多個依賴層中的至少一個依賴層的輸入之間的失真進(jìn)行估計(jì)。EEE58.根據(jù)列舉的示例性實(shí)施例56所述的系統(tǒng)，其中，所述一個或更多個依賴層估計(jì)失真單元中的至少一個依賴層估計(jì)失真單元適于對在所述RPU的預(yù)測輸出與所述一個或更多個依賴層中的至少一個依賴層的輸入之間的失真進(jìn)行估計(jì)。EEE59.根據(jù)列舉的示例性實(shí)施例56所述的系統(tǒng)，其中，所述RPU適于接收所述第一層的重構(gòu)樣本作為輸入。EEE60.根據(jù)列舉的示例性實(shí)施例58所述的系統(tǒng)，其中，所述RPU適于接收所述第一層的預(yù)測區(qū)域或塊信息作為輸入。EEE61.根據(jù)列舉的示例性實(shí)施例57或58所述的系統(tǒng)，其中，所述RPU適于接收所述第一層的重構(gòu)樣本或所述一層的預(yù)測區(qū)域或塊信息作為輸入。EEE62.根據(jù)權(quán)利要求56至61中任一項(xiàng)所述的系統(tǒng)，其中，所述估計(jì)失真選自由差值平方和、峰值信噪比、絕對差值總和、絕對變換差值總和以及結(jié)構(gòu)相似度量組成的所述組。EEE63.根據(jù)權(quán)利要求56至61中任一項(xiàng)所述的系統(tǒng)，其中，針對聯(lián)合層優(yōu)化，適合聯(lián)合考慮來自所述第一層估計(jì)失真單元的輸出和來自所述一個或更多個依賴層估計(jì)失真單兀的輸出。EEE64.根據(jù)列舉的示例性實(shí)施例56所述的系統(tǒng)，其中，所述依賴層估計(jì)失真單元適于對在所述一個或更多個依賴層的經(jīng)處理的輸入與未經(jīng)處理的輸入之間的失真進(jìn)行估計(jì)。EEE65.根據(jù)列舉的示例性實(shí)施例64所述的系統(tǒng)，其中，所述經(jīng)處理的輸入是所述一個或更多個依賴層的重構(gòu)樣本。EEE66.根據(jù)列舉的示例性實(shí)施例64或65所述的系統(tǒng)，其中，所述經(jīng)處理的輸入是正變換和正量化以及逆變換和逆量化的函數(shù)。
EEE67.根據(jù)權(quán)利要求56至66中任一項(xiàng)所述的系統(tǒng)，其中，針對聯(lián)合層優(yōu)化，聯(lián)合考慮來自所述第一層估計(jì)失真單元以及來自所述一個或更多個依賴層估計(jì)失真單元的輸出。EEE68.根據(jù)權(quán)利要求56至67中任一項(xiàng)所述的系統(tǒng)，還包括參數(shù)優(yōu)化單元，所述參數(shù)優(yōu)化單元適于針對所述RPU的操作向所述RPU提供優(yōu)化參數(shù)。EEE69.根據(jù)列舉的示例性實(shí)施例68所述的系統(tǒng)，其中，所述優(yōu)化參數(shù)是所述第一層的輸入和所述一個或更多個依賴層的輸入的函數(shù)。EEE70.根據(jù)列舉的示例性實(shí)施例69所述的系統(tǒng)，還包括:編碼器，所述編碼器適于對所述第一層的輸入進(jìn)行編碼并將所編碼的輸入提供至所述參數(shù)優(yōu)化單元。EEE71.根據(jù)列舉的示例性實(shí)施例56所述的系統(tǒng)，其中，所述依賴層估計(jì)失真單元適于對層間失真和/或時間失真進(jìn)行估計(jì)。EEE72.根據(jù)列舉的示例性實(shí)施例56所述的系統(tǒng)，還包括:選擇器，所述選擇器適于針對所述一個或更多個依賴層中的每個依賴層而在層間估計(jì)失真和時間失真之間進(jìn)行選擇。EEE73.根據(jù)列舉的示例性實(shí)施例71或72所述的系統(tǒng)，其中，在所述一個或更多個依賴層中，層間估計(jì)失真單元直接或間接地連接到視差估計(jì)單元和視差補(bǔ)償單元，并且時間估計(jì)失真單元直接或間接地連接到運(yùn)動估計(jì)單元和運(yùn)動補(bǔ)償單元。EEE74.根據(jù)列舉的示例性實(shí)施例72所述的系統(tǒng)，其中，所述選擇器適于選擇所述層間估計(jì)失真和所述時間失真中的較小者。EEE75.根據(jù)列舉的示例性實(shí)施例71所述的系統(tǒng)，其中，所述依賴層估計(jì)失真單元適于估計(jì)所述層間失真，并且/或者所述時間失真基于來自先前層的相應(yīng)幀。EEE76.根據(jù)列舉的示例性實(shí)施例75所述的系統(tǒng)，其中，來自所述先前層的所述相應(yīng)幀提供包括運(yùn)動向量、照明補(bǔ)償參數(shù)、去塊參數(shù)以及量化偏移和矩陣中的至少一個的信
肩、OEEE77.根據(jù)列舉的示例性實(shí)施例76所述的系統(tǒng),還包括:基于所述運(yùn)動向量進(jìn)行細(xì)化搜索。EEE78.根據(jù)列舉的示例性實(shí)施例56所述的系統(tǒng)，還包括:失真組合器，所述失真組合器適于將來自第一數(shù)據(jù)結(jié)構(gòu)估計(jì)失真單元的估計(jì)與來自第二數(shù)據(jù)結(jié)構(gòu)估計(jì)失真單元的估計(jì)組合以提供所述層間估計(jì)失真。EEE79.根據(jù)列舉的示例性實(shí)施例78所述的系統(tǒng)，其中，所述第一數(shù)據(jù)結(jié)構(gòu)失真計(jì)算單元和所述第二數(shù)據(jù)結(jié)構(gòu)失真計(jì)算單元適于對所述第一層和所述一個或更多個依賴層的完全重構(gòu)樣本進(jìn)行估計(jì)。EEE80.根據(jù)權(quán)利要求56至79中任一項(xiàng)所述的系統(tǒng)，其中，針對聯(lián)合層優(yōu)化，聯(lián)合考慮來自所述第一層估計(jì)失真單元和來自所述依賴層估計(jì)失真單元的輸出。EEE81.根據(jù)列舉的示例性實(shí)施例56所述的系統(tǒng)，其中，所述第一層是基本層或增強(qiáng)層，并且所述一個或更多個依賴層分別是一個或更多個增強(qiáng)層。EEE82.根據(jù)權(quán)利要求1至55中任一項(xiàng)所述的方法，所述方法還包括提供估計(jì)率失真。EEE83.根據(jù)權(quán)利要求1至55以及82中任一項(xiàng)所述的方法，所述方法還包括提供復(fù)雜度的估計(jì)。EEE84.根據(jù)列舉的示例性實(shí)施例83所述的方法，其中，所述復(fù)雜度的估計(jì)基于實(shí)現(xiàn)復(fù)雜度、計(jì)算復(fù)雜度以及存儲復(fù)雜度中的至少一個。EEE85.根據(jù)權(quán)利要求83或84中任一項(xiàng)所述的方法，其中，所述估計(jì)率失真和/或復(fù)雜度被考慮為附加的拉姆達(dá)參數(shù)。EEE86.一種用于根據(jù)權(quán)利要求1至55或82至85中任一項(xiàng)所述的方法對視頻信號進(jìn)行編碼的編碼器。EEE87.一種用于對視頻信號進(jìn)行編碼的編碼器，所述編碼器包括權(quán)利要求56至81中任一項(xiàng)所述的系統(tǒng)。EEE88.一種用于根據(jù)權(quán)利要求1至55或82至85中任一項(xiàng)所述的方法對視頻信號進(jìn)行編碼的設(shè)備。EEE89.一種用于對視頻信號進(jìn)行編碼的設(shè)備,所述設(shè)備包括權(quán)利要求56至81中任一項(xiàng)所述的系統(tǒng)。EEE90.一種用于根據(jù)權(quán)利要求1至55或82至85中任一項(xiàng)所述的方法對視頻信號進(jìn)行編碼的系統(tǒng)。EEE91.一種包含指令集的計(jì)算機(jī)可讀介質(zhì)，所述指令集使計(jì)算機(jī)執(zhí)行權(quán)利要求1至55或82至85中任一項(xiàng)所述的方法。EEE92.用于對視頻信號進(jìn)行編碼的權(quán)利要求1至55或82至85中任一項(xiàng)所述的方法的用途。另外，說明書中所提到的所有專利和公開可以指明本公開所屬領(lǐng)域中的技術(shù)人員的水平。本公開中所引用的所有參數(shù)文獻(xiàn)通過引用。本公開中所引用的所有參考文獻(xiàn)通過引用而被合并的程度如同每個參考文獻(xiàn)的全部內(nèi)容已經(jīng)分別通過引用而被合并的程度一樣。提供以上所提出的示例，以將如何制造并使用本公開的用于幀兼容的視頻傳輸?shù)穆?lián)合層優(yōu)化的實(shí)施例的完整公開和描述給本領(lǐng)域的普通技術(shù)人員，而并非意在限制發(fā)明人所認(rèn)為的他們的公開的范圍。用于實(shí)施本公開的上述模式的修改可以由本領(lǐng)域中的技術(shù)人員使用，并且該修改意在所附權(quán)利要求的范圍之內(nèi)。說明書中所提到的所有專利和公開可以指明本公開所屬領(lǐng)域中的技術(shù)人員的水平。本公開中所引用的所有參考文獻(xiàn)通過引用而被合并的程度如同每個參考文獻(xiàn)的全部內(nèi)容已經(jīng)分別通過引用而被合并的程度一樣。應(yīng)該理解，本公開不限于特定的方法或系統(tǒng)，當(dāng)然，其可以改變。還應(yīng)該理解，本文中所使用的術(shù)語僅出于描述具體實(shí)施例的目的，而并非意在限制。如本說明書以及所附權(quán)利要求書中使用的，除非內(nèi)容以其它方式明確指出，否則單數(shù)形式“一”、“一個”以及“該”包括復(fù)數(shù)對象。除非內(nèi)容以其它方式明確指出，否則術(shù)語“多個”包括兩個或更多個對象。除非另外定義，否則本文中所使用的所有技術(shù)和科學(xué)術(shù)語具有與本公開所屬領(lǐng)域中的技術(shù)人員通常理解的意義相同的意義。已經(jīng)描述了本公開的許多實(shí)施例。然而，應(yīng)該理解，可以在不背離本公開的精神和范圍的情況下做出各種修改。因此，其它實(shí)施例也在所附權(quán)利要求的范圍之內(nèi)。參考文獻(xiàn)列表
D.C.Hutchison, "Introducing DLP3-D TV",
http://www.dlp.com/downloads/Introducing DLP3D HDTV Whitepaper, pdf
Advanced video coding for generic audiovisual services，http://www.1tu.1nt/rec/recommendation.asp type=folders&lang=e&parent=T-REC_H.264，March2010.
SMPTE421M，"VC-lCompressed Video Bitstream Format and DecodingProcess"，April2006.
G.J.Sullivan and T.Wiegandj ^Rate-Distortion Optimization for Videocompression'IEEE Signal Processing Magazine, pp.74-90, Nov.1998.
A.0rtega and K.Ramchandranj ^Rate-Distortion Methods for Image andVideo compression"，IEEE Signal Processing Magazine, pp.23-50, Nov.1998.
H.Schwarz and T.Wiegand，〃R-D optimized mult1-layer encoder controlfor SVCj "Proceedings IEEE Int.Conf.0n Image Proc.，San Antonio, Texas, Sep.2007.
Z.Yang, F.Wuj and S.Li，"Rate distortion optimized mode decision inthe scalable video coding'Proc.1EEE International Conference on Image Processing (ICIP)，vol.3，pp.781-784，Spain, September2003.
D.T.Hoang, P.M.Long, and J.Vitterj ^Rate-Distortion Optimizations forMotion Estimation in Low-Bitrate Video Coding"， IEEE Transactions on Circuitsand Systems for Video Technology，vol.8，n0.4，Augustl998，pp.488-500.
權(quán)利要求
1.一種用于對多層層幀兼容圖像或視頻傳輸系統(tǒng)中的編碼決策進(jìn)行優(yōu)化的方法，所述系統(tǒng)包括一個或更多個獨(dú)立層以及一個或更多個依賴層，所述系統(tǒng)提供多個數(shù)據(jù)構(gòu)造的幀兼容表示，所述系統(tǒng)還包括在第一層與所述一個或更多個依賴層中的至少一個依賴層之間的至少一個參考處理單元，所述第一層是獨(dú)立層或依賴層， 所述方法包括: 提供第一層估計(jì)失真；以及 提供一個或更多個依賴層估計(jì)失真。
2.根據(jù)權(quán)利要求1所述的方法，其中，所述圖像或視頻傳輸系統(tǒng)提供所述多個數(shù)據(jù)構(gòu)造的全分辨率表示。
3.根據(jù)權(quán)利要求1和2中任一項(xiàng)所述的方法，其中，所述參考處理單元適于接收所述第一層的重構(gòu)區(qū)域或塊信息。
4.根據(jù)權(quán)利要求1和2中任一項(xiàng)所述的方法，其中，所述參考處理單元適于接收所述第一層的預(yù)測區(qū)域或塊信息。
5.根據(jù)權(quán)利要求3所述的方法，其中，輸入到所述參考處理單元的所述重構(gòu)區(qū)域或塊信息是正和逆變換和量化的函數(shù)。
6.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的方法，其中，所述參考處理單元使用預(yù)定義的參考處理單元參數(shù)來預(yù)測用于所述依賴層的樣本。
7.根據(jù)權(quán)利要求6所述的方法，其中，所述參考處理單元參數(shù)是固定的。
8.根據(jù)權(quán)利要求6所述的方法，其中，所述參考處理單元參數(shù)依賴于因果過去。
9.根據(jù)權(quán)利要求6所述的方法，其中，所述參考處理單元參數(shù)是從相同層中的之前幀中選擇的參考處理單元參數(shù)的函數(shù)。
10.根據(jù)權(quán)利要求6所述的方法，其中，所述參考處理單元參數(shù)是針對相同層中的鄰近塊或區(qū)域而選擇的參考處理單元參數(shù)的函數(shù)。
11.根據(jù)權(quán)利要求6所述的方法，其中，自適應(yīng)地在固定的參考處理單元參數(shù)與依賴于因果過去的參考處理單元參數(shù)之間選擇所述參考處理單元參數(shù)。
12.根據(jù)權(quán)利要求1至11中任一項(xiàng)所述的方法，其中，所述編碼決策考慮亮度樣本。
13.根據(jù)權(quán)利要求1至11中任一項(xiàng)所述的方法，其中，所述編碼決策考慮亮度樣本和色度樣本。
14.根據(jù)權(quán)利要求1至13中任一項(xiàng)所述的方法，其中，所述一個或更多個依賴層估計(jì)失真對所述參考處理單元的輸出與針對所述一個或更多個依賴層中的至少一個依賴層的輸入之間的失真進(jìn)行估計(jì)。
15.根據(jù)權(quán)利要求14所述的方法，其中，通過一系列的正和逆變換和量化操作來對來自所述參考處理單元、所述一個或更多個依賴層中的所述區(qū)域或塊信息進(jìn)一步進(jìn)行處理，以考慮所述失真估計(jì)。
16.根據(jù)權(quán)利要求15所述的方法，其中，對經(jīng)過變換和量化處理的所述區(qū)域或塊信息進(jìn)行熵編碼。
17.—種聯(lián)合層巾貞兼容編碼決策優(yōu)化系統(tǒng),包括: 第一層; 第一層估計(jì)失真單元；一個或更多個依賴層； 在所述第一層與所述一個或更多個依賴層中的至少一個依賴層之間的至少一個參考處理單元；以及 在所述第一層與所述一個或更多個依賴層中的至少一個依賴層之間的一個或更多個依賴層估計(jì)失真單元。
18.—種系統(tǒng)，所述系統(tǒng)包括用于執(zhí)行根據(jù)權(quán)利要求1至16中的一項(xiàng)或更多項(xiàng)所述的方法的裝置。
19.一種包括指令的計(jì)算機(jī)可讀存儲介質(zhì)，所述指令在被處理器執(zhí)行時使得、控制、程序指示或配置所述處理器以執(zhí)行根據(jù)權(quán)利要求1至15中的一項(xiàng)或更多項(xiàng)所述的方法。
20.—種設(shè)備,包括: 處理器；以及 包括指令的計(jì)算機(jī)可讀存儲介質(zhì)，所述指令在被處理器執(zhí)行時使得、控制、程序指示或配置所述處理器執(zhí)行根據(jù) 權(quán)利要求1至15中的一項(xiàng)或更多項(xiàng)所述的方法。
全文摘要
描述了用于幀兼容視頻傳輸?shù)穆?lián)合層優(yōu)化。更具體地，描述了用于多層編解碼器中的高效模式?jīng)Q策、運(yùn)動估計(jì)、以及通用編碼參數(shù)選擇的方法，該多層編解碼器采用參考處理單元(RPU)以利用層間相關(guān)性來改進(jìn)編碼效率。
文檔編號H04N7/50GK103155559SQ201180049552
公開日2013年6月12日 申請日期2011年9月20日 優(yōu)先權(quán)日2010年10月12日
發(fā)明者阿薩納西奧斯·萊昂塔里斯, 亞歷山德羅斯·圖拉皮斯, 佩沙拉·V·帕哈拉瓦達(dá) 申請人:杜比實(shí)驗(yàn)室特許公司