專利名稱：視頻流修改器的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于對在解碼器中解碼的壓縮數(shù)據(jù)流進(jìn)行修改的設(shè)備，該壓縮數(shù)據(jù)流由對包括像素區(qū)的圖像序列進(jìn)行編碼而獲得，所述設(shè)備包括-評估裝置，用于評估對來自壓縮數(shù)據(jù)流的圖像進(jìn)行解碼所需的解碼復(fù)雜度；-修改裝置，用于當(dāng)圖像的解碼復(fù)雜度接近解碼器容量時(shí)對壓縮數(shù)據(jù)流進(jìn)行修改。
本發(fā)明還涉及一種包括該設(shè)備的圖像處理系統(tǒng)，用于圖像序列的壓縮和解壓縮。
本發(fā)明還涉及一種包括該設(shè)備的圖像處理裝置。
本發(fā)明還涉及一種用于對在解碼器中解碼的壓縮數(shù)據(jù)流進(jìn)行修改的方法，該壓縮數(shù)據(jù)流由對包括像素區(qū)的圖像序列進(jìn)行編碼而獲得，所述方法包括-評估對來自壓縮數(shù)據(jù)流的圖像進(jìn)行解碼所需的解碼復(fù)雜度；以及-當(dāng)圖像的解碼復(fù)雜度接近解碼器容量時(shí)，修改所述流。
本發(fā)明還涉及一種計(jì)算機(jī)程序產(chǎn)品，包括使處理器能夠執(zhí)行對在解碼器中解碼的壓縮數(shù)據(jù)流進(jìn)行修改的方法的代碼，該壓縮數(shù)據(jù)流由對包括像素區(qū)的圖像序列進(jìn)行編碼而獲得，所述產(chǎn)品包括-用于評估對來自壓縮數(shù)據(jù)流的圖像進(jìn)行解碼所需的解碼復(fù)雜度的代碼；以及-用于當(dāng)圖像的解碼復(fù)雜度接近解碼器容量時(shí)對所述流進(jìn)行修改的代碼。
背景技術(shù)：
視頻信息典型地包括圖像幀序列，能夠被壓縮形成數(shù)字化數(shù)據(jù)流以便儲(chǔ)存和傳輸。已廣泛應(yīng)用于壓縮和解壓縮視頻信息的一些壓縮標(biāo)準(zhǔn)是用于視頻編解碼的運(yùn)動(dòng)圖像專家組(MPEG)標(biāo)準(zhǔn)，特別是MPEG-2。MPEG標(biāo)準(zhǔn)具有儲(chǔ)存、傳輸和顯示視頻信息的多種應(yīng)用，例如光儲(chǔ)存系統(tǒng)、數(shù)字多用途光盤(DVD)技術(shù)以及數(shù)字電視(DTV)廣播。當(dāng)對MPEG數(shù)據(jù)流解碼時(shí)，每一幀的解碼復(fù)雜度都有可能不同。由于解碼器通常不會(huì)被裝備為處理峰值負(fù)荷，因而可能會(huì)出現(xiàn)解碼復(fù)雜度高于解碼器可用容量的情況。此時(shí)，解碼器不能對完整圖像進(jìn)行解碼。因此，輸出的圖像會(huì)突然出現(xiàn)質(zhì)量退化。為了使視頻信息壓縮數(shù)據(jù)流的解碼復(fù)雜度與解碼器可用容量相適應(yīng)以及在輸出端獲得最佳圖像質(zhì)量，現(xiàn)有技術(shù)已給出了幾種解決辦法。
美國專利US6631163中給出了一種方法以及一種系統(tǒng)，利用解碼器端修改后的解碼過程對視頻數(shù)據(jù)流進(jìn)行解碼，獲得了對復(fù)雜度的動(dòng)態(tài)調(diào)整。該專利記載了一種對MPEG-2視頻解碼器系統(tǒng)中可縮放(scalable)模塊的閾值進(jìn)行動(dòng)態(tài)設(shè)置的方法。這個(gè)現(xiàn)有技術(shù)中的一個(gè)實(shí)施例包括縮放應(yīng)用，有選擇地只對滿足特定閾值的雙向可預(yù)測模塊進(jìn)行解碼，而丟棄不滿足該閾值的雙向可預(yù)測模塊。該閾值可以被動(dòng)態(tài)地調(diào)整，以便與系統(tǒng)中變化的資源級別和上下波動(dòng)的輸入數(shù)據(jù)相適應(yīng)。基于第一圖像組(GOP)而調(diào)整的閾值用于對第二GOP進(jìn)行解碼。
在上述提到的現(xiàn)有技術(shù)中，為了解碼器系統(tǒng)中的可縮放模塊而動(dòng)態(tài)地設(shè)置閾值。評估復(fù)雜度和修改解碼器的解碼方法是延遲反應(yīng)。通常，圖像的本質(zhì)(essential)部分會(huì)發(fā)生區(qū)域信息遺失，對觀察者造成煩人的假相。此外，使用基于在先GOP的閾值對當(dāng)前GOP進(jìn)行解碼會(huì)導(dǎo)致輸出圖像序列中無法預(yù)料的區(qū)域出現(xiàn)失真。換言之，現(xiàn)有技術(shù)的方法顯著地減低了視頻輸出質(zhì)量。

發(fā)明內(nèi)容
本發(fā)明的目的在于調(diào)整壓縮數(shù)據(jù)流的解碼復(fù)雜度，使其與視頻解碼器的可用容量相適應(yīng)，以獲得改進(jìn)的視頻輸出質(zhì)量。
本發(fā)明的目的以如下方式實(shí)現(xiàn)把開篇段落中提到的、設(shè)備中用于修改壓縮數(shù)據(jù)流的修改裝置設(shè)置為對壓縮數(shù)據(jù)流中所示的解碼方法進(jìn)行修改。
本發(fā)明提出的設(shè)備對壓縮數(shù)據(jù)流中所示的解碼方法進(jìn)行修改。所述設(shè)備評估壓縮數(shù)據(jù)流的解碼復(fù)雜度。只有當(dāng)評估的復(fù)雜度接近解碼器可用容量時(shí)，所述設(shè)備才被設(shè)計(jì)為發(fā)生作用。所述設(shè)備具有解碼器可用容量的先驗(yàn)知識。存在若干種方法使所述設(shè)備能夠獲知該知識。優(yōu)選地，當(dāng)解碼容量接近復(fù)雜度時(shí)，所述設(shè)備采取先發(fā)(pre-emptive)動(dòng)作。當(dāng)復(fù)雜度評估接近容量的100％時(shí)，所述設(shè)備能使解碼復(fù)雜度處于界限內(nèi)。例如，優(yōu)選地，在修改過程中，圖像中相對復(fù)雜部分的修改量會(huì)隨著復(fù)雜度接近或超過解碼器容量的100％而增加。這確保了解碼負(fù)荷平穩(wěn)、漸進(jìn)及先發(fā)地減小。對于固定的解碼器容量，獲得最佳圖像質(zhì)量。對于任意固定的解碼器容量，在所有情況下、以及對于任意的壓縮數(shù)據(jù)流，都能獲得最佳圖像質(zhì)量。
用于修改壓縮數(shù)據(jù)流的判定可以基于當(dāng)前圖像，并且該動(dòng)作對于相同圖像是有效的。結(jié)果，輸出的圖像質(zhì)量將會(huì)優(yōu)于現(xiàn)有技術(shù)中基于在先圖像序列而修改當(dāng)前圖像序列的判定所得到的圖像質(zhì)量。
現(xiàn)有技術(shù)中，修改解碼器級的解碼方法通常太晚，可能會(huì)影響到圖像的重要部分。如果解碼器無法分配資源，輸出圖像的決定性部分將出現(xiàn)空白區(qū)域或假相。本發(fā)明的優(yōu)勢在于使每一個(gè)圖像的解碼復(fù)雜度處于可用復(fù)雜度內(nèi)，同時(shí)獲得更好的視頻輸出質(zhì)量。對于解碼器可用容量，可以確保輸出端的最佳圖像質(zhì)量。
在用于修改壓縮數(shù)據(jù)流的設(shè)備的一個(gè)優(yōu)選實(shí)施例中，解碼復(fù)雜度基于用于圖像解碼的計(jì)算負(fù)荷或存儲(chǔ)器存取帶寬。
編碼后的視頻數(shù)據(jù)的解碼復(fù)雜度可從大量數(shù)值中的一個(gè)或更多個(gè)中評估得到，例如大量算法指令和/或大量存儲(chǔ)器讀/寫操作。這些數(shù)值又是直接來源于壓縮數(shù)據(jù)流中大量的可用參數(shù)，例如大量需處理的DCT系數(shù)，圖像中宏塊的位置，對錨定幀(anchor frame)的參考和/或來自運(yùn)動(dòng)預(yù)測的預(yù)測矢量長度。解碼器可能會(huì)超負(fù)荷，特別是由于兩種數(shù)值，計(jì)算負(fù)荷和存儲(chǔ)器存取帶寬。在本發(fā)明的優(yōu)選實(shí)施例中，直接從壓縮數(shù)據(jù)流中獲得復(fù)雜度評估。因此，修改流中所示的解碼方法的目的在于減小計(jì)算負(fù)荷或存儲(chǔ)器存取。
用于修改壓縮數(shù)據(jù)流的設(shè)備的優(yōu)選實(shí)施例的特征在于，修改裝置被設(shè)置用于根據(jù)啟發(fā)式心理視覺選擇標(biāo)準(zhǔn)來選擇區(qū)域，以及用于修改該區(qū)域的解碼方法。
優(yōu)選地，根據(jù)本發(fā)明的設(shè)備被設(shè)置用于根據(jù)啟發(fā)式心理視覺選擇標(biāo)準(zhǔn)首先選擇至少一個(gè)區(qū)域。還有可能隨機(jī)地從圖像中選擇至少一個(gè)區(qū)域，以簡化選擇過程。然而由于下列優(yōu)點(diǎn)，基于特定啟發(fā)式規(guī)則的選擇是優(yōu)選的。
在選擇修改解碼方法的區(qū)域時(shí)，能夠有利地應(yīng)用心理視覺標(biāo)準(zhǔn)，使得輸出圖像質(zhì)量不會(huì)顯著退化。優(yōu)選地，以如下方式確定標(biāo)準(zhǔn)對于觀看修改后的解碼圖像的觀察者的視覺系統(tǒng)模型來說，假相所產(chǎn)生的煩惱最小或者不太被其注意。通過應(yīng)用此標(biāo)準(zhǔn)，可以選擇大量區(qū)域以便使人類視覺系統(tǒng)注意到這些區(qū)域失真的可能性最小化。
例如，合適的選擇標(biāo)準(zhǔn)是區(qū)域和圖像邊界的臨近性。
和圖像中心部分的區(qū)域相比，圖像邊界或其附近區(qū)域的失真更難于被人類視覺系統(tǒng)所注意。
例如，另一合適的選擇標(biāo)準(zhǔn)是區(qū)域的移動(dòng)速度。
優(yōu)選地，運(yùn)動(dòng)矢量代表區(qū)域移動(dòng)速度。在快速運(yùn)動(dòng)時(shí)，即運(yùn)動(dòng)矢量大時(shí)，相應(yīng)移動(dòng)區(qū)域中的失真可能比具有小運(yùn)動(dòng)的區(qū)域更不明顯。。因此，和較慢運(yùn)動(dòng)區(qū)域相比，快速運(yùn)動(dòng)區(qū)域更適于減小解碼復(fù)雜度，而且更有利地選擇快速運(yùn)動(dòng)區(qū)域以修改解碼方法。
例如，另一合適的選擇標(biāo)準(zhǔn)是代表復(fù)雜紋理的區(qū)域。
和具有光滑紋理的區(qū)域相比，具有粗糙紋理的區(qū)域是容忍相對更多失真的較佳選擇。因此，優(yōu)選地選擇具有粗糙紋理的區(qū)域以修改解碼方法。
優(yōu)選地，修改裝置被設(shè)置用于把圖像區(qū)域的運(yùn)動(dòng)補(bǔ)償預(yù)測方法從雙向預(yù)測修改為單向預(yù)測。更優(yōu)選地，對通過應(yīng)用特定心理視覺選擇標(biāo)準(zhǔn)而選擇的區(qū)域進(jìn)行運(yùn)動(dòng)補(bǔ)償預(yù)測修改。
通過把運(yùn)動(dòng)補(bǔ)償預(yù)測方法從雙向預(yù)測改變?yōu)閱蜗蝾A(yù)測，僅需要訪問單一的參考圖像，而不是在雙向預(yù)測的情況下訪問兩個(gè)參考圖像。因此，可以有利地減少對應(yīng)用雙向預(yù)測進(jìn)行解碼的區(qū)域的存儲(chǔ)器存取。
此外，修改裝置被設(shè)置用于修改出現(xiàn)在壓縮數(shù)據(jù)流中的量化的轉(zhuǎn)換系數(shù)。
修改量化的轉(zhuǎn)換系數(shù)的優(yōu)選方法是，把具有更高頻率分量的轉(zhuǎn)換系數(shù)歸零。把量化步長從精細(xì)變?yōu)榇植冢軌蛴羞x擇地影響轉(zhuǎn)換系數(shù)的修改。量化步長的修改可以是階躍式改變，也可以是漸進(jìn)式改變。
優(yōu)選地，修改裝置被設(shè)置用于選擇矩形區(qū)域。
常規(guī)的正方形或矩形符合MPEG標(biāo)準(zhǔn)，例如，根據(jù)MPEG-2的塊、宏塊或片。在根據(jù)優(yōu)選實(shí)施例的設(shè)備中，能夠以特別有效的方式處理MPEG-2標(biāo)準(zhǔn)所規(guī)定的宏塊。
優(yōu)選地，修改裝置被設(shè)置用于選擇適合圖像中的對象的形狀的區(qū)域。
優(yōu)選地，所述設(shè)備被裝備用于處理非常規(guī)形狀的區(qū)域，使其與目前更多的MPEG標(biāo)準(zhǔn)相符，例如MPEG-4和AVC。在此情況下，多個(gè)區(qū)域或單個(gè)區(qū)域與圖像中出現(xiàn)的單個(gè)對象相對應(yīng)?？蛇x擇地，區(qū)域可以和圖像中多個(gè)對象相對應(yīng)。這是有用的，因?yàn)閳D像中某些區(qū)域比其他區(qū)域更易引起觀察者注意。例如，和包括背景的區(qū)域相比，包括人臉部的區(qū)域會(huì)得到觀察者更多的關(guān)注。
本發(fā)明的另一個(gè)目的是提供一種視頻處理系統(tǒng)，用于對具有開篇段落中描述的類型的圖像序列進(jìn)行壓縮和解壓縮。所述系統(tǒng)提供了相當(dāng)有效的裝置來調(diào)整壓縮數(shù)據(jù)流使其與解碼器可用復(fù)雜度相適應(yīng)。根據(jù)本發(fā)明的設(shè)備，特別是在上文所述的一個(gè)優(yōu)選實(shí)施例中提及的設(shè)備，在下文中將被稱作“預(yù)解析器(preparser)”。
所述視頻處理系統(tǒng)包括根據(jù)本發(fā)明用于對壓縮數(shù)據(jù)流進(jìn)行修改的預(yù)解析器。對于和預(yù)解析器的合作，不需要對解碼器的結(jié)構(gòu)做任何更改，因此對于任意數(shù)量的解碼器來講，這是一個(gè)靈活有效的系統(tǒng)。根據(jù)本發(fā)明的預(yù)解析器和解碼器是相互分離的。預(yù)解析器在有關(guān)于解碼器可用負(fù)荷容量的輸入或沒有該輸入時(shí)都能運(yùn)行。因此，預(yù)解析器能夠有利地位于多個(gè)位置。預(yù)解析器可形成數(shù)據(jù)壓縮器或數(shù)據(jù)解壓縮器的部分，或者位于視頻分發(fā)系統(tǒng)中的任何位置，從而增加了其通用性。預(yù)解析器能在獨(dú)立(stand-alone)模式下運(yùn)行，或者被集成于完整系統(tǒng)中。預(yù)解析器可完全以硬件、軟件或硬件和軟件的任意組合來實(shí)現(xiàn)。
能進(jìn)行如下一種或更多種的視頻相關(guān)處理的視頻處理裝置，，所述裝置有利地包括預(yù)解析器，用于-視頻解碼、編碼和代碼轉(zhuǎn)換；-視頻顯示；-視頻記錄；以及-視頻內(nèi)容分析和內(nèi)容識別。
視頻處理裝置可包括附加單元，例如接收單元、處理單元和/或顯示單元。例如，視頻處理裝置可以是數(shù)字電視、機(jī)頂盒、個(gè)人視頻錄像機(jī)、數(shù)字多用途光盤(DVD)播放器或記錄器、藍(lán)光播放器或記錄器、衛(wèi)星調(diào)諧器、有線服務(wù)提供商的首端設(shè)備、視頻分析系統(tǒng)、或視頻摘要系統(tǒng)。
預(yù)解析器被設(shè)計(jì)成接收與例如MPEG或AVC標(biāo)準(zhǔn)兼容的壓縮視頻流，并輸出與相同標(biāo)準(zhǔn)兼容的壓縮視頻流。盡管對該流進(jìn)行了修改，但是該流仍然維持與標(biāo)準(zhǔn)的完全兼容。換言之，預(yù)解析器可以被設(shè)計(jì)成能夠從與MPEG標(biāo)準(zhǔn)兼容的編碼器接收壓縮視頻流，而且同樣能夠向與MPEG標(biāo)準(zhǔn)兼容的解碼器輸出壓縮視頻流。因此，預(yù)解析器適于同現(xiàn)有的編碼器和解碼器一起工作。
本發(fā)明的另一個(gè)目的是提供一種開篇段落所定義的方法，該方法提供相對有效的裝置，用于調(diào)整壓縮數(shù)據(jù)流使其和解碼器的可用復(fù)雜度相適應(yīng)。
本發(fā)明的目的以如下方式實(shí)現(xiàn)修改壓縮數(shù)據(jù)流的步驟包括對流中所示的解碼方法進(jìn)行修改，例如，對解碼時(shí)所考慮的錨定幀的數(shù)目有關(guān)的參考數(shù)目進(jìn)行修改。參考下文所述的實(shí)施例，本發(fā)明的這些和其他方面將會(huì)變得明顯并得以說明


參考下文結(jié)合附圖的詳細(xì)描述，根據(jù)本發(fā)明的壓縮數(shù)據(jù)流修改器、圖像處理裝置、以及方法的這些和其他方面將會(huì)得以說明。附圖是本發(fā)明實(shí)施例的多個(gè)示例中的一個(gè)示例的示意性表示，其中圖1示意性地示出了功能框圖，該功能框圖示出了普通的視頻壓縮和解壓縮系統(tǒng)的組件。
圖2示意性地示出了功能框圖，該功能框圖示出了根據(jù)本發(fā)明的壓縮數(shù)據(jù)流修改器的實(shí)施例的一個(gè)示例的組件。
圖3示意性地示出了流程圖，該流程圖示出了根據(jù)本發(fā)明用于修改壓縮數(shù)據(jù)流的方法步驟。
圖4示意性地示出了根據(jù)本發(fā)明的視頻壓縮系統(tǒng)的實(shí)施例的表示。
圖5示意性地示出了根據(jù)本發(fā)明的視頻處理裝置的實(shí)施例的表示。
具體實(shí)施例方式
總體而言，本發(fā)明涉及用于把與圖像序列相對應(yīng)的壓縮數(shù)據(jù)流進(jìn)行動(dòng)態(tài)調(diào)整以使其與解碼器的可用容量相適應(yīng)的設(shè)備和方法。本發(fā)明的實(shí)施例能夠分析壓縮數(shù)據(jù)流、根據(jù)峰值內(nèi)存和帶寬需求來評估解碼復(fù)雜度、并調(diào)整數(shù)據(jù)流的解碼方法，從而減小數(shù)據(jù)流本身的復(fù)雜度，使其落入解碼器的可用容量中。在一個(gè)實(shí)施例中，以能夠利用單一的參考圖像來預(yù)測雙向圖像的區(qū)域的方式對壓縮數(shù)據(jù)流進(jìn)行修改，從而把存儲(chǔ)帶寬減小至原始帶寬的一半。在另一實(shí)施例中，針對所選擇的雙向圖像區(qū)域的集合對解碼方法進(jìn)行修改，其中所述選擇根據(jù)這些區(qū)域的心理視覺標(biāo)準(zhǔn)集合而做出。。
圖1示意性地示出了功能框圖，該功能框圖示出了普通的視頻壓縮和解壓縮系統(tǒng)的組件。視頻壓縮系統(tǒng)110包括視頻編碼器120。編碼器120從外部源接收圖像序列1。該圖像序列也可由內(nèi)部產(chǎn)生，例如在DVD播放器中產(chǎn)生。圖像壓縮系統(tǒng)的輸出信號121包括符合多個(gè)視頻壓縮標(biāo)準(zhǔn)之一(例如MPEG-2標(biāo)準(zhǔn))的壓縮數(shù)據(jù)流。輸出信號121可通過有線或無線介質(zhì)傳輸，并且在包括解碼器140的視頻解壓縮系統(tǒng)130處被接收。解碼器輸入是壓縮數(shù)據(jù)流1，解碼器輸出141包括與原始圖像序列1本質(zhì)上相似的圖像序列。
圖2示意性地示出了功能框圖，該功能框圖示出了根據(jù)本發(fā)明的壓縮數(shù)據(jù)流修改器270的一個(gè)實(shí)施例的組件。輸入數(shù)據(jù)流包括多個(gè)音頻和視頻數(shù)據(jù)流。首先，借助于現(xiàn)有技術(shù)把輸入流多路分解為單一視頻基本流(ES)。單一視頻ES優(yōu)選地由圖2所示的根據(jù)本發(fā)明的設(shè)備的一個(gè)實(shí)施例來接收和處理?？梢栽谧冮L解碼器(VLD)200的輸入端接收符合任意一種已知視頻壓縮標(biāo)準(zhǔn)(例如MPEG或AVC)的視頻ES。
VLD輸出數(shù)據(jù)流201，可以對數(shù)據(jù)流201進(jìn)行分析以評估解碼復(fù)雜度。評估器210根據(jù)數(shù)據(jù)流201逐幀評估解碼復(fù)雜度。例如，具有簡單形式的評估器能夠計(jì)算雙向預(yù)測區(qū)域的數(shù)量，并能夠評估對于特定幀而言解碼器所需的存儲(chǔ)帶寬。具有更復(fù)雜形式的評估器能夠根據(jù)多個(gè)參數(shù)來評估復(fù)雜度，例如被處理的多個(gè)DCT系數(shù)、總計(jì)算負(fù)荷及存儲(chǔ)帶寬。評估后的復(fù)雜度值212可用于控制器250。關(guān)于可預(yù)測性區(qū)域的附加數(shù)據(jù)及其運(yùn)動(dòng)信息可用于控制器250。數(shù)據(jù)流中可用的附加報(bào)頭數(shù)據(jù)可用于控制器，例如視頻格式、比特率、量化等級、場/幀編碼以及用于預(yù)測每個(gè)區(qū)域的參考圖像的數(shù)量。優(yōu)選地，控制器可以為圖像中的每個(gè)區(qū)域維持一個(gè)數(shù)組。優(yōu)選地，該數(shù)組中的元素和該區(qū)域各種特征有關(guān)，例如位置、運(yùn)動(dòng)矢量、參考圖像數(shù)量等。這些數(shù)據(jù)可根據(jù)另一個(gè)心理視覺標(biāo)準(zhǔn)而作為判定規(guī)則的輸入。
在本發(fā)明的多種預(yù)定實(shí)施例中，控制器250可在簡單系統(tǒng)至復(fù)雜系統(tǒng)之間變化。在簡單實(shí)施例的示例中，控制器250被裝備用于接收存儲(chǔ)帶寬的評估，將其與可用解碼器帶寬做比較，選擇多個(gè)雙向預(yù)測區(qū)域，以及把所選區(qū)域的標(biāo)識發(fā)送給修改裝置230。在復(fù)雜實(shí)施例的示例中，控制器250包括通過知識庫系統(tǒng)(knowledge-based system)識別和選擇區(qū)域的裝置。具有心理視覺標(biāo)準(zhǔn)形式的知識可對評估器210提供的每個(gè)區(qū)域的數(shù)據(jù)起作用。具有規(guī)則形式的知識建立于控制器250中。以如下方式選擇區(qū)域由于對解碼方法的修改所引起的假相和失真對于人類視覺系統(tǒng)來說更加不易察覺。優(yōu)選地，規(guī)則可以基于圖像中區(qū)域的位置、區(qū)域的移動(dòng)速度和/或區(qū)域的紋理內(nèi)容。也可以通過評估器210來評估紋理，并使其可以用于控制器250。把所選數(shù)目的區(qū)域的位置信息傳輸給修改裝置230。根據(jù)為每個(gè)區(qū)域而存儲(chǔ)的數(shù)據(jù)量、知識庫中規(guī)則的數(shù)目以及判定機(jī)制來設(shè)計(jì)和建立不同復(fù)雜程度的控制器250。此外，控制器250可以決定數(shù)據(jù)流的修改方法，并將該命令傳輸給數(shù)據(jù)流修改器210。例如，數(shù)據(jù)流的修改方法可以是，把區(qū)域的雙向預(yù)測變?yōu)閱蜗蝾A(yù)測和/或量化轉(zhuǎn)換系數(shù)的修改?？刂破?50的輸出具有命令指令251的形式，該命令指令251包括選擇用于修改的區(qū)域的位置信息和把每個(gè)區(qū)域的修改傳輸給修改裝置230的方法。
附加知識庫260能獲知數(shù)據(jù)流修改器270已獲知的解碼器系統(tǒng)的解碼容量?？蛇x擇地，流修改器能通過外部輸入2接收關(guān)于解碼器可用容量的信息。
修改裝置230也能接收壓縮數(shù)據(jù)流211，該數(shù)據(jù)流被延遲裝置220進(jìn)行足夠的延遲，延遲裝置220可以是例如用于補(bǔ)償控制器250中的處理延遲的延遲線或存儲(chǔ)器。因此，命令指令251自動(dòng)和時(shí)延后的數(shù)據(jù)流221同步。修改裝置230根據(jù)命令指令251對時(shí)延后的數(shù)據(jù)流221的解碼方法進(jìn)行修改。變長編碼器(VLE)240的輸入端接收修改后的數(shù)據(jù)流231。VLE的輸出241輸出是修改后的視頻ES，完全符合原始數(shù)據(jù)流的壓縮標(biāo)準(zhǔn)。
在一個(gè)實(shí)施例中，評估器210評估解碼器解碼所需的存儲(chǔ)帶寬。如果帶寬接近解碼器可用容量，則控制器250將從雙向預(yù)測區(qū)域的集合中選擇區(qū)域子集?？刂破?50進(jìn)一步向流修改裝置230發(fā)送指令，以修改所選擇的區(qū)域集合的解碼方法，使其從雙向預(yù)測變?yōu)閱蜗蝾A(yù)測。存儲(chǔ)帶寬需求將減小到原始帶寬需求的一半。另一個(gè)實(shí)施例在知識庫260中儲(chǔ)存有心理視覺標(biāo)準(zhǔn)規(guī)則的集合。然后，控制器250通過連接261獲得可應(yīng)用的規(guī)則，并根據(jù)這些規(guī)則的集合而選擇對解碼方法進(jìn)行修改的區(qū)域的集合。通過改變每個(gè)組件-評估器、控制器、流修改裝置或流延遲裝置-的復(fù)雜程度，或通過結(jié)合上述改變中的一個(gè)或幾個(gè)，可以實(shí)現(xiàn)各種其他的實(shí)施例。
圖3示意性地示出了流程圖，該流程圖示出了根據(jù)本發(fā)明用于修改壓縮數(shù)據(jù)流的方法步驟。在第一步驟300，接收與圖像序列相對應(yīng)的視頻基本流1(ES)，并執(zhí)行根據(jù)一種公知方法的變長解碼。在步驟310，評估幀解碼復(fù)雜度。在步驟320，把所評估的復(fù)雜度與解碼器容量做比較。如果該復(fù)雜度在解碼容量的期望限制內(nèi)，則不會(huì)對流進(jìn)行修改。在此情況下，步驟330、340和350不必執(zhí)行，如步驟360和300所示的那樣考慮下一個(gè)圖像幀。
如果復(fù)雜度接近或超過容量，步驟330、340和350將以修改解碼方法的形式執(zhí)行預(yù)防措施。為避免輸出圖像的質(zhì)量發(fā)生突然損失，將啟動(dòng)校正措施，例如當(dāng)復(fù)雜度評估達(dá)到解碼器容量的80％時(shí)。當(dāng)評估的復(fù)雜度達(dá)到90％并超越100％時(shí)，所需的校正量逐漸增加。在步驟330，根據(jù)一個(gè)或多個(gè)心理視覺標(biāo)準(zhǔn)來選擇執(zhí)行解碼方法修改的區(qū)域。大量區(qū)域按此方式進(jìn)行選擇，以便使解碼復(fù)雜度處于期望范圍內(nèi)。在步驟340，決定所要執(zhí)行的修改類型，例如規(guī)定從雙向預(yù)測變?yōu)閱蜗蝾A(yù)測。在步驟350，執(zhí)行解碼方法的修改。該過程一直延續(xù)到圖像序列的末尾，而圖像序列的末尾由步驟360來檢測。在步驟370，該過程結(jié)束。
在一個(gè)實(shí)施例中，在步驟310，對解碼器解碼所需的存儲(chǔ)帶寬進(jìn)行評估。然后在步驟330，選擇雙向圖像的區(qū)域集合，其預(yù)測方法將從雙向預(yù)測變?yōu)閱蜗蝾A(yù)測。優(yōu)選地，在步驟330中，心理視覺標(biāo)準(zhǔn)的集合，例如區(qū)域與圖像邊界的臨近性、區(qū)域運(yùn)動(dòng)速度、區(qū)域運(yùn)動(dòng)方向和區(qū)域紋理內(nèi)容，可用于判定針對哪些區(qū)域而修改解碼方法。通過為每一個(gè)功能性步驟選擇不同的復(fù)雜度，大量該實(shí)施例是可能的。
圖4示意性地示出了根據(jù)本發(fā)明的視頻壓縮系統(tǒng)的實(shí)施例的表示，包括-壓縮系統(tǒng)400，用于壓縮圖像序列1；-裝置410，用于修改壓縮數(shù)據(jù)流；以及-解壓縮系統(tǒng)420，用于對修改后的數(shù)據(jù)流進(jìn)行解壓縮。
視頻壓縮系統(tǒng)從視頻源接收圖像序列和相關(guān)的音頻。數(shù)據(jù)壓縮系統(tǒng)400通過使用公知技術(shù)對圖像序列進(jìn)行編碼而減小了數(shù)據(jù)量。壓縮系統(tǒng)的輸出包括符合一種公知標(biāo)準(zhǔn)的壓縮數(shù)據(jù)流401，例如MPEG或AVC?？梢园汛罅吭搲嚎s數(shù)據(jù)流進(jìn)行組合，以獲得單一數(shù)據(jù)流。
根據(jù)本發(fā)明實(shí)施例的視頻流修改器410接收壓縮數(shù)據(jù)流401?？梢越柚嗦贩纸馄靼迅鶕?jù)MPEG標(biāo)準(zhǔn)的數(shù)據(jù)流401進(jìn)行多路分解，以獲得基本視頻流(VS)和音頻流。基本視頻流經(jīng)受參考圖2和3所述的解碼方法修改。修改后，修改后的壓縮數(shù)據(jù)流411優(yōu)選地仍符合原始基本視頻流的標(biāo)準(zhǔn)。可以把修改后的數(shù)據(jù)流411與相應(yīng)的音頻流進(jìn)行多路復(fù)用，以獲得與壓縮系統(tǒng)的原始輸出兼容的數(shù)據(jù)流。
可以借助解壓縮系統(tǒng)420對修改后的數(shù)據(jù)流411進(jìn)行解壓縮，以獲得圖像序列421。流修改器410可以位于和壓縮或解壓縮系統(tǒng)隔離的視頻分發(fā)系統(tǒng)中，例如在本地服務(wù)提供商的首端。
圖5示意性地示出了根據(jù)本發(fā)明的視頻處理裝置500的實(shí)施例的表示。根據(jù)本發(fā)明的壓縮流修改器510接收包括壓縮數(shù)據(jù)流的信號501，并呈送與原始數(shù)據(jù)流501的標(biāo)準(zhǔn)兼容的數(shù)據(jù)流511?？梢栽诮獯a器520中對數(shù)據(jù)流511進(jìn)行解碼。解碼器520的輸出包括可以顯示在顯示設(shè)備上的圖像序列521?？蛇x擇地，數(shù)據(jù)流可通過有線或無線分發(fā)系統(tǒng)再次傳輸或被記錄在記錄介質(zhì)上。根據(jù)本發(fā)明的壓縮數(shù)據(jù)流修改器是通用的，而且可以位于多個(gè)可能的位置之一，為裝置提供視頻分發(fā)服務(wù)，例如為家用網(wǎng)絡(luò)的中心電腦或移動(dòng)通信網(wǎng)絡(luò)的分發(fā)點(diǎn)的首端提供視頻分發(fā)服務(wù)。
在權(quán)利要求中，動(dòng)詞“包括”及其變形的使用不排除多個(gè)元件或步驟的存在。在列舉了若干裝置的設(shè)備權(quán)利要求中，這些裝置中的若干裝置能夠以一項(xiàng)硬件來實(shí)現(xiàn)。本發(fā)明可通過包括若干不同元件的硬件和適當(dāng)編程的計(jì)算機(jī)來實(shí)施。實(shí)際操作中，本文公開的算法要素可(全部或部分地)以硬件(例如專用IC的部分)、運(yùn)行在專用數(shù)字信號處理器上的軟件或通用處理器等來實(shí)現(xiàn)。
計(jì)算機(jī)程序產(chǎn)品可理解為處理器通用或?qū)Ｓ妹畹膮R集的任意物理實(shí)現(xiàn)，在一系列載入步驟(可能包括中間轉(zhuǎn)換步驟，例如轉(zhuǎn)換為中間語言和最終的處理器語言)以便把命令載入處理器之后，執(zhí)行本發(fā)明的任意特征功能。具體地，計(jì)算機(jī)程序產(chǎn)品能夠以例如磁盤、磁帶的載體上的數(shù)據(jù)或以紙件上的程序代碼而實(shí)現(xiàn)。除了程序代碼之外，程序所需的特征數(shù)據(jù)也能夠以計(jì)算機(jī)程序產(chǎn)品而實(shí)現(xiàn)。
所述方法操作所需的某些步驟能夠以處理器的功能而出現(xiàn)，而不是在所描述的計(jì)算機(jī)程序產(chǎn)品中，例如數(shù)據(jù)輸入和輸出步驟。
應(yīng)注意，上述實(shí)施例對本發(fā)明做出了描述而不是限制。除了如權(quán)利要求中組合的本發(fā)明的元件組合之外，其他的元件組合也是可能的。任意的元件組合都可在單一的專用元件中實(shí)現(xiàn)。
權(quán)利要求
1.一種用于對解碼器中要解碼的壓縮數(shù)據(jù)流進(jìn)行修改的設(shè)備，所述壓縮數(shù)據(jù)流由對包括像素區(qū)的圖像序列進(jìn)行編碼而獲得，所述設(shè)備包括-評估裝置，用于評估對來自壓縮數(shù)據(jù)流的圖像進(jìn)行解碼所需的解碼復(fù)雜度；-修改裝置，用于當(dāng)圖像的解碼復(fù)雜度接近解碼器容量時(shí)對壓縮數(shù)據(jù)流進(jìn)行修改，其特征在于，所述修改裝置被設(shè)置用于修改所述壓縮數(shù)據(jù)流中所示的解碼方法。
2.如權(quán)利要求1所述的設(shè)備，其中，所述解碼復(fù)雜度基于圖像解碼的計(jì)算負(fù)荷或存儲(chǔ)器存取帶寬。
3.如權(quán)利要求1所述的設(shè)備，其中，所述修改裝置被設(shè)置用于根據(jù)啟發(fā)式心理視覺選擇標(biāo)準(zhǔn)而選擇區(qū)域，并修改所述區(qū)域的解碼方法。
4.如權(quán)利要求3所述的裝置，其中，所述選擇標(biāo)準(zhǔn)是所述區(qū)域與圖像邊界的臨近性。
5.如權(quán)利要求3所述的裝置，其中，所述選擇標(biāo)準(zhǔn)是所述區(qū)域的移動(dòng)速度。
6.如權(quán)利要求3所述的裝置，其中，所述選擇標(biāo)準(zhǔn)是所述區(qū)域的紋理的度量。
7.如權(quán)利要求1所述的裝置，其中，所述修改裝置被設(shè)置用于把圖像域的運(yùn)動(dòng)補(bǔ)償預(yù)測方法從雙向預(yù)測修改為單向預(yù)測。
8.如權(quán)利要求1所述的裝置，其中，所述修改裝置被設(shè)置用于修改出現(xiàn)在所述壓縮數(shù)據(jù)流中的量化的轉(zhuǎn)換系數(shù)。
9.如權(quán)利要求3所述的裝置，其中，所述修改裝置被設(shè)置用于選擇矩形區(qū)域。
10.如權(quán)利要求3所述的裝置，其中，所述修改裝置被設(shè)置用于選擇具有與圖像中的對象相適應(yīng)的形狀的區(qū)域。
11.一種視頻處理系統(tǒng)，用于對圖像序列進(jìn)行壓縮和解壓縮，所述系統(tǒng)包括-編碼器，用于對圖像序列進(jìn)行解碼，并輸出壓縮數(shù)據(jù)流；-如權(quán)利要求1所述用于修改壓縮數(shù)據(jù)流的設(shè)備；以及-解碼器，用于對修改的壓縮數(shù)據(jù)流進(jìn)行解碼，以獲得圖像序列。
12.一種視頻處理裝置，包括-接收裝置，用于接收包括與圖像序列相對應(yīng)的壓縮數(shù)據(jù)流的信號；以及-如權(quán)利要求1所述用于修改壓縮數(shù)據(jù)流的設(shè)備。
13.一種用于對解碼器中要解碼的壓縮數(shù)據(jù)流進(jìn)行修改的方法，所述壓縮數(shù)據(jù)流由對包括像素區(qū)的圖像序列進(jìn)行編碼而獲得，所述方法包括-評估對來自壓縮數(shù)據(jù)流的圖像進(jìn)行解碼所需的解碼復(fù)雜度；以及-當(dāng)圖像的解碼復(fù)雜度接近解碼器容量時(shí)對所述流進(jìn)行修改，其特征在于，-修改所述壓縮數(shù)據(jù)流包括修改所述流中所示的解碼方法。
14.一種計(jì)算機(jī)程序產(chǎn)品，包括使處理器能夠執(zhí)行如權(quán)利要求13所述對壓縮數(shù)據(jù)流進(jìn)行修改的方法的代碼，所述計(jì)算機(jī)程序產(chǎn)品包括-用于評估對來自壓縮數(shù)據(jù)流的圖像進(jìn)行解碼所需的解碼復(fù)雜度的代碼；以及-用于當(dāng)圖像的解碼復(fù)雜度接近解碼器容量時(shí)對所述流進(jìn)行修改的代碼，其特征在于，-用于修改所述壓縮數(shù)據(jù)流的代碼包括用于修改所述流中所示的解碼方法的代碼。
全文摘要
公開了一種壓縮數(shù)據(jù)流修改器270。該流修改器修改輸入數(shù)據(jù)流，所述輸入數(shù)據(jù)流包括符合任意一種公知視頻壓縮標(biāo)準(zhǔn)的視頻數(shù)據(jù)流和音頻數(shù)據(jù)流，例如MPEG或AVC。輸入數(shù)據(jù)流首先被多路分解，以獲得單一視頻基本流。然后，視頻基本流被變長解碼器解碼，并被提供給數(shù)據(jù)流修改器。每幀的解碼復(fù)雜度由評估器210評估，并提供給控制器250?？刂破鞲鶕?jù)某些心理視覺標(biāo)準(zhǔn)從每幀中選擇大量區(qū)域，因此，這些區(qū)域的修改方法使解碼復(fù)雜度處于解碼器的可用容量內(nèi)。因此獲得了用于調(diào)整解碼復(fù)雜度使其預(yù)可用容量相適應(yīng)的有效裝置。
文檔編號H04N7/24GK101088293SQ200580044223
公開日2007年12月12日 申請日期2005年12月19日 優(yōu)先權(quán)日2004年12月22日
發(fā)明者格特·范德海登, 漢斯·蒂克拉爾 申請人:皇家飛利浦電子股份有限公司