專利名稱：處理媒體系統(tǒng)上的媒體信號(hào)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種處理媒體系統(tǒng)上的媒體信號(hào)的方法，該方法包括以下步驟-通過(guò)算法請(qǐng)求資源以便提供多個(gè)輸出質(zhì)量等級(jí)；-給算法分配預(yù)算以便允許以多個(gè)質(zhì)量等級(jí)中的第一質(zhì)量等級(jí)來(lái)操作算法。
本發(fā)明進(jìn)一步涉及一種用于執(zhí)行上述方法的計(jì)算機(jī)系統(tǒng)。
本發(fā)明進(jìn)一步涉及一種用于執(zhí)行上述方法的計(jì)算機(jī)程序產(chǎn)品。
背景技術(shù)：
非在先公開(kāi)的歐洲申請(qǐng)EP0109691(代理人委托號(hào)PHNL010327)描述了一種運(yùn)行算法的方法和一種諸如VCR、DVD-RW、硬盤之類的系統(tǒng)上的可伸縮可編程處理設(shè)備或因特網(wǎng)鏈路上的可伸縮可編程處理設(shè)備。申請(qǐng)EP0109691利用資源來(lái)設(shè)置多個(gè)質(zhì)量等級(jí)，并且分配資源的預(yù)算。所述方法進(jìn)一步按優(yōu)化算法的次序來(lái)運(yùn)行該算法，以確保已分配的預(yù)算等于所請(qǐng)求的算法的資源。
用于媒體信號(hào)處理的算法通常是為特定的或固定的質(zhì)量等級(jí)而設(shè)計(jì)的，并且已經(jīng)在其特定環(huán)境的專用硬件上實(shí)施了多年。舉例來(lái)說(shuō)，在各種傳統(tǒng)的電視接收器上，將特定的IC組合起來(lái)以便執(zhí)行例如用于NTSC或PAL制式系統(tǒng)的彩色解碼、降噪或幀速率上變換。
在軟件模塊這邊，目前的算法是為指定資源上的最高質(zhì)量而設(shè)計(jì)的。它們不是可升級(jí)的并且具有固定的功能。并行運(yùn)行的算法數(shù)目是與平臺(tái)相關(guān)的并且是非常有限的。

發(fā)明內(nèi)容
所描述的方法涉及到這樣一個(gè)問(wèn)題，即由于現(xiàn)有技術(shù)僅僅在特定條件下處理媒體信號(hào)以實(shí)現(xiàn)預(yù)定的質(zhì)量等級(jí)，因而其致力于已構(gòu)思的目的。現(xiàn)有技術(shù)的方法適用于媒體信號(hào)的可預(yù)測(cè)需求。
所描述的方法進(jìn)一步涉及了這樣一個(gè)問(wèn)題，即由于資源被共享，因而正在被處理的媒體信號(hào)的進(jìn)度可能過(guò)快而導(dǎo)致過(guò)低的質(zhì)量，或者正在被處理的媒體信號(hào)的進(jìn)度可能過(guò)慢，也就是對(duì)任務(wù)或功能的處理沒(méi)有及時(shí)結(jié)束。
因此，有利的是提供一種能夠適應(yīng)于改變媒體信號(hào)需求的方法，并且提供這樣一種方法，該方法本身可以進(jìn)一步地從改變媒體信號(hào)中的要求的過(guò)程中得到學(xué)習(xí)。對(duì)于質(zhì)量等級(jí)而言，改變媒體信號(hào)的需求可能是不可預(yù)測(cè)的需要，并且此外媒體信號(hào)本身可以變得不能預(yù)料地復(fù)雜，由此而需要更多的處理能力。
因此，本發(fā)明的一個(gè)目的是，提供一種能夠自動(dòng)地適應(yīng)于改變媒體信號(hào)的需求的方法。
因此，本發(fā)明的另一個(gè)目的是，提供一種能夠從先前媒體信號(hào)處理中得到學(xué)習(xí)和自適應(yīng)的方法和媒體系統(tǒng)。
所述媒體系統(tǒng)可以為智能VCR、機(jī)頂盒、TV、個(gè)人電腦、存儲(chǔ)器、顯示器和/或可以處理、展示和/或存儲(chǔ)媒體信號(hào)的任何其它的電子設(shè)備。所述媒體系統(tǒng)還可以是一個(gè)能夠在已處理的媒體信號(hào)被使用或顯示給媒體系統(tǒng)的用戶以前先內(nèi)部地處理媒體信號(hào)的設(shè)備。
所述媒體信號(hào)可以為視頻信號(hào)、音頻信號(hào)、多媒體信號(hào)、數(shù)據(jù)流或任何其它信號(hào)的表示，這些媒體信號(hào)都可以在媒體系統(tǒng)中被處理。
所述目的是通過(guò)開(kāi)始段落中所提及的那種類型的方法來(lái)實(shí)現(xiàn)的，該方法進(jìn)一步包括以下步驟-確定正在由算法處理的媒體信號(hào)的進(jìn)度；-確定在操作算法期間所使用的預(yù)算；和-根據(jù)進(jìn)度、已分配的預(yù)算和所使用的預(yù)算來(lái)設(shè)置用于媒體信號(hào)處理的第二質(zhì)量等級(jí)。
作為第一步的結(jié)果，確定了正在處理的媒體信號(hào)的進(jìn)度。確定媒體信號(hào)隨時(shí)間處理過(guò)程中的某個(gè)任務(wù)或功能的進(jìn)展?？梢詫⑺_定為已處理的像素的數(shù)目、已處理的音頻分組的數(shù)目等等。
作為第二步的結(jié)果，確定了在操作期間使用的預(yù)算。它也可以根據(jù)處理能力的百分比、存儲(chǔ)單元的數(shù)目、帶寬使用、協(xié)處理器選擇使用等等來(lái)加以確定。
作為第三步的結(jié)果，可以根據(jù)進(jìn)度、已分配的預(yù)算和所使用的預(yù)算來(lái)設(shè)置質(zhì)量等級(jí)。當(dāng)性能在操作算法期間是已知的時(shí)，——也就是，與已分配的預(yù)算相比的所使用的預(yù)算——該方法可以知道是否已經(jīng)使用了過(guò)多的資源或者是否資源仍然可用。在那個(gè)基礎(chǔ)上——由于可以假定較高的質(zhì)量可能會(huì)需要更多的資源，反之亦然——可以根據(jù)媒體信號(hào)的估計(jì)后的性能來(lái)設(shè)置質(zhì)量等級(jí)?？梢云毡榈販y(cè)算出媒體信號(hào)的性能，以便也普遍地精調(diào)資源使用和質(zhì)量等級(jí)的設(shè)置。
通過(guò)這三個(gè)步驟，媒體信號(hào)處理過(guò)快或過(guò)慢的問(wèn)題得以解決，這是因?yàn)橛糜谔幚淼馁Y源被最優(yōu)化，以便及時(shí)完成任務(wù)或功能和/或以便提供最佳的質(zhì)量等級(jí)。
另外，通過(guò)這三個(gè)步驟，該方法更好地適應(yīng)于改變媒體信號(hào)中的需求。
在權(quán)利要求2和3中描述了該方法的其它優(yōu)選實(shí)施例。
因此，該方法利用關(guān)于媒體信號(hào)的處理的歷史信息，來(lái)設(shè)置用于媒體信號(hào)處理的質(zhì)量等級(jí)，也就是該方法可以學(xué)習(xí)先前處理媒體信號(hào)的結(jié)果和進(jìn)一步地適應(yīng)于這個(gè)結(jié)果。另外的一個(gè)優(yōu)點(diǎn)就是該方法可以由此更加迅速地精調(diào)成具有某個(gè)期望質(zhì)量等級(jí)的指定媒體信號(hào)，這是因?yàn)樗梢跃哂泻褪褂门c具有在相同或類似等級(jí)上獲得的質(zhì)量的相同或類似媒體信號(hào)的相似情況的歷史信息(設(shè)置、結(jié)果等等)。因此實(shí)現(xiàn)了從先前的媒體信號(hào)的處理中學(xué)習(xí)和自適應(yīng)的目的。
在權(quán)利要求4中描述了該方法的另一個(gè)優(yōu)選實(shí)施例。
當(dāng)在處理媒體信號(hào)的過(guò)程中使用了少于已分配的預(yù)算時(shí)，這意味著空閑資源是可用的，并且這些可以用來(lái)增高質(zhì)量等級(jí)，也就是設(shè)置更高的質(zhì)量等級(jí)。
在權(quán)利要求5中描述了該方法的另一個(gè)優(yōu)選實(shí)施例。
因此，如果過(guò)高預(yù)算使用的情況繼續(xù)下去的話，那么預(yù)計(jì)媒體信號(hào)的剩余處理過(guò)程中的任務(wù)或功能可能不會(huì)及時(shí)結(jié)束。這意味著這些資源可能必須要被釋放和提供，以便及時(shí)幫助將要結(jié)束的任務(wù)或功能。資源的釋放可以通過(guò)降低媒體信號(hào)處理過(guò)程中的一個(gè)或多個(gè)任務(wù)或功能的質(zhì)量等級(jí)來(lái)實(shí)現(xiàn)。
在權(quán)利要求6中描述了該方法的另一個(gè)優(yōu)選實(shí)施例。
因此，本發(fā)明先前陳述并實(shí)現(xiàn)的目的能夠幫助諸如VCR、TV、機(jī)頂盒、存儲(chǔ)器和顯示器之類的媒體系統(tǒng)自適應(yīng)地將資源及時(shí)精調(diào)成質(zhì)量和任務(wù)或功能的結(jié)束。
在權(quán)利要求7和8中描述了根據(jù)本發(fā)明的計(jì)算機(jī)系統(tǒng)和計(jì)算機(jī)程序產(chǎn)品的實(shí)施例。


下面結(jié)合優(yōu)選實(shí)施例并參照附圖，將更加充分地解釋本發(fā)明，在圖中圖1示出算法的基本結(jié)構(gòu)；圖2示出可伸縮算法的詳圖；圖3示出已分配的預(yù)算與進(jìn)度之間的最佳匹配；圖4示出慢進(jìn)度的示例；圖5示出快進(jìn)度的示例；圖6示出用于邊緣或銳度增強(qiáng)的算法上的可伸縮功能的示例；圖7示出自適應(yīng)環(huán)境中的具有進(jìn)度測(cè)算的可伸縮算法的功能性示例；圖8示出具有歷史存儲(chǔ)器的自適應(yīng)環(huán)境中的具有進(jìn)度測(cè)算的另一個(gè)可伸縮算法的功能性示例；圖9示出歷史存儲(chǔ)器的其它用途；和圖10示出處理媒體系統(tǒng)上的媒體信號(hào)的方法。
具體實(shí)施例方式
圖1示出了算法的基本結(jié)構(gòu)。在該圖中，示出了本發(fā)明的優(yōu)選實(shí)施例，媒體系統(tǒng)中的媒體信號(hào)(參考標(biāo)記101)通常可能會(huì)經(jīng)歷改變——也就是由于如在下面的圖中更加詳細(xì)解釋的各種技術(shù)原因而被變換——成為媒體信號(hào)輸出(參考標(biāo)記103)。該媒體信號(hào)可以是經(jīng)歷上述改變或變換的信號(hào)或部分信號(hào)。
該媒體系統(tǒng)可以是智能VCR、機(jī)頂盒、TV、個(gè)人電腦、存儲(chǔ)器、顯示器和/或任何其它可以處理、呈現(xiàn)和/或存儲(chǔ)媒體信號(hào)的電子設(shè)備。一般而言，該媒體系統(tǒng)可以是能夠在可以使用或向媒體系統(tǒng)的用戶顯示已處理的媒體信號(hào)以前先進(jìn)一步對(duì)媒體信號(hào)進(jìn)行內(nèi)部處理的系統(tǒng)。
‘用于媒體信號(hào)處理的算法’塊(參考標(biāo)記102)對(duì)輸入信號(hào)(參考標(biāo)記101)進(jìn)行處理，并提供交換所需計(jì)算資源的許多質(zhì)量等級(jí)。另外，在處理媒體信號(hào)信息過(guò)程中的進(jìn)度—也就是‘信號(hào)輸入’-處理成‘信號(hào)輸出’變化的進(jìn)度——是可以根據(jù)塊質(zhì)量控制(參考標(biāo)記104)來(lái)訪問(wèn)的。
QC(參考標(biāo)記104)，‘質(zhì)量控制’塊將輸入控制信號(hào)轉(zhuǎn)化為用于‘媒體信號(hào)處理的算法’塊中所需的設(shè)置。此外，關(guān)于各種設(shè)置和資源需求的信息例如可以存儲(chǔ)在可外部訪問(wèn)的‘查找表’或數(shù)據(jù)庫(kù)中。可以向外部設(shè)備報(bào)告進(jìn)度，所述外部設(shè)備可以用于自適應(yīng)質(zhì)量/資源控制。至少兩個(gè)測(cè)算是可以的一方面是進(jìn)度測(cè)算PM(108)，另一方面是管理預(yù)算使用測(cè)算BU(106)。
可以設(shè)置和從質(zhì)量控制104中檢索出質(zhì)量等級(jí)QL105。
因此，已使用的預(yù)算——作為在會(huì)計(jì)學(xué)中公知的術(shù)語(yǔ)——可以是已分配的預(yù)算的一部分。
可以估計(jì)所分配的預(yù)算或所述預(yù)算，并且可以用必要的可用資源(例如，CPU周期數(shù)、時(shí)間)來(lái)表示它們，以便執(zhí)行確定的功能或執(zhí)行更多的功能。
相應(yīng)地，進(jìn)度測(cè)算——可以被視作為所使用的預(yù)算——可以用測(cè)算出的實(shí)際資源使用來(lái)表示，例如CPU周期數(shù)、使用時(shí)間以及更重要的所看到的和隨時(shí)間測(cè)算出的媒體信號(hào)處理過(guò)程中某個(gè)任務(wù)或功能的進(jìn)程的計(jì)算。某個(gè)任務(wù)的進(jìn)程或進(jìn)度可以是時(shí)間緊迫的，這是因?yàn)槿蝿?wù)的處理結(jié)果——如果在緊迫的實(shí)時(shí)相關(guān)媒體系統(tǒng)中被提供過(guò)遲的話——?jiǎng)t可能具有這一結(jié)果要么無(wú)用(由于過(guò)遲的傳送以致它不能適當(dāng)?shù)丶傻矫襟w信號(hào)中)，要么它可能以不合適的方式影響媒體信號(hào)的作用，因?yàn)楫?dāng)保持的媒體信號(hào)達(dá)到過(guò)遲的話，則其可能會(huì)在接收以及集成此類處理的任務(wù)的結(jié)果的過(guò)程中存在困難。
在當(dāng)可伸縮算法僅僅能夠測(cè)算進(jìn)度(例如，在諸如像多媒體媒體信號(hào)這樣的媒體信號(hào)情況下處理的像素、處理的音頻分組數(shù)目)時(shí)的情況下，則外部設(shè)備可以提供所使用的預(yù)算。所使用的預(yù)算可以以標(biāo)準(zhǔn)形式來(lái)提供。標(biāo)準(zhǔn)形式(即標(biāo)準(zhǔn)化預(yù)算)是用于已分配預(yù)算的預(yù)算比率。需要對(duì)進(jìn)度和已分配預(yù)算的認(rèn)識(shí)來(lái)計(jì)算性能。通過(guò)考慮性能值，可以將性能判斷為高或差。當(dāng)多于已分配預(yù)算被使用時(shí)，存在性能差的情況。當(dāng)標(biāo)準(zhǔn)化預(yù)算大于一個(gè)時(shí)也可以這樣來(lái)表示。相反地，當(dāng)少于已分配的預(yù)算被使用時(shí)，存在高性能的情況。當(dāng)正常化預(yù)算小于一個(gè)時(shí)也可以這樣來(lái)表示。其中若正?；A(yù)算等于一個(gè)，則剛好已分配的預(yù)算被使用，即所使用的預(yù)算等于已分配的預(yù)算。目前，可以在處理媒體信號(hào)期間計(jì)算性能。由此，性能可能隨時(shí)間變化。
然而，重要的是應(yīng)當(dāng)注意所述性能是在處理一個(gè)功能的進(jìn)度或處理多個(gè)功能的綜合進(jìn)度的情況下加以考慮的。一個(gè)功能或多個(gè)功能的質(zhì)量測(cè)算是另一個(gè)方面，并且以更復(fù)雜方式與性能相關(guān)。在后面的圖中將描述關(guān)于設(shè)置等質(zhì)量方面的處理。
可以在可伸縮算法的質(zhì)量控制單元QC(104)內(nèi)進(jìn)行功率計(jì)算，或者在外部進(jìn)行計(jì)算。
如果可伸縮算法能夠測(cè)算所使用的預(yù)算BU(106)(例如，CPU周期數(shù)、使用時(shí)間)以及進(jìn)度PM(108)，那么由于該可伸縮算法自身能夠執(zhí)行測(cè)量，因而該可伸縮算法就可能會(huì)變得更獨(dú)立于外部控制。在不涉及外部處理能力或外部控制的情況下，所述可伸縮算法也許能通過(guò)內(nèi)部的功能精調(diào)(fine-tuning)來(lái)對(duì)已分配預(yù)算執(zhí)行自適應(yīng)。
圖2示出了可伸縮算法的詳圖。同圖1相比，該圖在參考標(biāo)記202塊中示出了可伸縮算法102的更詳細(xì)的圖。該圖示出了本發(fā)明的另一個(gè)優(yōu)選實(shí)施例，這里參考標(biāo)記201是媒體信號(hào)輸入，而參考標(biāo)記203是媒體信號(hào)輸出。用于媒體信號(hào)處理的算法通?？梢园ú煌墓δ?，諸如像對(duì)應(yīng)于功能F1至F4的參考標(biāo)記207至210。雖然僅示出了四個(gè)功能，但是也可以在算法中使用別的功能數(shù)目。對(duì)于幾種質(zhì)量等級(jí)而言，它們中的一些可能是可伸縮的，但是對(duì)于質(zhì)量而言，其它的一些可能不是可伸縮的。對(duì)于將變得可伸縮的功能的需求與將變得不可伸縮的能夠的需求的混合將隨時(shí)間變化，或者可能會(huì)依將要處理的實(shí)際媒體信號(hào)而變，例如，MPEG信號(hào)可能會(huì)由于壓縮、使用的數(shù)據(jù)等來(lái)改變關(guān)于對(duì)隨時(shí)間的處理能力的需要。可伸縮算法的輸出結(jié)果(媒體信號(hào)輸出)可能要取決于功能F1至F4的質(zhì)量等級(jí)的適當(dāng)組合。
質(zhì)量等級(jí)的控制信號(hào)QL(參考標(biāo)記205)可以同所選的質(zhì)量等級(jí)一樣簡(jiǎn)單。塊‘質(zhì)量控制’QC(參考標(biāo)記204)本身可以具有關(guān)于媒體信號(hào)處理算法的特定知識(shí)以及為所包含的功能而設(shè)置的組合。這種知識(shí)可以存儲(chǔ)在查找表或數(shù)據(jù)庫(kù)中，可以外部訪問(wèn)所述查找表或數(shù)據(jù)庫(kù)。
就所使用的預(yù)算BU(參考標(biāo)記206)而言，關(guān)于進(jìn)度或性能的附加信息可以由可伸縮算法內(nèi)的功能來(lái)提供。在對(duì)于具有視頻信息的媒體信號(hào)的簡(jiǎn)單情況下，即視頻處理，僅僅可以計(jì)算已處理過(guò)的像素、塊、數(shù)據(jù)塊或數(shù)據(jù)組。該計(jì)算可以是功能F1至F4中一個(gè)或多個(gè)的一部分。通過(guò)質(zhì)量控制塊QC(參考標(biāo)記204)，可以外部訪問(wèn)這個(gè)信息以計(jì)算當(dāng)前的性能。另一個(gè)選擇就是計(jì)算參考標(biāo)記202中所示的可伸縮算法的塊內(nèi)的性能。作為進(jìn)度測(cè)算的任務(wù)耗費(fèi)的處理時(shí)間可以外部加以提供，或者內(nèi)部加以測(cè)算。利用對(duì)當(dāng)前性能的認(rèn)識(shí)，可以進(jìn)行處理資源的自適應(yīng)精調(diào)以便適應(yīng)于已分配的預(yù)算，其中功能F1至F4的質(zhì)量等級(jí)可以被增高或降低。典型地，對(duì)媒體信號(hào)的高質(zhì)量的需要可能需要更多的處理資源，反之亦然。
圖3示出了已分配的預(yù)算與進(jìn)度之間的最佳匹配。該圖示出了經(jīng)過(guò)已分配的一段周期所使用的預(yù)算——諸如像圖1或圖2的BU——以便完成任務(wù)或功能。在理想的情況下，隨著所述功能任務(wù)的完成(P相當(dāng)于進(jìn)度軸)，完全地使用了已分配預(yù)算(在B軸上)。實(shí)際上，性能可能在已分配的周期上變化，并且通常進(jìn)度要么過(guò)慢(如圖4所示)，要么不必要地快(如圖5所示)。
圖4示出了本發(fā)明另一個(gè)優(yōu)選實(shí)施例中的慢進(jìn)度的示例。在短進(jìn)度周期A內(nèi)，已分配的預(yù)算的主要部分都已被使用。繼續(xù)同樣的方式，據(jù)預(yù)估無(wú)法在已分配的預(yù)算內(nèi)實(shí)現(xiàn)任務(wù)完成。根據(jù)整個(gè)媒體系統(tǒng)資源，即將要在功能間共享的資源，一個(gè)選擇就是為這個(gè)任務(wù)或功能給予更高的預(yù)算。校正性能差的另一種方法就是選擇具有更低資源需求(周期B)的低質(zhì)量等級(jí)，以便保持在已分配的預(yù)算之內(nèi)或者接近于已分配的預(yù)算。這是一個(gè)只具有一個(gè)校正點(diǎn)的示例，但事實(shí)上許多個(gè)校正點(diǎn)也是可能的。當(dāng)完成任務(wù)或功能時(shí)也可以測(cè)算性能。對(duì)于下一個(gè)已分配的周期，可以選擇降低后的新(更低)質(zhì)量等級(jí)，以便達(dá)到已分配預(yù)算與進(jìn)度之間的更優(yōu)匹配。
圖5示出了快進(jìn)度的示例。該圖示出了本發(fā)明的另一個(gè)優(yōu)選實(shí)施例，其中在周期A中實(shí)現(xiàn)了具有小預(yù)算使用的高進(jìn)度或快進(jìn)度?？深A(yù)測(cè)的是已分配的預(yù)算過(guò)高并且將不會(huì)在同一質(zhì)量等級(jí)(1)上持續(xù)使用它。一種可能性就是可以降低已分配的預(yù)算，即，使用更少的資源，借此來(lái)為其它任務(wù)或功能釋放資源。作為選擇，可以通過(guò)轉(zhuǎn)變成更高的質(zhì)量等級(jí)來(lái)實(shí)現(xiàn)任務(wù)或功能，典型地，由此將使用已分配預(yù)算的更多資源。在周期B中，曲線(2)可以描繪出在更高質(zhì)量等級(jí)上的增加后的預(yù)算使用。對(duì)于下一個(gè)已分配的周期，可以選擇新(更高)質(zhì)量等級(jí)來(lái)達(dá)到已分配預(yù)算與進(jìn)度之間的最佳匹配。
對(duì)于圖3至5而言，應(yīng)當(dāng)指出的是所述過(guò)程可能是一個(gè)具有適應(yīng)于已分配預(yù)算與進(jìn)度之間的相互關(guān)匹配的連續(xù)過(guò)程。對(duì)于視頻處理而言，具有新圖像開(kāi)始的終止點(diǎn)或開(kāi)始點(diǎn)可能是適合的。
當(dāng)將所使用的預(yù)算精調(diào)成質(zhì)量等級(jí)的設(shè)置時(shí)，在考慮資源提供情況下伸縮圖1至6的功能和任務(wù)的方法可以被視為是一種自適應(yīng)過(guò)程控制方法。
在下面的圖7至10中，應(yīng)用了自適應(yīng)過(guò)程控制的相同基本思想。
圖6示出了在用于媒體信號(hào)中的邊緣或銳度增強(qiáng)的算法上的可伸縮功能的示例，所述媒體信號(hào)例如是視頻信號(hào)。該圖示出了本發(fā)明的另一個(gè)優(yōu)選實(shí)施例。這里參考標(biāo)記601可以是媒體信號(hào)輸入，而參考標(biāo)記603可以是媒體信號(hào)輸出。該算法包括具有以下功能的塊FILTER(參考標(biāo)記602)，它可以是過(guò)濾器；NONL功能(參考標(biāo)記608)，它可以是非線性功能；GAIN(參考標(biāo)記609)，它可以是增益功能；ADD(參考標(biāo)記610)，它可以是用于加法器的功能；以及NOISE MEAU(參考標(biāo)記607)，它可以是用于噪聲測(cè)量的功能。通常，諸如像參考標(biāo)記602、607，608、609或610這樣的功能、甚至是更多適合于本發(fā)明的功能，都可以作為電子電路和/或軟件組件來(lái)加以實(shí)施。
過(guò)濾器(參考標(biāo)記602)，它可以是一個(gè)細(xì)節(jié)過(guò)濾器，它可以提取高頻成分；這些可以被添加到輸入的視頻信號(hào)中，以增加用戶所看到的視頻信號(hào)的整體銳度印象。來(lái)自于細(xì)節(jié)過(guò)濾器的大視頻信號(hào)振幅可能會(huì)導(dǎo)致可能會(huì)影響視頻信號(hào)的質(zhì)量的斬波或其它不希望的影響。非線性功能和隨后的增益可以降低這種不希望有的視頻信號(hào)的影響。由于來(lái)自于高頻率的噪音也可能被增加，因此噪聲測(cè)量塊可以依據(jù)借助于參考標(biāo)記707來(lái)測(cè)量的噪聲級(jí)而采用銳度增強(qiáng)。然而，由于諸如像參考標(biāo)記602、607，608、609或610這樣的每個(gè)功能可以單獨(dú)伸縮，用于所涉及的功能的所有設(shè)置的組合就可能會(huì)導(dǎo)致巨大的設(shè)計(jì)空間，所述巨大的設(shè)計(jì)空間有相應(yīng)巨大數(shù)量的特定復(fù)雜質(zhì)量等級(jí)要控制。質(zhì)量可以客觀地通過(guò)所示媒體系統(tǒng)內(nèi)部的可用測(cè)算裝置來(lái)測(cè)算，這導(dǎo)致更多可控制的質(zhì)量等級(jí)組。對(duì)于在最低媒體信號(hào)干擾情況下的質(zhì)量等級(jí)之間的平滑轉(zhuǎn)換而言，在特定的處理體系結(jié)構(gòu)上，一些質(zhì)量等級(jí)可能是無(wú)用的。除了所描述的媒體信號(hào)處理的功能之外，可伸縮算法可以進(jìn)一步需要用于諸如像圖2中所示的質(zhì)量控制這類外部控制的裝置。質(zhì)量控制QC604也可以是用于視頻信號(hào)中的邊緣或銳度增強(qiáng)的算法的一部分，比如它可以是具有隸屬(belonging)信號(hào)QL和BU(參考標(biāo)記605和606)的塊(604)，所述隸屬信號(hào)QL和BU分別是質(zhì)量等級(jí)和所用BU預(yù)算的控制信號(hào)。
在本發(fā)明的優(yōu)選實(shí)施例中，通常如圖4和5所解釋的隨時(shí)間分配各種資源的思想也可以適用于控制這個(gè)圖中參考標(biāo)記602、607，608、609和610)的功能?？梢宰鳛槊襟w系統(tǒng)的一部分而嵌入的控制，可以通過(guò)塊‘質(zhì)量控制’QC(參考標(biāo)記604)來(lái)進(jìn)行。已設(shè)置的和已實(shí)現(xiàn)的質(zhì)量等級(jí)以及要使用的資源可能會(huì)變化，因?yàn)槊襟w信號(hào)的數(shù)據(jù)的復(fù)雜度和功能可能也會(huì)變化，進(jìn)而數(shù)據(jù)的復(fù)雜度和功能可能是相關(guān)的平臺(tái)，例如，不同的媒體系統(tǒng)是以不同的硬件和/或軟件平臺(tái)來(lái)實(shí)現(xiàn)的，并且還要取決于實(shí)際的實(shí)施方案。因此，質(zhì)量等級(jí)的設(shè)置和要使用的資源可能會(huì)變化。這個(gè)圖的參考標(biāo)記602、604，607、608，609和610可以在對(duì)應(yīng)每個(gè)塊的模塊化設(shè)計(jì)中實(shí)施，因此可以簡(jiǎn)化重新設(shè)計(jì)和升級(jí)，并且靈活性和再可用性會(huì)增加。
算法相關(guān)的屬性和參數(shù)——諸如像先前提及的已設(shè)置的質(zhì)量等級(jí)和要使用的資源——可以存儲(chǔ)在查找表或數(shù)據(jù)庫(kù)中。這種查找表或數(shù)據(jù)庫(kù)中的可用信息還可以包括如下參數(shù)，諸如像質(zhì)量等級(jí)設(shè)置、信噪比、資源需要(CPU周期數(shù)、存儲(chǔ)器、帶寬、協(xié)處理器選擇)等等。
外部控制和/或質(zhì)量控制可以選擇任何版本的可伸縮算法。更多質(zhì)量等級(jí)的選擇會(huì)由于所述可用信息而成為可能。當(dāng)選擇可伸縮算法的版本時(shí)，可能要考慮可用的硬件(CPU、協(xié)處理器等等)。雖然一些質(zhì)量等級(jí)可以提供相同的輸出質(zhì)量(算法功能)，但是可以使用不同的資源(例如，中央處理器、存儲(chǔ)器、帶寬和協(xié)處理器)。在那種情況下——當(dāng)可以在不同的質(zhì)量等級(jí)(具有不同的資源使用)中選擇時(shí)——可以選擇低質(zhì)量等級(jí)(仍然提供相同的輸出質(zhì)量)來(lái)釋放用于其它功能的資源。
所述塊QC‘質(zhì)量控制’可以把這種外部質(zhì)量請(qǐng)求轉(zhuǎn)化成用于不同功能的不同(質(zhì)量)設(shè)置的組合。來(lái)自于功能的反饋可以提供關(guān)于視頻信號(hào)中已處理的像素-可以是進(jìn)度的測(cè)量-以及所用預(yù)算的信息，或是任何其它相關(guān)的技術(shù)信息，該技術(shù)信息有助于支持性能測(cè)算。性能測(cè)算可以用于自適應(yīng)地精調(diào)嵌入在媒體系統(tǒng)中的實(shí)時(shí)環(huán)境中的算法。
在圖7至9中，具有相同數(shù)字的參考標(biāo)記通常具有以下含義。參考標(biāo)記701可以是媒體信號(hào)輸入，相應(yīng)地，參考標(biāo)記703可以是媒體信號(hào)輸出。參考標(biāo)記702可以是用于媒體信號(hào)處理的算法，參考標(biāo)記704可以是新引入的塊帶有塊參考標(biāo)記705、706和707的整個(gè)系統(tǒng)控制，其中參考標(biāo)記705可以是整個(gè)系統(tǒng)控制的算法屬性，參考標(biāo)記706可以是整個(gè)系統(tǒng)控制的預(yù)算測(cè)算(BM)，而參考標(biāo)記707可以是整個(gè)系統(tǒng)控制的質(zhì)量等級(jí)(QL)。P CALC(參考標(biāo)記708)可以是性能計(jì)算，QL ADJ(參考標(biāo)記709)可以是質(zhì)量等級(jí)調(diào)節(jié)，OL SET(參考標(biāo)記710)可以是質(zhì)量等級(jí)設(shè)置，F(xiàn)1(參考標(biāo)記713)可以是功能F1，標(biāo)以F2的另一個(gè)功能(參考標(biāo)記714)可以是具有嵌入的參考標(biāo)記715的功能F2，PM進(jìn)度測(cè)算可以對(duì)輸出媒體信號(hào)執(zhí)行。
圖7示出了在自適應(yīng)環(huán)境中具有進(jìn)度測(cè)算的可伸縮算法的功能性示例。這幅圖進(jìn)一步擴(kuò)展了上一幅圖中的質(zhì)量等級(jí)的自適應(yīng)精調(diào)。用于媒體信號(hào)處理的算法(參考標(biāo)記702)僅僅包括最低限度需要的部分，兩個(gè)可伸縮功能F1和F2，以及最好處于最后的功能F2上的或者在媒體信號(hào)輸出上測(cè)算的至少一個(gè)進(jìn)度測(cè)算(參考標(biāo)記715)。
整個(gè)系統(tǒng)控制(參考標(biāo)記705)可以通過(guò)參考標(biāo)記710選擇性地請(qǐng)求關(guān)于可用質(zhì)量等級(jí)和資源要求的信息，QL SET，塊‘質(zhì)量等級(jí)設(shè)置’可以是可伸縮算法的一部分。除了靜態(tài)信息之外，也可以報(bào)告當(dāng)前選擇出的質(zhì)量等級(jí)或設(shè)置。利用可用質(zhì)量等級(jí)和資源要求的信息，整個(gè)系統(tǒng)控制可以選擇適當(dāng)?shù)馁|(zhì)量等級(jí)(參考標(biāo)記707)并相應(yīng)地分配預(yù)算(參考標(biāo)記706)。
來(lái)自于用于媒體信號(hào)處理的算法的進(jìn)度測(cè)算PM(參考標(biāo)記715)可以報(bào)告每幅圖像中已處理的像素的數(shù)目，或報(bào)告每單位所處理的像素的部分(例如，在媒體信號(hào)的圖像處理的情況下，是場(chǎng)或幀)。整個(gè)系統(tǒng)控制可以分配預(yù)算，并且可以報(bào)告已經(jīng)使用的預(yù)算和/或來(lái)自于已分配預(yù)算的所使用預(yù)算的比率，所述預(yù)算先前被定義為標(biāo)準(zhǔn)化預(yù)算。進(jìn)度測(cè)算和預(yù)算測(cè)算都是為性能計(jì)算P CALC的需要。取決于當(dāng)前的性能，塊‘質(zhì)量等級(jí)調(diào)節(jié)’可以改變預(yù)選的質(zhì)量等級(jí)?？梢酝ㄟ^(guò)‘質(zhì)量等級(jí)設(shè)置’QL SET(參考標(biāo)記710)來(lái)將輸出轉(zhuǎn)換成媒體信號(hào)處理功能F1和/或F2的適當(dāng)設(shè)置。
可以存在進(jìn)一步的選擇，來(lái)在‘用于媒體信號(hào)處理的可伸縮算法’(參考標(biāo)記702)與圖中所示的其余系統(tǒng)之間分配功能。圖中的可伸縮算法的最低限度需要的組件可以是用于媒體信號(hào)處理的兩個(gè)功能F1、F2，即至少是如下兩個(gè)功能最好位于處理鏈末尾處的進(jìn)度測(cè)算PM，該處理鏈可以恰好位于媒體信號(hào)輸出前面；以及質(zhì)量等級(jí)設(shè)置QL SET。
圖1、2和6中所示的QC‘質(zhì)量控制’塊還可以包括塊QL SET‘質(zhì)量等級(jí)設(shè)置’，作為選擇還可以包括PM‘進(jìn)度測(cè)算’。
圖1、2和6中所示的‘質(zhì)量控制’塊的第二個(gè)選擇還可以包括來(lái)自于圖7的‘質(zhì)量等級(jí)調(diào)節(jié)’QL ADJ。
來(lái)自于圖1、2和6的‘質(zhì)量控制’塊的第三個(gè)選擇可以進(jìn)一步包括來(lái)自于圖7的‘性能計(jì)算’PM。
對(duì)于‘質(zhì)量控制’塊而言，圖1、2和6的第四個(gè)選擇可以進(jìn)一步包括‘預(yù)算測(cè)算’BM。
圖8示出了在具有歷史存儲(chǔ)器的自適應(yīng)環(huán)境中、具有進(jìn)度測(cè)算的可伸縮算法的另一個(gè)功能示例。
同圖7相比，在本發(fā)明的另一個(gè)優(yōu)選實(shí)施例中，這個(gè)圖包括兩個(gè)具有參考標(biāo)記811和812的附加塊。HIST MEM(參考標(biāo)記811)可以是‘歷史存儲(chǔ)器’，而QL PRE ADJ(參考標(biāo)記812)可以是‘質(zhì)量等級(jí)預(yù)調(diào)節(jié)’。
考慮先前媒體信號(hào)處理的歷史可以大大地提高可伸縮算法的性能以及媒體系統(tǒng)的性能。先前處理的歷史可以包括已分配的預(yù)算、所使用的預(yù)算、標(biāo)準(zhǔn)化預(yù)算、進(jìn)度測(cè)算、性能、設(shè)置質(zhì)量等級(jí)、測(cè)算出的質(zhì)量、和/或在處理期間對(duì)改變參數(shù)的需要。先前處理的歷史可以進(jìn)一步包括關(guān)于已實(shí)現(xiàn)的質(zhì)量的成功和/或不成功的參數(shù)設(shè)置和/或已分配的預(yù)算是否足夠。
歷史信息對(duì)于提供質(zhì)量等級(jí)的更少改變、從而導(dǎo)致媒體信號(hào)輸出更平滑且更可靠的質(zhì)量，是有用的。因頻繁的質(zhì)量等級(jí)改變而由媒體系統(tǒng)自身產(chǎn)生的媒體信號(hào)的突變錯(cuò)誤信號(hào)，像突變運(yùn)動(dòng)顫抖、銳度方面的改變、出現(xiàn)圖像混疊等等，將被大大的減少。另一個(gè)優(yōu)點(diǎn)是算法也許能自我調(diào)節(jié)或自身精調(diào)。利用系統(tǒng)穩(wěn)健性增加的這一優(yōu)點(diǎn)，即使來(lái)自于整個(gè)系統(tǒng)控制的不良設(shè)置也可以自適應(yīng)性地進(jìn)行校正。
歷史存儲(chǔ)器HIST MEM可以存儲(chǔ)最后的質(zhì)量設(shè)置，并且功能塊可以將歷史(例如，許多已處理的單元上的平均質(zhì)量等級(jí))與來(lái)自于整個(gè)系統(tǒng)控制的已分配的質(zhì)量等級(jí)進(jìn)行比較。根據(jù)差異，所請(qǐng)求的質(zhì)量等級(jí)可以通過(guò)這個(gè)圖的新特征也就是QL PRE ADJ-質(zhì)量等級(jí)預(yù)調(diào)節(jié)’(參考標(biāo)記812)來(lái)預(yù)調(diào)‘。
最終可以連同‘質(zhì)量等級(jí)調(diào)節(jié)’塊(參考標(biāo)記709)中的運(yùn)行時(shí)性能一起來(lái)評(píng)價(jià)預(yù)調(diào)后的質(zhì)量等級(jí)，換言之，預(yù)調(diào)后的質(zhì)量等級(jí)(參考標(biāo)記812)可以比以下的‘質(zhì)量等級(jí)調(diào)節(jié)’塊(參考標(biāo)記709)更少地頻繁改變。
仍然可以存在更多的選擇，以便在‘用于媒體信號(hào)處理的可伸縮算法’(參考標(biāo)記702)與該圖中所示的其余媒體系統(tǒng)之間的分配功能。對(duì)于這個(gè)圖的可伸縮算法而言，所最低限度需要的組件是用于媒體信號(hào)處理的功能至少是最好位于處理鏈末尾處也就是在輸出媒體信號(hào)之前的進(jìn)度測(cè)算；以及質(zhì)量等級(jí)設(shè)置。
圖1、2和6中的‘質(zhì)量控制’塊可以包括塊‘質(zhì)量等級(jí)設(shè)置’，還可以選擇性地包括‘進(jìn)度測(cè)算’。在這種情況下，歷史存儲(chǔ)器可以包括作為系統(tǒng)控制的一部分的運(yùn)行時(shí)自適應(yīng)。該圖1的、2和6的可伸縮媒體信號(hào)算法也仍可以被視作為是簡(jiǎn)單的，因?yàn)楦呒?jí)的，適應(yīng)性處理是在可伸縮媒體信號(hào)算法之外被執(zhí)行的。
圖1、2和6中的‘質(zhì)量控制’塊的其它選擇是還可以包括塊‘質(zhì)量等級(jí)調(diào)節(jié)’、‘性能計(jì)算’、‘歷史存儲(chǔ)器’、‘質(zhì)量等級(jí)預(yù)調(diào)節(jié)’和‘預(yù)算測(cè)算’中的任意一個(gè)。盡管所有所提及的塊都被包括在‘質(zhì)量控制’中了，但是該算法能夠充分地自我調(diào)節(jié)其屬性。整個(gè)系統(tǒng)控制可以選擇性地從‘質(zhì)量等級(jí)設(shè)置’塊中請(qǐng)求關(guān)于最后質(zhì)量等級(jí)和質(zhì)量設(shè)置的信息。
對(duì)于上述選擇，在圖8中示出了在自適應(yīng)環(huán)境中帶有進(jìn)度測(cè)算的更高級(jí)的可伸縮算法。
圖9示出了歷史存儲(chǔ)器的其它用途。歷史存儲(chǔ)器的使用是本發(fā)明的另一個(gè)優(yōu)選實(shí)施例。運(yùn)行時(shí)性能(進(jìn)程、質(zhì)量等)和已分配的質(zhì)量等級(jí)都可以被存儲(chǔ)起來(lái)并且用于質(zhì)量等級(jí)調(diào)節(jié)。同圖8相比，在這個(gè)圖中已經(jīng)忽略了塊‘質(zhì)量等級(jí)預(yù)調(diào)節(jié)’(參考標(biāo)記812)。當(dāng)‘性能計(jì)算’和‘歷史存儲(chǔ)器’共同被用于確定‘質(zhì)量等級(jí)調(diào)節(jié)’時(shí)，這可能是一種更加簡(jiǎn)捷的方法，并且與圖8中的遞歸循環(huán)相比，這可能會(huì)因此而在‘歷史存儲(chǔ)器’與‘質(zhì)量等級(jí)調(diào)節(jié)’之間導(dǎo)致媒體系統(tǒng)的更加穩(wěn)健的特性，在媒體系統(tǒng)的不良設(shè)計(jì)的情況下，這可能會(huì)導(dǎo)致交替的質(zhì)量等級(jí)改變(交替的質(zhì)量等級(jí)可以被視為是媒體信號(hào)中的干擾)。
通常，所示的功能或任務(wù)以及用于處理或計(jì)算等等的不同塊都可以作為電子電路和/或軟件組件實(shí)現(xiàn)。它可以是如下幾種形式軟件對(duì)象、像專用CPU這樣的電路、通用CPU、CPU核心、協(xié)處理器、ASIC、PAL或者使用分立組件。它可以進(jìn)一步以上述電子電路部件與軟件組件的組合來(lái)實(shí)現(xiàn)。這同樣也適用于下一幅圖的方法。
圖10示出了處理媒體系統(tǒng)上的媒體信號(hào)的方法。
在步驟1000中，這方法開(kāi)始。這里，不同的變量、參數(shù)、質(zhì)量等級(jí)設(shè)置等的初始化都被設(shè)置成包含該方法的功能的默認(rèn)值，該方法通過(guò)使用功能的軟件和/或硬件實(shí)現(xiàn)在媒體系統(tǒng)上運(yùn)行。在此開(kāi)始步驟之后，所述方法前進(jìn)至步驟1001。
在步驟1001中，按照算法請(qǐng)求資源以便提供多個(gè)輸出質(zhì)量等級(jí)。用于媒體信號(hào)處理的質(zhì)量等級(jí)可以用來(lái)確定以及請(qǐng)求用于媒體信號(hào)處理的資源，即可以把質(zhì)量等級(jí)轉(zhuǎn)換成資源。通常，較高的質(zhì)量等級(jí)就是可以請(qǐng)求更多的資源，反之亦然。可以用所使用的存儲(chǔ)單元的數(shù)目、帶寬使用、處理能力的載荷、對(duì)協(xié)處理器選擇或功能調(diào)用的需要等等來(lái)表示所請(qǐng)求的資源。通常，資源可以被表示成在使用媒體系統(tǒng)的硬件和/或軟件處理能力的功能時(shí)的需求。
在步驟1002中，給算法分配預(yù)算以便允許以一個(gè)質(zhì)量等級(jí)來(lái)操作算法。在某種意義上講，步驟1002與步驟1001相似，這是因?yàn)樵谶@兩個(gè)步驟中，都在使用之前先確定資源。當(dāng)給算法分配預(yù)算以便允許以指定質(zhì)量等級(jí)來(lái)操作算法時(shí)，在進(jìn)行處理之前，先確定將以期望的質(zhì)量等級(jí)來(lái)處理的媒體信號(hào)所需的資源。來(lái)自于查找表和/或數(shù)據(jù)庫(kù)的用于預(yù)算的默認(rèn)數(shù)據(jù)可能是有用的。從查找表和/或數(shù)據(jù)庫(kù)那里，該系統(tǒng)可以具有關(guān)于當(dāng)將以某個(gè)質(zhì)量來(lái)處理某個(gè)類型的媒體信號(hào)時(shí)要分配或分派多少資源的一些默認(rèn)估計(jì)。對(duì)于所述方法或算法的每一個(gè)功能，可以判斷出當(dāng)為實(shí)現(xiàn)所需的質(zhì)量而正在處理功能時(shí)將要使用多少資源和/或哪些資源。媒體信號(hào)的資源和/或?qū)⒁幚淼拿總€(gè)功能的資源都可以通過(guò)估計(jì)媒體系統(tǒng)的CPU能力和/或處理能力的載荷來(lái)表示。它可以被判定成可用處理能力的百分比、要使用的存儲(chǔ)單元數(shù)目、帶寬使用、對(duì)協(xié)處理器選擇或協(xié)處理器的功能調(diào)用的需要，例如，費(fèi)時(shí)的數(shù)學(xué)計(jì)算、和/或其它對(duì)諸如數(shù)字信號(hào)處理器之類的媒體系統(tǒng)中可用硬件的需要。舉例來(lái)說(shuō)，為了為良好的模擬-數(shù)字轉(zhuǎn)換分配或分派預(yù)算，也就是為了實(shí)現(xiàn)良好轉(zhuǎn)換的高質(zhì)量等級(jí)，可以在每個(gè)樣本中使用許多位，并可能進(jìn)一步需要高采樣率，借此根據(jù)處理速率以及數(shù)據(jù)儲(chǔ)存，已分配的預(yù)算可能會(huì)需要許多的資源。相反地，如果情況是稍微差一點(diǎn)的模擬-數(shù)字轉(zhuǎn)換就足以的話，那么已分配的預(yù)算可能需要更少的資源，這是因?yàn)槲粩?shù)目和/或采樣率都可能會(huì)降低。然而，實(shí)際所需的資源可能會(huì)在幾秒或分?jǐn)?shù)秒上變化而不是僅根據(jù)所需的信號(hào)質(zhì)量，例如，諸如MPEG信號(hào)之類的媒體信號(hào)可能會(huì)由于信號(hào)的壓縮特性以及對(duì)實(shí)時(shí)解碼的需要，而需要在能夠及時(shí)解碼MPEG信號(hào)的幾秒的時(shí)間緊迫部分內(nèi)分配許多資源。正如在上文中提到的那樣，所需的資源可能會(huì)隨幾秒而變化，這可能使實(shí)際地精確分派或分配預(yù)算變得困難。為此，正像按這個(gè)方法執(zhí)行那樣，頻繁地對(duì)所請(qǐng)求的資源、預(yù)算使用及預(yù)算分派進(jìn)行再估計(jì)可能是一個(gè)好辦法。
在步驟1003中，可以確定處理媒體信號(hào)的進(jìn)度。處理媒體信號(hào)的進(jìn)度可以由測(cè)算出的實(shí)際資源使用來(lái)表示，例如，CPU周期數(shù)計(jì)算、在隨時(shí)間的媒體信號(hào)處理過(guò)程中的某個(gè)任務(wù)或功能的進(jìn)程所使用的時(shí)間。例如，在媒體信號(hào)是多媒體媒體信號(hào)的情況下，被處理的媒體信號(hào)的進(jìn)度可以被確定為所處理的像素?cái)?shù)目、所處理的音頻分組數(shù)目等。
在步驟1004中，確定在操作期間使用的預(yù)算。與步驟1002相反，其中所述預(yù)算是在使用之前先被分配或分派給算法的，在步驟1004中，確定實(shí)際的預(yù)算使用，并且由此可以在步驟1002和1004中考慮基本相同的參數(shù)?？梢詫?shí)際的預(yù)算使用確定為使用的處理能力的百分比、所使用的存儲(chǔ)單元的數(shù)目、帶寬使用、協(xié)處理器選擇使用和/或協(xié)處理器的功能調(diào)用的使用。所有這些使用的測(cè)算都可以顯示出使用了多少已分配或分派的預(yù)算?；旧希赡軙?huì)涉及到兩種情況，第一，當(dāng)所使用的預(yù)算大于已分派的預(yù)算時(shí)，和相反，第二，當(dāng)已分派的預(yù)算高于所使用的預(yù)算時(shí)。另外，也存在第三種情況，即最佳情況所使用的預(yù)算等于已分配的或已分派的預(yù)算。
在步驟1005中，根據(jù)進(jìn)度、已分派的預(yù)算和所使用的預(yù)算，來(lái)為媒體信號(hào)處理設(shè)置質(zhì)量等級(jí)。為了在所使用的預(yù)算與已分派的預(yù)算之間具有簡(jiǎn)單關(guān)系，預(yù)先定義項(xiàng)性能。所述性能可以作為一種標(biāo)準(zhǔn)化形式的預(yù)算來(lái)計(jì)算。標(biāo)準(zhǔn)化形式即標(biāo)準(zhǔn)化預(yù)算是所使用的預(yù)算與為連續(xù)過(guò)程中的固定周期分配的或分派的預(yù)算的比。所使用的預(yù)算可以被理解成在處理期間的某種進(jìn)度狀態(tài)下的資源使用。已分配的預(yù)算或已分派的預(yù)算都可以被理解成在處理之前將要處理的媒體信號(hào)的已確定資源。已分配的預(yù)算或已分派的預(yù)算也都可以被視作為在處理期間為某種期望的進(jìn)度狀態(tài)而分配的資源。由于性能是標(biāo)準(zhǔn)化的預(yù)算，因此性能是更少單位的值。性能可以高或低。當(dāng)多于已分配的預(yù)算被使用時(shí)，存在性能差的情況。也可以這樣來(lái)表示它，即標(biāo)準(zhǔn)化預(yù)算大于一個(gè)。它可能是由于媒體系統(tǒng)的處理能力的載荷高于期望的載荷，或者是由于某一周期內(nèi)對(duì)功能的較高的質(zhì)量需要；相應(yīng)地，在另一方面，高性能是當(dāng)少于已分配的預(yù)算被使用、且由此標(biāo)準(zhǔn)化預(yù)算少于一個(gè)時(shí)存在的。目前，可以在處理媒體信號(hào)的功能期間計(jì)算性能。借此，性能可能會(huì)隨時(shí)間變化。重要的是要注意可以根據(jù)處理功能的進(jìn)度或處理多個(gè)功能的總進(jìn)度來(lái)考慮性能。用于媒體信號(hào)處理的質(zhì)量等級(jí)的設(shè)置可以進(jìn)一步基于媒體信號(hào)的估計(jì)后的性能。通常，當(dāng)性能高時(shí)，可以使用更多資源來(lái)提供更好的質(zhì)量，即可以使用圖7至9中的質(zhì)量等級(jí)調(diào)節(jié)塊和質(zhì)量等級(jí)設(shè)置來(lái)為功能設(shè)置更高的質(zhì)量等級(jí)。相應(yīng)地，當(dāng)性能低時(shí)，可能會(huì)由于設(shè)置了過(guò)高的質(zhì)量等級(jí)，使用太多資源來(lái)實(shí)現(xiàn)高質(zhì)量等級(jí)。因此，可以強(qiáng)制功能提供低質(zhì)量的媒體信號(hào)輸出，即可以使用圖7至9中的質(zhì)量等級(jí)調(diào)節(jié)塊和質(zhì)量等級(jí)設(shè)置來(lái)為一個(gè)或多個(gè)功能設(shè)置別的低質(zhì)量等級(jí)。值小于一個(gè)的媒體信號(hào)的性能可以用來(lái)增高將要處理的媒體信號(hào)的質(zhì)量等級(jí)。換言之，當(dāng)所使用的預(yù)算小于已分派的預(yù)算時(shí)，將要處理的媒體信號(hào)的質(zhì)量等級(jí)增高。相應(yīng)地，值大于一個(gè)的媒體信號(hào)的性能可以用來(lái)降低將要處理的媒體信號(hào)的質(zhì)量等級(jí)。換言之，當(dāng)所使用的預(yù)算大于已分派的預(yù)算時(shí)，將要處理的媒體信號(hào)的質(zhì)量等級(jí)降低。
然而，在質(zhì)量等級(jí)的調(diào)節(jié)及其它資源的調(diào)節(jié)中可以進(jìn)一步考慮媒體信號(hào)的進(jìn)度是怎樣的。簡(jiǎn)言之，進(jìn)度可以按照某個(gè)任務(wù)或功能的進(jìn)展所使用的時(shí)間來(lái)表示，而在多媒體媒體信號(hào)情況下，所述進(jìn)度可以由所處理的像素?cái)?shù)目和/或所處理的音頻分組數(shù)目來(lái)表示。換言之，所述進(jìn)度可以確定在所看到的和隨時(shí)間測(cè)算出的媒體信號(hào)處理過(guò)程中的某個(gè)任務(wù)或功能的進(jìn)展。某個(gè)任務(wù)的進(jìn)展或進(jìn)度可以是時(shí)間緊迫的，因?yàn)槿绻峁┑倪^(guò)遲的話，處理任務(wù)的結(jié)果可能具有以下影響，即這個(gè)結(jié)果可能會(huì)因過(guò)遲的傳送而無(wú)用，或者可能會(huì)以不合適的方式影響到媒體信號(hào)，這是因?yàn)楫?dāng)媒體信號(hào)到達(dá)過(guò)遲時(shí)，可能會(huì)在接收和集成這種已處理任務(wù)的結(jié)果的過(guò)程中難以保持該媒體信號(hào)。換言之，除了調(diào)節(jié)質(zhì)量等級(jí)以便精調(diào)對(duì)預(yù)算的資源使用之外，也可以精調(diào)所述資源來(lái)加速或減速任務(wù)或功能的執(zhí)行，以便確保及時(shí)達(dá)到或不要過(guò)早地達(dá)到所述進(jìn)度(即任務(wù)或功能的完成)。
在步驟1006中，可以存儲(chǔ)關(guān)于媒體信號(hào)的處理的歷史信息。關(guān)于媒體信號(hào)的處理的歷史信息通?？梢园ㄌ幚砻襟w信號(hào)的先前結(jié)果、在處理之前和處理期間的參數(shù)設(shè)置、以及所達(dá)到的結(jié)果。通常，關(guān)于媒體信號(hào)的處理的歷史信息可以包括已分配的預(yù)算、已確定的進(jìn)度、已使用的預(yù)算、已設(shè)置的質(zhì)量等級(jí)和已達(dá)到的質(zhì)量等級(jí)。此外，所述歷史信息可以包括標(biāo)準(zhǔn)化預(yù)算，即性能，和/或在處理期間是否存對(duì)改變參數(shù)的需要。關(guān)于媒體信號(hào)的處理的歷史信息可以進(jìn)一步包括關(guān)于所達(dá)到的質(zhì)量的成功和/或不成功的參數(shù)設(shè)置，和/或已分配的或已分派的預(yù)算是否足以滿足任務(wù)或功能的及時(shí)完成。
在步驟1007中，用于媒體信號(hào)處理的質(zhì)量等級(jí)的設(shè)置可以進(jìn)一步基于所存儲(chǔ)的歷史信息。步驟1007通?？梢员焕斫獬墒窃O(shè)置質(zhì)量等級(jí)的步驟1005的進(jìn)一步的擴(kuò)展。由于關(guān)于媒體信號(hào)的處理的歷史信息可以記錄下已分配的和所使用的預(yù)算、進(jìn)度、性能、質(zhì)量等級(jí)設(shè)置、所達(dá)到的質(zhì)量、成功和不成功的參數(shù)等等，所述歷史信息通?？梢员挥糜谘杆俚剡x擇適當(dāng)?shù)馁|(zhì)量等級(jí)以及用于該方法的功能所充分分配的預(yù)算。因此，由于該方法是從近乎最佳的狀態(tài)開(kāi)始的，因而該方法可能僅僅必須改變幾次質(zhì)量等級(jí)的設(shè)置。因此，結(jié)果是具有可靠的媒體信號(hào)輸出質(zhì)量的平滑媒體信號(hào)。
通常，只要其中運(yùn)行該方法的媒體系統(tǒng)被加電，則該方法就將再次從步驟1001開(kāi)始。否則，該方法可以終止于步驟1008，然而，當(dāng)媒體系統(tǒng)再次被加電時(shí)，該方法可以再次從步驟1001開(kāi)始進(jìn)行。
當(dāng)這些步驟目前被連續(xù)執(zhí)行時(shí)，該方法可以實(shí)時(shí)地自適應(yīng)于變化的媒體信號(hào)和改變質(zhì)量等級(jí)需求。因此，所述方法是一種具有進(jìn)度測(cè)算的可伸縮算法，所述進(jìn)度測(cè)算允許質(zhì)量要求隨著媒體系統(tǒng)上的指定硬件和/或軟件體系結(jié)構(gòu)上的處理資源而進(jìn)行自適應(yīng)，它可以支持用于媒體信號(hào)處理的不同軟件和/或硬件平臺(tái)，它可以容易地受媒體系統(tǒng)的集成式控制設(shè)備的控制，所述媒體系統(tǒng)具有幾種重新定義的設(shè)置，以作為自適應(yīng)的良好起點(diǎn)，并且所述方法可以訪問(wèn)和使用至少一個(gè)功能塊的已達(dá)到的進(jìn)度的信息。該方法可以運(yùn)行于不同領(lǐng)域的媒體處理，比如代表圖像、視頻、圖形、和/或音頻的媒體信號(hào)的處理，并且在與所需的處理資源交換的情況下，考慮到不同的質(zhì)量等級(jí)和/或不同的媒體信號(hào)，可以在幾種配置結(jié)構(gòu)中設(shè)計(jì)它。
上文中示出的全部的圖都表示VCR、電視、機(jī)頂盒、多媒體PC、存儲(chǔ)器、顯示器和/或其它應(yīng)用中的媒體信號(hào)處理，在其它應(yīng)用中，可以為媒體信號(hào)的變換而執(zhí)行媒體信號(hào)處理。
注意通常關(guān)于預(yù)算而使用的詞“分配”和“分派”含概相同的含義。
計(jì)算機(jī)可讀的介質(zhì)可以是磁帶、光盤、數(shù)字視頻盤(DVD)、光盤(CD或CD-ROM)、迷你盤、硬盤、軟盤、智能卡、PCMCIA卡。
權(quán)利要求
1.一種處理媒體系統(tǒng)上的媒體信號(hào)的方法，該方法包括以下步驟-通過(guò)算法請(qǐng)求資源(1001)以便提供多個(gè)輸出質(zhì)量等級(jí)；-給算法分配預(yù)算(1002)以便允許以多個(gè)質(zhì)量等級(jí)中的第一質(zhì)量等級(jí)來(lái)操作算法；其特征在于，所述方法還包括以下步驟-確定正在由算法處理的媒體信號(hào)的進(jìn)度(1003)；-確定在操作算法期間所使用的預(yù)算(1004)；和-根據(jù)進(jìn)度、已分配的預(yù)算和所使用的預(yù)算來(lái)設(shè)置用于媒體信號(hào)處理的第二質(zhì)量等級(jí)(1005)。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括以下步驟-存儲(chǔ)關(guān)于媒體信號(hào)的處理的歷史信息(1006)；以及-進(jìn)一步根據(jù)已存儲(chǔ)的歷史信息(1007)來(lái)設(shè)置用于媒體信號(hào)處理的第二質(zhì)量等級(jí)。
3.根據(jù)權(quán)利要求2所述的方法，其特征在于已存儲(chǔ)的歷史信息包括已分配的預(yù)算、已確定的進(jìn)度、已使用的預(yù)算、第一和第二質(zhì)量等級(jí)中的至少一個(gè)。
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法進(jìn)一步包括以下步驟-當(dāng)所使用的預(yù)算小于已分配的預(yù)算時(shí)，增高將要由算法處理的媒體信號(hào)的質(zhì)量等級(jí)。
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括以下步驟-當(dāng)所使用的預(yù)算大于已分配的預(yù)算時(shí)，降低將要由算法處理的媒體信號(hào)質(zhì)量等級(jí)。
6.根據(jù)權(quán)利要求1至5中任何一項(xiàng)所述的方法，其特征在于所述媒體系統(tǒng)是來(lái)自于如下組中的一個(gè)，所述組包括VCR、TV、機(jī)頂盒、存儲(chǔ)器和顯示器。
7.一種用于執(zhí)行根據(jù)權(quán)利要求1至6中任何一項(xiàng)所述的方法的計(jì)算機(jī)系統(tǒng)。
8.一種計(jì)算機(jī)程序產(chǎn)品，其包括存儲(chǔ)在計(jì)算機(jī)可讀介質(zhì)上的程序代碼裝置，當(dāng)在計(jì)算機(jī)上運(yùn)行所述計(jì)算機(jī)程序時(shí)，其用于執(zhí)行權(quán)利要求1至6中任何一項(xiàng)所述的方法。
全文摘要
一種自適應(yīng)地處理媒體系統(tǒng)上的媒體信號(hào)的方法和系統(tǒng)。所述媒體系統(tǒng)可以是VCR、TV、機(jī)頂盒、存儲(chǔ)器或顯示器。所述方法包括以下步驟通過(guò)算法請(qǐng)求資源(1001)以便提供多個(gè)輸出質(zhì)量等級(jí)；給算法分配預(yù)算(1002)，確定媒體信號(hào)的進(jìn)度(1003)，確定所使用的預(yù)算(1004)；以及根據(jù)進(jìn)度來(lái)設(shè)置用于媒體信號(hào)處理的質(zhì)量等級(jí)、已分配的預(yù)算和所使用的預(yù)算(1005)。所述方法還包括以下步驟存儲(chǔ)關(guān)于處理的歷史信息(1006)；以及根據(jù)已存儲(chǔ)的歷史信息進(jìn)一步設(shè)置用于媒體信號(hào)處理的第二質(zhì)量等級(jí)(1007)。所述歷史信息包括已分配的預(yù)算、已確定的進(jìn)度、已使用的預(yù)算、已設(shè)置和/或達(dá)到的質(zhì)量等級(jí)。依據(jù)已使用的預(yù)算與已分配的預(yù)算的比來(lái)增高或降低質(zhì)量等級(jí)。
文檔編號(hào)H04N5/00GK1695378SQ02824756
公開(kāi)日2005年11月9日 申請(qǐng)日期2002年12月6日 優(yōu)先權(quán)日2001年12月12日
發(fā)明者C·亨特斯徹, C·C·A·M·范佐, M·加布拉尼, R·J·布里, E·F·M·斯特芬斯 申請(qǐng)人:皇家飛利浦電子股份有限公司