專利名稱：動(dòng)態(tài)圖像編碼或解碼處理系統(tǒng)以及動(dòng)態(tài)圖像編碼或解碼處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及使用工作頻率和工作電壓可變的處理器進(jìn)行動(dòng)態(tài)圖像的編碼或解碼的動(dòng)態(tài)圖像編碼或解碼處理系統(tǒng)以及動(dòng)態(tài)圖像編碼或解碼處理方法。
背景技術(shù)：
近年來(lái)，可以通過(guò)傳送線路進(jìn)行動(dòng)態(tài)圖像的收發(fā)，可以把動(dòng)態(tài)圖像存儲(chǔ)在存儲(chǔ)介質(zhì)。一般，因?yàn)閯?dòng)態(tài)圖像的信息量大，所以在利用限定傳送比特速率的傳送線路傳送動(dòng)態(tài)圖像的情況下、或在限定存儲(chǔ)容量的存儲(chǔ)介質(zhì)中存儲(chǔ)動(dòng)態(tài)圖像的情況下，動(dòng)態(tài)圖像的編碼、解碼技術(shù)是必不可少的。作為動(dòng)態(tài)圖像的編碼、解碼方式，有ISO/IEC推進(jìn)標(biāo)準(zhǔn)化的MPEG(Moving Picture ExpertsGroup)或H.26X。這些就是進(jìn)行構(gòu)成動(dòng)態(tài)圖像的隨時(shí)間變化的連續(xù)多個(gè)幀的編碼或解碼的技術(shù)，是進(jìn)行利用了動(dòng)態(tài)圖像的時(shí)間相關(guān)和空間相關(guān)的冗余性的削減，由此減少動(dòng)態(tài)圖像的信息量后編碼并將編碼后的動(dòng)態(tài)圖像再次解碼成原來(lái)的動(dòng)態(tài)圖像的技術(shù)。
該編碼/解碼技術(shù)適用于內(nèi)置個(gè)人計(jì)算機(jī)或微型計(jì)算機(jī)的移動(dòng)電話等信息終端機(jī)器，根據(jù)記述了編碼/解碼方法的程序使計(jì)算機(jī)的處理器等工作，由此，在發(fā)送動(dòng)態(tài)圖像等情況下作為動(dòng)態(tài)圖像編碼處理系統(tǒng)發(fā)揮功能，在接收動(dòng)態(tài)圖像等情況下作為動(dòng)態(tài)圖像解碼處理系統(tǒng)發(fā)揮功能。但是，由于該動(dòng)態(tài)圖像編碼或解碼處理的運(yùn)算量大，因此有消耗功率變大的傾向，使用比硬件通用性還高的軟件來(lái)實(shí)現(xiàn)編碼/解碼處理中的低消耗功率化成為一個(gè)很大的課題。
下面，對(duì)使用了軟件的動(dòng)態(tài)圖像編碼或解碼處理系統(tǒng)中的現(xiàn)有的低消耗功率化的方法進(jìn)行說(shuō)明。作為現(xiàn)有的低消耗功率化方法，例如在下述的非專利文獻(xiàn)1中公開(kāi)。
(非專利文獻(xiàn)1)IEEE International Symposium on Circuits and System2001(May，2001)的初稿集pp918-921“An LSI for VDD-hopping and MPEG4System Based on the Chip”(H.Kawaguchi，G.Zhang，S.Lee，and T.Sakurai)圖10是表示在非專利文獻(xiàn)1中表示的、關(guān)于動(dòng)態(tài)圖像(動(dòng)態(tài)圖像)編碼處理系統(tǒng)進(jìn)行現(xiàn)有的低消耗功率化的方法的圖。此外，低消耗功率化的方法在動(dòng)態(tài)圖像解碼處理系統(tǒng)中也一樣。
在本現(xiàn)有例中，表示在可以動(dòng)態(tài)地變更工作電壓和工作頻率的處理器中，用來(lái)進(jìn)行處理動(dòng)態(tài)圖像編碼(特別是MPEG)時(shí)的低消耗功率化的工作電壓和工作頻率的控制方法。即，如圖11所示，在本現(xiàn)有例中，在進(jìn)行動(dòng)態(tài)圖像編碼的情況下，根據(jù)動(dòng)態(tài)圖像內(nèi)的動(dòng)作的激烈程度等，以幀為單位的動(dòng)態(tài)圖像編碼或解碼的運(yùn)算量不同的情況引人注目，控制處理器的工作頻率和工作電壓來(lái)實(shí)現(xiàn)低消耗功率化。
編碼處理需要將一幀的處理時(shí)間由編碼方式(MPEG等)的規(guī)定等限制在時(shí)間Tf，并且在該處理時(shí)間Tf內(nèi)完成一幀的編碼處理。對(duì)于一幀的處理時(shí)間Tf(秒)，將其以一定的間隔分割為N個(gè)，將一個(gè)一個(gè)的間隔(時(shí)間)定義為時(shí)隙Tslot(Tslot＝Tf/N)，另外，將從時(shí)隙Tslot1開(kāi)始到時(shí)隙Tsloti結(jié)束的時(shí)候的剩余時(shí)間TRi定義為T(mén)Ri＝Tf-Tslot×i。設(shè)在一個(gè)時(shí)隙Tslot進(jìn)行處理的動(dòng)態(tài)圖像的塊數(shù)(動(dòng)態(tài)圖像的編碼以塊為單位進(jìn)行處理)為R(即R×N為一個(gè)幀的塊數(shù))，設(shè)在(R×i)塊處理中消耗的時(shí)間(即對(duì)從時(shí)隙Tslot1開(kāi)始到時(shí)隙Tsloti為止應(yīng)處理的塊群實(shí)際地進(jìn)行處理時(shí)消耗的時(shí)間)為T(mén)acc(i+1)。在電壓發(fā)生變化的情況下，設(shè)工作電壓和工作頻率到穩(wěn)定為止的時(shí)間為T(mén)rd。此外，實(shí)時(shí)隙RTsloti表示對(duì)于在時(shí)隙Tsloti內(nèi)應(yīng)完成的處理實(shí)際需要的處理時(shí)間。在圖10中，首先，對(duì)于分配給時(shí)隙Tslot1和時(shí)隙Tslot2的塊群的處理，在負(fù)荷最大的情況下也是在該時(shí)隙Tslot1、Tslot2內(nèi)以可充分地完成處理的時(shí)鐘頻率fmax來(lái)工作。在該處理中消耗的時(shí)間Tacc3為T(mén)acc3＜(Tf-TR2)的情況下，即在被分配的塊群在時(shí)隙Tslot1，Tslot2內(nèi)完成處理的情況下，在分配給下一個(gè)時(shí)隙Tslot3的塊群的處理中可使用的處理時(shí)間Ttar為T(mén)tar3＝Tf-Tacc3-TR3-Trd，只要在該處理時(shí)間Ttar3內(nèi)完成分配給Tslot3的塊群的處理就可以，因此對(duì)于該塊群減小工作頻率地工作。圖10的處理時(shí)間Tf1，Tf2，Tf3表示在時(shí)隙Tslot3中負(fù)荷最大的情況下，以各工作頻率f1，f2，f3來(lái)工作時(shí)的處理時(shí)間。作為工作頻率，在圖10中如果選擇f2＝fmax/2的工作頻率，則在負(fù)荷最大的情況下，從時(shí)隙Tslot1開(kāi)始到時(shí)隙Tslot3為止應(yīng)完成的處理時(shí)間在(Tf-TR3)以內(nèi)的、處理進(jìn)入下一個(gè)時(shí)隙Tslot4的情況是沒(méi)有的。另一方面，在選擇工作頻率f3＝fmax/3的情況下，處理時(shí)間Tf3超過(guò)處理時(shí)間Ttar3。因此，對(duì)在該時(shí)隙Tslot3中應(yīng)處理的塊群，以f2＝fmax/2的工作頻率以及適合該工作頻率的工作電壓來(lái)工作。同樣，在每時(shí)隙Tslot進(jìn)行該處理。
由此，在動(dòng)態(tài)地變更動(dòng)作時(shí)鐘頻率以及工作電壓時(shí)，從在規(guī)定時(shí)間內(nèi)可處理規(guī)定數(shù)量的塊群的工作頻率中選擇最小工作頻率，由此綜合地減小工作頻率和工作電壓地工作，根據(jù)處理控制電壓，由此實(shí)現(xiàn)低消耗功率化。
但是，對(duì)于在某一定處理時(shí)間(例如，在這里一幀的處理時(shí)間Tf)應(yīng)完成的處理(例如，在這里一幀的處理)，優(yōu)選經(jīng)過(guò)一幀的處理時(shí)間后使處理器以一定的工作電壓和工作頻率工作。即，如果設(shè)一幀的處理時(shí)間為T(mén)f(秒)，設(shè)運(yùn)算量為Kf(周期)，設(shè)工作頻率為Ff，則工作頻率為Ff＝Kf/Tf(周期/秒)，經(jīng)過(guò)一幀的處理時(shí)間Tf后使處理器以一定的工作頻率Ff工作，由此與在該處理時(shí)間Tf內(nèi)幾次變更工作頻率Ff的情況相比，更有可能實(shí)現(xiàn)低消耗功率化。在后述的第一實(shí)施方式中對(duì)該證明進(jìn)行說(shuō)明。
但是，在本現(xiàn)有例中，盡管與處理時(shí)間Tf同步的單位為一幀，卻在一幀內(nèi)最多進(jìn)行N次工作電壓和工作頻率的變更，一直都沒(méi)有達(dá)到低消耗功率的目的。即，如本現(xiàn)有例，分多個(gè)階段可控制工作電壓和工作頻率的處理器中的動(dòng)態(tài)圖像編碼或解碼處理的低消耗功率化需要在一幀的處理中變更好幾次工作電壓和工作頻率。另一方面，如上所述，處理時(shí)間的限制的單位為幀，因此優(yōu)選在一幀的處理中以可進(jìn)行處理的最低限度的一定頻率進(jìn)行控制。因此，在一幀的處理中最多變更N次工作電壓和工作頻率的本現(xiàn)有例中，不能實(shí)現(xiàn)充分的低消耗功率化。
因此本發(fā)明解決如上所述的課題，提出一種與所述現(xiàn)有技術(shù)相比可以實(shí)現(xiàn)大幅度地降低消耗功率的動(dòng)態(tài)圖像編碼或解碼處理系統(tǒng)以及動(dòng)態(tài)圖像編碼或解碼處理程序。

發(fā)明內(nèi)容
即，本發(fā)明的動(dòng)態(tài)圖像編碼或解碼處理系統(tǒng)的特征在于具有以幀為單位對(duì)由多個(gè)幀構(gòu)成的動(dòng)態(tài)圖像進(jìn)行編碼或解碼的處理器，計(jì)算一個(gè)幀的編碼或解碼中必要的必要運(yùn)算量Kp，決定在預(yù)先分配給該一個(gè)幀的編碼或解碼處理的時(shí)間Te內(nèi)可以對(duì)該必要運(yùn)算量Kp進(jìn)行編碼或解碼處理的工作頻率F，使該處理器以該工作頻率F以及適合于該工作頻率F的工作電壓V工作，同時(shí)進(jìn)行該一個(gè)幀的編碼或解碼處理，并且，還具有一個(gè)或一個(gè)以上的、避免在必要運(yùn)算量Kp比實(shí)際需要的運(yùn)算量小的情況下引起的失敗現(xiàn)象的失敗避免單元。另外，本發(fā)明的動(dòng)態(tài)圖像編碼或解碼方法，使用以幀為單位對(duì)由多個(gè)幀構(gòu)成的動(dòng)態(tài)圖像進(jìn)行編碼或解碼的處理器，計(jì)算一個(gè)幀的編碼或解碼處理中所必要的必要運(yùn)算量Kp，決定在預(yù)先分配給該一個(gè)幀的編碼或解碼處理的時(shí)間Te內(nèi)可以對(duì)該必要運(yùn)算量Kp進(jìn)行編碼或解碼處理的工作頻率F，使該處理器以該工作頻率F以及適合于該工作頻率F的工作電壓V工作，同時(shí)進(jìn)行該一個(gè)幀的編碼或解碼處理，并且，還具有一個(gè)或一個(gè)以上的、避免在必要運(yùn)算量Kp比實(shí)際需要的運(yùn)算量小的情況下發(fā)生的失敗現(xiàn)象的失敗避免步驟。
在編碼/解碼方式(MPEG)的規(guī)定中，對(duì)當(dāng)前的幀預(yù)先分配處理時(shí)間。根據(jù)本發(fā)明，計(jì)算一個(gè)幀的編碼或解碼中所必要的必要運(yùn)算量Kp，決定在預(yù)先分配給該一個(gè)幀的編碼或解碼處理的時(shí)間Te內(nèi)可以對(duì)該必要運(yùn)算量Kp進(jìn)行編碼或解碼處理的工作頻率F，使處理器固定地以該工作頻率F以及適合于該工作頻率的工作電壓V工作，同時(shí)進(jìn)行編碼或解碼處理。因此，使處理器固定地以每個(gè)幀的編碼或解碼中所必要的最低限度的工作電壓以及工作頻率工作，同時(shí)進(jìn)行編碼或解碼處理，對(duì)分割幀而形成的規(guī)定數(shù)量的每個(gè)塊決定工作頻率和工作電壓，由此與在一個(gè)幀的編碼/解碼處理中變更好幾次工作電壓和工作頻率的現(xiàn)有技術(shù)相比，可以實(shí)現(xiàn)低消耗功率化。并且，在必要運(yùn)算量Kp的值比實(shí)際需要的運(yùn)算量小的情況下，在預(yù)先規(guī)定的時(shí)間內(nèi)沒(méi)有完成當(dāng)前幀的編碼或解碼處理，發(fā)生圖像惡化的失敗現(xiàn)象，但是由于本發(fā)明具有避免失敗現(xiàn)象的一個(gè)或一個(gè)以上的失敗避免單元，因此可以避免失敗現(xiàn)象的發(fā)生。
本發(fā)明的動(dòng)態(tài)圖像編碼或解碼處理系統(tǒng)/方法的特征在于如果在連續(xù)的多個(gè)幀中將所述一個(gè)幀之前進(jìn)行編碼處理的幀作為前幀，則在進(jìn)行動(dòng)態(tài)圖像編碼處理的情況下，使用下列要素中的一個(gè)或一個(gè)以上的要素計(jì)算必要運(yùn)算量Kp，所述要素有所述一個(gè)幀和前幀的移動(dòng)量、所述一個(gè)幀的活動(dòng)量、前幀的活動(dòng)量、前幀的量化步長(zhǎng)的平均值、前幀的量化步長(zhǎng)的平均值和其前一幀的量化步長(zhǎng)的平均值的差、前幀的宏模塊(macro block)匹配的次數(shù)、前幀的有效塊數(shù)量、前幀的有效系數(shù)的數(shù)量、對(duì)前幀進(jìn)行編碼時(shí)實(shí)際需要的運(yùn)算量、前幀的發(fā)生比特?cái)?shù)、所述一個(gè)幀的編碼比特速率、對(duì)所述一個(gè)幀進(jìn)行的是幀內(nèi)編碼或幀間編碼的種類、前幀的必要運(yùn)算量。
本發(fā)明的動(dòng)態(tài)圖像編碼或解碼處理系統(tǒng)/方法的特征在于如果在連續(xù)的多個(gè)幀中將在所述一個(gè)幀之前進(jìn)行解碼的幀作為前幀，則在進(jìn)行動(dòng)態(tài)圖像解碼處理的情況下，使用下列要素中的一個(gè)或一個(gè)以上的要素計(jì)算必要運(yùn)算量Kp，所述要素有所述一個(gè)幀的編碼數(shù)據(jù)的比特?cái)?shù)、所述一個(gè)幀是被幀內(nèi)編碼或者是被幀間編碼的種類、所述一個(gè)幀或者前幀的移動(dòng)矢量大小的平均值、所述一個(gè)幀或者前幀的移動(dòng)矢量大小的方差、所述一個(gè)幀或者前幀的有效塊數(shù)量、所述一個(gè)幀或者前幀的有效系數(shù)的數(shù)量、所述一個(gè)幀或者前幀的比特速率、所述一個(gè)幀或者前幀的編碼量、所述一個(gè)幀或者前幀的量化步長(zhǎng)的平均值、量化步長(zhǎng)的平均值的差(所述一個(gè)幀和一個(gè)之前的幀的量化步長(zhǎng)的差，或者一個(gè)之前的幀的量化步長(zhǎng)和兩個(gè)之前的幀的量化步長(zhǎng)的差)、對(duì)前幀進(jìn)行解碼時(shí)實(shí)際需要的運(yùn)算量、前幀的必要運(yùn)算量。
所述多個(gè)要素分別對(duì)編碼或者解碼處理的運(yùn)算量帶來(lái)影響。根據(jù)本發(fā)明，由于從所述要素中使用一個(gè)或一個(gè)以上的要素計(jì)算必要運(yùn)算量Kp，因此計(jì)算出的必要運(yùn)算量Kp更接近實(shí)際進(jìn)行了編碼或解碼處理時(shí)的運(yùn)算量。因此，可以降低由于必要運(yùn)算量Kp比現(xiàn)實(shí)的運(yùn)算量小從而在時(shí)間內(nèi)未完成編碼或解碼處理的失敗現(xiàn)象的發(fā)生率。另外，計(jì)算出的必要運(yùn)算量Kp比現(xiàn)實(shí)的運(yùn)算量大的多從而阻礙低消耗功率化的可能性變小。
本發(fā)明的動(dòng)態(tài)圖像編碼或者解碼處理系統(tǒng)/方法的特征在于，作為所述失敗避免單元/步驟，具有增加必要運(yùn)算量Kp的第一失敗避免單元/步驟。
根據(jù)本發(fā)明，由于失敗避免單元使必要運(yùn)算量增加規(guī)定值，因此計(jì)算出的必要運(yùn)算量Kp滿足現(xiàn)實(shí)的運(yùn)算量的可能性變大，可以避免失敗現(xiàn)象。
所述第一失敗避免單元/步驟的特征在于，使必要運(yùn)算量Kp增加m倍(m是大于等于1的實(shí)數(shù))或?qū)⒈匾\(yùn)算量Kp加上比0大的實(shí)數(shù)n。
根據(jù)本發(fā)明，第一失敗避免單元/步驟使必要運(yùn)算量Kp增加m倍或在必要運(yùn)算量Kp加上n，因此通過(guò)調(diào)整m或n的值，可以使計(jì)算出的必要運(yùn)算量Kp的值比實(shí)際的運(yùn)算量大且接近實(shí)際的運(yùn)算量，可以避免失敗。
本發(fā)明的動(dòng)態(tài)圖像編碼或者解碼處理系統(tǒng)/方法的特征在于作為所述失敗避免單元/步驟，至少具有一個(gè)或一個(gè)以上的第二失敗避免單元/步驟，其在預(yù)先分配給所述一個(gè)幀的編碼或者解碼處理的時(shí)間內(nèi)未完成該一個(gè)幀的編碼處理的情況下進(jìn)行避免失敗現(xiàn)象的處理。
在上述第一失敗避免單元/步驟中，不管失敗現(xiàn)象發(fā)生的有無(wú)，通過(guò)增加必要運(yùn)算量Kp來(lái)進(jìn)行避免失敗現(xiàn)象的處理。根據(jù)本發(fā)明，通過(guò)第二失敗避免單元/步驟，在預(yù)先分配給所述一個(gè)幀的編碼或解碼處理的時(shí)間內(nèi)未完成該一個(gè)幀的編碼處理的情況下進(jìn)行避免失敗現(xiàn)象的處理，因此僅在發(fā)生失敗現(xiàn)象的情況下進(jìn)行避免失敗現(xiàn)象的處理，可以高效率地避免失敗現(xiàn)象。
所述第二失敗避免單元/步驟的特征在于，按照規(guī)定的定時(shí)進(jìn)行對(duì)編碼處理的插入，在存在未進(jìn)行編碼的宏模塊的情況下，對(duì)該宏模塊進(jìn)行無(wú)效塊化處理。另外，在解碼處理中不進(jìn)行無(wú)效塊化處理。
例如，在分配給一個(gè)幀的編碼處理的時(shí)間Te中，在剩余對(duì)所有的宏模塊進(jìn)行無(wú)效塊化的處理時(shí)間的規(guī)定定時(shí)，在存在未進(jìn)行編碼的宏模塊的情況下，由于所述計(jì)算出來(lái)的必要運(yùn)算量Kp比實(shí)際需要的運(yùn)算量小，因此發(fā)生失敗現(xiàn)象的可能性高。根據(jù)本發(fā)明，通過(guò)第二失敗避免單元/步驟，例如，按照上述的定時(shí)進(jìn)行對(duì)動(dòng)態(tài)圖像編碼或解碼處理的插入，在存在未進(jìn)行編碼的宏模塊的情況下，判斷為在時(shí)間Te內(nèi)未完成該一個(gè)幀的編碼處理而發(fā)生失敗現(xiàn)象，對(duì)該宏模塊進(jìn)行無(wú)效塊化處理，因此可以避免失敗現(xiàn)象。
所述第二失敗避免單元/步驟的特征在于，按照規(guī)定的定時(shí)進(jìn)行對(duì)編碼或解碼處理的插入，在該插入的時(shí)刻，在必要運(yùn)算量Kp的剩余量比在編碼或解碼處理中實(shí)際需要的運(yùn)算量小的情況下，至少具有提高處理器的工作頻率和工作電壓的運(yùn)算剩余量判斷單元。
在編碼或解碼處理的途中，在計(jì)算出來(lái)的必要運(yùn)算量Kp的剩余量比在編碼或者解碼處理中實(shí)際需要的運(yùn)算量的剩余量小的情況下，由于所述計(jì)算出來(lái)的必要運(yùn)算量Kp比在編碼或者解碼處理中實(shí)際需要的運(yùn)算量小，因此發(fā)生失敗現(xiàn)象的可能性高。因此，通過(guò)第二失敗避免單元/步驟，按照規(guī)定的定時(shí)進(jìn)行對(duì)動(dòng)態(tài)圖像編碼或者解碼處理的插入，比較上述剩余量。而且，在與實(shí)際需要的運(yùn)算量相比必要運(yùn)算量Kp的剩余量小的情況下，判斷為在時(shí)間Te內(nèi)未完成編碼或者解碼處理而發(fā)生失敗現(xiàn)象，提高處理器的工作頻率和工作電壓。由此，處理器的計(jì)算速度變大，因此可處理的處理量增加，可以避免失敗現(xiàn)象。如果插入的次數(shù)為多次，可以根據(jù)處理狀態(tài)階段地提高工作頻率和工作電壓，進(jìn)而提高可以避免失敗現(xiàn)象的可能性。
所述處理器的特征在于，r階段地(r為大于等于2的整數(shù))預(yù)先準(zhǔn)備可工作的可工作頻率，用Fe＝Kp/Te計(jì)算在所述時(shí)間Te內(nèi)處理必要運(yùn)算量KD所必要的工作頻率Fe，所述處理器在可工作的可工作頻率中決定大于等于所述必要的工作頻率Fe且最接近其工作頻率Fe的工作頻率F。
根據(jù)本發(fā)明，用Fe＝Kp/Te計(jì)算在時(shí)間Te內(nèi)處理必要運(yùn)算量Kp所必要的工作頻率Fe之后，所述處理器在可工作的可工作頻率中決定大于等于所述必要的工作頻率Fe且最接近其工作頻率Fe的工作頻率F，并且，決定適合于被決定的工作頻率F的工作電壓V，處理器以該工作頻率F和工作電壓V工作的同時(shí)進(jìn)行編碼或者解碼。即，處理器在可工作的可工作頻率和工作電壓中，根據(jù)在時(shí)間Te內(nèi)可處理必要運(yùn)算量Kp的最小工作頻率F以及工作電壓V，使處理器工作的同時(shí)，在該處理器上進(jìn)行上述一個(gè)幀的編碼或者解碼處理，因此使用階段性地準(zhǔn)備可工作頻率的處理器也可以高效率地進(jìn)行低消耗功率化。


圖1是表示本發(fā)明的第一實(shí)施方式的動(dòng)態(tài)圖像編碼處理系統(tǒng)的動(dòng)作的概略框圖。
圖2是表示上述實(shí)施方式的動(dòng)態(tài)圖像編碼處理系統(tǒng)的實(shí)用例的圖。
圖3是表示作為上述實(shí)施方式的動(dòng)態(tài)圖像編碼處理系統(tǒng)使計(jì)算機(jī)實(shí)現(xiàn)功能的動(dòng)態(tài)圖像編碼處理程序和由此實(shí)現(xiàn)的動(dòng)態(tài)圖像編碼處理方法的概略流程圖。
圖4是表示上述實(shí)施方式的動(dòng)態(tài)圖像編碼處理系統(tǒng)中的編碼處理時(shí)間和運(yùn)算剩余量的關(guān)系的圖。
圖5是表示在上述實(shí)施方式的動(dòng)態(tài)圖像編碼處理系統(tǒng)中使用的處理器的工作電壓/工作頻率的概念圖。
圖6是說(shuō)明本發(fā)明的有效性的圖。
圖7是表示本發(fā)明的第二實(shí)施方式的動(dòng)態(tài)圖像編碼處理系統(tǒng)的動(dòng)作的概略框圖。
圖8是表示作為上述實(shí)施方式的動(dòng)態(tài)圖像編碼處理系統(tǒng)使計(jì)算機(jī)實(shí)現(xiàn)功能的動(dòng)態(tài)圖像編碼處理程序的概略流程圖。
圖9是表示本發(fā)明的第三實(shí)施方式的動(dòng)態(tài)圖像解碼處理系統(tǒng)的動(dòng)作的概略框圖。
圖10表示對(duì)動(dòng)態(tài)圖像編碼處理系統(tǒng)進(jìn)行現(xiàn)有的低消耗功率化的方法的圖。
圖11是表示以幀為單位動(dòng)態(tài)圖像編碼或者解碼的運(yùn)算量不同的狀態(tài)的概念圖。
具體實(shí)施例方式
下面，關(guān)于本發(fā)明的動(dòng)態(tài)圖像編碼或者解碼處理系統(tǒng)以及處理方法，分成編碼處理和解碼處理進(jìn)行說(shuō)明。
(第一實(shí)施方式)本發(fā)明的第一實(shí)施方式的動(dòng)態(tài)圖像編碼處理系統(tǒng)，是例如通過(guò)內(nèi)置微型計(jì)算機(jī)的移動(dòng)電話或作為個(gè)人計(jì)算機(jī)等信息終端機(jī)器的計(jì)算機(jī)來(lái)實(shí)現(xiàn)，特別是在該計(jì)算機(jī)內(nèi)作為多媒體信號(hào)處理部等的一部分來(lái)實(shí)現(xiàn)功能的系統(tǒng)，對(duì)由連續(xù)的規(guī)定數(shù)量的幀構(gòu)成的動(dòng)態(tài)圖像以幀單位進(jìn)行順次編碼。
圖1是表示本實(shí)施方式的動(dòng)態(tài)圖像編碼處理系統(tǒng)S1的動(dòng)作的概略框圖。動(dòng)態(tài)圖像編碼處理系統(tǒng)S1是計(jì)算機(jī)(特別是計(jì)算機(jī)內(nèi)的多媒體信號(hào)處理部)，其至少包括以下部分r階段(r是大于等于2的整數(shù))地準(zhǔn)備工作電壓和工作頻率(即，可以在r階段的工作電壓和工作頻率工作)并且通過(guò)程序可以變更工作電壓和工作頻率的處理器1；具有DC-DC變換器或PLL等而且控制所述處理器1的工作電源電壓和工作頻率的工作電壓/工作頻率控制單元4；作為存儲(chǔ)規(guī)定的數(shù)據(jù)的存儲(chǔ)區(qū)域的局部解碼幀存儲(chǔ)器6；輸入幀存儲(chǔ)器7；要素存儲(chǔ)器8；處理完成宏模塊數(shù)寄存器10。其中，關(guān)于局部解碼存儲(chǔ)器6和輸入幀存儲(chǔ)器7等，也可以通過(guò)工作電壓/工作頻率控制單元4，與處理器1一樣控制工作電壓/工作頻率。在本實(shí)施方式中，關(guān)于在用虛線表示的控制區(qū)域CA中包含的要素(處理器1、局部解碼幀存儲(chǔ)器6、要素存儲(chǔ)器8、處理完成宏模塊數(shù)寄存器10、輸入幀存儲(chǔ)器7a和7b等)，控制工作頻率和工作電壓。
作為在處理器1工作的單元，處理器1具有必要運(yùn)算量單元2、工作電壓/工作頻率計(jì)算單元3、動(dòng)態(tài)圖像編碼單元5、兩個(gè)失敗避免單元9和11。兩個(gè)失敗避免單元9、11是用來(lái)避免失敗現(xiàn)象的單元，該失敗現(xiàn)象是在用必要運(yùn)算量計(jì)算單元2計(jì)算出來(lái)的必要運(yùn)算量比基于編碼單元5的編碼處理中實(shí)際需要的運(yùn)算量還小的值的情況下起因的失敗現(xiàn)象，是作為必要運(yùn)算量計(jì)算單元2的一部分實(shí)現(xiàn)功能的第一失敗避免單元11和作為第二失敗避免單元的處理結(jié)述判斷單元9。此外，符號(hào)101是輸入圖像數(shù)據(jù)、符號(hào)102是工作電壓和工作頻率指示、符號(hào)103是前幀的局部解碼數(shù)據(jù)、符號(hào)105是工作電壓/工作頻率供給、符號(hào)106是幀的編碼數(shù)據(jù)、符號(hào)107是前幀的量化步長(zhǎng)的平均值的信息、符號(hào)108是表示對(duì)各幀進(jìn)行幀內(nèi)編碼還是進(jìn)行幀間編碼的種類、符號(hào)109是動(dòng)態(tài)圖像的編碼比特速率的信息、符號(hào)110是前幀的活動(dòng)量、符號(hào)111是前幀的宏模塊匹配次數(shù)、符號(hào)112是前幀的有效塊數(shù)、符號(hào)113是前幀的有效系數(shù)的數(shù)量、符號(hào)114是前幀的量化步長(zhǎng)的平均值和其前一幀的量化步長(zhǎng)的平均值的差、符號(hào)115是前幀的編碼中實(shí)際需要的處理量、符號(hào)116是通過(guò)必要運(yùn)算量計(jì)算單元2計(jì)算出來(lái)的前幀的必要運(yùn)算量、符號(hào)117是作為編碼處理結(jié)束的宏模塊數(shù)的處理宏模塊數(shù)。要素存儲(chǔ)器8是存儲(chǔ)在后述的必要運(yùn)算量計(jì)算單元2中使用的多個(gè)要素中的一部分要素(表示幀內(nèi)編碼還是幀間編碼的種類108、編碼比特速率109、幀的活動(dòng)量110、通過(guò)必要運(yùn)算量計(jì)算單元2計(jì)算出來(lái)的必要運(yùn)算量116)的存儲(chǔ)區(qū)域。處理結(jié)束宏模塊數(shù)寄存器10暫時(shí)地存儲(chǔ)編碼處理結(jié)束的宏模塊數(shù)117的信息。在動(dòng)態(tài)圖像編碼單元5作為編碼方法使用MPEG-4，但是也可以使用H.26X或MPEG-1、MPEG-2等其他編碼方式。
圖2表示動(dòng)態(tài)圖像編碼處理系統(tǒng)S1的實(shí)施例。系統(tǒng)S1主要通過(guò)硬件來(lái)實(shí)現(xiàn)，該硬件具有處理器1、作為周邊裝置的各種存儲(chǔ)器MR、7a、7b或各種接口CI、DI、BI，工作電壓/工作頻率控制線路4a等。上述各構(gòu)成要素通過(guò)總線B1，B2可以互相進(jìn)行通信。
處理器1具有處理器核心部分1a、命令高速緩沖存儲(chǔ)器1b、數(shù)據(jù)高速緩沖存儲(chǔ)器1c。根據(jù)需要在存儲(chǔ)器核心部分1a上實(shí)行存儲(chǔ)在存儲(chǔ)器MR的程序，由此實(shí)現(xiàn)必要運(yùn)算量計(jì)算單元2、工作電壓/工作頻率決定單元3、動(dòng)態(tài)圖像編碼單元5、失敗避免單元9和11。命令高速緩沖存儲(chǔ)器1b和數(shù)據(jù)高速緩沖存儲(chǔ)器1c是為了實(shí)現(xiàn)在處理器核心部分1a上實(shí)行的程序的處理的高速化設(shè)置的高速緩沖存儲(chǔ)器。
局部解碼幀存儲(chǔ)器6、要素存儲(chǔ)器8、處理結(jié)束宏模塊數(shù)寄存器10被匯集在圖2的存儲(chǔ)器MR的同時(shí)，前幀的量化步長(zhǎng)的平均值107、表示關(guān)于各幀進(jìn)行幀內(nèi)編碼還是進(jìn)行幀間編碼的種類108、動(dòng)態(tài)圖像編碼的比特速率109、前幀(過(guò)去的幀)的活動(dòng)量110、前幀的宏模塊匹配次數(shù)111、前幀的有效塊數(shù)112、前幀的有效系數(shù)的數(shù)量113、前幀的量化步長(zhǎng)的平均值和其前一幀的量化步長(zhǎng)的平均值的差114、前幀的編碼中實(shí)際需要的處理量115、通過(guò)必要運(yùn)算量計(jì)算單元計(jì)算出來(lái)的前幀的必要運(yùn)算量116和處理結(jié)數(shù)宏模塊數(shù)117作為數(shù)據(jù)存儲(chǔ)在存儲(chǔ)器1f。局部解碼數(shù)據(jù)103作為信號(hào)100j、100k、100l通過(guò)總線控制器BC在存儲(chǔ)器MR和處理器核心部分1a之間被收發(fā)。
兩個(gè)輸入幀存儲(chǔ)器7a和7b相當(dāng)于圖1的幀存儲(chǔ)器7。由照相機(jī)接口CI輸入的視頻數(shù)據(jù)(輸入圖像數(shù)據(jù)101)通過(guò)總線B2被輸入到輸入幀存儲(chǔ)器7a(或者輸入幀存儲(chǔ)器7b)。輸入幀存儲(chǔ)器(#0)7a和輸入幀存儲(chǔ)器(#1)7b在每次結(jié)束一個(gè)幀的處理時(shí)改換用途。即，在第i個(gè)幀的處理中，通過(guò)信號(hào)100h在輸入幀存儲(chǔ)器(#1)7b寫(xiě)入輸入圖像數(shù)據(jù)、為了基于動(dòng)態(tài)圖像編碼處理單元的編碼處理通過(guò)信號(hào)100o從輸入幀存儲(chǔ)器(#0)7a讀出了輸入圖像數(shù)據(jù)時(shí)，在第(i+1)個(gè)幀的處理中，通過(guò)信號(hào)100i在輸入幀存儲(chǔ)器(#0)7a寫(xiě)入輸入圖像數(shù)據(jù)、為了基于動(dòng)態(tài)圖像編碼處理單元的編碼處理通過(guò)信號(hào)100p從輸入幀存儲(chǔ)器(#1)讀出輸入圖像數(shù)據(jù)。因此，當(dāng)通過(guò)信號(hào)100h在輸入幀存儲(chǔ)器(#1)7b中寫(xiě)入輸入圖像數(shù)據(jù)時(shí)，信號(hào)100p不發(fā)生，反之當(dāng)通過(guò)信號(hào)100p讀出圖像時(shí)信號(hào)100h不發(fā)生。同樣，當(dāng)通過(guò)信號(hào)100i在輸入幀存儲(chǔ)器(#0)7a中寫(xiě)入輸入圖像數(shù)據(jù)時(shí)，信號(hào)100o不發(fā)生，當(dāng)通過(guò)信號(hào)100o從輸入幀存儲(chǔ)器(#0)7a讀出輸入圖像數(shù)據(jù)時(shí)，信號(hào)100i不發(fā)生。此時(shí)，在第i個(gè)幀的處理中輸入幀存儲(chǔ)器(#0)7a成為工作頻率和工作電壓的控制對(duì)象，在第(i+1)個(gè)幀的處理中，輸入幀存儲(chǔ)器(#1)7b成為工作頻率和工作電壓的控制對(duì)象。如上所述，準(zhǔn)備兩幀的輸入幀存儲(chǔ)器，使能夠獨(dú)立地設(shè)定各個(gè)工作頻率，由此可以始終互相無(wú)妨礙地進(jìn)行來(lái)自作為一定工作頻率的照相機(jī)接口CI的輸入圖像數(shù)據(jù)的寫(xiě)入動(dòng)作、和根據(jù)必要運(yùn)算量的計(jì)算值變更工作頻率的輸入圖像數(shù)據(jù)的讀出動(dòng)作。
工作電壓/工作頻率控制線路4a可以和PLL4b、DC-DC變換器4c互相收發(fā)信號(hào)，這些作為工作電壓/工作頻率控制單元4來(lái)實(shí)現(xiàn)功能。工作電壓/工作頻率控制線路4a通過(guò)來(lái)自處理器核心部分1a的信號(hào)100e接受工作電壓/工作頻率指示102，根據(jù)該指示102對(duì)PLL4b發(fā)送信號(hào)100u，對(duì)DC-DC變換器4c發(fā)送信號(hào)100v。PLL4b根據(jù)信號(hào)100u發(fā)送工作頻率信號(hào)100a，DC-DC變換器4c根據(jù)信號(hào)100v提供工作電壓100b。由此，關(guān)于圖2中用虛線表示的控制區(qū)域中包含的要素(處理器1、存儲(chǔ)器MR、輸入幀存儲(chǔ)器7a和7b、總線控制器BC等)，控制工作頻率和工作電壓。根據(jù)PLL4b輸出的工作頻率信號(hào)100a、DC-DC變換器4c輸出的電源電壓供給100b的值，信號(hào)100e、100j、100k、100l、100m、100o、100p、100q、100r、100s變化頻率和信號(hào)等級(jí)。
基于在處理器1上工作的動(dòng)態(tài)圖像編碼單元5的編碼后的編碼數(shù)據(jù)106通過(guò)總線B1，作為信號(hào)100m發(fā)送到比特流接口BI之后作為信號(hào)100n被輸出，并且，被發(fā)送到作為局部解碼幀存儲(chǔ)器6來(lái)實(shí)現(xiàn)功能的存儲(chǔ)器MR。另外，圖像數(shù)據(jù)等作為信號(hào)100q通過(guò)總線B1從存儲(chǔ)器被讀出，被發(fā)送到顯示器接口DI。被顯示器接口DI接收到的信號(hào)100q作為基于信號(hào)100t的視頻數(shù)據(jù)被輸出。視頻數(shù)據(jù)通過(guò)與顯示器接口DI連接的監(jiān)控器，輸出顯示成動(dòng)態(tài)圖像。
工作電壓/工作頻率控制線路4a、顯示器接口DI、比特流接口BI始終工作在一定的工作電壓，但是在其之間收發(fā)的信號(hào)100e、100q、100m根據(jù)包含在控制區(qū)域CA中的要素(處理器1或存儲(chǔ)器MR或輸入幀存儲(chǔ)器7a、7b等)的工作電壓的變更，變動(dòng)信號(hào)等級(jí)。為了吸收該影響，優(yōu)選工作電壓/工作頻率控制線路4a、顯示器接口DI、比特流接口BI具有修正接收到的信號(hào)100e、100q、100m的信號(hào)等級(jí)的等級(jí)變換器。
下面，按照?qǐng)D1對(duì)本實(shí)施方式的動(dòng)態(tài)圖像編碼處理系統(tǒng)S1的動(dòng)作進(jìn)行說(shuō)明。通過(guò)動(dòng)態(tài)圖像編碼處理程序Prg1使計(jì)算機(jī)(特別是計(jì)算機(jī)內(nèi)的多媒體信號(hào)處理部)作為下述的規(guī)定的單元來(lái)實(shí)現(xiàn)功能，由此實(shí)現(xiàn)動(dòng)態(tài)圖像編碼處理系統(tǒng)S1。下面，設(shè)在依次被編碼的幀中接下來(lái)被編碼的任意一個(gè)幀作為現(xiàn)幀(即，以某一個(gè)幀被進(jìn)行編碼的時(shí)間點(diǎn)作為基準(zhǔn)的話是下一個(gè)被編碼的幀，換言之，在該時(shí)間點(diǎn)未進(jìn)行編碼處理的、將要進(jìn)行編碼處理的幀)、設(shè)現(xiàn)幀之前被進(jìn)行編碼了的一個(gè)幀(過(guò)去被編碼了的幀)作為前幀，來(lái)說(shuō)明對(duì)現(xiàn)幀進(jìn)行編碼的處理，但是對(duì)于任何一個(gè)幀都進(jìn)行同樣的處理。
圖3是表示該動(dòng)態(tài)圖像編碼處理程序Prg1的概略流程圖。在后面所述的步驟1到步驟5中，動(dòng)態(tài)圖像編碼處理程序Prg1使計(jì)算機(jī)作為下述的各單元實(shí)現(xiàn)功能。(步驟1)將現(xiàn)幀的圖像信息輸入到輸入幀存儲(chǔ)器7。(步驟2)作為計(jì)算現(xiàn)幀的必要計(jì)算量Kp的必要運(yùn)算量計(jì)算單元2實(shí)現(xiàn)功能。(步驟3)作為根據(jù)計(jì)算出來(lái)的必要運(yùn)算量Kp計(jì)算處理器的工作頻率F和工作電壓V的工作電壓/工作頻率計(jì)算單元3實(shí)現(xiàn)功能。(步驟4)作為進(jìn)行使處理器1以計(jì)算出來(lái)的工作頻率F和工作電壓V工作的控制的工作電壓/工作頻率控制單元4實(shí)現(xiàn)功能。(步驟5)作為對(duì)現(xiàn)幀的圖像信息進(jìn)行編碼的動(dòng)態(tài)圖像編碼單元5實(shí)現(xiàn)功能。以上，按照輸入到輸入幀存儲(chǔ)器7的幀的順序(即，被進(jìn)行編碼的順序)對(duì)所有的幀進(jìn)行步驟1到步驟5的處理，由此進(jìn)行動(dòng)態(tài)圖像的編碼。下面詳細(xì)進(jìn)行說(shuō)明。
(步驟1)由于被輸入的輸入圖像數(shù)據(jù)與幀同步，因此存儲(chǔ)在作為暫時(shí)地存儲(chǔ)幀的存儲(chǔ)區(qū)域的輸入幀存儲(chǔ)器7中。
(步驟2)必要運(yùn)算量計(jì)算單元2訪問(wèn)輸入幀存儲(chǔ)器7取得現(xiàn)幀的輸入圖像數(shù)據(jù)101，計(jì)算在現(xiàn)幀的編碼處理中所必要的必要運(yùn)算量Kp。必要運(yùn)算量Kp的計(jì)算方法有各種方法，例如，優(yōu)選使用一個(gè)或一個(gè)以上的對(duì)現(xiàn)幀的編碼處理的運(yùn)算量帶來(lái)影響的要素來(lái)計(jì)算。注意到在動(dòng)態(tài)圖像編碼處理中在處理內(nèi)容為移動(dòng)補(bǔ)償?shù)那闆r下，在劇烈移動(dòng)的映像中運(yùn)算量大，另一方面在移動(dòng)少的映像中運(yùn)算量少這一情況，作為現(xiàn)幀和前幀的移動(dòng)量，作為要素，例如，有作為現(xiàn)幀和前幀的移動(dòng)量用差分絕對(duì)值和計(jì)算的失真值、作為各個(gè)幀的活動(dòng)量用鄰接像素差分絕對(duì)值和計(jì)算出來(lái)的值、宏模塊匹配次數(shù)、有效塊數(shù)、有效系數(shù)的數(shù)量、編碼比特速率、發(fā)生比特?cái)?shù)、在前幀的編碼中實(shí)際需要的運(yùn)算量、通過(guò)必要運(yùn)算量計(jì)算單元2計(jì)算出來(lái)的前幀的必要運(yùn)算量。這里，關(guān)于各個(gè)要素，在假定只有一個(gè)要素的值發(fā)生變化、其他的要素的值沒(méi)有發(fā)生變化時(shí)，該一個(gè)要素的值大的情況與小的情況相比必要運(yùn)算量相對(duì)地大，該一個(gè)要素的值小的情況與大的情況相比必要運(yùn)算量相對(duì)地小。另外，現(xiàn)幀被進(jìn)行幀內(nèi)編碼的情況與進(jìn)行幀間編碼的情況相比必要運(yùn)算量Kp相對(duì)地小，進(jìn)行幀間編碼的情況與進(jìn)行幀內(nèi)編碼的情況相比必要運(yùn)算量Kp相對(duì)地大。即，這些要素對(duì)現(xiàn)幀的編碼處理所必要的必要運(yùn)算量帶來(lái)影響，因此必要運(yùn)算量計(jì)算單元2進(jìn)行計(jì)算使得根據(jù)這些要素增減必要運(yùn)算量Kp(周期)，由此必要運(yùn)算量計(jì)算單元2計(jì)算出來(lái)的必要運(yùn)算量Kp的值更接近實(shí)際進(jìn)行編碼處理時(shí)的運(yùn)算量。
例如，在本實(shí)施方式中，使用函數(shù)G計(jì)算，比較存儲(chǔ)在輸入幀存儲(chǔ)器7中的現(xiàn)幀的輸入圖像數(shù)據(jù)101和存儲(chǔ)在局部解碼幀存儲(chǔ)器6中的已被解碼的前幀的局部解碼數(shù)據(jù)103，進(jìn)行輸入圖像的移動(dòng)大小的預(yù)測(cè)(計(jì)算)。該前幀的局部解碼數(shù)據(jù)103在現(xiàn)幀之前被進(jìn)行編碼的前幀的編碼處理中，用局部譯碼器解碼，由此形成對(duì)前幀的編碼形成的前幀的編碼數(shù)據(jù)106，并存儲(chǔ)在局部解碼幀存儲(chǔ)器6中。作為移動(dòng)大小的預(yù)測(cè)(計(jì)算)的一個(gè)例子，例如使用差分絕對(duì)值和。以下，對(duì)差分絕對(duì)值和∑和必要運(yùn)算量Kp的計(jì)算方法進(jìn)行說(shuō)明。此外，作為前幀的圖象數(shù)據(jù)，可以使用解碼后通過(guò)局部譯碼器解碼的局部解碼數(shù)據(jù)106，也可以使用被輸入的前幀的輸入圖像數(shù)據(jù)本身。
如果將在輸入幀存儲(chǔ)器7中存儲(chǔ)的現(xiàn)幀的輸入圖像數(shù)據(jù)101設(shè)為X(i，j)(i是圖像的水平方向的坐標(biāo)、j是垂直方向的坐標(biāo))、將在后述的局部解碼幀存儲(chǔ)器6中存儲(chǔ)的前幀的局部解碼數(shù)據(jù)103設(shè)為Y(i，j)(i是圖像的水平方向的坐標(biāo)、j是垂直方向的坐標(biāo))，則現(xiàn)幀和前幀的移動(dòng)量通過(guò)對(duì)所有的(或者采樣的)像素計(jì)算差份絕對(duì)值和Z＝∑|X(i，j)-Y(i，j)|得出。將該差分絕對(duì)值和的值設(shè)為Z。另一方面，在X(i，j)中對(duì)所有的(或者采樣的)輸入圖像計(jì)算鄰接像素差分絕對(duì)值和W，即，水平方向Wh＝∑|X(i，j)-X(i-1，j)|、垂直方向Wv＝∑|X(i，j)-X(i，j-1)|，由此求出幀的移動(dòng)量。將該鄰接像素差分絕對(duì)值和的值(即各幀的移動(dòng)量)設(shè)為W。
設(shè)差分絕對(duì)值和為Z、設(shè)現(xiàn)幀的移動(dòng)量為Wa、設(shè)前幀(過(guò)去的幀)的移動(dòng)量為Wb、設(shè)前幀的平均量化步長(zhǎng)(量化步長(zhǎng)的平均值)為Qprev、設(shè)前幀的宏模塊匹配次數(shù)為M、設(shè)前幀的有效塊數(shù)為B、設(shè)前幀的有效系數(shù)的數(shù)量為C、設(shè)在前幀的解碼中實(shí)際需要的處理量為S、設(shè)現(xiàn)幀的解碼比特速率為BR、設(shè)前幀的量化步長(zhǎng)的平均值和其一個(gè)之前的幀的量化步長(zhǎng)的平均值的差為ΔQprev、設(shè)前幀的實(shí)際發(fā)生比特?cái)?shù)為D、設(shè)計(jì)算出的前幀的必要運(yùn)算量為Kp’，使用這些要素中的一個(gè)或一個(gè)以上，用Kp＝G(Z、Wa、Wb、Qprev、M、B、C、S、BR、ΔQprev、D、Kp’)…(式1)計(jì)算必要運(yùn)算量Kp。其中G是從Z、Wa、Wb、Qprev、M、B、C、S、BR、ΔQprev、D、Kp’中的一個(gè)或一個(gè)以上的要素導(dǎo)出的函數(shù)。作為其一個(gè)例，有Kp＝j(luò)+αM+βB+γC+δZ+εΔQprev...(式2)，但是并不限于這些。另外，作為在必要運(yùn)算量Kp的計(jì)算中的要素，使用表示現(xiàn)幀是被進(jìn)行幀內(nèi)編碼還是被進(jìn)行幀間編碼的種類I。在現(xiàn)幀為幀內(nèi)編碼的情況下的必要運(yùn)算量Kp是小值、在是幀間編碼的情況下的必要運(yùn)算量Kp是大值。即，必要運(yùn)算量計(jì)算單元2在使用差分絕對(duì)值和Z時(shí)，計(jì)算差分絕對(duì)值和Z＝∑|Xij-Yij|之后，計(jì)算必要運(yùn)算量Kp＝G(Z、Wa、Wb、Qprev、M、B、C、S、BR、ΔQprev、D、Kp’)。
以下，對(duì)上述函數(shù)G進(jìn)行說(shuō)明。在前幀和現(xiàn)幀之間圖像變化大(小)的情況下，即在差分絕對(duì)值和Z大(小)的情況下，在現(xiàn)幀執(zhí)行的宏模塊匹配的次數(shù)變大(小)，在現(xiàn)幀的移動(dòng)檢測(cè)處理中需要的運(yùn)算量(依賴于被執(zhí)行的宏模塊匹配次數(shù))變大(小)。另外，在現(xiàn)幀的活動(dòng)量Wa大(小)的情況下，意味著現(xiàn)幀包含的圖像的高頻成分多(少)，此時(shí)，在現(xiàn)幀的編碼處理中發(fā)生的有效塊數(shù)、有效系數(shù)的數(shù)量變大(小)，在現(xiàn)幀的IDCT處理中所必要的運(yùn)算量(依賴于發(fā)生的有效塊數(shù))、在IQ處理中所必要的運(yùn)算量(依賴于發(fā)生的有效系數(shù)的數(shù)量)、在VLC處理中所必要的運(yùn)算量(依賴于發(fā)生的有效系數(shù)的數(shù)量)變大(小)。因此，上述函數(shù)G在Z、Wa等參數(shù)大(小)的情況下，設(shè)定Hp為大(小)。
由于動(dòng)態(tài)圖像在連續(xù)的幀間的相關(guān)大，因此在編碼處理中執(zhí)行的宏模塊匹配次數(shù)、在編碼處理中發(fā)生的有效塊數(shù)、有效系數(shù)的數(shù)量、在編碼處理中所必要的運(yùn)算量、活動(dòng)量的值在時(shí)間上連續(xù)的幀間非常接近。因此，在M、B、C、S、Wb大(小)的情況下，在現(xiàn)幀也是宏模塊匹配次數(shù)、有效塊數(shù)、有效系數(shù)的數(shù)量、在編碼處理中所必要的運(yùn)算量、活動(dòng)量變大(小)的概率大。進(jìn)而，在用必要運(yùn)算量計(jì)算單元計(jì)算出的預(yù)測(cè)運(yùn)算量的值接近在實(shí)際的編碼處理中需要的運(yùn)算量的情況下，SHp’。因此，上述函數(shù)G在M、B、C、S、Wb、Hp’等參數(shù)大(小)的情況下，設(shè)定Hp為大(小)。
在目標(biāo)比特速率大(小)的情況下，設(shè)定量化步長(zhǎng)的值為小(大)。其結(jié)果是，在編碼處理中發(fā)生的有效塊數(shù)、有效系數(shù)的數(shù)量變大(變小)。另外，在前幀的發(fā)生比特?cái)?shù)與目標(biāo)比特速率相比大(小)的情況下，設(shè)定現(xiàn)幀的量化步長(zhǎng)的值為小(大)，在編碼處理中發(fā)生的有效塊數(shù)、有效系數(shù)的數(shù)量變小(大)。因此，上述函數(shù)G在現(xiàn)幀的編碼比特速率BR大(小)的情況下，設(shè)定Hp為大(小)，在前幀的實(shí)際發(fā)生比特?cái)?shù)D與BR相比大(小)的情況下，設(shè)定Hp為小(大)。進(jìn)而，考慮到前幀的平均量化步長(zhǎng)Qprev或前幀的量化步長(zhǎng)的平均值和其一個(gè)幀之前的幀的量化步長(zhǎng)的平均值的差ΔQprev，上述函數(shù)G可以使計(jì)算出的Hp的值接近在實(shí)際對(duì)現(xiàn)幀進(jìn)行編碼時(shí)所必要的運(yùn)算量。
(第一失敗避免步驟)另外，還由于很難產(chǎn)生失敗現(xiàn)象，因此在必要運(yùn)算量計(jì)算單元2中包含的第一失敗避免單元11使必要運(yùn)算量Kp的值增加規(guī)定量，進(jìn)行使計(jì)算出的必要運(yùn)算量Kp有余量的處理。具體地說(shuō)，使必要運(yùn)算量Kp增加m倍(m為大于等于1的實(shí)數(shù))。例如，若m＝1.1，則對(duì)計(jì)算出的必要運(yùn)算量Kp，可以具有10％的余量。另外，可以在必要運(yùn)算量Kp加上實(shí)數(shù)n(n為大于等于0的實(shí)數(shù))，與計(jì)算出來(lái)的必要運(yùn)算量的值無(wú)關(guān)可以以一定值具有余量。利用上述的例子，則最終計(jì)算出的必要運(yùn)算量Kp通過(guò)Kp＝G(Z)×m…(式3)Kp＝G(Z)+n…(式4)求出。也可以與式2組合成Kp＝G(Z)×m+n…(式5)。
但是，如果計(jì)算出的必要運(yùn)算量Kp還比在實(shí)際現(xiàn)幀的必要運(yùn)算量Km小，則通過(guò)在作為后述的第二失敗避免單元的處理結(jié)束判斷單元9中進(jìn)行處理，來(lái)避免失敗現(xiàn)象。
此外，動(dòng)態(tài)圖像編碼比特速率109、表示對(duì)現(xiàn)幀和前幀進(jìn)行幀內(nèi)編碼還是進(jìn)行幀間編碼的種類108、前幀的活動(dòng)量110、通過(guò)必要運(yùn)算量計(jì)算單元計(jì)算出的前幀的必要運(yùn)算量116被事先存儲(chǔ)在作為存儲(chǔ)要素的存儲(chǔ)區(qū)域的要素存儲(chǔ)器8，在計(jì)算必要運(yùn)算量Kp時(shí)被必要運(yùn)算量計(jì)算單元2讀入并被使用。前幀的量化步長(zhǎng)的平均值107、前幀的宏模塊匹配次數(shù)111、前幀的有效塊數(shù)112、前幀的有效系數(shù)的數(shù)量113、前幀的量化步長(zhǎng)的平均值和其一個(gè)幀之前的幀的量化步長(zhǎng)的平均值的差114以及在幀的編碼中實(shí)際需要的處理量115在進(jìn)行了前幀的編碼處理時(shí)，從動(dòng)態(tài)圖像編碼單元5被反饋到必要運(yùn)算量計(jì)算單元2。在必要運(yùn)算量計(jì)算單元2，在這些要素中可以只使用一個(gè)要素，也可以將多個(gè)要素組合起來(lái)使用。
(步驟3)工作電壓/工作頻率計(jì)算單元3根據(jù)必要運(yùn)算量Kp的值，進(jìn)行預(yù)測(cè)對(duì)現(xiàn)幀處理的工作頻率Fe(周期/秒)的計(jì)算。即，通過(guò)編碼方式規(guī)定處理時(shí)間的最小單位為1幀，若設(shè)分配給現(xiàn)幀的編碼處理的時(shí)間為T(mén)e(秒)，則在現(xiàn)幀所必要的工作頻率Fe(周期/秒)即在時(shí)間Te(秒)內(nèi)可以對(duì)所述必要運(yùn)算量Kp進(jìn)行編碼處理的工作頻率Fe(周期/秒)用Fe＝Kp/Te表示，由此工作電壓/工作頻率計(jì)算單元3計(jì)算工作頻率Fe＝Kp/Te。其中，分配給規(guī)定幀的編碼處理的時(shí)間Te是從一幀處理的限制時(shí)間Tf引入預(yù)測(cè)對(duì)規(guī)定幀的運(yùn)算量的時(shí)間Tp和變更處理器的工作頻率/工作電壓/基板偏置電壓的時(shí)間Tp的時(shí)間。如圖5所示，在包含處理器1和(或)局部解碼存儲(chǔ)器6等的周邊裝置支持的工作電壓/工作頻率可用r(r為大于等于2的整數(shù))階段變更的情況下，工作電壓/工作頻率計(jì)算單元3進(jìn)行選擇F(r)＞Fe且F(r-1)＜Fe的工作頻率F(r)作為進(jìn)行現(xiàn)幀的編碼處理的工作頻率的計(jì)算，進(jìn)行選擇適合于該工作頻率F(r)的工作電壓V(r)的計(jì)算，向工作電壓/工作頻率向工作電壓/工作頻率控制單元4指示，以使包含處理器1和(或)局部解碼存儲(chǔ)器6等的周邊裝置以該工作頻率F(r)和工作電壓V(r)工作(符號(hào)102)。
(步驟4)工作電壓/工作頻率控制單元4將從工作電壓/工作頻率計(jì)算單元3接收到指示的工作電壓V(r)和工作頻率F(r)的值提供給包含處理器1和(或)局部解碼存儲(chǔ)器6等的周邊裝置(符號(hào)105)，進(jìn)行使處理器1固定地以該工作電壓V(r)和工作頻率F(r)工作的控制。由此，包含處理器1和(或)局部解碼存儲(chǔ)器6等的周邊裝置就以一定的工作電壓V(r)和工作頻率F(r)工作。
(步驟5)動(dòng)態(tài)圖像編碼單元5是通過(guò)動(dòng)態(tài)圖像編碼處理程序Prg1在計(jì)算機(jī)的處理器1上實(shí)現(xiàn)的單元，是使用處理器1以進(jìn)行動(dòng)態(tài)圖像編碼的單位訪問(wèn)存儲(chǔ)在輸入幀存儲(chǔ)器7中的輸入圖像數(shù)據(jù)，并進(jìn)行編碼處理的單元。即，動(dòng)態(tài)圖像編碼單元5從輸入幀存儲(chǔ)器7取得現(xiàn)幀的輸入圖像數(shù)據(jù)101，進(jìn)行編碼生成編碼數(shù)據(jù)106。在步驟4，由于包含處理器1和(或)局部解碼存儲(chǔ)器6等的周邊裝置處于以由工作電壓/工作頻率控制單元4提供的一定的工作電壓V(r)和工作頻率F(r)工作的狀態(tài)，因此在步驟5，工作電壓/工作頻率控制單元4使包含處理器1和(或)局部解碼存儲(chǔ)器6等的周邊裝置固定地以該工作頻率F(r)和工作電壓V(r)工作，同時(shí)使用該處理器1進(jìn)行編碼的動(dòng)態(tài)圖像編碼單元5進(jìn)行現(xiàn)幀的編碼。例如，對(duì)于劇烈移動(dòng)的圖像(現(xiàn)幀的輸入圖像數(shù)據(jù)101)使包含處理器1和(或)局部解碼存儲(chǔ)器6等的周邊裝置固定地以高頻工作，對(duì)于移動(dòng)少的圖像使包含處理器1和(或)局部解碼存儲(chǔ)器6等的周邊裝置固定地以低頻工作，由此可以實(shí)現(xiàn)低消耗功率化。并且，動(dòng)態(tài)圖像編碼單元5包括具有對(duì)編碼數(shù)據(jù)106進(jìn)行解碼的功能的局部譯碼器，現(xiàn)幀的編碼數(shù)據(jù)106被局部譯碼器解碼并作為局部解碼數(shù)據(jù)103存儲(chǔ)在局部解碼幀存儲(chǔ)器6中。在對(duì)現(xiàn)幀之后被進(jìn)行編碼的幀計(jì)算必要運(yùn)算量Kp時(shí)使用該現(xiàn)幀的局部解碼數(shù)據(jù)103。現(xiàn)幀的編碼數(shù)據(jù)106通過(guò)傳送線路被發(fā)送，或存儲(chǔ)在存儲(chǔ)介質(zhì)。
(第二失敗避免步驟)進(jìn)而，在用上述必要運(yùn)算量計(jì)算單元2計(jì)算出的必要運(yùn)算量Kp比實(shí)際現(xiàn)幀的必要運(yùn)算量還小的情況下，在分配給現(xiàn)幀的處理的時(shí)間Te內(nèi)未完成處理，發(fā)生失敗現(xiàn)象。因此，本系統(tǒng)S1具有在預(yù)先分配給所述一個(gè)幀的編碼或解碼處理的時(shí)間Te內(nèi)未完成該一個(gè)幀的編碼處理的情況下進(jìn)行避免失敗現(xiàn)象的處理的第二失敗避免單元。在本實(shí)施方式中，作為第二失敗避免單元具有處理結(jié)束判斷單元9。處理結(jié)束判斷單元9在步驟5，在動(dòng)態(tài)圖像編碼單元5執(zhí)行現(xiàn)幀的輸入圖像數(shù)據(jù)101的編碼處理例行程序(routine)時(shí)，按照規(guī)定的定時(shí)進(jìn)行對(duì)編碼處理例行程序的插入，在處理時(shí)間內(nèi)暫時(shí)地中斷，判斷現(xiàn)幀的編碼處理是否結(jié)束。在存在未被進(jìn)行編碼的宏模塊的情況下，可以判斷為用所述必要運(yùn)算量計(jì)算單元計(jì)算出的必要運(yùn)算量比實(shí)際需要的運(yùn)算量還小、在時(shí)間Te內(nèi)未完成處理從而發(fā)生失敗現(xiàn)象的可能性高，因此對(duì)該宏模塊進(jìn)行無(wú)效塊化處理。在這里，通過(guò)處理結(jié)束判斷單元9，如果至少在不發(fā)生失敗現(xiàn)象的時(shí)間點(diǎn)進(jìn)行插入時(shí)未完成編碼處理，則進(jìn)行變更為可以大幅度地削減剩下的處理等的無(wú)效塊化處理，由此可以避免在時(shí)間內(nèi)不能完成編碼處理的失敗現(xiàn)象。
以下，具體地說(shuō)明處理結(jié)束判斷單元9。圖4表示進(jìn)行插入時(shí)的時(shí)間和運(yùn)算剩余量的關(guān)系。在分配給工作在工作頻率F的現(xiàn)幀處理的時(shí)間Te內(nèi)，設(shè)一幀的宏模塊數(shù)為MB、設(shè)將一個(gè)宏模塊作為無(wú)效宏模塊進(jìn)行處理時(shí)必要的運(yùn)算量為Ks。其中，在作為無(wú)效宏模塊進(jìn)行處理時(shí)所必要的運(yùn)算量Ks的值與在一宏模塊的通常的處理中需要的運(yùn)算量相比明顯地小，對(duì)哪一個(gè)幀的宏模塊都進(jìn)行同樣的處理。處理結(jié)束判斷單元9用Ti＝Te-Ks×MB/F計(jì)算進(jìn)行分配的時(shí)間Ti。進(jìn)行插入的時(shí)間可以由所述工作電壓/工作頻率計(jì)算單元3計(jì)算。然后，處理結(jié)束判斷單元9按照時(shí)間Ti的定時(shí)進(jìn)行對(duì)編碼處理例行程序的插入，從處理完成宏模塊數(shù)寄存器10中讀出編碼處理結(jié)束的宏模塊數(shù)MBi(符號(hào)117)，判斷MBi＝MB還是MBi＜MB，判斷編碼處理結(jié)束的有無(wú)。如果MBi＝MB，則現(xiàn)幀的編碼處理結(jié)束，因此就終止插入程序，回到編碼處理例行程序。如果MBi＜MB，則現(xiàn)幀的編碼處理未結(jié)束，因此判斷為用必要運(yùn)算量計(jì)算單元2計(jì)算出的必要運(yùn)算量比實(shí)際需要的運(yùn)算量還小，將未進(jìn)行編碼處理的全部宏模塊作為無(wú)效快進(jìn)行處理，回到編碼處理例行程序。在按照時(shí)間Ti的定時(shí)進(jìn)行分配的時(shí)間點(diǎn)，至少確保將所有的宏模塊作為無(wú)效塊進(jìn)行處理的運(yùn)算量，因此一定可以避免失敗現(xiàn)象。
此外，換成無(wú)效塊化處理，如后面所述可以通過(guò)提高處理器1的工作頻率和工作電壓，來(lái)避免失敗現(xiàn)象。在這種情況下，在預(yù)先分配給現(xiàn)幀的編碼處理的時(shí)間內(nèi)，按照留出可以對(duì)未進(jìn)行編碼處理的所有的宏模塊進(jìn)行編碼的時(shí)間的定時(shí)進(jìn)行插入。
(證明)以下，一邊多次變更處理器的工作電壓和工作頻率一邊與對(duì)一幀進(jìn)行編碼的現(xiàn)有技術(shù)進(jìn)行比較，證明通過(guò)本發(fā)明可以實(shí)現(xiàn)低消耗功率化。例如，在某特定的時(shí)間Tt進(jìn)行某特定的運(yùn)算量Kt的情況下，如果在該特定的時(shí)間之間用同一個(gè)頻率進(jìn)行控制并且設(shè)頻率Ft為Ft＝Kt/Tt…(式6)的話可以實(shí)現(xiàn)低消耗功率化。例如，處理器1的工作電壓和工作頻率如圖5所示，在P階段可變，設(shè)任意的一個(gè)幀的必要運(yùn)算量為Kt，設(shè)分配給該幀的處理的時(shí)間為T(mén)t。如圖6所示，設(shè)工作頻率為Ft，設(shè)使處理器1工作在工作頻率Ft時(shí)的工作電壓為VDD，設(shè)在時(shí)間Tt必要運(yùn)算量Kt的處理結(jié)束的情況(即，工作頻率一定的情況)為Case1，如圖6(b)所示，設(shè)初始值的工作頻率為h*Ft，設(shè)使處理器工作在工作頻率h*Ft時(shí)的工作電壓為V1，在經(jīng)過(guò)時(shí)間T1的時(shí)間點(diǎn)將處理器的工作頻率變更為h*Ft/2，設(shè)使處理器1工作在工作頻率h*Ft/2時(shí)的工作電壓為V2，設(shè)在時(shí)間T1+T2必要運(yùn)算量Kt的處理結(jié)束的情況(即進(jìn)行一次工作頻率的切換的情況)為Case2，關(guān)于各Case1，Case2考慮對(duì)所述任意的一個(gè)幀進(jìn)行編碼的情況。在任何一種情況下運(yùn)算量一樣，即為Kt(周期)。另一方面，消耗功率用下列式表示p＝α×C×f×VDD2×t…(式7)α系數(shù)、C處理器的晶體管數(shù)f工作頻率、VDD工作電壓、t工作時(shí)間利用這些式計(jì)算Case1的消耗功率Pa和Case2的消耗功率Pb，則成為Pa＝α×C×Ft×V2×Tt…(式8)Pb＝α×C×(h×Ft)×V12×T1+α×C×(h×Ft/2)×V22×T2…(式9)，Pa∶Pb＝V2×Tt∶(h×V12×T1+(h/2)×V22×T2)…(式10)。
這里，例如設(shè)h＝1.5、T1＝1/3×Tt、Tb＝2/3×Tt、V＝1、V1＝1.5、V2＝0.75，則成為Pa∶Pb＝12∶(1.5×1.52/3+(1.5/2)×0.752×(2/3)1∶1.41…(式11)Pa＜Pb。即，在將被決定的運(yùn)算量在一定時(shí)間處理的情況下，盡管是同一個(gè)運(yùn)算量Kt，如Case1的情況，可以看出根據(jù)在該時(shí)間內(nèi)可完成處理的最小頻率、通過(guò)該處理時(shí)間后使處理器固定地工作在該頻率比如傳統(tǒng)的在處理時(shí)間中變更工作頻率的Case2的情況消耗功率更低。因此根據(jù)一邊使處理器1工作在一定的工作電壓和工作頻率一邊進(jìn)行一個(gè)幀的編碼處理的本發(fā)明，可以看出由于對(duì)每一塊決定工作電壓和工作頻率，因此與在一個(gè)幀的編碼中幾次變更工作電壓和工作頻率的現(xiàn)有技術(shù)相比，更容易實(shí)現(xiàn)低消耗功率化。
(第二實(shí)施方式)圖7是表示第二實(shí)施方式的動(dòng)態(tài)圖像編碼處理系統(tǒng)S2的動(dòng)作的概略框圖。本實(shí)施方式的動(dòng)態(tài)圖像編碼處理系統(tǒng)2至少具有運(yùn)算剩余量判斷單元29，代替在所述第一實(shí)施方式的動(dòng)態(tài)圖像編碼處理系統(tǒng)S2中作為第二失敗避免單元的處理結(jié)束判斷單元9和處理完成宏模塊數(shù)寄存器10。圖8是表示該動(dòng)態(tài)圖像編碼處理程序Prg2和由它實(shí)現(xiàn)的動(dòng)態(tài)圖像編碼處理方法的概略流程圖。程序Prg2是使計(jì)算機(jī)作為具有各單元的動(dòng)態(tài)圖像編碼處理系統(tǒng)S2來(lái)實(shí)現(xiàn)功能的程序，包括插入在編碼處理(步驟5)中執(zhí)行的第二失敗避免步驟。動(dòng)態(tài)圖像編碼處理系統(tǒng)S2與所述動(dòng)態(tài)圖像編碼處理系統(tǒng)S1不同，進(jìn)行變更動(dòng)態(tài)工作電壓/工作頻率控制，該動(dòng)態(tài)工作電壓/工作頻率是使包含處理器1和(或)局部解碼存儲(chǔ)器6等的周邊裝置工作的工作頻率和工作電壓的動(dòng)態(tài)工作電壓/工作頻率，由此解決上述問(wèn)題。以下，詳細(xì)說(shuō)明動(dòng)態(tài)工作電壓/工作頻率控制。
對(duì)現(xiàn)幀處理的工作頻率和工作電壓是根據(jù)由必要運(yùn)算量計(jì)算單元2計(jì)算出的值，由工作電壓/工作頻率計(jì)算單元3計(jì)算。但是，在計(jì)算出的必要運(yùn)算量Kp的值比在現(xiàn)幀處理中實(shí)際需要的必要運(yùn)算量Km小的情況下，根據(jù)必要運(yùn)算量Kp值計(jì)算出的工作頻率和工作電壓也會(huì)比適合實(shí)際的現(xiàn)幀處理的工作頻率和工作電壓小。
(第二失敗避免步驟)在動(dòng)態(tài)圖像編碼處理系統(tǒng)S2中，與所述動(dòng)態(tài)圖像編碼處理系統(tǒng)S1一樣，在動(dòng)態(tài)圖像編碼單元5等間隔地設(shè)N次插入處理后暫時(shí)地中斷編碼處理，在該插入的時(shí)間點(diǎn)，運(yùn)算剩余量判斷單元29比較作為用必要運(yùn)算量計(jì)算單元2計(jì)算出的現(xiàn)幀的必要運(yùn)算量剩余量的運(yùn)算剩余量Ki和在基于動(dòng)態(tài)圖像編碼單元5的規(guī)定的幀的處理中實(shí)際需要的運(yùn)算量剩余的運(yùn)算量。即，在第i次插入處理中，運(yùn)算剩余量判斷單元29測(cè)定分配給現(xiàn)幀處理的剩余時(shí)間Ti和處理器1的工作頻率F，用式Ki＝Ti×F計(jì)算運(yùn)算剩余量Ki。另外，運(yùn)算剩余量判斷單元29保持從第一次到第(i-1)次的插入處理時(shí)刻T1，T2，...，T(i-1)以及在各插入時(shí)刻的處理器的工作頻率F1，F(xiàn)2，...，F(xiàn)(i-1)，根據(jù)這些值，用式Kpm＝∑Fj×(T(j+1)-Tj)計(jì)算從現(xiàn)幀處理開(kāi)始時(shí)刻到第i次插入處理發(fā)生時(shí)刻為止在現(xiàn)幀處理中消耗的運(yùn)算量Kpm。其中，F(xiàn)0是在現(xiàn)幀的處理開(kāi)始時(shí)設(shè)定的處理器的工作頻率，j＝0，1，...，(i-1)。接著，運(yùn)算剩余量判斷單元29判斷Ki≥Kpm×(MB-MBi)/MBi還是Ki＜Kpm×(MB-MBi)/MBi。當(dāng)計(jì)算出的運(yùn)算剩余量Ki和在現(xiàn)幀處理中消耗的運(yùn)算量Kpm滿足式Ki≥Kpm×(MB-MBi)/MBi時(shí)，插入處理結(jié)束后回到編碼處理例行程序。動(dòng)態(tài)圖像編碼單元5在第(i+1)次插入處理發(fā)生時(shí)刻為止，繼續(xù)進(jìn)行現(xiàn)幀的處理。運(yùn)算剩余量判斷單元29，當(dāng)計(jì)算出的運(yùn)算剩余量Ki和在現(xiàn)幀處理中消耗的運(yùn)算量Kpm滿足式Ki＜Kpm×(MB-MBi)/MBi時(shí)，判斷為用必要運(yùn)算量計(jì)算單元2計(jì)算出的必要運(yùn)算量比實(shí)際需要的運(yùn)算量還小，指示工作電壓/工作頻率控制單元4將工作電壓和工作頻率上升一階段(符號(hào)104)。這里，也可以指示使工作電壓和工作頻率上升兩個(gè)階段。此外，MB表示在現(xiàn)幀中包含的宏模塊總數(shù)，MBi表示第i次插入處理發(fā)生時(shí)刻的現(xiàn)幀編碼處理完成宏模塊數(shù)。通過(guò)設(shè)置以上處理，可以在現(xiàn)幀的處理途中使處理器的工作頻率上升，因此即使現(xiàn)幀的處理開(kāi)始時(shí)在處理器設(shè)定的工作頻率比實(shí)現(xiàn)在現(xiàn)幀處理中需要的運(yùn)算量的必要工作頻率小，也可以不產(chǎn)生失敗現(xiàn)象地完成現(xiàn)幀處理。此外，向動(dòng)態(tài)圖像編碼單元5的插入時(shí)刻不局限于等間隔的N次，也可以在任意間隔的N次進(jìn)行。另外，也可以用Ki≥Kpm×(BL-BLi)/BLi和Ki≥Kpm×(BL-BLi)/BLi代替式Ki≥Kpm×(MB-MBi)/MBi和Ki＜Kpm×(MB-MBi)/MBi。此處，BL表示包含在現(xiàn)幀的塊總數(shù)，BLi表示在第i次插入處理發(fā)生時(shí)刻的現(xiàn)幀的處理完成塊數(shù)。此外，本系統(tǒng)S2也可以具有第一失敗避免單元11。
(第三實(shí)施方式)本發(fā)明的第三實(shí)施方式的動(dòng)態(tài)圖像解碼處理系統(tǒng)S3是對(duì)被進(jìn)行編碼的動(dòng)態(tài)圖像進(jìn)行解碼的系統(tǒng)。圖9是表示動(dòng)態(tài)圖像解碼處理系統(tǒng)S3的動(dòng)作的概略框圖。本實(shí)施方式的動(dòng)態(tài)圖像解碼處理系統(tǒng)S3r階段地準(zhǔn)備工作電壓和工作頻率，并且包括通過(guò)程序可變更工作電壓和工作頻率的處理器1、控制所述處理器1的工作電壓和工作頻率的工作電壓/工作頻率控制單元4、存儲(chǔ)前幀的解碼數(shù)據(jù)的局部解碼幀存儲(chǔ)器36和在處理器1上工作的運(yùn)算剩余量判斷單元39。其中，局部解碼存儲(chǔ)器36可以與處理器1一樣通過(guò)工作電壓/工作頻率控制單元4控制工作電壓/工作頻率。處理器1包括在處理器1上工作的必要運(yùn)算量計(jì)算單元32、在處理器1上工作的工作電壓/工作頻率計(jì)算單元3、在處理器1上工作的動(dòng)態(tài)圖像解碼單元35。符號(hào)301是輸入編碼數(shù)據(jù)、符號(hào)102是工作電壓/工作頻率指示、符號(hào)105是工作電壓/工作頻率供給、符號(hào)306是解碼數(shù)據(jù)，和第一實(shí)施方式一樣的符號(hào)是表示具有同樣的功能或相當(dāng)?shù)墓δ艿牟糠?。不編碼而進(jìn)行解碼這一方面以及下述以外的方面與第2實(shí)施方式相同。
按照?qǐng)D9，對(duì)動(dòng)態(tài)圖像解碼處理系統(tǒng)S3的動(dòng)作進(jìn)行說(shuō)明。以下，在依次被進(jìn)行解碼的幀中，將接下來(lái)開(kāi)始解碼的任意一個(gè)幀(即，以某一個(gè)幀被進(jìn)行了解碼的時(shí)間點(diǎn)作為基準(zhǔn)的話是下一個(gè)被進(jìn)行解碼的幀，換言之，是在該時(shí)間點(diǎn)未進(jìn)行解碼處理的、將要進(jìn)行解碼處理的幀)作為現(xiàn)幀、將現(xiàn)幀之前被解碼的一個(gè)幀(過(guò)去被解碼的幀)為前幀，說(shuō)明對(duì)現(xiàn)幀進(jìn)行解碼的處理，但是對(duì)任意一個(gè)幀都進(jìn)行同樣的處理。使計(jì)算機(jī)作為動(dòng)態(tài)圖像解碼處理系統(tǒng)S3實(shí)現(xiàn)功能的動(dòng)態(tài)圖像解碼處理程序Prg3與所述動(dòng)態(tài)圖像編碼處理程序Prg1大致一樣，但是在步驟5，使計(jì)算機(jī)(詳細(xì)地說(shuō)是內(nèi)置在計(jì)算機(jī)的處理器1)作為解碼現(xiàn)幀的編碼數(shù)據(jù)的動(dòng)態(tài)圖像解碼單元35來(lái)實(shí)現(xiàn)功能。對(duì)動(dòng)態(tài)圖像解碼處理系統(tǒng)S3輸入的輸入編碼數(shù)據(jù)301被輸入到必要運(yùn)算量計(jì)算單元32。必要運(yùn)算量計(jì)算單元32計(jì)算編碼數(shù)據(jù)301的一個(gè)幀(即現(xiàn)幀的編碼數(shù)據(jù)301)的發(fā)生信息量(比特?cái)?shù))FB，進(jìn)行預(yù)測(cè)必要運(yùn)算量Kp的計(jì)算。必要運(yùn)算量Kp用下列式表示。
Kp＝G(FB、MVa、MVv、B、C、BR、Q、ΔQ、I、E、P)…(式11)這里，F(xiàn)B表示現(xiàn)幀或前幀的編碼數(shù)據(jù)的比特?cái)?shù)、MVa表示現(xiàn)幀或前幀的移動(dòng)矢量大小的平均值、MVv表示現(xiàn)幀或前幀的移動(dòng)矢量大小的方差、B表示現(xiàn)幀或前幀的有效塊數(shù)、C表示現(xiàn)幀或前幀的有效系數(shù)的數(shù)量、BR表示現(xiàn)幀或前幀的比特速率、Q表示現(xiàn)幀或前幀的量化步長(zhǎng)的平均值、ΔQ表示現(xiàn)幀或前幀的量化步長(zhǎng)的平均值的差或前幀和再前幀的量化步長(zhǎng)的平均值的差、I是表示現(xiàn)幀是I圖像、P圖像還是B圖像的種類、E表示在前幀的解碼中實(shí)際需要的運(yùn)算量、P表示通過(guò)必要運(yùn)算量計(jì)算單元計(jì)算出的前幀的必要運(yùn)算量。
在現(xiàn)幀的解碼中所必要的運(yùn)算量依賴于在現(xiàn)幀的解碼中執(zhí)行的IDCT處理、IQ處理、VLD處理的執(zhí)行次數(shù)。另外，IDCT處理的執(zhí)行次數(shù)依賴于包含在現(xiàn)幀的有效塊數(shù)，IQ處理和VLD處理的執(zhí)行次數(shù)依賴于包含在現(xiàn)幀的有效系數(shù)的數(shù)量。即，在包含在現(xiàn)幀的有效塊數(shù)或有效系數(shù)的數(shù)量大(小)的情況下，在解碼處理中所必要的運(yùn)算量變大(小)。因此，上述函數(shù)G在B、C大(小)的情況下，設(shè)定Hp為大。
在前幀和現(xiàn)幀之間的圖像的變化大(小)的情況下，移動(dòng)矢量大小的平均值MVa或移動(dòng)矢量大小的方差MVv變大(小)，但是此時(shí)現(xiàn)幀的有效塊數(shù)或有效系數(shù)的數(shù)量變大(小)，在編碼處理中所必要的運(yùn)算量變大(小)。因此，上述函數(shù)G在MVa或MVv大(小)的情況下，設(shè)定Hp為大(小)。
在現(xiàn)幀為I圖像的情況下，在生成解碼數(shù)據(jù)時(shí)不進(jìn)行預(yù)測(cè)圖像和差分圖像的加法運(yùn)算，因此在解碼處理中所必要的運(yùn)算量變小。因此，上述函數(shù)G在現(xiàn)幀為I圖像的情況下，設(shè)定Hp為大。
在編碼數(shù)據(jù)的比特?cái)?shù)FB或幀速率BR大(小)的情況下，有效塊數(shù)或有效系數(shù)的數(shù)量變大(小)。因此，上述函數(shù)G在FB或BR大(小)的情況下，設(shè)定Hp為大(小)。另外，量化步長(zhǎng)在比特速率的控制時(shí)其值發(fā)生變化，因此例如在Q或ΔQ大(小)的情況下，如設(shè)定Hp為小(大)，考慮量化步長(zhǎng)的平均值Q或量化步長(zhǎng)的平均值的差ΔQ，由此上述函數(shù)G可以使Hp的值接近在解碼現(xiàn)幀時(shí)實(shí)際所必要的運(yùn)算量。
由于動(dòng)態(tài)圖像是在連續(xù)的幀間的相關(guān)大，因此MVa、MVv、B、C、BR、FB、Q在現(xiàn)幀和前幀其值接近。因此，在上述函數(shù)G使用這些參數(shù)的情況下，可以使用在現(xiàn)幀的值，也可以使用在前幀的值。在使用在現(xiàn)幀的值的情況下，接收到輸入編碼數(shù)據(jù)后，對(duì)該數(shù)據(jù)的一部分進(jìn)行解碼，讀取其值并使用。此時(shí)，有通過(guò)使用在現(xiàn)幀的值可以使預(yù)測(cè)運(yùn)算量Hp更接近在實(shí)際的解碼處理中所必要的運(yùn)算量的優(yōu)點(diǎn)。在使用前幀中的值的情況下，接收現(xiàn)幀的輸入編碼數(shù)據(jù)之前可以計(jì)算出預(yù)測(cè)運(yùn)算量Hp，因此有可以接收輸入編碼數(shù)據(jù)的同時(shí)對(duì)接收完的數(shù)據(jù)部分進(jìn)行解碼處理的優(yōu)點(diǎn)。
另外，由于動(dòng)態(tài)圖像在連續(xù)的幀間的相關(guān)大，因此在現(xiàn)幀的解碼處理中所必要的運(yùn)算量的值接近在前幀的解碼處理中實(shí)際所必要的運(yùn)算量E。進(jìn)而，在用必要運(yùn)算量計(jì)算單元計(jì)算出的預(yù)測(cè)運(yùn)算量的值接近在實(shí)際的解碼處理中需要的運(yùn)算量的情況下，PE。因此，如設(shè)現(xiàn)幀的必要運(yùn)算量為按照FB、Mva、MVv、B、C、BR、Q、ΔQ等參數(shù)的大小增減E或P的值等，考慮E或P，上述函數(shù)G可以使計(jì)算出的Hp的值接近在實(shí)際對(duì)現(xiàn)幀進(jìn)行解碼時(shí)所必要的必要運(yùn)算量。
在必要運(yùn)算量計(jì)算單元32中，在這些要素中可以只使用一個(gè)要素，也可以將多個(gè)組合起來(lái)使用。即，由于這些多個(gè)要素對(duì)在現(xiàn)幀的解碼處理中所必要的必要運(yùn)算量帶來(lái)影響，因此必要運(yùn)算量計(jì)算單元32進(jìn)行計(jì)算，以使根據(jù)這些要素增減必要運(yùn)算量Kp(周期)，由此使通過(guò)必要運(yùn)算量計(jì)算單元32計(jì)算出的必要運(yùn)算量Kp的值更接近實(shí)際進(jìn)行了解碼處理時(shí)的運(yùn)算量。
工作電壓/工作頻率計(jì)算單元3和工作電壓/工作頻率控制單元4與所述第一實(shí)施方式一樣。動(dòng)態(tài)圖像解碼單元35對(duì)現(xiàn)幀的輸入編碼數(shù)據(jù)301進(jìn)行解碼后生成解碼數(shù)據(jù)306。在通過(guò)動(dòng)態(tài)圖像解碼單元35進(jìn)行解碼處理時(shí)，通過(guò)工作電壓/工作頻率控制單元4使處理器1以一定的工作電壓和工作頻率工作，同時(shí)進(jìn)行解碼處理。對(duì)每個(gè)幀，在該幀的解碼處理之前計(jì)算出必要的必要運(yùn)算量，使處理器以適應(yīng)該必要運(yùn)算量的一定的工作頻率和工作電壓工作，同時(shí)進(jìn)行該幀的解碼，因此，與對(duì)把幀分割而形成的規(guī)定數(shù)量的每個(gè)塊來(lái)變更工作頻率和工作電壓的現(xiàn)有技術(shù)相比，更容易實(shí)現(xiàn)低消耗功率化。解碼數(shù)據(jù)306作為動(dòng)態(tài)圖像被顯示在移動(dòng)電話或個(gè)人計(jì)算機(jī)的圖像顯示部，也可以被存儲(chǔ)在硬盤(pán)等存儲(chǔ)介質(zhì)。
在動(dòng)態(tài)圖像解碼處理系統(tǒng)S3中也作為第二失敗避免單元具有運(yùn)算剩余量判斷單元39。運(yùn)算剩余量判斷單元39大致與上述的第二實(shí)施方式一樣，但是不同點(diǎn)在于不是判斷編碼處理的運(yùn)算量而是判斷解碼處理的運(yùn)算量。通過(guò)運(yùn)算剩余量判斷單元39可以避免失敗現(xiàn)象。此外，如上述第一實(shí)施方式，也可以作為第一失敗避免單元具有處理結(jié)束判斷單元。此外，在解碼處理中不具有處理結(jié)束判斷單元，不進(jìn)行無(wú)效塊化處理。
本發(fā)明的動(dòng)態(tài)圖像編碼處理系統(tǒng)可以分別單獨(dú)具有第一失敗避免單元11、作為第二失敗避免單元的處理結(jié)束判斷單元9、作為第二失敗避免單元的運(yùn)算剩余量判斷單元29和39，還可以具有將各單元適當(dāng)?shù)亟M合。例如，具有全部第一和各第二失敗避免單元，在通過(guò)第一失敗避免單元11增加必要運(yùn)算量也不能避免失敗的情況下，通過(guò)作為第二失敗避免單元的運(yùn)算剩余量判斷單元29和39提高工作電壓和工作頻率，進(jìn)而，還不能避免失敗現(xiàn)象的情況下，也可以進(jìn)行通過(guò)作為第二失敗避免單元的處理結(jié)束判斷單元9簡(jiǎn)化編碼處理等失敗避免處理。另外，上述動(dòng)態(tài)圖像編碼處理程序可以用具有和程序同樣功能的硬件來(lái)實(shí)現(xiàn)。
(實(shí)施例1)對(duì)第一實(shí)施方式的動(dòng)態(tài)圖像編碼系統(tǒng)S1的實(shí)施例1進(jìn)行說(shuō)明。作為編碼對(duì)象，使用由75個(gè)幀構(gòu)成的動(dòng)態(tài)圖像數(shù)據(jù)，作為被進(jìn)行編碼的幀，以第32個(gè)幀為例進(jìn)行說(shuō)明。各幀由144行176列的像素陣列構(gòu)成。作為編碼處理，使用MPEG-4。動(dòng)態(tài)圖像編碼系統(tǒng)S1的處理器1使每工作頻率189MHz～405MHz、工作電壓1.06V～1.80V和工作頻率27MHz、工作電壓0.0925V等間隔地在9階段可變。
首先，動(dòng)態(tài)圖像編碼系統(tǒng)S1訪問(wèn)輸入幀存儲(chǔ)器7，取得第32個(gè)幀，通過(guò)必要運(yùn)算量計(jì)算單元2計(jì)算該幀的必要運(yùn)算量Kp。具體地說(shuō)，必要運(yùn)算量Kp，首先作為前幀使用第31個(gè)幀，通過(guò)以下式計(jì)算差分絕對(duì)值和Z。
Z＝∑|Xij-Yij|＝202752然后，通過(guò)以下式計(jì)算作為現(xiàn)幀的第32個(gè)幀的活動(dòng)量W。
水平方向Wh＝∑|X(i，j)-X(i-1，j)|＝76032垂直方向Wv＝∑|X(i，j)-X(i，j-1)|＝126720進(jìn)而，得出前幀的宏模塊匹配次數(shù)M＝1580、前幀的平均量化步長(zhǎng)(量化步長(zhǎng)的平均值)Qprev＝4、前幀的有效塊數(shù)B＝399、前幀的有效系數(shù)的數(shù)量C＝6011、在前幀的編碼中實(shí)際需要的處理量S＝15447105、現(xiàn)幀的編碼比特速率BR＝65536。另外，計(jì)算出前幀的量化步長(zhǎng)的平均值和其一個(gè)之前的第30個(gè)幀的量化步長(zhǎng)的平均值的差ΔQprev＝-1。另外，得出前幀的實(shí)際發(fā)生比特?cái)?shù)D＝56797。接著，使用各要素通過(guò)以下式計(jì)算必要運(yùn)算量Kp。
Kp＝j(luò)+αM+βB+γC+δZ+εΔQprev
由此在本實(shí)施例1中可以得出必要運(yùn)算量Kp＝14481056。
進(jìn)而，由根據(jù)各要素計(jì)算出的上述必要運(yùn)算量Kp＝14481056，用以下式進(jìn)行增加必要運(yùn)算量Kp的計(jì)算。此外，在這里，以上述式3為例進(jìn)行說(shuō)明。
Kpf＝14481056×1.1＝15929162接著，用以下式計(jì)算工作頻率。
Fe＝Kpf/Te＝15929162/(1/15)＝239MHz計(jì)算F(r)＞Fe并且F(r-1)＜Fe的F(r)，在處理器1的可在9個(gè)階段變化的工作頻率中，作為滿足該工作頻率的工作頻率，選擇工作頻率243MHz和工作電壓1.25V。指示工作電壓/工作頻率控制單元4，以使處理器1至少以工作頻率F(r)＝243MHz和對(duì)應(yīng)的工作電壓V(r)＝1.25V工作。工作電壓/工作頻率控制單元4進(jìn)行使處理器至少在工作電壓243MHz和工作頻率1.25V一定地工作的控制。動(dòng)態(tài)圖像編碼單元5從輸入幀存儲(chǔ)器7取得幀F(xiàn)，使用處于在工作頻率243MHz和工作電壓1.25V一定地工作的狀態(tài)的處理器1，進(jìn)行編碼處理、生成編碼數(shù)據(jù)。
進(jìn)而，在執(zhí)行編碼處理例行程序時(shí)，處理結(jié)束判斷單元9通過(guò)以下式計(jì)算插入時(shí)間，進(jìn)行插入。
Ti＝Te-Ks×MB/F＝0.06666-37×99/(243000000)0.06665進(jìn)而，處理結(jié)束判斷單元9在該插入的定時(shí)判斷是否為Mbi＜MB。在本實(shí)施例中，在Ti＝0.06665的定時(shí)，Mbi＜MB，由于現(xiàn)幀的編碼處理未結(jié)束，因此將剩下的宏模塊全部作為無(wú)效塊來(lái)進(jìn)行處理，回到編碼處理例行程序。
(實(shí)施例2)說(shuō)明關(guān)于第二實(shí)施方式的動(dòng)態(tài)圖像編碼系統(tǒng)S2的實(shí)施例2。在本實(shí)施例2中，設(shè)在編碼處理中進(jìn)行4次插入。運(yùn)算剩余量判斷單元29在第一次和第二次插入時(shí)，計(jì)算Ki＝Ti×F和Kpm＝∑Fj×(T(j+1)-Tj)，進(jìn)而作為實(shí)際需要的運(yùn)算量的剩余量計(jì)算Kpm×(MB-MBi)，判斷Ki≥Kpm×(MB-MBi)/MBi還是Ki＜Kpm×(MB-MBi)/MBi。在本實(shí)施例2中，由于Ki≥Kpm×(MB-MBi)/MBi，因此完成插入，到第3次插入為止，動(dòng)態(tài)圖像編碼單元5繼續(xù)進(jìn)行編碼處理。在下一個(gè)插入的第3次插入時(shí)也進(jìn)行同樣的計(jì)算和判斷。在本實(shí)施例2中，由于Ki＜Kpm×(MB-MBi)/MBi，所以將使工作頻率和工作電壓上升了一個(gè)階段的頻率Fp+1＝270MHz和電壓Vp+1＝1.34作為工作頻率和工作電壓，指示工作電壓/工作頻率控制單元4。
產(chǎn)業(yè)上的可利用性如上所述，通過(guò)本發(fā)明的動(dòng)態(tài)圖像編碼或解碼處理系統(tǒng)和動(dòng)態(tài)圖像編碼或解碼處理方法，對(duì)接下來(lái)進(jìn)行編碼或解碼的現(xiàn)幀(將要進(jìn)行編碼或解碼的幀)，進(jìn)行預(yù)測(cè)在編碼或解碼中需要的必要運(yùn)算量的計(jì)算，在分配給該現(xiàn)幀處理的時(shí)間內(nèi)以最小限度的工作頻率大致一定地進(jìn)行控制，由此以幀為單位在定時(shí)控制工作電壓/工作頻率，因此可以實(shí)現(xiàn)低消耗功率。
另外，由于具有失敗避免單元，因此可以避免在計(jì)算出來(lái)的必要運(yùn)算量比實(shí)際需要的運(yùn)算量小的情況下引起的失敗現(xiàn)象，可以防止被進(jìn)行編碼或解碼處理的動(dòng)態(tài)圖像惡化。
權(quán)利要求
1.一種動(dòng)態(tài)圖像編碼或解碼處理系統(tǒng)，其特征在于，具備對(duì)由多個(gè)幀構(gòu)成的動(dòng)態(tài)圖像以幀為單位進(jìn)行編碼或解碼的處理器；計(jì)算在一個(gè)幀的編碼或解碼中所必要的必要運(yùn)算量Kp；決定在預(yù)先分配給該一個(gè)幀的編碼或解碼處理的時(shí)間Te內(nèi)可以對(duì)該必要運(yùn)算量Kp進(jìn)行編碼或解碼處理的工作頻率F；以及使該處理器以該工作頻率F和適合該工作頻率F的工作電壓V工作的同時(shí)，進(jìn)行該一個(gè)幀的編碼或解碼處理；具備一個(gè)或一個(gè)以上的、避免在必要運(yùn)算量Kp比實(shí)際需要的運(yùn)算量小的情況下引起的失敗現(xiàn)象的失敗避免單元。
2.根據(jù)權(quán)利要求1所述的動(dòng)態(tài)圖像編碼或解碼處理系統(tǒng)，其特征在于，如果設(shè)在連續(xù)的多個(gè)幀中在所述一個(gè)幀之前被進(jìn)行編碼處理的幀為前幀，則在進(jìn)行動(dòng)態(tài)圖像編碼處理的情況下，使用下列要素中的一個(gè)或一個(gè)以上的要素計(jì)算必要運(yùn)算量Kp，該要素有所述一個(gè)幀和前幀的移動(dòng)量、所述一個(gè)幀的活動(dòng)量、前幀的活動(dòng)量、前幀的量化步長(zhǎng)的平均值、前幀的量化步長(zhǎng)的平均值和其前一個(gè)幀的量化步長(zhǎng)的平均值的差、前幀的宏模塊匹配次數(shù)、前幀的有效塊數(shù)、前幀的有效系數(shù)的數(shù)量、在前幀的編碼中實(shí)際需要的運(yùn)算量、前幀的發(fā)生比特?cái)?shù)、所述一個(gè)幀的編碼比特速率、對(duì)所述一個(gè)幀進(jìn)行的是幀內(nèi)編碼還是幀間編碼的種類、前幀的必要運(yùn)算量。
3.根據(jù)權(quán)利要求1所述的動(dòng)態(tài)圖像編碼或解碼處理系統(tǒng)，其特征在于，如果設(shè)在連續(xù)的多個(gè)幀中在所述一個(gè)幀之前被進(jìn)行解碼處理的幀為前幀，則在進(jìn)行動(dòng)態(tài)圖像解碼處理的情況下，使用下列要素中的一個(gè)或一個(gè)以上的要素計(jì)算必要運(yùn)算量Kp，該要素有所述一個(gè)幀的編碼數(shù)據(jù)的比特?cái)?shù)、表示對(duì)所述一個(gè)幀進(jìn)行的是幀內(nèi)編碼還是幀間編碼的種類、所述一個(gè)幀或前幀的移動(dòng)矢量大小的平均值、所述一個(gè)幀或前幀的移動(dòng)矢量大小的方差、所述一個(gè)幀或前幀的有效塊數(shù)、所述一個(gè)幀或前幀的有效系數(shù)的數(shù)量、所述一個(gè)幀或前幀的比特速率、所述一個(gè)幀或前幀的編碼量、所述一個(gè)幀或前幀的量化步長(zhǎng)的平均值、量化步長(zhǎng)的平均值的差(所述一個(gè)幀和前一個(gè)幀的量化步長(zhǎng)的差或者一個(gè)幀之前的幀的量化步長(zhǎng)和兩個(gè)幀之前的幀的量化步長(zhǎng)的差)、在前幀的解碼中實(shí)際需要的運(yùn)算量、前幀的必要運(yùn)算量。
4.根據(jù)權(quán)利要求1至權(quán)利要球3中的任意一項(xiàng)所述的動(dòng)態(tài)圖像編碼或解碼處理系統(tǒng)，其特征在于，作為所述失敗避免單元，具有增加必要運(yùn)算量Kp的第一失敗避免單元。
5.根據(jù)權(quán)利要求4所述的動(dòng)態(tài)圖像編碼或解碼處理系統(tǒng)，其特征在于，所述第一失敗避免單元使必要運(yùn)算量Kp增加m倍(m是大于等于1的實(shí)數(shù))或?qū)⒈匾\(yùn)算量Kp加上比0大的實(shí)數(shù)n。
6.根據(jù)權(quán)利要求1至權(quán)利要球5中的任意一項(xiàng)所述的動(dòng)態(tài)圖像編碼或解碼處理系統(tǒng)，其特征在于，作為所述失敗避免單元，具有第二失敗避免單元，其在預(yù)先分配給所述一個(gè)幀的編碼或解碼處理的時(shí)間Te內(nèi)未完成該一個(gè)幀的編碼處理的情況下，進(jìn)行避免失敗現(xiàn)象的處理。
7.根據(jù)權(quán)利要求6所述的動(dòng)態(tài)圖像編碼或解碼處理系統(tǒng)，其特征在于，所述第二失敗避免單元按規(guī)定的定時(shí)進(jìn)行向編碼處理的插入，在存在未進(jìn)行編碼的宏模塊的情況下，對(duì)該宏模塊進(jìn)行無(wú)效塊化處理。
8.根據(jù)權(quán)利要求6所述的動(dòng)態(tài)圖像編碼或解碼處理系統(tǒng)，其特征在于，所述第二失敗避免單元按規(guī)定的定時(shí)進(jìn)行向編碼或解碼處理的插入，在該插入時(shí)間點(diǎn)，在必要運(yùn)算量Kp的剩余量比在編碼或解碼處理中實(shí)際需要的運(yùn)算量的剩余量小的情況下，提高處理器的工作頻率和工作電壓。
9.根據(jù)權(quán)利要求1至權(quán)利要求8中任意一項(xiàng)所述的動(dòng)態(tài)圖像編碼或解碼處理系統(tǒng)，其特征在于，所述處理器r階段地(r為大于等于2的整數(shù))準(zhǔn)備可工作的可工作頻率，利用Fe＝Kp/Te計(jì)算在所述時(shí)間Te內(nèi)處理必要運(yùn)算量Kp所必要的工作頻率Fe，所述處理器從可工作的可工作頻率中決定大于等于所述必要的工作頻率Fe并且最接近該工作頻率Fe的工作頻率F。
10.一種動(dòng)態(tài)圖像編碼或解碼處理方法，其特征在于，使用對(duì)由多個(gè)幀構(gòu)成的動(dòng)態(tài)圖像以幀為單位進(jìn)行編碼或解碼的處理器，計(jì)算在一個(gè)幀的編碼中所需要的必要運(yùn)算量Kp，決定在預(yù)先分配給該一個(gè)幀的編碼或解碼處理的時(shí)間Te內(nèi)可以對(duì)該必要運(yùn)算量Kp進(jìn)行編碼或解碼處理的工作頻率F，使處理器以該工作頻率F和適合于該工作頻率F的工作電壓V工作的同時(shí)，進(jìn)行該一個(gè)幀的編碼或解碼處理，包括一個(gè)或一個(gè)以上的失敗避免步驟，其避免在必要運(yùn)算量Kp比實(shí)際需要的運(yùn)算量小的情況下引起的失敗現(xiàn)象。
11.根據(jù)權(quán)利要求10所述的動(dòng)態(tài)圖像編碼或解碼處理方法，其特征在于，如果設(shè)連續(xù)的多個(gè)幀中在所述一個(gè)幀之前被進(jìn)行編碼處理的幀為前幀，則在進(jìn)行動(dòng)態(tài)圖像編碼處理的情況下，使用一個(gè)或一個(gè)以上的以下要素計(jì)算必要運(yùn)算量Kp，該要素有所述一個(gè)幀和前幀的移動(dòng)量、所述一個(gè)幀的活動(dòng)量、前幀的活動(dòng)量、前幀的量化步長(zhǎng)的平均值、前幀的量化步長(zhǎng)的平均值和其前一幀的量化步長(zhǎng)的平均值的差、前幀的宏模塊匹配次數(shù)、前幀的有效塊數(shù)、前幀的有效系數(shù)的數(shù)量、在前幀的編碼中實(shí)際需要的運(yùn)算量、前幀的發(fā)生比特?cái)?shù)、所述一個(gè)幀的編碼比特速率、對(duì)所述一個(gè)幀進(jìn)行的是幀內(nèi)編碼還是幀間編碼的種類、前幀的必要運(yùn)算量。
12.根據(jù)權(quán)利要求10所述的動(dòng)態(tài)圖像編碼或解碼處理方法，其特征在于，如果設(shè)連續(xù)的多個(gè)幀中在所述一個(gè)幀之前被進(jìn)行解碼處理的幀為前幀，則在進(jìn)行動(dòng)態(tài)圖像解碼處理的情況下，使用一個(gè)或一個(gè)以上的以下要素計(jì)算必要運(yùn)算量Kp，該要素有所述一個(gè)幀的編碼數(shù)據(jù)的比特?cái)?shù)、對(duì)所述一個(gè)幀進(jìn)行的是幀內(nèi)編碼還是幀間編碼的種類、所述一個(gè)幀或前幀的移動(dòng)矢量大小的平均值、所述一個(gè)幀或前幀的移動(dòng)矢量的大小的方差、所述一個(gè)幀或前幀的有效塊數(shù)、所述一個(gè)幀或前幀的有效系數(shù)的數(shù)量、所述一個(gè)幀或前幀的比特速率、所述一個(gè)幀或前幀的編碼量、所述一個(gè)幀或前幀的量化步長(zhǎng)的平均值、量化步長(zhǎng)的平均值的差(所述一個(gè)幀和其前一幀的量化步長(zhǎng)的差、或者一個(gè)幀之前的幀的量化步長(zhǎng)和兩個(gè)幀之前的幀的量化步長(zhǎng)的差)、在前幀的解碼中實(shí)際需要的運(yùn)算量、前幀的必要運(yùn)算量。
13.根據(jù)權(quán)利要求10至權(quán)利要求12中的任意一項(xiàng)所述的動(dòng)態(tài)圖像編碼或解碼處理方法，其特征在于，作為所述失敗避免步驟，包括增加必要運(yùn)算量Kp的第一失敗避免步驟。
14.根據(jù)權(quán)利要求13所述的動(dòng)態(tài)圖像編碼或解碼處理方法，其特征在于，在所述第一失敗避免步驟中，所述第一失敗避免單元使必要運(yùn)算量Kp增加m倍(m為大于等于1的實(shí)數(shù))或?qū)⒈匾\(yùn)算量Kp加上比0大的實(shí)數(shù)n。
15.根據(jù)權(quán)利要求10至權(quán)利要求14中的任意一項(xiàng)所述的動(dòng)態(tài)圖像編碼或解碼處理方法，其特征在于，作為所述失敗避免步驟，包括第二失敗避免步驟，其在預(yù)先分配給所述一個(gè)幀的編碼或解碼處理的時(shí)間Te內(nèi)未完成該一個(gè)幀的編碼處理的情況下進(jìn)行避免失敗現(xiàn)象的處理。
16.根據(jù)權(quán)利要求15所述的動(dòng)態(tài)圖像編碼或解碼處理方法，其特征在于，所述第二失敗避免步驟，按規(guī)定的定時(shí)進(jìn)行向編碼處理的插入，在存在未進(jìn)行編碼的宏模塊的情況下，對(duì)該宏模塊進(jìn)行無(wú)效塊化處理。
17.根據(jù)權(quán)利要求15或權(quán)利要求16所述的動(dòng)態(tài)圖像編碼或解碼處理方法，其特征在于，所述第二失敗避免步驟，按規(guī)定的定時(shí)進(jìn)行向編碼或解碼處理的插入，在該插入時(shí)間點(diǎn)，在必要運(yùn)算量Kp的剩余量比在編碼或解碼處理中實(shí)際需要的運(yùn)算量小的情況下，提高處理器的工作頻率和工作電壓。
18.根據(jù)權(quán)利要求10至權(quán)利要求17中的任意一項(xiàng)所述的動(dòng)態(tài)圖像編碼或解碼處理方法，其特征在于，所述處理器r階段地(r為大于等于2的整數(shù))準(zhǔn)備可工作的可工作頻率，利用Fe＝Kp/Te計(jì)算在所述時(shí)間Te內(nèi)處理必要運(yùn)算量Kp所必要的工作頻率Fe，所述處理器從可工作的可工作頻率中決定大于等于所述必要的工作頻率Fe且最接近該工作頻率Fe的工作頻率F。
全文摘要
本發(fā)明的目的在于提出與現(xiàn)有技術(shù)相比可以實(shí)現(xiàn)低消耗功率化的動(dòng)態(tài)圖像編碼或解碼處理系統(tǒng)以及動(dòng)態(tài)圖像編碼或解碼處理方法。計(jì)算在一個(gè)幀的編碼或解碼中所必要的必要運(yùn)算量Kp，決定在預(yù)先分配給該一個(gè)幀的編碼或解碼處理的時(shí)間Te內(nèi)可以進(jìn)行該一個(gè)幀的編碼或解碼處理的工作頻率F，使該處理器工作在該工作頻率F以及適合于該工作頻率F的工作電壓V的同時(shí)進(jìn)行該一個(gè)幀的編碼或解碼處理，并且，包括一個(gè)或一個(gè)以上的失敗避免單元，其避免在必要運(yùn)算量Kp比實(shí)際需要的運(yùn)算量小的情況下引起的失敗現(xiàn)象。
文檔編號(hào)H04N7/50GK1774929SQ20048001012
公開(kāi)日2006年5月17日 申請(qǐng)日期2004年4月15日 優(yōu)先權(quán)日2003年4月15日
發(fā)明者吉本雅彥, 川上健太郎, 金森美和子, 大平英雄 申請(qǐng)人:有限會(huì)社金澤大學(xué)Tlo