專(zhuān)利名稱(chēng)：動(dòng)態(tài)圖像信息的高性能編碼壓縮系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明，與可視電話(huà)等所需要的，降低比特率的動(dòng)態(tài)圖像信息的編碼壓縮系統(tǒng)相關(guān)。換言之，在圖像信息中，有比較重要的部分，比如在可視電話(huà)中人說(shuō)話(huà)時(shí)嘴唇運(yùn)動(dòng)的臉部圖像；也有不太重要的部分，比如人的臉部圖像以外的背景；把它們加以區(qū)別，著重重要部分的信息處理，以此來(lái)提高信息傳送效率，同時(shí)，原來(lái)的電話(huà)線(xiàn)路制約著不斷增長(zhǎng)的傳送容量，只有將圖像信息傳送量壓縮到最小限度，以此來(lái)適應(yīng)原來(lái)的電話(huà)線(xiàn)路，來(lái)同步傳送接近自然對(duì)話(huà)的表情，特別要實(shí)現(xiàn)說(shuō)話(huà)時(shí)聲音與嘴唇的運(yùn)動(dòng)同步傳送，即唇聲同步。本發(fā)明就是涉及這樣的動(dòng)態(tài)圖像信息的高性能編碼壓縮系統(tǒng)。
背景技術(shù)：
以前的可視電話(huà)里所看到圖像，為了能夠在可以傳送的信息量允許范圍內(nèi)傳送信息，由于受電話(huà)線(xiàn)路的制約，圖像信息被削減，圖像質(zhì)量不佳，和電視的動(dòng)態(tài)畫(huà)面相比，傳送的是近似于連續(xù)的缺乏變化的靜止畫(huà)面。或者說(shuō)，感覺(jué)上，是把打電話(huà)人的臉部照片用傳真(FAX)比電話(huà)的聲音稍稍晚一點(diǎn)發(fā)送出來(lái)。這樣的話(huà)，同動(dòng)態(tài)畫(huà)面機(jī)能相比，就要優(yōu)先維持每一幀的畫(huà)質(zhì)。而為了維持靜止畫(huà)面時(shí)的畫(huà)質(zhì)，不得不降低理應(yīng)按每秒傳送25幀(歐洲，亞洲的PAL，SECAM方式電視)或者每秒30幀(日本等國(guó)的NTSC方式電視)的電視圖像的每秒可傳送的幀數(shù)，即以大幅度降低電視原本具有的動(dòng)態(tài)圖像機(jī)能作為代價(jià)。這樣，即使大多數(shù)的幀被削減，可是和聲音相比信息量還是很多，因其處理和傳送需要時(shí)間，最終導(dǎo)致接收延遲，所以嘴唇的運(yùn)動(dòng)和說(shuō)話(huà)的聲音不一致。反過(guò)來(lái)，如果為了和延遲接收的圖像配合，而采取強(qiáng)制使聲音同步的方法。這樣，回話(huà)也將被延遲，就象在電視衛(wèi)星轉(zhuǎn)播見(jiàn)到的一樣，交談非常的不和諧。

發(fā)明內(nèi)容當(dāng)然，可視電話(huà)等所采用的圖像，沒(méi)有必要追求像劇場(chǎng)放映的高品位電影那樣的畫(huà)質(zhì)；可視電話(huà)只要能看到和講話(huà)人的說(shuō)話(huà)相一致的嘴唇的運(yùn)動(dòng)，伴隨嘴唇的運(yùn)動(dòng)，面孔以外的部分，能達(dá)到每秒24幀(電影標(biāo)準(zhǔn))或者是每秒25或者30幀(電視標(biāo)準(zhǔn))的程度的高忠實(shí)度的運(yùn)動(dòng)圖像的還原，就能達(dá)到了可視電話(huà)本來(lái)的目的。根據(jù)這個(gè)目的，考慮畫(huà)面中包含被拍攝者面孔輪廓等的特定區(qū)域有沒(méi)有重要性，有選擇性地完成各個(gè)部分的信號(hào)處理。這樣就可以把信息量壓縮成必要的最小限度，同時(shí)又不損害可視電話(huà)談話(huà)的氣氛，這是本發(fā)明的目的之一。
根據(jù)可視電話(huà)本來(lái)的目的，把畫(huà)面中接收者不太感興趣的部分，以及容易產(chǎn)生興趣的醒目的面孔的部分作為特定區(qū)域進(jìn)行區(qū)分。用達(dá)到每秒24幀(電影標(biāo)準(zhǔn))或者是每秒25或者30幀(電視標(biāo)準(zhǔn))的程度，實(shí)現(xiàn)真實(shí)運(yùn)動(dòng)的還原，而且嘴唇的運(yùn)動(dòng)和聲音相一致，實(shí)現(xiàn)唇聲同步傳送，這也是本發(fā)明的目的。
和可視電話(huà)的畫(huà)面相對(duì)應(yīng)，根據(jù)人的興趣來(lái)區(qū)分輕重處理，這樣對(duì)占用有限而昂貴的傳送線(xiàn)路的動(dòng)態(tài)圖像信息量進(jìn)行壓縮，進(jìn)而提高信息傳送的效率。這也是本發(fā)明的目的。
為此實(shí)現(xiàn)上述目的，本發(fā)明要解決的技術(shù)問(wèn)題是1、首先，是在受到傳送線(xiàn)路的信息處理量的制約的時(shí)候，要對(duì)傳送信息做加權(quán)平均處理，也有必要進(jìn)行有限的信息取舍，可是一定要把用來(lái)進(jìn)行上述加權(quán)平均處理的選擇基準(zhǔn)作為必要條件。可是，作為選擇基準(zhǔn)，如果把它設(shè)定為上述包含打電話(huà)人重點(diǎn)區(qū)域的窗口的時(shí)候，確定用這個(gè)窗口來(lái)追隨被攝像人的動(dòng)作的手段，就變成了課題。
為此，可通過(guò)用窗口來(lái)追隨被攝主體的運(yùn)動(dòng)，把該窗口確定為對(duì)其包含的圖像部分的動(dòng)態(tài)圖像信息進(jìn)行加權(quán)平均的選擇基準(zhǔn)；同時(shí)，用該窗口來(lái)追隨被攝主體的運(yùn)動(dòng)，從而確實(shí)達(dá)到對(duì)實(shí)際的動(dòng)態(tài)圖像信息的加權(quán)平均。
2、在可視電話(huà)的使用當(dāng)中，不僅把人的面部作為主體，同時(shí)，對(duì)于與所看到的說(shuō)話(huà)人被看到的姿態(tài)，手勢(shì)等動(dòng)作相伴的動(dòng)態(tài)圖像進(jìn)行信息的重點(diǎn)處理，即加權(quán)平均，并且使之實(shí)時(shí)而且清晰?？墒?，以前的做法并不設(shè)定可以追隨手等部分的運(yùn)動(dòng)的窗口，所以就不能對(duì)這個(gè)部分進(jìn)行實(shí)際的動(dòng)態(tài)圖像信息的加權(quán)平均。
為此，可把與說(shuō)話(huà)人的姿態(tài)，手勢(shì)等動(dòng)作相關(guān)連的動(dòng)態(tài)圖像也著實(shí)地作為加權(quán)平均的選擇基準(zhǔn)，并且以此作為周邊窗口，用該周邊窗口來(lái)追隨被攝像人的手勢(shì)等動(dòng)作，其目的是以人的面部為主體，以姿態(tài)和手勢(shì)作為連帶部分，以此來(lái)進(jìn)行動(dòng)態(tài)圖像信息的加權(quán)平均處理。
3、在汽車(chē)?yán)锱鋫涞囊苿?dòng)式可視電話(huà)，攝取的是連續(xù)移動(dòng)的背景。背景的移動(dòng)很快，所以動(dòng)態(tài)圖像的信息量劇增，如何大幅度地削減其信息量，是我們研究的課題。可是，在什么時(shí)候需要大幅度削減這種因?yàn)楸尘皠×乙苿?dòng)造成的信息量以及合適的處理方法還沒(méi)有確定。為此，就是確定在什么時(shí)候大幅度削減這種因?yàn)楸尘皠×乙苿?dòng)造成的信息量，并進(jìn)行合適的處理，目的就是確立一種把不重要的背景的動(dòng)態(tài)圖像在視覺(jué)上不難看出的程度上進(jìn)行適當(dāng)?shù)娜∩岬氖侄巍?br> 4、從動(dòng)態(tài)圖像中把運(yùn)動(dòng)信息提取出來(lái)，將它與已經(jīng)被解碼的參照?qǐng)D像進(jìn)行運(yùn)動(dòng)補(bǔ)償后合成的預(yù)測(cè)圖像相比較得到差分圖像，對(duì)此差分圖像進(jìn)行壓縮，傳送，通過(guò)此編碼方式，進(jìn)而確立改善解碼器一側(cè)被還原的動(dòng)態(tài)圖像的畫(huà)質(zhì)的手段。與此相關(guān)的是，在差分圖像進(jìn)行壓縮時(shí)摻雜進(jìn)來(lái)的噪聲信號(hào)，在提高壓縮率的同時(shí)也被加大了，結(jié)果是，導(dǎo)致解碼器一側(cè)圖像畫(huà)質(zhì)的降低。更進(jìn)一步的情況是，以這個(gè)畫(huà)質(zhì)不好的解碼圖像為基準(zhǔn)而合成的預(yù)測(cè)圖像，其預(yù)測(cè)精度也降低了，這樣，差分圖像的信息量還要增加，壓縮率還要提高，如此導(dǎo)致惡性循環(huán)，這是問(wèn)題點(diǎn)。
為此，用把在時(shí)間關(guān)系上前后的2個(gè)圖像幀合成的預(yù)測(cè)圖像作為圖像解碼時(shí)使用的B幀圖像，其他的圖像幀解碼時(shí)與它沒(méi)有關(guān)系，所以不會(huì)影響其他的圖像幀的畫(huà)質(zhì)，利用這個(gè)特點(diǎn)，把B幀的差分圖像信息強(qiáng)制設(shè)為0，以此把B幀浪費(fèi)的信息量抑制在最小限，而把節(jié)省下來(lái)的部分用在對(duì)畫(huà)質(zhì)具有直接影響的I幀或P幀使之可以分擔(dān)更多的信息量，這正是目的所在。
5、圖像信息進(jìn)行編碼并傳送，其解碼還原的圖像中包含了被編碼的噪聲。從對(duì)這些噪聲進(jìn)行削減的效果來(lái)看，灰度信號(hào)和色差信號(hào)相比，我們知道利用色差信號(hào)進(jìn)行噪聲削減的效果，從人眼的視覺(jué)特點(diǎn)出發(fā)效果更佳，因而我們確立在色差信號(hào)上進(jìn)行有效的噪聲削減的手段。
所以，雖然在H.263+標(biāo)準(zhǔn)中已經(jīng)確立了“作為正式可選項(xiàng)的色差信號(hào)的噪聲削減方法”，可是在“作為正式可選項(xiàng)的色差信號(hào)的噪聲削減方法”中并不具備圖像信息編碼傳送系統(tǒng)，所以，這里以更加簡(jiǎn)潔的結(jié)構(gòu)以及不一樣的方法來(lái)提供「色差信號(hào)的噪聲削減手段」。這是該發(fā)明的目的。
6、是在編碼器中信息壓縮處理的比特率的控制機(jī)構(gòu)。其必要性有兩點(diǎn)原因，原因之一是為了適應(yīng)傳送線(xiàn)路對(duì)信息傳送量的限制；原因之二是如果解碼器對(duì)動(dòng)態(tài)圖像的還原速度是一定的話(huà)，各個(gè)幀的比特長(zhǎng)度應(yīng)該盡可能地平均化。
在以前的比特率控制方式中，根據(jù)國(guó)際電信同盟ITU(InternationalTelecommunication Union)發(fā)布的可視編解碼測(cè)試模型近期版本11(VideoCodec Test Model，Near-Term，Versionl1)(以下，簡(jiǎn)稱(chēng)為T(mén)MN-11)，依據(jù)H.263+標(biāo)準(zhǔn)中的動(dòng)態(tài)圖像信息壓縮軟件程序，有幾種可以采用的方式。
可是，以前的比特率控制方式的情形是，從攝像頭輸入的圖像經(jīng)過(guò)上述編碼器、傳送線(xiàn)路以及解碼器直到輸出解碼后的圖像，這期間發(fā)生時(shí)間延遲及幀幅損失。而以前的比特率控制方式不具備為了使該延遲以及損失的幀數(shù)達(dá)到最小限度所需要的嚴(yán)格控制這種延遲時(shí)間的機(jī)能；這樣，延遲時(shí)間成為問(wèn)題，也就是說(shuō)和無(wú)延遲的聲音相比，表示嘴部運(yùn)動(dòng)的動(dòng)態(tài)圖像滯后了，由此導(dǎo)致嘴部的運(yùn)動(dòng)和聲音不能同步，帶來(lái)這樣的課題。而且，為了使上述各個(gè)圖像幀的比特長(zhǎng)度精確的平均化，需要非常復(fù)雜的計(jì)算；而計(jì)算處理的同時(shí)，又不可避免地導(dǎo)致上述延遲時(shí)間的發(fā)生。
在此，是用簡(jiǎn)單的計(jì)算來(lái)置換過(guò)去所作的那些為了把上述各個(gè)圖像幀的比特長(zhǎng)度進(jìn)行高精確度的平均化而不可缺少的復(fù)雜的計(jì)算，進(jìn)而減少計(jì)算處理所需要的延遲時(shí)間，目的是提供能夠?qū)崿F(xiàn)唇聲同步的系統(tǒng)。
7、把很多硬件模塊進(jìn)行相互之間有效地結(jié)合并構(gòu)成一個(gè)系統(tǒng)，這時(shí)候，考慮相互之間的關(guān)聯(lián)，所有的硬件模塊都符合設(shè)計(jì)的情形是不存在的，這樣，要縮短完成整個(gè)系統(tǒng)的設(shè)計(jì)所需要的時(shí)間是比較困難的，這是一個(gè)缺點(diǎn)；當(dāng)然，一個(gè)地方的設(shè)計(jì)變更就要涉及整個(gè)設(shè)計(jì)，設(shè)計(jì)上的制約也很多。
在此，不是把很多的硬件模塊進(jìn)行相互之間有效地結(jié)合，也就是說(shuō)沒(méi)有和數(shù)據(jù)交換有關(guān)的橫的連接，只通過(guò)縱的連接和控制中心連接，由這個(gè)控制中心完成控制。具體地說(shuō)，把這些硬件模塊相關(guān)的輸入輸出數(shù)據(jù)全部暫時(shí)存放在存儲(chǔ)器里，這些硬件模塊的行為序列以及公用的輸入輸出數(shù)據(jù)，都由控制中心進(jìn)行控制。通過(guò)這樣的結(jié)構(gòu)，這些硬件模塊的行為就不互相依賴(lài)，而是各自獨(dú)立。這樣不同的模塊設(shè)計(jì)具有獨(dú)立性，設(shè)計(jì)上的制約也明顯減少；更多的設(shè)計(jì)人員分擔(dān)不同的設(shè)計(jì)任務(wù)，這樣，達(dá)到縮短整個(gè)系統(tǒng)設(shè)計(jì)需要的時(shí)間的目的。
8、是窗口存儲(chǔ)器共享處理器陣列，即窗口MSPA(Memory SharingProcessor Array)的特點(diǎn)，在不降低“并行效率”的同時(shí)，從上述外部存儲(chǔ)器把“搜索數(shù)據(jù)”和參照數(shù)據(jù)依次輸入，這需要“窗口并行處理”的執(zhí)行手段，目前為止并沒(méi)有這種方法。
在此，就是在不降低“并行效率”的同時(shí)，從上述外部存儲(chǔ)器把“搜索數(shù)據(jù)”和參照數(shù)據(jù)依次輸入，目的是確立執(zhí)行“窗口并行處理”的手段。
9、在動(dòng)態(tài)圖像信息的編碼器以及解碼器中被使用的，從二維離散余弦變換器、量化器、逆量化器一直到逆二維離散余弦變換器，是通過(guò)把實(shí)現(xiàn)離散余弦變換和量化這兩種處理的裝置進(jìn)行合理組合來(lái)實(shí)現(xiàn)的。此方面的研究正在進(jìn)行?？墒?，要實(shí)現(xiàn)這些，在理論上尚處于摸索階段的結(jié)構(gòu)，現(xiàn)實(shí)的做法是，對(duì)應(yīng)外部存儲(chǔ)器的數(shù)據(jù)傳送方法，組成以前沒(méi)有的一些新的結(jié)構(gòu)，以從整體上尋求效率良好的方法，這樣才能完成目的。
這里，從外部存儲(chǔ)器讀取數(shù)據(jù)，把它們進(jìn)行二維離散余弦變換以及量化，然后存放到外部存儲(chǔ)器中；與此相似，從外部存儲(chǔ)器讀取數(shù)據(jù)，對(duì)它們進(jìn)行逆量化和二維離散余弦逆變換，并存放到外部存儲(chǔ)器中。目的是確立在不降低數(shù)據(jù)傳送速率的情況下確立的高效率的手段。
為解決上述問(wèn)題，本發(fā)明的技術(shù)方案內(nèi)容是一、針對(duì)在識(shí)別處理中的動(dòng)態(tài)圖像的畫(huà)面中任意移動(dòng)的特定區(qū)域，也就是被優(yōu)先進(jìn)行信息處理的窗口(21)，將構(gòu)成該窗口的整個(gè)圖像分割成矩形的小塊，依次對(duì)矩形小塊處理，并利用與塊的動(dòng)態(tài)圖像運(yùn)動(dòng)相伴的運(yùn)動(dòng)矢量，來(lái)推定下一幀的臉部的窗口的位置，進(jìn)而能夠用窗口(21)來(lái)追隨被攝主體的運(yùn)動(dòng)。
這樣，把窗口(21)明確為進(jìn)行動(dòng)態(tài)圖像信息加權(quán)平均處理的判定基準(zhǔn)，同時(shí)因?yàn)榇翱?21)追隨上述被攝主體的運(yùn)動(dòng)，所以能夠真實(shí)地進(jìn)行動(dòng)態(tài)圖像信息的加權(quán)平均處理。
二、根據(jù)前一幀和當(dāng)前幀的差分超過(guò)規(guī)定的閾值作為條件，來(lái)判斷次于被攝主體而具有稍差重要性的對(duì)象部分所包含的任意變動(dòng)的區(qū)域，即上述被優(yōu)先進(jìn)行信息處理的特定的區(qū)域的周邊運(yùn)動(dòng)窗口(51)，將構(gòu)成它的整個(gè)圖像分割成矩形的小塊；依次對(duì)其處理，并利用與塊的動(dòng)態(tài)圖像運(yùn)動(dòng)相伴的運(yùn)動(dòng)矢量，來(lái)推定下一幀的周邊運(yùn)動(dòng)窗口的位置和區(qū)域，進(jìn)而能夠用周邊運(yùn)動(dòng)窗口(51)來(lái)追隨上述任意變動(dòng)的區(qū)域，舉例說(shuō)，不僅把人的臉部作為主體，同時(shí)，伴隨著姿勢(shì)、手勢(shì)等動(dòng)作的對(duì)象部分，與其相對(duì)應(yīng)的動(dòng)態(tài)圖像信息也要進(jìn)行加權(quán)平均處理，并且明確把上述周邊運(yùn)動(dòng)窗口確定為該加權(quán)平均的選擇基準(zhǔn)。同時(shí)，用上述周邊運(yùn)動(dòng)窗口追隨人的手等的運(yùn)動(dòng)，這樣就能夠把以人的臉部為主體并伴隨姿勢(shì)、手勢(shì)等動(dòng)作的對(duì)象部分進(jìn)行真實(shí)的動(dòng)態(tài)圖像信息的加權(quán)平均處理。
三、在上述窗口(21)和上述周邊窗口(51)的范圍之內(nèi)區(qū)分被攝主體和背景，在其背景的運(yùn)動(dòng)很劇烈因而動(dòng)態(tài)圖像信息量增多的時(shí)候，削減上述背景的運(yùn)動(dòng)量，以此弱化背景畫(huà)質(zhì)的計(jì)算，即，在當(dāng)前幀的“宏塊”圖像中，把與該“宏塊”圖像處在同一位置的前一圖像幀的數(shù)據(jù)，按照一定的比例進(jìn)行相加混合，具備這種時(shí)間方向的濾波器，以此削減上述的背景的動(dòng)態(tài)圖像信息量。
這樣，就要確定在什么時(shí)候大幅度削減這種因?yàn)楸尘皠×乙苿?dòng)造成的信息量，同時(shí)又要進(jìn)行合適的處理，把不重要的背景的動(dòng)態(tài)圖像在視覺(jué)上不難看出的程度上進(jìn)行適當(dāng)?shù)娜∩帷?br> 四、把當(dāng)前幀的圖像、前面參照幀的圖像以及后面參照幀的圖像輸入并進(jìn)行運(yùn)動(dòng)預(yù)測(cè)、運(yùn)動(dòng)補(bǔ)償并且確定預(yù)測(cè)方式，這是運(yùn)動(dòng)預(yù)測(cè)功能模塊；把從這個(gè)運(yùn)動(dòng)預(yù)測(cè)功能塊輸出的預(yù)測(cè)圖像與當(dāng)前幀的圖像之間的差分信號(hào)輸入，并把這個(gè)差分信號(hào)的全像素值進(jìn)行強(qiáng)制的歸零，這是全像素值歸零化功能模塊；輸入從這個(gè)全像素規(guī)零化功能塊輸出的歸零化的全像素信息，而且在使用上述運(yùn)動(dòng)預(yù)測(cè)功能塊決定的預(yù)測(cè)方式來(lái)預(yù)測(cè)動(dòng)態(tài)圖像的下一個(gè)運(yùn)動(dòng)的同時(shí)，把上述的歸零化全像素進(jìn)行編碼，這是編碼合成模塊；由以上模塊構(gòu)成編碼器。通過(guò)這個(gè)編碼器進(jìn)行編碼壓縮并傳送出去，經(jīng)過(guò)傳送線(xiàn)路接收到這些動(dòng)態(tài)圖像信息，對(duì)其進(jìn)行解碼，這是解碼模塊；把從這個(gè)解碼模塊輸出的信號(hào)輸入并進(jìn)行逆量化，這是逆量化模塊；把從逆量化模塊輸出的信號(hào)輸入并進(jìn)行離散余弦逆變換，并進(jìn)而還原為差分圖像，這是離散余弦逆變換模塊；把這個(gè)還原的差分圖像和通過(guò)上述預(yù)測(cè)方式預(yù)測(cè)并得到的預(yù)測(cè)圖像進(jìn)行相加，輸出還原的圖像，這是加法器模塊；由以上模塊構(gòu)成解碼器。綜上，配備這樣的解碼器和編碼器，并進(jìn)行B幀的處理。
所以，作為從前后的參照幀的圖像信息得到的差分信號(hào)，在把當(dāng)前幀的信息進(jìn)行壓縮的B幀的編碼方式中，不是象以前的方式那樣傳送差分信號(hào)自身，而是傳送差分計(jì)算的種類(lèi)、也就是以只發(fā)送順?lè)较蝾A(yù)測(cè)、逆方向預(yù)測(cè)還是兩方向預(yù)測(cè)這種信息來(lái)確立B幀信息壓縮的方法。這樣，在上述動(dòng)態(tài)圖像的運(yùn)動(dòng)很劇烈的時(shí)候，上述差分圖像的信息量就變得很多；為了使上述差分圖像的信息量最小，全像素被強(qiáng)制歸零，這樣通過(guò)使傳送的圖象以最少的信息傳送，從而使接收者能夠進(jìn)行還原。
五、不使用上述預(yù)測(cè)圖像，而僅僅對(duì)當(dāng)前的“內(nèi)部宏塊”直接進(jìn)行編碼，對(duì)這種“內(nèi)部宏塊”的處理中，灰度信號(hào)和色度信號(hào)通過(guò)四舍五入進(jìn)行量化；對(duì)這種“內(nèi)部宏塊”以外的情況，灰度信號(hào)將根據(jù)取整方式進(jìn)行削減并進(jìn)行量化，而色度信號(hào)還是通過(guò)四舍五入進(jìn)行量化；并且對(duì)灰度信號(hào)和色差信號(hào)使用同樣的量化級(jí)別，以此降低色差信號(hào)的噪聲。
這樣，根據(jù)在包含一個(gè)灰度信號(hào)和兩個(gè)色差信號(hào)的編碼器中通過(guò)量化進(jìn)行變換的方法，在解碼器中用相同的量化級(jí)別進(jìn)行解碼，就能夠減輕色差信號(hào)噪聲，從而確立了提高解碼圖像的視覺(jué)質(zhì)量的量化方法。這樣，使用比以前方法簡(jiǎn)單的結(jié)構(gòu)，卻能夠發(fā)揮有效削減色差信號(hào)的噪聲的效果，因而，能得到從人眼的特點(diǎn)出發(fā)、視覺(jué)上高畫(huà)質(zhì)的圖像。
六、把被編碼后的動(dòng)態(tài)圖像信息的比特量和通信緩沖器殘留的比特量進(jìn)行比較的比較手段；通過(guò)這個(gè)比較手段得到的比較結(jié)果，來(lái)控制幀的目標(biāo)比特量以使上述殘留的比特量不枯竭的控制手段；使用通過(guò)這種控制手段得到的控制結(jié)果，對(duì)從攝像頭輸入的圖像從它經(jīng)由上述編碼器、傳送線(xiàn)路、以及上述解碼器直到輸出解碼的圖像這期間發(fā)生的延遲時(shí)間和舍去的幀幅數(shù)進(jìn)行控制使之達(dá)到最小限度，利用這種針對(duì)每一幀幅的幀級(jí)別的比特率的控制的這種每幀的目標(biāo)比特率的計(jì)算方法。
七、具備兩種計(jì)算手段。用前面幀的各個(gè)“宏塊”的量化級(jí)別的加權(quán)平均的平均值，來(lái)計(jì)算出在幀的最初的“宏塊”中應(yīng)用的量化的級(jí)別，這是最初的第一步的計(jì)算手段；用上述目標(biāo)比特量、當(dāng)前“宏塊”的實(shí)際的編碼量以及上述最初的“宏塊”中應(yīng)用的量化級(jí)別，來(lái)計(jì)算出第二步以后的“宏塊”所適用的量化級(jí)別的微調(diào)量，這是第二步計(jì)算方法。
所以，在上述“第六項(xiàng)”和“第七項(xiàng)”中，一方面要把圖像的編碼、信息的傳送以及編碼時(shí)產(chǎn)生的延遲時(shí)間抑制在最小限，也要把幀幅的丟失抑制在最小限；這就需要謀求每一幀的最適宜的目標(biāo)編碼比特量(以下，把這種處理稱(chēng)為幀級(jí)別比特率控制)，同時(shí)把這以后的各個(gè)“宏塊”之中的量化級(jí)別調(diào)整到最合適的程度(以下，把這種處理稱(chēng)為“宏塊”級(jí)別比特率控制)。這種方法雖然計(jì)算量很少，卻能發(fā)揮良好的控制能力。這樣，以前那種為了把各個(gè)圖像幀的比特長(zhǎng)度進(jìn)行高精度的平均化所必不可少的非常復(fù)雜的計(jì)算，就可以用簡(jiǎn)單的計(jì)算替代了。這樣，能夠減少上述計(jì)算處理產(chǎn)生的延遲時(shí)間，實(shí)現(xiàn)“唇聲同步”。
八、具備這樣的編碼器和解碼器，其中包括存儲(chǔ)圖像幀信息的存儲(chǔ)器；彼此獨(dú)立操作的硬件模塊以數(shù)據(jù)總線(xiàn)相互結(jié)合的同時(shí)，由中心控制模塊控制存儲(chǔ)器和硬件模塊之間的數(shù)據(jù)流以及操作時(shí)序，即所謂的地址產(chǎn)生單元AGU；由這個(gè)AGU通過(guò)控制總線(xiàn)對(duì)各個(gè)硬件模塊進(jìn)行控制并相互結(jié)合起來(lái)，從而構(gòu)成系統(tǒng)結(jié)構(gòu)。
這樣，把具有靈活性和高速性，而且省電的小規(guī)模集成電路的硬件模塊通過(guò)總線(xiàn)結(jié)合起來(lái)，使用AGU模塊控制它們的操作時(shí)序以及同存儲(chǔ)器的數(shù)據(jù)之間的數(shù)據(jù)流，如此確立最適合動(dòng)態(tài)圖像壓縮的系統(tǒng)結(jié)構(gòu)。
九、具有這樣的中心控制模塊。圖像被分割成很多的塊，這些塊的坐標(biāo)信息被處理后，存放到外部存儲(chǔ)器中，這種外部存儲(chǔ)器具有適合于這種塊處理方式的地址結(jié)構(gòu)；在集中控制模塊中的具備的只讀存儲(chǔ)器ROM中以用來(lái)存放命令程序，這些命令程序控制著上述各個(gè)硬件模塊的執(zhí)行，而且這些命令可以產(chǎn)生以“宏塊”的坐標(biāo)為單位、以塊為單位、以像素為單位的存儲(chǔ)器尋址地址，由此構(gòu)成其系統(tǒng)結(jié)構(gòu)。
于是，作為對(duì)各個(gè)硬件模塊的操作的開(kāi)始和結(jié)束以及存貯器的數(shù)據(jù)輸入輸出的控制等等所有操作的集中控制的處理器，就能夠生成以“宏塊”的坐標(biāo)為單位、以塊為單位、以像素為單位的存儲(chǔ)器地址。這樣，這些硬件模塊的操作就不互相依賴(lài)，而是各自獨(dú)立。設(shè)計(jì)上的制約也明顯減少；因此，更多的設(shè)計(jì)人員可以分擔(dān)不同的設(shè)計(jì)任務(wù)，這樣就能夠縮短整個(gè)系統(tǒng)設(shè)計(jì)需要的時(shí)間。
十、具備以下模塊和手段。包括上述的外部存儲(chǔ)器；以及，把存儲(chǔ)器中的“宏塊”的數(shù)據(jù)按每個(gè)宏塊為單位轉(zhuǎn)換成串行輸入并進(jìn)行數(shù)據(jù)形式變換用的緩存器；以及，把從該緩存器輸出的3端的數(shù)據(jù)，提供給32位并行陣列，此陣列由被連接在一起的處理器單元構(gòu)成，稱(chēng)為窗口處理用存儲(chǔ)器共享處理陣列結(jié)構(gòu)，(窗口memory sharing process array architecture)；以及，對(duì)該處理器單元的數(shù)據(jù)進(jìn)行超高速運(yùn)算的運(yùn)算手段；以及，搜索用來(lái)表示當(dāng)前幀的“宏塊”是從前面幀的什么位置移動(dòng)過(guò)來(lái)的運(yùn)動(dòng)矢量的運(yùn)動(dòng)矢量搜索回路。
這樣，在各式各樣硬件模塊之中，全部80％以上的處理量是由運(yùn)動(dòng)矢量搜索電路完成，為此，確立了由多個(gè)處理器進(jìn)行高效工作的結(jié)構(gòu)。用這種結(jié)構(gòu)就可以不降低高速并行的效率，而通過(guò)從外部存儲(chǔ)器把搜索數(shù)據(jù)和參照數(shù)據(jù)串行輸入，就能夠進(jìn)行窗口的并行處理。
十一、具備以下模塊和手段。包括外部存儲(chǔ)器；以及，從外部存儲(chǔ)器把由橫8×豎8＝64像素構(gòu)成的“宏塊”的數(shù)據(jù)依次輸入，同時(shí)，在不降低數(shù)據(jù)傳送率的的情況下，把串行數(shù)據(jù)變換成并行數(shù)據(jù)，這樣的兩組的數(shù)據(jù)形式變換手段；以及，借助于這種數(shù)據(jù)形式變換手段，對(duì)上述并行數(shù)據(jù)進(jìn)行2元離散余弦變換，這樣的處理器陣列；以及，把從這個(gè)處理陣列進(jìn)行2元離散余弦變換后的輸出，再輸入，并對(duì)其進(jìn)行量化，然后把數(shù)據(jù)進(jìn)行輸出并存儲(chǔ)到外部存儲(chǔ)器中，這樣的量化模塊。
這樣，有一些在運(yùn)動(dòng)矢量預(yù)測(cè)計(jì)算之后需要大量的計(jì)算模塊如離散余弦變換和量化電路，以及，與它們執(zhí)行相反操作的逆量化電路和逆離散余弦變換模塊，這些模塊中，要在不影響其內(nèi)部高速操作的同時(shí)，對(duì)外部存儲(chǔ)器儲(chǔ)存的數(shù)據(jù)進(jìn)行串行的讀取、并行處理以及存儲(chǔ)。這樣，確立了在不降低高速的數(shù)據(jù)傳送速率以及并行處理的效率的情況下，從外部存儲(chǔ)器串行輸入像素?cái)?shù)據(jù)，然后進(jìn)行并行處理的手段。
本發(fā)明與現(xiàn)有技術(shù)相比，具有以下積極效果
1、依上述發(fā)明內(nèi)容第一項(xiàng)(以下把“上述發(fā)明內(nèi)容”略去)，把窗口21確定為進(jìn)行動(dòng)態(tài)圖像信息的加權(quán)平均所需要的判別基準(zhǔn)；進(jìn)而通過(guò)上述窗口來(lái)追隨被攝人的運(yùn)動(dòng)，能夠進(jìn)行可靠的動(dòng)態(tài)圖像信息的加權(quán)平均。
2、依第二項(xiàng)，不僅把人的臉部作為主體，對(duì)于伴有姿態(tài)、手勢(shì)等動(dòng)作的對(duì)象部分的動(dòng)態(tài)圖像信息，把周邊運(yùn)動(dòng)窗口確定為對(duì)它進(jìn)行加權(quán)平均的判別基準(zhǔn)；進(jìn)而通過(guò)上述周邊運(yùn)動(dòng)窗口來(lái)追隨人手等的動(dòng)作，這樣，能夠把以人的臉部為主體，同時(shí)伴隨姿態(tài)、手勢(shì)等動(dòng)作的對(duì)象部分，進(jìn)行可靠的動(dòng)態(tài)圖像信息的加權(quán)平均。
3、依第三項(xiàng)，確定在背景的運(yùn)動(dòng)劇烈時(shí)對(duì)其信息量進(jìn)行大幅度的削減；同時(shí)進(jìn)行適當(dāng)?shù)奶幚?，能夠把不重要的背景的?dòng)態(tài)圖像在不難看的程度進(jìn)行適當(dāng)?shù)娜∩帷?br> 4、依第四項(xiàng)，在上述動(dòng)態(tài)圖像的運(yùn)動(dòng)很激烈的時(shí)候，差分圖像的信息量大量增加，對(duì)于B幀，應(yīng)該盡可能地使差分圖像的信息量最小，通過(guò)把差分全像素值強(qiáng)制歸零，能夠以最少的信息，把傳送源的圖像在接受方還原。
5、依第五項(xiàng)，使用比以前簡(jiǎn)單的結(jié)構(gòu)，卻能夠發(fā)揮顯著的削減色差信號(hào)噪聲的效果，因而，能得到從人眼的特點(diǎn)出發(fā)、視覺(jué)上高畫(huà)質(zhì)的圖像6、依第六項(xiàng)和第七項(xiàng)，為了對(duì)各個(gè)圖像幀的比特長(zhǎng)度進(jìn)行高精度的平均化，把從前不可或缺的非常復(fù)雜的計(jì)算用簡(jiǎn)單的計(jì)算來(lái)替代，這樣減少了上述計(jì)算處理所造成的延遲時(shí)間，能夠?qū)崿F(xiàn)“唇聲同步”。
7、依第八項(xiàng)和第九項(xiàng)，不同的模塊的設(shè)計(jì)具有獨(dú)立性，設(shè)計(jì)上的制約也明顯減少；更多的設(shè)計(jì)人員可以分擔(dān)不同的設(shè)計(jì)任務(wù)，這樣，能夠縮短整個(gè)系統(tǒng)設(shè)計(jì)需要的時(shí)間。
8、依第十項(xiàng)，不降低高速并行的效率，從外部存儲(chǔ)器串行輸入搜索數(shù)據(jù)和參照數(shù)據(jù)，能夠?qū)嵭写翱诓⑿刑幚怼?br> 9、依第十一項(xiàng)，不降低數(shù)據(jù)傳送速率，從外部存儲(chǔ)器串行輸入數(shù)據(jù)，能夠進(jìn)行二元離散余弦變換以及量化和逆量化和二元離散余弦逆變換。
本發(fā)明，因?yàn)榘凑找陨险f(shuō)明構(gòu)成了動(dòng)態(tài)圖像信息的高性能編碼壓系統(tǒng)，能夠最大限度有效地發(fā)揮使用光纖通信以前的既成的電話(huà)線(xiàn)路。也就是說(shuō)，用被限定的一定頻帶帶寬線(xiàn)路，只對(duì)聲音進(jìn)行高效率的傳送，在這樣的前提下來(lái)構(gòu)筑系統(tǒng)。雖然是在現(xiàn)有的電話(huà)線(xiàn)路網(wǎng)(也包含了無(wú)線(xiàn))所規(guī)定的信息傳送容量的制約范圍內(nèi)，但卻實(shí)現(xiàn)了十分實(shí)用的電視圖像的傳送，而且是唇聲同步傳送聲音。因?yàn)殡姶挪ǖ慕^對(duì)速度達(dá)到光速，圖像傳輸?shù)难舆t可以忽略不計(jì)，所以，只要是沒(méi)有天文數(shù)字一樣的距離，就可以進(jìn)行接近自然的電視交談。
本發(fā)明對(duì)舊的電話(huà)網(wǎng)是有效的，對(duì)今后的光纖網(wǎng)也是有效的。也就是說(shuō)，在高速的大容量的傳送線(xiàn)路中，通過(guò)使用本發(fā)明的可視電話(huà)，可能增大通信的件數(shù)。因而，把便利帶給千家萬(wàn)戶(hù)。
又比如，如果把本發(fā)明應(yīng)用到與128M比特DRAM組合的錄像還原裝置中，包含聲音的動(dòng)態(tài)圖像以每秒34K比特的數(shù)據(jù)量進(jìn)行壓縮，能夠?qū)崿F(xiàn)1個(gè)小時(shí)的記錄和還原，這樣就不需要以前的錄像機(jī)的錄像帶驅(qū)動(dòng)裝置了，這樣的記錄再生裝置能夠很便宜地制造出來(lái)。正因?yàn)槿绱?，ROM圖像再生裝置很容易普及，應(yīng)用范圍包括孩子的玩具、視聽(tīng)教材、生活必需品以及公用設(shè)施等，應(yīng)用范圍和便利性數(shù)不勝數(shù)。

圖1是臉部的窗口的說(shuō)明圖。
圖2是臉部的窗口和周邊運(yùn)動(dòng)窗口的說(shuō)明圖。
圖3是削減背景信息量的方法的說(shuō)明圖。
圖4是利用B幀處理進(jìn)行信息量削減的方法的說(shuō)明圖。
圖5是有關(guān)幀級(jí)別傳送率的條件以及變量一覽圖。
圖6是幀級(jí)別傳送率控制的處理流程圖。
圖7是與“宏塊”級(jí)別傳送率相關(guān)的變量和常數(shù)的一覽圖。
圖8是“宏塊”級(jí)別傳送率控制的處理流程圖。
圖9是“宏塊”級(jí)別傳送率控制中函數(shù)CQ(x)的定義的說(shuō)明圖。
圖10是“宏塊”(i)中量化級(jí)別q的更新處理流程圖。
圖11是編碼器功能框圖。
圖12是解碼器功能框圖。
圖13是編碼器/解碼器兼用一體的功能框圖。
圖14是集中控制裝置(AGU)的功能框圖。
圖15是外部存儲(chǔ)器的存儲(chǔ)器領(lǐng)域的結(jié)構(gòu)圖。
圖16是運(yùn)動(dòng)矢量搜索線(xiàn)路圖。
圖17是離散余弦變換器以及量化器的功能框圖。
圖18是數(shù)據(jù)形式變換器功能框圖。
圖19是離散余弦變換/逆變換器的功能框圖。
圖20是離散余弦變換/逆變換器中的輸入處理部分的功能框圖。
圖21是離散余弦變換/逆變換器中的輸出處理部分的功能框圖。
上述附圖中的符號(hào)的說(shuō)明1.存儲(chǔ)器2.數(shù)據(jù)總線(xiàn)3.AGU4.控制總線(xiàn)8，9.ROM10.運(yùn)動(dòng)矢量搜索部分21.窗口22.背景圖像39，57.緩沖器41.運(yùn)動(dòng)預(yù)測(cè)功能部分42.全像素值歸零化功能部分45.編碼生成部分46.解碼部分47.逆量化部分48.離散余弦逆變換部分44，49.加法部分51.周邊運(yùn)動(dòng)窗口55.數(shù)據(jù)格式變換器56.離散余弦變換/逆變換器101，102，…，132.處理器單元具體實(shí)施的方式
下面，通過(guò)圖1到圖21，來(lái)說(shuō)明本發(fā)明的實(shí)施形式。
圖1是窗口的說(shuō)明圖。把臉部的窗口21從背景圖像22中區(qū)別開(kāi)來(lái)，同時(shí)進(jìn)行信息的加權(quán)平均；把臉部的窗口21作為重點(diǎn)，相反對(duì)背景圖像22特意降低畫(huà)質(zhì)以減少信息量。而且，通過(guò)用臉部的窗口21來(lái)追隨搖動(dòng)的臉部的運(yùn)動(dòng)的機(jī)制，來(lái)連續(xù)更新到最新的位置。
識(shí)別處理中動(dòng)態(tài)圖像的畫(huà)面中任意移動(dòng)的特定區(qū)域，也就是被優(yōu)先進(jìn)行信息處理的臉部的窗口(21)，構(gòu)成它的所有像素被依次分割成矩形的小塊，在這種處理方式下，并利用與小塊的動(dòng)態(tài)圖像運(yùn)動(dòng)相伴的運(yùn)動(dòng)矢量，來(lái)推定下一幀的臉部的窗口的位置，進(jìn)而用臉部的窗口(21)來(lái)追隨被攝主體的運(yùn)動(dòng)。
在開(kāi)始通信時(shí)，把固定形狀的臉部的窗口21設(shè)定在中央位置，在這個(gè)窗口21的內(nèi)部的“宏塊”的運(yùn)動(dòng)矢量之中，計(jì)算不為0的“宏塊”的平均值，把這個(gè)平均值作為窗口21的移動(dòng)的方向，來(lái)更新窗口21的位置。
如果當(dāng)初，人物的臉部沒(méi)有定位在畫(huà)面的中央，所以窗口21的位置和人的臉部不一致的時(shí)候，一旦具有運(yùn)動(dòng)矢量的臉的一部分進(jìn)入窗口21的內(nèi)部，馬上就可以通過(guò)窗口21的運(yùn)動(dòng)矢量的作用，使窗口21逐漸與人物的臉靠近，直到最終一致。
這樣，通過(guò)把窗口21確定為進(jìn)行動(dòng)態(tài)圖像信息的加權(quán)平均的選擇基準(zhǔn)。因?yàn)榇翱?1可以追隨臉部的運(yùn)動(dòng)，由此就能夠進(jìn)行真實(shí)的動(dòng)態(tài)圖像信息的加權(quán)平均。
下面，是ITU標(biāo)準(zhǔn)所規(guī)定的，與塊單位的處理相關(guān)的一些定義。以下的數(shù)字表示橫X豎的像素?cái)?shù)量。動(dòng)態(tài)圖像的一幀，由被稱(chēng)為最小單位的塊構(gòu)成，一個(gè)塊包括8×8的像素；進(jìn)而，16×16像素的灰度信號(hào)，以及8×8像素的兩個(gè)色差信號(hào)Cr、Cb，這三個(gè)在一起構(gòu)成的區(qū)域稱(chēng)為“宏塊”。因而，“宏塊”由4個(gè)相鄰的灰度信號(hào)Y，和各為1個(gè)的色差信號(hào)Cr、Cb，合計(jì)6個(gè)塊構(gòu)成。
上述ITU標(biāo)準(zhǔn)中采用的一幀的標(biāo)準(zhǔn)的像素?cái)?shù)，由144×176像素的灰度信號(hào)、和72×88像素的2個(gè)色差信號(hào)Cr、Cb構(gòu)成；從4分之1通用中間格式QCIF(Quarter Common Intermediate Format)開(kāi)始，以及CIF(Y288×352像素，Cr/Cb144×176像素)、以及4CIF(Y576×04像素，Cr/Cb288×52像素)等等，存在很多種類(lèi)。本發(fā)明以上述ITU標(biāo)準(zhǔn)中被允許使用的完整的幀的尺寸為對(duì)象，上述的宏塊以及塊的單位是在適應(yīng)而且合乎信號(hào)處理所規(guī)定的限制范圍內(nèi)實(shí)行的。在這樣的限定條件的范圍內(nèi)提高畫(huà)質(zhì)是創(chuàng)新型的本發(fā)明所要遵循的要旨。
圖2是臉部的窗口同周邊運(yùn)動(dòng)窗口的說(shuō)明圖，就是說(shuō)在臉部的運(yùn)動(dòng)比較少的時(shí)候，對(duì)說(shuō)話(huà)人的關(guān)心則集中于臉周?chē)?，比如手上。此?xiàng)正是要解決這個(gè)問(wèn)題。具體的操作是，求出前面幀的圖像同當(dāng)前幀的圖像的差分值，當(dāng)差分值超過(guò)所規(guī)定的閾值以上時(shí)進(jìn)行操作，把重要性?xún)H次于臉部比如手臂等對(duì)象圍起來(lái)，也就是用16×16像素構(gòu)成的大像素塊(以下稱(chēng)為“宏塊”)或者是8×8像素構(gòu)成的像素塊(以下稱(chēng)為“塊”)構(gòu)成任意變動(dòng)的區(qū)域，即窗口51，并對(duì)其進(jìn)行優(yōu)先的信息處理。
于是，構(gòu)成上述周邊運(yùn)動(dòng)窗口51的整個(gè)圖象被分割成矩形的小塊，在這種逐次分割成矩形的方式下，同時(shí)利用與塊的動(dòng)態(tài)圖像相伴的運(yùn)動(dòng)矢量，來(lái)推測(cè)下一幀的周邊運(yùn)動(dòng)窗口的位置和領(lǐng)域，從而使周邊運(yùn)動(dòng)窗口51能追隨上述任意變動(dòng)的的區(qū)域。周邊運(yùn)動(dòng)窗口51，是和臉部的窗口21有區(qū)別的，它是根據(jù)前一幀圖像和當(dāng)前幀圖像的差分值，而使用了比相應(yīng)的閾值更大的范圍，以此為原理計(jì)算出來(lái)的。而且可以適宜地變換為任意的形狀。
這個(gè)周邊運(yùn)動(dòng)窗口51在臉部的運(yùn)動(dòng)激烈的時(shí)候靠近臉部的窗口21，在臉部基本沒(méi)有運(yùn)動(dòng)的時(shí)候，閾值會(huì)適當(dāng)變化，從而使該窗口覆蓋臉部的周邊部分。特別是在手做出動(dòng)作的時(shí)候，周邊運(yùn)動(dòng)窗口能覆蓋手的動(dòng)作。這樣，不僅把人的面部作為主體，而且把周邊運(yùn)動(dòng)窗口51確定為判別是否對(duì)帶有姿勢(shì)、手勢(shì)等動(dòng)作的對(duì)象部分，進(jìn)行動(dòng)態(tài)圖像信息的加權(quán)平均的判別標(biāo)準(zhǔn)；而且，用周邊運(yùn)動(dòng)窗口51追隨手等部分的運(yùn)動(dòng)，這樣，就能夠?qū)σ匀说拿娌孔鳛橹黧w同時(shí)伴有姿勢(shì)、手勢(shì)等動(dòng)作的對(duì)象部分進(jìn)行實(shí)際的動(dòng)態(tài)圖像信息的加權(quán)平均。
圖3是削減背景的信息量的方法的說(shuō)明圖，除了面部窗口21之外，也包括周邊運(yùn)動(dòng)窗口51，把它們的范圍和背景相區(qū)別，關(guān)于這一點(diǎn)已經(jīng)通過(guò)圖2進(jìn)行了說(shuō)明。這是一種在背景運(yùn)動(dòng)比較激烈因而動(dòng)態(tài)圖像信息量很多的時(shí)候，通過(guò)降低背景運(yùn)動(dòng)量來(lái)故意弱化背景的畫(huà)質(zhì)的算法。也就是說(shuō)從當(dāng)前幀的“宏塊”圖像和與其具有相同的位置的這一“宏塊”圖像在上一幀的數(shù)據(jù)按一定比例進(jìn)行相加混合，用這樣的時(shí)間方向的濾波器(未作圖示)，對(duì)上述背景的動(dòng)態(tài)圖像信息進(jìn)行削減。
把臉部的窗口21和周邊運(yùn)動(dòng)窗口51相結(jié)合，重點(diǎn)考慮這兩個(gè)領(lǐng)域，相反對(duì)與它們以外的背景圖像22故意降低畫(huà)質(zhì)來(lái)降低信息量，進(jìn)行時(shí)間方向上的濾波。在這里，不是對(duì)當(dāng)前幀的“宏塊”進(jìn)行處理，而是取而代之對(duì)推導(dǎo)出的“宏塊”進(jìn)行處理，該“宏塊”是利用從具有相同位置的前圖像幀(以下稱(chēng)為“前幀”或“前參考幀”)的“宏塊”和當(dāng)前幀的“宏塊”，通過(guò)對(duì)它們進(jìn)行加權(quán)后進(jìn)行平均化推導(dǎo)出來(lái)的“宏塊”。加權(quán)平均，可以認(rèn)為是同位置的前幀的“宏塊”同當(dāng)前幀的像素值的平均值。極端的情況是只有前幀的“宏塊”自己置換自己，此時(shí)平均圖像就是靜止圖像。通過(guò)這樣來(lái)抑制背景圖像的噪聲或運(yùn)動(dòng)，把背景畫(huà)面使用的信息量限定在很小的比例，這樣就能把更多比例的信息用于臉部和周邊運(yùn)動(dòng)領(lǐng)域。
這樣，消耗了大量地傳送信息量的運(yùn)動(dòng)激烈的動(dòng)態(tài)圖像信息，通過(guò)時(shí)間濾波器的使用，雖然畫(huà)質(zhì)稍稍降低，但是能夠極大降低信息量。這些信息量大幅度削減的圖像經(jīng)過(guò)解碼器以后還原的時(shí)候，只有快速移動(dòng)變化的場(chǎng)面畫(huà)質(zhì)稍稍受到一點(diǎn)影響。具體的說(shuō)，在行駛的汽車(chē)中使用此可視電話(huà)的時(shí)候，作為講話(huà)人背景從車(chē)窗看到的移動(dòng)的風(fēng)景，稍稍有一點(diǎn)模糊。如此這樣，在背景移動(dòng)激烈的時(shí)候，通過(guò)對(duì)其信息量進(jìn)行大幅度的削減，同時(shí)進(jìn)行適當(dāng)?shù)奶幚?，這樣那些不重要的背景的動(dòng)態(tài)圖像信息量，就能夠被適當(dāng)?shù)叵鳒p到視覺(jué)上不至于難看的程度。
這里，預(yù)先說(shuō)明一下I幀、P幀以及B幀之間的關(guān)系。
I幀，僅使用當(dāng)前幀的圖像信息進(jìn)行編碼，所以，其圖像不依賴(lài)于之前的解碼圖像的畫(huà)質(zhì)。
P幀，是根據(jù)前面參考幀(與當(dāng)前幀相鄰的之前的已經(jīng)被編碼的I幀或P幀)的圖像，利用在運(yùn)動(dòng)預(yù)測(cè)器中求得的各個(gè)“宏塊”的運(yùn)動(dòng)矢量，生成運(yùn)動(dòng)補(bǔ)償?shù)念A(yù)測(cè)圖像，然后，把這個(gè)預(yù)測(cè)圖像和當(dāng)前輸入幀的圖像的差分圖像信息進(jìn)行壓縮(離散余弦變換、量化、可變長(zhǎng)編碼化)并發(fā)送到解碼器。
對(duì)于P幀，解碼器對(duì)這個(gè)差分圖像信息的壓縮編碼進(jìn)行解碼(離散余弦逆變換、逆量化、可變長(zhǎng)解碼化)，同時(shí)，P幀還有一個(gè)與I幀之不同之處是它把編碼器發(fā)送來(lái)的由運(yùn)動(dòng)矢量進(jìn)行運(yùn)動(dòng)補(bǔ)償而得到的預(yù)測(cè)圖像(在編碼器一側(cè)的生成是同樣的)與差分圖像進(jìn)行合并，以此完成P幀的解碼(解碼P幀＝預(yù)測(cè)圖像+解碼差分圖像)。可是，在解碼差分圖像中混入了壓縮編碼時(shí)攜帶的噪聲。解碼后P幀的畫(huà)質(zhì)，極大的依賴(lài)于預(yù)測(cè)圖像的預(yù)測(cè)精度(預(yù)測(cè)圖像同當(dāng)前輸入幀的圖像的類(lèi)似度)，所以，它受到用于產(chǎn)生預(yù)測(cè)圖像的前參照幀的畫(huà)質(zhì)的直接影響。
換言之，前參照幀的畫(huà)質(zhì)惡化的時(shí)候，解碼后的當(dāng)前P幀的畫(huà)質(zhì)也惡化，特別是給它以后的P幀的畫(huà)質(zhì)帶來(lái)連鎖的惡化的影響。反之，P幀的畫(huà)質(zhì)提高，以它為參照的幀的畫(huà)質(zhì)也提高，也帶來(lái)以后幀的畫(huà)質(zhì)的連鎖提高。
B幀，是以在時(shí)間關(guān)系上前后的2個(gè)參照幀(當(dāng)前幀前相鄰以及后相鄰的被解碼后的I幀或者P幀)的圖像為基礎(chǔ)，生成與上述同樣的預(yù)測(cè)圖像，進(jìn)而，把和當(dāng)前輸入幀之間的差分圖像信息的壓縮編碼送到解碼器。
在解碼器中，把被解碼的差分信息，同另一個(gè)信息，也就是從編碼器送來(lái)的的以運(yùn)動(dòng)矢量以及預(yù)測(cè)方向(同方向預(yù)測(cè)、反方向預(yù)測(cè)、雙方向預(yù)測(cè))信息為基礎(chǔ)生成的預(yù)測(cè)圖像(在編碼器中的生成是同樣的)，兩者進(jìn)行合并，進(jìn)而實(shí)現(xiàn)B幀的解碼。
B幀和P幀的不同點(diǎn)是，因?yàn)槭窃?個(gè)參照幀的基礎(chǔ)上生成的預(yù)測(cè)圖像，所以同P幀相比預(yù)測(cè)的精度更高，差分圖像的壓縮編碼量更小，這是一點(diǎn)；此外，因?yàn)锽幀不以自身為參照，所以即使B幀的畫(huà)質(zhì)惡化，惡化的影響也不會(huì)波及其他(B幀以后)幀。這是另外一點(diǎn)。
可是，B幀的畫(huà)質(zhì)本身，同P幀一樣，極大地受到它所參照的幀的畫(huà)質(zhì)的影響。
圖4是通過(guò)B幀處理來(lái)削減信息量的方法的說(shuō)明圖。在各個(gè)處理過(guò)程中對(duì)信號(hào)以及處理的名稱(chēng)進(jìn)行了標(biāo)注，這里，當(dāng)然不是僅僅把各個(gè)信號(hào)處理的功能塊的名稱(chēng)標(biāo)出來(lái)而已，而是把和各個(gè)處理相關(guān)的有必要說(shuō)明的功能塊設(shè)定了編號(hào)。
首先，在圖4(a)所表示的編碼器中，當(dāng)前幀圖像、前參照幀圖像以及后參照幀圖像被輸入到預(yù)測(cè)機(jī)能塊41。在這個(gè)運(yùn)動(dòng)預(yù)測(cè)機(jī)能塊中執(zhí)行運(yùn)動(dòng)預(yù)測(cè)、運(yùn)動(dòng)補(bǔ)償以及決定預(yù)測(cè)方式。接著，從這個(gè)運(yùn)動(dòng)預(yù)測(cè)功能塊41輸出的預(yù)測(cè)圖像與當(dāng)前幀圖像之間的差分圖像信息被輸入到全像素歸零化功能塊，把該差分信息的所有像素進(jìn)行強(qiáng)制歸零。
從該全像素歸零化功能塊42輸出的歸零的全像素信息經(jīng)由離散余弦變換塊43，再經(jīng)過(guò)量化部分44，被輸入到編碼生成部分45。編碼生成部分45，根據(jù)運(yùn)動(dòng)預(yù)測(cè)部分41確定的預(yù)測(cè)方式來(lái)預(yù)測(cè)動(dòng)態(tài)圖像的下一個(gè)運(yùn)動(dòng)的同時(shí)，把上述歸零化的全像素信息進(jìn)行編碼。編碼器完整的結(jié)構(gòu)將在后面圖11表示的結(jié)構(gòu)圖中敘述，圖12表示解碼器的結(jié)構(gòu)圖，圖13表示編碼器/解碼器兼容一體的結(jié)構(gòu)圖，后面將通過(guò)它們一起進(jìn)行敘述，所以，這里僅就B幀處理中信號(hào)的流動(dòng)進(jìn)行表示，并說(shuō)明其作用。
圖4(b)用來(lái)表示解碼器。從編碼器把動(dòng)態(tài)圖像信號(hào)進(jìn)行編碼壓縮，然后發(fā)送出來(lái)，經(jīng)過(guò)傳送線(xiàn)路100由解碼部分46接收并解碼，然后從解碼部分46把解碼信號(hào)輸入到逆量化部分47進(jìn)行逆量化處理。接著，從逆量化部分47輸出逆量化信號(hào)，然后輸入到離散余弦逆變換部分48，在此進(jìn)行離散余弦逆變換，通過(guò)以上這些步驟還原為差分信號(hào)，這個(gè)還原的差分圖像同根據(jù)上述預(yù)測(cè)方式進(jìn)行預(yù)測(cè)得到的預(yù)測(cè)圖像合并，最后輸出解碼圖像。
一般來(lái)說(shuō)，在所使用的動(dòng)態(tài)圖像壓縮方式中，存在如下三種幀，即對(duì)當(dāng)前輸入幀的圖像信息進(jìn)行直接編碼的I幀；以及，當(dāng)前幀的圖像信息通過(guò)之前的參照幀的圖像信息進(jìn)行預(yù)測(cè)，把當(dāng)前幀與這個(gè)預(yù)測(cè)圖像之間的差分圖像進(jìn)行編碼的P幀；以及，通過(guò)從時(shí)間關(guān)系上前后的2個(gè)參照幀的圖像信息合成預(yù)測(cè)圖像，把與這個(gè)預(yù)測(cè)圖像之間的差分信號(hào)進(jìn)行編碼的B幀。
這里所說(shuō)的“參照幀”，指的是已經(jīng)被解碼的I幀或P幀。這里所說(shuō)的“預(yù)測(cè)圖像”，指的是，參照幀與當(dāng)前輸入幀之間發(fā)生的運(yùn)動(dòng)以各種的“宏塊”為單位來(lái)進(jìn)行預(yù)測(cè)，并在參照幀中對(duì)運(yùn)動(dòng)量進(jìn)行補(bǔ)償而得到的圖像最近，在H.263和H.263+標(biāo)準(zhǔn)中，提倡一種叫做PB幀的編碼方式，即，B幀和在它后面的P幀同時(shí)以“宏塊”為單位進(jìn)行編碼。
以前的B幀，作為PB幀編碼方式中B幀的預(yù)測(cè)方法，存在以下3類(lèi)(1)預(yù)測(cè)前參照幀時(shí)使用的同方向預(yù)測(cè)；(2)預(yù)測(cè)后參照幀時(shí)使用的反方向預(yù)測(cè)；(3)預(yù)測(cè)前后兩方向的參照幀時(shí)使用的雙向預(yù)測(cè)。
以前，為了修正當(dāng)前輸入幀圖像與預(yù)測(cè)圖像之間的偏差，把這些差分圖像進(jìn)行編碼，然后送到解碼器；而在這里，正如圖4(a)所表示的，把其差分信號(hào)強(qiáng)制全部歸零的圖像，實(shí)質(zhì)上，就是只把上述三種B幀的預(yù)測(cè)方法作為信息來(lái)發(fā)送，以此來(lái)極大降低B幀信息量。這里所表示的就是這樣的方法。
B幀，正如前而已經(jīng)說(shuō)明的，因?yàn)椴蛔鳛槠渌鼛M(jìn)行編碼的參照幀，所以即使B幀的畫(huà)質(zhì)發(fā)生多少惡化，對(duì)它之后的幀的編碼也沒(méi)有影響。通過(guò)把B幀的信息量進(jìn)行大幅度的降低而使P所占的信息量增加，其結(jié)果是P幀的畫(huà)質(zhì)得到了提高，正如之前說(shuō)明的，動(dòng)態(tài)圖像整個(gè)的畫(huà)質(zhì)也伴隨著提高了。
在強(qiáng)制使B幀的差分圖像全部歸零的圖像處理中，圖4(a)的虛線(xiàn)所包圍的離散余弦變換部分43以及量化部分不是必須的，可相應(yīng)做硬件的削減。
在解碼器一側(cè)引入這種新的B幀的編碼方法，并不需要變更解碼器一側(cè)的結(jié)構(gòu)，就能完全保持與以前標(biāo)準(zhǔn)的互換性。這樣，在上述動(dòng)態(tài)圖像的運(yùn)動(dòng)非常激烈的時(shí)候，其差分圖像的信息量也大大增加，為了盡量使差分圖像的信息量最小，通過(guò)強(qiáng)制使全像素值歸零，能夠以最少的信息量對(duì)原圖像進(jìn)行還原。
這里，對(duì)降低圖像色差信號(hào)的噪聲，同時(shí)提高解碼圖像在視覺(jué)上的圖像品質(zhì)的量化法進(jìn)行說(shuō)明。通過(guò)解碼器還原的圖像的質(zhì)量，一般來(lái)說(shuō)，是取決于在對(duì)灰度信號(hào)以及2個(gè)色差信號(hào)進(jìn)行壓縮編碼過(guò)程中混入的噪聲量，人的視覺(jué)對(duì)色差信號(hào)特別敏感，由此可知，削減這兩個(gè)色差信號(hào)的噪聲，就可以提高視覺(jué)上圖像的質(zhì)量。
以前的量化方法，是通過(guò)指定的量化級(jí)別，并利用以下的公式，進(jìn)行離散余弦變換，得到頻域的數(shù)據(jù)。
|L|＝[(|C|-Q·s·(p+f))/(Q·s)]這里，|L|是被量化的數(shù)據(jù)的絕對(duì)值，|C|是原數(shù)據(jù)的絕對(duì)值，Q是量化級(jí)別，s是量化級(jí)別的修正值，p是逆量化修正值，f是取舍修正參數(shù)，[]表示實(shí)數(shù)取整的變換計(jì)算。
逆量化修正值p以及量化級(jí)別修正值s，根據(jù)不同的動(dòng)態(tài)圖像編碼標(biāo)準(zhǔn)來(lái)確定。在H263以及H263+標(biāo)準(zhǔn)中，逆量化修正值p，根據(jù)“宏塊”的編碼方式和頻率數(shù)據(jù)的種類(lèi)，分別取0(“內(nèi)部宏塊”的直流成分的時(shí)候)或者取0.5(其他的情況)，量化級(jí)別修正值固定取2。這里所說(shuō)的“內(nèi)部宏塊”，指的是，不使用預(yù)測(cè)圖像而是直接對(duì)現(xiàn)在“宏塊”圖像進(jìn)行編碼的“宏塊”。
另一方面，取舍修正參數(shù)f，在標(biāo)準(zhǔn)中并沒(méi)有規(guī)定，可以自由的設(shè)定。f＝0.5的時(shí)候，意味著進(jìn)行四舍五入的量化；f＝0的時(shí)候，意味著進(jìn)行取整(削減)量化。
在TMT-11中所采用的，以前的量化的方法中，取舍修正參數(shù)f，根據(jù)“宏塊”的編碼的方式，分別設(shè)定為0.5(“內(nèi)部宏塊”的情況)，或0.25(其他的情況)。在灰度信號(hào)和兩個(gè)色差信號(hào)中使用相同的f值。
在本發(fā)明中，通過(guò)為不同性質(zhì)的灰度信號(hào)和色差信號(hào)設(shè)定f值，灰度信號(hào)和色差信號(hào)使用相同的量化級(jí)別，成功地大幅度降低了色差信號(hào)的噪聲。具體的說(shuō)，如下所示來(lái)確定f值。
(1)內(nèi)“宏塊”的情況，同以前一樣設(shè)定f＝0.5(根據(jù)四舍五入進(jìn)行量化)(2)其他的情況，灰度信號(hào)使用f＝0(取整(削減))，色差信號(hào)取f＝0.5(四舍五入)。
在灰度信號(hào)進(jìn)行量化時(shí)，使用取整(削減)的方法，勢(shì)必增加量化的噪聲，所以以前根本沒(méi)有人考慮使用這種方法。可是，對(duì)灰度信號(hào)取整(削減)的量化的效果是在取0值的量化中，頻率成分的個(gè)數(shù)急劇增加，這樣壓縮比率顯著上升，因此帶來(lái)量化級(jí)別的降低。量化級(jí)別的降低則抵消了量化的噪聲增加的傾向，最終的量化的噪聲僅僅增加0.0dB到0.3dB的程度，和以前的情形相比，基本沒(méi)有什么改變。相反，因?yàn)樵谏钚盘?hào)的量化中使用四舍五入，色差的噪聲改善了1.2dB甚至1.3dB的程度?？傮w上的信噪比改善了0.3dB。特別是，色差信號(hào)的噪聲的大幅度的降低，保證了顏色的正確還原，視覺(jué)效果上的圖像質(zhì)量獲得了大幅度的改善。因而，使用比以前簡(jiǎn)單的結(jié)構(gòu)，發(fā)揮了明顯的削減色差信號(hào)噪聲的效果，通過(guò)信噪比的改善，從人眼的特點(diǎn)出發(fā)，取得了視覺(jué)上的實(shí)質(zhì)的畫(huà)質(zhì)的提高。
接下來(lái)，是“內(nèi)部宏塊”的DC系數(shù)(8×8塊的左上角的值)的量化。即，把DC系數(shù)除以8，余數(shù)四舍五入。相反，在解碼器一側(cè)，上述的DC系數(shù)，要由被量化的受信值乘以8得到，因而，[逆量化值]＝8×[量化值]。當(dāng)不使用預(yù)測(cè)圖像，而是對(duì)當(dāng)前的“宏塊”(16×16或8×8)圖像直接編碼，只是在這種“內(nèi)部宏塊”的時(shí)候，才對(duì)灰度信號(hào)和色差信號(hào)進(jìn)行四舍五入的量化。而對(duì)“內(nèi)部宏塊”以外的情況，灰度信號(hào)進(jìn)行取整(削減)量化，色差信號(hào)進(jìn)行四舍五入量化。
這樣，通過(guò)對(duì)灰度信號(hào)和色差信號(hào)使用同樣的量化級(jí)別，能夠降低色差信號(hào)的噪聲。但是從測(cè)量上看，削減同樣程度的噪聲，同灰度信號(hào)相比，對(duì)色差信號(hào)的削減，在視覺(jué)上的效果更高。因而，使用比以前簡(jiǎn)單的結(jié)構(gòu)，便發(fā)揮了明顯的削減色差信號(hào)噪聲的效果，通過(guò)信噪比的改善，從人眼的特點(diǎn)出發(fā)，獲得了視覺(jué)上的實(shí)質(zhì)的畫(huà)質(zhì)的提高圖5是與幀級(jí)別率相關(guān)的條件以及變量的一覽圖。圖6時(shí)幀級(jí)別率的控制處理流程圖。圖5表示了在幀級(jí)別率的控制中，計(jì)算目標(biāo)比特率時(shí)需要考慮的條件。輸入圖像1秒所對(duì)應(yīng)的畫(huà)面數(shù)G是根據(jù)編碼器一側(cè)的動(dòng)態(tài)圖像輸入源(攝像機(jī)、錄像機(jī))來(lái)決定，一般取值為25到30。對(duì)于輸出的圖像，1秒所對(duì)應(yīng)的畫(huà)面數(shù)F，取輸入圖像1秒對(duì)應(yīng)畫(huà)面數(shù)G以下的值，G和F的比值為整數(shù)。
在此，1幅輸出圖像幀所對(duì)應(yīng)的畫(huà)面數(shù)C，在下一幅輸出幀使用PB幀的編碼方式時(shí)，取值為C＝2；在下一幅輸出幀使用I幀或P幀的編碼方式時(shí)，取值為C＝1。編碼器中一秒所對(duì)應(yīng)的能夠還原的最大的畫(huà)面數(shù)H，取F以上的值?？梢员ＷC的最大的幀延遲時(shí)間D，即從編碼器一側(cè)的圖像輸入開(kāi)始，到解碼器一側(cè)的圖像還原之間需要的延遲時(shí)間，以輸入畫(huà)面周期(1/G)秒為單位時(shí)間來(lái)表示。這個(gè)延遲時(shí)間，除了依賴(lài)于各個(gè)畫(huà)面的編碼信息的發(fā)送所需要的時(shí)間，還依賴(lài)于編碼器和解碼器進(jìn)行處理的延遲時(shí)間。這里，對(duì)此處理延遲時(shí)間忽略不計(jì)。再有，關(guān)于D應(yīng)該滿(mǎn)足的條件將在后面敘述。
圖5(b)表示的是根據(jù)圖5(a)的條件確定的3個(gè)變量，E是為了100％使用信道的帶寬而需要的最小比特量。當(dāng)實(shí)際的比特量小于這個(gè)E的時(shí)候，用來(lái)儲(chǔ)存輸出信息的通信緩沖器變空，導(dǎo)致下溢出現(xiàn)象的發(fā)生，通訊速度的實(shí)際值下降，結(jié)果導(dǎo)致畫(huà)質(zhì)的惡化。
這里，L是能夠保證幀延遲時(shí)間D而需要的最大的比特量，當(dāng)實(shí)際的編碼比特率超過(guò)L的時(shí)候，在解碼器中還原圖像的延遲就超過(guò)D了。為了減少下溢出現(xiàn)象從而進(jìn)行穩(wěn)定的動(dòng)態(tài)圖像通信，同時(shí)又能保證幀延遲時(shí)間D，L值必須取E以上的值，在圖5(a)中給出了D必須滿(mǎn)足的條件D≥(2C-1)G/F-1。再有，K是1幀對(duì)應(yīng)分配的比特量，設(shè)定為E以上L以下的值。還有，圖中的s，是確定效率值的常數(shù)，取值從0到1之間。
圖5(c)表示的是依賴(lài)于各個(gè)圖像幀的編碼比特率的變量。圖5(a)(b)(c)中出現(xiàn)的變量R、G、F、C、H、D、E、L、K、W、B、U、T全部近似于整數(shù)。這樣，下面的幀的級(jí)別控制的處理可以全部是整數(shù)計(jì)算，硬件更容易實(shí)現(xiàn)。
圖6表示的是幀的級(jí)別率控制的處理流程圖。在圖6(S61)中，把通信緩沖器殘留的比特量W設(shè)定為0，開(kāi)始的輸入畫(huà)面作為1幀進(jìn)行編碼。在圖6(S62)中，判斷現(xiàn)在幀的比特量B是否為正值。如果B是正值，那么現(xiàn)在幀處理的時(shí)間為C/F，這個(gè)期間發(fā)送的比特量設(shè)定為R·C/F。如果B是負(fù)值，判斷當(dāng)前的幀被跳過(guò)了，編碼處理時(shí)間和輸入畫(huà)面的周期是同樣的，為1/G秒，把這個(gè)期間發(fā)送的比特量U設(shè)定為R/G。在圖6(S63)中，通信緩沖器殘留的比特量W同當(dāng)前幀的比特量B相加，并與在當(dāng)前幀處理時(shí)間從通信緩沖器發(fā)送來(lái)的比特量U進(jìn)行比較，進(jìn)而更新W的值。
在圖6(S64)中，計(jì)算下一幀的目標(biāo)比特量T，并在此時(shí)檢查W與L-E、F與H之間的大小關(guān)系。一般的情況是W＜L-E，這時(shí)，從一幀對(duì)應(yīng)的比特量K之中減去通信緩沖器殘留的比特量W，把其差值設(shè)定為T(mén)。而在W＞L-E的時(shí)候，當(dāng)前幀無(wú)法在保證的幀延遲時(shí)間以?xún)?nèi)在解碼器中還原，于是超過(guò)保證的延遲時(shí)間以上的滯后現(xiàn)象會(huì)暫時(shí)發(fā)生(以下，把這種情況稱(chēng)為“過(guò)剩延遲狀態(tài)”)。這以后，在編碼器一側(cè)，為了消除這種暫時(shí)的過(guò)剩延遲狀態(tài)，對(duì)K進(jìn)行設(shè)定，如果解碼器一秒對(duì)應(yīng)的能夠還原的最大的畫(huà)面數(shù)H大于輸出圖像一秒對(duì)應(yīng)的畫(huà)面數(shù)F的話(huà)，就能夠在解碼器一側(cè)消除這種過(guò)剩延遲狀態(tài)。
可是，例如在H和F相等的時(shí)候，此時(shí)，雖然在編碼器一側(cè)消除了過(guò)剩延遲狀態(tài)，可如果不能在解碼器一側(cè)消除，恐怕過(guò)剩延遲狀態(tài)還要繼續(xù)。這樣，暫時(shí)的過(guò)剩延遲狀態(tài)無(wú)法監(jiān)測(cè)，而且過(guò)剩延遲狀態(tài)持續(xù)的時(shí)候，很多時(shí)候產(chǎn)生延遲過(guò)大的問(wèn)題，因而，在W＞＝L-E和F＝H的時(shí)候，設(shè)定T＝0。在圖6(S65)中T為正值的時(shí)候，作為普通的處理，跳過(guò)下一(D/F-1)幀，并對(duì)它后面的C個(gè)(接下來(lái)的幀是I或P幀的時(shí)候C＝1；PB幀的時(shí)候C＝2)輸入畫(huà)面進(jìn)行編碼。在T的值為0或者負(fù)值的時(shí)候，接下來(lái)的輸入畫(huà)面一個(gè)也不編碼全部跳過(guò)。于是，在這樣跳過(guò)的時(shí)候，幀的比特量為B＝0。
這樣，就能夠嚴(yán)密控制從編碼器一側(cè)的輸入圖像一直到解碼器一側(cè)圖像被還原為止的延遲時(shí)間。而且當(dāng)產(chǎn)生輸出畫(huà)面的幀丟失時(shí)，同以前的丟失C·G/F幀相比較，本發(fā)明把幀丟失抑制在1幅畫(huà)面，這樣總體上丟失的畫(huà)面也很少，能夠?qū)崿F(xiàn)穩(wěn)定的動(dòng)態(tài)圖像的通信。
被編碼的動(dòng)態(tài)圖像信息的當(dāng)前幀的比特量B與通信緩沖器殘留的比特量W相比較的手段在圖6(S62)(S63)中表示，利用其比較結(jié)果，為了使上述殘留比特量W不枯竭，進(jìn)而控制下一幀的目標(biāo)比特量T的控制手段在圖6(S64)(S65)中表示。使用通過(guò)這種控制手段得到的控制結(jié)果，把攝像機(jī)輸入的圖像經(jīng)過(guò)上述編碼器、傳送線(xiàn)路100以及解碼器，直到輸出解碼的圖像這期間發(fā)生的延遲時(shí)間和幀丟失限定在最小值。以此確立了用幀級(jí)別率控制的計(jì)算下一幀的目標(biāo)比特量的手段。這樣，對(duì)于以前無(wú)法進(jìn)行很好地控制而導(dǎo)致的實(shí)際通信速度降低的通信緩沖器的下溢出或還原圖像的延遲現(xiàn)象，在這里通過(guò)極為簡(jiǎn)單的計(jì)算，就達(dá)到了很高的控制能力，能夠?qū)崿F(xiàn)實(shí)時(shí)“唇聲同步”。
通過(guò)圖7、圖8、圖9以及圖10，對(duì)以編碼比特量為指標(biāo)的“宏塊”級(jí)別率的控制方法進(jìn)行說(shuō)明。
圖7，是與“宏塊”級(jí)別相關(guān)的變量和常量的一覽圖。特別指出的是，前幀的編碼化的“宏塊”的量化級(jí)別的平均值Qa，是把已經(jīng)被編碼的“宏塊”(指的是，在不使用“中間宏塊”的情況下，量化頻率成分以及運(yùn)動(dòng)矢量成分中全部變成0的“宏塊”不被編碼)按運(yùn)用的“宏塊”的數(shù)量進(jìn)行等分，所得到的值。
如圖8所示，是使用前一幀的各個(gè)“宏塊”的量化級(jí)別的加權(quán)平均的平均值Qa，來(lái)計(jì)算出當(dāng)前幀的最初(i＝1)的“宏塊”中運(yùn)用的量化級(jí)別的初始值Q，這構(gòu)成了第一種計(jì)算方法(S1).這樣，在圖8(S3)之中，使用上述目標(biāo)比特量至當(dāng)前“宏塊”為止的實(shí)際的編碼量以及最初(i＝1)的“宏塊”中運(yùn)用的量化的級(jí)別，來(lái)計(jì)算出第二個(gè)以后(i＝2，3直到N)的“宏塊”中所應(yīng)用的量化級(jí)別的微調(diào)量。這構(gòu)成第二種計(jì)算方法，與此相關(guān)的結(jié)構(gòu)在圖9和圖10之中表示。
圖8是“宏塊”級(jí)別控制的處理流程圖。但是，最初的輸入畫(huà)面的1幀進(jìn)行編碼時(shí)，不使用這種“宏塊”級(jí)別率控制，這時(shí)量化的級(jí)別固定為特定的值。圖8(S1)是用來(lái)檢查前一幀的狀態(tài)。在前一幀為最初的I幀或者被跳過(guò)(B’＝0)的時(shí)候，把前一幀的量化級(jí)別的初始值Q’原封不動(dòng)的設(shè)為當(dāng)前幀的量化級(jí)別的初始值。
上述以外的情況，用前一幀的編碼“宏塊”的量化級(jí)別的平均值Qa，同前一幀的目標(biāo)比特量T’之中相對(duì)應(yīng)的實(shí)際的編碼比特量B’所占的比率值B’/T’相乘，以此作為函數(shù)CQ的因數(shù)，函數(shù)CQ的輸出作為當(dāng)前幀的量化級(jí)別的初始值Q。
圖9是“宏塊”級(jí)別控制中函數(shù)CQ(x)的定義的說(shuō)明圖。正如圖9所示，函數(shù)CQ，在因數(shù)x小于量化級(jí)別的允許最大值Qmin的時(shí)候，輸出為Qmin。x如果在允許范圍之內(nèi)，那么函數(shù)就把這個(gè)值原封不動(dòng)地輸出。函數(shù)CQ是這樣的“截止”函數(shù)。
在前一幀中，當(dāng)實(shí)際的編碼比特量大于目標(biāo)比特量的時(shí)候，量化級(jí)別的初始值也要設(shè)定得比Qa高；相反，實(shí)際的比特量小于目標(biāo)比特量的時(shí)候，量化級(jí)別的初始值就要設(shè)定得比Qa低。適當(dāng)?shù)卣{(diào)整這種“宏塊”級(jí)別控制的“控制速度”，能夠提高其控制能力。
其他的，還有圖8(S4)中需要計(jì)算的非零平均的每個(gè)量化頻率成分所對(duì)應(yīng)的平均比特量的預(yù)測(cè)值J。這個(gè)計(jì)算，就是利用前一幀的頻率成分中所使用的所有比特量除以非零量化頻率成分的個(gè)數(shù)得到的值J’，把J和J’按照t∶(1-t)的比率相加，所得到的值作為新的J的值。t是常數(shù)，為大于0小于1的實(shí)數(shù)值。
圖8(S2)中，如果當(dāng)前幀的目標(biāo)比特量T是正值，就進(jìn)行實(shí)際的當(dāng)前幀的編碼處理；如果不是這樣，直接轉(zhuǎn)到圖8(S6)去。
圖8(S3)是各個(gè)“宏塊”(i)(i＝1，2直至N)中壓縮編碼處理的前半部分。對(duì)于上述的差分圖像執(zhí)行離散余弦變換，按照量化級(jí)別q對(duì)其頻率成分進(jìn)行量化。
圖8(S4)是把量化級(jí)別q更新為適當(dāng)?shù)闹?。再有，此部分處理的詳?xì)情況在圖10中表示，這將在后面敘述。
圖8(S5)是各個(gè)“宏塊”(i)中壓縮編碼處理的后半部分，進(jìn)行可變長(zhǎng)度編碼，B的值更新為包含“宏塊”(i)的編碼的部分。進(jìn)而，生成逆量化、及生成離散余弦還原圖像。
圖8(S6)中，全部的“宏塊”處理結(jié)束。當(dāng)前幀的編碼完成之后，替換Q`，B`，T`的值，準(zhǔn)備下一幀的處理。
以上的處理完全通過(guò)整數(shù)運(yùn)算來(lái)實(shí)現(xiàn)。
圖10是各個(gè)“宏塊”(i)中量化級(jí)別q的更新計(jì)算處理的流程圖。從前后順序上來(lái)說(shuō)，是圖8(S4)的處理的詳細(xì)說(shuō)明。在圖10(S7)中，首先判斷對(duì)各個(gè)“宏塊”(i)進(jìn)行還是不進(jìn)行編碼。不對(duì)“宏塊”進(jìn)行編碼的條件是，不僅僅是“內(nèi)部宏塊”，而量化頻率成分以及運(yùn)動(dòng)矢量成分全部為零。當(dāng)不進(jìn)行編碼的時(shí)候，也就不進(jìn)行量化級(jí)別q的更新。
在圖10(S8)中進(jìn)行“宏塊”編碼的時(shí)候，首先計(jì)算作為量化級(jí)別q的更新計(jì)算的指標(biāo)的4個(gè)變量，即變量d，h，a，e.d是當(dāng)前“宏塊”(i)的比特量的預(yù)測(cè)值。它是由當(dāng)前“宏塊”(i)的非量化頻率成分的個(gè)數(shù)z乘與上述(S61)計(jì)算的非零量化每單位頻率成分所對(duì)應(yīng)的平均比特量J，由此得到的值再加上頻率成分以外的預(yù)想的比特量V，頻率成分以外的預(yù)想的比特量采用預(yù)想的實(shí)驗(yàn)所得到的值。
h是殘留(未處理)的“宏塊”所消費(fèi)的比特量的預(yù)測(cè)值，稱(chēng)為殘量比特預(yù)測(cè)值。
a是“宏塊”(i)以后能夠消費(fèi)的比特殘量值，稱(chēng)為殘量比特允許值。
e是在假設(shè)各個(gè)“宏塊”(i)發(fā)生同樣的編碼比特量時(shí)，殘余(未處理)的“宏塊”消費(fèi)的比特量的目標(biāo)值。稱(chēng)為殘量比特目標(biāo)值。
在比特殘量值a遠(yuǎn)大于比特殘量預(yù)測(cè)值h的時(shí)候，使量化級(jí)別q上升，導(dǎo)致信息發(fā)生量減少；相反，在比特殘量值a遠(yuǎn)小于比特殘量預(yù)測(cè)值e的時(shí)候，使量化級(jí)別q下降，增加了信息發(fā)生量。
圖10(S9)中，求b1，b2參數(shù)值。
當(dāng)現(xiàn)在的量化級(jí)別q比最初的“宏塊”中所使用的量化級(jí)別的初始值Q大的時(shí)候，b1是起到抑制q的作用的拉偏量，使q不至于變得比Q大更多；相反，b2則是起到在q比Q小的時(shí)候，使q不至于變得比Q小更多的這種作用的拉偏量。
圖10(S10)中，求c1，c2參數(shù)值。
在這個(gè)計(jì)算中所使用的常數(shù)f，是調(diào)整對(duì)比特率控制的靈敏度的參數(shù)，一般使用1.0以上的值。
常數(shù)g是用來(lái)調(diào)整拉偏量b1，b2的所起作用的強(qiáng)度的參數(shù)。一般使用0.0以上的值。
圖10(S11)中，進(jìn)行實(shí)際的量化級(jí)別q的更新。
這里，考慮以下1-4的條件。
條件1q＜Q并且a＜h，為真的時(shí)候，q’取q和q1相加的值；偽的時(shí)候，由條件2判斷。
條件2e＞a·c1，為真的時(shí)候，q’取q和q1相加的值；偽的時(shí)候，由條件3判斷。
條件3e·c2＞a，為真的時(shí)候，由條件4來(lái)判斷；偽的時(shí)候，取q的值。
條件4W+B＜U，為真的時(shí)候，q加上q2，以外的情況q保持不變。偽的時(shí)候，q’取q的值。
但是，要滿(mǎn)足0＜q1≤qmax以及qmin≤q2＜0。W是在圖5(c)中表示的通信緩沖器殘余比特量，U是在圖5(c)中表示的在當(dāng)前幀的編碼處理時(shí)間中發(fā)送的比特量。
最后，利用上述4個(gè)條件的判斷來(lái)計(jì)算得到q`的值，以此確定在函數(shù)CQ之中“截止”的值，并作為q的更新值。
H.263以及H.263+之中規(guī)定的量化的最大允許值Qmax設(shè)定為31，最小允許值Qmin設(shè)定為1；連續(xù)2個(gè)“宏塊”的量化級(jí)別的變化量的允許最大值qmax設(shè)定為+2，變化量允許最小值qmin設(shè)定為-2。
以上的處理全部是用整數(shù)運(yùn)算或固定小數(shù)點(diǎn)來(lái)實(shí)現(xiàn)的。
這樣，為了對(duì)上述各個(gè)圖像幀的比特長(zhǎng)度進(jìn)行高精度的平均化，把以前不可缺少的非常復(fù)雜的計(jì)算，替換為簡(jiǎn)單的計(jì)算，減少了計(jì)算處理所用的延遲時(shí)間，能夠?qū)崿F(xiàn)同步“唇聲同步”。
接下來(lái)，作為一種實(shí)施的形態(tài)，構(gòu)成動(dòng)態(tài)圖像信息的高性能編碼壓縮系統(tǒng)的System Memory Sharing Processor Array，即系統(tǒng)化的存儲(chǔ)器共享型處理器陣列方式(以下，也稱(chēng)為系統(tǒng)MSPA)，以這種結(jié)構(gòu)為基礎(chǔ)來(lái)進(jìn)行保存的存儲(chǔ)器，以及用于低比特率視頻編碼的系統(tǒng)，下面將用圖對(duì)它們做進(jìn)一步的說(shuō)明。
圖11是編碼器結(jié)構(gòu)框圖，圖12是解碼器結(jié)構(gòu)框圖，圖13是編碼器/解碼器通用一體型的結(jié)構(gòu)框圖。
在圖13中，5是視頻攝像機(jī)，由此把以人的臉部為主體的動(dòng)態(tài)圖像信號(hào)通過(guò)攝像機(jī)接口6輸入到數(shù)據(jù)總線(xiàn)2中。數(shù)據(jù)總線(xiàn)2通過(guò)主接口7與主計(jì)算機(jī)8相連。并能夠在地址產(chǎn)生單元(Adress Generation Unit)，也即集中控制裝置(以下，稱(chēng)為AGU)3以及存儲(chǔ)器1之間進(jìn)行數(shù)據(jù)交換。
因?yàn)槭笰GU3和存儲(chǔ)器配合在一起進(jìn)行功能驗(yàn)證，故而在設(shè)計(jì)以及試作階段進(jìn)行功能驗(yàn)證非常容易。
AGU3除了和存儲(chǔ)器1以外還和編制了基本動(dòng)作程序的ROM9相連，并通過(guò)控制總線(xiàn)4把控制信號(hào)傳送到上述各個(gè)硬件模塊(以下也稱(chēng)為“模塊”或“各單元”或“單元”)，進(jìn)而構(gòu)成動(dòng)態(tài)圖像的高性能編碼壓縮系統(tǒng)。
在實(shí)際應(yīng)用中，作為存儲(chǔ)器1，使用DRAM(動(dòng)態(tài)存儲(chǔ)器)，得到了滿(mǎn)意的結(jié)果。其要旨在各個(gè)圖中有所記載，在本發(fā)明中，把被編碼的動(dòng)態(tài)圖像信息進(jìn)行適當(dāng)?shù)拇鎯?chǔ)和自由自在地讀取，這樣的存儲(chǔ)器手段，不僅僅限定上述動(dòng)態(tài)存儲(chǔ)器，使用其他的方法也可以。如果有那種實(shí)際形態(tài)的應(yīng)用，當(dāng)然應(yīng)該看作包含在本發(fā)明的要旨之內(nèi)。
上述各單元通過(guò)數(shù)據(jù)總線(xiàn)2實(shí)現(xiàn)了動(dòng)態(tài)圖像信息的共有，在控制總線(xiàn)2中，只是通過(guò)和電路外部相連的存儲(chǔ)器1，實(shí)現(xiàn)上述各個(gè)單元之間的數(shù)據(jù)的傳送。上述各單元與存儲(chǔ)器1的數(shù)據(jù)傳送由AGU3以及ROM9進(jìn)行控制。
這是上述系統(tǒng)MSPA最大的特點(diǎn)，這樣上述各個(gè)單元之間的數(shù)據(jù)的傳送全部都要通過(guò)存儲(chǔ)器進(jìn)行，這樣，上述各單元之間的處理的依賴(lài)關(guān)系，只由在存儲(chǔ)器1和AGU3進(jìn)行存儲(chǔ)器數(shù)據(jù)交換時(shí)，分時(shí)處理所占的時(shí)間來(lái)決定。
作為上述的各個(gè)單元，在圖11到圖13中進(jìn)行了表示。這樣，不需要考慮上述各個(gè)單元之間的依賴(lài)的關(guān)系，通過(guò)數(shù)據(jù)總線(xiàn)和控制總線(xiàn)把獨(dú)立的設(shè)計(jì)并行地連接起來(lái)，構(gòu)成整體。因而，對(duì)于上述各個(gè)單元，不同的設(shè)計(jì)者可以同時(shí)進(jìn)行，系統(tǒng)整體的程序結(jié)構(gòu)不需要很大的規(guī)模，縮短了設(shè)計(jì)的時(shí)間。而且，如果上述各單元的設(shè)計(jì)需要變更的話(huà)，僅變更AGU3的程序就可以很容易地實(shí)現(xiàn)。因而使系統(tǒng)具有柔軟應(yīng)變的能力。
運(yùn)動(dòng)矢量搜索部分10，配備了圖中沒(méi)有表示的預(yù)測(cè)決定部分，用來(lái)計(jì)算出臉部的窗口21的圖像的平均移動(dòng)量。并且按照這個(gè)平均移動(dòng)量來(lái)追隨臉部的窗口21。
這樣，與被攝人的臉部的搖動(dòng)相配合，為了取得到?jīng)]有延遲的高畫(huà)質(zhì)的效果，利用上述平均移動(dòng)量來(lái)預(yù)測(cè)未來(lái)的運(yùn)動(dòng)，使臉部的窗口21先行一步發(fā)送給解碼器。
以下，主要說(shuō)明窗口MSPA。
保存圖像幀信息的存儲(chǔ)器1，與各種各樣的獨(dú)立執(zhí)行指令的硬件模塊通過(guò)數(shù)據(jù)總線(xiàn)結(jié)合起來(lái)，由AGU3來(lái)控制存儲(chǔ)器1同上述硬件模塊之間的數(shù)據(jù)的流動(dòng)以及執(zhí)行程序，AGU3通過(guò)控制總線(xiàn)4同各個(gè)硬件模塊結(jié)合一起構(gòu)成系統(tǒng)，并通過(guò)這種系統(tǒng)結(jié)構(gòu)組成上述的編碼器以及解碼器。
實(shí)際應(yīng)用的可視電話(huà)，應(yīng)該是象圖13的結(jié)構(gòu)框圖所表示的編碼器/解碼器通用一體的，也就是包含發(fā)送和接受雙方向的裝置，由這樣的裝置組合為一體并構(gòu)成系統(tǒng)。這里，把圖11中的編碼器，以及圖12中的解碼器區(qū)別開(kāi)來(lái)，并表示為單獨(dú)的結(jié)構(gòu)，省略它們的重復(fù)部分的說(shuō)明。
在圖11所示的編碼器的系統(tǒng)中，在外部使用4K比特容量的存儲(chǔ)器1，該存儲(chǔ)器地址為16比特、數(shù)據(jù)為16比特、存取時(shí)間為40納秒，可以存貯QCIF(176×144像素)格式的4幀的數(shù)據(jù)。
在圖11中，從視頻攝像機(jī)5輸入的數(shù)據(jù)一方面被存儲(chǔ)在存儲(chǔ)器1中，另一方面，按照16×16個(gè)像素構(gòu)成的“宏塊”被依次壓縮處理。
首先，在運(yùn)動(dòng)矢量搜索部分10中，搜索被處理的“宏塊”是從前面幀的什么位置移動(dòng)來(lái)的，并作為運(yùn)動(dòng)矢量輸出。這時(shí)，對(duì)于不屬于臉部的窗口21或周邊運(yùn)動(dòng)窗口51的“宏塊”，通過(guò)沒(méi)有進(jìn)行圖示的時(shí)間濾波器對(duì)其圖像信息進(jìn)行劣化。
在上述的時(shí)間濾波器中當(dāng)靜止畫(huà)面的圖像信息被輸入的時(shí)候，原始的圖像信息被原封不動(dòng)的輸出；相反，運(yùn)動(dòng)激烈的電視圖像信息被輸入的時(shí)候，執(zhí)行使運(yùn)動(dòng)緩和的信息操作。
這樣，需要消耗大量傳送信息量的劇烈運(yùn)動(dòng)的圖像信息通過(guò)上述時(shí)間濾波器的處理，以稍稍降低一點(diǎn)畫(huà)質(zhì)，換來(lái)大幅度削減信息量。
這些信息量大幅度削減的圖像經(jīng)過(guò)解碼器還原的時(shí)候，只有快速移動(dòng)變化的場(chǎng)面的畫(huà)質(zhì)稍稍受到一點(diǎn)影響。具體地說(shuō)，在行駛的汽車(chē)中使用此可視電話(huà)的時(shí)候，作為講話(huà)人背景從車(chē)窗看到的移動(dòng)的風(fēng)景，稍稍有一點(diǎn)模糊。
在運(yùn)動(dòng)補(bǔ)償部分11中，利用得到的運(yùn)動(dòng)矢量，由處理中的當(dāng)前幀的“宏塊”，以及被認(rèn)為該“宏塊”是由之移動(dòng)而來(lái)的前一幀的位置，兩者產(chǎn)生差分?jǐn)?shù)據(jù)，并寫(xiě)入存儲(chǔ)器1中。
在離散余弦(逆)變換部分/(逆)量化部分12中，從存儲(chǔ)器1之中讀取的差分?jǐn)?shù)據(jù)，按照“宏塊”的四分之一即一個(gè)個(gè)的8×8個(gè)像素構(gòu)成的塊，來(lái)進(jìn)行離散余弦變換，由此得到8×8像素的頻率成分。進(jìn)而，一個(gè)個(gè)“宏塊”根據(jù)量化步長(zhǎng)，高速執(zhí)行“位數(shù)可變”的量化操作，其結(jié)果輸出到存儲(chǔ)器1中。
在可變長(zhǎng)編碼器13中，從存儲(chǔ)器1讀取的被量化而且削減了比特量的差分?jǐn)?shù)據(jù)的頻率成分，被分配合適的編碼，并存儲(chǔ)到?jīng)]有進(jìn)行圖示的內(nèi)部緩沖器中。這個(gè)內(nèi)部緩沖器按照一定的傳送率把編碼的數(shù)據(jù)輸出到外部。
在離散余弦(逆)變換部分/(逆)量化部分12中，比如由352×288像素構(gòu)成的一幅圖像，被分割成8×8像素構(gòu)成的像素塊，然后通過(guò)DCT(DiscreteCosine Transform)離散余弦變換(以下也稱(chēng)為DCT變換)，分解出頻率成分(正交變換)，削減高頻成分來(lái)進(jìn)行信息壓縮，DCT變換后的各個(gè)系數(shù)同某除數(shù)進(jìn)行除法運(yùn)算，余數(shù)四舍五入。
以上這些，具有在編碼處理時(shí)為順?lè)较?，在解碼處理是為逆方向的機(jī)能。在圖12的解碼器中，由于沒(méi)有順?lè)较蜃儞Q，所以配備了離散余弦逆變換部分/逆量化部分12b。
離散余弦(逆)變換部分/(逆)子化部分12，以及P“宏塊”重新構(gòu)筑部分14，以及“宏塊”預(yù)測(cè)部分15a，以及塊畸形除去濾波器部分16，它們的機(jī)能是完成從量化頻率成分中重新構(gòu)筑當(dāng)前“宏塊”的過(guò)程，并應(yīng)用到下一幀的壓縮處理中。
離散余弦逆變換部分/逆量化部分12用來(lái)完成離散余弦以及量化的逆操作，即，將差分?jǐn)?shù)據(jù)的頻率成分的量化數(shù)據(jù)輸入到存儲(chǔ)器中，通過(guò)量化操作，還原出原來(lái)的比特；進(jìn)一步通過(guò)離散余弦逆變換，還原出差分?jǐn)?shù)據(jù)，結(jié)果保存到存儲(chǔ)器1。
P“宏塊”重新構(gòu)筑部分14，是圖11、圖12、圖13所共有的。這里，從存儲(chǔ)器1中讀取差分?jǐn)?shù)據(jù)及由運(yùn)動(dòng)矢量得到的前一幀的數(shù)據(jù)，把它們相加來(lái)還原出當(dāng)前幀的“宏塊”，然后寫(xiě)入存儲(chǔ)器1。
在圖13中，有B“宏塊”預(yù)測(cè)部分/重新構(gòu)筑部分15，利用它完成各種P幀和B幀的處理。圖11所示的編碼器中配備了B“宏塊”預(yù)測(cè)部分15a；圖12所示的解碼器中配置了B“宏塊”重新構(gòu)筑部分15b。
在編碼器的B“宏塊”預(yù)測(cè)部分15a中，把被重新構(gòu)筑的P“宏塊”以及它由之移動(dòng)而來(lái)的前一幀的“宏塊”從存儲(chǔ)器1中讀取出來(lái)，把從由前一幀向前預(yù)測(cè)得到的B“宏塊”數(shù)據(jù)同上面的兩個(gè)數(shù)據(jù)相混合，來(lái)構(gòu)筑被預(yù)測(cè)的B“宏塊”，并且與實(shí)際從視頻攝像機(jī)5輸入的B“宏塊”進(jìn)行相似度的比較。對(duì)于每一個(gè)“宏塊”在這些方法中判定哪一個(gè)最合適，利用可變長(zhǎng)編碼器13發(fā)送這一信息本身。在解碼器中，通過(guò)B“宏塊”重新構(gòu)筑部分15b，來(lái)實(shí)際地再現(xiàn)B幀的數(shù)據(jù)。
塊畸形消除濾波器16，是圖11、圖12、圖13所共有的。從存儲(chǔ)器1中讀出被還原的P“宏塊”，通過(guò)塊畸形消除濾波器16的作用，除去“宏塊”相連處的人眼不易察覺(jué)的類(lèi)似圍棋交叉點(diǎn)形狀的噪聲，結(jié)果寫(xiě)入存儲(chǔ)器1。
AGU3控制各個(gè)模塊的執(zhí)行，以及控制各個(gè)模塊同存儲(chǔ)器1之間的數(shù)據(jù)的交換。
AGU3利用ROM9中存儲(chǔ)的程序進(jìn)行操作，所說(shuō)的程序命令，是指存儲(chǔ)器1的地址產(chǎn)生，以及對(duì)存儲(chǔ)器1的存取控制等。
主接口7，代替AGU3的ROM9從外部的主計(jì)算機(jī)8向系統(tǒng)輸入命令。執(zhí)行各個(gè)模塊的控制以及存儲(chǔ)器1同主計(jì)算機(jī)8之間的數(shù)據(jù)傳送。
這樣，窗口MSPA，整體上由各種具有高速運(yùn)行機(jī)能的硬件模塊(各單元)通過(guò)數(shù)據(jù)總線(xiàn)2與存儲(chǔ)器1連接而成。
也就是說(shuō)，各單元從外部的存儲(chǔ)器1讀取數(shù)據(jù)，進(jìn)行處理，其結(jié)果又輸出到外部存儲(chǔ)器1中。
因而，上述各單元之間沒(méi)有直接的數(shù)據(jù)交換，都必須通過(guò)存儲(chǔ)器1進(jìn)行。AGU3利用ROM9中命令，來(lái)控制各單元同存儲(chǔ)器1之間的數(shù)據(jù)傳送。
還有，雖然兩個(gè)存儲(chǔ)器1被分別用于編碼器和解碼器，可是如果具備與兩個(gè)存儲(chǔ)器響應(yīng)的響應(yīng)處理能力，也未必一定要使用兩個(gè)。
上述窗口MSPA的最大的特點(diǎn)是這樣的，由于各單元之間的數(shù)據(jù)傳送完全要經(jīng)過(guò)外部存儲(chǔ)器來(lái)實(shí)現(xiàn)，這樣上述各單元之間的處理依賴(lài)關(guān)系就能夠僅僅由進(jìn)行存儲(chǔ)器1存取的AGU3的時(shí)間分配來(lái)決定。因?yàn)楦鲉卧奶幚硪蕾?lài)關(guān)系由AGU3來(lái)決定，上述各單元獨(dú)立地進(jìn)行設(shè)計(jì)，并通過(guò)數(shù)據(jù)總線(xiàn)和控制總線(xiàn)并行地連接起來(lái)，構(gòu)成一個(gè)整體。
這樣，上述各單元獲得了各自設(shè)計(jì)上的獨(dú)立性，設(shè)計(jì)上的制約也明顯減少；因此，更多的設(shè)計(jì)人員可以分擔(dān)各自的設(shè)計(jì)任務(wù)，并且同時(shí)進(jìn)行設(shè)計(jì)，整個(gè)系統(tǒng)不需要很大的規(guī)模，縮短了設(shè)計(jì)需要的時(shí)間。
而且，由于上述各單元的處理依賴(lài)關(guān)系取決于A(yíng)GU3的程序，所以能夠?qū)崿F(xiàn)柔性的設(shè)計(jì)。實(shí)際的設(shè)計(jì)中，各個(gè)P幀和B幀的“宏塊”的處理需要在15，625個(gè)時(shí)鐘周期以后才結(jié)束。
可是，運(yùn)動(dòng)矢量搜索處理，雖然用于數(shù)據(jù)輸入輸出的存儲(chǔ)器1的存取時(shí)間很短，可是需要很長(zhǎng)的處理時(shí)間，整個(gè)運(yùn)動(dòng)矢量搜索處理需要13,000個(gè)時(shí)鐘周期。
其他的處理，由各個(gè)硬件模塊完成，剩下的所有處理能夠在15,625個(gè)時(shí)鐘周期內(nèi)處理完畢。運(yùn)動(dòng)矢量搜索處理和它以外的處理，實(shí)行對(duì)每個(gè)“宏塊”的流水線(xiàn)并行處理。
也就是說(shuō)，在一幀中所包含的100個(gè)“宏塊”，實(shí)行連續(xù)依次的壓縮處理。運(yùn)動(dòng)矢量搜索處理在15,625個(gè)時(shí)鐘周期內(nèi)完成以后，開(kāi)始下一個(gè)15,625個(gè)時(shí)鐘周期的運(yùn)動(dòng)搜索處理。這是要領(lǐng)的所在。
這樣，在大多數(shù)的周期中，運(yùn)動(dòng)搜索處理和其他的處理同時(shí)進(jìn)行。通過(guò)AGU3的程序進(jìn)行的這種流水線(xiàn)處理，也使以本發(fā)明的結(jié)構(gòu)，進(jìn)行柔性設(shè)計(jì)變?yōu)榭赡堋?br> 而且，因?yàn)樯鲜龈鞴δ軌K的所有輸入輸出數(shù)據(jù)都保存在存儲(chǔ)器1之中，使得從外部進(jìn)行的實(shí)驗(yàn)變得很簡(jiǎn)單。實(shí)際上，主計(jì)算機(jī)8經(jīng)過(guò)主接口7，發(fā)出本應(yīng)是AGU3發(fā)出的命令；而且，從主計(jì)算機(jī)8設(shè)定存儲(chǔ)器1的數(shù)據(jù)，經(jīng)過(guò)上述各功能塊的處理執(zhí)行以后，存儲(chǔ)器1的數(shù)據(jù)又可以被寫(xiě)入主計(jì)算機(jī)8并進(jìn)行檢測(cè)。
特別是，上述各功能塊的內(nèi)部的數(shù)據(jù)也能夠?qū)懭胫饔?jì)算機(jī)進(jìn)行檢測(cè)，配備這樣的程序，使得檢測(cè)很容易進(jìn)行。
這樣，上述各功能塊的各種執(zhí)行沒(méi)有依賴(lài)的關(guān)系，只給需要操作的功能塊提供時(shí)鐘，而不必執(zhí)行它以外的功能塊，這樣，能夠降低系統(tǒng)整個(gè)的功耗。
接下來(lái)，通過(guò)圖12，對(duì)解碼器進(jìn)行單獨(dú)說(shuō)明。
在可變長(zhǎng)解碼器17中被解碼的頻域的差分信號(hào)，經(jīng)過(guò)編碼器中的B“宏塊”重新構(gòu)筑部分15b以及塊畸形消除濾波器16，還原成實(shí)際的B幀的數(shù)據(jù)。和編碼器一樣，獨(dú)立執(zhí)行的上述各功能塊從存儲(chǔ)器1讀取數(shù)據(jù)，數(shù)據(jù)處理完后再存入存儲(chǔ)器1，這些控制由AGU3執(zhí)行。最終還原的圖像，通過(guò)LCD接口，在外部相連的LCD上放映出來(lái)。
圖14是集中控制裝置(AGU3)的結(jié)構(gòu)框圖。執(zhí)行/測(cè)試模式的切換開(kāi)關(guān)30通過(guò)從主計(jì)算機(jī)8經(jīng)由主接口7發(fā)出的命令(圖示的PC命令)，來(lái)決定是進(jìn)入操作還是測(cè)試模式；通過(guò)命令編譯執(zhí)行控制裝置31，來(lái)執(zhí)行ROM9的命令程序的內(nèi)容；利用存儲(chǔ)器的重復(fù)寫(xiě)入/讀取命令的控制部分32以及設(shè)置重復(fù)命令開(kāi)始地址的地址寄存器33的操作，進(jìn)行與存儲(chǔ)器1之間的由地址控制的數(shù)據(jù)交換。
這樣，來(lái)生成存儲(chǔ)器1的地址、存儲(chǔ)器存取控制信號(hào)以及控制上述各功能塊的運(yùn)算開(kāi)始及結(jié)束。并且，重復(fù)命令開(kāi)始地址寄存器33，以及寄存器文件34主要由通用寄存器構(gòu)成，包括8個(gè)相聯(lián)的4比特寄存器2組，8個(gè)相聯(lián)的2比特寄存器1組，8個(gè)相聯(lián)的1比特寄存器1組(沒(méi)有詳細(xì)圖示)。
圖15是外部存儲(chǔ)器1的存儲(chǔ)器領(lǐng)域構(gòu)成圖，與保存著上述硬件模塊的執(zhí)行控制命令程序的ROM9的命令相對(duì)應(yīng)，圖像被分割成很多塊，因而，使用與處理上述塊的坐標(biāo)單位信息的“塊方式”相適合的地址結(jié)構(gòu)。
如圖15所示，按存儲(chǔ)器地址來(lái)指定行地址以及列地址，進(jìn)而通過(guò)AGU3的存儲(chǔ)器讀取/寫(xiě)入的重復(fù)操作命令控制部分31來(lái)進(jìn)行控制。
由上述存儲(chǔ)器領(lǐng)域構(gòu)成外部存儲(chǔ)器1；使用上述能夠按“宏塊”的坐標(biāo)單位、塊單位、像素單位進(jìn)行存儲(chǔ)器存取的地址生成的命令，被存放在ROM9中；ROM9如圖11、圖12、圖13所示也可以被配置在A(yíng)GU3的外面。
另外，實(shí)際的硬件配置與這些結(jié)構(gòu)框圖的配置多少有些不同的情況也是常見(jiàn)的。
存儲(chǔ)器1的存儲(chǔ)器空間，如圖15所示，其地址由18比特構(gòu)成。包括幀的高位1比特、表示“宏塊”位置的X坐標(biāo)和Y坐標(biāo)各4比特，共9比特的行地址；以及低位1比特、表示塊的位置的X坐標(biāo)的2比特和Y坐標(biāo)的1比特、表示像素位置的X坐標(biāo)的2比特和Y坐標(biāo)的3比特，共9比特的列地址?？墒?，塊位置除了用來(lái)表示灰度信號(hào)Y的信息的(0，0)(0，1)(1，0)(1，1)4個(gè)區(qū)域以外，還要為表示色差信號(hào)Cr、Cb的信息的塊來(lái)分配(0，2)(1，2)區(qū)域。
因?yàn)閿?shù)據(jù)是16比特，X坐標(biāo)方向上相鄰的2個(gè)像素(每一個(gè)8比特的數(shù)據(jù))被分配一個(gè)地址。所以，雖然像素位置的X坐標(biāo)也有8個(gè)像素等分，只能分配到2比特。
這樣，命令的長(zhǎng)度定為27比特。包含以下命令。
(1)存儲(chǔ)器存取開(kāi)始地址命令
(2)存儲(chǔ)器讀取循環(huán)命令(3)存儲(chǔ)器寫(xiě)入循環(huán)命令(4)AGU寄存器控制命令(5)子程序命令以及條件轉(zhuǎn)移命令(6)主計(jì)算機(jī)發(fā)出的特殊命令其中(1)的存儲(chǔ)器存取開(kāi)始地址命令，是為了存儲(chǔ)器讀取或?qū)懭?，在循環(huán)命令執(zhí)行之前發(fā)出，為循環(huán)命令的執(zhí)行設(shè)定開(kāi)始地址。
這樣，就能夠完成絕對(duì)地址的指定、當(dāng)前處理的“宏塊”的相對(duì)位置的指定、目前處理“宏塊”到運(yùn)動(dòng)矢量之間對(duì)應(yīng)的偏移量的指定。
上述(2)(3)的存儲(chǔ)器讀取/寫(xiě)入循環(huán)命令，是對(duì)矩形領(lǐng)域的很多的“宏塊”進(jìn)行循環(huán)操作、對(duì)矩形領(lǐng)域的很多的塊進(jìn)行循環(huán)操作、對(duì)矩形領(lǐng)域的很多的像素級(jí)別進(jìn)行循環(huán)操作。因?yàn)榫邆溥@樣的循環(huán)機(jī)構(gòu)。一般需要使用循環(huán)程序段進(jìn)行復(fù)雜表述的循環(huán)控制，在這里，利用(2)(3)的存儲(chǔ)器讀取/寫(xiě)入循環(huán)命令簡(jiǎn)單的實(shí)現(xiàn)了。
例如，對(duì)某幀數(shù)據(jù)的讀取，或者對(duì)某“宏塊”數(shù)據(jù)的讀取，或者對(duì)某矩形領(lǐng)域的像素的讀取，一條存儲(chǔ)器讀取/寫(xiě)入循環(huán)命令就能夠?qū)崿F(xiàn)。
(4)AGU寄存器命令，是使用AGU3時(shí)，為了完成對(duì)模塊(功能塊)的執(zhí)行順序的控制，而利用的輔助寄存器的數(shù)據(jù)的設(shè)立和清除等命令。
(5)中的子程序命令以及條件轉(zhuǎn)移命令，是用來(lái)對(duì)AGU3的程序進(jìn)行控制的命令。
(6)中的主計(jì)算機(jī)發(fā)出的特殊命令，是僅僅在取替基于ROM9中的程序而進(jìn)行操作的“執(zhí)行模式”，而采用了從主計(jì)算機(jī)接受命令的“測(cè)試模式”這種模式下才有效的命令。這其中，包含只按指定的“步進(jìn)”數(shù)進(jìn)行操作的“步進(jìn)”等命令。測(cè)試模式中，從(1)到(3)的所有的命令都能從主計(jì)算機(jī)發(fā)出。
因而，在測(cè)試模式下，從主計(jì)算機(jī)8向存儲(chǔ)器1寫(xiě)入圖像數(shù)據(jù)，然后變換為操作模式并使某硬件模塊工作，然后再回到測(cè)試模式，能夠把存儲(chǔ)器中寫(xiě)入的演算結(jié)果讀出到主計(jì)算機(jī)8中。
這樣，能夠在上述各功能塊的級(jí)別上進(jìn)行功能驗(yàn)證。
主計(jì)算機(jī)8發(fā)出的特殊命令之中，也有讀出上述各功能塊的內(nèi)部狀態(tài)的命令，利用同樣的方法，也能夠?qū)ι鲜龈鞴δ軌K在回路級(jí)別上進(jìn)行功能驗(yàn)證。
這里，對(duì)“運(yùn)動(dòng)矢量搜索模塊(功能塊)”進(jìn)行說(shuō)明。
運(yùn)動(dòng)矢量搜索，是針對(duì)在當(dāng)前處理幀中的每一個(gè)“宏塊”，搜索前一幀中的該“宏塊”的位置附近，與其最相似的在16×16的像素領(lǐng)域的搜索。
實(shí)際的搜索是這樣的，從現(xiàn)在的位置開(kāi)始在上下、左右方向上移動(dòng)。最大可移動(dòng)16像素，即在48×48的像素范圍內(nèi)，利用插值處理，按照像素一半的分辨能力進(jìn)行搜索。
在以上范圍中的任意的16×16的像素區(qū)域與當(dāng)前幀的“宏塊”的像素之間，針對(duì)每一個(gè)像素計(jì)算出二者之間的差分的絕對(duì)值的總和SAD(Sum ofAbsolute Difference)(以下稱(chēng)為SAD)對(duì)按照所有的在搜索范圍內(nèi)的“宏塊”來(lái)執(zhí)行這個(gè)操作，從中找出最小的，把這個(gè)區(qū)域作為產(chǎn)生當(dāng)前“宏塊”的其在前一幀中的“宏塊”的位置。
接著，求出當(dāng)前處理“宏塊”的位置和其在前一幀中的位置的運(yùn)動(dòng)矢量。這個(gè)操作，是在48×48的搜索領(lǐng)域內(nèi)設(shè)定16×16的窗口領(lǐng)域，在整個(gè)的搜索領(lǐng)域進(jìn)行求解上述SAD的窗口處理。這可以被認(rèn)為是圖像處理中特有的窗口處理的一種形式。
本來(lái)，在適合這種窗口處理的硬件結(jié)構(gòu)的構(gòu)成方法方面，我們有窗口MSPA結(jié)構(gòu)，本發(fā)明之中以窗口MSPA為特點(diǎn)，不降低高速并行處理效率，從存儲(chǔ)器之中串行輸入搜索數(shù)據(jù)和參照數(shù)據(jù)，進(jìn)行窗口并行處理。
這樣，解決了以前的動(dòng)態(tài)圖像壓縮處理的硬件結(jié)構(gòu)中處理的高速化的問(wèn)題。
接下來(lái)，圖16是運(yùn)動(dòng)矢量搜索電路圖，包括存儲(chǔ)圖像數(shù)據(jù)的外部存儲(chǔ)器1；包括用來(lái)把從存儲(chǔ)器按每一個(gè)“宏塊”依次輸入的“宏塊”數(shù)據(jù)的用于數(shù)據(jù)形式轉(zhuǎn)換的緩沖器39。它們與數(shù)據(jù)總線(xiàn)2相連，進(jìn)行相互的數(shù)據(jù)交換。
這樣，借助內(nèi)部總線(xiàn)40從這個(gè)緩沖器39輸出的3端的數(shù)據(jù)，被提供給由32個(gè)并行相聯(lián)的陣列形狀的處理器單元101、102直至132所構(gòu)成的窗口MSPA。
這些處理器單元101至132通過(guò)加法器44對(duì)其數(shù)據(jù)進(jìn)行超高速并行運(yùn)算，由這個(gè)加法器構(gòu)成運(yùn)動(dòng)矢量搜索電路，由此搜索表達(dá)當(dāng)前幀的“宏塊”是從前一幀的什么位置移動(dòng)來(lái)的運(yùn)動(dòng)矢量。
例如，向處理器單元101至132中輸入搜索數(shù)據(jù)和參照數(shù)據(jù)的兩個(gè)像素值，進(jìn)行減法和絕對(duì)值操作，再進(jìn)行直到某一搜索地點(diǎn)為止的SAD的加法操作。這32個(gè)處理器單元101至132構(gòu)成的窗口MSPA，并行執(zhí)行1089次窗口處理。
一次的窗口處理需要16×16＝256次的SAD處理，這樣，全部的搜索，需要1089×256＝278,784次的SAD操作。
實(shí)際上，這32個(gè)處理器單元(也稱(chēng)為處理器陣列)可以在一個(gè)時(shí)鐘周期內(nèi)完成SAD操作，最快需要278,784/32個(gè)＝8712個(gè)時(shí)鐘周期。
但因?yàn)?2個(gè)處理器陣列不可能一起開(kāi)始工作，所以，本系統(tǒng)在13,000個(gè)時(shí)鐘周期內(nèi)可以完成運(yùn)動(dòng)矢量的搜索。
這樣，就確立了不降低高速并行處理效率，從存儲(chǔ)器1串行輸入探索數(shù)據(jù)和參照數(shù)據(jù)但并進(jìn)行“窗口并行處理”，的手段。
這種“窗口并行處理”，在圖像處理中被廣泛利用，基本的原理就是，在相對(duì)寬廣的圖像領(lǐng)域內(nèi)，通過(guò)相對(duì)狹小的widnow21上下左右無(wú)間隙的移動(dòng)，完成圖像的識(shí)別以及信息的加工處理；當(dāng)著重看一些特定的像素時(shí)，因?yàn)樵诖翱?1中包含很多的位置，如果對(duì)每一個(gè)位置的像素都進(jìn)行一次特定的計(jì)算處理的話(huà)，那么每改變一個(gè)位置時(shí)都要重新執(zhí)行特定的計(jì)算處理，這將會(huì)有很多無(wú)用的重復(fù)。
這里，必須省去上述的重復(fù)，所以，取代那些在上下左右移動(dòng)窗口21時(shí)所做的重復(fù)計(jì)算，而是用很多的處理器實(shí)行并行處理。這樣，確立了利用窗口MSPA，而不必進(jìn)行重復(fù)計(jì)算，并能提高并行效率的陣列處理方法。
在這里提到的“并行效率”，指的是，在n個(gè)處理器同時(shí)并行處理的時(shí)候，把只有一個(gè)處理時(shí)的處理時(shí)間縮短到1/n，在這種100％的理想狀態(tài)，所能達(dá)到的效率。與上述不用進(jìn)行重復(fù)計(jì)算就能夠提高“并行效率”的陣列處理方法相關(guān)的內(nèi)容，因?yàn)橐呀?jīng)公開(kāi)發(fā)表過(guò)，這里省略說(shuō)明。
接下來(lái)，圖16中所表示的是運(yùn)動(dòng)矢量搜索線(xiàn)路圖，即把上述“窗口并行處理”中運(yùn)用的“已有的窗口MSPA”應(yīng)用到“運(yùn)動(dòng)矢量搜索”中，是沒(méi)有先例的新的發(fā)明。
這個(gè)“運(yùn)動(dòng)矢量搜索”，以16×16像素的“宏塊”為單位，只對(duì)灰度信號(hào)Y進(jìn)行處理；從而搜索某個(gè)“宏塊”是從前面幀的什么位置移動(dòng)來(lái)的。
接下來(lái)，圖17是離散余弦變換器以及量化器的功能框圖，來(lái)說(shuō)明它們的順操作和逆操作。
存儲(chǔ)器1中保存的8×8＝64像素的塊數(shù)據(jù)，借助數(shù)據(jù)總線(xiàn)2依次輸入到逆量化器53以及離散余弦變換/逆變換器56中。
逆量化器53以及量化器58，是用一個(gè)時(shí)鐘周期就能夠處理一個(gè)數(shù)據(jù)的被流水線(xiàn)化的模塊，并且這樣的設(shè)計(jì)不可以保證其高速操作。
數(shù)據(jù)形式變換器55，是為離散余弦變換器/逆變換器56而進(jìn)行從并行數(shù)據(jù)形式到串行數(shù)據(jù)形式變換的變換器。離散余弦變換或者逆變換，是把普通的二維處理分解為2次的一維處理，置換操作緩沖器57在此時(shí)進(jìn)行必要的8×8數(shù)據(jù)的置換操作。
數(shù)據(jù)形式變換器55的詳細(xì)部分在圖18中表示，并對(duì)操作進(jìn)行了說(shuō)明。
首先，從輸入線(xiàn)61把由16比特構(gòu)成的比特并行數(shù)據(jù)按每一個(gè)時(shí)鐘依次輸入，存入寄存器62以及寄存器63合計(jì)16個(gè)寄存器中。
寄存器62或者寄存器63中當(dāng)8個(gè)數(shù)據(jù)到齊的時(shí)候，從這個(gè)寄存器以比特串行方式通過(guò)連接線(xiàn)64、65把它們輸出，通過(guò)輸入切換開(kāi)關(guān)來(lái)選擇是寄存器62還是寄存器63的輸出數(shù)據(jù)。
下面，著重就數(shù)據(jù)變換器中所具備的2組寄存器62、63做進(jìn)一步的說(shuō)明。
通過(guò)使用2組寄存器62、63，在數(shù)據(jù)形式變換器中接收輸入數(shù)據(jù)，伴隨著移位操作，從下數(shù)據(jù)塊向上數(shù)據(jù)塊來(lái)搬送數(shù)據(jù)群，這兩個(gè)處理同時(shí)并列進(jìn)行，進(jìn)而達(dá)到數(shù)據(jù)處理的高速化。
在圖18中，把操作時(shí)序按8個(gè)時(shí)鐘為間隔，對(duì)操作進(jìn)行說(shuō)明。
1)最初的8個(gè)時(shí)鐘中，16比特的數(shù)據(jù)從數(shù)據(jù)0到數(shù)據(jù)7依次輸入到寄存器62。
2)接下來(lái)的8個(gè)時(shí)鐘中，不再向寄存器62輸入數(shù)據(jù)，只把聚集在寄存器的最下位的8個(gè)數(shù)據(jù)從寄存器輸出，同時(shí)寄存器的各個(gè)數(shù)據(jù)向下位移動(dòng)。這樣，被輸入的并行數(shù)據(jù)以8個(gè)為一組，從下位到上位依次輸出。
這期間，如果禁止向寄存器62存儲(chǔ)數(shù)據(jù)，那么需要在緊接著的再下8個(gè)時(shí)鐘周期替換著向寄存器63存儲(chǔ)。
這樣，對(duì)于數(shù)據(jù)形式變換器55，利用輸入切換開(kāi)關(guān)66來(lái)交替使用2組寄存器62、63，進(jìn)而連續(xù)接收從存儲(chǔ)器1而來(lái)的輸入數(shù)據(jù)。這種借助流水線(xiàn)并行的數(shù)據(jù)處理具有高速化，也就是，由不降低數(shù)據(jù)傳送速率，把依次輸入的數(shù)據(jù)變成并行的2組數(shù)據(jù)的數(shù)據(jù)形式的變換方法來(lái)構(gòu)成系統(tǒng)。
這里所說(shuō)的數(shù)據(jù)傳送速率，是指每秒能傳送多少比特的數(shù)據(jù)，指的是其速度。串行的數(shù)據(jù)，只能通過(guò)1根線(xiàn)傳送1比特?cái)?shù)據(jù)，例如，需要100萬(wàn)比特/秒的數(shù)據(jù)傳送速率的時(shí)候，10萬(wàn)比特/秒的數(shù)據(jù)傳送速率的線(xiàn)最好是10根并行使用。
如圖19中的離散余弦變換/逆變換器的功能框圖所示，8個(gè)比特的數(shù)據(jù)串輸入到輸入處理部分，通過(guò)8個(gè)16比特累加器，最終輸入到輸出處理部分73。
圖20對(duì)離散余弦變換/逆變換器得輸入處理部分的功能框圖進(jìn)行詳細(xì)圖示。8個(gè)比特的輸入數(shù)據(jù)串，輸入到位串行加法器81以及比特串行減法器82中，它們的輸出被輸入到8個(gè)比特分散計(jì)算用的ROM83中，進(jìn)而，8個(gè)輸入數(shù)據(jù)直接輸入到另外的8個(gè)比特分散計(jì)算用的ROM84中。
這二組的ROM的輸出數(shù)據(jù)通過(guò)由切換信號(hào)85控制切換的開(kāi)關(guān)86來(lái)進(jìn)行選擇，作為這個(gè)切換信號(hào)85，在實(shí)行離散余弦變換時(shí)輸入為“0”，而實(shí)行逆離散余弦變換時(shí)輸入為“1”。
圖21對(duì)離散余弦變換/逆變換器的輸出處理部分的功能框圖進(jìn)行詳細(xì)圖示。8個(gè)比特并行輸入數(shù)據(jù)，輸入到位并行加法器91以及比特并行減法器92中。
這二組的ROM的輸出數(shù)據(jù)通過(guò)由切換信號(hào)93控制并由切換的開(kāi)關(guān)94來(lái)進(jìn)行選擇，作為這個(gè)切換信號(hào)93，如果實(shí)行離散余弦變換時(shí)輸入為“0”，如果實(shí)行逆離散余弦變換時(shí)輸入為“1”。
切換開(kāi)關(guān)94的輸出數(shù)據(jù)輸入到8個(gè)寄存器95中，并由寄存器通過(guò)輸出線(xiàn)96串行地輸出。
使用可視電話(huà)上的視頻攝像頭拍攝送信者的臉部，把以此為主體的視頻信號(hào)通過(guò)電話(huà)線(xiàn)路向受信者傳送。這里對(duì)其傳送之前的一系列的處理進(jìn)行說(shuō)明。
因?yàn)槭请p方向的通信，送信和受信的往返的信息傳送要在同一線(xiàn)路上同時(shí)進(jìn)行，這里，省略與雙方向通信有關(guān)的說(shuō)明。
一般的方法是以現(xiàn)有的ITU國(guó)際標(biāo)準(zhǔn)H.263具有的低比特率動(dòng)態(tài)圖像傳送的信號(hào)處理線(xiàn)路為基礎(chǔ)的。
作為在此基礎(chǔ)上的追加機(jī)能包括，提取出視頻信號(hào)中面孔的部分來(lái)構(gòu)成臉部的窗口21，進(jìn)而通過(guò)臉部的窗口21的移動(dòng)來(lái)追隨面部的運(yùn)動(dòng)；以及，抑制臉部以外的背景部分的運(yùn)動(dòng)的時(shí)間濾波器；以及，傳送延遲很小的新的傳送率控制結(jié)構(gòu)；通過(guò)這些結(jié)構(gòu)和機(jī)能，來(lái)對(duì)動(dòng)態(tài)圖像信息進(jìn)行適當(dāng)?shù)膲嚎s信號(hào)處理。
作為在上述基礎(chǔ)上的追加的機(jī)能，它首先對(duì)從視頻攝像機(jī)等輸入的視頻圖像信號(hào)進(jìn)行識(shí)別處理，由在該動(dòng)態(tài)圖像的畫(huà)面中任意移動(dòng)的特定的區(qū)域構(gòu)成臉部的窗口21，計(jì)算出該窗口21中的像素伴隨臉部運(yùn)動(dòng)而產(chǎn)生的運(yùn)動(dòng)矢量的平均值，該追加功能塊具備這種演算程序。
受信人在其肉眼的視野內(nèi)能夠捕捉到送信人的時(shí)候，受信人的視線(xiàn)就能夠追隨送信人的臉部的運(yùn)動(dòng)，于是送信人的臉部經(jīng)常處在受信人的視野的中心位置。這種現(xiàn)象是因?yàn)槿说娜庋壑幸曇暗闹行母浇哂凶詈玫膱D像辨別能力，對(duì)感興趣的對(duì)象為了看清楚就把它放在視野的中心位置。把有價(jià)值的有效的信息不遺漏地最大限度地收集，這是本能的、無(wú)意識(shí)的也是必要的意識(shí)行動(dòng)。
這樣，就要把送信人的臉部放在受信人的眼睛的分辨率更好的臉部窗口21的中心(不是畫(huà)面的中心)位置。這應(yīng)該是具備了第1種智能。為了把這種智能應(yīng)用于電子機(jī)械裝置中，需要通過(guò)演算程序來(lái)計(jì)算出包含這個(gè)人的臉部的窗口21的運(yùn)動(dòng)矢量的平均值；并根據(jù)上述平均值來(lái)控制臉部窗口21的移動(dòng)，從機(jī)能上具備這樣的窗口位置控制程序。
作為第2種智能，即在臉部的窗口21以外的背景圖像22激烈移動(dòng)因而動(dòng)態(tài)圖像信息很多的時(shí)候，把背景圖像22的運(yùn)動(dòng)量進(jìn)行適當(dāng)?shù)南鳒p，具備由削減畫(huà)質(zhì)的演算程序構(gòu)成的編碼算法。這種演算算法，就是把連續(xù)的前后幀的同一位置的各像素的信息彼此相加，然后除以2，得到的值來(lái)替換后面幀的圖像信息。這樣，來(lái)抑制被編碼的動(dòng)態(tài)圖像的信息量。
在抑制信息量的過(guò)程中，利用面部強(qiáng)調(diào)型H.263+編碼算法，它具有輸出傳送率的控制機(jī)構(gòu)，該機(jī)構(gòu)使在傳送容量受到限制的傳送線(xiàn)路上的圖像達(dá)到傳送延遲最小化；進(jìn)而，通過(guò)其決定操作順序以及改變數(shù)據(jù)的授受時(shí)序的程序的機(jī)能，使肉眼能看到清晰的自然的動(dòng)作。這樣做的結(jié)果，并沒(méi)有明顯使背景圖像22的畫(huà)質(zhì)惡化，而僅僅是有一點(diǎn)模糊。
把送話(huà)者的臉部的輪廓放在臉部的窗口21的大致的中心；把臉部的窗口21以外的背景圖像22的信息量進(jìn)行粗化；而對(duì)臉部的窗口21以?xún)?nèi)的信息量維持密化，這樣視頻信號(hào)所具有的圖像信息量的總和很小，通過(guò)這些，使信息量符合電話(huà)線(xiàn)路的制約條件。
說(shuō)話(huà)的同時(shí)臉部也要有一些搖動(dòng)，為了追隨這些運(yùn)動(dòng)，用臉部的窗口位置控制程序來(lái)控制臉部的窗口21的移動(dòng)，通過(guò)這個(gè)程序能夠持續(xù)把窗口21更新到最新位置。這樣，一般來(lái)說(shuō)，使用家庭用的黑白電視機(jī)，就可以得到和視聽(tīng)人的面孔非常相近的并且伴有自然動(dòng)作的圖像，而且和背景相關(guān)的無(wú)用信息能夠被壓縮到極限，進(jìn)而能夠保持很高的傳送效率。
因?yàn)槊鞔_了可視電話(huà)能夠傳輸?shù)男畔⒘?，所以有必要把?duì)視聽(tīng)者沒(méi)有影響的動(dòng)態(tài)圖像信息進(jìn)行徹底的壓縮。這樣，對(duì)于在局部不能忽略的信息，如果在整體上影響甚小，一定要消除。以保證其他的重要的信息能夠被增加，其結(jié)果是整體的性能得以提高。
在B幀信息中對(duì)差分所有像素信息的歸零化、以及對(duì)“內(nèi)宏塊”以外的灰度信號(hào)的數(shù)據(jù)通過(guò)削減進(jìn)行量化，這些也能大幅度削減動(dòng)態(tài)圖像的信息量。
這些操作雖然從自身來(lái)講要造成圖像的惡化，可是與此相比能夠增加的信息量遠(yuǎn)不止被削減的信息量本身，結(jié)果還是提高了畫(huà)質(zhì)。
接下來(lái)，是使嘴唇的運(yùn)動(dòng)和聲音相一致的“唇聲同步”的方法。通過(guò)新開(kāi)發(fā)的“速率控制方式”，把1幀即動(dòng)態(tài)畫(huà)面的每幀圖像(電視中每秒25幅或30幅)所對(duì)應(yīng)的編碼量進(jìn)行基準(zhǔn)化，所定的編碼量比如為112字節(jié)，單位時(shí)間對(duì)應(yīng)的能夠傳送的信息量即傳送比特率，如為27kbps，通過(guò)它們能夠預(yù)測(cè)的通信延遲時(shí)間被包含在“速率控制機(jī)構(gòu)”中；例如通常如果能夠預(yù)測(cè)有10幀的通信延遲時(shí)間發(fā)生，在利用從過(guò)去到現(xiàn)在的變化量來(lái)預(yù)測(cè)未來(lái)時(shí)，對(duì)上述延遲進(jìn)行信息加工。
雖然或多或少要有一些預(yù)測(cè)外的發(fā)生，可是，因?yàn)槭窃诓粫?huì)產(chǎn)生實(shí)際應(yīng)用上的問(wèn)題的程度以?xún)?nèi)對(duì)未來(lái)進(jìn)行預(yù)測(cè)，所以，作為本發(fā)明的一個(gè)實(shí)施形態(tài)的加工后的信息中，相對(duì)于沒(méi)有延遲的接受聲音來(lái)說(shuō)，在通常情況下，可以成功地把圖像的延遲抑制在3幀以?xún)?nèi)。
雖然可視電話(huà)包含了這些智能，可是實(shí)現(xiàn)這些智能的硬件如不能進(jìn)行高速操作的時(shí)候，還是要損失1秒內(nèi)的一些幀數(shù)。這種損失了幀數(shù)的電視圖像，會(huì)造成對(duì)話(huà)的自然氛圍不復(fù)存在。
新開(kāi)發(fā)的窗口MSPA、以及構(gòu)成硬件系統(tǒng)的各要素的各個(gè)裝置，包括AGU集中控制裝置、運(yùn)動(dòng)矢量搜索線(xiàn)路、離散余弦變換和量化變換線(xiàn)路以及逆量化線(xiàn)路和離散余弦逆變換等，實(shí)現(xiàn)了用小規(guī)模低成本的電路完成預(yù)想硬件的目的。其線(xiàn)路如前所示。
總之，為了使可視電話(huà)圖像清晰，自然。
(a)只強(qiáng)調(diào)臉部等想看到的部分，按目標(biāo)的重要性來(lái)區(qū)分，并進(jìn)行相應(yīng)的加權(quán)平均。
(b)為了使整個(gè)的畫(huà)面清晰，削減無(wú)用的信息量。
(c)為了使畫(huà)面和聲音同步，營(yíng)造出自然的氛圍，對(duì)圖像處理產(chǎn)生的延遲時(shí)間進(jìn)行最小化處理。
(d)為了產(chǎn)生以自然的速度運(yùn)動(dòng)的畫(huà)面，采用成本雖然低但高速動(dòng)作的硬件構(gòu)成。
由此構(gòu)成圖像信息傳送系統(tǒng)。
上述可視電話(huà)只不過(guò)是本發(fā)明的一種實(shí)施形態(tài)，這個(gè)效率良好的動(dòng)態(tài)圖像信息的編碼壓縮系統(tǒng)的使用范圍是無(wú)限的。
對(duì)于使用者不感興趣的部分使畫(huà)質(zhì)劣化；相反興趣集中的部分維持原來(lái)的畫(huà)質(zhì)；對(duì)于源源不斷流過(guò)的無(wú)用部分，壓縮到畫(huà)質(zhì)所需要的最小限的信息量。遵循圖像傳送的原本的目的，不破壞圖像的氛圍，實(shí)行自然的運(yùn)動(dòng)，這些可看做本發(fā)明包含的必要條件。
權(quán)利要求
1.一種動(dòng)態(tài)圖像信息的高性能編碼壓縮系統(tǒng)，其特征是輸入當(dāng)前幀圖像、前參照幀圖像和后參照幀圖像，并執(zhí)行運(yùn)動(dòng)預(yù)測(cè)、運(yùn)動(dòng)補(bǔ)償以及決定預(yù)測(cè)方式的運(yùn)動(dòng)預(yù)測(cè)機(jī)能部分；以及，從該運(yùn)動(dòng)預(yù)測(cè)機(jī)能部分輸出的預(yù)測(cè)圖像與當(dāng)上述前幀圖像的差分信息，把它輸入并把差分信息的所有像素值進(jìn)行強(qiáng)制的歸零的全像素值歸零化機(jī)能部分；以及，從該全像素值歸零化機(jī)能部分輸出的歸零化的所有像素，把它們輸入，并按照前面運(yùn)動(dòng)預(yù)測(cè)機(jī)能部分所決定的預(yù)測(cè)方式，對(duì)動(dòng)態(tài)圖像的下一個(gè)運(yùn)動(dòng)進(jìn)行預(yù)測(cè)，同時(shí)對(duì)上述歸零化的全圖像信息進(jìn)行編碼的編碼生成部分；由該編碼器對(duì)動(dòng)態(tài)圖像信息進(jìn)行編碼壓縮后發(fā)送出去，經(jīng)過(guò)傳送線(xiàn)路接受從編碼器發(fā)來(lái)的信號(hào)并進(jìn)行解碼的解碼部分；以及，從解碼部分輸出的解碼信號(hào)，被輸入并進(jìn)行逆量化的逆量化部分；以及，從該逆量化部分輸出逆量化的信號(hào)，把它輸入并進(jìn)行離散余弦逆變換，進(jìn)而還原出上述的差分圖像的離散余弦逆變換部分；以及，把該還原的差分圖像與通過(guò)預(yù)測(cè)方式預(yù)測(cè)得到的預(yù)測(cè)圖像一起混合進(jìn)而輸出還原圖像的加法器，由以上這些部分構(gòu)成解碼器。具備以上解碼器，并以B幀處理為特點(diǎn)的動(dòng)態(tài)圖像信息的高性能編碼壓縮系統(tǒng)。
2.按照權(quán)利要求1所述的動(dòng)態(tài)圖像信息的高性能編碼壓縮系統(tǒng)，其特征是對(duì)于不使用上述預(yù)測(cè)圖像而僅僅對(duì)當(dāng)前“宏塊”圖像直接編碼，既“內(nèi)部宏塊”的情況，對(duì)灰度信號(hào)和色差信號(hào)通過(guò)四舍五入進(jìn)行量化，對(duì)這種“內(nèi)部宏塊”以外的情況，對(duì)灰度信號(hào)取整并進(jìn)行量化，而色差信號(hào)還是通過(guò)四舍五入進(jìn)行量化，對(duì)灰度信號(hào)和色差信號(hào)采用同樣的量化級(jí)別，從而減低色差信號(hào)的噪聲。
3.按照權(quán)利要求1所述的動(dòng)態(tài)圖像信息的高性能編碼壓縮系統(tǒng)，其特征是被編碼的動(dòng)態(tài)圖像信息的比特量與通信緩沖器殘留的比特量相比較的比較手段；以及，為了使上述殘留的比特量不枯竭，借助通過(guò)這種比較手段得到的比較結(jié)果，來(lái)控制幀的目標(biāo)比特量的控制手段；以及，利用由上述控制手段得到的控制結(jié)果，對(duì)由攝像機(jī)輸入的圖像，從它經(jīng)過(guò)編碼器、傳送線(xiàn)路以及上述解碼器，直至最后輸出解碼的圖像，對(duì)這期間發(fā)生的延遲時(shí)間以及幀丟失進(jìn)行控制，使它們?yōu)樽钚?，在幀?jí)別傳送率控制中，計(jì)算每幀的目標(biāo)比特量的計(jì)算手段。
4.按照權(quán)利要求3所述的動(dòng)態(tài)圖像信息的高性能編碼壓縮系統(tǒng)，其特征是使用前面幀的各個(gè)“宏塊”的量化級(jí)別的加權(quán)平均的平均值，來(lái)計(jì)算出幀的最初的“宏塊”中適用的量化級(jí)別，這是第一步計(jì)算方法；以及，使用上述目標(biāo)比特量、當(dāng)前“宏塊”的實(shí)際的編碼量以及上述最初的“宏塊”中應(yīng)用的量化的級(jí)別，來(lái)計(jì)算出第2步以后的“宏塊”所適用的量化級(jí)別的微調(diào)整量，這是第二步計(jì)算方法。
5.按照權(quán)利要求4所述的動(dòng)態(tài)圖像信息的高性能編碼壓縮系統(tǒng)，其特征是使保存圖像幀信息的存儲(chǔ)器與彼此獨(dú)立操作的硬件模塊以數(shù)據(jù)總線(xiàn)為媒體結(jié)合起來(lái)，進(jìn)而，控制上述的存儲(chǔ)器與硬件模塊之間的數(shù)據(jù)流動(dòng)以及操作時(shí)序的集中控制裝置，通過(guò)控制總線(xiàn)把各個(gè)硬件模塊結(jié)合起來(lái)，以這樣的系統(tǒng)結(jié)構(gòu)組成編碼器和解碼器。
6.按照權(quán)利要求4或5所述的動(dòng)態(tài)圖像信息的高性能編碼壓縮系統(tǒng)，其特征是圖像被分割成很多的塊，用能處理這個(gè)塊的坐標(biāo)單位的信息并適合于塊處理方式的地址結(jié)構(gòu)，構(gòu)成存儲(chǔ)器尋址范圍，這樣的外部存儲(chǔ)器；以及，可以用命令按上述“宏塊”的坐標(biāo)單位、塊的單位、像素單位進(jìn)行存儲(chǔ)器存取的地址生成，這些用于地址生成的命令以及對(duì)上述各個(gè)硬件模塊執(zhí)行控制的命令程序被存儲(chǔ)在只讀存儲(chǔ)器ROM中；集中控制裝置具備以上結(jié)構(gòu)。
7.按照權(quán)利要求1-5中任一項(xiàng)所述的動(dòng)態(tài)圖像信息的高性能編碼壓縮系統(tǒng)，其特征是采用上述外部存儲(chǔ)器；以及，從上述存儲(chǔ)器把“宏塊”數(shù)據(jù)按每個(gè)宏塊為單位轉(zhuǎn)換成串行輸入的數(shù)據(jù)形式變換的緩存器；以及，由上述緩存器輸出的3端的數(shù)據(jù)被提供給以32個(gè)并行陣列形狀連接的處理器單元，由此構(gòu)成窗口處理存儲(chǔ)器共享處理器陣列結(jié)構(gòu)；以及，對(duì)處理器單元的數(shù)據(jù)進(jìn)行超高速運(yùn)算的運(yùn)算方法；以及，搜索用來(lái)表示當(dāng)前“宏塊”是從前一幀的什么位置移動(dòng)過(guò)來(lái)的運(yùn)動(dòng)矢量搜索電路。
8.按照權(quán)利要求6中任一項(xiàng)所述的動(dòng)態(tài)圖像信息的高性能編碼壓縮系統(tǒng)，其特征是采用上述外部存儲(chǔ)器；以及，從上述存儲(chǔ)器把“宏塊”數(shù)據(jù)按每個(gè)宏塊為單位轉(zhuǎn)換成串行輸入的數(shù)據(jù)形式變換的緩存器；以及，由上述緩存器輸出的3端的數(shù)據(jù)被提供給以32個(gè)并行陣列形狀連接的處理器單元，由此構(gòu)成窗口處理存儲(chǔ)器共享處理器陣列結(jié)構(gòu)；以及，對(duì)處理器單元的數(shù)據(jù)進(jìn)行超高速運(yùn)算的運(yùn)算方法；以及，搜索用來(lái)表示當(dāng)前“宏塊”是從前一幀的什么位置移動(dòng)過(guò)來(lái)的運(yùn)動(dòng)矢量搜索電路。
9.按照權(quán)利要求1-5項(xiàng)中任一項(xiàng)所述的動(dòng)態(tài)圖像信息的高性能編碼壓縮系統(tǒng)，其特征是采用上述的存儲(chǔ)器；以及，把存儲(chǔ)器中橫8豎8共64個(gè)像素組成的“宏塊”數(shù)據(jù)以每個(gè)宏塊為單位逐個(gè)串行輸入，不降低數(shù)據(jù)傳送率，把串行的數(shù)據(jù)變換成并行數(shù)據(jù)的兩組數(shù)據(jù)形式變換方法；以及用通過(guò)這種數(shù)據(jù)變換方法，采用對(duì)上述并行數(shù)據(jù)進(jìn)行二元離散余弦變換的處理器陣列；以及，把從處理器陣列輸出的二元離散余弦變換數(shù)據(jù)輸入，對(duì)其進(jìn)行量化，然后依次輸出數(shù)據(jù)并存入外部存儲(chǔ)器，這樣的量化模塊。
10.按照權(quán)利要求6項(xiàng)中任一項(xiàng)所述的動(dòng)態(tài)圖像信息的高性能編碼壓縮系統(tǒng)，其特征是采用上述的存儲(chǔ)器；以及，把存儲(chǔ)器中橫8豎8共64個(gè)像素組成的“宏塊”數(shù)據(jù)以每個(gè)宏塊為單位逐個(gè)串行輸入，不降低數(shù)據(jù)傳送率，把串行的數(shù)據(jù)變換成并行數(shù)據(jù)的兩組數(shù)據(jù)形式變換方法；以及用通過(guò)這種數(shù)據(jù)變換方法，采用對(duì)上述并行數(shù)據(jù)進(jìn)行二元離散余弦變換的處理器陣列；以及，把從處理器陣列輸出的二元離散余弦變換數(shù)據(jù)輸入，對(duì)其進(jìn)行量化，然后依次輸出數(shù)據(jù)并存入外部存儲(chǔ)器，這樣的量化模塊。
11.按照權(quán)利要求7項(xiàng)中任一項(xiàng)所述的動(dòng)態(tài)圖像信息的高性能編碼壓縮系統(tǒng)，其特征是采用上述的存儲(chǔ)器；以及，把存儲(chǔ)器中橫8豎8共64個(gè)像素組成的“宏塊”數(shù)據(jù)以每個(gè)宏塊為單位逐個(gè)串行輸入，不降低數(shù)據(jù)傳送率，把串行的數(shù)據(jù)變換成并行數(shù)據(jù)的兩組數(shù)據(jù)形式變換方法；以及用通過(guò)這種數(shù)據(jù)變換方法，采用對(duì)上述并行數(shù)據(jù)進(jìn)行二元離散余弦變換的處理器陣列；以及，把從處理器陣列輸出的二元離散余弦變換數(shù)據(jù)輸入，對(duì)其進(jìn)行量化，然后依次輸出數(shù)據(jù)并存入外部存儲(chǔ)器，這樣的量化模塊。
12.按照權(quán)利要求8項(xiàng)中任一項(xiàng)所述的動(dòng)態(tài)圖像信息的高性能編碼壓縮系統(tǒng)，其特征是采用上述的存儲(chǔ)器；以及，把存儲(chǔ)器中橫8豎8共64個(gè)像素組成的“宏塊”數(shù)據(jù)以每個(gè)宏塊為單位逐個(gè)串行輸入，不降低數(shù)據(jù)傳送率，把串行的數(shù)據(jù)變換成并行數(shù)據(jù)的兩組數(shù)據(jù)形式變換方法；以及用通過(guò)這種數(shù)據(jù)變換方法，采用對(duì)上述并行數(shù)據(jù)進(jìn)行二元離散余弦變換的處理器陣列；以及，把從處理器陣列輸出的二元離散余弦變換數(shù)據(jù)輸入，對(duì)其進(jìn)行量化，然后依次輸出數(shù)據(jù)并存入外部存儲(chǔ)器，這樣的量化模塊。
全文摘要
本發(fā)明提供了一種動(dòng)態(tài)圖像信息的高性能編碼壓縮系統(tǒng)，其課題是在受到信息傳送量制約的圖像傳送線(xiàn)路中，對(duì)動(dòng)態(tài)圖像的信息進(jìn)行壓縮削減，以此縮短傳送的延遲時(shí)間和削減構(gòu)成系統(tǒng)的硬件。解決手段是把圖像中比較重要的部分，如人說(shuō)話(huà)時(shí)嘴唇動(dòng)作的臉部；以及不太重要的部分，如臉部以外的背景，把二者相區(qū)別，并根據(jù)加權(quán)平均對(duì)它們的信息進(jìn)行處理，以此提高信息傳送的效率。通過(guò)把B幀的差分信息強(qiáng)制地變?yōu)槿阒档膱D像的這種方法，使傳送方能夠以最少的信息傳送圖像，而接受方又能夠還原圖像。從而省略編碼器的離散余弦變換部分和量化部分，并且保證和以前的方式兼容。本發(fā)明可用于各種多媒體通信中的動(dòng)態(tài)圖像壓縮。
文檔編號(hào)H03M7/36GK1691782SQ20051007702
公開(kāi)日2005年11月2日 申請(qǐng)日期2001年11月26日 優(yōu)先權(quán)日2000年11月28日
發(fā)明者國(guó)枝博昭, 一色剛, 李冬菊, 伊藤和人, 大塚友彥, 崔歐·阿迪恩, 查瓦雷特·宏沙衛(wèi)克 申請(qǐng)人:國(guó)枝博昭