專利名稱:圖像傳送方法、圖象處理方法和圖象處理裝置的制作方法
本申請是申請?zhí)枮?9800063.9,申請日期為2000年4月13日的發(fā)明的分案申請。
本發(fā)明涉及圖像傳送方法、圖象處理方法、圖象處理裝置和數據存儲介質,特別是傳送與由多個幀構成的圖像對應的編碼后的數字圖像數據的方法、對數字圖像數據進行編碼處理的方法和裝置、對編碼后的數字圖像數據進行譯碼處理的方法和裝置以及記錄用于利用計算機進行數字圖像數據的編碼處理和譯碼處理的程序的數據存儲介質。
為了有效地存儲或傳送數字圖像信息即由數字信號構成的圖像數據,必須將數字圖像信息進行壓縮編碼,現在,作為將數字圖像信息進行壓縮編碼的方法,除了以依據JPEG(Joint Photographic CodingExperts Group)及MPEG(Moving Picture Experts Group)的圖象處理技術為代表的離散余弦變換(DCTDiscrete Cosine Transform)外,還有副帶、子波、分形等波形編碼方法。
另外,作為去除相鄰的幀等顯示畫面間的冗余的圖像信息的方法,有使用冗余進行畫面間預測即使用當前的像素的像素值與前畫面的像素的像素值的差分表示當前的像素的像素值并將該差分信號進行編碼的方法。
下面,作為先有的圖象處理方法,簡單地說明進行伴有冗余的DCT處理的MPEG方式的圖像編碼方法和圖像譯碼方法。
在該圖像編碼方法中,首先,將輸入的圖像信號分割為與構成1畫面(1幀)的多個塊(宏塊)對應的多個圖像信號,對上述各宏塊進行與各宏塊對應的圖像信號的編碼處理。這里,1個宏塊就是在上述1畫面中由16×16像素構成的圖像顯示區(qū)域。輸入的圖像信號與任意的目標圖像對應時,就將該圖像信號分割使之與構成對應于1幀中的該目標圖像的顯示區(qū)域(目標區(qū)域)的多個塊(宏塊)分別對應。
并且,將與各宏塊對應的圖像信號進而分割為和與由8×8像素構成的圖像顯示區(qū)域相當的子塊對應,對與各子塊對應的圖像信號進行DCT處理,生成與各子塊對應的DCT系數。然后,將與各子塊對應的DCT系數進行量化處理,生成與各子塊對應的量化系數。這樣通過DCT處理和量化處理而將與子塊對應的圖像信號進行編碼的方法,稱為幀內編碼方法。
另外,在接收側,對與上述各子塊對應的量化系數順序進行逆量化處理和逆DCT處理,再生與各子塊對應的圖像信號。與利用上述幀內編碼方法進行圖像信號的編碼處理的幀(所謂的I畫面)對應的編碼數據是可以獨立再生的,可以參照與其他的幀對應的圖像數據進行譯碼處理。
與此相反,還有稱為幀間編碼方法的圖像信號的編碼方法。在該編碼方法中,首先,利用以塊匹配為主的檢測畫面(幀)上的圖像的運動的方法,根據與在時間上與作為編碼的對象的被處理幀相鄰的編碼處理完的幀對應的圖像信號檢測與作為編碼的對象的對象宏塊間的像素值的誤差為最小的由16×16像素構成的區(qū)域,作為預測宏塊。
其次,從對象宏塊的圖像信號中減去預測宏塊的圖像信號,生成與上述對象宏塊對應的差分信號,分割該差分信號使之與由上述8×8像素構成的子塊對應。然后,對與該各子塊對應的差分信號進行DCT處理,生成DCT系數,進而對該DCT系數進行量化處理,生成量化系數。
這種幀間編碼方法的處理,在輸入的圖像信號與目標圖像對應時,也和上述一樣進行。
另外,在接收側,對上述各子塊的量化系數(量化處理后的DCT系數)順序進行逆量化處理和逆DCT處理,復原為與各宏塊對應的差分信號,然后,根據已進行了譯碼處理的譯碼處理完的幀的圖像信號,利用冗余生成作為譯碼處理的對象的與被處理幀的對象宏塊對應的圖像信號的預測信號,將該預測信號與上述復原的差分信號相加,再生對象宏塊的圖像信號。利用上述幀間編碼方法進行圖像信號的編碼處理的幀(所謂的P畫面及B畫面)的編碼數據不能獨立地再生,即不參照其他幀的圖像信號就不能再生。
其次,簡單地說明與由多個幀(畫面)構成的運動圖像對應的壓縮圖像數據(位流)的結構。
圖10(a)示意性地表示與1個運動圖像對應的圖像數據(運動圖像數據)。上述1個運動圖像由多個幀(畫面)構成,上述運動圖像數據D包括與上述各幀對應的幀數據P(1)~P(n)(n為自然數)。
另外,圖10(b)表示對構成上述運動圖像數據D的各幀數據P(1)~P(n)進行上述幀內編碼處理而得到的畫面內壓縮圖像數據Da的結構。
該畫面內壓縮圖像數據Da包括與各幀對應的幀編碼數據Pa(1)~Pa(n)和各幀由共用的數據構成的標題Ha。這里,各幀為進行幀內編碼處理的I畫面。在MPEG4中,上述標題Ha稱為VOL(Video ObjectLayer)。
另外,圖10(c)表示對構成上述運動圖像數據D的各幀數據P(1)~P(n)中的指定的數據進行上述幀內編碼處理而對其他數據進行幀間編碼處理而得到的畫面間壓縮圖像數據Db的結構。
上述幀間編碼處理有2種。其一,是參照其前面的幀進行作為編碼處理的對象的被處理幀的編碼處理的順方向預測編碼處理。另一個就是參照其前后的幀進行作為編碼處理的對象的被處理幀的編碼處理的雙向預測編碼處理。
上述畫面間壓縮圖像數據Db包括與各幀對應的幀編碼數據Pb(1)~Pb(n)和各幀由共用的數據構成的標題Hb。這里,只有上述運動圖像的最初的幀是進行幀內編碼處理的I畫面,而其他的幀作為上述幀間編碼處理是進行順方向預測編碼處理的P畫面或進行雙向預測編碼處理的B畫面。
然而,上述畫面內壓縮圖像數據Da是對構成運動圖像的所有的幀未參照其他幀進行幀內編碼處理而得到的,所以,編碼效率不太高,但是,適用于對各幀的隨機的再生(譯碼)處理。即,在上述畫面內壓縮圖像數據Da中,不論從哪個畫面(幀)開始都可以立即開始進行譯碼處理,從而進行圖像再生。特別是,壓縮圖像數據的編輯性(編輯壓縮圖像數據時的處理的容易性)利用與其他幀的數據無關的編碼處理得到的畫面內壓縮圖像數據要比通過與其他幀的數據有關的編碼處理而得到的畫面間壓縮圖像數據優(yōu)異。
另一方面,上述畫面間壓縮圖像數據Db是對構成運動圖像的幾乎所有的幀參照其他幀進行幀間編碼處理而得到的,所以,雖然編碼效率高,但其反面則是不適用于對各幀的隨機的再生(譯碼)處理。即,在上述畫面間壓縮圖像數據Db中,在從作為P畫面或B畫面的幀開始進行譯碼處理時,必須追溯到開始譯碼處理的幀以前的可以獨立地進行譯碼的幀來進行譯碼處理。這是因為,開始該譯碼處理的幀是參照其他的幀進行了編碼處理的。
例如,在畫面內壓縮圖像數據Da中,和與1小時相當的運動圖像的最后方的30秒鐘對應的幀編碼數據Pae(1)~Pae(m)(m為自然數)的再生,可以從其開頭的幀編碼數據Pae(1)立即進行(參見圖10(b))。
與此相反,在上述畫面間壓縮圖像數據Db中,和與1小時相當的運動圖像的最后方的30秒鐘對應的幀編碼數據Pbe(1)~Pbe(m)(m為自然數)的再生,就不能從其開頭的幀編碼數據Pbe(1)立即進行(參見圖10(c))。即,該數據Pbe(1)的再生在從以前的可以獨立地再生的數據(這里,是與構成運動圖像的最初的幀相當的幀編碼數據Pb(1))到幀編碼數據Pbe(1)之前的幀編碼數據的譯碼處理結束之前不能進行。這是因為,開頭的幀編碼數據Pbe(1)是參照其他的幀進行編碼的。
另外,對上述畫面內壓縮圖像數據Da可以跳過S(自然數)個幀進行快進再生處理(參見圖11(a))。這是因為,快進再生處理中作為譯碼的對象的幀編碼數據Pa(1)、Pas(1)~Pas(f)(f為自然數)與進行畫面內編碼處理的I畫面對應,都不必參照其他幀的數據就可以獨立地進行再生。對于與快進再生處理相反的快倒再生處理,對畫面內壓縮圖像數據Da也可以和上述快進再生處理一樣進行。
另一方面,對上述畫面間壓縮圖像數據Db實際上不能跳過S(自然數)個幀進行快進再生處理(參見圖11(b))。這是因為,快進再生處理中作為譯碼的對象的幀編碼數據Pbs(1)~Pbs(f)是與進行畫面間編碼處理的P畫面或B畫面對應的。即,上述幀編碼數據Pbs(1)、Pbs(2)、Pbs(3)、…、Pbs(f)的譯碼處理,如果不在經過該各數據以前的所有的幀編碼數據的譯碼處理所需要的等待時間tb1、tb2、tb3、…、tbf后,就不能進行。換言之,快進再生處理中作為譯碼的對象的幀編碼數據Pbs(1)~Pbs(f)的再生時刻和通常的再生處理的時刻是相同的。
結果,即使對上述畫面間壓縮圖像數據Db進行快進再生處理,對上述運動圖像的快進再生圖像也每隔一定時間順序顯示對應于幀編碼數據Pbs(1)~Pbs(f)的再生靜止圖像。
另外,對于和快進再生處理相反的快倒再生處理,則不能對畫面間壓縮圖像數據Db進行。這是因為,在畫面間壓縮圖像數據Db中,如果不是在對所有的幀編碼數據的譯碼處理結束之后,就不能對最后的幀的幀編碼數據進行再生。
在上述壓縮圖像數據Da、Db的標題Ha、Hb中,包含表示該壓縮圖像數據是否適用于獨立再生的識別標志(獨立再生適應性標志)。
因此,為了解決壓縮圖像數據中編碼效率與對快進再生處理的適應性之間的協調問題,采用了以下的對策。
如圖12所示,第1個對策就是在圖像數據的存儲介質M中,作為與1個運動圖像對應的壓縮圖像數據,存儲適用于快進再生處理的畫面內壓縮圖像數據Da和編碼效率高的即可以得到高畫質的再生圖像的畫面間壓縮圖像數據Db。在圖12中,D1~Dk分別是與具有標題H1~Hk的其他的運動圖像對應的壓縮圖像數據。這里,在上述畫面內壓縮圖像數據Da的標題Ha中,包含表示該數據Da對獨立再生的適應性大的獨立再生適應性標志。另外,在畫面間壓縮圖像數據Db的標題Hb中,包含表示該數據Db對獨立再生的適應性小的獨立再生適應性標志。
這時,在進行快進再生處理時,根據上述各壓縮圖像數據Da和Db的標題Ha、Hb的獨立再生適應性標志,從上述數據存儲介質M中作為與1個運動圖像對應的壓縮圖像數據讀出畫面內壓縮編碼數據Da。另一方面,在進行通常再生處理時,就從上述數據存儲介質M中讀出上述畫面間壓縮圖像數據Db。
另外,第2個對策就是在畫面間壓縮圖像數據Db中以比通常的間隔短的間隔插入多個與I畫面對應的幀編碼數據。通常,在壓縮圖像數據中,插入與I畫面對應的幀編碼數據,以使以0.5秒鐘再生的幀中2個幀與I畫面對應。在該畫面間壓縮圖像數據Db中,包含表示該數據Db對獨立再生的適應性大的獨立再生適應性標志。這時,快進再生處理通過根據幀編碼數據表示與I畫面對應以及賦予各幀的畫面類型標志(圖中未示出)只將與I畫面對應的幀編碼數據進行譯碼便可實現。
此外,第3個對策是,即使是與P畫面對應的幀編碼數據也有可以獨立再生的數據,所以,對這樣的幀編碼數據是賦予表示適用于獨立再生的獨立再生適應性標志。即,在與構成畫面間壓縮圖像數據Db的P畫面對應的幀編碼數據中,即使由畫面類型標志表示是與P畫面對應的數據,也和與I畫面對應的幀編碼數據一樣有不參照其他的幀的圖像數據進行編碼的數據。與這樣的特定的P畫面對應的幀編碼數據是可以獨立地再生的。因此,通過將表示適用于獨立再生的獨立再生適應性標志賦予與這樣的特定的P畫面對應的幀編碼數據,快進再生處理根據畫面類型標志和獨立再生適應性標志(圖中未示出)通過只將與I畫面和特定的P畫面對應的幀編碼數據進行譯碼便可實現。
圖11(c)表示將獨立再生適應性標志賦予與特定的P畫面對應的幀編碼數據的結構的畫面間壓縮圖像數據。
該畫面間壓縮圖像數據Dc是將包含上述獨立再生適應性標志的標題Hc1、Hc2、…、Hcf插入到與特定的P畫面(圖中,用P′表示)對應的幀編碼數據Pcs(1)~Pcs(f)之前的數據結構。Hc是上述畫面間壓縮圖像數據Dc的標題,Pc(1)~Pc(n)是與各幀對應的幀編碼數據。
下面,使用圖13說明上述各壓縮圖像數據Da、Db的標題的結構。在圖13中,為了使說明簡單,不將壓縮圖像數據D區(qū)別為畫面內壓縮編碼數據Da和畫面內壓縮編碼數據Db進行表示。
在上述壓縮編碼數據D中,如上所述,由其開頭部分的各幀包含共用的數據的標題H和接在該標題之后的幀編碼數據P構成。
并且,在上述標題H中,包含與1個運動圖像的壓縮圖像數據對應的同步信號Hsd、各幀共用的數據Hcd、上述獨立再生適應性標志Hf和用于將這些數據定位排列的定位排列數據Had。
這樣,與1個運動圖像對應的壓縮圖像數據就具有用于表示與構成該運動圖像的所有的幀對應的幀編碼數據是否可以獨立再生的信息(獨立再生適應性標志)。例如,與構成1個運動圖像的所有的幀對應的幀編碼數據可以獨立再生時,對上述壓縮圖像數據的獨立再生適應性標志對于壓縮圖像數據就是表示獨立再生的適應性大的值。另一方面,1個運動圖像中包含的可以獨立再生的幀編碼數據少時,則對上述壓縮編碼數據的獨立再生適應性標志對于壓縮圖像數據就是表示獨立再生的適應性小的值。
并且,該獨立再生適應性標志記載在位于壓縮圖像數據的開頭的包含共用數據的標題內。
下面,使用表1~表3說明上述壓縮圖像數據中包含共用數據的標題內的具體的數據排列。記載在表1~表3中的數據在上述標題內是按傳送順序連續(xù)地排列的。
在上述標題內的開頭,配置表示運動圖像的開始的同步信號902,該同步信號902利用唯一的32位的固定長代碼表示。另外,在該同步信號902之后,配置各幀共用的各種共用數據903~913。在這些共用數據903~913中,除了利用固定長代碼表示的數據903~909和911~913外,還包含利用可變長代碼表示的數據910。
此外,在這些共用數據903~913之后,順序配置獨立再生適應性標志914和定位排列數據915。
如上所述,該獨立再生適應性標志914表示壓縮圖像數據中與各幀對應的幀編碼數據是否可以隨機地獨立再生。其數值為“1”的獨立再生適應性標志表示構成上述運動圖像的幀的幀編碼數據全部可以獨立再生。另一方面,其數值為“0”的獨立再生適應性標志表示在與上述運動圖像對應的壓縮圖像數據中包含不能獨立再生的幀編碼數據多。另外,上述定位排列數據915是用于將從上述同步信號902到上述獨立再生適應性標志914的數據進行定位排列的數據。
并且,在上述定位排列數據915之后,配置關于將與實際的運動圖像的各幀對應的圖像數據編碼而得到的幀編碼數據的數據916和917。但是,對于這些數據916和917,實際上包含MPEG1、2、4等中的DCT系數及量化步長等具體的數據,這里,不表示這些具體的數據,只表示為1個數據組。
包含這種共用數據的標題必須配置在與1個運動圖像對應的壓縮圖像數據的開頭部分。但是,即使是包含不能獨立再生的幀編碼數據的畫面間壓縮圖像數據,也按一定周期反復排列可以獨立再生的幀編碼數據(例如,與I畫面對應的幀編碼數據),周期性地插入包含可以獨立再生標志的共用數據取代上述獨立再生適應性標志是有效的。該可以獨立再生標志表示對應的幀編碼數據不參照其他的幀的數據可以獨立地再生。
即,對于周期性地插入包含這種可以獨立再生標志的共用數據的畫面間壓縮圖像數據,將與I畫面對應的可以獨立再生的幀編碼數據有選擇地進行譯碼,便可進行快進再生處理。
(表1)
(表2)
(表3)
然而,在對壓縮圖像數據進行快進再生處理和快倒再生處理時,為了從壓縮圖像數據中隨機地選擇幀編碼數據進行譯碼處理,必須迅速判斷與1個運動圖像對應的壓縮圖像數據是否適用于快進再生處理(獨立再生的適應性)或壓縮圖像數據中的幀編碼數據是否可以獨立地進行再生(可否獨立再生)。
但是,存在不能根據賦予先有的壓縮圖像數據或幀編碼數據的標題來迅速地檢測這些數據的獨立再生的適應性及可否獨立再生的問題。
即,上述壓縮圖像數據的獨立再生的適應性等,如果抽出包含上述共用數據的標題中的獨立再生適應性標志等(表1~表3所示的數據914)進行分析,就可以進行判斷。
然而,如上所述,為了檢查上述標題中的獨立再生適應性標志914的數值是否為“1”,如果不將該標題中位于該標志914之前的共用數據903~913全部抽出解釋該共用數據并進行分析,對標題的數據分析處理達不到對上述獨立再生適應性標志914的分析處理。例如,如果不是在檢查共用數據903a的數值是否為“1”之后,就不知道是否存在共用數據903b和903c。
這樣,在賦予上述先有的壓縮圖像數據的標題中,在表示該壓縮圖像數據的獨立再生的適應性的獨立再生適應性標志之前,配置表示運動圖像開始的同步信號902及對幀編碼數據的共用數據903~913等大量的數據。另外,在這些共用數據中,有進行變動式的運動的數據,即有很多后面的數據處理隨其數據的值而不同的數據。
因此,在開始進行上述標題的數據的分析處理之后,直至進行上述獨立再生適應性標志的分析處理還需要相當長的時間。
本發(fā)明就是為了解決上述問題而提案的,目的旨在提供進行編碼處理和與其對應的譯碼處理的圖象處理方法,用于生成具有可以根據賦予與1個運動圖像對應的壓縮圖像數據或幀編碼數據的標題迅速地檢測這些數據的獨立再生的適應性及可否獨立再生的數據結構的壓縮圖像數據。
本發(fā)明的目的在于提供進行上述編碼處理和譯碼處理的圖象處理裝置和存儲用于利用計算機進行這些處理的圖象處理程序的數據存儲介質。
本發(fā)明(權利要求1)的圖像傳送方法是傳送將與由多個畫面構成的圖像對應的數字圖像數據進行壓縮編碼后得到的壓縮圖像數據的方法,其特征在于包括傳送構成上述壓縮圖像數據的包含上述各畫面共用的共用數據的標題的處理和順序傳送其后構成上述壓縮圖像數據的與上述各畫面對應的壓縮圖像數據的處理,在上述標題的傳送處理中,傳送包含在該標題中的表示上述壓縮圖像數據是否適用于選擇任意的壓縮圖像數據進行再生的隨機再生處理的識別標志,只使固定長代碼數據位于上述標題的開頭位置直到該識別標志之間。
按照這種結構的圖像傳送方法,使在該標題中包含表示該數據是否是適用于對任意的畫面的隨機的獨立再生的識別標志來傳送與1個運動圖像對應的壓縮圖像數據,這時,在上述標題中,由于只有固定長代碼數據位于上述識別標志之前,所以,在進行賦予與1個運動圖像對應的壓縮圖像數據的標題的分析處理時,就可以迅速進行上述識別標志的分析,從而可以在短時間內檢測對該壓縮圖像數據的隨機的獨立再生的適應性。
本發(fā)明(權利要求2)的特征在于在權利要求1所述的圖像傳送方法中,上述標題由表示上述壓縮圖像數據的開頭位置的同步信號、作為上述共用數據的固定長代碼數據和可變長代碼數據已上述識別標志構成,在上述標題的傳送處理中,是在上述同步信號之后及可變長代碼數據之前傳送上述識別標志。
按照這種結構的圖像傳送方法,由于是在同步信號之后及可變長代碼數據之前傳送上述識別標志,所以,在譯碼側,在同步信號的分析處理之后便可立即進行上述識別標志的分析處理。
本發(fā)明(權利要求3)的圖象處理方法是將與由多個畫面構成的圖像對應的數字圖像數據進行壓縮編碼而生成壓縮圖像數據的方法,其特征在于包括生成包含上述各畫面共用的共用數據的標題的標題生成處理和將與上述各畫面對應的畫面數據進行壓縮編碼而生成壓縮畫面數據的壓縮編碼處理,在上述標題生成處理中,生成表示是否適用于選擇與任意的畫面對應的壓縮畫面數據再生上述壓縮圖像數據的隨機再生處理的識別標志,只使固定長代碼數據位于上述標題的開頭位置到該識別標志之間。
按照這種結構的圖象處理方法,對與1個運動圖像對應的數字圖像數據進行壓縮編碼處理生成壓縮圖像數據,這時,將包含表示該壓縮圖像數據是否適用于對任意的畫面的隨機的獨立再生的識別標志的標題賦予上述壓縮圖像數據,只使固定長代碼數據位于其開頭位置到該識別標志之間來傳送該標題,所以,在進行賦予與1個運動圖像對應的壓縮圖像數據的標題的分析處理時,可以迅速地進行上述識別標志的分析,從而可以在短時間內檢測對該壓縮圖像數據的隨機的獨立再生的適應性。
本發(fā)明(權利要求4)的特征在于在權利要求3所述的圖象處理方法中,在上述標題生成處理之后,進行與各畫面對應的壓縮編碼處理,在上述標題生成處理中,生成表示上述壓縮圖像數據的開頭位置的同步信號,然后生成表示對上述壓縮圖像數據的隨機再生處理的適應性的識別標志,最后生成上述共用數據。
按照這種結構的圖象處理方法,在上述標題中,按同步信號、識別標志和共用數據的順序排列數據,所以,在譯碼側,在同步信號的分析處理之后便可立即進行上述識別標志的分析處理。
本發(fā)明(權利要求5)的特征在于在權利要求3所述的圖象處理方法中,在上述標題的生成處理之后,進行與各畫面對應的壓縮編碼處理,在上述標題的生成處理中,生成表示上述壓縮圖像數據的開頭位置的同步信號,然后作為上述共用數據生成固定長代碼數據,接著再生成表示對上述壓縮圖像數據的隨機再生處理的適應性的識別標志,最后作為上述共用數據生成可變長代碼數據。
按照這種結構的圖象處理方法,在上述標題中,按同步信號、固定長代碼的共用數據、識別標志和可變長代碼數據的順序排列數據,所以,根據需要可以跳過上述共用數據的分析處理而在同步信號的分析處理之后進行識別標志的分析處理。
本發(fā)明(權利要求6)的特征在于在權利要求3所述的圖象處理方法中,作為上述壓縮編碼處理,包括不參照與其他畫面對應的畫面數據而將與被處理畫面對應的畫面數據進行壓縮編碼生成第1壓縮畫面數據的第1壓縮編碼處理和參照與其他畫面對應的畫面數據將與被處理畫面對應的畫面數據進行壓縮編碼生成第2壓縮畫面數據的第2壓縮編碼處理,對于上述壓縮畫面數據,使只包含第1壓縮畫面數據的壓縮圖像數據的上述識別標志表示該壓縮圖像數據適用于上述隨機再生處理;對于上述壓縮畫面數據,使既包含第1壓縮畫面數據又包含第2壓縮畫面數據的壓縮圖像數據的上述識別標志表示該壓縮圖像數據不適用于上述隨機再生處理。
按照這種結構的圖象處理方法,在通過不參照其他的畫面的第1壓縮編碼處理而得到的壓縮圖像數據中,使上述識別標志表示該壓縮圖像數據適用于隨機再生處理,在通過參照其他畫面的第2壓縮編碼處理和上述第1壓縮編碼處理而得到的壓縮圖像數據中,使上述識別標志表示該壓縮圖像數據不適用于隨機再生處理,所以,在譯碼側,可以迅速地區(qū)別適用于隨機再生處理的壓縮圖像數據和編碼效率高但不適用于隨機再生處理的壓縮圖像數據。
本發(fā)明(權利要求7)的特征在于在權利要求3所述的圖象處理方法中,除了上述標題生成處理和壓縮編碼處理外,還包括生成包含上述各畫面共用的共用數據和與特定畫面對應的個別數據的輔助標題的輔助標題生成處理,在上述標題生成處理之后進行與各畫面對應的壓縮編碼處理時,為了將輔助標題附加到與上述特定的畫面對應的壓縮畫面數據之前而進行上述輔助標題生成處理,在上述輔助標題生成處理中,只使固定長代碼數據位于從上述標題的開頭位置到該可以獨立再生標志之間而生成表示與上述特定畫面對應的壓縮畫面數據是否可以不參照與其他畫面對應的畫面數據而獨立地再生的可以獨立再生標志。
按照這種結構的圖象處理方法,將輔助標題附加到與構成上述壓縮圖像數據的特定畫面對應的壓縮畫面數據上,在該輔助標題中,包含表示特定畫面的壓縮畫面數據是否可以獨立地再生的可以獨立再生標志,只使固定長代碼數據位于從其開頭位置到該可以獨立再生標志之間而傳送該輔助標題,所以,可以對各幀單獨判斷壓縮畫面數據是否可以獨立再生。
本發(fā)明(權利要求8)的圖象處理方法是對將與由多個畫面構成的圖像對應的數字圖像數據進行壓縮編碼而得到的壓縮圖像數據譯碼而生成與上述圖像對應的再生圖像數據的方法,其特征在于包括分析構成上述壓縮圖像數據的包含上述各畫面共用的共用數據的標題的標題分析處理和對將構成上述壓縮圖像數據的與上述各畫面對應的畫面數據進行壓縮編碼而得到的壓縮畫面數據譯碼而進行再生的再生處理,在上述標題分析處理中,在分析上述標題的開頭位置之后的固定長代碼數據之后,分析包含在上述標題中的表示上述壓縮圖像數據是否適用于選擇與任意的畫面對應的壓縮畫面數據進行再生的隨機再生處理的識別標志。
按照這種結構的圖象處理方法,在將與1個運動圖像對應的壓縮圖像數據譯碼時,在其標題的分析處理中,在分析標題開頭位置之后的固定長代碼數據之后,分析表示該壓縮圖像數據是否適用于對任意的畫面的隨機的獨立再生的識別標志,所以,在進行賦予與1個運動圖像對應的壓縮圖像數據的標題的分析處理時,可以迅速地進行上述識別標志的分析,從而可以在短時間內檢測對該壓縮圖像數據的隨機的獨立再生的適應性。
本發(fā)明(權利要求9)的特征在于在權利要求8所述的圖象處理方法中,在上述標題分析處理之后進行與各畫面對應的再生處理,在上述標題分析處理中,分析表示上述壓縮圖像數據的開頭位置的同步信號,然后,分析表示對上述壓縮圖像數據的隨機再生處理的適應性的識別標志,最后分析上述共用數據。
按照這種結構的圖象處理方法,在上述標題的分析處理中,按同步信號、識別標志和共用數據的順序進行數據分析,所以,在進行譯碼時,在同步信號的分析處理之后可以立即進行上述識別標志的分析處理。
本發(fā)明(權利要求10)的特征在于在權利要求8所述的圖象處理方法中,在上述標題分析處理之后進行與各畫面對應的再生處理,在上述標題分析處理中,分析表示上述壓縮圖像數據的開頭位置的同步信號,其次作為上述共用數據分析固定長代碼數據,然后分析表示對上述壓縮圖像數據的隨機再生處理的適應性的識別標志,最后作為上述共用數據分析可變長代碼數據。
按照這種結構的圖象處理方法,在上述標題的分析處理中,按同步信號、作為共用數據的固定長代碼數據、識別標志和作為共用數據的可變長代碼數據的順序進行數據分析,所以,根據需要在同步信號的分析處理之后可以跳過上述共用數據的分析處理而進行識別標志的分析處理。
本發(fā)明(權利要求11)的特征在于在權利要求8所述的圖象處理方法中,作為上述壓縮畫面數據,對只包含不參照與其他畫面對應的畫面數據而將與被處理畫面對應的畫面數據進行壓縮編碼而得到的第1壓縮畫面數據的第1壓縮圖像數據進行上述標題分析處理和再生處理,同時作為上述壓縮畫面數據除了上述第1壓縮畫面數據外也對包含參照與其他畫面對應的畫面數據將與被處理畫面對應的畫面數據進行壓縮編碼而得到的第2壓縮畫面數據的第2壓縮圖像數據進行上述標題分析處理和再生處理,根據上述識別標志只對上述第1壓縮圖像數據進行對上述壓縮圖像數據的隨機再生處理。
按照這種結構的圖象處理方法,對通過不參照其他畫面的第1壓縮編碼處理而得到的壓縮圖像數據進行再生處理,同時對通過參照其他畫面的第2壓縮編碼處理和上述第1壓縮編碼處理而得到的壓縮圖像數據進行再生處理,而隨機再生處理則只對上述第1壓縮圖像數據進行,所以,在譯碼側,可以良好地進行隨機再生處理。
本發(fā)明(權利要求12)的特征在于在權利要求8所述的圖象處理方法中,除了上述標題分析處理和再生處理外,還包括分析附加在與特定畫面對應的壓縮畫面數據上的包含各畫面共用的共用數據和與該特定畫面對應的個別數據的輔助標題的輔助標題分析處理,在上述標題的分析處理之后進行與各畫面對應的再生處理時,對特定畫面進行輔助標題的分析處理,在上述輔助標題的分析處理中,在分析上述輔助標題的開頭位置之后的固定長代碼數據之后,分析包含在上述輔助標題中的表示與上述特定畫面對應的壓縮畫面數據是否可以不參照其他畫面的圖像數據而獨立地再生的可以獨立再生標志。
按照這種結構的圖象處理方法,進行附加在與構成上述壓縮圖像數據的特定畫面對應的壓縮畫面數據上的輔助標題的分析處理,在該輔助標題的分析處理中,在分析輔助標題的開頭位置之后的固定長代碼數據之后,分析包含在該標題中的可以獨立再生標志,所以,對各幀可以單獨判斷壓縮畫面數據是否可以獨立再生。
本發(fā)明(權利要求13)的圖象處理裝置是將與由多個畫面構成的圖像對應的數字圖像數據進行壓縮編碼而生成壓縮圖像數據的裝置,其特征在于具有根據與被處理畫面對應的對象畫面數據生成其預測畫面數據的預測數據生成器、根據控制信號輸出作為上述對象畫面數據與預測畫面數據的差分值的差分畫面數據或該對象畫面數據的運算處理單元、將上述運算處理單元的輸出數據壓縮而生成壓縮數據的數據壓縮器、對該數據壓縮器的壓縮數據進行可變長編碼處理而輸出與各畫面對應的壓縮畫面數據的可變長編碼器和根據上述數字圖像數據生成包含各畫面共用的共用數據的標題同時根據表示是否適用于選擇與任意的畫面對應的壓縮畫面數據再生上述壓縮圖像數據的隨機再生處理的識別標志控制上述運算處理單元的控制單元,將上述可變長編碼器采用只使固定長代碼數據位于從其開頭位置到上述識別標志之間而輸出包含上述識別標志的標題的結構。
按照這種結構的圖象處理裝置,對與1個運動圖像對應的數字圖像數據進行壓縮編碼處理生成壓縮圖像數據,這時,將包含表示該壓縮圖像數據是否適用于對任意的畫面的隨機的獨立再生的識別標志的標題賦予上述壓縮圖像數據,只使固定長代碼數據位于從其開頭位置到該識別標志之間而傳送該標題,所以,在進行賦予與1個運動圖像對應的壓縮圖像數據的標題的分析處理時,可以迅速地進行上述識別標志的分析,從而可以在短時間內檢測對該壓縮圖像數據的隨機的獨立再生的適應性。
本發(fā)明(權利要求14)的特征在于在權利要求13所述的圖象處理裝置中,將上述可變長編碼器采用在輸出與上述各畫面對應的壓縮畫面數據之前輸出上述標題并在此時順序輸出表示上述壓縮圖像數據的開頭位置的同步信號、表示對上述壓縮圖像數據的隨機再生處理的適應性的識別標志和上述共用數據的結構。
按照這種結構的圖象處理裝置,在上述標題中,按同步信號、識別標志和共用數據的順序配置數據,所以,在譯碼側,在同步信號的分析處理之后可以立即進行上述識別標志的分析處理。
本發(fā)明(權利要求15)的特征在于在權利要求13所述的圖象處理裝置中,將上述可變長編碼器采用在輸出與上述各畫面對應的壓縮畫面數據之前輸出上述標題并在輸出上述標題時順序輸出表示上述壓縮圖像數據的開頭位置的同步信號、作為上述共用數據的固定長代碼數據、表示對上述壓縮圖像數據的隨機再生處理的適應性的識別標志和作為上述共用數據的可變長代碼數據的結構。
按照這種結構的圖象處理裝置,在上述標題中,按同步信號、固定長代碼數據、識別標志和可變長代碼數據的順序排列數據,所以,根據需要在同步信號的分析處理之后可以跳過上述共用數據的分析處理而進行識別標志的分析處理。
本發(fā)明(權利要求16)的特征在于在權利要求13所述的圖象處理裝置中,將上述控制單元采用以下結構,即在上述識別標志表示適用于選擇與任意的畫面對應的壓縮畫面數據再生上述壓縮圖像數據的隨機再生處理時,就控制上述運算處理單元,從上述運算處理單元輸出上述對象畫面數據,在上述數據壓縮器中與被處理畫面對應的畫面數據不參照與其他畫面對應的畫面數據進行壓縮,從上述可變長編碼器輸出第1壓縮畫面數據的第1壓縮編碼處理對構成上述圖像的所有的畫面進行;在上述識別標志不表示適用于選擇與任意的畫面對應的壓縮畫面數據再生上述壓縮圖像數據的隨機再生處理時,就控制上述運算處理單元從上述運算處理單元輸出上述差分畫面數據,在上述數據壓縮器中,與被處理畫面對應的畫面數據參照與其他畫面對應的畫面數據進行壓縮,從上述可變長編碼器輸出第2壓縮畫面數據的第2壓縮編碼處理對構成上述圖像的指定的畫面進行,并且上述第1壓縮編碼處理對構成上述圖像的上述指定的畫面以外的畫面進行。
按照這種結構的圖象處理裝置,在通過不參照其他畫面的第1壓縮編碼處理而得到的壓縮圖像數據中,使上述識別標志表示該壓縮圖像數據適用于隨機再生處理,在通過參照其他畫面的第2壓縮編碼處理和上述第1壓縮編碼處理而得到的壓縮圖像數據中,使上述識別標志表示該壓縮圖像數據不適用于隨機再生處理,所以,在譯碼側,可以迅速地區(qū)別適用于隨機再生處理的壓縮圖像數據和編碼效率高但不適用于隨機再生處理的壓縮圖像數據。
本發(fā)明(權利要求17)的圖象處理裝置是將對與由多個畫面構成的圖像對應的數字圖像數據進行壓縮編碼而得到的壓縮圖像數據譯碼從而生成與上述圖像對應的再生圖像數據的裝置,其特征在于具有分析包含上述壓縮圖像數據中的標題生成標題信息同時分析與包含上述壓縮圖像數據中的各畫面對應的數據并輸出壓縮畫面數據的分析器、將與上述各畫面對應的壓縮畫面數據擴展從而生成擴展畫面數據的數據擴展器、根據控制信號將上述擴展畫面數據與其預測畫面數據相加的畫面數據或上述擴展畫面數據作為再生畫面數據而輸出的運算處理單元、根據與該被處理畫面對應的對象擴展畫面數據生成與被處理畫面對應的預測畫面數據的預測數據生成器和根據作為表示上述壓縮圖像數據是否適用于選擇與任意的畫面對應的壓縮畫面數據進行再生的隨機再生處理的上述標題信息之一的識別標志控制上述運算處理單元的控制單元,將上述分析器采用在標題的分析處理中根據需要跳過從標題開頭位置到上述識別標志為止的由固定長代碼構成的共用數據進行上述識別標志的分析的結構。
按照這種結構的圖象處理裝置,在將與1個運動圖像對應的壓縮圖像數據進行譯碼時,在其標題的分析處理中,根據需要跳過從標題開頭位置開始的固定長代碼數據的分析,進行表示該壓縮圖像數據是否適用于對任意的畫面的隨機的獨立再生的識別標志的分析,所以,在進行賦予與1個運動圖像對應的壓縮圖像數據的標題的分析處理時,可以迅速地進行上述識別標志的分析,從而可以在短時間內檢測對該壓縮圖像數據的隨機的獨立再生的適應性。
本發(fā)明(權利要求18)的特征在于在權利要求17所述的圖象處理裝置中,將上述分析器采用按向上述分析器的數據輸入順序以及表示上述壓縮圖像數據的開頭位置的同步信號、表示對上述壓縮圖像數據的隨機再生處理的適應性的識別標志和上述共用數據的順序進行對上述標題的數據分析的結構。
按照這種結構的圖象處理裝置,在上述標題的分析處理中,按同步信號、識別標志和共用數據的順序進行數據分析,所以,在進行譯碼時,在同步信號的分析處理之后可以立即進行上述識別標志的分析處理。
本發(fā)明(權利要求19)的特征在于在權利要求17所述的圖象處理裝置中,將上述分析器采用按照向上述分析器的數據輸入順序以及表示上述壓縮圖像數據的開頭位置的同步信號、作為上述共用數據的固定長代碼數據、表示對上述壓縮圖像數據的隨機再生處理的適應性的識別標志和作為上述共用數據的可變長代碼數據的順序進行對上述標題的數據分析的結構。
按照這種結構的圖象處理裝置,在上述標題的分析處理中,按同步信號、作為共用數據的固定長代碼數據、識別標志和作為共用數據的可變長代碼數據的順序進行數據分析,所以,根據在同步信號的分析處理之后可以跳過作為上述共用數據的固定長代碼數據的分析處理而進行識別標志的分析處理。
本發(fā)明(權利要求20)的特征在于在權利要求17所述的圖象處理裝置中,將上述控制單元采用以下結構,即在上述識別標志表示上述壓縮圖像數據適用于選擇與任意的畫面對應的壓縮畫面數據進行再生的隨機再生處理時、就控制上述運算處理單元、將與被處理畫面對應的擴展畫面數據直接從上述運算處理單元作為被處理畫面的再生畫面數據輸出、不參照其他畫面的第1擴展譯碼處理,它對構成上述圖像的所有的畫面進行,而在上述識別標志不表示上述壓縮圖像數據適用于選擇與任意的畫面對應的壓縮畫面數據進行再生的隨機再生處理時、就控制上述運算處理單元、使與被處理畫面對應的擴展畫面數據和與其他畫面對應的再生畫面數據的相加值從上述運算處理單元作為被處理畫面的再生畫面數據而輸出、參照其他畫面的第2擴展譯碼處理,它對構成上述圖像的指定的畫面進行并且使上述第1擴展譯碼處理對構成上述圖像的指定的畫面以外的畫面進行。
按照這種結構的圖象處理裝置,對通過不參照其他畫面的第1壓縮編碼處理而得到的壓縮圖像數據進行再生處理,同時對通過參照其他畫面的第2壓縮編碼處理和上述第1壓縮編碼處理而得到的壓縮圖像數據進行再生處理,隨機再生處理通過只對上述第1壓縮圖像數據進行,在譯碼側,可以良好地進行隨機再生處理。
本發(fā)明(權利要求21)的數據存儲介質是存儲用于將與由多個畫面構成的圖像對應的數字圖像數據進行壓縮編碼的圖象處理程序的數據存儲介質,其特征在于作為上述圖象處理程序,存儲使計算機進行利用權利要求3的圖象處理方法的上述數字圖像數據的壓縮編碼處理的編碼程序。
按照這種結構的數據存儲介質,通過將上述編碼程序裝載到計算機上,對與1個運動圖像對應的數字圖像數據進行壓縮編碼處理而生成壓縮圖像數據,這時,將包含表示該壓縮圖像數據是否適用于對任意的畫面的隨機的獨立再生的識別標志的標題賦予上述壓縮圖像數據,利用計算機進行只使固定長代碼數據位于從其開頭位置到該識別標志之間而傳送該標題的編碼處理,所以,在進行賦予與1個運動圖像對應的壓縮圖像數據的標題的分析處理時,可以迅速地進行上述識別標志的分析,從而可以通過軟件實現可以在短時間內檢測對該壓縮圖像數據的隨機的獨立再生的適應性的圖像編碼處理。
本發(fā)明(權利要求22)的數據存儲介質是存儲用于將對與由多個畫面構成的圖像對應的數字圖像數據進行壓縮編碼而得到的壓縮圖像數據進行擴展譯碼的圖象處理程序的數據存儲介質,其特征在于作為上述圖象處理程序,存儲用于使計算機進行利用權利要求8所述的圖象處理方法的上述壓縮圖像數據的譯碼處理的譯碼程序。
按照這種結構的數據存儲介質,通過將上述譯碼程序裝載到計算機上,在將與1個運動圖像對應的壓縮圖像數據進行譯碼時,在其標題的分析處理中,在分析標題開頭位置之后的固定長代碼數據后,利用計算機進行分析表示該壓縮圖像數據是否適用于對任意的畫面的隨機的獨立再生的識別標志的譯碼處理,所以,在進行賦予與1個運動圖像對應的壓縮圖像數據的標題的分析處理時,可以迅速地進行上述識別標志的分析,從而可以利用軟件實現可以在短時間內檢測對該壓縮圖像數據的隨機的獨立再生的適應性的譯碼處理。
圖1是表示本發(fā)明實施例1的圖像信號數據結構的圖,圖1(a)表示序列標題,圖1(b)表示適用于任意的幀的獨立再生的數據結構的壓縮圖像數據,圖1(c)表示壓縮效率高的數據結構的壓縮圖像數據。
圖2是用于說明上述實施例1的圖象處理方法的圖像編碼處理的流程圖。
圖3是表示進行上述實施例1的圖像編碼處理的圖象處理裝置的結構的框圖。
圖4是表示數據結構與本發(fā)明實施例1的壓縮圖像數據不同的壓縮圖像數據的結構的圖。
圖5是表示本發(fā)明實施例1的變形例的壓縮圖像數據的結構的圖,圖5(a)表示適用于任意的幀的獨立再生的數據結構的壓縮圖像數據,圖5(b)表示壓縮效率高而且也適用于任意的幀的獨立再生的數據結構的壓縮圖像數據。
圖6是用于說明上述實施例1的變形例的圖象處理方法的圖像編碼處理的流程圖。
圖7是用于說明本發(fā)明實施例2的圖象處理方法的圖像譯碼處理的流程圖。
圖8是表示進行上述實施例2的圖像譯碼處理的圖象處理裝置的結構的框圖。
圖9是用于說明存儲利用計算機系統進行上述各實施例的編碼和譯碼處理的程序的數據存儲介質(圖9(a)、圖9(b))和上述計算機系統(圖9(c))的圖。
圖10是用于說明先有的圖像編碼信號(壓縮數據)的數據結構的圖,圖10(a)表示與1個運動圖像對應的壓縮圖像數據,圖10(b)表示適用于任意的幀的獨立再生的壓縮圖像數據,圖10(c)表示壓縮效率高的壓縮圖像數據。
圖11是用于說明先有的圖像編碼信號的數據結構中的問題的圖,圖11(a)表示適用于任意的幀的獨立再生的壓縮圖像數據,圖11(b)表示壓縮效率高的壓縮圖像數據,圖11(c)表示壓縮效率高而且也適用于任意的幀的獨立再生的壓縮圖像數據。
圖12是用于說明存儲與各種運動圖像對應的壓縮圖像數據的數據存儲介質的概念圖。
圖13是表示先有的壓縮圖像數據的序列標題的結構的圖。
下面,說明本發(fā)明的實施例。
(實施例1)本發(fā)明實施例1的圖像傳送方法是傳送將與由多個畫面(幀)構成的運動圖像對應的數字圖像數據(以下,也簡單地稱為運動圖像數據)進行壓縮編碼而得到的壓縮圖像數據的方法。
在本實施例中,上述數字圖像數據是利用包含亮度信號和色差信號的數字圖像信號表示的數據。另外,該數字圖像信號既是與先有的長方形的圖像空間(顯示畫面)的圖像對應的圖像信號,也可以是與包含物體(任意形狀的圖像)目標區(qū)域(VOPVideo Object Plane)對應的圖像信號。
圖1是用于說明實施例1的圖像傳送方法的圖,圖1(a)特別表示壓縮圖像數據的標題部分的數據結構。
上述壓縮圖像數據Dv包含與各幀對應的幀編碼數據Dp和附加在該幀編碼數據Dp之前的表示該數據Dp的屬性的標題Hv。
這里,上述幀編碼數據Dp是將與運動圖像的各幀對應的圖像數據進行壓縮編碼而得到的。另外,上述標題Hv包含表示上述壓縮圖像數據Dv的開始的同步信號Hsd、表示上述壓縮Dv是否適用于隨機再生處理的識別標志(RA標志)Hfd、各幀共用的共用數據Hcd和用于將上述同步信號Hsd、識別標志Hfd和共用數據Hcd進行定位排列的定位排列數據Had。上述隨機再生處理,是隨機地選擇與任意的幀對應的幀編碼數據進行再生的處理。
另外,與上述數字圖像數據對應的壓縮編碼處理,如在先有技術中說明的那樣有2類處理,即有幀內編碼處理和幀間編碼處理。
如圖1(b)所示,對與運動圖像數據D的所有的幀對應的幀數據P(1)~P(n)(參見圖10(a))進行幀內編碼處理而得到的第1壓縮圖像數據Dva是適用于上述隨機再生處理的數據。因此,在該第1壓縮圖像數據Dva的標題Hva中,上述識別標志Hfd0的值就是表示該壓縮圖像數據Dva適用于隨機再生處理的值“1”。
另外,如圖1(c)所示,例如對與運動圖像數據D的開頭幀對應的幀數據P(1)進行幀內編碼處理而對與其以后的幀對應的幀數據P(2)~P(n)進行幀間編碼處理而得到的第2壓縮圖像數據Dvb是不適用于上述隨機再生處理的數據。因此,在該第2壓縮圖像數據Dvb的標題Hvb中,上述識別標志Hfd的值就是表示該壓縮圖像數據Dvb不適用于隨機再生處理的值“0”。
并且,在本實施例1的圖像傳送方法中,在傳送構成上述壓縮圖像數據的包含對上述各畫面共用的共用數據的標題之后,順序傳送構成上述壓縮圖像數據的與上述各幀對應的壓縮畫面數據。在上述標題Hv的傳送處理中,先傳送表示上述壓縮圖像數據的開頭位置的同步信號Hsd,然后,傳送表示上述壓縮圖像數據是否適用于隨機再生處理的識別標志Hfd。最后,順序傳送上述共用數據Hcd和定位排列數據Had。
下面,說明本發(fā)明實施例1的圖象處理方法。
本圖象處理方法是對上述數字圖像數據D(參見圖10(a))進行壓縮編碼處理并作為上述壓縮圖像數據Dv而生成第1壓縮圖像數據Dva和第2壓縮圖像數據Dvb這二者中之一的編碼方法。
圖2是用于說明本實施例1的圖象處理方法的圖,示出了該圖象處理方法的編碼處理的流程圖。
首先,開始進行編碼處理時(S101),生成表示與由多個輸入圖像(幀)構成的數字運動圖像對應的壓縮圖像數據Dv的開始的序列同步信號Hsd(S102)。這里,作為一例在該同步信號Hsd中使用了32位的唯一的代碼。
其次,對上述數字運動圖像中包含的所有的幀生成表示是否應不參照作為編碼的對象的被處理幀以外的幀進行壓縮編碼的識別標志Hfd的代碼(S103)。在該S103,對數字運動圖像的所有的幀進行不參照其他幀的壓縮編碼處理時,該識別標志Hfd的值就取為“1”,否則就取為“0”。
然后,生成在再生側再生壓縮圖像數據Dv時所需要的各幀共用的共用數據和定位排列數據等的代碼(S104)并且,對構成上述運動圖像的各幀的數據(幀數據)順序進行壓縮編碼的處理。
即,在輸入與第1幀對應的幀數據P(1)時(S105),就根據上述識別標志Hfd的值進行輸入的幀數據的壓縮編碼處理,生成幀編碼數據Dp(S106)。
下面,簡單地說明該S106的具體的編碼處理。
在上述識別標志Hfd的值為“1”時,就對構成運動圖像數據D的所有的幀數據P(1)~P(n)進行幀內編碼處理。
具體而言,在本實施例中,各幀的圖像數據分割為與構成1畫面(1幀)多個宏塊(由16×16像素構成的圖像空間)對應。此外,與各宏塊對應的圖像數據分割為與和由8×8像素構成的圖像空間相當的子塊對應。并且,對與該各子塊對應的圖像數據進行DCT處理,變換為與各子塊對應的DCT系數。然后,對與各子塊對應的DCT系數進行量化處理,生成與各子塊對應的量化系數。最后,將量化系數變換為可變長代碼。
這樣的處理對構成1個幀的所有的宏塊進行,并輸出幀編碼數據。
另一方面,在識別標志Hfd為“0”時,就對構成運動圖像數據D的指定的幀數據P(1)進行幀內編碼處理而對指定的幀數據P(1)以外的幀數據P(2)~P(n)進行幀間編碼處理。
下面,簡單地說明幀間編碼處理。
首先,以塊匹配為主利用檢測在畫面(幀)上的圖像的運動的手法來檢測預測宏塊。即,根據與在時間上和作為編碼的對象的被處理幀相鄰的編碼處理過的幀對應的圖像數據,將與作為編碼的對象的對象宏塊間的像素值的誤差為最小的由16×16像素構成的區(qū)域作為上述預測宏塊而進行檢測。
其次,將上述預測宏塊的圖像數據從對象宏塊的圖像數據中減去,生成與上述對象宏塊對應的差分數據。此外,將該差分數據分為與上述由8×8像素構成的子塊對應。然后,對該各子塊的對應的差分數據進行DCT處理,生成DCT系數。進而對該DCT系數進行量化處理,生成量化系數。最后,將量化系數變換為可變長代碼。
這樣的處理對構成1個幀的所有的宏塊進行,并輸出幀編碼數據。
并且,在進行上述S106的編碼處理之后,判斷輸入的幀數據是否與構成數字運動圖像的最后的對應(S107)。判斷的結果,如果輸入幀數據不是與最后的幀對應,就再次進行上述S106的編碼處理,如果輸入幀數據是與最后的幀對應,就結束對上述運動圖像數據的編碼處理(S108)。
通過上述編碼處理,生成圖1(b)所示的適用于隨機再生處理的壓縮圖像數據Dva或圖1(c)所示的不適用于隨機再生處理的壓縮圖像數據Dvb。
這樣的壓縮圖像數據通過通信線路向譯碼裝置側傳送,或者通過存儲到記錄介質上而向譯碼裝置側供給。
通過這樣的處理而得到的壓縮圖像數據的結構特別是標題的數據排列的一例示于(表4)、(表5)和(表6)。在這些表中,未將圖1(b)所示的適用于隨機再生處理的壓縮圖像數據Dva和圖1(c)所示的不適用于隨機再生處理的壓縮圖像數據Dvb加以區(qū)別。
(表4)
(表5)
(表6)
列在表4~表6中的數據,是按在上述標題內傳送順序而排列的。
在上述標題內的開頭配置表示運動圖像的開始的同步信號802,該同步信號802利用唯一的32位的固定長代碼表示。另外,在該同步信號802之后,配置與1位的識別標志Hfd相當的數據814。在與該識別標志Hfd相當的數據814之后,配置各幀共用的各種共用數據803~813。在這些共用數據803~813中,除了利用固定長代碼表示的數據803~809和811~813外,還包含利用可變長代碼表示的數據810。另外,在上述共用數據之后的定位排列數據815用于使上述同步信號802、識別標志代碼814、和直至共用數據803~813的數據進行定位排列。
并且,在上述定位排列數據815之后,對與實際的運動圖像的各幀對應的圖像數據配置關于利用上述幀內編碼方法或幀間編碼方法進行編碼而得到的幀編碼數據的數據816和數據817。但是,對于這些數據816和817,實際上包含MPEG1、2、4等的DCT系數及量化步長等具體的數據,這里,不表示出這些具體的數據,而表示為1個數據表。
與上述識別標志Hfd相當的數據814置于序列同步信號(數據802)之后,但是,也可以置于表示該序列同步信號的數據的指定的N位之后,例如置于數據803之后。但是,最好置于伴有判斷條件的數據(固定長代碼數據)或可變長代碼數據之前。不論哪種情況,置于靠近共用數據的開頭的位置是有效果的。
下面,說明進行上述實施例1的圖象處理方法的壓縮編碼處理的圖象處理裝置(圖像編碼裝置)。
圖3是用于說明實施例1的圖像編碼裝置的框圖。
圖像編碼裝置100a是將與由多個幀構成的運動圖像對應的數字圖像數據(運動圖像數據)進行壓縮編碼而生成壓縮圖像數據的裝置。
圖像編碼裝置100a具有根據與被處理幀對應的對象幀數據生成其預測幀數據420的預測數據生成器406和輸出作為上述對象幀數據416與預測幀數據420的差分值的差分幀數據的加法器402。
另外,上述圖像編碼裝置100a還具有將上述加法器的輸出數據421進行壓縮而生成壓縮數據423的數據壓縮器403和對該數據壓縮器的壓縮數據423進行可變長編碼處理的可變長編碼器414。這里,上述數據壓縮器403由對上述加法器402的輸出421進行DCT處理的離散余弦變換器(DCT器)404和對該DCT器404的輸出422進行量化處理并作為上述壓縮數據而輸出的量化器405構成。
在該圖像編碼裝置100a中,輸入到第1輸入端子401上的運動圖像數據416通過第1開關434a供給上述預測數據生成器406,上述預測幀數據420通過第2開關434b供給上述加法器402。另外,從上述數據壓縮器403輸出的壓縮數據423通過第3開關434c供給上述預測數據生成器406,由上述預測數據生成器406生成的運動信息(運動矢量)418通過第4開關434d向上述可變長編碼器414輸出。
此外,上述圖像編碼裝置100a根據上述數字圖像數據生成包含各畫面共用的共用數據的標題信息436并向上述可變長編碼器414輸出,并具有根據外部的控制信號435利用控制信號437a~437d控制上述開關434a~434d開合的控制器433。這里,上述外部的控制信號435包含表示是否適用于選擇與任意的畫面對應的壓縮畫面數據將上述壓縮圖像數據進行再生的隨機再生處理的識別標志Hfd。
并且,上述可變長編碼器414的結構為對上述標題信息436、運動信息418和壓縮數據423進行可變長編碼處理并將作為與上述運動圖像對應的壓縮圖像數據Dv的位流431向輸出端子415輸出。另外,上述可變長編碼器414的結構還是在根據上述標題信息436輸出標題Hv時只使固定長代碼數據的代碼位于從標題的開頭位置到上述識別標志代碼之間而輸出與識別標志Hfd對應的代碼。
下面,簡單地說明上述預測數據生成器406的具體的結構。
上述預測數據生成器406具有通過第3開關434c接受上述數據壓縮器403的壓縮數據423并對該壓縮數據423進行擴展處理而輸出擴展數據426的數據擴展器407和將該擴展數據426與上述預測幀數據420相加并輸出再生數據427的第2加法器409。這里,上述數據擴展器407由對上述壓縮數據423進行逆量化處理的逆量化器407a和對該逆量化器407a的輸出425進行將頻率區(qū)域的數據變換為空間區(qū)域的數據的逆DCT處理并輸出上述擴展數據426的IDCT器407b構成。
另外,上述預測數據生成器406還具有將上述第2加法器409的輸出(再生數據)427作為與下一處理幀對應的參照圖像數據進行存儲的幀存儲器410。該幀存儲器410的結構為根據外部的讀出地址信號428輸出存儲數據。
此外,該預測數據生成器406還具有根據輸入的數字圖像數據416求與當前處理幀的對象塊對應的運動矢量MV并輸出的運動檢測器411、根據該運動檢測器411的運動矢量MV418發(fā)生對上述幀存儲器410的讀出地址信號428的地址生成器412和取得上述幀存儲器410中由該讀出地址信號428指定的區(qū)域的數據并作為上述預測幀數據420而輸出的預測信號取得器314。
下面,說明其動作。
數字圖像數據輸入到第1輸入端子401,上述識別標志Hfd的信息(標志信息)435輸入到第2輸入端子432上。于是,在控制器433中根據標志信息435生成控制信號437a~437d,控制上述各開關434a~434d開合。這里,上述控制信號437a~437d是相同的控制信號。
上述識別標志Hfd表示壓縮圖像數據Dv適用于隨機再生處理時(即上述識別標志Hfd的值為“1”時),開關434a~434d根據控制器433的控制信號437a~437d而打開。于是,對于輸入的數字圖像數據,就對與所有的幀對應的幀數據進行幀內編碼處理。
即,數字圖像數據直接通過加法器402輸入到數據壓縮器403中,在該數據壓縮器403中進行與MPEG對應的數據壓縮處理(DCT處理和量化處理)。該數據壓縮器403的壓縮數據(量化系數)423由可變長編碼器414變換為可變長代碼。這樣,就生成了與各幀對應的幀編碼數據Pa(1)~Pa(n)。另外,這時,在上述可變長編碼器414中,序列同步信號(同步信號Hsd)、識別標志Hfd1(值=1)、其他共用數據Hcd和定位排列數據Had等變換為代碼,形成標題Hva。這時,該標題Hva形成為按照該順序傳送上述同步信號Hsd、識別標志Hfd1、共用數據Hcd和定位排列數據Had的結構。
并且,附加了標題Hva的幀編碼數據Pa(1)~Pa(n)作為壓縮圖像數據Dva從上述可變長編碼器414輸出。
另一方面,上述識別標志Hfd表示壓縮圖像數據Dv不適用于隨機再生處理時(即,上述識別標志Hfd的值為“0”時),開關434a~434d就根據控制器433的控制信號437a~437d控制開合。這樣,例如對于輸入的數字圖像數據,對與最初的幀對應的幀數據P(1)進行幀內編碼處理,而對與其以后的幀對應的幀數據P(2)~P(n)進行幀間編碼處理。
由于幀內編碼處理與上述相同,所以,下面,說明幀間編碼處理。
上述開關434a~434d根據控制器433的控制信號437a~437d而閉合時,就對輸入的數字圖像數據進行幀間編碼處理。
即,在預測數據生成器406中,根據已進行了編碼處理的幀的數據生成與被處理幀對應的預測數據420。于是,由第1加法器402將上述預測幀數據420從與被處理幀對應的幀數據416中減去,生成差分幀數據421。該差分幀數據421在上述數據壓縮器403中由DCT器404變換為頻率區(qū)域的數據422,進而由量化器405變換為量化系數,作為壓縮數據423向可變長編碼器414輸出。
在可變長編碼器414中,該壓縮數據(量化系數)423變換為可變長代碼,生成幀編碼數據Pb(2)~Pb(n)。
另外,上述壓縮數據423通過第3開關434c輸入預測數據生成器406。于是,該壓縮數據(量化系數)在數據擴展器407中由逆量化器407a變換為頻率區(qū)域的數據425,進而該數據425由逆IDCT器407b變換為空間區(qū)域的數據426,作為復原數據而輸出。
并且,在第2加法器409中,該復原數據426與上述預測數據420相加并作為再生數據427而輸出。該再生數據427作為用于對下一幀的數據進行編碼的參照數據而存儲到幀存儲器410中。
這時,在上述運動檢測器411中,根據輸入的數字圖像數據416利用塊匹配等方法檢測幀間的圖像的運動信息,并作為運動矢量418而向上述地址生成器412輸出。在該地址生成器412中,根據上述運動矢量418生成指定幀存儲器410中的存儲區(qū)域的地址信號428。于是,由預測信號取得器413作為預測數據420取得根據該地址信號428指定的幀存儲器410的存儲區(qū)域的數據并向上述各加法器輸出。
另外,上述運動矢量418通過上述第4開關434d向上述可變長編碼器414輸出,由該可變長編碼器414變換為可變長代碼。
這樣,就生成了與各幀對應的幀編碼數據Pb(1)~Pb(n)。另外,這時,在上述可變長編碼器414中,序列同步信號(同步信號Hsd)、識別標志Hfd2(值=0)、其他共用數據Hcd和定位排列數據Had等變換為代碼,形成標題Hvb。該標題Hvb形成為上述同步信號Hsd、識別標志Hfd2、共用數據Hcd和定位排列數據Had按照該順序進行傳送的結構。
并且,附加了標題Hvb的幀編碼數據Pb(1)~Pb(n)作為壓縮圖像數據Dvb從上述可變長編碼器414輸出。
這樣,在本實施例1中,對與1個運動圖像對應的數字圖像數據進行壓縮編碼處理而生成壓縮圖像數據,這時,將表示該壓縮圖像數據是否適用于對任意的畫面的隨機的獨立再生的識別標志配置在位于標題的開頭的同步信號Hsd之后,所以,在進行賦予與1個運動圖像對應的壓縮圖像數據的標題的分析處理時,可以迅速地進行上述識別標志的分析,從而可以在短時間內檢測對該壓縮圖像數據的隨機的獨立再生的適應性。
在上述實施例1中,作為壓縮圖像數據Dv的標題Hv的數據結構,示出了將表示對壓縮圖像數據的隨機再生處理的適應性的識別標志配置在標題內的同步信號Hsd之后的結構,但是,上述標題的數據結構并不限于此結構。
例如,上述標題的數據結構也可以如圖4所示的標題Hvm那樣,采用將由固定長代碼構成的第1共用數據Hcd1配置在同步信號Hsd之后而將上述識別標志Hfd配置其后,然后順序配置由可變長代碼構成的第2共用數據Hcd2和定位排列數據Had的結構。
(實施例1的變形例)圖5和圖6是用于說明上述實施例1的變形例的圖像傳送方法和圖象處理方法的圖。
圖5是用于說明上述實施例1的變形例的圖像傳送方法的圖。
圖5(a)表示適用于隨機再生處理的第1壓縮圖像數據Dvc,圖5(b)表示并適用于隨機再生處理的第2壓縮圖像數據Dvd。
上述第1壓縮圖像數據Dvc是對與運動圖像數據D的所有的幀對應的幀數據P(1)~P(n)(參見圖10(a))進行幀內編碼處理而得到的數據。并且,在該壓縮圖像數據Dvc中,在與各幀對應的幀編碼數據Pa(1)~Pa(n)之前賦予了幀標題(VOL)Hvc(1)~Hvc(n)。另外,在各幀標題Hvc(1)~Hvc(n)中包含表示對應的幀編碼數據Pa(1)~Pa(n)是否是可以隨機再生處理的數據的可以獨立再生標志Hfd1。
這里,與各幀對應的幀編碼數據Pa(1)~Pa(n)是通過幀內編碼處理而得到的,所以,上述各標題Hvc(1)~Hvc(n)的可以獨立再生標志Hfd1的值就是表示各幀編碼數據是可以隨機再生處理的值“1”。
在上述各幀標題Hvc(1)~Hvc(n)中,同步信號Hsd、可以獨立再生標志Hfd1、共用數據Hcd和定位排列數據Had和圖1所示的實施例1的壓縮圖像數據Dv中的標題Hv一樣,也按該順序排列。另外,這里雖然圖中未示出,但是和實施例1一樣,包含表示該壓縮圖像數據Dvc是適用于隨機再生處理的識別標志Hfd的與壓縮圖像數據Dvc全體對應的標題也賦予了上述壓縮圖像數據DVC。
另一方面,上述第2壓縮圖像數據Dvd是對與運動圖像數據D的指定的幀對應的幀數據進行幀內編碼處理而對其他的幀進行幀間編碼處理而得到的數據。
在該壓縮圖像數據Dvd中,和上述壓縮圖像數據Dvc一樣,在與各幀對應的幀編碼數據Pd(1)、…、Pd(r)、…、Pd(n)之前也賦予了幀標題(VOL)Hvd(1)、…、Hvd(r)、…、Hvd(n)。另外,在各幀標題Hvd(1)、…、Hvd(r)、…、Hvd(n)中包含表示對應的幀編碼數據Pd(1)、…、Pd(r)、…、Pd(n)是否可以隨機再生處理的可以獨立再生標志Hfd1或Hfd0。
這里,幀編碼數據Pd(1)、Pd(r)是通過幀內編碼處理而得到的,所以,上述幀標題Hvd(1)、Hvd(r)的可以獨立再生標志Hfd1的值就是表示該幀編碼數據Pd(1)、Pd(r)是可以隨機再生處理的值“1”。另一方面,上述以外的幀編碼數據Pd(2)、Pd(3)、Pd(4)、…、Pd(n-1)、Pd(n)是通過幀間編碼處理而得到的,所以,上述幀標題Hvd(2)、Hvd(3)、Hvd(4)、…、Hvd(n-1)、Hvd(n)的可以獨立再生標志Hfd0的值就是表示這些幀編碼數據Pd(2)、Pd(3)、Pd(4)、…、Pd(n-1)、Pd(n)是不能隨機再生處理的值“0”。
在與各幀對應的標題Hvd(1)、…、Hvd(r)、…、Hvd(n)中,同步信號Hsd、可以獨立再生標志Hfd1或Hfd0、共用數據Hcd和定位排列數據Had和圖1所示的實施例1的壓縮圖像數據Dv中的標題Hv一樣也按該順序排列。另外,這里雖然圖中未示出,但是和實施例1一樣,包含表示該壓縮圖像數據Dvd不適用于隨機再生處理的識別標志Hfd的與壓縮圖像數據Dvd全體對應的標題也賦予上述壓縮圖像數據Dvd。
并且,在本實施例1的變形例的圖像傳送方法中,先傳送與上述壓縮圖像數據全體對應的標題,其次,和與各幀對應的幀標題一起順序傳送構成上述壓縮圖像數據的與上述各幀對應的壓縮畫面數據(幀編碼數據)。這時,在與壓縮圖像數據全體對應的標題或各幀標題Hvc或Hvd的傳送處理中,先傳送表示上述壓縮圖像數據的開頭位置的同步信號Hsd,接著就傳送識別標志Hfd或可以獨立再生標志Hfd1、Hfd0。然后,順序傳送上述共用數據Hcd和定位排列數據Had。
下面,說明本發(fā)明實施例1的變形例的圖象處理方法。
圖6是用于說明上述實施例1的變形例的圖象處理方法的圖,該圖象處理方法是將圖2所示的實施例1的圖象處理方法擴展的方法。
即,本變形例的圖象處理方法是將圖2所示的實施例1的圖象處理方法的S105~S107的處理變更為圖6所示的S205、S209、S210和S207的處理。因此,本變形例的圖象處理方法中的其他步驟S201~204、208的處理與實施例1的圖象處理方法中的步驟S101~104、108的處理完全相同。
下面,詳細說明。
首先,開始進行編碼處理時(S201),生成表示與由多個輸入圖像(幀)構成的數字運動圖像對應的壓縮圖像數據Dv的開始的序列同步信號Hsd(S202)。這里,該同步信號Hsd作為一例使用32位的唯一的代碼。
其次,對上述數字運動圖像中包含的所有的幀生成表示是否應不參照作為編碼的對象的被處理幀以外的幀進行壓縮編碼處理的識別標志Hfd的代碼(S203)。在該S203,對數字運動圖像中的所有的幀進行不參照其他的幀的壓縮編碼處理時,將該識別標志Hfd的值取為“1”,否則就取為“0”。
然后,在再生側,生成再生壓縮圖像數據Dv時所需要的各幀共用的共用數據和定位排列數據等的代碼(S204)。
并且,在S205、209、210、207進行順序對構成上述運動圖像的各幀的數據(幀數據)進行壓縮編碼的處理。
具體而言,在輸入各幀數據時(S205),先生成與各幀對應的幀同步信號(S209)。該幀同步信號是與S202的序列同步信號不同的表示各幀的開始的唯一的代碼。其次,生成表示與作為被處理對象的幀對應的幀編碼數據是否可以獨立再生的可以獨立再生標志(S210)。并且,按照上述識別標志Hfd和可以獨立再生標志的值進行輸入的幀數據的壓縮編碼處理,生成幀編碼數據(S206)。
該S206的具體的編碼處理和上述實施例1的圖象處理方法中的S106的處理完全相同。
即,在上述識別標志Hfd的值為“1”時,就對構成運動圖像數據D的所有的幀數據P(1)~P(n)進行幀內編碼處理。另一方面,在識別標志Hfd為“0”時,就根據可以獨立再生標志對構成運動圖像數據D的指定的幀數據進行幀內編碼處理而對指定的幀數據以外的幀數據進行幀間編碼處理。
并且,在上述S206的編碼處理之后,判斷輸入的幀數據是否與構成數字運動圖像的最后的幀對應(S207)。判斷的結果,如果輸入幀數據不是與最后的幀對應,就再次進行上述S209的幀同步信號的生成和S210的可以獨立再生標志的生成以及S206的編碼處理。另外,如果輸入幀數據與最后的幀對應,就結束對上述運動圖像數據的編碼處理(S208)。
通過進行上述編碼處理,可以生成圖5(a)所示的適用于隨機再生處理的壓縮圖像數據Dvc或圖5(b)所示的不適用于隨機再生處理的編碼效率高的壓縮圖像數據Dvd。
這樣的壓縮圖像數據通過通信線路傳送給譯碼裝置側或通過保存到記錄介質中而供給譯碼裝置側。
在這樣的實施例1的變形例中,除了實施例1的圖象處理方法的編碼處理外,還將幀標題(輔助標題)附加到與構成上述壓縮圖像數據的各幀對應的幀編碼數據(壓縮畫面數據)上,在該幀標題中,包含表示各幀的幀編碼數據是否可以獨立地再生的可以獨立再生標志,并且只使固定長代碼數據位于從該幀標題的開頭位置到該可以獨立再生標志之間,所以,不僅可以迅速地進行與壓縮圖像數據全體對應的標題的識別標志的分析,而且在進行賦予與各幀對應的幀編碼數據的幀標題的分析處理時,可以迅速地進行上述可以獨立再生標志的分析。在該變形例中,特別是在進行壓縮圖像數據的快進再生處理時,根據幀標題的可以獨立再生標志可以迅速地檢測與各幀對應的幀編碼數據是否可以獨立再生,從而可以良好地進行快進再生處理。
(實施例2)下面,說明本發(fā)明實施例2的圖象處理方法。
本圖象處理方法是對將與由多個畫面構成的圖像對應的數字圖像數據進行壓縮編碼而得到的壓縮圖像數據譯碼從而生成與上述圖像對應的再生圖像數據的方法。這里,作為譯碼處理的對象的壓縮圖像數據采用具有圖1(a)所示的數據結構的壓縮圖像數據Dv。具體而言,該壓縮圖像數據Dv就是圖1(b)所示的適用于隨機再生處理的壓縮圖像數據Dva和圖1(c)所示的不適用于隨機再生處理但編碼效率高的壓縮圖像數據Dvb這二者中之一的數據。
圖7是用于說明本實施例2的圖象處理方法的圖,圖中示出了該圖象處理方法的譯碼處理的流程。
首先,輸入利用實施例1的圖象處理方法進行編碼后的壓縮圖像數據Dv(在表4~表6中表示了詳細的數據結構)時(S301),就檢測進行編碼處理時賦予壓縮圖像數據Dv的標題的序列同步信號(S302)。該序列同步信號與表4中的數據802相當。
其次,根據外部操作的控制信號判斷是否進行用于圖像的快進再生、快倒再生或圖像編輯的隨機訪問再生處理(S303)。這里,上述控制信號通過外部的輸入而給定(通過快進按鈕的按壓操作等)。
在上述S303的判斷的結果,不進行隨機訪問再生處理時,就進行上述標題的共用數據(表4~表6中的數據803~815)的解讀,并進行對與各幀對應的幀編碼數據的譯碼處理的準備(S307)。
然后,利用指定的譯碼方法再生各幀編碼數據(S310)。
在本實施例中,對于I幀的幀編碼數據,對與各子塊對應的量化系數順序進行逆量化處理和逆DCT處理,對構成上述幀的所有的宏塊進行再生與各宏塊對應的圖像數據的處理。
另外,對于與P幀或B幀對應的幀編碼數據,進行參照其他幀的再生數據的幀間譯碼處理。
即,在該幀間譯碼處理中,對各子塊的量化系數(量化的DCT系數)順序進行逆量化處理和逆DCT處理,復原與各宏塊對應的差分數據。然后,根據已進行了譯碼處理的譯碼處理結束的幀的圖像數據通過冗余而生成與作為譯碼處理的對象的被處理幀的對象宏塊對應的圖像數據的預測數據。該預測數據與上述復原的差分數據相加后,再生對象宏塊的圖像數據。
然后,判斷作為譯碼處理的對象的幀編碼數據是否與上述壓縮圖像數據Dv的最后的幀對應(S311)。該判斷的結果,如果幀編碼數據不是與最后的幀對應,就再次進行上述S310的譯碼處理,如果幀編碼數據與最后的幀對應,就結束對上述壓縮圖像數據Dv的譯碼處理(S312)。
另一方面,在上述S303的判斷結果是進行隨機訪問再生處理時,首先判斷作為譯碼的對象的壓縮圖像數據是否適用于隨機再生處理。即,抽出在上述編碼處理的說明中所述的識別標志Hfd(S304)。在本實施例2中,緊接在數據802(序列同步信號)之后存在上述識別標志Hfd的數據814。因此,在進行序列同步信號的解讀后,便可立即抽出識別標志Hfd。
其次,檢查上述識別標志Hfd的值,判斷上述輸入的壓縮圖像數據Dv是否適用于隨機訪問再生處理(獨立再生處理)(S305)。
在上述識別標志Hfd的值為“1”時,該識別標志Hfd就表示上述壓縮圖像數據Dv適用于獨立再生處理,在其值為“0”時,該識別標志Hfd就表示上述壓縮圖像數據Dv不適用于獨立再生處理。
在上述S305的判斷的結果,上述識別標志Hfd的值為“1”時,就分析位于該識別標志Hfd之后的關于各幀的圖象處理的共用數據(S308)。然后,通過譯碼而再生與各幀對應的幀編碼數據(S310)。這時,S310的譯碼處理與不進行隨機訪問時的譯碼處理的不同點僅在于不進行幀間譯碼處理。
然后,判斷作為譯碼處理的對象的幀編碼數據是否與上述壓縮圖像數據Dv的最后的幀對應(S311)。該判斷的結果,如果幀編碼數據與最后的幀不對應,就再次進行上述S310的譯碼處理,如果幀編碼數據與最后的幀對應,就結束對上述壓縮圖像數據Dv的譯碼處理(S312)。
另一方面,在上述S305的判斷的結果,在識別標志Hfd的值為“0”時,即壓縮圖像數據Dv不適用于獨立再生處理時,就輸出表示不進行獨立再生處理的信息(S306),并結束與輸入的壓縮圖像數據Dv對應的譯碼處理(S312)。
這樣,在本實施例2的圖像譯碼處理中,輸入的壓縮圖像數據Dv的標題是識別標志Hfd置于序列同步信號之后的結構,所以,可以立即判定與運動圖像對應的壓縮圖像數據Dv是否適用于獨立再生處理即與構成該運動圖像的各幀對應的幀編碼數據是否卻可以獨立再生。
在上述實施例2中,S302的序列同步信號的檢測處理在S303的隨機訪問判斷處理之前進行,但是,S302的序列同步信號的檢測處理也可以在S303的隨機訪問判斷處理之后進行。
另外,在上述實施例2中,對于作為譯碼對象的壓縮圖像數據Dv,在該標題中,識別標志Hfd配置在序列同步信號之后,但是,在壓縮圖像數據Dv的標題內,識別標志Hfd也可以配置在N位的固定長代碼數據之后。這時,在進行隨機訪問處理時,在S304,就跳過該N位的數據而抽出識別標志Hfd,在S308,就解讀包含上述跳過的N位的數據。
另外,將上述識別標志Hfd置于伴有判斷條件的數據(固定長編碼數據)或可變長編碼的數據之前時,不需要進行條件判定就可以立即抽出可以獨立再生標志,所以,適用于隨機訪問。特別是在識別標志Hfd配置在可變長代碼之前時,在識別標志Hfd之前的數據的分析處理中,輸入的標題的數據就不需要與表中準備的數據進行比較,所以,可以迅速抽出識別標志Hfd。
另外,輸入的壓縮圖像數據Dv,作為與該壓縮圖像數據全體對應的標題,不限于具有上述識別標志配置在同步信號Hsd之后的標題,如圖5所示,可以將包含可以獨立再生標志的幀標題附加到構成壓縮圖像數據的各幀編碼數據上。這時,由于在各幀中存在可以獨立再生標志,所以,只要看了與各幀對應的幀編碼數據,就知道該幀是否可以獨立再生。這時,在幀標題內,在幀同步信號之后配置了可以獨立再生標志,所以,可以立即判定該幀是否可以獨立再生。
下面,說明利用上述實施例2的圖象處理方法進行壓縮譯碼處理的圖象處理裝置(圖像譯碼裝置)。
圖8是由于說明本實施例2的圖像譯碼裝置的框圖。
圖像譯碼裝置100b是接受將與由多個幀構成的運動圖像對應的數字圖像數據進行壓縮編碼而得到的壓縮圖像數據511并將該壓縮圖像數據進行譯碼從而生成與上述圖像對應的再生圖像數據的裝置。這里,上述壓縮圖像數據假定是由上述實施例1的圖像編碼裝置100a生成的。
即,上述圖像譯碼裝置100b具有分析包含在上述壓縮圖像數據中的標題和其他數據并生成控制信息523及運動信息524同時分析包含在上述壓縮圖像數據511中的與各幀對應的數據并輸出壓縮幀數據512的分析器502和將與上述各幀對應的壓縮幀數據擴展從而生成擴展幀數據514的數據擴展器503。
在本實施例2中,上述分析器502的結構是在標題的分析處理中根據需要跳過從標題開頭位置到上述識別標志為止的由固定長代碼構成的共用數據而進行上述識別標志的分析。另外,該數據擴展器503由對上述壓縮圖像數據進行逆量化處理從而生成頻率區(qū)域的數據513的逆量化器503a和對該逆量化器503a的輸出進行將頻率區(qū)域的數據變換為空間區(qū)域的數據的逆離散余弦變換(IDCT處理)并輸出上述擴展幀數據514的IDCT器503b構成。
另外,上述圖像譯碼裝置100b還具有根據從上述數據擴展器503輸出的擴展幀數據生成其預測幀數據520的預測數據生成器506和將與上述數據擴展器503的被處理幀對應的擴展幀數據和與其對應的預測幀數據520相加并將再生幀數據515向輸出端子510輸出的加法器505。
在該圖像譯碼裝置100b中,通過上述分析器502的分析而得到的運動信息(運動矢量)524通過第1開關522a供給上述預測數據生成器506,上述預測幀數據520通過第2開關522b供給上述加法器505。另外,從上述加法器505輸出的再生幀數據515通過第3開關622c供給上述預測數據生成器506。
此外,上述圖像譯碼裝置100b還具有根據通過上述分析器502的標題的分析而得到的控制信息523利用控制信號525a~525c控制上述各開關522a~522c的控制器521。
下面,簡單地說明上述預測數據生成器506的結構。
該預測數據生成器506具有將上述加法器505的輸出(再生數據)515作為與下一處理幀對應的參照圖像數據而進行存儲的幀存儲器507。該幀存儲器507的結構為根據讀出地址信號518輸出存儲數據。
此外,該預測數據生成器506還具有根據上述分析器502的運動矢量517而生成對上述幀存儲器507的讀出地址信號518的地址生成器508和取得由上述幀存儲器507的該讀出地址信號518指定的區(qū)域的數據并作為上述預測幀數據520而輸出的預測信號取得器509。
下面,說明其動作。
在由實施例1的圖像編碼裝置100a進行壓縮編碼后的表4~表6所示的格式的壓縮圖像數據輸入到輸入端子501上時,首先由分析器502進行壓縮圖像數據的標題的分析,檢測序列同步信號等。另外,根據外部的輸入(快緊按鈕的按壓操作等)是否進行用于圖像的快進再生、快倒再生或圖像編輯的隨機訪問的外部控制信號(圖中未示出)輸入上述分析器502。
在不進行上述隨機訪問時,由分析器502進行共用數據(表4~表6中的數據803~815)的解讀,并進行用于與各幀對應的幀編碼數據的譯碼處理的準備。這時,開關522a~522c由控制器521的控制信號根據幀的編碼類型(I畫面、P畫面、B畫面)進行開合控制。
另外,在上述分析器502中,根據與壓縮圖像數據的各幀對應的幀編碼數據抽出運動矢量524,并進而將與各幀對應的量化步長及量化系數作為壓縮數據512向上述數據擴展器503輸出。
這里,在上述幀編碼數據是通過幀內編碼處理而得到的數據時,上述壓縮數據(量化系數)512就由上述數據擴展器503利用量化器503a進行逆量化處理,變換為頻率區(qū)域的數據513,進而由IDCT器503b進行逆DCT處理,變換為空間區(qū)域的數據(擴展數據)514。該逆量化處理和逆DCT處理對構成各幀的宏塊的各子塊進行。并且,與各宏塊對應的擴展數據通過加法器505作為再生數據515從輸出端子510輸出。
另外,在幀編碼數據是通過幀間編碼處理而得到的數據時,在上述數據擴展器503中,就對與各子塊對應的量化系數(壓縮數據)順序進行逆量化處理和逆DCT處理,與各宏塊對應的差分數據復原為上述擴展數據。并且,與對象宏塊對應的差分數據由加法器505與對應的因材施教相加,作為再生數據而輸出。
這時,在預測數據生成器506中,幀存儲器507存儲的譯碼處理已結束的幀的再生數據和編碼裝置的預測處理一樣,通過地址生成器508和預測信號取得器509的冗余,作為與被處理幀的對象宏塊對應的預測數據而讀出。
即,在上述預測數據生成器506的地址生成器508中,根據上述分析器502的運動矢量生成幀存儲器507的地址信號518。于是,由預測信號取得器509將幀存儲器的由地址信號指定的區(qū)域的數據作為上述預測數據520而取得。
并且,由加法器505將上述數據擴展器503的差分數據與上述預測數據相加,作為對象宏塊的再生數據而輸出。
另一方面,在進行隨機訪問時,通過對該壓縮圖像數據的標題的分析來判斷作為譯碼的對象的壓縮圖像數據是否適用于獨立再生。
即,在上述分析器502中,抽出上述識別標志523,向控制器521輸出。
在本實施例中,在上述壓縮圖像數據的標題中,在與序列同步信號對應的數據802之后配置與識別標志Hfd對應的數據814,所以,在標題的分析處理中,可以在短時間內抽出識別標志Hfd。
上述識別標志向控制器521輸出時,由該控制器521進行上述識別標志Hfd的分析,并判斷壓縮圖像數據是否適用于隨機再生處理。
該判斷的結果,如果上述壓縮圖像數據適用于獨立再生時(上述識別標志Hfd的值為“1”時),在由分析器502進行共用數據的分析(可變長譯碼)后,由上述數據擴展器503進行與指定的幀對應的幀編碼數據的再生處理。這時,在譯碼處理中,和不進行隨機訪問時的譯碼處理那樣,也不進行幀間譯碼,所以,開關522a~522c根據控制器521的控制信號而保持為開狀態(tài)。
上述識別標志Hfd的判斷的結果,如果該識別標志Hfd的值為“0”時,即壓縮圖像數據不適用于獨立再生時,表示不進行獨立譯碼的信息就不從控制器521供給上述譯碼裝置所需要的部分。
這樣在本實施例2的圖像譯碼裝置中,在進行壓縮圖像數據Dv的標題的序列同步信號的分析處理之后,進行識別標志Hfd的分析處理,所以,可以立即判定與運動圖像對應的壓縮圖像數據Dv是否適用于獨立再生處理,即與構成該運動圖像的各幀對應的幀編碼數據是否全部可以獨立再生。
此外,通過將用于由軟件利用在上述各實施例及其變形例中所示的圖象處理方法進行圖象處理的圖象處理程序記錄到軟盤等數據存儲介質上,在獨立的計算機系統中便可簡單地實現在上述各實施例中所示的圖象處理。
圖9是用于說明使用存儲上述圖象處理程序的軟盤利用計算機系統進行上述各實施例及其變形例的圖象處理的圖。
圖9(a)表示從軟盤的正面看到的外觀、剖面結構和軟盤本體,圖9(b)表示該軟盤本體的物理格式的例子。
上述軟盤FD是將上述軟盤本體收容到軟盤套FC內的結構,在該軟盤本體D的表面,從外周向內周形成多個同心圓狀的紋跡Tr,各紋跡Tr沿角度方向分割為16個扇區(qū)Se。因此,在存儲上述程序的軟盤FD中,上述軟盤本體D將作為上述程序的數據記錄到在其上分配的區(qū)域(扇區(qū))Se中。
另外,圖9(c)表示用于進行對軟盤FD的上述程序的記錄和由軟件使用存儲在軟盤FD上的程序的圖象處理的結構。
在將上述程序向軟盤FD上記錄時,從計算機系統Cs將作為上述程序的數據通過軟盤驅動器FDD寫入軟盤FD。另外,利用記錄在軟盤FD上的程序將上述圖像編碼裝置或圖像譯碼裝置構筑到計算機系統Cs中時,利用軟盤驅動器FDD從軟盤FD中讀出程序,裝載到計算機系統Cs中。
在上述說明中,作為數據存儲介質,使用軟盤進行了說明,但是,使用光盤時也和使用上述軟盤時一樣,可以利用軟件進行編碼處理或譯碼處理。另外,數據存儲介質不限于上述光盤及軟盤,IC卡、ROM存儲盒等只要是可以記錄程序的介質不論哪一種都可以,使用這些數據記錄介質時,和使用上述軟盤等時一樣,也可以利用軟件進行圖象處理。
此外,通過將軟盤等數據存儲介質存儲的圖像編碼信號采用本實施例1或其變形例的圖像信號結構,在將上述軟盤的圖像編碼信號進行譯碼而顯示圖像時,就可以獲得和上述實施例2的譯碼處理相同的效果。
如上所述,本發(fā)明的圖像傳送方法、圖象處理方法、圖像處理裝置和數據記錄介質可以不必發(fā)生等待時間而在所需要的時間內進行隨機地選擇對運動圖像的任意幀的壓縮數據而再生的隨機訪問再生處理,這在進行圖像信號的傳送及存儲的系統中的圖像編碼處理和圖像譯碼處理中是非常有用的,特別是適用于依據MPEG4等標準的壓縮運動圖像數據的快進再生、快倒再生和編輯等對任意的幀的隨機圖象處理。
權利要求
1.一種圖像發(fā)送方法,用于發(fā)送對應于包括多個幀的一個圖像的壓縮圖像數據,所述方法包括發(fā)送包括多個幀共用的數據的一個標題,一個標識壓縮圖像數據是否可以被進行隨機再生的識別標志,及固定長度數據,其中只有固定長度數據位于標題開始部分和識別標志之間;及順序發(fā)送包括在壓縮圖像數據中的幀的壓縮幀數據。
2.權利要求1的圖像發(fā)送方法,其中該固定長度數據標識一個同步圖案,并且位于該壓縮圖像數據的標題中;多個幀共用的數據包括固定長度代碼數據和可變長度代碼數據;及在固定長度數據之后并且在可變長度代碼數據之前發(fā)送識別標志。
3.權利要求1的圖像發(fā)送方法,其中緊接著固定長度數據之后,發(fā)送識別標志。
4.一種數據布置方法,用于布置對應于包括多個幀的一個圖像的壓縮圖像數據,該壓縮圖像數據包括多個幀的每一個的壓縮幀數據,該方法包括將一個同步圖案布置到該壓縮圖像數據的開始處;將一個識別標志布置到緊接著該同步圖案之后,其中該識別標志標識該壓縮圖像數據是否可以進行隨機再生;及將該壓縮幀數據布置到位于該識別標志之后。
5.權利要求4的圖像數據布置方法,其中該同步圖案是固定長度數據。
6.一種圖像數據布置,用于對應于包括多個幀的一個圖像的壓縮圖像數據,該壓縮圖像數據包括多個幀的壓縮幀數據,所述圖像數據布置包括一個同步圖案,位于該壓縮圖像數據的開始處;一個識別標志,位于緊接著該同步圖案之后,其中該識別標志標識該壓縮圖像數據是否可以進行隨機再生;及多個幀的每一個的壓縮幀數據,位于該識別標志之后。
7.權利要求6的圖像數據布置,其中該同步圖案是固定長度數據。
8.一種圖像發(fā)送方法,用于發(fā)送對應于包括多個幀的一個圖像的壓縮圖像數據,所述方法包括發(fā)送包括多個幀共用的數據的一個標題,一個標識可以被進行隨機再生的能力的識別標志,及固定長度數據,其中只有固定長度數據位于標題開始部分和識別標志之間;及順序發(fā)送包括在壓縮圖像數據中的幀的壓縮幀數據。
9.一種數據布置方法,用于布置對應于包括多個幀的一個圖像的壓縮圖像數據,該壓縮圖像數據包括多個幀的每一個的壓縮幀數據,該方法包括將一個同步圖案布置到該壓縮圖像數據的開始處;將一個識別標志布置到緊接著該同步圖案之后,其中該識別標志標識可以進行隨機再生的能力;及將該壓縮幀數據布置到位于該識別標志之后。
10.一種圖像數據布置,用于對應于包括多個幀的一個圖像的壓縮圖像數據,該壓縮圖像數據包括多個幀的壓縮幀數據,所述圖像數據布置包括一個同步圖案,位于該壓縮圖像數據的開始處;一個識別標志,位于緊接著該同步圖案之后,其中該識別標志標識可以進行隨機再生的能力;及多個幀的每一個的壓縮幀數據,位于該識別標志之后。
全文摘要
在本發(fā)明的圖像傳送方法中,如圖1所示,傳送對與1個運動圖像對應的數字圖像數據進行壓縮編碼處理而得到的壓縮圖像數據Dv,這時,在位于其標題Hv的開頭的同步信號Hsd之后傳送表示該壓縮圖像數據Dv是否適用于對任意的畫面的隨機的獨立再生的識別標志Hfd。在再生利用這樣圖像傳送方法傳送來的壓縮圖像數據的再生側,在進行賦予與1個運動圖像對應的壓縮圖像數據Dv的標題Hv的分析處理時,可以通過識別標志Hfd的分析而在短時間內檢測對該壓縮圖像數據Dv的隨機的獨立再生處理的適應性。
文檔編號H04N7/26GK1361633SQ01139429
公開日2002年7月31日 申請日期2001年11月23日 優(yōu)先權日1998年1月23日
發(fā)明者文仲丞 申請人:松下電器產業(yè)株式會社