專利名稱：動(dòng)態(tài)圖像編碼方法及動(dòng)態(tài)圖像解碼方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用圖像單位對(duì)動(dòng)態(tài)圖像信號(hào)進(jìn)行編碼的動(dòng)態(tài)圖像編碼方法、及對(duì)上述編碼后的動(dòng)態(tài)圖像信號(hào)進(jìn)行解碼的動(dòng)態(tài)圖像解碼方法、及用軟件來實(shí)施這些方法的程序。
背景技術(shù)：
近年來，迎來了統(tǒng)一處理聲音、圖像、其它像素值的多媒體時(shí)代，將以前的信息媒體即報(bào)紙、雜志、電視、收音機(jī)、電話等的信息傳遞給人的手段作為多媒體的對(duì)象采納。通常，所謂多媒體不僅指文字，而且還指圖像、聲音、尤其是同時(shí)關(guān)聯(lián)圖像等進(jìn)行表示的媒體，但在以上述現(xiàn)有的信息媒體作為多媒體對(duì)象時(shí)，需要用數(shù)字形式來表示該信息。
但是，若將上述各信息媒體所具有的信息量估計(jì)為數(shù)字信息量，則在文字的情況下，每1個(gè)文字的信息量為1-2字節(jié)，相反，在聲音的情況下，每秒需要64Kbits(電話品質(zhì))以上的信息量，并且對(duì)于動(dòng)態(tài)圖像而言，每秒需要100Mbits(現(xiàn)行電視接收品質(zhì))以上的信息量，在上述信息媒體中，以數(shù)字形式來原樣處理該龐大的信息是不現(xiàn)實(shí)的。例如，視頻電話通過具有64Kbits/s-1.5Mbits/s傳輸速度的綜合服務(wù)數(shù)字網(wǎng)(ISDNIntegrated Services Digital Network)而全部實(shí)用化，可是不能用ISDN原樣發(fā)送攝像機(jī)的視頻。
因此，所需要的是信息的壓縮技術(shù)，例如在視頻電話的情況下，使用ITU-T(國際電信聯(lián)盟電信標(biāo)準(zhǔn)化部門)推薦的H.261或H.263標(biāo)準(zhǔn)的動(dòng)態(tài)圖像壓縮技術(shù)。另外，根據(jù)MPEG-1標(biāo)準(zhǔn)的信息壓縮技術(shù)，也可將圖像信息與聲音信息一起放入通常的音樂用CD(致密盤)。
這里，所謂MPEG(動(dòng)態(tài)圖像專家組Moving Picture ExpertsGroup)是由ISO/IEC(國際標(biāo)準(zhǔn)化機(jī)構(gòu)國際電氣標(biāo)準(zhǔn)會(huì)議)標(biāo)準(zhǔn)化的動(dòng)態(tài)圖像信號(hào)壓縮的國際標(biāo)準(zhǔn)，MPEG-1是將動(dòng)態(tài)圖像信號(hào)壓縮到1.5Mbps、即將視頻信號(hào)的信息壓縮到約100分之1的標(biāo)準(zhǔn)，另外，在MPEG-1標(biāo)準(zhǔn)下，因?yàn)閷⒆鳛閷?duì)象的品質(zhì)設(shè)為傳輸速度主要可以約1.5Mbps實(shí)現(xiàn)的程度的中等程度品質(zhì)，所以在能滿足更高畫質(zhì)化要求的標(biāo)準(zhǔn)化的MPEG-2中，動(dòng)態(tài)圖像信號(hào)以2-15Mbps來實(shí)現(xiàn)TV播放品質(zhì)。并且在現(xiàn)狀下，通過MPEG-1、MPEG-2和能推進(jìn)標(biāo)準(zhǔn)化的作業(yè)組(ISO/IEC JTC1/SC29/WG11)，實(shí)現(xiàn)超過MPEG-1、MPEG-2的壓縮率，進(jìn)而能以物體單位來進(jìn)行編碼、解碼、操作，標(biāo)準(zhǔn)化實(shí)現(xiàn)在多媒體時(shí)代需要的新的功能的MPEG-4。在MPEG-4中，雖然最初旨在推進(jìn)低位(bit)速率的編碼方法的標(biāo)準(zhǔn)化，但現(xiàn)在擴(kuò)展到既包含隔行圖像也包含高位速率的更通用的編碼。并且，現(xiàn)在ISO/IEC與ITU-T共同進(jìn)行MPEG-4 AVC和ITU H.264的標(biāo)準(zhǔn)化活動(dòng)，作為高壓縮率的下一代圖像編碼方式。在2002年8月，發(fā)行了將下一代圖像編碼方式稱為委員會(huì)草案(CD)的編碼方式(另外，例如參照ISO/IEC14496-10 Editor’s Proposed Changes Relative toJVT-E146d37ncm，revision4，2002-12)。
通常，在動(dòng)態(tài)圖像編碼中，通過削減時(shí)間方向和空間方向的冗余性來進(jìn)行信息量的壓縮。因此，在以削減時(shí)間的冗余性為目的的畫面間預(yù)測編碼中，參照前方或后方的圖像，以塊單位來進(jìn)行動(dòng)作的檢測和預(yù)測圖像的形成，對(duì)所得的預(yù)測圖像與編碼對(duì)象圖像的差分值進(jìn)行編碼。這里，所謂圖像是表示1個(gè)畫面的術(shù)語，在逐行(漸進(jìn)progression)圖像中意味著幀，在隔行(交織interlace)圖像中意味著幀或場。這里，所謂隔行圖像是1個(gè)幀由時(shí)刻不同的兩個(gè)場構(gòu)成的圖像。在隔行圖像的編碼或解碼處理中，可將1個(gè)幀按幀原樣處理，或作為兩個(gè)場處理，或?qū)瑑?nèi)的每個(gè)塊作為幀結(jié)構(gòu)或場結(jié)構(gòu)處理。
將不具有參照?qǐng)D像來進(jìn)行畫面內(nèi)預(yù)測編碼的稱為I圖像。另外，將僅參照1個(gè)圖像來進(jìn)行畫面間預(yù)測編碼的稱為P圖像。另外，將同時(shí)參照兩個(gè)圖像來進(jìn)行畫面間預(yù)測編碼的稱為B圖像。B圖像可以參照兩個(gè)圖像，作為顯示時(shí)間從前或后開始的任意的組合?？蓪?duì)作為編碼和解碼的基本單位的每個(gè)塊指定參照?qǐng)D像(參照?qǐng)D像)，但將進(jìn)行編碼的比特流(位流)中在先記述的參照?qǐng)D像區(qū)分為第1參照?qǐng)D像，將在后記載的參照?qǐng)D像區(qū)分為第2參照?qǐng)D像。其中，作為編碼和解碼這些圖像的情況下的條件，需要參照的圖像被編碼和解碼。
在P圖像或B圖像的編碼中使用動(dòng)作補(bǔ)償畫面間預(yù)測編碼。所謂動(dòng)作補(bǔ)償畫面間預(yù)測編碼是將動(dòng)作補(bǔ)償用于畫面間預(yù)測編碼的編碼方式。所謂動(dòng)作補(bǔ)償不是單純根據(jù)參照幀的像素值預(yù)測，而是檢測圖像內(nèi)的各部的動(dòng)作量(下面將該動(dòng)作量稱為動(dòng)作矢量)，并進(jìn)行考慮了該動(dòng)作量的預(yù)測，由此提高預(yù)測精度，且減少數(shù)據(jù)量的方式。例如，通過檢測編碼對(duì)象圖像的動(dòng)作矢量，并編碼移動(dòng)了該動(dòng)作矢量大小的預(yù)測值與編碼對(duì)象圖像的預(yù)測余差，減少數(shù)據(jù)量。在該方式的情況下，因?yàn)樵诮獯a時(shí)需要?jiǎng)幼魇噶啃畔?，所以還在編碼動(dòng)作矢量后被記錄或傳輸。
以宏單位來檢測動(dòng)作矢量，具體而言，使編碼對(duì)象圖像側(cè)的宏固定，使參照?qǐng)D像側(cè)的宏在搜索范圍內(nèi)移動(dòng)，找到與基準(zhǔn)塊最類似的參照塊的位置，由此檢測動(dòng)作矢量。
圖1是表示現(xiàn)有動(dòng)態(tài)圖像編碼裝置的結(jié)構(gòu)框圖。
動(dòng)態(tài)圖像編碼裝置具備動(dòng)作檢測部103、減法運(yùn)算部104、編碼部105、動(dòng)作補(bǔ)償部106、可變長編碼部107、解碼部108、加法運(yùn)算部109和存儲(chǔ)器110、111。
將動(dòng)態(tài)圖像信號(hào)Vin輸入減法運(yùn)算部104與動(dòng)作檢測部103。
動(dòng)作檢測部103將從存儲(chǔ)器110讀出的編碼完成的解碼圖像數(shù)據(jù)用作參照?qǐng)D像，在該圖像內(nèi)的搜索區(qū)域中檢測表示預(yù)測為最佳位置的動(dòng)作矢量MV，輸出到動(dòng)作補(bǔ)償部106。
動(dòng)作補(bǔ)償部106使用由動(dòng)作檢測部103檢測出的動(dòng)作矢量MV，生成動(dòng)作補(bǔ)償圖像信號(hào)MCRef，輸出到減法運(yùn)算部104和加法運(yùn)算部109。
減法運(yùn)算部104對(duì)輸入的動(dòng)態(tài)圖像信號(hào)Vin與從動(dòng)作補(bǔ)償部106輸入的動(dòng)作補(bǔ)償圖像信號(hào)MCRef的差進(jìn)行運(yùn)算，并將差分信號(hào)Dif輸出到編碼部105。
編碼部105對(duì)輸入的差分信號(hào)Dif進(jìn)行頻率變換或量化等編碼處理，生成編碼信號(hào)，并輸出到可變長編碼部107和解碼部108?？勺冮L編碼部107對(duì)輸入的編碼信號(hào)進(jìn)行可變長編碼等，并且通過附加從動(dòng)作補(bǔ)償部106輸入的動(dòng)作矢量MV等，生成編碼流Str，輸出到動(dòng)態(tài)圖像編碼裝置的外部。
解碼部108對(duì)輸入的編碼信號(hào)進(jìn)行去量化或逆頻率變換等解碼處理，將解碼后的差分信號(hào)RecDif輸出到加法運(yùn)算部109。
加法運(yùn)算部109將從解碼部108輸入的差分信號(hào)RecDif與從動(dòng)作補(bǔ)償部106輸入的圖像信號(hào)RecMCRef相加，生成局部解碼圖像LocalRecon。將生成的局部解碼圖像LocalRecon輸出到存儲(chǔ)器111。
局部解碼圖像是與用動(dòng)態(tài)圖像解碼裝置解碼的結(jié)果一致的圖像，在編碼下一時(shí)刻的動(dòng)態(tài)圖像信號(hào)Vin時(shí)，用作參照?qǐng)D像。從而，在輸入下一動(dòng)態(tài)圖像信號(hào)Vin之前，將寫入存儲(chǔ)器111中的局部解碼圖像LocalRecon拷貝到存儲(chǔ)器110，或交換存儲(chǔ)器110與存儲(chǔ)器111。
圖2是說明JVT的顯示順序信息(Picture Order CountPOC)與幀序號(hào)(Frame NumberFN)的概念的圖。顯示順序信息POC表示圖像的顯示順序。但是，不是意味實(shí)際的顯示時(shí)間。例如，圖中的圖像IDR19的顯示順序信息POC為“0”，下一圖像B20的POC為“1”，所以可知圖像B20應(yīng)在圖像IDR19之后顯示，但無法知道應(yīng)在經(jīng)過多少時(shí)間后顯示。實(shí)際的顯示時(shí)間從與各圖像關(guān)聯(lián)的、視頻以外的數(shù)據(jù)得到，由與視頻解碼器(動(dòng)態(tài)圖像解碼裝置)無關(guān)的裝置管理。提供顯示順序信息POC，使通常在作為特別的幀內(nèi)圖像(intrapicture)的IDR圖像中被復(fù)位為“0”，按顯示順序以圖像單位每次增加1。若變?yōu)轭A(yù)定的最大值，則再次復(fù)位到“0”。在圖例中，表示在作為IDR圖像的圖像IDR19與圖像IDR192中，顯示順序信息POC返回“0”的狀態(tài)，另外，表示將顯示順序信息POC的最大值設(shè)定為“4”、以圖像B24循環(huán)后返回“0”的狀態(tài)。
FN是賦予被參照?qǐng)D像的序號(hào)。圖中(A)表示解碼圖像B21之前的存儲(chǔ)器的狀態(tài)，存儲(chǔ)3個(gè)參照?qǐng)D像。圖中(B)表示解碼圖像B21并存儲(chǔ)在存儲(chǔ)器中后的狀態(tài)。這里，圖像B21的FN具有與后面解碼的圖像P25相同的值意味著在這些按解碼順序連續(xù)的多個(gè)圖像具有相同F(xiàn)N的情況下，在解碼順序中最后的圖像是參照?qǐng)D像，此外的圖像不是參照?qǐng)D像。在本例中，因?yàn)閳D像B21不是參照?qǐng)D像，所以若被存儲(chǔ)在存儲(chǔ)器中，則被標(biāo)記為“不用作參照?qǐng)D像”(將標(biāo)記的狀態(tài)縮寫為unused)。在將參照?qǐng)D像存儲(chǔ)在存儲(chǔ)器中的情況下，標(biāo)記為“用作參照?qǐng)D像”(將標(biāo)記狀態(tài)縮寫為used)。另外，圖中僅記載unused。另外，雖然是否是參照?qǐng)D像也可從編碼流中的所謂nal_ref_idc場知道，但在本發(fā)明的說明中，因?yàn)椴恢苯酉嚓P(guān)，所以這里不進(jìn)行說明。另外，幀序號(hào)FN也與顯示順序信息POC一樣，在IDR圖像下通常被復(fù)位為“0”，若變?yōu)轭A(yù)定的最大值，則再次返回“0”。在本例中，表示在圖像IDR19與圖像IDR192中被復(fù)位為“0”，在圖像B24中返回“0”的狀態(tài)。
用圖3和圖4來說明為了確保空區(qū)域而從存儲(chǔ)器中刪除圖像的動(dòng)作。圖3是說明在被unused的圖像的情況下的刪除動(dòng)作的圖。在剛要解碼圖像P23之前的存儲(chǔ)器中存儲(chǔ)解碼了圖像IDR19、P22、B20、B21的圖像，因?yàn)閳D像B20是未被參照的圖像，所以事先被設(shè)為unused(參照?qǐng)D中(A))。接著，使用進(jìn)行存儲(chǔ)器管理的MMCO(Memorymanagement control operation)或從老的開始順序設(shè)為不用的滑動(dòng)窗口等方法，根據(jù)需要使圖像為unused。這些操作在本說明書中被稱為不使用標(biāo)記處理。這里，將圖像P22設(shè)為unused(參照?qǐng)D中(B))。接著，為了確保空區(qū)域而刪除圖像，但在有unused圖像的情況下，刪除unused圖像中顯示順序(POC)最早的圖像。這里，圖像P22的顯示順序?yàn)?，圖像B20的顯示順序?yàn)?，所以刪除圖像B20(參照?qǐng)D中(C))。將圖像P23存儲(chǔ)在該刪除后空的區(qū)域中(參照?qǐng)D中(D))。
另外，在圖像中存在幀(frame)與場(field)，在本說明書中，作為圖像進(jìn)行說明，但存儲(chǔ)在存儲(chǔ)器中時(shí)，也能夠以幀單位(相同時(shí)刻的奇數(shù)場與偶數(shù)場)進(jìn)行存儲(chǔ)。另外，在存儲(chǔ)器中為了確保空區(qū)域而刪除時(shí)，也能以幀單位刪除。
另外，圖中用stage表示的序號(hào)表示存儲(chǔ)器的變遷階段，stagel意味著在該圖像處理中進(jìn)行不使用標(biāo)記處理前的階段，stage2意味著進(jìn)行不使用標(biāo)記處理后的階段，stage3意味著確保空區(qū)域后的階段，stage4意味著存儲(chǔ)圖像后的階段。
圖4是說明存儲(chǔ)器中沒有unused的圖像的情況下的刪除動(dòng)作的圖。如圖所示，圖像按圖像IDR19、P22、B20、B21、P23的順序被解碼。如圖中(A)所示，在解碼圖像P23之前的階段，在存儲(chǔ)器中存儲(chǔ)IDR19、P22、B20、B21的圖像，并都設(shè)為不是unused。另外，如圖中(B)所示，即使在不使用標(biāo)記處理中，也都設(shè)為未unused。這樣，在沒有unused的圖像的情況下，當(dāng)確保空區(qū)域時(shí)，刪除存儲(chǔ)在存儲(chǔ)器的圖像中最初解碼的圖像。如圖中(C)所示，這里，在存儲(chǔ)在存儲(chǔ)器的圖像中，因?yàn)镮DR19是最初解碼的圖像，所以刪除IDR19。最后，如圖中(D)所示，將解碼后的圖像P23存儲(chǔ)在空區(qū)域中。
圖5是表示現(xiàn)有動(dòng)態(tài)圖像解碼裝置的結(jié)構(gòu)框圖。
動(dòng)態(tài)圖像解碼裝置具備可變長解碼部402、圖像解碼部202、MMCO解碼部204、存儲(chǔ)器206和存儲(chǔ)器管理部401。
將動(dòng)態(tài)圖像編碼信號(hào)Str設(shè)為輸入，由可變長解碼部402進(jìn)行可變長解碼，圖像解碼部202解碼編碼后的圖像數(shù)據(jù)comp_pic，并將解碼圖像信號(hào)Recon存儲(chǔ)到存儲(chǔ)器206中。圖像解碼部202在畫面間編碼圖像的情況下，當(dāng)解碼時(shí)，將動(dòng)作信息MV送到存儲(chǔ)器206，形成動(dòng)作補(bǔ)償完成參照?qǐng)D像MCPic，進(jìn)行動(dòng)作補(bǔ)償。由存儲(chǔ)器管理部401輸出圖像的存儲(chǔ)區(qū)域的決定、空區(qū)域的確保等存儲(chǔ)器管理指示mctrl。顯示順序信息POC從可變長解碼部402輸出到存儲(chǔ)器管理部401，并被保持。另外，將作為上述不使用標(biāo)記處理之一的MMCO指令MMCO從可變長解碼部402輸入到MMCO解碼部204，進(jìn)行解碼，將unused指示輸入存儲(chǔ)器管理部401。另外，從存儲(chǔ)器206輸出被顯示的解碼圖像信號(hào)Vout。
圖6是現(xiàn)有動(dòng)態(tài)圖像解碼裝置的存儲(chǔ)器關(guān)聯(lián)的動(dòng)作流程圖。本流程圖中從步驟S1到步驟S2表示圖像單位的動(dòng)作。進(jìn)行不使用標(biāo)記處理，根據(jù)需要對(duì)存儲(chǔ)器的各圖像標(biāo)記為unused(步驟S13)。接著，進(jìn)行空區(qū)域確保處理，在存儲(chǔ)器中確保空區(qū)域(步驟S14)。之后，將解碼圖像信號(hào)Vout存儲(chǔ)到空區(qū)域中(步驟S15)。
圖7是現(xiàn)有動(dòng)態(tài)圖像解碼裝置的空區(qū)域確保處理的動(dòng)作流程圖，是詳細(xì)說明圖6的步驟S14的流程圖。在確保空區(qū)域的處理(步驟S14)中，在調(diào)查標(biāo)記為unused的圖像是否在存儲(chǔ)器206中(步驟S141)的情況下，刪除存儲(chǔ)在存儲(chǔ)器206中的標(biāo)記為unused的圖像中顯示順序最老的圖像(步驟S143)，在不在存儲(chǔ)器206中的情況下，刪除存儲(chǔ)在存儲(chǔ)器206中的圖像中最初解碼的圖像(步驟S142)。
圖9是說明無效圖像處理的動(dòng)作的概念圖。規(guī)定存儲(chǔ)器管理的動(dòng)作，在以JVT輸入動(dòng)態(tài)圖像解碼裝置中的序列的一部分圖像丟失時(shí)，插入個(gè)數(shù)為丟失數(shù)量的無效圖像。當(dāng)序列參數(shù)組內(nèi)的required_frame_num_update_behaviour_flag為1時(shí)，該動(dòng)作在動(dòng)態(tài)圖像解碼裝置中進(jìn)行。所謂無效圖像是不具有實(shí)際的復(fù)原圖像信號(hào)、尤其是被標(biāo)記后的圖像，不作為參照?qǐng)D像參照。如圖所示的解碼圖像I19、P20、P21、P22、P23后的存儲(chǔ)器狀態(tài)如圖(A)所示狀態(tài)。之后，分配用于確定參照?qǐng)D像的參照索引(index)，以使解碼圖像B24時(shí)按解碼順序在不是新的unused圖像中，參照索引ref_idx的值變小。該分配為一個(gè)例子，方法因圖像種類等而不同，但相同的是存在如下依賴性質(zhì)，即依賴于存儲(chǔ)在存儲(chǔ)器中的圖像來分配參照關(guān)系的索引。在本圖的實(shí)例中，分配成將最后解碼了的非unused的圖像P22稱為ref_idx＝0，將之前解碼的非unused的圖像P21稱為ref_idx＝1。
這里，圖像P21與圖像P23在傳輸中途等丟失、未輸入解碼器的情況下，若不插入無效圖像，則當(dāng)解碼圖像B24時(shí)，如圖(B)所示，分配參照索引ref_idx。本來，圖像B24的參照的圖像P22與圖像P20分別分配為ref_idx＝0和ref_idx＝2，但因?yàn)閷ef_idx＝0分配給圖像P22，將ref_idx＝2分配給圖像I19，所以存在與圖像P20弄錯(cuò)而參照?qǐng)D像I19的問題。為了避免該問題，插入無效圖像。
圖(C)中示出在插入無效圖像的情況下的、解碼圖像B24之前的存儲(chǔ)器的狀態(tài)。若檢測出幀序號(hào)FN不連續(xù)，則插入不連續(xù)的個(gè)數(shù)的無效圖像。在本例中，當(dāng)解碼FN＝3的圖像P22時(shí)，因?yàn)樵诖酥皠偨獯a的圖像P20為FN＝1，所以原本不增加1以上，但由于增加2，所以可知丟失了一個(gè)。因此，在解碼圖像P22之前，插入1個(gè)無效圖像。如上所述，無效圖像是特別的圖像，雖然不具有實(shí)際的被解碼的圖像信號(hào)，但標(biāo)記為used，在分配參照?qǐng)D像時(shí)，作為參照?qǐng)D像處理，但實(shí)際上不能進(jìn)行參照，所以還標(biāo)記為不存在(non-exist)。
圖10是表示現(xiàn)有動(dòng)態(tài)圖像解碼裝置的結(jié)構(gòu)框圖。與圖5中說明的現(xiàn)有圖像編碼裝置的不同之處在于，有FN間隙(gap)檢測部211，且存儲(chǔ)器管理部412的動(dòng)作不同。FN間隙檢測部211從可變長解碼部411取得幀序號(hào)FN，在有間隙的情況下，指示存儲(chǔ)器管理部412，插入需要個(gè)數(shù)的無效圖像。存儲(chǔ)器管理部412僅將指示的個(gè)數(shù)的無效圖像存儲(chǔ)在存儲(chǔ)器206中。
圖11是現(xiàn)有動(dòng)態(tài)圖像解碼裝置的無效圖像處理的動(dòng)作流程圖。與圖6中說明的現(xiàn)有圖像解碼裝置的存儲(chǔ)器關(guān)聯(lián)動(dòng)作的不同之處在于，在不使用標(biāo)記處理(步驟S13)之前，調(diào)查幀序號(hào)FN的間隙(步驟S11)，在有間隙的情況下，在將間隙個(gè)數(shù)的無效圖像存儲(chǔ)在存儲(chǔ)器206中(步驟S12)后，前進(jìn)到不使用標(biāo)記處理(步驟S13)，在沒有間隙的情況下，前進(jìn)到不使用標(biāo)記處理(步驟S13)。在步驟S12中，僅存儲(chǔ)間隙個(gè)數(shù)的無效圖像，但在每次插入1個(gè)圖像時(shí)，進(jìn)行與圖6所示的存儲(chǔ)通常圖像一樣的處理。
圖13是說明現(xiàn)有MPEG-2流的結(jié)構(gòu)的概念圖。如圖所示，MPEG-2流具有以下分層結(jié)構(gòu)。流(Stream)由多個(gè)圖像組(Group Of Picture)構(gòu)成，通過將其設(shè)為編碼處理的基本單位，可進(jìn)行動(dòng)態(tài)圖像的編輯或隨機(jī)存取。圖像組由多個(gè)圖像構(gòu)成，各圖像有I圖像、P圖像或B圖像。流、GOP和圖像由表示各自單位區(qū)分的同步信號(hào)(sync)和在該單位下作為共同數(shù)據(jù)的標(biāo)題(header)構(gòu)成。在MPEG-2中，P圖像可進(jìn)行僅參照顯示時(shí)刻之前的1個(gè)I圖像或P圖像的預(yù)測編碼。另外，B圖像可進(jìn)行參照顯示時(shí)刻之前1個(gè)與之后1個(gè)I圖像或P圖像的預(yù)測編碼。另外，還決定配置在流中的順序，配置在I圖像或P圖像之后。因此，在隨機(jī)存取時(shí)，若從I圖像開始解碼，則配置在I圖像以后的圖像全部可進(jìn)行解碼、顯示。另外，參照?qǐng)D像最大只能在存儲(chǔ)器中存儲(chǔ)兩個(gè)，所以限制了參照結(jié)構(gòu)的自由度。
圖14是說明現(xiàn)有JVT的動(dòng)態(tài)圖像編碼方法的概念圖。在JVT中，只要不是作為特別的幀內(nèi)圖像的IDR圖像，就可任意參照間隔開的圖像。因此，例如為了提高編碼效率，也可改換多個(gè)圖像的編碼順序來進(jìn)行編碼。圖中，圖像19、20、21、25、26、27的圖像間的相關(guān)非常強(qiáng)，另外，圖像22、23、24、28、29、30圖像間的相關(guān)非常強(qiáng)。此時(shí)，首先對(duì)圖像19、20、21、25、26、27進(jìn)行畫面間編碼(GOP1)，之后對(duì)圖像22、23、24、28、29、30進(jìn)行畫面間編碼(GOP2)，從而可期待提高編碼效率。
圖15是現(xiàn)有JVT的動(dòng)態(tài)圖像編碼方法的動(dòng)作流程圖。在JVT的動(dòng)態(tài)圖像編碼方法中，可將全部未編碼圖像設(shè)為編碼替補(bǔ)(步驟S55)。之后，從編碼替補(bǔ)中按照任何觀點(diǎn)來選擇圖像，進(jìn)行編碼(步驟S56)。例如，當(dāng)未編碼的圖像為10個(gè)時(shí)，也可以將該10個(gè)全部設(shè)為編碼替補(bǔ)，按顯示順序選擇第10個(gè)圖像進(jìn)行編碼。在編碼后，若有未編碼的圖像，則返回S55。在步驟S56中，不進(jìn)行編碼，等待輸入未編碼的圖像。
另外，在這種現(xiàn)有的動(dòng)態(tài)圖像解碼裝置及現(xiàn)有的動(dòng)態(tài)圖像解碼裝置中，如上所述，在作為特別的幀內(nèi)圖像的IDR圖像的部位以外，不能編輯編碼后的流。下面說明該問題。
圖8是說明序列的不連續(xù)導(dǎo)致顯示順序信息POC的不連續(xù)，并刪除未顯示的圖像的問題的概念圖。表示使某序列的兩個(gè)部分Clip1與Clip2聯(lián)合后解碼的情況。將上述通過編輯等產(chǎn)生的序列的不連續(xù)發(fā)生的部位稱為編輯點(diǎn)。在本例中，設(shè)定不考慮顯示順序信息POC循環(huán)也可以的顯示順序信息POC的最大值。圖中(A)表示解碼Clip1后的存儲(chǔ)器的狀態(tài)，存儲(chǔ)圖像I19、P22、B20、B21。各顯示順序信息POC如圖所示，分別為4、7、5、6，將圖像I19、B20、B21標(biāo)記為unused。接著，圖中(B)示出解碼Clip2的最初的圖像I85，并解碼第2個(gè)圖像P86前的狀態(tài)。這里，設(shè)將圖像I85存儲(chǔ)到圖像B20所在的位置上。之后進(jìn)行不使用標(biāo)記處理，但在該Clip2的情況下，將圖像I85標(biāo)記為unused(圖中(B))。然后，進(jìn)行空區(qū)域確保處理，但如上所述，因?yàn)榇嬖趗nused的圖像，所以刪除unused的圖像中具有最初顯示順序的圖像，故刪除圖像I85。這里，若設(shè)從解碼到顯示的延遲平均為3個(gè)，則還未顯示圖像B21、P22、I85。但是，盡管圖像I85還未顯示，也從存儲(chǔ)器中刪除。
圖12是說明序列的不連續(xù)導(dǎo)致幀序號(hào)FN的不連續(xù)、并且刪除無效圖像未顯示的圖像的問題的概念圖。在本例中，表示使某序列的不連續(xù)的不同部分Clip1與Clip2聯(lián)合后解碼的狀態(tài)。圖(A)表示解碼圖像P25后的存儲(chǔ)器的狀態(tài)，存儲(chǔ)從圖像P21到圖像P25共5個(gè)圖像。之后，圖(B)中示出在解碼Clip2的最初圖像I60時(shí)插入無效圖像后的狀態(tài)。圖像I60為FN＝12，之前剛解碼的圖像P25為FN＝5，所以判斷為丟失6個(gè)圖像，插入6個(gè)無效圖像。此時(shí)，因?yàn)閯h除全部存儲(chǔ)器的圖像，所以例如在圖(A)的狀態(tài)下，即使還未顯示圖像P23、P24、P25，也可能被刪除。
圖16是說明JVT的編碼自由度在編輯時(shí)或隨機(jī)存取時(shí)引起的問題的概念圖。圖(B)是最初的流(stream)，與圖14的流相同。圖(A)表示沒有GOP1、僅解碼GOP2的狀態(tài)。此時(shí)，因?yàn)槲吹玫綀D像25、26、27，所以在從圖像22再現(xiàn)到圖像24后，不能從圖像25再現(xiàn)到圖像27，產(chǎn)生再現(xiàn)的不連續(xù)。這在通過編輯刪除GOP1的情況下、從GOP2隨機(jī)存取的情況下成為問題。圖(C)表示沒有GOP2、解碼到GOP1的狀態(tài)。此時(shí)，因?yàn)槲吹玫綀D像22、23、24，所以產(chǎn)生再現(xiàn)的不連續(xù)。這在通過編輯刪除GOP2的情況下成為問題。

發(fā)明內(nèi)容
因此，本發(fā)明鑒于上述問題作出，其目的在于提供一種動(dòng)態(tài)圖像編碼方法及動(dòng)態(tài)圖像解碼方法等，即使在作為特別的幀內(nèi)圖像的IDR圖像以外的圖像的部位也可進(jìn)行編輯。
為了實(shí)現(xiàn)上述目的，根據(jù)本發(fā)明的動(dòng)態(tài)圖像編碼方法，用圖像單位對(duì)動(dòng)態(tài)圖像信號(hào)進(jìn)行編碼來生成編碼流，其特征在于，包含以下步驟標(biāo)志信息形成步驟，形成表示所述圖像的順序不連續(xù)的標(biāo)志信息；和信息附加步驟，向所述編碼流附加所述標(biāo)志信息。
由此，可將表示圖像順序不連續(xù)的信息附加到編碼流中。
另外，根據(jù)本發(fā)明的動(dòng)態(tài)圖像編碼方法，用圖像單位對(duì)動(dòng)態(tài)圖像信號(hào)進(jìn)行編碼來生成編碼流，其特征在于，包含以下步驟編碼步驟，從由多個(gè)圖像構(gòu)成的規(guī)定編碼單位中的最初畫面內(nèi)編碼圖像開始進(jìn)行編碼，使顯示順序在后的圖像包含于該編碼單位以后的編碼單位中。
由此，即使解碼某編碼單位以后的圖像，也可以不產(chǎn)生再現(xiàn)不連續(xù)地進(jìn)行再現(xiàn)。
另外，根據(jù)本發(fā)明的動(dòng)態(tài)圖像解碼方法，用圖像單位對(duì)編碼流進(jìn)行解碼，其特征在于，包含以下步驟信息提取步驟，提取表示所述圖像順序不連續(xù)的標(biāo)志信息；和管理步驟，根據(jù)所述標(biāo)志信息，管理對(duì)解碼完的圖像進(jìn)行存儲(chǔ)的區(qū)域。
另外，所述標(biāo)志信息是表示圖像的顯示順序信息不連續(xù)的信息，在所述管理步驟中，根據(jù)所述顯示順序信息和所述標(biāo)志信息，決定存儲(chǔ)在所述區(qū)域中的解碼完的圖像中顯示順序最靠前的圖像，并將決定的圖像設(shè)定為刪除對(duì)象圖像。
由此，可防止由于圖像的顯示順序信息不連續(xù)而刪除未顯示圖像。
另外，所述動(dòng)態(tài)圖像解碼方法，還包含無效圖像存儲(chǔ)步驟，在圖像的編碼順序信息不連續(xù)的情況下，在所述區(qū)域中存儲(chǔ)無效圖像，所述標(biāo)志信息是表示所述編碼順序信息不連續(xù)的信息，在所述管理步驟中，根據(jù)所述標(biāo)志信息和所述編碼順序信息，判斷所述區(qū)域中是否存儲(chǔ)無效圖像，在所述無效圖像存儲(chǔ)步驟中，根據(jù)所述管理步驟的判斷結(jié)果，在所述區(qū)域中存儲(chǔ)無效圖像。
由此，可防止由于圖像的編碼順序信息不連續(xù)而刪除未顯示圖像。
并且，本發(fā)明不僅可實(shí)現(xiàn)為這種動(dòng)態(tài)圖像編碼方法和動(dòng)態(tài)圖像解碼方法，還可實(shí)現(xiàn)為具備將包含這種動(dòng)態(tài)圖像編碼方法和動(dòng)態(tài)圖像解碼方法的特征步驟作為單元的動(dòng)態(tài)圖像編碼裝置和動(dòng)態(tài)圖像解碼裝置，或?qū)崿F(xiàn)為可利用計(jì)算機(jī)執(zhí)行這些步驟的程序。另外，當(dāng)然可通過CD-ROM等記錄介質(zhì)或英特網(wǎng)等傳輸媒體來發(fā)送這種程序。
從以上說明可知，根據(jù)本發(fā)明的動(dòng)態(tài)圖像編碼方法，即使是作為特別的幀內(nèi)圖像的IDR圖像以外的圖像的部位也可進(jìn)行編輯。


圖1是表示現(xiàn)有的動(dòng)態(tài)圖像編碼裝置的結(jié)構(gòu)框圖。
圖2是說明顯示順序(POC)與被參照?qǐng)D像序號(hào)的概念圖。
圖3是說明在存在標(biāo)記為不使用的圖像的情況下，為了在存儲(chǔ)器中確?？諈^(qū)域而刪除圖像的動(dòng)作圖。
圖4是說明在不存在標(biāo)記為不使用的圖像的情況下、為了在存儲(chǔ)器中確?？諈^(qū)域而刪除圖像的動(dòng)作圖。
圖5是表示現(xiàn)有的動(dòng)態(tài)圖像解碼裝置的結(jié)構(gòu)框圖。
圖6是表示現(xiàn)有的動(dòng)態(tài)圖像解碼裝置的存儲(chǔ)器關(guān)聯(lián)動(dòng)作的流程圖。
圖7是現(xiàn)有動(dòng)態(tài)圖像解碼裝置的空區(qū)域確保處理的動(dòng)作流程圖。
圖8是說明序列的不連續(xù)導(dǎo)致顯示順序信息POC不連續(xù)、并刪除未顯示的圖像的問題的概念圖。
圖9是說明無效圖像的動(dòng)作的概念圖。
圖10是表示現(xiàn)有動(dòng)態(tài)圖像解碼裝置的結(jié)構(gòu)框圖。
圖11是現(xiàn)有動(dòng)態(tài)圖像解碼裝置的無效圖像的動(dòng)作流程圖。
圖12是說明序列的不連續(xù)導(dǎo)致幀序號(hào)FN不連續(xù)、并刪除無效圖像未顯示的圖像的問題的概念圖。
圖13是說明現(xiàn)有MPEG-2流的結(jié)構(gòu)的概念圖。
圖14是說明現(xiàn)有的JVT動(dòng)態(tài)圖像編碼方法的概念圖。
圖15是說明現(xiàn)有的JVT動(dòng)態(tài)圖像編碼方法的動(dòng)作流程圖。
圖16是說明JVT的編碼自由度在編輯時(shí)或隨機(jī)存取時(shí)引起的問題的概念圖。
圖17是表示本發(fā)明的動(dòng)態(tài)圖像編碼裝置的結(jié)構(gòu)框圖(實(shí)施方式1)。
圖18是說明本發(fā)明的動(dòng)態(tài)圖像解碼方法的概念圖(實(shí)施方式1)。
圖19是表示本發(fā)明的動(dòng)態(tài)圖像解碼裝置的結(jié)構(gòu)框圖(實(shí)施方式1)。
圖20是本發(fā)明的動(dòng)態(tài)圖像解碼方法的動(dòng)作流程圖(實(shí)施方式1)。
圖21是本發(fā)明的動(dòng)態(tài)圖像解碼方法的空區(qū)域確保處理的動(dòng)作流程圖(實(shí)施方式1)。
圖22是表示本發(fā)明的動(dòng)態(tài)圖像解碼裝置的結(jié)構(gòu)框圖(實(shí)施方式2)。
圖23是本發(fā)明的動(dòng)態(tài)圖像解碼方法的動(dòng)作流程圖(實(shí)施方式2)。
圖24是表示本發(fā)明的動(dòng)態(tài)圖像編碼方法的輸出數(shù)據(jù)結(jié)構(gòu)、本發(fā)明的動(dòng)態(tài)圖像解碼方法的輸入數(shù)據(jù)的結(jié)構(gòu)圖。
圖25是表示本發(fā)明的動(dòng)態(tài)圖像編碼裝置的結(jié)構(gòu)框圖(實(shí)施方式3)。
圖26是說明本發(fā)明的動(dòng)態(tài)圖像編碼方法的概念圖(實(shí)施方式3)。
圖27是本發(fā)明的動(dòng)態(tài)圖像編碼方法的動(dòng)作流程圖(實(shí)施方式3)。
圖28是說明本發(fā)明的動(dòng)態(tài)圖像編碼方法的概念圖(實(shí)施方式4)。
圖29是本發(fā)明的動(dòng)態(tài)圖像編碼方法的動(dòng)作流程圖(實(shí)施方式4)。
圖30是記錄介質(zhì)的說明圖，該記錄介質(zhì)用于存儲(chǔ)由計(jì)算機(jī)系統(tǒng)實(shí)現(xiàn)各實(shí)施方式的動(dòng)態(tài)圖像編碼方法和動(dòng)態(tài)圖像解碼方法的程序，(a)是表示作為記錄介質(zhì)主體的軟盤的物理格式的實(shí)例的說明圖，(b)是表示從軟盤的正面看的外觀、剖面結(jié)構(gòu)及軟盤的說明圖，(c)是表示在軟盤FD上進(jìn)行上述程序的記錄再現(xiàn)的結(jié)構(gòu)說明圖。
圖31是表示實(shí)現(xiàn)內(nèi)容發(fā)送服務(wù)的內(nèi)容提供系統(tǒng)的整體結(jié)構(gòu)框圖。
圖32是表示便攜電話的一例的圖。
圖33是表示便攜電話的內(nèi)部結(jié)構(gòu)的框圖。
圖34是表示數(shù)字播放系統(tǒng)的整體結(jié)構(gòu)框圖。
具體實(shí)施例方式
下面，參照附圖來說明本發(fā)明的實(shí)施方式。
(實(shí)施方式1)圖17是表示本實(shí)施方式的動(dòng)態(tài)圖像編碼裝置的結(jié)構(gòu)框圖。
動(dòng)態(tài)圖像編碼裝置具備動(dòng)作檢測部103、減法運(yùn)算部104、編碼部105、動(dòng)作補(bǔ)償部106、可變長編碼部113、解碼部108、加法運(yùn)算部109、存儲(chǔ)器110、111和標(biāo)志(flag)信息生成部112。
與現(xiàn)有的動(dòng)態(tài)圖像編碼裝置(圖1)的不同之處在于具備標(biāo)志信息生成部112、和工作與可變長編碼部107不同的可變長編碼部113。
標(biāo)志信息生成部112在顯示順序信息POC因編輯等而變得不連續(xù)的情況下，生成表示顯示順序信息POC不連續(xù)的標(biāo)志。
可變長編碼部113對(duì)輸入的編碼信號(hào)進(jìn)行可變長編碼等，通過附加由標(biāo)志信息生成部112生成的標(biāo)志、和從動(dòng)作補(bǔ)償部106輸入的動(dòng)作矢量MV等信息，生成編碼流Str，輸出到動(dòng)態(tài)圖像編碼裝置的外部。
圖18是說明本發(fā)明的動(dòng)態(tài)圖像編碼方法和動(dòng)態(tài)圖像解碼方法的概念圖。本圖說明解決說明現(xiàn)有問題的圖8的情況的狀態(tài)。首先，由在編碼時(shí)附加的標(biāo)志來檢測顯示順序信息POC因編輯等而變得不連續(xù)。將該標(biāo)志稱為標(biāo)志A。所謂標(biāo)志A是表示顯示順序信息POC因編輯等而不連續(xù)的標(biāo)志。
該標(biāo)志A如圖所示，為放置在Clip緊前面的特別信息。在JVT中，因?yàn)槎x存儲(chǔ)稱為補(bǔ)充增加信息(Supplemental enhancementinformation下面簡稱為SEI)的視頻解碼器的附加信息的單位，所以存儲(chǔ)在其中。也可存儲(chǔ)在用戶可獨(dú)自定義的User data RegisteredSEI中?；蛘?，存儲(chǔ)在存儲(chǔ)用于隨機(jī)存取的信息的Random accesspoint SEI(下面簡稱為RAP SEI)中。在RAP SEI中，當(dāng)從表示通過編輯等解碼的動(dòng)態(tài)圖像也許與原來的動(dòng)態(tài)圖像不同的broken_link_flag、RAP SEI所在位置，按顯示順序解碼第n個(gè)以后的圖像的動(dòng)態(tài)圖像與原來的動(dòng)態(tài)圖像相等或基本上相等的情況下，存儲(chǔ)表示該n個(gè)的recovery_frame_cnt等信息。在本發(fā)明中，當(dāng)RAP SEI的broken_link_flag為“1”時(shí)，若進(jìn)行編輯，則進(jìn)行檢測，并將RAP SEI以后的最初圖像緊前面設(shè)為編輯點(diǎn)。或者，將recovery_frame_cnt所指的圖像緊前面設(shè)為編輯點(diǎn)?；蛘?，將RAP_SEI之后的最初可獨(dú)立解碼的圖像(例如Intra Picture)設(shè)為編輯點(diǎn)。另外，所謂編輯點(diǎn)僅指圖像的交界，而不定義SEI的交界。此外，有時(shí)還在存儲(chǔ)序列的文件格式中，存儲(chǔ)各圖像的隨機(jī)存取信息，在這些信息中存儲(chǔ)表示正被編輯的信息，有時(shí)還存儲(chǔ)著編輯點(diǎn)的信息。此時(shí)，可根據(jù)文件格式的信息來進(jìn)行編輯的檢測與編輯點(diǎn)的確定。將這些存儲(chǔ)形式稱為標(biāo)志形式A的存儲(chǔ)形式。
圖19是表示本實(shí)施方式的動(dòng)態(tài)圖像解碼裝置的結(jié)構(gòu)框圖。與現(xiàn)有的動(dòng)態(tài)圖像解碼裝置(圖5)的不同之處在于，追加了編輯檢測部203，具備工作與存儲(chǔ)器管理部401不同的存儲(chǔ)器管理部205。
編輯檢測部203從可變長解碼部201取得表示顯示順序信息POC不連續(xù)的標(biāo)志、或存儲(chǔ)編輯點(diǎn)信息的信息，并進(jìn)行分析，將控制信號(hào)mctrlc輸出到存儲(chǔ)器管理部205。若存儲(chǔ)器管理部205輸入意味著編輯的控制信息mctrlc，則進(jìn)行管理，以使在編輯點(diǎn)之前的圖像的顯示順序變?yōu)樵诰庉孅c(diǎn)之后的圖像之前。即，當(dāng)從unused圖像中選擇刪除的圖像時(shí)，設(shè)編輯點(diǎn)之前的圖像的顯示順序比編輯點(diǎn)之后的圖像靠前。
存儲(chǔ)器管理部205為了管理顯示順序，使每次超過編輯點(diǎn)就增加1的Clip計(jì)數(shù)器保持在各圖像中。如圖(B)所示，將圖像B20、P22、B21記錄為Clip＝1，將在編輯點(diǎn)之后的圖像I85記錄為Clip＝2。在該狀態(tài)下的不使用標(biāo)志處理的處理中，從unused圖像的最初解碼剪切(clip)圖像(標(biāo)記為Clip＝1的圖像B20、P22、B21)中刪除顯示順序最靠前的圖像B20。從而，解決了會(huì)刪除未顯示的圖像(在現(xiàn)有問題中為圖像I85)的問題。
圖20是本實(shí)施方式的動(dòng)態(tài)圖像解碼方法的動(dòng)作流程圖。與現(xiàn)有的動(dòng)態(tài)圖像解碼方法(圖6)的不同之處在于，追加了步驟S31與步驟S32，修改步驟S14為步驟S14B。在圖像單位的處理開始(步驟S1)后，調(diào)查是否正被編輯(步驟S31)，若正被編輯，則進(jìn)行在編輯點(diǎn)處的處理(步驟S32)。若未被編輯，則與以前一樣，進(jìn)行不使用標(biāo)記處理(步驟S13)，進(jìn)行考慮編輯點(diǎn)前后的解碼順序的空區(qū)域確保處理(步驟S14B)。在編輯點(diǎn)處的處理能區(qū)別編輯點(diǎn)的前后，存儲(chǔ)器管理部205在每次超過編輯點(diǎn)時(shí)使Clip計(jì)數(shù)器加1。
圖21是本實(shí)施方式的動(dòng)態(tài)圖像解碼方法的空區(qū)域確保處理的動(dòng)作流程圖。與現(xiàn)有的空區(qū)域確保方法(圖6)的不同之處在于，對(duì)步驟S43進(jìn)行修改后的步驟S43B。在將usused的圖像存儲(chǔ)在存儲(chǔ)器中的情況下(步驟S41)，使解碼順序在前的剪切圖像優(yōu)先，搜索包含usused圖像的剪切圖像，刪除該剪切圖像的usused圖像中最初的顯示順序的圖像。換而言之，作為解碼順序中位于最初包含usused圖像的Clip的usused圖像，刪除這些圖像中的最初顯示順序的圖像。或者，換而言之，刪除解碼順序中在最初的usused圖像緊前面、緊后面的編輯點(diǎn)之間包含的usused圖像中最初的顯示順序的圖像。
如上所述，通過在編碼時(shí)附加的標(biāo)志來檢測顯示順序信息POC因編輯等而變得不連續(xù)的基礎(chǔ)上，決定刪除的圖像，所以可解決會(huì)刪除未顯示的圖像(在現(xiàn)有的圖8所示實(shí)例中為圖像I85)的問題。
為了能由本發(fā)明的動(dòng)態(tài)圖像解碼方法(圖18、圖19、圖20、圖21)來解決編輯的不連續(xù)，需要表示編輯點(diǎn)的信息。因此，優(yōu)選表示包含編輯點(diǎn)信息的信息，位于可由解碼裝置容易獲得的部位。
在本實(shí)施方式中，在顯示順序信息POC變得不連續(xù)的圖像間，附加表示顯示順序信息POC變得不連續(xù)的編碼時(shí)附加的標(biāo)志，但不限于此。例如，標(biāo)志信息生成部112也可生成表示顯示順序信息POC變得不連續(xù)的標(biāo)志、和對(duì)顯示順序信息POC變得不連續(xù)的位置(編輯點(diǎn))進(jìn)行確定的信息。另外，也可將這些信息存儲(chǔ)在序列參數(shù)組中，或存儲(chǔ)在用戶可獨(dú)自定義的User data Registered SEI中，并配置在序列的容易獲得的部位、例如開頭，或存儲(chǔ)在記錄序列的介質(zhì)中，或存儲(chǔ)在管理序列的文件格式中。將這些存儲(chǔ)形式稱為標(biāo)志形式A2。
這種情況下，當(dāng)解碼時(shí)，若編輯檢測部203從這些部位取得標(biāo)志A2，可得到編輯點(diǎn)信息，則進(jìn)行本發(fā)明的動(dòng)態(tài)圖像解碼方法(圖18、圖19、圖20、圖21)。
(實(shí)施方式2)本實(shí)施方式中的動(dòng)態(tài)圖像編碼裝置的結(jié)構(gòu)與圖17所示實(shí)施方式1的框圖一樣。
在本實(shí)施方式中，標(biāo)志信息生成部112在幀序號(hào)FN因編輯等變得不連續(xù)的情況下，生成表示幀序號(hào)FN變得不連續(xù)的標(biāo)志B。
另外，標(biāo)志信息生成部112生成的標(biāo)志B也可以是指示插入無效圖像的標(biāo)志。標(biāo)志B的附予形式與實(shí)施方式1中所示的標(biāo)志A的形式一樣。
圖22是表示本實(shí)施方式的動(dòng)態(tài)圖像解碼裝置的結(jié)構(gòu)框圖。該圖與圖10中說明的現(xiàn)有動(dòng)態(tài)圖像解碼裝置的不同之處在于，追加編輯檢測部21，并變更存儲(chǔ)器管理部212。
編輯檢測部214從可變長解碼部201取得表示幀序號(hào)FN變得不連續(xù)的標(biāo)志，并將控制信號(hào)ctrl_c輸出到存儲(chǔ)器管理部212。存儲(chǔ)器管理部212即使在通過控制信號(hào)ctrl_c從FN間隙檢測部211輸入無效圖像插入請(qǐng)求的情況下，當(dāng)從編輯檢測部214通知正被編輯時(shí)，進(jìn)行無效圖像的插入。
圖23是本發(fā)明的動(dòng)態(tài)圖像解碼方法的工作流程圖。與現(xiàn)有的動(dòng)態(tài)圖像解碼方法(圖11)的不同之處在于，追加了步驟S31，修改步驟S14為步驟S14B。此外的步驟進(jìn)行與圖11的具有相同符號(hào)的步驟相同的動(dòng)作，所以省略說明。另外，步驟S31與步驟S14B與實(shí)施方式1中說明的本發(fā)明的解碼裝置的步驟S31及步驟S14B相同，所以省略說明。
如上所述，在通過由編碼時(shí)附加的標(biāo)志來檢測幀序號(hào)FN因編輯等而變得不連續(xù)的基礎(chǔ)上，決定無效圖像的插入，所以可解決會(huì)刪除未顯示的圖像(在現(xiàn)有的圖12所示實(shí)例中為圖像P23、P24、P25)的問題。
另外，在本實(shí)施方式中，與實(shí)施方式1一樣，向幀序號(hào)FN變得不連續(xù)的圖像之間，附加表示幀序號(hào)FN變得不連續(xù)的在編碼時(shí)附加的標(biāo)志，但不限于此。例如，與實(shí)施方式1一樣，標(biāo)志信息生成部112也可生成表示幀序號(hào)FN變得不連續(xù)的標(biāo)志、和對(duì)幀序號(hào)FN變得不連續(xù)的位置(編輯點(diǎn))進(jìn)行確認(rèn)的信息。另外，與實(shí)施方式1一樣存儲(chǔ)這些信息。
此時(shí)，在解碼時(shí)，與實(shí)施方式1一樣，若編輯檢測部203從這些部位取得標(biāo)志B2，可得到編輯點(diǎn)信息，則進(jìn)行本發(fā)明的動(dòng)態(tài)圖像解碼方法(圖22、圖23)。
圖24是表示實(shí)施方式1與實(shí)施方式2中的、本發(fā)明的動(dòng)態(tài)圖像編碼方法的輸出數(shù)據(jù)結(jié)構(gòu)、本發(fā)明的動(dòng)態(tài)圖像解碼方法的輸入的數(shù)據(jù)的結(jié)構(gòu)圖。作為被編碼的動(dòng)態(tài)圖像信號(hào)的序列如圖(A)所示，包含RAP、MMCO、PICTURE的數(shù)據(jù)。RAP是Random access point SEI，其中的broken_link_field是實(shí)施方式1的標(biāo)志A，另外，是實(shí)施方式2的標(biāo)志B。PICTURE是以圖像單位被編碼的動(dòng)態(tài)圖像信號(hào)，有時(shí)在PICTURE之前存在MMCO(有時(shí)不存在)。所謂MMCO是存儲(chǔ)器管理控制操作(Memory management control operation)的指示信息。另外，如圖(B)所示，在序列的內(nèi)部、或與序列關(guān)聯(lián)的文件格式的規(guī)定位置、或記錄序列的記錄介質(zhì)等中，存儲(chǔ)實(shí)施方式1的標(biāo)志A2，另外，存儲(chǔ)實(shí)施方式2的標(biāo)志B2。
(實(shí)施方式3)圖25是表示本實(shí)施方式的動(dòng)態(tài)圖像編碼裝置的結(jié)構(gòu)框圖。
動(dòng)態(tài)圖像編碼裝置具備重排存儲(chǔ)器101、編碼排序部102、動(dòng)作檢測部103、減法運(yùn)算部104、編碼部105、動(dòng)作補(bǔ)償部106、可變長編碼部107、解碼部108、加法運(yùn)算部109和存儲(chǔ)器110、111。
重排存儲(chǔ)器101按顯示時(shí)間順序以圖像單位存儲(chǔ)所輸入的動(dòng)態(tài)圖像。編碼排序部102按進(jìn)行編碼的順序?qū)Υ鎯?chǔ)在重排存儲(chǔ)器101中的各圖像進(jìn)行重新排列。
圖26是說明本實(shí)施方式的動(dòng)態(tài)圖像編碼方法的概念圖。解決圖16所示問題的本實(shí)施方式的動(dòng)態(tài)圖像編碼方法進(jìn)行編碼，以使在某個(gè)GOP中僅存儲(chǔ)顯示順序連續(xù)的圖像，另外，某個(gè)GOP的任意圖像的顯示順序比接著解碼的GOP的任意圖像的顯示順序靠前。通過如此編碼，在圖16所示情況下，GOP1、GOP2中都不會(huì)產(chǎn)生再現(xiàn)的不連續(xù)。
圖27是本實(shí)施方式的動(dòng)態(tài)圖像編碼方法的動(dòng)作流程圖。用圖(a)來說明動(dòng)作。將從未編碼的圖像之中、從顯示順序最靠前的圖像開始連續(xù)的圖像設(shè)為顯示基本單位(步驟S61)。即，將顯示順序不能不連續(xù)的1個(gè)以上的圖像設(shè)為顯示基本單位，確定顯示基本單位，以使顯示在該顯示基本單位之前的未編碼圖像不存在。接著，調(diào)查顯示基本單位中是否有未編碼的圖像(步驟S62)，若有(步驟S62為是)，則將顯示基本單位中的未編碼圖像設(shè)為編碼替補(bǔ)，從該編碼替補(bǔ)中選擇并進(jìn)行編碼(步驟S63)。調(diào)查是否有未編碼的圖像(步驟S64)，若有(步驟S64為是)，則前進(jìn)到步驟S62。若無(步驟S64為否)，則結(jié)束。另外，顯示基本單位只要滿足條件“在未編碼的圖像中，至少從顯示順序最靠前的圖像到編碼完成的圖像中顯示順序最靠后的圖像為止包含在顯示基本單位中”，就能在任意的定時(shí)改變。
另外，圖(B)是本實(shí)施方式的動(dòng)態(tài)圖像編碼方法的動(dòng)作流程圖，但在該方法中，將從未編碼的圖像之中、從顯示順序最靠前的圖像開始到編碼完成的圖像之中顯示順序最靠后的圖像設(shè)定為必要的編碼替補(bǔ)(步驟S71)，從包含必要的編碼替補(bǔ)、未編碼的圖像中選擇并進(jìn)行編碼(步驟S72)。接著調(diào)查是否有I圖像以外的未編碼圖像(步驟S73)，若有(步驟S73為是)，則前進(jìn)到步驟S71，若無(步驟S73為否)，則結(jié)束。另外，這里雖將至下一I圖像之前設(shè)為GOP的替補(bǔ)，但不限于此，例如也可按文件格式中的GOP的記載來決定GOP的最后。
因?yàn)槿缟纤鰜頉Q定GOP，所以例如可防止如圖16所示的情況那樣在GOP1、GOP2中分別產(chǎn)生再現(xiàn)的不連續(xù)。
另外，如本實(shí)施方式中說明的那樣，即使將表示編碼的標(biāo)志加到編碼流中也無妨。
(實(shí)施方式4)圖28是說明本實(shí)施方式的動(dòng)態(tài)圖像編碼方法的概念圖。在實(shí)施方式3中，是同時(shí)進(jìn)行編輯的問題解決和隨機(jī)存取時(shí)的問題解決的方法，但本實(shí)施方式的動(dòng)態(tài)圖像編碼方法是解決隨機(jī)存取時(shí)的問題的方法。因?yàn)橹萍s比實(shí)施方式3的方法平緩，所以可使編碼效率等提高。
若以圖28的GOP2為例來說明，則在該動(dòng)態(tài)圖像編碼方法中，1)顯示時(shí)間比某個(gè)GOP的幀內(nèi)圖像(I25)靠后的圖像(B26、B27、B28)，不在包含該幀內(nèi)圖像的GOP(GOP2)緊前面的GOP(GOP1)內(nèi)編碼。通過如此控制，如圖中情況A所示，即使從GOP2的最初的圖像(I25)開始解碼，也可全部正確顯示最初的圖像之后的圖像。
2)并且，顯示時(shí)間比某個(gè)GOP的幀內(nèi)圖像(I25)靠前、且顯示時(shí)間比該GOP緊前面的GOP的幀內(nèi)圖像(I19)靠后的圖像(I19、B20、B21、B22、B23、B24)，在該GOP(GOP2)或緊前面的GOP(GOP1)中編碼。通過如此控制，即使從GOP1的最初圖像(I19)開始解碼，也可全部正確顯示GOP1的最初圖像(I19)以后的圖像。
或者換言之，1)以GOP1為例，顯示于某個(gè)GOP最后的圖像選擇在下一GOP的I圖像(I25)之前顯示的圖像來進(jìn)行編碼(即必要選擇圖像P24以前的圖像)。2)以GOP2為例，顯示在某個(gè)GOP內(nèi)最初的圖像，從在緊前面的GOP的I圖像(I19)之后顯示的圖像中選擇并進(jìn)行編碼(即必要選擇圖像B20以后的圖像)。
或者換言之，是如下編碼的動(dòng)態(tài)圖像編碼方法，即，使顯示在某個(gè)GOP最初的圖像的顯示順序在緊前面的GOP的I圖像的顯示順序之后，顯示在該GOP最后的圖像的顯示順序在緊后面的GOP的I圖像的顯示順序之前。這里，作為I圖像來說明，但即使對(duì)可獨(dú)立解碼的圖像也可同等適用。
圖29是本實(shí)施方式的動(dòng)態(tài)圖像編碼方法的動(dòng)作流程圖。首先，選擇未編碼的圖像，作為入口圖像來編碼(步驟S81)。所謂入口圖像是可獨(dú)立解碼的圖像。接著，將從未編碼的圖像之中、顯示順序在最后編碼的入口圖像之前的圖像設(shè)為必要的編碼替補(bǔ)，接著，將顯示順序在編碼預(yù)定的入口圖像之前的未編碼圖像設(shè)為可省略的編碼替補(bǔ)(步驟S82)。接著，調(diào)查必要的編碼替補(bǔ)中是否有未編碼的圖像(步驟S83)，若有(步驟S83為是)，則從必要的編碼替補(bǔ)及可省略的編碼替補(bǔ)中選擇并進(jìn)行編碼(步驟S85)。之后，調(diào)查是否有未編碼的圖像(步驟S86)，若有，則前進(jìn)到步驟S83，若沒有，則結(jié)束處理。在步驟S83中，在必要的編碼替補(bǔ)中沒有未編碼的圖像時(shí)(步驟S83為否)，則在步驟S84中，判斷是否進(jìn)行下一入口圖像的編碼(步驟S84)。在進(jìn)行入口圖像的編碼的情況下(步驟S84為是)，則前進(jìn)到步驟S81，在不進(jìn)行編碼的情況下(步驟S84為否)，則前進(jìn)到步驟S85。
如上所述，顯示順序在GOP中的最初入口圖像之后的圖像，編碼成包含在該GOP以后的GOP中，所以即使解碼某一GOP以后的圖像，也可不產(chǎn)生再現(xiàn)的不連續(xù)地進(jìn)行再現(xiàn)。
另外，即使將表示本實(shí)施方式中說明的那樣編碼的標(biāo)志附加到編碼流中也無妨。
(實(shí)施方式5)并且，通過將實(shí)現(xiàn)上述各實(shí)施方式中所示的動(dòng)態(tài)圖像編碼方法或動(dòng)態(tài)圖像解碼方法的結(jié)構(gòu)的程序記錄在軟盤等存儲(chǔ)介質(zhì)中，可在獨(dú)立的計(jì)算機(jī)系統(tǒng)中簡單實(shí)施上述各實(shí)施方式中所示的處理。
圖30是使用存儲(chǔ)上述各實(shí)施方式的動(dòng)態(tài)圖像編碼方法和動(dòng)態(tài)圖像解碼方法的軟盤，由計(jì)算機(jī)系統(tǒng)來實(shí)施的情況的說明圖。
圖30(b)表示從軟盤的正面看的外觀、剖面結(jié)構(gòu)及軟盤，圖30(a)表示作為記錄介質(zhì)主體的軟盤的物理格式的實(shí)例。軟盤FD內(nèi)置于殼體F內(nèi)，在該盤的表面上，以同心圓形從外周向內(nèi)周形成多個(gè)軌道Tr，沿角度方向?qū)⒏鬈壍婪指畛?6個(gè)扇區(qū)Se。因此，在存儲(chǔ)上述程序的軟盤中，在上述軟盤FD上分配的區(qū)域中，記錄作為上述程序的動(dòng)態(tài)圖像編碼方法和動(dòng)態(tài)圖像解碼方法。
另外，圖30(c)表示在軟盤FD上進(jìn)行上述程序的記錄再現(xiàn)的結(jié)構(gòu)。在將上述程序記錄在軟盤FD中的情況下，從計(jì)算機(jī)系統(tǒng)Cs經(jīng)軟盤驅(qū)動(dòng)器寫入作為上述程序的動(dòng)態(tài)圖像編碼方法和動(dòng)態(tài)圖像解碼方法。另外，在通過軟盤內(nèi)的程序在計(jì)算機(jī)系統(tǒng)中構(gòu)筑上述動(dòng)態(tài)圖像編碼方法和動(dòng)態(tài)圖像解碼方法的情況下，通過軟盤驅(qū)動(dòng)器從軟盤中讀出程序，并傳送到計(jì)算機(jī)系統(tǒng)。
另外，在上述說明中，將軟盤用作記錄介質(zhì)來進(jìn)行說明，但使用光盤也可同樣進(jìn)行。另外，記錄介質(zhì)不限于此，只要是IC卡、ROM盒帶等能記錄程序的介質(zhì)，即可同樣實(shí)施。
這里，說明上述實(shí)施方式所示的動(dòng)態(tài)圖像編碼方法或動(dòng)態(tài)圖像解碼方法的應(yīng)用例和使用該方法的系統(tǒng)。
圖31是表示實(shí)現(xiàn)內(nèi)容發(fā)送服務(wù)的內(nèi)容提供系統(tǒng)ex100的整體結(jié)構(gòu)框圖。將通信服務(wù)的提供面積分割成期望的大小，并在各小區(qū)內(nèi)分別設(shè)置作為固定無線站的基站ex107-ex110。
該內(nèi)容提供系統(tǒng)ex100例如經(jīng)由英特網(wǎng)服務(wù)提供商ex102和電話網(wǎng)ex104、及基站ex107-ex110，在英特網(wǎng)ex101上連接計(jì)算機(jī)ex111、PDA(個(gè)人數(shù)字助理personal digital assistant)ex112、攝像機(jī)ex113、便攜電話ex114、帶攝像機(jī)的便攜電話ex115等各設(shè)備。
但是，內(nèi)容提供系統(tǒng)ex100不限于圖31的組合，也可任意組合后進(jìn)行連接。另外，各設(shè)備也可不經(jīng)由作為固定無線站的基站ex107-ex110來直接連接于電話網(wǎng)ex104上。
攝像機(jī)ex113是數(shù)字視頻攝像機(jī)等可拍攝動(dòng)態(tài)圖像的設(shè)備。另外，便攜電話是PDC(Personal Digital Communications)方式、CDMA(Code Division Multiple Access)方式、W-CDMA(Wideband-CodeDivision Multiple Access)方式、或GSM(Global System for MobileCommunication)方式的便攜電話機(jī)、或PHS(Personal HandyphoneSystem)等，是哪個(gè)都無妨。
另外，流服務(wù)器(streaming server)ex103從攝像機(jī)ex113經(jīng)由基站ex109、電話網(wǎng)ex104連接，可使用攝像機(jī)ex113，基于用戶發(fā)送的編碼處理后的數(shù)據(jù)進(jìn)行現(xiàn)場發(fā)送等。所拍攝的數(shù)據(jù)的編碼處理既可由攝像機(jī)ex113進(jìn)行，也可由進(jìn)行數(shù)據(jù)發(fā)送處理的服務(wù)器等進(jìn)行。另外，由攝像機(jī)ex116拍攝的動(dòng)態(tài)圖像數(shù)據(jù)也可經(jīng)由計(jì)算機(jī)ex111發(fā)送到流服務(wù)器ex103。攝像機(jī)ex116是數(shù)碼攝像機(jī)等可拍攝靜止圖像、動(dòng)態(tài)圖像的設(shè)備。此時(shí)，動(dòng)態(tài)圖像數(shù)據(jù)的編碼可由攝像機(jī)ex116進(jìn)行，也可由計(jì)算機(jī)ex111來進(jìn)行。另外，編碼處理在計(jì)算機(jī)ex111或攝像機(jī)ex116具有的LSIex117中進(jìn)行處理。另外，也可將動(dòng)態(tài)圖像編碼/解碼用軟件裝在作為可由計(jì)算機(jī)ex111等讀取的記錄介質(zhì)的任一存儲(chǔ)介質(zhì)(CD-ROM、軟盤、硬盤等)中。并且，也可由帶攝像機(jī)的便攜電話ex115來發(fā)送動(dòng)態(tài)圖像數(shù)據(jù)。此時(shí)的動(dòng)態(tài)圖像數(shù)據(jù)是由便攜電話ex115具有的LSI編碼處理后的數(shù)據(jù)。
在該內(nèi)容提供系統(tǒng)ex100中，用戶與上述實(shí)施方式一樣編碼處理由攝像機(jī)ex113、攝像機(jī)ex116等拍攝的內(nèi)容(例如拍攝音樂現(xiàn)場的視頻等)后，發(fā)送到流服務(wù)器ex103，另一方面，流服務(wù)器ex103向有請(qǐng)求的客戶機(jī)流發(fā)送上述內(nèi)容數(shù)據(jù)。作為客戶機(jī)，有可對(duì)上述編碼處理后的數(shù)據(jù)進(jìn)行解碼的計(jì)算機(jī)ex111、PDAex112、攝像機(jī)ex113、便攜電話ex114等。由此，內(nèi)容提供系統(tǒng)ex100是可由客戶機(jī)接收編碼后的數(shù)據(jù)并進(jìn)行再現(xiàn)，并且在客戶機(jī)實(shí)時(shí)接收并解碼、進(jìn)行再現(xiàn)，由此可實(shí)現(xiàn)個(gè)人播放的系統(tǒng)。
最好在構(gòu)成該系統(tǒng)的各設(shè)備的編碼、解碼中使用上述各實(shí)施方式中所示的動(dòng)態(tài)圖像編碼裝置或動(dòng)態(tài)圖像解碼裝置。
作為一例，說明便攜電話。
圖32是表示使用上述實(shí)施方式說明的動(dòng)態(tài)圖像編碼方法和動(dòng)態(tài)圖像解碼方法的便攜電話ex115的圖。便攜電話ex115具有與基站ex110之間收發(fā)電波的天線ex201；CCD攝像機(jī)等可拍攝視頻、靜止圖像的攝像機(jī)部ex203、對(duì)解碼由攝像機(jī)部ex203拍攝的視頻、由天線ex201接收的視頻等的數(shù)據(jù)進(jìn)行顯示的液晶顯示器等顯示部ex202；由操作鍵ex204組構(gòu)成的主體部；用于進(jìn)行聲音輸入的揚(yáng)聲器等聲音輸出部ex208；用于進(jìn)行聲音輸入的麥克風(fēng)等聲音輸入部ex205；用于對(duì)拍攝的動(dòng)態(tài)圖像或靜止圖像的數(shù)據(jù)、接收到的郵件的數(shù)據(jù)、動(dòng)態(tài)圖像的數(shù)據(jù)或靜止圖像的數(shù)據(jù)等編碼后的數(shù)據(jù)或解碼后的數(shù)據(jù)進(jìn)行保存的記錄介質(zhì)ex207；可將記錄介質(zhì)ex207安裝在便攜電話ex115中的插槽部ex206。記錄介質(zhì)ex207是在SD卡等塑料外殼內(nèi)容納作為可進(jìn)行電改寫或刪除的非易失性存儲(chǔ)器的EEPROM(Electrically Erasable and Programmable Read Only Memory)之一的閃存存儲(chǔ)器元件。
用圖33來說明便攜電話ex115。便攜電話ex115經(jīng)由同步總線ex313將電源電路部ex310、操作輸入控制部ex304、圖像編碼部ex312、攝像機(jī)接口部ex303、LCD(Liquid Crystal Display)控制部ex302、圖像解碼部ex309、多路復(fù)用分離部ex308、記錄再現(xiàn)部ex307、調(diào)制解調(diào)電路部ex306及聲音處理部ex305，相互連接到統(tǒng)一控制具備顯示部ex202及操作鍵ex204的主體部各部的主控制部ex311上。
電源電路部ex310若因用戶的操作而在結(jié)束通話及電源鍵為導(dǎo)通狀態(tài)時(shí)，通過從電池組向各部提供功率，將帶攝像機(jī)的數(shù)字便攜電話ex115啟動(dòng)到可動(dòng)作的狀態(tài)。
便攜電話ex115根據(jù)由CPU、ROM及RAM等構(gòu)成的主控制部ex311的控制，通過聲音處理部ex305將聲音通話模式時(shí)由聲音輸入部ex205集中的聲音信號(hào)變換為數(shù)字聲音數(shù)據(jù)，由調(diào)制解調(diào)電路部ex306進(jìn)行擴(kuò)頻處理，并由發(fā)送接收電路部ex301實(shí)施數(shù)模變換處理及頻率變換處理后，經(jīng)天線ex201發(fā)送。另外，便攜電話機(jī)ex115放大聲音通話模式時(shí)由天線ex201接收到的接收數(shù)據(jù)，實(shí)施頻率變換處理及模數(shù)變換處理，并由調(diào)制解碼電路部ex306進(jìn)行逆擴(kuò)頻處理，在由聲音處理部ex305變換為模擬聲音數(shù)據(jù)后，經(jīng)聲音輸出部ex208輸出。
并且，在數(shù)據(jù)通信模式時(shí)發(fā)送電子郵件的情況下，通過主體部的操作鍵ex204的操作輸入的電子郵件的文本數(shù)據(jù)，經(jīng)由操作輸入控制部ex304送到主控制部ex311。主控制部ex311由調(diào)制解調(diào)電路部ex306對(duì)文本數(shù)據(jù)進(jìn)行擴(kuò)頻處理，由發(fā)送接收電路部ex301實(shí)施數(shù)模變換處理及頻率變換處理后，經(jīng)天線ex201發(fā)送到基站ex110。
在數(shù)據(jù)通信模式時(shí)發(fā)送圖像數(shù)據(jù)的情況下，經(jīng)攝像機(jī)接口部ex303將由攝像機(jī)部ex203拍攝的圖像數(shù)據(jù)提供給圖像編碼部ex312。另外，在不發(fā)送圖像數(shù)據(jù)的情況下，也可經(jīng)攝像機(jī)接口部ex303及LCD控制部ex302，將由攝像機(jī)部ex203拍攝的圖像數(shù)據(jù)直接顯示在顯示部ex202上。
圖像編碼部ex312具備本申請(qǐng)中說明的動(dòng)態(tài)圖像編碼裝置，通過按照用于上述實(shí)施方式所示的動(dòng)態(tài)圖像編碼裝置的編碼方法，壓縮編碼從攝像機(jī)部ex203提供的圖像數(shù)據(jù)，變換為編碼圖像數(shù)據(jù)，并發(fā)送到多路復(fù)用分離部ex308。另外，與此同時(shí)，便攜電話機(jī)ex115將攝像機(jī)部ex203在拍攝中由聲音輸入部ex205集中到的聲音作為數(shù)字的聲音數(shù)據(jù)，經(jīng)聲音處理部ex305，發(fā)送到多路復(fù)用分離部ex308。
多路復(fù)用分離部ex308按規(guī)定的方式多路復(fù)用從圖像編碼部ex312提供的編碼圖像數(shù)據(jù)和從聲音處理部ex305提供的聲音數(shù)據(jù)，調(diào)制解調(diào)電路部ex306對(duì)結(jié)果得到的多路復(fù)用數(shù)據(jù)進(jìn)行擴(kuò)頻處理，并由發(fā)送接收電路部ex301實(shí)施數(shù)模變換處理及頻率變換處理后，經(jīng)天線ex201發(fā)送。
在數(shù)據(jù)通信模式時(shí)，在接收鏈接到網(wǎng)頁等上的動(dòng)態(tài)圖像文件的數(shù)據(jù)的情況下，調(diào)制解調(diào)電路部ex306逆擴(kuò)頻處理經(jīng)天線ex201從基站ex110接收到的接收數(shù)據(jù)，并將結(jié)果得到的多路復(fù)用數(shù)據(jù)發(fā)送到多路復(fù)用分離部ex308。
另外，在解碼經(jīng)天線ex201接收到的多路復(fù)用數(shù)據(jù)中，多路復(fù)用分離部ex308通過分離多路復(fù)用數(shù)據(jù)，分成圖像數(shù)據(jù)的比特流與聲音數(shù)據(jù)的比特流，經(jīng)同步總線ex313將該編碼圖像數(shù)據(jù)提供給圖像解碼部ex309，同時(shí)，將該聲音數(shù)據(jù)提供給聲音處理部ex305。
下面，圖像解碼部ex309具備本申請(qǐng)中說明的動(dòng)態(tài)圖像解碼裝置，通過由對(duì)應(yīng)于上述實(shí)施方式所示的編碼方法的解碼方法來解碼圖像數(shù)據(jù)的比特流，生成再現(xiàn)動(dòng)態(tài)圖像數(shù)據(jù)，并經(jīng)LCD控制部ex302提供給顯示部ex202，由此，顯示例如鏈接到網(wǎng)頁上的動(dòng)態(tài)圖像文件中包含的動(dòng)態(tài)圖像數(shù)據(jù)。與此同時(shí)，聲音處理部ex305在將聲音數(shù)據(jù)變換為模擬聲音數(shù)據(jù)后，提供給聲音輸出部ex208，由此，再現(xiàn)例如鏈接到網(wǎng)頁上的動(dòng)態(tài)圖像文件中包含的聲音數(shù)據(jù)。
另外，不限于上述系統(tǒng)實(shí)例，最近基于衛(wèi)星、地面波的數(shù)字播放成為話題，如圖34所示，也可在數(shù)字播放系統(tǒng)中裝入上述實(shí)施方式的至少動(dòng)態(tài)圖像編碼裝置或動(dòng)態(tài)圖像解碼裝置之一。具體而言，播放站ex409經(jīng)電波將視頻信息的比特流傳輸?shù)酵ㄐ呕虿シ判l(wèi)星ex410。接收到上述比特流的播放衛(wèi)星ex410發(fā)射播放用電波，具有衛(wèi)星播放接收設(shè)備的家庭的天線ex406接收該電波，由電視(接收機(jī))ex401或機(jī)頂盒(STB)ex407等裝置來解碼比特流并進(jìn)行再現(xiàn)。另外，也可在讀取記錄在作為記錄介質(zhì)的CD或DVD等存儲(chǔ)介質(zhì)ex402中的比特流并解碼的再現(xiàn)裝置ex403中，安裝上述各實(shí)施方式中所示的動(dòng)態(tài)圖像解碼裝置。此時(shí)，將再現(xiàn)的視頻信號(hào)顯示在監(jiān)視器ex404中。另外，還考慮在連接于有線電視用電纜ex405或衛(wèi)星/地面波播放的天線ex406上的機(jī)頂盒ex407內(nèi)安裝動(dòng)態(tài)圖像解碼裝置，由電視的監(jiān)視器ex408來再現(xiàn)。此時(shí)，也可不是機(jī)頂盒，而在電視內(nèi)裝入動(dòng)態(tài)圖像解碼裝置。另外，也可以是具有天線ex411的汽車ex412從衛(wèi)星ex410或基站ex107等接收信號(hào)，在汽車ex412具有的汽車導(dǎo)航系統(tǒng)ex413等的顯示裝置中再現(xiàn)動(dòng)態(tài)圖像。
并且，也可由上述實(shí)施方式所示的動(dòng)態(tài)圖像編碼裝置編碼圖像信號(hào)并記錄在記錄介質(zhì)中。作為具體例，有在DVD盤ex421中記錄圖像信號(hào)的DVD記錄器、或在硬盤中記錄圖像信號(hào)的盤記錄器等記錄器ex420。另外，也可記錄在SD卡ex422中。若記錄器ex420具備上述實(shí)施方式所示的動(dòng)態(tài)圖像解碼裝置，則可再現(xiàn)記錄在DVD盤ex421或SD卡ex422中的圖像信號(hào)并由監(jiān)視器ex408進(jìn)行顯示。
另外，汽車導(dǎo)航系統(tǒng)ex413的結(jié)構(gòu)考慮例如在圖33所示結(jié)構(gòu)中去除攝像機(jī)部ex203與攝像機(jī)接口部ex303、圖像編碼部ex312的結(jié)構(gòu)，在計(jì)算機(jī)ex111或電視(接收機(jī))ex401等中也作同樣考慮。
另外，上述便攜電話ex114等的終端除具有編碼器、解碼器雙方的發(fā)送接收型終端外，還考慮僅有編碼器的發(fā)送終端、僅有解碼器的接收終端等3種安裝形式。
這樣，可將上述實(shí)施方式所示的動(dòng)態(tài)圖像編碼方法或動(dòng)態(tài)圖像解碼方法用于上述任一設(shè)備/系統(tǒng)中，從而可得到上述實(shí)施方式中說明的效果。
另外，本發(fā)明不限于上述實(shí)施方式，在不脫離本發(fā)明范圍的情況下，可進(jìn)行各種變形或修改。
產(chǎn)業(yè)上的可利用性如上所述，根據(jù)本發(fā)明的動(dòng)態(tài)圖像編碼方法和動(dòng)態(tài)圖像解碼方法，例如可用作在便攜電話、DVD裝置和個(gè)人計(jì)算機(jī)等中對(duì)構(gòu)成動(dòng)態(tài)圖像的各圖像進(jìn)行編碼后生成編碼流、或?qū)λ傻木幋a流進(jìn)行解碼的方法。
權(quán)利要求
1.一種動(dòng)態(tài)圖像編碼方法，用圖像單位對(duì)動(dòng)態(tài)圖像信號(hào)進(jìn)行編碼來生成編碼流，其特征在于，包含以下步驟標(biāo)志信息形成步驟，形成表示所述圖像的順序不連續(xù)的標(biāo)志信息；和信息附加步驟，向所述編碼流附加所述標(biāo)志信息。
2.根據(jù)權(quán)利要求1所述的動(dòng)態(tài)圖像編碼方法，其特征在于在所述標(biāo)志信息形成步驟中，在圖像的顯示順序信息不連續(xù)的情況下，所述圖像的順序不連續(xù)。
3.根據(jù)權(quán)利要求1所述的動(dòng)態(tài)圖像編碼方法，其特征在于在所述標(biāo)志信息形成步驟中，在圖像的編碼順序信息不連續(xù)的情況下，所述圖像的順序不連續(xù)。
4.根據(jù)權(quán)利要求1所述的動(dòng)態(tài)圖像編碼方法，其特征在于在所述信息附加步驟中，在所述編碼流中的所述圖像的順序不連續(xù)的兩個(gè)圖像之間，附加所述標(biāo)志信息。
5.根據(jù)權(quán)利要求1所述的動(dòng)態(tài)圖像編碼方法，其特征在于還包含位置信息形成步驟，形成確定所述圖像的順序不連續(xù)的位置的位置信息，在所述信息附加步驟中，與所述標(biāo)志信息一起附加所述位置信息。
6.一種動(dòng)態(tài)圖像編碼方法，用圖像單位對(duì)動(dòng)態(tài)圖像信號(hào)進(jìn)行編碼來生成編碼流，其特征在于，包含以下步驟編碼步驟，從由多個(gè)圖像構(gòu)成的規(guī)定編碼單位中的最初畫面內(nèi)編碼圖像開始進(jìn)行編碼，使顯示順序在后的圖像包含于該編碼單位以后的編碼單位中。
7.根據(jù)權(quán)利要求6所述的動(dòng)態(tài)圖像編碼方法，其特征在于在所述編碼步驟中，進(jìn)一步進(jìn)行編碼，使所述規(guī)定編碼單位內(nèi)的圖像的顯示順序連續(xù)，且按照編碼順序，比該規(guī)定編碼單位緊后面的規(guī)定編碼單位內(nèi)的圖像的顯示順序靠前。
8.一種動(dòng)態(tài)圖像解碼方法，用圖像單位對(duì)編碼流進(jìn)行解碼，其特征在于，包含以下步驟信息提取步驟，提取表示所述圖像的順序不連續(xù)的標(biāo)志信息；和管理步驟，根據(jù)所述標(biāo)志信息，管理對(duì)解碼完的圖像進(jìn)行存儲(chǔ)的區(qū)域。
9.根據(jù)權(quán)利要求8所述的動(dòng)態(tài)圖像解碼方法，其特征在于所述標(biāo)志信息是表示圖像的顯示順序信息不連續(xù)的信息，在所述管理步驟中，根據(jù)所述顯示順序信息和所述標(biāo)志信息，決定存儲(chǔ)在所述區(qū)域中的解碼完的圖像中顯示順序最靠前的圖像，并將決定的圖像設(shè)定為刪除對(duì)象圖像。
10.根據(jù)權(quán)利要求9所述的動(dòng)態(tài)圖像解碼方法，其特征在于在所述管理步驟中，向存儲(chǔ)在所述區(qū)域中的解碼完的圖像賦予在抽取所述標(biāo)志信息時(shí)更新的剪切信息，根據(jù)所述顯示順序信息和所述剪切信息，決定存儲(chǔ)在所述區(qū)域中的解碼完的圖像中顯示順序最靠前的圖像，并將決定的圖像設(shè)定為刪除對(duì)象圖像。
11.根據(jù)權(quán)利要求8所述的動(dòng)態(tài)圖像解碼方法，其特征在于還包含無效圖像存儲(chǔ)步驟，在圖像的編碼順序信息不連續(xù)的情況下，在所述區(qū)域中存儲(chǔ)無效圖像，所述標(biāo)志信息是表示所述編碼順序信息不連續(xù)的信息，在所述管理步驟中，根據(jù)所述標(biāo)志信息和所述編碼順序信息，判斷所述區(qū)域中是否存儲(chǔ)無效圖像，在所述無效圖像存儲(chǔ)步驟中，根據(jù)所述管理步驟的判斷結(jié)果，在所述區(qū)域中存儲(chǔ)無效圖像。
12.一種動(dòng)態(tài)圖像編碼裝置，用圖像單位對(duì)動(dòng)態(tài)圖像信號(hào)進(jìn)行編碼來生成編碼流，其特征在于，具備標(biāo)志信息形成單元，形成表示所述圖像的順序不連續(xù)的標(biāo)志信息；和信息附加單元，向所述編碼流附加所述標(biāo)志信息。
13.一種動(dòng)態(tài)圖像解碼裝置，用圖像單位對(duì)編碼流進(jìn)行解碼，其特征在于，具備信息提取單元，提取表示所述圖像的順序不連續(xù)的標(biāo)志信息；和管理單元，根據(jù)所述標(biāo)志信息，管理對(duì)解碼完的圖像進(jìn)行存儲(chǔ)的區(qū)域。
14.一種用圖像單位對(duì)動(dòng)態(tài)圖像信號(hào)進(jìn)行編碼并生成編碼流的程序，其特征在于標(biāo)志信息形成步驟，形成表示所述圖像的順序不連續(xù)的標(biāo)志信息；和信息附加步驟，向所述編碼流附加所述標(biāo)志信息。
15.一種用圖像單位對(duì)編碼流進(jìn)行解碼的程序，其特征在于，利用計(jì)算機(jī)執(zhí)行以下步驟信息提取步驟，提取表示所述圖像的順序不連續(xù)的標(biāo)志信息；和管理步驟，根據(jù)所述標(biāo)志信息，管理對(duì)解碼完的圖像進(jìn)行存儲(chǔ)的區(qū)域。
全文摘要
本發(fā)明提供一種動(dòng)態(tài)圖像編碼方法及動(dòng)態(tài)圖像解碼方法及其裝置。該動(dòng)態(tài)圖像編碼裝置具備標(biāo)志信息生成部(112)，在顯示順序信息(POC)因編輯等而不連續(xù)的情況下，生成表示顯示順序信息(POC)不連續(xù)的標(biāo)志；和可變長編碼部(113)，對(duì)輸入的編碼信號(hào)進(jìn)行可變長編碼等，通過附加由標(biāo)志信息生成部(112)生成的標(biāo)志等信息，生成編碼流(Str)。
文檔編號(hào)H04N7/36GK1523892SQ200410005548
公開日2004年8月25日 申請(qǐng)日期2004年2月19日 優(yōu)先權(quán)日2003年2月19日
發(fā)明者能登屋陽司, 也, 角野真也 申請(qǐng)人:松下電器產(chǎn)業(yè)株式會(huì)社