專利名稱：運(yùn)動圖像數(shù)據(jù)的記錄再生方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及運(yùn)動圖像數(shù)據(jù)的記錄再生方法和裝置，更詳細(xì)而言，就是涉及適用于幀內(nèi)編碼的適用頻度少的數(shù)字運(yùn)動圖像編碼數(shù)據(jù)串的部分的記錄的運(yùn)動圖像數(shù)據(jù)的記錄再生方法和裝置。
像數(shù)字廣播那樣，在同時向不特定的多個用戶實時分發(fā)數(shù)字運(yùn)動圖像的1對多的應(yīng)用程序中，采用在各終端可以瞬時開始接收的運(yùn)動圖像數(shù)據(jù)的譯碼處理的數(shù)據(jù)結(jié)構(gòu)，即采用可以從任意的時刻進(jìn)行譯碼的編碼數(shù)據(jù)(比特流)形式。
作為數(shù)字廣播中的運(yùn)動圖像比特流的1例，圖2表示MPEG方式的數(shù)據(jù)結(jié)構(gòu)。在MPEG方式中，定義了稱為幀內(nèi)編碼、幀間編碼、雙向編碼的3種編碼。
「幀內(nèi)編碼」是對當(dāng)前幀的圖像直接進(jìn)行DCT(離散余弦變換)的數(shù)據(jù)壓縮方法，應(yīng)用幀內(nèi)編碼的幀，在MPEG-4中叫作I-VOP(Intra-coded Video Object Plane)，在MPEG-2中叫作I-Picture。VOP在矩形圖像中和幀是同義語。I-VOP在編碼、譯碼時不需要過去的幀的譯碼信息，所以，可以作為編碼運(yùn)動圖像的隨機(jī)訪問時的譯碼開始幀使用。
「幀間編碼」是在時間上利用過去的幀的編碼信息對1個幀進(jìn)行數(shù)據(jù)壓縮的編碼方法，應(yīng)用幀間編碼的幀在MPEG-4中稱為P-VOP(Predictive-coded VOP)，在MPEG-2中稱為P-Picture。另外，「雙向編碼」是在時間上利用已編碼的過去的和未來的2個幀具有的編碼信息對1個幀進(jìn)行數(shù)據(jù)壓縮的方法，應(yīng)用雙向編碼的幀在MPEG-4中稱為B-VOP(Bidirectionally Predicted-codedVOP)，在MPEG-2中稱為B-Picture。
在以下的說明中，以MPEG-4比特流的數(shù)據(jù)結(jié)構(gòu)為前提，圖中所示的符號I表示I-VOP，符號P表示P-VOP，符號B表示B-VOP。
圖2所示的MPEG比特流是定期地插入表示比特流尺寸等、序列全體的特征的標(biāo)題信息201和I-VOP202的數(shù)據(jù)結(jié)構(gòu)。該數(shù)據(jù)結(jié)構(gòu)從例如由虛線所示的P-VOP和B-VOP構(gòu)成的數(shù)據(jù)部分203開始比特流的接收動作時，通過在終端側(cè)等待下次出現(xiàn)的標(biāo)題信息201和I-VOP202，便可開始進(jìn)行接收數(shù)據(jù)的譯碼處理。因此，按照上述數(shù)據(jù)結(jié)構(gòu)，通過將數(shù)據(jù)部分203的尺寸限制到視聽者意識不到等待時間的大小，便可向各視聽者提供瞬時開始的運(yùn)動圖像分發(fā)服務(wù)。
在最近開始服務(wù)的數(shù)字廣播中，上述MPEG-4的標(biāo)題信息201由例如圖3所示的VOS標(biāo)題201-1、VO標(biāo)題201-2、VOL標(biāo)題201-3、GOV標(biāo)題201-4構(gòu)成。
VOS標(biāo)題201-1包含決定MPEG-4產(chǎn)品的應(yīng)用范圍的簡檔和級別信息，VO標(biāo)題201-2包含MPEG-4的版本信息。VOL標(biāo)題201-3包含接收數(shù)據(jù)的譯碼所需要的圖像尺寸、編碼位速率、幀存儲器尺寸、應(yīng)用工具等信息。另外，GOV標(biāo)題201-4包含在預(yù)約再生等中靈活運(yùn)用的時刻信息。
上述定期地插入標(biāo)題信息201和I-VOP202的數(shù)據(jù)結(jié)構(gòu)對于視頻錄像及錄像數(shù)據(jù)的隨機(jī)訪問是有效的。例如，在視頻錄像中，用戶在按下錄像開始按鈕后，通過分析開始出現(xiàn)的標(biāo)題信息201，便可記錄其以后的數(shù)據(jù)。MPEG譯碼器是即使跳過B-VOP或B-Picture的譯碼處理也不會破壞序列全體的譯碼圖像串的品質(zhì)的結(jié)構(gòu)，所以，通過頻繁地將B-VOP夾到上述數(shù)據(jù)部分203中，便可很容易地進(jìn)行記錄數(shù)據(jù)的快送或高速再生等。
在利用無線線路的實時通信中，由于傳輸延遲、通信容量、數(shù)據(jù)的傳輸錯誤、電力消耗等的限制，難于向比特流中頻繁地插入I-VOP。因此，在以使用無線線路為前提的請求式的流運(yùn)動圖像分發(fā)服務(wù)中，就不得不例如像圖4所示的那樣采用竭力避免使用I-VOP的編碼數(shù)據(jù)。
圖4所示的編碼數(shù)據(jù)和圖2不同，是在標(biāo)題信息311和I-VOP312之后配置由連續(xù)的多個P-VOP構(gòu)成的長的數(shù)據(jù)串313的數(shù)據(jù)結(jié)構(gòu)。這時，為了修正傳輸錯誤，通常在P-VOP串中適當(dāng)?shù)嘏渲脙?nèi)部編碼塊。上述內(nèi)部編碼塊的作用是更新由于傳輸錯誤而劣化的塊的圖像品質(zhì)，在MPEG的情況時，將1個VOP分割為16×16像素尺寸的多個塊，周期地變更編碼對象塊的位置，以便可以用數(shù)個VOP更新所有的編碼塊。在流運(yùn)動圖像分發(fā)服務(wù)中，如圖5所示的那樣，例如標(biāo)題信息311由VOS標(biāo)題311-1、VO標(biāo)題311-2、VOL標(biāo)題311-3構(gòu)成，有時不包含GOV標(biāo)題。
然而，減少比特流中的I-VOP的插入頻度時，I-VOP之后的數(shù)據(jù)部分313的尺寸將增長，所以，即使在終端側(cè)僅想記錄接收流(編碼數(shù)據(jù)串)中的特定部分時，實際上也必須記錄在從I-VOP到目的圖像幀之間所接收的多個不需要的幀群。
例如，假定圖4所示的比特流是3分鐘的運(yùn)動圖像數(shù)據(jù)，即使用戶僅想記錄位于比特流中的最終部分的僅僅15秒鐘的運(yùn)動圖像時，也必須記錄從譯碼所不可缺少的標(biāo)題311、I-VOP312到目的圖像幀的全部比特流。因此，例如在手機(jī)那樣的內(nèi)裝小容量存儲器的終端裝置中，即使用戶想有選擇將在接收運(yùn)動圖像中將選擇的特定流部分進(jìn)行錄像，在到達(dá)目的流部分之前，也有可能內(nèi)裝存儲器已沒有了存儲空間，從而造成錄像失敗，為了可靠地將包含所希望的畫面的部分的流進(jìn)行錄像，必須預(yù)先將具有足夠的存儲容量的外部存儲裝置與終端裝置連接。
本發(fā)明的目的旨在提供適用于內(nèi)裝容量比較小的存儲器的終端裝置的運(yùn)動圖像數(shù)據(jù)的記錄再生方法。
本發(fā)明的其他目的在于提供可以將從幀內(nèi)編碼的適用頻度少的運(yùn)動圖像編碼數(shù)據(jù)串中抽出的任意部分的圖像流記錄到容量比較小的存儲器中的運(yùn)動圖像數(shù)據(jù)的記錄再生方法。
本發(fā)明的另一目的在于提供可以記錄再生幀內(nèi)編碼的適用頻度少的運(yùn)動圖像編碼數(shù)據(jù)串中的任意部分的圖像流的終端裝置。
為了達(dá)到上述目的，本發(fā)明的特征在于在將接收的運(yùn)動圖像編碼數(shù)據(jù)串(接收比特流)譯碼并顯示再生圖像的期間，預(yù)先將任意選擇的譯碼圖像作為假想的幀內(nèi)編碼圖像進(jìn)行保存，將產(chǎn)生作為上述假想的幀內(nèi)編碼圖像被處理的譯碼圖像之后的特定期間的再生圖像的部分接收比特流作為錄像數(shù)據(jù)進(jìn)行記錄。
按照本發(fā)明，將上述假想的幀內(nèi)編碼圖像作為初始數(shù)據(jù)，并陸續(xù)將作為錄像數(shù)據(jù)而記錄的后續(xù)幀的比特流譯碼，便可作為再生圖像進(jìn)行顯示。上述假想的幀內(nèi)編碼圖像也可以用再次將譯碼圖像編碼而得到的編碼數(shù)據(jù)的形式進(jìn)行保存。上述假想的幀內(nèi)編碼圖像的選擇，基本上在用戶錄像指定的時刻進(jìn)行，這樣，便可在顯示的運(yùn)動圖像中將用戶所希望的場面進(jìn)行錄像。
在本發(fā)明的優(yōu)選實施例中，為了避免用戶操作的延遲和對用戶指令的響應(yīng)動作的延遲所引起的錄像開始時刻的延遲，再生接收運(yùn)動圖像的再生中的終端裝置以按照指定的周期定期地更新上述假想的幀內(nèi)編碼圖像，每次更新假想的幀內(nèi)編碼圖像時重新記錄部分的接收比特流的預(yù)備錄像模式而動作。在預(yù)備錄像模式中，用戶在動作中指定了錄像時，就抑制上述假想的幀內(nèi)編碼圖像的更新，而轉(zhuǎn)移到繼續(xù)接收比特流的記錄動作的錄像保存模式。錄像保存模式在用戶指定了錄像結(jié)束或錄像用存儲器已用完了存儲空間時結(jié)束。通過適當(dāng)?shù)卦O(shè)定假想的幀內(nèi)編碼圖像的更新周期，便可可靠地從用戶所希望的場面開始進(jìn)行錄像。
在僅利用I-VOP和P-VOP的一般的MPEG-4譯碼器中，準(zhǔn)備2面的幀存儲器，將一方作為運(yùn)動預(yù)測處理的參照VOP圖像用的幀存儲器，將另一方作為當(dāng)前VOP圖像用的幀存儲器，進(jìn)行幀單位的譯碼處理，在各譯碼循環(huán)中交替地切換存儲器用途。這時，參照VOP用的幀存儲器存儲的譯碼圖像在下一個譯碼循環(huán)中，由于新的譯碼圖像的寫入而消失。
在本發(fā)明的實施例1中，出于瞬時地并且在任意的期間將上述參照VOP用的幀存儲器存儲的譯碼圖像作為假想的幀內(nèi)編碼圖像(以下，稱為假想I-VOP圖像)保存的目的，在MPEG譯碼器中追加第3幀存儲器。常時，通過交替地切換分配給參照VOP圖像用和當(dāng)前VOP圖像用的2個幀存儲器，按幀單位將接收比特流進(jìn)行譯碼。在假想I-VOP圖像的更新時刻，將參照VOP圖像用的幀存儲器切換給假想I-VOP圖像用，而將假想I-VOP圖像用的幀存儲器切換給當(dāng)前VOP圖像用。按照上述結(jié)構(gòu)，不進(jìn)行幀存儲器間的圖像數(shù)據(jù)傳輸，不僅可以瞬時保存譯碼圖像，而且可以將后續(xù)幀進(jìn)行譯碼。
產(chǎn)生假想I-VOP圖像之后的特定期間的再生圖像的部分接收比特流存儲到成為錄像存儲器的比特流存儲器中。在本實施例中，錄像的播放通過將假想I-VOP圖像用的幀存儲器切換給參照VOP圖像用從而將從比特流存儲器讀出的編碼數(shù)據(jù)供給MPEG譯碼器而實現(xiàn)。
在本發(fā)明的實施例2中，使用MPEG編碼器，取代上述第3幀存儲器，在成為假想I-VOP圖像的更新時刻的時刻將參照VOP圖像用的幀存儲器存儲的參照VOP圖像供給MPEG編碼器。由MPEG編碼器所編碼的圖像數(shù)據(jù)存儲到比特流存儲器中。因此，在實施例2中，假想I-VOP圖像和后續(xù)圖像全部作為編碼數(shù)據(jù)存儲到比特流存儲器中，在錄像播放時從比特流存儲器中讀出的編碼數(shù)據(jù)陸續(xù)地供給MPEG譯碼器。
圖1是表示本發(fā)明的運(yùn)動圖像數(shù)據(jù)處理系統(tǒng)的1個實施例的圖。
圖2是表示作為運(yùn)動圖像比特流的MPEG-4的數(shù)據(jù)結(jié)構(gòu)的1例的圖。
圖3是表示MPEG-4比特流的序列標(biāo)題部的結(jié)構(gòu)的圖。
圖4是表示適用于無線線路的MPEG-4比特流的數(shù)據(jù)結(jié)構(gòu)的1例的圖。
圖5是表示適用于無線線路的MPEG-4比特流的序列標(biāo)題部的結(jié)構(gòu)的圖。
圖6是表示本發(fā)明的運(yùn)動圖像數(shù)據(jù)處理系統(tǒng)的其他實施例的圖。
圖7是表示由上述運(yùn)動圖像數(shù)據(jù)處理系統(tǒng)處理的接收比特流300的1例的圖。
圖8是表示接收比特流300的P5幀的譯碼循環(huán)中上述運(yùn)動圖像數(shù)據(jù)處理系統(tǒng)的存儲器的狀態(tài)的圖。
圖9是表示在接收比特流300的P5幀的譯碼循環(huán)中有假想I-VOP更新指令時的存儲器的狀態(tài)的圖。
圖10是表示在接收比特流300的P5幀的譯碼循環(huán)中沒有假想I-VOP更新指令時的存儲器的狀態(tài)的圖。
圖11是表示包含由上述運(yùn)動圖像數(shù)據(jù)處理系統(tǒng)處理的多個I-VOP的接收比特流300-2的1例的圖。
圖12是表示在接收比特流300-2的P5幀的譯碼循環(huán)中上述運(yùn)動圖像數(shù)據(jù)處理系統(tǒng)的存儲器的狀態(tài)的圖。
圖13是表示在接收比特流300-2的P5幀的譯碼循環(huán)中有假想I-VOP更新指令時的存儲器的狀態(tài)的圖。
圖14是用于說明接收比特流300-2的P5幀的譯碼循環(huán)中的假想I-VOP更新指令的變形例的圖。
圖15是表示再次編碼的假想I-VOP向比特流存儲器505中的保存形式的1例的圖。
圖16是表示再次編碼的假想I-VOP向比特流存儲器505中的保存形式的其他例的圖。
圖17是表示本發(fā)明的運(yùn)動圖像數(shù)據(jù)處理系統(tǒng)的實施例3的圖。
圖18是表示本發(fā)明的運(yùn)動圖像數(shù)據(jù)處理系統(tǒng)的實施例4的圖。
圖19是表示本發(fā)明的便攜式終端具有的用戶接口的1例的圖。
圖20是表示本發(fā)明的便攜式終端具有的用戶接口的其他例的圖。
下面，參照


本發(fā)明的實施例。
圖6表示搭載在例如手機(jī)等無線通信終端上的本發(fā)明的運(yùn)動圖像數(shù)據(jù)處理系統(tǒng)的實施例1。
本實施例的特征在于除了參照VOP用幀存儲器和當(dāng)前VOP用幀存儲器外，MPEG-4譯碼器503還具有假想I-VOP圖像保存用的第3幀存儲器。在具有執(zhí)行各種應(yīng)用軟件(程序)的微處理器和處理運(yùn)動圖像數(shù)據(jù)的DSP(數(shù)字信號處理器)的無線通信終端中，通過DSP的數(shù)據(jù)處理可以實現(xiàn)上述MPEG-4譯碼器503的功能。這里，雖然說明利用DSP構(gòu)成MPEG-4譯碼器503的功能的運(yùn)動圖像數(shù)據(jù)處理系統(tǒng)，但是，也可以由專用LSI實現(xiàn)MPEG-4譯碼器503的功能，另外，由可以通過利用微處理器的數(shù)據(jù)處理功能的軟件來實現(xiàn)。
圖中，501是應(yīng)用程序控制部(微處理器)、502是暫時存儲所接收的編碼數(shù)據(jù)(比特流)的輸入緩沖器、503是MPEG-4譯碼器、504是由液晶顯示裝置等構(gòu)成的譯碼VOP圖像輸出部、505是用于保存分發(fā)的運(yùn)動圖像的一部分的比特流存儲器、506是保存數(shù)據(jù)控制用的開關(guān)、507是輸入數(shù)據(jù)選擇用的切換門、508是用戶操作的具有各種按鈕的輸入裝置。
MPEG-4譯碼器503、輸出部504、比特流存儲器505、開關(guān)506和門507分別由從應(yīng)用程序控制部501輸出的控制信號521、522、520、523、524控制。另外，輸入緩沖器502由從應(yīng)用程序控制部501輸出的控制信號525清零。
在將分發(fā)運(yùn)動圖像譯碼并向顯示畫面輸出的接收運(yùn)動圖像輸出模式中，切換門507選擇從圖中省略的無線接收電路輸出的運(yùn)動圖像編碼數(shù)據(jù)(比特流)，通過總線511供給輸入緩沖存儲器502。輸入緩沖存儲器502暫時存儲的運(yùn)動圖像編碼數(shù)據(jù)順序讀出，通過總線512、514供給譯碼器503和開關(guān)506。開關(guān)506由控制信號523控制通/斷，接通期間中的編碼數(shù)據(jù)通過總線515輸入比特流存儲器505。數(shù)據(jù)向比特流存儲器505的寫入和讀出由控制信號520控制。
MPEG-4譯碼器503由第1、第2、第3幀存儲器101、102和103、幀存儲器控制部100、分析從總線512輸入的編碼數(shù)據(jù)的分離部104、誤差譯碼部105、運(yùn)動補(bǔ)償部106、將上述誤差譯碼部105和運(yùn)動補(bǔ)償部106的輸出相加的加法器107、用于將上述加法器的輸出有選擇地供給第1、第2、第3幀存儲器101～103的第1切換門108和用于將第1、第2、第3幀存儲器101～103的輸出有選擇地供給輸出部504和運(yùn)動補(bǔ)償部106的第2切換門109構(gòu)成。上述幀存儲器控制部100響應(yīng)應(yīng)用程序控制部501的控制信號521，向第1、第2切換門108、109供給控制信號111、112，切換幀存儲器101～103的輸入輸出。
上述分離部104分析從總線512輸入的編碼數(shù)據(jù)，檢測標(biāo)題信息。廢棄在開始進(jìn)行分析動作后到檢測到最初的標(biāo)題信息為止所輸入的編碼數(shù)據(jù)。分離部104從檢測的各標(biāo)題信息中抽出圖像尺寸和時刻精度信息，并將這些信息供給應(yīng)用程序控制部501。分離部104按照根據(jù)VOL標(biāo)題中包含的適用工具信息唯一決定的數(shù)據(jù)結(jié)構(gòu)分析在上述標(biāo)題信息之后后續(xù)輸入的一連串的VOP數(shù)據(jù)，將從各VOP數(shù)據(jù)中抽出的時刻關(guān)聯(lián)信息、誤差關(guān)聯(lián)信息和運(yùn)動關(guān)聯(lián)信息分別分配給應(yīng)用程序控制部501、誤差譯碼部105和運(yùn)動補(bǔ)償部106。
在上述MPEG-4譯碼器503中，編碼數(shù)據(jù)輸入分離部104，從各VOP抽出的誤差信息和運(yùn)動信息分別分配給誤差譯碼部105和運(yùn)動補(bǔ)償部106?，F(xiàn)在，設(shè)想第1幀存儲器101分配給當(dāng)前VOP圖像用、第2幀存儲器102分配給參照VOP圖像用、第3幀存儲器103分配給假想I-VOP圖像用的VOP譯碼循環(huán)。在成為參照VOP圖像用的第2幀存儲器102中，保存著在前一循環(huán)中所譯碼的VOP圖像數(shù)據(jù)。
幀存儲器控制部100切換切換門109用以將第2幀存儲器102存儲的參照VOP圖像供給運(yùn)動補(bǔ)償部106和輸出部504，控制切換門108用以將從加法器107輸出的譯碼VOP圖像信號輸入第1幀存儲器101。運(yùn)動補(bǔ)償部106使用從分離部104輸入的新VOP的運(yùn)動信息和參照VOP圖像進(jìn)行運(yùn)動補(bǔ)償處理，從而生成預(yù)測VOP圖像。加法器107將上述預(yù)測VOP圖像和從誤差譯碼部105輸出的誤差圖像合成，生成譯碼VOP圖像。該譯碼VOP圖像通過切換門108輸入第1幀存儲器101。幀存儲器控制部100在每次對1個VOP完成譯碼處理時，就利用控制信號526將VOP處理的結(jié)束和完成譯碼的VOP的種類和輸出時刻通知應(yīng)用程序控制部501。
幀存儲器控制部100在下一個VOP的譯碼處理之前，根據(jù)從應(yīng)用程序控制部501供給的控制信號521變更上述第1～第3幀存儲器的作用。例如，在由上述控制信號521指示了參照VOP圖像的保存時，就將本次作為參照VOP圖像用所使用的第2幀存儲器102切換給假想I-VOP圖像用，將作為譯碼VOP圖像用所使用的第1幀存儲器101切換給參照VOP圖像用，而將存儲假想I-VOP圖像的第3幀存儲器103切換給當(dāng)前VOP圖像用。如果未指示參照VOP圖像的保存，就將本次作為參照VOP圖像用所使用的第2幀存儲器102切換給當(dāng)前VOP圖像用，將作為譯碼VOP圖像用所使用的第1幀存儲器101切換給參照VOP圖像用，而將第3幀存儲器103存儲的假想I-VOP圖像仍然保持。輸出部504將從第2切換門109向總線513輸出的圖像按照作為控制信號522而供給的輸出圖像尺寸、顯示時刻和時刻信息向顯示畫面輸出。
在本實施例中，如上所述，將第1～第3幀存儲器中的任何一個作為假想I-VOP圖像用使用，將假想I-VOP圖像以后的比特流存儲到存儲器505中。假想I-VOP圖像的變更由應(yīng)用程序控制部501按照參照VOP保存指令的形式指定。
應(yīng)用程序控制部501在例如通過輸入裝置508接收到用戶的錄像開始指示的時刻，通過將控制信號523、521供給開關(guān)506和幀存儲器控制部100，可以開始進(jìn)行假想I-VOP圖像的變更(參照VOP圖像的保存)和向存儲器505的比特流的存儲動作。但是，在等待用戶的指示開始錄像動作時，有可能由于例如應(yīng)用程序的高速緩沖控制的延遲等而錄像開始位置比用戶所希望的畫面滯后了。
因此，在本發(fā)明的極佳的實施例中，應(yīng)用程序控制部501在運(yùn)動圖像的顯示中使開關(guān)506總是處于接通狀態(tài)，進(jìn)行利用控制信號520和521定期更新保存比特流和假想I-VOP圖像的預(yù)備錄像模式動作。在該模式中，按照根據(jù)比特流存儲器505的存儲容量和控制延遲時間設(shè)定的指定的周期定期更新假想I-VOP圖像。另外，每次更新假想I-VOP圖像時，使比特流存儲器505已存儲的不需要的VOP串(編碼數(shù)據(jù))無效，按照新接收的VOP串順序改寫。在接收到用戶的錄像開始指示時，就抑制假想I-VOP圖像的周期的更新動作，在比特流存儲器505的存儲容量的范圍內(nèi)轉(zhuǎn)移到存儲接收比特流的錄像保存模式。
按照上述方法，由于在用戶的錄像開始指示之前先行進(jìn)行錄像動作，所以，在有用戶的錄像播放指示時，就可以從用戶所希望的錄像開始畫面播放輸出指定時間的運(yùn)動圖像。例如，在預(yù)備錄像模式中，利用比特流存儲器容量的一部分周期地存儲充分彌補(bǔ)了對用戶的錄像開始指示的響應(yīng)延遲的數(shù)個VOP～數(shù)十個VOP期間的編碼數(shù)據(jù)。如果響應(yīng)用戶的錄像開始指示，轉(zhuǎn)移到錄像保存模式，停止假想I-VOP的更新，并將比特流存儲器505的其余的全部容量用于存儲后續(xù)編碼數(shù)據(jù)，便可有效地利用存儲器容量，從而對用戶所希望的運(yùn)動圖像場景進(jìn)行錄像。
在錄像保存模式中，為錄像數(shù)據(jù)的再生作準(zhǔn)備預(yù)先存儲與用戶的錄像開始指示和錄像結(jié)束指示對應(yīng)的時刻信息。作為這些時刻信息，可以利用在MPEG-4中稱為「modulo-time-base」、「vop-time-increment」的信息。這些信息包含在各VOP中，modulo-time-base表示秒單位，vop-time-increment表示秒以下的時間。上述vop-time-increment的精度，在各VOL標(biāo)題中作為「vop-time-increment-resolution 」設(shè)定。
上述modulo-time-base表示與前一VOP所示的秒時刻的相對值，成為與秒單位的時間差相當(dāng)?shù)膫€數(shù)的包含位“1”的位圖形。例如，在該VOP的時刻與前一VOP按秒單位一致時，成為“0”，有1秒的不同時，成為“10”，有2秒的不同時，成為“110”。各VOP的秒以下的時刻，根據(jù)vop-time-increment，用vop-time-increment-resolution的精度表示。因此，作為時刻信息，對于vop-time-increment，可以記錄其譯碼值，對于modulo-time-base，可以記錄以錄像開始VOP為基準(zhǔn)的位“1”的個數(shù)。此外，對于modulo-time-base，也可以采用以更新開始VOP為基準(zhǔn)的位“1”值的個數(shù)。
下面，參照圖7～圖10說明P-VOP成為假想I-VOP時的預(yù)備錄像模式的MPEG-4譯碼器503的動作。
圖7表示通過切換門507供給輸入緩沖器502的接收比特流300的1例。接收比特流300由位于標(biāo)題信息311之后的I幀(I-VOP)311和其后的多個P幀(P-VOP)331、332、…構(gòu)成。圖中，附加在符號I、P之后的數(shù)字表示幀號碼?，F(xiàn)在，假定上述比特流中的P2幀332處于錄像開始VOP的狀態(tài)、P4幀334處于顯示中的狀態(tài)、P5幀335處于譯碼中的狀態(tài)。
在該狀態(tài)中，如圖8所示，在輸入緩沖存儲器502中存儲此后譯碼的P5幀以后的編碼數(shù)據(jù)。這里，在第3幀存儲器103成為假想I-VOP用而存儲錄像開始VOP(P2幀)時，其余的第1幀存儲器101和第2幀存儲器102就交替地分開作為當(dāng)前VOP圖像用和參照VOP圖像用來使用。例如，在P4幀的譯碼循環(huán)中第2幀存儲器102成為當(dāng)前VOP圖像用時，在P5幀的譯碼循環(huán)中，第2幀存儲器102就成為參照VOP圖像用，P5幀的譯碼塊圖像陸續(xù)地存儲到當(dāng)前VOP圖像用的第1幀存儲器101中。在比特流存儲器505中，順序保存編碼數(shù)據(jù)的分析所需要的標(biāo)題信息311和成為現(xiàn)在錄像開始VOP的P2幀后續(xù)的P3幀333以后的編碼數(shù)據(jù)。
在P5幀的譯碼完成的時刻，假定從應(yīng)用程序控制部501通過控制信號521指令了假想I-VOP圖像的更新。這時，如圖9所示，在此之前成為參照VOP圖像用的第2幀存儲器102切換為假想I-VOP圖像用、成為當(dāng)前VOP圖像用的第1幀存儲器101切換為參照VOP圖像用、成為假想I-VOP圖像用的第3幀存儲器103切換為當(dāng)前VOP圖像用，從而進(jìn)行下一個P6幀的譯碼循環(huán)。這時，由比特流存儲器505已存儲的P3、P4幀的編碼數(shù)據(jù)構(gòu)成的部分比特流無效，從而存儲新的假想I-VOP圖像(P4幀)后續(xù)的P5幀以后的編碼數(shù)據(jù)。
在P5幀的譯碼完成的時刻，如果應(yīng)用程序控制部501沒有輸出假想I-VOP圖像的更新指令時，如圖10所示，就向比特流存儲器505中追加已譯碼的P5幀的編碼數(shù)據(jù)，將第1幀存儲器101作為參照VOP圖像用來使用，將第2幀存儲器102作為當(dāng)前VOP圖像用來使用，進(jìn)行P6幀的譯碼循環(huán)。
如上所述，在預(yù)備錄像模式中，通過用應(yīng)用程序控制部501的控制信號521按指定的幀間隔周期地指令假想I-VOP圖像的更新，反復(fù)向比特流存儲器505中存儲指定時間的運(yùn)動圖像編碼數(shù)據(jù)(部分的比特流)，在有用戶的錄像開始的指示時，就轉(zhuǎn)移到錄像保存模式，在抑制了假想I-VOP圖像的自動更新的狀態(tài)，繼續(xù)進(jìn)行圖像數(shù)據(jù)的存儲。
在錄像保存模式中，通過反復(fù)進(jìn)行用圖10說明的動作，在比特流存儲器505允許的范圍內(nèi)存儲接收運(yùn)動圖像的后續(xù)位序列。在錄像保存模式中，在反復(fù)存儲編碼數(shù)據(jù)的期間，在有用戶的錄像結(jié)束的指示時，就保存已存儲的運(yùn)動圖像編碼數(shù)據(jù)。這時，當(dāng)比特流存儲器505的其余容量的范圍內(nèi)，可以再次開始進(jìn)行預(yù)備錄像模式的數(shù)據(jù)存儲動作，但是，也可以是只要沒有用戶的特別的指示，就抑制預(yù)備錄像模式的再次開始。
在預(yù)備錄像模式和其后的錄像保存模式中，比特流存儲器505存儲的編碼數(shù)據(jù)在有用戶的再生指示時在標(biāo)題信息311之后順序讀出到總線516中，并通過切換門507和輸入緩沖器502輸入MPEG-4譯碼器503。這些編碼數(shù)據(jù)在MPEG-4譯碼器503中將假想I-VOP圖像作為初始圖像進(jìn)行譯碼處理，然后，再生圖像向顯示畫面輸出。在對全部錄像數(shù)據(jù)的再生動作結(jié)束時，可以解除錄像保存，從而可以自動地再次開始預(yù)備錄像模式動作。
在圖9中，為了明確比特流存儲器505的存儲內(nèi)容，成為消去無效數(shù)據(jù)(P3、P4幀)的形式，但是，在實際的應(yīng)用中，可以將標(biāo)題311的存儲區(qū)域以外的存儲區(qū)域作為環(huán)形存儲器使用，如圖10所示的那樣，將P5幀的編碼數(shù)據(jù)寫入到P4幀之后，將P5幀寫入?yún)^(qū)域的開頭地址作為有效數(shù)據(jù)區(qū)域的開始地址進(jìn)行存儲。這時，在編碼數(shù)據(jù)寫入到比特流存儲器505的最后的區(qū)域中的時刻，寫入地址返回到標(biāo)題311之后的位置，新的編碼數(shù)據(jù)重寫到無效數(shù)據(jù)(P3、P4幀)區(qū)域，在錄像播放時，從有效數(shù)據(jù)區(qū)域的開始地址讀出編碼數(shù)據(jù)串(比特流)。
下面，參照圖11～圖14說明在接收比特流的P-VOP串中包含I-VOP時的預(yù)備錄像模式動作。
圖11表示I-VOP可以成為假想I-VOP的接收比特流300-2的1例。接收比特流300-2與圖7所示的比特流300不同，第4VOP334-2成為I-VOP(I4)?，F(xiàn)在，假定P2幀332處于錄像開始VOP的狀態(tài)、I4幀334-2處于參照VOP顯示中的狀態(tài)、P5幀335處于現(xiàn)在譯碼中的狀態(tài)。
在該狀態(tài)，如圖12所示，在輸入緩沖存儲器502中存儲此后譯碼的P5幀以后的編碼數(shù)據(jù)，在成為假想I-VOP圖像用的第3幀存儲器103中存儲P2幀，在例如成為參照VOP圖像用的第2幀存儲器102中存儲I4幀，參照該I4幀進(jìn)行P5幀的譯碼處理，譯碼圖像順序存儲到當(dāng)前VOP圖像用的第1幀存儲器101中。另外，在比特流存儲器505中，保存著標(biāo)題信息311和作為錄像開始VOP的P2幀后續(xù)的P3、P4幀的編碼數(shù)據(jù)333、334-2。
如上述I4幀那樣將I-VOP作為參照VOP進(jìn)行譯碼時，從應(yīng)用程序控制部501指令了假想I-VOP的更新時，如圖13所示的那樣，存儲I4幀的第2幀存儲器102就成為假想I-VOP圖像用，第1幀存儲器101就從當(dāng)前VOP圖像用切換為參照VOP圖像用，第3幀存儲器103從假想I-VOP圖像用切換為當(dāng)前VOP圖像用。另外，在比特流存儲器505中，此前存儲的P3、P4幀的編碼數(shù)據(jù)無效，順序存儲假想I-VOP圖像(I4幀)后續(xù)的幀(P5、P6、…)的編碼數(shù)據(jù)。
如上所述，也可以是在I-VOP成為假想I-VOP時，從檢測到該狀態(tài)的應(yīng)用程序控制部501向比特流存儲器505進(jìn)行指令，進(jìn)行控制例如像圖14所示的那樣使I4幀之前的圖像數(shù)據(jù)無效，而保留I4幀以后的幀的編碼數(shù)據(jù)334-2、335、336、…。這時，在有用戶的錄像播放的指示時，就利用從比特流存儲器505中讀出的I4幀的編碼數(shù)據(jù)，將P5幀以后的編碼數(shù)據(jù)譯碼。
下面，說明圖6所示的運(yùn)動圖像數(shù)據(jù)處理系統(tǒng)的錄像數(shù)據(jù)的再生處理。
應(yīng)用程序控制部501通過輸入裝置508接收到用戶的錄像數(shù)據(jù)的再生指示時，就通過控制信號521指令幀存儲器控制部100進(jìn)行錄像的播放。響應(yīng)該指令，幀存儲器控制部100向切換門109供給切換控制信號112，用以將在當(dāng)前時刻成為假想I-VOP圖像用的幀存儲器的內(nèi)容作為參照VOP輸入運(yùn)動補(bǔ)償部106，向切換門108供給切換控制信號11，用以使其余的幀存儲器成為當(dāng)前VOP圖像用。應(yīng)用程序控制部501在上述錄像再生指令(控制信號521)之后，發(fā)生控制信號523、524、525，利用這些控制信號將輸入緩沖存儲器502清零，在切斷從輸入緩沖存儲器502向比特流存儲器505的數(shù)據(jù)輸入的狀態(tài)下，從比特流存儲器505讀出到總線516上的數(shù)據(jù)通過切換門507供給輸入緩沖器502。
如用圖8～圖13說明的那樣，在假想I-VOP圖像用幀存儲器中保持P-VOP(或I-VOP)的譯碼數(shù)據(jù)、在比特流存儲器505中存儲后續(xù)幀的編碼數(shù)據(jù)時，將從輸入緩沖器502讀出的編碼數(shù)據(jù)順序供給MPEG-4譯碼器503，將從假想I-VOP圖像用幀存儲器得到的P-VOP(或I-VOP)的圖像幀作為參照VOP開始進(jìn)行后續(xù)幀的譯碼。之后，對各幀通過切換當(dāng)前VOP圖像用幀存儲器和參照VOP圖像用存儲器，陸續(xù)地再生錄像數(shù)據(jù)。
由參照VOP圖像用幀存儲器得到的再生圖像順序向輸出部504輸出。這時，從比特流存儲器505讀出的各幀的同步時刻可以由應(yīng)用程序控制部501預(yù)先進(jìn)行檢查，利用控制信號522控制輸出部504，用以從用戶指定了錄像的時刻的幀開始進(jìn)行顯示。
如用圖14說明的那樣，在從I-VOP開始的編碼數(shù)據(jù)存儲到比特流存儲器505中時，可以省略用于將假想I-VOP圖像用幀存儲器與運(yùn)動補(bǔ)償部106連接的切換門109的控制動作，而將從比特流存儲器505讀出的圖像編碼數(shù)據(jù)順序供給MPEG-4譯碼器。
圖1表示從MPEG-4編碼譯碼器中省略了保存VOP圖像用的幀存儲器的本發(fā)明的運(yùn)動圖像數(shù)據(jù)處理系統(tǒng)的實施例2。本實施例的特征在于使用MPEG-4編碼器601取代假想I-VOP圖像用的幀存儲器，設(shè)置了用于將參照VOP圖像用的幀存儲器的輸出有選擇地輸入上述MPEG-4編碼器601的切換門110。
在本實施例中，將第1、第2幀存儲器101、102中的一方作為當(dāng)前VOP圖像用，將另一方作為參照VOP圖像用，對各幀交替地切換其作用，通過在各編碼循環(huán)中將參照VOP圖像用幀存儲器的輸出供給運(yùn)動補(bǔ)償部106，將接收比特流進(jìn)行譯碼。另外，通過將參照VOP圖像用幀存儲器的內(nèi)容向輸出部504輸出來顯示接收運(yùn)動圖像。
正在執(zhí)行預(yù)備錄像模式中的應(yīng)用程序控制部501和用圖6說明的實施例1一樣，利用控制信號521指令幀存儲器控制部100周期地更新假想VOP圖像。幀存儲器控制部100接收到上述假想I-VOP圖像的更新指令時，在下一幀的譯碼循環(huán)中，切換切換門110，用以將參照VOP圖像用幀存儲器的輸出輸入到運(yùn)動補(bǔ)償部106和MPEG-4編碼器601二者中。
MPEG-4編碼器601將從切換門110通過總線611輸入的參照VOP圖像進(jìn)行內(nèi)部編碼。由MPEG-4編碼器601進(jìn)行了內(nèi)部編碼的參照VOP圖像作為包含標(biāo)題信息的編碼數(shù)據(jù)向總線612輸出，并作為假想I-VOP存儲到比特流存儲器505中。但是，上述MPEG-4編碼器按照和比特流存儲器505已保存的標(biāo)題信息相同的信息進(jìn)行上述參照VOP圖像的編碼處理時，不一定必須保存新生成的標(biāo)題信息。這時，MPEG-4編碼器601僅具有幀內(nèi)編碼功能即可。
例如，在P4幀的譯碼處理結(jié)束的時刻，從應(yīng)用程序控制部501發(fā)布了假想I-VOP的更新指令時，幀存儲器控制部100在將上述P4幀作為參照VOP的P5幀的譯碼循環(huán)中將P4幀供給MPEG-4編碼器601。
由MPEG-4編碼器601再次進(jìn)行了編碼的P4幀的再編碼數(shù)據(jù)(比特流)411例如像圖15所示的那樣在比特流存儲器505內(nèi)緊跟信息311之后寫入。本次編碼的P5幀的編碼數(shù)據(jù)(比特流)335和其后編碼的后續(xù)幀的編碼數(shù)據(jù)336、…寫入到上述再編碼數(shù)據(jù)411之后。但是，再編碼數(shù)據(jù)(比特流)411例如像圖16所示的那樣也可以位于標(biāo)題信息311之前。
比特流411的位置由應(yīng)用程序控制部501進(jìn)行識別，所以，在錄像數(shù)據(jù)的再生時，開始時可以讀出成為假想I-VOP的比特流411，將其譯碼VOP圖像作為參照VOP，順序?qū)⑾乱粠院蟮谋忍亓鬟M(jìn)行譯碼。在MPEG-4中，認(rèn)可標(biāo)題信息的再次發(fā)送，所以，如圖16所示，在P4幀再編碼數(shù)據(jù)411之后存在接收編碼數(shù)據(jù)的標(biāo)題信息311時也可以進(jìn)行譯碼處理。
另外，如圖11所示的I4幀334-1那樣，在接收比特流包含開頭I-VOP以外的I-VOP幀時，除了定期的更新外，如果想在各I-VOP的譯碼時刻更新假想I-VOP，在應(yīng)用程序控制部501中就判斷成為保存對象的VOP的種類，在將I-VOP幀作為參照VOP的譯碼循環(huán)中省略向MPEG-4編碼器的數(shù)據(jù)供給。這時，比特流存儲器505的內(nèi)容例如按用圖14說明的形式進(jìn)行更新。
圖17表示本發(fā)明的運(yùn)動圖像數(shù)據(jù)處理系統(tǒng)的實施例3。
在本實施例中，MPEG-4譯碼器具有當(dāng)前VOP圖像用、參照VOP圖像用、假想I-VOP圖像用的3個幀存儲器101～103，此外，還附加了MPEG-4編碼器601。按照本實施例，也可以采用將參照VOP保存到假想I-VOP圖像用的幀存儲器中后，在任意的時刻進(jìn)行再編碼并作為假想I-VOP存儲到比特流存儲器505中的控制程序。
在上述實施例1和實施例2中，成為假想I-VOP圖像用的幀存儲器也可以作為用于暫時停止在輸出部504顯示的運(yùn)動圖像的運(yùn)動的幀存儲器利用。例如，在有用戶的顯示畫面暫時停止的要求時，就利用切換門111將現(xiàn)在向顯示畫面輸出的參照VOP圖像用幀存儲器切換為假想I-VOP圖像用幀存儲器，同時切換切換門109用以將該假想I-VOP圖像用幀存儲器的內(nèi)容向輸出部504輸出。通過開關(guān)操作，可以暫時停止向顯示部的運(yùn)動圖像輸出，從而使顯示畫面成為靜止圖像狀態(tài)。
在顯示畫面的停止期間中，可以中斷接收比特流的譯碼處理，也可以利用其他2個幀存儲器繼續(xù)進(jìn)行接收比特流的譯碼處理。在后者的情況時，參照VOP圖像用的幀存儲器的內(nèi)容供給運(yùn)動補(bǔ)償部106，僅用于下一幀的譯碼處理，而不反映在輸出部504。也可以是，在顯示畫面停止期間中，將接收比特流存儲到保存用比特流存儲器505中，在比特流存儲器沒有了存儲空間的時刻，停止譯碼處理。
另外，在輸入緩沖器502的容量比較大時，可以在顯示畫面停止期間中將接收的比特流存儲到輸入緩沖器中，而在輸入緩沖器用完了存儲空間的時刻，解除暫時停止。在圖像分發(fā)服務(wù)器具有根據(jù)終端的暫時停止要求而暫時停止數(shù)據(jù)的分發(fā)的功能時，也可以是用戶指示了顯示畫面的暫時停止時，就從應(yīng)用程序控制部501向圖像分發(fā)服務(wù)器要求暫時停止數(shù)據(jù)分發(fā)，而在用戶解除了顯示畫面的暫時停止時，再次開始圖像的分發(fā)的動作。
上述顯示畫面的暫時停止功能也可以在錄像數(shù)據(jù)的再生時利用。例如，在再生顯示錄像數(shù)據(jù)的過程中，根據(jù)用戶的顯示畫面暫時停止要求而將畫面固定，根據(jù)停止解除要求再次開始后續(xù)幀的再生顯示，由此可以向用戶提供慢慢地研究所錄像的特定的場景的機(jī)會。
為了從錄像數(shù)據(jù)中檢索特定的場景，錄像再生圖像的按幀傳送功能是有效的。例如，在用戶向錄像數(shù)據(jù)指示了按幀傳送再生時，幀存儲器控制部100在譯碼循環(huán)期間就自動地設(shè)定休止期間，按對各幀可以識別的周期切換顯示畫面。這時，可以根據(jù)用戶的指示改變畫面的切換周期。另外，也可以根據(jù)用戶的指示1幀1幀地傳送。此外，如果捕捉到了所檢索的圖像，就可以作為壁紙進(jìn)行利用。
圖18表示本發(fā)明的運(yùn)動圖像數(shù)據(jù)處理系統(tǒng)的實施例4。
在上述實施例2和實施例3中，由MPEG-4編碼器601對作為假想I-VOP應(yīng)保存的參照VOP進(jìn)行再編碼，并存儲到比特流存儲器505中。這是為了通過使假想I-VOP的編碼方式與比特流存儲器505存儲的后續(xù)幀的編碼方式統(tǒng)一而可以用同一MPEG-4譯碼器503來處理從比特流存儲器505讀出的所有的錄像數(shù)據(jù)。但是，也可以將假想I-VOP用與接收比特流不同的編碼方式進(jìn)行編碼，而在進(jìn)行錄像數(shù)據(jù)的再生處理時僅將假想I-VOP用與后續(xù)幀不同的譯碼方式進(jìn)行譯碼，并將其作為參照VOP來再生后續(xù)幀。
圖18所示的實施例4使用作為靜止圖像編碼方式的JPEG的編碼器701，取代圖1所示的運(yùn)動圖像編碼方式的MPEG-4編碼器601，利用該編碼器701生成假想I-VOP。即，將參照VOP圖像用的幀存儲器101或102的圖像數(shù)據(jù)用JPEG方式進(jìn)行再編碼，并作為假想I-VOP存儲到比特流存儲器505中。假想I-VOP之后的后續(xù)幀的編碼數(shù)據(jù)仍然以MPEG-4方式存儲到比特流存儲器505中。
在進(jìn)行錄像播放時，將上述假想I-VOP從比特流存儲器505中讀出到總線713上，并將用JPEG譯碼器702譯碼的假想I-VOP圖像通過切換門108設(shè)定到參照VOP圖像用的幀存儲器101或102中。從比特流存儲器505中讀出的后續(xù)幀的編碼數(shù)據(jù)由MPEG-4譯碼器將上述假想I-VOP作為初始畫面而陸續(xù)地進(jìn)行譯碼。這樣，通過由靜止圖像編碼方式的編碼器將假想I-VOP進(jìn)行再編碼，可以進(jìn)一步壓縮假想I-VOP圖像的編碼數(shù)據(jù)尺寸。
上述實施例4的方式，同樣可以應(yīng)用于圖17所示的具有3各幀存儲器的運(yùn)動圖像處理系統(tǒng)。另外，作為假想I-VOP圖像的編碼/譯碼方式，除了JPEG外，也可以應(yīng)用例如MPEG-4靜止圖像編碼方式或ZIP那樣的其他編碼/譯碼方式及壓縮工具。
在上述實施例中，接收比特流是用MPEG-4進(jìn)行編碼的，但是，在本發(fā)明的運(yùn)動圖像數(shù)據(jù)處理系統(tǒng)中，通過使譯碼器503適合于接收比特流的編碼方式，也可以處理例如用MPEG-1、MPEG-2、H.261、H.263等其他編碼方式壓縮的運(yùn)動圖像數(shù)據(jù)。取決于編碼方式，雖然不存在圖3所示的標(biāo)題信息，但是，這時，可以省略標(biāo)題信息的譯碼和向比特流存儲器中的存儲。
另外，在上述實施例中，將參照VOP圖像用的幀存儲器的內(nèi)容供給運(yùn)動補(bǔ)償部106和輸出部504，在有用戶的錄像開始的指示時，就將與顯示畫面相當(dāng)?shù)膮⒄誚OP圖像用的幀存儲器的內(nèi)容視為錄像開始畫面，并存儲上述參照VOP附帶的時刻信息，控制錄像數(shù)據(jù)的再生。但是，若考慮用戶操作對顯示畫面的延遲時，在有用戶的錄像開始的指示時，可以將參照VOP之前的幀作為錄像開始畫面進(jìn)行處理。
另外，也可以是除了當(dāng)前VOP畫面用和參照VOP畫面用的幀存儲器外，還準(zhǔn)備了保持顯示畫面的輸出圖像的顯示VOP畫面用的幀存儲器，通常，按照當(dāng)前VOP畫面用、參照VOP畫面用、顯示VOP畫面用、當(dāng)前VOP畫面用的順序切換幀存儲器的用途，在進(jìn)行假想I-VOP的更新時，將顯示VOP畫面用切換為假想I-VOP畫面用，而將假想I-VOP畫面用作為當(dāng)前VOP畫面用。
這樣，在使顯示VOP圖像用的幀存儲器和涉及譯碼處理的參照VOP圖像用及當(dāng)前VOP圖像用的幀存儲器為不同的存儲器時，由于將圖像的譯碼處理與顯示處理完全分離，所以，例如即使根據(jù)輸出部的情況而必須變更顯示VOP圖像用的存儲器的內(nèi)容時，也可以避免對譯碼處理產(chǎn)生不良影響。另外，在上述幀存儲器結(jié)構(gòu)中，如果例如將參照VOP畫面用的幀存儲器的內(nèi)容向顯示畫面輸出而將顯示VOP畫面用的幀存儲器作為前一顯示VOP畫面用的來使用，在用戶指定了錄像時，就可以將現(xiàn)在的顯示畫面之前的1個幀作為錄像開始VOP或假想I-VOP進(jìn)行存儲。
下面，說明用于指示分發(fā)運(yùn)動圖像數(shù)據(jù)的錄像、錄像數(shù)據(jù)的再生、再生畫面的暫時停止的用戶界面。
圖19表示作為視頻處理專用的操作按鈕而具有再生按鈕821、錄像按鈕822、停止按鈕823和暫時停止按鈕824的手機(jī)終端800的操作面的1例。
再生按鈕821在例如接收用戶通過Web檢索等發(fā)現(xiàn)的視頻數(shù)據(jù)并在顯示畫面811上進(jìn)行再生或再生已錄像的編碼數(shù)據(jù)時使用。在按下了上述再生按鈕821時，應(yīng)用程序控制部50就起動運(yùn)動圖像再生控制用的程序或DSP600，并將譯碼的圖像向成為輸出部504的一部分的顯示畫面811輸出。在時刻顯示區(qū)域812內(nèi)，顯示從再生開始時刻到現(xiàn)在的經(jīng)過時間(「2秒25」)。
錄像按鈕822是用于指示MPEG-4譯碼器進(jìn)行錄像開始而使用的。在MPEG-4譯碼器周期性地更新保存VOP圖像(假想I-VOP)并按預(yù)備錄像模式記錄接收圖像時，用戶操作(錄像指示)了錄像按鈕822時，應(yīng)用程序控制部501就中止保存VOP圖像的周期性的更新，存儲錄像開始幀(現(xiàn)在顯示中的圖像幀)的編碼數(shù)據(jù)附帶的同步時刻，同時將其以后的接收圖像按錄像保存模式存儲到比特流存儲器505中。存儲的同步時刻作為錄像開始時刻顯示在時刻顯示區(qū)域812中。在圖示的例子中，表示在從接收圖像的再生開始經(jīng)過了2秒05的時刻開始進(jìn)行錄像。
作為錄像數(shù)據(jù)的再生方法，有例如從比特流存儲器505存儲的錄像數(shù)據(jù)的開頭VOP進(jìn)行再生顯示的方法和從用戶指示了錄像的時刻(錄像開始同步時刻)的VOP進(jìn)行再生顯示的方法。通常，可以從錄像開始同步時刻的VOP進(jìn)行再生，在用戶進(jìn)行了特別指定時，可以從錄像開頭VOP進(jìn)行再生。
停止按鈕823在使接收圖像的再生動作、錄像動作、錄像再生動作停止時使用。在錄像動作中操作了停止按鈕823時，就在該時刻存儲譯碼處理中的編碼數(shù)據(jù)附帶的同步時刻，同時將其作為錄像結(jié)束時刻顯示在時刻顯示區(qū)域812中，并在錄像的最后幀(編碼數(shù)據(jù))之后將結(jié)束代碼記錄到比特流存儲器中。在錄像保存模式中，在動作中比特流存儲器505將要發(fā)生溢出時，不等待用戶的錄像停止指示就自動地結(jié)束錄像，并顯示錄像結(jié)束時刻。
在時刻顯示區(qū)域812窄小時，可以采用上述錄像結(jié)束時刻就取代例如錄像開始時刻而進(jìn)行顯示，或者停止表示經(jīng)過時間的現(xiàn)在VOP的同步時刻的顯示，而在該處暫時顯示錄像結(jié)束時刻的等方式。
暫時停止按鈕824用于暫時停止接收圖像或錄像的再生動作，使顯示畫面靜止。在接收圖像的再生動作停止期間中，MPEG-4譯碼器503可以如上述那樣繼續(xù)進(jìn)行譯碼處理。如果再次按下了暫時停止按鈕824，就脫離暫時停止?fàn)顟B(tài)，而再次開始進(jìn)行再生動作。上述顯示畫面的按幀前進(jìn)，可以通過例如在暫時停止的狀態(tài)按下再生按鈕821而進(jìn)行指示。另外，從按幀前進(jìn)的狀態(tài)向通常的再生模式的恢復(fù)，可以通過例如按下暫時停止按鈕后再按下再生按鈕的操作而進(jìn)行指示。
圖20表示將圖18所示的視頻關(guān)聯(lián)專用按鈕821～824的功能置換為數(shù)字按鈕的手機(jī)終端801的操作面的1例。
831是視頻按鈕，通過按下該按鈕，終端就進(jìn)入視頻模式(接收運(yùn)動圖像輸出代碼)，并在時刻顯示部812上顯示表示視頻模式的符號“V”。在終端進(jìn)入視頻模式時，數(shù)字1的輸入按鈕834具有再生按鈕的功能、數(shù)字2的輸入按鈕835具有記錄/停止按鈕的功能、數(shù)字3的輸入按鈕836具有暫時停止按鈕的功能。832和833是音量按鈕，在暫時停止中按鈕832具有按幀前進(jìn)按鈕的功能。
上述圖19、圖20所示的用戶界面只不過是簡單的實施例，在本發(fā)明的運(yùn)動圖像的記錄/再生控制中，顯然，用戶的控制指令可以采用圖標(biāo)選擇方式或其他的按鈕操作方式等其他的任意的輸入方式。
以上，說明了本發(fā)明的實施例，但是，本發(fā)明也包含以下的變形。
(1)如圖2所示，接收比特流可以是在途中包含B-VOP的編碼數(shù)據(jù)。但是，在比特流存儲器中應(yīng)保存的編碼數(shù)據(jù)的開頭是B-VOP時，可以將開頭VOP和其后的多個B-VOP的編碼數(shù)據(jù)從保存對象中除外。如果想將B-VOP譯碼并進(jìn)行顯示時，必須增加設(shè)置參照VOP圖像用的幀存儲器。
(2)接收比特流可以是矩形圖像以外的任意形狀的圖像。但是，在MPEG-4中，由于必須采用參照VOP圖像的各編碼塊的形狀類型，所以，在將矩形圖像以外的比特流進(jìn)行譯碼時，在假想I-VOP更新時和錄像開始時預(yù)先記錄編碼數(shù)據(jù)的同步時刻信息和各編碼塊的形狀類型。
(3)在將新的假想I-VOP保存到比特流存儲器中時，在實施例中，是使不需要的以前的比特流無效，但是，也可以將1個假想I-VOP和其后的多個VOP的比特流作為1組，將連續(xù)的多組的比特流存儲到比特流存儲器中，而從舊的組順序使其無效。
(4)預(yù)備錄像模式中的假想I-VOP的更新，可以按照比特流存儲器存儲的錄像數(shù)據(jù)尺寸決定，而取代由VOP數(shù)決定的固定周期。即，對在預(yù)備錄像模式中使用的存儲器容量預(yù)先設(shè)定上限值，在存儲數(shù)據(jù)量超過上限值時，就在下一個譯碼循環(huán)中更新假想I-VOP，從而置換為新的比特流。
(5)在錄像保存模式中比特流存儲器已用完了存儲空間時，就預(yù)先存儲不能存儲的后續(xù)比特流的開頭VOP附帶的同步時刻(時刻1)，在有用戶的錄像結(jié)束的指示的時刻，存儲上述后續(xù)比特流的最后VOP附帶的同步時刻(時刻2)，在進(jìn)行錄像播放時，可以將由這些時刻信息(時刻1～時刻2)特定的不足比特流從圖像服務(wù)器以文件傳輸協(xié)議的形式再次進(jìn)行傳送。另外，也可以預(yù)先存儲假想I-VOP的下一個VOP附帶的同步時刻(時刻0)，在接收到用戶的錄像結(jié)束指示之前比特流存儲器已用完了存儲空間時，就從圖像服務(wù)器再次傳送由時刻0和時刻2特定的錄像范圍的比特流，從而將這些比特流作為在終端側(cè)保持的假想I-VOP的起點進(jìn)行譯碼處理。這樣，通過利用圖像服務(wù)器的再傳送功能，便可進(jìn)行超過比特流存儲器的存儲容量的錄像播放。
(6)在實施例中，作為用于識別用戶指定的錄像開始幀和錄像結(jié)束幀的信息，是利用在接收比特序列中各圖像幀(VOP)附帶的同步時刻(modulo-time-base和vop-time-increment)，但是，也可以應(yīng)用例如幀號碼等其他信息來取代這些同步時刻。另外，也可以預(yù)先登錄應(yīng)錄像的場景的特征信息，取代用戶指示錄像的開始，在將具有這些特征的的圖像譯碼或再生的時刻自動地開始錄像保存模式，從而自動地記錄指定時間的運(yùn)動圖像。
根據(jù)以上的說明可知，按照本發(fā)明，將在接收比特流的任意位置選擇的譯碼圖像作為假想的幀內(nèi)編碼圖像(假想I-VOP)預(yù)先保存，通過將其作為初始圖像而將后續(xù)幀的圖像編碼數(shù)據(jù)進(jìn)行譯碼處理，便可在途中從不具有隨機(jī)訪問用幀內(nèi)編碼圖像或其插入頻度少的運(yùn)動圖像編碼數(shù)據(jù)串中有效地將用戶所希望的場景進(jìn)行錄像和再生。
權(quán)利要求
1.運(yùn)動圖像數(shù)據(jù)的記錄再生方法，其特征在于在將由運(yùn)動圖像編碼數(shù)據(jù)串構(gòu)成的接收比特流譯碼并顯示再生圖像的期間，預(yù)先將任意選擇的譯碼圖像作為假想的幀內(nèi)編碼圖像保存，將生成作為上述假想的幀內(nèi)編碼圖像被處理的譯碼圖像之后的特定期間的再生圖像的部分的比特流作為錄像數(shù)據(jù)進(jìn)行記錄。
2.按權(quán)利要求1所述的運(yùn)動圖像數(shù)據(jù)的記錄再生方法，其特征在于將響應(yīng)用戶的錄像指示而選擇的譯碼圖像作為上述假想的幀內(nèi)編碼圖像進(jìn)行保存。
3.按權(quán)利要求1所述的運(yùn)動圖像數(shù)據(jù)的記錄再生方法，其特征在于執(zhí)行按指定的周期定期地更新上述假想的幀內(nèi)編碼圖像，每次更新假想的幀內(nèi)編碼圖像時，重新記錄成為上述錄像數(shù)據(jù)的部分的接收比特流的預(yù)備錄像模式和響應(yīng)用戶的錄像指示抑制上述假想的幀內(nèi)編碼圖像的更新動作從而繼續(xù)進(jìn)行上述部分的接收比特流的記錄動作的錄像保存模式。
4.按權(quán)利要求1～權(quán)利要求3的任一項所述的運(yùn)動圖像數(shù)據(jù)的記錄再生方法，其特征在于作為上述假想的幀內(nèi)編碼圖像，保存將上述譯碼圖像進(jìn)行再編碼而得到的編碼數(shù)據(jù)。
5.按權(quán)利要求4所述的運(yùn)動圖像數(shù)據(jù)的記錄再生方法，其特征在于上述譯碼圖像用與上述接收比特流不同的編碼方式進(jìn)行再編碼。
6.按權(quán)利要求1～權(quán)利要求5的任一項所述的運(yùn)動圖像數(shù)據(jù)的記錄再生方法，其特征在于將包含在上述接收比特流中的標(biāo)題信息作為記錄數(shù)據(jù)的一部分進(jìn)行記錄，每次接收新的標(biāo)題信息時，更新此記錄標(biāo)題信息。
7.按權(quán)利要求1～權(quán)利要求6的任一項所述的運(yùn)動圖像數(shù)據(jù)的記錄再生方法，其特征在于響應(yīng)用戶的錄像再生指示，將上述假想的幀內(nèi)編碼圖像作為初始圖像開始進(jìn)行上述錄像數(shù)據(jù)的譯碼處理。
8.一種接收由運(yùn)動圖像編碼數(shù)據(jù)串構(gòu)成的比特流并作為運(yùn)動圖像進(jìn)行顯示的終端裝置，其特征在于由用于將上述接收比特流譯碼的譯碼器、用于將上述接收比特流的一部分作為錄像數(shù)據(jù)有選擇地進(jìn)行存儲的存儲裝置和控制錄像數(shù)據(jù)向上述存儲裝置的寫入和讀出的控制裝置構(gòu)成，上述控制裝置從由上述譯碼器生成的譯碼圖像群中選擇任意的譯碼圖像，作為假想的幀內(nèi)編碼圖像進(jìn)行保存，同時，將從上述接收比特流中抽出的標(biāo)題信息和生成上述假想的幀內(nèi)編碼圖像之后的特定期間的再生圖像的部分的比特流作為錄像數(shù)據(jù)寫入到上述存儲裝置中。
9.按權(quán)利要求8所述的終端裝置，其特征在于具有用于輸入用戶的指令的輸入裝置，上述控制裝置響應(yīng)用戶的指令控制上述譯碼圖像的選擇和向上述存儲裝置的上述比特流的寫入。
10.按權(quán)利要求8所述的終端裝置，其特征在于具有用于輸入用戶的指令的輸入裝置，在顯示運(yùn)動圖像的的過程中，執(zhí)行上述控制裝置按指定的周期定期地更新上述假想的幀內(nèi)編碼圖像，每次更新假想的幀內(nèi)編碼圖像時，有選擇地將部分的比特流重新記錄到上述存儲裝置中的預(yù)備錄像模式和響應(yīng)用戶的錄像指示而抑制上述假想的幀內(nèi)編碼圖像的更新動作從而繼續(xù)進(jìn)行上述部分的接收比特流的記錄動作的錄像保存模式。
11.按權(quán)利要求8～權(quán)利要求10的任一項所述的終端裝置，其特征在于上述控制裝置響應(yīng)用戶的錄像再生指令，將上述假想的幀內(nèi)編碼圖像作為初始圖像設(shè)定到上述譯碼器中，將從上述存儲裝置中讀出的比特流開始向上述譯碼器的供給。
12.按權(quán)利要求8～權(quán)利要求11的任一項所述的終端裝置，其特征在于上述譯碼器具有第1、第2、第3幀存儲器，常時，通過交替地切換分配給參照圖像用和當(dāng)前圖像用的2個幀存儲器，按幀單位將上述接收比特流譯碼，響應(yīng)上述控制裝置的指令，通過將參照圖像用的幀存儲器切換給假想的幀內(nèi)編碼圖像用、而將此前的假想的幀內(nèi)編碼圖像用的幀存儲器切換給當(dāng)前圖像用，來保存假想的幀內(nèi)編碼圖像。
13.按權(quán)利要求8～權(quán)利要求11的任一項所述的終端裝置，其特征在于具有用于將圖像編碼的編碼器，上述控制裝置通過用上述編碼器將上述選擇的譯碼圖像進(jìn)行再編碼，將上述假想的幀內(nèi)編碼圖像以編碼數(shù)據(jù)的形式保存到上述存儲裝置中。
14.一種接收由運(yùn)動圖像編碼數(shù)據(jù)串構(gòu)成的比特流并作為運(yùn)動圖像進(jìn)行顯示的終端裝置，其特征在于由用于將上述接收比特流譯碼的譯碼器；用于存儲上述接收比特流的一部分的存儲裝置；用于將從上述接收比特流中的任意的幀位置開始的部分的比特流作為錄像數(shù)據(jù)寫入上述存儲裝置的控制裝置；和在上述控制裝置發(fā)布更新指示之前用于保持緊接由上述譯碼器譯碼的上述部分的比特流之前的幀的譯碼圖像的保持裝置構(gòu)成。
全文摘要
一種記錄再生裝置,接收運(yùn)動圖像的譯碼所需要的幀內(nèi)編碼圖像(I－VOP)的插入頻度少的運(yùn)動圖像編碼數(shù)據(jù),將任意的場景有效地錄像到小容量的存儲器中。在將由運(yùn)動圖像編碼數(shù)據(jù)串構(gòu)成的接收比特流進(jìn)行譯碼并顯示再生圖像的期間,預(yù)先將任意選擇的譯碼圖像作為假想的幀內(nèi)編碼圖像(假想I－VOP)進(jìn)行保存,將生成作為假想I－VOP被處理的譯碼圖像之后的特定期間的再生圖像的部分的比特流作為錄像數(shù)據(jù)進(jìn)行記錄。錄像數(shù)據(jù)將假想I－VOP作為初始畫面進(jìn)行譯碼。
文檔編號H04N5/92GK1368816SQ01108919
公開日2002年9月11日 申請日期2001年2月28日 優(yōu)先權(quán)日2001年2月5日
發(fā)明者鈴木芳典 申請人:株式會社日立制作所