專利名稱：數(shù)據處理裝置及方法
技術領域：
本發(fā)明涉及再生被壓縮代碼化的音頻數(shù)據及視頻數(shù)據之際，使視頻和音頻同步再生的裝置及方法。
背景技術：
在現(xiàn)有技術中，從CD-ROM、DVD-ROM、硬盤等記錄媒體中讀出壓縮代碼化后記錄的視頻信號及音頻信號、譯碼(解壓縮)后輸出的數(shù)據再生裝置，已廣為人知。數(shù)據再生裝置將解壓縮后的數(shù)據發(fā)送給與該裝置連接的監(jiān)視器、音響揚聲器等，從而實現(xiàn)視頻及音頻的再生。
關于壓縮代碼化，許多標準對它作出了規(guī)定。例如MPEG(MotionPicture Experts Group)，作為將視頻信號及音頻信號兩者壓縮代碼化的標準，已廣為人知。在MPEG標準中，為了保證同步再生表現(xiàn)視頻信號的視頻和表現(xiàn)音頻信號的音頻，給音頻信號及視頻信號分別附加表現(xiàn)應該再生的時刻的時刻信息。這樣，在解壓縮時，對于系統(tǒng)機器具有的系統(tǒng)時刻基準參照值，參照這些時刻信息，能夠使視頻信號及音頻信號同步再生。
下面，講述現(xiàn)有技術的同步方法。例如，如果采用日本國特開平6-233269號公報記載的技術，首先，再生裝置檢出音頻及視頻中的某一方結束解壓縮處理時的時刻和另一方結束解壓縮處理時的時刻的差分。然后，根據檢出的差分值，再生裝置變更壓縮數(shù)據的傳輸時間、解壓縮電路的啟動時間及視頻的顯示時間，使音頻和視頻同步后，向監(jiān)視器、音響揚聲器等外部機器輸出。
可是，上述的再生裝置，因為是在其內部使音頻和視頻同步后向外部機器輸出的，所以在外部機器中，給視頻及音頻中的一方施加處理產生延遲后，就要出現(xiàn)不能和另一方同步再生的問題。
例如外部機器是電視機等的圖象顯示機器時，在圖象顯示機器中進行交錯/前進變換、NTSC/PAL變換等的變換處理，以及根據來自用戶的指令進行視頻的擴大·縮小的圖象處理后，由于處理花費時間，所以音頻再生就會在視頻再生之前進行。例如，假設進行擴大輸出畫面的圖象處理，需要旨在根據原來的輸出畫面數(shù)據編制插補數(shù)據而進行的運算處理。而且，為了制作出流暢的動畫，還需要進行在時間上有先有后的多個輸出幀及輸出場單位的濾波運算。另外，假設對從能夠獨立地解壓縮多個輸入流的電路等輸出的2個以上的視頻進行合成處理，為了使所有的視頻同步，有時必須使特定的流的視頻輸出延遲。進而，就象劇場系統(tǒng)等那樣，在先將視頻信號變換成光信號等后傳輸時，視頻信號的變換也有時需要時間。
在上述的一個或兩個以上的運算處理等中，有時需要花費數(shù)毫秒到數(shù)+毫秒的時間。音頻再生比視頻再生早一定時間(大約30毫秒)以上后，圖象中的人物的口型和聲音的不一致就十分醒目，給收看者帶來不和諧的感覺?，F(xiàn)有技術的再生裝置，由于不考慮外部機器的處理造成的視頻及音頻的再生時間的差異，所以在外部機器中進行更加耗時的處理時，視頻及音頻的再生時間的差異就會更加醒目。
此外，在外部機器上設置使音頻再生延遲的緩沖器，可以使音頻和圖象處理后的視頻同步再生。可是，由于在向外部機器輸出的視頻數(shù)據及音頻數(shù)據中，不存在指令再生時間的時刻信息，所以就會造成在外部機器中獨自決定輸出時間的不妥當?shù)默F(xiàn)象。另外，設置緩沖器這種做法，還無法在現(xiàn)有的不具備緩沖器的外部機器中采用，所以不能稱作根本性的解決方法。

發(fā)明內容
本發(fā)明就是為解決以上的課題而研制的，其目的在于即使在視頻的延遲量由于外部連接機器的差異、處理類別等而不同時，也能使音頻和視頻如同當初希望的那樣同步再生。
采用本發(fā)明的數(shù)據處理裝置，具有接收具有壓縮代碼化的視頻內容有關的第1數(shù)據、規(guī)定所述第1數(shù)據的再生時刻的第1時刻信息、與所述視頻內容不同的內容有關的第2數(shù)據及規(guī)定所述第2數(shù)據的再生時刻的第2時刻信息的數(shù)據流的接收部；從所述數(shù)據流中抽出所述第1數(shù)據、所述第1時刻信息、所述第2數(shù)據及所述第2時刻信息的分離部；譯碼所述第1數(shù)據，根據所述第1時刻信息輸出的第1譯碼器部；根據所述第2時刻信息，輸出所述第2數(shù)據的第2譯碼器部。數(shù)據處理裝置進而還包括在所述第1時刻信息及所述第2時刻信息規(guī)定同步再生所述第1數(shù)據及所述第2數(shù)據的時刻時，保持規(guī)定再生時刻的延遲量的延遲信息，而且根據所述延遲信息，修正所述第2時刻信息，使所述第2數(shù)據的再生時刻延遲的延遲設定部。
所述第2數(shù)據的內容，被壓縮代碼化；所述第2譯碼部，譯碼所述第2數(shù)據；所述第2譯碼部，還可以具有存放譯碼的所述第2數(shù)據的內部緩沖器。
所述第2數(shù)據的內容，被壓縮代碼化；所述數(shù)據處理裝置，還具有存放被壓縮代碼化的所述第2數(shù)據的數(shù)據緩沖器；所述數(shù)據緩沖器，可以在被修正后的第2時刻信息規(guī)定的再生時刻之前，取出所述被壓縮代碼化的所述第2數(shù)據，向所述第2譯碼部輸出。
所述接收部，持續(xù)性地接收所述數(shù)據流；所述數(shù)據緩沖器，依次存放所述第2數(shù)據。所述數(shù)據緩沖器的容量，可以是到達由修正前的第2時刻信息規(guī)定的再生時刻之前接收的所述第2數(shù)據的數(shù)據量，與經過與所述再生時刻的延遲量對應的時間為止接收的所述第2數(shù)據的數(shù)據量的和以上。
所述數(shù)據處理裝置，還可以具有管理規(guī)定表示所述數(shù)據緩沖器內存放所述第2數(shù)據的位置的地址信息，和與所述第2數(shù)據對應的修正前的第2時刻信息的對應關系的表格的管理部。
所述管理部，還可以對于所述第2數(shù)據的一部分，管理所述表格。
所述接收部，還可以接收具有有關音頻及字幕的至少一方的所述第2數(shù)據的數(shù)據流。
所述延遲設定部，還可以從用戶那里接收特定所述延遲量的值，作為所述延遲信息保持。
所述延遲設定部，還可以將預先決定的值，作為所述延遲信息保持。
所述延遲設定部，還可以將再生時刻的延遲量，作為30毫秒以上的值規(guī)定的延遲信息保持。
所述數(shù)據處理裝置，還具有在向與之連接的機器發(fā)送所述第1數(shù)據的同時，從所述機器接收可以特定機器的固有信息的發(fā)射機。所述發(fā)射機，根據所述固有信息，特定在所述機器中實施的有關所述第1數(shù)據的視頻處理所需的時間；所述延遲設定部，還可以將特定的所述所需時間的值，作為所述延遲量，保持延遲信息。
所述第1譯碼器部及所述第2譯碼器部，可以作為單一的譯碼器電路安裝。
采用本發(fā)明的數(shù)據處理方法，包括接收具有壓縮代碼化的視頻內容有關的第1數(shù)據、規(guī)定所述第1數(shù)據的第1時刻信息、與所述視頻內容不同的內容有關的第2數(shù)據及規(guī)定所述第2數(shù)據的再生時刻的第2時刻信息的數(shù)據流的步驟；從所述數(shù)據流中抽出所述第1數(shù)據、所述第1時刻信息、所述第2數(shù)據及所述第2時刻信息的步驟；譯碼所述第1數(shù)據，根據所述第1時刻信息輸出的步驟。數(shù)據處理方法進而還包括在所述第1時刻信息及所述第2時刻信息規(guī)定同步再生所述第1數(shù)據及所述第2數(shù)據的時刻時，保持規(guī)定再生時刻的延遲量的延遲信息的步驟；根據所述延遲信息，修正所述第2時刻信息，使所述第2數(shù)據的再生時刻延遲的步驟；根據所述第2時刻信息，輸出所述第2數(shù)據的步驟。
所述第2數(shù)據的內容，被壓縮代碼化；輸出所述第2數(shù)據的步驟，也可以將所述第2數(shù)據譯碼，將譯碼后的所述第2數(shù)據存放到數(shù)據緩沖器中后輸出。
所述第2數(shù)據的內容，被壓縮代碼化；所述數(shù)據處理方法，還包括將壓縮代碼化的所述第2數(shù)據存放到數(shù)據緩沖器中的步驟；在被修正后的第2時刻信息規(guī)定的再生時刻之前，從所述數(shù)據緩沖器取出存放的所述第2數(shù)據的步驟。輸出所述第2數(shù)據的步驟，也可以輸出從所述數(shù)據緩沖器取出的所述第2數(shù)據。
所述接收的步驟，持續(xù)性地接收所述數(shù)據流；存放所述第2數(shù)據的步驟，將所述第2數(shù)據依次存放到所述數(shù)據緩沖器中。所述數(shù)據緩沖器的容量，最好是到達由修正前的第2時刻信息規(guī)定的再生時刻之前接收的所述第2數(shù)據的數(shù)據量，和經過與所述再生時刻的延遲量對應的時間為止接收的所述第2數(shù)據的數(shù)據量的和以上。
所述數(shù)據處理方法，還可以包括管理規(guī)定表示所述數(shù)據緩沖器內存放所述第2數(shù)據的位置的地址信息，和與所述第2數(shù)據對應的修正前的第2時刻信息的對應關系的表格的步驟。
所述管理的步驟，還可以對于所述第2數(shù)據的一部分，管理所述表格。
所述接收的步驟，還可以接收具有有關音頻及字幕的至少一方的所述第2數(shù)據的數(shù)據流。
所述使其延遲的步驟，還可以從用戶那里接收特定所述延遲量的值，作為所述延遲信息保持。
所述使其延遲步驟，還可以將預先決定的值，作為所述延遲信息保持。
所述使其延遲的步驟，還可以將再生時刻的延遲量，作為規(guī)定30毫秒以上的延遲信息保持。
所述數(shù)據處理方法，還包括在向與之連接的機器發(fā)送所述第1數(shù)據的步驟；從所述機器接收可以特定機器的固有信息的步驟；根據所述固有信息，特定在所述機器中實施的有關所述第1數(shù)據的視頻處理所需的時間的步驟。所述使其延遲的步驟，還可以將特定的所述所需時間的值，作為所述延遲信息保持。
采用本發(fā)明的計算機程序，在數(shù)據處理裝置的計算機中實施。計算機按照所述程序實施的數(shù)據處理方法，包括接收具有壓縮代碼化的視頻內容有關的第1數(shù)據、規(guī)定所述第1數(shù)據的第1時刻信息、與所述視頻內容不同的內容有關的第2數(shù)據及規(guī)定所述第2數(shù)據的再生時刻的第2時刻信息的數(shù)據流的步驟；從所述數(shù)據流中抽出所述第1數(shù)據、所述第1時刻信息、所述第2數(shù)據及所述第2時刻信息的步驟；譯碼所述第1數(shù)據，根據所述第1時刻信息輸出的步驟。該計算機實施的數(shù)據處理方法，進而還包括在所述第1時刻信息及所述第2時刻信息規(guī)定同步再生所述第1數(shù)據及所述第2數(shù)據的時刻時，保持規(guī)定再生時刻的延遲量的延遲信息的步驟；根據所述延遲信息，修正所述第2時刻信息，使所述第2數(shù)據的再生時刻延遲的步驟；根據所述第2時刻信息輸出所述第2數(shù)據的步驟。


圖1是表示MPEG2程序流10的數(shù)據結構的圖形。
圖2是表示出音頻組件40的數(shù)據結構的圖形。
圖3是表示數(shù)據處理裝置100，和與數(shù)據處理裝置100連接的圖象音響機器120的圖形。
圖4是表示譯碼器部60的詳細的功能塊的結構的圖形。
圖5是表示使用PTS實現(xiàn)視頻及音頻的同步再生的再生時序的圖形。
圖6是表示本實施方式的譯碼器部60的處理步驟的流程圖。
圖7(a)是表示音頻再生管理部7中生成的表格的結構的圖形。
圖7(b)是表示音頻緩沖器部6中存放的音頻數(shù)據的數(shù)據配置和被音頻地址信息參照的數(shù)據位置的關系的圖形。
圖8(a)是表示音頻延遲設定部9的操作部的示例的圖形。
圖8(b)是表示延遲時間的設定畫面的示例的圖形。
圖9是表示音頻緩沖器部6的結構示例的圖形。
圖10(a)是表示刪除前的音頻再生管理部7的表格7a的結構的圖形。
圖10(b)是表示刪除后的音頻再生管理部7的表格7b的結構的圖形。
圖11是表示搭載了進行視頻處理的處理電路的視頻輸出部12的功能塊的結構的圖形。
圖12是表示數(shù)據處理裝置100和圖象音響機器120的連接及在它們之間收發(fā)的數(shù)據的種類的圖形。
具體實施例方式
下面，首先講述數(shù)據流的數(shù)據結構，然后講述利用該數(shù)據流，進行本發(fā)明的處理的數(shù)據處理裝置的結構及動作。
圖1是表示MPEG2程序流10的數(shù)據結構。MPEG2程序流10(以下稱作“數(shù)據流10”)，具有遵照DVD視頻標準的數(shù)據結構。數(shù)據流10，包含有關視頻的內容的視頻數(shù)據和有關音頻的內容的音頻數(shù)據。下面，作為包含視頻數(shù)據及音頻數(shù)據進行講述，但除此之外，在數(shù)據流10中還可以包含字幕數(shù)據等。
數(shù)據流10，包含多個視頻對象單元(video OBject；VOB)#1、#2、…、#k。各VOB，包含多個VOB單元(video OBject unit；VOBU)#1、#2、…、#n。各VOBU是作為圖象的再生時間，包含從0.4秒到1秒左右的數(shù)據的數(shù)據單位。下面，以VOBU#1及#2為例，講述VOBU的數(shù)據結構。此外，在以下使用的“再生”這個詞，除非特別明確表示的外，關于視頻內容及字幕等的視頻，是指在顯示機器(電視機等)上映出；關于音頻則是指由輸出機器(揚聲器等)作為聲音輸出。
VOBU#1，由多個組件構成。數(shù)據流10內的各組件的數(shù)據長(組件長)，是一定(2k字節(jié)(2048字節(jié)))的。在VOBU的前頭，配置著在圖1中用“N”表示的導引組件20。在引導組件20的后面，包含多個用“V”表示的視頻組件(視頻組件30等)及用“A”表示的音頻組件(音頻組件40等)。
各組件存放以下信息。就是說導引組件20存放著為了控制數(shù)據流10內的視頻、音頻等的再生而使用的信息，例如表示VOBU的再生時間的信息等。視頻組件30，存放著MPEG2壓縮代碼化的視頻數(shù)據。音頻組件40，例如存放著按照MPEG2-音頻標準壓縮代碼化的音頻數(shù)據。在靠近的視頻組件30及音頻組件40中，例如存放著同步再生的視頻數(shù)據及音頻數(shù)據，它們的配置(順序)是任意的。
VOBU#2也由多個組件構成。在VOBU#2的前頭，配置著導引組件20。然后，配置著多個視頻組件30及音頻組件40。各組件存放的信息內容，和VOBU#1一樣。
接著，參照圖2，講述音頻組件40的數(shù)據結構。圖2表示出音頻組件40的數(shù)據結構。音頻組件40，包括音頻信息包41及裝填信息包42。此外，裝填信息包42是為了調整數(shù)據組件的組件長而設置的信息包，所以不需要時就不存在。這時，在音頻組件40中，只包含音頻信息包41。
音頻信息包41，從前頭開始，依次有14字節(jié)的組件標題(Pack_H)、24字節(jié)的系統(tǒng)標題(system_H)、信息包標題(Packet_H)41a及有效荷載。
在組件標題中，記述特定組件的種類(在這里是音頻信息包)的信息。繼組件的開始碼后，記述基準時間信息——SCR(System Clock Reference；系統(tǒng)時刻基準參照值)。SCR是在對流進行譯碼之際，為了將成為譯碼器側的動作時刻的基準的同步信號STC(System Time Clock；系統(tǒng)時刻基準)的值設定成編碼器側希望的值，或修正成該值的信息。SCR基本上可以在任何信息包標題上附加。SCR是用90KHz的時鐘脈沖測量的值，以33比特長表示。系統(tǒng)標題，必須附加VOBU的前頭的組件上。信息包標題41a，將在后文詳述。在有效荷載中，記述壓縮代碼化的視頻數(shù)據。
在音頻組件40中，為了調整組件長、設置著具有組件標題42和目標數(shù)據42b的目標信息包42。在所定的條件之下，取代設置目標信息包42，可以在信息包標題41a內設置填塞字節(jié)場49。這兩者不能共存于同一個組件內。在圖2的示例中，由于在音頻組件40中，存在裝填信息包42，所以填塞字節(jié)場49是0字節(jié)，不存在。
下面，講述音頻信息包41的信息包標題41a的數(shù)據結構。信息包標題41a，具有信息包長場43、標志場44及標題數(shù)據長場45。進而，在信息包標題41a中，還往往按照時間標志場44a及PES解壓縮標志場44b的值，設置追加的場46。
在信息包長場43中，記述著從該場以后起到該音頻信息包41的最后為止的信息包長(場長)。接著，標志場44包含時間標志場44a(PTS_DTS_flag)、PES解壓縮標志場(PES_extnsion_flag)44b等。在時間標志場44a中，記述表示有無后文講述的顯示時間標記(PTS)或譯碼時間標記的標志。另外，在PES解壓縮標志場44b中，記述表示有無PES解壓縮場48的標志。在標題數(shù)據長場45中，存放追加的場46及填塞字節(jié)場49的場長之和。
下面，講述追加的場46。在MPEG中，為了實現(xiàn)視頻及音頻的同步再生，給被稱作視頻和音頻的各存取單元的譯碼器的每個單位(視頻為1幀，音頻為1音頻幀)，附加旨在管理應該何時再生的時刻的時間標記值。該時間標記值，被稱作PTS(Presehion Time Stamp)，音頻用的規(guī)定著音頻PTS(以下記作“APTS”)，視頻用的規(guī)定著視頻PTS(以下記作“VPTS”)。
PTS與上述的系統(tǒng)時刻基準STC一致時，為了再生而輸出附加該PTS的存取單元。PTS的精度，與SCR一樣，是用90KHz的時鐘脈沖測量的值，用33比特長表現(xiàn)。用90KHz測量的理由，是因為它是NTSC、PAL兩者的視頻方式的幀頻率的公倍數(shù)，可以得到比音頻的1個取樣周期高的精度。
另一方面，附加表示應該用什么樣的順序對壓縮數(shù)據進行譯碼的時間標記信息。該時間標記值，被稱作“譯碼時間標記”。
該場46設置各5字節(jié)的PTS/DTS場47時，時間標志場44a表示具有PTS DTS。按照時間標志場44a的值，設置某一個場。另外，作為追加的場46，還往往設置PES解壓縮場48。在PES解壓縮場48中，記述著程序流10的譯碼所需的信息，例如譯碼用的數(shù)據緩沖器的容量等。
此外，在圖2中示出音頻組件的數(shù)據結構。但視頻組件的數(shù)據結構也一樣。只要將“音頻信息包”改叫成“視頻信息包”，將有效荷載存放的“音頻數(shù)據”改叫成“視頻數(shù)據”即可。在視頻信息包中，也用相同的數(shù)據結構記述著上述PTS及DTS，規(guī)定著譯碼時間及再生時間。
下面，參照圖3及圖4，講述采用本實施方式的數(shù)據處理裝置100的結構及動作。圖3示出數(shù)據處理裝置100，和與數(shù)據處理裝置100連接的圖象音響機器120。數(shù)據處理裝置100，通過光拾波器作媒介，從DVD-ROM等光盤110中讀出數(shù)據流10。再生部50，對作為模擬波形讀出的數(shù)據流10進行二值化處理后，作為數(shù)字數(shù)據流輸出。MPEG2-PS譯碼器部60(以下記作“譯碼器部60”)，將這種流分離成視頻數(shù)據及音頻數(shù)據，將它們一一譯碼后，向圖象音響機器120輸出。
數(shù)據處理裝置100，是DVD播放器、DVD錄音機、PC等。取代光盤110，使用硬盤時，是硬盤錄音機。另外，通過天線等做媒介，接收數(shù)字廣播的數(shù)據流10時，數(shù)據處理裝置100作為頂置盒、數(shù)字衛(wèi)星收發(fā)圖象機等實現(xiàn)。另一方面，圖象音響機器120，例如是TV等監(jiān)視器輸出機器、音頻輸出放大器、具有AV選擇器功能的AV放大器等的接口機器。在圖3中，示出1個圖象音響機器120，但也可以具有多個顯示圖象的機器、輸出聲音等的機器等。
采用本發(fā)明的實施方式的數(shù)據處理裝置100的特征之一，是在圖象音響機器120中進行各種運算處理等后，使本來應該同步再生的視頻及音頻錯開再生時，能夠使將要提前的輸出推遲后輸出。例如，在圖象音響機器120中，因為進行視頻數(shù)據的交錯/前進變換而使視頻數(shù)據的再生比音頻的再生延遲時，使將要提前的音頻數(shù)據推遲相當于視頻數(shù)據的再生時刻的延遲量的時間后輸出。這樣，視頻數(shù)據和音頻數(shù)據就可以同步再生。此外，音頻數(shù)據的延遲輸出，可以通過修正規(guī)定音頻數(shù)據的再生時刻的PTS來實現(xiàn)。延遲量，可以根據預測的時間、用戶設定的時間、特定圖象音響機器120后能夠判斷的在圖象音響機器120中進行視頻處理所需的時間等進行設定。
上述的數(shù)據處理裝置100的特征，主要通過數(shù)據處理裝置100的譯碼器部60來實現(xiàn)。下面，詳細講述譯碼器部60。
圖4示出譯碼器部60的詳細的功能塊的結構。譯碼器部60，具有系統(tǒng)譯碼器部1，視頻緩沖器部2，視頻再生管理部3，系統(tǒng)時刻基準參照部4，視頻譯碼器部5，音頻緩沖器部6，音頻再生管理部7，音頻譯碼器部8，音頻延遲設定部9。
系統(tǒng)譯碼器部1在從數(shù)據流10分離、抽出被數(shù)字壓縮代碼化的音頻及視頻數(shù)據的同時，還將附加在視頻組件上的PTS作為視頻再生時刻信息抽出，將附加在音頻組件上的PTS作為音頻再生時刻信息抽出。
首先，講述關于音頻處理的構成要素。視頻緩沖器部2存放被系統(tǒng)譯碼器部1分離的視頻數(shù)據。視頻再生管理部3生成、管理被視頻緩沖器部2存放的視頻數(shù)據和視頻再生時刻信息互相關聯(lián)的表格。
視頻譯碼器部5在解析被壓縮代碼化的視頻數(shù)據的屬性信息(視頻標題信息)的同時，還按照視頻再生時刻信息對被視頻緩沖器部2存放的視頻數(shù)據進行譯碼。在視頻譯碼器部5中，設置著幀緩沖器部11及視頻輸出部12。幀緩沖器部11存放譯碼后的視頻數(shù)據。視頻輸出部12從譯碼器部60向其外部輸出視頻數(shù)據。該視頻數(shù)據還向與數(shù)據處理裝置100連接的圖象音響機器120輸出。
下面，講述與音頻處理相關的構成要素。音頻緩沖器部6是能夠存放被系統(tǒng)譯碼器部1分離的音頻數(shù)據的半導體存儲器。該緩沖器的大小，因處理的代碼化音頻數(shù)據的壓縮率等的不同而不同，例如是數(shù)k字節(jié)到數(shù)十k字節(jié)左右。音頻再生管理部7，生成、管理音頻緩沖器部6存放的音頻數(shù)據和音頻再生時刻信息相互關聯(lián)的表格。該表格將在后文中參閱圖7(a)及(b)詳細講述。
音頻延遲設定部9，保持規(guī)定音頻的再生時刻的延遲量的延遲信息，而且根據延遲信息修正音頻的再生時刻信息，使該再生時刻延遲。音頻延遲設定部9，例如具有保持延遲信息的存儲器(圖中未示出)，預先設定圖象音響機器120的處理所需的估計時間。而且還能保持用戶設定的數(shù)毫秒單位或視頻幀單位的延遲時間的相關信息。這樣，就能夠按照在圖象音響機器120中發(fā)生的處理延遲進行微調。
音頻譯碼部8，在解析壓縮代碼化的音頻數(shù)據的屬性(音頻標題信息)的同時，還按照音頻再生時刻信息對音頻緩沖器部6存放的音頻數(shù)據進行譯碼。在音頻譯碼部8中，設置著PCM緩沖器部13及音頻輸出部14。PCM緩沖器部13，存放譯碼后的音頻數(shù)據。音頻輸出部14將音頻數(shù)據從譯碼器部60向其外部輸出。該音頻數(shù)據，進而向與數(shù)據處理裝置100連接的圖象音響機器120輸出。
此外，上述的視頻譯碼部5及音頻譯碼部6，在進行譯碼這一點上，具有相同的功能。所以，只要能實現(xiàn)各自的功能，就可以作為一個半導體集成電路等安裝。例如，圖4示出具有視頻譯碼部5及音頻譯碼器部6的譯碼器芯片15。
接著，講述旨在同步再生視頻輸出部12及音頻輸出部14輸出的視頻數(shù)據及音頻數(shù)據的結構。譯碼時間及再生時間，由系統(tǒng)時刻基準參照部4實現(xiàn)。系統(tǒng)時刻基準參照部4，在MPEG系統(tǒng)的數(shù)據處理裝置100的內部生成系統(tǒng)時刻基準STC。因為在數(shù)據處理裝置100的一側生成STC，所以使用被DVD盤等中使用的程序流(PS)規(guī)定的SCR的值。如上所述，SCR被組件標題記述。此外，輸入的數(shù)據流是在BS數(shù)字廣播中使用的傳輸流(TS)時，使用PCR(Program Clock Refrence程序時刻基準參照值)。
系統(tǒng)時刻基準參照部4，在視頻數(shù)據的最終字節(jié)到達時(接收到來自再生處理部50的數(shù)據時)，作為系統(tǒng)時刻基準STC，設定和SCR的值相同的值，將STC作為基準時刻。進而，通過組合該STC的值和PLL(相位鎖定回線)電路(圖中未示出)，可以作為使頻率和譯碼器部60的基準時刻用系統(tǒng)時鐘脈沖完全一致的STC。系統(tǒng)時刻基準STC的頻率是27MHz。利用計數(shù)器等，從該STC分頻后，各PTS(頻率90KHz)就被參照。
數(shù)據處理裝置100進行現(xiàn)有技術的處理時，視頻譯碼器部5在系統(tǒng)時刻基準STC與VPTS一致時，輸出附加該PTS的存取單元后使其再生。另外，音頻譯碼部8在STC與APTS一致時，輸出附加該PTS的存取單元后使其再生。因為PTS的頻率是90KHz，所以在該精度范圍內，對各視頻數(shù)據及音頻數(shù)據進行譯碼，以便使STC和VPTS及APTC取得同步。這樣，就能實現(xiàn)視頻及音頻的同步再生。
另一方面，采用本實施方式的處理后，在考慮到在圖象音響機器120中的視頻處理的延遲后，實現(xiàn)數(shù)據處理裝置100的視頻及音頻的同步再生。下面，參照圖5，講述其梗概，然后參照圖5，講述為了實現(xiàn)其動作而進行的處理步驟。
圖5示出使用PTS實現(xiàn)視頻及音頻的同步再生的再生時序。表示再生時刻信息的時序，分作4個階段記述著。
第1階段，表示數(shù)據流10規(guī)定的視頻再生時刻信息(VPTS)的時序。生成數(shù)據流10的編碼器(圖中未示出)，在時刻tv1、tv2、…中，為了再生視頻進行壓縮代碼化。時刻tv1和tv2的間隔，例如如果是NTSC方式，就是33毫秒的n倍(n是自然數(shù))(30Hz)；如果是PAL方式，就是40毫秒的n倍(n是自然數(shù))(25Hz)。
接著，第3階段，表示數(shù)據流10的音頻的再生時序。對于音頻也和視頻一樣，編碼器(圖中未示出)在時刻tA1、tA2、…中，為了再生音頻進行壓縮代碼化。時刻tA1和tA2的間隔，例如如果是AAC(Advanced AudioCoding)方式，就是21.12毫秒的n倍。
另一方面，圖5的第2階段，表示在圖象音響機器120中進行視頻處理而導致的延遲的視頻的再生時序。例如，觀察最初顯示的視頻后，可以看到起因于視頻處理的延遲，致使本來應該在時刻tV1顯示的圖象，在比時刻tV1靠后的時刻tP1中再生。設其時間差為 接著，第4階段表示本實施方式的音頻延遲設定部9修正原來的再生時刻信息(APTS)后的音頻的再生時序。音頻延遲設定部9，將表示應該在時刻tV1中顯示的音頻的再生時刻信息(APTS)，修正成錯開視頻在圖象音響機器120中延遲的時間( )的時刻信息(NAPTS)，使音頻的再生時刻延遲。其結果，視頻數(shù)據在第1階段的時序(tv1、tv2、…)中由視頻輸出部12輸出，在第2階段的時序(tP1、tP2、…)中再生；音頻數(shù)據在第3階段的時序中由音頻輸出部14輸出，在第2階段的時序(時刻TNA1、TNA2…)中再生。使音頻的再生時間錯開視頻處理造成的延遲時間 后，能夠以編碼時預想的再生時序再生視頻及音頻。這樣，對于希望同步再生的視頻及音頻，也能如愿以償?shù)貙崿F(xiàn)。
此外，所謂視頻及音頻的“同步再生”，是指對音頻的再生時間來說，視頻的再生時間進入一定的時間范圍內(例如從提前50毫秒到推后30毫秒之間)。并不局限于視頻及音頻的PTS一致時。
使視頻和音頻在時間上錯開30毫秒以上后，有時會給收看者帶來不和諧的感覺。所以，對于NAPTS來說，如果VPTS處于提前50毫秒(更嚴格地說是提前30毫秒)到推遲毫秒之間，在實際的收看時，對收看者而言，就可以說實現(xiàn)了同步再生。
圖6示出本實施方式的譯碼器部60的處理步驟。首先，在步驟S101中，系統(tǒng)譯碼器部1將代碼化數(shù)據分離成代碼化視頻數(shù)據及代碼化音頻數(shù)據，在步驟S102中，從代碼化數(shù)據(視頻/音頻)中抽出代碼化幀數(shù)據及再生時刻信息(VPTS/APTS)。視頻及音頻的各代碼化幀數(shù)據，分別存放在視頻緩沖器部2及音頻緩沖器部6中，再生時刻信息(VPTS/APTS)發(fā)送給視頻再生管理部3及音頻再生管理部7。
圖7(a)示出音頻再生管理部7中生成的表格的結構。該表格示出音頻緩沖器部6中存放的音頻數(shù)據和音頻再生時刻信息的相互關系。首先，音頻再生管理部7，例如按APTS分割成槽這種單位。然后，使各槽與音頻地址信息一一對應。音頻地址信息，參照被對應的槽再生的、音頻緩沖器部6中存放的音頻數(shù)據的前頭地址。圖7(b)示出音頻緩沖器部6中存放的音頻數(shù)據的數(shù)據配置和被音頻地址信息參照的數(shù)據位置的關系。
再回到圖6。在步驟S103中，視頻譯碼器部5及音頻譯碼器部8，在VPTS/APTS到達系統(tǒng)時刻基準STC之前，對視頻/音頻的代碼化流數(shù)據進行譯碼，在步驟S104中，將譯碼后的視頻/音頻數(shù)據存放幀緩沖器部11及PCM緩沖器部13。
接著，在步驟S105中，音頻延遲設定部9將與預先設定的延遲時間對應的PTS值Δt與APTS的值相加，求出新的音頻再生時刻信息NAPTS值(NAPTS＝APTS+Δt)。經過以上處理后，可以獲得修正了音頻的再生時刻信息(APTS)的新的再生時刻信息(NAPTS)。
在本實施方式中，延遲時間由用戶預先設定。圖8(a)示出音頻延遲設定部9的操作部的示例。用戶操作初始設定畫面中圖8(a)所示的項目選擇鍵后，就移行到能夠設定聲音的延遲時間的模式。圖8(b)示出設定聲音的延遲時間之際的畫面的示例。用戶通過操作部作媒介，使畫面上的加亮點91對準“手動”，按下決定鍵后，就移行到手動設定延遲時間的模式。用戶一邊看著延遲量的顯示窗93，一邊按下圖8(a)的“設定1”所示的上方向按鈕后，畫面上的增加按鈕92a被加亮，延遲量增加。反之，按下“設定2”所示的下方向按鈕后，畫面上的減少按鈕92b被加亮，延遲量減少。在圖8中，使要延遲的時間，設定成“60mS”。PTS值Δt，可以根據設定的延遲時間得到。設定的時間為t(ms)時，就成為PTS值Δt＝90.9或91t。
接著，在步驟S106中，視頻譯碼器部5判斷系統(tǒng)時刻基準STC是否達到了VPTS。如果達到了，視頻輸出部12就在步驟S107中，從幀緩沖器中輸出視頻數(shù)據。如果沒有達到，就等待達到。接著，在步驟S108中，視頻譯碼器部8判斷STC是否達到了NAPTS。所謂“達到了”，表示STC導NAPTS一致時，或者STC超過NAPTS時。如果達到了，音頻輸出部14就在步驟S109中，從PCM緩沖器中輸出視頻數(shù)據。如果沒有達到，就等待達到。
然后，在步驟S110中，視頻譯碼器部5及視頻譯碼器部8判斷譯碼是否結束。譯碼結束了時，就結束處理，沒有結束時，就返回步驟S101，繼續(xù)處理。此外，用戶指令停止再生時，也結束處理。
以上，講述了采用本實施方式的數(shù)據處理裝置100的動作(特別譯碼器部60的動作)。
在以上的講述中，采用在將壓縮代碼化的音頻數(shù)據譯碼后，緩沖PCM數(shù)據的方法。但最好取而代之，在譯碼之前的音頻緩沖器部6中，緩沖音頻數(shù)據。因為與譯碼后的PCM數(shù)據相比，譯碼前的壓縮代碼化狀態(tài)的音頻數(shù)據的數(shù)據量少，音頻緩沖器部6等的緩沖器的尺寸小一點也行。具體地說，音頻的代碼化幀數(shù)據被存放到音頻緩沖器部6中后，只要將與預先設定的延遲時間對應的PTS值Δt和音頻的再生時刻(APTS)的值相加后，求出NAPTS值即可(NAPTS＝APTS+Δt)。這相當于在圖6的步驟S102之后、步驟S103之前，進行步驟S105的處理。其它的處理，如圖6所示。
圖9示出音頻緩沖器部6的結構示例。在音頻緩沖器部6中，設置著沒有音頻延遲時存放代碼化音頻數(shù)據的標準緩沖器6a，和有音頻延遲時存放追加的代碼化音頻數(shù)據的追加緩沖器6b。設置追加緩沖器6b的理由是因為在有音頻延遲時，如果采用現(xiàn)在技術的處理就應該在APTS所示的時刻輸出的音頻數(shù)據，在采用本實施方式的處理中，由于不能輸出到成為NAPTS為止，所以需要進而存放在時間上為Δt(＝NAPTS-APTS)之間讀人的數(shù)據的緩沖器容量。
這樣，音頻緩沖器部6需要的緩沖器容量，就是到達由當初的APTS規(guī)定的再生時刻之前接收的代碼化音頻數(shù)據的數(shù)據量，和經過導再生時刻的延遲量(Δt)對應的時間為止接收的代碼化音頻數(shù)據的數(shù)據量之和以上。前者由標準緩沖器6a確保，后者由追加緩沖器6b確保。
例如，認為在追加緩沖器6b中，需要能夠追加性地存放最大100毫秒的數(shù)據的追加緩沖器6b時。這相當于延遲時間最大為100毫秒時，相當于在視頻中相當于進行NTSC方式輸出時的約3幀視頻的顯示時間。這時需要的追加緩沖器6b的容量，在BS數(shù)字廣播時使用的音頻壓縮格式的AAC方式中，約為22k字節(jié)(每個頻道作為288k比特秒后，求出6頻道的數(shù)據量)。該容量，是追加性地保存譯碼后的PCM數(shù)據時的容量的幾分之一。
此外，由于被音頻緩沖器部6存放的代碼化音頻幀數(shù)據的數(shù)據量增加，因此必須增加音頻再生管理部7的表格尺寸。對此，也必須注意。
但是，如果不在音頻再生管理部7中存放所有的音頻的再生時刻信息(APTS)，而刪去一部分后構成表格，就能防止表格尺寸的增大。圖10(a)表示刪除前的音頻再生管理部7的表格7a的結構，圖10(b)表示刪除后的音頻再生管理部7的表格7b的結構。表格7b，刪去表格7a中的第奇數(shù)個再生時刻信息(APTS)后生成。再生管理部7采用實時方式生成表格7b時，以隔1個記述再生時刻信息(APTS)及其對應的地址信息為宜。這樣，表格7b的數(shù)據量就成為表格7a的數(shù)據量的一半。換言之，如果是相同的表格尺寸，表格7b就可以管理表格7a的兩倍的音頻數(shù)據。此外，間隔刪去再生時刻信息(APTS)及其對應的地址信息后，可以減少同步所需的APTS信息，所以使其同步的頻度減少，即使應該管理的數(shù)據的數(shù)據量增加，也能可靠地使視頻和音頻同步再生。
在本實施方式中，采用視頻譯碼器部5及音頻譯碼器部8，將壓縮代碼化的視頻數(shù)據及音頻數(shù)據譯碼后，在幀緩沖器部11及PCM緩沖器部13中保持的結構。可是，例如，在DVD中作為音頻數(shù)據包含線性PCM數(shù)據時，不需要譯碼動作。因為線性PCM數(shù)據雖然被代碼化，但卻沒有被壓縮。但是，盡管音頻數(shù)據是線性PCM數(shù)據，但為了按照流包含的同步信息和視頻同步再生，也能夠原封不動地采用先前的講述。另外，數(shù)據處理裝置100從光輸出端子原封不動地輸出道爾比降噪系統(tǒng)數(shù)字等的代碼化流時，以采用先儲存到流緩沖器(圖中未示出)中，然后參照STC，在NAPTS到達STC的時刻，由音頻輸出部14輸出的結構為宜。
下面，講述使音頻產生延遲的圖象音響機器120的視頻處理的具體示例。設想的視頻處理是(1)由每秒24幀的膠卷原材料向每秒30幀的視頻原材料的變換(2)交錯掃描·前進掃描之間的變換處理、標準圖象質量(StandardDefiniton；SD)的D1標準信號·高精度圖象質量(High Defition；HD)的D3標準信號間的變換處理、NTSC方式·PAL方式間的變換處理(3)按照用戶的指令等進行的圖象的擴大、縮小、編輯處理(4)多個圖象的合成處理等。在不需要上述處理的通常的再生處理時，不需要延遲音頻數(shù)據后輸出?？墒怯捎谝曨l處理的ON/OFF能產生延遲，所以需要設定延遲量及根據該設定進行音頻數(shù)據的延遲輸出。
這時，最好在音頻延遲設定部9中設定多個延遲時間不同的延遲信息，按照能夠進行的處理的類別一一對應。例如以采用用戶輸入圖象音響機器120能夠實行的圖象處理的類別后，譯碼器部60能夠按照該類別，改變延遲時間的結構為宜。
下面，講述求出使音頻數(shù)據的再生時間延遲的延遲時間，在音頻延遲設定部9中自動設定該時間的第1～第3設定手法。
首先，第1手法如下。在數(shù)據處理裝置100中，將視頻信號預先包含特定圖案的信號的同步檢證用測試流等譯碼后，發(fā)送給圖象音響機器120。然后，在圖象音響機器120中捕捉視頻處理后的顯示的圖象，測量其延遲時間。在音頻延遲設定部9中設定得到的延遲時間，從而能夠設定延遲時間。將這些處理自動化后，就能夠自動設定音頻的再生延遲時間。此外，還可以對圖象音響機器120中的各信號處理模式逐一測量延遲時間，設定延遲時間。測試流，既可以由廣播系統(tǒng)輸入，也可以從測試盤或數(shù)據處理裝置100內的存儲器等中讀出。此外，還可以不輸入測試流，而輸入測試圖案，該測試圖案輸出預先譯碼的視頻數(shù)據。這是因為測量譯碼后的視頻處理中的延遲即可。
接著，講述自動設定延遲時間的第2手法。在第2手法中，不是在圖象音響機器120，而是在視頻譯碼器部5的視頻輸出部12中進行妨礙和音頻同步的視頻處理的延遲原因(1)～(4)的處理。視頻輸出部12進行那種視頻處理后，譯碼器部60就能夠把握起因于視頻處理的延遲時間，其結果，音頻延遲設定部9能夠實時變更延遲量。另外，由于也不需要圖象音響機器120中的視頻處理，所以能夠減輕其負荷。
圖11是表示搭載了進行視頻處理的處理電路的視頻輸出部12的功能塊的結構的圖形。視頻輸出部12，從幀緩沖器部11接收被譯碼的幀數(shù)據，輸出進行所定的視頻處理后的視頻數(shù)據。視頻輸出部12，具有IP變換部71、格式變換部72、擴大縮小部73、其他畫面合成部74、GUI重疊部75和輸出部76。與這些構成要素關聯(lián)，在視頻譯碼器部5中，另行設置著外部圖象輸入部77及GUI數(shù)據生成部78。
IP變換部71，進行交錯掃描·前進掃描間的變換處理。格式變換部72，進行480i視頻信號·1080i視頻信號間的變換處理及NTSC方式·PAL方式間的變換處理。擴大縮小部73，根據用戶的指令等，進行圖象的擴大、縮小、編輯處理。其他畫面合成部74，將譯碼后的視頻與外部圖象輸入部77輸入的視頻合成。GUI重疊部75，將GUI數(shù)據生成部78生成的GUI數(shù)據和經過迄今為止的處理獲得的視頻重疊。然后，輸出部76輸出終端獲得的視頻數(shù)據。該輸出發(fā)送給圖象音響機器120。譯碼器部5，根據STC取得獲得視頻數(shù)據時的時刻，與該視頻數(shù)據的VPTS比較后，可以特定延遲時間。
再接著，講述自動設定延遲時間的第3手法。在第3手法中，數(shù)據處理裝置100和圖象音響機器120相互通信，數(shù)據處理裝置100特定圖象音響機器120中進行的視頻處理的類別。這樣，數(shù)據處理裝置100的譯碼器部60就能夠預先特定起因于視頻處理的延遲時間。
下面，予以具體講述。圖12示出數(shù)據處理裝置100和圖象音響機器120的連接及在它們之間收發(fā)的數(shù)據的種類。在圖12的示例中，按照HDMI標準收發(fā)數(shù)據，首先，HDMI發(fā)射機80對圖象音響機器120的HDMI接受機130發(fā)出計算特定圖象音響機器120的信息(機器固有信息)的控制指令。HDMI接受機130根據該控制指令，將自己的裝置的機器ID作為機器固有信息，發(fā)送給HDMI發(fā)射機80。機器ID，例如，作為制造廠固有信息(VendorSpecific Data)存放在圖象音響機器120內的ROM131中，能夠特定制造廠名、機種名等。
HDMI發(fā)射機80接受機器ID后，向譯碼器部60輸出。譯碼器部60接受機器ID后，參照內部存儲器或外部存儲卡等規(guī)定的表格。在表格中，記述著機器ID和延遲設定的對應關系。譯碼器部60根據機器ID及其表格，可以獲得起因于圖象音響機器120進行的視頻處理的延遲時間。這樣，就可以在音頻延遲設定部9中設定該延遲時間。此外，圖12是利用譯碼MPEG2程序流的數(shù)據處理裝置100時的例子。但是，譯碼的對象不局限于這種流。例如，接收、記錄的數(shù)字廣播的MPEG2傳輸流也成為譯碼的對象。譯碼器部60以采用按照流的種類進行譯碼的結構為宜。
至此，講述了將系統(tǒng)時刻基準參照值SCR作為基準，生成系統(tǒng)時刻基準STC，根據該STC，生成規(guī)定視頻的再生時間的VPTS及規(guī)定使其延遲的音頻的再生時間的NAPTS，使視頻及音頻同步再生的情況?？墒?，進而，既可以根據VPTS再生音頻，也可以根據NAPTS再生視頻。
再生光盤110記錄的代碼化內容時，編輯代碼化內容等，在編輯點不間斷地再生視頻時，將視頻的再生時間作為基準的時間管理，是有效的。這意味著以VPTS作為基準，管理NAPTS。在本說明書中，將以VPTS作為基準管理NAPTS的方法，稱為“視頻主導”。系統(tǒng)時刻基準參照部4，不是根據SCR生成的STC，而是根據VPTS生成STC，并且將NAPTS控制在規(guī)定的精度內地實施音頻譯碼。然后，跳過直到由NAPTS規(guī)定的時刻超過由VPTS規(guī)定的時刻為止的音頻數(shù)據的再生，從而使視頻和音頻同步再生。譯碼器部60的系統(tǒng)時刻基準參照部4，如果在確認由VPTS規(guī)定的再生時刻與由NAPTS規(guī)定的時刻進入一定的容許范圍內后，根據視頻主導管理時間，進行再生，就能夠天衣無縫地實現(xiàn)編輯再生。
例如，在刪除視頻數(shù)據的一部分后，希望在遍及刪除部分的前后，天衣無縫地再生圖象時，就在根據緊接著刪除位置的視頻數(shù)據顯示圖象的同時，還將根據將要刪除的位置之前的視頻數(shù)據的VPTS生成的STC值，變更成根據緊接著刪除位置的視頻數(shù)據的VPTS生成的STC值。然后將音頻輸出弱音后，再度重新獲得變更了延遲量的視頻及音頻的再生同步，從而再開音頻譯碼器。這樣，在編輯點的前后，也變更作為視頻主導的STC值，在編輯點的再生時，不會成為保持被再生的圖象等的不自然的再生。此外，這時也需要增加音頻延遲部分的音頻緩沖器部6的容量及音頻再生時刻信息管理部7的表格尺寸。
另一方面，再生光盤110記錄的代碼化內容時，在不間斷地再生音頻的情況下，將音頻的再生時間NAPTS作為基準的時間管理，是有效的。這意味著將NAPTS作為基準，使VPTS同步。在本說明書中，將以NAPTS為基準管理VPTS的方法，稱做“音頻主導”。系統(tǒng)時刻基準參照部4，不是根據SCR生成的STC，而是根據NAPTS生成STC，并且將VPTS控制在規(guī)定的精度內地實施視頻譯碼。然后，通過跳過適當?shù)妮敵鰣D象或多次輸出相同的畫面，從而和視頻同步地再生音頻。將由音頻的再生時間NAPTS規(guī)定的時刻作為音頻主導時，也因為考慮到音頻延遲后輸出，所以能夠和延遲了音頻的視頻同步再生。此外，這時也需要增加音頻延遲部分的音頻緩沖器部6的容量及音頻再生時刻信息管理部7的表格尺寸。
例如，希望不間斷地再生輸出聲音或音樂等時(快速進給及格進給再生時)，為了保持音頻的連續(xù)性，有時視頻的再生會過長或更短。這時，多次反復顯示相同的畫面，或進行跳過特定數(shù)幀等的處理。
在音頻延遲設定部9中變更延遲時間的設定時，可以暫時將音頻輸出設定成漸隱或弱音，降低音量。然后在變更延遲設定之后，解除弱音或實施漸顯，恢復成原來的音量。
以上講述了在圖1所示的數(shù)據流10中，音頻數(shù)據和視頻數(shù)據混在一起，在圖4所示的系統(tǒng)譯碼器部1中分離它們的情況?？墒?，音頻數(shù)據及視頻數(shù)據，還可以作為獨立的單個的流被包含。例如可以用PC編輯用錄象機等拍攝的音頻數(shù)據及視頻數(shù)據，分成視頻的基本流和音頻的基本流后輸入數(shù)據處理裝置100。如果根據視頻數(shù)據的再生時刻及音頻數(shù)據的再生時刻，同步再生視頻和音頻，就可以采用本發(fā)明。
在本實施方式中，同步再生視頻和音頻，但這只是一個例子。例如，關于由DVD設置的子圖象，在根據其視頻處理產生再生延遲時，也能生成音頻的再生時刻信息NAPTS，使字幕和音頻同步再生。另外，對接收、記錄衛(wèi)星廣播時的數(shù)據廣播的同步，也一樣。在圖象音響機器120中，視頻和音頻的內容重疊處理等中產生處理延遲時，生成音頻的再生時刻信息NAPTS后，可以同步再生視頻、數(shù)據的內容及音頻。
在本實施方式中，將相當于音頻延遲Δt的PTS，與APTS相加后求出NAPTS。但也可以從VPTS減去相當于Δt的量。但是，不是僅僅從VPTS減去Δt，而是對從VPTS減去Δt，而是對系統(tǒng)時刻基準參照值本身減去Δt，可以獲得相同的效果。具體地說，在數(shù)據處理裝置100中，可以給視頻的再生時刻信息設定減去任意的延遲用設定時間的單元及給系統(tǒng)時刻基準參照值設定減去任意的延遲用設定時間的單元。這樣，對考慮到圖象音響機器120中視頻處理的延遲后，減去了延遲用設定時間的系統(tǒng)時刻基準參照值來說，能夠同步再生減去為了延遲而設定的時間的視頻和音頻。
另外，在本實施方式中，講述了假設視頻由于圖象處理而比音頻延遲再生時的情況。可是也有時與此相反，由于在數(shù)據處理裝置100的輸出后進行的各種音響效果等的處理，出現(xiàn)音頻的再生延遲的情況。這時，由于視頻再生提前，所以可以求出將相當于延遲時間Δt的PTS與VPTS相加后的新的視頻再生時刻信息NVPTS后，使視頻和音頻的再生同步。這時，視頻緩沖器部2及音頻再生管理部3的表格尺寸將要增加。
在數(shù)據處理裝置100中設置的各種緩沖器，其部分或全部，既可以由半導體存儲器構成，也可以由硬盤等的記錄媒體構成。
上述數(shù)據處理裝置100的功能，特別是譯碼器部60的功能，還可以通過實施軟件得到實現(xiàn)。例如可以由CPU(圖中未示出)實施計算機程序，從而控制各構成要素的動作。計算機程序，例如，以能夠使數(shù)據流10實施按照圖6所示的流程圖的處理的結構為宜。
計算機的程序，可以記錄在以光盤為代表的光記錄媒體、SD存儲卡、以EEPROM為代表的半導體記錄媒體、以軟盤為代表的磁記錄媒體等記錄媒體上。此外，數(shù)據處理裝置10，不僅可以通過記錄媒體做媒介，而可以通過互聯(lián)網等電氣通信線路做媒介，取得計算機程序。
采用本發(fā)明后，能夠提供可以同步再生視頻、音頻等的數(shù)據處理裝置。例如，在由于視頻處理而使視頻的再生延遲時，修正音頻的再生時刻信息，從而使其推遲相當于視頻的延遲時間的量，所以能夠同步再生視頻和音頻。
權利要求
1.一種數(shù)據處理裝置，具有接收部，接收具有與壓縮代碼化的視頻內容有關的第1數(shù)據、規(guī)定所述第1數(shù)據的再生時刻的第1時刻信息、與不同于所述視頻內容的內容有關的第2數(shù)據、以及規(guī)定所述第2數(shù)據的再生時刻的第2時刻信息的數(shù)據流；分離部，從所述數(shù)據流中抽出所述第1數(shù)據、所述第1時刻信息、所述第2數(shù)據及所述第2時刻信息；譯碼所述第1數(shù)據，根據所述第1時刻信息進行輸出的第1譯碼器部；以及根據所述第2時刻信息，輸出所述第2數(shù)據的第2譯碼器部，其特征在于還包括當所述第1時刻信息及所述第2時刻信息規(guī)定同步再生所述第1數(shù)據及所述第2數(shù)據的時刻時，保持規(guī)定再生時刻的延遲量的延遲信息，而且根據所述延遲信息，修正所述第2時刻信息，使所述第2數(shù)據的再生時刻延遲的延遲設定部。
2.如權利要求1所述的數(shù)據處理裝置，其特征在于所述第2數(shù)據的內容，被壓縮代碼化；所述第2譯碼部，譯碼所述第2數(shù)據；所述第2譯碼部，具有存放譯碼后的所述第2數(shù)據的內部緩沖器。
3.如權利要求2所述的數(shù)據處理裝置，其特征在于所述第2數(shù)據的內容，被壓縮代碼化；所述數(shù)據處理裝置還具有存放被壓縮代碼化的所述第2數(shù)據的數(shù)據緩沖器；所述數(shù)據緩沖器，在被修正后的第2時刻信息規(guī)定的再生時刻之前，取出所述被壓縮代碼化的所述第2數(shù)據，向所述第2譯碼部輸出。
4.如權利要求3所述的數(shù)據處理裝置，其特征在于所述接收部，持續(xù)性地接收所述數(shù)據流；所述數(shù)據緩沖器，依次存放所述第2數(shù)據；所述數(shù)據緩沖器的容量，大于或等于在到達由修正前的第2時刻信息規(guī)定的再生時刻之前所接收的所述第2數(shù)據的數(shù)據量、和經過與所述再生時刻的延遲量對應的時間為止所接收的所述第2數(shù)據的數(shù)據量之和。
5.如權利要求4所述的數(shù)據處理裝置，其特征在于還具有管理部，該管理部管理規(guī)定表示所述數(shù)據緩沖器內存放所述第2數(shù)據的位置的地址信息、與對應于所述第2數(shù)據的修正前的第2時刻信息之間的對應關系的表格。
6.如權利要求5所述的數(shù)據處理裝置，其特征在于所述管理部，對于所述第2數(shù)據的一部分，管理所述表格。
7.如權利要求1所述的數(shù)據處理裝置，其特征在于所述接收部，接收具有有關音頻及字幕的至少一方的所述第2數(shù)據的數(shù)據流。
8.如權利要求1所述的數(shù)據處理裝置，其特征在于所述延遲設定部，從用戶那里接收特定所述延遲量的值，作為所述延遲信息來保持。
9.如權利要求1所述的數(shù)據處理裝置，其特征在于所述延遲設定部，將預先決定的值，作為所述延遲信息來保持。
10.如權利要求1所述的數(shù)據處理裝置，其特征在于所述延遲設定部，保持再生時刻的延遲量規(guī)定為30毫秒以上的值的延遲信息。
11.如權利要求1所述的數(shù)據處理裝置，其特征在于還具有在向與之連接的機器發(fā)送所述第1數(shù)據的同時，從所述機器接收可以特定所述機器的固有信息的發(fā)射機；所述發(fā)射機，根據所述固有信息，特定在所述機器中實施的有關所述第1數(shù)據的視頻處理所需的時間；所述延遲設定部，保持將特定的所述所需時間的值作為所述延遲量的延遲信息。
12.如權利要求1所述的數(shù)據處理裝置，其特征在于所述第1譯碼器部及所述第2譯碼器部，作為單一的譯碼器電路安裝。
13.一種數(shù)據處理方法，包括接受步驟，接收具有壓縮代碼化的視頻內容有關的第1數(shù)據、規(guī)定所述第1數(shù)據的第1時刻信息、與不同于所述視頻內容的內容有關的第2數(shù)據、以及規(guī)定所述第2數(shù)據的再生時刻的第2時刻信息的數(shù)據流；分離步驟，從所述數(shù)據流中抽出所述第1數(shù)據、所述第1時刻信息、所述第2數(shù)據及所述第2時刻信息；以及譯碼所述第1數(shù)據，根據所述第1時刻信息進行輸出的譯碼步驟，其特征在于，還包括當所述第1時刻信息及所述第2時刻信息規(guī)定同步再生所述第1數(shù)據及所述第2數(shù)據的時刻時，保持規(guī)定再生時刻的延遲量的延遲信息的保持步驟；根據所述延遲信息，修正所述第2時刻信息，使所述第2數(shù)據的再生時刻延遲的延遲步驟；以及根據所述第2時刻信息，輸出所述第2數(shù)據的輸出步驟。
14.如權利要求13所述的數(shù)據處理方法，其特征在于所述第2數(shù)據的內容，被壓縮代碼化；輸出所述第2數(shù)據的輸出步驟，譯碼所述第2數(shù)據，將譯碼后的所述第2數(shù)據存放到數(shù)據緩沖器中后輸出。
15.如權利要求14所述的數(shù)據處理方法，其特征在于所述第2數(shù)據的內容，被壓縮代碼化；所述數(shù)據處理方法還包括將壓縮代碼化的所述第2數(shù)據存放到數(shù)據緩沖器中的存放步驟；和在被修正后的第2時刻信息規(guī)定的再生時刻之前，從所述數(shù)據緩沖器取出存放的所述第2數(shù)據的取出步驟；輸出所述第2數(shù)據的輸出步驟，輸出從所述數(shù)據緩沖器取出的所述第2數(shù)據。
16.如權利要求15所述的數(shù)據處理方法，其特征在于所述接收步驟，持續(xù)性地接收所述數(shù)據流；存放所述第2數(shù)據的存放步驟，將所述第2數(shù)據依次存放到所述數(shù)據緩沖器中；所述數(shù)據緩沖器的容量，大于或等于在到達由修正前的第2時刻信息規(guī)定的再生時刻之前所接收的所述第2數(shù)據的數(shù)據量、和經過與所述再生時刻的延遲量對應的時間為止所接收的所述第2數(shù)據的數(shù)據量之和。
17.如權利要求16所述的數(shù)據處理方法，其特征在于還包括管理步驟，管理規(guī)定表示所述數(shù)據緩沖器內存放所述第2數(shù)據的位置的地址信息、與對應于所述第2數(shù)據的修正前的第2時刻信息之間的對應關系的表格。
18.如權利要求13所述的數(shù)據處理方法，其特征在于所述接收步驟，接收具有有關音頻及字幕中的至少一方的所述第2數(shù)據的數(shù)據流。
19.如權利要求13所述的數(shù)據處理方法，其特征在于所述延遲步驟，從用戶那里接收特定所述延遲量的值，作為所述延遲信息來保持。
20.如權利要求13所述的數(shù)據處理方法，其特征在于所述延遲步驟，將預先決定的值，作為所述延遲信息來保持。
全文摘要
一種數(shù)據處理裝置，具有接收部，接收具有與壓縮代碼化的視頻內容有關的第1數(shù)據、規(guī)定第1數(shù)據的再生時刻的第1時刻信息、與不同于視頻內容的內容有關的第2數(shù)據、以及規(guī)定第2數(shù)據的再生時刻的第2時刻信息的數(shù)據流；分離部，從數(shù)據流中抽出第1數(shù)據、第1時刻信息、第2數(shù)據及第2時刻信息；譯碼第1數(shù)據，根據第1時刻信息進行輸出的第1譯碼器部；以及根據第2時刻信息，輸出第2數(shù)據的第2譯碼器部。該數(shù)據處理裝置還包括當?shù)?時刻信息及第2時刻信息規(guī)定同步再生第1數(shù)據及第2數(shù)據的時刻時，保持規(guī)定再生時刻的延遲量的延遲信息，而且根據延遲信息，修正第2時刻信息，使第2數(shù)據的再生時刻延遲的延遲設定部。
文檔編號H04N5/93GK1723703SQ20048000184
公開日2006年1月18日 申請日期2004年2月24日 優(yōu)先權日2003年2月27日
發(fā)明者藤本和生, 小島晉司 申請人:松下電器產業(yè)株式會社