專利名稱：動態(tài)圖像編碼方法、動態(tài)圖像編碼裝置、動態(tài)圖像記錄方法、記錄介質(zhì)、動態(tài)圖像再現(xiàn)方法 ...的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及在生成按照亮度等級的閾值可將前景和背景分離的編碼流 時、切換閾值并對動態(tài)圖像進(jìn)行編碼的動態(tài)圖像編碼方法、動態(tài)圖像記錄 方法、動態(tài)圖像再現(xiàn)方法、以及記錄了編碼流的記錄介質(zhì)等。
背景技術(shù)：
對于作為現(xiàn)有技術(shù)的DVD視頻(DVD-Video)盤(以下簡稱為DVD) 進(jìn)行說明。
圖1是表示DVD的構(gòu)造的圖，如圖1的下部所示，在DVD盤上，從 導(dǎo)入(lead in)到導(dǎo)出(lead out)之間設(shè)有邏輯地址空間，從邏輯地址空 間的先頭開始記錄了文件系統(tǒng)的巻(volume)信息，接著記錄了影像聲音 等應(yīng)用數(shù)據(jù)。
所謂文件系統(tǒng)，指的是ISO9660或UDF (通用盤格式Universal Disc Format),是以被稱為目錄或文件的單位來表現(xiàn)盤上的數(shù)據(jù)的結(jié)構(gòu)。在日常 使用的PC (個人計算機)的情況下，也通過被稱為FAT或NTFS的文件
系統(tǒng)，以目錄或文件這樣的構(gòu)造將記錄在硬盤上的數(shù)據(jù)表現(xiàn)在計算機上， 提高可用性。
在DVD的情況下，使用UDF及ISO9660兩者(有時將兩者合稱為 "UDF橋")，通過UDF或ISO9660任一個的文件系統(tǒng)驅(qū)動器，都能夠進(jìn) 行數(shù)據(jù)的讀取。當(dāng)然，在可擦寫型的DVD盤即DVD-RAM/R/RW中，通過 這些文件系統(tǒng)，可以在物理上進(jìn)行數(shù)據(jù)的讀取、寫入、刪除。
在DVD上記錄的數(shù)據(jù)通過UDF橋，能夠作為圖1左上所示的目錄或 文件來觀察。在根目錄(圖中"ROOT")的緊下面設(shè)有被稱為"VIDEO—TS" 的目錄，在此記錄了DVD的應(yīng)用數(shù)據(jù)。應(yīng)用數(shù)據(jù)被記錄為多個文件，主要 的文件如下所示。VIDEO一TS.IFO盤再現(xiàn)控制信息文件
VTS—01—0.IFO視頻標(biāo)題組#1再現(xiàn)控制信息文件
VTS一01一0.VOB視頻標(biāo)題組#1流文件
作為擴展名規(guī)定了 2種，"IFO"是記錄了再現(xiàn)控制信息的文件，"VOB" 是記錄了作為AV數(shù)據(jù)的MPEG流的文件。所謂再現(xiàn)控制信息，指的是用 于實現(xiàn)DVD所采用的交互性(按照用戶的操作來動態(tài)改變再現(xiàn)的技術(shù))的 信息、或像元(meta)數(shù)據(jù)那樣附加在標(biāo)題或AV流上的信息等。另外， 在DVD上一般將再現(xiàn)控制信息稱為導(dǎo)航信息。
再現(xiàn)控制信息文件有管理整張盤的"VIDEO—TS.IFO"、以及作為每個 視頻標(biāo)題組(在DVD中可以將多個標(biāo)題、也就是不同的電影或不同的版本 的電影記錄在一張盤中。)的再現(xiàn)控制信息的"VTS—01—O.IFO"。在此，位 于文件名實體中的"01"表示視頻標(biāo)題組的號碼，例如，視頻標(biāo)題組#02 的情況為"VTS一02—O.IFO"。
圖1的右上部是DVD的應(yīng)用層中的DVD導(dǎo)航空間，是展開上述再現(xiàn) 控制信息的邏輯構(gòu)造空間。在DVD導(dǎo)航空間中，"VIDEO_TS.IFO"內(nèi)的 信息被展開為VMGI (視頻管理信息Video Manager Information), "VTS一01一0.IFO"或存在于其他每個視頻標(biāo)題組的再現(xiàn)控制信息被展開為 VTSI (視頻標(biāo)題組信息Video Title Set Informations
在VTSI之中，記錄了被稱為PGC (程序鏈Program Chain)的再現(xiàn) 序列的信息即PGCI (程序鏈信息Program Chain Information^ PGCI 由單元(Cell)的集合和一種被稱為指令的編程信息構(gòu)成。單元本身是VOB (是視頻對象(Video Object)的簡稱，指MPEG流)的部分區(qū)間或全部 區(qū)間的集合，單元的再現(xiàn)意味著再現(xiàn)由該VOB的單元指定的區(qū)間。
指令通過DVD的虛擬機處理，接近于在瀏覽器上執(zhí)行的Java (注冊 商標(biāo))腳本等。但是，不同點在于Java (注冊商標(biāo))腳本除了邏輯運算 還進(jìn)行窗口或瀏覽器的控制(例如，打開新的瀏覽器的窗口等)，與此相對, DVD的指令除了邏輯運算僅執(zhí)行AV標(biāo)題的再現(xiàn)控制、例如再現(xiàn)的章節(jié)的 指定等。
單元具有在盤上記錄的VOB的開始及結(jié)束地址(盤上的邏輯記錄地址)作為其內(nèi)部信息，播放器使用在單元中記錄的VOB的開始及結(jié)束地址信息 來執(zhí)行數(shù)據(jù)的讀取、再現(xiàn)。
圖2是說明AV流中內(nèi)置的導(dǎo)航信息的概略圖。作為DVD的特長的交 互性并不僅通過記錄在上述"VIDEO—TS.IFO"或"VTS_01_0.IFO"等中 的導(dǎo)航信息來實現(xiàn)，許多重要的信息使用被稱為導(dǎo)航包(被稱為導(dǎo)包或 NV—PCK)的專用載體在VOB內(nèi)與影像、聲音數(shù)據(jù)一起進(jìn)行復(fù)用。
在此說明菜單來作為簡單的交互性的例子。在菜單畫面上，出現(xiàn)許多 按鈕，在各個按鈕上定義了選擇執(zhí)行該按鈕時的處理。另外，在菜單上選 擇一個按鈕(通過加亮在選擇按鈕上覆蓋半透明色，向用戶表示該按鈕處 于選擇狀態(tài))，用戶使用遙控器的上下左右按鍵，能夠使選擇狀態(tài)的按鈕移 動至上下左右的任何的按鈕。使用遙控器的上下左右按鍵，使加亮移動到 希望選擇執(zhí)行的按鈕，并進(jìn)行決定(按下決定按鍵)，從而執(zhí)行對應(yīng)的指令 的程序。 一般的，對應(yīng)的標(biāo)題或章節(jié)的再現(xiàn)通過指令來執(zhí)行。
圖2的左上部表示NV一PCK內(nèi)存放的控制信息的概要。
在NV一PCK內(nèi)，包括加亮顏色信息和各個按鈕信息等。在加亮顏色信 息中，記錄了調(diào)色板信息，指定了覆蓋顯示的加亮的半透明色。在按鈕信 息中，記錄了作為各個按鈕的位置信息的矩形區(qū)域信息、從該按鈕向其他 按鈕的移動信息(與用戶的上下左右按鍵操作分別對應(yīng)的移動目標(biāo)按鈕的 指定)和按鈕指令信息(決定該按鈕時執(zhí)行的指令)。
菜單上的加亮如圖2的中央右上部所示，制作為覆蓋圖像。覆蓋圖像 是在按鈕信息的矩形區(qū)域信息上附加了調(diào)色板信息的顏色的圖像。該覆蓋 圖像與圖2的右部所示的背景圖像合成并顯示在畫面上。
如上所述，在DVD中實現(xiàn)了菜單。另外，利用NV一PCK將導(dǎo)航數(shù)據(jù) 的一部分內(nèi)置在流中，是為了與流同步動態(tài)更新菜單信息(例如，僅在電 影再現(xiàn)的過程中5分至10分之間顯示菜單等)，或在同步定時容易出現(xiàn)問 題的應(yīng)用的情況下也能夠沒有問題地實現(xiàn)。另外，另一個重要理由是為了 在NV一PCK中存放用于輔助特殊再現(xiàn)的信息，在DVD再現(xiàn)時的快進(jìn)、倒 回等非通常再現(xiàn)時，也順利地對AV數(shù)據(jù)進(jìn)行解碼并再現(xiàn)等，提高用戶的操 作性。
圖3是作為DVD的流的VOB的圖形。如圖所示，影像、聲音、字幕等數(shù)據(jù)(圖3的a部分)基于MPEG系統(tǒng)規(guī)格(ISO/IEC13818-1)，進(jìn)行 打包(packet)及分包(pack)(圖3的b部分)，對各自進(jìn)行復(fù)用并作為1 個MPEG程序流(圖3的c部分)。另外，如上所述，包括用于實現(xiàn)交互 性的按鈕指令在內(nèi)的NV—PCK也被一起復(fù)用。
MPEG系統(tǒng)的復(fù)用的特征在于，復(fù)用的各個數(shù)據(jù)按照其解碼順序成為 比特列，而復(fù)用的數(shù)據(jù)間，即影像、聲音、字幕之間不一定按照再現(xiàn)順序 形成比特列。這是因為復(fù)用的MPEG系統(tǒng)流的解碼模式(一般被稱為系 統(tǒng)目標(biāo)解碼System Target Decode,或STD)(圖3的d部分)在解開 復(fù)用之后，等待與各個基本流(Elementary Stream)對應(yīng)的解碼器緩沖器， 直到解碼定時為止暫時累積數(shù)據(jù)。例如，由DVD視頻規(guī)定的解碼器緩沖器 對于各個基本流尺寸不同，分別對于影像具有232KB，對于聲音具有4KB， 對于字幕具有52KB。
艮P，與影像數(shù)據(jù)一起進(jìn)行復(fù)用的字幕數(shù)據(jù)不一定在同一定時解碼或再現(xiàn)。
另一方面，作為下一代DVD規(guī)格，存在BD(藍(lán)光盤Blu-rayDisc)。
在DVD中，目的在于對標(biāo)準(zhǔn)畫質(zhì)(標(biāo)準(zhǔn)定義Standard Definition畫 質(zhì))的影像的、包分發(fā)(DVD視頻規(guī)格)或模擬播放的記錄(DVD視頻錄 像規(guī)格)，但在BD中，能夠?qū)⒏呔犬嬞|(zhì)(高定義High Definition畫質(zhì)) 的數(shù)字播放原樣記錄(藍(lán)光盤可擦寫規(guī)格，以下稱為BD-RE)。
但是，BD-RE規(guī)格廣泛以數(shù)字播放的記錄作為目的，所以不是非常適 用特殊再現(xiàn)的輔助信息等。在將來，如果考慮以比數(shù)字播放更高的速率來 對高精度影像進(jìn)行包分發(fā)(BD-ROM規(guī)格)，那么在非通常再現(xiàn)時也需要不 對用戶造成壓力的結(jié)構(gòu)。
另外，作為BD中動態(tài)圖像的編碼方式的一種，采用了MPEG-4AVC (高級視頻編碼Advanced Video Coding )。所謂MPEG"4AVC，指的是 ISO/IEC (國際標(biāo)準(zhǔn)化機構(gòu)，國際電氣標(biāo)準(zhǔn)會議)的JTC1/SC29/WG11和 ITU-T (國際電氣通信聯(lián)盟，電氣通信標(biāo)準(zhǔn)化部門)共同商定的高壓縮率的 次時代編碼方式。
一般在動態(tài)圖像的編碼中，通過減少時間方向及空間方向的冗余來進(jìn) 行信息量的壓縮。因此，在以減少時間上的冗余為目的的畫面間預(yù)測編碼中，參照前方或后方的圖片，以塊為單位進(jìn)行動態(tài)的檢測及預(yù)測圖像的制 作，并對得到的預(yù)測圖像與編碼對象圖片之間的差分值進(jìn)行編碼。在此， 所謂圖片，是表示1張畫面的用語，在逐行掃描圖像中意味著幀，在隔行
掃描圖像中意味著幀或場(field)。在此，所謂隔行掃描圖像，指的是1個 幀由時刻不同的2個場構(gòu)成的圖像。在隔行掃描圖像的編碼或解碼處理中， 能夠?qū)⒁粋€幀仍然作為幀進(jìn)行處理，或作為2個場進(jìn)行處理，或?qū)瑑?nèi)的 每個塊作為幀結(jié)構(gòu)或場結(jié)構(gòu)進(jìn)行處理。
將不具備參照圖象而進(jìn)行畫面內(nèi)預(yù)測編碼的稱為I圖片。另外，將僅參 照1張圖片進(jìn)行畫面間預(yù)測編碼的稱為P圖片。另外，將能夠同時參照2 張圖片進(jìn)行畫面間預(yù)測編碼的稱為B圖片。B圖片可以從顯示時間為前方 或后方以任意的組合參照2張圖片。參照圖像(參照圖片)可以按每個編 碼及解碼的基本單位即塊來進(jìn)行指定，但將進(jìn)行編碼的比特流中先記錄一 方的參照圖片區(qū)別為第一參照圖片，將后記錄一方區(qū)別為第二參照圖片。 其中，作為對這些圖片進(jìn)行編碼或解碼時的條件，需要參照的圖片已經(jīng)進(jìn) 行了編碼或解碼。
從編碼的圖像中將由畫面內(nèi)預(yù)測或畫面間預(yù)測所得到的預(yù)測信號減去 的余差信號在進(jìn)行了頻率變換并量化之后，進(jìn)行可變長度編碼并輸出為編 碼流。在MPEG4 AVC中，作為可變長度編碼的方式，有CAVLC (上下 文適應(yīng)性可變長度編碼Context-AdaptiveVariable Length Coding )、或者 CABAC (上下文適應(yīng)性二元算術(shù)編碼Context-Adaptive Binary Arithmetic Coding)這兩種，能夠以圖片為單位進(jìn)行切換。在此，所謂內(nèi)容適應(yīng)性， 指的是根據(jù)周圍的情況適應(yīng)性地選擇高效的編碼方式的方式。
接著，說明不同的編碼方式(或者，不同屬性的動態(tài)圖像)混雜存在 的流、以及接收了這樣的流的解碼裝置中的解碼處理。在此，說明2個例 子，即，可變長度編碼方式(CAVLC/CABAC)混雜存在的第一例，以及， 在圖片內(nèi)圖片中由亮度按鍵進(jìn)行透過處理時所使用的亮度的閾值混雜存在 的第二例。
首先，說明不同的編碼方式(或者，不同屬性的動態(tài)圖像)混雜存在 的流的第一例，即可變長度編碼方式(CAVLC/CABAC)混雜存在的例子。 圖4是表示在MPEG4 AVC的流中、構(gòu)成可隨機訪問的單位的圖片中使用式的例子。在此，在MPEG-4AVC中，雖然沒有相當(dāng) 于MPEG-2視頻的GOP (圖片組Group of Pictures)的概念，但如果以 不依賴于其他圖片就能夠解碼的特別的圖片為單位分割數(shù)據(jù)，那么就能夠 構(gòu)成相當(dāng)于GOP的可隨機訪問的單位，所以，將其稱為隨機訪問單位 (RAU)。如圖4所示，使用CABAC或CAVLC來作為可變長度編碼的方 式以圖片為單位進(jìn)行切換。
接著，由于在CABAC和CAVLC中可變長度解碼時的處理不同，參照 圖5A-圖5C說明各自的可變長度解碼處理。圖5A表示圖像解碼裝置的框 圖，該圖象解碼裝置執(zhí)行以CABAC進(jìn)行了可變長度編碼的數(shù)據(jù)的解碼處 理即CABAD (上下文適應(yīng)性二元算術(shù)解碼Context-Adaptive Binary Arithmetic Decoding)和以CAVLC進(jìn)行了可變長度編碼的數(shù)據(jù)的解碼處理 即CAVLD(上下文適應(yīng)性可變長度解碼Context-Adaptive Variable Length Decoding )。
通過CABAD的圖像解碼處理如下執(zhí)行。首先，將使用了 CABAC的編 碼數(shù)據(jù)Vin輸入至流緩沖器5001。接著，算數(shù)解碼部5002從流緩沖器中 讀取編碼數(shù)據(jù)Vr并進(jìn)行算術(shù)解碼，將二元數(shù)據(jù)Bin1輸入至二元數(shù)據(jù)緩沖 器5003。 二元數(shù)據(jù)解碼處理部5004從二元數(shù)據(jù)緩沖器5003獲取二元數(shù) 據(jù)Bin2，將二元數(shù)據(jù)解碼，并將解碼后的二元數(shù)據(jù)Din1輸入至像素復(fù)原部 5005。像素復(fù)原部5005對于二元解碼數(shù)據(jù)Din1進(jìn)行逆量化、逆變換以及 動態(tài)補償?shù)?，?fù)原像素，并輸出解碼數(shù)據(jù)Vout。圖5B是表示從對使用了 CABAC的編碼數(shù)據(jù)進(jìn)行解碼開始、到實施像素復(fù)原處理為止的動作的流程 圖。首先，在步驟5001中，對使用了CABAC的編碼數(shù)據(jù)Vin進(jìn)行算術(shù)解 碼，生成二元數(shù)據(jù)。接著，在步驟5002中，判定是否備齊了一個以上的圖 片等、規(guī)定的數(shù)據(jù)單位量的二元數(shù)據(jù)，備齊時前進(jìn)至步驟S5003，沒有備 齊時重復(fù)步驟S5001的處理。在此，進(jìn)行二元數(shù)據(jù)的緩沖，是因為在 CABAC中，每個圖片或宏塊的二元數(shù)據(jù)的碼量顯著增大，與此相伴算術(shù)解 碼的處理負(fù)擔(dān)也顯著增加，所以為了在最差情況下也實現(xiàn)無中斷的再現(xiàn)， 需要預(yù)先進(jìn)行一定量的算術(shù)解碼處理。在步驟S5003中，將二元數(shù)據(jù)解碼， 并在步驟S5004中實施像素復(fù)原處理。像這樣，在CABAD中，由于步驟 S5001及步驟S5002中不到備齊規(guī)定的數(shù)據(jù)單位量的二元數(shù)據(jù)為止不能開始像素復(fù)原處理，所以在解碼開始時發(fā)生延遲。
通過CAVLD的圖像解碼處理如下進(jìn)行。首先，將使用了CAVLC的編 碼數(shù)據(jù)Vin輸入至流緩沖器5001 。接著，CAVLD部5006進(jìn)行可變長度解 碼處理，將VLD解碼數(shù)據(jù)Din2輸入至像素復(fù)原部5005。像素復(fù)原部5005 進(jìn)行逆量化、逆變換以及動態(tài)補償?shù)?，?fù)原像素，并輸出解碼數(shù)據(jù)Vout。 圖5C是表示從對使用了 CAVLC的編碼數(shù)據(jù)進(jìn)行解碼開始、到實施像素復(fù) 原處理為止的動作的流程圖。首先，在步驟S5005中，進(jìn)行CAVLD，接 著，在步驟S5004中實施像素復(fù)原處理。像這樣，在CAVLD中，與CABAD 不同，在開始像素復(fù)原處理之前，不需要等待至備齊規(guī)定的數(shù)據(jù)單位量的 數(shù)據(jù)為止，并且不需要具有像二元數(shù)據(jù)緩沖器5003那樣的、可變長度解碼 處理中的中間緩沖器。
圖6是表示如圖4的例子那樣、對在流的中途切換可變長度編碼的方 式的流進(jìn)行解碼的、以往的解碼裝置的動作的流程圖。另外，在本說明中， 解碼裝置及解碼方法分別是動態(tài)圖像再現(xiàn)裝置及動態(tài)圖像再現(xiàn)方法的一 例。
首先，在步驟S5101中，獲取表示在圖片中使用的可變長度編碼方式 的信息，并前進(jìn)至步驟S5102。在步驟S5102中，判定是否按解碼順序在 緊前的圖片與當(dāng)前圖片間切換了可變長度編碼的方式。在CABAD與 CAVLD中，可變長度解碼處理中的緩沖器的管理方法不同，所以在切換可 變長度編碼的方式時，前進(jìn)至步驟S5103并進(jìn)行緩沖器管理的切換處理， 如果可變長度編碼的方式?jīng)]有切換，則前進(jìn)至步驟S5104。在步驟S5104 中，判定可變長度編碼方式是否為CAVLC，為CAVLC時前進(jìn)至步驟S5105 并進(jìn)行CAVLD處理，為CABAC時前進(jìn)至步驟S5106。在步驟S5106中，
判定是否按解碼順序在緊前的圖片與當(dāng)前圖片間切換了可變長度編碼的方 式，切換時前進(jìn)至步驟S5107，如圖5的步驟S5001和步驟S5002所示，
到備齊規(guī)定的數(shù)據(jù)單位量的二元數(shù)據(jù)為止進(jìn)行算術(shù)解碼，然后將二元數(shù)據(jù) 解碼。在步驟S5106中判定為可變長度編碼的方式?jīng)]有切換時，前進(jìn)至步 驟S5108,進(jìn)行通常的CABAD處理。在此，所謂通常的CABAD處理， 指的是不進(jìn)行從CAVLC切換至CABAC或開始對使用了 CABAC的流進(jìn)行 解碼時所需要的二元數(shù)據(jù)的緩沖的處理。最后，在步驟S5109中實施像素復(fù)原處理。
接著，說明不同的編碼方式(或，不同屬性的動態(tài)圖像)混雜存在的 流的第二例，即在圖片內(nèi)圖片中通過亮度按鍵進(jìn)行透過處理時所使用的亮
度的閾值(動態(tài)圖像的屬性)混雜存在的例子。在BD-ROM等的包媒體中， 存在以下應(yīng)用，該應(yīng)用覆蓋在正篇影像上顯示導(dǎo)演剪輯(導(dǎo)演的解說影像) 等、與正篇不同的影像，將這樣的應(yīng)用稱為圖片內(nèi)圖片。圖7是說明圖片 內(nèi)圖片的圖。圖7(a)表示圖像的顯示平面，平面2覆蓋在平面1上顯示。 圖7 (b)和圖7 (c)分別表示在平面1和平面2上顯示的圖像，平面2 的顯示圖像覆蓋在平面1的顯示圖像上顯示(圖7 (d))。在圖片內(nèi)圖片的 例子中，平面1上顯示的是正篇影像，而平面2上顯示的是與正篇不同的 影像。在此，如果將平面2上顯示的影像原樣進(jìn)行覆蓋，則平面1的圖像 完全被遮住，所以對平面2的圖像通過亮度按鍵進(jìn)行透過處理。以下，說 明通過亮度按鍵的透過處理。在透過處理中，根據(jù)圖像內(nèi)的各像素的亮度 值來切換是否透過該像素進(jìn)行顯示。具體如下。
1、 亮度值為0以上、規(guī)定的閾值YL以下時，設(shè)為完全透過(透過率 為1)該像素。
2、 亮度值超過規(guī)定的閾值YL時，不透過該像素(透過率為0)，按亮 度值所示地進(jìn)行顯示。
在圖7 (c)中，如果設(shè)涂黑的區(qū)域中亮度值為上述規(guī)定的閾值YL以 下，其他區(qū)域中亮度值超過上述規(guī)定的閾值YL，那么如圖7 (d)所示，在 將平面2的圖像覆蓋至平面1上時，透過涂黑的區(qū)域并不透過此外的區(qū)域 來進(jìn)行顯示。即，僅將平面2的圖像之中亮度超過閾值YL的區(qū)域(像素) 覆蓋至平面1的圖像，并進(jìn)行顯示。由此，平面2根據(jù)亮度等級的閾值分 離為前景和背景，僅將前景覆蓋至平面1并顯示，實現(xiàn)了圖片內(nèi)圖片。
專利文獻(xiàn)1:日本特開2000-228656號公報
非專利文獻(xiàn)1: Proposed SMPTE Standard for Television: VC-1 Compressed Video Bitstream Format and Decoding Process, Final Committee Draft Revision 6， 2005.7.13 (對電視機提出的SMPTE標(biāo)準(zhǔn) VC-1壓縮視頻比特流格式及解碼處理，最終委員會草案修訂6， 2005.7.13)
接收了如上所述的不同的編碼方式(或不同屬性的動態(tài)圖像)混雜存在的流的解碼裝置在解碼處理中需要切換處理，所以存在處理負(fù)擔(dān)變大的
問題。圖8是說明在由現(xiàn)有的復(fù)用裝置生成的現(xiàn)有的記錄介質(zhì)中通過亮度 按鍵實現(xiàn)透過處理時的問題的圖。圖8表示通過亮度按鍵進(jìn)行透過處理的 影像被連續(xù)再現(xiàn)的區(qū)間，區(qū)間1、區(qū)間2、區(qū)間3依次被再現(xiàn)。在此，以透 過率為1來透過顯示的像素中的亮度值的閾值在區(qū)間1為20，在區(qū)間2為 40，在區(qū)間3為30，所以在區(qū)間的切換中，需要變更透過顯示的像素中的 亮度值的閾值。如果變更亮度值的閾值，那么需要變更合成平面時的動作， 隨著動作的變更，發(fā)生延遲。結(jié)果，在應(yīng)該不中斷再現(xiàn)的各區(qū)間的切換部 分，存在再現(xiàn)中斷的問題。
像這樣，對復(fù)用了由現(xiàn)有圖像編碼方式所生成的流的現(xiàn)有記錄介質(zhì)進(jìn) 行再現(xiàn)時，由于在每個再現(xiàn)區(qū)間變更亮度按鍵的閾值，所以隨著上述閾值 的切換，存在再現(xiàn)時的亮度值的閾值處理中發(fā)生延遲的問題。

發(fā)明內(nèi)容
本發(fā)明的目的在于，提供一種不增大再現(xiàn)時的處理負(fù)擔(dān)而不發(fā)生再現(xiàn) 中斷的記錄介質(zhì)、動態(tài)圖像編碼方法、動態(tài)圖像編碼裝置、動態(tài)圖像記錄 方法、動態(tài)圖像再現(xiàn)方法、動態(tài)圖像再現(xiàn)裝置及動態(tài)圖像再現(xiàn)系統(tǒng)。
本發(fā)明所涉及的動態(tài)圖像編碼方法的特征在于，在作為連續(xù)再現(xiàn)的對 象的區(qū)間(連續(xù)再現(xiàn)區(qū)間)中，不切換編碼方式(或動態(tài)圖像的屬性)地 事先對動態(tài)圖像進(jìn)行編碼，并且事先制作包括標(biāo)記信息的管理信息，該標(biāo) 記信息表示在該區(qū)間內(nèi)編碼方式是固定的。
更具體而言，作為對應(yīng)于圖片內(nèi)圖片的情況的發(fā)明，本發(fā)明所涉及的 動態(tài)圖像編碼方法對包括第一動態(tài)圖像和用于覆蓋(overlay)至上述第一 動態(tài)圖像的第二動態(tài)圖像在內(nèi)的影像流進(jìn)行編碼，其特征在于，在上述覆 蓋中，僅將上述第二動態(tài)圖像之中具有超過預(yù)定閾值的亮度的圖像區(qū)域覆 蓋至上述第一動態(tài)圖像；上述動態(tài)圖像編碼方法包括連續(xù)再現(xiàn)區(qū)間決定 步驟，在上述影像流之中，決定連續(xù)再現(xiàn)區(qū)間，該連續(xù)再現(xiàn)區(qū)間是部分區(qū)
間的集合，而且是成為連續(xù)再現(xiàn)的對象的區(qū)間；編碼步驟，對構(gòu)成上述連
續(xù)再現(xiàn)區(qū)間的多個部分區(qū)間內(nèi)的上述第一及第二動態(tài)圖像進(jìn)行編碼，以在 上述連續(xù)再現(xiàn)區(qū)間決定步驟中決定的連續(xù)再現(xiàn)區(qū)間內(nèi)滿足不變更上述閾值的限制；管理信息制作步驟，制作包括標(biāo)記信息的管理信息，該標(biāo)記信息 表示在上述連續(xù)再現(xiàn)區(qū)間內(nèi)上述閾值是固定的；以及結(jié)合步驟，將在上述 編碼步驟中被編碼的上述第一及第二動態(tài)圖像與在上述管理信息制作步驟 中制作的管理信息進(jìn)行結(jié)合并輸出。
另外，本發(fā)明所涉及的動態(tài)圖像編碼裝置對包括第一動態(tài)圖像和用于 覆蓋至上述第一動態(tài)圖像的第二動態(tài)圖像在內(nèi)的影像流進(jìn)行編碼，其特征 在于，在上述覆蓋中，僅將上述第二動態(tài)圖像之中具有超過預(yù)定閾值的亮 度的圖像區(qū)域覆蓋至上述第一動態(tài)圖像；上述動態(tài)圖像編碼裝置具備連 續(xù)再現(xiàn)區(qū)間決定部，在上述影像流之中，決定連續(xù)再現(xiàn)區(qū)間，該連續(xù)再現(xiàn) 區(qū)間是部分區(qū)間的集合，而且是成為連續(xù)再現(xiàn)的對象的區(qū)間；編碼部，對 構(gòu)成上述連續(xù)再現(xiàn)區(qū)間的多個部分區(qū)間內(nèi)的上述第一及第二動態(tài)圖像進(jìn)行 編碼，以在由上述連續(xù)再現(xiàn)區(qū)間決定部決定的連續(xù)再現(xiàn)區(qū)間內(nèi)滿足不變更 上述閾值的限制；管理信息制作部，制作包括標(biāo)記信息的管理信息，該標(biāo) 記信息表示在上述連續(xù)再現(xiàn)區(qū)間內(nèi)上述閾值是固定的；以及結(jié)合部，將由 上述編碼部編碼的上述第一及第二動態(tài)圖像與由上述管理信息制作部制作 的管理信息進(jìn)行結(jié)合并輸出。
另外，本發(fā)明所涉及的動態(tài)圖像記錄方法對于包括第一動態(tài)圖像和用 于覆蓋至上述第一動態(tài)圖像的第二動態(tài)圖像在內(nèi)的影像流進(jìn)行編碼并記錄 至記錄介質(zhì)，其特征在于，在上述覆蓋中，僅將上述第二動態(tài)圖像之中具 有超過預(yù)定閾值的亮度的圖像區(qū)域覆蓋至上述第一動態(tài)圖像；上述動態(tài)圖 像記錄方法包括連續(xù)再現(xiàn)區(qū)間決定步驟，在上述影像流之中，決定連續(xù) 再現(xiàn)區(qū)間，該連續(xù)再現(xiàn)區(qū)間是部分區(qū)間的集合，而且是成為連續(xù)再現(xiàn)的對 象的區(qū)間；編碼步驟，對構(gòu)成上述連續(xù)再現(xiàn)區(qū)間的多個部分區(qū)間內(nèi)的上述 第一及第二動態(tài)圖像進(jìn)行編碼，以在上述連續(xù)再現(xiàn)區(qū)間決定步驟中決定的 連續(xù)再現(xiàn)區(qū)間內(nèi)滿足不變更上述閾值的限制；管理信息制作步驟，制作包 括標(biāo)記信息的管理信息，該標(biāo)記信息表示在上述連續(xù)再現(xiàn)區(qū)間內(nèi)上述閾值 是固定的；以及結(jié)合步驟，將在上述編碼步驟中被編碼的上述第一及第二 動態(tài)圖像與在上述管理信息制作步驟中制作的管理信息進(jìn)行結(jié)合并記錄至 記錄介質(zhì)。
另外，本發(fā)明所涉及的記錄介質(zhì)記錄了計算機可讀取的數(shù)據(jù)，其特征在于，在上述數(shù)據(jù)中包含包括第一動態(tài)圖像和用于覆蓋至上述第一動態(tài) 圖像的第二動態(tài)圖像在內(nèi)的影像流、以及管理上述影像流的信息即管理信 息；在上述覆蓋中，僅將上述第二動態(tài)圖像之中具有超過預(yù)定閾值的亮度 的圖像區(qū)域覆蓋至上述第一動態(tài)圖像；在上述影像流中，構(gòu)成上述連續(xù)再 現(xiàn)區(qū)間的多個部分區(qū)間內(nèi)的上述第一及第二動態(tài)圖像被編碼，以在連續(xù)再 現(xiàn)區(qū)間內(nèi)滿足不變更上述閾值的限制，該連續(xù)再現(xiàn)區(qū)間是部分區(qū)間的集合， 而且是成為連續(xù)再現(xiàn)的對象的區(qū)間；在上述管理信息中，包括標(biāo)記信息， 該標(biāo)記信息表示在上述連續(xù)再現(xiàn)區(qū)間內(nèi)上述閾值是固定的。
另外，本發(fā)明所涉及的動態(tài)圖像再現(xiàn)方法將包括被編碼的第一及第二 動態(tài)圖像在內(nèi)的影像流解碼，并將上述第二動態(tài)圖像覆蓋至上述第一動態(tài) 圖像來進(jìn)行顯示，其特征在于，包括管理信息處理步驟，獲取與上述影 像流對應(yīng)的管理信息，并對獲取的管理信息進(jìn)行解釋；解碼步驟，根據(jù)上 述管理信息處理步驟中的解釋，將上述第一及第二動態(tài)圖像解碼；以及顯 示步驟，僅將被解碼的上述第二動態(tài)圖像之中、具有超過預(yù)定閾值的亮度 的圖像區(qū)域覆蓋至被解碼的上述第一動態(tài)圖像，并進(jìn)行顯示；在上述管理 信息處理步驟中，判斷在上述管理信息中是否包括標(biāo)記信息，該標(biāo)記信息 表示上述閾值是固定的；在上述顯示步驟中，在上述管理信息處理步驟判 斷為在上述管理信息中包括上述標(biāo)記信息的情況下，利用與緊前的部分區(qū) 間內(nèi)的閾值同值的閾值，進(jìn)行當(dāng)前部分區(qū)間內(nèi)的上述覆蓋顯示。
另外，本發(fā)明所涉及的動態(tài)圖像再現(xiàn)裝置將包括被編碼的第一及第二 動態(tài)圖像在內(nèi)的影像流解碼，并將上述第二動態(tài)圖像覆蓋至上述第一動態(tài) 圖像來進(jìn)行顯示，其特征在于，包括管理信息處理部，獲取與上述影像 流對應(yīng)的管理信息，并對獲取的管理信息進(jìn)行解釋；解碼部，根據(jù)上述管 理信息處理部的解釋，將上述第一及第二動態(tài)圖像解碼；以及顯示部，僅 將被解碼的上述第二動態(tài)圖像之中、具有超過預(yù)定閾值的亮度的圖像區(qū)域 覆蓋至被解碼的上述第一動態(tài)圖像，并進(jìn)行顯示；上述管理信息處理部判 斷在上述管理信息中是否包括標(biāo)記信息，該標(biāo)記信息表示上述閾值是固定 的；上述顯示部在上述管理信息處理部判斷為在上述管理信息中包括上述 標(biāo)記信息的情況下，利用與緊前的部分區(qū)間內(nèi)的閾值同值的閾值，進(jìn)行當(dāng) 前部分區(qū)間內(nèi)的上述覆蓋顯示。另外，本發(fā)明所涉及的動態(tài)圖像再現(xiàn)系統(tǒng)包括上述記錄介質(zhì)；以及 讀取上述記錄介質(zhì)中記錄的數(shù)據(jù)并進(jìn)行再現(xiàn)的的動態(tài)圖像再現(xiàn)裝置；該動 態(tài)圖形再現(xiàn)系統(tǒng)的特征在于，上述動態(tài)圖像再現(xiàn)裝置包括管理信息處理 部，從上述記錄介質(zhì)中讀取管理信息并進(jìn)行解釋；解碼部，根據(jù)上述管理 信息處理部的解釋，從上述記錄介質(zhì)中讀取上述第一及第二動態(tài)圖像并進(jìn) 行解碼；以及顯示部，僅將被解碼的上述第二動態(tài)圖像之中、具有超過預(yù) 定閾值的亮度的圖像區(qū)域覆蓋至被解碼的上述第一動態(tài)圖像，并進(jìn)行顯示； 上述管理信息處理部判斷在上述管理信息中是否包括標(biāo)記信息，該標(biāo)記信 息表示上述閾值是固定的；上述顯示部在上述管理信息處理部判斷為在上 述管理信息中包括上述標(biāo)記信息的情況下，利用與緊前的部分區(qū)間內(nèi)的閾 值同值的閾值，進(jìn)行當(dāng)前部分區(qū)間內(nèi)的上述覆蓋顯示。
而且，本發(fā)明不僅可以作為上述的動態(tài)圖像編碼方法、動態(tài)圖像編碼 裝置、動態(tài)圖像記錄方法、記錄介質(zhì)、動態(tài)圖像再現(xiàn)方法、動態(tài)圖像再現(xiàn) 裝置及動態(tài)圖像再現(xiàn)系統(tǒng)來實現(xiàn)，而且也可以作為使計算機執(zhí)行上述各方 法中包括的步驟的程序來實現(xiàn)，或作為記錄了該程序的DVD等的計算機可 讀取的記錄介質(zhì)來實現(xiàn)，或?qū)⑸鲜龈餮b置作為LSI等半導(dǎo)體集成電路來實 現(xiàn)。
如上所述，根據(jù)本發(fā)明的動態(tài)圖像編碼方法，在作為連續(xù)再現(xiàn)的對象 的區(qū)間中，不切換編碼方式(或動態(tài)圖像的屬性)地對動態(tài)圖像進(jìn)行編碼， 并且制作包括標(biāo)記信息的管理信息，該標(biāo)記信息表示在該區(qū)間內(nèi)編碼方式 是固定的。由此，接受了 (或從記錄介質(zhì)中讀取了)這樣的數(shù)據(jù)結(jié)構(gòu)的動 態(tài)圖像及管理信息的再現(xiàn)裝置不需要對編碼方式或動態(tài)圖像的屬性的切換 進(jìn)行監(jiān)視的處理，處理負(fù)擔(dān)減輕。
艮口，對于圖片內(nèi)圖片，在連續(xù)再現(xiàn)區(qū)間內(nèi)的動態(tài)圖像的編碼數(shù)據(jù)中， 通過對在判定是否透過各像素進(jìn)行顯示中所使用的亮度值的閾值進(jìn)行固 定，從而消除了由閾值的切換引起的再現(xiàn)時的延遲，能夠?qū)崿F(xiàn)無縫的再現(xiàn)。 因此，能夠提高在動態(tài)圖像、圖形或靜止圖像等上覆蓋動態(tài)圖像進(jìn)行顯示 的包介質(zhì)、分發(fā)應(yīng)用等的再現(xiàn)品質(zhì)。另外，由于能夠減輕實現(xiàn)上述應(yīng)用的 再現(xiàn)裝置的處理負(fù)擔(dān)，所以其應(yīng)用價值很高。


圖1是DVD的結(jié)構(gòu)圖。
圖2是加亮的結(jié)構(gòu)圖。
圖3是表示DVD中的復(fù)用的例子的圖。
圖4是表示現(xiàn)有的MPEG4 AVC流中用于圖片單位的可變長度編碼方 式的例子的圖。
圖5A是表示對使用了 CABAC和CAVLC的編碼流進(jìn)行解碼的解碼裝 置的結(jié)構(gòu)的框圖。
圖5B是表示對使用了 CABAC的編碼流進(jìn)行解碼的動作的流程圖。 圖5C是表示對使用了 CAVLC的編碼流進(jìn)行解碼的動作的流程圖。 圖6是表示現(xiàn)有的解碼裝置的動作的流程圖。 圖7是用于說明圖片內(nèi)圖片的顯示例的圖。
圖8是說明由于亮度按鍵的閾值在連續(xù)再現(xiàn)區(qū)間內(nèi)切換而引起的問題 的圖。
圖9是表示實施方式1的記錄介質(zhì)中存放的MPEG-4 AVC流中用于圖 片單位的可變長度編碼的方式的例子的圖。
圖10是表示標(biāo)記信息的存放例的圖，該標(biāo)記信息表示在記錄介質(zhì)中可 變長度編碼的方式是固定的單位。
圖11是表示再現(xiàn)記錄介質(zhì)的解碼裝置的動作的流程圖。
圖12是表示復(fù)用裝置的結(jié)構(gòu)的框圖。
圖13是表示復(fù)用裝置的動作的流程圖。
圖14是表示圖13中的S5201的具體例的流程圖。
圖15是表示圖13中的S5202的具體例的流程圖。
圖16是表示圖13中的S5204及S5205的其他具體例的流程圖。
圖17是表示圖13中的S5202的具體例的流程圖。
圖18是BD的數(shù)據(jù)階層圖。
圖19是BD上的邏輯空間的結(jié)構(gòu)圖。
圖20是BD播放器的簡要框圖。
圖21是BD播放器的結(jié)構(gòu)框圖。
圖22是BD的應(yīng)用空間的說明圖。圖23是MPEG流(VOB)的結(jié)構(gòu)圖。
圖24是包(pack)的結(jié)構(gòu)圖。
圖25是說明AV流和播放器構(gòu)成的關(guān)系的圖。
圖26是向軌(track)緩沖器的AV數(shù)據(jù)連續(xù)供給模式圖。
圖27是VOB信息文件結(jié)構(gòu)圖。
圖28是時間映射(time map)的說明圖。
圖29是播放列表文件的構(gòu)成圖。
圖30是與播放列表對應(yīng)的程序文件的結(jié)構(gòu)圖。
圖31是BD盤整體管理信息文件的結(jié)構(gòu)圖。
圖32是記錄全局事件處理器的文件的結(jié)構(gòu)圖。
圖33是說明時間事件的例子的圖。
圖34是說明用戶事件的例子的圖。
圖35是說明全局事件處理器的例子的圖。
圖36是虛擬機的結(jié)構(gòu)圖。
圖37是播放器變量表的圖。
圖38是表示事件處理器(時間事件)的例子的圖。
圖39是表示事件處理器(用戶事件)的例子的圖。
圖40是播放器的基本處理的流程圖。
圖41是播放列表再現(xiàn)處理的流程圖。
圖42是事件處理的流程圖。
圖43是字幕處理的流程圖。
圖44是說明在連續(xù)再現(xiàn)區(qū)間內(nèi)固定亮度按鍵的閾值的例子的圖。 圖45是說明在無縫再現(xiàn)區(qū)間設(shè)亮度按鍵的值固定的說明圖。 圖46是說明保證亮度按鍵的閾值固定的標(biāo)記的圖。 圖47是說明本發(fā)明的記錄介質(zhì)中的圖片內(nèi)圖片動作的圖。 圖48是說明主視頻與次視頻的復(fù)用的圖。
圖49是表示實現(xiàn)本發(fā)明實施方式2的圖片內(nèi)圖片動作的復(fù)用方法的動 作的流程圖。
圖50是表示在實現(xiàn)本發(fā)明實施方式2的圖片內(nèi)圖片動作的復(fù)用方法 中、生成管理信息的動作的流程圖。圖51是表示本發(fā)明的實施方式2的復(fù)用裝置的結(jié)構(gòu)的框圖。
圖52是表示存放在圖片內(nèi)圖片的元信息中的顯示屬性信息的例子的圖。
圖53是表示由復(fù)用裝置5200生成的管理信息的數(shù)據(jù)結(jié)構(gòu)的圖，圖53 (a)表示作為管理信息之一的播放列表的數(shù)據(jù)要素，圖53 (b)表示對無 縫連接的再現(xiàn)區(qū)間進(jìn)行表示的播放列表的例子。
圖54是表示進(jìn)行本發(fā)明的實施方式2的圖片內(nèi)圖片動作的播放器的動 作的流程圖。
圖55A是表示實施方式3中的記錄介質(zhì)主體即軟盤的物理格式的例子 的圖。
圖55B是表示從軟盤的正面觀察的外觀、剖面構(gòu)造及軟盤的圖。
圖55C是表示用于在軟盤FD上進(jìn)行上述程序的記錄再現(xiàn)的結(jié)構(gòu)的圖。
符號說明104、201 BD盤
202光拾取器
203程序記錄存儲器
204管理信息記錄存儲器
205AV記錄存儲器
206程序處理部
207管理信息處理部
208呈現(xiàn)處理部
209圖形平面
210視頻屏面
211合成處理部
301程序記錄存儲器
302程序處理器
303UOP管理器
304管理信息記錄存儲器
305腳本處理器
306呈現(xiàn)控制器307時鐘
308圖形存儲器
309軌緩沖器
310解復(fù)用器
311圖形處理器
312視頻處理器
313音頻處理器
314圖形面板
315視頻面板
316合成處理部
317驅(qū)動器控制器
S101盤插入步驟
S102BD.INFO讀取步驟
S103BD.PROG讀取步驟
S104第一 事件生成步驟
S105事件處理器執(zhí)行步驟
5201 UOP接受判定步驟
5202 UOP事件生成步驟 S203菜單呼叫判定步驟 S204事件生成步驟 S205事件處理器執(zhí)行步驟 S301播放列表再現(xiàn)幵始步驟 S302播放列表信息(XXX.PL)讀取步驟 S303播放列表程序(XXX.PROG)讀取步驟 S304單元再現(xiàn)開始步驟 S305AV再現(xiàn)開始步驟
S401 AV再現(xiàn)開始步驟 S402VOB信息(YYY.VOBI)讀取步驟 S403VOB (YYY.VOB)讀取步驟 S404VOB再現(xiàn)開始步驟S405VOB再現(xiàn)結(jié)束步驟 S406下一單元存在判定步驟 S501播放列表再現(xiàn)開始步驟 S502播放列表再現(xiàn)結(jié)束判定步驟 S503時間事件時刻判定步驟 S504事件生成步驟 S505事件處理器執(zhí)行步驟 S601播放列表再現(xiàn)開始步驟 S602播放列表再現(xiàn)結(jié)束判定步驟 S603UOP接受判定步驟 S604UOP事件生成步驟 S605菜單呼叫判定步驟 S606用戶事件有效期間判定步驟 S607事件生成步驟 S608事件處理器執(zhí)行步驟 S701播放列表再現(xiàn)開始步驟 S702播放列表再現(xiàn)結(jié)束判定步驟 S703字幕描繪開始判定步驟 S704字幕描繪步驟 S705字幕顯示結(jié)束判定步驟 S706字幕消除步驟
具體實施例方式
本發(fā)明所涉及的動態(tài)圖像編碼方法的特征在于，在作為連續(xù)再現(xiàn)的對 象的區(qū)間(連續(xù)再現(xiàn)區(qū)間)中，不切換編碼方式(或動態(tài)圖像的屬性)地 事先對動態(tài)圖像進(jìn)行編碼，并且事先制作包括標(biāo)記信息的管理信息，該標(biāo) 記信息表示在該區(qū)間內(nèi)編碼方式是固定的。
以下參照

本發(fā)明的實施方式。 (實施方式1)
首先，對于不同的編碼方式(或不同屬性的動態(tài)圖像)混雜存在的流的第一例、即可變長度編碼方式(CAVLC/CABAC)混雜存在的例子，作 為本發(fā)明的第一實施方式來進(jìn)行說明。
在本實施方式中，說明在BD-ROM等的包介質(zhì)等中，在將動態(tài)圖像的 編碼數(shù)據(jù)解碼時，能夠?qū)τ煽勺冮L度編碼方式切換而造成的解碼動作的延 遲、或與同時需要的緩沖器管理方法的切換相伴的處理負(fù)擔(dān)的增加進(jìn)行抑 制的記錄介質(zhì)及其再現(xiàn)裝置。在此，設(shè)動態(tài)圖像的編碼方式是MPEG~4 AVC，但也可以是能夠在流的中途切換可變長度編碼方式的其他編碼方式。
在本實施方式的記錄介質(zhì)中存放的MPEG-4AVC流中，對能夠切換可 變長度編碼方式的單位進(jìn)行限制，并且將下述信息存放至管理信息中，該 信息表示切換單位被限制、或被限制的切換單位。
圖9表示MPEG"4AVC流中的、可變長度編碼方式的切換單位的限制 例。在BD-ROM等的包介質(zhì)中，通過播放列表等，表示出對動態(tài)圖像的編 碼數(shù)據(jù)進(jìn)行連續(xù)再現(xiàn)的單位(以下稱為連續(xù)再現(xiàn)單位)，所以如果在連續(xù)再 現(xiàn)單位中固定可變長度編碼方式，那么在連續(xù)再現(xiàn)的區(qū)間中，與可變長度 編碼方式的切換相伴的解碼動作的延遲或由緩沖器管理方法的切換引起的 處理負(fù)擔(dān)的增加就不發(fā)生。因此，在本實施方式中，在連續(xù)再現(xiàn)單位中將 可變長度編碼方式固定。圖9 (a)和圖9 (b)分別表示在連續(xù)再現(xiàn)單位中 將可變長度編碼的方式僅限制為CAVLC或僅限制為CABAC的例子。進(jìn)而， 在連續(xù)再現(xiàn)的片斷(clip)的連接條件中，存在有縫連接和無縫連接這兩種。 這里所謂的連接，設(shè)為包括對同一片斷內(nèi)的多個區(qū)間進(jìn)行連接的情況。在 無縫連接中，例如，如向開放(open) GOP連接時那樣，有時在解碼動作 中發(fā)生間隔，所以還可以設(shè)為也允許可變長度編碼方式的切換，并在無縫 連接的連續(xù)再現(xiàn)單位中固定可變長度編碼的方式。
另外，也可以在片斷或隨機訪問單位(RAU)等與連續(xù)再現(xiàn)單位不同 的單位中固定可變長度編碼的方式。圖9 (c)和圖9 (d)表示以片斷單位 來固定的例子，圖9 (e)表示以隨機訪問單位來固定的例子。
接著，在管理信息中，存放了標(biāo)記信息，該標(biāo)記信息表示在MPEG-4 AVC的流中可變長度編碼方式的切換單位被限制。在此，將編碼方式的識 別信息作為標(biāo)記來使用。圖10表示BD-ROM中的標(biāo)記的存放例。在 BD-ROM中，由播放列表參照的各片斷的編碼方式被存放于管理信息內(nèi)的被稱為"StreamCodinglnfo"的區(qū)域，所以在此表示出編碼方式為MPEG4 AVC時，設(shè)在連續(xù)再現(xiàn)單位中可變長度編碼的方式是固定的。而且，也可 以另外示出可變長度編碼的方式為CABAC或CAVLC。
而且，也可以另外規(guī)定并存放表示可變長度編碼方式的切換單位被限 制的標(biāo)記，進(jìn)而，也可以存放表示切換單位的信息。另外，這些信息也可 以存放于MPEG"4AVC的流內(nèi)。例如，可以將表示隨機訪問單位內(nèi)的圖片 中可變長度編碼方式固定的信息存放于隨機訪問單位的先頭圖片中的S曰 (補充土曾強信息Supplemental Enhancement lnformation)、或具有非特 定的類型的NAL (網(wǎng)絡(luò)提取層Network Abstraction Layer)單元。
另外，在MPEG-4AVC中，在表示圖片單位的初始化信息的PPS (圖 片參數(shù)組Picture Parameter Set)內(nèi)的entropy—coding—mode—flag中， 表示出可變長度編碼的方式是CAVLC還是CABAC。因此，在一定區(qū)間內(nèi) 可變長度編碼的方式固定時，在該區(qū)間內(nèi)的圖片所參照的全部PPS中，設(shè) entrapy_coding—mode—flag的場值是固定的。在MPEG~4 AVC中，也允許 將按解碼順序存在于規(guī)定區(qū)間的圖片所沒有參照的PPS存放于上述規(guī)定區(qū) 間，但對于區(qū)間內(nèi)的圖片所沒有參照的PPS中的 entropy_coding—mode—flag的場值，并不需要特別限制。例如，隨機訪問 單位RAU內(nèi)的圖片所參照的PPS保證全部存在于隨機訪問單位RAU內(nèi)， 但隨機訪問單位RAU內(nèi)的圖片所沒有參照的PPS也可以存在于隨機訪問 單位內(nèi)。這時，沒有被參照的PPS不對解碼造成影響，所以也可以不限制 entropy_coding_mode_flag的場值。其中，統(tǒng)一地決定規(guī)定區(qū)間中所包括 的PPS中的entr叩y—coding—mode_flag的場值在操作上簡單，所以也可 以包括沒有被參照的PPS在內(nèi)地將場值固定。
圖11是表示本實施方式的記錄介質(zhì)中的連續(xù)再現(xiàn)單位的解碼動作的流 程圖。在連續(xù)再現(xiàn)單位中可變長度編碼的方式是固定的，所以與圖6的現(xiàn) 有的解碼動作不同，解碼過程中的二元數(shù)據(jù)的緩沖以及緩沖管理方法的切 換變得不需要。對于各步驟的動作，與圖6中附加了相同符號的步驟相同， 所以省略說明。
進(jìn)而，作為新的編碼方式，現(xiàn)在，在SMPTE (電影電視工程師協(xié)會 The Society of Motion Picture and Television Engineers)正在策劃VC-1(非專利文獻(xiàn)1)的規(guī)格。在VC-1中，定義了表示宏塊(具有16X16像 素的大小的單位)的編碼方式的各種標(biāo)記。作為標(biāo)記例如存在是否跳過 宏塊、是否為場模式/幀模式的某一個、是否為直接(direct)模式宏塊等。
作為擴展的編碼手段之一，有比特平面編碼。比特平面編碼在對表示 上述宏塊的編碼方式的標(biāo)記進(jìn)行表示時使用。在比特平面編碼中，可以將 這些標(biāo)記匯集為1個圖片量，并在圖片頭中表示。 一般的，相鄰的宏塊在 相關(guān)性上較高，所以在標(biāo)記上相關(guān)性也較高。因此，通過將相鄰的多個宏 塊的標(biāo)記匯集并編碼，能夠減少表現(xiàn)標(biāo)記的碼量。
在比特平面編碼中，規(guī)定了 7種編碼方法。其中之一是在宏塊頭中對 各標(biāo)記進(jìn)行編碼的方法，該方法被稱為RAW模式(原始圖像數(shù)據(jù)存儲模 式)，是與MPEG-2視頻方式或MPEG-4視覺方式相同的方法。剩余的6 種方法是將1個圖片量的標(biāo)記匯集并編碼的方法，根據(jù)如何將相鄰的宏塊 的標(biāo)記匯集并編碼，定義了不同的方法。作為該6種方法，例如存在將 左右相鄰的2個宏塊的標(biāo)記匯集并編碼的方法，在水平方向上排列的一列 宏塊的標(biāo)記如果都是"0"則將其用1比特的"0"表示、 一列宏塊的標(biāo)記 中如果有1個為"1"也將各標(biāo)記原樣編碼的方法等。
在比特平面編碼中使用該7種中的哪一種方法，對每個標(biāo)記獨立，可 以按圖片單位變更。
在此，在比特平面編碼中，把僅使用在宏塊頭中將各標(biāo)記編碼的方法 的情況設(shè)為模式1，把僅使用將1個圖片量的標(biāo)記匯集并編碼的方法的情況 設(shè)為模式2，那么由于模式1與模式2中解碼時的動作不同，在模式的切 換部分中處理的負(fù)擔(dān)增大，有時發(fā)生延遲。因此，與限制上述可變長度編 碼的切換單位相同，也可以對比特平面編碼也限制模式1與模式2的切換 單位。例如，在連續(xù)再現(xiàn)單位、或無縫連接的連續(xù)再現(xiàn)單位中，將模式固 定。另外，也可以在管理信息中包括表示比特平面編碼的模式在規(guī)定的單 位中固定的標(biāo)記信息。例如，可以將StreamCodinglnfo中表示的編碼方式 用作標(biāo)記信息，在表示為編碼方式是VC-1時，規(guī)定的單位中比特平面編碼 的模式是固定的。
進(jìn)而，把共同使用了在宏塊頭中將各標(biāo)記編碼的方法和將1個圖片量 的標(biāo)記匯集并編碼的方法的情況設(shè)為模式3，根據(jù)VC-1被使用的環(huán)境，存在區(qū)分使用模式1和模式3的情況。例如，可以對處理能力低的終端使用 模式1，對處理能力高的終端使用模式3。在這樣的情況下，在規(guī)定的再現(xiàn) 單位中固定為模式1或模式3的某一方是有效的。進(jìn)而，可以在管理信息 或編碼流中存放表示固定為模式1或模式3的某一方的標(biāo)記信息、或表示 固定為哪一個模式的信息。另外，也可以區(qū)分使用模式2和模式3。
圖12是表示使用本實施方式的復(fù)用方法的復(fù)用裝置5100的結(jié)構(gòu)的框 圖。復(fù)用裝置5100具備切換單位決定部5101、切換信息生成部5102、編 碼部5103、系統(tǒng)復(fù)用部5104、管理信息制作部5105、結(jié)合部5106。以 下說明各部的動作。
切換單位決定部5101決定能夠?qū)勺冮L度編碼的方式進(jìn)行切換的單 位，并將決定的切換單位Unit輸入至切換信息生成部5102及編碼部5103。 切換單位設(shè)為預(yù)先設(shè)定，但也可以設(shè)為能夠從外部進(jìn)行設(shè)定。切換信息生 成部5102根據(jù)切換單位Unit,生成表示能夠切換可變長度編碼的單位的切 換信息Swlnf，并輸入至管理信息制作部5105。編碼部5103以滿足單位 Unit的限制的方式將各片斷的數(shù)據(jù)編碼，并將編碼數(shù)據(jù)Cdata1輸入至系統(tǒng) 復(fù)用部5104。系統(tǒng)復(fù)用部5104對編碼數(shù)據(jù)Cdata1進(jìn)行系統(tǒng)復(fù)用，并將 流信息Strlnf1輸入至管理信息制作部5105,將復(fù)用數(shù)據(jù)Mdata1輸入至結(jié) 合部5106。在BD-ROM中，使用被稱為源包的、在MPEG-2的傳輸流中 附加了4字節(jié)的頭的方式，來作為系統(tǒng)復(fù)用的方式。另外，流信息Strlnfl 包括用于生成時間映射等、關(guān)于復(fù)用數(shù)據(jù)Mdata1的管理信息的信息。管理 信息制作部5105生成管理信息Ctrllnf1，該管理信息Ctrllnf1包括根據(jù)流 信息Strlnf1生成的時間映射、以及切換信息Swlnf等，并輸入至結(jié)合部 5106。結(jié)合部5106對管理信息Ctrllnf1和復(fù)用數(shù)據(jù)Mdata1進(jìn)行結(jié)合并作 為記錄數(shù)據(jù)Dout1輸出。
另外，在由著作(authoring)工具等制作數(shù)據(jù)時，在不同的裝置進(jìn)行 編碼數(shù)據(jù)的生成、和系統(tǒng)復(fù)用或管理信息的制作，但在這種情況下，也可 以使各裝置的動作與復(fù)用裝置5100中的各部相同。
圖13是表示用于制作本實施方式中的記錄介質(zhì)中存放的復(fù)用數(shù)據(jù)的復(fù) 用方法的動作的流程圖。本實施方式的復(fù)用方法在具備決定能夠?qū)勺冮L 度編碼的方式進(jìn)行切換的單位的步驟(步驟S5201)、根據(jù)決定的單位將片斷編碼的步驟(步驟S5202)、以及生成表示可變長度編碼的切換單位的標(biāo) 記信息的步驟(步驟S5204)這幾點上，與現(xiàn)有的復(fù)用方法不同。
首先，在步驟S5201中，決定能夠?qū)勺冮L度編碼的方式進(jìn)行切換的 單位。即，決定是否能夠以連續(xù)再現(xiàn)單位、片斷、或隨機訪問單位中的哪 個單位來進(jìn)行切換。接著，在步驟S5202中，根據(jù)步驟S5201中決定的切 換單位，將MPEG-4 AVC的片斷的數(shù)據(jù)編碼。在步驟S5203中，判定最 終片斷的編碼是否結(jié)束，在判定為結(jié)束時前進(jìn)至步驟S5204，判定為沒有 結(jié)束時返回步驟S5202并重復(fù)片斷的編碼。在步驟S5204中，生成表示可 變長度編碼的切換單位的標(biāo)記信息，并前進(jìn)至步驟S5205。在步驟S5205 中，制作包括步驟S5204中生成的標(biāo)記信息的管理信息，并對管理信息和 片斷的數(shù)據(jù)進(jìn)行復(fù)用并輸出。
圖14是表示圖13中決定能夠?qū)勺冮L度編碼的方式進(jìn)行切換的單位 的步驟(S5201)的具體例的流程圖。在該圖中，將能夠?qū)勺冮L度編碼的 方式進(jìn)行切換的最小單位設(shè)為圖9 (c)、圖9 (d)所示的片斷。在此，所 謂片斷，指的是在記錄介質(zhì)上作為AV數(shù)據(jù)的文件而存放的、例如存放了 MPEG-4 AVC的一個流或VC-1的一個流的一個文件。另外，片斷在傳輸 流中指的是通過TS包的識別符來確定的流。
在圖14中，切換單位決定部5101判定編碼對象的圖片是否為片斷的 開始圖像(S5201a)，不是開始圖像的情況、即為片斷的中途的圖像的情 況下，決定為在該片斷的編碼中不能切換可變長度編碼的方式(S5201f)。
是開始圖片的情況下，切換單位決定部5101判定開始圖片的片斷是否 與編碼完成的緊前的片斷無縫連接(S5201b),在無縫連接的情況下，決 定為開始圖片的片斷的編碼中不能切換可變長度編碼的方式(S5201f)。
在沒有無縫連接的情況下，切換單位決定部5101判定開始圖片的片斷 是否為與構(gòu)成多角度的角度相對應(yīng)的片斷(S520化)，是與該角度相對應(yīng)的 片斷的情況下，決定為在開始圖片的片斷的編碼中，在構(gòu)成該多角度的角 度之間不能切換可變長度編碼的方式(S5201f)。在此，能夠在各角度無縫 連接的無縫多角度中，各角度的可變長度編碼的方式被決定為與多角度區(qū) 間的緊前的片斷相同的方式。另一方面，在不保證能夠在各角度無縫連接 的非無縫多角度中，如果各角度上可變長度編碼的方式相同，則其方式也可以與多角度區(qū)間的緊前的片斷不同。
另外，切換單位決定部5101在編碼對象的圖片是片斷的開始圖片、且 與S5201b至S5201c的哪一種都不相當(dāng)?shù)那闆r(否的情況)下，決定為對 于編碼完成的緊前的片斷能夠切換開始圖片的片斷的可變長度編碼方式 (S5201e)。
像這樣在圖14的流程圖中，在切換單位決定部5101中被決定為不能 切換的片斷被決定為以下片斷，即(a)通過傳輸流的包識別符確定的片 斷；(b)作為無縫連接的對象的多個片斷；(c)與構(gòu)成多角度的各角度相 對應(yīng)的多個片斷。另外，S5201a至S5201c的判定按照哪種順序來執(zhí)行都 可以。另外，在多角度的情況下，也可以僅在無縫多角度中使可變長度編 碼方式不可替換。另外，片斷也可以通過文件名等與包識別符不同的信息 來識別。另外，在圖14中說明了能夠?qū)勺冮L度編碼的方式進(jìn)行切換的最 小單位是圖9 (c)、圖9 (d)所示的片斷的情況，但也可以以圖9 (e)那 樣的RAU為最小單位。這時，進(jìn)行將圖中的"片斷"讀取替換為"RAU" 的處理即可。
圖15是表示圖13中的片斷編碼步驟(S5202)的具體例的流程圖。 在圖15中，表示了進(jìn)行MPEG4 AVC的編碼的情況。在該圖中，編碼部 5103在片斷的編碼開始之前先判定能否切換該片斷的可變長度編碼的方式 (S5202a)。該判定按照圖14中的決定。編碼部5103在判定為能夠切換 的情況下任意決定該片斷的可變長度編碼方式(S5202b)，判定為不能切 換的情況下將該片斷的可變長度編碼方式?jīng)Q定為與相互無縫連接的緊前 的、或構(gòu)成同一多角度的其他的片斷相同的方式(S5202c)。進(jìn)而，編碼部 5103將表示所決定的可變長度編碼方式的標(biāo)記設(shè)定至圖片參數(shù)組PPS (S5202d)，根據(jù)決定的可變長度編碼方式將該片斷編碼(S5202e)。該標(biāo) 記在MPEG4-AVC中被稱為entoropy_coding_mode_flag。
像這樣，編碼部5103對于被判定為不能切換的連續(xù)再現(xiàn)區(qū)間的片斷不 切換可變長度編碼的方式，將動態(tài)圖像編碼，從而生成編碼數(shù)據(jù)Cdata1 。
圖16是表示圖13中的標(biāo)記信息生成步驟(S5204)及管理信息生成 步驟(S5205)的具體例的流程圖。
在該圖中，切換信息生成部5102判定由編碼部5103進(jìn)行了編碼的片斷是否是被判定為能夠切換可變長度編碼方式的片斷(S5204a)，在是被判定為能夠切換的片斷的情況下，生成表示可變長度編碼的方式不固定的標(biāo)記信息，并與該片斷相對應(yīng)地將標(biāo)記信息積蓄在存儲器的工作區(qū)域中(S5204b)，在不是被判定為能夠切換的片斷的情況下，生成表示可變長度編碼的方式固定的標(biāo)記信息，并與該片斷相對應(yīng)地將標(biāo)記信息蓄積在存儲器的工作區(qū)域中(S5204c)。進(jìn)而，切換信息生成部5102判定該片斷是否是由編碼部5103進(jìn)行了編碼的最后的片斷(S5204d)，如果不是最后的片斷，貝隨復(fù)上述S5204a至S5204c，如果是最后的片斷，則將蓄積在存儲器的工作區(qū)域中的標(biāo)記信息作為切換信息Swlnf輸出至管理信息制作部5105。
進(jìn)而，管理信息制作部5105生成包括播放列表的管理信息(S5205a)，參照切換信息Swlnf，附加表示播放列表中所包括的播放項目中可變長度編碼的方式固定的標(biāo)記信息(S5205b)。另外，標(biāo)記信息也可以表示可變長度編碼的方式與緊前的播放項目所參照的再現(xiàn)區(qū)間是否相同。在此，播放列表表示一個以上的播放項目的再現(xiàn)順序。播放項目是表示應(yīng)該再現(xiàn)的片斷的信息，將一個片斷的全部或部分指定為再現(xiàn)區(qū)間。另外，上述標(biāo)記信息也可以與播放項目中附加的其他參數(shù)兼用。這時，例如，可以將意味著片斷無縫連接的參數(shù)(例如"connection_condition=5")與上述標(biāo)記信息兼用。這是因為在圖14中，被決定為不能切換的連續(xù)再現(xiàn)區(qū)間(可變長度編碼的方式固定的區(qū)間是(a)通過傳輸流的包識別符確定的片斷、(b)作為無縫連接的對象的多個片斷、(c)與構(gòu)成多角度的各角度相對應(yīng)的多個片斷，其中(b)以無縫連接為前提。另外，是否是多角度區(qū)間可以通過被稱為"is—multi一angle"的標(biāo)記表示，所以也可以將本標(biāo)記與表示可變長度編碼的方式固定的標(biāo)記兼用。由此，可以減少管理信息的數(shù)據(jù)量。
圖17是表示圖13中的片斷編碼步驟(S5202)的其他具體例的流程圖。在圖17中，表示了進(jìn)行VC-1的編碼的情況。在該圖中，編碼部5103在片斷的編碼開始之前，先判定能否在RAW模式與此外的模式之間切換該片斷的可變長度編碼的方式(S5202a)。該判定按照圖14中的決定。編碼部5103在判定為能夠切換的情況下任意決定該片斷的比特平面編碼的方式(S5202f)，判定為不能切換的情況下將該片斷的比特平面編碼方式?jīng)Q定為與緊前的片斷相同的方式(S5202g)。編碼部5103判定所決定的比特平面編碼方式是RAW模式(RAW MODE)還是此外的方式(S5202h)。編碼部5103在圖片單位上附加表示模式的信息，在判定為是RAW模式(RAWMODE)的情況下，對每個宏塊MB的規(guī)定的信息在各宏塊中進(jìn)行編碼(S5202i)，在判定為不是RAW模式(RAW MODE)的情況下，將每個宏塊MB的規(guī)定的信息匯集設(shè)定在圖片的先頭，并將該片斷編碼(S5202j)。另外，表示上述模式的信息在VC-1中通過被稱為IMODE的場來表示。
像這樣，編碼部5103對于被判定為不能切換的連續(xù)再現(xiàn)區(qū)間的片段不切換比特平面編碼的方式，將動態(tài)圖像編碼，從而生成編碼數(shù)據(jù)Cdata1 。
另外，上述播放列表不限定于光盤上的使用，在經(jīng)由網(wǎng)絡(luò)接收流時，也可以使用以下用法，即首先接收播放列表并進(jìn)行解析，決定了接收的流之后，開始實際的流的接收。另外，在將流打包為RTP (實時傳輸協(xié)議Real-time Transport Protocol)的包或TS包等之后通過IP (互聯(lián)網(wǎng)協(xié)議Internet Protocol)網(wǎng)進(jìn)行傳輸時，作為再現(xiàn)控制信息，也可以通過SDP(對話描述協(xié)議Session Description Protocol)等，表示再現(xiàn)區(qū)間內(nèi)可變長度編碼的方式是否固定。
以下，表示存放了通過本實施方式所涉及的動態(tài)圖像編碼方法生成的數(shù)據(jù)的BD-ROM盤的數(shù)據(jù)結(jié)構(gòu)、以及再現(xiàn)該盤的播放器的結(jié)構(gòu)。(盤上的邏輯數(shù)據(jù)結(jié)構(gòu))
圖18是表示BD-ROM的結(jié)構(gòu)、特別是作為盤介質(zhì)的BD盤104和在盤上記錄的數(shù)據(jù)101、 102、 103的結(jié)構(gòu)的圖。在BD盤104上記錄的數(shù)據(jù)有AV數(shù)據(jù)103、與AV數(shù)據(jù)相關(guān)的管理信息及AV再現(xiàn)序列等的BD管理信息102、和實現(xiàn)交互性的BD再現(xiàn)程序101。在本實施方式中，為了說明方便，進(jìn)行以用于再現(xiàn)電影的AV內(nèi)容的AV應(yīng)用為主的BD盤的說明，但用作其他用途顯然也是相同的。
圖19是表示上述BD盤上記錄的邏輯數(shù)據(jù)的目錄/文件結(jié)構(gòu)的圖。BD盤與其他光盤、例如DVD或CD等相同，從其內(nèi)周向外周以螺旋狀具有記錄區(qū)域，在內(nèi)周的導(dǎo)入與外周的導(dǎo)出之間具有能夠記錄邏輯數(shù)據(jù)的邏輯地址空間。另外，在導(dǎo)入的內(nèi)側(cè)存在被稱為BCA (二進(jìn)制位組截斷區(qū)BurstCuttingArea)的只能由驅(qū)動器讀取的特殊區(qū)域。該區(qū)域不能由應(yīng)用讀取，所以例如用于版權(quán)保護技術(shù)等。
在邏輯地址空間中，以文件系統(tǒng)信息(巻)為先頭記錄了影像數(shù)據(jù)等
的應(yīng)用數(shù)據(jù)。所謂文件系統(tǒng)，正如現(xiàn)有技術(shù)中說明的，是UDF或IS09660等，可以與通常的PC—樣使用目錄、文件結(jié)構(gòu)讀取記錄的邏輯數(shù)據(jù)。
在本實施例的情況下，BD盤上的目錄、文件結(jié)構(gòu)為在根目錄(ROOT)緊下設(shè)有BDVIDEO目錄。該目錄是存放著BD中處理的AV內(nèi)容或管理信息等的數(shù)據(jù)(在圖18中說明的101、 102、 103)的目錄。
BDVIDEO目錄之下記錄了以下的7種文件。
BD.INFO (文件名固定)
"已D管理信息"之一，是記錄了與BD盤整體相關(guān)的信息的文件。BD播放器最初讀取此文件。
BD.PROG (文件名固定)
"BD再現(xiàn)程序"之一，是記錄了與BD盤整體相關(guān)的再現(xiàn)控制信息的文件。
XXX.PL ("XXX"可變，擴展符"PL"固定)"BD管理信息"之一，是記錄了作為腳本(再現(xiàn)序列)的播放列表信息的文件。每個播放列表具有1個文件。
XXX.PROG ("XXX"可變，擴展符"PROG"固定)"BD再現(xiàn)程序"之一，是記錄了每個上述播放列表的再現(xiàn)控制信息的文件。與播放列表的對應(yīng)通過文件實體名("XXX" —致)來識別。YYY.VOB ("YYY"可變，擴展符"VOB"固定)"AV數(shù)據(jù)"之一，是記錄了VOB (與現(xiàn)有例中說明的VOB相同)的文件。每個VOB具有一個文件。
YYY.VOBI ("YYY"可變，擴展符"VOBI"固定)"BD管理信息"之一，是記錄了與作為AV數(shù)據(jù)的VOB相關(guān)的流管理信息的文件。與VOB的對應(yīng)通過文件實體名("YYY"—致)來識別。ZZZ.PNG ("ZZZ"可變，擴展符"PNG"固定)"AV數(shù)據(jù)"之一，是記錄了用于構(gòu)成字幕及菜單的圖形數(shù)據(jù)PNG (是由W3C進(jìn)行了標(biāo)準(zhǔn)化的圖像格式，讀作"平格")的文件。每個PNG圖形具有一個文件。(播放器的結(jié)構(gòu))
接著，利用圖20及圖21來說明再現(xiàn)上述BD盤的播放器的結(jié)構(gòu)。圖20是表示播放器的大概的功能結(jié)構(gòu)的框圖。
BD盤201上的數(shù)據(jù)通過光拾取器202讀取。讀取的數(shù)據(jù)根據(jù)各自的數(shù)據(jù)的種類轉(zhuǎn)發(fā)至專用的存儲器。分別將BD再現(xiàn)程序("BD.PROG"或"XXX.PROG"文件的內(nèi)容)轉(zhuǎn)發(fā)至程序記錄存儲器203，將BD管理信息("BD.INFO"、 "XXX.PL"或"YYY.VOBI")轉(zhuǎn)發(fā)至管理信息記錄存儲器204，將AV數(shù)據(jù)("YYY.VOB"或"ZZZ.PNG")轉(zhuǎn)發(fā)至AV記錄存儲器205。
程序記錄存儲器203中記錄的BD再現(xiàn)程序通過程序處理部206進(jìn)行處理，管理信息記錄存儲器204中記錄的BD管理信息通過管理信息處理部207進(jìn)行處理，另外，AV記錄存儲器205中記錄的AV數(shù)據(jù)通過呈現(xiàn)處理部208進(jìn)行處理。
程序處理部206接受由管理信息處理部207再現(xiàn)的播放列表的信息或程序的執(zhí)行定時等的事件信息，并進(jìn)行程序的處理。另外，在程序中可能存在動態(tài)改變再現(xiàn)的播放列表的情況，在這種情況下對管理信息處理部207發(fā)送播放列表的再現(xiàn)命令來實現(xiàn)。程序處理部206接受來自用戶的事件、即來自遙控器按鍵的請求，存在與用戶事件對應(yīng)的程序時，將其執(zhí)行。
管理信息處理部207接受程序處理部206的指示，解析對應(yīng)的播放列表及與播放列表對應(yīng)的VOB的管理信息，并對呈現(xiàn)處理部208指示作為對象的AV數(shù)據(jù)的再現(xiàn)。另外，管理信息處理部207從呈現(xiàn)處理部208接受基準(zhǔn)時刻信息，根據(jù)時刻信息對呈現(xiàn)處理部208進(jìn)行AV數(shù)據(jù)再現(xiàn)的停止指示，另外，對于程序處理部206生成表示程序執(zhí)行定時的事件。
呈現(xiàn)處理部208具有與影像、聲音、字幕/圖形(靜止畫面)分別對應(yīng)的解碼器，按照來自管理信息處理部207的指示，進(jìn)行AV數(shù)據(jù)的解碼及輸出。在影像數(shù)據(jù)、字幕/圖形的情況下，在解碼后，在各自的專用平面、視頻平面210及圖片平面209上進(jìn)行描繪，通過合成處理部211進(jìn)行影像的合成處理，并向電視機(TV)等顯示設(shè)備輸出。
像這樣如圖20所示，BD播放器具有基于圖18所示的BD盤上所記錄的數(shù)據(jù)結(jié)構(gòu)的設(shè)備結(jié)構(gòu)。圖21是細(xì)化了上述播放器結(jié)構(gòu)的框圖。在圖21中，AV記錄存儲器205與圖形存儲器308和軌緩沖器309，程序處理部206與程序處理器302和UOP管理器303，管理信息處理部207與腳本處理器305和呈現(xiàn)控制器306，呈現(xiàn)處理器208與時鐘307、解復(fù)用器310、圖形處理器311、視頻處理器312和音頻處理器313分別對應(yīng)/擴展。
從BD盤201中讀取的VOB數(shù)據(jù)(MPEG流)被記錄至軌緩沖器309，圖形數(shù)據(jù)(PNG)被記錄至圖形存儲器308。解復(fù)用器310根據(jù)時鐘307的時刻，提取軌緩沖器309中記錄的VOB數(shù)據(jù)，并分別將影像數(shù)據(jù)送入視頻處理器312，將聲音數(shù)據(jù)送入至音頻處理器313。視頻處理器312及音頻處理器313分別如MPEG系統(tǒng)規(guī)格所規(guī)定的那樣，各自由解碼器緩沖器和解碼器構(gòu)成。即，從解復(fù)用器310送入的影像、聲音各自的數(shù)據(jù)被暫時記錄至各自的解碼器緩沖器，并按照時鐘307由各自的解碼器進(jìn)行解碼處理。
在圖形存儲器308記錄的PNG有以下2種處理方法。
在圖形數(shù)據(jù)為字幕用的情況下，由呈現(xiàn)控制器306指定解碼定時。腳本處理器305 —旦接受到來自時鐘307的時刻信息，如果到了字幕顯示時刻(開始及結(jié)束)，則對呈現(xiàn)控制器306發(fā)出顯示、不顯示字幕的指示，以進(jìn)行合適的字幕顯示。從呈現(xiàn)控制器306接受了解碼/顯示的指示的圖片處理器311從圖片存儲器308中提取對應(yīng)的PNG數(shù)據(jù)，進(jìn)行解碼，并在圖形平面314上描繪。
接著，在圖形數(shù)據(jù)為菜單用的情況下，由程序處理器302指定解碼定時。程序處理器302何時指定圖形的解碼，取決于程序處理器302所處理的BD程序，無法統(tǒng)一決定。
圖形數(shù)據(jù)及影像數(shù)據(jù)如圖20說明的那樣，分別解碼后輸出至圖形平面314、視頻平面315，并由合成處理部316合成后輸出。
從BD盤201讀取的管理信息(腳本、AV管理信息)被存放至管理信息存儲器304，而腳本信息("BD.INFO"及"XXX.PL")被向腳本處理器305進(jìn)行讀取處理。另夕卜，AV管理信息("YYY.VOBI")由呈現(xiàn)控制器306進(jìn)行讀取處理。
腳本處理器305解析播放列表的信息，對呈現(xiàn)控制器306指示由播放列表參照的VOB及其再現(xiàn)位置，呈現(xiàn)控制器306解析作為對象的VOB的 管理信息("Y丫Y.VOBI")，對驅(qū)動器控制器317發(fā)出指示，使其讀取作為 對象的VOB。
驅(qū)動器控制器317按照呈現(xiàn)控制器306的指示，使光拾取器移動，進(jìn) 行作為對象的AV數(shù)據(jù)的讀取。讀取出的AV數(shù)據(jù)如上所述，被讀取至圖形 存儲器308或軌存儲器309。
另外，腳本處理器305監(jiān)視時鐘307的時刻，在管理信息中設(shè)定的定 時將事件投向程序處理器302。
在程序記錄存儲器301中記錄的BD程序("BD.PROG"或 "XXX.PROG")由程序處理器302執(zhí)行處理。程序處理器302處理BD 程序，存在從腳本處理器305發(fā)送來事件的情況，或從UOP管理器303 發(fā)送來事件的情況。UOP管理器303在由用戶通過遙控器按鍵發(fā)送來請求 的情況下，生成對程序處理器302的事件。 (應(yīng)用空間)
圖22是表示BD的應(yīng)用空間的圖。
在縣D的應(yīng)用空間中，播放列表(Playlist)成為一個再現(xiàn)單位。播放 列表是單元(Cell)的連接，具有由連接的順序決定的再現(xiàn)序列即靜態(tài)腳本、 以及由程序記錄的動態(tài)腳本。只要不存在由程序?qū)崿F(xiàn)的動態(tài)腳本，那么播 放列表只是按各個單元的順序再現(xiàn)，另外，在結(jié)束了全部單元的再現(xiàn)的時 刻，播放列表的再現(xiàn)結(jié)束。另一方面，程序可以動態(tài)地改變通過超出播放 列表的再現(xiàn)記錄還有用戶選擇或播放器的狀態(tài)來再現(xiàn)的對象。作為典型的 例子可以舉出菜單。在BD的情況下，所謂菜單，可以定義為通過用戶的選 擇來再現(xiàn)的腳本，由程序動態(tài)地選擇播放列表。
在此所說的程序，指的是通過時間事件或用戶事件來執(zhí)行的事件處理器。
時間事件是根據(jù)播放列表中埋入的時刻信息來生成的事件。從圖21說 明的腳本處理器305向程序處理器302發(fā)送的事件便相當(dāng)于此。如果發(fā)行 了時間事件，那么程序處理器302對通過ID加以對應(yīng)的事件處理器進(jìn)行執(zhí) 行處理。如上所述，所執(zhí)行的程序可以指示其他的播放列表的再現(xiàn)，在這 種情況下，當(dāng)前正在再現(xiàn)的播放列表的再現(xiàn)中止，轉(zhuǎn)移至被指定的播放列表的再現(xiàn)。
用戶事件是由用戶的遙控器按鍵操作所生成的事件。用戶事件總體上 分為兩種類型。第一種是通過方向按鍵("上""下""左""右"按鍵)還 有"決定"按鍵的操作所生成的菜單選擇的事件。與菜單選擇的事件對應(yīng) 的事件處理器僅在播放列表內(nèi)的有限期間有效(設(shè)定了各個事件處理器的 有效期間來作為播放列表的信息)，在遙控器的"上""下""左""右"按 鍵或"決定"按鍵被按下時，檢索有效的事件處理器，在存在有效的事件 處理器的情況下，執(zhí)行處理該事件處理器。其他情況下，無視菜單選擇的 事件。
第二種用戶事件是由"菜單"按鍵的操作所生成的菜單呼叫的事件。 如果生成了菜單呼叫的事件，那么調(diào)用全局事件處理器。全局事件處理器 不依賴于播放列表，是通常有效的事件處理器。通過利用該功能，可以安
裝DVD的菜單呼叫(在標(biāo)題再現(xiàn)中調(diào)用聲音、字幕菜單等，在變更聲音或 字幕之后執(zhí)行從中斷的位置開始的標(biāo)題再現(xiàn)的功能等)。
在播放列表中構(gòu)成靜態(tài)腳本的單位即單元(Cell)參照了 VOB (MPEG 流)的全部或部分的再現(xiàn)區(qū)間。單元以開始、結(jié)束時刻的信息的方式具有 VOB內(nèi)的再現(xiàn)區(qū)間。與各個VOB成對的VOB管理信息(VOBI)在其內(nèi) 部具有與數(shù)據(jù)的再現(xiàn)時刻對應(yīng)的記錄地址的表信息即時間映射(Time Map
或TMAP)，通過該時間映射可以導(dǎo)出在VOB內(nèi)(即，作為對象的文件 "YYY.VOB"內(nèi))讀取上述VOB的再現(xiàn)、結(jié)束時刻的開始地址及結(jié)束地址。 另外，時間映射的詳情留待后述。 (VOB的詳情)
圖23是本實施例中使用的MPEG流(VOB)的結(jié)構(gòu)圖。 如圖23所示，VOB由多個VOBU (視頻對象單元Video Object Unit) 構(gòu)成。VOBU是以MPEG視頻流中所謂的GOP (圖片組Group Of Pictures)為基準(zhǔn)，作為還包括了聲音數(shù)據(jù)的復(fù)用流的一個再現(xiàn)單位。VOBU 具有1.0秒以下的視頻再現(xiàn)時間，通常具有0.5秒左右的再現(xiàn)時間。
VOBU先頭的TS包(MPEG-2傳輸流包MPEG-2 Transport Stream Packet)存放了序列頭及此后的GOP頭和I圖片(內(nèi)部編碼lntra-coded)， 可以從該I圖片開始解碼。另外，由時間映射管理包括該VOBU先頭的I圖片的先頭在內(nèi)的TS包的地址(開始地址)、從該開始地址到包括I圖片 的最后在內(nèi)的TS包為止的地址(結(jié)束地址)、和該l圖片的再現(xiàn)開始時刻 (PTS)。因此，時間映射的項目被賦予VOBU先頭的各個TS包。
VOBU在其內(nèi)部具有視頻包(V一PKT)和音頻包(A—PKT)。各包為 188字節(jié)，雖然在圖23中沒有圖示，但各TS包的緊前被賦予了與該TS 包的相對的解碼供給開始時刻即ATS (到達(dá)時刻戳Arrival Time Stamp)。
將ATS賦予給各TS包是因為該TS流的系統(tǒng)速率不是固定速率，而 是可變速率。 一般的，在將系統(tǒng)速率固定的情況下插入被稱為NULL包的 假的TS包，但為了在有限的記錄容量中以高畫質(zhì)進(jìn)行記錄，適用可變速率， 在BD中記錄為附加了 ATS的TS流。
圖24是表示TS包的結(jié)構(gòu)的圖。
如圖24所示，TS包由TS包頭、適用場、有效負(fù)載部構(gòu)成。在TS包 頭中存放了PID (包識別符:Packet Identifier),由此識別TS包存放了什 么樣的信息。適用場中存放了 PCR (程序時鐘參照Program Clock Reference)。 PCR是將流解碼的設(shè)備的基準(zhǔn)時鐘(系統(tǒng)時間時鐘System Time Clock,被稱為STC)的參照值。設(shè)備典型地在PCR的定時上將系統(tǒng) 流解復(fù)用，并重新架構(gòu)視頻流等各種流。有效負(fù)載中存放了PES包。
在PES包頭中，存放了 DTS (解碼時間戳Decoding Time Stamp) 禾口PTS (呈現(xiàn)時間戳Presentation Time Stamp)。 DTS表示在該PES包 中存放的圖片/音頻幀的解碼定時，PTS表示影像聲音輸出等的呈現(xiàn)定時。 視頻數(shù)據(jù)及音頻數(shù)據(jù)這樣的基本數(shù)據(jù)在被稱為PES包有效負(fù)載(PES Packet Payload)的包(PES Packet)的數(shù)據(jù)存放區(qū)域中從先頭依次存入。 在PES包頭中，還記錄了用于識別在有效負(fù)載中存放的數(shù)據(jù)是什么流的ID (stream—id)。
關(guān)于TS流的詳情在ISO/IEC13818-1中進(jìn)行了規(guī)定，在BD中特征在 于對每個TS包賦予ATS。 (VOB的交錯記錄)
接著利用圖25及圖26說明VOB文件的交錯記錄。 圖25上部分是上述播放器結(jié)構(gòu)圖的一部分。如圖所示，BD盤上的數(shù) 據(jù)通過光拾取器，若是VOB即MPEG流則輸入至軌緩沖器，若是PNG即。
軌緩沖器是FIFO,輸入的VOB的數(shù)據(jù)按輸入的順序發(fā)送至解復(fù)用器。 這時，按照上述ATS，各個TS包被從軌緩沖器提取出來，并通過解復(fù)用 器，數(shù)據(jù)被送達(dá)至視頻處理器或音頻處理器。另一方面，在圖片數(shù)據(jù)的情 況下，由呈現(xiàn)控制器指示要描繪哪個圖片。另外，在描繪中使用的圖片數(shù) 據(jù)是字幕用圖片數(shù)據(jù)的情況下，同時從圖片存儲器中刪除，而是菜單用圖 片數(shù)據(jù)的情況下，在該菜單描繪中原樣留在圖片存儲器內(nèi)。這是因為菜 單的描繪依賴于用戶操作，有時追隨用戶的操作重新顯示菜單的一部分或 替換為不同的圖片，此時使重新顯示的部分的圖片數(shù)據(jù)容易解碼。
圖25下部分是表示BD盤上的VOB文件及PNG文件的交錯記錄的圖。 一般在ROM、例如CD-ROM或DVD-ROM的情況下，作為一系列的連續(xù) 再現(xiàn)單位的AV數(shù)據(jù)被連續(xù)記錄。這是因為只要連續(xù)記錄，那么驅(qū)動器只要 依次讀取數(shù)據(jù)，并送達(dá)至解碼器即可，但在連續(xù)數(shù)據(jù)被切斷并在盤上離散 配置的情況下，在各個連續(xù)再現(xiàn)區(qū)間之間加入尋找(seek)操作，其間數(shù) 據(jù)的讀取停止，存在數(shù)據(jù)的供給停止的可能性。在BD的情況下也相同，優(yōu) 選VOB文件能夠在連續(xù)區(qū)域上記錄，但例如存在像字幕數(shù)據(jù)那樣與VOB 上記錄的影像數(shù)據(jù)同步再現(xiàn)的數(shù)據(jù)，需要與VOB文件同樣地將字幕數(shù)據(jù)也 通過某種方法從BD盤中讀取。
作為字幕數(shù)據(jù)的讀取方法的一個手段，有在VOB的再現(xiàn)開始前統(tǒng)一讀 取字幕用的圖片數(shù)據(jù)(PNG文件)的方法。但是，這時需要大量的存儲器， 是不現(xiàn)實的。
因此，使用將VOB文件分為幾個塊、并與圖形數(shù)據(jù)交錯記錄的方式。 圖25下部分是說明該交錯記錄的圖。
通過適當(dāng)?shù)亟诲e配置VOB文件和圖形數(shù)據(jù)，可以在沒有如上所述的大 量的暫時記錄存儲器的條件下，在需要的定時將圖形數(shù)據(jù)存放至圖形存儲 器。但是在讀取圖形數(shù)據(jù)時，VOB數(shù)據(jù)的讀取當(dāng)然要停止。
圖26是說明使用了解決該問題的軌(track)緩沖器的VOB數(shù)據(jù)連續(xù) 供給模式的圖。
正如已經(jīng)說明的，VOB的數(shù)據(jù)暫時累積在軌緩沖器中。如果在向軌緩 沖器的數(shù)據(jù)輸入速率(Va)和從軌緩沖器的數(shù)據(jù)輸出速率(Vb)之間設(shè)有差(Va>Vb)，則只要從BD盤持續(xù)讀取數(shù)據(jù)，那么軌緩沖器的數(shù)據(jù)累積量 變不斷增加。
如圖26的上部分所示，VOB的一個連續(xù)記錄區(qū)域從邏輯地址的"a1" 持續(xù)到"a2"。在"a2"到"a3"之間，設(shè)為記錄了圖形數(shù)據(jù)、不進(jìn)行VOB 數(shù)據(jù)的讀取的區(qū)間。
圖26的下部分是表示軌緩沖器的內(nèi)部的圖。橫軸表示時間，縱軸表示 在軌緩沖器內(nèi)部累積的數(shù)據(jù)量。時刻"t1"表示開始VOB的一個連續(xù)記錄 區(qū)域的開始點即"a1"的讀取的時刻。該時刻以后，在軌緩沖器中以速率 Va-Vb累積數(shù)據(jù)。該速率顯然是軌緩沖器的輸入輸出速率之差。時刻"t2" 是讀取一個連續(xù)記錄區(qū)域的結(jié)束點即"a2"的數(shù)據(jù)的時刻。即時刻"t1" 到"t2"之間，以速率Va—Vb，軌緩沖器內(nèi)數(shù)據(jù)量不斷增加，在時刻"t2" 的數(shù)據(jù)累積量B (t2)可以通過下式求出。
<formula>formula see original document page 40</formula>
此后，由于圖形數(shù)據(jù)持續(xù)到BD盤上的地址"a3"為止，所以向軌緩 沖器的輸入為0，輸出速率為"一Vb"，軌緩沖器內(nèi)的數(shù)據(jù)量不斷減少。這 到讀取位置"a3"為止，時刻上到"t3"為止。
在此重要的是如果在時刻"t3"之前軌緩沖器中累積的數(shù)據(jù)量變?yōu)?， 則向解碼器供給的VOB的數(shù)據(jù)消失，存在VOB的再現(xiàn)停止的可能性。但 是，在時刻"t3"軌緩沖器中有數(shù)據(jù)剩余的情況下，意味著VQB的再現(xiàn)可 以不停止地連續(xù)進(jìn)行。
該條件可以由下式表示。<formula>formula see original document page 40</formula> 艮P，以滿足式(2)的方式?jīng)Q定圖形數(shù)據(jù)(非VOB數(shù)據(jù))的配置即可。 (導(dǎo)航數(shù)據(jù)結(jié)構(gòu))
利用圖27至圖33，說明BD的導(dǎo)航數(shù)據(jù)(BD管理信息)結(jié)構(gòu)。 圖27是表示VOB管理信息文件("YYY.VOBI")內(nèi)部結(jié)構(gòu)的圖。 VOB管理信息具有該VOB的流屬性信息(Attribute)和時間映射。流 屬性構(gòu)成為各自具有視頻屬性(Video)、音頻屬性(Audio抑-Audio弁m)。 特別是在音頻流的情況下，VOB可以同時具有多個音頻流，所以通過音頻 流數(shù)(Number),表示有無數(shù)據(jù)區(qū)域(field)。下面是視頻屬性(Video)所具有的區(qū)域和各自可以具有的值。
壓縮方式(Coding):
MPEG1
MPEG2
MPEG3
MPEG4
MPEG4-AVC (高級視頻編碼Advanced Video Coding)
解析度(Resolution):
1920X1080
1440X1080
1280X720
720X480
720X565
高寬比(Aspect):
4:3
16:9
幀率(Framerate): 60
59.94 (60/1.001)
50
30
29.97 (30/1.001)
25
24
23.976 (24/1.001)
下面是音頻屬性(Audio)所具有的區(qū)域和各自可以具有的值。
壓縮方式(Coding):
AC3
MPEG1
MPEG2通道數(shù)(Ch):
1-8
語言屬性(Language):
時間映射(TMAP)是具有每個VOBU的信息的表，包括該VOB所具 有的VOBU數(shù)(Number)和各VOBU信息(VOBU#1-VOBU#n)。各個 VOBU信息由VOBU先頭TS包(I圖片開始)的地址I—start、到該I圖片 的結(jié)束地址為止的偏置地址(I—end)、以及該I圖片的再現(xiàn)開始時刻(PTS) 構(gòu)成。
另外，l_end的值也可以不具有偏置值、即I圖片的尺寸，而具有實際 的I圖片的結(jié)束地址。
圖28是說明VOBU信息的詳情的圖。
眾所周知，MPEG視頻流為了高畫質(zhì)記錄而以可變比特率壓縮，其再 現(xiàn)時間與數(shù)據(jù)尺寸間不單純相關(guān)。反之，作為聲音的壓縮規(guī)格的AC3進(jìn)行 以固定比特率的壓縮，所以時間與地址的關(guān)系可以通過1次式求出。但是， 在MPEG視頻數(shù)據(jù)的情況下，各個幀具有固定的顯示時間，例如在NTSC 的情況下1幀具有1/29.97秒的顯示時間，而各個幀的壓縮后的數(shù)據(jù)尺寸根 據(jù)圖像的特性或在壓縮中使用的圖片類型、所謂的I/P/B圖片，數(shù)據(jù)尺寸變 化很大。因此，在MPEG視頻的情況下，時間與地址的關(guān)系不可能通過一 次式的形式來表現(xiàn)。
當(dāng)然，復(fù)用了 MPEG視頻數(shù)據(jù)的MPEG系統(tǒng)流、即VOB也不可能通 過一次式的形式來表現(xiàn)時間與數(shù)據(jù)尺寸。因此，對VOB內(nèi)的時間與地址的 關(guān)系進(jìn)行聯(lián)系的是時間映射(TMAP)。
像這樣，在施加了某時刻信息的情況下，首先檢索(跟蹤每個VOBU 的PTS)該時刻屬于哪個VOBU，跳至TMAP中具有該時刻的緊前的PTS 的VOBU (由l一start指定的地址)，從VOBU先頭的I圖片開始解碼，并 從該時刻的圖片開始顯示。
接著利用圖29，說明播放列表信息("XXX.PL")的內(nèi)部結(jié)構(gòu)。 '播放列表信息由單元列表(CellList)和事件列表(EventList)構(gòu)成。
單元列表(CellList)是播放列表內(nèi)的再現(xiàn)單元序列，按照本列表的記錄順序再現(xiàn)單元。單元列表(CellList)的內(nèi)容是單元的個數(shù)(Number)和 各單元信息(Cell#1-Cell#n)。
單元信息(Ce脾)具有VOB文件名(VOBName)、該VOB內(nèi)的開始 時刻(In)及結(jié)束時刻(Out)、以及字幕表(SubtitleTable)。開始時刻(In) 及結(jié)束時刻(Out)分別由該VOB內(nèi)的幀號碼來表現(xiàn)，通過使用上述時間 映射可以得到再現(xiàn)所需的VOB數(shù)據(jù)的地址。
字幕表(SubtitleTable)是具有與該VOB同步再現(xiàn)的字幕信息的表。 字幕可以與聲音同樣具有多種語言，字幕表(SubtitleTable)由作為最初的 信息的語言數(shù)(Number )和此后的各個語言的表 (l_anguage#1-l_anguage#k)構(gòu)成。
各語言的表(Language#)由語言信息(Lang)、分別顯示的字幕的字 幕信息數(shù)(Number )、以及分別顯示的字幕的字幕信息 (Speech#1-Speech#j)構(gòu)成，字幕信息(Speech#)由對應(yīng)的圖片數(shù)據(jù)文 件名(Name)、字幕顯示開始時刻(In)及字幕顯示結(jié)束時刻(Out)、和 字幕的顯示位置(Position)構(gòu)成。
事件列表(Eventlist)是定義了該播放列表內(nèi)發(fā)生的事件的表。事件列 表在事件數(shù)(Number)之后由各個事件(Even講1-Even說m)構(gòu)成，各個 事件(Even講)由事件的種類(Type)、事件的ID(ID)、事件發(fā)生時刻(Time) 和有效期間(Duration)構(gòu)成。
圖30是具有各個播放列表的事件處理器(時間事件和菜單選擇用的用 戶事件)的事件處理器表("XXX.PROG")。
事件處理器表具有定義的事件處理器/程序數(shù)(Number)和各個事件處 理器/程序(Program#1-Program#n)。各事件處理器/程序(Program#)內(nèi) 的記錄具有事件處理器開始的定義(<event—handle^標(biāo)簽)和與上述事件 的ID成對的事件處理器的ID (ID),其后該程序也記錄在Function之后的 括號"{"和"}"之間。上述"XXX.PL"的事件列表(EventList)中存放 的事件(Even說1-Even說m)利用"XXX.PROG"的事件處理器的ID (ID) 來確定。
下面利用圖31說明與BD盤整體相關(guān)的信息("BD.INFO")的內(nèi)部結(jié)構(gòu)。BD盤整體信息由標(biāo)題列表(TitleList)和全局事件用的事件表 (EventList)構(gòu)成。
標(biāo)題列表(TitleList)由盤內(nèi)的標(biāo)題數(shù)(Number)和此后的各標(biāo)題信 息(Title#1-Title#n)構(gòu)成。各個標(biāo)題信息(Title#)包括標(biāo)題內(nèi)所包含的播 放列表的表(PLTable)和標(biāo)題內(nèi)的章節(jié)列表(ChapterList)。播放列表的 表(PLTable)具有標(biāo)題內(nèi)的播放列表的個數(shù)(Number)、以及播放列表名 (Name)即播放列表的文件名。
章節(jié)列表(ChapterList)由該標(biāo)題中包括的章節(jié)數(shù)(Number)和各個 章節(jié)信息(Chapters-Chapter#n)構(gòu)成，各個章節(jié)信息(Chapter#)具有 該章節(jié)所包括的單元的表(CellTable)，單元的表(CellTable)由單元數(shù) (Number)和各個單元的項目信息(CellEntry#1-CellEntry#k)構(gòu)成。單 元的項目信息(CenEntry#)通過包括該單元在內(nèi)的播放列表名、以及播放 列表內(nèi)的單元號碼來記錄。
事件列表(EvertList)具有全局事件的個數(shù)(Number)和各個全局事 件的信息。在此應(yīng)該注意的是，最初定義的全局事件被稱為第一事件 (FirstEvent)，在BD盤被插入播放器時，是最初被調(diào)出的事件。全局事件 用事件信息僅具有事件類型(Type)和事件的ID (ID)。 圖32是全局事件處理器的程序的表("BD.PROG")。 本表與圖30中說明的事件處理器表內(nèi)容相同。 (事件發(fā)生的機制) 利用圖33至圖35說明事件發(fā)生的機制。 圖33是時間事件的例子。
如上所述，時間事件由播放列表信息("XXX.PL")的事件列表 (EventList)定義。在被定義為時間事件的事件即事件類型(Type)為 "TimeEvent"的情況下，在成為事件生成時刻("t1")的時刻，具有ID "Ex1"的時間事件從腳本處理器對程序處理器發(fā)出。程序處理器搜索具有 事件ID"Ex1"的事件處理器，執(zhí)行處理對象的事件處理器。例如，在本 實施例的情況下，可以執(zhí)行描繪2個按鈕圖形等。 圖34是進(jìn)行菜單操作的用戶事件的例子。
如上所述，進(jìn)行菜單操作的用戶事件也由播放列表信息("XXX.PL")的事件列表(EventList)定義。在被定義為用戶事件的事件即事件類型 (Type)為"UserEvent"的情況下，在成為事件生成時刻("t1")的時刻， 該用戶事件就緒(ready)。此時，事件自身尚未生成。該事件在由有效期 間信息(Duration)記錄的期間處于就緒狀態(tài)。
如圖34所示，用戶按下遙控器按鍵的"上""下""左""右"按鍵或 "決定"按鍵的情況下，首先UOP事件由UOP管理器生成，發(fā)送至程序 處理器。程序處理器對腳本處理器轉(zhuǎn)發(fā)UOP事件，腳本處理器在接受UOP 事件的時刻檢索是否存在有效的用戶事件，存在作為對象的用戶事件的情 況下，生成用戶事件，并發(fā)送至程序處理器。在程序處理器中，檢索具有 事件ID"Ev1"的事件處理器，執(zhí)行處理對象的事件處理器。例如，在本 實施例的情況下，幵始播放列表#2的再現(xiàn)。
在生成的用戶事件中，不包括由用戶按下了哪個遙控器按鍵的信息。 選擇的遙控器按鍵的信息由UOP事件傳送至程序處理器，并記錄保持在具 有虛擬播放器的寄存器SPRM (8)中。事件處理器的程序可以調(diào)査該寄存 器的值并執(zhí)行分支處理。
圖35是全局事件的例子。
如上所述，全局事件由與BD盤整體相關(guān)的信息("BD.INFO")的事 件列表(EventList)定義。在被定義為全局事件的事件、即事件類型(Type) 為"GlobalEvent"的情況下，僅在存在用戶的遙控器按鍵操作的情況下生 成事件。
在用戶按下了 "菜單"的情況下，首先UOP事件由UOP管理器生成, 發(fā)送至程序處理器。程序處理器對腳本處理器轉(zhuǎn)發(fā)UOP事件，腳本處理器 生成該全局事件，并發(fā)送至程序處理器。在程序處理器中，檢索具有事件 ID "menu"的事件處理器，執(zhí)行處理對象的事件處理器。例如，在本實施 例的情況下，開始播放列表#3的再現(xiàn)。
在本實施例中，簡稱為"菜單"按鍵，但也可以像DVD那樣存在多個 菜單按鍵?？梢苑謩e定義與各菜單按鍵對應(yīng)的ID來進(jìn)行對應(yīng)。 (虛擬播放機)
利用圖36說明程序處理器的功能結(jié)構(gòu)。
程序處理器是在內(nèi)部具有虛擬播放機的處理模塊。虛擬播放機是由BD定義的功能模塊，不依賴于各BD播放器的安裝。即，在任何BD播放器中 都保證能夠安裝同樣的功能。
虛擬播放機總體具有2個功能。存在編程函數(shù)和播放變量(寄存器)。 編程函數(shù)以Java (注冊商標(biāo))腳本(script)為基礎(chǔ)，將以下所述的功能定 義為BD固有函數(shù)。
連接函數(shù)停止當(dāng)前的再現(xiàn)，開始從指定的播放列表、單元、時刻的
再現(xiàn)
Link(PL弁，Cell#， time)
P L #: 播放列表名
C e 1 1井 單元號碼
time: 單元內(nèi)的再現(xiàn)開始時刻 PNG描繪函數(shù)將指定PNG數(shù)據(jù)描繪在圖形平面上 Draw (Fi 1 e， X, Y)
File: PNG文件名
X : X坐標(biāo)位置
Y : Y坐標(biāo)位置
圖形平面重置函數(shù)重置圖形平面的指定區(qū)域 C 1 e a r (X， Y, W， H)
X : X坐標(biāo)位置
Y : Y坐標(biāo)位置 W : X方向?qū)挾?H : Y方向?qū)挾?br> 播放器變量存在表示播放器的狀態(tài)的系統(tǒng)參數(shù)(SPRM)和可以用作一 般用途的通用參數(shù)(GPRM)。
圖37是系統(tǒng)參數(shù)(SPRM)的一覽。
SPRM (0):語言編碼
SPRM (1):聲音流號碼
SPRM (2):字母流號碼
SPRM (3):角度號碼
SPRM (4):標(biāo)題號碼SPRM(5):章節(jié)號碼
SPRM(6):程序號碼
SPRM(7):單元號碼
SPRM(8):選擇按鍵信息
SPRM(9):導(dǎo)航定時器
SPRM(10〕:再現(xiàn)時刻信息
SPRM(11):卡拉OK用混合模式
SPRM(12〕:家長用國信息
SPRM(13〕:家長等級
SPRM(14〕:播放器設(shè)定值(視頻)
SPRM(15〕:播放器設(shè)定值(音頻)
SPRM(16〕:聲音流用語言編碼
SPRM(17〕:聲音流用語言編碼(擴展)
SPRM(18〕-字幕流用語言編碼
SPRM(19〕:字幕流用語言編碼(擴展)
SPRM(20〕:播放器地域編碼
SPRM(21〕:預(yù)留
SPRM(22〕:預(yù)留
SPRM(23〕:再現(xiàn)狀態(tài)
SPRM(24:>:預(yù)留
SPRM(25〕>:預(yù)留
SPRM(26:>:預(yù)留
SPRM(27:>:預(yù)留
SPRM(28:>:預(yù)留
SPRM(29:>:預(yù)留
SPRM(30:):預(yù)留
SPRM(31:):預(yù)留
另外，在本實施例中，設(shè)虛擬播放器的編程函數(shù)以Java (注冊商標(biāo))腳本為基礎(chǔ)，但也可以不是Java (注冊商標(biāo))腳本，而是UNIX (注冊商 標(biāo))OS等所使用的B-Shell、或Perl腳本(Script)等其他編程函數(shù)，也就是說，本發(fā)明不限定于Java (注冊商標(biāo))腳本。 (程序的例子)
圖38及圖39是事件處理器中的程序的例子。 圖38是具有2個選擇按鈕的菜單的例子。
在單元(PlayLis講1.Cel講1)先頭利用時間事件執(zhí)行圖38左側(cè)的程序。 在此，最初在通用參數(shù)之一 GPRM (0)中設(shè)置"1"。 GPRM (0)用于在 該程序之中識別被選擇的按鈕。在最初的狀態(tài)下，左側(cè)配置的按鈕1被選 擇的情況被設(shè)置為初始值。
接著，利用描繪函數(shù)即Draw分別對按鈕1 、按鈕2進(jìn)行PNG的描繪。 按鈕1以坐標(biāo)(10, 200)為起點(左端)描繪了 PNG圖形"1black,png"。 按鈕2以坐標(biāo)(330, 220)為起點(左端)描繪了 PNG圖形"2white.prlg"。
另外，在本單元中最后利用時間事件執(zhí)行圖38右側(cè)的程序。在此，利 用Link函數(shù)指定從該單元的先頭再次再現(xiàn)。
圖39是菜單選擇的用戶事件的事件處理器的例子。
分別對應(yīng)于按下了 "左"按鍵、"右"按鍵、"決定"按鍵中某一個遙 控器按鍵的情況的程序記錄在事件處理器中。用戶按下了遙控器按鍵的情 況下，如圖34所說明的，生成用戶事件，啟動圖39的事件處理器。在本 事件處理器中，利用識別選擇按鈕的GPRM (0)的值、以及識別被選擇的 遙控器按鍵的SPRM (8)來進(jìn)行分支處理。
條件1)選擇了按鈕1，而且，選擇按鍵是"右"按鍵的情況
將GPRM (0)重新設(shè)定為2，將處于選擇狀態(tài)的按鈕變更為右按鈕2。
分別改寫按鈕1、按鈕2的圖形。
條件2)選擇按鍵是"決定(OK)"的情況下，選擇了按鈕1的情況 開始播放列表#2的再現(xiàn)
條件3)選擇按鍵是"決定(OK)"的情況下，選擇了按鈕2的情況 開始播放列表#3的再現(xiàn) 如上所述進(jìn)行執(zhí)行處理。 (播放器處理流程) 接著利用圖40至圖43說明播放器中的處理流程。 圖40是到AV再現(xiàn)為止的基本處理流程。如圖40(a)所示，如果插入BD盤(S101 )，則BD播放器執(zhí)行BD.INFO 文件的讀取和解析(S102)，并執(zhí)行BD.PROG的讀取(S103)。 BD.INFO 和BD.PROG —起被暫時存放在管理信息記錄存儲器中，通過腳本處理器 進(jìn)行解析。
接著，腳本處理器根據(jù)BD.INFO文件內(nèi)的第一事件(FirstEvent)信 息，生成最初的事件(S104)。生成的第一事件由程序處理器接受，并執(zhí)行 處理與該事件對應(yīng)的事件處理器(S105)。
在與第一事件對應(yīng)的事件處理器中，期待記錄著最初應(yīng)該再現(xiàn)的播放 列表信息。假如，在沒有指示播放列表再現(xiàn)的情況下，如圖40 (b)所示， 播放器什么也不再現(xiàn)，而僅是繼續(xù)等待接受用戶事件(S201)。 BD播放器 如果接受到來自用戶的遙控器操作，則UOP管理器對程序處理器建立UOP 事件(S202)。
程序處理器判斷UOP事件是否為菜單按鍵(S203)，是菜單按鍵的情 況下，向腳本處理器轉(zhuǎn)發(fā)UOP事件，腳本處理器生成用戶事件(S204)。 程序處理器執(zhí)行處理與生成的用戶事件對應(yīng)的事件處理器(S205)。
圖41是從PL再現(xiàn)開始到VOB再現(xiàn)開始的處理流程。
如上所述，通過第一事件處理器或全局時間處理器開始播放列表再現(xiàn) (S301 )。腳本處理器進(jìn)行播放列表信息"XXXPL"的讀取和解析(S302)、 并進(jìn)行與播放列表對應(yīng)的程序信息"XXX.PROG"的讀取(S303)，來作 為再現(xiàn)對象的播放列表再現(xiàn)所需的信息。接著，腳本處理器根據(jù)播放列表 中登錄的單元信息指示單元的再現(xiàn)(S304)。單元再現(xiàn)意味著從腳本處理器 對呈現(xiàn)控制器發(fā)出請求，呈現(xiàn)控制器開始AV再現(xiàn)(S305)。
如果開始AV再現(xiàn)的開始(S401)，呈現(xiàn)控制器進(jìn)行與再現(xiàn)的單元對應(yīng) 的VOB的信息文件(YYY.VOBI)的讀取及解析(S402)。呈現(xiàn)控制器利 用時間映射確定再現(xiàn)開始的VOBU及其地址，向驅(qū)動器控制器指示讀取地 址，驅(qū)動器控制器讀取作為對象的VOB數(shù)據(jù)(S403)， VOB數(shù)據(jù)被發(fā)送至 解碼器并開始再現(xiàn)(S404)。
VOB再現(xiàn)持續(xù)到該VOB的再現(xiàn)區(qū)間結(jié)束為止(S405)，如果結(jié)束，則 轉(zhuǎn)移到下一個單元再現(xiàn)開始步驟S304。接著在沒有單元的情況下，停止再 現(xiàn)(S406)。圖42是從AV再現(xiàn)開始后的事件處理流程。
BD播放器是事件驅(qū)動型的播放器模式。如果開始播放列表的再現(xiàn)，則 分別啟動時間事件類、用戶事件類、字幕顯示類的事件處理過程，并行地 執(zhí)行事件處理。
S500類的處理(圖42 (a))是時間事件類的處理流程。
播放列表再現(xiàn)開始后(S501)，經(jīng)過確定播放列表再現(xiàn)是否結(jié)束的步驟 (S502),腳本處理器確認(rèn)是否到了時間事件發(fā)生時刻(S503)。在到了時 間事件發(fā)生時刻的情況下，腳本處理器生成時間事件(S504)，程序處理器 接受時間事件并執(zhí)行處理事件處理器(S505)。
在步驟S503中未到時間事件發(fā)生時刻的情況下，或者，在步驟S505 中執(zhí)行處理事件處理器之后，再次返回步驟S502，重復(fù)上述處理。另外， 在步驟S502中如果確認(rèn)了播放列表再現(xiàn)結(jié)束，那么強制結(jié)束時間事件類的 處理。
S600類的處理(圖42 (b))是用戶事件類的處理流程。 播放列表再現(xiàn)開始后(S601)，經(jīng)過播放列表再現(xiàn)結(jié)束確認(rèn)步驟 (S602),轉(zhuǎn)移至UOP接受確認(rèn)步驟(S603)。存在UOP的接受的情況 下，UOP管理器生成UOP事件(S604)，接受了 UOP事件的程序處理器 確認(rèn)UOP事件是否為菜單呼叫(S605)，是菜單呼叫的情況下，程序處理 器使腳本處理器生成事件(S607)，程序處理器執(zhí)行處理事件處理器 (S608)。
在步驟S605中判斷為UOP事件不是菜單呼叫的情況下，表示出UOP 事件是由方向按鍵或"決定"按鍵引起的事件。這種情況下，腳本處理器 判斷當(dāng)前時刻是否在用戶事件有效期間內(nèi)(S606)，在有效期間內(nèi)的情況下， 腳本處理器生成用戶事件(S607)，程序處理器執(zhí)行處理對象的事件處理器 (S608)。
在步驟S603中沒有UOP接受的情況、步驟S606中當(dāng)前時刻不在用 戶事件有效期間內(nèi)的情況、或者步驟S608中事件處理器執(zhí)行處理之后，再 次返回步驟S602，重復(fù)上述處理。另外，在步驟S602中如果確認(rèn)了播放 列表再現(xiàn)結(jié)束，那么強制結(jié)束用戶事件類的處理。
圖43是字幕處理的流程。播放列表再現(xiàn)開始后(S701)，經(jīng)過播放列表再現(xiàn)結(jié)束確認(rèn)步驟 (S702),轉(zhuǎn)移至字幕描繪開始時刻確認(rèn)步驟(S703)。是字幕描繪開始時 刻的情況下，腳本處理器向呈現(xiàn)控制器指示字幕描繪，呈現(xiàn)控制器向圖形 處理器指示字幕描繪(S704)。在步驟S703中判斷為不是字幕描繪開始時 刻的情況下，確認(rèn)是否是字幕顯示結(jié)束時刻(S705)。在判斷為是字幕顯示 結(jié)束時刻的情況下，呈現(xiàn)控制器對圖形處理器進(jìn)行字幕消除指示，將描繪 的字幕從圖形平面消除(S706)。
在字幕描繪步驟S704結(jié)束之后、字幕消除步驟S706結(jié)束之后、或在 字幕顯示結(jié)束時刻確認(rèn)步驟S705中判斷為不是該時刻的情況下，返回步驟 S702,重復(fù)上述處理。另外，在步驟S702中如果確認(rèn)了播放列表再現(xiàn)結(jié) 束，那么強制結(jié)束字幕顯示類的處理。 (實施方式2)
接著，對于不同的編碼方式(或不同屬性的動態(tài)圖像)混雜存在的流 的第二例、即圖片內(nèi)圖片中通過亮度按鍵進(jìn)行透過處理時所用的亮度的閾 值(動態(tài)圖像的屬性)混雜存在的例子，作為本發(fā)明的第二實施方式來進(jìn) 行說明。
在本實施方式中，說明在BD-ROM等的包介質(zhì)等中，在基于圖片內(nèi)圖 片的再現(xiàn)時，能夠通過切換表示是否進(jìn)行透過處理的亮度值的閾值來消除 再現(xiàn)動作的延遲的記錄介質(zhì)、復(fù)用方法、復(fù)用裝置及其再現(xiàn)裝置。
在本實施方式的記錄介質(zhì)上，在通過亮度按鍵實施透過處理的流中， 在連續(xù)再現(xiàn)的單位中，在管理信息中存放了判定是否在圖像顯示時進(jìn)行 透過處理的亮度值的閾值被限制的情況、或表示被限制的情況的信息。
本實施方式的記錄介質(zhì)、復(fù)用方法、復(fù)用裝置及其再現(xiàn)裝置與實施方 式1中的記錄介質(zhì)的數(shù)據(jù)結(jié)構(gòu)、以及復(fù)用方法或再現(xiàn)裝置中的動作和結(jié)構(gòu) 要素的基本部分相同，所以以下僅對本實施方式中特征部分進(jìn)行說明。
圖44表示本實施方式的記錄介質(zhì)上存放的流中的亮度按鍵的閾值的例 子。在圖44的例子中，無縫連接的各區(qū)間中的亮度按鍵的閾值全部固定為 20，所以能夠不發(fā)生與亮度按鍵的閾值的切換相伴的延遲而實現(xiàn)無縫連接。
另外，在本實施方式的記錄介質(zhì)中，無縫連接的再現(xiàn)區(qū)間中的與亮度 按鍵相關(guān)的信息被存放在管理信息中。圖45表示將與亮度按鍵有關(guān)的信息存放為圖片內(nèi)圖片的元信息的一部分的例子。圖45 (a)示出表示亮度按 鍵是否有效的標(biāo)記信息luma—key—valid 。如果亮度按鍵有效
(luma一key—valid為1)，則根據(jù)亮度按鍵的閾值對圖像進(jìn)行透過處理并顯 示，如果亮度按鍵不是有效的(luma一key一valid為0)，則不進(jìn)行透過處理 地顯示。如圖所示，在無縫連接的各再現(xiàn)區(qū)間中，luma_key—valid的值是 固定的。SP，在無縫連接的各再現(xiàn)區(qū)間中，固定為亮度按鍵有效或非有效 中的一方。圖45 (b)示出在使用亮度按鍵時、決定為透過并顯示的亮度 值的閾值luma—key_upper_limit。例如，如果luma_key—upper—limit為20， 那么亮度值為20以下的像素進(jìn)行透過顯示，對于亮度值超過20的像素不 進(jìn)行透過地顯示。如圖中所示，在無縫連接的各再現(xiàn)區(qū)間中， luma—key—upper—limit的值相同。在此，luma—key—upper—limit的信息在 亮度按鍵有效的情況下被參照，所以也可以僅在亮度按鍵有效的情況下設(shè) 定表示亮度按鍵的閾值的信息。
在通過亮度按鍵實施透過處理的播放器中，如果保證了亮度按鍵的閾 值是固定的，那么不需要亮度按鍵的閾值處理中的閾值的變更，所以優(yōu)選 能夠預(yù)先判定為亮度按鍵的閾值是固定的。圖46是說明保證亮度按鍵的閾 值固定的標(biāo)記的圖。在圖46的例子中，表示亮度按鍵的閾值固定的標(biāo)記信 息luma—key—fixed—flag被存放為各再現(xiàn)區(qū)間的屬性信息的一部分。 luma_key_fixed_flag表示該再現(xiàn)區(qū)間中的亮度按鍵的閾值與緊前的再現(xiàn)區(qū) 間中的亮度按鍵的閾值是否相同。圖46 (a)是表示亮度按鍵的閾值固定
(luma_key_fixed_flag為1)的例子。在本例中，各再現(xiàn)區(qū)間無縫連接， 在這些再現(xiàn)區(qū)間中保證亮度按鍵的閾值是固定的。圖46 (b)是不保證亮 度按鍵的閾值固定(luma—key—fixed—flag為0)的例子。各再現(xiàn)區(qū)間不是 無縫連接的對象，在各再現(xiàn)區(qū)間中亮度按鍵的閾值是可變的。另外， luma一key一fixed—flag可以對連續(xù)再現(xiàn)的區(qū)間整體進(jìn)行設(shè)定，也可以對構(gòu)成 連續(xù)再現(xiàn)區(qū)間的各再現(xiàn)區(qū)間進(jìn)行設(shè)定。進(jìn)而，在對各再現(xiàn)區(qū)間進(jìn)行設(shè)定時， 由于各再現(xiàn)區(qū)間表示由播放項目指定的再現(xiàn)區(qū)間，也可以將再現(xiàn)區(qū)間內(nèi)亮 度按鍵的閾值是否固定包含在播放項目單位中設(shè)定的再現(xiàn)信息中。在此， 亮度按鍵的閾值是否固定，也可以與表示由當(dāng)前播放項目和緊前的播放項 目指定的再現(xiàn)區(qū)間能否無縫連接的信息等兼用并匯總為一個標(biāo)記。另外，對于表示是否使用亮度按鍵的信息也可以同樣地存放。
在此，對于無縫連接，存在與實施方式1相同的種類，也包括能夠在 不同角度的流中無縫連接的無縫多角度等。在無縫多角度中，在各角度上， 亮度按鍵是否有效、或亮度按鍵的閾值是相同的。另外，作為無縫連接的
種類，存在(1)在連接的前后MPEG-2系統(tǒng)規(guī)格中的STC (系統(tǒng)時間時 鐘System Time Clock)等基準(zhǔn)時鐘的值不連續(xù)的情況(類型1的無縫連 接)；(2)在連接的前后MPEG-2系統(tǒng)規(guī)格中的STC(系統(tǒng)時間時鐘System Time Clock)等基準(zhǔn)時鐘的值連續(xù)的情況(類型2的無縫連接)等多種。 因此，如果通過表示是否為類型1的無縫連接、或是否為類型2的無縫連 接的信息來示出無縫連接，那么通過這些信息，可以表示在連續(xù)的2個再 現(xiàn)區(qū)間中亮度按鍵的閾值是固定的。
圖47說明圖片內(nèi)圖片中使用亮度按鍵的例子。在圖片內(nèi)圖片中，在被 稱為主視頻的主影像上覆蓋被稱為次視頻的副影像進(jìn)行顯示。這時，如果 對于次視頻基于亮度按鍵的透過處理是有效的，那么實施透過處理，如果 不是有效的，則不實施。圖47 (a)表示視頻的顯示平面，如圖47 (b)和 圖47 (c)所示，平面1用于主視頻的顯示，平面2用于次視頻的顯示。 如圖47 (d)所示，將次視頻覆蓋在主視頻上顯示。在本例中，圖47 (c) 所示的涂黑的部分通過基于亮度按鍵的透過處理進(jìn)行透過顯示。作為次視 頻可以切換多個流，但在圖47 (e)、圖47 (f)、圖47 (g)中，表示存在 2個次視頻的例子，圖47 (e)表示主視頻中的各再現(xiàn)區(qū)間的顯示的時間線， 圖47 (f)表示第一次視頻中的各再現(xiàn)區(qū)間的顯示的時間線，圖47 (g)表 示第二次視頻中的各再現(xiàn)區(qū)間的顯示的時間線。例如，如果在圖47 (f)中 區(qū)間1-1與區(qū)間1-2無縫連接(圖中(1))，則在區(qū)間1-1和區(qū)間1-2中， 基于亮度按鍵的透過處理是否有效、以及在有效的情況下亮度按鍵的閾值 分別相伺。另外，如果設(shè)從第一次視頻中的區(qū)間1-2向第二次流中的區(qū)間 2-3的連接是無縫連接(圖中(2))，則區(qū)間1-2和區(qū)間2-3中與亮度按鍵 相關(guān)聯(lián)的信息也相同。進(jìn)而，為了確保各再現(xiàn)區(qū)間的連接部分以外的連接 (圖中(3))的連續(xù)性，也可以使區(qū)間1-3與區(qū)間2-3之間與亮度按鍵相 關(guān)聯(lián)的信息也相同。
接著，主視頻和次視頻在傳輸流等中復(fù)用記錄，而圖48表示復(fù)用的方法。圖48 (a)是將主視頻和次視頻在相同的傳輸流中復(fù)用的例子，圖48 (b)是將主視頻和次視頻在不同的傳輸流中復(fù)用的例子。像這樣，主視頻 和次視頻可以在相同的傳輸流中復(fù)用，也可以在不同的傳輸流中復(fù)用。
圖49是表示用于制作本實施方式的記錄介質(zhì)中存放的復(fù)用數(shù)據(jù)的復(fù)用 方法的動作的流程圖。本實施方式的復(fù)用方法在具備以下步驟上與現(xiàn)有的 復(fù)用方法不同，這些步驟為決定能夠?qū)κ欠袷沽炼劝存I有效進(jìn)行切換的 單位的步驟(步驟S5301)，根據(jù)決定的單位將片斷的動態(tài)圖像編碼的步驟 (步驟S5302)，對規(guī)定的每個再現(xiàn)區(qū)間生成與亮度按鍵有關(guān)的標(biāo)記信息的 步驟(步驟S5304)，以及生成包括步驟S5304所生成的與亮度按鍵有關(guān) 的標(biāo)記信息在內(nèi)的管理信息的步驟(步驟S5305)。
艮P，本實施方式中的復(fù)用方法是對包括第一動態(tài)圖像和用于覆蓋至第 一動態(tài)圖像的第二動態(tài)圖像在內(nèi)的影像流進(jìn)行編碼的動態(tài)圖像編碼方法， 包括步驟(S5301-S5303)，在影像流之中，決定連續(xù)再現(xiàn)區(qū)間，該連續(xù) 再現(xiàn)區(qū)間是部分區(qū)間的集合，而且是成為連續(xù)再現(xiàn)的對象的區(qū)間，對各再 現(xiàn)區(qū)間的影像流進(jìn)行編碼，以使在該連續(xù)再現(xiàn)區(qū)間中，通過亮度按鍵是否 有效、或在基于亮度按鍵的透過處理中使用的閾值中的某一個或兩者來定 義的亮度按鍵屬性固定；步驟(S5304)，對1個或多個再現(xiàn)區(qū)間中的每個 生成上述亮度按鍵屬性；以及步驟(S5305)，制作包括標(biāo)記信息的管理《言 息，該標(biāo)記信息表示在連續(xù)再現(xiàn)區(qū)間內(nèi)上述亮度按鍵屬性是固定的。以下， 詳細(xì)說明這些步驟。
首先，在步驟S5301中，決定能夠?qū)κ欠袷沽炼劝存I有效進(jìn)行切換的 單位。即，決定是否能夠以連續(xù)再現(xiàn)單位、片斷、或隨機訪問單位中的哪 個單位來進(jìn)行切換。接著，在步驟S5302中，根據(jù)步驟S5301中決定的切 換單位，將片斷的數(shù)據(jù)編碼。其中，也可以在步驟S5301中對于能否切換 亮度按鍵的閾值也進(jìn)行判定，根據(jù)判定結(jié)果，在步驟S5302中將片斷的數(shù) 據(jù)編碼。在步驟S5303中，判定最終片斷的編碼是否結(jié)束，在判定為結(jié)束 時前進(jìn)至步驟S5304，判定為沒有結(jié)束時返回步驟S5302并重復(fù)片斷的編 碼。在步驟S5304中，對每個規(guī)定的再現(xiàn)區(qū)間制作與亮度按鍵有關(guān)的屬性 信息，并前進(jìn)至步驟S5305。所謂規(guī)定的再現(xiàn)區(qū)間，設(shè)為由播放列表指定 的再現(xiàn)區(qū)間，但也可以是片斷或隨機訪問單位。在步驟S5305中，制作包括步驟S5304中生成的屬性信息的管理信息，并對管理信息和片斷的數(shù)據(jù) 進(jìn)行復(fù)用并輸出。在此，也可以在管理信息中包括表示連續(xù)2個再現(xiàn)區(qū)間 能否無縫連接的信息。在無縫連接的各再現(xiàn)區(qū)間中，將能否使亮度按鍵有 效設(shè)為固定，所以在步驟S5301中，決定為無縫連接的各再現(xiàn)區(qū)間中是否 使亮度按鍵有效不可切換。進(jìn)而，在步驟S5302中進(jìn)行編碼，以使在無縫 連接的各再現(xiàn)區(qū)間中，在使亮度按鍵有效的情況下，進(jìn)行亮度按鍵的透過 處理時的閾值相同。另外，對于步驟S5301中決定能夠?qū)κ欠袷沽炼劝存I 有效進(jìn)行切換的單位時的詳細(xì)動作，可以使用與圖14所示的本實施方式1 的復(fù)用方法相同的動作。
圖50是表示圖49中的標(biāo)記信息生成步驟(S5304)及管理信息生成 步驟(S5305)的具體例的流程圖。在步驟S5304a中，判定進(jìn)行了編碼的 片斷是否是被判定為能夠切換亮度按鍵的有效和無效的片斷，在是被判定 為能夠切換的片斷的情況下，生成表示亮度按鍵是否有效不固定的標(biāo)記信 息，并與該片斷相對應(yīng)地將標(biāo)記信息積蓄在存儲器的工作區(qū)域中 (S5304b)，在不是被判定為能夠切換的片斷的情況下，生成表示亮度按 鍵是否有效是固定的標(biāo)記信息，并與該片斷相對應(yīng)地將標(biāo)記信息蓄積在存 儲器的工作區(qū)域中(S5304c)。在此，標(biāo)記信息對于每個由播放項目指定的 再現(xiàn)區(qū)間等規(guī)定的再現(xiàn)區(qū)間，包括表示亮度按鍵是否有效的信息，以及在 亮度信息有效的情況下，包括亮度按鍵的閾值。在步驟S5304d中，判定 該片斷是否是進(jìn)行了編碼的最后的片斷，如果不是最后的片斷，則重復(fù)上 述S5304a至S5304c，如果是最后的片斷，則前進(jìn)至步驟S5304e。在步 驟S5304e中，生成包括與每個播放項目的亮度按鍵有關(guān)的信息在內(nèi)的圖 片內(nèi)圖片用的元信息，在步驟S5305f中，生成包括圖片內(nèi)圖片用的元信息 和播放列表、以及隨機訪問所需的信息等在內(nèi)的管理信息。在播放列表中， 包括表示連續(xù)2個再現(xiàn)區(qū)間能否無縫連接、以及無縫連接的類型的信息。
另外，在管理信息內(nèi)，包括了對次視頻的傳輸流或編碼流進(jìn)行識別的 索引信息，所以也可以僅對于由索引號碼示出是次視頻的傳輸流或編碼流， 在管理信息內(nèi)包括與亮度按鍵有關(guān)的信息。
另外，以上說明了圖片內(nèi)圖片動作的次視頻中的、基于亮度按鍵的透 過處理，但本發(fā)明不限定于此，在存在多個顯示平面的情況下，可以適用于比規(guī)定的平面靠前顯示的平面上的圖像的全部顯示。例如，在靜止圖像 或計算機圖形等上，可以覆蓋靜止圖像或動畫來進(jìn)行顯示。進(jìn)而，對于在 不同的顯示平面上顯示的多個圖像，也可以實施基于亮度按鍵的透過處理。
另外，也可以根據(jù)亮度按鍵的閾值等，以半透過等0和1以外的透過
率進(jìn)行顯示。
在圖片內(nèi)圖片上，也可以對于與基于亮度按鍵的透過處理不同的再現(xiàn) 動作進(jìn)行限制。例如，在跨無縫連接的再現(xiàn)區(qū)間進(jìn)行高速再現(xiàn)或逆再現(xiàn)等 特殊再現(xiàn)時，也可以使是否顯示次視頻固定。即，在特殊再現(xiàn)時，固定為 總是顯示或不顯示次視頻中的某一方。另外，在特殊再現(xiàn)時顯示次視頻時， 也可以固定亮度按鍵的閾值等、對基于亮度按鍵的透過處理與特殊再現(xiàn)進(jìn) 行關(guān)聯(lián)。此時，也可以使表示特殊再現(xiàn)時有無次視頻的顯示的標(biāo)記信息的 值固定，或者，通過表示該標(biāo)記值固定的標(biāo)記信息，來保證圖片內(nèi)圖片的 特殊再現(xiàn)時的限制。
另外，主視頻和次視頻的編碼方式例如可以是MPEG-4 AVC、 MPEG-2 視頻、VC-1等。在此，如果主視頻是MPEG-4 AVC，可以使次視頻也是 MPEG-4 AVC等，為了減少播放器中對應(yīng)的組合而限制主視頻與次視頻的 編碼方式的組合。
圖51是表示實施本實施方式的復(fù)用方法的復(fù)用裝置5200的結(jié)構(gòu)的框 圖。復(fù)用裝置5200是對包括第一動態(tài)圖像和用于覆蓋至第一動態(tài)圖像的第 二動態(tài)圖像在內(nèi)的影像流進(jìn)行編碼的動態(tài)圖像編碼裝置的一例，具備切換 單位決定部5201 、切換信息生成部5202、編碼部5203、系統(tǒng)復(fù)用部5204、 管理信息制作部5205、結(jié)合部5206。在此，在覆蓋中，僅將第二動態(tài)圖 像之中具有超過預(yù)定閾值的亮度的圖像區(qū)域覆蓋至第一動態(tài)圖像。以下說 明各部的動作。
切換單位決定部5201是以下這樣的處理部，即在影像流之中，決定 連續(xù)再現(xiàn)區(qū)間，該連續(xù)再現(xiàn)區(qū)間是部分區(qū)間的集合，而且是成為連續(xù)再現(xiàn) 的對象的區(qū)間；在此，決定能夠?qū)α炼劝存I進(jìn)行切換的單位，并將決定的 切換單位Unit2輸入至切換信息生成部5202及編碼部5203。切換單位設(shè) 為預(yù)先設(shè)定，但也可以設(shè)為能夠從外部進(jìn)行設(shè)定。
切換信息生成部5202根據(jù)切換單位Unit2，生成表示由播放列表指定的每個再現(xiàn)單位的亮度按鍵的屬性信息的亮度按鍵信息Lumalnf2，并輸入 至管理信息制作部5205。例如，生成表示在連續(xù)再現(xiàn)區(qū)間中上述閾值固定 的標(biāo)記信息。
另外，切換信息生成部5202生成對覆蓋中的各種顯示處理進(jìn)行指定的 多個顯示屬性信息，而在該多個顯示屬性信息的生成中，生成顯示屬性信 息，以使多個顯示屬性信息之中，在構(gòu)成連續(xù)再現(xiàn)區(qū)間的多個部分區(qū)間中 內(nèi)容切換的顯示屬性信息的個數(shù)為預(yù)定的固定值以下。具體的，如圖52所 示，切換信息生成部5202生成(i)上述閾值，即表示使用亮度按鍵時透 過率看作1的亮度值的閾值在緊前的再現(xiàn)區(qū)間與當(dāng)前的再現(xiàn)區(qū)間上相同(1) 還是不同(0)的標(biāo)記、或亮度按鍵的閾值，(ii)表示在主視頻圖像上覆蓋 的次視頻圖像的顯示位置在緊前的再現(xiàn)區(qū)間與當(dāng)前的再現(xiàn)區(qū)間上相同(1) 還是不同(0)的標(biāo)記，或顯示位置的坐標(biāo)信息，以及('iii)表示在主視頻 圖像上覆蓋的次視頻圖像的縮放(擴大率)在緊前的再現(xiàn)區(qū)間與當(dāng)前的再 現(xiàn)區(qū)間上相同(1)還是不同(0)的標(biāo)記，或指定縮放方法的信息等的顯 示屬性信息，來作為圖片內(nèi)圖片的元信息，而在該多個顯示屬性信息的生 成中，生成顯示屬性信息，以使多個顯示屬性信息之中，可切換的顯示屬 性信息的個數(shù)為預(yù)定的固定值(例如，2個)以下。通過該限制，保證連續(xù) 再現(xiàn)區(qū)間中值切換的顯示屬性信息的個數(shù)被抑制為一定數(shù)量以下，減輕了 再現(xiàn)裝置中與切換處理相伴的處理負(fù)擔(dān)。
編碼部5203是以在切換單位決定部5201決定的連續(xù)再現(xiàn)區(qū)間中滿足 不變更上述閾值的限制的方式，將構(gòu)成連續(xù)再現(xiàn)區(qū)間的多個部分區(qū)間中的 第一及第二動態(tài)圖像編碼的處理部。在此，以滿足切換單位Unit2的限制的 方式將各片斷的數(shù)據(jù)編碼，并將編碼數(shù)據(jù)Cdata2輸入至系統(tǒng)復(fù)用部5204。 具體的，編碼部5203對構(gòu)成第二動態(tài)圖像的像素的亮度值進(jìn)行校正(乘以 系數(shù)、或加上偏置值等)，以使連續(xù)再現(xiàn)區(qū)間中，第二動態(tài)圖像之中進(jìn)行覆 蓋的圖像區(qū)域的亮度超過上述閾值，而且，不進(jìn)行覆蓋(實施透過處理) 的圖像區(qū)域的亮度為上述閾值以下。
另外，編碼部5203也可以不僅在由切換單位決定部5201決定的連續(xù) 再現(xiàn)區(qū)間中，而且在按照解碼模式無縫連接的多個部分區(qū)間中，也以滿足 不變更上述閾值的限制的方式，將多個部分區(qū)間中的第一及第二動態(tài)圖像編碼。即，在上述解碼模式中，存在2個部分區(qū)間必須無縫連接的情況， 所以在這樣的2個部分區(qū)間中，優(yōu)選預(yù)先以滿足不變更上述閾值的限制的 方式，將第一及第二動態(tài)圖像編碼。
系統(tǒng)復(fù)用部5204對編碼數(shù)據(jù)Cdata2進(jìn)行系統(tǒng)復(fù)用，并將流信息 Strlnf2輸入至管理信息制作部5205，將復(fù)用數(shù)據(jù)Mdata2輸入至結(jié)合部 5206。在BD-ROM中，使用被稱為源包的、在MPEG-2的傳輸流中附加 了4字節(jié)的頭的方式，來作為系統(tǒng)復(fù)用的方式。另外，流信息Strlnf2包括 用于生成時間映射等、關(guān)于復(fù)用數(shù)據(jù)Mdata2的管理信息的信息。另外，系 統(tǒng)復(fù)用部5204也可以以通過傳輸流的包識別符來確定構(gòu)成連續(xù)再現(xiàn)區(qū)間 的多個部分區(qū)間的方式進(jìn)行復(fù)用。由此，上述閾值被固定的片段可以通過 包識別符確定。
管理信息制作部5205是根據(jù)來自切換信息生成部5202的指示制作管 理信息的處理部的一例，上述管理信息包括表示連續(xù)再現(xiàn)區(qū)間中上述閾值 固定的標(biāo)記信息或上述顯示屬性信息；在此，生成管理信息Ctrllnf2，該管 理信息Ctrllnf2包括根據(jù)流信息Strlnf2生成的時間映射、以及亮度按鍵信 息Lumalnf2等，并輸入至結(jié)合部5206。
結(jié)合部5206是將由編碼部5203進(jìn)行了編碼的第一及第二動態(tài)圖像與 由管理信息制作部5205制作的管理信息結(jié)合輸出的處理部，在此，對管理 信息Ctrllnf2和復(fù)用數(shù)據(jù)Mdata2進(jìn)行結(jié)合并作為記錄數(shù)據(jù)Dout2輸出。
如上構(gòu)成的復(fù)用裝置5200根據(jù)圖49、圖50所示的流程圖進(jìn)行復(fù)用動 作，結(jié)果，生成圖44-圖48所示的管理信息和編碼流。
圖53是表示由該復(fù)用裝置5200生成的管理信息的數(shù)據(jù)結(jié)構(gòu)的圖。圖 53 (a)表示作為管理信息之一的播放列表的數(shù)據(jù)要素，圖53 (b)表示對 無縫連接的(Connection condition-5的)再現(xiàn)區(qū)間進(jìn)行表示的播放列表的 例子。復(fù)用裝置5200如圖53 (a)所示，制作"播放項目"、"副播放項目" 及"圖片內(nèi)圖片的元信息"作為播放列表。在此，"播放項目"如圖53 (b) 所示，表示主視頻中的各再現(xiàn)區(qū)間的信息(片斷的再現(xiàn)開始時刻和再現(xiàn)結(jié) 束時刻等)或再現(xiàn)區(qū)間之間的連接條件等，"副播放項目"表示次視頻中的 各再現(xiàn)區(qū)間的信息(片斷的再現(xiàn)開始時刻和再現(xiàn)結(jié)束時刻等)或再現(xiàn)區(qū)間 之間的連接條件等，"圖片內(nèi)圖片的元信息"表示再現(xiàn)圖片內(nèi)圖片時的、次視頻的顯示屬性信息(亮度按鍵、顯示位置、縮放等)。另外，與播放項目 及副播放項目對應(yīng)的主視頻的片斷通過播放項目的索引號碼進(jìn)行關(guān)聯(lián)。
像這樣，復(fù)用裝置5200生成表示上述閾值固定的標(biāo)記信息，作為與構(gòu) 成連續(xù)再現(xiàn)區(qū)間的多個部分區(qū)間(圖中的"再現(xiàn)區(qū)間")分別對應(yīng)的再現(xiàn)信 息(圖中的"元"信息)。具體的，生成該標(biāo)記信息作為與播放列表中包括 的播放項目對應(yīng)的再現(xiàn)信息(圖中的"元"信息)。
另外，在由著作工具等制作數(shù)據(jù)時，在不同的裝置進(jìn)行編碼數(shù)據(jù)的生 成、和系統(tǒng)復(fù)用或管理信息的制作，但在這種情況下，也可以使各裝置的 動作與復(fù)用裝置5200中的各部相同。
另外，該復(fù)用裝置5200不僅用作生成編碼流的動態(tài)圖像編碼裝置，而 且可以用作在BD等光盤、SD (安全數(shù)據(jù)Secure Digital)卡等閃存、或 硬盤等記錄介質(zhì)中記錄編碼流的動態(tài)圖像記錄裝置。為此，復(fù)用裝置5200 所具備的輸出段即結(jié)合部5206具備將由編碼部5203進(jìn)行了編碼的第一及 第二動態(tài)圖像與由管理信息制作部5205制作的管理信息結(jié)合并記錄至記 錄介質(zhì)的記錄功能即可。通過這樣的動態(tài)圖像記錄裝置(或，動態(tài)圖像記 錄方法)，制作本說明中公開的記錄介質(zhì)。
圖54是表示再現(xiàn)本實施方式中的記錄介質(zhì)中存放的復(fù)用數(shù)據(jù)的播放器 (動態(tài)圖像再現(xiàn)裝置)中、切換再現(xiàn)區(qū)間時實施基于亮度按鍵的透過處理 的動作的流程圖。
首先，在步驟S5401中，播放器判定由播放列表指定的當(dāng)前的再現(xiàn)區(qū) 間與下一再現(xiàn)區(qū)間是否無縫連接，如果判定為無縫連接，則前進(jìn)至步驟
S5405,如果判定為沒有無縫連接，則前進(jìn)至步驟S5402。作為具體的判 斷例，播放器獲取與影像流對應(yīng)的管理信息，判斷在取得的管理信息中是 否包括表示上述閾值固定的標(biāo)記信息(S5401)。在管理信息中包括標(biāo)記信 息的情況下，判斷為當(dāng)前再現(xiàn)區(qū)間與下一再現(xiàn)區(qū)間無縫連接(S5401中為 是)，另一方面，在管理信息中不包括標(biāo)記信息的情況下，判斷為當(dāng)前再現(xiàn) 區(qū)間與下一再現(xiàn)區(qū)間沒有無縫連接(S5401中為否)。
在步驟S5402中，播放器判定下一再現(xiàn)區(qū)間中亮度按鍵是否有效，如 果判定為亮度按鍵有效，則前進(jìn)至步驟S5403，如果判定為亮度按鍵不是 有效的，則前進(jìn)至步驟S5406。在步驟S5403中，獲取亮度按鍵的閾值，在步驟S5404中，根據(jù)步驟S5403中獲取的閾值，對次視頻實施透過處理。
在步驟S5405中，播放器根據(jù)與當(dāng)前的再現(xiàn)區(qū)間相同的條件(上述閾 值相同)，對次視頻實施透過處理。具體的，對于次視頻之中亮度為上述閾 值以下的像素實施完全透過的處理。此時，如果當(dāng)前的再現(xiàn)區(qū)間中亮度按 鍵不是有效的，那么不進(jìn)行對次視頻的透過處理。
在步驟S5406中，播放器在步驟S5404或步驟S5405的輸出結(jié)果、 或步驟S5402中判定為亮度按鍵不是有效的情況下，將不實施透過處理的 次視頻的解碼結(jié)果覆蓋至主視頻進(jìn)行顯示。
另外，在圖54中說明的動作可以在本實施方式1的圖20及圖21中說 明的再現(xiàn)BD盤的播放器中實現(xiàn)。例如，在圖20的呈現(xiàn)處理部208中進(jìn)行 亮度按鍵的透過處理。
另外，播放器也可以按照規(guī)定的再現(xiàn)順序，決定再現(xiàn)的播放項目的順 序。例如，在多個播放項目的連續(xù)再現(xiàn)時，優(yōu)先選擇亮度按鍵的閾值固定 的播放項目。此時，存在通過遙控器動作等來自用戶的特定播放項目的再 現(xiàn)請求時，也可以連續(xù)再現(xiàn)亮度按鍵的閾值不同的播放項目。進(jìn)而，本實 施方式2的復(fù)用方法及復(fù)用裝置也可以設(shè)為按規(guī)定的再現(xiàn)順序連續(xù)再現(xiàn)的 播放項目間亮度按鍵的閾值固定。在此， 一個播放項目對應(yīng)于1個再現(xiàn)單 位。
(實施方式3)
進(jìn)而，通過將用于實現(xiàn)上述各實施方式所示的記錄介質(zhì)、其再現(xiàn)方法 及記錄方法的程序記錄至軟盤等記錄介質(zhì)，從而可以在獨立的計算機系統(tǒng) 中簡單地實施上述各實施方式所示的處理。
圖55A-圖55C是利用軟盤等記錄介質(zhì)上記錄的程序、通過計算機系統(tǒng) 實施上述各實施方式的再現(xiàn)方法及記錄方法的情況的說明圖。
圖55B表示從軟盤的正面觀察的外觀、剖面構(gòu)造及軟盤，圖55A表示 記錄介質(zhì)主體即軟盤的物理格式的例子。軟盤FD內(nèi)置在殼體F內(nèi)，在該 盤的表面，以同心圓狀從外周向內(nèi)周形成有多個軌Tr，各軌在角度方向上 分割為16個扇區(qū)Se。因此，在存放了上述程序的軟盤中，在上述軟盤FD 上分割的區(qū)域中，記錄有上述程序。
另外，圖55C表示用于在軟盤FD上進(jìn)行上述程序的記錄再現(xiàn)的結(jié)構(gòu)。FD的情況下，由計算機 系統(tǒng)Cs通過軟盤驅(qū)動器FDD讀取上述程序。另外，在將通過軟盤內(nèi)的程 序?qū)崿F(xiàn)再現(xiàn)方法及記錄方法的再現(xiàn)方法及記錄方法架構(gòu)在計算機系統(tǒng)中地 情況下，通過軟盤驅(qū)動器從軟盤上讀取程序，并轉(zhuǎn)發(fā)至計算機系統(tǒng)。
另外，在上述說明中，利用軟盤作為記錄介質(zhì)進(jìn)行了說明，但利用光 盤也可以同樣地進(jìn)行。另外，記錄介質(zhì)不限于此，如果是IC卡、ROM盒 等，能夠記錄程序的記錄介質(zhì)，則可以同樣地實施。
另外，圖12、圖20、圖21、圖25、圖51等所示的框圖的各功能模 塊典型地作為集成電路裝置即LSI實現(xiàn)。該LSI可以單片化，也可以多片 化(例如也可以將存儲器以外的功能模塊單片化)。在此，設(shè)為LSI，但根 據(jù)集成度的不同，也有時稱為IC、系統(tǒng)LSI、超大規(guī)模LSI、特大規(guī)模LSI。
集成電路化的方法不限于LSI，也可以通過專用電路或通用處理器實 現(xiàn)。在制造LSI后，也可以利用可編程的FPGA (現(xiàn)場可編程門陣列Field Programmable Gate Array)、或可重構(gòu)LSI內(nèi)部的電路單元的連接和設(shè)定 的可重定義處理器。
進(jìn)而，如果隨著半導(dǎo)體技術(shù)的進(jìn)步或衍生的其他技術(shù)而出現(xiàn)了替換LSI 的集成電路化的技術(shù)，當(dāng)然也可以利用該技術(shù)進(jìn)行功能模塊的集成化。生 物技術(shù)的應(yīng)用是有可能的。
另外，也可以在各功能模塊之中，不是僅將存放數(shù)據(jù)的單元單片化， 而是像本實施方式的記錄介質(zhì)那樣作為不同的結(jié)構(gòu)。
以上根據(jù)實施方式1及2說明了本發(fā)明所涉及的動態(tài)圖像編碼方法等， 但本發(fā)明不限定于這些實施方式。對于這些實施方式加以本領(lǐng)域技術(shù)人員
想到的變更來實現(xiàn)的其他方式、或?qū)嵤┓绞街械母鹘Y(jié)構(gòu)要素進(jìn)行任意組 合來實現(xiàn)的其他方法等也屬于本發(fā)明。
另外，圖12、圖20、圖21、圖25、圖51等所示的框圖的各功能模 塊及圖11、圖13-圖17、圖40-圖43、圖49、圖50、圖54等所示的流程 圖中，中心部分也可以通過處理器及程序來實現(xiàn)。
像這樣，可以將上述實施方式所示的動態(tài)圖像編碼方法或動態(tài)圖像解 碼方法用于上述任何的設(shè)備、系統(tǒng)中，由此，可以得到上述實施方式說明 的效果。工業(yè)可利用性
本發(fā)明涉及的動態(tài)圖像編碼方法在構(gòu)成由管理信息所示的連續(xù)再現(xiàn)單 位的動態(tài)圖像的編碼數(shù)據(jù)中，通過將在由亮度值判定是否透過像素進(jìn)行顯 示時的閾值固定，從而可以消除由閾值的切換引起的解碼時的延遲并實現(xiàn) 無縫再現(xiàn)，所以適用于在動態(tài)圖像、圖形、或靜止圖像等上覆蓋動態(tài)圖像
來進(jìn)行顯示的包介質(zhì)或分發(fā)應(yīng)用等，例如，可以用作動態(tài)圖像編碼用LSI、 攝影機、動態(tài)圖像記錄器、帶動態(tài)圖像記錄功能的電視機、計算機程序等。
權(quán)利要求
1、一種動態(tài)圖像編碼方法，對包括第一動態(tài)圖像和用于覆蓋至上述第一動態(tài)圖像的第二動態(tài)圖像在內(nèi)的影像流進(jìn)行編碼，其特征在于，在上述覆蓋中，僅將上述第二動態(tài)圖像之中具有超過預(yù)定閾值的亮度的圖像區(qū)域覆蓋至上述第一動態(tài)圖像；上述動態(tài)圖像編碼方法包括連續(xù)再現(xiàn)區(qū)間決定步驟，在上述影像流之中，決定連續(xù)再現(xiàn)區(qū)間，該連續(xù)再現(xiàn)區(qū)間是部分區(qū)間的集合，而且是成為連續(xù)再現(xiàn)的對象的區(qū)間；編碼步驟，對構(gòu)成上述連續(xù)再現(xiàn)區(qū)間的多個部分區(qū)間內(nèi)的上述第一及第二動態(tài)圖像進(jìn)行編碼，以在上述連續(xù)再現(xiàn)區(qū)間決定步驟中決定的連續(xù)再現(xiàn)區(qū)間內(nèi)滿足不變更上述閾值的限制；管理信息制作步驟，制作包括標(biāo)記信息的管理信息，該標(biāo)記信息表示在上述連續(xù)再現(xiàn)區(qū)間內(nèi)上述閾值是固定的；以及結(jié)合步驟，將在上述編碼步驟中被編碼的上述第一及第二動態(tài)圖像與在上述管理信息制作步驟中制作的管理信息進(jìn)行結(jié)合并輸出。
2、 如權(quán)利要求1所記載的動態(tài)圖像編碼方法，其特征在于， 在上述管理信息制作步驟中，制作除了上述標(biāo)記信息之外還包括表示上述閾值的信息的管理信息。
3、 如權(quán)利要求1所記載的動態(tài)圖像編碼方法，其特征在于， 上述動態(tài)圖像編碼方法還包括復(fù)用步驟，將在上述編碼步驟中被編碼的第一及第二動態(tài)圖像作為傳輸流進(jìn)行復(fù)用；在上述復(fù)用步驟中，以通過傳輸流的包識別符來確定構(gòu)成上述連續(xù)再 現(xiàn)區(qū)間的多個部分區(qū)間的方式，進(jìn)行上述復(fù)用。
4、 如權(quán)利要求1所記載的動態(tài)圖像編碼方法，其特征在于， 在上述連續(xù)再現(xiàn)區(qū)間決定步驟中，將作為無縫連接的對象的部分區(qū)間的集合決定為上述連續(xù)再現(xiàn)區(qū)間。
5、 如權(quán)利要求4所記載的動態(tài)圖像編碼方法，其特征在于， 在上述管理信息制作步驟中，生成兼而表示在上述連續(xù)再現(xiàn)區(qū)間內(nèi)上述閾值是固定的、以及表示構(gòu)成上述連續(xù)再現(xiàn)區(qū)間的多個部分區(qū)間為無縫 連接的標(biāo)記信息，來作為上述標(biāo)記信息。
6、 如權(quán)利要求1所記載的動態(tài)圖像編碼方法，其特征在于， 在上述連續(xù)再現(xiàn)區(qū)間決定步驟中，將與構(gòu)成無縫的多角度的各角度相對應(yīng)的部分區(qū)間的集合決定為上述連續(xù)再現(xiàn)區(qū)間。
7、 如權(quán)利要求1所記載的動態(tài)圖像編碼方法，其特征在于， 在上述連續(xù)再現(xiàn)區(qū)間決定步驟中，將與構(gòu)成非無縫的多角度的各角度相對應(yīng)的部分區(qū)間的集合決定為上述連續(xù)再現(xiàn)區(qū)間。
8、 如權(quán)利要求1所記載的動態(tài)圖像編碼方法，其特征在于， 在上述管理信息制作步驟中，生成上述標(biāo)記信息來作為與構(gòu)成上述連續(xù)再現(xiàn)區(qū)間的多個部分區(qū)間分別對應(yīng)的再現(xiàn)信息。
9、 如權(quán)利要求8所記載的動態(tài)圖像編碼方法，其特征在于， 在上述管理信息制作步驟中，生成上述標(biāo)記信息來作為與播放列表中包括的播放項目對應(yīng)的再現(xiàn)信息；上述播放列表是將1個以上的播放項目的再現(xiàn)順序指定為上述連續(xù)再 現(xiàn)區(qū)間的信息；上述播放項目是將應(yīng)該再現(xiàn)的一個片斷的全部或一部分指定為上述部 分區(qū)間的信息。
10、 如權(quán)利要求9所記載的動態(tài)圖像編碼方法，其特征在于， 在上述管理信息制作步驟中，生成上述標(biāo)記信息來作為與上述播放項目對應(yīng)設(shè)置的再現(xiàn)信息即圖片內(nèi)圖片的元信息。
11、 如權(quán)利要求1所記載的動態(tài)圖像編碼方法，其特征在于，在上述管理信息制作步驟中，生成對上述覆蓋中的各種顯示處理進(jìn)行 指定的多個顯示屬性信息，在上述多個顯示屬性信息的生成中，生成上述 顯示屬性信息，以使上述多個顯示屬性信息之中，在構(gòu)成上述連續(xù)再現(xiàn)區(qū) 間的多個部分區(qū)間內(nèi)，切換內(nèi)容的顯示屬性信息的個數(shù)為預(yù)定的一定值以 下。
12、 如權(quán)利要求1所記載的動態(tài)圖像編碼方法，其特征在于， 在上述編碼步驟中，對上述多個部分區(qū)間內(nèi)的上述第一及第二動態(tài)圖像進(jìn)行編碼，以使在根據(jù)解碼模式無縫連接的多個部分區(qū)間內(nèi)滿足不變更 上述閾值的限制。
13、 一種動態(tài)圖像編碼裝置，對包括第一動態(tài)圖像和用于覆蓋至上述 第一動態(tài)圖像的第二動態(tài)圖像在內(nèi)的影像流進(jìn)行編碼，其特征在于，在上述覆蓋中，僅將上述第二動態(tài)圖像之中具有超過預(yù)定閾值的亮度 的圖像區(qū)域覆蓋至上述第一動態(tài)圖像； 上述動態(tài)圖像編碼裝置具備連續(xù)再現(xiàn)區(qū)間決定部，在上述影像流之中，決定連續(xù)再現(xiàn)區(qū)間，該連 續(xù)再現(xiàn)區(qū)間是部分區(qū)間的集合，而且是成為連續(xù)再現(xiàn)的對象的區(qū)間；編碼部，對構(gòu)成上述連續(xù)再現(xiàn)區(qū)間的多個部分區(qū)間內(nèi)的上述第一及第 二動態(tài)圖像進(jìn)行編碼，以在由上述連續(xù)再現(xiàn)區(qū)間決定部決定的連續(xù)再現(xiàn)區(qū) 間內(nèi)滿足不變更上述閾值的限制；管理信息制作部，制作包括標(biāo)記信息的管理信息，該標(biāo)記信息表示在 上述連續(xù)再現(xiàn)區(qū)間內(nèi)上述閾值是固定的；以及結(jié)合部，將由上述編碼部編碼的上述第一及第二動態(tài)圖像與由上述管 理信息制作部制作的管理信息進(jìn)行結(jié)合并輸出。
14、 一種動態(tài)圖像記錄方法，對包括第一動態(tài)圖像和用于覆蓋至上述 第一動態(tài)圖像的第二動態(tài)圖像在內(nèi)的影像流進(jìn)行編碼并記錄至記錄介質(zhì)， 其特征在于，在上述覆蓋中，僅將上述第二動態(tài)圖像之中具有超過預(yù)定閾值的亮度的圖像區(qū)域覆蓋至上述第一動態(tài)圖像； 上述動態(tài)圖像記錄方法包括連續(xù)再現(xiàn)區(qū)間決定步驟，在上述影像流之中，決定連續(xù)再現(xiàn)區(qū)間，該連續(xù)再現(xiàn)區(qū)間是部分區(qū)間的集合，而且是成為連續(xù)再現(xiàn)的對象的區(qū)間；編碼步驟，對構(gòu)成上述連續(xù)再現(xiàn)區(qū)間的多個部分區(qū)間內(nèi)的上述第一及第二動態(tài)圖像進(jìn)行編碼，以在上述連續(xù)再現(xiàn)區(qū)間決定步驟中決定的連續(xù)再現(xiàn)區(qū)間內(nèi)滿足不變更上述閾值的限制；管理信息制作步驟，制作包括標(biāo)記信息的管理信息，該標(biāo)記信息表示在上述連續(xù)再現(xiàn)區(qū)間內(nèi)上述閾值是固定的；以及結(jié)合步驟，將在上述編碼步驟中被編碼的上述第一及第二動態(tài)圖像與在上述管理信息制作步驟中制作的管理信息進(jìn)行結(jié)合并記錄至記錄介質(zhì)。
15、 一種記錄介質(zhì)，記錄了計算機可讀取的數(shù)據(jù)，其特征在于， 在上述數(shù)據(jù)中包含包括第一動態(tài)圖像和用于覆蓋至上述第一動態(tài)圖像的第二動態(tài)圖像在內(nèi)的影像流、以及管理上述影像流的信息即管理信息； 在上述覆蓋中，僅將上述第二動態(tài)圖像之中具有超過預(yù)定閾值的亮度的圖像區(qū)域覆蓋至上述第一動態(tài)圖像；在上述影像流中，構(gòu)成上述連續(xù)再現(xiàn)區(qū)間的多個部分區(qū)間內(nèi)的上述第一及第二動態(tài)圖像被編碼，以在連續(xù)再現(xiàn)區(qū)間內(nèi)滿足不變更上述閾值的限制，該連續(xù)再現(xiàn)區(qū)間是部分區(qū)間的集合，而且是成為連續(xù)再現(xiàn)的對象的區(qū)間；在上述管理信息中，包括標(biāo)記信息，該標(biāo)記信息表示在上述連續(xù)再現(xiàn) 區(qū)間內(nèi)上述閾值是固定的。
16、 一種動態(tài)圖像再現(xiàn)方法，將包括被編碼的第一及第二動態(tài)圖像在 內(nèi)的影像流解碼，并將上述第二動態(tài)圖像覆蓋至上述第一動態(tài)圖像來進(jìn)行 顯示，其特征在于，包括管理信息處理步驟，獲取與上述影像流對應(yīng)的管理信息，并對獲取的 管理信息進(jìn)行解釋；解碼步驟，根據(jù)上述管理信息處理步驟中的解釋，將上述第一及第二動態(tài)圖像解碼；以及顯示步驟，僅將被解碼的上述第二動態(tài)圖像之中、具有超過預(yù)定閾值 的亮度的圖像區(qū)域覆蓋至被解碼的上述第一動態(tài)圖像，并進(jìn)行顯示；在上述管理信息處理步驟中，判斷在上述管理信息中是否包括標(biāo)記信 息，該標(biāo)記信息表示上述閾值是固定的；在上述顯示步驟中，在上述管理信息處理步驟判斷為在上述管理信息 中包括上述標(biāo)記信息的情況下，利用與緊前的部分區(qū)間內(nèi)的閾值同值的閾 值，進(jìn)行當(dāng)前部分區(qū)間內(nèi)的上述覆蓋顯示。
17、 如權(quán)利要求16記載的動態(tài)圖像再現(xiàn)方法，其特征在于， 在上述顯示步驟中，通過對于上述第二動態(tài)圖像之中小于上述閾值的像素完全透過地進(jìn)行顯示，來進(jìn)行上述覆蓋顯示。
18、 一種動態(tài)圖像再現(xiàn)裝置，將包括被編碼的第一及第二動態(tài)圖像在 內(nèi)的影像流解碼，并將上述第二動態(tài)圖像覆蓋至上述第一動態(tài)圖像來進(jìn)行 顯示，其特征在于，包括-管理信息處理部，獲取與上述影像流對應(yīng)的管理信息，并對獲取的管 理信息進(jìn)行解釋；解碼部，根據(jù)上述管理信息處理部的解釋，將上述第一及第二動態(tài)圖 像解碼；以及顯示部，僅將被解碼的上述第二動態(tài)圖像之中、具有超過預(yù)定閾值的 亮度的圖像區(qū)域覆蓋至被解碼的上述第一動態(tài)圖像，并進(jìn)行顯示；上述管理信息處理部判斷在上述管理信息中是否包括標(biāo)記信息，該標(biāo) 記信息表示上述閾值是固定的；上述顯示部在上述管理信息處理部判斷為在上述管理信息中包括上述 標(biāo)記信息的情況下，利用與緊前的部分區(qū)間內(nèi)的閾值同值的閾值，進(jìn)行當(dāng) 前部分區(qū)間內(nèi)的上述覆蓋顯示。
19、 一種動態(tài)圖像再現(xiàn)系統(tǒng)，包括權(quán)利要求15記載的記錄介質(zhì)；以 及讀取上述記錄介質(zhì)中記錄的數(shù)據(jù)并進(jìn)行再現(xiàn)的的動態(tài)圖像再現(xiàn)裝置；該動態(tài)圖形再現(xiàn)系統(tǒng)的特征在于， 上述動態(tài)圖像再現(xiàn)裝置包括管理信息處理部，從上述記錄介質(zhì)中讀取管理信息并進(jìn)行解釋；解碼部，根據(jù)上述管理信息處理部的解釋，從上述記錄介質(zhì)中讀取上述第一及第二動態(tài)圖像并進(jìn)行解碼；以及顯示部，僅將被解碼的上述第二動態(tài)圖像之中、具有超過預(yù)定閾值的 亮度的圖像區(qū)域覆蓋至被解碼的上述第一動態(tài)圖像，并進(jìn)行顯示；上述管理信息處理部判斷在上述管理信息中是否包括標(biāo)記信息，該標(biāo) 記信息表示上述閾值是固定的；上述顯示部在上述管理信息處理部判斷為在上述管理信息中包括上述 標(biāo)記信息的情況下，利用與緊前的部分區(qū)間內(nèi)的閾值同值的閾值，進(jìn)行當(dāng) 前部分區(qū)間內(nèi)的上述覆蓋顯示。
全文摘要
提供一種不增大再現(xiàn)時的處理負(fù)擔(dān)而不發(fā)生再現(xiàn)中斷的動態(tài)圖像編碼方法。作為對包括第一動態(tài)圖像和用于覆蓋至第一動態(tài)圖像的第二動態(tài)圖像在內(nèi)的影像流進(jìn)行編碼的動態(tài)圖像編碼方法，包括步驟(S5201-S5303)，在影像流之中，決定連續(xù)再現(xiàn)區(qū)間，該連續(xù)再現(xiàn)區(qū)間是部分區(qū)間的集合，而且是成為連續(xù)再現(xiàn)的對象的區(qū)間；步驟(S5304)，對構(gòu)成連續(xù)再現(xiàn)區(qū)間的多個部分區(qū)間中的第一及第二動態(tài)圖像進(jìn)行編碼，以使在決定的連續(xù)再現(xiàn)區(qū)間中，滿足不變更用于在覆蓋中通過亮度按鍵進(jìn)行透過處理的閾值的限制；以及步驟(S5305)，制作包括標(biāo)記信息的管理信息，該標(biāo)記信息表示在連續(xù)再現(xiàn)區(qū)間內(nèi)閾值是固定的。
文檔編號H04N7/26GK101554057SQ20078004565
公開日2009年10月7日 申請日期2007年12月12日 優(yōu)先權(quán)日2006年12月14日
發(fā)明者池田航, 矢羽田洋, 遠(yuǎn)間正真 申請人:松下電器產(chǎn)業(yè)株式會社