專利名稱：信息處理設(shè)備、信息處理方法和程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及信息處理設(shè)備、信息處理方法和程序。更具體而言，本發(fā)明涉及信息處 理設(shè)備、信息處理方法和程序，其中當(dāng)多個數(shù)據(jù)流是多路復(fù)用的并作為多路復(fù)用視頻幀傳 輸時，可以傳輸與多路復(fù)用視頻幀中的數(shù)據(jù)流的布置位置相關(guān)的信息以及與數(shù)據(jù)流的格式 相關(guān)的信息。
背景技術(shù)：
對諸如時鐘、水平同步信號和豎直同步信號之類的定時信號以及影像數(shù)據(jù)進(jìn)行傳 輸所用的單向傳輸協(xié)議被稱為“視頻接口”。電影及電視工程師學(xué)會(SMPTE) 125M和SMPTE 274M是視頻接口的典型示例。視頻接口的其他示例包括添加數(shù)據(jù)能力信號的協(xié)議(例如交互(DVI)/視頻電子 標(biāo)準(zhǔn)協(xié)會(VESA))，其中使視頻數(shù)據(jù)串行化的協(xié)議(例如高解析度多媒體接口(HDMI))，以 及其中將定時信息進(jìn)一步多路復(fù)用到數(shù)據(jù)線中的協(xié)議(例如SMPTE 259M和SMPTE 292M)。此后，如合適，將經(jīng)由視頻接口傳輸?shù)男盘柕慕M稱為“視頻信號”，并將視頻接口的 輸入針和輸出針的組稱為“視頻端口”。視頻端口帶寬視頻端口穩(wěn)定地提供了較寬的帶寬和有效的速度。例如，24比特HD(在30幀每 秒(fps)的情況下1920X1080)視頻端口確保了以1920X1080X30像素每秒=186兆字 節(jié)每秒(MB/s)的速率進(jìn)行穩(wěn)定的數(shù)據(jù)傳輸。由于顯示解析度的提高、廣播質(zhì)量從標(biāo)準(zhǔn)解析度(SD) (720X480)轉(zhuǎn)變?yōu)楦呓馕?度(HD) (1920X1080)、顯示器的顯示性能的多樣性(480i/480p/1080i/720p/1080p)、以及 其他原因，近年來視頻端口帶寬迅速地增大。在當(dāng)前情況下，HD (30fps下1920X1080)和 極速擴(kuò)展圖形陣列(WUXGA) (60fps下1920X1200)帶寬已經(jīng)成為通?？色@得。多信道視頻和音頻近年來的音頻視訊裝置可以處理多路視頻/音頻信號。例如，家用數(shù)字記錄器可以處理輸出系統(tǒng)的數(shù)據(jù)，其包括不具有菜單或向?qū)У囊曨l的輸出(視頻輸出)具有菜單或向?qū)У囊曨l的輸出(監(jiān)視輸出)通過對來自天線的比特流進(jìn)行解碼獲得的視頻的輸出(解碼輸出)。此外，還存在對于在視頻處理中使用的專業(yè)裝置的需求，在許多情況下，該專業(yè)裝 置能夠?qū)敵鱿到y(tǒng)的數(shù)據(jù)進(jìn)行處理并且輸出，其包括標(biāo)準(zhǔn)視頻的輸出(節(jié)目輸出、視頻輸出)疊加視頻的輸出(監(jiān)視輸出)數(shù)秒之前的畫面的視頻(先前輸出)要在外部顯示器上顯示的屏幕裝置顯示器上的顯示。
5
具體而言，在視頻處理中使用的專業(yè)裝置中處理的數(shù)據(jù)可以包含各種顯示尺寸以 及各種幀頻率(刷新率)(例如SD/HD,4:2:2/4:4:4, RGB/YcbCr,隔行或逐行)的數(shù)據(jù)。還存在對于能夠同時將多路視頻流輸入至處理器(例如同時輸入和同時記錄不 同格式的異步視頻信號，在同時輸入它們的情況下切換視頻信號，或者在切換它們時處理 或修改視頻信號并合成得到的信號)的輸入系統(tǒng)的需求。配屬于視頻的音頻的信道數(shù)量也 顯著增加，例如5. lch, 7. lch, 9. Ich,以及在多個信道之間的多種語言。因此，要求音頻視訊裝置的處理器能夠同時輸入或輸出多個視頻流和多個音頻 流。例如，日本未經(jīng)審查的專利申請公開號2009-71701揭示了一種技術(shù)，該技術(shù)用于 使具有多個格式的輸入視頻數(shù)據(jù)多路復(fù)用以產(chǎn)生多路復(fù)用視頻幀的數(shù)據(jù)(該多路復(fù)用視 頻幀是具有較大屏幕尺寸的視頻幀)，并用于將多路復(fù)用視頻幀的數(shù)據(jù)從處理器的視頻端 口輸入至處理器。日本未經(jīng)審查的專利申請?zhí)?009-71701還描述了，從多路復(fù)用視頻幀提取的各 格式的視頻數(shù)據(jù)由處理器處理，并且經(jīng)處理的各格式的視頻數(shù)據(jù)由處理器再次多路復(fù)用成 為多路復(fù)用視頻幀。經(jīng)處理的各格式的視頻數(shù)據(jù)根據(jù)從處理器的視頻端口輸出的多路復(fù)用 視頻幀來提取得到，并被輸出至設(shè)備外部。日本未經(jīng)審查的專利申請?zhí)?006-236056是現(xiàn)有技術(shù)的另一個示例。

發(fā)明內(nèi)容
日本未經(jīng)審查的專利申請?zhí)?009-71701中描述的技術(shù)會涉及預(yù)先將多路復(fù)用視 頻數(shù)據(jù)幀中各格式的視頻數(shù)據(jù)的多路復(fù)用位置相關(guān)的信息在位于輸入側(cè)的電路與處理器 之間以及在處理器與位于輸出側(cè)的電路之間進(jìn)行匹配。在已經(jīng)從位于輸入側(cè)的電路接收到 通過對各格式的視頻數(shù)據(jù)進(jìn)行多路復(fù)用獲得的多路復(fù)用視頻幀的處理器中，或者在已經(jīng)從 處理器接收到多路復(fù)用視頻幀的位于輸出側(cè)的電路中，基于與多路復(fù)用位置相關(guān)的信息來 提取數(shù)據(jù)。與多路復(fù)用位置相關(guān)的信息包括諸如表示視頻數(shù)據(jù)的哪個信道(流)以及視頻數(shù) 據(jù)配屬于多路復(fù)用視頻幀中的哪個位置之類的信息?？梢杂绊憯?shù)據(jù)陣列的視頻信號的格式也預(yù)先在位于輸入側(cè)的電路與處理器之間 以及在處理器與位于輸出側(cè)的電路之間確定。因此，在多路復(fù)用視頻幀中各格式的視頻數(shù)據(jù)的多路復(fù)用位置是固定的，并且不 容易改變多路復(fù)用位置以支援各信號的傳輸。此外，能夠處理的視頻數(shù)據(jù)的格式受到限制，因此位于輸入側(cè)的電路難以基于從 外部輸入的信號來自動地判別視頻信號的有無或類型以因此改變多路復(fù)用視頻真的結(jié)構(gòu)。因此，在將多個數(shù)據(jù)流作為多路復(fù)用視頻幀的數(shù)據(jù)來多路復(fù)用化并進(jìn)行傳輸時， 期望傳輸與多路復(fù)用視頻幀中的數(shù)據(jù)流的布置位置相關(guān)的信息，以及與數(shù)據(jù)流的格式相關(guān) 的信息。此外，在日本未經(jīng)審查的專利申請?zhí)?009-71701中描述的技術(shù)不允許已經(jīng)獲得 了利用來自位于輸入側(cè)的電路或位于輸出側(cè)的電路(其以及從處理器獲得了數(shù)據(jù))的多路 復(fù)用視頻幀而多路復(fù)用的數(shù)據(jù)的處理器判定所獲得的數(shù)據(jù)的連續(xù)性和可靠性。
例如，即使視頻輸入的部分已經(jīng)不能在位于輸入側(cè)的電路中的接收電路中同步， 已經(jīng)接收了數(shù)據(jù)輸入的處理器仍難以判定哪個視頻輸入已經(jīng)不能被同步。此外，即使在位于輸入側(cè)的電路中某個幀丟失并且替代地已經(jīng)將不同的幀插入多 路復(fù)用視頻幀，則已經(jīng)接收到數(shù)據(jù)輸入的處理器會判定為幀的連續(xù)性得到維持并且會執(zhí)行處理。如上所述，經(jīng)處理的各格式的視頻數(shù)據(jù)在處理器中被再次多路復(fù)用。但是，即使由 于處理器的處理延遲導(dǎo)致至此再次多路復(fù)用操作尚未完成，則位于輸出側(cè)的電路難以對該 未完成的多路復(fù)用進(jìn)行判定。因?yàn)槠渲懈鲾?shù)據(jù)流被多路復(fù)用的多路復(fù)用視頻幀周期性地從 位于輸入側(cè)的電路輸入，所以處理器在輸入下一個多路復(fù)用視頻幀時的時刻之前執(zhí)行對一 個多路復(fù)用視頻幀的處理。因此，在將多個數(shù)據(jù)流作為多路復(fù)用視頻幀的數(shù)據(jù)來多路復(fù)用化并進(jìn)行傳輸時， 期望傳輸至少與各數(shù)據(jù)流的連續(xù)性相關(guān)的信息。根據(jù)本發(fā)明的實(shí)施例，一種信息處理設(shè)備包括以下元件。產(chǎn)生裝置，其用于產(chǎn)生多 路復(fù)用視頻幀，并用于將第一信息插入到所述多路復(fù)用視頻幀中，所述多路復(fù)用視頻幀是 具有預(yù)定屏幕尺寸的視頻幀，并且所述第一信息是與所述多路復(fù)用視頻幀的構(gòu)造相關(guān)的信 息。第一多路復(fù)用裝置，其用于將輸入視頻數(shù)據(jù)中包括的一個幀布置在所述多路復(fù)用視頻 幀中，用于將所述幀的數(shù)據(jù)多路復(fù)用以作為所述多路復(fù)用視頻幀的與所述幀的布置位置相 對應(yīng)的數(shù)據(jù)進(jìn)行傳輸，并用于將第二信息和第三信息插入到在多路復(fù)用之后獲得的多路復(fù) 用視頻幀中，所述第二信息是與所述幀的布置位置相關(guān)的信息，所述第三信息是與所述視 頻數(shù)據(jù)的格式相關(guān)的信息。處理裝置，其用于根據(jù)所述第一信息、所述第二信息和所述第三 信息提取在多路復(fù)用之后獲得的所述多路復(fù)用視頻幀中被多路復(fù)用的幀的數(shù)據(jù)，并用于執(zhí) 行對所提取的所述數(shù)據(jù)的處理，其中在多路復(fù)用之后獲得的所述多路復(fù)用視頻幀從所述處 理裝置的輸入視頻端口輸入所述處理裝置。信息處理設(shè)備還可包括以下元件。劃分裝置，其用于按照從所輸入的音頻數(shù)據(jù)的 起始樣本開始的順序?qū)⑺鲆纛l數(shù)據(jù)劃分為音頻數(shù)據(jù)項(xiàng)，每個所述音頻數(shù)據(jù)項(xiàng)具有在與所 述多路復(fù)用視頻幀的一個幀的時段相對應(yīng)的時段期間輸入的樣本。第二多路復(fù)用裝置，其 用于將通過所述劃分裝置進(jìn)行的劃分獲得的各個所述音頻數(shù)據(jù)項(xiàng)布置在所述多路復(fù)用視 頻幀中，用于將所述音頻數(shù)據(jù)項(xiàng)多路復(fù)用以作為所述多路復(fù)用視頻幀的與所述音頻數(shù)據(jù)項(xiàng) 的布置位置相對應(yīng)的數(shù)據(jù)進(jìn)行傳輸，并用于將第四信息、第五信息和第六信息插入到所述 多路復(fù)用視頻幀中，所述第四信息是表示所述音頻數(shù)據(jù)項(xiàng)中包括的樣本數(shù)的信息，所述第 五信息是與所述音頻數(shù)據(jù)項(xiàng)的布置位置相關(guān)的信息，所述第六信息是與所述音頻數(shù)據(jù)的格 式相關(guān)的信息。所述處理裝置可被構(gòu)造為根據(jù)所述第一信息、所述第四信息、所述第五信息 和所述第六信息提取在多路復(fù)用之后獲得的所述多路復(fù)用視頻幀中被多路復(fù)用的、通過劃 分獲得的所述音頻數(shù)據(jù)項(xiàng)，并執(zhí)行對提取的所述數(shù)據(jù)項(xiàng)的處理。第一多路復(fù)用裝置可被構(gòu)造為將所述視頻數(shù)據(jù)的多個格式中的每個格式的一個 幀劃分為各個線來將所述幀布置在所述多路復(fù)用視頻幀中，使得以所述幀的各個線不連續(xù) 的方式將同一所述幀的各個線從下到上地布置在設(shè)置于所述多路復(fù)用視頻幀中的第一視 頻區(qū)域中，并將所述多個格式的所述幀的數(shù)據(jù)多路復(fù)用。第二多路復(fù)用裝置可被構(gòu)造為將通過劃分獲得的所述音頻數(shù)據(jù)項(xiàng)多路復(fù)用以作為設(shè)置在所述多路復(fù)用視頻幀的第一視頻區(qū)域下方的第一音頻區(qū)域中的數(shù)據(jù)進(jìn)行傳輸。所述處理裝置可被構(gòu)造為將在處理之后獲得的各個格式的所述幀中的每個幀劃 分為各個線，將所述各個幀布置在所述多路復(fù)用視頻幀中，使得以所述幀的各個線不連續(xù) 的方式將同一幀的各個線從上到下地布置在設(shè)置于所述多路復(fù)用視頻幀中的第二視頻區(qū) 域中，并將所述幀多路復(fù)用以作為所述多路復(fù)用視頻幀的與所述幀的布置位置相對應(yīng)的數(shù) 據(jù)進(jìn)行傳輸。所述處理裝置還可被構(gòu)造為將在處理之后獲得的、通過劃分獲得的所述音頻 數(shù)據(jù)項(xiàng)多路復(fù)用以作為設(shè)置在所述多路復(fù)用視頻幀的所述第二視頻區(qū)域上方的第二音頻 區(qū)域中的數(shù)據(jù)進(jìn)行傳輸，并且所述處理裝置從所述處理裝置的輸出視頻端口輸出其中傳輸 了處理之后獲得的數(shù)據(jù)的多路復(fù)用視頻幀。信息處理設(shè)備還可包括以下元件。第一提取裝置，其用于根據(jù)所述第一信息、所述 第二信息和所述第三信息，從由所述處理裝置輸出的所述多路復(fù)用視頻幀提取各格式的各 個所述幀的數(shù)據(jù)。第一發(fā)送裝置，其用于將所提取的所述各格式的各個所述幀的數(shù)據(jù)在基 于所述第三信息執(zhí)行了與所述格式相對應(yīng)的處理之后輸出至外部。信息處理設(shè)備還可包括以下元件。第二提取裝置，其用于根據(jù)所述第一信息、所述 第四信息、所述第五信息和所述第六信息，從由所述處理裝置輸出的所述多路復(fù)用視頻幀 提取通過劃分獲得所述音頻數(shù)據(jù)項(xiàng)。第二發(fā)送裝置，其用于基于所述第六信息對通過劃分 獲得的所提取的所述音頻數(shù)據(jù)項(xiàng)執(zhí)行與所述格式相對應(yīng)的處理，并用于將已經(jīng)執(zhí)行了所述 處理的、通過劃分得到的所述音頻數(shù)據(jù)項(xiàng)按照從所述音頻數(shù)據(jù)項(xiàng)的起始樣本開始的順序輸 出至外部。根據(jù)本發(fā)明的另一實(shí)施例，一種信息處理方法包括以下步驟產(chǎn)生多路復(fù)用視頻 幀，所述多路復(fù)用視頻幀是具有預(yù)定屏幕尺寸的視頻幀；將第一信息插入到所述多路復(fù)用 視頻幀中，所述第一信息是與所述多路復(fù)用視頻幀的構(gòu)造相關(guān)的信息；將輸入視頻數(shù)據(jù)中 包括的一個幀布置在所述多路視頻幀中；將所述幀的數(shù)據(jù)多路復(fù)用以作為所述多路復(fù)用視 頻幀的與所述幀的布置位置相對應(yīng)的數(shù)據(jù)進(jìn)行傳輸；將第二信息和第三信息插入到在多路 復(fù)用之后獲得的多路復(fù)用視頻幀中，所述第二信息是與所述幀的布置位置相關(guān)的信息，所 述第三信息是與所述視頻數(shù)據(jù)的格式相關(guān)的信息；用于根據(jù)所述第一信息、所述第二信息 和所述第三信息提取在多路復(fù)用之后獲得的所述多路復(fù)用視頻幀中被多路復(fù)用的幀的數(shù) 據(jù)，在多路復(fù)用之后獲得的所述多路復(fù)用視頻幀從輸入視頻端口輸入；并且執(zhí)行對所提取 的所述數(shù)據(jù)的處理。根據(jù)本發(fā)明的另一實(shí)施例，一種程序使得計算機(jī)執(zhí)行包括以下步驟的處理產(chǎn)生 多路復(fù)用視頻幀，所述多路復(fù)用視頻幀是具有預(yù)定屏幕尺寸的視頻幀；將第一信息插入到 所述多路復(fù)用視頻幀中，所述第一信息是與所述多路復(fù)用視頻幀的構(gòu)造相關(guān)的信息；將輸 入視頻數(shù)據(jù)中包括的一個幀布置在所述多路視頻幀中；將所述幀的數(shù)據(jù)多路復(fù)用以作為所 述多路復(fù)用視頻幀的與所述幀的布置位置相對應(yīng)的數(shù)據(jù)進(jìn)行傳輸；將第二信息和第三信息 插入到在多路復(fù)用之后獲得的多路復(fù)用視頻幀中，所述第二信息是與所述幀的布置位置相 關(guān)的信息，所述第三信息是與所述視頻數(shù)據(jù)的格式相關(guān)的信息；根據(jù)所述第一信息、所述第 二信息和所述第三信息提取在多路復(fù)用之后獲得的所述多路復(fù)用視頻幀中被多路復(fù)用的 幀的數(shù)據(jù)，在多路復(fù)用之后獲得的所述多路復(fù)用視頻幀從輸入視頻端口輸入；并且執(zhí)行對 所提取的所述數(shù)據(jù)的處理。
在本發(fā)明的實(shí)施例中，產(chǎn)生多路復(fù)用視頻幀，所述多路復(fù)用視頻幀是具有預(yù)定屏 幕尺寸的視頻幀；并且將第一信息插入到所述多路復(fù)用視頻幀中，所述第一信息是與所述 多路復(fù)用視頻幀的構(gòu)造相關(guān)的信息。此外，將輸入視頻數(shù)據(jù)中包括的一個幀布置在所述多 路視頻幀中；并且將所述幀的數(shù)據(jù)多路復(fù)用以作為所述多路復(fù)用視頻幀的與所述幀的布置 位置相對應(yīng)的數(shù)據(jù)進(jìn)行傳輸。此外，將第二信息和第三信息插入到在多路復(fù)用之后獲得的 多路復(fù)用視頻幀中，所述第二信息是與所述幀的布置位置相關(guān)的信息，所述第三信息是與 所述視頻數(shù)據(jù)的格式相關(guān)的信息。此外，根據(jù)所述第一信息、所述第二信息和所述第三信 息提取在多路復(fù)用之后獲得的所述多路復(fù)用視頻幀中被多路復(fù)用的幀的數(shù)據(jù)，在多路復(fù)用 之后獲得的所述多路復(fù)用視頻幀從輸入視頻端口輸入；并且執(zhí)行對所提取的所述數(shù)據(jù)的處 理。根據(jù)本發(fā)明的實(shí)施例，當(dāng)多個數(shù)據(jù)流被多路復(fù)用并被傳輸作為多路利用視頻幀的 數(shù)據(jù)時，可以傳輸與多路復(fù)用視頻幀中的各個數(shù)據(jù)流的布置位置相關(guān)的信息以及與各個數(shù) 據(jù)流的格式相關(guān)的信息。根據(jù)本發(fā)明的另一實(shí)施例，當(dāng)多個數(shù)據(jù)流被多路復(fù)用并被傳輸為作多路復(fù)用視頻 幀的數(shù)據(jù)時，可以傳輸至少與各個數(shù)據(jù)流的連續(xù)性相關(guān)的信息。


圖1是圖示根據(jù)本發(fā)明的實(shí)施例的信息處理設(shè)備的示例構(gòu)造的框圖；圖2是圖示被截取出的音頻樣本的示例的圖；圖3是圖示多路復(fù)用視頻幀的示例的圖；圖4是圖示在多路復(fù)用之后獲得的多路復(fù)用視頻幀的示例的圖；圖5是圖示多路復(fù)用視頻幀的視頻信號的示例的圖；圖6是圖示視頻接口的示意圖；圖7是圖示視頻信號的波形的示例的圖；圖8是詳細(xì)圖示由圖7中的實(shí)線箭頭所表示的范圍內(nèi)的波形的圖；圖9是圖示多路復(fù)用幀布置信息的示例的圖；圖10是在圖9之后圖示多路復(fù)用幀布置信息的示例的圖；圖11是圖示信息處理設(shè)備的處理的流程圖；圖12是圖示圖11的步驟Sl中執(zhí)行的視頻接收處理的流程圖；圖13是圖示在圖11的步驟S2中執(zhí)行的音頻接收處理的流程圖；圖14是圖示在圖11的步驟S5中執(zhí)行的多路復(fù)用處理的流程圖；圖15是圖示在圖11的步驟S7中執(zhí)行的提取處理的流程圖；圖16是圖示在圖11的步驟S9中執(zhí)行的音頻輸出處理的流程圖；圖17是在圖11的步驟SlO中執(zhí)行的視頻輸出處理的流程圖；圖18是圖示多路復(fù)用幀狀態(tài)信息的示例的圖；圖19是圖示信息處理設(shè)備的處理的流程圖；圖20是圖示圖19的步驟SlOl中執(zhí)行的視頻接收處理的流程圖；圖21是圖示在圖19的步驟S102中執(zhí)行的音頻接收處理的流程圖；圖22是圖示在圖19的步驟S104中執(zhí)行的多路復(fù)用處理的流程圖23是圖示在圖19的步驟S107中執(zhí)行的提取處理的流程圖；圖M是圖示在圖19的步驟S108中執(zhí)行的音頻輸出處理的流程圖；圖25是圖示在圖19的步驟S109中執(zhí)行的視頻輸出處理的流程圖；圖沈是圖示多路復(fù)用視頻幀的示例的圖；圖27是圖示多路復(fù)用視頻幀的另一示例的圖；圖28是圖示信息處理設(shè)備的另一示例構(gòu)造的框圖；圖四是圖示用于輸入的多路復(fù)用視頻幀的區(qū)域構(gòu)造的圖；圖30是圖示要被多路復(fù)用的視頻幀的示例；圖31是圖示其中數(shù)據(jù)從下向上插入的多路復(fù)用視頻幀的示例；圖32是圖示從下向上布置的優(yōu)點(diǎn)的示例的圖；圖33是圖示用于輸出的多路復(fù)用視頻幀的區(qū)域構(gòu)造的示例的圖；圖34是圖示其中數(shù)據(jù)從上至下輸入的多路復(fù)用視頻幀的示例的圖；圖35是圖示從上至下布置的優(yōu)點(diǎn)的圖；并且圖36是圖示計算機(jī)的示例的框圖。
具體實(shí)施例方式信息處理設(shè)備的總體構(gòu)造圖1是圖示根據(jù)本發(fā)明的實(shí)施例的信息處理設(shè)備1的示例構(gòu)造的框圖。信息處理設(shè)備1可以是被配置為使用具有單輸入單輸出視頻端口的處理器43來 對視頻數(shù)據(jù)流和音頻數(shù)據(jù)流這兩個流進(jìn)行處理并將視頻數(shù)據(jù)流和音頻數(shù)據(jù)流這兩個流輸 出的裝置。從外部供應(yīng)的視頻流#1的視頻信號與同步信號一起被輸入至視頻接收電路 21-1，并且視頻流#2的視頻信號與同步信號一起被輸入至視頻接收電路21-2。視頻流#1和#2可以具有相同的格式或不同的格式，例如解析度、幀率、掃描協(xié)議、 傳輸協(xié)議、以及壓縮協(xié)議。視頻流#1和#2的幀的輸入定時可以不一定彼此同步。從外部供應(yīng)的音頻流#1的音頻信號被輸入至音頻接收電路31-1，并且音頻流#2 的音頻信號被輸入至音頻接收電路31-2。音頻信號可以例如三線音頻(其具有時鐘信號、 數(shù)據(jù)信號、以及表示采樣頻率的信號)的模式被輸入至音頻接收電路31-1和31-2。音頻流#1和#2也可以具有相同的格式或不同的格式，例如采用頻率、比特數(shù)、以 及信道數(shù)。此外，音頻流#1和#2的輸入定時可以不一定彼此同步。音頻可以配屬于視頻， 或者可以與視頻相獨(dú)立。視頻接收電路21-1包括線纜均衡器、并行器、各種解碼器、4:2:2/4:4:4解碼器、 模擬/數(shù)字(A/D)轉(zhuǎn)換器、以及任意其他合適裝置。視頻接收電路21-1對輸入視頻信號執(zhí) 行諸如A/D轉(zhuǎn)換之類的各種處理，并產(chǎn)生視頻流#1的視頻信號的幀數(shù)據(jù)。視頻接收電路21-1還獲得作為配屬于視頻流#1的幀數(shù)據(jù)的信息進(jìn)行傳輸?shù)妮o助 數(shù)據(jù)。輔助數(shù)據(jù)是使用視頻空白時段(video blanking period)進(jìn)行傳輸?shù)臄?shù)據(jù)。輔助數(shù) 據(jù)包括諸如時間碼(timecode)、視頻索引(video index)、以及封閉字幕之類的非影像數(shù)據(jù) fn息ο視頻接收電路21-1向幀同步器22-1輸出所產(chǎn)生的幀數(shù)據(jù)、輔助數(shù)據(jù)以及與視頻流#1相關(guān)的視頻格式信息。視頻格式信息是與視頻信號的格式相關(guān)的信息，并被包括在下 述的多路復(fù)用幀布置信息中。以下將描述包括在多路復(fù)用幀布置信息中的信息(例如視頻 格式信息)。幀同步器22-1使得多個視頻流之間的幀的定時同步，并使從視頻接收電路21-1 供應(yīng)的一個幀的數(shù)據(jù)存儲在幀存儲器23-1中。幀同步器22-1還使從視頻接收電路21-1 供應(yīng)的視頻流#1的輔助數(shù)據(jù)及視頻格式信息存儲在幀存儲器23-1中。根據(jù)來自多路復(fù)用電路42-1的請求，幀同步器22-1從幀存儲器23_1讀取數(shù)據(jù)， 并輸出該數(shù)據(jù)。關(guān)于實(shí)施，如果具有不同頻率的時鐘被用作視頻接收電路21-1、幀同步器22-1和 多路復(fù)用電路42-1的工作時鐘，則在視頻接收電路21-1與幀同步器22-1之間以及在幀同 步器22-1與多路復(fù)用電路42-1之間設(shè)置諸如雙端口隨機(jī)存取存儲器(RAM)之類的先入先 出機(jī)制(FIFO)。通過FIFO的數(shù)據(jù)被可靠地發(fā)送和接收。此外，可以減少存儲器存取期間數(shù)
據(jù)率偏差。FIFO也可以被適當(dāng)?shù)卦O(shè)置在視頻接收電路21-2與幀同步器22-2之間以及影像傳 感器22與多路復(fù)用電路42-2之間。同樣在用于處理音頻數(shù)據(jù)的構(gòu)造中，F(xiàn)IFO可以被適當(dāng) 地設(shè)置在音頻接收電路31-1與存儲器控制電路32-1之間，存儲器控制電路32-1與多路復(fù) 用電路42-3之間，以及存儲器控制電路32-2與多路復(fù)用電路42-4之間。這里，不保證視頻流#1的輸入視頻信號的幀頻率和如下所述多路復(fù)用視頻信號 的幀頻率一致。幀同步器22-1通過將存儲在幀存儲器23-1中的視頻數(shù)據(jù)冗余地供應(yīng)至多 路復(fù)用電路42-1 (連續(xù)供應(yīng)相同幀的數(shù)據(jù))或通過跳過數(shù)據(jù)的讀取，來吸收幀頻率之間的 差異。視頻流#1的視頻信號的幀頻率和多路復(fù)用視頻信號的幀頻率之間的一致化在日本 未經(jīng)審查的專利申請公開號2009-71701中描述。與視頻接收電路21-1相似，視頻接收電路21-2對輸入視頻信號執(zhí)行各種處理，并 產(chǎn)生視頻流#2的幀數(shù)據(jù)。視頻接收電路21-2還獲得視頻流#2的輔助數(shù)據(jù)。視頻接收電路21-2將所產(chǎn)生的幀數(shù)據(jù)、輔助數(shù)據(jù)和與視頻流#2相關(guān)的視頻格式 信息輸出至幀同步器22-2。與幀同步器22-1相似，幀同步器22-2使各個視頻信號流之間的幀定時同步，并使 得從視頻接收電路21-2供應(yīng)的幀數(shù)據(jù)存儲在幀存儲器23-2中。幀同步器22-2還使得從視 頻接收電路21-2供應(yīng)的輔助數(shù)據(jù)和與視頻流#2相關(guān)的視頻格式信息存儲在幀存儲器23-2中。根據(jù)來自多路復(fù)用電路42-2的請求，幀同步器22-2從幀存儲器23_2讀取數(shù)據(jù)， 并輸出數(shù)據(jù)。幀同步器22-2還根據(jù)需要冗余地讀取存儲在幀存儲器23-2中的幀數(shù)據(jù)或跳 過讀取。音頻接收電路31-1對輸入音頻信號執(zhí)行各種處理，例如A/D轉(zhuǎn)換、采樣率轉(zhuǎn)換、以 及串行/并行(S/P)轉(zhuǎn)換，并產(chǎn)生音頻流#1的音頻數(shù)據(jù)。所產(chǎn)生的音頻數(shù)據(jù)由音頻樣本的 時間序列構(gòu)成。音頻接收電路31-1將音頻流#1的音頻數(shù)據(jù)劃分(截取)為音頻數(shù)據(jù)項(xiàng)，每個所 述音頻數(shù)據(jù)項(xiàng)具有在與多路復(fù)用視頻幀的一個幀時段對應(yīng)的時段期間輸入的樣本。音頻接 收電路31-1還將得到的音頻樣本數(shù)據(jù)項(xiàng)與樣本數(shù)信息(其是表示其音頻樣本的數(shù)量的信
11息)一起輸出至存儲器控制電路32-1。表示多路復(fù)用視頻幀的一個幀時段的同步信號從多 路復(fù)用視頻信號產(chǎn)生電路41供應(yīng)至音頻接收電路31-1。多路復(fù)用視頻幀將在下文描述。圖2是圖示被截取的音頻樣本的示例。在圖2中，橫軸表示時間，時間軸上的實(shí)線表示音頻樣本。在圖2的示例中，從多 路復(fù)用視頻信號產(chǎn)生電路41供應(yīng)的同步信號(豎直同步信號)界定了時段T1(其是從時刻 、到時刻t2的時間段)和時段T2(其是從時刻t2到時刻t3的時間段)中的每個均是多路 復(fù)用視頻幀的一個幀時段。音頻接收電路31-1對時段T1期間輸入的音頻樣本的數(shù)量進(jìn)行計數(shù)，并在時刻t2 的定時截取在時段T1期間輸入的音頻樣本。音頻接收電路31-1將截取的音頻樣本的數(shù)據(jù) 作為要在時段T1期間被多路復(fù)用到從多路復(fù)用視頻信號產(chǎn)生電路41輸出的多路復(fù)用視頻 幀中的數(shù)據(jù)，與樣本數(shù)信息一起輸出至存儲器控制電路32-1。相似地，音頻接收電路31-1截取時段T2期間輸入的音頻樣本，并將截取的音頻樣 本的數(shù)據(jù)作為要在時段T2期間被多路復(fù)用到從多路復(fù)用視頻信號產(chǎn)生電路41輸出的多路 復(fù)用視頻幀中的數(shù)據(jù)，與樣本數(shù)信息一起輸出。對音頻數(shù)據(jù)的處理與對視頻數(shù)據(jù)的處理的不同之處在于不使用同步器功能。在原 理方面，不不允許音頻數(shù)據(jù)的冗余或丟棄。因此，在音頻接收電路31-1中，基于多路復(fù)用視 頻幀的同步信號，在一個幀時段期間輸入的音頻樣本被原樣截取作為要被多路復(fù)用到一個 多路復(fù)用視頻幀中的音頻數(shù)據(jù)。如果音頻數(shù)據(jù)的采樣頻率不是多路復(fù)用視頻幀的幀頻率的整數(shù)倍，則會在一個幀 時段期間輸入至音頻接收電路31-1的音頻樣本的數(shù)量方面產(chǎn)生變化。樣本數(shù)信息也被多 路復(fù)用至多路復(fù)用視頻幀中，從而使得已經(jīng)接收了多路復(fù)用視頻幀的處理器43等能夠判 斷已經(jīng)被多路復(fù)用在多路復(fù)用視頻幀中的音頻樣本的數(shù)量。再參照圖1，音頻接收電路31-1還將與音頻流#1相關(guān)的音頻格式信息輸出至存儲 器控制電路32-1。音頻格式信息是與音頻信號的格式相關(guān)的信息，并被包括在多路復(fù)用幀 布置信息中。存儲器控制電路32-1使得從音頻接收電路31-1供應(yīng)的音頻樣本的數(shù)據(jù)、樣本數(shù) 信息和音頻格式信息存儲在存儲器33-1中。根據(jù)來自多路復(fù)用電路42-3的請求，存儲器 控制電路32-1從存儲器33-1讀取數(shù)據(jù)，并輸出數(shù)據(jù)。與音頻接收電路31-1相似，音頻接收電路31-2執(zhí)行對輸入音頻信號的各種處理， 并產(chǎn)生音頻流#2的音頻數(shù)據(jù)。音頻接收電路31-2將音頻流#2的音頻數(shù)據(jù)劃分為音頻數(shù) 據(jù)項(xiàng)(每個所述音頻數(shù)據(jù)項(xiàng)具有在與多路復(fù)用視頻幀的一個幀時段期間輸入的樣本)，并 且將各個得到的音頻數(shù)據(jù)項(xiàng)與樣本數(shù)信息一起輸出至存儲器控制電路32-2。音頻接收電路31-2還將與音頻流#2相關(guān)的音頻格式信息輸出至存儲器控制電路 32-2。存儲器控制電路32-2使得從音頻接收電路31-2供應(yīng)的音頻樣本的數(shù)據(jù)、樣本數(shù) 信息和音頻格式信息存儲在存儲器33-2中。根據(jù)來自多路復(fù)用電路42-4的請求，音頻接 收電路32-2從存儲器33-2讀取數(shù)據(jù)，并輸出數(shù)據(jù)。多路復(fù)用視頻信號產(chǎn)生電路41可以是具有振蕩器和鎖相環(huán)路的頻率倍增器 (PLL)。多路復(fù)用視頻信號產(chǎn)生電路41產(chǎn)生要被輸入至處理器43或從處理器43輸出的視頻幀，其中視頻數(shù)據(jù)和音頻數(shù)據(jù)的各個流被多路復(fù)用。通過多路復(fù)用視頻信號產(chǎn)生電路41 產(chǎn)生的視頻幀可以是具有在其中例如用于傳輸?shù)膸挷怀^處理器43的視頻端口的帶寬 的范圍內(nèi)允許的最大尺寸(像素數(shù)量)的幀。此后，將用于多路復(fù)用視頻數(shù)據(jù)、音頻數(shù)據(jù)等的視頻幀成為“多路復(fù)用視頻幀”。此 外，將多路復(fù)用視頻幀的信號稱為“多路復(fù)用視頻信號”。圖3是圖示多路復(fù)用視頻幀的示例的圖。如圖3所示，由多路復(fù)用視頻信號產(chǎn)生電路41產(chǎn)生的多路復(fù)用視頻幀可以是其中 沒有視頻數(shù)據(jù)或音頻數(shù)據(jù)被多路復(fù)用的影像。多路復(fù)用視頻信號產(chǎn)生電路41將多路復(fù)用 視頻幀構(gòu)造信息插入到多路復(fù)用視頻幀中。多路復(fù)用視頻幀構(gòu)造信息是與多路復(fù)用視頻幀 的構(gòu)造相關(guān)的信息，并被包括在多路復(fù)用幀布置信息中。多路復(fù)用視頻幀的尺寸大于各個流的視頻的幀尺寸與在多路復(fù)用視頻幀的一個 幀時段期間輸入的各個流的音頻的音頻數(shù)據(jù)的尺寸的總和?？梢詫⒏鱾€流的視頻的幀貼附 于多路復(fù)用視頻幀以彼此不重疊。還可以將在多路復(fù)用視頻幀的一個幀時段期間輸入的各 個流的音頻的音頻樣本的數(shù)據(jù)插入。多路復(fù)用視頻信號產(chǎn)生電路41將多路復(fù)用視頻幀的數(shù)據(jù)和同步信號輸出至多路 復(fù)用電路42-1。多路復(fù)用視頻幀的同步信號與多路復(fù)用視頻幀的數(shù)據(jù)一起被供應(yīng)至設(shè)置于 多路復(fù)用電路42-1之后的各電路。從多路復(fù)用視頻信號產(chǎn)生電路41輸出的同步信號也被 供應(yīng)至音頻接收電路31-1和31-2。多路復(fù)用電路42-1將其數(shù)據(jù)已經(jīng)根據(jù)請求從幀同步器22-1供應(yīng)的視頻流#1的 幀貼付(插入)至從多路復(fù)用視頻信號產(chǎn)生電路41供應(yīng)的多路復(fù)用視頻幀。在將視頻流 #1的幀貼附至多路復(fù)用視頻幀之后，多路復(fù)用電路42-1將視頻多路復(fù)用相關(guān)信息插入到 多路復(fù)用視頻幀中。視頻多路復(fù)用相關(guān)信息是與視頻幀的多路復(fù)用和布置相關(guān)的信息，并 被包括在多路復(fù)用幀布置信息中。多路復(fù)用電路42-1還將從幀同步器22-1供應(yīng)的與視頻流#1相關(guān)的視頻格式信 息以及輔助數(shù)據(jù)插入到多路復(fù)用視頻幀中。多路復(fù)用電路42-1將具有插入其中的各種數(shù)據(jù)的多路復(fù)用視頻幀的數(shù)據(jù)輸出至 多路復(fù)用電路42-2。從多路復(fù)用電路42-1輸出的多路復(fù)用視頻幀除了包含由多路復(fù)用視 頻信號產(chǎn)生電路41插入的多路復(fù)用視頻幀構(gòu)造信息之外，還包含視頻流#1的幀數(shù)據(jù)、視頻 格式信息、輔助數(shù)據(jù)和視頻多路復(fù)用相關(guān)信息。多路復(fù)用電路42-2將其數(shù)據(jù)已經(jīng)根據(jù)請求從幀同步器22-2供應(yīng)的視頻流#2的 幀貼付(插入)至從多路復(fù)用電路42-1供應(yīng)的多路復(fù)用視頻幀。視頻流#2的一個幀被貼 附在不與視頻流#1的幀重疊的位置。在將視頻流#2的幀貼附至多路復(fù)用視頻幀之后，多 路復(fù)用電路42-2將視頻多路復(fù)用相關(guān)信息插入到多路復(fù)用視頻幀中。多路復(fù)用電路42-2還將從幀同步器22-2供應(yīng)的與視頻流#2相關(guān)的視頻格式信 息以及輔助數(shù)據(jù)插入到多路復(fù)用視頻幀中。多路復(fù)用電路42-2將具有插入其中的各種數(shù)據(jù)的多路復(fù)用視頻幀的數(shù)據(jù)輸出至 多路復(fù)用電路42-3。從多路復(fù)用電路42-2輸出的多路復(fù)用視頻幀的數(shù)據(jù)是其中視頻流#1 的一個幀的數(shù)據(jù)和視頻流#2的一個幀的數(shù)據(jù)已經(jīng)被多路復(fù)用的數(shù)據(jù)。多路復(fù)用電路42-3將已經(jīng)根據(jù)請求從存儲器控制電路32-1供應(yīng)的音頻流#1的音頻樣本的數(shù)據(jù)、樣本數(shù)信息和音頻格式信息插入到從多路復(fù)用電路42-2供應(yīng)的多路復(fù) 用視頻幀。在將音頻流#1的音頻樣本的數(shù)據(jù)插入之后，多路復(fù)用電路42-3還將音頻多路 復(fù)用相關(guān)信息插入到多路復(fù)用視頻幀中。音頻多路復(fù)用相關(guān)信息是與音頻樣本的數(shù)據(jù)的多 路復(fù)用和布置相關(guān)的信息，并被包括在多路復(fù)用幀布置信息中。多路復(fù)用電路42-3將具有插入其中的數(shù)據(jù)的多路復(fù)用視頻幀的數(shù)據(jù)輸出至多路 復(fù)用電路42-4。多路復(fù)用電路42-4將已經(jīng)根據(jù)請求從音頻接收電路32-2供應(yīng)的音頻流#2的音 頻樣本的數(shù)據(jù)、樣本數(shù)信息和音頻格式信息插入到從多路復(fù)用電路42-3供應(yīng)的多路復(fù)用 視頻幀。多路復(fù)用電路42-4將其中已經(jīng)插入數(shù)據(jù)的多路視頻幀的數(shù)據(jù)輸出至處理器43。 即，一個視頻數(shù)據(jù)流被輸入處理器43。圖4是圖示在多路復(fù)用之后獲得的多路復(fù)用視頻幀的示例的圖。這里，將描述使用多路復(fù)用視頻幀的視頻數(shù)據(jù)和音頻數(shù)據(jù)的多路復(fù)用。也以相似 方式將多路復(fù)用幀布置信息進(jìn)行多路復(fù)用。在以下描述中，根據(jù)需要，布置在水平線中的像 素由線表示。在圖4的示例中，視頻流#1的幀被貼附使得幀的左上角與多路復(fù)用視頻幀的有效 影像幀的左上端對準(zhǔn)。視頻流#1的幀的第一線與多路復(fù)用視頻幀的第一線一致。此外，視頻流#2的幀被貼附為不與視頻流#1的幀重疊，使得視頻流#2的幀的第 一線與多路復(fù)用視頻幀的第m線對準(zhǔn)。此外，音頻流#1的音頻數(shù)據(jù)被插入到第(n-2)線與下一線(S卩，第(n_l)線)之 間，并且音頻流#2的音頻數(shù)據(jù)被插入到多路復(fù)用視頻幀的底部線(即，第η線)中。圖5是圖示其中各個數(shù)據(jù)項(xiàng)以如圖4所示的方式貼附的多路復(fù)用視頻幀的視頻信 號的示例的圖。如圖5所示，當(dāng)繪制在時間軸上時，多路復(fù)用視頻信號其中由多路復(fù)用視頻幀的 第一線至第η線的范圍內(nèi)的線的數(shù)據(jù)被傳輸?shù)母鱾€時段的信號構(gòu)成。在圖5的示例中，時段T1 (作為從時刻、至?xí)r刻t2的時段)是多路復(fù)用視頻幀的 第一線的數(shù)據(jù)被傳輸?shù)臅r段，時段T2 (作為從時刻t2至?xí)r刻t3的時段)是多路復(fù)用視頻幀 的第二線的數(shù)據(jù)被傳輸?shù)臅r段。此外，時段Tm(作為從時刻tm至?xí)r刻tm+1的時段)是多路復(fù)用視頻幀的第m線的 數(shù)據(jù)被傳輸?shù)臅r段，時段Tn_2 (作為從時刻tn_2至?xí)r刻tn_i的時段)是多路復(fù)用視頻幀的第 n-2線的數(shù)據(jù)被傳輸?shù)臅r段。時段Tlri (作為從時刻tn_i至?xí)r刻tn的時段)是多路復(fù)用視 頻幀的第n-1線的數(shù)據(jù)被傳輸?shù)臅r段，并且時段Tn(作為從時刻tn至?xí)r刻tn+1的時段)是 多路復(fù)用視頻幀的第η線的數(shù)據(jù)被傳輸?shù)臅r段。如果各個數(shù)據(jù)項(xiàng)以如圖4所示的方式貼附，則視頻流#1的幀的第一線的信號被插 入在多路復(fù)用視頻信號的時段T1中。此外，視頻流#1的幀的第二線的信號被插入在多路 復(fù)用視頻信號的時段T2中。視頻流#1的幀的第m線的信號和視頻流#2的幀的第一線的信號在兩者之間具有 預(yù)定間隔的情況下被分別插入在多路復(fù)用視頻幀的時段Tm的前一半和后一半中。視頻流#1的音頻樣本(其數(shù)量由樣本數(shù)信息表示)的信號被插入在多路復(fù)用視 頻幀的時段τη_2和Tlri中的每個中。
視頻流#2的音頻樣本(其數(shù)量由樣本數(shù)信息表示)的信號被插入在多路復(fù)用視 頻幀的時段Tn中。以此方式，通過將數(shù)據(jù)的信號插入到構(gòu)成多路復(fù)用視頻信號的全部時段當(dāng)中的、 與多路復(fù)用視頻幀中數(shù)據(jù)的插入位置對應(yīng)的時段中，來完成要被輸入至處理器43的數(shù)據(jù) 的多路復(fù)用。將諸如幀數(shù)據(jù)和音頻數(shù)據(jù)之類的數(shù)據(jù)貼附于或插入到多路復(fù)用視頻幀中意味著 將該數(shù)據(jù)與貼附位置或插入位置相對應(yīng)地作為多路復(fù)用視頻幀的數(shù)據(jù)進(jìn)行傳輸。多路復(fù)用 視頻幀的數(shù)據(jù)用作其中所貼附或插入的數(shù)據(jù)已經(jīng)被多路復(fù)用的數(shù)據(jù)。再參照圖1，處理器43提取在被輸入至視頻端口(視頻輸入)的多路復(fù)用視頻幀 的數(shù)據(jù)中被多路復(fù)用的各視頻數(shù)據(jù)流和各音頻數(shù)據(jù)流，并對所提取的數(shù)據(jù)執(zhí)行預(yù)定處理。 處理器43可以是諸如中央處理單元(CPU)、圖形處理單元(GPU)、數(shù)字信號處理器(DSP)、或 片上系統(tǒng)(SoC)裝置之類的運(yùn)算單元。例如，以與下述由提取電路45-3和45-4執(zhí)行的提取相似的方式來執(zhí)行視頻數(shù)據(jù) 的提取，并且以與提取電路45-1和45-2執(zhí)行的提取相似的方式來執(zhí)行音頻數(shù)據(jù)的提取。處理器43還將已經(jīng)對其執(zhí)行了處理的各個流的視頻幀和音頻樣本貼附于多路復(fù) 用視頻幀，并將這些數(shù)據(jù)項(xiàng)多路復(fù)用。如果由處理器43從多路復(fù)用視頻幀提取的數(shù)據(jù)的位 置與處理之后獲得的數(shù)據(jù)的插入位置不同，則根據(jù)需要使被插入在多路復(fù)用視頻幀中的視 頻多路復(fù)用相關(guān)信息和音頻多路復(fù)用相關(guān)信息進(jìn)行更新。處理器43從視頻端口(視頻輸出)輸出其中處理之后獲得的數(shù)據(jù)項(xiàng)已經(jīng)被多路 復(fù)用的多路復(fù)用視頻幀的數(shù)據(jù)。來自處理器43的輸出也是一個視頻數(shù)據(jù)流。來自處理器 43的輸出的多路復(fù)用視頻幀的數(shù)據(jù)與同步信號一起被供應(yīng)至提取電路45-1。來自處理器 43的輸出的同步信號也被供應(yīng)至定時產(chǎn)生電路44。定時產(chǎn)生電路44根據(jù)從處理器43供應(yīng)的同步信號或者各個流的視頻和音頻格式 產(chǎn)生輸出定時信號，基于所述定時信號確定各個流的視頻幀和音頻樣本的輸出定時。從提 取電路45-1至45-4供應(yīng)與每個流中的視頻和音頻的格式相關(guān)的信息。具體而言，定時產(chǎn)生電路44根據(jù)從處理器43供應(yīng)的同步信號以及與從提取電路 45-4供應(yīng)的視頻流#1相關(guān)的視頻格式信息產(chǎn)生用于視頻流#1的輸出定時信號，并將輸出 定時信號輸出至視頻發(fā)送電路53-1。定時產(chǎn)生電路44還根據(jù)從處理器43供應(yīng)的同步信號以及與從提取電路45_3供 應(yīng)的視頻流#2相關(guān)的視頻格式信息產(chǎn)生用于視頻流#2的輸出定時信號，并將輸出定時信 號輸出至視頻發(fā)送電路53-2。定時產(chǎn)生電路44根據(jù)從處理器43供應(yīng)的同步信號以及與從提取電路45_2供應(yīng) 的音頻流#1相關(guān)的音頻格式信息來產(chǎn)生用于音頻流#1的輸出定時信號，并將輸出定時信 號輸出至音頻發(fā)送電路63-1。定時產(chǎn)生電路44根據(jù)從處理器43供應(yīng)的同步信號以及從提取電路45_1供應(yīng)的 與音頻流#2相關(guān)的音頻格式信息來產(chǎn)生用于音頻流#2的輸出定時信號，并將輸出定時信 號輸出至音頻發(fā)送電路63-2。提取電路45-1由從處理器43供應(yīng)的多路復(fù)用視頻幀的數(shù)據(jù)提取音頻流#2的音 頻樣本的數(shù)據(jù)。
由提取電路45-1提取的音頻流#2的音頻樣本的數(shù)據(jù)的多路復(fù)用位置由被插入到 多路復(fù)用視頻幀中的音頻流#2相關(guān)的音頻多路復(fù)用相關(guān)信息表示。此外，被插入多路復(fù)用 視頻幀的音頻流#2的音頻樣本的數(shù)量由與音頻流#2相關(guān)的樣本數(shù)信息表示。當(dāng)被供應(yīng)多路復(fù)用視頻幀時，提取電路45-1提取與音頻流#2相關(guān)的樣本數(shù)信息， 并識別被插入多路復(fù)用視頻幀的音頻流#2的音頻樣本的數(shù)量。此外，提取電路45-1提取 被插入在由與音頻流#2相關(guān)的音頻多路復(fù)用相關(guān)信息表示的線(其量對應(yīng)于所識別的音 頻樣本的數(shù)量)中的數(shù)據(jù)，作為音頻流#2的音頻樣本的數(shù)據(jù)。提取電路45-1將音頻流#2的音頻樣本的提取數(shù)據(jù)輸出至存儲器控制電路61-2。 提取電路45-1還提取被插入在多路復(fù)用視頻幀中的與音頻流#2相關(guān)的音頻格式信息，并 將音頻格式信息輸出至定時產(chǎn)生電路44和存儲器控制電路61-2。提取電路45-1將從處理器43供應(yīng)的多路復(fù)用視頻幀的數(shù)據(jù)輸出至提取電路 45-2。提取電路45-2以與提取電路45-1相似的方式由從提取電路45-1供應(yīng)的多路復(fù) 用視頻幀提取音頻流#1的音頻樣本的數(shù)據(jù)。換言之，提取電路45-2提取與音頻流#1相關(guān)的樣本數(shù)量信息，并規(guī)定插入多路復(fù) 用視頻幀的音頻流#1的音頻樣本的數(shù)量。提取電路45-2還提取插入由與音頻流#1相關(guān) 的音頻多路復(fù)用相關(guān)信息表示的線中的數(shù)據(jù)(其大小對應(yīng)于規(guī)定的音頻樣本的數(shù)量)作為 音頻流#1的音頻樣本的數(shù)據(jù)。提取電路45-2向存儲器控制電路61-1輸出音頻流#1的音 頻樣本的提取數(shù)據(jù)。提取電路45-2還提取與插入多路復(fù)用視頻幀中的音頻流#1相關(guān)的音 頻格式信息，并向定時產(chǎn)生電路44以及存儲器控制電路61-1輸出音頻格式信息。提取電路45-2將從提取電路45-1供應(yīng)的多路復(fù)用視頻幀的數(shù)據(jù)輸出至提取電路 45-3。提取電路45-3由從提取電路45-2供應(yīng)的多路復(fù)用視頻幀的數(shù)據(jù)提取視頻流#2 的幀數(shù)據(jù)。要由提取電路45-3提取的視頻流#2的幀數(shù)據(jù)的插入位置由被插入在多路復(fù)用視 頻幀中的與視頻流#2相關(guān)的視頻多路復(fù)用相關(guān)信息表示。提取電路45-3從多路復(fù)用視頻 幀提取由與視頻流#2相關(guān)的視頻多路復(fù)用相關(guān)信息表示的位置的數(shù)據(jù)，作為視頻流#2的 幀數(shù)據(jù)。提取電路45-3將所提取的視頻流#2的幀數(shù)據(jù)輸出至幀同步器51_2。提取電路 45-3還提取被插入在多路復(fù)用視頻幀中的與視頻流#2相關(guān)的視頻格式信息，并將視頻格 式信息輸出至定時產(chǎn)生電路44和幀同步器51-2。提取電路45-3將從提取電路45-2供應(yīng)的多路復(fù)用視頻幀的數(shù)據(jù)輸出至提取電路 45-4。提取電路45-4由從提取電路45-3供應(yīng)的多路復(fù)用視頻幀的數(shù)據(jù)提取視頻流#1 的幀數(shù)據(jù)。要由提取電路45-4提取的視頻流#1的幀數(shù)據(jù)的插入位置由被插入在多路復(fù)用視 頻幀中的與視頻流#1相關(guān)的視頻多路復(fù)用相關(guān)信息表示。提取電路45-4從多路復(fù)用視頻 幀提取由與視頻流#1相關(guān)的視頻多路復(fù)用相關(guān)信息表示的位置的數(shù)據(jù)，作為視頻流#1的 幀數(shù)據(jù)。
提取電路45-4將所提取的視頻流#1的幀數(shù)據(jù)輸出至幀同步器51-1。提取電路 45-4還提取被插入在多路復(fù)用視頻幀中的與視頻流#1相關(guān)的視頻格式信息，并將視頻格 式信息輸出至定時產(chǎn)生電路44和幀同步器51-1。幀同步器51-1使得從提取電路45-4供應(yīng)的視頻流#1的幀數(shù)據(jù)和與視頻流#1相 關(guān)的視頻格式信息被存儲在幀存儲器52-1中。根據(jù)來自視頻發(fā)送電路53-1的請求，幀同 步器51-1從幀存儲器52-1讀取數(shù)據(jù)，并輸出數(shù)據(jù)。視頻發(fā)送電路53-1包括線纜驅(qū)動器、串行化器、各種編碼器、4:2:2/4:4:4轉(zhuǎn)換 器、數(shù)字/模擬(D/A)轉(zhuǎn)換器、以及任意其他合適的裝置。視頻發(fā)送電路53-1根據(jù)從定時產(chǎn)生電路44供應(yīng)的輸出定時信號，將根據(jù)請求從 幀同步器51-1供應(yīng)的視頻流#1的幀數(shù)據(jù)與同步信號一起輸出至信息處理設(shè)備1的外部。在將視頻流#1的幀數(shù)據(jù)輸出至信息處理設(shè)備1的外部之前，視頻發(fā)送電路53-1 適當(dāng)?shù)貓?zhí)行基于與視頻流#1相關(guān)的視頻格式信息來調(diào)節(jié)視頻流#1的幀數(shù)據(jù)的數(shù)據(jù)格式的處理。就實(shí)施而言，如果將具有不同頻率的時鐘用作提取電路45-4、幀同步器51-1和視 頻發(fā)送電路53-1的工作時鐘，則將諸如雙端口 RAM之類的FIFO設(shè)置在提取電路45-4與幀 同步器51-1之間以及幀同步器51-1與視頻發(fā)送電路53-1之間。通過FIFO的數(shù)據(jù)可以被 可靠地發(fā)送和接收。此外，也可以減小存儲器存取期間的數(shù)據(jù)率偏差。FIFO也適當(dāng)?shù)卦O(shè)置在提取電路45-3與幀同步器51_2之間以及幀同步器51_2與 視頻發(fā)送電路53-2之間。同樣在用于處理音頻數(shù)據(jù)的構(gòu)造中，將FIFO適當(dāng)?shù)卦O(shè)置在提取電 路45-2與存儲器控制電路61-1之間，存儲器控制電路61-1與音頻發(fā)送電路63_1之間，提 取電路45-1與存儲器控制電路61-2之間，以及存儲器控制電路61-2與音頻發(fā)送電路63_2 之間。這里，不保證視頻流#1的輸出視頻信號的幀頻率和多路復(fù)用視頻信號的幀頻率 一致。幀同步器51-1通過將幀存儲器52-1中存儲的視頻數(shù)據(jù)冗余地供應(yīng)(將相同幀的視 頻數(shù)據(jù)連續(xù)地供應(yīng))至視頻發(fā)送電路53-1或者通過跳過數(shù)據(jù)的讀取，來吸收幀頻率之間的差。幀同步器51-2使得從提取電路45-3供應(yīng)的視頻流#2的幀數(shù)據(jù)和與視頻流#2相 關(guān)的視頻格式信息存儲在幀存儲器52-2中。根據(jù)來自視頻發(fā)送電路53-2的請求，幀同步 器51-2從幀存儲器52-2讀取數(shù)據(jù)，并輸出該數(shù)據(jù)。與視頻發(fā)送電路53-1相似，視頻發(fā)送電路53-2根據(jù)從定時產(chǎn)生電路44供應(yīng)的輸 出定時信號，將響應(yīng)于請求從幀同步器51-2供應(yīng)的視頻流#2的幀數(shù)據(jù)與同步信號一起輸 出至外部。在將視頻流#2的幀數(shù)據(jù)輸出至信息處理設(shè)備1的外部之前，視頻發(fā)送電路53-2 適當(dāng)?shù)貓?zhí)行用于基于與視頻流#2相關(guān)的視頻格式信息來調(diào)節(jié)視頻流視頻流#2的幀數(shù)據(jù)的 數(shù)據(jù)格式。存儲器控制電路61-1使得從提取電路45-2供應(yīng)的音頻流#1的數(shù)據(jù)臨時地存儲 在存儲器62-1中。存儲器62-1以多路復(fù)用視頻幀的一個幀時段期間輸入的音頻樣本為單 位存儲音頻流#1的音頻數(shù)據(jù)。存儲器62-1還存儲與視頻流#1相關(guān)的音頻格式信息。根據(jù)來自音頻發(fā)送電路63-1的請求，存儲器控制電路61-1從存儲器62_1讀取數(shù)據(jù)，并輸出該數(shù)據(jù)。音頻發(fā)送電路63-1根據(jù)從定時產(chǎn)生電路44供應(yīng)的輸出定時信號，以一個樣本的 數(shù)據(jù)為單位將從存儲器控制電路61-1供應(yīng)的音頻流#1的音頻樣本的數(shù)據(jù)輸出至信息處理 設(shè)備1的外部。在將音頻流#1的音頻樣本的數(shù)據(jù)輸出至信息處理設(shè)備1的外部之前，音頻發(fā)送電 路63-1適當(dāng)?shù)貓?zhí)行用于基于與音頻流#1相關(guān)的音頻格式信息來調(diào)節(jié)音頻流#1的音頻樣 本的數(shù)據(jù)格式的處理。存儲器控制電路61-2使得從提取電路45-1供應(yīng)的音頻流#2的音頻樣本的數(shù)據(jù) 暫時地存儲在存儲器62-2中。存儲器62-2以多路復(fù)用視頻幀的一個幀時段期間輸入的音 頻樣本為單位存儲音頻流#2的音頻數(shù)據(jù)。存儲器62-2還存儲與音頻流#2相關(guān)的音頻格 式fe息。根據(jù)來自音頻發(fā)送電路63-2的請求，存儲器控制電路61-2從存儲器62_2讀取數(shù) 據(jù)，并輸出該數(shù)據(jù)。音頻發(fā)送電路63-2根據(jù)從定時產(chǎn)生電路44供應(yīng)的輸出定時信號，以一個樣本的 數(shù)據(jù)為單位將從存儲器控制電路61-2供應(yīng)的音頻流#2的音頻樣本的數(shù)據(jù)輸出至信息處理 設(shè)備1的外部。在將音頻流#2的音頻樣本的數(shù)據(jù)輸出至信息處理設(shè)備1的外部之前，音頻發(fā)送電 路63-2適當(dāng)?shù)貓?zhí)行用于基于與音頻流#2相關(guān)的音頻格式信息來調(diào)節(jié)音頻流#2的音頻樣 本的數(shù)據(jù)格式的處理。在圖1中，兩個視頻數(shù)據(jù)流和兩個音頻數(shù)據(jù)流被輸入至信息處理設(shè)備1，并受到處 理。但是，被輸入的數(shù)據(jù)流的數(shù)量可以根據(jù)需要改變。例如，信息處理設(shè)備1可以對于每個視頻數(shù)據(jù)流設(shè)置有與視頻接收電路21-1、幀 同步器22-1、幀存儲器23-1和多路復(fù)用電路42-1相似的構(gòu)造，作為輸入側(cè)的構(gòu)造。信息 處理設(shè)備1也可以設(shè)置有與提取電路45-4、幀同步器51-1、幀存儲器52-1和視頻發(fā)送電路 53-1相似的構(gòu)造，作為輸出側(cè)的構(gòu)造。信息處理設(shè)備1對于每個音頻數(shù)據(jù)流設(shè)置有與音頻接收電路31-1、存儲器控制電 路32-1、存儲器33-1和多路復(fù)用電路42-3相似的構(gòu)造，作為輸入側(cè)的構(gòu)造。信息處理設(shè)備 1也可以設(shè)置有與提取電路45-2、存儲器控制電路61-1、存儲器62-1和音頻發(fā)送電路63-1 相似的構(gòu)造，作為輸出側(cè)的構(gòu)造。如合適，在以下說明中，除非另外單獨(dú)地指明，否則具有相同名稱的電路由橫線前 相同的數(shù)字表示。視頻接口圖6是圖示視頻接口的示意圖。在視頻接口中，水平同步信號(H-Sync)、豎直同步信號(V-Sync)、場標(biāo)記信號 (Field Flag)、包括影像和聲音的數(shù)據(jù)信號(Data)、表示時鐘的激活信號(EN)等從發(fā)送器 側(cè)傳輸至接收器側(cè)。場標(biāo)記信號表示第一場或第二場。使用如圖6所示的視頻接口傳輸?shù)囊曨l信號的波形的示例如圖7所示。在圖7的 上部中的信號組#11中，圖示了隔行視頻信號的波形的示例，并且在圖7的下部中的信號組 #12中，圖示了逐行視頻信號的波形的示例。
18
在如圖7中的信號組#11所示的波形當(dāng)中在由實(shí)線箭頭表示的范圍內(nèi)的波形的細(xì) 節(jié)在圖8中示出。圖8圖示了高解析度(HD)影像的視頻信號的波形的示例。如圖8所示，在豎直同步信號(V)的一個周期期間傳輸用于一個場(540線)的數(shù) 據(jù)(Data)(有效視頻)。此外，在水平同步信號(H)的一個周期期間傳輸用于一個線的數(shù)據(jù) (Data) (1920 個像素)。多路復(fù)用幀布置信息多路復(fù)用幀布置信息包括如上所述的多路復(fù)用視頻幀構(gòu)造信息、視頻多路復(fù)用相 關(guān)信息、視頻格式信息、音頻多路復(fù)用相關(guān)信息、音頻格式信息、以及用作音頻的貼附數(shù)據(jù) 的樣本數(shù)信息。將參照圖9和10描述以上各信息。如圖9所示，多路復(fù)用視頻幀構(gòu)造信息包括表示多路復(fù)用視頻幀的水平長度、水 平空白長度、水平有效長度、豎直長度、豎直空白長度、以及豎直有效長度的信息。多路復(fù)用視頻幀構(gòu)造信息還包括表示多路復(fù)用視頻幀的幀結(jié)構(gòu)(隔行或逐行)、 幀頻率、比特寬度(8比特/10比特/12比特/16比特)的信息。視頻多路復(fù)用相關(guān)信息包括表示視頻(幀數(shù)據(jù))的是否存在、多路復(fù)用位置、水平 尺寸、豎直尺寸、以及多路復(fù)用線間隔的信息。視頻的是否存在由表示視頻數(shù)據(jù)是否以及被 多路復(fù)用的標(biāo)記來表示，并且多路復(fù)用位置由用作起點(diǎn)位置的位置(例如，所貼附的幀的 左上角)相對于多路復(fù)用視頻幀的作為原點(diǎn)的預(yù)定位置的χ坐標(biāo)和y坐標(biāo)表示。視頻多路復(fù)用相關(guān)信息還包括表示輔助數(shù)據(jù)的是否存在、多路復(fù)用位置、水平尺 寸、豎直尺寸、以及多路復(fù)用線間隔的信息。輔助數(shù)據(jù)的是否存在由表示輔助數(shù)據(jù)是否已經(jīng) 被多路復(fù)用的標(biāo)記表示，并且多路復(fù)用位置由用作起點(diǎn)的位置(例如在輔助數(shù)據(jù)的開始處 的數(shù)據(jù)的位置)相對于多路復(fù)用視頻幀的用作原點(diǎn)預(yù)定位置的χ坐標(biāo)和y坐標(biāo)表示。對于每個流的視頻數(shù)據(jù)均設(shè)置包括以上信息的視頻多路復(fù)用相關(guān)信息。視頻格式信息包括表示時鐘頻率、空白脈沖的極性(H，V)、水平長度、水平空白長 度、水平有效長度、豎直長度、豎直空白長度、以及豎直有效長度的信息。視頻格式信息還包括表示幀結(jié)構(gòu)(隔行/逐行)、幀頻率、影像格式(交錯/平 面)、比特數(shù)(8比特/10比特/12比特/14比特/16比特)的信息。視頻格式信息還包 括表示采樣格式0:2:2/4:4:4/4:1:1)、顏色數(shù)和顏色格式(RGB/YcbCr/CMYK/六色/八色 /...)、輔助數(shù)據(jù)的線數(shù)、以及時間碼的線數(shù)的信息。針對每個流的每個視頻數(shù)據(jù)均設(shè)置視頻格式信息。如圖10所示，音頻多路復(fù)用相關(guān)信息包括表示音頻樣本的數(shù)據(jù)的是否存在、多路 復(fù)用位置水平尺寸、豎直尺寸、以及多路復(fù)用線間隔的信息。音頻樣本的數(shù)據(jù)的是否存在由 表示音頻樣本的數(shù)據(jù)是否已經(jīng)被多路復(fù)用的標(biāo)記表示，并且多路復(fù)用位置由在音頻樣本的 數(shù)據(jù)已經(jīng)被插入所在的區(qū)域中用作起點(diǎn)的位置相對于多路復(fù)用視頻幀的用作原點(diǎn)預(yù)定位 置的X坐標(biāo)和y坐標(biāo)表示。針對每個流的每個音頻數(shù)據(jù)均設(shè)置音頻多路復(fù)用信息。音頻格式信息包括表示時鐘頻率、信道數(shù)(單聲道/雙-單聲道/立體 聲.../5. lch/7. lch/9. Ich)、采樣頻率(32kHz/44. lkHz/48kHz/96kHz/192kHz)、以及比特 數(shù)(16比特/20比特/24比特)的信息。
針對每個流的每個音頻數(shù)據(jù)均設(shè)置音頻格式信息。也針對每個流的每個音頻數(shù)據(jù)均設(shè)置用作音頻的貼附信息的樣本數(shù)信息表示被包括在多路復(fù)用幀布置信息中的每個信息的插入位置的信息被預(yù)先設(shè)定 為表示輸入電路與處理器43之間以及處理器43與輸出電路之間的共用位置。輸入電路表示被配置為將數(shù)據(jù)輸入至處理器43的整個電路，并且輸出電路表示 將數(shù)據(jù)從處理器43輸出至信息處理設(shè)備1的外部的整個電路。輸入電路包括圖1中的視頻接收電路21、幀同步器22、幀存儲器23、音頻接收電路 31、存儲器控制電路32、存儲器33、多路復(fù)用視頻信號產(chǎn)生電路41、以及多路復(fù)用電路42。 輸出電路包括圖1中的定時產(chǎn)生電路44、提取電路45、幀同步器51、幀存儲器52、視頻發(fā)送 電路53、存儲器控制電路61、存儲器62、以及音頻發(fā)送電路63。輸入電路的操作現(xiàn)在將描述與被包括在多路復(fù)用幀布置信息中的各個信息相關(guān)的輸入電路的處理。由多路復(fù)用視頻信號產(chǎn)生電路41將多路復(fù)用視頻幀構(gòu)造信息插入多路復(fù)用視頻 幀。處理器43能夠基于多路復(fù)用視頻幀構(gòu)造信息來識別多路復(fù)用視頻幀的數(shù)據(jù)區(qū)域(有 效影像幀)。視頻多路復(fù)用相關(guān)信息由對視頻數(shù)據(jù)進(jìn)行處理的多路復(fù)用電路42(在圖1的示例 中，多路復(fù)用電路42-1和多路復(fù)用電路42- 產(chǎn)生，并被插入到多路復(fù)用視頻幀中。視頻 多路復(fù)用相關(guān)信息可以預(yù)先設(shè)定在對視頻數(shù)據(jù)進(jìn)行處理的多路復(fù)用電路42中，或者可以 根據(jù)要被多路復(fù)用的視頻數(shù)據(jù)自動地產(chǎn)生。如果預(yù)先設(shè)定視頻多路復(fù)用相關(guān)信息，則該信息被存儲在例如對視頻數(shù)據(jù)進(jìn)行處 理的多路復(fù)用電路42中的寄存器中。多路復(fù)用電路42將存儲在寄存器中的視頻多路復(fù)用 相關(guān)信息插入到多路復(fù)用視頻幀中。如果根據(jù)要被多路復(fù)用的視頻數(shù)據(jù)自動地產(chǎn)生視頻多路復(fù)用相關(guān)信息，則在對視 頻數(shù)據(jù)進(jìn)行處理的多路復(fù)用電路42中設(shè)置用于基于視頻數(shù)據(jù)的格式來自動地確定要被多 路復(fù)用的視頻數(shù)據(jù)的插入位置的功能(電路)。多路復(fù)用電路42將通過使用該功能確定的 插入位置所表示的信息作為多路復(fù)用相關(guān)信息插入到多路復(fù)用視頻幀中。處理器43能夠基于多路復(fù)用相關(guān)信息從多路復(fù)用視頻幀提取所需要的視頻幀的 流的數(shù)據(jù)。視頻格式信息從視頻接收電路21輸出，并通過對視頻數(shù)據(jù)進(jìn)行處理的多路復(fù)用 電路42插入到多路復(fù)用視頻幀中。視頻格式信息可以被預(yù)先設(shè)定在視頻接收電路21中， 或可以根據(jù)基于視頻信號檢測到的格式來由視頻接收電路21產(chǎn)生。視頻格式信息也可以 由影像傳感器22而不是視頻接收電路21產(chǎn)生。處理器43能夠基于視頻格式信息確定從多路復(fù)用視頻幀提取的視頻幀的數(shù)據(jù)的 構(gòu)造。音頻多路復(fù)用相關(guān)信息由對音頻數(shù)據(jù)進(jìn)行處理的多路復(fù)用電路42(在圖1的示例 中，多路復(fù)用電路42-3和多路復(fù)用電路42-4)產(chǎn)生，并被插入到多路復(fù)用視頻幀中。音頻 多路復(fù)用相關(guān)信息可以被預(yù)先設(shè)定在對音頻數(shù)據(jù)進(jìn)行處理的多路復(fù)用電路42中，或可以 根據(jù)要被多路復(fù)用的音頻數(shù)據(jù)自動地產(chǎn)生。
如果預(yù)先設(shè)定音頻多路復(fù)用相關(guān)信息，則該信息被存儲在例如對音頻數(shù)據(jù)進(jìn)行處 理的多路復(fù)用電路42中的寄存器中。多路復(fù)用電路42將存儲在寄存器中的音頻多路復(fù)用 相關(guān)信息插入到多路復(fù)用視頻幀中。如果根據(jù)要被多路復(fù)用的音頻數(shù)據(jù)自動地產(chǎn)生音頻多路復(fù)用相關(guān)信息，則在對音 頻數(shù)據(jù)進(jìn)行處理的多路復(fù)用電路42中設(shè)置用于基于音頻數(shù)據(jù)的格式來自動地確定要被多 路復(fù)用的音頻數(shù)據(jù)的插入位置的功能(電路)。多路復(fù)用電路42將通過使用該功能確定的 插入位置所表示的信息作為音頻多路復(fù)用相關(guān)信息插入到多路復(fù)用視頻幀中。處理器43能夠基于音頻多路復(fù)用相關(guān)信息從多路復(fù)用視頻幀提取所需要的流中 的音頻樣本的數(shù)據(jù)。音頻格式信息從音頻接收電路31輸出，并通過對音頻數(shù)據(jù)進(jìn)行處理的多路復(fù)用 電路42被插入到多路復(fù)用視頻幀中。音頻格式信息可以被預(yù)先設(shè)定在音頻接收電路31中， 或可以根據(jù)基于音頻信號檢測到的格式來由音頻接收電路31產(chǎn)生。音頻格式信息也可以 由存儲器控制電路32而不是音頻接收電路31產(chǎn)生。處理器43能夠基于音頻格式信息判定從多路復(fù)用視頻幀提取的音頻樣本的數(shù)據(jù) 的構(gòu)造。樣本數(shù)信息由音頻接收電路31產(chǎn)生，并通過對音頻數(shù)據(jù)進(jìn)行處理的多路復(fù)用電 路42被插入到多路復(fù)用視頻幀中。樣本數(shù)信息也可以由存儲器控制電路32而不是音頻接 收電路31產(chǎn)生。處理器43能夠基于樣本數(shù)信息確定由音頻多路復(fù)用相關(guān)信息所指明的音頻數(shù)據(jù) 的插入位置內(nèi)的有效區(qū)域(音頻樣本被實(shí)際插入所在的區(qū)域)。輸出電路的操作現(xiàn)在將描述與被包括在多路復(fù)用幀布置信息中的各個信息相關(guān)的輸出電路的處理。被插入在從處理器43輸出的多路復(fù)用視頻幀中的視頻多路復(fù)用相關(guān)信息由對視 頻數(shù)據(jù)進(jìn)行處理的提取電路45 (在圖1中，提取電路45-3和提取電路45-4)讀取，并被用 于提取幀數(shù)據(jù)。視頻格式信息也由對視頻數(shù)據(jù)進(jìn)行處理的提取電路45讀取，并被供應(yīng)至定時產(chǎn) 生電路44和視頻發(fā)送電路53。定時產(chǎn)生電路44基于視頻格式信息產(chǎn)生用于視頻發(fā)送電路53的輸出定時信號 (視頻的H-Sync和V-Sync)。視頻發(fā)送電路53執(zhí)行用于基于視頻格式信息來調(diào)節(jié)信號輸 出格式的處理。例如，由視頻發(fā)送電路53的D/A轉(zhuǎn)換器執(zhí)行D/A轉(zhuǎn)換，或者執(zhí)行格式的轉(zhuǎn)換。被插入在從處理器43輸出的多路復(fù)用視頻幀中的音頻多路復(fù)用相關(guān)信息由對音 頻數(shù)據(jù)進(jìn)行處理的提取電路45 (在圖1的示例中，提取電路45-1和提取電路45- 讀取， 并被用于提取音頻樣本。音頻格式信息由對音頻數(shù)據(jù)進(jìn)行處理的提取電路45讀取，并被供應(yīng)至定時產(chǎn)生 電路44和音頻發(fā)送電路63。定時產(chǎn)生電路44基于音頻格式信息產(chǎn)生用于音頻發(fā)送電路63的輸出定時信號 (視頻和音頻的fs)。音頻發(fā)送電路63執(zhí)行用于基于音頻格式信息調(diào)節(jié)信號輸出格式的處理。例如，由被包括在音頻發(fā)送電路63中的采樣率轉(zhuǎn)換器執(zhí)行采樣率的轉(zhuǎn)換，由其D/A轉(zhuǎn) 換器執(zhí)行D/A轉(zhuǎn)換，并執(zhí)行格式的轉(zhuǎn)換。信息處理設(shè)備的操作這里，將參照圖11的流程圖描述如圖1所示的信息處理設(shè)備1的處理。在步驟Si，視頻接收電路21-1和21-2執(zhí)行視頻接收處理。在步驟S2，音頻接收電路31-1和31_2執(zhí)行音頻接收處理。在步驟S3，多路復(fù)用視頻信號產(chǎn)生電路41產(chǎn)生多路復(fù)用視頻幀。在步驟S4,多路復(fù)用視頻信號產(chǎn)生電路41將多路復(fù)用視頻幀構(gòu)造信息插入到多 路復(fù)用視頻幀中，并輸出多路復(fù)用視頻幀的數(shù)據(jù)和同步信號。在步驟S5，提取電路45-1至45_4執(zhí)行多路復(fù)用處理。在步驟S6，處理器43提取被輸入至視頻端口的多路復(fù)用視頻幀的數(shù)據(jù)中所多路 復(fù)用的視頻數(shù)據(jù)和音頻數(shù)據(jù)，并執(zhí)行預(yù)定處理。處理器43從視頻端口輸出其中在處理之后 獲得的數(shù)據(jù)已經(jīng)被多路復(fù)用的多路復(fù)用視頻幀的數(shù)據(jù)。在步驟S7，提取電路45-1至45_4執(zhí)行提取處理。在步驟S8，定時產(chǎn)生電路44基于對應(yīng)的流的視頻和音頻的格式來產(chǎn)生對于每個 數(shù)據(jù)流的輸出定時信號，并輸出該輸出定時信號。在步驟S9，音頻發(fā)送電路63-1和63_2執(zhí)行音頻輸出處理。在步驟S10，視頻發(fā)送電路53-1和53_2執(zhí)行視頻輸出處理。在已經(jīng)完成視頻輸出 處理之后，處理結(jié)束。接著，將參照圖12的流程圖描述在圖11的步驟Sl中執(zhí)行的視頻接收處理。在步驟Sl 1，視頻接收電路21-1接收輸入視頻信號，并執(zhí)行諸如A/D轉(zhuǎn)換之類的各 種處理以產(chǎn)生視頻流#1的幀數(shù)據(jù)和輔助數(shù)據(jù)。視頻接收電路21-2也執(zhí)行相似處理以產(chǎn)生 視頻流#2的幀數(shù)據(jù)和輔助數(shù)據(jù)。在步驟S12，視頻接收電路21-1檢測格式，并產(chǎn)生與視頻流#1相關(guān)的視頻格式信 息。在此示例中，通過檢測格式來產(chǎn)生視頻格式信息。在步驟S13，幀同步器22-1使得視頻流#1的幀數(shù)據(jù)、輔助數(shù)據(jù)和視頻格式信息存 儲在幀存儲器23-1中。幀同步器22-2也使得視頻流#2的幀數(shù)據(jù)、輔助數(shù)據(jù)和視頻格式信 息存儲在幀存儲器23-2中。在視頻流#1的數(shù)據(jù)和視頻流#2的數(shù)據(jù)被存儲在幀存儲器23中之后，處理返回圖 11的步驟Si，并執(zhí)行后續(xù)步驟。接著，將參照圖13的流程圖描述圖11的步驟S2中執(zhí)行的音頻接收處理。在步驟S21，音頻接收電路31-1接收輸入音頻信號，并執(zhí)行諸如A/D轉(zhuǎn)換之類的處 理以產(chǎn)生由音頻樣本的時間序列構(gòu)成的音頻流#1的音頻數(shù)據(jù)。音頻接收電路31-2也執(zhí)行 相似處理以產(chǎn)生音頻流#2的音頻數(shù)據(jù)。在步驟S22，音頻接收電路31-1檢測格式，并產(chǎn)生與視頻流#1相關(guān)的音頻格式信 息。在此示例中，通過檢測格式來產(chǎn)生音頻格式信息。在步驟S23，音頻接收電路31-1在對樣本數(shù)進(jìn)行計數(shù)的同時截取在多路復(fù)用視頻 幀的一個幀時段內(nèi)輸入的音頻流#1的音頻樣本。音頻接收電路31-2也執(zhí)行相似處理，并 截取在多路復(fù)用視頻幀的一個幀時段內(nèi)輸入的音頻流#2的音頻樣本。
在步驟S24，存儲器控制電路32-1使得所截取的音頻流#1的音頻樣本的數(shù)據(jù)、樣 本數(shù)信息以及音頻格式信息存儲在存儲器33-1中。存儲器控制電路32-2也使得所截取的 音頻流#2的音頻樣本的數(shù)據(jù)、樣本數(shù)信息以及音頻格式信息存儲在存儲器33-2中。在音頻流#1的數(shù)據(jù)和音頻流#2的數(shù)據(jù)被存儲在存儲器33中之后，處理返回至圖 11的步驟S2，并執(zhí)行后續(xù)步驟。接著，將參照圖14的流程圖描述在圖11的步驟S5中執(zhí)行的多路復(fù)用處理。在圖 11的步驟S3中產(chǎn)生的多路復(fù)用視頻幀的數(shù)據(jù)被供應(yīng)至多路復(fù)用電路42-1。在步驟S31，多路復(fù)用電路42-1請求幀同步器22_1從幀存儲器23_1讀取視頻流 #1的數(shù)據(jù)。從幀存儲器23-1讀取視頻流#1的幀數(shù)據(jù)、輔助數(shù)據(jù)和視頻格式信息。在步驟S32，多路復(fù)用電路42-1將從幀存儲器23_1讀取的視頻流#1的幀數(shù)據(jù)插 入到多路復(fù)用視頻幀中。在步驟S33，多路復(fù)用電路42-1將從幀存儲器23_1讀取的視頻流#1的輔助數(shù)據(jù) 插入到多路復(fù)用視頻幀中。在步驟S34，多路復(fù)用電路42-1將從幀存儲器23_1讀取的視頻流#1的幀數(shù)據(jù)的 插入位置和視頻格式信息插入到多路復(fù)用視頻幀中。還由多路復(fù)用電路42-2執(zhí)行與步驟S31至S34相似的處理，從幀存儲器23_2讀 取的視頻流#2的幀數(shù)據(jù)被插入到從多路復(fù)用電路42-1供應(yīng)的多路復(fù)用視頻幀中。與視頻 流#2相關(guān)的視頻多路復(fù)用相關(guān)信息和視頻格式信息也被插入。在步驟S35，多路復(fù)用電路42-3請求存儲器控制電路32_1從存儲器33_1讀取數(shù) 據(jù)。從存儲器33-1讀取視頻流#1的音頻樣本的數(shù)據(jù)、樣本數(shù)信息和音頻格式信息。在步驟S36，多路復(fù)用電路42-3將音頻流#1的音頻樣本的數(shù)據(jù)插入到從多路復(fù)用 電路42-2供應(yīng)的多路復(fù)用視頻幀中。在步驟S37，多路復(fù)用電路42-3將與視頻流#1相關(guān)的樣本數(shù)信息、音頻多路復(fù)用 相關(guān)信息和音頻格式信息插入到從多路復(fù)用電路42-2供應(yīng)的多路復(fù)用視頻幀中。還由多路復(fù)用電路42-4執(zhí)行與S35至S37相似的處理。從存儲器33_2讀取的音 頻流#2的音頻樣本的數(shù)據(jù)與樣本數(shù)信息、音頻多路復(fù)用相關(guān)信息和音頻格式信息一起被 插入到從多路復(fù)用電路42-3供應(yīng)的多路復(fù)用視頻幀中。在全部視頻數(shù)據(jù)和音頻數(shù)據(jù)的流已經(jīng)被插入到多路復(fù)用視頻幀中之后，處理返回 至圖11的步驟S5，并執(zhí)行后續(xù)步驟。接著，將參照圖15的流程圖描述在圖11的步驟S7中執(zhí)行的提取處理。在步驟S51，提取電路45-1接收從處理器43輸出的多路復(fù)用視頻幀的數(shù)據(jù)。在步驟S52，提取電路45-1基于被插入到多路復(fù)用視頻幀中的音頻多路復(fù)用相關(guān) 信息和樣本數(shù)信息從多路復(fù)用視頻幀提取音頻流#2的音頻樣本的數(shù)據(jù)。在步驟S53，提取電路45-1從多路復(fù)用視頻幀提取與音頻流#2相關(guān)的音頻格式信 肩、ο在步驟S54，存儲器控制電路61-2使得由提取電路45_1提取的音頻流#2的音頻 樣本的數(shù)據(jù)和音頻格式信息存儲在存儲器62-2中。還由提取電路45-2和存儲器控制電路61-1執(zhí)行與步驟S52至SM相似的處理，并 將從多路復(fù)用視頻幀提取的音頻流#1的音頻樣本和音頻格式信息存儲在存儲器62-1中。
23
在步驟S55，提取電路45-3基于被插入在多路復(fù)用視頻幀中的視頻多路復(fù)用相關(guān) 信息從多路復(fù)用視頻幀提取視頻流#2的幀數(shù)據(jù)和輔助數(shù)據(jù)。在步驟S56，提取電路45-3從多路復(fù)用視頻幀提取視頻格式信息。在步驟S57，幀同步器51-2使得由提取電路45_3提取的與視頻流#2相關(guān)的幀數(shù) 據(jù)、輔助數(shù)據(jù)和視頻格式信息存儲在幀存儲器52-2中。還由提取電路45-4和幀同步器51-1執(zhí)行與步驟S55至S57相似的處理。從多路 復(fù)用視頻幀提取的與視頻流#1相關(guān)的幀數(shù)據(jù)、輔助數(shù)據(jù)和視頻格式信息被存儲在幀存儲 器52-1中。在已經(jīng)從多路復(fù)用視頻幀提取全部視頻數(shù)據(jù)和音頻數(shù)據(jù)的流之后，處理返回至圖 11的步驟S7，并執(zhí)行后續(xù)處理。接著，將參照圖16的流程圖描述在圖11的步驟S9中執(zhí)行的音頻輸出處理。在步驟S61，音頻發(fā)送電路63-2請求存儲器控制電路61_2從存儲器62_2讀取音 頻流#2的音頻樣本和音頻格式信息。在步驟S62，音頻發(fā)送電路63-2執(zhí)行用于基于音頻格式信息調(diào)節(jié)信號輸出格式的處理。在步驟S63，音頻發(fā)送電路63-2以一個樣本的數(shù)據(jù)為單位將其輸出格式已經(jīng)經(jīng)過 調(diào)節(jié)的音頻流#2的音頻數(shù)據(jù)輸出至外部。還由音頻發(fā)送電路63-1執(zhí)行與步驟S61至S63相似的處理，并將從存儲器62_1 讀取的音頻流#1的音頻數(shù)據(jù)輸出至外部。在已經(jīng)輸出全部音頻數(shù)據(jù)的流之后，處理返回至圖11的步驟S9，并執(zhí)行后續(xù)步
馬聚ο接著，將參照圖17的流程圖描述在圖11的步驟SlO中執(zhí)行的視頻輸出處理。在步驟S71，視頻發(fā)送電路53-2請求幀同步器51_2從幀存儲器52_2讀取視頻流 #2的幀數(shù)據(jù)和視頻格式信息。在步驟S72，視頻發(fā)送電路53-2執(zhí)行用于基于視頻格式信息調(diào)節(jié)信號輸出格式的處理。在步驟S73，視頻發(fā)送電路53-2將其輸出格式已經(jīng)經(jīng)過調(diào)節(jié)的視頻流#2的幀數(shù)據(jù) 輸出至外部。如果已經(jīng)從多路復(fù)用視頻幀提取視頻流#2的輔助數(shù)據(jù)，則還根據(jù)需要從幀存 儲器52-2讀取輔助數(shù)據(jù)，并將輔助數(shù)據(jù)與幀數(shù)據(jù)一起輸出至外部。還由視頻發(fā)送電路53-1執(zhí)行與步驟S71至S73相似的處理，并將從幀存儲器52_1 讀取的視頻流#1的幀數(shù)據(jù)輸出至外部。在全部視頻流的幀數(shù)據(jù)已經(jīng)輸出之后，處理返回至圖11的步驟S10，并執(zhí)行后續(xù)處理。上述步驟的處理可以不一定按照圖中所示的順序執(zhí)行，并可以根據(jù)需要與其他步 驟的處理并行地執(zhí)行，或者在其他步驟的處理之前或之后執(zhí)行。利用上述這些系列的處理，可以將視頻數(shù)據(jù)和音頻數(shù)據(jù)的多個流輸入至包括一個 輸入視頻端口的處理器43。此外，將視頻數(shù)據(jù)和音頻數(shù)據(jù)的多個流從包括一個輸出視頻端 口的處理器43輸出。換言之，能夠利用一個視頻端口高效地進(jìn)行將數(shù)據(jù)輸入至處理器43 和從處理器43輸出數(shù)據(jù)。
此外，可以保證將數(shù)據(jù)輸入至信息處理設(shè)備1的較高的靈活性和較高的自由度。S卩，從輸入電路將與數(shù)據(jù)的多路復(fù)用位置相關(guān)的信息等提供給后續(xù)的階段，因此 不需要在輸入電路與處理器43之間以及處理器43與輸出電路之間以固定的方式預(yù)先設(shè)定 數(shù)據(jù)的多路復(fù)用位置等。由此，可以改變多路復(fù)用位置，從而使得容易支持信號的各種組合的輸入。例如， 四個HD視頻幀可以被貼附于4KXI多路復(fù)用視頻幀，或者可以貼附四個SD視頻幀?？梢?包含HD幀和SD幀兩者?？梢詢H通過改變輸入電路的設(shè)定來支持信號的各種組合。此外，可以避免或降低在輸入電路與處理器43之間以及處理器43與輸出電路之 間的設(shè)定方面的不匹配的風(fēng)險。輸入電路也能夠基于通過自動地判定是否存在信號或者信號的類型(格式)來改 變或修改多路復(fù)用視頻幀。例如，可以由輸入電路基于特定的準(zhǔn)則而不是根據(jù)用戶輸入來 自動地擦除未從多路復(fù)用視頻幀輸入的信道的數(shù)據(jù)(不將該數(shù)據(jù)插入到多路復(fù)用視頻幀 中)的操作。此外，也可以由輸入電路執(zhí)行判定在要輸入的視頻幀的SD/HD之間切換以及 改變視頻要被插入的區(qū)域的尺寸(其在多路復(fù)用視頻幀需要被確保)的操作?；诙嗦窂?fù)用幀布置信息自動地調(diào)節(jié)輸出信號的格式的操作也可以由輸出電路 執(zhí)行。因?yàn)檩敵鲭娐肥悄軌蜃x取多路復(fù)用幀布置信息并自動地改變輸出格式的電路，所以 可以不用在輸出電路中執(zhí)行額外設(shè)定。在輸入視頻數(shù)據(jù)包含幀和場的情況下，對多路復(fù)用幀布置信息的界定可以有助于 數(shù)據(jù)傳輸。例如，可以產(chǎn)生具有60Hz的幀頻率的多路復(fù)用視頻信號并可以利用該多路復(fù)用 視頻信號將具有60Hz的場頻率的視頻數(shù)據(jù)進(jìn)行多路復(fù)用，或者，可以產(chǎn)生具有30Hz的幀頻 率的多路復(fù)用視頻信號，并可以利用該多路復(fù)用視頻信號將具有60Hz的場頻率的視頻數(shù) 據(jù)進(jìn)行多路復(fù)用。即使在此情況下，多路復(fù)用幀布置信息的傳輸仍允許正確地存儲原始視 頻信號。此外，將多路復(fù)用幀布置信息插入到各個多路復(fù)用視頻幀中允許對于每個多路復(fù) 用視頻幀使與視頻/音頻數(shù)據(jù)相關(guān)的值進(jìn)行改變和更新。通用輸入/輸出(GPIO)線或者 串行線不能獲得這樣高響應(yīng)的數(shù)據(jù)傳輸。多路復(fù)用狀態(tài)信息圖18是圖示了被包括在多路復(fù)用狀態(tài)信息中的信息的圖。如圖18所示，被包括在多路復(fù)用幀狀態(tài)信息中的信息可以被分離為與數(shù)據(jù)連續(xù) 性相關(guān)的信息、與數(shù)據(jù)可靠性相關(guān)的信息、以及寫入完成標(biāo)記。與連續(xù)性相關(guān)的信息包括表示多路復(fù)用視頻幀的序列號、幀/場識別信息、表示 序列幀號的信息、時間碼、表示音頻樣本的序列號的信息、以及樣本數(shù)信息。幀/場識別信息、表示序列幀號的信息、以及時間碼對于每個其中幀數(shù)據(jù)已經(jīng)被 插入到多路復(fù)用視頻幀中的視頻數(shù)據(jù)流設(shè)定。表示音頻樣本的序列號的信息、以及樣本數(shù) 信息對于每個其中音頻樣本的數(shù)據(jù)已經(jīng)被插入到多路復(fù)用視頻幀中的音頻頻數(shù)據(jù)流設(shè)定。與數(shù)據(jù)可靠性相關(guān)的信息包括多路復(fù)用視頻信號的同步穩(wěn)定性標(biāo)記、視頻信號的 同步穩(wěn)定性標(biāo)記、以及音頻數(shù)據(jù)的有效比特。視頻信號的同步穩(wěn)定性標(biāo)記對于每個其中幀數(shù)據(jù)已經(jīng)被插入到多路復(fù)用視頻幀 中的視頻數(shù)據(jù)流設(shè)定。音頻數(shù)據(jù)的有效比特對于每個其中音頻樣本的數(shù)據(jù)已經(jīng)被插入到多路復(fù)用視頻幀中的音頻頻數(shù)據(jù)流設(shè)定。由處理器43設(shè)定的視頻寫入完成標(biāo)記對于每個其中幀數(shù)據(jù)已經(jīng)被插入到多路復(fù) 用視頻幀中的視頻數(shù)據(jù)流設(shè)定。音頻寫入完成標(biāo)記對于每個其中音頻樣本的數(shù)據(jù)已經(jīng)被插 入到多路復(fù)用視頻幀中的音頻頻數(shù)據(jù)流設(shè)定。全部流寫入完成標(biāo)記對于每個多路復(fù)用視頻 幀設(shè)定。表示被包括在多路復(fù)用幀狀態(tài)信息中的各個信息的插入位置的信息被預(yù)先設(shè)定， 以表示在輸入電路與處理器43之間以及處理器43與輸出電路之間的共同位置。輸入電路表示被配置為將數(shù)據(jù)輸入至處理器43的整個電路，并且輸出電路表示 被配置為將從處理器43輸出的數(shù)據(jù)輸出至信息處理設(shè)備1的外部的整個電路。輸入電路包括圖1中的視頻接收電路21、幀同步器22、幀存儲器23、音頻接收電路 31、存儲器控制電路32、存儲器33、多路復(fù)用視頻信號產(chǎn)生電路41和多路復(fù)用電路42。輸 出電路包括圖1中的定時產(chǎn)生電路44、提取電路45、幀同步器51、幀存儲器52、視頻發(fā)送電 路53、存儲器控制電路61、存儲器62和音頻發(fā)送電路63。輸入電路的操作現(xiàn)在將描述與被包括在多路復(fù)用幀狀態(tài)信息中的各個信息相關(guān)的輸入電路的處理。由多路復(fù)用視頻信號產(chǎn)生電路41將表示多路復(fù)用視頻幀的序列號的信息插入到 多路復(fù)用視頻幀中。表示多路復(fù)用視頻幀的序列號的信息以被插入在多路復(fù)用視頻幀中的 方式供應(yīng)至處理器43。處理器43基于表示多路復(fù)用視頻幀的序列號的信息來判定多路復(fù)用視頻幀的序 列號是否增加1。如果序列號增加了 1，則判定為輸入電路正在正常狀況下工作。如果多路復(fù)用視頻幀的序列號未增加1，則輸入電路可能未在正常狀況下工作。在 此情況下，處理器43執(zhí)行諸如跳過接收整個多路復(fù)用視頻信號(不接收多路復(fù)用視頻幀) 的處理之類的處理。因此，不執(zhí)行其他的操作，帶來處理器43上負(fù)荷的減小。表示視頻數(shù)據(jù)的序列幀號的信息由視頻接收電路21產(chǎn)生，并被臨時存儲在幀存 儲器23中。此后，通過對視頻數(shù)據(jù)進(jìn)行處理的多路復(fù)用電路42 (在圖1的示例中，多路復(fù) 用電路42-1和42-2)將信息插入到多路復(fù)用視頻幀中。表示視頻數(shù)據(jù)的序列幀號的信息 以被插入在多路復(fù)用視頻幀中的方式供應(yīng)至處理器43。處理器43基于表示視頻數(shù)據(jù)的序列幀號判定序列幀號是否增加1。如果序列幀好 增加了 1，則判定為視頻數(shù)據(jù)的連續(xù)性得到維持(不存在幀丟失或冗余)。如果即使視頻信號的同步穩(wěn)定性標(biāo)記為“接通”但序列幀號未增加1，則處理器43 判定為已經(jīng)由幀同步器22引起了幀丟失或冗余?；谛蛄袔?，處理器43可以精確地判 定諸如多少幀被丟失、到哪幀為止被丟失、多少幀冗余之類的信息。例如，如果檢測到幀冗余，處理器43省略用于已經(jīng)被冗余地傳輸?shù)牡诙秃罄m(xù)幀 的處理。因此，可以減小處理器43上的負(fù)荷。如果檢測到幀丟失，則處理器43可以執(zhí)行諸 如內(nèi)插丟失幀或者將丟失幀替換為灰色影像或黑色影像之類的處理。視頻幀/場識別信息和時間碼由視頻接收電路21從輸入視頻信號讀取，并被臨時 存儲在幀存儲器23中。此后，視頻幀/場識別信息和時間碼由對視頻數(shù)據(jù)進(jìn)行處理的多路 復(fù)用電路42插入到多路復(fù)用視頻幀中。處理器43也可以基于幀/場識別信息和時間碼來判定視頻數(shù)據(jù)的連續(xù)性是否得到維持。表示音頻樣本的序列號和樣本數(shù)信息由例如音頻接收電路31產(chǎn)生。以上信息也 可以由存儲器控制電路32產(chǎn)生。表示音頻樣本的序列號的信息以及樣本數(shù)信息被臨時存 儲在存儲器33中，并此后由對音頻數(shù)據(jù)進(jìn)行處理的多路復(fù)用電路42(在圖1的示例中，多 路復(fù)用電路42-3和42-4)插入到多路復(fù)用視頻幀中。處理器43計算被插入在多路復(fù)用視頻幀中的起始音頻樣本的序列號和由樣本數(shù) 信息表示的樣本的數(shù)量的和值。如果通過計算獲得的和值與被插入在接下來的多路復(fù)用視 頻幀中的起始音頻樣本的序列號一致，則處理器43判定為音頻數(shù)據(jù)的連續(xù)性得到維持。如果通過計算獲得的值與被插入到接下來的多路復(fù)用視頻幀中的起始音頻樣本 的序列號不一致，則音頻數(shù)據(jù)的連續(xù)性未得到保證。在此情況下，處理器43執(zhí)行諸如跳過 對于不可靠的音頻數(shù)據(jù)的讀取處理和音頻信號處理以及將該音頻數(shù)據(jù)替換為靜音音頻樣 本之類的處理。因此，不執(zhí)行其他操作，帶來了處理器43上負(fù)荷的減小。多路復(fù)用視頻幀的同步穩(wěn)定性標(biāo)記由多路復(fù)用視頻信號產(chǎn)生電路41插入到多路 復(fù)用視頻幀中。多路復(fù)用視頻信號的同步穩(wěn)定性標(biāo)記以被插入在多路復(fù)用視頻幀中的方式 供應(yīng)至處理器43。處理器43基于多路復(fù)用視頻信號的同步穩(wěn)定性標(biāo)記來判定對所供應(yīng)的多路復(fù)用 視頻幀進(jìn)行闡述的多路復(fù)用視頻信號是否是在維持了同步性的情況下從多路復(fù)用視頻信 號產(chǎn)生電路41輸出的信號。如果同步穩(wěn)定性標(biāo)記為“接通”，則處理器43判定為多路復(fù)用 視頻信號產(chǎn)生電路41正在正常狀況下工作。如果多路復(fù)用視頻信號的同步穩(wěn)定性標(biāo)記不為“接通”，則多路復(fù)用視頻信號本身 的可靠性較低。在此情況下，處理器43執(zhí)行諸如跳過接收整個多路復(fù)用視頻信號的處理之 類的處理。因此，不執(zhí)行其他操作，帶來了處理器43上負(fù)荷的減小。視頻信號的同步穩(wěn)定性標(biāo)記從視頻接收電路21輸出，并由對視頻數(shù)據(jù)進(jìn)行處理 的多路復(fù)用電路42插入到多路復(fù)用視頻幀中。視頻信號的同步穩(wěn)定性標(biāo)記以被插入到多 路復(fù)用視頻幀中的方式供應(yīng)至處理器43。處理器43基于視頻信號的同步穩(wěn)定性標(biāo)記來判定當(dāng)從視頻接收電路21輸出被插 入在多路復(fù)用視頻幀中的視頻幀時是否已經(jīng)在視頻接收電路21中發(fā)生輸入視頻信號的同 步失效。如果視頻信號的同步穩(wěn)定性標(biāo)記為“接通”，則處理器43判定為尚未發(fā)生同步失 效。如果視頻信號的同步穩(wěn)定性標(biāo)記不為“接通”，被插入在多路復(fù)用視頻幀中的視頻 幀的數(shù)據(jù)的可靠性會較低。在此情況下，處理器43判定為被插入在多路復(fù)用視頻幀中的視 頻幀是無效數(shù)據(jù)，并跳過對于該無效視頻數(shù)據(jù)的讀取處理和影像處理。處理器43還執(zhí)行例如如下處理將被插入在多路復(fù)用視頻幀中的視頻幀替換為 諸如灰色影像、黑色影像或靜態(tài)影像之類的另一幀。因此，不執(zhí)行其他操作，帶來了處理器 43上負(fù)荷的減小。由音頻接收電路31將有效比特與在多路復(fù)用視頻幀的一個幀時段期間的音頻樣 本的數(shù)據(jù)一起截取。有效比特以與音頻樣本的數(shù)據(jù)一起被插入在多路復(fù)用視頻幀中的方式 被供應(yīng)至處理器43。如果有效比特不為“接通”，則未保證被插入在多路復(fù)用視頻幀中的音頻樣本的數(shù)據(jù)的可靠性。處理器43跳過對于不可實(shí)現(xiàn)的音頻樣本的數(shù)據(jù)的讀取處理和音頻信號處理。處理器43還執(zhí)行諸如將被插入在多路復(fù)用視頻幀中的音頻樣本的數(shù)據(jù)替換為靜 音數(shù)據(jù)之類的處理。因此，不執(zhí)行其他處理，帶來了在處理器43上負(fù)荷的減小。輸出電路的操作將描述與被包括在多路復(fù)用幀狀態(tài)信息中的各個信息相關(guān)的輸出電路的處理。處理器43在每次從輸入視頻端口輸入多路復(fù)用視頻幀時執(zhí)行對被插入在多路復(fù) 用視頻幀中的各個數(shù)據(jù)流的處理，將處理之后獲得的數(shù)據(jù)進(jìn)行多路復(fù)用，并將得到的數(shù)據(jù) 從輸出視頻端口輸出。以上操作可以不一定在多路復(fù)用視頻幀的一個幀時段內(nèi)完成。為了檢查處理器43是否已經(jīng)經(jīng)過這樣的未在多路復(fù)用視頻幀的一個幀時段內(nèi)完 成操作的情況，可以使用視頻寫入完成標(biāo)記、音頻寫入完成標(biāo)記和全部流寫入完成標(biāo)記。在處理之后獲得的視頻數(shù)據(jù)已經(jīng)被插入到多路復(fù)用視頻幀中之后，處理器43設(shè) 定表示視頻的幀數(shù)據(jù)插入對應(yīng)流中的操作已經(jīng)完成的視頻寫入完成標(biāo)記。在處理之后獲得的音頻數(shù)據(jù)已經(jīng)被插入到多路復(fù)用視頻幀中之后，處理器43設(shè) 定表示音頻的音頻樣本的數(shù)據(jù)插入對應(yīng)流中的操作已經(jīng)完成的音頻寫入完成標(biāo)記。在全部數(shù)據(jù)流已經(jīng)被插入并且已經(jīng)產(chǎn)生了要被輸出至輸出電路的多路復(fù)用視頻 幀之后，處理器43在多路復(fù)用視頻幀中設(shè)定全部流寫入完成標(biāo)記。視頻寫入完成標(biāo)記由對視頻數(shù)據(jù)進(jìn)行處理的提取電路45 (在圖1的示例中，提取 電路45-3和45-4)讀取，并由視頻發(fā)送電路53使用。如果視頻寫入完成標(biāo)記不為“接通”(其表示寫入尚未完成)，則其中設(shè)定有該標(biāo) 記的流的視頻數(shù)據(jù)可能是尚未完全寫入或者尚未寫入的視頻數(shù)據(jù)。在此情況下，視頻發(fā)送電路53執(zhí)行諸如如下處理輸出使用先前幀的靜態(tài)影像、 灰色影像、或黑色影像來代替例如從多路復(fù)用視頻幀提取的視頻幀?？梢允褂帽Ａ粼趲鎯ζ?2中的幀之前的幀來輸出靜態(tài)影像。在此情況下，幀同 步器51通過執(zhí)行防止數(shù)據(jù)寫入幀存儲器52的操作來保持保留在幀存儲器52中的先前幀。 因?yàn)榛疑跋窕蚝谏跋裼删哂泄潭ㄖ档膸纬?，所以可以容易地替換輸出數(shù)據(jù)。音頻寫入完成標(biāo)記由對音頻數(shù)據(jù)進(jìn)行處理的提取電路45 (在圖1的情況下，提取 電路45-1和45-2)讀取，并由音頻發(fā)送電路63使用。如果音頻寫入完成標(biāo)記不為“接通”，則其中設(shè)定有該標(biāo)記的流的音頻數(shù)據(jù)可能是 尚未完全寫入或者尚未寫入的音頻數(shù)據(jù)。在此情況下音頻發(fā)送電路63執(zhí)行諸如如下處理使輸出消音而例如不輸出從多 路復(fù)用視頻幀提取的視頻幀?？梢匀菀椎禺a(chǎn)生靜音數(shù)據(jù)。在此情況下，可以執(zhí)行淡入或淡 出處理來代替使得輸出消音的處理。多路復(fù)用視頻幀的序列號、視頻數(shù)據(jù)的序列號、音頻樣本的序列號、以及樣本數(shù)信 息也可以被用于判定處理器43是否已經(jīng)正確地執(zhí)行了處理。如果視頻數(shù)據(jù)的連續(xù)性或音 頻數(shù)據(jù)的連續(xù)性未得到維持，則視頻發(fā)送電路53或音頻發(fā)送電路63可以執(zhí)行與當(dāng)寫入完 成標(biāo)記不為“接通”時執(zhí)行的處理相似的處理。例如，如果視頻數(shù)據(jù)的序列幀號未增加1，則判定為視頻數(shù)據(jù)的連續(xù)性未得到維 持。此外，如果起始視頻樣本的序列號和由樣本數(shù)信息所表示的樣本的數(shù)量的和值與被插 入在接下來的多路復(fù)用視頻幀中的起始音頻樣本的序列號不一致，則判定為連續(xù)性未得到維持。信息處理設(shè)備的操作這里，將參照圖19的流程圖描述如圖1所示的信息處理設(shè)備1的處理。在步驟S101，視頻接收電路21-1和21_2執(zhí)行視頻接收處理在步驟S102，音頻接收電路31-1和31_2執(zhí)行音頻接收處理。在步驟S103，多路復(fù)用視頻信號產(chǎn)生電路41產(chǎn)生多路復(fù)用視頻幀，并將表示多路 復(fù)用視頻幀的序列號的信息和同步穩(wěn)定性標(biāo)記插入。在步驟S104，多路復(fù)用電路42-1至42_4執(zhí)行多路復(fù)用處理。在步驟S105，處理器43提取被輸入至視頻端口的多路復(fù)用視頻幀的數(shù)據(jù)中所多 路復(fù)用的視頻數(shù)據(jù)和音頻數(shù)據(jù)，并執(zhí)行預(yù)定處理。在步驟S106，處理器43將處理之后獲得的視頻數(shù)據(jù)插入到多路復(fù)用視頻幀中，并 對每個視頻數(shù)據(jù)流在插入完成時的時刻設(shè)定視頻寫入完成標(biāo)記。處理器43還將處理之后 獲得的音頻數(shù)據(jù)插入到多路復(fù)用視頻幀中，并對每個音頻數(shù)據(jù)流在插入完成時的時刻設(shè)定 音頻寫入完成標(biāo)記。處理器43從視頻端口輸出其中數(shù)據(jù)已經(jīng)被多路復(fù)用的多路復(fù)用視頻 幀的數(shù)據(jù)。在步驟S107，提取電路45-1至45_4執(zhí)行提取處理。在步驟S108，音頻發(fā)送電路63-1和63_2執(zhí)行音頻輸出處理在步驟S109，視頻發(fā)送電路53-1和53_2執(zhí)行視頻輸出處理。在已經(jīng)完成視頻輸 出處理之后，處理結(jié)束。接著，將參照圖20的流程圖描述在圖19的步驟SlOl中執(zhí)行的視頻接收處理。在步驟S111，視頻接收電路21-1接收輸入視頻信號，并執(zhí)行諸如A/D轉(zhuǎn)換之類的 各種處理以產(chǎn)生被包括在視頻流#1中的幀數(shù)據(jù)。視頻接收電路21-1還基于視頻流#1的 視頻信號讀取幀/場識別信息和時間碼。在步驟S112，視頻接收電路21-1在步驟Sll中產(chǎn)生的各幀中設(shè)定序列幀號。在步驟S113，幀同步器22-1使得視頻流#1的幀數(shù)據(jù)、幀/場識別信息、時間碼和 表示序列幀號的信息存儲在幀存儲器23-1中。也由視頻接收電路21-2和幀同步器22-2執(zhí)行步驟Sl 11至Sl 13的處理，并將視頻 流#2的幀數(shù)據(jù)、幀/場識別信息、時間碼和表示序列幀號的信息存儲在幀存儲器23-2中。在視頻流#1和#2的數(shù)據(jù)被存儲在幀存儲器23中之后，處理返回圖19的步驟 S101，并執(zhí)行后續(xù)步驟。接著，將參照圖21的流程圖描述在圖19的步驟S102中執(zhí)行的音頻接收處理。在步驟S121，音頻接收電路31-1接收輸入音頻信號，并執(zhí)行諸如A/D轉(zhuǎn)換之類的 處理以產(chǎn)生由音頻樣本的時間序列構(gòu)成的音頻流#1的音頻數(shù)據(jù)。在步驟S122，音頻接收電路31-1基于音頻流#1的音頻信號檢測有效比特。在步驟S123，音頻接收電路31-1在對樣本數(shù)進(jìn)行計數(shù)的同時截取在多路復(fù)用視 頻幀的一個幀時段內(nèi)輸入的音頻流#1的音頻樣本。在步驟S124，音頻接收電路31-1在所截取的音頻樣本中設(shè)定序列號，以產(chǎn)生表示 音頻樣本序列號的信息，并還產(chǎn)生表示所計數(shù)的音頻樣本的數(shù)量的樣本數(shù)信息在步驟S125，存儲器控制電路32-1使得所截取的音頻流#1的音頻樣本的數(shù)據(jù)、有效比特、表示序列號的信息以及樣本數(shù)信息存儲在存儲器33-1中。也由音頻接收電路31-2和存儲器控制電路32-2執(zhí)行步驟S121至S125的處理， 并將所截取的音頻流#2的音頻樣本的數(shù)據(jù)、有效比特、表示序列號的信息以及樣本數(shù)信息 存儲在存儲器33-2中。在音頻流#1和#2的數(shù)據(jù)被存儲在存儲器33中之后，處理返回至圖19的步驟 S102，并執(zhí)行后續(xù)步驟。接著，將參照圖22的流程圖描述圖19的步驟S104中執(zhí)行的多路復(fù)用處理。在圖 19的步驟S103中產(chǎn)生的多路復(fù)用視頻幀的數(shù)據(jù)被供應(yīng)至多路復(fù)用電路42-1。在步驟S131，多路復(fù)用電路42-1請求幀同步器22_1從幀存儲器23_1讀取視頻流 #1的數(shù)據(jù)。從幀存儲器23-1讀取視頻流#1的幀數(shù)據(jù)、幀/場識別信息、時間碼、以及表示 序列幀號的信息。在步驟S132，多路復(fù)用電路42-1將從幀存儲器23_1讀取的視頻流#1的幀數(shù)據(jù)插 入到多路復(fù)用視頻幀中。在步驟S133，多路復(fù)用電路42-1將從幀存儲器23_1讀取的與視頻流#1相關(guān)的多 路復(fù)用幀狀態(tài)信息插入到多路復(fù)用視頻幀中。還由多路復(fù)用電路42-2執(zhí)行與步驟S131至S133相似的處理，并將從幀存儲器 23-2讀取的視頻流#2的幀數(shù)據(jù)和多路復(fù)用幀狀態(tài)信息插入到從多路復(fù)用電路42-1供應(yīng)的 多路復(fù)用視頻幀中。在步驟S134，多路復(fù)用電路42-3請求存儲器控制電路32_1從存儲器33_1讀取數(shù) 據(jù)。從存儲器33-1讀取視頻流#1的音頻樣本的數(shù)據(jù)、有效比特、表示序列號的信息、以及 樣本數(shù)信息。在步驟S135，多路復(fù)用電路42-3將視頻流#1的音頻樣本的數(shù)據(jù)插入到從多路復(fù) 用電路42-2供應(yīng)的多路復(fù)用視頻幀中。在步驟S136，多路復(fù)用電路42-3將與音頻流#1相關(guān)的多路復(fù)用幀狀態(tài)信息插入 到從多路復(fù)用電路42-2供應(yīng)的多路復(fù)用視頻幀中。還由多路復(fù)用電路42-4執(zhí)行與S134至S136相似的處理，并將從存儲器33_2讀 取的音頻流#2的音頻樣本的數(shù)據(jù)和多路復(fù)用幀狀態(tài)信息插入到從多路復(fù)用電路42-3供應(yīng) 的多路復(fù)用視頻幀中。在全部視頻數(shù)據(jù)和音頻數(shù)據(jù)的流已經(jīng)被插入到多路復(fù)用視頻幀中之后，處理返回 至圖19的步驟S104，并執(zhí)行后續(xù)步驟。接著，將參照圖23的流程圖描述在圖19的步驟S107中執(zhí)行的提取處理。在步驟S151，提取電路45-1接收從處理器43輸出的多路復(fù)用視頻幀的數(shù)據(jù)。被 插入在從處理器43輸出的多路復(fù)用視頻幀中的多路復(fù)用幀狀態(tài)信息還包括由處理器43設(shè) 定的寫入完成標(biāo)記。在步驟S152，提取電路45-1提取與被插入在多路復(fù)用視頻幀中的音頻流#2相關(guān) 的多路復(fù)用幀狀態(tài)信息。在步驟S153，提取電路45-1基于被包括在所提取的多路復(fù)用幀狀態(tài)信息中的樣 本數(shù)來從多路復(fù)用視頻幀提取音頻流#2的音頻樣本的數(shù)據(jù)。在步驟S154，存儲器控制電路61-2使得由提取電路45_1提取的音頻流#2的音頻樣本的數(shù)據(jù)和例如被包括在多路復(fù)用幀狀態(tài)信息中的音頻寫入完成標(biāo)記存儲在存儲器 62-2 中。還由提取電路45-2和存儲器控制電路61-1執(zhí)行與步驟S152至SlM相似的處理， 并將從多路復(fù)用視頻幀提取的音頻流#1的音頻樣本和多路復(fù)用幀狀態(tài)信息存儲在存儲器 62-1 中。在步驟S155，提取電路45-3提取與被插入在多路復(fù)用視頻幀中的視頻流#2相關(guān) 的多路復(fù)用幀狀態(tài)信息。在步驟S156，提取電路45-3從多路復(fù)用視頻幀提取被插入在多路復(fù)用視頻幀中 的視頻流#2的幀數(shù)據(jù)。在步驟S157，幀同步器51-2使得由提取電路45_3提取的視頻流#2的幀數(shù)據(jù)、以 及例如被包括在多路復(fù)用幀狀態(tài)信息中的視頻寫入完成標(biāo)記存儲在幀存儲器52-2中。還由提取電路45-4和幀同步器51-1執(zhí)行與步驟S155至S157相似的處理。從多 路復(fù)用視頻幀提取的視頻流#1的幀數(shù)據(jù)以及被包括在多路復(fù)用幀狀態(tài)信息中的視頻寫入 完成標(biāo)記被存儲在幀存儲器52-1中。在已經(jīng)從多路復(fù)用視頻幀提取全部視頻數(shù)據(jù)和音頻數(shù)據(jù)的流之后，處理返回至圖 19的步驟S107，并執(zhí)行后續(xù)處理。接著，將參照圖M的流程圖描述在圖19的步驟S108中執(zhí)行的音頻輸出處理。在步驟S161，音頻發(fā)送電路63-2請求存儲器控制電路61-2從存儲器62-2讀取音 頻流#2的音頻樣本的數(shù)據(jù)和音頻寫入完成標(biāo)記。在步驟S162，音頻發(fā)送電路63-2以一個樣本的數(shù)據(jù)為單位將與音頻寫入完成標(biāo) 記相對應(yīng)的數(shù)據(jù)輸出至外部，作為音頻流#2的音頻數(shù)據(jù)。具體而言，如果音頻寫入完成標(biāo)記為“接通”，則將從多路復(fù)用視頻幀提取的音頻 樣本的數(shù)據(jù)作為與音頻寫入完成標(biāo)記的值相對應(yīng)的音頻數(shù)據(jù)輸出。如果音頻寫入完成標(biāo)記 不為“接通”，則將靜音數(shù)據(jù)等代替從多路復(fù)用視頻幀提取的音頻樣本作為與音頻寫入完成 標(biāo)記的值相對應(yīng)的音頻數(shù)據(jù)輸出。還由音頻發(fā)送電路63-1執(zhí)行與步驟S161和S162相似的處理，并將從存儲器62_1 讀取的與音頻寫入完成標(biāo)記的值相對應(yīng)的音頻流#1的音頻數(shù)據(jù)輸出至外部。在已經(jīng)輸出全部音頻數(shù)據(jù)的流之后，處理返回至圖19的步驟S108，并執(zhí)行后續(xù)步
馬聚ο接著，將參照圖25的流程圖描述在圖19的步驟S109中執(zhí)行的視頻輸出處理。在步驟S171，視頻發(fā)送電路53-2請求幀同步器51_2從幀存儲器52_2讀取視頻流 #2的幀數(shù)據(jù)和視頻格寫入完成標(biāo)記。在步驟S 172，視頻發(fā)送電路53-2將與視頻寫入完成標(biāo)記的值相對應(yīng)的數(shù)據(jù)輸出 至外部，作為視頻流#2的幀數(shù)據(jù)。具體而言，如果視頻寫入完成標(biāo)記為“接通”，則將從多路復(fù)用視頻幀提取的幀數(shù) 據(jù)作為與視頻寫入完成標(biāo)記的值相對應(yīng)的視頻數(shù)據(jù)輸出。如果視頻寫入完成標(biāo)記不為“接 通”，則其他幀數(shù)據(jù)(例如靜態(tài)影像的數(shù)據(jù))代替從多路復(fù)用視頻幀提取的幀數(shù)據(jù)作為與視 頻寫入完成標(biāo)記的值相對應(yīng)的視頻數(shù)據(jù)輸出。還由視頻發(fā)送電路53-1執(zhí)行與步驟S171和S172相似的處理，并將從幀存儲器52-1讀取的與視頻寫入完成標(biāo)記的值相對應(yīng)的視頻流#1的幀數(shù)據(jù)輸出至外部。在全部視頻流的幀數(shù)據(jù)已經(jīng)輸出之后，處理返回至圖19的步驟S109，并執(zhí)行后續(xù)處理。上述步驟的處理可以不一定按照圖中所示的順序執(zhí)行，并可以根據(jù)需要與其他步 驟的處理并行地執(zhí)行，或者在其他步驟的處理之前或之后執(zhí)行。利用上述這些系列的處理，可以將視頻數(shù)據(jù)和音頻數(shù)據(jù)的多個流輸入至包括一個 輸入視頻端口的處理器43。此外，可以將視頻數(shù)據(jù)和音頻數(shù)據(jù)的多個流從包括一個輸出視 頻端口的處理器43輸出。換言之，能夠利用一個視頻端口高效地進(jìn)行將數(shù)據(jù)輸入至處理器 43和從處理器43輸出數(shù)據(jù)。此外，已經(jīng)接收了利用多路復(fù)用視頻幀被多路復(fù)用的視頻數(shù)據(jù)或音頻數(shù)據(jù)的處理 器43或輸出電路可以基于被包括在多路復(fù)用幀狀態(tài)信息中的信息來判定數(shù)據(jù)連續(xù)性是否 得到維持。因此，可以保證高可靠性的系統(tǒng)操作。如果判定連續(xù)性未得到維持或者如果數(shù)據(jù)可靠性較低，則例如如上所述對于視頻 數(shù)據(jù)輸出靜態(tài)影像、灰色影像或黑色影像，從而實(shí)現(xiàn)較高的系統(tǒng)穩(wěn)定性。多路復(fù)用的示例在前述說明中，兩個視頻信號流和兩個音頻信號流被輸入至信息處理設(shè)備1。但 是，要被輸入的信號的數(shù)量可以根據(jù)需要改變。例如，可以輸入四個視頻信號流和四個音頻 信號流。圖沈是圖示在輸入四個視頻信號流和四個音頻信號流的情況下多路復(fù)用視頻幀 的示例的圖。在如圖沈所示的多路復(fù)用視頻幀中，設(shè)置空白區(qū)域以沿著水平和豎直方向延伸， 并且在有效影像幀內(nèi)從第一線到預(yù)定線的區(qū)域被設(shè)定為用于多路復(fù)用幀布置信息的區(qū)域 A10如圖9和10所示的各個信息被插入在區(qū)域A1中的分配位置處。代替如圖沈所示共同地插入在連續(xù)區(qū)域中，被包括在多路復(fù)用幀布置信息中的 各個inxi可以被插入到多路復(fù)用視頻幀內(nèi)彼此遠(yuǎn)離地界定的多個區(qū)域中。在如圖沈所示的多路復(fù)用中，作為用于視頻的區(qū)域的視頻區(qū)域A2還設(shè)置在區(qū)域 A1下方。在視頻區(qū)域A2中，視頻流#0至#3的幀被貼附為在維持其幀尺寸的情況下彼此不 重疊。作為用于音頻數(shù)據(jù)的音頻區(qū)域A3被設(shè)置在視頻區(qū)域A2下方。音頻流#0至#3的 音頻數(shù)據(jù)按照被輸入到信息處理設(shè)備1中的順序從音頻區(qū)域A3的各個線的左端開始被緊 密地插入到各個線中。在圖沈中，被插入在各個線中的音頻數(shù)據(jù)的不同水平長度表示被插入的音頻數(shù) 據(jù)的量取決于流而不同。如上所述，被多路復(fù)用到同一多路復(fù)用視頻幀中的音頻數(shù)據(jù)在多 路復(fù)用視頻幀的幀時段期間輸入。因此，如果各音頻數(shù)據(jù)具有不同的采用頻率或不同的量 化精度，則會在被多路復(fù)用到同一多路復(fù)用中的音頻數(shù)據(jù)的量方面產(chǎn)生不同。在被分配給 音頻數(shù)據(jù)的各線當(dāng)中，其中已經(jīng)記錄了數(shù)據(jù)的區(qū)域用作上述音頻數(shù)據(jù)的有效區(qū)域。圖27是圖示在四個視頻信號流和四個音頻信號流被輸入的情況下多路復(fù)用的另 一示例。在如圖27所示的多路復(fù)用的視頻區(qū)域A2中，具有沿著水平方向布置的像素(其
32數(shù)量等于有效影像幀在水平方向上的像素數(shù)量)和沿著豎直方向布置的像素(其數(shù)量對應(yīng) 于線的預(yù)定數(shù)量)的區(qū)域被設(shè)定為各視頻流的幀數(shù)據(jù)要被插入的區(qū)域。在圖27的示例中， 視頻流#0至#3的幀數(shù)據(jù)要被插入的區(qū)域從上部開始按順序設(shè)定。以此方式，代替在輸入尺寸得到維持的情況下貼附于多路復(fù)用視頻幀，各個視頻 流的幀可以以與其被輸入時不同的形狀被貼附。取決于各個視頻流的幀要被貼附的區(qū)域的 設(shè)定，可以實(shí)現(xiàn)數(shù)據(jù)的有效多路復(fù)用。示例性修改圖28是圖示信息處理設(shè)備1的另一示例構(gòu)造的框圖。在如圖28所示的構(gòu)造中，與圖1所示相同或相似的元件由相同的附圖標(biāo)記表示。 如合適，將省略冗余的描述。如圖觀所示的構(gòu)造與如圖1所示的信息處理設(shè)備1的不同之處在于，在多路復(fù)用 視頻信號產(chǎn)生電路41之前設(shè)置切換電路111。視頻流#1的同步信號、視頻流#2的同步信號、以及作為與以上兩個同步信號相獨(dú) 立地從外部輸入的同步信號的外同步信號被輸入至切換電路111。外同步信號也被供應(yīng)至 定時產(chǎn)生電路44。切換電路111在視頻流#1的同步信號、視頻流#2的同步信號以及外同步信號當(dāng) 中選擇需要的同步信號，并將所選擇的同步信號輸出至多路復(fù)用視頻信號產(chǎn)生電路41。多路復(fù)用視頻信號產(chǎn)生電路41以由從切換電路111供應(yīng)的同步信號所界定的周 期來產(chǎn)生多路復(fù)用視頻幀，并將所產(chǎn)生的多路復(fù)用視頻幀的數(shù)據(jù)與從切換電路111供應(yīng)的 同步信號一起輸出至多路復(fù)用電路42-1。定時產(chǎn)生電路44根據(jù)外同步信號或各個視頻和音頻流的格式來產(chǎn)生同步信號， 并輸出該同步信號。以此方式，也可以通過切換將從外部輸入的同步信號用作界定了產(chǎn)生多路復(fù)用視 頻幀的周期的同步信號。利用用于輸入的多路復(fù)用視頻幀進(jìn)行的多路復(fù)用操作這里，將描述利用多路復(fù)用視頻幀來將視頻數(shù)據(jù)和音頻數(shù)據(jù)進(jìn)行多路復(fù)用的方 法。可以取決于數(shù)據(jù)的插入位置減小數(shù)據(jù)的延遲。首先，將描述由多路復(fù)用電路42執(zhí)行的用于輸入至處理器43的多路復(fù)用視頻幀 的多路復(fù)用。圖四是用于輸入的多路復(fù)用視頻幀的區(qū)域構(gòu)造的示例的圖。如圖四所示，設(shè)置空白區(qū)域以沿著用于輸入的多路復(fù)用視頻幀的水平方向和豎 直方向延伸。在圖四的示例中，在有效影像幀內(nèi)從第一線到第Hl1線的區(qū)域被設(shè)定為作為 用于視頻的區(qū)域的視頻區(qū)域An。此外，在有效影像幀內(nèi)從第(mi+l)線到第m2線的區(qū)域被 界定為作為用于音頻的區(qū)域的音頻區(qū)域A12。從第(m2+l)線到作為最后線的第η線的區(qū)域 被設(shè)定為用于多路復(fù)用幀布置信息的區(qū)域Α13。以此方式，視頻區(qū)域A11被界定在用于輸入的多路復(fù)用視頻幀的上部，并且音頻區(qū) 域A12被界定在視頻區(qū)域A11下方。當(dāng)在時間軸上繪制用于輸入的多路復(fù)用視頻幀時，按照 從用于輸入的多路復(fù)用視頻幀的上部到下部的順序執(zhí)行處理。圖30是圖示要被貼附于如圖四所示的用于輸入的多路復(fù)用視頻幀的視頻幀的示例的圖。將就四個視頻數(shù)據(jù)流(S卩，視頻流#0至#3)的多路復(fù)用的內(nèi)容給出以下說明。在圖30的示例中，視頻流#0具有720X486i (SD)的幀尺寸，并且視頻流#1具有 1280X720p(720p)的幀尺寸。此外，視頻流#2具有1280X720p (720p)的幀尺寸，其與視頻 流#1的幀尺寸相同，并且視頻流#3具有1920 X 1080i (HD)的幀尺寸。要被貼附于用于輸入的多路復(fù)用視頻幀的幀被劃分為例如線，并且每個線被貼附 于用于輸入的多路復(fù)用視頻幀上的不同線。此外，要被貼附的幀數(shù)據(jù)被貼附為彼此不重疊，并且交錯。交錯是用于將同一幀的 線以沿著豎直方向不連續(xù)的方式布置在用于輸入的多路復(fù)用視頻幀上的方法。視頻流#0和#3的幀是隔行幀。實(shí)際上，在視頻流#0和#3中，形成一個場的線被 貼附至一個用于輸入的多路復(fù)用視頻幀。但是，在以下說明中，假定幀被貼附。圖31是圖示在通過多路復(fù)用電路42進(jìn)行多路復(fù)用之后獲得的用于輸入的多路復(fù) 用視頻幀的示例的圖。在圖31的示例中，視頻流#0的幀的線在720像素的范圍內(nèi)沿著水平方向從有效 影像幀的左端向右插入，并在243X2線的范圍內(nèi)沿著豎直方向從作為視頻區(qū)域A11的最后 線的第Hi1線向上插入。在一個場中的線的數(shù)量，即243個線被隔行地插入，不過在圖31中， 四個線被圖示為視頻流#0的幀的線。此外，在圖31的示例中，視頻流#1的幀的線在1280像素的范圍內(nèi)沿著水平方向 從有效影像幀的左端向右插入，并在720X2線的范圍內(nèi)沿著豎直方向從作為視頻區(qū)域A11 的最后線的第Hi1線向上插入。一個幀的線的數(shù)量，即720線被隔行地插入以不與視頻流#0 的幀的線重疊，不過在圖31中，十個線被示出為視頻流#1的幀的線。視頻流#2的幀的線在1280像素的范圍內(nèi)沿著水平方向從第1281像素(在有效 像素的左端被用作第一像素的情況下)起向右插入。此外，視頻流#2的幀的線在720X2 線的范圍內(nèi)沿著豎直方向從作為視頻區(qū)域A11的最后線的第Hl1線向上插入。雖然一個幀的 線的數(shù)量，即720線被隔行地插入，不過在圖31中，十個線被示出為視頻流#2的幀的線。視頻流#3的幀的線在1920像素的范圍內(nèi)沿著水平方向從第1281像素(在有效 像素的左端被用作第一像素的情況下)起向右插入。此外，視頻流#3的幀的線在540X2 線的范圍內(nèi)沿著豎直方向從作為視頻區(qū)域A11的最后線的第Hl1線向上插入。在一個場中的 線的數(shù)量，即540線被隔行地插入，由此不會與視頻流#2的幀的線重疊，不過在圖31中，七 個線被示出為視頻流#3的幀的線。在所示示例中，用于輸入的多路復(fù)用視頻幀的有效影像幀的每水平行的像素數(shù)量 被設(shè)定為3200像素(U80+1920像素)。在各個幀的線已經(jīng)被插入的區(qū)域上方，將對應(yīng)視頻流的輔助數(shù)據(jù)插入在多路復(fù)用 視頻幀中以與各個幀的線相似的方式交錯。不對輔助數(shù)據(jù)執(zhí)行與對幀數(shù)據(jù)執(zhí)行的相同處理。例如，如果以與對幀數(shù)據(jù)相似的 方式對輔助數(shù)據(jù)執(zhí)行4:2:2至4:4:4轉(zhuǎn)換和YcbCr至RGB轉(zhuǎn)換，則輔助數(shù)據(jù)會被破壞。因 此，輔助數(shù)據(jù)和幀數(shù)據(jù)被分別輸入至處理器43。如圖31所示，輔助數(shù)據(jù)和幀數(shù)據(jù)分立地插 入在視頻區(qū)域A11中可以防止輔助數(shù)據(jù)被破壞。此外，如圖31所示，音頻流#0至#3按照被輸入至信息處理設(shè)備1的順序從每個線的左端起被緊密地插入到用于輸入的多路復(fù)用視頻幀的音頻區(qū)域A12中。在圖31的示例中，作為音頻區(qū)域A12的開始位置的第(mi+l)線以及第(mi+2)線被 分配給音頻流#0的音頻數(shù)據(jù)。以第(mi+l)線的整體以及直到第(mi+2)線的中部被音頻數(shù) 據(jù)填充的方式將音頻流#0的音頻數(shù)據(jù)插入到第(mi+l)線以及第0 + 線中。此外，第(mi+3)線和第(mi+4)線被分配給音頻流#1的音頻數(shù)據(jù)。以第mi+3線的 整體以及直到第(mi+4)線的中部被音頻數(shù)據(jù)填充的方式將音頻流#1的音頻數(shù)據(jù)插入到第 (mi+3)線以及第(mi+4)線中。第(mi+5)線和第(mi+6)線被分配給音頻流#2的音頻數(shù)據(jù)。以第(mi+5)線的整 體以及直到第(mi+6)線的中部被音頻數(shù)據(jù)填充的方式將音頻流#2的音頻數(shù)據(jù)插入到第 (mi+5)線以及第(mi+6)線中。第(mi+7)線和第(mi+8)線被分配給音頻流#3的音頻數(shù)據(jù)。以第(mi+7)線的整 體以及直到第(mi+8)線的中部被音頻數(shù)據(jù)填充的方式將音頻流#3的音頻數(shù)據(jù)插入到第 (mi+7)線以及第(mi+8)線中。利用要由各個多路復(fù)用電路42處理的音頻數(shù)據(jù)的數(shù)據(jù)率、用于輸入的多路復(fù)用 視頻幀的幀頻率(一個幀時段)等來確定要被插入到用于輸入的多路復(fù)用視頻幀中的音頻 數(shù)據(jù)的尺寸。因此，可以在已經(jīng)檢測到各音頻數(shù)據(jù)流的格式之后確定被分配的線的數(shù)量，作為 其中各音頻數(shù)據(jù)流要被插入的線的數(shù)量。在圖31的示例中，將兩個線分配給每個音頻數(shù)據(jù) 流。例如，音頻區(qū)域A12的線的數(shù)量必須被設(shè)定為與被分配給各個音頻數(shù)據(jù)流的線的 總和相同。此外，在圖31的示例中，因此設(shè)定音頻區(qū)域A12的線的數(shù)量。如上所述，要被貼附的幀經(jīng)由幀的逐線地交錯而不會彼此重疊，并在用于輸入的 多路復(fù)用視頻幀的視頻區(qū)域A11中從下向上貼附。此外，利用例如音頻區(qū)域A12的整體線將 要被插入的各個信息插入在被界定在視頻區(qū)域A11下方的音頻區(qū)域A12中。多路復(fù)用視頻幀 幀布置信息被插入到界定在音頻區(qū)域A12下方的區(qū)域A13中。如在整個用于輸入的多路復(fù)用視頻幀中觀察，各個數(shù)據(jù)流從下向上布置。因此，即使當(dāng)利用用于輸入的多路復(fù)用視頻幀將多個數(shù)據(jù)流進(jìn)行多路復(fù)用并輸入 至處理器43時，仍可以減小輸入延遲。輸入延遲由要由處理器43處理的數(shù)據(jù)被輸入至信 息處理設(shè)備1時的時間與數(shù)據(jù)被輸入至處理器43時的時間之間的差表示。圖32是圖示從下向上布置的優(yōu)點(diǎn)的圖。在圖32中，橫軸表示時間。在圖32的示例中，視頻流#0至#3的視頻數(shù)據(jù)(輸入視頻信號)在不同的定時輸 入。例如，視頻流#0的一個幀的數(shù)據(jù)在時刻t3至?xí)r刻t7的定時被輸入至信息處理設(shè) 備1。此外，視頻流#1的一個幀的數(shù)據(jù)在時刻、至?xí)r刻t5的定時被輸入至信息處理設(shè)備 1。視頻流#2的一個幀的數(shù)據(jù)在時刻t4至?xí)r刻t8的定時被輸入至信息處理設(shè)備1。 視頻流#3的一個幀的數(shù)據(jù)在時刻t2至?xí)r刻t6的定時被輸入至信息處理設(shè)備1。例如，在用于輸入的多路復(fù)用視頻幀的一個幀的時段內(nèi)輸入最后線的數(shù)據(jù)的視頻 幀被貼附于在同一時段期間產(chǎn)生的用于輸入的多路復(fù)用視頻幀。
因此，在此情況下，由圖32中各個線中的陰影線所表示的視頻流#0至#3的幀被 多路復(fù)用到多路復(fù)用視頻幀F(xiàn)1中，多路復(fù)用視頻幀F(xiàn)l是在從時刻t4至?xí)r刻t8的時段T期 間產(chǎn)生的用于輸入的多路復(fù)用視頻幀(多路復(fù)用視頻信號)。由各個線中的陰影線所表示的視頻流#0的幀的最后線的數(shù)據(jù)在時段T內(nèi)即將在 時刻t7之前的時刻被輸入。相似地，由各個線中的陰影線所表示的視頻流#1至#3的幀的 最后線的數(shù)據(jù)在時段T內(nèi)的一時刻、被輸入。對于音頻，如上所述，在用于輸入的多路復(fù)用視頻幀的一個幀期間輸入的音頻樣 本被插入到在同一時段期間產(chǎn)生的用于輸入的多路復(fù)用視頻幀中。因此，在圖32的示例中，在音頻流#0的音頻樣本當(dāng)中被包括在時段T中的由粗線 表示的音頻樣本被插入到多路復(fù)用視頻幀F(xiàn)1中。雖然在圖32中僅圖示了音頻流#0，但是 其他音頻數(shù)據(jù)流也以相似方式被插入到多路復(fù)用視頻幀F(xiàn)1中。用于輸入的多路復(fù)用視頻幀的一個幀的時段由多路復(fù)用視頻信號產(chǎn)生電路41產(chǎn) 生的同步信號所界定。在圖32中，同步信號sync-Ι表示由多路復(fù)用視頻信號產(chǎn)生電路41 產(chǎn)生的同步信號。在圖32的示例中，同步信號sync-Ι與用于視頻流#2的同步信號同步。如參照圖 觀所述，從外部輸入的視頻同步信號也可以用作界定用于輸入的多路復(fù)用視頻幀的一個幀 時段所用的同步信號。同步信號sync-2表示界定用于輸入的多路復(fù)用視頻幀的一個幀時段所用的同步 信號，其在將用于輸入的多路復(fù)用視頻幀輸出至處理器43的最后階段從多路復(fù)用電路42 輸出。根據(jù)同步信號sync-2，其中各個數(shù)據(jù)流已經(jīng)被多路復(fù)用的用于輸入的多路復(fù)用視頻 幀在最后階段從多路復(fù)用電路42輸出至處理器43。在圖1的示例中，多路復(fù)用電路42-4 用作最后階段中的多路復(fù)用電路。各個多路復(fù)用電路42在等待要被多路復(fù)用的數(shù)據(jù)輸入之后執(zhí)行多路復(fù)用。根據(jù) 要被多路復(fù)用的數(shù)據(jù)的最后數(shù)據(jù)項(xiàng)被輸入的時刻，在先前階段用于輸入的多路復(fù)用視頻幀 從多路復(fù)用視頻信號產(chǎn)生電路41或從多路復(fù)用電路42輸入時的時刻與在通過將數(shù)據(jù)多路 復(fù)用為用于輸入的多路復(fù)用視頻幀之后獲得的用于輸入的多路復(fù)用視頻幀從某個多路復(fù) 用電路42輸出時的時刻之間存在差異。這里，假定視頻接收電路21或音頻接收電路31接 收數(shù)據(jù)所涉及的時間、或者幀存儲器23或存儲器33臨時存儲數(shù)據(jù)所涉及的時間可忽略。彼此接近的同步信號sync-Ι和sync-2的定時(1的值的時刻)意味著用于輸入 的多路復(fù)用視頻幀從多路復(fù)用視頻信號產(chǎn)生電路41輸出時的時刻與在多路復(fù)用之后獲得 的用于輸入的多路復(fù)用視頻幀被輸入至處理器43時的時刻之間較小的差異。換言之，彼此 接近的同步信號sync-Ι和sync-2的定時意味著輸入延遲減小。基于該假定，現(xiàn)在將描述將數(shù)據(jù)從下向上插入到用于輸入的多路復(fù)用視頻幀中。如圖32所示的多路復(fù)用視頻幀&表示在其中已經(jīng)將各個數(shù)據(jù)項(xiàng)以如上參照圖31 所述的方式從下向上插入的多路復(fù)用之后獲得的用于輸入的多路復(fù)用視頻幀。如圖32所示，當(dāng)繪制在從左向右經(jīng)過的時間軸上時，視頻區(qū)域A11被表示在多路復(fù) 用視頻幀F(xiàn)1中的左部，而音頻區(qū)域A12在右部。在圖32中，多路復(fù)用視頻幀F(xiàn)1的右部中的 粗線表示被插入在音頻區(qū)域A12中的音頻流#0的音頻數(shù)據(jù)。要被貼附于多路復(fù)用視頻幀F(xiàn)1的視頻流#0的幀的最后線的數(shù)據(jù)可以在即將在數(shù)據(jù)被輸入時的時刻t7之前的時刻之后插入。如果視頻流#0的幀的最后線的數(shù)據(jù)要被插入 在多路復(fù)用視頻幀F(xiàn)1的視頻區(qū)域A11的上部(時間上較早)中，則與插入位置相對應(yīng)的多 路復(fù)用視頻幀F(xiàn)1的線的時間可以晚于時刻t7。作為影像，整個多路復(fù)用視頻幀F(xiàn)1處于相對 于如圖32所示的位置靠右的位置。因此，為了減小輸入延遲，優(yōu)選地，視頻流#0的幀的最后線的數(shù)據(jù)被插入在多路 復(fù)用視頻幀F(xiàn)1的與比即將在時刻t7之前的時刻晚的時刻相對應(yīng)的位置。在數(shù)據(jù)實(shí)際插入 時的時刻之前輸入的數(shù)據(jù)被存儲在存儲器中，直到插入時刻。此外，要被多路復(fù)用到多路復(fù)用視頻幀F(xiàn)1中的視頻流#2的幀的最后線的數(shù)據(jù)可 以在即將在數(shù)據(jù)被輸入時的時刻t8之前的時刻之后(包括即將在時刻t8之前的時刻)插 入。如果視頻流#2的幀的最后線的數(shù)據(jù)被插入到多路復(fù)用視頻幀F(xiàn)1的視頻區(qū)域A11的上 部中，則與插入位置相對應(yīng)的多路復(fù)用視頻幀F(xiàn)1的線的時刻可以晚于即將在時刻t8之前的 時刻。作為影像，整個多路復(fù)用視頻幀F(xiàn)1處于相對于如圖32所示的位置靠右的位置。因此，為了減小輸入延遲，優(yōu)選地，視頻流#2的幀的最后線的數(shù)據(jù)被插入與即將 在時刻t8之前的時刻晚的時刻相對應(yīng)的多路復(fù)用視頻幀F(xiàn)l的位置。相同情況應(yīng)用于視頻流#1至#3的幀的最后線的數(shù)據(jù)。由同步信號sync-Ι確定要被插入到多路復(fù)用視頻幀F(xiàn)1中的音頻流#0的音頻樣 本的數(shù)據(jù)以及樣本數(shù)信息。在作為時段T的結(jié)束時刻的時刻、之后(包括時刻t8)，可以 插入音頻流#0的音頻數(shù)據(jù)。如果視頻流#0的音頻數(shù)據(jù)被插入在界定在多路復(fù)用視頻幀F(xiàn)1的上部中的區(qū)域 中，則與插入位置相對應(yīng)的多路復(fù)用視頻幀&的線的時刻可以晚于時刻t8。作為影像，多 路復(fù)用視頻幀F(xiàn)1處于相對于如圖32所示的位置靠右的位置。因此，為了減小輸入延遲，優(yōu)選地，音頻流#0的音頻數(shù)據(jù)被插入在多路復(fù)用視頻 幀&的與比時刻偽晚的時刻相對應(yīng)的位置。此外，對于多路復(fù)用幀布置信息，使得其中例如包括樣本數(shù)信息的信息插入的時 刻可以是在要被多路復(fù)用到多路復(fù)用視頻中的樣本數(shù)已經(jīng)確定之后的時刻。因此，如果多 路復(fù)用幀布置信息被共同插入，則優(yōu)選地將樣本數(shù)信息插入在與時刻、之后的時刻相對應(yīng) 的位置，其中時刻t8是確定要被多路復(fù)用的樣本數(shù)時的時刻。因此，各個視頻流的視頻數(shù)據(jù)的幀被逐線地交錯，并從下向上被插入在視頻區(qū)域 A11中，并且各個音頻流的音頻數(shù)據(jù)被插入在界定于視頻區(qū)域A11下方的音頻區(qū)域A12中，由 此整個用于輸入的多路復(fù)用視頻幀的數(shù)據(jù)可以從下向上布置，從而允許輸入延遲的減小。 此外，多路復(fù)用幀布置信息被插入在界定于音頻區(qū)域A12下方的區(qū)域A13中。在圖32的示例中，輸入延遲被減小為與數(shù)個線相對應(yīng)的時間，這是時刻t4與多路 復(fù)用視頻幀F(xiàn)1開始被輸入至處理器43的時刻tn之間的差。如圖32所示，如果視頻流#0至#3的幀數(shù)據(jù)在不同的定時插入，則最后線的數(shù)據(jù) 被較早輸入的流的視頻數(shù)據(jù)在較早階段被多路復(fù)用電路42處理。最后線的數(shù)據(jù)被更晚輸 入的流的視頻數(shù)據(jù)在較晚階段被多路復(fù)用電路42處理。因此，如上所述，視頻幀的線可以 從下向上插入。此外，在比對視頻數(shù)據(jù)進(jìn)行處理的多路復(fù)用電路42更晚的階段由多路復(fù)用電路 42對音頻數(shù)據(jù)進(jìn)行處理。因此，如上所述，音頻數(shù)據(jù)可以被插入到界定于用于輸入的多路復(fù)用視頻幀的下部中的音頻區(qū)域A12中。被包括在多路復(fù)用幀布置信息中的各個信息在最后階段被供應(yīng)至多路復(fù)用電路 42，并在最后階段通過多路復(fù)用電路42被共同插入到多路復(fù)用視頻幀中。因此，多路復(fù)用 幀布置信息可以被插入到界定于用于輸入的多路復(fù)用視頻幀的音頻區(qū)域A12下方的區(qū)域A13 中。如圖1所示的多路復(fù)用電路42-1至42-4可以被集成為單個電路。得到的單個電 路可以在無需考慮以哪個數(shù)據(jù)流以及如圖1所示的方式串聯(lián)鏈接的多個多路復(fù)用電路42 當(dāng)中的哪個多路復(fù)用電路42對該數(shù)據(jù)流進(jìn)行處理的情況下將全部數(shù)據(jù)項(xiàng)進(jìn)行多路復(fù)用。利用用于輸出的多路復(fù)用視頻幀進(jìn)行的多路復(fù)用操作接著，將描述利用用于輸出的多路復(fù)用視頻幀進(jìn)行的多路復(fù)用操作。用于輸出的多路復(fù)用視頻幀在其中具有已經(jīng)從用于輸入的多路復(fù)用視頻幀提取 并已經(jīng)經(jīng)過各種處理的各個數(shù)據(jù)流。即，利用用于輸出的多路復(fù)用視頻幀進(jìn)行的數(shù)據(jù)(在 處理之后獲得的數(shù)據(jù))的多路復(fù)用由處理器43執(zhí)行。在處理器43中，與利用用于輸入的多路復(fù)用視頻幀進(jìn)行多路復(fù)用操作不同，各個 數(shù)據(jù)流從上向下插入。圖33是圖示用于輸出的多路復(fù)用視頻幀的區(qū)域構(gòu)造的圖。如圖33所示，用于輸出的多路復(fù)用視頻幀設(shè)置有沿著水平方向和豎直方向中各 方向的空白區(qū)域。在圖33的示例中，在有效影像幀內(nèi)從第一線到第Hi11線的區(qū)域被界定為 用于多路復(fù)用視頻幀幀布置信息的區(qū)域A21。此外，在有效影像幀內(nèi)從第(mn+l)線到第m12 線的區(qū)域被界定為作為用于音頻的區(qū)域的音頻區(qū)域A22。在有效影像幀內(nèi)從第(m12+l)線到 作為最后線的第η線的區(qū)域被界定為用于視頻的視頻區(qū)域A23。以此方式，音頻區(qū)域A22被界定在用于輸出的多路復(fù)用視頻幀的上部，并且視頻區(qū) 域A23被界定在音頻區(qū)域A22下方。圖34是圖示在由處理器43進(jìn)行多路復(fù)用之后獲得的用于輸出的多路復(fù)用視頻幀 的上部的示例的圖。當(dāng)用于輸入的多路復(fù)用視頻幀被輸入時，處理器43提取視頻流#0至#3的幀的數(shù) 據(jù)以及音頻流#0至#3的音頻數(shù)據(jù)，并根據(jù)需要執(zhí)行處理。已經(jīng)根據(jù)需要經(jīng)過處理的視頻 流#0至#3的幀的數(shù)據(jù)和音頻流#0至#3的音頻數(shù)據(jù)被插入到用于輸出的多路復(fù)用視頻幀 中。如圖34所示，多路復(fù)用布置信息被插入到用于輸出的多路復(fù)用視頻幀的區(qū)域A21 中。此外，音頻流#0至#3的音頻數(shù)據(jù)從各個線的左端開始被緊密地插入到用于輸出 的多路復(fù)用視頻幀的音頻區(qū)域A22中。在圖34的示例中，作為音頻區(qū)域^2的開始位置的第(mn+l)線、以及第(mn+2)線 被分配給音頻流#0的音頻數(shù)據(jù)。以第(mn+l)線的整體以及直到第(mn+2)線的中部被音 頻數(shù)據(jù)填充的方式將音頻流#0的音頻數(shù)據(jù)插入到第(mn+l)線以及第0 + 線中。此外，在圖34的示例中，第(mn+3)線和第(mn+4)線被分配給音頻流#1的音頻數(shù) 據(jù)。以第(mn+3)線的整體以及直到第(mn+4)線的中部被音頻數(shù)據(jù)填充的方式將音頻流#1 的音頻數(shù)據(jù)插入到第(mn+3)線以及第(mn+4)線中。
38
第(mn+5)線和第(mn+6)線被分配給音頻流#2的音頻數(shù)據(jù)。以第(mn+5)線的 整體以及直到第(mn+6)線的中部被音頻數(shù)據(jù)填充的方式將音頻流#2的音頻數(shù)據(jù)插入到第 (mn+5)線以及第(mn+6)線中。第(mn+7)線和第(mn+8)線被分配給音頻流#3的音頻數(shù)據(jù)。以第(mn+7)線的 整體以及直到第(mn+8)線的中部被音頻數(shù)據(jù)填充的方式將音頻流#3的音頻數(shù)據(jù)插入到第 (mn+7)線以及第(mn+8)線中。例如，音頻區(qū)域^2的線的數(shù)量可以被設(shè)定為與被分配給各個音頻數(shù)據(jù)流的線的 總和相同。此外，在圖34的示例中，因此設(shè)定音頻區(qū)域A22的線的數(shù)量。此外，要被貼附的幀經(jīng)由幀的逐線交錯而不會彼此重疊，并隨后在用于輸出的多 路復(fù)用視頻幀的視頻區(qū)域Am中從上到下被貼附于輔助數(shù)據(jù)。在圖34的示例中，視頻流#0的幀的線在720像素的范圍內(nèi)沿著水平方向從有效 影像幀的左端向右插入。此外，視頻流#0的幀的線在M3X2線的范圍內(nèi)沿著豎直方向從被 插入在視頻區(qū)域A23中的輔助數(shù)據(jù)的倒數(shù)第二線向下插入。在一個場中的線的數(shù)量，即243 個線被隔行地插入，不過在圖31中，四個線被圖示為視頻流#0的幀的線。此外，視頻流#1的幀的線在1280像素的范圍內(nèi)沿著水平方向從有效影像幀的左 端向右插入，并在720X2線的范圍內(nèi)沿著豎直方向從被插入在視頻區(qū)域Am中的輔助數(shù)據(jù) 的倒數(shù)第二線向下插入。一個幀的線的數(shù)量，即720線被隔行地插入以不與視頻流#0的幀 的線重疊，不過在圖34中，十個線被示出為視頻流#1的幀的線。視頻流#2的幀的線在1280像素的范圍內(nèi)沿著水平方向從第1281像素(在有效像 素的左端被用作第一像素的情況下)起向右插入。此外，視頻流#2的幀的線在720X2線 的范圍內(nèi)沿著豎直方向從被插入在視頻區(qū)域A23中的輔助數(shù)據(jù)的倒數(shù)第二線向下插入。雖 然一個幀的線的數(shù)量，即720線被隔行地插入，不過在圖34中，十個線被示出為視頻流#2 的幀的線。視頻流#3的幀的線在1920像素的范圍內(nèi)沿著水平方向從第1281像素(在有效像 素的左端被用作第一像素的情況下)起向右插入。此外，視頻流#3的幀的線在540 X 2線的 范圍內(nèi)沿著豎直方向從被插入在視頻區(qū)域A23中的輔助數(shù)據(jù)的倒數(shù)第二線線向下插入。在 一個場中的線的數(shù)量，即540線被隔行地插入，由此不會與視頻流#2的幀的線重疊，不過在 圖34中，七個線被示出為視頻流#3的幀的線。在所示示例中，用于輸出的多路復(fù)用視頻幀的有效影像幀的每水平行的像素數(shù)量 被設(shè)定為3200個。用于輸入的多路復(fù)用視頻幀的尺寸可以與用于輸出的多路復(fù)用視頻幀 的尺寸不同。以此方式，如在整個用于輸出的多路復(fù)用視頻幀中觀察，各個數(shù)據(jù)流從上向下插 入。因此，即使當(dāng)利用用于輸出的多路復(fù)用視頻幀將多個數(shù)據(jù)流進(jìn)行多路復(fù)用并從處 理器43輸出時，仍可以減小輸出延遲。輸出延遲由在處理之后獲得的數(shù)據(jù)從處理器43輸出 時的時刻與處理之后獲得的數(shù)據(jù)被輸出至信息處理設(shè)備1的外部時的時刻之間的差表示。圖35是圖示從上向下布置的優(yōu)點(diǎn)的圖。在圖35中，橫軸表示時間。如圖35所示的多路復(fù)用視頻幀F(xiàn)2表示從處理器43輸出的用于輸出的多路復(fù)用 視頻幀。同步信號sync-3是從處理器43輸出的同步信號，并界定了多路復(fù)用視頻幀F(xiàn)2的一個幀時段。在從時刻、至?xí)r刻t2的時段期間多路復(fù)用視頻幀F(xiàn)2從處理器43輸出。由各個線中的陰影線表示的視頻流#0至#3的幀數(shù)據(jù)表示已經(jīng)從多路復(fù)用視頻幀 F2提取并已經(jīng)從視頻發(fā)送電路53輸出至信息處理設(shè)備1外部的數(shù)據(jù)(輸出視頻信號)。此 外，由粗線表示的音頻流#0的音頻樣本的數(shù)據(jù)表示已經(jīng)從多路復(fù)用視頻幀F(xiàn)2提取并已經(jīng) 從音頻發(fā)送電路63輸出至信息處理設(shè)備1外部的數(shù)據(jù)(輸出音頻信號)。例如，在根據(jù)從定時產(chǎn)生電路44輸出的同步信號的同一定時，被多路復(fù)用在同一 用于輸出的多路復(fù)用視頻幀中的數(shù)據(jù)被輸出至信息處理設(shè)備1的外部。如圖35所示的同步信號sync-4是由定時產(chǎn)生電路44產(chǎn)生并被供應(yīng)至視頻發(fā)送 電路53和音頻發(fā)送電路63的同步信號。在從時刻tn至?xí)r刻t12的時段期間，從多路復(fù)用 視頻幀F(xiàn)2提取的各個數(shù)據(jù)流被輸出至信息處理設(shè)備1的外部。在各個視頻發(fā)送電路53中，在從用于輸出的多路復(fù)用視頻幀提取要輸出的幀數(shù) 據(jù)之后，可以輸出該數(shù)據(jù)。此外，在各個音頻發(fā)送電路63中，在從用于輸出的多路復(fù)用視頻幀提取要輸出的 音頻樣本的數(shù)據(jù)之后，可以輸出該數(shù)據(jù)。如果為了使得視頻發(fā)送電路53和音頻發(fā)送電路63輸出該數(shù)據(jù)使被多路復(fù)用在同 一用于輸出的多路復(fù)用視頻幀中的數(shù)據(jù)在同一時刻輸出，則全部視頻發(fā)送電路53和音頻 發(fā)送電路63接收已經(jīng)從同一用于輸出的多路復(fù)用視頻幀提取的、要輸出的數(shù)據(jù)。根據(jù)要輸出的數(shù)據(jù)當(dāng)中的起始數(shù)據(jù)被輸入至各個幀存儲器52和各個音頻發(fā)送電 路63時的時刻，在從處理器43輸出用于輸出的多路復(fù)用視頻幀時的時刻與將數(shù)據(jù)輸出至 外部時的時刻之間存在差異。這里，假定提取電路45提取數(shù)據(jù)所涉及的時間或者幀存儲器 52或存儲器62臨時存儲數(shù)據(jù)所涉及的時間可忽略。同步信號sync-3和sync-4的定時(1的值的時刻)意味著用于輸出的多路復(fù)用視 頻幀從處理器43輸出時的時刻與各個數(shù)據(jù)流被輸出至外部時的時刻之間較小的差異。換 言之，彼此接近的同步信號sync-3和sync-4的定時意味著輸出延遲減小?；谠摷俣ǎF(xiàn)在將描述將數(shù)據(jù)從上向下插入到用于輸出的多路復(fù)用視頻幀中。多路復(fù)用幀布置信息是包括用于提取視頻數(shù)據(jù)和音頻數(shù)據(jù)的各個流的信息在內(nèi) 的信息。因此，如果多路復(fù)用布置信息尚未從多路復(fù)用視頻幀提取，則會難以提取視頻數(shù)據(jù) 和音頻數(shù)據(jù)的各個流。為了減小輸出延遲，優(yōu)選地，多路復(fù)用幀布置信息可以被插入在用于 輸出的多路復(fù)用視頻幀之前的位置。對于音頻數(shù)據(jù)，如果音頻數(shù)據(jù)要被插入在界定于多路復(fù)用視頻幀&下部中的區(qū)域 中，則音頻流#0的音頻數(shù)據(jù)的輸出的開始時刻可以晚于與插入位置相對應(yīng)的時刻。作為影像，音頻流#0的輸出時刻可以相對于如圖35所示的位置靠右的位置。因 為從同一用于輸出的多路復(fù)用視頻幀提取的數(shù)據(jù)在同一時刻輸出，所以視頻流#0至#3的 輸出時刻也處于相對于如圖35所示的位置靠右的位置。因此，為了減小輸出延遲，優(yōu)選地，音頻流#0的音頻數(shù)據(jù)被插入在用于輸出的多 路復(fù)用視頻幀中較早的位置處。此外，假定各個視頻流的幀是逐線交錯的，并從下向上插入在用于輸出的多路復(fù) 用視頻幀中。在此情況下，視頻流#0的幀的起始線的數(shù)據(jù)的輸出時刻會晚于與插入位置相 對應(yīng)的時刻。具體而言，視頻流#0的幀的線的總數(shù)越小，則輸出時間越晚。
作為影像，視頻流#0的輸出定時處于相對于如圖35所示的位置靠右的位置。因 為從同一用于輸出的多路復(fù)用視頻幀提取的數(shù)據(jù)在同一定時輸出，所以視頻流#1至#3的 輸出定時以及音頻流#0的輸出定時也處于相對于如圖35所示的位置靠右的位置。此外，為了減小輸出延遲，優(yōu)選地，視頻流#0的幀的起始線的數(shù)據(jù)被插入在多路 復(fù)用視頻幀F(xiàn)2的視頻區(qū)域A23的上部處。同一情況應(yīng)用于視頻流#1至#3。如以上可見，各個音頻流的音頻數(shù)據(jù)被插入到界定于用于輸出的多路復(fù)用視頻幀 的上部中的音頻區(qū)域^2中，并且對于各個視頻流的視頻數(shù)據(jù)，幀被逐線交錯并從上向下插 入在界定于音頻區(qū)域^2下方的視頻區(qū)域^3中，由此作為整個用于輸出的多路復(fù)用視頻幀， 數(shù)據(jù)可以從上向下布置。因此，可以減小輸出延遲。在圖35的示例中，將輸出延遲減小為與數(shù)個線相對應(yīng)的時間，這是多路復(fù)用視頻 幀F(xiàn)2開始從處理器43輸出時的時刻、與數(shù)據(jù)開始輸出至外部時的時刻tn之間的差異。其他示例性修改在前述說明中，處理器43具有單輸入單輸出視頻端口。但是，可以設(shè)置多輸入和 多輸出。使用各個視頻端口輸入/輸出多路復(fù)用視頻幀，從而能夠?qū)⒏罅康臄?shù)據(jù)流輸入 至處理器43并能夠?qū)⑻幚碇螳@得的數(shù)據(jù)從處理器43輸出。此外，壓縮比特流也可被用作要被輸入至信息處理設(shè)備1的視頻數(shù)據(jù)及音頻數(shù) 據(jù)。此外，利用多路復(fù)用視頻信號，不僅可傳輸視頻數(shù)據(jù)及音頻數(shù)據(jù)，還可傳輸具有特定尺 寸的數(shù)據(jù)，并且其也可被輸入至處理器43或從處理器43輸出。例如，也可以應(yīng)用平面(基 于顏色)傳輸或多色(例如6色或8色)傳輸。在以上描述中，主要逐幀地處理了輸入視頻數(shù)據(jù)及多路復(fù)用視頻幀。但是，也可以 逐區(qū)域地執(zhí)行處理。在以上描述中，術(shù)語“幀”可以由術(shù)語“場”替代。計算機(jī)的示例構(gòu)造可通過硬件或軟件來執(zhí)行上述一系列處理。如果通過軟件來執(zhí)行上述一系列處 理，則可從程序記錄介質(zhì)向結(jié)合在專用硬件中的計算機(jī)或通用個人計算機(jī)等裝載構(gòu)成軟件 的程序。圖36是圖示根據(jù)程序執(zhí)行上述那些系列的處理的計算機(jī)的硬件構(gòu)造的示例的框 圖。中央處理單元(CPU) 201、只讀存儲器(ROM) 202、以及隨機(jī)存取存儲器(RAM) 203經(jīng) 由總線204彼此連接。輸入/輸出接口 205也連接至總線204。輸入/輸出接口 205連接至輸入單元206 和輸出單元207，輸入單元206包括鍵盤和鼠標(biāo)，輸出單元207包括顯示器和揚(yáng)聲器。輸入 /輸出接口 205還連接至存儲單元208、通信單元209、以及驅(qū)動器210，存儲單元包括硬盤 和非易失性存儲器，通信單元209包括網(wǎng)絡(luò)接口，驅(qū)動器210對可移除介質(zhì)211進(jìn)行驅(qū)動。在具有以上構(gòu)造的計算機(jī)中，CPU 201將存儲在例如存儲單元208中的程序經(jīng)由 輸入/輸出接口 205和總線204加載到RAM 203中，并執(zhí)行該程序，由此執(zhí)行上述的那些系 列的處理。由CPU 201執(zhí)行的程序可以設(shè)置為例如記錄在可移除介質(zhì)211上的形式或者經(jīng)由 諸如局域網(wǎng)、互聯(lián)網(wǎng)或者數(shù)字廣播之類的有線或無線傳輸介質(zhì)的形式，并可以被安裝到存 儲單元208中。
由計算機(jī)執(zhí)行的程序可以是據(jù)此來按照本文所述的順序以時間序列方式執(zhí)行處 理的程序，或者可以是據(jù)此并行地或者在諸如被調(diào)用時的需要時機(jī)執(zhí)行處理的程序。本發(fā)明的實(shí)施例不限于上述實(shí)施例，并可以在不偏離本發(fā)明的范圍的情況下進(jìn)行 多種修改。本發(fā)明包含了與2010年1月14日向日本專利局遞交的日本在先專利申 請JP2010-006137以及2010年1月14日向日本專利局遞交的日本在先專利申請 JP2010-006138中公開的主題相關(guān)的主題，這里通過引用引入其全部內(nèi)容。本領(lǐng)域技術(shù)人員應(yīng)理解，只要在所附權(quán)利要求或與其相當(dāng)?shù)姆秶鷥?nèi)，可以按照設(shè) 計要求等其它因素進(jìn)行各種改變、組合、子組合和替換。
權(quán)利要求
1.一種信息處理設(shè)備，包括產(chǎn)生裝置，其用于產(chǎn)生多路復(fù)用視頻幀，并用于將第一信息插入到所述多路復(fù)用視頻 幀中，所述多路復(fù)用視頻幀是具有預(yù)定屏幕尺寸的視頻幀，并且所述第一信息是與所述多 路復(fù)用視頻幀的構(gòu)造相關(guān)的信息；第一多路復(fù)用裝置，其用于將輸入視頻數(shù)據(jù)中包括的一個幀布置在所述多路復(fù)用視頻 幀中，用于將所述幀的數(shù)據(jù)多路復(fù)用以作為所述多路復(fù)用視頻幀的與所述幀的布置位置相 對應(yīng)的數(shù)據(jù)進(jìn)行傳輸，并用于將第二信息和第三信息插入到在多路復(fù)用之后獲得的多路復(fù) 用視頻幀中，所述第二信息是與所述幀的布置位置相關(guān)的信息，所述第三信息是與所述視 頻數(shù)據(jù)的格式相關(guān)的信息；以及處理裝置，其用于根據(jù)所述第一信息、所述第二信息和所述第三信息提取在多路復(fù)用 之后獲得的所述多路復(fù)用視頻幀中被多路復(fù)用的幀的數(shù)據(jù)，并用于執(zhí)行對所提取的所述數(shù) 據(jù)的處理，其中在多路復(fù)用之后獲得的所述多路復(fù)用視頻幀從所述處理裝置的輸入視頻端 口輸入所述處理裝置。
2.根據(jù)權(quán)利要求1所述的信息處理設(shè)備，還包括劃分裝置，其用于按照從所輸入的音頻數(shù)據(jù)的起始樣本開始的順序?qū)⑺鲆纛l數(shù)據(jù)劃 分為音頻數(shù)據(jù)項(xiàng)，每個所述音頻數(shù)據(jù)項(xiàng)具有在與所述多路復(fù)用視頻幀的一個幀的時段相對 應(yīng)的時段期間輸入的樣本；以及第二多路復(fù)用裝置，其用于將通過所述劃分裝置進(jìn)行的劃分獲得的各個所述音頻數(shù)據(jù) 項(xiàng)布置在所述多路復(fù)用視頻幀中，用于將所述音頻數(shù)據(jù)項(xiàng)多路復(fù)用以作為所述多路復(fù)用視 頻幀的與所述音頻數(shù)據(jù)項(xiàng)的布置位置相對應(yīng)的數(shù)據(jù)進(jìn)行傳輸，并用于將第四信息、第五信 息和第六信息插入到所述多路復(fù)用視頻幀中，所述第四信息是表示所述音頻數(shù)據(jù)項(xiàng)中包括 的樣本數(shù)的信息，所述第五信息是與所述音頻數(shù)據(jù)項(xiàng)的布置位置相關(guān)的信息，所述第六信 息是與所述音頻數(shù)據(jù)的格式相關(guān)的信息，其中，所述處理裝置根據(jù)所述第一信息、所述第四信息、所述第五信息和所述第六信息 提取在多路復(fù)用之后獲得的所述多路復(fù)用視頻幀中被多路復(fù)用的、通過劃分獲得的所述音 頻數(shù)據(jù)項(xiàng)，并執(zhí)行對提取的所述數(shù)據(jù)項(xiàng)的處理。
3.根據(jù)權(quán)利要求2所述的信息處理設(shè)備，其中，所述第一多路復(fù)用裝置將所述視頻數(shù) 據(jù)的多個格式中的每個格式的一個幀劃分為各個線來將所述幀布置在所述多路復(fù)用視頻 幀中，使得以所述幀的各個線不連續(xù)的方式將同一所述幀的各個線從下到上地布置在設(shè)置 于所述多路復(fù)用視頻幀中的第一視頻區(qū)域中，并將所述多個格式的所述幀的數(shù)據(jù)多路復(fù) 用。
4.根據(jù)權(quán)利要求3所述的信息處理設(shè)備，其中，所述第二多路復(fù)用裝置將通過劃分獲 得的所述音頻數(shù)據(jù)項(xiàng)多路復(fù)用以作為設(shè)置在所述多路復(fù)用視頻幀的第一視頻區(qū)域下方的 第一音頻區(qū)域中的數(shù)據(jù)進(jìn)行傳輸。
5.根據(jù)權(quán)利要求4所述的信息處理設(shè)備，其中，所述處理裝置將在處理之后獲得的各 個格式的所述幀中的每個幀劃分為各個線，將所述各個幀布置在所述多路復(fù)用視頻幀中， 使得以所述幀的各個線不連續(xù)的方式將同一幀的各個線從上到下地布置在設(shè)置于所述多 路復(fù)用視頻幀中的第二視頻區(qū)域中，并將所述幀多路復(fù)用以作為所述多路復(fù)用視頻幀的與 所述幀的布置位置相對應(yīng)的數(shù)據(jù)進(jìn)行傳輸，其中，所述處理裝置將在處理之后獲得的、通過劃分獲得的所述音頻數(shù)據(jù)項(xiàng)多路復(fù)用 以作為設(shè)置在所述多路復(fù)用視頻幀的所述第二視頻區(qū)域上方的第二音頻區(qū)域中的數(shù)據(jù)進(jìn) 行傳輸，并且其中，所述處理裝置從所述處理裝置的輸出視頻端口輸出其中傳輸了處理之后獲得的 數(shù)據(jù)的多路復(fù)用視頻幀。
6.根據(jù)權(quán)利要求5所述的信息處理設(shè)備，還包括第一提取裝置，其用于根據(jù)所述第一信息、所述第二信息和所述第三信息，從由所述處 理裝置輸出的所述多路復(fù)用視頻幀提取各格式的各個所述幀的數(shù)據(jù)；以及第一發(fā)送裝置，其用于將所提取的所述各格式的各個所述幀的數(shù)據(jù)在基于所述第三信 息執(zhí)行了與所述格式相對應(yīng)的處理之后輸出至外部。
7.根據(jù)權(quán)利要求6所述的信息處理設(shè)備，還包括第二提取裝置，其用于根據(jù)所述第一信息、所述第四信息、所述第五信息和所述第六信 息，從由所述處理裝置輸出的所述多路復(fù)用視頻幀提取通過劃分獲得所述音頻數(shù)據(jù)項(xiàng)；以 及第二發(fā)送裝置，其用于基于所述第六信息對通過劃分獲得的所提取的所述音頻數(shù)據(jù)項(xiàng) 執(zhí)行與所述格式相對應(yīng)的處理，并用于將已經(jīng)執(zhí)行了所述處理的、通過劃分得到的所述音 頻數(shù)據(jù)項(xiàng)按照從所述音頻數(shù)據(jù)項(xiàng)的起始樣本開始的順序輸出至外部。
8.一種信息處理方法，包括以下步驟產(chǎn)生多路復(fù)用視頻幀，所述多路復(fù)用視頻幀是具有預(yù)定屏幕尺寸的視頻幀；將第一信息插入到所述多路復(fù)用視頻幀中，所述第一信息是與所述多路復(fù)用視頻幀的 構(gòu)造相關(guān)的信息；將輸入視頻數(shù)據(jù)中包括的一個幀布置在所述多路視頻幀中；將所述幀的數(shù)據(jù)多路復(fù)用以作為所述多路復(fù)用視頻幀的與所述幀的布置位置相對應(yīng) 的數(shù)據(jù)進(jìn)行傳輸；將第二信息和第三信息插入到在多路復(fù)用之后獲得的多路復(fù)用視頻幀中，所述第二 信息是與所述幀的布置位置相關(guān)的信息，所述第三信息是與所述視頻數(shù)據(jù)的格式相關(guān)的信 息；根據(jù)所述第一信息、所述第二信息和所述第三信息提取在多路復(fù)用之后獲得的所述多 路復(fù)用視頻幀中被多路復(fù)用的幀的數(shù)據(jù)，在多路復(fù)用之后獲得的所述多路復(fù)用視頻幀從輸 入視頻端口輸入；并且執(zhí)行對所提取的所述數(shù)據(jù)的處理。
9.一種信息處理設(shè)備，包括產(chǎn)生裝置，其用于產(chǎn)生多路復(fù)用視頻幀，并用于將與所述多路復(fù)用視頻幀的連續(xù)性相 關(guān)的信息插入到所述多路復(fù)用視頻幀中，所述多路復(fù)用視頻幀是具有預(yù)定屏幕尺寸的視頻 幀；第一多路復(fù)用裝置，其用于將輸入視頻數(shù)據(jù)中包括的一個幀布置在所述多路復(fù)用視 頻幀中，用于將所述幀的數(shù)據(jù)多路復(fù)用以作為所述多路復(fù)用視頻幀的與所述幀的布置位置 相對應(yīng)的數(shù)據(jù)進(jìn)行傳輸，并用于將與所述幀的連續(xù)性相關(guān)的信息插入到在多路復(fù)用視頻幀 中；劃分裝置，其用于按照從所輸入的音頻數(shù)據(jù)的起始樣本開始的順序?qū)⑺鲆纛l數(shù)據(jù)劃 分為音頻數(shù)據(jù)項(xiàng)，每個所述音頻數(shù)據(jù)項(xiàng)具有在與所述多路復(fù)用視頻幀的一個幀的時段相對 應(yīng)的時段期間輸入的樣本；以及第二多路復(fù)用裝置，其用于將通過所述劃分裝置進(jìn)行的劃分獲得的各個所述音頻數(shù)據(jù) 項(xiàng)布置在所述多路復(fù)用視頻幀中，用于將所述音頻數(shù)據(jù)項(xiàng)多路復(fù)用以作為所述多路復(fù)用視 頻幀的與所述音頻數(shù)據(jù)項(xiàng)的布置位置相對應(yīng)的數(shù)據(jù)進(jìn)行傳輸，并用于將表示所述音頻數(shù)據(jù) 項(xiàng)中包括的樣本數(shù)的信息和與連續(xù)性相關(guān)的信息插入到所述多路復(fù)用視頻幀中。
10.一種信息處理設(shè)備，包括產(chǎn)生單元，其被配置為產(chǎn)生多路復(fù)用視頻幀，并將第一信息插入到所述多路復(fù)用視頻 幀中，所述多路復(fù)用視頻幀是具有預(yù)定屏幕尺寸的視頻幀，并且所述第一信息是與所述多 路復(fù)用視頻幀的構(gòu)造相關(guān)的信息；第一多路復(fù)用單元，其被配置為將輸入視頻數(shù)據(jù)中包括的一個幀布置在所述多路復(fù)用 視頻幀中，將所述幀的數(shù)據(jù)多路復(fù)用以作為所述多路復(fù)用視頻幀的與所述幀的布置位置相 對應(yīng)的數(shù)據(jù)進(jìn)行傳輸，并將第二信息和第三信息插入到在多路復(fù)用之后獲得的多路復(fù)用視 頻幀中，所述第二信息是與所述幀的布置位置相關(guān)的信息，所述第三信息是與所述視頻數(shù) 據(jù)的格式相關(guān)的信息；以及處理單元，其被配置為根據(jù)所述第一信息、所述第二信息和所述第三信息提取在多路 復(fù)用之后獲得的所述多路復(fù)用視頻幀中被多路復(fù)用的幀的數(shù)據(jù)，并執(zhí)行對所提取的所述數(shù) 據(jù)的處理，其中在多路復(fù)用之后獲得的所述多路復(fù)用視頻幀從所述處理單元的輸入視頻端 口輸入所述處理裝置。
11.一種信息處理設(shè)備，包括產(chǎn)生單元，其被配置為產(chǎn)生多路復(fù)用視頻幀，并將與所述多路復(fù)用視頻幀的連續(xù)性相 關(guān)的信息插入到所述多路復(fù)用視頻幀中，所述多路復(fù)用視頻幀是具有預(yù)定屏幕尺寸的視頻 幀；第一多路復(fù)用單元，其被配置為將輸入視頻數(shù)據(jù)中包括的一個幀布置在所述多路復(fù)用 視頻幀中，將所述幀的數(shù)據(jù)多路復(fù)用以作為所述多路復(fù)用視頻幀的與所述幀的布置位置相 對應(yīng)的數(shù)據(jù)進(jìn)行傳輸，并將與所述幀的連續(xù)性相關(guān)的信息插入到在多路復(fù)用視頻幀中；劃分單元，其被配置為按照從所輸入的音頻數(shù)據(jù)的起始樣本開始的順序?qū)⑺鲆纛l數(shù) 據(jù)劃分為音頻數(shù)據(jù)項(xiàng)，每個所述音頻數(shù)據(jù)項(xiàng)具有在與所述多路復(fù)用視頻幀的一個幀的時段 相對應(yīng)的時段期間輸入的樣本；以及第二多路復(fù)用單元，其被配置為將通過所述劃分裝置進(jìn)行的劃分獲得的各個所述音頻 數(shù)據(jù)項(xiàng)布置在所述多路復(fù)用視頻幀中，將所述音頻數(shù)據(jù)項(xiàng)多路復(fù)用以作為所述多路復(fù)用視 頻幀的與所述音頻數(shù)據(jù)項(xiàng)的布置位置相對應(yīng)的數(shù)據(jù)進(jìn)行傳輸，并將表示所述音頻數(shù)據(jù)項(xiàng)中 包括的樣本數(shù)的信息和與連續(xù)性相關(guān)的信息插入到所述多路復(fù)用視頻幀中。
全文摘要
本發(fā)明涉及信息處理設(shè)備、信息處理方法和程序。信息處理設(shè)備包括以下元件。產(chǎn)生單元，其產(chǎn)生多路復(fù)用視頻幀，并將第一信息插入到所述多路復(fù)用視頻幀中，所述多路復(fù)用視頻幀是具有預(yù)定屏幕尺寸的視頻幀，并且所述第一信息是與所述多路復(fù)用視頻幀的構(gòu)造相關(guān)的信息。第一多路復(fù)用單元，其將輸入視頻數(shù)據(jù)中包括的一個幀布置在所述多路復(fù)用視頻幀中，將所述幀的數(shù)據(jù)多路復(fù)用以作為所述多路復(fù)用視頻幀的與所述幀的布置位置相對應(yīng)的數(shù)據(jù)進(jìn)行傳輸，并將第二信息和第三信息插入到在多路復(fù)用之后獲得的多路復(fù)用視頻幀中，所述第二信息是與所述幀的布置位置相關(guān)的信息，所述第三信息是與所述視頻數(shù)據(jù)的格式相關(guān)的信息。處理單元，其根據(jù)所述第一信息、所述第二信息和所述第三信息提取在多路復(fù)用之后獲得的所述多路復(fù)用視頻幀中被多路復(fù)用的幀的數(shù)據(jù)，并執(zhí)行對所提取的所述數(shù)據(jù)的處理。
文檔編號H04N21/2368GK102131105SQ20111000611
公開日2011年7月20日 申請日期2011年1月7日 優(yōu)先權(quán)日2010年1月14日
發(fā)明者倉重雅文, 大貫淳, 植田求, 荻窪純一, 藤堂晉, 西川正樹 申請人:索尼公司