專利名稱：構(gòu)造用于混合的音頻流的方法和裝置以及信息存儲介質(zhì)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及音頻混合，尤其涉及用于構(gòu)造能將從多個通道中分別得到的多個音頻數(shù)據(jù)組合的音頻流的方法和裝置及其信息存儲介質(zhì)。
背景技術(shù)：
圖1是調(diào)節(jié)安裝在個人電腦(PC)或類似的裝置上的音頻播放器的音量的傳統(tǒng)的用戶界面的示意性示圖。用戶可使用如圖1所示的音量控制界面調(diào)節(jié)音頻播放器的音量。當(dāng)用戶通過使用鍵盤和鼠標(biāo)升高或降低音量按鈕100調(diào)節(jié)音頻播放器的音量時，對從多個音頻流通道中分別獲得的音頻數(shù)據(jù)進(jìn)行音頻混合。然而，音頻混合是由音頻播放器任意確定的，而不管音頻流通道的數(shù)目和類型如何。
例如，當(dāng)再現(xiàn)包含從兩個通道中獲得的音頻數(shù)據(jù)的音頻流時，來自第一通道的第一音頻數(shù)據(jù)和來自第二通道的第二音頻數(shù)據(jù)的輸出電平在音頻播放器中是預(yù)定的。因此，第一和第二音頻數(shù)據(jù)的輸出電平被調(diào)整為當(dāng)前輸出電平并且具有調(diào)整的輸出電平的第一和第二音頻數(shù)據(jù)被混合。
然而，上述任意的音頻混合具有一些問題。將來自兩個分離的通道的第一音頻數(shù)據(jù)和第二音頻數(shù)據(jù)如內(nèi)容提供者期望的那樣以期望的輸出電平混合是極其困難的。這是因?yàn)橛糜谡{(diào)整音頻數(shù)據(jù)的輸出電平的系數(shù)在安裝于PC中的音頻播放器中是預(yù)定的。因此，幾乎不可能在音頻混合中適當(dāng)?shù)胤从硟?nèi)容提供者的意圖。
還有，一旦音頻混合方法相對于音頻內(nèi)容如歌詞或電影劇本是確定的，將維持混合方法直到其再現(xiàn)完成。即，不可能動態(tài)改變對音頻內(nèi)容進(jìn)行的音頻混合方法。因此，不能對任何音頻內(nèi)容或特性進(jìn)行適應(yīng)。
另外，當(dāng)將一種類型的音頻內(nèi)容的通道分量和另一類型的音頻內(nèi)容的通道分量混合時，只有同種類型的通道分量的可以混合。換句話說，即使內(nèi)容提供者想提供通過將來自不同通道的音頻數(shù)據(jù)混合得到的音頻內(nèi)容，也不可能再現(xiàn)這些音頻內(nèi)容。尤其是，如果一種類型的音頻內(nèi)容包含多通道數(shù)據(jù)和另一類型的音頻內(nèi)容包含雙通道數(shù)據(jù)，在不改變雙通道數(shù)據(jù)的通道格式的情況下，將雙通道數(shù)據(jù)和多通道數(shù)據(jù)的環(huán)繞分量混合是困難的。例如，對于內(nèi)容提供者將MP3音樂調(diào)整至期望的輸出電平，以及將MP3音樂和包含在DVD-視頻中的環(huán)繞的多通道的通道音頻數(shù)據(jù)混合是困難的。

發(fā)明內(nèi)容
根據(jù)本發(fā)明的一方面，提供了一種用于構(gòu)造能將來自不同類型的音頻流的音頻通道分量組合音頻流的方法和裝置，以及存儲音頻混合信息的信息存儲介質(zhì)。
根據(jù)本發(fā)明的一方面，提供了一種信息存儲介質(zhì)，包括多個音頻通道分量，每個包含相應(yīng)音頻數(shù)據(jù)；和混合信息，用來混合將被添加的附加通道分量和音頻通道分量。
根據(jù)本發(fā)明的另一方面，混合信息包括其中記錄了關(guān)于附加的通道分量的信息的字段，且可在字段中設(shè)置預(yù)定的虛(dummy)值。
根據(jù)本發(fā)明的另一方面，提供了一種信息存儲介質(zhì)，包括多個音頻通道分量，包含音頻數(shù)據(jù)；和音頻流，包含至少一個提供備用空間以記錄預(yù)定的音頻數(shù)據(jù)的零(null)通道分量。
根據(jù)本發(fā)明的一方面，包含在零通道分量中的音頻數(shù)據(jù)包括混合信息，當(dāng)包含在零通道分量中的音頻數(shù)據(jù)和來自多個音頻通道中的至少一個的通道分量混合時參考該混合信息。
根據(jù)本發(fā)明的另一方面，提供了一種裝置，包括主多路分解器，用于將包括包含音頻數(shù)據(jù)的多個主音頻通道的主音頻流和至少一個提供空間以存儲預(yù)定音頻數(shù)據(jù)的零通道多路分解，并在音頻通道中輸出多路分解的音頻流；輔多路分解器，用于將包括至少一個包含音頻數(shù)據(jù)的輔音頻通道的輔音頻流多路分解，該音頻數(shù)據(jù)將存儲在零通道中，并在輔音頻通道中輸出多路分解的音頻流；映射器，該映射器使用從輔多路分解器輸出的至少一個輔音頻通道之一代替從主多路分解器輸出的至少一個零通道之一；和多路復(fù)用器，多路復(fù)用從映射器輸出的輔音頻通道和從主多路分解器中輸出的主音頻通道并輸出組合的音頻流。
本發(fā)明的一方面，該裝置包括解碼器，將組合的音頻流解碼；和混合器，基于混合信息將通過解碼器解碼的音頻通道混合。
根據(jù)本發(fā)明的另一方面，提供了一種裝置，包括解碼器，用于將具有形成具有預(yù)定格式的音頻流的多個主音頻通道和將要和多個主音頻通道之一混合的輔音頻通道的組合音頻流解碼；和混合器，用于基于混合信息將來自輔音頻通道的音頻數(shù)據(jù)和主音頻通道混合。
根據(jù)本發(fā)明的又一方面，提供了一種構(gòu)造音頻流的方法，包括創(chuàng)建至少一個主音頻通道分量；和通過將用來把創(chuàng)建的主音頻通道分量和將要添加的附加的通道分量混合的混合信息打包來構(gòu)造音頻流。
根據(jù)本發(fā)明的一方面，構(gòu)造音頻流包括創(chuàng)建混合信息以包括用于記錄關(guān)于附加的通道分量的信息的字段，或者包括混合信息以包括用于記錄關(guān)于附加的通道分量的信息的字段，該信息將字段設(shè)置為預(yù)定的虛值。
根據(jù)本發(fā)明的另一方面，提供了一種構(gòu)造音頻流的方法，包括創(chuàng)建至少一個主音頻通道；和創(chuàng)建主音頻流，該主音頻流包含創(chuàng)建的主音頻通道分量和至少一個零通道分量。
根據(jù)本發(fā)明的一方面，該方法包括創(chuàng)建至少一個輔音頻通道分量；和通過交換零通道分量和創(chuàng)建的輔音頻通道分量來創(chuàng)建組合的音頻流。
根據(jù)本發(fā)明的另一方面，提供了一種構(gòu)造音頻流的方法，包括創(chuàng)建至少一個主音頻通道分量；創(chuàng)建至少一個輔音頻通道分量；和創(chuàng)建具有創(chuàng)建的主音頻分量和輔音頻通道分量的組合音頻流。
發(fā)明的其他方面和/或優(yōu)點(diǎn)將在下面的描述中提出一部分，另外的部分，通過描述將是顯而易見的，或通過實(shí)施發(fā)明來了解。


通過下面組合附圖對實(shí)施例進(jìn)行的描述，本發(fā)明的這些和/或其他方面和優(yōu)點(diǎn)將會變得清楚和更加易于理解，其中圖1是用于調(diào)節(jié)安裝于個人電腦(PC)或類似的設(shè)備中的音頻播放器的音量的傳統(tǒng)的用戶界面的示意性示圖；圖2是根據(jù)本發(fā)明實(shí)施例用于構(gòu)造音頻流的裝置的框圖；
圖3是根據(jù)本發(fā)明的另一實(shí)施例用于構(gòu)造音頻流的裝置的框圖；圖4A是根據(jù)本發(fā)明實(shí)施例的主音頻流的示意性示圖；圖4B是根據(jù)本發(fā)明另一實(shí)施例的主音頻流的示意性示圖；圖4C是根據(jù)本發(fā)明又一實(shí)施例的主音頻流的示意性示圖；圖4D是根據(jù)本發(fā)明另一實(shí)施例的主音頻流的示意性示圖；圖4E是根據(jù)本發(fā)明又一實(shí)施例的主音頻流的示意性示圖；圖5是根據(jù)本發(fā)明實(shí)施例的輔音頻流的示意性示圖；圖6A是根據(jù)本發(fā)明實(shí)施例的組合音頻流的示意性示圖；圖6B是根據(jù)本發(fā)明的另一實(shí)施例的組合音頻流的示意性示圖；圖7是再現(xiàn)圖6A和6B中所示的組合音頻流的圖3的裝置的另一實(shí)施例的框圖；圖8A和8B是其中建有用于構(gòu)造音頻流的裝置的系統(tǒng)的例子的示意性示圖和框圖；圖9表示根據(jù)本發(fā)明實(shí)施例的混合信息的數(shù)據(jù)結(jié)構(gòu)；圖10A表示根據(jù)本發(fā)明實(shí)施例的包含圖9中的混合信息的混合表；圖10B表示根據(jù)本發(fā)明的另一實(shí)施例的包含圖9中的混合信息的混合表；圖11是表示根據(jù)本發(fā)明實(shí)施例的動態(tài)混合的參考圖。
具體實(shí)施例方式
將參照附圖詳細(xì)說明本發(fā)明的實(shí)施例，其例子列舉在附圖中，其中相同的標(biāo)號始終表示相同的部件。下面參照附圖描述實(shí)施例以解釋本發(fā)明。
為了更好的理解本發(fā)明的實(shí)施例，首先簡要解釋“混合”?；旌峡梢岳斫鉃橄率鲋辽僦?i)調(diào)整組成音頻流的多個通道分量的至少一個通道分量的輸出電平；(ii)調(diào)整組成音頻流的多個通道分量的至少一個通道分量的輸出電平，并將調(diào)整的通道分量和剩余的通道分量中的至少一個通道分量組合；和(iii)將組成音頻流的多個通道分量中的至少兩種通道分量組合，并將組合的結(jié)果輸出到揚(yáng)聲器。另外，混合方法(i)至(iii)適用于組成多個音頻流的多個通道分量的至少一個通道分量。此外，根據(jù)本發(fā)明實(shí)施例通過參考“混合”包含動態(tài)混合。
音頻流是以預(yù)定格式產(chǎn)生的以能夠?qū)σ纛l的完整片斷，如歌曲或音樂的一段，進(jìn)行評估的音頻數(shù)據(jù)的單元。即，音頻流是能獨(dú)立的再現(xiàn)并包含至少一個通道分量的音頻數(shù)據(jù)。這里，通道分量表示包含在通道中的音頻數(shù)據(jù)。
圖2是根據(jù)本發(fā)明實(shí)施例的用于構(gòu)造音頻流的裝置1的框圖。參照圖2，裝置1包括主多路分解器11、輔多路分解器12、映射器13、和多路復(fù)用器14。該裝置接收主音頻流和輔音頻流并產(chǎn)生組合音頻流。
主多路分解器11接收和多路分解主音頻流并輸出多個音頻通道分量。主音頻流是以信息格式(也就是允許添加組成另一音頻流的多個通道分量中的至少一個通道分量的可擴(kuò)展格式)產(chǎn)生的音頻流。在圖2中，實(shí)線表示從主音頻流獲得的音頻通道分量，虛線表示可以被添加到存在的通道分量的通道分量。如下文將要描述的，虛線表示在主音頻流具有至少一個被添加通道分量的零通道分量的情況下的零通道分量。
輔多路分解器12接收和多路分解輔音頻流并輸出多個輔音頻通道分量。在此實(shí)施例中，輔音頻流不包括零通道分量。然而，應(yīng)該理解的是輔音頻流可能包括零通道分量。
主多路分解器11和輔多路分解器12之所以如此命名是因?yàn)樗鼈兎謩e將主音頻流和輔音頻流多路分解。因此，一定不能將它們理解為主裝置和輔裝置。
映射器13將從主多路分解器11輸出的可被添加到現(xiàn)有分量中的至少一個通道分量換為從輔多路分解器12輸出的至少一個輔音頻通道分量。換句話說，映射器13將包含在輔音頻通道中的音頻數(shù)據(jù)插入主音頻流中。在主音頻流具有零通道的情況下，映射器13將包含在輔音頻通道中的音頻數(shù)據(jù)插入到零通道，從而將零通道分量換為輔音頻通道分量。在交換過程中，映射器13可將包含在輔音頻通道中的音頻數(shù)據(jù)重新格式化為預(yù)定的格式，例如將包含于主音頻通道的音頻數(shù)據(jù)格式化后的格式，并將重新格式化的音頻數(shù)據(jù)插入到零通道。
多路復(fù)用器14將與從映射器13輸出的零通道分量交換的輔音頻通道分量和從主多路分解器11輸出的主音頻通道分量多路復(fù)用，并輸出組合音頻流作為多路復(fù)用的結(jié)果。在這種情況下，多路復(fù)用器14可能將混合信息插入到組合音頻流中。然而，如果再現(xiàn)裝置包含混合信息，則本發(fā)明的所有方面均不需將混合信息插入到組合音頻流中。
組合音頻流是包括完成預(yù)定格式的多個主音頻通道分量和將與主音頻通道分量混合的輔音頻通道分量的獨(dú)立的音頻流。這里，完成預(yù)定的格式表明準(zhǔn)備了所有以預(yù)定的格式要求的數(shù)據(jù)。例如，當(dāng)準(zhǔn)備了以Dolby AC3格式指定的所有5-通道分量時，則完成了預(yù)定的格式。然而，應(yīng)該理解的是，也可以使用其他格式，如DVD-視頻、MPEG、Dolby PROLOGIC、MP、WINDOWSMEDIA等。
圖3是根據(jù)本發(fā)明另一實(shí)施例的用于再現(xiàn)音頻流2的裝置的框圖。參照圖3，該用于再現(xiàn)音頻流2的裝置包括解碼器21和混合器22，以再現(xiàn)組合音頻流。解碼器21將組合音頻流解碼并輸出多個解碼的主音頻通道分量和至少一個輔音頻通道分量?；旌掀?2將至少一個輔音頻通道分量和多個主音頻通道分量之一混合。這里，混合是根據(jù)預(yù)定的混合方法進(jìn)行或基于將在下文更詳細(xì)地描述的混合信息進(jìn)行。如果有多于一類的混合信息，混合22進(jìn)行動態(tài)混合，這不同于在僅一種組合音頻流上進(jìn)行的僅一種類型的混合。將在下文更詳細(xì)地描述動態(tài)混合。
由于不同格式的音頻通道分量以不同的速度被解碼，從解碼器21輸出的解碼的音頻通道分量的數(shù)量可能不同。為了解決這個問題，混合器22可包括緩沖器(未表示)或一些可在混合前適當(dāng)?shù)鼐彌_音頻數(shù)據(jù)的類似的存儲裝置。
圖4A和4B表示主音頻流的實(shí)施例。在此例子中，主音頻流將用5個通道描述。然而，通道的數(shù)目不受限制并且可根據(jù)格式的類型而改變。例如，可以使用6或8通道的環(huán)繞聲通道。
參照圖4A，主音頻流具有5個不同的主音頻通道L，C，R，LS，和RS。這里，五種不同的主音頻通道L，C，R，LS，和RS分別表示左通道、中通道、右通道、左環(huán)繞通道、和右環(huán)繞通道。主音頻通道L，R，和C提供穩(wěn)定的虛擬聲源，主音頻通道LS和RS提供三維的(3D)的真實(shí)聲源。
在此實(shí)施例中，混合信息記錄在主音頻流的首標(biāo)中。混合信息能使主音頻流擴(kuò)展。換句話說，混合信息使將另一音頻流的預(yù)定的通道分量插入主音頻流，從而擴(kuò)展主音頻流成為可能?；旌闲畔⑹窃试S把將在隨后添加的預(yù)定的通道分量和存在的主音頻流的主音頻通道分量混合的信息?；旌闲畔⒌脑敿?xì)的數(shù)據(jù)結(jié)構(gòu)將在后面描述。
參照圖4B，主音頻流具有參照圖4A所解釋的五個不同的主音頻通道L，C，R，LS，和RS，和另外兩個零通道。這兩個零通道提供用于包含預(yù)定的音頻數(shù)據(jù)的空間。在此實(shí)施例中，零通道不包含數(shù)據(jù)。
參照圖4C，主音頻流具有參照圖4B所解釋的五個不同的主音頻通道和兩個零通道。然而，這兩個零通道包含沒有意義的零數(shù)據(jù)如0字符串或音頻數(shù)據(jù)。作為零數(shù)據(jù)的音頻數(shù)據(jù)的再現(xiàn)提供附加音頻。然而，即使零音頻數(shù)據(jù)沒有再現(xiàn)，主音頻流的質(zhì)量不會受到很大的影響。同時，即使僅從主音頻通道之一獲得的音頻數(shù)據(jù)沒有再現(xiàn)，主音頻流的質(zhì)量也會惡化。
參照圖4D，主音頻流也具有參照圖4B所解釋的五個不同的主音頻通道和兩個零通道。然而，混合信息還被記錄在圖4D的主音頻流的首標(biāo)中。如前面提到的，混合信息能把將在隨后添加的預(yù)定的通道分量和存在的主音頻流的主音頻通道分量混合。
參照圖4E，主音頻流具有參照圖4C所解釋的五個不同的主音頻通道和兩個零通道。然而，混合信息也被記錄在圖4E的主音頻流的首標(biāo)中。如上所述，混合信息能把將在隨后添加的預(yù)定的通道分量和存在的主音頻流的主音頻通道分量混合。
圖5是根據(jù)本發(fā)明另一實(shí)施例的輔音頻流的示意性示圖。參照圖5，輔音頻流是具有左和右通道L’和R’的音頻流。即，輔音頻流包含從兩個通道獲得的音頻數(shù)據(jù)。所示的輔音頻流(也就是兩通道音頻流)能再現(xiàn)在左和右方向回聲的聲音。這里，因?yàn)槠渫ǖ婪至勘徊迦氲街饕纛l流中，輔音頻流的是為了方便而命名的。即，輔音頻流是在沒有主音頻流的情況下可以獨(dú)立再現(xiàn)的音頻流。用于輔音頻流的通道的總數(shù)目不限于2個，可以根據(jù)格式的類型而改變。而且，輔音頻通道不必為左和右，而是可以為單通道，如中通道或亞低音通道，或?qū)η昂秃蠡蜃蠛陀彝ǖ赖妮o輸入。
圖6A和6B表示根據(jù)本發(fā)明優(yōu)選實(shí)施例的組合音頻流。圖6A的組合音頻流是圖4A至4E所示的主音頻流和圖5的輔音頻流的組合。更具體地講，組合音頻流是通過將從兩個輔音頻通道L’和R’輸出的通道分量插入到主音頻流中得到的。如果主音頻流具有兩個零通道，則組合音頻流可通過用來自通道L’和R’的輔通道分量替換來自零通道的零通道分量獲得。
音頻流發(fā)生器可不使用裝置直接構(gòu)造上述格式的組合音頻流。在此實(shí)施例中，組合音頻流是小數(shù)量的數(shù)字?jǐn)?shù)據(jù)并且可通過將主音頻通道分量和輔音頻通道分量混合得到，或可能僅包括主音頻通道分量而不包括輔音頻通道分量。
圖6B的組合音頻流與圖6A的相同，但是在首標(biāo)中還包括混合信息。當(dāng)主音頻流分量與輔音頻通道分量混合時參考混合信息。根據(jù)本發(fā)明的方面混合信息也可能通過再現(xiàn)裝置生成并被插入到組合音頻流的首標(biāo)中，或可能根據(jù)音頻流發(fā)生器的意圖生成并被插入到組合音頻流的首標(biāo)中。這里，用于再現(xiàn)音頻流2的裝置按照用戶的期望生成混合信息。
圖7是用于再現(xiàn)圖6A或6B的組合音頻流的裝置的框圖，該裝置是圖3所示裝置的另一實(shí)施例。與圖3中的相同的部件將用相同標(biāo)號表示，并且將省略參照圖3所描述的他們的結(jié)構(gòu)或功能。
圖7中的裝置根據(jù)本發(fā)明實(shí)施例解碼組合音頻流，并且基于記錄在組合音頻流的首標(biāo)中的混合信息來混合解碼的結(jié)果。圖7中的裝置包括解碼器21和混合器22。
解碼器21解碼從包含于組合音頻流的五個主音頻通道輸出的音頻數(shù)據(jù)和從2個輔音頻通道輸出的音頻數(shù)據(jù)，并且在通道中輸出解碼后的數(shù)據(jù)。另外，解碼器21從組合音頻流的首標(biāo)中讀取混合信息，并且將該信息提供給混合器22。如果必要的話，那么解碼器21基于混合信息來解碼音頻數(shù)據(jù)。然而，解碼器21在本發(fā)明的所有方面不需要使用混合信息。
混合器22包括將從解碼器21輸出的音頻數(shù)據(jù)的電平放大的放大器221至227和包括組合來自至少兩個通道的音頻數(shù)據(jù)的加法器228和229。雖然指定加法器228和229作為例子，但是沒有限制加法器的數(shù)目。如果必要的話，混合器22包括更多加法器，用于組合來自在圖4中沒有顯示的通道的音頻數(shù)據(jù)，從而與L、R、C通道的音頻數(shù)據(jù)或在圖4中顯示的除LS、RS通道之外的通道的音頻數(shù)據(jù)而不與在圖4中顯示的LS、RS通道混合。
基于混合信息，混合器22使用放大器221至223以將來自從解碼器21輸入的通道L、R、和C的音頻數(shù)據(jù)的輸出電平乘以混合系數(shù)1，并且使用放大器224和225以將來自通道LS和RS的音頻數(shù)據(jù)的輸出電平乘以混合系數(shù)0.5。同樣地，基于混合信息，混合器22使用放大器226和227以將來自從解碼器21輸入的輔通道L′和R′的音頻數(shù)據(jù)的輸出電平乘以混合系數(shù)0.5。接下來，混合器22使用加法器228和229將來自具有調(diào)整后的輸出電平的輔通道L′、R′的音頻數(shù)據(jù)和來自通道LS和RS的音頻數(shù)據(jù)組合。即，來自輔音頻流的輔通道L′和R′的音頻數(shù)據(jù)分別與來自主音頻流的通道LS和RS的音頻數(shù)據(jù)相組合。該組合的結(jié)果經(jīng)由通道LS和RS輸出。因此，混合器22經(jīng)由五個通道L、R、C、LS、和RS來輸出最終音頻數(shù)據(jù)。
圖8A和8B是安裝了用于構(gòu)造和/或再現(xiàn)音頻流的裝置的系統(tǒng)的示意性示圖和方框圖。與圖2和圖3中的相同的部件用相同的標(biāo)號表示，并且將省略參照圖2和圖3所描述的它們的結(jié)構(gòu)或者功能。
參照圖8A和圖8B，該系統(tǒng)包括音頻播放器100和放大器200。經(jīng)能夠傳輸數(shù)字?jǐn)?shù)據(jù)的傳輸線400連接音頻播放器100和放大器200。例如，傳輸線400可以是索尼菲利普數(shù)字接口(SPDI)連接器。雖然在圖8中顯示的是音頻播放器100，但是應(yīng)該明白也可以使用音頻/視頻播放器，或者計算機(jī)或者便攜音樂裝置如MP3播放器。此外，應(yīng)該明白在音頻播放器100和放大器200之間的傳輸可以是無線的，并且不限于任何特殊類型的傳輸線。
圖2中的裝置1和盤驅(qū)動器安裝在音頻播放器100中。該盤驅(qū)動器從裝入盤驅(qū)動器中的盤類的信息存儲介質(zhì)300中讀取根據(jù)本發(fā)明的主音頻流。另外，音頻播放器100包括在其中存儲了輔音頻流的存儲單元110。該存儲介質(zhì)110可以是硬盤或者存儲器。在放大器200中安裝了用于再現(xiàn)圖3中的音頻流2的裝置。該信息存儲介質(zhì)可以是例如CD-R、CD-ROM、DVD、藍(lán)光(Bluray)盤、先進(jìn)光盤(AOD)和/或存儲器如閃速存儲器?？蛇x擇的是，應(yīng)該明白可以通過網(wǎng)絡(luò)如互聯(lián)網(wǎng)、LAN.WLAN等來接收音頻流。
將記錄在盤類的信息存儲介質(zhì)300中的主音頻流提供給主多路分解器11，并且將存儲在存儲單元110中的輔音頻流提供給輔多路分解器12。多路復(fù)用器14經(jīng)傳輸線400將組合音頻流傳輸?shù)椒糯笃?00。如前面所提到的，放大器200將組合音頻流解碼并且混合解碼的結(jié)果。
為了一起再現(xiàn)包含在不同音頻流中的通道分量，傳統(tǒng)系統(tǒng)將這些通道分量解碼，將解碼的結(jié)果轉(zhuǎn)換成模擬信號，并且使用預(yù)定的混合方法將模擬信號混合。通過混合得到的信號也是模擬信號。然而，通常，連接播放器和放大器的傳輸線的容量對于傳輸模擬信號形式的音頻數(shù)據(jù)是不足的。因此，經(jīng)常需要將模擬信號編碼(即，壓縮，和傳輸)。為了對模擬信號編碼，該播放器還包括編碼器。然而，根據(jù)本發(fā)明實(shí)施例的組合音頻流是不用編碼器就能夠經(jīng)傳輸線400被傳輸?shù)椒糯笃?00的數(shù)字?jǐn)?shù)據(jù)流。應(yīng)該明白雖然不需要編碼器，但是本發(fā)明的實(shí)施例可以使用編碼器。
此外，在傳統(tǒng)系統(tǒng)中，僅僅使用最終輸出的模擬信號來確定將被混合的輸出音頻數(shù)據(jù)和被混合的音頻數(shù)據(jù)的電平的通道類型是困難的。此外，不可能跟蹤構(gòu)成輸出模擬信號的通道分量。因此，一旦組合通道分量以形成模擬信號，則不可能基于每個通道使用音頻數(shù)據(jù)(例如，從各個通道分量中提取音頻數(shù)據(jù))。然而，根據(jù)本發(fā)明的實(shí)施例，在混合主音頻流和輔助音頻流之前產(chǎn)生組合音頻流，并且因此，用戶能夠根據(jù)他或她的期望來混合主音頻流和輔助音頻流。此外，由于該組合音頻流是包含主音頻流、輔音頻流、和混合信息的數(shù)字?jǐn)?shù)據(jù)，所以用戶不僅能夠從各個通道分量中提取音頻數(shù)據(jù)，也能夠基于每個通道利用該音頻數(shù)據(jù)。
圖9顯示了根據(jù)本發(fā)明實(shí)施例的混合信息的數(shù)據(jù)結(jié)構(gòu)。圖9中的混合信息包括混合通道信息和混合系數(shù)信息。具體地講，該混合通道信息指定包含在組合音頻流中的哪些通道分量將要被混合。該混合系數(shù)信息指定確定要被混合的音頻數(shù)據(jù)的輸出電平的混合系數(shù)。該混合信息可以僅包括混合通道信息和混合系數(shù)信息中的一個。
此外，該混合信息可以包括編碼信息，用來指定用于組合音頻流的輔音頻通道的格式。該混合信息還包括同步信息，用來指定需要再現(xiàn)與來自主音頻通道的音頻數(shù)據(jù)同相的來自輔助音頻通道的音頻數(shù)據(jù)的再現(xiàn)時間。如果已經(jīng)為再現(xiàn)裝置提供了用于來自輔助音頻通道的音頻數(shù)據(jù)的編碼信息和/或同步信息，那么這樣的信息可以不包括在混合信息中。
該混合信息還可以包括緩沖信息。因?yàn)樵诓煌臅r間將這些音頻通道分量解碼，所以該緩沖信息被用來在混合處理之前控制提供的音頻通道分量的不同格式的數(shù)量。例如，該緩沖信息指定了緩沖器的大小。
根據(jù)本發(fā)明優(yōu)選實(shí)施例，圖10A和圖10B顯示了的包含圖9中的混合信息的混合表。圖10A中的混合表與圖4A中的主音頻流相關(guān)?；旌媳硎强紤]到將被添加的音頻通道分量和存在的主音頻通道分量的混合而制作的。該混合表表示存在的主音頻通道分量的標(biāo)識符，并且包括將在其中記錄將被添加的音頻通道分量的標(biāo)識符的字段。在此實(shí)施例中，所有存在的主音頻通道分量的標(biāo)識符初始設(shè)置為00，但是它們隨將要插入到主音頻通道分量的音頻通道的標(biāo)識符被重新設(shè)置。
作為混合目標(biāo)的通道分量的標(biāo)識符全部設(shè)置為00，但是當(dāng)音頻通道被插入主音頻通道分量中時，它們也隨將被混合的通道分量的標(biāo)識符被重新設(shè)置。
另外，該混合表包括用于記錄指定用來控制通道分量的輸出電平的混合系數(shù)的混合系數(shù)信息的字段、用于記錄指定音頻通道的格式的編碼信息的字段、和用于記錄指定音頻通道分量的再現(xiàn)時間的同步信息的字段。同樣地，這些標(biāo)識符也被設(shè)置為00，但是當(dāng)將音頻通道插入到主音頻通道分量中時，它們能夠由發(fā)生器、裝置、或者用戶重新設(shè)置。這里，值‘00’是不限制數(shù)據(jù)長度的虛值，但是表示了在其中記錄了附加信息的字段的存在。
也能夠?qū)D4D和圖4E中的主音頻流的混合表構(gòu)造成與圖10中的混合表一樣。然而，圖4D和圖4E中的主音頻流還包括用將被添加的輔通道分量替換的零通道。因此，主音頻流的標(biāo)識符沒有設(shè)置為00而是被記錄為關(guān)于零通道分量的信息。
圖10B中的混合表與圖6A和圖6B中的組合音頻流相關(guān)。該混合表包括用于指定輸入到混合器22和將被混合的的音頻通道分量(即，主和輔音頻通道分量)的標(biāo)識符的混合通道信息，并且包括用于指定用來控制通道分量的輸出電平的混合系數(shù)的混合信息。另外，該混合表包括用于指定各個音頻通道的格式的編碼信息和用于指定輔音頻通道分量的再現(xiàn)時間的同步信息。
根據(jù)圖10B中的混合表，從主通道L、R、和C中獲得的音頻數(shù)據(jù)的輸出電平被乘以混合系數(shù)1，并且從通道LS和RS中獲得的音頻數(shù)據(jù)的輸出電平被乘以混合系數(shù)0.5。即，來自通道LS和RS的音頻數(shù)據(jù)的輸出電平被減半，并且將調(diào)整后的音頻數(shù)據(jù)與來自輔通道L′和R′的音頻數(shù)據(jù)組合。同時，來自輔通道L′和R′的音頻數(shù)據(jù)的輸出電平被乘以混合系數(shù)0.5。即，來自輔通道L′和R′的音頻數(shù)據(jù)的輸出電平也被減少一半，并且將調(diào)整后的音頻數(shù)據(jù)與來自通道LS和RS的音頻數(shù)據(jù)組合。
另外，圖10B中的混合表顯示以AC3格式制作主音頻通道分量，以MP3格式制作輔音頻通道分量，并且輔音頻通道分量的再現(xiàn)開始于再現(xiàn)時間300。
圖11是顯示根據(jù)本發(fā)明實(shí)施例的動態(tài)混合的參考圖。圖11中的參考圖顯示了當(dāng)包含在組合音頻流或輔音頻流中的輔音頻通道L′和R′與包含在組合音頻流或主音頻通道中的主通道分量一起再現(xiàn)時，對包含于視頻的音頻數(shù)據(jù)執(zhí)行的動態(tài)混合。在這種情況下，當(dāng)再現(xiàn)從輔音頻通道L′和R′輸出的通道分量時，使用固定的混合系數(shù)經(jīng)常不提供高質(zhì)量的音頻經(jīng)驗(yàn)。例如，當(dāng)電影與電影制作者的解說一起放映時這可能適用。如果該解說以相同的電平再現(xiàn)于安靜的場景和嘈雜的戰(zhàn)爭場景，那么該輸出電平可能太高而不能匹配安靜場景的氣氛或者在嘈雜的戰(zhàn)爭場景中太低。為了解決這個問題，建議內(nèi)容提供者提供多個混合表，其中列出用于適當(dāng)?shù)卣{(diào)整音頻數(shù)據(jù)的輸出電平以匹配電影中的各個場景氣氛的混合系數(shù)。如果混合表的數(shù)目超過一個，那么也應(yīng)該提供參考時間信息。當(dāng)在圖3或圖8B中所示的再現(xiàn)裝置的混合器22應(yīng)該參考多個混合表時，該參考時間信息及時指定情況。混合器22通過調(diào)整由參考時間信息指示的不同的音頻數(shù)據(jù)的輸出電平來進(jìn)行動態(tài)混合，其中，該輸出電平被乘以在多個混合表中列出的不同的混合系數(shù)。
同樣，建議制作多個混合表，從而能夠使用不同的混合通道信息、格式、和再現(xiàn)時間信息執(zhí)行動態(tài)混合。
如上所述，根據(jù)本發(fā)明的方面，可以混合從不同的音頻流輸出的不同類型的通道分量，并且將它們再現(xiàn)成音頻流。另外，也可以對多通道分量執(zhí)行動態(tài)混合，因此適應(yīng)音頻內(nèi)容及其特性的變化并且因此更適當(dāng)?shù)卦佻F(xiàn)音頻數(shù)據(jù)。此外，根據(jù)本發(fā)明的方面的組合音頻流是能夠被容易地基于每個通道傳輸并被重新使用的數(shù)字?jǐn)?shù)據(jù)。
雖然以音頻數(shù)據(jù)的形式進(jìn)行描述，但是應(yīng)該明白一個或更多通道可以是用于再現(xiàn)的非音頻數(shù)據(jù)，如與音頻數(shù)據(jù)一起再現(xiàn)的文本、程序、菜單、圖像或視頻。
構(gòu)造根據(jù)本發(fā)明實(shí)施例的音頻流的方法可以作為由計算機(jī)執(zhí)行的程序來實(shí)現(xiàn)。本領(lǐng)域的計算機(jī)程序員能夠容易地得出組成程序的代碼和代碼段。另外，該程序被存儲在計算機(jī)可讀介質(zhì)中，并由計算機(jī)讀取和執(zhí)行以實(shí)現(xiàn)該方法。該計算機(jī)可讀介質(zhì)可以是磁記錄介質(zhì)、光學(xué)記錄介質(zhì)、或者載波介質(zhì)。
盡管顯示和描述了本發(fā)明某些實(shí)施例，但本領(lǐng)域的技術(shù)人員應(yīng)該理解，在不脫離由所附權(quán)利要求及其等同物所限定的本發(fā)明的原理和精神的情況下，可以在這些實(shí)施例中做出改變。
權(quán)利要求
1.一種用于記錄和/或再現(xiàn)裝置的信息存儲介質(zhì)，包括多個音頻通道分量，各包含相應(yīng)的音頻數(shù)據(jù)；和混合信息，由該裝置使用，以混合將要添加的附加通道分量和音頻通道分量。
2.如權(quán)利要求1所述的信息存儲介質(zhì)，其中，混合信息包括其中記錄關(guān)于附加通道分量的信息的字段。
3.如權(quán)利要求2所述的信息存儲介質(zhì)，其中，在字段中設(shè)置預(yù)定的虛值。
4.如權(quán)利要求1所述的信息存儲介質(zhì)，其中，混合信息包括下列信息中的至少一種混合通道信息，用于向裝置指定將由裝置混合的音頻通道分量和附加通道分量；混合系數(shù)信息，用于向裝置指定音頻通道分量和附加通道分量的輸出電平；編碼信息，用于指定將由裝置混合的音頻通道分量和附加通道分量的格式；和同步信息，用于向裝置指定將由裝置混合的音頻通道分量和附加通道分量的再現(xiàn)時間。
5.一種用于記錄和/或再現(xiàn)裝置的信息存儲介質(zhì)，包括多個音頻通道分量，包括音頻數(shù)據(jù)；和音頻流，包括至少一個提供用于記錄預(yù)定音頻數(shù)據(jù)的備用空間的零通道分量和該裝置的多個音頻通道分量。
6.如權(quán)利要求5所述的信息存儲介質(zhì)，其中，零通道分量未被占用，以便在那里存儲預(yù)定音頻數(shù)據(jù)。
7.如權(quán)利要求5所述的信息存儲介質(zhì)，其中，零通道分量由零數(shù)據(jù)填充。
8.如權(quán)利要求5所述的信息存儲介質(zhì)，其中，多個音頻通道包括完成具有預(yù)定格式音頻流的所有通道。
9.如權(quán)利要求5所述的信息存儲介質(zhì)，其中，可由裝置記錄在零通道分量中的預(yù)定音頻數(shù)據(jù)還包括當(dāng)由該裝置將包含在零通道分量中的預(yù)定音頻數(shù)據(jù)和來自多個音頻通道分量的至少一個的通道分量混合時該裝置參考的混合信息。
10.如權(quán)利要求9所述的信息存儲介質(zhì)，其中，混合信息包括混合通道信息，用于向裝置指定將被混合的通道分量的通道。
11.如權(quán)利要求9所述的信息存儲介質(zhì)，其中，混合信息還包括混合系數(shù)信息，用于向裝置指定將被混合的通道分量的輸出電平。
12.如權(quán)利要求9所述的信息存儲介質(zhì)，其中，混合信息還包括編碼信息，用于由裝置參考，以將記錄在零通道中的音頻數(shù)據(jù)解碼。
13.如權(quán)利要求9所述的信息存儲介質(zhì)，其中，混合信息還包括同步信息，用于向裝置指定包含在零通道中的預(yù)定音頻數(shù)據(jù)的再現(xiàn)時間。
14.如權(quán)利要求9所述的信息存儲介質(zhì)，其中，混合信息記錄于音頻流的首標(biāo)中。
15.如權(quán)利要求5所述的信息存儲介質(zhì)，還包括具有至少一個音頻通道的輔音頻流，該音頻通道包括將被記錄在零通道中的音頻數(shù)據(jù)。
16.一種裝置，包括主多路分解器，用于將包括多個具有音頻數(shù)據(jù)的主音頻通道和至少一個提供空間以存儲預(yù)定音頻數(shù)據(jù)的零通道的主音頻流多路分解，并在主通道中輸出多路分解的音頻流；輔多路分解器，用于將包括至少一個具有將被存儲在零通道中的音頻數(shù)據(jù)的輔音頻通道的輔音頻流多路分解，并在輔通道中輸出多路分解的音頻流；映射器，用于用從輔多路分解器輸出的至少一個輔音頻通道之一替換從主多路分解器輸出的至少一個零通道之一；和多路復(fù)用器，用于將從映射器輸出的至少一個輔音頻通道和從主多路分解器輸出的主音頻通道多路復(fù)用，并輸出組合音頻流。
17.如權(quán)利要求16所述的裝置，其中，零通道分量未被占用，以存儲預(yù)定音頻數(shù)據(jù)。
18.如權(quán)利要求16所述的裝置，其中，零通道由零數(shù)據(jù)填充。
19.如權(quán)利要求16所述的裝置，其中，多路復(fù)用器輸出組合音頻流，該音頻流包含用于混合包含在至少一個輔通道中并將被存儲在零通道中的音頻數(shù)據(jù)的混合信息，和從多個音頻通道中的至少一個通道輸出的音頻數(shù)據(jù)。
20.如權(quán)利要求19所述的裝置，其中，混合信息包括混合通道信息，用于指定將被混合的通道。
21.如權(quán)利要求19所述的裝置，其中，混合信息還包括混合系數(shù)信息，用于指定將被混合的通道的輸出電平。
22.如權(quán)利要求19所述的裝置，其中，混合信息包括用于將包含在至少一個輔通道中并將被存儲在零通道中的音頻數(shù)據(jù)解碼的解碼信息，和用于指定音頻數(shù)據(jù)的再現(xiàn)時間的同步信息中的至少一個。
23.如權(quán)利要求19所述的裝置，還包括解碼器，用于將組合音頻流解碼為分離的音頻通道；和混合器，用于基于混合信息混合由解碼器解碼的分離的音頻通道。
24.一種裝置，包括解碼器，用于將組合音頻流解碼，該組合音頻流具有形成具有預(yù)定格式的音頻流的多個主音頻通道和將與多個主音頻通道之一混合的輔音頻通道；和混合器，用于基于混合信息將來自輔音頻通道和主音頻通道的音頻數(shù)據(jù)混合。
25.如權(quán)利要求24所述的裝置，其中，混合器基于記錄在組合音頻流的首標(biāo)中的混合信息混合音頻數(shù)據(jù)。
26.如權(quán)利要求24所述的裝置，其中，解碼器基于存儲在混合信息中的解碼信息和再現(xiàn)時間信息，將包含在輔音頻通道中的音頻數(shù)據(jù)解碼。
27.如權(quán)利要求24所述的裝置，其中，混合器基于包含混合通道信息和混合系數(shù)信息的混合信息，將來自輔音頻通道和主音頻通道的音頻數(shù)據(jù)混合。
28.一種構(gòu)造音頻流的方法，包括創(chuàng)建至少一個主音頻通道分量；和通過將混合信息打包來構(gòu)造音頻流，該混合信息用于混合創(chuàng)建的主音頻通道分量和將被添加的附加通道分量。
29.如權(quán)利要求28所述的方法，其中，構(gòu)造音頻流的步驟還包括創(chuàng)建混合信息，以包括用于記錄關(guān)于附加通道分量的信息的字段。
30.如權(quán)利要求29所述的方法，其中，構(gòu)造音頻流的步驟還包括創(chuàng)建混合信息，以包括用于記錄關(guān)于附加通道分量的信息的字段，該信息將字段設(shè)置為預(yù)定的虛值。
31.一種構(gòu)造音頻流的方法，包括創(chuàng)建至少一個主音頻通道；和創(chuàng)建具有創(chuàng)建的主音頻通道分量和至少一個零通道分量的主音頻流。
32.如權(quán)利要求31所述的方法，還包括創(chuàng)建至少一個輔音頻通道分量；和通過交換零通道分量和創(chuàng)建的輔音頻通道分量來創(chuàng)建組合音頻流。
33.一種構(gòu)造音頻流的方法，包括創(chuàng)建至少一個主音頻通道分量；創(chuàng)建至少一個輔音頻通道分量；和創(chuàng)建具有創(chuàng)建的主音頻通道分量和輔音頻通道分量的組合音頻流。
34.一種數(shù)字混合器系統(tǒng)，包括第一多路分解器，用于將具有多個主通道的主數(shù)字流和具有至少一個輔通道的輔數(shù)字流多路分解；映射器，用于將多個主通道的至少一個和至少一個輔通道交換；和多路復(fù)用器，用于將剩余的多個主通道和被交換的輔音頻通道多路復(fù)用，以創(chuàng)建組合的流。
35.如權(quán)利要求34所述的系統(tǒng)，其中，第一多路分解器包括主多路分解器，用于將主數(shù)字流多路分解為多個主通道；和輔多路分解器，用于將輔數(shù)字流多路分解為至少一個輔通道。
36.如權(quán)利要求34所述的系統(tǒng)，其中，多路復(fù)用器將用于再現(xiàn)的混合信息插入到組合的流的首標(biāo)中。
37.如權(quán)利要求36所述的系統(tǒng)，其中，混合信息包括混合通道信息，用于指定將被混合的至少一個輔通道和主通道。
38.如權(quán)利要求37所述的系統(tǒng)，其中，混合信息還包括混合系數(shù)信息，用于指定將在再現(xiàn)過程中使用的主通道和至少一個輔通道的輸出電平。
39.如權(quán)利要求36所述的系統(tǒng)，其中，混合信息包括同步信息，用于指定再現(xiàn)過程中的至少一個輔通道的再現(xiàn)時間。
40.一種數(shù)字混合音頻的方法，包括將具有多個主音頻通道的主數(shù)字音頻流和具有至少一個輔音頻通道的輔數(shù)字音頻流多路分解；將多個主音頻通道的至少一個和至少一個輔音頻通道交換；將剩余的多個主音頻通道和被交換的輔音頻通道多路復(fù)用，以創(chuàng)建組合音頻流；存儲用于指定在再現(xiàn)過程中使用的主音頻通道和至少一個輔音頻通道的輸出電平的混合信息，和用于指定再現(xiàn)過程中的至少一個輔音頻通道的再現(xiàn)時間的同步信息；將組合音頻流解碼為與主音頻通道和至少一個輔通道對應(yīng)的多個再現(xiàn)音頻通道；和選擇解碼的多個音頻通道中的至少兩個，并根據(jù)混合信息將被選擇的解碼的音頻通道混合。
41.一種生成組合音頻流的方法，包括接收至少兩個音頻輸入流，至少兩個音頻輸入流的第一個包括五通道環(huán)繞聲音頻流，至少兩個音頻輸入流的第二個包括兩通道輔音頻流；將來自至少兩個音頻輸入流的第一個的五個通道中的至少一個和來自至少兩個音頻輸入流的第二個的輔音頻通道中的至少一個交換；生成混合信息，所述信息用于指定來自至少兩個音頻輸入流的第一個的五個通道的剩余通道和至少一個被交換的輔音頻通道的輸出電平；和基于來自至少兩個音頻輸入流的第一個的五個通道的剩余通道和至少一個被交換的輔音頻通道以及混合信息，來產(chǎn)生組合音頻流。
42.一種用于記錄和/或再現(xiàn)裝置的信息載波信號，該載波信號包括多個音頻流，各包括相應(yīng)的音頻通道分量；和混合信息，由該裝置使用，以由該裝置混合將被添加的附加通道分量和被選擇的音頻通道分量。
全文摘要
一種包含音頻混合信息的信息存儲介質(zhì)，其包括多個包含音頻數(shù)據(jù)的音頻通道分量，混合信息用于混合音頻通道分量和將被添加的附加通道分量。因此，可以使用裝置和/或方法混合來自不同音頻流的不同通道分量和再現(xiàn)音頻流。
文檔編號G11B27/02GK1577577SQ20041006246
公開日2005年2月9日 申請日期2004年7月12日 優(yōu)先權(quán)日2003年7月12日
發(fā)明者楊宗昊, 鄭吉洙, 高禎完 申請人:三星電子株式會社