本文中所公開的本發(fā)明總體上涉及音頻信號(hào)的編碼和解碼,特別地涉及基于相關(guān)聯(lián)的元數(shù)據(jù)來(lái)對(duì)下混信號(hào)的聲道進(jìn)行混合。
背景技術(shù):
包括多個(gè)擴(kuò)音器的音頻回放系統(tǒng)常用于再現(xiàn)多聲道音頻信號(hào)表示的音頻場(chǎng)景,其中,多聲道音頻信號(hào)的各個(gè)聲道在各自的擴(kuò)音器上被回放。多聲道音頻信號(hào)可能例如已經(jīng)經(jīng)由多個(gè)聲學(xué)換能器被錄制,或者可能已經(jīng)由音頻創(chuàng)作設(shè)備產(chǎn)生。在許多情況下,用于將音頻信號(hào)發(fā)送到回放設(shè)備的帶寬是有限的,和/或計(jì)算機(jī)存儲(chǔ)器或便攜式存儲(chǔ)裝置中的用于存儲(chǔ)音頻信號(hào)的空間是有限的。存在用于對(duì)音頻信號(hào)進(jìn)行參數(shù)化譯碼(coding)以便減小所需帶寬或儲(chǔ)存器的音頻譯碼系統(tǒng)。在編碼器端,這些系統(tǒng)通常將多聲道音頻信號(hào)下混為下混信號(hào)(其通常是單聲道(一聲道)或立體聲(兩聲道)下混),并且通過(guò)比如電平差和互相關(guān)性的參數(shù)來(lái)提取描述聲道的性質(zhì)的副信息。下混和副信息然后被編碼并且被發(fā)送到解碼器端。在解碼器端,在副信息的參數(shù)的控制下從下混重構(gòu)、即近似多聲道音頻信號(hào)。
鑒于可用于回放多聲道音頻內(nèi)容的廣泛范圍的不同類型的裝置和系統(tǒng)(包括新興出現(xiàn)的針對(duì)終端用戶家用的部分),需要新的替代方式來(lái)對(duì)多聲道音頻內(nèi)容進(jìn)行高效編碼,以便減小帶寬要求和/或存儲(chǔ)所需的存儲(chǔ)器大小,有助于解碼器端的多聲道音頻信號(hào)的重構(gòu),和/或提高在解碼器端重構(gòu)的多聲道音頻信號(hào)的保真度。還需要有助于編碼多聲道音頻內(nèi)容在不同類型的揚(yáng)聲器系統(tǒng)(包括具有比原始多聲道音頻內(nèi)容中存在的聲道數(shù)量少的揚(yáng)聲器的系統(tǒng))上的回放。
附圖說(shuō)明
在下文中,將參照附圖來(lái)更詳細(xì)地描述示例實(shí)施例,其中:
圖1是根據(jù)示例實(shí)施例的用于將m聲道信號(hào)編碼為兩聲道下混信號(hào)和相關(guān)聯(lián)的元數(shù)據(jù)的編碼部分的廣義框圖;
圖2是根據(jù)示例實(shí)施例的包括圖1中所描繪的編碼部分的音頻編碼系統(tǒng)的廣義框圖;
圖3是根據(jù)示例實(shí)施例的用于將m聲道音頻信號(hào)編碼為兩聲道下混信號(hào)和相關(guān)聯(lián)的元數(shù)據(jù)的音頻編碼方法的流程圖;
圖4-6例示說(shuō)明根據(jù)示例實(shí)施例的將11.1聲道(或7.1+4聲道或7.1.4聲道)音頻信號(hào)劃分為由相應(yīng)下混聲道表示的多組聲道的替代方式;
圖7是根據(jù)示例實(shí)施例的用于基于兩聲道下混信號(hào)和相關(guān)聯(lián)的上混參數(shù)來(lái)提供兩聲道輸出信號(hào)的解碼部分的廣義框圖;
圖8是根據(jù)示例實(shí)施例的包括圖7中所描繪的解碼部分的音頻解碼系統(tǒng)的廣義框圖;
圖9是根據(jù)示例實(shí)施例的用于基于兩聲道下混信號(hào)和相關(guān)聯(lián)的混合參數(shù)來(lái)提供兩聲道輸出信號(hào)的解碼部分的廣義框圖;
圖10是根據(jù)示例實(shí)施例的用于基于兩聲道下混信號(hào)和相關(guān)聯(lián)的元數(shù)據(jù)來(lái)提供兩聲道輸出信號(hào)的音頻解碼方法的流程圖;
圖11示意性地例示說(shuō)明根據(jù)示例實(shí)施例的計(jì)算機(jī)可讀介質(zhì);
圖12是根據(jù)示例實(shí)施例的用于基于兩聲道下混信號(hào)和相關(guān)聯(lián)的上混參數(shù)來(lái)提供k聲道輸出信號(hào)的解碼部分的廣義框圖;
圖13-14例示說(shuō)明根據(jù)示例實(shí)施例的將11.1聲道(或7.1+4聲道或7.1.4聲道)音頻信號(hào)劃分為多組聲道的替代方式;以及
圖15-16例示說(shuō)明根據(jù)示例實(shí)施例的將13.1聲道(或9.1+4聲道或9.1.4聲道)音頻信號(hào)劃分為多組聲道的替代方式。
所有的圖都是示意性的,并且一般僅示出為了闡明本發(fā)明所必需的部分,而其他部分則可以被省略或者僅被建議。
具體實(shí)施方式
如本文中所使用的,音頻信號(hào)可以是獨(dú)立的音頻信號(hào)、視聽信號(hào)或多媒體信號(hào)的音頻部分、或與元數(shù)據(jù)組合的這些中的任何一個(gè)。
如本文中所使用的,聲道是與預(yù)定義的/固定的空間位置/方位或未定義的空間位置(比如“左”或“右”)相關(guān)聯(lián)的音頻信號(hào)。
i.概述——解碼器端
根據(jù)第一方面,示例實(shí)施例提出了音頻解碼系統(tǒng)、音頻解碼方法以及相關(guān)聯(lián)的計(jì)算機(jī)程序產(chǎn)品。所提出的根據(jù)第一方面的解碼系統(tǒng)、方法和計(jì)算機(jī)程序產(chǎn)品一般可以共享相同的特征和優(yōu)點(diǎn)。
根據(jù)示例實(shí)施例,提供了一種包括接收兩聲道下混信號(hào)的音頻解碼方法。下混信號(hào)與元數(shù)據(jù)相關(guān)聯(lián),該元數(shù)據(jù)包括用于基于下混信號(hào)來(lái)參數(shù)化重構(gòu)m聲道音頻信號(hào)的上混參數(shù),其中,m≥4。下混信號(hào)的第一聲道對(duì)應(yīng)于m聲道音頻信號(hào)的第一組一個(gè)或多個(gè)聲道的線性組合,下混信號(hào)的第二聲道對(duì)應(yīng)于m聲道音頻信號(hào)的第二組一個(gè)或多個(gè)聲道的線性組合。第一組和第二組構(gòu)成m聲道音頻信號(hào)的m個(gè)聲道的劃分。音頻解碼方法進(jìn)一步包括:接收元數(shù)據(jù)的至少一部分;基于下混信號(hào)的至少一個(gè)聲道來(lái)產(chǎn)生去相關(guān)信號(hào);基于接收的元數(shù)據(jù)來(lái)確定混合系數(shù)集合;并且根據(jù)混合系數(shù)按照下混信號(hào)和去相關(guān)信號(hào)的線性組合來(lái)形成兩聲道輸出信號(hào)?;旌舷禂?shù)被確定為使得輸出信號(hào)的第一聲道近似于m聲道音頻信號(hào)的第三組一個(gè)或多個(gè)聲道的線性組合,并且使得輸出信號(hào)的第二聲道近似于m聲道音頻信號(hào)的第四組一個(gè)或多個(gè)聲道的線性組合?;旌舷禂?shù)還被確定為使得第三組和第四組構(gòu)成m聲道音頻信號(hào)的m個(gè)聲道的劃分,并且使得第三組和第四組都包括第一組中的至少一個(gè)聲道。
m聲道音頻信號(hào)已經(jīng)被編碼為兩聲道下混信號(hào)和用于參數(shù)化重構(gòu)m聲道音頻信號(hào)的上混參數(shù)。當(dāng)在編碼器端對(duì)m聲道音頻信號(hào)進(jìn)行編碼時(shí),可以選擇例如用于有助于從下混信號(hào)重構(gòu)m聲道音頻信號(hào)、用于提高從下混信號(hào)重構(gòu)的m聲道音頻信號(hào)的保真度、和/或用于提高下混信號(hào)的譯碼效率的譯碼格式??梢酝ㄟ^(guò)選擇第一組和第二組并且按照相應(yīng)組中的聲道的相應(yīng)線性組合形成下混信號(hào)的聲道來(lái)執(zhí)行該譯碼格式選擇。
發(fā)明人已經(jīng)認(rèn)識(shí)到,盡管所選譯碼格式可以有助于從下混信號(hào)重構(gòu)m聲道音頻信號(hào),但是下混信號(hào)本身可能不適合于使用特定的兩揚(yáng)聲器配置進(jìn)行回放。與m聲道音頻信號(hào)劃分為第三組和第四組的不同劃分相對(duì)應(yīng)的輸出信號(hào)可能比下混信號(hào)更適合于特定的兩聲道回放設(shè)置?;谙禄煨盘?hào)和接收的元數(shù)據(jù)提供輸出信號(hào)因此可以提高收聽者感知的兩聲道回放質(zhì)量,和/或提高兩聲道回放對(duì)于由m聲道音頻信號(hào)表示的聲場(chǎng)的保真度。
發(fā)明人已經(jīng)進(jìn)一步認(rèn)識(shí)到,代替首先從下混信號(hào)重構(gòu)m聲道音頻信號(hào)、然后產(chǎn)生m聲道音頻信號(hào)的替代的兩聲道表示(例如,通過(guò)相加混合),由輸出信號(hào)提供的替代的兩聲道表示可以通過(guò)利用m聲道音頻信號(hào)的一些聲道在該兩個(gè)兩聲道表示中被類似地一起分組的事實(shí)從下混信號(hào)和接收的元數(shù)據(jù)更高效地產(chǎn)生。按照下混信號(hào)和去相關(guān)信號(hào)的線性組合形成輸出信號(hào)可以例如降低解碼器端的計(jì)算復(fù)雜度,和/或減少用于獲得m聲道音頻信號(hào)的替代的兩聲道表示的組件或處理步驟的數(shù)量。
下混信號(hào)的第一聲道可能例如已經(jīng)例如在編碼器端被形成為第一組一個(gè)或多個(gè)聲道的線性組合。類似地,下混信號(hào)的第二聲道可能例如已經(jīng)例如在編碼器端被形成為第二組一個(gè)或多個(gè)聲道的線性組合。
m聲道音頻信號(hào)的聲道可以例如形成共同表示聲場(chǎng)的更大量的聲道的子集。
將意識(shí)到,因?yàn)榈谌M和第四組都包括第一組中的至少一個(gè)聲道,所以第三組和第四組提供的劃分不同于第一組和第二組提供的劃分。
去相關(guān)信號(hào)用來(lái)增加收聽者感知的下混信號(hào)的音頻內(nèi)容的維度。產(chǎn)生去相關(guān)信號(hào)可以例如包括將線性濾波器應(yīng)用于下混信號(hào)的一個(gè)或多個(gè)聲道。
形成輸出信號(hào)可以例如包括:將混合系數(shù)中的至少一些應(yīng)用于下混信號(hào)的聲道,并且將混合系數(shù)中的至少一些應(yīng)用于去相關(guān)信號(hào)的一個(gè)或多個(gè)聲道。
在示例實(shí)施例中,接收的元數(shù)據(jù)可以包括上混參數(shù),并且可以通過(guò)對(duì)上混參數(shù)進(jìn)行處理、例如通過(guò)對(duì)上混參數(shù)執(zhí)行數(shù)學(xué)運(yùn)算(例如,包括算術(shù)運(yùn)算)來(lái)確定混合系數(shù)。上混參數(shù)通常已經(jīng)在編碼器端被確定,并且與下混信號(hào)一起被提供以用于在解碼器端參數(shù)化重構(gòu)m聲道音頻信號(hào)。上混參數(shù)攜帶關(guān)于m聲道音頻信號(hào)的信息,該信息可以用于基于下混信號(hào)來(lái)提供輸出信號(hào)。在解碼器端基于上混參數(shù)確定混合系數(shù)減少了對(duì)在編碼器端產(chǎn)生附加元數(shù)據(jù)的需要,并且使得可以減少?gòu)木幋a器端發(fā)送的數(shù)據(jù)。
在示例實(shí)施例中,接收的元數(shù)據(jù)可以包括不同于上混參數(shù)的混合參數(shù)。在本示例實(shí)施例中,可以基于接收的元數(shù)據(jù)、從而基于混合參數(shù)來(lái)確定混合系數(shù)?;旌蠀?shù)可能已經(jīng)在編碼器端被確定,并且被發(fā)送到解碼器端以用于有助于混合系數(shù)的確定。而且,使用混合參數(shù)確定混合系數(shù)使得可以從編碼器端控制混合系數(shù)。因?yàn)樵糾聲道音頻信號(hào)在編碼器端是可獲得的,所以混合參數(shù)可以例如在編碼器端被調(diào)諧以便提高作為m聲道音頻信號(hào)的兩聲道表示的兩聲道輸出信號(hào)的保真度。混合參數(shù)可以例如是混合系數(shù)本身,或者混合參數(shù)可以提供混合系數(shù)的更緊湊的表示??梢岳缤ㄟ^(guò)例如根據(jù)預(yù)定義規(guī)則對(duì)混合參數(shù)進(jìn)行處理來(lái)確定混合系數(shù)。混合參數(shù)可以例如包括三個(gè)可獨(dú)立賦值的參數(shù)。
在示例實(shí)施例中,可以獨(dú)立于上混參數(shù)的任何值確定混合系數(shù),這使得可以獨(dú)立于上混參數(shù)對(duì)混合系數(shù)進(jìn)行調(diào)諧,并且使得可以提高作為m聲道音頻信號(hào)的兩聲道表示的兩聲道輸出信號(hào)的保真度。
在示例實(shí)施例中,可以適用的是,m=5,即,m聲道音頻信號(hào)可以是五聲道音頻信號(hào)。本示例實(shí)施例的音頻解碼方法可以例如用于目前設(shè)立的5.1音頻格式之一的五個(gè)常規(guī)聲道,或者用于11.1多聲道音頻信號(hào)中的左手或右手側(cè)的五個(gè)聲道??商娲兀梢赃m用的是,m=4,或m≥6。
在示例實(shí)施例中,控制m聲道音頻信號(hào)的聲道對(duì)線性組合中的與下混信號(hào)的聲道相對(duì)應(yīng)的一個(gè)線性組合的貢獻(xiàn)的每個(gè)增益可以與用于控制m聲道音頻信號(hào)的聲道對(duì)線性組合中的由輸出信號(hào)的聲道近似的一個(gè)線性組合的貢獻(xiàn)的增益是一致的。在本示例實(shí)施例中這些增益一致的事實(shí)使得可以簡(jiǎn)化基于下混信號(hào)的輸出信號(hào)的提供。具體地說(shuō),可以減少用于基于下混信號(hào)來(lái)近似第三組和第四組的線性組合的去相關(guān)聲道的數(shù)量。
不同增益可以例如用于m聲道音頻信號(hào)的不同聲道。
在第一個(gè)例子中,所有增益都可以具有值1。在第一個(gè)例子中,下混信號(hào)的第一聲道和第二聲道可以分別對(duì)應(yīng)于第一組和第二組的非加權(quán)和,并且輸出信號(hào)的第一聲道和第二聲道可以分別近似于第三組和第四組的非加權(quán)和。
在第二個(gè)例子中,增益中的至少一個(gè)可以具有不同于1的值。在第二個(gè)例子中,下混信號(hào)的第一聲道和第二聲道可以分別對(duì)應(yīng)于第一組和第二組的加權(quán)和,并且輸出信號(hào)的第一聲道和第二聲道可以分別近似于第三組和第四組的加權(quán)和。
在示例實(shí)施例中,解碼方法可以進(jìn)一步包括:接收表示下混信號(hào)和元數(shù)據(jù)的位流;并且從該位流提取下混信號(hào)和接收的元數(shù)據(jù)的部分。換句話說(shuō),接收的用于確定混合系數(shù)的元數(shù)據(jù)可能首先已經(jīng)被從位流提取。包括上混參數(shù)的所有元數(shù)據(jù)可以例如被從位流提取。在替代例子中,只有確定混合系數(shù)所必需的元數(shù)據(jù)可以被從位流提取,并且進(jìn)一步的元數(shù)據(jù)的提取可以例如被禁止。
在示例實(shí)施例中,去相關(guān)信號(hào)可以是單聲道信號(hào),并且可以通過(guò)將至多一個(gè)的去相關(guān)信號(hào)聲道包括到下混信號(hào)和去相關(guān)信號(hào)的線性組合中、即包括到從其獲得輸出信號(hào)的線性組合中來(lái)形成輸出信號(hào)。發(fā)明人已經(jīng)認(rèn)識(shí)到,不需要為了提供兩聲道輸出信號(hào)而重構(gòu)m聲道音頻信號(hào),并且因?yàn)檎麄€(gè)m聲道音頻信號(hào)不需要被重構(gòu),所以可以使去相關(guān)信號(hào)聲道的數(shù)量減少。
在示例實(shí)施例中,混合系數(shù)可以被確定為使得輸出信號(hào)的兩個(gè)聲道接收來(lái)自去相關(guān)信號(hào)的相等幅度(例如,相等振幅)的貢獻(xiàn)。去相關(guān)信號(hào)對(duì)輸出信號(hào)的相應(yīng)聲道的貢獻(xiàn)可以具有相反的符號(hào)。換句話說(shuō),混合系數(shù)可以被確定為使得控制去相關(guān)信號(hào)的聲道對(duì)輸出信號(hào)的第一聲道的貢獻(xiàn)的混合系數(shù)和控制去相關(guān)信號(hào)的同一個(gè)聲道對(duì)輸出信號(hào)的第二聲道的貢獻(xiàn)的混合系數(shù)的和具有值0。
在本示例實(shí)施例中,來(lái)源于去相關(guān)信號(hào)的音頻內(nèi)容(即,用于增加下混信號(hào)的維度的音頻內(nèi)容)的量(例如,振幅)可以例如在輸出信號(hào)的兩個(gè)聲道中是相等的。
在示例實(shí)施例中,形成輸出信號(hào)可以相當(dāng)于從三個(gè)聲道投射到兩個(gè)聲道,即,從下混信號(hào)的兩個(gè)聲道和一個(gè)去相關(guān)信號(hào)聲道投射到輸出信號(hào)的兩個(gè)聲道。例如,輸出信號(hào)可以作為下混信號(hào)和去相關(guān)信號(hào)的線性組合被直接獲得,而無(wú)需首先重構(gòu)m聲道音頻信號(hào)的全部m個(gè)聲道。
在示例實(shí)施例中,混合系數(shù)可以被確定為使得控制下混信號(hào)的第一聲道對(duì)輸出信號(hào)的第一聲道的貢獻(xiàn)的混合系數(shù)和控制下混信號(hào)的第一聲道對(duì)輸出信號(hào)的第二聲道的貢獻(xiàn)的混合系數(shù)的和具有值1。具體地說(shuō),混合系數(shù)中的一個(gè)混合系數(shù)可以從上混參數(shù)推導(dǎo)得到(例如,如本公開的其他部分中所解釋的,被作為確切值發(fā)送,或者可以在對(duì)緊湊表示執(zhí)行計(jì)算之后從上混參數(shù)獲得),其他混合系數(shù)則可以通過(guò)要求兩個(gè)混合系數(shù)的和等于1來(lái)容易地計(jì)算得到。
另外地或可替代地,混合系數(shù)可以被確定為使得控制下混信號(hào)的第二聲道對(duì)輸出信號(hào)的第一聲道的貢獻(xiàn)的混合系數(shù)和控制下混信號(hào)的第二聲道對(duì)輸出信號(hào)的第二聲道的貢獻(xiàn)的混合系數(shù)的和具有值1。
在示例實(shí)施例中,第一組可以由兩個(gè)或三個(gè)聲道組成。下混信號(hào)的與兩個(gè)或三個(gè)聲道的線性組合相對(duì)應(yīng)(而不是與四個(gè)或更多個(gè)聲道的線性組合相對(duì)應(yīng))的聲道可以增大由解碼器執(zhí)行所有m個(gè)聲道的參數(shù)化重構(gòu)而重構(gòu)的m聲道音頻信號(hào)的保真度。本示例實(shí)施例的解碼方法可以與這樣的譯碼格式兼容。
在示例實(shí)施例中,m聲道音頻信號(hào)可以包括表示m聲道音頻信號(hào)的回放環(huán)境中的不同水平方向的三個(gè)聲道、以及表示該回放環(huán)境中的與這三個(gè)聲道的方向垂直分離的方向的兩個(gè)聲道。換句話說(shuō),m聲道音頻信號(hào)可以包括意圖用于供位于與收聽者(或收聽者的耳朵)基本上相同高度處的音頻源回放的和/或基本上水平地傳播的三個(gè)聲道、以及意圖用于供位于其他高度處的音頻源回放的和/或(基本上)非水平地傳播的兩個(gè)聲道。這兩個(gè)聲道可以例如表示高架方向。
在示例實(shí)施例中,第一組可以由表示m聲道音頻信號(hào)的回放環(huán)境中的不同水平方向的三個(gè)聲道組成,第二組可以由表示回放環(huán)境中的與這三個(gè)聲道的方向垂直分離的方向的兩個(gè)聲道組成。本示例實(shí)施例中的由第一組和第二組提供的m聲道音頻信號(hào)的垂直劃分可以增大由解碼器執(zhí)行所有m個(gè)聲道的參數(shù)化重構(gòu)而重構(gòu)的m聲道音頻信號(hào)的保真度,例如,在垂直維度對(duì)于m聲道音頻信號(hào)表示的聲場(chǎng)的總體印象重要的情況下。本示例實(shí)施例的解碼方法可以與提供該垂直劃分的譯碼格式兼容。
在示例實(shí)施例中,第三組和第四組中的一組可以包括表示回放環(huán)境中的與所述三個(gè)聲道的方向垂直分離的方向的所述兩個(gè)聲道這兩者??商娲?,第三組和第四組均可以包括表示回放環(huán)境中的與所述三個(gè)聲道的方向垂直分離的方向的所述兩個(gè)聲道中的一個(gè),即,第三組和第四組可以包括這兩個(gè)聲道中的各一個(gè)。
在示例實(shí)施例中,可以通過(guò)對(duì)下混信號(hào)的聲道的線性組合進(jìn)行處理(例如,包括將線性濾波器應(yīng)用于下混信號(hào)聲道的聲道的線性組合)來(lái)獲得去相關(guān)信號(hào)??商娲?,可以基于下混信號(hào)的聲道中的至多一個(gè)聲道、例如通過(guò)對(duì)下混信號(hào)的聲道進(jìn)行處理(例如,包括應(yīng)用線性濾波器)來(lái)獲得去相關(guān)信號(hào)。如果例如第二組聲道由單個(gè)聲道組成并且下混信號(hào)的第二聲道對(duì)應(yīng)于該單個(gè)聲道,則可以例如通過(guò)僅對(duì)下混信號(hào)的第一聲道進(jìn)行處理來(lái)獲得去相關(guān)信號(hào)。
在示例實(shí)施例中,第一組可以由n個(gè)聲道組成,其中,n≥3,并且第一組可以通過(guò)以下方式可重構(gòu)為下混信號(hào)的第一聲道和(n-1)聲道去相關(guān)信號(hào)的線性組合,即,將第一類型的上混系數(shù)(在本文中被稱為干式上混系數(shù))應(yīng)用于下混信號(hào)的第一聲道,并且將第二類型的上混系數(shù)(在本文中被稱為濕式上混系數(shù))應(yīng)用于(n-1)聲道去相關(guān)信號(hào)的聲道。在本示例實(shí)施例中,接收的元數(shù)據(jù)可以包括第一類型的上混參數(shù)(在本文中被稱為干式上混參數(shù))和第二類型的上混參數(shù)(在本文中被稱為濕式上混參數(shù))。確定混合系數(shù)可以包括:基于干式上混參數(shù)來(lái)確定干式上混系數(shù);基于接收的濕式上混參數(shù)并且在知道具有比接收的濕式上混參數(shù)的數(shù)量多的元素的中間矩陣屬于預(yù)定義矩陣類的情況下填充該中間矩陣;通過(guò)將中間矩陣乘以預(yù)定義矩陣來(lái)獲得濕式上混系數(shù),其中,濕式上混系數(shù)對(duì)應(yīng)于從該乘法得到的矩陣,并且包括比中間矩陣中的元素的數(shù)量多的系數(shù);并且對(duì)干式上混系數(shù)和濕式上混系數(shù)進(jìn)行處理。
在本示例實(shí)施例中,用于重構(gòu)第一組聲道的濕式上混系數(shù)的數(shù)量大于接收的濕式上混參數(shù)的數(shù)量。通過(guò)利用預(yù)定義矩陣和預(yù)定義矩陣類的獲悉來(lái)從接收的濕式上混參數(shù)獲得濕式上混系數(shù),可以使參數(shù)化重構(gòu)第一組聲道所需的信息量減少,使得可以減少與下混信號(hào)一起從編碼器端發(fā)送的元數(shù)據(jù)的量。通過(guò)使參數(shù)化重構(gòu)所需的數(shù)據(jù)量減少,可以減小發(fā)送m聲道音頻信號(hào)的參數(shù)化表示所需的帶寬和/或存儲(chǔ)這樣的表示所需的存儲(chǔ)器大小。
(n-1)聲道去相關(guān)信號(hào)可以基于下混信號(hào)的第一聲道而產(chǎn)生,并且用來(lái)增加收聽者感知的重構(gòu)的第一組聲道的內(nèi)容的維度。
預(yù)定義矩陣類可以與至少一些矩陣元素的對(duì)于該類中的所有矩陣都有效的已知性質(zhì)(比如一些矩陣元素之間的某些關(guān)系、或一些矩陣元素為零)相關(guān)聯(lián)。這些性質(zhì)的獲悉使得可以基于比中間矩陣中的矩陣元素的總數(shù)少的濕式上混參數(shù)來(lái)填充中間矩陣。解碼器端至少獲悉它基于較少的濕式上混參數(shù)計(jì)算所有矩陣元素所需的元素的性質(zhì)以及這些元素之間的關(guān)系。
如何確定和利用預(yù)定義矩陣和預(yù)定義矩陣類在美國(guó)臨時(shí)專利申請(qǐng)no.61/974,544中第16頁(yè)第15行到第20頁(yè)第2行有更詳細(xì)的描述;該申請(qǐng)第一位指名的發(fā)明人:larsvillemoes;提交日:2014年4月3日。具體參見其中的關(guān)于預(yù)定義矩陣的例子的方程(9)。
在示例實(shí)施例中,接收的元數(shù)據(jù)可以包括n(n-1)/2個(gè)濕式上混參數(shù)。在本示例實(shí)施例中,填充中間矩陣可以包括基于接收的n(n-1)/2個(gè)濕式上混參數(shù)并且在知道中間矩陣屬于預(yù)定義矩陣類的情況下獲得(n-1)2個(gè)矩陣元素的值。這可以包括將濕式上混參數(shù)的值立即作為矩陣元素插入或者以適合的方式對(duì)濕式上混參數(shù)進(jìn)行處理以推導(dǎo)得到矩陣元素的值。在本示例實(shí)施例中,預(yù)定義矩陣可以包括n(n-1)個(gè)元素,并且濕式上混系數(shù)集合可以包括n(n-1)個(gè)系數(shù)。例如,接收的元數(shù)據(jù)可以包括至多n(n-1)/2個(gè)的可獨(dú)立賦值的濕式上混參數(shù),和/或濕式上混參數(shù)的數(shù)量可以不超過(guò)用于重構(gòu)第一組聲道的濕式上混系數(shù)的數(shù)量的一半。
在示例實(shí)施例中,接收的元數(shù)據(jù)可以包括(n-1)個(gè)干式上混參數(shù)。在本示例實(shí)施例中,干式上混系數(shù)可以包括n個(gè)系數(shù),并且可以基于接收的(n-1)個(gè)干式上混參數(shù)并且基于干式上混系數(shù)之間的預(yù)定義關(guān)系來(lái)確定干式上混系數(shù)。例如,接收的元數(shù)據(jù)可以包括至多(n-1)個(gè)的可獨(dú)立賦值的干式上混參數(shù)。
在示例實(shí)施例中,預(yù)定義矩陣類可以是以下中的一個(gè):下三角或上三角矩陣,其中,該類中的所有矩陣的已知性質(zhì)包括預(yù)定義矩陣元素為零;對(duì)稱矩陣,其中,該類中的所有矩陣的已知性質(zhì)包括預(yù)定義矩陣元素(在主對(duì)角線的兩邊)是相等的;以及正交矩陣和對(duì)角矩陣的乘積,其中,該類中的所有矩陣的已知性質(zhì)包括預(yù)定義矩陣元素之間的已知關(guān)系。換句話說(shuō),預(yù)定義矩陣類可以是下三角矩陣類、上三角矩陣類、對(duì)稱矩陣類、或正交矩陣和對(duì)角矩陣的乘積的類。上面的每個(gè)類的共同性質(zhì)是其維度小于矩陣元素總數(shù)。
在示例實(shí)施例中,解碼方法可以進(jìn)一步包括:接收指示m聲道音頻信號(hào)的至少兩種譯碼格式中的(所選的)一種譯碼格式的信令,譯碼格式對(duì)應(yīng)于m聲道音頻信號(hào)的聲道劃分為與下混信號(hào)的聲道相關(guān)聯(lián)的相應(yīng)第一組和第二組的相應(yīng)不同劃分。在本示例實(shí)施例中,第三組和第四組可以是預(yù)定義的,并且混合系數(shù)可以被確定為使得m聲道音頻信號(hào)劃分為由輸出信號(hào)的聲道近似的第三組和第四組聲道的單個(gè)劃分對(duì)于所述至少兩種譯碼格式被保持(即,對(duì)于所述至少兩種譯碼格式是共同的)。
在本示例實(shí)施例中,可以例如基于指示的譯碼格式以及基于下混信號(hào)的至少一個(gè)聲道來(lái)確定去相關(guān)信號(hào)。
在本示例實(shí)施例中,所述至少兩種不同的譯碼格式可能已經(jīng)在編碼器端在確定下混信號(hào)和元數(shù)據(jù)時(shí)被利用,并且解碼方法可以通過(guò)調(diào)整混合系數(shù)、可選地還調(diào)整去相關(guān)信號(hào)來(lái)對(duì)譯碼格式之間的差異進(jìn)行處理。在檢測(cè)到從第一譯碼格式切換到第二譯碼格式的情況下,解碼方法可以例如包括執(zhí)行從與第一譯碼格式相關(guān)聯(lián)的混合參數(shù)到與第二譯碼格式相關(guān)聯(lián)的混合參數(shù)的插值。
在示例實(shí)施例中,解碼方法可以進(jìn)一步包括:響應(yīng)于指示特定譯碼格式的信令,使下混信號(hào)作為輸出信號(hào)通過(guò)。在本示例實(shí)施例中,特定譯碼格式可以對(duì)應(yīng)于m聲道音頻信號(hào)的聲道的與第三組和第四組定義的劃分一致的劃分。在本示例實(shí)施例中,下混信號(hào)的聲道提供的劃分可以與輸出信號(hào)的聲道將提供的劃分一致,并且可能不需要對(duì)下混信號(hào)進(jìn)行處理。下混信號(hào)因此可以被作為輸出信號(hào)通過(guò)。
在示例實(shí)施例中,解碼方法可以包括:響應(yīng)于指示特定譯碼格式的信令,抑制去相關(guān)信號(hào)對(duì)輸出信號(hào)的貢獻(xiàn)。在本示例實(shí)施例中,特定譯碼格式可以對(duì)應(yīng)于m聲道音頻信號(hào)的聲道的與第三組和第四組定義的劃分一致的劃分。在本示例實(shí)施例中,下混信號(hào)的聲道提供的劃分可以與輸出信號(hào)的聲道將提供的劃分一致,并且可能不需要去相關(guān)。
在示例實(shí)施例中,在第一譯碼格式中,第一組可以由表示m聲道音頻信號(hào)的回放環(huán)境中的不同水平方向的三個(gè)聲道組成,第二組聲道可以由表示回放環(huán)境中的與這三個(gè)聲道的方向垂直分離的方向的兩個(gè)聲道組成。在第二譯碼格式中,第一組和第二組均可以包括這兩個(gè)聲道中的一個(gè)。
根據(jù)示例實(shí)施例,提供了一種音頻解碼系統(tǒng),該音頻解碼系統(tǒng)包括被配置為接收兩聲道下混信號(hào)的解碼部分。下混信號(hào)與元數(shù)據(jù)相關(guān)聯(lián),該元數(shù)據(jù)包括用于基于下混信號(hào)來(lái)參數(shù)化重構(gòu)m聲道音頻信號(hào)的上混參數(shù),其中,m≥4。下混信號(hào)的第一聲道對(duì)應(yīng)于m聲道音頻信號(hào)的第一組一個(gè)或多個(gè)聲道的線性組合,下混信號(hào)的第二聲道對(duì)應(yīng)于m聲道音頻信號(hào)的第二組一個(gè)或多個(gè)聲道的線性組合。第一組和第二組構(gòu)成m聲道音頻信號(hào)的m個(gè)聲道的劃分。解碼部分被進(jìn)一步配置為:接收元數(shù)據(jù)的至少一部分;并且基于下混信號(hào)和接收的元數(shù)據(jù)來(lái)提供兩聲道輸出信號(hào)。解碼部分包括去相關(guān)部分,該去相關(guān)部分被配置為:接收下混信號(hào)的至少一個(gè)聲道,并且基于其來(lái)輸出去相關(guān)信號(hào)。解碼部分進(jìn)一步包括混合部分,該混合部分被配置為:基于接收的元數(shù)據(jù)來(lái)確定混合系數(shù)集合;并且根據(jù)混合系數(shù)按照下混信號(hào)和去相關(guān)信號(hào)的線性組合來(lái)形成輸出信號(hào)?;旌喜糠直慌渲脼椋捍_定混合系數(shù),以使得輸出信號(hào)的第一聲道近似于m聲道音頻信號(hào)的第三組一個(gè)或多個(gè)聲道的線性組合,并且使得輸出信號(hào)的第二聲道近似于m聲道音頻信號(hào)的第四組一個(gè)或多個(gè)聲道的線性組合?;旌喜糠直贿M(jìn)一步配置為:確定混合系數(shù),以使得第三組和第四組構(gòu)成m聲道音頻信號(hào)的m個(gè)聲道的劃分,并且使得第三組和第四組都包括第一組中的至少一個(gè)聲道。
在示例實(shí)施例中,音頻解碼系統(tǒng)可以進(jìn)一步包括附加解碼部分,該附加解碼部分被配置為接收附加兩聲道下混信號(hào)。附加下混信號(hào)可以與附加元數(shù)據(jù)相關(guān)聯(lián),該附加元數(shù)據(jù)包括用于基于附加下混信號(hào)來(lái)參數(shù)化重構(gòu)附加m聲道音頻信號(hào)的附加上混參數(shù)。附加下混信號(hào)的第一聲道可以對(duì)應(yīng)于附加m聲道音頻信號(hào)的第一組一個(gè)或多個(gè)聲道的線性組合,附加下混信號(hào)的第二聲道可以對(duì)應(yīng)于附加m聲道音頻信號(hào)的第二組一個(gè)或多個(gè)聲道的線性組合。附加m聲道音頻信號(hào)的第一組和第二組聲道可以構(gòu)成附加m聲道音頻信號(hào)的m個(gè)聲道的劃分。附加解碼部分可以被進(jìn)一步配置為:接收附加元數(shù)據(jù)的至少一部分;并且基于附加下混信號(hào)和接收的附加元數(shù)據(jù)來(lái)提供附加兩聲道輸出信號(hào)。附加解碼部分可以包括附加去相關(guān)部分,該附加去相關(guān)部分被配置為:接收附加下混信號(hào)的至少一個(gè)聲道,并且基于其來(lái)輸出附加去相關(guān)信號(hào)。附加解碼部分可以進(jìn)一步包括附加混合部分,該附加混合部分被配置為:基于接收的附加元數(shù)據(jù)來(lái)確定附加混合系數(shù)集合;并且根據(jù)附加混合系數(shù)按照附加下混信號(hào)和附加去相關(guān)信號(hào)的線性組合來(lái)形成附加輸出信號(hào)。附加混合部分可以被配置為:確定混合系數(shù),以使得附加輸出信號(hào)的第一聲道近似于附加m聲道音頻信號(hào)的第三組一個(gè)或多個(gè)聲道的線性組合,并且使得附加輸出信號(hào)的第二聲道近似于附加m聲道音頻信號(hào)的第四組一個(gè)或多個(gè)聲道的線性組合。附加混合部分可以被進(jìn)一步配置為:確定附加混合系數(shù),以使得附加m聲道音頻信號(hào)的第三組和第四組聲道構(gòu)成附加m聲道音頻信號(hào)的m個(gè)聲道的劃分,并且使得附加m聲道音頻信號(hào)的第三組和第四組信號(hào)都包括附加m聲道音頻信號(hào)的第一組聲道中的至少一個(gè)聲道。
在本示例實(shí)施例中,附加解碼部分、附加去相關(guān)部分和附加混合部分可以例如分別在功能上等同于(或被類似地配置為)解碼部分、去相關(guān)部分和混合部分。可替代地,附加解碼部分、附加去相關(guān)部分和附加混合部分中的至少一個(gè)可以例如被配置為執(zhí)行與解碼部分、去相關(guān)部分和混合部分的對(duì)應(yīng)部分執(zhí)行的計(jì)算和/或插值不同類型的至少一種計(jì)算和/或插值。
在本示例實(shí)施例中,附加解碼部分、附加去相關(guān)部分和附加混合部分可以例如可獨(dú)立于解碼部分、去相關(guān)部分和混合部分進(jìn)行操作。
在示例實(shí)施例中,解碼系統(tǒng)可以進(jìn)一步包括解復(fù)用器,該解復(fù)用器被配置為從位流提?。合禄煨盘?hào)、元數(shù)據(jù)的所述至少一部分以及分開譯碼的音頻聲道。解碼系統(tǒng)可以進(jìn)一步包括單聲道解碼部分,該單聲道解碼部分可操作來(lái)對(duì)分開譯碼的音頻聲道進(jìn)行解碼。分開譯碼的音頻聲道可以例如通過(guò)使用感知音頻編解碼器(比如dolbydigital或mpegaac)被編碼在位流中,并且單聲道解碼部分可以例如包括用于對(duì)分開譯碼的音頻聲道進(jìn)行解碼的核心解碼器。單聲道解碼部分可以例如可獨(dú)立于解碼部分進(jìn)行操作來(lái)對(duì)分開譯碼的音頻聲道進(jìn)行解碼。
根據(jù)示例實(shí)施例,提供了一種計(jì)算機(jī)程序產(chǎn)品,該計(jì)算機(jī)程序產(chǎn)品包括具有用于執(zhí)行第一方面的方法中的任何一種方法的指令的計(jì)算機(jī)可讀介質(zhì)。
根據(jù)上述第一方面的音頻解碼系統(tǒng)、方法和計(jì)算機(jī)程序產(chǎn)品的示例實(shí)施例,輸出信號(hào)可以是k聲道信號(hào),其中,2≤k<m,而不是兩聲道信號(hào),并且輸出信號(hào)的k個(gè)聲道可以對(duì)應(yīng)于m聲道音頻信號(hào)劃分為k組的劃分,而不是輸出信號(hào)的兩個(gè)聲道對(duì)應(yīng)于m聲道音頻信號(hào)劃分為兩組的劃分。
更具體地說(shuō),根據(jù)示例實(shí)施例,提供了一種音頻解碼方法,該音頻解碼方法包括接收兩聲道下混信號(hào)。下混信號(hào)與元數(shù)據(jù)相關(guān)聯(lián),該元數(shù)據(jù)包括用于基于下混信號(hào)來(lái)參數(shù)化重構(gòu)m聲道音頻信號(hào)的上混參數(shù),其中,m≥4。下混信號(hào)的第一聲道對(duì)應(yīng)于m聲道音頻信號(hào)的第一組一個(gè)或多個(gè)聲道的線性組合,下混信號(hào)的第二聲道對(duì)應(yīng)于m聲道音頻信號(hào)的第二組一個(gè)或多個(gè)聲道的線性組合。第一組和第二組構(gòu)成m聲道音頻信號(hào)的m個(gè)聲道的劃分。音頻解碼方法可以進(jìn)一步包括:接收元數(shù)據(jù)的至少一部分;基于下混信號(hào)的至少一個(gè)聲道來(lái)產(chǎn)生去相關(guān)信號(hào);基于接收的元數(shù)據(jù)來(lái)確定混合系數(shù)集合;并且根據(jù)混合系數(shù)按照下混信號(hào)和去相關(guān)信號(hào)的線性組合來(lái)形成k聲道輸出信號(hào),其中,2≤k<m。混合系數(shù)可以被確定為使得輸出信號(hào)的k個(gè)聲道中的每個(gè)聲道近似于m聲道音頻信號(hào)的一組一個(gè)或多個(gè)聲道的線性組合(并且輸出信號(hào)的k個(gè)聲道中的每個(gè)聲道因此對(duì)應(yīng)于m聲道音頻信號(hào)的一組一個(gè)或多個(gè)聲道),與輸出信號(hào)的相應(yīng)聲道相對(duì)應(yīng)的組構(gòu)成m聲道音頻信號(hào)的m個(gè)聲道劃分為k組一個(gè)或多個(gè)聲道的劃分,并且所述k組中的至少兩個(gè)組包括第一組中的至少一個(gè)聲道。
m聲道音頻信號(hào)已經(jīng)被編碼為兩聲道下混信號(hào)和用于參數(shù)化重構(gòu)m聲道音頻信號(hào)的上混參數(shù)。當(dāng)在編碼器端對(duì)m聲道音頻信號(hào)進(jìn)行編碼時(shí),可以選擇例如用于有助于從下混信號(hào)重構(gòu)m聲道音頻信號(hào)、用于提高從下混信號(hào)重構(gòu)的m聲道音頻信號(hào)的保真度、和/或用于提高下混信號(hào)的譯碼效率的譯碼格式??梢酝ㄟ^(guò)選擇第一組和第二組并且將下混信號(hào)的聲道形成為相應(yīng)組中的聲道的相應(yīng)線性組合來(lái)執(zhí)行該譯碼格式選擇。
發(fā)明人已經(jīng)認(rèn)識(shí)到,盡管所選譯碼格式可以有助于從下混信號(hào)重構(gòu)m聲道音頻信號(hào),但是下混信號(hào)本身可能不適合于使用特定的k揚(yáng)聲器配置進(jìn)行回放。與m聲道音頻信號(hào)劃分為k組的劃分相對(duì)應(yīng)的k聲道輸出信號(hào)可能比下混信號(hào)更適合于特定的k聲道回放設(shè)置。基于下混信號(hào)和接收的元數(shù)據(jù)提供輸出信號(hào)因此可以提高收聽者感知的k聲道回放質(zhì)量,和/或提高k聲道回放對(duì)于由m聲道音頻信號(hào)表示的聲場(chǎng)的保真度。
發(fā)明人已經(jīng)進(jìn)一步認(rèn)識(shí)到,代替首先從下混信號(hào)重構(gòu)m聲道音頻信號(hào)、然后產(chǎn)生m聲道音頻信號(hào)的k聲道表示(例如,通過(guò)相加混合),由輸出信號(hào)提供的k聲道表示可以通過(guò)利用m聲道音頻信號(hào)的一些聲道在下混信號(hào)提供的兩聲道表示和將被提供的k聲道表示中被類似地一起分組的事實(shí)被從下混信號(hào)和接收的元數(shù)據(jù)更高效地產(chǎn)生。將輸出信號(hào)形成為下混信號(hào)和去相關(guān)信號(hào)的線性組合可以例如降低解碼器端的計(jì)算復(fù)雜度,和/或減少用于獲得m聲道音頻信號(hào)的k聲道表示的組件或處理步驟的數(shù)量。
構(gòu)成m聲道音頻信號(hào)的聲道的劃分的k個(gè)組意味著,所述k個(gè)組是不相交的,并且一起包括m聲道音頻信號(hào)的所有聲道。
形成k聲道輸出信號(hào)可以例如包括:將混合系數(shù)中的至少一些應(yīng)用于下混信號(hào)的聲道,并且將混合系數(shù)中的至少一些應(yīng)用于去相關(guān)信號(hào)的一個(gè)或多個(gè)聲道。
下混信號(hào)的第一聲道和第二聲道可以例如分別對(duì)應(yīng)于第一組一個(gè)或多個(gè)聲道和第二組一個(gè)或多個(gè)聲道中的聲道的(加權(quán)或非加權(quán))和。
輸出信號(hào)的k個(gè)聲道可以例如分別近似于所述k組一個(gè)或多個(gè)聲道中的聲道的(加權(quán)或非加權(quán))和。
在一些示例實(shí)施例中,k=2,k=3,或k=4。
在一些示例實(shí)施例中,m=5,或m=6。
在示例實(shí)施例中,去相關(guān)信號(hào)可以是兩聲道信號(hào),并且可以通過(guò)將至多兩個(gè)的去相關(guān)信號(hào)聲道包括到下混信號(hào)和去相關(guān)信號(hào)的線性組合中、即包括到從其獲得輸出信號(hào)的線性組合中來(lái)形成輸出信號(hào)。發(fā)明人已經(jīng)認(rèn)識(shí)到,不需要為了提供兩聲道輸出信號(hào)而重構(gòu)m聲道音頻信號(hào),并且因?yàn)檎麄€(gè)m聲道音頻信號(hào)不需要被重構(gòu),所以可以使去相關(guān)信號(hào)聲道的數(shù)量減少。
在示例實(shí)施例中,k=3,并且形成輸出信號(hào)可以相當(dāng)于從四個(gè)聲道投射到三個(gè)聲道,即,從下混信號(hào)的兩個(gè)聲道和兩個(gè)去相關(guān)信號(hào)聲道投射到輸出信號(hào)的三個(gè)聲道。例如,輸出信號(hào)可以作為下混信號(hào)和去相關(guān)信號(hào)的線性組合被直接獲得,而無(wú)需首先重構(gòu)m聲道音頻信號(hào)的全部m個(gè)聲道。
在示例實(shí)施例中,混合系數(shù)可以被確定為使得輸出信號(hào)的一對(duì)聲道接收來(lái)自去相關(guān)信號(hào)的聲道的相等幅度(例如,相等振幅)的貢獻(xiàn)。去相關(guān)信號(hào)的這個(gè)聲道對(duì)該對(duì)聲道中的相應(yīng)聲道的貢獻(xiàn)可以具有相反的符號(hào)。換句話說(shuō),混合系數(shù)可以被確定為使得控制去相關(guān)信號(hào)的聲道對(duì)輸出信號(hào)的(例如,第一)聲道的貢獻(xiàn)的混合系數(shù)和控制去相關(guān)信號(hào)的同一個(gè)聲道對(duì)輸出信號(hào)的另一個(gè)(例如,第二)聲道的貢獻(xiàn)的混合系數(shù)的和具有值0。k聲道輸出信號(hào)可以例如包括不接收來(lái)自去相關(guān)信號(hào)的特定聲道的任何貢獻(xiàn)的一個(gè)或多個(gè)聲道。
在示例實(shí)施例中,混合系數(shù)可以被確定為使得控制下混信號(hào)的第一聲道對(duì)輸出信號(hào)的(例如,第一)聲道的貢獻(xiàn)的混合系數(shù)和控制下混信號(hào)的第一聲道對(duì)輸出信號(hào)的另一個(gè)(例如,第二)聲道的貢獻(xiàn)的混合系數(shù)的和具有值1。具體地說(shuō),混合系數(shù)中的一個(gè)混合系數(shù)可以例如可從上混參數(shù)推導(dǎo)得到(例如,如本公開的其他部分中所解釋的,被作為確切值發(fā)送,或者可以在對(duì)緊湊表示執(zhí)行計(jì)算之后從上混參數(shù)獲得),其他混合系數(shù)則可以通過(guò)要求兩個(gè)混合系數(shù)的和等于1來(lái)容易地計(jì)算得到。k聲道輸出信號(hào)可以例如包括不接收來(lái)自下混信號(hào)的第一聲道的任何貢獻(xiàn)的一個(gè)或多個(gè)聲道。
在示例實(shí)施例中,混合系數(shù)可以被確定為使得控制下混信號(hào)的第二聲道對(duì)輸出信號(hào)的(例如,第一)聲道的貢獻(xiàn)的混合系數(shù)和控制下混信號(hào)的第二聲道對(duì)輸出信號(hào)的另一個(gè)(例如,第二)聲道的貢獻(xiàn)的混合系數(shù)的和具有值1。k聲道輸出信號(hào)可以例如包括不接收來(lái)自下混信號(hào)的第二聲道的任何貢獻(xiàn)的一個(gè)或多個(gè)聲道。
在示例實(shí)施例中,所述方法可以包括接收指示m聲道音頻信號(hào)的至少兩種譯碼格式中的(所選的)一種譯碼格式的信令。譯碼格式可以對(duì)應(yīng)于m聲道音頻信號(hào)的聲道劃分為與下混信號(hào)的聲道相關(guān)聯(lián)的相應(yīng)第一組和第二組的相應(yīng)不同劃分。k個(gè)組可以是預(yù)定義的?;旌舷禂?shù)可以被確定為使得m聲道音頻信號(hào)劃分為由輸出信號(hào)的聲道近似的k組聲道的單個(gè)劃分對(duì)于所述至少兩種譯碼格式被保持(即,對(duì)于所述至少兩種譯碼格式是共同的)。
在示例實(shí)施例中,去相關(guān)信號(hào)可以包括兩個(gè)聲道。可以基于下混信號(hào)的第一聲道、例如通過(guò)僅對(duì)下混信號(hào)的第一聲道進(jìn)行處理來(lái)獲得去相關(guān)信號(hào)的第一聲道??梢曰谙禄煨盘?hào)的第二聲道、例如通過(guò)僅對(duì)下混信號(hào)的第二聲道進(jìn)行處理來(lái)獲得去相關(guān)信號(hào)的第二聲道。
ii.概述——編碼器端
根據(jù)第二方面,示例實(shí)施例提出了音頻編碼系統(tǒng)以及音頻編碼方法和相關(guān)聯(lián)的計(jì)算機(jī)程序產(chǎn)品。所提出的根據(jù)第二方面的編碼系統(tǒng)、方法和計(jì)算機(jī)程序產(chǎn)品一般可以共享相同的特征和優(yōu)點(diǎn)。而且,上面針對(duì)根據(jù)第一方面的解碼系統(tǒng)、方法和計(jì)算機(jī)程序產(chǎn)品的特征呈現(xiàn)的優(yōu)點(diǎn)對(duì)于根據(jù)第二方面的編碼系統(tǒng)、方法和計(jì)算機(jī)程序產(chǎn)品的對(duì)應(yīng)特征一般可以是有效的。
根據(jù)示例實(shí)施例,提供了一種音頻編碼方法,該音頻編碼方法包括:接收m聲道音頻信號(hào),其中,m≥4;并且基于m聲道音頻信號(hào)來(lái)計(jì)算兩聲道下混信號(hào)。下混信號(hào)的第一聲道被形成為m聲道音頻信號(hào)的第一組一個(gè)或多個(gè)聲道的線性組合,下混信號(hào)的第二聲道被形成為m聲道音頻信號(hào)的第二組一個(gè)或多個(gè)聲道的線性組合。第一組和第二組構(gòu)成m聲道音頻信號(hào)的m個(gè)聲道的劃分。編碼方法進(jìn)一步包括:確定用于從下混信號(hào)參數(shù)化重構(gòu)m聲道音頻信號(hào)的上混參數(shù);并且確定用于基于下混信號(hào)來(lái)獲得兩聲道輸出信號(hào)的混合參數(shù),其中,輸出信號(hào)的第一聲道近似于m聲道音頻信號(hào)的第三組一個(gè)或多個(gè)聲道的線性組合,并且其中,輸出信號(hào)的第二聲道近似于m聲道音頻信號(hào)的第四組一個(gè)或多個(gè)聲道的線性組合。第三組和第四組構(gòu)成m聲道音頻信號(hào)的m個(gè)聲道的劃分,并且第三組和第四組都包括第一組中的至少一個(gè)聲道。編碼方法進(jìn)一步包括:輸出下混信號(hào)和元數(shù)據(jù)以用于聯(lián)合存儲(chǔ)或發(fā)送,其中,元數(shù)據(jù)包括上混參數(shù)和混合參數(shù)。
下混信號(hào)的聲道對(duì)應(yīng)于m聲道音頻信號(hào)的m個(gè)聲道劃分為第一組和第二組的劃分,并且可以例如提供m聲道音頻信號(hào)的位高效的兩聲道表示和/或使得可以高保真度地參數(shù)化重構(gòu)m聲道音頻信號(hào)的兩聲道表示。
發(fā)明人已經(jīng)認(rèn)識(shí)到,盡管所用的兩聲道表示可以有助于從下混信號(hào)重構(gòu)m聲道音頻信號(hào),但是下混信號(hào)本身可能不適合于使用特定的兩揚(yáng)聲器配置進(jìn)行回放。與下混信號(hào)和上混參數(shù)一起輸出的混合參數(shù)使得可以基于下混信號(hào)來(lái)獲得兩聲道輸出信號(hào)。與m聲道音頻信號(hào)劃分為第三組聲道和第四組聲道的不同劃分相對(duì)應(yīng)的輸出信號(hào)可能比下混信號(hào)更適合于特定的兩聲道回放設(shè)置?;谙禄煨盘?hào)和混合參數(shù)提供輸出信號(hào)因此可以提高收聽者感知的兩聲道回放質(zhì)量,和/或提高兩聲道回放對(duì)于由m聲道音頻信號(hào)表示的聲場(chǎng)的保真度。
下混信號(hào)的第一聲道可以例如被形成為第一組中的聲道的和,或者被形成為其縮放。換句話說(shuō),下混信號(hào)的第一聲道可以例如被形成為第一組中的聲道的和(即,來(lái)自相應(yīng)聲道的音頻內(nèi)容的和,例如通過(guò)每個(gè)采樣地或每個(gè)變換系數(shù)地進(jìn)行相加混合而形成的),或者被形成為這樣的和的重新縮放的版本(例如,通過(guò)對(duì)聲道進(jìn)行求和并且將該和乘以重新縮放因子而獲得的版本)。類似地,下混信號(hào)的第二聲道可以例如被形成為第二組中的聲道的和,或者被形成為其縮放。輸出信號(hào)的第一聲道可以例如近似于第三組的聲道的和或者其縮放,輸出信號(hào)的第二聲道可以例如近似于第四組的聲道的和或者其縮放。
例如,m聲道音頻信號(hào)可以是五聲道音頻信號(hào)。音頻編碼方法可以例如用于目前設(shè)立的5.1音頻格式之一的五個(gè)常規(guī)聲道,或者用于11.1多聲道音頻信號(hào)中的左手或右手側(cè)的五個(gè)聲道??商娲兀梢赃m用的是,m=4,或m≥6。
在示例實(shí)施例中,混合參數(shù)可以控制下混信號(hào)和去相關(guān)信號(hào)對(duì)輸出信號(hào)的相應(yīng)貢獻(xiàn)?;旌蠀?shù)中的至少一些可以在使得輸出信號(hào)的聲道分別成為第一組聲道和第二組聲道的線性組合(或和)的協(xié)方差保持近似的混合參數(shù)之中通過(guò)最小化來(lái)自去相關(guān)信號(hào)的貢獻(xiàn)來(lái)確定。來(lái)自去相關(guān)信號(hào)的貢獻(xiàn)可以例如在該貢獻(xiàn)的信號(hào)能量或振幅最小的意義上被最小化。
輸出信號(hào)的第一聲道將近似于的第三組的線性組合以及輸出信號(hào)的第二聲道將近似于的第四組的線性組合可以例如對(duì)應(yīng)于具有第一協(xié)方差矩陣的兩聲道音頻信號(hào)。輸出信號(hào)的聲道分別是第一組聲道和第二組聲道的線性組合的協(xié)方差保持近似可以例如對(duì)應(yīng)于輸出信號(hào)的協(xié)方差矩陣與第一協(xié)方差矩陣一致(或至少基本上一致)。
在協(xié)方差保持近似之中,來(lái)自去相關(guān)信號(hào)的貢獻(xiàn)的大小(例如,能量或振幅)降低可以指示收聽者在回放期間感知的近似的保真度增大。利用使來(lái)自去相關(guān)信號(hào)的貢獻(xiàn)降低的混合參數(shù)可以提高作為m聲道音頻信號(hào)的兩聲道表示的輸出信號(hào)的保真度。
在示例實(shí)施例中,第一組聲道可以由n個(gè)聲道組成,其中,n≥3,并且上混參數(shù)中的至少一些可以適合于從下混信號(hào)的第一聲道以及基于下混信號(hào)的第一聲道確定的(n-1)聲道去相關(guān)信號(hào)參數(shù)化重構(gòu)第一組聲道。在本示例實(shí)施例中,確定上混參數(shù)可以包括:確定第一類型的上混系數(shù)(被稱為干式上混系數(shù))的集合,以便定義近似于第一組聲道的下混信號(hào)的第一聲道的線性映射;并且基于接收的第一組聲道的協(xié)方差和通過(guò)下混信號(hào)的第一聲道的線性映射近似的第一組聲道的協(xié)方差之間的差值來(lái)確定中間矩陣。當(dāng)乘以預(yù)定義矩陣時(shí),中間矩陣可以對(duì)應(yīng)于第二類型的上混系數(shù)(被稱為濕式上混系數(shù))的集合,該濕式上混系數(shù)集合定義作為第一組聲道的參數(shù)化重構(gòu)的一部分的、去相關(guān)信號(hào)的線性映射。該濕式上混系數(shù)集合可以包括比中間矩陣中的元素的數(shù)量多的系數(shù)。在本示例實(shí)施例中,上混參數(shù)可以包括干式上混系數(shù)集合可被從其推導(dǎo)得到的第一類型的上混參數(shù)(被稱為干式上混參數(shù))以及第二類型的上混參數(shù)(被稱為濕式上混參數(shù)),在假定中間矩陣屬于預(yù)定義矩陣類的情況下第二類型的上混參數(shù)唯一地定義中間矩陣。中間矩陣可以具有比濕式上混參數(shù)的數(shù)量多的元素。
在本示例實(shí)施例中,解碼器端的第一組聲道的參數(shù)化重構(gòu)副本包括:作為一個(gè)貢獻(xiàn)的、通過(guò)下混信號(hào)的第一聲道的線性映射形成的干式上混信號(hào);以及作為進(jìn)一步貢獻(xiàn)的、通過(guò)去相關(guān)信號(hào)的線性映射形成的濕式上混信號(hào)。干式上混系數(shù)集合定義下混信號(hào)的第一聲道的線性映射,濕式上混系數(shù)集合定義去相關(guān)信號(hào)的線性映射。通過(guò)輸出比濕式上混系數(shù)的數(shù)量少的并且濕式上混系數(shù)可從其基于預(yù)定義矩陣和預(yù)定義矩陣類推導(dǎo)得到的濕式上混參數(shù),可以使發(fā)送到解碼器端以使得能夠重構(gòu)m聲道音頻信號(hào)的信息量減少。通過(guò)使參數(shù)化重構(gòu)所需的數(shù)據(jù)量減少,可以使發(fā)送m聲道音頻信號(hào)的參數(shù)化表示所需的帶寬和/或存儲(chǔ)這樣的表示所需的存儲(chǔ)器大小減小。
中間矩陣可以例如被確定為使得通過(guò)去相關(guān)信號(hào)的線性映射獲得的信號(hào)的協(xié)方差補(bǔ)充通過(guò)下混信號(hào)的第一聲道的線性映射近似的第一組聲道的協(xié)方差。
如何確定和利用預(yù)定義矩陣和預(yù)定義矩陣類在美國(guó)臨時(shí)專利申請(qǐng)no.61/974,544中第16頁(yè)第15行到第20頁(yè)第2行被更詳細(xì)地描述;該申請(qǐng)第一位指名的發(fā)明人:larsvillemoes;提交日:2014年4月3日。具體參見其中的關(guān)于預(yù)定義矩陣的例子的方程(9)。
在示例實(shí)施例中,確定中間矩陣可以包括:確定中間矩陣以使得通過(guò)去相關(guān)信號(hào)的線性映射(由濕式上混系數(shù)集合定義)獲得的信號(hào)的協(xié)方差近似于接收的第一組聲道的協(xié)方差和通過(guò)下混信號(hào)的第一聲道的線性映射近似的第一組聲道的協(xié)方差之間的差值或者與該差值基本上一致。換句話說(shuō),中間矩陣可以被確定為使得如下這樣的第一組聲道的重構(gòu)副本完全地或至少近似地恢復(fù)接收的第一組聲道的協(xié)方差,該第一組聲道的重構(gòu)副本是作為通過(guò)下混信號(hào)的第一聲道的線性映射形成的干式上混信號(hào)和通過(guò)去相關(guān)信號(hào)的線性映射形成的濕式上混信號(hào)的和而獲得的。
在示例實(shí)施例中,濕式上混參數(shù)可以包括至多n(n-1)/2個(gè)的可獨(dú)立賦值的濕式上混參數(shù)。在本示例實(shí)施例中,中間矩陣可以具有(n-1)2個(gè)矩陣元素,并且在假定中間矩陣屬于預(yù)定義矩陣類的情況下可以由濕式上混參數(shù)唯一地定義。在本示例實(shí)施例中,濕式上混系數(shù)集合可以包括n(n-1)個(gè)系數(shù)。
在示例實(shí)施例中,干式上混系數(shù)集合可以包括n個(gè)系數(shù)。在本示例實(shí)施例中,干式上混參數(shù)可以包括至多n-1個(gè)的干式上混參數(shù),并且干式上混系數(shù)集合可以通過(guò)使用預(yù)定義規(guī)則從n-1個(gè)干式上混參數(shù)推導(dǎo)得到。
在示例實(shí)施例中,確定的干式上混系數(shù)集合可以定義與第一組聲道的最小均方差近似相對(duì)應(yīng)的下混信號(hào)的第一聲道的線性映射,即,在下混信號(hào)的第一聲道的線性映射集合之中,確定的干式上混系數(shù)集合可以定義在最小均方的意義上最佳地近似于第一組聲道的線性映射。
在示例實(shí)施例中,編碼方法可以進(jìn)一步包括選擇至少兩種譯碼格式中的一種譯碼格式,其中,譯碼格式對(duì)應(yīng)于m聲道音頻信號(hào)的聲道劃分為與下混信號(hào)的聲道相關(guān)聯(lián)的相應(yīng)第一組和第二組的相應(yīng)不同劃分。下混信號(hào)的第一聲道和第二聲道可以根據(jù)所選譯碼格式分別被形成為m聲道音頻信號(hào)的第一組一個(gè)或多個(gè)聲道和第二組一個(gè)或多個(gè)聲道的線性組合??梢曰谒x譯碼格式來(lái)確定上混參數(shù)和混合參數(shù)。編碼方法可以進(jìn)一步包括提供指示所選譯碼格式的信令。該信令可以例如被輸出以用于與下混信號(hào)和元數(shù)據(jù)一起聯(lián)合存儲(chǔ)和/或發(fā)送。
基于下混信號(hào)和上混參數(shù)重構(gòu)的m聲道音頻信號(hào)可以是以下信號(hào)的和:通過(guò)將干式上混系數(shù)應(yīng)用于下混信號(hào)而形成的干式上混信號(hào);以及通過(guò)將濕式上混系數(shù)應(yīng)用于基于下混信號(hào)確定的去相關(guān)信號(hào)而形成的濕式上混信號(hào)。譯碼格式的選擇可以例如基于針對(duì)各譯碼格式的、接收的m聲道音頻信號(hào)的協(xié)方差和通過(guò)干式上混信號(hào)近似的m聲道音頻信號(hào)的協(xié)方差之間的差值來(lái)做出。譯碼格式的選擇可以例如基于用于各譯碼格式的濕式上混系數(shù)、例如基于用于各譯碼格式的濕式上混系數(shù)的各平方和來(lái)做出。所選的譯碼格式可以例如與各譯碼格式的平方和中的最小一個(gè)平方和相關(guān)聯(lián)。
根據(jù)示例實(shí)施例,提供了一種音頻編碼系統(tǒng),該音頻編碼系統(tǒng)包括編碼部分,該編碼部分被配置為:將m聲道音頻信號(hào)編碼為兩聲道下混信號(hào)和相關(guān)聯(lián)的元數(shù)據(jù),其中,m≥4,并且輸出下混信號(hào)和元數(shù)據(jù)以用于聯(lián)合存儲(chǔ)或發(fā)送。編碼部分包括下混部分,該下混部分被配置為基于m聲道音頻信號(hào)來(lái)計(jì)算下混信號(hào)。下混信號(hào)的第一聲道被形成為m聲道音頻信號(hào)的第一組一個(gè)或多個(gè)聲道的線性組合,下混信號(hào)的第二聲道被形成為m聲道音頻信號(hào)的第二組一個(gè)或多個(gè)聲道的線性組合。第一組和第二組構(gòu)成m聲道音頻信號(hào)的m個(gè)聲道的劃分。編碼部分進(jìn)一步包括分析部分,該分析部分被配置為確定:用于從下混信號(hào)參數(shù)化重構(gòu)m聲道音頻信號(hào)的上混參數(shù);以及用于基于下混信號(hào)來(lái)獲得兩聲道輸出信號(hào)的混合參數(shù)。輸出信號(hào)的第一聲道近似于m聲道音頻信號(hào)的第三組一個(gè)或多個(gè)聲道的線性組合,輸出信號(hào)的第二聲道近似于m聲道音頻信號(hào)的第四組一個(gè)或多個(gè)聲道的線性組合。第三組和第四組構(gòu)成m聲道音頻信號(hào)的m個(gè)聲道的劃分。第三組和第四組都包括第一組的至少一個(gè)聲道。元數(shù)據(jù)包括上混參數(shù)和混合參數(shù)。
根據(jù)示例實(shí)施例,提供了一種計(jì)算機(jī)程序產(chǎn)品,該計(jì)算機(jī)程序產(chǎn)品包括具有用于執(zhí)行第二方面的方法中的任何一種方法的指令的計(jì)算機(jī)可讀介質(zhì)。
根據(jù)上述第二方面的音頻編碼系統(tǒng)、方法和計(jì)算機(jī)程序產(chǎn)品的示例實(shí)施例,輸出信號(hào)可以是k聲道信號(hào),其中,2≤k<m,而不是兩聲道信號(hào),并且輸出信號(hào)的k個(gè)聲道可以對(duì)應(yīng)于m聲道音頻信號(hào)劃分為k個(gè)組的劃分,而不是輸出信號(hào)的兩個(gè)聲道對(duì)應(yīng)于m聲道音頻信號(hào)劃分為兩個(gè)組的劃分。
更具體地說(shuō),根據(jù)示例實(shí)施例,提供了一種音頻編碼方法,該音頻解碼方法包括:接收m聲道音頻信號(hào),其中,m≥4;并且基于m聲道音頻信號(hào)來(lái)計(jì)算兩聲道下混信號(hào)。下混信號(hào)的第一聲道被形成為m聲道音頻信號(hào)的第一組一個(gè)或多個(gè)聲道的線性組合,下混信號(hào)的第二聲道被形成為m聲道音頻信號(hào)的第二組一個(gè)或多個(gè)聲道的線性組合。第一組和第二組構(gòu)成m聲道音頻信號(hào)的m個(gè)聲道的劃分。編碼方法可以進(jìn)一步包括:確定用于從下混信號(hào)參數(shù)化重構(gòu)m聲道音頻信號(hào)的上混參數(shù);并且確定用于基于下混信號(hào)來(lái)獲得k聲道輸出信號(hào)的混合參數(shù),其中,2≤k<m,輸出信號(hào)的所述k個(gè)聲道中的每個(gè)近似于m聲道音頻信號(hào)的一組一個(gè)或多個(gè)聲道的線性組合。與輸出信號(hào)的相應(yīng)聲道相對(duì)應(yīng)的組可以構(gòu)成m聲道音頻信號(hào)的m個(gè)聲道劃分為k組一個(gè)或多個(gè)聲道的劃分,并且所述k組中的至少兩個(gè)組包括第一組中的至少一個(gè)聲道。所述編碼方法可以進(jìn)一步包括輸出下混信號(hào)和元數(shù)據(jù)以用于聯(lián)合存儲(chǔ)或發(fā)送,其中,元數(shù)據(jù)包括上混參數(shù)和混合參數(shù)。
在示例實(shí)施例中,混合參數(shù)可以控制下混信號(hào)和去相關(guān)信號(hào)對(duì)輸出信號(hào)的相應(yīng)貢獻(xiàn)?;旌蠀?shù)中的至少一些可以在使得輸出信號(hào)的聲道成為相應(yīng)k組聲道的一個(gè)或多個(gè)聲道的線性組合(或和)的協(xié)方差保持近似的混合參數(shù)之中通過(guò)最小化來(lái)自去相關(guān)信號(hào)的貢獻(xiàn)來(lái)確定。來(lái)自去相關(guān)信號(hào)的貢獻(xiàn)可以例如在該貢獻(xiàn)的信號(hào)能量或振幅最小的意義上被最小化。
輸出信號(hào)的k個(gè)聲道將近似于的k組聲道的線性組合可以例如對(duì)應(yīng)于具有第一協(xié)方差矩陣的k聲道音頻信號(hào)。輸出信號(hào)的聲道分別是k組聲道的聲道的線性組合的協(xié)方差保持近似可以例如對(duì)應(yīng)于輸出信號(hào)的協(xié)方差矩陣與第一協(xié)方差矩陣一致(或至少基本上一致)。
在協(xié)方差保持近似之中,來(lái)自去相關(guān)信號(hào)的貢獻(xiàn)的大小(例如,能量或振幅)降低可以指示收聽者在回放期間感知的近似的保真度增大。利用使來(lái)自去相關(guān)信號(hào)的貢獻(xiàn)降低的混合參數(shù)可以提高作為m聲道音頻信號(hào)的k聲道表示的輸出信號(hào)的保真度。
iii.概述——計(jì)算機(jī)可讀介質(zhì)
根據(jù)第三方面,示例實(shí)施例提出了計(jì)算機(jī)可讀介質(zhì)。上面針對(duì)根據(jù)第一方面和/或第二方面的系統(tǒng)、方法和計(jì)算機(jī)程序產(chǎn)品的特征呈現(xiàn)的優(yōu)點(diǎn)對(duì)于根據(jù)第三方面的計(jì)算機(jī)可讀介質(zhì)的對(duì)應(yīng)特征一般可以是有效的。
根據(jù)示例實(shí)施例,提供了一種數(shù)據(jù)載體,該數(shù)據(jù)載體表示:兩聲道下混信號(hào);以及使得可以基于下混信號(hào)來(lái)參數(shù)化重構(gòu)m聲道音頻信號(hào)的上混參數(shù),其中,m≥4。下混信號(hào)的第一聲道對(duì)應(yīng)于m聲道音頻信號(hào)的第一組一個(gè)或多個(gè)聲道的線性組合,下混信號(hào)的第二聲道對(duì)應(yīng)于m聲道音頻信號(hào)的第二組一個(gè)或多個(gè)聲道的線性組合。第一組和第二組構(gòu)成m聲道音頻信號(hào)的m個(gè)聲道的劃分。數(shù)據(jù)載體進(jìn)一步表示使得可以基于下混信號(hào)來(lái)提供兩聲道輸出信號(hào)的混合參數(shù)。輸出信號(hào)的第一聲道近似于m聲道音頻信號(hào)的第三組一個(gè)或多個(gè)聲道的線性組合,輸出信號(hào)的第二聲道近似于m聲道音頻信號(hào)的第四組一個(gè)或多個(gè)聲道的線性組合。第三組和第四組構(gòu)成m聲道音頻信號(hào)的m個(gè)聲道的劃分。第三組和第四組都包括第一組中的至少一個(gè)聲道。
在示例實(shí)施例中,數(shù)據(jù)載體表示的數(shù)據(jù)可以被布置在時(shí)間幀中,并且可以被分層為使得對(duì)于給定時(shí)間幀,用于該時(shí)間幀的下混信號(hào)和相關(guān)聯(lián)的混合參數(shù)可以獨(dú)立于相關(guān)聯(lián)的上混參數(shù)被提取。例如,數(shù)據(jù)載體可以被分層為使得用于該時(shí)間幀的下混信號(hào)和相關(guān)聯(lián)的混合參數(shù)可以在不提取和/或訪問(wèn)相關(guān)聯(lián)的上混參數(shù)的情況下被提取。根據(jù)上述的第三方面的計(jì)算機(jī)可讀介質(zhì)(或數(shù)據(jù)載體)的示例實(shí)施例,輸出信號(hào)可以是k聲道信號(hào),其中,2≤k<m,而不是兩聲道信號(hào),并且輸出信號(hào)的k個(gè)聲道可以對(duì)應(yīng)于m聲道音頻信號(hào)劃分為k組的劃分,而不是輸出信號(hào)的兩個(gè)聲道對(duì)應(yīng)于m聲道音頻信號(hào)劃分為兩組的劃分。
更具體地說(shuō),根據(jù)示例實(shí)施例,提供了一種計(jì)算機(jī)可讀介質(zhì)(或數(shù)據(jù)載體),該計(jì)算機(jī)可讀介質(zhì)表示:兩聲道下混信號(hào);以及使得可以基于下混信號(hào)來(lái)參數(shù)化重構(gòu)m聲道音頻信號(hào)的上混參數(shù),其中,m≥4。下混信號(hào)的第一聲道對(duì)應(yīng)于m聲道音頻信號(hào)的第一組一個(gè)或多個(gè)聲道的線性組合,下混信號(hào)的第二聲道對(duì)應(yīng)于m聲道音頻信號(hào)的第二組一個(gè)或多個(gè)聲道的線性組合。第一組和第二組構(gòu)成m聲道音頻信號(hào)的m個(gè)聲道的劃分。數(shù)據(jù)載體可以進(jìn)一步表示使得可以基于下混信號(hào)來(lái)提供k聲道輸出信號(hào)的混合參數(shù),其中,2≤k<m。輸出信號(hào)的每個(gè)聲道可以近似于m聲道音頻信號(hào)的一組一個(gè)或多個(gè)聲道的線性組合(例如,加權(quán)或非加權(quán)和)。與輸出信號(hào)的相應(yīng)聲道相對(duì)應(yīng)的組可以構(gòu)成m聲道音頻信號(hào)的m個(gè)聲道劃分為k組一個(gè)或多個(gè)聲道的劃分。k組中的至少兩個(gè)組可以包括第一組中的至少一個(gè)聲道。
進(jìn)一步的示例實(shí)施例在從屬權(quán)利要求中被定義。應(yīng)注意,示例實(shí)施例包括特征的所有組合,即使特征被記載在相互不同的權(quán)利要求中。
iv.示例實(shí)施例
圖4-6例示說(shuō)明將11.1聲道音頻信號(hào)劃分為多組聲道以用于將11.1聲道音頻信號(hào)參數(shù)化編碼為5.1聲道音頻信號(hào)或者用于在包括五個(gè)擴(kuò)音器和一個(gè)超低音的揚(yáng)聲器系統(tǒng)處回放11.1聲道音頻信號(hào)的替代方式。
11.1聲道音頻信號(hào)包括聲道l(左)、ls(左側(cè))、lb(左后)、tfl(左前上部)、tbl(左右上部)、r(右)、rs(右側(cè))、rb(右后)、tfr(右前上部)、tbr(右后上部)、c(中心)以及l(fā)fe(低頻效果)。五個(gè)聲道l、ls、lb、tfl和tbl形成表示11.1聲道音頻信號(hào)的回放環(huán)境中的左半空間的五聲道音頻信號(hào)。三個(gè)聲道l、ls和lb表示回放環(huán)境中的不同的水平方向,兩個(gè)聲道tfl和tbl表示與三個(gè)聲道l、ls和lb的方向垂直分離的方向。兩個(gè)聲道tfl和tbl可以例如意圖用于在頂部揚(yáng)聲器中回放。類似地,五個(gè)聲道r、rs、rb、tfr和tbr形成表示回放環(huán)境的右半空間的附加五聲道音頻信號(hào),三個(gè)聲道r、rs和rb表示回放環(huán)境中的不同的水平方向,兩個(gè)聲道tfr和tbr表示與這三個(gè)聲道r、rs和rb的方向垂直分離的方向。
為了將11.1聲道音頻信號(hào)表示為5.1聲道音頻信號(hào),可以將聲道l、ls、lb、tfl、tbl、r、rs、rb、tfr、tbr、c和lfe的集合劃分為由相應(yīng)下混聲道和相關(guān)聯(lián)元數(shù)據(jù)表示的多組聲道。五聲道音頻信號(hào)l、ls、lb、tfl、tbl可以由兩聲道下混信號(hào)l1、l2和相關(guān)聯(lián)的元數(shù)據(jù)表示,而附加五聲道音頻信號(hào)r、rs、rb、tfr、tbr可以由附加兩聲道下混信號(hào)r1、r2和相關(guān)聯(lián)的元數(shù)據(jù)表示。聲道c和lfe在11.1聲道音頻信號(hào)的5.1聲道表示中也可以保持為單獨(dú)的聲道。
圖4例示說(shuō)明第一譯碼格式f1,在該格式中,五聲道音頻信號(hào)l、ls、lb、tfl、tbl被劃分為第一組401聲道l、ls、lb和第二組402聲道tfl、tbl,并且附加五聲道音頻信號(hào)r、rs、rb、tfr、tbr被劃分為附加第一組403聲道r、rs、rb和附加第二組404聲道tfr、tbr。在第一譯碼格式f1中,第一組聲道401由兩聲道下混信號(hào)的第一聲道l1表示,第二組聲道402由兩聲道下混信號(hào)的第二聲道l2表示。下混信號(hào)的第一聲道l1可以如下地對(duì)應(yīng)于第一組401聲道的和:
l1-l+ls+lb
并且下混信號(hào)的第二聲道l2可以如下地對(duì)應(yīng)于第二組402聲道的和:
l2-tfl+tbl
在一些示例實(shí)施例中,可以在求和之前對(duì)聲道中的一些或全部進(jìn)行重新縮放,以使得下混信號(hào)的第一聲道l1可以對(duì)應(yīng)于根據(jù)l1=c1l+c2ls+c3lb的第一組401聲道的線性組合,并且下混信號(hào)的第二聲道l2可以對(duì)應(yīng)于根據(jù)l2=c4tfl+c5tbl的第二組402聲道的線性組合。增益c2、c3、c4、c5可以例如是一致的,而增益c1可以例如具有不同的值;例如,c1可以對(duì)應(yīng)于根本不重新縮放。例如,可以使用值c1=1和
類似地,附加第一組聲道403由附加下混信號(hào)的第一聲道r1表示,附加第二組404聲道由附加下混信號(hào)的第二聲道r2表示。
第一譯碼格式f1提供用于表示頂部聲道tfl、tbl、tfr和tbr的專用下混聲道l2和r2。第一譯碼格式f1的使用因此可以使得在例如回放環(huán)境中的垂直維度對(duì)于11.1聲道音頻信號(hào)的總體印象重要的情況下可以以相對(duì)較高的保真度參數(shù)化重構(gòu)11.1聲道音頻信號(hào)。
圖5例示說(shuō)明第二譯碼格式f2,在該格式中,五聲道音頻信號(hào)l、ls、lb、tfl、tbl被劃分為由相應(yīng)聲道l1和l2表示的第三組501聲道和第四組502聲道,其中,聲道l1和l2對(duì)應(yīng)于各組聲道(例如,利用與第一譯碼格式f1中的增益相同的增益c1、c2、c3、c4、c5進(jìn)行重新縮放)的和。類似地,附加五聲道音頻信號(hào)r、rs、rb、tfr、tbr被劃分為由相應(yīng)聲道r1和r2表示的附加第三組503聲道和第四組504聲道。
第二譯碼格式f2沒(méi)有提供用于表示頂部聲道tfl、tbl、tfr和tbr的專用下混聲道,而是可以使得例如在回放環(huán)境中的垂直維度對(duì)于11.1聲道音頻信號(hào)的總體印象不重要的情況下可以以相對(duì)較高的保真度參數(shù)化重構(gòu)11.1聲道音頻信號(hào)。第二譯碼格式f2也可以比第一譯碼格式f1更適合于5.1聲道回放。
圖6例示說(shuō)明第三譯碼格式f3,在該格式中,五聲道音頻信號(hào)l、ls、lb、tfl、tbl被劃分為由下混信號(hào)的相應(yīng)聲道l1和l2表示的第五組601聲道和第六組602聲道,其中,l1和l2對(duì)應(yīng)于各組聲道(例如,利用與第一譯碼格式f1中的增益相同的增益c1、c2、c3、c4、c5進(jìn)行重新縮放)的和。類似地,附加五聲道音頻信號(hào)r、rs、rb、tfr、tbr被劃分為由相應(yīng)聲道r1和r2表示的附加第五組603聲道和第六組604聲道。
在第三譯碼格式f3中,四個(gè)聲道ls、lb、tfl、tbl由第二聲道l2表示。盡管11.1聲道音頻信號(hào)的高保真度參數(shù)化重構(gòu)在第三譯碼格式f3中可能比在其他譯碼格式中更困難,但是第三譯碼格式f3可以例如用于5.1聲道回放。
發(fā)明人已經(jīng)認(rèn)識(shí)到,與根據(jù)譯碼格式f1、f2、f3中的一種譯碼格式的11.1聲道音頻信號(hào)的5.1聲道表示相關(guān)聯(lián)的元數(shù)據(jù)可以用于產(chǎn)生根據(jù)譯碼格式f1、f2、f3中的另一種譯碼格式的5.1聲道表示,而無(wú)需首先重構(gòu)原始11.1聲道信號(hào)。表示11.1聲道音頻信號(hào)的左半平面的五聲道信號(hào)l、ls、lb、tfl、tbl和表示右半平面的附加五聲道信號(hào)r、rs、rb、tfr、tbr可以被類似地處理。
假定三個(gè)聲道x1、x2、x3已經(jīng)根據(jù)m1=x1+x2+x3被求和以形成下混聲道m(xù)1,并且x1和x2+x3將被重構(gòu)。所有三個(gè)聲道x1、x2、x3可以通過(guò)利用在編碼器端確定的上混參數(shù)ci(1≤i≤3)和pij(1≤i≤3,1≤j≤2)以及獨(dú)立的去相關(guān)器d1和d2從下混聲道m(xù)1被重構(gòu)為:
假定所用上混參數(shù)滿足c1+c2+c3=1和對(duì)于k=1,2,p1k+p2k+p3k=0,則信號(hào)x1和x2+x3可以被重構(gòu)為:
該公式可以被表達(dá)為:
其中,兩個(gè)去相關(guān)器d1和d2已經(jīng)被單個(gè)去相關(guān)器d1取代,并且其中,
如上所述,方程(2)可以用于基于符合第一譯碼格式f1的信號(hào)來(lái)產(chǎn)生符合第三譯碼格式f3的信號(hào)。
聲道x4和x5通過(guò)利用去相關(guān)器d3以及滿足d1+d2=1和q1+q2=0的上混參數(shù)可以被重構(gòu)為:
基于方程(1)和(3),信號(hào)x1+x4和x2+x3+x5可以被重構(gòu)為:
并且被重構(gòu)為
其中,來(lái)自兩個(gè)去相關(guān)器d1和d3(即,保持其輸入信號(hào)的能量的類型的去相關(guān)器)的貢獻(xiàn)已經(jīng)用來(lái)自單個(gè)去相關(guān)器d1(即,保持其輸入信號(hào)的能量的類型的去相關(guān)器)的貢獻(xiàn)近似。該近似可以與非常小的保真度感知損失相關(guān)聯(lián),在下混聲道m(xù)1、m2是無(wú)關(guān)的以及值a=p1和b=q1用于權(quán)重a和b的情況下尤其如此。在編碼器端根據(jù)其產(chǎn)生下混信號(hào)m1、m2的譯碼格式可能例如已經(jīng)被選擇以試圖使下混聲道m(xù)1、m2之間的相關(guān)性保持低。如下所述,方程(4)可以用于基于符合第一譯碼格式f1的信號(hào)來(lái)產(chǎn)生符合第二譯碼格式f2的信號(hào)。
方程(4)的結(jié)構(gòu)可以可選地被修改為:
其中,增益因子g=(a2+b2)1/2用于調(diào)整去相關(guān)器d1的輸入信號(hào)的功率。增益因子的其他值也可以被利用,比如g=(a2+b2)1/v,其中,0<v<1。
如果第一譯碼格式f1用于提供11.1聲道信號(hào)的參數(shù)化表示,并且期望第二譯碼格式f2在解碼器端用于音頻內(nèi)容的渲染,則在左側(cè)和右側(cè)兩側(cè)應(yīng)用方程(4)的近似并且用波浪符指示左側(cè)量(輸出信號(hào)的四個(gè)聲道)中的一些的近似本質(zhì),得到:
其中,根據(jù)第二譯碼格式f2,
其中,sl=d(all1+bll2)且sr=d(arr1+brr2),,其中,c1,l、d1,l、al、bl和c1,r、d1,r、ar、br分別是從方程(4)得到的參數(shù)c1、d1、a、b的左聲道版本和右聲道版本,并且其中,d表示去相關(guān)算子。因此,可以在實(shí)際上不必重構(gòu)11.1聲道音頻信號(hào)的情況下基于用于參數(shù)化重構(gòu)11.1聲道音頻信號(hào)的上混參數(shù)從第一譯碼格式f1獲得第二譯碼格式f2的近似。
如果第一譯碼格式f1用于提供11.1聲道信號(hào)的參數(shù)化表示,并且期望第三譯碼格式f3在解碼器端用于音頻內(nèi)容的渲染,則在左側(cè)和右側(cè)兩側(cè)應(yīng)用方程(2)的近似并且指示左側(cè)量中的一些的近似本質(zhì),得到:
其中,按照第三譯碼格式f3,
其中,c1,l、p1,l和c1,r、p1,r分別是方程(2)的參數(shù)c1和p1的左聲道版本和右聲道版本,并且其中,d表示去相關(guān)算子。因此,可以在實(shí)際上不必重構(gòu)11.1聲道音頻信號(hào)的情況下基于用于參數(shù)化重構(gòu)11.1聲道音頻信號(hào)的上混參數(shù)從第一譯碼格式f1獲得第三譯碼格式f3的近似。
如果第二譯碼格式f2用于提供11.1聲道信號(hào)的參數(shù)化表示,并且期望第一譯碼格式f1在解碼器端用于音頻內(nèi)容的渲染,則與方程(5)和(6)中呈現(xiàn)的那些關(guān)系類似的關(guān)系可以使用相同的構(gòu)思被推導(dǎo)得到。
如果第三譯碼格式f3用于提供11.1聲道信號(hào)的參數(shù)化表示,并且期望第一譯碼格式f1或第二譯碼格式f2在解碼器端用于音頻內(nèi)容的渲染,則上述構(gòu)思中的至少一些可以被利用。然而,因?yàn)槁暤?imgfile="bda0001282576100000308.gif"wi="50"he="67"img-content="drawing"img-format="gif"orientation="portrait"inline="no"/>表示的第六組602聲道包括四個(gè)聲道ls、lb、tfl、tbl,所以多于一個(gè)的去相關(guān)聲道可以例如用于左手側(cè)(對(duì)于右手側(cè)是類似的),而僅表示聲道l的另一個(gè)聲道
如上所述,用于從5.2聲道參數(shù)化表示(符合譯碼格式f1、f2、和f3中的一種譯碼格式)參數(shù)化重構(gòu)11.1聲道音頻信號(hào)的上混參數(shù)可以用于獲得11.1聲道音頻信號(hào)的替代5.1聲道表示(符合譯碼格式f1、f2、和f3中的任何一種譯碼格式)。在其他示例實(shí)施例中,可以基于在編碼器端特別針對(duì)該目的確定的混合參數(shù)來(lái)獲得替代的5.1聲道表示?,F(xiàn)在將描述確定這樣的參數(shù)的一種方式。
給定由四個(gè)音頻信號(hào)u1、u2、u3、u4形成的兩個(gè)音頻信號(hào)y1=u1+u2和y2=u3+u4,可以獲得兩個(gè)音頻信號(hào)z1=u1+u3和z2=u2+u4的近似??梢愿鶕?jù)以下方程按照最小平方估計(jì)從y1和y2估計(jì)差值z(mì)1-z2:
z1-z2=αy1+βy2+r,
其中,誤差信號(hào)r正交于y1和y2兩者。利用z1+z2=y(tǒng)1+y2,于是可以推導(dǎo)出:
為了得出恢復(fù)信號(hào)z1和z2的正確的協(xié)方差結(jié)構(gòu)的近似,可以用相同功率的、例如形式為γd(y1+y2)的去相關(guān)信號(hào)取代誤差信號(hào)r,其中,d表示去相關(guān),并且其中,參數(shù)γ被調(diào)整以保持信號(hào)功率。利用方程(7)的不同參數(shù)化,近似可以被表達(dá)為:
如果第一譯碼格式f1用于提供11.1聲道信號(hào)的參數(shù)化表示,并且期望第二譯碼格式f2在解碼器端用于音頻內(nèi)容的渲染,則應(yīng)用方程(8)的近似,其中在左手側(cè)z1=l+tfl、z2=ls+lb+tbl、y1=l+ls+lb和y2=tfl+tbl,在右手側(cè)z1=r+tfr、z2=rs+rb+tbr、y1=r+rs+rb和y2=tfr+tbr,并且用波浪符指示左側(cè)量中的一些的近似本質(zhì),得到:
其中,按照第一譯碼格式f1,
其中,rld(l1+l2)且rr=d(r1+r2),其中,cl、dl、γl和cr、dr、γr分別是從方程(8)得到的參數(shù)c、d、γ的左聲道版本和右聲道版本,并且其中,d表示去相關(guān)。因此,可以基于混合參數(shù)cl、dl、γl、cr、dr和γr從第一譯碼格式f1獲得第二譯碼格式f2的近似,這些混合參數(shù)例如是在編碼器端針對(duì)該目的確定的,并且與下混信號(hào)一起被發(fā)送到解碼器端。混合參數(shù)的使用使得從編碼器端進(jìn)行的控制可以增大。因?yàn)樵?1.1聲道音頻信號(hào)在編碼器端是可用的,所以混合參數(shù)可以例如在編碼器端被調(diào)諧以便增大第二譯碼格式f2的近似的保真度。
類似地,可以基于類似的混合參數(shù)從第一譯碼格式f1獲得第三譯碼格式f3的近似。第一譯碼格式f1和第三譯碼格式f3的類似近似也可以從第二譯碼格式f2獲得。
在方程(9)中可以看出,輸出信號(hào)的兩個(gè)聲道
在方程(9)中可以看出,控制下混信號(hào)的第一聲道l1對(duì)輸出信號(hào)的第一聲道
圖1是根據(jù)示例實(shí)施例的用于將m聲道信號(hào)編碼為兩聲道下混信號(hào)和相關(guān)聯(lián)的元數(shù)據(jù)的編碼部分100的廣義框圖。
m聲道音頻信號(hào)在本文中是以參照?qǐng)D4描述的五聲道信號(hào)l、ls、lb、tfl、tbl為例說(shuō)明的,下混信號(hào)是以根據(jù)參照?qǐng)D4描述的第一譯碼格式f1計(jì)算的第一聲道l1和第二聲道l2為例說(shuō)明的。可以設(shè)想編碼部分100根據(jù)參照?qǐng)D4至圖6描述的譯碼格式中的任何一種譯碼格式來(lái)計(jì)算下混信號(hào)的示例實(shí)施例。還可以設(shè)想編碼部分100基于m聲道音頻信號(hào)來(lái)計(jì)算下混信號(hào)的示例實(shí)施例,其中,m≥4。具體地說(shuō),將意識(shí)到,對(duì)于m=4或m≥6的示例實(shí)施例,可以執(zhí)行與上述那些計(jì)算和近似類似的并且引出方程(5)、(6)和(9)的計(jì)算和近似。
編碼部分100包括下混部分110和分析部分120。下混部分110通過(guò)按照五聲道音頻信號(hào)的第一組401聲道的線性組合(例如,按照和)形成下混信號(hào)的第一聲道l1并且按照五聲道音頻信號(hào)的第二組402聲道的線性組合(例如,按照和)形成下混信號(hào)的第二聲道l2來(lái)基于五聲道音頻信號(hào)計(jì)算下混信號(hào)。第一組401和第二組402構(gòu)成五聲道音頻信號(hào)的五個(gè)聲道l、ls、lb、tfl、tbl的劃分。分析部分120確定用于在參數(shù)化解碼器中從下混信號(hào)參數(shù)化重構(gòu)五聲道音頻信號(hào)的上混參數(shù)αlu。分析部分120還確定用于基于下混信號(hào)來(lái)獲得兩聲道輸出信號(hào)的混合參數(shù)αlm。
在本示例實(shí)施例中,輸出信號(hào)是根據(jù)參照?qǐng)D5描述的第二譯碼格式f2的五聲道音頻信號(hào)的兩聲道表示。然而,還可以設(shè)想輸出信號(hào)表示根據(jù)參照?qǐng)D4至圖6描述的譯碼格式中的任何一種譯碼格式的五聲道音頻信號(hào)的示例實(shí)施例。
輸出信號(hào)的第一聲道
編碼部分100將用于聯(lián)合存儲(chǔ)和/或發(fā)送的下混信號(hào)l1、l2和相關(guān)聯(lián)的元數(shù)據(jù)輸出到解碼器端。元數(shù)據(jù)包括上混參數(shù)αlu和混合參數(shù)αlm?;旌蠀?shù)αlm可以攜帶用于利用方程(9)來(lái)基于下混信號(hào)l1、l2獲得輸出信號(hào)
圖2是根據(jù)示例實(shí)施例的包括參照?qǐng)D1描述的編碼部分100的音頻編碼系統(tǒng)200的廣義框圖。在本示例實(shí)施例中,例如由一個(gè)或多個(gè)聲學(xué)換能器201錄制的或由音頻創(chuàng)作設(shè)備201產(chǎn)生的音頻內(nèi)容以參照?qǐng)D4至圖6描述的11.1聲道音頻信號(hào)的形式被提供。正交鏡像濾波器(qmf)分析部分202將五聲道音頻信號(hào)l、ls、lb、tfl和tbl逐個(gè)時(shí)間段地變換到qmf域中以供編碼部分100以時(shí)間/頻率片段的形式對(duì)五聲道音頻進(jìn)行處理。音頻編碼系統(tǒng)200包括附加編碼部分203,該附加編碼部分203類似于編碼部分100,并且適于將附加五聲道音頻信號(hào)r、rs、rb、tfr和tbr編碼為附加兩聲道下混信號(hào)r1、r2和相關(guān)聯(lián)的元數(shù)據(jù),該元數(shù)據(jù)包括附加上混參數(shù)αru和附加混合參數(shù)αrm。附加混合參數(shù)αrm可以例如包括方程(9)的參數(shù)cr、dr、γr。qmf分析部分202還將附加五聲道音頻信號(hào)r、rs、rb、tfr和tbr變換到qmf域中以供附加編碼部分203進(jìn)行處理。編碼部分100輸出的下混信號(hào)l1、l2被qmf合成部分204從qmf域變換回去,并且被變換部分205變換到修正離散余弦變換(mdct)域中。量化部分206和207分別對(duì)上混參數(shù)αlu和混合參數(shù)αlm進(jìn)行量化。例如,可以利用步長(zhǎng)大小為0.1或0.2(無(wú)量綱)的均勻量化,之后接著再進(jìn)行哈夫曼譯碼形式的熵譯碼。步長(zhǎng)大小為0.2的較粗略的量化可以例如被采用以節(jié)省發(fā)送帶寬,并且步長(zhǎng)大小為0.1的較精細(xì)的量化可以例如被采用以提高解碼器端的重構(gòu)的保真度。類似地,附加編碼部分203輸出的附加下混信號(hào)被r1、r2被qmf合成部分208從qmf域變換回去,并且被變換部分209變換到mdct域中。量化部分210和211分別對(duì)附加上混參數(shù)αru和附加混合參數(shù)αrm進(jìn)行量化。聲道c和lfe也被相應(yīng)的變換部分214和215變換到mdct域中。mdct變換的下混信號(hào)和聲道以及量化的元數(shù)據(jù)然后被復(fù)用器216組合到位流b中,以用于發(fā)送到解碼器端。音頻編碼系統(tǒng)200還可以包括核心編碼器(圖2中未示出),該核心編碼器被配置為在下混信號(hào)以及聲道c和lfe被提供給復(fù)用器216之前,使用感知音頻編解碼器(比如dolbydigital或mpegaac)對(duì)下混信號(hào)l1、l2、附加下混信號(hào)r1、r2以及聲道c和lfe進(jìn)行編碼。裁剪增益,例如對(duì)應(yīng)于-8.7db,可以例如在形成位流b之前被應(yīng)用于下混信號(hào)l1、l2、附加下混信號(hào)r1、r2以及聲道c。
圖3是根據(jù)示例實(shí)施例的由音頻編碼系統(tǒng)200執(zhí)行的音頻編碼方法300的流程圖。音頻編碼方法300包括:接收310五聲道音頻信號(hào)l、ls、lb、tfl和tbl;基于五聲道音頻信號(hào)來(lái)計(jì)算320兩聲道下混信號(hào)l1、l2;確定330上混參數(shù)αlu;確定340混合參數(shù)αlm;并且輸出350下混信號(hào)和元數(shù)據(jù)以用于聯(lián)合存儲(chǔ)和/或發(fā)送,其中,元數(shù)據(jù)包括上混參數(shù)αlu和混合參數(shù)αlm。
圖7是根據(jù)示例實(shí)施例的用于基于兩聲道下混信號(hào)l1、l2和相關(guān)聯(lián)的元數(shù)據(jù)來(lái)提供兩聲道輸出信號(hào)
在本示例實(shí)施例中,下混信號(hào)l1、l2是參照?qǐng)D1描述的編碼部分100輸出的下混信號(hào)l1、l2,并且與編碼部分100輸出的上混參數(shù)αlu和混合參數(shù)αlm兩者相關(guān)聯(lián)。如參照?qǐng)D1和圖4所描述的,上混參數(shù)αlu適于基于下混信號(hào)l1、l2來(lái)參數(shù)化重構(gòu)五聲道音頻信號(hào)l、ls、lb、tfl和tbl。然而,還可以設(shè)想上混參數(shù)αlu適于參數(shù)化重構(gòu)m聲道音頻信號(hào)的實(shí)施例,其中,m=4,或m≥6。
在本示例實(shí)施例中,下混信號(hào)的第一聲道l1對(duì)應(yīng)于五聲道音頻信號(hào)的第一組401聲道的線性組合(例如,和),下混信號(hào)的第二聲道l2對(duì)應(yīng)于五聲道音頻信號(hào)的第二組402聲道的線性組合(例如,和)。第一組401和第二組402構(gòu)成五聲道音頻信號(hào)的五個(gè)聲道l、ls、lb、tfl和tbl的劃分。
在本示例實(shí)施例中,解碼部分700接收兩聲道下混信號(hào)l1、l2和上混參數(shù)αlu,并且基于下混信號(hào)l1、l2和上混參數(shù)αlu來(lái)提供兩聲道輸出信號(hào)
在本示例實(shí)施例中,解碼部分700被配置為根據(jù)參照?qǐng)D5描述的第二譯碼格式f2來(lái)提供輸出信號(hào)
因此,混合部分720確定混合系數(shù)以使得輸出信號(hào)的第一聲道
在一些示例實(shí)施例中,用于從下混信號(hào)l1、l2和去相關(guān)信號(hào)參數(shù)化重構(gòu)五聲道音頻信號(hào)l、ls、lb、tfl、tbl的系數(shù)可以由包括比用于參數(shù)化重構(gòu)的實(shí)際系數(shù)的數(shù)量少的參數(shù)的緊湊形式的上混參數(shù)αlu表示。在這樣的實(shí)施例中,實(shí)際系數(shù)可以在解碼器端基于所用的特定緊湊形式的獲悉而被推導(dǎo)得到。
圖8是根據(jù)示例實(shí)施例的包括參照?qǐng)D7描述的解碼部分700的音頻解碼系統(tǒng)800的廣義框圖。
接收部分801(例如,包括解復(fù)用器)接收從參照?qǐng)D2描述的音頻編碼系統(tǒng)200發(fā)送的位流b,并且從位流b提取下混信號(hào)l1、l2和相關(guān)聯(lián)的上混參數(shù)αlu、附加下混信號(hào)r1、r2和相關(guān)聯(lián)的附加上混參數(shù)αru、以及聲道c和lfe。
盡管混合參數(shù)αlm和附加混合參數(shù)αrm在位流b中可以是可獲得的,但是在本示例實(shí)施例中,這些參數(shù)不被音頻解碼系統(tǒng)800所用。換句話說(shuō),本示例實(shí)施例的音頻解碼系統(tǒng)800與這樣的混合參數(shù)不可以從其提取的位流兼容。下面將參照?qǐng)D9來(lái)進(jìn)一步描述利用混合參數(shù)αlm的解碼部分。
在下混信號(hào)l1、l2、附加下混信號(hào)r1、r2和/或聲道c和lfe通過(guò)使用感知音頻編解碼器(比如dolbydigital、mpegaac或其開發(fā))被編碼在位流b中的情況下,音頻解碼系統(tǒng)800可以包括核心解碼器(在圖8中未示出),該核心解碼器被配置為當(dāng)相應(yīng)的信號(hào)和聲道被從位流b提取時(shí)對(duì)這些信號(hào)和聲道進(jìn)行解碼。
變換部分802通過(guò)執(zhí)行逆mdct來(lái)對(duì)下混信號(hào)l1、l2進(jìn)行變換,qmf分析部分803將下混信號(hào)l1、l2變換到qmf域中以供解碼部分700以時(shí)間/頻率片段的形式對(duì)下混信號(hào)l1、l2進(jìn)行處理。反量化部分804在將上混參數(shù)αlu供給解碼部分700之前對(duì)上混參數(shù)αlu進(jìn)行反量化,例如,從熵譯碼格式反量化。如參照?qǐng)D2所描述的,可能已經(jīng)使用兩個(gè)不同的步長(zhǎng)大小中的一個(gè)(例如,0.1或0.2)執(zhí)行量化。所用的實(shí)際步長(zhǎng)大小可以是預(yù)定義的,或者可以從編碼器端用信號(hào)通知音頻解碼系統(tǒng)800,例如,經(jīng)由位流b。
在本示例實(shí)施例中,音頻解碼系統(tǒng)800包括與解碼部分700類似的附加解碼部分805。附加解碼部分805被配置為接收參照?qǐng)D2和圖4描述的附加兩聲道下混信號(hào)r1、r2以及附加元數(shù)據(jù),該附加元數(shù)據(jù)包括用于基于附加下混信號(hào)r1、r2來(lái)參數(shù)化重構(gòu)附加五聲道音頻信號(hào)r、rs、rb、tfr、tbr的附加上混參數(shù)αru。附加解碼部分805被配置為基于下混信號(hào)和附加上混參數(shù)αru來(lái)提供附加兩聲道輸出信號(hào)
變換部分806通過(guò)執(zhí)行逆mdct來(lái)對(duì)附加下混信號(hào)r1、r2進(jìn)行變換,qmf分析部分807將附加下混信號(hào)r1、r2變換到qmf域中以供附加解碼部分805以時(shí)間/頻率片段的形式對(duì)附加下混信號(hào)r1、r2進(jìn)行處理。反量化部分808在將附加上混參數(shù)αru供給附加解碼部分805之前對(duì)附加上混參數(shù)αru進(jìn)行反量化,例如從熵譯碼格式反量化。
在裁剪增益已經(jīng)在編碼器端被應(yīng)用于下混信號(hào)l1、l2、附加下混信號(hào)r1、r2以及聲道c的示例實(shí)施例中,對(duì)應(yīng)的增益,例如,對(duì)應(yīng)于8.7db,可以在音頻解碼系統(tǒng)800中被應(yīng)用于這些信號(hào)以補(bǔ)償裁剪增益。
在參照?qǐng)D8描述的示例實(shí)施例中,分別由解碼部分700和附加解碼部分805輸出的輸出信號(hào)
聲道c和lfe可以例如從位流b以分開譯碼的形式提取,并且解碼系統(tǒng)800可以例如包括單聲道解碼部分(圖8中未示出),該單聲道解碼部分被配置為對(duì)相應(yīng)的分開譯碼的聲道進(jìn)行解碼。單聲道解碼部分可以例如包括用于對(duì)使用感知音頻編解碼器(比如dolbydigital、mpegaac或其開發(fā))編碼的音頻內(nèi)容進(jìn)行解碼的核心解碼器。
圖9是根據(jù)示例實(shí)施例的替代解碼部分900的廣義框圖。解碼部分900類似于參照?qǐng)D7描述的解碼部分700,除了解碼部分900利用參照?qǐng)D1描述的編碼部分100提供的上混參數(shù)αlm、而不是也是由編碼部分100提供的上混參數(shù)αlu之外。
類似于解碼部分700,解碼部分900包括去相關(guān)部分910和混合部分920。去相關(guān)部分910被配置為接收參照?qǐng)D1描述的編碼部分100提供的下混信號(hào)l1、l2,并且基于下混信號(hào)l1、l2來(lái)輸出單聲道去相關(guān)信號(hào)d。混合部分920基于混合參數(shù)αlm來(lái)確定混合系數(shù)集合,并且根據(jù)混合系數(shù)按照下混信號(hào)l1、l2和去相關(guān)信號(hào)d的線性組合來(lái)形成輸出信號(hào)
在本示例實(shí)施例中,解碼部分900被配置為根據(jù)參照?qǐng)D5描述的第二譯碼格式f2來(lái)提供輸出信號(hào)
下混信號(hào)l1、l2和混合參數(shù)αlm可以例如從參照?qǐng)D2描述的音頻編碼系統(tǒng)200輸出的位流b提取。也被編碼在位流b中的上混參數(shù)αlu可以不被本示例實(shí)施例的解碼部分900所用,因此無(wú)需從位流b提取。
圖10是根據(jù)示例實(shí)施例的用于基于兩聲道下混信號(hào)和相關(guān)聯(lián)的上混參數(shù)來(lái)提供兩聲道輸出信號(hào)的音頻解碼方法1000的流程圖。解碼方法1000可以例如由參照?qǐng)D8描述的音頻解碼系統(tǒng)800執(zhí)行。
解碼方法1000包括接收1010與元數(shù)據(jù)相關(guān)聯(lián)的兩聲道下混信號(hào),該元數(shù)據(jù)包括用于基于下混信號(hào)來(lái)參數(shù)化重構(gòu)參照?qǐng)D4至圖6描述的五聲道音頻信號(hào)l、ls、lb、tfl、tbl的上混參數(shù)。下混信號(hào)可以例如是參照?qǐng)D1描述的下混信號(hào)l1、l2,并且可以符合參照?qǐng)D4描述的第一譯碼格式f1。解碼方法1000進(jìn)一步包括接收1020元數(shù)據(jù)中的至少一些。接收的元數(shù)據(jù)可以例如包括參照?qǐng)D1描述的上混參數(shù)αlu和/或混合參數(shù)αlm。解碼方法1000進(jìn)一步包括:基于下混信號(hào)的至少一個(gè)聲道來(lái)產(chǎn)生1040去相關(guān)信號(hào);基于接收的元數(shù)據(jù)來(lái)確定1050混合系數(shù)集合;并且根據(jù)混合系數(shù)按照下混信號(hào)和去相關(guān)信號(hào)的線性組合來(lái)形成1060兩聲道輸出信號(hào)。兩聲道輸出信號(hào)可以例如是參照?qǐng)D7和圖8描述的兩聲道輸出信號(hào)
解碼方法1000可以可選地包括:接收1030指示接收的下混信號(hào)l1、l2符合分別參照?qǐng)D4和圖5描述的第一譯碼格式f1和第二譯碼格式f2中的一種譯碼格式的信令。第三組501和第四組502可以是預(yù)定義的,并且混合系數(shù)可以被確定為使得五聲道音頻信號(hào)l、ls、lb、tfl、tbl劃分為由輸出信號(hào)
圖11示意性地例示說(shuō)明根據(jù)示例實(shí)施例的計(jì)算機(jī)可讀介質(zhì)1100。計(jì)算機(jī)可讀介質(zhì)1100表示:參照?qǐng)D1和圖4描述的兩聲道下混信號(hào)l1、l2;參照?qǐng)D1描述的上混參數(shù)αlu,其使得可以基于下混信號(hào)l1、l2來(lái)參數(shù)化重構(gòu)五聲道音頻信號(hào)l、ls、lb、tfl、tbl;以及參照?qǐng)D1描述的混合參數(shù)αlm。
將意識(shí)到,盡管參照?qǐng)D1描述的編碼部分100被配置為根據(jù)第一譯碼格式f1來(lái)對(duì)11.1聲道音頻信號(hào)進(jìn)行編碼并且提供用于提供符合第二譯碼格式f2的輸出信號(hào)的混合參數(shù)αlm,但是如下的類似的編碼部分可以被提供,該編碼部分被配置為根據(jù)譯碼格式f1、f2、f3中的任何一種譯碼格式對(duì)11.1聲道音頻信號(hào)進(jìn)行編碼并且提供用于提供符合譯碼格式f1、f2、f3中的任何一種譯碼格式的輸出信號(hào)的混合參數(shù)。
還將意識(shí)到,盡管參照?qǐng)D7和圖9描述的解碼部分700、900被配置為基于符合第一譯碼格式f1的下混信號(hào)來(lái)提供符合第二譯碼格式f2的輸出信號(hào),但是如下的類似的解碼部分可以被提供,該節(jié)目部分被配置為基于符合譯碼格式f1、f2、f3中的任何一種譯碼格式的下混信號(hào)來(lái)提供符合譯碼格式f1、f2、f3中的任何一種譯碼格式的輸出信號(hào)。
因?yàn)閰⒄請(qǐng)D6描述的第六組602聲道包括四個(gè)聲道,所以將意識(shí)到基于符合第三譯碼格式f3的下混信號(hào)來(lái)提供符合第一譯碼格式f1或第二譯碼格式f2的輸出信號(hào)可以例如包括:利用多于一個(gè)的去相關(guān)聲道;和/或利用下混信號(hào)的聲道中的至多一個(gè)作為去相關(guān)部分的輸入。
將意識(shí)到,盡管上述例子已經(jīng)就參照?qǐng)D4至圖6描述的11.1聲道音頻信號(hào)進(jìn)行了表述,但是可以設(shè)想如下編碼系統(tǒng)和解碼系統(tǒng),這些編碼系統(tǒng)和解碼系統(tǒng)分別包括任何數(shù)量的編碼部分或解碼部分,并且可以被配置為對(duì)包括任何數(shù)量的m聲道音頻信號(hào)的音頻信號(hào)進(jìn)行處理。
圖12是根據(jù)示例實(shí)施例的用于基于兩聲道下混信號(hào)l1、l2和相關(guān)聯(lián)的元數(shù)據(jù)來(lái)提供k聲道輸出信號(hào)
更具體地說(shuō),解碼部分1200被配置為接收與元數(shù)據(jù)相關(guān)聯(lián)的兩聲道下混信號(hào)l1、l2,該元數(shù)據(jù)包括用于基于下混信號(hào)l1、l2來(lái)參數(shù)化重構(gòu)m聲道音頻信號(hào)的上混參數(shù)αlu,其中,m≥4。下混信號(hào)l1、l2的第一聲道l1對(duì)應(yīng)于m聲道音頻信號(hào)的第一組(例如,參照?qǐng)D4描述的第一組401)一個(gè)或多個(gè)聲道的線性組合(或和)。下混信號(hào)l1、l2的第二聲道l2對(duì)應(yīng)于m聲道音頻信號(hào)的第二組(例如,參照?qǐng)D4秒速的第二組402)一個(gè)或多個(gè)聲道的線性組合(或和)。第一組和第二組構(gòu)成m聲道音頻信號(hào)的m個(gè)聲道的劃分。換句話說(shuō),第一組和第二組是不相交的,并且共同包括m聲道音頻信號(hào)的所有聲道。
解碼部分120被配置為:接收元數(shù)據(jù)(例如,包括上混參數(shù)αlu)的至少一部分;并且基于下混信號(hào)l1、l2和接收的元數(shù)據(jù)來(lái)提供k聲道輸出信號(hào)
去相關(guān)信號(hào)d可以例如是單聲道信號(hào)。如圖12所指示的,去相關(guān)信號(hào)d可以例如是兩聲道信號(hào)。在一些示例實(shí)施例中,去相關(guān)信號(hào)d可以包括多于兩個(gè)的聲道。
m聲道信號(hào)可以例如是參照?qǐng)D4描述的五聲道信號(hào)l、ls、lb、tfl、tbl,下混信號(hào)l1、l2可以例如是根據(jù)參照?qǐng)D4-6描述的譯碼格式f1、f2、f3中的任何一種譯碼格式的五聲道信號(hào)l、ls、lb、tfl、tbl的兩聲道表示。
參照?qǐng)D8描述的音頻解碼系統(tǒng)800可以例如包括參照?qǐng)D12描述的類型的一個(gè)或多個(gè)解碼部分1200,而不是解碼部分700和805,并且多揚(yáng)聲器系統(tǒng)812可以例如包括參照?qǐng)D8描述的多于五個(gè)的擴(kuò)音器和超低音。
音頻解碼系統(tǒng)800可以例如適于執(zhí)行與參照?qǐng)D10描述的音頻解碼方法1000類似的音頻解碼方法,除了k聲道輸出信號(hào)、而不是兩聲道輸出信號(hào)被提供之外。
下面將參照?qǐng)D12-16來(lái)描述解碼部分1200和音頻解碼系統(tǒng)800的示例實(shí)施例。
類似于圖4-6,圖12-13例示說(shuō)明將11.1聲道音頻信號(hào)劃分為多組一個(gè)或多個(gè)聲道的替代方式。
為了將11.1聲道(或7.1+4聲道或7.1.4聲道)音頻信號(hào)表示為7.1聲道(或5.1+2聲道或5.1.2聲道)音頻信號(hào),可以將聲道l、ls、lb、tfl、tbl、r、rs、rb、tfr、tbr、c和lfe的集合劃分為相應(yīng)聲道表示的多組聲道。五聲道音頻信號(hào)l、ls、lb、tfl、tbl可以由三聲道信號(hào)l1、l2、l3表示,而附加五聲道音頻信號(hào)r、rs、rb、tfr、tbr可以由附加三聲道信號(hào)r1、r2、r3表示。聲道c和lfe在11.1聲道音頻信號(hào)的7.1聲道表示中也可以保持為單獨(dú)的聲道。
圖13例示說(shuō)明提供11.1聲道音頻信號(hào)的7.1聲道表示的第四譯碼格式f4。在第四譯碼格式f4中,五聲道音頻信號(hào)l、ls、lb、tfl、tbl被劃分為僅包括聲道l的第一組1301聲道、包括聲道ls、lb的第二組1302聲道以及包括聲道tfl、tbl的第三組1303聲道。三聲道信號(hào)l1、l2、l3的聲道l1、l2、l3對(duì)應(yīng)于各組1301、1302、1303聲道的線性組合(例如,加權(quán)和或非加權(quán)和)。類似地,附加五聲道音頻信號(hào)r、rs、rb、tfr、tbr被劃分為包括聲道r的附加第一組1304、包括聲道rs、rb的附加第二組1305以及包括聲道tfr、tbr的附加第三組1306。附加三聲道信號(hào)r1、r2、r3的聲道r1、r2、r3對(duì)應(yīng)于各附加組1304、1305、1306聲道的線性組合(例如,加權(quán)和或非加權(quán)和)。
發(fā)明人已經(jīng)認(rèn)識(shí)到,與根據(jù)第一譯碼格式f1、第二譯碼格式f2和第三譯碼格式f3中的一種譯碼格式的11.1聲道音頻信號(hào)的5.1聲道表示相關(guān)聯(lián)的元數(shù)據(jù)可以用于產(chǎn)生根據(jù)第四譯碼格式f4的7.1聲道表示,而無(wú)需首先重構(gòu)原始11.1聲道信號(hào)。五聲道信號(hào)l、ls、lb、tfl、tbl表示11.1聲道的左半平面,附加五聲道信號(hào)r、rs、rb、tfr、tbr表示右半平面,并且可以被類似地處理。
回想,兩個(gè)聲道x4和x5是可通過(guò)使用方程(3)從和m2=x4+x5重構(gòu)的。
如果第二譯碼格式f2用于提供11.1聲道信號(hào)的參數(shù)化表示,并且期望第四譯碼格式f4在解碼器端用于音頻內(nèi)容的7.1聲道渲染,則方程(1)給出的近似可以用以下各項(xiàng)被應(yīng)用一次:
x1=tbl,x2=ls,x3=lb
并且用以下各項(xiàng)被應(yīng)用一次:
x1=tbr,x2=rs,x3=rb
并且方程(3)給出的近似可以用以下各項(xiàng)被應(yīng)用一次:
x4=l,x5=tfl
并且用以下各項(xiàng)被應(yīng)用一次:
x4=r,x5=tfr
用波浪符指示左側(cè)量(輸出信號(hào)的六個(gè)聲道)中的一些的近似本質(zhì),方程(1)和(3)的這樣的應(yīng)用得到:
其中,
并且其中,根據(jù)第四譯碼格式f4,
在上面的矩陣a中,參數(shù)c1,l、p1,l和c1,r、p1,r分別是方程(1)的上混參數(shù)c1和p1的左聲道版本和右聲道版本,參數(shù)d1,l、q1,l和d1,r、q1,r分別是方程(3)的上混參數(shù)d1和q1的左聲道版本和右聲道版本,并且d表示去相關(guān)算子。因此,可以基于用于參數(shù)化重構(gòu)11.1聲道音頻信號(hào)的上混參數(shù)(例如,參照?qǐng)D1和圖2描述的上混參數(shù)αlu、αru)從第二譯碼格式f2獲得第四譯碼格式f4的近似,而實(shí)際上不必重構(gòu)11.1聲道音頻信號(hào)。
參照?qǐng)D12描述的解碼部分1200的兩個(gè)實(shí)例(其中,k=3,m=5以及兩聲道去相關(guān)信號(hào)d)可以提供近似于第四譯碼格式f4的三聲道信號(hào)l1、l2、l3和r1、r2、r3的三聲道輸出信號(hào)
如果第一譯碼格式f1用于提供11.1聲道信號(hào)的參數(shù)化表示,并且期望第四譯碼格式f4在解碼器端用于音頻內(nèi)容的渲染,則方程(1)給出的近似于可以用以下各項(xiàng)被應(yīng)用一次:
x1=l,x2=ls,x3=lb,
并且用以下各項(xiàng)被應(yīng)用一次:
x1=r,x2=rs,x3=rb
用波浪符指示左側(cè)量(輸出信號(hào)的六個(gè)聲道)中的一些的近似本質(zhì),方程(1)的這樣的應(yīng)用得到:
其中,根據(jù)第四譯碼格式f4,
在上面的方程(11)中,參數(shù)c1,l、p1,l和c1,r、p1,r分別是方程(1)的上混參數(shù)c1和p1的左聲道版本和右聲道版本,并且d表示去相關(guān)算子。因此,可以基于用于參數(shù)化重構(gòu)11.1聲道音頻信號(hào)的上混參數(shù)從第一譯碼格式f1獲得第四譯碼格式f4的近似,而在實(shí)際上不必重構(gòu)11.1聲道音頻信號(hào)。
參照?qǐng)D12描述的解碼部分1200的兩個(gè)實(shí)例(其中,k=3和m=5)可以提供近似于第四譯碼格式f4的三聲道信號(hào)l1、l2、l3和r1、r2、r3的三聲道輸出信號(hào)
在方程(11)中可以看出,實(shí)際上只需要兩個(gè)去相關(guān)聲道。盡管去相關(guān)聲道d(l2)和d(r2)對(duì)于從第一譯碼格式f1提供第四譯碼格式f4是不需要的,但是這樣的去相關(guān)器可以例如無(wú)論如何都保持運(yùn)行(或保持起作用),以使得去相關(guān)器的緩沖器/存儲(chǔ)器保持更新并且在下混信號(hào)的譯碼格式變?yōu)槔绲诙g碼格式f2的情況下可用?;叵?,當(dāng)從第二譯碼格式f2提供第四譯碼格式f4時(shí)利用了四個(gè)去相關(guān)聲道(參見方程(10)和相關(guān)聯(lián)的矩陣a)。
如果第三譯碼格式f3用于提供11.1聲道信號(hào)的參數(shù)化表示,并且期望第四譯碼格式f4在解碼器端用于音頻內(nèi)容的渲染,則與方程(10)和(11)中呈現(xiàn)的那些關(guān)系類似的關(guān)系可以使用相同的構(gòu)思推導(dǎo)得到。與參照?qǐng)D8描述的音頻解碼系統(tǒng)800類似的音頻解碼系統(tǒng)可以利用兩個(gè)解碼部分1200來(lái)根據(jù)第四譯碼格式f4提供11.1音頻信號(hào)的7.1聲道表示。
為了將11.1聲道音頻信號(hào)表示為9.1聲道(或5.1+4聲道或5.1.4聲道)音頻信號(hào),可以將聲道l、ls、lb、tfl、tbl、r、rs、rb、tfr、tbr、c和lfe的集合劃分為由相應(yīng)聲道表示的多組聲道。五聲道音頻信號(hào)l、ls、lb、tfl、tbl可以由四聲道信號(hào)l1、l2、l3、l4表示,而附加五聲道音頻信號(hào)r、rs、rb、tfr、tbr可以由附加四聲道信號(hào)r1、r2、r3、r4表示。聲道c和lfe在11.1聲道音頻信號(hào)的9.1聲道表示中也可以保持為單獨(dú)的聲道。
圖14例示說(shuō)明提供11.1聲道音頻信號(hào)的9.1聲道表示的第五譯碼格式f5。在第五譯碼格式中,五聲道音頻信號(hào)l、ls、lb、tfl、tbl被劃分為僅包括聲道l的第一組1401聲道、包括聲道ls、lb的第二組1402聲道、僅包括聲道tfl的第三組1403聲道以及包括聲道tbl的第四組1404聲道。四聲道信號(hào)l1、l2、l3、l4的聲道l1、l2、l3、l4對(duì)應(yīng)于相應(yīng)的組1401、1402、1403、1404一個(gè)或多個(gè)聲道的線性組合(例如,加權(quán)和或非加權(quán)和)。類似地,附加五聲道音頻信號(hào)r、rs、rb、tfr、tbr被劃分為包括聲道r的附加第一組1405、包括聲道rs、rb的附加第二組1406、包括聲道tfr的附加第三組1407以及包括聲道tbr的附加第四組1408。附加四聲道信號(hào)r1、r2、r3、r4的聲道r1、r2、r3、r4對(duì)應(yīng)于相應(yīng)的附加組1405、1406、1407、1408一個(gè)或多個(gè)聲道的線性組合(例如,加權(quán)和或非加權(quán)和)。
發(fā)明人已經(jīng)認(rèn)識(shí)到,與根據(jù)譯碼格式f1、f2和f3中的一種譯碼格式的11.1聲道音頻信號(hào)的5.1聲道表示相關(guān)聯(lián)的元數(shù)據(jù)可以用于產(chǎn)生根據(jù)第四譯碼格式f4的9.1聲道表示,而無(wú)需首先重構(gòu)原始11.1聲道信號(hào)。表示11.1聲道的左半平面的五聲道信號(hào)l、ls、lb、tfl、tbl以及表示右半平面的附加五聲道信號(hào)r、rs、rb、tfr、tbr可以被類似地處理。
如果第二譯碼格式f2用于提供11.1聲道信號(hào)的參數(shù)化表示,并且期望第五譯碼格式f5在解碼器端用于音頻內(nèi)容的聲道渲染,則方程(1)給出的近似可以用以下各項(xiàng)被應(yīng)用一次:
x1=tbl,x2=ls,x3=lb
并且用以下各項(xiàng)被應(yīng)用一次:
x1=tbr,x2=rs,x3=rb
并且方程(3)給出的近似可以用以下各項(xiàng)被應(yīng)用一次:
x4=l,x5=tfl
并且用以下各項(xiàng)應(yīng)用一次:
x4=r,x5=tfr。
用波浪符指示左側(cè)量(輸出信號(hào)的八個(gè)聲道)中的一些的近似本質(zhì),方程(1)和(3)的這樣的應(yīng)用得到:
其中,
并且其中,根據(jù)第五譯碼格式,
在上面的矩陣a中,參數(shù)c1,l、p1,l和c1,r、p1,r分別是方程(1)的上混參數(shù)c1和p1的左聲道版本和右聲道版本,參數(shù)d1,l、q1,l和d1,r、q1,r分別是方程(3)的上混參數(shù)d1和q1的左聲道版本和右聲道版本,并且d表示去相關(guān)算子。因此,可以基于用于參數(shù)化重構(gòu)11.1聲道音頻信號(hào)的上混參數(shù)從第二譯碼格式f2獲得第五譯碼格式f5的近似,而在實(shí)際上不必重構(gòu)11.1聲道音頻信號(hào)。
參照?qǐng)D12描述的解碼部分1200的兩個(gè)實(shí)例(其中,k=4,m=5以及兩聲道去相關(guān)信號(hào)d)可以提供近似于第五譯碼格式f5的四聲道信號(hào)l1、l2、l3、l4和r1、r2、r3、r4的四聲道輸出信號(hào)
如果第一譯碼格式f1或第三譯碼格式f3用于提供11.1聲道信號(hào)的參數(shù)化表示,并且期望第五譯碼格式f5在解碼器端用于音頻內(nèi)容的渲染,則與方程(12)中呈現(xiàn)的關(guān)系類似的關(guān)系可以使用相同的構(gòu)思推導(dǎo)得到。
圖15-16分別例示說(shuō)明將13.1聲道(或9.1+4聲道或9.1.4聲道)音頻信號(hào)劃分為多組聲道以用于將13.1聲道音頻信號(hào)表示為5.1聲道音頻信號(hào)和7.1聲道信號(hào)的替代方式。
13.1聲道音頻信號(hào)包括聲道lw(左寬)、lscrn(左屏幕)、ls(左側(cè))、lb(左后)、tfl(左前上部)、tbl(左后上部)、rw(右寬)、rscrn(右屏幕)、rs(右側(cè))、rb(右后)、tfr(右前上部)、tbr(右后上部)、c(中心)以及l(fā)fe(低頻效果)。六個(gè)聲道lw、lscrn、ls、lb、tfl和tbl形成表示13.1聲道音頻信號(hào)的回放環(huán)境中的左半空間的六聲道音頻信號(hào)。四個(gè)聲道lw、lscrn、ls和lb表示回放環(huán)境中的不同的水平方向,兩個(gè)聲道tfl和tbl表示與四個(gè)聲道lw、lscrn、ls和lb的方向垂直分離的方向。兩個(gè)聲道tfl和tbl可以例如意圖用于在頂部揚(yáng)聲器中回放。類似地,六個(gè)聲道rw、rscrn、rs、rb、tfr和tbr形成表示回放環(huán)境中的右半空間的六聲道音頻信號(hào),四個(gè)聲道rw、rscrn、rs和rb表示回放環(huán)境中的不同的水平方向,兩個(gè)聲道tfr和tbr表示與四個(gè)聲道rw、rscrn、rs和rb的方向垂直分離的方向。
圖15例示說(shuō)明第六譯碼格式f6,在該格式中,六聲道音頻信號(hào)lw、lscrn、ls、lb、tfl、tbl被劃分為第一組1501聲道lw、lscrn、tfl和第二組1502聲道ls、lb、tbl,并且附加六聲道音頻信號(hào)rw、rscrn、rs、rb、tfr、tbr被劃分為附加第一組1503聲道rw、rscrn、tfr和附加第二組1504聲道rs、rb、tbr。兩聲道下混信號(hào)l1、l2的聲道l1、l2對(duì)應(yīng)于相應(yīng)組1501、1502聲道的線性組合(例如,加權(quán)和或非加權(quán)和)。類似地,附加兩聲道下混信號(hào)r1、r2的聲道r1、r2對(duì)應(yīng)于相應(yīng)組1503、1504聲道的線性組合(例如,加權(quán)和或非加權(quán)和)。
圖16例示說(shuō)明第七譯碼格式f7,在該格式中,六聲道音頻信號(hào)lw、lscrn、ls、lb、tfl、tbl被劃分為第一組1601聲道lw、lscrn、第二組1602聲道ls、lb以及第三組1603聲道tfl、tbl,并且附加六聲道音頻信號(hào)rw、rscrn、rs、rb、tfr、tbr被劃分為附加第一組1604聲道rw、rscrn、附加第二組1605聲道rs、rb以及附加第三組1606聲道tfr、tbr。三個(gè)聲道l1、l2、l3對(duì)應(yīng)于相應(yīng)組1601、1602、1603聲道的線性組合(例如,加權(quán)和或非加權(quán)和)。類似地,三個(gè)附加聲道r1、r2、r3對(duì)應(yīng)于相應(yīng)的附加組1604、1605、1606聲道的線性組合(例如,加權(quán)和或非加權(quán)和)。
發(fā)明人已經(jīng)認(rèn)識(shí)到,與根據(jù)第六譯碼格式f6的13.1聲道音頻信號(hào)的5.1聲道表示相關(guān)聯(lián)的元數(shù)據(jù)可以用于產(chǎn)生根據(jù)第七譯碼格式f7的7.1聲道表示,而無(wú)需首先重構(gòu)原始13.1聲道信號(hào)。表示13.1聲道音頻信號(hào)的左半平面的六聲道信號(hào)lw、lscrn、ls、lb、tfl、tbl和表示右半平面的附加六聲道信號(hào)rw、rscrn、rs、rb、tfr、tbr可以被類似地處理。
回想,兩個(gè)聲道x4和x5是可通過(guò)使用方程(3)從和m2=x4+x5重構(gòu)的。
如果第六譯碼格式f6用于提供13.1聲道信號(hào)的參數(shù)化表示,并且期望第七譯碼格式f7在解碼器端用于音頻內(nèi)容的7.1聲道(或5.1+2聲道或5.1.2聲道)渲染,則方程(1)給出的近似可以被應(yīng)用四次,用以下各項(xiàng)被應(yīng)用一次:
x1=tbl,x2=ls,x3=lb
用以下各項(xiàng)被應(yīng)用一次:
x1=tbr,x2=rs,x3=rb
用以下各項(xiàng)被應(yīng)用一次:
x1=tfl,x2=lw,x3=lscrn
用以下各項(xiàng)被應(yīng)用一次:
x1=tfr,x2=rw,x3=rscrn
用波浪符指示左側(cè)量(輸出信號(hào)的六個(gè)聲道)中的一些的近似本質(zhì),方程(1)的這樣的應(yīng)用得到:
其中,
并且其中,根據(jù)第七譯碼格式f7,
在上面的矩陣a中,參數(shù)c1,l、p1,l和c′1,l、p′1,l是對(duì)于左側(cè)從方程(1)得到的上混參數(shù)c1和p1的兩個(gè)不同實(shí)例,參數(shù)c1,r、p1,r和c′1,r、p′1,r是對(duì)于右側(cè)從方程(1)得到的上混參數(shù)c1和p1的兩個(gè)不同實(shí)例,并且d表示去相關(guān)算子。因此,可以基于用于參數(shù)化重構(gòu)13.1聲道音頻信號(hào)的上混參數(shù)從第六譯碼格式f6獲得第七譯碼格式f7的近似,而在實(shí)際上不必重構(gòu)13.1聲道音頻信號(hào)。
參照?qǐng)D12描述的解碼部分1200的兩個(gè)實(shí)例(其中,k=3,m=6以及兩聲道去相關(guān)信號(hào)d)可以基于在編碼器端根據(jù)第六譯碼格式f6產(chǎn)生的兩聲道下混信號(hào)來(lái)提供近似于第七譯碼格式f7的三聲道信號(hào)l1、l2、l3和r1、r2、r3的三聲道輸出信號(hào)
在方程(10)-(13)(以及相關(guān)聯(lián)的矩陣a)中可以看出,如果輸出信號(hào)的兩個(gè)聲道(例如,方程(11)中的聲道
在方程(10)-(13)(以及相關(guān)聯(lián)的矩陣a)中可以看出,如果輸出信號(hào)的兩個(gè)聲道(例如,方程(11)中的聲道
如上面參照?qǐng)D12-16描述的,解碼部分1200可以基于兩聲道下混信號(hào)l1、l2和上混參數(shù)αlu來(lái)提供k聲道輸出信號(hào)
在一些示例實(shí)施例中,專用的混合參數(shù)αlm可以從編碼器端被發(fā)送,以用于有助于在解碼器端提供k聲道輸出信號(hào)
例如,解碼部分1200可以被與上面參照?qǐng)D9描述的解碼部分900類似地配置。
例如,解碼部分1200可以接收混合參數(shù)αlm,混合參數(shù)αlm為方程(10)-(13)所示的混合矩陣(即,被表示為a的矩陣)中的一個(gè)或多個(gè)混合矩陣的元素(或混合系數(shù))的形式。在這樣的例子中,可能不需要解碼部分1200計(jì)算方程(10)-(13)中的混合矩陣中的任何元素。
可以設(shè)想如下這樣的示例實(shí)施例,其中參照?qǐng)D1描述的分析部分120(以及類似地參照?qǐng)D2描述的附加分析部分203)確定混合參數(shù)αlm,混合參數(shù)αlm用于基于下混信號(hào)l1、l2來(lái)獲得k聲道輸出信號(hào),其中,2≤k<m?;旌蠀?shù)αlm可以例如以方程(10)-(13)的混合矩陣(即,被表示為a的矩陣)中的一個(gè)或多個(gè)混合矩陣的元素(或混合系數(shù))的形式提供。
可以例如提供多個(gè)混合系數(shù)αlm集合,其中,各混合系數(shù)αlm集合意圖用于在解碼器端進(jìn)行不同類型的渲染。例如,上面參照?qǐng)D2描述的音頻編碼系統(tǒng)200可以提供位流b,在位流b中,提供原始11.1聲道音頻信號(hào)的5.1下混表示,并且可以提供混合系數(shù)αlm集合來(lái)用于5.1聲道渲染(根據(jù)第一、第二和/或第三譯碼格式f1、f2、f3)、用于7.1聲道渲染(根據(jù)第四譯碼格式f4)和/或用于9.1聲道渲染(根據(jù)第五譯碼格式f5)。
參照?qǐng)D3描述的音頻編碼方法300可以例如包括確定340混合參數(shù)αlm,混合參數(shù)αlm用于基于下混信號(hào)l1、l2來(lái)獲得k聲道輸出信號(hào),其中,2≤k<m。
可以設(shè)想如下這樣的示例實(shí)施例,其中參照?qǐng)D11描述的計(jì)算機(jī)可讀介質(zhì)1100表示:兩聲道下混信號(hào)(例如,參照?qǐng)D1和圖4描述的兩聲道下混信號(hào)l1、l2);上混參數(shù)(例如,參照?qǐng)D1描述的上混參數(shù)αlu),其使得可以基于下混信號(hào)來(lái)參數(shù)化重構(gòu)m聲道音頻信號(hào)(例如,五聲道音頻信號(hào)l、ls、lb、tfl、tbl);以及混合參數(shù)αlm,其使得可以基于下混信號(hào)來(lái)提供k聲道輸出信號(hào)。如上所述,m≥4且2≤k<m。
將意識(shí)到,盡管上述例子已經(jīng)就其中m=5和m=4個(gè)聲道的原始音頻信號(hào)以及其中k=2、k=3和k=4個(gè)聲道的輸出信號(hào)進(jìn)行了表述,但是對(duì)于滿足m≥4和2≤k<m的任何m和k,可以設(shè)想類似的編碼系統(tǒng)(和編碼部分)以及解碼系統(tǒng)(和解碼部分)。
v.等同、擴(kuò)展、替代及其他
即使本公開描述和描繪了特定示例實(shí)施例,本發(fā)明也不限于這些特定例子。在不脫離僅由所附權(quán)利要求限定的本發(fā)明的范圍的情況下,可以對(duì)上面的示例實(shí)施例進(jìn)行修改和變化。
在權(quán)利要求中,詞語(yǔ)“包括”不排除其他元件或步驟,并且“一”或“一個(gè)”不排除多個(gè)。某些措施被記載在相互不同的從屬權(quán)利要求中的事實(shí)并不表明這些措施的組合不能被有利地使用。權(quán)利要求中出現(xiàn)的任何引用符號(hào)不應(yīng)被理解為限制它們的范圍。
上面公開的裝置和方法可以實(shí)現(xiàn)為軟件、固件、硬件或它們的組合。在硬件實(shí)現(xiàn)中,在上面的描述中提到的功能單元之間的任務(wù)劃分不一定對(duì)應(yīng)于物理單元的劃分;相反,一個(gè)物理組件可以具有多個(gè)功能,并且一個(gè)任務(wù)可以由幾個(gè)物理組件合作以分布式方式執(zhí)行。某些組件或所有組件可以實(shí)現(xiàn)為數(shù)字處理器、信號(hào)處理器或微處理器的軟件,或者可以實(shí)現(xiàn)為硬件或?qū)S眉呻娐?。這樣的軟件可以分布在計(jì)算機(jī)可讀介質(zhì)上,計(jì)算機(jī)可讀介質(zhì)可以包括計(jì)算機(jī)存儲(chǔ)介質(zhì)(或非暫時(shí)性介質(zhì))和通信介質(zhì)(或暫時(shí)性介質(zhì))。如本領(lǐng)域技術(shù)人員眾所周知的,術(shù)語(yǔ)計(jì)算機(jī)存儲(chǔ)介質(zhì)包括以用于存儲(chǔ)信息(比如計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或其他數(shù)據(jù))的任何方法或技術(shù)實(shí)現(xiàn)的易失性和非易失性、可移動(dòng)和不可移動(dòng)介質(zhì)。計(jì)算機(jī)存儲(chǔ)介質(zhì)包括但不限于ram、rom、eeprom、閃存或其他存儲(chǔ)器技術(shù)、cd-rom、數(shù)字多功能盤(dvd)或其他光學(xué)盤儲(chǔ)存器、磁盒、磁帶、磁盤儲(chǔ)存器或其他磁性存儲(chǔ)裝置、或可以用于存儲(chǔ)期望信息并且可以被計(jì)算機(jī)存取的任何其他的介質(zhì)。此外,技術(shù)人員眾所周知的是,通信介質(zhì)通常將計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或其他數(shù)據(jù)包含在調(diào)制數(shù)據(jù)信號(hào)(比如載波或其他傳輸機(jī)制)中,并且包括任何信息遞送介質(zhì)。
vi.例子列表
1.一種音頻解碼方法(100),包括:
接收(1010)接收與元數(shù)據(jù)相關(guān)聯(lián)的兩聲道下混信號(hào)(l1、l2),所述元數(shù)據(jù)包括用于基于下混信號(hào)來(lái)參數(shù)化重構(gòu)m聲道音頻信號(hào)(l、ls、lb、tfl、tbl)的上混參數(shù)(αlu),其中,m≥4,其中,下混信號(hào)的第一(l1)聲道對(duì)應(yīng)于m聲道音頻信號(hào)的第一組(401)一個(gè)或多個(gè)聲道的線性組合,其中,下混信號(hào)的第二聲道(l2)對(duì)應(yīng)于m聲道音頻信號(hào)的第二組(402)一個(gè)或多個(gè)聲道的線性組合,并且其中,第一組和第二組構(gòu)成m聲道音頻信號(hào)的m個(gè)聲道的劃分;
接收(1020)所述元數(shù)據(jù)的至少一部分;
基于下混信號(hào)的至少一個(gè)聲道來(lái)產(chǎn)生(1040)去相關(guān)信號(hào)(d);
基于接收的元數(shù)據(jù)來(lái)確定(1050)混合系數(shù)集合;并且
根據(jù)混合系數(shù)按照下混信號(hào)和去相關(guān)信號(hào)的線性組合來(lái)形成(1060)k聲道輸出信號(hào)
其中,混合系數(shù)被確定為使得:
輸出信號(hào)的第一聲道
輸出信號(hào)的第二聲道
第三組和第四組構(gòu)成m聲道音頻信號(hào)的m個(gè)聲道的劃分;并且
第三組和第四組都包括所述第一組中的至少一個(gè)聲道。
2.根據(jù)例子1所述的音頻解碼方法,其中,接收的元數(shù)據(jù)包括上混參數(shù),并且其中,通過(guò)對(duì)上混參數(shù)進(jìn)行處理來(lái)確定混合系數(shù)。
3.根據(jù)例子1所述的音頻解碼方法,其中,接收的元數(shù)據(jù)包括不同于上混參數(shù)的混合參數(shù)(αlm)。
4.根據(jù)例子3所述的音頻解碼方法,其中,獨(dú)立于上混參數(shù)的任何值確定混合系數(shù)。
5.根據(jù)前述例子中任一項(xiàng)所述的音頻解碼方法,其中,m=5。
6.根據(jù)前述例子中任一項(xiàng)所述的音頻解碼方法,其中,控制m聲道音頻信號(hào)的聲道對(duì)線性組合中的與下混信號(hào)的聲道相對(duì)應(yīng)的一個(gè)線性組合的貢獻(xiàn)的每個(gè)增益與m聲道音頻信號(hào)的所述聲道對(duì)線性組合中的由輸出信號(hào)的聲道近似的一個(gè)線性組合的貢獻(xiàn)的增益是一致的。
7.根據(jù)前述例子中任一項(xiàng)所述的音頻解碼方法,進(jìn)一步包括接收表示下混信號(hào)和元數(shù)據(jù)的位流(b)的初始步驟,
其中,下混信號(hào)和所述接收的元數(shù)據(jù)是從所述位流提取的。
8.根據(jù)前述例子中任一項(xiàng)所述的音頻解碼方法,其中,所述去相關(guān)信號(hào)是單聲道信號(hào),并且其中,通過(guò)將至多一個(gè)去相關(guān)信號(hào)聲道包括到下混信號(hào)和去相關(guān)信號(hào)的所述線性組合中來(lái)形成所述輸出信號(hào)。
9.根據(jù)例子8所述的音頻解碼方法,其中,所述混合系數(shù)被確定為使得輸出信號(hào)的兩個(gè)聲道接收來(lái)自去相關(guān)信號(hào)的相等幅度的貢獻(xiàn),去相關(guān)信號(hào)對(duì)輸出信號(hào)的相應(yīng)聲道的貢獻(xiàn)具有相反符號(hào)。
10.根據(jù)例子8-9中任一項(xiàng)所述的音頻解碼方法,其中,形成輸出信號(hào)相當(dāng)于從三個(gè)聲道到兩個(gè)聲道的投射。
11.根據(jù)前述例子中任一項(xiàng)所述的音頻解碼方法,其中,所述混合系數(shù)被確定為使得控制下混信號(hào)的第一聲道對(duì)輸出信號(hào)的第一聲道的貢獻(xiàn)的混合系數(shù)和控制下混信號(hào)的第一聲道對(duì)輸出信號(hào)的第二聲道的貢獻(xiàn)的混合系數(shù)的和具有值1。
12.根據(jù)前述例子中任一項(xiàng)所述的音頻解碼方法,其中,所述第一組由兩個(gè)或三個(gè)聲道組成。
13.根據(jù)前述例子中任一項(xiàng)所述的音頻解碼方法,其中,所述m聲道音頻信號(hào)包括表示m聲道音頻信號(hào)的回放環(huán)境中的不同水平方向的三個(gè)聲道(l、ls、lb)、以及表示所述回放環(huán)境中的與所述三個(gè)聲道的方向垂直分離的方向的兩個(gè)聲道(tfl、tbl)。
14.根據(jù)例子13所述的音頻解碼方法,其中,所述第一組由所述三個(gè)聲道組成,并且其中,所述第二組由所述兩個(gè)聲道組成。
15.根據(jù)例子14所述的音頻解碼方法,其中,所述第三組和第四組中的一個(gè)包括所述兩個(gè)聲道兩者。
16.根據(jù)例子14所述的音頻解碼方法,其中,所述第三組和第四組均包括所述兩個(gè)聲道中的一個(gè)。
17.根據(jù)前述例子中任一項(xiàng)所述的音頻解碼方法,其中,通過(guò)對(duì)下混信號(hào)的聲道的線性組合進(jìn)行處理來(lái)獲得去相關(guān)信號(hào)。
18.根據(jù)例子1-15中任一項(xiàng)所述的音頻解碼方法,其中,基于下混信號(hào)的至多一個(gè)聲道來(lái)獲得去相關(guān)信號(hào)。
19.根據(jù)例子1-2和5-18中任一項(xiàng)所述的音頻解碼方法,其中,所述第一組由n個(gè)聲道組成,其中,n≥3,其中,所述第一組可通過(guò)以下方式重構(gòu)為下混信號(hào)的所述第一聲道和(n-1)聲道去相關(guān)信號(hào)的線性組合,即,將干式上混系數(shù)應(yīng)用于下混信號(hào)的第一聲道,并且將濕式上混系數(shù)應(yīng)用于(n-1)聲道去相關(guān)信號(hào)的聲道,其中,接收的元數(shù)據(jù)包括干式上混參數(shù)和濕式上混參數(shù),并且其中,確定混合系數(shù)包括:
基于干式上混參數(shù)來(lái)確定干式上混系數(shù);
基于接收的濕式上混參數(shù)并且在知道具有比接收的濕式上混參數(shù)的數(shù)量多的元素的中間矩陣屬于預(yù)定義矩陣類的情況下填充中間矩陣;
通過(guò)將中間矩陣乘以預(yù)定義矩陣來(lái)獲得濕式上混系數(shù),其中,濕式上混系數(shù)對(duì)應(yīng)于從乘法得到的矩陣,并且包括比中間矩陣中的元素的數(shù)量多的系數(shù);并且
對(duì)干式上混系數(shù)和濕式上混系數(shù)進(jìn)行處理。
20.根據(jù)前述例子中任一項(xiàng)所述的音頻解碼方法,進(jìn)一步包括:
接收指示m聲道音頻信號(hào)的至少兩種譯碼格式(f1、f2、f3)中的一種譯碼格式的信令(1030),譯碼格式對(duì)應(yīng)于m聲道音頻信號(hào)的聲道劃分為與下混信號(hào)的聲道相關(guān)聯(lián)的相應(yīng)第一組和第二組的相應(yīng)不同劃分,
其中,所述第三組和第四組是預(yù)定義的,并且其中,混合系數(shù)被確定為使得m聲道音頻信號(hào)劃分為由輸出信號(hào)的聲道近似的所述第三組和第四組聲道的單個(gè)劃分對(duì)于所述至少兩種譯碼格式被保持。
21.根據(jù)例子20所述的音頻解碼方法,進(jìn)一步包括:
響應(yīng)于指示特定譯碼格式(f2)的所述信令,使下混信號(hào)作為所述輸出信號(hào)通過(guò)(1070),所述特定譯碼格式對(duì)應(yīng)于m聲道音頻信號(hào)的聲道的與所述第三組和第四組定義的劃分一致的劃分。
22.根據(jù)例子20所述的音頻解碼方法,進(jìn)一步包括:
響應(yīng)于指示特定譯碼格式的所述信令,抑制去相關(guān)信號(hào)對(duì)所述輸出信號(hào)的貢獻(xiàn),所述特定譯碼格式對(duì)應(yīng)于m聲道音頻信號(hào)的聲道的與所述第三組和第四組定義的劃分一致的劃分。
23.根據(jù)例子20-22中任一項(xiàng)所述的音頻解碼方法,其中,
在第一譯碼格式(f1)中,所述第一組由表示m聲道音頻信號(hào)的回放環(huán)境中的不同水平方向的三個(gè)聲道(l、ls、lb)組成,并且所述第二組由表示所述回放環(huán)境中的與所述三個(gè)聲道的方向垂直分離的方向的兩個(gè)聲道(tfl、tbl)組成;并且
在第二譯碼格式(f2)中,所述第一組和第二組均包括所述兩個(gè)聲道中的一個(gè)。
24.一種音頻解碼系統(tǒng)(800),包括解碼部分(700),被配置為:
接收與元數(shù)據(jù)相關(guān)聯(lián)的兩聲道下混信號(hào)(l1、l2),所述元數(shù)據(jù)包括用于基于下混信號(hào)來(lái)參數(shù)化重構(gòu)m聲道音頻信號(hào)(l、ls、lb、tfl、tbl)的上混參數(shù)(αlu),其中,m≥4,其中,下混信號(hào)的第一(l1)聲道對(duì)應(yīng)于m聲道音頻信號(hào)的第一組(401)一個(gè)或多個(gè)聲道的線性組合,其中,下混信號(hào)的第二聲道(l2)對(duì)應(yīng)于m聲道音頻信號(hào)的第二組(402)一個(gè)或多個(gè)聲道(tfl,tfb)的線性組合,并且其中,第一組和第二組構(gòu)成m聲道音頻信號(hào)的m個(gè)聲道的劃分;
接收所述元數(shù)據(jù)的至少一部分;
基于下混信號(hào)和接收的元數(shù)據(jù)來(lái)提供兩聲道輸出信號(hào)
所述解碼部分包括:
去相關(guān)部分(710),所述去相關(guān)部分(710)被配置為接收下混信號(hào)的至少一個(gè)聲道并且基于其來(lái)輸出去相關(guān)信號(hào)(d);以及
混合部分(720),所述混合部分(720)被配置為:
基于接收的元數(shù)據(jù)來(lái)確定混合系數(shù)集合;并且
根據(jù)混合系數(shù)按照下混信號(hào)和去相關(guān)信號(hào)的線性組合來(lái)形成
輸出信號(hào),
其中,所述混合部分被配置為確定混合系數(shù)以使得:
輸出信號(hào)的第一聲道
輸出信號(hào)的第二聲道
第三組和第四組構(gòu)成m聲道音頻信號(hào)的m個(gè)聲道的劃分;并且
第三組和第四組都包括所述第一組的至少一個(gè)聲道。
25.根據(jù)例子24所述的音頻解碼系統(tǒng),進(jìn)一步包括附加解碼部分(805),所述附加解碼部分(805)被配置為:
接收與附加元數(shù)據(jù)相關(guān)聯(lián)的附加兩聲道下混信號(hào)(r1、r2),所述附加元數(shù)據(jù)包括用于基于附加下混信號(hào)來(lái)參數(shù)化重構(gòu)附加m聲道音頻信號(hào)(r、rs、rb、tfr、tbr)的附加上混參數(shù)(αru),其中,附加下混信號(hào)的第一聲道(r1)對(duì)應(yīng)于附加m聲道音頻信號(hào)的第一組(403)一個(gè)或多個(gè)聲道的線性組合,其中,附加下混信號(hào)的第二聲道(r2)對(duì)應(yīng)于附加m聲道音頻信號(hào)的第二組(403)一個(gè)或多個(gè)聲道的線性組合,并且其中,附加m聲道音頻信號(hào)的第一組和第二組聲道構(gòu)成附加m聲道音頻信號(hào)的m個(gè)聲道的劃分;
接收附加元數(shù)據(jù)的至少一部分;并且
基于附加下混信號(hào)和接收的附加元數(shù)據(jù)來(lái)提供附加兩聲道輸出信號(hào)
所述附加解碼部分包括:
附加去相關(guān)部分,所述附加去相關(guān)部分被配置為:接收附加下混信號(hào)的至少一個(gè)聲道,并且基于其來(lái)輸出附加去相關(guān)信號(hào);以及
附加混合部分,所述附加混合部分被配置為:
基于接收的附加元數(shù)據(jù)來(lái)確定附加混合系數(shù)集合;并且
根據(jù)附加混合系數(shù)按照附加下混信號(hào)和附加去相關(guān)信號(hào)的線性組合來(lái)形成附加輸出信號(hào),
其中,所述附加混合部分被配置為確定附加混合系數(shù)以使得:
附加輸出信號(hào)的第一聲道
附加輸出信號(hào)的第二聲道
附加m聲道音頻信號(hào)的第三組和第四組聲道構(gòu)成附加m聲道音頻信號(hào)的m個(gè)聲道的劃分;并且
附加m聲道音頻信號(hào)的第三組和第四組信號(hào)都包括附加m聲道音頻信號(hào)的所述第一組聲道中的至少一個(gè)聲道。
26.根據(jù)例子24-25中任一項(xiàng)所述的解碼系統(tǒng),進(jìn)一步包括:
解復(fù)用器(801),所述解復(fù)用器(801)被配置為從位流(b)提取下混信號(hào)、所述接收的元數(shù)據(jù)以及分開譯碼的音頻聲道(c);以及
單聲道解碼部分,所述單聲道解碼部分可操作來(lái)對(duì)所述分開譯碼的音頻聲道進(jìn)行解碼。
27.一種音頻編碼方法(300),包括:
接收(310)m聲道音頻信號(hào)(l、ls、lb、tfl、tbl),其中,m≥4;
基于m聲道下混信號(hào)來(lái)計(jì)算(320)兩聲道下混信號(hào)(l1、l2),下混信號(hào)的第一聲道(l1)被形成為m聲道音頻信號(hào)的第一組(401)一個(gè)或多個(gè)聲道的線性組合,并且下混信號(hào)的第二聲道(l2)被形成為m聲道音頻信號(hào)的第二組(402)一個(gè)或多個(gè)聲道的線性組合,其中,第一組和第二組構(gòu)成m聲道音頻信號(hào)的m個(gè)聲道的劃分;
確定(330)用于從下混信號(hào)參數(shù)化重構(gòu)m聲道音頻信號(hào)的上混參數(shù)(αlu);
確定(340)用于基于下混信號(hào)來(lái)獲得兩聲道輸出信號(hào)
輸出(350)下混信號(hào)和元數(shù)據(jù)以用于聯(lián)合存儲(chǔ)或發(fā)送,其中,元數(shù)據(jù)包括上混參數(shù)和混合參數(shù)。
28.根據(jù)例子27所述的音頻編碼方法,其中,混合參數(shù)控制下混信號(hào)和去相關(guān)信號(hào)對(duì)輸出信號(hào)的相應(yīng)貢獻(xiàn),其中,在使得輸出信號(hào)的聲道分別成為第一組聲道和第二組聲道的所述線性組合的協(xié)方差保持近似的混合參數(shù)之中通過(guò)最小化來(lái)自去相關(guān)信號(hào)的貢獻(xiàn)來(lái)確定混合參數(shù)中的至少一些。
29.根據(jù)例子27-28中任一項(xiàng)所述的音頻編碼方法,其中,所述第一組由n個(gè)聲道組成,其中,n≥3,其中,上混參數(shù)中的至少一些適合于從下混信號(hào)的所述第一聲道以及基于下混信號(hào)的所述第一聲道確定的(n-1)聲道去相關(guān)信號(hào)參數(shù)化重構(gòu)所述第一組,其中,確定上混參數(shù)包括:
確定干式上混系數(shù)集合,以便定義近似于所述第一組的下混信號(hào)的所述第一聲道的線性映射;并且
基于接收的所述第一組的協(xié)方差和通過(guò)下混信號(hào)的所述第一聲道的線性映射近似的所述第一組的協(xié)方差之間的差值來(lái)確定中間矩陣,其中,中間矩陣當(dāng)被乘以預(yù)定義矩陣時(shí)對(duì)應(yīng)于濕式上混系數(shù)集合,所述濕式上混系數(shù)集合定義作為所述第一組的參數(shù)化重構(gòu)的一部分的、所述去相關(guān)信號(hào)的線性映射,其中,所述濕式上混系數(shù)集合包括比中間矩陣中的元素的數(shù)量多的系數(shù),
其中,所述上混參數(shù)包括干式上混參數(shù)以及濕式上混參數(shù),干式上混系數(shù)集合能夠從所述干式上混參數(shù)推導(dǎo)得到,在假定中間矩陣屬于預(yù)定義矩陣類的情況下所述濕式上混參數(shù)唯一地定義中間矩陣,其中,中間矩陣具有比所述濕式上混參數(shù)的數(shù)量多的元素。
30.根據(jù)例子27-29中任一項(xiàng)所述的音頻編碼方法,進(jìn)一步包括:
選擇至少兩種譯碼格式(f1、f2、f3)中的一種譯碼格式,所述譯碼格式對(duì)應(yīng)于m聲道音頻信號(hào)的聲道劃分為與下混信號(hào)的聲道相關(guān)聯(lián)的相應(yīng)第一組和第二組的相應(yīng)不同劃分,
其中,下混信號(hào)的第一聲道和第二聲道根據(jù)所選譯碼格式分別被形成為m聲道音頻信號(hào)的第一組一個(gè)或多個(gè)聲道和第二組一個(gè)或多個(gè)聲道的線性組合,并且其中,基于所選譯碼格式來(lái)確定上混參數(shù)和混合參數(shù);
所述方法進(jìn)一步包括:
提供指示所選譯碼格式的信令。
31.一種音頻編碼系統(tǒng)(200),包括編碼部分(100),被配置為:將m聲道音頻信號(hào)(l、ls、lb、tfl、tbl)編碼為兩聲道下混信號(hào)(l1、l2)和相關(guān)聯(lián)的元數(shù)據(jù),其中,m≥4,并且輸出下混信號(hào)和元數(shù)據(jù)以用于聯(lián)合存儲(chǔ)或發(fā)送,所述編碼部分包括:
下混部分(110),所述下混部分(110)被配置為基于m聲道音頻信號(hào)來(lái)計(jì)算下混信號(hào),下混信號(hào)的第一聲道(l1)被形成為m聲道音頻信號(hào)的第一組(401)一個(gè)或多個(gè)聲道的線性組合,下混信號(hào)的第二聲道(l2)被形成為m聲道音頻信號(hào)的第二組(402)一個(gè)或多個(gè)聲道的線性組合,其中,第一組和第二組構(gòu)成m聲道音頻信號(hào)的m個(gè)聲道的劃分;以及
分析部分(120),分析部分(120)被配置為確定:
上混參數(shù)(αlu),所述上混參數(shù)(αlu)用于從下混信號(hào)參數(shù)化重構(gòu)m聲道音頻信號(hào);以及
混合參數(shù)(αlm),所述混合參數(shù)(αlm)用于基于下混信號(hào)來(lái)獲得兩聲道輸出信號(hào)
其中,元數(shù)據(jù)包括上混參數(shù)和混合參數(shù)。
32.一種計(jì)算機(jī)程序產(chǎn)品,所述計(jì)算機(jī)程序產(chǎn)品包括具有用于執(zhí)行例子1-23和27-30中任一個(gè)的方法的指令的計(jì)算機(jī)可讀介質(zhì)。
33.一種計(jì)算機(jī)可讀介質(zhì)(1100),所述計(jì)算機(jī)可讀介質(zhì)(1100)表示:
兩聲道下混信號(hào)(l1、l2);
上混參數(shù)(αlu),所述上混參數(shù)(αlu)使得可以基于下混信號(hào)來(lái)參數(shù)化重構(gòu)m聲道音頻信號(hào)(l、ls、lb、tfl、tbl),其中,m≥4,其中,下混信號(hào)的第一聲道(l1)對(duì)應(yīng)于m聲道音頻信號(hào)的第一組(401)一個(gè)或多個(gè)聲道的線性組合,其中,下混信號(hào)的第二聲道(l2)對(duì)應(yīng)于m聲道音頻信號(hào)的第二組(402)一個(gè)或多個(gè)聲道的線性組合,并且其中,第一組和第二組構(gòu)成m聲道音頻信號(hào)的m個(gè)聲道的劃分;以及
混合參數(shù)(αlm),所述混合參數(shù)(αlm)使得可以基于下混信號(hào)來(lái)提供兩聲道輸出信號(hào)
34.根據(jù)例子33所述的計(jì)算機(jī)可讀介質(zhì),其中,數(shù)據(jù)載體表示的數(shù)據(jù)被布置在時(shí)間幀中,并且被分層為使得對(duì)于給定時(shí)間幀,針對(duì)該時(shí)間幀的下混信號(hào)和相關(guān)聯(lián)的混合參數(shù)能夠獨(dú)立于相關(guān)聯(lián)的上混參數(shù)被提取。