技術(shù)領(lǐng)域
本發(fā)明涉及視頻監(jiān)控系統(tǒng)、電視廣播系統(tǒng)、機(jī)器視覺(jué)系統(tǒng)、虛擬現(xiàn)實(shí)系統(tǒng)、增強(qiáng)現(xiàn)實(shí)系統(tǒng)及其他視頻系統(tǒng)的視頻傳輸。
背景技術(shù):
視頻傳輸是很多系統(tǒng)和應(yīng)用的基礎(chǔ)組成部分和功能。在一個(gè)典型的高清監(jiān)控系統(tǒng)中,多個(gè)高清攝像頭通過(guò)線纜與一個(gè)錄像機(jī)相連。每個(gè)攝像頭通過(guò)連接線纜至少傳輸一路高清視頻到錄像機(jī)。錄像機(jī)通常立即顯示來(lái)自攝像頭的現(xiàn)場(chǎng)視頻,以監(jiān)視攝像頭現(xiàn)場(chǎng)視野中的現(xiàn)場(chǎng)實(shí)景,同時(shí)也將現(xiàn)場(chǎng)視頻錄像,并播放錄像。
歷史上,視頻傳輸是從模擬傳輸開始的。閉路電視監(jiān)控系統(tǒng)采用在同軸電纜上傳輸CVBS(復(fù)合視頻基帶與同步)信號(hào),成為一個(gè)全世界部署的有線模擬視頻傳輸系統(tǒng)。模擬傳輸采用模擬調(diào)制傳輸源視頻。該源視頻是一個(gè)時(shí)間上和垂直上離散取樣、水平上連續(xù)、幅度上連續(xù)的3維信號(hào)。通過(guò)電視光柵掃描方式,該源視頻信號(hào)被轉(zhuǎn)換成時(shí)間上連續(xù)、幅度上連續(xù)的一個(gè)模擬信號(hào),如CVBS信號(hào),用于多種多樣的傳輸。隨著數(shù)字技術(shù)的巨大進(jìn)步,數(shù)字視頻傳輸在許多應(yīng)用中已經(jīng)取代了或正在取代模擬傳輸。
現(xiàn)有視頻監(jiān)控系統(tǒng)采用多種高清視頻傳輸方法,通過(guò)線纜從攝像頭向錄像機(jī)傳輸高清視頻。在一個(gè)典型的高清IP(互聯(lián)網(wǎng)協(xié)議)視頻監(jiān)控系統(tǒng)中,百萬(wàn)像素級(jí)的高清IP攝像頭采用如H.264那樣的重度視頻壓縮技術(shù),把數(shù)字高清源視頻壓縮成大約10Mb/s或更低比特率的數(shù)字式數(shù)據(jù)。壓縮高清視頻的數(shù)據(jù)包裝到IP包中,通過(guò)以太網(wǎng)電纜傳輸?shù)骄W(wǎng)絡(luò)視頻錄像機(jī)。通過(guò)以太網(wǎng)電纜以IP包傳輸高清視頻具有眾所周知的缺點(diǎn)。首先,傳輸距離受限于100米。第二,重度壓縮導(dǎo)致圖像質(zhì)量損失。第三,以IP包傳輸?shù)囊曨l幀產(chǎn)生長(zhǎng)延遲和可變延遲,導(dǎo)致視頻損失及時(shí)性和平滑流動(dòng)性。第四,IP技術(shù)的復(fù)雜性導(dǎo)致安裝、運(yùn)營(yíng)和維護(hù)成本高。
很多應(yīng)用采用無(wú)壓縮數(shù)字視頻傳輸方法。與高清IP攝像頭相反,高清SDI(串行數(shù)字接口)攝像頭通過(guò)同軸電纜傳輸專業(yè)級(jí)高質(zhì)量的無(wú)壓縮數(shù)字高清視頻。然而,鑒于其極高比特率和非優(yōu)化調(diào)制,高清SDI的典型傳輸距離也限制在100米左右。
高清IP攝像頭和高清SDI攝像頭都采用數(shù)字傳輸。數(shù)字視頻傳輸先把數(shù)字源視頻,即時(shí)間上、水平上和垂直上離散、幅度上離散的3維信號(hào),表達(dá)成數(shù)字式數(shù)據(jù),再采用多種數(shù)字調(diào)制方法,以時(shí)間上離散、幅度離散的數(shù)字傳輸信號(hào)傳輸數(shù)字式數(shù)據(jù)。采用100base-TX模式的快速以太網(wǎng)接口的IP攝像頭,以3個(gè)離散電平的脈沖信號(hào)來(lái)傳輸數(shù)字式數(shù)據(jù)。其他采用1000base-TX模式的千兆以太網(wǎng)接口的IP攝像頭,以5個(gè)離散電平的脈沖信號(hào)來(lái)傳輸數(shù)字式數(shù)據(jù)。這些傳輸數(shù)字式數(shù)據(jù)的離散信號(hào)值,如離散電平值,稱為星座。
數(shù)字接收機(jī)需要根據(jù)含有噪聲和干擾的接收信號(hào)判決發(fā)送的離散信號(hào)值。通常,隨著傳輸距離加大到一定長(zhǎng)度,判決出錯(cuò)和數(shù)字比特誤碼迅速增加,變成不可使用。這稱為數(shù)字懸崖效應(yīng)。雖然數(shù)字傳輸具有可以采用包括高效數(shù)字壓縮和數(shù)字調(diào)制的先進(jìn)數(shù)字處理技術(shù)的優(yōu)勢(shì),達(dá)到高效,然而其從內(nèi)在本質(zhì)上受到數(shù)字懸崖效應(yīng)的損傷。相反地,模擬視頻傳輸采用模擬調(diào)制,產(chǎn)生時(shí)間上連續(xù)和幅度上連續(xù)的信號(hào),沒(méi)有無(wú)星座,接收端無(wú)需判決,因而沒(méi)有數(shù)字懸崖效應(yīng),具有能平滑漸變降低質(zhì)量的優(yōu)秀特性。這稱為漸變降質(zhì)。
為了尋找長(zhǎng)距離、低成本的傳輸方法,業(yè)內(nèi)又將模擬傳輸復(fù)活,用于高清傳輸。專利【1】【2】中最近公開的方法采用高清模擬復(fù)合視頻傳輸,稱為HD-CVI。與CVBS信號(hào)相似,亮度圖像經(jīng)光柵掃描方式轉(zhuǎn)換成亮度信號(hào),在基帶傳輸。兩個(gè)色度圖像經(jīng)光柵掃描方式轉(zhuǎn)換成兩個(gè)色度信號(hào),再經(jīng)過(guò)正交幅度調(diào)制(QAM)后,在高頻通帶傳輸。與CVBS不同的是,高頻通帶的色度信號(hào)頻譜位于基帶亮度信號(hào)頻譜之上,與基帶亮度頻譜不重疊。HD-CVI能在300到500米的同軸電纜上傳輸高清模擬復(fù)合視頻?;谀M視頻傳輸?shù)谋拘?,HD-CVI能以漸變下降的質(zhì)量穿過(guò)電纜。
然而,模擬視頻傳輸方法沒(méi)有采用數(shù)字處理技術(shù)的優(yōu)勢(shì),其性能大為受限。首先,源視頻具有很強(qiáng)的空間和時(shí)間相關(guān)性和冗余,這已獲公認(rèn)。當(dāng)HD-CVI方法通過(guò)光柵掃描方式無(wú)壓縮地直接將二維空間圖像信號(hào)轉(zhuǎn)化為一維時(shí)間信號(hào),沒(méi)有利用相關(guān)性和冗余來(lái)提高傳輸?shù)囊曨l質(zhì)量。與之相對(duì),已經(jīng)建立的各種數(shù)字圖像壓縮技術(shù),包括JPEG,JPEG 200,H.264幀內(nèi)編碼等,都利用空間相關(guān)性和冗余,只使用無(wú)壓縮圖像的一小部分比特率,就獲得較高質(zhì)量的重建圖像。然而,這些數(shù)字壓縮技術(shù)自然不提供模擬視頻傳輸方法的漸變降質(zhì)的優(yōu)秀特性。其次,現(xiàn)代通信已發(fā)展出高效調(diào)制技術(shù),如OFDM(正交頻分復(fù)用調(diào)制),能更好地對(duì)抗信道對(duì)傳輸信號(hào)的損傷,也未被模擬傳輸方法采用。
因此,需要新的方法來(lái)傳輸高清視頻,提供漸變降質(zhì)的優(yōu)秀特性,并能夠利用源視頻的相關(guān)性和冗余以及高效率的調(diào)制技術(shù),能高質(zhì)量長(zhǎng)距離地傳輸視頻。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明提出在變換域傳輸高清視頻的方法。作為本發(fā)明的一個(gè)特征,在高清視頻發(fā)端,采用多維變換將高清視頻轉(zhuǎn)換到變換域。將獲得的變換域系數(shù)通過(guò)離散時(shí)間連續(xù)值或準(zhǔn)連續(xù)值調(diào)制,優(yōu)選地通過(guò)時(shí)域中的多址復(fù)用信道中,并行地傳輸?shù)礁咔逡曨l收端。
在本發(fā)明的一個(gè)實(shí)施例中,在視頻發(fā)端,對(duì)高清源視頻的每個(gè)視頻幀圖像采用2D-DCT(二維離散余弦變換)。根據(jù)OFDMA(正交頻分多址)的多址復(fù)用接入方案,將得到的DCT系數(shù)分配到OFDM符合的子載波上。通常通過(guò)IFFT(快速傅立葉反變換),將OFDM符號(hào)轉(zhuǎn)換到時(shí)域,將所得到的時(shí)域信號(hào)通過(guò)信道傳輸?shù)礁咔逡曨l收端。這種方法被稱為DCT-OFDMA傳輸方法。從理論上講,在DCT-OFDMA傳輸方法的DCT系數(shù)的值可以根據(jù)圖像信號(hào)而連續(xù)變化。當(dāng)DCT-OFDMA傳輸方法用于傳輸時(shí)間和空間上離散采樣、但連續(xù)取值的3維源視頻(稱為抽樣視頻)時(shí),DCT-OFDMA方法產(chǎn)生連續(xù)取值的DCT系數(shù)。因此,與常規(guī)的數(shù)字OFDM調(diào)制相反,DCT-OFDMA傳輸方法中分配到子載波、并調(diào)制子載波的值,也就是DCT系數(shù),是可以連續(xù)取值的,沒(méi)有任何方式的星座。這種OFDM子載波稱為連續(xù)OFDM子載波。在DCT-OFDMA傳輸?shù)姆椒ㄖ械倪@種OFDM調(diào)制方法稱為連續(xù)OFDM調(diào)制。在時(shí)域,連續(xù)OFDM調(diào)制產(chǎn)生時(shí)間上離散但連續(xù)取值的傳輸信號(hào)。當(dāng)抽樣視頻滿足Nyquist采樣定理的要求時(shí),可以用采樣視頻無(wú)任何失真地重建原始模擬視頻。因此,DCT-OFDMA方法在連續(xù)調(diào)制時(shí),等效為一種新的模擬視頻傳輸方法,可被視為相應(yīng)的新的模擬傳輸方法的離散實(shí)現(xiàn)。實(shí)際上,DCT-OFDMA方法通常用于傳輸數(shù)字源視頻。當(dāng)抽樣視頻被轉(zhuǎn)換為數(shù)字視頻時(shí),由于連續(xù)取值的像素通常被高精度量化,數(shù)字像素值是連續(xù)像素值的數(shù)字近似,雖然數(shù)學(xué)上數(shù)字像素值是離散取值的,但在一定的工程意義上是近似于連續(xù)取值。例如,當(dāng)量化噪聲低于人類視覺(jué)閾值時(shí),高精度的數(shù)字視頻可以在視覺(jué)上與原始模擬源視頻不能區(qū)分。再例如,當(dāng)原始模擬視頻的量化噪聲接近或低于接收機(jī)本底噪聲時(shí),經(jīng)過(guò)傳輸后,數(shù)字視頻達(dá)到或接近與模擬視頻幾乎等同的性能。近似連續(xù)取值的數(shù)字信號(hào)是連續(xù)取值信號(hào)的數(shù)字近似,被稱為準(zhǔn)連續(xù)取值的數(shù)字信號(hào),或準(zhǔn)連續(xù)數(shù)字信號(hào)。此外,一個(gè)準(zhǔn)連續(xù)值也可由涉及一個(gè)或多個(gè)準(zhǔn)連續(xù)值的運(yùn)算而產(chǎn)生。因此,當(dāng)數(shù)字像素是準(zhǔn)連續(xù)值時(shí),DCT-OFDMA方法產(chǎn)生準(zhǔn)連續(xù)值的DCT系數(shù),并進(jìn)一步在OFDM符號(hào)中產(chǎn)生準(zhǔn)連續(xù)譜線和子載波。這種OFDM調(diào)制被稱為準(zhǔn)連續(xù)OFDM調(diào)制。在時(shí)域,準(zhǔn)連續(xù)OFDM調(diào)制產(chǎn)生時(shí)間上離散但準(zhǔn)連續(xù)取值的傳輸信號(hào)。準(zhǔn)連續(xù)調(diào)制的DCT-OFDMA方法等效于一個(gè)具有量化噪聲的新的模擬視頻傳輸方法,并可視為相應(yīng)的新的模擬傳輸方法在有限比特精度下的數(shù)字近似實(shí)現(xiàn)。在本發(fā)明的特定實(shí)施例中,OFDM符號(hào)的某些子載波用于帶有星座的數(shù)字調(diào)制,傳輸數(shù)字式數(shù)據(jù)。這些子載波被稱為數(shù)字OFDM子載波。與準(zhǔn)連續(xù)OFDM子載波相反,調(diào)制數(shù)字OFDM子載波的值是準(zhǔn)確的離散值,沒(méi)有任何近似。這些準(zhǔn)確的離散值是選自離散的數(shù)字星座集合。在實(shí)際系統(tǒng)中,準(zhǔn)連續(xù)調(diào)制往往采用高精度和巨大的離散值集,以更好地近似連續(xù)調(diào)制,而數(shù)字調(diào)制往往限于小的離散值集,以保持判決出錯(cuò)率低或幾乎為零。例如,當(dāng)數(shù)字DCT系數(shù)由12比特近似時(shí),用于調(diào)制OFDM子載波的準(zhǔn)連續(xù)復(fù)數(shù)譜線取自于具有約1600萬(wàn)個(gè)離散值的集合,而采用QPSK(正交相移鍵控)調(diào)制的數(shù)字OFDM調(diào)制則取自于只有4個(gè)離散值的集合。
在本發(fā)明的另一實(shí)施例中,在高清視頻發(fā)端,高清視頻每幀視頻圖像經(jīng)過(guò)空間域2D-DCT(二維離散余弦變換)變換。根據(jù)CDMA(碼分多址)的多址復(fù)用方案將得到的DCT系數(shù)分配到不同的擴(kuò)頻碼或擴(kuò)頻序列上,分別與擴(kuò)頻序列算數(shù)相乘,調(diào)制擴(kuò)頻序列,所有已調(diào)制序列都疊加在一起,在時(shí)域發(fā)送到高清視頻收端。這種方法被稱為DCT-CDMA傳輸方法。同樣地,在理論上DCT-CDMA傳輸方法的DCT系數(shù)的值可以不斷根據(jù)視頻信號(hào)而連續(xù)取值。當(dāng)DCT-CDMA方法傳輸抽樣視頻時(shí),該方法產(chǎn)生連續(xù)取值的DCT系數(shù)。分配到擴(kuò)頻序列后,與通常的CDMA數(shù)字調(diào)制相反,與擴(kuò)頻序列相乘的基帶信號(hào)(被擴(kuò)頻信號(hào))和相乘后得到的已調(diào)制序列的幅度都是可以連續(xù)變化的,沒(méi)有任何方式的星座。這種擴(kuò)頻序列被稱為連續(xù)CDMA擴(kuò)頻序列。這種CDMA調(diào)制方法稱為連續(xù)CDMA調(diào)制。實(shí)際上,當(dāng)DCT-CDMA傳輸方法傳輸數(shù)字源視頻時(shí),產(chǎn)生準(zhǔn)連續(xù)的DCT系數(shù),以及離散時(shí)間、準(zhǔn)連續(xù)取值的傳輸信號(hào)。這種采用準(zhǔn)連續(xù)取值的基帶信號(hào)或被擴(kuò)頻信號(hào)的CDMA調(diào)制被稱為準(zhǔn)連續(xù)CDMA調(diào)制。在本發(fā)明的某些實(shí)施例中,一些擴(kuò)頻序列采用數(shù)字調(diào)制,以具有星座的數(shù)字調(diào)制傳輸數(shù)字式數(shù)據(jù)。這些擴(kuò)頻序列被稱為數(shù)字CDMA序列。
為了簡(jiǎn)潔起見(jiàn),以下描述不嚴(yán)格區(qū)分連續(xù)值或準(zhǔn)連續(xù)值調(diào)制,以其中任意一種說(shuō)明本發(fā)明的方法。
在本發(fā)明的特定實(shí)施例中,在高清視頻發(fā)端,高清視頻各幀圖像分為小的變換塊,如8x8像素的正方形塊或16x16像素的正方形塊,其中8×8像素代表8像素寬、8像素高,16x16像素與此類推。每個(gè)塊稱為一個(gè)變換塊??臻g變換在原始圖像的每個(gè)變換塊上進(jìn)行,從而將一個(gè)變換塊轉(zhuǎn)換成同樣大小DCT系數(shù)塊。
在本發(fā)明的另一個(gè)實(shí)施例中,在高清視頻發(fā)端,并不發(fā)送原始源視頻,而是發(fā)送由源視頻經(jīng)預(yù)測(cè)編碼產(chǎn)生的殘差視頻。在高清視頻發(fā)端中,高清視頻的每個(gè)圖像被分割成小的變換塊后,高清視頻發(fā)端為每個(gè)變換塊生成一個(gè)預(yù)測(cè)塊。將預(yù)測(cè)塊從源視頻的變換塊中減去,產(chǎn)生殘差變換塊,每個(gè)殘差變換塊轉(zhuǎn)換成同樣大小的DCT系數(shù)塊。生成預(yù)測(cè)塊的方法有多種。在本發(fā)明的一個(gè)實(shí)施例中,高清視頻發(fā)端從同一幀圖像中已處理的相鄰的變換塊按照一定的預(yù)測(cè)方法生成一個(gè)預(yù)測(cè)塊,如H.264編碼器和其他的幀內(nèi)預(yù)測(cè)。在本發(fā)明的另一實(shí)施例中,高清視頻發(fā)端從已處理和發(fā)送的過(guò)去幀或未來(lái)幀圖像中,根據(jù)具體的預(yù)測(cè)方法產(chǎn)生一個(gè)圖像預(yù)測(cè)塊,如H.264編碼器的幀間預(yù)測(cè)。產(chǎn)生預(yù)測(cè)的方法超出了本發(fā)明的范圍。
由于源視頻的無(wú)壓縮圖像的性質(zhì),2D-DCT變換產(chǎn)生的水平和垂直DCT頻率均為零的DCT直流系數(shù)往往很大。在本發(fā)明的一個(gè)實(shí)施例中,在高清視頻發(fā)端中,從已經(jīng)處理的塊的像素中產(chǎn)生一個(gè)直流系數(shù)預(yù)測(cè),并從原始的直流系數(shù)減去直流系數(shù)預(yù)測(cè)。直流系數(shù)預(yù)測(cè)可以由一個(gè)小于1的一個(gè)因子縮小,以減少誤差傳播。殘差的直流系數(shù)以及其余的交流系數(shù)(其水平或垂直的空間頻率不為零)再以相同的方式通過(guò)后續(xù)進(jìn)一步處理。在本發(fā)明的另一實(shí)施例中,殘差的直流系數(shù)進(jìn)一步經(jīng)過(guò)數(shù)字量化、編碼和數(shù)字調(diào)制傳輸,如在JPEG中的DPCM直流系數(shù)編碼。這些方法被稱為的直流系數(shù)的差分編碼。當(dāng)直流系數(shù)作差分編碼后,一個(gè)DCT系數(shù)塊包括殘差直流系數(shù)和交流系數(shù),或如果直流系數(shù)采用數(shù)字調(diào)制,則只包括交流系數(shù)。當(dāng)無(wú)直流系數(shù)差分編碼時(shí),DCT系數(shù)塊包括直流系數(shù)和交流系數(shù)。產(chǎn)生直流系數(shù)預(yù)測(cè)的方法超出了本發(fā)明的范圍。
在本發(fā)明的一個(gè)實(shí)施例中,在高清視頻發(fā)端中所得到的DCT系數(shù)不經(jīng)過(guò)數(shù)字量化,而是直接分配到準(zhǔn)連續(xù)調(diào)制。雖然DCT系數(shù)通常用有限比特?cái)?shù)的數(shù)字信號(hào)來(lái)表示,但數(shù)字系數(shù)信號(hào)是一個(gè)用有限精度表示的準(zhǔn)連續(xù)值。因此,沒(méi)有進(jìn)一步的數(shù)字量化,全精度的數(shù)字系數(shù)信號(hào)被送到準(zhǔn)連續(xù)調(diào)制。在本發(fā)明的另一實(shí)施例中,所得到的DCT系數(shù)根據(jù)特定的量化表進(jìn)行數(shù)字量化,如JPEG中的量化表,然后量化后的DCT系數(shù)被分配到準(zhǔn)連續(xù)調(diào)制。在本發(fā)明的另一實(shí)施方案中,如果DCT系數(shù)的幅度低于一個(gè)特定的閾值,這些小的DCT系數(shù)被置零,而其他幅度大的系數(shù)則不變,不經(jīng)過(guò)量化。所有的零DCT系數(shù)和置零的DCT系數(shù)在發(fā)明中都稱為零DCT系數(shù)。
在本發(fā)明的一個(gè)特定的實(shí)施例中,在高清視頻發(fā)端中,鄰近的DCT系數(shù)塊組成一個(gè)歸一化區(qū)。一個(gè)歸一化區(qū)可以包含一個(gè)或多個(gè)DCT系數(shù)塊,或整個(gè)圖像的DCT系數(shù)塊。在歸一化區(qū)中的每個(gè)系數(shù)由一個(gè)參數(shù)放大或縮小,這個(gè)參數(shù)稱為拉伸因子。拉伸因子可以由歸一化區(qū)內(nèi)所有系數(shù)平均加權(quán)平方和或者歸一化區(qū)產(chǎn)生的時(shí)域信號(hào)的峰值等于或接近于某一個(gè)特定值來(lái)確定。拉伸因子作為輔助數(shù)據(jù),通過(guò)數(shù)字調(diào)制發(fā)送到視頻收端,以便反拉伸,去歸一化。
在本發(fā)明的一個(gè)實(shí)施例中,DCT系數(shù)被分配到準(zhǔn)連續(xù)DCT-OFDMA傳輸方法的OFDM子載波上,這個(gè)過(guò)程稱為映射。有各種各樣的映射方法。在本發(fā)明的一個(gè)特定的實(shí)施例中,在高清視頻發(fā)端中,鄰近的DCT系數(shù)塊組成一個(gè)傳輸區(qū)。在同一個(gè)傳輸區(qū)內(nèi)的所有DCT系數(shù)塊內(nèi)的DCT系數(shù)被并行映射到同一個(gè)OFDM符號(hào)的各個(gè)子載波上。傳輸區(qū)可以包含一個(gè)或多個(gè)DCT系數(shù)塊,這取決于變換塊的大小和每個(gè)OFDM符號(hào)的可用子載波的數(shù)量。在本發(fā)明的另一個(gè)特定的實(shí)施例中,一個(gè)如JPEG或H 264那樣的之字形掃描將二維DCT系數(shù)塊所有的DCT系數(shù)轉(zhuǎn)換為一個(gè)一維數(shù)組,稱為塊系數(shù)數(shù)組。然后,同一傳輸區(qū)內(nèi)的所有塊的塊系數(shù)數(shù)組交織產(chǎn)生區(qū)系數(shù)數(shù)組,其包括所有在該區(qū)內(nèi)的DCT系數(shù)。最后,根據(jù)特定映射方法,將區(qū)系數(shù)數(shù)組的所有DCT系數(shù)分配到準(zhǔn)連續(xù)OFDM符號(hào)的各個(gè)子載波上。
有各種各樣的映射方法將區(qū)系數(shù)數(shù)組映射到OFDM符號(hào)上。在本發(fā)明的一個(gè)實(shí)施例中,該區(qū)系數(shù)數(shù)組的DCT系數(shù)順序分配到準(zhǔn)連續(xù)OFDM的子載波上,使得空間頻率最低的DCT系數(shù)分配到準(zhǔn)連續(xù)OFDM符號(hào)中時(shí)間頻率最低的子載波上。在本發(fā)明的另一實(shí)施例中,該區(qū)系數(shù)數(shù)組的所有非零DCT系數(shù)分配到DCT-OFDMA傳輸方法的準(zhǔn)連續(xù)OFDM子載波上,而零DCT系數(shù)被跳過(guò),不分配。每個(gè)非零系數(shù)之前被跳過(guò)的零系數(shù)的數(shù)目通過(guò)數(shù)字OFDM子載波傳輸?shù)礁咔逡曨l收端。在本發(fā)明的另一實(shí)施方案中,區(qū)系數(shù)數(shù)組的非零DCT系數(shù)以一個(gè)特定的順序分配到DCT-OFDMA傳輸方法的準(zhǔn)連續(xù)OFDM子載波上,使得幅值最大的非零DCT系數(shù)分配到時(shí)間頻率最低的準(zhǔn)連續(xù)OFDM子載波上。零DCT系數(shù)被跳過(guò)。非零系數(shù)的位置信息通過(guò)數(shù)字OFDM子載波發(fā)送到高清視頻收端。這稱為最大至最低映射。
在本發(fā)明的另一實(shí)施例中,在DCT-CDMA傳輸方法中,DCT系數(shù)被分配到準(zhǔn)連續(xù)擴(kuò)頻序列上。如果CDMA的擴(kuò)頻序列不具有平坦的頻譜特性,即不是白色的,例如正交沃爾什碼,DCT-OFDMA映射方法同樣適用于DCT-CDMA的映射。如果CDMA的擴(kuò)頻序列具有平坦的頻譜特性,即是白色的,如偽隨機(jī)序列,一些方法,如DCT-OFDMA的最大至最低映射方法映射不適用于CDMA映射,而其余映射方法則可適用。
在本發(fā)明的一個(gè)實(shí)施例中,每個(gè)OFDM符號(hào)轉(zhuǎn)換為時(shí)域后,用數(shù)字OFDM調(diào)制常用的CP(循環(huán)前綴),CS(循環(huán)后綴)或ZP(補(bǔ)零)方式擴(kuò)展。在本發(fā)明的另一實(shí)施例中,每個(gè)OFDM符號(hào)不用CP,CS或ZP擴(kuò)展。
在本發(fā)明的一個(gè)實(shí)施例中,所得到的時(shí)域傳輸信號(hào)在基帶上是復(fù)數(shù)值的。復(fù)數(shù)值的基帶信號(hào)被轉(zhuǎn)換成通帶信號(hào),通過(guò)信道傳輸,如無(wú)線信道。在本發(fā)明的另一實(shí)施例中,所得到的時(shí)域傳輸信號(hào)在基帶中是實(shí)數(shù)值的,并且直接以基帶在信道上傳輸,如同軸電纜。實(shí)數(shù)基帶信號(hào)的OFDM調(diào)制,稱為DMT(離散多音)。為簡(jiǎn)單起見(jiàn),除非特別申明,本發(fā)明的說(shuō)明中不從OFDM中區(qū)分DMT。
本發(fā)明有許多變形實(shí)施方式。在本發(fā)明的一個(gè)實(shí)施例中,類似于采用三維(3-D)DCT的數(shù)字視頻傳輸系統(tǒng),在視頻發(fā)端,數(shù)字源視頻劃分為視頻段,每個(gè)視頻段劃分為三維長(zhǎng)方體像素塊或立方體像素塊,如8x8x8像素立方體塊,其中8x8x8像素表示8像素寬、8高像素高和8個(gè)視頻幀長(zhǎng)。每個(gè)三維塊由3D-DCT變換。得到的DCT系數(shù)分配到DCT-OFDMA方法的子載波上或DCT-CDMA方法的擴(kuò)頻序列上。
在本發(fā)明的某些實(shí)施例中,在視頻發(fā)端,本發(fā)明所提出的方法產(chǎn)生包括多個(gè)輸出的傳輸信號(hào),稱為多輸出傳輸信號(hào)。通常,多輸出傳輸信號(hào)是通過(guò)MIMO(多輸入多輸出)信道傳輸?shù)模缭谝欢ǖ募s束條件下具有4個(gè)發(fā)射天線和4個(gè)接收天線的無(wú)線視頻傳輸系統(tǒng),或在CAT5/CAT6電纜上具有4對(duì)驅(qū)動(dòng)器接收器、每對(duì)分別在一對(duì)單獨(dú)雙絞線上傳輸?shù)南到y(tǒng)。在本發(fā)明的一個(gè)實(shí)施例中,在同一時(shí)間用多個(gè)并行IFFT,從DCT系數(shù)并行組裝多個(gè)OFDM符號(hào)。每個(gè)OFDM符合分別輸出到一個(gè)單獨(dú)的驅(qū)動(dòng)器或發(fā)射天線。
需要指出的是,本發(fā)明可采用DCT之外的其它變換,包括但不限于DWT(離散小波變換)和DFT(離散傅里葉變換),將圖像或視頻信號(hào)轉(zhuǎn)換到變換域??刹捎肙FDMA和CDMA之外的多址復(fù)用調(diào)制方法,并行傳輸變換域系數(shù)。這都在本發(fā)明的原理和范圍之內(nèi)。本發(fā)明適用于高清、或較低清晰度、或更高清晰度的視頻,以及黑白或彩色視頻。
附圖說(shuō)明
圖1示出了一個(gè)示例高清720p60采用YUV4:2:0彩色格式的視頻幀定時(shí)。
圖2示出了如何將示例高清圖像劃分成本發(fā)明的條和區(qū)的一個(gè)實(shí)施例。
圖3示出了如何將本發(fā)明中的區(qū)劃分成宏塊的一個(gè)實(shí)施例。
圖4示出了如何將本發(fā)明的宏塊劃分成變換塊的一個(gè)實(shí)施例。
圖5示出了所提出的高清視頻傳輸方法的一個(gè)實(shí)施例。
圖6示出了示例高清720p60經(jīng)過(guò)DCT-OFDMA傳輸方法產(chǎn)生的一個(gè)幀周期內(nèi)的傳輸信號(hào)的一個(gè)實(shí)施例。
具體實(shí)施方式
下面結(jié)合附圖和具體實(shí)施例對(duì)本發(fā)明進(jìn)行詳細(xì)說(shuō)明。
實(shí)施例
現(xiàn)在,本發(fā)明的原理和實(shí)施例將參考附圖詳細(xì)說(shuō)明。附圖提供實(shí)施示例,以便使本領(lǐng)域的技術(shù)人員能夠?qū)嵤┍景l(fā)明。值得注意的是,附圖和以下實(shí)施例并不意味著將本發(fā)明的范圍限制到單個(gè)實(shí)施例中。交換部分或全部所描述的或示出的部分,可以產(chǎn)生其它實(shí)施例。如方便可及,在附圖中相同的附圖標(biāo)記指代相同或相似的部分。其中,這些實(shí)施例的某些部分可以利用公知的組件,本說(shuō)明書將描述如何使用公知的組件,以便于理解本發(fā)明,但是公知部件內(nèi)部則不詳細(xì)描述,或完全省略,以免混淆本發(fā)明。另外,除非明確說(shuō)明,本說(shuō)明書中示出單數(shù)組件實(shí)施例不應(yīng)該被認(rèn)為是限定為單數(shù);相反,本發(fā)明旨在涵蓋包括多個(gè)相同組件的其他實(shí)施例,反之亦然。此外,除非明確闡述,申請(qǐng)人不為說(shuō)明書或權(quán)利要求書中的任何術(shù)語(yǔ)賦予一種罕見(jiàn)的或特殊的含義。另外,本發(fā)明說(shuō)明書中圖示的步驟或部件還包含目前和未來(lái)知道的等效物。
在下面的說(shuō)明中,假定以圖1所示的YUV4:2:0彩色格式的高清視頻720p60為原始源視頻,作為示例來(lái)說(shuō)明本發(fā)明的原理和一個(gè)實(shí)施例。高清720p60每秒有60逐行掃描視頻幀。每個(gè)視頻幀周期為1/60秒,如圖1中的最外層的矩形表示。每個(gè)視頻幀有750行掃描線。前30行掃描線是垂直消隱,其持續(xù)時(shí)間被稱為垂直消隱期111。其余720行掃描線是有效視頻行,其持續(xù)時(shí)間被稱為垂直正程期112。在74.25MHz頻率采樣時(shí),每行掃描線有1650個(gè)時(shí)鐘取樣。每個(gè)掃描線的最后370個(gè)取樣是水平消隱,其持續(xù)時(shí)間稱為水平消隱期122。每個(gè)有效視頻行的前1280個(gè)取樣代表有效的1280個(gè)亮度像素,其持續(xù)時(shí)間稱為水平正程期,標(biāo)記為121。所有垂直正程且水平正程中的亮度像素代表了一個(gè)高清視頻幀的1280×720像素的高清亮度圖像Y。由于色度圖像在水平和垂直方向上有2倍下抽樣,兩個(gè)色度圖像U和V分別為640×360像素。
在圖示的本發(fā)明的實(shí)施例中,每一個(gè)1280×720像素的視頻幀圖像被劃分成變換塊,歸一化區(qū)和傳輸區(qū),如圖2至4所示,以備在下述的本發(fā)明的傳輸方法的處理步驟中使用。首先,高清1280×720圖像被劃分成45個(gè)水平條,從上到下分別標(biāo)記為201,202…,245,如圖2所示。每個(gè)水平條為16×1280像素。第二,每個(gè)水平條劃分為16個(gè)區(qū),從左到右,第一水平條201中的區(qū)標(biāo)記為20101,20102,…,20116,直至最后一個(gè)水平條245中的區(qū)24501,24502,…,24516。每個(gè)區(qū)是80×16像素。在圖示的傳輸方法的實(shí)施例中,這些區(qū)被同時(shí)用作歸一化區(qū)和傳輸區(qū)。第三、每個(gè)區(qū)被分為5個(gè)宏塊,從左到右標(biāo)記為301、302、……,305,如圖3所示。每個(gè)宏塊為16×16像素。最后,每個(gè)宏塊包括一個(gè)16×16像素的亮度圖像和兩個(gè)8×8像素的色度圖像。16×16像素的亮度圖像分成4個(gè)亮度塊。每一個(gè)亮度塊是8x8像素,在圖4中分別標(biāo)記為401,402,403和404。兩個(gè)8×8像素的色度圖像分別標(biāo)記為405和406。在圖示的本發(fā)明的實(shí)施例中,采用了這些8×8像素塊作為變換塊。
圖5示出了本發(fā)明的高清視頻傳輸?shù)姆椒ㄒ粋€(gè)實(shí)施例。按上述步驟劃分之后,所提出的傳輸方法在源視頻的每個(gè)視頻幀圖像上進(jìn)行下述步驟:
步驟1。塊預(yù)測(cè)步驟510是可選的。在本發(fā)明的圖示實(shí)施例中,對(duì)于每個(gè)8x8像素的原始圖像塊,塊預(yù)測(cè)步驟510從同一幀圖像或在過(guò)去/未來(lái)的幀圖像的像素中產(chǎn)生一個(gè)8×8像素的預(yù)測(cè)塊。從原始圖像塊中減去預(yù)測(cè)塊,產(chǎn)生殘差圖像塊。生成預(yù)測(cè)塊的方法有多種。這些方法超出了本發(fā)明的范圍,不予詳述。
步驟2。在本發(fā)明的圖示實(shí)施例中,取決于可選塊預(yù)測(cè)是否存在,2D-DCT空間域變換步驟520將每個(gè)8×8像素的原始圖像塊或殘差圖像塊轉(zhuǎn)換到變換域,并產(chǎn)生相同大小的DCT系數(shù)塊。參加空間變換的塊的順序是可以改變的。在本發(fā)明的一個(gè)特定實(shí)施例中,為了盡量減少處理延遲,第一區(qū)20101中的所有塊首先被變換,然后下一個(gè)區(qū)20102被變換,直至最后一個(gè)區(qū)24516。
步驟3。直流差分編碼步驟530是可選的。在本發(fā)明的圖示實(shí)施例中,步驟530產(chǎn)生的DC系數(shù)的預(yù)測(cè)值,從原始的DC系數(shù)減去該預(yù)測(cè)值,產(chǎn)生殘差直流系數(shù)。殘差直流系數(shù)被數(shù)字量化,編碼成數(shù)字比特。有各種各樣的方法來(lái)生成直流系數(shù)的預(yù)測(cè)和編碼殘差直流系數(shù),例如JPEG標(biāo)準(zhǔn)編碼的差分直流編碼。這些方法超出了本發(fā)明的范圍,不予詳述。這些方法對(duì)于在該領(lǐng)域技能的人員也是熟悉的。
步驟4。量化步驟540是可選的。在本發(fā)明的一個(gè)實(shí)施例中,根據(jù)特定的量化表,DCT系數(shù)被數(shù)字量化。在本發(fā)明的另一實(shí)施例中,幅值低于特定閾值的小的DCT系數(shù)被置零,而其余的大的DCT系數(shù)則不變,沒(méi)有任何數(shù)字量化。
步驟5。歸一化步驟550是可選的。在本發(fā)明的圖示實(shí)施例中,歸一化步驟用同一個(gè)數(shù)乘以在同一個(gè)歸一化區(qū)中所有的DCT系數(shù),此數(shù)稱為拉伸因子。在本發(fā)明的圖示實(shí)施例中,在同一個(gè)歸一化區(qū)的所有DCT系數(shù)塊上計(jì)算平均加權(quán)平方和。平均加權(quán)平方和與某一特定值比較,以此選擇一個(gè)拉伸因子使得歸一化后的平均加權(quán)平方等于或接近于該特定值。拉伸因子由離散的數(shù)字式比特傳送到收端。對(duì)于YUV4:2:0彩色各式的示例高清視頻720p60,亮度和色度圖像可由各自的拉伸因子分別歸一化。其中,亮度的平均加權(quán)平方和在歸一化區(qū)內(nèi)的20個(gè)亮度塊上計(jì)算的,兩個(gè)色度圖像的平均加權(quán)平方和則在各自的5個(gè)色度塊上計(jì)算。亮度和色度塊由各自的拉伸因子分別縮放。所有3個(gè)拉伸因子都由離散的數(shù)字式比特傳送到收端。
步驟6。在本發(fā)明的圖示實(shí)施例中,采用了一種簡(jiǎn)單的映射方法560。每個(gè)8x8DCT系數(shù)塊由之字形掃描,轉(zhuǎn)換成一個(gè)64個(gè)元素長(zhǎng)的一維塊系數(shù)數(shù)組。該區(qū)共有30個(gè)塊系數(shù)數(shù)組。所有的塊系數(shù)數(shù)組交織排列,產(chǎn)生一個(gè)1920個(gè)元素長(zhǎng)的一維區(qū)系數(shù)數(shù)組。第一個(gè)塊系數(shù)數(shù)組的第一個(gè)元素成為區(qū)系數(shù)數(shù)組的第一個(gè)元素。第一個(gè)塊系數(shù)數(shù)組的第二個(gè)元素成為區(qū)系數(shù)數(shù)組的第三十一個(gè)元素等。交織順序由下述公式給出
區(qū)系數(shù)數(shù)組的元素序號(hào)=(塊系數(shù)數(shù)組的元素序號(hào)-1)×30+變換系數(shù)塊的序號(hào)
其中區(qū)系數(shù)數(shù)組的元素序號(hào)是一個(gè)整數(shù),范圍從1到1920,塊系數(shù)數(shù)組的元素序號(hào)是一個(gè)整數(shù),范圍從1到64,變換系數(shù)塊的序號(hào)是一個(gè)整數(shù),范圍從1到30。
在圖示的DCT-OFDMA傳輸方法的實(shí)施例中,映射560順序地將區(qū)系數(shù)數(shù)組的所有1920個(gè)元素,按從低到高的時(shí)間頻率順序,分配到準(zhǔn)連續(xù)OFDM符號(hào)的960個(gè)子載波的實(shí)部和虛部上。順序分配的準(zhǔn)連續(xù)子載波可能是不相連的,這是因?yàn)橐恍㎡FDM子可被保留,有些可能被分配為固定或移動(dòng)的導(dǎo)頻,或數(shù)字調(diào)制。數(shù)字式數(shù)據(jù)的比特被映射到數(shù)字OFDM子載波的星座上。
在圖示的DCT-CDMA傳輸方法的實(shí)施例中,映射560順序地將區(qū)系數(shù)數(shù)組的所有1920個(gè)元素,分配到1920個(gè)準(zhǔn)連續(xù)CDMA實(shí)調(diào)制擴(kuò)頻序列上。或者另外地,映射560還可以將所有1920個(gè)實(shí)數(shù)元素配對(duì),成為960復(fù)數(shù)元素,并將其分配給960個(gè)準(zhǔn)連續(xù)CDMA復(fù)調(diào)制擴(kuò)頻序列。同樣,數(shù)字式數(shù)據(jù)的比特被映射到數(shù)字CDMA擴(kuò)頻序列的星座上。
步驟7。在圖示的DCT-OFDMA傳輸方法的實(shí)施例中,IFFT步驟570將OFDM符號(hào)從頻域變換到時(shí)域。根據(jù)不同的傳輸信道,選用1024點(diǎn)復(fù)IFFT或2048點(diǎn)實(shí)IFFT。在信道是一個(gè)單根同軸電纜的情況下,傳輸信號(hào)是在基帶中傳輸?shù)膶?shí)信號(hào),則選用2048點(diǎn)實(shí)IFFT。為了在時(shí)域產(chǎn)生實(shí)信號(hào),IFFT以共軛對(duì)稱操作填補(bǔ)高頻端另一半的頻譜。經(jīng)過(guò)IFFT后,產(chǎn)生2048點(diǎn)實(shí)信號(hào)波形。對(duì)于YUV4:2:0彩色格式的示例高清視頻720p60,當(dāng)在時(shí)域的2048實(shí)信號(hào)波形的采樣頻率為118.8MHz時(shí),OFDM符號(hào)的持續(xù)時(shí)間恰好等于每個(gè)正程掃描行的水平正程期121。
在圖示的DCT-CDMA傳輸方法的實(shí)施例中,擴(kuò)頻步驟571將每個(gè)DCT系數(shù)與分配的擴(kuò)頻序列相乘。雖然DCT系數(shù)在數(shù)字信號(hào)處理電路中是用有限比特?cái)?shù)表達(dá)的,但是其是準(zhǔn)連續(xù)取值的,因此步驟571是由算術(shù)乘法實(shí)現(xiàn)的準(zhǔn)連續(xù)調(diào)制。已調(diào)制的擴(kuò)頻序列疊加在一起,產(chǎn)生CDMA信號(hào)。對(duì)于YUV4:2:0彩色格式的示例高清視頻720p60,當(dāng)采用2048點(diǎn)正交沃爾什碼,且在時(shí)域的2048實(shí)信號(hào)波形的采樣頻率為118.8MHz時(shí),CDMA序列的持續(xù)時(shí)間恰好等于每個(gè)正程掃描行的水平正程期121。在水平消隱期122和垂直消隱期111,存在各種傳輸選擇。例如,發(fā)端可以傳輸原光柵掃描的高清視頻信號(hào)中的同步和消隱信號(hào)。發(fā)端也可以發(fā)射特定的輔助信號(hào),如特定的訓(xùn)練信號(hào)。發(fā)端可以被關(guān)閉禁用。這些選擇已為有該領(lǐng)域技術(shù)的人員所知悉,不再詳述。在傳輸之前,得到的時(shí)域CDMA信號(hào)可以通過(guò)上變頻后在通帶傳輸,或直接在基帶信道上傳輸?shù)礁咔逡曨l收端。通常圖示的DCT-CDMA傳輸方法的實(shí)例中,一些或所有的步驟是由數(shù)字電路進(jìn)行的。因此,在傳輸?shù)叫诺乐?,?shù)字表示的信號(hào)要通過(guò)數(shù)模轉(zhuǎn)換器轉(zhuǎn)換成模擬信號(hào)。
步驟8。在圖示的DCT-OFDMA傳輸方法的實(shí)施例中,CS插入步驟580在每個(gè)OFDM符號(hào)后插入CS。在信道是一個(gè)單根同軸電纜的情況下,當(dāng)采用118.8MHz采樣頻率的2048點(diǎn)實(shí)IFFT時(shí),CS的持續(xù)時(shí)間正好等于水平消隱期122,就是592個(gè)118.8MHz取樣點(diǎn)。OFDM符號(hào)的前592個(gè)取樣點(diǎn)在OFDM符號(hào)后立即重復(fù)。同樣,在垂直消隱期111內(nèi),存在各種傳輸選擇。例如,發(fā)端可以傳輸原光柵掃描的高清視頻信號(hào)中的同步和消隱信號(hào)。發(fā)端也可以發(fā)射特定的輔助信號(hào),如特定的訓(xùn)練信號(hào)。發(fā)射器可以被關(guān)閉禁用。這些選擇已為有該領(lǐng)域技術(shù)的人員所知悉,不再詳述。在傳輸之前,得到的時(shí)域OFDM信號(hào)可以通過(guò)上變頻后在通帶傳輸,或直接在基帶信道上傳輸?shù)礁咔逡曨l收端。通常,圖示的DCT-OFDMA傳輸方法的實(shí)例中,一些或所有的步驟是由數(shù)字電路進(jìn)行的。因此,在傳輸?shù)叫诺乐埃瑪?shù)字表示的信號(hào)要通過(guò)數(shù)模轉(zhuǎn)換器轉(zhuǎn)換成模擬信號(hào)。
圖6示出了示例高清720p60經(jīng)過(guò)DCT-OFDMA傳輸方法產(chǎn)生的一個(gè)視頻幀周期內(nèi)的傳輸信號(hào)的一個(gè)實(shí)施例。在垂直消隱期111,即前30個(gè)掃描行,因光柵掃描的源視頻信號(hào)沒(méi)有有效視頻,故也不傳輸有效視頻。在每個(gè)正程掃描行期間,即掃描行31到750,一個(gè)攜帶80×16像素的圖像塊的OFDM符號(hào)在水平正程期121傳輸,其CS在同一行的水平消隱期122傳輸。第一個(gè)OFDM符號(hào),標(biāo)記為60011,傳輸?shù)谝凰綏l201中的第一區(qū)20101的圖像信息,其CS,標(biāo)記為60012,緊隨其后。以此類推,最后一個(gè)OFDM符號(hào),即第720個(gè)OFDM符號(hào),標(biāo)記為67201,攜帶最后一個(gè)水平條245中的最后一個(gè)區(qū)24516的圖像信息,其CS,標(biāo)記為67202,緊隨其后。
值得注意的是,在圖示的本發(fā)明的實(shí)施例中,可以選擇不同的OFDM信號(hào)采樣頻率。較低的采樣頻率使OFDM符號(hào)的持續(xù)時(shí)間變長(zhǎng),因此CS時(shí)間變短,反之亦然。
值得注意的是,當(dāng)所有的DCT系數(shù)采用準(zhǔn)連續(xù)調(diào)制時(shí),實(shí)施例中給出的傳輸方法不發(fā)生可變的處理延遲,而是只發(fā)生固定的處理延遲。假設(shè)輸入是光柵掃描的高清視頻信號(hào),在圖示的本發(fā)明的實(shí)施例中,高清視頻發(fā)端理論上的最小延遲是16掃描行行周期。假設(shè)收端輸出也是光柵掃描的高清視頻信號(hào),其理論上的最小延遲也是16掃描行周期。理論上最小的端到端的總延遲是32個(gè)掃描行周期。
本發(fā)明是根據(jù)附圖和實(shí)施例來(lái)說(shuō)明的。但是應(yīng)當(dāng)理解,本發(fā)明并不局限于這些實(shí)施例。在本發(fā)明的方法的變型中,一些步驟的順序是可以改變的,一些步驟可以組合在一起,有些可以分成多步,有些可以修改。本領(lǐng)域技術(shù)人員可以在不脫離所附權(quán)利要求限定的本發(fā)明的原理和范圍內(nèi)進(jìn)行修改和變化。
參考文獻(xiàn)
[1]Jun Yin et al.,Method and device for transmitting high-definition video signal,Pub.No.CN102724518A,CN1027245188,W02013170763A1,May 6,2012
[2]Jun Yin et al.,Method and device for high-definition digital video signal transmission,and camera and acquisition equipment,Pub.No.CN1027245 19A,CN102724519B,W02013170766A1.May 6,2012