專(zhuān)利名稱(chēng)：視頻傳輸系統(tǒng),視頻傳輸單元和編碼/解碼視頻數(shù)據(jù)的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻/圖像傳輸系統(tǒng)和視頻/圖像編碼/解碼技術(shù)。本發(fā)明應(yīng)用于(但不限于)在低帶寬通信系統(tǒng)中高效多路復(fù)用視頻流。
背景技術(shù)：
在本發(fā)明的領(lǐng)域中，經(jīng)常需要從多個(gè)發(fā)射器發(fā)送圖像到單個(gè)接收器，例如在一個(gè)安全監(jiān)視應(yīng)用中，一個(gè)操作者對(duì)多個(gè)攝像機(jī)輸入負(fù)責(zé)。
例如，在使用ITU H.263[ITU-T建議，H.263“用于低碼率通信的視頻編碼(Video Coding for Low Bit Rate Communication)”]視頻壓縮的系統(tǒng)中，視頻序列的第一幀作為幀內(nèi)編碼(intra-coded)信息發(fā)射。隨該幀內(nèi)編碼信息之后的是較快的相互編碼(inter-coded)信息。
很清楚，在多數(shù)商業(yè)視頻系統(tǒng)中，存在一個(gè)帶寬限制。具體地，在低帶寬系統(tǒng)中，帶寬是一個(gè)關(guān)鍵的和有價(jià)值的商品，其中幀內(nèi)編碼幀經(jīng)常包含相對(duì)大量的數(shù)據(jù)。結(jié)果，花費(fèi)相對(duì)較長(zhǎng)時(shí)間來(lái)發(fā)射包括幀內(nèi)編碼幀在內(nèi)的視頻傳輸。
在視頻序列中發(fā)射的第一幅圖像總是幀內(nèi)編碼(I)幀。該I-幀包含關(guān)于整個(gè)圖像的數(shù)據(jù)。由于在I-幀中需要大量數(shù)據(jù)，視頻系統(tǒng)設(shè)計(jì)者通常面臨圖像的空間質(zhì)量和傳輸時(shí)間之間的折衷。在低帶寬系統(tǒng)中尤其如此，例如由歐洲通電信標(biāo)準(zhǔn)協(xié)會(huì)(ETSI)規(guī)定的陸地中繼無(wú)線(xiàn)系統(tǒng)(TETRA)。
I-幀的后續(xù)幀作為預(yù)測(cè)(P)幀編碼。后續(xù)幀預(yù)測(cè)的使用提高了幀速率。P-幀利用在上次傳輸?shù)膸彤?dāng)前幀之間的瞬時(shí)相似性減少要傳輸?shù)臄?shù)據(jù)量。
在本發(fā)明的上下文中，以及本發(fā)明優(yōu)于已知技術(shù)的優(yōu)點(diǎn)的表示，如在余下的描述中所使用的，術(shù)語(yǔ)“視頻傳輸”包含不同視頻技術(shù)。這些通常包括以不同數(shù)據(jù)速率傳輸實(shí)時(shí)或接近實(shí)時(shí)圖像。在后續(xù)說(shuō)明中，術(shù)語(yǔ)“視頻”也包含圖像傳輸，圖像傳輸通常被看作一幀視頻。此外，涉及到的視頻技術(shù)可能(例如)還包括流動(dòng)的，或編碼存儲(chǔ)從而使視頻圖像可在之后觀看的視頻。
首先參考圖1，在此顯示了現(xiàn)有技術(shù)的視頻通信系統(tǒng)100，其使用基于塊的編解碼器，例如公知的H.263編碼工具裝置。將視頻信號(hào)110提供給基于塊的編解碼器120，它處理該視頻信號(hào)110并提供編碼輸出信號(hào)140。速率控制元件130控制幀速率并基于塊的編解碼器120的量化，從而確定編碼輸出信號(hào)140的數(shù)據(jù)帶寬。
因此，留給視頻圖像被壓縮的視頻通信系統(tǒng)的設(shè)計(jì)者一個(gè)兩難的境地應(yīng)當(dāng)傳輸?shù)蛪嚎s的幀內(nèi)編碼幀(I-幀)以提供良好的空間分辨率嗎？在做出決定時(shí)，設(shè)計(jì)者需要考慮，這樣的方案造成過(guò)長(zhǎng)的視頻傳輸時(shí)間。
可選地，可能傳輸高壓縮程度的I-幀。然而，如果這樣，最后得到的圖像可能空間分辨率差，圖像細(xì)節(jié)質(zhì)量太差從而使接收者不能識(shí)別，和/或感覺(jué)到的圖像質(zhì)量差。這使得難以從圖像中提取信息。
對(duì)于在解碼器接收和顯示的第一幅圖像，通常采用在圖像的空間分辨率和通信延遲之間的折衷。然而這樣導(dǎo)致了次最優(yōu)(sub-optimal)系統(tǒng)性能。例如，第一高壓縮圖像用低延遲傳輸，其細(xì)節(jié)用后續(xù)的相互編碼幀填充。雖然圖像增強(qiáng)到對(duì)于用戶(hù)可接受的空間分辨率，然而這樣導(dǎo)致了時(shí)間延遲。
在CCTV監(jiān)視應(yīng)用中，多個(gè)攝像機(jī)傳輸視頻到一個(gè)或多個(gè)顯示器。編碼數(shù)據(jù)流通常將多路復(fù)用，從而使一個(gè)數(shù)據(jù)流到達(dá)解碼器單元并使用視頻解碼器解碼，如圖2所示。在接收器端使用單個(gè)解碼器而非多個(gè)解碼器通常是因?yàn)槎鄠€(gè)解碼器會(huì)昂貴；耗盡有價(jià)值的設(shè)備空間；浪費(fèi)能源；由于許多處理資源保持未使用而包含冗余。
同樣，當(dāng)從視頻傳輸系統(tǒng)中加入/刪除攝像機(jī)時(shí)，快速調(diào)整容量增/減也是困難的，因?yàn)槟菍⑿枰砑?刪除額外的解碼器。
圖2顯示一個(gè)現(xiàn)有技術(shù)多編碼器單解碼器視頻/圖像傳輸系統(tǒng)200。該系統(tǒng)包括視頻編碼器單元220，230，240，每個(gè)都分別具有用于存儲(chǔ)其各自當(dāng)前重建的視頻/圖像幀的幀存儲(chǔ)器225，235，245。三個(gè)單元僅為清楚目的顯示，而在現(xiàn)實(shí)系統(tǒng)中，可能有數(shù)以百計(jì)的編碼單元，并且在極少的情況下，可能有數(shù)以千計(jì)的編碼單元(攝像機(jī))。
對(duì)于每個(gè)要傳輸?shù)囊曨l圖片，編碼器單元生成“重建圖片”。該重建圖片通過(guò)將解碼過(guò)程應(yīng)用到一個(gè)先前編碼的圖像上形成。編碼器要傳輸?shù)臄?shù)據(jù)通過(guò)將離散余弦變換(DCT)，量化，和霍夫曼(Huffman)編碼應(yīng)用到要傳輸?shù)漠?dāng)前視頻幀間的不同以及重建圖片的適當(dāng)運(yùn)動(dòng)補(bǔ)償延遲版本來(lái)形成。因此，視頻編碼器單元220，230，240發(fā)射已編碼的各自輸入視頻圖像之間的不同以及運(yùn)動(dòng)補(bǔ)償存儲(chǔ)視頻/圖像幀228，238，248到具有單個(gè)視頻/圖像幀存儲(chǔ)器215的單個(gè)視頻解碼器210。
值得注意的是，在這樣一個(gè)典型的圖像傳輸系統(tǒng)中，編碼器無(wú)需編碼每一個(gè)輸入幀。為獲得預(yù)期的比特速率，簡(jiǎn)單的丟棄某些幀。這就是為什么使用這種現(xiàn)有技術(shù)方法的接收?qǐng)D片不平穩(wěn)的原因。當(dāng)在第一I幀和下一可用P幀之間有長(zhǎng)延遲，即意味著丟棄了很多中間幀時(shí)，會(huì)造成這種不平穩(wěn)的圖片。
然而，當(dāng)在多個(gè)視頻發(fā)射器和在接收器端的單個(gè)解碼器之間存在共享通信信道的情況下，則接收器每次選擇一個(gè)視頻發(fā)射器，傳輸以幀內(nèi)編碼(I)幀開(kāi)始。這樣一種機(jī)制是無(wú)效率的，如下面參考圖3顯示的。
圖3顯示以上現(xiàn)有技術(shù)視頻/圖像傳輸系統(tǒng)的系統(tǒng)性能表現(xiàn)300。如圖所示，在編碼器-1的幀存儲(chǔ)器225內(nèi)的要發(fā)射的幀和運(yùn)動(dòng)補(bǔ)償重建圖片之間的已壓縮和編碼的不同在第一時(shí)間周期內(nèi)傳輸?shù)浇獯a器(228)，將其解碼以創(chuàng)建存儲(chǔ)在解碼器幀存儲(chǔ)器215中存儲(chǔ)的重建輸出圖片。
值得注意的是，相較于可用的傳輸時(shí)隙時(shí)間，幀內(nèi)編碼(I)幀花費(fèi)較大量時(shí)間進(jìn)行傳輸和接收。結(jié)果，在傳輸時(shí)隙時(shí)間內(nèi)僅能發(fā)射和接收有限數(shù)目的預(yù)測(cè)P-幀。視頻解碼器輸出310對(duì)應(yīng)于解碼器幀存儲(chǔ)器215。
編碼器-2的幀存儲(chǔ)器235內(nèi)的要發(fā)射的幀和運(yùn)動(dòng)補(bǔ)償重建圖片之間的已壓縮和編碼的不同在第二時(shí)間周期內(nèi)傳輸?shù)浇獯a器(238)，將其解碼以創(chuàng)建存儲(chǔ)在解碼器幀存儲(chǔ)器215中存儲(chǔ)的重建輸出圖片。值得注意的是，相較于可用的傳輸時(shí)隙時(shí)間，幀內(nèi)編碼(I)幀再次花費(fèi)較大量時(shí)間進(jìn)行傳輸和接收。十分清楚這限制了發(fā)送的P-幀的數(shù)目。
以相似方式，在返回到發(fā)射編碼器-1的幀存儲(chǔ)器225內(nèi)要發(fā)射的下一幀和先前運(yùn)動(dòng)補(bǔ)償重建圖片之間的已壓縮和編碼的不同之前，編碼器-3的幀存儲(chǔ)器245使用第三時(shí)間周期。
可選地，如果發(fā)送了更多的P-幀，例如使用兩個(gè)或更多傳輸時(shí)隙，該系統(tǒng)將經(jīng)受一個(gè)相對(duì)較低的輪詢(xún)速率(polling rate)。
相較于直接編碼器到解碼器的視頻發(fā)射器系統(tǒng)，多路復(fù)用視頻流系統(tǒng)可能經(jīng)歷較低幀更新速率，這也是已知的。在大數(shù)量系統(tǒng)配置中該問(wèn)題更明顯，例如，在使用電路交換或分組交換數(shù)據(jù)傳輸模式的TETRA系統(tǒng)上的安全或監(jiān)視系統(tǒng)。如果該監(jiān)視系統(tǒng)需要管理較大數(shù)量，例如超過(guò)100的視頻解碼器/發(fā)射器，問(wèn)題進(jìn)一步惡化。這可能包括例如鐵路或機(jī)場(chǎng)的延伸。
因此，在本發(fā)明的領(lǐng)域中需要提供一種視頻發(fā)射系統(tǒng)，一種視頻發(fā)射單元，編碼/解碼視頻數(shù)據(jù)的方法以及一種輪詢(xún)(polling)攝像機(jī)的方法，其中上述缺點(diǎn)得以減輕。US-A-6038364，WO-A-01/13639，US-A-5724475，US-A-4961211是已知的現(xiàn)有技術(shù)。

發(fā)明內(nèi)容
本發(fā)明提供一種視頻傳輸系統(tǒng)，一種視頻編碼器，通信單元，視頻解碼器，一種在視頻傳輸系統(tǒng)中編碼的方法，一種在視頻傳輸系統(tǒng)中解碼的方法，一種在視頻傳輸系統(tǒng)中輪詢(xún)攝像機(jī)的方法，一種在視頻發(fā)射器系統(tǒng)中控制多個(gè)視頻編碼器的方法，以及一種存儲(chǔ)介質(zhì)，其存儲(chǔ)用于控制處理器的處理器可執(zhí)行指令。
附圖簡(jiǎn)要說(shuō)明圖1顯示現(xiàn)有技術(shù)中的采用基于塊的編碼/解碼機(jī)制的視頻傳輸系統(tǒng)。
圖2顯示現(xiàn)有技術(shù)中多路復(fù)用視頻傳輸系統(tǒng)。
圖3顯示圖2的現(xiàn)有技術(shù)視頻傳輸系統(tǒng)的系統(tǒng)性能的表現(xiàn)。
現(xiàn)在參考


本發(fā)明的示范性實(shí)施例，其中圖4顯示根據(jù)本發(fā)明一個(gè)優(yōu)選實(shí)施例的多路復(fù)用視頻傳輸系統(tǒng)。
圖5a和5b顯示根據(jù)本發(fā)明一個(gè)優(yōu)選實(shí)施例的圖4的視頻傳輸系統(tǒng)的系統(tǒng)性能的表現(xiàn)。
圖6顯示根據(jù)本發(fā)明一個(gè)優(yōu)選實(shí)施例，詳細(xì)說(shuō)明在多路復(fù)用視頻傳輸系統(tǒng)中編碼器(傳送視頻單元)的操作的流程圖。
圖7顯示根據(jù)本發(fā)明一個(gè)優(yōu)選實(shí)施例，詳細(xì)說(shuō)明在多路復(fù)用視頻傳輸系統(tǒng)中解碼器(接收視頻單元)的操作的流程圖。
圖8顯示根據(jù)本發(fā)明一個(gè)優(yōu)選實(shí)施例，在多路復(fù)用視頻傳輸系統(tǒng)中解碼器(接收視頻單元)的框圖。
圖9顯示根據(jù)本發(fā)明一個(gè)優(yōu)選實(shí)施例，強(qiáng)調(diào)攝像機(jī)輪詢(xún)機(jī)制的時(shí)序圖。
圖10顯示根據(jù)本發(fā)明一個(gè)優(yōu)選實(shí)施例，強(qiáng)調(diào)緊急信令機(jī)制的時(shí)序圖。
具體實(shí)施例方式
如上所述，在常規(guī)“一對(duì)一”視頻傳輸系統(tǒng)中，編碼器和解碼器每個(gè)都具有單個(gè)幀存儲(chǔ)器，用以保存前次的重建圖像。通過(guò)存儲(chǔ)前次的重建圖像，下一幀可從這幅圖像(P-幀)中預(yù)測(cè)出來(lái)，因此避免傳輸整個(gè)下一幀到解碼器。這樣一種預(yù)測(cè)技術(shù)有助于更高的系統(tǒng)幀速率。對(duì)于工作滿(mǎn)意度的預(yù)測(cè)，很明顯，編碼器和解碼器的幀存儲(chǔ)器中都必須包含相同的圖像。
總之，根據(jù)本發(fā)明的優(yōu)選實(shí)施例，提供獨(dú)立于發(fā)射視頻編碼器的數(shù)目，允許使用接收器端的單個(gè)解碼器的機(jī)制。然而，當(dāng)使用多視頻發(fā)射器，單接收器系統(tǒng)時(shí)，在現(xiàn)有技術(shù)的系統(tǒng)中的接收器幀存儲(chǔ)器僅包含來(lái)自當(dāng)前選定的視頻發(fā)射器的前次重建圖像。這將導(dǎo)致每當(dāng)多路復(fù)用器選擇新的視頻發(fā)射器時(shí)都需要發(fā)射I-幀。
這一潛在問(wèn)題在本發(fā)明中通過(guò)在解碼器提供多個(gè)幀存儲(chǔ)器解決，例如每編碼器/視頻發(fā)射器一個(gè)。因此，通過(guò)返回到前次的重建幀，解碼單元能立即恢復(fù)與任何一個(gè)編碼單元的視頻鏈路。通過(guò)返回到前次的重建幀，可以立即發(fā)送更快速的P-幀。
有利地，這樣避免了每當(dāng)視頻鏈路重新連接時(shí)都要發(fā)射新的I-幀。結(jié)果，相較于每次必須發(fā)射I-幀的視頻傳輸系統(tǒng)，這樣一種機(jī)制使得視頻傳輸系統(tǒng)工作在更高幀速率和/或更快輪詢(xún)時(shí)間。
此外，本發(fā)明提供控制多個(gè)視頻編碼器的優(yōu)選方法，從而當(dāng)每個(gè)編碼器到達(dá)分配給它的傳輸時(shí)間的末尾時(shí)，或被另一個(gè)具有更高優(yōu)先級(jí)的攝像機(jī)/編碼器中斷時(shí)，存儲(chǔ)最近的重建幀。不進(jìn)行進(jìn)一步的處理，直至通知該發(fā)射器再次開(kāi)始發(fā)射。這樣確保了編碼器和解碼器幀存儲(chǔ)器保持同步，并總包含完全相同的前次重建幀。
為保持最大圖片質(zhì)量，系統(tǒng)必須確保在編碼器中的存儲(chǔ)幀與對(duì)應(yīng)解碼器幀存儲(chǔ)器中的存儲(chǔ)幀精確匹配。通過(guò)確保編碼器和解碼器返回到先前“重建”幀，也即在視頻傳輸序列的中斷之后，獲得同步機(jī)制。通過(guò)各自編碼器和單個(gè)解碼器跟蹤獲得同步，例如通過(guò)幀號(hào)和/或用于那個(gè)視頻鏈路的特定前次重建幀的絕對(duì)時(shí)序，或其他方法來(lái)獲得同步。
例如，假定攝像機(jī)N正發(fā)射壓縮的視頻數(shù)據(jù)給解碼器。用于系統(tǒng)的控制機(jī)制可能被設(shè)定為每次當(dāng)其被輪詢(xún)時(shí)，允許每個(gè)攝像機(jī)發(fā)射p秒。因此，當(dāng)攝像機(jī)N接收到來(lái)自系統(tǒng)控制的允許它開(kāi)始發(fā)射的信號(hào)時(shí)，開(kāi)啟一個(gè)定時(shí)器。當(dāng)定時(shí)器到達(dá)p秒，攝像機(jī)N停止編碼，在其幀存儲(chǔ)器中凍結(jié)(freeze)前次重建圖片。
在解碼器，每當(dāng)發(fā)生發(fā)射攝像機(jī)的改變時(shí)啟動(dòng)一個(gè)定時(shí)器。當(dāng)p秒過(guò)去后，解碼器在其幀存儲(chǔ)器中凍結(jié)前次重建圖片，并準(zhǔn)備開(kāi)始來(lái)自攝像機(jī)N+1的解碼。
然而，使用可選的同步機(jī)制也在本發(fā)明的保護(hù)范圍之內(nèi)，例如在一個(gè)輪詢(xún)時(shí)隙周期(可用時(shí)間)期間允許來(lái)自各攝像機(jī)的要發(fā)射的規(guī)定數(shù)目的幀使用重建幀號(hào)作為參考，或控制可由外部控制機(jī)制發(fā)射的幀的時(shí)間和/或幀號(hào)。
在正常的輪詢(xún)操作中，在本發(fā)明的優(yōu)選實(shí)施例，攝像機(jī)可在控制信道上接收指令以停止發(fā)射。此時(shí)，編碼器必須凍結(jié)源圖像的采集，并且處理殘留在其緩存器中的數(shù)據(jù)。傳輸系統(tǒng)必須允許這最后的數(shù)據(jù)獲得優(yōu)先權(quán)，從而解碼器可以更新適當(dāng)?shù)膸鎯?chǔ)器，并且它也保持凍結(jié)。
如果發(fā)生中斷，例如在操作者必須查看一個(gè)失序的編碼器的緊急情形中，系統(tǒng)需要能夠快速確定當(dāng)從該發(fā)射器接收到新信息時(shí)，解碼器應(yīng)當(dāng)訪(fǎng)問(wèn)哪一個(gè)幀存儲(chǔ)器。在一個(gè)可能有例如超過(guò)100個(gè)攝像機(jī)要輪詢(xún)的高性能系統(tǒng)中，這是關(guān)鍵的。根據(jù)本發(fā)明的優(yōu)選實(shí)施例的機(jī)制避免發(fā)射I-幀數(shù)據(jù)的需要。
現(xiàn)在參考圖4，根據(jù)本發(fā)明的一個(gè)優(yōu)選實(shí)施例，顯示多路復(fù)用視頻傳輸系統(tǒng)400。該系統(tǒng)包括視頻編碼器單元420，430，440，每個(gè)都有各自的幀存儲(chǔ)器425，435，445，用于存儲(chǔ)與其各自當(dāng)前視頻/圖像幀有關(guān)的重建圖片。僅為清楚起見(jiàn)顯示3個(gè)單元。
反過(guò)來(lái)，視頻編碼器單元420，430，440發(fā)射在輸入的各自視頻圖像之間的已編碼的不同，以及運(yùn)動(dòng)補(bǔ)償各自存儲(chǔ)的視頻/圖像幀428，438，448到單個(gè)視頻解碼器410。
值得注意的是，根據(jù)本發(fā)明的優(yōu)選實(shí)施例，單個(gè)視頻解碼器410包括多個(gè)視頻/圖像幀存儲(chǔ)器412，414，416。多個(gè)視頻/圖像幀存儲(chǔ)器412，414，416中的每一個(gè)保持從各自發(fā)射單元/編碼器發(fā)射的壓縮和編碼的數(shù)據(jù)中解碼的前次重建幀。
在使用多個(gè)視頻/圖像幀存儲(chǔ)器412，414，416時(shí)，在單個(gè)視頻解碼器410，避免了先前現(xiàn)有技術(shù)中在輪詢(xún)序列內(nèi)的所有傳輸以幀內(nèi)編碼幀開(kāi)始的要求。這樣一種機(jī)制更加有效，如下面參考圖5a顯示的。
現(xiàn)在參考圖5a，顯示了以上視頻通信系統(tǒng)的系統(tǒng)性能的表現(xiàn)500。如圖所示，編碼器-1的幀存儲(chǔ)器425內(nèi)要發(fā)射的幀與運(yùn)動(dòng)補(bǔ)償重建圖片之間的壓縮和編碼的差別在第一時(shí)間周期被發(fā)射給解碼器(428)，以解碼從而創(chuàng)建存儲(chǔ)在解碼器幀存儲(chǔ)器412中的重建輸出圖片。
應(yīng)當(dāng)注意到，一旦建立了輪詢(xún)，相較于可用傳輸時(shí)隙和現(xiàn)有技術(shù)中參考圖3描述的機(jī)制，任何時(shí)隙的第一幀的傳輸和接收占用大大減少的時(shí)間，因?yàn)樗且粋€(gè)P-幀而非I-幀。結(jié)果，在傳輸時(shí)隙中，極大提高了發(fā)射和接收的預(yù)測(cè)P-幀的數(shù)量。視頻解碼器輸出510對(duì)應(yīng)于各自解碼器幀存儲(chǔ)器幀存儲(chǔ)器-1 412，幀存儲(chǔ)器-2 414，幀存儲(chǔ)器-3 416。
如圖所示，在編碼器-2的幀存儲(chǔ)器435內(nèi)的要發(fā)射的幀與運(yùn)動(dòng)補(bǔ)償重建圖片之間的壓縮和編碼的差別在第二時(shí)間周期內(nèi)發(fā)射給解碼器(438)，從而將其解碼以創(chuàng)建存儲(chǔ)在解碼器幀存儲(chǔ)器-2 414內(nèi)的重建輸出圖片。
相似地，在編碼器-3的幀存儲(chǔ)器445內(nèi)的要發(fā)射的幀與運(yùn)動(dòng)補(bǔ)償重建圖片之間的壓縮和編碼的差別在第三時(shí)間周期內(nèi)發(fā)射給解碼器(448)，從而將其解碼以創(chuàng)建存儲(chǔ)在解碼器幀存儲(chǔ)器-3 416內(nèi)的重建輸出圖片。如前面的一樣，機(jī)制然后返回到發(fā)射編碼器-1的幀存儲(chǔ)器425內(nèi)在下一要發(fā)射的幀和先前的運(yùn)動(dòng)補(bǔ)償重建圖片之間的已壓縮和編碼的差別。
應(yīng)當(dāng)注意到，編碼器和解碼器在本發(fā)明優(yōu)選實(shí)施例中是同步的。這樣，編碼器不繼續(xù)發(fā)射不被解碼器處理的幀。
在發(fā)送幀內(nèi)編碼(I)幀的初始輪詢(xún)序列之后，每當(dāng)重新選擇視頻發(fā)射器，將顯示來(lái)自每個(gè)編碼器的較大數(shù)量的P幀。P幀的數(shù)量取決于多個(gè)因子，其中之一是時(shí)隙長(zhǎng)度。因此，當(dāng)應(yīng)用本發(fā)明的發(fā)明概念到現(xiàn)存圖像傳輸系統(tǒng)時(shí)，可以選擇時(shí)隙長(zhǎng)度為一個(gè)方便的數(shù)目，例如2個(gè)TETRA多幀(2×1.02秒)。
在下一視頻發(fā)射器被選定之前，如圖5a所示，在序列中的下一編碼器然后發(fā)射它們用于在解碼器處理和顯示的各自的P幀。
有利的，當(dāng)與現(xiàn)有技術(shù)中的配置相比較，這些額外數(shù)目的發(fā)射P幀將給用戶(hù)在感覺(jué)上提供一系列視頻片斷，而非在一系列的“靜止圖片”之后有少量的“不平穩(wěn)”視頻。
圖5b顯示使用本發(fā)明的發(fā)明概念的另一可選方法。該方法遵循參考圖5a描述的初始I-幀傳輸序列。然而，有益的是，用于后續(xù)P-幀傳輸?shù)拿總€(gè)視頻發(fā)射器時(shí)隙428，438，448的時(shí)間減少到小于傳輸I-幀所需要的時(shí)間，在此例子中減小到1.02秒(與一個(gè)TETRA多幀時(shí)間周期相等)。
在此減少的時(shí)間中，每個(gè)視頻發(fā)射器都可以發(fā)射多個(gè)P幀。此可選實(shí)施例的一個(gè)好處是相對(duì)于沒(méi)有采用此發(fā)明的視頻傳輸系統(tǒng)，可以獲得較快的輪詢(xún)時(shí)間。獲得較快的輪詢(xún)時(shí)間的同時(shí)仍然保持呈現(xiàn)一系列視頻片斷給用戶(hù)。此外，由于設(shè)定這樣的P-幀時(shí)間周期有這種靈活性，此可選方法可以添加到或修改使之適合于任何時(shí)序結(jié)構(gòu)。
為量化在現(xiàn)實(shí)的視頻傳輸系統(tǒng)中采用上述發(fā)明概念的好處，讓我們?cè)O(shè)想基于TETRA的系統(tǒng)實(shí)例。已知的視頻格式包括使用352×288像素的公用中分辨率圖像格式(CIF)，以及使用176×144像素的四分之一公用中分辨率圖像格式(QCIF)。
例如，基于TETRA的系統(tǒng)可能分配19.2 Kbps的數(shù)據(jù)速率給壓縮的視頻數(shù)據(jù)，一個(gè)具有目標(biāo)幀速率為10幀每秒(fps)和目標(biāo)Q是12的QCIF圖像。仿真工作的結(jié)果是，本發(fā)明的發(fā)明者可以確定，使用“hall monitor”序列(代表本領(lǐng)域中技術(shù)人員已知的一種安全應(yīng)用)，發(fā)射一個(gè)I-幀的時(shí)間是1108毫秒，發(fā)射一個(gè)平均P-幀的時(shí)間是116毫秒。
因此，當(dāng)移動(dòng)到序列的下一發(fā)射器之前，在基于TETRA的輪詢(xún)CCTV系統(tǒng)中的多路復(fù)用器能允許每視頻發(fā)射器2.04秒(相當(dāng)于2個(gè)TETRA多幀)。一種未采用本發(fā)明的現(xiàn)有技術(shù)TETRA系統(tǒng)，在兩個(gè)TETRA多幀中可以包含一個(gè)I-幀和多達(dá)8個(gè)P-幀。實(shí)際上少于8個(gè)P-幀，因?yàn)橹苯釉贗-幀之后的P-幀通常包含更多數(shù)據(jù)。采用本發(fā)明中的概念，在分配的時(shí)間內(nèi)可以傳輸17個(gè)P-幀，由此從各視頻發(fā)射器給用戶(hù)更多的綜合性數(shù)據(jù)。
在某些情況中，通過(guò)執(zhí)行一個(gè)改變檢測(cè)參數(shù)可以獲得更快的多路復(fù)用模式。如果在當(dāng)前觀看的幀和存儲(chǔ)幀之間確定的變化低于一個(gè)預(yù)定閾值，解碼器就不發(fā)射任何新的差別信息。通過(guò)編碼器發(fā)送一個(gè)沒(méi)有任何先前數(shù)據(jù)的結(jié)束標(biāo)記給解碼器，可以獲得更快的多路復(fù)用模式。在此例子中，該接收結(jié)束(receiving end)好像它已經(jīng)發(fā)信號(hào)給攝像機(jī)停止發(fā)射，并隨后接收到確認(rèn)一樣處理。該接收結(jié)束然后發(fā)信號(hào)給在輪詢(xún)列表中的下一攝像機(jī)開(kāi)始編碼并發(fā)射。
現(xiàn)在參考圖6，根據(jù)本發(fā)明的一個(gè)優(yōu)選實(shí)施例，顯示了詳細(xì)說(shuō)明在多路復(fù)用視頻通信系統(tǒng)中編碼器(發(fā)射視頻單元)的操作的流程圖600。編碼器的操作從編碼器接收視頻/圖像幀序列610開(kāi)始。
在現(xiàn)有技術(shù)的系統(tǒng)中(它本質(zhì)上需要多路復(fù)用器)，當(dāng)被選定時(shí)，編碼器將立即發(fā)射一個(gè)幀內(nèi)編碼幀，隨后是相互編碼幀。然而，根據(jù)本發(fā)明的優(yōu)選實(shí)施例，編碼器在步驟620首先確定該編碼器是否被指令發(fā)射視頻/圖像幀序列610到解碼器。步驟620和660確保發(fā)射和接收幀緩存器包含相同數(shù)據(jù)。
如果在步驟620，特定的編碼器確定它被指令發(fā)射視頻/圖像幀序列到解碼器，編碼器檢測(cè)以查看是否早已發(fā)射了一個(gè)幀內(nèi)編碼幀到解碼器，如步驟630所示。如果在步驟630在此通信中沒(méi)有發(fā)射幀內(nèi)編碼幀到解碼器，就發(fā)射幀內(nèi)編碼幀初始化該發(fā)射，如步驟640。
應(yīng)當(dāng)注意到，在本發(fā)明優(yōu)選實(shí)施例的環(huán)境中的通信部意味著連續(xù)的、無(wú)中斷視頻序列的傳輸?！巴ㄐ拧卑幋a器不發(fā)射視頻更新信息的過(guò)長(zhǎng)的時(shí)間周期。因此，在需要時(shí)，即在由于上一傳輸超過(guò)了閾值或當(dāng)前編碼器視頻幀和存儲(chǔ)的上一幀的比較結(jié)果需要重新發(fā)送一個(gè)幀內(nèi)編碼幀的一個(gè)時(shí)間周期內(nèi)，可定義一個(gè)新的通信。
根據(jù)參考圖5a或圖5b說(shuō)明的優(yōu)選方案，后續(xù)相互編碼幀的傳輸，即P-幀，然后被發(fā)射給解碼器，如步驟650所示?；趤?lái)自解碼器單元或其他控制機(jī)制的指令，然后重復(fù)此過(guò)程以查看是否將繼續(xù)，如步驟660所示。如果過(guò)程繼續(xù)，則在步驟650進(jìn)一步發(fā)送相互編碼幀。如果停止發(fā)射，例如由于來(lái)自其他視頻編碼單元的緊急中斷請(qǐng)求，過(guò)程返回到步驟620。
現(xiàn)在參考圖7，顯示了一個(gè)流程圖700，詳細(xì)說(shuō)明了根據(jù)本發(fā)明一個(gè)優(yōu)選實(shí)施例，在多路復(fù)用視頻通信系統(tǒng)中的解碼器(視頻接收單元)的操作。
從編碼器單元(或攝像機(jī))N接收壓縮和編碼的視頻/圖像數(shù)據(jù)，如步驟710所示，其中參考ID是N。然后檢測(cè)視頻/圖像數(shù)據(jù)ID以查看它是否對(duì)應(yīng)于用于對(duì)輸入數(shù)據(jù)解碼的當(dāng)前可用重建圖片的ID，步驟720。如果不是，則解碼過(guò)程有一個(gè)中間步驟，在此步驟中，存儲(chǔ)圖片的存儲(chǔ)器被切換到對(duì)應(yīng)于接收到的數(shù)據(jù)的ID的幀存儲(chǔ)器，如步驟730所示。
作為一個(gè)例子，假定解碼器當(dāng)前正解碼與攝像機(jī)(或編碼器)N+3有關(guān)的圖像數(shù)據(jù)。在步驟720，N的接收數(shù)據(jù)ID被檢測(cè)，并發(fā)現(xiàn)與用于解碼的重建圖片不相符。因此，在步驟730，使用來(lái)自幀存儲(chǔ)器ID＝N的重建存儲(chǔ)圖片，而非來(lái)自幀存儲(chǔ)器ID＝N+3的重建存儲(chǔ)圖片。
然后在步驟740檢測(cè)輸入數(shù)據(jù)，以確定它是否是一個(gè)幀內(nèi)編碼幀。如果輸入數(shù)據(jù)是一個(gè)幀內(nèi)編碼幀，在步驟750被解碼，并存儲(chǔ)解碼后的圖片到圖片存儲(chǔ)器ID＝N，如步驟760所示。過(guò)程然后返回到步驟720。
如果在步驟740確定輸入數(shù)據(jù)不是幀內(nèi)編碼幀，在步驟750，從存儲(chǔ)在存儲(chǔ)器中的圖片和ID＝N的P-幀數(shù)據(jù)的附加物生成一個(gè)預(yù)測(cè)幀。該預(yù)測(cè)圖片然后用于更新存儲(chǔ)在特定ID＝N的存儲(chǔ)器中的圖片，如步驟780所示。然后過(guò)程返回到步驟720。
現(xiàn)在參考圖8，顯示了根據(jù)本發(fā)明一個(gè)優(yōu)選實(shí)施例，在多路復(fù)用視頻通信系統(tǒng)中采用的H.263解碼器(接收視頻單元)實(shí)例800的框圖。然而，這樣一種發(fā)明概念可被應(yīng)用到任何視頻或圖像傳輸系統(tǒng)，這也在在本發(fā)明的保護(hù)范圍之內(nèi)。
多個(gè)視頻/圖像幀被輸入到多個(gè)編碼器(未示出)中。采用了根據(jù)本發(fā)明優(yōu)選實(shí)施例的編碼控制模塊來(lái)強(qiáng)制每個(gè)編碼器執(zhí)行幀內(nèi)編碼或相互編碼的編碼過(guò)程，如圖6。
在本發(fā)明的此優(yōu)選實(shí)施例中應(yīng)當(dāng)特別注意的是引入指示編碼控制模塊操作的編解碼器(編碼器)使能功能(未示出)。該編解碼器使能功能被引入以確保當(dāng)解碼器不想接收來(lái)自特定編碼器單元的視頻/圖像幀時(shí)，在編碼器和解碼器的幀存儲(chǔ)器步調(diào)一致。
通常，上述修改可以任何適合方式在各通信單元中實(shí)現(xiàn)。例如，可以添加新的裝置到常規(guī)通信單元中，或可選地可以修改常規(guī)通信單元的現(xiàn)存部分，例如重編程其中的一個(gè)或多個(gè)處理器。這樣，所需的修改可以用存儲(chǔ)在存儲(chǔ)介質(zhì)(例如軟盤(pán)，硬盤(pán)，PROM，RAM或任何這些或其他存儲(chǔ)介質(zhì)的組合)上的處理器可執(zhí)行指令的形式實(shí)施。
在圖8中，解碼器800包括解碼控制模塊810，它接收來(lái)自編碼單元的標(biāo)志“P”802，表明接收到的幀是幀內(nèi)編碼幀還是相互編碼幀。
根據(jù)H.263標(biāo)準(zhǔn)，解碼器800為了轉(zhuǎn)換接收到的系數(shù)“q”812，接收一個(gè)量化標(biāo)志(index)。該量化標(biāo)志被輸入到逆量化器功能模塊814，并將量化值輸入到逆轉(zhuǎn)換模塊816。逆量化功能模塊814接收來(lái)自解碼器控制模塊810的控制信號(hào)。
來(lái)自逆轉(zhuǎn)換模塊816的輸出被輸入到求和節(jié)點(diǎn)818。求和節(jié)點(diǎn)818也接收來(lái)自功能模塊830的、用運(yùn)動(dòng)補(bǔ)償可變延遲執(zhí)行圖像生成的輸入。更具體地，功能模塊830包括一個(gè)運(yùn)動(dòng)補(bǔ)償模塊834，該模塊接收發(fā)射自編碼器單元的運(yùn)動(dòng)向量“V”832。該運(yùn)動(dòng)補(bǔ)償模塊834用運(yùn)動(dòng)補(bǔ)償延遲提供圖像生成到求和節(jié)點(diǎn)818。
根據(jù)本發(fā)明的優(yōu)選實(shí)施例，修改圖片存儲(chǔ)器存儲(chǔ)以合成單個(gè)的圖片存儲(chǔ)器(PM)模塊850，852，854，856，858，用于生成與不同編碼器單元相關(guān)的各自重建圖像。用開(kāi)關(guān)842，844選擇相關(guān)的PM功能。整個(gè)圖片存儲(chǔ)器選擇過(guò)程由圖片存儲(chǔ)器控制(PMC)840控制。
在系統(tǒng)中每個(gè)編碼器有一個(gè)PM。相關(guān)的PM在PMC的控制下被切換到電路。根據(jù)預(yù)定多路復(fù)用器策略或控制，PMC知道切換哪個(gè)PM。這允許每個(gè)編碼器，當(dāng)被重新選擇時(shí)，發(fā)射P-幀，而非必須用一個(gè)I-幀開(kāi)始每個(gè)時(shí)隙。包含在PM中的舊數(shù)據(jù)使得上述可以發(fā)生。
更一般地，可以在各通信單元上以任何合適的方式實(shí)施修改。例如，可以添加新的裝置到常規(guī)通信單元中，或可選地可以修改常規(guī)通信單元的現(xiàn)存部分，例如重編程其中的一個(gè)或多個(gè)處理器。這樣，所需的修改可以用存儲(chǔ)在存儲(chǔ)介質(zhì)(例如軟盤(pán)，硬盤(pán)，PROM，RAM或任何這些或其他存儲(chǔ)介質(zhì)的組合)上的計(jì)算機(jī)可執(zhí)行指令的形式實(shí)施。
現(xiàn)在參考圖9，顯示了優(yōu)選方法的解碼器控制多個(gè)攝像機(jī)傳輸?shù)妮喸?xún)操作的時(shí)序圖1000。更具體地，在時(shí)間基線(xiàn)(time-basis)1002上，顯示了在信令1010、接收器操作1030、視頻幀存儲(chǔ)器控制1050和視頻解碼器1070之間的交互的例子。該交互使得視頻數(shù)據(jù)的管理更快速、正確。
本領(lǐng)域技術(shù)人員將認(rèn)識(shí)到，幾個(gè)不同的多路復(fù)用器策略能用于使用本發(fā)明。因此下面的僅作為例子給出。
讓我們假定視頻傳輸系統(tǒng)從攝像機(jī)“N-1”輪詢(xún)到“N+1”。解碼器/接收器1030接收來(lái)自“N-1”攝像機(jī)的更新的信息1032。當(dāng)解碼器(例如由一個(gè)規(guī)則自動(dòng)控制或由一個(gè)操作者動(dòng)態(tài)選擇)決定將顯示從攝像機(jī)“N-1”改變到“N”時(shí)，發(fā)信號(hào)給攝像機(jī)“N-1”停止編碼并停止發(fā)射1012。一旦編碼器結(jié)束接收這個(gè)停止編碼和發(fā)射的請(qǐng)求，它發(fā)送一個(gè)確認(rèn)1014，特定視頻發(fā)射的傳輸結(jié)束。
一旦接收器信令系統(tǒng)檢測(cè)到來(lái)自攝像機(jī)“N-1”的確認(rèn)，它就發(fā)信號(hào)給攝像機(jī)“N”開(kāi)始編碼和發(fā)射1016。在此期間，攝像機(jī)“N-1”刷新它的緩存器，并發(fā)送最后更新信息，其中它的視頻更新數(shù)據(jù)的結(jié)束用一個(gè)結(jié)束標(biāo)記1034表示。在編碼器傳輸系統(tǒng)中包括少量的延遲，以確保攝像機(jī)“N”直至攝像機(jī)“N-1”發(fā)射了它的結(jié)束標(biāo)記才開(kāi)始發(fā)射。
然后以用于開(kāi)始第N個(gè)攝像機(jī)1016的信令信道重復(fù)該過(guò)程，直至編碼器單元接收到一個(gè)停止編碼和發(fā)射的消息并發(fā)送其相應(yīng)的結(jié)束發(fā)射確認(rèn)1022給解碼器。然后用信令信道1024，1026控制第“N+1”個(gè)攝像機(jī)。
一旦接收器完成它的“N-1”攝像機(jī)信息的更新，通過(guò)檢測(cè)用于攝像機(jī)“N-1”的結(jié)束標(biāo)記1034，解碼器傳輸它的當(dāng)前重建圖片到“N-1”幀存儲(chǔ)器1052。然后解碼器完成用于攝像機(jī)“N-1”的圖片更新1072。在結(jié)束標(biāo)記1034之后接收的信息與用于攝像機(jī)“N”的更新信息有關(guān)。
解碼器從幀存儲(chǔ)器“N”1052裝入上次重建圖片(在圖9中描述作“換出“N-1”換入“N””)。解碼器然后開(kāi)始接收來(lái)自第“N”個(gè)攝像機(jī)1036的更新信息1074。
一旦接收器完成了它的第“N”個(gè)攝像機(jī)信息的更新1038，解碼器內(nèi)幀存儲(chǔ)器的更新從“N”切換到“N+1”1054。這樣一個(gè)切換確保解碼器的最近圖片移動(dòng)到第“N”個(gè)幀存儲(chǔ)器1074，并且第“N+1”個(gè)解碼器幀存儲(chǔ)器被裝入。解碼器然后完成更新用于攝像機(jī)“N”的圖片，然后開(kāi)始接收來(lái)自第“N+1”個(gè)攝像機(jī)1040的更新信息1076。
可選地，已知系統(tǒng)時(shí)序點(diǎn)可用作完全改變視頻數(shù)據(jù)流的觸發(fā)點(diǎn)。當(dāng)前重建幀在編碼器幀存儲(chǔ)器(例如攝像機(jī)“N-1”)中凍結(jié)，該攝像機(jī)不執(zhí)行任何進(jìn)一步處理，直至當(dāng)下一次它被輪詢(xún)時(shí)，被發(fā)信號(hào)讓這樣做。
在最快的可能時(shí)間內(nèi)解碼器可以訪(fǎng)問(wèn)合適的幀存儲(chǔ)器是重要的。優(yōu)選地，使用一個(gè)共享可尋址總線(xiàn)，從而每個(gè)對(duì)應(yīng)于各攝像機(jī)的幀存儲(chǔ)器具有唯一的地址。在輪詢(xún)模式中，當(dāng)各攝像機(jī)依次被輪詢(xún)時(shí)，地址簡(jiǎn)單地遞增。然而，如果發(fā)生緊急情況，突然不按順序分配給一個(gè)攝像機(jī)優(yōu)先級(jí)，需要一個(gè)通知哪個(gè)攝像機(jī)正發(fā)射的信令裝置，該裝置的例子顯示在圖10中。
現(xiàn)在參考圖10，顯示了用于緊急攝像機(jī)傳輸1100的控制機(jī)制。更具體地，在時(shí)間基線(xiàn)1102上，說(shuō)明了緊急信令控制機(jī)制，強(qiáng)調(diào)顯示了在信令1110，接收器操作1130，視頻幀存儲(chǔ)控制1150和視頻解碼器1170之間的交互操作。該交互操作使得視頻信號(hào)的管理更快速，正確。
如果，在任何時(shí)間，信令系統(tǒng)(假定圖9)從攝像機(jī)“M”接收到一個(gè)緊急請(qǐng)求1112，同時(shí)攝像機(jī)“N”正更新，該解碼器發(fā)信號(hào)給攝像機(jī)N結(jié)束它的傳輸1114(好像攝像機(jī)“N”到達(dá)它的輪詢(xún)傳輸末尾時(shí)一樣)。發(fā)信號(hào)給攝像機(jī)“N”，讓它停止傳輸，忽略任何自動(dòng)的(定時(shí)的)動(dòng)作。一旦在解碼器接收到確認(rèn)1116，攝像機(jī)“M”被發(fā)給信號(hào)1118以開(kāi)始編碼和傳輸?，F(xiàn)在操作將如輪詢(xún)情況中所描述的一樣進(jìn)行下去，即使現(xiàn)在訪(fǎng)問(wèn)幀存儲(chǔ)器是不按順序的。
來(lái)自攝像機(jī)“N”的圖片用接收到的更新信息1132進(jìn)行更新1172，直至解碼器接收到結(jié)束標(biāo)記消息1134。然后接收和處理來(lái)自攝像機(jī)“M”的更新信息1136。關(guān)于解碼器訪(fǎng)問(wèn)各自的幀存儲(chǔ)器，“換出N換入M”1152確保解碼器最近的圖片移動(dòng)到“N”幀存儲(chǔ)器，并且解碼器使用對(duì)應(yīng)于“M”的幀存儲(chǔ)器。用于攝像機(jī)“M”的圖片然后被更新1174。
優(yōu)選緊急控制機(jī)制可以使用一個(gè)將攝像機(jī)地址(例如在WebCams情況下的IP地址)和解碼器幀存儲(chǔ)器編號(hào)連接起來(lái)的地址查詢(xún)表。如果從系統(tǒng)中添加或刪除攝像機(jī)，該查詢(xún)表可以動(dòng)態(tài)更新，使得它成為一個(gè)非常靈活的系統(tǒng)。
在此說(shuō)明的發(fā)明概念對(duì)于帶寬受限的多路傳輸視頻安全應(yīng)用(特別是在無(wú)線(xiàn)通信信道之上)的視頻和圖像編碼器的發(fā)展和設(shè)計(jì)有重大影響。
此外，在此說(shuō)明的發(fā)明概念可應(yīng)用于任何使用預(yù)測(cè)編碼的視頻壓縮系統(tǒng)，例如H.263，H.261，MPEG-4，Motion-JPEG。該實(shí)現(xiàn)是遵從標(biāo)準(zhǔn)的，因?yàn)椴](méi)有改變比特流，而僅僅是智能控制。該方法可應(yīng)用到有線(xiàn)和無(wú)線(xiàn)系統(tǒng)，并且在現(xiàn)有且顯而易見(jiàn)的解決方案的基礎(chǔ)上有對(duì)于用戶(hù)節(jié)約成本并增強(qiáng)性能的優(yōu)點(diǎn)。本發(fā)明也可應(yīng)用到按照3G標(biāo)準(zhǔn)，4G協(xié)議或其他任何使用相互(inter-)和內(nèi)部(intra-)幀的壓縮方法的視頻壓縮系統(tǒng)中。
總之，提供了具有多個(gè)視頻發(fā)射器的視頻傳輸系統(tǒng)。每個(gè)視頻發(fā)射器發(fā)射至少一個(gè)各自的視頻圖像，并且至少一個(gè)視頻接收器接收來(lái)自多個(gè)視頻發(fā)射器的視頻圖像。該至少一個(gè)視頻接收器具有多個(gè)用于存儲(chǔ)來(lái)自各個(gè)多個(gè)視頻發(fā)射器的視頻圖像的多個(gè)幀存儲(chǔ)器。視頻接收器從各視頻發(fā)射器接收壓縮和編碼的視頻圖像。
此外，說(shuō)明了一種視頻編碼器，它具有接收視頻圖像的接收器，用于將所述視頻圖像編碼并發(fā)射到視頻解碼器。該視頻編碼器可操作連接到一個(gè)編碼控制模塊，該模塊初始化單個(gè)幀內(nèi)編碼視頻幀的發(fā)送，隨后是預(yù)測(cè)幀的后續(xù)傳輸。這樣的后續(xù)預(yù)測(cè)幀是唯一傳輸?shù)膸还茉谝曨l傳輸中是否存在中斷。
提供了一種視頻解碼器，它具有用于接收視頻圖像的接收器，可操作連接到用于接收和存儲(chǔ)多個(gè)重建視頻圖像的多個(gè)幀存儲(chǔ)器，上述重建圖像從來(lái)自多個(gè)視頻發(fā)射器的壓縮和編碼發(fā)送圖像產(chǎn)生。
同樣描述了適于組合上述視頻編碼器或上述視頻解碼器，或適于在上述通信系統(tǒng)中操作的一種通信單元。
同樣描述了在視頻傳輸系統(tǒng)中編碼的方法。該方法包括如下步驟由編碼器確定是否該編碼器被指令發(fā)射視頻/圖像幀序列到解碼器。如果編碼器確定它被指令發(fā)射視頻序列到解碼器，步驟包括由編碼器檢測(cè)是否先前已經(jīng)發(fā)射了幀內(nèi)編碼幀到解碼器；和如果沒(méi)有發(fā)送用于該通信的幀內(nèi)編碼幀，則發(fā)送幀內(nèi)編碼幀到解碼器。否則步驟包括發(fā)射相互編碼幀到解碼器。
此外，描述了一種在視頻傳輸系統(tǒng)中解碼的方法。該方法包括如下步驟從視頻編碼器接收壓縮和編碼的視頻序列；確定接收的視頻序列的攝像機(jī)或編碼器參考指示(reference indication)；和由解碼器檢測(cè)，以查看所述的確定參考指示是否對(duì)應(yīng)于用于當(dāng)前解碼的存儲(chǔ)圖片存儲(chǔ)器的參考指示。該步驟還包括如果參考指示與所述存儲(chǔ)圖片存儲(chǔ)器不符，解碼器切換正用于處理的圖片存儲(chǔ)器。
同樣描述了一種適于執(zhí)行上述編碼方法或上述解碼方法的通信單元。
也描述了一種在視頻傳輸系統(tǒng)中輪詢(xún)攝像機(jī)的方法。該視頻傳輸系統(tǒng)包括多個(gè)編碼視頻傳輸攝像機(jī)和至少一個(gè)解碼視頻接收單元。該方法包括如下步驟接收發(fā)射自第一攝像機(jī)的圖片更新信息(1032)到在解碼視頻接收單元的多個(gè)幀存儲(chǔ)器之一；解碼視頻接收單元發(fā)信號(hào)給該第一攝像機(jī)停止編碼視頻圖像并停止發(fā)射視頻序列；解碼視頻接收單元發(fā)信號(hào)給第二攝像機(jī)開(kāi)始編碼和發(fā)射；以及接收發(fā)射自該第二攝像機(jī)的圖片更新信息到所述多個(gè)幀存儲(chǔ)器中的另一個(gè)。
描述了一種在視頻發(fā)射器系統(tǒng)中控制多個(gè)視頻編碼器的方法。該方法包括如下步驟存儲(chǔ)來(lái)自各攝像機(jī)的最近的重建幀，從而使來(lái)自攝像機(jī)的后續(xù)傳輸是基于來(lái)自那個(gè)攝像機(jī)的所述存儲(chǔ)的最近重建幀的，存儲(chǔ)最近的重建幀的步驟響應(yīng)于編碼器到達(dá)其傳輸時(shí)間末尾，或第一攝像機(jī)編碼器的視頻傳輸被具有較高優(yōu)先級(jí)的第二攝像機(jī)中斷。
同樣描述了一種適于執(zhí)行輪詢(xún)攝像機(jī)的方法步驟和/或適于執(zhí)行控制多個(gè)視頻編碼器的任何方法的通信單元。
此外，描述了一種存儲(chǔ)介質(zhì)，存儲(chǔ)用于控制處理器執(zhí)行任何上述方法步驟的處理器可執(zhí)行指令。
應(yīng)當(dāng)理解，上述視頻傳輸系統(tǒng)，視頻傳輸單元以及編碼/解碼視頻數(shù)據(jù)的方法至少提供以下優(yōu)點(diǎn)(i)在帶寬受限的多路復(fù)用信道上的監(jiān)視更加快速，無(wú)需犧牲感興趣對(duì)象的空間圖像分辨率；(ii)在解碼器端的圖像恢復(fù)具有更好的感覺(jué)質(zhì)量，因?yàn)樽鳛榈蛡鬏斞舆t的結(jié)果，主觀瞬時(shí)不平穩(wěn)大大減少；(iii)對(duì)于CIF圖像優(yōu)于QCIF圖像的圖像/視頻傳輸系統(tǒng)，在此建議的機(jī)制更加快速；(iv)用戶(hù)/圖像/視頻操作者將受益于(a)感興趣對(duì)象的高空間分辨率，(b)由于要發(fā)射的數(shù)據(jù)量的減少，一旦建立輪詢(xún)，具有快速的第一圖像顯示時(shí)間，以及(c)相比現(xiàn)有技術(shù)的系統(tǒng)中所能允許的，將更快傳輸后續(xù)第一視頻幀。這使得在給定數(shù)目的攝像機(jī)中能更快輪詢(xún)。可選地，在一個(gè)輪詢(xún)系統(tǒng)中，允許每個(gè)攝像機(jī)在分配時(shí)間中能接收更多后續(xù)圖像幀。
(v)使攝像機(jī)能夠無(wú)縫切換進(jìn)/出它們正常的序列，同時(shí)仍然保持本發(fā)明的上述優(yōu)點(diǎn)。
因此，本發(fā)明提供一種視頻傳輸系統(tǒng)，一種視頻傳輸單元和編碼/解碼視頻數(shù)據(jù)的方法，以及一種輪詢(xún)攝像機(jī)的方法，其中基本上減輕了現(xiàn)有技術(shù)的裝置中的上述缺點(diǎn)。
權(quán)利要求
1.一種在視頻傳輸系統(tǒng)中編碼的方法，所述方法包括如下步驟編碼器確定(620)所述編碼器是否被指令發(fā)射視頻/圖像幀序列(610)到解碼器；以及如果所述編碼器確定它被指令發(fā)射視頻序列到所述解碼器，所述編碼器檢測(cè)(630)是否先前已發(fā)送了幀內(nèi)編碼幀到所述解碼器；如果沒(méi)有用于該通信的幀內(nèi)編碼幀被發(fā)射，則發(fā)送(640)幀內(nèi)編碼幀到所述解碼器；以及否則，發(fā)射(650)相互編碼幀到所述解碼器。
2.根據(jù)權(quán)利要求1所述的在視頻傳輸系統(tǒng)中編碼的方法，所述方法進(jìn)一步包括如下步驟編碼器等待(660)發(fā)射自所述解碼器或其他控制機(jī)制，命令所述編碼器停止對(duì)當(dāng)前視頻序列編碼的指令。
3.一種適于執(zhí)行根據(jù)權(quán)利要求1或2所述的編碼方法的通信單元。
4.一種在視頻傳輸系統(tǒng)中解碼的方法，所述方法包括如下步驟從視頻編碼器接收(710)壓縮和編碼的視頻序列；確定接收的視頻序列的攝像機(jī)或編碼器參考指示；解碼器檢測(cè)(720)以查看所述確定的參考指示是否對(duì)應(yīng)于正用于當(dāng)前解碼的存儲(chǔ)圖片存儲(chǔ)器的參考指示；以及如果所述參考指示與所述存儲(chǔ)圖片存儲(chǔ)器不符，所述解碼器就切換(730)正用于處理的圖片存儲(chǔ)器。
5.根據(jù)權(quán)利要求4所述的在視頻傳輸系統(tǒng)中解碼的方法，所述方法進(jìn)一步包括如下步驟所述解碼器檢測(cè)(740)接收到的視頻幀，以確定它是否是幀內(nèi)編碼幀；和以下二者之一如果確定接收到的視頻幀序列是幀內(nèi)編碼幀，則在與編碼單元相關(guān)的幀存儲(chǔ)器中存儲(chǔ)解碼圖片；或者如果確定接收到的視頻幀序列不是幀內(nèi)編碼幀，則從存儲(chǔ)在存儲(chǔ)器中的圖片生成(750)預(yù)測(cè)視頻幀，并使用所述預(yù)測(cè)圖片更新(780)存儲(chǔ)在存儲(chǔ)器中的圖片。
6.根據(jù)權(quán)利要求1或2所述的在視頻傳輸系統(tǒng)中編碼的方法，或根據(jù)權(quán)利要求4或5所述的在視頻傳輸系統(tǒng)中解碼的方法，其中所述視頻傳輸系統(tǒng)是多路復(fù)用視頻傳輸系統(tǒng)。
7.一種適于執(zhí)行根據(jù)權(quán)利要求4或5執(zhí)行的解碼方法的通信單元。
8.一種在視頻傳輸系統(tǒng)中輪詢(xún)攝像機(jī)的方法(1000)，所述視頻傳輸系統(tǒng)具有多個(gè)編碼視頻傳輸攝像機(jī)以及至少一個(gè)解碼視頻接收單元，所述方法包括如下步驟接收發(fā)射自第一攝像機(jī)的圖片更新信息(1032)到在所述解碼視頻接收單元的多個(gè)幀存儲(chǔ)器之一；所述解碼視頻接收單元發(fā)信號(hào)給所述第一攝像機(jī)，使其停止對(duì)視頻圖像編碼以及停止發(fā)射視頻序列；所述解碼視頻接收單元發(fā)信號(hào)給第二攝像機(jī)，使其開(kāi)始編碼和發(fā)射；以及接收發(fā)射自所述第二攝像機(jī)的圖片更新信息到所述多個(gè)幀存儲(chǔ)器的另一個(gè)中。
9.根據(jù)權(quán)利要求8所述的輪詢(xún)攝像機(jī)的方法(1000)，進(jìn)一步包括所述第一攝像機(jī)發(fā)送最后更新信息的步驟，所述步驟包括發(fā)送結(jié)束標(biāo)記以標(biāo)識(shí)其視頻更新數(shù)據(jù)的結(jié)束。
10.根據(jù)權(quán)利要求9所述的輪詢(xún)攝像機(jī)的方法(1000)，所述方法進(jìn)一步包括如下步驟檢測(cè)由所述第一攝像機(jī)發(fā)射的結(jié)束標(biāo)記(1034)；以及所述解碼器將它的當(dāng)前重建圖片傳送到與所述第一攝像機(jī)相關(guān)的幀存儲(chǔ)器(1052)中。
11.根據(jù)權(quán)利要求8到10中任何一項(xiàng)所述的輪詢(xún)攝像機(jī)的方法(1000)，所述方法進(jìn)一步包括如下步驟所述解碼器從與所述第二攝像機(jī)相關(guān)的幀存儲(chǔ)器(1052)中裝入上次重建圖片；以及從所述第二攝像機(jī)接收(1036，1074)更新信息。
12.根據(jù)權(quán)利要求8到11中任何一項(xiàng)所述的輪詢(xún)攝像機(jī)的方法(1000)，所述方法進(jìn)一步包括如下步驟所述第一攝像機(jī)用確認(rèn)來(lái)響應(yīng)特定視頻傳輸?shù)膫鬏斠呀?jīng)結(jié)束；以及在所述解碼器接收來(lái)自所述第一攝像機(jī)的確認(rèn)。
13.根據(jù)權(quán)利要求22到26中任何一項(xiàng)所述的輪詢(xún)攝像機(jī)的方法(1000)，所述方法進(jìn)一步包括如下步驟在完成視頻序列的傳輸后，刷新在所述編碼單元和所述視頻解碼單元中的所述第一攝像機(jī)存儲(chǔ)緩沖器。
14.一種適于執(zhí)行根據(jù)權(quán)利要求8到13所述的任一輪詢(xún)攝像機(jī)方法的通信單元。
15.一種在視頻發(fā)射器系統(tǒng)中控制多個(gè)視頻編碼器的方法(1100)，所述方法包括如下步驟存儲(chǔ)來(lái)自各攝像機(jī)的最新重建幀，從而使來(lái)自攝像機(jī)的后續(xù)傳輸基于來(lái)自那個(gè)攝像機(jī)的所述已存儲(chǔ)的最新重建幀，存儲(chǔ)最新重建幀的步驟響應(yīng)于編碼器到達(dá)它傳輸時(shí)間的終點(diǎn)；或者第一攝像機(jī)的編碼器的視頻傳輸被具有較高優(yōu)先級(jí)的第二攝像機(jī)中斷。
16.根據(jù)權(quán)利要求15所述的在視頻發(fā)射器系統(tǒng)中控制多個(gè)視頻編碼器的方法(1100)，所述方法進(jìn)一步包括如下步驟在來(lái)自第一攝像機(jī)的視頻圖像正在更新的同時(shí)，從第二攝像機(jī)接收緊急請(qǐng)求(1112)；所述解碼器發(fā)(1114)信令請(qǐng)求給所述第一攝像機(jī)以停止它的視頻傳輸；發(fā)送接收到所述信令請(qǐng)求(1116)的確認(rèn)給所述解碼器；以及發(fā)信令(1118)給所述第二攝像機(jī)以開(kāi)始編碼和發(fā)射它的視頻序列。
17.根據(jù)權(quán)利要求15或16所述的在視頻發(fā)射器系統(tǒng)中控制多個(gè)視頻編碼器的方法(1100)，所述方法進(jìn)一步包括根據(jù)權(quán)利要求8到13所述的任一輪詢(xún)方法。
18.一種適于執(zhí)行根據(jù)權(quán)利要求15到17中任一項(xiàng)所述的控制多個(gè)視頻編碼器的任一方法(700)的通信單元。
19.一種存儲(chǔ)介質(zhì)，存儲(chǔ)有用于控制處理器以執(zhí)行權(quán)利要求1，2，4到6，8到13，15到17中任一項(xiàng)所述的方法的處理器可執(zhí)行指令。
20.一種視頻傳輸系統(tǒng)(400)，其包括多個(gè)視頻發(fā)射器(420，430，440)，每個(gè)視頻發(fā)射器發(fā)射至少一個(gè)各自的視頻圖像；至少一個(gè)視頻接收器(410)，用于接收來(lái)自所述多個(gè)視頻發(fā)射器的視頻圖像，所述至少一個(gè)視頻接收器具有多個(gè)幀存儲(chǔ)器(412，414，416)，用于分別存儲(chǔ)來(lái)自所述多個(gè)視頻發(fā)射器的視頻圖像，所述視頻接收器接收來(lái)自相應(yīng)的視頻發(fā)射器的壓縮和編碼的視頻圖像。
21.根據(jù)權(quán)利要求20所述的視頻傳輸系統(tǒng)，其中所述視頻接收器(410)中的幀存儲(chǔ)器的數(shù)量實(shí)際等于視頻發(fā)射器的數(shù)量。
22.根據(jù)權(quán)利要求20或21所述的視頻傳輸系統(tǒng)，所述視頻接收器包括處理器，所述處理器用于重建最新的幀，相應(yīng)的視頻發(fā)射器使用所述最新的幀生成發(fā)射的數(shù)據(jù)，并將所述最新的重建幀存儲(chǔ)到與所述相應(yīng)視頻發(fā)射器相關(guān)的視頻幀存儲(chǔ)器中。
23.根據(jù)權(quán)利要求22所述的視頻傳輸系統(tǒng)，其中當(dāng)相應(yīng)的視頻發(fā)射器到達(dá)其傳輸時(shí)間末尾時(shí)，或來(lái)自相應(yīng)視頻發(fā)射器的傳輸被另一個(gè)具有較高優(yōu)先級(jí)的攝像機(jī)中斷時(shí)，存儲(chǔ)來(lái)自視頻發(fā)射器的最新的重建幀。
24.根據(jù)權(quán)利要求22或23所述的視頻傳輸系統(tǒng)，其特征進(jìn)一步在于，所述處理器延遲發(fā)射自所述相應(yīng)視頻發(fā)射器的視頻圖像的重建，直至所述視頻接收器發(fā)信號(hào)給所述相應(yīng)視頻發(fā)射器重新開(kāi)始視頻傳輸。
25.根據(jù)權(quán)利要求20到24中的任一項(xiàng)所述的視頻傳輸系統(tǒng)，其中所述多個(gè)視頻發(fā)射器發(fā)射單個(gè)幀內(nèi)編碼視頻幀，隨后是預(yù)測(cè)幀的后續(xù)傳輸，而不管在傳輸中是否有中斷。
26.根據(jù)權(quán)利要求25所述的視頻傳輸系統(tǒng)，其中所述幀內(nèi)編碼幀在預(yù)定時(shí)隙中發(fā)射，后續(xù)預(yù)測(cè)幀在短于分配給所述幀內(nèi)編碼幀的時(shí)隙中發(fā)射。
27.根據(jù)權(quán)利要求20到27中的任一項(xiàng)所述的視頻傳輸系統(tǒng)，其中所述多個(gè)編碼器以及所述至少一個(gè)解碼器通過(guò)在各自上次重建幀的幀編號(hào)和/或絕對(duì)傳輸時(shí)序之間通信而同步。
28.一種視頻編碼器，其包括接收器，用于接收視頻圖像以編碼并發(fā)射所述視頻圖像到視頻解碼器，所述視頻編碼器可操作連接到編碼控制模塊，所述編碼控制模塊初始化單個(gè)幀內(nèi)編碼視頻幀的傳輸，隨后是預(yù)測(cè)幀的后續(xù)傳輸，這樣的后續(xù)預(yù)測(cè)幀是唯一發(fā)射的幀，不管在視頻傳輸中是否有中斷。
29.一種適于結(jié)合根據(jù)權(quán)利要求28所述的視頻編碼器或適于在如權(quán)利要求20所述的通信系統(tǒng)中操作的通信單元。
30.一種視頻解碼器(800)，其包括用于接收視頻圖像的接收器，可操作連接到用于接收和存儲(chǔ)多個(gè)重建視頻圖像的多個(gè)幀存儲(chǔ)器，所述多個(gè)重建視頻圖像產(chǎn)生自來(lái)自多個(gè)視頻發(fā)射器的壓縮和編碼的發(fā)射圖像。
31.根據(jù)權(quán)利要求30所述的視頻解碼器(800)，其特征進(jìn)一步在于用于控制整個(gè)圖片存儲(chǔ)器選擇過(guò)程的圖片存儲(chǔ)控制器(840)。
32.根據(jù)權(quán)利要求30或31所述的視頻解碼器(800)，其中所述視頻解碼器(800)適于按照H.263標(biāo)準(zhǔn)，MPEG-4標(biāo)準(zhǔn)，3G標(biāo)準(zhǔn)，4G協(xié)議，或任何其他使用相互和幀內(nèi)幀的壓縮方法來(lái)操作。
33.一種適于結(jié)合根據(jù)在先權(quán)利要求30到32的任一項(xiàng)所述的視頻解碼器的通信單元。
全文摘要
一種視頻傳輸系統(tǒng)(400)，其包括多個(gè)視頻發(fā)射器(420，430，440)，每個(gè)視頻發(fā)射器發(fā)射至少一個(gè)各自的視頻圖像。至少一個(gè)視頻接收器(410)接收來(lái)自視頻發(fā)射器的視頻圖像。該至少一個(gè)視頻接收器包括多個(gè)幀存儲(chǔ)器(412，414，416)，用于存儲(chǔ)來(lái)自對(duì)應(yīng)多個(gè)視頻發(fā)射器的視頻圖像。這樣提供了如下優(yōu)點(diǎn)在帶寬受限的多路復(fù)用信道上的監(jiān)視更加快速，而不犧牲感興趣對(duì)象的空間圖像分辨率；恢復(fù)的圖像具有更好的感覺(jué)質(zhì)量；感興趣對(duì)象的空間分辨率更高；存在快速第一圖像顯示時(shí)間，并且后續(xù)視頻幀傳輸快速。因此CCTV系統(tǒng)可以更快輪詢(xún)多個(gè)視頻發(fā)射器。
文檔編號(hào)H04N7/18GK1526238SQ02813911
公開(kāi)日2004年9月1日 申請(qǐng)日期2002年7月11日 優(yōu)先權(quán)日2001年7月11日
發(fā)明者戴維·羅納德·伯恩, 保拉·馬塞拉·霍布森, 戴維 羅納德 伯恩, 馬塞拉 霍布森 申請(qǐng)人:摩托羅拉公司