對時空信號進(jìn)行編碼的方法和裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及信息編碼技術(shù)領(lǐng)域，尤其涉及一種對時空信號進(jìn)行編碼的方法和裝置。
【背景技術(shù)】
[0002]在一定時間和空間內(nèi)中存在的形式是信息的來源，例如光在空間中的傳播形成動態(tài)影像，大量水分子的流動產(chǎn)生海洋信息，空氣分子和其他漂浮物的動態(tài)運(yùn)動形成氣候信息。就動態(tài)影像來說，人類和生物通過眼睛捕捉光子來感知世界，現(xiàn)代攝像機(jī)采用CCD(Charge-c ο up led Device，電荷親合元件)或 CM0S( (Complementary Metal OxideSemiconductor，互補(bǔ)金屬氧化物半導(dǎo)體)來捕獲光子來記錄動態(tài)變化的世界，產(chǎn)生了大量的圖像和視頻數(shù)據(jù)。
[0003]對動態(tài)影像進(jìn)行表達(dá)的傳統(tǒng)方法是二維圖像和作為圖像序列的視頻。傳統(tǒng)的圖像是二維的信息形態(tài)，狹義的圖像是光在物理世界中經(jīng)過反射、漫反射、折射、散射等過程后在攝影平面上投影的結(jié)果，廣義的圖像則包括在二維平面上分布的任何信息形式。數(shù)字形式表示的圖像更便于處理、傳輸和存儲，這就需要把以模擬信號形式存在的圖像轉(zhuǎn)化為以數(shù)字形式表示的圖像，即數(shù)字圖像。圖像數(shù)字化的過程主要包括三個步驟:采樣、量化和編碼。采樣是將圖像分布的空間進(jìn)行離散化的過程，對于二維圖像來說，最常見的方式是將圖像覆蓋的矩形區(qū)域等間隔地劃分成大小相同的采樣點(diǎn)，這樣劃分得到的采樣點(diǎn)行數(shù)和每行的采樣點(diǎn)數(shù)就是通常所謂的數(shù)字圖像分辨率(更準(zhǔn)確的分辨率是指單位物理尺寸上的采樣點(diǎn)數(shù))。量化是對各采樣點(diǎn)上圖像的顏色(或其它物理量)進(jìn)行離散化的過程，一般用量化級別來表征。每個采樣點(diǎn)及其顏色(或其它物理量)的量化值形成圖像的一個像素，所有像素按照行列形式排列成數(shù)字圖像。
[0004]傳統(tǒng)的視頻概念是按一定時間間隔獲取的圖像序列，序列中的一幅圖像也被稱為一幀圖像，因此視頻也成為圖像序列，圖像之間的時間間隔劃分也是采樣的一部分，通常也采用等間隔劃分，每秒采集的圖像數(shù)稱為幀率。為了保證在數(shù)字化過程中信息不丟失，即能夠在恢復(fù)為模擬形式時做到完全復(fù)原，按照采樣定理，需要用至少兩倍于圖像空間信號頻率進(jìn)行米樣。
[0005]按照傳統(tǒng)方式采集的視頻，經(jīng)過數(shù)字化后產(chǎn)生了大量數(shù)據(jù)。以高清晰度視頻為例，每秒鐘的數(shù)據(jù)量為1920 X 1080 X 24比特X 30幀每秒=1492992000比特每秒，約1.5Gbps。如果以這樣的數(shù)據(jù)量通過廣播通信網(wǎng)絡(luò)進(jìn)行傳輸，或者在互聯(lián)網(wǎng)對成千上萬的用戶提供視頻服務(wù)，或者想存儲城市中上百萬的攝像頭24小時產(chǎn)生的視頻數(shù)據(jù)，這是網(wǎng)絡(luò)和存儲技術(shù)幾乎不可能做到的。高精度數(shù)字化的視頻數(shù)據(jù)中存在這大量的冗余需要去除，這是數(shù)字視頻編碼的中心目標(biāo)，因此數(shù)字視頻編碼也稱為數(shù)字視頻壓縮。從19世紀(jì)40年代末50年代初的霍夫曼編碼、差值脈沖編碼調(diào)制等技術(shù)的研究開始，視頻編碼技術(shù)經(jīng)歷了近60年的發(fā)展。在這一過程中，逐漸形成了變換編碼、預(yù)測編碼、熵編碼三類經(jīng)典技術(shù)，分別用于去除視頻信號的空間冗余、時間冗余以及信息熵冗余。
[0006]基于30多年的技術(shù)積累和信息技術(shù)發(fā)展的需要，上世紀(jì)80年代各種視頻編碼技術(shù)開始匯聚，逐漸形成了以塊為單元的預(yù)測加變換的混合編碼框架，并由標(biāo)準(zhǔn)化組織形成標(biāo)準(zhǔn)，開始在產(chǎn)業(yè)得到大規(guī)模應(yīng)用。國際上主要有兩大國際組織專門進(jìn)行視頻編碼標(biāo)準(zhǔn)的制定工作，即IS0/IEC下的MPEG(Mot1n Picture Experts Group，動態(tài)圖像專家組)組織與ITU-T的VCEG(Video Coding Experts Group，視頻編碼專家組)組織。成立于1986年的MPEG專門負(fù)責(zé)制定多媒體領(lǐng)域內(nèi)的相關(guān)標(biāo)準(zhǔn)，主要應(yīng)用于存儲、廣播電視、因特網(wǎng)或無線網(wǎng)上的流媒體等。國際電信聯(lián)盟ITU則主要制定面向?qū)崟r視頻通信領(lǐng)域的視頻編碼標(biāo)準(zhǔn)，如視頻電話、視頻會議等應(yīng)用。中國于2002年6月成立的AVS工作組負(fù)責(zé)為國內(nèi)多媒體工業(yè)界制定相應(yīng)的數(shù)字音視頻編碼標(biāo)準(zhǔn)。
[0007]MPEG組織在 1992制定了面向VCD(影音光碟，Video Compact Disk)應(yīng)用的MPEG-1標(biāo)準(zhǔn)(啟動于1988年，是ITU H.261的一個超集)，數(shù)據(jù)速率在1.5Mbps左右；1994年發(fā)布了面向DVD，數(shù)字視頻廣播等應(yīng)用的MPEG-2標(biāo)準(zhǔn)(啟動于1990年)，適用于1.5-60Mbps甚至更高碼率；1998年制定了面向低碼率傳輸?shù)腗PEG-4標(biāo)準(zhǔn)(于1993年啟動，以MPEG-2，H.263為基礎(chǔ))。國際電信聯(lián)盟ITU基本上與MPEG的發(fā)展同步，也制定了一系列的H.26x標(biāo)準(zhǔn)。開始于1984年的H.261標(biāo)準(zhǔn)是MPEG-1標(biāo)準(zhǔn)的前驅(qū)，于1989年基本完成，主要是為了在ISDN上實(shí)現(xiàn)可視電話、視頻會議而制定的。在H.261的基礎(chǔ)上，1996年ITU-T制定了 H.263編碼標(biāo)準(zhǔn)(啟動于1992年)，相繼又推出了 Η.263+，Η.263++等。
[0008]2001年ITU-T和MPEG聯(lián)合成立了JVT(Joint Video Team)工作組制定了一個新的視頻編碼標(biāo)準(zhǔn)，2003年完成第一版，標(biāo)準(zhǔn)在ISO中稱為MPEG-4標(biāo)準(zhǔn)的第10部分(MPEG-4Par11OAVC)，在ITU中稱為H.264標(biāo)準(zhǔn)。。4個月后，微軟主導(dǎo)的VC-1視頻編碼標(biāo)準(zhǔn)由美國電影電視工程師協(xié)會(The Society of Mot1n Picture and Televis1n Engineers,SMPTE)頒布為行業(yè)標(biāo)準(zhǔn)。我國在2004年制定出了具有自主知識產(chǎn)權(quán)的國家標(biāo)準(zhǔn)，并經(jīng)過芯片實(shí)現(xiàn)等產(chǎn)業(yè)化驗(yàn)證后，于2006年2月頒布為《信息技術(shù)先進(jìn)音視頻編碼第二部分視頻》國家標(biāo)準(zhǔn)(國標(biāo)號GB/T 20090.2-2006，通常簡稱為AVS視頻編碼標(biāo)準(zhǔn))。這三個標(biāo)準(zhǔn)通常被稱為第二代視頻編碼標(biāo)準(zhǔn)，其編碼效率均比第一代翻了一番，壓縮比達(dá)到150倍左右，即可以把高清視頻(在質(zhì)量達(dá)到廣播要求的情況下)壓縮到1Mbps以下。
[0009]2013年上半年，第三代視頻編碼國際標(biāo)準(zhǔn)ITU-T H.265和IS0/IEC HEVC(HighEfficiency Video Coding，高效視頻編碼)頒布，編碼效率比H.264又提高一倍。與此同步，我國制定了第二代AVS標(biāo)準(zhǔn)AVS2，稱為《信息技術(shù)高效多媒體編碼》。與第一代AVS標(biāo)準(zhǔn)相比，AVS2碼率降低超過50%，即編碼效率提高了一倍。對于監(jiān)控視頻等場景類視頻，AVS2壓縮效率又翻了一番，達(dá)到AVC/H.264的四倍，即壓縮效率達(dá)到600倍。
[0010]盡管現(xiàn)代視頻編碼技術(shù)已經(jīng)取得顯著效果并得到廣泛應(yīng)用，壓縮效率實(shí)現(xiàn)了“十年翻一番”，但還遠(yuǎn)未達(dá)到理想程度。根據(jù)現(xiàn)有的研究報告，2012年全球數(shù)據(jù)總量達(dá)到2.84ZB，到2020年，這個數(shù)字將上升到40ZB，約兩年翻一番，其中監(jiān)控視頻占到了44%，在其他健康數(shù)據(jù)、交易數(shù)據(jù)、網(wǎng)絡(luò)媒體、影視娛樂等數(shù)據(jù)中，圖像和視頻也占了很大部分。就我國來說，在公共場合安裝的攝像機(jī)已經(jīng)超過3000萬支，這些攝像機(jī)產(chǎn)生了近百EB的視頻，存儲需要數(shù)千億元。因此，視頻編碼效率“十年翻一番”的技術(shù)進(jìn)步已經(jīng)遠(yuǎn)遠(yuǎn)不能滿足視頻大數(shù)據(jù)“兩年翻一番”的高速增長，如何提高視頻的編碼效率已經(jīng)信息時代的重大挑戰(zhàn)。
[0011]如上所述，視頻概念的形成源于電影的發(fā)明，以圖像序列表示視頻這種技術(shù)方案背后的依據(jù)是人類視覺的視覺暫留現(xiàn)象，電影采用每秒24幀，電視采用25幀或30幀，可以基本滿足人眼獲得連續(xù)感的需要，這種技術(shù)設(shè)定也就隨著電影電視和個人攝像設(shè)備的廣泛應(yīng)用而固化為技術(shù)定式。然而，其缺點(diǎn)也是顯然的，這種表達(dá)動態(tài)影像的方法記錄不了更高速運(yùn)動，例如旋轉(zhuǎn)的車輪、高速運(yùn)動的兵兵球甚至足球，在視頻監(jiān)控中也捕捉不到運(yùn)動細(xì)節(jié)，更不能支持科學(xué)研究和高精度檢測等特種需要。新的高清和超高清電視也在嘗試將幀率提高到每秒60幀甚至更高，以更好地表示高速運(yùn)動的乒乓球等。但是這樣的視頻幀率并不能表示變化更快的物理現(xiàn)象，因而出現(xiàn)了高頻率攝像機(jī)，其幀頻可以達(dá)到每秒一千幀乃至一萬幀甚至更高，帶來的問題是數(shù)據(jù)量的大規(guī)模增長，相應(yīng)的采集和處理電路設(shè)計代價高昂甚至不可能，更重要的是，幀率的增加意味著單幀曝光時間的降低，采集的單幀影像曝光量嚴(yán)重不足，作為彌補(bǔ)的辦法是增加像素尺寸，而這又帶來了空間分辨率的降低。所有這些問題，歸根結(jié)題是視頻采集和表示采用“先空間、后時間”的等時間間隔采集方法造成的，而這種方法只是電影出現(xiàn)時基于人類視覺暫留特性所做的一個技術(shù)選擇，并不意味著就是表達(dá)動態(tài)影像的最佳方案。
[0012]因此，開發(fā)一種同時兼顧時間信息和空間信息的有效視頻編碼方法是一個亟待解決的問題。

【發(fā)明內(nèi)容】

[0013]本發(fā)明的實(shí)施例提供了一種對時空信號進(jìn)行編碼的方法和裝置，以提供一種同時兼顧時間信息和空間信息的時空信號的編碼方法。
[0014]為了實(shí)現(xiàn)上述目的，本發(fā)明采取了如下技術(shù)方案。
[0015]根據(jù)本發(fā)明的一個方面，提供了一種對時空信號進(jìn)行編碼的方法，包括:
[0016]采集監(jiān)測區(qū)域中的各局部空間位置的時空信號，對局部空間位置的時空信號按照時間進(jìn)行累積，得到信號累積強(qiáng)度值;通過濾波器對所述信號累積強(qiáng)度值進(jìn)行變換，在變換結(jié)果超過特定閾值時，輸出一個脈沖信號；
[0017]將所述局部空間位置對應(yīng)的脈沖信號按照時間先后排列成序列，得到表達(dá)所述局部空間位置信號及其變化過程的脈沖序列;將所有局部空間位置的脈沖序列按照空間位置相互關(guān)系排列成脈沖序列陣列，作為對所述監(jiān)測區(qū)域的動態(tài)時空信號的一種編碼。
[0018]進(jìn)一步地，所述的采集監(jiān)測區(qū)域中的局部空間位置的時空信號包括:
[0019]每個信號采集器從指定的局部空間位置采集時空信號，生成脈沖序列，完成時域采樣;多個信號采集器排列成陣列互相配合，覆蓋整個監(jiān)測區(qū)域，完成對監(jiān)測區(qū)域的空域采樣。
[0020]進(jìn)一步地，所述的對局部空間位置的時空信號進(jìn)行累積，得到信號累積強(qiáng)度值，包括:
[0021]所述時空信號為光信號，所述信號采集器為光敏器件，實(shí)現(xiàn)光電轉(zhuǎn)換，其輸出端的電信號強(qiáng)度與采集的光強(qiáng)正相關(guān);將一個信號采集器和一個或多個信號累積器連接，所述信號采集器將信號強(qiáng)度值傳遞給其所連接的信號累積器；
[0022]信號累積器對在過去一個時段內(nèi)的信號進(jìn)行累積，其輸出端為累積信號強(qiáng)度;將一個信號累積器和一個濾波器連接，所述信號累積器將所述信號累積強(qiáng)度值傳遞給其連接的濾波器;所述濾波器以一個或多個累積器作為輸入，按照特定濾波函數(shù)對輸入的累積強(qiáng)值度進(jìn)行變換。
[0023]進(jìn)一步地，當(dāng)所述信號采集器和多個信號累積器連接時，所述信號采集器將同一信號強(qiáng)度值同時輸出給下游的所有信號累積器;或者，將信號強(qiáng)度值平均分配給下游的所有信號累積器;或者，或者將信號強(qiáng)度值按照一定的權(quán)重分配給下游的所有信號累積器，所述權(quán)重是信號累積器相對于信號采集器之間的空間位置距離的函數(shù)。
[0024]進(jìn)一步地，所述信號累積器是限時滾動累積器或不限時累積器，所述限時滾動累積器只累積當(dāng)前時刻之前一個特定時段內(nèi)的信號，更早的信號自動清零;所述不限時累積器持續(xù)累積。
[0025]進(jìn)一步地，所述的通過濾波函數(shù)對所述信號累積強(qiáng)度值進(jìn)行變換，輸出局部空間位置對應(yīng)的脈沖信號，包括:
[0026]所述濾波器的濾波函數(shù)根據(jù)濾波器需要捕捉的空間位置的稀疏性而設(shè)定，濾波器需要捕捉的空間位置的稀疏性根據(jù)該濾波器關(guān)聯(lián)的信號采集器所負(fù)責(zé)采集信號的局部空間范圍而確定;通過冗余設(shè)計用多個濾波器覆蓋監(jiān)測區(qū)域，所述監(jiān)測