專利名稱：視頻信號(hào)處理設(shè)備、方法和程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻信號(hào)處理設(shè)備、視頻信號(hào)處理方法和視頻信號(hào)處理程序，并且例如涉及適合應(yīng)用于監(jiān)視相機(jī)系統(tǒng)的、提供輸入視頻數(shù)據(jù)中的降低的噪聲并提供較小的傳送數(shù)據(jù)大小的視頻信號(hào)處理設(shè)備、視頻信號(hào)處理方法和視頻信號(hào)處理程序。

背景技術(shù)：
以前，所謂的模擬相機(jī)系統(tǒng)常用作監(jiān)視相機(jī)系統(tǒng)。每個(gè)這種系統(tǒng)具有利用信號(hào)線連接到相機(jī)的錄像機(jī)或其他視頻記錄設(shè)備，從而相機(jī)所捕捉的視頻信號(hào)經(jīng)由信號(hào)線被提供到視頻記錄設(shè)備以便記錄。但是，近年來，由于因特網(wǎng)的廣泛使用，所謂的IP(因特網(wǎng)協(xié)議)相機(jī)系統(tǒng)越來越流行。在這種相機(jī)系統(tǒng)中，相機(jī)所捕捉的視頻數(shù)據(jù)經(jīng)由網(wǎng)絡(luò)被傳送到位于遠(yuǎn)處的計(jì)算機(jī)，以便記錄到與該計(jì)算機(jī)相連接的視頻記錄設(shè)備，例如硬盤設(shè)備(存儲(chǔ)裝置)。
使用IP相機(jī)系統(tǒng)中所使用的那種IP技術(shù)使得可以遠(yuǎn)程地監(jiān)視相機(jī)捕捉的視頻并且構(gòu)建大規(guī)模系統(tǒng)。
對(duì)于其他應(yīng)用以及對(duì)于監(jiān)視相機(jī)來說常見的JPEG和MPEG壓縮方案是適合于通過IP網(wǎng)絡(luò)傳送視頻數(shù)據(jù)的IP傳送的主流壓縮方案(編解碼器)。為靜態(tài)圖像的壓縮而設(shè)計(jì)的JPEG(聯(lián)合圖像專家組)方案甚至在較低的幀速率下也是有效的。為運(yùn)動(dòng)圖像的壓縮而設(shè)計(jì)的MPEG(運(yùn)動(dòng)圖片專家組)方案與JPEG和其他靜態(tài)圖像壓縮方案相比允許以更高的比率進(jìn)行壓縮。
圖1是圖示現(xiàn)有技術(shù)的監(jiān)視相機(jī)系統(tǒng)(IP輸出)的示例的框圖。監(jiān)視相機(jī)1包括適合于收集對(duì)象反射的光的鏡頭2。同一相機(jī)1還包括CCD(電荷耦合器件)或CMOS(互補(bǔ)金屬氧化物半導(dǎo)體)傳感器3，該傳感器適合于檢測(cè)由鏡頭2所收集的光形成的圖像。同一相機(jī)1還包括適合于進(jìn)行信號(hào)處理的信號(hào)處理部件4和適合于對(duì)信號(hào)處理部件4處理的圖像數(shù)據(jù)進(jìn)行壓縮的壓縮/解壓縮設(shè)備(編解碼器)5。同一相機(jī)1還包括適合于設(shè)置編解碼器5的壓縮率、接收壓縮后的數(shù)據(jù)并且控制將其傳送到網(wǎng)絡(luò)和其他組件的CPU 6。
CCD或CMOS傳感器3所捕捉的圖像的視頻信號(hào)被提供到信號(hào)處理部件4以便轉(zhuǎn)換成數(shù)字形式。該數(shù)據(jù)被提供到編解碼器5。被編解碼器5壓縮的圖像數(shù)據(jù)被提供到CPU 6。
CPU 6對(duì)來自編解碼器5的壓縮后的數(shù)據(jù)執(zhí)行轉(zhuǎn)換和其他處理，以便傳送到網(wǎng)絡(luò)上。此時(shí)，CPU 6將指示壓縮率的參數(shù)提供給編解碼器5，以便實(shí)現(xiàn)例如由用戶指定的傳送數(shù)據(jù)大小。響應(yīng)于來自CPU 6的指示壓縮率的參數(shù)，編解碼器5改變量化步長的設(shè)置。然后，編解碼器5基于所設(shè)置的量化步長進(jìn)行壓縮。
將參考圖2來詳細(xì)描述圖1所示的編解碼器5。圖2是圖示適合于利用JPEG方案對(duì)輸入圖像進(jìn)行壓縮的編解碼器5的基本功能的框圖。在同一幅圖中，輸入圖像(通常是4:1:1的YUV顏色空間或其他格式)的每8× 8像素被DCT 51利用DCT(離散余弦變換)變換到頻率范圍，并且被提供到量化器52。
接下來，量化器52根據(jù)預(yù)設(shè)的量化表53減少DCT 51所變換的頻率范圍信息(因子)。來自量化器52的量化級(jí)別被熵編碼器54利用哈夫曼代碼(Huffman codes)進(jìn)行熵編碼，然后作為壓縮后的圖像數(shù)據(jù)被輸出。
為了控制壓縮率，利用適合于所設(shè)置的壓縮率的步長大小來減小DCT51的輸出因子。如果輸入圖像包含跨較寬頻譜的頻率分量，則輸出因子散布在較寬的范圍上，從而導(dǎo)致圖像質(zhì)量的惡化，除非減小步長大小。
例如，如果輸入圖像包含跨較窄頻譜的頻率分量，則DCT因子的范圍將會(huì)較窄以匹配窄頻譜。因此，即使步長大小被設(shè)置得較小(壓縮率被降低)，壓縮后的數(shù)據(jù)量也將較小。這是因?yàn)镈CT因子的范圍本來就較小。也就是說，步長大小越小，數(shù)據(jù)量越大。但是，如果輸入圖像的頻率分量散布在較寬的頻率范圍上，則圖像質(zhì)量將會(huì)惡化，除非減小步長大小。
輸入圖像的頻率分量散布在較寬的頻率范圍上這一事實(shí)意味著輸入圖像包含多種精細(xì)的圖案。相反，如果輸入圖像是單色的或者包含輕微的變化，則頻率分量只散布在較窄的范圍上。另一方面，如果輸入圖像包含若干個(gè)噪聲分量，則頻率分量散布在較寬的范圍上，就像具有多種精細(xì)圖案的輸入圖像那樣。
到此為止已經(jīng)描述了JPEG方案。但是，與JPEG方案類似，在MPEG方案中是使用DCT來壓縮I圖片的。結(jié)果，在MPEG方案中可觀察到類似的趨勢(shì)。
另一方面，一些可以適應(yīng)性地降低視頻信號(hào)中噪聲分量的視頻信號(hào)處理設(shè)備能夠檢測(cè)輸入視頻信號(hào)中的噪聲量。這些設(shè)備根據(jù)噪聲量來適應(yīng)性地抑制視頻信號(hào)中的噪聲分量并且使所得到的視頻信號(hào)經(jīng)歷壓縮編碼處理，從而提供高質(zhì)量的再現(xiàn)圖像(例如參考日本專利早期公布No.2005-20193，以下稱之為專利文獻(xiàn)1)。


發(fā)明內(nèi)容
順便說一下，如上所述配置的監(jiān)視相機(jī)系統(tǒng)1(圖1和2)面臨著增大存儲(chǔ)容量的挑戰(zhàn)，該存儲(chǔ)容量的增大是對(duì)由于系統(tǒng)規(guī)模增長而增大的傳送數(shù)據(jù)大小(帶寬)作出響應(yīng)所需要的。確保更小的傳送數(shù)據(jù)大小和存儲(chǔ)容量的可能方式包括以較高的壓縮率進(jìn)行壓縮、降低幀速率和減小圖像大小。以較高的壓縮率進(jìn)行壓縮涉及若干問題，包括由于塊噪聲和假色導(dǎo)致的較低的圖像銳度和惡化的可視性。這使得無法以極高的壓縮率實(shí)現(xiàn)數(shù)據(jù)壓縮。具體而言，疊加有噪聲分量的圖像如果以較高的壓縮率被壓縮則將會(huì)遭受質(zhì)量惡化。這在夜間捕捉的圖像中尤其能夠觀察到。
幀速率降低包括將通常以30幀每秒捕捉和傳送的圖像的幀速率降低到15幀每秒或更低。雖然取決于對(duì)象，但該方法能夠在不會(huì)對(duì)人類運(yùn)動(dòng)的檢測(cè)產(chǎn)生不利影響的限度內(nèi)提供降低的幀速率。
圖像分辨率的降低導(dǎo)致圖像中的小對(duì)象、精細(xì)圖案及其他的可視性很差。但是，也取決于對(duì)象的該方法可用于在不會(huì)對(duì)人類運(yùn)動(dòng)的檢測(cè)產(chǎn)生不利影響的限度內(nèi)減小傳送數(shù)據(jù)大小。
這些傳送數(shù)據(jù)大小減小方法中的每一種都不是被單獨(dú)使用的。相反，他們經(jīng)常被結(jié)合使用，直到實(shí)現(xiàn)所需的減小為止。另外，如果圖像質(zhì)量相同，那么壓縮率越高且傳送數(shù)據(jù)大小越小，該方法就越優(yōu)選。
另外，在MPEG方案中，對(duì)于B圖片和P圖片，與前一幀或后一幀的差異被量化。因此，如果噪聲被疊加在幀圖像上，則將會(huì)有較大的幀到幀差異，因?yàn)樵撛肼暸c圖像圖案不相關(guān)。如果需要相同級(jí)別的圖像質(zhì)量，則與具有最低限度噪聲的圖像相比，這將導(dǎo)致較大的傳送數(shù)據(jù)大小。
如前所述，另一方面，除了編解碼器之外的數(shù)據(jù)壓縮方法，即幀速率降低和圖像分辨率降低可被結(jié)合使用。但是，所有這些方法都是根據(jù)包括監(jiān)視相機(jī)系統(tǒng)的實(shí)際配置、被監(jiān)視的目標(biāo)以及所需的精度在內(nèi)的因素來選擇的。結(jié)果，無法以標(biāo)準(zhǔn)化的方式確定監(jiān)視相機(jī)系統(tǒng)的這些數(shù)據(jù)降低參數(shù)。因此，這些參數(shù)必須能夠被用戶和安裝者所改變。但是，這些參數(shù)無法在抑制被監(jiān)視目標(biāo)的可視性惡化的同時(shí)被改變。
另一方面，專利文獻(xiàn)1的發(fā)明中公開的技術(shù)根據(jù)用于壓縮編碼的同一信號(hào)中的噪聲量來抑制輸入視頻信號(hào)中的噪聲分量，從而提供了高質(zhì)量的再現(xiàn)圖像。但是，該技術(shù)無法在提供減小的傳送數(shù)據(jù)大小的同時(shí)抑制可視性的惡化。
本發(fā)明是考慮到上述問題而作出的，用于提出一種能夠在提供減小的傳送數(shù)據(jù)大小的同時(shí)降低可視性惡化的監(jiān)視相機(jī)系統(tǒng)。
為了解決上述問題，本發(fā)明包括被配置為對(duì)視頻進(jìn)行壓縮的壓縮部件和被配置為根據(jù)要傳送到網(wǎng)絡(luò)上的視頻數(shù)據(jù)的大小來按預(yù)定量降低視頻數(shù)據(jù)中的噪聲的噪聲降低部件。本發(fā)明可根據(jù)傳送數(shù)據(jù)大小提供降低的噪聲，從而抑制低比特率下可視性的惡化。
本發(fā)明可實(shí)現(xiàn)一種視頻信號(hào)處理設(shè)備、視頻信號(hào)處理方法和視頻信號(hào)處理程序，其能夠抑制由圖像質(zhì)量惡化導(dǎo)致的可視性惡化，而不論傳送到網(wǎng)絡(luò)上的數(shù)據(jù)大小如何。



圖1是圖示現(xiàn)有的監(jiān)視相機(jī)系統(tǒng)的配置示例的框圖； 圖2是圖示由監(jiān)視相機(jī)系統(tǒng)的編解碼器執(zhí)行的JPEG壓縮步驟的基本框圖； 圖3是圖示根據(jù)本發(fā)明一個(gè)實(shí)施例的監(jiān)視相機(jī)系統(tǒng)的配置示例的框圖； 圖4是圖示由信號(hào)處理部件執(zhí)行的噪聲降低步驟的示圖； 圖5是圖示3×3平滑的示例的示圖； 圖6是包括時(shí)間軸的、圖示噪聲降低步驟的示圖； 圖7是圖示基于時(shí)間軸上的多個(gè)幀執(zhí)行的噪聲降低步驟的示圖； 圖8是圖示對(duì)所有幀執(zhí)行的壓縮步驟的示圖； 圖9是圖示用于將幀速率降低到1/3的壓縮步驟的示圖； 圖10是圖示用于在不執(zhí)行壓縮的時(shí)間段期間降低未疏化的幀中的噪聲的同時(shí)，通過將幀速率降低到1/3來減小數(shù)據(jù)大小的步驟； 圖11是圖示由參數(shù)設(shè)置部件執(zhí)行的步驟的流程圖； 圖12是圖示由信號(hào)處理部件執(zhí)行的步驟的流程圖； 圖13是圖示由圖像壓縮部件執(zhí)行的步驟的流程圖； 圖14是圖示由網(wǎng)絡(luò)處理部件執(zhí)行的步驟的流程圖；以及 圖15是圖示由噪聲降低部件執(zhí)行的步驟的流程圖。

具體實(shí)施例方式 下面將參考附圖詳細(xì)描述本發(fā)明的實(shí)施例。
(1)監(jiān)視相機(jī)系統(tǒng)的整體配置 如圖3所示，根據(jù)本實(shí)施例的監(jiān)視相機(jī)系統(tǒng)10包括圖像輸入部件11、信號(hào)處理部件12、編解碼器13和CPU 16。圖像輸入部件11包括未示出的組件，例如鏡頭和CCD(電荷耦合器件)或CMOS(互補(bǔ)金屬氧化物半導(dǎo)體)傳感器。同一部件11連接到信號(hào)處理部件12。同一部件12連接到編解碼器13。編解碼器13連接到CPU 16。
圖像輸入部件11對(duì)應(yīng)于圖1中的鏡頭2以及CCD或CMOS傳感器3。同一部件11將捕捉到的圖像的圖像數(shù)據(jù)提供給信號(hào)處理部件12。信號(hào)處理部件12對(duì)應(yīng)于圖1中的信號(hào)處理部件4。同一部件12將來自圖像輸入部件11的圖像數(shù)據(jù)轉(zhuǎn)換成數(shù)字形式并輸出該數(shù)字圖像數(shù)據(jù)。
編解碼器13包括圖像壓縮部件14和噪聲降低部件15，這些部件包括DSP(數(shù)字信號(hào)處理器)和其他組件。這些部件將在下文描述。圖像壓縮部件14利用DCT(離散余弦變換)對(duì)來自信號(hào)處理部件12的圖像數(shù)據(jù)進(jìn)行壓縮。噪聲降低部件15降低來自信號(hào)處理部件12的圖像數(shù)據(jù)中的噪聲。就像圖1中的編解碼器5那樣，圖像壓縮部件14執(zhí)行以上參考圖2描述的MPEG壓縮以及JPEG壓縮。
CPU 16對(duì)應(yīng)于圖1中的CPU 6，并且包括網(wǎng)絡(luò)處理部件17和參數(shù)設(shè)置部件18。網(wǎng)絡(luò)處理部件17將從圖像壓縮部件14提供來的壓縮后的圖像數(shù)據(jù)轉(zhuǎn)換成適合于傳送到網(wǎng)絡(luò)上的數(shù)字格式。參數(shù)設(shè)置部件18向圖像壓縮部件14提供適合于指定壓縮率的參數(shù)(設(shè)置)。同一部件18還向噪聲降低部件15提供適合于指定噪聲降低量的參數(shù)(設(shè)置)。同一參數(shù)設(shè)置部件18還向信號(hào)處理部件12提供適合于指定噪聲降低量的參數(shù)(設(shè)置)。
如上所述，本實(shí)施例中的圖像數(shù)據(jù)流與圖1所示的現(xiàn)有系統(tǒng)示例中的相同。但是，本實(shí)施例與現(xiàn)有示例的不同之處在于CPU 16可利用參數(shù)向信號(hào)處理部件12、圖像壓縮部件14和噪聲降低部件15指定噪聲降低量。
利用參數(shù)來指定噪聲降低量的這一額外過程使得信號(hào)處理部件12和噪聲降低部件15能夠根據(jù)指定的傳送數(shù)據(jù)大小(每幀的數(shù)據(jù)大小和幀速率)來提供降低的噪聲。
圖4圖示出由信號(hào)處理部件12基于利用參數(shù)指定的噪聲降低量來執(zhí)行的噪聲降低步驟。從圖像輸入部件11輸入的圖像數(shù)據(jù)首先在信號(hào)處理部件12中經(jīng)歷噪聲降低，然后被提供到編解碼器13。
例如可以通過指定n×n平滑中的“n”來改變?cè)肼暯档土?n任意自然數(shù)，×乘法)。該平滑處理利用由所關(guān)注像素和周圍像素組成的所有n×n個(gè)像素的平均值來替換所關(guān)注像素。該平滑技術(shù)在簡(jiǎn)單的處理中是很流行的。
圖5圖示出3×3平滑的示例。所關(guān)注像素P的值(包括噪聲分量)被所關(guān)注像素P及其周圍像素“a”、“b”、“c”、“d”、“e”、“f”、“g”和“h”的平均值所替換。例如假定像素P的值(亮度)為225，并且周圍像素的值都是0，則像素P的值將是25(＝(255+0+0+0+0+0+0+0+0)÷9)。
例如，這個(gè)n的值對(duì)于最大傳送數(shù)據(jù)大小被設(shè)置為1，并且根據(jù)數(shù)據(jù)大小的減小而被增大到2、3等等。結(jié)果，n的值越大，高頻分量就越減少。這提供了減小的量化后數(shù)據(jù)大小。如果原始的量化后數(shù)據(jù)大小較小，則量化后的數(shù)據(jù)在被壓縮時(shí)質(zhì)量不會(huì)惡化太多。這將高壓縮率下的高頻噪聲所導(dǎo)致的質(zhì)量惡化保持到最低限度。
為了降低幀速率，在編解碼器13中結(jié)合或者在編解碼器13之外提供了未示出的圖像存儲(chǔ)器，如圖6所示。另外，根據(jù)減少的幀數(shù)目使用存儲(chǔ)在圖像存儲(chǔ)器中的每一幀的圖像數(shù)據(jù)。這使得噪聲降低部件15能夠利用最適合幀速率的技術(shù)降低未疏化的幀的圖像數(shù)據(jù)中的噪聲。
例如，中值濾波器可用作降低噪聲的技術(shù)之一。中值濾波器對(duì)N個(gè)數(shù)據(jù)串(N自然數(shù))排序(重排列)并選擇其中值。該濾波器對(duì)于降低零星噪聲極為有效。
因此，如果幀速率為最大，則N例如被設(shè)置到1。為了將幀速率降低到1/2或1/3，N例如被設(shè)置到3。為了將幀速率降低到1/4或1/5，N例如被設(shè)置到5。這確保了低幀速率下零星噪聲的降低，這是由于利用所關(guān)注圖像之前和之后的多個(gè)幀進(jìn)行了噪聲降低，而不是像現(xiàn)有技術(shù)中那樣簡(jiǎn)單地疏化該圖像。結(jié)果，圖像數(shù)據(jù)可以以較低的比特率被傳送，或者如果比特率相同則可以以較高的質(zhì)量被傳送。
本實(shí)施例在沿時(shí)間軸降低噪聲方面非常有利，尤其是在利用沿時(shí)間軸的差異實(shí)現(xiàn)高壓縮率的MPEG壓縮中。
圖7圖示出基于時(shí)間軸上的多個(gè)幀執(zhí)行的噪聲降低步驟。在該示例中，N為3。例如，假定幀n中的給定像素P包含噪聲分量。然后，沿時(shí)間軸位于前一幀(n-1)中的相同位置處的像素“a”的值和位于后一幀(n+1)中的相同位置處的像素“b”的值被重排列，從而中值像素值被用作像素P的值。這提供了降低的噪聲分量。例如，如果像素P的值是255并且像素“a”和“b”的值都是0，則像素P的值將為0。從而，利用沿時(shí)間軸的多個(gè)幀可以消除噪聲分量。與幀n相鄰的幀被存儲(chǔ)在圖像存儲(chǔ)器中。因此，可以從同一存儲(chǔ)器中讀取必要幀的圖像數(shù)據(jù)。
以上噪聲降低處理要求一個(gè)新的硬件。但是，如果圖像數(shù)據(jù)以高質(zhì)量被傳送則該處理可能不被執(zhí)行。也就是說，壓縮率越高，就需要越多的噪聲降低。另一方面，在較低的幀速率下，或者對(duì)于較小的數(shù)據(jù)大小在較低的圖像分辨率下，則只有較小的數(shù)據(jù)壓縮量(圖像壓縮部件14所需的)。
以前，圖像壓縮部件14所進(jìn)行的處理通常由專用電路來實(shí)現(xiàn)。近年來，由于CPU性能的改進(jìn)，越來越多地結(jié)合了使用通用CPU或可編程DSP的壓縮算法。
在本實(shí)施例中，編解碼器13也包括DSP。如上所述，編解碼器13的噪聲降低部件15所進(jìn)行的噪聲降低所需的運(yùn)算量與壓縮率成正比。相反，編解碼器13的圖像壓縮部件14所進(jìn)行的圖像壓縮所需的運(yùn)算量與壓縮率成反比。結(jié)果，如果利用通用CPU或DSP沿時(shí)間軸順序進(jìn)行這些處理，則無需額外的一個(gè)硬件就可以根據(jù)數(shù)據(jù)減少量來實(shí)現(xiàn)噪聲降低。
圖8圖示出對(duì)所有幀執(zhí)行的壓縮步驟。從幀n開始，所有幀被相繼壓縮。圖9圖示出用于將幀速率降低到1/3的壓縮步驟。幀n、(n+3)、(n+6)等等被相繼壓縮。
圖10圖示出用于在不執(zhí)行壓縮的時(shí)間段期間降低未疏化的幀中的噪聲的同時(shí)，通過將幀速率降低到1/3來減小數(shù)據(jù)大小的步驟。在該示例中，噪聲降低部件15在從圖像壓縮部件14完成對(duì)幀n的壓縮到開始對(duì)幀(n+3)的壓縮的時(shí)間段期間執(zhí)行對(duì)幀(n+3)的噪聲降低。
該噪聲降低是由編解碼器13的噪聲降低部件15基于時(shí)間軸上的多個(gè)幀來進(jìn)行的。如果基于時(shí)間軸上的多個(gè)幀來降低噪聲，則必須將要壓縮的幀之前和之后的若干幀存儲(chǔ)在圖像存儲(chǔ)器中。
在圖10所示的示例中，當(dāng)幀(n+3)被壓縮時(shí)，幀(n+1)至(n+5)必須被存儲(chǔ)在圖像存儲(chǔ)器中。因此，圖像壓縮部件14基于存儲(chǔ)在圖像存儲(chǔ)器中的幀來執(zhí)行其壓縮。
上述功能和配置允許了根據(jù)數(shù)據(jù)減少量進(jìn)行最優(yōu)的噪聲降低，同時(shí)防止了電路規(guī)模的增大。這確保了減小的記錄和傳送數(shù)據(jù)大小，以響應(yīng)于基于IP的監(jiān)視相機(jī)系統(tǒng)面臨的問題，即數(shù)據(jù)大小增長，從而提供了可視性的改善。
隨著數(shù)據(jù)壓縮技術(shù)的進(jìn)步，利用CPU或DSP來執(zhí)行壓縮算法或者利用CPU而不是利用完全基于硬件的壓縮設(shè)備來進(jìn)行算法的一部分處理，已經(jīng)變得越來越普遍。本實(shí)施例在上述硬件配置的情況下提供了數(shù)據(jù)大小的減小，同時(shí)通過利用CPU或DSP適應(yīng)性地降低噪聲，防止了硬件規(guī)模的增大。
以前，不論幀速率或傳送數(shù)據(jù)大小如何都執(zhí)行相同的噪聲降低，或者執(zhí)行適合于最高圖像質(zhì)量的噪聲降低。結(jié)果，在低圖像質(zhì)量下不能有效地降低噪聲。本實(shí)施例消除了上述問題，允許根據(jù)傳送數(shù)據(jù)大小進(jìn)行最優(yōu)的噪聲降低，從而提供了可視性的改善以及傳送和記錄數(shù)據(jù)大小的減小。
圖11是圖示由參數(shù)設(shè)置部件18執(zhí)行的用于設(shè)置壓縮率和噪聲降低量的步驟的流程圖。在步驟S1中，用戶操作未示出的操作部件，并且參數(shù)設(shè)置部件18判定是否輸入了適合于設(shè)置壓縮率的用戶命令。如果否，則同一部件18將重復(fù)步驟S1中的過程步驟以等待該命令。另一方面，當(dāng)同一部件18判定該命令已被輸入時(shí)，過程將前進(jìn)到步驟S2。
在步驟S2中，參數(shù)設(shè)置部件18基于已設(shè)置的壓縮率將噪聲降低量設(shè)置到信號(hào)處理部件12。接下來在步驟S3中，同一部件18將壓縮率設(shè)置到編解碼器13的圖像壓縮部件14。接下來在步驟S4中，同一部件基于在步驟S3中設(shè)置的壓縮率將沿時(shí)間軸的噪聲降低量設(shè)置到編解碼器13的噪聲降低部件15。參數(shù)設(shè)置部件18通過預(yù)定的方法基于壓縮率確定噪聲降低量。但是，可以在未示出的存儲(chǔ)器中預(yù)先存儲(chǔ)表格。該表格包含噪聲降低量和相關(guān)聯(lián)的壓縮率。然后，過程將返回到步驟S1以重復(fù)從步驟S1開始往后步驟。壓縮率和噪聲降低量是如上所述地設(shè)置的。
接下來將描述如何基于壓縮率設(shè)置噪聲降低量。噪聲降低量是如下基于壓縮率被設(shè)置的。也就是說，如果利用二維高斯濾波器來降低噪聲，則以下式子是二維高斯函數(shù) [式1] 通過根據(jù)壓縮率將σ設(shè)置到更大的值可以更大程度地降低噪聲。
應(yīng)當(dāng)注意，高斯濾波器可通過以下式(2)來計(jì)算 [式2] [式3] 其中 I像素亮度級(jí)別 W基于高斯分布的權(quán)重 σ離差(dispersion) k，l相鄰像素的偏移量坐標(biāo)(3) 例如，如果指定了壓縮率Rate，則根據(jù)式(1)至(3)，可以通過如以下式(4)所示將σ作為Rate的函數(shù)來確定噪聲降低量。
[式4] σ＝f(Rate)(4) 可基于編解碼器的特性來確定該函數(shù)?；蛘?，可以預(yù)先準(zhǔn)備一個(gè)表格，該表格包含為每個(gè)壓縮率Rate計(jì)算的σ值，從而在壓縮時(shí)可以通過參考表格來根據(jù)壓縮率Rate確定σ值。
[表1]
圖12是圖示由信號(hào)處理部件12執(zhí)行的步驟的流程圖。在步驟S11中，信號(hào)處理部件12判定圖像信號(hào)是否已被從圖像輸入部件11提供來。如果否，則信號(hào)處理部件12將重復(fù)步驟S11中的過程以等待圖像。另一方面，當(dāng)同一部件11判定圖像已被從圖像輸入部件11提供來時(shí)，過程將前進(jìn)到步驟S12。
在步驟S12中，信號(hào)處理將來自圖像輸入部件11的圖像信號(hào)轉(zhuǎn)換到數(shù)字形式。接下來在步驟S13中，基于預(yù)設(shè)條件(噪聲降低量)在來自圖像輸入部件11的圖像信號(hào)的圖像數(shù)據(jù)中降低噪聲。接下來，在步驟S14中，由于噪聲降低而具有降低的噪聲的圖像數(shù)據(jù)被提供到編解碼器13。
圖13是圖示由編解碼器執(zhí)行的圖像壓縮步驟的流程圖。在步驟S21中，編解碼器13判定圖像數(shù)據(jù)是否已被從信號(hào)處理部件12提供來。如果否，則編解碼器13將重復(fù)步驟S21中的過程以等待圖像數(shù)據(jù)。另一方面，當(dāng)編解碼器13判定圖像數(shù)據(jù)已被從信號(hào)處理部件12提供來時(shí)，過程將前進(jìn)到步驟S22。
在步驟S22中，編解碼器判定是否壓縮每一幀。也就是說，編解碼器13判定是否對(duì)圖像數(shù)據(jù)的所有幀進(jìn)行壓縮而不進(jìn)行噪聲降低。該判定是基于圖11中用戶命令指定的壓縮率和噪聲降低量來進(jìn)行的。
如果編解碼器13判定它將對(duì)圖像數(shù)據(jù)的每一幀進(jìn)行壓縮，則過程將前進(jìn)到步驟S23，在該步驟中，圖像壓縮部件14對(duì)圖像數(shù)據(jù)進(jìn)行壓縮，而不進(jìn)行噪聲降低。然后，所得到的圖像數(shù)據(jù)在步驟S24中被提供到CPU16。
另一方面，在步驟S22中，當(dāng)編解碼器13判定它不會(huì)壓縮每一幀時(shí)，過程將前進(jìn)到步驟S25，在該步驟中編解碼器13判定來自信號(hào)處理部件12的圖像數(shù)據(jù)是否是要被壓縮的幀的圖像數(shù)據(jù)。也就是說，編解碼器13判定圖像數(shù)據(jù)是否是不需要被疏化的幀的圖像數(shù)據(jù)。如果否，則過程將前進(jìn)到步驟S28，在該步驟中圖像數(shù)據(jù)被存儲(chǔ)在圖像存儲(chǔ)器中。
另一方面，當(dāng)圖像數(shù)據(jù)是要被壓縮的幀(不需要被疏化的幀)的圖像數(shù)據(jù)時(shí)，過程將前進(jìn)到步驟S26，在該步驟中，該幀的圖像數(shù)據(jù)經(jīng)歷噪聲降低部件15進(jìn)行的噪聲降低，然后是圖像壓縮部件14進(jìn)行的壓縮。然后，已經(jīng)經(jīng)歷了噪聲降低和圖像壓縮的該幀的圖像數(shù)據(jù)在步驟S27中被提供到CPU 16。
在完成步驟S24、S27或S28中的過程步驟后，過程將返回到步驟S21，并且從步驟S21開始往后的步驟將被重復(fù)。噪聲降低和圖像壓縮由編解碼器13如上所述地進(jìn)行。
圖14是圖示由網(wǎng)絡(luò)處理部件17執(zhí)行的將已經(jīng)經(jīng)歷CPU 16進(jìn)行的噪聲降低和壓縮的圖像數(shù)據(jù)傳送到網(wǎng)絡(luò)上的步驟的流程圖。在步驟S31中，網(wǎng)絡(luò)處理部件17判定是否有要被傳送到網(wǎng)絡(luò)上的圖像數(shù)據(jù)。如果否，則同一部件17將重復(fù)步驟S31中的過程步驟。
另一方面，當(dāng)同一部件17判定有要被傳送到網(wǎng)絡(luò)上的圖像數(shù)據(jù)時(shí)，過程將前進(jìn)到步驟S32，在該步驟中，執(zhí)行預(yù)定的網(wǎng)絡(luò)處理。然后，過程將前進(jìn)到步驟S33，在該步驟中，圖像數(shù)據(jù)被傳送到網(wǎng)絡(luò)上。
圖15是圖示由編解碼器13的噪聲降低部件15執(zhí)行的噪聲降低步驟的流程圖。在步驟S41中，噪聲降低部件15判定是否有指定數(shù)目的圖像數(shù)據(jù)幀被存儲(chǔ)在圖像存儲(chǔ)器中。例如，令N表示幀計(jì)數(shù)，例如為將幀速率降低到1/2或1/3，N＝3。例如，為將幀速率降低到1/4或1/5，N＝5。因此，該值N對(duì)應(yīng)于指定的幀計(jì)數(shù)。
在步驟S41中，如果噪聲降低部件15判定指定數(shù)目的圖像數(shù)據(jù)幀尚未被存儲(chǔ)在圖像存儲(chǔ)器中，則同一部件15將重復(fù)步驟S41中的過程步驟。另一方面，當(dāng)同一部件15判定指定數(shù)目的圖像數(shù)據(jù)幀被存儲(chǔ)在圖像存儲(chǔ)器中時(shí)，過程將前進(jìn)到步驟S42。
在步驟S42中，噪聲降低部件15在適合于設(shè)置的條件(例如噪聲降低量)下，基于存儲(chǔ)在圖像存儲(chǔ)器中的時(shí)間軸上的多個(gè)幀來執(zhí)行噪聲降低。
接下來在步驟S43中，噪聲降低部件15將由于噪聲降低而具有降低的噪聲的圖像數(shù)據(jù)提供給CPU 16。
(2)操作和效果 在以上配置中，圖像處理部件12將來自圖像輸入部件11的圖像信號(hào)轉(zhuǎn)換成數(shù)字形式的圖像數(shù)據(jù)。同時(shí)，同一部件12通過平滑或其他技術(shù)降低圖像數(shù)據(jù)中的噪聲。該噪聲降低是根據(jù)由壓縮率指定的噪聲降低量或者由參數(shù)設(shè)置部件18根據(jù)用戶命令設(shè)置的噪聲降低量設(shè)置來執(zhí)行的。然后，圖像處理部件12將結(jié)果提供給編解碼器13。
編解碼器13的圖像壓縮部件14對(duì)從圖像處理部件12提供來的圖像數(shù)據(jù)進(jìn)行壓縮。同一部件14基于參數(shù)設(shè)置部件18設(shè)置的壓縮率，利用DCT或其他技術(shù)對(duì)要被壓縮的幀的圖像數(shù)據(jù)進(jìn)行壓縮。也就是說，，如果一些幀由于幀速率降低而被疏化，則要被疏化的那些幀的圖像數(shù)據(jù)被存儲(chǔ)在圖像存儲(chǔ)器中。圖像壓縮部件14對(duì)要被壓縮的那些幀的圖像數(shù)據(jù)進(jìn)行壓縮。同一部件14將壓縮后的幀的圖像數(shù)據(jù)提供給CPU 16。
編解碼器13的噪聲降低部件15基于時(shí)間軸上的多個(gè)幀來降低要被壓縮的那些幀的圖像數(shù)據(jù)中的噪聲。結(jié)果，圖像存儲(chǔ)器存儲(chǔ)未經(jīng)歷壓縮因而被疏化以便降低幀速率的那些幀的圖像數(shù)據(jù)。噪聲降低部件15在適當(dāng)時(shí)從圖像存儲(chǔ)器讀取需要噪聲降低的那些幀的圖像數(shù)據(jù)。
編解碼器13的圖像壓縮部件14對(duì)已經(jīng)經(jīng)歷了噪聲降低部件15進(jìn)行的噪聲降低的圖像數(shù)據(jù)進(jìn)行壓縮。因此，圖像數(shù)據(jù)在噪聲降低后被壓縮。如果噪聲降低是基于時(shí)間軸上的多個(gè)幀執(zhí)行的，則時(shí)間軸上的多個(gè)必要幀首先被存儲(chǔ)在圖像存儲(chǔ)器中。然后，在不會(huì)被疏化因而將會(huì)被壓縮的那些幀的圖像數(shù)據(jù)中降低噪聲，然后是壓縮。
已經(jīng)經(jīng)歷了噪聲降低和壓縮的圖像數(shù)據(jù)被提供到CPU 16。然后，數(shù)據(jù)被網(wǎng)絡(luò)處理部件17轉(zhuǎn)換以便傳送到網(wǎng)絡(luò)上。在轉(zhuǎn)換后，數(shù)據(jù)被傳送到網(wǎng)絡(luò)上。
以上配置允許了用戶利用命令至少指定壓縮率或噪聲降低量，從而提供了根據(jù)圖像數(shù)據(jù)的傳送大小的噪聲降低。例如，當(dāng)用戶指定壓縮率時(shí)，參數(shù)設(shè)置部件18根據(jù)指定的壓縮率通過預(yù)定的方法確定數(shù)據(jù)減少量，并且將數(shù)據(jù)減少量設(shè)置到信號(hào)處理部件12和噪聲降低部件15。
例如，噪聲降低量可根據(jù)幀速率被調(diào)整。更具體而言，噪聲降低量隨著幀速率的降低而增大，從而將圖像質(zhì)量惡化保持到最低限度。另外，噪聲降低量可根據(jù)傳送數(shù)據(jù)大小被調(diào)整。更具體而言，噪聲降低量隨著傳送數(shù)據(jù)大小的減小而增大，從而將圖像質(zhì)量惡化保持到最低限度。
(3)其他實(shí)施例 雖然上述實(shí)施例通過信號(hào)處理部件12的平滑降低了噪聲，但是本發(fā)明并不限于此，而是可以通過其他技術(shù)在同一幀中降低噪聲。
另外，上述實(shí)施例在噪聲降低部件15中基于沿時(shí)間軸的多個(gè)幀的圖像數(shù)據(jù)執(zhí)行噪聲降低。但是，本發(fā)明并不限于此，而是可以基于時(shí)間軸上的多個(gè)幀的圖像數(shù)據(jù)通過其他技術(shù)來執(zhí)行噪聲降低。
根據(jù)本發(fā)明的視頻信號(hào)處理設(shè)備、方法和程序例如可應(yīng)用到多種聯(lián)網(wǎng)的相機(jī)系統(tǒng)以及監(jiān)視相機(jī)系統(tǒng)。
本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)理解，取決于設(shè)計(jì)要求和其他因素，可以進(jìn)行各種修改、組合、子組合和變更，只要它們處于所附權(quán)利要求或其等同物的范圍之內(nèi)。
本發(fā)明包含與2007年7月4日向日本專利局提交的日本專利申請(qǐng)JP2007-176650相關(guān)的主題，這里通過引用將該申請(qǐng)的全部?jī)?nèi)容并入。
權(quán)利要求
1.一種用于對(duì)輸入視頻進(jìn)行壓縮并將壓縮后的視頻數(shù)據(jù)傳送到網(wǎng)絡(luò)上的視頻信號(hào)處理設(shè)備，該視頻信號(hào)處理設(shè)備包括
壓縮裝置，用于對(duì)所述視頻進(jìn)行壓縮；以及
噪聲降低裝置，用于根據(jù)要被傳送到所述網(wǎng)絡(luò)上的視頻數(shù)據(jù)的大小，按預(yù)定的噪聲降低量來降低所述視頻數(shù)據(jù)中的噪聲。
2.如權(quán)利要求1所述的視頻信號(hào)處理設(shè)備，其中
如果傳送視頻數(shù)據(jù)的量通過降低幀速率而被減小，則所述噪聲降低裝置基于與要被減少的幀的數(shù)目相當(dāng)?shù)难貢r(shí)間軸的預(yù)定數(shù)目的幀，來執(zhí)行噪聲降低。
3.如權(quán)利要求1所述的視頻信號(hào)處理設(shè)備，其中
所述壓縮裝置和所述噪聲降低裝置被包括在單個(gè)運(yùn)算設(shè)備中，并且
所述噪聲降低裝置進(jìn)行的噪聲降低是在所述壓縮裝置不執(zhí)行壓縮的時(shí)間段期間執(zhí)行的。
4.一種用于對(duì)輸入視頻進(jìn)行壓縮并將壓縮后的視頻數(shù)據(jù)傳送到網(wǎng)絡(luò)上的視頻信號(hào)處理方法，該視頻信號(hào)處理方法包括以下步驟
對(duì)所述視頻進(jìn)行壓縮；以及
根據(jù)要被傳送到所述網(wǎng)絡(luò)上的視頻數(shù)據(jù)的大小，按預(yù)定的噪聲降低量來降低所述視頻數(shù)據(jù)中的噪聲。
5.如權(quán)利要求4所述的視頻信號(hào)處理方法，其中
如果傳送視頻數(shù)據(jù)的量通過降低幀速率而被減小，則所述噪聲降低步驟基于與要被減少的幀的數(shù)目相當(dāng)?shù)难貢r(shí)間軸的預(yù)定數(shù)目的幀，來執(zhí)行噪聲降低。
6.如權(quán)利要求4所述的視頻信號(hào)處理方法，其中
所述壓縮步驟和所述噪聲降低步驟由單個(gè)運(yùn)算設(shè)備執(zhí)行，并且
所述噪聲降低步驟進(jìn)行的噪聲降低是在所述壓縮步驟不執(zhí)行壓縮的時(shí)間段期間執(zhí)行的。
7.一種用于控制視頻信號(hào)處理設(shè)備的視頻信號(hào)處理程序，該視頻信號(hào)處理設(shè)備用于對(duì)輸入視頻進(jìn)行壓縮并將壓縮后的視頻數(shù)據(jù)傳送到網(wǎng)絡(luò)上，該視頻信號(hào)處理程序使得該視頻信號(hào)處理設(shè)備執(zhí)行以下步驟
對(duì)所述視頻進(jìn)行壓縮；以及
根據(jù)要被傳送到所述網(wǎng)絡(luò)上的視頻數(shù)據(jù)的大小，按預(yù)定的噪聲降低量來降低所述視頻數(shù)據(jù)中的噪聲。
8.如權(quán)利要求7所述的視頻信號(hào)處理程序，其中
如果傳送視頻數(shù)據(jù)的量通過降低幀速率而被減小，則所述噪聲降低步驟基于與要被減少的幀的數(shù)目相當(dāng)?shù)难貢r(shí)間軸的預(yù)定數(shù)目的幀，來執(zhí)行噪聲降低。
9.如權(quán)利要求7所述的視頻信號(hào)處理程序，其中
所述壓縮步驟和所述噪聲降低步驟由單個(gè)運(yùn)算設(shè)備執(zhí)行，并且
所述噪聲降低步驟進(jìn)行的噪聲降低是在所述壓縮步驟不執(zhí)行壓縮的時(shí)間段期間執(zhí)行的。
10.一種用于對(duì)輸入視頻進(jìn)行壓縮并將壓縮后的視頻數(shù)據(jù)傳送到網(wǎng)絡(luò)上的視頻信號(hào)處理設(shè)備，該視頻信號(hào)處理設(shè)備包括
壓縮部件，其被配置為對(duì)所述視頻進(jìn)行壓縮；以及
噪聲降低部件，其被配置為根據(jù)要被傳送到所述網(wǎng)絡(luò)上的視頻數(shù)據(jù)的大小，按預(yù)定的噪聲降低量來降低所述視頻數(shù)據(jù)中的噪聲。
11.如權(quán)利要求10所述的視頻信號(hào)處理設(shè)備，其中
如果傳送視頻數(shù)據(jù)的量通過降低幀速率而被減小，則所述噪聲降低部件基于與要被減少的幀的數(shù)目相當(dāng)?shù)难貢r(shí)間軸的預(yù)定數(shù)目的幀，來執(zhí)行噪聲降低。
12.如權(quán)利要求10所述的視頻信號(hào)處理設(shè)備，其中
所述壓縮部件和所述噪聲降低部件被包括在單個(gè)運(yùn)算設(shè)備中，并且
所述噪聲降低部件進(jìn)行的噪聲降低是在所述壓縮部件不執(zhí)行壓縮的時(shí)間段期間執(zhí)行的。
全文摘要
本發(fā)明提供了視頻信號(hào)處理設(shè)備、方法和程序。一種用于對(duì)輸入視頻進(jìn)行壓縮并將壓縮后的視頻數(shù)據(jù)傳送到網(wǎng)絡(luò)上的視頻信號(hào)處理設(shè)備，該視頻信號(hào)處理設(shè)備包括壓縮部件，其被配置為對(duì)視頻進(jìn)行壓縮；以及噪聲降低部件，其被配置為根據(jù)要被傳送到網(wǎng)絡(luò)上的視頻數(shù)據(jù)的大小，按預(yù)定的噪聲降低量來降低視頻數(shù)據(jù)中的噪聲。
文檔編號(hào)H04N1/41GK101340586SQ200810127589
公開日2009年1月7日 申請(qǐng)日期2008年7月4日 優(yōu)先權(quán)日2007年7月4日
發(fā)明者林和慶 申請(qǐng)人:索尼株式會(huì)社