一種空時(shí)配準(zhǔn)解卷積的非同步多視頻超分辨率方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于計(jì)算機(jī)圖像與視頻處理領(lǐng)域，涉及一種空時(shí)配準(zhǔn)解卷積的非同步多視頻超分辨率方法。
【背景技術(shù)】
[0002]超分辨率，通常是指將多幀低分辨率觀測(cè)圖像合并重建出高分辨率圖像的過(guò)程。目前，已有眾多的超分辨率算法被提出，其中大多數(shù)算法的實(shí)現(xiàn)基礎(chǔ)和路徑如下所述。
[0003]多幀觀測(cè)圖像信息能夠互補(bǔ)，從而實(shí)現(xiàn)超分辨率的前提是:單相機(jī)和場(chǎng)景之間有一些小的相對(duì)運(yùn)動(dòng)，或多相機(jī)之間的位置和角度有小的差異。因此，超分辨率的第一步就是多幀圖像配準(zhǔn)，即估計(jì)像素從一個(gè)圖像到其它圖像的映射關(guān)系。第二步是基于配準(zhǔn)的多幀圖像融合，融合結(jié)果要滿(mǎn)足一定重建約束，也即當(dāng)對(duì)重建出的高分辨率圖像模擬退化(包括:根據(jù)配準(zhǔn)數(shù)據(jù)進(jìn)行適當(dāng)形變，模擬圖像生成過(guò)程進(jìn)行降采樣)后，能夠再現(xiàn)觀測(cè)圖像。這一重建約束可很好地嵌入到用以實(shí)現(xiàn)重建的貝葉斯框架之中，且貝葉斯框架應(yīng)包含高分辨率圖像先驗(yàn)信息。
[0004]一般情況下，超分辨率算法只是遵循上述步驟和框架重建出一幀圖像。即使是重建出多幀圖像的視頻超分辨率，通常也僅是提高空間分辨率，其時(shí)間分辨率并未改善。事實(shí)上，對(duì)于視頻質(zhì)量，除了在空間上對(duì)圖像分辨率增強(qiáng)外，還需要在時(shí)間上增加幀率使輸出視頻更加流暢。尤其對(duì)于低幀率攝像機(jī)獲取的高速運(yùn)動(dòng)場(chǎng)景的視頻，時(shí)間分辨率的提升更加需要。當(dāng)然，時(shí)間插值可以用來(lái)提高視頻的幀率，是完善視頻超分辨率的一種簡(jiǎn)便易行方法。然而，對(duì)于高速活動(dòng)場(chǎng)景來(lái)說(shuō)，攝像機(jī)曝光時(shí)間較長(zhǎng)會(huì)造成視頻中的運(yùn)動(dòng)物體產(chǎn)生拖尾效應(yīng)，無(wú)法通過(guò)時(shí)間插值解除，且插值函數(shù)選取的任意性也使幀率提高和復(fù)原的程度受到限制。

【發(fā)明內(nèi)容】

[0005]發(fā)明目的:為了克服現(xiàn)有技術(shù)中所存在的視頻中運(yùn)動(dòng)物體的拖尾效應(yīng)，以及時(shí)間插值函數(shù)選取任意性對(duì)提高視頻幀率的局限等問(wèn)題，本發(fā)明提出一種空時(shí)配準(zhǔn)解卷積的非同步多視頻超分辨率方法，在滿(mǎn)足視頻空間分辨率和幀率同時(shí)提升的基礎(chǔ)上，進(jìn)一步減小了幀率提升的限制，提高了視頻中運(yùn)動(dòng)物體的清晰度，適應(yīng)了更高的視頻超分辨率需求。
[0006]技術(shù)方案:為實(shí)現(xiàn)上述目的，本發(fā)明的空時(shí)配準(zhǔn)解卷積的非同步多視頻超分辨率方法，包括以下步驟:
[0007](I)使用至少兩臺(tái)攝像機(jī)在同一時(shí)段對(duì)同一高速活動(dòng)場(chǎng)景進(jìn)行拍攝，攝像機(jī)開(kāi)始拍攝時(shí)刻不全同步，得到視頻集I = Ui I i e N}，N為不小于2的自然數(shù)集；
[0008](2)依次對(duì)每一部視頻Ii進(jìn)行動(dòng)、靜區(qū)域的分割處理得到視頻Xi，最終得到視頻集X = Ixi I i e N}；
[0009](3)任選視頻集X中的某一視頻為空間參考視頻，根據(jù)視頻中的靜止區(qū)域?qū)σ曨l集X進(jìn)行空間配準(zhǔn)，將所述視頻集X中的所有視頻配準(zhǔn)為與所述空間參考視頻同一拍攝方位的等效視頻，得到視頻集Y = Iyi I i e N}；
[0010](4)根據(jù)視頻活動(dòng)區(qū)域中物體的運(yùn)動(dòng)狀態(tài)，對(duì)視頻集Y進(jìn)行時(shí)間配準(zhǔn)，所述時(shí)間配準(zhǔn)指的是任選視頻集Y中的某一視頻為時(shí)間參考視頻，確定每部視頻Yi與所述時(shí)間參考視頻的拍攝時(shí)間差，然后進(jìn)行同步視頻合成重建，得到視頻集Z= {Zi|i e N};
[0011](5)任選視頻集Z中的某一視頻為時(shí)間參考視頻，根據(jù)視頻活動(dòng)區(qū)域中物體的運(yùn)動(dòng)狀態(tài)，對(duì)視頻集Z進(jìn)行時(shí)間配準(zhǔn)，即確定每部視頻Zi與所述時(shí)間參考視頻的拍攝時(shí)間差
[0012](6)以所述視頻集Z中的時(shí)間參考視頻為基準(zhǔn)視頻，根據(jù)拍攝時(shí)間差A(yù)ti,將視頻集Z中的每一部視頻Zi插入到所述時(shí)間參考視頻的時(shí)間軸的相應(yīng)時(shí)刻形成視頻z，所述視頻z的所有視頻幀在每個(gè)平面坐標(biāo)(m，n)處的像素均組成一個(gè)像素鏈z (t)mn，z(t)?是非均勻時(shí)間間隔采樣的離散函數(shù)，其中t表示時(shí)間；
[0013]對(duì)表達(dá)式z(t)mn= sample [O (t) mn*blur(t)]進(jìn)行解卷積運(yùn)算，求出未被模糊的高時(shí)間分辨率、等時(shí)間間隔的原始像素鏈0(t)?，遍歷所有坐標(biāo)(m，n)求解0(0?后，得到視頻O，其中，sample [.]為采樣函數(shù)，*為卷積符號(hào)，blur (t)為已知的時(shí)間卷積核；
[0014](7)輸出視頻O，作為超分辨率最終結(jié)果。
[0015]其中，所述視頻集I中的所有視頻為同時(shí)段但非同步的視頻，且空時(shí)分辨率均相同。
[0016]其中，所述步驟(2)中對(duì)每一部視頻Ii進(jìn)行動(dòng)、靜區(qū)域的分割處理包括以下步驟:
[0017](I)對(duì)視頻Ii (即圖像序列IiU) (j = 1，2...)，j為視頻中圖像的序數(shù))進(jìn)行空間配準(zhǔn)，得到配準(zhǔn)后的視頻ri;
[0018](2)對(duì)所述配準(zhǔn)后的視頻ri的所有相鄰幀進(jìn)行差分運(yùn)算，得到差分圖像序列djj)(j = I, 2...)；
[0019](3)將差分圖像djj)的像素值與事先所設(shè)定的閾值進(jìn)行比較，如果每幀差分圖像屯(」)在某區(qū)域的所有像素值均小于所述事先所設(shè)定的閾值，則將所有圖像1^(」)(j =1，2...)的對(duì)應(yīng)區(qū)域設(shè)為靜止區(qū)域，否則為活動(dòng)區(qū)域，從而形成視頻\，所述視頻\為靜止區(qū)域和活動(dòng)區(qū)域相互分割的圖像序列XiU) (j = I, 2...)。
[0020]其中，所述步驟(4)中進(jìn)行同步視頻合成重建包括以下步驟:
[0021](I)根據(jù)所述拍攝時(shí)間差，將所述視頻集Y分為若干組，將采樣時(shí)刻相同的同步視頻記作一個(gè)同步視頻組，其余的記作非同步視頻；
[0022](2)對(duì)所述視頻集Y中的每一個(gè)同步視頻組都進(jìn)行空間超分辨率重建，即將每一個(gè)同步視頻組中所有相同時(shí)刻的圖像進(jìn)行該時(shí)刻的圖像超分辨率重建得到一部新視頻，所有重建的新視頻的空間分辨率均相同；
[0023](3)將所述非同步視頻中的圖像均復(fù)原放大，也得到一組新視頻，其空間分辨率與所述同步視頻組的新視頻保持一致。
[0024]有益效果:本發(fā)明的視頻超分辨率方法在視頻空時(shí)分辨率提升的基礎(chǔ)上，采用非同步多視頻進(jìn)行合成及空時(shí)配準(zhǔn)解卷積法，使視頻中活動(dòng)物體的運(yùn)動(dòng)拖尾效應(yīng)得以解除，同時(shí)也擺脫了常規(guī)視頻超分辨率在幀率提升程度方面的局限。
【附圖說(shuō)明】
[0025]圖1是本發(fā)明方法的流程圖；
[0026]圖2是同時(shí)段非同步視頻集的示意圖；
[0027]圖3是確定靜止區(qū)域和活動(dòng)區(qū)域的流程圖；
[0028]圖4是靜止區(qū)域和活動(dòng)區(qū)域相互分割的視頻示意圖；
[0029]圖5是同步視頻合成重建過(guò)程示意圖；
[0030]圖6是視頻插入過(guò)程的剖面示意圖；
[0031 ] 圖7是逐坐標(biāo)對(duì)視頻的像素鏈解卷積的示意圖；
[0032]圖中I1' 12、13、14、yp y2、y3、y4、Z0 z2、z3、z、O 為不同視頻的標(biāo)記，t 表示時(shí)間。
【具體實(shí)施方式】
[0033]下面結(jié)合實(shí)施例對(duì)本發(fā)明作更進(jìn)一步的說(shuō)明。
[0034]如圖1所示，本發(fā)明提供的一種空時(shí)配準(zhǔn)解卷積的非同步多視頻超分辨率方法，包括如下步驟:
[0035]第I步，針對(duì)某一高速活動(dòng)場(chǎng)景，采集相同空時(shí)分辨率的同時(shí)段、非同步視頻集I=UiIie N}，N為不小于2的自然數(shù)。
[0036]使用至少兩個(gè)相同型號(hào)的攝像機(jī)，在同一時(shí)段對(duì)同一高速活動(dòng)場(chǎng)景進(jìn)行拍攝，攝像機(jī)開(kāi)始拍攝時(shí)刻不全同步。事實(shí)上，即使同時(shí)啟動(dòng)多個(gè)攝像機(jī)，由于時(shí)間誤差和軟硬件公差，其所拍攝的視頻之間也會(huì)存在幀的非同步現(xiàn)象。
[0037]同時(shí)段非同步視頻集I = UiIi e N}如圖2所示。為簡(jiǎn)潔明了，圖2僅顯示了 I中典型的四部視頻山、12、13和14。在I中，除類(lèi)似12和14這樣的視頻啟動(dòng)時(shí)刻同步外，大多數(shù)視頻啟動(dòng)時(shí)刻并不同步，導(dǎo)致視頻集非同步。
[0038]第2步，如圖3所示，依次對(duì)I中的每一部視頻Ii進(jìn)行動(dòng)、靜區(qū)域的分割處理得到視頻Xi，最終可組成視頻集X = Ixi I i e N}，N為不小于2的自然數(shù)，具體步驟如下:
[0039]①將視頻Ii中的圖像序列Ii(J) (j = 1,2...)進(jìn)行空間配準(zhǔn)，j為視頻中圖像的序數(shù)，得到圖像配準(zhǔn)的視頻ri;②對(duì)配準(zhǔn)后的視頻ri的所有相鄰幀進(jìn)行差分運(yùn)算!■山_+1)-1"山_)，得到差分圖像序列(1山_) (j = 1,2-) 根據(jù)差分圖像序列的像素值大小，分割出圖像序列1^(」)(j = 1，2…)的靜止區(qū)域和活動(dòng)區(qū)域，具體方法為:如果每幀差分圖像djj)在某區(qū)域的所有像素值均小于事先所設(shè)定的閾值，則認(rèn)為所有圖像(j) (j =1，2…)的對(duì)應(yīng)區(qū)域?yàn)殪o止區(qū)域，其余區(qū)域則為活動(dòng)區(qū)域，從而形成如圖4所示的靜止區(qū)域和活動(dòng)區(qū)域相互分割的圖像序列Xi(j) (j