相關(guān)申請(qǐng)案交叉申請(qǐng)

本申請(qǐng)要求2014年11月13日遞交的發(fā)明名稱為“多視點(diǎn)高速運(yùn)動(dòng)采集的方法及系統(tǒng)”的第14/540,394號(hào)美國(guó)申請(qǐng)案的在先申請(qǐng)優(yōu)先權(quán)。

本發(fā)明通常涉及多視點(diǎn)高速視頻應(yīng)用。

背景技術(shù)：

物體運(yùn)動(dòng)(例如，車輛、人或其他物體運(yùn)動(dòng)等)的視頻采集可以在各種應(yīng)用中都十分有用。典型地，在進(jìn)行圖像展示時(shí)，將高速或高幀率下采集的物體運(yùn)動(dòng)圖像放慢，從而可以對(duì)很可能檢測(cè)不出來的特征及特性進(jìn)行檢查。從多個(gè)視點(diǎn)采集的多個(gè)高速視頻流甚至在各種應(yīng)用中都更有用處。但是，傳統(tǒng)的高速視頻采集方式通常都很昂貴，并且需要很多資源。

很多應(yīng)用都在嘗試使用高速視頻。在自動(dòng)車禍測(cè)試行業(yè)中，如果能夠從多個(gè)角度以慢動(dòng)作方式觀察高速撞擊過程，將對(duì)識(shí)別潛在的設(shè)計(jì)缺陷以及提高安全性大有幫助。在諸如生物機(jī)械學(xué)等科學(xué)研究領(lǐng)域中，從多個(gè)視點(diǎn)清晰地觀察諸如快速的動(dòng)物移動(dòng)等快速的實(shí)驗(yàn)過程通常是很重要的。在電視廣播活動(dòng)(例如，運(yùn)動(dòng)等)中，為了得到自由視點(diǎn)視頻以及努力創(chuàng)建仿真體驗(yàn)，需要嘗試從多個(gè)視點(diǎn)采集高速運(yùn)動(dòng)。在電影及計(jì)算機(jī)游戲行業(yè)中，通常通過從多個(gè)視點(diǎn)高速采集演員的表演，從而嘗試許多進(jìn)一步的視頻后期處理任務(wù)，例如重新打光或消光。

為了從多個(gè)視點(diǎn)采集高速運(yùn)動(dòng)，一種傳統(tǒng)的方式是采用多個(gè)能夠從不同的視點(diǎn)采集圖像的同步高速攝像頭。然而，這種方式的成本通常很高(例如，高帶寬成本、硬件成本、圖像質(zhì)量成本等)。就帶寬成本而言，傳統(tǒng)方式通常涉及極大的傳輸帶寬以及需要同時(shí)存儲(chǔ)多個(gè)高速視頻流。例如，一個(gè)單一的1000幀每秒的高清視頻攝像頭每秒記錄大約6gb的原始數(shù)據(jù)，這比常速攝像頭通常記錄的數(shù)據(jù)多30多倍。就硬件成本而言，一個(gè)典型的高速視頻攝像頭(例如，1000幀每秒等)的成本比相同分辨率(例如，30幀每秒等)的常規(guī)視頻攝像頭的成本高得多。進(jìn)一步地，多個(gè)高速攝像頭之間的精確同步通常要求額外的昂貴硬件?？紤]到高速攝像頭的曝光時(shí)間通常十分有限(例如，一個(gè)1000幀每秒的攝像頭的曝光時(shí)間少于1/1000秒)，這通常對(duì)圖像質(zhì)量也有影響。因此，相比常速視頻攝像頭，為了保證高圖像質(zhì)量，需要更強(qiáng)的光線。因此，很多高速攝像頭都僅僅是單調(diào)的，不能采集彩色圖像。實(shí)際上，正是由于通常與高速攝像頭相關(guān)的這些高成本，通常導(dǎo)致極大地限制了目標(biāo)場(chǎng)景的采集視點(diǎn)的個(gè)數(shù)。

只有極少數(shù)的傳統(tǒng)方式試圖采用大量的常速攝像頭(例如，成本比高速攝像頭低很多的情況下通常可用)模仿高速攝像頭。然而，這些傳統(tǒng)的嘗試通常存在問題。其中一種流行方式是試圖交錯(cuò)采用多個(gè)常速攝像頭。交錯(cuò)采用多個(gè)常速攝像頭這些傳統(tǒng)方式具有各種局限性。在這一方法中，常速攝像頭通常以不同的時(shí)間偏移開始記錄，傳統(tǒng)方式通常要求特殊的硬件控制支持(例如，涉及像素級(jí)曝光控制等，其本身通常相當(dāng)昂貴)，使得攝像頭能夠以毫秒級(jí)的精確度開始記錄。此外，這些方法通常只限于模仿單視點(diǎn)的高速攝像頭，這通常極大地限制了有效性。有些方式還要求必須對(duì)所采集的圖像進(jìn)行去模糊處理，但是，圖像去模糊本身通常就認(rèn)為是一個(gè)合適的懸而未決的問題，并且通常需要極大的計(jì)算量。

技術(shù)實(shí)現(xiàn)要素：

提供了一種系統(tǒng)和方法，其有利于實(shí)現(xiàn)有效的用于高速運(yùn)動(dòng)分析的多視點(diǎn)混合系統(tǒng)。在一實(shí)施例中，設(shè)備包括進(jìn)行多視點(diǎn)處理的處理電路以及存儲(chǔ)所述處理電路的信息的存儲(chǔ)器。所述處理電路接收與3d場(chǎng)景有關(guān)的輸入，其中，所述輸入包括與第一攝像頭對(duì)應(yīng)的第一幀率下的第一幀序列相關(guān)的信息以及與第二攝像頭對(duì)應(yīng)的第二幀率下的第二幀序列相關(guān)的信息，其中，所述第一幀率比所述第二幀率快。將所述第一幀序列和所述第二幀序列中的記錄在給定時(shí)間戳上的時(shí)間同步的圖像幀對(duì)齊，創(chuàng)建用于所述第一幀率下的動(dòng)態(tài)場(chǎng)景的三維(threedimension，簡(jiǎn)稱3d)模型，并在所述第一幀率下生成與多個(gè)額外視點(diǎn)相關(guān)的合成的圖像幀序列?？梢詫?duì)所述第一幀序列和所述第二幀序列進(jìn)行校準(zhǔn)。校準(zhǔn)預(yù)處理用于確定與所述第一攝像頭和所述第二攝像頭相關(guān)的內(nèi)參數(shù)和外參數(shù)。

在一示例性實(shí)施方式中，所述3d模型是基于3d關(guān)鍵幀重建、約束3d運(yùn)動(dòng)估計(jì)以及3d關(guān)鍵幀內(nèi)插得到的。所述3d關(guān)鍵幀重建可以包括基于可視外殼的方法，所述基于可視外殼的方法用于將目標(biāo)物體的3d網(wǎng)狀模型估計(jì)為目標(biāo)場(chǎng)景的所述3d模型?；谶\(yùn)動(dòng)學(xué)的3d運(yùn)動(dòng)模型用于從所述3d關(guān)鍵幀估計(jì)一組運(yùn)動(dòng)參數(shù)。近似最佳的運(yùn)動(dòng)學(xué)3d運(yùn)動(dòng)參數(shù)用于基于連續(xù)的3d關(guān)鍵幀序列建立中間內(nèi)插3d幀序列，其中，所述內(nèi)插3d幀序列為所述第一幀率下的虛擬攝像頭視點(diǎn)的動(dòng)態(tài)場(chǎng)景提供了所述第一幀率下的動(dòng)態(tài)3d模型。校準(zhǔn)的幀序列從多個(gè)視點(diǎn)采集得到可以用于提高視頻質(zhì)量，包括：采用多個(gè)視點(diǎn)間的降噪和相關(guān)性，以及多個(gè)視頻流內(nèi)或之間的時(shí)空相干性以用于提高信噪比。

一種多視點(diǎn)方法可以包括：對(duì)來自第一攝像頭的第一幀率下的第一視頻幀序列以及來自第二攝像頭的第二幀率下的第二視頻幀序列進(jìn)行校準(zhǔn)，其中，所述第一幀率比所述第二幀率快；基于3d關(guān)鍵幀重建、約束3d運(yùn)動(dòng)估計(jì)以及3d關(guān)鍵幀內(nèi)插，創(chuàng)建三維(threedimension，簡(jiǎn)稱3d)模型；在所述第一幀率下生成多個(gè)合成的圖像幀序列，其中，所述多個(gè)合成的圖像幀序列與多個(gè)視點(diǎn)相關(guān)，所述多個(gè)視點(diǎn)不同于與所述第一攝像頭相關(guān)的視點(diǎn)。所述校準(zhǔn)可以采用多個(gè)內(nèi)參數(shù)和多個(gè)外參數(shù)，從而產(chǎn)生校準(zhǔn)的第一幀序列和校準(zhǔn)的第二幀序列。所述校準(zhǔn)也可以包括以下至少一個(gè)：基于所述多個(gè)內(nèi)參數(shù)為所述第一視頻幀序列和所述第二視頻幀序列校正透鏡失真；基于所述多個(gè)內(nèi)參數(shù)和所述多個(gè)外參數(shù)，通過將所述第一視頻幀序列和所述第二視頻幀序列變形來啟用幾何校準(zhǔn)，從而將所述第一視頻幀序列和所述第二視頻幀序列與參考序列對(duì)齊。所述多個(gè)內(nèi)參數(shù)和所述多個(gè)外參數(shù)包括以下至少一個(gè)：所述第一攝像頭的攝像頭內(nèi)參數(shù)以及所述第二攝像頭的攝像頭內(nèi)參數(shù)；所述第一攝像頭和所述第二攝像頭的透鏡失真系數(shù)；所述第一攝像頭和所述第二攝像頭的外在的6自由度的位置和姿勢(shì)。

在一示例性實(shí)施方式中，所述3d關(guān)鍵幀重建還包括：基于校準(zhǔn)的第二視頻幀序列重建3d關(guān)鍵幀的序列；基于所述3d關(guān)鍵幀的序列、內(nèi)參數(shù)以及外參數(shù)確定動(dòng)態(tài)的運(yùn)動(dòng)參數(shù)；基于所述3d關(guān)鍵幀的序列和所述動(dòng)態(tài)的運(yùn)動(dòng)參數(shù)為第一幀率下的虛擬攝像頭視點(diǎn)建立內(nèi)插3d幀的序列。生成多個(gè)合成的圖像幀序列還包括：通過紋理映射校準(zhǔn)的常規(guī)幀率圖像序列到高幀率動(dòng)態(tài)3d模型，創(chuàng)建紋理3d模型序列；基于所述紋理3d模型序列，為虛擬的高速攝像頭視點(diǎn)構(gòu)建合成的圖像幀序列。生成合成的圖像幀序列可以包括：利用多視點(diǎn)視頻降噪中的時(shí)空相干性。

在一實(shí)施例中，一種系統(tǒng)包括：以第一速度采集圖像的第一攝像頭；以第二速度采集圖像的第二攝像頭，其中，所述第二速度比所述第一速度慢；用于以所述第一速度模擬除所述第一攝像頭的視點(diǎn)之外的多個(gè)視點(diǎn)的多視點(diǎn)系統(tǒng)。利用所述第一攝像頭和所述第二攝像頭的圖像采集結(jié)果采樣各自的時(shí)間外觀差異。利用抽樣圖像結(jié)果中的時(shí)空相干性，以所述第一速度從不同于所述第一攝像頭的所述視點(diǎn)的視點(diǎn)進(jìn)行視頻流合成。所述第一攝像頭可以是以所述第一速度采集圖像的多個(gè)第一攝像頭中的一個(gè)，所述第二攝像頭可以是以所述第二速度采集圖像的多個(gè)第二攝像頭中的一個(gè)，其中，所述多個(gè)第一攝像頭包括的攝像頭數(shù)量少于所述多個(gè)第二攝像頭包括的攝像頭數(shù)量。在另一實(shí)施例中，所述多個(gè)第一攝像頭包括的攝像頭數(shù)量大于或等于所述多個(gè)第二攝像頭包括的攝像頭數(shù)量。所述第一幀率在每秒數(shù)百幀這一范圍之內(nèi)或之上，所述第二幀率在每秒數(shù)十幀這一范圍之內(nèi)。所述第一攝像頭和所述第二攝像頭的位置和姿勢(shì)可以隨場(chǎng)景改變，但是在場(chǎng)景采集期間相對(duì)于彼此是保持固定的。在第一場(chǎng)景采集之后以及第二場(chǎng)景采集之前，所述第一攝像頭和所述第二攝像頭的位置和姿勢(shì)也可以彼此相對(duì)而改變。

附圖說明

合并到說明書并作為說明書一部分的附圖用于對(duì)本發(fā)明的原則進(jìn)行示意性闡述，并不用于將本發(fā)明限制于此處所述的特定實(shí)施方式。如無特殊說明，所述附圖未按比例繪制。

圖1為本發(fā)明一實(shí)施例提供的示例方法的流程圖。

圖2為本發(fā)明一實(shí)施例提供的系統(tǒng)的框圖。

圖3為本發(fā)明一實(shí)施例提供的示例性多視點(diǎn)視頻方法的流程圖。

圖4為本發(fā)明一實(shí)施例提供的視頻對(duì)齊過程的流程圖。

圖5為本發(fā)明一實(shí)施例提供的三維模型過程的流程圖。

圖6為本發(fā)明一實(shí)施例提供的視點(diǎn)創(chuàng)建過程的流程圖。

圖7為本發(fā)明一實(shí)施例提供的示例性多視點(diǎn)系統(tǒng)方式的框圖。

圖8a和圖8b示出了新混合系統(tǒng)方式的一實(shí)施例的工作流程。

圖9a和圖9b示出了提供的混合系統(tǒng)的另一實(shí)施例的工作流程。

圖10為一實(shí)施例提供的示例性虛擬高速攝像頭視點(diǎn)合成圖像幀的框圖。

具體實(shí)施方式

此處具體參考本發(fā)明的各實(shí)施例以及附圖說明中所描述的示例。結(jié)合這些實(shí)施例中所描述的內(nèi)容，應(yīng)理解，其并非將本發(fā)明限于該實(shí)施例。相反，本發(fā)明意在涵蓋這些替換、修改以及等同替換，其依然包含在本發(fā)明權(quán)利要求的精神和范圍內(nèi)。此外，在下面對(duì)本發(fā)明進(jìn)行的具體描述中，為了徹底理解本發(fā)明，還提出了很多具體的細(xì)節(jié)。然而，應(yīng)理解的是，即使沒有這些具體的細(xì)節(jié)，也可以實(shí)施本發(fā)明。在其他情況下，沒有對(duì)已知的方法、流程、組件以及電路進(jìn)行詳細(xì)描述，以免對(duì)本發(fā)明的各方面造成不必要的理解問題。

提供了一種系統(tǒng)和方法，其有利于實(shí)現(xiàn)用于高速運(yùn)動(dòng)分析的有效的多視點(diǎn)混合系統(tǒng)。所述多視點(diǎn)混合系統(tǒng)可以包括較少高速攝像頭(例如，每秒1000幀數(shù)等)與及大量常速的攝像頭(例如，每秒30幀數(shù)等)的組合，從而提供比所述系統(tǒng)包括的高速攝像頭更多的高速視點(diǎn)。不同于之前有限的方法(例如，旨在靜態(tài)圖像、未利用多視點(diǎn)視頻降噪中的時(shí)空相干性等)，所述新多視點(diǎn)混合方式利用常速攝像頭和高速攝像頭的抽樣圖像中的時(shí)空相干性提高高速運(yùn)動(dòng)視點(diǎn)的數(shù)量。在一實(shí)施例中，將一個(gè)或幾個(gè)高速攝像頭采集的所述高速運(yùn)動(dòng)“轉(zhuǎn)移”到其他視點(diǎn)，以創(chuàng)建一組虛擬的高速攝像頭視點(diǎn)，從而能夠從多個(gè)對(duì)應(yīng)的視點(diǎn)中獲得高速運(yùn)動(dòng)信息。

在一實(shí)施例中，對(duì)接收的高速視頻流以及常速視頻流進(jìn)行校準(zhǔn)。采用與所述常速攝像頭有關(guān)的校準(zhǔn)的常速視頻流，以常規(guī)幀率重建3d關(guān)鍵幀。采用這些重建的3d關(guān)鍵幀以及所述高速攝像頭采集的2d高幀率圖像，對(duì)控制兩個(gè)相鄰的3d關(guān)鍵幀之間的運(yùn)動(dòng)的最佳動(dòng)態(tài)模型參數(shù)進(jìn)行估計(jì)。利用該動(dòng)態(tài)模型參數(shù)以高幀率插入中間的3d幀，然后采用所述插入的3d幀，合成來自高幀率下其他視點(diǎn)的合成圖像幀序列中的2d圖像?？梢酝瑫r(shí)處理多個(gè)視點(diǎn)采集的多個(gè)圖像序列，從而提高圖像質(zhì)量?？梢詫⒃撎幚砗蟮膱D像紋理映射到所述用于在虛擬的高速攝像頭視點(diǎn)下合成2d圖像的重建后的3d模型。因此，通過利用所述混合系統(tǒng)中的單個(gè)或幾個(gè)高速攝像頭以及多個(gè)常速攝像頭實(shí)現(xiàn)有效的帶寬利用以及低硬件成本的方式，得到所述虛擬的高速攝像頭視點(diǎn)的結(jié)果。

圖1為一實(shí)施例提供的示例方法100的流程圖。首先對(duì)示例方法100的操作進(jìn)行大體概述，多視點(diǎn)方式的額外描述將在后面的具體描述中給出。

在塊110中執(zhí)行視頻攝像頭過程。該視頻攝像頭處理包括：多個(gè)攝像頭進(jìn)行場(chǎng)景采集，生成與多個(gè)攝像頭分別對(duì)應(yīng)的多個(gè)視點(diǎn)相關(guān)的多個(gè)視頻幀序列。在一實(shí)施例中，該多個(gè)視頻幀序列包括第一速度或幀率下的第一視頻幀序列以及第二速度或幀率下的第二視頻幀序列，所述第二速度或幀率低于所述第一速度或幀率。所述第一速度或幀率比所述第二速度或幀率快。所述第一視頻幀序列以及所述第二視頻幀序列可以包括幾乎同時(shí)采集的動(dòng)態(tài)場(chǎng)景的圖像(例如，跑動(dòng)的行人、車禍測(cè)試等)。

應(yīng)理解的是，新多視點(diǎn)混合方式與多個(gè)實(shí)施方式兼容。第一幀率可以是較高速的幀率，第二幀率可以是常規(guī)幀率。第二攝像頭可以為多個(gè)成本較低的比較密集的常速攝像頭中的一個(gè)(例如，用于測(cè)量多個(gè)視點(diǎn)的空間外觀差異等)，而第一攝像頭為高速攝像頭(例如，用于采樣一個(gè)視點(diǎn)下的時(shí)間外觀差異)。

在塊120中執(zhí)行多視點(diǎn)視頻方法或過程。不需要該視點(diǎn)下的物理攝像頭，該多個(gè)視點(diǎn)或多視點(diǎn)過程生成來自額外視點(diǎn)的幀序列信息(例如，視頻流或幀序列等)。將第一視頻幀序列和第二視頻幀序列進(jìn)行時(shí)間同步。對(duì)于一個(gè)給定的時(shí)間戳，其各自的幀可以位于該時(shí)間戳下的第一視頻序列以及該時(shí)間戳下的第二視頻序列。在一實(shí)施例中，利用與第一視頻幀序列相關(guān)的信息采樣時(shí)間外觀差異，其中，該第一視頻幀序列是由第一攝像頭在第一幀率或速度下采集的。利用與第二視頻幀序列相關(guān)的信息測(cè)量空間外觀差異，其中，該第二視頻幀序列是由與第二攝像頭在第二幀率或速度下采集的。然后利用這些抽樣圖像中的時(shí)空相干性以該第一幀率或速度創(chuàng)建或生成合成的視頻序列?？梢詮牟煌谠摰谝粩z像頭的視點(diǎn)的視點(diǎn)的角度來看該合成的視頻序列。

應(yīng)理解的是，可以在多個(gè)幀率和配置方式下實(shí)施該新多視點(diǎn)混合成像方式。在一實(shí)施例中，一個(gè)幀率比另一個(gè)快一點(diǎn)。為了便于描述，下面的描述都是就高速幀率的高速攝像頭以及常速幀率的常速攝像頭而言給出的。

圖2是用于多視點(diǎn)高速運(yùn)動(dòng)采集的有成本效益的混合系統(tǒng)的一實(shí)施例提供的系統(tǒng)200的框圖。系統(tǒng)200包括高速攝像頭(例如，211、212、213、214等)、常速攝像頭(例如，221、222、223、231、232、233、241、242、243、251、252、253等)以及多視點(diǎn)系統(tǒng)290。該攝像頭從場(chǎng)景270進(jìn)行圖像采集，該場(chǎng)景可以包括靜態(tài)物體(例如，樹272等)以及動(dòng)態(tài)物體(例如，跑步的行人272等)。多視點(diǎn)系統(tǒng)290包括執(zhí)行各種操作的處理組件291以及存儲(chǔ)器組件292，其中，這些操作與從除了高速物理攝像頭(例如，211、212、213、214等)的視點(diǎn)以外的視點(diǎn)以高速度或幀率創(chuàng)建或合成視頻或圖像幀序列有關(guān)。關(guān)于其他的多視點(diǎn)過程方式的描述，會(huì)在后面部分詳細(xì)給出。

應(yīng)理解的是，新多視點(diǎn)方式與多種配置和實(shí)施方式兼容。在一實(shí)施例中，可以采用m個(gè)常速攝像頭和n個(gè)高速攝像頭進(jìn)行目標(biāo)動(dòng)態(tài)場(chǎng)的采集，其中，n≥1。m個(gè)常速攝像頭的數(shù)量可能大于n個(gè)高速攝像頭的數(shù)量。相應(yīng)地，生成多個(gè)常規(guī)幀率下的m個(gè)幀序列以及高幀率下的n個(gè)幀序列。常規(guī)幀率序列來自常速攝像頭，其用于在常規(guī)幀率(例如，每秒24幀數(shù)、每秒30幀數(shù)等)下從特定的角度不斷記錄所述目標(biāo)場(chǎng)景的外觀。高幀率序列來自高速攝像頭，其用于在高幀率(例如，每秒500幀數(shù)、每秒1000幀數(shù)等)下從特定的角度不斷記錄所述目標(biāo)場(chǎng)景的外觀。

將m個(gè)常速攝像頭以及n個(gè)高速攝像頭中的多個(gè)一起置于混合成像系統(tǒng)(例如，類似于系統(tǒng)200等)中。在一實(shí)施例中，只要存在另一個(gè)常速攝像頭lj，并且其與li重疊的視野(其由閾值tr所確定)足夠大，就可以將常速攝像頭li隨意置于3d真實(shí)世界中。只要存在另一個(gè)常速攝像頭lj，并且其與hi重疊的視野(其由閾值th所確定)足夠大，就可以將高速攝像頭hi隨意置于3d真實(shí)世界中。高速攝像頭可以較為稀疏地分布在該混合成像系統(tǒng)中，而常速攝像頭可以更密集地分布在于該系統(tǒng)中。

就常速攝像頭和高速攝像頭的位置移動(dòng)而言，對(duì)于單一的動(dòng)態(tài)場(chǎng)景，混合成像系統(tǒng)中的常速攝像頭和高速攝像頭的相對(duì)位置和姿勢(shì)在每次記錄中是保持固定的。然而，記錄期間，該混合成像系統(tǒng)自身的位置和姿勢(shì)可能會(huì)改變(只要相對(duì)位置和姿勢(shì)大體上不變)。在一示例性實(shí)施方式中，整個(gè)混合成像系統(tǒng)可以安裝在用于記錄該場(chǎng)景的移動(dòng)平臺(tái)上，該平臺(tái)可以移動(dòng)，但是平臺(tái)上的攝像頭的位置相對(duì)于另一個(gè)是保持相同的。對(duì)于不同動(dòng)態(tài)場(chǎng)景的采集而言，常速攝像頭和高速攝像頭的相對(duì)位置和姿勢(shì)可以在場(chǎng)景之間進(jìn)行重新配置。

圖3為一實(shí)施例提供的示例性多視點(diǎn)視頻方法300的流程圖。在一實(shí)施例中，多視點(diǎn)視頻方法300類似于塊120中執(zhí)行的多視點(diǎn)視頻方法。

在塊310中執(zhí)行對(duì)齊過程。該對(duì)齊過程可以包括對(duì)攝像頭的校準(zhǔn)操作或者采集過程的結(jié)果(例如，該結(jié)果類似于塊110的結(jié)果)。該對(duì)齊過程可以包括多個(gè)視點(diǎn)，在多個(gè)攝像頭上進(jìn)行該校準(zhǔn)?？梢圆捎枚鄠€(gè)內(nèi)外參數(shù)將一組時(shí)間同步的圖像幀對(duì)齊?？梢砸缘谝粠?例如，高速幀率等)和第二幀率(例如，常規(guī)幀率等)記錄該圖像幀，并在給定時(shí)間戳內(nèi)將其同步。

在塊320中執(zhí)行三維(threedimension，簡(jiǎn)稱3d)模型過程。該3d模型過程包括：重建與視頻采集過程中采集的場(chǎng)景有關(guān)的3d模型(例如，類似于塊110等)。該3d模型過程可以包括：三維3d關(guān)鍵幀重建、約束3d運(yùn)動(dòng)估計(jì)以及3d關(guān)鍵幀內(nèi)插。關(guān)于其他的3d模型過程的描述，會(huì)在后面部分詳細(xì)給出。

在塊330中執(zhí)行合成的圖像幀序列過程。在一實(shí)施例中，創(chuàng)建或合成多個(gè)幀序列?？梢砸员鹊诙?例如，常規(guī)幀率等)快的幀率(例如，高速幀率等)合成該多個(gè)合成的圖像幀序列。關(guān)于其他的合成圖像幀序列過程的描述，會(huì)在后面部分詳細(xì)給出。

圖4為一實(shí)施例提供的視頻對(duì)齊過程400的流程圖。視頻對(duì)齊過程400類似于塊310的視頻對(duì)齊過程。在一實(shí)施例中，執(zhí)行攝像頭校準(zhǔn)過程。多個(gè)攝像頭校準(zhǔn)的輸出可以包括第一幀率(例如，高幀率等)下的校準(zhǔn)的第一幀序列以及第二幀率下的校準(zhǔn)的第二幀序列(例如，常規(guī)幀率圖像序列)，其中，在給定時(shí)間戳內(nèi)，對(duì)于給定的真實(shí)3d場(chǎng)景點(diǎn)，對(duì)應(yīng)的2d圖像點(diǎn)可以位于該校準(zhǔn)的第一幀序列和該校準(zhǔn)的第二幀序列中。該視頻對(duì)齊過程400包括下列操作中的一個(gè)或多個(gè)。

在塊410中，為第一幀序列以及第二幀序列進(jìn)行透鏡失真的校正。

在塊420中，通過采用外參數(shù)和內(nèi)參數(shù)對(duì)第一(例如，高的、更快的等)幀序列中的幀以及第二(例如，常規(guī)的、更慢的)幀序列中的幀進(jìn)行幾何對(duì)齊，進(jìn)行幾何校正。可以通過多種方式獲得內(nèi)外參數(shù)。在一實(shí)施例中，進(jìn)行校準(zhǔn)預(yù)處理，從而計(jì)算常速攝像頭和高速攝像頭的內(nèi)外參數(shù)?？梢岳眯?zhǔn)預(yù)處理計(jì)算攝像頭內(nèi)參數(shù)、透鏡失真系數(shù)以及常速攝像頭和高速攝像頭的外在的6自由度的位置和姿勢(shì)。在其他實(shí)施例中，可以通過攝像頭制造獲得一些內(nèi)參數(shù)，而其他的內(nèi)外參數(shù)則可以通過校準(zhǔn)預(yù)處理進(jìn)行計(jì)算。

在塊430中，也可以執(zhí)行幾何校正和輻射校正等其他可選的操作。例如，可以執(zhí)行諸如輻射校正常規(guī)幀率和高速幀率圖像幀的外觀等操作。

圖5為本發(fā)明一實(shí)施例提供的三維(threedimension，簡(jiǎn)稱3d)模型過程500的流程圖。三維模型過程500類似于塊320的三維模型過程。在一實(shí)施例中，在3d運(yùn)動(dòng)及恢復(fù)過程中處理對(duì)齊過程中的校準(zhǔn)的第一幀率圖像序列以及校準(zhǔn)的第二幀率圖像序列(例如，類似于塊310等)。該3d運(yùn)動(dòng)及恢復(fù)過程重建了動(dòng)態(tài)3d模型，其用于以較快的幀率(例如，高速幀率等)進(jìn)行動(dòng)態(tài)場(chǎng)景的采集。

在塊510中執(zhí)行3d關(guān)鍵幀重建。采用校準(zhǔn)的常規(guī)幀率圖像序列的幀，在常速攝像頭的相同常規(guī)幀率下重建3d模型序列(例如，采用標(biāo)準(zhǔn)的多視點(diǎn)立體聲(multi-viewstereo，簡(jiǎn)稱mvs)方法等)。3d模型序列包括3d關(guān)鍵幀的序列。第i個(gè)常速攝像頭在時(shí)間戳t內(nèi)采集的校準(zhǔn)的常規(guī)幀率圖像幀記為其中，i＝1,...,m。時(shí)間戳t內(nèi)重建的3d關(guān)鍵幀記為該重建的3d關(guān)鍵幀用作目標(biāo)場(chǎng)景的3d模型該目標(biāo)場(chǎng)景是采用校準(zhǔn)的常規(guī)幀率圖像幀進(jìn)行重建的。在一實(shí)施例中，在高準(zhǔn)確性以及近乎實(shí)時(shí)性能的前提下，可以采用所述的基于可視外殼的方法將目標(biāo)物體的3d網(wǎng)狀模型估計(jì)為目標(biāo)場(chǎng)景的3d模型。也可以采用其他的mvs方式(例如，圖7和圖10中的l1和l2)。

在塊520中執(zhí)行約束3d運(yùn)動(dòng)估計(jì)?？梢圆捎脛?dòng)態(tài)的3d運(yùn)動(dòng)模型估計(jì)一組3d關(guān)鍵幀的運(yùn)動(dòng)參數(shù)。動(dòng)態(tài)的3d運(yùn)動(dòng)模型的采用是基于假設(shè)連續(xù)的關(guān)鍵幀之間是連續(xù)且平穩(wěn)的運(yùn)動(dòng)(由于現(xiàn)實(shí)物體運(yùn)動(dòng)的特征，所以這通常是合理的)。該運(yùn)動(dòng)模型可以是參數(shù)化或非參數(shù)化的。時(shí)間戳t內(nèi)重建的3d關(guān)鍵幀為其中：表示第i個(gè)常速攝像頭在時(shí)間戳t內(nèi)采集的校準(zhǔn)的常規(guī)幀率圖像幀；表示第i個(gè)高速攝像頭在時(shí)間戳t內(nèi)采集的校準(zhǔn)的高幀率圖像幀，其中，i＝1,...,n.。在一示例性實(shí)施方式中，θ表示一組動(dòng)態(tài)的3d運(yùn)動(dòng)參數(shù)?？紤]到θ以及對(duì)齊過程中的高速攝像頭的內(nèi)外參數(shù)，可以生成時(shí)間戳t內(nèi)高幀率下的第i個(gè)高速攝像頭的合成的圖像幀序列，并將其計(jì)算為其中，pi為從3d模型到2d圖像的投影操作。通過將高幀率下采集的高幀率圖像幀以及合成的圖像幀序列之間的圖像差異最小化，可以對(duì)最佳的動(dòng)態(tài)運(yùn)動(dòng)參數(shù)θ'進(jìn)行估計(jì)?？梢圆捎孟旅娴膬r(jià)值函數(shù)對(duì)該最小化進(jìn)行估計(jì)：

f(i1.,i2)為測(cè)量圖像i1和圖像i2之間的圖像差異的函數(shù)。圖像差異測(cè)量函數(shù)的示例包括：方差和(sumofsquareddifference，簡(jiǎn)稱ssd)、絕對(duì)差和(sumofabsolutedifference，簡(jiǎn)稱sad)、圖像結(jié)構(gòu)相似度(structuralsimilarity，簡(jiǎn)稱ssim)等。上述圖像差異適用于n個(gè)高速攝像頭。

在塊530中執(zhí)行3d關(guān)鍵幀內(nèi)插。對(duì)于給定的虛擬高速攝像頭視點(diǎn)，采用近似的最佳動(dòng)態(tài)3d運(yùn)動(dòng)參數(shù)θ^*，基于連續(xù)的3d關(guān)鍵幀序列建立或計(jì)算中間的內(nèi)插3d幀序列。這一過程類似于運(yùn)動(dòng)的2d圖像中的關(guān)鍵幀內(nèi)插。該內(nèi)插的3d幀序列為虛擬高速攝像頭視點(diǎn)采集的動(dòng)態(tài)場(chǎng)景提供了高幀率動(dòng)態(tài)3d模型。然后，將該內(nèi)插的3d幀序列用作對(duì)視點(diǎn)合成的輸入，從而生成虛擬高速攝像頭視點(diǎn)的合成的圖像幀序列。

圖6為一實(shí)施例提供的視點(diǎn)創(chuàng)建過程600的流程圖。在一實(shí)施例中，視點(diǎn)創(chuàng)建過程600類似于塊330的視點(diǎn)創(chuàng)建過程。

在塊610中執(zhí)行多視點(diǎn)視頻增強(qiáng)過程。采用多個(gè)視點(diǎn)采集的校準(zhǔn)的圖像幀，增強(qiáng)視頻質(zhì)量(例如，尤其是視頻降噪等)。由于幀的曝光時(shí)間很短，所以該步驟通常用于高速成像?？梢岳貌U(kuò)展各種方式的使用，實(shí)現(xiàn)多視點(diǎn)視頻增強(qiáng)。具體地，采用多個(gè)視點(diǎn)之間的相關(guān)性以及多個(gè)視頻流內(nèi)和之間的時(shí)空相干性提高信噪比。

應(yīng)理解的是，該新多視點(diǎn)方式可以隨意應(yīng)用于各個(gè)實(shí)施方式中?？梢愿鶕?jù)各個(gè)權(quán)衡決定改變?cè)撔露嘁朁c(diǎn)方式。在另一實(shí)施例(例如，類似于圖9a和圖9b中所述的工作流程等)中，可以忽視多視點(diǎn)視頻增加這一步驟，從而能夠減少處理量，但是這可能會(huì)導(dǎo)致噪聲圖像。

在塊620中執(zhí)行3d模型紋理過程。將增強(qiáng)視頻的圖像幀幾何映射到目標(biāo)物體的內(nèi)插3d幀的表面，從而采用標(biāo)準(zhǔn)的計(jì)算機(jī)圖形技術(shù)生成紋理的3d模型序列。在一示例性實(shí)施方式中，忽略多視點(diǎn)視頻增強(qiáng)這一步驟，可以直接在模型紋理步驟中采用多個(gè)視點(diǎn)采集的校準(zhǔn)的圖像幀生成紋理的3d模型序列。

在塊630中執(zhí)行虛擬高速攝像頭視點(diǎn)的合成圖像幀序列過程。對(duì)于給定的虛擬高速攝像頭視點(diǎn)，基于紋理的3d模型序列采用標(biāo)準(zhǔn)的計(jì)算機(jī)圖像方法生成對(duì)應(yīng)的合成圖像序列。

圖7為一實(shí)施例提供的示例性多視點(diǎn)系統(tǒng)方式的框圖。采用混合系統(tǒng)合成虛擬高速攝像頭(h2)，其中，該混合系統(tǒng)包括兩個(gè)常速攝像頭(l1和l2)以及一個(gè)高速攝像頭(h1)。重建的3d模型序列對(duì)3d關(guān)鍵幀進(jìn)行利用。圖7給出了上述流程的一個(gè)示例，其中，在該混合成像系統(tǒng)中采用兩個(gè)常速攝像頭(例如，l1和l2)以及單個(gè)高速攝像頭(例如，h1)。將3d幀內(nèi)插之后，通過將恢復(fù)的3d幀投影到對(duì)應(yīng)虛擬高速攝像頭的圖像空間，合成其他的虛擬高速攝像頭視點(diǎn)(例如，h2)。

圖8a和圖8b描述了一實(shí)施例提供的新混合系統(tǒng)方式800的一實(shí)施例的工作流程。所述新混合系統(tǒng)方式800包括三個(gè)模塊：對(duì)齊模塊810、3d及運(yùn)動(dòng)恢復(fù)模塊840，以及視點(diǎn)合成模塊850。對(duì)齊模塊810接收常規(guī)幀率序列(例如，811到812)以及高幀率序列(例如，813到814)，并基于內(nèi)參數(shù)831和外參數(shù)832進(jìn)行多攝像頭校準(zhǔn)操作815。將生成的校準(zhǔn)的常規(guī)幀率序列(例如，821到822)以及校準(zhǔn)的高幀率序列(例如，823到824)轉(zhuǎn)發(fā)至3d及運(yùn)動(dòng)恢復(fù)模塊840。3d關(guān)鍵幀操作841利用校準(zhǔn)的常規(guī)幀率序列(例如，821到822)生成3d關(guān)鍵幀842。將該3d關(guān)鍵幀842轉(zhuǎn)發(fā)至同樣也接收校準(zhǔn)的高幀率序列(例如，823到824)的約束3d運(yùn)動(dòng)估計(jì)843。該約束3d運(yùn)動(dòng)參數(shù)估計(jì)843生成動(dòng)態(tài)的3d運(yùn)動(dòng)參數(shù)844。將動(dòng)態(tài)的3d運(yùn)動(dòng)參數(shù)844、3d關(guān)鍵幀842以及虛擬高速攝像頭視點(diǎn)信息871輸入到生成內(nèi)插3d幀序列872的3d關(guān)鍵幀內(nèi)插845。然后，執(zhí)行視點(diǎn)合成操作850。在多視點(diǎn)視頻增強(qiáng)操作851中采用校準(zhǔn)的常規(guī)幀率序列(例如，821到822)以及校準(zhǔn)的高幀率序列(例如，823到824)，生成增強(qiáng)的圖像序列852。在3d模型紋理853中采用增強(qiáng)的圖像序列852以及內(nèi)插的3d幀序列872，生成合成的圖像幀序列857，其中，3d模型紋理853生成了用于虛擬高速攝像頭合成855中的紋理的3d模型序列854的信息。

圖9a和圖9b示出了提供的混合系統(tǒng)的另一實(shí)施例的工作流程。在圖9a和圖9b所述的另一實(shí)施例中，可以忽略多視點(diǎn)視頻增強(qiáng)這一步驟。類似于混合系統(tǒng)方式800，新混合系統(tǒng)方式900包括三個(gè)模塊：對(duì)齊模塊910、3d及運(yùn)動(dòng)恢復(fù)模塊940，以及視點(diǎn)合成模塊950。對(duì)齊模塊910接收常規(guī)幀率序列(例如，911到912)以及高幀率序列(例如，913到914)，并基于內(nèi)參數(shù)931和外參數(shù)932進(jìn)行多攝像頭校準(zhǔn)操作915。將生成的校準(zhǔn)的常規(guī)幀率序列(例如，921到922)以及校準(zhǔn)的高幀率序列(例如，923到924)轉(zhuǎn)發(fā)至3d及運(yùn)動(dòng)恢復(fù)模塊940。3d關(guān)鍵幀操作941利用校準(zhǔn)的常規(guī)幀率序列(例如，921到922)生成3d關(guān)鍵幀942。將該3d關(guān)鍵幀942轉(zhuǎn)發(fā)至同樣也接收校準(zhǔn)的高幀率序列(例如，923到924)的約束3d運(yùn)動(dòng)估計(jì)943。該約束3d運(yùn)動(dòng)參數(shù)估計(jì)943生成動(dòng)態(tài)的3d運(yùn)動(dòng)參數(shù)944。將動(dòng)態(tài)的3d運(yùn)動(dòng)參數(shù)944、3d關(guān)鍵幀942以及虛擬高速攝像頭視點(diǎn)信息971輸入到生成內(nèi)插3d幀序列972的3d關(guān)鍵幀內(nèi)插945。然后，執(zhí)行視點(diǎn)合成操作950。在3d模型紋理953中采用校準(zhǔn)的常規(guī)幀率序列(例如，921到922)、校準(zhǔn)的高幀率序列(例如，923到924)以及內(nèi)插的3d幀序列972，生成合成的圖像幀序列957，其中，在3d模型紋理953生成了用于虛擬高速攝像頭合成955中的紋理的3d模型序列954的信息。在一示例性實(shí)施方式中，忽略多視點(diǎn)視頻增強(qiáng)步驟可以減少處理操作，但是可能會(huì)引起噪聲圖像。

圖10是混合系統(tǒng)中的示例性虛擬高速攝像頭視點(diǎn)合成的框圖。圖10示出了包括3d及運(yùn)動(dòng)恢復(fù)模塊和視點(diǎn)合成模塊的一個(gè)實(shí)施方式中的主要步驟。在混合成像系統(tǒng)中采用兩個(gè)常速攝像頭l1和l2重建3d模型序列。該重建的3d模型序列稱為3d關(guān)鍵幀。在3d幀內(nèi)插之后，通過將恢復(fù)的3d幀投影到對(duì)應(yīng)虛擬高速攝像頭的圖像空間，合成其他的虛擬高速攝像頭視點(diǎn)(例如，h2等)。

應(yīng)理解的是，具有此處所述紋理的重建的3d模型序列可以在很多應(yīng)用(例如，視頻重光照、高分辨率視頻馬賽克、虛擬物體插入、自由視點(diǎn)視頻、3d遠(yuǎn)程呈現(xiàn)/頭像、電子商務(wù)等)中得以利用。新混合方式有助于多視點(diǎn)高速運(yùn)動(dòng)分析的具有成本效益的成像。通過共同采用常速攝像頭(例如，成本較低且分布較緊密，從而測(cè)量多視點(diǎn)之間的空間外觀差異等)以及一個(gè)或多個(gè)高速攝像頭(例如，用于采樣一個(gè)或多個(gè)視點(diǎn)之間的時(shí)間外觀差異等)，該方式能夠解決各種問題以及限制(例如，帶寬成本、硬件成本、圖像質(zhì)量成本、有限的高速視點(diǎn)數(shù)量等)，這些問題及限制通常與傳統(tǒng)的多視點(diǎn)高速運(yùn)動(dòng)采集方式(例如，啟動(dòng)高精度時(shí)間偏移下的攝像頭所需的昂貴且特殊的硬件、只能處理單個(gè)視點(diǎn)、要求密集分布的高速攝像頭等)有關(guān)。通過共同采用多個(gè)常速攝像頭以及一個(gè)或多個(gè)高速攝像頭，該新多視點(diǎn)方式能夠重建3d關(guān)鍵幀，以及估計(jì)動(dòng)態(tài)場(chǎng)景的運(yùn)動(dòng)。采用3d關(guān)鍵幀及運(yùn)動(dòng)有效地生成中間的內(nèi)插3d幀，其能夠保證一組虛擬視點(diǎn)的高幀率下的圖像幀序列的有效合成。通過多個(gè)常規(guī)幀率圖像序列和高幀率圖像序列實(shí)現(xiàn)多視點(diǎn)視頻增強(qiáng)。通過共同采用多個(gè)常規(guī)幀率圖像序列以及一個(gè)或多個(gè)高幀率圖像序列，該新方式能夠提高每個(gè)圖像序列的信噪比，由于有限的曝光時(shí)間，這極其有利于高速成像。

可以在諸如程序模塊等計(jì)算機(jī)可執(zhí)行指令的廣義語境下討論此處所述的實(shí)施例，這屬于一個(gè)或多個(gè)計(jì)算機(jī)或其他設(shè)備所執(zhí)行的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)的一些形式。通過舉例而非限制，計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)可以包括非瞬時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。非瞬時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)包括所有除瞬時(shí)或傳播信號(hào)以外的計(jì)算機(jī)可讀介質(zhì)。計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)包括可以在任一用于信息存儲(chǔ)的方法或技術(shù)中得以實(shí)現(xiàn)的易失性和非易失性以及可移動(dòng)和非可移動(dòng)的介質(zhì)，例如，計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或其他數(shù)據(jù)。通常，程序模塊包括執(zhí)行特定任務(wù)或?qū)崿F(xiàn)特定抽象數(shù)據(jù)類型的慣例、程序、物體、組件、數(shù)據(jù)結(jié)構(gòu)等。在各實(shí)施例中，可以按需對(duì)程序模塊的功能進(jìn)行組合或分布。

在一些實(shí)施例中，一種設(shè)備包括：接收與三維(threedimension，簡(jiǎn)稱3d)場(chǎng)景有關(guān)的輸入的處理電路。所述輸入包括與第一攝像頭對(duì)應(yīng)的第一幀率下的第一幀序列相關(guān)的信息以及與第二攝像頭對(duì)應(yīng)的第二幀率下的第二幀序列相關(guān)的信息。所述第一幀率比所述第二幀率快，將所述第一幀序列和所述第二幀序列中的記錄在給定時(shí)間戳上的時(shí)間同步的圖像幀對(duì)齊。創(chuàng)建用于所述第一幀率下的動(dòng)態(tài)場(chǎng)景的三維(threedimension，簡(jiǎn)稱3d)模型，在所述第一幀率下生成與多個(gè)額外視點(diǎn)相關(guān)的合成的圖像幀序列。另外，該實(shí)施例可以包括存儲(chǔ)處理電路的信息的存儲(chǔ)器。

在其他實(shí)施例中，提供了以第一速度采集圖像的第一攝像頭、以第二速度采集圖像的第二攝像頭，其中，第二速度比第一速度慢，以及用于以所述第一速度模擬除第一攝像頭的視點(diǎn)以外的多個(gè)視點(diǎn)的多視點(diǎn)系統(tǒng)。利用第一攝像頭和第二攝像頭的圖像采集結(jié)果采樣各自的時(shí)間外觀差異，利用抽樣圖像結(jié)果中的時(shí)空相干性，以第一速度對(duì)不同于第一攝像頭的視點(diǎn)的視點(diǎn)的進(jìn)行視頻流合成。

盡管本文中已經(jīng)揭示某些優(yōu)選實(shí)施例和方法，但所屬領(lǐng)域的技術(shù)人員將從前述揭示內(nèi)容顯而易見，在不脫離本發(fā)明的精神和范圍的情況下可以對(duì)此類實(shí)施例和方法進(jìn)行變化和修改。希望本發(fā)明將僅限于所附權(quán)利要求書以及可適用法律的規(guī)則和原理所需的范圍。