專利名稱：用于合并視頻以實(shí)時(shí)顯示的方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明總體上涉及圖像處理，并且更具體地涉及合并多個(gè)輸入圖像 序列以產(chǎn)生單個(gè)輸出圖像序列。
背景技術(shù)：
在數(shù)字成像中，存在兩種可根據(jù)多個(gè)輸入圖像產(chǎn)生輸出圖像的主要 方法。合成步驟將來(lái)自單獨(dú)的輸入圖像的可視元素(對(duì)象)合并以產(chǎn)生
以下錯(cuò)覺(jué)(illusion),即所有元素都是同一場(chǎng)景的幾個(gè)部分。拼接(mosaic) 和全景圖(panorama)將全部輸入圖像合并為單個(gè)輸出圖像。通常，拼 接是由以某種棋盤(pán)式鑲嵌的方式布置的非重疊圖像組成。全景圖通常指 視圖的廣角表示。
期望使來(lái)自多個(gè)輸入序列(輸入視頻)的全部圖像合并以產(chǎn)生單個(gè) 輸出圖像序列(輸出視頻)。例如，在監(jiān)視應(yīng)用中，期望獲得相對(duì)大的室 外場(chǎng)景的高分辨率圖像序列。通常，這可以利用單個(gè)攝像機(jī)通過(guò)"拉遠(yuǎn) (zoom out)"以增大視野來(lái)實(shí)現(xiàn)。但是變焦減少了輸出圖像的清晰度和 細(xì)節(jié)。
以下類型的合并方法是已知的視差分析；深度層分解；以及像素 對(duì)應(yīng)。在視差分析中，使用運(yùn)動(dòng)視差來(lái)估計(jì)場(chǎng)景的3D結(jié)構(gòu)，這使得圖像 能夠被合并。層分解通常限于能夠被分解成多個(gè)深度層的場(chǎng)景。像素對(duì) 應(yīng)要求立體技術(shù)和深度估計(jì)。然而，輸出圖像經(jīng)常包括惱人的假象 (artifact),例如深度邊緣處的條紋(streak)和暈圈(halo)。通常，現(xiàn) 有技術(shù)方法是復(fù)雜的并且不適于實(shí)時(shí)應(yīng)用。
因此，希望將輸入視頻合并為輸出視頻并且實(shí)時(shí)顯示該輸出視頻
發(fā)明內(nèi)容
通過(guò)多個(gè)窄角攝像機(jī)獲取場(chǎng)景的一組輸入視頻。每個(gè)攝像機(jī)具有場(chǎng)
景的不同視野。即視野基本上以最小重疊而鄰接(abut)。同時(shí)，廣角攝
像機(jī)獲取整個(gè)場(chǎng)景的廣角輸入視頻。廣角攝像機(jī)的視野基本上與該組窄 角攝像機(jī)的視野重疊。
接著使用廣角視頻將對(duì)應(yīng)的廣角視頻的圖像合并為單個(gè)輸出視頻， 使得輸出視頻看起來(lái)如同由單個(gè)攝像機(jī)所獲取。即輸出視頻的分辨率近 似為輸入視頻的分辨率的和。
本發(fā)明使用廣角視頻用于校正并合并窄角視頻，而不是如現(xiàn)有技術(shù) 中通常所做的那樣確定會(huì)產(chǎn)生常規(guī)拼接的各種圖像之間的直接變換。根 據(jù)本發(fā)明，校正不限于如現(xiàn)有技術(shù)中的幾何校正，而是還包括比色校正
(colorimetric correction)。比色校正保證了能夠以均一的顏色和增益顯示 輸出視頻，如同輸出視頻是由單個(gè)攝像機(jī)獲取的一樣。
本發(fā)明的另一目的是實(shí)時(shí)地同時(shí)獲取和顯示視頻。本發(fā)明不要求人 工對(duì)準(zhǔn)和攝像機(jī)校準(zhǔn)。能夠使得攝像機(jī)視圖(view)之間的重疊量(如 果有的話)最小化。


圖1A是根據(jù)本發(fā)明的一個(gè)實(shí)施方式的用亍合并輸入視頻以產(chǎn)生輸
出視頻的系統(tǒng)的示意圖1B是一組窄角輸入圖像以及廣角輸入圖像的示意圖2是根據(jù)本發(fā)明的一個(gè)實(shí)施方式的用于將輸入視頻合并以產(chǎn)生輸
出視頻的方法的流程圖3是根據(jù)本發(fā)明的一個(gè)實(shí)施方式的顯示設(shè)備的正視圖；以及 圖4示出了根據(jù)本發(fā)明的一個(gè)實(shí)施方式的偏移參數(shù)。
具體實(shí)施方式
方法和系統(tǒng)概述
圖1示出了根據(jù)本發(fā)明的一個(gè)實(shí)施方式的系統(tǒng)，該系統(tǒng)用于合并由 一組窄角攝像機(jī)101獲取的場(chǎng)景的一組窄角輸入視頻111以實(shí)時(shí)地產(chǎn)生用于顯示設(shè)備108的輸出視頻110。
使用由廣角攝像機(jī)102獲取的廣角輸入視頻112將輸入視頻111合 并。輸出視頻110能夠呈現(xiàn)在顯示設(shè)備108上。在一個(gè)實(shí)施方式中，顯 示設(shè)備包括一組投影顯示設(shè)備。在優(yōu)選實(shí)施方式中，對(duì)于每個(gè)窄角攝像 機(jī)有一個(gè)投影儀。這些投影儀可以是前投影儀或背投影儀。
圖1B示出了一組窄角圖像111。圖像lll'是下述參考圖像。廣角圖 像112由短劃線表示。如所看到的，并且作為一個(gè)優(yōu)點(diǎn)，輸入圖像不必 是矩形的。此外，不要求輸入圖像彼此對(duì)準(zhǔn)。虛線301是針對(duì)一個(gè)顯示 屏幕，并且實(shí)線302表示最大的內(nèi)接矩形。
這里使用的術(shù)語(yǔ)廣角和窄角僅僅是相對(duì)的。即，廣角攝像機(jī)102的 視野與窄角攝像機(jī)ioi的視野基本上重疊。實(shí)際上，窄角攝像機(jī)基本上 具有正常角度，并且廣角攝像機(jī)只具有2X的變焦因子。不應(yīng)該將我們的 廣角攝像機(jī)與常規(guī)的魚(yú)眼鏡頭攝像機(jī)混淆，該魚(yú)眼鏡頭攝像機(jī)拍攝非常 寬的半球形圖像。我們的廣角攝像機(jī)不具有任何明顯的失真。如果我們 使用常規(guī)的魚(yú)眼鏡頭，則我們可根據(jù)鏡頭失真參數(shù)來(lái)校正圖像112的失 真。
在該組輸入視頻111之間可能有最小重疊。在通常情況下，廣角攝 像機(jī)102的視野應(yīng)該包含該組窄角攝像機(jī)101的合并的視野。在優(yōu)選實(shí) 施方式屮，廣角攝像機(jī)102的視野比四個(gè)窄角攝像機(jī)101的合并的視圖 稍大。因此，輸出視頻的分辨率近似為該組輸入視頻lll的分辨率的和。
攝像機(jī)101-102經(jīng)由網(wǎng)絡(luò)104連接到計(jì)算機(jī)群103。這些計(jì)算機(jī)是常 規(guī)的并且包括通過(guò)總線連接的處理器、存儲(chǔ)器和輸入\輸出接口。這些計(jì) 算機(jī)實(shí)現(xiàn)根據(jù)本發(fā)明的方法。
為簡(jiǎn)化該描述，我們針對(duì)單個(gè)窄角攝像機(jī)的情況描述本發(fā)明的細(xì)節(jié)。 稍后，我們描述如何將本發(fā)明的實(shí)施方式擴(kuò)展到多個(gè)窄角分辨率攝像機(jī)。
廣角攝像機(jī)
在本發(fā)明中使用廣角攝像機(jī)具有幾個(gè)優(yōu)點(diǎn)。首先，該組輸入視頻111 之間的重疊(如果有的話)可以是最小的。第二，可以忽略不對(duì)準(zhǔn)錯(cuò)誤。 第三，本發(fā)明可應(yīng)用于復(fù)雜的場(chǎng)景。第四，能夠針對(duì)幾何參數(shù)和顏色來(lái)校正輸出視頻。
利用在廣角視頻112和該組窄角視頻111之間的大的重疊，可根據(jù) 圖像特征確定變換。這使場(chǎng)景的平面區(qū)域中的變換具有更少的傾斜
(prone)錯(cuò)誤。因此，提高了整體對(duì)準(zhǔn)精度，并且能夠以相對(duì)小的不對(duì) 準(zhǔn)錯(cuò)誤來(lái)對(duì)準(zhǔn)就深度復(fù)雜度而言更復(fù)雜的場(chǎng)景。廣角分辨率視頻112提 供了幾何校正信息和顏色校正信息。 系統(tǒng)配置
在一個(gè)實(shí)施方式中，窄角攝像機(jī)101以2X 2陣列布置，并且單個(gè) 廣角攝像機(jī)102布置在這些窄角攝像機(jī)上面或它們之間，如圖IA所示。 如上所述，廣角攝像機(jī)的視野合并了窄角攝像機(jī)101的視野。
每個(gè)攝像機(jī)經(jīng)由網(wǎng)絡(luò)104連接到計(jì)算機(jī)103中的一臺(tái)。每臺(tái)計(jì)算機(jī) 配備有包括圖形處理單元(GPU) 105的圖形硬件。在一個(gè)優(yōu)選實(shí)施方式 中，這些攝像機(jī)的幀率是同步的。但是如果場(chǎng)景中的移動(dòng)元素(像素) 數(shù)量很少，則這些攝像機(jī)的幀率的同步就不是必要的。
本發(fā)明的思想是，諸如用于高速計(jì)算機(jī)圖形應(yīng)用的現(xiàn)代GPU能夠極 快速地(即實(shí)時(shí)地)處理圖像。因此我們將變換和幾何參數(shù)加載到GPU 以實(shí)時(shí)合并和變換輸入視頻，如下所述。
每臺(tái)計(jì)算機(jī)和GPU連接到在其上顯示輸出視頻的顯示設(shè)備108。在 一個(gè)優(yōu)選實(shí)施方式中，我們使用2X 2的顯示器陣列。每臺(tái)顯示器連接到 這些計(jì)算機(jī)中的一臺(tái)。但是，應(yīng)當(dāng)理解的是，利用計(jì)算機(jī)、GPU和顯示 設(shè)備的不同組合也能夠使本發(fā)明工作。例如利用單個(gè)計(jì)算機(jī)、GPU和顯 示設(shè)備以及多個(gè)攝像機(jī)也可使本發(fā)明工作。
圖像變換
圖2示出了根據(jù)本發(fā)明的方法的細(xì)節(jié)。我們以廣角(fK4)視頻112 和每個(gè)窄角(A^)視頻111的在時(shí)間上對(duì)應(yīng)地選擇的一組圖像200開(kāi)始。 在時(shí)間上對(duì)應(yīng)是指所選擇的圖像是在大約相同的時(shí)間獲取的。例如，在 每個(gè)視頻中的第一個(gè)圖像。在時(shí)間上精確對(duì)應(yīng)可通過(guò)使這些攝像機(jī)同步 來(lái)實(shí)現(xiàn)。應(yīng)當(dāng)注意，可根據(jù)需要周期性地選擇在時(shí)間上對(duì)應(yīng)的該組圖像 200以更新GPU參數(shù)，如下所述。對(duì)于每個(gè)所選擇的A^圖像201以及對(duì)應(yīng)的『j圖像202，我們檢測(cè) (210)特征211，如下所述。
接著，我們確定(220)所檢測(cè)的特征之間的對(duì)應(yīng)性221。
根據(jù)該對(duì)應(yīng)性，我們使用廣角視頻112來(lái)確定230窄角圖像111之 間的單應(yīng)性(homography) 231。該單應(yīng)性使我們能夠?qū)斎雸D像201進(jìn) 行變換和合并(240)以獲得單個(gè)變換圖像241。
該單應(yīng)性使我們能夠確定(250)單個(gè)最大內(nèi)接矩形圖像302的幾何 參數(shù)251，該單個(gè)最大內(nèi)接矩形圖像302包括該變換圖像。該幾何參數(shù)也 考慮到顯示設(shè)備108的幾何參數(shù)，例如，所述一個(gè)(多個(gè))顯示屏幕的 布置和大小。本質(zhì)上，顯示兒何參數(shù)定義了輸出視頻的外觀。該大小可 以用像素的形式來(lái)規(guī)定，例如寬度和高度、或?qū)挾群涂v橫比。
窄角視頻之間的單應(yīng)性231和輸出視頻的幾何參數(shù)存儲(chǔ)在各種處理 器103的GPU 105中。
這時(shí)，根據(jù)單應(yīng)性和顯示屏幕的幾何參數(shù)，通過(guò)GPU對(duì)該組窄角輸 入視頻111中的后續(xù)圖像進(jìn)行流處理(260)以實(shí)時(shí)地產(chǎn)生輸出視頻110。 如上所述，根據(jù)需要可以動(dòng)態(tài)更新GPU參數(shù)以適應(yīng)于進(jìn)行流處理時(shí)的變 化的環(huán)境。
上面我們假設(shè)場(chǎng)景包含足夠數(shù)量的靜止對(duì)象。此外，我們假設(shè)移動(dòng) 對(duì)象與攝像機(jī)保持近似相同的距離。移動(dòng)對(duì)象數(shù)量不受限制。 動(dòng)態(tài)更新
應(yīng)當(dāng)理解，可在GPU中例如每分鐘或某些其它時(shí)間間隔一次周期性 地更新單應(yīng)性、幾何校正和顏色校正，以適應(yīng)變化的場(chǎng)景和改變的光照 條件。這尤其適合于室外場(chǎng)景，在室外場(chǎng)景中大的對(duì)象可能會(huì)周期地進(jìn) 入和離開(kāi)場(chǎng)景。更新還可能對(duì)于場(chǎng)景中的移動(dòng)對(duì)象或陰影敏感。
特征檢測(cè)
由于不同的視野，輸入圖像中的特征可能在尺度上存在差異。為了 適應(yīng)于尺度差異，我們使用尺度不變特征檢測(cè)器，例如，尺度不變特征 變換(SIFT)，參見(jiàn)Lowe的以下文獻(xiàn)"Distinctive image features from scale invariant keypoints"， International Journal of Computer Vision, 60 (2):91-110， 2004，通過(guò)引用合并于此。也可以使用諸如角點(diǎn)和線(邊)檢測(cè)
器的其它特征檢測(cè)器來(lái)代替，或者增大特征的數(shù)量。應(yīng)當(dāng)注意，可以通
過(guò)使用GPU來(lái)加快特征檢測(cè)。
為了確定(220)特征之間的初始對(duì)應(yīng)性221，我們首先確定每個(gè)特 征的鄰域的梯度直方圖(HoG)。 HoG之間的差異小于閾值的那些特征作 為對(duì)應(yīng)性的候選。我們使用L2范數(shù)(norm)作為距離度量。
投影變換
在合并期間的遠(yuǎn)景變換240可由3 X3投影變換矩陣或單應(yīng)性231來(lái) 近似。根據(jù)特征211的對(duì)應(yīng)性221來(lái)確定單應(yīng)性。假設(shè)某些對(duì)應(yīng)性候選 可能被錯(cuò)誤地匹配，我們使用修正的RANSAC方法來(lái)確定單應(yīng)性，參見(jiàn) 以下文獻(xiàn)Fischler等人的"Random sample consensus: A paradigm for model fitting with applications to image analysis and automated cartography", Commun. ACM， 24 (6): 381-395， 1981，通過(guò)引用將其 合并于此。
此外我們還要求適合單應(yīng)性的對(duì)應(yīng)性的數(shù)量大于某個(gè)閾值，而不是
僅僅試圖找到具有小投影錯(cuò)誤的單應(yīng)性。
我們確定每個(gè)窄角圖像201和廣角圖像202之間的單應(yīng)性，并將其 表示為/Z、,，,,，其中/為該組窄角圖像的索引，并且乂為廣角圖像的索引
(如果存在多個(gè)廣角圖像的話)。我們選擇窄角圖像lll'中的一個(gè)作為參 考圖像iVA,，參見(jiàn)圖3。我們通過(guò)下式將圖像Z變換到參考圖像
■"am,,。
如果/尸"則
W-i w
其為單位矩陣。我們將每個(gè)單應(yīng)性//二,,^//^，231存儲(chǔ)在連接到對(duì)應(yīng)攝
像機(jī)/的計(jì)算機(jī)的GPU中。 鏡頭失真
大部分?jǐn)z像機(jī)鏡頭具有某種程度的失真。結(jié)果，場(chǎng)景中的直線看起 來(lái)象是圖像中的曲線。在許多應(yīng)用中，通過(guò)估計(jì)冪級(jí)數(shù)的前兩項(xiàng)的參數(shù) 來(lái)校正鏡頭失真。如果已知鏡頭失真參數(shù)，則能夠在GPU上作為像素查找操作來(lái)實(shí)現(xiàn)該校正。 附加的約束
我們還可以通過(guò)考慮圖像中的直線來(lái)包括附加的約束，而不是僅僅
根據(jù)對(duì)應(yīng)性221來(lái)確定單應(yīng)性231。我們可以使用Canny邊檢測(cè)器來(lái)檢測(cè)
圖像中的線。作為一個(gè)優(yōu)點(diǎn)，線對(duì)應(yīng)性能夠提高跨圖像邊界的連續(xù)性。 在投影幾何中點(diǎn)x和線/是成對(duì)的。假定圖像/,和圖像/,,之間的單應(yīng)性為
H，則我們有
/' = /r7'-/ 其中r是轉(zhuǎn)置算子。 顯示器配置
在我們已經(jīng)獲得了單應(yīng)性231之后，我們?cè)趨⒖紙D像lll'的坐標(biāo)系 統(tǒng)中確定經(jīng)過(guò)變換并且合并后的圖像241，如圖3中所示。
為了確定輸出圖像111的哪些部分被合并并顯示在輸出圖像110中， 根據(jù)顯示設(shè)備108的幾何參數(shù)將輸出圖像分區(qū)。圖3是四臺(tái)顯示設(shè)備的 正視圖。虛線301表示四個(gè)顯示屏幕之間的縫隙。
第一步將經(jīng)過(guò)變換和合并的圖像241內(nèi)部的最大的矩形302進(jìn)行定 位。該最大的矩形也可以符合顯示設(shè)備的縱橫比。我們根據(jù)顯示設(shè)備的 配置進(jìn)一步將該最大的矩形分區(qū)(301)。
合并
已經(jīng)確定單應(yīng)性和幾何參數(shù)并將它們存儲(chǔ)在GPU105中之后，我們 可實(shí)時(shí)地變換輸入視頻流260中的每個(gè)單個(gè)圖像并調(diào)整其大小。根據(jù)顯 示器表面的幾何參數(shù)251進(jìn)行裁剪。
因此，存儲(chǔ)在GPU中的參數(shù)包括用于將窄角圖像變換到所選擇的參 考圖像111'的坐標(biāo)系統(tǒng)的3X3單應(yīng)性、每個(gè)經(jīng)過(guò)變換的圖像的;c和少偏 移401 (參見(jiàn)圖4)，以及每個(gè)經(jīng)過(guò)變換的輸入圖像的大小(寬度和高度)。 根據(jù)合并的圖像241和顯示設(shè)備108的配置來(lái)確定偏移和大小。
如上所述，使用單應(yīng)性231來(lái)變換每個(gè)圖像。利用單應(yīng)性的變換是 投影變換。由GPU105來(lái)支持此操作。我們能夠以下面的方式執(zhí)行GPU中的變換
每頂點(diǎn)對(duì)多邊形的頂點(diǎn)(兒何參數(shù))進(jìn)行變換，并將圖像應(yīng)用為 紋理圖；以及
每像素針對(duì)輸出圖像中的每個(gè)像素執(zhí)行對(duì)輸入像素的查找，并且 將這些輸入像素合并為單個(gè)輸出像素。
應(yīng)當(dāng)注意，GPU能夠通過(guò)其紋理函數(shù)內(nèi)的插值來(lái)執(zhí)行調(diào)整大小以匹 配顯示器幾何參數(shù)。
利用GPU的圖像硬件支持，我們能夠?qū)崿F(xiàn)用于上面兩種方法的實(shí)時(shí) 變換、調(diào)整大小和顯示。
應(yīng)當(dāng)注意，在輸入圖像重疊的地方，可使用多帶域混合(muWband blending)技術(shù)將這些圖像融合為輸入視頻，參見(jiàn)2004年6月29日頒發(fā) 給Raskar等人的U.S. 6，755，537， "Method for globally aligning multiple projected images",通過(guò)引用將其合并于此。該混合在整個(gè)輸出圖像上保 持均一的亮度。
顏色校正
我們的顏色校正方法包括下面的步驟。我們確定每個(gè)輸入圖像111 中的每個(gè)特征附近的局部鄰域中的像素群。我們將像素群與鄰近的或附 近的像素進(jìn)行匹配。接著，我們確定圖像之間的偏移和3X3顏色變換。
我們通過(guò)確定輸入圖像的(RGB)顏色空間中的3D直方圖將像素 聚成群。雖然在不同圖像之間可能存在一些顏色變換，但是直方圖的峰 值通常對(duì)應(yīng)于表示場(chǎng)景的相同部分的群。我們僅考慮其像素?cái)?shù)量比某個(gè) 閾值大的那些群，因?yàn)樾〉娜喝菀讓?dǎo)致不匹配。在接受兩個(gè)對(duì)應(yīng)群作為 有效匹配之前，我們對(duì)這些群的統(tǒng)計(jì)量執(zhí)行附加的檢-^。使用L^M色域 圖(gamut map)來(lái)確定例如均值和標(biāo)準(zhǔn)偏差的統(tǒng)計(jì)量，該1^葉*色域圖 使用設(shè)備無(wú)關(guān)的C正LAB顏色空間。
我們針對(duì)每個(gè)群并且還針對(duì)鄰近的群來(lái)確定均值和標(biāo)準(zhǔn)偏差。如果 差異小于某個(gè)閾值，則我們將對(duì)應(yīng)的群標(biāo)記為有效匹配。我們針對(duì)所有 對(duì)應(yīng)特征的局部鄰域中的所有被接受的群重復(fù)此過(guò)程。
在已經(jīng)處理了"個(gè)對(duì)應(yīng)之后，我們確定顏色變換為<formula>formula see original document page 13</formula>
其中矩陣,是偽逆變換矩陣z。
上面的顏色變換是基于輸入圖像的內(nèi)容。為了避免一些顏色被過(guò)表
示(overrepresent)，我們可追蹤所包括的3D直方圖的峰值。跳過(guò)已經(jīng)被 表示的峰值位置有利于尚未被包括的位置。
如上所述，我們孤立地看待每個(gè)攝像機(jī)、處理器、視頻流和顯示設(shè) 備。除了單應(yīng)性和幾何參數(shù)以外，在處理器之間沒(méi)有信息交換。然而， 我們可確定應(yīng)當(dāng)通過(guò)網(wǎng)絡(luò)發(fā)送圖像的哪個(gè)部分以顯示在某個(gè)其它的平鋪 的顯示設(shè)備上。
我們也可使用多個(gè)廣角攝像機(jī)。在這種情況下，我們確定這些攝像 機(jī)之間的幾何參數(shù)，即位置和定向。我們可以離線地校準(zhǔn)攝像機(jī)，或者 要求攝像機(jī)之間重疊，并且基于此作為幾何參數(shù)的基礎(chǔ)。
雖然以優(yōu)選實(shí)施方式為例已經(jīng)描述了本發(fā)明，但是應(yīng)當(dāng)理解，可在 本發(fā)明的精神和范圍內(nèi)做出各種其它改變和修改。因此，所附權(quán)利要求 的目的涵蓋落入本發(fā)明的真實(shí)精神和范圍內(nèi)的所有這種變型和修改。
權(quán)利要求
1. 一種用于將視頻合并以實(shí)時(shí)顯示的方法，該方法包括以下步驟獲得場(chǎng)景的一組窄角視頻；獲得所述場(chǎng)景的廣角視頻，其中所述廣角視頻中的視野與所述窄角視頻中的視野基本上重疊；使用每個(gè)窄角視頻的一組在時(shí)間上對(duì)應(yīng)地選擇的圖像和所述廣角視頻的在時(shí)間上對(duì)應(yīng)地選擇的圖像來(lái)確定所述窄角視頻之間的單應(yīng)性；對(duì)所述窄角視頻的所述在時(shí)間上對(duì)應(yīng)地選擇的圖像進(jìn)行變換并且合并為經(jīng)過(guò)變換的圖像；根據(jù)輸出設(shè)備的顯示屏幕的幾何參數(shù)和所述經(jīng)過(guò)變換的圖像來(lái)確定輸出視頻的幾何參數(shù)；將所述單應(yīng)性和所述顯示屏幕的所述幾何參數(shù)存儲(chǔ)在圖形處理單元中；以及根據(jù)所述單應(yīng)性和所述幾何參數(shù)在所述圖形處理單元中變換并且合并該組窄角視頻中的后續(xù)圖像，以實(shí)時(shí)地產(chǎn)生所述輸出視頻。
2. 根據(jù)權(quán)利要求1所述的方法，其中所述窄角視頻中的所述視野基 本上以最小重疊而鄰接。
3. 根據(jù)權(quán)利要求1所述的方法，其中所述輸出視頻的分辨率近似為 該組窄角視頻的分辨率之和。
4. 根據(jù)權(quán)利要求1所述的方法，該方法進(jìn)一步包括以下步驟 獲取一組所述廣角視頻；以及使用該組廣角視頻的在時(shí)間上對(duì)應(yīng)地選擇的圖像來(lái)確定所述單應(yīng)性。
5. 根據(jù)權(quán)利要求1所述的方法，該方法進(jìn)一步包括以下步驟 周期性地更新所述圖形處理單元中的所述單應(yīng)性。
6. 根據(jù)權(quán)利要求1所述的方法，其中該組窄角視頻是通過(guò)一組窄角 攝像機(jī)獲取，所述廣角視頻是通過(guò)廣角攝像機(jī)獲取，并且該方法進(jìn)一步 包括以下步驟將每個(gè)攝像機(jī)連接到計(jì)算機(jī)，并且其中每臺(tái)計(jì)算機(jī)包括所述圖形處 理單元。
7. 根據(jù)權(quán)利要求6所述的方法，其中針對(duì)每個(gè)窄角視頻有一個(gè)顯示 屏幕。
8. 根據(jù)權(quán)利要求1所述的方法，該方法進(jìn)一步包括以下步驟 檢測(cè)所述在時(shí)間上對(duì)應(yīng)地選擇的圖像中的特征； 確定所述特征之間的對(duì)應(yīng)性以確定所述單應(yīng)性。
9. 根據(jù)權(quán)利要求l所述的方法，其中所述輸出視頻的所述幾何參數(shù) 取決于所述經(jīng)過(guò)變換的圖像中內(nèi)接的最大矩形。
10. 根據(jù)權(quán)利要求1所述的方法，其中所述輸出視頻的所述幾何參 數(shù)包括該組窄角視頻的偏移，并且所述顯示屏幕的所述幾何參數(shù)包括所 述顯示屏幕的大小。
11. 根據(jù)權(quán)利要求1所述的方法，該方法進(jìn)一步包括以下步驟 在所述合并期間，將該組窄角視頻中的所述后續(xù)圖像混合。
12. 根據(jù)權(quán)利要求1所述的方法，其中所述選擇的圖像是每個(gè)輸入 視頻中的第一個(gè)圖像。
13. 根據(jù)權(quán)利要求1所述的方法，該方法進(jìn)一步包括以下步驟 根據(jù)所述廣角視頻的所述在時(shí)間上對(duì)應(yīng)地選擇的圖像來(lái)校正所述輸出視頻的顏色。
14. 一種用于將視頻合并以實(shí)時(shí)顯示的系統(tǒng)，該系統(tǒng)包括 一組窄角攝像機(jī)，該組窄角攝像機(jī)被配置為用于獲取場(chǎng)景的一組窄一組廣角攝像機(jī)，該組廣角攝像機(jī)被配置為用于獲取所述場(chǎng)景的廣 角視頻，其中所述廣角視頻中的視野與所述窄角視頻中的視野基本上重疊；用于使用每個(gè)窄角視頻的一組在時(shí)間上對(duì)應(yīng)地選擇的圖像和所述廣 角視頻的在時(shí)間上對(duì)應(yīng)地選擇的圖像來(lái)確定所述窄角視頻之間的單應(yīng)性的裝置；用于對(duì)所述窄角視頻的所述在時(shí)間上對(duì)應(yīng)地選擇的圖像進(jìn)行變換并合并為經(jīng)過(guò)變換的圖像的裝置；用于根據(jù)輸出設(shè)備的顯示屏幕的幾何參數(shù)和所述經(jīng)過(guò)變換的圖像來(lái) 確定輸出視頻的幾何參數(shù)的裝置；圖形處理單元，其被配置為用于存儲(chǔ)所述單應(yīng)性和所述顯示屏幕的所述幾何參數(shù)；以及用于根據(jù)所述單應(yīng)性和所述幾何參數(shù)在所述圖形處理單元中變換并 且合并該組窄角視頻中的后續(xù)圖像，以實(shí)時(shí)地產(chǎn)生所述輸出視頻的裝置。
全文摘要
本發(fā)明涉及一種將視頻合并以實(shí)時(shí)顯示的系統(tǒng)和方法。獲得場(chǎng)景的廣角視頻和一組窄角視頻，其中所述廣角視頻中的視野與所述窄角視頻中的視野基本上重疊。使用所述廣角視頻來(lái)確定所述窄角視頻之間的單應(yīng)性。對(duì)所述窄角視頻的所述在時(shí)間上對(duì)應(yīng)地選擇的圖像進(jìn)行變換并且合并為經(jīng)過(guò)變換的圖像。根據(jù)輸出設(shè)備的顯示屏幕的幾何參數(shù)和所述經(jīng)過(guò)變換的圖像來(lái)確定輸出視頻的幾何參數(shù)。將所述單應(yīng)性和所述顯示屏幕的所述幾何參數(shù)存儲(chǔ)在圖形處理單元中，并且由所述圖形處理單元來(lái)變換并且合并該組窄角視頻中的后續(xù)圖像，以實(shí)時(shí)地產(chǎn)生輸出視頻。
文檔編號(hào)H04N5/262GK101431617SQ20081017410
公開(kāi)日2009年5月13日 申請(qǐng)日期2008年11月7日 優(yōu)先權(quán)日2007年11月9日
發(fā)明者葉羅恩·范巴爾, 沃伊切赫·毛圖?？?申請(qǐng)人:三菱電機(jī)株式會(huì)社