專利名稱：圖像處理系統(tǒng)和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理的系統(tǒng)和方法。
背景技術(shù)：
目前，體育和其它事件的TV報(bào)道通常提供個(gè)別的人的特寫鏡頭以及作為一個(gè)整體的場景的廣角鏡頭的組合。這使TV報(bào)道的制片人能傳達(dá)事件中的個(gè)體的角色的細(xì)節(jié)和劇情，以及產(chǎn)生該個(gè)體的角色更廣泛的背景。然而，當(dāng)提供這種報(bào)道時(shí)，可能難以預(yù)料在什么地方會(huì)發(fā)生將引起特寫分析的引人注目事件，并且類似地，當(dāng)被密切跟蹤的引人注目事件展開時(shí)，還可能難以為其提供更廣泛的背景。本發(fā)明試圖緩和或緩解這些問題。

發(fā)明內(nèi)容
在第一方面，提供了根據(jù)權(quán)利要求1的圖像處理系統(tǒng)。在另一方面，提供了根據(jù)權(quán)利要求10的視頻系統(tǒng)。在另一方面，提供了根據(jù)權(quán)利要求12的圖像處理的方法。在所附權(quán)利要求中定義了本發(fā)明的更多的相應(yīng)的方面和特征。


現(xiàn)將參考附圖通過示例的方式對本發(fā)明的實(shí)施例進(jìn)行描述，其中:圖1A是根據(jù)本發(fā)明的實(shí)施例的彼此處于固定物理關(guān)系的攝像機(jī)(video camera)對的示意圖。圖1B是根據(jù)本發(fā)明的實(shí)施例的彼此處于固定物理關(guān)系的攝像機(jī)對的示意圖。圖2是根據(jù)本發(fā)明的實(shí)施例的圖像處理系統(tǒng)的示意圖。圖3A是根據(jù)本發(fā)明的實(shí)施例的所存儲(chǔ)的場景幾何圖形(scenegeometry)的示意圖。圖3B是根據(jù)本發(fā)明的實(shí)施例的被映射到場景上的場景幾何圖形的示意圖。圖4A是根據(jù)本發(fā)明的實(shí)施例的以窄視場捕獲的視頻圖像的示意圖。圖4B是根據(jù)本發(fā)明的實(shí)施例的以更寬視場捕獲的視頻圖像的示意圖。圖4C是根據(jù)本發(fā)明的實(shí)施例的以更寬視場捕獲的視頻圖像的示意圖。圖5是根據(jù)本發(fā)明的實(shí)施例的圖像處理的方法的流程圖。圖6是根據(jù)本發(fā)明的實(shí)施例的圖像處理系統(tǒng)的示意圖。圖7是根據(jù)本發(fā)明的實(shí)施例的存儲(chǔ)的視頻和靜止圖像的示意圖。圖8是根據(jù)本發(fā)明的實(shí)施例的視頻系統(tǒng)的示意圖。圖9是根據(jù)本發(fā)明的實(shí)施例的圖像處理的方法的流程圖。
具體實(shí)施例方式公開了圖像處理的系統(tǒng)和方法。在以下描述中，呈現(xiàn)了多個(gè)特定細(xì)節(jié)以便提供對本發(fā)明的實(shí)施例的徹底理解。然而，對本領(lǐng)域的技術(shù)人員而言將顯而易見的是不是必須要采用這些特定細(xì)節(jié)來實(shí)踐本發(fā)明。相反地，在適當(dāng)時(shí)為了清楚的目的省略了本領(lǐng)域的技術(shù)人員已知的特定細(xì)節(jié)?，F(xiàn)參照圖1A和1B，在本發(fā)明的實(shí)施例中，圖像處理系統(tǒng)包括彼此以預(yù)設(shè)物理關(guān)系被布置成對的兩個(gè)攝像機(jī)。第一攝像機(jī)IOA被以第一視角寬度來設(shè)置。例如，第一攝像機(jī)可以被鎖定在最大視角(沒有應(yīng)用附加的光學(xué)變焦)以便捕獲寬場景，諸如英式足球(或足球)體育場中的球場。然后，第一攝像機(jī)可以捕獲具有此寬視角的視頻圖像。第二攝像機(jī)IOB以比第一攝像機(jī)的視角寬度窄的第二視角寬度被設(shè)置。例如，第二攝像機(jī)可以自由對個(gè)體足球球員或球門區(qū)等進(jìn)行拉近(zoom in)，并且因此具有比第一攝像機(jī)更窄的視場。兩個(gè)攝像機(jī)都可以輸出指示適合每個(gè)所捕獲的視頻幀的、諸如變焦水平和焦距之類的參數(shù)的數(shù)據(jù)。攝像機(jī)之間的預(yù)設(shè)物理關(guān)系可以類似于3D相機(jī)系統(tǒng)的物理關(guān)系。因此，攝像機(jī)可以并排地位于共同的安裝系統(tǒng)上以使得它們二者一起移動(dòng)。然而，參照圖1A和1B，在本發(fā)明的實(shí)施例中，攝像機(jī)10AU0B被正交地定位并且在光學(xué)上與被定位在它們之間的雙向鏡2的任一側(cè)上的同一點(diǎn)對準(zhǔn)，例如，該雙向鏡與每個(gè)相機(jī)等距離并且與每個(gè)相機(jī)的鏡頭平面成45度角。結(jié)果，兩個(gè)相機(jī)在理論上共享同一光學(xué)中心線(在使用期間經(jīng)歷內(nèi)置的光學(xué)可變性(built-1n optical variability))。因此,更一般地，可以說它們被定位成對齊(in an alignment)而沒有橫向的光學(xué)位移。換句話說，盡管使用與3D相機(jī)的系統(tǒng)類似的系統(tǒng)，但是這對相機(jī)沒有立體地分開并且不生成立體圖像對。而是，它們生成基本上共享中心點(diǎn)的一對圖像，其中一個(gè)圖像具有比另一個(gè)更寬的視場。現(xiàn)參照圖2，參考信號(hào)源4可操作來發(fā)送用于控制由第一攝像機(jī)IOA和第二攝像機(jī)IOB進(jìn)行的視頻圖像捕獲的定時(shí)的參考信號(hào)，以使得它們同步地捕獲視頻圖像。典型的參考信號(hào)源是本領(lǐng)域已知的所謂的GenLock(同步鎖相)信號(hào)源。因此，視頻捕獲單元6存儲(chǔ)由該對攝像機(jī)在基本上相同的時(shí)間處生成的視頻幀，并且可以將這樣的視頻幀與同一時(shí)間的時(shí)間碼相關(guān)聯(lián)，從而指示它們被同時(shí)生成。視頻捕獲單元可以包括用以存儲(chǔ)視頻幀的硬盤、數(shù)字磁帶、光學(xué)介質(zhì)、固態(tài)存儲(chǔ)器或這些的任何組
口 ο在本發(fā)明的實(shí)施例中，圖像處理系統(tǒng)還包括圖像處理單元(圖像處理器)8，可操作來使用來自兩個(gè)攝像機(jī)的圖像，例如通過從捕獲單元訪問所存儲(chǔ)的視頻幀或者替代地通過接收通過捕獲單元傳遞的實(shí)況視頻幀。圖像處理單元包括圖像增強(qiáng)(augmentation)處理器(例如在適合的軟件指令下操作的視頻圖形卡)，并且該圖像增強(qiáng)處理器可操作來在圖形方面對視頻圖像進(jìn)行增強(qiáng)。因此，例如可以將諸如球員之間的距離標(biāo)記或線之類的空間相關(guān)信息疊加在足球球場的圖像上，或者使用名字或統(tǒng)計(jì)信息來標(biāo)記球員，或者甚至添加虛擬的球場裝飾，例如以指示哪支球隊(duì)擁有球場的哪一半，或者添加它們的贊助者的商標(biāo)或任何其它類型的廣
生口 O現(xiàn)參照圖3A和3B，圖像處理單元可以通過保存與正被觀看的物理場景相對應(yīng)的如圖3A中所示出的場景幾何圖形來執(zhí)行這樣的疊加。因此，例如，其可以保存關(guān)于用于標(biāo)定足球球場的線的尺寸和形狀的數(shù)據(jù)，在圖3A中由示例標(biāo)記尺寸Xl_4、yi_4以及Dl來表示。將理解的是，該數(shù)據(jù)可以類似地涉及網(wǎng)球場、籃球場、音樂會(huì)舞臺(tái)或者該場景的任何其它固定結(jié)構(gòu)的或有圖案的元素。將了解的是，適合地定義幾何圖形所需要的尺寸的數(shù)目和它們的相對位置將取決于場景的復(fù)雜性并且還潛在地取決于所預(yù)期的增強(qiáng)的性質(zhì)(例如，如果期望在英式足球球場的禁區(qū)與中圈之間半途的位置疊加商標(biāo)，則該距離還可以相對于中心線或球門線來定義)。幾何圖形本身可以被表示為參數(shù)列表或以任何適合的形式來表示，并且可以被考慮為表示模板AR標(biāo)記。這樣，幾何圖形本身可以被歸一化，例如使得球場的長度X1為I個(gè)任意單位的長度?？商娲鼗虼送猓瑤缀螆D形可以由圖形模板來表示，圖形模板具體表達(dá)具有預(yù)定位置、比例以及朝向的參考幾何圖形。因此，更一般地，按照這種方式，圖像處理單元能夠訪問用于已知場景的場景幾何圖形。在任何情況下，場景的相應(yīng)特性(諸如在上述示例中的英式足球球場上的線)然后可以被處理為(非常大)AR標(biāo)記并且可以使用已知AR標(biāo)記標(biāo)識(shí)技術(shù)來識(shí)別，以確定相對于第一攝像機(jī)在X和y軸上的球場的位置、其比例(即，其在z軸上的位置)以及其朝向(即，關(guān)于X、1、Z軸的其旋轉(zhuǎn))。本領(lǐng)域已知的典型的AR標(biāo)記標(biāo)識(shí)技術(shù)基于以下假設(shè):所捕獲圖像中的候選AR標(biāo)記(這里是場景的預(yù)定特征)是由于在比例尺、朝向以及位置上的變換而不同的參考標(biāo)記(在這里是場景幾何圖形)的同系物(homologue)，并且試圖估計(jì)最適合該候選標(biāo)記的參考標(biāo)記的映射或變換。然而，將了解的是，設(shè)想了用于標(biāo)識(shí)所存儲(chǔ)的場景幾何圖形數(shù)據(jù)與所捕獲的場景的特征之間的映射的任何適合的技術(shù)。將了解的是，該變換或映射然后能夠被用來以與所捕獲圖像中的場景的外觀一致的方式將幾何圖形映射到所捕獲圖像上，如圖3B中所示出(在這種情況下，該映射被微小地偏移以清楚地以實(shí)線示出英式足球球場上的所捕獲線，并且以虛線示出經(jīng)變換的幾何圖形)。該變換或映射然后能夠被用來將圖形增強(qiáng)映射到也與來自第一攝像機(jī)的所捕獲圖像的位置和朝向一致的圖像上。然而，在本圖像的實(shí)施例中，期望對來自第二相機(jī)的所捕獲圖像進(jìn)行增強(qiáng)。將了解的是，第二相機(jī)具有更窄的視場(例如，因?yàn)槠湓谔囟ㄓ⑹阶闱蚯騿T周圍的區(qū)域上被拉近)并且因此沒有足量的場景(在此示例中，英式足球球場的線)可用于直接計(jì)算出從所存儲(chǔ)的幾何圖形到圖像的映射。換句話說，來自第二相機(jī)的圖像可能僅包括場景中的AR標(biāo)記的零碎部分，其對確定相對于第二相機(jī)的AR標(biāo)記的位置和旋轉(zhuǎn)是不足夠的。因此，圖像處理單元在操作中被布置成根據(jù)第一攝像機(jī)和第二攝像機(jī)的預(yù)設(shè)物理關(guān)系和它們的相應(yīng)的視角寬度進(jìn)一步將映射到第一圖像上的場景幾何圖形的至少一部分映射到由第二攝像機(jī)捕獲的第二圖像上。因此，例如，在兩個(gè)相機(jī)在光學(xué)上對齊的情況下(即，理論上共享相同中心點(diǎn)以使得在第一相機(jī)和第二相機(jī)所捕獲的圖像之間不存在橫向位移或相對旋轉(zhuǎn))，于是可以通過響應(yīng)于第一相機(jī)與第二相機(jī)之間的相對變焦差異來改變比例或Z軸位置，從而將對來自第一相機(jī)的圖像做出的變換或映射修改(再映射或再變換)到第二圖像上。在相機(jī)并排的情況下，作為到該場景的估計(jì)距離的函數(shù)的第一圖像和第二圖像的橫向位移也被合并到該再映射內(nèi)。在相機(jī)以非平行方式布置的這種情況下(即，使得它們的視線在有限距離處會(huì)聚)，那么，響應(yīng)于會(huì)聚角度的旋轉(zhuǎn)分量也可以被包括于該再映射中。在任何情況下，圖像增強(qiáng)處理器然后可操作來基于如被再映射到第二圖像上的場景幾何圖形來在圖形上對第二圖像進(jìn)行增強(qiáng)。因此，有利地，圖形增強(qiáng)(諸如平面圖形紋理)能夠被適當(dāng)?shù)赜成涞絹碜缘诙z像機(jī)的圖像上，盡管圖像本身不包括足夠的信息來直接確定所需要的映射。雖然在上文中提到在一個(gè)實(shí)施例中，兩個(gè)相機(jī)在理論上共享相同的中心點(diǎn)，使得不存在橫向位移(或相對旋轉(zhuǎn))，但是在實(shí)際中，因?yàn)橄鄼C(jī)中的制造容差，并且因?yàn)榭赡茉诓煌淖兘顾教幇l(fā)生的圖像失真的變化(包括根據(jù)變焦的相機(jī)的光學(xué)中心線中的變化并且因此造成的位置變化性)，這可能并非對所有的條件都成立。為了減輕此，可以針對多個(gè)變焦位置預(yù)先為第二相機(jī)估計(jì)出校正因子，并且這些因子可以根據(jù)當(dāng)前變焦水平被訪問(或者從所訪問的校正因子被內(nèi)插)。如先前所提到的那樣，攝像機(jī)以每個(gè)所捕獲幀來輸出操作參數(shù)，包括當(dāng)前變焦水平/視角寬度的指示符。然后，可以在再映射期間應(yīng)用校正因子來對該場景幾何圖形校正由于第二攝像機(jī)與第一攝像機(jī)之間的視角寬度差異所造成的第一圖像與第二圖像之間的相對光學(xué)畸變。可以在早期校準(zhǔn)階段期間估計(jì)出校正因子本身，如在這里簡短地描述的。簡而言之，兩個(gè)相機(jī)都像它們在使用中那樣被定位，并且第一相機(jī)以校準(zhǔn)目標(biāo)對象(例如，有方格的球，但是可以使用任何合適對象或場景特征)為中心。第二相機(jī)然后被設(shè)置為希望的視場寬度(即，變焦設(shè)置)。來自每個(gè)相機(jī)的圖像然后與鏡頭數(shù)據(jù)一起被捕獲(諸如焦距/變焦數(shù)據(jù))。每個(gè)圖像中的校準(zhǔn)目標(biāo)對象的圖像然后被用來計(jì)算來自第一攝像機(jī)的圖像與來自第二攝像機(jī)的圖像之間的明顯的整體鏡頭失真(包括可能的橫向位移)。所計(jì)算的失真然后為再映射處理提供校正因子。優(yōu)選地，對于至少兩個(gè)視場寬度為第二攝像機(jī)計(jì)算用于第二攝像機(jī)的校正因子。這允許至少對這兩個(gè)寬度之間的變焦水平(例如，在相機(jī)的正常使用中可用的最小變焦水平和最大變焦水平)處的第一精確度水平進(jìn)行內(nèi)插。然而，明顯地，將了解的是，在不同變焦水平處測得的附加校正因子將改進(jìn)給定變焦水平的估計(jì)精確度。如先前提到的，由第一相機(jī)捕獲的圖像中的更寬視場可以有助于計(jì)算隨后被用于(經(jīng)由中間再映射)來自第二攝像機(jī)的對應(yīng)圖像的幾何圖形映射。用類似方式，來自第一相機(jī)的第一圖像序列可以被用來跟蹤圖像特征(例如特定的球員)，并且所估計(jì)的圖像特征的位置然后可以被類似地映射到來自第二相機(jī)的第二圖像序列中的對應(yīng)圖像。這具有若干優(yōu)點(diǎn)。使用跟蹤英式足球球員的示例，首先英式足球球員的拉近圖像實(shí)際上可能是高度可變的，因?yàn)閳D像中的球員的相對位置和總體形狀可以快速地改變并且還可能經(jīng)常地完全或部分地離開第二圖像序列。這些是對諸如卡爾曼濾波器跟蹤算法之類的常規(guī)跟蹤算法產(chǎn)生不利影響的所有因素。相比之下，球員作為保持位于作為整體的球場(或其更大比例)的圖像序列的邊界內(nèi)的較小對象可能更容易被跟蹤。其次，可以跟蹤目前不在第二圖像內(nèi)的其它球員，使得當(dāng)他們即使部分地出現(xiàn)在第二圖像內(nèi)時(shí)，也可以參考利用第一圖像執(zhí)行的跟蹤來識(shí)別他們。因此，更一般地，由第二攝像機(jī)捕獲的場景中的特征的位置可以參照來自第一攝像機(jī)的圖像隨著時(shí)間被跟蹤。此外，由第一攝像機(jī)捕獲的場景中的特征的位置可以在預(yù)期到該特征至少部分地出現(xiàn)在來自第二攝像機(jī)的圖像中的情況下隨著時(shí)間被跟蹤。將了解的是，如果第一攝像機(jī)的作用限于為中間幾何圖形映射或特征跟蹤提供更寬角度的圖像，則第一攝像機(jī)可以具有比第二攝像機(jī)的總體質(zhì)量更低的總體質(zhì)量。此質(zhì)量可以是光學(xué)系統(tǒng)、成像傳感器、分辨率、色域、內(nèi)部電子設(shè)備的質(zhì)量、構(gòu)建質(zhì)量和/或總成本中的一個(gè)或多個(gè)，并且可以被大體地稱為‘機(jī)器視覺’相機(jī)，因?yàn)椴⒉恢荚趶V播所捕獲的圖像以供用戶觀看。相比之下，當(dāng)然，第一攝像機(jī)可以替代地具有基本上與第二攝像機(jī)相同的圖像質(zhì)量。在這種情況下，這些相機(jī)很可能是同一型號(hào)或相當(dāng)?shù)男吞?hào)，以使得來自每個(gè)相機(jī)的圖像對于相同的相機(jī)設(shè)置而言在主觀上是相似的(例如在制造商的容差內(nèi))。類似地，第一相機(jī)實(shí)際上可以具有比第二相機(jī)更高的質(zhì)量。因此，更一般地，第一和第二攝像機(jī)可以具有相當(dāng)?shù)膹V播質(zhì)量或者兩者都滿足同一最小廣播質(zhì)量標(biāo)準(zhǔn)。在這些情況下，將了解的是，可以從由第二相機(jī)輸出的圖像切換到由第一相機(jī)輸出的圖像。因此，并且現(xiàn)在還參照圖4A和4B，在本發(fā)明的實(shí)施例中，圖像處理單元可操作來計(jì)算與第二圖像(來自拉近的第二攝像機(jī))的至少一部分相對應(yīng)的第一圖像(來自第一廣角攝像機(jī))的第一區(qū)，并且可操作來生成輸出圖像，該輸出圖像包括與第一區(qū)相對應(yīng)的或包括第一區(qū)的第一圖像的經(jīng)數(shù)字變焦的第二區(qū)。這使得能夠?qū)崿F(xiàn)從第二圖像的該至少一部分到第一圖像的轉(zhuǎn)變。更詳細(xì)地，圖4A示出了從第二攝像機(jī)捕獲的圖像100A，同時(shí)圖4B示出了從第一攝像機(jī)捕獲的圖像100B。如先前描述的，來自第一相機(jī)的圖像能夠被用來例如將增強(qiáng)映射到如圖4A中所見的由第二相機(jī)捕獲的場景的部分上，并且類似地，基于從第一攝像機(jī)捕獲的圖像進(jìn)行的跟蹤能夠被用來標(biāo)識(shí)在由第二攝像機(jī)捕獲的圖像中發(fā)現(xiàn)的球員，包括僅部分可見的球員(例如球員110)?；谙惹按_定的映射(或可替代地基于第一攝像機(jī)與第二攝像機(jī)之間的相對變焦，和諸如交叉相關(guān)之類的特征對齊技術(shù))，第一攝像機(jī)中的圖像的區(qū)IOOA1能夠被標(biāo)識(shí)為對應(yīng)于來自第二攝像機(jī)的圖像。區(qū)IOOA1然后可以被數(shù)字地拉近以復(fù)制第二相機(jī)的視點(diǎn)(viewpoint)，并且圖像處理單元的輸出能夠從來自第二相機(jī)的圖像切換或漸變?yōu)閬碜缘谝幌鄼C(jī)的圖像的經(jīng)數(shù)字拉近的區(qū)。參照圖4C，來自第一相機(jī)的連續(xù)捕獲的圖像幀然后可以類似地被數(shù)字變焦為相繼更小的程度(100An，100Ain，100AIV)，以生成輸出圖像序列，在其中圖像顯然地從來自第二相機(jī)的特寫視圖推遠(yuǎn)到較寬的視角，諸如第一相機(jī)的廣角視圖。將理解的是，圖像處理裝置可以以在此示例中相當(dāng)于IOOAn的變焦水平來切換到來自第一相機(jī)的圖像的經(jīng)數(shù)字變焦的區(qū)；換句話說，可選地，不需要顯示與來自第二攝像機(jī)的圖像確切相等的圖像區(qū)域的經(jīng)數(shù)字變焦版本，因?yàn)槠湟呀?jīng)可供使用。如關(guān)于幾何圖形映射所提到的，在實(shí)踐中，由于相對光學(xué)畸變，來自第二攝像機(jī)的圖像可能不同于第一攝像機(jī)的圖像(不只是放大率(變焦))。因此，可選地，先前描述的校正因子能夠被用來根據(jù)應(yīng)用到來自第一相機(jī)的(一個(gè)或多個(gè))圖像的數(shù)字變焦水平來扭曲或變換來自第一攝像機(jī)的圖像，以在轉(zhuǎn)變中提供從第二圖片中固有的第二相機(jī)的光學(xué)特性和第一圖片或圖片序列中固有的第一相機(jī)的光學(xué)特性的平滑轉(zhuǎn)變?，F(xiàn)參照圖5，圖像處理方法包括:在第一步驟SllO中，以第一視角寬度來布置第一攝像機(jī)；在第二步驟sl20中，以比第一攝像機(jī)的視角寬度窄的第二視角寬度來布置第二攝像機(jī)；在第三步驟S130中，將第一攝像機(jī)和第二攝像機(jī)布置成彼此處于預(yù)設(shè)物理關(guān)系；在第四步驟S140中，在基本上相同時(shí)間從第一攝像機(jī)捕獲第一圖像并且從第二攝像機(jī)捕獲第二圖像；在第五步驟S150中，將場景幾何圖形映射到由第一攝像機(jī)所捕獲的第一圖像上；以及在第六步驟S160中，根據(jù)第一攝像機(jī)和第二攝像機(jī)的預(yù)設(shè)物理關(guān)系和它們的相應(yīng)視角寬度來將映射到第一圖像上的場景幾何圖形的至少一部分映射到由第二攝像機(jī)捕獲的第二圖像上。對于本領(lǐng)域的技術(shù)人員而言將顯而易見的是，與如本文所述和要求保護(hù)的設(shè)備的各種實(shí)施例的操作相對應(yīng)的上述方法的變化被考慮為在本發(fā)明的范圍內(nèi)，包括但不限于:-基于如映射到第二圖像上的場景幾何圖形來在圖形上增強(qiáng)第二圖像；以及-參考來自第一攝像機(jī)的圖像來隨著時(shí)間跟蹤由第二攝像機(jī)捕獲的場景中的特征的位置?，F(xiàn)還參照圖6，在替代性實(shí)施例中，不使用具有廣角視圖的第一攝像機(jī)，靜態(tài)相機(jī)(still camera)20A可以以第一視角寬度被布置并且可操作來捕獲靜止圖像。在這種情況下，第二攝像機(jī)IOB(在下文中，簡單地稱為“攝像機(jī)”)由此具有比該靜態(tài)相機(jī)低的分辨率。以與先前實(shí)施例類似的方式，通常，其也以比該靜態(tài)相機(jī)的視角寬度窄的第二視角寬度被布置，但這不是必要的。因此，相機(jī)的總體布置類似于先前實(shí)施例的布置，除了代替第一攝像機(jī)而使用靜態(tài)相機(jī)，并且靜態(tài)相機(jī)將具有比其余的攝像機(jī)高的分辨率。例如，典型HD攝像機(jī)以1920x1080像素或以大約2百萬像素的分辨率操作。良好質(zhì)量的數(shù)字SLR靜態(tài)相機(jī)可以以1400萬像素的分辨率來捕獲圖像，而專業(yè)的所謂的“中畫幅(medium format) ”數(shù)字靜態(tài)相機(jī)可以捕獲分辨率為大約4000萬像素的圖像并且因此具有為攝像機(jī)的大概20倍的分辨率。圖像捕獲單元6'類似于先前所描述的視頻捕獲單元6，但是可操作來從攝像機(jī)獲取視頻圖像和從靜態(tài)相機(jī)獲取靜止圖像。同時(shí)，圖像處理單元8'可操作來處理靜止圖像以及視頻圖像。稍后描述它們的功能(或附加功能，如果也可操作來連接到本文先前所述的相機(jī)布置的話)?？傮w地，它們可以被稱為圖像捕獲和處理單元。最后，提供了再次類似于先前所描述的參考信號(hào)源的參考信號(hào)源(或‘GenLock’)4。在圖6中可以看到，靜態(tài)相機(jī)和攝像機(jī)以與先前所描述的兩個(gè)攝像機(jī)類似的方式被成對地布置，彼此具有預(yù)設(shè)的物理關(guān)系。此外，提供了快門釋放控制單元12以用于初使化通過靜態(tài)相機(jī)進(jìn)行的靜止圖像的捕獲?？扉T釋放控制單元通常通過經(jīng)由有線或無線連接將適當(dāng)信號(hào)發(fā)送給相機(jī)，來控制何時(shí)釋放相機(jī)快門(即，靜態(tài)相機(jī)何時(shí)拍攝照片)?？扉T釋放控制單元包括用于例如響應(yīng)于指示場景中的突發(fā)事件的連續(xù)圖像之間的閾值改變來接收觸發(fā)輸入14的輸入端，所述觸發(fā)輸入諸如是本地或遠(yuǎn)程用戶輸入、周期性(基于定時(shí)器的)輸入和/或來自圖像處理單元8'的輸入。引起靜止照片的其它合適輸入或事件對于本領(lǐng)域技術(shù)人員而言將是顯而易見的?？扉T釋放控制單元還包括用于從參考信號(hào)源接收參考信號(hào)(GenLock信號(hào))的輸入端。響應(yīng)于接收到觸發(fā)輸入，快門釋放控制單元可操作來響應(yīng)于來自參考信號(hào)源的下一參考信號(hào)來釋放鏡頭的快門。換句話說，一旦被指示拍攝靜止照片，快門釋放控制單元就使快門釋放與下一參考信號(hào)的接收同步，并且因此也使快門可釋放與通過攝像機(jī)捕獲下一視頻圖像同步，因?yàn)閿z像機(jī)也被同步到參考信號(hào)?？蛇x地，如果在參考信號(hào)的接收與攝像機(jī)和靜態(tài)相機(jī)之一的圖片拍攝之間存在不同的相對延遲(例如，由于固定機(jī)械延遲或處理延遲而導(dǎo)致的大約幾毫秒的相對延遲)，則該對中的另一相機(jī)可以被布置成實(shí)施合適的固定延遲來適應(yīng)這種差異并且對所捕獲的圖像進(jìn)行再同步。除了參考信號(hào)之外，由時(shí)間碼生成器(未示出)生成時(shí)間碼。時(shí)間碼生成器可以為單獨(dú)的單元，或者可以被合并在例如參考信號(hào)源4、圖像捕獲單元6'或圖像處理單元8'中的任何一個(gè)內(nèi)。時(shí)間碼生成器通常針對來自參考信號(hào)生成器的每個(gè)參考信號(hào)來輸出唯一數(shù)字(例如，遞增的數(shù)字，或者實(shí)時(shí)值)，但是設(shè)想了用來在規(guī)定時(shí)刻產(chǎn)生唯一 ID的任何合適的輸出方案。例如，可以響應(yīng)于圖像捕獲單元6'的請求而輸出時(shí)間碼?？傊虼?，視頻圖像和靜止圖像由相應(yīng)相機(jī)同步生成并且被輸出到圖像捕獲和處理單元(例如，到圖像捕獲單元6')。圖像捕獲和處理單元然后可操作來將同一時(shí)間碼與響應(yīng)于同一參考信號(hào)所生成的靜止圖像和視頻圖像相關(guān)聯(lián)。可以通過將時(shí)間碼插入在形成每個(gè)圖像的一部分的元數(shù)據(jù)中或者用作存儲(chǔ)該圖像的部分的文件封裝器的數(shù)據(jù)字段中來將時(shí)間碼與兩個(gè)圖像相關(guān)聯(lián)?？商娲?，時(shí)間碼可以與標(biāo)識(shí)視頻圖像和靜止圖像的另外的唯一代碼相關(guān)聯(lián)地存儲(chǔ)在查找表中。如先前所描述的，攝像機(jī)可以輸出每個(gè)視頻幀的鏡頭數(shù)據(jù)(Iensdata)。用類似方式，靜態(tài)相機(jī)通常也輸出與被捕獲的圖像相關(guān)聯(lián)的鏡頭數(shù)據(jù)。這種數(shù)據(jù)也與相應(yīng)圖像一起存儲(chǔ)。參照圖7，結(jié)果是被存儲(chǔ)的一系列視頻圖像210和被存儲(chǔ)的一組靜止圖像(222，224，226，228)，每個(gè)圖像都包括將圖像放置在時(shí)間t位置處的時(shí)間碼，其中響應(yīng)于同一參考信號(hào)所捕獲的視頻圖像和靜止圖像具有相同的時(shí)間碼。如將從圖7中了解的，通常不存在與每個(gè)視頻圖像相關(guān)聯(lián)的靜止圖像?，F(xiàn)返回來參照圖4B，將了解的是，針對來自兩個(gè)攝像機(jī)的圖像之間的轉(zhuǎn)變描述的相同原理也可以被用來識(shí)別與具有相同時(shí)間碼的視頻圖像相對應(yīng)的靜止圖像中的第一區(qū)。也就是說，可以從視場寬度的相對差異(如從它們相應(yīng)的鏡頭數(shù)據(jù)并且也從相機(jī)的預(yù)設(shè)的彼此物理關(guān)系所確定的)、或者基于圖像之間的交叉相關(guān)性或者二者的合適組合來估計(jì)(例如，使用相對變焦和任何橫向偏移來在針對靜止圖像中的最匹配區(qū)域的交叉相關(guān)搜索中預(yù)測初始搜索位置和區(qū)大小)與該視頻圖像相對應(yīng)的靜止圖像中的第一區(qū)。再次如上文所提到的，當(dāng)生成了靜止圖像的得到的數(shù)字變焦版本時(shí)，可以針對視頻圖像與靜止圖像之間的相對光學(xué)畸變來將另外的校正因子考慮在內(nèi)，其中這些校正因子是基于攝像機(jī)的校準(zhǔn)的。如同先前的實(shí)施例，鏡頭校準(zhǔn)數(shù)據(jù)通常包括針對至少兩個(gè)視場寬度的攝像機(jī)的一個(gè)或多個(gè)光學(xué)特性的一個(gè)或多個(gè)參數(shù)描述，以使能對于不同變焦術(shù)平的內(nèi)插。圖像捕獲和處理單元(例如圖像處理單元8')可操作來實(shí)現(xiàn)上述方法，并且基于靜止圖像的第一區(qū)來生成輸出圖像。以與先前關(guān)于圖4C描述的類似方式，此輸出圖像可以為與第一區(qū)確切對應(yīng)的或構(gòu)成包含第一區(qū)的第二區(qū)的靜止圖像的數(shù)字拉近。因此，更一般地，如果輸出圖像直接構(gòu)成第一區(qū)，則輸出圖像可以是與具有相同的時(shí)間碼的視頻圖像相對應(yīng)的圖像(例如，靜止圖像的數(shù)字變焦)。替代地，以與關(guān)于圖4C先前描述的類似方式，輸出圖像可以是從靜止圖像的第一區(qū)的數(shù)字推遠(yuǎn)，以包括與視頻圖像的一部分不相對應(yīng)的靜止圖像的一個(gè)或多個(gè)另外的區(qū)(即在第一區(qū)外部的靜止圖像的各部分)。值得注意地，然而，很可能的是靜止圖像的第一區(qū)內(nèi)的圖像具有比對應(yīng)的視頻圖像更高的分辨率。例如，如果靜止圖像的總體分辨率是視頻圖像的分辨率的20倍，但是攝像機(jī)的更窄視場意味著它僅僅捕獲靜止圖像中的視圖的五分之一，則靜止圖像的對應(yīng)的第一區(qū)仍然具有四倍的視頻圖像的分辨率。因此在本圖像的實(shí)施例中，輸出圖像可以是構(gòu)成第一區(qū)內(nèi)的靜止圖像的第二區(qū)的靜止圖像的數(shù)字拉近。這些操作可以通過導(dǎo)演或編輯使用所存儲(chǔ)的圖像來行使。因此在根據(jù)本發(fā)明的實(shí)施例的系統(tǒng)的示例用途中，存儲(chǔ)在圖像捕獲和處理單元中的視頻序列被輸出(回放)直到由導(dǎo)演或編輯選擇的關(guān)鍵時(shí)間點(diǎn)為止，針對該關(guān)鍵時(shí)間點(diǎn)，還存儲(chǔ)了靜止圖像(具有相同的時(shí)間碼)。導(dǎo)演或編輯然后命令圖像捕獲和處理單元切換到靜止圖像的等效區(qū)。所得到的靜止圖像的數(shù)字變焦可以以與被再現(xiàn)的視頻圖像相同的格式和相同的幀速率被輸出多次，以使得可以獲得其中視頻在關(guān)鍵時(shí)間點(diǎn)處看來似乎為‘凍結(jié)幀’的連續(xù)視頻流。導(dǎo)演或編輯然后可以命令圖像捕獲和處理單元進(jìn)一步對靜止圖像拉近(例如對第一區(qū)內(nèi)的靜止圖像的連續(xù)更小子區(qū)進(jìn)行數(shù)字拉近)以便生成在輸出視頻流中看來似乎為經(jīng)拉近的幀凍結(jié)的圖像的多個(gè)視頻幀，和/或命令圖像捕獲和處理單元從靜止圖像的第一區(qū)推遠(yuǎn)(例如對包括靜止圖像的第一區(qū)的靜止圖像的連續(xù)更大的區(qū)進(jìn)行數(shù)字拉近)以便生成在輸出視頻流中看來似乎從幀凍結(jié)的圖像推遠(yuǎn)的多個(gè)視頻幀以展現(xiàn)更多的周圍場景。類似地，導(dǎo)演或編輯可以命令圖像捕獲和處理單元在相同水平的數(shù)字變焦的靜止圖像內(nèi)進(jìn)行搖攝(pan)，因此以與視頻序列相同的外觀視圖寬度生成了連續(xù)的視頻幀，但是其搖攝到靜止圖像的其它部分中。執(zhí)行了關(guān)鍵時(shí)刻的這樣的接近(close-1n)、搖攝或廣角覆蓋，導(dǎo)演或編輯然后就可以在下一個(gè)幀(或他們選擇的幀/時(shí)間)往回切換到所存儲(chǔ)的視頻序列。
將了解的是，存儲(chǔ)在圖像捕獲和處理單元中的視頻序列和靜止圖像可以是最近被存儲(chǔ)的；例如，大約一個(gè)視頻幀以前到數(shù)秒以前，并且因此系統(tǒng)的輸出可以是所謂的“經(jīng)緩沖的實(shí)況”輸出。在這種情況下，給圖像捕獲和處理單元的、切換到靜止圖像的導(dǎo)演或編輯的命令可以作為觸發(fā)輸入被中繼給快門釋放控制單元，使得可供潛在地位于該請求之后一個(gè)視頻幀處的視頻幀利用的同步靜止圖像被制得。在這些情況下，圖像捕獲和處理單元將繼續(xù)輸出所捕獲的視頻圖像直到在輸出序列中到達(dá)具有所請求的對應(yīng)靜止圖像的視頻幀為止，并且然后執(zhí)行切換。現(xiàn)轉(zhuǎn)向圖8，在本發(fā)明的實(shí)施例中，視頻系統(tǒng)包括上述組合了靜態(tài)相機(jī)20A和攝像機(jī)IOB的圖像處理系統(tǒng)，并且還包括以與先前所述的靜態(tài)相機(jī)20A和攝像機(jī)IOB類似的方式被布置成對的第二靜態(tài)相機(jī)20A'和第二攝像機(jī)IOB'。在此布置中，由兩臺(tái)攝像機(jī)進(jìn)行的視頻圖像捕獲的定時(shí)通常由來自參考信號(hào)源的參考信號(hào)來控制。此外，視頻系統(tǒng)包括至少一個(gè)另外的靜態(tài)相機(jī)20B、20C、20D(為了說明性目的圖8示出了三個(gè)這樣的另外的靜態(tài)相機(jī))，該至少一個(gè)另外的靜態(tài)相機(jī)20B、20C、20D也被耦接到快門釋放控制單元或者等效地耦接到接收和先前所描述的快門釋放控制單元相同的輸入的相應(yīng)快門釋放控制單元。該至少一個(gè)另外的靜態(tài)相機(jī)以基本上和兩個(gè)靜態(tài)相機(jī)/攝像機(jī)對中的靜態(tài)相機(jī)相同的第一視角寬度被布置。然后，如在圖8中所示出的，該對靜態(tài)相機(jī)和攝像機(jī)、至少一個(gè)附加靜態(tài)相機(jī)以及該對第二靜態(tài)相機(jī)和第二攝像機(jī)被以如下順序定位:該對靜態(tài)相機(jī)和攝像機(jī)、該或每個(gè)附加的靜態(tài)相機(jī)以及該對第二靜態(tài)相機(jī)和第二攝像機(jī)。通常，它們被各自定位并且定向以面向可被認(rèn)為是旋轉(zhuǎn)軸的場景中的共同點(diǎn)30。作為關(guān)于英式足球球場的非限制性示例，它們可以被定向?yàn)槌蚪麉^(qū)的中心點(diǎn)。每個(gè)靜態(tài)相機(jī)/攝像機(jī)對中的攝像機(jī)借助于參考信號(hào)(GenLock信號(hào))同步地捕獲視頻。此外，在接收到觸發(fā)輸入時(shí)，該(或每個(gè))快門釋放控制單元使每個(gè)靜態(tài)相機(jī)在下一個(gè)參考信號(hào)處拍攝照片，以使得多個(gè)照片在與來自兩個(gè)攝像機(jī)中的每個(gè)的下一個(gè)視頻幀相同的時(shí)間處被拍攝。此多個(gè)靜止圖像于是表示對于特定時(shí)刻，從第一攝像機(jī)/靜態(tài)相機(jī)對中的第一攝像機(jī)的視點(diǎn)繞到第二攝像機(jī)/靜態(tài)相機(jī)對中的第二攝像機(jī)的視點(diǎn)的離散步階中的一系列視點(diǎn)。在本發(fā)明的實(shí)施例中，圖像捕獲和處理單元可操作來在靜止圖像之間生成內(nèi)插圖像，以便以通常被稱為場景的‘子彈時(shí)間(bullet time)’視圖的效果來提供兩個(gè)攝像機(jī)視點(diǎn)之間的主觀連續(xù)轉(zhuǎn)變。存在諸如所謂的可視外殼提取(visual hull extraction)之類的用于生成場景的這樣的內(nèi)插虛擬視點(diǎn)的已知技術(shù)，所謂的可視外殼提取實(shí)際上是嘗試估計(jì)該場景的3D模型(例如作為體素(voxel)模型)并且然后使用在可用的被捕獲圖像中發(fā)現(xiàn)的顏色來從不同視點(diǎn)渲染該3D模型。替代地或此外，基于如先前描述的所存儲(chǔ)的場景的幾何圖形信息的其它技術(shù)也是可能的，使得能夠通過例如使所捕獲圖像扭曲并且根據(jù)經(jīng)修改的視點(diǎn)重新定位圖像元素(例如球場上的球員)來生成中間圖像。根據(jù)已知的視差修改技術(shù)將來自鄰近靜態(tài)相機(jī)的照片視為好像它們?yōu)榱Ⅲw對，也意指創(chuàng)建中間圖像是可能的。這些技術(shù)未在此進(jìn)一步詳細(xì)的討論。將了解的是，如果更多相機(jī)被分布在兩個(gè)靜態(tài)相機(jī)/攝像機(jī)對之間，則必須執(zhí)行更少的內(nèi)插，或者替代地可以針對成對靜態(tài)相機(jī)之間的相同數(shù)目的內(nèi)插來實(shí)現(xiàn)攝像機(jī)視點(diǎn)之間的更慢搖攝。在根據(jù)本發(fā)明的實(shí)施例的系統(tǒng)的示例用途中，來自兩個(gè)靜態(tài)相機(jī)/攝像機(jī)對中的攝像機(jī)的視頻序列被存儲(chǔ)在圖像捕獲和處理單元中。存儲(chǔ)在圖像捕獲和處理單元中的來自第一靜態(tài)相機(jī)/攝像機(jī)對(10B，20A)的視頻序列被輸出(回放)直到由導(dǎo)演或編輯選擇的關(guān)鍵時(shí)間點(diǎn)為止。針對此關(guān)鍵時(shí)間點(diǎn)，還存儲(chǔ)了來自多個(gè)靜態(tài)相機(jī)(例如，靜態(tài)相機(jī)/攝像機(jī)對中的靜態(tài)相機(jī)和至少一個(gè)附加的靜態(tài)相機(jī))的多個(gè)靜止圖像(具有相同的時(shí)間碼)。導(dǎo)演或編輯然后命令圖像捕獲和處理單元開始‘子彈時(shí)間’搖攝通過靜止圖像。圖像捕獲和處理單元切換到如先前描述的第一靜止圖像的等效區(qū)，并且然后進(jìn)行輸出一系列圖像，該一系列圖像包括位于來自每個(gè)靜態(tài)相機(jī)的靜止圖像的連續(xù)對應(yīng)區(qū)之間的一個(gè)或多個(gè)內(nèi)插圖像。每個(gè)靜止圖像中的對應(yīng)區(qū)可以根據(jù)每個(gè)靜態(tài)相機(jī)相對于第一靜態(tài)相機(jī)的相對物理位置和方向的知識(shí)來計(jì)算。來自第二靜態(tài)相機(jī)/攝像機(jī)對中的靜態(tài)相機(jī)IOB'的靜止圖像的對應(yīng)區(qū)與來自第二靜態(tài)相機(jī)/攝像機(jī)對中的攝像機(jī)20A'的視圖相對應(yīng)，從而能夠切換到在關(guān)鍵時(shí)間點(diǎn)上或者之后開始的、來自該攝像機(jī)的視頻序列。得到的輸出是來自第一視點(diǎn)的視頻，該第一視點(diǎn)然后在繼續(xù)來自第二視點(diǎn)的報(bào)道之前(可選地)，在固定時(shí)刻期間轉(zhuǎn)向到該第二視點(diǎn)?？梢粤私獾氖?，這將提供引人注目的方式來回顧比賽中的關(guān)鍵時(shí)刻，如選手進(jìn)球時(shí)。將進(jìn)一步了解的是，雖然圖像內(nèi)插提供了在攝像機(jī)之間的轉(zhuǎn)變期間生成更多中間視點(diǎn)的手段，但是替換地，可以使用更多的靜態(tài)相機(jī)，或者可以非?？焖俚剡M(jìn)行轉(zhuǎn)變。因此，在這樣的轉(zhuǎn)變期間可以不需要內(nèi)插。因此，更一般地，在本發(fā)明的實(shí)施例中，視頻系統(tǒng)可操作來從(第一對中)的第一攝像機(jī)生成一系列視頻圖像，基于與來自攝像機(jī)的該一系列視頻圖像中的最后的視頻圖像相對應(yīng)的、來自靜態(tài)相機(jī)和攝像機(jī)對中的靜態(tài)相機(jī)的靜止圖像來生成輸出圖像，基于來自該靜態(tài)相機(jī)或每個(gè)附加靜態(tài)相機(jī)的靜止圖像生成輸出圖像，基于來自(第二靜態(tài)相機(jī)和第二攝像機(jī)對中的)第二靜態(tài)相機(jī)的、與來自第二攝像機(jī)的一系列視頻圖像中的第一視頻圖像相對應(yīng)的靜止圖像來產(chǎn)生輸出圖像，并且然后從第二攝像機(jī)生成一系視頻圖像。如需要，可以執(zhí)行靜止圖像之間的內(nèi)插?，F(xiàn)參照圖9，一種圖像處理的方法包括:在第一步驟s210中，以第一視角寬度來布置可操作來捕獲靜止圖像的靜態(tài)相機(jī)；在第二步驟s220中，以比靜態(tài)相機(jī)的視角寬度窄的第二視角寬度來布置具有比靜態(tài)相機(jī)更低的分辨率并且可操作來捕獲視頻圖像的攝像機(jī)；在第三步驟s230，將靜態(tài)相機(jī)和攝像機(jī)布置為彼此具有預(yù)設(shè)物理關(guān)系的對；在第四步驟s240中，響應(yīng)于參考信號(hào)控制由攝像機(jī)進(jìn)行的視頻圖像捕獲的定時(shí)；在第五步驟s250中，響應(yīng)于下一個(gè)參考信號(hào)來釋放靜態(tài)相機(jī)的鏡頭快門以遵從快門釋放命令；在第六步驟s260中，從靜態(tài)相機(jī)和攝像機(jī)接收圖像；以及在第七步驟s270中，將相同的時(shí)間碼與響應(yīng)于同一參考信號(hào)所生成的靜止圖像和視頻圖像相關(guān)聯(lián)。
對本領(lǐng)域的技術(shù)人員而言將顯而易見的是，與如此處描述的和要求保護(hù)的設(shè)備的各種實(shí)施例的操作相對應(yīng)的上述方法中的變化被認(rèn)為在本發(fā)明的范圍內(nèi)，包括但不限于:-估計(jì)與具有相同時(shí)間碼的視頻圖像的至少一部分相對應(yīng)的靜止圖像的第一區(qū)；以及基于靜止圖像的第一區(qū)生成輸出圖像，輸出圖像例如是與具有相同的時(shí)間碼的視頻圖像相對應(yīng)的靜止圖像、對靜止圖像的第一區(qū)的數(shù)字拉近，或從靜止圖像的第一區(qū)的數(shù)字推遠(yuǎn)以包括與視頻圖像的一部分不相對應(yīng)的靜止圖像的一個(gè)或多個(gè)另外的區(qū)；以及-將類似的第二攝像機(jī)和靜態(tài)相機(jī)對定位成與該攝像機(jī)和靜態(tài)相機(jī)對分開；將一個(gè)或多個(gè)附加的靜態(tài)相機(jī)定位在攝像機(jī)和靜態(tài)相機(jī)對之間；存儲(chǔ)來自攝像機(jī)的視頻和來自靜態(tài)相機(jī)的靜止圖像，所述靜止圖像與來自兩個(gè)攝像機(jī)中的每一個(gè)的視頻的單個(gè)幀共享相同的第一時(shí)間戳；以及生成輸出圖像序列，其包括在與第一時(shí)間戳相關(guān)聯(lián)的幀處結(jié)束或剛好在該幀之前結(jié)束的、來自靜態(tài)相機(jī)和攝像機(jī)對中的攝像機(jī)的一系列視頻幀，然后包括基于來自與第一時(shí)間戳相關(guān)聯(lián)的所述或每個(gè)附加的靜態(tài)相機(jī)的所述或每個(gè)靜止圖像的一個(gè)或多個(gè)輸出圖像，然后是在與述第一時(shí)間戳相關(guān)聯(lián)的幀處開始或剛好在該幀之后開始的來自第二靜態(tài)相機(jī)和攝像機(jī)對中的攝像機(jī)的一系列視頻幀。最后，將了解的是，此處所公開的方法可以在常規(guī)硬件上執(zhí)行，該常規(guī)硬件適當(dāng)?shù)乇贿m配為通過軟件指令或者通過包括或替換專用硬件而被應(yīng)用。因此，對常規(guī)等效設(shè)備的現(xiàn)有部分的所要求的適配可以被實(shí)現(xiàn)為非暫時(shí)計(jì)算機(jī)程序產(chǎn)品或類似的制造物的形式，包括存儲(chǔ)在諸如軟盤、光盤、硬盤、PROM、RAM、閃速存儲(chǔ)器或這些的任何組合或可以被認(rèn)為是利用程序被有形地編碼的非暫時(shí)機(jī)器可讀信號(hào)承載介質(zhì)的其它儲(chǔ)存介質(zhì)之類的數(shù)據(jù)載體上的處理器可實(shí)現(xiàn)指令，或者類似地，可以在硬件上被實(shí)現(xiàn)為ASIC(專用集成電路)或FPGA(現(xiàn)場可編程門陣列)或適于用在適配常規(guī)等效設(shè)備中的其它可配置電路?？商娲?，程序可以在諸如以太網(wǎng)、無線網(wǎng)絡(luò)、因特網(wǎng)、或其它網(wǎng)絡(luò)的這些的任何組合之類的網(wǎng)絡(luò)上經(jīng)由數(shù)據(jù)信號(hào)來傳送。
權(quán)利要求
1.一種圖像處理系統(tǒng),包括: 靜態(tài)相機(jī)，以第一視角寬度被布置，并且可操作來捕獲靜止圖像； 攝像機(jī)，具有比所述靜態(tài)相機(jī)低的分辨率，并且可操作來捕獲視頻圖像； 快門釋放控制單元，用于初始化通過所述靜態(tài)相機(jī)進(jìn)行的靜止圖像的捕獲； 參考信號(hào)源，可操作來發(fā)送用于控制由所述攝像機(jī)進(jìn)行的視頻圖像捕獲的定時(shí)的參考信號(hào)；以及 圖像捕獲和處理單元，可操作來接收由所述靜態(tài)相機(jī)和所述攝像機(jī)捕獲的圖像；并且其中 所述靜態(tài)相機(jī)和所述攝像機(jī)被布置成彼此具有預(yù)設(shè)物理關(guān)系的對； 當(dāng)接收到觸發(fā)輸入時(shí)，所述快門釋放控制單元可操作來響應(yīng)于來自所述參考信號(hào)源的下一個(gè)參考信號(hào)釋放所述靜態(tài)相機(jī)的快門；并且 所述圖像捕獲和處理單元可操作來將同一時(shí)間碼與響應(yīng)于同一參考信號(hào)生成的靜止圖像和視頻圖像相關(guān)聯(lián)。
2.根據(jù)權(quán)利要求1所述的圖像處理系統(tǒng)，其中，所述靜態(tài)相機(jī)與所述攝像機(jī)之間的所述預(yù)設(shè)物理關(guān)系將它們定位為對齊而沒有橫向光學(xué)位移。
3.根據(jù)權(quán)利要求2所述的圖像處理系統(tǒng)，其中，所述靜態(tài)相機(jī)和所述攝像機(jī)被正交地定位并且在光學(xué)上與被定位在它們之間的雙向鏡的任一側(cè)上的同一點(diǎn)對準(zhǔn)。
4.根據(jù)權(quán)利要求1所述的圖像處理系統(tǒng)，其中，所述攝像機(jī)以比所述靜態(tài)相機(jī)的視角寬度窄的第二視角寬度被布置，所述圖像處理系統(tǒng)包括: 圖像處理單元，可操作來估計(jì)與具有所述同一時(shí)間碼的所述視頻圖像的至少一部分相對應(yīng)的所述靜止圖像的第一區(qū)，并且可操作來基于所述靜止圖像的所述第一區(qū)生成輸出圖像。
5.根據(jù)權(quán)利要求4所述的圖像處理系統(tǒng)，其中，所述輸出圖像是與具有所述相同時(shí)間碼的所述視頻圖像相對應(yīng)的靜止圖像。
6.根據(jù)權(quán)利要求4所述的圖像處理系統(tǒng)，其中，所述輸出圖像是對所述靜止圖像的所述第一區(qū)的數(shù)字拉近。
7.根據(jù)權(quán)利要求4所述的圖像處理系統(tǒng)，其中，所述輸出圖像是對所述靜止圖像的所述第一區(qū)的數(shù)字推遠(yuǎn)，以包括進(jìn)與所述視頻圖像的一部分不相對應(yīng)的所述靜止圖像的一個(gè)或多個(gè)另外的區(qū)。
8.根據(jù)權(quán)利要求4所述的圖像處理系統(tǒng)，其中，所述圖像處理單元可操作來在利用來生成所述輸出圖像之前，針對所述視頻圖像與所述靜止圖像之間的相對光學(xué)畸變來校正所述靜止圖像的全部或一部分。
9.根據(jù)權(quán)利要求8所述的圖像處理系統(tǒng)，其中，所述圖像處理單元可操作來參考用于所述攝像機(jī)的鏡頭校準(zhǔn)數(shù)據(jù)來校正所述靜止圖像的全部或一部分，所述鏡頭校準(zhǔn)數(shù)據(jù)包括針對至少兩個(gè)視場寬度的所述攝像機(jī)的一個(gè)或多個(gè)光學(xué)特性的一個(gè)或多個(gè)參數(shù)描述。
10.一種視頻系統(tǒng),包括: 根據(jù)在前權(quán)利要求中任一項(xiàng)所述的圖像處理系統(tǒng)； 第二靜態(tài)相機(jī)和第二攝像機(jī)，以彼此的預(yù)設(shè)物理關(guān)系被布置成對，所述第二靜態(tài)相機(jī)基本上以所述第一視角寬度被布置并且可操作來捕獲靜止圖像，并且所述第二攝像機(jī)具有比所述靜態(tài)相機(jī)低的分辨率，并且以比所述靜態(tài)相機(jī)的視角寬度窄的第二視角寬度被布置，并且可操作來捕獲視頻圖像；以及 至少一個(gè)附加的靜態(tài)相機(jī)，基本上以所述第一視角寬度被布置，并且可操作來捕獲靜止圖像；并且其中 所述靜態(tài)相機(jī)和所述攝像機(jī)的對、所述至少一個(gè)附加的靜態(tài)相機(jī)、以及所述第二靜態(tài)相機(jī)和所述第二攝像機(jī)的對以如下順序被定位:所述靜態(tài)相機(jī)和所述攝像機(jī)的對、所述至少一個(gè)附加的靜態(tài)相機(jī)或每個(gè)附加的靜態(tài)相機(jī)、以及所述第二靜態(tài)相機(jī)和所述第二攝像機(jī)的對。
11.根據(jù)權(quán)利要求10所述的視頻系統(tǒng)，其中 由兩個(gè)攝像機(jī)進(jìn)行的視頻圖像捕獲的定時(shí)通過來自所述參考信號(hào)源的參考信號(hào)來控制； 所述靜態(tài)相機(jī)中的每一個(gè)進(jìn)行的靜止圖像的捕獲由快門釋放控制單元來初始化；并且所述視頻系統(tǒng)可操作來:從所述攝像機(jī)生成一系列視頻圖像，基于與來自所述攝像機(jī)的所述一系列視頻圖像中的最后的視頻圖像相對應(yīng)的、來自所述靜態(tài)相機(jī)和攝像機(jī)對中的所述靜態(tài)相機(jī)的所述靜止圖像來生成輸出圖像，基于來自所述或每個(gè)附加的靜態(tài)相機(jī)的靜止圖像生成輸出圖像，基于與來自所述第二攝像機(jī)的一系列視頻圖像中的第一視頻圖像相對應(yīng)的、來自所述第二靜態(tài)相機(jī)和第二攝像機(jī)對中的所述第二靜態(tài)相機(jī)的所述靜止圖像來生成輸出圖像，并且從所述第二攝像機(jī)生成一系視頻圖像。
12.—種圖像處理的方法，包括以下步驟: 以第一視角寬度來布置可操作來捕獲靜止圖像的靜態(tài)相機(jī)； 以比所述靜態(tài)相機(jī)的視角寬度窄的第二視角寬度來布置具有比所述靜態(tài)相機(jī)低的分辨率并且可操作來捕獲視頻圖像的攝像機(jī)； 將所述靜態(tài)相機(jī)和所述攝像機(jī)布置為彼此具有預(yù)設(shè)物理關(guān)系的對； 響應(yīng)于參考信號(hào)來控制由所述攝像機(jī)進(jìn)行的視頻圖像捕獲的定時(shí)； 響應(yīng)于下一參考信號(hào)釋放所述靜態(tài)相機(jī)的鏡頭快門以遵從快門釋放命令； 從所述靜態(tài)相機(jī)和所述攝像機(jī)接收圖像；以及 將同一時(shí)間碼與響應(yīng)于同一參考信號(hào)生成的靜止圖像和視頻圖像相關(guān)聯(lián)。
13.根據(jù)權(quán)利要求12所述的圖像處理的方法，包括以下步驟: 估計(jì)與具有所述同一時(shí)間碼的視頻圖像的至少一部分相對應(yīng)的靜止圖像中的第一區(qū)；以及 基于所述靜止圖像的所述第一區(qū)生成輸出圖像，所述輸出圖像為選自包括以下內(nèi)容的列表中的一個(gè): 1.與具有所述同一時(shí)間碼的所述視頻圖像相對應(yīng)的靜止圖像； .對所述靜止圖像的所述第一區(qū)的數(shù)字拉近；以及 ii1.從所述靜止圖像的所述第一區(qū)的數(shù)字推遠(yuǎn)，以包括與所述視頻圖像 的一部分不相對應(yīng)的所述靜止圖像的一個(gè)或多個(gè)另外的區(qū)。
14.根據(jù)權(quán)利要求12所述的圖像處理的方法，包括以下步驟: 將類似的第二攝像機(jī)和靜態(tài)相機(jī)對定位成與所述攝像機(jī)和靜態(tài)相機(jī)對分開； 將一個(gè)或多個(gè)附加的靜態(tài)相機(jī)定位在所述攝像機(jī)與靜態(tài)相機(jī)對之間；記錄來自攝像機(jī)的視頻和來自靜態(tài)相機(jī)的靜止圖像，所述靜止圖像與來自兩個(gè)攝像機(jī)中的每一個(gè)的視頻的單個(gè)幀共享相同的第一時(shí)間戳；以及 生成輸出圖像序列，該輸出圖像序列包括在與所述第一時(shí)間戳相關(guān)聯(lián)的所述幀處結(jié)束或剛好在該幀之前結(jié)束的來自所述靜態(tài)相機(jī)和攝像機(jī)對中的所述攝像機(jī)的一系列視頻幀，然后包括基于來自與所述第一時(shí)間戳相關(guān)聯(lián)的所述或每個(gè)附加的靜態(tài)相機(jī)的所述或每個(gè)靜止圖像的一個(gè)或多個(gè)輸出圖像，然后包括在與所述第一時(shí)間戳相關(guān)聯(lián)的所述幀處開始或剛好在該幀之后開始的來自所述第二靜態(tài)相機(jī)和攝像機(jī)對中的所述攝像機(jī)的一系列視頻幀。
15.一種非暫時(shí)計(jì)算機(jī)程序產(chǎn)品，包括用于實(shí)現(xiàn)權(quán)利要求12至14中的任一項(xiàng)所述的步驟的計(jì)算機(jī)可實(shí)現(xiàn) 指令。
全文摘要
本發(fā)明涉及圖像處理系統(tǒng)和方法。圖像處理系統(tǒng)包括靜態(tài)相機(jī)，以第一視角寬度被布置，并可捕獲靜止圖像；攝像機(jī)，具有比靜態(tài)相機(jī)低的分辨率，以比靜態(tài)相機(jī)窄的第二視角寬度被布置，并可捕獲視頻圖像；快門釋放控制單元，初始化靜態(tài)相機(jī)的靜止圖像的捕獲；參考信號(hào)源，發(fā)送用于控制由攝像機(jī)進(jìn)行的視頻圖像捕獲的定時(shí)的參考信號(hào)；以及圖像捕獲和處理單元，接收由靜態(tài)相機(jī)和攝像機(jī)捕獲的圖像，其中靜態(tài)相機(jī)和攝像機(jī)被布置成彼此具有預(yù)設(shè)物理關(guān)系的對；當(dāng)接收到觸發(fā)輸入時(shí)，快門釋放控制單元響應(yīng)于來自參考信號(hào)源的下一個(gè)參考信號(hào)釋放靜態(tài)相機(jī)的快門；并且圖像捕獲和處理單元將同一時(shí)間碼與響應(yīng)于同一參考信號(hào)生成的靜止圖像和視頻圖像相關(guān)聯(lián)。
文檔編號(hào)H04N5/232GK103179339SQ201210510198
公開日2013年6月26日 申請日期2012年12月3日 優(yōu)先權(quán)日2011年12月1日
發(fā)明者邁克爾·約翰·威廉姆斯 申請人:索尼公司