專利名稱：多鏡頭陣列系統(tǒng)和方法
多鏡頭陣列系統(tǒng)和方法
DB波羅克
P-J，利爾頓
T，E-羅格斯 ON.昂德伍德
G，伊格納爾 B-S.威爾伯恩
S，K，皮塔羅
第l/23頁
優(yōu)先權(quán)
本申請(qǐng)要求在2006年2月13日提交的發(fā)明名稱為"Multi-Lens Array System and Method"的美國臨時(shí)專利申請(qǐng)系列No. 60/772670 的優(yōu)先權(quán)，該專利申請(qǐng)的公開內(nèi)容以引用的方式并入本文中。
關(guān)于聯(lián)邦資助的研究或開發(fā)的聲明
在由美國內(nèi)政部-代表國防部機(jī)構(gòu)的國家商業(yè)中心-國防先進(jìn)研 究計(jì)劃機(jī)構(gòu) (U.S. Department of the Interior-National Business Center on behalf of a Department of Defense Agency-Defense Advanced Research Projects Agency)授予的 DARPA合同 No. NBCHC050090下通過政府支持提出本發(fā)明。政府在本發(fā)明中擁有某 些權(quán)利。
背景技術(shù)：
在攝影之初就存在各種形式的圖像捕獲系統(tǒng)。 一種類型的圖像捕 獲系統(tǒng)包括用于捕獲幾個(gè)圖像的照相機(jī)的陣列，這幾個(gè)圖像被拼接在 一起以形成單一的單式圖像或復(fù)合圖像。雖然已提出和使用各種用于
5捕獲圖像的方法和裝置，但可以相信，在本發(fā)明人之前沒有人提出或 使用在所附的權(quán)利要求中描述的發(fā)明。


雖然本說明書以特別指出本發(fā)明并明確對(duì)其要求權(quán)利的權(quán)利要求 作為綜述，但可以相信，從結(jié)合附圖給出的某些例子的以下描述，將 更好地理解本發(fā)明，在這些附圖中，相同的附圖標(biāo)記表示相同的元件， 并且，
圖1示出示例性圖像捕獲和傳輸系統(tǒng)；
圖2示出用于照相機(jī)的陣列的示例性支座的透視圖3示出沿線3-3切取的圖2的支座的剖視圖4示出具有多個(gè)安裝到其上面的照相機(jī)的圖2的支座的透視圖5示出沿線5-5切取的圖4的支座的剖視圖6示出適于將照相機(jī)固定到圖2的支座上的示例性套圏的透視
圖7示出圖6的套圈的剖視圖8示出被固定到機(jī)身上的圖2的支座的剖視圖9示出示例性鏡頭組件的分解圖io示出圖9的鏡頭組件的剖視圖11示出穿過圖9的鏡頭組件的透鏡元件的光；
圖12示出穿過適用于圖9的鏡頭組件中的示例性的可替代透鏡元 件的光；
圖13示出被安裝到圖2的支座上的圖9的鏡頭組件的部分剖視
圖14示出示例性圖像處理方法中的各操作的流程圖。
具體實(shí)施例方式
本發(fā)明的某些例子的以下描述不應(yīng)被用于限制本發(fā)明的范圍。從 作為解釋為為實(shí)施本發(fā)明構(gòu)想的最佳方式中的一種的以下描述，本發(fā)明的其它的例子、特征、方面、實(shí)施例和優(yōu)點(diǎn)將對(duì)于本領(lǐng)域技術(shù)人員 來說變得明顯?？梢哉J(rèn)識(shí)到，本發(fā)明能夠有其它不同和明顯的方面， 所有這些方面均不背離本發(fā)明。因此，附圖和描述在本質(zhì)上應(yīng)被視為 是解釋性的而不是限制性的。
如圖1所示并且如下面更詳細(xì)地描述的那樣，本例子的圖像捕獲
系統(tǒng)使用用于在圖像捕獲系統(tǒng)的視場(chǎng)內(nèi)捕獲人(12)、設(shè)施、城市或 其它地方或事物的高空廣角視頻圖像的飛機(jī)(10)。捕獲的圖像的至 少一部分大致實(shí)時(shí)地被傳輸?shù)降孛嬲?14)。雖然沒有示出，但可以
設(shè)置多個(gè)地面站(14)，使得至少一個(gè)地面站(14)用作其它的地面 站(14)和飛機(jī)(10)之間的中繼站。
雖然圖1所示的飛機(jī)(10)是無人駕駛飛機(jī)，但可以理解，可以 使用任何其它類型的飛機(jī)(10)，包括但不限于有人駕駛飛機(jī)、直升 機(jī)、飛艇、氣球或其它類型的航空器。還應(yīng)理解，可以在包括但不限 于陸地車輛、船只等的任何其它類型的運(yùn)栽工具中使用圖像捕獲系統(tǒng)。 作為替代方案，圖像捕獲系統(tǒng)可被固定到諸如塔、建筑物等的處于固 定位置的結(jié)構(gòu)上。圖像捕獲系統(tǒng)還可包括飛機(jī)或其它運(yùn)載工具中的圖 像捕獲部分和被固定到固定位置上的圖像捕獲部分的組合。雖然這里 的幾個(gè)例子考慮圖像捕獲系統(tǒng)為垂直取向使得其視野一般向下，但可 以理解，這里描述的圖像捕獲系統(tǒng)也可以為水平取向或被設(shè)置為任何 其它的適當(dāng)?shù)娜∠??？稍O(shè)置和使用圖像捕獲系統(tǒng)的其它方式對(duì)于本領(lǐng) 域技術(shù)人員來說是明顯的。
如圖2 5所示，本例子的圖像捕獲系統(tǒng)包含照相機(jī)支座(20)或 光具座。照相機(jī)支座(20)可包含丙烯酸、聚碳酸酯或任何其它的塑 料、鋁或任何其它的金屬或包含它們的組合的任何其它的(一種或多 種)材料。如圖所示，照相機(jī)支座(20)具有圓頂狀凸出部分(2" 和限定照相機(jī)支座(20)的圓周并沿徑向向外延伸的唇狀部(24)。 作為替代方案，唇狀部(24)可具有任何適當(dāng)?shù)慕嵌然蚱渌呐渲谩?僅僅舉例來說，唇狀部(24 )可具有約46英寸 48英寸(包括兩個(gè)端 值)的內(nèi)徑和約48英寸 50英寸(包括兩個(gè)端值)的外徑。作為替代方案，可以使用任何其它的內(nèi)徑或外徑。
凸出部分(22)具有外表面(26)和內(nèi)表面(28)、以及穿過該 凸出部分形成的多個(gè)開口 (30)。在本例子中，凸出部分(22)具有 271個(gè)開口 (30)，每個(gè)開口 (30)被配置為接收照相機(jī)(40)。但 是，可以理解，可以使用任意適當(dāng)?shù)臄?shù)量的開口 (30)，該數(shù)量包括 但不限于小于100、大于100、大于200、大于300或任何其它的適當(dāng) 的數(shù)量。雖然可以使用任何其它的直徑，但本例子的各開口 (30)具 有約38mm的直徑。僅僅舉例來i兌，凸出部分(22)可具有約24英 寸 26英寸(包括兩個(gè)端值)的內(nèi)側(cè)曲率半徑和約24.125英寸~26.125 英寸(包括兩個(gè)端值)的外側(cè)曲率半徑。本例子的凸出部分(22)具 有約24英寸的內(nèi)側(cè)曲率半徑和約24.125英寸的外側(cè)曲率半徑。作為 替代方案，可以使用任何其它的內(nèi)側(cè)或外側(cè)曲率半徑。在另一實(shí)施例 中，凸出部分(22)具有雙曲線或拋物線曲率。其它適當(dāng)?shù)呐渲脤?duì)于 本領(lǐng)域技術(shù)人員來說是顯而易見的。
在另一實(shí)施例中，照相機(jī)支座(20)—般為平的。在本實(shí)施例中， 各照相機(jī)(40)可瞄準(zhǔn)共同的幻影點(diǎn)或者可另外取向。換句話說，在 照相機(jī)支座(20) —般平坦的情況下，照相機(jī)(40)的視線仍然可以 按與這里就彎曲照相機(jī)支座(20)描述的方式類似的方式相交，并且 這些視線可具有與這里就彎曲照相機(jī)支座描迷的相對(duì)角度關(guān)系類似的 相對(duì)角度關(guān)系。在另一實(shí)施例中，以各種尺寸設(shè)置照相機(jī)(40)。例 如，可以在相對(duì)較小的照相機(jī)(40)的陣列的中心處設(shè)置相對(duì)較大的 照相機(jī)(40)。類似地，可以設(shè)置具有不同的光學(xué)性能或其它不同性 能的幾個(gè)照相機(jī)(40)。因此，應(yīng)當(dāng)理解，安裝到照相機(jī)支座(20) 上的所有的照相機(jī)(40)不必一定是相同的。
本例子的各照相機(jī)(40 )包含將在下面詳細(xì)描迷的傳感器部分(42 ) 和鏡頭部分(44)。照相機(jī)(40)位于照相;f幾支座(20)的凸出部分
(22)上，使得各鏡頭部分(44)沿徑向向內(nèi)取向。因此，應(yīng)當(dāng)理解， 在多個(gè)照相機(jī)(40)被固定到照相機(jī)支座(20)上的情況下，照相機(jī)
(40 )的鏡頭部分(44 )將具有相交的視線。本例子的各鏡頭部分(44 )通過相應(yīng)的套圏(50)被固定到凸出部分(22)上，在圖6和圖7中 示出該套圈(50)的例子。如圖所示，各套圏(50)具有側(cè)壁(52)、 內(nèi)凹進(jìn)部分(54)和外凹進(jìn)部分(56)。各側(cè)壁(52)具有穿過該側(cè) 壁形成的多個(gè)螺紋開口 (64)。內(nèi)凹進(jìn)部分(54)具有沿徑向向內(nèi)延 伸的內(nèi)肩部(58)，而外凹進(jìn)部分(56)具有沿徑向向外延伸的外肩 部(60)。如圖所示，套圏(50)包含限定截頭圓錐體孔徑的斜角部 分(62)。斜角部分(62)與內(nèi)肩部(58)相鄰，并相對(duì)于內(nèi)肩部(58) 限定的約60。的角度。當(dāng)然，可以使用任何其它適當(dāng)?shù)娜∠蚧蚺渲谩?br> 在另一實(shí)施例中，與照相機(jī)(40)組合使用搖攝-傾斜-變焦 (pan-Uk-zoom ) ( PTZ )照相機(jī)(未示出)。這種PTZ照相機(jī)可被 安裝到與照相機(jī)(40)相同的平臺(tái)上。另外，或者，在替代方案中， PTZ照相機(jī)可位于其它位置。作為另一變例，與照相機(jī)組合使用諸如 在美國公開No. 2006/0028550中描述的發(fā)明名稱為"Surveillance System and Method"的照相機(jī)系統(tǒng)之類的照相機(jī)系統(tǒng)，該文獻(xiàn)的公開 內(nèi)容以引用的方式并入本文中。如同上述的PTZ照相機(jī)一樣，這種照 相機(jī)系統(tǒng)可一般與照相機(jī)(40)協(xié)同定位并且/或者可位于別處?？蛇m 于與照相機(jī)(40)組合的其它的照相機(jī)或照相機(jī)系統(tǒng)對(duì)于本領(lǐng)域才支術(shù)
人員來說是顯而易見的。
在本例子中，通過將各套圏(50)的外凹進(jìn)部分(56)插入各開 口 (30)中，將套圏(50)固定到照相機(jī)支座(20)上，使得外肩部
(60)與凸出部分(22)的外表面(26)相鄰。應(yīng)當(dāng)理解，可以重復(fù) 這一點(diǎn)，直到每個(gè)開口 (30)具有插入其中的相應(yīng)的套圈(50)。在 一個(gè)實(shí)施例中，使用粘合劑或環(huán)氧樹脂將套圏(50)固定到凸出部分
(22)上。在另一實(shí)施例中，外凹進(jìn)部分(56)和開口 (30)是帶螺 紋的，使得套圏(50)可被擰入開口 (30)中?？蓪⑻讎?50)固定 到照相機(jī)支座(20)上的其它方式對(duì)于本領(lǐng)域技術(shù)人員來說是顯而易 見的，這些方式包括但不限于焊接、過盈配合或任何其它的技術(shù)。作 為替代方案，照相機(jī)支座(20)可被構(gòu)建為使得與照相機(jī)支座(20) 一體化地形成套圏(50)或與其類似的結(jié)構(gòu)。當(dāng)然，可以使用用于將
9照相機(jī)(40)固定到照相機(jī)支座(20)上的任何其它技術(shù)或結(jié)構(gòu)。換 句話說，諸如這里描述的那些的套圏(50)僅是可任選的。
在將套圏(50)固定到照相機(jī)支座(20)之前或之后，將鏡頭部 分(44)插入套團(tuán)(50)中并固定到其上。特別地，將鏡頭部分(44) 插入各套圏(50)中，使得鏡頭部分(44)的遠(yuǎn)端或物鏡端鄰近內(nèi)肩 部(58 )相鄰。然后，通過將定位螺釘(未示出)插入通過套團(tuán)(50 ) 的側(cè)壁(52)形成的螺紋開口 (64)中并進(jìn)行緊固，將各鏡頭部分(44) 固定到其相應(yīng)的套圏(50)上?？梢岳斫猓R頭部分(44)可以為任 何商業(yè)的現(xiàn)貨供應(yīng)(COTS)鏡頭組件，并且各照相機(jī)(40)可以為 COTS照相機(jī)。使用定位螺釘或其它的器件可允許套團(tuán)(50)容納并 固定具有各種外徑的各種類型的鏡頭部分(44 )。
作為替代方案，側(cè)壁(52)的內(nèi)側(cè)可以是帶螺紋的，使得鏡頭部 分(44)可被擰入套圏(50)中。用于將鏡頭部分(44)固定到套圏 (50 )上的其它適當(dāng)?shù)慕Y(jié)構(gòu)和技術(shù)對(duì)于本領(lǐng)域技術(shù)人員來說是顯而易 見的。作為替代方案，鏡頭部分(44)可被配置為使得與其一體化地 形成與套圏(50)類似的結(jié)構(gòu)。因此，可以理解，如這里描述的其它 部件那樣，作為與鏡頭部分(44)分開的零件的套圏(50)僅是可任 選的。
圖8示出通過夾具(70)被固定到飛機(jī)(10)的機(jī)身(80)上的 照相機(jī)支座(20)。在一個(gè)實(shí)施例中，夾具(70)包含Van Nuys， California的Pictorvision 7>司(以前為Wescam )的"Pictorvision XR，， 結(jié)構(gòu)。當(dāng)然，可以使用任何其它類型的夾具(70)。還應(yīng)理解，夾具 (70)可具有任何各種性能。例如，夾具(70)可基本上為剛性的， 使得夾具(70)防止照相機(jī)支座(20)相對(duì)于機(jī)身(80)移動(dòng)。作為 替代方案，夾具(70)可包含萬向接頭特征或類似的特征，從而允許 照相機(jī)支座(20)在一定程度上相對(duì)于機(jī)身(80)移動(dòng)。還應(yīng)理解， 夾具(70)可包含被配置為提供阻尼的襯墊、減震墊、彈性構(gòu)件等或 被配置為防止振動(dòng)從機(jī)身(80)傳到照相機(jī)支座(20)的其它特征。 用于夾具(70)的其它適當(dāng)?shù)奶卣骱团渲脤?duì)于本領(lǐng)域技術(shù)人員來說是顯而易見的。
在本例子中，在機(jī)身(80)中設(shè)置窗口 (82)，從而允許照相機(jī) (40)"看"透機(jī)身(80)。換句話說，各照相機(jī)(40)取向?yàn)槭沟?所有的照相機(jī)(40)指向由窗口 (82)提供的共用的中心孔徑。更特 別地，本例子的照相機(jī)(40)具有相交的視線。如圖8所示，最外面 的照相才幾(40)的相交的—見線形成最大的會(huì)聚角(84)。該角(84) 的頂點(diǎn)可被視為"幻影點(diǎn)"。雖然最外面的照相機(jī)(40)的視線被示 為一般在窗口 (82)上會(huì)聚，但應(yīng)理解，這些視線可在其它位置上會(huì) 聚(例如，在窗口 (82)之上、在窗口 (82)之下等)。在視線會(huì)聚 的點(diǎn)以外，視線通過可以被視為發(fā)散區(qū)域的區(qū)域發(fā)散。在本例子中， 被照相機(jī)(40)捕獲圖像的被攝體(例如，人、位置、物體、事件等) 位于該發(fā)散區(qū)域內(nèi)。換句話說，"幻影點(diǎn)"位于照相機(jī)(40)和捕獲 圖像的被攝體之間。作為替代方案，視線可在接近被攝體的位置上會(huì) 聚。作為另 一替代方案，被攝體可被定位為使得被攝體位于照相機(jī)(40 ) 和"幻影點(diǎn)"之間。
在本例子中，窗口 (82)在兩邊基本上是平的，但應(yīng)理解，窗口 (82)的任一邊或兩邊可以是彎曲的，使得窗口 (82)可作為透鏡元 件^皮設(shè)置。類似地，雖然本例子的窗口 (82)具有約202.9mm的直徑， 但應(yīng)理解，可以使用任何其它適當(dāng)?shù)闹睆交虺叽纭?br> 在一個(gè)實(shí)施例中，最大會(huì)聚角(84)為約92°。在另一實(shí)施例中， 最大會(huì)聚角(84)為約81°。當(dāng)然，可以使用任何其它適當(dāng)?shù)淖畲髸?huì) 聚角(84)。作為替代方案，可以配置或使用照相機(jī)支座UO)，使 得最外面的照相機(jī)(40)的視線不會(huì)聚。還應(yīng)理解，最大會(huì)聚角(84) 可隨照相機(jī)支座(20)的凸出部分(22)的曲率半徑和/或各種其它的 因素而變。本領(lǐng)域技術(shù)人員還將認(rèn)識(shí)到，由照相機(jī)(40)共同獲得的 視場(chǎng)可與最大會(huì)聚角(84)成比例，或者與最大會(huì)聚角(84)具有一 些其它的關(guān)系。作為替代方案，由照相機(jī)(40)共同獲得的視場(chǎng)可與 最大會(huì)聚角(84)不成比例。
應(yīng)當(dāng)理解，就照相機(jī)支座(20)被固定到移動(dòng)平臺(tái)(例如，飛機(jī)(10))上而言，由照相機(jī)(40)捕獲的圖像會(huì)具有抖動(dòng)的趨勢(shì)，或 者會(huì)另外受平臺(tái)的移動(dòng)的影響?？梢酝ㄟ^相對(duì)于平臺(tái)使照相機(jī)支座
(20)穩(wěn)定化和/或通過相對(duì)于照相機(jī)支座(20)使照相機(jī)(40)穩(wěn)定 化，應(yīng)對(duì)這種影響。例如，可以將阻尼結(jié)構(gòu)或特征加入照相機(jī)(40)、 照相機(jī)支座(20)、夾具(70)和/或其它位置中或它們之間。如上所 述，這種阻尼結(jié)構(gòu)或特征可包含任意數(shù)量的以下構(gòu)件彈簧、橡膠或 泡沫襯墊、氣動(dòng)裝置、萬向接頭等。另外，如果完全是這樣的話，那 么可以以不同的方式對(duì)圖像捕獲系統(tǒng)的不同部件進(jìn)行阻尼減振。其它 的阻尼技術(shù)以及阻尼的替代方案對(duì)于本領(lǐng)域技術(shù)人員來說是顯而易見 的。
作為替代方案，可以通過對(duì)圖像的處理應(yīng)對(duì)平臺(tái)移動(dòng)、振動(dòng)等對(duì) 由照相機(jī)(40)捕獲的圖像的影響。除了上面對(duì)于應(yīng)對(duì)類似的影響描 述的基于硬件的技術(shù)以外或作為這種技術(shù)的替代，可以執(zhí)行這種"校 正"處理。例如，如下面更詳細(xì)地描述的那樣，由照相才幾(40)捕獲 的圖像可被組合以形成集體的廣角圖像，使得由單一照相機(jī)(40)捕 獲的圖像可被視為較大圖像的"瓦片，，。如下面更詳細(xì)地描述的那樣， 可以使用鑲嵌(mosaicking)技術(shù)，以消除這種瓦片之間的移動(dòng)(例 如， 一個(gè)瓦片相對(duì)于另一瓦片的移動(dòng)或平移)；而可以使用整體移動(dòng) 估計(jì)以應(yīng)對(duì)集體的廣角圖像的移動(dòng)。換句話說，可以使用鑲嵌以應(yīng)對(duì) 照相機(jī)(40)相互之間的移動(dòng)，而可以使用整體移動(dòng)估計(jì)以應(yīng)對(duì)照相 機(jī)(40)相對(duì)于地面的集體移動(dòng)。
在圖9 11中示出示例性鏡頭組件(90)。在一個(gè)實(shí)施例中，上述 的鏡頭部分(44)包含鏡頭組件(90)。如圖所示，并且，如下面更 詳細(xì)地描述的那樣，鏡頭組件(90)包含外殼(92)或鏡頭筒、多個(gè) 透鏡元件(94、 96、 98)、蓋子(100、 102)、襯套(104、 106)和 護(hù)圏(108、 110)。周邊凸緣(120)在鏡頭組件(90)的物鏡端附近 沿徑向向外延伸。
在本例子中，鏡頭組件(90)被配置為使得前透鏡元件(94)被 定位在遠(yuǎn)端(例如，在鏡頭組件(90)的物鏡端)，后透鏡元件(卵)被定位在近端，并且中間透鏡元件(96)被定位在前透鏡元件(94) 和后透鏡元件(98)之間。應(yīng)當(dāng)理解，鏡頭部分(44)可包含出于任 何目的提供拆卸鏡頭部分(44)的選項(xiàng)的一個(gè)或更多個(gè)特征。例如， 可以在具有互補(bǔ)的(complimentary)的螺紋特征的各單獨(dú)部件中配置 鏡頭組件(90)的外殼(92)，使得可通過將這些部件相互擰開拆卸 外殼(92)?？筛淖兺鈿?92)的其它方式對(duì)于本領(lǐng)域技術(shù)人員來說 是顯而易見的。
如圖10和圖11所示，鏡頭組件(90)被配置為使得光(112)首 先穿過前透鏡元件(94)，然后穿過中間透鏡元件(96)、然后穿過 后透鏡元件(98)。這向像平面(116)提供圖像投影(114)。在本 例子中，當(dāng)鏡頭組件(90)與傳感器部分(42)耦合時(shí)，傳感器部分
(42)位于像平面(116)內(nèi)，使得圖像投影(114)被傳感器部分(42) 接收。雖然以下描述透鏡元件(94、 96、 98)的幾個(gè)示例性特征，但 應(yīng)理解，透鏡元件(94、 96、 98)可具有任何其它適當(dāng)?shù)呐渲?，并且?可以使用任意數(shù)量或類型的透鏡元件。
前透鏡元件(94)包含凸的第一表面(120)和基本上平的第二表 面(122)。雖然可以使用任何其它適當(dāng)?shù)那拾霃?，但凸的第一表?br> (120)具有約48.785mm的曲率半徑。類似地，第二表面()不 必一定是基本上平的，并且可以具有任意適當(dāng)?shù)那拾霃?。例如，?二表面(122)可以為稍凹的。在本例子中，前透鏡元件(94)包含 SCHOTTSK16玻璃。作為替代方案?？梢允褂萌魏纹渌m當(dāng)?shù)牟ＡА?中間透鏡元件(96)為雙凹的，并包含凹的第一表面(124)和凹 的第二表面(126)。凹的第一表面(124)具有約135.35mm的曲率 半徑；而凹的第二表面(126)具有約41.107mm的曲率半徑。當(dāng)然， 對(duì)于凹的第一表面(124)或凹的第二表面(126)中的任一個(gè)或兩個(gè)， 可以使用任何其它適當(dāng)?shù)那拾霃?。在本例子中，中間透鏡元件(96) 包含SCHOTT F4玻璃。作為替代方案?？梢允褂萌魏纹渌m當(dāng)?shù)牟！?br> 后透鏡元件(98 )包含凸的第一表面(128 )和凸的第二表面(130 )。
13凸的第一表面(128)具有約115.24mm的曲率半徑；而凸的第二表面 (l28 )具有約193.241mm的曲率半徑。當(dāng)然，對(duì)于凸的第一表面(128 ) 和凸的第二表面(130)中的任一個(gè)或兩個(gè)，可以使用任何其它適當(dāng)?shù)?曲率半徑。在本例子中，后透鏡元件(98)包含SCHOTTSK16玻璃。 作為替代方案?？梢允褂萌魏纹渌m當(dāng)?shù)牟ＡА?br> 圖12示出一系列的替代性透鏡元件(140、 142、 144、 i46、 148、 150)。在本例子中，第一透鏡元件(140)包含凸的第一表面(152) 和凹的第二表面(154 )。第二透鏡元件(142 )包含凸的第 一表面(156 ) 和基本上平的第二表面(158)。第三透鏡元件(144)包含凸的第一 表面(160)和基本上平的第二表面(162)。第四透鏡元件(146)包 含基本上平的第一表面(164)和凹的第二表面(166)。在本例子中， 第三和第四透鏡元件(144、 146)被定位為使得第四透鏡元件(146) 的基本上平的第一表面(164)基本上鄰近第三透鏡元件(144)的基 本上平的第二表面(162)。第五透鏡元件(148)包含基本上平的第 一表面(168)和凸的第二表面(170)。第六透鏡元件(l50)包含凸 的第一表面(172)和凹的第二表面(174)。在本例子中，第五和第 六透鏡元件(148、 150)被定位為使得第六透鏡元件(150)的凸的第 —表面(168)鄰近第五透鏡元件(148)的凸的第二表面(HO)。當(dāng) 然，透鏡元件(140、 142、 144、 146、 148、 150)的這些配置僅是示 例性的，并且，可以使用任意數(shù)量的透鏡元件或透鏡元件配置。
圖13示出如何可將鏡頭組件(90)固定到照相機(jī)支座(20)上的 例子。如圖所示，鏡頭組件(卯)的物鏡端的一部分通過穿過照相機(jī) 支座(20)被插入，使得鏡頭組件(90)的周邊凸緣(U0)鄰近照相 機(jī)支座(20)的外表面(26)。固定環(huán)(118)與鏡頭組件(卯)的物 鏡端接合，并鄰近照相機(jī)支座(20)的內(nèi)表面(28)。固定環(huán)(118) 與周邊凸緣(120)由此"夾住"照相機(jī)支座(20)，由此以夾緊的方 式將鏡頭組件(90)固定到照相機(jī)支座(20)上。用于將鏡頭組件(90) 或照相機(jī)(40)固定到照相機(jī)支座(20)上的其它適當(dāng)方法對(duì)于本領(lǐng) 域技術(shù)人員來說是顯而易見的。本例子的各照相機(jī)(40)具有以下的參數(shù)，每個(gè)參數(shù)的值僅是近 似F數(shù)為6;有效焦距為180mm;圖像距離為124mm;圖像尺寸為 2(M8x2048個(gè)像素(或24x24mm );光鐠范圍為450 700nm;長度為 200mm;視場(chǎng)為10.8°;入射光瞳直徑為30mm;場(chǎng)深度范圍為從1.5km 到無窮遠(yuǎn)；像素間距為12微米。當(dāng)然，列出的這些參數(shù)值中的每一個(gè) 僅是示例性的，并且，可以使用任何其它適當(dāng)?shù)膮?shù)值。例如，照相 機(jī)(40)可具有落入在約300 30000nm (包括兩個(gè)端值)的任何處的 光譜范圍。在一個(gè)實(shí)施例中，通過組合基本上同時(shí)用照相機(jī)(40)捕 獲的圖像形成的圖像包含約十億個(gè)像素，使得照相機(jī)(40)共同形成 單一的"千兆像素照相機(jī)"。
在本例子中，各傳感器部分(42 )包含可操作用來捕獲可見光(例 如，具有約450 700nm的波長)的傳感器元件(未示出)。各傳感器 部分(42)可包含CCD傳感器(例如，幀傳送、線間傳送(interline transfer)等)、CMOS傳感器(例如，具有電子滾動(dòng)式快門)或任 何其它類型的傳感器。雖然可以使用任何其它的傳感器，但是，僅僅 舉例來說，傳感器部分(42 )可包含Cypress Semiconductor Corporation of San Jose， California的LUPA 4000傳感器。在一個(gè)實(shí) 施例中，照相機(jī)(40)被配置為獲得單色圖像。在另一實(shí)施例中，照 相機(jī)(40)被配置為獲得多色圖像。在另一變例中，傳感器部分(42) 包含紅外成像部件，使得照相機(jī)(40)包含紅外照相機(jī)。紅外照相機(jī) (40)可包含無源的夜視部件、有源的夜視部件或它們的組合。在另 一變例中，照相機(jī)(40)可操作用來捕獲紅外和非紅外兩種圖像。
本例子的傳感器部分(42)被配置為提供全局快門。換句話說， 照相機(jī)(40)被配置為基本上同時(shí)、同步地全部捕獲圖像。應(yīng)當(dāng)理解， 可以以機(jī)械和/或電子的方式提供全局快門。例如，機(jī)械或電子全局快 門可導(dǎo)致各照相機(jī)(40)的曝光時(shí)間基本上與其它的照相機(jī)(40)同 時(shí)地開始和結(jié)束。用于實(shí)現(xiàn)全局快門的適當(dāng)?shù)募夹g(shù)對(duì)于本領(lǐng)域技術(shù)人 員來說是顯而易見的。還應(yīng)理解，全局快門不是必需的，并且，可以 使用任何適當(dāng)?shù)奶娲桨?。僅僅舉例來說，可以使用算法以將像素登記到共同的時(shí)間。如全局快門的其它替代方案那樣，實(shí)現(xiàn)這種算法的 適當(dāng)?shù)姆椒▽?duì)于本領(lǐng)域技術(shù)人員來說是顯而易見的。
可以以任何適當(dāng)?shù)姆绞綄鞲衅鞑糠?42)固定到相應(yīng)的鏡頭部 分(44)上。例如，傳感器部分(42)和鏡頭部分(44)可包含互補(bǔ) 的螺紋特征，使得傳感器部分(42)可被擰到相應(yīng)的鏡頭部分(44) 上。作為替代方案，傳感器部分(42)可被配置為扣到或鎖到相應(yīng)的 鏡頭部分(44)上。作為另一替代方案，傳感器部分(42)可諸如通 過焊接、使用粘合劑、 一體化形成或使用其它的技術(shù)永久性地與相應(yīng) 的鏡頭部分(44)耦合，而不是與鏡頭部分(44)可去除地耦合。鏡 頭部分(44)和傳感器部分(42)之間的其它適當(dāng)?shù)慕Y(jié)構(gòu)關(guān)系對(duì)于本 領(lǐng)域技術(shù)人員來說是顯而易見的。
可能希望諸如通過對(duì)準(zhǔn)所有的傳感器部分(42)使所有的傳感器 部分(42)同步(clock)。例如，可通過旋轉(zhuǎn)各傳感器部分(42)直 到各傳感器部分(42)的底部到照相機(jī)支座(20)的外表面(26)的 距離與其它的傳感器部分(42)的底部到照相機(jī)支座(20)的外表面 (26)的距離相同，使傳感器部分(42)同步。也可通過對(duì)準(zhǔn)所有的 傳感器部分(42)的各底邊使得它們平行，使傳感器部分(42)同步。 可以在鏡頭組件(90)的外殼(92)包含可擰地固定在一起的兩個(gè)部 分使得各傳感器部分(42)可被旋轉(zhuǎn)的實(shí)施例中或在任何其它適當(dāng)?shù)?實(shí)施例中完成這種同步方法。在另一實(shí)施例中，激活傳感器部分U2) 并且觀察由傳感器部分(42)捕獲的視頻。在本實(shí)施例中，可通過旋 轉(zhuǎn)傳感器部分(42)直到在來自相鄰的傳感器部分(42)的觀察中捕 獲的圖像內(nèi)的物體或特征被一致地對(duì)準(zhǔn)，執(zhí)行同步。應(yīng)當(dāng)理解，同步 可啟動(dòng)用于鑲嵌算法的搜索空間。用于使傳感器部分U2)同步或?qū)?準(zhǔn)的其它方法對(duì)于本領(lǐng)域技術(shù)人員來說是顯而易見的。
在本例子中，當(dāng)照相才幾(40)位于地面之上約7.6km或約25000 英尺時(shí)(例如，照相機(jī)(40)被安裝在飛機(jī)(10)中)，照相機(jī)(40) 可共同地觀察和捕獲約llkmxllkm的區(qū)域("足印")的圖像。照 相機(jī)(40)可被配置為使得這種圖像具有約0.5米的分辨率。僅僅舉例來說，照相機(jī)"0)可從約7.6km的高度在約llxllkm的地面足印 內(nèi)提供尺寸大于0.5米的特征的約50%的對(duì)比度。應(yīng)當(dāng)理解，如分辨 率那樣，與照相機(jī)(40)相關(guān)的地面足印的尺寸會(huì)隨照相機(jī)(40)的 高度而變。例如，在照相機(jī)(40)從7.6km的高度提供0.5m的分辨 率的一個(gè)實(shí)施例中，照相機(jī)(40 )可從18km的高度提供1.2m的分辨 率。可以使用其它適當(dāng)程度的分辨率、高度和足印大小。
示例性圖像捕獲系統(tǒng)的照相機(jī)(40)包含均具有相同的有效焦距 和入射光瞳尺寸的傳感器，由此以恒定的角速率對(duì)景物采樣。具有透 鏡的傳感器很好地校正各像素線性將平面映射到各傳感器陣列上的幾 何畸變。當(dāng)在傳感器之間具有均勻的角分辨率時(shí)，對(duì)于離相應(yīng)的傳感 器的距離恒定的平面，可以均勻地縮放通過圖像捕獲系統(tǒng)觀察的復(fù)合 景物。當(dāng)被采樣的景物到圖像捕獲系統(tǒng)有多個(gè)距離時(shí)，比例的變化與 到景物的距離的變化成比例。原則上，可能好象是用于各傳感器入射 光瞳的坐標(biāo)系統(tǒng)的原點(diǎn)共同位于共同的點(diǎn)上，并且，各光瞳面簡單地 關(guān)于該點(diǎn)旋轉(zhuǎn)以對(duì)整個(gè)圖像捕獲系統(tǒng)視場(chǎng)取樣。該量可提供使得相鄰 的傳感器對(duì)圖像捕獲系統(tǒng)視場(chǎng)的或多或少的共同體積采樣的手段。各 傳感器可對(duì)圖像捕獲系統(tǒng)視場(chǎng)釆樣，并且，各傳感器陣列的各像素可 對(duì)各傳感器樣品采樣。還能夠使得各傳感器被設(shè)計(jì)為縮放圖像捕獲系 統(tǒng)視場(chǎng)的體積，使得通過角度的反演對(duì)與圖像捕獲系統(tǒng)視軸方向垂直 的平面采樣。
就照相機(jī)(40)被用于捕獲視頻圖像而言，這種視頻可具有任意 適當(dāng)?shù)膸俾?。例如，適當(dāng)?shù)膸俾士梢源笥诨虻扔诩s5幀每秒。作 為替代方案，可以使用包括小于5幀每秒的任意其它適當(dāng)?shù)膸俾省?各照相機(jī)(40)還可以通過使用ND4中性密度濾光片用約f2.8的孔 徑以約lms的曝光時(shí)間捕獲圖像。其它適當(dāng)?shù)钠毓鈺r(shí)間、孔徑設(shè)置和 濾光片選擇對(duì)于本領(lǐng)域技術(shù)人員來說是顯而易見的。
還可能希望對(duì)于被安裝到照相機(jī)支座(20)上的照相機(jī)(40)提 供一定程度的校準(zhǔn)。這種校準(zhǔn)可被用于檢測(cè)和/或校正傳感器部分(42 ) 或鏡頭部分U4)的安裝不準(zhǔn)確度或不一致性。例如，可以提供校準(zhǔn)以有利于照相機(jī)U0)的調(diào)整，使得它們各自的視線盡可能地全部在 單一的共同點(diǎn)上相交。還可提供校準(zhǔn)以提供從各傳感器部分(42)到 其各自的第一透鏡(94)的一致距離。就出于任何原因不能理想地調(diào) 整照相機(jī)(40)而言，可以使用校準(zhǔn)以獲得要在圖像處理過程中解決 的一些校正因素。換句話說，可以在圖像處理過程中解決在校準(zhǔn)過程 中發(fā)現(xiàn)的結(jié)構(gòu)或其它不完整性，以應(yīng)對(duì)會(huì)另外由這種不完整性導(dǎo)致的 不利影響。
在一個(gè)示例性的校準(zhǔn)方法中，鏡頭部分(44)被用于將光投影到 位于照相機(jī)支座(20)后面的平面方格(checkerboard)圖案(未示 出)上。方格圖案包含多個(gè)正方形，每個(gè)正方形與各自的鏡頭部分(44) 相關(guān)。相對(duì)于照相機(jī)支座(20)調(diào)整各個(gè)鏡頭部分(44)，直到通過 鏡頭部分(44 )發(fā)射的光的中心在方格圖案中處于其相應(yīng)的正方形中。
在另一示例性校準(zhǔn)方法中，準(zhǔn)直儀(未示出)位于照相機(jī)支座(20) 的中心的下方。準(zhǔn)直儀被配置為關(guān)于兩個(gè)軸旋轉(zhuǎn)。向準(zhǔn)直儀并由準(zhǔn)直 儀提供光，并且準(zhǔn)直儀關(guān)于兩個(gè)軸旋轉(zhuǎn)，以選擇性地將光引導(dǎo)到各個(gè) 照相機(jī)(40)中。如果需要的話，相對(duì)于照相機(jī)支座(20)調(diào)整各鏡 頭部分(44)，以保證當(dāng)準(zhǔn)直^f義指向相應(yīng)的照相才幾(40)時(shí)由準(zhǔn)直儀 提供的光到達(dá)被固定到這種鏡頭部分(44)上的傳感器部分(42)。 本領(lǐng)域技術(shù)人員可以理解，以上的校準(zhǔn)結(jié)構(gòu)和方法僅是示例性的，并 且，可以使用任何其它適當(dāng)?shù)男?zhǔn)技術(shù)。
還可以使用校準(zhǔn)以解決硬件誤差或偏差(例如，透鏡元件(94、 96、 98)中的缺陷、傳感器中的缺陷等)、某些環(huán)境因素或可能希望 在圖像處理過程中考慮的其它因素。僅僅舉例來說，可以在校準(zhǔn)過程 中確定以下方面中的任一個(gè)視場(chǎng)上的幾何畸變和/或不均勻照明；陣
列中的各像素的不均勻響應(yīng)；陣列中的失靈像素；陣列中的各像素的
不均勻增益和/或偏移等?？梢栽谛?zhǔn)過程中表征并在圖像處理過程中 校正或另外應(yīng)對(duì)這些誤差或因素。
應(yīng)當(dāng)理解，可以組合由照相機(jī)(40)捕獲的圖像(例如，基本上
同時(shí)捕獲的圖像)以形成諸如廣角視頻圖像的廣角圖像。當(dāng)然，可以
18替代性地組合由照相機(jī)(40)捕獲的圖像以形成具有諸如較窄的視場(chǎng) 的任意適當(dāng)?shù)囊晥?chǎng)的圖像。還應(yīng)理解，可以交互式地處理并向用戶呈 現(xiàn)由照相機(jī)(40)捕獲的圖像。例如，重新參照?qǐng)D1，從飛機(jī)(IO) 內(nèi)捕獲的圖像可被傳送到地面站(14)或其它地方的用戶。在由照相 機(jī)(40)共同捕獲的廣角圖像的至少一部分被呈現(xiàn)給用戶的情況下， 如果該圖〗象要更詳細(xì)，見察，那么可以允許用戶選擇一部分?？梢韵蛴?戶提供"虛擬搖攝-傾斜-變焦(PTZ)照相機(jī)"，該照相機(jī)可在相 對(duì)較大的廣角圖像內(nèi)實(shí)現(xiàn)搖攝、傾斜和/或變焦、用于通過用戶界面向 用戶呈現(xiàn)該廣角圖像的選擇的部分(或其中的選擇的場(chǎng)景)。由于使 用相對(duì)高分辨率的照相機(jī)(40)的陣列以共同捕獲廣角圖像，因此， 與使用單一照相機(jī)而不是照相機(jī)(40)的陣列以捕獲相同的廣角圖像 的情況相比，這種廣角圖像的移前部分可提供更高的分辨率。
圖14示出作為用于處理由照相機(jī)(40)捕獲的圖像的方法的一部 分可被執(zhí)行的幾個(gè)操作。如框(1000)所示，由照相機(jī)(40)捕獲的 多個(gè)圖像基本上是同時(shí)的。僅對(duì)于本例子而言，這些圖像中的每一個(gè) 將被稱為"瓦片圖像，，。如框(1010)所示，各瓦片圖像然后被登記。 這種登記可包含將各圖像與捕獲圖像所使用的特定照相機(jī)(40)、捕 獲圖像的時(shí)間、由圖像提供的視場(chǎng)內(nèi)的地理位置和/或任何其它信息相 關(guān)聯(lián)。然后，如框(1020)所示，各瓦片圖像被銳化(sharpen)，這 種銳化可包含亮度校正、襯底增強(qiáng)、固定圖案噪聲去除、伽馬校正、 失靈像素檢測(cè)和內(nèi)插、白色限制(whiteclip)、去翹曲、漸暈校正和 /或任何其它適當(dāng)?shù)奶幚怼?br> 如框(1030)所示，銳化的瓦片圖像可經(jīng)受角部檢測(cè)。雖然使用 術(shù)語"角部檢測(cè)"以指示該操作，但其意圖不在于必須將操作僅限于 角部(例如，瓦片圖像的角部或瓦片圖像內(nèi)的角部)的檢測(cè)。事實(shí)上， 作為該操作的一部分，可以檢測(cè)瓦片圖像內(nèi)的任何適當(dāng)?shù)奶卣?。例如?檢測(cè)的瓦片圖像特征可包含在預(yù)定的比例上沿所有的方向具有梯度的 圖像位置。應(yīng)當(dāng)理解，角部檢測(cè)可在圖像內(nèi)提供多個(gè)基準(zhǔn)點(diǎn)，并且， 這種基準(zhǔn)點(diǎn)對(duì)于后面的處理會(huì)是有用的。
19然后，如框(1040)所示，通過使用在框(1030)中檢測(cè)的角部/ 特征檢測(cè)各瓦片圖像之間的移動(dòng)(例如，平移、仿射、投影等)。如 上所述，可以使用鑲嵌技術(shù)以消除這種瓦片圖像之間的移動(dòng)(例如， 一個(gè)瓦片圖像相對(duì)于另一瓦片圖像的移動(dòng)或平移)。在本例子中，該 操作包含比較在同 一時(shí)間捕獲的相鄰?fù)咂瑘D像內(nèi)的檢測(cè)的角部/特征 的相對(duì)位置。另外，如框(1050 )所示，可以執(zhí)行整體移動(dòng)估計(jì)和調(diào) 整。與關(guān)注相鄰?fù)咂瑘D像對(duì)的與框(1040)相關(guān)的鑲嵌形成對(duì)比，整 體移動(dòng)估計(jì)更關(guān)注這些瓦片圖像的集合。特別地，整體移動(dòng)估計(jì)可包 含在框(1040)中進(jìn)行的多個(gè)移動(dòng)或平移發(fā)現(xiàn)和/或校正的綜合比較。 這種整體移動(dòng)估計(jì)可由此被用于檢測(cè)和校正在在框(1040)中發(fā)生的 移動(dòng)檢測(cè)和校正中出現(xiàn)的任何誤差。
根據(jù)框(1040、 1050)執(zhí)行的處理可揭示，在框(1000)中捕獲 的瓦片圖像在被初始捕獲時(shí)相對(duì)于彼此略微地未對(duì)準(zhǔn)。因此，本領(lǐng)域 技術(shù)人員容易理解，通過允許在與框(1030)對(duì)應(yīng)的操作的執(zhí)行中在 多于一個(gè)的瓦片圖像中檢測(cè)共同的角部/特征，與相鄰?fù)咂瑘D像相關(guān)的 視圖中的一定程度的空間交疊會(huì)有利于根據(jù)框(l(MO)執(zhí)行的過程。 這種交疊還可減少在圖像數(shù)據(jù)中出現(xiàn)間隙的可能性。因此，在本例子 中，通過照相機(jī)(40)獲得的圖像具有一定程度的交疊。例如，由給 定的照相機(jī)(40)獲得的圖像可與由與該特定的照相機(jī)(40)相鄰的 照相機(jī)(40)獲得的圖像具有約42%或43%的交疊。作為替代方案， 可以使用任何其它適當(dāng)?shù)慕化B程度。
在通過上面參照框(1030、 1040、 1050)描述的處理確定了瓦片 圖像的適當(dāng)?shù)南鄬?duì)位置之后，本發(fā)明的處理進(jìn)入框(1060)，在該框 (1060)中，瓦片圖像被修剪、被對(duì)準(zhǔn)并被拼接在一起以形成集合圖 像。當(dāng)然，根據(jù)框(1060)產(chǎn)生的集合圖像不需要必須包括被拼接在 一起的所有圖像。例如，如在討論框(1070)之后更好地理解的那樣， 集合圖像可包含幾個(gè)瓦片圖像的部分、單一的瓦片圖像或者甚至單一 的瓦片圖像的一部分。應(yīng)當(dāng)理解，可基本上實(shí)時(shí)地執(zhí)行根據(jù)框(1060 ) 的拼接(例如，當(dāng)通過照相機(jī)(40)捕獲圖像時(shí)進(jìn)行拼接)。作為替
20代方案，可以稍后執(zhí)行拼接，諸如在將圖像存儲(chǔ)一些時(shí)間之后拼接。
還應(yīng)理解，可在拼接之前、之中或之后校正(orthorectify )瓦片圖像 (例如，使得照相機(jī)(40)的中心看起來處于無限遠(yuǎn))。就使用校正 (orthorectification )或類似的技術(shù)而言，可以通過使各瓦片圖像內(nèi)的 特征與地圖或模型上的特征相關(guān)聯(lián)執(zhí)行拼接。可以代替(或除了 )上 面參照框(1030)討論的角部檢測(cè)，使用這種相關(guān)性。其它適當(dāng)?shù)钠?接技術(shù)對(duì)于本領(lǐng)域技術(shù)人員來說是顯而易見的。
如上所述，用戶可具有可在在框(1060 )中產(chǎn)生的圖像內(nèi)實(shí)現(xiàn)搖 攝、傾斜和/或變焦的"虛擬搖攝-傾斜-變焦(PTZ)照相機(jī)"。由 此可允許用戶通過用戶界面選擇性地觀察廣角圖像的選擇的多個(gè)部分 (或其中的選擇的視圖)。因此，并且如框(1070)所示，用戶的PTZ 選擇可被接收。這種PTZ選擇可指示用戶希望的圖像區(qū)域、視圖透視 法和/或變焦水平。響應(yīng)這種PTZ選擇，如框(1080)所示，可以提 取與選擇的PTZ視圖對(duì)應(yīng)的集合圖像的區(qū)域。
就當(dāng)根據(jù)框(1000)捕獲瓦片圖像時(shí)照相機(jī)(40)位于移動(dòng)平臺(tái) (例如，飛行的飛機(jī)(10))中而言，應(yīng)當(dāng)理解，根據(jù)框(1080 )提 取的PTZ視圖會(huì)趨于隨平臺(tái)"移動(dòng)"。就不希望有這種移動(dòng)并且希望 提取的PTZ視圖看起來好象是被固定到具有固定位置的平臺(tái)上的照 相機(jī)(40)捕獲的而言，可以使用附加的處理以提供靜止或固定的透 視的外觀。因此，如框(1090)所示，可以執(zhí)行整體移動(dòng)估計(jì)和調(diào)整。 這種過程可通過基本上從提取的PTZ視圖消除這種移動(dòng)來解決平臺(tái) 的移動(dòng)。
可以以各種方式執(zhí)行整體移動(dòng)估計(jì)。例如，在一個(gè)實(shí)施例中，整 體移動(dòng)估計(jì)方法包括隨機(jī)樣品合意算法(random sample consensus algorithm) (RANSAC)。例如，可以使用RANSAC以在被照相機(jī) (40)捕獲的連續(xù)的幀或圖像之間提供單應(yīng)映射(homography mapping )。 雖然也可以在瓦片水平上執(zhí)行這一點(diǎn)(例如，通過使用 由單一的照相機(jī)(40)捕獲的圖像)，但在本例子中，在整體水平上 執(zhí)行(例如，通過使用由多個(gè)照相機(jī)(40)同時(shí)捕獲的圖像)。整體移動(dòng)估計(jì)還可至少部分地基于物理參數(shù)，諸如飛機(jī)(10)的速度和高
度，這僅僅舉例而言。用于執(zhí)行整體移動(dòng)估計(jì)的其它適當(dāng)?shù)姆椒▽?duì)于 本領(lǐng)域技術(shù)人員來說是顯而易見的。類似地，用于實(shí)現(xiàn)整體移動(dòng)調(diào)整 的適當(dāng)?shù)姆椒▽?duì)于本領(lǐng)域技術(shù)人員來說是顯而易見的。例如，用于提
取的PTZ圖像的照相機(jī)(40)源會(huì)隨平臺(tái)移動(dòng)而變化，由此在提取的 PTZ圖像中提供固定的透視的外觀。
在根據(jù)以上的示例性過程處理瓦片圖像之后，并且如框(1100) 所示，被調(diào)整的PTZ視圖可根據(jù)用戶的選擇被提供給用戶。
作為另一可任選的圖像處理操作，可以用與照相機(jī)(40)的視場(chǎng) 內(nèi)的地理區(qū)域?qū)?yīng)的地面坐標(biāo)登記由照相機(jī)(40)捕獲的圖像。這種 "地理登記"可在特定的照相機(jī)(40)的視圖或這種視圖的一部分和 地圖上的相應(yīng)位置之間提供相關(guān)性。可通過使用任何適當(dāng)?shù)募夹g(shù)獲得 地理登記信息。例如，可通過使用GPS技術(shù)或其它的技術(shù)獲得與飛機(jī) (10)的地理位置有關(guān)的信息，并且，為了至少獲得在那時(shí)被照相機(jī) (40 )觀察的地理位置的粗略的認(rèn)識(shí)，可隨著時(shí)間使其與由照相機(jī)(40 ) 捕獲的圖像相關(guān)。僅僅舉例來說，可通過解決諸如與選擇的圖像部分 以及高度信息相關(guān)的照相機(jī)UO)的視線取向的附加因素，提煉地理 登記信息的分辨率或精度。用于獲得地理登記信息的另 一技術(shù)可包括 識(shí)別在照相機(jī)(40)的視場(chǎng)內(nèi)檢測(cè)的物體(例如，使用物體識(shí)別邏輯) 并使其與諸如永久地標(biāo)等的具有已知地理位置的物體相關(guān)。用于獲得 地理登記信息的其它方法對(duì)于本領(lǐng)域技術(shù)人員來說是顯而易見的。
可以用由照相機(jī)(40)捕獲的圖像傳送地理登記信息，或者地理 登記信息是可另外基于與由照相機(jī)(40)捕獲的圖像有關(guān)的數(shù)據(jù)獲得 的。例如，可以在飛機(jī)(IO)內(nèi)、在地面站(14)上和/或其它位置執(zhí) 行地理登記。就可用圖像傳送地理登記信息而言，可以作為對(duì)于圖像 的注解提供或者可另外提供這種地理登記信息。
作為另一可任選的處理操作，可以跟蹤(自動(dòng)地)受關(guān)注的人或 物體。例如，這種跟蹤可包括自動(dòng)調(diào)整呈現(xiàn)(1100)給用戶的視圖， 使得當(dāng)人/物體移動(dòng)時(shí)受關(guān)注的人/物體的中心保持基本上處于呈現(xiàn)的視圖內(nèi)。在照相機(jī)(40)被安裝到可移動(dòng)的平臺(tái)(例如，飛機(jī)(IO)) 上的情況下，就受關(guān)注的人/物體會(huì)另外離開被安裝到平臺(tái)上的照相機(jī) (40)的集合視場(chǎng)而言，自動(dòng)跟蹤可進(jìn)一步轉(zhuǎn)變成平臺(tái)的移動(dòng)(例如， 通過自動(dòng)控制、通過向飛行員提供跟蹤導(dǎo)航信息，等等)?？梢栽谕?片圖像水平上和/或在整體融合圖像水平上出現(xiàn)跟蹤。用于實(shí)現(xiàn)跟蹤的 其它方法對(duì)于本領(lǐng)域技術(shù)人員來說是顯而易見的。
還應(yīng)理解，存在可啟動(dòng)跟蹤的幾種方式。例如，圖像處理可包含 物體識(shí)別、面部特征識(shí)別等，使得一旦識(shí)別特定的物體、人、事件等 就啟動(dòng)跟蹤。作為替代方案，作為跟蹤的變例，可以使用物體/面部/ 事件識(shí)別以檢測(cè)照相機(jī)(40)的集合視場(chǎng)內(nèi)的特定物體/人/事件，并 且可自動(dòng)提供被識(shí)別的物體/人/事件的移前(zoom-in)的視圖。還可 根據(jù)通過用戶界面提供的用戶選擇啟動(dòng)跟蹤。例如，用戶可"點(diǎn)擊" 關(guān)注的物體，或提供一些其它形式的輸入以指示關(guān)注的物體，并且被 指示的物體可因此4皮跟蹤。跟蹤的啟動(dòng)還可以是自動(dòng)和手動(dòng)的組合。 例如，識(shí)別算法可識(shí)別關(guān)注的人或物體，并用決定是否應(yīng)跟蹤人或物 體的選項(xiàng)通過用戶界面呈現(xiàn)給用戶。在本實(shí)施例中，為了確定是否批 準(zhǔn)跟蹤，用戶可移前人或物體用于進(jìn)一步的檢查。如果希望跟蹤，那 么用戶可通過用戶界面指示跟蹤，并且，人或物體可因此被跟蹤。應(yīng) 當(dāng)理解，就跟蹤是可用的而言，可以使用用于啟動(dòng)跟蹤的其它方法。
應(yīng)當(dāng)理解，以上的過程僅是示例性的，并且，可以修改、替代、 補(bǔ)充或省略這些操作中的任一個(gè)。這些操作還可被重新排序，并且， 類似地， 一個(gè)操作的輸出可作為用于前面的操作的第二迭代的輸入被 反饋。例如，在框(1060)中產(chǎn)生的集合圖像可僅包含與按照框(1070) 接收的用戶的PTZ選擇對(duì)應(yīng)的被校正和拼接的瓦片圖像。因此，應(yīng)當(dāng) 理解，可基于用戶的PTZ選擇把圖像處理設(shè)計(jì)成流線型，使得僅處理 與用戶的指示的關(guān)注區(qū)域?qū)?yīng)的圖像數(shù)據(jù)的部分。作為替代方案，諸 如出于存儲(chǔ)或其它的目的，用戶的指示的關(guān)注區(qū)域外面的瓦片圖像仍 可,皮處理。
還應(yīng)理解，可以在各種位置的硬件上執(zhí)行處理。例如，可以在基本上與照相機(jī)(40)共處于平臺(tái)上的硬件(例如，位于飛機(jī)(IO)內(nèi)) 上執(zhí)行處理，使得被調(diào)整的PTZ視圖從平臺(tái)被傳送給用戶。作為替代 方案，登記的瓦片圖像可從照相機(jī)(40)平臺(tái)被傳送給硬件執(zhí)行與框
(1020、 1030、 1040、 1050、 1060、 1070、 1080、 1090、 1100)對(duì)應(yīng) 的操作的遠(yuǎn)程位置?？稍诟鞣N位置的硬件中分配圖像處理的其它方式 對(duì)于本領(lǐng)域技術(shù)人員來說是顯而易見的。
在本例子中，用戶界面允許用戶觀察由一個(gè)或更多個(gè)照相機(jī)(40 ) 捕獲的一個(gè)或更多個(gè)圖像的至少一部分，并進(jìn)一步允許用戶提供諸如 上述的那些的PTZ選擇作為輸入。用戶界面還可包含諸如交互式地圖 的特征。就照相機(jī)(40)被固定到移動(dòng)平臺(tái)(例如，飛行的飛機(jī)(IO)) 上而言，交互式地圖可提供照相機(jī)(40)的集合視場(chǎng)內(nèi)的地理區(qū)域的 基本上實(shí)時(shí)的視覺指示。交互式地圖還可允許用戶選擇關(guān)注的地理區(qū) 域，并且，可以響應(yīng)這種選擇提供這種區(qū)域的PTZ視圖。交互式地圖 因此可提供用于如上面描迷的那樣進(jìn)行PTZ選擇的工具。就通過使用 交互式地圖指示的關(guān)注的區(qū)域當(dāng)前不在照相機(jī)(40)的視場(chǎng)內(nèi)而言， 用戶與這種地圖交互作用以指示這種關(guān)注區(qū)域可實(shí)現(xiàn)飛機(jī)(10)運(yùn)輸 到指示的關(guān)注區(qū)域處于照相機(jī)(40)的視場(chǎng)內(nèi)的位置。除了提供用于 進(jìn)行PTZ選擇的工具以外，交互式地圖由此還可提供飛機(jī)(10)(或 其它運(yùn)載工具)的遙控。交互式地圖可具有任何其它適當(dāng)?shù)奶卣鳌?br> 作為另一僅僅解釋性的例子，用戶界面可包含或共享與在發(fā)明名 稱為"Immersive Surveillance System Interface"的美國申請(qǐng)公開No. 2006/0033813中描述的用戶界面中的任一個(gè)的類似之處，該專利申請(qǐng) 以引用的方式并入本文中。例如，可以以與在該公開中描述的等矩形
(equirectangular )圖像類似的方式呈現(xiàn)這里描迷的集合圖像；使得 分別以與在該公開中描述的PTZ選擇和視圖類似的方式進(jìn)行和呈現(xiàn) 這里描述的PTZ選擇和視圖。作為替代方案，可以以任何其它適當(dāng)?shù)?方式修改在該公開中描述的用戶界面以適應(yīng)于本例子及其變例?？商?br> 理解，這里描述的圖像捕獲系統(tǒng)可與諸如在美國申請(qǐng)公開No.2006/0033813中描述的那些的圖像捕獲系統(tǒng)組合，并且，可以以各種 方式使通過這些組合的圖像捕獲系統(tǒng)提供的視圖相關(guān)聯(lián)，這種方式包 括但不限于使用在該公開中描述的相關(guān)聯(lián)方法。
本領(lǐng)域技術(shù)人員可以理解，可以以各種方式使用利用照相機(jī)支座 (20)、照相機(jī)(40)和諸如上述的圖像處理之類的圖像處理的圖像 捕獲系統(tǒng)。雖然將在后面描述幾個(gè)示例性的用途，但這些例子不應(yīng)當(dāng) 是詳盡的。事實(shí)上，各種其它的用途，包括但不限于下面描述的那些 的變體，對(duì)于本領(lǐng)域技術(shù)人員來說是顯而易見的。
一種示例性用途包含恐怖分子轟炸回掃。例如，具有照相機(jī)(40) 的照相機(jī)支座(20)可位于航空器(或其它的空運(yùn)平臺(tái))內(nèi)，使得當(dāng) 航空器在城市上空漂浮時(shí)照相機(jī)(40)持續(xù)地捕獲城市區(qū)域的圖像。 為了存儲(chǔ)和/或查看，由照相機(jī)(40)捕獲的圖像可被存儲(chǔ)在位于航空 器內(nèi)的存儲(chǔ)設(shè)備中并且/或者可被傳送到遠(yuǎn)程位置(例如，地面站 (14))。如果汽車炸彈或其它的設(shè)備爆炸，那么可查看由照相機(jī)(40) 捕獲的圖像以得到爆炸的細(xì)節(jié)。例如，用戶界面可允許用戶移前到出 現(xiàn)爆炸的圖像的區(qū)域上，然后通過視頻進(jìn)行追溯以確定爆炸的來源。 在汽車炸彈的情況下，用戶界面可允許用戶"倒回"由照相機(jī)(40)
捕獲的視頻，以確定使用的汽車的型號(hào)、在爆炸之前汽車的駕駛路線、 汽車的產(chǎn)地、駕駛員的身份等。照相機(jī)(40)和用戶界面還可被用于 評(píng)價(jià)爆炸之后的活動(dòng)。例如，由照相機(jī)(40)捕獲的視頻可被監(jiān)視以 尋找和跟蹤逃離爆炸現(xiàn)場(chǎng)的恐怖分子。就圖像捕獲系統(tǒng)還包括固定地 遍及城市區(qū)域的其它照相機(jī)(例如，PTZ照相機(jī)等)而言，可使得通 過使用照相機(jī)(40)獲得的視圖與通過這些固定的照相機(jī)獲得的視圖 相關(guān)，以提供人、位置、事件(例如，爆炸)的附加的透視或關(guān)注的 事情。可使用照相機(jī)(40)以提供與轟炸事件或類似的事件有關(guān)的信 息的方式對(duì)于本領(lǐng)域技術(shù)人員來說是顯而易見的。
照相機(jī)支座(20)上的照相機(jī)(40)的另一示例性用途包含出于 軍事偵察或類似的目的設(shè)置戰(zhàn)術(shù)"偵察衛(wèi)星(eye in the sky )，，觀察。 例如，具有照相機(jī)(40)的照相機(jī)支座(20)可位于飛機(jī)(10)內(nèi)，
25使得在飛機(jī)(10)飛越敵方領(lǐng)土或未知的領(lǐng)土?xí)r照相機(jī)(40)捕獲圖 像。由照相機(jī)(40)捕獲的圖像可基本上實(shí)時(shí)地被傳送到地面站(14) 的軍事指揮員。應(yīng)當(dāng)理解，幾個(gè)用戶(例如，在不同的位置)可同時(shí) 觀察由照相機(jī)(40)捕獲的集合圖像的相同或不同部分。飛機(jī)(10) 和照相機(jī)(40)可允許指揮員交互式地并且基本上實(shí)時(shí)地觀察例如山 上或關(guān)注的其它遠(yuǎn)程位置上的活動(dòng)或物體而不需要使用人偵察。用戶 界面可最初向用戶提供廣角圖像，然后允許用戶選擇關(guān)注的區(qū)域以得 到更近的高分辨率視圖。與關(guān)注的區(qū)域的地理位置有關(guān)的信息也可通 過用戶界面被傳送給用戶。除了允許這些用戶在廣角視頻圖像內(nèi)實(shí)現(xiàn) "虛擬搖攝-傾斜-變焦照相機(jī)"以外，用戶界面還可允許這些用戶 遙控飛機(jī)(IO)。作為替代方案，飛機(jī)(10)可自動(dòng)跟蹤移動(dòng)的人(12) 或關(guān)注的物體，以提供這些人(12)或物體的持續(xù)的高分辨率的觀察， 并且/或者提供與其有關(guān)的瞄準(zhǔn)信息。其它適當(dāng)?shù)膫刹煊猛净蝾愃频挠?途對(duì)于本領(lǐng)域技術(shù)人員來說是顯而易見的。
另一示例性用途包含邊境巡邏。在本例子中，具有照相機(jī)(40) 的照相機(jī)支座(20)可位于在邊境上空持續(xù)飛行或盤旋的飛機(jī)(10) 內(nèi)。由照相機(jī)(40)捕獲的圖像可被處理以自動(dòng)檢測(cè)越境人員(例如， 通過使用移動(dòng)檢測(cè)和/或物體識(shí)別邏輯)。在自動(dòng)地或以其它方式檢測(cè) 到越境人員時(shí)，被越境人員占據(jù)的廣角圖像的一部分可被移前，并且， 越境人員可被自動(dòng)跟蹤。就越境人員會(huì)另外離開飛機(jī)(10)內(nèi)的照相 機(jī)(40)的集合視場(chǎng)而言，這種自動(dòng)的跟蹤也可轉(zhuǎn)變成飛機(jī)(10)飛 行的控制。越境人員的圖像可連同與越境人員的地理位置有關(guān)的信息 一起被傳送到地面站(14),同時(shí)給出存在越境人員的報(bào)警。如同其 它的示例性用途一樣，在圖像捕獲系統(tǒng)還包含固定地遍及城市區(qū)域的 其它的照相機(jī)(例如，PTZ照相機(jī)等)的情況下，可使得通過使用照 相機(jī)(40)獲得的視圖與通過這些固定的照相機(jī)獲得的視圖相關(guān)，以 提供關(guān)注的人、位置或事情的附加的透視圖。作為替代方案，可以以 任何其它適當(dāng)?shù)姆绞皆谶吘逞策壴O(shè)置中使用照相機(jī)支座(20)和照相 機(jī)(40)的組合。類似的實(shí)現(xiàn)可包含視覺安全(例如，房產(chǎn)的監(jiān)視)。已示出和描述了本發(fā)明的各個(gè)實(shí)施例，在不背離本發(fā)明的范圍的 情況下，本領(lǐng)域技術(shù)人員可通過適當(dāng)?shù)男薷膶?shí)現(xiàn)這里描述的方法和系 統(tǒng)的其它適應(yīng)性的改變。已提到這些可能的修改中的幾個(gè)，其它的修 改對(duì)于本領(lǐng)域技術(shù)人員來說是顯而易見的。例如，上面討論的例子、
實(shí)施例、幾何尺寸、材料、尺度、比率和步驟等是解釋性的而不是必 需的。因此，應(yīng)鑒于以下的權(quán)利要求考慮本發(fā)明的范圍，并且不將其 理解為限于在描述書和附圖中示出和描述的結(jié)構(gòu)和操作的細(xì)節(jié)。
權(quán)利要求
1. 一種圖像捕獲系統(tǒng)，包括(a)具有彎曲部分的照相機(jī)支座，其中，照相機(jī)支座的彎曲部分具有穿過其中形成的多個(gè)孔徑，所述孔徑中的每一個(gè)被配置為與多個(gè)照相機(jī)中的一個(gè)照相機(jī)對(duì)應(yīng)，并且，彎曲部分具有凹的內(nèi)表面和凸的外表面；和(b)多個(gè)照相機(jī)，其中，所述照相機(jī)中的每一個(gè)具有物鏡端和傳感器端，所述照相機(jī)中的每一個(gè)的物鏡端被固定到照相機(jī)支座的彎曲部分上，照相機(jī)具有相交的視線，照相機(jī)的視線在相交區(qū)域以外通過發(fā)散區(qū)域發(fā)散，并且，照相機(jī)被配置為捕獲發(fā)散區(qū)域內(nèi)的一個(gè)或更多個(gè)被攝體的圖像。
2. 根據(jù)權(quán)利要求1的圖像捕獲系統(tǒng)，其中，各照相機(jī)的各物鏡端的一部分穿過照相機(jī)支座的彎曲部分。
3. 根據(jù)權(quán)利要求1的圖像捕獲系統(tǒng)，還包括多個(gè)保持環(huán)，其中， 保持環(huán)中的每一個(gè)與穿過照相機(jī)支座的彎曲部分的相應(yīng)照相機(jī)的物鏡 端的一部分耦合。
4. 根據(jù)權(quán)利要求1的圖像捕獲系統(tǒng)，還包括與照相機(jī)支座耦合的 多個(gè)套圏，其中，各套圏可操作用來相對(duì)于照相機(jī)支座固定相應(yīng)的照 相機(jī)。
5. 根據(jù)權(quán)利要求1的圖像捕獲系統(tǒng)，其中，照相機(jī)支座被固定到 平臺(tái)上，并且，平臺(tái)是可以相對(duì)于環(huán)境移動(dòng)的。
6. 根據(jù)權(quán)利要求1的圖像捕獲系統(tǒng)，其中，照相機(jī)支座被固定到 平臺(tái)上，并且，平臺(tái)包含航空運(yùn)載工具。
7. 根據(jù)權(quán)利要求6的圖像捕獲系統(tǒng)，其中，航空運(yùn)栽工具具有機(jī) 身，并且，照相機(jī)支座被固定到機(jī)身的內(nèi)部。
8. 根據(jù)權(quán)利要求7的圖像捕獲系統(tǒng)，其中，機(jī)身具有底部和設(shè)置 在底部中的窗口。
9. 根據(jù)權(quán)利要求8的圖像捕荻系統(tǒng)，其中，照相機(jī)的視線在接近窗口的共同點(diǎn)上相交。
10. 根據(jù)權(quán)利要求8的圖像捕獲系統(tǒng)，其中，照相機(jī)支座的彎曲 部分具有直徑，窗口具有直徑，并且，照相機(jī)支座的直徑比窗口的直 徑大。
11. 一種圖像捕獲系統(tǒng)，包括(a) 多個(gè)照相機(jī)，其中，每個(gè)照相機(jī)包含(i) 包含鏡筒和一個(gè)或更多個(gè)透鏡元件的鏡頭組件；和(ii) 被固定到鏡頭組件上的傳感器部分，其中，傳感器部分 可操作用來捕獲表示通過鏡頭組件獲得的視圖的圖像數(shù)據(jù)，其中，所述多個(gè)照相機(jī)取向?yàn)榫哂邢嘟坏囊暰€，并且，通過相鄰 的鏡頭組件獲得的視圖的至少一部分交疊；和(b) 與傳感器部分通信的處理器，其中，處理器被配置為由用 傳感器部分基本上同時(shí)地捕獲的圖像數(shù)據(jù)產(chǎn)生二維圖像。
12. 根據(jù)權(quán)利要求11的圖像捕獲系統(tǒng)，還包括具有彎曲部分的照 相才幾支座，其中，照相^L沿照相才幾支座的彎曲部分4皮定位。
13. 根據(jù)權(quán)利要求11的圖像捕獲系統(tǒng)，還包括相對(duì)于照相機(jī)位于 遠(yuǎn)程位置上的顯示器，其中，顯示器與處理器通信，并且，顯示器可 操作用來顯示所產(chǎn)生的二維圖像的至少一部分。
14. 根據(jù)權(quán)利要求11的圖像捕獲系統(tǒng)，其中，照相機(jī)中的每一個(gè) 與快門相關(guān)聯(lián)。
15. 根據(jù)權(quán)利要求14的圖像捕獲系統(tǒng)，其中，快門包含與對(duì)應(yīng)于 相應(yīng)的照相機(jī)的各傳感器部分通信的控制邏輯。
16. 根據(jù)權(quán)利要求15的圖像捕獲系統(tǒng)，其中，快門包含與傳感器 部分通信的整體快門，并且，所述多個(gè)照相機(jī)可操作用來根據(jù)整體快 門同時(shí)捕獲圖像。
17. —種提供圖像的方法，該方法包括(a)提供多個(gè)照相機(jī)，其中，所述多個(gè)照相機(jī)被定位為具有相交 的視線，所述照相機(jī)中的每一個(gè)具有各自的鏡頭，并且，各視線在共 同的交點(diǎn)上相交；(b)用所述多個(gè)照相機(jī)捕獲多個(gè)圖像，其中，捕獲的圖像表示 被攝體的視圖，共同的交點(diǎn)位于所述多個(gè)照相機(jī)和被攝體之間，并且，這些圖像基本上同時(shí)地被捕獲；(c )將所述多個(gè)圖像的至少一部分拼接在一起以形成集合圖像， 其中，該集合圖像包含由所述多個(gè)照相機(jī)基本上同時(shí)地捕獲的圖像中 的至少部分；和(d)在視覺顯示器上呈現(xiàn)集合圖像的至少一部分。
18. 根據(jù)權(quán)利要求17的方法，其中，呈現(xiàn)的集合圖像的所述至少 一部分與通過所述照相機(jī)中的至少兩個(gè)獲得的視圖對(duì)應(yīng)。
19. 根據(jù)權(quán)利要求17的方法，還包括接收指示關(guān)注的圖像區(qū)域的 用戶輸入，其中，呈現(xiàn)的集合圖像的至少一部分與指示的關(guān)注的圖像 區(qū)域?qū)?yīng)。
20. 根據(jù)權(quán)利要求19的方法，其中，拼接的操作包括僅拼接與指 示的關(guān)注的圖像區(qū)域?qū)?yīng)的那些圖像。
全文摘要
一種圖像捕獲系統(tǒng)包括多個(gè)照相機(jī)、和照相機(jī)支座。照相機(jī)支座具有彎曲部分，并且，多個(gè)照相機(jī)被固定到彎曲部分上。照相機(jī)相對(duì)于照相機(jī)支座的彎曲部分沿徑向向內(nèi)取向，使得各照相機(jī)的視線相交。用多個(gè)照相機(jī)基本上同時(shí)地捕獲圖像。捕獲的圖像被拼接在一起以形成集合圖像。圖像捕獲系統(tǒng)可位于航空運(yùn)載工具中以提供高空環(huán)境觀察，并且，捕獲的圖像可被傳送到遠(yuǎn)程位置，用于基本上實(shí)時(shí)地觀察。遠(yuǎn)程用戶可指示集合圖像內(nèi)的關(guān)注的區(qū)域，并且，圖像捕獲系統(tǒng)可根據(jù)用戶的指示呈現(xiàn)集合圖像的一部分。
文檔編號(hào)G03B37/04GK101473267SQ200780012738
公開日2009年7月1日 申請(qǐng)日期2007年2月13日 優(yōu)先權(quán)日2006年2月13日
發(fā)明者B·S·威爾伯恩, C·N·昂德伍德, D·B·波羅克, G·伊格納爾, P·J·利爾頓, S·K·皮塔羅, T·E·羅格斯 申請(qǐng)人:索尼株式會(huì)社;亞拉巴馬大學(xué)