專利名稱：具有超半球視野的光電系統(tǒng)的制作方法
具有超半球視野的光電系統(tǒng)本發(fā)明的領(lǐng)域為用于車輛保護(hù)的觀測與監(jiān)視領(lǐng)域，車輛護(hù)航領(lǐng)域，平臺(陸地、海洋或空中)領(lǐng)域，或地點(Site)領(lǐng)域。通常由平臺上的觀測者或船員來確保該觀測或監(jiān)視；其可以選擇性地受到遠(yuǎn)程控制。在用于確保該監(jiān)視任務(wù)的現(xiàn)有設(shè)備中可以引用以下的設(shè)備，其使用:-穿過主戰(zhàn)坦克中的裝甲、壁和保護(hù)裝置的反射幻燈機(jī)(印iscope)或潛望鏡(periscope)的環(huán)(couronne),或者-安裝在可操縱底座上的照相機(jī)，其能夠相對于兩個軸PTZ(代表代表云臺全方位(上下、左右)移動及鏡頭變倍、變焦控制(Pan Tilt Zoom)的首字母縮略表示)型定向，使其不能夠即時覆蓋整個全景，或者-幾個覆蓋全景的分布式照相機(jī)的網(wǎng)絡(luò)，使得管理視頻流網(wǎng)絡(luò)成為必要，或者-線性陣列型傳感器，在鏡頭的焦點處，在赤道平面中例如以I到IOHz的碼率(cadence)整體掃描360。場景。這些光電型的裝置傳遞被選擇性處理然后在屏幕上顯示的信號。這些裝置是十分不充足的:-因為他們不能夠使其對可展 現(xiàn)許多死角的整體環(huán)境具有完整感知；這例如對于在城市環(huán)境中行駛并且其還能夠在多個方向中調(diào)動、具有可能源自多個方向的威脅的車輛是重要的，-或者因為相對于與必須能夠辨別待檢測目標(biāo)、事件或威脅的范圍有關(guān)的待檢測目標(biāo)、事件或威脅的角度大小，分辨率是非常不足的。這確實需要: >識別范圍達(dá)150m，識別可能以槍榴彈發(fā)射器(或RPG，代表火箭推進(jìn)榴彈的首字母縮略表示)進(jìn)行威脅，或者占據(jù)城市環(huán)境的建筑屋頂上的位置的狙擊手， 識別在地面上移動的車輛，識別半徑在500m的范圍內(nèi)；在城市環(huán)境中難以超越，在開放環(huán)境中在1500m距離處的檢測是可能的，+識別位于地面上的目標(biāo)，比如地雷(或IED，代表簡易爆炸設(shè)備的首字母縮略表示):具有幾十厘米或幾十米的大小、位于幾十米以外的目標(biāo)必須能夠被檢測到，以便決定在移動中避免它們，-或者因為更新碼率十分不足以替代與人類能力接近的感知，也就是說具有對環(huán)境的實時連續(xù)感知，以及對其與車輛移動速度有關(guān)的演變的實時連續(xù)感知，以及對可由船員做出的反應(yīng)決定的實時連續(xù)感知。例如，存在依靠使用與CCD照相機(jī)關(guān)聯(lián)的鏡頭的設(shè)備，其以I到IOHz的碼率360°掃描赤道平面，并且限制在大約二十度的角度高度中:這些設(shè)備依靠小矩陣(2兆象素或更小)以便與高清視頻碼率(HD25到50Hz)兼容，或者依靠大于2兆象素卻限制碼率(大約I到IOHz)的大矩陣，或依靠掃描360。且同樣限制到I到IOHz的掃描頻率的線性陣列。最終，所有這些先前裝置限制于白天工作，在可見光域或近紅外域中靈敏，或者可以提供熱紅外型的夜視能力，其不足以辨別威脅，并且由日間圖像傳遞，相比于由可見光或近紅外照相機(jī)提供的圖像該日間圖像不容易被使用。因此，迄今為止保留對于一個系統(tǒng)的需求，該系統(tǒng)在視野、分辨率、觀測性能、碼率以及日/夜視覺領(lǐng)域方面同時滿足所有上述要求。更確切地說，本發(fā)明的主題是具有場景的超半球視野的視頻光電系統(tǒng)，其包括具有超半球鏡頭的傳感器，以及位于鏡頭的焦平面中的矩陣檢測器陣列，所獲取圖像的處理單元，以及用于所處理圖像的顯示裝置。其主要特征在于:-矩陣檢測器具有視頻碼率，并且包括:1.LxC象素陣列，其中L>2000且02000，每個象素采用相關(guān)雙采樣，并且能夠確保電荷-電壓轉(zhuǎn)換，以及i1.2C個平行放置的模擬-數(shù)字轉(zhuǎn)換元件，每個轉(zhuǎn)換元件分別包括第一 ADC和第二ADC，其中所述第一 ADC具有低水平和高增益的輸出，所述第二 ADC具有高水平和低增益的輸出，-在于超半球鏡頭表現(xiàn)出被控制為仰角的函數(shù)的焦距f，所述焦距在赤道平面中最長，并且具有位于0.9和1.6之間的數(shù)值孔徑f/D，D為所述鏡頭的直徑，-通過曝光時間和/或應(yīng)用到信號的增益的控制，用于將所獲取圖像的動態(tài)范圍與場景的動態(tài)范圍相適應(yīng)的裝置，-并且在于處理單元包括:1.通過適應(yīng)于溫度的函數(shù)和檢測器的曝光時間的函數(shù)的指令表格，用于校正所述檢測器的非均勻性的裝置，i1.多個鄰近象素的加權(quán)積累的裝置，ii1.用于將所獲取圖像的動態(tài)范圍與場景的動態(tài)范圍相適應(yīng)的裝置，用于補(bǔ)償作為所述檢測器的隨機(jī)噪點的函數(shù)的所感測圖像的動態(tài)范圍，隨著場景的照明增加的裝置，用于通過圖像的高空間頻率的復(fù)原和低空間頻率的補(bǔ)償，將所述所感測圖像的動態(tài)范圍與顯示屏幕的動態(tài)范圍和/或眼睛的動態(tài)范圍相適應(yīng)的裝置。根據(jù)本發(fā)明的特征，其包括用于定義鏡頭的焦距的裝置，以及用于校正作為被觀測場景的部分的函數(shù)的失真的裝置。傳感器確保半球或更大的覆蓋，并且具有與潛在威脅的尺寸與位置相適應(yīng)的分辨率。多兆象素傳感器能夠在視頻碼率或更高碼率處被讀取，并且具有能夠從日間照明水平調(diào)整到夜間照明水平的靈敏水平，同時與場景中的光照源的存在相容。后一方面的優(yōu)勢在于在城市區(qū)域中使用。分布在傳感器中以及在計算機(jī)中的一組處理功能使其能夠在屏幕上或者在具有與使用者的任務(wù)相適應(yīng)的嵌入物的MMI (人機(jī)界面)的屏幕上傳遞圖像。本發(fā)明的主題還在于能夠移動的平臺，其設(shè)置有具有如所述的超半球視野的視頻光電系統(tǒng)。因此本發(fā)明使得使用者對其外部環(huán)境實時感知的同時保持在平臺內(nèi)，而不需要他到外面去。特別是在軍事環(huán)境或危險環(huán)境中，系統(tǒng)幫助保護(hù)船員。其確實能夠提供使用者在視頻碼率處的全部實時的日間和夜間視覺，并且具有這些與其距離以及與其在全景中的潛在位置有關(guān)的威脅的角度大小相適應(yīng)的分辨率。通過閱讀通過非限定實例并且參考

圖1所給出的下述詳細(xì)說明，，本發(fā)明的其他特征和優(yōu)點將是顯而易見的，圖1示意地表示了根據(jù)本發(fā)明的示例性系統(tǒng)。在圖1中所顯示的根據(jù)本發(fā)明的系統(tǒng)100包括傳感器10、計算機(jī)20、為使用者準(zhǔn)備的麗I界面30 (比如圖像顯示設(shè)備)以及麗I界面40 (比如由系統(tǒng)的特定功能的使用者控制的設(shè)備)。此外，該系統(tǒng)能夠接收源于平臺或在平臺上集成的其他裝備50的信息，比如其移動速度的測量、其在地圖上的位置以及方向的測量(例如通過GPS系統(tǒng)傳送)，或者對給出士兵或例如其他友好移動平臺的位置的信息的接收。其安裝在平臺上，比如陸地車輛。傳感器10包括鏡頭和檢測器。具有在視野中可變的分辨率的極大光圈鏡頭覆蓋大于半球的角域，其軸定向為朝向頂點。而且，鏡頭能夠表現(xiàn)很大的失真，以便在特定角域中(例如在赤道平面上)提供提高的分辨率以增大其范圍。例如該鏡頭為以下類型:-具有4.5mm焦距和12象素每度的魚眼；I或2個鏡頭足夠覆蓋360°的范圍(champ)，-具有8mm焦距和21象素每度、120°的魚眼；需要3個鏡頭以覆蓋360°的范圍，-具有極大失真或為Panomorph 型的鏡頭，使其能夠覆蓋360°的范圍，具有根據(jù)仰角變化的徑向分辨率，該鏡頭的徑向分辨率可以從20象素每度到22象素每度或更大(I個這樣的鏡頭足夠)；該鏡頭的垂直定向使其能夠具有隨著仰角減少而增大并且更有利于負(fù)仰的切向分辨率。Panomorph 鏡頭為由Immervision公司開發(fā)且在專利FR2826221和FR2827680中描述的廣角失真鏡頭，其控制失真并且產(chǎn)生覆蓋至少360度乘以180度的視野范圍的放大圖像。由檢測器上的該鏡頭(如所指示的適于我們的需要)形成的圖像的幾何學(xué)顯示了在支座(gisement)中或在赤道平面上、升高220°中或在子午面上的360°覆蓋范圍。在子午面上220°的角覆蓋范圍可以不同于方位角的功能，以便優(yōu)化在車輛上的安裝并且增加覆蓋范圍(例如在其處車輛能夠前進(jìn)或調(diào)動的前端以及3/4左后和右后)。這個超半球鏡頭表現(xiàn)出定義為仰角的函數(shù)的可變焦距f，該焦距在赤道面上最長，并且具有位于0.9和1.6之間的數(shù)值孔徑f/D，D為鏡頭的直徑。檢測器以視頻碼率(25到50Hz)或更大，在可見光或者近紅外線處日日夜夜地工作，并且包括至少5兆象素。例如其包括2560行(L) X2160列(C)的象素。此外，CMOS型的檢測器允許讀取和顯示的模式，并且控制適合于進(jìn)一步將看到的條件的曝光時間。最后該類型的檢測器能夠直接地傳送數(shù)字信號。位于焦平面上的檢測器通常為CMOS 4T (像素中具有4個晶體管)或更多矩陣，其以25Hz工作，具有低噪點(小于2電子)以及大動態(tài)范圍(大于80dB)。每個象素采用相關(guān)雙采樣，并且在每個象素中執(zhí)行電荷-電壓轉(zhuǎn)換，從而保證檢測器具有極低噪點水平以及大瞬時動態(tài)范圍。此外，曝光時間(或積分時間)的控制(例如從小于10 μ s的持續(xù)時間到40ms的持續(xù)時間)使其日日夜夜工作。在夜間環(huán)境下，以極低水平，其能夠增加曝光時間(例如至100ms)并且能夠降低圖像碼率(例如至10Hz)，以便提高復(fù)原圖像的SNR (信噪比)。檢測器工作在近IR中(650nm -1 μ m)，其對于夜視優(yōu)選為可見域，以便使用光子通量以及該頻帶的更大反射率的對比度。例如矩陣的每列關(guān)聯(lián)于兩個相同的平行放置的ADC，一個具有低增益高光照水平的輸入，使其能夠編碼象素的飽和水平(例如35000電子)，另一個憑借增益具有高增益低光照水平的輸入(編碼具有量子化水的光電子，其在N比特的動態(tài)范圍上小于噪點或小于I電子)。這兩個增益優(yōu)選地可控制:這使其能夠保證信號的編碼，對于各個光照水平每列的象素的輸出沒有損失。除了檢測器的這個瞬時動態(tài)范圍和這個輸出增益的動態(tài)擺動，存在一個可控的曝光時間的動態(tài)擺動，使其通過降低碼率至IOHz能夠在10μ s和40ms或甚至IOOms之間改變曝光時間。并行推出的曝光時間水平、低增益水平和高增益水平的實時命令通過控制這些水平的MMI40得到，或者通過由照相機(jī)中的處理器保證的自動控制功能得至IJ。操作者通過控制屏幕上復(fù)原圖像的亮度和對比度的兩個光標(biāo)以下述方式進(jìn)行調(diào)節(jié):-通過切換到手動模式，照相機(jī)保持由自動控制模式所生成的最新的設(shè)置，-或者操作者選擇以將照相機(jī)初始化至其“默認(rèn)”狀態(tài)，其中照相機(jī)設(shè)置為10μs的最小曝光時間和低增益。如果操作者注意到其不能夠識別圖像的暗區(qū)中的信號，那么其通過偏移控制為信號設(shè)置更高的量度控制。如果該信號在圖像的有效亮區(qū)中不飽和，那么其將設(shè)置更高的對比度控制。該對比度控制作用于:通過在40ms的限制內(nèi)增加曝光時間而作用于曝光時間的控制，然后作用于所采用的增益。在極高增益處(對于極低照明的情況)，如果他注意到圖像的暗區(qū)中的過度噪點，那么他仍然能夠?qū)⑵毓鈺r間增加超過40ms并且確定鄰近象素2x2的積累(或“面元”)模式，然后確定為4x4。優(yōu)選地，該積累或“面元”能夠通過每個象素的噪點水平來加權(quán)。如果必要他將重新調(diào)整亮度水平以便調(diào)整圖像的暗區(qū)至剛好在屏幕的黑色之上的水平。因此其能夠工作在每秒25個圖像的高生產(chǎn)率處，S卩，大約138兆象素每秒，并且不降低圖像的動態(tài)范圍中的SNR。系統(tǒng)100保證下面的功能:-通過在傳感器10中集成的FPGA或DSP或在計算機(jī)20的水平處執(zhí)行檢測器的非均勻性的實時校正。其至少執(zhí)行利用作為檢測器的溫度和曝光時間的函數(shù)的校正表格的偏移的減法、暗電流的減法，以及保證象素的響應(yīng)的非均勻校正的均勻亮度場或平臺場的除法。另外，計算機(jī)將能夠考慮到每個象素的響應(yīng)的非線性和每個象素的臨時噪點水平的非均勻性，以便提高圖像中的全局信噪比從而復(fù)原。-通過自動地或由操作者手動下令地控制檢測器的照相機(jī)的電子執(zhí)行圖像碼率控制，以便從25到IOOHz改變碼率。在每日移動的情況下或者如果允許較低的照明水平，該模式可能十分有用，以便增強(qiáng)圖像的流動性并且減少延遲時間，-用于積累鄰近象素的信號S的加權(quán)“面元”模式(例如與每個象素的噪點的倒數(shù)(I/噪點)加權(quán)并且通過乘以噪點的總和)。該加權(quán)“面元”模式可以是例如2x2、3x3或4x4象素。-由于在12比特上的線性輸出，在檢測器的16比特上的線性輸出相對于場景的動態(tài)范圍以及相對于傳感器的動態(tài)范圍是不足夠的；在2111比特上的數(shù)字化在傳感器的模擬性能的界限處，并且在用于校正非均勻性的操作的細(xì)度中。象素能夠具有小于I電子的RMS (代表均方根的首字母縮略表示)噪點水平。0.5電子的均方根噪點已經(jīng)針對每間隔編碼為0.6電子的數(shù)字信號在最小噪點象素上測量，并且較低噪點水平不可置疑地能夠獲得。事實上最弱信號可以具有全暗中在O處的信號，并且在象素上為I個光電子；因此小于I電子或?qū)嶋H上小于RMS噪點水平的編碼間隔對于信號處理是值得的，以便限制通過數(shù)字編碼所得到的噪點。該RMS量化噪點等于量化間隔除以V 12。在此該量化噪點等于
0.6/ V 12=0.17，其相對于0.5電子的RMS噪點實際上很小。象素可以具有大于35000電子的飽和水平。因此，在65536水平或16比特上的線性編碼接近我們的需要。通過具有兩個不同輸入增益的較小動態(tài)范圍的兩個轉(zhuǎn)換器的編碼可以更好地適應(yīng)(以兩個斜率編碼)。因此，11位的低增益編碼將在17個電子的間隔中的從17到35000個電子編碼為2048水平的高水平。高增益編碼將從適應(yīng)黑暗中的噪點(例如0.5電子)的最低水平編碼至大于低增益變換器的最小水平的平方的水平，即最小為292。事實上，振幅等于根據(jù)由泊松法則描述的統(tǒng)計值的N個光電子的信號的RMS噪點具有等于V N的振幅；因此在該292的水平的前面的RMS噪點變?yōu)樾∮诹炕g隔。因此，從O至1024電子的編碼能夠以在高增益輸出的11位下的0.5電子的編碼間隔來進(jìn)行。因此高增益輸出和低增益輸出之間的增益的比值為35000/1024，即34。優(yōu)選地為2x12位的轉(zhuǎn)換，以便相對于前面的分析具有一些余量，以便進(jìn)行用于校正非均勻性和非線性的算數(shù)上的操作，同時限制量化水平對生成的最終噪點的影響，并且使其能夠達(dá)到較低噪點水平以及較高的潛在地可達(dá)到飽和水平，-在用于校正非均勻性和非線性的操作之后的對用于在輸出處轉(zhuǎn)換信號的表格(所知為“查找表”)的管理，以便壓縮在場景的全部動態(tài)范圍之上通過不同法則校正的圖像水平:例如響應(yīng)于一些斜率、根響應(yīng)、對數(shù)響應(yīng)、直方圖均衡化。這使得能夠保持信號的動態(tài)范圍，同時減小以實現(xiàn)數(shù)據(jù)吞吐量(d6bit)的損失最小。-通過自動設(shè)施或通過人機(jī)界面40驅(qū)動對感興趣區(qū)域的高速讀取和顯示。這些感興趣的區(qū)域在各種方式中定義為任務(wù)、由每個人所執(zhí)行的操作以及在移動中或在固定位置上的車輛的狀態(tài)的函數(shù)。例如，飛船指揮官將監(jiān)控潛在威脅的部分，槍手將能夠使用覆蓋他的瞄準(zhǔn)方向的部分的圖像，車輛司機(jī)將能夠使用覆蓋在移動中的車輛之前的前部(或反向行駛時的船尾或具有后視功能)的圖像。當(dāng)車輛向前行駛時，基于光流分析的圖像處理軟件能夠自動地顯示飛船指揮官最新發(fā)現(xiàn)的場景的部分。當(dāng)車輛靜止時，圖像處理軟件能夠自動地檢測場景中的事件(出現(xiàn)、消失、移動檢測)，同時在顯示車輛環(huán)境的狀態(tài)屏幕上為船員產(chǎn)生警報、檢測光電以及軌跡，并且因此同時在高碼率和全分辨率處生成圖像以使得操作者分辨是否存在威脅并且進(jìn)行反應(yīng)。最后，其位于其中的車輛或網(wǎng)絡(luò)可具有能夠產(chǎn)生警報和目標(biāo)指定的其他傳感器，對于該目標(biāo)指定我們的系統(tǒng)將能夠傳遞角部分的圖像至操作者。傳感器10和計算機(jī)20保證各種類型的實時處理功能:-出現(xiàn)自檢測器的信號的低水平處理，以便處理噪點源以及在它們的較大動態(tài)范圍內(nèi)復(fù)原信號。-用于通過利用將鏡頭的焦距定義為所顯示圖像的部分的函數(shù)的的算法裝置來補(bǔ)償光學(xué)組合和檢測器的失真的處理，以便在屏幕30上傳送作為由每個圖像元素或象素實際上所覆蓋的仰角以及方位角的函數(shù)的圖像或子圖像。-與平臺的信息一致且作為環(huán)境的函數(shù)的圖像的處理，以便保證所改變的功能(比如檢測、嵌入根據(jù)平臺的參考系所顯示的圖像中的警報產(chǎn)生)。-用于使所檢測的圖像的動態(tài)范圍適應(yīng)顯示裝置和/或眼睛的動態(tài)范圍的處理，以便在這些屏幕或人機(jī)界面30上復(fù)原圖像，滿足使用者的人體工程與可操作需求。因此，例如該系統(tǒng)檢測峰值照明，或使象素飽和的過度照明，圖像中的點狀或半點狀。例如，它們白天與太陽相關(guān)聯(lián)，晚上與路燈和信號燈相關(guān)聯(lián)。這些區(qū)域在圖像上顯示為白色，并且不能用于曝光時間以及上述增益的自動控制。另外，在場景的極強(qiáng)的動態(tài)范圍的情況下，例如存在全部光照區(qū)域且同時存在在陰影中的暗區(qū)的情況下，圖像的顯示復(fù)原高空間頻率(圖像的細(xì)節(jié))以及在低空間頻率處的亮度變化的補(bǔ)償(例如通過模糊掩模技術(shù)或通過多區(qū)域標(biāo)準(zhǔn)化或通過小波濾波)。通過系統(tǒng)100進(jìn)行處理行動，并且在傳感器10、計算機(jī)20以及MMI30和40之間所分布，如下所示:-另外，傳感器的鏡頭包括隔膜、打開和關(guān)閉傳感器的隔膜(如果有)的控制，傳感器的溫度控制，鏡頭的前瞄準(zhǔn)器的除霧和除冰，用于鏡頭調(diào)焦的控制。-曝光時間的控制，-檢測器的增益的控制，-對于采用失真和車輛運(yùn)動校正的寬屏全景、雷達(dá)、放大鏡式圖像關(guān)于圖像的部分或感興趣區(qū)域的顯示的管理。例如相繼地進(jìn)行這些對于曝光時間、檢測器增益、顯示的控制。例如默認(rèn)傳感器的隔膜關(guān)閉且曝光時間和增益為最小化；然后使用圖像的直方圖，在此實例中其為黑色圖像。接下來，打開隔膜，并且在使用獲得的圖像直方圖的同時驗證其從最低水平展開至最高水平。接下來，打開隔膜，增加曝光時間:如果其不足夠(也就是說如果隔膜沒有合適的展開)，那么進(jìn)一步增加曝光時間，以及選擇性地增加增益。相反地，其能夠開始自白色的全部飽和的圖像。如上所述，其也能夠省掉隔膜，并且調(diào)整曝光時間和增益。其也能夠使用應(yīng)用于鏡頭的過濾器以使信號衰減和/或限制光譜帶。其也能夠使用通過系統(tǒng)100進(jìn)行，并且在傳感器10、計算機(jī)20以及MMI30和40之間分布的處理行動:-圖像的上下文數(shù)據(jù)的嵌入(北方、速度向量的方向、繪圖、朋友的位置、威脅的區(qū)域等等)。-圖像中事件、運(yùn)動和新奇事物的自動檢測(由場景引起)以便產(chǎn)生警報，并且將其嵌入復(fù)原圖像中。-具有失真以及車輛移動校正的窗口圖像的顯示。-實現(xiàn)具有瞄準(zhǔn)的微顯示護(hù)目鏡的透明裝甲功能，所述護(hù)目鏡綁到頭盔上，并且由綁到車輛的陸地參考系中的使用者的頭部的定位控制來控制。-在地形參考系或車輛參考系中的這些圖像的移動和失真過程中，在所獲得的地面圖像組的地形參考系中(或在3D陸地全景中)，以馬賽克形式顯示的功能。-每個使用者傳遞到剩余船員的鑲嵌物和圖像的分布，例如以使得車輛指揮官指示駕駛員應(yīng)該行進(jìn)(s' engager)的方向，或者指示槍手采用其瞄準(zhǔn)裝置監(jiān)視的區(qū)域。-在移動期間，通過自動處理檢測圖像中光流的不連續(xù)性或由操作者使用鍵盤或操縱桿，來取得圖像的最新的無掩蔽區(qū)域。-例如發(fā)送目標(biāo)指定到武器系統(tǒng)。傳感器10固定到車輛，計算機(jī)20優(yōu)選地具有用于執(zhí)行下列的裝置:-通過在慣性參考上或圖像的總體運(yùn)動的檢測上的用于圖像穩(wěn)定化的軟件，在捷聯(lián)慣性參考系(屏幕安裝在車輛上)或放大率>1的縮放環(huán)境中的圖像的穩(wěn)定化。-具有用于在固定到車輛(與車輛相同的參考系)且放大率為I的瞄準(zhǔn)屏幕上顯示圖像的有限延遲的直接輸出。-補(bǔ)償在傳感器和瞄準(zhǔn)屏幕之間的相對運(yùn)動(炮塔運(yùn)動、探針平臺等)以及處理在圖像的獲取和顯示之間的延遲的輸出。-通過安裝在頭部上并且看向船艙中的參考點、或安裝在船艙中的“頭部追蹤”設(shè)備或通過安裝在頭部上的慣性傳感器和安裝在車輛上的慣性傳感器以及在其二者之間的微分計算來補(bǔ)償相對于平臺的使用者頭部的相對運(yùn)動輸出。這提供了鞏固在移動中所獲得的地面圖像組的可能性，使得能夠使能地面或路面的可見，包括步行或在車輛下，從而給予總視覺能力。另外，在移動中，圖像中光流的不連續(xù)性的測量使其可能檢測無掩蔽區(qū)域，并且因此引起船員注意到需要被監(jiān)視的易于暴露的新的威脅的場所。圖像顯示裝置特定于系統(tǒng)，或者使用已經(jīng)存在的顯示裝置，對于該裝置在處理動作中進(jìn)行適應(yīng)性以復(fù)原可利用圖像。這些圖像顯示裝置能夠為平面屏幕(或多平面屏幕)型，可選地為觸覺、瞄準(zhǔn)屏幕型，或者為固定到頭部或捆綁到頭盔的瞄準(zhǔn)微屏幕。他們能夠集成到現(xiàn)有的觀測系統(tǒng)中，比如潛望鏡(印iscope)或坦克指揮官照相機(jī)復(fù)原裝置。這些屏幕以及所顯示的圖像滿足每個車輛和與船員任務(wù)有關(guān)的船員的特殊需求。根據(jù)本發(fā)明的系統(tǒng)能夠包括2或3個傳感器，以便管理可能的平臺的掩蔽問題，或提供立體視覺能力。根據(jù)本發(fā)明的系統(tǒng)為裝甲車的船員提供日以繼夜的實時全景視覺。其滿足對于環(huán)境的感知以及對于涉及到潛在威脅的船員的保護(hù)的多種需求。其允許下述識別:-在25m高的建筑上，直到150m的距離的狙擊手，-在500m處的坦克，-位于20m以外的地面上的30_cm目標(biāo)(地雷，ffiD)。按照優(yōu)先級:-確保船員的保護(hù)，-支持各方的合作，-收集戰(zhàn)術(shù)信息。其含有對人類的幫助以及確保下面的功能:-在移動中成像，-在靜止時自動監(jiān)視:自動處理以在移動的檢測上產(chǎn)生警報，或者優(yōu)化威脅分類，-記錄并且報告任務(wù)，-在產(chǎn)生于TIS(戰(zhàn)術(shù)信息系統(tǒng))的增強(qiáng)的實際形勢下的嵌入。事實上，車輛處于共享數(shù)字化戰(zhàn)場的信息的網(wǎng)絡(luò)中。在這一方面，其接收且調(diào)度網(wǎng)絡(luò)地理位置信息。因此大量的信息可被嵌入由我們的系統(tǒng)復(fù)原的全景圖像，比如朋友的位置和例如由網(wǎng)絡(luò)制造的威脅位置。-在非實時中或?qū)崟r中的圖像的服務(wù)器。根據(jù)本發(fā)明的系統(tǒng)的優(yōu)點如下:-日夜視覺
-對于多重威脅的保護(hù)，比如狙擊手、車輛、地雷-車輛識別范圍至500m- 5.5兆象素單檢測器系統(tǒng)-實時超半球視野-根據(jù)高度調(diào)整分辨率的全景鏡頭-易于集成到平臺上-低成本-易于使用麗I-“隱秘”靜態(tài)傳感器，由于其不具有旋轉(zhuǎn)元件，因此不能夠得知我們觀察的位置。-處理動作:LLL(代表低光照水平的首字母縮略表示)、自動檢測、平臺運(yùn)動的管理、定位前進(jìn)的無掩蔽區(qū)域。
權(quán)利要求
1.一種具有場景的超半球視野的視頻光電系統(tǒng)(100)，包括具有超半球鏡頭的傳感器(10)、以及位于鏡頭的焦平面中的矩陣檢測器陣列、用于處理感測圖像的單元(20)、用于所處理圖像的顯示裝置(30)，其特征在于: -矩陣檢測器具有視頻碼率，并且包括:xC象素，其中L>2000且02000，每個象素采用相關(guān)雙采樣，并且能夠確保電荷_電壓轉(zhuǎn)換，以及 i1.2C個平行放置的模擬-數(shù)字轉(zhuǎn)換元件(或ADC)，每個轉(zhuǎn)換元件分別包括第一 ADC和第二 ADC，其中所述 第一 ADC具有低水平和高增益的輸出，所述第二 ADC具有高水平和低增益的輸出， -在于超半球鏡頭表現(xiàn)出的焦距f被控制為仰角的函數(shù)，所述焦距在赤道平面中最長，并且具有位于0.9和1.6之間的數(shù)值孔徑f/D，D為鏡頭的直徑， -通過曝光時間和/或應(yīng)用到信號的增益的控制，用于將所感測圖像的動態(tài)范圍與場景的動態(tài)范圍相適應(yīng)的裝置， -并且在于處理單元包括:過適應(yīng)于溫度的函數(shù)和檢測器的曝光時間的函數(shù) 的校正表格，用于校正所述檢測器的非均勻性的裝置， .多個鄰近象素的加權(quán)積累的裝置， ii1.用于補(bǔ)償作為所述檢測器的隨機(jī)噪點的函數(shù)的所感測圖像的動態(tài)范圍，隨著場景的照明增加的裝置，用于通過圖像的高空間頻率的復(fù)原和低空間頻率的補(bǔ)償，將所述所感測圖像的動態(tài)范圍與顯示裝置的動態(tài)范圍和/或眼睛的動態(tài)范圍相適應(yīng)的裝置。
2.根據(jù)前述權(quán)利要求所述的具有超半球視野的視頻光電系統(tǒng)，其特征在于，傳感器的鏡頭包括隔膜，所述具有超半球視野的視頻光電系統(tǒng)包括通過隔膜的孔徑的控制將所感測圖像的動態(tài)范圍與場景的動態(tài)范圍相適應(yīng)的裝置。
3.根據(jù)前述權(quán)利要求中的一項所述的具有超半球視野的視頻光電系統(tǒng)，其特征在于，所述視頻光電系統(tǒng)包括用于定義焦距的裝置，以及用于校正鏡頭失真的裝置，所述鏡頭失真作為待顯示場景的部分的函數(shù)，作為系統(tǒng)的使用者的需求的函數(shù)，或者作為處理單元進(jìn)行的自動處理動作的函數(shù)。
4.根據(jù)前述權(quán)利要求中的一項所述的具有超半球視野的視頻光電系統(tǒng)，其特征在于，處理單元包括用于控制作為環(huán)境條件的函數(shù)的曝光時間、增益以及檢測器的圖像碼率的裝置，用于穩(wěn)定作為系統(tǒng)或顯示裝置的運(yùn)動的函數(shù)的圖像的裝置，用于檢測場景的最新無掩蔽區(qū)域、用于檢測和追蹤場景中事件或運(yùn)動、用于將來自其他界面(50)的信息嵌入到所顯示圖像中的裝置。
5.根據(jù)前述權(quán)利要求中的一項所述的具有超半球視野的視頻光電系統(tǒng)，其包括2或3個傳感器(10)。
全文摘要
本發(fā)明涉及一種視頻光電子系統(tǒng)(100)，其包括具有超半球光學(xué)單元的傳感器(10)，以及矩陣檢測器，用于處理所捕捉圖像的單元(20)和用于顯示所處理圖像的裝置(30)。矩陣檢測器以視頻幀碼率工作，并且包括i)LxC象素，其中L>2000且C>2000，每個象素為相關(guān)雙采樣象素，并且能夠提供電荷/電壓轉(zhuǎn)換；以及ii)2C個平行布置的模擬-數(shù)字轉(zhuǎn)換元件(或ADC)，每個元件包括第一ADC和第二ADC，其中所述第一ADC具有低輸出和高增益，所述第二ADC具有高輸出和低增益，其中光學(xué)單元具有基于位置角控制的焦距，所述焦距在赤道平面中最長，并且具有位于0.9和1.6之間的數(shù)字孔徑，并且處理單元包括i)用于校正非均勻性的裝置；ii)用于多個鄰近象素的加權(quán)積累的裝置；和iii)用于調(diào)整并補(bǔ)償所捕捉圖像的裝置。
文檔編號G02B13/06GK103097935SQ201180044197
公開日2013年5月8日 申請日期2011年9月12日 優(yōu)先權(quán)日2010年9月14日
發(fā)明者T·米達(dá)韋納 申請人:泰勒斯公司