可佩戴的成像裝置、系統(tǒng)和方法
【專利摘要】根據(jù)一個實施方式，提供具有熱成像能力的可佩戴系統(tǒng)，用于探測周圍環(huán)境中任何動物的存在與位置。可佩戴系統(tǒng)包括可佩戴結(jié)構(gòu)，諸如具有固定在可佩戴結(jié)構(gòu)的多個成像模塊的頭盔。成像模塊包括一個或多個成像元件，諸如紅外成像模塊和可見光相機(jī)。使用紅外成像模塊采集的熱圖像可以用于探測熱圖像中存在的人?？膳宕鞒上裣到y(tǒng)包括一個或多個警示元件，當(dāng)人被探測到位于熱圖像中是警示佩戴者。警示元件可以用于產(chǎn)生特別位置警示，向佩戴者警示被探測人的位置?？膳宕鞯某上裣到y(tǒng)可以是多方向威脅監(jiān)視頭盔。
【專利說明】可佩戴的成像裝置、系統(tǒng)和方法
[0001]相關(guān)申請的交叉引用
[0002]該申請要求2013年10月3日提交的名稱為“可佩戴的成像裝置、系統(tǒng)和方法”的U.S.臨時專利申請N0.61/886，543的權(quán)益，在此通過參考將它的全部并入本文。

【技術(shù)領(lǐng)域】
[0003]本發(fā)明的一個或多個實施例通常涉及熱成像裝置，且尤其涉及例如可佩戴的熱成像裝置。

【背景技術(shù)】
[0004]熱成像系統(tǒng)通常用于探測不同位置的目標(biāo)。例如，執(zhí)法人員，國防人員，安全保障系統(tǒng)，游戲獵手，有時會利用熱成像系統(tǒng)來探測系統(tǒng)所處周圍環(huán)境的人或動物的存在。
[0005]然而，在傳統(tǒng)系統(tǒng)中，熱成像系統(tǒng)的用戶一般必須已經(jīng)知曉被探測目標(biāo)的位置，被探測的目標(biāo)必須在固定成像系統(tǒng)前移動，或者必須在一定位置內(nèi)掃描以定位目標(biāo)。此外，這些系統(tǒng)一般是能檢測不變位置的固定系統(tǒng)或是需要用戶用手來把持和操作的手持系統(tǒng)。
[0006]固定系統(tǒng)的能力限于探測圍繞移動用戶存在的目標(biāo)。在系統(tǒng)操作者需要空出手做其他事和/或需要持續(xù)監(jiān)測用戶周圍廣泛角度范圍的時候，手持系統(tǒng)是不實用的。
[0007]因此需要提供改進(jìn)的熱成像系統(tǒng)。


【發(fā)明內(nèi)容】

[0008]公開多個可佩戴的成像系統(tǒng)的實施方式。可佩戴的成像系統(tǒng)可以是可佩戴的熱成像系統(tǒng)和/或可佩戴的成像裝置，例如具有多個紅外成像模塊的可佩戴的多傳感器陣列，每個具有包括一部分場景的視野。紅外成像模塊可以安裝在可佩戴結(jié)構(gòu)，例如頭盔結(jié)構(gòu)上。可佩戴結(jié)構(gòu)可以用能在受到?jīng)_擊時保護(hù)佩戴人員的堅硬材料制備。可佩戴結(jié)構(gòu)可以部分或完全被有圖案的材料例如著色圖案或圖案織物來覆蓋。
[0009]可佩戴的成像裝置可以包括包圍可佩戴結(jié)構(gòu)一部分的外殼結(jié)構(gòu)。外殼結(jié)構(gòu)可以是能從可佩戴結(jié)構(gòu)上被除下來的可拆卸結(jié)構(gòu)或可以與外殼結(jié)構(gòu)一體成型。
[0010]可佩戴的成像裝置可以包括一個或多個警示元件。每個警示元件與一個或多個紅外成像模塊相關(guān)。例如，每個紅外成像模塊可以包括安裝在紅外成像模塊旁的可佩戴結(jié)構(gòu)上的警示元件。警示元件可以是觸覺元件，諸如壓電元件，聲音元件，諸如揚(yáng)聲器，發(fā)光元件，諸如發(fā)光二極管，或顯示器，熱產(chǎn)生元件，諸如發(fā)熱元件，或其他用于給佩戴者產(chǎn)生警示的元件。
[0011]利用紅外成像模塊采集的熱圖像可以經(jīng)處理來成探測諸如人或動物的目標(biāo)。多傳感器陣列可以包括處理熱圖像和探測目標(biāo)的處理器。當(dāng)探測到目標(biāo)時，處理器操作警示元件來警告佩戴者目標(biāo)被探測到。處理器可以操作位于采集物體圖像的紅外成像模塊旁的警示元件。這樣，警示元件可以用于警示佩戴者目標(biāo)的存在與目標(biāo)的位置。
[0012]在一個實施方式中，可佩戴的成像裝置可以用于監(jiān)視多個方向威脅的頭盔，被軍隊人員、執(zhí)法人員、獵人或其他對其附近生物的出現(xiàn)和位置需要警示的人佩戴。例如，夜晚的巡邏士兵可能需要獲得從特定方向接近的敵軍出現(xiàn)和位置的警示。監(jiān)視多個方向威脅的頭盔可以在頭盔上使用一個或多個紅外成像模塊用于熱探測敵軍，并警示頭盔佩戴者敵軍的出現(xiàn)和位置。
[0013]本發(fā)明的范圍由權(quán)利要求限定，通過參考將其并入該部分。通過考慮下面詳細(xì)描述的一個或多個實施例，本領(lǐng)域技術(shù)人員將會更完全地理解本發(fā)明的實施例，還會認(rèn)識到其附加優(yōu)勢。將參考首先簡略描述的附圖的附加頁。

【專利附圖】

【附圖說明】
[0014]圖1示出了根據(jù)本公開的實施例的配置為在主機(jī)設(shè)備中實現(xiàn)的紅外成像模塊。
[0015]圖2示出了根據(jù)本公開的實施例的裝配好的紅外成像模塊。
[0016]圖3示出了根據(jù)本公開的實施例的并置在插槽上方的紅外成像模塊的分解圖。
[0017]圖4示出了根據(jù)本公開的實施例的包括紅外傳感器陣列的紅外傳感器組件的方框圖。
[0018]圖5示出了根據(jù)本公開的實施例的確定非均勻校正(NUC)項的各種操作的流程圖。
[0019]圖6示出了根據(jù)本公開的實施例的鄰近像素之間的差異。
[0020]圖7示出了根據(jù)本公開的實施例的平場校正技術(shù)。
[0021]圖8示出了根據(jù)本公開的實施例的圖5的各種圖像處理技術(shù)和在圖像處理流水線中應(yīng)用的其它操作。
[0022]圖9示出了根據(jù)本公開的實施例的時域降噪過程。
[0023]圖10示出了根據(jù)本公開的實施例的圖6的圖像處理流水線的幾個過程的特定實現(xiàn)細(xì)節(jié)。
[0024]圖11示出了根據(jù)本公開的實施例的鄰近像素中的空間關(guān)連的FPN。
[0025]圖12示出了根據(jù)本公開的實施例的紅外傳感器組件的另一種實施方式的方框圖，包括紅外傳感器陣列和低壓差線性穩(wěn)壓器。
[0026]圖13示出了根據(jù)本公開的實施例的圖12的一部分紅外傳感器組件的電路圖。
[0027]圖14示出了根據(jù)本公開的實施例的具有紅外成像模塊和可見光照相機(jī)主機(jī)系統(tǒng)的方框圖。
[0028]圖15示出了根據(jù)本公開的實施例的使用紅外成像模塊采集和由處理器分析的熱圖像示例。
[0029]圖16示出了根據(jù)本公開的實施例的用于結(jié)合熱圖像和可見光圖像的過程。
[0030]圖17示出了根據(jù)本公開的實施例的具有紅外成像模塊和警示模塊能夠由可佩戴成像裝置實現(xiàn)的主機(jī)系統(tǒng)的方框圖。
[0031]圖18示出了根據(jù)本公開的實施例的由監(jiān)視多個方向威脅的頭盔實現(xiàn)的可佩戴成像裝置。
[0032]圖19示出了根據(jù)本公開的實施例的圖18的監(jiān)視多個方向威脅的頭盔俯視圖，展示如何利用多成像模塊監(jiān)視多方向環(huán)境的多個部分。
[0033]圖20示出了根據(jù)本公開的實施例的監(jiān)視多個方向威脅的頭盔的佩戴者佩戴與其他系統(tǒng)一起使用的監(jiān)視多個方向威脅的頭盔。
[0034]圖21示出了根據(jù)本公開的實施例的包括可佩戴成像裝置的威脅監(jiān)視系統(tǒng)的方框圖。
[0035]圖22示出了根據(jù)本公開的實施例的威脅監(jiān)視系統(tǒng)，并展示了一個或多個監(jiān)視多個方向威脅的頭盔如何彼此和與基站通信。
[0036]圖23示出了根據(jù)本公開的實施例的通過監(jiān)視多個方向威脅的頭盔上的多個紅外成像模塊，探測移動目標(biāo)。
[0037]圖24示出了根據(jù)本公開的實施例的展示警示元件如何基于被探測目標(biāo)的距離提供一定強(qiáng)度的警示。
[0038]圖25示出了根據(jù)本公開的實施例的能夠顯示在可佩戴成像裝置顯示器上的信息，展示多個位置處被探測物體的圖像。
[0039]圖26示出了根據(jù)本公開的實施例的利用可佩戴成像裝置監(jiān)視環(huán)境的過程。
[0040]圖27示出了根據(jù)本公開的實施例的利用可佩戴成像裝置監(jiān)視移動物體的過程。
[0041]通過參考隨后的詳細(xì)說明，最容易理解該發(fā)明的實施例和它們的優(yōu)點(diǎn)。應(yīng)該意識到，使用相同的附圖標(biāo)記來識別在一個或多個圖中說明的相同的元件。

【具體實施方式】
[0042]圖1示出了根據(jù)本公開的實施例的配置為在主機(jī)設(shè)備102中實現(xiàn)的紅外成像模塊100 (例如，紅外攝像機(jī)或紅外成像設(shè)備)。對于一個或多個實施例，可以用小形狀因素(small form factor)和根據(jù)晶圓級封裝技術(shù)或者其它封裝技術(shù)實現(xiàn)紅外成像模塊100。
[0043]在一個實施例中，可以配置紅外成像模塊100以在例如移動電話、平板電腦設(shè)備、筆記本電腦設(shè)備、掌上電腦、可見光攝像機(jī)、音樂播放器，可佩戴成像裝置，或者任何其它適合的移動設(shè)備的小型便攜式主機(jī)設(shè)備102中實現(xiàn)。在這一點(diǎn)上，紅外成像模塊100可以用于為主機(jī)設(shè)備102提供紅外成像特征。例如，可以配置紅外成像模塊100以采集、處理和/或另外管理紅外圖像并將這種紅外圖像提供給主機(jī)設(shè)備102，用于以任何所希望的方式使用(例如，用于進(jìn)一步處理，以存儲在存儲器中、顯示、使用運(yùn)行在主機(jī)設(shè)備102上的各種應(yīng)用軟件、傳輸?shù)狡渌O(shè)備或其它用途)。
[0044]在各種實施例中，可以配置紅外成像模塊100以在低電壓電平下和寬溫度范圍上操作。例如，在一個實施例中，紅外成像模塊100可以使用約2.4伏、2.5伏、2.8伏或者更低電壓的電源操作，以及在約-20攝氏度到約+60攝氏度的溫度范圍內(nèi)操作(例如，在約80攝氏度的環(huán)境溫度范圍上提供適當(dāng)?shù)膭討B(tài)范圍和性能)。在一個實施例中，通過在低電壓電平處理紅外成像模塊100，與其它類型的紅外成像設(shè)備相比，紅外成像模塊100可以受到減少的自加熱的量。結(jié)果，可以用減少的措施操作紅外成像模塊100以補(bǔ)償這種自加熱。
[0045]如圖1所示，主機(jī)設(shè)備10可以包括插槽104、快門105、運(yùn)動傳感器194、處理器195、存儲器196、顯示器197和/或其它部件198。插槽104可以被配置成接收由箭頭101標(biāo)識的紅外成像模塊100。在這一點(diǎn)上，圖2示出了根據(jù)本公開的實施例的插槽104中裝配的紅外成像模塊100。
[0046]運(yùn)動傳感器194可以由可用于檢測主機(jī)設(shè)備102運(yùn)動的一個或多個加速度計、陀螺儀或者其它適當(dāng)設(shè)備來實現(xiàn)。運(yùn)動傳感器194可以由處理模塊160或者處理器195監(jiān)控并向處理模塊160或者處理器195提供信息以檢測運(yùn)動。在各種實施例中，運(yùn)動傳感器194可以實現(xiàn)為主機(jī)設(shè)備102 (如圖1所示)、紅外成像模塊100或者附接到或者以其它方式與主機(jī)設(shè)備102接口的其它設(shè)備的一部分。
[0047]處理器195可以實現(xiàn)為任何適當(dāng)?shù)奶幚碓O(shè)備(例如，邏輯設(shè)備、微控制器、處理器、專用集成電路(ASIC)或其它設(shè)備)，其可以被主機(jī)設(shè)備102使用以執(zhí)行諸如存儲器196中提供的軟件指令的適當(dāng)指令。顯示器197可以用于顯示采集的和/或處理的紅外圖像和/或其它圖像、數(shù)據(jù)和信息?？梢允褂闷渌考?98來實現(xiàn)各種應(yīng)用(例如，時鐘、溫度傳感器、可見光攝像機(jī)或者其它部件)所需的主機(jī)設(shè)備102的任一特征。另外，可以提供機(jī)器可讀介質(zhì)193用于存儲裝入存儲器196中的并由處理器195執(zhí)行的非暫時性指令。
[0048]在各種實施例中，可以大規(guī)模生產(chǎn)實現(xiàn)紅外成像模塊100和插槽104，以促使高容量的應(yīng)用，諸如在移動電話或者其它設(shè)備(例如需要小形狀因素)中實現(xiàn)。在一個實施例中，當(dāng)將紅外成像模塊100安裝在插槽104中時，紅外成像模塊100和插槽104的組合的總尺寸可以為約8.5 mmX8.5mmX5.9 mm。
[0049]圖3示出了根據(jù)本公開的實施例的并置在插槽104上方的紅外成像模塊100的分解圖。紅外成像模塊100可以包括透鏡鏡筒110、外殼120、紅外傳感器組件128、電路板170、基底150和處理模塊160。
[0050]透鏡鏡筒110可以至少部分包圍經(jīng)由透鏡鏡筒110中的光圈112在圖3中部分可見的光學(xué)元件180 (例如，透鏡)。透鏡鏡筒110可以包括基本圓柱狀的延伸部114，其可以用于使透鏡鏡筒110與外殼120中的光圈122連接。
[0051]可以實現(xiàn)紅外傳感器組件128，例如，具有安裝在基底140上的帽蓋130(例如，蓋)。紅外傳感器組件128可以包括在基底140上以陣列或者其它形式實現(xiàn)的并且由帽蓋130覆蓋的多個紅外傳感器132 (例如，紅外探測器)。例如，在一個實施例中，可以將紅外傳感器組件128實現(xiàn)為焦平面陣列(FPA)。例如，可以將上述焦平面陣列實現(xiàn)為真空封裝組件(例如，由帽蓋130和基底140密封的)。在一個實施例中，可以將紅外傳感器組件128實現(xiàn)為晶圓級封裝(例如，紅外傳感器組件128可以由晶片上提供的一組真空封裝組件切單而成)。在一個實施例中，可以使用約2.4伏、2.5伏、2.8伏或者類似電壓的電源實施紅外傳感器組件128以進(jìn)行操作。
[0052]紅外傳感器132可以配置成檢測來自包括例如在具體實現(xiàn)中所需的中波紅外波段(MWIR)、長波紅外波段(LWIR)和/或其它熱成像波段的目標(biāo)場景的紅外輻射(例如，紅外能量)。在一個實施例中，可以根據(jù)晶圓級封裝技術(shù)提供紅外傳感器組件128。
[0053]紅外傳感器132可以實現(xiàn)為，例如，以任一所需的陣列圖案排列的提供多個像素的微輻射探測儀或者其它類型的熱成像紅外傳感器。在一個實施例中，可以將紅外傳感器132實現(xiàn)為像素間距為17 μ m的氧化釩(VOx)探測器。在各種實施例中，可以使用約32X32的紅外傳感器132、約64X64的紅外傳感器132、約80X64的紅外傳感器132的陣列或者其它陣列尺寸。
[0054]基底140可以包括各種電路,例如在一個實施例中包含尺寸小于約5.5mmX5.5mm的讀出集成電路(ROIC)。當(dāng)如圖5A、5B和5C所示裝配紅外成像模塊100時，基底140還可以包括可用于連接安置在外殼120內(nèi)表面上的互補(bǔ)連接點(diǎn)的接合墊142。在一個實施例中，可以用低壓差線性穩(wěn)壓器(LDO)實現(xiàn)R0IC，以執(zhí)行電壓調(diào)節(jié)從而減小引入到紅外傳感器組件128的電源噪聲并因此提供改善的電源抑制比(PSRR)。而且，通過實現(xiàn)具有ROIC的LDO(例如，在晶圓級封裝內(nèi))，可以消耗較小的管芯面積并且需要較少的離散管芯(或者芯片)。
[0055]圖4示出了根據(jù)本公開的實施例的包含紅外傳感器132陣列的紅外傳感器組件128的方框圖。在該示例性的實施例中，提供紅外傳感器132作為ROIC 402的部分單元陣列。ROIC 402包括偏壓產(chǎn)生定時控制電路404、列放大器405、列多路復(fù)用器406、排多路復(fù)用器408和輸出放大器410?？梢酝ㄟ^輸出放大器410將由紅外傳感器132采集的圖像幀(例如，熱圖像)提供給處理模塊160、處理器195和/或任何其它適當(dāng)?shù)牟考詧?zhí)行在此描述的各種處理技術(shù)。雖然圖4中示出的是8X8陣列，但在其它實施例中可以使用任何所需的陣列結(jié)構(gòu)。在2000年2月22日發(fā)布的U.S.專利N0.6，028, 309中可以找到ROIC和紅外傳感器(例如，微輻射探測儀)的進(jìn)一步描述，在此通過參考將它的全部并入本文。
[0056]紅外傳感器組件128可以采集圖像(例如，圖像幀)并以各種速率提供來自其ROIC的這種圖像。處理模塊160可以用于對采集的紅外圖像進(jìn)行適當(dāng)?shù)奶幚聿⑶铱梢愿鶕?jù)任何適當(dāng)?shù)慕Y(jié)構(gòu)實施。在一個實施例中，可以將處理模塊160實現(xiàn)為ASIC。在這一點(diǎn)上，這種ASIC可以配置成高性能和/或高效率執(zhí)行圖像處理。在另一實施例中，處理模塊160可以用通用中央處理器(CPU)來實現(xiàn)，其可以配置為執(zhí)行適當(dāng)?shù)能浖噶钜詧?zhí)行圖像處理、與各個圖像處理塊協(xié)調(diào)并執(zhí)行圖像處理、協(xié)調(diào)處理模塊160和主機(jī)設(shè)備102之間的連接、和/或其它操作。在另一實施例中，可以用現(xiàn)場可編程門陣列(FPGA)實現(xiàn)處理模塊160。如本領(lǐng)域技術(shù)人員將了解的，在其它實施例中，可以用其它類型的處理和/或邏輯電路實現(xiàn)處理模塊160。
[0057]在這些和其它實施例中，還可以用適當(dāng)?shù)钠渌考?，如易失性存儲器、非易失性存儲器?或一個或多個接口(例如，紅外探測器接口、內(nèi)部集成電路(I2C)接口、移動行業(yè)處理器接口(MIPI)、聯(lián)合測試行動小組(JTAG)接口(例如，IEEE 1149.1標(biāo)準(zhǔn)測試訪問端口和邊界掃描結(jié)構(gòu))，和/或其它接口)來實現(xiàn)處理模塊160。
[0058]在一些實施例中，紅外成像模塊100可以進(jìn)一步包括一個或多個執(zhí)行器199，其用于調(diào)整由紅外傳感器組件128采集的紅外圖像幀的焦點(diǎn)。例如，執(zhí)行器199可以用于相對于彼此移動光學(xué)元件180、紅外傳感器132和/或其它部件，以根據(jù)在此描述的技術(shù)選擇性聚焦和散焦紅外圖像幀?？梢愿鶕?jù)任一類型的運(yùn)動感應(yīng)設(shè)備或者機(jī)構(gòu)實現(xiàn)執(zhí)行器199，并且由于適合不同應(yīng)用可以將執(zhí)行器199安置在紅外成像模塊100的內(nèi)部或和外部的任何位置。
[0059]當(dāng)裝配紅外成像模塊100時，外殼120基本上可包圍住紅外傳感器組件128、基底150和處理模塊160。外殼120便于連接紅外成像模塊100的各個部件。例如,在一個實施例中，外殼120可以提供電連接126以連接進(jìn)一步描述的各個部件。
[0060]當(dāng)裝配紅外成像模塊100時，電連接126 (例如，導(dǎo)電路徑、跡線或者其它類型的連接)可以與接合墊142電連接。在各種實施例中，可以將電連接126嵌入在外殼120中，提供在外殼120的內(nèi)表面上，和/或以其他方式由外殼120提供。如圖3所示，電連接126可以終止由外殼120的底表面伸出的連接124。當(dāng)裝配紅外成像模塊100時(例如，在各種實施例中外殼120可以擱在電路板170的頂上)，連接124可以與電路板170連接。處理模塊160可以通過適當(dāng)?shù)碾娺B接與電路板170電連接。結(jié)果，經(jīng)由例如由:接合墊142、外殼120內(nèi)表面上的補(bǔ)充連接、外殼120的電連接126、連接124和電路板170提供的導(dǎo)電路徑，可以使紅外傳感器組件128與處理模塊160電連接。有利地，在不需要在紅外傳感器組件128和處理模塊160之間提供的引線接合的情況下可以實現(xiàn)這種布置。
[0061]在各種實施例中，外殼120中的電連接126可以由任何的所需材料(例如，銅或者任何其它適當(dāng)?shù)膶?dǎo)電材料)制成。在一個實施例中，電連接126可以幫助紅外傳成像模塊100散熱。
[0062]在其它實施例中可以使用其它連接。例如，在一個實施例中，傳感器組件128可以經(jīng)由用引線接合連接至傳感器組件128和用球柵格陣列(BGA)連接至處理模塊160的陶瓷板，連接到處理模塊160。在另一實施例中，傳感器組件128可以直接安裝在剛?cè)嵝园迳喜⑶遗c引線接合電連接，并且處理模塊160可以用引線接合或者BGA安裝并且連接到該剛?cè)嵝园濉?br> [0063]提供在此闡述的紅外成像模塊100和主機(jī)設(shè)備102的各種實現(xiàn)方式目的在于舉例，而不是限制。在這一點(diǎn)上，在此描述的各種技術(shù)中的任一種都可以適用于執(zhí)行紅外/熱成像的任何紅外攝像機(jī)系統(tǒng)、紅外成像儀或者其它裝置。
[0064]可以將紅外傳感器組件128的襯底140安裝在基底150上。在各種實施例中，基底150(例如，底座)可以由例如用金屬注射成型(MIM)形成的并提供有黑氧化物或者鎳涂層磨光的銅制成。在各種實施例中，基底150可以由給定應(yīng)用所需的諸如鋅、鋁或鎂的任意所需的材料制成，并且可以由特定應(yīng)用所需的諸如鋁鑄造、MIM或者鋅的快速鑄造的任意所需的可應(yīng)用工藝形成。在各種實施例中，基底150可以被實現(xiàn)為提供結(jié)構(gòu)性支撐、各種電路路徑、熱的散熱性質(zhì)和適當(dāng)?shù)钠渌卣?。在一個實施例中，基底150可以是至少部分使用陶瓷材料實現(xiàn)的多層結(jié)構(gòu)。
[0065]在各種實施例中，電路板170可以接納外殼120，因此可以物理支撐紅外成像模塊100的各種部件。在各種實施例中，可以將電路板170實現(xiàn)為印刷電路板(例如，F(xiàn)R4電路板或者其它類型的電路板)、剛性或者柔性互連(例如，帶或者其它類型的互連)、柔性電路襯底、柔性塑料襯底或者其它適合的結(jié)構(gòu)。在各種實施例中，可以用關(guān)于電路板170描述的各種特征和屬性實現(xiàn)基底150,反之亦然。
[0066]插槽104可以包括配置成接收紅外成像模塊100的腔106 (例如，如圖2的裝配圖所示)。紅外成像模塊100和/或插槽104可以包括適合的片、臂、針、緊固件或者其它適合的接合組件，其可以用于利用摩擦、拉緊、粘合和/或任何其它適合的方式確保紅外成像模塊100固定到或處于插槽104的內(nèi)部。插槽104可以包括當(dāng)將紅外成像模塊100插入到插槽104的腔106中時可以接合外殼120的表面109的接合組件107。在其它實施例中可以使用其它類型的接合組件。
[0067]紅外成像模塊100可以經(jīng)由適當(dāng)?shù)碾娺B接(例如，觸點(diǎn)、針、引線或者其它的適當(dāng)連接)與插槽104電連接。例如，插槽104可以包括電連接108，其可以接觸紅外成像模塊100的相應(yīng)電連接(例如，電路板170的側(cè)表面或底表面上的互連墊、觸點(diǎn)或者其它電連接，基底150上的接合墊142或者其它電連接，或者其它連接)。電連接108可以由任何的所需材料(例如，銅或者任何其它適當(dāng)?shù)膶?dǎo)電材料)制成。在一個實施例中，當(dāng)將紅外成像模塊100插入到插槽104的腔106中時，可以機(jī)械偏壓電連接108以壓緊紅外成像模塊100的電連接。在一個實施例中，電連接108可以至少部分將紅外成像模塊100固定在插槽104中。在其它實施例中可以使用其它類型的電連接。
[0068]插槽104可以通過類似類型的電連接與主機(jī)設(shè)備102電連接。例如，在一個實施例中，主機(jī)設(shè)備102可以包括穿過孔徑190與電連接108連接的電連接(例如，焊接頭、咬合連接或者其它連接)。在各種實施例中，可以將這種電連接制作在插槽104的側(cè)面和/或
。
[0069]紅外成像模塊100的各種部件可以用倒裝芯片技術(shù)實現(xiàn)，該技術(shù)可以用于將部件直接安裝到電路板，而沒有一般引線接合連接需要的附加空隙。作為實例，可以使用倒裝芯片連接來減小紅外成像模塊100的整體尺寸，以在小而緊湊的小外形應(yīng)用中使用。例如，在一個實施例中，可以利用倒裝芯片連接將處理模塊160安裝到電路板170。例如，可以用這種倒裝芯片結(jié)構(gòu)實現(xiàn)紅外成像模塊100。
[0070]在各種實施例中，可以根據(jù)2010年7月27日提交的U.S.專利申請N0.12/844，124和2011年3月30日提交的U.S.臨時專利申請N0.61/469，651中闡述的各種技術(shù)(例如，晶圓級封裝技術(shù))實現(xiàn)紅外成像模塊100和/或相關(guān)部件，通過參考將它們的全部并入這里。此外，根據(jù)一個或多個實施例，可以根據(jù)諸如在2008年12月30日發(fā)布的U.S.專利N0.7，470，902、2000年 2 月 22 日發(fā)布的 U.S.專利 N0.6，028，309、2004 年 11 月 2 日發(fā)布的U.S.專利 N0.6，812，465,2006 年 4 月 25 日發(fā)布的 U.S.專利 N0.7，034，301,2010 年 3 月16 日發(fā)布的 U.S.專利 N0.7，679，048、2008 年 12 月 30 日發(fā)布的 U.S.專利 N0.7，470，904、2008年9月2日提交的U.S.專利申請N0.12/202, 880和2008年9月2日提交的U.S.專利申請N0.12/202，896中闡述的各種技術(shù)，實現(xiàn)、校準(zhǔn)、檢測和/或使用紅外成像模塊100和/或相關(guān)部件，通過參考將它們的全部并入這里。
[0071]再次參考圖1，在各種實施例中，主機(jī)設(shè)備102可以包括快門105。在這一點(diǎn)上，當(dāng)在那里安裝紅外成像模塊100時，可以將快門105選擇性布置在插槽104的上方(例如，用箭頭103標(biāo)識)。在這一點(diǎn)上，在不使用時，例如可以使用快門105來保護(hù)紅外成像模塊100。如本領(lǐng)域技術(shù)人員所了解的，快門105還可以用作用于紅外成像模塊100的部分校準(zhǔn)化處理(例如，NUC處理或者其它校準(zhǔn)處理)的溫度參考。
[0072]在各種實施例中，快門105可以由諸如聚合物、玻璃、鋁(例如，涂繪或者陽極氧化的)或者其它材料的各種材料制成。在各種實施例中，快門105可以包括一個或多個涂層以選擇性過濾電磁輻射和/或調(diào)整快門105的各種光學(xué)性質(zhì)(例如，均勻的黑體涂層或者反光的金涂層)。
[0073]在另一實施例中，可以將快門105安裝在適當(dāng)?shù)奈恢靡砸恢北Ｗo(hù)紅外成像模塊100。在這種情況下，快門105或者的快門105 —部分可以由沒有充分過濾所希望紅外波長的適當(dāng)?shù)牟牧?例如，聚合物或者諸如硅、鍺、硒化鋅或者硫鹵玻璃的紅外透射材料)制成。在另一實施例中，如本領(lǐng)域技術(shù)人員所了解的，可以實現(xiàn)快門作為紅外成像模塊100的一部分(例如，在內(nèi)部或者作為透鏡鏡筒的一部分或者紅外成像模塊100的其它部件)。
[0074]備選地，在另一實施例中，不需要提供快門(例如，快門105或者其它類型的外部或者內(nèi)部快門)，而不是利用無快門技術(shù)可以執(zhí)行NUC處理或者其它類型的校準(zhǔn)。在另一實施例中，可以結(jié)合以快門為基礎(chǔ)的技術(shù)執(zhí)行利用無快門技術(shù)的NUC處理或者其它類型的校準(zhǔn)。
[0075]可以根據(jù)2011年6月10提交的U.S.臨時專利申請N0.61/495，873、2011年6月10提交的U.S.臨時專利申請N0.61/495，879和2011年6月10提交的U.S.臨時專利申請N0.61/495，888中闡述的各種技術(shù)中的任何一種技術(shù)實現(xiàn)紅外成像模塊100和主機(jī)設(shè)備102，通過參考將它們的全部并入這里。
[0076]在各種實施例中，主機(jī)設(shè)備102和/或紅外成像模塊100的部件可以實現(xiàn)為具有通過有線和/或無線網(wǎng)絡(luò)彼此通信的部件的本地或者分布式系統(tǒng)。因此，可以通過特定實現(xiàn)方式中希望的本地和/或遠(yuǎn)程部件執(zhí)行該公開中確定的各種操作。
[0077]圖5示出了根據(jù)本公開的實施例的確定NUC項的各種操作的流程圖。在一些實施例中，可以通過對由紅外傳感器132采集的圖像幀進(jìn)行操作的處理模塊160或者處理器195 (兩者一般也都稱為處理器)來執(zhí)行圖5操作。
[0078]在方框505，紅外傳感器132開始采集場景的圖像幀。通常，該場景是主機(jī)設(shè)備102當(dāng)前所在位置的現(xiàn)實世界環(huán)境。在這一點(diǎn)上，可以打開快門105(如果任選地提供)以允許紅外成像模塊接收來自該場景的紅外輻射。紅外傳感器132可以在圖5所示的整個操作期間繼續(xù)采集圖像幀。在這一點(diǎn)上，連續(xù)采集的圖像幀可以用于進(jìn)一步論述的各種操作。在一個實施例中，采集的圖像幀可以在圖5所示的操作中使用他們之前，被時域濾波(例如，根據(jù)關(guān)于圖8在此進(jìn)一步描述的方框826的操作)和被其它項(例如，關(guān)于圖8在此進(jìn)一步描述的工廠增益項 812 (factory gain term)、工廠偏移項 816 (factory offset term) >事先確定的NUC項817、列FPN項820和排FPN項824)處理。
[0079]在方框510，檢測NUC處理發(fā)起事件。在一個實施例中，響應(yīng)主機(jī)設(shè)備102的物體運(yùn)動可以發(fā)起NUC處理。例如，可以通過處理器選定的運(yùn)動傳感器194檢測這種運(yùn)動。在一個實例中，用戶可以特定的方式，例如以“清除”或者“揮擊”運(yùn)動來回有意地?fù)]動主機(jī)設(shè)備102，來移動主機(jī)設(shè)備102。在這一點(diǎn)上，用戶可以根據(jù)預(yù)定的速度和方向(速率)，例如向上和向下，一側(cè)到另一側(cè)，或者其它圖案來移動主機(jī)設(shè)備102以發(fā)起NUC處理。在該實例中，使用這種運(yùn)動可以允許用戶直觀地操作主機(jī)設(shè)備102以模擬“清除”采集圖像幀中的噪聲。
[0080]在另一實例中，如果運(yùn)動超出閾值(例如，運(yùn)動大于通常使用要求的)，可以由主機(jī)設(shè)備102發(fā)起NUC處理。預(yù)期，主機(jī)設(shè)備102的任何所需類型的空間平移都可以用于發(fā)起該NUC處理。
[0081]在另一實例中，如果自事先執(zhí)行的NUC處理起經(jīng)過最短時間，可以由主機(jī)設(shè)備102發(fā)起NUC處理。在另外的實例中，如果自事先執(zhí)行的NUC處理起紅外成像模塊100經(jīng)歷了最低溫度變化，可以由主機(jī)設(shè)備102發(fā)起NUC處理。在另外的實例中，可以繼續(xù)發(fā)起和重復(fù)NUC處理。
[0082]在方框515，在檢測NUC處理發(fā)起事件之后，確定實際上是否應(yīng)執(zhí)行NUC處理。在這一點(diǎn)上，可以基于是否滿足一個或多個附加條件選擇性發(fā)起NUC處理。例如，在一個實施例中，除非自事先執(zhí)行的NUC處理起經(jīng)過最短時間，否則將不會執(zhí)行NUC處理。在另一實施例中，除非自事先執(zhí)行的NUC處理起紅外成像模塊100經(jīng)歷了最低溫度變化，否則將不會執(zhí)行NUC處理。在其它實施例中可以使用其它標(biāo)準(zhǔn)和條件。如果適當(dāng)?shù)臉?biāo)準(zhǔn)和條件已被滿足，則該流程圖繼續(xù)行至方框520。否則，該流程圖返回到方框505。
[0083]在NUC處理中，可以使用模糊的圖像幀來確定NUC項，其可以應(yīng)用于采集的圖像幀來校準(zhǔn)FPN。如所討論的，在一個實施例中，可以通過積累移動場景的多個圖像幀(例如，場景和/或熱圖像處于運(yùn)動狀態(tài)時采集的)得到模糊的圖像幀。在另一實施例中，可以通過使熱成像儀的光學(xué)元件或其它部件散焦得到模糊的圖像幀。
[0084]因此，在方框520中，提供了二擇一方法的選擇。如果使用基于運(yùn)動的方法，則該流程圖繼續(xù)行至方框525。如果使用基于散焦的方法，則該流程圖繼續(xù)行至方框530。
[0085]現(xiàn)在參考基于運(yùn)動的方法，在方框525中檢測運(yùn)動。例如，在一個實施例中，可以基于紅外傳感器132采集的圖像幀檢測運(yùn)動。在這一點(diǎn)上，可以將適當(dāng)?shù)倪\(yùn)動檢測操作(例如，圖像記錄處理、幀間差分計算或其它適當(dāng)處理)應(yīng)用于采集的圖像幀以確定是否存在運(yùn)動(例如，是采集了靜止圖像幀還是移動圖像幀)。例如，在一個實施例中，可以確定連續(xù)圖像幀的像素周圍的像素或區(qū)域變化是否多于用戶規(guī)定的量(例如，百分?jǐn)?shù)和/或閾值)。如果給定百分?jǐn)?shù)的像素已改變了至少用戶定義的量，則將足夠確定檢測運(yùn)動以繼續(xù)行至方框 535。
[0086]在另一實施例中，可以在每個像素基礎(chǔ)上確定運(yùn)動，其中僅積累呈現(xiàn)出顯著變化的像素以提供模糊的圖像幀。例如，可以為每個像素提供計數(shù)器，且其用于確保為每個像素積累相同數(shù)量的像素值，或者用于基于為每個像素實際積累的像素值的數(shù)量均分該像素值。可以執(zhí)行其它類型的基于圖像的運(yùn)動檢測，例如執(zhí)行拉東變換。
[0087]在另一實施例中，可以基于由運(yùn)動傳感器194提供的數(shù)據(jù)檢測運(yùn)動。在一個實施例中，這種運(yùn)動檢測可以包括檢測主機(jī)設(shè)備102是否沿著通過空間的相對筆直的軌跡移動。例如，如果主機(jī)設(shè)備102沿著相對筆直的軌跡移動，則可能成像場景中出現(xiàn)的某些物體不會非常模糊(例如，場景中的可以與筆直軌跡對準(zhǔn)或者基本上平行于筆直軌跡運(yùn)動的物體)。因此，在這樣的實施例中，可以在呈現(xiàn)的或者未呈現(xiàn)的特定軌跡的主機(jī)設(shè)備102上調(diào)節(jié)由運(yùn)動傳感器194檢測的運(yùn)動。
[0088]在另一實施例中，可以使用運(yùn)動檢測操作和運(yùn)動傳感器194。因此，使用這些各種實施例中的任何一個,當(dāng)至少部分場景和主機(jī)設(shè)備102彼此相對運(yùn)動時(例如，其可以由主機(jī)設(shè)備102相對于場景移動，至少部分場景相對于主機(jī)設(shè)備102移動或者兩者引起)，可以確定是否采集了每個圖像幀。
[0089]由于紅外傳感器132的熱時間常數(shù)(例如，微輻射探測儀熱時間常數(shù))與場景運(yùn)動相互作用，期望運(yùn)動被檢測的圖像幀可呈現(xiàn)一些中等模糊的采集場景(例如，與該場景相關(guān)的模糊的熱成像數(shù)據(jù))。
[0090]在方框535，積累運(yùn)動被檢測的圖像幀。例如，如果針對連續(xù)系列的圖像幀檢測運(yùn)動，則會積累該連續(xù)的圖像幀。作為另一實例，如果僅針對一些圖像幀檢測運(yùn)動，則非移動圖像幀在積累時會被略過并且不包括在內(nèi)。因此，基于檢測的運(yùn)動，可選擇積累連續(xù)或非連續(xù)的圖像幀組。
[0091]在方框540，均分積累的圖像幀以提供模糊的圖像幀。因為在運(yùn)動期間采集了積累的圖像幀，所以期望真實的場景信息會在該圖像幀之間改變，從而導(dǎo)致該場景信息在最終的模糊的圖像幀中被進(jìn)一步模糊(方框545)。
[0092]相比之下，F(xiàn)PN(例如，由紅外成像模塊100的一個或多個組件引起的)在運(yùn)動期間將保持至少短時間不變和場景輻射上保持固定于至少有限的改變。結(jié)果，在運(yùn)動期間在緊密接近的時間和空間采集的圖像幀將經(jīng)受相同的或者至少非常類似的FPN。因此，雖然場景信息可以改變連續(xù)的圖像幀，但是FPN將基本上保持恒定。通過求平均值，在運(yùn)動期間采集的多個圖像幀將會模糊場景信息，而不會模糊FPN。結(jié)果，在方框545中提供的模糊圖像幀與場景信息相比，F(xiàn)PN將保持更清晰。
[0093]在一個實施例中，在方框535和540中積累并均分32或更多圖像幀。然而，在其它實施例中可以使用任何所需數(shù)量的圖像幀，但在減小幀數(shù)量時通常會降低校正精度。
[0094]現(xiàn)在參考基于散焦的方法，在方框530，可以執(zhí)行散焦操作以有意地使由紅外傳感器132采集的圖像幀散焦。例如，在一個實例中，可以使用一個或多個執(zhí)行器199來調(diào)整、移動或以其他方式平移光學(xué)元件180、紅外傳感器組件128和/或紅外成像組件100的其它組件，以使紅外傳感器132采集場景的模糊的(例如，未聚焦的)圖像幀。還可以考慮其它基于非執(zhí)行器的技術(shù)，用于有意地使紅外圖像幀散焦，例如手動(例如，用戶發(fā)起的)散焦。
[0095]雖然在圖像幀中場景會顯得模糊，但是FPN(例如，由紅外成像模塊100的一個或多個組件引起的)將通過散焦操作保持不受影響。結(jié)果，場景的模糊圖像幀將被提供有在模糊的圖像中比場景信息保持明顯更清楚的FPN(方框545)。
[0096]在以上論述中，已就單一采集的圖像幀描述了基于散焦的方法。在另一實施例中，該基于散焦的方法可以包括在使紅外成像模塊100散焦時積累大量的圖像幀，并且均分該散焦的圖像幀以去除暫時噪聲的影響并在方框545提供模糊的圖像幀。
[0097]因此，將意識到，通過基于運(yùn)動的方法或基于散焦的方法都可以在方框545中提供模糊的圖像幀。由于通過運(yùn)動、散焦或者兩者都將會使大量的場景信息模糊，因此模糊的圖像幀可以被有效地認(rèn)為是關(guān)于場景信息最初采集的圖像幀的低通濾波形式。
[0098]在方框550，處理模糊的圖像幀以確定更新的排和列FPN項(例如，如果排和列FPN項不是事先確定的，則在方框550的第一循環(huán)中更新的排和列FPN項可以是新的排和列FPN項)。如在該公開中使用的，可以依據(jù)紅外傳感器132的定位和/或紅外成像模塊100的其它部件交換地使用術(shù)語排和列。
[0099]在一個實施例中，方框550包括為每排模糊的圖像幀確定空間FPN校正項(例如，每排可以具有其自有的空間FPN校正項)，并且還為每列模糊的圖像幀確定空間FPN校正項(例如，每列可以具有其自有的空間FPN校正項)。這種處理可以用于減小空間和緩慢改變由例如在圖像幀中顯示為垂直和水平線條的ROIC 402中的放大器的Ι/f噪聲特性所引起的熱成像儀中固有的(Ι/f)排和列FPN。
[0100]有利地，通過使用模糊的圖像幀確定空間排和列FPN項，將會減小真實成像場景中的垂直和水平目標(biāo)被誤認(rèn)為是排和列噪聲的風(fēng)險(例如，當(dāng)FPN保持不模糊時，真實場景內(nèi)容將是模糊的)。
[0101]在一個實施例中，可以通過考慮模糊圖像幀的鄰近像素之間的差異確定排和列FPN項。例如，圖6示出了根據(jù)本公開的實施例的鄰近像素之間的差異。具體地，在圖6中將像素610與它的8個最臨近的水平近鄰:d0-d3在一側(cè)和d4-d7在另一側(cè)，相比?？梢云骄徑袼刂g的差異以得到所示例性的像素組的偏移誤差的估計值?？梢詾榕呕蛄兄械拿總€像素計算偏移誤差，并且平均結(jié)果可以用于校正整個排或列。
[0102]為了防止真實場景數(shù)據(jù)被理解為噪聲，可以使用上和下閾值(thPix和-thPix)。不使用落在這些閾值之外的像素值(在該實例中為像素dl和d4)來獲得偏移誤差。另外，排和列FPN校正的最大量可以由這些閾值限制。
[0103]在2009年3月2日提交的U.S.專利申請N0.12/396，340中，提出了執(zhí)行空間排和列FPN校正處理的進(jìn)一步技術(shù)，通過參考將它的全部并入本文。
[0104]再次參考圖5，存儲(方框552)在方框550中確定的更新的排和列FPN項并將其應(yīng)用于(方框555)在方框545中提供的模糊的圖像幀。應(yīng)用這些項之后，可以減少模糊圖像幀中的一些空間排和列FPN。然而，由于這些項一般被應(yīng)用于排和列，所以附加的FPN可以保持，諸如與像素偏移相關(guān)的空間非關(guān)聯(lián)FPN或者其它原因。空間關(guān)聯(lián)的FPN的鄰近區(qū)域也可以保持其不與獨(dú)立排和列直接相關(guān)。因此，如下所述可以執(zhí)行進(jìn)一步的處理以確定NUC 項。
[0105]在方框560，確定模糊圖像幀中的本地對比度值(例如，鄰近的或小的像素組之間的梯度的邊緣或絕對值)。如果模糊的圖像幀中的場景信息包括不明顯模糊的對比區(qū)域(例如，原始場景數(shù)據(jù)中的高的對比邊緣)，這種特征可以用方框560中的對比確定處理來確定。
[0106]例如，可以計算模糊圖像幀中的本地對比度值，或者可以應(yīng)用任何其它所需類型的邊緣檢測處理來識別模糊圖像中的某些像素作為本地對比區(qū)域一部分?？梢詫⒁栽摲绞綐?biāo)記的像素看作是包含解釋為FPN的過高空間頻率的場景信息(例如，這種區(qū)域可以對應(yīng)于不明顯模糊的部分場景)。同樣，這些像素可以被排除用在NUC項的進(jìn)一步確定中。在一個實施例中，這種對比檢測處理可以依賴于比與FPN相關(guān)的期望的對比度值高的閾值(例如，呈現(xiàn)出對比度值比閾值高的像素可以被認(rèn)為是場景信息，并且比閾值小的像素被認(rèn)為是呈現(xiàn)的FPN)。
[0107]在一個實施例中，可以在排和列FPN項應(yīng)用于模糊圖像幀之后，對模糊圖像幀執(zhí)行方框560的對比度確定(例如，如圖5所示)。在另一實施例中，在排和列FPN項被確定之前(例如，為了防止基于反差的場景影響該項的確定)，可以在方框550之前執(zhí)行方框560以確定對比度。
[0108]方框560之后，期望模糊圖像幀中保持的任何高空間頻率內(nèi)容一般可歸于空間非關(guān)聯(lián)FPN。在這一點(diǎn)上，在方框560之后，由于有意模糊圖像幀(例如，通過方框520至545的運(yùn)動或散焦)、應(yīng)用排和列FPN項(方框555)和對比度確定(方框560)，將基于大量的其它噪聲或真實期望場景的信息從模糊圖像幀除去或排除。
[0109]因此，期望在方框560之后，任何保持的高空間頻率內(nèi)容(例如，呈現(xiàn)為對比區(qū)域或模糊圖像幀的差異)可歸因于空間非關(guān)聯(lián)FPN。因此，在方框565中，模糊的圖像幀被高通濾波。在一個實施例中，這可以包括應(yīng)用高通濾波器以從模糊圖像幀提取高空間頻率內(nèi)容。在另一實施例中，這可以包括對模糊圖像幀應(yīng)用低通濾波器和獲得低通濾波的圖像幀與沒有濾波的模糊圖像幀之間的差異以得到高空間頻率內(nèi)容。根據(jù)本公開的各種實施例，高通濾波器可以通過計算傳感器信號(例如，像素值)及其鄰近的傳感器信號之間的平均差來實現(xiàn)。
[0110]在方框570中，對高通濾波的模糊圖像幀執(zhí)行平場校正處理，以確定更新的NUC項(例如，如果不事先執(zhí)行NUC處理，則在方框570的第一循環(huán)中該更新的NUC項可以是新的NUC 項)。
[0111]例如，圖7不出了根據(jù)該公開的實施例的平場校正技術(shù)700。在圖7中,對于模糊圖像幀的每個像素710可以使用其鄰近像素712至726的值確定NUC項。對于每個像素710，可以基于各個相鄰像素值之間的絕對值差確定幾個梯度。例如，在像素712和714(左到右斜線梯度)、像素716和718 (上到下垂直梯度)、像素720和722 (右到左斜線梯度)以及像素724和726 (左到右水平梯度)之間可以確定絕對值差。
[0112]可以將這些絕對差加起來以給像素710提供總梯度。可以給像素710確定與總梯度成反例的加權(quán)值?？梢詫δ：龍D像幀的所有像素710執(zhí)行該處理，直到給每個像素710提供加權(quán)值。對于低梯度的區(qū)域(例如，模糊的或具有低對比度的區(qū)域)，該加權(quán)值將接近I。反之，對于高梯度的區(qū)域，該加權(quán)值將會是零或接近于零。將通過高通濾波器估算的NUC項的更新與加權(quán)值相乘。
[0113]在一個實施例中，通過對NUC項確定處理施加一定量的時間衰減，可以進(jìn)一步減小將場景信息引入到NUC項的危險。例如，可以選擇O和I之間的時間衰減因數(shù)λ，使得存儲的新NUC項(NUCnew)是舊NUC項(NU_)和估算的更新NUC項(NUCupdate)的加權(quán)平均值。在一個實施例中，其可以表示為 NUCnew= λ * NUcold+(1-λ).(NUCQlD+NUCupdate)。
[0114]雖然關(guān)于梯度已描述了 NUC項的確定，但如果合適的話可代替地使用本地對比度值。也可以使用其它的技術(shù)，例如，標(biāo)準(zhǔn)偏差計算?？梢詧?zhí)行其它類型的平場校正操作，以確定包括例如在2000年2月22日發(fā)布的U.S.專利N0.6，028, 309和2008年5月5日提交的U.S.專利N0.12/114，865中識別的各種操作的NUC項，將它們的全部作為參考并入本文。
[0115]再次參考圖5，方框570可以包括NUC項的附加處理。例如，在一個實施例中，為了保存場景信號均值，可以通過從每個NUC項減去該NUC項均值來使所有NUC項的總和標(biāo)準(zhǔn)化為零。此外，在方框570中，為了避免排和列噪聲影響NUC項，可以從用于每排和列的NUC項減去每排和列的平均值。結(jié)果，在將NUC項應(yīng)用于采集的圖像之后(例如，在此進(jìn)一步闡述的方框580中)，使用方框550中確定的排和列FPN項的排和列FPN濾波器可以在進(jìn)一步的循環(huán)中更好地過濾出排和列噪聲(例如，如圖8進(jìn)一步所示的)。在這一點(diǎn)上，排和列FPN濾波器通常采用更多的數(shù)據(jù)計算每排和每列偏移系數(shù)(例如，排和列FPN項)，并且因此，與基于高通濾波以采集空間非關(guān)聯(lián)噪聲的NUC項相比，可以提供更強(qiáng)大的備選方案用于減小空間關(guān)連的FPN。
[0116]在方框571-573，可選擇執(zhí)行附加的高通濾波和進(jìn)一步確定更新的NUC項，以用比由排和列FPN項事先移除的更低的空間頻率移除空間關(guān)連的FPN。在這一點(diǎn)上，紅外傳感器132或紅外成像模塊100的其它部件的一些變化會導(dǎo)致不易被模仿為排或列噪聲的空間關(guān)連的FPN噪聲。例如，這種空間關(guān)連的FPN可以包括例如在傳感器封裝或與鄰近紅外傳感器132相比差異地響應(yīng)輻照度的一串紅外傳感器132上的窗口缺陷。在一個實施例中，這種空間關(guān)連的FPN可以用偏差校正來緩和。如果這種空間關(guān)連的FPN的數(shù)量相當(dāng)大，則該噪聲也能在模糊的圖像幀中檢測到。由于這種類型的噪聲可能會影響鄰近的像素，所以具有小核的高通濾波器可以不檢測鄰近的FPN(例如，可以從鄰近的受影響的像素獲得高通濾波器中使用的所有值，并因此會受到相同偏移誤差的影響)。例如，如果用小核執(zhí)行方框565的高通濾波(例如，考慮落入受空間關(guān)連的FPN影響的鄰近像素內(nèi)的僅直接相鄰的像素)，則不會檢測廣泛分布的空間關(guān)連的FPN。
[0117]例如，圖11示出了根據(jù)本公開的實施例的鄰近像素中的空間關(guān)連的FPN。如樣本圖像幀1100所示，鄰近像素1110可以呈現(xiàn)出與獨(dú)立排和列沒有精確相聯(lián)的且分布在鄰近的幾個像素(例如，在該實例中約4X4鄰域)上方的空間關(guān)連的FPN。樣本圖像幀1100還包括顯示出濾波計算時沒有使用的基本一致響應(yīng)的一組像素1120，和用于估算鄰近像素1110的低通值的一組像素1130。在一個實施例中，像素1130可以是能被2除盡的多個像素，以促進(jìn)有效的硬件或者軟件計算。
[0118]再次參考圖5，在方框571-573，可選地執(zhí)行附加的高通濾波和進(jìn)一步確定更新的NUC項，以去除例如由像素1110呈現(xiàn)出的空間關(guān)連的FPN。在方框571，將方框570中確定的更新的NUC項應(yīng)用于模糊的圖像幀。因此，在這時，該模糊的圖像幀將被最初校正用于空間相聯(lián)的FPN (例如，通過在方框555中應(yīng)用更新的排和列FPN項)，并且還被最初校正用于空間非關(guān)聯(lián)的FPN(例如，通過應(yīng)用在方框571中的更新的NUC項的應(yīng)用)。
[0119]在方框572，應(yīng)用具有比方框565中使用的核更大的另外的高通濾波器，并且可以在方框573中確定進(jìn)一步更新的NUC項。例如，為了檢測像素1110中存在的空間關(guān)連的FPN，在方框572中應(yīng)用的高通濾波器可以包括來自足夠大的鄰近像素的數(shù)據(jù)，使得可以確定不受影響的像素(例如，像素1120)和受影響的像素(例如，像素1110)之間的差異。例如，可以使用具有大核的低通濾波器(例如，比3X3像素更大的NXN核)，并且可以減去該結(jié)果以執(zhí)行適當(dāng)?shù)母咄V波。
[0120]在一個實施例中，為了計算效率，可以使用稀疏的核，使得僅使用NXN鄰域內(nèi)的少量鄰近像素。對于使用遠(yuǎn)距離鄰近(例如，大核)的任何給出的高通濾波操作，存在模擬真實(可能模糊的)場景信息作為空間關(guān)連的FPN的危險。困此，在一個實施例中，對于在方框573中確定的更新的NUC項，可以將時間衰減因數(shù)λ設(shè)置得接近I。
[0121]在各種實施例中，可以重復(fù)(例如，級聯(lián))方框571-573以反復(fù)執(zhí)行具有增大的核尺寸的高通濾波，來提供進(jìn)一步更新的NUC項對所希望的鄰近尺寸的空間關(guān)連的FPN進(jìn)一步校正。在一個實施例中，可以通過空間關(guān)連的FPN是否已被方框571-573事先執(zhí)行的更新的NUC項真正移除，來確定執(zhí)行這種循環(huán)的判定。
[0122]在方框571-573完成之后，關(guān)于是否對采集的圖像幀應(yīng)用更新的NUC項作出判定(方框574)。例如，如果整個圖像幀的NUC項的絕對值的平均數(shù)小于最小閾值，或者大于最大閾值，則可以斷定NUC項提供有意義的校正不合邏輯或不可能。備選地，閾值標(biāo)準(zhǔn)可以應(yīng)用于個別像素以確定哪些像素接收更新的NUC項。在一個實施例中，閾值可以對應(yīng)于最新計算的NUC項和事先計算的NUC項之間的差。在另一實施例中，閾值可以與事先計算的NUC項無關(guān)?？梢詰?yīng)用其它測試(例如，空間相關(guān)測試)來確定是否應(yīng)當(dāng)應(yīng)用NUC項。
[0123]如果斷定NUC項提供有意義的校正不合邏輯或不可能，則流程圖返回到方框505。否則，存儲最新確定的NUC項(方框575)以代替先前的NUC項(例如，由圖5事先執(zhí)行的循環(huán)確定)并將其應(yīng)用于(方框580)采集的圖像幀。
[0124]圖8示出了根據(jù)本公開的實施例的圖5的各種圖像處理技術(shù)和圖像處理流水線800中應(yīng)用的其它操作。在這一點(diǎn)上，在用于校正由紅外成像模塊100提供的圖像幀的整個反復(fù)圖像處理方案的環(huán)境中，流水線800識別圖5的各種操作。在一些實施例中，流水線800可以通過處理模塊160或處理器195 (兩者通常也稱為處理器)對由紅外傳感器132采集的圖像幀進(jìn)行處理來提供。
[0125]可以將由紅外傳感器132采集的圖像幀提供給集成多個圖像幀的幀平均器804以提供具有改良的信噪比的圖像幀802。可以通過用來支持高圖像采集速率的紅外傳感器組件128的紅外傳感器132、R0IC 402和其它部件有效地提供幀平均器804。例如，在一個實施例中，紅外傳感器組件128可以以240 Hz的幀速率(例如，每秒240個圖像)采集紅外圖像幀。在該實施例中，例如，可以通過以相對低的電壓(例如，與移動電話電壓兼容的)處理紅外傳感器組件128和通過使用相對小陣列的紅外傳感器132 (例如，在一個實例中的64X64陣列的紅外傳感器)，實現(xiàn)這種高幀速率。
[0126]在一個實施例中，這種紅外圖像幀可以高幀速率(例如，240 Hz或其它幀速率)從紅外傳感器組件128提供給處理模塊160。在另一實施例中，紅外傳感器組件128可以在較長時間周期或多個時間周期內(nèi)集成，以便以更低的幀速率(例如，30 Hz,9 Hz或其它幀速率)給處理模塊160提供集成的(例如，平均的)紅外圖像幀。在先前引用于此的U.S.臨時專利申請N0.61/495，879中，可以找到有關(guān)可用于提供高圖像采集速率的實現(xiàn)的進(jìn)一步信息。
[0127]圖像幀802繼續(xù)穿過流水線800，其中它們通過各種項調(diào)節(jié)、時域濾波，用于確定不同的調(diào)節(jié)項，和增益補(bǔ)償。
[0128]在方框810和814中，將工廠增益項812和工廠補(bǔ)償項816施加到圖像幀802，以分別補(bǔ)償在制造和測試期間確定的各種紅外傳感器132和/或紅外成像模塊100的其部件之間的增益和偏移差。
[0129]在方框580中，將NUC項817應(yīng)用到圖像幀802，以為所述的FPN校正。在一個實施例中，如果NUC項817還不能被確定(例如，在發(fā)起NUC處理之前)，則不會執(zhí)行方框580或可以將初始化值用于NUC項817，其導(dǎo)致圖像數(shù)據(jù)不改變(例如，每個像素的偏移將等于零)。
[0130]在方框818和822中，分別將列FPN項820和排FPN項824應(yīng)用到圖像幀802。根據(jù)所述的方框550可以確定列FPN項820和排FPN項824。在一個實施例中，如果列FPN項820和排FPN項824還沒被確定(例如，在發(fā)起NUC處理之前)，則可以不執(zhí)行方框818和822或者可以將初始化值用于列FPN項820和排FPN項824，其導(dǎo)致圖像數(shù)據(jù)不改變(例如，每個像素的偏移將等于零)。
[0131]在方框826中，根據(jù)時域降噪(TNR)處理對圖像幀802執(zhí)行時域濾波。圖9示出了根據(jù)本公開的實施例的TNR處理。在圖9中，處理目前接收的圖像幀802a和在前時域濾波的圖像幀802b以確定新的時域濾波的圖像幀802e。圖像幀802a和802b包括分別圍繞像素805a和805b居中的像素803a和803b的本地鄰域。鄰域803a和803b對應(yīng)于圖像幀802a和802b內(nèi)同一位置并且是圖像幀802a和802b的全部像素的子組。在示例的實施例中，鄰域803a和803b包括5X5像素區(qū)域。在其它實施例中可以使用其它鄰域尺寸。
[0132]確定并平均鄰域803a和803b的對應(yīng)像素之間的差，以為對應(yīng)于像素805a和805b的位置提供平均的增量值805c。平均的增量值805c可以用于確定方框807中的加權(quán)值，以被應(yīng)用到圖像幀802a和802b的像素805a和805b。
[0133]在一個實施例中，如圖表809所示，方框807中確定的加權(quán)值可以與平均的增量值805c成反比，使得當(dāng)鄰域803a和803b之間有大的差異時，加權(quán)值就會迅速朝零下降。在這一點(diǎn)上，鄰域803a和803b之間的大的差異可以表明，場景內(nèi)已發(fā)生了改變(例如，由于運(yùn)動)并且在一實施例中，可以適當(dāng)加重像素802a和802b，以避免引入穿過幀間場景變化的模糊不清的事物。在各種實施例中可以使用加權(quán)值和平均的增量值805c之間的其它聯(lián)系。
[0134]可以將方框807中確定的加權(quán)值應(yīng)用到像素805a和805b以確定圖像幀802e的相應(yīng)像素805e的值(方框811)。在這一點(diǎn)上，根據(jù)平均的增量值805c和方框807中確定的加權(quán)值，像素805e可以具有是像素805a和805b的加權(quán)平均(或其它結(jié)合)的值。
[0135]例如，時域濾波的圖像幀802e的像素805e可以是圖像幀802a和802b的像素805a和805b的加權(quán)和。如果像素805a和805b之間的平均差歸于噪聲，則期望鄰域805a和805b之間的平均改變將接近零(例如，對應(yīng)于無關(guān)聯(lián)改變的平均值)。在這種環(huán)境下，期望鄰域805a和805b之間的差的總和接近零。在這種情況下，圖像幀802的像素805都可以被適當(dāng)加權(quán)以促成像素805e的值。
[0136]然而，如果這種差值的總和不為零(例如，在一個實施例中甚至與零少量不同)，則該改變可以被解釋為是由于運(yùn)動而不是噪聲引起的。因此，可以基于由鄰域805a和805b呈現(xiàn)出的平均改變來檢測運(yùn)動。在這種環(huán)境下，可以重重地加權(quán)圖像幀802a的像素805a，而輕輕地加權(quán)圖像幀802b的像素805b。
[0137]也可以考慮其它實施例。例如，雖然平均的增量值805c可以被描述為基于鄰域805a和805b確定，但在其它實施例中平均的增量值805c可以基于任何期望的標(biāo)準(zhǔn)確定(例如，基于個別像素或其它類型組的像素組)。
[0138]在上述實施例中，圖像幀802a被描述為目前接收的圖像幀，圖幀802b被描述為先前時域濾波的圖像幀。在另一實施例中，圖像幀802a和802b可以是未被時域濾波的由紅外成像模塊100采集的第一和第二圖像幀。
[0139]圖10示出了關(guān)于方框826的TNR處理的進(jìn)一步的實現(xiàn)細(xì)節(jié)。如圖10所示，可以將圖像幀802a和802b分別讀入到行緩沖器1lOa和1010b，并且可以在將圖像幀802b被讀入行緩沖器1lOb之前將其存儲在幀緩沖器1020中。在一個實施例中，可以通過由紅外成像模塊100和/或主機(jī)設(shè)備102的任何適當(dāng)?shù)牟考峁┑碾S機(jī)存取存儲器(RAM)模塊來實現(xiàn)行緩沖器1010a-b和幀緩沖器1020。
[0140]再次參考圖8，可以將圖像幀802e傳遞到自動增益補(bǔ)償模塊828用于進(jìn)一步的處理，以提供如所希望的可以由主機(jī)設(shè)備102使用的最終的圖像幀830。
[0141]圖8進(jìn)一步示出了確定所述的排和列FPN項和NUC項可執(zhí)行的各種操作。在一個實施例中，如圖8所示，這些操作可以使用圖像幀802e。由于圖像幀802e已被時域濾波，因此至少一些時域噪聲可以被去除，從而將不會無意地影響確定排和列FPN項824和820和NUC項817。在另一實施例中，可以使用未時域濾波的圖像幀802。
[0142]在圖8中，圖5的方框510、515和520被共同表示在一起。如所述的，可響應(yīng)于各種NUC處理發(fā)起事件并基于各種標(biāo)準(zhǔn)或條件選擇性發(fā)起并執(zhí)行NUC處理。而且如所述的，可以根據(jù)基于運(yùn)動的方法(方框525、535和540)或基于散焦的方法(方框530)執(zhí)行NUC處理，以提供模糊的圖像幀(方框545)。圖8進(jìn)一步示出了關(guān)于圖5的先前描述的各個附加塊 550、552、555、560、565、570、571、572、573 和 575。
[0143]如圖8所示，可以以反復(fù)的方式確定和應(yīng)用排和列FPN項824和820和NUC項817，使得利用已被應(yīng)用先前項的圖像幀802確定更新的項。結(jié)果，圖8的全部操作可以重復(fù)更新并應(yīng)用這種項以連續(xù)減小被主機(jī)設(shè)備102使用的圖像幀830中的噪聲。
[0144]再次參考圖10，結(jié)合流水線800示出了圖5和8的各個方框的進(jìn)一步的實現(xiàn)細(xì)節(jié)。例如，方框525、535和540示出為以由流水線800接收的圖像幀802的標(biāo)準(zhǔn)幀速率處理。在如圖10所示的實施例中，方框525中進(jìn)行的確定表現(xiàn)為判定菱形，其用于確定給出的圖像幀802是否已充分改變，使得可以考慮，如果增加其它圖像幀則圖像幀將會改善模糊不清事物，并因此積累(在該實施例中方框535用箭頭表示)并平均(方框540)圖像幀。
[0145]而且在圖10中，將列FPN項820的確定(方框550)示出為以更新速率處理，在該實例中由于方框540中執(zhí)行的求平均值，更新速率為傳感器幀速率(例如，標(biāo)準(zhǔn)幀速率)的1/32。在其它實施例中可以使用其它更新速率。雖然在圖10中僅識別了列FPN項820，但也可以以減小的幀速率的相似的方式實現(xiàn)排FPN項824。
[0146]圖10還示出了關(guān)于方框570的NUC確定處理的進(jìn)一步的實現(xiàn)細(xì)節(jié)。在這一點(diǎn)上，可以將模糊的圖像幀讀到行緩沖器1030(例如，通過由紅外成像模塊100和/或主機(jī)設(shè)備102的任何適當(dāng)部件提供的RAM模塊實現(xiàn))。可以對模糊的圖像幀執(zhí)行圖7的平場校正技術(shù) 700。
[0147]基于本公開，將意識到，在此描述的技術(shù)可用于去除各種類型的FPN(例如，包括很高振幅的FPN)，如空間關(guān)連的排和列FPN和空間非關(guān)聯(lián)的FPN。
[0148]還考慮了其它實施例。例如，在一個實施例中，更新排和列FPN項和/或NUC項的速率能夠與模糊圖像幀中的模糊不清事物的數(shù)量成反比，和/或與本地對比度值的量級成反比(方框560中確定)。
[0149]在各種實施例中，描述的技術(shù)可以提供超過傳統(tǒng)的基于快門的噪聲校正技術(shù)的優(yōu)勢。例如，通過使用無快門處理，不需要提供快門(例如，諸如快門105)，因此允許減小尺寸、重量、成本和機(jī)械復(fù)雜度。如果不需要機(jī)械操作快門，還可以減小提供給紅外成像模塊100的或者由它產(chǎn)生的功率和最大電壓。通過移除作為潛在故障點(diǎn)的快門將會改善可靠性。無快門操作還消除了用快門臨時阻斷成像場景引起的潛在的圖像中斷。
[0150]此外，通過有意地使用由真實世界場景(不是由快門提供的均勻一致的場景)采集的模糊的圖像幀校正噪聲，可以對具有與將要成像的所希望的真實場景類似的輻射度級的圖像幀執(zhí)行噪聲校正。這樣可以改善根據(jù)各種所述的技術(shù)確定的噪聲校正項的精確性和有效性。
[0151 ] 如所討論的，在不同的實施例中，紅外成像模塊100可以配置成在低壓水平操作。特別地，紅外成像模塊100可以由配置成在低功耗處操作的電路和/或根據(jù)其他參數(shù)來實現(xiàn)，這些參數(shù)能夠允許方便有效地以不同類型的主機(jī)裝置102實現(xiàn)紅外成像模塊100，例如移動裝置和其他裝置。
[0152]例如，圖12展示了紅外傳感器組件128另一個實施方式的方框圖，包括紅外傳感器132和根據(jù)本公開的實施例的LD01220。如圖所示，圖12還展示了多個元件1202，1204，1205，1206，1208，和1210，這些元件可以以如前文相對如圖4所述的對應(yīng)元件以相同或相似的方式實現(xiàn)。圖12還展示了偏置校正電路1212，可以用于調(diào)節(jié)一個或多個提供給紅外傳感器132的偏壓(例如，補(bǔ)償溫度變化，自熱和/或其他因素)。
[0153]在一些實施方式中，LD01220可以提供為紅外傳感器組件128的一部分(例如，與ROIC在同一芯片上和/或為同一圓片級封裝)。例如，LD01220能以具有紅外傳感器組件128的FPA的一部分的形式。如所述，這樣的實現(xiàn)方式可以降低引入紅外傳感器組件128的電源噪聲，并因此提供改進(jìn)的PSRR。此外，通過與ROIC —起實現(xiàn)LD0，可使裸片面積較小并且需要較少的分立裸片(或芯片)。
[0154]通過電源線1232，LD01220接受由電源1230提供的輸入電壓。通過電源線1222，LD01220向紅外傳感器組件128的多個元件提供輸出電壓就這一點(diǎn)來說，LD01220可以給紅外傳感器組件128的多個元件提供實質(zhì)上同樣的穩(wěn)壓輸出電壓，以響應(yīng)從電源1230接收的單獨(dú)輸入電壓。
[0155]例如，在一些實施方式中，電源1230可以提供在大約2.8伏到大約11伏特范圍的輸入電壓(例如，在一個實施例中為大約2.8伏)，并且LD01220可以提供在大約1.5伏到大約2.8伏范圍的輸出電壓(例如，在一個實施例中為大約2.5伏)。在這一點(diǎn)上，LD01220可以用于提供持續(xù)的穩(wěn)壓輸出電壓，而不管電源電壓是否在大約9伏到大約11伏傳統(tǒng)的電壓范圍或者在諸如大約2.8伏的低電壓實現(xiàn)。因此，盡管輸入和輸出電壓提供多個電壓范圍，可以預(yù)期LD01220的輸出電壓將持續(xù)固定，而不受輸入電壓變化的影響。
[0156]作為紅外傳感器組件128 —部分的LD01220的實現(xiàn)方式與傳統(tǒng)FPA電源實現(xiàn)相比具有多項優(yōu)勢。例如，傳統(tǒng)FPA通常依賴多個電源，每個電源分別給FPA供電，并且電源分別分配給FPA的多個元件。通過LD01220調(diào)節(jié)單個電源1230，將適當(dāng)?shù)碾妷悍謩e提供給(例如，降低可能的噪聲)紅外傳感器組件128的所有元件，降低復(fù)雜性。盡管來自電源1230的的輸入電壓變化(例如，由于電池或電源1230使用的其他類型裝置充放電而導(dǎo)致的輸入電壓增加或降低)，LD01220的使用允許紅外傳感器組件12穩(wěn)定工作。
[0157]圖12顯示的多個紅外傳感器組件128的元件還可以在比傳統(tǒng)裝置更低的電壓操作。例如，如所討論的，LD01220可以用來提供低電壓(例如，大約2.5伏)。這與一般用于給傳統(tǒng)FPA供電的的多個較高電壓不同，諸如，給數(shù)字電路供電的大約3.3伏到大約5伏；給模擬電路供電的大約3.3伏；和用于給功率負(fù)載的大約9伏到11伏。此外，在一些實施方式中，LD01220的使用將降低或消除提供給紅外傳感器組件128的獨(dú)立負(fù)參考電壓的需求。
[0158]紅外傳感器組件128的低電壓操作的其他方面可以通過參考圖13來進(jìn)一步了解。圖13顯示了根據(jù)本公開的實施方式的圖12的紅外傳感器組件128的一部分的電路圖。特別是，圖13顯示連接到LD01220的偏置校正電路1212的附加元件(例如元件1326，1330，1332，1334，1336，1338，以及1341)，以及紅外傳感器132。例如，根據(jù)本公開的實施例，偏置校正電路1212可以被用于補(bǔ)償偏壓中隨溫度產(chǎn)生的變化。參考2010年3月16日發(fā)布的U.S.專利N0.7，679，048中確定的相似元件，可以進(jìn)一步理解該附加元件的操作，通過參考將它的全部并入這里。根據(jù)2004年11月2日發(fā)布的U.S.專利N0.6，812，465確定的多個元件可以實現(xiàn)紅外傳感器組件128，通過參考將它的全部并入這里。
[0159]在多個實施方式中，一些或全部偏置校正電路1212可以以圖13中的總體陣列基礎(chǔ)來實現(xiàn)(例如，整體用于在陣列中的所有紅外傳感器132)。在其他實施方式中，一些或全部偏置校正電路1212可以以單個傳感器基礎(chǔ)來實現(xiàn)(例如，整體或部分復(fù)制的用于每個紅外傳感器132)。在一些實施方式中，偏置校正電路1212和圖13的其他元件可以作為R0IC1202的一部分來實現(xiàn)。
[0160]如圖13所示，LD01220沿著電源線1222中的一條向偏置校正電路1212提供負(fù)載電壓Vload。如所述的那樣,在一些實施方式中，Vload可以為大約2.5伏,與傳統(tǒng)紅外成像裝置中作為負(fù)載電壓使用的較大電壓大約9伏到11伏不同。
[0161]基于Vload，偏置校正電路1212在節(jié)點(diǎn)1360提供傳感器偏置電壓Vbolo。Vbolo可以通過適當(dāng)?shù)拈_關(guān)電路1370分配到一個或多個紅外傳感器132 (例如，圖13中虛線所代表的)。在一些示例中，開關(guān)電路1370可以根據(jù)上文參考的美國專利6，812，465和7，679，048中一致的適當(dāng)元件來實現(xiàn)。
[0162]每個紅外傳感器132包括通過開關(guān)電路1370接收Vbolo的節(jié)點(diǎn)1350，和另一個接地節(jié)點(diǎn)1352，襯底，和/或負(fù)參考電壓。在一些實施例中，節(jié)點(diǎn)1360處的電壓與節(jié)點(diǎn)1350處的Vbolo實質(zhì)相同。在另外的實施例中，節(jié)點(diǎn)1360處的電壓適于補(bǔ)償與開關(guān)電路1370和/或其他因素相關(guān)的可能電壓降。
[0163]與傳統(tǒng)紅外傳感器典型使用的偏置相比，Vbolo可以由較低的電壓來實現(xiàn)。在一個實施例中，Vbolo可以在大約0.2伏到大約0.7伏的范圍。在另一個實施例中，Vbolo可以在大約0.4伏到大約0.6伏的范圍。在再一個實施例中，Vbolo可以在大約0.5伏。于此相對照，傳統(tǒng)紅外傳感器典型的使用大約I伏偏置電壓。
[0164]根據(jù)本公開的紅外傳感器132較低偏壓的使用允許紅外傳感器組件128展現(xiàn)與傳統(tǒng)紅外成像裝置相比顯著降低的功耗。特別是，每個紅外傳感器132的功耗降低與偏壓的平方相關(guān)。結(jié)果，例如從1.0伏到0.5伏電壓的降低能帶來功率的顯著降低，特別是應(yīng)用到紅外傳感器陣列中的很多紅外傳感器132.該功率降低能產(chǎn)生紅外傳感器組件128的自熱。
[0165]根據(jù)本公開的其他實施方式，提供多種技術(shù)用于降低由紅外傳感器裝置低壓操作時提供的圖像幀中的噪聲效應(yīng)。在這一點(diǎn)上，當(dāng)紅外傳感器組件128以如所述低壓操作時，如果沒有校正，噪聲，自熱，和/或其他現(xiàn)象可能會在紅外傳感器組件128提供的上圖像幀中更顯著。
[0166]例如，參考圖13，當(dāng)LD01220以這里描述的方式在低壓維持Vload時，Vbolo也將在其響應(yīng)的低電壓被維持并且可以降低其輸出信號的相應(yīng)強(qiáng)度。結(jié)果，噪聲，自熱，和/或其他現(xiàn)象將在紅外傳感器132讀出的較小輸出信號上產(chǎn)生較大的效應(yīng)，使輸出信號上產(chǎn)生變化(例如，誤差)。如果不糾正，這些變化可以在圖像幀中以噪聲形式展示。此外，盡管低電壓操作可以降低相關(guān)現(xiàn)象的總量(例如，自熱)，較小的輸出信號可以允許其它的誤差源(例如，剩余自熱)在低壓操作期間在輸出信號上造成不成比例的效應(yīng)。
[0167]為了補(bǔ)償這種現(xiàn)象，紅外傳感器組件128，紅外成像模塊100和/或主機(jī)裝置102可以用多種陣列尺寸，幀速率，和/或幀平均技術(shù)來實現(xiàn)。例如，如所討論的，多種不同的陣列尺寸都可以適用于紅外傳感器132。在一些實施方式中，紅外傳感器132可以從32 X 32到160X120范圍的陣列尺寸紅外傳感器132實現(xiàn)。另一示例陣列尺寸包括80X64，80X60，64 X 64，和64 X 32?？梢允褂萌魏晤A(yù)期的陣列尺寸。
[0168]有利地，當(dāng)用相對較小的矩陣尺寸來實現(xiàn)的時候，紅外傳感器組件128可以提供以相對高的幀速率提供圖像幀，而無需顯著改變ROIC和相關(guān)電路。例如在一些實施例中，幀速率可以從大約120赫茲到大約480赫茲的范圍。
[0169]在一些實施例中，陣列尺寸和幀速率可以相對彼此調(diào)節(jié)尺寸(例如，以相反比例方式或相反)，這樣較大的陣列可以有較低幀速率來實現(xiàn)，而較小陣列由較大幀速率來實現(xiàn)。例如，在一個實施例中，160X 120的陣列可以提供大約120赫茲的幀速率。在另一個實施例中，80X60的陣列可以提供相應(yīng)較高的大約240赫茲的幀速率。其他幀速率也是這樣預(yù)期的。
[0170]通過彼此相對調(diào)節(jié)陣列尺寸和幀速率，F(xiàn)PA行和/或列的特定讀出時間可以保持恒定，而與實際FPA尺寸或幀速率無關(guān)。在一個實施方式中，讀出時間大約為63微秒每行或列。
[0171]正如上文相對圖8所討論的，由紅外傳感器132采集的圖像幀可以提供給幀平均器804，其整合多個圖像幀以向圖像幀802 (例如，處理的圖像幀)提供較低幀速率(例如大約30赫茲、60赫茲或其他幀速率)，并提供較好的信噪比。特別是，通過平均由相對小FPA提供的高幀速率圖像幀，圖像幀802中來源于低壓操作的圖像噪聲可以有效地達(dá)到平均水平和/或?qū)嵸|(zhì)降低。因此，在由幀平均器804處理以后，紅外傳感器128能以由已討論的LD01220提供的相對低電壓操作，而不會在所得的圖像幀802中產(chǎn)生額外噪聲和相關(guān)的副作用。
[0172]也可以預(yù)期其他實施方式。例如，盡管顯示了紅外傳感器132的單一陣列，可預(yù)期多個這樣的陣列可以一起使用以提供較高分辨率的圖像幀(例如，通過多個這樣陣列顯示的圖像)。這樣的陣列可以以多個紅外傳感器組件128提供和/或以相同的紅外傳感器組件128提供。每個這樣的陣列可以以討論過的低壓操作，并還可以包含輔助的ROIC電路，這樣每個陣列可以以較高幀速率操作。這樣陣列提供的高幀速率圖像可以通過共享或?qū)Ｓ脦骄?04來平均，以降低和/或消除與低壓操作相關(guān)的噪聲。作為結(jié)果，在低壓操作時仍可以獲得較高分辨率的紅外圖像。
[0173]在多個實施例中，紅外傳感器組件128可以在合適的尺寸實現(xiàn)以允許紅外成像模塊100用于小封裝插頭104，諸如用于移動裝置的插頭。例如，在一些實施方式中，紅外傳感器組件128可以以大約4.0毫米X 4.0毫米到大約5.5毫米X 5.5毫米范圍的芯片尺寸來實現(xiàn)(例如，一個實施例為大約4.0毫米X 5.5毫米)。紅外傳感器組件128可以以這種尺寸或其他能與插頭104 —起使用的合適尺寸來實現(xiàn)，其中，插頭可以由多個尺寸來實現(xiàn)，8.5暈米X 8.5暈米，8.5暈米X 5.9暈米，6.0暈米X 6.0暈米，5.5暈米X 5.5暈米，4.5毫米X 4.5毫米，和/或其他插頭尺寸，諸如，前述參考的美國臨時專利申請61/495，873表一種所不的。
[0174]參見圖14，方框圖中顯示主機(jī)系統(tǒng)102的另一種實現(xiàn)方式，顯示系統(tǒng)102如何可以根據(jù)本公開的實施方式在諸如紅外成像模塊100的一個或多個紅外成像模塊以外，包含一個或多個非熱能成像模塊，諸如可見光相機(jī)模塊1406。系統(tǒng)102可以用于監(jiān)視諸如場景1430的現(xiàn)實場景。
[0175]系統(tǒng)102可以包括一個或多個紅外成像模塊100, —個或多個可見光相機(jī)1406,和圖1所描述的額外元件(例如處理器195，存儲器196，顯示器197，一個或多個動態(tài)傳感器194,和/或諸如控制面板,警示元件,或通信元件的其他元件198)。在多個實施方式中，圖14的系統(tǒng)102元件可以以與圖1主機(jī)裝置102的相應(yīng)元件相同或相似的方式實現(xiàn)。此外，系統(tǒng)102的元件可以配置成實現(xiàn)多個NUC過程和這里描述的其他過程。
[0176]如圖14中顯示的，在一些實施方式中，紅外成像模塊100可以包括多個光學(xué)元件1403 (例如，一個或多個紅外透射鏡頭，一個或多個紅外透射棱鏡，一個或多個紅外反射鏡，或一個或多個紅外光纖元件)，引導(dǎo)從場景1430到紅外成像模塊100的FPA的紅外輻射。在一些實施方式中，光學(xué)元件1403可以被用于合適地確定或改變紅外成像模塊100的F0V1404?？梢赃x擇性地提供可變換的F0V(例如，由紅外成像模塊100和/或處理器195選擇的)，在例如需要預(yù)期場景1430中一部分的選擇特寫時是有用的。
[0177]光學(xué)元件1403可以包括一個或多個濾波器適于傳遞一些波長的紅外輻射，而大大阻礙其他波長的紅外傳遞(例如短波紅外(SWIR)濾波器，中波紅外(MWIR)濾波器，長波紅外(LWIR)濾波器，和窄帶濾波器)。這樣的濾波器可以調(diào)整紅外成像模塊100，使之對所需的紅外波長段更加敏感。例如，在一些情況下，可能需要探測人活動物呼出的氣息。在這種情況下，利用窄帶濾波器可以獲得更好的結(jié)果，窄帶濾波器的傳輸波長僅與二氧化碳或呼出氣息中其他氣體成分的特定吸收/排放光譜相匹配。在一些實施方式中，濾波器是可選擇的(例如，提供為可選的濾光輪)。在其他的實施方式中，濾波器是固定的，適于系統(tǒng)102的所需應(yīng)用。
[0178]可見光相機(jī)1406可以為一個小型非熱能成像模塊或成像裝置，并且可以以這里公開的紅外成像模塊100的多個實施例的相似方式來實現(xiàn)，但具有一個或多個相應(yīng)非熱能輻射的傳感器(例如，電磁光譜的可見光，近紅外，短波紅外，或其他非熱能部分的輻射)。例如，在一些實施例中，可見光相機(jī)1406可以由電荷耦合器(CCD)傳感器，電子倍增CCD(EMCCD)傳感器，補(bǔ)償性金屬氧化物半導(dǎo)體(CMOS)傳感器，科學(xué)級CMOS(sCMOS)傳感器，增強(qiáng)電荷耦合器件(ICCD)，或其他傳感器來實現(xiàn)。
[0179]如圖14所不,在一些實施方式中，可見光相機(jī)1406包括多個光學(xué)兀件1405(例如，一個或多個鏡頭，一個或多個彩色過濾器，一個或多個棱鏡，一個或多個鏡面，或一個或多個光纖兀件)引導(dǎo)非熱能福射從場景1430到可見光相機(jī)模塊1406。在一些實施例中，光學(xué)元件1405可以用于適當(dāng)確定或改變可見光相機(jī)模塊1406的F0V1407。在例如預(yù)期場景1430的一部分的選擇特寫鏡頭時，可選擇性提供可變換的FOV(例如，可由可見光相機(jī)模塊1406和/或處理器195選擇)是有用的。如果需要，可操作元件1403和1405，在系統(tǒng)102的紅外傳感器模式和可見光傳感模式之間切換。
[0180]光學(xué)元件1405可以包括一個或多個過濾器適于傳遞一些波長(彩色)的輻射，而大大阻擋其他波長(例如紅色濾波器，藍(lán)色濾波器，綠色濾波器，近紅外彩色濾波器，短波紅外濾波器和窄帶濾波器)的輻射。在一些實施方式中，元件1405的濾波器是可選擇的(例如具有可選擇濾光輪)。在其他實施方式中，元件1405的濾波器可以是固定的，適于系統(tǒng)102的所需應(yīng)用。盡管相機(jī)模塊1406有時在這里以一可見光相機(jī)模塊為例，顯而易見的是，相機(jī)模塊1406可以為這里描述的任何能對入射光線產(chǎn)生相應(yīng)圖像的非熱能相機(jī)模塊，該入射光線具有任何合適的非熱能波段(例如，可見光波長，近紅外波長，短波紅外波長或其他比熱紅外波長短的其他波長)。
[0181]在一些實施方式中，非熱能圖像諸如能由可見光相機(jī)1406采集的可見光圖像可以由處理器195接收，其可設(shè)置為用來將可見光圖像與由這里進(jìn)一步描述的紅外成像模塊100采集的熱圖像相混合，疊加或結(jié)合。
[0182]在一些實施例中,可見光相機(jī)1406與可見光模塊100共同位于外殼結(jié)構(gòu)并定位，這樣可見光相機(jī)1406的F0V1407至少部分與紅外成像模塊100的F0V1404重疊。在一個示例中，紅外成像模塊100和可見光相機(jī)1406可以根據(jù)上述引用的美國臨時專利申請61/748，018描述的多種技術(shù)由共享共用襯底的雙傳感器模塊實現(xiàn)。這種雙傳感器模塊實現(xiàn)可包括共用電路和/或用于紅外成像和可見光成像的共用約束裝置，因此，與紅外成像模塊100和可見光相機(jī)1406以獨(dú)立模塊實現(xiàn)相比，潛在地降低了系統(tǒng)102的整體尺寸。此夕卜，通過減小紅外成像模塊100和可見光相機(jī)1406之間的距離，雙傳感器模塊適于減小紅外成像模塊100和可見光相機(jī)1406采集圖像的視差。
[0183]由紅外成像模塊100采集、處理和/或管理的紅外圖像可以為輻射度歸一化的紅夕卜圖像(例如，熱圖像)。即，組成采集圖像的像素可以包括已校準(zhǔn)的熱數(shù)據(jù)(例如，溫度數(shù)據(jù))。如上文結(jié)合圖1討論的，紅外成像模塊100和/或相關(guān)元件可以使用適當(dāng)?shù)募夹g(shù)進(jìn)行校準(zhǔn)，這樣由紅外成像模塊100采集的圖像可以為準(zhǔn)確校準(zhǔn)的熱圖像。在一些實施方式中，可以由紅外成像模塊100和/或處理器195周期性的進(jìn)行合適的校準(zhǔn)，這樣紅外成像模塊100，和由其采集的熱圖像可以具有適當(dāng)?shù)男?zhǔn)度。
[0184]輻射度歸一化使紅外成像模塊100和/或處理器195可以有效從熱圖像中探測具有特殊溫度范圍的目標(biāo)。紅外成像模塊100和/或處理器195可以高效和有效地探測到這些物體，因為物體的熱圖像具有特別的溫度，可以很容易與背景和其他物體相區(qū)別，而不易受到光照條件或遮擋(例如衣物的遮擋)的影響。
[0185]參考圖15，所示為紅外成像模塊100采集一個示例的熱圖像1530(為了易于理解顯示為一個用戶可見的熱圖像，較亮的部分代表較高的溫度)。如該示例熱圖像顯示的，人類，諸如人1534—般表現(xiàn)出比背景溫度更高，諸如背景1532。此外，面部特征1533，例如嘴巴和鼻孔，眼鏡1536，衣物部分1535，和物體1540 (例如人手拿著的物體)一般表現(xiàn)出可以在熱圖像(諸如熱圖像1530)中區(qū)分開來的不同溫度。因此，使用這里或其他地方描述的適當(dāng)探測和追蹤操作，人的不同特征諸如在熱圖像(諸如熱圖像1530)中被探測的人1534的不同特征可以被準(zhǔn)確并仍然高效的區(qū)分和追蹤出來。
[0186]在一些實施方式中，如果有可見光相機(jī)1406采集的可見光圖像，可以配置處理器195結(jié)合或換用可見光圖像來追蹤場景的特征，諸如多個單人，或甚至是單個人的臉或面部特征。例如，可見光圖像可以在一定的環(huán)境光條件下，提供比熱圖像更多的細(xì)節(jié)和對比，并因此可以在有利的光條件下，使用合適的面部追蹤算法來分析。在另一個示例中，可以分析可見光圖像和熱圖像以互補(bǔ)地增加探測和追蹤準(zhǔn)確性。在再一個示例中，可以如這里描述的方式，結(jié)合或融合熱圖像和可見光圖像，并且可以分析結(jié)合或融合的圖像以追蹤圖像的特征。如果將處理器195配置成利用可見光圖像探測和追蹤場景的特征，處理器可以進(jìn)一步配置，將可見光圖像中追蹤到的特征的像素坐標(biāo)轉(zhuǎn)換至熱圖像中的相應(yīng)像素坐標(biāo)。
[0187]在一些實施例中，來自一個或多個紅外成像模塊(諸如紅外成像模塊100)的熱圖像和來自一個或多個非熱能相機(jī)模塊(諸如可見光相機(jī)模塊1406)的非熱能圖像可以融合或結(jié)合，以產(chǎn)生具有較高清晰度、對比度和/或細(xì)節(jié)的圖像。
[0188]根據(jù)參考圖16詳細(xì)描述一個或多個實施例的該融合或結(jié)合操作，其為結(jié)合或融合熱圖像和非熱能(例如可見光)圖像過程1600的流程圖。結(jié)合的圖像可以包括輻射度數(shù)據(jù)和/或其他對應(yīng)場景1430的紅外特性，但是與一般由熱或非熱能圖像單獨(dú)提供的圖像相比，具有顯著更多的物體細(xì)節(jié)(例如，輪廓或邊界細(xì)節(jié))和/或?qū)Ρ榷?。因此，例如，在這些示例中產(chǎn)生的結(jié)合圖像可以受益于提供充分的輻射度信息，細(xì)節(jié)和對比度，以允許對物體(諸如場景中的人類或動物)的存在，位置，場地或其他特征進(jìn)行更容易的識別和/或解釋。
[0189]盡管與圖16相關(guān)的過程描述可見光圖像融合或結(jié)合熱圖像作為示例，可以認(rèn)為這個過程也可以應(yīng)用到將熱圖像與任何合適的非熱能圖像(例如可見光圖像，近紅外圖像，短波紅外圖像，EMCXD圖像，ICXD圖像或其他非熱能圖像)的結(jié)合上。
[0190]在方框1602，可以接收可見光圖像和紅外圖像(諸如熱圖像)。例如，場景1430的可見光圖像可以由可見光相機(jī)1406采集，且采集的可見光圖像可以由處理器195接收。例如，處理器195可以利用熱圖像和非熱圖像進(jìn)行過程1600中的各種操作。
[0191]在方框1604，一個或多個可見光和熱圖像的高空間頻率內(nèi)容可以從方框1602的一個或多個可見光和熱圖像中衍生。例如，根據(jù)多個實施方式衍生的高空間頻率內(nèi)容可以包括從一個或多個可見光和熱圖像提取的邊緣/輪廓細(xì)節(jié)和/或高對比度像素。
[0192]在一個實施方式中，高空間頻率內(nèi)容可以衍生自通過執(zhí)行圖像上的高通濾波器(例如空間濾波器)接收的圖像，其中高通濾波器操作的結(jié)果是高空間頻率內(nèi)容。在另一可選的實施例中，高空間頻率內(nèi)容可以衍生自對接收的圖像先執(zhí)行低通濾波器操作，然后從原始圖像中去除濾波所得的結(jié)果而獲得的內(nèi)容，該內(nèi)容是高空間頻率內(nèi)容。在另外的實施方式中，高空間頻率內(nèi)容可以由不同的成像產(chǎn)生的圖像集中衍生出來，例如，其中一個圖像從第二個圖像中減去，第二圖像是從第一圖像以一定樣式干擾產(chǎn)生的，減去的結(jié)果是高空間頻率內(nèi)容。例如，紅外成像模塊100的光學(xué)元件1403和/或可見光相機(jī)1406的光學(xué)元件1405可以配置成將振動、散焦和/或移動的人造效果引入到一系列圖像中，該圖像由紅外成像模塊100和可見光相機(jī)1406中的一個或兩個所采集。高空間頻率內(nèi)容可以從減去的圖像(諸如系列中的相鄰圖像)中衍生出來。
[0193]在一些實施方式中，高空間頻率內(nèi)容可以僅從可見光圖像或熱圖像中衍生出來。在其他的實施方式中，高空間頻率內(nèi)容可以僅從單一可見光或熱圖像中衍生出來。在進(jìn)一步的實施方式中，高空間頻率內(nèi)容可以可見光和/或熱圖像中的一個或多個元件中衍生出來，諸如可見光圖像的發(fā)光元件，例如，或熱圖像的輻射度元件。產(chǎn)生高空間頻率內(nèi)容可以臨時存放(例如在存儲器196)，和/或根據(jù)方框1608來進(jìn)一步處理。
[0194]在方框1606，一個或多個熱圖像可以被降噪。例如，處理器195可以配置成使用多個圖像處理操作來使場景1430的一個或多個熱圖像降噪、平滑或變模糊。在一個實施方式中，從熱圖像中去除高空間頻率噪聲能使處理的熱圖像與按照方框1604產(chǎn)生的高空間頻率內(nèi)容相結(jié)合，同時使對場景1430中組合圖像所描繪的物體引入雙邊緣(如邊緣噪聲)的風(fēng)險顯著減小。
[0195]在一個實施方式中，從熱圖像中去除噪聲可以包括用一低通濾波器(如一空間和/或時間濾波器)對圖像進(jìn)行處理，該低通濾波器的操作結(jié)果是去噪或處理完的熱圖像。在一個進(jìn)一步的實施方式中，從一個或多個熱圖像中去噪可以對熱圖像先降低采樣率再提高采樣率而得到最初的分辨率。
[0196]在另一實施方式中，可以通過主動模糊場景1430中的熱圖像來得到處理后的熱圖像。例如，可以設(shè)置光學(xué)器件1403，使模塊100獲取的一個或多個熱圖像輕微失焦。所得的故意模糊的熱圖像可以充分去噪或模糊，從而可以降低或消除在場景1430的組合圖像中引入雙邊緣的風(fēng)險，下面會進(jìn)一步闡述。在另一實施方式中，作為使用光學(xué)器件1403的替代或補(bǔ)充，處理器195可以用來對所得熱圖像進(jìn)行模糊或平滑圖像的操作，以對場景1430中的熱圖像進(jìn)行主動模糊。所得的處理后的熱圖像可以臨時存放(例如在存儲器196)，和/或根據(jù)方框1608來進(jìn)一步處理。
[0197]在方框1608中，高空間頻率內(nèi)容可以與一個或多個熱圖像混合。例如，可以設(shè)置處理器195，將方框1604所產(chǎn)生的高空間頻率內(nèi)容與場景1430中的一個或多個熱圖像混合，如在方框1606中所提供的處理后的熱圖像。
[0198]在一個實施方式中，可以將高空間頻率內(nèi)容添加到熱圖像上而將高空間頻率內(nèi)容與熱圖像相混合，這樣該高空間頻率內(nèi)容替換或覆蓋熱圖像中相應(yīng)的高空間頻率內(nèi)容存在的部分。例如，該高空間頻率內(nèi)容可以包括場景1430中圖像所繪物品的邊緣，但可能在該物品的內(nèi)部并不存在。如模塊1610中所述，在該實施方式中，混合的圖像數(shù)據(jù)可以只簡單包括高空間頻率內(nèi)容，其可以接下來編入組合圖像的一個或多個元件中。
[0199]例如，熱圖像的一輻射度元件可以是該熱圖像的一色度元件，而高空間頻率內(nèi)容可以從可見光的亮度和/或色度元件中產(chǎn)生。在該實施方式中，組合圖像可以包括編入該組合圖像亮度元件的輻射元件(例如，該熱圖像的色度元件)，以及直接編入該組合圖像亮度元件的高空間頻率內(nèi)容(例如，作為混合圖像數(shù)據(jù)但具有非熱圖像貢獻(xiàn))。通過這樣的安排，可以保持熱圖像輻射度元件的輻射度校準(zhǔn)。在相似的實施例中，混合圖像數(shù)據(jù)可以包括加入熱圖像亮度元件的高空間頻率內(nèi)容，以及由此產(chǎn)生的編入產(chǎn)生的組合圖像亮度元件的混合數(shù)據(jù)。
[0200]在另外的實施方式中，高空間頻率內(nèi)容可以從一個或一系列可見光和/或熱圖像的一個或多個特定元件來獲得，并且高空間頻率內(nèi)容可以被編入相應(yīng)的一個或多個組合圖像的元件。例如,高空間頻率內(nèi)容可以從可見光譜圖像的亮度元件獲得,并且高空間頻率內(nèi)容(在本實施方式中是所有的亮度圖像數(shù)據(jù))可以被編入組合圖像的亮度元件。
[0201]在其他實施例中，高空間頻率內(nèi)容可以使用混合參數(shù)和算術(shù)方程與熱圖像混合。例如，在一個實施方式中，高空間頻率內(nèi)容可以從可見光圖像的亮度元件獲得。在這樣的實施方式中，根據(jù)混合參數(shù)和混合方程，高空間頻率內(nèi)容可以與相應(yīng)的熱圖像的亮度元件相混合，以產(chǎn)生混合圖像數(shù)據(jù)。混合故鄉(xiāng)數(shù)據(jù)可以編入組合圖像的亮度元件，例如，熱圖像的色度元件可以編入混合圖像的色度元件。在一些實施例中，紅外圖像的輻射度元件可以是它們的色度元件，組合圖像可以保持熱圖像的輻射度校準(zhǔn)。在其它實施例中，輻射度元件的一部分可以與高空間頻率內(nèi)容混合，并接著被編入組合圖像。
[0202]更一般地，高空間頻率內(nèi)容可以從可見光圖像和/或熱圖像中的一個或多個元件中獲得。在這個實施方式中，高空間頻率內(nèi)容可以與熱圖像的一個或多個元件混合，以產(chǎn)生混合的圖像數(shù)據(jù)(例如，使用混合參數(shù)和混合方程)，并產(chǎn)生組合圖像，其可以包括編入相應(yīng)組合圖像的一個或多個元件的混合圖像數(shù)據(jù)。在一些實施方式中，混合數(shù)據(jù)的一個或多個元件不需要相應(yīng)組合圖像的最終一個或多個元件(例如，色彩空間/形式變換可以作為編碼過程的一部分來實現(xiàn))。
[0203]混合參數(shù)值可由用戶選擇，或可以由處理器195根據(jù)內(nèi)容或其他數(shù)據(jù)自動確定，例如，根據(jù)系統(tǒng)102所需的圖像增強(qiáng)水平來確定。在一些實施例中，當(dāng)顯示混合圖像(例如通過顯示器197)時，混合參數(shù)可以被調(diào)節(jié)或被改進(jìn)。在一些實施方式中，可以選擇混合參數(shù)，使得混合圖像數(shù)據(jù)僅包括熱特性或可選為僅為可見光特性?；旌蠀?shù)可以用范圍進(jìn)行限定，例如，所產(chǎn)生的混合數(shù)據(jù)，相對于特定色彩空間/形式或顯示的動態(tài)范圍不會過界。
[0204]作為上述過程的補(bǔ)充或替代，如前文參考的美國專利申請13/427,645號所公開的，根據(jù)高對比模式的處理過程包括一個或多個處理步驟，處理步驟的次序，計算組合，和/或混合參數(shù)的調(diào)節(jié)。例如，下列方程可以用于確定結(jié)合圖像的元件Y，Cr和Cb，其中Y元件來自高通濾波的可見光圖像，而Cr和Cb元件來自熱圖像。
[0205]hp_y_vis = highpass (y_vis)
[0206](y_ir, cr_ir, cb_ir) = colored(lowpass(ir_signal_linear))
[0207]在上述方程中，highpass (y_vis)是來自對可見光圖像的亮度元件進(jìn)行高通濾波所得的高空間頻率內(nèi)容。
[0208]colored (lowpass (ir_signal_l inear))為低通濾波后的熱圖像產(chǎn)生的亮度和色度元件。在一些實施例中，熱圖像可以包括選為最大亮度0.5倍的亮度元件(例如，顯示和/或處理過程)。在相關(guān)的實施方式中，熱圖像的輻射度元件可以是熱圖像的色度元件。在一些實施例中，熱圖像的y_ir元件可以舍棄，并且組合圖像的元件可以采用上述命名方法記為(hp_y_vis, cr_ir, cb_ir)。
[0209]在另一實施例中，下列方程可以用于確定結(jié)合圖像的元件Y，Cr和Cb，其中Y元件來自高通濾波的可見光圖像，而Cr和Cb元件來自熱圖像。
[0210]comb_y = y_ir+alpha X hp_y_vi s
[0211]comb_cr = cr_ir
[0212]comb_cb = cb_ir
[0213]alpha的變體給用戶決定組合圖像中需要多大對比度的機(jī)會。當(dāng)alpha接近O時，將顯示熱圖像自身，當(dāng)alpha非常大時，組合圖像中可以見到非常尖銳的輪廓/邊緣。理論上來說，alpha可以是無限大的數(shù)，但在實踐中，需要對數(shù)值進(jìn)行限定，以限制alpha的大小到本申請中合適的數(shù)值。
[0214]一旦高空間頻率內(nèi)容與一個或多個熱圖像混合，過程將進(jìn)行到方框1610，混合的數(shù)據(jù)可以編入組合圖像的元件從而形成組合圖像。
[0215]在方框1610，混合數(shù)據(jù)可以被編入組合圖像的一個或多個元件。例如，處理器195可以配置成將來自或產(chǎn)生自方框1608的混合數(shù)據(jù)編入組合圖像，該組合圖像增加，改進(jìn)或增強(qiáng)由可見光或熱圖像所傳遞的其單獨(dú)觀測到的信息。在一些實施例中，將混合圖像數(shù)據(jù)編入組合圖像的元件可以包括額外的圖像處理操作，例如，諸如動態(tài)范圍調(diào)節(jié)，歸一化，增益和偏移操作，噪聲降低，和色彩空間轉(zhuǎn)換，諸如此類。
[0216]此外，處理器195可以配置成將其他圖像數(shù)據(jù)編入組合圖像。例如，如果混合圖像數(shù)據(jù)編入組合圖像的亮度元件，可見光圖像或熱圖像的色度元件可以編入組合圖像的色度元件。源圖像的選擇可以通過用戶輸入得到，例如，或基于情況或其他數(shù)據(jù)自動確定。更一般地，在一些實施方式中，沒有與混合數(shù)據(jù)編碼的組合圖像的元件可以編入可見光圖像或熱圖像的相應(yīng)元件。通過這樣的安排，熱圖像的輻射度校準(zhǔn)和/或可見光圖像的色彩空間校準(zhǔn)可以在產(chǎn)生組合的圖像中得以保留。
[0217]在一些實施方式中，這里描述的處理器195的至少部分或一些功能可以作為紅外成像模塊100的一部分來實現(xiàn)，例如，在與圖3結(jié)合描述的處理模塊160。在一些實施例中，處理器195的至少一部分或一些功能可以部分或與外部裝置(諸如移動電話，平板裝置，移動手提設(shè)備，筆記本電腦，臺式電腦，車載信息顯示系統(tǒng)，或其他可以用于展示來自監(jiān)視系統(tǒng)的監(jiān)視信息的裝置)的現(xiàn)有處理器一起實現(xiàn)。在其他實施方式中，處理器195可以與該其他外部處理器以及與這些處理器相關(guān)的元件進(jìn)行接口和通信。
[0218]在一個有時在這里作為示例討論的適合配置中，系統(tǒng)102可以作為可佩戴的裝置，諸如圖17的可佩戴成像裝置1700來實現(xiàn)。如圖17所示，可佩戴成像裝置1700可以包括一個或多個可佩戴結(jié)構(gòu)，諸如可佩戴結(jié)構(gòu)1701，以及一個或多個紅外成像模塊100?？膳宕鞒上裱b置1700例如可以是可佩戴多傳感器陣列，包括多個紅外成像模塊100，每個模塊具有覆蓋場景(諸如場景1430) —部分的視野(FOV)。
[0219]在一個實施方式中，可佩戴結(jié)構(gòu)1701可以為頭部件，諸如保護(hù)佩戴者頭部防止摔倒、墜落物體或拋射物(諸如子彈)傷害的保護(hù)頭盔。然而，這只是示意性的。如果需要，可佩戴結(jié)構(gòu)1701可以是其他可佩戴結(jié)構(gòu)，諸如帽子、雙肩背包、手臂綁帶、腿帶、護(hù)目鏡、眼鏡或其他合適的能固定和整合紅外成像裝置的服飾部件。
[0220]如圖17所示，可佩戴成像裝置1700可以包括一個或多個可見光相機(jī)1406，一個或多個動作傳感器194，一個或多個電池(諸如電池1704)，存儲器(諸如存儲器196)，一個或多個處理器(諸如處理器195)，通信元件(諸如有線或無線通信元件1706)，以及一個或多個佩戴者警示模塊(諸如警示模塊1702)。
[0221]警示元件1702可以包括一個或多個觸覺元件，聲音元件，發(fā)光元件，發(fā)熱元件，顯示器(諸如顯示器197)，或其他合適的用于給可佩戴成像裝置1700的佩戴者提供警示的元件，該警示反應(yīng)出在自紅外成像模塊100和/或可見光相機(jī)1406的圖像數(shù)據(jù)中探測到物體。
[0222]觸覺元件包括機(jī)械振動器，壓電元件，或用于在裝置1700中產(chǎn)生運(yùn)動的移動元件以警示裝置1700的佩戴者。聲音元件可以包括一個或多個揚(yáng)聲器。發(fā)光元件可以包括一個或多個發(fā)光二極管，燈泡，顯示器一部分，或其他發(fā)光元件。發(fā)熱元件包括阻抗加熱元件，諸如陶瓷加熱元件或其他合適的用于產(chǎn)生熱的元件以警示裝置1700的佩戴者，在熱和/或可見光圖像內(nèi)有探測到的物體。顯示器可以包括黑白或彩色顯示器，利用任何合適的顯示技術(shù)(例如，液晶，發(fā)光二極管或其他顯示技術(shù))來顯示。
[0223]電池1704可以是鋰離子電池，鋰聚合物電池，鎳鎘電池，鎳金屬氫化物電池，或其他合適類型的用于便攜式可佩戴成像裝置的電池技術(shù)。系統(tǒng)1700可以包括一個、兩個、三個或多于三個電池，或如果需要，系統(tǒng)1700可以由外部電池或電池組充電(例如經(jīng)與背包或其他便攜式容器中電池的有線連接)。
[0224]存儲器196可以包括一個或多個存儲器裝置，以存儲數(shù)據(jù)或信息，包括熱圖像和監(jiān)視信息。一個或多個存儲器裝置可以包括多種用于熱圖像或其他信息存儲的存儲器，包括易失存儲器和非易失存儲器裝置，諸如RAM(隨機(jī)存儲存儲器)和R0M(只讀存儲器)，EEPROM(電可擦只讀存儲器)，閃存，和/或磁盤驅(qū)動器。在一個實施方式中，為了回顧和/或進(jìn)一步分析裝置1700監(jiān)視的環(huán)境境況，存儲在一個或多個存儲器中的熱圖像和監(jiān)視信息可以隨后被恢復(fù)。在多個實施方式中，處理器195可以配置成執(zhí)行存在在存儲器196中的軟件指令，以這里描述的方式，實現(xiàn)多種方法，過程或操作。
[0225]顯示器197可以配置成展示，指示或表達(dá)由處理器195，紅外成像模塊100，和/或可見光相機(jī)1406產(chǎn)生的監(jiān)測信息。在多個實施方式中，顯示器197可以由電子顯示屏(諸如液晶顯示器(LCD)，陰極射線管(CRT)，發(fā)光二極管(LED)或多個其他類型的廣泛已知的視頻顯示器和監(jiān)視器)來實現(xiàn)。根據(jù)這些實施方式的顯示器197可以適于展示來自由紅外成像模塊100采集的熱圖像，由處理器195轉(zhuǎn)換的用戶可見熱圖像。
[0226]在一些實施方式中，現(xiàn)有的外部裝置(諸如移動電話，平板裝置，筆記本電腦，桌面電腦，車載信息顯示系統(tǒng)，或其他可以接收熱圖像和/或監(jiān)視自可佩戴成像裝置1700的裝置)顯示屏向用戶展示監(jiān)視信息。
[0227]在這一點(diǎn)上，通信元件1706可以配置成處理，管理或促進(jìn)可佩戴成像裝置1700的多個元件之間，與可佩戴成像裝置1700與外部裝置之間的有線和/或無線通信。例如，可佩戴成像裝置1700，可以向其他可佩戴成像裝置1700發(fā)送和接收數(shù)據(jù)，或通過通信元件1706向其他設(shè)備(諸如基站)發(fā)送和接收數(shù)據(jù)。在其他示例中，通過設(shè)置為管理有線和/或無線連接的通信元件1706，可佩戴成像裝置1700可以向外部設(shè)備發(fā)送和接收數(shù)據(jù)，該外部設(shè)備可以接收和進(jìn)一步處理原始/處理過的熱圖像和/或監(jiān)視信息以便展示給用戶。
[0228]在多個實施方式中，通信元件1706可以包括無線通信元件(基于IEEE802.1lffifi標(biāo)準(zhǔn)，藍(lán)牙TM標(biāo)準(zhǔn)，紫蜂(ZigBee)?標(biāo)準(zhǔn)，或其他合適的近程通信標(biāo)準(zhǔn))，無線廣域元件(例如基于WiMax技術(shù))，移動蜂窩元件，無線衛(wèi)星元件，或其他合適的無線通信元件。通信模塊1706可以針對適當(dāng)?shù)臒o線通信協(xié)議和界面進(jìn)行配置，其基于射頻(RF)，微波頻率(MWF)，紅外頻率(IRF)和/或其他合適的無線傳輸技術(shù)。通信元件1706還可以包括耦合其上用于無線通信的天線。因此，在一個示例中，通過建立到其他可佩戴成像裝置1700、基站、無線路由器、集線器，或其他合適的無線網(wǎng)絡(luò)裝置的無線鏈接，通信元件1706可以處理，管理或促進(jìn)無線通信。
[0229]在多個實施方式中，通信元件1706可以配置成通過有線通信元件(諸如以太網(wǎng)界面，電力線調(diào)制解調(diào)器，數(shù)字用戶線路(DSL)調(diào)制解調(diào)器，公共交換電話網(wǎng)絡(luò)(PSTN)調(diào)制解調(diào)器，有線調(diào)制解調(diào)器，和/或其他合適用于有線通信的元件)與有線網(wǎng)絡(luò)交互。通信模塊1706也可支持專有有線通信協(xié)議和界面。為了有線通信的目的，通信元件1706可以配置成通過有線鏈接通信(例如通過網(wǎng)絡(luò)路由器，開關(guān)，集線器，或其他網(wǎng)絡(luò)裝置)。例如，有線鏈接可以由電力線電纜，同軸電纜，光纖電纜，或其他合適的電纜或支持相應(yīng)的有線網(wǎng)絡(luò)技術(shù)的線路來實現(xiàn)。
[0230]在一些實施例中，可佩戴成像裝置1700可按需要包括盡可能多的通信元件1706，用于可佩戴成像裝置1700的多種應(yīng)用，以適應(yīng)監(jiān)視不同類型的環(huán)境。在其他實施方式中，通信元件1706可以與可佩戴成像裝置1700的多個其他元件整合或以多個其他元件的一部分來實現(xiàn)。例如，紅外成像模塊100，處理器195，和顯示器197的可各包括一子元件，其可配置成執(zhí)行通信元件1706的操作，并且可以通過有線和/或無線連接進(jìn)行通信而無需獨(dú)立的元件1706。
[0231]動作傳感器194可以由紅外成像模塊100和/或處理器195進(jìn)行監(jiān)控，亦可向紅外成像模塊100和/或處理器195提供信息，以實現(xiàn)這里描述的多個NUC技術(shù)。
[0232]在多個實施方式中，可佩戴成像裝置1700的一個或多個元件可按需要或由應(yīng)用需求來決定與否合并和/或?qū)崿F(xiàn)。例如，處理器195可以與紅外成像模塊100、存儲器196，和/或通信兀件1706相結(jié)合。在另外的實施方式中，處理器195可以與紅外成像模塊100相結(jié)合，處理器195僅有特定的操作由在紅外成像模塊100中的電路(諸如，處理器，邏輯裝置，微處理器，微控制器，等)來實現(xiàn)。
[0233]如需要，可佩戴成像裝置1700可以包括一個或多個警示元件，附在各紅外成像模塊100上。這樣，當(dāng)從一個紅外成像模塊100的圖像中探測到物體(諸如人)，附在該紅外成像裝置上的警示元件(諸如，共同位于紅外成像裝置的一個或多個警示元件1702)可以被激活以便向佩戴者警示被探測到的人的出現(xiàn)和位置。
[0234]可佩戴成像裝置1700的紅外成像模塊100可以配置成采集，處理和/或管理場景(諸如場景1430，參見圖14)的紅外圖像(例如包括熱圖像)。這樣，紅外成像模塊11可以附接、固定、安裝或放置在裝置1700上或其中的任何合適位置，只要該裝置允許場景的一部分方式置于每個紅外成像模塊100的視野(FOV) 1404中.
[0235]在一個實施方式中，多個紅外成像模塊可圍繞一些或全部可佩戴結(jié)構(gòu)(諸如圖18中顯示的頭盔)放置。在圖18的示例中，圖17的可佩戴結(jié)構(gòu)1701以保護(hù)頭部覆蓋結(jié)構(gòu)(諸如保護(hù)頭盔1802)來實現(xiàn)。以圖18中顯示的監(jiān)視多方向威脅的頭盔類型來實現(xiàn)的可佩戴成像裝置可以在頭盔1802多個位置處具有成像模塊1804。例如，成像模塊1804可以放置在圍繞可佩戴結(jié)構(gòu)(諸如頭盔1802)的周圍多個位置處。每個成像模塊1804包括紅外成像模塊100，可見光相機(jī)1406，紅外成像模塊100和可見光相機(jī)1406，多于一個紅外成像模塊100，多于一個可見光相機(jī)1406或其他單獨(dú)成像元件1810的適當(dāng)組合。
[0236]可佩戴成像裝置1700包括外殼(諸如外殼1812)中的成像元件1810。在一些實施例中，外殼1812可以包括夾子、扣、吸盤或其他合適的附接機(jī)制，以便將外殼1812以及成像元件(例如紅外成像模塊100)可釋放地附接到合適的可佩戴安裝結(jié)構(gòu)(諸如頭盔1802)上。在一些實施方式中，外殼1812可用合適的緊固件固定連接到安裝結(jié)構(gòu)上。
[0237]諸如處理器195，通信元件1706，和存儲器196的額外元件可以位于外殼1812內(nèi)或位于頭盔1802的其他部分?？膳宕鞒上裱b置1700可以包括額外的結(jié)構(gòu)，諸如用于在佩戴者頭部保持頭盔1802位置的帽子顎帶1808，和下翻式結(jié)構(gòu)1806。下翻式結(jié)構(gòu)1806可以是結(jié)構(gòu)元件和/或裝置1700的功能元件。例如，下翻式結(jié)構(gòu)1806可以包括一個顯示器(諸如裝置1700的佩戴者可以移入和移出視野的彈拉式顯示器，用于觀測基于使用成像元件1810采集的圖像數(shù)據(jù)圖像)。
[0238]根據(jù)需要，紅外成像模塊100可以附接到可佩戴結(jié)構(gòu)(諸如頭盔)，從而在紅外成像模塊的FOV內(nèi)放置最大到360度的真實世界場景。
[0239]圖19是可佩戴成像裝置1700的俯視圖，顯示了多個成像模塊1804(每個包括一個或多個成像元件，如紅外成像模塊100和/或可見光相機(jī)1406)可以圍繞頭盔1802放置并且指向特定方向1910。以這種方式配置的可佩戴成像裝置可以讓每個成像模塊1804觀測裝置1700佩戴者周圍完整360度場景的一部分。這樣，裝置1700可以在多個方向上監(jiān)視對裝置1700佩戴者的潛在威脅。
[0240]如圖19所示，作為監(jiān)測多方向威脅頭盔的可佩戴成像裝置1700可包括其他額外的結(jié)構(gòu)和元件諸如元件1902，1904，和1918。在多個實施方式中，元件1902，1904和1918每個都是功能元件(例如額外的紅外或可見光成像裝置，處理器，存儲器，電池，通信元件，動作傳感器，警示元件，或其他功能元件)或結(jié)構(gòu)元件諸如強(qiáng)度增加結(jié)構(gòu)(例如編織防彈結(jié)構(gòu)，金屬或聚合物強(qiáng)化元件等)。在其他合適的實施例中，元件1902可以為警示元件，例如圖17中附于各成像模塊1804上的警示元件1702。警示元件可以圍繞頭盔1802邊緣的多個位置放置(例如對應(yīng)于圍繞環(huán)境放置的紅外成像模塊的位置)。
[0241]如圖20所示，在一些實施例中，可佩戴成像裝置1700可以與較大的可佩戴系統(tǒng)(諸如系統(tǒng)2000)整合。系統(tǒng)2000可以是用于個人(諸如士兵2010)的單個戰(zhàn)術(shù)防御系統(tǒng)，包括可佩戴成像裝置1700，額外相機(jī)(諸如相機(jī)2002)，武器(諸如來復(fù)槍2006)，顯示裝置(諸如顯示器2004)，和雙肩背包2009。
[0242]雙肩背包2009可以用于攜帶電源，額外存儲器或其他元件或裝置，用于操作裝置1700和/或系統(tǒng)2000的其他元件。
[0243]顯示器2004可以為可佩戴成像裝置1700的一部分(例如，下翻式，或下拉式顯示器，其用來顯示安裝在頭盔1802上外殼1812中的紅外成像模塊100和/或可見光相機(jī)1406所采集的圖像)或分離的顯示器元件。顯示器2004可以用于顯示來自系統(tǒng)2000其它部分的圖像(例如，額外相機(jī)2002或武器2006)。
[0244]如圖20所示，頭盔1802可包括圖形覆蓋材料，例如，與佩戴者衣物其他部分上的圖形材料2012匹配的圖形材料2012，可以使佩戴者不易被其他人發(fā)現(xiàn)。圖形材料2012可以為圖案織物，圖案噴涂覆蓋物，或其他圖形材料。圖形材料2012可以為迷彩服圖案，適于佩戴者2010所在的環(huán)境。
[0245]在一個實施方式中，可佩戴成像裝置1700(例如，處理器195)可以配置成產(chǎn)生圖像數(shù)據(jù)(諸如來自多個成像模塊1804的熱圖像)，以便從像素的臨近區(qū)域的熱圖像進(jìn)行探測(又稱“斑”或“熱斑”)，像素具有接近人范圍的溫度，例如在接近75華氏度(例如身體衣服部分)和接近110華氏度(例如身體暴露的部分(諸如臉和手))。這種“熱斑”指的是人存在于裝置1700的附近，并且可以如這里描述的進(jìn)一步進(jìn)行分析，以便確定認(rèn)定人的存在，追蹤人的移動，確定人的位置，和/或確定被探測到的人相關(guān)的多種其他特征。
[0246]處理器195配置成接收由紅外成像模塊100采集的熱圖像數(shù)據(jù)。在接收到的場景熱圖像處，處理器配置成執(zhí)行多種熱圖像處理和分析如這里進(jìn)一步描述的操作，例如，探測和追蹤人或動物，并確定與人或動物相關(guān)的多種特征。處理器195配置成收集、編譯、分析或處理熱圖像處理和分析操作的結(jié)果，以便產(chǎn)生監(jiān)視信息(諸如威脅探測信息)。
[0247]在一個示例中，可佩戴的成像裝置1700配置成確定人(或動物)的存在和位置，并在探測到人(或動物)時發(fā)出警示。這一點(diǎn)，可佩戴成像裝置1700可配置成探測和追蹤人或動物的位置，如果需要，根據(jù)本公開的一個或多個實施方式，探測和追蹤熱圖像中的人的臉和面部特征或其他特征。通過啟動位于靠近成像模塊的警示元件，可佩戴成像裝置1700配置成將被探測人(或動物)位置的向裝置1700的佩戴者作出警示，其中成像模塊產(chǎn)生人被探測到的圖像。例如，如果人位于佩戴者背后，在頭盔后部的震動、聲音和/或熱(作為示例)可以為佩戴者產(chǎn)生提示位置的警示，即被探測的人位于其背后。
[0248]在其他實施方式中，如果具有由成像模塊1804中的可見光相機(jī)1406采集的可見光圖像，結(jié)合或換用該可見光圖像，可佩戴成像裝置1700可配置成追蹤場景特征，諸如多個單一的人，或甚至單人的臉和面部特征。例如，在一定環(huán)境光條件下，與熱圖像相比，可見光圖像可提供更多的細(xì)節(jié)和對比度，因而可在該有利光條件中采用合適的臉部追蹤算法進(jìn)行分析。在另一示例中，對可見光圖像和熱圖像可都進(jìn)行分析，以便互補(bǔ)地增加探測和追蹤的準(zhǔn)確性。在另一實施例中，如這里進(jìn)一步描述的，可以將熱圖像和可見光圖像組合或融合，并且可以分析該組合或融合的圖像以追蹤場景的特征。如果可佩戴成像裝置1700配置成利用可見光圖像探測和追蹤場景的特征，處理器195可進(jìn)一步配置，以便將可見光圖像中被追蹤特征的像素坐標(biāo)轉(zhuǎn)換至熱圖像中的相應(yīng)像素坐標(biāo)。
[0249]在一個實施方式中，可佩戴成像裝置1700配置成探測人或動物的呼氣。在每次呼氣之后，呼氣會短暫出現(xiàn)在熱圖像中，其富含二氧化碳的氣體獨(dú)特的羽流和具有比體溫稍低的溫度是可以探測的。因此，通過分析圖像以探測一組具有上這種氣體輻射度特性特征的一組像素,可以探測呼出的氣體。此外,如上文討論的與紅外成像模塊100相聯(lián)的光學(xué)元件1403，在可佩戴成像裝置1700中模塊100的實施方式里，可使用窄帶濾波器，這樣二氧化碳吸收和發(fā)出的紅外輻射可以更清楚的顯示出來，與其他物質(zhì)產(chǎn)生的紅外輻射相比，其具有較高的對比度，因此更易探測呼出的氣體。例如當(dāng)探測到呼出氣體時，可佩戴成像裝置1700可配置成產(chǎn)生警示(諸如特定位置的警示)。
[0250]在另外的實施例中，可佩戴成像裝置1700配置成通過分析利用一個或多個紅外成像模塊100采集的紅外圖像來探測呼吸，以探測溫度的周期變化和/或探測人或動物被探測口鼻區(qū)域的形狀。例如，可佩戴成像裝置1700配置成探測鼻孔處的稍微較高和較低的溫度周期性的改變，和/或口鼻區(qū)域的周期性移動，這些可以對應(yīng)吸氣和呼氣循環(huán)。還可以預(yù)期，通過執(zhí)行其他合適的分析和/或處理操作(諸如探測多種指示呼吸的周期變化)，可佩戴成像裝置1700可以配置成探測呼吸。在多個實施方式中，通過執(zhí)行這里描述的任何呼吸探測操作的組合，處理器195可以配置成用來探測呼吸。
[0251]在另一實施例中，可佩戴成像裝置1700可產(chǎn)生監(jiān)測信息，其包括合適的人或動物體溫和/或警告被探測物體具有與典型人或動物相似體溫的警示。如上所述，通過分析來自成像模塊1804的熱圖像、可見光圖像、和/或組合熱可見光圖像，可佩戴成像裝置1700可配置成定位和追蹤熱圖像中的人或動物。在一個實施例中，可以配置處理器195，通過對輻射度數(shù)據(jù)進(jìn)行總計，平均和/或分析來確定合適的體溫，該輻射度數(shù)據(jù)與對應(yīng)人或動物的熱圖像像素相關(guān)(例如，溫度數(shù)據(jù))。
[0252]在其他實施例中，通過對包含的熱圖像和輻射度數(shù)據(jù)上執(zhí)行其他合適的過程或分析操作，可配置可佩戴成像裝置1700來計算近似身體溫度。在多個實施方式中，可配置處理器195，當(dāng)從探測到的熱圖像確定物體具有近似人體的溫度時發(fā)出警示。
[0253]在另一產(chǎn)生監(jiān)視信息的示例中，可配置可佩戴成像裝置1700，以分析熱圖像來確定被探測人的近似姿勢(例如，該人是否站立、蹲著、俯臥、坐、走、跑，等)或者被探測人的近似方向(例如，面向或者背對紅外成像模塊100)。如上文描述，可在熱圖像中對被探測的人或動物身體、臉和面部特征的位置進(jìn)行追蹤。在一個實施方式中，可以配置可佩戴成像裝置170，通過分析臉相對于身體的位置和/或方向來確定近似的姿勢。
[0254]在另一個實施例中，可以分析熱圖像中人的輪廓和/或高寬比，以便確定姿勢。在多個實施方式中，可以配置可佩戴成像裝置1700，通過執(zhí)行這里描述的任何姿勢探測操作的組合和其他合適用于姿勢探測的熱圖像分析操作，以便確定人的姿勢。在多個實施方式中，可以配置可佩戴成像裝置1700，從用戶接收警示觸發(fā)姿勢選集，并如果探測到的人的近似姿勢匹配所選的姿勢時產(chǎn)生警示。因此，例如，用戶可以選定，如果該人蹲著面向用戶時，接到通知或警告，這樣用戶采用預(yù)防措施來防范潛在的威脅。
[0255]圖21為顯示多個可佩戴成像裝置如何彼此和與較大系統(tǒng)的其他元件通信。如圖21所示，系統(tǒng)2100可以包括一個或多個可佩戴成像裝置1700和基站2102。每個可佩戴成像裝置1700通過通信線路2110(例如，無線射頻通信路徑)彼此相互通信。每個可佩戴成像裝置1700通過通信路徑2108 (諸如無線射頻通信路徑)與基站2102相互通信。在一些實施例中，可佩戴成像裝置1700可作一個為基站(例如，佩戴裝置1700的士兵單元的指揮官佩戴的可佩戴成像裝置)。然而，這里僅是示意性的。在一些實施方式中，可佩戴成像裝置1700可以通過天線(諸如天線2104)和/或通過網(wǎng)絡(luò)(諸如網(wǎng)絡(luò)2106)(例如封閉的專有網(wǎng)絡(luò)或全球網(wǎng)絡(luò)，例如因特網(wǎng))與基站2102通信。
[0256]例如，可佩戴成像裝置1700可以通過路徑2112向天線2104傳輸信號(例如，有線或無線通信路徑)并且天線2104可以通過路徑2134傳輸一些或所有接收的信號到基站2102(例如有線或無線通信路徑)。在其他示例中，可佩戴成像裝置1700可以通過路徑2112發(fā)送信號到天線2104，天線2104可以通過路徑2135傳輸一些或所有接收的信號網(wǎng)絡(luò)2106 (例如有線或無線通信路徑)和基站2102可以接收與通過路徑2136的信號相關(guān)的信息(例如有線或無線通信路徑)。
[0257]如圖21中所示，基站2102可以包括計算設(shè)備2114。計算設(shè)備2114位于具有可佩戴成像裝置1700的同一地理位置亦或可以位于遠(yuǎn)離可佩戴成像裝置1700的位置。例如，基站2102可以為與多個地理位置士兵進(jìn)行通信的遠(yuǎn)距離指令中心，或者基站2102可以是在本地部署士兵的現(xiàn)場指揮中心。
[0258]計算設(shè)備2114包括多個計算模塊適于與裝置1700通信，并且用于處理和存儲從裝置1700的圖像和/或其他監(jiān)視信息。計算設(shè)備2114包括一個或多個顯示器2116，存儲設(shè)備諸如存儲器2118，處理設(shè)備諸如處理器2120，通信元件諸如通信模塊2122，控制元件諸如控制面板2128，輸入元件(諸如輸入元件2130)和/或輸出元件(諸如輸出元件2132)。通信模塊2112可以包括一個或多個天線2124和額外的通信電路2126(例如射頻前端電路，信號產(chǎn)生電路，調(diào)制解調(diào)電路，等)。輸入元件2130包括麥克風(fēng)，鍵盤，觸摸屏，鼠標(biāo)和/或其他適于接收用戶輸入的元件。輸出元件包括一個或多個揚(yáng)聲器，耳機(jī)或其他輸出元件。
[0259]如圖22中所示，多個可佩戴成像裝置1700可以用于彼此通信，與基站2102通信，以及如有需要，與另外的偏遠(yuǎn)指揮中心(諸如指揮中心2200)通信。指揮中心2200可以通過天線2104和網(wǎng)絡(luò)2106與基站2102和/或裝置1700通信。例如，指揮中心2200可以位于船上、地下、另一國家、另一大洲、或與可佩戴成像裝置1700距離很遠(yuǎn)。在一些實施例中，當(dāng)裝置1700的其中一個探測到諸如潛在的人類威脅目標(biāo)時，裝置向裝置佩戴者發(fā)出警示，并且還可將被探測物體相關(guān)的探測和位置信息發(fā)送到其它的裝置1700，從而向這些裝置的佩戴者發(fā)出物體探測和位置的警示。
[0260]圖23是一個可佩戴成像裝置1700的圖表，展示所選擇的一個成像模塊1804如何在制定地點(diǎn)探測物體。如圖23中所示，裝置1700具有多個成像模塊(諸如圍繞頭盔1802放置的模塊1804 - 1，1804 一 2，和1804 — 3)。如所示，成像模塊1804 — I具有視野2308 —1，成像模塊1804 - 2具有視野2308 — 2，以及成像模塊1804 — 3具有視野2308 — 3。當(dāng)諸如物體2304的物體(例如人、動物、或其他可探測物體)進(jìn)入特定的成像模塊視野中時，裝置1700使用該成像模塊采集到的圖像來探測物體。在圖23的示例中，物體23同時位于成像模塊1804 - 2，和1804 — 3的視野中。
[0261]圖23的示例中，有一警示元件附于各成像模塊。警示元件2302 — I位于靠近成像模塊1804 -1，警示元件2302 — 2位于靠近成像模塊1804 — 2，和警示元件2302 — 3位于靠近成像模塊1804 - 3。這樣，當(dāng)在模塊1804 — 2和1804 — 3的視野中探測到物體2304，警示元件2302 — 2和2302 — 3可以運(yùn)行，將物體2304的出現(xiàn)及其位置向裝置1700的佩戴者報警。
[0262]如果需要，當(dāng)模塊2302 — 2和2302 — 3探測到物體時，警示元件2302 — 2和2302 一 3可以聯(lián)合運(yùn)行，向佩戴者發(fā)出似乎產(chǎn)生于模塊2302 — 2和2302 — 3之間的警示。這樣，裝置1700可以以比警示元件數(shù)量高的分辨率向佩戴者警示物體的位置。警示元件2302 -1，2302 — 2，和2302 — 3的每一個為圖17 —個警示元件1702的實現(xiàn)。圖23中的這種警示元件到成像模塊一對一的通信僅為示意性的。如果需要，裝置1700可以包括比成像模塊多的警示元件，比成像模塊少的警示元件，或可以部分(局部)啟動的一個或多個連續(xù)警示元件。
[0263]圖23也顯示了各成像模塊1804的視野如何至少要部分覆蓋，這樣如果物體(諸如物體2304)移出一個成像模塊的FOV (例如由箭頭2305所指示的位置2306)，可以使用另一個成像模塊在新位置探測和追蹤物體。
[0264]在一些實施方式中，利用成像模塊1804采集的圖像(例如，利用紅外成像模塊100)可以用于確定被探測物體(諸如物體2304)的近似距離。如果需要，除了物體的角度位置，警示元件1702用于警示裝置1700的佩戴者物體的距離。例如警示元件1702可以按如圖24所示的物體的距離以一定強(qiáng)度操作。
[0265]在圖24的示例中，圖表2400顯示警示強(qiáng)度與物體探測位置的可能依賴關(guān)系，該物體為諸如成像模塊1804采集的熱和/或可見光圖像中的人或動物。如線條2402所示，警示可以具有一定強(qiáng)度(例如震動強(qiáng)度，聲音強(qiáng)度(音量)，光強(qiáng)度(亮度)，或熱強(qiáng)度(溫度))，該強(qiáng)度與物體的距離成反比。然而，這僅是示意性的。如果需要，警示強(qiáng)度依賴于具有由曲線2404或2406指示的一類物體距離，或與物體具有其他的依賴關(guān)系。
[0266]而在另一個示例中，可以對可佩戴成像裝置1700(諸如監(jiān)測多方向威脅頭盔)的佩戴者發(fā)出警示，包括由成像模塊1804采集場景的用戶可見圖像(例如熱譜)。圖25顯示顯示器197的一部分，顯示用戶可見圖像2500?？膳宕鞒上裱b置1700(例如處理器195)配置成利用合適的方法和算法轉(zhuǎn)換熱圖像。在一個實施例中，熱圖像像素中包括的輻射度數(shù)據(jù)(例如溫度數(shù)據(jù))可以轉(zhuǎn)換灰度或色度像素以便構(gòu)建能夠被人看到的圖像(諸如圖像2500)。用戶可見熱圖像2500可選擇的包括圖例或刻度(諸如刻度2505)，指示對應(yīng)的像素色彩和/或強(qiáng)度的近似溫度，和角度刻度(諸如刻度2506)指示被探測物體(諸如人2502和/或動物2504)的位置。這樣的用戶可見圖像可以被用戶(例如士兵，執(zhí)法官員，或獵人)觀測到，從而即使在黑暗的環(huán)境里(例如晚上)也可從視覺上確定潛在威脅的位置。
[0267]如果場景的可見光圖像是可獲得的(例如通過可見光相機(jī)1406采集)，處理器195可以配置成將熱圖像和可見光圖像添加、融合、混合或組合起來，以便產(chǎn)生具有較高清晰度和/或?qū)Ρ榷鹊挠脩艨梢妶D像2500。例如，如此處進(jìn)一步描述的，處理器195可配置成產(chǎn)生包括輻射度數(shù)據(jù)和/或其他紅外特征的組合圖像的圖像2500，對應(yīng)于相應(yīng)的場景，但是與單獨(dú)的熱圖像或可見光圖像提供的相比，顯然具有更多的物體細(xì)節(jié)(例如輪廓和/或邊緣細(xì)節(jié))和/或?qū)Ρ榷?。在另一個實施例中，如這里引用的多個專利申請中的合適的實施例，例如美國專利申請 61/473，207，61/746，069，61/746，074，61/792，582，61/793，952，12/766, 739, 13/105，765，or 13/437, 645,或國際專利申請 PCT/EP2011/056432，或其他合適的示例，圖像(諸如圖像2500)可以為包括輻射度信息和可見光特性(例如可見光譜顏色)的組合圖像，對應(yīng)于場景中的一個或多個物體(例如人)。這些示例中產(chǎn)生的組合圖像可以提供充分的輻射度數(shù)據(jù)，邊緣細(xì)節(jié)和對比度以允許對探測的人2502或動物2504的出現(xiàn)、位置、和地點(diǎn)進(jìn)行更容易的識別和/或解釋。
[0268]如圖25中所示，在一些實施方式中，可佩戴成像裝置1700可以允許用戶確定可視邊界2508。用戶通過例如與控制面板的交互、顯示器197上的⑶I，或其他輸出元件確定可視邊界2508?？梢曔吔?508由用戶確定以描繪出不安全的區(qū)域或不歡迎接近的人進(jìn)入。例如，如果人進(jìn)入可是邊界2508中的區(qū)域，通過裝置1700產(chǎn)生警示。在其他實施方式中，使用一個或多個圖像分析操作(例如視頻分析)執(zhí)行探測，可以包括場景再造操作，目標(biāo)追蹤操作，和/或可視絆網(wǎng)探測操作?？梢曔吔绲氖纠齼H是示意性的。如果需要，裝置1700可以在任何位置探測到人(或動物或其他物體)時產(chǎn)生警示。
[0269]現(xiàn)在參考圖26，展示了過程2600的流程圖，用于探測物體和向可佩戴成像裝置(諸如可佩戴成像裝置1700)的佩戴者發(fā)出警示。
[0270]方框2602處，場景的熱圖像(例如包括具有輻射度數(shù)據(jù)像素的圖像)是由一個或多個紅外成像模塊(例如圍繞可佩戴結(jié)構(gòu)(諸如頭盔1802)放置的紅外成像模塊100)所采集的。如上文描述的關(guān)于紅外成像模塊的熱圖像，采集的熱圖像為輻射校準(zhǔn)熱圖像。如果需要，利用可佩戴結(jié)構(gòu)(諸如頭盔1802)上的可見光相機(jī)1406，在方框2602處，采集可見光圖像。
[0271]在方框2604處，采集的熱圖像上實現(xiàn)處理操作。處理操作包括NUC校正、其他噪聲校正、校準(zhǔn)操作、平滑操作、濾波操作、邊緣探測操作、透視校準(zhǔn)操作和其他圖像處理操作。另外的處理操作也可以在方框2602出采集的可選可見光圖像來執(zhí)行。在一些實施方式中，在方框2604處執(zhí)行的圖像處理操作包括如上文結(jié)合圖14和16描述的(作為示例)組合或融合熱圖像和可見光圖像。例如，利用這里描述的多種NUC技術(shù)，NUC校正過程在采集的熱圖像上實現(xiàn)，以便去除其中的噪聲。
[0272]在一些實施例中，還可以按比例確定和/或透視校準(zhǔn)采集的熱圖像。按比例和透視校準(zhǔn)操作可以手動執(zhí)行或使用存在存儲器196中的按比例或透視校準(zhǔn)數(shù)據(jù)自動執(zhí)行。
[0273]在方框2606處，利用處理的熱圖像來探測一個或多個物體諸如人、動物、車或其他移動或靜止的物體。探測物體包括識別對應(yīng)于人或動物溫度的熱圖像中的圖像像素，識別對應(yīng)于呼出氣體的圖像像素，或識別對應(yīng)于被探測預(yù)期目標(biāo)的圖像特性。
[0274]例如，在采集的熱圖像上實現(xiàn)多種分析和處理操作，以便探測和追蹤諸如人的物體，并確定與被探測物體和/或場景相關(guān)的多種屬性。在一個實施方式中，鄰近像素區(qū)域具有特別范圍內(nèi)的溫度值，可以從輻射度校準(zhǔn)過的用于探測和物體的熱圖像來進(jìn)行探測。例如探測操作可以與具有人的特性的表面溫度分布的區(qū)域(或“斑”)區(qū)別開。例如，通過實行多種濾波操作和分析尺寸、形狀和/或斑的熱特性，這里探測的熱圖像和斑可以進(jìn)一步被處理和/或被分析，以便保證人的探測和進(jìn)一步對人進(jìn)行定位。在一些實施方式中，也可以探測到人的特征，諸如臉和面部特征。如上述相對于圖15所描述的，人的多種特征(例如可以保持面部特征，諸如眼睛、嘴巴、和鼻孔、衣物部分或人的目標(biāo))能夠表現(xiàn)多種對應(yīng)的溫度。因此，在一個實施例中，利用濾波操作進(jìn)一步定位特征(諸如在探測的斑上執(zhí)行的擴(kuò)張和閾值濾波)。如果需要，被定位特征的尺寸、形狀、和/或輻射度特性也可以被進(jìn)一步分析，以確定特征的探測。
[0275]在另一個實施例中，可以分析熱圖像以探測一個或多個候選的顯著物體，諸如使用背景模擬技術(shù)，邊緣探測技術(shù)，或其他適于與熱圖像使用的顯著物體探測技術(shù)。分析候選物體的輻射度特性(例如表面溫度分布)以確定這些特性是否對應(yīng)于出現(xiàn)在場景中的人的特性。例如，最初可能探測到石頭和樹作為候選顯著物體，但這些物體的輻射度特性接著很快顯示它不具有人的表面溫度分布，因此不是人。如該示例所示，與利用可見光圖像的目標(biāo)探測技術(shù)相比，利用熱圖像的物體探測較少受影響，不會錯誤探測到虛假的目標(biāo)。分析候選物體的尺寸和新裝，這樣基于被探測候選物體的尺寸、形狀和輻射度確定探測。如上文所述，如果需要實現(xiàn)進(jìn)一步的處理和分析操作以便定位和追蹤人的特征。
[0276]在實施例的一個方面，利用背景模擬技術(shù)探測場景中的物體。由于場景的背景較少改變和因為熱圖像一般來說對改變光條件不敏感，背景模型(例如屬于背景的像素)可以構(gòu)建為具有高準(zhǔn)確性，與背景不同的像素區(qū)域(也認(rèn)為是“感興趣的區(qū)域”)可以很容易與候選顯著物體相區(qū)分。如上文所述，可以分析感興趣的區(qū)域的輻射度特性(ROI)以進(jìn)一步確定探測的ROI代表人。
[0277]在多個實施例中，省略或包括方框2606描述的多個處理和分析操作，并且也可以以探測人的其他合適順序執(zhí)行。例如，在一些實施方式中，在熱圖像中探測溫暖的“斑”可以充分探測和追蹤場景中的人，然而在其他實施方式中，結(jié)合執(zhí)行多個熱圖像分析，以便增加探測的準(zhǔn)確度。
[0278]在一些實施方式中，如果可獲得可見光圖像(例如由可見光相機(jī)1406采集的)，方框2606的操作可以額外地或可選擇地涉及實現(xiàn)合適的面部探測和可見光圖像上的追蹤算法或可見光圖像和熱圖像的組合圖像。如果臉和面部特征的探測和追蹤利用可見光圖像來實現(xiàn)，方框2606的操作進(jìn)一步涉及將可見光圖像中的被追蹤臉的像素坐標(biāo)轉(zhuǎn)換為熱圖像中的相應(yīng)像素坐標(biāo)。通過分析熱圖像、可見光圖像、和/或組合圖像，還可以將在熱圖像中用于探測目標(biāo)的其他合適的技術(shù)運(yùn)用到方框2606。
[0279]在方框2608，確定一個或多個探測物體的位置(例如，被探測的人，多于一個被探測的人，被探測的動物，等)。確定被測物體的位置包括確定多個成像模塊中的哪一個采集了被探測物體中的圖像。在一些實施方式中，確定被探測物體的位置包括確定由給定成像模塊采集的圖像內(nèi)物體的位置，從而進(jìn)一步給被確定位置定位。在已采集圖像中確定物體的位置包括確定哪些圖像中的像素包含物體。在可佩戴成像裝置的佩戴者的參考幀處，確定被探測物體的位置包括確定物體的角度位置。例如，佩戴者的參考幀具有零度角度位置，用于傳遞直接位于佩戴者面前的位置。在該示例中，佩戴者后面的物體具有大于或小于180度的角度位置。然而，這僅是示意性的。如果需要，被探測物體的角度位置可以以任何合適的參考幀或坐標(biāo)系統(tǒng)(諸如固定在佩戴者物理環(huán)境周圍的參考幀)來確定。
[0280]確定被探測物體的位置還包括確定物體從可佩戴裝置到物體的距離。確定到物體的距離包括圖像中確定物體的尺寸、確定物體的類型(例如人類)，確定物體類型的典型尺寸，并基于圖像中物體的尺寸和物體的典型尺寸計算距離。確定到物體的距離包括確定其他物體的尺寸和類型，諸如在采集熱和/或可見圖像中具有已知或典型尺寸的背景物體。確定物體的距離包括利用存儲的比例和/或透視校準(zhǔn)數(shù)據(jù)，確定到物體的距離。
[0281]在一些實施例中，通過進(jìn)一步分析和處理和/或在用于探測執(zhí)行的處理和分析期間，在方框2608處確定額外的物體信息。例如，通過如上述與圖17 - 20 (作為示例)所描述的，確定分析和處理熱圖像接近的身體溫度，接近的環(huán)境溫度，和被探測人的姿勢。
[0282]在方框2610，產(chǎn)生警示，諸如與被測物體和他們確定的位置相關(guān)的特殊位置警示。特殊位置警示使用與圖17 - 25 (作為示例)相關(guān)進(jìn)行描述的警示元件1702來產(chǎn)生。例如，操作共同位于(例如，臨近)探測到物體成像模塊的警示元件，以便向可佩戴成像裝置的佩戴者警示被探測物體出現(xiàn)在由成像模塊監(jiān)測到的方向。例如，佩戴多方向威脅監(jiān)視頭盔的士兵在他們頭部的右邊感覺到震動，聽到聲音，看見光，或感覺到熱(作為示例)，表示利用頭盔右邊的紅外成像模塊采集的熱圖像探測到潛在威脅。產(chǎn)生特殊位置警示包括產(chǎn)生利用單一警示元件或多個警示元件產(chǎn)生的警示。利用多個警示元件產(chǎn)生的警示允許可佩戴成像裝置向佩戴者產(chǎn)生警示，似乎是在多個警示元件之間位置產(chǎn)生的。
[0283]如果需要，例如上文根據(jù)圖24所述，特殊位置警示具有能指示到被測物體距離的強(qiáng)度。例如，低強(qiáng)度震動或溫和的熱度表明被探測的威脅位于相對遠(yuǎn)的距離，并且高強(qiáng)度震動或高熱度表明被探測的威脅位于相對近的距離。
[0284]如進(jìn)一步描述的，可進(jìn)一步分析和/或處理熱和/或可見光圖像的多個屬性，以對佩戴者產(chǎn)生警示，警告特殊的姿勢、姿勢的變化、接近的改變、可見邊界的震動，或其他合適的屬性。
[0285]在方框2612，產(chǎn)生被探測物體的用戶可見圖像(或包括被探測物體的場景)并顯示給佩戴者。在一個實施例中，通過轉(zhuǎn)換利用合適方法和算法的熱圖像產(chǎn)生用戶可見圖像。例如，熱圖像像素中的包含的熱數(shù)據(jù)(例如溫度數(shù)據(jù))可以轉(zhuǎn)換為灰度或色度像素，以便構(gòu)建能被人見到的圖像。例如上文圖25所述，用戶可見熱圖像可選擇地包括圖例或比例，指示接近溫度和/或被測物體的位置。產(chǎn)生用戶可見圖像包括將來自多成像模塊的圖像數(shù)據(jù)縫合在一起，結(jié)合熱和可見光圖像，或其他處理或結(jié)合圖像數(shù)據(jù)以產(chǎn)生用戶可見圖像。顯示用戶可見圖像包括給可佩戴成像系統(tǒng)的顯示器或向與其他系統(tǒng)相關(guān)的外部顯示器提供用戶可見圖像。
[0286]通過箭頭2609指示的，方框2614處，將被探測物體信息(例如被探測的物體通知，被探測物體的位置，被探測物體的類型，被探測物體距離，被探測物體特性，被探測物體姿勢，被探測物體的用戶可見圖像，或其他與被探測物體(諸如人)相關(guān)的信息)通信至其他可佩戴成像裝置，諸如其他多方向威脅監(jiān)視頭盔。例如，一組士兵可以在晚間巡視一個區(qū)域，此時利用特殊士兵頭盔左側(cè)的成像模塊探測到潛在的威脅。該士兵從他或她頭盔左側(cè)的一個或多個警示元件接收到警示，并且警示通知無線傳輸?shù)皆摻M其他士兵佩戴的多方向威脅監(jiān)視頭盔。如果需要，其他士兵的多方向威脅警示監(jiān)視頭盔可以向他們的佩戴者產(chǎn)生警示，表明被探測物體的存在和位置。
[0287]在一個實施方式中，產(chǎn)生的監(jiān)視信息可以轉(zhuǎn)換、打包、構(gòu)建或格式化，用于利用合適的應(yīng)用層協(xié)議(例如，簡單對象訪問協(xié)議(S0PA)，超文本傳輸協(xié)議(HTTP))或合適的數(shù)據(jù)交換格式與其他可佩戴成像裝置進(jìn)行數(shù)據(jù)交換。
[0288]現(xiàn)在參考圖27，過程2700顯示的流程圖用于監(jiān)視移動物體和利用可佩戴成像裝置(諸如可佩戴成像裝置1700)向佩戴者發(fā)出警示，警示移動物體的位置。
[0289]在方框2702處，利用多個安裝在可佩戴成像裝置的可佩戴結(jié)構(gòu)上(諸如多方向威脅監(jiān)視頭盔)的紅外成像模塊采集場景的熱圖像。
[0290]在方框2704處，與圖26的方框2604相關(guān)討論的成像處理操作類型可以在采集的熱圖像上實現(xiàn)。
[0291]在方框2706處，從第一個紅外成像模塊利用熱圖像探測移動物體(例如移動的人或動物)。如上文圖26方框2606所述的熱圖像中探測的移動物體。
[0292]在方框2708處，利用可佩戴成像裝置的警示元件產(chǎn)生的警示(諸如特殊位置警示)與第一個紅外成像模塊相關(guān)。例如，利用位于臨近第一個紅外成像模塊位置的警示元件產(chǎn)生警示。
[0293]在方框2710處，從第二個紅外成像模塊利用圖像探測移動物體。例如，移動物體可以移入第一成像模塊的視野并移入第二成像模塊的視野。
[0294]在方框2712處，利用可佩戴成像期間的第二警示元件產(chǎn)生第二警示(例如第二特殊位置警示)，與第二個紅外成像模塊相關(guān)。例如，利用臨近第二成像模塊位置的第二警示元件產(chǎn)生第二警示(例如位于比第一個紅外成像模塊更接近第二紅外成像模塊的位置)。
[0295]盡管這里描述了多個圖像處理技術(shù)，還可以參考利用任何其他專利申請中的多個處理技術(shù)。例如，在一些實施例中，可以根據(jù)美國專利申請61/473，207, 61/746，069, 61/746，074，61/792，582，61/793，952，12/766，739，13/105，765，or 13/437，645 或國際專利申請PCT/EP2011/056432，或其他合適的文獻(xiàn)描述的其他技術(shù)混合或組合可視圖像和/或熱圖像。
[0296]在適當(dāng)?shù)那闆r下，可以使用硬件、軟件或者硬件和軟件的結(jié)合實現(xiàn)本公開提供的各種實施例。而且在適當(dāng)?shù)那闆r下，在不偏離本公開的精神的情況下，可以將在此闡述的各種硬件部件和/或軟件部件組合成包含軟件、硬件和/或兩者的復(fù)合部件。在適當(dāng)?shù)那闆r下，在不偏離本公開的精神的情況下，可以將在此闡述的各種硬件部件和/或軟件部件分離成包含軟件、硬件和/或兩者的子部件。另外，在適當(dāng)?shù)那闆r下，考慮可以將軟件部件實現(xiàn)為硬件部件，反之亦然。
[0297]根據(jù)本發(fā)明公開的軟件(例如非暫時性指令、程序編碼和/或數(shù)據(jù))可以存儲在一個或多個非暫時性機(jī)器可讀介質(zhì)上。還考慮可以使用一個或多個通用或者專用計算機(jī)和/或計算機(jī)系統(tǒng)、網(wǎng)絡(luò)和/或其它方式實現(xiàn)在此確定的軟件。在適當(dāng)?shù)那闆r下，可以改變在此描述的各種步驟的排序、組合成復(fù)合步驟和/或分離成子步驟，以提供在此描述的特征。
[0298]以上描述的實施例示出但不限制本發(fā)明。還應(yīng)該理解，根據(jù)該發(fā)明的原則，可以進(jìn)行大量的修改和改變。因此，本發(fā)明的范圍僅由所附權(quán)利要求限定。
【權(quán)利要求】
1.一種設(shè)備,其特征在于,包括: 可佩戴結(jié)構(gòu)； 安裝在該可佩戴結(jié)構(gòu)上的多個紅外成像模塊，其中紅外成像模塊中的每一個配置成捕獲場景的熱圖像；和 與多個紅外成像模塊通信的處理器，其中處理器配置成: 利用熱圖像探測場景中的物體，并且 當(dāng)探測到物體時，產(chǎn)生用于可佩戴結(jié)構(gòu)的佩戴者的警示。
2.如權(quán)利要求1所述的設(shè)備，其特征在于，進(jìn)一步包括: 安裝在可佩戴結(jié)構(gòu)上的至少一個警示元件，其中該處理器配置成利用該至少一個警示元件產(chǎn)生警示。
3.如權(quán)利要求2所述的設(shè)備，其特征在于，該至少一個警示元件包括觸覺元件。
4.如權(quán)利要求2所述的設(shè)備，其特征在于，該至少一個警示元件包括聲音元件。
5.如權(quán)利要求2所述的設(shè)備，其特征在于，該至少一個警示元件包括發(fā)熱元件。
6.如權(quán)利要求2所述的設(shè)備，其特征在于，該至少一個警示元件包括多個警示元件。
7.如權(quán)利要求6所述的設(shè)備，其特征在于，該多個警示元件包括與該多個紅外成像模塊中的每個相關(guān)的警示元件。
8.如權(quán)利要求6所述的設(shè)備，其特征在于，用于佩戴者的警示包括與探測到的物體位置相關(guān)的特別位置警示。
9.如權(quán)利要求8所述的設(shè)備，其特征在于，該處理器配置成通過操作該多個警示元件中的一個被選擇的警示元件產(chǎn)生特別位置警示。
10.如權(quán)利要求1所述的設(shè)備，其特征在于，該可佩戴結(jié)構(gòu)包括用于佩戴者的頭部件。
11.如權(quán)利要求1所述的設(shè)備，其特征在于，該多個紅外成像模塊包括從由短波紅外濾波器、中波紅外濾波器、長波紅外濾波器和窄帶濾波器組成的群組中選擇的濾波器。
12.如權(quán)利要求1所述的設(shè)備，其特征在于，進(jìn)一步包括固定在該可佩戴結(jié)構(gòu)上的至少一個非熱能成像模塊。
13.—種方法,包括: 在安裝在可佩戴結(jié)構(gòu)上的紅外成像模塊的焦平面陣列(FPA)處，采集紅外成像模塊的視野(FOV)中的場景的熱圖像； 探測熱圖像中的物體；以及 基于探測的物體產(chǎn)生用于可佩戴結(jié)構(gòu)的佩戴者的警示。
14.如權(quán)利要求13所述的方法，進(jìn)一步包括: 確定探測的物體的位置。
15.如權(quán)利要求14所述的方法，其中基于探測的物體產(chǎn)生用于可佩戴結(jié)構(gòu)的佩戴者的警示包括:基于探測的物體的確定位置，產(chǎn)生特別位置警示。
16.如權(quán)利要求15所述的方法，其中產(chǎn)生特別位置警示包括操作與紅外成像模塊相關(guān)的警示元件。
17.如權(quán)利要求15所述的方法，其中紅外成像模塊具有在可佩戴結(jié)構(gòu)上的位置，并且其中產(chǎn)生特別位置警示包括在紅外成像模塊的位置處產(chǎn)生震動。
18.如權(quán)利要求13所述的方法，進(jìn)一步包括: 將探測的物體的圖像顯示給佩戴者。
19.如權(quán)利要求13所述的方法，進(jìn)一步包括: 將與探測的物體相關(guān)的探測的物體的信息通信至外部裝置。
20.一種多方向威脅監(jiān)視頭盔，其特征在于，包括: 保護(hù)性頭部覆蓋結(jié)構(gòu)； 圍繞該保護(hù)性頭部覆蓋結(jié)構(gòu)的周邊安裝的多個紅外成像模塊，每個具有包括場景一部分的視野； 圍繞該保護(hù)性頭部覆蓋結(jié)構(gòu)的周邊安裝的多個警示元件；以及耦合到該多個紅外成像模塊和多個警示元件的處理器，該處理器配置成利用多個紅外成像模塊探測潛在的威脅并利用該多個警示元件產(chǎn)生與潛在的威脅相關(guān)的警示。
【文檔編號】H04N7/18GK104519254SQ201410525794
【公開日】2015年4月15日 申請日期:2014年10月8日 優(yōu)先權(quán)日:2013年10月3日
【發(fā)明者】A·C·泰希, J·D·弗蘭克 申請人:菲力爾系統(tǒng)公司