用于處理紅外圖像數(shù)據(jù)的系統(tǒng)和裝置的制造方法
【專利說明】
[0001] 本申請(qǐng)是申請(qǐng)日為2010年2月26日、申請(qǐng)?zhí)枮?01080018803. X(國際申請(qǐng)?zhí)枮?PCT/US2010/025671)、發(fā)明名稱為"用于處理紅外圖像的系統(tǒng)和裝置"的發(fā)明專利申請(qǐng)的分 案申請(qǐng)。
技術(shù)領(lǐng)域
[0002] 本發(fā)明一般涉及紅外圖像，并且更具體地涉及諸如利用噪聲濾波技術(shù)對(duì)紅外圖像 數(shù)據(jù)進(jìn)行的圖像處理。
【背景技術(shù)】
[0003] 由紅外成像器（諸如基于微輻射熱測定儀的紅外成像器）生成的圖像通常包括噪 聲。例如，噪聲的主要源可能是由于時(shí)間、1/f、和/或固定空間噪聲造成的，并且典型的紅 外成像系統(tǒng)可包括校準(zhǔn)算法以盡力使這些類型的噪聲最小化。
[0004] 作為示例，紅外成像系統(tǒng)一般使用內(nèi)部快門，其使得紅外成像系統(tǒng)針對(duì)（against) 均勻（uniform)目標(biāo)獲取圖像以執(zhí)行校準(zhǔn)過程。然而，存在與這類過程相關(guān)聯(lián)的一些缺點(diǎn)。 例如，快門的需要增加了紅外成像系統(tǒng)的制造成本。此外，校準(zhǔn)過程不校正除了快門之外的 噪聲源（例如，由于光學(xué)路徑內(nèi)的鏡頭或其他組件所導(dǎo)致的）。此外，場景溫度可能不同于 快門的溫度，并且對(duì)輻射的檢測器元件響應(yīng)可能不是完全線性的。這樣，以快門溫度進(jìn)行的 校正可能不適合于紅外成像系統(tǒng)正在成像的具體場景。而且，在使用快門的偏移校準(zhǔn)期間， 紅外成像系統(tǒng)可能不能如用戶所期望的那樣捕獲場景的圖像。
[0005] 人類觀察者對(duì)于紅外成像器中典型的高頻空間噪聲非常敏感。低通濾波器可用于 減少噪聲，但是這使圖像模糊、并且降低了系統(tǒng)性能。
[0006] 結(jié)果，需要針對(duì)紅外成像和處理紅外圖像的改進(jìn)技術(shù)，其可在不依賴快門或者需 要均勻場景的情況下減少空間、時(shí)間和/或1/f?類型噪聲，并且可不引入模糊或者引入最小 模糊。

【發(fā)明內(nèi)容】

[0007] 根據(jù)一個(gè)或多個(gè)實(shí)施例的在這里公開的系統(tǒng)和方法提供了用于處理由紅外傳感 器（例如紅外相機(jī)）捕獲的圖像的技術(shù)，以便諸如提高圖像質(zhì)量。例如，根據(jù)實(shí)施例，公開 圖像處理算法，以將紅外圖像分離為列和行部分或區(qū)段（portion)，其可被分開地處理以減 少噪聲并提供改進(jìn)的紅外圖像。
[0008] 根據(jù)一個(gè)或多個(gè)實(shí)施例，用于處理紅外圖像數(shù)據(jù)的系統(tǒng)和方法包括：從非均勻場 景接收紅外圖像數(shù)據(jù)；將所述紅外圖像數(shù)據(jù)分離為列噪聲濾波區(qū)段和行噪聲濾波區(qū)段；確 定列噪聲偏移項(xiàng)；基于列噪聲偏移項(xiàng)來應(yīng)用列噪聲濾波校正到紅外圖像數(shù)據(jù)；確定行噪聲 偏移項(xiàng)；基于行噪聲偏移項(xiàng)來應(yīng)用行噪聲濾波校正到紅外圖像數(shù)據(jù)；基于列和行噪聲濾波 校正提供已校正紅外圖像數(shù)據(jù)作為紅外輸出圖像數(shù)據(jù)；以及存儲(chǔ)所述紅外輸出圖像數(shù)據(jù)。 在一個(gè)實(shí)現(xiàn)中，相同的列噪聲偏移項(xiàng)被應(yīng)用到列噪聲濾波區(qū)段的特定列中的每個(gè)對(duì)應(yīng)像 素，并且相同的行噪聲偏移項(xiàng)被應(yīng)用到行噪聲濾波區(qū)段的特定行中的每個(gè)對(duì)應(yīng)像素。
[0009] 在各種實(shí)現(xiàn)中，所述系統(tǒng)和方法可包括：通過針對(duì)每個(gè)像素計(jì)算中心像素與多個(gè) 相鄰像素之間的差來分開地計(jì)算行噪聲濾波區(qū)段的列相鄰者（neighbor)差；以及通過針 對(duì)每個(gè)像素計(jì)算中心像素與多個(gè)相鄰像素之間的差來分開地計(jì)算列噪聲濾波區(qū)段的行相 鄰者差。所述系統(tǒng)和方法可包括：在分開地計(jì)算列和行相鄰者差之后執(zhí)行列和行相鄰者差 的直方圖；分開地將所述列和行相鄰者差與預(yù)定閾值進(jìn)行比較；并且如果所述差低于所述 預(yù)定閾值，則將列和行相鄰者差添加到相應(yīng)列和行。在一個(gè)方面，所述將列和行相鄰者差添 加到相應(yīng)列和行的步驟包括分別地將列和行相鄰者差添加到關(guān)于特定列和行的直方圖。
[0010] 在各個(gè)實(shí)現(xiàn)中，所述系統(tǒng)和方法可包括：確定關(guān)于相應(yīng)列和行的中值差（median difference);將所述中值差添加到關(guān)于相應(yīng)列和行的一個(gè)或多個(gè)先前校正項(xiàng)；以及將所 述校正項(xiàng)應(yīng)用到紅外圖像數(shù)據(jù)。在一個(gè)方面，所述紅外圖像數(shù)據(jù)包括紅外輸入視頻數(shù)據(jù)，所 述已校正紅外圖像數(shù)據(jù)包括已校正紅外視頻數(shù)據(jù)，并且所述紅外輸出圖像數(shù)據(jù)包括紅外輸 出視頻數(shù)據(jù)。所述系統(tǒng)和方法可以包括在估計(jì)所述列和行噪聲濾波校正值之前對(duì)紅外圖像 數(shù)據(jù)進(jìn)行高通濾波。在一個(gè)方面，對(duì)相應(yīng)行和列進(jìn)行高通濾波包括減去低通濾波運(yùn)算的結(jié) 果。所述紅外圖像數(shù)據(jù)可包括多個(gè)幀，其中除第一幀之外，每個(gè)幀被分開地校正為具有至少 一個(gè)先前幀的當(dāng)前幀。所述系統(tǒng)和方法可包括將紅外圖像數(shù)據(jù)延遲一個(gè)幀、并顯示紅外輸 出圖像數(shù)據(jù)。
[0011] 根據(jù)實(shí)施例，用于處理紅外圖像數(shù)據(jù)的方法包括：從多像素紅外檢測器接收基于 非均勻場景的紅外圖像數(shù)據(jù)；識(shí)別紅外圖像數(shù)據(jù)的列噪聲濾波區(qū)段；確定用于對(duì)應(yīng)列的列 噪聲偏移項(xiàng)；基于列噪聲偏移項(xiàng)將列噪聲濾波校正應(yīng)用到紅外圖像數(shù)據(jù)，其中所述列噪聲 偏移項(xiàng)被應(yīng)用到列噪聲濾波區(qū)段的每個(gè)對(duì)應(yīng)列中的至少大多數(shù)紅外圖像數(shù)據(jù)；基于列噪聲 濾波校正提供已校正紅外圖像數(shù)據(jù)作為紅外輸出圖像數(shù)據(jù)；以及存儲(chǔ)所述紅外輸出圖像數(shù) 據(jù)。
[0012] 根據(jù)實(shí)施例，紅外成像系統(tǒng)包括：紅外檢測器（例如，由諸如紅外相機(jī)的紅外成像 裝置所使用的）；處理器，適于處理來自紅外檢測器的、非均勻場景的紅外圖像數(shù)據(jù)；以及 存儲(chǔ)部件，適于存儲(chǔ)所述紅外輸出圖像數(shù)據(jù)。所述處理器可適于通過如下來處理來自紅外 檢測器的紅外圖像數(shù)據(jù)：從多像素紅外檢測器接收基于非均勻場景的紅外圖像數(shù)據(jù)；識(shí)別 紅外圖像數(shù)據(jù)的列噪聲濾波區(qū)段；確定用于對(duì)應(yīng)列的列噪聲偏移項(xiàng)；基于所述列噪聲偏移 項(xiàng)將列噪聲濾波校正應(yīng)用到紅外圖像數(shù)據(jù)，其中所述列噪聲偏移項(xiàng)被應(yīng)用到列噪聲濾波區(qū) 段的每個(gè)對(duì)應(yīng)列中的至少大多數(shù)紅外圖像數(shù)據(jù)；以及基于列噪聲濾波校正提供已校正紅外 圖像數(shù)據(jù)作為紅外輸出圖像數(shù)據(jù)。
[0013] 根據(jù)一個(gè)或多個(gè)實(shí)施例，提供了一種用于處理紅外圖像數(shù)據(jù)的方法，該方法包括： 從紅外檢測器接收基于非均勻場景的紅外圖像數(shù)據(jù)，其中所述紅外圖像數(shù)據(jù)包括在多個(gè)行 和列中布置的像素；對(duì)于每一列的至少一部分中的每個(gè)像素，確定該像素與包含該像素的 鄰域中的多個(gè)其他像素之間的差；對(duì)于每一列的所述部分中的每個(gè)像素，基于該像素與其 他像素之間的差的至少一個(gè)子集來確定平均差；對(duì)于每一列，至少基于針對(duì)該列中的像素 確定的平均差來確定對(duì)應(yīng)的列校正項(xiàng)；和將所述列校正項(xiàng)應(yīng)用于紅外圖像數(shù)據(jù)，以提供具 有減小的空間噪聲的、校正的紅外圖像數(shù)據(jù)。
[0014] 本發(fā)明的范圍由權(quán)利要求所限定，通過參考將權(quán)利要求合并在這個(gè)部分中。通過 考慮一個(gè)或多個(gè)實(shí)施例的如下詳細(xì)描述，將向本領(lǐng)域的技術(shù)人員提供本發(fā)明的實(shí)施例的更 完整理解連同其附加優(yōu)點(diǎn)的實(shí)現(xiàn)。將參考所附的圖表，首先簡要描述所述圖表。
【附圖說明】
[0015] 圖1示出了根據(jù)本發(fā)明實(shí)施例的用于紅外圖像處理的系統(tǒng)的框圖；
[0016] 圖2A至圖2C是圖示了根據(jù)本發(fā)明實(shí)施例的用于對(duì)紅外圖像進(jìn)行噪聲濾波的方法 的流程圖；
[0017] 圖3A至圖3C是圖示了根據(jù)本發(fā)明實(shí)施例的紅外圖像數(shù)據(jù)和紅外圖像的處理的圖 表；
[0018] 圖4示出了根據(jù)本發(fā)明實(shí)施例的用于論述處理技術(shù)的傳感器數(shù)據(jù)的行區(qū)段；
[0019] 圖5A至圖5C示出了根據(jù)本發(fā)明實(shí)施例的用于對(duì)紅外圖像進(jìn)行列和行噪聲濾波的 示范實(shí)現(xiàn)。
[0020] 通過參考接下來的詳細(xì)描述來最好地理解本發(fā)明的實(shí)施例和它們的優(yōu)點(diǎn)。應(yīng)該理 解，相同的附圖標(biāo)記被用于識(shí)別在一個(gè)或多個(gè)圖中圖示的相同元件。
【具體實(shí)施方式】
[0021] 這里公開的根據(jù)一個(gè)或多個(gè)實(shí)施例的系統(tǒng)和方法提供了用于由紅外成像系統(tǒng)捕 獲的圖像的圖像處理算法。例如，在一個(gè)實(shí)施例中，可處理紅外圖像以減少紅外圖像內(nèi)的噪 聲（例如，改善圖像細(xì)節(jié)和/或圖像質(zhì)量）。對(duì)于一個(gè)或多個(gè)實(shí)施例，可應(yīng)用處理技術(shù)來減 少在紅外圖像的行和/或列內(nèi)的噪聲。
[0022] 可以將噪聲的顯著（significant)區(qū)段定義為行和列噪聲。這類噪聲可通過讀出 集成電路（ROIC)中的非線性來解釋。如果不去除這類噪聲，則它可能被顯現(xiàn)為最終圖像中 的垂直和水平條帶，并且人類觀察者對(duì)這些類型的圖像偽影非常敏感。如果存在行和列噪 聲，則依賴于來自諸如自動(dòng)目標(biāo)跟蹤器的紅外傳感器的影像（imagery)的其他系統(tǒng)還可能 經(jīng)受性能惡化。
[0023] 由于紅外檢測器和讀出集成電路（ROIC)組合件的非線性行為，即使當(dāng)執(zhí)行快門 操作或者外部黑體校準(zhǔn)時(shí)，也可能有殘余的行和列噪聲（例如，正在成像的場景可能不具 有與快門確切相同的溫度）。在偏移校準(zhǔn)之后，行和列噪聲的量可能隨時(shí)間增加，并漸進(jìn)地 增加到某個(gè)最大值。在一個(gè)方面，這可被稱為1/f?類型噪聲。
[0024] 在任何給定的幀中，行和列噪聲可被視為高頻空間噪聲。傳統(tǒng)地，可使用空域?yàn)V波 器（例如，局部線性或非線性低通濾波器）或頻域?yàn)V波器（例如，傅立葉或小波空間中的低 通濾波器）來減少這類噪聲。然而，這些濾波器可具有負(fù)面影響，諸如圖像的模糊和微弱細(xì) 節(jié)的潛在損失。
[0025] 本領(lǐng)域的技術(shù)人員應(yīng)該理解，對(duì)列或行的任何引用可包括部分列或部分行，并且 術(shù)語"行"和"列"是可交換的并且不是限制性的。這樣，在不脫離本發(fā)明的范圍的情況下， 取決于應(yīng)用，術(shù)語"行"可用于描述行或列，并且同樣地，術(shù)語"列"可用于描述行或列。
[0026] 圖1示出了根據(jù)本發(fā)明實(shí)施例的用于紅外圖像捕獲和處理的系統(tǒng)100 (例如紅外 相機(jī)）的框圖。在一個(gè)實(shí)現(xiàn)中，所述系統(tǒng)100包括處理組件110、存儲(chǔ)組件120、圖像捕獲組 件130、控制組件140和顯示組件150?？蛇x地，所述系統(tǒng)可包括感測組件160。
[0027] 所述系