預(yù)處理視頻流用于后續(xù)運(yùn)動檢測處理的方法、裝置和系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及視頻流中運(yùn)動檢測的領(lǐng)域。具體地，涉及視頻流的預(yù)處理以用于后續(xù) 運(yùn)動檢測處理。
【背景技術(shù)】
[0002] 對于自動攝像頭監(jiān)視的需求正在穩(wěn)步增加。例如，即使在很遠(yuǎn)距離且困難的環(huán)境 下，仍期望能夠檢測由攝像頭捕捉的圖像中對象的運(yùn)動。為了這個目的，市場上可以商購到 大量的用于運(yùn)動檢測的自動系統(tǒng)的運(yùn)動檢測引擎。
[0003] 運(yùn)動檢測引擎可以例如運(yùn)行在網(wǎng)絡(luò)裝置（諸如服務(wù)器）上，并且一個或多個攝像 頭可以經(jīng)由網(wǎng)絡(luò)使捕捉到的圖像的視頻流流入網(wǎng)絡(luò)，以用于后續(xù)運(yùn)動檢測。由于比特率的 限制，當(dāng)將圖像的視頻流流入網(wǎng)絡(luò)裝置時，在將其發(fā)送至網(wǎng)絡(luò)裝置之前，通常轉(zhuǎn)換（諸如壓 縮或轉(zhuǎn)換為較低的位深度（bit depth))捕捉到的圖像的視頻流。換言之，在傳送至運(yùn)動檢 測引擎之前，表示視頻流中圖像的比特數(shù)降低了。通過示例的方式，視頻流中圖像的每個像 素可以在轉(zhuǎn)換之前由16比特表示并且在轉(zhuǎn)換之后由8比特表示。
[0004] 由于被用來表示運(yùn)動檢測引擎對其進(jìn)行操作的視頻流中圖像的比特數(shù)目有限，運(yùn) 動檢測引擎檢測小對象的能力將是有限的。例如，在比特轉(zhuǎn)換過程中，小的對象可能消失， 或者由于運(yùn)動檢測引擎對其進(jìn)行操作的視頻流中圖像的低對比度或低分辨率，小的對象可 能被誤認(rèn)為是噪聲并且因此可能被運(yùn)動檢測引擎去除。
[0005] UK專利申請GB 2442512A公開了一種對從攝像頭接收到的圖像（即，通常是已經(jīng) 進(jìn)行比特轉(zhuǎn)換的圖像）進(jìn)行操作的運(yùn)動檢測器。所公開的運(yùn)動檢測器計算當(dāng)前視頻幀和先 前視頻幀之間的差值，以便檢測移動對象的邊緣。與噪聲相比，為了突出移動對象，將檢測 到的邊緣增強(qiáng)，使得真實移動特征的邊緣遠(yuǎn)遠(yuǎn)高于隨機(jī)像素變化。
[0006] 因此，GB 2442512A提出改變運(yùn)動檢測算法，以便與隨機(jī)噪聲相比增強(qiáng)真實的移動 對象。因此，使用這種方法，不可以使用標(biāo)準(zhǔn)的、市售的運(yùn)動檢測引擎。此外，這種方法受到 下述事實的影響，即，在進(jìn)行運(yùn)動檢測之前，由于在攝像頭中常常發(fā)生的比特轉(zhuǎn)換，小的對 象可能被從圖像中移除或消失。
[0007] 因此，期望能夠使用標(biāo)準(zhǔn)的、市售的運(yùn)動檢測引擎，并且還能夠改善關(guān)于對覆蓋捕 捉到的圖像中幾個像素的小對象的檢測的運(yùn)動檢測結(jié)果。

【發(fā)明內(nèi)容】

[0008] 基于上述，因此本發(fā)明的目的是減少或克服上述缺點。特別地，本發(fā)明的目的是提 供允許使用標(biāo)準(zhǔn)的、市售的運(yùn)動檢測引擎并且還能夠改善檢測小對象的運(yùn)動檢測的結(jié)果的 方法、裝置和系統(tǒng)。
[0009] 根據(jù)本發(fā)明的第一方面，由預(yù)處理視頻流以用于后續(xù)運(yùn)動檢測的方法來實現(xiàn)上述 目的，該方法包括：
[0010] 接收圖像的視頻流，其中所述視頻流中的每個圖像由第一多個比特表示；
[0011] 對于所述視頻流中的每個圖像，通過下述步驟來增強(qiáng)所述圖像的視頻流：
[0012] 將所述視頻流中的所述圖像與至少一個先前圖像進(jìn)行比較，以便識別出所述視頻 流中所述圖像不同于與所述至少一個先前圖像的像素，
[0013] 在所述視頻流中所述圖像不同于所述至少一個先前圖像的像素中，增強(qiáng)所述圖 像；以及
[0014] 轉(zhuǎn)換增強(qiáng)后的圖像的視頻流，以便產(chǎn)生轉(zhuǎn)換后的圖像的視頻流用于后續(xù)運(yùn)動檢測 處理，其中所述轉(zhuǎn)換后的視頻流中的每個圖像由低于所述第一多個比特的第二多個比特表 不。
[0015] 使用這種方法，在應(yīng)用運(yùn)動檢測處理之前對視頻流進(jìn)行預(yù)處理。這意味著無需對 運(yùn)動檢測處理進(jìn)行任何修改，從而允許使用標(biāo)準(zhǔn)的、市售的運(yùn)動檢測引擎。代替地，所提出 的方法對視頻流進(jìn)行預(yù)處理以便修改隨后進(jìn)行運(yùn)動檢測處理的輸入視頻流。
[0016] 更具體地，在將攝像頭捕捉的原始的圖像的視頻流轉(zhuǎn)換為可能隨后將進(jìn)行運(yùn)動檢 測處理的視頻流之前，所提出的方法增強(qiáng)了上述原始的圖像的視頻流。這個轉(zhuǎn)換可以看作 比特減少過程，導(dǎo)致用于表示視頻流中每個圖像的比特數(shù)目減小。換言之，對包括更大量信 息（例如，與轉(zhuǎn)換操作之后提供的圖像數(shù)據(jù)相比具有更高對比度和/或更高質(zhì)量）的圖像 數(shù)據(jù)進(jìn)行預(yù)處理。這使得預(yù)處理利用更大量的信息，并且基于此，增強(qiáng)了圖像中的特征（例 如小的移動對象，否則它們將在轉(zhuǎn)換操作中丟失或在轉(zhuǎn)換后的視頻流中難以與噪聲區(qū)分）。
[0017] 更詳細(xì)地，上述方法提出識別視頻流中圖像不同于至少一個先前圖像的像素，即 可能對應(yīng)于移動對象的移動邊緣的像素。然后在識別出的像素中增強(qiáng)該圖像。因為移動邊 緣通常出現(xiàn)在移動對象的"周圍"，所以增強(qiáng)之后的對象的尺寸將顯得更大，從而使得后續(xù) 運(yùn)動檢測處理更容易地檢測出移動對象。顯而易見地，因為在轉(zhuǎn)換之前在攝像頭的圖像流 先執(zhí)行增強(qiáng)，所以與轉(zhuǎn)換之后執(zhí)行的相應(yīng)增強(qiáng)相比，由于轉(zhuǎn)換之前和轉(zhuǎn)換之后圖像中信息 的差異，所以轉(zhuǎn)換之前的增強(qiáng)可能能夠增強(qiáng)更小的移動對象。
[0018] 在由熱成像攝像頭（thermal camera)捕捉視頻流的情形下，所提出的方法可能是 尤其有利的。熱成像攝像頭是大的檢測器且可以被用于對遠(yuǎn)距離處和艱難狀況下的對象進(jìn) 行區(qū)分。它們在這方面的性能常常比視覺攝像頭更好。然而，由于計算能力的限制以及通 常地?zé)岢上駭z像頭的較低分辨率（使得由捕捉到的圖像中的較少像素覆蓋對象），在諸如 運(yùn)動檢測的自動系統(tǒng)中難以利用這個檢測潛力。另外，大多數(shù)運(yùn)動檢測引擎被優(yōu)化為視覺 攝像頭。然而，如上所述，使用所提出的方法，在預(yù)處理之后對象將顯得更大且因此有助于 解決熱成像攝像頭的低分辨率問題。
[0019] 圖像的視頻流通常指圖像的時間序列。
[0020] 增強(qiáng)像素中的圖像通常指增大或增進(jìn)（gain)該像素的值。
[0021] 如本文所使用的，如果一個圖像與至少一個先前圖像的強(qiáng)度值的差異超過閾值， 則可以說該圖像與該至少一個先前圖像的像素不同。
[0022] 轉(zhuǎn)換視頻流通常指將視頻流從第一格式轉(zhuǎn)換為第二格式。特別地，轉(zhuǎn)換視頻流指 減少視頻流中表示每個圖像或像素的比特數(shù)目。例如，這可以包括對圖像的視頻流進(jìn)行視 頻壓縮。額外地或可替代地，轉(zhuǎn)換可以包括減少視頻流中圖像的位深度。更具體地，視頻流 中圖像的每個像素可以由第一數(shù)目比特表示，并且轉(zhuǎn)換增強(qiáng)后的圖像的視頻流的步驟可以 包括轉(zhuǎn)換增強(qiáng)后的圖像的視頻流，使得轉(zhuǎn)換后的視頻流中圖像的每個像素由低于第一數(shù)目 比特的第二數(shù)目比特表示。第一數(shù)目比特（即，在轉(zhuǎn)換之前的位深度）可以等于16比特， 而第二數(shù)目比特（即，在轉(zhuǎn)換之后的位深度）可以等于8比特。應(yīng)該注意到，如本文中所使 用的，轉(zhuǎn)換視頻流通常不指減小空間分辨率（即，視頻流的圖像中的像素數(shù)目）。
[0023] 因為第一比特數(shù)目大于第二比特數(shù)目，所以在轉(zhuǎn)換之前圖像的視頻流中圖像的對 比度比轉(zhuǎn)換之后高。由于更高的對比度，例如可以更容易將對象與噪聲區(qū)分開，所以簡化了 對小對象的檢測和增強(qiáng)。
[0024] 在將所述視頻流中的所述圖像與至少一個先前圖像進(jìn)行比較的步驟中，可以將所 述視頻流中所述圖像與根據(jù)至少一個先前圖像形成的圖像進(jìn)行比較。例如，通過形成視頻 流中至少一個先前圖像的平均值，可以根據(jù)視頻流中的至少一個先前圖像形成圖像。因此， 根據(jù)至少一個先前圖像形成的圖像可以被看作通過時間地過濾至少一個先前圖像而形成 的圖像。對于待形成的圖像中的不同像素，當(dāng)形成平均值時可以使用不同數(shù)目的先前圖像， 即，對于不同的像素，時間濾波器可以使用不同數(shù)目的先前圖像。特別地，所使用的先前圖 像的數(shù)目可以基于在至少一個先前圖像中最近的一個中檢測到的運(yùn)動。通過示例的方式， 在特定像素中檢測到運(yùn)動的情況下，當(dāng)根據(jù)至少一個先前圖像形成圖像時，對于該像素可 以僅僅使用至少一個先前圖像中最近的一個。在特定像素中沒有檢測到運(yùn)動的情況下，當(dāng) 根據(jù)至少一個先前圖像形成圖像時，對于該像素可以使用至少一個先前圖像中的多個。在 這種情況下，基于至少一個先前圖像中的最近一個與根據(jù)上述由至少一個先前圖像中的所 述最近一個之前的至少一個圖像形成的圖像的比較，可以檢測到運(yùn)動。換言之，為了能夠進(jìn) 行運(yùn)動檢測，對于圖像的視頻流中的每個圖像幀，可以迭代地更新根據(jù)至少一個先前圖像 形成的圖像（即，時間地過濾后的圖像）。
[0025] 可以以不同的方式來執(zhí)行對在視頻流中圖像不同于至少一個先前圖像的那些像 素中的圖像的增強(qiáng)。例如，在增強(qiáng)所述圖像的步驟中，可以將偏移加入所述視頻流中所述圖 像不同于所述至少一個先前圖像的那些像素的像素值。以這種方式，增大了檢測到運(yùn)動的 像素中的對比度，從而使得后續(xù)運(yùn)動檢測處理更容易地將這些像素與噪聲區(qū)分開。
[0026] 在增強(qiáng)圖像的步驟中，還可以將所述視頻流中所述圖像不同于所述至少一個先前 圖像的像素中的像素值乘以增益因數(shù)來增大對比度。
[0027] 如上所述，增強(qiáng)步驟將具有增大移動對象尺寸的效果，即，在增強(qiáng)之后，移動對象 將顯得比增強(qiáng)之前更大。在增強(qiáng)所述圖像的步驟中，還可以在所述視頻流中所述圖像不同 于所述至少一個先前圖像的像素周圍增強(qiáng)所述圖像來增大上述效果。例如，這個周圍可以 對應(yīng)于將像素的幀（諸如3x3、5x5、或更一般地η X η像素幀）加入與視頻流中至少一個先 前圖像不同的圖像中的每個像素。
[0028] 如上所進(jìn)一