一種基于圖像背景剪除的動態(tài)視覺測量方法
【專利摘要】本申請公開了一種基于圖像背景剪除的動態(tài)視覺測量方法，其中，圍繞測量場布置有攝像機(jī)，所述攝像機(jī)具有固定的拍攝視野，所述方法包括以下步驟：步驟1、所述攝像機(jī)拍攝當(dāng)前圖像；步驟2、將所述當(dāng)前圖像與對應(yīng)于先前光照條件的背景圖像進(jìn)行對應(yīng)像素的像素值相減，將相減結(jié)果大于第一預(yù)定閾值的像素判定為前景像素，將相減結(jié)果不大于第一預(yù)定閾值的像素判定為背景像素；步驟3、根據(jù)當(dāng)前圖像的前景像素的數(shù)目占總像素數(shù)目的比例、以及當(dāng)前圖像相對于所述背景模型的變化的梯度方向的一致性，判定當(dāng)前光照條件是否相對于先前光照條件而發(fā)生變化；步驟4、如果當(dāng)前光照條件相對于先前光照條件而發(fā)生變化，則重建對應(yīng)于當(dāng)前光照條件的背景圖像。
【專利說明】一種基于圖像背景剪除的動態(tài)視覺測量方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及高效率動態(tài)視覺測量中的圖像處理領(lǐng)域，特別涉及在照明條件變化的情況下的一種有效的圖像背景剪除技術(shù)、以及這種技術(shù)在視覺測量中的應(yīng)用。

【背景技術(shù)】
[0002]隨著大型飛機(jī)、載人航天和大型雷達(dá)等國家重要工程的快速推進(jìn)，對大型零件設(shè)備的變形和大空間內(nèi)物體的運動狀態(tài)的實時監(jiān)測技術(shù)得到了快速發(fā)展。計算機(jī)技術(shù)、電子技術(shù)、光學(xué)技術(shù)的日趨完善以及圖像處理、模式識別等技術(shù)的不斷進(jìn)步，視覺測量技術(shù)已逐漸成為大型構(gòu)件和設(shè)備狀態(tài)信息的最主要的監(jiān)測手段。
[0003]目前，大型構(gòu)件和設(shè)備狀態(tài)檢測主要包括接觸式和非接觸式兩種。接觸式狀態(tài)檢測技術(shù)主要包括:人工采用卡具測量和三坐標(biāo)測量機(jī)。人工采用卡具測量的操作簡單、成本低，是目前生產(chǎn)中較多采用的一種測量方法，但測量效率低、精度差、無法實現(xiàn)動態(tài)測量。三坐標(biāo)測量機(jī)是完成三坐標(biāo)測量的通用設(shè)備，具有很好的測量精度，但測量范圍有限，同樣無法實現(xiàn)動態(tài)測量。非接觸式檢測技術(shù)主要有激光跟蹤儀、3D激光測距儀、全站儀、經(jīng)緯儀、視覺檢測技術(shù)等。激光跟蹤儀、3D激光測距儀、全站儀及經(jīng)緯儀適于一般現(xiàn)場條件，測量范圍大、精度高，但主要缺點是測量效率低，一次只能實現(xiàn)單點測量，無法實現(xiàn)大型構(gòu)件或設(shè)備的表面信息測量和動態(tài)測量。
[0004]制約大型構(gòu)件和設(shè)備的動態(tài)視覺測量的關(guān)鍵技術(shù)難點主要是:在對大型構(gòu)件和設(shè)備的監(jiān)測過程中會產(chǎn)生大量冗余數(shù)據(jù)，導(dǎo)致計算機(jī)處理數(shù)據(jù)量大、工作效率低下等問題，并且對于環(huán)境照明條件的突然變化，會導(dǎo)致動態(tài)視覺測量失效的問題。
[0005]實時背景剪除技術(shù)，在視頻，跟蹤，探測和實物放大系統(tǒng)中都是一個難題。之前在視頻處理上的研究已經(jīng)取得了很大的成果，但很少涉及光照條件突然變化的情況。在之前的研究中，背景保留技術(shù)可以通過更新背景模型來處理逐漸改變的光照條件，但在光照條件突然發(fā)生改變的時，這種方法會失效。


【發(fā)明內(nèi)容】

[0006]有鑒于此，本發(fā)明的主要目的在于一種基于圖像背景剪除的動態(tài)視覺測量方法，其解決了現(xiàn)有動態(tài)視覺測量中由于高分辨率視頻圖像信息量大、圖像的傳輸和處理比較困難的問題，在保證了動態(tài)視頻測量的精度的前提下，提高了動態(tài)測量的效率。并且本發(fā)明所涉及的圖像背景剪除技術(shù)能夠有效的克服測量環(huán)境中光照條件的變化，獲取測量點的圖像信息。
[0007]圍繞被測物體布置多個視覺測量站，從不同的角度對目標(biāo)進(jìn)行拍攝，并對被測物所需的測量點行全局標(biāo)定，建立全局坐標(biāo)系。對測量場內(nèi)物體進(jìn)行連續(xù)測量。測量主要包括長度測量和位移測量，也可以進(jìn)行位姿測量。
[0008]在測量過程中，測量場內(nèi)景物在視覺測量站的投影包括被測物體及其背景。測量的主要依據(jù)是被測物體，特別是測量靶標(biāo)在視覺測量站中的投影，形成圖像中的前景圖像；測量場內(nèi)其它物體的投影形成圖像中的背景圖像。其中背景圖像所占區(qū)域較大，對數(shù)據(jù)傳輸及測量速度等有負(fù)面影響。為此，本發(fā)明提出使用背景剪除方法去除背景圖像，保留前景圖像。
[0009]在動態(tài)測量過程中，被測物體的移動將造成圖像的變化；而由于光照等方面的影響，背景圖像也會發(fā)生變化。本發(fā)明的特點在于將不同的變化區(qū)分開來。特別是測量場內(nèi)光照發(fā)生突然變化時，前景圖像和背景圖像都將發(fā)生巨大變化，采用傳統(tǒng)的背景剪除難以進(jìn)行前景和背景的區(qū)分。本發(fā)明提出的背景剪除方法能夠在測量場內(nèi)光照發(fā)生突然變化時，保持對背景和前景的建模過程，保證前景和背景圖像的區(qū)分。
[0010]在測量過程中，攝像機(jī)位置保持不變，其視場范圍亦保持不變。在測量場內(nèi)每個攝像機(jī)的背景剪除算法在各個采集的圖像序列中進(jìn)行。不同攝像機(jī)背景剪除后的結(jié)果在特征匹配過程中進(jìn)行對應(yīng)，隨即采用立體視覺算法，計算測量靶標(biāo)坐標(biāo)。
[0011]根據(jù)本發(fā)明的實施例，提供了一種基于圖像背景剪除的動態(tài)視覺測量方法，其中，圍繞測量場布置有攝像機(jī)，所述攝像機(jī)具有固定的拍攝視野，所述方法包括以下步驟:步驟1、所述攝像機(jī)拍攝當(dāng)前圖像；步驟2、將所述當(dāng)前圖像與對應(yīng)于先前光照條件的背景圖像進(jìn)行對應(yīng)像素的像素值相減，將相減結(jié)果大于第一預(yù)定閾值的像素判定為前景像素，將相減結(jié)果不大于第一預(yù)定閾值的像素判定為背景像素；步驟3、根據(jù)當(dāng)前圖像的前景像素的數(shù)目占總像素數(shù)目的比例、以及當(dāng)前圖像相對于所述背景模型的變化的梯度方向的一致性，判定當(dāng)前光照條件是否相對于先前光照條件而發(fā)生變化；步驟4、如果當(dāng)前光照條件相對于先前光照條件而發(fā)生變化，則重建對應(yīng)于當(dāng)前光照條件的背景圖像。
[0012]本發(fā)明的有益效果主要在于:提出了一種將圖像背景剪除過濾技術(shù)，其應(yīng)用到對大型構(gòu)件和設(shè)備的視覺測量過程中，即，在對監(jiān)測信息數(shù)據(jù)處理前對所監(jiān)測到的圖像數(shù)據(jù)進(jìn)行過濾(剪除背景部分)，剔除大量的冗余數(shù)據(jù)，從而縮短計算機(jī)處理圖像數(shù)據(jù)的時間，提高視覺測量技術(shù)的工作效率，并且通過背景圖像模型的重建，還能有效地克服因周圍環(huán)境照明條件的突然變化而引起的測量失效的問題。

【專利附圖】

【附圖說明】
[0013]圖1為根據(jù)本發(fā)明的實施例的基于圖像背景剪除的動態(tài)視覺測量方法的示意流程圖。
[0014]圖2至4為根據(jù)本發(fā)明的實施例的期望最大化方法的示意流程圖。
[0015]圖5和6用來示出根據(jù)本發(fā)明的實施例的動態(tài)視覺測量方法的預(yù)分類過程所采用的摩斯理論的原理。

【具體實施方式】
[0016]下面，結(jié)合附圖對技術(shù)方案的實施作進(jìn)一步的詳細(xì)描述。
[0017]本領(lǐng)域的技術(shù)人員能夠理解，盡管以下的說明涉及到有關(guān)本發(fā)明的實施例的很多技術(shù)細(xì)節(jié)，但這僅為用來說明本發(fā)明的原理的示例、而不意味著任何限制。本發(fā)明能夠適用于不同于以下例舉的技術(shù)細(xì)節(jié)之外的場合，只要它們不背離本發(fā)明的原理和精神即可。
[0018]另外，為了避免使本說明書的描述限于冗繁，在本說明書中的描述中，可能對可在現(xiàn)有技術(shù)資料中獲得的部分技術(shù)細(xì)節(jié)進(jìn)行了省略、簡化、變通等處理，這對于本領(lǐng)域的技術(shù)人員來說是可以理解的，并且這不會影響本說明書的公開充分性。
[0019]背景剪除旨在將圖像像素分為背景和前景，這種分類的依據(jù)是物體和背景表面的不同。一張圖像中場景點的顏色是靠它的反射率和照明所決定的。反射率是一個物體的固有屬性，不會隨著照明條件的改變而改變。而背景中的場景點卻只被照明條件的變化所影響。如果一個前景中的物體阻擋了背景中的場景點，那么反射率和照明條件都會被改變。相對于背景來說相關(guān)比率比較明顯，因此可以通過圖像照明比率來預(yù)分類圖像像素為前景和后景。根據(jù)本發(fā)明的實施例，基于摩斯理論的原理，在照明比圖像中進(jìn)行持續(xù)性拓?fù)溥\算，從而完成圖像前景和背景的預(yù)分類。在預(yù)分類階段是有錯誤存在的，但可以通過期望值最大化(EM)將錯誤最大程度地去除。
[0020]在期望值最大化構(gòu)架中，可以處理突然的光照條件改變。一種期望值最大化算法可以在輸入樣本的一系列變量的責(zé)任值分配和一些統(tǒng)計模型的參數(shù)估計間轉(zhuǎn)換。因為其優(yōu)良的特性，期望值最大化已經(jīng)被廣泛地應(yīng)用到背景剪除中。根據(jù)本發(fā)明的實施例，利用高斯混合模型描述前景中的像素，用另一個高斯混合模型描述背景中的照明比率。基于前述預(yù)分類結(jié)果，可以計算高斯混合模型成分的責(zé)任值分配，然后對高斯混合模型的參數(shù)值進(jìn)行估計。
[0021]初始化在期望值最大化計算中非常重要。預(yù)分類結(jié)果只被應(yīng)用在了第一次最大期望步驟上，在后面反復(fù)迭代的期望步驟上，沒有在涉及到概率分布的分解。因此，在初始化中的錯誤并不會影響接下來的期望值最大化反復(fù)，實驗結(jié)果證實，此種構(gòu)想得出了很好的結(jié)果。
[0022]下面參照圖1來具體說明根據(jù)本發(fā)明的實施例的基于圖像背景剪除的動態(tài)視覺測量方法的實現(xiàn)。
[0023]首先，在初始化階段(其在初始光照條件下進(jìn)行)，測量場內(nèi)沒有被測物體。此時，每個攝像機(jī)(單個或多個攝像機(jī))各自獲取多幅圖像，各自基于其獲取的圖像，建立背景模型(即，初始光照條件下的背景圖像)。在背景模型中，每個像素的像素值具有紅(r)、綠(g)、藍(lán)(b)三個通道值，這三個通道值分別是多幅圖像的相應(yīng)像素的相應(yīng)通道值的中值(或均值)。在測量初始化階段，每個攝像機(jī)可以獲得101至201幅圖像。獲取圖像的數(shù)目為奇數(shù)，以便于進(jìn)行上述中值計算。
[0024]之后，被測物體進(jìn)入測量場，S卩，被測物體完整出現(xiàn)在各個攝像機(jī)的拍攝視野中。在被測物體進(jìn)入測量場之后，在各個攝像機(jī)的圖像中得到相應(yīng)的圖像(投影)。之后，在初始光照條件下，根據(jù)在初始化階段生成的背景模型、以及當(dāng)前獲得的圖像，可以進(jìn)行背景剪除。背景剪除的輸入是背景模型和當(dāng)前圖像，其輸出是二值圖像(背景剪除結(jié)果圖像，例如，黑白圖像)。二值圖像表示圖像中相應(yīng)像素點屬于圖像前景或者圖像背景。具體地，在背景剪除的過程中，可以將背景模型和當(dāng)前圖像的對應(yīng)像素(同一位置的像素)的像素值相減，如果差(所述當(dāng)前圖像與所述背景圖像的對應(yīng)像素的紅(r)、綠(g)、藍(lán)(b)三個通道值的差值的絕對值之和)超過閾值，則該像素在背景剪除結(jié)果圖像中的像素值為1(或其他值，例如255)，即表示該像素屬于圖像前景；否則，該像素在背景剪除結(jié)果圖像中的像素值為O (或其他值)，即表示該像素屬于圖像背景。
[0025]至此，進(jìn)行了在初始光照條件下的初始背景模型的建立，完成了初始化階段。
[0026]接下來進(jìn)入實際測量階段。如果光照條件未發(fā)生變化(仍處于初始光照條件下)，則仍可以根據(jù)初始背景模型、以及當(dāng)前獲得的圖像，進(jìn)行背景剪除。
[0027]另一方面，如果初始光照條件發(fā)生改變，那么，由于實際圖像背景與在初始化階段生成的背景模型存在差異，若仍使用在初始化階段生成的背景模型進(jìn)行上述背景剪除，獲得的二值圖像很可能包含錯誤，即，某些像素被錯誤地劃分為圖像前景或圖像背景。例如，在被測物體及其背景圖像在攝像機(jī)的拍攝圖像中都發(fā)生較大變化(亮度變化)的情況下，在進(jìn)行背景剪除時，當(dāng)前拍攝圖像與初始背景模型的對應(yīng)像素之間的像素值的差很可能大于閾值，導(dǎo)致在背景剪除結(jié)果(二值圖像)中的大部分像素將為1，即，大部分圖像區(qū)域都將被分類為前景，而這是不符合實際情況的。
[0028]作為示例，對于環(huán)境光照是否變化，可以根據(jù)背景剪除結(jié)果來確定。具體地，如果采用當(dāng)前背景模型(其可為初始背景模型、或者之后重建的新背景模型)的背景剪除結(jié)果中，前景區(qū)域的像素數(shù)目占圖像像素總數(shù)的比率超過閾值、且當(dāng)前拍攝圖像相對于當(dāng)前背景模型的變化的梯度方向一致(圖像每一個像素的像素值變化梯度一致性，梯度的變化一致性由梯度方向一致的像素數(shù)衡量。這里，如果圖像發(fā)生變化的原因是前景，像素值的梯度方向很難保持一致。)，則判定測量場內(nèi)的環(huán)境光照發(fā)生變化。否則，判定測量場內(nèi)的環(huán)境光照未發(fā)生變化。
[0029]在測量場環(huán)境光照發(fā)生變化時，需要對背景模型進(jìn)行重建，使得背景模型與當(dāng)前光照情況相符合，即，生成新的適于當(dāng)前光照條件的背景模型。反之，如果光照情況未發(fā)生變化，背景剪除的結(jié)果即可用于測量。根據(jù)背景剪除的結(jié)果來判斷環(huán)境光照是否變化，可以大幅降低計算量，并且對被測物體的變化及時感知。
[0030]如上所述，在測量場光照情況發(fā)生變化時需要進(jìn)行背景重建，其輸入為當(dāng)前背景模型和當(dāng)前獲取的圖像。背景模型重建通過期望值最大化(EM)方法(例如，參見參考文獻(xiàn)3、4)進(jìn)行。
[0031]下面描述背景模型的重建過程。
[0032]首先，計算當(dāng)前圖像相對于初始背景模型的光照比，生成當(dāng)前的光照比圖像，然后，利用拓?fù)浞椒▽庹毡葓D像進(jìn)行預(yù)分類(例如，通過采用摩斯理論的預(yù)分類方法)，光照比圖像的所有像素被分為前景像素和背景像素，生成初始的光照比高斯混合模型、以及前景像素的高斯混合模型(模型的初始參數(shù))(可參見參考文獻(xiàn)5中的方法，在光照發(fā)生劇烈變化時，根據(jù)最大期望值方法計算所得的光照比高斯混合模型的參數(shù)，對背景模型進(jìn)行重建。)。在光照條件發(fā)生變化時，背景模型中每個像素的高斯混合模型需要進(jìn)行重建。其中光照比高斯混合模型描述了當(dāng)前圖像相對于初始背景模型的光照變化分布。由于預(yù)分類的結(jié)果可能包含某些像素的誤分類，為了消除誤分類，使用期望值最大化(EM)方法，對高斯混合模型重建，即，通過EM方法，將通過上述預(yù)分類得到的初始的模型參數(shù)收斂到理想值，從而生成全局光照比高斯混合模型的參數(shù)，包括其平均值和方差等。
[0033]下面舉例說明上面各個步驟的實現(xiàn)過程。
[0034]I)光照比的計算:
[0035]設(shè)和餌，丄={1，2，...，n}是初始背景模型圖像m和當(dāng)前輸入圖像U的像素向量，其中會有一系列潛在的可變因素{Υ? = {1，2，...，η}，1 = I(Yi = O)表示像素i是在前景中。圖像中的像素值是反射率Qi和照明率Ki的乘積結(jié)果:? = QiKi
[0036]其中是，Ki是 3X3 對角矩陣，Qi e R3，Hi e R3。
[0037]背景和輸入圖像有不同的照明條件。計算在兩種像素間的照明比率，一張形成背景和一張形成輸入圖像。
[0038]
[0039]如果一個像素在背景中，那么反射特性應(yīng)該是Qiim = Qiill0因此比率是:
κ.Γ
[0040]Rl=-TTiTF
K1.J
[0041]其中It是一個3X1的向量。
[0042]如果一個像素在前景中，比率會被反射率和照明的不同所影響，而且在比率圖像和背景點對比中會很顯著。雖然背景點在前景中和它們在背景中會有很相似的反射率，但是這情況在所有的背景去除方法中是不同的。
[0043]2)預(yù)分類
[0044]利用照明比圖像，來將圖像像素預(yù)分類為前景和背景。前景區(qū)域在比率圖像中通常是是明顯的。比率圖像由一個3X1的向量構(gòu)成《=(<，片，，其中(r、g、b)指RGB
通道。通過計算三個通道中的最大值，將照明比圖像轉(zhuǎn)換成I維:
[0045]Rf ,R^')
[0046]最大通道很好地描述了前景區(qū)域。
[0047]接下來，利用一個拓?fù)涞姆椒?例如，根據(jù)摩斯理論(Morse theory，參見參考文獻(xiàn)I和2))來對Amax進(jìn)行預(yù)分類。
[0048]摩斯理論將具有多種用途的函數(shù)運用到有多種用途的拓?fù)鋵W(xué)上。如果摩斯函數(shù)所有的關(guān)鍵點都是非退化的，一個光滑的映射關(guān)系M— R表示:一個流形協(xié)議M就是摩斯函數(shù)，對于一個函數(shù)的關(guān)鍵點，在這些關(guān)鍵點上函數(shù)的差異都消失了或者不存在了，例如一個已給出的最大值和最小值，在它們之間的一些列點屬于一個平穩(wěn)的流形(簡單地說，流形是拓?fù)浣Y(jié)構(gòu)與微分幾何)。在圖5中展示了平穩(wěn)和不平穩(wěn)的流形。這里還會有一些不平穩(wěn)的流形(如果這些點穿過了最小值)?？梢愿鶕?jù)這些關(guān)鍵點間的關(guān)系給出標(biāo)簽。像在圖6中展示的，這些操作有創(chuàng)建、復(fù)制和取消。具體地，預(yù)分類可包括以下步驟:第一步，計算每個像素的最大照明比，即，每一個圖像像素的三個通道分別有其照明比，在三個照明比中取最大值。第二步，密度估計。在照明比圖像中，求每一個3x3窗口的像素的最大照明比的均值(即，最大照明比之和除以9)，作為此窗口的近似密度估計值。第三步，對所有窗口的密度估計值進(jìn)行排序。第四步，在密度估計值的排序基礎(chǔ)上，進(jìn)行流形計算，同時從最小密度估計值和最大密度估計值開始，利用摩斯理論進(jìn)行拓?fù)溆嬎?，直到從最小密度估計值開始估計的流形的最大密度估計值、與從最大密度估計值開始估計的流形的最小密度估計值相等為止，得到每個窗口所屬的流形(從而每個像素所屬的流形，密度估計是根據(jù)每個窗口的均值獲得。)。第五步，根據(jù)上一步的輸出(拓?fù)?，利用摩斯理論計算每個流形的穩(wěn)定性，從而確定前景和背景的預(yù)分類(確定每個窗口(每個像素)是否處于穩(wěn)定流形中，如果是屬于穩(wěn)定流形，那么，相應(yīng)的像素分類為背景；反之，相應(yīng)像素分類為背景。)，具體地，前景的流形穩(wěn)定性小于背景的流形穩(wěn)定性。流形的穩(wěn)定性可由摩斯理論中的關(guān)鍵點數(shù)目(有關(guān)關(guān)鍵點的定義及計算方法，可參見參考文獻(xiàn)I和2)表示。關(guān)鍵點數(shù)目多，流形屬于非穩(wěn)定流形；與此相對應(yīng)，流形中關(guān)鍵點少，即為穩(wěn)定流形。背景的流形是穩(wěn)定流形；而前景是非穩(wěn)定流形。
[0049]利用高斯轉(zhuǎn)換實現(xiàn)了密度的近似估計，這種方法很高效，估計結(jié)果很正常并且分別儲存在文件中。我們從最大值到最小值進(jìn)行密度估計，繼續(xù)計算關(guān)鍵點間的連續(xù)性。在開始的時候，出現(xiàn)了一些穩(wěn)定的拓?fù)浣Y(jié)構(gòu)。在一些凸起的成分出現(xiàn)過后，拓?fù)浣Y(jié)構(gòu)慢慢趨于平緩直到一些不知名的成分出現(xiàn)后。同時，我們也從最小值開始密度估計，從最大值和最小值開始的拓?fù)涠己芷椒€(wěn)，并且在某些特定的比率特性點達(dá)到了一致。
[0050]將平穩(wěn)拓?fù)浞诸惷黠@區(qū)域作為前景區(qū)域，許多小區(qū)域在噪聲中被分離出包含到預(yù)分類結(jié)果中，并在預(yù)分類中將這些剪除。預(yù)分類的結(jié)果用u (y I RiJ來表示。
[0051]預(yù)分類的結(jié)果通常都包含錯誤，這是可想而知的，因為在有些情況下照明條件是沒有區(qū)別的。不過這些錯誤能在期望值最大化反復(fù)中被剪除，
[0052]3)期望最大化方法
[0053]下面參照圖2至圖4來描述期望最大化方法(可參見參考文獻(xiàn)3、4)。
[0054]第一步，顏色和照明比表示。
[0055]用帶有成分C的GMM表示前景外貌:
[0056]o(Hi u \Υ?λ^) - ? PMiHi u |Λ ,Σ )


c=l
[0057]這里λ。和Σ。分別是GMM的平均數(shù)和協(xié)方差矩陣；β。是Cth的矩陣權(quán)重；M(Hi；u| λ。，Σ。)是3維高斯變量pdf。
[0058]同樣，用帶有成分[的GMM來表征背景中的比率圖像:
[0059]OiRi |.ν?Λ,Σ) = Σ A MiRj \λ,Σ )


c=c+\
[0060]因為前景GMM無法覆蓋一些像素，所以必須統(tǒng)一分配來統(tǒng)計前景中的模糊像素。


I
模糊像素的發(fā)生概率為i用下式來定義統(tǒng)一分配。

β +7+1
[0061]^//,,,Ιν,,Λ,Σ) = ^——

256^
[0062]下面進(jìn)行期望值最大化推理過程。期望值最大化推理的目的是為了計算變量的條件概率，推理過程被確切地闡述為最大可能估計:
[0063]P* = arg max log Π Σ ο{,RnYi |ρ)


i i
[0064]其中:ρ= {λ，Σ, β }
[0065]第二步，期望化。
[0066]E步計算了相關(guān)于i點的每一個成分的回應(yīng)，并且提高了輔助分配p(t+1)=argmax, ι (p, P ω)的可能性。這里t (p，P ω)是t_th反復(fù)中可能性最低的界限。p是作為 P (y I R, Hu, P ) = ο (y I R, Hu, P ω)的最佳選擇。
[0067]在第一次反復(fù)E步中，參數(shù)P是未知的，通過介紹預(yù)分類結(jié)果來初始化期望值最大化?；诮魄熬案怕屎虶MM的統(tǒng)一初始化來計算高斯混合模型的責(zé)任值，并以此來描述前景外貌:
[0068]q(::L = ~β(:]Μ(Η,Μ μΓ,ΣΓΜν =
[0069]這里Mi是后來給出的正常因素。
[0070]然后，通過計算高斯混合模型的責(zé)任值來描述背景中的照明比率:
[0071]= 士彥。球),Σ(>(戶0|',)
[0072]這里I是函數(shù)行列式Ri (Hi；u)的決定因素，以此來完成Pdf (概率密度函數(shù))。
[0073]還可以根據(jù)統(tǒng)一分配來計算模糊像素的責(zé)任值:
[0074]=^U(}? = 1IU
[0075]這個正常因素是通過= Σ::ΓΓ+1 ql'f}來計算的。
[0076]在期望值最大化的第一次反復(fù)后，Θ的參數(shù)在M步中被估計出。在下面的反復(fù)中，E步可以不包含預(yù)分類結(jié)果u (y I U。責(zé)任值是通過以下的式子來計算的。
[0077]= ^βΙηΜ(Η?Μ |Λ(?,,Σ<?
[0078]CH1 C+Z- = 士頌 |Α?
[0079]CkWc+i, = 把L.
[0080]第三步，最大化。
[0081]參見圖4，基于在E步計算出來的責(zé)任值，可以算出期望的價值被完成的可能性。組成矩陣的權(quán)重可以通過下式算出:
γη "(沖
[0082]β^ι+1) = /?r
1m
[0083]可以通過下式估計出前景高斯混合模型的向量平均值:
[0084]Λ(/+1> =去 Σ quhHuu
Mc
[0085]前景中高斯混合模型的協(xié)方差矩陣是通過下式計算的
[0086]
Σ{?Α> = — tq{,+l)(H.-λ )(Η.-λ )τ

CΛ rh,c V I,Uc/V IMC,

Mc
[0087]同樣，背景中高斯混合模型的平均值和協(xié)方差矩陣是通過下式計算的:
[0088]K+1 =

Mc ?=ι
[0089]Σ</+1 * = —- Σ q(if] (R1- Λ.\ f

Mc ?'=1
[0090]矩陣組成部分的權(quán)重是通過下式來計算的:
[0091]Mc=Tq^l>

i=l ’
[0092]在背景高斯混合模型中描述的像素概率在t+Ι次反復(fù)后可通過下式來計算:
[0093]o(i+1,(v = l\p\HUi) = tq^+l)
1C=I
[0094]利用得到的光照比高斯混合模型中的三個通道的平均值，進(jìn)行背景模型重建。
[0095]之后，利用重建的背景模型，對環(huán)境光照變化后的當(dāng)前輸入圖像進(jìn)行正確的前景與背景分類。從而提高視覺測量的效率，降低數(shù)據(jù)傳輸及處理的壓力。
[0096]綜上所述，本領(lǐng)域的技術(shù)人員能夠理解，對本發(fā)明的上述實施例能夠做出各種修改、變型、以及替換，其均落入如所附權(quán)利要求限定的本發(fā)明的保護(hù)范圍。
[0097]參考文獻(xiàn)列表
[0098]K Milnorj J.:Morse theory.Princeton University Press (1963)
[0099]2、Gyulassyj A.，Bremer, P.T.，Hamannj B.，Pascuccij V.: A practicalapproach to morse — smale complex computat1n.1EEE Trans.Vis.Comput.Graph.14(2008) 1619 - 1626
[0100]3、Dempster, A.P.，Laird, N.M.，Rubin, D.B.:Maximum likelihood fromincomplete data via the em algorithm.Journal of the Royal Statistical Society.Series B (Methodological) 39 (1998) 1 - 38
[0101]4、Neal，R.，Hinton，G.:A view of the EM algorithm that justifiesincremental, sparse, and other variants, Learning in Graphical Model.A BradfordBook (1998)
[0102]5λ Zivkovicj Z., van der Heijdenj F.!Efficient adaptive density estimat1nper image pixel for the task of background subtract1n.Pattern Recognit1nLetters 27(2006)773 - 780。
【權(quán)利要求】
1.一種基于圖像背景剪除的動態(tài)視覺測量方法，其中，圍繞測量場布置有攝像機(jī)，所述攝像機(jī)具有固定的拍攝視野，所述動態(tài)視覺測量方法包括以下步驟: 步驟1、所述攝像機(jī)拍攝當(dāng)前圖像； 步驟2、將所述當(dāng)前圖像與對應(yīng)于先前光照條件的背景圖像進(jìn)行對應(yīng)像素的像素值相減，將相減結(jié)果大于第一預(yù)定閾值的像素判定為前景像素，將相減結(jié)果不大于第一預(yù)定閾值的像素判定為背景像素； 步驟3、根據(jù)當(dāng)前圖像的前景像素的數(shù)目占總像素數(shù)目的比例、以及當(dāng)前圖像相對于所述背景模型的變化的梯度方向的一致性，判定當(dāng)前光照條件是否相對于先前光照條件而發(fā)生變化； 步驟4、如果當(dāng)前光照條件相對于先前光照條件而發(fā)生變化，則重建對應(yīng)于當(dāng)前光照條件的背景圖像。
2.根據(jù)權(quán)利要求1所述的動態(tài)視覺測量方法，還包括以下步驟: 步驟5、將所述當(dāng)前圖像與對應(yīng)于當(dāng)前光照條件的重建后的背景圖像進(jìn)行對應(yīng)像素的像素值相減，將相減結(jié)果大于預(yù)定閾值的像素判定為前景像素，將相減結(jié)果不大于預(yù)定閾值的像素判定為背景像素。
3.根據(jù)權(quán)利要求1所述的動態(tài)視覺測量方法，其中，在所述步驟3中，如果當(dāng)前圖像的前景像素的數(shù)目占總像素數(shù)目的比例大于第二預(yù)定閾值、且當(dāng)前圖像相對于所述對應(yīng)于先前光照條件的背景模型的變化的梯度方向一致，則判定當(dāng)前光照條件是否相對于先前光照條件而發(fā)生變化。
4.根據(jù)權(quán)利要求1所述的動態(tài)視覺測量方法，其中，在步驟I之前，還包括以下初始化步驟:在初始光照條件下，所述攝像機(jī)獲取多幅圖像，計算多幅圖像的各個像素的紅(r)、綠(g)、藍(lán)(b)三個通道值的中值，將計算結(jié)果保存為所述對應(yīng)于先前光照條件的背景圖像， 其中，在步驟3中，所述相減結(jié)果是所述當(dāng)前圖像與所述背景圖像的對應(yīng)像素的紅(r)、綠(g)、藍(lán)(b)三個通道值的差值的絕對值之和。
5.根據(jù)權(quán)利要求1所述的動態(tài)視覺測量方法，其中，所述步驟4包括: 步驟41、計算當(dāng)前圖像相對于背景圖像的對應(yīng)像素的像素值的比率，保存作為當(dāng)前的光照比圖像； 步驟42、利用拓?fù)浞椒▽庹毡葓D像進(jìn)行預(yù)分類，光照比圖像的所有像素被分為前景像素和背景像素，生成初始的光照比高斯混合模型、每個像素的高斯混合模型以及前景像素的高斯混合模型，其中光照比高斯混合模型描述當(dāng)前圖像相對于背景圖像的像素值變化分布，前景像素的高斯混合模型用于描述前景像素的分布。
6.根據(jù)權(quán)利要求5所述的動態(tài)視覺測量方法，其中，所述步驟42包括: 步驟421、在所述光照比圖像中，對每一個3x3像素窗口的中的紅(r)、綠(g)、藍(lán)(b)三個通道值的比率中的最大比率求均值，作為此窗口的近似密度估計； 步驟422、對所有密度估計值進(jìn)行排序； 步驟423、利用摩斯理論，進(jìn)行拓?fù)溆嬎悖玫矫總€窗口中的像素所屬的流形； 步驟424、利用摩斯理論，計算每個流形的穩(wěn)定性，將穩(wěn)定性大于第三預(yù)定閾值的流形中的像素預(yù)分類為前景，將其余像素預(yù)分類為背景。
7.根據(jù)權(quán)利要求5所述的動態(tài)視覺測量方法，其中，所述步驟4還包括: 步驟43、使用期望值最大化(EM)方法，將通過所述預(yù)分類得到的初始的高斯混合模型的參數(shù)收斂到最終值，從而生成全局光照比高斯混合模型的參數(shù)，包括其平均值和方差等。
8.根據(jù)權(quán)利要求7所述的動態(tài)視覺測量方法，其中，所述步驟4還包括: 步驟44、使用在步驟43中得到的全局光照比高斯混合模型的紅(r)、綠(g)、藍(lán)(b)三個通道的平均值，生成所述對應(yīng)于當(dāng)前光照條件的背景圖像。
9.根據(jù)權(quán)利要求2至8中的一個所述的動態(tài)視覺測量方法，其中，所述攝像機(jī)是多個攝像機(jī)，用來從不同的角度進(jìn)行拍攝，并基于背景剪除的結(jié)果，進(jìn)行長度測量和位移測量，在特征匹配過程中進(jìn)行對應(yīng)，隨即采用立體視覺算法，計算測量靶標(biāo)坐標(biāo)。
【文檔編號】G06T7/00GK104200473SQ201410443113
【公開日】2014年12月10日 申請日期:2014年9月2日 優(yōu)先權(quán)日:2014年9月2日
【發(fā)明者】王君秋, 張振偉, 楊超, 甘志超, 周莉 申請人:中航高科技發(fā)展有限公司, 中國航空工業(yè)集團(tuán)公司北京長城航空測控技術(shù)研究所, 中航高科智能測控有限公司