專利名稱：基于置信度圖的增強(qiáng)現(xiàn)實(shí)場(chǎng)景虛擬對(duì)象判別和檢測(cè)方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理、計(jì)算機(jī)視覺和增強(qiáng)現(xiàn)實(shí)領(lǐng)域，具體地說是一種基于置信度圖的增強(qiáng)現(xiàn)實(shí)場(chǎng)景虛擬對(duì)象判別和檢測(cè)方法。
背景技術(shù)：
增強(qiáng)現(xiàn)實(shí)是虛擬現(xiàn)實(shí)的進(jìn)一步拓展，它借助必要的設(shè)備使計(jì)算機(jī)生成的虛擬對(duì)象與客觀存在的真實(shí)環(huán)境共存于同一個(gè)增強(qiáng)現(xiàn)實(shí)系統(tǒng)中，從感官和體驗(yàn)效果上給用戶呈現(xiàn)出虛擬對(duì)象與真實(shí)環(huán)境融為一體的增強(qiáng)現(xiàn)實(shí)環(huán)境。隨著增強(qiáng)現(xiàn)實(shí)技術(shù)的發(fā)展，具有較高的圖像真實(shí)感的增強(qiáng)現(xiàn)實(shí)場(chǎng)景的出現(xiàn)，急需度量和評(píng)價(jià)增強(qiáng)現(xiàn)實(shí)場(chǎng)景可信度的標(biāo)準(zhǔn)和依據(jù)。如何判定一個(gè)場(chǎng)景是否增強(qiáng)現(xiàn)實(shí)場(chǎng)景，并且進(jìn)一步地將增強(qiáng)現(xiàn)實(shí)場(chǎng)景中的虛擬對(duì)象檢測(cè)出來，作為增強(qiáng)現(xiàn)實(shí)場(chǎng)景圖像可信度評(píng)價(jià)的一個(gè)途徑，有重要的研究意義和應(yīng)用需求。2011年，意大利特倫多大學(xué)的研究人員提出一種圖像偽造鑒別方法，該方法能將融入真實(shí)場(chǎng)景中的計(jì)算機(jī)生成成分檢測(cè)出來。該工作是已知的現(xiàn)有工作中唯一一個(gè)以增強(qiáng)現(xiàn)實(shí)場(chǎng)景為處理對(duì)象的。但是該工作所進(jìn)行的檢測(cè)不是以對(duì)象為單位，而是只檢測(cè)增強(qiáng)現(xiàn)實(shí)場(chǎng)景中的虛擬成分，即檢測(cè)結(jié)果可能是一個(gè)區(qū)域，也可能是零散分布的點(diǎn)。2005年美國(guó)達(dá)特茅斯大學(xué)的研究人員提出了基于小波分解的自然圖像統(tǒng)計(jì)模型并采用支持向量機(jī)和線性鑒別分析來分類虛擬圖像和真實(shí)圖像的方法。該首先提取彩色圖像小波分解后各個(gè)子帶和方向上分解系數(shù)的四階統(tǒng)計(jì)特征(均值、方差、偏度、峰度)；同時(shí)考慮小波分解后相鄰分解系數(shù)之間的四階線性預(yù)測(cè)誤差特征，然后利用支持向量機(jī)和線性判別分析法訓(xùn)練出分類器，再將測(cè)試集輸入訓(xùn)練好的分類器得到分類結(jié)果。該方法的虛實(shí)分類是針對(duì)整張圖像進(jìn)行的，且分類準(zhǔn)確率隨著虛實(shí)分類特征的提取區(qū)域大小不同而有較大波動(dòng)。2007年，美國(guó)紐約科技大學(xué)的研究人員提出了利用顏色濾波陣列插值檢測(cè)特點(diǎn)以及圖像中色差一致性來區(qū)分虛擬圖像和真實(shí)圖像的方法。該方法首先從訓(xùn)練集正負(fù)樣本中提取基于顏色濾波陣列插值檢測(cè)特點(diǎn)以及圖像中色差一致性的特征，然后將提取的特征輸入支持向量機(jī)中訓(xùn)練出分類器，再將測(cè)試集輸入訓(xùn)練好的分類器得到分類結(jié)果。2009年加拿大艾伯塔大學(xué)的研究人員提出了利用圖像塊重采樣參數(shù)的一致性來分類虛擬圖像和真實(shí)圖像的方法。該方法的原理是基于虛擬圖像生成中對(duì)模型表面紋理映射的過程可能會(huì)用到對(duì)紋理圖像的旋轉(zhuǎn)、縮放等操作，造成虛擬圖像中各圖像塊重采樣的參數(shù)不一致。這樣就可以通過檢測(cè)圖像塊重采樣的參數(shù)是否一致來區(qū)別虛擬圖像和真實(shí)圖像。該方法的圖像塊重采樣的參數(shù)估計(jì)是針對(duì)整張圖像進(jìn)行。2004年，美國(guó)康柏電腦公司劍橋研究實(shí)驗(yàn)室的研究人員提出了利用基于哈爾濾波器并采用AdaBoost分類算法來進(jìn)行人臉檢測(cè)的方法。該方法首先從訓(xùn)練集中提取分類特征，再訓(xùn)練出基于人臉和非人臉統(tǒng)計(jì)特征的分類器，然后將提取的待檢測(cè)圖像的分類特征輸入分類器并通過級(jí)聯(lián)分類器來減少需計(jì)算的檢測(cè)窗口的數(shù)目以提高效率，最終得到檢測(cè)結(jié)果。該方法的特征提取是基于哈爾濾波器，描述的是人臉固有結(jié)構(gòu)帶來的區(qū)域?qū)Ρ榷取?br> 2005年，法國(guó)國(guó)立計(jì)算機(jī)及自動(dòng)化研究院的研究人員提出了利用方向梯度直方圖和線性支持向量機(jī)進(jìn)行人物檢測(cè)的方法。該方法分首先對(duì)輸入圖片進(jìn)行顏色歸一化，然后計(jì)算圖片中的梯度，統(tǒng)計(jì)落在不同方向和方位區(qū)間的像素點(diǎn)，并對(duì)重疊的空間塊進(jìn)行對(duì)比歸一化，再生成每個(gè)檢測(cè)窗的方向梯度直方圖，最后用線性支持向量機(jī)分類器分類出人物/ 非人物區(qū)域，得到檢測(cè)結(jié)果。該方法相比于其他檢測(cè)方法有更高的檢測(cè)效果，但要求圖片中的人物要大致保持豎直站立的狀態(tài)。該方法特征提取采用的是圖像梯度直方圖，描述的是人體輪廓的固有特點(diǎn)。上述區(qū)分虛擬圖像和真實(shí)圖像的方法，共同點(diǎn)是它們所提取的虛實(shí)分類特征都不適用于針對(duì)圖像中任意給定區(qū)域的虛實(shí)分類。此外，現(xiàn)有的對(duì)象檢測(cè)的工作中，一般處理的對(duì)象都有較強(qiáng)的易于描述的外觀特點(diǎn)作為先驗(yàn)信息。相對(duì)而言，增強(qiáng)現(xiàn)實(shí)場(chǎng)景中的虛擬對(duì)象檢測(cè)，其檢測(cè)目標(biāo)(即虛擬對(duì)象)不具有外觀上顯式的易于描述的先驗(yàn)信息，如顏色、形狀、大小等，因此判別和檢測(cè)難度較大。

發(fā)明內(nèi)容
本發(fā)明的技術(shù)解決方案克服現(xiàn)有技術(shù)的不足，提供一種基于置信度圖的增強(qiáng)現(xiàn)實(shí)場(chǎng)景虛擬對(duì)象判別和檢測(cè)方法，該方法不需要預(yù)先知道虛擬對(duì)象的任何外觀信息，如顏色、形狀、大小，也不需要知道虛擬對(duì)象在增強(qiáng)現(xiàn)實(shí)場(chǎng)景中所處的位置，而是利用區(qū)分虛擬對(duì)象與真實(shí)圖像的物理成像差異，進(jìn)行虛實(shí)分類特征提取，分別計(jì)算訓(xùn)練集正負(fù)樣本的區(qū)域自身特征與區(qū)域?qū)Ρ忍卣?，并?gòu)造出像素級(jí)虛實(shí)分類器與區(qū)域級(jí)虛實(shí)分類器；在此基礎(chǔ)上，通過基于虛擬置信度圖的虛擬對(duì)象判別與檢測(cè)進(jìn)行虛擬對(duì)象初步定形定位和精確檢測(cè)。本發(fā)明采用的技術(shù)方案基于置信度圖的增強(qiáng)現(xiàn)實(shí)場(chǎng)景虛擬對(duì)象判別和檢測(cè)方法，步驟如下構(gòu)建增強(qiáng)現(xiàn)實(shí)場(chǎng)景訓(xùn)練數(shù)據(jù)集，并利用虛擬對(duì)象與真實(shí)圖像的物理成像差異，選取虛實(shí)分類特征；在訓(xùn)練數(shù)據(jù)集上，利用虛實(shí)分類特征，分別提取增強(qiáng)現(xiàn)實(shí)場(chǎng)景與真實(shí)場(chǎng)景的區(qū)域自身特征，構(gòu)建像素級(jí)虛實(shí)分類器；在訓(xùn)練數(shù)據(jù)集上，利用虛實(shí)分類特征，分別提取增強(qiáng)現(xiàn)實(shí)場(chǎng)景與真實(shí)場(chǎng)景的區(qū)域?qū)Ρ忍卣?，?gòu)建區(qū)域級(jí)虛實(shí)分類器；給定測(cè)試增強(qiáng)現(xiàn)實(shí)場(chǎng)景，利用像素級(jí)虛實(shí)分類器和小尺寸檢測(cè)窗進(jìn)行檢測(cè)，得到反映每個(gè)像素虛實(shí)分類結(jié)果的虛擬得分圖；定義虛擬置信度圖，并在虛擬得分圖的基礎(chǔ)之上，利用閾值化得到測(cè)試增強(qiáng)現(xiàn)實(shí)場(chǎng)景的虛擬置信度圖；根據(jù)虛擬置信度圖中高虛擬響應(yīng)點(diǎn)的分布情況，得到虛擬對(duì)象包圍盒的粗略形狀和位置；在虛擬對(duì)象粗略定位的基礎(chǔ)之上，在測(cè)試增強(qiáng)現(xiàn)實(shí)場(chǎng)景圖像中利用區(qū)域級(jí)虛實(shí)分類器和大尺寸檢測(cè)窗進(jìn)行檢測(cè)，得到虛擬對(duì)象的最終檢測(cè)結(jié)果。構(gòu)建增強(qiáng)現(xiàn)實(shí)場(chǎng)景訓(xùn)練數(shù)據(jù)集。在訓(xùn)練數(shù)據(jù)集中，將包含虛擬對(duì)象的增強(qiáng)現(xiàn)實(shí)場(chǎng)景圖像作為正樣本，將真實(shí)場(chǎng)景圖像作為負(fù)樣本。利用虛擬對(duì)象與真實(shí)圖像的物理成像差異，選取虛實(shí)分類特征。選取的虛擬分類特征包括局部統(tǒng)計(jì)量、表面梯度、第二基本形式、 貝爾特拉米流。在圖像的每一個(gè)像素點(diǎn)處都可以提取得到該點(diǎn)對(duì)應(yīng)的上述虛實(shí)分類特征。在訓(xùn)練數(shù)據(jù)集上，利用虛實(shí)分類特征，提取增強(qiáng)現(xiàn)實(shí)場(chǎng)景的區(qū)域自身特征，構(gòu)建像素級(jí)虛實(shí)分類器。在構(gòu)建像素級(jí)分類器時(shí)，對(duì)增強(qiáng)現(xiàn)實(shí)場(chǎng)景圖像，只選取虛擬對(duì)象區(qū)域作為正樣本區(qū)域；而對(duì)真實(shí)場(chǎng)景圖像，只選取與正樣本中虛擬對(duì)象相近似的區(qū)域作為負(fù)樣本區(qū)域。對(duì)于給定的圖像區(qū)域，計(jì)算出區(qū)域內(nèi)每一點(diǎn)的虛實(shí)分類特征(包括局部統(tǒng)計(jì)量、表面梯度、第二基本形式、貝爾特拉米流)；利用轉(zhuǎn)動(dòng)慣量壓縮方法對(duì)給定區(qū)域的虛實(shí)分類特征進(jìn)行壓縮，得到該區(qū)域?qū)?yīng)的區(qū)域自身特征。將正負(fù)樣本的區(qū)域自身特征集合輸入支持向量機(jī)分類器進(jìn)行訓(xùn)練，得到像素級(jí)虛實(shí)分類器。在訓(xùn)練數(shù)據(jù)集上，利用虛實(shí)分類特征，提取增強(qiáng)現(xiàn)實(shí)場(chǎng)景的區(qū)域?qū)Ρ忍卣?，?gòu)建區(qū)域級(jí)虛實(shí)分類器。對(duì)于正負(fù)樣本區(qū)域，將其本身視為待判定的對(duì)象區(qū)域；而將區(qū)域包圍盒之外的等面積矩形區(qū)域視為對(duì)象所處的背景區(qū)域；分別提取對(duì)象區(qū)域與背景區(qū)域內(nèi)每一點(diǎn)的虛實(shí)分類特征；統(tǒng)計(jì)對(duì)象區(qū)域與背景區(qū)域內(nèi)所有點(diǎn)對(duì)應(yīng)的虛實(shí)分類特征，分別構(gòu)成對(duì)象區(qū)域特征的聯(lián)合分布直方圖與背景區(qū)域特征的聯(lián)合分布直方圖；計(jì)算兩個(gè)直方圖之間的卡方距離，將其視為衡量對(duì)象與其所處背景之間差異的特征，稱為區(qū)域?qū)Ρ忍卣?；將提取的正?fù)樣本的區(qū)域?qū)Ρ忍卣骷陷斎胫С窒蛄繖C(jī)分類器進(jìn)行訓(xùn)練，得到區(qū)域級(jí)虛實(shí)分類器。虛擬得分圖構(gòu)建，步驟是對(duì)于輸入的增強(qiáng)現(xiàn)實(shí)場(chǎng)景圖像，利用小尺寸檢測(cè)窗(檢測(cè)窗尺寸為[10,30] X [10,30]像素)以較小的移動(dòng)步長(zhǎng)(如{1,2,3,4,5}像素)掃描整幅圖像；計(jì)算每個(gè)小尺寸檢測(cè)窗內(nèi)的小圖像塊的區(qū)域自身特征；將所有小圖像塊的區(qū)域自身特征輸入到像素級(jí)虛實(shí)分類器中，得到每個(gè)小圖像塊的區(qū)域自身特征得分，得分高表示像素級(jí)分類器將該圖像塊分類為虛擬區(qū)域的確定度高；由于檢測(cè)窗的尺寸相對(duì)整幅圖像很小且分布密集，因此可以將每個(gè)小圖像塊的區(qū)域自身特征得分映射到該圖像塊的中心像素， 并將其作為該中心像素點(diǎn)的虛擬得分；由此構(gòu)成了整個(gè)增強(qiáng)現(xiàn)實(shí)場(chǎng)景圖像的虛擬得分圖。 該過程可通過二維積分圖提高計(jì)算效率。虛擬置信度圖構(gòu)建，步驟是對(duì)于增強(qiáng)現(xiàn)實(shí)場(chǎng)景圖像的虛擬得分圖進(jìn)行閾值化處理，記錄所有虛擬得分為正的點(diǎn)；設(shè)置一個(gè)固定的百分比N%，記錄所有虛擬得分為正的點(diǎn)的前以及這些點(diǎn)在原圖像上所處的位置，這些點(diǎn)稱為高虛擬響應(yīng)點(diǎn)；設(shè)置一個(gè)固定且相對(duì)較小的常數(shù)M(如令M e [10，100])，記錄所有虛擬得分為正的點(diǎn)的前M個(gè)點(diǎn)以及這些點(diǎn)在原圖像上所處的位置，這些點(diǎn)稱為最高虛擬響應(yīng)點(diǎn)；通過參數(shù)設(shè)置可以保證，最高虛擬響應(yīng)點(diǎn)同時(shí)也包含于高虛擬響應(yīng)點(diǎn)所在的集合，即最高虛擬響應(yīng)點(diǎn)是高虛擬響應(yīng)點(diǎn)中虛擬得分值最高的一部分。綜合高虛擬響應(yīng)點(diǎn)、最高虛擬響應(yīng)點(diǎn)及其所在原圖像上的位置信息， 構(gòu)成虛擬置信度圖。虛擬對(duì)象包圍盒的粗略形狀和位置推理步驟如下對(duì)得到的虛擬置信度圖，將其分為五個(gè)等面積、可重疊的子區(qū)域，分別求得每個(gè)子區(qū)域中的高虛擬響應(yīng)點(diǎn)的分布中心；將子區(qū)域中心視為候選的虛擬對(duì)象中心點(diǎn)，從各個(gè)中心點(diǎn)分別向外擴(kuò)展搜索得到高虛擬響應(yīng)點(diǎn)分布密集的區(qū)域，對(duì)于高虛擬響應(yīng)點(diǎn)分布密集的區(qū)域，近似推算出該區(qū)域內(nèi)的候選對(duì)象形狀(體現(xiàn)為候選的虛擬對(duì)象包圍盒)，結(jié)合該區(qū)域的位置信息，構(gòu)成虛擬對(duì)象初步候選區(qū)域；在多個(gè)虛擬對(duì)象初步候選區(qū)域中，根據(jù)其各自包含的高虛擬響應(yīng)點(diǎn)與最高虛擬響應(yīng)點(diǎn)的數(shù)目，選擇出加權(quán)數(shù)目最多的一個(gè)，將其作為虛擬對(duì)象候選區(qū)域，該區(qū)域即包含了虛擬對(duì)象包圍盒粗略形狀與位置信息。對(duì)于得到的虛擬對(duì)象的粗略定位，進(jìn)一步優(yōu)化，得到虛擬對(duì)象的最終檢測(cè)結(jié)果。具體步驟為在虛擬對(duì)象候選區(qū)域周圍取面積為虛擬對(duì)象候選區(qū)域兩倍的區(qū)域，在該區(qū)域內(nèi)構(gòu)造形狀大小和虛擬對(duì)象候選區(qū)域相同的多個(gè)相互重疊的大尺寸檢測(cè)窗(大尺寸檢測(cè)窗的尺寸范圍通常為[200，500] X [200，500]，其長(zhǎng)度和寬度的具體取值等于虛擬對(duì)象候選區(qū)域中虛擬對(duì)象包圍盒的長(zhǎng)度和寬度)；取每個(gè)大尺寸檢測(cè)窗內(nèi)圖像塊并計(jì)算其區(qū)域?qū)Ρ忍卣鳎粚⑺写蟪叨葯z測(cè)窗內(nèi)圖像塊的區(qū)域?qū)Ρ忍卣鬏斎雲(yún)^(qū)域級(jí)虛實(shí)分類器進(jìn)行分類，選出對(duì)應(yīng)得分最高的檢測(cè)窗作為虛擬對(duì)象的最終檢測(cè)結(jié)果。本發(fā)明與現(xiàn)有的技術(shù)相比，其有益效果是(1)本發(fā)明以增強(qiáng)現(xiàn)實(shí)場(chǎng)景中的虛擬對(duì)象為檢測(cè)對(duì)象，可以將增強(qiáng)現(xiàn)實(shí)場(chǎng)景中的虛擬對(duì)象作為一個(gè)整體判別和檢測(cè)出來。(2)本發(fā)明構(gòu)建了兩級(jí)虛實(shí)分類器，包括像素級(jí)虛實(shí)分類器和區(qū)域級(jí)虛實(shí)分類器， 滿足置信度圖構(gòu)建和虛擬對(duì)象最終檢測(cè)的需求。(3)本發(fā)明建了一個(gè)置信度圖，基于虛擬置信度圖，能在沒有虛擬對(duì)象外觀、形狀、 位置等先驗(yàn)信息的條件下，得出增強(qiáng)現(xiàn)實(shí)場(chǎng)景中的虛擬對(duì)象大致位置和形狀。(4)本發(fā)明不需要預(yù)先知道虛擬對(duì)象的任何外觀信息，如顏色、形狀、大小等先驗(yàn)信息，也不需要知道虛擬對(duì)象在增強(qiáng)現(xiàn)實(shí)場(chǎng)景中所處的位置，有較廣的適用性，可廣泛應(yīng)用推廣到影視制作、數(shù)字娛樂、教育培訓(xùn)等領(lǐng)域。


圖1是本發(fā)明的總體設(shè)計(jì)結(jié)構(gòu)；圖2是本發(fā)明的虛擬置信度圖構(gòu)建流程圖；圖3是本發(fā)明的虛擬對(duì)象包圍盒形狀、位置推理流程圖；圖4是本發(fā)明的獲取候選中心點(diǎn)的流程圖；圖5是本發(fā)明的擴(kuò)展搜索、獲得高虛擬響應(yīng)點(diǎn)分布密集區(qū)域的流程圖。
具體實(shí)施例方式如圖1所示，本發(fā)明的主要步驟如下構(gòu)建增強(qiáng)現(xiàn)實(shí)場(chǎng)景訓(xùn)練數(shù)據(jù)集，并利用虛擬對(duì)象與真實(shí)圖像的物理成像差異，選取虛實(shí)分類特征；在訓(xùn)練數(shù)據(jù)集上，利用虛實(shí)分類特征，提取增強(qiáng)現(xiàn)實(shí)場(chǎng)景的區(qū)域自身特征，構(gòu)建像素級(jí)虛實(shí)分類器；在訓(xùn)練數(shù)據(jù)集上，利用虛實(shí)分類特征，提取增強(qiáng)現(xiàn)實(shí)場(chǎng)景的區(qū)域?qū)Ρ忍卣?，?gòu)建區(qū)域級(jí)虛實(shí)分類器；給定測(cè)試增強(qiáng)現(xiàn)實(shí)場(chǎng)景，利用像素級(jí)虛實(shí)分類器進(jìn)行小尺度檢測(cè)，得到反映每個(gè)像素虛實(shí)分類結(jié)果的虛擬得分圖；定義虛擬置信度圖，并在虛擬得分圖的基礎(chǔ)之上，利用閾值化得到測(cè)試增強(qiáng)現(xiàn)實(shí)場(chǎng)景的虛擬置信度圖；根據(jù)虛擬置信度圖中高虛擬響應(yīng)點(diǎn)的分布情況，得到虛擬對(duì)象包圍盒的粗略形狀和位置；在虛擬對(duì)象粗略定位的基礎(chǔ)之上，在測(cè)試增強(qiáng)現(xiàn)實(shí)場(chǎng)景圖像中利用區(qū)域級(jí)虛實(shí)分類器和大尺寸檢測(cè)窗進(jìn)行檢測(cè)，得到虛擬對(duì)象的最終檢測(cè)結(jié)果。構(gòu)造訓(xùn)練數(shù)據(jù)集，用于訓(xùn)練虛實(shí)分類器。訓(xùn)練數(shù)據(jù)集由包含虛擬對(duì)象的增強(qiáng)現(xiàn)實(shí)場(chǎng)景圖像作為正樣本、真實(shí)場(chǎng)景圖像作為負(fù)樣本構(gòu)成。在訓(xùn)練像素級(jí)分類器時(shí)，對(duì)增強(qiáng)現(xiàn)實(shí)場(chǎng)景圖像，只選取虛擬對(duì)象區(qū)域作為正樣本；而對(duì)真實(shí)場(chǎng)景圖像，只選取與正樣本中虛擬對(duì)象相近似的區(qū)域作為負(fù)樣本。在訓(xùn)練區(qū)域級(jí)分類器時(shí)，對(duì)增強(qiáng)現(xiàn)實(shí)場(chǎng)景圖像，選取虛擬對(duì)象及其周圍等面積的圖像區(qū)域作為正樣本；而對(duì)真實(shí)場(chǎng)景圖像，選取與正樣本中虛擬對(duì)象相近似的區(qū)域及其周圍等面積的圖像區(qū)域作為負(fù)樣本。區(qū)域自身特征的提取。對(duì)于給定的圖像區(qū)域，計(jì)算出區(qū)域內(nèi)每一點(diǎn)的虛實(shí)分類特征，包括局部統(tǒng)計(jì)量、表面梯度、第二基本形式、貝爾特拉米流；利用轉(zhuǎn)動(dòng)慣量壓縮方法對(duì)給定區(qū)域的虛實(shí)分類特征進(jìn)行壓縮，得到該區(qū)域?qū)?yīng)的區(qū)域自身特征。
局部統(tǒng)計(jì)量、表面梯度、第二基本形式、貝爾特拉米流各自的物理意義及其計(jì)算方法分別如下局部統(tǒng)計(jì)量反映的是局部微小的邊緣結(jié)構(gòu)。局部統(tǒng)計(jì)量的計(jì)算方法如下取原圖像的灰度圖上任意一點(diǎn)P，以P點(diǎn)為中心的一個(gè)3X3像素的小圖像塊，將其中每一點(diǎn)的像素值按順序排列成9維向量χ = [xi; x2, . . . X9]。P點(diǎn)的局部統(tǒng)計(jì)量y是一個(gè)9維向量，其定義為
_ x-xT
一X-XD
。其中G=Iy9 x而11 · I Id是D范數(shù)操作。
9/U=I 1，D范數(shù)操作的定義是Wd=^E1X，其中i j表示圖像塊中所有四鄰域關(guān)系的點(diǎn)對(duì)。任意點(diǎn)ρ處的局部統(tǒng)計(jì)量虛實(shí)分類特征即為該點(diǎn)處的9維向量y。表面梯度是用來度量真實(shí)場(chǎng)景成像過程中的非線性變化特點(diǎn)。圖像中任一點(diǎn)處的表面梯度S定義為 S =
VI2
，其中，，，為該點(diǎn)處的圖像梯度模值，，，Γ^ ΙΧ、ΙΧ*別表示
—~-^ ‘ , ,/X/ 吹；W、9U_口'J m又'I天’I旦，,.廠， 丄χ、丄)￡
a"2 + |Vl||VI||VI| = ^/I +I,2 A=
^1+1.2+!.2
χ ^y w
圖像X方向(水平方向)和y方向(豎直方向)的偏導(dǎo)。α為常數(shù)，α = 0. 25。任意點(diǎn)ρ處的表面梯度虛實(shí)分類特征由該點(diǎn)處的圖像像素值I與該點(diǎn)處表面梯度 S聯(lián)合構(gòu)成。第二基本形式是用來描述圖像表面局部的凹凸程度。第二基本形式的兩個(gè)分量 λ i和λ 2分別對(duì)應(yīng)矩陣A的兩個(gè)特征值。
ι Γι Ι ^
1XXXV___
τ τ ，其中，Ix、Ix分別表示圖像X方向禾P y方向的偏導(dǎo)；Ixx、Ixy、
-χ ν ^ yy J
Iyy分別表示圖像XX方向、Xy方向、yy方向的二階偏導(dǎo)；由該式可計(jì)算出矩陣A的值。不妨
將A記為A= ~ ~，其中 ^、 2、α 21、α μ分別表示矩陣A中對(duì)應(yīng)的四個(gè)元素值。因
V ^21 a22 J
此，矩陣A的兩個(gè)特征值λ工和λ 2計(jì)算公式如下 _2] {λι，.任意點(diǎn)ρ處的第二基本形式虛實(shí)分類特征由該點(diǎn)處的圖像梯度模值 |vi| (IviIia/^)與該點(diǎn)處第二基本形式的兩個(gè)分量入工、λ 2聯(lián)合構(gòu)成。貝爾特拉米流可以用來描述不同顏色通道之間的相關(guān)性。顏色通道c(c = {R，G， B})對(duì)應(yīng)的貝爾特拉米流ΔβΙ。定義為AgIc =由(5Χ ⑷(g1xIc+g ⑷^妒⑷“ xIc+g yIc)))其中，I。表示原始圖像的顏色通道c(c = {R，G，B})對(duì)應(yīng)的圖像；算子民、\分別表示對(duì)于作用量取χ方向和y方向的偏導(dǎo)；
8
矩陣
權(quán)利要求
1.基于置信度圖的增強(qiáng)現(xiàn)實(shí)場(chǎng)景虛擬對(duì)象判別和檢測(cè)方法，其特征在于實(shí)現(xiàn)步驟如下(1)以包含虛擬對(duì)象的增強(qiáng)現(xiàn)實(shí)圖像作為正樣本，真實(shí)場(chǎng)景圖像作為負(fù)樣本，構(gòu)建增強(qiáng)現(xiàn)實(shí)場(chǎng)景訓(xùn)練數(shù)據(jù)集；并利用虛擬對(duì)象與真實(shí)圖像的物理成像差異，選取虛實(shí)分類特征；(2)在訓(xùn)練數(shù)據(jù)集上，利用虛實(shí)分類特征，分別提取增強(qiáng)現(xiàn)實(shí)場(chǎng)景與真實(shí)場(chǎng)景的區(qū)域自身特征，構(gòu)建像素級(jí)虛實(shí)分類器；(3)在訓(xùn)練數(shù)據(jù)集上，利用虛實(shí)分類特征，分別提取增強(qiáng)現(xiàn)實(shí)場(chǎng)景與真實(shí)場(chǎng)景的區(qū)域?qū)Ρ忍卣?，?gòu)建區(qū)域級(jí)虛實(shí)分類器；(4)給定測(cè)試增強(qiáng)現(xiàn)實(shí)場(chǎng)景，利用像素級(jí)虛實(shí)分類器和小尺寸檢測(cè)窗進(jìn)行檢測(cè)，得到反映每個(gè)像素虛實(shí)分類結(jié)果的虛擬得分圖；(5)定義虛擬置信度圖，并在虛擬得分圖的基礎(chǔ)之上，利用閾值化得到測(cè)試增強(qiáng)現(xiàn)實(shí)場(chǎng)景的虛擬置信度圖；(6)基于虛擬置信度圖，進(jìn)行虛擬對(duì)象粗略定位，得到虛擬對(duì)象包圍盒的粗略形狀和位置；(7)在虛擬對(duì)象粗略定位的基礎(chǔ)之上，在測(cè)試增強(qiáng)現(xiàn)實(shí)場(chǎng)景圖像中利用區(qū)域級(jí)虛實(shí)分類器和大尺寸檢測(cè)窗進(jìn)行檢測(cè)，得到虛擬對(duì)象的最終檢測(cè)結(jié)果。
2.根據(jù)權(quán)利要求1所述的基于置信度圖的增強(qiáng)現(xiàn)實(shí)場(chǎng)景虛擬對(duì)象判別和檢測(cè)方法，其特征在于所述步驟(1)中選取的虛實(shí)分類特征，包括局部統(tǒng)計(jì)量、表面梯度、第二基本形式和貝爾特拉米流。在圖像的每一個(gè)像素點(diǎn)處都可以提取得到該點(diǎn)對(duì)應(yīng)的上述虛實(shí)分類特征。
3.根據(jù)權(quán)利要求1所述的基于置信度圖的增強(qiáng)現(xiàn)實(shí)場(chǎng)景虛擬對(duì)象判別和檢測(cè)方法，其特征在于所述步驟O)中構(gòu)建像素級(jí)分類器時(shí)，在訓(xùn)練數(shù)據(jù)集上，對(duì)增強(qiáng)現(xiàn)實(shí)場(chǎng)景圖像， 只選取虛擬對(duì)象區(qū)域作為正樣本區(qū)域；而對(duì)真實(shí)場(chǎng)景圖像，只選取與正樣本中虛擬對(duì)象相近似的區(qū)域作為負(fù)樣本區(qū)域；對(duì)于給定的圖像區(qū)域，計(jì)算出區(qū)域內(nèi)每一點(diǎn)的虛實(shí)分類特征； 利用轉(zhuǎn)動(dòng)慣量壓縮方法對(duì)給定正負(fù)樣本區(qū)域的虛實(shí)分類特征進(jìn)行壓縮，得到該區(qū)域?qū)?yīng)的區(qū)域自身特征；將正負(fù)樣本的區(qū)域自身特征集合輸入支持向量機(jī)分類器進(jìn)行訓(xùn)練，得到像素級(jí)虛實(shí)分類器。
4.根據(jù)權(quán)利要求1所述的基于置信度圖的增強(qiáng)現(xiàn)實(shí)場(chǎng)景虛擬對(duì)象判別和檢測(cè)方法，其特征在于所述步驟(3)構(gòu)建區(qū)域級(jí)虛實(shí)分類器時(shí)，在訓(xùn)練數(shù)據(jù)集上，對(duì)于正負(fù)樣本區(qū)域， 將其本身視為待判定的對(duì)象區(qū)域；而將區(qū)域包圍盒之外的等面積矩形區(qū)域視為對(duì)象所處的背景區(qū)域；分別提取對(duì)象區(qū)域與背景區(qū)域內(nèi)每一點(diǎn)的虛實(shí)分類特征；統(tǒng)計(jì)對(duì)象區(qū)域與背景區(qū)域內(nèi)所有點(diǎn)對(duì)應(yīng)的虛實(shí)分類特征，分別構(gòu)成對(duì)象區(qū)域特征的聯(lián)合分布直方圖與背景區(qū)域特征的聯(lián)合分布直方圖；計(jì)算兩個(gè)直方圖之間的卡方距離，將其視為衡量對(duì)象與其所處背景之間差異的特征，稱為區(qū)域?qū)Ρ忍卣?；將提取的正?fù)樣本的區(qū)域?qū)Ρ忍卣骷陷斎胫С窒蛄繖C(jī)分類器進(jìn)行訓(xùn)練，得到區(qū)域級(jí)虛實(shí)分類器。
5.根據(jù)權(quán)利要求1所述的基于置信度圖的增強(qiáng)現(xiàn)實(shí)場(chǎng)景虛擬對(duì)象判別和檢測(cè)方法，其特征在于所述步驟(4)虛擬得分圖構(gòu)建步驟是對(duì)于輸入的增強(qiáng)現(xiàn)實(shí)場(chǎng)景圖像，利用小尺寸檢測(cè)窗以較小的移動(dòng)步長(zhǎng)掃描整幅圖像；計(jì)算每個(gè)小尺寸檢測(cè)窗內(nèi)的小圖像塊的區(qū)域自身特征；將所有小圖像塊的區(qū)域自身特征輸入到像素級(jí)虛實(shí)分類器中，得到每個(gè)小圖像塊的區(qū)域自身特征得分，得分高表示像素級(jí)分類器將該圖像塊分類為虛擬區(qū)域的確定度高； 由于檢測(cè)窗的尺寸相對(duì)整幅圖像很小且分布密集，因此可以將每個(gè)小圖像塊的區(qū)域自身特征得分映射到該圖像塊的中心像素，并將其作為該中心像素點(diǎn)的虛擬得分；由此構(gòu)成了整個(gè)增強(qiáng)現(xiàn)實(shí)場(chǎng)景圖像的虛擬得分圖。
6.根據(jù)權(quán)利要求1所述的基于置信度圖的增強(qiáng)現(xiàn)實(shí)場(chǎng)景虛擬對(duì)象判別和檢測(cè)方法，其特征在于所述步驟(5)虛擬置信度圖構(gòu)建方法為對(duì)于增強(qiáng)現(xiàn)實(shí)場(chǎng)景圖像的虛擬得分圖進(jìn)行閾值化處理，記錄所有虛擬得分為正的點(diǎn)；設(shè)置一個(gè)固定的百分比N%，記錄所有虛擬得分為正的點(diǎn)的前以及這些點(diǎn)在原圖像上所處的位置，這些點(diǎn)稱為高虛擬響應(yīng)點(diǎn)；設(shè)置一個(gè)固定且相對(duì)較小的常數(shù)M，記錄所有虛擬得分為正的點(diǎn)的前M個(gè)點(diǎn)以及這些點(diǎn)在原圖像上所處的位置，這些點(diǎn)稱為最高虛擬響應(yīng)點(diǎn)；通過參數(shù)設(shè)置可以保證，最高虛擬響應(yīng)點(diǎn)同時(shí)也包含于高虛擬響應(yīng)點(diǎn)所在的集合，即最高虛擬響應(yīng)點(diǎn)是高虛擬響應(yīng)點(diǎn)中虛擬得分值最高的一部分；綜合高虛擬響應(yīng)點(diǎn)、最高虛擬響應(yīng)點(diǎn)及其所在原圖像上的位置信息，構(gòu)成虛擬置信度圖。
7.根據(jù)權(quán)利要求1所述的基于置信度圖的增強(qiáng)現(xiàn)實(shí)場(chǎng)景虛擬對(duì)象判別和檢測(cè)方法，其特征在于所述步驟(6)得到虛擬對(duì)象包圍盒的粗略形狀和位置的方法為對(duì)得到的虛擬置信度圖將其分為五個(gè)等面積、可重疊的子區(qū)域，分別求得每個(gè)子區(qū)域中的高虛擬響應(yīng)點(diǎn)的分布中心；將子區(qū)域中心視為候選的虛擬對(duì)象中心點(diǎn)，從各個(gè)中心點(diǎn)分別向外擴(kuò)展搜索， 得到高虛擬響應(yīng)點(diǎn)分布密集的區(qū)域；對(duì)于高虛擬響應(yīng)點(diǎn)分布密集的區(qū)域，分別近似推算出該區(qū)域內(nèi)的候選對(duì)象形狀，結(jié)合該區(qū)域的位置信息，構(gòu)成虛擬對(duì)象初步候選區(qū)域；在虛擬對(duì)象初步候選區(qū)域中，根據(jù)其各自包含的高虛擬響應(yīng)點(diǎn)與最高虛擬響應(yīng)點(diǎn)的數(shù)目，選擇出加權(quán)數(shù)目最多的一個(gè)，將其作為虛擬對(duì)象候選區(qū)域，該區(qū)域即包含了虛擬對(duì)象包圍盒粗略形狀與位置信息。
8.根據(jù)權(quán)利要求1所述的基于置信度圖的增強(qiáng)現(xiàn)實(shí)場(chǎng)景虛擬對(duì)象判別和檢測(cè)方法，其特征在于所述步驟(7)虛擬對(duì)象檢測(cè)方法具體為在測(cè)試增強(qiáng)現(xiàn)實(shí)場(chǎng)景中的虛擬對(duì)象候選區(qū)域周圍密集采樣，構(gòu)造多個(gè)相互重疊的檢測(cè)窗，并使用區(qū)域級(jí)虛實(shí)分類器進(jìn)行分類，選取得分最好的檢測(cè)窗作為虛擬對(duì)象的最終檢測(cè)結(jié)果。
全文摘要
基于置信度圖的增強(qiáng)現(xiàn)實(shí)場(chǎng)景虛擬對(duì)象判別和檢測(cè)方法，包括選取虛實(shí)分類特征；利用虛實(shí)分類特征；構(gòu)建像素級(jí)虛實(shí)分類器；利用虛實(shí)分類特征，分別提取增強(qiáng)現(xiàn)實(shí)場(chǎng)景與真實(shí)場(chǎng)景的區(qū)域?qū)Ρ忍卣鳎瑯?gòu)建區(qū)域級(jí)虛實(shí)分類器；給定測(cè)試增強(qiáng)現(xiàn)實(shí)場(chǎng)景，利用像素級(jí)虛實(shí)分類器和小尺寸檢測(cè)窗進(jìn)行檢測(cè)，得到反映每個(gè)像素虛實(shí)分類結(jié)果的虛擬得分圖；定義虛擬置信度圖，利用閾值化得到測(cè)試增強(qiáng)現(xiàn)實(shí)場(chǎng)景的虛擬置信度圖；根據(jù)虛擬置信度圖中高虛擬響應(yīng)點(diǎn)的分布情況，得到虛擬對(duì)象包圍盒的粗略形狀和位置；在測(cè)試增強(qiáng)現(xiàn)實(shí)場(chǎng)景中利用區(qū)域級(jí)虛實(shí)分類器和大尺寸檢測(cè)窗進(jìn)行檢測(cè)，得到虛擬對(duì)象的最終檢測(cè)結(jié)果。本發(fā)明可應(yīng)用到影視制作、數(shù)字娛樂、教育培訓(xùn)等領(lǐng)域。
文檔編號(hào)G06K9/62GK102509104SQ20111029985
公開日2012年6月20日 申請(qǐng)日期2011年9月30日 優(yōu)先權(quán)日2011年9月30日
發(fā)明者王哲, 穆珺, 趙沁平, 陳小武 申請(qǐng)人:北京航空航天大學(xué)