本發(fā)明涉及增強虛擬環(huán)境技術領域，更具體的講，涉及一種虛實融合場景中漫游路徑規(guī)劃的方法，是一種將視頻圖像融合到三維模型時視點評價和自動生成所有視頻漫游路徑的方法。

背景技術：

增強虛擬環(huán)境(ave)是用于在三維虛擬環(huán)境中以任意視角展示多路圖片或者視頻流的一項技術，該項技術將視頻畫面與三維模型融合顯示，在城市漫游、交通分析、視頻等一體化監(jiān)控系統(tǒng)領域有著重要的應用?；谔搶嵢诤系膱鼍埃脩艨梢栽诓煌囊朁c位置觀察場景內容，但是由于在三維場景中用戶控制虛擬視角時需要更多復雜的人機交互過程，用戶在熟悉系統(tǒng)操作時需要周期較長。另外由于現(xiàn)在虛擬現(xiàn)實技術正在發(fā)展之中，場景中存在畫面質量較差的視點，未能保證整個場景的視覺效果能達到用戶滿意的程度，對于畫面質量較差的內容用戶會瀏覽至此?？紤]到上述問題，進行虛實融合時要考慮相機視點之間合理的轉移問題，設計出的自動漫游路徑生成方法既能夠簡化人機交互過程，又能提升用戶體驗。目前的自動漫游路徑生成方法首先基于視頻畫面畸變的視點質量度量方法，對空間采樣點進行評價；接著為三維場景構建路徑圖和確定場景中相機的訪問順序，根據(jù)路徑圖和訪問順序，生成為每兩個相機之間的最優(yōu)路徑，得到最終所有相機路徑組成場景的漫游路徑。

本發(fā)明前，已經有人對視點質量評價和路徑規(guī)劃做了相關研究。在視點質量評價方面，secordadrian發(fā)表論文“perceptualmodelsofviewpointpreference”(acmtransactionsongraphics(tog),2011,30(5):109)，總結了多個常用的視點質量評價方法，包括視點熵、網(wǎng)格顯著度和側影輪廓穩(wěn)定性等。這些方法在視點質量評價的過程中，只考慮三維模型和構圖畫面等因素，未考慮模型紋理畸變對整個視點的質量帶來的影響。這些方法不能夠有效的評判模型紋理具有畸變的場景視點質量。因此增強虛擬環(huán)境系統(tǒng)需要一種對紋理畸變評價的視點質量評估方法。由于紋理畸變的情況是由模型深度和紋理深度不匹配引起的，所以在考慮視點質量評價時基于深度學習的方法計算圖像中像素的深度。

在路徑規(guī)劃方面，不同的系統(tǒng)各個場景中的路徑生成問題也往往各不相同，總體上涉及的是道路圖構建和路徑搜索兩方面。kavrakil等人發(fā)表論文“probabilisticroadmapsforpathplanninginhigh-dimensionalconfigurationspaces”(ieeetransactionsonrobotics&automation,1996,12(4):566-580)，提出了一種隨機通路圖算法(probabilisticroadmaps,prm)，該算法所針對的是靜態(tài)場景中的非碰撞的路徑設計問題，整個算法分為兩個階段：構建階段和查詢階段。構建階段用于構建道路圖，查詢階段用于在道路圖上查找最短路徑。但是該算法的構建階段所需要的時間較長，道路圖中冗余頂點數(shù)量較多。bohlinr、kavrakile等人發(fā)表論文“pathplanningusinglazyprm”(icra.ieee,2000:521-528vol.1)，提出了一種lazy-prm算法，該算法在學習階段中只進行了粗糙的、快速的可達性判斷，并根據(jù)這個判斷結果生成道路圖，在查詢階段，會對路徑上經過的邊進行精細的連通性判斷，如果經判斷，某條邊是不連通的，那么在通路圖中刪除這條邊，并重新選擇其他路徑。這樣一來就大大減少了連通性判斷的次數(shù)，算法所需時間也大大減少。

對視點質量評價時，普遍采用的視點質量評價方法大多都是面向網(wǎng)格模型，使用的幾何特征、語義特征和構圖特征等特征，不適合于虛實融合場景。路徑生成過程中需要構建的道路圖，往常統(tǒng)一的思路是從場景中提取出，通過道路圖搜索最優(yōu)路徑，實現(xiàn)路徑規(guī)劃的目標。但是這種方式不能根據(jù)系統(tǒng)需求的不同構建不同的道路圖。

技術實現(xiàn)要素：

本發(fā)明的目的是：克服現(xiàn)有技術的不足，提供一種虛實融合場景中漫游路徑規(guī)劃的方法，能夠使用戶沿該路徑可以依次觀看場景內的所有視頻，以減輕系統(tǒng)的操作復雜度，同時盡可能提高用戶的視覺體驗。

本發(fā)明的技術解決方案：一種虛實融合場景中漫游路徑規(guī)劃的方法，首先在虛擬模型和視頻模型兩類連續(xù)的空間中采樣關鍵的離散視點；接著對模型包圍球上隨機采樣的視點進行視點質量評價；隨后漫游路徑的生成基于構建的道路圖，道路圖構建的過程中根據(jù)前兩步得到的視點得到圖的頂點集合，圖中的邊是頂點集合中各個頂點的有效連線；有了所有模型構成的帶權有向道路圖，便可以在圖中尋找出一條連接所有模型的漫游路徑，保證該條路徑的代價最小。在本方法中引入了一種基于視頻紋理質量的視點評估方法和一種為ave系統(tǒng)生成自動漫游路徑的方法。

視點采樣主要是在六維空間中選擇一個點集，使采樣的得到的視點能夠覆蓋場景中的所有的區(qū)域，并且保證視點質量盡可能好。對模型的視點采樣分為虛擬模型采樣和視頻模型采樣。虛擬模型中視點采樣中采用兩個過程的隨機采樣，第一個隨機過程是在模型包圍球上進行隨機采樣；為了能夠滿足空間中均勻采樣并且具有隨機性的目的，第二個過程對模型包圍球的半徑隨機采樣。

虛實融合場景中由虛擬模型和視頻模型構成，對應著虛擬模型中視點和視頻模型中視點。在對虛擬模型視點評價時，結合視點下的模型投影面積，計算視點的質量。在視頻模型中，首先計算視頻模型的像素深度誤差，根據(jù)畫面畸變程度計算視點的質量。

對場景的視點采樣和評價完后，根據(jù)視點構建出帶全有向的道路圖。構建道路圖的過程中最關鍵的是確定圖中邊的有效性，首先連接道路圖中頂點成線，判斷連線與虛擬模型的包圍盒沒有相交，之后將視點間的距離、角度和視點的質量評價結果作為邊的權重，構建出有效的道路圖。

根據(jù)構建的道路圖自動生成漫游路徑，首先確定哪一個是最初的視頻模型，接著采樣貪心算法求得所有視頻的訪問順序，完成模型順序的判斷，接著將每兩個的視頻模型連接起來，每一段的連接需要做平滑處理，最后得到覆蓋整個場景的所有視頻模型的漫游路徑。

視點采樣是在連續(xù)的空間中進行關鍵的離散視點的采樣，其中連續(xù)的空間分為虛擬模型空間和視頻模型空間兩部分，對虛擬模型進行多層包圍球上的概率均勻的隨機采樣，其步驟為：(1)確定模型最小包圍球中心，半徑為r0；(2)在最小包圍球上采樣，得到一個隨機采樣點；(3)以步驟(1)中模型包圍球的半徑r0為基礎，對包圍球半徑r進行采樣，得到對應的模型包圍球；(4)步驟(3)中每層包圍球上采用(2)中視點采樣方法，得到每層包圍球上的一個采樣點。對視頻模型進行相機視點位置側重的多層包圍球采樣，其步驟為：(1)確定視頻模型中的相機視點位置，半徑為r0；(2)在步驟(1)的包圍球上進行偏重采樣得到多個采樣點；(3)以步驟(1)中模型包圍球的半徑r0為基礎，對包圍球半徑r進行偏重采樣，得到相應的模型包圍球；(4)步驟(3)中每層包圍球上采用(2)中視點采樣方法，得到每層包圍球上的采樣點。

視點評價包括對視頻模型中視點的質量評價、虛擬模型中視點的質量評價和整體視點的質量評價，視頻模型中視點評價的步驟為：(1)每個視頻模型采樣得到對應的采樣像素集合；(2)計算步驟(1)中每個視頻模型的累積像素投影相對誤差，得到某視點下每個視屏模型紋理畸變程度的量化結果；(3)根據(jù)步驟(2)的結果，計算某視點下每個視頻模型的視點質量評價結果；(4)將步驟(3)中每個視頻模型的視點質量評價結果累加求和，得到場景中在某視點下所有視頻模型的視點評價結果。虛擬模型中視點評價的步驟為：(1)計算每個虛擬模型在某視點下的投影面積；(2)根據(jù)步驟(1)中的投影面積計算在該視點下虛擬模型的貢獻。整體視點的評價以視頻模型視點評價結果和虛擬模型視點評價結果作為基礎，加權求和得到整體視點的評價結果。

在空間中完成視點采樣和視點質量評價后，根據(jù)視點構建出道路圖頂點集合，為路徑計算提供完整的道路圖，在道路圖構建過程這包括道路圖邊的碰撞檢測和道路圖邊的權重定義兩部分內容，道路圖邊碰撞檢測的步驟為：(1)將道路圖中每個頂點與其他頂點進行連線，連成功的線加入道路圖的邊集；(2)判斷邊集中每條邊是否與虛擬模型發(fā)生相交，進行碰撞檢測。邊權重定義的步驟為：(1)計算圖中兩個視點之間的空間距離；(2)計算兩個視點之間的旋轉角度；(3)根據(jù)整體視點評價結果計算視點比例因子；(4)結合步驟(1)中的距離，步驟(2)中的角度和步驟(3)中的比例因子作為道路圖上邊的權重。

完成道路圖的構建，相應的得到了場景中所有模型構成的帶權有向圖，路徑生成是在該有向圖中尋找一條連接所有視頻模型頂點的路徑，使得該路徑總代價最小，路徑生成的步驟為：(1)對場景中的視頻模型進行排序，得到視頻模型的訪問順序；(2)搜索步驟(1)中排好序的每兩個相鄰視頻模型之間的路徑；(3)對步驟(2)中搜索的每段路徑做平滑處理；(4)依次連接上述視頻模型之間的路徑，得到覆蓋場景中所有視頻模型的漫游路徑。

本發(fā)明與現(xiàn)有技術相比的優(yōu)點在于：在視點采樣中，對虛擬模型基于多層包圍球均勻采樣；對視頻模型基于多層包圍球均勻采樣和相機視點處高密度采樣相結合。在視點評價中，對虛擬模型中的視點評價使用基于模型粒度的視點熵方法；對視頻模型中的視點評價基于圖像畫面畸變程度和模型可見度相結合。在道路圖構建中，對道路圖中邊的碰撞檢測，基于ray-casting算法，采用模型包圍盒進行預判斷；對道路圖中邊的權重定義，基于視點間的空間距離、旋轉角度和視點評價質量相結合。在路徑生成中，對視頻模型的排序采用貪心搜索算法依次查找下一個未訪問過的代價最小的視頻模型；對最優(yōu)路徑的搜索采用a*搜索算法；對視點位置的平滑采用cardinal三次樣條插值方法；對視點朝向的平滑采用slerp球面線性插值方法。本發(fā)明實現(xiàn)虛實融合場景展示過程中，既能簡化人機交互過程，又能提升用戶觀察場景的視覺感受的目的。

附圖說明

圖1為本增強虛擬場景中的視點評價與巡邏相機路徑規(guī)劃方法的總體示意圖；

圖2為相鄰視點之間連通性判斷流程圖。

具體實施方法

下面結合附圖對本發(fā)明做進一步詳細的描述，在介紹本發(fā)明的具體實施方法之前，首先對一些基本概念進行說明：

(1)虛實融合：將虛擬的三維模型與真實的圖片或視頻融合顯示；

(2)增強虛擬：在真實場景中采集場景信息，重現(xiàn)并顯示給用戶；

(3)虛擬模型：由大量面片構成的封閉的立體模型；

(4)視頻模型：由少數(shù)面片構成的不封閉模型；

(5)畫面畸變程度：視點對應的畫面畸變程度是畫面中像素位置發(fā)生偏移的程度，表示畫面中出現(xiàn)錯誤信息的多少；

(6)視點質量：用戶看到的畫面的質量；

(7)視點評價：對用戶在待評價視點下所看到畫面的質量評價；

(8)道路圖：場景轉化得到的一張帶權有向圖；

(9)碰撞：道路圖中每兩個頂點之間連接的邊有的會與場景中的模型發(fā)生交叉；

(10)邊的權重：表示路徑沿這條邊移動的代價或消耗；

(11)移動距離：反映視點位置的變化，用戶在漫游過程中感受到空間位置的變化；

(12)旋轉角度：反映用戶畫面的變化速度，過快的畫面變化會使用戶迷失空間感。

發(fā)明的總體示意圖如圖1所示，視點采樣對連續(xù)空間中的虛擬模型和視頻模型分別采樣視點；視點評價基于畫面畸變程度對采樣的視點進行視點質量評價；道路圖構建基于采樣和評價后的視點構成圖的點集合，再根據(jù)圖2相鄰視點之間連通性判斷流程圖判斷個點間連線的有效性得到帶權有向圖；漫游路徑生成在道路圖的基礎上進行路徑的搜索和平滑，得到自動生成的漫游路徑。

視點采樣對虛擬模型采樣的步驟為：

(1)確定模型最小包圍球中心，半徑為r0,在最小包圍球上采樣，得到一個隨機采樣點；

(2)在模型包圍球上，隨機選取視點，這些視點的位置在包圍球表面上，視野中心在模型的中心。判斷生成的視點vpi是否符合系統(tǒng)要求，將符合系統(tǒng)要求的視點加入采樣視點集合。重復多次這個操作直到采樣視點個數(shù)滿足要求或嘗試次數(shù)達到上限；

(3)對第二步選取出的每個視點vpi進行如下操作：將視點沿視點位置和模型中心的連線隨機移動一定位置，得到新的一個視點vpi，j，判斷新視點vpi，j是否符合系統(tǒng)要求，將符合要求的視點加入采樣視點集合。對每個vpi重復多次該步驟，直到符合要求的視點個數(shù)達到要求或嘗試次數(shù)達到上限。

視點采樣對視頻模型采樣的步驟為：

(1)確定視頻模型中的相機視點位置，半徑為r0，在該半徑的包圍球上進行偏重采樣得到多個采樣點；

(2)以步驟(1)中模型包圍球的半徑r0為基礎，對包圍球半徑r進行偏重采樣，得到相應的模型包圍球；

(3)步驟(2)中每層包圍球上采用(1)中視點采樣方法，得到每層包圍球上的采樣點；

計算視頻模型中視點的質量評價結果的步驟為畫面畸變程度的步驟為：

(1)首先提取出視頻模型的視頻圖像，對圖像進行像素深度估計；

(2)轉化像素深度估計結果為視頻模型的長度單位；

(3)計算每個像素點的真實位置，建立點云模型；

(4)對比視頻模型和點云模型，對比結果作為視點質量評價的結果。

計算虛擬模型中視點的質量評價結果的步驟為：

(1)計算每個虛擬模型在某視點下的投影面積；

(2)根據(jù)步驟(1)中的投影面積計算在該視點下虛擬模型的貢獻該視點下所有虛擬模型的視點評價結果。

計算場景中整體視點的質量評價結果的步驟為：

(1)以視頻模型視點評價步驟(4)的結果和虛擬模型視點評價步驟(2)的結果作為基礎，加權求和得到整體視點的評價結果。

道路圖邊碰撞檢測的步驟為：

(1)將道路圖中每個頂點與其他頂點進行連線構成一系列的邊，連成功的線加入道路圖的邊集；

(2)判斷邊集中每條邊是否與模型包圍盒發(fā)生相交，若存在交點則按照圖2流程圖進行碰撞檢測；

(3)對于場景中的每一個模型使用光線投射算法(raycasting)進行碰撞檢測，首先判斷待檢測線段的兩個頂點是否在模型包圍盒內部，如果都不在包圍盒內，接著判斷線段是否與包圍盒相交，如果相交，那么繼續(xù)針對模型的每個面片進行判斷，如果不相交，說明該線段與模型不會發(fā)生碰撞，繼續(xù)判斷下一個模型。

道路圖中邊權重定義的步驟為：

(1)計算道路圖中兩個視點之間的空間距離；

(2)計算兩個視點之間的旋轉角度；

(3)根據(jù)整體視點評價步驟(1)中結果計算視點比例因子；

(4)結合步驟(1)中的距離，步驟(2)中的角度和步驟(3)中的比例因子作為道路圖上邊的權重；

道路圖中路徑生成的步驟為：

(1)對場景(中的視頻模型進行排序，得到視頻模型的訪問順序；

(2)搜索步驟(1)中排好序的每兩個相鄰視頻模型之間的路徑；

(3)對步驟(2)中搜索的每段路徑做平滑處理；

(4)依次連接上述視頻模型之間的路徑，得到覆蓋場景中所有視頻模型的漫游路徑。