一種智能交通中的三維重建方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種智能交通中的三維重建方法及系統(tǒng)，包括：獲取檢測場景的信息，實現(xiàn)檢測場景中目標特征點的提取和動態(tài)跟蹤，特征點自動補全，分布重建算法對目標進行三維重建，所述三維重建方法及系統(tǒng)執(zhí)行以下步驟：S101、攝像機標定；S102、同步獲取帶有場景深度信息的原始視頻圖像；S103、跟蹤視頻場景中目標的特征點；S104、選取視頻關鍵幀；S105、對選取的幀進行重建；S106、對子集進行打包處理；S107、得到最終三維模型。本發(fā)明采用改進的KLT跟蹤算法、優(yōu)化了特征點模型，提高了跟蹤效率，同時運用先提取關鍵幀作為子集，對子集進行重建，最后在合并子集的方法，解決了所得視頻幀較短、場景中特征點跟蹤丟失、錯誤等影響圖像信息深度獲取的問題。
【專利說明】一種智能交通中的三維重建方法及系統(tǒng)
【技術領域】
[0001]本發(fā)明涉及數(shù)字圖像處理【技術領域】，尤其涉及一種智能交通中的三維重建方法及系統(tǒng)。
【背景技術】
[0002]近幾年來，三維重建一直是計算機視覺領域中一個重要的研究方向，它在虛擬現(xiàn)實、物體識別和可視化等方面有著廣泛的應用。如何在計算機中對場景進行快速、有效的重建，向來都是計算機視覺研究領域的熱點和難點。
[0003]三維重建(也稱為“多視圖幾何”)是在一個靜態(tài)場景下的一系列的圖像(如建筑、街道、車輛等)來估計場景的三維結構。同時估計多視圖幾何可能不一樣復雜的對象識另O，它需要許多任務；一些例子包括獲得致密重建、創(chuàng)建詳細的3D模型或犯罪現(xiàn)場、測量距離的圖像、機器人技術、建立一個內部三維模型從圖像導航、渲染視頻特效等。此外，通過多視圖系統(tǒng)獲得的信息可以用作更高水平的輸入、識別或其他系統(tǒng)。
[0004]三維技術開始應用于智能交通領域以來，已得到了廣泛應用。但長期以來，由于缺乏必要的技術，對車輛檢測、路況分析等智能交通應用領域多局限于進行簡單的定性分析。隨著計算機視覺技術和圖像處理技術的發(fā)展，使利用攝影圖像對智能交通領域進行定量分析成為可能。近年來，國內外對立體視覺技術在智能交通領域再現(xiàn)中的應用進行了廣泛的研究，研究范圍主要集中于以下三個方面:
[0005](I)利用立體視覺技術事故現(xiàn)場；
[0006](2)利用立體視覺技術車輛變形；
[0007](3)利用立體視覺技術進行智能識別。
[0008]由于立體視覺技術能夠迅速而完整地記錄交通場景中的各種信息，若能利用攝影圖像來定量測量交通場景，則可提高場景的勘測速度，減少占道時間，提高道路通行能力。因此，國內外對利用攝影圖像測量交通場景的研究較多。

【發(fā)明內容】

[0009]本發(fā)明的目的是提供一種智能交通中的三維重建方法及系統(tǒng)，采用改進的KLT跟蹤算法、優(yōu)化了特征點模型，提高了跟蹤效率，同時運用先提取關鍵幀作為子集，對子集進行重建，最后再合并子集的方法，解決了所得視頻較短、場景中特征點跟蹤丟失、錯誤等影響圖像信息深度獲取的問題。
[0010]本發(fā)明所述一種智能交通中的三維重建方法，是利用改進的KLT算法實現(xiàn)檢測場景中目標特征點的提取和動態(tài)跟蹤以及特征點自動補全，分布重建算法對目標進行三維重建，具體包括以下步驟:
[0011]SlOl、攝像機標定:獲取攝像機的內在和外在的參數(shù)、校準相機并測定深度；
[0012]S102、同步獲取帶有場景深度信息的原始視頻圖像；為了保證所錄入的視頻或拍攝的圖像有足夠的信息深度，可以通過一個或多個設備(如果是多個設備需考慮同步問題)在不同視角對目標場景進行信息采集；
[0013]S103、跟蹤視頻場景中目標的特征點；通過改進的KLT算法，先確定合適的特征點來進行跟蹤，然后在整個視頻序列中跟蹤這些特征塊；
[0014]S104、選取視頻關鍵幀:通過閾值法和分布處理的方法，選取一組關鍵幀；
[0015]S105、對選取的幀進行重建:采用三點六幀發(fā)重建模型，并用流光法平差優(yōu)化模型;
[0016]S106、對子集進行打包處理；
[0017]S107、得到最終三維模型。
[0018]所述步驟SlOl具體包括:可以通過計算機利用Matlab攝像機標定工具箱及攝像機的內外參數(shù)對攝像機拍攝的圖片用立體圖像對校正指令進行校正，并得到校正后內外參數(shù)，然后進行線性高通濾波。
[0019]所述步驟S103包括:特征點自動補全機制:在首幀中找到合適的目標特征點后，從下一幀開始定位到前一幀所有目標特征點的2D坐標；如果有些特征點在跟蹤過程中消失了，那么在消失的這一幀中找尋新的特征點來頂替上，保證特征點數(shù)量不變，從而保證重建的深度信息充足；
[0020]其中，步驟S103中所述采用改進的KLT算法包括下列步驟:
[0021]S201、輸入第一幅圖像；
[0022]S202、選擇特征點；
[0023]S203、保存特征點；
[0024]S204、輸入第二幅圖像；
[0025]S205、追蹤特征點；
[0026]S206、刪除丟失特征點；
[0027]S207、保存跟蹤點；
[0028]S208、用第二幅圖代替第一幅圖；
[0029]S209、用下一幅圖代替第一幅圖；
[0030]S210、選擇特征點代替丟失特征點；
[0031]S211、保存特征點，并回到步驟S205。
[0032]所述步驟S202選擇特征點，具體為:
[0033]S601、在圖像I (中計算出每個像素點中的矩陣G以及最小特征值λπ ;其中，定義I為第一幀圖像，J為第二幀圖像；
[0034]S602、在整個圖像序列中得到λ m中的最大值λ max ；
[0035]S603、保留那些滿足入1]1大于閾值的圖像像素點；
[0036]S604、保留區(qū)域內的最大像素；
[0037]S605、保持這些像素的子集，這樣任何一對像素之間的最小距離大于給定閾值的距離；
[0038]所述步驟S601中像素點的矩陣G定義為:
【權利要求】
1.一種智能交通中的三維重建方法，包括:獲取檢測場景的信息，利用改進的KLT算法實現(xiàn)檢測場景中目標特征點的提取和動態(tài)跟蹤，以及特征點自動補全，分布重建算法對目標進行三維重建，所述方法具體執(zhí)行以下步驟: 5101、攝像機標定； 5102、同步獲取帶有場景深度信息的原始視頻圖像；可以通過一個或多個設備在不同視角對目標場景進行信息采集； 5103、跟蹤視頻場景中目標的特征點；通過改進的KLT算法，先確定合適的特征點來進行跟蹤，然后在整個視頻序列中跟蹤這些特征塊； 5104、選取視頻關鍵幀； 5105、對選取的幀進行重建； 5106、對子集進行打包處理； 5107、得到最終三維模型。
2.根據(jù)權利要求1所述的方法，其特征在于，所述步驟SlOl具體包括: 獲取攝像機的內在和外在的參數(shù)、相機校準、以及深度測定； 具體的，可以通 過計算機利用Matlab攝像機標定工具箱及攝像機的內外參數(shù)對攝像機拍攝的圖片用立體圖像對校正指令進行校正，并得到校正后內外參數(shù)，然后進行線性高通濾波。
3.根據(jù)權利要求1所述的方法，其特征在于，所述步驟S103包括: 特征點自動補全機制:在首幀中找到合適的目標特征點后，從下一幀開始定位到前一幀所有目標特征點的2D坐標；如果有些特征點在跟蹤過程中消失了，那么在消失的這一幀中找尋新的特征點來頂替上，保證特征點數(shù)量不變，從而保證重建的深度信息充足； 其中，所述采用改進的KLT算法包括下列步驟: 5201、輸入第一幅圖像； 5202、選擇特征點； 5203、保存特征點； 5204、輸入第二幅圖像； 5205、追蹤特征點； 5206、刪除丟失特征點； 5207、保存跟蹤點； 5208、用第二幅圖代替第一幅圖； 5209、用下一幅圖代替第一幅圖； 5210、選擇特征點代替丟失特征點； 5211、保存特征點，并回到步驟S205。
4.根據(jù)權利要求1所述的方法，其特征在于，所述步驟S104具體為: 先設置一個參考閾值，默認值為500，在對整個視頻的特征點跟蹤軌跡中，統(tǒng)計視頻幀中的特征點能維持到最后一幀的數(shù)量N，如果滿足N>500的條件，那么該幀就可以作為關鍵幀保留；對于那些N〈500的視頻幀會按從高到底的數(shù)量進行保留；然后使用分布處理的方法，將視頻圖像分成大小相同的若干個圖像塊進行處理，并且每一個小塊中的值會被記錄下來；這些值指的是那些包含超過8個軌跡點的值；當一個新的關鍵幀識別，值將會被覆蓋存儲；每個后續(xù)的處理中，只使用跟蹤幸存的最后一個關鍵幀，然后與之前的數(shù)據(jù)相比，即前一個關鍵幀；如果前后值的比率低于60%，然后選擇它作為一種新的關鍵幀。
5.根據(jù)權利要求1所述的方法，其特征在于，所述步驟S105具體為: 5501、從全部跟蹤點中隨機選取6個特征點的子集進行操作； 5502、使用3視角6點算法處理6個點的子集； 5503、通過評估3視角6點的投影重建并且比較其他數(shù)據(jù)與重建的匹配度來給這6個點子集評分； 5504、重復步驟I和2，記住到目前為止最好分數(shù)，直到一套好的點被發(fā)現(xiàn)； 5505、光速法平差優(yōu)化重建的子集。
6.根據(jù)權利要求3所述的方法，其特征在于，所述步驟S202選擇特征點，具體為: 5601、在圖像I(中計算出每個像素點中的矩陣G以及最小特征值λπ;其中，定義I為第一幀圖像，J為第二幀圖像； 5602、在整個圖像序列中得到λπ中的最大值λ_; 5603、保留那些滿足入1]1大于閾值的圖像像素點； 5604、保留區(qū)域內的最大像素； 5605、保持這些像素的子集，這樣任何一對像素之間的最小距離大于給定閾值的距離； 所述步驟S601中像素點的矩陣G定義為:
7.一種智能交通中的三維重建系統(tǒng)，包括圖像獲取模塊，特征點跟蹤模塊以及三維模型輸出模塊，其中， 所述圖像獲取模塊，用于攝像機標定以及采集帶有場景深度信息的視頻圖像； 所述特征點跟蹤模塊，用于第一幀圖像中選取特征點，并在視頻流中跟蹤這些特征占.所述三維模型輸出模塊，用于選取視頻關鍵幀，并重建子集，合并后輸出三維模型。
8.根據(jù)權利要求7所述的系統(tǒng)，其特征在于，所述特征點跟蹤模塊，具體采用改進的KLT算法，確定合適的特征點，并在視頻中跟蹤這些特征點以及在發(fā)現(xiàn)特征點丟失時補充特征點。
9.根據(jù)權利要求7所述的系統(tǒng)，其特征在于，所述三維輸出模塊，具體用于從圖像的全部跟蹤點中隨機選取6個特征點的子集進行重建，并通過閾值法優(yōu)化特征點，采用光速平差對子集結果進行優(yōu)化，最后合并輸出三維模型。
【文檔編號】G06T17/00GK103996220SQ201410226631
【公開日】2014年8月20日 申請日期:2014年5月26日 優(yōu)先權日:2014年5月26日
【發(fā)明者】宋雪樺, 王維, 萬根順, 于宗潔, 顧金 申請人:江蘇大學