本發(fā)明涉及遮擋圖像處理、圖像修復和室內(nèi)定位，具體涉及一種基于遮擋清除算法的室內(nèi)視覺定位方法及定位系統(tǒng)。

背景技術：

1、室內(nèi)定位技術在現(xiàn)代智能家居、安防監(jiān)控、機器人導航等領域具有重要應用。隨著技術的發(fā)展，基于視覺的定位系統(tǒng)因其成本低、安裝方便、信息豐富等優(yōu)點，逐漸成為研究的熱點。這些方法通過攝像頭獲取環(huán)境圖像，并利用圖像特征進行定位和導航。相比于傳統(tǒng)的基于里程計、激光雷達等傳感器的方法，視覺定位系統(tǒng)不僅能夠提供更加豐富的環(huán)境信息，還能夠?qū)崿F(xiàn)更高的定位精度。

2、然而，由于室內(nèi)環(huán)境中存在大量遮擋物體，如家具、裝飾物等，這些遮擋物體會對攝像頭的視野產(chǎn)生影響，導致獲取的圖像信息不完整，從而對定位精度造成極大的損害，甚至可能造成關鍵特征點的丟失。這種情況下，傳統(tǒng)的視覺定位算法無法有效處理遮擋信息，導致定位誤差增大，甚至無法定位。此外，遮擋物體還可能引起視覺算法的誤判，將遮擋物體誤識別為環(huán)境特征，進一步加劇定位的困難。因此，如何有效處理遮擋圖像，恢復完整的環(huán)境信息，成為提高室內(nèi)定位精度的重要研究方向。

技術實現(xiàn)思路

1、本發(fā)明要解決的技術問題是：克服現(xiàn)有技術的不足，提供一種結合目標檢測、圖像修復與特征匹配技術，提升了定位準確性和魯棒性的基于遮擋清除算法的室內(nèi)視覺定位方法及定位系統(tǒng)。

2、本發(fā)明解決其技術問題所采用的技術方案是：該基于遮擋清除算法的室內(nèi)視覺定位方法，其特征在于：包括如下步驟：

3、步驟1，查詢數(shù)據(jù)庫中的圖像，提取數(shù)據(jù)庫圖像的特征信息，并將特征信息保存；

4、步驟2，進行遮擋物檢測，并清除所有查詢圖像中的遮擋物；

5、步驟3，采用圖像修復模型進行圖像修復，還原查詢圖像；

6、步驟4，進行室內(nèi)定位。

7、優(yōu)選的，在執(zhí)行步驟2時，包括：構建遮擋圖像數(shù)據(jù)集；基于遮擋圖像數(shù)據(jù)集進行遮擋物檢測；像素重置消除查詢圖像中的遮擋物。

8、優(yōu)選的，在構建遮擋圖像數(shù)據(jù)集時：在coco128數(shù)據(jù)集中通過摳圖的方式獲取若干物體，摳圖過程涉及將感興趣的物體從圖像中進行分離，得到具有透明背景的物體圖像；然后，通過保留物體的像素，并將其余位置的像素值設置為（255，255，255），來生成這些物體的掩碼圖像；

9、加載7scenes數(shù)據(jù)集的圖像；然后，加載所有遮擋物體的圖像及其對應的掩碼；為每一張查詢和數(shù)據(jù)庫圖像隨機選擇一個遮擋物體及它的掩碼，并對其添加隨機種類和程度的模糊信息，然后將添加模糊信息的遮擋物體以隨機尺度和旋轉(zhuǎn)角度放置在圖像上的隨機位置，以生成遮擋圖像，最終，所有圖像一對一生成的遮擋圖像構成了遮擋圖像數(shù)據(jù)集。

10、優(yōu)選的，基于遮擋圖像數(shù)據(jù)集進行遮擋物檢測的步驟是：首先讀取檢測結果中的邊界框信息，提取出遮擋物體的像素區(qū)域，加載在coco數(shù)據(jù)集上預訓練的yolov5模型，對查詢圖像進行檢測，生成包含遮擋物體的邊界框和類別信息，完成遮擋物的檢測。

11、優(yōu)選的，像素重置消除查詢圖像中的遮擋物的過程為：將遮擋物體區(qū)域的像素重置為純黑像素（0，0，0），以表示遮擋物體的位置；同時，生成與查詢圖像對應的掩碼圖像，該掩碼圖像中遮擋物體區(qū)域的像素置為純黑像素，其他區(qū)域的像素置為純白像素（255，255，255）。

12、優(yōu)選的，步驟4，包括如下步驟：

13、步驟4-1，提取并保存步驟3中修復后的查詢圖像的特征信息；

14、步驟4-2，進行圖像檢索；根據(jù)數(shù)據(jù)庫圖像特征信息與查詢圖像特征信息，使用圖像檢索算法進行查詢圖像的近鄰檢索，得到查詢圖像的近鄰檢索對；

15、步驟4-3，根據(jù)數(shù)據(jù)庫圖像特征信息、查詢圖像特征信息和近鄰檢索對，使用lightglue算法進行特征匹配，建立查詢圖像與數(shù)據(jù)庫圖像的2d-2d匹配關系；

16、步驟4-4，利用基于本質(zhì)矩陣的室內(nèi)視覺定位算法；基于2d-2d匹配信息，利用ransac循環(huán)中的五點法計算圖像對的本質(zhì)矩陣；隨后，通過極線約束條件，采用奇異值分解和ransac算法，結合數(shù)據(jù)庫圖像的已知絕對位姿及本質(zhì)矩陣，最終確定定位結果。

17、優(yōu)選的，在執(zhí)行步驟1時，首先在室內(nèi)環(huán)境中設置參考點，并在參考點上采集圖像數(shù)據(jù)；其次，對數(shù)據(jù)庫圖像使用superpoint算法及netvlad算法提取進行特征提??；最后，將提取的特征信息與對應的坐標信息存儲，形成特征文件。

18、優(yōu)選的，在步驟3中，采用圖像修復模型mat進行圖像修復。

19、一種基于遮擋清除算法的室內(nèi)視覺定位系統(tǒng)，其特征在于：包括離線單元以及在線單元，其中離線單元包括：

20、離線圖像采集模塊，用于查詢數(shù)據(jù)庫中的圖像；

21、離線特征提取模塊，與離線圖像采集模塊相連，用于提取數(shù)據(jù)庫圖像的特征信息，并將特征信息保存；

22、在線單元包括：

23、在線圖像采集模塊，用于獲取查詢圖像；

24、遮擋清除模塊，與在線圖像采集模塊相連，用于進行遮擋物檢測，并清除所有查詢圖像中的遮擋物；

25、室內(nèi)定位模塊，與遮擋清除模塊以及離線特征提取模塊相連，用于進行室內(nèi)定位。

26、優(yōu)選的，室內(nèi)定位模塊包括：

27、特征提取子模塊，用于獲取修復后的查詢圖像的特征信息；

28、圖像檢索子模塊，與特征提取子模塊相連，用于使用圖像檢索算法進行查詢圖像的近鄰檢索，得到查詢圖像的近鄰檢索對；

29、特征匹配子模塊，與圖像檢索子模塊相連，用于建立查詢圖像與數(shù)據(jù)庫圖像的2d-2d匹配關系；

30、以及定位子模塊，基于本質(zhì)矩陣的定位算法，得到定位結果。

31、與現(xiàn)有技術相比，本發(fā)明所具有的有益效果是：

32、在本基于遮擋清除算法的室內(nèi)視覺定位方法及定位系統(tǒng)中，結合目標檢測、圖像修復與特征匹配技術，提升了定位準的確性和魯棒性。

33、通過遮擋物檢測及清除所有查詢圖像中的遮擋物，確保了遮擋物體的像素不會對后續(xù)處理產(chǎn)生干擾，同時為圖像恢復過程提供了明確的目標區(qū)域。通過這種方式，可以有效地隔離遮擋物體，并為后續(xù)的圖像修復算法提供有力支持。

34、在進行圖像修復是，采用了圖像修復模型mat（mask-aware?transformer?forlarge?hole?image?inpainting）。該模型綜合了transformer和卷積的優(yōu)點，通過引入條件長距離交互，使其能夠在有遮擋的情況下有效地重建圖像細節(jié)，從而提升視覺定位系統(tǒng)的準確性和魯棒性。

35、通過mat算法的應用，遮擋圖像得到了有效的修復，不僅在視覺上更加連貫，同時也為后續(xù)的視覺定位任務提供了高質(zhì)量的輸入數(shù)據(jù)。mat算法在處理復雜遮擋和高分辨率圖像時表現(xiàn)出色，為視覺定位系統(tǒng)的高精度和高魯棒性提供了重要支持。

36、在本基于遮擋清除算法的室內(nèi)視覺定位方法中，結合了superpoint特征提取算法與lightglue特征匹配算法，這一組合大大提升了特征檢測和匹配的魯棒性與準確性。在匹配特征點之后，采用五點法和ransac算法來估計本質(zhì)矩陣。其中，五點法是一種有效的非線性方法，通過求解五對匹配點的幾何約束，來推導出本質(zhì)矩陣的具體形式。而ransac算法則通過迭代地從特征匹配集中隨機選擇子集，估計本質(zhì)矩陣，并利用一致性檢查來剔除錯誤匹配，提升估計的魯棒性和準確性。在解得本質(zhì)矩陣后，再通過對其進行奇異值分解來得到相對旋轉(zhuǎn)和平移，而分解得到的旋轉(zhuǎn)矩陣和平移向量將進一步用于計算查詢圖像的絕對位姿。在計算絕對位姿時，通過引入對極約束來確保估計結果的準確性。

37、利用本質(zhì)矩陣能夠有效融合多視角信息，提升三維重建精度和定位精度。室內(nèi)環(huán)境通常具有較多的遮擋和非結構化特征，單視角方法難以提供足夠的約束條件，而多視角方法能夠通過多角度的視圖約束，提供更多的約束條件，從而顯著降低定位誤差，提升定位的準確性和魯棒性。在室內(nèi)視覺定位系統(tǒng)中，該算法與圖像修復方法相輔相成，共同提升系統(tǒng)的定位精度和魯棒性，確保在復雜遮擋環(huán)境下依然能夠?qū)崿F(xiàn)準確的室內(nèi)定位。