室內(nèi)場(chǎng)景掃描重建的方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及三維掃描重建技術(shù)領(lǐng)域，特別涉及一種室內(nèi)場(chǎng)景掃描重建的方法及裝 置。
【背景技術(shù)】
[0002] 目前，三維重建技術(shù)一直是計(jì)算機(jī)視覺(jué)和計(jì)算機(jī)圖形學(xué)領(lǐng)域研究的重點(diǎn)。從最初 的對(duì)三維空間中一個(gè)點(diǎn)的三維重建到對(duì)某個(gè)特定物體的三維重建，再到對(duì)整個(gè)室內(nèi)場(chǎng)景乃 至整個(gè)城市的三維重建，三維重建的研究取得了長(zhǎng)足的發(fā)展和進(jìn)步，且已經(jīng)應(yīng)用到了人類 日常生活的方方面面，例如：3D打印、數(shù)字博物館、視覺(jué)跟蹤、地形導(dǎo)航等。對(duì)于三維場(chǎng)景建 模來(lái)說(shuō)，數(shù)字化再現(xiàn)技術(shù)可以方便的處理和分析周圍的環(huán)境信息，使得現(xiàn)實(shí)場(chǎng)景能在每個(gè) 角度看清細(xì)節(jié)，最終使得不論是人類還是機(jī)器人，都可以解讀所在的周邊環(huán)境?，F(xiàn)如今，隨 著科技的迅速發(fā)展各種3D測(cè)量設(shè)備隨之出現(xiàn)，3D各場(chǎng)景的重建有了更多方法和途徑。場(chǎng)景 從一開(kāi)始的簡(jiǎn)單的小型物體到復(fù)雜的大型室內(nèi)外場(chǎng)景，使得人們生活愈加享受到3D重建 帶來(lái)的優(yōu)越。
[0003] 近年來(lái)，對(duì)大范圍室內(nèi)場(chǎng)景進(jìn)行數(shù)字化的研究受到了越來(lái)越多的關(guān)注。真實(shí)場(chǎng)景 的數(shù)字化，可以讓我們可以在不同視角下充分觀察欣賞場(chǎng)景的各個(gè)部分。近年來(lái)，多種三維 測(cè)量設(shè)備的迅速發(fā)展也為三維場(chǎng)景重構(gòu)提供了更多的實(shí)現(xiàn)手段。但是由于室內(nèi)場(chǎng)景中各種 物體間的互相遮擋，或數(shù)據(jù)獲取裝置自身的物理限制等原因，利用傳統(tǒng)的室內(nèi)場(chǎng)景三維重 建及分割方法很難得到一個(gè)完整、較高精度的環(huán)境模型，且重建得到三維模型往往功能意 義不明確，用戶也無(wú)法與之交互。要想得到有明確意義的室內(nèi)場(chǎng)景模型，我們需要對(duì)掃描重 建得到地結(jié)果進(jìn)行分割，但由于室內(nèi)場(chǎng)景情況復(fù)雜、遮擋嚴(yán)重，使得完全使用軟件算法的分 割方法極具挑戰(zhàn)性。如果在后續(xù)工作中想將此重建模型用到虛擬漫游、室內(nèi)設(shè)計(jì)等應(yīng)用中， 很多時(shí)候都需要人為進(jìn)行一些分割、識(shí)別、添加語(yǔ)義、實(shí)現(xiàn)動(dòng)畫等一系列工作。
[0004] 在現(xiàn)有典型的室內(nèi)場(chǎng)景獲取工作中，通常是一個(gè)操作員手持深度攝像機(jī)在室內(nèi)場(chǎng) 景中移動(dòng)來(lái)掃描捕捉場(chǎng)景數(shù)據(jù)。但是對(duì)于人類來(lái)說(shuō)，精細(xì)化的場(chǎng)景掃描是一個(gè)枯燥無(wú)聊的 活，特別是對(duì)于大尺度、包含很多物體的室內(nèi)場(chǎng)景。要解決這一問(wèn)題，利用移動(dòng)機(jī)器人對(duì)室 內(nèi)場(chǎng)景進(jìn)行全自動(dòng)掃描就成了一個(gè)十分吸引人的方案。
[0005] 從單個(gè)物體的點(diǎn)云數(shù)據(jù)中進(jìn)行表面重建的研究已經(jīng)趨近成熟，現(xiàn)今關(guān)于三維掃描 和重建的研發(fā)重點(diǎn)越來(lái)越多地轉(zhuǎn)向了室內(nèi)場(chǎng)景。特別是隨著低成本深度傳感器（如微軟公 司的Kinect深度傳感器，華碩公司的XtionLive深度傳感器，Intel公司的Realsense傳 感器）的快速發(fā)展和SLAM相關(guān)技術(shù)的成熟，實(shí)時(shí)場(chǎng)景掃描和重建得到了學(xué)術(shù)界和產(chǎn)業(yè)界的 一致重視。這些方法的共同之處是，最終都是用一個(gè)三維模型來(lái)表示整個(gè)重建的場(chǎng)景。然 而，室內(nèi)場(chǎng)景是由它其中的物體及物體之間的空間關(guān)系所表征的。如果不能有效地表示室 內(nèi)場(chǎng)景中有意義的、具體的物品，那么重建得到的場(chǎng)景三維模型的作用是有很大限制的。如 之前所述的工作，因?yàn)樽詈蟮玫降氖菃蝹€(gè)三維模型，所以無(wú)法用于場(chǎng)景中的物體檢索、編輯 與合成。因此，更有意義、更具使用價(jià)值的室內(nèi)場(chǎng)景重建應(yīng)該要能夠提取重建場(chǎng)景中的各種 物品并由此能推斷各物品之間的相關(guān)關(guān)系。
[0006] 要想提取場(chǎng)景中的各個(gè)物品，就得對(duì)重建場(chǎng)景進(jìn)行分割分析。傳統(tǒng)的方法主要是 利用3D模型數(shù)據(jù)要輔助進(jìn)行物體提取和識(shí)別。有些工作利用室內(nèi)場(chǎng)景中物體重復(fù)出現(xiàn)作 為線索進(jìn)行場(chǎng)景理解，還有一些工作利用人類在室內(nèi)場(chǎng)景的活動(dòng)數(shù)據(jù)來(lái)幫助進(jìn)行場(chǎng)景語(yǔ)義 分析。但是，這些工作都是使用掃描好的場(chǎng)景數(shù)據(jù)作為輸入，這種線下的分析方法缺少關(guān)于 場(chǎng)景結(jié)構(gòu)的第一手信息，必須依靠先驗(yàn)知識(shí)（由人或另外的數(shù)據(jù)庫(kù)提供）或者掃描時(shí)記錄 的額外信息才完成分析。
[0007]利用機(jī)器人對(duì)單個(gè)物體進(jìn)行掃描重建在之前已經(jīng)有不少工作，但是從全局重建， 特別是物體級(jí)別的場(chǎng)景重建的角度來(lái)評(píng)價(jià)，現(xiàn)在只有很少的工作研究了如何進(jìn)行全自動(dòng) 場(chǎng)景掃描重建。此外，目前也有一些通過(guò)機(jī)器人交互從場(chǎng)景中提取物體的技術(shù)方案，最接 近并且最新的解決方案是一種基于機(jī)器人推動(dòng)的場(chǎng)景中物體分割方法，該方法的核心思 想是利用RGB圖像和三維點(diǎn)云作為輸入來(lái)計(jì)算推動(dòng)點(diǎn)和推動(dòng)方向，并在推動(dòng)過(guò)程中提取 Shi-Tomasi特征利用光流跟蹤法對(duì)物體進(jìn)行跟蹤，最后對(duì)特征的運(yùn)動(dòng)軌跡進(jìn)行聚類以分割 物體。
[0008] 綜上所述，現(xiàn)有技術(shù)的缺點(diǎn)主要包括以下幾點(diǎn)：
[0009] (1)處理場(chǎng)景有限：現(xiàn)有技術(shù)只能對(duì)桌面上的若干個(gè)物體進(jìn)行分析，不能對(duì)大范 圍雜亂的整個(gè)室內(nèi)場(chǎng)景進(jìn)行處理。
[0010] (2)分割準(zhǔn)確率不高：在相同交互次數(shù)（10次左右）、相同場(chǎng)景（桌面上的日常物 品）的情況下，現(xiàn)有方法的分割準(zhǔn)確率只有70%~80%。
[0011] (3)交互效率不高：現(xiàn)有技術(shù)對(duì)只有5-6個(gè)物體的小場(chǎng)景就需要推動(dòng)10-12次才 能得到令人滿意的分割結(jié)果。
[0012] (4)不能有效地重建場(chǎng)景中的物體：現(xiàn)有工作都沒(méi)有考慮如何重建分割出來(lái)的物 體。

【發(fā)明內(nèi)容】

[0013] 本發(fā)明實(shí)施例提供了一種室內(nèi)場(chǎng)景掃描重建的方法，用以對(duì)大范圍雜亂的整個(gè)室 內(nèi)場(chǎng)景進(jìn)行處理，有效地重建場(chǎng)景中的物體，提高室內(nèi)場(chǎng)景重建的效率和精度，該方法包 括：
[0014] 獲得位于室內(nèi)空間的機(jī)器人捕獲的所述室內(nèi)空間的掃描圖像信息，根據(jù)所述掃描 圖像信息重建所述室內(nèi)空間的三維場(chǎng)景模型圖；
[0015]將所述三維場(chǎng)景模型圖分割為多個(gè)興趣區(qū)域；對(duì)于每個(gè)興趣區(qū)域，均執(zhí)行以下操 作：將興趣區(qū)域分割為多個(gè)小區(qū)域；控制所述機(jī)器人對(duì)每個(gè)小區(qū)域?qū)?yīng)物體施加推力，獲 得施加推力后的所述多個(gè)小區(qū)域的圖像；將施加推力后的小區(qū)域圖像與施加推力前的小區(qū) 域圖像進(jìn)行比較，根據(jù)比較結(jié)果，分割圖像中的物體，以及控制機(jī)器人對(duì)施加推力后分離的 物體中沒(méi)有掃描完全的部分進(jìn)行掃描，獲取物體完整的三維數(shù)據(jù)；
[0016]根據(jù)分割出的物體和物體的完整三維數(shù)據(jù)，對(duì)室內(nèi)場(chǎng)景進(jìn)行重建。
[0017] 本發(fā)明還提供了一種室內(nèi)場(chǎng)景掃描重建的裝置，用以對(duì)大范圍雜亂的整個(gè)室內(nèi)場(chǎng) 景進(jìn)行處理，有效地重建場(chǎng)景中的物體，提高室內(nèi)場(chǎng)景重建的效率和精度，該裝置包括：
[0018]初步掃描重建模塊，用于獲得位于室內(nèi)空間的機(jī)器人捕獲的所述室內(nèi)空間的掃描 圖像信息，根據(jù)所述掃描圖像信息重建所述室內(nèi)空間的三維場(chǎng)景模型圖；
[0019] 分割掃描處理模塊，用于將所述三維場(chǎng)景模型圖分割為多個(gè)興趣區(qū)域；對(duì)于每個(gè) 興趣區(qū)域，均執(zhí)行以下操作：將興趣區(qū)域分割為多個(gè)小區(qū)域；控制所述機(jī)器人對(duì)每個(gè)小區(qū) 域?qū)?yīng)物體施加推力，獲得施加推力后的所述多個(gè)小區(qū)域的圖像；將施加推力后的小區(qū)域 圖像與施加推力前的小區(qū)域圖像進(jìn)行比較，根據(jù)比較結(jié)果，分割圖像中的物體，以及控制機(jī) 器人對(duì)施加推力后分離的物體中沒(méi)有掃描完全的部分進(jìn)行掃描，獲取物體完整的三維數(shù) 據(jù)；
[0020] 重建模塊，根據(jù)分割出的物體和物體的完整三維數(shù)據(jù)，對(duì)室內(nèi)場(chǎng)景進(jìn)行重建。
[0021] 與現(xiàn)有技術(shù)相比較，本發(fā)明實(shí)施例提供的技術(shù)方案，首先，利用機(jī)器人對(duì)整個(gè)室內(nèi) 場(chǎng)景進(jìn)行粗略地全局掃描重建，獲得位于室內(nèi)空間的機(jī)器人捕獲的所述室內(nèi)空間的掃描圖 像信息，根據(jù)所述掃描圖像信息重建所述室內(nèi)空間的三維場(chǎng)景模型圖；然后，將所述三維場(chǎng) 景模型圖分割為多個(gè)興趣區(qū)域；對(duì)于每個(gè)興趣區(qū)域，均執(zhí)行以下操作：將興趣區(qū)域分割為 多個(gè)小區(qū)域；控制所述機(jī)器人對(duì)每個(gè)小區(qū)域?qū)?yīng)物體施加推力，獲得施加推力后的所述多 個(gè)小區(qū)域的圖像；將施加推力后的小區(qū)域圖像與施加推力前的小區(qū)域圖像進(jìn)行比較，根據(jù) 比較結(jié)果，分割圖像中的物體，以及控制機(jī)器人對(duì)施加推力后分離的物體中沒(méi)有掃描完全 的部分進(jìn)行掃描，獲取物體完整的三維數(shù)據(jù)；最后，根據(jù)分割出的物體和物體的完整三維數(shù) 據(jù)，對(duì)室內(nèi)場(chǎng)景進(jìn)行重建，通過(guò)該技術(shù)方案，本發(fā)明實(shí)施例至少具有以下有益技術(shù)效果：
[0022] (1)現(xiàn)有技術(shù)只能對(duì)桌面上的若干個(gè)物體進(jìn)行分析，本發(fā)明通過(guò)上述技術(shù)方案，可 以對(duì)大范圍雜亂的整個(gè)室內(nèi)場(chǎng)景進(jìn)行處理。
[0023] (2)在相同交互次數(shù)（10次左右）、相同場(chǎng)景（桌面上的日常物品）的情況下，現(xiàn) 有方法的分割準(zhǔn)確率只有70%~80%，而本發(fā)明通過(guò)上述技術(shù)方案能達(dá)到90%左右，提高 了分割的準(zhǔn)確率。
[0024] (3)現(xiàn)有技術(shù)對(duì)只有5-6個(gè)物體的小場(chǎng)景就需要推動(dòng)10-12次才能得到令人滿意 的分割結(jié)果。而本發(fā)明通過(guò)上述技術(shù)方案，對(duì)于含有20-30個(gè)物體的大場(chǎng)景進(jìn)行12左右 的交互就能得到90%左右的分割準(zhǔn)確率，使得在機(jī)器人掃描場(chǎng)景的時(shí)候可以進(jìn)行物體的分 析，并通過(guò)物理上的輕推交互來(lái)驗(yàn)證分割準(zhǔn)確性，從而大大提高了傳統(tǒng)三維重建對(duì)于物體 分析的能力，提高了交互的效率。
[0025] (4)現(xiàn)有技術(shù)的實(shí)際工作都沒(méi)有考慮如何重建分割出來(lái)的物體，不能有效地重建 場(chǎng)景中的物體。而本發(fā)明提出了一個(gè)物體層面的場(chǎng)景重建和物體級(jí)別的場(chǎng)景分析框架，使 得重建和分析都是針對(duì)場(chǎng)景中的物體，進(jìn)而使得本發(fā)明提出的框架能更好地為下一步的識(shí) 另IJ、語(yǔ)義理解等工作所用。同時(shí)，由于輕推之后往往可以使得掃描更加充分，提高了物體重 建的置信度。
[0026] 通過(guò)上述可知，本發(fā)明實(shí)施例提供的室內(nèi)場(chǎng)景掃描重建的方法，可以對(duì)大范圍雜 亂的整個(gè)室內(nèi)場(chǎng)景進(jìn)行處理，有效地重建場(chǎng)景中的物體，提高了分割效率和交互效率，提高 了室內(nèi)場(chǎng)景重建的效率和精度，通過(guò)該方法可以得到一個(gè)帶有分割信息的、可以與用戶交 互的、重建完整的三維室內(nèi)場(chǎng)景模型。
【附圖說(shuō)明】
[0027] 此處所說(shuō)明的附圖用來(lái)提供對(duì)本發(fā)明的進(jìn)一步理解，構(gòu)成本申請(qǐng)的一部分，并不 構(gòu)成對(duì)本發(fā)明的限定。在附圖中：
[0028] 圖1是本發(fā)明實(shí)施例中室內(nèi)場(chǎng)景掃描重建的方法的流程示意圖；
[0029] 圖2是本發(fā)明實(shí)施例中在過(guò)分割和欠分割的情況下區(qū)別一些錯(cuò)誤分割的示意圖；
[0030]