專利名稱：一種實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)的方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及增強(qiáng)現(xiàn)實(shí)處理技術(shù)領(lǐng)域，尤其涉及一種實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)的方法及裝置。
背景技術(shù)：
增強(qiáng)現(xiàn)實(shí)(Augmented Reality,AR)是在虛擬現(xiàn)實(shí)的基礎(chǔ)上發(fā)展起來的新技術(shù),是虛擬現(xiàn)實(shí)研究的一個(gè)重要分支。概括地說，增強(qiáng)現(xiàn)實(shí)技術(shù)是借助計(jì)算機(jī)圖形技術(shù)和可視化技術(shù)產(chǎn)生現(xiàn)實(shí)環(huán)境中不存在的虛擬對(duì)象，并將虛擬對(duì)象準(zhǔn)確地“嵌入”到真實(shí)環(huán)境中，借助顯示設(shè)備將虛擬對(duì)象與真實(shí)環(huán)境融為一體，將虛擬的信息應(yīng)用到真實(shí)世界，從而呈現(xiàn)給用戶一個(gè)感官效果真實(shí)的新環(huán)境，以實(shí)現(xiàn)對(duì)現(xiàn)實(shí)的增強(qiáng)。用于實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)技術(shù)的增強(qiáng)現(xiàn)實(shí)系統(tǒng)需要通過分析大量的定位數(shù)據(jù)和場(chǎng)景信息來保證計(jì)算機(jī)生成的虛擬物體可以精確地定位在真實(shí)場(chǎng)景中。因此，增強(qiáng)現(xiàn)實(shí)系統(tǒng)中通常都包含以下幾個(gè)基本的處理步驟( I)獲取真實(shí)場(chǎng)景信息；(2)對(duì)獲取的真實(shí)場(chǎng)景信息和攝像頭位置信息進(jìn)行分析；(3)生成虛擬物體；(4)根據(jù)攝像頭位置信息在視平面上繪制虛擬物體，并將虛擬物體與真實(shí)場(chǎng)景信
息一起顯示。目前，主要采用的增強(qiáng)現(xiàn)實(shí)技術(shù)包括帶標(biāo)注的增強(qiáng)現(xiàn)實(shí)(即MarkerAR)技術(shù)和無(wú)標(biāo)注的增強(qiáng)現(xiàn)實(shí)(Marker-less AR)技術(shù)。下面將分別對(duì)現(xiàn)有技術(shù)中采用的兩種增強(qiáng)現(xiàn)實(shí)技術(shù)進(jìn)行描述。(一)帶標(biāo)注的增強(qiáng)現(xiàn)實(shí)技術(shù)在帶標(biāo)記的增強(qiáng)現(xiàn)實(shí)技術(shù)中，主要是使用方形的黑白標(biāo)記，識(shí)別和跟蹤黑白標(biāo)記以實(shí)現(xiàn)攝像頭位置的估計(jì)，進(jìn)而實(shí)現(xiàn)虛擬和現(xiàn)實(shí)的疊加。帶標(biāo)記的增強(qiáng)現(xiàn)實(shí)技術(shù)的具體實(shí)現(xiàn)過程可以包括(I)攝像頭采集現(xiàn)實(shí)世界的影像，并將其傳給計(jì)算機(jī)；(2)計(jì)算機(jī)上的軟件在每幀視頻中搜索所有可能的矩形物體，例如，可以使用固定門限值將矩形物體標(biāo)記分割出來；(3)如果找到矩形，則軟件采用相應(yīng)的數(shù)學(xué)方法計(jì)算出攝像頭相對(duì)于矩形物體標(biāo)記的位置，以估計(jì)攝像頭位置信息；(4)在確定攝像頭位置信息后，便可以在指定的位置根據(jù)攝像頭位置信息，將虛擬物體疊加到視頻中；(5)經(jīng)過上述處理后，便可以在顯示設(shè)備中看到疊加有虛擬物體的視頻。在上述Marker AR技術(shù)中，當(dāng)標(biāo)記圖像不完整時(shí)(例如，標(biāo)記圖像被遮擋或部分標(biāo)記圖像被移出攝像頭視場(chǎng))，則難以識(shí)別出標(biāo)記的內(nèi)容，這樣，便無(wú)法根據(jù)標(biāo)記的內(nèi)容將虛擬物體疊加到視頻中。(二)無(wú)標(biāo)注的增強(qiáng)現(xiàn)實(shí)技術(shù)
在無(wú)標(biāo)注的增強(qiáng)現(xiàn)實(shí)技術(shù)中，其具體實(shí)現(xiàn)過程可以包括(I)攝像頭采集現(xiàn)實(shí)世界的影像，并將其傳給計(jì)算機(jī)；(2)計(jì)算機(jī)軟件在視頻幀中檢測(cè)圖像的局部特征，將局部特征與可能的目標(biāo)對(duì)象的局部特征進(jìn)行匹配；(3)根據(jù)局部特征位置的幾何約束，只保留合理的匹配，從而可以根據(jù)合理的匹配可以識(shí)別出目標(biāo)對(duì)象；( 4 )在確定系統(tǒng)存在被識(shí)別出的目標(biāo)對(duì)象后，則跟蹤已被識(shí)別出的目標(biāo)對(duì)象，并采用攝像頭姿勢(shì)估計(jì)算法，計(jì)算出攝像頭相對(duì)每個(gè)目標(biāo)對(duì)象的位置；( 5 )在確定攝像頭相對(duì)各目標(biāo)對(duì)象的位置后，可分別在目標(biāo)指弓I的位置上，依據(jù)攝像頭相對(duì)各目標(biāo)的位置信息，將虛擬物體疊加到視頻中；(6)經(jīng)過上述處理后，便可以在顯示設(shè)備中看到疊加有虛擬物體的視頻。在Marker-less AR技術(shù)中，由于使用圖像的局部特征匹配識(shí)別對(duì)象，因而相應(yīng)的處理過程中計(jì)算量較大。而且,在該Marker-less AR技術(shù)中,對(duì)攝像頭采集到的目標(biāo)圖像的尺寸也有一定的要求，若目標(biāo)遠(yuǎn)離攝像頭，攝像頭采集到的目標(biāo)圖像過小，則將導(dǎo)致檢測(cè)到的目標(biāo)圖像中的局部特征過少，而無(wú)法達(dá)到要求的合理匹配特征個(gè)數(shù)，進(jìn)而導(dǎo)致無(wú)法檢測(cè)出目標(biāo)對(duì)象，使得無(wú)法完成將虛擬物體疊加到視頻中的處理。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)的方法及裝置，從而可以降低現(xiàn)有技術(shù)中增強(qiáng)現(xiàn)實(shí)處理過程中的計(jì)算量并可以保證增強(qiáng)現(xiàn)實(shí)的處理效果。本發(fā)明的目的是通過以下技術(shù)方案實(shí)現(xiàn)的第一方面，所述一種實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)的方法，包括獲取采集到的真實(shí)圖像的一個(gè)或多個(gè)邊緣連通區(qū)域；若所述的邊緣連通區(qū)域的覆蓋范圍符合預(yù)定要求，但圖像質(zhì)量不符合預(yù)定要求，則將所述邊緣連通區(qū)域包含的圖像進(jìn)行下采樣處理；根據(jù)下采樣處理后的邊緣連通區(qū)域包含的圖像及預(yù)先保存的采樣模板確定攝像頭位置信息；根據(jù)所述攝像頭位置信息進(jìn)行增強(qiáng)現(xiàn)實(shí)的處理操作。在第一方面的第一種可能的實(shí)現(xiàn)方式中，所述獲取采集到的真實(shí)圖像的一個(gè)或多個(gè)邊緣連通區(qū)域之前還包括對(duì)采集到的真實(shí)圖像的邊緣進(jìn)行二值化處理，并根據(jù)八連通原則將采集到的真實(shí)圖像劃分為一個(gè)或多個(gè)邊緣連通區(qū)域。在第一方面的第二種可能的實(shí)現(xiàn)方式中，所述覆蓋范圍符合預(yù)定要求是指所述邊緣連通區(qū)域至少存在兩條完整的直線邊緣，且通過延長(zhǎng)補(bǔ)齊的方式可以獲得完整的四邊形；所述圖像質(zhì)量不符合預(yù)定要求是指所述邊緣連通區(qū)域中的局部特征點(diǎn)的數(shù)量未達(dá)到預(yù)定的數(shù)量。結(jié)合第一方面或第一方面的第一種可能的實(shí)現(xiàn)方式或第一方面的第二種可能的實(shí)現(xiàn)方式，在第一方面的第三種可能的實(shí)現(xiàn)方式中，該方法還包括若所述的邊緣連通區(qū)域的覆蓋范圍和圖像質(zhì)量均符合預(yù)定要求，則采用精確匹配的方式確定攝像頭位置信息。結(jié)合第一方面的第三種可能的實(shí)現(xiàn)方式，在第一方面的第四種可能的實(shí)現(xiàn)方式中，所述采用精確匹配的方式確定攝像頭位置信息的步驟包括采用統(tǒng)計(jì)的方式將所述邊緣連通區(qū)域中的局部特征點(diǎn)與預(yù)定訓(xùn)練集中特征點(diǎn)進(jìn)行匹配，獲得匹配概率符合要求的局部特征點(diǎn)；根據(jù)邊緣連通區(qū)域的局部特征位置的幾何約束，在所述匹配概率符合要求的局部特征點(diǎn)中確定合理的匹配概率符合要求的局部特征點(diǎn)；根據(jù)所述合理的匹配概率符合要求的局部特征點(diǎn)確定攝像頭位置信息。結(jié)合第一方面或第一方面的第一種可能的實(shí)現(xiàn)方式或第一方面的第二種可能的實(shí)現(xiàn)方式，在第一方面的第五種可能的實(shí)現(xiàn)方式中，該方法還包括若所述邊緣連通區(qū)域的覆蓋范圍不符合預(yù)定要求，圖像質(zhì)量符合預(yù)定要求，則判斷所述邊緣連通區(qū)域是否為目標(biāo)對(duì)象的運(yùn)動(dòng)估計(jì)區(qū)域；若所述邊緣連通區(qū)域?yàn)槟繕?biāo)對(duì)象的運(yùn)動(dòng)估計(jì)區(qū)域，則采用特征點(diǎn)跟蹤的方式確定攝像頭位置信息，否則，采用基于不變特征算子的匹配方式確定攝像頭位置信息。結(jié)合第一方面的第五種可能的實(shí)現(xiàn)方式，在第一方面的第六種可能的實(shí)現(xiàn)方式中，所述基于不變特征算子的匹配方式確定攝像頭位置信息的步驟包括提取所述的邊緣連通區(qū)域中包含的局部特征點(diǎn)；將提取的所述局部特征點(diǎn)與預(yù)先保存的不變特征算子進(jìn)行匹配，根據(jù)匹配結(jié)果確定匹配成功的局部特征點(diǎn)；根據(jù)邊緣連通區(qū)域的局部特征位置的幾何約束，在所述匹配成功的局部特征點(diǎn)中確定合理的匹配成功的局部特征點(diǎn)；根據(jù)所述合理的匹配成功的局部特征點(diǎn)確定攝像頭位置信息。結(jié)合第一方面或第一方面的第一種可能的實(shí)現(xiàn)方式或第一方面的第二種可能的實(shí)現(xiàn)方式，在第一方面的第七種可能的實(shí)現(xiàn)方式中，該方法還包括若所述的邊緣連通區(qū)域的覆蓋范圍和圖像質(zhì)量均不符合預(yù)定要求，則無(wú)法確定攝像頭位置信息。結(jié)合第一方面或第一方面的第一種可能的實(shí)現(xiàn)方式或第一方面的第二種可能的實(shí)現(xiàn)方式，在第一方面的第八種可能的實(shí)現(xiàn)方式中，該方法還包括主線程和圖像渲染線程，或者，主線程、圖像渲染線程和一個(gè)或多個(gè)分區(qū)處理線程，其中主線程，用于選擇未被處理的邊緣連通區(qū)域執(zhí)行所述確定攝像頭位置信息的操作；圖像渲染線程，用于對(duì)已確定攝像頭位置信息的邊緣連通區(qū)域，執(zhí)行所述增強(qiáng)現(xiàn)實(shí)的處理操作；分區(qū)處理線程，用于選擇未被處理的邊緣連通區(qū)域執(zhí)行所述確定攝像頭位置信息的操作。第二方面，所述的一種實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)的裝置，包括連通區(qū)域獲取模塊，用于獲取采集到的真實(shí)圖像的一個(gè)或多個(gè)邊緣連通區(qū)域；下采樣處理模塊，用于在所述連通區(qū)域獲取模塊獲取的邊緣連通區(qū)域的覆蓋范圍符合預(yù)定要求，但圖像質(zhì)量不符合預(yù)定要求時(shí)，將所述邊緣連通區(qū)域包含的圖像進(jìn)行下采樣處理；第一攝像頭位置確定模塊，用于根據(jù)所述下采樣處理模塊下采樣處理后的邊緣連通區(qū)域包含的圖像及預(yù)先保存的采樣模板確定攝像頭位置信息；增強(qiáng)現(xiàn)實(shí)處理模塊，用于根據(jù)所述第一攝像頭位置確定模塊確定的攝像頭位置信息進(jìn)行增強(qiáng)現(xiàn)實(shí)的處理操作。在第二方面的第一種可能的實(shí)現(xiàn)方式中，該裝置還包括連通區(qū)域劃分模塊，用于在所述連通區(qū)域獲取模塊獲取采集到的真實(shí)圖像的一個(gè)或多個(gè)邊緣連通區(qū)域之前，對(duì)采集到的真實(shí)圖像的邊緣進(jìn)行二值化處理，并根據(jù)八連通原則將采集到的真實(shí)圖像劃分為一個(gè)或多個(gè)邊緣連通區(qū)域。在第二方面的第二種可能的實(shí)現(xiàn)方式中，所述覆蓋范圍符合預(yù)定要求是指所述邊緣連通區(qū)域至少存在兩條完整的直線邊緣，且通過延長(zhǎng)補(bǔ)齊的方式可以獲得完整的四邊形；所述圖像質(zhì)量不符合預(yù)定要求是指所述邊緣連通區(qū)域中的局部特征點(diǎn)的數(shù)量未達(dá)到預(yù)定的數(shù)量。結(jié)合第二方面或第二方面的第一種可能的實(shí)現(xiàn)方式或第二方面的第二種可能的實(shí)現(xiàn)方式，在第二方面的第三種可能的實(shí)現(xiàn)方式中，該裝置還包括基于精確匹配的攝像頭位置確定模塊，用于在所述的邊緣連通區(qū)域的覆蓋范圍和圖像質(zhì)量均符合預(yù)定要求時(shí)，采用精確匹配的方式確定攝像頭位置信息。結(jié)合第二方面的第三種可能的實(shí)現(xiàn)方式，在第二方面的第四種可能的實(shí)現(xiàn)方式中，所述基于精確匹配的攝像頭位置確定模塊包括統(tǒng)計(jì)匹配模塊，用于采用統(tǒng)計(jì)的方式將所述邊緣連通區(qū)域中的局部特征點(diǎn)與預(yù)定訓(xùn)練集中特征點(diǎn)進(jìn)行匹配，獲得匹配概率符合要求的局部特征點(diǎn)；合理匹配點(diǎn)確定模塊，用于根據(jù)邊緣連通區(qū)域的局部特征位置的幾何約束，在所述統(tǒng)計(jì)匹配模塊獲得的匹配概率符合要求的局部特征點(diǎn)中確定合理的匹配概率符合要求的局部特征點(diǎn)；第二攝像頭位置確定模塊，用于根據(jù)所述合理匹配點(diǎn)確定模塊確定的合理的匹配概率符合要求的局部特征點(diǎn)確定攝像頭位置信息。結(jié)合第二方面或第二方面的第一種可能的實(shí)現(xiàn)方式或第二方面的第二種可能的實(shí)現(xiàn)方式，在第二方面的第五種可能的實(shí)現(xiàn)方式中，該裝置還包括判斷模塊，用于在所述邊緣連通區(qū)域的覆蓋范圍不符合預(yù)定要求，圖像質(zhì)量符合預(yù)定要求時(shí)，判斷所述邊緣連通區(qū)域是否為目標(biāo)對(duì)象的運(yùn)動(dòng)估計(jì)區(qū)域；第三攝像頭位置確定模塊，用于在所述判斷模塊確定所述邊緣連通區(qū)域?yàn)槟繕?biāo)對(duì)象的運(yùn)動(dòng)估計(jì)區(qū)域時(shí)，采用特征點(diǎn)跟蹤的方式確定攝像頭位置信息；第四攝像頭位置確定模塊，用于在所述判斷模塊確定所述邊緣連通區(qū)域不是目標(biāo)對(duì)象的運(yùn)動(dòng)估計(jì)區(qū)域時(shí)，采用基于不變特征算子的匹配方式確定攝像頭位置信息。結(jié)合第二方面的第五種可能的實(shí)現(xiàn)方式，在第二方面的第六種可能的實(shí)現(xiàn)方式中，所述第四攝像頭位置確定模塊具體包括不變特征算子提取模塊，用于提取所述的邊緣連通區(qū)域中包含的局部特征點(diǎn)的不變特征算子；不變特征算子匹配模塊，用于將所述不變特征算子提取模塊提取的所述局部特征點(diǎn)的不變特征算子與預(yù)先保存的不變特征算子進(jìn)行匹配，根據(jù)匹配結(jié)果確定匹配成功的局部特征點(diǎn)；合理匹配點(diǎn)確定模塊，用于根據(jù)邊緣連通區(qū)域的局部特征位置的幾何約束，在所述匹配成功的局部特征點(diǎn)中確定合理的匹配成功的局部特征點(diǎn)；攝像頭位置確定子模塊，用于根據(jù)所述合理匹配點(diǎn)確定模塊確定的合理的匹配成功的局部特征點(diǎn)確定攝像頭位置信息。結(jié)合第二方面或第二方面的第一種可能的實(shí)現(xiàn)方式或第二方面的第二種可能的實(shí)現(xiàn)方式，在第二方面的第七種可能的實(shí)現(xiàn)方式中，該裝置還包括主線程處理模塊和圖像渲染線程處理模塊，或者，主線程處理模塊、圖像渲染線程處理模塊和一個(gè)或多個(gè)分區(qū)處理線程處理模塊，其中主線程處理模塊，用于選擇未被處理的邊緣連通區(qū)域執(zhí)行所述確定攝像頭位置信息的操作；圖像渲染線程處理模塊，用于對(duì)已確定攝像頭位置信息的邊緣連通區(qū)域，執(zhí)行所述增強(qiáng)現(xiàn)實(shí)的處理操作；分區(qū)處理線程處理模塊，用于選擇未被處理的邊緣連通區(qū)域執(zhí)行所述確定攝像頭位置信息的操作。結(jié)合第二方面及其上述各種可能的實(shí)現(xiàn)方式，該裝置包括數(shù)碼照相機(jī)、攜帶有攝像頭的手機(jī)、電腦。由上述本發(fā)明提供的技術(shù)方案可以看出，本發(fā)明實(shí)施例提供的技術(shù)方案可以對(duì)目標(biāo)被遮擋和殘缺的圖像的增強(qiáng)現(xiàn)實(shí)處理具有很強(qiáng)的適應(yīng)性；同時(shí)，在增強(qiáng)現(xiàn)實(shí)處理過程中對(duì)攝像頭采集到的目標(biāo)圖像的尺寸的要求也大大降低，能夠很好地適應(yīng)遠(yuǎn)距離小圖像的問題，即當(dāng)目標(biāo)遠(yuǎn)離攝像頭時(shí)，也具有很強(qiáng)的魯棒性；另外，本發(fā)明實(shí)施例還可以針對(duì)不同的圖像塊采用最優(yōu)的處理方案，以使得相應(yīng)的計(jì)算量大大減少；而且，多線程處理方案還可以進(jìn)一步提聞增強(qiáng)現(xiàn)實(shí)的處理效率。


為了更清楚地說明本發(fā)明實(shí)施例的技術(shù)方案，下面將對(duì)實(shí)施例描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域的普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他附圖。圖1為本發(fā)明實(shí)施例提供的方法的處理流程示意圖；圖2為本發(fā)明實(shí)施例提供的圖像預(yù)處理過程示意圖；圖3為本發(fā)明實(shí)施例提供的延長(zhǎng)補(bǔ)齊處理方式的示意圖；圖4為本發(fā)明實(shí)施例提供的確定攝像頭位置的第一處理過程示意圖；圖5為本發(fā)明實(shí)施例提供的確定攝像頭位置的第二處理過程示意圖；圖6為本發(fā)明實(shí)施例提供的自適應(yīng)的采樣網(wǎng)格示意圖；圖7為本發(fā)明實(shí)施例提供的采樣網(wǎng)格示意圖；圖8為本發(fā)明實(shí)施例提供的多線程處理方案的示意圖；圖9為本發(fā)明實(shí)施例提供的裝置的結(jié)構(gòu)示意圖一；
圖10為承載本發(fā)明實(shí)施例提供的增強(qiáng)現(xiàn)實(shí)方案的裝置的結(jié)構(gòu)示意圖；圖11為本發(fā)明實(shí)施例提供的裝置的結(jié)構(gòu)示意圖二。
具體實(shí)施例方式下面結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明的保護(hù)范圍。本發(fā)明實(shí)施例提供了一種增強(qiáng)現(xiàn)實(shí)的實(shí)現(xiàn)方法，其具體實(shí)現(xiàn)過程如圖1所示，可以包括以下步驟步驟11，獲取采集到的真實(shí)圖像的一個(gè)或多個(gè)邊緣連通區(qū)域；在所述獲取采集到的真實(shí)圖像的一個(gè)或多個(gè)邊緣連通區(qū)域之前還包括將采集到的真實(shí)圖像劃分為一個(gè)或多個(gè)邊緣連通區(qū)域的處理過程，該過程具體可以包括對(duì)采集到的真實(shí)圖像的邊緣進(jìn)行二值化處理，并根據(jù)八連通原則將采集到的真實(shí)圖像劃分為一個(gè)或多個(gè)邊緣連通區(qū)域；需要說明的是，連通區(qū)域是指一副圖像中連接在一起的像素。例如，在二維圖像中，假設(shè)目標(biāo)像素點(diǎn)周圍有Y個(gè)(Y小于等于8)相鄰像素，如果該像素灰度值與這Y個(gè)像素中某一個(gè)像素X的灰度值相等，稱該像素與像素X具有連通性。步驟12，若所述的邊緣連通區(qū)域的覆蓋范圍符合預(yù)定要求，但圖像質(zhì)量不符合預(yù)定要求，則將所述邊緣連通區(qū)域包含的圖像進(jìn)行下采樣處理；其中，所述覆蓋范圍符合預(yù)定要求具體可以為所述邊緣連通區(qū)域至少存在兩條完整的直線邊緣，且通過延長(zhǎng)補(bǔ)齊的方式可以獲得完整的四邊形；所述圖像質(zhì)量不符合預(yù)定要求可以為所述邊緣連通區(qū)域中的局部特征點(diǎn)的數(shù)量未達(dá)到預(yù)定的數(shù)量；步驟13，根據(jù)下采樣處理后的邊緣連通區(qū)域包含的圖像及預(yù)先保存的采樣模板確定攝像頭位置信息；具體地，相應(yīng)的采樣模板中記錄著目標(biāo)圖像的信息(目標(biāo)圖像對(duì)應(yīng)的攝像頭位置信息為已知)，將下采樣處理后的邊緣連通區(qū)域包含的圖像與采樣模板中的目標(biāo)圖像進(jìn)行歸一化的處理，確定與相應(yīng)的下采樣處理后的邊緣連通區(qū)域包含的圖像匹配的目標(biāo)對(duì)象，從而可以基于該匹配的目標(biāo)對(duì)象確定攝像頭位置信息；步驟14，在確定了攝像頭位置信息之后，便可以根據(jù)所述攝像頭位置信息很方便地進(jìn)行增強(qiáng)現(xiàn)實(shí)的處理操作。本發(fā)明實(shí)施例中，除可以對(duì)覆蓋范圍符合預(yù)定的要求但圖像質(zhì)量不符合預(yù)定要求的邊緣連通區(qū)域進(jìn)行增強(qiáng)現(xiàn)實(shí)處理外，對(duì)于其他情況的邊緣連通區(qū)域也同樣可以進(jìn)行相應(yīng)的增強(qiáng)現(xiàn)實(shí)處理，具體可以包括(一)覆蓋范圍和圖像質(zhì)量均符合預(yù)定要求的邊緣連通區(qū)域若所述的邊緣連通區(qū)域的覆蓋范圍和圖像質(zhì)量均符合預(yù)定要求，則采用精確匹配的方式確定攝像頭位置信息；具體地，相應(yīng)的采用精確匹配的方式確定攝像頭位置信息的步驟可以包括采用統(tǒng)計(jì)的方式將所述邊緣連通區(qū)域中的局部特征點(diǎn)與預(yù)定訓(xùn)練集中特征點(diǎn)進(jìn)行匹配，獲得匹配概率符合要求的局部特征點(diǎn)；根據(jù)邊緣連通區(qū)域的局部特征位置的幾何約束，在所述匹配概率符合要求的局部特征點(diǎn)中確定合理的匹配概率符合要求的局部特征點(diǎn)；根據(jù)所述合理的匹配概率符合要求的局部特征點(diǎn)確定攝像頭位置信息。(二)覆蓋范圍不符合預(yù)定的要求但圖像質(zhì)量均符合預(yù)定的要求的邊緣連通區(qū)域若所述邊緣連通區(qū)域的覆蓋范圍不符合預(yù)定要求，圖像質(zhì)量均符合預(yù)定要求，則判斷所述邊緣連通區(qū)域是否為目標(biāo)對(duì)象的運(yùn)動(dòng)估計(jì)區(qū)域；若所述邊緣連通區(qū)域?yàn)槟繕?biāo)對(duì)象的運(yùn)動(dòng)估計(jì)區(qū)域，則采用特征點(diǎn)跟蹤的方式確定攝像頭位置信息，否則，采用基于不變特征算子的匹配方式確定攝像頭位置信息。其中，相應(yīng)的基于不變特征算子的匹配方式確定攝像頭位置信息的步驟具體可以但不限于包括首先，提取所述的邊緣連通區(qū)域中包含的局部特征點(diǎn)的不變特征算子；之后，將提取的所述局部特征點(diǎn)的不變特征算子與預(yù)先保存的不變特征算子進(jìn)行匹配，根據(jù)匹配結(jié)果確定匹配成功的局部特征點(diǎn)；接著，再根據(jù)邊緣連通區(qū)域的局部特征位置的幾何約束，在所述匹配成功的局部特征點(diǎn)中確定合理的匹配成功的局部特征點(diǎn)；最后，便可以根據(jù)所述合理的匹配成功的局部特征點(diǎn)確定攝像頭位置信息了。(三)覆蓋范圍和圖像質(zhì)量均不符合預(yù)定的要求的邊緣連通區(qū)域若所述的邊緣連通區(qū)域的覆蓋范圍和圖像質(zhì)量均不符合預(yù)定要求，則無(wú)法確定攝像頭位置信息。本發(fā)明實(shí)施例中，為了提高相應(yīng)的執(zhí)行增加現(xiàn)實(shí)處理過程的效率，還可以包括主線程和圖像渲染線程，或者，主線程、圖像渲染線程和一個(gè)或多個(gè)分區(qū)處理線程，其中主線程，用于選擇未被處理的邊緣連通區(qū)域執(zhí)行所述確定攝像頭位置信息的操作；圖像渲染線程，用于對(duì)已確定攝像頭位置信息的邊緣連通區(qū)域，執(zhí)行所述增強(qiáng)現(xiàn)實(shí)的處理操作；分區(qū)處理線程，用于選擇未被處理的邊緣連通區(qū)域執(zhí)行所述確定攝像頭位置信息的操作，這樣，當(dāng)所述采集到的真實(shí)圖像包含多個(gè)邊緣連通區(qū)域時(shí)，可以同時(shí)執(zhí)行根據(jù)每個(gè)邊緣連通區(qū)域分別確定對(duì)應(yīng)的攝像頭位置信息的處理過程。本發(fā)明實(shí)施例提供的技術(shù)方案可以對(duì)目標(biāo)被遮擋和殘缺具有很強(qiáng)的適應(yīng)性。而且，能夠?qū)z像頭采集到的目標(biāo)尺寸要求降低，即當(dāng)目標(biāo)遠(yuǎn)離攝像頭時(shí)，也具有很強(qiáng)的魯棒性。同時(shí)，本發(fā)明實(shí)施例提供的技術(shù)方案相對(duì)于現(xiàn)有技術(shù)中的Marker-less AR方案的計(jì)算量大大減少。為便于對(duì)本發(fā)明的理解，下面將結(jié)合附圖對(duì)本發(fā)明的具體實(shí)施例做進(jìn)一步說明。本發(fā)明在具體實(shí)現(xiàn)過程中，可以包括針對(duì)采集到的圖像執(zhí)行相應(yīng)的圖像預(yù)處理過程，以及基于預(yù)處理后的圖像確定攝像頭位置信息的第一處理過程和第二處理過程示意圖；之后，便可以根據(jù)確定的攝像頭位置信息進(jìn)行增加現(xiàn)實(shí)的處理。下面將結(jié)合附圖分別對(duì)各個(gè)處理過程的具體實(shí)現(xiàn)方式進(jìn)行描述。(一)圖像預(yù)處理過程為了解決增強(qiáng)現(xiàn)實(shí)的處理過程中計(jì)算量大的目的，本發(fā)明實(shí)施例中需要對(duì)采集到的視頻圖像進(jìn)行預(yù)處理。
如圖2所示，相應(yīng)的圖像預(yù)處理過程可以包括以下步驟步驟21，對(duì)圖像進(jìn)行自適應(yīng)的邊緣檢測(cè)，相應(yīng)的邊緣檢測(cè)算法可以是基于當(dāng)前圖像和高斯模糊圖像的差值取閾值方式，也可以為其他類似的邊緣檢測(cè)方式；步驟22，對(duì)圖像的邊緣進(jìn)行二值化處理，從而獲得邊緣的二值圖像，具體地，還可以對(duì)二值圖像進(jìn)行必要的形態(tài)學(xué)處理，采用膨脹、腐蝕運(yùn)算，增強(qiáng)邊緣圖像的連通性；步驟23，根據(jù)八連通原則，獲得該采集到的圖像對(duì)應(yīng)的一個(gè)或多個(gè)邊緣連通區(qū)域，并檢測(cè)符合條件的邊緣連通區(qū)域，即濾除區(qū)域面積過小的邊緣連通區(qū)域；步驟24，在獲得的符合條件的邊緣連通區(qū)域中，對(duì)某些邊緣連通區(qū)域進(jìn)行拓展處理，如果通過拓展處理能夠獲得完整的四邊形，則該四邊形區(qū)域(即該邊緣連通區(qū)域)為目標(biāo)存在的強(qiáng)可能性區(qū)域，表示該邊緣連通區(qū)域的邊緣清晰，有可能能夠采用跟蹤的方式確定攝像頭位置信息，反之，如果通過拓展處理無(wú)法獲得完整的四邊形，則該邊緣連通區(qū)域稱為非強(qiáng)可能性區(qū)域；具體地拓展方式可以包括對(duì)于至少存在完整的兩條直線邊緣的邊緣連通區(qū)域，可以通過延長(zhǎng)補(bǔ)齊的方式進(jìn)行拓展，例如，如圖3所示，對(duì)該邊緣連通區(qū)域的另兩條邊進(jìn)行延長(zhǎng)補(bǔ)齊，以確定是否可以獲得一個(gè)完整的四邊形；步驟25，檢查各個(gè)可能的四邊形的邊緣連通區(qū)域的類型，以便于后續(xù)處理過程中可以根據(jù)不同的類型采用不同的方式進(jìn)行攝像頭位置信息的確定；具體地，在對(duì)采集到的圖像進(jìn)行上述處理之后，便可以根據(jù)每個(gè)邊緣連通區(qū)域的不同類型分別采用不同的處理方式確定相應(yīng)的攝像頭位置信息，其中對(duì)于類型為非強(qiáng)可能性區(qū)域的邊緣連通區(qū)域，可以采用確定攝像頭位置的第一處理過程進(jìn)行攝像頭位置信息的確定，即基于不變特征識(shí)別、跟蹤的方式確定攝像頭位置信息；對(duì)于類型為強(qiáng)可能性區(qū)域的邊緣連通區(qū)域，可以采用確定攝像頭位置的第二處理過程進(jìn)行攝像頭位置信息的確定，即基于單應(yīng)矩陣控制的強(qiáng)自適應(yīng)性識(shí)別、跟蹤的方式確定攝像頭位置信息。(二)基于預(yù)處理后的圖像確定攝像頭位置的第一處理過程對(duì)于類型為非強(qiáng)可能性區(qū)域的邊緣連通區(qū)域，該第一處理過程中具體采用了基于不變特征識(shí)別、跟蹤的處理方式確定攝像頭位置信息；具體地，如圖4所示，可以包括以下步驟步驟41，檢測(cè)邊緣連通區(qū)域內(nèi)的局部特征點(diǎn)；相應(yīng)的局部特征點(diǎn)是指邊緣連通區(qū)域內(nèi)的拐角點(diǎn)，由于邊緣連通區(qū)域外的拐角點(diǎn)作為確定攝像頭位置信息的目標(biāo)對(duì)象的可能性不大，故僅檢測(cè)邊緣連通區(qū)域內(nèi)的拐角點(diǎn)，從而可以減少確定攝像頭位置信息的過程中的計(jì)算量；也就是說，在增強(qiáng)現(xiàn)實(shí)的處理過程中，局部特征點(diǎn)的不變征算子的提取和匹配是計(jì)算量較大的算法。通常米用FAST (Features from Accelerated Segment Test)檢測(cè)響應(yīng)(Response)大于預(yù)設(shè)值的拐角點(diǎn)(Corner Point),并計(jì)算每個(gè)拐角點(diǎn)的特征算子(如改進(jìn)計(jì)算量的SIFT，SURF算子等)，之后，再將實(shí)時(shí)檢測(cè)的特征算子與數(shù)據(jù)庫(kù)中的特征算子進(jìn)行匹配，接著對(duì)于存在錯(cuò)誤的匹配，還需要使用PROSAC算法進(jìn)行處理，以得到最合理的匹配集合?？梢娤鄳?yīng)的處理過程比較煩瑣，計(jì)算量較大，因此，為了降低計(jì)算量，本發(fā)明實(shí)施例中采用了只檢測(cè)邊緣連通區(qū)域內(nèi)的拐角點(diǎn)的實(shí)現(xiàn)方式以減少不必要的特征算子計(jì)算，減少進(jìn)行匹配的次數(shù)，提高匹配的正確概率，以及減少PROSAC試探計(jì)算的次數(shù)；步驟42，完成檢測(cè)當(dāng)前邊緣連通區(qū)域內(nèi)的拐角點(diǎn)后，判斷邊緣連通區(qū)域內(nèi)的局部特征點(diǎn)數(shù)是否足夠，即是否大于設(shè)定的數(shù)量閾值，如果是，則執(zhí)行步驟43，否則，表示在該非強(qiáng)可能性區(qū)域的邊緣連通區(qū)域內(nèi)局部特征點(diǎn)的個(gè)數(shù)不足以保證后續(xù)計(jì)算的準(zhǔn)確性，即無(wú)法準(zhǔn)確確定攝像頭位置信息，提前返回(結(jié)束針對(duì)本邊緣連通區(qū)域的處理)。步驟43，若邊緣連通區(qū)域的局部特征點(diǎn)數(shù)足夠，即大于設(shè)定的數(shù)量閾值時(shí)，則繼續(xù)檢查該邊緣連通區(qū)域是否被已檢測(cè)到的對(duì)象(即目標(biāo)對(duì)象)的運(yùn)動(dòng)估計(jì)區(qū)域大部分覆蓋，即判斷該邊緣連通區(qū)域是否為目標(biāo)對(duì)象的運(yùn)動(dòng)估計(jì)區(qū)域，以進(jìn)一步確定該邊緣連通區(qū)域是否能夠可靠地作為確定攝像頭位置信息的依據(jù)，如果是，則執(zhí)行步驟44，否則，執(zhí)行步驟45 ；步驟44，執(zhí)行跟蹤計(jì)算處理，即對(duì)該邊緣連通區(qū)域中的局部特征點(diǎn)進(jìn)行跟蹤，并執(zhí)行步驟48 ；步驟45，提取邊緣連通區(qū)域中的局部特征點(diǎn)的不變特征算子；步驟46，將提取的局部特征點(diǎn)的不變特征算子與已有的不變特征算子數(shù)據(jù)庫(kù)中的不變特征算子進(jìn)行匹配，獲得匹配結(jié)果，即獲得不變特征算子匹配成功的局部特征點(diǎn)；步驟47，對(duì)于匹配結(jié)果，繼續(xù)采用PROSAC算法去除不合理的匹配結(jié)果，獲得合理的匹配結(jié)果，即獲得合理的匹配的局部特征點(diǎn)，并執(zhí)行步驟48 ；步驟48，判斷步驟44跟蹤到的局部特征點(diǎn)是否大于預(yù)定的閾值，如果是，則執(zhí)行步驟49，否則，無(wú)法確定攝像頭位置信息，處理過程結(jié)束；以及，判斷步驟47獲得的合理的匹配結(jié)果中的局部特征點(diǎn)是否大于預(yù)設(shè)的閾值，如果是，則執(zhí)行步驟49，否則，無(wú)法確定攝像頭位置信息，處理過程結(jié)束；步驟49，根據(jù)跟蹤到的局部特征點(diǎn)估計(jì)確定攝像頭位置信息，或者，根據(jù)合理的匹配的局部特征點(diǎn)估計(jì)確定攝像頭位置信息。通過上述過程可以在能夠可靠地確定攝像頭位置信息的前提下，大大降低處理過程中的計(jì)算量，從而提高處理效率。(三)基于預(yù)處理后的圖像確定攝像頭位置的第二處理過程對(duì)于類型為強(qiáng)可能性區(qū)域的邊緣連通區(qū)域，在該第二處理過程中，采用的為基于單應(yīng)矩陣控制的強(qiáng)自適應(yīng)性識(shí)別、跟蹤的處理方式確定攝像頭位置信息；具體地，如圖5所示，可以包括以下步驟步驟50，計(jì)算邊緣連通區(qū)域的單應(yīng)矩陣，并檢測(cè)連通區(qū)域內(nèi)的局部特征點(diǎn)，以便于后續(xù)處理過程中可以根據(jù)檢測(cè)的局部特征點(diǎn)的數(shù)目是否大于閾值(即局部特征點(diǎn)的數(shù)目是否足夠)，而執(zhí)行不同的處理方式；在強(qiáng)可能性區(qū)域中，邊緣連通區(qū)域?qū)?yīng)的四邊形的四個(gè)頂點(diǎn)已經(jīng)被檢測(cè)得到，且這四個(gè)頂點(diǎn)和目標(biāo)對(duì)象之間存在四種可能對(duì)應(yīng)關(guān)系的單應(yīng)矩陣，該單應(yīng)矩陣用于表示該邊緣連通區(qū)域與預(yù)定的圖像之間的對(duì)應(yīng)關(guān)系，該預(yù)定的圖像即為后續(xù)構(gòu)造相應(yīng)的訓(xùn)練集是應(yīng)用的圖像；步驟51，判斷檢測(cè)到的局部特征點(diǎn)的數(shù)目是否足夠，如果足夠，則采用統(tǒng)計(jì)分類的方式進(jìn)行局部特征點(diǎn)的分類匹配，即執(zhí)行步驟52，否則，執(zhí)行步驟58 ；步驟52，在檢測(cè)到的局部特征點(diǎn)個(gè)數(shù)足夠時(shí)，則選擇適合當(dāng)前邊緣連通區(qū)域攝像頭位置的訓(xùn)練集，相應(yīng)的訓(xùn)練集可以通過離線訓(xùn)練的方式建立；
步驟53，采用統(tǒng)計(jì)的方式在選定的中進(jìn)行局部特征點(diǎn)的匹配操作；上述步驟52、53的處理過程,具體可以通過隨機(jī)蕨(Random Ferns)的方法實(shí)現(xiàn)，即可以采用隨機(jī)蕨的方法快速識(shí)別出匹配的局部特征點(diǎn)；在通過隨機(jī)蕨的方法識(shí)別局部特征點(diǎn)的過程中，需要保存根據(jù)預(yù)定的圖像構(gòu)建的訓(xùn)練集的數(shù)據(jù)庫(kù)；通常隨機(jī)蕨的可以分成M個(gè)大小為S的子蕨，此時(shí)，相應(yīng)的數(shù)據(jù)庫(kù)的大小將正比于M · 2s，依據(jù)該公式的單個(gè)圖像數(shù)據(jù)庫(kù)可達(dá)到32Mb ;為降低對(duì)移動(dòng)終端等設(shè)備的內(nèi)存占用，且保證數(shù)據(jù)庫(kù)支持多個(gè)對(duì)象(即支持保存基于多個(gè)不同的攝像頭位置對(duì)應(yīng)的圖像分別構(gòu)建的多個(gè)訓(xùn)練集)，則必須通過減小S的方式來減小數(shù)據(jù)庫(kù)內(nèi)存空間占用量；減小S會(huì)降低識(shí)別率，為了提高識(shí)別率，在離線訓(xùn)練建立訓(xùn)練集的過程中，對(duì)需要仿射變換的訓(xùn)練樣本(該訓(xùn)練樣本來自于預(yù)定的圖像，且該預(yù)定的圖像為預(yù)先獲得的體現(xiàn)出攝像頭位置信息的標(biāo)準(zhǔn)圖像)可以按照仿射矩陣
權(quán)利要求
1.一種實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)的方法，其特征在于，包括獲取采集到的真實(shí)圖像的一個(gè)或多個(gè)邊緣連通區(qū)域；若所述的邊緣連通區(qū)域的覆蓋范圍符合預(yù)定要求，但圖像質(zhì)量不符合預(yù)定要求，則將所述邊緣連通區(qū)域包含的圖像進(jìn)行下采樣處理；根據(jù)下采樣處理后的邊緣連通區(qū)域包含的圖像及預(yù)先保存的采樣模板確定攝像頭位置信息；根據(jù)所述攝像頭位置信息進(jìn)行增強(qiáng)現(xiàn)實(shí)的處理操作。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取采集到的真實(shí)圖像的一個(gè)或多個(gè)邊緣連通區(qū)域之前還包括對(duì)采集到的真實(shí)圖像的邊緣進(jìn)行二值化處理，并根據(jù)八連通原則將采集到的真實(shí)圖像劃分為一個(gè)或多個(gè)邊緣連通區(qū)域。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述覆蓋范圍符合預(yù)定要求是指所述邊緣連通區(qū)域至少存在兩條完整的直線邊緣，且通過延長(zhǎng)補(bǔ)齊的方式可以獲得完整的四邊形；所述圖像質(zhì)量不符合預(yù)定要求是指所述邊緣連通區(qū)域中的局部特征點(diǎn)的數(shù)量未達(dá)到預(yù)定的數(shù)量。
4.根據(jù)權(quán)利要求1、2或3所述的方法，其特征在于，該方法還包括若所述的邊緣連通區(qū)域的覆蓋范圍和圖像質(zhì)量均符合預(yù)定要求，則采用精確匹配的方式確定攝像頭位置信息。
5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述采用精確匹配的方式確定攝像頭位置信息的步驟包括采用統(tǒng)計(jì)的方式將所述邊緣連通區(qū)域中的局部特征點(diǎn)與預(yù)定訓(xùn)練集中特征點(diǎn)進(jìn)行匹配，獲得匹配概率符合要求的局部特征點(diǎn)；根據(jù)邊緣連通區(qū)域的局部特征位置的幾何約束，在所述匹配概率符合要求的局部特征點(diǎn)中確定合理的匹配概率符合要求的局部特征點(diǎn)；根據(jù)所述合理的匹配概率符合要求的局部特征點(diǎn)確定攝像頭位置信息。
6.根據(jù)權(quán)利要求1、2或3所述的方法，其特征在于，該方法還包括若所述邊緣連通區(qū)域的覆蓋范圍不符合預(yù)定要求，圖像質(zhì)量符合預(yù)定要求，則判斷所述邊緣連通區(qū)域是否為目標(biāo)對(duì)象的運(yùn)動(dòng)估計(jì)區(qū)域；若所述邊緣連通區(qū)域?yàn)槟繕?biāo)對(duì)象的運(yùn)動(dòng)估計(jì)區(qū)域，則采用特征點(diǎn)跟蹤的方式確定攝像頭位置信息，否則，采用基于不變特征算子的匹配方式確定攝像頭位置信息。
7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述基于不變特征算子的匹配方式確定攝像頭位置信息的步驟包括提取所述的邊緣連通區(qū)域中包含的局部特征點(diǎn)；將提取的所述局部特征點(diǎn)與預(yù)先保存的不變特征算子進(jìn)行匹配，根據(jù)匹配結(jié)果確定匹配成功的局部特征點(diǎn)；根據(jù)邊緣連通區(qū)域的局部特征位置的幾何約束，在所述匹配成功的局部特征點(diǎn)中確定合理的匹配成功的局部特征點(diǎn)；根據(jù)所述合理的匹配成功的局部特征點(diǎn)確定攝像頭位置信息。
8.根據(jù)權(quán)利要求1、2或3所述的方法，其特征在于，該方法還包括若所述的邊緣連通區(qū)域的覆蓋范圍和圖像質(zhì)量均不符合預(yù)定要求，則無(wú)法確定攝像頭位置信息。
9.根據(jù)權(quán)利要求1、2或3所述的方法，其特征在于，該方法還包括主線程和圖像渲染線程，或者，主線程、圖像渲染線程和一個(gè)或多個(gè)分區(qū)處理線程，其中主線程，用于選擇未被處理的邊緣連通區(qū)域執(zhí)行所述確定攝像頭位置信息的操作；圖像渲染線程，用于對(duì)已確定攝像頭位置信息的邊緣連通區(qū)域，執(zhí)行所述增強(qiáng)現(xiàn)實(shí)的處理操作；分區(qū)處理線程，用于選擇未被處理的邊緣連通區(qū)域執(zhí)行所述確定攝像頭位置信息的操作。
10.一種實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)的裝置，其特征在于，包括連通區(qū)域獲取模塊，用于獲取采集到的真實(shí)圖像的一個(gè)或多個(gè)邊緣連通區(qū)域；下采樣處理模塊，用于在所述連通區(qū)域獲取模塊獲取的邊緣連通區(qū)域的覆蓋范圍符合預(yù)定要求，但圖像質(zhì)量不符合預(yù)定要求時(shí)，將所述邊緣連通區(qū)域包含的圖像進(jìn)行下采樣處理；第一攝像頭位置確定模塊，用于根據(jù)所述下采樣處理模塊下采樣處理后的邊緣連通區(qū)域包含的圖像及預(yù)先保存的采樣模板確定攝像頭位置信息；增強(qiáng)現(xiàn)實(shí)處理模塊，用于根據(jù)所述第一攝像頭位置確定模塊確定的攝像頭位置信息進(jìn)行增強(qiáng)現(xiàn)實(shí)的處理操作。
11.根據(jù)權(quán)利要求10所述的裝置，其特征在于，該裝置還包括連通區(qū)域劃分模塊，用于在所述連通區(qū)域獲取模塊獲取采集到的真實(shí)圖像的一個(gè)或多個(gè)邊緣連通區(qū)域之前，對(duì)采集到的真實(shí)圖像的邊緣進(jìn)行二值化處理，并根據(jù)八連通原則將采集到的真實(shí)圖像劃分為一個(gè)或多個(gè)邊緣連通區(qū)域。
12.根據(jù)權(quán)利要求10所述的裝置，其特征在于，所述覆蓋范圍符合預(yù)定要求是指所述邊緣連通區(qū)域至少存在兩條完整的直線邊緣，且通過延長(zhǎng)補(bǔ)齊的方式可以獲得完整的四邊形；所述圖像質(zhì)量不符合預(yù)定要求是指所述邊緣連通區(qū)域中的局部特征點(diǎn)的數(shù)量未達(dá)到預(yù)定的數(shù)量。
13.根據(jù)權(quán)利要求10、11或12所述的裝置，其特征在于，該裝置還包括基于精確匹配的攝像頭位置確定模塊，用于在所述的邊緣連通區(qū)域的覆蓋范圍和圖像質(zhì)量均符合預(yù)定要求時(shí)，采用精確匹配的方式確定攝像頭位置信息。
14.根據(jù)權(quán)利要求13所述的裝置，其特征在于，所述基于精確匹配的攝像頭位置確定模塊包括統(tǒng)計(jì)匹配模塊，用于采用統(tǒng)計(jì)的方式將所述邊緣連通區(qū)域中的局部特征點(diǎn)與預(yù)定訓(xùn)練集中特征點(diǎn)進(jìn)行匹配，獲得匹配概率符合要求的局部特征點(diǎn)；合理匹配點(diǎn)確定模塊，用于根據(jù)邊緣連通區(qū)域的局部特征位置的幾何約束，在所述統(tǒng)計(jì)匹配模塊獲得的匹配概率符合要求的局部特征點(diǎn)中確定合理的匹配概率符合要求的局部特征點(diǎn)；第二攝像頭位置確定模塊，用于根據(jù)所述合理匹配點(diǎn)確定模塊確定的合理的匹配概率符合要求的局部特征點(diǎn)確定攝像頭位置信息。
15.根據(jù)權(quán)利要求10、11或12所述的裝置，其特征在于，該裝置還包括判斷模塊，用于在所述邊緣連通區(qū)域的覆蓋范圍不符合預(yù)定要求，圖像質(zhì)量符合預(yù)定要求時(shí)，判斷所述邊緣連通區(qū)域是否為目標(biāo)對(duì)象的運(yùn)動(dòng)估計(jì)區(qū)域；第三攝像頭位置確定模塊，用于在所述判斷模塊確定所述邊緣連通區(qū)域?yàn)槟繕?biāo)對(duì)象的運(yùn)動(dòng)估計(jì)區(qū)域時(shí)，采用特征點(diǎn)跟蹤的方式確定攝像頭位置信息；第四攝像頭位置確定模塊，用于在所述判斷模塊確定所述邊緣連通區(qū)域不是目標(biāo)對(duì)象的運(yùn)動(dòng)估計(jì)區(qū)域時(shí)，采用基于不變特征算子的匹配方式確定攝像頭位置信息。
16.根據(jù)權(quán)利要求15所述的裝置，其特征在于，所述第四攝像頭位置確定模塊具體包括不變特征算子提取模塊，用于提取所述的邊緣連通區(qū)域中包含的局部特征點(diǎn)的不變特征算子；不變特征算子匹配模塊，用于將所述不變特征算子提取模塊提取的所述局部特征點(diǎn)的不變特征算子與預(yù)先保存的不變特征算子進(jìn)行匹配，根據(jù)匹配結(jié)果確定匹配成功的局部特征點(diǎn)；合理匹配點(diǎn)確定模塊，用于根據(jù)邊緣連通區(qū)域的局部特征位置的幾何約束，在所述匹配成功的局部特征點(diǎn)中確定合理的匹配成功的局部特征點(diǎn)；攝像頭位置確定子模塊，用于根據(jù)所述合理匹配點(diǎn)確定模塊確定的合理的匹配成功的局部特征點(diǎn)確定攝像頭位置信息。
17.根據(jù)權(quán)利要求10、11或12所述的裝置，其特征在于，該裝置還包括主線程處理模塊和圖像渲染線程處理模塊，或者，主線程處理模塊、圖像渲染線程處理模塊和一個(gè)或多個(gè)分區(qū)處理線程處理模塊，其中主線程處理模塊，用于選擇未被處理的邊緣連通區(qū)域執(zhí)行所述確定攝像頭位置信息的操作；圖像渲染線程處理模塊，用于對(duì)已確定攝像頭位置信息的邊緣連通區(qū)域，執(zhí)行所述增強(qiáng)現(xiàn)實(shí)的處理操作；分區(qū)處理線程處理模塊，用于選擇未被處理的邊緣連通區(qū)域執(zhí)行所述確定攝像頭位置信息的操作。
18.根據(jù)權(quán)利要求10 17任一項(xiàng)所述的裝置，其特征在于，所述裝置包括數(shù)碼照相機(jī)、攜帶有攝像頭的手機(jī)、電腦。
全文摘要
本發(fā)明公開了一種實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)的方法及裝置，包括獲取采集到的真實(shí)圖像的一個(gè)或多個(gè)邊緣連通區(qū)域；若所述的邊緣連通區(qū)域的覆蓋范圍符合預(yù)定要求，但圖像質(zhì)量不符合預(yù)定要求，則將所述邊緣連通區(qū)域包含的圖像進(jìn)行下采樣處理；根據(jù)下采樣處理后的邊緣連通區(qū)域包含的圖像及預(yù)先保存的采樣模板確定攝像頭位置信息；根據(jù)所述攝像頭位置信息進(jìn)行增強(qiáng)現(xiàn)實(shí)的處理操作。本發(fā)明實(shí)施例的實(shí)現(xiàn)可以有效降低增強(qiáng)現(xiàn)實(shí)處理過程中的計(jì)算量，并可以保證增強(qiáng)現(xiàn)實(shí)的處理效果。
文檔編號(hào)G06T11/00GK103035003SQ20121053204
公開日2013年4月10日 申請(qǐng)日期2012年12月11日 優(yōu)先權(quán)日2012年12月11日
發(fā)明者柳海波, 史舒娟 申請(qǐng)人:華為技術(shù)有限公司