本申請涉及增強現(xiàn)實
技術(shù)領(lǐng)域：
，具體涉及一種交互遮擋過濾系統(tǒng)和方法。
背景技術(shù)：
：增強現(xiàn)實(AugmentedReality，簡稱AR)是通過運動相機或可穿戴顯示裝置的實時連續(xù)標(biāo)定，將三維虛擬對象穩(wěn)定一致地投影到用戶視口中,達到“實中有虛”的表現(xiàn)效果。因此AR除了要求解決顯示技術(shù)(例如全息投影、透明顯示等)的問題之外，還需要注重于感知技術(shù)，即位置追蹤技術(shù)。因為，AR只有通過感知周圍現(xiàn)實世界，才能獲知虛擬圖像應(yīng)當(dāng)疊加到現(xiàn)實世界的哪個具體位置。目前通常采用即時定位與地圖構(gòu)建算法(SimultaneousLocalizationAndMapping，簡稱SLAM)解決這一類問題。交互技術(shù)是增強現(xiàn)實系統(tǒng)中與顯示技術(shù)和感知技術(shù)密切相關(guān)的技術(shù)，滿足了人們在虛擬和現(xiàn)實世界自然交互的愿望。在早期的AR研究中，研究重點主要集中于跟蹤、注冊和顯示，只是簡單地將虛擬物體疊加在真實場景內(nèi)，并通過顯示設(shè)備觀看虛實效果，沒有太多與外界的交互。但是隨著計算機性能的提高，顯示設(shè)備的微型化、便攜化，僅進行“顯示”的增強場景不再能滿足用戶的需求，從而促使多種交互技術(shù)在AR系統(tǒng)中應(yīng)用發(fā)展，如利用語音識別技術(shù)、手勢和人體姿態(tài)識別技術(shù)進行交互等。手在人類生活中具有極其重要的地位，被用來認(rèn)識、了解、改造周圍的環(huán)境。如果能直接使用手與虛擬世界或增強的現(xiàn)實世界進行交互，將日常生活中獲得的經(jīng)驗直接運用到交互活動中，則可以充分提高可操作性，并完成更復(fù)雜的任務(wù)，手勢識別交互就由此誕生，基于手勢的交互技術(shù)在交互過程的具有自然、靈巧和適應(yīng)性強等優(yōu)點。增強現(xiàn)實技術(shù)本身作為一種新型的人機交互接口，基于手勢識別的人機交互可為增強現(xiàn)實系統(tǒng)帶來更廣泛的應(yīng)用。但是在一個完整的增強系統(tǒng)中，實時的手勢交互乃至于人體姿態(tài)等不同部位的交互必然會對位置追蹤帶來干擾。以手勢為例：手勢的交互會導(dǎo)致動態(tài)場景的產(chǎn)生，使得增強現(xiàn)實中獲取的場景圖像產(chǎn)生動態(tài)變化，進而影響了增強現(xiàn)實中姿態(tài)的準(zhǔn)確估計；同時，當(dāng)前主流增強現(xiàn)實設(shè)備(inside-out方式)以頭戴式為主，因此在實現(xiàn)AR的過程中進行手勢交互時，由于手部距頭部太近而容易導(dǎo)致出現(xiàn)大面積遮擋，進而導(dǎo)致基于視覺的增強現(xiàn)實算法失敗；此外，當(dāng)前雖然已有一些動態(tài)場景的分割算法，但都需要在獲取的圖像中進行反復(fù)的迭代，以消除手勢等動態(tài)場景對跟蹤的穩(wěn)定性影響，該類反復(fù)迭代的算法需要進行大量的圖像計算，超出了當(dāng)前移動端的實時處理能力。技術(shù)實現(xiàn)要素：鑒于現(xiàn)有技術(shù)中的上述缺陷或不足，期望提供一種無需反復(fù)迭代圖像即可過濾圖像中的動態(tài)交互部位所造成遮擋的交互遮擋過濾系統(tǒng)和方法。第一方面，本發(fā)明提供一種交互遮擋過濾系統(tǒng)，所述系統(tǒng)包括：圖像信息采集單元，用于采集當(dāng)前場景的圖像信息；深度信息采集單元，用于采集當(dāng)前場景的深度信息；過濾單元，用于設(shè)定所述圖像信息采集單元和所述深度信息采集單元之間的坐標(biāo)轉(zhuǎn)換關(guān)系，識別所述深度信息中進行動態(tài)交互的部位的三維輪廓，根據(jù)所述坐標(biāo)轉(zhuǎn)換關(guān)系將所述三維輪廓轉(zhuǎn)換成圖像輪廓，在所述圖像信息中過濾所述圖像輪廓內(nèi)的圖像以生成穩(wěn)定圖像信息。其中，所述圖像信息采集單元的采集范圍不小于所述深度信息采集單元。第二方面，本發(fā)明提供一種包括上述交互遮擋過濾系統(tǒng)的增強現(xiàn)實系統(tǒng)，所述增強現(xiàn)實系統(tǒng)以所述穩(wěn)定圖像信息作為圖像輸入源，根據(jù)所述圖像輸入源進行特征檢測和姿態(tài)估計跟蹤。第三方面，本發(fā)明提供一種交互遮擋過濾方法，所述方法包括：設(shè)定圖像信息采集單元和深度信息采集單元之間的坐標(biāo)轉(zhuǎn)換關(guān)系；所述圖像信息采集單元和所述深度信息采集單元分別采集當(dāng)前場景的圖像信息和深度信息；識別所述深度信息中進行動態(tài)交互的部位的三維輪廓；根據(jù)所述坐標(biāo)轉(zhuǎn)換關(guān)系將所述三維輪廓轉(zhuǎn)換成圖像輪廓；在所述圖像信息中過濾所述圖像輪廓內(nèi)的圖像以生成穩(wěn)定圖像信息。其中，所述圖像信息采集單元的采集范圍不小于所述深度信息采集單元。本發(fā)明諸多實施例提供的交互遮擋過濾系統(tǒng)和方法通過設(shè)定圖像信息采集單元和深度信息采集單元之間的坐標(biāo)轉(zhuǎn)換關(guān)系，將深度信息中所識別出的三維輪廓轉(zhuǎn)換成圖像輪廓，再在圖像信息中過濾圖像輪廓內(nèi)的圖像以生成穩(wěn)定圖像信息，實現(xiàn)了過濾圖像中的動態(tài)交互部位所造成的遮擋，在避免增強現(xiàn)實算法因大面積遮擋而失敗的同時提高了姿態(tài)估計的準(zhǔn)確性，同時還因無需反復(fù)迭代圖像而無需進行大量圖像計算，未超出當(dāng)前主流移動端的實時處理能力，具有適用范圍廣的優(yōu)點。附圖說明通過閱讀參照以下附圖所作的對非限制性實施例所作的詳細描述，本申請的其它特征、目的和優(yōu)點將會變得更明顯：圖1為本發(fā)明一實施例中交互遮擋過濾系統(tǒng)的結(jié)構(gòu)示意圖。圖2為本發(fā)明一實施例中交互遮擋過濾方法的流程圖。圖3為圖1所示系統(tǒng)的一種優(yōu)選實施方式的結(jié)構(gòu)示意圖。圖4為圖3所示系統(tǒng)的一種優(yōu)選實施方式的結(jié)構(gòu)示意圖。圖5為圖2所示方法中步驟S10的流程圖。圖6為圖5所示步驟S10的一種優(yōu)選實施方式的流程圖。圖7為圖2所示方法中步驟S50的流程圖。圖8為圖2所示方法中步驟S70的流程圖。具體實施方式下面結(jié)合附圖和實施例對本申請作進一步的詳細說明?？梢岳斫獾氖牵颂幩枋龅木唧w實施例僅僅用于解釋相關(guān)發(fā)明，而非對該發(fā)明的限定。另外還需要說明的是，為了便于描述，附圖中僅示出了與發(fā)明相關(guān)的部分。需要說明的是，在不沖突的情況下，本申請中的實施例及實施例中的特征可以相互組合。下面將參考附圖并結(jié)合實施例來詳細說明本申請。圖1為本發(fā)明一實施例中交互遮擋過濾系統(tǒng)的結(jié)構(gòu)示意圖。如圖1所示，在本實施例中，本發(fā)明提供的交互遮擋過濾系統(tǒng)包括圖像信息采集單元10、深度信息采集單元30和過濾單元50。其中，圖像信息采集單元10用于采集當(dāng)前場景的圖像信息，深度信息采集單元30用于采集當(dāng)前場景的深度信息。過濾單元50用于設(shè)定圖像信息采集單元10和深度信息采集單元30之間的坐標(biāo)轉(zhuǎn)換關(guān)系，識別所述深度信息中進行動態(tài)交互的部位的三維輪廓，根據(jù)所述坐標(biāo)轉(zhuǎn)換關(guān)系將所述三維輪廓轉(zhuǎn)換成圖像輪廓，在所述圖像信息中過濾所述圖像輪廓內(nèi)的圖像以生成穩(wěn)定圖像信息。其中，圖像信息采集單元10的采集范圍不小于深度信息采集單元30。圖2為本發(fā)明一實施例中交互遮擋過濾方法的流程圖。圖2所示的交互遮擋過濾方法可對應(yīng)應(yīng)用于圖1所示的系統(tǒng)中。如圖2所示，在本實施例中，本發(fā)明提供的交互遮擋過濾方法包括：S10：設(shè)定圖像信息采集單元和深度信息采集單元之間的坐標(biāo)轉(zhuǎn)換關(guān)系；S30：所述圖像信息采集單元和所述深度信息采集單元分別采集當(dāng)前場景的圖像信息和深度信息；S50：識別所述深度信息中進行動態(tài)交互的部位的三維輪廓；S70：根據(jù)所述坐標(biāo)轉(zhuǎn)換關(guān)系將所述三維輪廓轉(zhuǎn)換成圖像輪廓；S90：在所述圖像信息中過濾所述圖像輪廓內(nèi)的圖像以生成穩(wěn)定圖像信息。其中，所述圖像信息采集單元的采集范圍不小于所述深度信息采集單元。具體地，在本實施例中，所述進行動態(tài)交互的部位為手部，即通過手勢進行動態(tài)交互。在更多實施例中，可根據(jù)實際需求在過濾單元50中預(yù)存不同部位乃至部件的識別知識，以對不同的進行動態(tài)交互的部位乃至部件進行識別，具有相同的技術(shù)效果。在步驟S10中，過濾單元50分別設(shè)定定義于圖像信息采集單元10的采集視點的第一坐標(biāo)系，和定義于深度信息采集單元30采集視點的第二坐標(biāo)系，再根據(jù)預(yù)存或?qū)崟r校準(zhǔn)的圖像信息采集單元10和深度信息采集單元30的各項參數(shù)設(shè)定第一坐標(biāo)系和第二坐標(biāo)系之間的轉(zhuǎn)換關(guān)系；在步驟S30中，圖像信息采集單元10和深度信息采集單元30分別采集當(dāng)前場景的圖像信息和深度信息；在步驟S50中，過濾單元50識別出所述深度信息中用于進行手勢交互的手部，計算出各手部邊緣輪廓點在所述第二坐標(biāo)系中的三維坐標(biāo)，從而確定由各手部邊緣輪廓點組成的手部的三維輪廓；在步驟S70中，過濾單元50根據(jù)步驟S10中確定的轉(zhuǎn)換關(guān)系，將所述三維輪廓中各手部邊緣輪廓點的三維坐標(biāo)轉(zhuǎn)換成所述第一坐標(biāo)系中的三維坐標(biāo)，再將各所述第一坐標(biāo)系中的三維坐標(biāo)轉(zhuǎn)換成成像平面中的二維坐標(biāo)，從而確定由各所述二維坐標(biāo)組成的圖像輪廓；在步驟S90中，過濾單元50在所述圖像信息中過濾所述圖像輪廓內(nèi)的圖像，最終生成不包含動態(tài)交互手勢的穩(wěn)定圖像信息。上述實施例通過設(shè)定圖像信息采集單元和深度信息采集單元之間的坐標(biāo)轉(zhuǎn)換關(guān)系，將深度信息中所識別出的三維輪廓轉(zhuǎn)換成圖像輪廓，再在圖像信息中過濾圖像輪廓內(nèi)的圖像以生成穩(wěn)定圖像信息，實現(xiàn)了過濾圖像中的動態(tài)交互部位所造成的遮擋，在避免增強現(xiàn)實算法因大面積遮擋而失敗的同時提高了姿態(tài)估計的準(zhǔn)確性；同時，由于無需反復(fù)迭代圖像而無需進行大量圖像計算，本發(fā)明提供的系統(tǒng)和方法的計算任務(wù)未超出當(dāng)前主流移動端的實時處理能力，具有適用范圍廣的優(yōu)點。圖3為圖1所示系統(tǒng)的一種優(yōu)選實施方式的結(jié)構(gòu)示意圖。如圖3所示，在一優(yōu)選實施例中，圖像信息采集單元10包括圖像采集裝置11和圖像傳感器13。其中圖像傳感器13分別與圖像采集裝置11和過濾單元50連接。深度信息采集單元30包括紅外采集裝置31和深度傳感器33。其中深度傳感器33分別與紅外采集裝置31和過濾單元50連接。圖4為圖3所示系統(tǒng)的一種優(yōu)選實施方式的結(jié)構(gòu)示意圖。如圖4所示，在一優(yōu)選實施例中，紅外采集裝置31包括兩個雙目紅外相機。圖像采集裝置11包括一個相機，所述相機位于所述兩個雙目紅外相機之間。在本實施例中，紅外采集裝置31采用兩個雙目紅外相機，圖像采集裝置11采用一個相機。在更多實施例中，紅外采集裝置31還可根據(jù)實際需求設(shè)置為不同的紅外采集裝置，只要能配合深度傳感器33采集當(dāng)前場景的深度信息，即可實現(xiàn)相同的技術(shù)效果；圖像采集裝置11還可根據(jù)實際需求設(shè)置為不同的圖像采集裝置，只要能配合圖像傳感器13采集當(dāng)前場景的圖像信息，即可實現(xiàn)相同的技術(shù)效果。圖5為圖2所示方法中步驟S10的流程圖。圖5所示的方法可適用于圖3或圖4所示的系統(tǒng)中。如圖5所示，在一優(yōu)選實施例中，步驟S10包括：S11：標(biāo)定所述紅外采集裝置的內(nèi)外參數(shù)，并設(shè)定定義于所述紅外采集裝置的第一坐標(biāo)系；S13：標(biāo)定所述圖像采集裝置的內(nèi)參數(shù)，并設(shè)定定義于所述圖像采集裝置的第二坐標(biāo)系；S15：通過棋盤格標(biāo)定板，確定所述圖像采集裝置和所述紅外采集裝置之間的位置關(guān)系；其中，所述位置關(guān)系包括旋轉(zhuǎn)關(guān)系和平移關(guān)系。圖6為圖5所示步驟S10的一種優(yōu)選實施方式的流程圖。圖6所示的方法可適用于圖4所示的系統(tǒng)中。如圖6所示，在一優(yōu)選實施例中，步驟S10包括：S111：標(biāo)定所述紅外采集裝置的內(nèi)外參數(shù)；S113：設(shè)定定義于所述紅外采集裝置的第一雙目紅外相機的第一坐標(biāo)系；S13：標(biāo)定所述圖像采集裝置的內(nèi)參數(shù)，并設(shè)定定義于所述圖像采集裝置的第二坐標(biāo)系；S151：通過棋盤格標(biāo)定板，確定所述圖像采集裝置和所述第一雙目紅外相機之間的位置關(guān)系。具體地，在步驟S111中，過濾單元50標(biāo)定紅外采集裝置31的兩個雙目紅外相機的第一內(nèi)參數(shù)和第一外參數(shù)；在步驟S113中，過濾單元50通過深度信息采集單元30進行測量，設(shè)定定義于紅外采集裝置31中的第一雙目紅外相機的第一坐標(biāo)系；在步驟S13中，過濾單元50通過張正友標(biāo)定法標(biāo)定圖像采集裝置11的相機的內(nèi)參數(shù)K，并設(shè)定定義于所述相機的第二坐標(biāo)系；在步驟S151中，過濾單元50通過棋盤格標(biāo)定板，確定圖像采集裝置11和所述第一雙目紅外相機之間的位置關(guān)系具體地，所述位置關(guān)系包括旋轉(zhuǎn)關(guān)系和平移關(guān)系其中，上標(biāo)I表示圖像傳感器(ImageSensor)的視點(圖像采集裝置11)，下標(biāo)D表示深度傳感器(DepthSensor)的視點(第一雙目紅外相機)。圖7為圖2所示方法中步驟S50的流程圖。圖7所示的方法可適用于圖3或圖4所示的系統(tǒng)中。如圖7所示，在一優(yōu)選實施例中，步驟S50包括：S51：根據(jù)預(yù)設(shè)的距離先驗知識和所述部位的特征識別所述深度信息中的所述部位；S53：分別計算所述部位的各三維輪廓點在所述第一坐標(biāo)系下的第一三維坐標(biāo)，以確定由各三維輪廓點組成的三維輪廓。具體地，以圖4所示系統(tǒng)為例，在步驟S51中，過濾單元50根據(jù)預(yù)設(shè)的手部和深度傳感器(DepthSensor)的視點(第一雙目紅外相機)之間的距離先驗知識，以及手部的特征識別知識，識別所述深度信息中的手部；在步驟S53中，過濾單元50分別計算手部的各三維輪廓點在所述第一坐標(biāo)系下的第一三維坐標(biāo)以確定由各三維輪廓點組成的三維輪廓即具體地，當(dāng)前三維輪廓點的深度坐標(biāo)z的計算方式為：z=fbdisparity;---(1)]]>其中，f為雙目紅外相機的焦距，b為雙目紅外相機的測距基線距離，disparity為所述深度信息的視差圖；當(dāng)前三維輪廓點的橫坐標(biāo)x的計算方式為：x=ux-u0fz;---(2)]]>當(dāng)前三維輪廓點的縱坐標(biāo)y的計算方式為：y=vy-v0fz;---(3)]]>其中，u0和v0分別為深度圖像的主點的橫坐標(biāo)和縱坐標(biāo)，ux和vy分別為當(dāng)前三維輪廓點對應(yīng)的二維圖像點的橫坐標(biāo)和縱坐標(biāo)。圖8為圖2所示方法中步驟S70的流程圖。圖8所示的方法可適用于圖3或圖4所示的系統(tǒng)中。如圖8所示，在一優(yōu)選實施例中，步驟S70包括：S71：根據(jù)所述位置關(guān)系分別將各所述三維輪廓點的第一三維坐標(biāo)轉(zhuǎn)換為在所述第二坐標(biāo)系下的第二三維坐標(biāo)；S73：根據(jù)所述圖像采集裝置的內(nèi)參數(shù)分別將各所述第二三維坐標(biāo)轉(zhuǎn)換為投影至所述圖像采集裝置的成像平面的第三坐標(biāo)，以確定由各所述第三坐標(biāo)組成的圖像輪廓。同樣以圖4所示系統(tǒng)為例，在步驟S71中，過濾單元50根據(jù)位置關(guān)系將各所述三維輪廓點的第一三維坐標(biāo)轉(zhuǎn)換為在所述第二坐標(biāo)系下的第二三維坐標(biāo)PHandI(x,y,z)=RDIPHandD(x,y,z)+TDI;---(4)]]>在步驟S73中，過濾單元50根據(jù)所述圖像采集裝置的內(nèi)參數(shù)K分別將各所述第二三維坐標(biāo)轉(zhuǎn)換為投影至所述圖像采集裝置的成像平面的第三坐標(biāo)以確定由各所述第三坐標(biāo)組成的圖像輪廓即：pHandi(x,y)=KPHandI(x,y,z);---(5)]]>ΩHandi={pHandi(x,y)|pHandi(x,y)=K(RDIPHandD(x,y,z)+TDI),PHandD(x,y,z)∈ΩHandD};---(6)]]>在步驟90中，過濾單元50在所述圖像信息的全部區(qū)域范圍Ωimg中過濾所述圖像輪廓內(nèi)的圖像Ωhand_area，最終生成不包含動態(tài)交互手勢的穩(wěn)定圖像信息Ωeffect：Ωeffect＝Ωimg-Ωhand-area。(7)本發(fā)明還提供一種增強現(xiàn)實系統(tǒng)，所述增強現(xiàn)實系統(tǒng)包括上述各實施例中的任一種交互遮擋過濾系統(tǒng)，以所述穩(wěn)定圖像信息Ωeffect作為圖像輸入源，根據(jù)所述圖像輸入源進行特征檢測和姿態(tài)估計跟蹤，從而實現(xiàn)更為穩(wěn)定的增強現(xiàn)實效果。在一些實施例中，本發(fā)明提供的交互遮擋過濾系統(tǒng)集成于本發(fā)明提供的增強現(xiàn)實系統(tǒng)中，所述過濾單元還可用于處理其它預(yù)設(shè)的增強現(xiàn)實相關(guān)的運算任務(wù)；在另一些實施例中，本發(fā)明提供的交互遮擋過濾系統(tǒng)獨立配置于增強現(xiàn)實系統(tǒng)，僅作為配合使用的增強現(xiàn)實系統(tǒng)的圖像輸入源。附圖中的流程圖和框圖，圖示了按照本發(fā)明各種實施例的系統(tǒng)、方法和計算機程序產(chǎn)品的可能實現(xiàn)的體系架構(gòu)、功能和操作。在這點上，流程圖或框圖中的每個方框可以代表一個模塊、程序段、或代碼的一部分，所述模塊、程序段、或代碼的一部分包含一個或多個用于實現(xiàn)規(guī)定的邏輯功能的可執(zhí)行指令。也應(yīng)當(dāng)注意，在有些作為替換的實現(xiàn)中，方框中所標(biāo)注的功能也可以以不同于附圖中所標(biāo)注的順序發(fā)生。例如，兩個接連地表示的方框?qū)嶋H上可以基本并行地執(zhí)行，它們有時也可以按相反的順序執(zhí)行，這根據(jù)所涉及的功能而定。也要注意的是，框圖和/或流程圖中的每個方框、以及框圖和/或流程圖中的方框的組合，可以通過執(zhí)行規(guī)定的功能或操作的專用的基于硬件的系統(tǒng)來實現(xiàn)，或者可以通過專用硬件與計算機指令的組合來實現(xiàn)。描述于本申請實施例中所涉及到的單元或模塊可以通過軟件的方式實現(xiàn)，也可以通過硬件的方式來實現(xiàn)。所描述的單元或模塊也可以設(shè)置在處理器中，例如，過濾單元50可以是設(shè)置在計算機或移動智能設(shè)備中的軟件程序，也可以是單獨進行交互遮擋過濾以生成穩(wěn)定圖像信息的硬件芯片。其中，這些單元或模塊的名稱在某種情況下并不構(gòu)成對該單元或模塊本身的限定，例如，過濾單元50還可以被描述為“用于生成穩(wěn)定圖像信息的穩(wěn)定圖像生成單元”。作為另一方面，本申請還提供了一種計算機可讀存儲介質(zhì)，該計算機可讀存儲介質(zhì)可以是上述實施例中所述裝置中所包含的計算機可讀存儲介質(zhì)；也可以是單獨存在，未裝配入設(shè)備中的計算機可讀存儲介質(zhì)。計算機可讀存儲介質(zhì)存儲有一個或者一個以上程序，所述程序被一個或者一個以上的處理器用來執(zhí)行描述于本申請的公式輸入方法。以上描述僅為本申請的較佳實施例以及對所運用技術(shù)原理的說明。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，本申請中所涉及的發(fā)明范圍，并不限于上述技術(shù)特征的特定組合而成的技術(shù)方案，同時也應(yīng)涵蓋在不脫離所述發(fā)明構(gòu)思的情況下，由上述技術(shù)特征或其等同特征進行任意組合而形成的其它技術(shù)方案。例如上述特征與本申請中公開的(但不限于)具有類似功能的技術(shù)特征進行互相替換而形成的技術(shù)方案。當(dāng)前第1頁1 2 3