專利名稱：一種基于增強現(xiàn)實的嵌入式教學(xué)模型及其方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種基于增強現(xiàn)實的嵌入式教學(xué)模型，以及利用該模型進行教學(xué)輔助的方法，屬于增強現(xiàn)實技術(shù)領(lǐng)域。
背景技術(shù)：
隨著計算機圖形圖像技術(shù)和空間定位技術(shù)的發(fā)展，人們越來越多地將增強現(xiàn)實技術(shù)應(yīng)用在各個領(lǐng)域。在教學(xué)方面，相比于傳統(tǒng)方式，可以采用增強現(xiàn)實技術(shù)使教學(xué)內(nèi)容更真實生動，提高教學(xué)效果。在平面印刷品上疊加三維虛擬模型和動畫，再通過顯示設(shè)備呈現(xiàn)，以獨特的教學(xué)體驗吸引學(xué)生深入了解教學(xué)內(nèi)容。
在課堂上展現(xiàn)一定的虛擬場景，使得原本單調(diào)的課堂變得豐富多彩，將那些復(fù)雜而抽象的概念以形象生動的方式進行說明，從而充分地調(diào)動學(xué)生的積極性，有效地改善師生之間的互動，并有利于學(xué)生對知識的把握和吸收，增強課堂學(xué)習(xí)效果，提高學(xué)習(xí)效率。但是目前的虛擬場景應(yīng)用起來不是很方便、靈活，教學(xué)體驗效果不佳。

發(fā)明內(nèi)容
發(fā)明目的針對現(xiàn)有技術(shù)中存在的問題，本發(fā)明提供一種基于增強現(xiàn)實的嵌入式教學(xué)模型及其方法。本發(fā)明提供一種靈活的輔助教學(xué)的解決方案，通過攝像機來拍攝不含展品的展示場景，其中由教師手持一種具有標(biāo)定功能的參照物，然后利用增強現(xiàn)實手段，在參照物上疊加與教學(xué)內(nèi)容有關(guān)的虛擬模型，添加相應(yīng)的動畫，從而完成生動、自然的教學(xué)。本發(fā)明的方案，不僅可以方便地更換虛擬模型，而且也可以控制動畫的播放時間和速度，滿足各類教學(xué)需求。同時該方案可以推廣到商品發(fā)布、模擬訓(xùn)練等場景中，有廣泛的應(yīng)用空間和推廣價值。本發(fā)明針對嵌入式平臺做了大量的優(yōu)化工作，保證了系統(tǒng)運行的實時性和流暢度，增強了教學(xué)體驗。技術(shù)方案一種基于增強現(xiàn)實的嵌入式教學(xué)模型，包括嵌入式開發(fā)板、標(biāo)記卡、攝像機和投影儀；所述嵌入式開發(fā)板分別與攝像機和投影儀連接；將虛擬三維模型疊加在所述標(biāo)記卡上；所述攝像機用于拍攝包括標(biāo)記卡的真實場景，并將視頻傳給嵌入式開發(fā)板；所述嵌入式開發(fā)板接收到攝像機傳來的視頻后，識別標(biāo)記卡的位置，利用增強現(xiàn)實技術(shù)，對虛擬三維模型進行疊加，并將合成影像傳給投影儀，投影儀將合成影像輸出到投影屏幕上顯不O所述嵌入式開發(fā)板，是一個基于X86架構(gòu)的嵌入式開發(fā)板,其中內(nèi)嵌一個X86架構(gòu)的處理器和一個FPGA，兩者通過PCI-E總線相連；嵌入式開發(fā)板通過AV接口與攝像機連接，通過VGA接口與投影儀連接；AV接口與FPGA之間，有模數(shù)轉(zhuǎn)換芯片和視頻解碼芯片，嵌入式開發(fā)板通過AV接口來接收攝像機發(fā)來的模擬視頻信號，并轉(zhuǎn)換為數(shù)字視頻信號傳遞給FPGA，由FPGA做白平衡、濾波降噪處理后，再傳遞給處理器進行處理；處理器識別標(biāo)記卡的位置和坐標(biāo)角度，將虛擬三維模型疊加在標(biāo)記卡位置處，提供模型平移、旋轉(zhuǎn)、放縮、更換、動畫控制等功能，并實時輸出合成圖像。所述標(biāo)記卡是一種起到標(biāo)記作用的物體，是一個由黑白兩色構(gòu)成的圖案所繪制的圖形標(biāo)記卡；所述嵌入式開發(fā)板通過標(biāo)定標(biāo)記卡的位置和角度，將虛擬模型疊加在標(biāo)記卡上。教師通過手持標(biāo)記卡，或?qū)?biāo)記卡固定在三腳架上，由攝像機進行拍攝，并通過教學(xué)系統(tǒng)，將教學(xué)用的虛擬三維模型疊加在標(biāo)記卡上。除了用于教學(xué)，還可應(yīng)用到其他場景，如產(chǎn)品介紹等。一種基于增強現(xiàn)實的嵌入式教學(xué)模型的方法，包括如下步驟
首先，將標(biāo)記卡固定在合適的位置，初始化攝像機的相應(yīng)參數(shù)，以便從攝像機獲取正確的拍攝幀圖像；
然后，當(dāng)通過攝像機獲取幀圖像后，對幀圖像做白平衡、濾波降噪處理，從幀圖像中尋找事先規(guī)定的標(biāo)記卡位置，以及標(biāo)記卡相對于攝像機拍攝的角度；
當(dāng)找到標(biāo)記卡位置之后，計算攝像機相對于探測到的標(biāo)識的投影變換矩陣，將攝像機拍攝位置的坐標(biāo)系轉(zhuǎn)換為標(biāo)記卡所在位置的坐標(biāo)系，從而在探測到的標(biāo)記卡上疊加虛擬三維模型；
最后，將疊加虛擬三維模型提供模型平移、旋轉(zhuǎn)、放縮、更換、動畫控制后，通過投影儀輸出疊加后的虛擬三維模型。本發(fā)明最大限度的發(fā)揮了嵌入式開發(fā)板的特性，在Windows Embedded Standard7系統(tǒng)上，采用ARToolkit增強現(xiàn)實庫，實現(xiàn)將電腦虛擬的三維模型疊加到真實世界畫面中的功能，即在一定距離內(nèi)，拍攝真實世界畫面，并識別畫面中的標(biāo)記卡，從而將虛擬三維模型疊加到標(biāo)記卡所示的位置上，最后實時輸出經(jīng)過疊加合成的圖像。所疊加的三維模型，是隨著標(biāo)記卡的移動而移動，看起來就好像黏在標(biāo)記卡上面一樣，標(biāo)記卡角度的變化，也會改變?nèi)S模型的角度。本發(fā)明采用上述技術(shù)方案，具有以下有益效果嵌入式開發(fā)板的物理尺寸很小，具有良好的便攜性，并且在保證良好性能的前提下，具有較低的功耗和成本，和較好的實時性。模型實現(xiàn)設(shè)備簡單、普遍，可跨平臺，可移植性和二次開發(fā)性均良好。除了在教學(xué)上提供強大的輔助功能外，本發(fā)明還可以擴展到其他應(yīng)用場景，如產(chǎn)品展示、會議演示等，應(yīng)用十分廣泛。


圖I為本發(fā)明實施例的原理 圖2為本發(fā)明實施例的Intel EPCM-505C嵌入式開發(fā)板結(jié)構(gòu) 圖3為本發(fā)明實施例的工作流程圖。
具體實施例方式下面結(jié)合具體實施例，進一步闡明本發(fā)明，應(yīng)理解這些實施例僅用于說明本發(fā)明而不用于限制本發(fā)明的范圍，在閱讀了本發(fā)明之后，本領(lǐng)域技術(shù)人員對本發(fā)明的各種等價形式的修改均落于本申請所附權(quán)利要求所限定的范圍。如圖I所示，基于增強現(xiàn)實的嵌入式教學(xué)模型，包括嵌入式開發(fā)板3、標(biāo)記卡I、攝像機2和投影儀4。如圖2所示，嵌入式開發(fā)板3是一個Intel EPCM-505C嵌入式開發(fā)板，嵌入式開發(fā)板3核心部分左側(cè)是Intel Atom處理器，型號為E645C，頻率I. 0GHz，單核心雙線程。核心部分右側(cè)是一顆Altera Arria II的FPGA，其具體的型號為EP2AGXE6XX。這顆FPGA與Intel Atom處理器通過PCI-E總線相連，從而進行通信。嵌入式開發(fā)板3外圍是一些對外接口，如USB接口、VGA接口、AV接口等。嵌入式開發(fā)板3通過AV接口與攝像機2連接，通過VGA接口與投影儀4連接；AV接口與FPGA之間，有模數(shù)轉(zhuǎn)換芯片和視頻解碼芯片，嵌入式開發(fā)板3通過AV接口來接收攝像機2發(fā)來的模擬視頻信號，并轉(zhuǎn)換為數(shù)字視頻信號傳遞給FPGA，由FPGA做白平衡、亮度調(diào)整和濾波降噪處理后，再傳遞給處理器進行處理；處理器識別標(biāo)記卡I的位置和坐標(biāo)角度，將虛擬三維模型疊加在標(biāo)記卡I位置處，提供模型平移、旋轉(zhuǎn)、放縮、更換、動畫控制等功能，并實時輸出合成圖像給投影儀4。投影儀4將合成影像輸出到投影屏幕5上顯示。
其中標(biāo)記卡I是一種起到標(biāo)記作用的物體，是一個由黑白兩色構(gòu)成的圖案所繪制的圖形標(biāo)記卡；嵌入式開發(fā)板3通過標(biāo)定標(biāo)記卡I的位置和角度，將虛擬模型疊加在標(biāo)記卡I上。教師通過手持標(biāo)記卡1，或?qū)?biāo)記卡I固定在三腳架上，由攝像機2進行拍攝，并通過教學(xué)系統(tǒng)，將教學(xué)用的虛擬三維模型疊加在標(biāo)記卡I上。除了用于教學(xué)，還可應(yīng)用到其他場景，如產(chǎn)品介紹等。如圖3所示，基于增強現(xiàn)實的嵌入式教學(xué)模型的方法，包括如下步驟
首先，將標(biāo)記卡I固定在合適的位置，初始化攝像機2的相應(yīng)參數(shù)，以便從攝像機2獲取正確的拍攝幀圖像；
然后，當(dāng)通過攝像機2獲取幀圖像后，對幀圖像做白平衡、濾波降噪處理，從幀圖像中尋找事先規(guī)定的標(biāo)記卡I位置，以及標(biāo)記卡I相對于攝像機2拍攝的角度；
當(dāng)找到標(biāo)記卡I位置之后，計算攝像機2相對于探測到的標(biāo)記卡I標(biāo)識的投影變換矩陣，將攝像機2拍攝位置的坐標(biāo)系轉(zhuǎn)換為標(biāo)記卡I所在位置的坐標(biāo)系，從而在探測到的標(biāo)記卡I上疊加虛擬三維模型；
最后，將疊加虛擬三維模型提供模型平移、旋轉(zhuǎn)、放縮、更換、動畫控制后，通過投影儀4輸出疊加后的虛擬三維模型。直到幀圖像獲取完，關(guān)閉攝像機2，釋放嵌入式開發(fā)板3的內(nèi)存，結(jié)束工作。在工作過程中涉及到兩個最主要的坐標(biāo)系。一個是攝像機2坐標(biāo)系，是攝像機2所拍攝的視頻，以攝像機2為參考系的坐標(biāo)系；另一個是標(biāo)記卡I坐標(biāo)系,是以標(biāo)記卡I作為參考系的坐標(biāo)系。最終的三維模型是需要疊加在標(biāo)記卡I上面，模型會隨著標(biāo)記卡I的移動而移動，所以計算的坐標(biāo)轉(zhuǎn)換矩陣，是將攝像機2坐標(biāo)系轉(zhuǎn)換為標(biāo)記卡I坐標(biāo)系的轉(zhuǎn)換矩陣。
權(quán)利要求
1.一種基于增強現(xiàn)實的嵌入式教學(xué)模型，其特征在于包括嵌入式開發(fā)板、標(biāo)記卡、攝像機和投影儀；所述嵌入式開發(fā)板分別與攝像機和投影儀連接；將虛擬三維模型疊加在所述標(biāo)記卡上；所述攝像機用于拍攝包括標(biāo)記卡的真實場景，并將視頻傳給嵌入式開發(fā)板；所述嵌入式開發(fā)板接收到攝像機傳來的視頻后，識別標(biāo)記卡的位置，利用增強現(xiàn)實技術(shù)，對虛擬三維模型進行疊加，并將合成影像傳給投影儀，投影儀將合成影像輸出到投影屏幕上顯不O
2.如權(quán)利要求I所述的基于增強現(xiàn)實的嵌入式教學(xué)模型，其特征在于所述嵌入式開發(fā)板，是一個基于X86架構(gòu)的嵌入式開發(fā)板，其中內(nèi)嵌一個X86架構(gòu)的處理器和一個FPGA，兩者通過PCI-E總線相連；嵌入式開發(fā)板通過AV接口與攝像機連接，通過VGA接口與投影儀連接；AV接口與FPGA之間，有模數(shù)轉(zhuǎn)換芯片和視頻解碼芯片，嵌入式開發(fā)板通過AV接口來接收攝像機發(fā)來的模擬視頻信號，并轉(zhuǎn)換為數(shù)字視頻信號傳遞給FPGA，由FPGA做白平衡、濾波降噪處理后，再傳遞給處理器進行處理；處理器識別標(biāo)記卡的位置和坐標(biāo)角度，將虛擬三維模型疊加在標(biāo)記卡位置處，提供模型平移、旋轉(zhuǎn)、放縮、更換、動畫控制功能，并實時輸出合成圖像。
3.如權(quán)利要求I所述的基于增強現(xiàn)實的嵌入式教學(xué)模型，其特征在于所述標(biāo)記卡是一種起到標(biāo)記作用的物體，是一個由黑白兩色構(gòu)成的圖案所繪制的圖形標(biāo)記卡；所述嵌入式開發(fā)板通過標(biāo)定標(biāo)記卡的位置和角度，將虛擬模型疊加在標(biāo)記卡上。
4.一種基于增強現(xiàn)實的嵌入式教學(xué)模型的方法，其特征在于，包括如下步驟 首先，將標(biāo)記卡固定在合適的位置，初始化攝像機的相應(yīng)參數(shù)，以便從攝像機獲取正確的拍攝幀圖像； 然后，當(dāng)通過攝像機獲取幀圖像后，對幀圖像做白平衡、濾波降噪處理，從幀圖像中尋找事先規(guī)定的標(biāo)記卡位置，以及標(biāo)記卡相對于攝像機拍攝的角度； 當(dāng)找到標(biāo)記卡位置之后，計算攝像機相對于探測到的標(biāo)識的投影變換矩陣，將攝像機拍攝位置的坐標(biāo)系轉(zhuǎn)換為標(biāo)記卡所在位置的坐標(biāo)系，從而在探測到的標(biāo)記卡上疊加虛擬三維模型； 最后，將疊加虛擬三維模型提供模型平移、旋轉(zhuǎn)、放縮、更換、動畫控制后，通過投影儀輸出疊加后的虛擬三維模型。
全文摘要
本發(fā)明公開一種基于增強現(xiàn)實的嵌入式教學(xué)模型及其方法，模型包括嵌入式開發(fā)板、標(biāo)記卡、攝像機和投影儀；方法通過攝像機來拍攝真實的場景，教師手持具有標(biāo)定功能的參照物，然后利用增強現(xiàn)實手段，在參照物上疊加與教學(xué)內(nèi)容有關(guān)的虛擬模型，對模型進行相應(yīng)的操作，如，放大、縮小、添加文字說明等，從而完成生動、自然的教學(xué)。本發(fā)明的方案，不僅可以方便地更換虛擬模型，而且也可以控制動態(tài)模型的播放時間和速度，滿足各類教學(xué)需求。同時該方案可以推廣到商品發(fā)布、模擬訓(xùn)練等場景中，有廣泛的應(yīng)用空間和推廣價值。
文檔編號G09B23/18GK102945637SQ20121049971
公開日2013年2月27日 申請日期2012年11月29日 優(yōu)先權(quán)日2012年11月29日
發(fā)明者張雪潔, 劉子源, 伏潛, 黃鑫, 周文歡 申請人:河海大學(xué)