本發(fā)明涉及無線演示器技術(shù)領(lǐng)域,尤其涉及一種采用圖像視覺技術(shù)和體感技術(shù)的無線演示裝置。
背景技術(shù):
無線演示器是會議室中的一個常用物品,用于講解者講解PPT或其它電腦資料時突出重點內(nèi)容,提升講解效果。講解者講解電腦資料時常用兩種方法來突出重點內(nèi)容:1.標示:在內(nèi)容的關(guān)鍵點處顯示一個醒目的亮點;2.圈示:用一段線或一個圓圈來突出一片重點內(nèi)容區(qū)域。
目前市場上無線演示器的技術(shù)原理都是使用一個激光發(fā)射器,要突出重點內(nèi)容時講解者按下激光按鈕,打開激光,利用激光高度匯聚的高亮光點照亮屏幕上重點內(nèi)容,達到突出重點的目的。正因為這個技術(shù)原理,無線演示器更為用戶熟知的名字叫激光筆。
采用激光技術(shù)的無線演示器有3個明顯的缺點:
1. 人的手會自然地輕微晃動,導(dǎo)致顯示在屏幕上的激光點會晃動地很厲害,特別是講解者有些微緊張時,激光點幾乎無法集中于其想要指示的目標;
2. 要圈示一個區(qū)域時,需要不停地揮動手來畫出一根線或一個圓的激光軌跡,由于手揮動的軌跡不可能完全重疊,因此實際畫出來的激光軌跡很凌亂,導(dǎo)致圈示效果很不好;
3. 高清LCD屏幕的價格下滑很快,越來越多的會議室開始采用LCD屏幕。由于LCD屏幕對激光的反射主要呈鏡面反射,造成有些方向看到的激光點很暗,因此激光筆不適用于采用LCD屏幕的會議室。
技術(shù)實現(xiàn)要素:
針對上述技術(shù)中存在的不足之處,本發(fā)明提出了采用視覺圖像技術(shù)和體感技術(shù)的新型無線演示裝置。新型無線演示裝置的核心設(shè)備包括標示定位器和標示疊加器。標示定位器由講解者手持,其采用攝像頭、圖像處理算法及運動傳感器等技術(shù)來感知講解者所指向的重點內(nèi)容在屏幕中的坐標,該坐標稱為標示坐標;標示疊加器嵌在電腦和顯示設(shè)備(如投影機、液晶屏等)之間的屏幕數(shù)據(jù)通道上,其截獲屏幕數(shù)據(jù),并在屏幕的標示坐標上疊加一個適當大小的醒目亮點,從而實現(xiàn)重點內(nèi)容的標示目的。
基于上述實現(xiàn)原理,根據(jù)標示坐標的感知方式不同,本發(fā)明提出了兩種新型無線演示裝置的實現(xiàn)方式。
第一種實現(xiàn)方式:整個無線演示裝置由標示定位器、標示疊加器及屏幕指示器組成。
標示定位器由講解者手持,其核心作用是定位講解者所指向的重點內(nèi)容在屏幕中的坐標,該坐標稱為標示坐標。所述標示定位器包括攝像頭、第一主控CPU、圖像處理模塊、第一無線通訊模塊和功能按鍵面板。所述攝像頭采集標示定位器所指向的圖像;圖像處理模塊分析攝像頭采集的圖像,計算標示坐標;主控CPU協(xié)調(diào)控制其它所有功能模塊,通過無線通訊模塊與無線演示裝置中的其它設(shè)備通訊;功能按鍵面板上設(shè)有功能按鍵,用于講解者激活標示、圈示及刪除圈示等功能。
標示疊加器安裝在電腦和顯示設(shè)備之間的屏幕數(shù)據(jù)通道上,其核心作用是根據(jù)標示坐標在屏幕上疊加醒目標示點。所述標示疊加器包括屏幕數(shù)據(jù)輸入模塊、標示疊加模塊、屏幕數(shù)據(jù)輸出模塊、第二主控CPU及第二無線通訊模塊。所述屏幕數(shù)據(jù)輸入模塊接收電腦輸出的顯示設(shè)備格式的屏幕數(shù)據(jù),并轉(zhuǎn)化為數(shù)字屏幕圖像,如RGB格式或YUV格式的圖像;標示疊加模塊接收屏幕數(shù)據(jù)輸入模塊輸出的數(shù)字屏幕圖像,在第二主控CPU的控制下在屏幕圖像的標示坐標處疊加標示點;屏幕數(shù)據(jù)輸出模塊接收疊加了標示點的數(shù)字圖像,并轉(zhuǎn)化為顯示設(shè)備格式的屏幕數(shù)據(jù),如HDMI格式或VGA格式,輸出給顯示設(shè)備;第二主控CPU控制各功能模塊協(xié)同工作,通過第二無線通訊模塊與無線演示裝置中的屏幕指示器和標示定位器通訊。
所述屏幕指示器安裝在屏幕的邊框上,其主要作用是標記屏幕位置,輔助標示定位器識別屏幕區(qū)域。它由多個紅外LED組成,這些LED以一種特定布局模式安裝在屏幕外框上,并以特定頻率閃爍,標示定位器和標示疊加器可以給屏幕指示器發(fā)送請求改變LED的閃爍頻率。
上述提到的標示定位器的模塊和標示疊加器的模塊只是無線演示裝置中與本發(fā)明的技術(shù)原理相關(guān)的功能模塊,一個完整產(chǎn)品還需要其它功能模塊,如電池、指示燈、功能按鍵等等。另外,這些模塊可以是軟件模塊,不一定是硬件物理模塊。
基于紅外LED的標示坐標定位原理:人眼看不到紅外光,但標示定位器的攝像頭可以感知紅外光,因此其所拍攝的圖像中每個紅外LED都是高亮的光點。將一些紅外LED以適當?shù)牟季帜J桨惭b在屏幕的外框上,如在屏幕的四只角各放置一個紅外LED;圖像處理模塊只需要在連續(xù)拍攝的多張圖像中找出高亮光點,根據(jù)這些高亮光點的閃爍頻率即可知哪些高亮光點是屏幕指示器的LED,根據(jù)LED的布局模式即可知所拍攝圖像哪部分區(qū)域是屏幕;再計算所拍攝圖像的中心在屏幕中的坐標,就得到了標示坐標。
屏幕指示器的紅外LED的布局模式以利于安裝且易于標記屏幕為優(yōu)。當環(huán)境中其它用途的紅外LED以相同頻率閃爍時,圖像處理模塊會找到多于屏幕指示器的LED數(shù)量的高亮點,則標示坐標計算失敗,需給屏幕指示器發(fā)請求改變LED的閃爍頻率。
上述無線演示裝置的工作流程為:
A1、標示定位器平時處于節(jié)電休眠狀態(tài),當講解者按下功能按鍵面板上的功能按鍵時被喚醒;
A2、標示定位器通知屏幕指示器啟動紅外LED閃爍;
A3、標示定位器的攝像頭拍攝圖像,傳給標示定位器的圖像處理模塊;
A4、標示定位器的第一主控CPU和圖像處理模塊以上述基于紅外LED的標示坐標定位原理分析所拍攝的圖像,計算講解者指向的重點內(nèi)容在屏幕上的坐標,即標示坐標,將標示坐標發(fā)送給標示疊加器;
A5、標示疊加器的第二主控CPU接收標示坐標,根據(jù)講解者觸發(fā)的功能控制標示疊加模塊在數(shù)字屏幕圖像的標示坐標處疊加標示點:若觸發(fā)標示功能,則刪除上一標示坐標的標示點,在當前標示坐標上疊加標示點;若觸發(fā)圈示功能,則保留上一標示坐標的標示點,在當前標示坐標上疊加標示點;
A6、標示疊加器的屏幕數(shù)據(jù)輸出模塊接收標示疊加模塊輸出的疊加了標示點的數(shù)字屏幕圖像,轉(zhuǎn)化為顯示設(shè)備格式,輸出給顯示設(shè)備;
A7、轉(zhuǎn)步驟A3,采集下一個標示坐標并疊加標示點。
講解者在標示定位器上按下圈示刪除按鍵時,標示定位器發(fā)送圈示刪除命令給標示疊加器,標示疊加器的標示疊加模塊刪除整條圈示軌跡上的所有標示點。
上述無線演示裝置的工作流程中,標示坐標的計算在手持的標示定位器中完成,這要求標示定位器的圖像處理模塊有較高的性能,因此耗電量大,對電池的要求很高。針對這個問題,可以在標示疊加器中增加一個圖像處理模塊。上述工作流程的步驟A4改為:標示定位器拍攝圖像,其圖像處理模塊作壓縮編碼后,將所拍攝圖像發(fā)送給標示疊加器,由標示疊加器的圖像處理模塊以基于紅外LED的標示坐標定位原理分析所拍攝的圖像,計算標示坐標。
上述無線演示裝置技術(shù)難度低,應(yīng)用效果好,不過需要在屏幕的外框上安裝屏幕指示器,因此適用于新開發(fā)的屏幕,可將屏幕指示器直接集成到屏幕的外框中,對于現(xiàn)有已安裝的屏幕,應(yīng)用不方便。
基于上述原因,本發(fā)明提出了無線演示裝置的第二種實現(xiàn)方式。無線演示裝置的第二種實現(xiàn)方式為:整個無線演示裝置由標示定位器和標示疊加器組成。
所述標示定位器由講解者手持,包含攝像頭、第一圖像處理模塊、運動傳感器模塊、第一主控CPU、第一無線通訊模塊和功能按鍵面板;所述攝像頭采集標示定位器所指向的圖像;第一圖像處理模塊接收攝像頭拍攝的圖像并作處理;運動傳感器模塊感知講解者的手部運動;第一主控CPU控制標示定位器的所有功能模塊,通過第一無線通訊模塊與標示疊加器通訊;功能按鍵面板上設(shè)有功能按鍵,講解者可觸發(fā)標示、圈示和刪除圈示等功能;
所述標示疊加器安裝在電腦和顯示設(shè)備之間,包括屏幕數(shù)據(jù)輸入模塊、第二圖像處理模塊、標示疊加模塊、屏幕數(shù)據(jù)輸出模塊、第二主控CPU及第二無線通訊模塊;所述屏幕數(shù)據(jù)輸入模塊接收電腦輸出的顯示設(shè)備格式的屏幕數(shù)據(jù),轉(zhuǎn)化為數(shù)字屏幕圖像,如RGB或YUV格式的圖像;第二圖像處理模塊處理數(shù)字屏幕圖像,或者同時處理數(shù)字屏幕圖像和標示疊加器發(fā)送來的拍攝圖像;標示疊加器接收屏幕數(shù)據(jù)輸入模塊輸出的數(shù)字屏幕圖像,在屏幕上疊加標示點;屏幕數(shù)據(jù)輸出模塊接收標示疊加器輸出的疊加了標示點的數(shù)字屏幕圖像,轉(zhuǎn)化為顯示設(shè)備格式(如HDMI或VGA)的屏幕數(shù)據(jù),輸出給顯示設(shè)備;第二主控CPU控制標示疊加器的所有功能模塊,通過第二無線通訊模塊與標示定位器通訊;
標示坐標計算方法:初始標示坐標采用視覺技術(shù)獲得,所述視覺技術(shù)的原理為分析數(shù)字屏幕圖像和攝像頭所拍攝圖像的特征,如亮度特征、色度特征及紋理特征等,將兩者的特征數(shù)據(jù)匹配,識別攝像頭所拍攝圖像中哪部分區(qū)域是屏幕,然后計算所拍攝圖像的中心點在屏幕上的坐標,即可計算出初始標示坐標;后續(xù)標示坐標采用體感技術(shù),所述體感技術(shù)的原理為利用運動傳感器,如陀螺儀和加速度傳感器,感知講解者手部的旋轉(zhuǎn)和平移運動,通過適當?shù)乃惴▽⑦@些運動折算為標示坐標偏移量,將該偏移量加到上一標示坐標,即可獲得當前標示坐標。
所述無線演示裝置的工作流程為:
B1、標示定位器平時處于節(jié)電休眠狀態(tài),當講解者按下功能按鍵面板上的功能按鍵時被喚醒;
B2、標示定位器的攝像頭拍攝圖像,傳給第一圖像處理模塊;
B3、標示定位器的第一圖像處理模塊分析攝像頭所拍攝圖像特征,第一主控CPU將圖像特征數(shù)據(jù)發(fā)送給標示疊加器,或者第一圖像處理模塊將所拍攝圖像作壓縮編碼,第一主控CPU將壓縮的拍攝圖像發(fā)送給標示疊加器,由標示疊加器的第二圖像處理模塊對所拍攝圖像進行特征分析;標示疊加器的第二圖像處理模塊分析屏幕數(shù)據(jù)輸入模塊輸出的數(shù)字屏幕圖像的特征;根據(jù)拍攝圖像特征和數(shù)字屏幕圖像特征計算出初始標示坐標;
B4、標示疊加器的標示疊加模塊根據(jù)講解者觸發(fā)的功能在屏幕的標示坐標處疊加標示點:若觸發(fā)標示功能,則刪除上一標示坐標的標示點,在當前標示坐標上疊加標示點;若觸發(fā)圈示功能,則保留上一標示坐標的標示點,在當前標示坐標上疊加標示點;
B5、屏幕數(shù)據(jù)輸出模塊將疊加了標示點的屏幕數(shù)據(jù)輸出給顯示設(shè)備;
B6、第一主控CPU讀取運動傳感器數(shù)據(jù),計算講解者手部的運動,利用該運動計算相對上一標示坐標的偏移量;
B7、第一主控CPU將標示坐標偏移量發(fā)送給標示疊加器,第二主控CPU將接收的標示坐標偏移量加到上一標示坐標,計算出下一個標示坐標;
B8、轉(zhuǎn)至步驟B4。
講解者在標示定位器上觸發(fā)圈示刪除功能時,標示定位器發(fā)送圈示刪除命令給標示疊加器,刪除整條圈示軌跡上疊加的所有標示點。
本發(fā)明提出的兩種無線演示裝置,標示點只能顯示在屏幕上,當講解者指向屏幕外面時,無法在屏幕外面顯示標示點,可以在標示定位器上增加一個低功率激光發(fā)射器,當標示坐標判定為指向屏幕外面時,則打開激光器,在屏幕外面顯示一個激光點提醒講解者已指向屏幕外面,否則,關(guān)閉激光器。
本發(fā)明的有益效果是:
與現(xiàn)有技術(shù)相比,本發(fā)明對每個標示坐標可作平滑濾波處理,就會使顯示出的標注點更穩(wěn)定,達到去抖動效果;圈示效果良好,講解者不用不斷繪制激光軌跡,可專注于與聽眾溝通,并且支持在屏幕上同時顯示多個圈示,沒有使用激光發(fā)射器,解決了激光筆無法在液晶屏上使用的問題。
附圖說明
圖1. 第一種無線演示裝置實現(xiàn)方式的標示定位器功能模塊圖;
圖2. 第一種無線演示裝置實現(xiàn)方式的標示疊加器功能模塊圖;
圖3. 實施例1的標示定位器系統(tǒng)框圖;
圖4. 實施例1的標示疊加器系統(tǒng)框圖;
圖5. 實施例1的LED布局模式;
圖6. 實施例1的無線演示裝置的工作流程;
圖7. 第二種無線演示裝置實現(xiàn)方式的標示定位器功能模塊圖;
圖8. 第二種無線演示裝置實現(xiàn)方式的標示疊加器功能模塊圖;
圖9. 實施例2的標示定位器系統(tǒng)框圖;
圖10. 實施例2的標示疊加器系統(tǒng)框圖;
圖11. 實施例2的無線演示裝置的工作流程。
具體實施方式
為了更清楚地表述本發(fā)明,下面結(jié)合附圖對本發(fā)明作進一步地描述。
實施例1:
本發(fā)明提出的第一種實現(xiàn)方式的無線演示裝置,由標示定位器、標示疊加器及屏幕指示器組成。所述標示定位器的功能模塊框圖如圖1所示,包含攝像頭、第一主控CPU、圖像處理模塊、第一無線通訊模塊和功能按鍵面板等5個功能模塊。所述標示疊加器的功能模塊框圖如圖2所示,包括屏幕數(shù)據(jù)輸入模塊、標示疊加模塊、屏幕數(shù)據(jù)輸出模塊、第二主控CPU及第二無線通訊模塊等5個功能模塊。所述屏幕指示器由多個以特定布局安裝在屏幕外框上的紅外LED組成。
本實施例基于本發(fā)明的第一種無線演示器實現(xiàn)方式,由標示定位器、標示疊加器和屏幕指示器組成。
所述標示定位器由講解者手持,其核心功能是定位講解者指向的重點內(nèi)容在屏幕中的坐標,該坐標稱為標示坐標。所述標示定位器的系統(tǒng)框架如圖3所示,由攝像頭、激光器、MCU(微控制器)、FPGA模塊、WiFi模塊、按鍵面板和電池電源模塊等主要部件組成。攝像頭采集標示定位器所指向的圖像;FPGA模塊對應(yīng)圖1所示的圖像處理模塊,其實現(xiàn)了一個圖像分析方法,分析攝像頭所拍攝的圖像;MCU對應(yīng)圖1所示的第一主控CPU模塊,控制其它所有功能模塊工作;WiFi模塊對應(yīng)圖1所示的第一無線通訊模塊,實現(xiàn)與整個裝置中的其它設(shè)備通訊;功能按鍵面板上設(shè)有標示、圈示、圈示刪除、上頁、下頁等功能按鍵,分別用于觸發(fā)標示、圈示、刪除圈示、演示文件上翻頁、演示文件下翻頁等功能;激光器用于當講解者指向屏幕外面時在屏幕外面顯示一個激光點,提醒講解者指向不對;電池電源模塊給標示定位器供電。
所述標示疊加器安裝在電腦和顯示設(shè)備(如投影機或液晶屏)之間,其核心功能是在屏幕的標示坐標處疊加一個醒目的標示點。所述標示疊加器的系統(tǒng)框架如圖4所示,由HDMI輸入接口、HDMI接收器、FPGA模塊、MCU(微控制器)、HDMI發(fā)送器、HDMI輸出接口、USB接口和WIFI模塊等主要部件組成。其中,HDMI輸入接口和HDMI接收器對應(yīng)圖2所示的屏幕數(shù)據(jù)輸入模塊,HDMI輸入接口連接電腦顯卡的HDMI輸出接口,接入電腦輸出的屏幕數(shù)據(jù),HDMI接收器將HDMI屏幕數(shù)據(jù)轉(zhuǎn)化為YUV格式的數(shù)字屏幕圖像;FPGA模塊對應(yīng)圖2所示的標示疊加模塊,實現(xiàn)在屏幕上疊加標示點;HDMI發(fā)送器和HDMI輸出接口對應(yīng)圖2所示的屏幕數(shù)據(jù)輸出模塊,HDMI發(fā)送器接收疊加了標示點的數(shù)字屏幕圖像,轉(zhuǎn)化為HDMI信號,通過HDMI輸出接口輸出給顯示設(shè)備;WiFi模塊對應(yīng)圖2所示的第二無線通訊模塊,與整個裝置中的其它設(shè)備通訊;MCU對應(yīng)圖2所示的第二主控CPU模塊,控制其它各部件工作。
屏幕指示器安裝在屏幕的邊框上,由4個紅外LED組成,4個紅外LED分別安裝在屏幕外框的四個角上,LED的布局模式如圖5所示;這些LED以特定的頻率閃爍。所述屏幕指示器含有一個MCU和WiFi模塊,標示定位器可以請求屏幕指示器改變LED的閃爍頻率。
圖3中的電池電源模塊和按鍵面板的上頁/下頁按鍵、圖4中的USB接口是實現(xiàn)具體產(chǎn)品所需要的重要部件,不過,不是本發(fā)明的技術(shù)原理涉及的功能模塊。其中,圖3中的電池電源模塊為標示定位器提供電源;圖3中的上頁/下頁按鍵用于觸發(fā)演示文件上翻頁和下翻頁;圖4中的USB接口除了為標示疊加器提供電源,標示疊加器的MCU還將自己向電腦申報為一個USB鍵盤設(shè)備,將標示定位器的上頁和下頁按鍵映射為相應(yīng)的電腦鍵盤命令,控制演示文件上翻頁和下翻頁。
本實施例的標示坐標計算原理:人眼看不到紅外光,但標示定位器的攝像頭采用紅外光敏感的光傳感器,因此其所拍攝的圖像中每個紅外LED都是高亮的光點;由于本實施例的屏幕指示器的4個紅外LED安裝在屏幕的四只角上,因此只需要在所拍攝的圖像中找到屏幕指示器的這四個紅外LED,就可以確定所拍攝圖像哪部分區(qū)域是屏幕;所拍攝圖像的中心就是講解者指向的要標示的重點內(nèi)容,確定了屏幕區(qū)域,即得到了標示坐標。由于環(huán)境中可能還有其它紅外LED,它們是干擾源,本實施例的屏幕指示器的LED不是常開的,而是以特定頻率閃爍,標示定位器如果無法成功找到屏幕指示器的四個LED,則給屏幕指示器發(fā)送請求改變閃爍頻率,以濾除干擾源。
本實施例的核心工作流程如圖6所示。
其中,標示定位器的工作流程為:
A1、標示定位器平時處于節(jié)電休眠狀態(tài),當講解者按下功能按鍵時被喚醒;
A2、標示定位器通過WiFi模塊從屏幕指示器獲得LED布局,初始化LED的發(fā)光頻率,啟動LED閃爍;
A3、攝像頭拍攝圖像,傳給FPGA模塊;
A4、FPGA實現(xiàn)的圖像處理算法分析所拍攝的圖像,找出所有高亮光點;MCU從FPGA中讀取高亮光點的坐標,比對連續(xù)幾張圖像的高亮光點,根據(jù)所設(shè)置的閃爍頻率判斷哪四個亮點是屏幕指示器的LED;如果符合條件的亮點多于四個,那么環(huán)境中有以同頻率閃爍干擾LED,則計算標示坐標失敗,轉(zhuǎn)步驟A5;否則,根據(jù)LED的布局模式,四個LED的位置就是屏幕的四只角,即計算出屏幕在圖像中的方位;再計算圖像中心在屏幕中的坐標,該坐標就是標示坐標,跳轉(zhuǎn)步驟A6;
A5、給屏幕指示器發(fā)請求改變LED閃爍頻率,轉(zhuǎn)至步驟A3嘗試下一個標示坐標;
A6、通過WiFi模塊將標示坐標發(fā)送給標示疊加器,由標示疊加器在屏幕的標示坐標處疊加標示點;
A7、轉(zhuǎn)至步驟A3,計算下一個標示坐標;
標示疊加器的工作流程:
B1、HDMI接收器接收電腦顯卡輸出的HDMI屏幕數(shù)據(jù),轉(zhuǎn)化為YUV數(shù)字圖像,輸出給FPGA模塊;
B2、MCU接收標示定位器發(fā)送過來的標示坐標,根據(jù)工作模式控制FPGA實現(xiàn)的標示疊加模塊在屏幕圖像的標示坐標處疊加標示點:若講解者觸發(fā)了標示功能,則刪除上一標示坐標上疊加的標示點,在當前標示坐標上疊加標示點;若講解者觸發(fā)了圈示功能,則保留上一標示坐標的標示點,在當前標示坐標上疊加標示點,逐步繪制出一條軌跡。
B3、 HDMI發(fā)送器接收FPGA模塊輸出的疊加了標示點的YUV數(shù)字屏幕圖像,轉(zhuǎn)化為HDMI屏幕數(shù)據(jù)格式,傳輸給顯示設(shè)備;
圈示刪除工作流程:
講解者在標示定位器上按下圈示刪除按鍵時,標示定位器發(fā)送圈示刪除請求給標示疊加器,標示疊加器的MCU接收該請求,控制FPGA模塊刪除整條圈示軌跡上的所有標示點。
激光器工作流程:
在上述流程的步驟A4中,當判定標示坐標指向屏幕外面時,標示定位器打開激光器,否則,標示定位器關(guān)閉激光器。
在整個裝置中,標示定位器可以有多個,用不同的ID區(qū)分,多個標示定位器可以同時工作,標示疊加器用不同顏色為不同的標示定位器繪制標示點。
實施例2:
本發(fā)明提出的第二種實現(xiàn)方式的無線演示裝置,由標示定位器和標示疊加器組成。所述標示定位器的功能模塊框圖如圖7所示,包含攝像頭、第一主控CPU、第一圖像處理模塊、運動傳感器模塊、第一無線通訊模塊和功能按鍵面板等6個功能模塊。所述標示疊加器的功能模塊框圖如圖8所示,包括屏幕數(shù)據(jù)輸入模塊、第二圖像處理模塊、標示疊加模塊、屏幕數(shù)據(jù)輸出模塊、第二主控CPU及第二無線通訊模塊等6個功能模塊。
本實施例基于本發(fā)明的第二種無線演示裝置實現(xiàn)方式,由標示定位器和標示疊加器組成。
所述標示定位器由講解者手持,其核心功能是定位講解者指向的重點內(nèi)容在屏幕中的坐標,該坐標稱為標示坐標。所述標示定位器的系統(tǒng)框圖如圖9所示,由攝像頭、激光器、媒體處理器、運動傳感器、WiFi模塊、按鍵面板和電池電源模塊等主要部件組成。攝像頭采集標示定位器所指向的圖像,傳送給媒體處理器;媒體處理器是一種高性能的圖像處理器,實現(xiàn)圖7所示的第一主控CPU和第一圖像處理模塊兩個功能模塊的功能,它處理攝像頭所拍攝的圖像,同時協(xié)調(diào)控制其它所有功能模塊,通過WiFi模塊與標示疊加器通訊;運動傳感器含3軸陀螺儀和3軸加速度傳感器,感應(yīng)演講者的手部旋轉(zhuǎn)和平移運動;按鍵面板上設(shè)有標示激活、圈示激活、圈示刪除、上頁、下頁等功能按鍵,分別用于觸發(fā)標示、圈示、刪除圈示、演示文件上翻頁、演示文件下翻頁等功能;激光發(fā)射器用于提醒講解者指到了屏幕外面;電池電源模塊給標示定位器供電。圖9中電池電壓模塊和按鍵面板的上頁/下頁按鍵是實現(xiàn)產(chǎn)品所需要的必要模塊,不過,不是本發(fā)明的技術(shù)原理所涉及的功能模塊。
所述標示疊加器安裝在電腦和顯示設(shè)備(如投影機或液晶屏)之間,其核心功能是在屏幕的標示坐標處疊加一個醒目的標示點。所述標示疊加器的系統(tǒng)框圖如圖10所示,由USB接口、HDMI輸出接口、高性能媒體處理器及內(nèi)存、WIFI模塊等主要部件組成。本實施例采用一個高性能媒體處理器為系統(tǒng)核心,該媒體處理器實現(xiàn)圖8所示的第二主控CPU、屏幕數(shù)據(jù)輸入模塊、第二圖像處理模塊、標示疊加模塊和屏幕數(shù)據(jù)輸出模塊等5個功能模塊的功能。所述高性能媒體處理器實現(xiàn)圖8所示的屏幕數(shù)據(jù)輸入模塊功能的方法是:將自己向電腦申報為一個USB顯示設(shè)備,電腦就會將該顯卡所屬的屏幕數(shù)據(jù)從USB接口發(fā)送過來,媒體處理器的顯示控制器可構(gòu)建出數(shù)字屏幕圖像;圖8所示的第二圖像處理模塊在本實施例中是運行在媒體處理器上的一個圖像處理軟件模塊;媒體處理器的顯示控制器有OSD功能,完成圖8所示的標示疊加模塊功能;媒體處理器的顯示輸出控制器完成圖8所示的屏幕數(shù)據(jù)輸出模塊功能,它將疊加了標示點的屏幕圖像轉(zhuǎn)換為HDMI信號輸出給顯示設(shè)備。媒體處理器還將自己向電腦申報為一個USB鍵盤設(shè)備,將標示定位器發(fā)送來的上頁和下頁按鍵命令映射為電腦的鍵盤命令,控制演示文件上翻頁和下翻頁。USB接口還有一個功能是從電腦的USB接口取電。
標示坐標計算方法:初始標示坐標采用視覺技術(shù)獲得,所述視覺技術(shù)的原理為分析數(shù)字屏幕圖像和攝像頭所拍攝圖像的特征,如亮度特征、色度特征及紋理特征等,將兩者的特征數(shù)據(jù)匹配,識別攝像頭所拍攝圖像中哪部分區(qū)域是屏幕,然后計算所拍攝圖像的中心點在屏幕上的坐標,即可計算出初始標示坐標;后續(xù)標示坐標采用體感技術(shù),所述體感技術(shù)的原理為利用運動傳感器,如陀螺儀和加速度傳感器,感知講解者手部的旋轉(zhuǎn)和平移運動,通過適當?shù)乃惴▽⑦@些運動折算為標示坐標偏移量,將該偏移量加到上一標示坐標,即可獲得當前標示坐標。
原理上所有標示坐標可以全部采用視覺技術(shù)獲得。不過,要想獲得較好的用戶體驗,標示點的軌跡需要比較平滑,這意味著每秒需要處理幾十幀拍攝圖像和屏幕圖像,計算復(fù)雜性太大,要求標示定位器和標示疊加器的媒體處理器的性能很高,耗電量很大。而采用體感技術(shù)獲得后續(xù)標示坐標,整個系統(tǒng)更容易實現(xiàn),另外運動傳感器的采樣頻率很高,可以獲得更平滑的標示點軌跡,用戶體驗更好。
實施例2的核心工作流程如圖11所示。
標示定位器的工作流程:
C1、標示定位器平時處于節(jié)電休眠狀態(tài),當講解者按下功能按鍵時被喚醒;
C2、攝像頭拍攝圖像,傳給媒體處理器;
C3、媒體處理器的圖像處理軟件模塊分析圖像特征;
C4、將分析出的圖像特征數(shù)據(jù)發(fā)送給標示疊加器;標示疊加器利用該特征數(shù)據(jù)計算標示坐標;
C5、媒體處理器讀取運動傳感器數(shù)據(jù),計算講解者手部的運動,根據(jù)該運動量計算出標示坐標偏移量;將標示坐標偏移量發(fā)送給標示疊加器;
C6、轉(zhuǎn)至步驟C5;
標示疊加器的工作流程為:
D1、媒體處理器向電腦申報為一個USB顯示設(shè)備;
D1、USB接口輸入電腦輸出的屏幕數(shù)據(jù),媒體處理器的顯示控制器在內(nèi)存中構(gòu)建數(shù)字屏幕圖像;
D2、媒體處理器的圖像處理軟件模塊分析數(shù)字屏幕圖像的圖像特征;媒體處理器的CPU將屏幕圖像特征數(shù)據(jù)與標示定位器發(fā)送來的拍攝圖像特征數(shù)據(jù)匹配,計算出初始標示坐標;后續(xù)持續(xù)接收標示定位器發(fā)送來的標示坐標偏移量,將標示坐標偏移量加到前一標示坐標得到最新標示坐標;
D4、媒體處理器的顯示控制器的OSD模塊根據(jù)工作模式疊加標示點;若講解者觸發(fā)了標示功能,則刪除上一標示坐標上的標示點,在當前標示坐標上疊加標示點;若講解者觸發(fā)了圈示功能,則保留上一標示坐標的標示點,在當前標示坐標上疊加標示點;
D5、媒體處理器的顯示輸出控制器將數(shù)字屏幕圖像轉(zhuǎn)化為HDMI格式數(shù)據(jù),輸出給顯示設(shè)備;
圈示刪除工作流程:
講解者在標示定位器上按下圈示刪除按鍵,標示定位器發(fā)送圈示刪除命令給標示疊加器,標示疊加器刪除整條圈示軌跡上的疊加的所有標示點。
激光器工作流程:
在上述流程的步驟D2,當判定標示坐標指向屏幕外面時,則通知標示定位器打開激光器,否則,通知標示定位器關(guān)閉激光器。
在整個裝置中,標示定位器可以有多個,用不同的ID區(qū)分,多個標示定位器可以同時工作,標示疊加器用不同顏色為不同的標示定位器繪制標示點。
以上公開的僅為本發(fā)明的幾個具體實施例,但是本發(fā)明并非局限于此,任何本領(lǐng)域的技術(shù)人員能思之的變化都應(yīng)落入本發(fā)明的保護范圍。