專利名稱：批示器光跟蹤方法、程序及其記錄媒體的制作方法
技術(shù)領(lǐng)域：
本申請發(fā)明涉及廣泛應(yīng)用于各種演示中的、將計算機圖像從投影 儀投影到投影屏的投影儀系統(tǒng)等演示系統(tǒng)。
背景技術(shù)：
上述投影儀系統(tǒng)被廣泛應(yīng)用于學(xué)會、講義、說明會、演示等各種 場景中，當(dāng)使用時，使用者大多在使用激光指示器指示投影圖像的期 望部分的同時進行說明等。
針對該投影儀系統(tǒng)和激光指示器的組合進行了各種研究開發(fā)(例
如參照專利文獻1 3)，特別是，以來自激光指示器的光在投影圖像上 描繪簡單的線、圖形的技術(shù)(例如參照非專利文獻1、 2),能夠在投 影屏上放映圖像的同時描繪疊置在該圖像上能進一步引起觀看者注意 的下線、圓圏、箭頭等，以提高各種場景中的演示效果，從而能夠進 一步提高投影儀系統(tǒng)的利用價值。
專利文獻l:特開平11 - 85395號公才艮 專利文獻2:特開平11 - 39095號公報 專利文獻3:特開2004 - 265235號7>才艮
非專利文獻l: R. Sukthankar, R. Stockton, M. Mullin.， "Smarter Presentations: Exploiting Homography in Camera - Projector Systems", Proceedings of International Conference on Computer Vision, 2001
非專利文獻2: R. Sukthankar, R. Stockton, M. Mullin., "Self-Calibrating Camera — Assisted Presentation Interface", Proceeding of International Conference on Control, Automation, Robotics and Vision, 2000

發(fā)明內(nèi)容
發(fā)明所要解決的課題
然而，現(xiàn)狀是，性能好到足以經(jīng)得住實用的描繪技術(shù)還沒有實現(xiàn)。 這是因為，不能可靠地檢測與來自投影儀的投影圖像重疊并放映
到投影屏上的來自激光指示器的激光，不能高精度地跟蹤其運動。
此外，各種演示除了投影儀系統(tǒng)以外，還可以應(yīng)用大型液晶顯示
器、等離子顯示器等，在該大型顯示器系統(tǒng)中最好也能夠進行激光指
示器光的高精度跟蹤。
并且，不僅是激光指示器，而且利用能夠更廉價制造的LED指示 器，通過跟蹤該LED指示器光也最好能夠?qū)崿F(xiàn)相同的描繪。在此，包 括這些來自激光指示器的激光以及來自LED指示器的LED光稱為指 示器光。
因此，鑒于以上狀況，本申請發(fā)明的課題在于提供指示器光跟蹤 方法及指示器光跟蹤程序及其記錄媒體，其中，投射到投影屏等各種 顯示器上的指示器光的跟蹤即使在圖像被放映到顯示器上時也能夠高 精度地實現(xiàn)，由此，誰都可以簡單且漂亮地向顯示器上進行線、圖形 等的描繪，并且還可以實現(xiàn)使該描繪以外的使用性能提高的各種演示。
用于解決課題的方法
本申請發(fā)明為了解決上述課題，第一方面提供一種指示器光跟蹤 方法，由照相機對投射到顯示器上的指示器光進行拍攝，根據(jù)所得到 的圖像數(shù)據(jù)由計算機跟蹤顯示器上的指示器光，其特征在于，使全黑 圖像和位于其四角的白正方形圖像投影到顯示器上，對放映有這些全 黑圖像和白正方形圖像的顯示器進行拍攝，從所得到的圖像數(shù)據(jù)抽取 與上述白正方形圖像對應(yīng)的區(qū)域，算出抽取區(qū)域的中心坐標(biāo)(x, y)， 從所算出的中心坐標(biāo)(x， y)和上述白正方形圖像的中心坐標(biāo)(X， Y) 算出對表示顯示器上的指示器光位置的坐標(biāo)使用射影變換進行失真校 正時所需的參數(shù)。
第二方面，本申請發(fā)明提供一種指示器光跟蹤方法，由照相機對 投射到顯示器上的指示器光進行拍攝，根據(jù)所得到的圖像數(shù)據(jù)由計算
機跟蹤顯示器上的指示器光，其特征在于，對拍攝放映有指示器光的 顯示器的照相機的快門速度、曝光、伽瑪值的某一個或者兩個以上進 行調(diào)整，獲取只有指示器光被強烈放映的圖像數(shù)據(jù)。
第三方面，本申請發(fā)明提供一種指示器光跟蹤方法，由照相機對 投射到顯示器上的指示器光進行拍攝，根據(jù)所得到的圖像數(shù)據(jù)由計算 機跟蹤顯示器上的指示器光，其特征在于，對上述圖像數(shù)據(jù)實施層次 處理，以使該圖像數(shù)據(jù)中包含的指示器光的光點區(qū)域擴大。
并且第四方面，本申請發(fā)明提供一種指示器光跟蹤程序，為了根 據(jù)對投射到顯示器上的指示器光進行照相機拍攝所得到的圖像數(shù)據(jù)來
跟蹤顯示器上的指示器光，使計算機實現(xiàn)如下功能從對放映有全黑 圖像和位于其四角的白正方形圖像的顯示器進行照相機拍攝所得到的 圖像數(shù)據(jù)中抽取與上述白正方形圖像對應(yīng)的區(qū)域；算出抽取區(qū)域的中 心坐標(biāo)(x， y);以及從所算出的中心坐標(biāo)(x, y)和上述白正方形圖 像的中心坐標(biāo)(X， Y)算出對表示顯示器上的指示器光位置的坐標(biāo)使 用射影變換進行失真校正時所需的參數(shù)。
第五方面，本申請發(fā)明提供一種指示器光跟蹤程序，為了根據(jù)對 投射到顯示器上的指示器光進行照相機拍攝所得到的圖像數(shù)據(jù)來跟蹤 顯示器上的指示器光，使計算機實現(xiàn)如下功能對拍攝放映有指示器 光的顯示器的照相機的快門速度、曝光、伽瑪值的某一個或者兩個以 上進行調(diào)整，以獲取只有指示器光被強烈放映的圖像數(shù)據(jù)。
第六方面，本申請發(fā)明提供一種指示器光跟蹤程序，為了根據(jù)對 投射到顯示器上的指示器光進行照相機拍攝所得到的圖像數(shù)據(jù)來跟蹤 顯示器上的指示器光，使計算機實現(xiàn)如下功能對上述圖像數(shù)據(jù)實施 層次處理，使該圖像數(shù)據(jù)中包含的指示器光的光點區(qū)域擴大。
而且第七方面，本申請發(fā)明提供一種計算機可讀取的記錄媒體， 記錄了上述的指示器光跟蹤程序。
發(fā)明的效果
根據(jù)上述第一 第三方面的發(fā)明，能夠可靠地檢測并跟蹤投射到 投影屏、大型液晶顯示器等這種用于演示的各種顯示器上的指示器光，
即使在圖像被放映到顯示器上時也能夠?qū)崿F(xiàn)該高精度跟蹤。
特別是在第 一 方面的發(fā)明中，考慮到投影儀投影中通常產(chǎn)生的圖 像失真，通過使用上述求出的參數(shù)能夠進行極為有效的失真校正，從 而能夠更準(zhǔn)確地算出由照相機攝影所得到的圖像數(shù)據(jù)中包含的指示器 光點的二維坐標(biāo)值。當(dāng)然，該圖像失真有時也在投影儀投影以外的各 種顯示器影像中產(chǎn)生，同樣也可以良好地進行失真校正，能夠?qū)崿F(xiàn)高 精度跟蹤。
另外，在第二方面的發(fā)明中，在對放映有來自通常投影儀的光和
來自激光指示器或LED指示器的指示器光的顯示器進行照相機攝影 的情況下，指示器光被埋沒在投影儀光中，在計算機圖像處理中易于 陷入難以抽取它的狀況，但是如上所述通過將照相機快門速度、曝光、 伽瑪值的某一個或者二個以上調(diào)整為最佳，可以阻擋投影儀光，從而 得到只有指示器光被強烈放映的照相機圖像數(shù)據(jù)，由此可以可靠地抽 取指示器光點。當(dāng)然，通過使該最佳化調(diào)整和上述校正坐標(biāo)計算組合， 不言而喻，能夠?qū)崿F(xiàn)更優(yōu)良的指示器光跟蹤。另外，最佳化調(diào)整即使 在使用了投影屏以外的各種顯示器的情況下也是有效的，同樣可以阻 擋多余的光，進行指示器光點的高精度抽取。
并且，在第三方面的發(fā)明中，如果從顯示器整體來看，則指示器 光的光點非常小，即便進行上述快門速度調(diào)整來得到指示器光點被強 調(diào)的圖像數(shù)據(jù)，光點本身的尺寸還是小，因此如上所述通過實施層次 處理來使光點尺寸擴大，從而不會埋沒在周圍圖像中，可以更可靠地 抽取指示器光點。當(dāng)然，該層次處理還可以通過與上述校正坐標(biāo)計算 或上述最佳化調(diào)整進行組合，以進一 步實現(xiàn)更高精度的指示器光跟蹤。
而且，根據(jù)上述第四~第七方面的發(fā)明，提供能夠獲得與上述第 一方面~第三方面的發(fā)明相同效果的計算機程序以及記錄它的軟盤、 CD、 DVD等記錄媒體。


圖1是用于對本申請發(fā)明的一個實施方式進行說明的圖2是用于對本申請發(fā)明的一個實施方式進行說明的程序結(jié)構(gòu)
圖3是用于對失真校正參數(shù)獲取處理進行說明的流程圖； 圖4是用于對失真校正參數(shù)獲取處理進行說明的圖； 圖5是用于對失真校正參數(shù)獲取處理進行說明的其他圖； 圖6是用于對照相機快門速度、曝光、伽瑪值調(diào)整處理進行說明 的流程圖7是用于對照相機圖像獲取處理進行說明的流程圖； 圖8是用于對照相機輸入處理進行說明的流程圖； 圖9是用于對光點檢測處理進行說明的流程圖； 圖10 (A) (B) (C)分別是用于對光點檢測處理進行說明的圖； 圖11是用于對失真校正處理進行說明的流程圖； 圖12 (A) (B)分別是用于對失真校正處理進行說明的圖； 圖13是用于對本申請發(fā)明的一個實施方式進行說明的其他程序 結(jié)構(gòu)圖14是用于對履歷記錄處理進行說明的流程圖15時用于對履歷再現(xiàn)處理進行說明的流程圖16是用于對功能切換處理進行說明的流程圖17是用于對筆描繪處理進行說明的流程圖18 (A) (B) (C)分別是對筆描繪處理進行說明的圖19是用于對鼠標(biāo)仿真處理進行說明的流程圖20是用于對鼠標(biāo)仿真處理進行說明的圖21是用于對軟件控制處理進行說明的流程圖22是表示菜單畫面的一個例子的圖。
符號說明
l投影屏、2投影儀、3計算機、31處理部、32存儲部 33數(shù)據(jù)文件部、34顯示部、35輸入部、36投影儀通信部 37照相機通信部、38總線、4激光指示器、5照相機
具體實施例方式
圖1是示出了具有如上所述特征的本申請發(fā)明的一個實施方式的
圖。在此，主要對演示中多采用的投影儀系統(tǒng)方式進行說明。
1.系統(tǒng)結(jié)構(gòu)〉>
本實施方式中的投影儀系統(tǒng)由投影屏1、投影儀2、計算機3、激 光指示器4、照相機5構(gòu)成。
投影屏1能夠放映從投影儀2投射的圖像，例如不但可以是設(shè)置 在壁等上的屏幕體，而且只要能夠放映圖像也可以是壁面本身。
投影儀2是能夠?qū)挠嬎銠C3發(fā)送來的圖像投影到投影屏1上的 裝置，并具有對放映圖像的光進行投射的投射部、在與計算機3之間 發(fā)送接收數(shù)據(jù)信號或控制信號的通信部等。
計算機3向投影儀2發(fā)送投影對象的圖像，并且執(zhí)行根據(jù)本申請 發(fā)明的激光跟蹤處理以及基于該跟蹤的描繪等各種應(yīng)用處理。這些處 理由接收了保存在存儲部(存儲器)32中的激光跟蹤程序以及應(yīng)用程 序的指令的處理部(CPU) 31執(zhí)行。處理部31通過總線38除了存儲 部32之外，還與保存各種數(shù)據(jù)的數(shù)據(jù)文件部33、顯示程序執(zhí)行畫面 或各種數(shù)據(jù)的顯示器等顯示部34、鍵盤或鼠標(biāo)等輸入部35、在與投影 儀2之間發(fā)送接收數(shù)據(jù)信號或控制信號的投影儀通信部36、在與照相 機5之間發(fā)送接收數(shù)據(jù)信號或控制信號的照相機通信部37連接。
此外，從計算機3發(fā)送到投影儀2的圖像，通常是顯示在顯示器 上的桌面畫面，例如使用演示軟件制作的演示圖像首先顯示在桌面畫 面上(通常是全畫面顯示)，該桌面畫面被發(fā)送到投影儀2并投影到投 影屏l,由此，表示在桌面畫面上的演示圖像將放映到投影屏1。
激光指示器4是能夠?qū)す膺M行投射的裝置，并具有投射激光的 投射部、使用者手持的部位等。由于不僅可以用激光指示投影圖像中 的期望部分，而且還可以在圖像上進行描繪，因此還可以稱為激光筆。
照相機5是可以對放映有來自投影儀2的圖像以及來自激光指示 器4的激光的投影屏1進行拍攝、并將該攝像數(shù)據(jù)輸入到計算機3的 裝置。在數(shù)碼照相機的情況下，具有CCD ( Charge Coupled Device: 電荷耦合器件)等圖像傳感器、在與計算機3之間發(fā)送接收數(shù)據(jù)信號 或控制信號的通信部等。當(dāng)然，也可以不是數(shù)碼照相機。
這些投影屏l、投影儀2、計算機3、激光指示器4、照相機5可
以使用市售品，甚至設(shè)置投影屏1、投影儀2以及計算機3也跟以往 一樣，另外，將照相機5設(shè)置在能夠拍攝投影屏1的場所，且能夠進 行數(shù)據(jù)通信地連接到計算機3。計算機3中安裝了激光跟蹤程序以及 應(yīng)用程序。當(dāng)然還可以形成將這些程序合而為一的軟件。然后，只要 發(fā)表者等用戶持有激光指示器4即可。 《2.激光跟蹤》
下面，首先適當(dāng)參照圖2-圖12對如此準(zhǔn)備的投影儀系統(tǒng)中的激 光跟蹤處理進行說明。
本實施方式中的激光跟蹤程序的總體結(jié)構(gòu)如圖2所示，相互關(guān)聯(lián) 地合編有圖3所示的失真校正參數(shù)獲取程序、圖6所示的照相機控制 程序、圖9所示的光點檢測程序、圖ll所示的失真校正程序。還合編 有圖7所示的照相機圖像數(shù)據(jù)獲取程序以及圖8所示的照相機圖像數(shù) 據(jù)輸入程序，但是在圖2中沒有進行圖示。應(yīng)用程序后面將詳述，根 據(jù)激光跟蹤程序的處理結(jié)果即跟蹤的激光的坐標(biāo)數(shù)據(jù)，執(zhí)行使使用性 能提高的描繪等各種應(yīng)用功能。
<2-1.失真校正參數(shù)的獲取>
首先，執(zhí)行獲取用于正確的跟蹤所需的失真校正的參數(shù)的處理(參 照圖3)。失真校正參數(shù)是指后述的失真校正處理中進行的射影變換的 矩陣計算所需的參數(shù)。
該處理是每當(dāng)啟動激光跟蹤程序時就進行一次的初始設(shè)定處理， 由合編到激光跟蹤程序中的失真校正參數(shù)獲取程序來執(zhí)行(參照圖 2)。當(dāng)然，在該執(zhí)行以后，當(dāng)投影儀2或照相機5的位置偏移了等而 產(chǎn)生了失真校正參數(shù)的值變動大到跟蹤處理的執(zhí)行中不允許程度的現(xiàn) 象時，有必要再執(zhí)行。
<步驟S2 - 1 - 1 〉
首先，在投影屏1上放映全黑的圖像。
更具體地說，預(yù)先由計算機3制作全黑圖像并存儲，將其從計算 機3發(fā)送到投影儀2，從投影儀2投影到投影屏1。很顯然，如果將制 作的全黑圖像顯示在顯示器的桌面畫面上，則其通過投影儀2投影到 投影屏1。
<步驟S2 - 1 - 2 〉
接著，在該全黑圖像的四角依次放映白色的小正方形圖像(參照
圖4)。
更具體地說，預(yù)先由計算機3制作位于上述全黑圖像四角的4個 白色的小正方形圖像并存儲，將其從計算機3發(fā)送到投影儀2，從投 影儀2投影到投影屏1。此時，很顯然，如果將制作的4個白正方形 圖像疊置在全黑圖像上并顯示在顯示器上的桌面畫面的四角，則它們 通過投影儀2投影到投影屏1。
<步驟S2-l-3>
將這些4個白正方形圖像各自的中心坐標(biāo)作為(XI, Y1)(X2， Y2 ) ( X3， Y3 ) ( X4, Y4 )存儲(參照圖4 )。
更具體地說，由計算機3在制作上述4個白正方形圖像數(shù)據(jù)的階 段中，還算出預(yù)先設(shè)定在上述全黑圖像上的X軸/Y軸坐標(biāo)系中的各中 心坐標(biāo)并存儲。該坐標(biāo)系可以利用顯示器或者桌面畫面上通常設(shè)定的 屏幕坐標(biāo)系，也可以求出屏幕坐標(biāo)系中的四角的白正方形圖像的中心 坐標(biāo)。
<步驟S2 - 1 -4>
接下來，由照相機5對投影屏1上放映的上述全黑圖像以及白正 方形圖像進行拍攝。
更具體地說，按照對來自計算機3的攝影開始進行指示的控制信 號，照相機5開始投影屏1的攝影。
當(dāng)然，如此計算機3和照相機5不聯(lián)動也可以，不言而喻，也可 以是能夠以手動開始照相機5的攝影的系統(tǒng)結(jié)構(gòu)。
<步驟S2-1-5>
從拍攝的圖像數(shù)據(jù)抽取與上述4個白正方形圖像對應(yīng)的區(qū)域。 更具體地說，由于在由照相機5拍攝并收入計算機3的照相機圖 像數(shù)據(jù)中出現(xiàn)全黑圖像以及白正方形圖像，因此如果通過圖像處理從 照相機圖像數(shù)據(jù)只抽取白色區(qū)域，則能夠獲取與上述4個白正方形圖 像對應(yīng)的4個區(qū)域。 <步驟S2 - 1 - 6 >
并且，計算這些4個區(qū)域各自的中心坐標(biāo)，并存儲為(xl， yl) (x2, y2) (x3, y3) ( x4, y4 )。
更具體地說，由計算機3算出上述X軸/Y軸坐標(biāo)系中的各區(qū)域的 中心坐標(biāo)，并將其存儲。 〈步驟S2-1-7>
而且，求解中心坐標(biāo)(X1， Y1)(X2， Y2)(X3， Y3)(X4， Y4) 和中心坐標(biāo)(xl, yl)(x2, y2)(x3， y3 ) (x4, y4)的聯(lián)立方程式， 算出射影變換的矩陣計算所需的8個參數(shù)。
一般在投影儀投影中，當(dāng)對計算機3的顯示器上放映的圖像和從 投影儀2投影到投影屏1上的圖像進行比較時，經(jīng)常存在投影圖像產(chǎn) 生失真的情況，當(dāng)不考慮該失真而繼續(xù)進行跟蹤處理時，在最終求出 的激光坐標(biāo)值中同樣也會出現(xiàn)失真的影響，并且基于該坐標(biāo)值的描繪 處理等也將不能正確地進行。
因此，本申請發(fā)明被設(shè)計成能夠進行失真校正，以實現(xiàn)更高精度 的跟蹤、且基于此的描繪處理等應(yīng)用也更適合。
該失真校正是通過將由照相機5拍攝投影后的圖像所得到的照相 機圖像數(shù)據(jù)嵌入到投影前的原圖像數(shù)據(jù)中的二維射影變換來進行，因 此，應(yīng)先算出射影變換矩陣計算所需的8個參數(shù)來獲取射影變換式。
參數(shù)計算中，求解上述白正方形原圖像數(shù)據(jù)的中心坐標(biāo)(X1， Yl ) (X2， Y2)(X3， Y3)(X4， Y4 )和照相才幾圖像數(shù)據(jù)的中心坐標(biāo)(xl ， yl)(x2, y2)(x3， y3 ) ( x4， y4 )的8元聯(lián)立方程式即可。
即，如圖5例示，投影前的白正方形圖像的中心坐標(biāo)(X, Y)和 投影后的白正方形圖像的中心坐標(biāo)(x， y)的偏差是失真，通過使用 了表示該失真程度的8個參數(shù)的二維射影變換式進行失真校正，從而 實現(xiàn)考慮了失真的跟蹤。圖5中的算式是二維射影變換式的一個例子。 由于該算式可以通過換算器對分子分母進行通分，獨立的參數(shù)變成8 個。
<2-2.照相機快門速度、曝光、伽瑪值的調(diào)整〉 那么，上述失真校正參數(shù)的獲取處理執(zhí)行后，實際上從投影機2 向投影屏1放映演示圖像，使用者使用適當(dāng)激光指示器4開始演示(下
面為了說明的簡便，將演示場景中的應(yīng)用作為一個例子進行說明)，但
在此之前，為了實現(xiàn)更加適合的跟蹤，執(zhí)行調(diào)整照相機5的快門速度、 曝光、伽瑪值的處理，以通過照相機5獲取來自投影儀的光被阻擋而 只有來自激光指示器4的激光被強烈地放映的圖像數(shù)據(jù)(參照圖6 )。
在本申請發(fā)明中，投影屏1上放映的激光的跟蹤是通過如以下詳 述由照相機5拍攝投影屏1上的激光、從所得到的照相機圖像數(shù)據(jù)中 抽取與光點對應(yīng)的區(qū)域、然后與照相機5的攝影速度相配合重復(fù)進行 算出區(qū)域坐標(biāo)的處理來進行的(所得到的坐標(biāo)值用于描繪處理等)，但 此時為了提高光點區(qū)域的抽取精度，必須由照相機5可靠地捕捉激光。 因此，通過調(diào)整照相機5的快門速度盡可能地阻擋投影儀光以便能夠 只拍攝激光將成為非常重要的處理。此外，該處理由合編到激光跟蹤 程序中的照相機控制程序執(zhí)行(參照圖2 )。
<步驟S2-2 - 1 〉
首先，將任意的快門速度值、曝光、伽瑪值從計算機3發(fā)送到照 相機5。
更具體地說，當(dāng)由使用者向計算機3輸入快門速度初始值時，該 初始值從計算機3發(fā)送到照相機5。或者，預(yù)先設(shè)定并存儲的初始值 從計算機3發(fā)送到照相機5。
<步驟S2 - 2 - 2 >
在照相機5中，以發(fā)送來的快門速度值、曝光、伽瑪值切換快門， 對投影屏1上的演示圖像和激光進行拍攝。也可以說成對放映有演示 圖像和激光的投影屏1進行拍攝。
<步驟S2 - 2 - 3 〉
由拍攝所得到的照相機圖像數(shù)據(jù)(下面為了說明的筒便，簡稱為 "圖像數(shù)據(jù)")發(fā)送到計算機3，由計算機3判斷在圖像數(shù)據(jù)中激光是 否被足夠強烈地放映。
更具體地說，例如預(yù)先設(shè)定表示激光的色信息的數(shù)據(jù)(RGB值或 輝度值等)，判斷僅與其相當(dāng)?shù)臄?shù)據(jù)是否包括在圖像數(shù)據(jù)中。
〈步驟S2-2-3否，S2-2-4>
在判斷為激光放映不充分、反過來說投影儀光的阻擋不充分的情
況下，調(diào)整上述初始值并設(shè)定新的快門速度值、曝光、伽瑪值。
〈步驟S2-2-3是，S2-2-5>
之后，重復(fù)上述各步驟直至得到"是"的判斷即能夠判別光點為 止，使快門速度、曝光、伽瑪值最佳化。"是，，表示光點的像有一個以 上且像的大小與激光相適合。關(guān)于大小的判斷，例如根據(jù)上述既定 RGB值等是否連續(xù)存在于既定像素數(shù)中來進行。當(dāng)然也可以應(yīng)用除此 以外的判斷方法。
由此，在照相才幾5的石更件中可以阻擋來自投影4義2的光并可以選 擇性地只捕捉來自激光指示器4的光。所得到的圖像數(shù)據(jù)由于投影儀 光被阻擋，因此在暗的背景光中只有激光明亮發(fā)光而強烈地顯現(xiàn)。
作為快門速度的具體值，雖然依賴于照相機5的性能和周圍環(huán)境， 但是例如150~300/sec的快門速度值是一個優(yōu)選的范圍。
此外，進行最佳化調(diào)整的快門速度、曝光、伽瑪值，不需要必須 將三個全部都設(shè)為調(diào)整對象，可以是任一個，也可以二個以上的組合。 但是，依賴于使用環(huán)境，快門速度的調(diào)整被認為是最有效果的。為此， 就組合來說必須包括快門速度，更優(yōu)選地在此之上增加曝光或者伽瑪 值，從而能夠提高良好的激光抽取的穩(wěn)定性。組合時的上述各處理， 首先自動選擇任意的組合，以組合的參數(shù)的初始值進行拍攝(S2-2 -2)，在錯過(口7卜)了光點的情況下，從該時刻的組合的周邊對 各參數(shù)值和組合方式進行調(diào)整，并重復(fù)進行直至可以判斷光點為止(S2 -2-3否，S2-2-4)。然后，當(dāng)能夠判別時，將各參數(shù)設(shè)定為最佳 值(S2-2-3是，S2-2-5)。
<2-3.照相機圖像數(shù)據(jù)的獲取〉
接著，對如上所述快門速度等被最佳化的照相機5的圖像數(shù)據(jù)的 獲取處理進行說明(參照圖7)。該處理由合編到激光跟蹤程序中的照 相機圖像數(shù)據(jù)獲取程序執(zhí)行。
<步驟S2-3-l>
首先，由照相機5獲取如上所述激光被強調(diào)的圖像數(shù)據(jù)。 更具體地說，照相機5對放映有演示圖像以及激光的投影屏1進 行拍攝，由于照相機5的快門速度如上所述被最佳化，從而在該攝影
像中只有激光被強調(diào)并顯現(xiàn)。因此，在數(shù)碼照相機的情況中，在由CCD 等圖像傳感器進行拍攝的情況下，能夠獲取如上所述強調(diào)了激光的圖 像的色信息。
<步驟S2 - 3 - 2 〉
然后，該色信息作為圖像數(shù)據(jù)從照相機5轉(zhuǎn)送到計算機3。 以上的照相機圖像數(shù)據(jù)獲取處理以每秒30幀的拍攝速度重復(fù)。另 外，例如其圖像大小設(shè)為320像素x240像素。 <2-4.照相機圖像數(shù)據(jù)的輸入>
接著，對將如上所述轉(zhuǎn)送來的圖像數(shù)據(jù)輸入到計算機3內(nèi)的處理 進行說明(參照圖8)。該處理由合編到激光跟蹤程序中的照相機圖像 數(shù)據(jù)輸入程序執(zhí)行。
<步驟S2-4 - 1 >
首先，從照相機5送來的圖像數(shù)據(jù)由計算機3所具有的照相機通 信部37接收。照相機5和計算機3之間的發(fā)送接收可以是有線的也可 以是無線的。
<步驟S2-4-2>
接著，將接收的圖像數(shù)據(jù)保存到計算機3所具有的存儲部32、或 者保存到數(shù)據(jù)文件33中。由此向計算機3收入圖像數(shù)據(jù)。 <2-5.光點檢測>
接著，對由計算機3從上述收入的圖像數(shù)據(jù)中檢測光點的處理進 行說明(參照圖9)。該處理由合編到激光跟蹤程序中的光點檢測程序 執(zhí)行(參照圖2)。
<步驟S2 - 5 - 1 〉
首先，對收入的圖像數(shù)據(jù)進行層次處理。
更具體地說，對圖像數(shù)據(jù)全體實施層次處理以擴大圖像數(shù)據(jù)中的 光點區(qū)域(參照圖10 ( A) (B))。在該層次處理中，可以使用一般圖 像處理領(lǐng)域中已知的平均化、高斯層次等。
由此，能夠防止光點被埋沒在圖像數(shù)據(jù)中而變得難以檢測，從而 可以使丟失光點的概率顯著降低，能夠以更高精度實現(xiàn)光點的跟蹤即 由照相機5拍攝并由計算機3跟蹤投影屏1上放映的來自激光指示器'
4的激光(參照圖12 (A))。 <步驟S2-5-2〉
對實施了上述層次處理的圖像數(shù)據(jù)進行區(qū)域抽取處理。 更具體地說，在構(gòu)成圖像數(shù)據(jù)的像素單位的色信息中抽取具有既 定閾值以上的值的區(qū)域，以檢測與圖像數(shù)據(jù)中的上述擴大的光點對應(yīng) 的區(qū)域(參照圖10( C ))。閾值預(yù)先設(shè)定為與光點對應(yīng)的色信息值(RGB 值或輝度值)。
<步驟S2-5-3〉
然后，算出該抽取的區(qū)域的重心坐標(biāo)(inputX, inputY)(參照圖 IO(C))。在該重心坐標(biāo)的計算處理中，可以使用一般圖像處理領(lǐng)域 中已知的計算方法。
<2-6.失真4交正>
接著，對由計算機3對如上所述算出的重心坐標(biāo)的失真校正處理 進行說明(參照圖11)。該處理由合編到激光跟蹤程序中的失真校正 程序執(zhí)行(參照圖2)。
<步驟S2-6 - 1 >
首先，對上述重心坐標(biāo)(inputX， inputY)進行射影變換。
更具體地說，對重心坐標(biāo)(inputX， inputY)通過使用了由上述失 真校正參數(shù)獲取處理得到的8個參數(shù)的射影變換式進行射影變換。
由此，能夠得到校正了如前所述由投影儀投影產(chǎn)生的失真(參照 圖5)的重心坐標(biāo)(AGPointX， AGPointY)。
<步驟S2 - 6 - 2 >
然后，只要將該校正的重心坐標(biāo)(AGPointX, AGPointY)存儲在 計算才幾3內(nèi)即可。
<2.7循環(huán)處理〉
此外，對從照相機5每秒30幀輸入到計算機3的圖像重復(fù)進行構(gòu) 成以上描繪處理的2.1~2.6的各處理。
如上所述，能夠由計算機3以及照相機5可靠地檢測投影屏1上 放映的來自激光指示器4的激光，并跟蹤其運動(參照圖12 (A))。
然后，例如由計算機3自動制作與跟蹤的激光的上述重心坐標(biāo)對
應(yīng)的描繪數(shù)據(jù)，如果該描繪數(shù)據(jù)與演示圖像一起從投影儀2投影到投 影屏1上，則如圖12 (B)所例示，在投影屏1上放映出與激光的運 動相適應(yīng)的線或圓等，實現(xiàn)激光指示器4向投影屏1的描繪。
3.應(yīng)用〉>
然而，實現(xiàn)了如上所述投影屏1上的激光高精度跟蹤的本實施方 式的投影儀系統(tǒng)，不僅可以實現(xiàn)激光指示器4的描繪，而且還能夠?qū)?現(xiàn)使使用性能進一步提高的各種功能。具體地說，通過上述2.1~2.6 的各處理跟蹤投影屏1上的激光，同時以上述坐標(biāo)數(shù)據(jù)(AGPointX， AGPointY)為基礎(chǔ)根據(jù)需要執(zhí)行各應(yīng)用程序。
下面，適當(dāng)參照圖13 ~圖22對這些各應(yīng)用程序的各種功能進行 說明。
本實施方式中的應(yīng)用程序的總體結(jié)構(gòu)如圖13所示，相互關(guān)聯(lián)地合 編有圖14所示的履歷記錄程序、圖15所示的履歷再現(xiàn)程序、圖16 所示的功能切換程序、圖17所示的筆描繪程序、圖19所示的鼠標(biāo)仿 真程序、圖21所示的演示軟控制程序、以及半透明顯示程序。當(dāng)然也 可以形成將這些程序合而為 一的軟件，另外還可以綜合上述激光跟蹤 程序以作為一個軟件并將其安裝在計算機3中。
圖22是表示當(dāng)將合而為一的軟件安裝在計算機3上起動時顯示成 桌面畫面的菜單畫面的一個例子。其中顯示了表示由各程序執(zhí)行的各 種功能的圖標(biāo)，該菜單畫面從投影儀2投影到投影屏1，只要將來自 激光指示器4的激光投射到投影菜單畫面上的任意圖標(biāo)上，就能夠筒 單地進行圖標(biāo)操作，從而使用性能被進一步提高。
<3.1履歷記錄>
首先，對履歷記錄進行說明(參照圖14)。 <步驟S3 - 1 - 1 >
首先，將坐標(biāo)數(shù)據(jù)(AGPointX， AGPointY)從上述失真校正程序 交付給履歷記錄程序。 <步驟S3 - 1 - 2>
接著，將該坐標(biāo)數(shù)據(jù)和時刻t作為 一組(AGPointX, AGPointY， t)，依次進4于記錄。
作為時刻t，例如可考慮進行上述交付的時刻或坐標(biāo)數(shù)據(jù)被算出的
時刻等。另外，將記錄開始的時刻設(shè)為o。
由此，各坐標(biāo)數(shù)據(jù)是哪個時刻的數(shù)據(jù)即各坐標(biāo)數(shù)據(jù)表示的各位置 上投射了哪個激光將被記錄。因而，也可以說該坐標(biāo)履歷數(shù)據(jù)表示了 投影屏1上的激光投射履歷，另外也可以說是表示了由投影屏1的上 述菜單畫面上的激光進行的各圖標(biāo)操作或描繪操作等操作履歷。
<3.2履歷再現(xiàn)>
接著，對履歷再現(xiàn)進行說明(參照圖15)。 <步驟S3-2-l〉
首先，停止來自上述履歷記錄程序的原始數(shù)據(jù)的輸出。 <步驟S3-l-2〉
接著，將坐標(biāo)履歷數(shù)據(jù)按照記錄的時間t作為偽數(shù)據(jù)輸出。
由于應(yīng)用是不區(qū)別是通常的數(shù)據(jù)還是偽數(shù)據(jù)就進行動作，因此通 過偽數(shù)據(jù)的輸出能夠按時間正確地再現(xiàn)投影屏1的上述菜單畫面上的 用戶激光進行的操作。
此時，當(dāng)忽視偽數(shù)據(jù)的記錄時間t而高速連續(xù)輸出時，能夠進行 "到頭(頭出L)"的操作。
<3.3功能切換〉
接著，對功能切換進行說明(參照圖16)。
這是一種通過用戶利用激光選擇投影屏1上放映的上述菜單畫面 上的圖標(biāo)來切換成分配給該圖標(biāo)的功能的處理。 <步驟S3 - 3 - 1 >
更具體地說，首先預(yù)先確定各圖標(biāo)的選擇區(qū)域，并存儲其區(qū)域坐 標(biāo)數(shù)據(jù)。
<步驟S3-3-2>
從上述履歷記錄程序接受上述坐標(biāo)履歷數(shù)據(jù)(AGPointX， AGPointY， t)。
<步驟S3 - 3 - 3 >
接著，根據(jù)該坐標(biāo)履歷數(shù)據(jù)(AGPointX， AGPointY， t)判斷激 光是否進入到哪個圖標(biāo)的選擇區(qū)域。只要比較坐標(biāo)數(shù)據(jù)和上述各區(qū)域坐標(biāo)數(shù)據(jù)即可。
《步驟S3 - 3 - 4
如果存在進入的圖標(biāo)，則進一步判斷是否進入該圖標(biāo)的選擇區(qū)域 內(nèi)既定時間以上。只要算出進入到相同圖標(biāo)的選擇區(qū)域內(nèi)的坐標(biāo)履歷 數(shù)據(jù)的時刻數(shù)據(jù)t持續(xù)了多久即可。
《步驟S3 - 3 - 5
然后，如果進入既定時間以上，則判斷為選擇了該圖標(biāo)，并起動 分配給該圖標(biāo)的功能。
由此，只要用戶將激光放在上述菜單畫面上的圖標(biāo)群中所期望的 圖標(biāo)上一定時間就能夠選擇該圖標(biāo)，從而可以起動分配給該圖標(biāo)的功 能。
< 3.4筆描繪>
接著，對筆描繪說明(參照圖17)。
該功能是由激光指示器4向投影屏1進行的描繪功能，由于激光 指示器4起到像筆那樣的作用，因此稱為筆描繪功能。 〈步驟S3-4 - 1, S3-4-2〉
首先，從上述履歷記錄程序依次接受上述坐標(biāo)履歷數(shù)據(jù) (AGPointX， AGPointY, t),生成連接從與最初坐標(biāo)數(shù)據(jù)對應(yīng)的桌面 畫面上的位置起到與下一坐標(biāo)數(shù)據(jù)對應(yīng)的位置為止的位圖數(shù)據(jù)。
通過對各坐標(biāo)數(shù)據(jù)依次重復(fù)該步驟，從而可以進行各坐標(biāo)數(shù)據(jù)按 時刻t的順序連接的描繪(參照圖18 (A))。
<步驟S3-4-3〉
然而，由于坐標(biāo)數(shù)據(jù)是離散的，因此當(dāng)按原樣用直線連接來進行 描繪時，在與坐標(biāo)數(shù)據(jù)對應(yīng)的每個位置上只能描繪曲折的不自然的線。
因此，在本申請發(fā)明中，對離散數(shù)據(jù)實施貝齊爾曲線的插值處理， 能夠進行更自然平滑曲線的描繪。
更具體地說，首先，從4點的坐標(biāo)值中得出貝齊爾曲線描繪所需 的2個控制點的坐標(biāo)，生成曲線。此時，通過進^f亍如相鄰的曲線4皮此 成為切線連續(xù)那樣的處理，能夠得到平滑連續(xù)的曲線(參照圖18(B))。
<步驟S3 - 4 _ 4 >
另外，在本申請發(fā)明中，作為上述插值功能的擴展，還能夠進行 如毛筆那樣的質(zhì)感的描繪。
更具體地說，首先，對于上述曲線，將其控制點在與該曲線垂直 的方向上進行偏置，制作新的曲線。此時的偏置量按照與光點的移動
速度成反比例的方式確定。當(dāng)該偏置曲線增加到多根(例如30根左右) 時，能夠進行宛如用毛筆書寫那樣的質(zhì)感的描繪(參照圖18 (C))。 <3.5鼠標(biāo)仿真〉
接著，對鼠標(biāo)仿真進行說明(參照圖19)。
該功能是由投影屏1上的激光實現(xiàn)與通常鼠標(biāo)功能相同的功能。
<步驟S3 - 5 - 1 >
首先，通過如上所述的激光進行的功能切換來選擇鼠標(biāo)仿真功能。 更具體地說，在上述菜單畫面上的表示鼠標(biāo)仿真功能的鼠標(biāo)圖標(biāo) 的區(qū)域中使激光滯留一定時間，從而選擇鼠標(biāo)仿真功能。 <步驟S3 - 5 - 2 >
當(dāng)選擇了鼠標(biāo)仿真功能時，顯示如圖20所例示的表示"鼠標(biāo)移動，， "單擊""雙擊""右擊""拖拉"的各種鼠標(biāo)功能的圖標(biāo)。 <步驟S3 - 5 - 3 〉
然后，通過在表示期望的鼠標(biāo)功能的圖標(biāo)區(qū)域使激光滯留一定時 間，來選擇該圖標(biāo)，從而能夠執(zhí)行被分配的鼠標(biāo)功能。
例如，如果選擇單擊圖標(biāo)，則在激光指示器5指向投影機屏幕1 的狀態(tài)，能夠通過該激光進行單擊。這些鼠標(biāo)功能與演示軟件或本申 請發(fā)明的軟件功能聯(lián)動，從而當(dāng)單擊時就可以執(zhí)行與單擊對應(yīng)的軟件功能。
<3.6軟件控制器>
接著，對軟件控制器進行說明(參照圖21)。 該功能通過投影屏1上的激光對演示軟件等各種軟件發(fā)送使其執(zhí) 行其具有的功能例如"頁面進送(^一-送J9 )""頁面返回""到頭" "一覽顯示"等的命令以實現(xiàn)軟件的控制。 <步驟S3 - 6 - 1 >
首先，通過如上所述的激光進行的功能切換來選擇軟件控制功能。
更具體地說，在上述菜單畫面上的表示軟件控制功能的圖標(biāo)區(qū)域 使激光滯留一定時間，從而選擇軟件控制功能。
<步驟S3-6-2〉
當(dāng)選擇了軟件控制功能時，顯示如圖22所例示的表示"頁面進送" "頁面返回""到頭""一覽顯示"的各種軟件功能的圖標(biāo)。 <步驟S3-6-3〉
然后，通過在表示期望的軟件功能的圖標(biāo)區(qū)域使激光滯留 一定時 間，來選擇該圖標(biāo)，從而能夠?qū)?zhí)行分配的軟件功能的命令信號在計 算機3內(nèi)發(fā)送到該軟件。
例如，在演示軟件的情況中，如果選擇頁面進送圖標(biāo)，則能夠前 進到下一演示頁。
<3.7半透明顯示〉
最后，對半透明顯示進行說明。
該功能是上述描繪功能的選項功能，將如上所述制作的位圖數(shù)據(jù) 配置在桌面畫面的最前面，且以半透明方式顯示。
由此，用戶在自己操作的應(yīng)用軟件上能夠得到如直接寫入手寫文 字那樣的感覺，從而能夠?qū)崿F(xiàn)使用性能的進一步提高。
《《其他>>
<4.1激光指示器>
在如以上所述的本申請發(fā)明中，使用能夠發(fā)出2色或者3色以上 激光(例如紅和綠)的激光指示器作為激光指示器5，通過使由上述 光點檢測程序進行的光點區(qū)域抽取與這些各色對應(yīng)并使用預(yù)先設(shè)定的 多種閾值進行處理，從而能夠區(qū)分并識別這些各色的激光，由此能夠 在不同的各激光中實現(xiàn)如上所述的高精度跟蹤，還能夠?qū)崿F(xiàn)基于此的 描繪處理等應(yīng)用處理。
<4.2 LED指示器>
另外，本申請發(fā)明除了激光指示器5以外，還能夠適用于來自LED 指示器的LED光的跟蹤。LED指示器是例如在前端部具有LED的筆 型、指示棒型指示器，與激光相同，發(fā)出紅或綠等LED光。當(dāng)然也可 以采用能夠進行2色或者3色以上發(fā)光的指示器。
應(yīng)該特別指出的是，根據(jù)本申請發(fā)明，不管是激光指示器5的激 光，還是LED指示器的LED光，都能夠通過相同的上述系統(tǒng)構(gòu)成、 跟蹤處理、應(yīng)用程序?qū)崿F(xiàn)高精度跟蹤以及高使用性能。
<4,3投影屏〉
對于投影屏1，不僅可以是一般的屏幕方式，而且，不言而喻， 也可以考慮白板或白墻等能夠放映來自投影儀2的圖像的各種方式。 <4.4顯示器>
另外，本申請發(fā)明除了投影屏1以外，還可以原樣地適用于液晶 顯示器、等離子顯示器、投影電視等能夠進行圖像顯示的各種顯示器， 從而能夠?qū)崿F(xiàn)更富變化的演示。
權(quán)利要求
1.一種指示器光跟蹤方法，由照相機對投射到顯示器上的指示器光進行拍攝，根據(jù)所得到的圖像數(shù)據(jù)由計算機跟蹤顯示器上的指示器光，其特征在于，使全黑圖像和位于其四角的白正方形圖像投影到顯示器上，對放映有這些全黑圖像和白正方形圖像的顯示器進行拍攝，從所得到的圖像數(shù)據(jù)抽取與所述白正方形圖像對應(yīng)的區(qū)域，算出抽取的區(qū)域的中心坐標(biāo)(x，y)，從所算出的中心坐標(biāo)(x，y)和所述白正方形圖像的中心坐標(biāo)(X，Y)算出對表示顯示器上的指示器光位置的坐標(biāo)進行使用射影變換的失真校正時所需的參數(shù)。
2. —種指示器光跟蹤方法，由照相機對投射到顯示器上的指示器 光進行拍攝，根據(jù)所得到的圖像數(shù)據(jù)由計算機跟蹤顯示器上的指示器 光，其特征在于，對拍攝放映有指示器光的顯示器的照相機的快門速度、曝光、伽 瑪值的某一個或者兩個以上進行調(diào)整，獲取只有指示器光被強烈放映 的圖像數(shù)據(jù)。
3. —種指示器光跟蹤方法，由照相機對投射到顯示器上的指示器 光進行拍攝，根據(jù)所得到的圖像數(shù)據(jù)由計算機跟蹤顯示器上的指示器 光，其特征在于，對所述圖像數(shù)據(jù)實施層次處理，使該圖像數(shù)據(jù)中包含的指示器光 的光點區(qū)域擴大。
4. 一種指示器光跟蹤程序，為了根據(jù)對投射到顯示器上的指示器 光進行照相機拍攝所得到的圖像數(shù)據(jù)來跟蹤顯示器上的指示器光，使 計算機實現(xiàn)如下功能從對放映有全黑圖像和位于其四角的白正方形圖像的顯示器進行照相機拍攝所得到的圖像數(shù)據(jù)中抽取與所述白正方形圖像對應(yīng)的區(qū)域；算出抽取的區(qū)域的中心坐標(biāo)(x, y);以及從所算出的中心坐標(biāo)(x， y)和所述白正方形圖像的中心坐標(biāo)(X， Y)算出對表示顯示器上的指示器光位置的坐標(biāo)進行使用射影變換的 失真校正時所需的參數(shù)。
5. —種指示器光跟蹤程序，為了根據(jù)對投射到顯示器上的指示器 光進行照相機拍攝所得到的圖像數(shù)據(jù)來跟蹤顯示器上的指示器光，使 計算機實現(xiàn)如下功能對拍攝放映有指示器光的顯示器的照相機的快門速度、曝光、伽 瑪值的某一個或者兩個以上進行調(diào)整，以獲取只有指示器光被強烈放 映的圖像數(shù)據(jù)。
6. —種指示器光跟蹤程序，為了根據(jù)對投射到顯示器上的指示器 光進行照相機拍攝所得到的圖像數(shù)據(jù)來跟蹤顯示器上的指示器光，使 計算機實現(xiàn)如下功能對所述圖像數(shù)據(jù)實施層次處理，以使所述圖像數(shù)據(jù)中包含的指示 器光的光點區(qū)域擴大。
7. —種計算機可讀取的記錄媒體，記錄了權(quán)利要求4至6任一項 所述的指示器光跟蹤程序。
全文摘要
一種指示器光跟蹤方法，通過照相機對投射到投影屏或大型液晶顯示器等各種顯示器上來自激光指示器或LED指示器的指示器光進行拍攝，根據(jù)所得到的圖像數(shù)據(jù)由計算機跟蹤顯示器上的指示器光，其中，即使圖像放映在顯示器上時也可以實現(xiàn)高精度的跟蹤。使全黑圖像和位于其四角的白正方形圖像投影到顯示器上，對放映有這些全黑圖像和白正方形圖像的顯示器進行拍攝，從所得到的圖像數(shù)據(jù)抽取與所述白正方形圖像對應(yīng)的區(qū)域，算出抽取區(qū)域的中心坐標(biāo)(x，y)，根據(jù)所算出的中心坐標(biāo)(x，y)和所述白正方形圖像的中心坐標(biāo)(X，Y)算出對表示顯示器上的指示器光位置的坐標(biāo)使用射影變換進行失真校正時所需的參數(shù)。
文檔編號G06F3/041GK101116049SQ20068000441
公開日2008年1月30日 申請日期2006年2月9日 優(yōu)先權(quán)日2005年2月10日
發(fā)明者田川欣哉 申請人:有限會社策劃設(shè)計工程