專(zhuān)利名稱(chēng)：使用相機(jī)和輸出標(biāo)記的指點(diǎn)裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及如鼠標(biāo)或操縱桿等指點(diǎn)裝置，其具有用于捕捉如PC監(jiān)視器等顯示器
的圖像的相機(jī)以及用于辨識(shí)并跟蹤指點(diǎn)光標(biāo)或標(biāo)記的圖標(biāo)的圖像處理構(gòu)件。本發(fā)明的指點(diǎn)
裝置可以TV遙控器或數(shù)字鐵筆的形式來(lái)使用。存在類(lèi)似的發(fā)明(第10-0532525-0000號(hào) 韓國(guó)專(zhuān)禾U，使用相機(jī)的三維指點(diǎn)裝置(3 dimensional pointing device using camera))。 所述類(lèi)似的發(fā)明具有這樣的問(wèn)題其需要通過(guò)相機(jī)來(lái)捕捉附接在顯示器上的光學(xué)標(biāo)記(如 紅外線(xiàn)LED等光源)，且電子黑板的指點(diǎn)裝置具有這樣的問(wèn)題其需要超聲波傳感器或紅外 線(xiàn)傳感器。PDA或平板PC的指點(diǎn)裝置具有這樣的問(wèn)題其需要壓力傳感器或觸摸傳感器。 如OLED等便攜式柔性薄膜顯示器難以在其上采用此類(lèi)常規(guī)的沉重且龐大的傳感器系統(tǒng)。

發(fā)明內(nèi)容
技術(shù)問(wèn)題 為了解決所述問(wèn)題，本發(fā)明的目標(biāo)是提供不需要任何附接在顯示器上的傳感器系 統(tǒng)(如紅外線(xiàn)LED、超聲波傳感器、紅外線(xiàn)傳感器和壓力傳感器)的指點(diǎn)裝置。
技術(shù)解決方案 本發(fā)明提供使用顯示在屏幕上的光標(biāo)圖標(biāo)或圖案作為標(biāo)記來(lái)代替如紅外線(xiàn)光源
或超聲波源等物理標(biāo)記的指點(diǎn)裝置。 有利效用 通過(guò)使用本發(fā)明的指點(diǎn)裝置，有可能在不在包含如OLED等柔性顯示器的顯示器 上附接物理傳感器系統(tǒng)或跟蹤標(biāo)記的情況下，移動(dòng)如鼠標(biāo)或操縱桿光標(biāo)等指點(diǎn)光標(biāo)。


圖1是作為平板PC和筆型相機(jī)的本發(fā)明的實(shí)施例。 圖2是在向左方向上移動(dòng)的箭頭標(biāo)記。 圖3是在向左下方向上移動(dòng)的箭頭標(biāo)記。 圖4是二維顯示單元陣列。 圖5是標(biāo)記圖像的實(shí)例。 圖6是圖5的負(fù)圖像。 圖7是正在輸出二維圖案單元陣列的標(biāo)記圖像的顯示器?！磮D中符號(hào)〉 mo :監(jiān)視器，mk :標(biāo)記 ca:相機(jī)，st:鐵筆 r:鐵筆的旋轉(zhuǎn) mkb :二維圖案單元陣列的標(biāo)記圖像
具體實(shí)施方式

實(shí)施例1 本發(fā)明的指點(diǎn)裝置包含如常規(guī)顯示器(計(jì)算機(jī)監(jiān)視器、TV監(jiān)視器、射束投影屏幕) 等標(biāo)記輸出部分、用于捕捉所述標(biāo)記輸出部分的相機(jī)部分以及從所捕捉到的圖像辨識(shí)標(biāo)記 且產(chǎn)生指點(diǎn)信號(hào)的圖像處理部分。相機(jī)部分的外觀可為用于數(shù)字TV的遙控器、用于平板PC 的鐵筆或用于射擊游戲的槍支控制器。圖像處理部分可為DSP(數(shù)字信號(hào)處理器)、微控制 器或計(jì)算機(jī)中的圖像處理程序。所述標(biāo)記可為具有箭頭形狀的常規(guī)鼠標(biāo)光標(biāo)或任何類(lèi)型的 圖案，如+、手或某種用戶(hù)定義的游戲圖標(biāo)。如果標(biāo)記可由圖像處理部分辨識(shí)，那么標(biāo)記的大 小、形狀和顏色沒(méi)有限制。圖1繪示本發(fā)明的指點(diǎn)裝置，其為平板PC的顯示器(mo)上的筆 型相機(jī)(ca)。相機(jī)捕捉標(biāo)記(mr)，其為顯示器上的箭頭圖標(biāo)(mk)，如微軟視窗(Microsoft Windows)的常規(guī)鼠標(biāo)光標(biāo)圖標(biāo)。將所捕捉到的圖像(運(yùn)動(dòng)視頻)傳送到圖像處理部分，其 辨識(shí)所述標(biāo)記且產(chǎn)生指點(diǎn)信號(hào)。為了進(jìn)行指點(diǎn)工作，首先，用戶(hù)必須將筆型相機(jī)移動(dòng)到顯示 器的光標(biāo)圖標(biāo)上，使得光標(biāo)圖標(biāo)可由筆型相機(jī)捕捉。而且，如果用戶(hù)通過(guò)在顯示器上書(shū)寫(xiě)字 符或繪制多邊形而移動(dòng)筆型相機(jī)，那么標(biāo)記在所捕捉圖像中的位置從圖像的中心移動(dòng)到圖 像的邊界，且標(biāo)記在所捕捉圖像中的移動(dòng)(換句話(huà)說(shuō)，運(yùn)動(dòng)向量)可由圖像處理部分通過(guò)將 先前幀圖像與當(dāng)前幀圖像進(jìn)行比較而辨識(shí)。圖像處理部分將所檢測(cè)到的運(yùn)行向量傳送到標(biāo) 記輸出部分，且標(biāo)記輸出部分產(chǎn)生控制信號(hào)以將標(biāo)記(光標(biāo)圖標(biāo))移回到所捕捉圖像的中 心，使得標(biāo)記跟隨筆型相機(jī)的移動(dòng)。舉例來(lái)說(shuō)，如果圖1中的筆型相機(jī)在x方向(dx)上移 動(dòng)，那么所捕捉圖像中的標(biāo)記在-x方向(-dx)上移動(dòng)，如圖2中所示，其中x方向是水平的 且y方向是垂直的，如圖1中所示。接著，圖像處理部分產(chǎn)生信號(hào)，使得標(biāo)記輸出部分可增 加標(biāo)記的x坐標(biāo)，其中增量的量與所捕捉圖像的中心和標(biāo)記在所捕捉圖像中的位置之間的 距離成比例。換句話(huà)說(shuō)，圖像處理部分找到標(biāo)記在所捕捉圖像中的運(yùn)動(dòng)向量，且標(biāo)記輸出部 分改變標(biāo)記在所找到的運(yùn)動(dòng)向量的負(fù)方向上的坐標(biāo)。在微軟視窗中，光標(biāo)的此移動(dòng)可通過(guò) 使用視窗API(應(yīng)用程序接口)來(lái)控制，所述視窗API可讀取并改變鼠標(biāo)光標(biāo)的坐標(biāo)。如果 所捕捉圖像中的標(biāo)記位于所捕捉圖像的中心，那么運(yùn)動(dòng)向量為零向量且不存在標(biāo)記的位置 改變。圖3繪示標(biāo)記從先前幀中的虛線(xiàn)箭頭到當(dāng)前幀中的實(shí)線(xiàn)箭頭的運(yùn)動(dòng)向量。通過(guò)辨識(shí) 標(biāo)記的大小和形狀失真，三維指點(diǎn)也是可能的。舉例來(lái)說(shuō)，較小的標(biāo)記表示筆型相機(jī)與顯 示器之間的較大距離，且較大標(biāo)記表示筆型相機(jī)與顯示器之間的較小距離。標(biāo)記的此大小 信息可用作鼠標(biāo)光標(biāo)(x，y)的另一坐標(biāo)(z)。標(biāo)記在所捕捉圖像中的方向也可用作另一坐 標(biāo)(圖1中的旋轉(zhuǎn)角度r)?？赏ㄟ^(guò)辨識(shí)含有如矩形或三角形的頂點(diǎn)等特征點(diǎn)的標(biāo)記的失 真來(lái)檢測(cè)筆型相機(jī)的觀看方向并將其用作指點(diǎn)信號(hào)。此失真分析和計(jì)算相機(jī)與特征點(diǎn)之間 的相對(duì)方向是被稱(chēng)為圖像處理技術(shù)中的透視n點(diǎn)問(wèn)題的眾所周知的技術(shù)，且可在http:〃 homepages.inf. ed. ac. uk/rbf/CVonline/LOCAL COPIES/MARBLE/high/。ia/solving. htm 中找到詳細(xì)描述。 如果標(biāo)記在筆型相機(jī)的觀看方向之外，那么圖像處理部分無(wú)法從所捕捉圖像檢測(cè) 所述標(biāo)記，且標(biāo)記的移動(dòng)停止。為了繼續(xù)指點(diǎn)程序，用戶(hù)必須將筆型相機(jī)搬運(yùn)到標(biāo)記處，并 改變筆型相機(jī)的觀看方向，使得所述標(biāo)記可由筆型相機(jī)捕捉。通過(guò)向筆型相機(jī)添加復(fù)位按 鈕，可去除此搬運(yùn)動(dòng)作。如果用戶(hù)按壓復(fù)位按鈕，那么標(biāo)記改變其位置。更具體地說(shuō)，標(biāo)記 輸出部分通過(guò)復(fù)位按鈕的觸發(fā)信號(hào)來(lái)依序改變標(biāo)記的位置，如圖4中所示。標(biāo)記以下列方式水平移動(dòng) 從(0，0)到(5，0)，且
從(O，l)到(5，1)，且
從(0，2)到(5，2)，且
從(0，3)到(5，3)，且
從(0，4)到(5，4)，且 且最后從(0，5)到(5， 5)。換句話(huà)說(shuō)，標(biāo)記依序掃描所有單元。如果標(biāo)記圖像在掃 描期間被圖像處理部分捕捉并辨識(shí)到，那么此時(shí)停止掃描且開(kāi)始指點(diǎn)程序。圖4中的6X6 個(gè)顯示單元是實(shí)例，且必須針對(duì)給定顯示器和相機(jī)來(lái)調(diào)整單元的真實(shí)數(shù)目。推薦快速移動(dòng) 所述標(biāo)記且使用快速相機(jī)，使得人眼無(wú)法辨識(shí)所述掃描。
本發(fā)明的模式
實(shí)施例2 以上實(shí)施例1是通過(guò)觸摸顯示器來(lái)使用的筆型相機(jī)。如果相機(jī)遠(yuǎn)離顯示器，那么 所捕捉標(biāo)記太小而不能被辨識(shí)。在此情況下，推薦使用相機(jī)的自動(dòng)對(duì)焦系統(tǒng)且配合相機(jī)使 用伸縮式鏡頭或變焦距鏡頭。通過(guò)使用此光學(xué)設(shè)備，有可能將本發(fā)明的指點(diǎn)裝置用作用于 平板PC的電子筆和用于數(shù)字TV的遙控器。
實(shí)施例3 以上實(shí)施例1中的標(biāo)記是固定圖案，但在此實(shí)施例中，標(biāo)記是整個(gè)顯示圖像，且必 須調(diào)整相機(jī)與顯示器之間的距離，使得可捕捉整個(gè)顯示圖像。標(biāo)記輸出部分包含圖像傳送 部分，其將顯示圖像傳送到圖像處理部分。圖像處理部分通過(guò)將所捕捉圖像的子區(qū)與所傳 送的顯示圖像進(jìn)行比較來(lái)從所捕捉圖像找出顯示區(qū)(其被稱(chēng)為基于模型的視覺(jué))。在微軟 視窗XP中，按壓計(jì)算機(jī)鍵盤(pán)的打印屏幕Sys Rq鍵將捕捉顯示圖像，且將圖像存儲(chǔ)到剪貼板 中。此圖像傳送可通過(guò)軟件借助模擬按鍵或通過(guò)使用裝置驅(qū)動(dòng)器來(lái)進(jìn)行。圖像傳送部分還 可由硬件實(shí)施。圖像處理部分從所找到的顯示中找出特征點(diǎn)，且可通過(guò)使用透視n點(diǎn)問(wèn)題 的公式來(lái)獲得相機(jī)與顯示器之間的相對(duì)距離和方向，且此距離和方向信息可用于產(chǎn)生指點(diǎn) 信號(hào)。第10-0532525-0000號(hào)韓國(guó)專(zhuān)利是借助于分析矩形的特征點(diǎn)的三維指點(diǎn)裝置。本發(fā) 明的指點(diǎn)裝置實(shí)時(shí)地從顯示圖像選擇特征點(diǎn)，且特征點(diǎn)對(duì)于每一幀并不固定?；谀Ｐ偷?視覺(jué)是用以找出已知模型(所傳送的顯示圖像)與給定圖像(相機(jī)所捕捉到的圖像)之間 的對(duì)應(yīng)關(guān)系的技術(shù)，且在大衛(wèi)*A *福塞斯(David A.Forsyth)和吉恩*龐塞(Jean Ponce) 的計(jì)算機(jī)視覺(jué)——現(xiàn)代方法(ISBN :0-13-085198-1)的第18章中公開(kāi)。
實(shí)施例4 如果顯示的背景較簡(jiǎn)單(例如，射束投射到白墻上)，那么從所捕捉圖像檢測(cè)顯示 區(qū)是簡(jiǎn)單的程序，但如果顯示的背景不簡(jiǎn)單，那么從所捕捉圖像檢測(cè)顯示區(qū)并不如此簡(jiǎn)單。 為了容易地從所捕捉圖像檢測(cè)顯示區(qū)，可將閃光產(chǎn)生部分添加到實(shí)施例3的標(biāo)記輸出部 分，且可將差異圖像計(jì)算部分添加到實(shí)施例3的圖像處理部分。更具體地說(shuō)，標(biāo)記輸出部分 針對(duì)每個(gè)偶數(shù)幀(0、2、4、……)輸出空白圖像，且針對(duì)每個(gè)奇數(shù)幀(1、3、5……)輸出正常 圖像。(此奇數(shù)和偶數(shù)幀是實(shí)例，且在真實(shí)實(shí)施方案中，有可能使用0、4、8、……作為偶數(shù) 幀，且使用1、2、3、5、6、7、……作為奇數(shù)幀，換句話(huà)說(shuō)，可在真實(shí)實(shí)施方案中調(diào)整幀頻率。) 空白圖像表示其所有像素均具有相同亮度和顏色的圖像。推薦使顯示的幀速率(每秒幀數(shù)
6目)保持較大，使得人眼無(wú)法辨識(shí)到閃光，且也使相機(jī)的幀速率保持較大，使得相機(jī)可捕捉 顯示的偶數(shù)和奇數(shù)幀。圖像處理部分獲得先前幀的所捕捉圖像與當(dāng)前幀的所捕捉圖像之間 的差異圖像。差異圖像是圖像處理技術(shù)中眾所周知的概念，其像素值被定義為兩個(gè)圖像的
兩個(gè)對(duì)應(yīng)像素之間的差異。(兩個(gè)圖像的兩個(gè)對(duì)應(yīng)像素意味著兩個(gè)像素的(x，y)位置是相 同的。)圖像處理部分所計(jì)算的差異圖像的非零像素對(duì)應(yīng)于閃光顯示區(qū)，且差異圖像的零像 素對(duì)應(yīng)于顯示的背景(非閃光區(qū))。換句話(huà)說(shuō)，可通過(guò)計(jì)算差異圖像并從差異圖像選擇非零 像素來(lái)檢測(cè)閃光顯示。實(shí)際上，如果相機(jī)未固定，那么顯示的背景的邊緣線(xiàn)可對(duì)應(yīng)于非零像 素，但可通過(guò)使用高速閃光頻率和高速相機(jī)來(lái)使此些非零像素減到最少。差異圖像的非零 像素的區(qū)是所捕捉圖像中用于閃光顯示區(qū)的候選者，且可由基于模型的視覺(jué)來(lái)確定比實(shí)施 例3更精確的顯示區(qū)?？蓪⑺业降娘@示區(qū)與所傳送的顯示圖像進(jìn)行比較，且可如實(shí)施例 3那樣產(chǎn)生指點(diǎn)信號(hào)。
實(shí)施例5 實(shí)施例4的用于每個(gè)偶數(shù)幀(0、2、4……)的空白圖像可由可辨識(shí)圖案(標(biāo)記)代 替，且圖像處理部分可通過(guò)僅分析偶數(shù)幀的所捕捉圖像來(lái)辨識(shí)所述圖案。圖5繪示所述圖 案(標(biāo)記)的實(shí)例，其含有開(kāi)口矩形以及位于矩形中心處的+。所述+標(biāo)記表示標(biāo)記的中 心，且矩形可用于三維指點(diǎn)。不存在對(duì)圖案的大小、形狀和顏色的限制。舉例來(lái)說(shuō)，多邊形、 線(xiàn)、條形碼、字母和數(shù)字可為此圖案。辨識(shí)字符是被稱(chēng)為OCR(光學(xué)字符辨識(shí))的眾所周知 的技術(shù)。 實(shí)施例6 實(shí)施例5的可辨識(shí)圖案可被分裂成圖案圖像和所述圖案圖像的負(fù)圖像。如果標(biāo) 記輸出部分以足夠高的頻率依序且重復(fù)輸出圖案圖像(針對(duì)0、3、6、……幀)、負(fù)圖案圖像 (針對(duì)1、4、7、……幀)和正常圖像(針對(duì)2、5、8、……幀)，那么人眼無(wú)法辨識(shí)所述圖案 圖像，但可僅辨識(shí)正常圖像，因?yàn)閳D案和其負(fù)圖案最終得到時(shí)間平衡。但是，高速相機(jī)可捕 捉所述圖案圖像且可通過(guò)圖像處理部分來(lái)辨識(shí)所述圖案圖像。圖5和圖6是圖案圖像和其 負(fù)圖像的實(shí)例。
實(shí)施例7 實(shí)施例4到6的標(biāo)記圖像可為二維圖案陣列，其中每一圖案表示顯示的二維位置 (x，y)。圖案可為二維條形碼或數(shù)字。圖7繪示二維單元陣列，其中每一單元含有圖案?？?通過(guò)用筆型相機(jī)采用此些圖案單元作為標(biāo)記圖像來(lái)去除實(shí)施例1的復(fù)位按鈕。單元中的所 捕捉圖案圖像可由圖像處理部分辨識(shí)且可轉(zhuǎn)換為對(duì)應(yīng)于指點(diǎn)信號(hào)的二維位置(x，y)。存在 類(lèi)似的發(fā)明PCT/US1999/030507，其呈現(xiàn)具有特殊墊的用于輸出絕對(duì)坐標(biāo)的鼠標(biāo)，其中所述 墊含有圖案且可由鼠標(biāo)中的相機(jī)辨識(shí)。除了標(biāo)記之外，當(dāng)前實(shí)施例與實(shí)施例5到6之間沒(méi) 有差異。不存在對(duì)單元中的圖案的限制。圖案可為字母、數(shù)字、二維條形碼。通過(guò)將矩形包 含到圖案中且對(duì)其進(jìn)行辨識(shí)，有可能通過(guò)透視n點(diǎn)問(wèn)題的公式來(lái)產(chǎn)生三維指點(diǎn)信號(hào)。
權(quán)利要求
一種指點(diǎn)裝置，其包括標(biāo)記輸出部分，其用于顯示標(biāo)記；相機(jī)部分，其用于捕捉所述標(biāo)記輸出部分的圖像；以及圖像處理部分，其用于從所述相機(jī)部分的所述所捕捉圖像辨識(shí)所述標(biāo)記且產(chǎn)生指點(diǎn)信號(hào)。
2. 根據(jù)權(quán)利要求l所述的指點(diǎn)裝置， 所述標(biāo)記為指點(diǎn)光標(biāo)的圖標(biāo)，所述圖像處理部分檢測(cè)從所捕捉圖像的中心到所述圖標(biāo)在所述所捕捉圖像中的位置 的向量，且所述標(biāo)記輸出部分控制圖標(biāo)的所述位置，使得通過(guò)在所述向量的相反方向上移動(dòng)所 述圖標(biāo)來(lái)使圖標(biāo)在所捕捉圖像中的位置保持處于所述所捕捉圖像的中心。
3. 根據(jù)權(quán)利要求2所述的指點(diǎn)裝置，所述圖像處理部分檢測(cè)所述標(biāo)記的旋轉(zhuǎn)角度，且輸出與所述角度成比例的指點(diǎn)信號(hào)。
4. 根據(jù)權(quán)利要求2所述的指點(diǎn)裝置，所述圖像處理部分檢測(cè)所述標(biāo)記的大小，且輸出與所述大小成比例的指點(diǎn)信號(hào)。
5. 根據(jù)權(quán)利要求2所述的指點(diǎn)裝置，所述圖像處理部分通過(guò)檢測(cè)標(biāo)記的失真來(lái)檢測(cè)所述相機(jī)與所述標(biāo)記之間的方向向量， 且輸出與所述方向向量成比例的所述指點(diǎn)信號(hào)。
6. 根據(jù)權(quán)利要求1所述的指點(diǎn)裝置， 所述標(biāo)記是整個(gè)顯示圖像；所述標(biāo)記輸出部分包含用于將所述顯示圖像傳送到所述圖像處理部分的圖像傳送部分；所述圖像處理部分通過(guò)將子區(qū)的候選者與所述所傳送的顯示圖像進(jìn)行比較來(lái)檢測(cè)對(duì) 應(yīng)于所述顯示的所述子區(qū)，且產(chǎn)生由顯示在所述所捕捉圖像中的位置、大小和失真決定的 所述指點(diǎn)信號(hào)。
7. 根據(jù)權(quán)利要求6所述的指點(diǎn)裝置，所述標(biāo)記輸出部分依序且重復(fù)輸出空白圖像和正常圖像；所述圖像處理部分通過(guò)從差異圖像檢測(cè)非零像素來(lái)從所述所捕捉圖像檢測(cè)所述顯示， 所述差異圖像的像素值是當(dāng)前幀的所捕捉圖像與先前幀的所捕捉圖像的差異。
8. 根據(jù)權(quán)利要求1所述的指點(diǎn)裝置， 所述標(biāo)記輸出部分依序且重復(fù)輸出標(biāo)記圖像和正常圖像，所述圖像處理部分從所述所捕捉圖像檢測(cè)所述標(biāo)記，且產(chǎn)生由標(biāo)記在所述所捕捉圖像 中的位置、大小和失真決定的所述指點(diǎn)信號(hào)。
9. 根據(jù)權(quán)利要求l所述的指點(diǎn)裝置，所述標(biāo)記輸出部分依序且重復(fù)輸出所述標(biāo)記圖像、所述標(biāo)記圖像的負(fù)圖像和正常圖像，所述圖像處理部分從所述所捕捉圖像檢測(cè)所述標(biāo)記，且產(chǎn)生由標(biāo)記在所述所捕捉圖像 中的位置、大小和失真決定的所述指點(diǎn)信號(hào)。
10. 根據(jù)權(quán)利要求8到9中任一權(quán)利要求所述的指點(diǎn)裝置，所述標(biāo)記是二維單元陣列，其中每一單元含有表示所述單元的位置的圖案， 所述圖像處理部分辨識(shí)所述單元圖案，且產(chǎn)生由所述圖案決定的所述指點(diǎn)信號(hào)。
全文摘要
如鼠標(biāo)或操縱桿等指點(diǎn)裝置包括用于捕捉顯示屏的相機(jī)以及用于從所捕捉圖像辨識(shí)指點(diǎn)光標(biāo)圖標(biāo)或標(biāo)記并跟蹤指點(diǎn)光標(biāo)圖標(biāo)或標(biāo)記且產(chǎn)生指點(diǎn)信號(hào)的圖像處理構(gòu)件。本發(fā)明的指點(diǎn)裝置可與不具有如超聲波傳感器、紅外線(xiàn)傳感器或觸摸傳感器等額外跟蹤構(gòu)件的任何類(lèi)型的顯示器一起使用。本發(fā)明的指點(diǎn)裝置包含標(biāo)記輸出部分、用于捕捉所述標(biāo)記輸出部分的相機(jī)部分以及用于從所捕捉圖像辨識(shí)所述標(biāo)記輸出部分并產(chǎn)生指點(diǎn)信號(hào)的圖像處理部分。
文檔編號(hào)G06F3/033GK101730876SQ200880017306
公開(kāi)日2010年6月9日 申請(qǐng)日期2008年5月25日 優(yōu)先權(quán)日2007年5月26日
發(fā)明者李汶基 申請(qǐng)人:李汶基