專利名稱：顯示裝置和控制方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種 具備觸摸面板等顯示部的顯示裝置。
背景技術(shù)：
對于能觸摸輸入的顯示裝置，典型的是能夠通過在LCDCLiquidCrystal Display)
上層疊一張電阻膜方式或靜電容量方式等的薄片來實現(xiàn)。這種顯示裝置被應(yīng)用于銀行等 設(shè)置的ATM、用來購買車票等的售票機、汽車導(dǎo)航系統(tǒng)、便攜設(shè)備、游戲設(shè)備等各種情 況，將其作為能夠直觀輸入的接口?；旧?，對于這種能觸摸輸入的顯示裝置，用戶都能以一點或多點輸入。該顯 示裝置能判斷是否觸碰了顯示畫面的某個位置。作為實現(xiàn)觸摸輸入的技術(shù)已知如下的方式除了電阻膜方式、靜電容量方式、 紅外線方式、電磁感應(yīng)方式、超聲波方式以外，還有通過對光傳感器內(nèi)置LCD拍攝的圖 像進行解析從而檢測觸摸位置來實現(xiàn)觸摸輸入的方式。例如，JP特開2006-244446號公 報(專利文獻1)中對光傳感器內(nèi)置LCD進行了說明。這樣，周知存在多個用于檢測觸摸位置的技術(shù)。但是，僅僅是觸摸位置的檢 測，還無法判別相對于觸摸位置的觸摸操作方向。因此，在JP特開2006-47534號公報(專利文獻2)中提出了如下的技術(shù)對于 從左右觀看的人能顯示不同圖像的分屏(dual view)顯示LCD型車載用導(dǎo)航系統(tǒng)中，判別 是從駕駛席和助手席的其中哪一個對顯示畫面進行了觸摸操作，并根據(jù)其判別結(jié)果進行 顯示控制。該系統(tǒng)通過對車內(nèi)的椅子或方向盤接地的人體由駕駛席和助手席將各自不同 的信號傳達至顯示裝置，以此判別坐在左右哪個位置的人進行了觸摸操作。專利文獻1 JP特開2006-244446號公報專利文獻2 JP特開2006-47534號公報但是，在專利文獻2提出的系統(tǒng)中，人需要一直坐在椅子上、或者一直觸摸方 向盤等，接觸顯示裝置以外添置的信號傳達裝置。因此，上述系統(tǒng)僅在特定的狀況下能 判別觸摸操作方向。此外，在顯示裝置外部還需要用于傳達信號的大規(guī)模的裝置。因 此，對于在戶外手持的情況下利用的移動設(shè)備等將無法應(yīng)用上述系統(tǒng)。在專利文獻2中除了通過人體傳達判別信號的方式以外，還提出了如下的方 式在車內(nèi)的后方頂部設(shè)置照相機，對從助手席以及駕駛席后方拍攝到顯示裝置的顯示 畫面的圖像進行解析，以此來判別觸摸操作方向的方式。但是，在該方式中，在由頭部或背部等障礙物擋住了觸摸的部分、或人與人的 手交錯的情況下，上述系統(tǒng)正確檢測出是從哪個方向進行的觸摸將很困難。此外，與在 顯示裝置外部設(shè)置信號傳達裝置的方式相同，移動設(shè)備等在外部手持的情況下將無法應(yīng) 用該方法。

發(fā)明內(nèi)容
本發(fā)明是為解決上述問題而提出的，其目的在于提供一種顯示裝置和該顯示裝 置中的控制方法，在檢測到觸摸操作的情況下，顯示裝置其自身能確定觸摸操作方向 (觸摸操作中相對于顯示畫面的觸摸方向)。本發(fā)明所涉及的顯示裝置具備顯示部，具有顯示畫面；攝像部，從所述顯示 部內(nèi)部拍攝對所述顯示畫面的觸摸操作；觸摸位置檢測部，檢測所述觸摸操作中對所述 顯示畫面的觸摸位置；以及方向判別部，根據(jù)所述攝像部的攝像而得到的圖像，判別所 述觸摸操作中相對于所述顯示畫面的觸摸方向。優(yōu)選所述方向判別部根據(jù)所述攝像部進行攝像而得到的圖像之中以所述觸摸位 置為基準(zhǔn)的規(guī)定范圍的圖像，判別所述觸摸方向。優(yōu)選所述方向判別部在由所述攝像部拍攝到為了所述觸摸操作而接觸所述顯示 畫面的手指或觸摸部件時，根據(jù)所述觸摸位置的周邊圖像的濃度變化，判別所述觸摸方向。優(yōu)選所述攝像部是光傳感器或溫度傳感器。優(yōu)選所述觸摸位置檢測部根據(jù)所述攝像部拍攝的圖像檢測觸摸位置。根據(jù)本發(fā)明，從顯示部的內(nèi)部拍攝對顯示畫面的觸摸操作，根據(jù)其攝像圖像判 別相對于觸摸位置的觸摸操作方向。因此，在檢測到觸摸操作的情況下，能以顯示裝置 自身確定觸摸操作方向。


圖1是表示實施方式1中的顯示裝置1的概略結(jié)構(gòu)的框圖。圖2是用于說明光傳感器內(nèi)置LCD功能的圖。圖3是表示攝像圖像的例子的圖。圖4是用于說明通過確定濃度梯度方向來判別觸摸操作方向的判別方法原理的圖。圖5是用于說明觸摸操作方向判別處理Pl的流程圖。圖6是用于說明觸摸操作方向判別處理Pl的概念圖。圖7是表示用于決定觸摸操作方向的基準(zhǔn)的處理步驟的流程圖。圖8是用于說明根據(jù)邊沿特征量分布判別觸摸操作方向的判別方向原理的圖。圖9是用于說明觸摸操作方向判別處理P2的流程圖。圖10是用于說明指紋特征的圖。圖11是將顯示裝置應(yīng)用于游戲機時的畫面圖。圖12是操作權(quán)限數(shù)據(jù)的概念圖。圖13是表示顯示裝置用于判定棋子操作的有效/無效的處理步驟的流程圖。圖14是表示設(shè)置了靜電容量方式的觸摸面板的顯示裝置的概略結(jié)構(gòu)的框圖。圖15是表示本發(fā)明的實施方式2中的顯示裝置的概略結(jié)構(gòu)框圖。圖16是表示LCD的顯示畫面例的圖。圖17是用于說明“基于橢圓長軸方向的判別方法”的原理的圖。圖18是表示根據(jù)“基于橢圓長軸方向 的判別方法”的處理步驟的流程圖。圖中
1、2、11-顯示裝置10、18-光傳感器內(nèi)置LCD14-觸摸位置檢測部15-觸摸操作方向判別部17-靜電容量方式觸摸面板20-光傳感器內(nèi)置分屏顯示LCD
具體實施例方式以下，參照附圖對本發(fā)明的實施方式進行說明。在以下的說明中，對相同的部件以及結(jié)構(gòu)要素附于相同的符號，并設(shè)它們的名稱以及功能也相同。(實施方式1)圖1是表示本發(fā)明的實施方式1的顯示裝置1的概略結(jié)構(gòu)框圖。顯示裝置1例 如可用于游戲機。顯示裝置1具備光傳感器內(nèi)置LCD(液晶面板/顯示器)10，該光傳感器內(nèi)置 LCDlO在各像素中內(nèi)置光傳感器，不僅能顯示還能進行圖像拍攝。顯示裝置1還具備觸 摸位置檢測部14，其對光傳感器內(nèi)置LCDlO拍攝的圖像進行解析從而檢測觸摸位置。顯 示裝置1還具備觸摸方向判別部15，其對光傳感器內(nèi)置LCDlO拍攝的圖像進行解析，從 而判別從哪個方向進行的觸摸。顯示裝置1還具備控制部19，其接受表示觸摸位置和觸 摸操作方向的數(shù)據(jù)，進行顯示裝置1的全部控制。顯示裝置1還具備存儲部12，其保存 數(shù)據(jù)和命令。顯示裝置1還具備圖像生成部13，其生成對畫面顯示的圖像。當(dāng)檢測到對顯示畫面的觸摸操作時，光傳感器內(nèi)置LCDlO從顯示畫面內(nèi)部對觸 摸操作時的圖像進行拍攝。光傳感器內(nèi)置LCDlO將拍攝到的圖像輸入至觸摸位置檢測部 14。觸摸位置檢測部14通過對圖像進行解析來檢測觸摸位置。作為檢測觸摸位置的方法，例如采用邊沿特征量提取、圖案匹配等技術(shù)。這 樣，通過圖像處理進行觸摸位置檢測，即使同時觸摸畫面的多個位置，觸摸位置檢測部 14也能檢測出這些多個觸摸位置。因此，操作者能夠同時操作畫面上顯示的多個操作對 象。此外，也能多個人同時進行操作。觸摸操作方向判別部15以觸摸位置檢測部14檢測出的觸摸位置為基準(zhǔn)，對光傳 感器內(nèi)置LCDlO所得到的圖像進行解析。通過該解析，觸摸操作方向判別部15判別觸 摸操作方向?？刂撇?9利用觸摸位置檢測部14所得到的觸摸位置、和觸摸操作方向判別部15 所得到的觸摸操作方向，例如進行作為游戲機的顯示裝置1的控制。作為光傳感器內(nèi)置LCD10，對應(yīng)于各像素內(nèi)置傳感器(省略圖示)，該光傳感器 主要反應(yīng)可見光區(qū)域的頻率。如圖2所例示那樣，光傳感器內(nèi)置LCDlO的各光傳感器 被設(shè)計成接受室內(nèi)光和太陽光等的外光、從背光燈16照射的光被置于顯示畫面上的手指 100等反射而成的反射光。光傳感器內(nèi)置LCDlO將光傳感器接收到的光由AD轉(zhuǎn)換器轉(zhuǎn) 換為數(shù)字值，作為黑白的灰度(濃淡)圖像輸出。光傳感器得到的觸摸操作時的圖像，因外光和背光燈的強度、手指的放置方式 等而不同。圖3例示了 3個典型的例子。
即便外光的強度發(fā)生變化，與顯示畫面相接的或者位于其附近的指肚部分的亮 度不怎么變化。相對于此，外光沒有被手指遮擋的部分依然受到外光亮度的變化。因 此，外光沒有被手指遮擋的部分與指肚部分相比相對地變黑或變白，其對比度發(fā)生變 化。圖3 (a)是一例顯示裝置1的顯示畫面被比較亮的外光照射時的圖像。如圖3 (a) 所示，沒被手指遮住光的外側(cè)部分較白。一部分與畫面相接的指肚圖像101因背光燈16 的反射光而稍白。指影圖像102由于被遮擋住光而變黑。圖3(b)是一例比較暗的外光的情況下的圖像。如圖3(b)所示，僅其一部分與 畫面相接的指肚圖像101因背光燈16的反射光而稍白，其他部分較黑。圖3(c)是一例外光是太陽光那樣的平行光且非常亮的情況下的圖像。由于與一 部分與畫面相接的指肚圖像101的背光燈16所形成的反射光相比，指肚圖像101周圍的 外光更強，因此僅指肚圖像 101較黑。接下來，對觸摸操作方向判別部15判別觸摸操作方向的方法進行詳細(xì)說明。觸 摸操作方向判別部15根據(jù)光傳感器內(nèi)置LCDlO拍攝的圖像之中以觸摸位置為基準(zhǔn)的規(guī)定 范圍的圖像，判別觸摸操作方向。作為觸摸操作方向判別部15判別觸摸操作方向的方 法，以下依次說明“根據(jù)濃度梯度方向的判別方法”、“根據(jù)邊沿特征量分布的判別方 法”、“根據(jù)指紋形狀的判別方法”的三種方法。(根據(jù)濃度梯度方向的判別方法)圖4是用于說明通過確定濃度梯度方向來判別觸摸操作方向的原理的圖。在該判別方法中，將光傳感器內(nèi)置LCDlO拍攝到的顯示畫面整體的畫面之中被 檢測到的觸摸位置作為基準(zhǔn)，通過研究觸摸位置周邊的黑白灰度圖像的濃度梯度方向來 判別觸摸操作方向。圖4(a)中表示由光傳感器內(nèi)置LCDlO拍攝到的圖像之中觸摸位置周邊的圖像。 該圖像中與圖3(a)同樣，顯示了一部分與畫面相接的手指的指肚圖像101、指影圖像 102。此外，圖中的十字標(biāo)記105是用于說明由觸摸位置檢測部14檢測到的觸摸位置的 標(biāo)記。觸摸位置由十字中心位置表示。十字標(biāo)記105在實際的圖像中并未顯示。仔細(xì)觀察圖4(a)的指肚圖像101就會發(fā)現(xiàn)如下特征如“指肚部分的放大圖” 所示，以觸摸位置為基準(zhǔn)，指尖方向由于手指靠近畫面因反射光而拍攝得較白；另一方 面，越是朝向指根方向，反射光的強度越弱而圖像的濃度越濃，拍攝得較黑。這是因 為，手指以從手腕向斜下方傾斜的角度觸摸畫面。此外，不僅手指，由觸摸筆進行觸摸 操作的情況下，當(dāng)然也會出現(xiàn)同樣的特征。因此，在圖4(a)的例子中，可認(rèn)為指肚圖像101之中圖像濃度變濃的方向是朝 向手腕側(cè)的指根方向、或者朝向操作者的方向。因此，在圖4(a)的例子中，確定圖像濃 度變濃的濃度梯度分哪敢想，從而將該方向作為觸摸操作方向來進行判別即可。圖4(b)中表示根據(jù)該原理判別觸摸操作方向是上下左右4個方向的哪一個的判 別基準(zhǔn)。如圖4(b)所示，根據(jù)指肚圖像101的濃度梯度方向(圖中的“白一黑”)，能 夠判別出觸摸操作方向是左、右、上、下4個方向的哪一個。此外，盡管圖4(b)中為了容易理解僅例示了 4個方向的觸摸操作方向，但通過 更加細(xì)致地計算濃度梯度方向，能在加上傾斜方向的8個方向甚至16個方向等，更詳細(xì)地判別觸摸操作方向。此外，這里雖然將灰度圖像從白朝向黑的方向(指根方向)判別為觸摸操作方向，但是也可以將從黑朝向白的方向(指尖方向)判別為觸摸操作方向。一般，在觸摸位置附近，因例如因手指與顯示畫面用力相接的部分、輕輕相接 的部分、稍稍懸浮的部分等，而可得到不同的灰度圖像。因此，顯示裝置1像這樣根據(jù) 灰度圖像的濃度梯度來判別觸摸操作方向，從而能夠精確地判別觸摸操作方向。接下來，參照圖5以及圖6，根據(jù)圖4所示的判定原理對顯示裝置1判別觸摸操 作方向的具體步驟進行說明。圖5是用于說明顯示裝置1實行的觸摸方向判別處理Pl的 流程圖。此外，圖6是用于說明觸摸操作方向判別處理Pl的概念圖。在觸摸操作方向判別處理Pl中，顯示裝置1首先取得以觸摸位置坐標(biāo)為中心的 灰度圖像(Si)。所取得的灰度圖像例如是光傳感器內(nèi)置LCDlO拍攝的圖像之中、如圖 6(a)所示那樣以十字標(biāo)記105的十字中心表示的觸摸位置坐標(biāo)為中心的縱橫Ll XLl的正 方形解析區(qū)域80中包含的圖像。在此，Ll的長度以標(biāo)準(zhǔn)手指的大小為基準(zhǔn)進行預(yù)先設(shè) 定，并包含指肚圖像101。此外，顯示裝置1中也可以設(shè)置登記用戶手指尺寸的功能，根據(jù)其登記尺寸顯 示裝置1來設(shè)定解析區(qū)域80的尺寸。此外，解析區(qū)域80的形狀并不限于正方形，也可 以是長方形、圓形、或橢圓形。接下來，為了對取得的灰度圖像計算濃度梯度方向，顯示裝置1分別針對橫方 向(χ方向)以及縱方向(y方向)實行索貝爾(Sobel)濾波處理(S2、S3)。圖6(b)是分 別對應(yīng)橫方向(χ方向)以及縱方向(y方向)的索貝爾濾波的一例。此外，這里雖然例 示了使用索貝爾濾波器，但只要是邊沿提取用的濾波器都可以使用。顯示裝置1通過對解析區(qū)域80內(nèi)的灰度圖像應(yīng)用索貝爾濾波，從而針對構(gòu)成灰 度圖像的每個像素計算橫方向(χ方向)以及縱方向(y方向)的索貝爾值。圖6(b)是表 示具有濃度梯度角θ的濃度梯度向量111的圖，該濃度梯度角θ針對特定的像素根據(jù)橫 方向(χ方向)的索貝爾值Gx和縱方向(y方向)的索貝爾值Gy而求得。接下來，顯示裝置1根據(jù)S2以及S3中針對每個像素計算出的橫方向及縱方向 的索貝爾值，將各像素的濃度梯度方向歸類為上下左右4個方向的其中一個(S4)。如圖 6(b)所示，對應(yīng)各像素計算橫方向(χ)方向的索貝爾值Gx和縱方向(y方向)的索貝爾 值Gy，但顯示裝置1由于將濃度梯度方向分類為上下左右4個方向，將基于Gx和Gy之 中絕對值較大的值的方向決定為該像素的濃度梯度方向。在此，橫方向的索貝爾值為正 時表示左方向，為負(fù)時表示右方向；縱方向的索貝爾值為正時表示上方向，為負(fù)時表示 下方向。例如，若(Gx，Gy) = (-10，+15)，則顯示裝置1將Gy方向即縱方向中對應(yīng)+ 方向的上方向決定為該像素的濃度梯度方向。不過，考慮到噪聲等影響，設(shè)絕對值在預(yù) 先規(guī)定的閾值以下時，顯示裝置1無法確定對應(yīng)該像素的濃度梯度方向。顯示裝置1像這樣通過將各像素的濃度梯度方向歸類為上下左右4個方向的其中 一個，從而針對解析區(qū)域80所包含的圖像，如圖6(c)圖示那樣計算每個像素的濃度梯度 方向。接下來，顯示裝置1計算上下左右方向的濃度梯度方向之中最多的方向，將該值判別為觸摸操作方向65)，并結(jié)束處理。
此外，在顯示裝置1判別4個以上的方向時，只要根據(jù)在各像素計算出的橫方向 和縱方向的索貝爾值的值來定義傾斜方向即可。例如，根據(jù)S2和S3的處理結(jié)果，顯示 裝置1針對每個像素計算濃度梯度向量111。然后，顯示裝置1比較合成各像素的濃度梯 度向量111而得到的合成向量的傾斜角、和上下左右傾斜方向，從而將角度差最少的方 向判別為觸摸操作方向。
或者，顯示裝置1在從4個方向中判別觸摸操作方向的情況下，也可以比較合成 向量的傾斜角和上下左右方向，從而將角度差最少的方向判別為觸摸操作方向。
以上，所說明的根據(jù)濃度梯度方向的判別方法，應(yīng)用于假定拍攝到圖3(a)所示 的圖像的情況。但是，實際上也存在圖3(b)和圖3(c)這種攝像圖像輸入至觸摸操作方 向判別部15的情況。
特別如圖3(c)所示，圖像中沒有出現(xiàn)指影圖像，指肚圖像101的背景較白的情 況下，根據(jù)濃度梯度方向判定觸摸操作方向時的判定方向與圖3(a)的情況相反。這是因 為與在背光燈的跟前照射的手指的指肚觸摸位置相比，從觸摸位置朝向指根方向的手 指的指肚部分被較強的外光照射，因此在指肚圖像中指肚觸摸位置附近的圖像的像素濃 度比指肚的指根側(cè)圖像濃。
因此，優(yōu)選顯示裝置1不是僅在以觸摸位置為基準(zhǔn)的指肚部分的圖像處判別觸 摸操作方向，而是將指肚部分以外的圖像也作為判斷因素加入條件中，來判別觸摸操作 方向。
因此，為了顯示裝置1能將指肚部分以外的圖像也作為判斷因素加入條件中， 來判別觸摸操作方向，圖7中表示用于決定觸摸操作方向基準(zhǔn)的處理步驟的流程圖。
參照圖7，首先顯示裝置1針對檢測到觸摸操作時拍攝的圖像判定是否存在指影 (Sii)0是否存在指影例如以如下方式判定。預(yù)先根據(jù)將存在指影時的圖像作為對象的 直方圖等來采集像素濃度分布數(shù)據(jù)，并將此數(shù)據(jù)存儲在顯示裝置1中。在Sll中，顯示 裝置1根據(jù)攝像圖像生成基于直方圖等的像素濃度分布數(shù)據(jù)，并將此數(shù)據(jù)與預(yù)先存儲的 像素濃度分布數(shù)據(jù)進行比較，在獲得一定值以上的相似度時判定為存在指影。
如圖3(a)所示圖像中存在指影圖像102的情況下，顯示裝置1將圖像濃度變濃 的方向(參照圖4(b))決定為觸摸操作方向614)。相對于此，在圖像中不存在指影圖 像的情況下，顯示裝置1判斷指肚圖像101的背景是否為白色(S12)。
例如，在圖3(b)所示的情況下，S12中判斷為否；在圖3(c)所示的情況下， S12中判斷為是。
在S12中判斷為否時，顯示裝置1使處理進入步驟S14，將圖像濃度變濃的方向 決定為觸摸操作方向。與此相對，在S12中判斷為是時，顯示裝置1將圖像濃度變淡的 方向決定為觸摸操作方向613)。
以上，在所說明的圖7的處理步驟中，顯示裝置1將圖像濃度變淡的方向決定為 觸摸操作方向的情況下，圖5所示的觸摸操作方向判別處理Pl中的上下方向以及左右方 向的判斷相反。因此，顯示裝置1判斷橫方向的索貝爾值為正時表示右方向，為負(fù)時 表示左方向；縱方向的索貝爾值為正時表示下方向，為負(fù)時表示上方向。
(根據(jù)邊沿特征量分布的判別方法)
接下來，對根據(jù)邊沿特征量分布顯示裝置1判別觸摸操作方向的判別方法進行 說明。圖8是用于說明根據(jù)邊沿特征量分布判別觸摸操作方向的判別方法的原理的圖。
在該判別方法中，在由光傳感器內(nèi)置LCDlO拍攝到的顯示畫面整體的圖像之中 將檢測到的觸摸位置作為基準(zhǔn)，顯示裝置1從觸摸位置周邊的黑白灰度圖像提取指尖周 邊部分的邊沿從而判別觸摸操作方向。
圖8(a)的左側(cè)表示由光傳感器內(nèi)置LCDlO拍攝到的圖像之中觸摸位置周邊的圖 像。該圖像中與圖4(a)同樣地示出了一部分與畫面相接的手指的指肚圖像101、指影圖 像102、將觸摸位置檢測部14檢測出的觸摸位置表示在十字中心位置的十字標(biāo)記105。
指影圖像102如圖所示，在指尖的尖端部分為較高的濃度值，與背景 的濃度差 較為明顯，另一方面越是朝向指根方向其濃度值越淡。因此，當(dāng)顯示裝置1以這種圖像 為對象進行邊沿提取時，得到圖8(a)的右側(cè)所示的邊沿103。由于邊沿103表示指尖部 分，因此當(dāng)以觸摸位置為基準(zhǔn)時，處于與邊沿103相對位置的開口表示指根方向即操作 者方向。
圖8(b)中表示根據(jù)該原理將觸摸操作方向判別為上下左右4個方向的其中一個 的判別基準(zhǔn)。如圖8(b)所示，顯示裝置1根據(jù)由邊沿提取處理得到的邊沿的開口方向， 判別觸摸操作方向是左、右、上、下的4個方向的哪一個。
此外，盡管圖8(b)中為了容易理解僅例示了 4個觸摸操作方向，但顯示裝置1 可以通過對邊沿的開口方向進行更加精細(xì)的計算，從而以加入了傾斜方向的8個方向甚 至16個方向等，更詳細(xì)地判別觸摸操作方向。
此外，盡管這里以將指根方向(邊沿開口方向)判別為觸摸操作方向的方式構(gòu)成 顯示裝置1，但是也可以以將指尖方向判別為觸摸操作方向的方式構(gòu)成顯示裝置1。
這樣，通過應(yīng)用該邊沿檢測技術(shù)，顯示裝置1，例如因手指用力與顯示畫面上相 接的部分、輕輕相接的部分、稍稍懸浮的部分等，得到不同的觸摸位置近旁的邊沿特征 量。顯示裝置1通過分析該邊沿特征量的分布，判別觸摸操作方向，從而能夠根據(jù)設(shè)置 在顯示畫面上的手指等微小的接觸程度精確地判別觸摸操作方向。
接下來，參照圖9，對根據(jù)圖8所示的判定原理顯示裝置1判別觸摸操作方向的 具體步驟進行說明。圖9是用于說明由顯示裝置1實行的觸摸操作方向判別處理P2的流 程圖。
在觸摸操作方向判別處理P2中，顯示裝置1首先取得以觸摸位置的坐標(biāo)為中心 的灰度圖像621)。所取得的灰度圖像例如是光傳感器內(nèi)置LCDlO拍攝的圖像之中、圖 8(a)所示那樣以十字標(biāo)記105的十字中心表示的觸摸位置坐標(biāo)為中心的正方形解析區(qū)域 中包含的圖像。在此，解析區(qū)域的尺寸以標(biāo)準(zhǔn)手指的大小為基準(zhǔn)進行預(yù)先設(shè)定，使得包 含指肚圖像101和指影圖像102的一部分。此外，與圖5的步驟Sl同樣，顯示裝置1中 也可以設(shè)置登記用戶手指尺寸的功能，根據(jù)其登記尺寸顯示裝置1來設(shè)定解析區(qū)域的尺 寸。此外，解析區(qū)域的形狀并不限于正方形，也可以是長方形、圓形、或橢圓形。
接下來，顯示裝置1根據(jù)所取得的灰度圖像，實行提取邊沿特征量的處理 622)。在邊沿特征量的提取中，顯示裝置1使用除索貝爾濾波以外的邊沿提取用濾波。 然后，顯示裝置1利用規(guī)定閾值提取邊沿特征量。
接下來，顯示裝置1確定從中心坐標(biāo)(觸摸位置的坐標(biāo))看去邊沿特征量較少的10方向、即開口方向，將所確定的開口方向判別為觸摸操作方向623)。由此，顯示裝置1結(jié)束處理。
或者，在步驟S23中，顯示裝置1也可以求得具有邊沿特征量的多個像素的重 心坐標(biāo)，從而判別觸摸操作方向。具體而言，首先，顯示裝置1提取具有規(guī)定閾值以上 的邊沿特征量的多個像素。接下來，顯示裝置1對各個提取像素加上對應(yīng)像素值大小的 權(quán)重之后，計算重心坐標(biāo)。顯示裝置1在連接計算出的中心坐標(biāo)和解析區(qū)域的中心坐標(biāo) (觸摸位置的坐標(biāo))的直線上，將從重心坐標(biāo)位置朝向觸摸位置坐標(biāo)位置的方向設(shè)定為觸 摸操作方向。
此外，使用了邊沿特征量的觸摸操作方向的判別當(dāng)然并不限定于上述例子，也 可以采用其他方法，只要能夠根據(jù)邊沿特征量判別觸摸操作方向即可。
(根據(jù)指紋的判別方法)
接下來，說明顯示裝置1根據(jù)指紋判別觸摸操作方向的判別方法。如圖10所 示，人的指紋中存在如下特點越是靠近指尖則橫方向的線的花紋越多，而越是指根部 分縱方向的線的花紋越多。在此，顯示裝置1利用這種指紋的特征來判別觸摸操作方 向。
具體而言，首先，顯示裝置1以指肚圖像為對象，與根據(jù)濃度梯度方向的判別 方法同樣地，利用索貝爾濾波等針對每個像素計算索貝爾值。接下來，顯示裝置1根據(jù) 計算出的索貝爾值，與根據(jù)濃度梯度方向的判別方法同樣地計算分配給各像素的方向。 接下來，顯示裝置1根據(jù)計算出的分配給各像素的方向的分布，確定指尖部分和指根部 分。
未必總在圖10的方向來拍攝指紋，這樣雖因觸摸操作方向會產(chǎn)生傾斜，但由于 縱方向的花紋與橫方向的花紋垂直，因此通過分析這2方向的分布，能夠粗略地確定指 尖和指根的方向。由此，顯示裝置1能判別觸摸操作方向。
這樣，顯示裝置1從手指進行觸摸操作時的灰度圖像讀取指紋的花紋，進而根 據(jù)其花紋判別方向。由此，顯示裝置1能精度良好地判別觸摸操作方向。
根據(jù)指紋判別觸摸操作方向的判別方法并不限于上述內(nèi)容。例如，可考慮如下 的方法預(yù)先將操作者的指紋登記在顯示裝置1中，顯示裝置1通過圖案匹配對拍攝到的 指肚圖像和登記的指紋進行比較，從而判別觸摸操作方向。
接下來，對將上述各種判別方法應(yīng)用于顯示裝置1的控制的例子進行說明。在 此，以曲棍球游戲的控制為例進行說明。
如圖11所示，顯示裝置1在顯示畫面上顯示操作者從左右方向操作來玩曲棍球 游戲的畫面。在以下的說明中，將從圖11所示的顯示畫面的左方向(圖面的球門30a側(cè)) 操作棋子的人稱為“操作者A”，將從右方向(圖面的球門30b側(cè))操作棋子的人稱為“操作者B”，將曲棍球游戲中操作者A的球隊稱為“球隊A”，將操作者B的球隊稱 為“球隊B”。在顯示裝置1中，規(guī)定操作者A從圖11的左側(cè)操作，操作者B從右側(cè) 操作。
顯示裝置1在顯示畫面的兩端圖像顯示了球隊A的球門30a、以及球隊B的球門 30b。此外，顯示裝置1在兩球門之間圖像顯示了以五角形圖形顯示的球隊A的5個棋 子20a、以八角形圖形顯示的球隊B的5個棋子20b、通過與棋子20a和20b撞擊從而移動方向變化的球30。顯示裝置1中針對各棋子20a、20b顯示1 5的后背號碼。圖中 手指IOOa表示操作者A的手指，手指IOOb表示操作者B的手指。此外，以下將后背號 碼為n(n為1以上5以下的自然數(shù))的棋子稱為“棋子η”。
操作者A、B通過手指100a、IOOb彼此操作自己球隊的棋子20a、20b，使球30 進入對方球隊的球門30a、30b。當(dāng)球進入對方球隊的球門時，顯示裝置1計算得分。基 于操作者A、B的操作的以上游戲控制，例如通過顯示裝置1的控制部19(參照圖1)來實行。
顯示裝置1對各棋子分配圖12例示的操作權(quán)限。顯示裝置1以A球隊的棋子 20a僅能由操作者A操作的方式控制顯示裝置1的動作。此外，顯示裝置1以B球隊的 棋子20b僅能由操作者B操作的方式控制顯示裝置1的動作。
如圖12所示，顯示裝置1通過在觸摸操作方向上識別有無操作權(quán)限來實現(xiàn)上述 控制。也就是說，顯示裝置1針對A球隊的棋子20a，僅在觸摸操作方向為左時使操作 有效。另一方面，顯示裝置1針對B球隊的棋子20b，僅在觸摸操作方向為右時使操作 有效。此外，由于球30基本上是經(jīng)由棋子20a、20b而被操作，因此顯示裝置1并不將 其操作權(quán)限分配給A、B的任意一個。如圖12所示的操作權(quán)限數(shù)據(jù)例如存儲在顯示裝置 1的存儲部12中。
圖13是表示用于顯示裝置1根據(jù)操作權(quán)限數(shù)據(jù)判定棋子的操作為有效/無效的 處理步驟的流程圖。
首先，顯示裝置1判定是否由觸摸位置檢測部14檢測到了對棋子的觸摸操作 (S31)。顯示裝置1在沒有檢測到對棋子的觸摸操作的情況下結(jié)束處理。
在圖11所示的例子中，操作者A正要操作A球隊的棋子20a中的“棋子1”和 “棋子2”。操作者B正要操作B球隊的棋子20b中的“棋子3”和“棋子5”。該情況下，顯示裝置1在步驟S31中判斷有觸摸操作。
接下來，顯示裝置1判別檢測到觸摸操作的棋子的種類(圖12的ID) (S32)。在 圖11的情況下，顯示裝置1根據(jù)檢測到的4個觸摸位置和各棋子20a、20b的當(dāng)前位置， 確定操作者要操作的“棋子” ID是“1”、“2”、“8”、“10”。
接下來，顯示裝置1，按照所確定的各棋子，分別確定由觸摸操作方向判別部 15判別出的操作方向(S33)。接著，顯示裝置1比對按照各棋子確定的觸摸操作方向、 和對應(yīng)各棋子存儲的觸摸操作方向(S34)。顯示裝置1按照各棋子判定觸摸操作方向是 否一致(S35)。
在圖11的情況下，顯示裝置1將針對A球隊的“棋子1”、“棋子2”的觸摸 操作方向確定為左，并判斷為操作者A正在進行操作。與此相對，顯示裝置1將針對B 球隊的“棋子3”、“棋子5”的觸摸操作方向確定為右，并判斷為操作者B正在進行操 作。這些所確定的信息與圖12的操作權(quán)限數(shù)據(jù)進行匹配。該情況下，在步驟S35中針 對任何棋子都判定為判別出的觸摸操作方向與對應(yīng)棋子存儲的觸摸操作方向一致。其結(jié) 果顯示裝置1使各棋子的操作有效(S36)。因此，在圖11的例子的情況下，操作者A、 B都能移動想要操作的棋子。
但是，即便例如操作者A想要操作B球隊的“棋子1”，由于與圖12的操作權(quán) 限數(shù)據(jù)不匹配，因此顯示裝置1在S35中判斷為否。其結(jié)果顯示裝置1使操作者A對B球隊的“棋子1”的操作無效。由此，操作者A無法操作并移動B球隊的“棋子1”。
這樣，顯示裝置1以觸摸位置檢測部14檢測出的觸摸位置和各棋子20a、20b的 當(dāng)前位置來確定檢測出觸摸操作的“棋子”。顯示裝置1根據(jù)觸摸操作方向判別部15判 別的方向來確定“操作者”。由此，顯示裝置1可進行操作者僅能操作被賦予操作權(quán)限 的“棋子”之類的控制。
因此，顯示裝置1通過判別操作輸入者，在操作者為多人的情況下也能準(zhǔn)確地 確定是誰要進行操作。
此外，在相同畫面上存在多個操作對象，多個操作輸入者對其進行操作的情況 下，顯示裝置1通過使其僅能對操作對象與操作輸入者的操作權(quán)限一致的棋子進行操 作，從而能夠防止操作輸入者進行誤操作。再有，顯示裝置1可在游戲等當(dāng)中加入彼此 僅能操作自己球隊的棋子的限制。
以上，根據(jù)所說明的實施方式中的顯示裝置1，通過對進行輸入的手指或筆等的 圖像進行解析，能檢測觸摸位置并判別出觸摸操作方向。因此，控制部19能夠根據(jù)表示 觸摸位置的信號以及表示觸摸操作方向的信號、和存儲于存儲部12中的信息，判斷出位 于哪個方向的操作者進行操作。因此，控制部19能進行與給操作者的操作權(quán)限相應(yīng)的信 息處理。
此外，根據(jù)本實施方式所涉及的顯示裝置1，對設(shè)置在顯示畫面后方的光傳感器 所得到的圖像進行解析，能夠判別出從畫面看去是處于哪個方向的人在操作顯示在顯示 畫面上的操作對象。因此，顯示裝置1能以小規(guī)模的結(jié)構(gòu)正確地判別出操作方向。
也就是說，對于顯示裝置1，就算在顯示畫面的前方存在某種障礙物，在用于 判別操作方向的輸入圖像中反應(yīng)出障礙物從而不會對判別帶來干擾。此外，顯示裝置1 不需要像背景技術(shù)中介紹的系統(tǒng)那樣在顯示裝置外部設(shè)置通過人體傳達信號的裝置。因 此，顯示裝置1能以顯示裝置單體的小規(guī)模且簡單的結(jié)構(gòu)下判別觸摸操作方向，并進行 后面的信息處理。
在上述的實施方式中，以通過對從光傳感器內(nèi)置LCDlO得到的圖像進行解析從 而檢測觸摸位置為例子進行了說明。但是，用于檢測觸摸位置的結(jié)構(gòu)當(dāng)然并不限于此， 也可考慮其他方式。
例如，也可以變更圖1的顯示裝置1的結(jié)構(gòu)，像圖14例示的顯示裝置11那樣在 光傳感器內(nèi)置LCD18上設(shè)置靜電容量方式的觸摸面板17。該情況下，顯示裝置11由靜 電容量方式的觸摸面板17檢測觸摸位置。此外，顯示裝置11通過對靜電容量方式的觸 摸面板17得到的觸摸位置和光傳感器內(nèi)置LCD18得到的圖像進行解析，來判別觸摸操作 方向。
此外，對于觸摸面板也可以采用電阻膜方式、紅外線方式、電磁感應(yīng)方式、超 聲波方式等各種觸摸面板方式的任意一種，只要能檢測觸摸位置即可。
但是，通過對光傳感器內(nèi)置LCD得到的圖像進行解析來判別觸摸操作方向的情 況下，優(yōu)選不使用靜電容量方式等的觸摸面板，而由光傳感器內(nèi)置LCD —并檢測出觸摸 位置。這是因為能夠減少電阻膜這種的觸摸面板部件、和在顯示畫面上配置電阻膜的 工序，從而使得顯示裝置的結(jié)構(gòu)變得簡單。進而，由于結(jié)構(gòu)變得簡單，因此還有成本變 低的優(yōu)點。
此外，在上述實施方式中，雖然作為拍攝圖像的攝像裝置(輸入圖像的輸入裝 置)，主要以反應(yīng)可見光區(qū)域的光頻率的光傳感器內(nèi)置LCD為例進行了說明，但攝像裝 置的結(jié)構(gòu)當(dāng)然不限定于此，也可以考慮其他結(jié)構(gòu)。
例如，可預(yù)先將反應(yīng)可見光區(qū)域以外的頻率、主要為紅外線頻率的光傳感器內(nèi) 置在顯示裝置1、11中。然后，在顯示裝置1、11中，從顯示畫面后方照射出的紅外線 被手指或筆等反射，將反射的紅外線輸入光傳感器中。進而，顯示裝置1、11將該輸入 的紅外線轉(zhuǎn)換為圖像。這樣，當(dāng)使用反應(yīng)可見光以外主要為紅外線的光傳感器時，顯示 裝置1、11能夠不受室內(nèi)光等的外光影響，得到指肚的反射和指影的圖像。此外，由于 反應(yīng)紅外線的光傳感器得到的圖像利用手指的反射，因此與反應(yīng)可見光區(qū)域頻率的光傳 感器得到的圖像基本相同。
這樣，顯示裝置1、11通過由光傳感器取得背光燈對手指等操作輸入物體的反 射光等作為圖像，從而能詳細(xì)掌握手指或觸摸筆等操作輸入物體對顯示畫面的接觸程度。
或者，顯示裝置1、11也可以代替光傳感器而內(nèi)置溫度傳感器，將放置手指或 筆等時的溫度變化轉(zhuǎn)換為圖像并作為輸入圖像。對于由溫度傳感器得到的圖像，只要確 定如圖3(b)或圖3(c)那樣放置了手指的部分是變暖還是變冷，就能獲得具有放置手指 的部分與周圍對比度不同的圖像。此外，由于手指用力與顯示畫面相接的部分和手指輕 輕相接的部分出現(xiàn)溫度差，因此指肚部分的圖像成為圖4所示的黑白灰度圖像。也就是 說，溫度傳感器得到的圖像與光傳感器得到的圖像為相同圖像。
顯示裝置1、11通過由溫度傳感器取得圖像，能詳細(xì)把握手指或觸摸筆等操作 輸入物體在顯示畫面上的接觸程度。此外，也像光傳感器那樣不怎么受室內(nèi)光和太陽光 這些外光影響。因此，顯示裝置1、11能僅取得因操作輸入物體而引起的溫度變化。
這樣，顯示裝置1、11利用算法從上述的主要反應(yīng)可見光區(qū)域的光傳感器得到 的圖像中檢測出觸摸位置并判別觸摸方向，從而也能根據(jù)紅外線等光傳感器及溫度傳感 器所得到的圖像檢測觸摸位置并判別觸摸方向。
此外，作為攝像裝置也可以采用其他方式的傳感器或照相機，只要能在防止手 指或筆等的情況下拍攝圖像即可。
(實施方式2)
在實施方式1中，作為顯示裝置1的一個實施方式，說明了將顯示裝置1應(yīng)用于 游戲機的例子。再有，通過代替光傳感器內(nèi)置LCDlO而以組裝光傳感器內(nèi)置分屏顯示 LCD的結(jié)構(gòu)來實現(xiàn)顯示裝置，從而能將該顯示裝置應(yīng)用于汽車導(dǎo)航系統(tǒng)。
圖15是表示本發(fā)明的實施方式2中的顯示裝置2的概略結(jié)構(gòu)的框圖。顯示裝置 2是具備光傳感器內(nèi)置分屏顯示LCD20的汽車導(dǎo)航系統(tǒng)。
顯示裝置2，具備光傳感器內(nèi)置分屏顯示LCD20(以下簡稱為“LCD20” )以及 上述說明的觸摸位置檢測部14。顯示裝置2還具備控制部21，根據(jù)從觸摸操作方向判別 部15輸入的信號進行左右方向操作者的識別和LCD20的控制等。顯示裝置20還具備存 儲部22，其存儲與控制相關(guān)的各種信息。顯示裝置22還具備輸出裝置沈 觀(電視接 收機26、導(dǎo)航裝置27、DVD播放器洲)，其輸出各種視聽用數(shù)據(jù)。顯示裝置2還具備圖 像選擇部25，將從各輸出裝置沈 洲輸入的數(shù)據(jù)分為左方向用圖像和右方向用圖像并選擇性進行輸出。顯示裝置2還具備左方向顯示控制部23以及右方向顯示控制部對，其根 據(jù)圖像選擇部25輸出的圖像數(shù)據(jù)對LCD20進行圖像顯示控制，使得分別對應(yīng)左方向和右 方向在LCD畫面上顯示應(yīng)顯示的圖像。
圖16是表示LCD20的顯示畫面的例子的圖。如圖16 (c)所示，顯示裝置2 在放映出云罩山巔風(fēng)景的電視畫面上顯示著用于選擇電視頻道的頻道按鈕(圖中能看見“2ch”)401。相對于此，如圖16(d)所示，顯示裝置2在導(dǎo)航用地圖上還顯示著用于使 地圖滾動的滾動按鈕301。分屏顯示的LCD20，具有同時顯示功能，從助手席側(cè)觀看顯 示圖16(c)的畫面、從駕駛席側(cè)觀看顯示圖16(d)的畫面。
在圖16(c)所示的畫面中，助手席側(cè)的操作者通過用自己的手指100L觸碰頻道 按鈕401就能任意變更電視頻道。另一方面，在圖16(d)所示的畫面中，駕駛席側(cè)的操 作者通過用自己的手指100R觸碰滾動按鈕301就能任意滾動地圖。
但是，如圖16(a)所示，在畫面上頻道按鈕401和滾動按鈕301重復(fù)配置在相同 位置。因此，在助手席側(cè)的操作者操作了頻道按鈕401時，需要顯示裝置2能夠判別該 操作是由助手席側(cè)的操作者進行的。
此外，如圖16(b)所示，在駕駛席側(cè)的操作者操作滾動按鈕301并且助手席側(cè)的 操作者同時操作頻道按鈕401時，顯示裝置2還需要如下功能。也就是說，需要顯示裝 置2能夠判別觸摸按鈕的手指是駕駛席側(cè)操作者的手指100R還是助手席側(cè)操作者的手指 IOOL0再有，顯示裝置2需要起動按鈕301、401之中對應(yīng)操作者的按鈕功能。
本實施方式2所涉及的顯示裝置2，與實施方式1所說明的顯示裝置1、11同 樣，除了觸摸位置檢測部14還具備觸摸操作方向判別部。因此，顯示裝置2能夠檢測對 按鈕301、401的觸摸操作，進而確定該觸摸操作是來自助手席側(cè)的觸摸操作還是來自駕 駛席側(cè)的觸摸操作。
其結(jié)果，例如即便在圖16(a)所示的這種情況下，通過觸摸操作方向判別部15 也能夠判別出是從左側(cè)助手席進行的操作。因而，顯示裝置2僅實行TV節(jié)目的頻道操 作，而不作為針對地圖的操作進行反應(yīng)?；蛘撸幢阍趫D16(b)所示的情況下，根據(jù)由 觸摸位置檢測裝置14檢測出的2點觸摸位置和由觸摸操作方向判別部15判別出的觸摸操 作方向，顯示裝置2能夠判別出左側(cè)助手席的人按下的按鈕是頻道按鈕41，右側(cè)駕駛席 的人按下的按鈕是滾動按鈕301。這樣，即便在TV節(jié)目的頻道按鈕401與地圖操作的滾 動按鈕301重復(fù)配置在相同位置的情況下，左側(cè)助手席的人進行的操作也僅反映在TV節(jié) 目的選擇操作上，右側(cè)駕駛席的人進行的操作也僅反映在地圖的滾動操作上。
另外，在此是以車內(nèi)配置的汽車導(dǎo)航系統(tǒng)為前提，以與電視操作相關(guān)的按鈕和 與導(dǎo)航相關(guān)的按鈕為例進行的說明，但汽車導(dǎo)航系統(tǒng)以及與此相關(guān)的內(nèi)容源(source)僅 僅是一例。當(dāng)然，對于以分屏顯示畫面為中心，讓一方(例如駕駛席側(cè))操作的內(nèi)容源 與讓另一方(例如助手席側(cè))操作的內(nèi)容源不同的系統(tǒng)也能夠應(yīng)用。
此外，作為實施方式2中的觸摸操作方向判別15的判別方法，也可以采用實 施方式1所說明的“根據(jù)濃度梯度方向的判別方法”、“根據(jù)邊沿特征量分布的判別方 法”、“根據(jù)指紋形狀的判別方法”的任意一種。
或者，作為由觸摸操作方向判別部15進行的判別方法，也可采用接下來說明的 “根據(jù)橢圓長軸方向的判別方法”。15
圖17是用于說明“根據(jù)橢圓長軸方向的判別方法”的原理的圖。將顯示裝置2 應(yīng)用于汽車導(dǎo)航系統(tǒng)的情況下，畫面被配置在駕駛席與助手席之間。因此，若考慮通常 的操作方式，則從駕駛席側(cè)以及助手席側(cè)觸摸畫面時的手指的觸摸操作方向被限制在一 定范圍內(nèi)。再有，觸摸操作方向的范圍兩者并不重復(fù)。
例如，如圖17(a)所示，一般可認(rèn)為連接從畫面左側(cè)操作的操作者(助手席側(cè)的 操作者)手指100L前端和指根的直線、與畫面的χ軸方向所成的角(觸摸操作方向角)Φ 處于超過0度未達到90度的范圍。根據(jù)同樣的原因，從右側(cè)操作的操作者(駕駛席側(cè)的 操作者)手指100R的觸摸操作方向角的范圍是與左側(cè)操作的操作者的相應(yīng)方向角左右對 稱的范圍。因此，從左側(cè)操作的操作者的觸摸操作方向的角度與從右側(cè)操作的操作者的 觸摸操作方向的角度不重復(fù)。
因此，如圖17(b)所示，顯示裝置2在拍攝到檢測出觸摸操作時的指肚圖像 101L、IOlR時，根據(jù)橢圓形狀的指肚圖像101L、101R,如圖17 (c)所示那樣計算長軸 52。再有，例如若長軸52的傾斜度為正，則顯示裝置2將觸摸操作方向判別為“左”； 若長軸的傾斜度為負(fù)，則將觸摸操作方向判別為“右”。也就是說，顯示裝置2根據(jù)長 軸的傾斜度判別左右的觸摸操作方向。
這樣，關(guān)注于手指進行觸摸操作時的指肚部分的形狀為橢圓狀，顯示裝置2通 過根據(jù)該橢圓的長軸朝向判別觸摸操作方向，從而能精確地判別觸摸操作方向。
此外，顯示裝置2盡管在此根據(jù)橢圓的長軸52的傾斜度判別觸摸操作方向，但 當(dāng)然并不限定于橢圓的長軸52。顯示裝置52也可以根據(jù)橢圓的短軸判別觸摸操作方向。
橢圓的長軸例如以如下方式能夠計算。例如圖17(d)所示，顯示裝置2根據(jù)二 值化處理或邊沿檢測處理所得到的橢圓圖像計算外切長方形和對角線。在此計算出的一 對對角線為長軸和短軸。如圖17(d)所示，與短軸相比，在長軸方向上因指肚而分布著 較多的濃度值高的像素。因此，顯示裝置2對長軸上的像素和短軸上的像素的分布進行 運算，將以黑白進行二值化之后的像素值中黑色較多的對角線判別為橢圓的長軸方向。
接下來，參照圖18所示的流程圖，根據(jù)圖17所示的判定原理說明顯示裝置2的 動作。顯示裝置2首先判定是否檢測到對按鈕301、401的觸摸操作(S41)。當(dāng)檢測到 觸摸操作時，顯示裝置2根據(jù)觸摸操作位置的橢圓形狀的指肚圖像，判別長軸的傾斜方 向(S42)。
接下來，顯示裝置2判別長軸的傾斜方向是否為正方向(圖17的Φ是否滿足 0° <Φ<90° MS43)。在判別為正方向時，顯示裝置2起動分配給對應(yīng)左側(cè)操作者即 助手席側(cè)的按鈕401的功能(S44)。與此相對，在判別為負(fù)方向時，顯示裝置2起動分 配給對應(yīng)右側(cè)操作者即駕駛席側(cè)的按鈕301的功能645)。
根據(jù)實施方式2所涉及的顯示裝置2，不需要為了確定操作者而在顯示裝置的外 部設(shè)置照相機或者在椅子和方向盤上設(shè)置信號傳送裝置。因此，僅由顯示裝置2就能夠 判別操作者是從左右的哪一方進行的操作。此外，由于從顯示畫面的內(nèi)側(cè)拍攝圖像，因 此能夠排除干擾判別的障礙物。因此，例如圖16(a)所示那樣助手席或駕駛席的人手重 合的情況等、在顯示畫面的前方存在某種障礙物的情況下，也能正確地判別觸摸操作方 向。由此，顯示裝置2能夠以小規(guī)模的結(jié)構(gòu)正確地判別助手席側(cè)的和駕駛席側(cè)的哪個人 按下了重合配置的按鈕等。
此外，也可以將助手席用的按鈕和駕駛席用的按鈕配置在不重合的位置，使得 能夠區(qū)別是助手席側(cè)和駕駛席側(cè)的哪一個人按下了按鈕。但是，存在顯示按鈕的區(qū)域受 限的問題，在這一點上本實施方式2所涉及的顯示裝置2是有效的。
根據(jù)各實施方式所涉及的顯示裝置，不需要在顯示裝置的外部設(shè)置照相機或信 號傳達裝置等。因而，該顯示裝置在顯示畫面前方存在某種障礙物、站著或躺著的所有 狀況下都能夠正確地判別從哪個方向進行的觸摸。因此，顯示裝置能利用該判別的信息 正確地進行后面的信息處理。此外，由于能僅以顯示裝置的簡單的結(jié)構(gòu)正確地判別從哪 個方向進行的操作，因此，能夠?qū)⒊杀究刂圃谂c現(xiàn)有的觸摸面板所帶的顯示裝置相同程 度。因而，可在手持顯示裝置這種移動用途等多個情況下，利用各實施方式所涉及的顯 示裝置。
以上，列舉了所說明的各實施方式的變形例和特征點。
(1)顯示裝置可以將觸摸位置檢測部14檢測出的觸摸位置作為基準(zhǔn)來解析圖 像，判別觸摸操作方向。
(2)在各實施方式1、2中，顯示裝置將拍攝的圖像之中規(guī)定范圍的圖像作為對 象進行圖像解析，從而判別觸摸操作方向。這樣，由于顯示裝置僅以觸摸位置周邊的圖 像為對象進行處理來判別觸摸操作方向，因此能夠使處理簡單化、高速化。再有，顯 示裝置不需要關(guān)注不必要的圖像區(qū)域。因而，顯示裝置能夠提高觸摸操作方向判別的精 度。此外，通過使處理簡單化，能夠減少制成電路時的門數(shù)。因此，能削減顯示裝置的 制造成本。不過，相對于此，顯示裝置也可以將拍攝的全圖像作為解析對象。
(3)由觸摸操作方向判別部15進行判別方法當(dāng)然不限于上述實施方式所舉的例 子，也可以采用其他判別方法，只要能根據(jù)圖像判別觸摸操作方向即可。
(4)在各實施方式1、2中，以手指進行觸摸操作的情況為例進行了說明。但 是，在觸摸筆等部件進行觸摸操作的情況下也能應(yīng)用各實施方式1、2。這是因為在由 觸摸筆等進行觸摸操作的情況下，以檢測出觸摸操作的坐標(biāo)位置為中心的影圖像會如圖4 所示那樣被拍攝到。
(5)實施方式2所涉及的顯示裝置2也可以構(gòu)成為不包括電視接收機沈、導(dǎo)航裝 置27、DVD播放器沘的結(jié)構(gòu)。
(6)在實施方式2中說明的“根據(jù)橢圓長軸的判別方法”也可以應(yīng)用于實施方式 1所涉及的顯示裝置1、11中。
(7)可以對顯示裝置1、2、11應(yīng)用“根據(jù)濃度梯度方向的判別方法”、“根據(jù) 邊沿特征量分布的判別方法”、“根據(jù)指紋形狀的判別方法”、以及“根據(jù)橢圓長軸的 判別方法”之中的任意判別方法。再有，顯示裝置1、2、11也可以設(shè)置多個觸摸操作方 向判別部15，使得能夠選擇實行基于這多個判別方法之中的任意多個判別方法的判別處 理。此外，顯示裝置1、2、11也可以設(shè)置選擇操作部，使得能夠由操作者的操作來選擇 多個觸摸操作方向判別部15的其中一個。或者，顯示裝置1、2、11也可以使多個觸摸 操作方向判別部15共同發(fā)揮功能，根據(jù)其多個判別結(jié)果判別觸摸操作方向。
本次公開的實施方式的全部內(nèi)容僅僅是例示，而不應(yīng)理解為受到限制。上述所 說明的并不是本發(fā)明的范圍，其范圍在權(quán)利要求書中示出，應(yīng)該理解為在與權(quán)利要求書 同等意義及范圍內(nèi)可進行任意變更。
權(quán)利要求
1.一種顯示裝置(1、2、11)，其特征在于具備 顯示部(10、18、20)，具有顯示畫面；攝像部，從所述顯示部(10、18、20)內(nèi)部拍攝對所述顯示畫面的觸摸操作； 觸摸位置檢測部(14)，檢測所述觸摸操作中對所述顯示畫面的觸摸位置；以及 方向判別部(15)，根據(jù)所述攝像部的攝像而得到的圖像，判別所述觸摸操作中對所 述顯示畫面的觸摸方向。
2.根據(jù)權(quán)利要求1所述的顯示裝置(1、2、11)，其特征在于，所述方向判別部(15)根據(jù)所述攝像部進行攝像而得到的圖像之中、以所述觸摸位置 為基準(zhǔn)的規(guī)定范圍的圖像，判別所述觸摸方向。
3.根據(jù)權(quán)利要求1所述的顯示裝置(1、2、11)，其特征在于，所述方向判別部(15)在由所述攝像部拍攝到為了所述觸摸操作而接觸所述顯示畫面 的手指或觸摸部件時，根據(jù)所述觸摸位置的周邊圖像的濃度變化，判別所述觸摸方向。
4.根據(jù)權(quán)利要求1所述的顯示裝置(1、2、11)，其特征在于，所述方向判別部(15)包括濃度梯度方向計算部，在由所述攝像部 (10、18、20)拍攝到為了所述觸摸操作接觸所述顯示畫面的手指或觸摸部件時，計 算所述觸摸位置的周邊圖像的濃度梯度方向，根據(jù)所述濃度梯度方向計算部計算出的濃度梯度方向，判別所述觸摸方向。
5.根據(jù)權(quán)利要求1所述的顯示裝置(1、2、11)，其特征在于，所述方向判別部(15)包括邊沿特征量分布計算部，在由所述攝像部(10、18、20) 拍攝到為了所述觸摸操作而接觸所述顯示畫面的手指或觸摸部件時，計算所述觸摸位置 的周邊圖像的邊沿特征量分布，根據(jù)所述邊沿特征量分布計算部計算出的邊沿特征量分布判別所述觸摸方向。
6.根據(jù)權(quán)利要求1所述的顯示裝置(1、2、11)，其特征在于，所述方向判別部(15)包括長軸方向計算部，在由所述攝像部拍攝到為了所述觸 摸操作而接觸所述顯示畫面的手指時，計算所述觸摸位置周邊的手指圖像的橢圓長軸方 向，根據(jù)所述長軸方向計算部計算出的橢圓長軸方向判別所述觸摸方向。
7.根據(jù)權(quán)利要求1所述的顯示裝置(1、2、11)，其特征在于，所述方向判別部(15)，在由所述攝像部拍攝到為了所述觸摸操作而接觸所述顯示畫 面的手指時，根據(jù)所述觸摸位置周邊的手指圖像的指紋形狀判別所述觸摸方向。
8.根據(jù)權(quán)利要求1所述的顯示裝置(1、2、11)，其特征在于， 所述顯示部(10、18、20)能將將根據(jù)所述觸摸操作而使規(guī)定功能有效的多個操作對 象圖像顯示在所述顯示畫面上，還具備存儲部(12，22)，對所述多個操作對象圖像，分別存儲基于所述觸摸操作 的功能被有效化的觸摸方向；以及，功能有效化部，在檢測到對所述操作對象圖像的觸摸操作時的觸摸方向與對應(yīng)該操 作對象圖像而存儲在所述存儲部(12、22)中的觸摸方向一致時，使基于對該操作對象圖 像的觸摸操作的功能有效。
9.根據(jù)權(quán)利要求1所述的顯示裝置(1、2、11)，其特征在于，所述顯示部(10、18、20)能針對不同的方向顯示不同的圖像， 在所述顯示畫面的特定位置，在第1方向上顯示通過觸摸操作使第1功能有效的第1 按鈕圖像，在所述特定位置上，在第2方向上顯示通過觸摸操作使第2功能有效的第2按 鈕圖像，所述顯示裝置(1、2、11)還具備功能選擇部，在由所述觸摸位置檢測部(14)檢測 到的觸摸位置是所述特定位置時，根據(jù)由所述方向判別部(15)判別的觸摸方向，使所述 2種功能之中的任意一方有效。
10.根據(jù)權(quán)利要求1所述的顯示裝置(1、2、11)，其特征在于， 所述攝像部是光傳感器。
11.根據(jù)權(quán)利要求1所述的顯示裝置(1、2、11)，其特征在于， 所述攝像部是溫度傳感器。
12.根據(jù)權(quán)利要求1所述的顯示裝置(1、2、11)，其特征在于， 所述觸摸位置檢測部，根據(jù)所述攝像部拍攝的圖像檢測觸摸位置。
13.根據(jù)權(quán)利要求1所述的顯示裝置(1、2、11)，其特征在于，所述顯示裝置(1、2、11)還具備控制部(19、21)，控制所述顯示裝置(1、2、11) 的動作，所述控制部(19、21)使所述顯示裝置(1、2、11)執(zhí)行與所述檢測到的所述觸摸位置 和所述判別出的所述觸摸方向相應(yīng)的動作。
14.一種顯示裝置(1、2、11)，具有顯示畫面，通過觸摸操作中使用的物體接觸所述 顯示畫面來接受輸入，其特征在于，具備攝像部，隔著所述顯示畫面，對接觸所述顯示畫面的所述物體進行攝像； 檢測部(14)，檢測所述物體對所述顯示畫面的接觸位置；判別部(15)，根據(jù)所述攝像部進行攝像而得到的圖像，判別所述物體相對于所述顯 示畫面的方向；以及控制部(19、21)，控制所述顯示裝置(1、2、11)的動作，所述控制部(19、21)使所述顯示裝置(1、2、11)執(zhí)行與所述接觸位置和所述判別出 的方向相應(yīng)的動作。
15.—種顯示裝置(1、2、11)中的控制方法，該顯示裝置(1、2、11)通過觸摸操作 中使用的物體接觸顯示畫面來接受輸入，其特征在于具備隔著所述顯示畫面，對接觸所述顯示畫面的所述物體進行攝像的步驟； 檢測所述物體對所述顯示畫面的接觸位置的步驟；根據(jù)所述攝像部進行攝像而得到的圖像，判別所述物體相對于所述顯示畫面的方向 的步驟(Si S5，S13，S14，S23，S33)以及使所述顯示裝置(1、2、11)執(zhí)行與所述接觸位置和所述判別出的方向相應(yīng)的動作的 步驟(S36，S37，S44，S45)。
全文摘要
本發(fā)明提供一種顯示裝置，在檢測到觸摸操作的情況下，由顯示裝置自身就能確定觸摸操作方向。顯示裝置(1)中配置光傳感器內(nèi)置LCD(10)，從所述顯示部的內(nèi)部拍攝對顯示畫面的觸摸操作；觸摸操作方向判別部(15)，根據(jù)所拍攝的圖像判別相對于觸摸操作位置的觸摸操作方向。
文檔編號G09F9/00GK102027439SQ200980117158
公開日2011年4月20日 申請日期2009年3月6日 優(yōu)先權(quán)日2008年5月12日
發(fā)明者吉本良治, 名古和行 申請人:夏普株式會社