專利名稱：輸入裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種讓用戶將指令或信息輸入到設(shè)備的輸入裝置，更具體地說，涉及讓用戶可以基于在顯示器等上面顯示的信息通過使用諸如手之類的身體部位輸入指令或信息的輸入裝置。
背景技術(shù)：
觸摸板顯示器是讓用戶基于在顯示器等顯示屏上面顯示的信息而通過使用他/ 她的手指等輸入指令或信息的傳統(tǒng)輸入裝置的一個實例。觸摸板顯示器采用的結(jié)構(gòu)是在顯示器的顯示屏上設(shè)置有觸摸板。在屏幕上顯示的GUI (圖形用戶界面)包括以菜單和按鈕開關(guān)為代表的顯示部分(后面稱之為GUI部分)。通過觸摸所期望的GUI部分，用戶可以輸入與GUI部分相關(guān)聯(lián)的指令或信息。如上所述，通過使用觸摸板顯示器，可以容易并直觀地輸入指令或信息，從而可以實現(xiàn)一種使對輸入操作不熟悉的人較為容易地操作的輸入界面。由此，觸摸板顯示器廣泛地應(yīng)用于銀行的ATM(自動柜員機)和汽車導(dǎo)航系統(tǒng)。另一方面，讓用戶可以不通過觸摸諸如觸摸板顯示器之類的顯示屏而通過使用遠(yuǎn)離顯示屏的操作單元進(jìn)行輸入的輸入界面的實例包括觸摸跟蹤器和書寫板，其通常用作 PC(個人電腦)的輸入裝置(例如，參閱專利文獻(xiàn)1)。在這些輸入界面上，諸如箭頭形狀之類的指針顯示在顯示屏上，當(dāng)用戶移動他/她的手指或筆，并使其接觸操作單元上提供的預(yù)定操作表面時，屏幕上的指針響應(yīng)于該移動而移動。通過在確認(rèn)指針已經(jīng)移到所期望的 GUI部分后執(zhí)行預(yù)定的輸入操作(例如，點擊操作)，用戶可以輸入與GUI部分相關(guān)聯(lián)的指令或信息。此外，在用戶不直接觸摸諸如觸摸板顯示器和書寫板之類的操作表面的情況下， 輸入界面也是可用的，此時通過使用攝像機而檢測到用戶的手等的移動，并且，在屏幕上顯示的指針響應(yīng)于該移動而移動(例如，參見專利文獻(xiàn)幻。在這種情況下，當(dāng)用戶在攝像機的視野內(nèi)朝著他/她想要移動屏幕上顯示的指針的方向在空中移動他/她的手時，屏幕上的指針響應(yīng)于該移動而移動。通過在確認(rèn)指針已經(jīng)移到所期望的GUI部分后執(zhí)行預(yù)定的輸入操作(例如，握拳)，用戶可以輸入與GUI部分相關(guān)聯(lián)的指令或信息。日本專利公開申請No. Hl 1-3169 [專利文獻(xiàn)2]日本專利公開申請No. 2000-18160
發(fā)明內(nèi)容
本發(fā)明要解決的問題但是，如上所述的傳統(tǒng)界面存在以下缺陷在觸摸板顯示器中，由于通過直接觸摸顯示屏進(jìn)行輸入，因此對于顯示屏的安裝位置會出現(xiàn)兩難局面。對于使用他/她的手指觸摸所述觸摸板顯示器的用戶來說，需要將顯示屏安裝在他/她的附近。人機工程學(xué)提供了與VDT(視頻顯示終端)的操作相關(guān)聯(lián)的輸入界面的最佳安裝條件，并確定了有利的距離是以人體為中心半徑50厘米或更少的范圍內(nèi)。另一方面，存在需要盡可能遠(yuǎn)地安裝顯示屏的情況。這種實例包括安裝在室內(nèi)的大屏幕電視和安裝在汽車內(nèi)的汽車導(dǎo)航系統(tǒng)。讓眼睛從約30厘米的短距離去看電視是不合理的。對于在駕駛過程中使用的汽車導(dǎo)航系統(tǒng)來說，據(jù)報道，駕駛員的視線的焦距需要調(diào)整的時間會妨礙對駕駛的注意力。也就是說，在駕駛過程中的焦距(前面幾米)和看到汽車導(dǎo)航系統(tǒng)的顯示屏的焦距之間的差別越小，安全性就越高。當(dāng)以使用鏡頭或鏡子的HUD(平視顯示器)為代表的遠(yuǎn)焦顯示器作為顯示裝置時，可以增加看到顯示屏?xí)r的焦距，因為用戶不能觸摸該遠(yuǎn)焦顯示器的顯示屏，所以，觸摸板不能得到應(yīng)用。此外，觸摸板顯示器存在一個固有的問題，S卩，用戶的輸入操作時在顯示屏上留下的指印會降低顯示器的可視度。另一方面，對于觸摸跟蹤器和書寫板來說，因為顯示屏和操作單元是分開的，所以，可以將顯示屏放在遠(yuǎn)處而將操作單元放在近處。由于用戶從不觸摸屏幕，所以也不用擔(dān)心指印會留在屏幕上。但是，對于顯示屏和操作單元分開的輸入界面，由于需要在操作單元的操作表面上滑動手指或筆以移動屏幕上顯示的指針，因此，與觸摸顯示面板不同的是，單次觸摸無法選擇到所期望的GUI部分。也就是說，因為在確認(rèn)指針的當(dāng)前位置之后，需要通過在操作表面上滑動手指，以把指針移到所期望的⑶I部分上，所以，實現(xiàn)像使用觸摸板顯示器一樣的快速輸入是困難的。如上所述，顯示屏和操作表面分開的輸入界面在可操作性上次于觸摸板顯示器，因為，在輸入界面上不可能實現(xiàn)像使用觸摸板顯示器一樣的直觀輸入。對于如上所述的使用攝像機檢測手的移動的方法，實現(xiàn)像使用觸摸板顯示器一樣的快速輸入也是困難的，因為需要通過移動空中的手而把指針移到所期望的GUI部分上， 例如觸摸跟蹤器和書寫板的實例。此外，用戶需要在空中移動手，這會導(dǎo)致疲勞。當(dāng)如上所述使用攝像機時，要考慮的是，檢測到的不是手指的“移動(即，相對的位置改變)”而是用戶的手指的方位，并根據(jù)該方位而檢測到用戶指向顯示屏上的“位置”。 但是，當(dāng)用戶指向遠(yuǎn)方目標(biāo)時，因為眼睛的位置造成的視差影響，用戶想要指向的目標(biāo)正好位于用戶指向的位置是很罕見的。因此，不能夠僅根據(jù)手指的方位來準(zhǔn)確地識別用戶所指向的顯示屏上的位置。此外，因為用戶需要在空中移動他/她的手，所以，手的位置是不穩(wěn)定的，因此，輸入的準(zhǔn)確性較低。因此，本發(fā)明的目的是提供一種即使顯示屏和操作單元是分開的情況下也能夠直覺地并準(zhǔn)確地進(jìn)行輸入的輸入裝置。
問題的解決方案為了達(dá)到以上目的，本發(fā)明采用了以下結(jié)構(gòu)。圓括號內(nèi)的參考字符、附圖數(shù)字以及輔助解釋對應(yīng)于用于幫助理解本發(fā)明的附圖，其并不限制本發(fā)明的范圍。本發(fā)明的第一方面是提供了一種輸入裝置，其包括檢測單元G，100)，其具有操作表面，檢測在所述操作表面上與所述用戶的身體部位(6)相接觸或接近的區(qū)域，并輸出指示所述區(qū)域的接觸位置數(shù)據(jù)(150A，150B)；操作內(nèi)容確定單元(500)，基于所述接觸位置數(shù)據(jù)，檢測所述用戶的特定輸入操作(按壓操作等)；身體位置顯示單元(600)，基于所述接觸位置數(shù)據(jù)，形成接觸區(qū)域圖像(

圖10B、圖11B、圖12B、圖13B、圖14B的103、圖15B的 104、圖1的7)，其對應(yīng)于所述用戶的身體部位在所述檢測單元的操作表面上相接觸或接近的所述區(qū)域；顯示信息產(chǎn)生單元(700)，產(chǎn)生便于所述用戶執(zhí)行操作的顯示圖像；圖像組合單元(800)，將由所述身體位置顯示單元形成的所述接觸區(qū)域圖像和由所述顯示信息產(chǎn)生單元產(chǎn)生的所述顯示圖像相互組合；以及，顯示單元0，200)，顯示由所述圖像組合單元通過組合所獲得的所述圖像。本發(fā)明的第二方面是根據(jù)第一方面的一個方面，其中，所述檢測單元是接觸式坐標(biāo)輸入裝置(例如，觸摸板或觸摸墊)。本發(fā)明的第三方面是根據(jù)第一方面的一個方面，其中，所述檢測單元包括沿著所述操作表面排列的多個電容傳感器(101)(圖；3)。因此，根據(jù)所述電容傳感器的設(shè)置，不僅可以檢測到所述用戶的接觸而且還可以檢測到所述用戶的身體部位的接近，因此，所述用戶可以輕松地執(zhí)行所述輸入操作，并且，可以通過所述顯示單元確定出接近時的條件。本發(fā)明的第四方面是根據(jù)第三方面的一個方面，其中，所述身體位置顯示單元形成由與所述檢測單元的電容傳感器相對應(yīng)的圓點組成的接觸區(qū)域圖像(圖10B)。這減輕了形成所述接觸區(qū)域圖像的處理負(fù)擔(dān)。此外，因為知道了哪些電容傳感器檢測到所述用戶的身體部位的接觸，所以，可以使輸入操作更精細(xì)和準(zhǔn)確。本發(fā)明的第五方面是根據(jù)第三方面的一個方面，其中，所述身體位置顯示單元形成的接觸區(qū)域圖像(圖11B)包括與所述檢測單元的所述電容傳感器相對應(yīng)的圓點中近似形成一個圖形的鄰接圓點。這使得所述用戶能夠直觀地獲知所述接觸區(qū)域的形狀，這幾乎不會導(dǎo)致什么不舒適感。本發(fā)明的第六方面是根據(jù)第一方面的一個方面，其中，所述檢測單元包括沿著所述操作表面排列的多個壓力傳感器(10 (圖4)。當(dāng)檢測時，基于所述壓力傳感器的檢測值，能夠容易地分辨出諸如觸摸、輕按和強按之類的輸入操作，從而可以使所述用戶易于執(zhí)行各種輸入操作。本發(fā)明的第七方面是根據(jù)第六方面的一個方面，其中，所述接觸位置數(shù)據(jù)包括由所述檢測單元的壓力傳感器(150B)檢測的壓力值，以及，所述身體位置顯示單元基于所述接觸位置數(shù)據(jù)，形成與所述檢測單元的壓力傳感器檢測到的所述壓力值相對應(yīng)的接觸區(qū)域圖像。因此，可以將應(yīng)用于所述操作表面的每個點的壓力度數(shù)呈現(xiàn)給所述用戶。本發(fā)明的第八方面是根據(jù)第七方面的一個方面，其中，由所述身體位置顯示單元形成的接觸區(qū)域圖像的部分的顏色根據(jù)所述檢測單元的壓力傳感器檢測到的所述壓力值而變化(圖12B、圖13B)。因此，可以將應(yīng)用于所述操作表面的每個點的具有顏色的壓力度數(shù)呈現(xiàn)給所述用戶。本發(fā)明的第九方面是根據(jù)第一方面的一個方面，其還具有遮蓋單元(圖9，130)， 其遮蓋所述檢測單元的操作表面。因此，可以避免由物體落到所述檢測單元的操作表面上而導(dǎo)致的故障。本發(fā)明的第十方面是根據(jù)第一方面的一個方面，其中，所述身體位置顯示單元基于先前保存的身體形狀圖案(圖14A的103、圖15A的104)和從所述檢測單元輸出的所述接觸位置數(shù)據(jù)，對所述檢測單元的操作表面上的所述用戶身體部位的形狀進(jìn)行建模，并形成由所述建模結(jié)果獲得的身體形狀模型(圖14A的103、圖15A的104)的圖像(7)，作為所述接觸區(qū)域圖像。因此，由于位于所述檢測單元操作表面上的所述用戶的手的形狀顯示在所述顯示單元上，因此使進(jìn)行像直接觸摸屏幕一樣的輸入操作成為可能。本發(fā)明的第十一方面是根據(jù)第十方面的一個方面，其中，所述身體位置顯示單元基于從所述檢測單元輸出的所述接觸位置數(shù)據(jù)，執(zhí)行校準(zhǔn)處理，以獲取所述用戶的身體部位的特征(每個手指的長度等)，并基于所述校準(zhǔn)處理的結(jié)果對所述用戶身體部位的形狀進(jìn)行建模。因此，使進(jìn)行更加精確的建模成為了可能。本發(fā)明的第十二方面是根據(jù)第十方面的一個方面，其還具有在所述檢測單元附近的諸如紅外傳感器之類的非接觸式位置檢測傳感器(110)(圖16)。因此，使進(jìn)行更加精確的建模成為了可能。本發(fā)明的第十三方面是根據(jù)第十方面的一個方面，其中，所述圖像組合單元僅將所述身體形狀模型的輪廓與由所述顯示信息產(chǎn)生單元產(chǎn)生的所述顯示圖像相組合(圖 23B)。因此，可以避免這樣一種情況，即，由于顯示所述身體形狀模型而隱藏所述顯示信息。本發(fā)明的第十四方面是根據(jù)第十方面的一個方面，其中，當(dāng)由所述身體位置顯示單元形成的所述接觸區(qū)域圖像和由所述身體信息產(chǎn)生單元形成的所述顯示圖像相互組合時，所述圖像組合單元改變所述身體形狀模型的透明度(圖23C)。因此，可以避免這樣一種情況，即，由于顯示所述身體形狀模型而隱藏所述顯示信息。本發(fā)明的第十五方面是根據(jù)第十方面的一個方面，其中，當(dāng)由所述身體位置顯示單元形成的所述接觸區(qū)域圖像和由所述身體信息產(chǎn)生單元形成的所述顯示圖像相互組合時，所述圖像組合單元突出所述身體形狀模型的輪廓(圖23C)。因此，可以清楚地顯示所述身體形狀模型。本發(fā)明的第十六方面是根據(jù)第十方面的一個方面，其中，當(dāng)由所述身體位置顯示單元形成的所述接觸區(qū)域圖像和由所述身體信息產(chǎn)生單元形成的所述顯示圖像相互組合時，所述圖像組合單元突出所述身體形狀模型的指尖部分(圖23D)。因此，可以以容易觀看的方式，將與所述輸入操作有較大關(guān)聯(lián)的所述指尖部分的當(dāng)前位置呈現(xiàn)給所述用戶，從而提高可操作性。本發(fā)明的第十七方面是根據(jù)第十六方面的一個方面，其中，所述檢測單元包括由沿著所述操作表面排列的多個電容傳感器(101)或壓力傳感器(10 組成的傳感器組，以及，當(dāng)由所述身體位置顯示單元形成的所述接觸區(qū)域圖像和由所述身體信息產(chǎn)生單元形成的所述顯示圖像相互組合時，所述圖像組合單元通過使用由與所述傳感器組的傳感器相對應(yīng)的圓點組成的圖像(圖10B、圖12B)來突出所述身體形狀模型的指尖部分。因此，由于知道了哪些傳感器檢測到所述用戶的身體部位的接觸，所以，使輸入操作更精細(xì)和準(zhǔn)確成為了可能。本發(fā)明的第十八方面是根據(jù)第十六方面的一個方面，其中，所述檢測單元包括由沿著所述操作表面排列的多個電容傳感器或壓力傳感器組成的傳感器組，以及，當(dāng)由所述身體位置顯示單元形成的所述接觸區(qū)域圖像和由所述身體信息產(chǎn)生單元形成的所述顯示圖像相互組合時，所述圖像組合單元通過使用由與所述傳感器組的傳感器相對應(yīng)的圓點中近似形成一個圖形的鄰接圓點所組成的圖像(圖11B、圖13B)來突出所述身體形狀模型的指尖部分。因此，可以顯示具有較小不自然度的平滑接觸區(qū)域圖像。
本發(fā)明的第十九方面是根據(jù)第十方面的一個方面，其中，當(dāng)由所述身體位置顯示單元形成的接觸區(qū)域圖像和由所述身體信息產(chǎn)生單元形成的所述顯示圖像相互組合時，所述圖像組合單元將被所述身體形狀模型所隱藏的所述顯示圖像中的顯示信息彈出顯示在未被所述身體形狀模型所隱藏的區(qū)域中(圖23F)。這也能夠使所述用戶確認(rèn)出由于顯示所述身體形狀模型而隱藏的所述顯示信息。本發(fā)明的第二十方面是根據(jù)第十方面的一個方面，其中，當(dāng)由所述身體位置顯示單元形成的所述接觸區(qū)域圖像和由所述身體信息產(chǎn)生單元形成的所述顯示圖像相互組合時，所述圖像組合單元將被所述身體形狀模型隱藏的所述顯示圖像中的顯示信息顯示在所述身體形狀模型的前面(圖23G)。這也能夠使所述用戶確認(rèn)出由于顯示所述身體形狀模型而隱藏的所述顯示信息。本發(fā)明的第二十一方面是根據(jù)第十方面的一個方面，其中，當(dāng)由所述身體位置顯示單元形成的所述接觸區(qū)域圖像和由所述身體信息產(chǎn)生單元形成的所述顯示圖像相互組合時，所述圖像組合單元突出與所述身體形狀模型的指尖部分相交迭的所述顯示圖像中的顯示信息(圖23H)。這能夠使所述用戶容易地確認(rèn)出哪個顯示信息與他/她的指尖位置相對應(yīng)。本發(fā)明的第二十二方面是根據(jù)第二十一方面的一個方面，其中，所述圖像組合單元通過放大所述顯示信息、改變所述顯示信息的顏色或者通過改變所述顯示信息以看起來有立體感來突出與所述指尖部分相交迭的所述顯示圖像中的所述顯示信息(圖23H)。這能夠使用戶容易地確認(rèn)出哪個顯示信息與他/她的指尖的當(dāng)前位置相對應(yīng)。本發(fā)明的第二十三方面是根據(jù)第一方面的一個方面，其中，所述顯示信息產(chǎn)生單元根據(jù)從所述檢測單元輸出的所述接觸位置數(shù)據(jù)，改變將要形成的顯示圖像。因此，可以根據(jù)情況產(chǎn)生適當(dāng)?shù)娘@示信息。本發(fā)明的第二十四方面是根據(jù)第二十三方面的一個方面，其還具有控制單元 G00)，其基于從所述檢測單元輸出的所述接觸位置數(shù)據(jù)，判斷所述用戶的身體部位是否與所述檢測單元的操作表面相接觸或接近，以及，僅當(dāng)所述控制單元基于從所述檢測單元輸出的所述接觸位置數(shù)據(jù)判斷出所述用戶的身體部位與所述檢測單元的所述操作表面相接觸或接近時，所述顯示信息產(chǎn)生單元才形成所述顯示圖像。因此，當(dāng)未檢測到所述身體部位時，可以通過不執(zhí)行所述圖像顯示處理來抑制功耗。本發(fā)明的第二十五方面是根據(jù)第二十三方面的一個方面，其還具有控制單元 (400)，其基于從所述檢測單元輸出的所述接觸位置數(shù)據(jù)判斷所述用戶的身體部位是否與所述檢測單元的操作表面相接觸或接近，以及，當(dāng)所述控制單元基于從所述檢測單元輸出的所述接觸位置數(shù)據(jù)判斷出所述用戶的身體部位與所述檢測單元的操作表面相接觸或接近時，所述顯示信息產(chǎn)生單元突出將要形成的所述顯示圖像中的GUI部分(圖19B、圖 20B)。因此，當(dāng)未檢測到所述身體部位時，通過非顯著地顯示所述GUI部分，可以容易地查看除了所述GUI部分之外的顯示信息，并且可以提升其信息量。本發(fā)明的第二十六方面是根據(jù)第一方面的一個方面，其還具有特征檢測模塊 000，600)，其基于從所述檢測單元輸出的所述接觸位置數(shù)據(jù)，來檢測與所述檢測單元的操作表面相接觸或接近的用戶的身體部位的特征，以及，所述顯示信息產(chǎn)生單元根據(jù)由所述特征檢測模塊檢測到的所述用戶的身體部位的特征而改變將要形成的所述顯示圖像。因此，可以根據(jù)所述用戶的身體部位的特征，產(chǎn)生適當(dāng)?shù)娘@示信息。本發(fā)明的第二十七方面是根據(jù)第二十六方面的一個方面，其中，所述特征檢測模塊基于從所述檢測單元輸出的所述接觸位置數(shù)據(jù)，判斷與所述檢測單元的操作表面相接觸或接近的所述用戶的身體部位是否為右手或左手，以及，所述顯示信息產(chǎn)生單元根據(jù)所述特征檢測模塊的判斷結(jié)果，改變將要形成的所述顯示圖像(圖21A、圖21B)。因此，可以根據(jù)所述用戶的身體部位是右手或左手，產(chǎn)生適當(dāng)?shù)娘@示信息。本發(fā)明的第二十八方面是根據(jù)第二十七方面的一個方面，其中，僅當(dāng)與所述檢測單元的操作表面相接觸或接近的所述用戶的身體部位是右手或左手時，所述顯示信息產(chǎn)生單元才產(chǎn)生顯示信息。例如，這能夠?qū)崿F(xiàn)如下處理只有當(dāng)所述用戶從所述檢測單元的右側(cè)執(zhí)行所述輸入操作時，才顯示所述顯示信息，以及，只有當(dāng)所述用戶從所述檢測單元的左側(cè)執(zhí)行所述輸入操作時，才顯示所述顯示信息。本發(fā)明的第二十九方面是根據(jù)第二十七方面的一個方面，其中，當(dāng)與所述檢測單元的操作表面相接觸或接近的所述用戶的身體部位是右手或左手時，所述顯示信息產(chǎn)生單元突出將要形成的所述顯示圖像中的⑶I部分、改變所述⑶I部分的位置(圖21A、圖21B) 或改變所述GUI部分的有效性。這能夠?qū)崿F(xiàn)如下處理只有當(dāng)所述用戶從所述檢測單元的右側(cè)(或左側(cè))執(zhí)行所述輸入操作時，所述GUI部分是突出的、所述GUI部分是有效的或者所述GUI部分被指示是無效的。此外，可以根據(jù)所述用戶的位置，將所述GUI部分的位置改變成容易執(zhí)行所述輸入操作的位置。本發(fā)明的第三十方面是根據(jù)第二十六方面的一個方面，其中，所述特征檢測模塊基于從所述檢測單元輸出的所述接觸位置數(shù)據(jù)，判斷與所述檢測單元的操作表面相接觸或接近的所述用戶的身體部位是否為成年人的身體部位或者兒童的身體部位，以及，所述身體位置顯示單元根據(jù)所述特征檢測模塊的判斷結(jié)果，改變將要形成的所述顯示圖像(圖 22A、圖22B)。因此，可以根據(jù)所述用戶的身體部位是成年人的身體部位或兒童的身體部位， 來產(chǎn)生適當(dāng)?shù)娘@示信息。本發(fā)明的第三十一方面是根據(jù)第三十方面的一個方面，其中，僅當(dāng)與所述檢測單元的操作表面相接觸或接近的所述用戶的身體部位是成年人的身體部位或兒童的身體部位時，所述顯示信息產(chǎn)生單元才產(chǎn)生顯示信息。例如，這能夠?qū)崿F(xiàn)如下處理只有當(dāng)所述用戶是成年人時才顯示所述顯示信息，或者，只有當(dāng)所述用戶是兒童時才顯示所述顯示信息。本發(fā)明的第三十二方面是根據(jù)第三十方面的一個方面，其中，當(dāng)與所述檢測單元的操作表面相接觸或接近的所述用戶的身體部位是成年人的身體部位或兒童的身體部位時，所述顯示信息產(chǎn)生單元突出將要形成的所述顯示圖像中的GUI部分、改變所述GUI部分的位置或改變所述GUI部分的有效性。這能夠?qū)崿F(xiàn)如下處理僅當(dāng)所述用戶是成年人(或兒童)時，所述GUI部分才是突出的、所述GUI部分才是有效的(圖22A)或者所述GUI部分才被指示是無效的。此外，可以根據(jù)所述用戶是成年人還是兒童，而將所述GUI部分的位置改變成容易執(zhí)行所述輸入操作的位置。本發(fā)明的第三十三方面是根據(jù)第一方面的一個方面，其中，所述輸入裝置具有兩種操作模式所述用戶能夠執(zhí)行輸入操作的模式和所述用戶不能執(zhí)行所述輸入操作的模式，以及，在所述用戶能夠執(zhí)行所述輸入操作的模式中，所述圖像組合單元將由所述顯示信息產(chǎn)生單元形成的所述顯示圖像，原樣顯示在所述顯示單元上，而未將所述顯示圖像與所述接觸區(qū)域圖像相組合。因此，當(dāng)設(shè)置了所述用戶不能執(zhí)行所述輸入操作的模式時，這可以顯示給所述用戶。本發(fā)明的第三十四方面是根據(jù)第一方面的一個方面，其中，所述輸入裝置具有兩種操作模式所述用戶能夠執(zhí)行輸入操作的模式和所述用戶不能執(zhí)行所述輸入操作的模式，以及，所述圖像組合單元根據(jù)所述操作模式，改變由所述顯示信息產(chǎn)生單元形成的所述顯示圖像與所述接觸區(qū)域圖像相互組合的方法。因此，例如，當(dāng)設(shè)置了所述用戶不能執(zhí)行所述輸入操作的模式時，這可以顯示在屏幕上。本發(fā)明的第三十五方面是根據(jù)第三十四方面的一個方面，其中，所述圖像組合單元將所述顯示圖像和所述接觸區(qū)域圖像相組合，以便將所述接觸區(qū)域圖像半透明地顯示、 以其輪廓突出的方式顯示或者以其輪廓突出的方式半透明地顯示在所述用戶能夠執(zhí)行所述輸入操作的模式中，并且，以便將所述接觸區(qū)域圖像不透明地顯示在所述用戶不能執(zhí)行所述輸入操作的模式中。因此，當(dāng)設(shè)置了所述用戶不能執(zhí)行所述輸入操作的模式時，這可以顯示給所述用戶。本發(fā)明的第三十六方面是根據(jù)第一方面的一個方面，其中，所述顯示單元是放映機，其將圖像放映在屏幕上。即使不像這樣而使用了無法直接觸摸的顯示器設(shè)備，也可以執(zhí)行直觀的輸入操作。本發(fā)明的第三十七方面是一種交通工具，其包括具有操作表面的檢測單元(4， 100)，檢測與所述用戶的身體部位(6)在所述操作表面上相接觸或接近的區(qū)域，并輸出指示所述區(qū)域的接觸位置數(shù)據(jù)(150A，150B)；操作內(nèi)容確定單元(500)，基于所述接觸位置數(shù)據(jù)檢測所述用戶的特定輸入操作(按壓操作等)；身體位置顯示單元(600)，基于所述接觸位置數(shù)據(jù)，形成與所述用戶的身體部位在所述檢測單元的所述操作表面上相接觸或接近的所述區(qū)域相對應(yīng)的接觸區(qū)域圖像(圖10B、圖11B、圖12B、圖13B、圖14B的103、圖15B的 104、圖1的7)；顯示信息產(chǎn)生單元(700)，產(chǎn)生便于所述用戶執(zhí)行操作的顯示圖像；圖像組合單元(800)，將由所述身體位置顯示單元形成的接觸區(qū)域圖像和由所述顯示信息產(chǎn)生單元產(chǎn)生的所述顯示圖像相互組合；以及，顯示單元(2，200)，顯示由所述圖像組合單元通過組合所獲得的所述圖像。因此，駕駛員和乘客可以在不觸摸所述屏幕的情況下執(zhí)行所述輸入操作，從而使所述輸入操作容易化。具體而言，當(dāng)駕駛員在駕駛中執(zhí)行所述輸入操作時， 由于在不看手的情況下就可以可靠地執(zhí)行所述輸入操作，因此視點的運動量得到抑制，從而確保安全。本發(fā)明的第三十八方面是根據(jù)第三十七方面的一個方面，其中，將所述檢測單元安裝在駕駛員座位的左側(cè)或右側(cè)，以及，安裝在駕駛員可以用扶手上的他/她的肘操作所述檢測單元的位置上(圖5、圖7)。這使所述駕駛員能夠在舒適的位置執(zhí)行所述輸入操作。本發(fā)明的第三十九方面是根據(jù)第三十七方面的一個方面，其中，將所述檢測單元安裝在方向盤上(圖6)。因此，由于所述方向盤和所述檢測單元是相互接近的，所以，也可以在駕駛過程中快速地執(zhí)行所述輸入操作。本發(fā)明的第四十方面是根據(jù)第三十七方面的一個方面，其中，將所述檢測單元安裝在后座的中央(圖8)。這使后座上的乘客能夠執(zhí)行所述輸入操作。
發(fā)明效果通過上述的本發(fā)明，可以精確地獲取在所述操作表面上與所述用戶的身體部位相接觸(或接近)的位置對應(yīng)的所述屏幕上的位置，因此，即使當(dāng)所述顯示屏幕和所述檢測單元相互分開時，也能夠像在直接觸摸諸如觸摸板之類的屏幕時進(jìn)行輸入那樣，進(jìn)行直觀和精確的輸入操作。 附圖簡述[圖1]圖1的根據(jù)本發(fā)明的一個實施例的輸入裝置的示意圖； [圖2]圖2的框圖示出了輸入裝置的結(jié)構(gòu)；圖3示出了當(dāng)在檢測單元100中使用電容傳感器101時從檢測單元100輸出的接觸位置數(shù)據(jù)的示例；圖4示出了當(dāng)在檢測單元100中使用壓力傳感器102時從檢測單元100輸出的接觸位置數(shù)據(jù)的示例；圖5示出了在汽車中安裝輸入裝置的示例； [圖6]圖6示出了在汽車中安裝輸入裝置的示例； [圖7]圖7示出了在汽車中安裝輸入裝置的示例； [圖8]圖8示出了在汽車中安裝輸入裝置的示例； [圖9]圖9示出了提供遮蓋單元130以遮蓋檢測單元100的示例； [圖10A]圖IOA示出了當(dāng)在檢測單元100中使用電容傳感器101時的接觸位置數(shù)據(jù)的示例；圖IOB示出了當(dāng)在檢測單元100中使用電容傳感器101時的接觸區(qū)域圖像的示例；圖IlA示出了當(dāng)在檢測單元100中使用電容傳感器101時的接觸位置數(shù)據(jù)的示例；圖IlB示出了當(dāng)在檢測單元100中使用電容傳感器101時的接觸區(qū)域圖像的示例；圖12A示出了當(dāng)在檢測單元100中使用壓力傳感器102時的接觸位置數(shù)據(jù)的示例；圖12B示出了當(dāng)在檢測單元100中使用壓力傳感器102時的接觸區(qū)域圖像的示例；圖13A示出了當(dāng)在檢測單元100中使用壓力傳感器102時的接觸位置數(shù)據(jù)的示例；圖1 示出了當(dāng)在檢測單元100中使用壓力傳感器102時的接觸區(qū)域圖像的示例；圖14A示出了準(zhǔn)備的手形狀模型103的示例；圖14B示出了手形狀模型103的形狀基于接觸位置數(shù)據(jù)而改變的示例； [圖15A]圖15A示出了準(zhǔn)備的手形狀模型104的示例；圖15B示出了手形狀模型104的形狀基于接觸位置數(shù)據(jù)而改變的示例； [圖16]圖16示出了在檢測單元100的附近提供了紅外傳感器110的示例； [圖17]圖17示出了用戶特定的輸入操作的示例；圖18的次序圖示出了用于顯示接觸區(qū)域圖像的控制單元400的處理流程； [圖19A]圖19A示出了當(dāng)未檢測到接觸區(qū)域時由顯示信息產(chǎn)生單元700產(chǎn)生的顯示信息的示例；圖19B示出了當(dāng)檢測到接觸區(qū)域時由顯示信息產(chǎn)生單元700產(chǎn)生的顯示信息的示例；圖20A示出了當(dāng)未檢測到接觸區(qū)域時由顯示信息產(chǎn)生單元700產(chǎn)生的顯示信息的示例；圖20B示出了當(dāng)檢測到接觸區(qū)域時由顯示信息產(chǎn)生單元700產(chǎn)生的顯示信息的示例；圖21A示出了當(dāng)檢測到右手時由顯示信息產(chǎn)生單元700產(chǎn)生的顯示信息的示
例；圖21B示出了當(dāng)檢測到左手時由顯示信息產(chǎn)生單元700產(chǎn)生的顯示信息的示
例；圖22A示出了當(dāng)檢測到較大的手時由顯示信息產(chǎn)生單元700產(chǎn)生的顯示信息的示例；圖22B示出了當(dāng)檢測到較小的手時由顯示信息產(chǎn)生單元700產(chǎn)生的顯示信息的示例；圖23A示出了由圖像組合單元800通過組合所獲得的圖像的示例； [圖23B]圖2 示出了由圖像組合單元800通過組合所獲得的圖像的示例； [圖23C]圖23C示出了由圖像組合單元800通過組合所獲得的圖像的示例； [圖23D]圖23D示出了由圖像組合單元800通過組合所獲得的圖像的示例； [圖23E]圖23E示出了由圖像組合單元800通過組合所獲得的圖像的示例； [圖23F]圖23F示出了由圖像組合單元800通過組合所獲得的圖像的示例； [圖23G]圖23G示出了由圖像組合單元800通過組合所獲得的圖像的示例； [圖23H]圖23H示出了由圖像組合單元800通過組合所獲得的圖像的示例； [圖24]圖M的次序圖示出了當(dāng)檢測到用戶的按壓操作時的控制單元400的處理流
程；圖25A是當(dāng)用戶的按壓操作存在時由顯示信息產(chǎn)生單元700產(chǎn)生的顯示信息的示例；圖25B是當(dāng)用戶的按壓操作存在時由顯示信息產(chǎn)生單元700產(chǎn)生的顯示信息的示例。
參考字符的描述
2顯示器
3GUI部分4觸摸墊6操作者的手7手形狀模型圖像100檢測單元101電容傳感器102壓力傳感器103手形狀模型104手形狀模型110紅外傳感器130遮蓋單元150A接觸位置數(shù)據(jù)150B接觸位置數(shù)據(jù)200顯示單元300計算單元400控制單元500操作內(nèi)容確定單元600身體位置顯示單元700顯示信息產(chǎn)生單元800圖像組合單元1000輸入裝置
具體實施例方式下面將詳細(xì)描述本發(fā)明的實施例。圖1是根據(jù)本發(fā)明的實施例的輸入裝置的示意圖。在圖1中，在用戶的手的附近設(shè)置了操作觸摸墊4，以及，在遠(yuǎn)離用戶的位置安裝了顯示器2。在顯示器2上顯示了讓用戶輸入所期望的指令或信息的一個或多個GUI部分3。觸摸墊4的操作表面上的點與顯示器2上的顯示屏上的點一一對應(yīng)。當(dāng)用戶用他 /她的手指在觸摸墊4的操作表面上按到一個點時，將指示接觸位置的數(shù)據(jù)從觸摸墊4輸出到未示出的控制單元，基于該數(shù)據(jù)識別與接觸位置相對應(yīng)的GUI部分3，以及，輸入與GUI 部分3相關(guān)聯(lián)的指令或信息。另一方面，當(dāng)用戶把手放在觸摸墊4上來選擇⑶I部分3時，由觸摸墊4檢測到在觸摸墊4上與用戶的手6相接觸的區(qū)域(通常，該區(qū)域是與用戶的指尖或手掌相接觸的區(qū)域)，并且，將指示接觸區(qū)域的數(shù)據(jù)從觸摸墊4發(fā)送到計算單元。計算單元根據(jù)從觸摸墊4 接收的數(shù)據(jù)估計位于觸摸墊4上的手的形狀，并基于所估計的形狀生成手形狀模型的圖像 7。然后，通過疊加將所生成的手形狀模型的圖像7顯示在顯示器2上。用戶在移動手6后按觸摸墊4，以使手形狀模型的指尖處于所期望的GUI部分3，同時觀看在顯示器2上顯示的手形狀模型。然后，輸入與接觸位置(即，處于手形狀模型的指尖的位置中的GUI部分3) 相對應(yīng)的關(guān)聯(lián)于GUI部分3的指令或信息。假設(shè)一種情況，即，手形狀模型的圖像7未顯示在屏幕上。在這種情況下，例如，當(dāng)選擇在屏幕的中央顯示的GUI部分3時，用戶在用手指按觸摸墊4之前，需要將他/她的視線轉(zhuǎn)向觸摸墊4的操作表面上，并確認(rèn)觸摸墊4的中央位置，這是不方便的。將視線轉(zhuǎn)向手上是危險的，特別是在汽車駕駛過程中。但是，根據(jù)本發(fā)明的輸入裝置，可以通過觀看顯示器2上顯示的手形狀模型的圖像7，確認(rèn)與手指的當(dāng)前位置相對應(yīng)的屏幕上的位置。因此， 用戶可以選擇GUI部分3，同時僅觀看顯示器2，而不用將他/她的視線轉(zhuǎn)向觸摸墊4上。后面將更加詳細(xì)地解釋輸入裝置。圖2的框圖示出了輸入裝置的結(jié)構(gòu)。在圖2中，輸入裝置1000包括檢測單元100、顯示單元200以及計算單元300。計算單元300包括控制單元400，其控制整個計算單元 300 ；操作內(nèi)容確定單元500，其檢測用戶的特定輸入操作；身體位置顯示單元600，其形成指示用戶的身體與檢測單元100相接觸的區(qū)域的圖像(例如，圖1的7)；顯示信息產(chǎn)生單元 700，其產(chǎn)生用戶輸入指令或信息所必要的顯示信息(即，包括⑶I部分3的圖像)；以及， 圖像組合單元800，其將由身體位置顯示單元600形成的圖像與由顯示信息產(chǎn)生單元700產(chǎn)生的顯示信息相互組合。下面將詳細(xì)解釋這些單元的結(jié)構(gòu)。(檢測單元100)
首先，將解釋檢測單元100。檢測單元100是讓用戶通過使用諸如手之類的身體部位輸入指令或信息的模塊， 并具有當(dāng)用戶觸摸操作表面時將指示接觸位置的數(shù)據(jù)輸出的功能。通常使用觸摸板或觸摸墊作為檢測單元100。雖然典型的觸摸板和觸摸墊只可以同時檢測一個接觸位置，但是，當(dāng)用戶在操作表面上同時觸摸多個位置時，在本發(fā)明中使用的檢測單元100具有同時檢測這些接觸位置的功能。這種功能是通過在檢測單元100的操作表面上二維地排列多個電容傳感器(或壓力傳感器)來實現(xiàn)的。圖3和圖4分別示出了從檢測單元100輸出的數(shù)據(jù)的示例。圖3示出了當(dāng)在檢測單元100中使用多個電容傳感器時的示例。在圖3中，在檢測單元100中，將多個電容傳感器101沿著操作表面二維排列。當(dāng)用戶的身體部位(在該示例中，手6)觸摸(或接近)操作表面時，檢測單元100和身體部位之間的電容會改變，并且該改變是由電容傳感器101檢測到的。檢測單元100基于電容傳感器101的檢測結(jié)果， 輸出如圖3所示的接觸位置數(shù)據(jù)150A，其指示用戶的身體部位在操作表面上的接觸位置。圖4示出了當(dāng)在檢測單元100中使用多個壓力傳感器時的示例。在圖4中，在檢測單元100中，將多個壓力傳感器102沿著操作表面二維排列。當(dāng)用戶的身體部位(在該示例中，手6)觸摸操作表面時，壓力傳感器102檢測到由身體部位施加于操作表面的壓力。 檢測單元100基于壓力傳感器102的檢測結(jié)果，輸出如圖4所示的接觸位置數(shù)據(jù)150B，其指示用戶的身體部位在操作表面上的接觸位置和壓力。在圖4的接觸位置數(shù)據(jù)150B中，用較黑的顏色示出了受到較高壓力的部分。接下來，參考圖5至圖8，將解釋在汽車中安裝檢測單元100的示例。圖5示出了第一安裝示例。在該安裝示例中，將檢測單元100安裝在中央控制臺的外延上的位置，并且，駕駛員可以在此處用扶手上的他/她的肘執(zhí)行操作。由于這使駕駛員能夠用扶手上的他/她的肘執(zhí)行輸入操作，因此，即使在執(zhí)行輸入操作時汽車正在簸動， 也可以穩(wěn)定地操作檢測單元100。此外，因為可以執(zhí)行穩(wěn)定的輸入操作，所以，駕駛員的注意力集中在輸入操作上的情況決不會發(fā)生，因此，在駕駛過程中執(zhí)行輸入操作不會妨礙駕駛。 此外，由于將檢測單元100安裝在中央控制臺上，所以，不僅是駕駛員，就連乘客座位或后座上的人也可以執(zhí)行輸入操作。圖6示出了第二安裝示例。在該安裝示例中，將檢測單元100安裝在方向盤的中央部分的傾斜位置，從而使其面向上。在該安裝示例中，由于方向盤和檢測單元100之間的距離非常短，因此，駕駛員可以快速地執(zhí)行輸入操作，而不用因較大程度地把手移開而無法用雙手駕駛方向盤。圖7示出了第三安裝示例。在該安裝示例中，將檢測單元100安裝在駕駛員座位一側(cè)的門的內(nèi)部，并且，駕駛員可以在此處用扶手上的他/她的肘執(zhí)行操作。由于這使駕駛員能夠用他/她的右手執(zhí)行輸入操作(即，對于許多人來說是優(yōu)勢手)，因此，對于許多駕駛員而言，可以進(jìn)行更自然和穩(wěn)定的輸入操作。此外，可以操作只有駕駛員可以操作的內(nèi)容 (例如，諸如自動窗之類的中央控制器)。圖8示出了第四安裝示例。在該安裝示例中，將檢測單元100安裝在位于后座中央的扶手上。在這種情況下，對于顯示單元200，可以使用針對后座上的乘客專門提供的顯示器，如圖8所示，或者，可以使用駕駛員座位顯示器或乘客座位顯示器，如圖5至7所示。根據(jù)此第四安裝示例，使后座上的乘客執(zhí)行輸入操作成為了可能。因此，本發(fā)明的輸入裝置可以用于特別為后座上的乘客提供的娛樂，如將本發(fā)明用作視頻游戲機的輸入裝置。此外，由于將檢測單元100設(shè)置在了后座的中央，所以，后座上的兩個乘客可以共享檢測單元100?？梢匀鐖D9所示來提供遮蓋單元130，其遮蓋檢測單元100的操作表面。通過這種方式，可以防止除了用戶身體部位外的物體與操作表面接觸；例如，可以避免以下麻煩，即， 物體落在檢測單元100的操作表面上而導(dǎo)致裝置發(fā)生故障或傳感器損壞。(顯示單元2OO)
接下來，將解釋顯示單元200。顯示單元200將由圖像組合單元800通過組合獲得的圖像顯示在屏幕上，以及，可以將液晶顯示器、CRT(陰極射線管)顯示器、EL(電致發(fā)光)顯示器等用作顯示單元200。顯示單元200可以是諸如HUD (平視顯示器)或HMD (頭盔顯示器)之類的顯示器， 其在空中通過使用半透鏡、鏡子、透鏡等形成由圖像組合單元800通過組合所獲得的圖像。 在這種情況下，可以將圖像顯示在諸如汽車前車蓋上部之類的較難安裝顯示單元200的位置上。此外，放映機可以用作為顯示單元200。在這種情況下，由于通過放映機將圖像組合單元800通過組合所獲得的圖像放映到了屏幕上，因此，可以低成本地實現(xiàn)大屏幕顯示
ο如上所述，根據(jù)安裝的位置和顯示的用途，適當(dāng)?shù)剡x擇顯示單元200的結(jié)構(gòu)。接下來，將解釋計算單元300中的單元。(身體位置顯示單元600)
首先，將解釋身體位置顯示單元600。身體位置顯示單元600通過控制單元400獲取從檢測單元100輸出的接觸位置數(shù)據(jù)(圖3的150A或圖4的150B)、基于該接觸位置數(shù)據(jù)形成指示用戶的身體與檢測單元 100相接觸的區(qū)域的圖像(后面稱之為接觸區(qū)域圖像)，并將所形成的圖像輸出到控制單元 400。后面，將具體解釋身體位置顯示單元600中的接觸區(qū)域圖像形成方法?？紤]兩種方法，作為將用戶的身體與檢測單元100相接觸的區(qū)域顯示在顯示單元 200的屏幕上的方法。第一種方法是將接觸區(qū)域形狀自身顯示為接觸區(qū)域圖像，以及，第二種方法是根據(jù)接觸區(qū)域的形狀估計位于檢測單元100上的用戶的手的位置和形狀，基于估計結(jié)果產(chǎn)生手形狀模型，以及將所產(chǎn)生的手形狀模型的圖像(圖1中的7)顯示為接觸區(qū)域圖像。下面將依次解釋這些方法。首先，將參考圖IOA至圖12B解釋將接觸區(qū)域形狀自身顯示為接觸區(qū)域圖像的情形。
首先，參考圖IOA和10B，將解釋把接觸區(qū)域形狀自身顯示為接觸區(qū)域圖像的情形的第一具體示例。圖IOA示出了當(dāng)用戶的手放在具有600 (20X 30)個電容傳感器101的檢測單元100的操作表面上時的電容傳感器101的檢測結(jié)果(二進(jìn)制)。電容傳感器101的數(shù)量(即，檢測單元100的分辨率)僅僅作為示例，并且，本發(fā)明并不限于此。圖IOA的電容傳感器101的檢測結(jié)果作為接觸位置數(shù)據(jù)從檢測單元100中輸出。身體位置顯示單元 600基于該接觸位置數(shù)據(jù)形成接觸區(qū)域圖像，其中，預(yù)定尺寸的圓點排列在與檢測到手接觸 (或接近)的電容傳感器101相對應(yīng)的位置上，如圖IOB所示。以這種方式形成的接觸區(qū)域圖像通過后面描述的圖像組合單元800的處理而與顯示信息相組合，并顯示在顯示單元 200上。因為這種顯示能夠讓用戶確認(rèn)電容傳感器101的位置位于屏幕上的他/她的手下面，所以，可以在特定的電容傳感器101上執(zhí)行諸如雙擊操作之類的輸入操作。因此，當(dāng)需要諸如選擇精確的GUI部分之類的精確的輸入操作時，該示例是特別有效的。接下來，參考圖IlA和11B，將解釋把接觸區(qū)域形狀自身顯示為接觸區(qū)域圖像的情形的第二具體示例。圖IlA示出了當(dāng)用戶的手放在與如圖IOA所示的具有600 (20 X 30)個電容傳感器101的檢測單元100的操作表面上時，電容傳感器101的檢測結(jié)果(二進(jìn)制)。 電容傳感器101的數(shù)量(即，檢測單元100的分辨率)僅僅作為示例，并且，本發(fā)明并不限于此。圖IlA的電容傳感器101的檢測結(jié)果作為接觸位置數(shù)據(jù)從檢測單元100中輸出。身體位置顯示單元600基于該接觸位置數(shù)據(jù)，形成與實際接觸區(qū)域的形狀相接近的接觸區(qū)域圖像，如圖IlB所示。具體而言，在檢測手的接觸(或接近)的電容傳感器101中，將鄰接的電容傳感器101視為一組，并且，將該組的形狀近似成給定的圖形(例如，橢圓形)。當(dāng)然，也可以通過填充圖IOB的接觸區(qū)域圖像中的鄰接圓點之間的空間，來形成與圖IlB相接近的接觸區(qū)域圖像。這種顯示能夠讓用戶直觀地獲知接觸區(qū)域的形狀，這幾乎不產(chǎn)生什么不舒適感。對于顯示變化，可以進(jìn)行如下執(zhí)行僅僅顯示接觸區(qū)域的輪廓；將預(yù)定的結(jié)構(gòu)粘貼到接觸區(qū)域；或者根據(jù)接觸的區(qū)域改變接觸區(qū)域的顏色或透明度。接下來，參考圖12A和圖12B，將解釋把接觸區(qū)域形狀自身顯示為接觸區(qū)域圖像的情形的第三具體示例。圖12A示出了當(dāng)用戶的手放在具有600(20X30)個壓力傳感器102 的檢測單元100的操作表面上時，壓力傳感器102的檢測結(jié)果(多值)。壓力傳感器102的數(shù)量(即，檢測單元100的分辨率)僅僅作為示例，并且，本發(fā)明并不限于此。圖12A的壓力傳感器102的檢測結(jié)果作為接觸位置數(shù)據(jù)從檢測單元100中輸出。身體位置顯示單元600 基于該接觸位置數(shù)據(jù)，將預(yù)定尺寸的圓點排列在與檢測壓力的壓力傳感器102相對應(yīng)的位置，如圖12B所示，并形成接觸區(qū)域圖像，其中，壓力傳感器102檢測到的壓力越高，該壓力傳感器102所對應(yīng)的圓點的顏色就越黑。因為這種顯示能夠讓用戶確認(rèn)壓力傳感器102的位置位于屏幕上的他/她的手下面，所以，可以執(zhí)行諸如對特定的壓力傳感器102進(jìn)行雙擊操作之類的輸入操作。因此，當(dāng)需要諸如選擇精確的GUI部分之類的精確的輸入操作時，該示例是特別有效的。此外，由于可以在屏幕上確認(rèn)由壓力傳感器102檢測到的壓力，因此， 用戶可以在執(zhí)行按壓操作時獲知需要多少壓力，以及指尖的哪部分將最高壓力施于了操作表面。通過這種方式，例如，當(dāng)錯誤地選擇了與目標(biāo)GUI部分不同的GUI部分時，可以確認(rèn)其原因(例如，用手掌無意地將高壓力施于了操作表面)。在圖12B的示例中，當(dāng)圓點的顏色根據(jù)壓力而改變時，本發(fā)明并不限于此。例如，圓點的尺寸、圓點的透明度、圓點的形狀、 圓點的邊緣線的存在或不存在、像素的邊緣線的線型，以及像素的邊緣線的厚度可以根據(jù)
17壓力而改變。此外，可以將這些變化組合起來。接下來，參考圖13A和圖13B，將解釋把接觸區(qū)域形狀自身顯示為接觸區(qū)域圖像的情形的第四具體示例。圖13A示出了當(dāng)用戶的手放在如圖12A—樣的具有600 (20 X 30)個壓力傳感器102的檢測單元100的操作表面上時，壓力傳感器102的檢測結(jié)果(多值)。壓力傳感器102的數(shù)量(即，檢測單元100的分辨率)僅僅作為示例，并且，本發(fā)明并不限于此。圖13A的壓力傳感器102的檢測結(jié)果作為接觸位置數(shù)據(jù)從檢測單元100中輸出。身體位置顯示單元600基于該接觸位置數(shù)據(jù)，形成與實際接觸區(qū)域的形狀接近的接觸區(qū)域圖像，如圖1 所示。具體而言，在檢測到高于預(yù)定值的壓力的壓力傳感器102中，將鄰接的壓力傳感器102視為一組，將該組的形狀近似成給定的圖形(例如，橢圓形)，另外，根據(jù)壓力傳感器102檢測到的壓力，而在該圖形的顏色中提供了等級。例如，將壓力高的部分顯示成紅色，將壓力低的部分顯示成藍(lán)色，并將處于兩者之間的中間壓力的部分顯示成紫色。這種顯示能夠讓用戶直觀地獲知接觸區(qū)域的形狀，這幾乎不產(chǎn)生什么不舒適感。在圖13B的示例中，當(dāng)橢圓的顏色根據(jù)壓力而改變時，本發(fā)明并不限于此。例如，橢圓的尺寸、橢圓的透明度、橢圓的形狀、橢圓的邊緣線的存在或不存在、橢圓的邊緣線的線型，以及橢圓的邊緣線的厚度可以根據(jù)壓力而改變。此外，可以將這些變化組合起來。接下來，將參考圖14A至圖16，解釋把基于接觸區(qū)域的形狀所形成的手形狀模型的圖像顯示為接觸區(qū)域圖像的情形。身體位置顯示單元600基于從檢測單元100輸出的接觸位置數(shù)據(jù)，執(zhí)行手形狀建模(圖3的150A或圖4的150B)。對于手形狀模擬，在用戶進(jìn)行輸入操作之前，需要對每個用戶進(jìn)行校準(zhǔn)處理。該校準(zhǔn)處理是將把用戶的手的特征反映在準(zhǔn)備的手形狀模型中，并且，在用戶操作輸入裝置之前，僅僅需要執(zhí)行一次?？梢杂捎脩敉ㄟ^使用給定的輸入模塊，直接將用戶的手的特征(諸如手掌的尺寸和形狀、每個手指的長度和厚度以及指尖到第一關(guān)節(jié)或第二關(guān)節(jié)之間的長度之類的參數(shù))輸入到身體位置顯示單元600，或者，可以進(jìn)行如下執(zhí)行用戶對著檢測單元 100的操作表面按他/她的手，并且，由身體位置顯示單元600基于從檢測單元100輸出的接觸位置數(shù)據(jù)，自動識別所述參數(shù)。通過將以該方式獲取的對用戶特定的特征參數(shù)與用戶的識別信息(例如，名字)一起存儲在給定的存儲裝置中以備后用。這使得當(dāng)用戶使用輸入裝置時不必每次都對該用戶執(zhí)行校準(zhǔn)處理。身體位置顯示單元600根據(jù)從檢測單元100輸出的接觸位置數(shù)據(jù)，確定手掌的底部位置和指尖的位置，基于通過校準(zhǔn)處理所獲得的用戶的手的位置和特征，將圖14A中所示的所準(zhǔn)備的手形狀模型103的形狀改變成圖IOB中所示的手形狀模型，并將形狀改變的手形狀模型的圖像作為接觸區(qū)域圖像輸出到控制單元400。可能存在用戶未將他/她所有的五個手指與檢測單元100的操作表面相接觸的情況。例如，可以考慮用戶僅將他/她的五個手指中的食指和拇指接觸操作表面的情況。為了應(yīng)付這種情況，準(zhǔn)備了用戶進(jìn)行接觸或組合的與手指的數(shù)量相對應(yīng)的手形狀模型的多個圖案，以及，身體位置顯示單元600基于從檢測單元100輸出的接觸位置數(shù)據(jù)，判斷用戶用哪些手指與操作表面相接觸，并通過使用與判斷結(jié)果相對應(yīng)的手形狀模型，產(chǎn)生接觸區(qū)域圖像。例如，當(dāng)用戶僅用他/她的五個手指中的食指和拇指接觸操作表面時，基于接觸位置數(shù)據(jù)和用戶的手的特征，在圖15A中示出了所準(zhǔn)備的手形狀模型104的形狀。
考慮如下方法作為判斷五個手指中哪些手指進(jìn)行接觸的方法鑒于檢測單元100 中的接觸位置對其進(jìn)行估計；鑒于接觸區(qū)域之間的相對位置對其進(jìn)行估計；以及，鑒于接觸區(qū)域的轉(zhuǎn)換歷史對其進(jìn)行估計?？梢詢H根據(jù)所接觸的手指的數(shù)量進(jìn)行手形狀模型選擇， 而不用識別五個手指中的哪些手指在進(jìn)行接觸。例如，當(dāng)只有一個手指進(jìn)行接觸時，可以使用只有食指伸展的手形狀模型，而不考慮該手指實際上是否為食指?？赡艽嬖谟脩魞H將他/她的手指接觸檢測單元100的操作表面的情況。在這種情況下，身體位置顯示單元600鑒于用戶從哪個方向在檢測單元100上執(zhí)行輸入操作，而根據(jù)指尖的接觸位置估計手掌的位置。例如，在圖7的示例中，由于假設(shè)用戶使用扶手上的他/ 她的肘執(zhí)行輸入操作，因此，認(rèn)為用戶的手掌相對于指尖的位置總是位于后座的方向。身體位置顯示單元600基于所估計的手掌位置、接觸位置數(shù)據(jù)以及用戶的手的特征，產(chǎn)生手形狀模型的圖像?？梢匀缦聢?zhí)行將多個紅外傳感器110排列在檢測單元100的操作表面的邊緣部分，或者，圍繞在操作表面的整個區(qū)域上，如圖16所示，并檢測人體是否在紅外傳感器110 的上方。通過考慮這些紅外傳感器110的檢測結(jié)果，身體位置顯示單元600可以容易地判斷用戶的手的方位，即使當(dāng)用戶未用手掌接觸檢測單元100的操作表面時。也可以檢測到用戶的手位于遠(yuǎn)離檢測單元100上方的操作表面的位置。存在用戶僅用他/她的手掌接觸檢測單元100的操作表面的情況。在這種情況下， 身體位置顯示單元600顯示張開的手的手形狀模型的圖像。此外，可以通過使手形狀模型呈半透明狀，而向用戶表明指尖未接觸操作表面。這種顯示能夠使用戶根據(jù)顯示單元200 上顯示的圖像，容易地獲知他/她的手的情形，這使用戶感到輕松自若。當(dāng)指尖和手掌均未接觸檢測單元100的操作表面時，身體位置顯示單元600不產(chǎn)生接觸區(qū)域圖像。因此，用戶可以根據(jù)顯示單元200上顯示的圖像，容易地獲知他/她的手的情形(即，手遠(yuǎn)離操作表面)，并可以感到輕松自若。(操作內(nèi)容確定單元500) 接下來，將解釋操作內(nèi)容確定單元500。操作內(nèi)容確定單元500通過控制單元400，獲取從檢測單元100輸出的接觸位置數(shù)據(jù)，基于該接觸位置數(shù)據(jù)檢測用戶的特定輸入操作，并將結(jié)果輸出到控制單元400。由操作內(nèi)容確定單元500檢測到的特定輸入操作的示例包括按壓操作表面的操作(后面稱之為按壓操作)；在用例如手指按壓操作表面的同時，滑動該手指的操作；觸摸操作表面上的點持續(xù)預(yù)定的或更長的時間段的操作(后面稱之為持續(xù)操作)；觸摸操作表面上的點持續(xù)僅僅一瞬間的操作(后面稱之為輕擊操作)；在短時間段內(nèi)兩次觸摸操作表面上的點的操作 (后面稱之為雙擊操作)。為了檢測持續(xù)操作、輕擊操作以及雙擊操作，由于需要考慮接觸位置隨時間的變化，因此，需要適當(dāng)?shù)乇４嫔眢w部位與操作表面上的每個點相接觸的時間和歷史。當(dāng)在檢測單元100中使用壓力傳感器102時，可以通過將由壓力傳感器檢測到的壓力與預(yù)定門限值相比較，從而容易地檢測到按壓操作，當(dāng)在檢測單元100中使用電容傳感器101時，需要一種發(fā)明。當(dāng)在檢測單元100中使用電容傳感器101時，例如，可以通過根據(jù)接觸位置數(shù)據(jù)計算用戶的指尖所接觸的區(qū)域面積，以及監(jiān)控面積的變化，檢測到按壓操作。這利用了這樣一種事實，即，當(dāng)用戶僅把他/她的手放在操作表面上時，指尖和操作表面之間的接觸面積較小，則當(dāng)用戶對著操作表面按壓指尖時，接觸面積增加到約1. 2倍至2倍?？梢匀缦聢?zhí)行例如，用⑶I部分將用于音量控制的旋轉(zhuǎn)開關(guān)模擬地顯示在顯示單元200上，如圖17所示，并且，當(dāng)由操作內(nèi)容確定單元500檢測到諸如在檢測單元100的操作表面上畫圓圈之類的拖曳操作時，音量根據(jù)拖曳操作而改變。這實現(xiàn)了直觀的輸入操作，就像實際上轉(zhuǎn)動旋轉(zhuǎn)開關(guān)一樣。(控制單元400)
接下來，將解釋控制單元400。將控制單元400的處理大致分成在顯示單元200上執(zhí)行顯示接觸區(qū)域圖像的處理，該接觸區(qū)域圖像指示用戶身體部位與檢測單元100的操作表面的接觸區(qū)域；以及，當(dāng)存在用戶的輸入操作時執(zhí)行的處理。首先，將參考圖18的次序圖，解釋由控制單元400所執(zhí)行的將接觸區(qū)域圖像顯示在顯示單元200上的處理流程。在步驟S501中，當(dāng)檢測單元100檢測到用戶身體部位接觸(接近)操作表面的位置時，檢測單元100將檢測到的位置數(shù)據(jù)發(fā)送到控制單元400。在步驟S502中，控制單元400在該時間點檢查操作模式。這里，準(zhǔn)備了如下兩種模式作為操作模式允許用戶執(zhí)行輸入操作的模式；以及，禁止用戶執(zhí)行輸入操作的模式。 具體而言，在汽車導(dǎo)航系統(tǒng)中，由于駕駛員在駕駛時操作汽車導(dǎo)航系統(tǒng)會存在危險，因此通常禁止用戶在駕駛時執(zhí)行輸入操作。當(dāng)通過在步驟S502中的檢查判斷出不允許用戶執(zhí)行輸入操作時，控制單元400指示圖像組合單元800，將由顯示信息產(chǎn)生單元700產(chǎn)生的顯示信息(未將顯示信息和接觸區(qū)域圖像相互組合)，原樣地輸出到顯示單元200。當(dāng)通過在步驟S502中的檢查判斷出允許用戶執(zhí)行輸入操作時，在步驟S503中，控制單元400指示身體位置顯示單元600產(chǎn)生接觸區(qū)域圖像，以及，在步驟S504中，指示顯示信息產(chǎn)生單元700改變將要在顯示單元200上顯示的顯示信息。當(dāng)必要時，控制單元400 可以檢測與位于檢測單元100的操作表面上的身體部位相關(guān)的特征(手的尺寸、左手還是右手等)，并將這些特征發(fā)送到顯示信息產(chǎn)生單元700。由于和上述處理相似，因此對于在身體位置顯示單元600中形成接觸區(qū)域圖像的處理不再贅述。身體位置顯示單元600基于接觸位置數(shù)據(jù)，將手形狀模型的圖像形成為接觸區(qū)域圖像。顯示信息產(chǎn)生單元700根據(jù)控制單元400的指示，改變顯示信息。下面將描述由顯示信息產(chǎn)生單元700改變顯示信息的示例。圖19A和圖19B示出了第一示例，其中，在當(dāng)檢測單元100檢測到接觸位置時(即， 當(dāng)用戶身體部位位于檢測單元100的操作表面上時)和當(dāng)檢測單元100未檢測到接觸位置時(即，當(dāng)用戶身體部位未位于檢測單元100的操作表面上時)之間，改變顯示信息?？刂茊卧?00可以基于從檢測單元100輸出的接觸位置數(shù)據(jù)，判斷檢測單元100是否檢測到接觸位置。控制單元400基于判斷結(jié)果，指示顯示信息產(chǎn)生單元700改變顯示信息。圖19A示出了當(dāng)檢測單元100未檢測到接觸位置時的屏幕顯示示例。在該示例中，示出了可由用戶選擇的GUI部分(在該示例中，按鈕)的邊緣，其線型與僅用于消息顯示的框的線型相同， 在該用于消息顯示的框中示出了消息“M分鐘至目的地”。圖19B示出了與圖19A相對應(yīng)的當(dāng)檢測單元100檢測到接觸位置時的屏幕顯示示例。在該示例中，由于立體地顯示了按鈕，因此，用戶可以迅速地認(rèn)出要選擇的區(qū)域。通過如上所述改變顯示信息，當(dāng)用戶不想執(zhí)行輸入操作時，可以通過簡化顯示信息以提高顯示信息的可視度，以及，當(dāng)用戶想執(zhí)行輸入操作時，可以通過突出要選擇的目標(biāo)以提高可操作性。圖20A和圖20B示出了第二示例，其中，在當(dāng)檢測單元100檢測到接觸位置時(即， 當(dāng)用戶身體部位位于檢測單元100的操作表面上時)和當(dāng)檢測單元100未檢測到接觸位置時(即，當(dāng)用戶身體部位未位于檢測單元100的操作表面上時)之間改變顯示信息。圖20A 示出了當(dāng)檢測單元100未檢測到接觸位置時的另一屏幕顯示示例。在該示例中，以較小尺寸示出了可由用戶選擇的GUI部分(在該示例中，按鈕)。圖20B示出了與圖20A相對應(yīng)的當(dāng)檢測單元100檢測到接觸位置時的屏幕顯示示例。在該示例中，由于用比圖20A中的尺寸大的尺寸示出了按鈕，因此，便于用戶選擇按鈕。通過如上所述改變顯示信息，當(dāng)用戶不想執(zhí)行輸入操作時，可以通過提高除了按鈕之外的信息的明顯度來提高可操作性，以及，當(dāng)用戶想執(zhí)行輸入操作時，可以通過放大按鈕來提高可操作性。圖2IA和圖21B示出了一個示例，其中，在當(dāng)右手位于檢測單元100的操作表面上時和當(dāng)左手位于其上時之間改變顯示信息。是左手還是右手位于檢測單元100的操作表面上可以由控制單元400基于從檢測單元100輸出的接觸位置數(shù)據(jù)來判斷，或可以在校準(zhǔn)處理中進(jìn)行判斷。對于該判斷，可以使用各種現(xiàn)有的算法?？刂茊卧?00基于判斷結(jié)果，指示顯示信息產(chǎn)生單元700改變顯示信息。圖21A示出了當(dāng)右手位于檢測單元100的操作表面上時的屏幕顯示示例，以及，圖21B示出了當(dāng)左手位于檢測單元100的操作表面上時的屏幕顯示示例。在該示例中，假設(shè)這樣一種情況，即，當(dāng)把檢測單元100安裝在汽車中的駕駛員座位和乘客座位之間時，兩個用戶位于檢測單元100的右側(cè)和左側(cè)，位于檢測器100的右側(cè)的用戶用他/她的左手操作檢測單元100，以及，位于檢測器100的左側(cè)的用戶用他/她的右手操作檢測單元100。即，當(dāng)右手位于檢測單元100的操作表面上時，認(rèn)為操作檢測單元 100的用戶位于檢測單元100的左側(cè)。此時，如果⑶I部分(在示例中，按鈕)顯示在屏幕的右上角，那么，當(dāng)用戶試圖按壓按鈕時，用戶的手掌會遮住檢測單元100的中央的附近部分，因此，手形狀模型的圖像會遮住中央的附近部分，這降低了屏幕的明顯度。為了避免這種問題，當(dāng)右手位于操作單元100的操作表面上時，將按鈕顯示在屏幕的左側(cè)，如圖21A所示，相反，當(dāng)左手位于操作單元100的操作表面上時，將按鈕顯示在屏幕的右側(cè)，如圖21B所
7J\ ο雖然在該示例中，按鈕所在的位置在當(dāng)右手位于檢測單元100的操作表面上時和當(dāng)左手位于檢測單元100的操作表面上時之間改變，但是，按鈕的功能、形狀、尺寸以及數(shù)量也可以改變。例如，當(dāng)把檢測單元100安裝在右手駕車的駕駛員座位和乘客座位之間時， 考慮如下在當(dāng)汽車行駛時放置右手(即，乘客座位上的乘客的手)時，顯示了需要諸如字符輸入之類的較復(fù)雜輸入操作的按鈕和需要諸如屏幕滾動之類的較容易輸入操作的按鈕， 以及，在當(dāng)汽車行駛時放置左手(即，駕駛員的手)時，出于安全原因，僅顯示了需要較容易輸入操作的按鈕。同樣，當(dāng)把檢測單元100安裝在左手駕車的駕駛員座位和乘客座位之間時，考慮如下在當(dāng)汽車行駛時放置左手(即，乘客座位上的乘客的手)時，顯示了需要諸如字符輸入之類的較復(fù)雜輸入操作的按鈕和需要諸如屏幕滾動之類的較容易輸入操作的按鈕，以及，在當(dāng)汽車行駛時放置右手(即，駕駛員的手)時，僅顯示了需要較容易輸入操作的按鈕。
21
圖22A和圖22B示出了一個示例，其中，顯示信息在當(dāng)較大的手(S卩，成年人的手) 放在檢測單元100的操作表面上時和當(dāng)較小的手(即，兒童的手)放在其上時之間改變。 是較大的手還是較小的手放在檢測單元100的操作表面上可以由控制單元400基于從檢測單元100輸出的接觸位置數(shù)據(jù)進(jìn)行判斷，或可以在校準(zhǔn)處理中進(jìn)行判斷。對于該判斷，可以使用各種現(xiàn)有的算法。控制單元400基于判斷結(jié)果，指示顯示信息產(chǎn)生單元700改變顯示信息。圖22A示出了當(dāng)較大的手放在檢測單元100的操作表面上時的屏幕顯示示例。當(dāng)較大的手放在檢測單元100的操作表面上時，由于考慮到是成年人想要操作檢測單元100，因此，并未特別限制輸入操作。圖22B示出了當(dāng)較小的手放在檢測單元100的操作表面上時的屏幕顯示示例。當(dāng)較小的手放在檢測單元100的操作表面上時，由于考慮到是兒童想要操作檢測單元100，因此，部分或所有按鈕會失效，從而限制輸入操作，此外，改變按鈕的顏色或設(shè)置標(biāo)記，從而把按鈕無效指示給用戶。雖然在本示例中，當(dāng)較小的手放在檢測單元100的操作表面上時，改變按鈕的顏色或設(shè)置標(biāo)記，但本發(fā)明并不限于此，而是可以考慮各種顯示信息改變示例。例如，考慮把顯示信息中包括的較難的字詞改變成簡單的字詞，并且，將屏幕結(jié)構(gòu)和顏色設(shè)計改變成兒童的類型。對于另一顯示信息改變示例，僅當(dāng)判斷出用戶身體部位位于操作表面上時，顯示信息產(chǎn)生單元700才可以產(chǎn)生顯示信息。通過這種方式，當(dāng)用戶不執(zhí)行輸入操作時，中斷與圖像顯示相關(guān)聯(lián)的處理，從而抑制功耗。同樣，僅當(dāng)判斷出用戶的右手(或左手)位于操作表面上時，顯示信息產(chǎn)生單元700才可以產(chǎn)生顯示信息。同樣，僅當(dāng)判斷出成年人的手(或兒童的手)位于操作表面上時，顯示信息產(chǎn)生單元700才可以產(chǎn)生顯示信息。位于檢測單元100的操作表面上的物體并不總是用戶的身體部位。因此，控制單元400可以基于來自檢測單元100的接觸位置數(shù)據(jù)，判斷位于檢測單元100的操作表面上的物體是否用戶的身體部位，并在當(dāng)其是身體部位時和當(dāng)其不是身體部位(例如，行李)時之間改變顯示信息。例如，當(dāng)判斷出位于檢測單元100的操作表面上的物體不是身體部位時，顯示信息產(chǎn)生單元700可以執(zhí)行不產(chǎn)生顯示信息的處理?？梢酝ㄟ^諸如圖案匹配之類的方法，判斷位于檢測單元100的操作表面上的物體是否用戶的身體部位。當(dāng)改變顯示信息時，在步驟S505中，控制單元400指示圖像組合單元800，將由身體位置顯示單元600形成的接觸區(qū)域圖像和由顯示信息產(chǎn)生單元700產(chǎn)生(改變)的顯示信息相組合。響應(yīng)于該指示，圖像組合單元800將接觸區(qū)域圖像和顯示信息相互組合。下面將解釋由圖像組合單元800通過組合所獲得的圖像的示例。圖23A示出了當(dāng)由身體位置顯示單元600形成的接觸區(qū)域圖像(在該示例中，真實的手形狀模型的圖像)疊加在由顯示信息產(chǎn)生單元700產(chǎn)生的顯示信息上時的屏幕示例。像這樣顯示真實的手形狀模型圖像可以使用戶覺得好像他/她實際上觸摸到了屏幕似的，這實現(xiàn)了直觀的輸入操作。圖2 示出了僅當(dāng)由身體位置顯示單元600形成的接觸區(qū)域圖像的輪廓疊加在由顯示信息產(chǎn)生單元700產(chǎn)生的顯示信息上時的屏幕示例。通過這種圖像組合，接觸區(qū)域圖像內(nèi)的顯示信息與接觸區(qū)域的形狀和位置同時顯示，從而便于在操作過程中確認(rèn)顯示信肩、ο圖23C示出了當(dāng)由身體位置顯示單元600形成的真實的手形狀模型圖像疊加在由顯示信息產(chǎn)生單元700產(chǎn)生的顯示信息上時的屏幕示例，經(jīng)過處理后使其輪廓不透明并且使其內(nèi)部透明。通過這種圖像組合，使進(jìn)行直觀的輸入操作成為可能，并且，便于在操作過程中確認(rèn)顯示信息。圖23D示出了當(dāng)由身體位置顯示單元600形成的接觸區(qū)域圖像的輪廓，在經(jīng)過處理以突出指尖部分后，疊加在由顯示信息產(chǎn)生單元700產(chǎn)生的顯示信息上時的屏幕示例。 通過這種圖像組合，可以快速地確認(rèn)用戶想要按壓的位置，并且，也顯示接觸區(qū)域圖像內(nèi)的顯示信息，從而便于在操作過程中確認(rèn)顯示信息。對于檢測指尖部分的方法，考慮如下方法，例如，通過使用圖案匹配和從手形狀模型中提取指甲部分，而從輪廓的形狀中識別指尖部分。突出的示例包括設(shè)置標(biāo)記；改變顏色；改變透明度；向指尖方向逐漸增加輪廓的顏色黑度；以及，向指尖方向逐漸降低輪廓的透明度。此外，當(dāng)由圖像組合單元800將身體位置顯示單元600形成的手形狀模型(或其輪廓)和顯示信息產(chǎn)生單元700產(chǎn)生的顯示信息相互組合時，可以通過組合圖IOB(或圖11B、圖12B、圖13B)的圖像中至少的指尖部分，來突出手形狀模型的指尖部分。圖23E示出了當(dāng)由身體位置顯示單元600形成的接觸區(qū)域圖像，在經(jīng)過添加上半透明或不透明陰影后，疊加在由顯示信息產(chǎn)生單元700產(chǎn)生的顯示信息上時的屏幕示例。 這種顯示組合可以使用戶覺得好像他/她實際上接觸到了屏幕一樣。雖然在圖23A至圖23E的示例中，在接觸區(qū)域圖像疊加在由顯示信息產(chǎn)生單元700 產(chǎn)生的顯示信息之前，根據(jù)需要對該接觸區(qū)域圖像進(jìn)行處理，但也可以考慮處理除了圖像組合中的接觸區(qū)域圖像之外的其它元素。下面將解釋這些情況的示例。圖23F示出了一個示例，其中，當(dāng)由身體位置顯示單元600形成的接觸區(qū)域圖像疊加在顯示信息上時，隱藏一些或所有的GUI部分，在GUI部分的附近彈出顯示輔助信息(諸如GUI部分的標(biāo)注或輔助解釋之類的信息)。為了實現(xiàn)這種顯示，首先，圖像組合單元800 通過使用已知的算法，判斷在由顯示信息產(chǎn)生單元700產(chǎn)生的顯示信息中包括的各GUI部分是否與接觸區(qū)域圖像交迭。當(dāng)與接觸區(qū)域圖像交迭的GUI部分存在時，在預(yù)定方向上(向右、向左等)找到遠(yuǎn)離該GUI部分的位置的一個區(qū)域，以及，該區(qū)域未與接觸區(qū)域圖像交迭， 并將該GUI部分的輔助信息顯示在該區(qū)域中。這種圖像組合通過把接觸區(qū)域圖像疊加在 GUI部分上，而能夠使用戶容易地獲得在屏幕上顯示的任意GUI部分的相關(guān)信息。此外，不用移動手就可以識別被接觸區(qū)域圖像隱藏的GUI部分，從而提高了可操作性。圖23G示出了一個示例，其中，當(dāng)由身體位置顯示單元600形成的接觸區(qū)域圖像疊加在顯示信息上時，隱藏一些或所有的⑶I部分，⑶I部分的標(biāo)注疊加在接觸區(qū)域圖像上。 雖然在圖23G的示例中，被隱藏的GUI部分的標(biāo)注疊加在接觸區(qū)域圖像上，但是，隱藏的GUI 部分的外形也可以疊加在其上。這種圖像組合能夠使用戶不必移動手就可以識別被接觸區(qū)域圖像隱藏的GUI部分，從而提高了可操作性。圖23H示出了一個示例，其中，當(dāng)由身體位置顯示單元600形成的接觸區(qū)域圖像疊加在顯示信息上時，突出與接觸區(qū)域圖像的指尖部分交迭的⑶I部分。這種圖像組合能夠使用戶容易地確認(rèn)出接觸區(qū)域圖像的指尖部分位于哪個GUI部分上。對于檢測指尖位置的方法，考慮如下方法，例如，通過使用圖案匹配以及從手形狀模型中提取指甲部分，而從輪廓的形狀中識別指尖部分?？梢酝ㄟ^各種方法實現(xiàn)突出，例如，改變顏色、改變透明度、改變形狀、改變線型或線厚度、改變字符格式、改變圖標(biāo)或連續(xù)改變(分級)顏色或透明度。
雖然在該示例中，當(dāng)通過在步驟S502中檢查，判斷出不允許用戶執(zhí)行輸入操作時，控制單元400指示圖像組合單元800，將顯示信息產(chǎn)生單元700產(chǎn)生的顯示信息，原樣輸出到顯示單元200，但本發(fā)明并不限于此。S卩，圖像組合單元800中的圖像組合方法可以根據(jù)當(dāng)前的操作模式而改變。更具體地說，可以如下執(zhí)行在允許用戶執(zhí)行輸入操作的模式中，將接觸區(qū)域圖像半透明地顯示出來，以其輪廓突出的方式顯示出來，或者，以其輪廓突出的方式半透明地顯示出來，以及，在禁止用戶執(zhí)行輸入操作的模式中，將顯示圖像和接觸區(qū)域圖像相互組合起來，從而使接觸區(qū)域圖像半透明地顯示出來。 接下來，將參考圖M的次序，解釋當(dāng)存在用戶的特定輸入操作(在該示例中，按壓操作)時，由控制單元400執(zhí)行的處理流程。在步驟S511中，當(dāng)檢測到用戶的按壓操作時，操作內(nèi)容確定單元500將消息發(fā)送到控制單元400。在步驟S512中，控制單元400指示顯示信息產(chǎn)生單元700來改變顯示信息。顯示信息產(chǎn)生單元700根據(jù)控制單元400的指示改變顯示信息。將通過使用圖25A和圖25B，解釋在該步驟中顯示信息改變的示例。圖25A示出了一個示例，其中，突出了與用戶在檢測單元100上按壓的點相對應(yīng)的 GUI部分(即，用戶所選擇的GUI部分)。在圖25A的示例中，將用戶選擇的GUI部分(在該示例中，按鈕)改變成看起來像是被按下去了的按鈕的圖像。雖然為了方便起見，將接觸區(qū)域圖像示于圖25A中，但實際上，接觸區(qū)域圖像并不包括在由顯示信息產(chǎn)生單元700產(chǎn)生的顯示信息中。顯示信息的這種改變能夠使用戶容易地確認(rèn)出是否正確地選擇了他/她想要選擇的GUI部分，從而提高了可操作性。圖25B示出了一個示例，其中，在屏幕上突出了與用戶在檢測單元100上按壓的點相對應(yīng)的點。在圖25B的示例中，圓圈標(biāo)記疊加在與用戶在檢測單元100上按壓的點相對應(yīng)的屏幕上的點上，好像是留下了手印一樣。顯示該圓圈標(biāo)記直到自從顯示該標(biāo)記后經(jīng)過了預(yù)定的時間段為止或者直到用戶在檢測單元100上按壓另一點為止。顯示信息的這種改變能夠使用戶容易地確認(rèn)出是否正確地選擇了他/她想要選擇的點。具體而言，當(dāng)用戶想要指定的點和實際指定的點相互偏移時，可以確認(rèn)出偏移的方向和距離。當(dāng)顯示信息改變時，在步驟S513中，控制單元400指示圖像組合單元800將由身體位置顯示單元600形成的接觸區(qū)域圖像，和由顯示信息產(chǎn)生單元700產(chǎn)生的顯示信息相互組合。響應(yīng)于該指示，圖像組合單元800將接觸區(qū)域圖像和顯示信息相互組合。如上所述，根據(jù)本實施例的輸入裝置，用戶可以使用⑶I執(zhí)行直觀的輸入操作，而不用直接地觸摸屏幕，此外，也不用看手。
產(chǎn)業(yè)實用性本發(fā)明的輸入裝置使得能夠執(zhí)行與觸摸板顯示器一樣的直觀的輸入操作，而不用直接觸摸屏幕，其適用于如下情況，即，當(dāng)在遠(yuǎn)離顯示器的位置執(zhí)行輸入操作時和當(dāng)把遠(yuǎn)焦顯示器作為顯示模塊時。由于在執(zhí)行輸入操作時不需要看手，故本發(fā)明的輸入裝置還適于用作汽車導(dǎo)航系統(tǒng)的輸入裝置。
權(quán)利要求
1.一種讓用戶將指令或信息輸入到設(shè)備的輸入裝置，所述輸入裝置包括帶有操作表面的檢測單元，檢測在所述操作表面上與所述用戶的身體部位相接觸或接近的區(qū)域，并輸出指示所述區(qū)域的接觸位置數(shù)據(jù)；操作內(nèi)容確定單元，基于所述接觸位置數(shù)據(jù)，檢測所述用戶的特定輸入操作； 身體位置顯示單元，基于以前保存的身體形狀圖案和所述檢測單元輸出的接觸位置數(shù)據(jù)，對所述用戶放置在所述檢測單元的操作表面上的身體部位的形狀進(jìn)行建模，并形成由于所述建模而獲得的身體形狀模型的圖像，以此作為接觸區(qū)域圖像；控制單元，基于從所述檢測單元輸出的所述接觸位置數(shù)據(jù)，判斷所述用戶的身體部位是否與所述檢測單元的操作表面相接觸或接近；顯示信息產(chǎn)生單元，產(chǎn)生有助于所述用戶執(zhí)行操作的顯示圖像，并基于從所述檢測單元輸出的所述接觸位置數(shù)據(jù)，改變將要形成的顯示圖像，并且，僅當(dāng)所述控制單元判斷出所述用戶的身體部位與所述檢測單元的操作表面相接觸或接近時，所述顯示信息產(chǎn)生單元才形成所述顯示圖像；圖像組合單元，將由所述身體位置顯示單元形成的所述接觸區(qū)域圖像和由所述顯示信息產(chǎn)生單元產(chǎn)生的所述顯示圖像相互組合；以及顯示單元，顯示由所述圖像組合單元通過所述組合獲得的圖像。
2.根據(jù)權(quán)利要求1所述的輸入裝置，其中，所述檢測單元是接觸式坐標(biāo)輸入裝置。
3.根據(jù)權(quán)利要求1所述的輸入裝置，其中，所述檢測單元包括沿著所述操作表面排列的多個電容傳感器。
4.根據(jù)權(quán)利要求1所述的輸入裝置，其中，所述檢測單元包括沿著所述操作表面排列的多個壓力傳感器。
5.根據(jù)權(quán)利要求4所述的輸入裝置，其中，所述接觸位置數(shù)據(jù)包括由所述檢測單元的壓力傳感器檢測到的壓力值，以及所述身體位置顯示單元基于所述接觸位置數(shù)據(jù)，形成與所述檢測單元的壓力傳感器檢測到的所述壓力值相對應(yīng)的接觸區(qū)域圖像。
6.根據(jù)權(quán)利要求5所述的輸入裝置，其中，所述身體位置顯示單元形成的所述接觸區(qū)域圖像的多個部分的顏色根據(jù)所述檢測單元的壓力傳感器檢測到的所述壓力值而改變。
7.根據(jù)權(quán)利要求1所述的輸入裝置，其中，所述身體位置顯示單元基于從所述檢測單元輸出的所述接觸位置數(shù)據(jù)，執(zhí)行校準(zhǔn)處理，以獲取所述用戶的身體部位的特征，并基于所述校準(zhǔn)處理的結(jié)果，對所述用戶的身體部位的形狀進(jìn)行建模。
8.根據(jù)權(quán)利要求7所述的輸入裝置，還包括位于所述檢測單元附近的非接觸式位置檢測傳感器，其中， 所述非接觸式位置檢測傳感器檢測手相對于所述檢測單元的方位，以及所述身體位置顯示單元用所述手的方位，形成所述接觸區(qū)域圖像。
9.根據(jù)權(quán)利要求8所述的輸入裝置，其中，基于從所述檢測單元輸出的所述手的方位和手指的接觸位置，所述身體位置顯示單元估計手掌的位置，以形成所述接觸區(qū)域圖像。
10.根據(jù)權(quán)利要求9所述的輸入裝置，其中，所述顯示信息產(chǎn)生單元基于從所述檢測單元輸出的所述接觸位置數(shù)據(jù)，改變將要形成的顯示圖像，并且，僅當(dāng)所述控制單元判斷出所述用戶的身體部位與所述檢測單元的操作表面相接觸或接近時，所述顯示信息產(chǎn)生單元才形成所述顯示圖像。
11.根據(jù)權(quán)利要求1所述的輸入裝置，其中，所述顯示信息產(chǎn)生單元基于從所述檢測單元輸出的所述接觸位置數(shù)據(jù)，改變將要形成的顯示圖像，并且，當(dāng)所述控制單元判斷出所述用戶的身體部位與所述檢測單元的操作表面相接觸或接近時，所述顯示信息產(chǎn)生單元突出將要形成的所述顯示圖像中的⑶I部分。
12.根據(jù)權(quán)利要求1所述的輸入裝置，還包括特征檢測模塊，基于從所述檢測單元輸出的所述接觸位置數(shù)據(jù)，檢測與所述檢測單元的操作表面相接觸或接近的所述用戶的身體部位的特征；其中，所述顯示信息產(chǎn)生單元根據(jù)由所述特征檢測模塊檢測到的所述用戶的身體部位的特征，改變將要形成的所述顯示圖像。
13.根據(jù)權(quán)利要求12所述的輸入裝置，其中，所述特征檢測模塊基于從所述檢測單元輸出的所述接觸位置數(shù)據(jù)，判斷與所述檢測單元的操作表面相接觸或接近的所述用戶的身體部位是否為右手或左手；以及所述顯示信息產(chǎn)生單元根據(jù)所述特征檢測模塊的判斷結(jié)果，改變將要形成的所述顯示圖像。
14.根據(jù)權(quán)利要求13所述的輸入裝置，其中，僅當(dāng)與所述檢測單元的操作表面相接觸或接近的所述用戶的身體部位是右手或左手時，所述顯示信息產(chǎn)生單元才產(chǎn)生顯示信息。
15.根據(jù)權(quán)利要求13所述的輸入裝置，其中，當(dāng)與所述檢測單元的操作表面相接觸或接近的所述用戶的身體部位是右手或左手時，所述顯示信息產(chǎn)生單元突出將要形成的所述顯示圖像中的GUI部分、改變所述GUI部分的位置或改變所述GUI部分的有效性。
16.根據(jù)權(quán)利要求12所述的輸入裝置，其中，所述特征檢測模塊基于從所述檢測單元輸出的所述接觸位置數(shù)據(jù)，判斷與所述檢測單元的操作表面相接觸或接近的所述用戶的身體部位是否為成年人的身體部位或兒童的身體部位；以及所述身體位置顯示單元根據(jù)所述特征檢測模塊的判斷結(jié)果，改變將要形成的所述顯示圖像。
17.根據(jù)權(quán)利要求16所述的輸入裝置，其中，僅當(dāng)與所述檢測單元的操作表面相接觸或接近的所述用戶的身體部位是成年人的身體部位或兒童的身體部位時，所述顯示信息產(chǎn)生單元才產(chǎn)生顯示信息。
18.根據(jù)權(quán)利要求16所述的輸入裝置，其中，當(dāng)與所述檢測單元的操作表面相接觸或接近的所述用戶的身體部位是成年人的身體部位或兒童的身體部位時，所述顯示信息產(chǎn)生單元突出將要形成的所述顯示圖像中的GUI部分、改變所述GUI部分的位置或改變所述GUI 部分的有效性。
19.根據(jù)權(quán)利要求1所述的輸入裝置，其中，所述輸入裝置有兩種操作模式所述用戶能夠執(zhí)行輸入操作的模式和所述用戶不能執(zhí)行所述輸入操作的模式；以及在所述用戶能夠執(zhí)行所述輸入操作的模式中，所述圖像組合單元將由所述顯示信息產(chǎn)生單元形成的所述顯示圖像如實地顯示在所述顯示單元上，而不將所述顯示圖像與所述接觸區(qū)域圖像予以組合。
20.根據(jù)權(quán)利要求1所述的輸入裝置，其中，所述輸入裝置有兩種操作模式所述用戶能夠執(zhí)行輸入操作的模式和所述用戶不能執(zhí)行所述輸入操作的模式；以及所述圖像組合單元根據(jù)所述操作模式，改變將由所述顯示信息產(chǎn)生單元形成的所述顯示圖像與所述接觸區(qū)域圖像相互組合的方法。
21.根據(jù)權(quán)利要求20所述的輸入裝置，其中，所述圖像組合單元將所述顯示圖像和所述接觸區(qū)域圖像予以組合，以便在所述用戶能夠執(zhí)行所述輸入操作的模式下將所述接觸區(qū)域圖像半透明地顯示、以其輪廓突出的方式顯示或者以其輪廓突出的方式半透明地顯示， 以及，以便在所述用戶不能執(zhí)行所述輸入操作的模式下將所述接觸區(qū)域圖像不透明地顯7J\ ο
22.一種交通工具，包括帶有操作表面的檢測單元，檢測在所述操作表面上與用戶的身體部位相接觸或接近的區(qū)域，并輸出指示所述區(qū)域的接觸位置數(shù)據(jù)；操作內(nèi)容確定單元，基于所述接觸位置數(shù)據(jù)，檢測所述用戶的特定輸入操作； 身體位置顯示單元，基于以前保存的身體形狀圖案和所述檢測單元輸出的接觸位置數(shù)據(jù)，對所述用戶放置在所述檢測單元的操作表面上的身體部位的形狀進(jìn)行建模，并形成由于所述建模而獲得的身體形狀模型的圖像，以此作為接觸區(qū)域圖像；控制單元，基于從所述檢測單元輸出的所述接觸位置數(shù)據(jù)，判斷所述用戶的身體部位是否與所述檢測單元的操作表面相接觸或接近；顯示信息產(chǎn)生單元，產(chǎn)生有助于所述用戶執(zhí)行操作的顯示圖像，并基于從所述檢測單元輸出的所述接觸位置數(shù)據(jù)，改變將要形成的顯示圖像，并且，僅當(dāng)所述控制單元判斷出所述用戶的身體部位與所述檢測單元的操作表面相接觸或接近時，所述顯示信息產(chǎn)生單元才形成所述顯示圖像；圖像組合單元，將由所述身體位置顯示單元形成的所述接觸區(qū)域圖像和由所述顯示信息產(chǎn)生單元產(chǎn)生的所述顯示圖像相互組合；以及顯示單元，顯示由所述圖像組合單元通過所述組合獲得的所述圖像。
全文摘要
將操作觸摸墊(4)設(shè)置在用戶的手的附近。在顯示器(2)上，顯示有一個或多個GUI部分(3)，用于讓所述用戶輸入所期望的指令或信息。當(dāng)所述用戶用手(6)觸摸所述觸摸墊(4)以選擇所述GUI部分(3)時，所述觸摸墊(4)輸出指示所述手(6)所接觸的區(qū)域的接觸位置數(shù)據(jù)。根據(jù)所述觸摸墊(4)輸出的所述接觸位置數(shù)據(jù)，生成手形狀模型的圖像(7)，并將其顯示在所述顯示器(2)上。根據(jù)顯示在顯示器(2)上的圖像(7)，所述用戶移動手(6)從而使所述模型的指尖可以放在所期望的GUI部分(3)上，然后，按壓所述觸摸墊(4)。
文檔編號G06F3/033GK102411438SQ20111028514
公開日2012年4月11日 申請日期2005年8月9日 優(yōu)先權(quán)日2004年9月3日
發(fā)明者山下敦士, 平井卓哉, 飯阪篤 申請人:松下電器產(chǎn)業(yè)株式會社