專利名稱：手勢開關(guān)裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種適用于不接觸該車輛搭載裝置的操作面板，并且不妨礙車輛駕駛，而簡單操縱空調(diào)設(shè)備或者音頻設(shè)備等車輛搭載設(shè)備以及側(cè)視鏡等車輛附帶設(shè)備的動作的手勢開關(guān)裝置。
背景技術(shù)：
作為不接觸該車輛搭載設(shè)備的操作面板而操縱空調(diào)設(shè)備或者音頻設(shè)備等車輛搭載設(shè)備的動作的技術(shù)，提出有使用攝像機，對駕駛者身體的一部分(例如左手)進(jìn)行攝像，對此圖像模式進(jìn)行識別而得到對上述車輛搭載設(shè)備的操作信息(例如參照特開平11-134090號)。此外提出有檢測駕駛員的手的形狀和表現(xiàn)動作的手勢，得到對車輛搭載設(shè)備的操作信息(例如參照特開2001-216069號)。
這種技術(shù)，例如通過從拍攝手的圖像識別手的形狀的模式識別處理、或者追蹤所識別的手的位置變化而檢測其動作的動作檢測處理等而實現(xiàn)，在這里，為了方便，稱為手勢開關(guān)等。
在使用上述的手勢開關(guān)裝置操縱車輛搭載設(shè)備的動作的情況下，需要可靠地并且正確地檢測駕駛員(操作者)的手的形狀以及其動作。以下“手”包括手指和手掌，根據(jù)情況表現(xiàn)為“手指”或“手掌”。為此，首先需要正確地識別在拍攝駕駛員(操作者)的手的圖像中，哪個部分是手或者手掌。
從拍攝的圖像中識別手時，需要將手和背景分離。由于圖像中的手部分亮(白)，此外的背景暗(黑)，因而通過在拍攝的圖像的亮度值與閾值相比亮?xí)r變換為“白”，暗時變換為“黑”，而從背景中抽出手部分。
然而，拍攝駕駛員(操作者)的手的環(huán)境的照度會發(fā)生變化。如果即使環(huán)境這樣發(fā)生變化，上述閾值也為固定，那么就存在不能正確從背景中抽出手部分的問題。

發(fā)明內(nèi)容
本發(fā)明的目的在于，提供一種手勢開關(guān)裝置，即使拍攝的環(huán)境的照度發(fā)生變化，也能正確地識別手。
根據(jù)本發(fā)明的一個技術(shù)方案，提供一種手勢開關(guān)裝置，其具備將在手不存在于上述攝像裝置的攝像范圍內(nèi)的狀態(tài)下進(jìn)行拍攝的圖像作為初始圖像數(shù)據(jù)而保存的保存裝置；得到作為在手存在于上述攝像裝置的攝像范圍內(nèi)的狀態(tài)下進(jìn)行拍攝的圖像的原圖像數(shù)據(jù)與上述初始圖像數(shù)據(jù)的差分圖像數(shù)據(jù)的差分裝置；以使用此差分裝置得到的手邊附近的圖像數(shù)據(jù)為基礎(chǔ)，求出此手邊附近的平均亮度的亮度檢測裝置；和以基于此亮度檢測裝置算出的平均亮度的閾值，對原圖像數(shù)據(jù)進(jìn)行二值化處理的處理裝置。
本發(fā)明其他的對象和優(yōu)點在下述的說明中闡述，部分可以是根據(jù)說明是顯而易見的，部分從本發(fā)明的實施中得到。本發(fā)明的對象和優(yōu)點可以通過下文特別指出的手段及其組合而被理解和得到。


附圖組合起來成為說明書的一個組成部分，說明本發(fā)明的最佳實施方式、前面給出的摘要、以及下面給出的最佳實施方式的具體說明，用于解釋發(fā)明的主旨。
圖1是表示本發(fā)明的一個實施方式的手勢開關(guān)裝置的概略構(gòu)成的圖。
圖2是表示圖1所示的手勢開關(guān)裝置的手的攝像區(qū)域的圖。
圖3是用于說明本實施方式的二值化處理的流程圖。
圖4是表示本實施方式的初始圖像的圖。
圖5是表示本實施方式的原圖像的圖。
圖6是表示本實施方式的差分圖像的圖。
圖7是表示本實施方式的差分圖像的閾值判定區(qū)域的圖。
具體實施例方式
以下參照附圖，對本發(fā)明的一個實施方式進(jìn)行說明。圖1是表示實施例裝置的主要部分概略構(gòu)成的圖，表示車輛的駕駛席的樣子和通過微機等實現(xiàn)的手勢開關(guān)裝置的功能。在駕駛席的前方設(shè)置由駕駛員(司機)操縱的方向盤1以及復(fù)合開關(guān)(未圖示)等，而且在操縱板上設(shè)置音頻設(shè)備以及空調(diào)設(shè)備等的操作部2。并且在駕駛席斜上方的天花板上，設(shè)置攝像機3，其將方向盤1的側(cè)方作為攝像區(qū)域，用于對向該攝像區(qū)域伸手的駕駛員的手進(jìn)行攝像。此攝像機3為CCD攝像機等小型的裝置。此外，對手勢開關(guān)裝置的操作，通過使手掌大致水平地位于上述攝像區(qū)域中，由此狀態(tài)進(jìn)行規(guī)定的動作，例如使大拇指有選擇地屈伸，并使手的位置在左右發(fā)生位移(移動)而進(jìn)行。通過攝像機3拍攝的是手背，但是在這里將拍攝的手背作為手掌進(jìn)行說明。
手勢開關(guān)裝置，基本上對上述攝像機3拍攝的駕駛員的手的形狀以及動作，由其輸入圖像而進(jìn)行識別處理，根據(jù)此識別結(jié)果得到規(guī)定的開關(guān)操作信息，代替上述的操作部2，擔(dān)負(fù)著對上述的音頻設(shè)備以及空調(diào)設(shè)備等付與開關(guān)操作信息的作用。具體地，手勢開關(guān)裝置，具有對攝像機3拍攝的輸入圖像進(jìn)行二值化處理，除去其背景圖像成分，抽出手腕的前端側(cè)，主要是手掌和手的圖像成分的二值化處理部11；由通過二值化處理抽出的手掌和手的圖像求出其重心位置的重心檢測部12；以及對手的形狀進(jìn)行識別的形狀識別部13。
手勢開關(guān)裝置，還具有根據(jù)上述形狀識別部13的識別結(jié)果、以及重心檢測部12檢測的手的重心位置，對駕駛員的手形狀及動作所表示的開關(guān)操作進(jìn)行識別的操作指示識別部14。此操作指示識別部14，大致包括參照預(yù)先記錄在存儲器15中的特定的手形狀模式和其作用的關(guān)系，判斷(識別)上述被識別的手形狀所意圖的操作的種類的功能判定部16；追蹤做出特定的指尖形狀的手的重心位置的移動、或者手指的動向，檢測出其基準(zhǔn)位置或者位移量的位移量檢測部17；以及監(jiān)視手的動作歷經(jīng)時間的計時器18。操作指示識別部14，構(gòu)成為根據(jù)這些的判定·監(jiān)視結(jié)果，求出由駕駛員的手形狀和動作所特定的規(guī)定的開關(guān)操作信息，將這些開關(guān)操作信息例如向上述的音頻設(shè)備以及空調(diào)設(shè)備等輸出。
而且，在操作指示識別部14上，設(shè)置引導(dǎo)部19，其根據(jù)上述判定結(jié)果對駕駛員進(jìn)行規(guī)定的引導(dǎo)。此引導(dǎo)，例如作為特定音頻設(shè)備以及空調(diào)設(shè)備(操作對象裝設(shè)備)，以及音量·頻道設(shè)定，或者風(fēng)量·溫度等(操作對象功能)的聲音信息，以及表示此開關(guān)操作(操作量)的“pi”或者“pi-”等的確認(rèn)音，通過揚聲器20而報告給駕駛員。此操作指示識別部14的具體的工作方式，也就是對音頻設(shè)備以及空調(diào)設(shè)備等多個控制對象的開關(guān)操作信息的輸出控制在后敘述。
上述攝像機3的攝像區(qū)域A，如圖2所示，設(shè)定在方向盤1的側(cè)方，離該方向盤1的外周部至少50mm的位置上，優(yōu)選設(shè)定在離開100mm左右的位置上。特別是設(shè)定在駕駛員將胳膊放在設(shè)置于駕駛席側(cè)部的扶手5上時，不破壞此駕駛姿勢就可以伸手的位置，手不會接觸到音頻設(shè)備等的操作部2的位置上。例如，此攝像區(qū)域A可以設(shè)定為大致矩形的區(qū)域，其具有向方向盤1的側(cè)方伸手，不破壞其駕駛姿勢而伸手的駕駛員的指尖方向上大致600mm，手的寬度方向上大致350mm的大小。此攝像區(qū)域A的底色為黑色。
接著，對如上所述構(gòu)成的本發(fā)明的一個實施方式的動作進(jìn)行說明。在本實施方式中，通過對攝像機3拍攝的手進(jìn)行識別處理，可以簡單地付與開關(guān)操作指示。此識別處理如下而開始首先對在每一段圖像取樣時間(例如15Hz)中拍攝的攝像區(qū)域A的輸入圖像，根據(jù)以具有與圖像取樣時間相同周期的判定取樣時間算出的閾值進(jìn)行取樣，在二值化處理部11中，例如使背景部分為黑，圖像中對應(yīng)手臂和手的部分為白，進(jìn)行二值化處理。
參照圖3的流程圖對此二值化處理進(jìn)行說明。首先，將駕駛員的手不存在于攝影區(qū)域A的圖像作為初始圖像保存于存儲器15中(步驟S1)。此初始圖像，如圖4所示，在攝影區(qū)域A的整個區(qū)域存儲此圖像的亮度值。
接著，使用攝像機3拍攝駕駛員的手存在于攝像區(qū)域A中的圖像。使用攝像機3在每一段15Hz的取樣時間內(nèi)進(jìn)行此攝像。如圖5所示，這樣將駕駛員的手存在于攝像區(qū)域A中的圖像作為原圖像保存在存儲器15中。在這里，使用攝像機3拍攝的圖像數(shù)據(jù)，每1像素具有8比特的亮度值，也就是具有1(黑)～256(白)的亮度值。
從原圖像的亮度值中減去作為背景的初始圖像的亮度值，算出差分圖像(步驟S2)。如圖6所示將此差分圖像數(shù)據(jù)保存在存儲器15中。
接著，只將保存在存儲器15中的差分圖像數(shù)據(jù)中的下端部區(qū)域B作為閾值判定區(qū)域B而對其注意(步驟S3)。也就是把握閾值判定區(qū)域B的起點a以及終點b的地址。在這里，注意區(qū)域B，是因為可以預(yù)測到手一定存在。
接著進(jìn)行以下處理(步驟S4)將屬于閾值判定區(qū)域B的差分圖像數(shù)據(jù)中，與初始圖像數(shù)據(jù)有差的部分變換成白數(shù)據(jù)(“1”)，將此外的部分變換成黑數(shù)據(jù)(“0”)。
即進(jìn)行將閾值判定區(qū)域B中手存在的部分變換成“1”(白)，將此外的部分變換成“0”(黑)的處理。
接著，將在步驟S4中經(jīng)過變換的閾值判定區(qū)域B中“1”(白)的面積變得最大的部分抽出(步驟S5)。即，將閾值判定區(qū)域B中“1”(白)的面積變得最大的部分判定為駕駛員的手部分(具體為手腕部分)C。
接著，算出記錄在存儲器15中的原圖像的手部分C的平均亮度值(步驟S6)。此平均亮度值為8比特的數(shù)據(jù)。
接著，以此平均亮度值為基礎(chǔ)決定二值化閾值，記錄于存儲器15中(步驟S7)。
接著，以此二值化閾值對存儲于存儲器15中的原圖像數(shù)據(jù)進(jìn)行二值化處理(步驟S8)。
此二值化閾值如下而決定。也就是，假設(shè)通過步驟S6算出的手部分C的平均亮度為“150”，將“150-30(設(shè)定值)＝120”作為二值化閾值而使用。將原圖像數(shù)據(jù)的手部分C的平均亮度值設(shè)為x時，可知實際上手整體的亮度值分布為x±30。因此，如果單純地原圖像數(shù)據(jù)的亮度值在平均亮度值x以上為白，小于平均亮度值則為黑，那么就將原圖像數(shù)據(jù)中“x-30”～x變換成黑，可能判定為比本來的手小的手。
為了避免這樣的不適合，在這里，將“平均亮度值x-30”作為二值化閾值。此閾值與平均亮度值x相比為閾值變小的方向，灰色部分(黑白不明確的部分、例如原圖像的手的輪廓附近)容易被判斷成白。因此，可以判別與本來的手近似的手。如果使閾值為“平均亮度值x+30”，這與平均亮度值x相比為閾值變大的方向，上述灰色部分容易被判斷成黑。因此，也被判定為比根據(jù)平均亮度值x而判定的手小的手。
將存儲在存儲器15中的原圖像數(shù)據(jù)中面積變得最大的部分以外的部分排除(步驟S9)。例如在攝像區(qū)域A內(nèi)存在手以外的白部分，例如存在香煙盒時，將其作為不要的圖像數(shù)據(jù)(噪聲)從原圖像數(shù)據(jù)中排除。
這樣，在進(jìn)行二值化處理后，在重心檢測部12由手的圖像求出其重心位置，在形狀識別部13對手的形狀進(jìn)行識別，在操作指示識別部14，根據(jù)駕駛員手的形狀得到操作信息。
這樣，由于在每一段15Hz的圖像取樣時間內(nèi)讀取存在于攝像區(qū)域A中的駕駛員的手的圖像數(shù)據(jù)，同樣以15Hz決定二值化閾值后，進(jìn)行二值化處理，因而可以大致實時地在形狀識別部13識別手的形狀。
因此，即使在攝影區(qū)域A的環(huán)境發(fā)生變化的情況下，也可以使二值化處理追隨其環(huán)境的變化。也就是可以在進(jìn)出隧道這樣的情況下確實地對存在于攝像區(qū)域A中的駕駛員的手的形狀進(jìn)行識別。
上述步驟S4的處理也可以在步驟S2中進(jìn)行。
閾值判定區(qū)域B不局限于實施方式的場所。例如可以將翻轉(zhuǎn)開關(guān)的附近作為閾值判定區(qū)域。
而且，可以根據(jù)亮度值的頻度分布對頻度分范圍進(jìn)行學(xué)習(xí)。
本發(fā)明其他的優(yōu)點和變更，對于本領(lǐng)域技術(shù)人員來說是顯而易見的。因此，本發(fā)明寬泛的方面并不被如前所述的特別的細(xì)節(jié)和具體的實施方式所局限，因此在不脫離本發(fā)明主旨的范圍內(nèi)可以對本發(fā)明進(jìn)行種種的變形。
權(quán)利要求
1.一種手勢開關(guān)裝置，根據(jù)拍攝手的動作的攝像裝置(3)以及此攝像裝置的攝像結(jié)果對操作對象進(jìn)行操作，其具備將在手不存在于所述攝像裝置(3)的攝像范圍內(nèi)的狀態(tài)下進(jìn)行拍攝的圖像作為初始圖像數(shù)據(jù)而保存的保存裝置(S1)；得到作為在手存在于所述攝像裝置的攝像范圍內(nèi)的狀態(tài)下進(jìn)行拍攝的圖像的原圖像數(shù)據(jù)與所述初始圖像數(shù)據(jù)的差分圖像數(shù)據(jù)的差分裝置(S2)；以使用此差分裝置得到的手邊附近的圖像數(shù)據(jù)為基礎(chǔ)，求出此手邊附近的平均亮度的亮度檢測裝置(S6)；和以基于此亮度檢測裝置算出的平均亮度的閾值，對原圖像數(shù)據(jù)進(jìn)行二值化處理的處理裝置(S8)。
2.如權(quán)利要求1所述的手勢開關(guān)裝置，其中，所述亮度檢測裝置，具備將所述差分圖像數(shù)據(jù)中有差的部分變換成白，沒有差的部分變換成黑的變換裝置(S4)；和通過此變換裝置進(jìn)行變換后，將變白的面積最大的部分抽出為手部分的抽出裝置(S5)。
3.如權(quán)利要求1所述的手勢開關(guān)裝置，其中，所述處理裝置(S8)，在大于只比所述亮度檢測裝置(S6)檢測的平均亮度值小設(shè)定值的值時，將原圖像數(shù)據(jù)變換為白。
4.如權(quán)利要求1所述的手勢開關(guān)裝置，其中，根據(jù)拍攝手的動作的攝像裝置以及此攝像裝置的攝像結(jié)果對操作對象進(jìn)行操作，其具備將在手不存在于所述攝像裝置的攝像范圍內(nèi)的狀態(tài)下進(jìn)行拍攝的圖像作為初始圖像數(shù)據(jù)而保存的保存裝置；得到作為在手存在于所述攝像裝置的攝像范圍內(nèi)的狀態(tài)下進(jìn)行拍攝的圖像的原圖像數(shù)據(jù)與所述初始圖像數(shù)據(jù)的差分圖像數(shù)據(jù)，將所述差分圖像數(shù)據(jù)中有差的部分變換為白，沒有差的部分變換成黑的差分裝置；以使用此差分裝置得到的手邊附近的圖像數(shù)據(jù)為基礎(chǔ)，求出此手邊附近的平均亮度的亮度檢測裝置；和以基于此亮度檢測裝置算出的平均亮度的閾值，對原圖像數(shù)據(jù)進(jìn)行二值化處理的處理裝置。
5.如權(quán)利要求4所述的手勢開關(guān)裝置，其中，所述亮度檢測裝置，具備通過所述差分裝置進(jìn)行變換后，將變白的面積最大的部分抽出為手部分的抽出裝置。
6.如權(quán)利要求4所述的手勢開關(guān)裝置，其中，所述處理裝置，在大于只比所述亮度檢測裝置檢測的平均亮度值小設(shè)定值的值時，將原圖像數(shù)據(jù)變換為白。
全文摘要
一種手勢開關(guān)裝置，根據(jù)拍攝手的動作的攝像裝置(3)以及此攝像裝置(3)的攝像結(jié)果對操作對象進(jìn)行操作，其具備將在手不存在于所述攝像裝置(3)的攝像范圍內(nèi)的狀態(tài)下進(jìn)行拍攝的圖像作為初始圖像數(shù)據(jù)而保存的保存裝置(S1)；得到作為在手存在于所述攝像裝置的攝像范圍內(nèi)的狀態(tài)下進(jìn)行拍攝的圖像的原圖像數(shù)據(jù)與所述初始圖像數(shù)據(jù)的差分圖像數(shù)據(jù)的差分裝置(S2)；以使用此差分裝置得到的手邊附近的圖像數(shù)據(jù)為基礎(chǔ)，求出此手邊附近的平均亮度的亮度檢測裝置(S6)；和以基于此亮度檢測裝置算出的平均亮度的閾值，對原圖像數(shù)據(jù)進(jìn)行二值化處理的處理裝置(S8)。
文檔編號G06F3/00GK1661621SQ20051005171
公開日2005年8月31日 申請日期2005年2月25日 優(yōu)先權(quán)日2004年2月26日
發(fā)明者佐藤廣充, 山本惠一, 小澤慎治, 齋藤英雄, 五十嵐弘也 申請人:三菱扶桑卡客車公司, 學(xué)校法人慶應(yīng)義塾