專利名稱：手圖形轉(zhuǎn)換裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及適合于不觸及該車輛搭載機器的操作板、不妨礙車輛運轉(zhuǎn)、簡易操作空調(diào)機器或聲頻機器等車輛搭載機器和側(cè)反射鏡等車輛附帶機器的動作的手圖形轉(zhuǎn)換裝置。
背景技術(shù)：
作為不觸及該車輛搭載機器的操作板來操作空調(diào)機器或聲頻機器等車輛搭載機器的動作的技術(shù)，提出了用照相機對駕駛者的身體一部分(例如左手)進行攝像，識別該圖像圖形。得到對于上述車輛搭載機器的操作息的技術(shù)(參照例如日本專利特開平11-134090號公報)。也提出了檢測作為駕駛者手的形狀和移動而表示的手勢，取得對于車輛搭載機器的操作信息的技術(shù)(參照例如日本專利特開2001-216069號公報)。
這種技術(shù)，由于用從例如對于進行攝像的圖像識別手的形狀的圖形識別處理、和跟蹤所識別的手的位置變化來檢測其移動的移動檢測處理等實現(xiàn)，所以這里為方便起見稱為手圖形轉(zhuǎn)換等。
但是，在用上述手圖形轉(zhuǎn)換裝置操作車輛搭載機器的動作時，必需可靠而且正確地檢測駕駛員(操作者)的手形和其移動。為此，首先，需正確識別對駕駛員(駕駛者)的手進行攝像的圖像中哪一部分是手。但是，在駕駛員(操作者)穿著長袖襯衣或戴著手表等時，由于例如檢測輸入圖像中的手腕部位異常粗，或因手表等的圖像部分而造成腕部產(chǎn)生中斷，所以有不能可靠地檢測識別處理所必要的手掌或手背(以下總稱手掌)部分的擔心。而且，以前一般用區(qū)域分割等復雜的圖像處理技術(shù)，或?qū)φ疹A先設(shè)定的標準手形等來識別手形，所以有處理負擔大的問題。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種能簡易且可靠地檢測操作各種車輛搭載機器和車輛附帶機器的動作的駕駛員(操作者)的手形和手掌移動并正確輸入其操作信息的手圖形轉(zhuǎn)換裝置。
本發(fā)明的手圖形轉(zhuǎn)換裝置，具有對置于規(guī)定攝像區(qū)域的手腕前端進行攝像的攝像裝置，從該攝像裝置所攝取的攝像圖像當中檢測出手形和/或手指動作，得到規(guī)定的轉(zhuǎn)換操作信息，還包括根據(jù)所述攝像圖像求出通過所述手腕中心的中心軸的第1圖像處理裝置；設(shè)定相對于所述中心軸正交的第1掃描線和在所述中心軸方向上延伸的第2掃描線兩者其中至少之一的掃描線設(shè)定裝置；以及根據(jù)該掃描線設(shè)定裝置設(shè)定的所述第1掃描線和第2掃描線兩者其中至少之一判定所述手指是否伸出的判定裝置。


本發(fā)明通過以下例示所記載的詳細說明和附圖變得更清楚。
圖1是本發(fā)明一實施例的手圖形轉(zhuǎn)換裝置的概略結(jié)構(gòu)圖。
圖2是圖1所示的手圖形轉(zhuǎn)換裝置的手指攝像區(qū)域圖。
圖3是表示手形和手掌中心的識別處理順序一例的流程圖。
圖4是用于說明圖3所示的手形和手掌中心的識別處理的概念圖。
圖5A是用于說明以前一般的手形識別處理的不適合的圖。
圖5B是和圖5A相同的圖。
圖6A是表示本發(fā)明的實施例所用的手形1的圖。
圖6B是表示手形2的圖。
圖6C是表示手形3的圖。
圖6D是表示手形4的圖。
圖7是表示用圖1所示的手圖形轉(zhuǎn)換裝置的操作指令識別部的手形識別處理順序一例的流程圖。
圖8是表示操作量檢測處理順序一例的流程圖。
圖9是表示時間模式的操作量檢測處理例的流程圖。
圖10是表示用距離·時間模式的操作量檢測處理例的流程圖。
圖11是表示手指相對本裝置的轉(zhuǎn)換操作信息輸入形態(tài)的圖。
圖12是表示在選擇多個控制對象方面的體系化實例的圖。
具體實施例方式
以下參照

本發(fā)明一實施例的手圖形轉(zhuǎn)換裝置。
圖1是實施例裝置的主要部件概略結(jié)構(gòu)圖，表示著車輛的駕駛員座樣子和用微機等實現(xiàn)的手圖形轉(zhuǎn)換裝置的功能。在駕駛員座的前方設(shè)置著由駕駛員(司機)操縱的方向盤1和組合轉(zhuǎn)換(未圖示)等，在其操縱板設(shè)置著聲頻機器和空調(diào)機器等的操作部2。駕駛員座上方的天花板設(shè)置有將方向盤1的旁邊作為攝像區(qū)域、用于對向著該攝像區(qū)域伸出了手腕的駕駛員的手進行攝像的攝像機3。該攝像機3由CCD攝像機等小型的攝像機構(gòu)成。錄像機3也可以是在規(guī)定的照度下(白天)得到可視光區(qū)域的像的攝像機，但是，在如夜間那樣攝像區(qū)照度不足的情況，當然也可用在該攝像區(qū)域照射近紅外光求得紅外線像的所謂紅外線攝像機。對于手圖形轉(zhuǎn)換裝置的操作，通過在上述攝像區(qū)域以使手掌位于大致水平狀態(tài)選擇性彎曲手指未改變手形，同時使手掌位置前后左右位移(移動)來進行。還有，用攝像機3攝像的是手背一側(cè)，但這里將經(jīng)過攝像的手背一側(cè)作為手掌進行說明。
手圖形轉(zhuǎn)換裝置，基本上從其輸入圖像識別處理由上述攝像機3攝像的駕駛員的手形和移動，根據(jù)該識別結(jié)果，得到規(guī)定的轉(zhuǎn)換操作信息，代替上述的操作部2對上述的聲頻機器和空調(diào)機器承擔提供轉(zhuǎn)換操作信息的任務(wù)。具體地說，手圖形轉(zhuǎn)換裝置具備對用攝像機3已攝像的輸入圖像進行二進制編碼處理，除去其背景圖像成分提取手腕前端側(cè)、主要是手掌和手指的圖像成分的二進制編碼處理部11；從由二進制編碼處理提取的手掌和手指圖像求得其重心位置的重心檢測部12；識別手指形狀的形狀識別部13。
手圖形轉(zhuǎn)換裝置還具備根據(jù)上述形狀識別部13的識別結(jié)果和由重心檢測部12檢測的手重心位置，識別由駕駛員的手形和手掌移動表示的轉(zhuǎn)換操作的操作指令識別部14。該操作指令識別部14具備大致參照預先存儲在存儲器15的特定手形圖形和其分配的任務(wù)的關(guān)系，判定(識別)如上述那樣識別的手形意圖的操作類別的功能判定部16；跟蹤成為特定的指夾形狀的手掌的重心位置移動或指尖移動，檢測來自其基準位置的位移量的位移量檢測部17；監(jiān)視上述手掌或指尖移動作為時間經(jīng)過的計時器18。并且，操作指令識別部14的結(jié)構(gòu)是，根據(jù)這些判定·監(jiān)視結(jié)果，求得由駕駛員的手形和手掌的移動特定的規(guī)定轉(zhuǎn)換操作信息，對于例如上述的聲頻機器和空調(diào)機器輸出該轉(zhuǎn)換操作信息。
還有，在操作指令識別部14設(shè)置著根據(jù)上述的判定結(jié)果，對于駕駛員進行規(guī)定引導的引導部19。該引導部將例如聲頻機器和空調(diào)機器(操作對象機器)、音量·頻道設(shè)定或風量·溫度等(操作對象功能)作為特定的聲音信息和表示其轉(zhuǎn)換操作(操作量)的「嗶[(短促音)ピツ]」和「嗶-[(拉長音)ピ一]」等的確認音，通過話筒20報知駕駛員。該操作指令識別部14的具體動作形態(tài)、即對于聲頻機器和空調(diào)機器等的多個控制對象的轉(zhuǎn)換操作信息的輸出控制，后面敘述。
上述攝像機3的攝像區(qū)域3a，如圖2所示設(shè)定成方向盤1旁邊的從該方向盤1的外周邊至少離開50mm的位置，最好設(shè)定成離開100mm的位置。特別是駕駛員在駕駛座的側(cè)部設(shè)置的手腕扶手(手臂休息部位)5擱置手腕后仍不破壞其駕駛姿勢、能伸出手腕的位置，設(shè)定為手不觸及聲頻機器等的操作部2的位置。故而該攝像區(qū)域3a設(shè)定為在方向盤1的旁邊伸開胳膊的駕駛員手的指尖方向有大致600mm大小、在手的寬度方向有大致350mm大小的大致長方形狀區(qū)域。
具體來說，該攝像區(qū)域3a屬于并非對握持方向盤1的或操作設(shè)置在其柱身上的組合開關(guān)(未圖示)的駕駛員的手進行攝像的區(qū)域，而設(shè)定為駕駛員不必大幅度活動手腕便能移動手的區(qū)域。由此，能防止將隨著駕駛操作的手移動誤作為轉(zhuǎn)換操作信息來檢測。關(guān)于直接操作聲頻機器等的操作部2的手指，也不檢測其地進行設(shè)定。
在這樣設(shè)定的攝像區(qū)域3a配置變速桿(未圖示)時，例如，可以通過設(shè)置在變速桿的感壓傳感器檢測駕駛員的變速桿的握持。若采取這樣的辦法，可以容易判別在攝像區(qū)域延長的手是操作變速桿的狀態(tài)或者是操作手圖形轉(zhuǎn)換裝置的狀態(tài)，能可靠地防止將駕駛操作作為轉(zhuǎn)換操作信息誤檢測。作為攝像機3使用立體(立體視場)攝像機檢測手的高度位置(離攝像機3的距離)，由此，也可以判別在攝像區(qū)域3a延長的手操作變速桿或者位于變速桿的上方空間。
如上述那樣設(shè)定的攝像區(qū)域3a，將駕駛員在肘部扶手(手臂休息部位)5擱置手腕(肘部)后仍能不破壞其駕駛姿勢、自然伸出手腕且在假想進行轉(zhuǎn)換操作時駕駛員能不過分地自然移動的手腕和手活動的范圍(位移幅度)作為基準來設(shè)定。特別考慮手掌的大小，一般從腕部到指尖的長度是200mm左右，其寬度是120mm左右，如上述那樣，設(shè)定為例如，長600mm、寬度350mm的大致矩形區(qū)域。
若根據(jù)這樣設(shè)定的攝像區(qū)域，能不檢測隨著駕駛操作的手·手腕的移動，在離開方向盤1的手無別扭感的自然移動下可靠地對其手掌和手進行攝像。并且，即使手的位置隨著轉(zhuǎn)換操作移動，由于能在上述攝像區(qū)域3a內(nèi)可靠地抓住其移動，所以能在比較簡易的圖像處理下容易進行手的形狀識別和其移動量(位移量)的檢測。
相反，若由駕駛員做，可以不破壞其駕駛姿勢地在方向盤1的旁邊伸出手腕，不直接觸及聲頻機器等的操作部2，形成預先設(shè)定的手形，僅使手移動來進行所希望的轉(zhuǎn)換操作。因而，能減輕駕駛員的操作負擔。由于隨著駕駛操作的手和手腕的移動不作為轉(zhuǎn)換操作指令檢測，所以能不意識手圖形轉(zhuǎn)換裝置地集中駕駛操作，根據(jù)需要只在攝像區(qū)域3a移動手(手掌)，所以有能簡易地提供轉(zhuǎn)換操作指令等的優(yōu)點。
在這里，從本發(fā)明的特征的上述二進制圖像說明手的識別處理。
該識別處理，根據(jù)圖3所示的處理順序，首先從將由攝像機3已攝像的攝像區(qū)域3a的輸入圖像根據(jù)規(guī)定的閾值，例如，設(shè)背景部為黑，設(shè)相當于圖像中的手腕和手掌的部位為白進行二進制編碼處理開始(步驟S1)。根據(jù)該二進制編碼處理，求出例如如圖4所示的攝像區(qū)域3a的二進制編碼圖像。然后，求出相當于二進制編碼圖像中手腕和手掌的圖像成分的白區(qū)域的重心G，從該重心G和解析通過該重心G的白象素排列方向求出的縱向力矩求出中心軸B(步驟S2)。這樣，通過白區(qū)域的重心G那樣地求出中心軸B，能更正確設(shè)定中心軸B的位置。
然后，以等間隔將多條相對上述中心軸B或直角的第1掃描線S1設(shè)定在從其指尖側(cè)的二進制圖像的上側(cè)到上述重心G之間(步驟S3)。并且，分別依次從上述二進制圖像的上側(cè)求出上述各掃描線S1上的白圖像的寬度W，檢測白圖像寬度W是最大的掃描線S1(步驟S4)。這時，只將跨過上述中心軸B連續(xù)的白圖像作為檢測對象，檢測各掃描線S1上的白圖像寬度W是所希望的?？梢砸幻嬷鸫闻卸◤膱D像的上側(cè)檢測的白圖像的寬度W是否大于在其之前的掃描線S1檢測的白圖像寬度W，一面將其檢測寬度是頂峰的掃描線S1作為白圖像寬度W是最大的掃描線S1檢測。
將如上述那樣檢測的白圖像寬度W為最大值的掃描線S1和上述中心軸B的交點作為手掌的中心位置檢測(步驟S5)。通過這樣的處理求出手掌中心位置C，例如即使在由戴在腕部的手表和腕套引起，使其二進制編碼圖像如圖5A所示在從手腕到手掌的部位(腕部)中斷時，和或軸穿著長袖衣服引起使腕部隱蔽，例如如圖5B所示檢測手腕粗(寬度)特別檢測腕部異常粗時，比較手掌中央部分的寬度，由于腕部一側(cè)寬度狹窄，所以能正確檢測手掌的中心位置C。
然后，將如上述那樣求出的手掌中心位置C和手掌的寬度W作為基準，在從二進制圖像的上側(cè)到上述中心位置C的掃描線S1中，查詢檢測規(guī)定寬度W以上的寬度的掃描線S1的數(shù)量(步驟S6)。具體地說，查詢在各掃描線S1檢測的白圖像寬度是否是作為通過上述手掌中心位置C的最大寬度W的1/7～1/4而設(shè)定的寬度W以上。并且，通過判定檢測寬度W以上的白圖像的掃描線數(shù)量是否是根據(jù)上述掃描線S1的間隔預先設(shè)定的值以上，將在中心軸B方向延伸的規(guī)定長度以上的白圖像區(qū)域作為是從手掌伸出的手指(例如食指)檢測。例如，如上述那樣距作為掃描線S1的條數(shù)檢測的手掌中心位置C的長度是10cm以上時，將其作為食指檢測。
同樣檢測拇指。在檢測該拇指時，這里設(shè)左手為檢測對象，由于和食指的指向不同，例如在從手掌中心位置C右側(cè)設(shè)定對上述中心軸B傾斜10°左右的第2掃描線S2(步驟S7)。這是因為著眼于即使最大地打開拇指，拇指的指向相對中心軸B有一些傾斜，在拇指打開成最大時，拇指和掃描線S2大致正交，所以能可靠地進行拇指的檢測。
在從二進制圖像的右側(cè)到上述中心位置C的掃描線S2，查詢已檢測規(guī)定寬度W以上的寬度的掃描線S2的數(shù)量(步驟S8)。在這里，和上述食指檢測時同樣，判定已檢測設(shè)定為通過手掌中心位置C的最大寬度的1/7～1/4的寬度W以上的白圖像的掃描線S2的數(shù)量是否是規(guī)定值以上。并且，在檢測規(guī)定數(shù)以上的掃描線S2時，將其作為是從手掌向右側(cè)伸出的拇指檢測。
通過以上那樣的識別處理，求出表示在攝像區(qū)域3a中的手形的信息和手掌的中心位置C。由于分別判定是否檢測食指或是否檢測拇指，例如分別如圖6A～圖6D所示，分別判定是手握緊全部手指的「握拳」形狀(手形1)、或是僅伸出食指的「指向」形狀(手形2)、或是僅在水平方向伸出拇指的「明白(OK)」形狀(手形3)、或是伸出食指和拇指的「L字形」形狀(手形4)。
在該實施例中，上述的「L字形」形狀(手形4)用于對手圖形轉(zhuǎn)換裝置的操作開始的指令。上述的手形狀3，和「握拳」形狀(手形1)成對地使用，由于拇指的取出和放入(彎曲伸出)引起的手形狀變化模仿上述按鈕開關(guān)的按壓操作，用于多個控制對象的選擇信息的輸入?！钢赶颉剐螤?手形2)看做為模仿模擬測量儀表的指針，將指夾(或手掌)的位置變化用于對控制對象的操作量的指令。上述「握拳」形狀(手形1)也用于指令手圖形轉(zhuǎn)換裝置的操作結(jié)束。
在上述的操作指令識別部14，例如按照圖7所示的順序，識別處理如上述那樣識別的手形和手掌位置變化，由此用駕駛員(轉(zhuǎn)換操作者)的手解釋轉(zhuǎn)換操作，對多個控制對象輸出轉(zhuǎn)換操作信息。
具體地說，操作指令識別部14數(shù)據(jù)輸入上述形狀識別部13的識別結(jié)果和手掌中心位置C的信息(步驟S11)。首先，查詢用于識別是否指令轉(zhuǎn)換操作用的標志F(步驟S12)，未調(diào)節(jié)標志F時(F＝0)判定手形是否是指令上述的操作開始的「L字形」形狀(手形4)(步驟S13)。在檢測了手形4時，調(diào)節(jié)上述標志F(步驟S14)，開始轉(zhuǎn)換操作信息的輸入。在未檢測手形4時，反復進行上述的處理直至檢測手形4。
另一方面，在調(diào)節(jié)上述標志F時(F＝1)，作為開始轉(zhuǎn)換操作的輸入處理(步驟S12)，判定用于識別這一次是否設(shè)定指定控制對象的功能選擇模式的標志M(步驟S15)。在未調(diào)節(jié)標志M時(M＝0)，判定手形是否是用于選擇上述控制對象的手形3(步驟S16)。在是手形3時，調(diào)節(jié)上述標志M為1(M＝1)，設(shè)定控制對象選擇模式(步驟S17)。在不是手形3時，作為已經(jīng)指定控制對象，進行后述的轉(zhuǎn)換操作量的輸入處理。
在如上述那樣檢測手形3并設(shè)定控制對象選擇模式時，接著判定手形是否是指令控制對象切換的「握拳」形狀(手形1)(步驟S18)。檢測出手形1時，判定上次檢測的手形是否是上述的手形3(步驟S19)。當檢測出從手形3向手形1變化時，判斷其是控制對象的切換指令，變更控制對象(步驟S20)。關(guān)于該控制對象的變更，例如多個控制對象是相對于聲頻機器的「音量」、相對于空氣調(diào)節(jié)器(空調(diào)機)的「溫度」和相對于空氣調(diào)節(jié)器(空調(diào)機)的「風量」的3個時，可以如后述那樣循環(huán)切換這些控制對象。
檢測出本次手形1但上次手形不是手形3時(步驟S19)，在該控制對象選擇模式中，作為沒有進行從手形3向手形1的變更而返回到步驟S11處理。并且在上述步驟S18未檢測手形1時，接著判定其手形是否是上述的手形3(步驟S21)。在是手形3時，在控制對象選擇模式中維持手形3的狀態(tài)，作為沒有進行該變更而返回到上述步 驟S11的處理。在也不是手形1和手形3時(步驟S18、S21)，復位上述標志M為0(M＝0)，解除如上述那樣設(shè)定的控制對象選擇模式。
另一方面，在未設(shè)定控制對象選擇模式的狀態(tài)，在未檢測手形3時(步驟S16)、或解除控制對象選擇模式時(步驟S22)，接著判定該手形是否是只伸出上述食指的「指向」形狀(手形2)(步驟S23)。在檢測出手形2時，進行以下說明的轉(zhuǎn)換操作量的檢測處理(步驟824)。在步驟S23中未檢測手形2時，判定該手形是否是「握拳」的形狀(手形1)(步驟S25)。在是手形1時，增加計時器t的計數(shù)(步驟S26)，判定計數(shù)增加的計時器t是否經(jīng)過規(guī)定時間T(步驟S27)。在經(jīng)過規(guī)定時間T以上維持手形1時，分別復位上述的標志F、M為0(F＝0，M＝0)，作為進行轉(zhuǎn)換操作結(jié)束指令來結(jié)束上述的一連串處理(步驟S28)。在不是手形2和手形1時(步驟S23，S25)，返回上述的步驟S11的處理并等待下次指令輸入。在經(jīng)過規(guī)定時間以上未維持手形1時，即在規(guī)定時間內(nèi)再次變更成手形2那樣時(步驟S27)，返回上述的步驟S11的處理后可再操作。
這里，具體說明上述的「指向」形狀(手形2)的轉(zhuǎn)換操作量的檢測處理時，概略地按照圖8所示的處理順序進行該處理。即，該轉(zhuǎn)換操作量的檢測處理，首先從判定用于識別是否設(shè)定操作量設(shè)定模式的標志K是否調(diào)節(jié)開始(步驟S31)。在未設(shè)定操作量設(shè)定模式時(K＝0)，首先將如上述那樣求出的手掌中心位置C作為操作量檢測用的基準位置Co設(shè)定(步驟S32)，接著將上述標志K調(diào)節(jié)成1(K＝1)，在設(shè)定操作量設(shè)定模式的同時(步驟S33)，將在該操作量設(shè)定模式用的計時器值t調(diào)節(jié)成0(步驟S34)。
對于以后輸入的數(shù)據(jù)，由于已經(jīng)調(diào)節(jié)標志K(步驟S31)，求出這時求出的手掌中心位置C和如上述那樣設(shè)定的基準位置Co的位移距離，具體地求出出距基準位置Co的移動距離D(步驟S35)。該移動距離D的算出，若作為在輸入圖像上的象素間距離求出是充分的。根據(jù)如上述那樣求出的移動距離；例如根據(jù)預先設(shè)定的操作量檢測模式(步驟S36)，選擇地進行時間模式的操作量檢測處理(步驟S37)、或距離·時間模式的操作量檢測處理(步驟S38)。
時間模式是輸出響應(yīng)從基準位置Co位移的手停止時間的轉(zhuǎn)換操作信息的模式，適合于調(diào)節(jié)聲頻機器的音量和空調(diào)機器的溫度的情況等。距離·時間模式是在于稍微移動時輸出響應(yīng)于其移動量的轉(zhuǎn)換操作信息，在手掌移動規(guī)定距離以上時輸出在該移動位置的響應(yīng)于停止時間的轉(zhuǎn)換操作信息的模式。該距離·時間模式適應(yīng)于或粗調(diào)整、或微調(diào)整控制對象的情況等。
在該實施例食指形狀(手形2)的轉(zhuǎn)換操作量的指令輸入、通過以在肘部扶手5擱置的手腕為中心左右移動手掌、或以腕部為支點左右移動該手來進行，手掌或手的左右移動在沒有離開上述攝像區(qū)域3a的范圍，例如在角度大致±45°的范圍內(nèi)進行。特別在該實施例中，分別分成n個階段檢測作為手形2的手掌的移動量。
這里，時間模式的操作量檢測，例如如在圖9表示其處理順序那樣，首先判定手掌從基準位置Co的移動量D是否超過判定其最大移動量的設(shè)定值(閾值)H、-H來進行(步驟S40)。這里，在移動距離D未達到上述設(shè)定值(閾值)H、-H時，設(shè)計時器值t為D(步驟S41)，返回到上述步驟S11的處理。
與此相反，在移動距離D超過設(shè)定值(閾值)H時，在步驟S40判別時，增加計時器值t的計數(shù)(步驟S42)。當計數(shù)增加的計時器值t達到基準時間T時(步驟S43)，使那時的設(shè)定值(轉(zhuǎn)換操作信息)增加1階段(步驟S44)。將計時器值t復位0后(步驟S45)，返回到上述步驟S11的處理。
而在步驟S40判別移動距離D是反向并超過其閾值-H時，同樣增加計時器值t的計數(shù)(步驟S46)。當計數(shù)增加的計時器值t達到基準時間T時(步驟S47)，使那時的設(shè)定(轉(zhuǎn)換操作信息)減少1階段(步驟S48)。將計時器值t復位0以后(步驟S49)，返回到上述步驟S11的處理。由于這樣一連串的處理，使立起食指的手掌左右移動規(guī)定距離后停止時，根據(jù)其停止時間，使相對于控制對象的操作信息(設(shè)定值)每個增加或減少1階段，輸出該轉(zhuǎn)換操作信息。
與其相反，距離·時間模式的操作量檢測，例如如在圖10表示其處理順序那樣，首先判定手掌從基準位置的移動距離D是否超過判定其最大移動量的設(shè)定值(閾值)H、-H來進行(步驟S50)。在超過其判定閾值H、-H時，分別在步驟S42a～S45a和步驟S46a～49a表示那樣，和上述時間模式時相同，根據(jù)在該最大移動位置立起食指的手掌停止時間，可變設(shè)定相對于控制對象的操作信息(設(shè)定值)。
可是，手掌從基準位置Co的移動距離D未達到其最大移動量時，在步驟S50判別時，比較這次檢測的移動距離D和上次檢測的移動距離D′來判定立起食指的手掌移動方向(步驟S51)。在其移動方向增加時，判定條件1是否成立。具體地說，判定從上述基準位置Co的這次檢測的移動距離D比作為規(guī)定的檢測單位距離h的整數(shù)倍規(guī)定的檢測距離[h*(n+1)]大并且上次檢測的移動量D′是否是小于該檢測距離(步驟S52)。但是，上述n是設(shè)定檢測距離的參數(shù)。在超過上述判定用的檢測距離[h*(n+1)]，手掌在增加方向這次移動且上次移動量D′是該檢測距離以下時，即在從上次周期至這次周期手掌在增加方向移動規(guī)定距離以上，D＞h*(n+1)且D′≤h*(n+1)這個條件1成立時，增加上述參數(shù)n并設(shè)定下次判定用的檢測距離(步驟S54)，相對于控制對象的操作信息(設(shè)定值)增加1階段(步驟S56)。
在由步驟S51判定的手掌移動方向減少時，判定條件2是否成立。具體地說，判定從上述基準位置Co的這次檢測的移動距離D比作為規(guī)定檢測單位距離h的整數(shù)倍規(guī)定的檢測距離[h*(n-1)]小且上次檢測的移動量D′是否是該檢測距離以上(步驟S53)。并且，在超過上次判定用的檢測距離[h*(n-1)]，手掌在減少方向這次移動且上次移動量D′是該檢測距離以上時，即在從上次周期至這次周期手掌在減少方向移動規(guī)定距離以上，D＜h*(n-1)且D′≥h*(n-1)這個條件2成立時，減去上述參數(shù)n并設(shè)定下次判定用的檢測距離(步驟S55)，相對于控制對象的操作信息(設(shè)定值)減少1階段(步驟S57)。
若采用這樣的距離·時間模式的操作量檢測處理，能根據(jù)從基準位置Co立起食指的手掌的移動距離大致連續(xù)地提供轉(zhuǎn)換操作量。并且，在使立起食指的手掌移動較大時，可根據(jù)該停止位置的停止時間使轉(zhuǎn)換操作量連續(xù)地變化。由于這些手掌和手的移動，可迅速而且根據(jù)需要精密地設(shè)定轉(zhuǎn)換操作量。
若采用如上述那樣檢測手指的形狀和手掌的移動并識別駕駛員(轉(zhuǎn)換操作者)的轉(zhuǎn)換操作意圖的操作指令識別部14，例如，如圖11所示那樣建立預先設(shè)定的手形，僅使手和或手掌移動，不觸及聲頻機器或空調(diào)機器等的操作部2，能簡易地輸入相對各種控制對象的轉(zhuǎn)換信息。
即，在駕駛員握住方向盤1操縱車輛時，如初始狀態(tài)P1所示那樣駕駛員的手從攝像區(qū)域3a離開，那時的輸入圖像僅是作為車室內(nèi)的背景并進行排除處理的圖像成分。因而，這時手圖形轉(zhuǎn)換裝置不動作。與此相反，駕駛員的手離開方向盤1并如操作狀態(tài)P2所示那樣進入到攝像區(qū)域3a內(nèi)，在該手形是「L字形」形狀(手形4)時，如上述那樣判定指令手圖形轉(zhuǎn)換裝置的操作開始，例如，發(fā)出「ピツ」的確認音，裝置處于待機(準備)狀態(tài)。
接著，將手形設(shè)定成如動作狀態(tài)P3那樣僅使上述拇指在水平方向伸出的形狀(手形3)時，檢測其并設(shè)定功能切換模式(控制對象選擇模式)。這時，應(yīng)將設(shè)定功能切換模式的意思提示給駕駛員(操作者)，例如，發(fā)出聲音信息，或使八音盒出聲音。在該期間使拇指彎曲變更成拳形狀(手形1)時，將這判定為按鈕開關(guān)操作，切換控制對象。在該控制對象切換時，例如如上述那樣，每次在說「音量」、「溫度」、「風量」的情況檢測轉(zhuǎn)換操作，都能通知例如「請設(shè)定音量調(diào)整模式」、「請設(shè)定溫度調(diào)整模式」、「請設(shè)定風量調(diào)整模式」等的聲音引導(聲音信息)。也可以簡單地發(fā)出「音量」、「溫度」、「風量」等的單詞作為聲音信息。由于這樣的引導，駕駛員因為不用眼確認就能識別該操作狀態(tài)，所以可專心駕駛操作。
然后，若設(shè)定所希望的控制對象，如動作狀態(tài)P4所示，將手形設(shè)定成「指向」形狀(手形2)。這樣一來，通過識別該手形2來設(shè)定上述操作量的設(shè)定模式。并且，根據(jù)預先設(shè)定的操作模式，如動作狀態(tài)P5a或動作狀態(tài)P5b所示，形成「指向」形狀(手形2)并使手掌左右移動，由此進行對如上述那樣設(shè)定的控制對象的轉(zhuǎn)換操作量的信息輸入。若所希望的轉(zhuǎn)換操作完成，通過將手形如動作狀態(tài)P6所示那樣形成為「握拳」形狀(手形1)，對該裝置指令其操作結(jié)束。
在左右移動上述「指向」形狀(手形2)的拳來輸入轉(zhuǎn)換操作量信息的中途，在再次設(shè)定使拇指在水平方向伸出的形狀(手形3)時，那時可以結(jié)束轉(zhuǎn)換操作信息的輸入處理，再進行控制對象的選擇切換的處理。因而，在依次操作多個控制對象時，也不中斷該識別處理本身，可連續(xù)反復操作多個控制對象，可提高其使用方便性。
若采用如上述那樣構(gòu)成的手圖形轉(zhuǎn)換裝置，能簡易、有效且手指和手腕的動作不受到駕駛操作的影響、正確檢測預先設(shè)定的手形和其移動的轉(zhuǎn)換操作指令。根據(jù)其檢測結(jié)果，能對規(guī)定的車輛搭載機器提供合適的轉(zhuǎn)換操作信息。對指令轉(zhuǎn)換操作的手指進行攝像的區(qū)域(攝像區(qū)域3a)是方向盤1的旁邊位置，由于設(shè)定為駕駛員不破壞其駕駛姿勢并能自然伸出手腕的范圍，不給駕駛員增加操作負擔。因而，一面維持直接操作音頻機器等的操作部2的感覺，一面容易取得通過手圖形轉(zhuǎn)換裝置能輸入指令轉(zhuǎn)換操作信息等的實用上大的效果。
若采用該手圖形轉(zhuǎn)換裝置，從對攝像手掌的圖進行二進制編碼的圖像中求出向著指尖的中心軸，一面從指尖側(cè)依次求出在與該中心軸大致成直角的掃描線上的手的指寬度，一面求出最大寬度的掃描線和上述中心軸的交點并作為手掌中心，由此能可靠地檢測二進制編碼圖像中的手掌部分。因而，即使操作者穿著長袖襯衣，或者即使戴著手表等，也能不拘泥這些圖像成分地正確檢測手掌的中心、進而手掌部分。
而且，將上述手掌中心作為基準，與作為檢測對象的手指方向大致成直角地設(shè)定手指檢測用的掃描線，由于一面將在這些掃描線上檢測的規(guī)定寬度以上的圖像成分作為手指寬度抓住，一面根據(jù)其掃描線的條數(shù)判定手指是否從手掌部分伸出，所以能簡單且可靠地識別(檢測)那個手指形狀。尤其能積極地利用食指和拇指的方向不同來判定這些各指從手掌部分的伸出狀態(tài)，所以能可靠地抓住上述多個手形的特征來識別那個手形。因而，由于通過負擔少的簡單的圖像處理能可靠地識別手形和手掌的移動(位置變化)，所以取得能簡化該操作本身等的效果。
本發(fā)明不限定于上述實施例。在實施例中以右轉(zhuǎn)向盤為前提進行說明，不用說也同樣可適用于左轉(zhuǎn)向盤的情況，不限于載重汽車等大型車，也同樣能適用于普通小轎車。關(guān)于其控制對象，例如如圖12所示，當然可擴展到汽車括水器的開·關(guān)和其動作間隔的調(diào)整，后視鏡的轉(zhuǎn)換等。這時，使那個控制對象形成系統(tǒng)并分類成樹狀，可以階段地選擇這些控制對象。
具體地說，將多個控制對象大分類成「行駛裝置系列」和「舒適裝備系列」，對于「行駛裝置系列」，進一步進行如「方向指示器」、「括水器」、「燈光」、「反射鏡」那樣地中分類。并且，在這些中分類的每個控制對象中，也可以對其多個功能進行小分類。同樣對于「舒服裝備系列」，也中分類成「聲頻」和「空氣調(diào)節(jié)器」，對于「聲頻」，分類成「收音機」、「CD」、「磁帶」、「MD」等每種機器類別，在這些每個機器類別也可以對其操作形態(tài)和音量等進行功能分類。但，在只設(shè)定分類項目時，由于其選擇處理本身復雜化，所以實際上設(shè)定成僅選擇必需最小限度的控制對象，這在其操作性方面是令人滿意的。
關(guān)于信息輸入所用的手的形狀，不用說也不限定于上述的實施例。此外，本發(fā)明在不脫離其要旨的范圍內(nèi)，能進行各種變形來實施。
若采用這樣構(gòu)成的手圖形轉(zhuǎn)換裝置，由于用在相對于從對攝像圖像進行二進制編碼的圖像中的手腕部位向指尖的中心軸成直角設(shè)定的第1掃描線和或在中心軸方向設(shè)定的第2掃描線檢測手指，即使操作者穿著長袖襯衣或即使戴著手表等，也能不拘泥這些圖像成分地可靠檢測手指是否伸長。因而，能正確判定手的形狀。特別通過手掌中心求出中心軸，由于檢測在通過該手掌中心的掃描線檢測的圖像寬度的1/7～1/4以上的指寬并判定食指和拇指是否伸出，所以能簡單且可確地識別(檢測)該手指形狀。
因而，在檢測手形和/或手掌(指尖)移動并提供對各種控制對象的轉(zhuǎn)換操作信息方面，能一面減輕其識別處理負擔一面準確識別手形和其移動。
權(quán)利要求
1.一種手圖形轉(zhuǎn)換裝置，具有對置于規(guī)定攝像區(qū)域的手腕前端進行攝像的攝像裝置，從該攝像裝置所攝取的攝像圖像當中檢測出手形和/或手指動作，得到規(guī)定的轉(zhuǎn)換操作信息，其特征在于，包括根據(jù)所述攝像圖像求出通過所述手腕中心的中心軸的第1圖像處理裝置；設(shè)定相對于所述中心軸正交的第1掃描線和在所述中心軸方向上延伸的第2掃描線兩者其中至少之一的掃描線設(shè)定裝置；以及根據(jù)該掃描線設(shè)定裝置設(shè)定的所述第1掃描線和第2掃描線兩者其中至少之一判定所述手指是否伸出的判定裝置。
2.如權(quán)利要求1所述的手圖形轉(zhuǎn)換裝置，其特征在于，所述判定裝置包括檢測所述手中特定手指的伸出縮回并在每次檢測出該特定指的伸出縮回時循環(huán)地選擇指定多個控制對象其中之一的功能選擇裝置；根據(jù)預先設(shè)定的手形和/或形成該手形的手的動作，向所述功能選擇裝置所指定的控制對象賦予控制量的機器操作裝置。
3.如權(quán)利要求2所述的手圖形轉(zhuǎn)換裝置，其特征在于，所述機器操作裝置根據(jù)手相對于基準位置在左右方向上的移動量和/或其移動終端的停止時間來改變賦予控制對象的控制量。
4.如權(quán)利要求2所述的手圖形轉(zhuǎn)換裝置，其特征在于，所述判定裝置檢測出握緊全部手指的握拳形狀維持達到規(guī)定時間以上時，便作為操作結(jié)束的指令，結(jié)束所述功能選擇裝置對控制對象的選擇指定和所述機器操作裝置對控制對象賦予控制量。
5.如權(quán)利要求2所述的手圖形轉(zhuǎn)換裝置，其特征在于，所述預先設(shè)定的手形包含握緊全部手指的握拳形狀、僅伸出食指的指向形狀、僅使拇指在水平方向伸出的形狀、以及伸出食指和拇指的L字形形狀。
6.如權(quán)利要求2所述的手圖形轉(zhuǎn)換裝置，其特征在于，所述特定指是拇指，所述預先設(shè)定的手形是僅伸出食指的指向形狀，所述機器操作裝置檢測所述指向形狀的左右動作。
7.如權(quán)利要求1所述的手圖形轉(zhuǎn)換裝置，其特征在于，所述攝像裝置設(shè)置在車輛駕駛座上方的天花板上。
8.如權(quán)利要求2所述的手圖形轉(zhuǎn)換裝置，其特征在于，具有在由所述功能選擇裝置選擇所述多個控制對象其中之一時提供確認音的引導功能。
9.如權(quán)利要求7所述的手圖形轉(zhuǎn)換裝置，其特征在于，所述攝像區(qū)域是所述車輛駕駛員將手腕置于設(shè)置在駕駛座側(cè)部的扶手部位時依然能夠不破壞駕駛姿勢、伸出手腕的位置，并設(shè)定在避免手觸及所述車輛設(shè)置的控制板的操作部這種位置。
10.如權(quán)利要求1所述的手圖形轉(zhuǎn)換裝置，其特征在于，所述圖像處理裝置包括對所述攝像圖像進行二進制編碼處理的二進制編碼處理裝置；和求出經(jīng)過該二進制編碼處理的攝像圖像的重心的重心檢測裝置，通過所述手腕中心的中心軸，作為通過所述重心的軸線求出。
11.如權(quán)利要求10所述的手圖形轉(zhuǎn)換裝置，其特征在于，具有設(shè)定多條從所述手腕前端側(cè)至所述重心側(cè)的所述第1掃描線，求出經(jīng)過二進制編碼處理的所述手腕前端寬度為最大的掃描線，將該掃描線和所述中心軸的交點作為手掌中心求出的第2圖像處理裝置。
12.如權(quán)利要求1所述的手圖形轉(zhuǎn)換裝置，其特征在于，所述掃描線設(shè)定裝置設(shè)定所述第1掃描線和第2掃描線兩者，所述判定裝置用所述第1掃描線判定食指是否伸出，用所述第2掃描線判定拇指是否伸出。
13.如權(quán)利要求12所述的手圖形轉(zhuǎn)換裝置，其特征在于，所述掃描線設(shè)定裝置相對于所述中心軸傾斜約10度設(shè)定所述第2掃描線。
14.如權(quán)利要求13所述的手圖形轉(zhuǎn)換裝置，其特征在于，當可檢測出規(guī)定寬度以上的手指寬度的掃描線條數(shù)是規(guī)定條數(shù)以上時，所述判定裝置判定手指從手掌當中伸出。
15.如權(quán)利要求14所述的手圖形轉(zhuǎn)換裝置，其特征在于，所述規(guī)定寬度為通過手掌中心的掃描線所檢測出的寬度的1/7～1/4以上。
全文摘要
一種能簡易且可靠地檢測操作者的手形和手掌移動的手圖形轉(zhuǎn)換裝置。根據(jù)對手腕前端進行攝像的攝像圖像求出通過手腕中心的中心軸，作為例如通過其重心的軸線，設(shè)定相對于上述中心軸正交的第1掃描線和在上述中心軸方向上延伸的第2掃描線兩者其中至少之一。一面從指尖側(cè)向手掌中心移動所設(shè)定的第1掃描線和第2掃描線兩者其中至少之一，一面判定檢測例如規(guī)定寬度以上的指寬的掃描線條數(shù)，檢測手指是否從手掌當中伸出。
文檔編號G06F3/00GK1595336SQ20041007948
公開日2005年3月16日 申請日期2004年8月11日 優(yōu)先權(quán)日2003年8月11日
發(fā)明者山本惠一, 佐藤広充, 小澤愼治, 斎藤英雄, 五十嵐弘也 申請人:三菱扶?？蛙囍晔綍? 學校法人慶應(yīng)義墪