專(zhuān)利名稱(chēng)：操作引導(dǎo)系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種引導(dǎo)操作者的操作引導(dǎo)系統(tǒng)，從而使操作者可以準(zhǔn)確地執(zhí)行由一系列操作步驟所組成的操作。
背景技術(shù)：
當(dāng)某個(gè)操作者在制造場(chǎng)地等開(kāi)始某一操作時(shí)，他通常從指導(dǎo)者那里聽(tīng)取所述操作的內(nèi)容之后才開(kāi)始所述操作。
但是，當(dāng)操作者必須執(zhí)行由一系列操作步驟所組成的操作時(shí)，如果他遇到了不清楚的地方或?qū)Σ僮鲀?nèi)容有模糊記憶的話(huà)，他可能停止所述操作或執(zhí)行不正確的操作。盡管有方法可以使操作者在從指導(dǎo)者那里聽(tīng)取對(duì)所述操作的解釋的同時(shí)執(zhí)行操作，但是因指導(dǎo)者必須在操作者的周?chē)?，這種方法是沒(méi)有效率的。

發(fā)明內(nèi)容
對(duì)于上述問(wèn)題，本發(fā)明的目的在于提供一種操作引導(dǎo)系統(tǒng)，該系統(tǒng)引導(dǎo)操作者，從而使操作者能夠在沒(méi)有指導(dǎo)者的情況下準(zhǔn)確地執(zhí)行由一系列操作步驟所組成的操作。
根據(jù)本發(fā)明的操作引導(dǎo)系統(tǒng)包括虛擬圖像存儲(chǔ)器，顯示單元，虛擬圖像重放裝置和虛擬圖像調(diào)整裝置。相對(duì)于由一系列操作步驟所組成的某一操作，所述虛擬圖像存儲(chǔ)器被設(shè)置成存儲(chǔ)用于解釋每一操作步驟的虛擬圖像。所述顯示單元被設(shè)置成定位在某一操作者眼睛的前面，用于顯示與操作者前方的真實(shí)操作對(duì)象形成對(duì)照的所述虛擬圖像。所述虛擬圖像重放裝置被設(shè)置成按照所述操作步驟的順序在所述顯示單元上重放所述虛擬圖像。所述虛擬圖像調(diào)整裝置被設(shè)置成對(duì)虛擬圖像進(jìn)行調(diào)整，從而使畫(huà)在每一虛擬圖像上并且對(duì)應(yīng)于所述真實(shí)操作對(duì)象的一虛擬操作對(duì)象在所述顯示單元上會(huì)與所述真實(shí)操作對(duì)象具有重疊關(guān)系。
因此，操作者能夠在沒(méi)有指導(dǎo)者的情況下，僅通過(guò)觀察在所述顯示單元上的虛擬圖像并且根據(jù)重疊在真實(shí)操作對(duì)象上的虛擬圖像所執(zhí)行的操作而準(zhǔn)確地執(zhí)行由一系列操作步驟所組成的操作。在觀察所有虛擬圖像以理解整個(gè)操作之后，操作者可以開(kāi)始所述操作。由于這種操作引導(dǎo)系統(tǒng)包括虛擬圖像調(diào)整裝置，所以不論操作者的位置或操作者眼睛的高度如何，畫(huà)在所述虛擬圖像上的虛擬操作對(duì)象可以在所述顯示單元上與真實(shí)操作對(duì)象保持重疊關(guān)系。這樣操作者能夠有效地執(zhí)行所述操作。
優(yōu)選地，所述虛擬圖像包括勾勒出所述真實(shí)操作對(duì)象的圖線和用于可視地解釋所述操作步驟內(nèi)容的視覺(jué)信息標(biāo)記。所述圖線利于所述真實(shí)操作對(duì)象和所述虛擬操作對(duì)象在它們彼此重疊時(shí)的可視化，而所述視覺(jué)信息標(biāo)記能夠可視并容易地向操作者傳送操作者對(duì)所述操作應(yīng)當(dāng)知道的信息。從而，操作者能夠更準(zhǔn)確地執(zhí)行所述操作。
另外，所述操作引導(dǎo)系統(tǒng)優(yōu)選地包括一視覺(jué)信息標(biāo)記輸入裝置，其從虛擬圖像存儲(chǔ)器中提取所述虛擬圖像，從而修改在其中的視覺(jué)信息標(biāo)記和/或向其中加入視覺(jué)信息標(biāo)記。即使操作方向改變或出現(xiàn)操作者應(yīng)該知道的新信息，所包括的視覺(jué)信息標(biāo)記輸入裝置能使系統(tǒng)靈活改變。在這種情況下，優(yōu)選的是，所述虛擬圖像包括一畫(huà)有所述圖線的層以及畫(huà)有所述視覺(jué)信息標(biāo)記的層。這種虛擬圖像能夠防止復(fù)雜圖線的偶然刪除，并且能夠提供無(wú)憂(yōu)修改和/或無(wú)憂(yōu)視覺(jué)信息標(biāo)記的添加。
優(yōu)選地，所述虛擬圖像重放裝置記錄虛擬圖像和操作步驟之間的對(duì)應(yīng)，并且具有提取對(duì)應(yīng)于由操作者指定的操作步驟的虛擬圖像的功能。這種功能能夠使操作者快速地重放他所需的虛擬圖像，即使所述操作由許多操作步驟構(gòu)成。
還是優(yōu)選的是，所述虛擬圖像重放裝置記錄所述虛擬圖像和所述操作步驟之間的對(duì)應(yīng)，并且具有重放由操作者所指定范圍內(nèi)的對(duì)應(yīng)于所述步驟的虛擬圖像以及在重放之后回到所述范圍中的第一虛擬圖像的功能。在這種情況下，為了理解所述整個(gè)操作，操作者可以觀察他所需的某一范圍內(nèi)的虛擬圖像，因?yàn)樵谥胤藕笏鎏摂M圖像已經(jīng)回到所述特定范圍中的第一步驟，操作者隨后可與所述虛擬圖像的重放保持一致地快速起動(dòng)所述操作。
另外，所述操作引導(dǎo)系統(tǒng)優(yōu)選地包括用于輸入操作者語(yǔ)音的語(yǔ)音輸入裝置，以及識(shí)別用所述語(yǔ)音輸入裝置所輸入的語(yǔ)音的語(yǔ)音識(shí)別裝置。所述虛擬圖像重放裝置基于操作者語(yǔ)音控制著所述虛擬圖像的重放。在這種情況下，操作者可以在手中持滿(mǎn)工具等的情況下控制所述虛擬圖像的重放，從而使操作效率得到進(jìn)一步地改善。
另外，所述操作引導(dǎo)系統(tǒng)優(yōu)選地包括用于存儲(chǔ)語(yǔ)音數(shù)據(jù)的語(yǔ)音存儲(chǔ)器，語(yǔ)音數(shù)據(jù)解釋所述操作步驟的內(nèi)容，以及用于輸出所述語(yǔ)音數(shù)據(jù)的語(yǔ)音輸出裝置。所述虛擬圖像重放裝置同步于虛擬圖像的重放向所述語(yǔ)音輸出裝置輸出語(yǔ)音數(shù)據(jù)。在這種情況下，所述操作者除了虛擬圖像外還可以收到關(guān)于所述操作的語(yǔ)音解釋?zhuān)瑥亩梢愿鼫?zhǔn)確地理解操作的內(nèi)容。所述語(yǔ)音數(shù)據(jù)能夠解釋所述虛擬圖像無(wú)法表達(dá)的信息。
所述虛擬圖像調(diào)整裝置可包括用于取得真實(shí)操作對(duì)象圖像的圖像提取裝置，以及用于從由圖像提取裝置得到的所述圖像中提取相對(duì)于所述操作對(duì)象預(yù)先所確定的特征點(diǎn)的特征點(diǎn)提取裝置，并且，所述虛擬調(diào)整裝置可以自動(dòng)地改變顯示在顯示單元上的虛擬圖像的位置和/或尺寸，從而使與由所述特征點(diǎn)提取裝置所提取的特征點(diǎn)相對(duì)應(yīng)的所述虛擬操作對(duì)象的點(diǎn)的位置會(huì)與特征點(diǎn)的位置相一致。在這種情況下，即使在虛擬圖像重放過(guò)程中操作者改變他的位置，所述虛擬圖像也可以被自動(dòng)地調(diào)整，且所述虛擬操作對(duì)象可與真實(shí)操作對(duì)象保持著重疊關(guān)系。
可選擇地是，所述虛擬圖像調(diào)整裝置可包括手動(dòng)控制器，通過(guò)該控制器操作者可手動(dòng)地改變顯示在所述顯示單元上的虛擬圖像的位置和/或尺寸。在這種情況下，操作者可用手使虛擬操作對(duì)象與真實(shí)操作對(duì)象形成重疊關(guān)系。在這種情況下，所述操作引導(dǎo)系統(tǒng)優(yōu)選地包括用于追蹤操作者頭部運(yùn)動(dòng)的頭部追蹤裝置，并且所述虛擬圖像調(diào)整裝置基于所述頭部追蹤裝置的輸出修正顯示在所述顯示單元上的虛擬圖像的位置。通過(guò)所包括的頭部追蹤裝置，一旦操作者通過(guò)手動(dòng)控制器將虛擬操作對(duì)象與真實(shí)操作對(duì)象相重疊，即使操作者移動(dòng)他的頭部，所述虛擬圖像中的虛擬操作對(duì)象仍可與真實(shí)操作對(duì)象保持重疊關(guān)系。


圖1是根據(jù)本發(fā)明第一實(shí)施例的操作引導(dǎo)系統(tǒng)的框圖；圖2A，2B和2C是用在所述操作引導(dǎo)系統(tǒng)中的虛擬圖像的示例；圖3是一照片，作為附圖的替代品，其是通過(guò)打印示出了作為操作對(duì)象的發(fā)動(dòng)機(jī)的特征點(diǎn)的圖像而獲得的；
圖4A和4B是一照片，作為附圖的替代品，其是通過(guò)打印顯示在所述操作引導(dǎo)系統(tǒng)顯示單元上的圖像而獲得的；圖5是一照片，作為附圖的替代品，其是通過(guò)打印顯示在所述操作引導(dǎo)系統(tǒng)顯示單元上的圖像而獲得的；圖6是一照片，作為附圖的替代品，其是通過(guò)打印顯示在所述操作引導(dǎo)系統(tǒng)顯示單元上的圖像而獲得的；圖7是示圖，其示出所述操作引導(dǎo)系統(tǒng)的玻璃區(qū)域的另一結(jié)構(gòu)；圖8是根據(jù)本發(fā)明第二實(shí)施例的操作引導(dǎo)系統(tǒng)的框圖；圖9是一照片，作為附圖的替代品，其是通過(guò)打印顯示在所述操作引導(dǎo)系統(tǒng)顯示單元上的圖像而獲得的；圖10是一照片，作為附圖的替代品，其是通過(guò)打印顯示在所述操作引導(dǎo)系統(tǒng)顯示單元上的圖像而獲得的；圖11是一照片，作為附圖的替代品，其是通過(guò)打印顯示在所述操作引導(dǎo)系統(tǒng)顯示單元上的圖像而獲得的。
具體實(shí)施例方式
在下文中，將會(huì)結(jié)合附圖對(duì)本發(fā)明做出更加詳細(xì)的說(shuō)明。
圖1示出根據(jù)本發(fā)明第一實(shí)施例的操作引導(dǎo)系統(tǒng)1。在這個(gè)實(shí)施例中，所述操作引導(dǎo)系統(tǒng)1被配置成用在組裝發(fā)動(dòng)機(jī)的制造廠地中，并且該系統(tǒng)引導(dǎo)操作者從而使他或她能夠準(zhǔn)確地執(zhí)行發(fā)動(dòng)機(jī)組裝操作。
所述操作引導(dǎo)系統(tǒng)1包括頭部安裝式AV(聲音和視覺(jué))單元10以及操作引導(dǎo)控制單元15，該單元通過(guò)電纜C1電連接到所述AV單元10。
所述AV單元10是一集合體，其包括作為顯示單元的玻璃部件11，作為聲音輸出裝置的頭部收話(huà)器部件12，作為聲音輸入裝置的麥克風(fēng)部件13，作為圖像提取裝置的CCD照像機(jī)100。所述玻璃部件11象一個(gè)所謂的透明頭部安裝式顯示器，并且其具有一對(duì)透明液晶面板111。所述頭部收話(huà)器部件12具有一對(duì)頭部收話(huà)器揚(yáng)聲器121。所述麥克風(fēng)部件13具有麥克風(fēng)131。所述CCD照像機(jī)100從操作者的視線拍攝作為操作對(duì)象的發(fā)動(dòng)機(jī)的圖像。操作者可以在虛擬圖像顯示在所述液晶面板111上的狀態(tài)下，通過(guò)透明的液晶面板111看到真實(shí)的對(duì)象，這一點(diǎn)在下面將會(huì)進(jìn)行說(shuō)明。換句話(huà)說(shuō)，所述玻璃部件11可以顯示對(duì)比于真實(shí)圖像的所述虛擬圖像。
操作引導(dǎo)控制單元15包括接口部分16，存儲(chǔ)部分17，電源18和控制部分19。
所述接口部分16包括聲音輸入接口161，圖像輸入接口162，虛擬圖像輸出接口163，以及聲音輸出接口164。所述聲音輸入接口161放大來(lái)自于麥克風(fēng)131的模擬聲音信號(hào)并且將該信號(hào)轉(zhuǎn)換成數(shù)字式聲音信號(hào)并輸出到所述控制部分19。所述圖像輸入接口162將來(lái)自于CCD照像機(jī)100的模擬圖像信號(hào)轉(zhuǎn)換成數(shù)字式圖像數(shù)據(jù)并輸出到所述控制部分19。所述虛擬圖像輸出接口163是基于DVI(數(shù)字視頻接口)標(biāo)準(zhǔn)的，并且它連接在所述控制部分19和所述液晶面板111之間。所述聲音輸出接口164將來(lái)自于所述控制部分19的聲音數(shù)據(jù)轉(zhuǎn)換成模擬聲音信號(hào)并基于對(duì)應(yīng)于音量控制(未示出)位置的增益放大該信號(hào)，并輸出到所述頭部收話(huà)器揚(yáng)聲器121。
所述存儲(chǔ)部分17是一諸如硬盤(pán)的存儲(chǔ)裝置，并且它包括虛擬圖像存儲(chǔ)段17A和聲音存儲(chǔ)段17B。對(duì)于由一系列的多個(gè)操作步驟組成的發(fā)動(dòng)機(jī)組裝操作，所述虛擬圖像存儲(chǔ)段17A存儲(chǔ)用于解釋所述操作步驟內(nèi)容的虛擬圖像。每個(gè)虛擬圖像是基于畫(huà)出所述操作對(duì)象輪廓(換句話(huà)說(shuō)就是外部輪廓)的圖線建立的，而用于可視地解釋所述內(nèi)容的視覺(jué)信息標(biāo)記按需加入到所述虛擬圖像。所述視覺(jué)信息標(biāo)記是，例如，示出操作順序的數(shù)字、示出執(zhí)行所述操作方向的箭頭、文字信息、由虛線所示的所述操作的完成畫(huà)面等。圖2A，2B和2C示出虛擬圖像的示例。它們用于解釋發(fā)動(dòng)機(jī)組件組裝操作中的某一操作，即操作者將一螺釘緊固到發(fā)動(dòng)機(jī)機(jī)體，并且隨后將一發(fā)動(dòng)機(jī)蓋連接到其上。圖2A是一虛擬圖像，其中畫(huà)出在所述操作之前發(fā)動(dòng)機(jī)機(jī)體的輪廓。圖2B是對(duì)應(yīng)于操作者上緊所述螺釘步驟的虛擬圖像。圖2C是對(duì)應(yīng)于操作者連接發(fā)動(dòng)機(jī)蓋步驟的虛擬圖像。例如參考圖2B，虛擬圖像是基于畫(huà)出作為操作對(duì)象的發(fā)動(dòng)機(jī)輪廓的圖線、以及被加入其中的數(shù)字和文字信息組成的視覺(jué)信息標(biāo)記I1至I13而建立的。所述視覺(jué)信息標(biāo)記I1至I12示出操作者將要上緊所述螺釘?shù)捻樞?，并且所述視覺(jué)標(biāo)記I13示出所述螺釘?shù)木o固力矩。所述聲音存儲(chǔ)段17B存儲(chǔ)用來(lái)解釋每一操作內(nèi)容的聲音數(shù)據(jù)，諸如操作順序，涉及產(chǎn)品可靠性法律的信息，注意事項(xiàng)等。例如，與圖2B同步重放的所述聲音數(shù)據(jù)是如下內(nèi)容“在這個(gè)步驟中，你將要按順序1至6來(lái)緊固螺釘。此時(shí)，所述緊固力矩是19.5±2.0Nm”。通過(guò)適當(dāng)?shù)厥褂盟雎曇魯?shù)據(jù)以及所述視覺(jué)信息標(biāo)記，操作者可以更容易地理解操作內(nèi)容并且可以更準(zhǔn)確地執(zhí)行所述操作。優(yōu)選地是，如果操作者聽(tīng)過(guò)一次(例如所述操作的概要)，該操作者可以理解的解釋就作為聲音數(shù)據(jù)產(chǎn)生，如果僅聽(tīng)過(guò)一次(例如，操作順序，詳細(xì)的數(shù)值等)，操作者無(wú)法理解的解釋就會(huì)作為視覺(jué)信息標(biāo)記而產(chǎn)生。
所述控制部分19被配置成控制整個(gè)操作引導(dǎo)系統(tǒng)1，并且它包括用于執(zhí)行預(yù)設(shè)程序的CPU(中央處理器)，以及主存儲(chǔ)器等。所述控制部分19具有聲音識(shí)別功能191，特征點(diǎn)提取功能192，虛擬圖像控制功能193和聲音輸出功能194。
所述聲音識(shí)別功能191識(shí)別所述聲音數(shù)據(jù)，所述聲音數(shù)據(jù)是由所述麥克風(fēng)131所輸入的并且通過(guò)所述聲音輸入接口161所采集，并且根據(jù)所識(shí)別的聲音控制虛擬圖像重放功能193A。例如，當(dāng)聲音識(shí)別功能191識(shí)別出“開(kāi)始重放”一詞時(shí)，它發(fā)出一個(gè)指令到所述虛擬圖像重放功能193A以開(kāi)始虛擬圖像的重放。
所述特征點(diǎn)提取功能192從通過(guò)CCD照像機(jī)100所拍攝的以及通過(guò)圖像輸入接口162所采集的圖像中提取相對(duì)于作為操作對(duì)象的發(fā)動(dòng)機(jī)的預(yù)先確定的特征點(diǎn)。例如，如圖3中所示，如果發(fā)動(dòng)機(jī)的特征點(diǎn)已經(jīng)被事先確定為點(diǎn)P1和點(diǎn)P2，則所述特征點(diǎn)提取功能192從CCD照像機(jī)所拍攝的圖像中提取所述點(diǎn)P1和P2，并且在所述圖像中它確定了特征點(diǎn)P1和P2的像素的位置。
所述虛擬圖像控制功能193進(jìn)一步包括所述虛擬圖像重放功能193A和虛擬圖像調(diào)整功能193B。所述虛擬圖像重放功能193A從所述虛擬圖像存儲(chǔ)段17A中提取虛擬圖像并按發(fā)動(dòng)機(jī)組裝的操作順序?qū)⑺鼈冿@示在液晶面板111上。而且，所述虛擬圖像重放功能193A記錄每個(gè)虛擬圖像和每一操作步驟之間的對(duì)應(yīng)，并且它具有所謂的“提示功能”，該功能提取對(duì)應(yīng)于操作者使用語(yǔ)音識(shí)別功能191所指定的其中一個(gè)操作步驟的虛擬圖像，并且它還具有“特定范圍重放功能”，該功能重放分別對(duì)應(yīng)于在操作者指定范圍內(nèi)的操作步驟的虛擬圖像，并且在所述虛擬圖像重放之后返回到所述指定范圍內(nèi)的第一虛擬圖像。當(dāng)然，所述虛擬圖像重放功能193A可以快進(jìn)、倒片和暫停所述虛擬圖像。所述虛擬圖像調(diào)整功能193B調(diào)整由所述圖像重放功能193A所重放的虛擬圖像，從而使畫(huà)在虛擬圖像上的所述發(fā)動(dòng)機(jī)的圖線與作為真實(shí)操作對(duì)象的真實(shí)發(fā)動(dòng)機(jī)具有重疊關(guān)系，該發(fā)動(dòng)機(jī)可透過(guò)玻璃部件11看到。所述調(diào)整方法會(huì)在下面進(jìn)行解釋。首先，建立將CCD照像機(jī)100所拍攝的圖像數(shù)據(jù)的每個(gè)像素的位置與所述液晶面板111的每個(gè)像素的位置相關(guān)聯(lián)的表。所述表被存儲(chǔ)于諸如控制部分19中的ROM(未示出)中。通過(guò)參照上面所述的表，所述圖像調(diào)整功能193B將圖像數(shù)據(jù)中每個(gè)特征點(diǎn)P1，P2的像素位置轉(zhuǎn)換成液晶面板111中相應(yīng)像素的位置，所述特征點(diǎn)P1，P2由特征點(diǎn)提取功能192從所述圖像數(shù)據(jù)所提取。然后，所述圖像調(diào)整功能193B自動(dòng)地改變虛擬圖像的位置和/或尺寸，從而使顯示在所述液晶面板111上的虛擬圖像中分別對(duì)應(yīng)于所述特征點(diǎn)P1，P2的特征點(diǎn)A，B分別與液晶面板111上的特征點(diǎn)P1，P2的像素位置相一致。圖4A示出在虛擬圖像調(diào)整功能193B調(diào)整虛擬圖像之前的真實(shí)的發(fā)動(dòng)機(jī)和顯示在液晶面板111上的虛擬發(fā)動(dòng)機(jī)。在圖4A中，因?yàn)椴僮髡呶恢玫仍?，?huà)在虛擬圖像上的發(fā)動(dòng)機(jī)的圖線以與通過(guò)液晶面板111看到的真實(shí)發(fā)動(dòng)機(jī)錯(cuò)位的關(guān)系被顯示在液晶面板111上。圖4B示出在所述虛擬圖像調(diào)整功能193B調(diào)整所述虛擬圖像之后的狀態(tài)。在圖4B中，畫(huà)在虛擬圖像上的所述發(fā)動(dòng)機(jī)的圖線通過(guò)虛擬圖像調(diào)整功能193以與真實(shí)發(fā)動(dòng)機(jī)相重疊的關(guān)系被顯示出來(lái)。經(jīng)由虛擬圖像調(diào)整功能193所執(zhí)行的虛擬圖象調(diào)整實(shí)時(shí)重復(fù)執(zhí)行。
所述聲音輸出功能194記錄每個(gè)虛擬圖像和存儲(chǔ)于所述聲音存儲(chǔ)段17B中的每個(gè)聲音數(shù)據(jù)片斷之間的對(duì)應(yīng)，并且它向聲音輸出接口164以與所述虛擬圖像重放同步的方式輸出對(duì)應(yīng)于重放的虛擬圖像的聲音數(shù)據(jù)片斷，所述重放是由虛擬圖像控制重放功能193A所實(shí)現(xiàn)的。
現(xiàn)在，如上所述構(gòu)成的操作引導(dǎo)系統(tǒng)1按如下使用。下面，出于理解的目的，所述發(fā)動(dòng)機(jī)的組裝操作大致被分成“步驟1”，“步驟2”，并且操作者將要執(zhí)行被稱(chēng)作“步驟2”的操作。所述步驟2進(jìn)一步包括“步驟2a”和“步驟2b”。在步驟2a中，操作者應(yīng)將螺釘緊固到所述發(fā)動(dòng)機(jī)機(jī)體，而在步驟2b中，操作者在步驟2a之后應(yīng)將發(fā)動(dòng)機(jī)蓋連接到所述發(fā)動(dòng)機(jī)機(jī)體。
首先，操作者帶上AV單元10并且通過(guò)液晶面板111看到未完成的發(fā)動(dòng)機(jī)，如圖3所示。當(dāng)操作者朝向麥克風(fēng)131說(shuō)“步驟2”時(shí)，聲音識(shí)別功能191識(shí)別“步驟2”這個(gè)詞，隨后虛擬圖像重放功能193A使用“提示功能”提取一個(gè)虛擬圖像到液晶面板111上，該虛擬圖像是步驟2(即圖2A)的預(yù)操作圖像。在此時(shí)，虛擬圖像調(diào)整功能193調(diào)整所述虛擬圖像，從而使所述虛擬圖像在所述發(fā)動(dòng)機(jī)的圖線與所述真實(shí)的發(fā)動(dòng)機(jī)完全重合的狀態(tài)下顯示在液晶面板111上，如圖4B所示。下面，當(dāng)操作者說(shuō)“開(kāi)始重放”時(shí)，虛擬圖像重放功能193A重放對(duì)應(yīng)于根據(jù)所述組裝操作(步驟2a-步驟2b)順序中步驟2a(即圖2B)的虛擬圖像。通過(guò)聲音輸出功能194所述聲音解釋從頭部收話(huà)器揚(yáng)聲器121被重放。圖5示出在此時(shí)通過(guò)液晶面板111所看到的視圖。操作者在聽(tīng)取聲音解釋的同時(shí)觀察液晶面板的顯示，并且根據(jù)虛擬圖像操作者將螺釘緊固到發(fā)動(dòng)機(jī)機(jī)體。當(dāng)操作者已經(jīng)完成螺釘緊固時(shí)，他說(shuō)“下一個(gè)操作”，隨后，所述聲音識(shí)別功能191識(shí)別出“下一步”這個(gè)詞，所述虛擬圖像重放功能在液晶面板111上重放對(duì)應(yīng)于下一步驟的虛擬圖像，也就是“步驟2”(即圖2C)。圖6示出在此時(shí)通過(guò)液晶面板111觀察到的視圖。然后，在觀察液晶面板的顯示和再一次聽(tīng)取聲音解釋的同時(shí)，操作者將發(fā)動(dòng)機(jī)蓋連接到所述發(fā)動(dòng)機(jī)機(jī)體。
操作者可以按需倒片，暫?；蚩爝M(jìn)所述虛擬圖像。操作者首先可以使用上述“特定范圍重放功能”連續(xù)地重放對(duì)應(yīng)于步驟2(即圖2A-圖2B-圖2C)的所有虛擬圖像，從而觀察整個(gè)的操作，這類(lèi)似于觀察動(dòng)畫(huà)，并且理解所述整個(gè)操作，然后他可以開(kāi)始所述操作。在這種情況下，因?yàn)轱@示在所述液晶面板上的虛擬圖像在操作者觀察整個(gè)虛擬圖像之后會(huì)回到步驟2中的第一步驟(即圖2A)，所以操作者可以容易地再一次從圖2A開(kāi)始重放虛擬圖像并且在保持虛擬圖像重放的同時(shí)執(zhí)行所述操作。操作者可通過(guò)聲音識(shí)別功能191在手中持滿(mǎn)工具的情況下控制虛擬圖像的重放。盡管操作者在所述操作的中間移動(dòng)他的頭部，可所述虛擬圖像調(diào)整功能193B調(diào)整所述虛擬圖像，從而使在虛擬圖像上的發(fā)動(dòng)機(jī)圖線與真實(shí)發(fā)動(dòng)機(jī)保持著重疊關(guān)系。如上面所解釋的那樣，這個(gè)操作引導(dǎo)系統(tǒng)1能使操作者在沒(méi)有指導(dǎo)者的情況下準(zhǔn)確地執(zhí)行所述操作。
盡管在本實(shí)施例中，存儲(chǔ)部分17被設(shè)置在所述操作引導(dǎo)控制單元15中，所述存儲(chǔ)部分17可以被設(shè)置在通過(guò)無(wú)線或有線LAN(局域網(wǎng))連接到所述操作引導(dǎo)控制單元15的服務(wù)器中。在這種情況下，所述操作引導(dǎo)控制單元15具有無(wú)線或有線LAN接口。所述存儲(chǔ)部分17不受限于硬盤(pán)，而可以是諸如光盤(pán)裝置、磁光盤(pán)裝置，或半導(dǎo)體存儲(chǔ)裝置。
盡管上述玻璃部件11是透明液晶面板111，可是它可以使用圖7所示的棱鏡。在圖7中，在所述液晶面板111上的所述虛擬圖像從棱鏡一側(cè)進(jìn)入棱鏡112，并且它由所述棱鏡112后表面上的反射表面112a完全地向前反射，隨后它由所述棱鏡112前表面上的半透鏡112b向后反射，并且隨后其透射所述反射表面112a。結(jié)果，操作者可以觀察所述虛擬圖像。在另一個(gè)方面，所述操作者可以通過(guò)從棱鏡112的前方貫穿到其后方的光學(xué)通路觀察到所述操作對(duì)象自身。當(dāng)所述虛擬圖像的背景顏色被設(shè)置成大約“000000”的黑色(網(wǎng)絡(luò)安全顏色)或大約“777777”的深灰色，以及所述虛擬圖像的圖線顏色被設(shè)置成大約“00FFFF”的淺藍(lán)色時(shí)，所述虛擬圖像對(duì)比于操作對(duì)象自身變得非常清楚。類(lèi)似地，當(dāng)所述字符和符號(hào)的顏色被設(shè)置成大約“00FFFF”的淺藍(lán)色或大約“FFFF00”的黃色時(shí)，它們會(huì)變得非常清晰。所述玻璃部件11不需要有兩個(gè)面板，而是可以有一個(gè)面板。即，本發(fā)明的顯示單元并不限于特定的一個(gè)，而是它只要將所述虛擬圖像和操作者前面的真實(shí)操作對(duì)象一起顯示給操作者。
所述虛擬圖像調(diào)整功能193不一定要實(shí)時(shí)調(diào)整所述虛擬圖像，但是它可以以特定的時(shí)間間隔調(diào)整所述虛擬圖像。
當(dāng)然，所述“特定范圍重放”功能可以重放兩個(gè)或多個(gè)步驟上的虛擬圖像。
優(yōu)選的是，所述系統(tǒng)包括視覺(jué)信息標(biāo)記輸入裝置(未示出)，其可從虛擬圖像存儲(chǔ)段17A中提取所述虛擬圖像，從而修改包括在虛擬圖像中的視覺(jué)信息標(biāo)記和/或?qū)⑿碌囊曈X(jué)信息標(biāo)記加到所述視覺(jué)圖像中。所述視覺(jué)信息標(biāo)記輸入裝置可使系統(tǒng)靈活地響應(yīng)在工場(chǎng)產(chǎn)生的所述操作的最小改變(例如，擰緊順序的改變)，從而操作者可更有效地執(zhí)行所述操作。在這種情況下，優(yōu)選地是，所述虛擬圖像被單獨(dú)地產(chǎn)生在分開(kāi)的層中，在一層上畫(huà)出勾畫(huà)出真實(shí)操作對(duì)象的圖線，而在一層上畫(huà)出所述視覺(jué)信息標(biāo)記，從而防止所畫(huà)復(fù)雜線條的誤刪除，并且提供了視覺(jué)信息標(biāo)記的無(wú)憂(yōu)修改和/或無(wú)憂(yōu)添加。
盡管在本實(shí)施例中，所述發(fā)動(dòng)機(jī)被拿來(lái)作為所述操作對(duì)象的示例，可所述操作對(duì)象不受限于類(lèi)似“發(fā)動(dòng)機(jī)”的物體，而是它可以是一個(gè)人或動(dòng)物。例如，這個(gè)操作引導(dǎo)系統(tǒng)可以被用于教授某人如何穿上和服和/或用于檢查在人或動(dòng)物上某一操作的過(guò)程。
圖9示出根據(jù)本發(fā)明第二實(shí)施例的操作引導(dǎo)系統(tǒng)2。除了根據(jù)手動(dòng)干涉所述虛擬圖像調(diào)整功能193B調(diào)整所述虛擬圖像以外，所述系統(tǒng)2的基本組成與第一實(shí)施例相同。所述操作引導(dǎo)系統(tǒng)2新包括作為手動(dòng)控制器的手持式鼠標(biāo)20，其連接到所述操作引導(dǎo)控制單元15。所述AV單元10包括在玻璃部件11中替代CCD照像機(jī)100的作為頭部追蹤裝置的頭部追蹤器200。所述頭部追蹤器200追蹤操作者頭部的運(yùn)動(dòng)。所述操作引導(dǎo)控制單元15在所述接口部分16中新包括手動(dòng)控制器接口165和頭部追蹤接口166。所述手動(dòng)控制器接口165被連接到所述手持式鼠標(biāo)20，并且所述頭部追蹤器接口166被連接到所述頭部追蹤器200。所述圖像輸出接口162已經(jīng)從所述接口部分16被移除，并且所述特征點(diǎn)提取功能192已經(jīng)從所述控制部分19被移除。
現(xiàn)在，將會(huì)在下文中對(duì)通過(guò)虛擬圖像調(diào)整功能193B調(diào)整所述虛擬圖像的方法進(jìn)行說(shuō)明。所述控制部分19具有虛擬圖像重放模式以及虛擬圖像調(diào)整模式，并且它們通過(guò)聲音識(shí)別功能191或所述手持式鼠標(biāo)20彼此轉(zhuǎn)換。在所述虛擬圖像調(diào)整模式中，除了真實(shí)的操作對(duì)象和虛擬圖像外，相對(duì)于所述虛擬圖像的虛擬操作對(duì)象預(yù)先確定的特征點(diǎn)被顯示在液晶面板111上。例如，在圖9中，除了真實(shí)的發(fā)動(dòng)機(jī)和所述虛擬發(fā)動(dòng)機(jī)外，所述虛擬圖像的發(fā)動(dòng)機(jī)的特征點(diǎn)A，B被顯示出來(lái)。在圖9中，所述真實(shí)的發(fā)動(dòng)機(jī)和所述虛擬發(fā)動(dòng)機(jī)以未對(duì)齊的關(guān)系被顯示出來(lái)。在這種狀態(tài)中，所述操作者使用所述手持式鼠標(biāo)20將特征點(diǎn)A的位置拖動(dòng)到通過(guò)液晶面板111所觀察到的所述真實(shí)發(fā)動(dòng)機(jī)的相應(yīng)特征點(diǎn)P1。在此時(shí)，所述虛擬圖像調(diào)整功能193B根據(jù)所述拖動(dòng)操作移動(dòng)整個(gè)虛擬圖像。當(dāng)操作者停止拖動(dòng)時(shí)，特征點(diǎn)A的位置被固定(見(jiàn)圖10)。下面，操作者將特征點(diǎn)B的位置拖動(dòng)至真實(shí)發(fā)動(dòng)機(jī)的相應(yīng)特征點(diǎn)P2。在此時(shí)，所述虛擬圖像調(diào)整功能193B參照于特征點(diǎn)A的位置改變整個(gè)虛擬圖像的尺寸。當(dāng)操作者已經(jīng)完成上述操作時(shí)，真實(shí)的發(fā)動(dòng)機(jī)和虛擬圖像的虛擬發(fā)動(dòng)機(jī)以重疊關(guān)系被顯示出來(lái)，如圖11所示。
在虛擬圖像調(diào)整模式中所執(zhí)行的調(diào)整被應(yīng)用于存儲(chǔ)在存儲(chǔ)部分17中的所有虛擬圖像，從而一旦操作者在虛擬圖像調(diào)整模式中調(diào)整所述虛擬圖像，操作者不需在后續(xù)虛擬圖像重放模式中、在每次所述虛擬圖像發(fā)生改變時(shí)調(diào)整所述虛擬圖像。
即使操作者在虛擬圖像重放模式中移動(dòng)他的頭部，所述頭部追蹤器200仍可自動(dòng)地改正所述虛擬圖像的位置，從而使所述虛擬圖像可以保持與真實(shí)操作對(duì)象的重疊關(guān)系。具體地講，如果頭部追蹤器檢測(cè)到操作者的頭部向左移動(dòng)，所述虛擬圖像調(diào)整裝置193B將使所述虛擬圖像的向右移動(dòng)與頭部的移動(dòng)相同。作為頭部追蹤器，可以使用用于頭部安裝的顯示器的應(yīng)用加速計(jì)或陀螺儀的慣性測(cè)量單元。
用于調(diào)整所述虛擬圖像的方法不限于上述的方法。例如，在操作者已經(jīng)確定了所述特征點(diǎn)A的位置后，所述控制部分19可以自動(dòng)地移動(dòng)進(jìn)入尺寸改變模式。在所述尺寸改變模式中，根據(jù)所述手持式鼠標(biāo)20的移動(dòng)量和移動(dòng)方向，所述整個(gè)虛擬圖像的尺寸參照于特征點(diǎn)A的位置變化。所述虛擬圖像能夠在除它被重放時(shí)之外的任何時(shí)間被調(diào)整，無(wú)需從虛擬圖像重放模式到所述虛擬圖像調(diào)整模式的操作者轉(zhuǎn)換操作。
可以使用游戲棒類(lèi)型的手動(dòng)式控制器或各種定向裝置來(lái)替代所述手持式鼠標(biāo)20。
權(quán)利要求
1.一種操作引導(dǎo)系統(tǒng)包括虛擬圖像存儲(chǔ)器，相對(duì)于由一系列操作步驟所組成的操作，其被配置成存儲(chǔ)用于解釋每一操作步驟內(nèi)容的虛擬圖像；顯示單元，其被設(shè)置在操作者眼睛的前面用于顯示所述虛擬圖像，與操作者前面的真實(shí)操作對(duì)象形成對(duì)照；虛擬圖像重放裝置，其被配置成按照所述操作步驟的順序在所述顯示單元上重放所述虛擬圖像；虛擬圖像調(diào)整裝置，其被配置成對(duì)所述虛擬圖像進(jìn)行調(diào)整，從而使畫(huà)在每個(gè)虛擬圖像上并且對(duì)應(yīng)于真實(shí)操作對(duì)象的虛擬操作對(duì)象在所述顯示單元上與所述真實(shí)操作對(duì)象有重疊關(guān)系。
2.如權(quán)利要求1所述的操作引導(dǎo)系統(tǒng)，其中每個(gè)虛擬圖像包括鉤畫(huà)出真實(shí)操作對(duì)象的圖線以及用來(lái)可視地解釋每一操作步驟內(nèi)容的視覺(jué)信息標(biāo)記。
3.如權(quán)利要求2所述的操作引導(dǎo)系統(tǒng)，進(jìn)一步包括一視覺(jué)信息標(biāo)記輸入裝置，其從所述虛擬圖像存儲(chǔ)器中提取其中一個(gè)虛擬圖像以修改和/或增加所述視覺(jué)信息標(biāo)記。
4.如權(quán)利要求3所述的操作引導(dǎo)系統(tǒng)，其中每個(gè)虛擬圖像包括畫(huà)有圖線的層以及畫(huà)有所述視覺(jué)信息標(biāo)記的層。
5.如權(quán)利要求1所述的操作引導(dǎo)系統(tǒng)，其中所述虛擬圖像重放裝置記錄每一虛擬圖像和每一操作步驟之間的對(duì)應(yīng)，并且具有提取其中一個(gè)對(duì)應(yīng)于由操作者所指定的其中一個(gè)操作步驟的虛擬圖像的功能。
6.如權(quán)利要求1所述的操作引導(dǎo)系統(tǒng)，其中所述虛擬圖像重放裝置記錄每一虛擬圖像和每一操作步驟之間的對(duì)應(yīng)，所述虛擬圖像重放裝置具有一種功能，即重放對(duì)應(yīng)于由操作者指定范圍內(nèi)的所述操作步驟的虛擬圖像，并且在重放所述虛擬圖像后返回到所述范圍內(nèi)的第一虛擬圖像。
7.如權(quán)利要求1所述的操作引導(dǎo)系統(tǒng)，進(jìn)一步包括用于輸入操作者聲音的聲音輸入裝置以及用于識(shí)別由所述聲音輸入裝置輸入的聲音的聲音識(shí)別裝置；所述虛擬圖像重放裝置基于操作者的聲音控制所述虛擬圖像重放。
8.如權(quán)利要求1所述的操作引導(dǎo)系統(tǒng)，進(jìn)一步包括配置成存儲(chǔ)用于解釋每一操作步驟內(nèi)容的聲音數(shù)據(jù)的聲音存儲(chǔ)器以及配置成輸出所述聲音數(shù)據(jù)的聲音輸出裝置；所述虛擬圖像重放裝置同步于所述虛擬圖像的重放將所述聲音數(shù)據(jù)輸出到所述聲音輸出裝置。
9.如權(quán)利要求1所述的操作引導(dǎo)系統(tǒng)，進(jìn)一步包括圖像提取裝置，其配置成提取真實(shí)操作對(duì)象的圖像，以及特征點(diǎn)提取裝置，其配置成相對(duì)于所述操作對(duì)象從所述圖像提取裝置所提取的圖像中提取預(yù)先確定的特征點(diǎn)；所述虛擬圖像調(diào)整裝置自動(dòng)地改變顯示在所述顯示單元上的每個(gè)虛擬圖像的位置和/或尺寸，從而使與由所述特征點(diǎn)提取裝置所提取的特征點(diǎn)相對(duì)應(yīng)的所述虛擬操作對(duì)象的點(diǎn)與所述特征點(diǎn)的位置相一致。
10.如權(quán)利要求1所述的操作引導(dǎo)系統(tǒng)，其中所述虛擬圖像調(diào)整裝置包括手動(dòng)控制器，通過(guò)該手動(dòng)控制器操作者能夠手動(dòng)地改變?cè)谒鲲@示單元上顯示的每個(gè)虛擬圖像的位置和/或尺寸。
11.如權(quán)利要求10所述的操作引導(dǎo)系統(tǒng)，進(jìn)一步包括頭部追蹤裝置，其配置成追蹤操作者頭部的運(yùn)動(dòng)；所述虛擬圖像調(diào)整裝置基于所述頭部追蹤裝置的輸出更正顯示在所述顯示單元上的每個(gè)所述虛擬圖像的位置。
全文摘要
本發(fā)明公開(kāi)一種工作引導(dǎo)系統(tǒng)，其包括虛擬圖像存儲(chǔ)單元(17A)，玻璃單元(11)，虛擬圖像重放功能(193A)，以及虛擬圖像調(diào)整功能(193B)。所述虛擬圖像存儲(chǔ)單元(17A)存儲(chǔ)用于向操作者解釋由多個(gè)步驟所組成的一工作的每個(gè)步驟中的內(nèi)容的虛擬圖像。設(shè)置在操作者眼睛前方的所述玻璃單元(11)向操作者顯示與操作者前方的真實(shí)操作對(duì)象相一致的所述虛擬圖像。所述虛擬圖像重放功能(193A)基于每一步驟的順序在玻璃單元(111)上重放所述虛擬圖像。所述虛擬圖像調(diào)整功能(193B)調(diào)整所述虛擬圖像，從而使在虛擬圖像中示出的相應(yīng)操作對(duì)象顯示在玻璃單元(11)上，同時(shí)重疊在真實(shí)工作對(duì)象上。
文檔編號(hào)G06F3/048GK1662934SQ0381437
公開(kāi)日2005年8月31日 申請(qǐng)日期2003年6月20日 優(yōu)先權(quán)日2002年6月20日
發(fā)明者福田登仁 申請(qǐng)人:韋斯特尤尼蒂斯株式會(huì)社