本發(fā)明涉及異常檢測裝置等。

背景技術(shù)：

利用工業(yè)用機械手使以往由作業(yè)員進行的作業(yè)實現(xiàn)無人化，由此實現(xiàn)降低作業(yè)員的作業(yè)失誤、提高作業(yè)效率、提高對于作業(yè)員的安全性的fa(工廠自動化：factoryautomation)系統(tǒng)被應(yīng)用于多種作業(yè)現(xiàn)場。

在此，在fa系統(tǒng)中，在利用機械手的反復(fù)作業(yè)實現(xiàn)的組裝工序中，有時例如因組裝部件的設(shè)置位置或機械手的操作姿勢的微小不同所引發(fā)的影響會波及之后的組裝作業(yè)，從而成為產(chǎn)生不良品的重要因素。

因此，fa系統(tǒng)的管理者通過定期檢查各機械手的動作、組裝部件的設(shè)置位置等來進行應(yīng)對以便不產(chǎn)生不良部件。

專利文獻1：日本特開2007－334756號公報。

專利文獻2：日本特開2006－79272號公報。

專利文獻3：日本特開2006－178790號公報。

然而，在上述現(xiàn)有技術(shù)中，存在無法高精度地檢測使得產(chǎn)生不良品那樣的機械手的作業(yè)變動的異常這種問題。

例如，在現(xiàn)有的fa系統(tǒng)中，管理者通過定期檢查各機械手的動作、組裝部件的設(shè)置位置等來進行應(yīng)對，但通過人工是難以發(fā)現(xiàn)微小作業(yè)變動的。由于因作業(yè)變動而產(chǎn)生的異常會對組裝過程中的產(chǎn)品帶來影響，所以雖希望能夠當場檢測出作業(yè)變動，但如上述那樣該檢測是困難的，因此以往只能夠在產(chǎn)品的組裝結(jié)束之后，根據(jù)檢查出該產(chǎn)品是良品還是不良品的結(jié)果來推測有無作業(yè)變動。上述問題并不限于機械手，在檢測進行規(guī)定的動作的對象物的異常的情況下也同樣會產(chǎn)生。

技術(shù)實現(xiàn)要素：

本發(fā)明的一個方面的目的在于提供能夠高精度地檢測對象物的作業(yè)變動的異常的異常檢測裝置、異常檢測方法以及異常檢測程序。

在第一方案中，異常檢測裝置具有特征量提取部以及判定部。特征量提取部將拍攝到的被拍攝體的正常的作業(yè)動作的動畫數(shù)據(jù)所包含的各第一幀、與表示該第一幀的特征的第一特征量建立對應(yīng)并存儲于存儲部。特征量提取部將拍攝到的被拍攝體的某個作業(yè)動作的動畫數(shù)據(jù)所包含的各第二幀、與表示該第二幀的特征的第二特征量建立對應(yīng)并存儲于存儲部。判定部對第二幀的第二特征量與各第一幀的第一特征量進行比較，確定與第二特征量最接近的第一特征量。判定部以所確定的第一特征量和第二特征量為基礎(chǔ)，對某個作業(yè)動作是否異常進行判定。

根據(jù)本發(fā)明的一個實施方式，能夠高精度地檢測對象物的作業(yè)變動的異常。

附圖說明

圖1是表示參考例的系統(tǒng)的圖。

圖2是表示參考例的異常值的推移的一個例子的圖(1)。

圖3是表示參考例的異常值的推移的一個例子的圖(2)。

圖4是表示參考例的系統(tǒng)的處理步驟的流程圖。

圖5是表示本實施例1的系統(tǒng)的結(jié)構(gòu)的圖。

圖6是表示本實施例1的異常檢測裝置的結(jié)構(gòu)的功能框圖。

圖7是表示從各第一幀提取的各第一特征量的一個例子的圖。

圖8是表示從各第二幀提取的各第二特征量的一個例子的圖。

圖9是用于對本實施例1的判定部的處理進行說明的圖。

圖10是表示本實施例1的異常檢測裝置的處理步驟的流程圖。

圖11是用于對本實施例1的效果進行說明的圖。

圖12是表示本實施例2的系統(tǒng)的結(jié)構(gòu)的圖。

圖13是表示本實施例2的異常檢測裝置的結(jié)構(gòu)的功能框圖。

圖14是表示示教數(shù)據(jù)的數(shù)據(jù)構(gòu)造的一個例子的圖。

圖15是用于對本實施例2的判定部的處理進行說明的圖。

圖16是表示本實施例2的異常檢測裝置的處理步驟的流程圖。

圖17是表示執(zhí)行異常檢測程序的計算機的一個例子的圖。

具體實施方式

以下，基于附圖對本發(fā)明的異常檢測裝置、異常檢測方法以及異常檢測程序的實施例進行詳細說明。另外，該實施例不限定本發(fā)明。

實施例1

首先，在對本實施例進行說明之前，對成為本實施例的前提的參考例進行說明。該參考例并不對應(yīng)現(xiàn)有技術(shù)。圖1是表示參考例的系統(tǒng)的圖。如圖1所示，參考例的系統(tǒng)有機械手5、拍攝元件10a、10b、照明11a、11b、拍攝元件控制器20、照明控制器30以及異常檢測裝置40。

機械手5是基于示教數(shù)據(jù)進行規(guī)定的組裝作業(yè)的機械手。示教數(shù)據(jù)是將開始動作之后的時刻與機械手5的作業(yè)內(nèi)容建立了對應(yīng)的數(shù)據(jù)。

拍攝元件10a、10b是根據(jù)來自拍攝元件控制器20的控制信號，拍攝成為被拍攝體的機械手5的裝置。在以下的說明中，將拍攝元件10a、10b概括表示為拍攝元件10。拍攝元件10將拍攝到的機械手5的動畫數(shù)據(jù)輸出至拍攝元件控制器20。

照明11a、11b是根據(jù)來自照明控制器30的控制信號照射機械手5的照明。在以下的說明中，將照明11a、11b概括表示為照明11。

拍攝元件控制器20是將控制信號輸出至拍攝元件10，使拍攝元件10動作，并從拍攝元件10取得機械手5的動畫數(shù)據(jù)的裝置。拍攝元件控制器20將動畫數(shù)據(jù)輸出至異常檢測裝置40。

照明控制器30是將控制信號輸出至照明11，使照明11動作的處理部。

異常檢測裝置40是對機械手5的動作是否存在異常進行檢測的裝置。異常檢測裝置40在準備階段將拍攝到的機械手5的正常的作業(yè)動作的動畫數(shù)據(jù)所包含的幀、與該幀的特征量建立對應(yīng)并存儲于存儲部。另外，異常檢測裝置40在異常檢測階段將拍攝到的機械手5的作業(yè)動作的動畫數(shù)據(jù)所包含的幀、與該幀的特征量建立對應(yīng)并存儲于存儲部。

在以下的說明中，將在準備階段拍攝到機械手5的正常的作業(yè)動作的動畫數(shù)據(jù)所包含的幀表示為第一幀。將第一幀的特征量表示為第一特征量。在異常檢測階段拍攝到的機械手5的作業(yè)動作的動畫數(shù)據(jù)所包含的幀表示為第二幀。將第二幀的特征量表示為第二特征量。

異常檢測裝置40對第一幀的第一特征量與第二幀的第二特征量的組分別從前端按順序進行比較。例如，異常檢測裝置40按順序逐個比較時刻tn的第一幀的第一特征量與時刻tn的第二幀的第二特征量。n是1以上的自然數(shù)。在存在表示各特征量的距離的異常值處于閾值以上的第一幀以及第二幀的組的情況下，異常檢測裝置40判定為機械手5的作業(yè)動作存在異常。

圖2以及圖3是表示參考例的異常值的推移的一個例子的圖。在圖2以及圖3中，縱軸是表示異常值的軸，橫軸是表示時刻的軸。圖2表示在參考例的異常檢測階段，未檢測到異常的異常值的推移。圖3表示在參考例的異常檢測階段，檢測到異常的異常值的推移。

對圖2進行說明。圖2的線段1a是表示正?？臻g的平均值的線段。正?？臻g的平均值例如是在準備階段，反復(fù)拍攝機械手5的正常的作業(yè)動作，并使用多個動畫數(shù)據(jù)將多個第一特征量的距離平均化而得的值。線段1b是表示第一特征量與第二特征量之間的距離的線段。在以下的說明中，適當?shù)兀瑢⒌谝惶卣髁颗c第二特征量之間的距離表示為異常值。由于線段1b的異常值未處于閾值以上，所以異常檢測裝置40判定為在異常檢測階段機械手5的作業(yè)不存在異常。

對圖3進行說明。圖3的線段1a對應(yīng)圖2的線段1a。線段1c是表示第一特征量與第二特征量之間的距離的異常值。由于線段1c的異常值處于閾值以上，所以異常檢測裝置40判定為在異常檢測階段機械手5的作業(yè)存在異常。

接下來，對參考例的系統(tǒng)的處理步驟的一個例子進行說明。圖4是表示參考例的系統(tǒng)的處理步驟的流程圖。如圖4所示，異常檢測裝置40接受示教數(shù)據(jù)，并將所接受的示教數(shù)據(jù)上傳至機械手5(步驟s10)。拍攝元件10拍攝機械手的正常動作(步驟s11)，異常檢測裝置40從正常作業(yè)的第一幀，針對每個第一幀計算第一特征量(步驟s12)。

異常檢測裝置40從多個正常作業(yè)生成針對每個第一幀的正?？臻g(步驟s13)。異常檢測裝置40利用幀軸計算正?？臻g的平均值(步驟s14)。

拍攝元件10在異常檢測階段拍攝機械手5的對象作業(yè)(步驟s15)。異常檢測裝置40從對象作業(yè)的第二幀，針對每個第二幀計算第二特征量(步驟s16)。異常檢測裝置40針對每個幀計算對象作業(yè)的第二幀的第二特征量與正常作業(yè)的第一幀的第一特征量之間的異常值(步驟s17)。異常檢測裝置40基于針對每個幀的異常值，檢測作業(yè)的異常(步驟s18)。

如上述那樣，參考例的異常檢測裝置40計算正常動作的第一特征量與異常檢測階段的第二特征量之間的異常值，在異常值超過了閾值的情況下，判定為機械手5的作業(yè)存在異常。由此，在參考例中，即便管理者不定期進行機械手5的檢查，也能夠自動檢測機械手5的異常。

然而，在上述參考例中，存在如下問題，即：在產(chǎn)生了不對組裝作業(yè)帶來負面影響的作業(yè)變動的情況下，也誤檢測為機械手5的作業(yè)產(chǎn)生了異常。不對組裝作業(yè)帶來負面影響的作業(yè)變動對應(yīng)例如部件定位等引起的作業(yè)時間的變動、或與機械手5的移動速度和距離依存且難以控制的作業(yè)時間的微小變動。

接下來，對本實施例1的系統(tǒng)的結(jié)構(gòu)進行說明。圖5是表示本實施例1的系統(tǒng)的結(jié)構(gòu)的圖。如圖5所示，該系統(tǒng)具有：機械手5、拍攝元件10a、10b、照明11a、11b、拍攝元件控制器20、照明控制器30以及異常檢測裝置100。

在圖5中，關(guān)于機械手5、拍攝元件10a、10b、照明11a、11b、拍攝元件控制器20以及照明控制器30的說明與圖1中說明的內(nèi)容相同，因而在此省略說明。

異常檢測裝置100是對機械手5的動作是否存在異常進行檢測的裝置。圖6是表示本實施例1的異常檢測裝置的結(jié)構(gòu)的功能框圖。如圖6所示，該異常檢測裝置100具有：接口部110、輸入部120、顯示部130、存儲部140以及控制部150。

接口部110是與拍攝元件控制器20和照明控制器30實施數(shù)據(jù)通信的處理部。后述的控制部150經(jīng)由接口部110而在該控制部150、與拍攝元件控制器20和照明控制器30之間交換數(shù)據(jù)。

輸入部120是將各種信息輸入異常檢測裝置100的輸入裝置。輸入部120例如對應(yīng)鍵盤、鼠標。顯示部130是顯示從控制部150輸出的各種信息的顯示裝置，對應(yīng)液晶顯示器、監(jiān)視器等。

存儲部140具有：第一動畫數(shù)據(jù)140a、第二動畫數(shù)據(jù)140b、第一特征量表140c以及第二特征量表140d。存儲部140對應(yīng)ram(隨機存取存儲器：randomaccessmemory)、rom(只讀存儲器：readonlymemory)、閃存(flashmemory)等半導(dǎo)體存儲器元件、或hdd(硬盤驅(qū)動器：harddiskdrive)等存儲裝置。

第一動畫數(shù)據(jù)140a是對應(yīng)在準備階段拍攝到的機械手5的正常的作業(yè)動作的動畫數(shù)據(jù)的數(shù)據(jù)。第一動畫數(shù)據(jù)140a將時刻、與對應(yīng)該時刻的動畫數(shù)據(jù)的第一幀建立對應(yīng)。

第二動畫數(shù)據(jù)140b是對應(yīng)在異常檢測階段拍攝到的機械手5的作業(yè)動作的動畫數(shù)據(jù)的數(shù)據(jù)。第二動畫數(shù)據(jù)140b將時刻、與對應(yīng)該時刻的動畫數(shù)據(jù)的第二幀建立對應(yīng)。

第一特征量表140c是具有從各時刻的第一幀提取的第一特征量的數(shù)據(jù)。第一特征量表140c將時刻、與從對應(yīng)該時刻的第一幀提取的第一特征量建立對應(yīng)。

第二特征量表140d是具有從各時刻的第二幀提取的第二特征量的數(shù)據(jù)。第二特征量表140d將時刻、與從對應(yīng)該時刻的第二幀提取的第二特征量建立對應(yīng)。

控制部150具有：通信控制部150a、特征量提取部150b以及判定部150c?？刂撇?50例如對應(yīng)asic(專用集成電路：applicationspecificintegratedcircuit)、fpga(現(xiàn)場可編程門陣列：fieldprogrammablegatearray)等集成裝置。另外，控制部150例如對應(yīng)cpu(中央處理單元：centralprocessingunit)、mpu(微處理單元：microprocessingunit)等電路。

通信控制部150a是與拍攝元件控制器20進行數(shù)據(jù)通信，取得動畫數(shù)據(jù)的處理部。例如，通信控制部150a從拍攝元件控制器20取得在準備階段拍攝到的機械手5的正常的作業(yè)動作的動畫數(shù)據(jù)。通信控制部150a在準備階段將從拍攝元件控制器20取得的動畫數(shù)據(jù)作為第一動畫數(shù)據(jù)140a儲存于存儲部140。

通信控制部150a從拍攝元件控制器20取得在異常檢測階段拍攝到的機械手5的作業(yè)動作的動畫數(shù)據(jù)。通信控制部150a將在異常檢測階段從拍攝元件控制器20取得的動畫數(shù)據(jù)作為第二動畫數(shù)據(jù)140b儲存于存儲部140。

通信控制部150a在準備階段以及異常檢測階段且在拍攝元件10進行拍攝的期間，對照明控制器30輸出使進行照明動作的控制指令。

特征量提取部150b從第一動畫數(shù)據(jù)140a的各第一幀提取第一特征量，將所提取的第一特征量與對應(yīng)提取源的第一幀的時刻建立對應(yīng)并登記于第一特征量表140c。另外，特征量提取部150b從第二動畫數(shù)據(jù)140b的各第二幀提取第二特征量，將所提取的第二特征量與對應(yīng)提取源的第二幀的時刻建立對應(yīng)并儲存于第二特征量表140d。

在此，對特征量提取部150b從第一幀或者第二幀提取特征量的處理的一個例子進行說明。從第一幀提取特征量的處理與從第二幀提取特征量的處理相同，因而在此將第一幀和第二幀概括表示為幀。

特征量提取部150b提取相對于幀的視頻特征、例如以式(1)所示的n階自相關(guān)函數(shù)為基礎(chǔ)將n個位移ai在空間方向和時間方向擴張而得的三次高階局部自相關(guān)特征(chlac：cubichigher-orderlocalautocorrelation特征)等作為特征量。

式(1)

在式(1)中，f是時間序列像素值(差分值)，參照點(關(guān)注像素)r以及從參照點來看的n個位移ai(i＝1、···n)是作為成分還具有差分幀內(nèi)的二維坐標以及時間的三維矢量。在式(1)中，時間方向的積分范圍是取何種程度的時間方向的相關(guān)任意的參數(shù)。

圖7是表示從各第一幀提取的各第一特征量的一個例子的圖。各第一特征量的縱軸對應(yīng)頻率(矢量)，橫軸對應(yīng)矢量的次數(shù)。在圖7中作為一個例子示出了第一特征量50a、50b、50c、50d、50e、50f。

在圖7中，第一特征量50a是從時刻t1的第一幀提取的第一特征量。第一特征量50b是從時刻t2的第一幀提取的第一特征量。第一特征量50c是從時刻t3的第一幀提取的第一特征量。第一特征量50d是從時刻t4的第一幀提取的第一特征量。第一特征量50e是從時刻t5的第一幀提取的第一特征量。第一特征量50f是從時刻t6的第一幀提取的第一特征量。

特征量提取部150b將各第一特征量與對應(yīng)提取源的第一幀的時刻建立對應(yīng)并登記于第一特征量表140c。例如，第一特征量表140c的各時刻t1～tn是在準備階段以對于機械手5開始拍攝的時刻為起點的相對時刻。

圖8是表示從各第二幀提取的各第二特征量的一個例子的圖。各第二特征量的縱軸對應(yīng)頻率(矢量)，橫軸對應(yīng)矢量的次數(shù)。在圖8中作為一個例子示出了第二特征量60a、60b、60c、60d、60e。

在圖8中，第二特征量60a是從時刻t1’的第二幀提取的第二特征量。第二特征量60b是從時刻t2’的第二幀提取的第二特征量。第二特征量60c是從時刻t3’的第二幀提取的第二特征量。第二特征量60d是從時刻t4’的第二幀提取的第二特征量。第二特征量60e是從時刻t5’的第二幀提取的第二特征量。

特征量提取部150b將各第一特征量與對應(yīng)提取源的第二幀的時刻建立對應(yīng)并登記于第二特征量表140d。例如，第二特征量表140d的各時刻t1’～tn’是在異常檢測階段以對于機械手5開始拍攝的時刻為起點的相對時刻。

返回針對圖6的說明。判定部150c是對第一特征量與第二特征量進行比較，確定與第二特征量最接近的第一特征量，并基于所確定的第一特征量與第二特征量之間的異常值，對作業(yè)動作是否存在異常進行判定的處理部。以下，對判定部150c的處理的一個例子進行說明。

圖9是用于對本實施例1的判定部的處理進行說明的圖。判定部150c選擇第二特征量，并以所選擇的第二特征量的時刻為基準，選擇在前后規(guī)定時間內(nèi)包含的多個第一特征量。判定部150c計算所選擇的第二特征量以及多個第一特征量之間的異常值。判定部150c計算第二特征量的矢量與第一特征量的矢量之間的距離作為異常值。

式(2)

例如，在判定部150c計算第二特征量的矢量與第一特征量的矢量之間的距離的情況下，也可以使用馬氏距離。馬氏距離由式(2)定義。在式(2)中，x表示第二特征量的矢量，μ表示第一特征量的平均矢量。σ表示方差－協(xié)方差矩陣。

判定部150c將多個異常值中的最小的異常值判定為所選擇的第二特征量的異常值。判定部150c對于其他第二特征量也反復(fù)執(zhí)行上述處理，由此計算各第二特征量的異常值。

在圖9中，例如，判定部150c選擇時刻t2’的第二特征量60b，并以時刻t2’為基準將在前后規(guī)定時間內(nèi)包含的時刻的第一特征量作為時刻t1～t3的特征量50a～50c。管理者預(yù)先設(shè)定前后規(guī)定時間。在該情況下，判定部150c對第二特征量60b與第一特征量50a～50c分別進行比較，確定多個異常值，并將所確定的異常值中的最小的異常值判定為第二特征量60b的異常值。判定部150c對于其他第二特征量也反復(fù)執(zhí)行上述處理。

判定部150c以各第二特征量的異常值為基礎(chǔ)，對是否存在超過規(guī)定的閾值的異常值進行判定。在存在超過規(guī)定的閾值的異常值的情況下，判定部150c判定為在異常檢測階段機械手5的作業(yè)動作存在異常，并將判定結(jié)果輸出至顯示部130或者其他外部裝置。

接下來，對本實施例1的異常檢測裝置100的處理步驟的一個例子進行說明。圖10是表示本實施例1的異常檢測裝置的處理步驟的流程圖。如圖10所示，異常檢測裝置100的通信處理部150a取得第一動畫數(shù)據(jù)140a以及第二動畫數(shù)據(jù)140b(步驟s101)。異常檢測裝置100的判定部150c對開始比較的時刻t進行計算(步驟s102)。例如，在步驟s102中，判定部150c計算第一動畫數(shù)據(jù)140a或者第二動畫數(shù)據(jù)140b所包含的幀中的最初的幀的時刻作為開始比較的時刻t。

判定部150c通過在時刻t上加上偏移量來更新時刻t(步驟s103)。例如，將偏移量的初始值設(shè)為0。判定部150c取得對應(yīng)時刻t的第二幀(步驟s104)。判定部150c對時刻t－α～時刻t+β的各第一幀、與時刻t的第二幀進行比較來計算多個異常值(步驟s105)。雖在圖10中省略說明，但在步驟s105中，判定部150c對第一幀的第一特征量與第二幀的第二特征量進行比較來計算異常值。

判定部150c采用計算出的多個異常值中的最小的異常值(步驟s106)。判定部150c保持成為最小的異常值的第一幀的時刻tnew(步驟s107)。例如，在步驟s107中，在成為最小的異常值的第一幀與第二幀的組為時刻t1的第一幀與時刻t1’的第二幀的組的情況下，判定部150c將時刻t1設(shè)定為時刻tnew。

判定部150c將時刻t與時刻tnew的差分設(shè)定為偏移量(步驟s108)。判定部150c對是否結(jié)束處理進行判定(步驟s109)。在不結(jié)束處理的情況下(步驟s109：否)，判定部150c移至步驟s103。在結(jié)束處理的情況下(步驟s109：是)，判定部150c結(jié)束機械手5的作業(yè)處理。

接下來，對本實施例1的異常檢測裝置100的效果進行說明。異常檢測裝置100在計算第二特征量的異常值的情況下，在以第二特征量的時刻為基準的規(guī)定的時間范圍內(nèi)，檢索與第二特征量最接近的第一特征量，并計算檢索到的第一特征量與第二特征量之間的異常值。由此，在產(chǎn)生了不對組裝作業(yè)帶來負面影響的作業(yè)變動的情況下，也能夠抑制異常值因上述作業(yè)變動而變大，由此能夠消除誤檢測為機械手5的作業(yè)產(chǎn)生了異常這種問題。

圖11是用于對本實施例1的效果進行說明的圖。圖11的縱軸是對應(yīng)異常值的軸，橫軸是對應(yīng)時刻的軸。與圖2所示的線段1a同樣，圖11所示的線段1a是表示平常空間的平均值的線段。線段1d是由參考例的異常檢測裝置40計算出的異常值的推移。線段1e是由本實施例1的異常檢測裝置100計算出的異常值的推移。

例如，在參考例的異常檢測裝置40中，在產(chǎn)生了不對組裝作業(yè)帶來負面影響的作業(yè)變動的情況下，也如線段1d所示，異常值超過閾值，從而誤檢測為產(chǎn)生了異常。與此相對，如線段1e所示，在本實施例1的異常檢測裝置100中，在產(chǎn)生了不對組裝作業(yè)帶來負面影響的作業(yè)變動的情況下，異常值不超過閾值，從而能夠抑制異常的誤檢測。

然而，雖本實施例的判定部150c對第二特征量與各第一特征量分別一個一個地進行比較，計算出多個異常值，但并不限定于此。例如，判定部150c也可以將第二特征量與多個第一特征量匯集起來進行比較，一次計算多個異常值。另外，判定部150c也可以在對第二特征量與第一特征量進行比較的情況下，針對一部分的次數(shù)，縮減與第二特征量類似的第一特征量，并從縮減出的第一特征量確定與第二特征量最類似的第一特征量作為異常值的計算對象。

對特征量提取部150b從第一幀提取特征量的其他處理進行說明。特征量提取部150b在時刻t將從拍攝元件10a拍攝到的動畫數(shù)據(jù)的第一幀提取的第一特征量、與從拍攝元件10b拍攝到的動畫數(shù)據(jù)的第一幀提取的第一特征量平均化，或者根據(jù)例如拍攝裝置相對于被拍攝體的朝向等，選擇觀測到被拍攝體的移動量更大的時間段的拍攝裝置的各第一幀的第一特征量。而且，特征量提取部150b也可以將平均化或者選擇出的第一特征量作為時刻t的第一幀的第一特征量登記于第一特征量表140c。

對特征量提取部150b從第二幀提取特征量的其他處理進行說明。特征量提取部150b在時刻t’將從拍攝元件10a拍攝到的動畫數(shù)據(jù)的第二幀提取的第二特征量、與從拍攝元件10b拍攝到的動畫數(shù)據(jù)的第二幀提取的第二特征量平均化，或者根據(jù)例如拍攝裝置相對于被拍攝體的朝向等，選擇觀測到被拍攝體的移動量更大的時間段的拍攝裝置的各第二幀的第二特征量。而且，特征量提取部150b也可以將平均化或者選擇出的第二特征量作為時刻t’的第二幀的第二特征量登記于第二特征量表140d。

如上述那樣，特征量提取部150b設(shè)定將設(shè)置于不同位置的拍攝元件10a、10b拍攝到的動畫數(shù)據(jù)的幀的特征量平均化或者從中選擇出的特征量作為該幀的特征量。由此，能夠排除噪聲等的影響，從而高精度地確定特征量。

實施例2

接下來，對本實施例2的系統(tǒng)的結(jié)構(gòu)進行說明。圖12是表示本實施例2的系統(tǒng)的結(jié)構(gòu)的圖。如圖12所示，該系統(tǒng)具有：機械手5、拍攝元件10a、10b、照明11a、11b、拍攝元件控制器20、照明控制器30以及異常檢測裝置200。

在圖12中，關(guān)于機械手5、拍攝元件10a、10b、照明11a、11b、拍攝元件控制器20以及照明控制器30的說明與圖1中說明的內(nèi)容相同，因而在此省略說明。

異常檢測裝置200是對機械手5的動作是否存在異常進行檢測的裝置。圖13是表示本實施例2的異常檢測裝置的結(jié)構(gòu)的功能框圖。如圖13所示，該異常檢測裝置200具有：接口部210、輸入部220、顯示部230、存儲部240以及控制部250。

接口部210是與機械手5、拍攝元件控制器20以及照明控制器30實施數(shù)據(jù)通信的處理部。后述的控制部250經(jīng)由接口部210而在該控制部250、與機械手5、拍攝元件控制器20以及照明控制器30之間交換數(shù)據(jù)。

輸入部220是將各種信息輸入異常檢測裝置200的輸入裝置。輸入部220例如對應(yīng)鍵盤、鼠標。顯示部230是顯示從控制部250輸出的各種信息的顯示裝置，對應(yīng)液晶顯示器、監(jiān)視器等。

存儲部240具有：第一動畫數(shù)據(jù)240a、第二動畫數(shù)據(jù)240b、第一特征量表240c、第二特征量表240d以及示教數(shù)據(jù)240e。存儲部240對應(yīng)ram、rom、閃存等半導(dǎo)體存儲器元件、或hdd等存儲裝置。

關(guān)于第一動畫數(shù)據(jù)240a以及第二動畫數(shù)據(jù)240b的說明與關(guān)于圖6所示的第一動畫數(shù)據(jù)140a以及第二動畫數(shù)據(jù)140b的說明相同。另外，關(guān)于第一特征量表240c以及第二特征量表240d的說明與關(guān)于圖6所示的第一特征量表140c以及第二特征量表140d的說明相同。

示教數(shù)據(jù)240e是將表示機械手5開始作業(yè)之后的時刻的示教點與機械手5的作業(yè)內(nèi)容建立了對應(yīng)的數(shù)據(jù)。圖14是表示示教數(shù)據(jù)的數(shù)據(jù)構(gòu)造的一個例子的圖。如圖14所示，該示教數(shù)據(jù)240e將示教點與作業(yè)內(nèi)容建立對應(yīng)。將與示教數(shù)據(jù)240e同一示教數(shù)據(jù)上傳至機械手5，機械手5基于示教數(shù)據(jù)進行作業(yè)。

返回針對圖13的說明?？刂撇?50具有：通知控制部250a、特征量提取部250b以及判定部250c。控制部250例如對應(yīng)asic、fpga等集成裝置。另外，控制部250例如對應(yīng)cpu、mpu等電路。

通信控制部250a是與拍攝元件控制器20進行數(shù)據(jù)通信，并取得動畫數(shù)據(jù)的處理部。例如，通信控制部250a從拍攝元件控制器20取得在準備階段拍攝到的機械手5的正常的作業(yè)動作的動畫數(shù)據(jù)。通信控制部250a在準備階段將從拍攝元件控制器20取得的動畫數(shù)據(jù)作為第一動畫數(shù)據(jù)240a儲存于存儲部240。

通信控制部250a從拍攝元件控制器20取得在異常檢測階段拍攝到的機械手5的作業(yè)動作的動畫數(shù)據(jù)。通信控制部250a在異常檢測階段將從拍攝元件控制器20取得的動畫數(shù)據(jù)作為第二動畫數(shù)據(jù)240a儲存于存儲部240。

通信控制部250a在準備階段以及異常檢測階段且在拍攝元件10進行拍攝的期間，對于照明控制器30輸出使照明動作的控制指令。

通信控制部250a經(jīng)由接口部210或者輸入部220等取得示教數(shù)據(jù)240e，并將所取得的示教數(shù)據(jù)240e儲存于存儲部240。另外，通信控制部250a在異常檢測階段且在拍攝元件控制器20拍攝第二動畫數(shù)據(jù)240b的期間，與機械手5進行數(shù)據(jù)通信，從機械手5取得表示機械手5已進展到了哪個示教點的作業(yè)的信息。通信控制部250a向判定部250c輸出將第二動畫數(shù)據(jù)240b的第二幀的時刻、與已結(jié)束的作業(yè)內(nèi)容的示教點建立了對應(yīng)的對應(yīng)信息。

特征量提取部250b從第一動畫數(shù)據(jù)240a的各第一幀提取第一特征量，將所提取的第一特征量與對應(yīng)提取源的第一幀的時刻建立對應(yīng)并登記于第一特征量表240c。另外，特征量提取部250b從第二動畫數(shù)據(jù)240b的各第二幀提取第二特征量，將所提取的第二特征量與對應(yīng)提取源的第二幀的時刻建立對應(yīng)并儲存于第二特征量表240d。特征量提取部250b從幀提取特征量的處理與實施例1所示的特征量提取部150b相同。

判定部250c是對第一特征量與第二特征量進行比較，確定與第二特征量最接近的第一特征量，并基于所確定的第一特征量與第二特征量之間的異常值，對作業(yè)動作是否存在異常進行判定的處理部。以下，對判定部250c的處理的一個例子進行說明。

判定部250c選擇第二特征量，并以所選擇的第二特征量的時刻為基準，選擇在前后規(guī)定時間內(nèi)包含的多個第一特征量。在此，判定部250c對第二特征量的時刻與對應(yīng)信息進行比較，在從第二幀提取的第二特征量的時刻，確定直至哪個示教點的作業(yè)內(nèi)容為止結(jié)束，決定前后規(guī)定時間。

圖15是用于對本實施例2的判定部的處理進行說明的圖。在圖15中，例如，將所選擇的第二特征量的時刻設(shè)為t’，在時刻t’，直至示教點t3的作業(yè)內(nèi)容為止結(jié)束。在該情況下，判定部250c選擇從作業(yè)已結(jié)束的示教點t3到接下來的示教點t4的時間所包含的多個第一特征量。在圖15所示的例子中，判定部250c對t’－α～t’+β所包含的時刻的第一特征量進行判定。在此，α對應(yīng)從t3減去t’而得的時間。β對應(yīng)從t4減去t’而得的時間。

判定部250c計算第二特征量以及多個第一特征量之間的異常值。例如，判定部250c計算第二特征量的矢量與第一特征量的矢量之間的距離作為異常值。判定部250c將多個異常值中的最小的異常值判定為所選擇的第二特征量的異常值。判定部250c對于其他第二特征量也反復(fù)執(zhí)行上述處理，由此計算各第二特征量的異常值。

接下來，對本實施例2的異常檢測裝置200的處理步驟的一個例子進行說明。圖16是表示本實施例2的異常檢測裝置的處理步驟的流程圖。如圖16所示，異常檢測裝置200的通信控制部250a取得第一動畫數(shù)據(jù)240a以及第二動畫數(shù)據(jù)240b(步驟s201)。異常檢測裝置200的判定部250c對開始比較的時刻t進行計算(步驟s202)。例如，在步驟s202中，判定部250c計算第一動畫數(shù)據(jù)240a或者第二動畫數(shù)據(jù)240b所包含的幀中的最初的幀的時刻作為開始比較的時刻t。

判定部250c通過在時刻t上加上偏移量來更新時刻t(步驟s203)。例如，將偏移量的初始值設(shè)為0。判定部250c取得對應(yīng)時刻t的第二幀(步驟s204)。判定部250c以示教點的通過狀況為基礎(chǔ)來確定α以及β(步驟s205)。

判定部250c對時刻t－α～時刻t+β的各第一幀、與時刻t的第二幀進行比較來計算多個異常值(步驟s206)。雖在圖16中省略說明，但在步驟s206中，判定部250c對第一幀的第一特征量與第二幀的第二特征量進行比較來計算異常值。

判定部250c采用計算出的多個異常值中的最小的異常值(步驟s207)。判定部250c保持成為最小的異常值的第一幀的時刻tnew(步驟s208)。例如，在步驟s208中，在成為最小的異常值的第一幀與第二幀的組為時刻t1的第一幀與時刻t1’的第二幀的組的情況下，判定部250c將時刻t1設(shè)定為時刻tnew。

判定部250c將時刻t與時刻tnew的差分設(shè)定為偏移量(步驟s209)。判定部250c對是否結(jié)束處理進行判定(步驟s210)。在不結(jié)束處理的情況下(步驟s210：否)，進入步驟s203。在結(jié)束處理的情況下(步驟s210：是)，結(jié)束機械手5的作業(yè)處理。

接下來，對本實施例2的異常檢測裝置200的效果進行說明。異常檢測裝置200在計算第二特征量的異常值的情況下，以示教點的通過狀況為基礎(chǔ)，確定與第二特征量相比較的第一特征量的時刻。由此，能夠縮減計算第一特征量與第二特征量之間的異常值的該第一特征量的數(shù)量，從而能夠高效地計算異常值。

接下來，對執(zhí)行實現(xiàn)與上述實施例所示的異常檢測裝置100、200同一功能的異常檢測程序的計算機的一個例子進行說明。圖17是表示執(zhí)行異常檢測程序的計算機的一個例子的圖。

如圖9所示，計算機300具有：執(zhí)行各種運算處理的cpu301、接受來自用戶的數(shù)據(jù)的輸入的輸入裝置302、以及顯示器303。另外，計算機300具有：從存儲介質(zhì)讀取程序等的讀取裝置304、和經(jīng)由網(wǎng)絡(luò)而在與其他計算機之間進行數(shù)據(jù)的授受的接口裝置305。另外，計算機300具有：臨時存儲各種信息的ram306、和硬盤裝置307。而且，各裝置301～307與總線308連接。

硬盤裝置307將特征量提取程序307a和判定程序307b讀出并向ram306展開。特征量提取程序307a作為特征量提取工序306a發(fā)揮功能。判定程序307b作為判定工序306b發(fā)揮功能。

應(yīng)予說明，特征量提取程序307a和判定程序307b也可以不必從最初便存儲于硬盤裝置307。例如，可以使各程序存儲于向計算機300插入的軟盤(fd)、cd－rom、dvd光盤、光磁盤、ic卡等“便攜式物理介質(zhì)”。而且，計算機300也可以讀出并執(zhí)行特征量提取程序307a和判定程序307b。

符號說明

100、200…異常檢測裝置；150b、250b…特征量提取部；150c、250c…判定部。