本發(fā)明涉及一種工具正確取件的檢測方法及基于此方法的考核臺，屬于工業(yè)控制監(jiān)控技術領域。
背景技術：
工業(yè)領域強調工藝流程，一般會指導工人按一定的工藝流程完成某些工作，這些工作對于工具的使用次序及流程有嚴格的操作規(guī)程定義。之前，對于工具的使用次序及流程都是通過人眼進行監(jiān)督，記錄其操作情況并統(tǒng)計正確取件。顯然，這種方式會帶來額外的人力資源投入；而且，人眼監(jiān)督很有可能出現(xiàn)錯判和漏判；且不能實時記錄和回放，便無法考量人眼監(jiān)督的準確率，會影響判斷正確取件情況的考核公證。
在上述技術的基礎上，現(xiàn)有很多工藝開始通過佩戴專門的設備，如頭盔、手套等輔助電子設備，或者通過掃描的方式來獲取工人的取件數(shù)據(jù)，再經過網絡來上傳數(shù)據(jù)，分析上傳的數(shù)據(jù)，統(tǒng)計最終的正確取件與否的結果。使用這種方式來對工具正確取件進行分析與評判所需的硬件較復雜，相應帶來硬件成本高、操作繁瑣的特性，不利于工程實現(xiàn)。
技術實現(xiàn)要素：
本發(fā)明的目的是提供一種工具正確取件的檢測方法，用以解決現(xiàn)有工藝中對工具的正確取件情況進行分析與判斷所需的硬件復雜、操作繁瑣的問題；本發(fā)明還提供一種基于工具正確取件的檢測方法的考核臺，用以解決通過人工考核來判斷工人正確取件的工作量大的問題。
為解決上述技術問題，本發(fā)明的技術方案為：
本發(fā)明提供一種工具正確取件的檢測方法，包括四個方法方案：
方法方案一，包括如下步驟：
1)初始采集步驟：采集平臺的圖像，建立初始的數(shù)據(jù)；所述平臺繪制有至少兩個區(qū)域，每個區(qū)域用于放置對應的一個工具；所述數(shù)據(jù)用于表示所述各區(qū)域是否放置工具，以及對應區(qū)域放置何種工具的信息，通過將各區(qū)域圖像與區(qū)域圖像模板進行匹配得到所述數(shù)據(jù)，所述區(qū)域圖像模板包括區(qū)域未放置工具的模板、以及區(qū)域放置不同形態(tài)下的不同工具的各種模板；
2)取件采集步驟或者還件采集步驟：
所述取件采集步驟：采集當前取件圖像，建立取件的數(shù)據(jù)，將取件的數(shù)據(jù)與所述初始的數(shù)據(jù)進行比對，確定當前被取用的工具，將當前取用的工具與當前工序所需要的工具比對，檢測工具取用是否正確；
所述還件采集步驟：采集當前還件圖像，建立還件的數(shù)據(jù)，將還件的數(shù)據(jù)與所述初始的數(shù)據(jù)進行比對，確定當前被放回的工具，將當前放回的工具與當前工序所要求放回的工具比對，檢測工具放回是否正確。
方法方案二，在方法方案一的基礎上，所述數(shù)據(jù)的形式為一個數(shù)據(jù)幀；平臺放置工具的多少和工具位置信息通過數(shù)據(jù)幀的長度和對應字節(jié)來表示。
方法方案三，在方法方案一的基礎上，通過比對區(qū)域的像素灰度來判斷各區(qū)域圖像與區(qū)域圖像模板是否匹配，即比對根據(jù)圖像的像素灰度占比情況生成的特征向量的歐式距離。
方法方案四，在方法方案一的基礎上，所述區(qū)域放置的不同形態(tài)包括正面、側面、背面。
本發(fā)明還提供一種基于工具正確取件的檢測方法的考核臺，包括如下考核臺方案：
考核臺方案一，包括考核臺體，考核臺體包括考核臺面，所述考核臺面上分布有工具分區(qū)，還安裝有考核PC和用于拍攝所述工具分區(qū)的攝像頭，所述考核PC與攝像頭連接。
考核臺方案二，在考核臺方案一的基礎上，所述考核臺面上固定有一個立柱，所述攝像頭固定在所述立柱上。
考核臺方案三，在考核臺方案二的基礎上，所述立柱上還固定有補光燈。
考核臺方案四，在考核臺方案一的基礎上，所述考核臺還包括安裝在所述考核臺面上的教師控制開關。
考核臺方案五，在考核臺方案一的基礎上，所述考核臺面下方還設有學員答題控制開關，所述學員答題控制開關為腳踏開關。
本發(fā)明的有益效果是：
本發(fā)明的工具正確取件的檢測方法，通過采集平臺的圖像，建立將各區(qū)域圖像與區(qū)域圖像模板進行匹配得到初始的數(shù)據(jù)；在進行取件操作時，采集當前取件圖像，建立取件的數(shù)據(jù)并與初始的數(shù)據(jù)進行比對，確定當前被取用的工具，將當前取用的工具與當前工序所需要的工具比對，檢測工具取用是否正確；在進行還件操作時，采集當前還件圖像，建立還件的數(shù)據(jù)并與初始的數(shù)據(jù)進行比對，確定當前被放回的工具，將當前放回的工具與當前工序所要求放回的工具比對，檢測工具放回是否正確。
通過對區(qū)域圖像進行識別比對，并自動記錄取件或還件情況，極大地加快識別的工作效率，快速地對工具正確取件進行檢測與評判，能夠解決現(xiàn)有工藝中對工具的正確取件情況進行分析與判斷所需的硬件復雜、操作繁瑣的問題。
另外，本發(fā)明的基于工具正確取件的檢測方法的考核臺，該考核臺能夠評判在整個工藝流程中，工人的取、放件正確與否，自動化程度高，能夠解決通過人工考核來判斷工人正確取件的工作量大的問題。
附圖說明
圖1是考核臺結構圖。
具體實施方式
下面結合附圖，對本發(fā)明進行進一步地詳細說明。
本發(fā)明的工具正確取件的檢測方法的實施例：
采用魚眼鏡頭來采集平臺的圖像，并將拍攝的畫面?zhèn)骰亟o計算機。魚眼鏡頭能夠增加視角范圍，減少攝像頭的數(shù)量與投入。但是由于魚眼鏡頭拍攝的畫像存在變形(桶形畸變)，會使畫像除了畫面中心的景物保持不變，周圍本應水平或者垂直的景物都發(fā)生了變形。在畫面?zhèn)骰亟o計算機后，需要先還原成真實的圖像，計算機使用校正算法來校正圖像。在拍攝時，鏡頭是固定的，畫面的有效區(qū)域也是固定的，通過人工設置有效區(qū)域，校正程序便獲得了校正參數(shù)，即鏡頭的圓心和有效區(qū)域的半徑。根據(jù)校正參數(shù)，利用經緯映射算法將桶形畸變的圖像映射到平面上，再通過雙線插值算法補齊像素還原真實的圖像。通過此校正算法來還原圖像，實現(xiàn)起來簡單方便，算法效率高，同時還具有畫面不延遲的特點。
用戶準備好工具桌(即平臺)，將工具放置在工具桌上的，若一些工藝流程中使用的工具較多，將工具擺放到面積較大的桌面上或者放置在幾張桌面上。桌面上繪制有用于放置相應工具的至少兩個區(qū)域，每個區(qū)域按要求放置有對應的工具。
采集圖像，并建立初始的關鍵幀。初始關鍵幀的長度表示區(qū)域的數(shù)量，初始關鍵幀的字節(jié)表示對應區(qū)域放置的是哪種工具。
工具的識別通過給定的區(qū)域的灰度來識別。由于區(qū)域是固定的，同一種工具的顏色和大小也是固定的，桌面的顏色是固定的且與工具的顏色不同，只是放置的方式存在一定的差異，但是也是有限的，比如正面放置、側面放置、背面放置。由于顏色是固定的也就是說灰度是固定的，大小是固定就說明同一種放置方式下其在矩形區(qū)域中占據(jù)的面積比率是固定的。而放置方式是可枚舉的，那么只用提供幾個對比模板即可。
將工具的識別問題轉換成模板T與區(qū)域S的匹配問題。其中T是由N×N的像素矩陣構成，矩形區(qū)域S由M×M的像素矩陣構成。模板T是根據(jù)區(qū)域預先設置的，所以N≈M，至少是N∽M。則工具和區(qū)域所構成的圖像，可以根據(jù)像素灰度值從小到大排序成一個向量，然后統(tǒng)計圖像中每個灰度值的數(shù)量再除以所有的像素數(shù)量，也就是這種灰度在區(qū)域圍成的圖像中的比率，從而形成由一組像素灰度值構成的一個向量，由這個向量表示這個圖像的特征。那么對比模板T和區(qū)域S，就可以對比兩個向量的歐式距離即可。采用這種方式可以在O(n)時間復雜度完成，其中n為灰度值的個數(shù)。由于放置方式可能有幾個，所以模板T可能有幾個，平均下來log2n次可以比較完畢，其中n為模板的個數(shù)。
在進行取件操作時，將拍攝到的當前取件圖像的信息與初始關鍵幀比對，當拍攝到的圖像為工具被取走的情況，即矩形區(qū)域內的像素灰度與桌面底色灰度一致，則說明工具被取走。就記錄這個圖像生成取件關鍵幀，然后分析這個關鍵幀里的哪些矩形區(qū)域的像素灰度與桌面底色灰度一致，就說明哪些工具被取走了，然后對比該工序要求取走的工具是否與本次取走的工具是否相同，或有哪些不同，并記錄本次取件事件。
在進行還件操作時，將拍攝到的當前還件圖像的信息再和初始關鍵幀對比，直到發(fā)現(xiàn)有工具被放回的情況，即矩形區(qū)域內的像素灰度發(fā)生改變，不再與桌面底色灰度一致，而是其它灰度。此時，需要對比該灰度是否和工序要求放回的工具的像素灰度一致，如果一致說明放回正確，否則錯誤并提示工人要求其放置正確。程序會記錄本次放回事件，并生成放回關鍵幀。
其中，若當前圖像中有桌面區(qū)域被遮蔽，即無法正確地分割的區(qū)域的情況時，說明工人正在取件或者換件，則繼續(xù)一直拍攝當前桌面，直至可以正確地分割區(qū)域。
在本實施例中，通過魚眼鏡頭頭實時拍攝桌面的圖像，并利用計算機對通過像素灰度對圖像進行識別，從而判斷工具是否取走或放回。除了利用圖像灰度，還也可通過其他圖像屬性來實現(xiàn)對拍攝的圖像中的工具進行識別。
在本實施例中，采用魚眼鏡頭，以實現(xiàn)大范圍的拍攝，但是采用魚眼鏡頭拍攝的畫面存在變形，在對圖像進行比對以前，需要通過校正算法對圖像進行還原。作為其他實施方式，也可采用多個普通攝像頭來替換一個魚眼鏡頭。
在本實施例中，對魚眼鏡頭拍攝的畸形變形圖像，根據(jù)校正參數(shù)，利用經緯映射算法將桶形畸變的圖像映射到平面上，再通過雙線插值算法補齊像素還原真實的圖像。作為其他實施方式，可通過其他算法來進行校正圖像，只要實現(xiàn)圖像的還原即可。
在本實施例中，對拍攝的圖像信息進行判別是通過幀的長度和對應字節(jié)來表征區(qū)域內放置工具的多少和工具位置信息，以將所有區(qū)域的信息都寫入一幀數(shù)據(jù)中以方便的實現(xiàn)初始幀、取件幀之間的比對。作為其他實施方式，可通過其他的數(shù)據(jù)表示形式來替代上述數(shù)據(jù)幀的表示形式。
本發(fā)明的基于工具正確取件的檢測方法的考核臺實施例：
該考核臺能夠評判在整個工藝流程中，工人的取、放件正確與否，而具體判斷方法則是通過上述工具正確取件的檢測方法實現(xiàn)的。
如圖1所示為考核臺結構圖。該考核臺包括考核臺體和考核臺面，考核臺面上設置有紅外補光燈1、紅外攝像頭2、考核PC3、教師控制開關4、學員答題控制開關5、工具分區(qū)6和24V電源7，整體構成考核臺。這些部件均可安裝在任意的普通工作臺上。通過部件化可以方便拆分，調整位置和布局便于在任意的普通工作臺上安裝，增強了產品的適用性。具體的：
工具分區(qū)6是人工繪制在桌面的分區(qū)，每個分區(qū)放置不同的考核工具。該區(qū)域由紅外攝像頭2監(jiān)視，并由考核PC中的程序識別。該分區(qū)由與桌面底色差異很大的線條構成分區(qū)，分區(qū)內放置工具。工具分區(qū)6繪制在紅外攝像頭2可監(jiān)視的位置為宜，具體位置可根據(jù)實際情況調整。
紅外補光燈1與紅外攝像頭2通過內部線路連接，紅外補光燈1與紅外攝像頭2作為一個整體通過USB與考核PC連接，考核PC可以獲取攝像頭的監(jiān)視影像數(shù)據(jù)，還可以控制紅外補光燈1和紅外攝像頭2共同完成拍攝操作。從紅外攝像頭2到考核PC之間的數(shù)據(jù)延時小于200ms。
教師控制開關4通過USB與考核PC連接，負責控制考試的開始。學員答題控制開關5通過USB與考核PC連接，負責控制答題的結束。
考核PC控制紅外補光燈1與紅外攝像頭2，并接收來自紅外攝像頭2的影像數(shù)據(jù)；而且接收來自教師控制開關4和學員答題控制開關5的信號，用來表示開始和結束考試程序?？己薖C是一臺普通的臺式電腦，也可以是手提電腦，只要是能夠提供USB接口的運算終端設備均可。
24V電源7負責給紅外補光燈1與紅外攝像頭2提供外部供電。
具體操作流程如下：
考核人員通過教師控制開關4開始考核，然后，考核PC啟動考試程序；考核PC控制打開紅外攝像頭2監(jiān)視工具分區(qū)6；考核過程中，如果工具分區(qū)中的工具被取走或被放回，紅外攝像頭2對該關鍵場景進行拍照留底；而且，考核中考核PC通過USB信號控制紅外補光燈對紅外攝像頭拍攝靜態(tài)畫面時進行補光；當所有考核流程結束后，由工人通過學員答題控制開關5表示考核結束；考核PC收到答題結束指令后會關閉紅外攝像頭2。
其中，具體的判斷工人取件正確與否是則是通過上述工具正確取件的工具正確取件的檢測方法來實現(xiàn)的，由于對工具正確取件的檢測方法已做詳細介紹，在此不再贅述。