本發(fā)明涉及行為分析，尤其涉及一種交互任務(wù)狀態(tài)確定方法、系統(tǒng)及電子設(shè)備。

背景技術(shù)：

1、在汽車制造業(yè)這一追求極致自動(dòng)化與精密化的領(lǐng)域，生產(chǎn)工序的監(jiān)控與管理直接關(guān)聯(lián)到產(chǎn)品質(zhì)量的穩(wěn)定性、生產(chǎn)效率的提升以及整體運(yùn)營效益的優(yōu)化，而傳統(tǒng)的人工監(jiān)測方式因其高昂的成本、固有的易錯(cuò)性以及難以克服的低效率問題，已逐漸無法滿足現(xiàn)代汽車生產(chǎn)線對于高效、精準(zhǔn)監(jiān)測的迫切需求，利用先進(jìn)的計(jì)算機(jī)視覺技術(shù)取代人工監(jiān)測，實(shí)現(xiàn)生產(chǎn)工序的自動(dòng)化、智能化監(jiān)測，成為了推動(dòng)行業(yè)轉(zhuǎn)型升級的重要驅(qū)動(dòng)力。

2、其中，計(jì)算機(jī)視覺算法憑借其強(qiáng)大的圖像處理能力，在生產(chǎn)工序監(jiān)測中得到了廣泛應(yīng)用，特別是在對象間交互任務(wù)的空間位置識別與狀態(tài)判斷方面展現(xiàn)出卓越的性能，通過實(shí)時(shí)捕捉生產(chǎn)線上的部件或工具圖像，結(jié)合先進(jìn)的圖像處理、特征提取與模式識別技術(shù)，這些算法能夠?qū)崿F(xiàn)對生產(chǎn)工序中的交互任務(wù)進(jìn)行精確分析與判斷。

3、但是，復(fù)雜的交互任務(wù)往往并非僅限于直接的物理接觸或位置變化，還包括了大量的獨(dú)立行為，如工件的等待、運(yùn)輸?shù)臅和Ｒ约稗D(zhuǎn)運(yùn)過程中的獨(dú)立移動(dòng)等。這些獨(dú)立行為由于缺乏明顯的空間位置變化特征，使得基于空間位置判斷的現(xiàn)有監(jiān)測算法難以準(zhǔn)確捕捉并解析其中的非直接交互信息，從而在對該類交互任務(wù)是否完成的判定上，現(xiàn)有檢測算法表現(xiàn)出了較低的準(zhǔn)確率，無法為生產(chǎn)提供可靠的指導(dǎo)依據(jù)。

技術(shù)實(shí)現(xiàn)思路

1、為了對披露的實(shí)施例的一些方面有基本的理解，下面給出了簡單的概括。所述概括不是泛泛評述，也不是要確定關(guān)鍵/重要組成元素或描繪這些實(shí)施例的保護(hù)范圍，而是作為后面的詳細(xì)說明的序言。

2、鑒于以上所述現(xiàn)有技術(shù)的缺點(diǎn)，本技術(shù)公開了一種交互任務(wù)狀態(tài)確定方法、系統(tǒng)及電子設(shè)備，以提高交互任務(wù)狀態(tài)的判斷準(zhǔn)確性。

3、本技術(shù)公開了一種交互任務(wù)狀態(tài)確定方法，包括：獲取交互作業(yè)節(jié)點(diǎn)對應(yīng)的作業(yè)圖像，其中，所述交互作業(yè)節(jié)點(diǎn)通過將交互任務(wù)按照交互類型進(jìn)行拆分得到，所述作業(yè)圖像包括多個(gè)作業(yè)對象分別對應(yīng)的圖像區(qū)域；若所述交互作業(yè)節(jié)點(diǎn)對應(yīng)的交互類型包括交互行為，則獲取各所述圖像區(qū)域分別對應(yīng)的區(qū)域面積，并計(jì)算各所述區(qū)域面積之間的面積交并比，以根據(jù)所述面積交并比確定所述交互作業(yè)節(jié)點(diǎn)對應(yīng)的節(jié)點(diǎn)狀態(tài)；若所述交互作業(yè)節(jié)點(diǎn)對應(yīng)的交互類型包括獨(dú)立行為，則對目標(biāo)對象對應(yīng)的圖像區(qū)域進(jìn)行關(guān)鍵點(diǎn)識別，得到對象關(guān)鍵點(diǎn)，并根據(jù)所述對象關(guān)鍵點(diǎn)對應(yīng)的關(guān)鍵點(diǎn)坐標(biāo)進(jìn)行特征提取，得到對象特征向量，以根據(jù)所述對象特征向量確定所述交互作業(yè)節(jié)點(diǎn)對應(yīng)的節(jié)點(diǎn)狀態(tài)，其中，所述目標(biāo)對象包括至少一部分作業(yè)對象；根據(jù)所述交互任務(wù)中各交互作業(yè)節(jié)點(diǎn)對應(yīng)的節(jié)點(diǎn)狀態(tài)確定所述交互任務(wù)對應(yīng)的任務(wù)狀態(tài)。

4、于本技術(shù)一實(shí)施例中，所述作業(yè)對象包括人體對象、工件對象、工作臺對象中的至少一部分，所述方法還包括以下至少一種：若所述節(jié)點(diǎn)類型包括交互行為，且所述工件對象對應(yīng)的圖像區(qū)域位于所述工作臺對象對應(yīng)的圖像區(qū)域之外，則將所述交互作業(yè)節(jié)點(diǎn)對應(yīng)的節(jié)點(diǎn)狀態(tài)確定為未完成狀態(tài)，其中，所述工作臺對象用于承載所述工件對象；若所述節(jié)點(diǎn)類型包括交互行為，且若所述人體對象對應(yīng)的對象關(guān)鍵點(diǎn)位于所述工件對象對應(yīng)的圖像區(qū)域之外，則將所述交互作業(yè)節(jié)點(diǎn)對應(yīng)的節(jié)點(diǎn)狀態(tài)確定為未完成狀態(tài)；若所述工件對象對應(yīng)的物體類別不屬于預(yù)設(shè)類別，則將所述交互作業(yè)節(jié)點(diǎn)對應(yīng)的節(jié)點(diǎn)狀態(tài)確定為未完成狀態(tài)，其中，所述物體類別通過對所述作業(yè)圖像中的工件對象進(jìn)行物體識別得到。

5、于本技術(shù)一實(shí)施例中，對目標(biāo)對象對應(yīng)的圖像區(qū)域進(jìn)行關(guān)鍵點(diǎn)識別，得到對象關(guān)鍵點(diǎn)，包括：若所述目標(biāo)對象為人體對象，則獲取多個(gè)第一人體圖像；標(biāo)注所述第一人體圖像中的人體關(guān)鍵點(diǎn)，得到樣本標(biāo)簽，其中，所述人體關(guān)鍵點(diǎn)包括手肘區(qū)域、手腕區(qū)域和肩部區(qū)域中的至少一種；從所述第一人體圖像中確定存在人體關(guān)鍵點(diǎn)的遮擋區(qū)域，并以預(yù)設(shè)的待替換圖像替換所述第一人體圖像中的至少一部分遮擋區(qū)域，得到第二人體圖像，其中，所述待替換圖像中不存在人體關(guān)鍵點(diǎn)；將所述第一人體圖像和/或所述第二人體圖像作為模型訓(xùn)練樣本，并根據(jù)帶有樣本標(biāo)簽的模型訓(xùn)練樣本進(jìn)行模型訓(xùn)練，得到姿態(tài)識別模型，其中，所述姿態(tài)識別模型用于對目標(biāo)對象對應(yīng)的圖像區(qū)域進(jìn)行關(guān)鍵點(diǎn)識別，得到對象關(guān)鍵點(diǎn)。

6、于本技術(shù)一實(shí)施例中，根據(jù)帶有樣本標(biāo)簽的模型訓(xùn)練樣本進(jìn)行模型訓(xùn)練，得到姿態(tài)識別模型，包括：獲取基礎(chǔ)訓(xùn)練模型，其中，所述基礎(chǔ)訓(xùn)練模型包括scanet網(wǎng)絡(luò)模型，且所述scanet網(wǎng)絡(luò)模型由scaneck模塊、scablock模塊、sandglass模塊和coordattention模塊組成；根據(jù)第一真實(shí)熱圖和第一預(yù)測熱圖生成第一損失函數(shù)，其中，根據(jù)各所述模型訓(xùn)練樣本對人體關(guān)鍵點(diǎn)進(jìn)行標(biāo)注，得到各人體關(guān)鍵點(diǎn)分別對應(yīng)的第一真實(shí)熱圖，并通過所述scanet網(wǎng)絡(luò)模型基于人體關(guān)鍵點(diǎn)對所述模型訓(xùn)練樣本進(jìn)行目標(biāo)檢測，得到各人體關(guān)鍵點(diǎn)分別對應(yīng)的第一預(yù)測熱圖；獲取各所述人體關(guān)鍵點(diǎn)之間的關(guān)聯(lián)關(guān)系，并將各所述人體關(guān)鍵點(diǎn)按照所述關(guān)聯(lián)關(guān)系劃分為多個(gè)關(guān)鍵點(diǎn)組，其中，處于同一關(guān)鍵點(diǎn)組且具有關(guān)聯(lián)關(guān)系的兩個(gè)人體關(guān)鍵點(diǎn)互為關(guān)聯(lián)關(guān)鍵點(diǎn)；根據(jù)第二真實(shí)熱圖和第二預(yù)測熱圖生成第二損失函數(shù)，其中，根據(jù)各所述模型訓(xùn)練樣本對人體關(guān)鍵點(diǎn)及所述人體關(guān)鍵點(diǎn)對應(yīng)的關(guān)聯(lián)關(guān)鍵點(diǎn)進(jìn)行標(biāo)注，得到各人體關(guān)鍵點(diǎn)分別對應(yīng)的第二真實(shí)熱圖，并通過所述scanet網(wǎng)絡(luò)模型基于人體關(guān)鍵點(diǎn)及所述人體關(guān)鍵點(diǎn)對應(yīng)的關(guān)聯(lián)關(guān)鍵點(diǎn)對所述模型訓(xùn)練樣本進(jìn)行目標(biāo)檢測，得到各人體關(guān)鍵點(diǎn)分別對應(yīng)的第二預(yù)測熱圖；根據(jù)所述第一損失函數(shù)和所述第二損失函數(shù)生成所述scanet網(wǎng)絡(luò)模型對應(yīng)的模型損失函數(shù)，并根據(jù)帶有樣本標(biāo)簽的模型訓(xùn)練樣本對所述scanet網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，將訓(xùn)練完成的scanet網(wǎng)絡(luò)模型作為姿態(tài)識別模型。

7、于本技術(shù)一實(shí)施例中，所述姿態(tài)識別模型通過以下方式進(jìn)行關(guān)鍵點(diǎn)識別：將所述目標(biāo)對象對應(yīng)的圖像區(qū)域作為特征圖輸入所述姿態(tài)識別模型；通過多個(gè)scaneck模塊對所述特征圖的通道數(shù)和/或空間分辨率進(jìn)行調(diào)整，以對所述特征圖進(jìn)行特征提??；通過多個(gè)scablock模塊對所述特征圖進(jìn)行特征提取，其中，各所述scablock模塊分別對應(yīng)的分辨率不同，且各所述scablock模塊分別對應(yīng)的通道數(shù)不同；通過sandglass模塊調(diào)整所述姿態(tài)識別模型中的縮減層位置和擴(kuò)展層位置；通過coordattention模塊輸出帶有注意力權(quán)重的特征圖。

8、于本技術(shù)一實(shí)施例中，根據(jù)所述對象關(guān)鍵點(diǎn)對應(yīng)的關(guān)鍵點(diǎn)坐標(biāo)進(jìn)行特征提取，得到對象特征向量，包括：根據(jù)各所述對象關(guān)鍵點(diǎn)分別對應(yīng)的關(guān)鍵點(diǎn)坐標(biāo)對具有關(guān)聯(lián)關(guān)系的對象關(guān)鍵點(diǎn)之間進(jìn)行距離計(jì)算，得到關(guān)聯(lián)距離向量；根據(jù)各所述對象關(guān)鍵點(diǎn)之間的關(guān)聯(lián)關(guān)系建立關(guān)鍵點(diǎn)連線，并根據(jù)各所述對象關(guān)鍵點(diǎn)分別對應(yīng)的關(guān)鍵點(diǎn)坐標(biāo)進(jìn)行計(jì)算，得到各所述關(guān)鍵點(diǎn)連線之間的關(guān)聯(lián)夾角向量；根據(jù)所述關(guān)聯(lián)距離向量和/或所述關(guān)聯(lián)夾角向量生成對象特征向量。

9、于本技術(shù)一實(shí)施例中，獲取所述交互作業(yè)節(jié)點(diǎn)對應(yīng)的作業(yè)圖像，包括：響應(yīng)于執(zhí)行所述交互作業(yè)節(jié)點(diǎn)，對各所述作業(yè)對象進(jìn)行圖像采集，得到作業(yè)圖像流，其中，所述作業(yè)圖像流包括多個(gè)圖像幀；將任一圖像幀確定為作業(yè)圖像，對所述作業(yè)圖像中的各所述作業(yè)對象進(jìn)行目標(biāo)檢測，并將目標(biāo)檢測得到的roi區(qū)域作為所述作業(yè)對象對應(yīng)的圖像區(qū)域。

10、于本技術(shù)一實(shí)施例中，所述方法還包括：獲取當(dāng)前作業(yè)流程，其中，所述當(dāng)前作業(yè)流程由按照預(yù)設(shè)執(zhí)行順序排列的多個(gè)交互任務(wù)組成；將各所述交互任務(wù)分別拆分為任務(wù)開始節(jié)點(diǎn)和任務(wù)結(jié)束節(jié)點(diǎn)，并將所述任務(wù)開始節(jié)點(diǎn)和所述任務(wù)結(jié)束節(jié)點(diǎn)分別作為一交互作業(yè)節(jié)點(diǎn)；根據(jù)所述預(yù)設(shè)執(zhí)行順序?qū)⒌谝豁樜坏慕换プ鳂I(yè)節(jié)點(diǎn)確定為目標(biāo)節(jié)點(diǎn)；響應(yīng)于目標(biāo)節(jié)點(diǎn)，獲取所述目標(biāo)節(jié)點(diǎn)對應(yīng)的節(jié)點(diǎn)狀態(tài)；若所述目標(biāo)節(jié)點(diǎn)對應(yīng)的節(jié)點(diǎn)狀態(tài)為完成狀態(tài)，則根據(jù)所述預(yù)設(shè)執(zhí)行順序?qū)⑺瞿繕?biāo)節(jié)點(diǎn)之后一個(gè)順位的交互作業(yè)節(jié)點(diǎn)確定為新的目標(biāo)節(jié)點(diǎn)；根據(jù)各所述交互作業(yè)節(jié)點(diǎn)對應(yīng)的節(jié)點(diǎn)狀態(tài)生成所述當(dāng)前作業(yè)流程對應(yīng)的流程執(zhí)行狀態(tài)。

11、本技術(shù)公開了一種交互任務(wù)狀態(tài)確定系統(tǒng)，包括：獲取模塊，用于獲取交互作業(yè)節(jié)點(diǎn)對應(yīng)的作業(yè)圖像，其中，所述交互作業(yè)節(jié)點(diǎn)通過將交互任務(wù)按照交互類型進(jìn)行拆分得到，所述作業(yè)圖像包括多個(gè)作業(yè)對象分別對應(yīng)的圖像區(qū)域；第一確定模塊，用于若所述交互作業(yè)節(jié)點(diǎn)對應(yīng)的交互類型包括交互行為，則獲取各所述圖像區(qū)域分別對應(yīng)的區(qū)域面積，并計(jì)算各所述區(qū)域面積之間的面積交并比，以根據(jù)所述面積交并比確定所述交互作業(yè)節(jié)點(diǎn)對應(yīng)的節(jié)點(diǎn)狀態(tài)；第二確定模塊，用于若所述交互作業(yè)節(jié)點(diǎn)對應(yīng)的交互類型包括獨(dú)立行為，則對目標(biāo)對象對應(yīng)的圖像區(qū)域進(jìn)行關(guān)鍵點(diǎn)識別，得到對象關(guān)鍵點(diǎn)，并根據(jù)所述對象關(guān)鍵點(diǎn)對應(yīng)的關(guān)鍵點(diǎn)坐標(biāo)進(jìn)行特征提取，得到對象特征向量，以根據(jù)所述對象特征向量確定所述交互作業(yè)節(jié)點(diǎn)對應(yīng)的節(jié)點(diǎn)狀態(tài)，其中，所述目標(biāo)對象包括至少一部分作業(yè)對象；第三確定模塊，用于根據(jù)所述交互任務(wù)中各交互作業(yè)節(jié)點(diǎn)對應(yīng)的節(jié)點(diǎn)狀態(tài)確定所述交互任務(wù)對應(yīng)的任務(wù)狀態(tài)。

12、本技術(shù)公開了一種電子設(shè)備，包括：處理器及存儲(chǔ)器；所述存儲(chǔ)器用于存儲(chǔ)計(jì)算機(jī)程序，所述處理器用于執(zhí)行所述存儲(chǔ)器存儲(chǔ)的計(jì)算機(jī)程序，以使所述電子設(shè)備執(zhí)行上述的方法。

13、本技術(shù)的有益效果：

14、通過將交互任務(wù)拆分為交互行為或獨(dú)立行為對應(yīng)的交互作業(yè)節(jié)點(diǎn)，并獲取交互作業(yè)節(jié)點(diǎn)對應(yīng)的作業(yè)圖像，根據(jù)作業(yè)對象在圖像區(qū)域之間的面積交并比確定交互行為對應(yīng)的節(jié)點(diǎn)狀態(tài)，根據(jù)作業(yè)對象的關(guān)鍵點(diǎn)確定對象特征向量，以根據(jù)對象特征向量確定獨(dú)立行為對應(yīng)的節(jié)點(diǎn)狀態(tài)。這樣，相較于將交互任務(wù)作為一整個(gè)交互行為設(shè)定視覺算法，將交互任務(wù)按照交互類型劃分為交互行為或獨(dú)立行為對應(yīng)的交互作業(yè)節(jié)點(diǎn)，分別判斷各交互作業(yè)節(jié)點(diǎn)的節(jié)點(diǎn)狀態(tài)，再判斷節(jié)點(diǎn)狀態(tài)時(shí)根據(jù)交互類型聚焦于特定行為或?qū)ο鬆顟B(tài)，使得狀態(tài)判斷更加細(xì)致精確，進(jìn)而根據(jù)交互任務(wù)的所有節(jié)點(diǎn)狀態(tài)精準(zhǔn)判斷交互任務(wù)是否完成，提高了任務(wù)狀態(tài)監(jiān)測的準(zhǔn)確性。