動(dòng)作解析裝置制造方法
【專利摘要】本發(fā)明公開了能夠容易地調(diào)整解析結(jié)果的提示量的動(dòng)作解析裝置。動(dòng)作解析裝置(300)是通過與標(biāo)準(zhǔn)動(dòng)作的比較來進(jìn)行比較對(duì)象動(dòng)作的解析的裝置，包括：動(dòng)作特征提取單元(321)以及動(dòng)作提取單元(322)，判定比較對(duì)象動(dòng)作與標(biāo)準(zhǔn)動(dòng)作的差異程度滿足規(guī)定條件的位置；提示量輸入單元(323)，接受對(duì)滿足規(guī)定條件的位置的提示量的指定；以及動(dòng)作提取度調(diào)整單元(324)，調(diào)整規(guī)定條件，以使?jié)M足規(guī)定條件的位置的數(shù)量為指定了的提示量。
【專利說明】動(dòng)作解析裝置
[0001]本申請(qǐng)是申請(qǐng)日為2010年12月20日、申請(qǐng)?zhí)枮?01080008083.9、發(fā)明名稱為“動(dòng)
作解析裝置以及動(dòng)作解析方法”的發(fā)明專利申請(qǐng)的分案申請(qǐng)。
【技術(shù)領(lǐng)域】
[0002]本發(fā)明涉及通過與標(biāo)準(zhǔn)動(dòng)作的比較來對(duì)比較對(duì)象動(dòng)作進(jìn)行解析的動(dòng)作解析裝置以及動(dòng)作解析方法。
【背景技術(shù)】
[0003]以往提出了通過與標(biāo)準(zhǔn)動(dòng)作的比較來對(duì)比較對(duì)象動(dòng)作進(jìn)行解析的裝置和方法(例如參照非專利文獻(xiàn)I以及非專利文獻(xiàn)2)。
[0004]非專利文獻(xiàn)I中記載的裝置是進(jìn)行使用了在駕駛員的身體各部位上安裝的加速度傳感器的行動(dòng)測量，使用獨(dú)立分量分析和一類SVM(支持向量機(jī))進(jìn)行動(dòng)作解析的裝置。更具體而言，非專利文獻(xiàn)I中記載的裝置從代表性的駕駛動(dòng)作中提取特征量向量(33維)，對(duì)提取的特征量向量集合適用主分量分析，進(jìn)行無相關(guān)化后使用一類SVM。也就是說，非專利文獻(xiàn)I中記載的裝置使用SVM的特征量提取比較對(duì)象動(dòng)作與標(biāo)準(zhǔn)動(dòng)作的差異。
[0005]非專利文獻(xiàn)2中記載的方法是在影像數(shù)據(jù)的立體高次局部自相關(guān)(CHLAC:cubichigher-order local autocorrelation)特征中導(dǎo)入時(shí)間權(quán)重的動(dòng)作評(píng)價(jià)方法。非專利文獻(xiàn)2中記載的方法是導(dǎo)入時(shí)間權(quán)重作為使用了傅立葉級(jí)數(shù)展開的連續(xù)函數(shù)的方法。更具體而言，非專利文獻(xiàn)2中記載的方法為使用外在效標(biāo)(external criterion)對(duì)傅立葉級(jí)數(shù)進(jìn)行最優(yōu)化，在此基礎(chǔ)上，使用得到的時(shí)間權(quán)重計(jì)算影像特征，通過判別分析或者多元回歸分析進(jìn)行動(dòng)作評(píng)價(jià)。另外，非專利文獻(xiàn)2中記載的方法為使用影像特征的時(shí)間權(quán)重，提取標(biāo)準(zhǔn)動(dòng)作與比較對(duì)象動(dòng)作的差異。
[0006]通過使用上述裝置以及方法，能夠提取比較對(duì)象動(dòng)作與標(biāo)準(zhǔn)動(dòng)作的差異，并且提示滿足差異程度超過閾值等規(guī)定條件的位置。由此，用戶能夠高效率地確認(rèn)提示的位置。
[0007]專利文獻(xiàn)1:特開2006-79272號(hào)公報(bào)
[0008]專利文獻(xiàn)2:特開2007-334756號(hào)公報(bào)
[0009]非專利文獻(xiàn)1:多田昌裕等五人「無線加速度七用P &運(yùn)転者行勤計(jì)測(二基^ <模範(fàn)運(yùn)転勤作々^ Q逸脫検出」、電子情報(bào)通信學(xué)會(huì)技術(shù)研究報(bào)告、Vol.107、N0.114、pp.117-122,2007
[0010]非專利文獻(xiàn)2:森下雄介等三人，「時(shí)間重辦i外的規(guī)準(zhǔn)&用P &勤作評(píng)平価手法」、電子情報(bào)通信學(xué)會(huì)技術(shù)研究報(bào)告、Vol.107, N0.539、pp.47-52,2008
[0011]非專利文獻(xiàn)3:篠原雄介、大津展之、「74 m 一重辦V --用亡顏畫像如b O表情認(rèn)識(shí)」、電子情報(bào)通信學(xué)會(huì)研究報(bào)告、Vol.103, N0.737, pp.79-84,2004
[0012]然而，根據(jù)作為解析對(duì)象的動(dòng)作的種類或時(shí)間長度、確認(rèn)解析結(jié)果的用戶的狀況或者解析要求的精度等，適當(dāng)?shù)慕馕鼋Y(jié)果的提示量不同。在提示的位置的個(gè)數(shù)或者作為提示對(duì)象的時(shí)間過多的情況下，提示內(nèi)容變得煩雜，確認(rèn)需要花費(fèi)時(shí)間和精力。另一方面，在提示的位置的個(gè)數(shù)或者作為提示對(duì)象的時(shí)間過少的情況下，無法充分得到必需的解析結(jié)果。另外，適當(dāng)?shù)慕馕鼋Y(jié)果的提示量在解析對(duì)象和用戶相同時(shí)，有時(shí)也會(huì)根據(jù)情況而不同。因此，較為理想的是用戶能夠容易地調(diào)整解析結(jié)果的提示量。

【發(fā)明內(nèi)容】

[0013]本發(fā)明的目的在于提供能夠容易地調(diào)整解析結(jié)果的提示量的動(dòng)作解析裝置以及動(dòng)作解析方法。
[0014]本發(fā)明的動(dòng)作解析裝置是通過與標(biāo)準(zhǔn)動(dòng)作的比較來對(duì)比較對(duì)象動(dòng)作進(jìn)行解析的動(dòng)作解析裝置，其包括:動(dòng)作差異提取單元，判定所述比較對(duì)象動(dòng)作與所述標(biāo)準(zhǔn)動(dòng)作的差異程度滿足規(guī)定條件的位置；提示量輸入單元，接受對(duì)滿足所述規(guī)定條件的位置的提示量的指定；以及動(dòng)作提取度調(diào)整單元，調(diào)整所述規(guī)定條件，以使?jié)M足所述規(guī)定條件的位置的量為所述指定的提示量。
[0015]本發(fā)明的動(dòng)作解析方法是通過與標(biāo)準(zhǔn)動(dòng)作的比較來對(duì)比較對(duì)象動(dòng)作進(jìn)行解析的動(dòng)作解析方法，其包括:接受所述解析的結(jié)果的提示量的指定的步驟；判定所述比較對(duì)象動(dòng)作與所述標(biāo)準(zhǔn)動(dòng)作的差異程度滿足規(guī)定條件的位置的步驟；以及在滿足所述規(guī)定條件的位置的量與指定的提示量不同時(shí)調(diào)整所述規(guī)定條件的步驟。
[0016]本發(fā)明的動(dòng)作解析裝置是通過與標(biāo)準(zhǔn)動(dòng)作的比較來進(jìn)行比較對(duì)象動(dòng)作的解析的動(dòng)作解析裝置，其包括:第一權(quán)重提取單元，從作為所述比較對(duì)象動(dòng)作的圖像特征量的數(shù)據(jù)的比較對(duì)象特征量數(shù)據(jù)和作為所述標(biāo)準(zhǔn)動(dòng)作的圖像特征量的數(shù)據(jù)的標(biāo)準(zhǔn)特征量數(shù)據(jù)中，提取第一權(quán)重，該第一權(quán)重對(duì)于所述圖像特征量的時(shí)間分量以及位置分量中的一方即第一分量的每個(gè)值，表示所述比較對(duì)象動(dòng)作與所述標(biāo)準(zhǔn)動(dòng)作的差異大??；加權(quán)特征量提取單元，對(duì)于所述比較對(duì)象特征量數(shù)據(jù)以及所述標(biāo)準(zhǔn)特征量數(shù)據(jù)中的各個(gè)特征量數(shù)據(jù)，分別計(jì)算適用了所述第一權(quán)重的值的所述第一分量的值的積分值；以及第二權(quán)重提取單元，從根據(jù)所述比較對(duì)象特征量數(shù)據(jù)計(jì)算出的所述積分值和根據(jù)所述標(biāo)準(zhǔn)特征量數(shù)據(jù)計(jì)算出的所述積分值中，提取第二權(quán)重，該第二權(quán)重對(duì)于所述圖像特征量的時(shí)間分量以及位置分量中的另一方即第二分量的每個(gè)值，表示所述比較對(duì)象動(dòng)作與所述標(biāo)準(zhǔn)動(dòng)作的差異大小。
[0017]根據(jù)本發(fā)明，能夠容易地調(diào)整解析結(jié)果的提示量。
【專利附圖】

【附圖說明】
[0018]圖1是表示一例本發(fā)明的實(shí)施方式I的動(dòng)作解析系統(tǒng)的結(jié)構(gòu)的系統(tǒng)結(jié)構(gòu)圖。
[0019]圖2是表示一例本實(shí)施方式I的動(dòng)作解析裝置的結(jié)構(gòu)的方框圖。
[0020]圖3是表示一例本實(shí)施方式I的動(dòng)作解析裝置的動(dòng)作的流程圖。
[0021]圖4是表示一例本實(shí)施方式I的動(dòng)作解析裝置中的信息流程的圖。
[0022]圖5是表示一例本實(shí)施方式I中的結(jié)果顯示畫面的圖。
[0023]圖6是表示一例本實(shí)施方式I的變形例I的動(dòng)作解析裝置的動(dòng)作的流程圖。
[0024]圖7是表示一例本實(shí)施方式I的變形例I的動(dòng)作解析裝置中的信息流程的圖。
[0025]圖8是表示一例本發(fā)明的實(shí)施方式2的動(dòng)作解析裝置的結(jié)構(gòu)的方框圖。
[0026]圖9是表示一例本實(shí)施方式2的動(dòng)作解析裝置的動(dòng)作的流程圖。
[0027]圖10是表示一例本實(shí)施方式2的動(dòng)作解析裝置中的信息流程的圖。[0028]圖11是表示一例本實(shí)施方式2中的動(dòng)作提取結(jié)果顯示畫面的圖。
[0029]圖12是表示一例本發(fā)明的實(shí)施方式3的動(dòng)作解析裝置的結(jié)構(gòu)的方框圖。
[0030]圖13是表示本實(shí)施方式3的動(dòng)作解析裝置的動(dòng)作的一例的流程圖。
[0031]圖14是表示一例本發(fā)明的實(shí)施方式4的動(dòng)作解析裝置的結(jié)構(gòu)的方框圖。
[0032]圖15是表示一例本實(shí)施方式4的動(dòng)作解析裝置的動(dòng)作的流程圖。
[0033]圖16是表示一例本實(shí)施方式4的動(dòng)作解析裝置中的信息流程的圖。
[0034]圖17是表示一例包含本發(fā)明的實(shí)施方式5的動(dòng)作解析裝置的動(dòng)作解析系統(tǒng)的結(jié)構(gòu)的系統(tǒng)結(jié)構(gòu)圖。
[0035]圖18是表示一例本實(shí)施方式5中的圖像特征量的計(jì)算方法的圖。
[0036]圖19是表示一例本實(shí)施方式5的動(dòng)作解析裝置的結(jié)構(gòu)的方框圖。
[0037]圖20是表示一例本實(shí)施方式5的動(dòng)作解析裝置的動(dòng)作的流程圖。
[0038]圖21是表示本實(shí)施方式5中設(shè)想的標(biāo)準(zhǔn)動(dòng)作的影像以及比較對(duì)象動(dòng)作的影像的圖。
[0039]圖22A、圖22B、圖22C是表示一例本實(shí)施方式5中設(shè)想的標(biāo)準(zhǔn)動(dòng)作以及比較對(duì)象動(dòng)作的內(nèi)容、以及該情況下的時(shí)間權(quán)重圖的圖。
[0040]圖23A、圖23B是表不一例本實(shí)施方式5中各時(shí)刻的時(shí)間權(quán)重的圖。
[0041]圖24是表示一例本實(shí)施方式5中位置權(quán)重的分布(位置權(quán)重圖)的圖。
[0042]圖25是表不一例本實(shí)施方式5中結(jié)果顯不畫面的圖。
[0043]圖26是表示一例本實(shí)施方式5中結(jié)果顯示畫面中包含的三維曲線的圖。
[0044]圖27是表示一例包含本發(fā)明的實(shí)施方式6的動(dòng)作解析裝置的動(dòng)作解析系統(tǒng)的結(jié)構(gòu)的系統(tǒng)結(jié)構(gòu)圖。
[0045]圖28是表示一例本實(shí)施方式6的動(dòng)作解析裝置的結(jié)構(gòu)的方框圖。
[0046]圖29是表示一例本實(shí)施方式6的動(dòng)作解析裝置的動(dòng)作的流程圖。
[0047]圖30是表示本實(shí)施方式6中設(shè)想的標(biāo)準(zhǔn)動(dòng)作的影像以及比較對(duì)象動(dòng)作的影像的圖。
[0048]圖31A、圖31B、圖31C是表示一例本實(shí)施方式6中設(shè)想的標(biāo)準(zhǔn)動(dòng)作以及比較對(duì)象動(dòng)作的內(nèi)容、以及該情況下的時(shí)間權(quán)重圖的圖。
[0049]圖32是表示一例本實(shí)施方式6中各時(shí)刻的位置權(quán)重的分布(位置權(quán)重圖)的圖。
[0050]圖33是表示一例本實(shí)施方式6中結(jié)果顯示畫面的圖。
[0051]圖34是表示一例本實(shí)施方式6中結(jié)果顯示畫面中包含的三維曲線的圖。
[0052]圖35是表示一例本實(shí)施方式7的動(dòng)作解析裝置的結(jié)構(gòu)的方框圖。
[0053]標(biāo)號(hào)說明
[0054]100、100e、IOOf 動(dòng)作解析系統(tǒng)
[0055]200傳感器裝置
[0056]300、300b、300c、300d、300e、300f 動(dòng)作解析裝置
[0057]310動(dòng)作數(shù)據(jù)輸入單元
[0058]321、321c、321d動(dòng)作特征提取單元
[0059]322,322b,322c 動(dòng)作提取單元
[0060]323,323d提示量輸入單元[0061]324、324b、324d動(dòng)作提取度調(diào)整單元
[0062]325動(dòng)作提取結(jié)果提示單元
[0063]326b提取類別輸入單元
[0064]327d動(dòng)作解析初始值設(shè)定單元
[0065]331e時(shí)間權(quán)重提取單元
[0066]332e加權(quán)位置特征量提取單元
[0067]333e位置權(quán)重提取單元
[0068]341f位置權(quán)重提取單元
[0069]342f加權(quán)時(shí)間特征量提取單元
[0070]343f時(shí)間權(quán)重提取單元
[0071]400輸出裝置
[0072]500輸入裝置
【具體實(shí)施方式】
[0073]以下，參照附圖詳細(xì)說明本發(fā)明的各實(shí)施方式。另外，在各實(shí)施方式中，對(duì)相同的部分附加相同的標(biāo)號(hào)，對(duì)相對(duì)應(yīng)的部分附加下標(biāo)不同的標(biāo)號(hào)。
[0074](實(shí)施方式I)
[0075]圖1是表示一例本發(fā)明的實(shí)施方式I的動(dòng)作解析系統(tǒng)的結(jié)構(gòu)的系統(tǒng)結(jié)構(gòu)圖。
[0076]本實(shí)施方式將本發(fā)明作為適用于在熟練作業(yè)員和一般作業(yè)員工作的工廠中用于解析各一般作業(yè)員的動(dòng)作的動(dòng)作解析系統(tǒng)的例子進(jìn)行說明。作業(yè)員的動(dòng)作是由例如將部件取到手中、放到產(chǎn)品主體上、進(jìn)行螺接固定、粘貼封條等多個(gè)單位動(dòng)作構(gòu)成的一連串的動(dòng)作。更具體而言，本實(shí)施方式的動(dòng)作解析系統(tǒng)是對(duì)從事某個(gè)作業(yè)工序的熟練作業(yè)員的姿態(tài)進(jìn)行攝影，以相同的攝影角度對(duì)從事相同作業(yè)工序時(shí)的各一般作業(yè)員的姿態(tài)進(jìn)行攝影，并對(duì)各一般作業(yè)員的動(dòng)作進(jìn)行解析。以下，將上述一般的單位動(dòng)作和由動(dòng)作解析系統(tǒng)100作為一個(gè)偏離動(dòng)作提取的單位總稱為“動(dòng)作”。
[0077]圖1中，動(dòng)作解析系統(tǒng)100具有:傳感器裝置200、本實(shí)施方式的動(dòng)作解析裝置300、輸出裝置400、以及輸入裝置500。
[0078]傳感器裝置200是檢測人的動(dòng)作的裝置。傳感器裝置200將測量了作業(yè)員的動(dòng)作得到的數(shù)據(jù)向動(dòng)作解析裝置300輸出。這里，傳感器裝置200是將攝影到的圖像的圖像幀數(shù)據(jù)(活動(dòng)圖像數(shù)據(jù))實(shí)時(shí)輸出的攝像機(jī)，采用能夠?qū)S的組裝流水線上并排作業(yè)的各作業(yè)員分別攝影的裝置。
[0079]以下，將對(duì)熟練作業(yè)員的一連串標(biāo)準(zhǔn)動(dòng)作進(jìn)行攝影得到的動(dòng)作數(shù)據(jù)稱為“標(biāo)準(zhǔn)動(dòng)作數(shù)據(jù)”，將對(duì)一般對(duì)象者的一連串比較對(duì)象動(dòng)作進(jìn)行攝影得到的動(dòng)作數(shù)據(jù)稱為“比較對(duì)象動(dòng)作數(shù)據(jù)”。另外，標(biāo)準(zhǔn)動(dòng)作數(shù)據(jù)以及解析對(duì)象數(shù)據(jù)適當(dāng)?shù)乜偡Q為“動(dòng)作數(shù)據(jù)”。
[0080]動(dòng)作解析裝置300是通過與標(biāo)準(zhǔn)動(dòng)作的比較來對(duì)比較對(duì)象動(dòng)作進(jìn)行解析的裝置。動(dòng)作解析裝置300提取比較對(duì)象動(dòng)作與標(biāo)準(zhǔn)動(dòng)作的差異程度滿足規(guī)定條件的位置，生成用于提示提取出的位置的畫面(以下稱為“結(jié)果顯示畫面”)，并將生成了的結(jié)果顯示畫面向輸出裝置400輸出。本實(shí)施方式的動(dòng)作解析裝置300提示比較對(duì)象動(dòng)作與標(biāo)準(zhǔn)動(dòng)作存在較大差異的動(dòng)作(以下稱為“偏離動(dòng)作”)的位置(以下稱為“偏離動(dòng)作位置”)。[0081]這里,動(dòng)作解析裝置300是具有CPU (central processing unit,中央處理單元)以及RAM (random access memory,隨機(jī)存取存儲(chǔ)器)等存儲(chǔ)介質(zhì)、以及用于獲取活動(dòng)圖像數(shù)據(jù)的視頻捕獲電路的計(jì)算機(jī)。也就是說，動(dòng)作解析裝置300通過由CPU執(zhí)行存儲(chǔ)的控制程
序來工作。
[0082]輸出裝置400輸出從動(dòng)作解析裝置300輸入的結(jié)果顯示畫面的數(shù)據(jù)。這里，輸出裝置400是具有液晶顯示器的監(jiān)視器。另外，輸出裝置400也可以是遠(yuǎn)程配置的裝置(遠(yuǎn)程監(jiān)視裝置、移動(dòng)電話等)。在此情況下，輸出裝置400例如經(jīng)由因特網(wǎng)等網(wǎng)絡(luò)與動(dòng)作解析裝置300連接。
[0083]輸入裝置500是用于由用戶操作動(dòng)作解析裝置300的接口。這里，輸入裝置500例如是作為定點(diǎn)設(shè)備(pointing device)的鼠標(biāo)、以及鍵盤。
[0084]這樣的動(dòng)作解析系統(tǒng)100能夠?qū)谋容^對(duì)象動(dòng)作中作為偏離動(dòng)作檢測出的位置經(jīng)由結(jié)果顯示畫面對(duì)用戶進(jìn)行提示。因此，用戶能夠僅確認(rèn)提示出的位置，高效率地解析比較對(duì)象動(dòng)作。
[0085]接著，對(duì)動(dòng)作解析裝置300的結(jié)構(gòu)進(jìn)行說明。
[0086]圖2是表示一例動(dòng)作解析裝置300的結(jié)構(gòu)的方框圖。圖2中，動(dòng)作解析裝置300具有動(dòng)作數(shù)據(jù)輸入單元310、動(dòng)作特征提取單元321、動(dòng)作提取單元322、提示量輸入單元323、動(dòng)作提取度調(diào)整單元324、以及動(dòng)作提取結(jié)果提示單元325。動(dòng)作特征提取單元321以及動(dòng)作提取單元322對(duì)應(yīng)于本發(fā)明的動(dòng)作差異提取單元。
[0087]動(dòng)作數(shù)據(jù)輸入單元310根據(jù)來自動(dòng)作特征提取單元321的要求，從傳感器裝置200取得動(dòng)作數(shù)據(jù)，并向動(dòng)作特征提取單元321傳送。動(dòng)作數(shù)據(jù)的傳送可以實(shí)時(shí)進(jìn)行，也可以在存儲(chǔ)動(dòng)作數(shù)據(jù)后進(jìn)行。另外，動(dòng)作數(shù)據(jù)輸入單元310接受輸入裝置500的用戶操作，將從傳感器裝置200輸入的動(dòng)作數(shù)據(jù)在輸入時(shí)或者輸入后分類為標(biāo)準(zhǔn)動(dòng)作數(shù)據(jù)與比較對(duì)象動(dòng)作數(shù)據(jù)中的任一種。動(dòng)作數(shù)據(jù)輸入單元310也可以為了再次使用而存儲(chǔ)一度輸入的標(biāo)準(zhǔn)動(dòng)作數(shù)據(jù)。
[0088]動(dòng)作特征提取單元321根據(jù)從動(dòng)作數(shù)據(jù)輸入單元310輸入的動(dòng)作數(shù)據(jù)，使用規(guī)定的參數(shù)(第一參數(shù))，從動(dòng)作數(shù)據(jù)中提取表示動(dòng)作特征的特征量(以下簡稱為“特征量”)。然后，動(dòng)作特征提取單元321將計(jì)算出的特征量輸出到動(dòng)作提取單元322。
[0089]以下，將從標(biāo)準(zhǔn)動(dòng)作數(shù)據(jù)中提取出的特征量適當(dāng)?shù)胤Q為“標(biāo)準(zhǔn)動(dòng)作特征量”，將從比較對(duì)象動(dòng)作數(shù)據(jù)中提取的特征量適當(dāng)?shù)胤Q為“比較對(duì)象動(dòng)作特征量”。
[0090]這里，特征量為非專利文獻(xiàn)2中公開的CHLAC特征。CHLAC特征是將作為來自二維圖像數(shù)據(jù)的特征提取的高次局部自相關(guān)(HLAC)特征加上時(shí)間軸而擴(kuò)展為三維的特征，并且是表示在圖像的平面空間上加上了時(shí)間軸的三維坐標(biāo)系中的運(yùn)動(dòng)特征的特征向量。特征量提取中使用的參數(shù)的值在初始狀態(tài)下設(shè)定為預(yù)先確定的初始值，隨后通過動(dòng)作提取度調(diào)整單元324進(jìn)行適當(dāng)調(diào)整。
[0091]動(dòng)作提取單元322根據(jù)從動(dòng)作特征提取單元321輸入的標(biāo)準(zhǔn)動(dòng)作特征量以及比較對(duì)象動(dòng)作特征量，使用規(guī)定的參數(shù)(第二參數(shù))，提取比較對(duì)象動(dòng)作與標(biāo)準(zhǔn)動(dòng)作的差異。然后，動(dòng)作提取單元322對(duì)提取出的差異滿足由規(guī)定的參數(shù)(第三參數(shù))確定的條件的位置進(jìn)行提取，并將提取結(jié)果輸出到動(dòng)作輸出度調(diào)整單元324。提取結(jié)果包含提取出的位置(以下稱為“提取位置”)、以及基于規(guī)定的計(jì)數(shù)標(biāo)準(zhǔn)的提取位置的個(gè)數(shù)(以下稱為“提取數(shù)”)。在提取位置為區(qū)間的情況下，提取結(jié)果包含該區(qū)間的開始時(shí)刻以及結(jié)束時(shí)刻。
[0092]這里，以下，將動(dòng)作特征提取單元321在特征量提取中使用的參數(shù)適當(dāng)?shù)乜偡Q為“特征提取參數(shù)”。另外，將動(dòng)作提取單元322在動(dòng)作提取中使用的參數(shù)適當(dāng)?shù)乜偡Q為“動(dòng)作提取參數(shù)”。在特征提取參數(shù)的種類中，包含用于CHLAC特征提取的圖像大小或幀速率或窗口大小、主分量分析的主分量分析累計(jì)貢獻(xiàn)度、傅立葉級(jí)數(shù)的基底函數(shù)的數(shù)量、最小二乘標(biāo)準(zhǔn)的變回歸系數(shù)、以及k-ηη法(k鄰近法,k-nearest neighbor algorithm)的k的值。另夕卜，動(dòng)作提取參數(shù)的種類中包含動(dòng)作的持續(xù)時(shí)間或后述的距離閾值。
[0093]提示量輸入單元323經(jīng)由輸入裝置500接受向用戶進(jìn)行提示的提取位置的個(gè)數(shù)(提取結(jié)果的提示量)的指定，將指定的個(gè)數(shù)(以下稱為“目標(biāo)提取數(shù)”)輸出到動(dòng)作提取度調(diào)整單元324。
[0094]在提取數(shù)與目標(biāo)提取數(shù)不一致時(shí)，動(dòng)作提取度調(diào)整單元324調(diào)整動(dòng)作特征提取單元321的特征提取參數(shù)并指示動(dòng)作特征提取單元321重新提取特征量，以使提取數(shù)與目標(biāo)提取數(shù)一致。然后，動(dòng)作提取度調(diào)整單元324在提取數(shù)與目標(biāo)提取數(shù)一致時(shí)，將提取結(jié)果輸出到動(dòng)作提取結(jié)果提示單元325。也就是說，動(dòng)作提取度調(diào)整單元324改變特征提取參數(shù)并且使動(dòng)作特征提取單元321以及動(dòng)作提取單元322反復(fù)進(jìn)行處理，直至提取數(shù)與目標(biāo)提取數(shù)一致。
[0095]動(dòng)作提取結(jié)果提示單元325生成用于提示從動(dòng)作提取度調(diào)整單元324輸入的提取結(jié)果的結(jié)果顯示畫面，并且經(jīng)由輸出裝置400進(jìn)行顯示。
[0096]具有這樣的結(jié)構(gòu)的動(dòng)作解析裝置300能夠以用戶指定的目標(biāo)提取數(shù)，對(duì)用戶提示偏離動(dòng)作位置作為解析結(jié)果。因此，用戶不用分別調(diào)整特征量提取或動(dòng)作提取中使用的各個(gè)參數(shù)，而能夠通過輸入目標(biāo)提取數(shù)這樣的簡單方法，調(diào)整偏離動(dòng)作位置的提示量。
[0097]以下，對(duì)動(dòng)作解析裝置300的動(dòng)作進(jìn)行說明。
[0098]圖3是表示一例動(dòng)作解析裝置300的動(dòng)作的流程圖。圖4是表示一例動(dòng)作解析裝置300中的信息流程的圖。
[0099]首先，用戶例如安排熟練作業(yè)員和一般作業(yè)員隔著休息時(shí)間輪流負(fù)責(zé)包含對(duì)象動(dòng)作的作業(yè)，并對(duì)動(dòng)作解析裝置300進(jìn)行操作以對(duì)熟練作業(yè)員和一般作業(yè)員的動(dòng)作分別進(jìn)行攝影。通過采用這種方式，無需專門用于動(dòng)作評(píng)價(jià)的時(shí)間，不會(huì)給作業(yè)員增加負(fù)擔(dān)，因此能夠在不影響工廠的生產(chǎn)性的情況下獲取用于動(dòng)作解析的數(shù)據(jù)。
[0100]其結(jié)果是，動(dòng)作數(shù)據(jù)輸入單元310輸入標(biāo)準(zhǔn)動(dòng)作數(shù)據(jù)和比較對(duì)象動(dòng)作數(shù)據(jù)，并將輸入的標(biāo)準(zhǔn)動(dòng)作數(shù)據(jù)以及比較對(duì)象動(dòng)作數(shù)據(jù)輸出到動(dòng)作特征提取單元321。動(dòng)作數(shù)據(jù)輸入單元310在每一次解析處理中，可以從一人或者多人取得多個(gè)標(biāo)準(zhǔn)動(dòng)作數(shù)據(jù)，也可以從一人或者多人取得多個(gè)比較對(duì)象動(dòng)作數(shù)據(jù)。另外，動(dòng)作數(shù)據(jù)輸入單元310在存儲(chǔ)有過去輸入了的標(biāo)準(zhǔn)動(dòng)作數(shù)據(jù)的情況下，也可以將該標(biāo)準(zhǔn)動(dòng)作數(shù)據(jù)輸出到動(dòng)作特征提取單元321。
[0101]首先，在步驟SllOO中，動(dòng)作提取度調(diào)整單元324經(jīng)由提示量輸入單元323輸入目標(biāo)提取數(shù)(以下適當(dāng)?shù)厥褂糜浱?hào)B)。具體而言，例如，從動(dòng)作提取度調(diào)整單元324接受了指示的提示量輸入單元323在輸出裝置400上顯示用于催促進(jìn)行目標(biāo)提取數(shù)的輸入的畫面。然后，提示量輸入單元323將對(duì)應(yīng)地經(jīng)由輸入裝置500輸入的數(shù)值作為目標(biāo)提取數(shù)B返送到動(dòng)作提取度調(diào)整單元324。另外，在動(dòng)作提取度調(diào)整單元324使用上次的目標(biāo)提取數(shù)的情況下，也可以不必進(jìn)行經(jīng)由提示量輸入單元323的目標(biāo)提取數(shù)的輸入。另外，在此情況下，動(dòng)作提取度調(diào)整單元324可以經(jīng)由提示量輸入單元323向用戶詢問是否使用上次的目標(biāo)提取數(shù)，或者基于是否以相同的目標(biāo)提取數(shù)反復(fù)處理了設(shè)定的次數(shù)來進(jìn)行判斷。
[0102]然后，在步驟S1200中，動(dòng)作特征提取單元321從一個(gè)或多個(gè)標(biāo)準(zhǔn)動(dòng)作數(shù)據(jù)中，每中貞地提取標(biāo)準(zhǔn)動(dòng)作特征量，根據(jù)提取出的一連串標(biāo)準(zhǔn)動(dòng)作特征量，求標(biāo)準(zhǔn)動(dòng)作部分空間。標(biāo)準(zhǔn)動(dòng)作特征量如上所述這里為CHLAC特征。所謂標(biāo)準(zhǔn)動(dòng)作部分空間是指定義標(biāo)準(zhǔn)動(dòng)作的空間。
[0103]動(dòng)作特征提取單元321例如使用下式(I)所示的N次自相關(guān)函數(shù)，計(jì)算CHLAC特
征Xo
【權(quán)利要求】
1.動(dòng)作解析裝置，通過與標(biāo)準(zhǔn)動(dòng)作的比較進(jìn)行比較對(duì)象動(dòng)作的解析，包括: 第一權(quán)重提取單元，從作為所述比較對(duì)象動(dòng)作的圖像特征量的數(shù)據(jù)的比較對(duì)象特征量數(shù)據(jù)和作為所述標(biāo)準(zhǔn)動(dòng)作的圖像特征量的數(shù)據(jù)的標(biāo)準(zhǔn)特征量數(shù)據(jù)中，提取第一權(quán)重，該第一權(quán)重對(duì)于所述圖像特征量的時(shí)間分量以及位置分量中的一方即第一分量的每個(gè)值，表示所述比較對(duì)象動(dòng)作與所述標(biāo)準(zhǔn)動(dòng)作的差異大?。? 加權(quán)特征量提取單元，對(duì)于所述比較對(duì)象特征量數(shù)據(jù)以及所述標(biāo)準(zhǔn)特征量數(shù)據(jù)中的各個(gè)特征量數(shù)據(jù)，分別計(jì)算適用了所述第一權(quán)重的值的所述第一分量的值的積分值；以及 第二權(quán)重提取單元，從根據(jù)所述比較對(duì)象特征量數(shù)據(jù)計(jì)算出的所述積分值和根據(jù)所述標(biāo)準(zhǔn)特征量數(shù)據(jù)計(jì)算出的所述積分值中，提取第二權(quán)重，該第二權(quán)重對(duì)于所述圖像特征量的時(shí)間分量以及位置分量中的另一方即第二分量的每個(gè)值，表示所述比較對(duì)象動(dòng)作與所述標(biāo)準(zhǔn)動(dòng)作的差異大小。
2.如權(quán)利要求1所述的動(dòng)作解析裝置， 所述第一分量是所述時(shí)間分量，所述第一權(quán)重表示所述比較對(duì)象動(dòng)作與所述標(biāo)準(zhǔn)動(dòng)作的每個(gè)時(shí)間的差異大小的時(shí)間權(quán)重，所述第二分量是所述位置分量，所述第二權(quán)重表示所述比較對(duì)象動(dòng)作與所述標(biāo)準(zhǔn)動(dòng)作的每個(gè)位置的差異大小的位置權(quán)重。
3.如權(quán)利要求2所述的動(dòng)作解析裝置，還包括: 顯示信息生成單元，基于所述位置權(quán)重，生成表示所述比較對(duì)象動(dòng)作的影像中的各位置的重要度的信息。
4.如權(quán)利要求2所述的動(dòng)作解析裝置，還包括: 顯示信息生成單元，基于所述位置權(quán)重以及所述時(shí)間權(quán)重，生成表示所述比較對(duì)象動(dòng)作的影像中的各位置的重要度和各時(shí)間的重要度的信息。
5.如權(quán)利要求2所述的動(dòng)作解析裝置， 所述圖像特征量是立體高次局部自相關(guān)特征量。
6.如權(quán)利要求1所述的動(dòng)作解析裝置， 所述第一分量是所述位置分量，所述第一權(quán)重表示所述比較對(duì)象動(dòng)作與所述標(biāo)準(zhǔn)動(dòng)作的每個(gè)位置的差異大小的位置權(quán)重，所述第二分量是所述時(shí)間分量，所述第二權(quán)重表示所述比較對(duì)象動(dòng)作與所述標(biāo)準(zhǔn)動(dòng)作的每個(gè)時(shí)間的差異大小的時(shí)間權(quán)重。
7.如權(quán)利要求6所述的動(dòng)作解析裝置，還包括: 顯示信息生成單元，基于所述時(shí)間權(quán)重，生成表示所述比較對(duì)象動(dòng)作的影像中的各時(shí)間的重要度的信息。
8.如權(quán)利要求6所述的動(dòng)作解析裝置，還包括: 顯示信息生成單元，基于所述時(shí)間權(quán)重以及所述位置權(quán)重，生成表示所述比較對(duì)象動(dòng)作的影像中的各時(shí)間的重要度和各位置的重要度的信息。
9.如權(quán)利要求6所述的動(dòng)作解析裝置， 所述圖像特征量是立體高次局部自相關(guān)特征量。
【文檔編號(hào)】G06K9/00GK103942544SQ201410179289
【公開日】2014年7月23日 申請(qǐng)日期:2010年12月20日 優(yōu)先權(quán)日:2009年12月22日
【發(fā)明者】川口京子, 田靡雅基 申請(qǐng)人:松下電器產(chǎn)業(yè)株式會(huì)社