干節(jié)點(diǎn)指向一級(jí)節(jié)點(diǎn)，由一級(jí)節(jié)點(diǎn)指向二級(jí)節(jié)點(diǎn)。
[0086] S202、按照下式計(jì)算人體肢體向量與對(duì)應(yīng)的模板肢體向量之間的空間夾角，以衡 量實(shí)時(shí)采集的人體骨骼數(shù)據(jù)與系統(tǒng)預(yù)設(shè)的模板骨骼數(shù)據(jù)中對(duì)應(yīng)點(diǎn)之間的匹配程度。 r 1 rn..n_ c^maI _ -ν,^, + ν,νν,+ζ,.ζ,
[0087] cost) ~-- I-^r- , , ~~/ , , =T ax · c2 yjx- + vf + zf + yjx,- + v2" + z2
[0088] 上式中，Θ是人體肢體向量與對(duì)應(yīng)的模板肢體向量之間的空間夾角（也稱肢體向 量空間夾角），其值越小表明人體肢體向量與對(duì)應(yīng)的模板肢體向量越匹配，因此在基于人體 骨骼節(jié)點(diǎn)的分析方法中用于衡量人體動(dòng)作與模板動(dòng)作的匹配程度。g、?分別表示人體肢 體向量和模板肢體向量。Xl，yi，Z1與x2, y2, Z2分別為％、的三維坐標(biāo)。人體肢體向量的 三維坐標(biāo)由人體骨骼節(jié)點(diǎn)的三維坐標(biāo)決定，人體骨骼節(jié)點(diǎn)的三維坐標(biāo)基于步驟SlOO獲得 的深度數(shù)據(jù)而確定。在本實(shí)施例中，優(yōu)選人體腰骨骼節(jié)點(diǎn)為原點(diǎn)，水平方向?yàn)閄軸，堅(jiān)直方 向?yàn)閅軸建立空間直角坐標(biāo)系，人體骨骼節(jié)點(diǎn)和肢體向量的三維坐標(biāo)均為該空間直角坐標(biāo) 系中的直角坐標(biāo)，為同一數(shù)量級(jí)。
[0089] 由前述可知，人體運(yùn)動(dòng)時(shí)，不同類型的骨骼節(jié)點(diǎn)處的動(dòng)作差異給人的主觀感覺不 同，因此本發(fā)明通過大量的數(shù)據(jù)對(duì)比與實(shí)踐經(jīng)驗(yàn)，分別給一級(jí)節(jié)點(diǎn)相關(guān)的肢體向量、二級(jí)節(jié) 點(diǎn)相關(guān)的肢體向量、人體上部的肢體向量和人體下部的肢體向量在差異性表達(dá)中賦予不同 的權(quán)重。具體設(shè)置可以如下：
[0090] 在本實(shí)施例中，二級(jí)節(jié)點(diǎn)相較于一級(jí)節(jié)點(diǎn)距離軀干較遠(yuǎn)，運(yùn)動(dòng)幅度只受一級(jí)節(jié)點(diǎn) 的影響，在運(yùn)動(dòng)時(shí)較易控制，因此二級(jí)節(jié)點(diǎn)相關(guān)的肢體向量（圖7所示肢體向量4、5、6、7)在 動(dòng)作匹配的難度考量中所占比重較少，而一級(jí)節(jié)點(diǎn)距離軀干較近，受軀干運(yùn)動(dòng)慣性的影響， 同時(shí)也受二級(jí)節(jié)點(diǎn)運(yùn)動(dòng)幅度的影響，因此一級(jí)節(jié)點(diǎn)相關(guān)的肢體向量（圖7所示肢體向量0、 1、2、3)在動(dòng)作匹配的難度考量中所占比重較多。同時(shí)，還需要考慮可能出現(xiàn)局部空間夾角 過大的情況，為了使同一動(dòng)作每個(gè)人體肢體向量與對(duì)應(yīng)的模板肢體向量間的空間夾角盡可 能平均，在本實(shí)施例中，還將同一動(dòng)作每個(gè)人體肢體向量與對(duì)應(yīng)的模板肢體向量間的空間 夾角的標(biāo)準(zhǔn)差也作為衡量動(dòng)作匹配程度的考量因子。此外，本實(shí)施例優(yōu)選對(duì)上肢相關(guān)的肢 體向量（圖7所示肢體向量0、1、4、5)的差異數(shù)據(jù)賦予較小的權(quán)重，對(duì)下肢相關(guān)的（圖7所示 肢體向量2、3、6、7)的差異數(shù)據(jù)賦予較大的權(quán)重，以平衡視覺感受。
[0091] S203、將空間夾角加權(quán)歸一，按照下式計(jì)算人體肢體向量與對(duì)應(yīng)的模板肢體向量 之間的空間夾角累積誤差，作為基于人體骨骼節(jié)點(diǎn)分析的人體動(dòng)作差異度：
[0092] Metric=SD+AngDiff1 X fi+AngDif^ X ^+AngDiffuX fu+AngDiffLX fL
[0093] 上式中，Metric是人體肢體向量與對(duì)應(yīng)的模板肢體向量之間的空間夾角累積誤 差，SD是肢體向量空間夾角的標(biāo)準(zhǔn)差。AngDiff^AngDiffVAngDiff^AngDiff 2分別表示同 一動(dòng)作一個(gè)實(shí)驗(yàn)樣本中上肢相關(guān)的、下肢相關(guān)的、一級(jí)節(jié)點(diǎn)相關(guān)的、二級(jí)節(jié)點(diǎn)相關(guān)的肢體向 量空間夾角的累積和。在本實(shí)施例中，僅考慮了圖5所示的八個(gè)肢體向量0?7,因此有：
[0094] AngDiffi= AngDiff [50 +S1 +θ2+S3]
[0095] AngDiff2= AngDiff [θ4 + δ5+θ6+δ7]
[0096] AngDiffll= AngDiff [ S0+S1 +θ4+θ5]
[0097] AngDiff1= AngDiff [S2+ θ3+θ6+θ7]
[0098] 其中，i e {0，1，···，？}是八個(gè)人體肢體向量與對(duì)應(yīng)的模板肢體向量之間的空 間夾角。
[0099] f；、4、f\、f2分別表示上肢相關(guān)的、下肢相關(guān)的、一級(jí)節(jié)點(diǎn)相關(guān)的、二級(jí)節(jié)點(diǎn)相關(guān)的 肢體向量在差異性表達(dá)中所占的權(quán)重，用于分別體現(xiàn)了上、下肢，一級(jí)節(jié)點(diǎn)和二級(jí)節(jié)點(diǎn)相關(guān) 的肢體向量對(duì)人體動(dòng)作的影響程度。
【主權(quán)項(xiàng)】
1. 一種互動(dòng)型廣告設(shè)備，其特征在于，包括： 顯示裝置； 體感交互裝置，其用于捕捉用戶動(dòng)作信息； 主控裝置，其電連接所述顯示裝置和體感交互裝置，用于控制所述顯示裝置播放視頻 信息，根據(jù)所述體感交互裝置捕捉的用戶動(dòng)作信息，識(shí)別用戶對(duì)廣告產(chǎn)品的選擇，以及評(píng)估 用戶動(dòng)作與所選廣告產(chǎn)品相關(guān)視頻動(dòng)作的匹配程度，并根據(jù)匹配程度判斷是否輸出出貨指 令； 出貨執(zhí)行裝置，其電連接所述主控裝置，用于根據(jù)所述主控裝置發(fā)出的出貨指令控制 所述廣告設(shè)備輸出廣告產(chǎn)品。
2. 如權(quán)利要求1所述的互動(dòng)型廣告設(shè)備，其特征在于： 所述體感交互裝置包括紅外攝像頭或者RGB-D攝像頭，以記錄包括深度數(shù)據(jù)和用戶骨 骼節(jié)點(diǎn)數(shù)據(jù)的用戶動(dòng)作信息。
3. 如權(quán)利要求2所述的互動(dòng)型廣告設(shè)備，其特征在于： 所述體感交互裝置還包括光學(xué)攝像頭。
4. 如權(quán)利要求1或2或3所述的互動(dòng)型廣告設(shè)備，其特征在于，進(jìn)一步還包括通信裝 置，其電連接所述主控裝置，用于根據(jù)所述主控裝置傳來的控制指令連接互聯(lián)網(wǎng)，以實(shí)現(xiàn)對(duì) 所述廣告設(shè)備的遠(yuǎn)程操作。
5. 如權(quán)利要求1或2或3所述的互動(dòng)型廣告設(shè)備，其特征在于，進(jìn)一步還包括發(fā)聲裝 置，其電連接所述主控裝置，用于根據(jù)所述主控裝置傳來的控制指令播放語音信息。
6. -種如權(quán)利要求1?5任意一項(xiàng)所述的互動(dòng)型廣告設(shè)備的工作方法，包括以下步 驟： S10、提示用戶選擇廣告產(chǎn)品； S20、捕捉用戶動(dòng)作信息，識(shí)別用戶選擇； S30、檢測用戶所選廣告產(chǎn)品是否缺貨： 如果有貨，播放用戶所選廣告產(chǎn)品的相關(guān)視頻，提示用戶模仿視頻動(dòng)作； S40、捕捉用戶動(dòng)作信息，評(píng)估用戶動(dòng)作與視頻動(dòng)作的匹配程度； S50、根據(jù)匹配程度判斷是否輸出用戶所選廣告產(chǎn)品。
7. 如權(quán)利要求6所述的工作方法，其特征在于： 所述步驟S20和S40中，捕捉的用戶動(dòng)作信息包括深度數(shù)據(jù)和用戶骨骼節(jié)點(diǎn)數(shù)據(jù)。
8. 如權(quán)利要求7所述的工作方法，其特征在于：所述步驟S40中，基于以下步驟評(píng)估用 戶動(dòng)作與視頻動(dòng)作的匹配程度： S100、基于深度數(shù)據(jù)選取用戶骨骼節(jié)點(diǎn)和輪廓節(jié)點(diǎn)； S200、基于用戶骨骼節(jié)點(diǎn)構(gòu)建用戶肢體向量，計(jì)算用戶肢體向量與對(duì)應(yīng)的視頻模板肢 體向量之間的空間夾角，將其加權(quán)歸一，計(jì)算用戶肢體向量與對(duì)應(yīng)的視頻模板肢體向量之 間的空間夾角累積誤差，作為基于骨骼節(jié)點(diǎn)分析的人體動(dòng)作差異度； S300、基于用戶輪廓節(jié)點(diǎn)構(gòu)建用戶輪廓向量，計(jì)算用戶相鄰兩輪廓向量之間的空間夾 角，利用其與對(duì)應(yīng)的視頻模板輪廓向量的空間夾角之間的差異值構(gòu)建能量函數(shù)，求取能量 函數(shù)的最小值作為基于輪廓節(jié)點(diǎn)分析的人體動(dòng)作差異度； S400,對(duì)基于骨骼節(jié)點(diǎn)分析的人體動(dòng)作差異度和基于輪廓節(jié)點(diǎn)分析的人體動(dòng)作差異度 加權(quán)求和，作為衡量用戶動(dòng)作與視頻動(dòng)作匹配程度的評(píng)估參數(shù)。
9.如權(quán)利要求7或8所述的工作方法，其特征在于： 所述步驟S30中，如果缺貨，向用戶提示缺貨信息，以及通過互聯(lián)網(wǎng)向運(yùn)營商發(fā)送缺貨 信息。
【專利摘要】本發(fā)明涉及一種互動(dòng)型廣告設(shè)備及其工作方法，該廣告設(shè)備包括顯示裝置、體感交互裝置、以及主控裝置和出貨執(zhí)行裝置，所述主控裝置控制顯示裝置播放視頻信息，根據(jù)體感交互裝置捕捉的用戶動(dòng)作信息，識(shí)別用戶對(duì)廣告產(chǎn)品的選擇，以及評(píng)估用戶動(dòng)作與所選廣告產(chǎn)品相關(guān)視頻動(dòng)作的匹配程度，并根據(jù)匹配程度判斷是否輸出出貨指令給出貨執(zhí)行裝置，以控制廣告設(shè)備輸出所選產(chǎn)品給用戶以作獎(jiǎng)勵(lì)。本發(fā)明根據(jù)用戶動(dòng)作與所選廣告產(chǎn)品相關(guān)視頻動(dòng)作的匹配程度將產(chǎn)品作為獎(jiǎng)勵(lì)發(fā)放給用戶，這種互動(dòng)方式提高了用戶的參與度和趣味性，有利于擴(kuò)大產(chǎn)品的推廣度。
【IPC分類】G09F27-00, G06F3-01
【公開號(hào)】CN104598012
【申請(qǐng)?zhí)枴緾N201310526678
【發(fā)明人】張宜春, 蔣偉, 吳曉雨, 鄭偉, 歐雪雯
【申請(qǐng)人】中國藝術(shù)科技研究所
【公開日】2015年5月6日
【申請(qǐng)日】2013年10月30日