一種訓(xùn)練共同注意力的系統(tǒng)及方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及教育信息化技術(shù)領(lǐng)域，具體設(shè)及一種訓(xùn)練共同注意力的系統(tǒng)及方法。
【背景技術(shù)】
[0002] 共同注意力是指個體在交往中跟隨或引導(dǎo)他人社會線索（例如：目光、言語、姿 態(tài)、動作等）的社會認(rèn)知能力。共同注意力是社會互動的基礎(chǔ)，共同注意能力缺失會導(dǎo)致溝 通交往障礙、學(xué)習(xí)困難等問題。隨著信息技術(shù)的飛速發(fā)展，最新研究成果表明，基于信息技 術(shù)的方法（如：人機交互游戲）訓(xùn)練兒童共同注意能力是有效可行的。為了進(jìn)一步提高共 同注意能力的訓(xùn)練效果，人機交互游戲中虛擬仿真人物的逼真性是非常重要的。

【發(fā)明內(nèi)容】

[0003] 本發(fā)明提供一種訓(xùn)練共同注意力的系統(tǒng)，其目的在于，針對共同注意能力缺失的 核屯、癥狀即社會交往中不注視他人眼睛，通過將參訓(xùn)者圖像成像于虛擬人的眼睛中，增強 人機交互中虛擬仿真人物的逼真性，從而提高共同注意能力的訓(xùn)練效果。
[0004] 為了實現(xiàn)本發(fā)明的上述技術(shù)目的，本發(fā)明提供了一種訓(xùn)練共同注意力的系統(tǒng)，包 括顯示模塊，用于呈現(xiàn)虛擬人影像；處理模塊，用于將參訓(xùn)者成像于虛擬人的眼睛中W吸引 參訓(xùn)者的注意力。 陽〇化]作為優(yōu)選，所述處理模塊用于從參訓(xùn)者圖像分別截取模擬虛擬人左眼和右眼看到 的圖像區(qū)域，仿真左右眼視差，并對應(yīng)地放置于虛擬人的左眼和右眼，成像效果更逼真。
[0006] 虛擬人眼睛中的成像如果采用全身像，影像太小，而最能有辨識性的部分是人的 面部。因此，作為優(yōu)選，在虛擬人所述參訓(xùn)者圖像采用參訓(xùn)者臉部圖像。
[0007] 參訓(xùn)者圖像可預(yù)先存儲也可實時采集，相應(yīng)地可增設(shè)與處理模塊連接的存儲模 塊，用于預(yù)存參訓(xùn)者圖像或者增設(shè)與處理模塊連接的圖像采集模塊，用于實時捕獲參訓(xùn)者 圖像。實時采集更有實時性、逼真性，而后續(xù)的人臉定位跟蹤及相應(yīng)的圖像處理手段較為成 熟，因此，更優(yōu)選實時采集方式。
[0008] 本發(fā)明還提供了一種訓(xùn)練共同注意力的交互系統(tǒng)，包括：顯示模塊，用于呈現(xiàn)虛 擬人影像；處理模塊，用于將參訓(xùn)者圖像成像于虛擬人的眼睛中；互動模塊，用于通過控制 虛擬人的行為向參訓(xùn)者傳達(dá)信息。所述虛擬人的行為包括虛擬人肢體動作、表情和聲音中 的任意一種或組合。應(yīng)用本發(fā)明交互系統(tǒng)時，在虛擬人眼睛中會呈現(xiàn)參訓(xùn)者圖像，引起參 訓(xùn)者注意，在參訓(xùn)者直視虛擬人時，虛擬人可通過各種肢體動作、說話的方式引導(dǎo)參訓(xùn)者操 作或交流，有利于兒童共同注意能力的培養(yǎng)。
[0009] 本發(fā)明還提供了一種訓(xùn)練共同注意力的交互方法，呈現(xiàn)虛擬人影像，將參訓(xùn)者成 像于虛擬人的眼睛中W吸引參訓(xùn)者的注意力。
[0010] 作為優(yōu)選，所述將模擬虛擬人左眼和右眼看到的圖像區(qū)域?qū)?yīng)地放置于虛擬人的 左眼和右眼的具體實現(xiàn)方式為：
[0011] 依據(jù)虛擬人的瞳孔球形尺寸對待放置圖像進(jìn)行球形形變和縮放處理；
[0012] 參照虛擬人的瞳孔模板對變形和縮放后的待放置圖像進(jìn)行裁剪操作；
[0013] 將裁減后的待放置圖像按預(yù)設(shè)的透明度與虛擬人瞳孔區(qū)域圖像進(jìn)行疊加。
[0014] 總體而言，通過本發(fā)明所構(gòu)思的W上技術(shù)方案與現(xiàn)有技術(shù)相比，本發(fā)明方法通過 檢測、跟蹤人機互動中參訓(xùn)者圖像，并經(jīng)過圖像處理方法實時映射到虛擬人物的眼睛瞳孔 上，增強了虛擬仿真人物的逼真性，提高了兒童在互動中對虛擬人物眼睛的注視程度，有利 于兒童共同注意能力的培養(yǎng)。
【附圖說明】
[0015] 圖1是本發(fā)明系統(tǒng)較佳實施例結(jié)構(gòu)組成示意圖；
[0016]圖2是本發(fā)明系統(tǒng)較佳實施例面部定位流程圖；
[0017] 圖3是本發(fā)明系統(tǒng)較佳實施例面部繪制流程圖；
[0018]圖4是本發(fā)明系統(tǒng)較佳實施例所使用的虛擬人物示意圖；
[0019] 圖5是本發(fā)明系統(tǒng)較佳實施例所使用的虛擬人物眼球-瞳孔模型示意圖；
[0020] 圖6是本發(fā)明系統(tǒng)較佳實施例所使用的虛擬人物瞳孔模板示意圖，圖6 (a)是虛擬 人物左瞳孔模板，圖6(b)是虛擬人物右瞳孔模板；
[0021]圖7是本發(fā)明系統(tǒng)較佳實施例在虛擬人物瞳孔中繪制兒童面部后的結(jié)果示意圖。
【具體實施方式】
[0022] 為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點更加清楚明白，W下結(jié)合附圖及實施例，對 本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實施例僅僅用W解釋本發(fā)明，并 不用于限定本發(fā)明。此外，下面所描述的本發(fā)明各個實施方式中所設(shè)及到的技術(shù)特征只要 彼此之間未構(gòu)成沖突就可W相互組合。
[0023] 圖1示出了本發(fā)明訓(xùn)練共同注意力的系統(tǒng)的一個較佳實施例。實施例包括：采集 模塊10,采集包含參訓(xùn)者的圖像；處理模塊包括面部圖像獲取模塊11和面部繪制模塊12， 面部圖像獲取模塊11從采集到的視頻圖像獲取參訓(xùn)者面部圖像塊，面部繪制模塊12將定 位到的面部圖像塊經(jīng)形變、縮放處理后繪制到虛擬人物眼睛瞳孔中；顯示模塊13,呈現(xiàn)虛 擬人影像W及仿真場景。
[0024] 實施例中，參訓(xùn)者為有溝通交往障礙的兒童，虛擬人啟用的一卡通人物（請參見 圖4)。
[00巧]參照圖2示出的面部圖像獲取模塊11的工作流程圖： 陽0%] 步驟S20，從圖像采集模塊10獲取視頻圖像。
[0027] 步驟S21，從視頻圖像中檢測兒童面部。優(yōu)選地，本實施例采取化ar特征加層級式 AdaBoost分類器的方法從圖像采集模塊10采集到的圖像中檢測兒童面部。t時刻檢測到 的面部中屯、點坐標(biāo)和尺度記為(皆，巧，S巧。 陽02引步驟S22,從視頻圖像中跟蹤兒童面部。優(yōu)選地，本實施例采取Cam化ift算法跟蹤 兒童面部。t時刻跟蹤到的面部中屯、點坐標(biāo)和尺度記為
[0029] 步驟S23,獲取并保存面部信息（中屯、點坐標(biāo)、尺度）。優(yōu)選地，在t時刻，若步 驟S21檢測到面部且步驟S22跟蹤到面部時，W檢測到的面部信息(Af ,Sf)作為獲 取的面部信息；若步驟S21未檢測到面部但步驟S22跟蹤到面部時，W跟蹤到的面部信息(If 作為獲取的面部信息。獲取的面部信息記為保，玲為）,并保存到歷史面 部信息表。
[0030] 步驟S24,面部位置和尺度平滑處理。優(yōu)選地，利用前n帖的歷史面部信息對t時 刻的面部位置和尺度進(jìn)行平滑處理。預(yù)設(shè)前N帖的平滑權(quán)重分別為（iit。，…，時 刻的平滑權(quán)重為yt，且：終^ = 1。優(yōu)選地，使用下式計算t時刻面部平滑后的位置和 尺度：
[0031]
[0032] 式中狂't，Y' t，S't)是t時刻經(jīng)過平滑后的面部的位置和尺度。面部位置和 尺度平滑處理的目的是避免后續(xù)面部繪制模塊12繪制到卡通人物瞳孔中的面部圖像出現(xiàn) 較為嚴(yán)重的抖動。
[003引步驟S25,模擬左眼和右眼看到的面部圖像。優(yōu)選地，使用下式計算模擬左眼看到 的面部圖像中屯、坐標(biāo)稱M?);
[0034]