智能化孤獨(dú)癥兒童認(rèn)知溝通行為早期訓(xùn)練系統(tǒng)的制作方法
【專利摘要】一種智能化孤獨(dú)癥兒童認(rèn)知溝通行為早期訓(xùn)練系統(tǒng)，計(jì)算機(jī)終端與手持終端進(jìn)行數(shù)據(jù)傳輸，計(jì)算機(jī)終端還與輸出終端相連，Kinect感應(yīng)器與計(jì)算機(jī)終端連接，行為訓(xùn)練游戲和與治療軟件相關(guān)的信息都在計(jì)算機(jī)終端進(jìn)行，計(jì)算機(jī)終端1將游戲畫(huà)面投影在大屏幕上面，受訓(xùn)的孤獨(dú)癥兒童利用手持終端設(shè)備及其上面運(yùn)行的軟件，給計(jì)算機(jī)終端發(fā)送命令，實(shí)現(xiàn)手持終端設(shè)備與計(jì)算機(jī)終端的交互，完成和三維人物的互動(dòng)過(guò)程；而Kinect感應(yīng)器可以檢測(cè)受訓(xùn)兒童的位置信息，并將其送入計(jì)算機(jī)終端的計(jì)算機(jī)軟件，使得計(jì)算機(jī)軟件通過(guò)此位置信息可以判斷下一步的游戲進(jìn)程，就完成了整個(gè)游戲治療的過(guò)程；本發(fā)明有助于孤獨(dú)癥兒童認(rèn)知溝通能力的康復(fù)訓(xùn)練與治療。
【專利說(shuō)明】智能化孤獨(dú)癥兒童認(rèn)知溝通行為早期訓(xùn)練系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種基于計(jì)算機(jī)科學(xué)、認(rèn)知科學(xué)、教育學(xué)和心理學(xué)的輔助康復(fù)訓(xùn)練系統(tǒng)，特別涉及一種智能化孤獨(dú)癥兒童認(rèn)知溝通行為早期訓(xùn)練系統(tǒng)，針對(duì)孤獨(dú)癥兒童認(rèn)知溝通能力的康復(fù)，采用Unity3d技術(shù)、網(wǎng)絡(luò)通信技術(shù)、Kinect技術(shù)和圖像識(shí)別技術(shù)，并與手持移動(dòng)終端設(shè)備相配合，實(shí)現(xiàn)了孤獨(dú)癥兒童認(rèn)知溝通交流能力訓(xùn)練系統(tǒng)的設(shè)計(jì)。
【背景技術(shù)】
[0002]兒童孤獨(dú)癥(Childhood Autism),又稱自閉癥或孤獨(dú)性障礙(Autism Disorders)等，是孤獨(dú)癥譜系障礙(Autism Spectrum Disorder, ASD)的代表性疾病。兒童孤獨(dú)癥作為診斷類別的真實(shí)性已確定，目前所說(shuō)的兒童孤獨(dú)癥，也在廣義上指代了孤獨(dú)癥譜系障礙(ASD)。
[0003]孤獨(dú)癥兒童獲得認(rèn)知溝通交流能力是檢驗(yàn)訓(xùn)練是否成功的重要指標(biāo)。然而直接教會(huì)孤獨(dú)癥兒童認(rèn)識(shí)東西和如何與人交談是非常困難的，而大多數(shù)康復(fù)醫(yī)師是選用一些孤獨(dú)癥兒童擅長(zhǎng)的認(rèn)知溝通方式來(lái)慢慢引發(fā)孩子交流的欲望，如廣泛使用的圖片溝通交流法(The Picture Exchange Communication System, PECS)就是一種非常有效的訓(xùn)練方式，它利用孤獨(dú)癥兒童擅長(zhǎng)的視覺(jué)溝通來(lái)教會(huì)孤獨(dú)癥兒童利用圖片來(lái)進(jìn)行認(rèn)知交流，以此來(lái)啟發(fā)兒童的認(rèn)知能力，激發(fā)兒童的溝通欲望，培養(yǎng)其認(rèn)知溝通交流能力，并逐步將他們的交流方式從圖片溝通轉(zhuǎn)換到言語(yǔ)溝通。即使有些兒童最終也無(wú)法完全利用言語(yǔ)進(jìn)行溝通，圖片溝通的方式還是能被人接受，并使得兒童能夠與他人進(jìn)行有效的互動(dòng)。
[0004]1994年Bondy和Frost為84名孤獨(dú)癥兒童利用PECS進(jìn)行訓(xùn)練，得到良好的效果。Schwartz, Garfinkle和Bauer在1998年報(bào)道利用PECS訓(xùn)練那些起初有著很有限的自發(fā)聲音能力的兒童，提高了他們的自發(fā)言語(yǔ)功能。很多報(bào)道都聲稱PECS的使用會(huì)使得行為問(wèn)題的減少，提高社會(huì)行為能力。由于其訓(xùn)練優(yōu)勢(shì)和實(shí)際特點(diǎn)，PECS以及被孤獨(dú)癥治療團(tuán)體所采納，并在國(guó)際上廣泛使用。
[0005]PECS用于孤獨(dú)癥兒童的康復(fù)訓(xùn)練有著獨(dú)特的優(yōu)勢(shì)。首先，不同于其他訓(xùn)練，PECS的訓(xùn)練唯一的前提條件就是能過(guò)相關(guān)圖片清楚的指示其希望得到的東西。其他諸如眼神交流，動(dòng)作和言語(yǔ)模仿技能，安靜的坐在椅子上的能力，匹配能力，圖片區(qū)分能力和遵循言語(yǔ)指示的能力在訓(xùn)練早期階段都是不必要的。其次，PECS教給孩子的第一個(gè)技能是提出要求。提出要求因其具有激發(fā)孩子的功能，通常被作為對(duì)發(fā)育障礙的兒童進(jìn)行早期訓(xùn)練的一個(gè)訓(xùn)練目標(biāo)。而孤獨(dú)癥兒童又通常會(huì)因?yàn)榱⒓吹玫揭粋€(gè)具體的、實(shí)在的、他所希望得到的東西而更容易被激勵(lì)。第三，PECS的訓(xùn)練過(guò)程都強(qiáng)調(diào)自發(fā)性，而這種自發(fā)性真是孤獨(dú)癥兒童的問(wèn)題所在，他們往往缺少交流的自發(fā)性。最后，圖片符號(hào)是一種高度具象的，非常接近于參照物體的交流工具。他們非常容易被識(shí)別，并且比其他的交流系統(tǒng)更容易被交流對(duì)象所理解。
[0006]在孤獨(dú)癥研究方面，雖然很多研究者利用圖片溝通交流法訓(xùn)練孤獨(dú)癥兒童，但其實(shí)施方法仍然非常傳統(tǒng)，靈活度不高，趣味性不強(qiáng)，且需要很多人力投入?；赑ECS的移動(dòng)終端應(yīng)用已經(jīng)有開(kāi)發(fā)，如由Steven Troughton-Smith公司開(kāi)發(fā)的Grace App,由BoInnovations 公司開(kāi)發(fā)的 Picture Card Maker,由 Epsilon IT Systems 公司開(kāi)發(fā)的在安卓系統(tǒng)上運(yùn)行的Pocket EPECS，是目前比較優(yōu)秀的應(yīng)用。但是都僅限于為單一的移動(dòng)終端設(shè)計(jì)，現(xiàn)今還沒(méi)有一款包括PECS訓(xùn)練所有過(guò)程的計(jì)算機(jī)化PECS訓(xùn)練系統(tǒng)，也沒(méi)有任何一款PECS移動(dòng)終端應(yīng)用可以與基于計(jì)算機(jī)技術(shù)的PECS訓(xùn)練系統(tǒng)相配套。PECS的計(jì)算機(jī)化和利用高科技成果來(lái)增強(qiáng)其訓(xùn)練效果，還需要更多的努力。

【發(fā)明內(nèi)容】

[0007]為了克服上述現(xiàn)有技術(shù)的缺陷，本發(fā)明的目的在于提供一種智能化孤獨(dú)癥兒童認(rèn)知溝通行為早期訓(xùn)練系統(tǒng)，將移動(dòng)終端與基于計(jì)算機(jī)的PECS訓(xùn)練系統(tǒng)相配套，有助于孤獨(dú)癥兒童認(rèn)知溝通能力的康復(fù)訓(xùn)練與治療，既能在醫(yī)院部署，也能滿足家庭使用，并且部署在家庭的智能化孤獨(dú)癥兒童認(rèn)知溝通行為早期訓(xùn)練系統(tǒng)可以通過(guò)因特網(wǎng)與醫(yī)院的系統(tǒng)相互通信，醫(yī)生可以實(shí)施遠(yuǎn)程輔助訓(xùn)練指導(dǎo)。
[0008]為了達(dá)到上述目的，本發(fā)明的技術(shù)方案是這樣實(shí)現(xiàn)的:
[0009]一種智能化孤獨(dú)癥兒童認(rèn)知溝通行為早期訓(xùn)練系統(tǒng)，由計(jì)算機(jī)終端1，手持終端2，輸出終端3和Kinect感應(yīng)器4構(gòu)成，計(jì)算機(jī)終端I與手持終端2通過(guò)無(wú)線網(wǎng)絡(luò)連接進(jìn)行數(shù)據(jù)傳輸，計(jì)算機(jī)終端I還與輸出終端3信號(hào)端相連，Kinect感應(yīng)器4與計(jì)算機(jī)終端I通過(guò)USB數(shù)據(jù)線連接，實(shí)現(xiàn)人體的圖像信息和骨架信息實(shí)時(shí)傳輸?shù)接?jì)算機(jī)終端I進(jìn)行處理，所述的計(jì)算機(jī)終端I包括PECS、評(píng)價(jià)系統(tǒng)、控制面板系統(tǒng)和電子病歷管理系統(tǒng):
[0010]所述PECS與手持終端I的圖片溝通交流本實(shí)現(xiàn)無(wú)線通信，PECS與手持終端I上的圖片溝通交流本以及Kinect感應(yīng)器4共同構(gòu)成康復(fù)訓(xùn)練系統(tǒng)，Kinect感應(yīng)器4通過(guò)檢測(cè)受訓(xùn)兒童的位置信息和骨架信息并將其送入PECS，來(lái)確定受訓(xùn)兒童的位置和動(dòng)作，進(jìn)而判斷孤獨(dú)癥兒童的學(xué)習(xí)狀態(tài)，根據(jù)醫(yī)師對(duì)孤獨(dú)癥兒童的診斷情況，為孤獨(dú)癥兒童提供規(guī)律個(gè)性化的康復(fù)訓(xùn)練方案，并針對(duì)孤獨(dú)癥兒童的心理特點(diǎn)設(shè)計(jì)虛擬訓(xùn)練師；康復(fù)訓(xùn)練系統(tǒng)還根據(jù)康復(fù)訓(xùn)練師的診斷生成很多貼近孤獨(dú)癥兒童現(xiàn)實(shí)生活的虛擬場(chǎng)景，計(jì)算機(jī)將畫(huà)面利用輸出終端3投影在大屏幕上面；
[0011]評(píng)價(jià)系統(tǒng)用來(lái)評(píng)估訓(xùn)練患兒的效果，在訓(xùn)練的每階段，兒童耗費(fèi)的時(shí)間，兒童做完任務(wù)的成功率，以及與虛擬訓(xùn)練師互動(dòng)的情況都是用來(lái)評(píng)價(jià)的指標(biāo)，自動(dòng)生成客觀的評(píng)價(jià)表，寫(xiě)入數(shù)據(jù)庫(kù)中的相應(yīng)位置，評(píng)價(jià)系統(tǒng)最后會(huì)生成最終治療效果的趨勢(shì)圖，來(lái)總結(jié)患兒整個(gè)治療過(guò)程的表現(xiàn)，以供醫(yī)師進(jìn)行參考。
[0012]控制面板系統(tǒng)主要是調(diào)整系統(tǒng)與其他模塊或設(shè)備的關(guān)系和系統(tǒng)資源的設(shè)置，包含
三方面:
[0013]網(wǎng)絡(luò)設(shè)直:完成患兒手持終端與系統(tǒng)通過(guò)WIFI連接；
[0014]Kinect感應(yīng)器設(shè)置:完成Kinect與系統(tǒng)的連接，檢測(cè)孤獨(dú)癥兒童的位置信息和骨架信息；
[0015]系統(tǒng)資源配置:完成在訓(xùn)練中使用到的圖片和相應(yīng)的獎(jiǎng)勵(lì)刺激物的設(shè)置，由輔助訓(xùn)練醫(yī)師和家長(zhǎng)負(fù)責(zé)管理，醫(yī)師根據(jù)每個(gè)兒童的習(xí)慣規(guī)律和愛(ài)好，為其在訓(xùn)練之前添加相應(yīng)的圖片，設(shè)置游戲的速度使之更符合兒童的習(xí)慣。
[0016]所述的電子病歷管理系統(tǒng)部署在計(jì)算機(jī)上，功能包括存儲(chǔ)、顯示、添加、修改和刪除訓(xùn)練者的個(gè)人信息，病癥信息和治療情況，負(fù)責(zé)記錄孤獨(dú)癥兒童的訓(xùn)練進(jìn)展情況和孤獨(dú)癥兒童的信息，再結(jié)合評(píng)價(jià)系統(tǒng)最終生成孤獨(dú)癥兒童的電子病歷，這些信息以數(shù)據(jù)庫(kù)的方式存儲(chǔ)，并在此模塊中進(jìn)行操作，訓(xùn)練者的個(gè)人信息和病癥信息主要由醫(yī)師進(jìn)行編輯，而治療情況則由康復(fù)訓(xùn)練系統(tǒng)生成，顯示給家長(zhǎng)和醫(yī)師進(jìn)行參考。在家中訓(xùn)練時(shí)家長(zhǎng)將兒童的電子病歷發(fā)送給醫(yī)院的醫(yī)生，醫(yī)生針對(duì)兒童的訓(xùn)練情況對(duì)其訓(xùn)練方案進(jìn)行調(diào)整，然后反饋給家長(zhǎng)，如此反復(fù)。
[0017]所述的手持終端2是孤獨(dú)癥兒童用來(lái)操作的面板，其上安裝有手持終端圖片溝通交流本，其功能是激勵(lì)孤獨(dú)癥兒童進(jìn)行自主性認(rèn)知溝通交流，將其提出溝通交流的想法形象化，使得周?chē)娜烁玫睦斫馄湟螅陋?dú)癥兒童通過(guò)手持終端上的圖片溝通交流本發(fā)送命令給計(jì)算機(jī)終端I上的PECS，然后起接受計(jì)算機(jī)終端I的反饋激勵(lì)，這樣使得訓(xùn)練逐步進(jìn)行，進(jìn)而完成康復(fù)訓(xùn)練，圖片溝通交流本是基于IOS開(kāi)發(fā)的APP應(yīng)用程序，系統(tǒng)開(kāi)發(fā)以IOS移動(dòng)平臺(tái)為研究對(duì)象，使用Objective-C開(kāi)發(fā)語(yǔ)言，系統(tǒng)主要由⑶I (GraphicalUserInterface)界面模塊和功能模塊構(gòu)成。
[0018]所述的⑶I界面模塊包括主界面、圖片界面以及操作界面三部分:
[0019]所述的主界面包括導(dǎo)航欄、按鈕、分區(qū)、文本以及箭頭元素，點(diǎn)擊按鈕能夠切換顯示風(fēng)格，箭頭和文本嵌套于分區(qū)中，文本顯示選擇條目，箭頭用于指向下級(jí)界面。
[0020]所述的圖片界面包括圖片、按鈕、返回箭頭、前進(jìn)箭頭和操作框元素；用于完成圖片的瀏覽，返回，保存，復(fù)制，電子郵件發(fā)送以及取消發(fā)送功能。
[0021]所述的操作界面模擬PECS訓(xùn)練中孤獨(dú)癥兒童的動(dòng)作，它聯(lián)系了主界面和各級(jí)視圖界面之間的操作，將視圖和功能兩部分結(jié)合，完成一些觸發(fā)動(dòng)作。
[0022]所述的功能模塊包括圖片加載、圖片緩存、圖片放大縮小，圖片滾動(dòng)顯示以及圖片文本數(shù)據(jù)的傳輸，這些功能針對(duì)圖片進(jìn)行處理，方便孤獨(dú)癥兒童的康復(fù)訓(xùn)練:
[0023]所述的圖片加載包括本地圖片加載以及網(wǎng)絡(luò)圖片加載，用戶能夠從網(wǎng)絡(luò)上選擇圖片進(jìn)行下載和進(jìn)一步對(duì)圖片操作。
[0024]所述的圖片緩存用以保存從網(wǎng)絡(luò)上下載的圖片。
[0025]所述的圖片放大縮小實(shí)現(xiàn)雙擊則圖片放大，結(jié)合單視圖滾動(dòng)進(jìn)行查看，再雙擊則回到原始圖。
[0026]所述的圖片滾動(dòng)顯示模塊包括單視圖滾動(dòng)和多圖像分頁(yè)滾動(dòng)，其中單視圖滾動(dòng)實(shí)現(xiàn)對(duì)圖像詳細(xì)信息的查看，多圖像分頁(yè)滾動(dòng)實(shí)現(xiàn)當(dāng)有多幅圖像時(shí)滾動(dòng)界面顯示。
[0027]所述的圖片文本數(shù)據(jù)的傳輸包括圖片數(shù)據(jù)傳輸以及文本數(shù)據(jù)傳輸，用來(lái)將圖片和文本信息傳送給主機(jī)并接受主機(jī)反饋回來(lái)的信息，實(shí)現(xiàn)PECS設(shè)計(jì)的初衷——其中主機(jī)模擬訓(xùn)練人員，PECS系統(tǒng)模擬交流板；數(shù)據(jù)傳輸是通過(guò)郵件的形式發(fā)送實(shí)現(xiàn)，用戶點(diǎn)擊發(fā)動(dòng)按鈕就可以添加主機(jī)信息，然后發(fā)送命令給主機(jī)，主機(jī)在做出相應(yīng)反饋給用戶，完成一次康復(fù)訓(xùn)練。
[0028]本發(fā)明的優(yōu)點(diǎn):圖片溝通交流系統(tǒng)的訓(xùn)練是一個(gè)刺激孤獨(dú)癥兒童進(jìn)行自發(fā)性要求的訓(xùn)練；針對(duì)孤獨(dú)癥兒童的認(rèn)知溝通交流障礙，逐步進(jìn)行康復(fù)訓(xùn)練，提供科學(xué)完善的訓(xùn)練體系；針對(duì)孤獨(dú)癥兒童的心理特點(diǎn)設(shè)計(jì)虛擬化康復(fù)訓(xùn)練師，極大的降低了康復(fù)訓(xùn)練成本，節(jié)省人力資源，虛擬場(chǎng)景貼近生活能激發(fā)孤獨(dú)癥兒童認(rèn)知溝通的自主性，人機(jī)互動(dòng)性良好；此康復(fù)訓(xùn)練系統(tǒng)便攜性好，易于部署實(shí)施，在家庭可以很方便的使用，節(jié)省了去醫(yī)院的時(shí)間，對(duì)場(chǎng)地要求低，易于市場(chǎng)推廣；針對(duì)孤獨(dú)癥兒童的個(gè)體差異，設(shè)置符合他們生活規(guī)律的游戲，滿足廣大的患兒需求；同時(shí)將孤獨(dú)癥兒童的每次訓(xùn)練成功率及時(shí)間，繪制成表形象直觀，方便家長(zhǎng)和醫(yī)師跟蹤患兒的康復(fù)效果；最后生成的電子病歷方便家長(zhǎng)帶孩子就診和轉(zhuǎn)院，降低了孤獨(dú)癥兒童康復(fù)訓(xùn)練的成本；通過(guò)完成各個(gè)階段的訓(xùn)練孤獨(dú)癥兒童的認(rèn)知溝通交流能力得到極大的提聞。
【專利附圖】

【附圖說(shuō)明】
[0029]圖1是面向孤獨(dú)癥兒童認(rèn)知溝通能力的計(jì)算機(jī)化圖片溝通交流系統(tǒng)的系統(tǒng)組成；圖中:1為計(jì)算機(jī)；2為圖片交流系統(tǒng)的手持終端；3為投影屏.；4為Kinect感應(yīng)器。
[0030]圖2是孤獨(dú)癥兒童訓(xùn)練階段游戲流程圖。
[0031]圖3是康復(fù)訓(xùn)練系統(tǒng)的控制面板系統(tǒng)的結(jié)構(gòu)圖。
[0032]圖4是康復(fù)訓(xùn)練系統(tǒng)的電子病歷系統(tǒng)的結(jié)構(gòu)圖。
【具體實(shí)施方式】
[0033]結(jié)合附圖對(duì)本發(fā)明做進(jìn)一步的說(shuō)明。
[0034]參照?qǐng)D1，一種智能化孤獨(dú)癥兒童認(rèn)知溝通行為早期訓(xùn)練系統(tǒng)，如圖1所示由計(jì)算機(jī)終端I，手持終端2，輸出終端3和Kinect感應(yīng)器4構(gòu)成，計(jì)算機(jī)終端I與手持終端2通過(guò)無(wú)線網(wǎng)絡(luò)連接進(jìn)行數(shù)據(jù)傳輸，計(jì)算機(jī)終端I還與輸出終端3信號(hào)端相連，將計(jì)算機(jī)上的內(nèi)容顯示到屏幕，Kinect感應(yīng)器4與計(jì)算機(jī)終端I通過(guò)USB數(shù)據(jù)線連接，實(shí)現(xiàn)人體的圖像信息和骨架信息實(shí)時(shí)傳輸?shù)接?jì)算機(jī)終端I進(jìn)行處理；
[0035]行為訓(xùn)練游戲和與治療軟件相關(guān)的信息都在計(jì)算機(jī)終端I進(jìn)行，并且計(jì)算機(jī)終端I可以將游戲畫(huà)面利用輸出終端3投影在大屏幕上面。而受訓(xùn)的孤獨(dú)癥兒童可以利用手持終端設(shè)備2 (如iPad)及其上面運(yùn)行的軟件，通過(guò)以計(jì)算機(jī)終端I為熱點(diǎn)的WIFI無(wú)線網(wǎng)絡(luò)，給計(jì)算機(jī)終端I發(fā)送命令，實(shí)現(xiàn)手持終端設(shè)備2與計(jì)算機(jī)終端I的交互，并完成和三維人物的互動(dòng)過(guò)程。而Kinect感應(yīng)器4可以檢測(cè)受訓(xùn)兒童的位置信息，并將其送入計(jì)算機(jī)終端I的計(jì)算機(jī)軟件，使得計(jì)算機(jī)軟件通過(guò)此位置信息可以判斷下一步的游戲進(jìn)程，就完成了整個(gè)游戲治療的過(guò)程。
[0036]所述的手持終端2是孤獨(dú)癥兒童用來(lái)操作的面板，其上安裝有手持終端圖片溝通交流本，其功能是激勵(lì)孤獨(dú)癥兒童進(jìn)行自主性認(rèn)知溝通交流，將其提出溝通交流的想法形象化，使得周?chē)娜烁玫睦斫馄湟?。孤?dú)癥兒童通過(guò)手持終端上的圖片溝通交流本發(fā)送命令給計(jì)算機(jī)終端I上的PECS，然后起接受計(jì)算機(jī)終端I的反饋激勵(lì)，這樣使得訓(xùn)練逐步進(jìn)行，進(jìn)而完成康復(fù)訓(xùn)練。圖片溝通交流本是基于IOS開(kāi)發(fā)的APP應(yīng)用程序，系統(tǒng)開(kāi)發(fā)以IOS移動(dòng)平臺(tái)為研究對(duì)象，使用Objective-C開(kāi)發(fā)語(yǔ)言,系統(tǒng)主要由⑶I (Graphical UserInterface)界面模塊和功能模塊構(gòu)成。
[0037]所述的⑶I界面模塊包括主界面、圖片界面以及操作界面三部分，創(chuàng)造符合孤獨(dú)癥兒童心理需求的界面能夠最大限度增強(qiáng)用戶的興趣，調(diào)動(dòng)孤獨(dú)癥兒童使用的積極性。
[0038]所述的主界面包括導(dǎo)航欄、按鈕、分區(qū)、文本以及箭頭元素，點(diǎn)擊按鈕能夠切換顯示風(fēng)格，箭頭和文本嵌套于分區(qū)中，文本顯示選擇條目，箭頭用于指向下級(jí)界面。
[0039]所述的圖片界面包括圖片、按鈕、返回箭頭、前進(jìn)箭頭和操作框元素；用于完成圖片的瀏覽，返回，保存，復(fù)制，電子郵件發(fā)送以及取消發(fā)送功能。[0040]所述的操作界面模擬PECS訓(xùn)練中孤獨(dú)癥兒童的動(dòng)作，它聯(lián)系了主界面和各級(jí)視圖界面之間的操作，將視圖和功能兩部分結(jié)合，完成一些觸發(fā)動(dòng)作。
[0041]所述的功能模塊包括圖片加載、圖片緩存、圖片放大縮小，圖片滾動(dòng)顯示以及圖片文本數(shù)據(jù)的傳輸，這些功能針對(duì)圖片進(jìn)行處理，方便孤獨(dú)癥兒童的康復(fù)訓(xùn)練:
[0042]所述的圖片加載包括本地圖片加載以及網(wǎng)絡(luò)圖片加載，用戶能夠從網(wǎng)絡(luò)上選擇圖片進(jìn)行下載和進(jìn)一步對(duì)圖片操作，增大孤獨(dú)癥兒童圖片選擇的范圍，強(qiáng)調(diào)了孩子的興趣的選擇。
[0043]所述的圖片緩存用以保存從網(wǎng)絡(luò)上下載的圖片，這樣即使沒(méi)有網(wǎng)絡(luò)連接也能夠查看圖片信息。
[0044]所述的圖片放大縮小實(shí)現(xiàn)雙擊則圖片放大，結(jié)合單視圖滾動(dòng)進(jìn)行查看，再雙擊則回到原始圖。
[0045]所述的圖片滾動(dòng)顯示模塊包括單視圖滾動(dòng)和多圖像分頁(yè)滾動(dòng)，其中單視圖滾動(dòng)實(shí)現(xiàn)對(duì)圖像詳細(xì)信息的查看，多圖像分頁(yè)滾動(dòng)實(shí)現(xiàn)當(dāng)有多幅圖像時(shí)滾動(dòng)界面顯示。
[0046]所述的圖片文本數(shù)據(jù)的傳輸包括圖片數(shù)據(jù)傳輸以及文本數(shù)據(jù)傳輸，用來(lái)將圖片和文本信息傳送給主機(jī)并接受主機(jī)反饋回來(lái)的信息，實(shí)現(xiàn)PECS設(shè)計(jì)的初衷——其中主機(jī)模擬訓(xùn)練人員，PECS系統(tǒng)模擬交流板；數(shù)據(jù)傳輸是通過(guò)郵件的形式發(fā)送實(shí)現(xiàn)，用戶點(diǎn)擊發(fā)動(dòng)按鈕就可以添加主機(jī)信息，然后發(fā)送命令給主機(jī)，主機(jī)在做出相應(yīng)反饋給用戶，完成一次康復(fù)訓(xùn)練。
[0047]所述的計(jì)算機(jī)終端I包括PECS、評(píng)價(jià)系統(tǒng)、控制面板系統(tǒng)和電子病歷管理系統(tǒng):其主要完成虛擬訓(xùn)練師、虛擬場(chǎng)景的自動(dòng)生成以及與孤獨(dú)癥兒童的交互，生成孤獨(dú)癥兒童訓(xùn)練的評(píng)價(jià)表，對(duì)PECS的設(shè)置，以及孤獨(dú)癥兒童的電子病歷。計(jì)算機(jī)終端I通過(guò)無(wú)線網(wǎng)絡(luò)與手持終端2進(jìn)行數(shù)據(jù)傳輸，其接收手持終端2發(fā)來(lái)的命令，然后做出相應(yīng)的反饋，將獎(jiǎng)勵(lì)發(fā)送給孤獨(dú)癥兒童。部署在家庭中的計(jì)算機(jī)終端I可以通過(guò)因特網(wǎng)與醫(yī)院的計(jì)算機(jī)終端通信，這樣醫(yī)生可以在醫(yī)院指導(dǎo)孤獨(dú)癥兒童進(jìn)行康復(fù)訓(xùn)練，實(shí)現(xiàn)遠(yuǎn)程監(jiān)控。
[0048]所述的PECS與手持終端I的圖片溝通交流本實(shí)現(xiàn)無(wú)線通信，PECS與手持終端I上的圖片溝通交流本以及Kinect感應(yīng)器4共同構(gòu)成康復(fù)訓(xùn)練系統(tǒng)，Kinect感應(yīng)器4通過(guò)檢測(cè)受訓(xùn)兒童的位置信息和骨架信息并將其送入PECS，來(lái)確定受訓(xùn)兒童的位置和動(dòng)作，進(jìn)而判斷孤獨(dú)癥兒童的學(xué)習(xí)狀態(tài)，根據(jù)醫(yī)師對(duì)孤獨(dú)癥兒童的診斷情況，康復(fù)訓(xùn)練系統(tǒng)能夠?yàn)楣陋?dú)癥兒童提供規(guī)律個(gè)性化的康復(fù)訓(xùn)練方案，并針對(duì)孤獨(dú)癥兒童的心理特點(diǎn)設(shè)計(jì)虛擬訓(xùn)練師，從而激發(fā)孤獨(dú)癥兒童認(rèn)知溝通的自主參與性；康復(fù)訓(xùn)練系統(tǒng)還根據(jù)康復(fù)訓(xùn)練師的診斷生成很多貼近孤獨(dú)癥兒童現(xiàn)實(shí)生活的虛擬場(chǎng)景，趣味性強(qiáng)，計(jì)算機(jī)將畫(huà)面利用輸出終端3投影在大屏幕上面，使孤獨(dú)癥兒童如身臨其境，激發(fā)其的認(rèn)知溝通欲望，很好地滿足孤獨(dú)癥兒童的心理需求；
[0049]評(píng)價(jià)系統(tǒng)用來(lái)評(píng)估訓(xùn)練患兒的效果，在訓(xùn)練的每階段，兒童耗費(fèi)的時(shí)間，兒童做完任務(wù)的成功率，以及與虛擬訓(xùn)練師互動(dòng)的情況都是用來(lái)評(píng)價(jià)的指標(biāo)，自動(dòng)生成客觀的評(píng)價(jià)表，寫(xiě)入數(shù)據(jù)庫(kù)中的相應(yīng)位置，評(píng)價(jià)系統(tǒng)最后會(huì)生成最終治療效果的趨勢(shì)圖，來(lái)總結(jié)患兒整個(gè)治療過(guò)程的表現(xiàn)，以供醫(yī)師進(jìn)行參考；訓(xùn)練耗費(fèi)的時(shí)間越短，說(shuō)明兒童對(duì)認(rèn)知溝通能力的掌握越好。成功率越高，則說(shuō)明兒童掌握的熟練程度越好，在面對(duì)虛擬場(chǎng)景以及虛擬訓(xùn)練師時(shí)，表現(xiàn)的自主性越強(qiáng)，說(shuō)明兒童的訓(xùn)練效果顯著。[0050]圖3為康復(fù)訓(xùn)練系統(tǒng)的控制面板系統(tǒng)的構(gòu)成?？刂泼姘逑到y(tǒng)主要是調(diào)整系統(tǒng)與其他模塊或設(shè)備的關(guān)系和系統(tǒng)資源的設(shè)置，包含三方面:
[0051]網(wǎng)絡(luò)設(shè)置:完成患兒手持終端與系統(tǒng)通過(guò)WIFI連接；由于系統(tǒng)需要與移動(dòng)終端進(jìn)行連接，因此需要進(jìn)行網(wǎng)絡(luò)設(shè)置。網(wǎng)絡(luò)設(shè)置包括主機(jī)IP地址的確定，端口 Port的確定，以及網(wǎng)絡(luò)服務(wù)的開(kāi)啟和關(guān)閉。還應(yīng)可以探測(cè)是否有移動(dòng)終端的相關(guān)軟件與其發(fā)起連接，并顯示移動(dòng)終端的IP地址和用戶名。網(wǎng)絡(luò)設(shè)置中會(huì)提醒用戶任何網(wǎng)絡(luò)異常，并提醒用戶正確設(shè)置網(wǎng)絡(luò)，給出網(wǎng)絡(luò)狀態(tài)信息。
[0052]Kinect感應(yīng)器設(shè)置:完成Kinect與系統(tǒng)的連接，檢測(cè)孤獨(dú)癥兒童的位置信息和骨架信息；由于系統(tǒng)中的訓(xùn)練項(xiàng)目需要Kinect感應(yīng)器獲得訓(xùn)練者的位置信息和圖像信息，并加以處理，因此Kinect感應(yīng)器是否正常工作顯得非常重要。在該模塊中，需要測(cè)試Kinect是否與系統(tǒng)連接，如果未進(jìn)行連接，詢問(wèn)用戶是否開(kāi)啟連接。如果已連接，則進(jìn)一步測(cè)試Kinect工作是否正常，并顯示傳回的顏色圖形信息和深度圖像信息；
[0053]系統(tǒng)資源配置:完成在訓(xùn)練中使用到的圖片和相應(yīng)的獎(jiǎng)勵(lì)刺激物的設(shè)置，由輔助訓(xùn)練醫(yī)師和家長(zhǎng)負(fù)責(zé)管理，醫(yī)師根據(jù)每個(gè)兒童的習(xí)慣規(guī)律和愛(ài)好，為其在訓(xùn)練之前添加相應(yīng)的圖片，設(shè)置游戲的速度使之更符合兒童的習(xí)慣，這樣能更好的激發(fā)孤獨(dú)癥兒童認(rèn)知溝通交流的欲望。醫(yī)師可以根據(jù)需要，增加，刪除和修改在訓(xùn)練中使用的圖片和相應(yīng)的獎(jiǎng)勵(lì)刺激物，例如可以修改卡片的圖片，卡片的名稱，以及該卡片對(duì)應(yīng)的獎(jiǎng)勵(lì)刺激物，如影片，動(dòng)畫(huà)等。這些信息會(huì)存儲(chǔ)在相應(yīng)的文件中，并在治療中加載到游戲界面在訓(xùn)練中進(jìn)行使用。
[0054]圖4為康復(fù)訓(xùn)練系統(tǒng)的電子病歷管理系統(tǒng)的構(gòu)成。
[0055]所述的電子病歷管理系統(tǒng)部署在計(jì)算機(jī)上，功能包括存儲(chǔ)、顯示、添加、修改和刪除訓(xùn)練者的個(gè)人信息，病癥信息和治療情況，負(fù)責(zé)記錄孤獨(dú)癥兒童的訓(xùn)練進(jìn)展情況和孤獨(dú)癥兒童的信息，再結(jié)合評(píng)價(jià)系統(tǒng)最終生成孤獨(dú)癥兒童的電子病歷，這些信息以數(shù)據(jù)庫(kù)的方式存儲(chǔ)，并在此模塊中進(jìn)行操作，訓(xùn)練者的個(gè)人信息和病癥信息主要由醫(yī)師進(jìn)行編輯，醫(yī)師可以添加、刪除、修改孤獨(dú)癥兒童的信息，孤獨(dú)癥患者在每一階段訓(xùn)練情況以及有評(píng)價(jià)系統(tǒng)生成的評(píng)價(jià)表都最后，而治療情況則由康復(fù)訓(xùn)練系統(tǒng)生成，顯示給家長(zhǎng)和醫(yī)師進(jìn)行參考以及轉(zhuǎn)院，電子病歷包含著孤獨(dú)癥兒童每一階段的訓(xùn)練方案及訓(xùn)練進(jìn)展，這樣在每次訓(xùn)練結(jié)束后家長(zhǎng)都可以將其發(fā)送給醫(yī)生讓醫(yī)生來(lái)根據(jù)訓(xùn)練的效果進(jìn)行調(diào)整訓(xùn)練方案，如此循環(huán)。在家中訓(xùn)練時(shí)家長(zhǎng)將兒童的電子病歷發(fā)送給醫(yī)院的醫(yī)生，醫(yī)生針對(duì)兒童的訓(xùn)練情況對(duì)其訓(xùn)練方案進(jìn)行調(diào)整，然后反饋給家長(zhǎng)，如此反復(fù)。這樣能針對(duì)孤獨(dú)癥兒童訓(xùn)練中的問(wèn)題作出及時(shí)的應(yīng)答，使得兒童的訓(xùn)練方案更加符合其自身規(guī)律，有助于其快速的康復(fù)。
[0056]本發(fā)明的工作原理為:
[0057]圖2為孤獨(dú)癥兒童康復(fù)訓(xùn)練的游戲流程，每一過(guò)程大體流程都是類似的，只是在互動(dòng)環(huán)節(jié)，每個(gè)階段提出了不同的要求，并給予不同形式的獎(jiǎng)勵(lì)刺激。每個(gè)階段游戲都是以上圖表示的流程進(jìn)行，在虛線框之內(nèi)的部分，每個(gè)階段的區(qū)別比較大。每個(gè)階段游戲的具體操作過(guò)程如下。
[0058](I)第一階段，該階段需要訓(xùn)練孩子如何溝通。醫(yī)師可以通過(guò)之前對(duì)孩子的觀察，調(diào)整該階段利用的刺激元素。出現(xiàn)虛擬人和場(chǎng)景，虛擬人開(kāi)始介紹現(xiàn)在的情景，并提供可供選擇的刺激物，如電影或動(dòng)畫(huà)的截圖，小屏幕動(dòng)畫(huà)播放等。并等待孩子利用移動(dòng)終端進(jìn)行交流。這時(shí)的移動(dòng)終端上的圖片交流本軟件展現(xiàn)了代表他想要的刺激物的圖片。孩子利用該圖片進(jìn)行選擇。一旦圖片被選擇，該移動(dòng)終端就會(huì)利用WIFI將命令傳送給主機(jī)，并使得屏幕上的虛擬人做出相應(yīng)的動(dòng)作和表情來(lái)鼓勵(lì)孩子，并進(jìn)一步給予孩子獎(jiǎng)勵(lì)刺激。
[0059](2)第二階段，該階段需要訓(xùn)練孩子溝通的持續(xù)性和自發(fā)性。如上一階段，醫(yī)師調(diào)整該階段的刺激元素后進(jìn)行訓(xùn)練，游戲開(kāi)始后，虛擬人會(huì)介紹場(chǎng)景并提供可供選擇的刺激物。這時(shí)不僅僅需要兒童通過(guò)圖片交流本軟件進(jìn)行選擇，還需要孩子從離屏幕有一定距離的位置向顯示屏幕的虛擬人移動(dòng)，以顯示其自發(fā)的溝通。而主機(jī)這時(shí)不僅要檢測(cè)其是否能夠選擇圖片發(fā)送命令，還需要通過(guò)Kinect感應(yīng)器確認(rèn)其位置，看是否達(dá)到標(biāo)準(zhǔn)。當(dāng)孩子在規(guī)定的位置范圍內(nèi)通過(guò)移動(dòng)終端上的軟件發(fā)送命令后，虛擬訓(xùn)練師就會(huì)做出動(dòng)作和表情鼓勵(lì)孩子，并給予孩子獎(jiǎng)勵(lì)。
[0060](3)第三階段，該階段需要訓(xùn)練孩子鑒別圖片。經(jīng)過(guò)前兩個(gè)階段，醫(yī)師應(yīng)對(duì)孩子的喜好有了一定了解，并據(jù)此來(lái)調(diào)整該階段的刺激元素進(jìn)行訓(xùn)練。在游戲開(kāi)始后，虛擬訓(xùn)練師同樣會(huì)介紹場(chǎng)景，但此時(shí)虛擬人只會(huì)提供一種兒童喜歡的刺激物，這種刺激物以圖片或小屏幕電影的方式展現(xiàn)。此時(shí)在屏幕和圖片溝通交流本上，會(huì)出現(xiàn)包括此刺激物對(duì)應(yīng)圖片的兩個(gè)或多個(gè)圖片，供孩子進(jìn)行選擇。如果孩子選擇正確，則虛擬人做出動(dòng)作和表情來(lái)鼓勵(lì)孩子，并給予其獎(jiǎng)勵(lì)刺激。如果孩子作出的選擇不正確，則虛擬人會(huì)給孩子作出指示，幫助孩子區(qū)分兩張圖片，直至孩子正確的選擇出圖片。
[0061](4)第四階段，該階段需要訓(xùn)練孩子通過(guò)一個(gè)短語(yǔ)和圖片的方式來(lái)提出要求。根據(jù)對(duì)孩子喜好的了解，訓(xùn)練師調(diào)整該階段刺激元素。游戲開(kāi)始后，虛擬人會(huì)介紹場(chǎng)景，這時(shí)虛擬人提供孩子喜好的刺激物，這時(shí)要求孩子通過(guò)發(fā)送“我要”命令(可以通過(guò)文字圖片實(shí)現(xiàn))和一個(gè)交流圖片來(lái)對(duì)虛擬人提出要求。如果發(fā)送正確，則給予孩子相應(yīng)的獎(jiǎng)勵(lì)刺激。如果孩子沒(méi)有發(fā)送正確，則需要判斷錯(cuò)誤的類型。若缺少“我要”命令，則提示孩子增加這個(gè)元素。若圖片錯(cuò)誤，則提示孩子是否取對(duì)圖片。這樣引導(dǎo)孩子正確發(fā)送命令，直到成功發(fā)送。
[0062](5)第五階段，該階段與上一階段基本類似，但此時(shí)虛擬人會(huì)向孩子提出問(wèn)題“你想要什么？ ”如同上一階段，調(diào)整游戲的刺激元素后，虛擬人介紹場(chǎng)景，此時(shí)提出問(wèn)題“你想要什么？ ”，并等待孩子回答。孩子如同上一階段，用發(fā)生“我要”命令和一個(gè)交流圖片的方式回答虛擬人的問(wèn)題。如果發(fā)送正確，則給予孩子獎(jiǎng)勵(lì)刺激。如果發(fā)生不正確，則如上一階段判斷錯(cuò)誤類型，并引導(dǎo)孩子回答。需要時(shí)要重復(fù)提出該問(wèn)題。
[0063](6)第六階段，該階段與上階段不同的是，醫(yī)師需要選擇一些孩子并不是特別感興趣的刺激物和圖片。游戲開(kāi)始后，展示這個(gè)刺激物，并向孩子提出問(wèn)題“你看到了什么？ ”并等待孩子回答。與上一階段類似，孩子發(fā)送“我看到”和一個(gè)交流圖片的方式回答虛擬人的問(wèn)題。如果發(fā)送正確，則給予孩子他所喜歡的刺激物的獎(jiǎng)勵(lì)刺激(而不是展示的刺激物)。如果發(fā)生不正確，則如上一階段一樣，判斷錯(cuò)誤類型，引導(dǎo)孩子正確回答。需要時(shí)要重復(fù)提出該問(wèn)題。
[0064]游戲的每個(gè)階段的游戲刺激物與獎(jiǎng)勵(lì)物都應(yīng)由醫(yī)師在游戲進(jìn)行之前進(jìn)行調(diào)整，以適應(yīng)游戲的過(guò)程和階段的要求。剛開(kāi)始的階段，需要一名醫(yī)師來(lái)知道孩子順利完成游戲。等孩子比較熟悉之后，就盡可能讓孩子獨(dú)立進(jìn)行游戲過(guò)程。
【權(quán)利要求】
1.一種智能化孤獨(dú)癥兒童認(rèn)知溝通行為早期訓(xùn)練系統(tǒng)，其特征在于，由計(jì)算機(jī)終端(I),手持終端(2 )，輸出終端(3 )和Kinect感應(yīng)器(4 )構(gòu)成，計(jì)算機(jī)終端(I)與手持終端(2 )通過(guò)無(wú)線網(wǎng)絡(luò)連接進(jìn)行數(shù)據(jù)傳輸，計(jì)算機(jī)終端(I)還與輸出終端(3 )信號(hào)端相連，Kinect感應(yīng)器(4)與計(jì)算機(jī)終端(I)通過(guò)USB數(shù)據(jù)線連接，實(shí)現(xiàn)人體的圖像信息和骨架信息實(shí)時(shí)傳輸?shù)接?jì)算機(jī)終端(I)進(jìn)行處理。
2.根據(jù)權(quán)利要求1所述的一種智能化孤獨(dú)癥兒童認(rèn)知溝通行為早期訓(xùn)練系統(tǒng)，其特征在于，所述的計(jì)算機(jī)終端(I)包括PECS、評(píng)價(jià)系統(tǒng)、控制面板系統(tǒng)和電子病歷管理系統(tǒng): 所述的PECS與手持終端I的圖片溝通交流本實(shí)現(xiàn)無(wú)線通信，PECS與手持終端I上的圖片溝通交流本以及Kinect感應(yīng)器4共同構(gòu)成康復(fù)訓(xùn)練系統(tǒng)，Kinect感應(yīng)器4通過(guò)檢測(cè)受訓(xùn)兒童的位置信息和骨架信息并將其送入PECS，來(lái)確定受訓(xùn)兒童的位置和動(dòng)作，進(jìn)而判斷孤獨(dú)癥兒童的學(xué)習(xí)狀態(tài)，根據(jù)醫(yī)師對(duì)孤獨(dú)癥兒童的診斷情況，康復(fù)訓(xùn)練系統(tǒng)能夠?yàn)楣陋?dú)癥兒童提供規(guī)律個(gè)性化的康復(fù)訓(xùn)練方案，并針對(duì)孤獨(dú)癥兒童的心理特點(diǎn)設(shè)計(jì)虛擬訓(xùn)練師；康復(fù)訓(xùn)練系統(tǒng)還根據(jù)康復(fù)訓(xùn)練師的診斷生成很多貼近孤獨(dú)癥兒童現(xiàn)實(shí)生活的虛擬場(chǎng)景，計(jì)算機(jī)將畫(huà)面利用輸出終端3投影在大屏幕上面； 評(píng)價(jià)系統(tǒng)用來(lái)評(píng)估訓(xùn)練患兒的效果，在訓(xùn)練的每階段，兒童耗費(fèi)的時(shí)間，兒童做完任務(wù)的成功率，以及與虛擬訓(xùn)練師互動(dòng)的情況都是用來(lái)評(píng)價(jià)的指標(biāo)，自動(dòng)生成客觀的評(píng)價(jià)表，寫(xiě)入數(shù)據(jù)庫(kù)中的相應(yīng)位置，評(píng)價(jià)系統(tǒng)最后會(huì)生成最終治療效果的趨勢(shì)圖，來(lái)總結(jié)患兒整個(gè)治療過(guò)程的表現(xiàn)，以供醫(yī)師進(jìn)行參考； 控制面板系統(tǒng)主要 是調(diào)整系統(tǒng)與其他模塊或設(shè)備的關(guān)系和系統(tǒng)資源的設(shè)置，包含三方面: 網(wǎng)絡(luò)設(shè)置:完成患兒手持終端與系統(tǒng)通過(guò)WIFI連接； Kinect感應(yīng)器設(shè)置:完成Kinect與系統(tǒng)的連接，檢測(cè)孤獨(dú)癥兒童的位置信息和骨架信息； 系統(tǒng)資源配置:完成在訓(xùn)練中使用到的圖片和相應(yīng)的獎(jiǎng)勵(lì)刺激物的設(shè)置，由輔助訓(xùn)練醫(yī)師和家長(zhǎng)負(fù)責(zé)管理，醫(yī)師根據(jù)每個(gè)兒童的習(xí)慣規(guī)律和愛(ài)好，為其在訓(xùn)練之前添加相應(yīng)的圖片，設(shè)置游戲的速度使之更符合兒童的習(xí)慣； 所述的電子病歷管理系統(tǒng)部署在計(jì)算機(jī)上，功能包括存儲(chǔ)、顯示、添加、修改和刪除訓(xùn)練者的個(gè)人信息，病癥信息和治療情況，負(fù)責(zé)記錄孤獨(dú)癥兒童的訓(xùn)練進(jìn)展情況和孤獨(dú)癥兒童的信息，再結(jié)合評(píng)價(jià)系統(tǒng)最終生成孤獨(dú)癥兒童的電子病歷，這些信息以數(shù)據(jù)庫(kù)的方式存儲(chǔ)，并在此模塊中進(jìn)行操作，訓(xùn)練者的個(gè)人信息和病癥信息主要由醫(yī)師進(jìn)行編輯，而治療情況則由康復(fù)訓(xùn)練系統(tǒng)生成，顯示給家長(zhǎng)和醫(yī)師進(jìn)行參考。在家中訓(xùn)練時(shí)家長(zhǎng)將兒童的電子病歷發(fā)送給醫(yī)院的醫(yī)生，醫(yī)生針對(duì)兒童的訓(xùn)練情況對(duì)其訓(xùn)練方案進(jìn)行調(diào)整，然后反饋給家長(zhǎng)，如此反復(fù)。
3.根據(jù)權(quán)利要求1所述的一種智能化孤獨(dú)癥兒童認(rèn)知溝通行為早期訓(xùn)練系統(tǒng)，其特征在于，所述的手持終端(2)是孤獨(dú)癥兒童用來(lái)操作的面板，其上安裝有手持終端圖片溝通交流本，其功能是激勵(lì)孤獨(dú)癥兒童進(jìn)行自主性認(rèn)知溝通交流，將其提出溝通交流的想法形象化，使得周?chē)娜烁玫睦斫馄湟?。孤?dú)癥兒童通過(guò)手持終端上的圖片溝通交流本發(fā)送命令給計(jì)算機(jī)終端(I)上的PECS，然后起接受計(jì)算機(jī)終端(I)的反饋激勵(lì)，這樣使得訓(xùn)練逐步進(jìn)行，進(jìn)而完成康復(fù)訓(xùn)練。圖片溝通交流本是基于IOS開(kāi)發(fā)的APP應(yīng)用程序，系統(tǒng)開(kāi)發(fā)以IOS移動(dòng)平臺(tái)為研究對(duì)象,使用Objective-C開(kāi)發(fā)語(yǔ)言，系統(tǒng)主要由⑶I (Graphical UserInterface)界面模塊和功能模塊構(gòu)成。
4.根據(jù)權(quán)利要求3所述的一種智能化孤獨(dú)癥兒童認(rèn)知溝通行為早期訓(xùn)練系統(tǒng)，其特征在于，所述的GUI界面模塊包括主界面、圖片界面以及操作界面三部分: 所述的主界面包括導(dǎo)航欄、按鈕、分區(qū)、文本以及箭頭元素，點(diǎn)擊按鈕能夠切換顯示風(fēng)格，箭頭和文本嵌套于分區(qū)中，文本顯示選擇條目，箭頭用于指向下級(jí)界面。 所述的圖片界面包括圖片、按鈕、返回箭頭、前進(jìn)箭頭和操作框元素；用于完成圖片的瀏覽，返回，保存，復(fù)制，電子郵件發(fā)送以及取消發(fā)送功能。 所述的操作界面模擬PECS訓(xùn)練中孤獨(dú)癥兒童的動(dòng)作，它聯(lián)系了主界面和各級(jí)視圖界面之間的操作，將視圖和功能兩部分結(jié)合，完成一些觸發(fā)動(dòng)作。
5.根據(jù)權(quán)利要求3所述的一種智能化孤獨(dú)癥兒童認(rèn)知溝通行為早期訓(xùn)練系統(tǒng)，其特征在于，所述的功能模塊包括圖片加載、圖片緩存、圖片放大縮小，圖片滾動(dòng)顯示以及圖片文本數(shù)據(jù)的傳輸，這些功能針對(duì)圖片進(jìn)行處理，方便孤獨(dú)癥兒童的康復(fù)訓(xùn)練: 所述的圖片加載包括本地圖片加載以及網(wǎng)絡(luò)圖片加載，用戶能夠從網(wǎng)絡(luò)上選擇圖片進(jìn)行下載和進(jìn)一步對(duì)圖片操作； 所述的圖片緩存用以保存從網(wǎng)絡(luò)上下載的圖片； 所述的圖片放大 縮小實(shí)現(xiàn)雙擊則圖片放大，結(jié)合單視圖滾動(dòng)進(jìn)行查看，再雙擊則回到原始圖； 所述的圖片滾動(dòng)顯示模塊包括單視圖滾動(dòng)和多圖像分頁(yè)滾動(dòng)，其中單視圖滾動(dòng)實(shí)現(xiàn)對(duì)圖像詳細(xì)信息的查看，多圖像分頁(yè)滾動(dòng)實(shí)現(xiàn)當(dāng)有多幅圖像時(shí)滾動(dòng)界面顯示； 所述的圖片文本數(shù)據(jù)的傳輸包括圖片數(shù)據(jù)傳輸以及文本數(shù)據(jù)傳輸，用來(lái)將圖片和文本信息傳送給主機(jī)并接受主機(jī)反饋回來(lái)的信息，實(shí)現(xiàn)PECS設(shè)計(jì)的初衷——其中主機(jī)模擬訓(xùn)練人員，PECS系統(tǒng)模擬交流板；數(shù)據(jù)傳輸是通過(guò)郵件的形式發(fā)送實(shí)現(xiàn)，用戶點(diǎn)擊發(fā)動(dòng)按鈕就可以添加主機(jī)信息，然后發(fā)送命令給主機(jī)，主機(jī)在做出相應(yīng)反饋給用戶，完成一次康復(fù)訓(xùn)練。
【文檔編號(hào)】G06F19/00GK103794110SQ201410035362
【公開(kāi)日】2014年5月14日 申請(qǐng)日期:2014年1月24日 優(yōu)先權(quán)日:2014年1月24日
【發(fā)明者】王玨, 劉天, 王冠雄, 李晨曦 申請(qǐng)人:西安交通大學(xué)