3d手寫識(shí)別svm分類器核參數(shù)選取方法及用途
【專利摘要】本發(fā)明公開了一種3D手寫識(shí)別SVM分類器核參數(shù)選取方法。該方法通過改進(jìn)螢火蟲群優(yōu)化算法(GlowwormSwarmOptimization,GSO)中螢火蟲的位置更新公式，并且在個(gè)體移動(dòng)過程中引入亮度特征大幅提高了算法的正確率與收斂性，從而選擇出最佳的SVM核函數(shù)參數(shù)，構(gòu)造出性能優(yōu)異的分類器。利用本發(fā)明的方法，可以構(gòu)建性能更好的3D手寫識(shí)別系統(tǒng)，有效地提高3D手寫識(shí)別系統(tǒng)的識(shí)別率。
【專利說明】3D手寫識(shí)別SVM分類器核參數(shù)選取方法及用途
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于3D手寫識(shí)別【技術(shù)領(lǐng)域】，特別涉及3D手寫識(shí)別技術(shù)中的SVM分類器優(yōu)化的問題。
【背景技術(shù)】
[0002]手寫識(shí)別技術(shù)是在人機(jī)交互技術(shù)趨勢(shì)下逐漸發(fā)展形成的一門熱門技術(shù)。對(duì)比傳統(tǒng)的平面手寫識(shí)別，3D手寫識(shí)別是目前一種新興的手寫識(shí)別技術(shù)，可以提供給用戶一種更加自然和高效的人機(jī)交互體驗(yàn)，在這些年逐漸成為了手寫識(shí)別技術(shù)的研究熱點(diǎn)，是今后手寫識(shí)別的發(fā)展趨勢(shì)。
[0003]一直以來，SVM分類器的核函數(shù)參數(shù)優(yōu)化問題是3D手寫識(shí)別過程的關(guān)鍵技術(shù)，核函數(shù)的性能對(duì)于最后的識(shí)別正確率有著重要的影響。傳統(tǒng)的SVM核函數(shù)參數(shù)選取方法包括網(wǎng)格搜索法與交叉驗(yàn)證法，這兩種方法的優(yōu)點(diǎn)是算法實(shí)現(xiàn)較為簡(jiǎn)單，但同時(shí)也暴露出訓(xùn)練出來的分類器識(shí)別精度偏低的缺陷，也不能夠滿足對(duì)于3D手寫識(shí)別正確率的要求。近年來隨著群智能算法的崛起，學(xué)者們開始研究如何將群智能算法應(yīng)用于SVM核函數(shù)領(lǐng)域。目前常見的應(yīng)用于SVM核函數(shù)領(lǐng)域的群智能算法包括遺傳算法、粒子群算法和蛙跳算法。遺傳算法的特點(diǎn)是對(duì)目標(biāo)函數(shù)要求不高，局部性能較好，但是對(duì)初值敏感，算法精度偏低；粒子群算法的特點(diǎn)是收斂速度快，全局性能好，但是其局部性能較差，很容易陷入局部極值，出現(xiàn)早熟現(xiàn)象；蛙跳算法的特點(diǎn)是魯棒性較好，但是算法精度偏低，并且實(shí)現(xiàn)復(fù)雜。以上算法都在不同程度上滿足了 SVM核函數(shù)參數(shù)選取的要求，但是對(duì)于全局與局部性能的平衡，以及魯棒性、簡(jiǎn)易性和計(jì)算精度的兼顧上仍有欠缺，在3D手寫識(shí)別系統(tǒng)中的識(shí)別效果不是很
理相
[0004]2005 年，Krishnanand 與 Ghose 提出 了螢火蟲算法(Glowworm SwarmOptimization, GS0)。螢火蟲算法是新一批崛起的群智能算法的代表，以其極強(qiáng)的局部與全局優(yōu)化性能、較高的魯棒性等天然優(yōu)勢(shì)受到了學(xué)者的廣泛關(guān)注，目前已成功應(yīng)用于多模態(tài)函數(shù)優(yōu)化、傳感器的噪聲測(cè)試、有害氣體泄露定位和計(jì)算機(jī)模擬人工機(jī)器人等人工智能領(lǐng)域。在基本螢火蟲算法中，發(fā)光越亮的螢火蟲所在位置的目標(biāo)函數(shù)值越優(yōu)，每只螢火蟲都擁有自己的視野范圍，在視野范圍內(nèi)依靠動(dòng)態(tài)決策來選擇比自己亮度高的螢火蟲結(jié)為鄰居并決定移動(dòng)方向。這種依賴于局部信息搜索的機(jī)制使得螢火蟲算法整體上不易陷于局部極值點(diǎn)并且因?yàn)閯?dòng)態(tài)決策域的存在，魯棒性都得到保證，同時(shí)螢火蟲個(gè)體傾向于向最優(yōu)位置、熒光最亮個(gè)體移動(dòng)，最優(yōu)個(gè)體隨機(jī)移動(dòng)，尋找更優(yōu)位置，從而使整個(gè)群體形成正反饋，全局尋優(yōu)能力大大增強(qiáng)，因此理論上很適合組合參數(shù)式(類似于SVM核參數(shù)的懲罰因子和高斯徑向基寬度的參數(shù)組合)的全局優(yōu)化過程。但是螢火蟲算法收斂速度還不夠快，算法后期會(huì)出現(xiàn)的收斂不穩(wěn)定現(xiàn)象，這些缺點(diǎn)限制了螢火蟲算法在3D手寫識(shí)別中的應(yīng)用。

【發(fā)明內(nèi)容】

[0005]本發(fā)明的目的是提供一種3D手寫識(shí)別SVM分類器核參數(shù)選取方法及用途，從而構(gòu)建性能更加優(yōu)良的3D手寫識(shí)別系統(tǒng)，進(jìn)而可以有效地提高3D手寫識(shí)別系統(tǒng)的識(shí)別率。
[0006]本發(fā)明的技術(shù)方案如下:
[0007]3D手寫識(shí)別SVM分類器核參數(shù)選取方法，核參數(shù)選取過程包括以下步驟:
[0008]I)加速度傳感器采集數(shù)據(jù):采用三維加速度傳感器評(píng)估板進(jìn)行數(shù)據(jù)的采集；
[0009]2)預(yù)處理:預(yù)處理階段使用卡爾曼濾波方法濾除環(huán)境因素帶來的手抖、溫度噪聲，同時(shí)對(duì)因?yàn)闀鴮懻叩臅鴮戫樞蚺c姿勢(shì)不同帶來的差異進(jìn)行數(shù)據(jù)歸一化；
[0010]3)特征提取:提取旋轉(zhuǎn)特征作為時(shí)域特征，提取快速傅氏變換特征作為頻域特征；采用串行方法進(jìn)行時(shí)域和頻域特征融合，得到時(shí)頻域融合特征；利用主成分分析和線性鑒別分析組合算法降維；
[0011]4) SVM分類識(shí)別:識(shí)別部分選用徑向基核函數(shù)作為訓(xùn)練函數(shù)，首先設(shè)定懲罰因子和徑向基核函數(shù)寬度的變化范圍，構(gòu)成解空間，將螢火蟲隨機(jī)分布在解空間中，在每次迭代過程中通過改進(jìn)位置更新機(jī)制并參考亮度因素進(jìn)行位置更新，算法的最優(yōu)解即代表SVM核參數(shù)的最佳值，最后利用3D手寫特征樣本和優(yōu)化過的核函數(shù)訓(xùn)練出最佳的SVM分類器，從而對(duì)新的3D手寫數(shù)據(jù)進(jìn)行高精度的分類判斷。
[0012]步驟4)中所述的位置更新機(jī)制的公式如下所示:
[0013]X(?+1) = λ；(O+Ij(O*/ι,: (λ-, -χ:)+α^{rand-1/2)
[0014]該公式表示當(dāng)在視野范圍內(nèi)遇到比自己亮的螢火蟲時(shí)，利用彼此之間的距離參考空間能見度，形成一個(gè)高亮度個(gè)體對(duì)低亮度個(gè)體的吸引力，并且使用常量e來加速收斂；其中表示距離為O時(shí)的吸引力，Y為光強(qiáng)吸收系數(shù)，熒光會(huì)隨著距離的增加和傳播媒介的
吸收而減弱，e為數(shù)學(xué)常量，< 表示兩只螢火蟲之間的歐幾里得距離的平方，'構(gòu)
成了相互靠近的兩只螢火蟲之間的吸引力，乘上兩點(diǎn)之間的距離(\-Xi)則表示螢火蟲移動(dòng)的步伐量，α是步長(zhǎng)因子，是[0，I]上的常量，rand為[0，I]上服從均勻分布的隨機(jī)因子，X表示螢火蟲的位置，t表示當(dāng)前迭代的次數(shù)，i表示螢火蟲種群中第i只螢火蟲，Ij (t)表示第j只螢火蟲的亮度。
[0015]一種所述的3D手寫識(shí)別SVM分類器核參數(shù)選取方法的用途，用于3D手寫識(shí)別。
[0016]與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是:本發(fā)明的3D手寫SVM分類器核參數(shù)選取方法，克服了傳統(tǒng)核參數(shù)選取算法中出現(xiàn)的選取速度慢、局部搜索性能差、易陷入局部最優(yōu)的缺陷，從而訓(xùn)練出更好的分類器模型。通過改進(jìn)螢火蟲位置更新公式并在螢火蟲個(gè)體的位置更新過程中添加亮度因素，使得算法初期當(dāng)所要移向的螢火蟲亮度越高時(shí)，移動(dòng)速度越快，在算法后期由于亮度值接近，移動(dòng)速度減慢，從而能夠在最佳位置附近進(jìn)行微調(diào)。彌補(bǔ)了算法因?yàn)橐苿?dòng)過程中固定步長(zhǎng)造成精度下降的缺陷，同時(shí)提高了算法收斂速度，以上的算法改進(jìn)策略能夠有效地選取出SVM核參數(shù)，構(gòu)造出性能優(yōu)異的分類器，大大提高了手寫識(shí)別系統(tǒng)的識(shí)別率。
【專利附圖】

【附圖說明】
[0017]圖1是本發(fā)明的SVM分類識(shí)別的位置更新機(jī)制示意圖；
[0018]圖2是本發(fā)明的3D手寫識(shí)別系統(tǒng)框圖；
[0019]圖3是本發(fā)明的SVM核參數(shù)選取的流程圖。【具體實(shí)施方式】
[0020]本發(fā)明主要涉及SVM核參數(shù)選取的算法改進(jìn)，如圖1所示，表現(xiàn)出在位置更新時(shí)加入亮度因素會(huì)影響移動(dòng)步長(zhǎng)的大??；結(jié)合圖1說明選取SVM核參數(shù)具體過程如下:
[0021]在基本螢火蟲算法中，首先在解空間中隨機(jī)分布η只螢火蟲，每只螢火蟲都擁有自己的亮度初值，而它們的亮度高低是與目前所處位置的函數(shù)值有關(guān)的，位置越好，則亮度越高。每只螢火蟲都擁有一個(gè)視線范圍(也稱為動(dòng)態(tài)決策域)，在該視線范圍內(nèi)尋找比自己亮度高的螢火蟲，并形成鄰居集合，然后通過輪盤概率法選擇出相對(duì)亮度最高的那只螢火蟲并向其移動(dòng)。移動(dòng)完畢后更新自己的亮度、位置與動(dòng)態(tài)決策域，以尋找下一個(gè)合適的螢火蟲。整個(gè)算法的迭代流程分為:亮度更新階段、位置更新階段以及動(dòng)態(tài)決策域更新階段。
[0022](I)亮度更新階段:
[0023]亮度值按照如下公式進(jìn)行更新:
【權(quán)利要求】
1.一種3D手寫識(shí)別SVM分類器核參數(shù)選取方法，其特征在于，核參數(shù)選取過程包括以下步驟: 1)加速度傳感器采集數(shù)據(jù):采用三維加速度傳感器評(píng)估板進(jìn)行數(shù)據(jù)的采集； 2)預(yù)處理:預(yù)處理階段使用卡爾曼濾波方法濾除環(huán)境因素帶來的手抖、溫度噪聲，同時(shí)對(duì)因?yàn)闀鴮懻叩臅鴮戫樞蚺c姿勢(shì)不同帶來的差異進(jìn)行數(shù)據(jù)歸一化； 3)特征提取:提取旋轉(zhuǎn)特征作為時(shí)域特征，提取快速傅氏變換特征作為頻域特征；采用串行方法進(jìn)行時(shí)域和頻域特征融合，得到時(shí)頻域融合特征；利用主成分分析和線性鑒別分析組合算法降維； 4)SVM分類識(shí)別:識(shí)別部分選用徑向基核函數(shù)作為訓(xùn)練函數(shù)，首先設(shè)定懲罰因子和徑向基核函數(shù)寬度的變化范圍，構(gòu)成解空間，將螢火蟲隨機(jī)分布在解空間中，在每次迭代過程中通過改進(jìn)位置更新機(jī)制并參考亮度因素進(jìn)行位置更新，算法的最優(yōu)解即代表SVM核參數(shù)的最佳值，最后利用3D手寫特征樣本和優(yōu)化過的核函數(shù)訓(xùn)練出最佳的SVM分類器，從而對(duì)新的3D手寫數(shù)據(jù)進(jìn)行高精度的分類判斷。
2.如權(quán)利要求1所述的3D手寫識(shí)別SVM分類器核參數(shù)選取方法，其特征在于，步驟4)中所述的位置更新機(jī)制的公式如下所示:
3.—種如權(quán)利要求1所述的3D手寫識(shí)別SVM分類器核參數(shù)選取方法的用途，用于3D手寫識(shí)別。
【文檔編號(hào)】G06N3/00GK103942574SQ201410063443
【公開日】2014年7月23日 申請(qǐng)日期:2014年2月25日 優(yōu)先權(quán)日:2014年2月25日
【發(fā)明者】沈海斌, 楊海 申請(qǐng)人:浙江大學(xué)