本發(fā)明涉及醫(yī)學(xué)圖像處理,尤其是涉及一種開放環(huán)境下中醫(yī)舌象圖像分割方法。
背景技術(shù):
傳統(tǒng)的中醫(yī)舌診,主要依靠醫(yī)生的肉眼觀察進(jìn)行分析判斷,診斷結(jié)果往往與醫(yī)生的知識(shí)水平和經(jīng)驗(yàn)積累有關(guān),近年來(lái),信息技術(shù)的發(fā)展推動(dòng)了中醫(yī)舌象分析客觀化、數(shù)字化和自動(dòng)化的進(jìn)程。國(guó)內(nèi)外學(xué)者對(duì)此進(jìn)行了許多有益的探索,并開發(fā)了一些舌象分析系統(tǒng),取得了較好的效果(余興龍,竺子民,金國(guó)潘,等.中醫(yī)舌診自動(dòng)識(shí)別系統(tǒng)[j].儀器儀表學(xué)報(bào),1994,15(1):67-71;蔣依吾.電腦化中醫(yī)舌診系統(tǒng)[j].中國(guó)中西醫(yī)結(jié)合雜志,2000,20(2):145-147;caiy.anovelimagingsystemfortongueinspection[c].ieeeimtc,alaska.ieee,2002:159–163;zhanghz,wangkq,zhangd,pangb,huangb.computeraidedtonguediagnosissystem[j].confprocieeeengmedbiosoc,2005,7:6754-6757),但這些數(shù)字化舌診分析系統(tǒng)的拍攝環(huán)境通常是固定的,即在密閉、光照穩(wěn)定的環(huán)境下拍攝采集,這樣能夠得到高質(zhì)量的舌象圖像,但存在一定局限性,表現(xiàn)在采集設(shè)備的特殊性與不易攜帶。在舌象圖像分割方面,香港理工大學(xué)david.zhang等人在這一領(lǐng)域取得了較新的研究成果,進(jìn)行了許多有益的探索(pangb,zhangd,wangk.thebi-ellipticaldeformablecontouranditsapplicationtoautomatedtonguesegmentationinchinesemedicine[j].ieeetransactionsonmedicalimaging,2005,24(8):946;ningj,zhangd,wuc,etal.automatictongueimagesegmentationbasedongradientvectorflowandregionmerging[j].neuralcomputingandapplications,2012,21(8):1-8;cuiz,zuow,zhangh,etal.automatedtonguesegmentationbasedon2dgaborfiltersandfastmarching[m]//intelligencescienceandbigdataengineering.2013:328-335;wuk,zhangd.robusttonguesegmentationbyfusingregion-basedandedge-basedapproaches[j].expertsystemswithapplications,2015,42(21):8027-8038.)。
隨著智能手機(jī)、平板電腦等移動(dòng)設(shè)備的普及,通過(guò)移動(dòng)設(shè)備在開放的自然環(huán)境下進(jìn)行舌象采集,獲得個(gè)人健康信息逐漸成為一個(gè)發(fā)展方向。但隨之而來(lái)的問(wèn)題是,由于在開放環(huán)境下采集舌象,存在光源色溫、光線強(qiáng)弱、拍攝角度、設(shè)備差異等諸多不確定因素的影響,使得最終獲取的圖像同固定環(huán)境相比,采集的舌象圖像往往存在較大差異,對(duì)后續(xù)的分析帶來(lái)困難。不可避免的是,在采集舌象的過(guò)程中,難免有一些非舌象區(qū)域被采集,例如臉、牙齒、嘴唇和背景中的其他物體。然而,舌象特征提取與診斷結(jié)果完全依賴于舌體,因此,在開放環(huán)境下采集舌象進(jìn)行分析時(shí),對(duì)舌體進(jìn)行檢測(cè)與分割顯得十分重要。在對(duì)舌象進(jìn)行分析前,對(duì)圖像進(jìn)行舌象圖像分割有助于提高系統(tǒng)后續(xù)的分析速度和準(zhǔn)確率,也有助于中醫(yī)醫(yī)生直觀、準(zhǔn)確、方便的觀察舌象,提高診斷的速度。舌象圖像分割的目的是將舌體圖像從圖像背景中分離出來(lái),舌象圖像分割的準(zhǔn)確性直接影響整個(gè)系統(tǒng)的容錯(cuò)率與健壯性。
目前,針對(duì)開放環(huán)境下中醫(yī)舌象圖像分割展開的研究并不多,與該發(fā)明方法最接近的技術(shù)為中國(guó)專利cn203970354u(申請(qǐng)人為廈門強(qiáng)本科技有限公司,發(fā)明人王博亮)公開一種基于移動(dòng)終端的中醫(yī)舌象分析系統(tǒng),對(duì)移動(dòng)設(shè)備采集的舌象進(jìn)行處理、分析。該系統(tǒng)雖然實(shí)現(xiàn)了舌象圖像分割功能,但也存在一些不足之處:
1、采用窮舉的方式對(duì)待分割目標(biāo)切分小塊,轉(zhuǎn)換到霍夫空間投票,算法復(fù)雜,處理速度慢;而在開放環(huán)境下采用移動(dòng)設(shè)備進(jìn)行舌象采集、診斷,往往對(duì)處理過(guò)程的實(shí)時(shí)性要求較高;
2、處理過(guò)程中需要用較多的參數(shù)來(lái)描述舌象模型,比較復(fù)雜,實(shí)現(xiàn)比較困難;
3、需要有監(jiān)督的訓(xùn)練大量數(shù)據(jù),需要人工手動(dòng)標(biāo)記出前景和背景,從而建立檢測(cè)模型,訓(xùn)練過(guò)程難度大;
4、進(jìn)行數(shù)據(jù)訓(xùn)練時(shí),要求樣本盡可能多,對(duì)數(shù)據(jù)集的依賴性高且容易過(guò)擬合,陷入局部極值。
此外,中國(guó)專利cn106023151a(本申請(qǐng)的發(fā)明人黃曉陽(yáng),鄭豐,王博亮,王彥暉)公開一種開放環(huán)境下中醫(yī)舌象目標(biāo)檢測(cè)方法,但是方法采用單一紋理特征進(jìn)行檢測(cè),對(duì)舌體邊緣的細(xì)節(jié)部分分割效果不夠精確,該方法對(duì)舌體分割的準(zhǔn)確率和魯棒性有待提高。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明的目的在于針對(duì)現(xiàn)有的在開放環(huán)境下采集舌象過(guò)程中存在諸多不足之處,如:光源色溫、光線強(qiáng)弱、拍攝角度、設(shè)備差異等諸多不確定因素的影響,使得最終獲取的圖像同固定環(huán)境相比,采集的舌象圖像往往存在較大差異,對(duì)后續(xù)的分析帶來(lái)困難等問(wèn)題,提供可快速并準(zhǔn)確地分割出可供后續(xù)分析的舌象,以便于進(jìn)行后續(xù)舌象分析的一種開放環(huán)境下中醫(yī)舌象圖像分割方法。
本發(fā)明包括以下步驟:
1)輸入在開放環(huán)境下采集的圖像a;
2)對(duì)采集的圖像a進(jìn)行顏色校正,得到校正圖像b;
3)對(duì)步驟2)得到的校正圖像b進(jìn)行圖像初步分割;
4)對(duì)步驟3)得到的圖像c中的各個(gè)連通域進(jìn)行特征提??;
5)對(duì)步驟4)提取到的各個(gè)凸包的特征,用隨機(jī)森林分類器計(jì)算舌體位置;
6)以步驟5)得到的舌體區(qū)域d為基礎(chǔ),對(duì)圖像b進(jìn)行開放環(huán)境下中醫(yī)舌象圖像分割方法。
在步驟2)中,所述對(duì)采集的圖像a進(jìn)行顏色校正的具體方法可為:
(1)在標(biāo)準(zhǔn)光照環(huán)境下采集舌象圖像s1,計(jì)算舌象圖像s1的rgb三個(gè)顏色通道均值分別與舌象圖像s1的整體均值ks的比值αr、αg、αb:
k=(ravg+gavg+bavg)/3
其中,k為圖像a的整體均值,ravg、gavg、bavg分別為圖像a的rgb三個(gè)顏色通道的均值;rd、gd、bd為校正圖像b每個(gè)像素點(diǎn)的rgb三個(gè)顏色通道的值,rs、gs、bs為圖像a每個(gè)像素點(diǎn)的rgb三個(gè)顏色通道的值;
在步驟3)中,所述對(duì)步驟2)得到的校正圖像b進(jìn)行圖像初步分割的具體方法可為:
(1)將校正圖像b轉(zhuǎn)換到灰度空間圖像fb1,按照最大類間方差法(參見文獻(xiàn):ohtsun.athresholdselectionmethodfromgray-levelhistograms[j].systemman&cyberneticsieeetransactionson,1979,9(1):62-66.)對(duì)灰度空間圖像fb1進(jìn)行閾值分割,得到分割圖像b1’,并對(duì)分割圖像b1’運(yùn)用形態(tài)學(xué)運(yùn)算平滑連通域,得到圖像b1;
(2)將校正圖像b轉(zhuǎn)換到hsv顏色空間圖像fb2,對(duì)圖像fb2的h通道進(jìn)行閾值分割,得到分割圖像b2’,并對(duì)分割圖像b2’運(yùn)用形態(tài)學(xué)運(yùn)算平滑連通域,得到圖像b2;
(3)采用rgb三色分量方差法(參見文獻(xiàn):蔣依吾.電腦化中醫(yī)舌診系統(tǒng)[j].中國(guó)中西醫(yī)結(jié)合雜志,2000,20(2):145-147)對(duì)校正圖像b進(jìn)行閾值分割,得到分割圖像b3’,并對(duì)分割圖像b3’運(yùn)用形態(tài)學(xué)運(yùn)算平滑連通域,得到圖像b3。
(4)對(duì)圖像b1、圖像b2、圖像b3三個(gè)圖像進(jìn)行邏輯“與”運(yùn)算,得到圖像c。
在步驟3)第(1)、(2)、(3)部分中,所述將分割結(jié)果圖像運(yùn)用形態(tài)學(xué)運(yùn)算平滑連通域,其具體步驟為對(duì)分割結(jié)果圖像b(x,y)進(jìn)行先腐蝕再膨脹:
b(x,y)=dilate(erode(b(x,y),element))
其中,element定義為形態(tài)學(xué)運(yùn)算中的結(jié)構(gòu)元素;dilate定義為形態(tài)學(xué)運(yùn)算中的膨脹操作;erode定義為形態(tài)學(xué)運(yùn)算中的腐蝕操作。
在步驟4)中,所述對(duì)步驟3)得到的圖像c中的各個(gè)連通域進(jìn)行特征提取的具體方法可為:
(1)對(duì)于圖像c中的每一個(gè)連通域,計(jì)算該連通域的凸包si;
(2)提取凸包區(qū)域的空間位置特征;
在步驟4)第(2)部分中,所述提取凸包區(qū)域的空間位置特征具體步驟如下:
a)計(jì)算凸包si與圖像c的面積比
b)計(jì)算連通域質(zhì)心ci離圖像中心c0的歐式距離
c)計(jì)算連通域最小右邊界矩形的長(zhǎng)寬比rscale=w/h,其中w表示最小外接矩形的寬,h表示最小外接矩形的長(zhǎng)。
(3)提取凸包區(qū)域的顏色特征;
在步驟4)第(3)部分中,所述提取凸包區(qū)域的顏色特征具體步驟如下:
a)將校正圖像b轉(zhuǎn)換到hsv顏色空間圖像c’;
b)凸包si對(duì)應(yīng)于圖像c’中的區(qū)域,計(jì)算區(qū)域的非均勻量化顏色特征。
所述非均勻量化顏色特征定義如下:
根據(jù)人體的感知特性對(duì)h,s,v三個(gè)顏色通道進(jìn)行非均勻量化,將色調(diào)h分為8份,飽和度s分為2份,亮度v分為1份。其中色調(diào)h的取值范圍為[0,360],飽和度s的取值范圍為[0,1],亮度v的取值范圍為[0,1]。
v={0v∈(0.15,1]
按照以上的量化等級(jí),將h、s、v三個(gè)個(gè)顏色分量合成為一維特征矢量:
l=hqsqv+sqv+v
其中qs和qv分別是分量s和v的量化級(jí)數(shù),這里qs=2,qv=1,因此上式可表示為:
根據(jù)上式,l取值范圍為[0,1,…,19],計(jì)算l獲得20柄的一維直方圖,通過(guò)統(tǒng)計(jì)并歸一化我們能夠得到20個(gè)顏色特征。
(4)提取凸包區(qū)域的形狀特征;
在步驟4)第(4)部分中,所述提取凸包區(qū)域的形狀特征具體為計(jì)算凸包si的7個(gè)hu不變矩mi(i∈[1,7])(參見文獻(xiàn):hum.visualpatternrecognitionbymomentinvariants[j].informationtheoryiretransactionson,1962,8(2):179-187.)。
所述hu不變矩定義如下:
對(duì)于大小為m×n的圖像f(x,y),f(x,y)的二維(p+q)階矩定義為:
相應(yīng)的(p+q)階中心矩定義為:
由ηpq表示的歸一化中心矩定義為:
hu用歸一化中心矩的線性組合構(gòu)造具有平移、伸縮、旋轉(zhuǎn)不變的7個(gè)hu不變矩
(5)提取凸包區(qū)域的紋理特征;
在步驟4)第(5)部分中,所述提取凸包區(qū)域的紋理特征具體具體步驟如下:
a)將校正圖像b轉(zhuǎn)換到灰度空間圖像c”;
b)凸包si對(duì)應(yīng)于圖像c”中的區(qū)域,分別計(jì)算區(qū)域的水平、垂直、對(duì)角偏移量三種灰度
共生矩陣的聯(lián)合概率密度分布;
設(shè)灰度共生矩陣的聯(lián)合概率密度分布記為[pmn]l×l,其中l(wèi)為灰度取值范圍,m=[0,l-1],n=[0,l-1];根據(jù)聯(lián)合概率密度分布計(jì)算得到6個(gè)紋理特征(參見文獻(xiàn):haralickrm,shanmugamk,dinsteini.texturalfeaturesforimageclassification[j].systemsman&cyberneticsieeetransactionson,2010,smc-3(6):610–621.),所述6個(gè)紋理特征包括角二階矩pcon、對(duì)比度pasm、熵pent、逆差矩pidm、中值pmean和灰度相關(guān)pcor。
在步驟5)中,所述隨機(jī)森林分類器的定義為:
隨機(jī)森林(參見文獻(xiàn):surhonelm,tennoemt,henssonowsf,etal.randomforest[j].machinelearning,2001,45(1):5-32)是一種以決策樹作為基礎(chǔ)分類器的分類算法。隨機(jī)森林分類器由多棵決策樹構(gòu)成,這些決策樹彼此獨(dú)立,而且在訓(xùn)練樣本的選擇、特征子集的選擇和樹的生長(zhǎng)過(guò)程中引入了隨機(jī)性,即每棵決策樹的構(gòu)造都是從原數(shù)據(jù)集中隨機(jī)抽取出一部分作為樣本子集,然后再?gòu)臉颖咀蛹须S機(jī)選取部分特征子集進(jìn)行處理,并且所有決策樹都自然生長(zhǎng),不進(jìn)行剪枝。因此,多顆決策樹可以并行生長(zhǎng),這樣隨機(jī)森林分類器相對(duì)于其他分類器具有更短的訓(xùn)練和識(shí)別時(shí)間,并且由于引入了隨機(jī)性,分類器對(duì)噪聲也不敏感。隨機(jī)森林的最終決策是通過(guò)所有決策樹投票的方法而得,因此,具有更高的檢測(cè)率與魯棒性。
所述隨機(jī)森林采用bagging方法選取每個(gè)訓(xùn)練子集,即采用有放回的抽取方式,這樣會(huì)導(dǎo)致原數(shù)據(jù)集中的部分樣本可能重復(fù)出現(xiàn)在新的訓(xùn)練子集中,而另外一部分樣本一次也不出現(xiàn),這些沒(méi)有被選擇到的數(shù)據(jù)叫做“outofbag(oob)”數(shù)據(jù),一般占所有數(shù)據(jù)的1/3。
對(duì)于模型中的每個(gè)節(jié)點(diǎn),決策樹的構(gòu)造通過(guò)隨機(jī)抽取特征子集來(lái)分裂生長(zhǎng),隨機(jī)抽取的數(shù)量為特征總數(shù)的開方。對(duì)于分類問(wèn)題,決策樹生長(zhǎng)過(guò)程中節(jié)點(diǎn)最佳分裂的度量選擇基尼指數(shù),對(duì)于一個(gè)含有m類樣本的集合s,集合s的純度用基尼值度量為:
其中pk為第k類樣本占總樣本數(shù)量的比例,k=1,2,...,m。集合s的純度與計(jì)算得到的基尼值成反比。對(duì)于節(jié)點(diǎn)的分裂,假定用屬性v對(duì)集合s進(jìn)行分裂,其中屬性v為具有n個(gè)可能取值的離散屬性{v1,v2,...,vn},則分裂后的集合s會(huì)產(chǎn)生n個(gè)分支,其中每個(gè)分支對(duì)應(yīng)于原始集合s中在屬性v上取值相同的所有樣本,記為sv。則根據(jù)公式可計(jì)算出sv的基尼純度,再對(duì)每個(gè)分支賦予權(quán)重|sv|/|s|,其中|sv|為第v個(gè)分支的樣本數(shù)量,|s|表示所有樣本數(shù)量。于是,可計(jì)算出用屬性v對(duì)集合s進(jìn)行分裂所獲得的基尼指數(shù):
從上式中可以看出,基尼指數(shù)值越小,意味著所有分支節(jié)點(diǎn)的加權(quán)純度越小,對(duì)集合s純度的提升越明顯。因此,在候選屬性集合a中,選擇使得分裂后gindex值最小的屬性作為最佳分裂屬性,即:
訓(xùn)練隨機(jī)森林分類器的具體方法可為:
a)對(duì)于訓(xùn)練集中的所有圖像,對(duì)每個(gè)圖像按照步驟2)進(jìn)行顏色校正然后按照步驟3)對(duì)校正圖像進(jìn)行圖像分割,最后對(duì)分割圖像的各個(gè)凸包按照步驟4)提取特征并人工標(biāo)記樣本;
b)在舌象訓(xùn)練樣本中用bagging方法形成n個(gè)子樣本;
c)對(duì)于每個(gè)子樣本,隨機(jī)選擇p個(gè)屬性作為節(jié)點(diǎn)分裂的候選屬性,其中p取值為所有屬性的開方;
d)在候選屬性中計(jì)算基尼指數(shù),選擇吉尼指數(shù)最小的屬性對(duì)決策樹進(jìn)行分裂;
f)重復(fù)步驟d)直到吉尼指數(shù)小于某一規(guī)定閾值;
g)重復(fù)步驟c)到f),直到生成n棵決策樹;
h)對(duì)于未知樣本的分類,隨機(jī)森林輸出其決策樹多數(shù)投票結(jié)果。
所述對(duì)步驟4)提取到的各個(gè)凸包的特征,用步驟5)第(1)部分訓(xùn)練好的隨機(jī)森林分類器輸出最終舌體位置,其具體步驟如下:
a)對(duì)于各個(gè)凸包,隨機(jī)森林分類器輸出其為舌體的可能值pi;
b)所有pi值里最大值對(duì)應(yīng)的凸包即為最終舌體區(qū)域d。
在步驟6)中,所述以步驟5)得到的舌體區(qū)域d為基礎(chǔ),對(duì)圖像b進(jìn)行開放環(huán)境下中醫(yī)舌象圖像分割方法的具體方法可為:
(1)將圖像b轉(zhuǎn)換到灰度空間圖像b’;
(2)截取圖像b’中的舌象圖像分割區(qū)域,具體步驟如下:
a)計(jì)算舌體區(qū)域d對(duì)應(yīng)的最小右邊界矩形r;
b)將最小右邊界矩形r向外擴(kuò)散20個(gè)像素點(diǎn),得到舌象圖像分割區(qū)域r’。
(3)對(duì)舌象圖像分割區(qū)域r’進(jìn)行邊緣增強(qiáng),具體步驟如下:
a)計(jì)算舌象圖像分割區(qū)域r’水平與垂直的梯度矢量場(chǎng),分別為u和v;
b)將水平與垂直梯度矢量場(chǎng)疊加到舌象圖像分割區(qū)域r’,得到邊緣增強(qiáng)后的最終舌象圖像分割區(qū)域r”,即區(qū)域r”的最終灰度取值為r’+u+v。
(4)以舌體區(qū)域d對(duì)應(yīng)的凸包為初始輪廓,采用gvfsnake模型(參見文獻(xiàn):xuc,princejl.snakes,shapes,andgradientvectorflow[j].ieeetransactionsonimageprocessingapublicationoftheieeesignalprocessingsociety,1998,7(3):359-69.)對(duì)最終舌象圖像分割區(qū)域r”進(jìn)行分割,得到舌象分割圖像。
所述gvfsnake模型定義為:
在傳統(tǒng)主動(dòng)輪廓模型(snake)的基礎(chǔ)上,采用梯度矢量流作為曲線演化的外部能量。傳統(tǒng)snake模型是在圖像區(qū)域內(nèi)定義的一條輪廓曲線,其參數(shù)表達(dá)形式為x(s)=[x(s),y(s)],s∈[0,1],其中s是用傅里葉變換形式描述輪廓邊界的變量,x(s)和y(s)表示曲線在圖像區(qū)域內(nèi)的坐標(biāo)。該輪廓曲線的運(yùn)動(dòng)形式是通過(guò)最小化能量函數(shù):
其中,α和β分別為曲線彈性和剛性的加權(quán)系數(shù),相應(yīng)的,x′(s)和x″(s)分別為曲線x(s)關(guān)于s的一階導(dǎo)數(shù)和二階導(dǎo)數(shù)。
要使能量函數(shù)e最小化,曲線x(s)必須滿足歐拉(euler)方程:
為了求解該方程,引入時(shí)間變量t,將x(s)視為s和時(shí)間t的函數(shù)x(s,t),則上述動(dòng)態(tài)演化方程可表示為對(duì)t求偏微分:
xt(s,t)=αx″(s,t)-βx″″(s,t)-▽eext
當(dāng)xt(s,t)穩(wěn)定時(shí),xt(s,t)=0,滿足歐拉方程,曲線演化完畢。
在上述公式的基礎(chǔ)上,gvfsnake模型定義一個(gè)新的靜態(tài)外部能量
xt(s,t)=αx″(s,t)-βx″″(s,t)+v
對(duì)于新的靜態(tài)外部能量gvf,相應(yīng)的,將梯度矢量場(chǎng)定義為v(x,y)=(u(x,y),v(x,y)),通過(guò)最小化下述能量方程得到:
其中,下標(biāo)x和y表示的是圖像在x和y方向上的偏導(dǎo)數(shù)。參數(shù)μ是控制能量函數(shù)在第一項(xiàng)和第二項(xiàng)之間權(quán)衡的正則化參數(shù),根據(jù)圖像中的噪聲而定,當(dāng)圖像中的噪聲較大時(shí),μ取大值。
相應(yīng)地,最小化能量方程可以轉(zhuǎn)化為求解歐拉方程組:
其中,▽2為拉普拉斯算子。
進(jìn)一步的,類似于傳統(tǒng)snake模型的求解,歐拉方程組的求解可將分量u和v看作是時(shí)間t的函數(shù):
當(dāng)方程組趨于穩(wěn)定的解即為歐拉方程組的期望解。由于方程組是解耦的,因此可以作為單獨(dú)的標(biāo)量偏導(dǎo)數(shù)求解方程。為了方便求解,改寫方程組為:
其中,
本發(fā)明針對(duì)開放環(huán)境下中醫(yī)舌象圖像的特點(diǎn)對(duì)圖像進(jìn)行舌象圖像分割,首先對(duì)圖像進(jìn)行顏色校正的預(yù)處理,減少因外界光源色溫帶來(lái)的影響;然后為了確定初始輪廓,先對(duì)圖像進(jìn)行分割,得到多個(gè)連通區(qū)域;并對(duì)各連通區(qū)域進(jìn)行特征提取,最終通過(guò)訓(xùn)練好的隨機(jī)森林分類器得到舌體初始輪廓;最后通過(guò)gvfsnake模型對(duì)初始輪廓進(jìn)行演化,逼近舌體真實(shí)邊緣。本發(fā)明最終達(dá)到對(duì)圖像中的舌象進(jìn)行分割的目的,即將舌體從復(fù)雜背景中提取出來(lái)。
顏色校正過(guò)程采用改進(jìn)的灰度世界算法,針對(duì)舌象圖像特有的三個(gè)顏色通道均值不同的特征調(diào)整相應(yīng)的參數(shù)值,以符合舌象圖像的特征;圖像分割部分采用最大類間方差、色調(diào)閾值分割和rgb三色分量方差分割相結(jié)合的方法進(jìn)行分割;確定初始輪廓部分通過(guò)對(duì)各連通域的凸包進(jìn)行特征提取后,采用訓(xùn)練好的隨機(jī)森林分類器得到舌體區(qū)域的輪廓;舌象圖像分割則以上一部的舌體輪廓作為初始輪廓,采用gvfsnake模型對(duì)曲線進(jìn)行演化,逼近舌體真實(shí)輪廓,最終達(dá)到舌象圖像分割的目的。
相對(duì)于現(xiàn)有技術(shù),本發(fā)明的有益效果為:
1、本發(fā)明根據(jù)舌象特征利用改進(jìn)的灰度世界算法對(duì)圖像進(jìn)行顏色校正,減少了因采集環(huán)境顏色偏色帶來(lái)的影響。
2、本發(fā)明采用最大類間方差、色調(diào)閾值分割和rgb三色分量方差分割相結(jié)合的方法進(jìn)行圖像分割;根據(jù)連通域凸包的空間位置特征、顏色特征、形狀特征和輪廓特征,采用隨機(jī)森林分類器進(jìn)行提取舌體初始輪廓;采用gvfsnake模型進(jìn)行舌象圖像精細(xì)分割;這些方法都是針對(duì)開放環(huán)境下的舌象特點(diǎn)進(jìn)行處理、分析,這些方法相輔相成,環(huán)環(huán)相扣,結(jié)合起來(lái)使用能夠更加精確地分割出舌象,具有分割精度高、魯棒性強(qiáng)的優(yōu)點(diǎn)。
3、本發(fā)明使用的方法運(yùn)算量小、程序?qū)崿F(xiàn)簡(jiǎn)單,隨機(jī)森林分類器不需要訓(xùn)練大量數(shù)據(jù),特征提取算法復(fù)雜度低,處理速度快,對(duì)數(shù)據(jù)集的依賴程度不高。
4、本發(fā)明識(shí)別、分割的準(zhǔn)確率高,綜合考慮了舌象圖像空間位置、顏色、形狀和紋理等多種特征,綜合考慮圖像整體信息,相比其他方法采用單一特征而言,本發(fā)明具有更高的識(shí)別率和準(zhǔn)確率。
本發(fā)明針對(duì)開放環(huán)境下舌象圖像的特點(diǎn)分多個(gè)步驟進(jìn)行處理、分析,達(dá)到舌象圖像分割的目的。本發(fā)明的圖像分割、特征提取、分類器識(shí)別、gvfsnake模型分割幾個(gè)步驟在功能上相輔相成,圖像分割主要利用閾值分割的方法進(jìn)行粗篩選,算法復(fù)雜度低,特征提取利用圖像的空間位置、顏色、形狀和輪廓特征,算法實(shí)現(xiàn)簡(jiǎn)單,隨機(jī)森林分類器識(shí)別舌體初始輪廓,魯棒性強(qiáng),舌象圖像分割在初始輪廓的基礎(chǔ)上利用主動(dòng)輪廓模型進(jìn)行分割,分割的精確度較高,運(yùn)算速度快,取得了新的技術(shù)效果。相對(duì)于最接近的現(xiàn)有技術(shù),具有明顯的區(qū)別特征,且具有較明顯的優(yōu)點(diǎn):本發(fā)明的方法不需要采用窮舉的方法轉(zhuǎn)換到霍夫空間投票,算法復(fù)雜度低,運(yùn)算量小,也不需要進(jìn)行有監(jiān)督的訓(xùn)練大量數(shù)據(jù),因此實(shí)現(xiàn)較為簡(jiǎn)單,對(duì)數(shù)據(jù)集的依賴程度不高,在準(zhǔn)確率與處理速度上更優(yōu)越,更具有實(shí)用性。
附圖說(shuō)明
圖1為開放環(huán)境下采集的圖像;
圖2為本發(fā)明步驟5)得到的舌體初始輪廓;(a線為初始輪廓)
圖3為本發(fā)明步驟6)舌象圖像分割的最終結(jié)果
具體實(shí)施方式
下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明作進(jìn)一步詳細(xì)描述。
本發(fā)明實(shí)施例包括如下步驟:
1)輸入在開放環(huán)境下采集的圖像a,如圖1所示;
2)對(duì)采集的圖像a進(jìn)行顏色校正,得到校正圖像b;
在步驟2)中,所述對(duì)采集的圖像a進(jìn)行顏色校正的具體方法如下:
(1)在標(biāo)準(zhǔn)光照環(huán)境下采集舌象圖像s1,計(jì)算舌象圖像s1的rgb三個(gè)顏色通道均值分別與舌象圖像s1的整體均值ks的比值αr、αg、αb:
其中,舌象圖像s1的整體均值ks=(ravgs+gavgs+bavgs)/3;ravgs、gavgs、bavgs分別為標(biāo)準(zhǔn)光照環(huán)境下采集舌象圖像s1的rgb三個(gè)顏色通道的均值;所述標(biāo)準(zhǔn)光照采集環(huán)境可為d65光源,色溫為6500k;
本實(shí)施例中,各個(gè)參數(shù)的取值如下:αr=1.09、αg=0.956、αb=0.94。
(2)按下式調(diào)整圖像a的rgb三個(gè)顏色通道的均值,得到校正圖像b;
k=(ravg+gavg+bavg)/3
其中,k為圖像a的整體均值,ravg、gavg、bavg分別為圖像a的rgb三個(gè)顏色通道的均值;rd、gd、bd為校正圖像b每個(gè)像素點(diǎn)的rgb三個(gè)顏色通道的值,rs、gs、bs為圖像a每個(gè)像素點(diǎn)的rgb三個(gè)顏色通道的值;
3)對(duì)步驟2)得到的校正圖像b進(jìn)行圖像分割,具體方法如下:
(1)將校正圖像b轉(zhuǎn)換到灰度空間圖像fb1,按照最大類間方差法對(duì)灰度空間圖像fb1進(jìn)行閾值分割,得到分割圖像b1’,并對(duì)分割圖像b1’運(yùn)用形態(tài)學(xué)運(yùn)算平滑連通域,得到圖像b1;
在步驟3)第(1)部分中,所述將校正圖像b轉(zhuǎn)換到灰度空間圖像fb1,按照最大類間方差法對(duì)灰度空間圖像fb1進(jìn)行閾值分割,得到分割圖像b1’,并對(duì)分割圖像b1’運(yùn)用形態(tài)學(xué)運(yùn)算平滑連通域,得到圖像b1的具體步驟如下:
a)將校正圖像b轉(zhuǎn)換到灰度空間圖像fb1;
b)對(duì)于灰度空間圖像fb1,按照最大類間方差法得到的閾值t對(duì)灰度空間圖像fb1進(jìn)行閾值分割,得分割圖像b1’像素點(diǎn)的rgb取值fx,y(r,g,b):
其中,fb1(x,y)表示灰度空間圖像fb1像素點(diǎn)的取值;
c)對(duì)分割圖像b1’運(yùn)用形態(tài)學(xué)運(yùn)算中的閉運(yùn)算平滑連通域得到圖像b1;圖像b1中的像素值g1(x,y)為:
g1(x,y)=dilate(erode(f1(x,y),element))
其中,f1(x,y)為分割圖像b1’中的像素值,element定義為形態(tài)學(xué)運(yùn)算中的結(jié)構(gòu)元素;dilate定義為形態(tài)學(xué)運(yùn)算中的膨脹操作;erode定義為形態(tài)學(xué)運(yùn)算中的腐蝕操作。
本實(shí)施例中,element定義為[11×11]的橢圓結(jié)構(gòu)
(2)將校正圖像b轉(zhuǎn)換到hsv顏色空間圖像fb2,對(duì)圖像fb2的h通道進(jìn)行閾值分割,得到分割圖像b2’,并對(duì)分割圖像b2’運(yùn)用形態(tài)學(xué)運(yùn)算平滑連通域,得到圖像b2;
在步驟3)第(2)部分中,所述將校正圖像b轉(zhuǎn)換到hsv顏色空間圖像fb2,對(duì)圖像fb2的h通道進(jìn)行閾值分割,得到分割圖像b2’,并對(duì)分割圖像b2’運(yùn)用形態(tài)學(xué)運(yùn)算平滑連通域,得到圖像b2的具體步驟如下:
a)將校正圖像b轉(zhuǎn)換到hsv顏色空間圖像fb2;
b)采用下式對(duì)圖像fb2進(jìn)行色調(diào)閾值分割,得到分割圖像b2’像素點(diǎn)的rgb取值fx,y(r,g,b):
其中,hx,y表示圖像fb2中h通道像素點(diǎn)取值,t1和t2表示設(shè)定的閾值;
本實(shí)施例中,t1=7、t1=29
c)對(duì)分割圖像b2’運(yùn)用形態(tài)學(xué)運(yùn)算中的閉運(yùn)算平滑連通域得到圖像b2;圖像b2中的像素值g2(x,y)為:
g2(x,y)=dilate(erode(f2(x,y),element))
其中,f2(x,y)為分割圖像b2’中的像素值,element定義為形態(tài)學(xué)運(yùn)算中的結(jié)構(gòu)元素;dilate定義為形態(tài)學(xué)運(yùn)算中的膨脹操作;erode定義為形態(tài)學(xué)運(yùn)算中的腐蝕操作。
本實(shí)施例中,element定義為[11×11]的橢圓結(jié)構(gòu)
(3)采用rgb三色分量方差法對(duì)校正圖像b進(jìn)行閾值分割,得到分割圖像b3’,并對(duì)分割圖像b3’運(yùn)用形態(tài)學(xué)運(yùn)算平滑連通域,得到圖像b3。
在步驟3)第(3)部分中,所述采用rgb三色分量方差法對(duì)校正圖像b進(jìn)行閾值分割,得到分割圖像b3’,并對(duì)分割圖像b3’運(yùn)用形態(tài)學(xué)運(yùn)算平滑連通域,得到圖像b3的的具體步驟如下:
a)對(duì)于校正圖像b,假設(shè)其大小為m×n,將校正圖像b中每個(gè)像素點(diǎn)的rgb取值進(jìn)行歸一化操作,其取值范圍為[0,1],采用下式對(duì)校正圖像b中的每個(gè)像素點(diǎn)計(jì)算rgb三色分量方差gate(m,n),并對(duì)校正圖像b進(jìn)行分割,得到分割圖像b3’像素點(diǎn)的rgb取值fm,n(r,g,b):
gate(m,n)=(rm,n-gm,n)+(bm,n-gm,n)×6+(rm,n+gm,n+bm,n)/3
其中,rm,n表示校正圖像b中像素點(diǎn)(m,n)的r通道的取值,gm,n表示校正圖像b中像素點(diǎn)(m,n)的g通道的取值,bm,n表示校正圖像b中像素點(diǎn)(m,n)的b通道的取值;
b)對(duì)分割圖像b3’運(yùn)用形態(tài)學(xué)運(yùn)算中的閉運(yùn)算平滑連通域得到圖像b3;圖像b3中的像素值g3(x,y)為:
g3(x,y)=dilate(erode(f3(x,y),element))
其中,f3(x,y)為分割圖像b3’中的像素值,element定義為形態(tài)學(xué)運(yùn)算中的結(jié)構(gòu)元素;dilate定義為形態(tài)學(xué)運(yùn)算中的膨脹操作;erode定義為形態(tài)學(xué)運(yùn)算中的腐蝕操作。
本實(shí)施例中,element定義為[11×11]的橢圓結(jié)構(gòu)
(4)對(duì)圖像b1、圖像b2、圖像b3三個(gè)圖像進(jìn)行邏輯“與”運(yùn)算,得到圖像c。
4)對(duì)步驟3)得到的圖像c中的各個(gè)連通域進(jìn)行特征提取,具體方法如下:
(1)對(duì)于圖像c中的每一個(gè)連通域,計(jì)算該連通域的凸包si;
(2)提取凸包區(qū)域的空間位置特征;
在步驟4)第(2)部分中,所述提取凸包區(qū)域的空間位置特征具體步驟如下:
a)計(jì)算凸包si與圖像c的面積比
b)計(jì)算連通域質(zhì)心ci離圖像中心c0的歐式距離
c)計(jì)算連通域最小右邊界矩形的長(zhǎng)寬比rscale=w/h,其中w表示最小外接矩形的寬,h表示最小外接矩形的長(zhǎng)。
本實(shí)施例中,共獲得3維空間位置特征
(3)提取凸包區(qū)域的顏色特征;
在步驟4)第(3)部分中,所述提取凸包區(qū)域的顏色特征具體步驟如下:
a)將校正圖像b轉(zhuǎn)換到hsv顏色空間圖像c’;
b)凸包si對(duì)應(yīng)于圖像c’中的區(qū)域,計(jì)算區(qū)域的非均勻量化顏色特征。
所述非均勻量化顏色特征定義如下:
根據(jù)人體的感知特性對(duì)h,s,v三個(gè)顏色通道進(jìn)行非均勻量化,將色調(diào)h分為8份,飽和度s分為2份,亮度v分為1份。其中色調(diào)h的取值范圍為[0,360],飽和度s的取值范圍為[0,1],亮度v的取值范圍為[0,1]。
v={0v∈(0.15,1]
按照以上的量化等級(jí),將h、s、v三個(gè)個(gè)顏色分量合成為一維特征矢量:
l=hqsqv+sqv+v
其中qs和qv分別是分量s和v的量化級(jí)數(shù),這里qs=2,qv=1,因此上式可表示為:
根據(jù)上式,l取值范圍為[0,1,…,19],計(jì)算l獲得20柄的一維直方圖,通過(guò)統(tǒng)計(jì)并歸一化得到顏色特征。
本實(shí)施例中,共獲得20維顏色特征
(4)提取凸包區(qū)域的形狀特征;
在步驟4)第(4)部分中,所述提取凸包區(qū)域的形狀特征具體為計(jì)算凸包si的7個(gè)hu不變矩mi(i∈[1,7])
所述hu不變矩定義如下:
對(duì)于大小為m×n的圖像f(x,y),f(x,y)的二維(p+q)階矩定義為:
相應(yīng)的(p+q)階中心矩定義為:
由ηpq表示的歸一化中心矩定義為:
hu用歸一化中心矩的線性組合構(gòu)造具有平移、伸縮、旋轉(zhuǎn)不變的7個(gè)hu不變矩
本實(shí)施例中,共獲得7維形狀特征
(5)提取凸包區(qū)域的紋理特征;
在步驟4)第(5)部分中,所述提取凸包區(qū)域的紋理特征具體具體步驟如下:
a)將校正圖像b轉(zhuǎn)換到灰度空間圖像c”;
b)凸包si對(duì)應(yīng)于圖像c”中的區(qū)域,分別計(jì)算區(qū)域的水平、垂直、對(duì)角偏移量三種灰度
共生矩陣的聯(lián)合概率密度分布;
設(shè)灰度共生矩陣的聯(lián)合概率密度分布記為[pmn]l×l,其中l(wèi)為灰度取值范圍,m=[0,l-1],n=[0,l-1];根據(jù)聯(lián)合概率密度分布計(jì)算得到6個(gè)紋理特征,所述6個(gè)紋理特征包括角二階矩pcon、對(duì)比度pasm、熵pent、逆差矩pidm、中值pmean和灰度相關(guān)pcor。
本實(shí)施例中,共獲得18維紋理特征
5)對(duì)步驟4)提取到的各個(gè)凸包的特征,用訓(xùn)練好的隨機(jī)森林分類器計(jì)算舌體位置,如圖2所示;
所述隨機(jī)森林分類器定義為:
隨機(jī)森林是一種以決策樹作為基礎(chǔ)分類器的分類算法。隨機(jī)森林分類器由多棵決策樹構(gòu)成,這些決策樹彼此獨(dú)立,而且在訓(xùn)練樣本的選擇、特征子集的選擇和樹的生長(zhǎng)過(guò)程中引入了隨機(jī)性,即每棵決策樹的構(gòu)造都是從原數(shù)據(jù)集中隨機(jī)抽取出一部分作為樣本子集,然后再?gòu)臉颖咀蛹须S機(jī)選取部分特征子集進(jìn)行處理,并且所有決策樹都自然生長(zhǎng),不進(jìn)行剪枝。因此,多顆決策樹可以并行生長(zhǎng),這樣隨機(jī)森林分類器相對(duì)于其他分類器具有更短的訓(xùn)練和識(shí)別時(shí)間,并且由于引入了隨機(jī)性,分類器對(duì)噪聲也不敏感。隨機(jī)森林的最終決策是通過(guò)所有決策樹投票的方法而得,因此,具有更高的檢測(cè)率與魯棒性。
隨機(jī)森林采用bagging方法選取每個(gè)訓(xùn)練子集,即采用有放回的抽取方式,這樣會(huì)導(dǎo)致原數(shù)據(jù)集中的部分樣本可能重復(fù)出現(xiàn)在新的訓(xùn)練子集中,而另外一部分樣本一次也不出現(xiàn),這些沒(méi)有被選擇到的數(shù)據(jù)叫做“outofbag(oob)”數(shù)據(jù),一般占所有數(shù)據(jù)的1/3。
對(duì)于模型中的每個(gè)節(jié)點(diǎn),決策樹的構(gòu)造通過(guò)隨機(jī)抽取特征子集來(lái)分裂生長(zhǎng),隨機(jī)抽取的數(shù)量為特征總數(shù)的開方。對(duì)于分類問(wèn)題,決策樹生長(zhǎng)過(guò)程中節(jié)點(diǎn)最佳分裂的度量選擇基尼指數(shù),對(duì)于一個(gè)含有m類樣本的集合s,集合s的純度用基尼值度量為:
其中pk為第k類樣本占總樣本數(shù)量的比例,k=1,2,...,m。集合s的純度與計(jì)算得到的基尼值成反比。對(duì)于節(jié)點(diǎn)的分裂,假定用屬性v對(duì)集合s進(jìn)行分裂,其中屬性v為具有n個(gè)可能取值的離散屬性{v1,v2,...,vn},則分裂后的集合s會(huì)產(chǎn)生n個(gè)分支,其中每個(gè)分支對(duì)應(yīng)于原始集合s中在屬性v上取值相同的所有樣本,記為sv。則根據(jù)公式可計(jì)算出sv的基尼純度,再對(duì)每個(gè)分支賦予權(quán)重|sv|/|s|,其中|sv|為第v個(gè)分支的樣本數(shù)量,|s|表示所有樣本數(shù)量。于是,可計(jì)算出用屬性v對(duì)集合s進(jìn)行分裂所獲得的基尼指數(shù):
從公式中可以看出,基尼指數(shù)值越小,意味著所有分支節(jié)點(diǎn)的加權(quán)純度越小,對(duì)集合s純度的提升越明顯。因此,在候選屬性集合a中,選擇使得分裂后gindex值最小的屬性作為最佳分裂屬性,即:
(1)綜上所述,訓(xùn)練隨機(jī)森林分類器的具體方法如下:
a)對(duì)于訓(xùn)練集中的所有圖像,對(duì)每個(gè)圖像按照步驟2)進(jìn)行顏色校正然后按照步驟3)對(duì)校正圖像進(jìn)行圖像分割,最后對(duì)分割圖像的各個(gè)凸包按照步驟4)提取特征并人工標(biāo)記樣本;
b)在舌象訓(xùn)練樣本中用bagging方法形成n個(gè)子樣本;
c)對(duì)于每個(gè)子樣本,隨機(jī)選擇p個(gè)屬性作為節(jié)點(diǎn)分裂的候選屬性,其中p取值為所有屬性的開方;
d)在候選屬性中計(jì)算基尼指數(shù),選擇吉尼指數(shù)最小的屬性對(duì)決策樹進(jìn)行分裂;
f)重復(fù)步驟d)直到吉尼指數(shù)小于某一規(guī)定閾值;
g)重復(fù)步驟c)到f),直到生成n棵決策樹;
h)對(duì)于未知樣本的分類,隨機(jī)森林輸出其決策樹多數(shù)投票結(jié)果。
(2)對(duì)步驟4)提取到的各個(gè)凸包的特征,用步驟5)第(1)部分訓(xùn)練好的隨機(jī)森林分類器輸出最終舌體位置,其具體步驟如下:
a)對(duì)于各個(gè)凸包,隨機(jī)森林分類器輸出其為舌體的可能值pi;
b)所有pi值里最大值對(duì)應(yīng)的凸包即為最終舌體區(qū)域d。
本實(shí)施例中,特征維度為48維,隨機(jī)選擇屬性數(shù)p=7,樹的最大分裂深度為25,吉尼指數(shù)閾值為0.01,隨機(jī)森林決策樹個(gè)數(shù)為100。
6)以步驟5)得到的舌體區(qū)域d為基礎(chǔ),對(duì)圖像b進(jìn)行舌象圖像分割,分割結(jié)果如圖3所示。舌象圖像分割的具體方法如下:
(1)將圖像b轉(zhuǎn)換到灰度空間圖像b’;
(2)截取圖像b’中的舌象圖像分割區(qū)域,具體步驟如下:
a)計(jì)算舌體區(qū)域d對(duì)應(yīng)的最小右邊界矩形r;
b)將最小右邊界矩形r向外擴(kuò)散20個(gè)像素點(diǎn),得到舌象圖像分割區(qū)域r’。
(3)對(duì)舌象圖像分割區(qū)域r’進(jìn)行邊緣增強(qiáng),具體步驟如下:
a)計(jì)算舌象圖像分割區(qū)域r’水平與垂直的梯度矢量場(chǎng),分別為u和v;
b)將水平與垂直梯度矢量場(chǎng)疊加到舌象圖像分割區(qū)域r’,得到邊緣增強(qiáng)后的最終舌象圖像分割區(qū)域r”,即區(qū)域r”的最終灰度取值為r’+u+v。
(4)以舌體區(qū)域d對(duì)應(yīng)的凸包為初始輪廓,采用gvfsnake模型對(duì)最終舌象圖像分割區(qū)域r”進(jìn)行分割。
所述gvfsnake模型定義為:
在傳統(tǒng)主動(dòng)輪廓模型(snake)的基礎(chǔ)上,采用梯度矢量流作為曲線演化的外部能量。傳統(tǒng)snake模型是在圖像區(qū)域內(nèi)定義的一條輪廓曲線,其參數(shù)表達(dá)形式為x(s)=[x(s),y(s)],s∈[0,1],其中s是用傅里葉變換形式描述輪廓邊界的變量,x(s)和y(s)表示曲線在圖像區(qū)域內(nèi)的坐標(biāo)。該輪廓曲線的運(yùn)動(dòng)形式是通過(guò)最小化能量函數(shù):
其中,α和β分別為曲線彈性和剛性的加權(quán)系數(shù),相應(yīng)的,x′(s)和x″(s)分別為曲線x(s)關(guān)于s的一階導(dǎo)數(shù)和二階導(dǎo)數(shù)。
要使能量函數(shù)e最小化,曲線x(s)必須滿足歐拉(euler)方程:
為了求解該方程,引入時(shí)間變量t,將x(s)視為s和時(shí)間t的函數(shù)x(s,t),則上述動(dòng)態(tài)演化方程可表示為對(duì)t求偏微分:
當(dāng)xt(s,t)穩(wěn)定時(shí),xt(s,t)=0,滿足歐拉方程,曲線演化完畢。
在上述公式的基礎(chǔ)上,gvfsnake模型定義一個(gè)新的靜態(tài)外部能量
xt(s,t)=αx″(s,t)-βx″″(s,t)+v
對(duì)于新的靜態(tài)外部能量gvf,相應(yīng)的,將梯度矢量場(chǎng)定義為v(x,y)=(u(x,y),v(x,y)),通過(guò)最小化下述能量方程得到:
其中,下標(biāo)x和y表示的是圖像在x和y方向上的偏導(dǎo)數(shù)。參數(shù)μ是控制能量函數(shù)在第一項(xiàng)和第二項(xiàng)之間權(quán)衡的正則化參數(shù),根據(jù)圖像中的噪聲而定,當(dāng)圖像中的噪聲較大時(shí),μ取大值。
相應(yīng)地,最小化能量方程可以轉(zhuǎn)化為求解歐拉方程組:
其中,▽2為拉普拉斯算子。
進(jìn)一步的,類似于傳統(tǒng)snake模型的求解,歐拉方程組的求解可將分量u和v看作是時(shí)間t的函數(shù):
當(dāng)方程組趨于穩(wěn)定的解即為歐拉方程組的期望解。由于方程組是解耦的,因此可以作為單獨(dú)的標(biāo)量偏導(dǎo)數(shù)求解方程。為了方便求解,改寫方程組為:
其中,
本實(shí)施例中,α=0.05、β=0.1、μ=0.2。
以上所述,僅為本發(fā)明的具體實(shí)施方式,但本發(fā)明的保護(hù)范圍并不局限于此。