本發(fā)明涉及圖像處理領(lǐng)域，具體而言，涉及一種基于圖像分析的耳診數(shù)據(jù)采集方法及裝置。

背景技術(shù)：

隨著計(jì)算機(jī)技術(shù)的發(fā)展，各個(gè)領(lǐng)域都實(shí)現(xiàn)了智能化，智能化的設(shè)備能夠大大減少人力勞動(dòng)，提高辦事效率；但是在醫(yī)療領(lǐng)域中，一般通過(guò)醫(yī)生直接觀看病人的耳部以得到耳部數(shù)據(jù)，此種方式效率比較低。因此，關(guān)于計(jì)算機(jī)技術(shù)與耳部數(shù)據(jù)的獲取的應(yīng)用還需要進(jìn)一步地思考。

技術(shù)實(shí)現(xiàn)要素：

有鑒于此，本發(fā)明實(shí)施例的目的在于提供一種基于圖像分析的耳診數(shù)據(jù)采集方法及裝置。

本發(fā)明實(shí)施例提供的一種基于圖像分析的耳診數(shù)據(jù)采集方法，應(yīng)用于電子終端，所述方法包括：

獲取用戶的耳部圖像；

將預(yù)存的耳部特征樣本庫(kù)輸入學(xué)習(xí)模型進(jìn)行學(xué)習(xí)得到訓(xùn)練模型，根據(jù)所述訓(xùn)練模型搜索所述耳部圖像以確定所述耳部圖像中的各個(gè)耳穴的位置點(diǎn)；以及

獲取每個(gè)耳穴位置點(diǎn)對(duì)應(yīng)的圖像特征與預(yù)設(shè)的預(yù)存圖像特征進(jìn)行比對(duì)分析，得到所述用戶的人耳診斷數(shù)據(jù)。

本發(fā)明實(shí)施例還提供一種基于圖像分析的耳診數(shù)據(jù)采集裝置，應(yīng)用于電子終端，所述裝置包括：

圖像獲取模塊，用于獲取用戶的耳部圖像；

耳穴確定模塊，用于將預(yù)存的耳部特征樣本庫(kù)輸入學(xué)習(xí)模型進(jìn)行學(xué)習(xí)得到訓(xùn)練模型，根據(jù)所述訓(xùn)練模型搜索所述耳部圖像以確定所述耳部圖像中的各個(gè)耳穴的位置點(diǎn)；以及

數(shù)據(jù)得到模塊，用于獲取每個(gè)耳穴位置點(diǎn)對(duì)應(yīng)的圖像特征與預(yù)設(shè)的預(yù)存圖像特征進(jìn)行比對(duì)分析，得到所述用戶的人耳診斷數(shù)據(jù)。

與現(xiàn)有技術(shù)相比，本發(fā)明的基于圖像分析的耳診數(shù)據(jù)采集方法及裝置，通過(guò)分析獲取的耳部圖像得到人耳診斷數(shù)據(jù)，不需要醫(yī)生觀看用戶的耳部以得到耳部診斷數(shù)據(jù)，能夠大大提高獲取數(shù)據(jù)的效率。

為使本發(fā)明的上述目的、特征和優(yōu)點(diǎn)能更明顯易懂，下文特舉較佳實(shí)施例，并配合所附附圖，作詳細(xì)說(shuō)明如下。

附圖說(shuō)明

為了更清楚地說(shuō)明本發(fā)明實(shí)施例的技術(shù)方案，下面將對(duì)實(shí)施例中所需要使用的附圖作簡(jiǎn)單地介紹，應(yīng)當(dāng)理解，以下附圖僅示出了本發(fā)明的某些實(shí)施例，因此不應(yīng)被看作是對(duì)范圍的限定，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他相關(guān)的附圖。

圖1為本發(fā)明較佳實(shí)施例提供的電子終端的方框示意圖。

圖2為本發(fā)明較佳實(shí)施例提供的基于圖像分析的耳診數(shù)據(jù)采集方法的流程圖。

圖3為本發(fā)明較佳實(shí)施例提供的基于圖像分析的耳診數(shù)據(jù)采集方法中的步驟s102的詳細(xì)流程圖。

圖4為本發(fā)明較佳實(shí)施例提供的基于圖像分析的耳診數(shù)據(jù)采集方法中的步驟s1022的詳細(xì)流程圖。

圖5為本發(fā)明較佳實(shí)施例提供的基于圖像分析的耳診數(shù)據(jù)采集方法中的步驟s1023的詳細(xì)流程圖。

圖6為本發(fā)明較佳實(shí)施例提供的基于圖像分析的耳診數(shù)據(jù)采集方法中的步驟s103的詳細(xì)流程圖。

圖7為本發(fā)明較佳實(shí)施例提供的基于圖像分析的耳診數(shù)據(jù)采集方法中的步驟s1031的詳細(xì)流程圖。

圖8為本發(fā)明較佳實(shí)施例提供的圖像分析的耳診數(shù)據(jù)采集裝置的功能模塊示意圖。

圖9為本發(fā)明較佳實(shí)施例提供的圖像分析的耳診數(shù)據(jù)采集裝置的耳穴確定模塊的功能模塊示意圖。

圖10為本發(fā)明較佳實(shí)施例提供的圖像分析的耳診數(shù)據(jù)采集裝置的訓(xùn)練模型獲得單元的功能模塊示意圖。

圖11為本發(fā)明較佳實(shí)施例提供的圖像分析的耳診數(shù)據(jù)采集裝置的耳穴搜索定位單元的功能模塊示意圖。

圖12為本發(fā)明較佳實(shí)施例提供的圖像分析的耳診數(shù)據(jù)采集裝置的數(shù)據(jù)得到模塊的功能模塊示意圖。

圖13為本發(fā)明較佳實(shí)施例提供的圖像分析的耳診數(shù)據(jù)采集裝置的耳穴圖像定位單元的功能模塊示意圖。

具體實(shí)施方式

下面將結(jié)合本發(fā)明實(shí)施例中附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例。通常在此處附圖中描述和示出的本發(fā)明實(shí)施例的組件可以以各種不同的配置來(lái)布置和設(shè)計(jì)。因此，以下對(duì)在附圖中提供的本發(fā)明的實(shí)施例的詳細(xì)描述并非旨在限制要求保護(hù)的本發(fā)明的范圍，而是僅僅表示本發(fā)明的選定實(shí)施例?；诒景l(fā)明的實(shí)施例，本領(lǐng)域技術(shù)人員在沒(méi)有做出創(chuàng)造性勞動(dòng)的前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。

應(yīng)注意到：相似的標(biāo)號(hào)和字母在下面的附圖中表示類似項(xiàng)，因此，一旦某一項(xiàng)在一個(gè)附圖中被定義，則在隨后的附圖中不需要對(duì)其進(jìn)行進(jìn)一步定義和解釋。同時(shí)，在本發(fā)明的描述中，術(shù)語(yǔ)“第一”、“第二”等僅用于區(qū)分描述，而不能理解為指示或暗示相對(duì)重要性。

如圖1所示，是電子終端100的方框示意圖。所述電子終端包括基于圖像分析的耳診數(shù)據(jù)采集裝置110、存儲(chǔ)器111、存儲(chǔ)控制器112、處理器113、外設(shè)接口114、輸入輸出單元115、顯示單元116及攝像單元117?？梢岳斫獾氖?，圖1所示的電子終端100的結(jié)構(gòu)僅僅為示意性的，所述電子終端100還可以包括比圖中所示更多或更少的部件。

所述存儲(chǔ)器111、存儲(chǔ)控制器112、處理器113、外設(shè)接口114、輸入輸出單元115、顯示單元116及攝像單元117各元件相互之間直接或間接地電性連接，以實(shí)現(xiàn)數(shù)據(jù)的傳輸或交互。例如，這些元件相互之間可通過(guò)一條或多條通訊總線或信號(hào)線實(shí)現(xiàn)電性連接。所述基于圖像分析的耳診數(shù)據(jù)采集裝置110包括至少一個(gè)可以軟件或固件(firmware)的形式存儲(chǔ)于所述存儲(chǔ)器111中或固化在所述電子終端100的操作系統(tǒng)(operatingsystem，os)中的軟件功能模塊。所述處理器113用于執(zhí)行存儲(chǔ)器中存儲(chǔ)的可執(zhí)行模塊，例如所述基于圖像分析的耳診數(shù)據(jù)采集裝置110包括的軟件功能模塊或計(jì)算機(jī)程序。

其中，所述存儲(chǔ)器111可以是，但不限于，隨機(jī)存取存儲(chǔ)器(randomaccessmemory，ram)，只讀存儲(chǔ)器(readonlymemory，rom)，可編程只讀存儲(chǔ)器(programmableread-onlymemory，prom)，可擦除只讀存儲(chǔ)器(erasableprogrammableread-onlymemory，eprom)，電可擦除只讀存儲(chǔ)器(electricerasableprogrammableread-onlymemory，eeprom)等。其中，存儲(chǔ)器111用于存儲(chǔ)程序，所述處理器113在接收到執(zhí)行指令后，執(zhí)行所述程序，本發(fā)明實(shí)施例任一實(shí)施例揭示的過(guò)程定義的電子終端100所執(zhí)行的方法可以應(yīng)用于處理器113中，或者由處理器113實(shí)現(xiàn)。

所述處理器113可能是一種集成電路芯片，具有信號(hào)的處理能力。上述的處理器113可以是通用處理器，包括中央處理器(centralprocessingunit，簡(jiǎn)稱cpu)、網(wǎng)絡(luò)處理器(networkprocessor，簡(jiǎn)稱np)等；還可以是數(shù)字信號(hào)處理器(dsp)、專用集成電路(asic)、現(xiàn)場(chǎng)可編程門陣列(fpga)或者其他可編程邏輯器件、分立門或者晶體管邏輯器件、分立硬件組件。可以實(shí)現(xiàn)或者執(zhí)行本發(fā)明實(shí)施例中的公開(kāi)的各方法、步驟及邏輯框圖。通用處理器可以是微處理器或者該處理器也可以是任何常規(guī)的處理器等。

所述外設(shè)接口114將各種輸入/輸入裝置耦合至處理器113以及存儲(chǔ)器111。在一些實(shí)施例中，外設(shè)接口114，處理器113以及存儲(chǔ)控制器112可以在單個(gè)芯片中實(shí)現(xiàn)。在其他一些實(shí)例中，他們可以分別由獨(dú)立的芯片實(shí)現(xiàn)。

所述輸入輸出單元115用于提供給用戶輸入數(shù)據(jù)。所述輸入輸出單元115可以是，但不限于，鼠標(biāo)和鍵盤等。音頻單元向用戶提供音頻接口，其可包括一個(gè)或多個(gè)麥克風(fēng)、一個(gè)或者多個(gè)揚(yáng)聲器以及音頻電路。

所述顯示單元116在所述電子終端100與用戶之間提供一個(gè)交互界面(例如用戶操作界面)或用于顯示圖像數(shù)據(jù)給用戶參考。在本實(shí)施例中，所述顯示單元116可以是液晶顯示器或觸控顯示器。若為觸控顯示器，其可為支持單點(diǎn)和多點(diǎn)觸控操作的電容式觸控屏或電阻式觸控屏等。支持單點(diǎn)和多點(diǎn)觸控操作是指觸控顯示器能感應(yīng)到來(lái)自該觸控顯示器上一個(gè)或多個(gè)位置處同時(shí)產(chǎn)生的觸控操作，并將該感應(yīng)到的觸控操作交由處理器進(jìn)行計(jì)算和處理。

所述攝像單元117用于拍攝照片或者視頻。拍攝的照片或者視頻可以存儲(chǔ)至存儲(chǔ)器111內(nèi)。所述攝像單元117具體可包括鏡頭模組、影像感測(cè)器以及閃光燈等組件。鏡頭模組用于對(duì)被拍攝的目標(biāo)成像，并將所成的像映射至影像感測(cè)器中。影像感測(cè)器用于接收來(lái)自鏡頭模組的光線，實(shí)現(xiàn)感光，以記錄圖像信息。具體地，影像感測(cè)器可基于互補(bǔ)金屬氧化物半導(dǎo)體(complementarymetaloxidesemiconductor，cmos)、電荷耦合元件(charge-coupleddevice，ccd)或者其他影像感測(cè)原理實(shí)現(xiàn)。閃光燈用于在拍攝時(shí)進(jìn)行曝光補(bǔ)償。一般來(lái)說(shuō)，用于電子終端100的閃光燈可為發(fā)光二極體(lightemittingdiode,led)閃光燈。

請(qǐng)參閱圖2，是本發(fā)明較佳實(shí)施例提供的應(yīng)用于圖1所示的電子終端100的基于圖像分析的耳診數(shù)據(jù)采集方法的流程圖。下面將對(duì)圖2所示的具體流程進(jìn)行詳細(xì)闡述。

步驟s101，獲取用戶的耳部圖像。

所述電子終端100的攝像單元117啟動(dòng)時(shí)給出初始化部署的快門和增益成像參數(shù)，以后每一幀的成像調(diào)整結(jié)果都會(huì)反饋到部署成像參數(shù)模塊對(duì)所述攝像單元117進(jìn)行參數(shù)設(shè)置。

在一個(gè)實(shí)例中，所述攝像單元117可能檢測(cè)不到人耳時(shí)的成像特征。本實(shí)例中，檢測(cè)不到人耳可包括兩種情況：一是拍攝范圍內(nèi)不存在人耳；二是由于環(huán)境光照問(wèn)題使得畫面成像過(guò)亮或過(guò)暗；此時(shí)，所述攝像單元117可采用中心測(cè)光的模式，假設(shè)，所述攝像單元117成像寬度為w，高度為h，以拍攝中心為中心點(diǎn)，取得寬度為w/2，高度為h/2的矩形作為測(cè)光區(qū)域，計(jì)算該區(qū)域內(nèi)的圖像亮度，建立緩沖長(zhǎng)度為10幀的區(qū)域亮度列表，計(jì)算區(qū)域亮度均值。

本實(shí)施例中，在獲取所述耳部圖像之前先檢測(cè)人耳成像特征。本實(shí)施例中，以所述攝像單元117可采集的人耳序列的亮度均值和對(duì)比度均值作為人耳成像特征。計(jì)算人耳亮度，建立緩沖長(zhǎng)度為10幀的人耳亮度列表，計(jì)算人耳亮度均值。統(tǒng)計(jì)人耳直方圖，以最大類間方差法做閾值分割，分別計(jì)算高部亮度均值grayhigh和低部亮度均值graylow，以公式ncontrast_lp＝(grayhigh-graylow)*100/256計(jì)算人耳對(duì)比度ncontrast_lp，建立人耳對(duì)比度列表，計(jì)算人耳對(duì)比度列表均值。

本實(shí)施例中，在獲取所述耳部圖像時(shí)可通過(guò)以下方式對(duì)所述攝像單元117進(jìn)行成像參數(shù)的控制。

本實(shí)施例中，所述攝像單元根據(jù)可采集的人耳圖像控制成像的亮度。

在一種實(shí)施方式中，當(dāng)參與計(jì)算的亮度值低于亮度下限時(shí)，如果快門值沒(méi)有調(diào)到最大，計(jì)算期望亮度與參與計(jì)算的亮度差值，查找亮度差值和快門調(diào)整比例映射表(請(qǐng)參照表1)，按調(diào)整比例提高快門值，直至最大快門；如果快門已經(jīng)調(diào)整到極限，按照調(diào)整幅度為1增加增益，直至最大增益。本實(shí)施例中，所述參與計(jì)算的亮度，可以是所述攝像單元117可采集到的周圍的環(huán)境亮度，或者當(dāng)時(shí)所述攝像單元117可檢測(cè)到的人耳畫面的亮度。

在另一種實(shí)施方式中，當(dāng)參與計(jì)算的亮度值高于亮度上限時(shí)，如果增益值沒(méi)有調(diào)到最低，按照調(diào)整步長(zhǎng)1減小增益，直至增益下限；如果增益已調(diào)至下限，計(jì)算期望亮度與參與計(jì)算的亮度差值，查找亮度差值和快門調(diào)整比例映射表，按調(diào)整比例降低快門值，直至快門值下限。

表1：

本實(shí)施例中，所述攝像單元根據(jù)可采集的人耳圖像控制成像的對(duì)比度。

在一種實(shí)施方式中，當(dāng)參與計(jì)算的對(duì)比度值低于對(duì)比度下限時(shí)，如果快門值沒(méi)有調(diào)到最大，計(jì)算期望對(duì)比度與參與計(jì)算的對(duì)比度差值，查找對(duì)比度差值和快門調(diào)整比例映射表(請(qǐng)參閱表2)，按調(diào)整比例提高快門值，直至最大快門；如果快門已經(jīng)調(diào)整到極限，按照調(diào)整幅度為1增加增益，直至最大增益。

在另一種實(shí)施方式中，當(dāng)參與計(jì)算的亮度值高于亮度上限時(shí)，如果增益值沒(méi)有調(diào)到最低，按照調(diào)整步長(zhǎng)1減小增益，直至增益下限；如果增益已調(diào)至下限，計(jì)算期望對(duì)比度與參與計(jì)算的對(duì)比度差值，查找對(duì)比度差值和快門調(diào)整比例映射表，按調(diào)整比例降低快門值，直至快門值下限。

再一種實(shí)施方式中，當(dāng)以參考目標(biāo)進(jìn)行對(duì)比度成像控制調(diào)整的時(shí)候，如對(duì)比度低于低閾值，亮度高于高閾值，調(diào)暗；對(duì)比度低于低閾值，亮度低于低閾值，調(diào)亮。

再一種實(shí)施方式中，當(dāng)以人耳區(qū)域進(jìn)行對(duì)比度成像控制調(diào)整的時(shí)候，如對(duì)比度低于低閾值，亮度高于期望值時(shí)，成像不做調(diào)整；對(duì)比度低于低閾值，亮度低于期望值時(shí)，調(diào)亮。

表2：

步驟s102，將預(yù)存的耳部特征樣本庫(kù)輸入學(xué)習(xí)模型進(jìn)行學(xué)習(xí)得到訓(xùn)練模型，根據(jù)所述訓(xùn)練模型搜索所述耳部圖像以確定所述耳部圖像中的各個(gè)耳穴的位置點(diǎn)。

在一種實(shí)施方式中，如圖3所示，步驟s102可包括以下步驟。

步驟s1021，建立耳穴基準(zhǔn)點(diǎn)的樣本庫(kù)。

本實(shí)施例中，所述耳穴基準(zhǔn)點(diǎn)的樣本庫(kù)根據(jù)國(guó)際gbt13734-1992《耳穴名稱與部位》所定義的標(biāo)準(zhǔn)耳穴定位進(jìn)行建立。

步驟s1022，將所述耳穴特征基準(zhǔn)點(diǎn)的樣本庫(kù)輸入學(xué)習(xí)模型算法中進(jìn)行學(xué)習(xí)，得到訓(xùn)練模型。

本實(shí)施例中，可以將所述耳穴特征基準(zhǔn)點(diǎn)的樣本庫(kù)輸入主動(dòng)形狀模型(activeshapemodel，簡(jiǎn)稱asm)、主動(dòng)外觀模型(activeappearancemodel，簡(jiǎn)稱aam)、局部二元擬合模型(localbinaryfitting，簡(jiǎn)稱lbf)等任意模型進(jìn)行訓(xùn)練。下面以將所述耳穴特征基準(zhǔn)點(diǎn)的樣本庫(kù)輸入所述主動(dòng)形狀模型進(jìn)行訓(xùn)練為例進(jìn)行描述。

在一種實(shí)施方式中，如圖4所示，步驟s1022可包括以下步驟。

步驟s10221，將所述耳穴特征基準(zhǔn)點(diǎn)的樣本庫(kù)輸入主動(dòng)形狀模型算法中進(jìn)行學(xué)習(xí)，得到形狀訓(xùn)練模型。

本實(shí)施例中，在得到所述形狀訓(xùn)練模型之前首先要對(duì)形狀對(duì)齊，耳穴形狀向

其中，n為圖像中標(biāo)定的特征基準(zhǔn)點(diǎn)的個(gè)數(shù)，i表示第i個(gè)特征基準(zhǔn)點(diǎn)。其中，所述向量xi根據(jù)所述國(guó)際gbt13734-1992《耳穴名稱與部位》所定義的標(biāo)準(zhǔn)耳穴定位計(jì)算得到。

對(duì)校準(zhǔn)后的所述耳穴形狀向量進(jìn)行pca(principalcomponentsanalysis，主成分分析)分析可得其中p為協(xié)方差矩陣的特征向量，b為特征向量的權(quán)，為均值。由此可以得到：

根據(jù)上述計(jì)算可以得到約束向量b。

其中，約束向量b滿足約束條件：其中λ為協(xié)方差矩陣的特征值，i為特征值從大到小的排列序號(hào)，mt為常量，在一個(gè)實(shí)例中，所述mt通常為9。

本實(shí)施例中，可將所述耳穴特征基準(zhǔn)點(diǎn)的樣本庫(kù)中的數(shù)據(jù)輸入所述主動(dòng)形狀模型中進(jìn)行學(xué)習(xí)，得到所述形狀訓(xùn)練模型。所述訓(xùn)練模型中可記錄有所述耳穴特征基準(zhǔn)點(diǎn)的樣本庫(kù)中的各個(gè)特征基準(zhǔn)點(diǎn)的相對(duì)位置、相對(duì)人耳邊緣的位置等。

步驟s10222，根據(jù)耳穴基準(zhǔn)點(diǎn)的樣本庫(kù)中的耳穴基準(zhǔn)點(diǎn)輸入訓(xùn)練模型中訓(xùn)練得到用于記錄耳穴基準(zhǔn)點(diǎn)在訓(xùn)練范圍內(nèi)的灰度分布規(guī)律的局部紋理模型。

本實(shí)施例中，根據(jù)所述耳穴基準(zhǔn)點(diǎn)的樣本庫(kù)中的每個(gè)特征基準(zhǔn)點(diǎn)延外輪廓在該點(diǎn)的法線方向一定范圍內(nèi)的灰度變化情況進(jìn)行統(tǒng)計(jì)，以找出相應(yīng)的特征基準(zhǔn)點(diǎn)在此區(qū)域內(nèi)的灰度分布規(guī)律。所述局部紋理模型記錄著樣本庫(kù)中的特征基準(zhǔn)點(diǎn)在指定區(qū)域內(nèi)的灰度分布規(guī)律。

步驟s1023，將所述耳部圖像輸入所述訓(xùn)練模型，對(duì)所述耳部圖像進(jìn)行搜索以確定所述耳部圖像對(duì)應(yīng)的每個(gè)耳穴位置點(diǎn)。

在一種實(shí)施方式中，如圖5所示，步驟s1023可包括以下步驟。

步驟s10231，對(duì)所述耳部圖像進(jìn)行初定位以得到基于所述耳部圖像初始耳部形狀向量。

本實(shí)施例中，可以根據(jù)所述形狀訓(xùn)練模型對(duì)所述耳部圖像中的各個(gè)特征基準(zhǔn)點(diǎn)進(jìn)行初始定位。本實(shí)施例中，可以將所述初始耳部形狀向量記錄為x。

步驟s10232，根據(jù)訓(xùn)練得到的局部灰度模型，對(duì)每個(gè)耳穴位置點(diǎn)使其沿法線方向在指定范圍內(nèi)進(jìn)行搜索。

步驟s10233，對(duì)在所述指定范圍內(nèi)的每一個(gè)像素點(diǎn)計(jì)算其規(guī)格化灰度導(dǎo)數(shù)向量與訓(xùn)練得到的該像素點(diǎn)的平均規(guī)格化灰度導(dǎo)數(shù)向量之間的馬氏距離，從中選取馬氏距離最小的候選點(diǎn)作為最佳匹配點(diǎn)，根據(jù)每個(gè)耳穴位置點(diǎn)對(duì)應(yīng)的最佳匹配點(diǎn)得到了一個(gè)匹配形狀向量。

本實(shí)施例中，可以將所述匹配形狀向量記錄為x1。

步驟s10234，將所述初始耳部形狀向量及匹配形狀向量通過(guò)所述形狀訓(xùn)練模型計(jì)算得到驗(yàn)證向量。

在一個(gè)實(shí)例中，所述驗(yàn)證向量為在利用x2＝x-x1在根據(jù)所述形狀訓(xùn)練模型計(jì)算得到的約束向量約束下的向量。

重復(fù)所述步驟s10231至s10234直到所述驗(yàn)證向量收斂。

其中，所述每個(gè)耳穴位置點(diǎn)對(duì)應(yīng)的最佳匹配點(diǎn)確定為所述耳部圖像中的各個(gè)耳穴的位置點(diǎn)。

步驟s103，獲取每個(gè)耳穴位置點(diǎn)對(duì)應(yīng)的圖像特征與預(yù)設(shè)的預(yù)存圖像特征進(jìn)行比對(duì)分析，得到所述用戶的人耳診斷數(shù)據(jù)。

在一種實(shí)施方式中，如圖6所示，步驟s103可包括以下步驟。

步驟s1031，對(duì)每個(gè)耳穴的位置點(diǎn)對(duì)應(yīng)的圖像進(jìn)行定位。

在一種實(shí)施方式中，如圖7所示，步驟s1031可包括以下步驟。

步驟s10311，對(duì)定位后的所述耳部圖像進(jìn)行三角剖分獲得耳部的網(wǎng)格結(jié)構(gòu)。

本實(shí)施例中，可以采用delaunay(狄洛尼)三角剖分可獲得所所述耳部圖像的網(wǎng)格結(jié)構(gòu)。所述三角剖分為：假設(shè)v是二維實(shí)數(shù)域上的有限點(diǎn)集，邊e是由點(diǎn)集中的點(diǎn)作為端點(diǎn)構(gòu)成的封閉線段,e為e的集合。那么該點(diǎn)集v的一個(gè)三角剖分t＝(v，e)是一個(gè)平面圖g，該平面圖滿足條件：1.除了端點(diǎn)，平面圖中的邊不包含點(diǎn)集中的任何點(diǎn)。2.沒(méi)有相交邊。3.平面圖中所有的面都是三角面，且所有三角面的合集是散點(diǎn)集v的凸包。所述delaunay三角剖分，它是一種特殊的三角剖分，是如果點(diǎn)集v的一個(gè)三角剖分t只包含delaunay邊，那么該三角剖分稱為delaunay三角剖分。其中，delaunay邊：假設(shè)e中的一條邊e(兩個(gè)端點(diǎn)為a,b)，e若滿足下列條件，則稱之為delaunay邊：存在一個(gè)圓經(jīng)過(guò)a,b兩點(diǎn)，圓內(nèi)(注意是圓內(nèi)，圓上最多三點(diǎn)共圓)不含點(diǎn)集v中任何其他的點(diǎn)。

本實(shí)施例中，所述電子終端100可以預(yù)存有一個(gè)固定的人耳網(wǎng)格拓?fù)浣Y(jié)構(gòu)，每次只需要讀入網(wǎng)格結(jié)構(gòu)文件便可快速的生成所述耳部的網(wǎng)格結(jié)構(gòu)。

步驟s10312，對(duì)網(wǎng)絡(luò)結(jié)構(gòu)中對(duì)應(yīng)的耳穴的位置對(duì)應(yīng)的圖形進(jìn)行仿射變換。

步驟s10313，根據(jù)所述耳穴在進(jìn)行仿射變換之后的圖形中的目標(biāo)位置計(jì)算得到該耳穴在所述耳部圖像中的位置。

在一個(gè)實(shí)例中，可以ts變形為t1，設(shè)ts和t1對(duì)應(yīng)的頂點(diǎn)分別為ps1，ps2，ps3和p1，p2，p3，由此6個(gè)點(diǎn)可以唯一確定一個(gè)仿射變換，第一公式如下：

其中p.x，p.y為p1中某一點(diǎn)p的x,y坐標(biāo)，ps.x，ps.y為t1中某點(diǎn)ps的x，y坐標(biāo)。令

則得到第二公式：

這樣，改變的每個(gè)三角形以第二公式計(jì)算出仿射變換系數(shù)a，以第一公式計(jì)算改變后的三角形內(nèi)的每一點(diǎn)對(duì)應(yīng)在所述耳部圖像中的原三角形的像素點(diǎn)，拷貝其顏色；其中，若計(jì)算出的點(diǎn)的坐標(biāo)非整數(shù)，則利用該點(diǎn)臨近的坐標(biāo)顏色作為仿射變換后的顏色。

步驟s1032，獲取每個(gè)所述耳穴的位置點(diǎn)對(duì)應(yīng)的圖像的顏色特征。

所述步驟s1032還包括：獲取所述目標(biāo)位置在所述耳部圖像中對(duì)應(yīng)圖像部分的顏色特征作為所述耳穴的位置點(diǎn)對(duì)應(yīng)的圖像的顏色特征。

步驟s1033，將所述耳穴的位置點(diǎn)對(duì)應(yīng)的圖像的顏色特征與對(duì)應(yīng)的預(yù)存圖像的顏色特征進(jìn)行對(duì)比得到所述用戶的人耳診斷數(shù)據(jù)。

本實(shí)施例中，可以以deepid、vgg、googlenet模型進(jìn)行深度學(xué)習(xí)以獲取所述人耳診斷數(shù)據(jù)。在一種實(shí)施方式中，可以使用deepid2+的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行訓(xùn)練和所述耳部圖像的顏色特征及預(yù)存圖像的顏色特征的提取。

本實(shí)施例中，采用深度學(xué)習(xí)的方法自動(dòng)提取所述耳部圖像的顏色特征及預(yù)存圖像的顏色特征。本實(shí)施例中，基于深度學(xué)習(xí)的方法可基于海量數(shù)據(jù)的基礎(chǔ)自動(dòng)學(xué)習(xí)每個(gè)耳穴的位置點(diǎn)與所說(shuō)識(shí)別的病癥的圖像特征。本實(shí)施例中，可以通過(guò)將所述耳部圖像提取的圖像的顏色特征與預(yù)存的人耳圖像的預(yù)存圖像的顏色進(jìn)行對(duì)比獲取所述人耳診斷數(shù)據(jù)。

根據(jù)本實(shí)施例中的方法，通過(guò)獲取用戶耳部圖像，通過(guò)分析獲取的耳部圖像得到人耳診斷數(shù)據(jù)，不需要醫(yī)生觀看用戶的耳部以得到耳部診斷數(shù)據(jù)，能夠大大提高獲取數(shù)據(jù)的效率。

請(qǐng)參閱圖8，是本發(fā)明較佳實(shí)施例提供的圖1所示的基于圖像分析的耳診數(shù)據(jù)采集裝置110的功能模塊示意圖。本實(shí)施例提供的裝置中的各個(gè)模塊、單元及子單元用于執(zhí)行上述方法實(shí)施例中的各個(gè)步驟。所述基于圖像分析的耳診數(shù)據(jù)采集裝置110包括圖像獲取模塊1101、耳穴確定模塊1102及數(shù)據(jù)得到模塊1103。

所述圖像獲取模塊1101，用于獲取用戶的耳部圖像。

所述耳穴確定模塊1102，用于將預(yù)存的耳部特征樣本庫(kù)輸入學(xué)習(xí)模型進(jìn)行學(xué)習(xí)得到訓(xùn)練模型，根據(jù)所述訓(xùn)練模型搜索所述耳部圖像以確定所述耳部圖像中的各個(gè)耳穴的位置點(diǎn)。

在一種實(shí)施方式中，如圖9所示，所述耳穴確定模塊1102可包括：樣本庫(kù)建立單元11021、訓(xùn)練模型獲得單元11022及耳穴搜索定位單元11023。

所述樣本庫(kù)建立單元11021，用于建立耳穴基準(zhǔn)點(diǎn)的樣本庫(kù)；

所述訓(xùn)練模型獲得單元11022，用于將所述耳穴特征基準(zhǔn)點(diǎn)的樣本庫(kù)輸入學(xué)習(xí)模型算法中進(jìn)行學(xué)習(xí)，得到訓(xùn)練模型。

在一種實(shí)施方式中，如圖10所示，所述訓(xùn)練模型獲得單元11022包括：形狀模型訓(xùn)練子單元110221及局部模型訓(xùn)練子單元110222。

所述形狀模型訓(xùn)練子單元110221，用于將所耳穴特征基準(zhǔn)點(diǎn)的樣本庫(kù)輸入主動(dòng)形狀模型算法中進(jìn)行學(xué)習(xí)，得到形狀訓(xùn)練模型。

所述局部模型訓(xùn)練子單元110222，用于根據(jù)耳穴基準(zhǔn)點(diǎn)的樣本庫(kù)中的耳穴基準(zhǔn)點(diǎn)輸入訓(xùn)練模型中訓(xùn)練得到用于記錄耳穴基準(zhǔn)點(diǎn)在訓(xùn)練范圍內(nèi)的灰度分布規(guī)律的局部紋理模型。

所述耳穴搜索定位單元11023，用于將所述耳部圖像輸入所述訓(xùn)練模型，對(duì)所述耳部圖像進(jìn)行搜索以確定所述耳部圖像對(duì)應(yīng)的每個(gè)耳穴位置點(diǎn)。

在一種實(shí)施方式中，如圖11所示，所述耳穴搜索定位單元11023可包括：形狀向量獲取子單元110231、耳穴搜索子單元110232、匹配向量獲取子單元110233及驗(yàn)證向量獲取子單元110234。

所述形狀向量獲取子單元110231，用于對(duì)所述耳部圖像進(jìn)行初定位以得到基于所述耳部圖像初始耳部形狀向量。

所述耳穴搜索子單元110232，用于根據(jù)訓(xùn)練得到的局部灰度模型，對(duì)每個(gè)耳穴位置點(diǎn)使其沿法線方向在指定范圍內(nèi)進(jìn)行搜索。

所述匹配向量獲取子單元110233，用于對(duì)在所述指定范圍內(nèi)的每一個(gè)像素點(diǎn)計(jì)算其規(guī)格化灰度導(dǎo)數(shù)向量與訓(xùn)練得到的該像素點(diǎn)的平均規(guī)格化灰度導(dǎo)數(shù)向量之間的馬氏距離，從中選取馬氏距離最小的候選點(diǎn)作為最佳匹配點(diǎn)，根據(jù)每個(gè)耳穴位置點(diǎn)對(duì)應(yīng)的最佳匹配點(diǎn)得到了一個(gè)匹配形狀向量。

所述驗(yàn)證向量獲取子單元110234，用于將所述初始耳部形狀向量及匹配形狀向量通過(guò)所述形狀訓(xùn)練模型計(jì)算得到驗(yàn)證向量；其中，得到所述驗(yàn)證向量收斂時(shí)所述每個(gè)耳穴位置點(diǎn)對(duì)應(yīng)的最佳匹配點(diǎn)確定為所述耳部圖像中的各個(gè)耳穴的位置點(diǎn)。

所述數(shù)據(jù)得到模塊1103，用于獲取每個(gè)耳穴位置點(diǎn)對(duì)應(yīng)的圖像特征與預(yù)設(shè)的預(yù)存圖像特征進(jìn)行比對(duì)分析，得到所述用戶的人耳診斷數(shù)據(jù)。

在一種實(shí)施方式中，如圖12所示，所述數(shù)據(jù)得到模塊1103可包括：耳穴圖像定位單元11031、顏色特征獲取單元11032及數(shù)據(jù)生成單元11033。

所述耳穴圖像定位單元11031，用于對(duì)每個(gè)耳穴的位置點(diǎn)對(duì)應(yīng)的圖像進(jìn)行定位。

在一種實(shí)施方式中，如圖13所示，所述耳穴圖像定位單元11031包括：網(wǎng)絡(luò)結(jié)構(gòu)獲取子單元110311、圖形變換子單元110312及圖像位置得到子單元110313。

所述網(wǎng)絡(luò)結(jié)構(gòu)獲取子單元110311，用于對(duì)定位后的所述耳部圖像進(jìn)行三角剖分獲得耳部的網(wǎng)格結(jié)構(gòu)。

所述圖形變換子單元110312，用于對(duì)網(wǎng)絡(luò)結(jié)構(gòu)中對(duì)應(yīng)的耳穴的位置對(duì)應(yīng)的圖形進(jìn)行仿射變換。

所述圖像位置得到子單元110313，用于根據(jù)所述耳穴在進(jìn)行仿射變換之后的圖形中的目標(biāo)位置計(jì)算得到該耳穴在所述耳部圖像中的位置。

所述顏色特征獲取單元11032，用于獲取每個(gè)所述耳穴的位置點(diǎn)對(duì)應(yīng)的圖像的顏色特征。所述顏色特征獲取單元11032還用于獲取所述目標(biāo)位置在所述耳部圖像中對(duì)應(yīng)圖像部分的顏色特征作為所述耳穴的位置點(diǎn)對(duì)應(yīng)的圖像的顏色特征。

所述數(shù)據(jù)生成單元11033，用于將所述耳穴的位置點(diǎn)對(duì)應(yīng)的圖像的顏色特征與對(duì)應(yīng)的預(yù)存圖像的顏色特征進(jìn)行對(duì)比得到所述用戶的人耳診斷數(shù)據(jù)。

關(guān)于本實(shí)施例中的裝置的其它細(xì)節(jié)可以進(jìn)一步地參考上述方法實(shí)施例中的描述，在此不再贅述。

根據(jù)本實(shí)施例中的裝置，通過(guò)分析獲取的耳部圖像得到人耳診斷數(shù)據(jù)，不需要醫(yī)生觀看用戶的耳部以得到耳部診斷數(shù)據(jù)，能夠大大提高獲取數(shù)據(jù)的效率。

在本申請(qǐng)所提供的幾個(gè)實(shí)施例中，應(yīng)該理解到，所揭露的裝置和方法，也可以通過(guò)其它的方式實(shí)現(xiàn)。以上所描述的裝置實(shí)施例僅僅是示意性的，例如，附圖中的流程圖和框圖顯示了根據(jù)本發(fā)明的多個(gè)實(shí)施例的裝置、方法和計(jì)算機(jī)程序產(chǎn)品的可能實(shí)現(xiàn)的體系架構(gòu)、功能和操作。在這點(diǎn)上，流程圖或框圖中的每個(gè)方框可以代表一個(gè)模塊、程序段或代碼的一部分，所述模塊、程序段或代碼的一部分包含一個(gè)或多個(gè)用于實(shí)現(xiàn)規(guī)定的邏輯功能的可執(zhí)行指令。也應(yīng)當(dāng)注意，在有些作為替換的實(shí)現(xiàn)方式中，方框中所標(biāo)注的功能也可以以不同于附圖中所標(biāo)注的順序發(fā)生。例如，兩個(gè)連續(xù)的方框?qū)嶋H上可以基本并行地執(zhí)行，它們有時(shí)也可以按相反的順序執(zhí)行，這依所涉及的功能而定。也要注意的是，框圖和/或流程圖中的每個(gè)方框、以及框圖和/或流程圖中的方框的組合，可以用執(zhí)行規(guī)定的功能或動(dòng)作的專用的基于硬件的系統(tǒng)來(lái)實(shí)現(xiàn)，或者可以用專用硬件與計(jì)算機(jī)指令的組合來(lái)實(shí)現(xiàn)。

另外，在本發(fā)明各個(gè)實(shí)施例中的各功能模塊可以集成在一起形成一個(gè)獨(dú)立的部分，也可以是各個(gè)模塊單獨(dú)存在，也可以兩個(gè)或兩個(gè)以上模塊集成形成一個(gè)獨(dú)立的部分。

所述功能如果以軟件功能模塊的形式實(shí)現(xiàn)并作為獨(dú)立的產(chǎn)品銷售或使用時(shí)，可以存儲(chǔ)在一個(gè)計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中?；谶@樣的理解，本發(fā)明的技術(shù)方案本質(zhì)上或者說(shuō)對(duì)現(xiàn)有技術(shù)做出貢獻(xiàn)的部分或者該技術(shù)方案的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來(lái)，該計(jì)算機(jī)軟件產(chǎn)品存儲(chǔ)在一個(gè)存儲(chǔ)介質(zhì)中，包括若干指令用以使得一臺(tái)計(jì)算機(jī)設(shè)備(可以是個(gè)人計(jì)算機(jī)，服務(wù)器，或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個(gè)實(shí)施例所述方法的全部或部分步驟。而前述的存儲(chǔ)介質(zhì)包括：u盤、移動(dòng)硬盤、只讀存儲(chǔ)器(rom，read-onlymemory)、隨機(jī)存取存儲(chǔ)器(ram，randomaccessmemory)、磁碟或者光盤等各種可以存儲(chǔ)程序代碼的介質(zhì)。需要說(shuō)明的是，在本文中，諸如第一和第二等之類的關(guān)系術(shù)語(yǔ)僅僅用來(lái)將一個(gè)實(shí)體或者操作與另一個(gè)實(shí)體或操作區(qū)分開(kāi)來(lái)，而不一定要求或者暗示這些實(shí)體或操作之間存在任何這種實(shí)際的關(guān)系或者順序。而且，術(shù)語(yǔ)“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過(guò)程、方法、物品或者設(shè)備不僅包括那些要素，而且還包括沒(méi)有明確列出的其他要素，或者是還包括為這種過(guò)程、方法、物品或者設(shè)備所固有的要素。在沒(méi)有更多限制的情況下，由語(yǔ)句“包括一個(gè)……”限定的要素，并不排除在包括所述要素的過(guò)程、方法、物品或者設(shè)備中還存在另外的相同要素。

以上所述僅為本發(fā)明的優(yōu)選實(shí)施例而已，并不用于限制本發(fā)明，對(duì)于本領(lǐng)域的技術(shù)人員來(lái)說(shuō)，本發(fā)明可以有各種更改和變化。凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。應(yīng)注意到：相似的標(biāo)號(hào)和字母在下面的附圖中表示類似項(xiàng)，因此，一旦某一項(xiàng)在一個(gè)附圖中被定義，則在隨后的附圖中不需要對(duì)其進(jìn)行進(jìn)一步定義和解釋。

以上所述，僅為本發(fā)明的具體實(shí)施方式，但本發(fā)明的保護(hù)范圍并不局限于此，任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，可輕易想到變化或替換，都應(yīng)涵蓋在本發(fā)明的保護(hù)范圍之內(nèi)。因此，本發(fā)明的保護(hù)范圍應(yīng)所述以權(quán)利要求的保護(hù)范圍為準(zhǔn)。