本發(fā)明涉及圖像處理技術領域，特別是涉及舌象獲取方法、裝置和系統(tǒng)。

背景技術：

舌象診斷是傳統(tǒng)中醫(yī)的主要診斷方法之一，隨著數(shù)字圖像技術、圖像處理技術、模式識別技術的進步，計算機輔助舌苔分析系統(tǒng)被普遍認為能夠實現(xiàn)客觀的、標準的自動化舌診。目前，數(shù)字化的舌象采集和分析技術引起了多個學科研究者的興趣，同時使相關研究者更容易地建立更大舌象醫(yī)學數(shù)據(jù)庫成為可能。

現(xiàn)有技術中用于舌象采集和自動進行舌象分析和診斷的設備或系統(tǒng)，如公開號為CN104298983A的中國專利申請所揭示的，一種具有分布式用戶終端的舌苔圖像獲取與分析系統(tǒng)，其包括：具有分布式的用戶應用端，這些應用端能夠穩(wěn)定工作于各種移動終端(如三星、聯(lián)想、小米、摩托羅拉、HTC等各品牌的Android手機，具有類似配置級別的其它手機，具有通訊功能的智能照相機或智能攝像機等)，由于其沒有額外的硬件資源投入，因而可以走進尋常百姓的生活；為用戶個性化地監(jiān)控健康狀況、預防疾病發(fā)生或監(jiān)控疾病發(fā)展與治療過程提供一種參考。

又如公開號為CN103735253A的中國專利申請所揭示的，一種基于移動終端的中醫(yī)舌象分析系統(tǒng)，其包括移動終端和服務器，所述移動終端用于采集舌頭圖像并發(fā)送到服務器，所述服務器用于接收所述移動終端發(fā)出的舌頭圖像并進行處理、分析，然后將分析結果發(fā)送到移動終端。其具有簡易方便，能夠自動識別舌象信息并進行處理，保證了診斷分析結果的穩(wěn)定準確等優(yōu)點；用戶可隨時隨地進行舌象診斷，獲知自身的健康水平，實現(xiàn)了足不出戶看醫(yī)生。

上述現(xiàn)有的舌象診斷設備和系統(tǒng)，尤其是通過移動終端如手機作為圖像獲取設備的舌象診斷系統(tǒng)，其普遍存在的缺點是：

現(xiàn)有的手機通常具有前后兩個攝像頭，而用戶需要為了在觀察舌頭的同時完成人工拍攝，只能使用前置攝像頭，前置攝像頭的分辨率、拍攝照片的質量往往較差，拍攝質量不如后置攝像頭，使用前置攝像頭將造成舌象樣本圖像不清晰，此外，現(xiàn)有手機的閃光燈通常設置的后置攝像頭處，如前述，由于只能使用前置攝像頭，在拍攝舌象照片時無法使用閃光燈進行照度補償，影響照片質量，也將造成舌象樣本圖像不清晰。此外，傳統(tǒng)的此類系統(tǒng)還需要要求用戶保持舌頭位于特定的成像區(qū)域系統(tǒng)才能開始工作，且用戶需要手動選擇舌頭區(qū)域，再手動觸發(fā)舌象獲取程序，進而使得用戶操作不便。

技術實現(xiàn)要素：

基于此，有必要針對傳統(tǒng)的舌象系統(tǒng)獲取舌象圖像樣本不清晰，不精確，且舌象的拍攝形成過程較為不便，不利于用戶的使用的缺陷，提供一種舌象獲取方法、裝置和系統(tǒng)。

一種舌象獲取方法，包括：

通過攝像頭檢測人臉；

當檢測到人臉時，獲取人臉圖像；

解析所述人臉圖像，獲取口部位置；

根據(jù)所述口部位置獲取舌象圖像。

在一個實施例中，所述根據(jù)所述口部位置獲取舌象圖像的步驟包括：

根據(jù)所述口部位置實時獲取第一口部圖像；

解析所述第一口部圖像，獲取所述第一口部圖像的第一特征值；

根據(jù)所述口部位置實時獲取第二口部圖像；

解析所述第二口部圖像，獲取所述第二口部圖像的第二特征值；

檢測第二特征值與所述第一特征值之間的差值是否大于預設閾值，是則確定所述第二口部圖像作為所述舌象圖像。

在一個實施例中，所述解析所述人臉圖像，獲取口部位置的步驟之后還包括：

開啟閃光燈。

在一個實施例中，所述當檢測到人臉時，獲取人臉圖像的步驟包括：

當檢測到人臉時，檢測所述人臉是否對齊于預設角度；

當所述人臉對齊于所述預設角度，則獲取人臉圖像，否則，輸出提示信號。

在一個實施例中，所述解析所述人臉圖像，獲取口部位置的步驟包括：

解析所述人臉圖像，獲取口部位置；

根據(jù)所述口部位置生成圖像框；

所述根據(jù)所述口部位置獲取舌象圖像的步驟包括：

獲取所述圖像框內的所述舌象圖像。

在一個實施例中，所述根據(jù)所述口部位置獲取舌象圖像的步驟之后還包括：

解析所述舌象圖像，獲取舌質特征和舌苔特征；

將所述舌質特征和所述舌苔特征輸出。

一種舌象獲取裝置，包括：

人臉檢測模塊，用于通過攝像頭檢測人臉；

圖像獲取模塊，用于當檢測到人臉時，獲取人臉圖像；

口部位置獲取模塊，用于解析所述人臉圖像，獲取口部位置；

舌象圖像獲取模塊，用于根據(jù)所述口部位置獲取舌象圖像。

在一個實施例中，還包括：

圖像處理模塊，用于解析所述舌象圖像，獲取舌質特征和舌苔特征；

特征輸出模塊，用于將所述舌質特征和所述舌苔特征輸出。

一種舌象獲取系統(tǒng)，包括上述任一實施例所述的舌象獲取裝置。

在一個實施例中，還包括信息交換模塊，所述信息交互模塊與所述舌象圖像獲取模塊連接，所述信息交互模塊用于獲取舌質特征和舌苔特征，根據(jù)所述舌質特征和所述舌苔特征生成舌象結果。

上述舌象獲取方法、裝置和系統(tǒng)，通過攝像頭檢測人臉時拍攝獲取人臉圖像，并解析人臉圖像獲取到臉部的口部位置，進而自動獲取口部的舌象圖像，使得舌象圖像獲取更為便捷，無需用戶選擇對齊口部，使得舌象圖像更為準確，便于用戶的使用。

附圖說明

圖1A為一實施例的舌象獲取方法的流程示意圖；

圖1B為另一實施例的舌象獲取方法的流程示意圖；

圖1C為另一實施例的舌象獲取方法的流程示意圖；

圖1D為另一實施例的舌象獲取方法的流程示意圖；

圖1E為另一實施例的舌象獲取方法的流程示意圖；

圖2為另一實施例的舌象獲取方法的流程示意圖；

圖3A為一實施例的舌象獲取裝置的模塊示意圖；

圖3B為另一實施例的舌象獲取裝置的模塊示意圖；

圖4為一實施例臉部位置識別以及生成圖像框的示意圖。

具體實施方式

為了便于理解本發(fā)明，下面將參照相關附圖對本發(fā)明進行更全面的描述。附圖中給出了本發(fā)明的較佳實施例。但是，本發(fā)明可以以許多不同的形式來實現(xiàn)，并不限于本文所描述的實施例。相反地，提供這些實施例的目標是使對本發(fā)明的公開內容的理解更加透徹全面。

在一個實施例中，如圖1A所示，一實施例的一種舌象獲取方法，包括以下步驟：

步驟120，通過攝像頭檢測人臉。

具體地，本步驟中，攝像頭實時檢測人臉，即該攝像頭處于工作狀態(tài)，例如，該攝像頭處于拍攝狀態(tài)，又如，該攝像頭處于拍攝視頻狀態(tài)，應該理解的，視頻為多個連續(xù)圖像，即視頻為動態(tài)圖像。通過攝像頭拍攝到的圖像，檢測圖像中是否包含人臉，或者檢測圖像中的人臉是否正對攝像頭。例如，采用HAAR-Like特征算法檢測人臉，采用HAAR-Like特征算法檢測圖像中的人臉是否正對攝像頭。

例如，檢測應用(App)是否開啟，當檢測到應用開啟時，開啟攝像頭，通過攝像頭檢測人臉。具體地，應用為終端上的應用軟件。例如，該終端為移動終端，例如，該移動終端為手機，例如，該移動終端為平板電腦。

步驟140，當檢測到人臉時，獲取人臉圖像。

當檢測到攝像頭拍攝的圖像中包含人臉，或者檢測到攝像頭拍攝的圖像中的人臉正對于攝像頭，則獲取人臉圖像。例如，拍攝人臉，獲取人臉圖像，例如，實時拍攝人臉，獲取多個人臉圖像，例如，實時拍攝人臉視頻，獲取多個人臉圖像，本步驟中，確定了用戶的人臉正對攝像頭，此時，獲取用戶的人臉圖像，例如，當檢測到人臉時，拍攝人臉，獲取人臉圖像。例如，當檢測到人臉時，開啟閃光燈，拍攝人臉，獲取人臉圖像，開啟閃光燈有利于拍攝的照片更為清晰。

步驟160，解析所述人臉圖像，獲取口部位置。

本步驟中，對獲取到的人臉圖像進行解析，獲取人臉上口部的位置，該口部位置即人臉上嘴巴的位置。例如，采用HAAR-Like特征算法解析所述人臉圖像，獲取口部位置，例如，采用HAAR-Like特征算法對人臉圖像進行人臉各部位的偵測，識別并確認口部的位置，獲取所述口部位置。

步驟180，根據(jù)所述口部位置獲取舌象圖像。

本步驟中，當獲取到口部位置后，對該口部位置對應的區(qū)域進行拍攝，生成舌象圖像。具體地，該口部位置為人體嘴巴對應的位置，對該位置進行拍攝能夠精確對準用戶的舌頭，進而能夠精確獲取舌象圖像。

本實施例中，通過攝像頭檢測人臉時拍攝獲取人臉圖像，并解析人臉圖像獲取到臉部的口部位置，進而自動獲取口部的舌象圖像，使得舌象圖像獲取更為便捷，在用戶使用后攝像頭進行拍攝時，無需用戶選擇對齊口部，且無需用戶根據(jù)拍攝的圖像調整姿勢，使得舌象頭像更為準確，便于用戶的使用。

在一個實施例中，如圖1B所示，步驟180包括：

步驟181，根據(jù)所述口部位置實時獲取第一口部圖像。

例如，根據(jù)口部位置對口部位置對應的區(qū)域進行拍攝，獲取口部圖像，具體地，實時獲取第一口部圖像即持續(xù)對人臉的口部位置進行拍攝，獲取口部位置的口部圖像。應該理解的是，在拍攝階段，用戶的嘴巴為閉合狀態(tài)，隨后張開，即用戶的嘴巴由閉合狀態(tài)變?yōu)閺堥_狀態(tài)，因此，在此過程中需要檢測用戶的嘴巴是否張開，舌頭是否伸出，因此，本實施例中，持續(xù)對用戶的口部位置進行拍攝，獲取多個第一口部圖像。

步驟182，解析所述第一口部圖像，獲取所述第一口部圖像的第一特征值。

例如，采用Gabor過濾算法對所述口部圖像進行解析處理，獲取第一口部圖像的第一特征值，該第一特征值用于表示用戶口部或者嘴巴的特征，例如，該特征包括嘴型、嘴角線位置，從而能夠精確捕獲用戶的口部的變化。

應該理解的是，該獲取的第一口部圖像是在拍攝視頻中獲取的，該第一圖像為視頻中的一幀圖像，本實施例中，獲取第一口部圖像和獲取第一口部圖像的第一特征值可看做是同步進行，該獲取第一口部圖像僅僅是確定第一口部圖像，即從視頻中確定一幀作為第一口部圖像，且無需暫存該第一口部圖像，也無需截取第一口部圖像，這樣，在確定了第一口部圖像時，獲取該第一口部圖像的第一特征值，從而有效提高第一特征值的效率，實現(xiàn)高效地判定嘴巴是否張開，或者舌頭是否伸出。

步驟183，根據(jù)所述口部位置實時獲取第二口部圖像。

例如，在所述口部位置對口部位置對應的區(qū)域進行持續(xù)拍攝，獲取第二口部圖像，具體地，該第二口部圖像與第一口部圖像對應的口部位置相同，該第二口部圖像與第一口部圖像對應的拍攝時刻不同。

步驟184，解析所述第二口部圖像，獲取所述第二口部圖像的第二特征值。

例如，采用Gabor過濾算法對所述口部圖像進行解析處理，獲取第二口部圖像的第二特征值。

具體地，從實時拍攝的視頻中，確定第二口部圖像，解析該第二口部圖像，獲取第二口部圖像的第二特征值。

步驟185，檢測第二特征值與所述第一特征值之間的差值是否大于預設閾值，是則執(zhí)行步驟186。

具體地，第二特征值與所述第一特征值之間的差值即為第二特征值與所述第一特征值之間的差異，兩者之間的差異即為用戶的口部的變化，當兩者之間的差異較大，則表明用戶的口部的形狀變化較大，即用戶的口部由閉合狀態(tài)變?yōu)閺堥_狀態(tài)。

步驟186，確定所述第二口部圖像作為所述舌象圖像。

本實施例中，當?shù)诙卣髦蹬c所述第一特征值之間的差值大于預設閾值時，表明用戶的口部的形狀變化較大，用戶的口部由閉合狀態(tài)變?yōu)閺堥_狀態(tài)，此此時以第二特征值對應第二口部圖像作為舌象圖像。

值得一提的是，第一口部圖像和第二口部圖像均為攝像頭處于拍攝視頻狀態(tài)時拍攝視頻中的其中一幀，該第一口部圖像和第二口部圖像可以是相鄰的兩幀，也可以是相隔多幀的兩幀。本實施例中對特征值的獲取可以看做是對視頻中的特征值的獲取，例如，獲取動態(tài)圖像中多個特征，檢測多個特征的特征值的變化是否大于預設閾值，是則確定變化后的口部圖像作為所述舌象圖像。

例如，該第一口部圖像為嘴巴閉合狀態(tài)下的口部圖像，例如，該第一口部圖像為口部閉嘴模型圖，例如，該第二口部圖像為嘴巴張開且舌頭伸出狀態(tài)下的口部圖像，例如，該第二口部圖像為舌頭伸出模型圖。

本實施例中，由于第一口部圖像和第二口部圖像并不存儲至內存空間，僅僅在確定第一口部圖像和第二口部圖像后，分別解析獲得第一口部圖像的第一特征值和第二口部圖像的第二特征值，從而實現(xiàn)特征值的高速對比，實現(xiàn)對口部圖像的狀態(tài)進行實時檢測。相對于傳統(tǒng)的兩個圖像之間的直接比較，能夠有效提高檢測效率，在用戶嘴型快速變化過程中實時檢測到舌頭的伸出，進而確定該口部圖像為舌象圖像。

在一個實施例中，步驟160之后還包括步驟170，開啟閃光燈。

一般情況下，在進行凸顯人臉圖像獲取時，閃光燈仍未開啟，當偵測到人臉時，將開啟閃光燈。如在極暗的情況下，當面部在合理預期的時段內偵測不到時，閃光燈會自動開啟，以便通過HAAR-Like特征算法對實時人臉圖像進行偵測，以尋找面部的標志。

具體地，開啟閃光燈，能夠使得攝像頭拍攝的圖像更為清晰，獲取的舌象圖像更為精確。值得一提的是，該閃光燈能夠使得拍攝的圖像更為清晰，但卻容易對用戶的眼睛造成不適，因此，長時間對用戶進行閃光燈照射不利于將造成用戶不適，因此，在本實施例中，在獲取到口部位置時，才開啟閃光燈，減小閃光燈的開啟時間，由于獲取到了口部位置，因此，能夠快速獲取口部圖像或舌象凸圖像，避免長時間對用戶的照射，另一方面，由于閃光燈的開啟，使得攝像頭拍攝的圖像更為清晰，獲取的舌象圖像更為精確。

在一個實施例中，步驟180包括：

A、根據(jù)所述口部位置獲取口部圖像。

B、解析所述口部圖像，檢測舌頭是否伸出。

C、當檢測到舌頭伸出，確定所述口部圖像為舌部圖像。

應該理解的是，口部圖像為用戶口部位置的圖像，但用戶的嘴巴可以是處于閉合狀態(tài)，也可以是處于打開狀態(tài)，或者處于舌頭伸出狀態(tài)，因此，需要精確獲取用戶的舌頭伸出狀態(tài)時的舌部圖像，例如，將多個口部圖像進行比較，根據(jù)口部圖像的變化趨勢，檢測舌頭是否伸出，例如，檢測獲取用戶口部的閉嘴模型圖，根據(jù)閉嘴模型圖以及多個口部圖像的變化趨勢，檢測舌頭是否伸出。當檢測到舌頭伸出時，確認該口部圖像為舌象圖像。

在一個實施例中，如圖1C所示，步驟140包括：

步驟142，當檢測到人臉時，檢測所述人臉是否對齊于預設角度，是則執(zhí)行步驟144，否則執(zhí)行步驟146。

具體地，為了獲取更為精確地人臉圖像或者舌象圖像，需要用戶的臉部對齊于攝像頭，使得攝像頭能夠從正面對用戶的臉部進行拍攝，進而使得拍攝的人臉圖像或者舌象圖像更為清晰和精確。

例如，采用HAAR-Like特征算法檢測所述人臉是否對齊于預設角度，例如，采用HAAR-Like特征算法確定面部二維坐標以及由在世界坐標中建立的五官三維位置參照數(shù)值點是否符合預設條件，進而檢測人臉是否對齊于預設角度。

步驟144，獲取人臉圖像。

本步驟中，當人臉對齊攝像頭，則通過攝像頭拍攝人臉，獲取人臉圖像。應該理解的是，由于檢測到用戶的臉部對齊于攝像頭，因此，拍攝獲取到的用戶人臉圖像更為清晰和精確。

步驟146，輸出提示信號。

本步驟中，由于人臉是沒有對齊于預設角度，即人臉沒有對齊攝像頭，其拍攝的人臉圖像不準確，因此需要用戶調整臉部角度，通過提示信號告知用戶。例如，該提示信號為光信號，例如，通過閃光燈輸出提示信號，例如，通過閃光燈的閃爍輸出提示信號；例如，該提示信號為聲音信號，例如，通過揚聲器輸出提示信號，例如，通過蜂鳴器輸出提示信號，例如，通過揚聲器的發(fā)聲輸出提示信號；例如，該提示信號為震動信號，例如，通過震動輸出提示信號，例如，通過移動終端的震動輸出提示信號。

通過該提示信號，提示用戶調整臉部角度，進而使得用戶的臉部對齊于攝像頭，使得攝像頭拍攝的人臉圖像和舌象圖像更為準確，且無需用戶實時觀測拍攝圖像，以及無需根據(jù)拍攝的圖像調整姿勢，提高了用戶使用的便捷度。

在一個實施例中，如圖1D所示，步驟160包括：

步驟162，解析所述人臉圖像，獲取口部位置。

本步驟中，獲取人臉圖像中口部位置，例如，采用HAAR-Like特征算法解析所述人臉圖像，獲取口部位置。

步驟164，根據(jù)所述口部位置生成圖像框。

例如，該圖像框用于限定口部的位置，例如，該圖像框用于確定口部的位置和形狀，例如，該圖像框用于表示口部的位置和形狀。具體地，該圖像框對口部位置的確定有利于攝像頭捕捉或對焦用戶的口部，例如，根據(jù)所述圖像框對焦所述口部位置。

在本實施例中，步驟180包括：獲取所述圖像框內的所述舌象圖像。

例如，根據(jù)圖像框進行拍攝，獲取所述圖像框內的所述舌象圖像，又如，根據(jù)所述圖像框對人臉圖像進行截取，獲取所述圖像框內的所述舌象圖像。具體地，在生成圖像框后，對焦所述圖像框內，對該圖像框內的區(qū)域進行拍攝，獲取舌象圖像，例如，在生成圖像框后，對焦所述圖像框內，對該圖像框內的區(qū)域進行拍攝，獲取口部圖像，根據(jù)所述口部圖像獲取舌象圖像。由于舌象圖像是根據(jù)圖像框限定的范圍進行拍攝生成，因此，舌象圖像更為精確，此外，使得對口部的拍攝和對焦更為快捷，有效提高成像效率。

在一個實施例中，如圖1E所示，步驟180之后還包括：

步驟192，解析所述舌象圖像，獲取舌質特征和舌苔特征。

具體地，舌頭包括舌質和舌苔，該舌質和舌苔的不同特性或表征，體現(xiàn)了用戶的不同狀態(tài)。例如，該舌質特征包括舌質顏色，例如，該舌苔特征包括舌苔顏色。例如，解析所述舌象圖像，獲取舌質顏色和舌苔顏色。

步驟194，將所述舌質特征和所述舌苔特征輸出。

例如，將舌質特征和所述舌苔特征輸出至信息交換模塊，所述信息交換模塊用以與其它數(shù)據(jù)模塊連接，用以交換信息和數(shù)據(jù)，將其他信息和數(shù)據(jù)與舌質特征和所述舌苔特征進行解析，得出舌象變化的趨勢，從而輸出舌象結果，該舌象結果用于輔助用戶判斷身體狀態(tài)。

如圖2所示，下面是舌象獲取方法的一個具體的實施例：

步驟201，通過攝像頭檢測人臉。

例如，開啟后置攝像頭并獲取人臉的實時圖像，并檢測人臉。一旦用戶面向照相機，面部被檢測到的時候，自動開啟閃光燈模式以提高圖像質量，并提示用戶已準備好捕獲的舌頭伸出時的圖像。

步驟202，當檢測到人臉時，檢測所述人臉是否對齊于預設角度，是則執(zhí)行步驟204，否則，執(zhí)行步驟203。

檢測人臉的角度即頭部姿態(tài)估計，用于顯示圖像采集時拍攝角度是否適當。本實施例中，采用HAAR-Like特征算法分類器確定的面部二維坐標以及由在世界坐標中建立的五官三維位置參照數(shù)值點的結合，可準確得到頭部姿態(tài)的估計結果。

例如，對人臉的各特征建立的坐標如下：

i)鼻尖：(0.0，0.0，0.0)；

ii)下巴：(0.0，-330.0，-65.0)；

iii)左眼的左眼角：(-225.0，170.0，-135.0)；

iv)右眼的右眼角：(225.0，170.0，-135.0)；

v)左嘴角：(-150.0，-150.0，-125.0)；

vi)右嘴角：(150.0，-150.0，-125.0)；

需要注意的是用其它類似的參照數(shù)值點可獲得同樣的估計結果。

本實施例中，采用假設光學中心位于圖像中心，焦距計算函數(shù)為：

其中，f是焦距，w是圖像以像素為單位的寬度，α是視場。

之后，進一步通過求解以下等式進行計算頭部轉動R(3×3矩陣)以及求解t(3×1矢量)，等式方程為：

其中，s是比例因子，(U，V，W)是世界坐標，(X，Y，Z)是相機坐標。

為了快速處理不同的比例因子s，并在可接受的時間范圍內得出近似值，方程式求解采用Levenberg–Marquardt算法，又稱為阻尼最小二乘法(DLS)，將所述問題轉化為任務優(yōu)化，例如：

其中，m是一組測量值(x_i，y_i)，是該組參數(shù)β運用模型曲線f(x_i，β)得到的最小化偏差的平方和。

一旦頭部轉動矩陣R確定后，最終計算得出頭部姿態(tài)的角度，也即是人臉的角度，通過比較計算得出的人臉的角度與預設角度是否一致，或者比較計算得出的人臉的角度與預設角度是否匹配，進而確定是否需要進行頭部姿態(tài)調整。

步驟203，輸出提示信號。

當人臉沒有正對攝像頭，或者用戶的頭部姿態(tài)不正確，對用戶輸出提示，以提示用于調整頭部姿態(tài)，例如，通過蜂鳴器發(fā)出提示音，例如，通過震動裝置發(fā)出震動提示，又如，通過揚聲器發(fā)出提示音。

步驟204，獲取人臉圖像。

本實施例中，該攝像頭處于拍攝狀態(tài)，例如，處于拍攝視頻狀態(tài)，實時獲取人臉圖像。

步驟205，解析所述人臉圖像，獲取口部位置。

例如，采用HAAR-Like特征算法對人臉圖像進行人臉各部位的偵測，識別并確認口部的位置。例如，識別并確認口部的位置后，產生一圖像框鎖定口部區(qū)域，裁剪所述圖像框內的圖像獲得口部圖像。

本實施例中提到的HAAR-Like特征算法對人臉圖像進行解析，識別口部的位置，其運算原理如下：

采用一個稱為積分圖像的中間表現(xiàn)，并且將其與已知產生預期結果的一組類似HAAR的特征進行比較，可以對某些特征進行快速的檢測和分類。

位置x，y處的積分圖像包含x，y及x，y的上方和左側的像素的總和：

其中ii(x，y)是積分圖像，而i(x，y)是原始圖像。

使用以下的循環(huán)：

s(x，y)＝s(x，y-1)+i(x，y)

ii(x，y)＝ii(x-1，y)+s(x，y)

其中s(x，y)是累積行數(shù)的總和，s(x，-1)＝0，和ii(-1，y)＝0)然后計算出積分圖像。

一旦檢測到面部，將以相同類型的類HAAR特征搜索期望的面部區(qū)域。

在第二次運行HAAR搜索時，如圖4所示，識別以下面部標志(坐標)：

眼睛(a1，a2)；

嘴角(b1，b2)；

唇的底部(c)；

一旦識別到口的位置和其他前述點的位置，則建立一個圍繞嘴的邊界框(圖像框)d。

由于使用HAAR類似的特征可以精確地檢測眼睛和嘴角的位置，采用這些位置特征來計算圍繞嘴區(qū)域的邊界框(圖像框)，以便更精確地檢測嘴巴。

例如，邊界框是具有兩眼之間距離的寬度和面部三分之一的高度的矩形區(qū)域。

邊界框位于檢測到的面部的下三分之一處。

在垂直方向，嘴邊界框局限于連接嘴角的線。

在水平方向，嘴邊界框在兩眼之間的中點下居中。

為了避免所測量的嘴角之間的距離大于眼睛之間的距離，例如，將測量到的嘴角的距離加寬20％，并根據(jù)臉部尺寸和圖像尺寸進行剪輯。

對人臉的各部位的偵測以及口部位置的確認之后，準備執(zhí)行口部位置的特征提取和分割，提示用戶將舌頭伸出作檢測。

步驟206，獲取口部圖像。

本實施例中，裁剪所述圖像框內的圖像獲得口部圖像。

步驟207，解析口部圖像，獲取口部圖像的特征值。

為獲得更多、更詳細的舌頭特征值，本實施例通過Gabor過濾算法對口部圖像進行處理，具體地，為了提取用于舌檢測的必要和更詳細的特征，采用Gabor濾波器，可以提取口部圖像的某些特征以提供不變的結果。

實際使用的Gabor濾波器由以下公式表示：

其假想部分為：

其中，

x′＝x cosθ+y sinθ；

y′＝-x sinθ+y cosθ；

δ表示正弦因子的波長。

θ表示Gabor函數(shù)的條紋取向(設置為90°)。

σ是高斯包絡的sigma偏差(設置為0.5)。

γ通過定義Gabor函數(shù)的空間縱橫比來定義Gabor函數(shù)的橢圓形支撐。

通過θ＝π/2能獲得可以提高平特征的濾波器，并且能有助于獲得嘴的分割和

連接兩個嘴角線的精確位置。

一旦口部位置被確定和定義，其所有平面特征也就確定，本實施例中通過利用這些特征值通過AAM(active appearance model，活動外貌模式)算法來追蹤口部變化。

步驟208，采用AAM算法偵測口部區(qū)域，獲取口部閉嘴模型圖。

具體地，該口部閉嘴模型圖即為用戶口部閉合狀態(tài)下的口部圖像。AAM算法是一個以統(tǒng)計模式，用以把一件物件新的形狀與外形特征與既有的形狀與外形特征作匹配(Edwards，Cootes and Taylor，1998)。這個匹配過程會尋找上下唇的邊界，利用這些邊界便可生成一個口部閉嘴模型圖。此時，用戶的嘴巴為閉合狀態(tài)，因此，獲取的用戶的口部圖像即為口部閉嘴模型圖。

本實施例的AAM算法的具體原理如下：

AAM算法是通過使用統(tǒng)計模型將對象形狀和外觀與新圖像進行匹配的算法，AAM使用最小二乘法(the least squares technique)來解決匹配具有相對較少計算成本的兩個圖像的優(yōu)化問題。

例如，擬合過程以嘴角的邊緣和在先前步驟中識別的嘴角位置來尋找嘴唇的邊界線。例如，識別以下在嘴里的15點，這樣，就足夠提供一個好的特征值：

–沿著上唇的頂部邊緣均勻分布的5個點。

–沿下唇的下緣均勻分布的5個點。

–沿著唇緣之間的線均勻分布的5個點，例如，沿著唇緣之間的線均勻分布的5個點中，包括嘴角的兩個點。

由該上述方法定義的點用于分割用戶閉合的嘴并創(chuàng)建該用戶的合嘴的模板，即口部閉嘴模型圖。該口部閉嘴模型圖能夠被儲存和再次使用，使得后續(xù)的舌象圖像獲取更為便捷。

通過該特征值在視頻拍攝過程中的變化，檢測用戶口部的變化趨勢，進而檢測用戶的舌頭是否伸出，由于上述方法僅通過檢測并獲取圖像的特征值，而無需獲取整個圖像，也無需暫存整個圖像，無需對全圖像進行解析，因此，該特征值的獲取效率更高，進而使得特征值的比較效率得到有效提高，從而實現(xiàn)特征值的高速對比，實現(xiàn)對口部圖像的狀態(tài)進行實時檢測。相對于傳統(tǒng)的兩個圖像之間的直接比較，能夠有效提高檢測效率，在用戶嘴型快速變化過程中實時檢測到舌頭的伸出，進而確定該口部圖像為舌象圖像。

步驟209，采用NCC算法將新獲得的口部圖像與所述口部閉嘴模型圖進行比較，當所述口部圖像與所述口部閉嘴模型圖的區(qū)別特征值達到設定的閾值時，獲取當前的口部圖像作為舌象圖像。

當用戶伸出舌時，嘴的形狀將與口部閉嘴模型圖對應的嘴的形狀不同。通過計算當前的口部圖像和口部閉嘴模型圖之間的歸一化相關系數(shù)(NCC)來量化實際差異。

NCC算法用于測量圖像之間的相似性，并且能對圖像樣本之間進行快速和不變的測量比較。它還可以表達第一圖像t(x，y)和第二圖像f(x，y)之間的相互關系，或者：

其中，n是t(x，y)和f(x，y)像素的數(shù)量；

是f像素的平均值；

σ_f是f像素的標準偏差；

兩幅圖像愈相似，NCC的值越高。

利用在上述步驟從口部閉嘴模型圖，采用比較視頻各幀的圖像，生成的舌頭伸出模型圖。

該舌頭伸出模型圖嵌入在系統(tǒng)中，可以在任何時間更新。

口部閉嘴模型圖和舌頭伸出模型圖，定義用于檢測適當舌伸出的兩個重要值：

I)用于閉口模板(NCC-C)的NCC。

II)舌伸出模板(NCC-P)的NCC。

其中閉口模板即為口部閉嘴模型圖對應的NCC，舌伸出模板即為舌頭伸出模型圖對應的NCC。

兩者數(shù)值都是定在零和一之間，其中0表示無相關性，1表示最大相關性。

通過監(jiān)視視頻的每個幀的NCC-C變化，能夠推斷出某些事件必須發(fā)生在口部區(qū)域中。

僅當NCC-C<0.80時，觸發(fā)對視頻圖像與舌頭伸出模型圖的比較。

一旦NCC-C和NCC-P都找到最優(yōu)值，并且在超過7個連續(xù)幀(或半秒)內維持，將觸發(fā)圖像獲取，即最終獲取到舌象圖像。

具體地，但不排除其他可能，采用以下數(shù)值來觸發(fā)舌象圖像的獲?。?/p>

0.30<NCC-C<0.80and NCC-P>0.60

口部圖像與伸舌模型圖的區(qū)別值達到上述的預設閾值后，且維持一段短的時間(一般為幾分之一秒)，便會啟動圖像拍攝功能或圖像截取功能，獲取當前口部圖像作為靜態(tài)舌象圖像。

一旦獲取了舌象圖像，則可以將其發(fā)送到另一模塊或系統(tǒng)用于進一步處理。例如，舌象圖像可以圍繞舌頭邊界框裁剪，并與鏡頭的所有EXIF信息一起保存。

使用現(xiàn)代手持設備的能力，還可以以RAW格式保存圖像。這意味著來自傳感器的原始數(shù)據(jù)被保存及每個細節(jié)都可被保留。所有操作，如噪聲消除，白平衡，閃光曝光補償仍然可以應用于圖像中。

步驟210，解析所述舌象圖像，獲取舌質特征和舌苔特征。

例如，對所述舌象圖像進行舌體分離處理，獲取舌質圖像和舌苔圖像，并根據(jù)舌質圖像和舌苔圖像解析，獲取舌質特征和舌苔特征。

例如，通過舌頭總面積一部分的特征來估計全舌頭的特征，將舌象圖像的中心作為種子點，通過使用區(qū)域生長算法，有效地找到舌苔區(qū)域與舌體區(qū)域的邊界，以及舌體和口部其它組織的邊界，從而分別獲取舌質圖像和舌苔圖像。

步驟211，將所述舌質特征和所述舌苔特征輸出。

例如，將所述舌質特征和所述舌苔特征輸出至信息交換模塊，該信息交互模塊對舌質特征和所述舌苔特征進行解析獲得舌象分析結果，使得用戶能夠獲取自身的身體情況。

又如，一種舌象獲取裝置，其采用上述任一實施例所述舌象獲取方法實現(xiàn)；例如，所述舌象獲取裝置包括上述任一實施例所述舌象獲取方法中的各步驟所涉及的功能模塊，各所述功能模塊分別用于實現(xiàn)相關步驟。

在一個實施例中，如圖3A所示，一實施例的一種舌象獲取裝置，包括：

人臉檢測模塊310，用于通過攝像頭檢測人臉。

圖像獲取模塊330，用于當檢測到人臉時，獲取人臉圖像。

口部位置獲取模塊350，用于解析所述人臉圖像，獲取口部位置。

舌象圖像獲取模塊370，用于根據(jù)所述口部位置獲取舌象圖像。

即，功能模塊包括人臉檢測模塊310，圖像獲取模塊330，口部位置獲取模塊350，以及舌象圖像獲取模塊370等，依此類推。

在一個實施例中，如圖3B所示，舌象獲取裝置還包括：

圖像處理模塊391，用于解析所述舌象圖像，獲取舌質特征和舌苔特征；

特征輸出模塊393，用于將所述舌質特征和所述舌苔特征輸出。

在一個實施例中，一實施例的一種舌象獲取系統(tǒng)，包括上述任一實施例的所述的舌象獲取裝置。

該舌象獲取裝置安裝設置于移動終端上，該移動終端包括手機和平板電腦，該移動終端還包括其他具有攝像頭的智能終端。例如，該移動終端設置攝像頭，例如，該攝像頭設置有閃光燈，例如，該移動還設置有蜂鳴器，例如，該移動還設置有揚聲器，例如，該移動還設置有震動裝置。

在一個實施例中，舌象獲取系統(tǒng)還包括信息交換模塊，所述信息交互模塊與所述舌象圖像獲取模塊連接，所述信息交互模塊用于獲取舌質特征和舌苔特征，根據(jù)所述舌質特征和所述舌苔特征生成舌象結果。例如，該信息交互模塊設置在服務器上，例如，該服務器與移動終端連接，例如，該服務器與移動終端通過網絡連接。

例如，該移動終端還包括：通訊模塊，所述通訊模塊用于連接至網絡，例如，該通訊模塊用于與其他設備或系統(tǒng)通訊連接用以交換舌象圖像以及其他信息和數(shù)據(jù)。

例如，所述信息交換模塊用于與其它數(shù)據(jù)模塊連接，用以交換信息和數(shù)據(jù)，以便對所獲得的舌象圖像進行更準確的分析與解讀，每一次的分析結果可與之前通過同樣方式所獲取的舌象圖像的分析結果相對照，得出舌象變化的趨勢，并結合其它健康數(shù)據(jù)對人體的狀態(tài)根據(jù)中醫(yī)的理論生成解析結果。例如，解析舌象圖像的顏色，例如，比較每次獲取的舌象圖像的顏色，從而獲取到用戶的舌象的變化趨勢，進而生成解析結果，使得用戶能夠快速了解身體的健康狀況。

在一個實施例中，該舌象獲取系統(tǒng)包括以下模塊：

圖像獲取設備，所述圖像獲取設備為至少具有后置攝像頭和閃光燈的可編程移動終端設備。

人臉偵測模塊，所述人臉偵測模塊實時獲取所述圖像獲取設備的圖像，并進行人臉偵測；

舌頭伸出自動獲取模塊，所述舌頭伸出自動獲取模塊在所述人臉偵測模塊偵測到人臉后啟動并偵測舌頭伸出動作，獲取靜態(tài)舌象圖像；

圖像處理模塊，所述圖像處理模塊用以對所述靜態(tài)舌象圖像的進行技術處理，獲取舌質和舌苔的信息，從而獲得舌象分析結果。

舌象變化趨勢模塊，舌象變化趨勢模塊用于將每一次的舌象分析結果會與之前通過上面所述的方式所獲取的舌象分析結果相對照，得出舌象變化的趨勢。

在一個實施例中，該舌象獲取系統(tǒng)用于執(zhí)行舌象獲取方法，該方法包括以下步驟：

本實施例舌象自動獲取分析系統(tǒng)實現(xiàn)自動獲取分析的方法包括以下步驟：

a、開啟后置攝像頭并獲取人臉的實時圖像。

b、人臉偵測模塊判定獲取到人臉圖像后啟動閃光燈照亮人臉；

其中，步驟b包括：

b1、人臉偵測模塊通過HAAR-Like特征算法對獲取到的實時人臉圖像進行偵測，以尋找面部的標志。

b2、當偵測到人臉時，所述人臉偵測模塊指示所述圖像獲取設備開啟閃光燈。

如在極暗的情況下，當在合理預期的時段內偵測不到人臉時，閃光燈會自動開啟，以便通過HAAR-Like特征算法對實時人臉圖像進行偵測，以尋找面部的標志。

b3、再次運行HAAR-Like特征算法對人臉圖像進行人臉各部位的偵測，偵測并確認口部的位置。

b4、產生一圖像框鎖定口部區(qū)域，并確定兩個口角及下唇的位置，裁剪所述圖像框內的圖像獲得口部圖像。

b5、通過Gabor過濾算法對所述口部圖像進行處理，獲取口部圖像的特征值。

通過Gabor過濾算法，能夠提供獨立于光照度的結果，取得有關圖像方向的特征。根據(jù)這些特征可以進一步確定口部的位置，建立閉口模型圖。

c、偵測到舌頭伸出動作后獲取靜態(tài)舌象圖像。

其中步驟c包括：

c1、所述舌頭伸出自動獲取模塊通過AAM算法偵測口部區(qū)域，首先獲取口部閉嘴模型圖。

當確定了口部位置及其在水平方向的特征，利用這些特征以AAM(active appearance model，活動外貌模式)算法那去追蹤口部。AAM是一個以統(tǒng)計模式，用以把一件物件新的形狀與外形特征與既有的形狀與外形特征作匹配(Edwards,Cootes and Taylor，1998)。這個匹配過程會尋找上下唇的邊界，利用這些邊界便可產生一個口部閉嘴模型圖。

c2、當舌頭伸出時，所述舌頭伸出自動獲取模塊通過NCC算法將新獲得的口部圖像與所述閉嘴模型圖進行比較，當口部圖像與所述閉嘴模型圖的區(qū)別特征值達到設定的閾值時，獲取當前口部圖像作為靜態(tài)舌象圖像。

當舌頭伸出時，會形成一個與閉嘴模型圖截然不同的口部圖像。采用NCC(歸一化相關系數(shù))算法將新通過AAM獲得的口部圖像特征，與所述閉嘴模型圖進行比較，同時與預存的口部伸舌模型圖相比較，當口部圖像與所述閉嘴模型圖的區(qū)別值達到設定的閾值，且口部圖像與伸舌模型圖的區(qū)別值達到設定的閾值，并維持一段短的時間(一般為幾分之一秒)，便會啟動圖像拍攝功能，獲取當前口部圖像作為靜態(tài)舌象圖像。

d、圖像處理模塊對所述靜態(tài)舌象圖像進行舌體分離和技術處理，獲取舌質圖像和舌苔圖像，并對所述舌質圖像和舌苔圖像進行分析獲得舌象分析結果。

通過舌頭總面積一部分的特征來估計全舌頭的特征，將舌象圖像的中心作為種子點，通過使用區(qū)域生長算法，有效地找到舌苔區(qū)域與舌體區(qū)域的邊界，以及舌體和口部其它組織的邊界，從而將舌體分離，獲取舌質圖像和舌苔圖像。

應該說明的是，上述系統(tǒng)實施例中，所包括的各個模塊只是按照功能邏輯進行劃分的，但并不局限于上述的劃分，只要能夠實現(xiàn)相應的功能即可；另外，各功能模塊的具體名稱也只是為了便于相互區(qū)分，并不用于限制本發(fā)明的保護范圍。

另外，本領域普通技術人員可以理解實現(xiàn)上述各實施例方法中的全部或部分步驟是可以通過程序來指令相關的硬件來完成，相應的程序可以存儲于可讀取存儲介質中。

以上所述實施例的各技術特征可以進行任意的組合，為使描述簡潔，未對上述實施例中的各個技術特征所有可能的組合都進行描述，然而，只要這些技術特征的組合不存在矛盾，都應當認為是本說明書記載的范圍。

以上所述實施例僅表達了本發(fā)明的幾種實施方式，其描述較為具體和詳細，但并不能因此而理解為對發(fā)明專利范圍的限制。應當指出的是，對于本領域的普通技術人員來說，在不脫離本發(fā)明構思的前提下，還可以做出若干變形和改進，這些都屬于本發(fā)明的保護范圍。因此，本發(fā)明專利的保護范圍應以所附權利要求為準。