專利名稱：皮膚成像和分析系統(tǒng)及方法
技術領域：
本發(fā)明一般地涉及用于顯示與多個皮膚缺損(skin defects)相關的信息的一種裝置和方法，特別是涉及這樣的裝置和方法，它們用于確定和顯示與人體皮膚的數(shù)字圖像相關的一個或多個分析區(qū)域和缺損區(qū)域的定位、用于確定這些缺損的嚴重性、以及顯示缺損區(qū)域的改善和/或惡化。
背景技術：
全世界無數(shù)的人尋求通過使用化妝品和皮膚護理來改善他們的身體外觀。結果是消費者可以選擇的可獲得產(chǎn)品的選擇范圍極大。個體消費者經(jīng)常發(fā)現(xiàn)很難確定使用何種產(chǎn)品何如何使用它們以便最佳地改善他們自己的個人皮膚類型和條件。隨著時間的過去，個人皮膚條件和社會準則發(fā)生變化，這種問題更加復雜。
零售化妝品柜臺的美容顧問負責識別顧客皮膚的缺損。一旦識別出缺損，顧問必須告訴顧客這些缺損的類型、數(shù)量和位置來進行討論。最后顧問必須向顧客推薦旨在改善所識別的缺損的外觀的產(chǎn)品和使用技術并演示此改善。
典型地，這種咨詢非常主觀。不是所有的美容顧問可以識別相同類型或數(shù)量的皮膚缺損。咨詢的結果可以每次不一樣，即使對于相同的顧問和顧客。顧問經(jīng)常很難就她所看到的缺損與顧客交流，嘗試推薦的累試過程是浪費時間和令人厭煩的。

發(fā)明內容
本發(fā)明的目的在于提供用于分析多種可視的皮膚缺損的一種方法和裝置。該方法和裝置以用戶友好的方式提供了皮膚缺損的快速識別，因此使得操作者能夠推薦化妝品或醫(yī)學治療并模擬對那些區(qū)域的改善和/或惡化。
一方面，本發(fā)明的目的在于提供用于定位與人體臉部相關的多種可視皮膚缺損的一種系統(tǒng)。該系統(tǒng)獲取人體臉部的第一數(shù)字圖像并以電子方式分析該人體臉部的第一數(shù)字圖像以定位多個缺損區(qū)域。典型的每個缺損區(qū)域比第一數(shù)字圖像小得多，且每個缺損區(qū)域包含至少一個可視的皮膚缺損。其后，該系統(tǒng)以電子方式基于第一數(shù)字圖像而產(chǎn)生和顯示人體臉部的第二數(shù)字圖像與缺損區(qū)域的定位。第二數(shù)字圖像通過以電子方式充分地將包含皮膚缺損(即在缺損區(qū)域上或周圍)的區(qū)域中的多個像素的顏色改變?yōu)橹辽僖环N與第一數(shù)字圖像的皮膚顏色在視覺上截然不同的顏色來可視地識別位于第一數(shù)字圖像中的多個缺損區(qū)域。
另一方面，本發(fā)明的目的在于提供用于定位多個與人體臉部相關的可視的皮膚缺損的一種系統(tǒng)。該系統(tǒng)獲取人體臉部的第一數(shù)字圖像并識別位于人體臉部的第一數(shù)字圖像中的多個標記，如眼角、鼻邊處和/或嘴角，隨后，該系統(tǒng)基于多個標記以電子方式判定人體臉部的第一數(shù)字圖像的一個子圖像。此子圖像隨后被以電子方式分析以定位多個缺損區(qū)域。典型的每個缺損區(qū)域比第一數(shù)字圖像小得多而且每個缺損區(qū)域包含至少一個可視的皮膚缺損。
在又一方面，本發(fā)明的目的在于提供用于模擬對多種與人體臉部有關的可視皮膚缺損的改進和/或惡化的一種系統(tǒng)。該系統(tǒng)獲取人體臉部的第一數(shù)字圖像并以電子方式分析該人體臉部的第一數(shù)字圖像以定位多個缺損區(qū)域。典型的每個缺損區(qū)域比第一數(shù)字圖像小得多，每個缺損區(qū)域包含至少一個可視皮膚缺損。隨后，該系統(tǒng)基于人體臉部的第一數(shù)字圖像以及缺損區(qū)域的位置以電子方式創(chuàng)建和顯示第二個數(shù)字圖像。此第二數(shù)字圖像包含多個缺損區(qū)域的每個的一個改善的(或惡化的)區(qū)域。每個改善的(或惡化的)區(qū)域通過以電子方式改變位于人體臉部第一數(shù)字圖像中的多個缺損區(qū)域之一中的多個像素的顏色而創(chuàng)建。
通過參照附圖詳細描述本發(fā)明的優(yōu)選實施例，本領域技術人員將更清楚本發(fā)明的這些和其他特點和優(yōu)點，下面給出對附圖的簡要說明。
附圖簡要說明

圖1是能夠利用本發(fā)明的一種成像裝置的方框圖；圖2是圖1的計算器件的更詳細方框圖；
圖3是操作者個人和圖2的計算器件可以完成的一個過程的流程圖，該過程用以按照本發(fā)明的指導來分析和顯示圖像；圖4是按照本發(fā)明的指導獲取圖像的過程的詳細流程圖；圖5是圖1的計算器件和顯示器可以實現(xiàn)的圖形用戶界面的一個繪線型圖，該圖形用戶界面用以按照本發(fā)明的指導來顯示獲取的圖像；圖6是圖2的計算器件可以實現(xiàn)的程序的詳細流程圖，該程序用以按照本發(fā)明的指導來確定子圖像；圖7是圖1的計算器件和顯示器可以實現(xiàn)的圖形用戶界面的一個繪線型圖，該圖形用戶界面用以按照本發(fā)明的指導來顯示各子圖像的定位；圖8是圖2的計算器件可以實現(xiàn)的程序的詳細流程圖，該程序用以按照本發(fā)明的指導來分析各子圖像以定位缺損區(qū)域并將該缺損區(qū)域的嚴重程度與人口大眾的平均皮膚嚴重程度相比較；圖9是圖2的計算器件可以實現(xiàn)的程序的詳細流程圖，該程序用以按照本發(fā)明的指導來顯示分析結果；圖10是圖1的計算器件和顯示器可以實現(xiàn)的圖形用戶界面的一個繪線型圖，該圖形用戶界面用以按照本發(fā)明的指導來顯示一個特殊皮膚嚴重程度與人口大眾的平均皮膚嚴重程度的圖形對比；圖11-14是圖1的計算器件和顯示器可以實現(xiàn)的圖形用戶界面的一個繪線型圖，該圖形用戶界面用以按照本發(fā)明的指導來顯示多個缺損的定位；圖15是圖2的計算器件可以實現(xiàn)的程序的詳細流程圖，該程序用以按照本發(fā)明的指導來模擬對定位的缺損區(qū)域的改善效果；圖16是圖1的計算器件和顯示器可以實現(xiàn)的圖形用戶界面的一個繪線型圖，該圖形用戶界面用以按照本發(fā)明的指導來顯示定位的缺損區(qū)域的模擬的改善和/或惡化結果。
優(yōu)選實施例詳細說明圖1圖解了能夠利用本發(fā)明的一種成像裝置的方框圖。在一個實施例中，成像裝置被放置于零售化妝品柜臺以便分析和推薦化妝和皮膚護理產(chǎn)品。然而所屬領域的一般技術人員將容易理解該裝置可以被用在不脫離本發(fā)明的精神和范圍的任何地方。例如，該裝置可以被用在醫(yī)療室用以診斷和存檔病人的數(shù)據(jù)。該裝置可以包括一個成像裝備104，它連接到計算器件106，用于獲取要分析的人皮膚的圖像。為了簡化和一致，在此說明人體臉部的成像。然而所屬領域的一般技術人員將容易理解身體的其他區(qū)域(如手、臂和腿等)也可以成像。
成像裝備104可以包括定位設備116、照明器件118和數(shù)字圖像產(chǎn)生器120，如數(shù)字照相機、連接到數(shù)字化電路的模擬照相機、掃描儀、攝像機等。在成像裝備104中的器件可以以彼此的預定距離和預定角度排列以使獲取的圖像的質量最佳。例如，用于穩(wěn)定人體臉部的定位器件可以包括下預支撐件和/或前額支撐件。在一個實施例中，數(shù)字成像產(chǎn)生器120被以與定位器件預定的距離和預定的角度放置。
計算器件106也連接到一個或多個輸出器件上，如第一顯示器108、第二顯示器114和/或打印機112。每個顯示器108、114可以是陰極射線管(CRT)、液晶顯示器(LCD)或任何其他類型的顯示器。打印機可以是激光打印機、噴墨打印機或任何其他類型的打印機。顯示器108、114產(chǎn)生圖像，其中可以包括操作者的提示、偏好、選擇和皮膚的數(shù)字圖像?？蛇x用的打印機112可以被用于打印數(shù)字圖像和/或被分析之人的分析結果。
圖2圖解了計算器件106的更詳細的圖。該計算器件106可以是一個一般用途的計算機，它通過編程來實現(xiàn)本發(fā)明的方法和/或裝置，或者該計算器件可以是特別的應用器件，它被設計來實現(xiàn)本發(fā)明的方法和/或裝置，該器件為所屬領域的一般技術人員所公知。在計算器件106中的控制器200可以包括諸如隨機訪問存儲器和/或磁盤驅動器的一個數(shù)據(jù)存儲器202、形式可以是只讀存儲器(ROM)的一個程序存儲器204和一個微處理器206，它們可以通過地址/數(shù)據(jù)總線208相互連接。在一個實施例中，該程序存儲器204以電子方式存儲實現(xiàn)下面說明的方法的一部分或全部的計算機程序，該程序由微處理器206執(zhí)行。程序存儲器204可以是諸如硬盤驅動器的固定存儲器件或者程序存儲器204可以是預裝的固件，此為所屬領域的一般技術人員所公知。在下面的方法中說明的一些步驟可以手動執(zhí)行而不使用計算器件106。
諸如調制解調器的傳統(tǒng)輸入/輸出(I/O)電路形式的發(fā)送器和接收器210，典型地將控制器200與諸如可選用的網(wǎng)絡222(如局域網(wǎng)、因特網(wǎng)等)的通信信道相連接。網(wǎng)絡222可以被用于獲取數(shù)字圖像和/或在下面說明的過程中使用的其他信息。諸如鍵盤和/或鼠標的輸入器件212可以通過線路214與I/O電路210連接，用于向控制器200輸入數(shù)據(jù)和命令。而且，顯示器108、114可以通過線路218與接收數(shù)據(jù)的I/O電路210來連接以產(chǎn)生在計算器件106的操作過程中所產(chǎn)生的數(shù)據(jù)的可視的顯示。整體操作圖3圖解了操作者個人和計算器件106可以完成的一個過程300的流程圖，該過程用以按照本發(fā)明的指導來分析和顯示圖像。在一個實施例中，由計算器件106執(zhí)行的編程的步驟由控制器200完成。當過程300被啟動時，控制器200獲取一個圖像(步驟302)、確定要分析哪些圖像區(qū)域(即一個子圖像)(步驟304)、分析這些圖像區(qū)域以定位缺損(步驟306)、將所定位的缺損的嚴重性與人口大眾相關的平均皮膚嚴重性或其他統(tǒng)計參數(shù)相比較(步驟306)、顯示分析結果(步驟308)和模擬對缺損區(qū)域的改善和/或惡化(步驟310)。下面詳細說明這些步驟中的每一個。圖像獲取圖4圖解了按照本發(fā)明的指導獲取圖像的過程302(在圖3中示意性示出)的詳細流程圖。在一個實施例中，這些步驟由操作者個人和控制器200執(zhí)行。過程302在步驟402當操作者定位在成像裝備104中要分析的人的一部分的時候開始。對于理想的圖像獲取，要求具有充足的和恒定的照明器件。在步驟404和406，照明設備118和數(shù)字圖像產(chǎn)生器120(如照相機)可以在定位人體臉部后被定位以便使圖像質量最佳化。作為另一選擇，照明器件118和數(shù)字圖像產(chǎn)生器120可以被在定位人體臉部之前定位于期望的位置以便加速圖像獲取過程。
當照明器件118、數(shù)字圖像產(chǎn)生器120和人體臉部到位時，在步驟408進行照相以響應于來自操作者的命令。在步驟410，該圖片以已知方式被數(shù)字化(即轉化為二進制表示)。最后，在步驟412，此數(shù)字圖像數(shù)據(jù)被傳輸?shù)接嬎闫骷?06。許多其他的獲取數(shù)字圖像的方法為所屬領域內的一般技術人員所公知。例如。要被分析的人可以通過網(wǎng)絡222提交一個圖片，一個文件可能從數(shù)據(jù)庫檢索出來而且/或者一個平面掃描儀可能被用來對模擬相片數(shù)字化。圖形用戶界面圖5圖解了圖1的計算器件106和顯示器108可以實現(xiàn)的圖形用戶界面的一個繪線型圖，該圖形用戶界面用以按照本發(fā)明的指導來顯示獲取的圖像。應該明白，任何由第一顯示器108產(chǎn)生的信息也能夠由第二顯示器114產(chǎn)生而且/或者由打印機112打印。圖5圖解的圖形用戶界面包括在顯示器108上方的標簽條502、在顯示器左面的一組操作者控件503和在顯示器中心的人體臉部518的獲取的圖像。所屬領域的一般技術人員可以容易地理解，許多其他的用戶界面元素的安排是可能的。
由顯示器108產(chǎn)生的每種類型的顯示被安排在標簽條502而能夠被選擇。具體在本例中，可獲得選擇標簽用于照相504、顯示人口大眾的對比結果506、顯示一個或多個皮膚缺損的位置(508-514)和顯示惡化和/或改善的結果的模擬516。當操作者或被分析的人在標簽條502中利用輸入器件212以已知方式選擇一個標簽時，產(chǎn)生相應的顯示。這些顯示示于圖7、10-14和16，下面詳細討論。
操作者和/或要分析的人可以利用輸入器件212和操作者控件503來輸入數(shù)據(jù)、選擇偏好和指令計算器件106的運行。在本例中，文本框520可用于輸入人名。人名可以被用作以后的訪問的標示符，以從存儲器202檢索與以前的分析過程相關聯(lián)的數(shù)據(jù)。人的年齡可以在另一個文本框522中被輸入。在這樣的情況下，人的年齡可以被用于限定當將分析結果與人口大眾的平均值(或其他統(tǒng)計參數(shù))相比較時使用的人們。類似地，可以使用其他文本框(未示出)來輸入與要分析的人相關的數(shù)據(jù)。例如，人的地理位置或種族可以被用來限定當將分析結果與人們相比較時使用的大眾數(shù)據(jù)。
其他操作者控件包括“照相”按鍵524、“面罩”按鍵526、滑動控件528、偏好復選框530和“分析”按鍵532?！罢障唷卑存I524啟動上述的圖像獲取過程的計算機控制部分(見圖4的步驟408)?！懊嬲帧卑存I526啟動子圖像的確定(見圖3和圖6的步驟304)?；瑒涌丶?28控制一個或多個子圖像的大小(下面將詳細說明)。偏好復選框530確定要分析的幾個皮膚特征中的哪一個(如肌理、皺紋、毛孔和/或斑點)以及是否應執(zhí)行與標準的比較(如與一些人們的平均值的比較)。“分析”按鍵532啟動分析過程(見圖3和圖8的步驟306)。子圖像確定圖6圖解了計算器件106可以實現(xiàn)的程序304(圖3中示意性地示出)的詳細流程圖，該程序用以按照本發(fā)明的指導來確定子圖像。在一個實施例中，控制器200執(zhí)行這些步驟。一個子圖像是原獲得的圖像518的一部分，據(jù)此來執(zhí)行分析。通過從分析過程中去除獲得的圖像518的一部分，更少的錯誤會發(fā)生。例如，通過從分析過程中排除對眼和鼻的考慮，避免了關于存在大的皮膚變色的錯誤判定(見圖7的子圖像邊界704)。下面說明判定子圖像邊界的四種方法。然而，所屬領域的一般技術人員將容易地理解可以利用其他方法，包括在此說明的方法的組合。
程序304在步驟602開始，在此作出一個決定來使用自動或手動子圖像確定。在一個實施例中，此決定通過操作者使用輸入器件212來作出。在另一個替代實施例中，該選擇通過控制器200而確定。在這樣一個情形下，控制器200可以自動分析或部分分析圖像，然后基于該分析的結果，由控制器200作出決定來使用自動或手動子圖像確定。例如，如果自動子圖像確定包括指出可信度的結果(如找到鼻子的確信程度)，而且此可信度低于一些預定的閾值，那么控制器200可以選擇手動子圖像確定。
如果選擇了手動子圖像確定，在步驟606作出一個決定來使用經(jīng)過提示的還是自發(fā)的子圖像確定。此決定可以由操作者使用輸入器件212來作出。如果選擇了自發(fā)的子圖像確定，在步驟622，操作者以公知方式利用輸入器件212和顯示的圖像518為子圖像畫出一條邊界704(見圖7)。如果選擇了經(jīng)過提示的子圖像確定，控制器200提示操作者在所顯示的圖像518上選擇一系列標記702(如嘴角，然后是鼻邊，然后是眼角等)。在步驟620，操作者以公知方式利用輸入器件212和顯示的圖像518為子圖像選擇每個標記702(見圖7)。隨后，控制器200可以以公知方式通過連接標記702而收拉子圖像邊界704。
如果選擇了自動子圖像確定，在步驟604作出決定來使用全自動或半自動子圖像確定。此決定可以由操作者通過輸入器件212而作出。如果選擇了半自動子圖像確定，在步驟612，操作者以公知方式利用輸入器件212和顯示的圖像518為子圖像選擇幾個標記702，但是不是所有的標記702。在步驟614和616，控制器200隨后通過將操作者輸入的標記702與預定的標記模板(如一個標準面罩)相比較和利用公知的形狀扭曲算法來插入操作者輸入的標記702而自動確定剩余的標志702。例如剩余的標志702可以通過利用在操作者輸入的標記702和針對每個操作者輸入的標記702的標準面罩之間的空間差別向量(δ(delta)x，δy)來計算。隨后，可以通過使用空間差別向量的雙線性插值和兩個最靠近的操作者輸入標記702的x、y坐標軸來計算剩余的標記702。隨后，控制器200可以通過以公知方式連接標記702(操作者輸入的標記702和自動確定的標記702)來收拉子圖像的邊界704。
如果選擇了全自動子圖像確定，在步驟608，控制器200通過在指示預定標記的數(shù)字圖像518中搜索模式而自動確定子圖像的所有標記702。所屬領域的一般技術人員了解許多臉部特征識別算法。在M.Lievin，F(xiàn).Luthon的“Lip Features Automatic Extraction”，Proceedings of the 1998 IEEE InternationalConference on Image Processing，WA05.03，Chicago，October 1998(《嘴唇特征自動提取》，1998 IEEE(電氣和電子工程師協(xié)會)國際圖像處理會議會刊，WA05.03，芝加哥，1998年10月)中詳細說明了一種這樣的算法，這里將其收入作為參考文獻。
一旦確定了主要的子圖像，在步驟618可以確定另外的子圖像。在一個實施例中，由控制器200在兩個標記702之間畫了一個弧來限定“眼下”子圖像邊界706(見圖7)。在步驟624，操作者可以隨后通過移動滑動控件528調節(jié)“眼下”子圖像的大小。例如，通過向右移動滑動控件528，增大了限定“眼下”子圖像的弧，并且通過向左移動滑動控件528，減小了限定“眼下”子圖像的弧。如果還未通過上述一個或多個步驟而執(zhí)行下面內容的話，則在步驟626，控制器收拉整個所有子圖像的邊界。
在一個替代實施例中，子圖像被通過將多個像素的多個色值與指示皮膚顏色的預定閾值相比較而以電子方式確定子圖像。在M.H.Yang，N.Ahuja的“Detecting Human Faces in Color Images”.Proceedings of the 1998 IEEEInternational Conference on Image Processing，MA05.02，Chicago，October(《在彩色圖像中檢測人體臉部》，1998 IEEE國際圖像處理會議會刊，MA05.02，芝加哥，1998年10月)中說明了此公知的技術，這里將其收入作為參考文獻。在R.Herpers，G Verghese等人的“An Active Stereo Vision System forRecognition of Faces and Related Hand Gestures”，Proceedings of the SecondInternational Conference on Audio and Video-Based Person Authentication(AVBPA99)，Washington DC，3/23-3/24，1999(《用于識別臉部和相關的手勢的一種有效的立體視覺系統(tǒng)》，第二次基于視頻和音頻的個人驗證國際會議(AVBPA99)，特區(qū)華盛頓，1999年3月23日-24日)中也說明了此公知的技術，這里將其收入作為參考文獻。子圖像分析一旦確定了一個或多個子圖像，就分析它們。圖8圖解了計算器件106可以實現(xiàn)的程序306(圖3中示意性示出)的詳細流程圖，該程序用以按照本發(fā)明的指導來分析各子圖像以定位缺損區(qū)域并將該缺損區(qū)域的嚴重程度與人們的平均皮膚嚴重程度相比較。在一個實施例中，這些步驟由控制器200執(zhí)行。缺損區(qū)域是在子圖像中滿足某些標準(如紅點)的區(qū)域。缺損的具體實例的嚴重程度是對人感知到的一個缺損比另一個缺損更“嚴重(worse)”的程度的估計。例如，一個大紅點被認為是比一個小紅點更嚴重?？梢远ㄎ辉S多不同的缺損類型。例如，可以定位諸如皺紋和/或細線的皮膚彈性特征。也可以利用多種公知的算法定位皮膚光滑度、皮膚肌理、起疙瘩的毛孔、諸如粉刺的紅腫的紅點、諸如老年斑的深色點、痣、雀斑以及許多其他皮膚缺損。在日本專利文件95-231883，“Skin Surface Analysis System and Skin Surface AnalysisMethod”(《皮膚表面分析系統(tǒng)和皮膚表面分析方法》)、PCT文件WO98/37811，“Systems and Methods for the Multispectral Imaging and Characterization of SkinTissue”(《用于皮膚組織的多譜段成像和特征鑒定的系統(tǒng)和方法》)、美國專利文件5,016,173，“Apparatus and Method for Monitoring Visually AccessibleSurfaces of the Body”(“用于監(jiān)測身體可視可接觸表面的裝置和方法”)中說明了這些算法的示例，這里將它們收入作為參考文獻。
程序306在步驟802開始，在此一個下標變量被初始化為0。下標變量的目的是明確何種類型的皮膚缺損被分析。如果僅有一種缺損類型被分析，下標變量可以去掉。在步驟804，定位包含現(xiàn)今缺損類型的子圖像中的多個區(qū)域。例如，如果子圖像包含6個紅點(通過公知的紅點監(jiān)測算法而定義)，那么確定子圖像中的6個位置?？梢岳弥付吮欢ㄎ坏娜睋p的大致中心的單獨的一套幾何坐標來識別每個位置，或者，可以通過覆蓋當前缺損類型影響的區(qū)域的一套地理坐標來識別每個位置。
在步驟806，控制器200基于人體臉部的原始數(shù)字圖像和缺損區(qū)域的位置而創(chuàng)建一個新的數(shù)字圖像(見圖11-14)。新的數(shù)字圖像通過以電子方式實質地將在包含皮膚缺損的區(qū)域中(如在缺損區(qū)域上或周圍)的多個像素的顏色改變?yōu)榕c第一數(shù)字圖像的皮膚顏色可見地區(qū)別的至少一個顏色而對用戶可見地識別多個位于原始數(shù)字圖像中的缺損區(qū)域。例如，缺損區(qū)域中的每個像素的皮膚可以被轉換為類似的藍色陰影以產(chǎn)生透明的覆蓋層。在另一個例子中，可以在6個紅點的每個的周圍畫一個綠環(huán)以可見地識別6個紅點的位置。
在步驟808，控制器200確定與缺損區(qū)域相關的以數(shù)值表示的嚴重程度。在一個實施例中，與缺損區(qū)域相關的彩色含量被從緊緊環(huán)繞缺損區(qū)域的區(qū)域的彩色含量中減去。例如，如果用于產(chǎn)生紅點的像素有60％的紅色而用于產(chǎn)生周圍皮膚顏色的像素有10％的紅色含量，那么在此例中與紅點缺損相關的以數(shù)值表示的嚴重程度可以被確定為50。在另一個實施例中，覆蓋缺損區(qū)域所必要的幾何坐標的數(shù)值就是以數(shù)值表示的嚴重程度。例如，如果一個監(jiān)測到的毛孔包30個像素，那么與該毛孔相關的以數(shù)值表示的嚴重程度可以被確定為30。一個特別缺損類型的多個實例的嚴重程度可以被總計，例如，多個嚴重程度可以被合計或平均。
在步驟810，控制器200可以基于人的感知系數(shù)而使總計的嚴重程度標準化。例如，如果在醫(yī)學研究中確定紅點的引人注意程度是棕色點的兩倍，那么與紅點相關的合計的嚴重程度可以加倍?；蛘咴诒纠校嫌嫷淖厣c嚴重程度可以被減半。當然，所屬領域的一般技術人員將容易理解，可以使多于兩種的缺損類型標準化。
在步驟812，控制器可以利用與某些人們相關的數(shù)據(jù)確定標準化的嚴重程度的百分點。所使用的大眾數(shù)據(jù)可能因被分析的人的年齡、地理位置、種族或其他因素而具有特殊性。例如，如果在被分析的人的年齡組中的取樣人群的55％針對當前缺損類型的標準化嚴重程度低于被分析人的嚴重程度，而取樣人群的45％的嚴重程度高于被分析的人的嚴重程度，那么百分點確定為55或56。
在步驟814，控制器200使下標加1，在步驟816，控制器200查看是否有更多的缺損類型要處理。如果有更多的缺損類型，則控制返回步驟804，重復處理過程。每次通過步驟804-816定義的循環(huán)，控制器300可以使用不同的算法來用于缺損定位、創(chuàng)建識別缺損區(qū)域的一個新的圖像、使用用于計算缺損程度的不同算法、使用用于標準化的不同系數(shù)并在確定百分點時使用不同的人群數(shù)據(jù)(見圖10-14)。
當沒有更多的缺損類型要處理時，控制器200可以在步驟818和步驟820分別計算整體的皮膚嚴重程度和整體的百分點。整體皮膚嚴重程度可以是多個個體皮膚缺損的嚴重程度的總計。例如，由步驟808的重復而決定的嚴重程度可以被相加或平均。整體百分點可以如上面針對個體皮膚缺損百分點所述而計算；然而，可能使用代表人們的整體嚴重程度的不同的數(shù)據(jù)集。大眾數(shù)據(jù)也可以基于被分析人的人口統(tǒng)計而選擇。
除了基于個體皮膚缺損嚴重程度總計的整體皮膚嚴重程度之外，可以確定一個或多個整體皮膚的特征。整體皮膚特征不可以依賴于任何個體皮膚缺損的檢測。例如，可以確定整體光滑程度/粗糙量。這樣的一個確定可能包括某些皮膚缺損(如分析整個圖像或子圖像)或者它可能不包括某些皮膚缺損(如不分析在深色缺損區(qū)域中的像素)。
用于確定整體皮膚嚴重程度的幾種方法為所屬領域內的一般技術人員所公知。例如，可以確定表面區(qū)域的密度。表面區(qū)域密度是“整個表面面積”除以像素數(shù)量。如果數(shù)字圖像被考慮為地形圖，則“整個表面面積”可以通過將每個像素的“頂部”和“邊”的區(qū)域相加而計算，其中更亮的區(qū)域被認為是更高?！跋袼刂怠贝蠹s為0的單個的亮像素的表面面積可以通過下式來得到像素寬*像素高+2*像素寬*[像素值]+2*像素高*[像素值]其中像素寬和像素高分別為在x和y方向上的像素之間的距離。此方法在Calum MacAulay和Branko Palcic的“Fractal Texture Features Based on OpticalDensity Surface Area”，Analytical and Quantitative Cytology and Hisrology，vol.12，no.6，December 1990(《基于光密度表面面積的分形肌理特征》，“分析和定量細胞學和組織學”，第12卷第6號，1990年12月)中有詳細說明，這里將其收入作為參考文獻。
為所屬領域的一般技術人員所公知的用于確定整體皮膚嚴重程度的另一種方法是分形肌理(fractal texture)測量。分形尺寸表示當在不同分辨率下測量時表面變化的特性。分形肌理通過下式來估計2+((log10(表面面積-log10(表面面積3×3))/log10(2))其中表面面積時圖像或子圖像的表面面積的估計值，表面面積3×3是3×3相鄰分辨率的表面面積的估計值。此方法在MacAulay，Calum和Palcic，Branko的“Fractal Texture Features Based on Optical Density Surface Area”，Analyticaland Quantitative Cytology and Histology，vol.12，no.6，December 1990(《基于光密度表面面積的分形肌理特征》，“分析和定量細胞學和組織學”，第12卷第6號，1990年12月)中和Peleg，Shmuel等人的“Multiple Resolution TextureAnalysis and Classification”，IEEE Transactions on Pattern Analysis and MachineIntelligence，VOL.PAMI-6，NO.4，July 1984(《多方案肌理分析和分類》，“IEEE模型分析和機器智能會刊”，第PAMI-6卷第4號，1984年7月)中有詳細說明，這里將這兩者收入作為參考文獻。
為所屬領域的一般技術人員所公知的用于確定整體皮膚嚴重程度的又一種方法是像素強度差異。粗糙的皮膚區(qū)域典型地包含亮和暗像素，給人不均勻的膚色的印象。像素強度差異可以對在圖像中或子圖像中的一些或所有像素進行計算。更高的差異表示更粗糙的皮膚。圖像和子圖像經(jīng)常具有照明遞減率，在這種情況下，差異的計算獲得的主要是照明的不均勻度而不是皮膚的不均勻度。照明遞減率引起的錯誤結果可以以兩種方式處理。首先，如果照明遞減率固定且已知(如成像設備通過使用平面單色平面校準)，則可以使用公知的稱為“背景校正”的技術來消除照明差異。其次，此差異可以針對照明遞減率很小或可以忽略不計的圖像的局部區(qū)域來計算。例如，可以使用被分析圖像中以一個像素為中心的21×21像素子區(qū)域，在此區(qū)域中的差異可以隨后寫入新圖像的相同的像素位置。通過對原始圖像中多個像素重復此過程，產(chǎn)生一個“差異圖像”。差異圖像的平均強度是原始圖像中的局部差異的精確估計值。顯示分析結果一旦分析完子圖像，就可以輸出它們。輸出一個圖像包括任何形式的計算機輸出。例如，該圖像可以通過網(wǎng)絡222發(fā)送、通過打印機112顯示和/或通過一個或多個顯示器108、114顯示。圖9圖解了計算器件106可以實現(xiàn)的程序308(在圖3中示意性示出)的詳細流程圖，該程序用以按照本發(fā)明的指導來顯示分析結果。在一個實施例中，這些步驟由控制器200執(zhí)行。程序308使得操作者或被分析的人可以選擇通過程序306計算的各種嚴重程度和百分點供觀看。
該程序在步驟902開始，在此操作者選擇一個要顯示和討論的缺損類型?？梢酝ㄟ^輸入器件212來執(zhí)行選擇以從沿著顯示器108頂端的標簽條502中選擇一種缺損類型。在本例中，4種缺損類型被分析，對應于4個標簽條選擇肌理508、皺紋510、毛孔512和斑點514(見圖11)。一旦作出一個選擇，在步驟904控制器200使主顯示器108和/或可選顯示器114產(chǎn)生可見地識別在步驟806產(chǎn)生的缺損區(qū)域的圖像(見圖11-14)。在步驟922，操作者可以選擇通過選擇另一個標簽條選項508、510、512、514來觀看另一種缺損類型。
當觀看可見地識別缺損區(qū)域的圖像時，操作者可以通過選擇一個“覆蓋開/關(ON/OFF)”按鍵1102來隱藏識別每個缺損區(qū)域的電子改變內容。類似地，在步驟910，操作者可以通過選擇“閃爍覆蓋”按鍵1104命令控制器200來在隱藏和顯示電子改變內容之間重復交替。通過在原始圖像518和識別缺損區(qū)域的圖像之間交替，提高了人對多個缺損區(qū)域的位置的領悟。
除了觀看識別缺損區(qū)域的圖像，在步驟906操作者可以選擇結果標簽506來觀看被分析人的缺損嚴重程度和百分點與類似的人們的平均情況進行圖形比較。在圖10所示的例子中，顯示了一個柱狀圖。然而所屬領域的一般技術人員會容易地理解可以使用許多其他類型的圖形比較。在所示的柱狀圖中，在表示所選人們的平均情況的線上探出的柱表示比一般情況更好的皮膚嚴重程度。在“平均線”以下的探出的柱表示低于一般情況的皮膚嚴重程度。更大的柱對應更大的量值。在步驟908，操作者可以通過選擇位于顯示器上的在控制框1012中的“詳細”選項來選擇觀看與圖形顯示相關的數(shù)值結果。當選擇了“詳細”選項時，可以在圖形結果之外顯示數(shù)值結果。例如，數(shù)值結果可以疊加在柱狀圖1002-1010中的每個柱附近。
在步驟924，操作者可以選擇位于控制框1012內的“打印”按鍵。在此實施例中，選擇“打印”按鍵使得控制器200指令打印機112來產(chǎn)生一個或多個圖形顯示，如可見地識別缺損區(qū)域和圖像和比較表。在步驟928，與該分析相關的數(shù)據(jù)可以被存儲在存儲器202中。在一個實施例中，被分析人的姓名被用作標識符以用于在以后的訪問中從存儲器202中檢索以前的分析過程。產(chǎn)生模擬圖像一旦顯示了分析結果，控制器200和顯示器108可以產(chǎn)生示出對缺損區(qū)域的改善和/或惡化的模擬圖像。模擬惡化在操作者推薦使用一種防止皮膚老化的產(chǎn)品進行治療時可能有利于向被分析人示意如果她未能采取預防措施的潛在影響。模擬改善在操作者推薦使用一種消除和/或隱藏皮膚缺損的產(chǎn)品進行治療時可能有利于向被分析人示意產(chǎn)品的潛在益處。另外，控制器200可以使顯示器108(或其他輸出器件)產(chǎn)生產(chǎn)品的推薦。例如，在202中可能存儲著一個檢查表，其中包括不同類型的缺損和缺損的量值，它們與幫助消除那些缺損、防止那些缺損和/或隱藏那些缺損的化妝品和/或治療相互參照。
圖15圖解了計算器件106可以實現(xiàn)的程序310(在圖3中示意性示出)的詳細流程圖，該程序用以按照本發(fā)明的指導來模擬對定位的缺損區(qū)域的改善效果。在一個實施例中，由控制器200執(zhí)行這些步驟。該程序在步驟1502開始，在此操作者通過輸入器件212輸入一個缺損改善的量值。例如，如果整個百分點被確定為40％，那么操作者可以選擇模擬10％的改善來產(chǎn)生“平均”50％的圖像。
在步驟1504，控制器200基于原始圖像518、缺損區(qū)域的位置和在步驟1502輸入的量值而創(chuàng)建改善的圖像。許多臉部模擬和變形算法是公知的。一般來說，模擬對一個缺損區(qū)域的改善包括改變缺損區(qū)域中的多個像素的顏色以使得與該缺損區(qū)域周圍的區(qū)域的像素的顏色更匹配。變形算法的例子可以在日本專利文件95-100126-《臉部皺紋的模擬(Simulation of Facial Wrinkles)》、日本專利文件98-065928-《圖像處理方法(Image Processing Method)、和美國專利文件4,276,570-《用于生成不同年齡的人體臉部的圖像的方法和設備(Method and Apparatus for Producing an Image of a Person’s Face at a DifferentAge)》中找到，在此將它們中的每一個都引用為參考文獻。最后，在步驟1506，顯示了被改善的圖像(見圖16)。
缺損類型(如肌理、皺紋、毛孔、斑點等)可以通過包括一組復選框的“改變”控件1602有選擇地包括在改善的圖像中。另外，“改變”控件1602使得操作者和/或用戶可以改變改善的量值和/或使得操作者和/或用戶可以選擇觀看圖像的惡化效果。例如，通過將一個控件向右滑動，缺損可能被改變得與周圍的皮膚更類似；同時，向左滑動控件產(chǎn)生惡化圖像的影響。“模擬切換”按鍵1604可能使操作者和/或用戶可以在顯示原始數(shù)字圖像518和顯示改善的或惡化的數(shù)字圖像之間變換。顯示原始圖像518和顯示改善的數(shù)字圖像也可以重復交替以提高人對模擬的改善的領悟。
總之，所屬領域的一般技術人員將容易地理解這里提供了一種皮膚分析系統(tǒng)和方法。實現(xiàn)本發(fā)明的指導的系統(tǒng)可以快速地以用戶友好的方式識別皮膚缺損因此使得操作者可以推薦化妝品和/或醫(yī)療并模擬皮膚的改進和/或惡化效果。
上面已做出的說明是為了說明和解釋的目的。它不是打算窮舉或將本發(fā)明限定于所公開的精確形式。根據(jù)上述指導可能進行許多改進和變化。本發(fā)明的范圍不是要由此詳細的說明而是由所附的權利要求來限定。
權利要求
1.一種用于定位人的一部分的一個或多個可見皮膚缺損的方法，其特征在于包括下列步驟獲取(步驟412)人的所述部分的第一數(shù)字圖像(518)；以電子方式分析(步驟804)人的所述部分的第一數(shù)字圖像(518)，以定位包含皮膚缺損的區(qū)域；以電子方式創(chuàng)建(步驟806)可見地識別包含皮膚缺損的第二數(shù)字圖像；和輸出(步驟904)第二數(shù)字圖像。
2.如權利要求1所述的方法，進一步包括以電子方式創(chuàng)建(步驟1504)第三數(shù)字圖像，此圖像模擬通過以電子方式改變包含皮膚缺損的區(qū)域中的多個像素的顏色而對所述包含皮膚缺損的區(qū)域的改善；和顯示(步驟1506)第三數(shù)字圖像。
3.如權利要求1所述的方法，進一步包括顯示人的所述部分的第一數(shù)字圖像(518)的步驟，其中顯示第一數(shù)字圖像(518)的步驟和輸出(步驟904)第二數(shù)字圖像的步驟被重復交替。
4.如權利要求1所述的方法，進一步包括確定(步驟808)與包含皮膚缺損的區(qū)域相關的第一數(shù)值嚴重程度；和產(chǎn)生(步驟812)在第一數(shù)值嚴重程度和與大眾相關的預定值之間的對比。
5.如權利要求4所述的方法，其中所述與大眾相關的預定值是一組值，包含(a)年齡特定值、(b)圖形特定值、和(c)種族特定值。
6.如權利要求1所述的方法，進一步包括識別(步驟608、612、620、622)位于人的所述部分的第一數(shù)字圖像(518)上的多個標記(702)；和基于所述多個標記(702)，以電子方式確定(步驟626)人的所述部分的第一數(shù)字圖像(518)的子圖像(704)，其中以電子方式分析(步驟804)第一數(shù)字圖像(518)的步驟被限定于子圖像(704)。
7.如權利要求1所述的方法，進一步包括步驟通過將多個像素的多個色值與預定的指示皮膚顏色的閾值相比較，以電子方式確定人的所述部分的第一數(shù)字圖像(518)的子圖像(704)，其中以電子方式分析(步驟804)第一數(shù)字圖像(518)的所述步驟限定于子圖像(704)。
8.一種用于定位人的部分的可見皮膚缺損的位置的方法，其特征在于步驟下列步驟獲取(步驟412)人的所述部分的第一數(shù)字圖像(518)；識別(步驟608、612、620、622)位于人的所述部分的第一數(shù)字圖像(518)的多個標記(702)；基于所述多個標記(702)，以電子方式確定(步驟626)人的所述部分的第一數(shù)字圖像(518)的子圖像(704)；和以電子方式分析(步驟804)第一數(shù)字圖像(518)的子圖像(704)，以定位包含皮膚缺損的區(qū)域。
9.如權利要求8所述的方法，進一步包括步驟以電子方式創(chuàng)建(步驟1504)第二數(shù)字圖像，該第二數(shù)字圖像模擬對于包含皮膚缺損的區(qū)域的改善；和顯示(步驟1506)第二數(shù)字圖像。
10.如權利要求8所述的方法，進一步包括確定(步驟808)與包含皮膚缺損的區(qū)域相關的數(shù)值嚴重程度；和產(chǎn)生(步驟812)在數(shù)值嚴重程度和與大眾相關的預定值之間的對比。
全文摘要
本發(fā)明的裝置和方法提供了可以由操作者和計算器件實現(xiàn)的處理以分析和顯示人的皮膚圖像。該系統(tǒng)從照相機或掃描儀獲取一個數(shù)字圖像。隨后,該系統(tǒng)確定利用諸如眼角的標記來分析哪個或哪些圖像區(qū)域。被確定的區(qū)域隨后被分析以定位諸如紅點的皮膚缺損而且此缺損在顯示器上可見地被識別。缺損的嚴重程度被計算而且將此嚴重程度和與人口相關的平均皮膚嚴重程度相比較。另外,產(chǎn)生并顯示一個示出對缺損區(qū)域的改善的模擬。
文檔編號A61B5/107GK1355680SQ00808845
公開日2002年6月26日 申請日期2000年6月7日 優(yōu)先權日1999年6月14日
發(fā)明者格雷格·G·希勒布蘭德, 宮本久木三, 布賴恩·D·巴福德, 約瑟夫·M·米勒, 馬克·S·海沃思, 邁克爾·L·希爾頓, 加里·G·希頓, 邁克爾·E·拉布什 申請人:寶潔公司