專利名稱：用于健康監(jiān)視和個人安全的成像方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及捕獲數(shù)字圖像的系統(tǒng)，更具體地說，涉及捕獲數(shù)字圖像并將其與情感信息相聯(lián)系。
背景技術(shù)：
日常生活的外部事件會引起或觸發(fā)人類個體特定的情感、行為、和/或生理上的反應(yīng)。為了找出問題或功能紊亂的性質(zhì)，提出處理或個性化的治療方案，這些反應(yīng)為醫(yī)生或治療醫(yī)生提供了重要的信息來源。評估和分析這些反應(yīng)還能幫助個人提高他們對情景反應(yīng)模式的認知程度，以便他們能夠改進其反應(yīng)方式。事實上，各種心理治療，例如認知的、行為的治療等，其目的在于識別和改變可能使個體感到耽憂、壓抑或憤怒的習(xí)慣性反應(yīng)和反應(yīng)的模式。
因此，跟蹤外部事件和個體的行為、對這些事件作出情感和/或生理學(xué)反應(yīng)的能力可能成為各種保健措施的非常有用的工具。這種系統(tǒng)還可以用于個人安全的目的，在特定的情感或生理反應(yīng)發(fā)生時，觸發(fā)并有選擇性地發(fā)出一種信號通知其朋友、親戚或特定的代理機構(gòu)，表示危險和緊急情況發(fā)生。
已經(jīng)知道許多用來提供對個人的遠程監(jiān)視的系統(tǒng)。
這種健康監(jiān)視系統(tǒng)的典型結(jié)構(gòu)包含用于探測被監(jiān)視病人的生物統(tǒng)計信號的傳感器部分和用于記錄傳感器所采集數(shù)據(jù)的電子數(shù)據(jù)采集系統(tǒng)。還提供數(shù)據(jù)處理部分。所述處理部分負責(zé)分析、或壓縮、或處理所記錄的數(shù)據(jù)。通常還提供通信部分，用來通過無線的方式使用通信網(wǎng)絡(luò)將數(shù)據(jù)傳輸?shù)街醒敕?wù)器、醫(yī)療服務(wù)提供者或數(shù)據(jù)庫。具有上述性質(zhì)的可穿戴裝置已經(jīng)在以下文件中公開Lugo于1999年6月30日提交的題目為“病人監(jiān)視器”的美國專利No.6,287,252；Shulze等的、2002年2月14日公開的，題目為“無線因特網(wǎng)生物遠程監(jiān)視系統(tǒng)及其接口”的美國專利公開US 2002/0019584；Anderson等的2001年4月12日公開的、題目為“遠程病人評估系統(tǒng)”WIPO公開No.WO01/26 021；O’Young的2001年9月27日公開的、題目為“個人化健康簡檔系統(tǒng)及方法”的WIPO公開No.WO01/71636；Wittington等人的、2002年4月4日公開的、題目為“將探測到的數(shù)據(jù)向中央服務(wù)器傳送的無線通信系統(tǒng)和方法”的WIPO公開No.WO02/27640。這類系統(tǒng)的某些系統(tǒng)中還可獲取附加信息，例如病人標(biāo)識符、訪問數(shù)據(jù)庫的授權(quán)等。
可以從專利文獻中找到的其它個人便攜式系統(tǒng)的主要設(shè)計用于安全和跟蹤的目的。例如，報告?zhèn)€人處于危急狀態(tài)的報警信號系統(tǒng)、結(jié)合警戒跟蹤定位系統(tǒng)并指引合適的人員去處理需要幫助的危急病人，并對所述病人的地點進行監(jiān)視。這些系統(tǒng)在Hoffman等人的1998年4月21日提交的題目為“個人安全和跟蹤系統(tǒng)”的美國專利No.5,742,233中已經(jīng)公開。上述系統(tǒng)包括便攜式報警信號單元；遠程報警開關(guān)裝置；中央調(diào)度站；以及無線通信系統(tǒng)，諸如蜂窩式電話或普通電話系統(tǒng)等以及GPS(全球定位系統(tǒng))或類似系統(tǒng)。便攜式報警信號單元和遠程報警開關(guān)適合于穿戴在人體的不同部位。當(dāng)穿戴的人在危急狀態(tài)下觸動遠程報警開關(guān)或手動報警開關(guān)，或報警單元或報警開關(guān)被強迫卸去，數(shù)據(jù)就被發(fā)送到中央調(diào)度站，在那里識別發(fā)送信號的用戶，存儲個人信息，顯示出裝置穿戴者的位置和報警的性質(zhì)。
更為復(fù)雜精致的能夠發(fā)出危急信號的系統(tǒng)在Calaman的、2001年9月25日提交的題目為“通過事件檢測提供個人安全的系統(tǒng)”的美國專利No.6,294,993中公開。在所述系統(tǒng)中，事件檢測是由可穿戴式的負責(zé)檢測生理信號變化的傳感器完成的。所述系統(tǒng)的一個實施例使用傳感器來檢測皮膚電反應(yīng)的變化，這種變化是關(guān)于皮膚導(dǎo)電性的改變。所述系統(tǒng)還可以用手動的方式操作，即由用戶通過手動的方式發(fā)出危急信號。當(dāng)傳感器檢測到緊急情況發(fā)生時，就聯(lián)系適當(dāng)?shù)奈C處理服務(wù)機構(gòu)。
但是有些上面所講的儀器只能記錄和發(fā)送用戶的生理信號，或手動輸入的緊急信號，沒有一種能夠用圖像或視頻的形式附加記錄外部事件。因此，這些系統(tǒng)不能建立特定外部事件和病人對事件反應(yīng)之間的聯(lián)系，以利于病人的保健和治療。在安全保障應(yīng)用中，這些類型的系統(tǒng)不允許對真實危險及其起因進行的獨立評估，因為對應(yīng)急服務(wù)機構(gòu)來說，仍然不知道是什么外部事件引起報警。
本領(lǐng)域已經(jīng)知道用于根據(jù)用戶對圖像的反應(yīng)來獲取情感的信息。監(jiān)視生理情況來獲取情感信息的系統(tǒng)的一個實例是可穿戴的捕獲系統(tǒng)，它能夠根據(jù)人體生物信號將圖像劃分為重要和不重要兩類。所述系統(tǒng)在1998年Mann所寫的電氣和電子工程師協(xié)會(IEEE)會刊(Proceedings of the Institute of Electronics Engineering)86卷2123-2125頁，題目為“人類情感智能以“可穿戴計算機”作為新的框架及其在智能信號處理中的應(yīng)用”的文章中作了介紹。在所述文章中，Mann描述了在穿戴者在遭受暴徒襲擊、拿著鳥槍勒索錢財時，所述系統(tǒng)可能會如何工作的例子。在這種情況下，系統(tǒng)檢測到生理信號，例如穿戴者的心跳速率突然增快但腳步頻率卻沒有增加。然后系統(tǒng)從關(guān)于高重要性可視信息的生物信號中作出推理。繼而反過來觸發(fā)穿戴者的攝像機將圖像記錄下來，并把這些圖像發(fā)送給朋友或親戚，由他們來判斷危險的程度。
所述系統(tǒng)的另外的例子在一篇在1998年第2屆可穿戴計算機國際會議會刊中由Healey等人寫的題目為“震驚攝像由電子計算機控制的可穿戴攝像機”的文章中作了介紹。在所述文章所提出的系統(tǒng)中，使用了帶有計算機的和負責(zé)監(jiān)測皮膚導(dǎo)電性能的生理傳感器的可穿戴的視頻攝像機。系統(tǒng)的基本功能是檢測驚恐信號—皮膚導(dǎo)電性的急速改變。這種皮膚導(dǎo)電性的急速改變常常與對突然的刺激、驚恐或壓迫相聯(lián)系。當(dāng)檢測到驚恐反應(yīng)時，在數(shù)字圖像緩沖區(qū)中存儲了最近由數(shù)字式攝像機所捕獲的圖像，進而將這些圖像保存下來并有選擇性地發(fā)送到遠程的計算機。通過給驚恐檢測器設(shè)置高的閾值，所述裝置將只會記錄最強的刺激或驚恐事件。這種操作模式對于保安應(yīng)用是非常有用的，這種應(yīng)用就是將驚恐事件的圖像發(fā)送到穿戴者的朋友和家庭的“安全網(wǎng)絡(luò)”的保安網(wǎng)站中。另外一種方式是，將攝像機設(shè)置成以一定的頻率自動記錄圖像，當(dāng)從穿戴者所檢測到的反應(yīng)非常稀少時，表示他們的注意力水平已經(jīng)降低。這種方式適用于會議或講座。這樣有選擇性地記錄數(shù)字圖像創(chuàng)建了穿戴者的“記憶”檔案，其目的是模仿穿戴者本身的有選擇性的記憶反應(yīng)。
Mann和Healey等人提出的系統(tǒng)利用生理信號將圖像歸類為“重要”(緊迫的)(也就是說引起快速的生理反應(yīng))和“不重要”(普通)(也就是說不引起快速的生理反應(yīng))，并觸發(fā)可穿戴攝像機時只存儲和/或發(fā)送“重要的”圖像。然而，他們的系統(tǒng)也有幾個缺點。
上述系統(tǒng)不會將生理信號(或任何其它“重要的”標(biāo)識信號)與相應(yīng)的圖像相關(guān)聯(lián)、不會將生理信號(或任何其它“重要的”標(biāo)識信號)與相應(yīng)的圖像一起存儲并且一起發(fā)送。結(jié)果，“重要的”圖像很容易被埋沒在數(shù)據(jù)庫中其它圖像中，因為在這些圖像中沒有什么東西指示哪些圖像是“重要的”。例如當(dāng)數(shù)字圖像檔案被幾個不同系統(tǒng)使用時，當(dāng)這些圖像被傳送到CD-R或其它介質(zhì)時，當(dāng)這些圖像被上傳到在線照片服務(wù)提供商時，可能發(fā)生這樣的事。上述系統(tǒng)也不會將用戶的標(biāo)識符與相應(yīng)的圖像相關(guān)聯(lián)、不會將用戶的標(biāo)識符與相應(yīng)的圖像一起存儲并且一起發(fā)送。當(dāng)所述系統(tǒng)被不只一個人使用時，就不能夠分辨究竟是哪一個用戶對圖像的反應(yīng)是“重要的”或換句話說是“有重要意義的”。
還有，上述系統(tǒng)只提供“重要”—“不重要”或“壓力大”—“普通”這種二元化分類。而不允許將所捕獲的圖像的重要性程度作更加仔細的劃分。
而且，上述系統(tǒng)提供的圖像的分類只基于“重要性”這一種屬性。例如，它們不能分辨這種重要性是由用戶正面(高興)的或負面(不高興)的反應(yīng)所引起的。因此，廣泛的人類情感反應(yīng)(例如喜悅、悲傷、憤怒、害怕，感興趣等)不在系統(tǒng)考慮的范圍之內(nèi)，因此系統(tǒng)不能用來監(jiān)視和分析這些感情反應(yīng)。
雖然上述某些系統(tǒng)可以被特定用戶對事件反應(yīng)(皮膚電反應(yīng))所產(chǎn)生的生理信號所觸發(fā)而存儲和發(fā)送相應(yīng)的圖像，但這些系統(tǒng)不具有被預(yù)先規(guī)定的圖像特征、例如特定的主體(即熟悉的人)、景物類型(即戶內(nèi)-戶外)等所觸發(fā)的能力。
最后，上述系統(tǒng)還不具有對外部事件某些個別反應(yīng)向用戶提供反饋信息的能力，對某些特定的保健和安全用途來說，這種反饋可能是很重要的。
由于上述系統(tǒng)缺乏這些特點，限制了其以保健和安全為目標(biāo)的應(yīng)用范圍，例如，不能夠在其后進一步分析個人對某些情景的反應(yīng)，因為它們沒有將個人識別符和生理信號聯(lián)系起來。也不支持跟蹤對類似情況的反應(yīng)隨著時間的變化(沒有觸發(fā)去捕捉特定的事件)的過程，而這種功能對治療是很有用的。
因此，有必要進一步改進系統(tǒng)以及記錄和解析在捕獲情景圖像的一刻用戶對情景的情感反應(yīng)的方法，以便接下來將這種情感反應(yīng)與捕獲的圖像聯(lián)系起來。把用戶標(biāo)識符以及所捕獲的圖像的所述觸發(fā)傳送與所述特征反應(yīng)聯(lián)系起來，并且把所捕獲的用戶反應(yīng)與所述特征圖像聯(lián)系起來。

發(fā)明內(nèi)容
根據(jù)本發(fā)明的一方面，提供一種圖像捕獲方法。根據(jù)這種方法，在捕獲情景圖像的同時收集捕獲時的情感反映信息。情景圖像和情感反應(yīng)信息被同時發(fā)送到接收者。
根據(jù)本發(fā)明的另一方面，提供一種圖像捕獲方法。根據(jù)這種方法，在捕獲情景的同時采集情感信息。對被捕獲的圖像和被采集的情景信息進行分析，以決定是否符合將信息發(fā)送的標(biāo)準(zhǔn)。在符合發(fā)送標(biāo)準(zhǔn)時，將被捕獲的圖像和被采集的信息發(fā)送到圖像接收者。
根據(jù)本發(fā)明的另一方面，提供一種反應(yīng)式成像方法。根據(jù)這種方法，捕獲用戶面前景物的圖像的同時獲取用戶的識別信息，在捕獲的同時采集情感反應(yīng)信息。將情感反應(yīng)信息和用戶信息與所述圖像聯(lián)系起來。將被捕獲的圖像、情感信息和用戶的標(biāo)識符發(fā)送到接收者。然后獲取接收者的反應(yīng)，并將所述反應(yīng)轉(zhuǎn)達給用戶。
根據(jù)本發(fā)明的另一方面，提供一種成像系統(tǒng)，所述系統(tǒng)具有適合于捕獲景物圖像的捕獲系統(tǒng)和存儲所捕獲的圖像的圖像存儲器。一組傳感器適合于在捕獲圖像時采集用戶的情感反應(yīng)信號。處理器適合于根據(jù)情感信號確定情感信息并且把情感信息與所捕獲的圖像相聯(lián)系。發(fā)射機將所捕獲的圖像和情感信息發(fā)送給接收者。
根據(jù)本發(fā)明的另一方面，提供一種成像系統(tǒng)，所述系統(tǒng)具有用于捕獲情景圖像的捕獲裝置和用于采集用戶在圖像被捕獲時的情感反應(yīng)信息的情感傳感器。發(fā)送裝置將景物圖像和情感信息發(fā)送給接收者。
根據(jù)本發(fā)明還有一個方面，提供一種具有至少兩個成像裝置的反應(yīng)式成像系統(tǒng)，每個成像裝置都具有能夠捕獲用戶面前景物圖像的圖像捕獲系統(tǒng)和用于存儲景物圖像的存儲器。每個成像裝置還具有適合于在捕獲圖像時獲取用戶的情感信息的一組傳感器和適合于根據(jù)來自所述一組傳感器的信號確定情感信息并且將所述情感信息與所捕獲的圖像聯(lián)系起來的處理器。發(fā)射機將景物圖像和與之相聯(lián)系的情感信息發(fā)送到接收節(jié)點。接收節(jié)點接收所發(fā)送的圖像和與之相聯(lián)系的情感信息。接收接點擁有用于分析所述發(fā)送的圖像和情感信息并且根據(jù)所述發(fā)送的圖像和情感信息決定采取何種反應(yīng)的處理器。


圖1a表示根據(jù)本發(fā)明的圖像捕獲系統(tǒng)的手持式實施例；圖1b表示根據(jù)本發(fā)明的圖像捕獲系統(tǒng)的可穿戴式實施例；圖1c表示另一個根據(jù)本發(fā)明的圖像捕獲系統(tǒng)的可穿戴式實施例；圖2a-2b包括說明本發(fā)明的某實施例的流程圖，其中根據(jù)對面部表情的分析來提供情感信息；圖3a-3b包括說明本發(fā)明的某實施例的流程圖，其中根據(jù)對面部表情的分析來提供情感信息；圖4a-4b包括說明根據(jù)對眼睛凝視定像時間的分析來提供情感信息的流程圖；圖5a-5b包括說明根據(jù)對皮膚導(dǎo)電性的分析來提供情感信息的方法的實施例的流程圖；圖6a-6b包括說明根據(jù)面部和生理特征的綜合分析來提供情感信息的方法的實施例的流程圖；圖7a-7b包括說明用于利用通過分布式信息捕捉網(wǎng)絡(luò)的觸發(fā)式傳送來提供多個圖像數(shù)據(jù)和情感信息源的流程圖。
具體實施例方式
本發(fā)明提供采集特定用戶觀察景物時的情感信息、將所述信息與對所捕獲的指定景物的圖像的解析聯(lián)系起來以便以后將所述情感信息和圖像連同從所述圖像導(dǎo)出的信息一起使用的方法。本發(fā)明還提供以對個人保健和安全有用的方式來采集和關(guān)聯(lián)與圖像相關(guān)的可獲得的非圖像數(shù)據(jù)的方法。
表示用戶心理、生理、行為和對特定景物或景物圖像的行為反應(yīng)的信息在這里稱作情感信息。情感信息包括未經(jīng)加工的生理和行為信號(例如皮膚電反應(yīng)，心率，面部表情等)以及它們的心理學(xué)解析(例如，喜歡，不喜歡等)以及與此相聯(lián)系的情感分類(例如恐懼、憤怒、高興等)。當(dāng)用戶的心理反映變化時，其情感信息也隨之變化。例如，當(dāng)用戶突然看到危險的事故、令人神往的動作、或漂亮的風(fēng)景等時，這種心理反應(yīng)就會發(fā)生。
對情感信息的解析可以提供用戶喜愛程度的若干等級(例如，用戶喜歡或不喜歡所述風(fēng)景的程度)。這還可以提供景物對用戶的相對的重要程度的表示。而且，對情感信息的解析可以用某些特定的由情景觸發(fā)的表情來表達(例如高興、悲哀、恐懼、憤怒等)。
景物被定義為觀察者所看到的東西。它可以指行為或事件發(fā)生的地方，觀察者看到的物體的集合，一系列動作和事件，風(fēng)景或風(fēng)景的一部分，景色等。被圖像捕獲裝置所記錄或所顯示的景物被稱為景物的圖像。圖像捕獲裝置的示例包括數(shù)字式照相機、手持式攝像機、可穿戴的攝像機、傳統(tǒng)的用來將靜止的或活動的畫面記錄在膠片上的照相機、模擬式攝像機等。用戶通過攝像機的取景器或通過起到取景器作用的攝像機預(yù)覽屏可以直接觀察到景物。
這里所使用的術(shù)語圖像包括(但不限于)靜止圖像、活動圖像、多角度透視的圖像如立體圖像或其它深度的圖像，以及其它形式的浸沒式靜止和活動圖像。
從景物的圖像所導(dǎo)出的信息與關(guān)于所述景物的知識有關(guān)，如地點、地點的類型、事件的描述與分類，可以從景物圖像提取的有關(guān)景物構(gòu)成，例如顏色、物體、人等的知識。
非圖像數(shù)據(jù)指的是與圖像有關(guān)的其它類型可利用的信息。與圖像有關(guān)的非圖像數(shù)據(jù)示例有由攝像機提供的捕獲圖像的日期和時間。
人們捕獲各種景物圖像出于不同的目的和應(yīng)用。捕捉值得留念的事件是普通老百姓、專業(yè)攝影師和記者等通?；顒拥囊粋€例子。這些時間是有意義的或?qū)€人或一群人來說在感情上是重要的。這些事件的圖像可以吸引特殊注意、勾起回憶、觸動感情，或用普通的術(shù)語來說，產(chǎn)生心理反應(yīng)。通常這些心理反應(yīng)是伴隨著生理的和/或行為的變化。
感情觸發(fā)被定義為決定情感信息并將所述情感信息連同特定景物的圖像存儲的過程。當(dāng)將所述情感信息連同用戶的標(biāo)識符一起存儲的時候，本文就稱為“個人情感信息”。個人識別符可以是任何類型的能夠識別特定用戶的信息。用戶標(biāo)識符可以是個人識別碼、例如全球唯一的ID(GUID)、用戶編號、社會安全號或其他類似的東西。用戶標(biāo)識符還可以是法定全名、外號、計算機用戶名或其他類似的名字。換一種方式，所述用戶標(biāo)識符可包括面部圖像或其描述，指紋圖像或其描述，視網(wǎng)膜掃描圖像或類似的東西。用戶標(biāo)識符還可以是因特網(wǎng)網(wǎng)址、手提電話號碼或其它識別符。
當(dāng)將個人情感信息連同所對應(yīng)的圖像存儲的時候，就稱為“個人情感標(biāo)簽”。所述情感信息和用戶標(biāo)識符是圖像“元數(shù)據(jù)”的類型，“元數(shù)據(jù)”是用來表示與圖像有關(guān)的任何非圖像信息的術(shù)語。其它存儲在情感信息標(biāo)簽中可以整合到個人情感信息中的圖像元數(shù)據(jù)類型包括從景物圖像導(dǎo)出的信息以及如圖像捕獲的時間、捕獲裝置的類型、捕獲的地點、捕獲的日期、捕獲的參數(shù)和圖像編輯的歷史等非圖像信息。
通過將個人情感信息存儲在圖像文件內(nèi)，例如，在Exif圖像文件內(nèi)使用帶標(biāo)簽的圖像文檔格式IFD，可以將個人情感信息與數(shù)字圖像聯(lián)系起來。換一種方式，根據(jù)JPEG標(biāo)準(zhǔn)ISO10918-1(ITU-T.81)，情感信息可以存儲在包括第一幅圖像(或換成第二幅圖像)的JPEG(Joint Photographic Expert Group，聯(lián)合圖像專家組)文件中一個或多個應(yīng)用段內(nèi)。這樣就可以用一個符合產(chǎn)業(yè)標(biāo)準(zhǔn)的圖像文件既包含按JPEG標(biāo)準(zhǔn)壓縮過并用正常JPEG格式存儲的第一幅圖像，又包括被正常JPEG讀者所忽略的用適當(dāng)格式存儲的情感信息。還有另一種變化就是，可以將個人情感信息存儲在與圖像分離的數(shù)據(jù)庫中。所述信息存儲時還可以帶安全保密裝置和訪問權(quán)限信息，以防止未經(jīng)授權(quán)對所述信息的訪問。
當(dāng)觀察者用圖像捕獲裝置觀察某特定的景物或景物的圖像時，可以用人工的方法也可以自動地完成對情感標(biāo)簽的制作。對于人工制作情感標(biāo)簽的情形，用戶可以使用照相機的按鈕、觸摸屏顯示器或語音識別接口來提供他/她對景物的反應(yīng)裝置。例如，在發(fā)生驚訝時，用戶可以按壓照相機上表示“驚訝”反應(yīng)的按鈕或簡單地說出一個關(guān)鍵字“哇！”。
對于自動制作情感標(biāo)簽的情況，用作個人健康和安全監(jiān)視的圖像捕獲系統(tǒng)(以后簡稱為圖像捕獲系統(tǒng))可以使用下列信號之一或它們的組合來采集情感信息供后續(xù)解析用。
-眼睛活動的特點(例如眼睛定像持續(xù)時間、瞳孔的尺寸、眨眼的速度、凝視的方向，眼球加速度，從眼睛運動模式中提取的特征和參數(shù)，它們的復(fù)雜度等)；-生物統(tǒng)計學(xué)或生理學(xué)反應(yīng)(例如，皮膚電反應(yīng)(GSR)，手的溫度，心跳速率、電肌動圖(EMG)、呼吸模式、腦電圖(EEG)，腦成像信號等)；-面部表情(例如微笑、皺眉等)-語音特征(例如音量、語速和音調(diào)等)；-身體姿勢包括面部的運動(例如捏鼻梁，撓耳朵等)。
根據(jù)下面所描述的本發(fā)明的一個實施例，情感信息是根據(jù)面部表情、眼定像時間的長短和皮膚電反應(yīng)來確定的。
參閱圖1a-圖1c，有三個根據(jù)本發(fā)明作出的圖像捕獲系統(tǒng)的示范實施例。圖1a所描繪的系統(tǒng)包括由特定的直接地或者通過取景器24、攝像機預(yù)覽屏幕22(這些東西還可以用作通信和信息反饋的目的)觀察景物4的用戶2所擁有的手持式圖像捕獲裝置6。圖像捕獲裝置6可以包括數(shù)字式照相機，手持?jǐn)?shù)字式攝像機或可穿戴攝像機等。實現(xiàn)可穿戴的圖像捕獲裝置6的示例由圖1b和圖1c表示。這些可穿戴實施例具有用作通信和反饋的顯示器21，所述顯示器或者安裝在承載圖1b所示的圖像捕獲裝置6的框架29上面，或者如圖1c所示，作為分離的部件通過有線或無線的方式與圖像捕獲裝置6連接。
圖像捕獲裝置6包括用來捕獲景物4的捕獲模塊8。捕獲模塊8包括取景鏡頭(沒有畫出)、圖像傳感器(沒有畫出)和A/D變換器(沒有畫出)。捕獲模塊8還包括麥克風(fēng)(沒有畫出)、聲頻放大器(沒有畫出)和聲頻A/D轉(zhuǎn)換器(沒有畫出)。捕獲模塊8提供數(shù)字式靜止或活動的圖像信號和與之相聯(lián)系的數(shù)字式聲頻信號。圖像捕獲裝置6還包括中央處理機(CPU)14和可以存儲包括由捕獲模塊8提供的數(shù)字式靜止或數(shù)字式活動圖像及其關(guān)聯(lián)的元數(shù)據(jù)的高分辨率圖像文件的數(shù)字存儲裝置12。數(shù)字存儲裝置12可以是小型硬盤，閃存EPROM存儲器或其它類型的的數(shù)字式存儲設(shè)備。
圖中示出的圖像捕獲裝置6擁有諸如無線調(diào)制解調(diào)器或其它通信接口的通信模塊18，通信模塊18通過如因特網(wǎng)業(yè)務(wù)提供商20等通信服務(wù)提供商交換包括靜止和活動圖像等數(shù)據(jù)。通信模塊18可以利用標(biāo)準(zhǔn)射頻無線接口，例如眾所周知的藍牙接口或IEEE 802.15接口。另一種方法是，通信模塊18可以使用紅外、激光或其它光學(xué)通信方法與其它設(shè)備交換信息。還有另外一種方法，圖像捕獲裝置6可以具有這樣的通信模塊18，所述通信模塊18適合于使用如USB(Uniform Serial Bus，統(tǒng)一串行總線)電纜、IEEE標(biāo)準(zhǔn)1394電纜等數(shù)據(jù)交換硬件，諸如電纜、電纜組件或波導(dǎo)或光學(xué)數(shù)據(jù)通路的其他電數(shù)據(jù)通路，以便在圖像捕獲裝置6和其它設(shè)備之間交換包括數(shù)字圖像和情感信息的信息。
參考圖1a，通信模塊18連接到預(yù)覽顯示器22，以便顯示短信和利用通信服務(wù)提供商20提供視頻通信。在圖1b和圖1c所示的實施例中，用戶所接收到的短信和視頻信息被顯示在通信顯示器21上，后者被安裝在圖像捕獲裝置6的可穿戴實施例上。作為一個示例，美國馬塞諸塞州Westwood的MicroOptical公司出售一種EG-7型看不見的qVGA監(jiān)視器，顯示器21就可以安裝在它的玻璃框架上。圖1c表示另一個示例，作為便攜式通信模塊23的一部分，顯示器21可以戴在腕上。
為了獲取情感信息，圖像捕獲裝置6包括控制器13和一組用來檢測用戶2生理信號的傳感器15。用戶2可以通過控制器13(例如可能包括人工控制按鈕、觸摸屏、聲音識別接口或體姿識別接口等)輸入情感信息。
情感信息還可以通過傳感器組15采集。在圖1a所示的實施例中，傳感器組15包括安裝在圖像捕獲裝置6的表面的皮膚電反應(yīng)傳感器16。如圖1b所示，在可穿戴實施例中，皮膚電反應(yīng)傳感器16可以安裝在圖像捕獲裝置6外面的任何地方。在這里，皮膚電反應(yīng)傳感器16被安裝在用來支撐玻璃的傳統(tǒng)框架28的側(cè)面29。傳感器組15還可以包括血管傳感器17，使用時整合到側(cè)面29內(nèi)靠近用戶頭部太陽穴動脈的地方，以便于測得體溫和心率的讀數(shù)。傳感器組15還可以包括振動傳感器19，如圖1b所示，在耳朵旁邊或與耳朵接觸。振動傳感器19既可以檢測從用戶發(fā)出的聲音也可以檢測從其它聲源發(fā)出的聲音。傳感器組15的任何傳感器都可以根據(jù)有利于使用的布局來安裝。傳感器組15的任何傳感器都可以實行小型化，使它們的存在不會影響圖像捕獲裝置6可穿戴實施例的外觀。例如，在圖1c所示的實施例，用來檢測皮膚電反應(yīng)的傳感器16是可穿戴圖像捕獲裝置6的一部分，它被安裝在傳統(tǒng)框架的橋部26。
在其它實施例中，傳感器組15可能包含神經(jīng)傳感器和其它適合于監(jiān)視神經(jīng)細胞電活動的裝置，以便用于與環(huán)境互作用。這種設(shè)備的例子有美國喬治亞州亞特蘭大的Neural Signals公司出售的腦通信機(Brain communicator)或肌肉通信機(Muscle Communicator)。這些設(shè)備分別監(jiān)視神經(jīng)細胞的電信號和腦神經(jīng)發(fā)出的信號，其目的是檢測例如引起正常人體突然產(chǎn)生的激烈動作的信號。這些信號被發(fā)送到計算機，在那里由軟件解讀成可供利用的信息。值得慶幸的是，這種技術(shù)既可以用來檢測情感信息，又可以檢測可以用來確定情感信息的其它信息。例如，可以監(jiān)視沿著攜帶來自耳朵的聲音信息的神經(jīng)的神經(jīng)活動并用來確定在事件發(fā)生時觀察者真正聽到的聲音信息。
圖像捕獲裝置6還包括用戶視頻攝像機10，它用來記錄用戶2的眼睛運動、瞳孔尺寸、面部表情等視頻圖像。用戶視頻攝像機10可以包括傳統(tǒng)的電荷耦合器件(CCD)成像器件、互補金屬氧化物成像器件或電荷注入器件。其它成像技術(shù)也可以使用。被用戶視頻攝像機10所捕獲的圖像可以包括用于形成用戶圖象或用戶面部某些特征的視頻圖像。被用戶視頻攝像機10所捕獲的圖像還可以包括從中可以獲取情感信息的視頻圖像的其它形式。例如，表示眼睛位置和瞳孔大小時并不需要構(gòu)筑用戶2眼睛的完整的數(shù)字圖像。為了降低成本或簡化成像結(jié)構(gòu)，可以代之以使用其它形式的具有較低分辨率的或非線性成像模式的成像技術(shù)。
由用戶視頻攝像機10所捕獲的視頻圖像先存儲到數(shù)字式存儲器12上再經(jīng)CPU141處理。用戶視頻攝像機10可以包括如對紅外線敏感的攝像機。在本實施例中，一組紅外發(fā)光二極管(紅外LED)將紅外光指向用戶的瞳孔。用戶視頻攝像機10檢測從用戶眼睛所發(fā)出的紅外線信號。然后從用戶的面部圖像跟蹤瞳孔。一種好用的用戶視頻攝像機的例子是由美國紐約州Armonkde的國際商業(yè)機器公司(IBM)銷售的Bluse Eyes(藍眼)攝像機，另外一種好用的用戶視頻攝像機10的例子是美國佛吉尼亞州Fairfax的LC Technology銷售的Eyegazesystem。
在共同轉(zhuǎn)讓的的系列號為10/303,978、題目為“用眼睛監(jiān)視的攝影機系統(tǒng)”的美國專利申請中示出屏詳盡地描述了用戶視頻攝像機10的其它有用的實施例。
用戶視頻攝像機10可以安裝在或位于如圖1a所示的手持式圖像捕獲裝置6的內(nèi)部；如圖1b所示可穿戴圖像捕獲裝置6的玻璃框架上；或如圖1c所示的可穿戴圖像捕獲裝置6的玻璃框架的遠程部分上。對于圖1c的情況，用戶視頻攝像機10特別適用于捕獲用戶的各種面部特征，包括瞳孔尺寸、眼或額部的運動。對于圖1b所示的情況，特別適用于捕獲眼睛運動和其它眼睛特征。用戶視頻攝像機10還可以與圖像捕獲裝置6分離，在本實施例，用戶視頻攝像機10可以包括能夠捕獲圖像捕獲裝置6的用戶的圖像屏將圖像傳送到圖像捕獲裝置6的任何圖像捕獲裝置。從遠程的用戶視頻攝像機10傳送圖像可以使用任何已有的無線通信系統(tǒng)用無線的方式完成。
特征跟蹤可以；利用各種算法來完成，如在Ko等人寫的，IEEETENCON，1999會議論文集72-75頁，題目為“用于眼-頭控制的人機接口的面部特征跟蹤”的文獻所描述那樣。所述算法可以用于實時的面部特征跟蹤，由使用候選方塊構(gòu)成完整的圖形，它從經(jīng)過處理的面部圖像中進行識別，然后計算每對方塊的相似性量度。當(dāng)方塊具有最大相似度時，就認為找到了眼睛?；谘劬Φ奈恢?，口、唇角和鼻孔就找到了。然后對找到的特征進行跟蹤。
具有適合于記錄眼睛運動的用戶視頻攝像機10的可穿戴圖像捕獲裝置6的例子可以從例如在Vision Research第41期(2001年)3587-3596頁由Pelz等人寫的“復(fù)雜任務(wù)中的眼球運動行為和感官策略”中可以找到。作者描述了一種可穿戴的、重量輕的眼球跟蹤系統(tǒng)，作成頭戴護目鏡形式，包括發(fā)射紅外光的模塊、小型視頻眼攝影機，并由分光器調(diào)整攝影機與所發(fā)射的光束同軸。向后反射，向瞳孔提供照明以產(chǎn)生光亮的瞳孔圖像。外部反射鏡將光路折向護目鏡的前面，這里有一個熱反射鏡將紅外光導(dǎo)向眼睛并將眼睛圖像折回眼攝影機，護目鏡上安裝了第二個小型攝影機，用來捕獲用戶視野所看到的景物。
在圖1b和圖1c中，用戶視頻攝像機10由兩塊構(gòu)成，為的是可以同時捕獲兩只眼的特征。然而，顯然，用戶視頻攝像機10可以用只捕獲用戶2的一只眼或可以同時捕獲兩只眼睛特征的一塊來表示。
圖像捕獲裝置6配備有與之適當(dāng)?shù)能浖@些軟件被CPU用來創(chuàng)建和使用個人化情感信息。所述軟件通常被存儲在數(shù)字式存儲器12中，而且可以利用通信模塊18來加載和更新這些軟件。而且，軟件還能令CPU14進行圖像處理和分析內(nèi)含的非情感信息，這種信息可以從捕獲模塊8所提供的景物圖像提取，而且也存儲在數(shù)字式存儲設(shè)備12中。所述數(shù)字式存儲器12還可以存儲與個人用戶簡檔有關(guān)的信息，所述信息可能是包含歸納了用戶2反應(yīng)特征信息(例如，關(guān)于對某些景物或情況的典型反應(yīng)模式的量化信息)的特殊的數(shù)據(jù)庫以及使CPU14在創(chuàng)建和使用個人化情感信息時能夠訪問所述特定數(shù)據(jù)庫的軟件程序。這些量化信息可能包含例如累積的用戶對景物或情況的反應(yīng)的分布，這些信息表征了例如用戶對這些景物或情況喜好的程度。所述個人用戶簡檔可以被CPU14查詢。個人用戶簡檔可以用學(xué)習(xí)得來的關(guān)于用戶2反應(yīng)的新信息更新。
顯然，上面所討論的圖像捕獲裝置6的所有元件和部件可以用圖像捕獲裝置6的整件或者用物理上分離的相互之間用有線或無線連接的散件實現(xiàn)。
接下來介紹圖像捕獲裝置6根據(jù)對面部表情的分析確定情感信息(例如，從面部表情提取喜好程度或者從面部表情提取情感的分類及其獨特性)的方法的各種實施例。其它實施例表示根據(jù)生理信息來確定情感信息的方法，例如從瞳孔尺寸和眼睛運動提取感興趣程度或從皮膚電反應(yīng)提取興奮程度。進一步的實施例表示使用情感分類結(jié)合興奮程度來確定情感信息的方法。可以根據(jù)具體的應(yīng)用來選擇實施例。例如，根據(jù)喜好的程度來確定情感信息對有效的治療是非常有用的，因為治療的目的是有利于和促進利好的體驗。同時，對安全保障應(yīng)用或其它類型治療來說，檢測由引起反面情感的事件是重要的。
參見圖2a-圖2b，圖中示出說明本發(fā)明根據(jù)特定用戶對特定景物的圖像的喜好程度提供情感信息的方法的某實施例的流程圖。在這個實施例中，根據(jù)特定用戶的面部表情來決定情感信息。
用戶2首先啟動圖像捕獲裝置6(步驟110)，在一個實施例中，實現(xiàn)本發(fā)明方法的軟件應(yīng)用程序已經(jīng)安裝在圖像捕獲裝置6中，并在步驟112自動開始工作。換一種方式，用戶2可以用人工的方式，通過使用圖像捕獲裝置6上適當(dāng)?shù)目刂瓢粹o(沒有顯示)來啟動所述應(yīng)用程序。
用戶2輸入個人ID(標(biāo)識符)和密碼(口令)(步驟114)。在一個替換的實施例中，用戶視頻攝影機與面部識別軟件一起，自動確定所述用戶的身份并提供合適的用戶標(biāo)識符，如用戶的名稱、個人識別碼或其它識別符。在另一個替換實施例中，用戶識別數(shù)據(jù)可以從外部數(shù)據(jù)源、例如圖像捕獲裝置6所使用的通信模塊18的無線電收發(fā)信機來獲取。在另外一個替代實施例中，利用特定的用戶標(biāo)識符對圖像捕獲裝置6進行預(yù)編程，因而不需要步驟114。
由用戶2決定圖像捕獲裝置6用來將圖像和情感信息以及非情感信息發(fā)送的接收者名單(步驟115)。下面是根據(jù)通信出現(xiàn)率排列的可能的接收者分類清單的例子1)個人數(shù)據(jù)庫；2)家庭成員；3)代理聯(lián)系人；4)健康服務(wù)提供者；5)安全保障機構(gòu)；和/或6)當(dāng)?shù)氐幕虻貐^(qū)的應(yīng)急服務(wù)系統(tǒng)。
這份清單還以編號的順序反映緊急的程度即數(shù)目字越大，緊急程度越高。所述信息被圖1a-圖1c所描繪的通信模塊18使用。
為了確定當(dāng)用戶2觀察到某景物(步驟116)時的情感反應(yīng)，圖像捕獲裝置6任選地提供要記錄的信號的選擇。用戶2選擇所需的信號，也就是說，在這種情況下的面部表情(步驟118)。在替代的實施例中，利用一個或多個情感信號對圖像捕獲裝置6進行預(yù)編程，因而不需要步驟116和118。
然后用戶2指示圖像捕獲裝置6組織待捕獲的景物。捕獲模塊8捕獲景物的第一幅圖像(步驟120)，并且，同時在步驟130，用戶攝像機10捕獲用戶2的第一幅面部圖像。
圖像捕獲裝置6暫時把景物圖像存儲起來(步驟122)，并從各方面自動分析這些景物圖像(步驟123)。這種分析的目的可能是檢測景物中特定的事物，例如，已知的能夠引起用戶習(xí)慣性反應(yīng)，或?qū)τ脩舫尸F(xiàn)威脅的事物。這種圖像分析是通過使用現(xiàn)成的圖像處理或圖像理解算法完成的。算法之一已經(jīng)在共同轉(zhuǎn)讓的Norman等人的、1999年12月14日提交的題目為“為增強對弱擴頻信號處理的強信號對消”的美國專利No.6,282,317中公開，其中描述了一種自動確定照片圖像中主題的方法。通過識別肉體、面部、天空、草地等作為語義的主要特征和與顏色、紋理、亮度等有關(guān)的顯著“結(jié)構(gòu)”特征，然后將二者結(jié)合起來產(chǎn)生可信的圖形。另一個已公開的圖像處理技術(shù)在Luo的、2000年12月14日提交的、題目為“用于檢測數(shù)字圖像中人體形狀的圖像處理方法”的共同轉(zhuǎn)讓的美國專利公開No.US2002/0076100A1中公開，所述專利的公開內(nèi)容包括在本文中作為參考。使用所述方法可以檢測數(shù)字彩色圖像中的人物形象。所述算法首先進行將圖像分割成顏色或紋理均勻的互不重疊的區(qū)域的操作，接下來檢測具有人類膚色的候選區(qū)域和人臉的候選區(qū)域；然后對每一個候選臉部區(qū)域，通過組合在人臉區(qū)域附近的區(qū)域，以具有人類膚色的區(qū)域為首選，根據(jù)事先確定的人形繪圖模型來構(gòu)建人的外形。也可以使用利用面部識別算法建立的景物中人的存在或特定人物，諸如在第5屆IEEE面部和姿勢自動識別國際會議論文集中Liu等人的題目為“基于核Fisher判決分析的面部識別”(0197-0201頁，2002年)中所描述的算法。
關(guān)于在步驟130中所描述的捕獲的面部圖像，圖像捕獲裝置6暫時將步驟132中的面部圖像存儲起來，并在步驟134中自動分析用戶2的面部表情。面部表情分析可以使用已經(jīng)公開的面部表情識別算法，例如，在ICCV95會議(1995年在馬塞諸塞州Cambrige召開)論文集中Essa等人的題目為“使用動態(tài)模型和運動能量的面部表情識別”所介紹的算法。所述算法基于與每種表情相聯(lián)系的面部肌肉激活概率分布的知識以及皮膚肌肉的詳細物理模型。這種基于物理的模型通過將從視頻信號中檢測的肌肉激活與從情感表達視頻數(shù)據(jù)庫中獲得的典型肌肉激活相比較，來達到識別面部表情的目的。
還可以利用其它公開發(fā)表的算法進行面部表情分析。這類算法的一個示例可以從Lien等人發(fā)表在“機器人學(xué)和自動系統(tǒng)(Roboticsand Automonous)”，31期，131-146頁的“面部表情行動單元的檢測、跟蹤和分類”中找到。另外一個類似的算法可以從Bartlett等人發(fā)表在“心理生理學(xué)(Psychophysiology)”36期(1999)253-263頁的題目為“利用計算機圖像分析測量面部表情”的文章中找到。這些算法基于對特定的面部動作—基本肌肉運動的認識，在由“顧問心理學(xué)家(Consulting Psychologists)”出版社(美國加理福利亞州PaloAlto)出版的，由Ekman等人著的題目為“面部運動編碼系統(tǒng)”中描述了所述特定的面部動作—基本肌肉運動。在面部運動編碼系統(tǒng)(FACS)中，將基本的面部運動組合起來可以表達任何面部表情。例如，自然的微笑可以用兩個基本的面部運動表示1)嘴角由稱為“主顴肌”的肌肉提起。和2)眼睛由稱為“眼輪匝肌”的肌肉起皺紋。因此當(dāng)在視頻信號中檢測到嘴角提起和眼起皺紋時，就意味著某人在微笑。當(dāng)在用戶2面部檢測到微笑時，面部表情分析的結(jié)果就是用戶2的面部被識別為微笑。當(dāng)沒有檢測到微笑時，就是沒有微笑。
圖像捕獲裝置6確定微笑的量度(步驟138)。如果沒有檢測到微笑，則微笑的量度為零。如果在給定的圖像中檢測到微笑，則可以把所述圖像中的微笑的量度確定為在指定圖像中微笑產(chǎn)生頭三秒鐘內(nèi)嘴角之間的最大距離除以用戶2兩眼之間的距離。所述人兩眼之間的距離是使用上面所講的面部識別算法確定的。計算口的尺寸和與人頭部有關(guān)的量度(例如兩眼之間的距離)尺寸之間的比例的必要性在于這樣的事實，即用戶2口的尺寸是面部圖像提取的，它取決于用戶與視頻攝像機之間的距離、頭部的位置等。用戶2兩眼之間的距離用來考慮這種依賴性。然而，其它量度方法，例如面部的高度和寬度，面部的面積和其它量度方式都可以使用。
圖像捕獲裝置6確定喜好的程度(步驟138)。如果沒有檢測到微笑，則微笑的量度、繼而喜好的程度等于零。如果真正檢測到微笑，則絕對的喜好程度等于微笑的量度。而喜好的相對程度等于微笑量度除以用戶2的平均微笑量度。平均微笑量度可以不斷更新并存儲在數(shù)字式存儲裝置中作為用戶2的個人用戶簡檔的一部分。個人用戶簡檔可供查詢和使用微笑量度數(shù)據(jù)來更新平均微笑量度(步驟139)。
將所獲得的喜好程度與判據(jù)進行比較(步驟140)。建立判據(jù)以反映在步驟123和138所提取的圖像信息和情感信息的重要程度。這種判據(jù)，例如可以用邏輯“與”的表達式來定義。就是說，如果從景物圖像中檢測到相關(guān)信息，或者超過情感信息(在圖2的例子中就是喜好的程度)的閾值，或者既檢測到相關(guān)景物圖像中的信息又超過了情感閾值，則在步驟140中的判據(jù)被滿足。顯然，可以設(shè)置步驟140中的判據(jù)以便把優(yōu)先權(quán)給予兩個信息來源中的任何一個。
在一個實施例中，所述判據(jù)可能只反映情感信息，也就是喜好的重要程度。在所述實施例中，把所獲得的喜好程度與用戶2所建立的或為用戶2建立的閾值相比較。如果所獲得的喜好程度超過閾值，則圖像捕獲裝置6為相應(yīng)的圖像創(chuàng)建情感標(biāo)簽，用來表示對所述特別捕獲的圖像的喜好程度(步驟144)。
在另一個實施例中，也可以從個人用戶簡檔自動創(chuàng)建喜好程度的閾值，例如，在先前積累的所述用戶的喜好程度的概率分布的基礎(chǔ)上創(chuàng)建。這個概率可能是0.5，這樣，喜好程度的閾值，對應(yīng)于事件至少有50％可能發(fā)生。換一種方式，個人情感標(biāo)簽可能包括從一個喜好值范圍中選取的一個值，以便區(qū)別各種捕獲的圖像之間相對喜好程度。
如果判據(jù)被滿足，圖像捕獲裝置6就將相應(yīng)的圖像及其表示喜好程度的情感標(biāo)簽存儲在包含景物圖像的圖像文件中，作為圖像元數(shù)據(jù)(步驟146)的一部分。換一種方式，表示喜好程度的個人情感標(biāo)簽可以存儲在與用戶標(biāo)識符和圖像標(biāo)識符相關(guān)聯(lián)的獨立文件中。而且，有關(guān)用戶2對某種圖像的觀察(就是在捕獲的當(dāng)時)也可以記錄下來，單獨輸入到個人情感標(biāo)簽中。
在另一個實施例中，未經(jīng)加工的面部圖像作為情感信息要么與圖像標(biāo)識符和用戶標(biāo)識符一起存儲在圖像捕獲裝置6的單獨文件中，要么作為圖像元數(shù)據(jù)的一部分存儲在個人情感標(biāo)簽中供以后分析并可選擇使用分離的系統(tǒng)。例如，景物圖像和未經(jīng)加工的面部圖像可以使用通信模塊18(參見圖1)和因特網(wǎng)服務(wù)提供商20與負責(zé)完成先前所說的與步驟134-138有關(guān)的分析功能的另外一臺式計算機(沒有畫出)或計算機服務(wù)器(沒有畫出)進行通信。
識別接收者(步驟147)。在一個實施例中，接收者可能是具有因特網(wǎng)服務(wù)提供商提供的E-mail地址的個人數(shù)據(jù)庫。在另一個實施例中，可能有多個清單中開列的接收者，包括個人數(shù)據(jù)庫、健康服務(wù)提供者、朋友、家庭成員、保安機構(gòu)等。接收者還可以根據(jù)對情感信息、圖像數(shù)據(jù)和非圖像數(shù)據(jù)分析自動選出。在這種情況下，作為步驟147的一部分，這種選擇可能包括，例如，為情感信息而將數(shù)值，例如在步驟138中的喜好程度，與為接收者清單中各個接收者預(yù)先確定的閾值作比較。在再一個實施例，例如，根據(jù)先前積累的用戶喜好程度的概率分布，從個人用戶簡檔自動建立對應(yīng)于每一個接收者喜好程度的閾值。在一個實施例中，保健服務(wù)提供者的累積概率可以選擇為0.9，這樣，喜好程度的閾值將對應(yīng)于只有10％的案例會超過的值。在其它實施例中，個人情感標(biāo)簽可以包括從某范圍的喜好值選出的值，使得各種捕獲的圖像之間的相對喜好程度呈現(xiàn)差別。在再一個實施例中，可以只根據(jù)對景物圖像或?qū)η榫靶畔⒑颓楦行畔⒍叩慕M合的分析結(jié)果來選定接收者，這取決于步驟40中所構(gòu)建的判據(jù)。
使用通信模塊18，例如通過因特網(wǎng)提供商20，將對應(yīng)的圖像、個人情感標(biāo)簽和其它圖像元數(shù)據(jù)發(fā)送到被指定的接收者，例如某數(shù)字圖像的個人數(shù)據(jù)庫(步驟148)。所述個人圖像數(shù)據(jù)庫可以利用例如單獨的臺式計算機(沒有畫出)或計算機服務(wù)器(沒有畫出)存儲起來。
在另外的實施例，相應(yīng)的圖像、個人情感標(biāo)簽、圖像元數(shù)據(jù)包括所導(dǎo)出的圖像信息被發(fā)送給醫(yī)生或其它保健服務(wù)提供者以便對用戶對特定情景的情感反應(yīng)進行附加分析或評估。相應(yīng)的圖像、個人情感標(biāo)簽、圖像元數(shù)據(jù)包括所導(dǎo)出的圖像信息還可以被發(fā)送到多個支撐網(wǎng)絡(luò)，包括家庭成員或本地應(yīng)急服務(wù)中心。
反饋信息被顯示在攝影機的預(yù)覽屏幕22或通信顯示屏21(步驟150)上。所述信息由適當(dāng)?shù)能浖绦蜃詣赢a(chǎn)生，并可能包括景物圖像，或所決定的喜好程度，或二者都有。它還可以包括聲音信號、預(yù)先錄制的話音消息或計算機產(chǎn)生的語言或圖像或單獨由語音信號、預(yù)先錄制的話音消息或計算機產(chǎn)生的語言或圖像組成。在另外的實施例中，反饋信息來自醫(yī)生或眾多的支撐網(wǎng)絡(luò)，以便于治療或向用戶2提供幫助，關(guān)于這方面，可以啟動交互式的通信過程。
如果所獲得的喜好程度低于閾值，則檢測用戶的面部圖像及景物圖像(步驟242)。如果所獲得的喜好程度低于閾值以及如果用戶2仍然在觀看同一景物或所捕獲的景物圖像，諸如預(yù)覽屏幕22的例子，圖像捕獲裝置6可以有選擇地捕獲下一幅面部圖像或重復(fù)步驟132到140來決定隨著用戶2觀看同一景物或所捕獲的景物圖像，用戶2是否已經(jīng)改變其面部表情。
如果將閾值設(shè)置為零，則所有由圖像捕獲裝置6所捕獲的景物圖像和相應(yīng)的情感信息(在其它的實施例中的喜好的程度，未經(jīng)加工的面部圖像)將被永久地存儲在單獨的帶有圖像標(biāo)識符和用戶標(biāo)識符的圖像文件中，或者在圖像元數(shù)據(jù)的個人情感標(biāo)簽中。
如果用戶一直將電源接通，則捕獲和分析下一幅景物(步驟120-123)并同時決定和存儲個人情感標(biāo)簽(步驟130-146)的過程將反復(fù)進行(步驟126)。
只要用戶2一直向圖像捕獲裝置6供電(步驟126)，圖像捕獲裝置6就繼續(xù)使用捕獲模塊8記錄景物4的圖像以及使用用戶視頻攝像機10記錄用戶2的面部圖像。如果斷開電源，則圖像捕獲裝置6停止記錄景物圖像和面部圖像，還會結(jié)束制作情感標(biāo)簽的過程(步驟128)。
喜好程度還可以用在數(shù)字式成像系統(tǒng)中，以便以系統(tǒng)和連續(xù)的方式按照特定用戶喜愛的圖像將圖像分等級，如matraszek等人的、2001年12月26日提交的、序列號10/036,113、題目為“在數(shù)字式成像系統(tǒng)中創(chuàng)建和使用情感信息”的共同轉(zhuǎn)讓的美國專利申請中所描述的或如matraszeksuo等人的、2001年12月26日提交的、序列號10/036,123、題目為“使用情感信息記錄數(shù)字圖像生成相冊頁的方法”的共同轉(zhuǎn)讓的美國專利申請中所描述的那樣。
對景物圖像的喜好程度可以用二進制方式?jīng)Q定。當(dāng)在步驟136檢測到微笑時，相應(yīng)的圖像被劃分為被喜歡，二進制喜好程度等于1。換句話說，當(dāng)沒有檢測到微笑，所述圖像被劃分為不被喜歡，二進制喜好程度等于零。
然后，將所確定的用二進制喜好程度表示的情感信息以個人情感標(biāo)簽的形式存儲，其中包括作為圖像元數(shù)據(jù)的一部分的用戶標(biāo)識符。它還可以和圖像標(biāo)識符和用戶標(biāo)識符一起以獨立文件的形式存儲在數(shù)字存儲裝置12中。而且，關(guān)于用戶面部表情的真實圖像的情感信息也可以與圖像標(biāo)識符和用戶標(biāo)識符相關(guān)聯(lián)地存儲在獨立文件中。
在另外一個實施例中，只有當(dāng)情感信息超過閾值、例如為相對微笑量度設(shè)置的閾值時，被捕獲的圖像才由圖像捕獲裝置6向因特網(wǎng)業(yè)務(wù)提供商20發(fā)送。其結(jié)果是，只有超過喜好閾值的圖像才會被存儲在用戶的個人圖像數(shù)據(jù)庫中。在這個實施例中，將元數(shù)據(jù)存儲在圖像文件中，表示這種文件滿足閾值。
參見圖3a-3b，圖中示出本發(fā)明另一實施例的流程圖。在所述實施例中，情感信息是根據(jù)用戶關(guān)于所捕獲的圖像的反應(yīng)情感分類而決定的。在所述實施例中，還根據(jù)對用戶的面部表情的分析獲取情感信息。
面部表情可以根據(jù)范圍更廣的情感類型來分類，例如，“高興”、“悲哀”、“厭惡”、“吃驚”等。在Dailey等人發(fā)表在Joournal ofCognitive Neuroscience，2002的題目為“EMPATH用于面部表情分類的神經(jīng)網(wǎng)絡(luò)”的文章中描述了一種已經(jīng)公開的用于面部表情分類的算法。所述算法在開發(fā)由三層神經(jīng)元組成的前向饋送神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，將面部表情劃分為6個基本情感類別“高興”、“悲哀”、“害怕”、“憤怒”、“厭惡”和“驚訝”等。所述神經(jīng)網(wǎng)絡(luò)進行三層處理感覺分析、目標(biāo)表示和分類。在第一層模仿一組神經(jīng)元具有類似于視覺皮層復(fù)雜細胞的性質(zhì)。第二層的單元從數(shù)據(jù)中提取規(guī)律性。第三層按6個基本感情類別輸出。結(jié)果，每一個面部表情被編碼成6個數(shù)目字。一個數(shù)目字代表一種感情。代表不同感情的數(shù)目字都是正數(shù)，其和為1，所以感情數(shù)值可以被解析為概率。
下面的方法可以根據(jù)用戶的面部表情進行情感分類，并進一步為這些分類提供值的范圍，更具體地說，提出了情感分類的“獨特性”程度，并由圖3表示。情感分類的“獨特性”程度反映了特定情感的唯一性或“純度”的量度，剛好與情感的模糊度或模糊性相反。用普通語言來說，一種情感通常稱為“混合的感受”。這種“唯一性”的特征，可以用類似顏色飽和度來理解。
圖3a-3b實施例的步驟210到232一般對應(yīng)于圖2a-2b實施例的步驟110到132。
然而，在本實施例中，圖像捕獲裝置6應(yīng)用前面已經(jīng)介紹過(步驟234)的Dailey等人提出的方法自動分析用戶2的面部表情。其結(jié)果是，用戶2的表情與6個數(shù)目字相聯(lián)系，一個數(shù)目字代表一個基本情感。
通過選擇具有最大數(shù)值的類別來確定情感類別(EC)(步驟2 36)。例如，如果所述數(shù)值是0.5，0.01，0.2，0.1，0.19和0分別代表“高興”、“悲傷”、“害怕”、“憤怒”、“厭惡”、和“驚訝”，則所決定的情感分類是高興，因為它對應(yīng)的數(shù)值0.5最大。結(jié)果激發(fā)高興面部表情的景物被指定為“高興”情感類別，激發(fā)“悲哀”面部表情的景物被指定為“悲哀”情感類別等等。在幾個類別具有相同的數(shù)值時，其中一個類別被隨機選擇為與所述面部表情相對應(yīng)。換句話說，當(dāng)幾個類別具有相同的數(shù)值時，可以利用附加的情感的或非情感的信息來幫助選擇一個類別。
由圖像捕獲裝置6來決定情感類別的獨特性的程度(步驟238)。其獨特性的程度(DDEC)是從前面所述的步驟236所建立的6種情感的數(shù)目字計算出來的。為方便起見，記為N1、N2、N3、N4、N5、和N6。下面的表達式是本發(fā)明用來確定所識別的情感類別EC的獨特性程度DDEC=(N12+N22+N32+N42+N52+N62)]]>DDEC對應(yīng)于情感類別EC的絕對獨特性程度。相對獨特性程度被定義為情感類別EC的絕對獨特性程度除以針對特定用戶的相應(yīng)情感分類的DDEC的平均值。平均DDEC可以不斷地被更新并存儲在數(shù)字式存儲設(shè)備12中作為用戶2的個人用戶簡檔的一部分。個人用戶簡檔可以被查詢和用情感類別的DDEC的平均獨特性程度更新(步驟239)。
當(dāng)使用喜好程度時(步驟240)，把所獲得的獨特性程度與類似于先前圖2所解析的判據(jù)作比較。在步驟240中，把所獲得的獨特性程度與判據(jù)作比較，構(gòu)造這個判據(jù)目的是反映從步驟223和238所提取的圖像信息和情感信息的重要性。這個判據(jù)可以用例如邏輯“與”表達式來定義。這就是說，如果在景物圖像中檢測到相關(guān)信息或者情感信息的閾值、也就是獨特性程度的閾值被超過，或者相關(guān)景物圖像的檢測和獨特性程度的閾值被超過同時出現(xiàn)，則步驟240中的判據(jù)就被滿足。顯然，可以設(shè)置步驟240中的判據(jù)、以便將優(yōu)先權(quán)賦予兩個信息源中的一個。
在一個實施例中，所述判據(jù)可以只反映情感信息的重要性，也就是獨特性程度。在這樣的實施例中，將所獲得的獨特性程度與用戶2建立的或為用戶2所建立的閾值比較。如果所獲得的獨特性程度在所述閾值以上，則圖像捕獲裝置6為相應(yīng)的圖像創(chuàng)建個人情感標(biāo)簽，所述個人情感標(biāo)簽表示所述特定捕獲的圖像的情感類別以及獨特性程度(步驟244)。
在另一個實施例中，獨特性程度的閾值還可以從個人用戶簡檔中自動建立，例如，根據(jù)先前積累的用戶2相應(yīng)于特定情感類別的獨特性程度的概率分布自動建立。這樣的概率可以是0.5，這樣，獨特性程度的閾值表示至少有50％的事件發(fā)生。換一種方式，個人情感標(biāo)簽可以包含從獨特性值范圍中選出的值、使得可以顯出各種捕獲的圖像之間的相對獨特性程度的差異。
圖像捕獲裝置6將對應(yīng)的圖像和表示具有獨特性程度的情感類別的個人情感標(biāo)簽存儲在包含景物圖像的圖像文件中，作為圖像元數(shù)據(jù)的一部分(步驟246)。換句話說，表示具有獨特性程度的情感分類的個人情感標(biāo)簽可以與用戶標(biāo)識符和圖像標(biāo)識符相關(guān)聯(lián)地存儲在單獨文件中。而且，有關(guān)所述用戶觀察特定圖像的日期(也就是在捕獲的一刻)的信息，也可以作為單獨的條目輸入個人情感標(biāo)簽。
在另一實施例中，未經(jīng)加工的面部圖像作為情感信息或者與圖像標(biāo)識符和用戶標(biāo)識符一起存儲在圖像捕獲裝置6的單獨文件中、或者存儲在個人情感標(biāo)簽作為個人元數(shù)據(jù)的一部分，供稍后進行分析，并可以任選地使用單獨的系統(tǒng)。例如，可以利用無線調(diào)制解調(diào)器18(見圖1)和因特網(wǎng)服務(wù)提供商20把景物圖像和未經(jīng)加工的面部圖像輸送到可以進行先前關(guān)于步驟234-238所描述的分析的單獨臺式計算機(沒有畫出)或計算機服務(wù)器(沒有畫出)。
利用類似于圖2a和2b中提及的步驟147的方式識別接收者。將所使用的情感類別和獨特性程度作為情感信息的來源(步驟247)。
使用通信模塊18將相應(yīng)的圖像、個人情感標(biāo)簽和其它圖像元數(shù)據(jù)發(fā)送到因特網(wǎng)服務(wù)提供商20或其它通信網(wǎng)絡(luò)接收者，例如個人的數(shù)字圖像數(shù)據(jù)庫(步驟248)。所述個人圖像數(shù)據(jù)庫可以使用單獨的臺式計算機(沒有畫出)或計算機服務(wù)器(沒有畫出)存儲。
在另外的實施例中，相應(yīng)的圖像、個人情感標(biāo)簽、包括所導(dǎo)出的圖像信息的圖像元數(shù)據(jù)被發(fā)送到醫(yī)生或其它醫(yī)療服務(wù)提供者那里對用戶對特定的情景的特定情感反應(yīng)做附加分析或評估(步驟248)。相應(yīng)的圖像、個人情感標(biāo)簽、連同所導(dǎo)出的圖像信息的圖像元數(shù)據(jù)還可以送到多個支撐網(wǎng)絡(luò)，包括家庭成員或本地應(yīng)急服務(wù)中心。
反饋信息被顯示在攝像機的預(yù)覽屏幕22或其它通信屏幕21上(步驟250)。所述信息由相應(yīng)的軟件程序自動產(chǎn)生，并可能包含景物的圖像、已經(jīng)確定的具有獨特性程度的情感類別、或二者都有。它還可以包含或只包括以下列信息聲音信號、預(yù)先錄制的話音消息或計算機產(chǎn)生的語言。在另外的實施例中，反饋可以由醫(yī)生或多個支撐網(wǎng)絡(luò)發(fā)出，以便于治療或?qū)τ脩?進行針對性的援助，由此啟動交互式的通信過程。
如果在步驟240所規(guī)定的判據(jù)不能被滿足，例如，所獲得的獨特性程度低于閾值，則用戶的面部圖像和景物圖像被刪除。
如果所獲得的獨特性程度低于閾值而用戶2仍然在觀察同一景物或所捕獲的所述景物的圖像，例如預(yù)覽屏幕22的圖像、圖像捕獲裝置6能夠有選擇地捕獲下一幅面部圖像并重復(fù)步驟232到240的操作來確定當(dāng)用戶2觀察所述景物或所述景物的捕獲的圖像時，用戶2是否已經(jīng)改變其面部表情。
如果閾值被設(shè)定為0，則圖像捕獲裝置6所記錄的所有景物圖像和相應(yīng)的情感信息(帶有獨特性程度的情感類別或在其他實施例中的未經(jīng)加工的面部圖像)將作與圖像標(biāo)識和用戶標(biāo)識符一起為情感信息永久地被存儲在圖像捕獲裝置6的獨立文件中，或者作為圖像元數(shù)據(jù)的一部分記錄在個人情感標(biāo)簽中。
如果用戶2一直接通電源，則捕獲下一幅景物圖像(步驟220-223)并重復(fù)(步驟226)確定并存儲所述捕獲的圖像的個人情感標(biāo)簽的過程(步驟230-246)。
只要用戶2一直接通圖像捕獲裝置6的電源，圖像捕獲裝置6就繼續(xù)使用捕獲模塊8記錄景物4的圖像，并使用用戶視頻攝像機10來捕獲面部圖像。如果電源被斷開，則圖像捕獲裝置6停止記錄所述景物的圖像和面部圖像，并且結(jié)束情感標(biāo)簽的制作過程(步驟228)。
在先前討論的實施例中，情感信息是從用戶2的面部特征中提取的。圖4a和圖4b給出了表示本發(fā)明的另外的實施例的流程圖，圖中情感信息是根據(jù)生理學(xué)因素，也就是眼睛凝視定像時間表示的感興趣程度提供的。在這個實施例中，感興趣的程度是根據(jù)眼睛凝視定像時間，即用戶2的眼睛在轉(zhuǎn)向其它地點之前，停留在景物特定位置的時間來確定的。
根據(jù)Psychophysiology(心理學(xué))雜志1993年30期，261-273頁上刊登的Lang等人寫的題目為“觀看圖片情感、面部、內(nèi)臟和行為反應(yīng)”所描述的數(shù)據(jù)，平均說來，凝視時間與感興趣或引起某觀察者注意的程度線性相關(guān)。因此，根據(jù)這樣一種關(guān)系，凝視時間可以用來解析用戶對景物中某一塊區(qū)域感興趣的程度。按被引用的Lang等人發(fā)表的內(nèi)容，觀察時間只與對第三方景物的圖像感興趣的程度相比較。在本發(fā)明中，定像時間信息直接作為對景物的評估并且作為第一方景物圖像被存儲入個人情感標(biāo)簽，成為圖像元數(shù)據(jù)的一部分或與用戶標(biāo)識符和圖像標(biāo)識符相關(guān)聯(lián)地存儲在單獨的文件中。
在圖4a和圖4b的實施例中，步驟310-328的方法總體上相當(dāng)于圖2a和圖2b的步驟110-128的方法，只有一點不同在步驟318，用戶選擇的是“定像時間”信號。換句話說，圖像捕獲裝置6可以經(jīng)過預(yù)先編程來捕獲“定像時間”信息。
在本實施例中，在時間窗口(例如所述時間窗口為30秒，)內(nèi)，當(dāng)在圖像構(gòu)成、捕獲、和/或捕獲后立即重放(步驟330)時，用戶2觀察所述景物，圖像捕獲裝置6上用戶視頻攝像機10捕獲用戶2一只眼睛的眼睛圖像的樣本。在某些實施例，時間窗口可以由用戶2修改。
同時進行的是，在步驟323對景物圖像進行分析，就像在上面圖2a和圖2b的步驟123已經(jīng)詳細描述的那樣。
用戶2眼睛凝視方向的坐標(biāo)連同取樣率，例如取樣率為60Hz(步驟332)被存儲起來。在某些實施例中，用戶2可以修改取樣率。所述取樣率還可以根據(jù)其它因素，例如眼睛凝視隨時間的變化速率、景物內(nèi)容的變化速率或可以用來存儲情感數(shù)據(jù)的存儲器容量，加以修改。
未經(jīng)加工的凝視坐標(biāo)被劃分成眼睛定像的組合(步驟334)。某眼睛定像通常被定義為至少50毫秒的時間段，在此時段內(nèi)，眼睛坐標(biāo)的改變不會超過1視覺度。對每一次定像，要確定的是開始時間，結(jié)束時間和凝視坐標(biāo)。而且，可以針對每一定像確定平均瞳孔尺寸。眼睛定像的持續(xù)時間是根據(jù)它們的起始和結(jié)束時間量度的(步驟336)。
圖像捕獲裝置6決定了每一只眼睛定像感興趣的程度(步驟338)。絕對的感興趣度被定義為相應(yīng)的定像時間。相對感興趣度被定義為定像時間除以特定用戶的平均定像時間。平均定像時間可以被連續(xù)更新和存儲在數(shù)字存儲裝置12中作為用戶2的個人用戶簡檔的一部分?？梢跃陀脩?的平均定像時間而查詢和刷新所述個人用戶簡檔(步驟339)。
后繼步驟340-350分別對應(yīng)于先前的圖2a、圖2b、圖3a和圖3b所表示的實施例中所述的步驟140-150和240-250，不同的是在步驟344中所記錄的個人情感標(biāo)簽所記錄的信息類型。這就是，在本實施例中，情感標(biāo)簽記錄的是感興趣的程度。
在一個實施例中，圖像捕獲裝置6將感興趣程度作為圖像元數(shù)據(jù)的一部分和相應(yīng)的圖像一起存儲在個人情感標(biāo)簽中(步驟346)。存儲在圖像元數(shù)據(jù)中的數(shù)據(jù)可以包含表征個人情感信息的數(shù)據(jù)，或可能包含指示包括個人情感信息的文件位置的數(shù)據(jù)。還有，有關(guān)用戶觀察某圖像日期信息也可以被記錄為個人情感標(biāo)簽中單獨的項目。
在另一個實施例中，存儲景物圖像和未經(jīng)加工的眼睛圖像。未經(jīng)加工的眼睛圖像可供CPU14或供獨立裝置中的處理器(沒有畫出)以后分析。
如果所獲得的感興趣程度在閾值以下，則刪除用戶2的皮膚電反應(yīng)信號以及景物圖像(步驟342)。
在另一個實施例中，如果所獲得的感興趣程度在步驟340所設(shè)置的閾值以下，而用戶2仍然在觀察同一幅被捕獲的圖像、例如預(yù)覽屏幕22上的被捕獲的圖像，則圖像捕獲裝置6可以任選地捕獲另一段眼睛圖像并重復(fù)步驟332到340來確定用戶2是否已經(jīng)改變了對所捕獲的圖像感興趣的程度。
如果閾值被設(shè)定為零，則所有被圖像捕獲裝置6所記錄的景物圖像和相應(yīng)的情感信息(感興趣程度或在另一個實施例中的未經(jīng)加工的眼睛圖像)可以作為情感信息單獨地用一個文件連同圖像標(biāo)識和用戶標(biāo)識符存儲在圖像捕獲裝置6中，或作為圖像元數(shù)據(jù)的一部分存入個人感情標(biāo)簽中。
在替換的實施例中，用戶視頻攝像機10和中央處理器14可以用來從用戶的至少一只眼睛的圖像中獲取附加信息。這種信息的示例包括但不限于眼球加速度、淚水信息、眼溫度、虹膜網(wǎng)紋模式、血管模式和血管尺寸。這些信息可以用來確定用戶2的個人識別、情感狀態(tài)和/或健康狀況。所述信息可以作為情感標(biāo)簽的一部分被存儲起來。
另外的情感信息的來源取自用戶2產(chǎn)生的生理信號。圖5a和圖5b表示本發(fā)明的一個實施例，其中情感信息是從生理信號決定的。在所述實施例中，生理信號是皮膚導(dǎo)電信號和從皮膚導(dǎo)電信號導(dǎo)出的情感信息，并用興奮程度來表示。
皮膚導(dǎo)電性的改變是皮膚電反應(yīng)的量度。皮膚導(dǎo)電性反映了皮膚導(dǎo)電性大小的改變，它作為對某事件(觀察景物或景物的圖像)反應(yīng)的量度。諸如Lang等人在Psychophysiology(心理學(xué))雜志1993年30期，261-273頁上刊登的題目為“觀看圖片情感、面部、內(nèi)臟、和行為反應(yīng)”論文中所描述的那樣，皮膚導(dǎo)電性的改變?nèi)Q于圖像對觀察者的激勵導(dǎo)電性越高，激勵或興奮度越低，反之，導(dǎo)電性越低，激勵越高。皮膚導(dǎo)電性反應(yīng)幅度的量度還可用來確定感興趣或注意力。
在本實施例中，步驟410-428的方法總體上對應(yīng)于圖2a和圖2b中的110至128，唯一不同的是，在步驟148，用戶可以用手動的方式指示圖像捕獲裝置6捕捉皮膚電反應(yīng)信息，至少可以作為情感信息的一部分。換一種方式，圖像捕獲裝置6可以被預(yù)先編程以便捕捉皮膚電反應(yīng)信息。圖像捕獲裝置6在時間窗口持續(xù)期間(例如，時間窗口是5秒)，使用生理傳感器16測量皮膚電反應(yīng)信號(步驟430)。在某些實施例中，時間窗口可以被用戶修改。皮膚電反應(yīng)信號傳感器16的一個示例是SC-Flex/Pro+，和由位于美國紐約州W.Chazy的Tought Technology公司生產(chǎn)Procomp檢測系統(tǒng)。
皮膚電反應(yīng)導(dǎo)電信號被以某取樣率、例如60Hz取樣后存儲起來(步驟432)。在一個實施例中，取樣率可以由用戶2修改。取樣率還可以根據(jù)其它因素，例如景物內(nèi)容的變化速率、皮膚電反應(yīng)的時間變化率或可用來存儲情感數(shù)據(jù)的存儲器的容量。對皮膚電反應(yīng)皮膚電導(dǎo)率信號進行濾波以便減少數(shù)據(jù)中的噪聲(步驟434)。然后確定皮膚電反應(yīng)信號的幅度(步驟436)。
圖像捕獲裝置6確定所述興奮程度(步驟438)。景物的絕對興奮程度等于經(jīng)過濾波的皮膚電反應(yīng)電導(dǎo)率信號的幅度。相對興奮程度被定義為皮膚電反應(yīng)信號的幅度除以特定用戶的平均皮膚電反應(yīng)信號。平均皮膚電導(dǎo)率可以不斷被刷新并被存儲在數(shù)字存儲裝置12中作為用戶心理檔案的一部分。為了計算相對興奮程度，從用戶簡檔中檢索出平均電導(dǎo)反應(yīng)信息。個人用戶簡檔中的皮膚電導(dǎo)反應(yīng)信息不斷被刷新(步驟439)。
把所獲得的興奮程度與判據(jù)作比較，所述判據(jù)的產(chǎn)生既反映情感信息又反映從步驟423和438(步驟440)所提取的圖像信息。這樣的判據(jù)可以用邏輯“與”的表達式來定義。就是說，如果在景物圖像中檢測到相關(guān)信息，或情感信息的閾值(在此案例中就是興奮程度)被超過，或檢測到相關(guān)的圖像信息和興奮程度閾值被超過同時發(fā)生，則步驟440的判據(jù)被滿足。顯然，可以設(shè)置步驟440的判據(jù)以便將優(yōu)先權(quán)賦予兩個信息源中的任何一個。
在一個實施例中，判據(jù)可能只反映情感信息的重要性，也就是興奮程度。在本實施例中，把所獲得的興奮程度與由用戶2或為用戶2建立的閾值相比較(步驟440)。如果所獲得的興奮程度超過所述閾值，則圖像捕獲裝置6為表明對特定的捕獲的圖像的興奮程度的相應(yīng)圖像創(chuàng)建個人情感標(biāo)簽(步驟444)。在另一個實施例中，興奮程度的閾值還可以，例如根據(jù)先前累積的所述用戶興奮程度的概率分布、從個人用戶簡檔中自動建立。所述概率可以等于0.5，這樣，興奮程度的閾值將會對應(yīng)于一個值，這個值表示至少有50％的案例會發(fā)生。換一種方式，個人情感標(biāo)簽可以包含從某興奮值范圍選取的一個值，使得各種捕獲的圖像的相對興奮程度呈現(xiàn)出差別。
如果步驟440中的判據(jù)被滿足，圖像捕獲裝置6將相應(yīng)的圖像和表示興奮程度的個人情感標(biāo)簽作為圖像元數(shù)據(jù)的一部分存儲在包含景物圖像的圖像文件中(步驟444和446)。換句話說，可以把表示興奮程度的個人情感標(biāo)簽與用戶標(biāo)識符和圖像標(biāo)識符相關(guān)聯(lián)地存入獨立文件中。而且，關(guān)于用戶觀察特定的圖像(就是捕獲當(dāng)時的圖像)的日期也可以作為輸入到個人情感標(biāo)簽中的單獨的項目記錄下來。
在另一個實施例中，未經(jīng)加工的皮膚電反應(yīng)信號作為情感信號要么連同圖像標(biāo)識符和用戶標(biāo)識符被存儲在圖像捕獲裝置6中的單獨的文件中，要么被存入個人情感標(biāo)簽，成為圖像元數(shù)據(jù)的一部分，并供其后進行分析?？梢赃x擇使用單獨的系統(tǒng)。例如，可以利用無線通信模塊18(見圖1)和因特網(wǎng)服務(wù)提供商20把景物圖像和未經(jīng)加工的皮膚電反應(yīng)信號輸送到能夠進行先前在步驟434-438之間所描述的分析的獨立的臺式計算機(沒有畫出)或計算機服務(wù)器(沒有畫出)。
以類似于圖2a和圖2b的步驟147的方式，利用情感類別和作為情感信息來源的獨特性程度識別接收者(步驟447)。在一個實施例中，接收者可以是具有由因特網(wǎng)提供商提供的電子郵箱或萬維網(wǎng)地址的個人數(shù)據(jù)庫。在另一個實施例中，接收者可能是保健服務(wù)提供者或安全部門。在再一個實施例中，可能有從清單中選出的多個接收者，包括個人數(shù)據(jù)庫、健康服務(wù)提供者、朋友、家庭成員、安全部門等。還可以根據(jù)對情感信息、圖像數(shù)據(jù)和非圖像數(shù)據(jù)的分析自動選出接收者。在這種情況下，作為步驟447的一部分，這種決定可能包括例如將情感信息值、如在步驟438所確定的興奮程度與預(yù)先針對從接收者清單中選出的每一個接收者確定的閾值相比較。
在另一個實施例中，根據(jù)個人用戶簡檔、例如先前積累的用戶喜好程度的概率分布自動建立針對每一個接收者設(shè)定的喜好程度的閾值。在一個實施例中，可能為健康服務(wù)提供者選擇0.9的積累概率，因而，所述喜好程度的閾值將對應(yīng)于只有10％的案例會超過的值。
在再一個實施例中，個人情感標(biāo)簽可以包括從一個喜好值范圍中選出的值、使得各種捕獲的圖像之間相對喜好值程度顯示出差別。在不同的實施例中，可以只根據(jù)對景物圖像分析的結(jié)果選擇接收者，也可以綜合景物信息和情感信息選擇接收者，這取決于在步驟440中所建立的判據(jù)。
可以利用通信模塊18和通信網(wǎng)絡(luò)，諸如由因特網(wǎng)服務(wù)提供商20提供的通信網(wǎng)絡(luò)來發(fā)送相應(yīng)的圖像、個人情感標(biāo)簽和其它圖像元數(shù)據(jù)、以便將圖像傳輸給認定的接收者、例如數(shù)字圖像的個人數(shù)據(jù)庫(步驟448)。例如可以利用單獨的臺式計算機(沒有畫出)或計算機服務(wù)器(沒有畫出)存儲所述個人圖像數(shù)據(jù)庫。
在另一個實施例中，把相應(yīng)的圖像、個人情感標(biāo)簽、圖像元數(shù)據(jù)(包括被導(dǎo)出的圖像信息)發(fā)送到醫(yī)生或其它健康服務(wù)提供者，由他們對所述用戶對特定的情景的特定的情感反映進行附加的分析或評估。還可以把相應(yīng)的圖像、個人情感標(biāo)簽、圖像元數(shù)據(jù)(包括被導(dǎo)出的圖像信息)發(fā)送到許多支撐網(wǎng)絡(luò)、包括家庭成員和當(dāng)?shù)貞?yīng)急服務(wù)機構(gòu)。
反饋信息被顯示在攝像機預(yù)覽屏幕22或通信屏幕21上(步驟450)。所述信息由合適的軟件程序產(chǎn)生并包括所述景物的圖像、所確定的興奮程度、或二者都有。所述信息還可以包含或只包括聲音信號、預(yù)先錄制的語音消息或由計算機產(chǎn)生的話音或圖像。在另一個實施例中，反饋可以由醫(yī)生或多個支撐網(wǎng)絡(luò)發(fā)出，以便于治療。
如果所獲得的興奮程度在閾值以下，用戶2的皮膚電反應(yīng)信號和景物圖像即被刪除(步驟442)。在另一個實施例中，如果所獲得的興奮程度在閾值以下并且如果用戶2仍然在觀察(例如在預(yù)覽屏幕22上觀察)相同的景物或所捕獲的所述景物的圖像，則圖像捕獲裝置6可以有選擇性地捕獲下一個皮膚電反應(yīng)段并重復(fù)步驟432到440來確定在用戶2觀察所述捕獲的圖像時、用戶2是否已經(jīng)改變其皮膚導(dǎo)電反應(yīng)。
如果閾值被設(shè)定為零，則所有被圖像捕獲裝置6所捕獲的景物圖像和相應(yīng)的情感信息(興奮程度或在另一實施例中未經(jīng)加工的皮膚電反應(yīng)信號)將被作為情感信息永久地或者與圖像標(biāo)識符和用戶標(biāo)識符一起存儲到圖像捕獲裝置6的單獨的文件中、或者存入個人情感標(biāo)簽、成為圖像元數(shù)據(jù)的一部分。
顯然，不同的用戶2對一幅圖像有不同的生理和面部反應(yīng)。有些用戶可能會呈現(xiàn)出強烈的生理反應(yīng)，而只呈現(xiàn)溫和的面部反應(yīng)。其它用戶會呈現(xiàn)出溫和的生理反應(yīng)，而呈現(xiàn)強烈的面部反應(yīng)。還有其他用戶會呈現(xiàn)溫和的生理反應(yīng)和面部反應(yīng)。通過綜合不同類型的情感信息，可以獲得更可靠的用戶2對景物的情感反應(yīng)。接下來的實施例表示解析情感信息的方法。將生理學(xué)的和面部反應(yīng)信息結(jié)合起來更有利于解析情感信息。
參見圖6a圖6b，圖中示出說明本發(fā)明的用于根據(jù)圖3a、3b、5a和5b所描述的情感信號的組合、即所確定的情感類別的獨特性程度和興奮程度(將這些情感信息進一步組合可以獲得完整的情感反應(yīng)的量度)來提供情感信息的實施例的流程圖。。
在本實施例中，方法步驟510到528對應(yīng)于圖2a和圖2b的方法步驟110到128，唯一不同的是，在步驟518，用戶選擇“綜合的面部表情和皮膚電反應(yīng)”(在下面的文字中稱為“綜合”)信號或換言之，圖像捕獲裝置6被預(yù)先編程以便使用“綜合”信號。
因此，圖像捕獲裝置6捕獲用戶2的面部圖像和皮膚導(dǎo)電信息(分別對應(yīng)于步驟530和531)。
諸如先前在圖3與步驟232到238所描述的那樣，由圖像捕獲裝置6根據(jù)面部表情決定情感類別(DDEC)的獨特性程度(步驟532)。由圖像捕獲裝置6根據(jù)皮膚導(dǎo)電性來確定興奮程度(DE)，其方式與圖5中步驟432到438一樣(步驟536)。
圖像捕獲裝置6決定情感反應(yīng)的幅度(步驟538)。這可以用各種方式完成。例如，情感反應(yīng)的幅度可以表示為兩個量的和情感反應(yīng)＝DDEC+DE關(guān)于用戶經(jīng)歷的特定情感的信息可以通過查閱情感類別EC得到。
在另一個實施例中，情感反應(yīng)的幅度由兩個量的平方和的平方根決定。
在再一個實施例中，情感反應(yīng)的幅度可以由兩個量的加權(quán)和算出。
情感反應(yīng)＝wDDDDEC+wDEDE其中，根據(jù)先前針對特定用戶獲取的每一種歸一化(除以最大值)信號的標(biāo)準(zhǔn)偏差來決定權(quán)重wDD和wDE。在這種情況下，信號的標(biāo)準(zhǔn)偏差越大，信號對情感反應(yīng)量度的貢獻權(quán)重越高。因此，給定信號的標(biāo)準(zhǔn)偏差越低，相應(yīng)信號對情感反應(yīng)量度的貢獻權(quán)重越低。造成這種依賴性的原因基于這樣一種假設(shè)特定用戶的特定量度的標(biāo)準(zhǔn)偏差反映了不同景物之間個體差異程度。這意味著，具有最大標(biāo)準(zhǔn)偏差的信號具有更大區(qū)分能力，對特定用戶而言，則具有更多的情感反應(yīng)。
例如，如果不同的景物引起用戶A面部表情的大變化，而皮膚的導(dǎo)電性變化小，則根據(jù)面部表情施加于情感類別(DDEC)的獨特性量度的權(quán)重會大于根據(jù)皮膚導(dǎo)電性施加于興奮程度(DE)的量度權(quán)重wDE。另一方面，如果不同景物引起的用戶B面部表情變化較小，而引起的皮膚導(dǎo)電性的變化較大，則權(quán)重之間的關(guān)系會反轉(zhuǎn)過來。關(guān)于相應(yīng)的信號最大值和標(biāo)準(zhǔn)偏差的數(shù)據(jù)可以從個人用戶簡檔中獲取(步驟539)。然后利用此項信息更新個人用戶簡檔。
類似于先前所描述的其它實施例，將所獲取的情感反應(yīng)幅度與在步驟523和538中抽取的既反映情感信息又反映圖像信息的重要性的判據(jù)進行比較(步驟540)。
如果判據(jù)被滿足，則圖像捕獲裝置6將相應(yīng)的圖像和反映情感反應(yīng)幅度的個人情感標(biāo)簽作為圖像元數(shù)據(jù)的一部分存儲入包含景物圖像的圖像文件中(步驟544和546)?；蛘撸梢园驯硎厩楦蟹磻?yīng)幅度的個人情感標(biāo)簽與圖像標(biāo)識符和用戶標(biāo)識符相關(guān)聯(lián)地存入單獨的文件中。此外，還可以把關(guān)于用戶觀察某圖像(在捕獲圖像的當(dāng)時)的數(shù)據(jù)的信息作為單獨一條信息記錄在個人情感標(biāo)簽中。
在另一個實施例中，未經(jīng)加工的皮膚電反應(yīng)信號和面部圖像作為情感信息可以或者連同圖像標(biāo)識符和用戶標(biāo)識符存儲在圖像捕獲裝置6上單獨的文件中、或者存入個人情感標(biāo)簽中、成為圖像元數(shù)據(jù)的一部分，供稍后些時間選擇另外的系統(tǒng)進行分析。例如，可以利用無線調(diào)制解調(diào)器18(見圖1)和因特網(wǎng)服務(wù)提供商20把景物圖像、面部圖像和未經(jīng)加工的皮膚電反應(yīng)信號輸送到可以執(zhí)行先前關(guān)于步驟532-538所描述的分析的單獨的臺式計算機(沒有畫出)或計算機服務(wù)器(沒有畫出)。
利用類似上面圖2a和圖2b步驟147的方式來識別接收者(步驟547)。在一個實施例中，接收者可以是具有因特網(wǎng)服務(wù)提供商20提供的電子郵件地址或萬維網(wǎng)網(wǎng)址個人數(shù)據(jù)庫。在另外一個實施例中，接收者可能是健康服務(wù)提供者或安全部門。在另外一個實施例中，可能有來自一份清單的多個接收者，包括個人數(shù)據(jù)庫、健康服務(wù)提供者、朋友、家庭成員、安全部門等。可以根據(jù)對情感信息、圖像數(shù)據(jù)和非圖像數(shù)據(jù)的分析自動選出接收者。在這種情況下，這種決定作為步驟547的一部分可以由如下操作組成例如，將情感信息值(例如由步驟538的確定的情感幅度)與從接收者清單抽取的每一個接收者的預(yù)先規(guī)定的相應(yīng)的閾值作比較。
在另一個實施例中，針對每一個接收者的情感反應(yīng)幅度規(guī)定的閾值是根據(jù)個人用戶簡檔(例如，先前累積的用戶情感反應(yīng)的概率分布)自動建立的。在一個實施例中，可以為健康服務(wù)提供者選擇0.9的累積概率，這樣，針對所述情感反應(yīng)幅度制定的閾值將相當(dāng)于只有10％的案例會超過的值。
在再一個實施例中，個人情感標(biāo)簽可能包括從一個反應(yīng)值范圍中選出的值、使得各種所捕獲的圖像之間的情感反應(yīng)的相對幅度呈現(xiàn)出差異。在不同的實施例中，可以只根據(jù)景物圖像分析的結(jié)果選出接收者或者根據(jù)景物信息和情感信息的組合選出接收者，這取決于步驟540中判據(jù)形成過程。
使用因特網(wǎng)服務(wù)提供商上的通信模塊18將相應(yīng)的圖像、個人情感標(biāo)簽和其它圖像元數(shù)據(jù)發(fā)送到已被識別的接收者，例如，數(shù)字圖像的個人數(shù)據(jù)庫(步驟548)。可以利用獨立的臺式計算機(沒有畫出)或計算機服務(wù)器(沒有畫出)存儲所述圖像的個人數(shù)據(jù)庫。
在另一個實施例中，相應(yīng)的圖像、個人情感標(biāo)簽和其它圖像元數(shù)據(jù)及其導(dǎo)出的圖像信息被發(fā)送到醫(yī)生或其它健康服務(wù)提供者以便對所述用戶對特定情況的特定情感反應(yīng)進行附加的分析。所述相應(yīng)的圖像、個人情感標(biāo)簽和其它圖像元數(shù)據(jù)及其導(dǎo)出的圖像信息還可以被發(fā)送到許多支撐網(wǎng)絡(luò)，包括家庭成員。
反饋信息被顯示在攝像機的預(yù)覽屏幕22或通信屏幕21上(步驟550)。所述信息由合適的軟件程序自動產(chǎn)生并可能包括所述景物的圖像、被確定的情感反應(yīng)幅度或二者都有。它還可能包含或只包括聲音信號、預(yù)先錄制的話音消息或計算機產(chǎn)生的語言或圖像。
在另一個實施例中，反饋可以被發(fā)送到醫(yī)生或多個支撐網(wǎng)絡(luò)以利于治療。
如果所獲得的情感反應(yīng)幅度在閾值以下，則面部圖像、用戶的皮膚電反應(yīng)和景物圖像則被刪除(步驟542)。
在另一個實施例中，如果所獲得關(guān)于所確定的情感的反應(yīng)幅度在閾值以下，且用戶2仍然在、例如在預(yù)覽屏幕22上、觀察同一景物或捕獲的所述景物的圖像，則圖像捕獲裝置6可以任選地捕獲下一幅面部圖像，記錄皮膚電反應(yīng)段并重復(fù)步驟532到540、以便確定用戶2在觀察所述景物或捕獲的所述景物的圖像時、是不是已經(jīng)改變她的面部表情和皮膚導(dǎo)電反應(yīng)。
如果所述閾值被設(shè)定為零，則被圖像捕獲裝置6記錄的所有景物圖像和相應(yīng)的情感信息(情感反應(yīng)的幅度或在另一個實施例中，未經(jīng)加工的面部圖像和皮膚電反應(yīng)信號)將永久地被作為情感信息或者與圖像標(biāo)識符和用戶標(biāo)識符一起記錄在圖像捕獲裝置6上的單獨的文件中、或者作為圖像元數(shù)據(jù)的一部分記錄在個人情感標(biāo)簽中。
在另一個實施例中，面部表情、眼睛的特征和生理反應(yīng)的不同組合可以用來建立個人情感標(biāo)簽，根據(jù)廣泛的情感類別來對景物進行分類，例如“快樂”、“恐懼”、“憤怒”等。表1給出這樣分類的例子。
表1根據(jù)面部表情、眼睛特征和生理反應(yīng)的情感分類 將圖2a、2b、3a、3b、4a、5a和5b所描述的信號或其它情感信號(如從語音、EEG，腦掃描、眼睛運動、眼睛圖像和其它導(dǎo)出的)作不同的組合可用于建立個人情感標(biāo)簽，以便根據(jù)范圍更廣的情感類別來對景物進行分類。
可以使用這些類別的某范圍的值進一步對圖像進行分類，例如很高興、有點高興、中度和有點悲哀、和很悲哀等。
然后將所確定的用情感分類表示的情感信息作為包含用戶標(biāo)識符的情感標(biāo)簽保存，成為圖像元數(shù)據(jù)的一部分。還可以把所述確定的用情感分類表示的情感信息與圖像標(biāo)識和用戶標(biāo)識符一起存儲在計算機上單獨的文件中。
可以把用于在圖像捕獲裝置上建立和使用個人情感標(biāo)簽的計算機程序記錄在一種或多種存儲介質(zhì)上，例如，磁性存儲介質(zhì)例如磁盤(例如軟盤)或磁帶；光存儲介質(zhì)例如光盤、光帶或機器可讀的條形碼；固態(tài)電子存儲裝置如隨機訪問存儲器(RAM)，或只讀存儲器(ROM)；或任何用來存儲包括可以實現(xiàn)本發(fā)明的方法的指令的計算機程序的其它物理裝置或介質(zhì)。
個人情感標(biāo)簽還可以包括表明情感反應(yīng)相對幅度的信息。正如先前所講到的，情感反應(yīng)的相對幅度可以只根據(jù)情感信息來決定。換一種方式，可以把情感和非情感的信息組合起來用于確定情感反應(yīng)的相對幅度。圖像元數(shù)據(jù)的示例上面已經(jīng)描述了并包括日期和時間信息、位置信息(例如從全球定位系統(tǒng)GPS或類似的電子定位器所獲得的信息)。對圖像本身的圖像分析還可以用作非情感信息的來源，所述信息可能會影響相對重要性程度。正如先前講過的那樣，景物中特定事物的存在很容易被現(xiàn)行的圖像處理和圖像理解算法所識別出來。例如，在共同轉(zhuǎn)讓的由LUO于1998年12月31日提交的題目為“自動確定照片圖像中主題目標(biāo)的方法”的美國專利No.6,282,317中描述了自動確定照片圖像中主要目標(biāo)的算法。正如先前所講的LIU等人的文章所描述的那樣，使用面部識別算法可以確定景物或特定人群中人的存在，由此可以用來增大情感反應(yīng)相對幅度。所述算法還可以用來有選擇性地處理圖像，以便提高圖像的質(zhì)素，強調(diào)主題目標(biāo)，就像LUO等人提交的歐洲專利No.EP1211637所描述的算法那樣，以便和選定的人共享所述圖像或因為安全保護的原因?qū)⑺鰣D像發(fā)送到有關(guān)的機構(gòu)。
圖7表示本發(fā)明的某實施例，其中使用了多個圖像捕獲裝置6，以達到個人安全和健康監(jiān)護的目的，其工作情況由圖1-6表示。從每一臺裝置獲取信息，并通過綜合來自多個用戶的景物圖像情感信息，重組事件的細節(jié)和人員的反應(yīng)。這樣，在步驟610和611，用戶602和用戶603接通他們的圖像捕獲裝置6的電源。
就像先前在圖2a和2b中的步驟112-118所描述的那樣，用戶602和603輸入他們的識別數(shù)據(jù)、配置信號設(shè)定值和接收者清單(步驟612和613)?？梢允褂糜脩鬒D和密碼作為識別數(shù)據(jù)。在另一個替換的實施例，使用用戶視頻攝像機10連同面部識別軟件自動確定用戶標(biāo)識符，并提供合適的用戶標(biāo)識符，例如用戶的名字、個人識別碼或指紋數(shù)據(jù)等。在另一個供替換的實施例中，利用用戶標(biāo)識符數(shù)據(jù)將圖像捕獲裝置6預(yù)先編程。因此，不需要輸入用戶標(biāo)識符數(shù)據(jù)。
擁有第一個用戶602的圖像捕獲裝置6獲取事件的圖像和所述第一個用戶的反應(yīng)。(步驟614和616)。
在此同時，在步驟625和617，擁有第二個用戶603的相似的圖像捕獲裝置6獲取所述事件的不同圖像和第二個用戶的反應(yīng)。
在步驟618針對第一個用戶并且在步驟619針對第二個用戶自動進行對所述事件圖像的分析。對所述景物的分析是使用類似先前在步驟123所介紹的過程進行的。所述處理過程目的在于識別特定的主題事物，或?qū)⒕拔飯D像分類，例如分為意外事故、犯罪場景、爆炸等。所述圖像可以進一步被分析和使用，以便確定其安全狀態(tài)或識別涉案人員。景物圖像和任何的情感信息還可以不經(jīng)分析被直接發(fā)送到信息處理中心進行此類分析。
用戶602和603的反應(yīng)，例如生理反應(yīng)(例如，皮膚電反應(yīng))、眼睛運動數(shù)據(jù)(例如定像時間)、或面部表情或他們的組合被用來按照類似圖2-圖6步驟132-139、232-239、432-439或532-539分析過程進行分析(步驟620和621)。在一個實施例中，所述過程的結(jié)果就是綜合從用戶的面部圖像所獲得的情感類別的顯著性程度和從皮膚電反應(yīng)信號所確定的興奮程度來確定情感反映的幅度。在另一個替換的實施例中，用未經(jīng)加工的信號的形式表現(xiàn)的情感信息被發(fā)送到中心站進行分析。
將在為第一用戶和第二用戶而執(zhí)行的步驟622和623中的景物分析的結(jié)果和對用戶反應(yīng)的分析分別與判據(jù)作比較。所述判據(jù)可以反映適當(dāng)?shù)膱D像數(shù)據(jù)、與預(yù)先規(guī)定的閾值相關(guān)的情感反應(yīng)幅度，或這兩種類型數(shù)據(jù)的組合，這類似于先前在圖2、3、4、5和6的步驟140、240、340、440或540所分別描述的情形。
如果判據(jù)被滿足，則個人情感標(biāo)簽、相應(yīng)的景物圖像和非圖像數(shù)據(jù)(例如，數(shù)據(jù)和GPS信號)被發(fā)送到合適的接收者，例如應(yīng)急處理中心。這件事針對第一用戶在步驟624完成，針對第二用戶在步驟625完成。所述信息還被發(fā)送到個人用戶數(shù)據(jù)庫。
從擁有不同用戶的圖像捕獲裝置6接收的信息被分析和比較(步驟626)。比較這種信息的方式之一是根據(jù)GPS信號來分類。如果來自兩個裝置的GPS信號表明兩個用戶處于同一地點，圖像數(shù)據(jù)、情感信息和其它非圖像數(shù)據(jù)被組合起來重構(gòu)原始事件的“多視圖”。所述信息還可以被捆綁在一起供以后調(diào)查相關(guān)事件時使用。
采取適當(dāng)?shù)姆磻?yīng)(步驟628)。這種反應(yīng)的例子是派遣警察或救護車到現(xiàn)場。行動的另一個例子是，利用預(yù)覽屏幕22將反饋信息以可視或話音消息的形式提供給用戶。在災(zāi)難性事件中，所述反饋信息可能包含引導(dǎo)用戶2到達安全地點的信息。
在上面所述的實施例中，已經(jīng)以數(shù)字圖像和數(shù)字圖像捕獲系統(tǒng)的形式描述了圖像和圖像捕獲系統(tǒng)。與本發(fā)明的原理相一致，景物的圖像可以用模擬電子的形式捕獲或光學(xué)媒質(zhì)例如照相膠卷或膠片捕獲。當(dāng)圖像用這些形式之一捕獲時，表示情感信息的數(shù)據(jù)可以連同相關(guān)圖像一起被記錄，其方式是將情感信息和圖像分開記錄，用某種識別碼標(biāo)識與所述信息相關(guān)的圖像。換一種方式，情感信息可以與模擬電子圖像相關(guān)聯(lián)地編碼和記錄。在使用照相膠卷時，情感信息可以用光學(xué)或電磁的形式記錄在膠卷上。還可以把所述情感信息記錄在與膠卷相關(guān)聯(lián)的電子存儲器上。
根據(jù)本發(fā)明，在捕獲時采集的、在捕獲當(dāng)時或捕獲過程中采集的形式描述情感信息。諸如在這里使用的那樣，這些術(shù)語涵蓋任何圖像被組構(gòu)或被捕獲的時間段。這種時間段還可以包括緊接著捕獲后的時段，其中所捕獲的圖像或代表所捕獲的圖像的圖像被用快速審視的方式或預(yù)覽方式被審視，諸如共同轉(zhuǎn)讓的由Fellagara等人在1997年2月20日提交的、題目為“帶快速審視最近所捕獲的圖像功能的電子攝像機”的美國專利No.6,441,854以及共同轉(zhuǎn)讓的由Napoli等人在1998年1月20日提交的、題目為“帶有快速觀察和快速抹除特點的電子攝像機”的美國專利申請No.09/012,144中所描述的那樣。
權(quán)利要求
1.一種圖像捕獲方法，所述方法包括以下步驟捕獲景物圖像(120)；在捕獲時采集情感信息(130)；以及將所述景物圖像和所述情感信息發(fā)送給圖像接收者(148)。
2.如權(quán)利要求1所述的方法，其特征在于根據(jù)所述情感信息來選擇所述圖像接收者。
3.如權(quán)利要求1所述的方法，其特征在于還包括接收所述圖像接收者的反應(yīng)的步驟。
4.如權(quán)利要求3所述的方法，其特征在于所述反應(yīng)適合于引出治療響應(yīng)。
5.一種圖像捕獲方法，所述方法包括以下步驟捕獲景物圖像；在捕獲時采集情感信息；分析所述捕獲的圖像和所述采集的情感信息以便確定是否滿足發(fā)送判據(jù)；以及當(dāng)滿足所述判據(jù)時將所述景物圖像和所述情感信息發(fā)送到圖像接收者。
6.一種用于獲得遠程反饋的反應(yīng)式成像方法，所述方法包括以下步驟捕獲面對用戶的景物的圖像；獲得用戶識別信息；在捕獲時采集情感信息；使所述情感信息和所述用戶信息與所述圖像相關(guān)聯(lián)；將所述捕獲的圖像、所述情感信息和所述用戶標(biāo)識符發(fā)送給接收者；接收來自所述接收者的包含指導(dǎo)意見的反應(yīng)；以及將所述反應(yīng)提供給所述用戶。
7.一種成像系統(tǒng)，它包括適合于捕獲用戶選定的圖像的圖像捕獲系統(tǒng)；存儲所述捕獲的圖像的存儲器；適合于在捕獲時采集來自所述用戶的情感信號的一組傳感器；適合于根據(jù)所述情感信號確定情感信息并且將所述情感信息與所述捕獲的圖像相關(guān)聯(lián)的處理器；以及用以將所述情感信息發(fā)送到選定的接收者的發(fā)射機。
8.一種成像系統(tǒng)，它包括用于捕獲景物圖像的圖像捕獲裝置；用于在捕獲時采集來自用戶的情感信息的情感傳感器裝置；以及用于將所述景物圖像和所述情感信息發(fā)送給選定的圖像接收者的發(fā)送裝置。
9.一種反應(yīng)式成像系統(tǒng)，它包括至少兩個成像裝置，每個成像裝置包括適合于捕獲面對用戶的景物的圖像的圖像捕獲系統(tǒng)；存儲所述捕獲的圖像的存儲器；適合于在捕獲時獲取來自所述用戶的情感信號的一組傳感器；適合于根據(jù)來自所述一組傳感器的所述信號來確定情感信息并將所述情感信息與所述景物圖像相關(guān)聯(lián)的處理器；用于將所述景物圖像和相關(guān)聯(lián)的情感信息發(fā)送到接收節(jié)點的發(fā)射機；以及用于接收所述發(fā)送的圖像和相關(guān)聯(lián)的情感信息的接收節(jié)點，所述接收節(jié)點具有用于分析所述發(fā)送的圖像和情感信息并且根據(jù)所述發(fā)送的圖像和情感信息來確定如何反應(yīng)的處理器。
10.如權(quán)利要求9所述的反應(yīng)式成像系統(tǒng)，其特征在于所述情感傳感器裝置包括適合于從所述用戶的神經(jīng)所攜帶的信號采集情感信息的傳感器。
全文摘要
提供一種圖像捕獲方法。根據(jù)所述方法，捕獲景物圖像(120)并且在捕獲時采集情感信息(130)。將所述景物圖像和情感信息發(fā)送給圖像接收者。還提供一種成像系統(tǒng)，所述成像系統(tǒng)具有適合于捕獲景物圖像的圖像捕獲系統(tǒng)和用來存儲所捕獲的圖像的存儲器。一組傳感器適合于采集在捕獲時用戶的情感信號。處理器適合于根據(jù)情感信號來確定情感信息并且將情感信息與所捕獲的圖像相聯(lián)系。發(fā)射機將景物圖像和情感信息發(fā)送給接收者。
文檔編號A61B5/16GK1514399SQ20031011993
公開日2004年7月21日 申請日期2003年11月25日 優(yōu)先權(quán)日2002年11月25日
發(fā)明者E·A·菲多羅維斯卡亞, E A 菲多羅維斯卡亞, S·恩德里霍維斯基, 呂锘粑 夠, K·A·帕魯斯基, 帕魯斯基, C·A·扎克斯, 扎克斯, K·M·塔西爾, 塔西爾, M·J·特勒克, 特勒克, F·馬里諾, 錙, D·哈雷爾, 錐 申請人:伊斯曼柯達公司