專利名稱：成像方法與系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像捕獲系統(tǒng)，具體地說，本發(fā)明涉及能捕獲情感信息的圖像捕獲系統(tǒng)。
背景技術(shù)：
越來越多地用數(shù)字形式記錄靜態(tài)和動態(tài)圖像?？捎脭?shù)字靜態(tài)或數(shù)字視頻攝影機來捕獲數(shù)字靜態(tài)和動態(tài)圖像。還可通過將業(yè)已用其它方式記錄的圖像轉(zhuǎn)換成數(shù)字形式來獲得數(shù)字靜態(tài)和動態(tài)圖像。例如，公知可使用模擬-數(shù)字轉(zhuǎn)換器將模擬的電子視頻信號轉(zhuǎn)換成數(shù)字圖像。還公知可以用光學(xué)掃描儀從記錄在照片、膠片、底片和負(fù)片上的圖像來獲得數(shù)字圖像。
用戶利用家用計算機或其它圖像處理設(shè)備可以很容易地觀看、存儲、檢索和打印數(shù)字靜態(tài)和動態(tài)圖像。如Fredlund等人1995年8月3日提交的共同授予的US專利第5666215號所述，這種圖像可以上載到網(wǎng)站上以便觀看。使用網(wǎng)站瀏覽器，可以觀看上載的數(shù)字圖像，選擇這些圖像進(jìn)行打印，以電子的方式將這些圖像傳給其它家庭成員和/或朋友，或者將這些圖像存入聯(lián)機數(shù)據(jù)庫和影集。
由于目前更多地使用數(shù)字?jǐn)z影機來攝影并且目前越來越多地使用將通常的靜態(tài)圖像、模擬視頻圖像和基于膠片的運動圖像轉(zhuǎn)換成數(shù)字形式的技術(shù)，故而可用的數(shù)字圖像的數(shù)量迅速增加。但是，用戶并不立即印制或以其它方式使用數(shù)字圖像，而是將數(shù)字圖像上載至電子存儲設(shè)備或數(shù)據(jù)存儲媒體，以供以后使用。因此，越來越多地用個人計算機、個人數(shù)字助理、計算機網(wǎng)絡(luò)、光、磁和電子存儲介質(zhì)、所謂的機頂盒電視設(shè)備和其它電子圖像存儲設(shè)備來存儲數(shù)字靜態(tài)和動態(tài)圖像。
所以，以能由用戶很容易訪問的方式對這類存儲設(shè)備上的數(shù)字靜態(tài)和動態(tài)圖像進(jìn)行分類和編目正變得越來越重要。某些用戶創(chuàng)建大型個人數(shù)據(jù)庫來組織這類存儲設(shè)備上的數(shù)字靜態(tài)和動態(tài)圖像。業(yè)已開發(fā)出了多種計算機程序來幫助用戶做到這一點。但是，由于瀏覽和分類圖像需要時間和精力，故這些數(shù)據(jù)庫一般很少使用和更新。
因此，所需的是一種幫助組織和分類圖像的方法，這種方法只需對圖像捕獲后的分析和分類給予較少的關(guān)注。
即便在用戶投入將圖像組織進(jìn)數(shù)據(jù)庫所需的時間和精力，一般也都是按諸如捕獲日期、地點、事件、人物之類的多種類別來組織數(shù)據(jù)庫。還使用其它的類別。這些類別通常不會在本質(zhì)上幫助用戶確定特別重要或有價值的圖像的位置。相反，用戶必須記住圖像、在何時捕獲了該圖像以及/或者用戶是如何對該圖像進(jìn)行分類的。
因此，所需要的是更有用的對圖像進(jìn)行組織的基礎(chǔ)。從多種研究和觀察資料中已知事件及圖像的最難忘的類別是與用戶捕獲圖像時的感覺或用戶在事件發(fā)生過程或在現(xiàn)場體驗的情感反應(yīng)有關(guān)的那些類別。可用于明確用戶情感狀態(tài)特征的信息稱為情感信息。情感信息表示用戶對事件的心理、生理和行為反應(yīng)。情感信息可以涉及記錄的原始生理信號及其解釋?？衫们楦行畔⒏鶕?jù)用戶的主觀重要性、喜好程度或特定感情的強烈程度和本質(zhì)來對數(shù)字靜態(tài)和視頻圖像進(jìn)行分類。這種分類能有助于快速發(fā)現(xiàn)、瀏覽和共享那些有價值的圖像。
在本技術(shù)中公知有多種根據(jù)用戶對圖像的反應(yīng)來獲取情感信息的方法。監(jiān)控生理狀態(tài)以獲得情感信息的系統(tǒng)的一個實例是穿戴式捕獲系統(tǒng)，這種系統(tǒng)能根據(jù)人體的生物信號將圖像分成重要或不重要。載于1998年86屆電氣和電子工程師協(xié)會(IEEE)會議錄第2123-2151頁中Mann的題為“人類智能作為智能信號處理新框架和應(yīng)用的‘WearComp，”的文章說明了這種系統(tǒng)。在這篇文章中，Mann說明了在穿戴者受到帶槍搶現(xiàn)金的強盜的攻擊時這種系統(tǒng)是如何進(jìn)行潛在操作的實例。在這種情況下，系統(tǒng)檢測諸如穿戴者在腳步速率沒有相應(yīng)增加情況下心率突然增加之類的生理信號。然后，系統(tǒng)根據(jù)生物信號推斷出可視信號的高度重要性。這又會觸發(fā)記錄來自穿戴者攝影機的圖像并將這些圖像發(fā)送給能判斷出危險程度的朋友或親戚。
載于1998年第二次國際可穿戴式計算機研討會會議錄中的Healey等人的題為“StartleCam可穿戴式自動攝影機”說明]這種系統(tǒng)的另一個實例。在該文提出的這種系統(tǒng)中，使用了這樣一種可穿戴式攝影機，它帶有一計算機和能監(jiān)控皮膚傳導(dǎo)率的生理傳感器。這種系統(tǒng)是檢測驚愕反應(yīng)—皮膚導(dǎo)電系數(shù)的快速變化--為基礎(chǔ)的。皮膚導(dǎo)電率的這種變化通常與覺醒、恐懼或壓力有關(guān)。在檢測到驚愕反應(yīng)時，將穿戴者的數(shù)字?jǐn)z影機最近捕獲的數(shù)字圖像緩存保存起來，并將該緩存可選擇地以無線的方式傳給遠(yuǎn)程計算機。這種有選擇地存儲數(shù)字圖像可形成用于穿戴者的“記憶”文檔，其目的是模擬穿戴者自己的有選擇的記憶反應(yīng)。在另一種模式中，可在業(yè)已檢測到來自穿戴者微小反應(yīng)時將攝影機設(shè)置成按特定頻率自動地記錄圖像，以指示他們的注意力水平已經(jīng)下降。
Mann等人提出的系統(tǒng)用生理信號將圖像分成“重要的”(即使得生物學(xué)反應(yīng)快速變化)或“不重要的”(即不使得生物學(xué)反應(yīng)快速變化)并且觸發(fā)可穿戴式攝影機僅存儲/或傳送“重要的”的圖像。但是，他們的系統(tǒng)具有幾種缺陷。
所述系統(tǒng)不關(guān)聯(lián)、不存儲并且不傳送生理信號或任何其它“重要的”標(biāo)識隨同相應(yīng)的圖像。結(jié)果，“重要的”圖像可能很容易地迷失在數(shù)據(jù)庫的其它圖像中，因為，在這些“重要的”圖像中沒有什么東西指示這些圖像是“重要的”。例如，在不同的系統(tǒng)中使用數(shù)字圖像文件時、在通過可記錄的接觸式盤或其它媒介傳送圖像時、在將圖像上載至聯(lián)機照片服務(wù)提供者時等等，就會出現(xiàn)這種情況。所述系統(tǒng)也不關(guān)聯(lián)、不存儲并且不傳送用戶的標(biāo)識隨同相應(yīng)的圖像。所以，在一個以上的用戶使用系統(tǒng)時，不可能區(qū)分出哪個用戶將圖像反應(yīng)為“重要的”。
此外，所述系統(tǒng)只提供“重要-不重要”的二分分類，不能更精細(xì)地區(qū)分所捕獲的圖像間的相對重要程度。結(jié)果，在用戶數(shù)據(jù)庫中獲取圖像的一段時間之后，重要圖像的數(shù)量太多以致不能為重要性屬性的目的服務(wù)了，除非是用戶要改變其數(shù)據(jù)庫中每一個圖像的屬性，而這是一個漫長且令人厭煩的過程。
另外，所述系統(tǒng)僅根據(jù)一般的“重要的”屬性提供圖像分類。例如，這類系統(tǒng)不能區(qū)別出重要的圖像是喚起了用戶正的(快樂)反應(yīng)還是喚起了用戶負(fù)的(不快樂)反應(yīng)。所以，在所述系統(tǒng)中沒有考慮廣泛的人類情感反應(yīng)(例如喜悅、悲傷、氣憤、恐懼、關(guān)注等)，這些情感反應(yīng)對用戶沒有用處。
因此，還需要有一種經(jīng)過改進(jìn)的用于獲得情感信息并用情感信息來方便存儲和檢索圖像的方法。

發(fā)明內(nèi)容
在本發(fā)明的一個方面，提供了一種成像方法。依照這一實施例，可捕獲場景的圖像。在捕獲時收集情感信息。將情感信息與場景圖像相關(guān)聯(lián)。
在本發(fā)明的另一個方面中，提供了一種成像方法的另一個實施例。在這一實施例中，可捕獲場景的圖像。在捕獲時收集情感信息。至少部分地根據(jù)所收集的情感信號來確定所捕獲的圖像的相對重要程度。將該相對重要程度與場景圖像相關(guān)聯(lián)。
在本發(fā)明的又一個方面中，提供了一種攝影方法。依照這種方法，可捕獲場景的圖像。在捕獲時獲得攝影者的至少一部分的圖像。至少部分地根據(jù)對攝影者圖像的解釋來確定情感信息。將情感信息與場景圖像相關(guān)聯(lián)。
在本發(fā)明的再一個方面中，提供了一種成像方法。依照這種方法，可捕獲圖像流，并且在圖像捕獲過程中收集相應(yīng)的情感信息流。將情感信息流與圖像流相關(guān)聯(lián)。
在本發(fā)明的再一個方面中，提供了一種用于確定情感信息的方法。依照這種方法，可獲得情感信號，以獲得人的面部特征和生理特征。分析面部特征并分析生理特征。根據(jù)對人的面部和生理特征的分析確定人的情感狀態(tài)。
在本發(fā)明的另一個方面中，提供了一種成像系統(tǒng)。該成像系統(tǒng)具有用于捕獲用戶選定的圖像的圖像捕獲系統(tǒng)。存儲器存儲該圖像。一組傳感器用于在捕獲圖像時捕獲來自用戶的情感信號。處理器用于將情感信息與所捕獲的圖像相關(guān)聯(lián)。


圖1a示出了本發(fā)明圖像捕獲系統(tǒng)的手持式實施例；圖1b示出了本發(fā)明圖像捕獲系統(tǒng)的穿戴式實施例；圖1c示出了另一種用于在捕獲時形成與場景相關(guān)聯(lián)的情感信息的穿戴式圖像捕獲系統(tǒng)；圖2a和2b包括示出了本發(fā)明一個實施例的流程圖，其中，根據(jù)對面部表情的分析提供情感信息；圖3a和3b包括示出了本發(fā)明一個實施例的流程圖，其中，根據(jù)對面部表情的分析提供情感信息；圖4a和4b包括示出了實施例方法的流程圖，其中，根據(jù)對凝視時間的分析提供情感信息；圖5a和5b包括示出了一種方法的流程圖，其中，根據(jù)對皮膚導(dǎo)電率的分析提供情感信息；圖6a和6b包括示出了一種方法實施例的流程圖，其中，根據(jù)對面部特征和生理特征的結(jié)合分析提供情感信息；圖7a和7b包括示出了一種方法的另一實施例的流程圖，它用于根據(jù)對面部特征和生理特征的結(jié)合分析提供情感信息。
具體實施例方式
本發(fā)明提供了一種用于在用戶觀看場景時收集情感信息并將該信息及其解釋與所捕獲的特定場景的圖像相關(guān)聯(lián)的方法。對情感信息的解釋可以提供用戶喜好的幾種分級(例如用戶喜歡該場景的程度)。還可以提供場景對用戶相對重要程度。此外，可根據(jù)場景激起的具體的情感(例如歡樂、悲傷、恐懼、憤怒等)來對情感信息進(jìn)行解釋。
場景被定義為觀察者所看到的某種事物。它可以是活動或事件發(fā)生的地點、觀看者看到的一群人和/或物體、一系列活動和事件、風(fēng)景或風(fēng)景的一部分等等。圖像捕獲設(shè)備所記錄或顯示的場景稱為場景圖像。圖像捕獲設(shè)備的實例包括數(shù)字靜態(tài)攝相機、手持式攝影機、穿戴式攝影機、將諸如靜態(tài)或動態(tài)圖像之類的圖像記錄到膠片上的通常的攝影機、模擬攝影機等等。用戶可以通過攝影機的取景器或在用作取景器的攝影機預(yù)覽屏幕上直接觀察到場景。
正如這里所使用的那樣，術(shù)語圖像包括但不限于靜態(tài)圖像、動態(tài)圖像、諸如立體圖像或其它景深圖像之類的多視點圖像以及其它形式的深度靜態(tài)和動態(tài)圖像。
人們可以為多種目的和應(yīng)用捕獲不同場景的圖像。捕獲可記憶的事件是普通人、專業(yè)攝影師或記者共同具有的活動。這些事件對個人或群體是有意義的或在情感上是重要的。這類事件的圖像能吸引特別的注意、引發(fā)記憶和激發(fā)情感，或者，概括地說，他們能產(chǎn)生心理反應(yīng)。這些心理反應(yīng)伴隨有生理和/或行為的變化。
代表用戶對特定場景或場景圖像的心理、生理和行為反應(yīng)的信息在本文中稱為情感信息。情感信息包括原始的生理和行為信號(例如皮膚導(dǎo)電反應(yīng)、心率、面部表情等)及其生理解釋(例如喜歡、不喜歡等)和與情感分類(例如恐懼、氣憤、歡樂等)的聯(lián)系。用戶的生理反應(yīng)變化時，情感信息就會變化。例如，在用戶突然看到危險的事故、令人吃驚的活動或美麗的場景時就會發(fā)生這種情況。
情感標(biāo)記被定義為確定情感信息并存儲與特定場景圖像有關(guān)的情感信息的過程。在連同用戶標(biāo)識數(shù)據(jù)存儲情感信息時，在本文中稱為“個人情感信息”。用戶標(biāo)識數(shù)據(jù)可以是與用戶唯一相關(guān)的任何類型的信息。用戶標(biāo)識數(shù)據(jù)可以是諸如全局唯一ID(GUID)、用戶號碼、社會保險號等之類的個人標(biāo)識代碼。用戶標(biāo)識還可以是完整的合法名字、綽號、計算機用戶名等。用戶標(biāo)識數(shù)據(jù)還可以包括諸如面部圖像或描述、指紋圖像或描述、視網(wǎng)膜掃描圖等信息。用戶標(biāo)識數(shù)據(jù)還可以是因特網(wǎng)地址、蜂窩電話號或其它標(biāo)識。
在連同相應(yīng)圖像存儲個人情感信息時，稱為“個人情感標(biāo)記”。情感信息和用戶標(biāo)識是圖像“元數(shù)據(jù)”的類型，“元數(shù)據(jù)”是用于與圖像相關(guān)的任何信息的術(shù)語?？梢园ㄔ趥€人情感信息中的其它圖像元數(shù)據(jù)的實例包括來自場景圖像的信息以及諸如圖像捕獲時間、捕獲設(shè)備、捕獲地點、捕獲日期、圖像捕獲參數(shù)、圖像編輯歷史等之類的非圖像捕獲數(shù)據(jù)，而所說的個人情感信息將存儲在情感標(biāo)記內(nèi)。
可通過將個人情感信息存儲在圖像文檔內(nèi)例如使用Exif圖像文檔中的帶標(biāo)記的圖像文檔格式IFD而將個人情感信息與數(shù)字圖像相關(guān)聯(lián)起來。另外，情感信息可根據(jù)JPEG標(biāo)準(zhǔn)格式IS010918-1(ITU-T.81)存儲在包含第一圖像(或第二圖像)的聯(lián)合圖像專家組(JPEG)文檔的一個或多個應(yīng)用段內(nèi)。這就使得單個的工業(yè)標(biāo)準(zhǔn)圖像文檔能包含存儲為正常JPEG圖像的按JPEG壓縮的第一圖像以及按專用形式存儲的用通常的JPEG閱讀器所忽略的情感信息。在另一個實施例中，個人情感信息可存儲在獨立于圖像的數(shù)據(jù)庫內(nèi)。這種信息還可以連同保密和存取許可信息一道存儲，以便防止對信息的非法訪問。
當(dāng)用戶用圖像捕獲設(shè)備觀看特定的場景或場景圖像時，可手工或自動地進(jìn)行情感標(biāo)記。就手工情感標(biāo)記而言，用戶可用手工控制器來輸入情感信息，所述控制器可例如包括攝影機控制鈕、觸摸屏或聲音識別接口，以提供他/她對場景的反應(yīng)。例如，在吃驚的情況下，用戶可“單擊”表示“吃驚”反應(yīng)的攝影機按鈕或僅說出諸如“哇！”之類的關(guān)鍵詞。
就自動情感標(biāo)記而言，圖像捕獲設(shè)備可使用下列將在以下加以解釋的情感信號之一或它們的組合以收集情感信息眼睛運動特征(例如眼睛凝視的持續(xù)時間、瞳孔大小、眨眼頻率、凝視方向、眼球加速度、從眼睛運動模式中抽出的特征和參數(shù)、它們的復(fù)雜性等等)；生物計量或生理反應(yīng)(例如皮膚電流反應(yīng)(GSR)、手的溫度、心率、肌電圖(EMG)、呼息模式、腦電圖(EEG)、腦成像信號等)；面部表情(例如，微笑、皺眉等)；聲音特征(例如，音量、速率、音調(diào)等)；包括面部運動的身體姿勢(例如，捏鼻梁、在耳朵周圍摩擦等)。
依照下述本發(fā)明的一個實施例，根據(jù)面部表情、眼睛凝視的持續(xù)時間、皮膚電流反應(yīng)自動地確定情感信息。還可以使用其它組合。
參照圖1a-1c，說明了本發(fā)明的圖像捕獲系統(tǒng)的三個示例性實施例。圖1a所述的系統(tǒng)是特定用戶2手中的手持式圖像捕獲設(shè)備6，該用戶直接或通過取景器24或在預(yù)覽屏22上觀看場景4。應(yīng)該認(rèn)識到，數(shù)字靜態(tài)攝相機、手持式數(shù)字?jǐn)z影機、穿戴式攝影機等可以看作是圖像捕獲設(shè)備6。圖像捕獲設(shè)備6的穿戴式實施例的實例如圖1b和圖1c所示。
圖像捕獲設(shè)備6包括捕獲模塊8以捕獲場景4的圖像。捕獲模塊8包括取像透鏡(未示出)、圖像傳感器(未示出)以及A/D轉(zhuǎn)換器(未示出)。捕獲模塊還可包括話筒(未示出)、音頻放大器(未示出)以及音頻A/D轉(zhuǎn)換器(未示出)。捕獲模塊8提供數(shù)字靜態(tài)或動態(tài)圖像信號和相關(guān)的數(shù)字音頻信號。圖像捕獲設(shè)備6還包括中央處理單元(CPU)14以及數(shù)字存儲設(shè)備12，該設(shè)備能存儲諸如捕獲模塊8提供的數(shù)字靜態(tài)或動態(tài)運動圖像之類的高分辨率圖像文檔以及相關(guān)的元數(shù)據(jù)。數(shù)字存儲設(shè)備12可以是微型磁性硬驅(qū)動器、閃存式EPROM存儲器或其它類型的數(shù)字存儲器。
圖像捕獲設(shè)備6被示出配備有諸如無線調(diào)制解調(diào)器或利用因特網(wǎng)服務(wù)提供商20等通信服務(wù)商交換包括數(shù)字靜態(tài)和視頻圖像在內(nèi)的數(shù)據(jù)的其它通信接口之類的通信模塊18。通信模塊18可以使用有標(biāo)準(zhǔn)無線頻率的無線通信系統(tǒng)例如公知的藍(lán)牙系統(tǒng)或IEEE標(biāo)準(zhǔn)802.15系統(tǒng)、數(shù)字尋呼系統(tǒng)、通常的蜂窩電話系統(tǒng)或其它無線系統(tǒng)。另外，通信模塊18可用紅外線、激光或其它光學(xué)通信方案與其它設(shè)備交換信息。在另一個實施例中，圖像捕獲設(shè)備6可具有這樣的通信模塊18，它用來使用諸如通用串行總線纜、IEEE標(biāo)準(zhǔn)1394線纜、電線等其它電學(xué)數(shù)據(jù)通路、波導(dǎo)或光學(xué)數(shù)據(jù)通路之類的數(shù)據(jù)交換硬件，以便在圖像捕獲設(shè)備6與其它設(shè)備之間交換包括數(shù)字圖像和情感信息在內(nèi)的信息。
為了提供情感信息，圖像捕獲設(shè)備6包括手動控制器13和一組傳感器15，它們可檢測到用戶的生理信號。用戶2可以用控制器13來輸入情感信息，控制器13可例如包括手工控制按鈕、觸摸屏或聲音或姿勢識別接口。
情感信息也可用一組傳感器15來收集。例如，在圖1a所示的實施例中，這組傳感器15包括皮膚電流反應(yīng)傳感器16，它們安裝在圖像捕獲設(shè)備6的表面上。在穿戴式實施例中，成組傳感器15中的任何一個都可如圖1b所示安裝在任何位置，在該位置處，皮膚電流反應(yīng)傳感器16位于通常的用于支承鏡片的側(cè)部29上。成組傳感器15還可包括脈管傳感器17，它以有用的方式包括在側(cè)部29的接近用戶頭部的太陽穴的動脈的那部分上，以便于測定溫度和/或心率讀數(shù)。成組傳感器15還可包括如圖1b所示的位于耳朵附近的振動傳感器19，并且可用于在耳朵附近或通過與耳朵的接觸檢測聽得見的振動。振動傳感器19可用于檢測發(fā)自用戶的聲音以及發(fā)自其它聲源的聲音。成組傳感器15的任何一個都可按其它有用的結(jié)構(gòu)來定位。成組傳感器15的任何一個都可以是小型化的，因此，它們的存在不會改變圖像捕獲設(shè)備6的可穿戴式實施例的外觀。例如，如圖1c的實施例所示，用于檢測皮膚電流反應(yīng)的傳感器16是安裝在通常鏡框28的鼻梁架26上可穿戴式圖像捕獲設(shè)備6的一部分。
在其它實施例中，成組傳感器15可包括神經(jīng)系統(tǒng)傳感器以及用于監(jiān)視來自神經(jīng)細(xì)胞的電學(xué)活動以便與環(huán)境互動的其它設(shè)備。這些傳感器15的實例包括美國喬治亞州亞特蘭大的Neural Signal Inc公司出售的腦通信器和肌肉通信器。這些設(shè)備分別監(jiān)視神經(jīng)細(xì)胞的電信號以及某些神經(jīng)發(fā)射的信號，以便檢測例如使普通人極端運動的信號。這些信號可傳給計算機，在計算機中，軟件將這些信號解碼成有用的信息。應(yīng)該注意，這種技術(shù)可用于檢測情感信息以及在確定情感信息時有用的其它信息。例如，可以監(jiān)視沿著承載有來自耳朵的聲音信息的神經(jīng)的神經(jīng)活動，并用該活動來確定這樣的音頻信息，該音頻信息反映了觀察者在事件中實際所聽見的內(nèi)容。
圖像捕獲設(shè)備6還包括用戶攝影機10，它用于記錄用戶2的眼睛運動、瞳孔大小和面部表情的視頻圖像。用戶攝影機10可包括例如通常的電荷耦合器成像器、互補金屬氧化物成像器或電荷注入器。還可以使用其它成像技術(shù)。用戶攝影機10所捕獲的圖像可包括用于構(gòu)成用戶圖像或用戶面部某種特征的視頻圖像。用戶攝影機10所捕獲的圖像還可包括能從中獲取情感信息的其它形式的視頻圖像。例如，表示眼睛位置和瞳孔大小的圖像無需構(gòu)成用戶眼睛的整個數(shù)字圖像。相反，可使用具有低分辨率或非線性成像模式的其它形式的圖像，以便減少成本或簡化成像結(jié)構(gòu)。
用戶攝影機10所捕獲的視頻圖像在由CPU14處理之前存儲在數(shù)字存儲設(shè)備12上。用戶攝影機10可例如包括紅外敏感的攝影機。在這一實施例中，一組紅外發(fā)光二極管(紅外LED)向用戶瞳孔發(fā)射紅外光。用戶攝影機10檢測用戶眼睛發(fā)射的紅外信號。根據(jù)用戶的面部圖像來跟蹤瞳孔。有用的用戶攝影機10的一個實例是由美國紐約Armonk的國際商用機器公司開發(fā)的藍(lán)眼(Blue Eyes)攝像系統(tǒng)。用戶攝影機10的另一個有用的實例是美國維吉尼亞卅Fairfax的LC技術(shù)公司出售的Eyegaze系統(tǒng)。也可以使用由美國麻薩諸塞州波士頓的應(yīng)用科學(xué)實驗室出售的遠(yuǎn)程跟蹤的眼睛跟蹤攝影機ASL 504型。在共同授與的US專利申請第10/303978中詳細(xì)地示出并說明了用戶攝影機的其它有用實施例，該申請題為“帶眼睛監(jiān)控的攝影機系統(tǒng)”，由Miller等人于2002年11月25日提交。
用戶攝影機10可連接到或位于如圖1a所示的手持式圖像捕獲設(shè)備6的內(nèi)部、在諸如圖1b所示穿戴式圖像捕獲設(shè)備6之類的頭部上安裝的鏡框28上、或者如圖1c所示的穿戴式圖像捕獲設(shè)備6的遠(yuǎn)程框上。在圖1c的情況下，用戶攝影機10特別適于捕獲用戶的多種面部特征，包括瞳孔大小、眼睛和眉毛的運動。在圖1b所述的情況中，用戶攝影機10能最佳地捕獲眼睛運動和其它眼睛特征。用戶攝影機10還可與圖像捕獲設(shè)備6相分離，在這種實施例中，用戶攝影機10可包括能捕獲圖像捕獲設(shè)備6的用戶的圖像的任何圖像捕獲設(shè)備并能將圖像傳給圖像捕獲設(shè)備。可用任何公知的無線通信系統(tǒng)以無線方式從遠(yuǎn)程用戶攝影機10傳送圖像。
可用諸如例如1999年TENCON的IEEE會議錄第72至75頁刊載的ko等人的題為“用于眼睛頭部控制的人機接口的面部特征跟蹤”的文章中所述的多種算法來進(jìn)行特征跟蹤。這種能進(jìn)行實時面部特征跟蹤的算法可以用它從所處理的面部圖像中辨別出的候選塊來畫出完整的圖，然后計算每一對塊的相似度測定值。作為具有最大相似度的塊來確定眼睛的位置。根據(jù)眼睛的位置確定嘴、唇角和鼻孔的位置。跟蹤這些已定位了的特征。
在例如發(fā)表于Vision Research第41卷3587至3596頁 中Pelz等人的題為“復(fù)雜任務(wù)中眼球運動行為和知覺策略”的文章中可以找到這樣的可穿戴式圖像捕獲設(shè)備6，它具有用來記錄眼睛運動的的用戶攝影機10。上述文章說明了呈頭盔/護(hù)目鏡形式的可穿戴式輕重量的眼睛跟蹤器，它包括含有紅外發(fā)射器的模塊；小型的眼睛攝影機；以及，用于使攝影機與發(fā)射的光束相共軸的光束分裂器。反射能使瞳孔發(fā)光以形成明亮的瞳孔圖像。外部的鏡子使光路朝護(hù)目鏡的前部折射，在那里，熱反射鏡使IR射向眼睛并將眼睛圖像反射回眼睛攝影機。第二小型攝影機安裝在護(hù)目鏡上，以便捕獲來自用戶視角的場景圖像。
在圖1b和圖1c中，示出了用戶攝影機10包括兩個部件，它們能捕獲雙眼的眼睛特征。但是，應(yīng)該注意，用戶攝影機10可用能捕獲用戶雙眼或僅一只眼睛的眼睛特征的一個部件來表示。
圖像捕獲設(shè)備6配備有CPU14所使用的適當(dāng)?shù)能浖?，它用于?chuàng)建和使用個性化的情感信息。這一軟件一般存儲在數(shù)字存儲設(shè)備12上并且能用通信模塊18來上載或更新。此外，使CPU14就可從捕獲模塊8所提供的場景圖像中抽出的非情感信息進(jìn)行圖像處理和分析的軟件程序也存儲在數(shù)字存儲設(shè)備12上。再有，數(shù)字存儲設(shè)備12還可存儲有與個人用戶概要文件有關(guān)的信息，個人用戶概要文件可以是專用的數(shù)據(jù)庫，它包括諸如與典型反應(yīng)模式有關(guān)的定量信息之類的概括用戶反應(yīng)特征的信息；以及，能使CPU14訪問上述專用數(shù)據(jù)庫的軟件程序。上述個人用戶概要文件可在創(chuàng)建和使用個性化情感信息時由CPU14來查詢。個人用戶概要文件由就用戶2的反應(yīng)而學(xué)到的新信息來加以更新。
應(yīng)該認(rèn)識到，上述圖像捕獲設(shè)備6的所有部分和組件均可實現(xiàn)為圖像捕獲設(shè)備6的成整體的部分或者實現(xiàn)為用導(dǎo)線相連或以無線方式相連的在物理上是獨立的部分。
以下說明使圖像捕獲設(shè)備6根據(jù)對諸如從面部表情中抽出的喜愛程度或情感類別以及從面部表情中抽出的特殊程度之類的面部特征的分析來確定情感信息的方法的多種實施例。其它的實施例示出了用于根據(jù)諸如從瞳孔大小和眼睛運動中抽出的感興趣程度或從皮膚電流反應(yīng)中抽出的興奮程度之類的生理信息確定情感信息的方法。另外的實施例示出了用面部分分析和生理信息的組合來獲得情感信息的方法。
參照圖2a和2b，示出了這樣的流程圖，它說明了本發(fā)明用于根據(jù)特定用戶對特定場景圖像的子集的喜愛程度提供情感信息的方法的實施例。在這一實施例中，根據(jù)特定用戶的面部表情來確定情感信息。
用戶2首先啟動圖像捕獲設(shè)備6(步驟110)。在一個最佳實施例中，實現(xiàn)本發(fā)明方法的軟件應(yīng)用程序業(yè)己安裝在圖像捕獲設(shè)備6上并且自動地啟動(步驟112)。另外，用戶可利用圖像捕獲設(shè)備6上的適當(dāng)控制鈕(未示出)來手工地啟動所述應(yīng)用程序。
用戶2輸入諸如用戶ID和口令之類的標(biāo)識數(shù)據(jù)(步驟114)。在另一個實施例中，用戶攝影機10與面部識別軟件一道使用，以便自動地確定用戶2的身份并提供諸如用戶名、個人識別碼或其它標(biāo)識之類的適當(dāng)?shù)挠脩魳?biāo)識。在又一個實施例中，用戶標(biāo)識數(shù)據(jù)可用例如通信模塊18從對設(shè)備6為外部數(shù)據(jù)源例如射頻轉(zhuǎn)發(fā)器中獲得。在再一個實施例中，圖像捕獲設(shè)備6是利用用戶標(biāo)識數(shù)據(jù)進(jìn)行了預(yù)編程的，因此不需要步驟114。
圖像捕獲設(shè)備6可選擇地提供信號選擇，所述信號可以記錄下來，以便在用戶觀看場景時確定用戶的情感反應(yīng)(步驟116)。用戶選擇預(yù)定的信號，即在這種情況下是面部表情(步驟118)。在另一個實施例中，圖像捕獲設(shè)備6預(yù)編程成使用一個或多個情感信號，從而不需要步驟116和118。
然后用戶2可引導(dǎo)成像設(shè)備以便對要捕獲的場景構(gòu)圖。捕獲模塊8捕獲場景的第一圖像(步驟120)，同時，用戶攝影機10捕獲用戶2的第一面部圖像(步驟130)。
圖像捕獲設(shè)備6暫時將場景圖像(步驟122)和面部圖像(步驟132)存儲起來并且自動地分析用戶2的面部表情(步驟134)。面部表情可用諸如載于1995年麻州劍橋出版的ICCV95會議錄Essa等人的題為“用動態(tài)模型和運動能量進(jìn)行面部表情識別”的文章中的算法之類的用于面部表情識別的公知算法來加以分析。這種算法是以與各種表情相關(guān)的面部肌肉活動的概率分布的知識以及皮膚和肌肉的詳細(xì)物理模型為基礎(chǔ)的。這種物理模型用于通過比較來自視頻信號的經(jīng)估算的肌肉活動與從情感表示的視頻數(shù)據(jù)庫中獲得的典型肌肉活動而識別面部表情。
面部表情還可以用其它公知的算法來分析?？梢栽谳d于Roboticsand AutonomouS System2000年第31卷第131至146頁的J.J.Lien等人的“面部表情中活動單元的方向、跟蹤與分類”中找到這種算法的一個實例。在載于Psychophsiology第36卷第253至263頁 的Bartlett等人的題為“用計算機圖像分析來測定面部表情”的文章中找到相似的算法。這些算法是以識別特定面部活動—基本的肌肉運動—為基礎(chǔ)的，載于加州Palo Alto的Consulting PsychologistsPress公司出版的Ekman等人 的題為“面部活動編碼系統(tǒng)”一文中說明了這些特定面部活動。在“面部活動編碼系統(tǒng)(FACS)中，將基本的面部活動結(jié)合起來表示任何的面部表情。例如，自發(fā)的微笑可用兩種基本面部活動來表示1)稱為大顴肌的肌肉使嘴角上升；以及，2)稱為眼輪匝肌的肌肉使眼睛起皺。所以，當(dāng)在視頻信號中檢測到上升的嘴角和起皺的眼睛時，就意味著人正在微笑。作為面部表情分析的結(jié)果，可在檢測到用戶面部微笑時將用戶的臉識別為微笑或在未檢測到微笑時將用戶的臉識別為未微笑。
圖像捕獲設(shè)備6確定微笑的大小(步驟136)。如果未檢測到微笑，則微笑的大小等于0。如果對給定的圖像已經(jīng)檢測到微笑，則按特定圖像開始之后頭三秒中嘴角之間最大距離除以人眼間距離來確定圖像的微笑大小。
用上述面部識別算法來確定用戶2的眼睛之間的距離?？紤]嘴的大小與有關(guān)用戶2的頭的測量值之間的比率(例如眼睛之間的距離)的必要性源于這樣的原因即從面部圖像中抽出的嘴的大小取決于用戶2到用戶視頻攝影機10的距離、頭的位置等等。用戶2的眼睛之間的距離用于考慮這種依賴性，但是，也可以使用諸如臉的高度或?qū)挾?、臉的面積之類的其它測量值。
圖像捕獲設(shè)備6確定喜好程度(步驟138)。如果未檢測到微笑，則微笑大小和喜好程度為0。如果確實檢測到微笑，則絕對喜好程度對應(yīng)于微笑大小。將相對喜好程度定義為微笑大小除以與用戶2的個人用戶概要文件相關(guān)的平均微笑大小。對個人用戶概要文件中的平均微笑大小數(shù)據(jù)可持續(xù)地更新并存儲在數(shù)字存儲設(shè)備12上。然后，可用微笑大小數(shù)據(jù)來更新與平均微笑大小有關(guān)的個人用戶概要文件(步驟139)。
將所獲得的喜好程度與用戶2形成的閾值作比較(步驟140)，如果所獲得的喜好程度在閾值之上，則圖像捕獲設(shè)備6就創(chuàng)建一個為相應(yīng)圖像的個人情感標(biāo)記，它指示對該捕獲的特定圖像的喜好(步驟144)。在另一個實施例中，還可根據(jù)個人用戶概要文件例如根據(jù)先前累積的用戶喜好程度分布的概率自動地建立用于喜好程度的閾值。在一個實施例中，這種概率可以等于0.5，因此，用于喜好程度的閾值會對應(yīng)于在至少50％的場合下出現(xiàn)的值。在另一個實施例中，個人情感標(biāo)記可包括從一系列喜好值中選出的值，從而能區(qū)分出捕獲到的多種圖像之間的相對喜好程度。
圖像捕獲設(shè)備6將相應(yīng)的圖像和指示喜好程度的個人情感標(biāo)記作為圖像元數(shù)據(jù)的一部分存儲在包含有場景圖像的圖像文件中(步驟146)。另外，指示喜好程度的個人情感標(biāo)記可以連同用戶標(biāo)識數(shù)據(jù)和圖像標(biāo)識存儲在獨立的文件中。在這樣做時，數(shù)據(jù)存儲在指示文件位置的圖像元數(shù)據(jù)內(nèi)。此外，與用戶2觀看某一圖像的日期(即在捕獲當(dāng)時)有關(guān)的信息也可以作為一個單獨的條目記錄進(jìn)個人情感標(biāo)記。
在又一個實施例中，原始面部圖像作為情感信息連同圖像標(biāo)識和用戶標(biāo)識存儲在圖像捕獲設(shè)備6上單獨的文件內(nèi)或者作為圖像元數(shù)據(jù)的一部分存儲在個人情感標(biāo)記中，并且，在以后可選擇用獨立的系統(tǒng)進(jìn)行分析。例如，可用通信模塊18(見圖1)和因特網(wǎng)服務(wù)提供商20將場景圖像和原始面部圖像傳送給獨立的桌面計算機(未示出)或計算機服務(wù)器(未示出)，它們可執(zhí)行上述與步驟134-138有關(guān)的分析。
用通信模塊18將相關(guān)的圖像、個人情感標(biāo)記和任何其它的圖像元數(shù)據(jù)發(fā)送給數(shù)字圖像的個人數(shù)據(jù)庫(步驟148)?？衫缬锚毩⒌淖烂嬗嬎銠C(未示出)或計算機服務(wù)器(未示出)來存儲這種個人圖像數(shù)據(jù)庫。
在所示的實施例中，如果所獲得的喜好程度在閾值之下，則刪除用戶的面部圖像(步驟142)。在另一個實施例中，如果所獲得的喜好程度在閾值之下并且如果用戶2仍然在觀看同一場景或諸如例如預(yù)覽屏幕22上的捕獲的場景圖像，則圖像捕獲設(shè)備6可選擇捕獲下一個面部圖像并重復(fù)步驟132至140，以便確定在用戶2觀看同一場景或捕獲的場景圖像時用戶2是否改變了其面部表情。
如果閾值被設(shè)為0，則將如上所述那樣將圖像捕獲設(shè)備6記錄的所有場景圖像和相應(yīng)的情感信息(喜好程度或在另一實施例中是原始面部圖像)存儲起來。
如果用戶保持電源開(步驟124)，則重復(fù)捕獲下一場景圖像的過程(步驟120-124)，同時重復(fù)確定和存儲所捕獲的圖像(步驟130-146)的個人情感標(biāo)記(步驟126)。
只要用戶保持圖像捕獲設(shè)備6的電源開，圖像捕獲設(shè)備6就繼續(xù)用捕獲模塊8記錄場景4的圖像并用用戶攝影機10記錄用戶2的面部圖像。如果關(guān)閉電源，圖像捕獲設(shè)備6就停止記錄場景圖像和面部圖像并且還結(jié)束情感標(biāo)記過程(步驟128)。
可在數(shù)字成像系統(tǒng)中用喜好程度來按系統(tǒng)和連續(xù)的方式將圖像歸類成特定用戶喜愛的圖像，如Matraszek等人于2001年12月26日提交的題為“數(shù)字成像系統(tǒng)中創(chuàng)建和使用情感信息的方法”的共同授與的US專利申請第10/036113號和Matraszek等人于2001年12月26日提交的題為“用連同數(shù)字圖像記錄的情感信息生成相冊頁的方法”的US專利申請書第10/036123號所述。
在另一個實施例中，可以確定對場景圖像的二元喜好程度。當(dāng)在步驟136中檢測到微笑時，將相應(yīng)的圖像分類成喜歡的，二元喜好程度等于1。另外，在未檢測到微笑時，將圖像分類成不喜歡的，二元喜好程度等于0。
然后，將根據(jù)二元喜好程度確定的情感信息存儲成個人情感標(biāo)記，它包括作為圖像元數(shù)據(jù)一部分的用戶標(biāo)識。還可以將上述情感信息連同圖像標(biāo)識和用戶標(biāo)識數(shù)據(jù)存儲在數(shù)字存儲設(shè)備12上的單獨文件內(nèi)。此外，根據(jù)用戶面部表情的實際圖像的情感信息還可連同圖像標(biāo)識和用戶標(biāo)識存儲在單獨的文件內(nèi)。
在另一個實施例中，僅在情感信息超過諸如用于相對微笑大小之類的閾值時，才由圖像捕獲設(shè)備6將所捕獲的圖像傳給因特網(wǎng)提供商20。因此，僅將超過喜好閾值的圖像存儲在用戶的個人圖像數(shù)據(jù)庫內(nèi)。在這一實施例中，元數(shù)據(jù)存儲在指示這類文件滿足喜好閾值的圖像文件中。
參照圖3a和3b，示出了一流程圖，它說明了本發(fā)明用于在圖像捕獲過程中提供能標(biāo)明用戶反應(yīng)的情感類別的情感信息的另一個實施例。在這一實施例中，根據(jù)對用戶面部表情的分析來獲得情感信息。
在又一個實施例中，可以確定場景圖像的情感類別?？蓪⒚娌勘砬榉殖奢^廣范圍的情感類別，諸如“高興”、“悲傷”、“厭惡”、“吃驚”等。作為面部識別的結(jié)果，激發(fā)“高興”面部表情的場景被分配至“高興”情感類別，激發(fā)“悲傷”面部表情的場景被分配至“悲傷”情感類別，等等?？捎靡幌盗杏糜谶@些類別的值諸如很高興、略微高興、中性和略微悲傷及很悲傷等對場景圖像進(jìn)行分類。
然后，將根據(jù)情感類別所確定的情感信息存儲為個人情感標(biāo)記，它包括作為圖像元數(shù)據(jù)一部分的用戶標(biāo)識。還可以將上述情感信息連同圖像標(biāo)識和用戶標(biāo)識存儲在數(shù)字存儲設(shè)備12上的單獨文件內(nèi)。
可將面部表情分成較廣范圍的情感類別，諸如“高興”、“悲傷”、“厭惡”、“吃驚”等。在2002年Journal of Cognitive Neuroscience中發(fā)表的Dailey等人的題為“EMPATII對面部表情進(jìn)行分類的神經(jīng)網(wǎng)絡(luò)”一文中說明了對面部表情進(jìn)行分類的公開算法。該算法根據(jù)開發(fā)前饋神經(jīng)網(wǎng)絡(luò)將面部表情分成六個基本情感類別“高興”、“悲傷”、“害怕”、“生氣”、“厭惡”和“吃驚”，所述神經(jīng)網(wǎng)絡(luò)包括三層神經(jīng)元，它們執(zhí)行三個層次的處理知覺分析、對象表示以及分類。在這一模型中，第一層模擬一組具有與視覺皮層中復(fù)雜細(xì)胞相類似性質(zhì)的神經(jīng)元。第二層中的單元從數(shù)據(jù)中抽取出規(guī)律。第三層的輸出被分進(jìn)六個基本情感。因此，可用六個數(shù)來對各面部表情進(jìn)行編碼，每一個數(shù)為一種情感。與不同情感相對應(yīng)的數(shù)均為正的，且和為1，因此，可將它們解釋為概率。
下列方法可根據(jù)用戶的面部表情來確定情感類別并且進(jìn)一步提供用于這些類別的一系列的值，具體地說，圖3a和3b說明并示出了情感類別的“特殊”程度。與特定情感的模糊性或不確定性相反，一個情感類別的特殊性反映了該情感的的唯一性或“純潔性”。在普遍語言中，這種情感通常被稱為“混合的感覺”。
圖3的實施例的步驟150至172一般對應(yīng)于圖2的實施例的步驟110至132。
在這一實施例中，圖像捕獲設(shè)備6通過應(yīng)用Dailey等人所述的神經(jīng)網(wǎng)絡(luò)方法自動地分析用戶2的面部表情(步驟174)。結(jié)果，使用戶的面部表情與6個數(shù)相關(guān)聯(lián)，每個數(shù)用于一個基本情感。
通過按最大的數(shù)選擇情感類別可以確定一個情感類別(EC)(步驟176)。例如，如果所述的數(shù)分別是用于“高興”、“悲傷”、“害怕”、“生氣”、“厭惡”和“吃驚”的0.5、0.01、0.2、0.1、0.19和0，則所確定的情感類別是高興，因為，高興具有最大的相應(yīng)數(shù)0.5。因此，激發(fā)“高興”面部表情的場景被賦于了“高興”類別，激發(fā)“悲份”面部表情的場景被賦于了“悲份”類別等等。
當(dāng)幾個類別有相同的數(shù)時，可將一個類別隨機地選擇為面部表情。另外，在幾個類別具有相同的數(shù)時，可用其它情感或非情感信息來幫助選擇一個類別。
圖像捕獲設(shè)備6確定情感類別的獨特程度(步驟178)。根據(jù)在前一步驟176形成的6種情感的數(shù)字來計算獨特性程度(DDEC)，所述的數(shù)字為方便起見用N1、N2、N3、N4、N5和N6來表示。在本發(fā)明中用下式確定情感類別EC的獨特性程度DDEC=(N12+N22+N32+N42+N52+N62)]]>DDEC對應(yīng)于情感類別EC的絕對獨特性程度。將相對獨特性程度定義為情感類別EC的絕對獨特性程度除以特定用戶的相應(yīng)情感類別的用戶概要文件中形成的DDEC的平均值。用戶概要文件的平均DDEC數(shù)據(jù)可經(jīng)常地加以更新并作為用戶2的個人用戶概要文件的一部分存儲在數(shù)字存儲設(shè)備12上。就情感類別DDEC的平均獨特性程度查詢和更新個人用戶概要文件(步驟180)。
將所獲得的獨特性程度與用戶2建立或為用戶2建立的閾值作比較(步驟180)。如果所獲得的獨特性程度在閾值之上，則圖像捕獲設(shè)備6形成用于相應(yīng)圖像的個人情感標(biāo)記，它用這種捕獲的特定圖像的獨特性程度來表示一種情感類別(步驟184)。
在另一個實施例中，還可根據(jù)個人用戶概要文件例如根據(jù)與特定情感類別相對應(yīng)的先前累積的用戶獨特性程度分布的概率自動地建立用于獨特性程度的閾值。在一個實施例中，這種概率可以等于0.5，因此，用于獨特性程度的閾值會對應(yīng)于在至少50％的場合下出現(xiàn)的值。在另一個實施例中，個人情感標(biāo)記可包括從一系列獨特性值中選出的值，從而能區(qū)分出捕獲到的多種圖像之間的相對獨特性程度。
圖像捕獲設(shè)備6將相應(yīng)的圖像和用獨特性程度指示情感類別的個人情感標(biāo)記作為圖像元數(shù)據(jù)的一部分存儲在包含有場景圖像的圖像文件中(步驟186)。另外，用獨特性程度指示情感類別的個人情感標(biāo)記可以連同用戶標(biāo)識數(shù)據(jù)和圖像標(biāo)識存儲在獨立的文件中。此外，與用戶2觀看某一圖像的日期(即在捕獲當(dāng)時)有關(guān)的信息也可以作為一個單獨的條目記錄進(jìn)個人情感標(biāo)記。
在又一個實施例中，原始面部圖像作為情感信息連同圖像標(biāo)識和用戶標(biāo)識存儲在圖像捕獲設(shè)備6上單獨的文件內(nèi)或者作為圖像元數(shù)據(jù)的一部分存儲在個人情感標(biāo)記中，并且，在以后可選用獨立的系統(tǒng)進(jìn)行分析。例如，可用無線調(diào)制解調(diào)器18(見圖1)和因特網(wǎng)服務(wù)提供商20將場景圖像和原始面部圖像傳送給獨立的桌面計算機(未示出)或計算機服務(wù)器(未示出)，它們可執(zhí)行上述與步驟174-178有關(guān)的分析。
用通信模塊18將相關(guān)的圖像、個人情感標(biāo)記和其它的圖像元數(shù)據(jù)發(fā)送給因特網(wǎng)服務(wù)提供商20、數(shù)字圖像的個人數(shù)據(jù)庫(步驟188)?？衫缬锚毩⒌淖烂嬗嬎銠C(未示出)或計算機服務(wù)器(未示出)來存儲這種個人圖像數(shù)據(jù)庫。
在所示的實施例中，如果所獲得的獨特性程度在閾值之下，則刪除該用戶的面部圖像(步驟182)。如果所獲得的獨特性程度在閾值之下并且如果用戶2仍然在觀看諸如例如預(yù)覽屏幕22上的捕獲的場景圖像，則圖像捕獲設(shè)備6可有選擇地捕獲下一個面部圖像并重復(fù)步驟172至180，以便在用戶2觀看同一場景或預(yù)覽屏幕22上捕獲的場景圖像時確定用戶2是否改變了其面部表情。
如果閾值被設(shè)為0，則將圖像捕獲設(shè)備6記錄的所有場景圖像和相應(yīng)的情感信息(帶有獨特性程度的情感類別或在另一實施例中是原始面部圖像)作為情感信息連同圖像標(biāo)識數(shù)據(jù)和用戶標(biāo)識永久地存儲在圖像捕獲設(shè)備6上的獨立文件內(nèi)或作為圖像元數(shù)據(jù)的一部分永久存儲在個人情感標(biāo)記內(nèi)。
只要用戶2保持圖像捕獲設(shè)備6的電源開，圖像捕獲設(shè)備6就繼續(xù)用捕獲模塊8記錄場景4的圖像并用用戶攝影機10記錄用戶2的面部圖像。在步驟168中，如果關(guān)閉電源，圖像捕獲設(shè)備6就停止記錄場景圖像和面部圖像并且還結(jié)束情感標(biāo)記過程。
如果用戶2保持電源開(步驟124)，則重復(fù)捕獲下一場景圖像的過程(步驟160-166)，同時重復(fù)確定和存儲所捕獲的圖像(步驟170-186)的個人情感標(biāo)記。
可在數(shù)字成像系統(tǒng)中用情感類別及其獨特性程度來按系統(tǒng)和連續(xù)的方式將圖像歸類成特定用戶的情感顯著或喜愛的圖像，如Matraszek等人于2001年12月26日提交的題為“數(shù)字成像系統(tǒng)中創(chuàng)建和使用情感信息的方法”的共同授與的US專利申請第10/036113號和Matraszek等人于2001年12月26日提交的題為“用連同數(shù)字圖像記錄的情感信息生成相冊頁的方法”的US專利申請書第10/036123號所述。
在另一個實施例中，只有場景圖像的情感類別可以在沒有獨特性程度的情況下確定。當(dāng)檢測到情感類別時(步驟174)，則按特定的情感對相應(yīng)的圖像進(jìn)行分類。但是，如果兩個或多個情感類別具有在步驟176中的計算產(chǎn)生的相類似的數(shù)字，則可分配成中性類別。
將根據(jù)情感類別確定的情感信息存儲成個人情感標(biāo)記，它包括作為圖像元數(shù)據(jù)一部分的用戶標(biāo)識數(shù)據(jù)。還可以將上述情感信息連同圖像標(biāo)識和用戶標(biāo)識數(shù)據(jù)存儲在數(shù)字存儲設(shè)備12上的單獨文件內(nèi)。此外，根據(jù)用戶面部表情的實際圖像的情感信息還可連同圖像標(biāo)識和用戶標(biāo)識存儲在單獨的文件內(nèi)。
在上述實施例中，從用戶2的面部特征中抽出情感信息。圖4a和4b示出了說明本發(fā)明另一實施例的流程圖，其中，就感興趣程度根據(jù)生理特征即眼睛凝視信息來提供情感信息。就這一實施例而言，根據(jù)眼睛凝視時間來確定感興趣程度，所述眼睛凝視時間是用戶2的眼睛在凝視于不同位置之前凝視在場景的特定位置上的時間。
1993年載于Psychophysiology第30卷第261-273頁的Lang等人的題為“觀看圖片情感、面部、內(nèi)心深處和行為反應(yīng)”一文中所述的數(shù)據(jù)表明，平均而言，觀看時間以線性的方式與圖像導(dǎo)致觀察者的感興趣或注意程度相關(guān)。因此，這種關(guān)系可將凝視時間解釋為用戶對場景的一定區(qū)域感興趣的程度。上述Lang等人的文件僅就第三方場景圖像比較了觀看時間與感興趣程度。在本發(fā)明中，就場景及第一方場景圖像直接評價凝視時間信息，并將其作為圖像元數(shù)據(jù)的一部分存儲為個人情感標(biāo)記或連同用戶標(biāo)識和圖像標(biāo)識存儲在獨立文件內(nèi)。
在圖4a和4b的實施例中，步驟210-228的方法一般對應(yīng)于圖2中步驟110-128的方法，僅有一點不同在步驟218中，用戶選擇“凝視時間”信號。另外可選，圖像捕獲設(shè)備6可預(yù)編程能捕獲“凝視時間”信息。
在這一實施例中，當(dāng)用戶在圖像合成、捕獲和捕獲后立即瀏覽過程中觀看場景時(步驟230)，圖像捕獲設(shè)備6中的用戶攝影機10能在諸如30秒的時間窗之類的時間窗中捕獲眼睛圖像的樣本。在某些實施例中，時間窗可由用戶2來修改。
將用戶2的眼睛凝視方向的坐標(biāo)以諸如60Hz的取樣率之類的取樣率存儲起來。在某些實施例中，可由用戶2來修改取樣率。還可以根據(jù)諸如來自眼睛凝視的負(fù)荷率、場景內(nèi)容變化的時間率或可用于存儲情感數(shù)據(jù)的存儲量之類的其它因素來修改取樣率。
將原始凝視坐標(biāo)分成眼睛的凝視組(步驟234)。眼睛凝視通常被定義為至少50ms的時間，在這段時間里，凝視坐標(biāo)不會改變超過1度的視角。就每一凝視而言，均確定開始時間、結(jié)束時間和凝視坐標(biāo)。此外，可對每一次凝視均確定平均瞳孔直徑。根據(jù)起始時間和結(jié)束時間測定眼睛凝視的持續(xù)時間(步驟236)。
對每一次眼睛凝視來說，圖像捕獲設(shè)備6均確定感興趣程度(步驟238)。將絕對感興趣程度定義為相應(yīng)的凝視時間。對特定的用戶來說，將相對感興趣程度定義為凝視時間除以平均凝視時間。平均凝視時間可以不斷更新并存儲在數(shù)字存儲設(shè)備12中作為用戶2的個人用戶概要文件的一部分。就用戶2的平均凝視時間查詢和更新個人用戶概要文件(步驟239)。
將所獲得的感興趣程度與為用戶建立的閾值作比較(步驟240)。如果所獲得的感興趣程度在閾值之上，則圖像捕獲設(shè)備6形成感興趣程度的個人情感標(biāo)記(步驟244)。另外可選，可根據(jù)個人用戶概要文件例如根據(jù)先前累積的用于用戶2的用戶感興趣程度分布的概率自動地建立用于感興趣程度的閾值。這種概率之一可以等于0.5，因此，用于感興趣程度的閾值會對應(yīng)于在至少50％的場合下出現(xiàn)的值。
在一個實施例中，圖像捕獲設(shè)備6將相應(yīng)的圖像和感興趣程度作為圖像元數(shù)據(jù)的一部分存儲在個人情感標(biāo)記內(nèi)(步驟246)。另外可選，感興趣程度可以連同用戶標(biāo)識數(shù)據(jù)和圖像標(biāo)識存儲在獨立的文件中。在這樣做時，數(shù)據(jù)存儲在圖像元數(shù)據(jù)內(nèi)，該圖像元數(shù)據(jù)則指示帶有個人情感信息的文件的位置。此外，與用戶觀看某一圖像的日期有關(guān)的信息也可以作為一個單獨的條目記錄進(jìn)個人情感標(biāo)記。
在另一個實施例中，將場景圖像和原始眼睛圖像存儲起來?？稍谝院笸ㄟ^CPU14或接收所存儲的圖像的獨立設(shè)備(未示出)中的處理器來分析原始眼睛圖像。
將相應(yīng)的圖像、個人情感標(biāo)記和其它圖像元數(shù)據(jù)發(fā)送給數(shù)字圖像的個人數(shù)據(jù)庫，如先前就步驟148所述(步驟248)。
如果所獲得的感興趣程度在閾值之下，則刪除相應(yīng)的眼睛圖像(步驟242)。如果所獲得的感興趣程度在閾值之下并且用戶2仍然在觀看同一場景或諸如例如預(yù)覽屏幕22上的捕獲的場景圖像，則圖像捕獲設(shè)備6可選捕獲眼睛圖像的另一個片段并且在用戶2觀看同一場景或所捕獲的同一場景的圖像時重復(fù)步驟232至240。
如果閾值被設(shè)為0，則將圖像捕獲設(shè)備6記錄的所有場景圖像和相應(yīng)的情感信息(感興趣程度或在另一實施例中是原始眼睛圖像)作為情感信息連同圖像標(biāo)識數(shù)據(jù)和用戶標(biāo)識存儲在圖像捕獲設(shè)備6上的獨立文件內(nèi)或作為圖像元數(shù)據(jù)的一部分存儲在個人情感標(biāo)記內(nèi)。
只要用戶2保持圖像捕獲設(shè)備6的電源開，圖像捕獲設(shè)備6就繼續(xù)用捕獲模塊8記錄場景4的圖像并用用戶攝影機10記錄用戶2的面部圖像。在步驟168中，如果關(guān)閉電源，圖像捕獲設(shè)備6就停止記錄場景圖像和面部圖像并且還結(jié)束情感標(biāo)記過程。
如果用戶保持電源開，則重復(fù)捕獲下一場景圖像的過程(步驟220-226)，同時重復(fù)確定和存儲所捕獲的圖像(步驟230-246)的個人情感標(biāo)記。
如上所述，可在數(shù)字成像系統(tǒng)中用感興趣程度來按系統(tǒng)和連續(xù)的方式將圖像歸類成特定用戶的喜愛或高價值的圖像，如Matraszek等人于2001年12月26日提交的題為“數(shù)字成像系統(tǒng)中創(chuàng)建和使用情感信息的方法”的共同授與的US專利申請第10/036113號和Matraszek等人于2001年12月26日提交的題為“用連同數(shù)字圖像記錄的情感信息生成相冊頁的方法”的US專利申請第10/036123號所述。
在另一個實施例中，可用用戶攝影機10和中央處理器14獲得來自用戶眼睛圖像的其它信息。例如，這種信息的實例包括但不局限于眼球加速度、眼淚信息、眼睛溫度、虹膜形式、血管形式和血管大小?？捎眠@些信息確定用戶的身份、情感狀態(tài)和/或健康狀態(tài)?？蓪⑦@些信息作為情感標(biāo)記的一部分存儲起來。
情感信息的另一個來源源于用戶2所產(chǎn)生的生理信號。圖5說明了本發(fā)明的一個實施例，其中，根據(jù)生理信號來確定情感信息。在這一實施例中，生理信號是皮膚導(dǎo)電率，根據(jù)興奮程度來表示源于皮膚導(dǎo)電率的情感信息。
皮膚導(dǎo)電率的變化是皮膚導(dǎo)電反應(yīng)的測量值。皮膚導(dǎo)電率反映了皮膚導(dǎo)電率大小的變化，它被測量為對某一事件--觀看場景或場景圖像--的反應(yīng)。如1993年載于Psychophysiology第30卷第261-273頁的Lang等人的題為“觀看圖片情感、面部、內(nèi)心深處和行為反應(yīng)”一文所述，皮膚導(dǎo)電率的變化取決于圖像導(dǎo)致觀看者的振奮程度導(dǎo)電率越高，則振奮或興奮程度越低，反之，導(dǎo)電率越低，則振奮程度越高。還可用皮膚導(dǎo)電反應(yīng)幅度的測量值來確定感興趣或注意程度。
在這一實施例中，步驟310-328的方法一般對應(yīng)于圖2中步驟110-128的方法，僅有一點不同在步驟318中，用戶可手動地指示圖像捕獲設(shè)備6去捕獲至少作為情感信息一部分的皮膚導(dǎo)電反應(yīng)信息。另外可選，圖像捕獲設(shè)備6可預(yù)編程能捕獲皮膚導(dǎo)電反應(yīng)信息。圖像捕獲設(shè)備6用皮膚導(dǎo)電反應(yīng)傳感器16在諸如5秒的時間窗之類的時間窗中測量皮膚導(dǎo)電反應(yīng)信號(步驟330)。在某些實施例中，時間窗可由用戶2來修改。皮膚導(dǎo)電反應(yīng)傳感器16的一個實例例如是USA紐約W.Chazy的Thought Technology公司出售的ProComp檢測器系統(tǒng)中的SC-Flex/Pro傳感器。
用取樣率例如60Hz的取樣率將皮膚導(dǎo)電反應(yīng)皮膚導(dǎo)電率信號存儲起來(步驟332)。某些實施例中，可由用戶2來修改取樣率。還可以根據(jù)諸如場景內(nèi)容變化率、皮膚導(dǎo)電反應(yīng)的時間變化率或可用于存儲情感數(shù)據(jù)的存儲量來修改取樣率。對皮膚導(dǎo)電反應(yīng)導(dǎo)電率信號進(jìn)行過濾，以減少數(shù)據(jù)中的噪音(步驟334)。然后確定皮膚導(dǎo)電反應(yīng)導(dǎo)電率信號的振幅(步驟336)。
圖像捕獲設(shè)備6根據(jù)皮膚導(dǎo)電反應(yīng)信號確定興奮程度(步驟338)。對場景的絕對興奮程度等于經(jīng)過過濾的皮膚導(dǎo)電反應(yīng)皮膚導(dǎo)電率信號的振幅。將相對興奮程度定義為皮膚導(dǎo)電反應(yīng)信號的振幅除以特定用戶的平均皮膚導(dǎo)電反應(yīng)信號。對平均皮膚導(dǎo)電率可持續(xù)地更新并作為用戶心理生理概要文件存儲在數(shù)字存儲設(shè)備12上。為了計算相對興奮程度，從個人用戶概要文件中檢索出平均皮膚導(dǎo)電率反應(yīng)。就皮膚導(dǎo)電率反應(yīng)信息更新個人用戶概要文件(步驟339)。
將所獲得的興奮程度與為該用戶形成的閾值作比較(步驟340)，如果所獲得的興奮程度在閾值之上，則圖像捕獲設(shè)備6就創(chuàng)建一指示興奮程度的個人情感標(biāo)記(步驟344)。在另一個實施例中，還可根據(jù)個人用戶概要文件例如根據(jù)先前累積的用戶興奮程度分布的概率自動地建立用于興奮程度的閾值。這種概率之一可以等于0.5，因此，用于興奮程度的閾值會對應(yīng)于在至少50％的場合下出現(xiàn)的值。另外可選，個人情感標(biāo)記可包括從一系列興奮值中選出的值，從而能區(qū)分出捕獲到的多種圖像之間的相對興奮程度。
圖像捕獲設(shè)備6將相應(yīng)的圖像和個人情感標(biāo)記中的興奮程度作為圖像元數(shù)據(jù)的一部分存儲起來(步驟344和346)。另外可選，興奮程度可以連同用戶標(biāo)識數(shù)據(jù)和圖像標(biāo)識存儲在獨立的文件中。此外，與用戶觀看某一圖像的日期有關(guān)的信息也可以作為一個單獨的條目記錄進(jìn)個人情感標(biāo)記。
在又一個實施例中，原始皮膚導(dǎo)電反應(yīng)信號作為情感信息連同圖像標(biāo)識和用戶標(biāo)識數(shù)據(jù)存儲在圖像捕獲設(shè)備6上單獨的文件內(nèi)或者作為圖像元數(shù)據(jù)的一部分存儲在個人情感標(biāo)記中。
將相關(guān)的圖像、個人情感標(biāo)記和任何其它的圖像元數(shù)據(jù)發(fā)送給數(shù)字圖像的個人數(shù)據(jù)庫，如以上就步驟148所述那樣(步驟348)。
在步驟342中，如果所獲得的興奮程度在閾值之下，則刪除相應(yīng)的皮膚導(dǎo)電信號。如果所獲得的興奮程度在閾值之下并且用戶2仍然在觀看同一場景或諸如預(yù)覽屏幕22上的捕獲的場景圖像，則圖像捕獲設(shè)備6可選測量皮膚導(dǎo)電率信號的下一個片段5秒鐘并在用戶2觀看同一場景或捕獲的同一場景圖像時重復(fù)步驟332至340。
如果閾值被設(shè)為0，則將圖像捕獲設(shè)備6記錄的所有場景圖像和相應(yīng)的情感信息存儲起來。然后更新個人用戶概要文件(步驟339)。
如前所述，可在數(shù)字成像系統(tǒng)中用興奮程度來按系統(tǒng)和連續(xù)的方式將圖像歸類成特定用戶喜愛、重要或興奮的圖像，如Matraszek等人于2001年12月26日提交的題為“數(shù)字成像系統(tǒng)中創(chuàng)建和使用情感信息的方法”的共同授與的US專利申請第10/036113號和Matraszek等人于2001年12月26日提交的題為“用連同數(shù)字圖像記錄的情感信息生成相冊頁的方法”的US專利申請書第10/036123號所述。
應(yīng)該認(rèn)識到，各用戶2可能對圖像有不同的生理和面部表情。某些用戶可能會表現(xiàn)出強烈的生理反應(yīng)同時僅表現(xiàn)出有節(jié)制的面部表情。另一些用戶則可能會表現(xiàn)出適度的生理反應(yīng)同時僅表現(xiàn)出強烈的面部表情。還有一些用戶可能會表現(xiàn)出適度的生理和面部反應(yīng)。因此，通過將不同類型的情感信息組合起來，可以獲得用戶2對場景的情感反應(yīng)的更有效的表示。以下的實施例示出了用組合的生理和面部反應(yīng)信息解釋情感信息以便于解釋情感信息的方法。
參照圖6a和6b，示出了一流程圖，它說明了本發(fā)明用于根據(jù)就圖2-4所述的三種情感信號即喜好程度、感興趣程度和興奮程度的組合來提供情感信息的另一個實施例，將所述三種情感信號進(jìn)一步組合起來以獲得正的重要性的整體測量值。
在這一實施例中，步驟410-428的方法對應(yīng)于圖2中步驟110-128的方法，僅有一點不同在步驟418中，用戶選擇使用“組合”信號。另外可選，圖像捕獲設(shè)備6可預(yù)編程能使用“組合”信號。
圖像捕獲設(shè)備6根據(jù)面部表情確定喜好程度(DP)，如以上就圖2中的步驟130至139所述(步驟430和432)。圖像捕獲設(shè)備6還根據(jù)凝視時間以在圖3中的步驟230至239同樣的方式確定感興趣程度(DI)(步驟434和436)。圖像捕獲設(shè)備6還根據(jù)皮膚導(dǎo)電率以在圖5中的步驟330至339同樣的方式確定興奮程度(DE)(步驟438和440)。
圖像捕獲設(shè)備6根據(jù)上述三種測量值之和確定正的重要性程度(或“喜愛”)正的重要性＝DP+DI+DE在另一個實施例中，根據(jù)上述三種測量值的加權(quán)和確定正的重要性程度正的重要性＝wDPDP+wDIDI+wDEDE其中，根據(jù)先前就特定用戶獲得的各標(biāo)準(zhǔn)化的(除以最大值)信號中的標(biāo)準(zhǔn)偏差來確定權(quán)值wDP、wDI和wDE。在這種情況下，信號中的標(biāo)準(zhǔn)偏差越大，正的重要性的測量值中用于信號的貢獻(xiàn)權(quán)重就越大。因此，給定的信號的標(biāo)準(zhǔn)偏差越低，則正的重要性的測量值中用于信號的貢獻(xiàn)權(quán)重就越低。這種相關(guān)性的緣由源自于這樣的假設(shè)特定用戶的特定測量值的標(biāo)準(zhǔn)偏差反映了不同場景間的個別的差異度。這就意味著最高標(biāo)準(zhǔn)偏差中的信號具有更多的區(qū)分能力，因而對考慮和確定特定用戶的正的重要性的整體測量值來說更為重要。
例如，如果對用戶A來說不同的場景激發(fā)了多種面部表情和不太多的皮膚導(dǎo)電反應(yīng)，則根據(jù)面部表情給喜好程度(DP)的測量值的權(quán)值wDP要大于根據(jù)皮膚導(dǎo)電率給興奮程度(DE)的測量值的權(quán)值wDE。另一方面，如果對用戶B來說不同的場景激發(fā)了不太多的面部表情和很多的皮膚導(dǎo)電反應(yīng)，則權(quán)重間的關(guān)系會相反?？稍诓襟E443從個人用戶概要文件中獲得與相應(yīng)信號的最大值和標(biāo)準(zhǔn)偏差有關(guān)的數(shù)據(jù)。然后就這一信息更新個人用戶概要文件。
將所獲得的正的重要性程度與閾值作比較(步驟444)。閾值可以事先確定。閾值也可以由用戶2來建立或者為用戶2而建立。如果所獲得的正的重要性程度在閾值之上，則圖像捕獲設(shè)備6形成指示正的重要性程度的個人情感標(biāo)記(步驟448)。在另一個實施例中，可根據(jù)個人用戶概要文件例如根據(jù)先前累積的正的重要性程度分布的概率自動地確定閾值。所述概率可以選定為與具有先前0.5概率的正的重要性程度相對應(yīng)。
圖像捕獲設(shè)備6將相應(yīng)的圖像和正的重要性程度作為圖像元數(shù)據(jù)的一部分存儲在個人情感標(biāo)記內(nèi)(步驟450)。另外可選，正的重要性程度可以連同用戶標(biāo)識數(shù)據(jù)和圖像標(biāo)識存儲在獨立的文件中。此外，與用戶觀看某一圖像的日期有關(guān)的信息也可以作為一個單獨的條目記錄進(jìn)個人情感標(biāo)記。
將相應(yīng)的圖像、個人情感標(biāo)記和其它圖像元數(shù)據(jù)發(fā)送給數(shù)字圖像的個人數(shù)據(jù)庫，如先前就圖2的步驟148所述(步驟452)。
如果所獲得的正的重要性程度在閾值之下，則刪除相應(yīng)面部圖像片段、眼睛圖像和皮膚導(dǎo)電率信號(步驟446)。
如果所獲得的正的重要性程度在閾值之下并且用戶2仍然在觀看同一場景或諸如預(yù)覽屏幕22上的捕獲的場景圖像，則圖像捕獲設(shè)備6可選測量下一個圖像片段、眼睛圖像和皮膚導(dǎo)電率信號，并且在用戶2觀看同一場景或所捕獲的同一場景的圖像時重復(fù)步驟432至444。
如果閾值被設(shè)為0，則將圖像捕獲設(shè)備6記錄的所有場景圖像和相應(yīng)的情感信息(正的重要性程度，在另一實施例中是原始面部圖像、眼睛圖像和皮膚導(dǎo)電反應(yīng)信號)存儲起來。
如前所述，可在數(shù)字成像系統(tǒng)中用正的重要性程度來按系統(tǒng)和連續(xù)的方式將圖像歸類成特定用戶的喜愛、重要或興奮的圖像，如Matraszek等人于2001年12月26日提交的題為“數(shù)字成像系統(tǒng)中創(chuàng)建和使用情感信息的方法”的共同授與的US專利申請第10/036113號和Matraszek等人于2001年12月26日提交的題為“用連同數(shù)字圖像記錄的情感信息生成相冊頁的方法”的US專利申請書第10/036123號所述。
在另一個實施例中，可用面部表情、眼睛特征和生理反應(yīng)的不同組合來創(chuàng)建個人情感標(biāo)記，以便根據(jù)諸如“歡樂”、“恐懼”、“生氣”等之類的較廣范圍的情感類別對場景進(jìn)行分類。這種分類的實例如表1所示。
表1根據(jù)面部表情、眼睛特征和生理反應(yīng)的組合的情感分類 可用一系列用于這些類別的值諸如很高興、略微高興、中性和略微悲傷及很悲傷等對圖像進(jìn)行分類。
然后，將根據(jù)情感類別所確定的情感信息存儲為個人情感標(biāo)記，它包括作為圖像元數(shù)據(jù)一部分的用戶標(biāo)識。還可以將上述情感信息連同圖像標(biāo)識和用戶標(biāo)識存儲在計算機上的單獨文件內(nèi)。
參照圖7，示出了說明本發(fā)明另一實施例的流程圖，其中，以組合的方式用生理和面部分析確定情感信息。在這一實施例中，與用戶對圖像的反應(yīng)有關(guān)的情感信息是以就圖2-5所示的四種情感信號即喜好程度、獨特性程度、感興趣程度和興奮程度的組合為基礎(chǔ)的，將上述四種情感組合起來以獲得重要性的整體測量值。這一實施例適用于諸如圖1c所示的可穿戴式圖像捕獲設(shè)備6之類的實施例。
在這一實施例中，步驟510-528的方法對應(yīng)于圖6中步驟410-428的方法，僅有兩點不同用戶選擇使用“組合的不同”信號，或者，圖像捕獲設(shè)備6可預(yù)編程能使用“組合的不同”信號。
圖像捕獲設(shè)備6如先前就圖3中步驟170-179所述那樣確定獨特性程度(DD)(步驟530和533)。
圖像捕獲設(shè)備6確定重要性程度(或情感反應(yīng)的級別)。在這一實施例中，重要性程度的測量值是以四種測量值之和為基礎(chǔ)的重要性＝DP+DD+DI+DE重要性＝DPwDP+DDwDD+DIwDI+wDEDE其中，根據(jù)先前就特定用戶獲得的各標(biāo)準(zhǔn)化的(除以最大值)信號中的標(biāo)準(zhǔn)偏差來確定權(quán)值wDp、wDD、wDI和wDE。在這種情況下，信號中的標(biāo)準(zhǔn)偏差越大，重要性的測量值中用于信號的貢獻(xiàn)權(quán)重就越大。因此，給定的信號的標(biāo)準(zhǔn)偏差越低，則重要性的測量值中用于相應(yīng)信號的貢獻(xiàn)權(quán)重就越低。這種相關(guān)性的緣由源自于這樣的假設(shè)特定用戶的特定測量值的標(biāo)準(zhǔn)偏差反映了不同場景間的個別的差異度。這就意味著最高標(biāo)準(zhǔn)偏差的信號具有更多的區(qū)分能力，因而對考慮和確定特定用戶的重要性的整體測量值來說更為重要。
例如，如果對用戶A來說不同的場景激發(fā)了多種面部表情和不太多的皮膚導(dǎo)電反應(yīng)，則根據(jù)面部表情給喜好程度(DP)的測量值的權(quán)值wDP要大于根據(jù)皮膚導(dǎo)電率給興奮程度(DE)的測量值的權(quán)值wDE。另一方面，如果對用戶B來說不同的場景激發(fā)了不太多的面部表情和很多的皮膚導(dǎo)電反應(yīng)，則權(quán)重間的關(guān)系會相反。可從個人用戶概要文件中獲得與相應(yīng)信號的最大值和標(biāo)準(zhǔn)偏差有關(guān)的數(shù)據(jù)。然后就這一信息更新個人用戶概要文件(步驟543)。
將所獲得的重要性程度與閾值作比較(步驟544)。閾值可以事先確定。閾值也可以由用戶2來建立或者為用戶2而建立。如果所獲得的重要性程度在閾值之上，則圖像捕獲設(shè)備6形成指示重要性程度的個人情感標(biāo)記(步驟548)。在另一個實施例中，可根據(jù)個人用戶概要文件例如根據(jù)先前累積的重要性程度分布的概率自動地確定閾值。所述概率可以選定為與具有先前0.5概率的重要性程度相對應(yīng)。
圖像捕獲設(shè)備6將相應(yīng)的圖像和重要性程度作為圖像元數(shù)據(jù)的一部分存儲在個人情感標(biāo)記內(nèi)(步驟550)。另外可選，重要性程度可以連同用戶標(biāo)識和圖像標(biāo)識存儲在獨立的文件中。此外，與用戶觀看某一圖像有關(guān)的信息也可以作為一個單獨的條目記錄進(jìn)個人情感標(biāo)記。
將相應(yīng)的圖像、個人情感標(biāo)記和其它圖像元數(shù)據(jù)發(fā)送給數(shù)字圖像的個人數(shù)據(jù)庫，如先前就圖2的步驟152所述(步驟552)。
如果所獲得的重要性程度在閾值之下，則刪除相應(yīng)面部圖像片段、眼睛圖像和皮膚導(dǎo)電率信號(步驟546)。在另一實施例中，如果所獲得的重要性程度在閾值之下并且用戶2仍然在觀看同一場景或例如預(yù)覽屏幕22上的捕獲的場景圖像，則圖像捕獲設(shè)備6可選測量下一個面部圖像片段、眼睛圖像和皮膚導(dǎo)電率信號并且在用戶2觀看同一場景或所捕獲的同一場景的圖像時重復(fù)步驟532至544。
如果閾值被設(shè)為0，則將圖像捕獲設(shè)備6記錄的所有場景圖像和相應(yīng)的情感信息(重要性程度，在另一實施例中是原始面部圖像、眼睛圖像和皮膚導(dǎo)電反應(yīng)信號)存儲起來。
在其它實施例中，可用這三個或其它情感信號(諸如來自于聲音、EEG、腦掃描圖、眼睛運動和其它)的不同組合來創(chuàng)建個人情感標(biāo)記，以便根據(jù)較廣范圍的情感類別對場景進(jìn)行分類。此外，用諸如位置信息、圖像分析、日歷和時序信息、時間和日期信息之類的非情感信息來幫助更好地確定諸如與圖像有關(guān)的重要程度之類的情感信息。
如前所述，可在數(shù)字成像系統(tǒng)中用重要性程度來按系統(tǒng)和連續(xù)的方式將圖像歸類成特定用戶的喜愛、重要或興奮的圖像，如Matraszek等人于2001年12月26日提交的題為“數(shù)字成像系統(tǒng)中創(chuàng)建和使用情感信息的方法”的共同授與的US專利申請第10/036113號和Matraszek等人于2001年12月26日提交的題為“用連同數(shù)字圖像記錄的情感信息生成相冊頁的方法”的US專利申請書第10/036123號所述。還可在圖像捕獲設(shè)備6中用重要程度來確定圖像壓縮、分辨率和存儲。圖像捕獲設(shè)備中用于創(chuàng)建和使用個人情感標(biāo)記的計算機程序可記錄在一個或多個存儲介質(zhì)上，例如記錄在諸如磁盤(如軟盤)或磁帶之類的磁性存儲介質(zhì)上、諸如光盤、光帶或機讀條碼之類的光學(xué)存儲介質(zhì)上、諸如隨機存取存儲器(RAM)或只讀存儲器(ROM)之類的固態(tài)電子存儲設(shè)備上、或其它用于存儲具有實現(xiàn)本發(fā)明方法的指令的計算機程序的物理設(shè)備或介質(zhì)上。
個人情感標(biāo)記可包括指定相對重要性程度的信息。如前所述，可僅根據(jù)情感信息來確定相對重要程度。另外可選，可組合地用情感和非情感信息來確定相對重要程度。非情感信息的實例包括那些諸如能從全球定位系統(tǒng)或類似的電子定位器中獲得的之類的日期和時間信息、位置信息。對圖像本身的圖像分析也可用作能影響相對重要程度的非情感信息的來源。例如，通過現(xiàn)有的圖像處理和圖像理解算法可以很容易地識別場景中存在有特定的主題。Luo等人1998年12月31日提交的共同授與的US專利第6282317B1公開了一種這類算法，該專利說明了用于通過識別作為語義顯著特征的人體、臉、天空、草等以及與顏色、紋理、亮度等相關(guān)的“結(jié)構(gòu)”顯著特征并將這些特征組合起來生成信念圖而自動確定照片主題的方法。
Luo等人2000年12月14日提交的題為“用于檢測數(shù)字圖像中人體圖的圖像處理方法”的共同轉(zhuǎn)讓的US專利第US2002/0076100A1中公開的另一種圖像處理技術(shù)能檢測數(shù)字彩色圖像中的人體圖。該算法首先將圖像分成相同彩色或紋理的非重疊區(qū)，其后檢測人類皮膚顏色的候選區(qū)和人臉的候選區(qū)，然后，對每個候選的人臉區(qū)而言，均通過根據(jù)預(yù)定的人體圖的圖形模型來區(qū)分人臉區(qū)附近的區(qū)域、給出人體皮膚顏色區(qū)的優(yōu)先級，從而構(gòu)造出人體圖。用諸如在2002年載于第五屆IEEE國際自動面部和姿勢識別大會會議錄第0197-0201頁的Liu等人的題為“使用基于核心的費舍爾判別分析的面部識別”一文中所述之類的面部識別算法確定的在場景中有人或有特定的人可用來增加相對重要程度。該算法還可用于有選擇地處理圖像，以便增強圖像的質(zhì)量、突出主題，如Luo等人于2000年8月18日提交的題為“用于突出圖像主題的數(shù)字圖像處理系統(tǒng)和方法”的共同授與的US專利申請第09/642533所述，上述算法還用于與所識別出的人共享圖像或出于保密的考慮將圖像傳給代理機構(gòu)。
在上述實施例中，業(yè)已將圖像和圖像捕獲系統(tǒng)說明為是數(shù)字圖像和數(shù)字圖像捕獲系統(tǒng)。與本發(fā)明的原理相一致，可用模擬的電子形式或諸如膠片或底板之類的光學(xué)介質(zhì)來捕獲場景的圖像。在用上述形式中的一種來捕獲圖像時，可以通過與帶某種標(biāo)識碼的圖像分開記錄情感信息而連同圖像一道來記錄表示情感信息的數(shù)據(jù)，上述標(biāo)識碼指示情感信息要與之相關(guān)聯(lián)的圖像。
另外可選地，可關(guān)聯(lián)模擬電子圖像對情感信息進(jìn)行編碼和記錄。在使用膠片或底板時，可用光學(xué)的方式或用磁性的方式將情感信息記錄到膠片或底板上。還可將情感信息記錄到與膠片或底板相關(guān)聯(lián)的電子存儲器上。
依照本發(fā)明，將情感信息說明為是在捕獲時或在捕獲期間捕獲的。正如本文所使用的那樣，這些術(shù)語包括了構(gòu)成或捕獲圖像的任何時間段。當(dāng)例如拍照者正在驗證所捕獲的圖像是否滿足其要求時，這類時間段還可包括緊挨著捕獲時刻后的時間段。
權(quán)利要求
1.一種成像方法，它包括下列步驟捕獲場景的圖像(120)；收集捕獲時的情感信息(130)；以及將情感信息與場景圖像相關(guān)聯(lián)(188)。
2.如權(quán)利要求1的方法，其特征在于，它還包括下列步驟收集用戶標(biāo)識數(shù)據(jù)；以及將情感信息和用戶標(biāo)識數(shù)據(jù)與場景圖像相關(guān)聯(lián)。
3.如權(quán)利要求1的方法，其特征在于，收集情感信息的步驟包括監(jiān)視用戶的生理。
4.如權(quán)利要求3的方法，其特征在于，所述收集情感信息的步驟包括下列步驟解釋所收集的生理信息，以確定場景圖像的相對重要程度。
5.如權(quán)利要求1的方法，其特征在于，它還包括下列步驟在捕獲時獲得非情感信息并解釋情感信息和非情感信息，以確定場景圖像的相對重要程度。
6.一種成像方法，它包括下列步驟捕獲場景的圖像；收集捕獲時的情感信號；至少部分地根據(jù)所收集到的情感信號確定場景圖像的相對重要程度；以及將相對重要程度與場景圖像相關(guān)聯(lián)。
7.一種攝影方法，它包括下列步驟捕獲場景的圖像；獲得捕獲時攝影者的圖像；至少部分地根據(jù)對攝影者的圖像的解釋確定情感信息；以及將情感信息與場景圖像相關(guān)聯(lián)。
8.一種成像方法，它包括下列步驟捕獲圖像流；收集圖像捕獲時的情感信息流；以及將情感信息流與圖像流相關(guān)聯(lián)。
9.一種用于確定情感信息的方法，它包括下列步驟獲得情感信號，這些信號包括人的面部特征和生理特征；分析上述面部特征；分析上述心理特征；以及根據(jù)對人的面部特征和生理特征的分析確定情感狀態(tài)。
10.一種成像系統(tǒng)，它包括一圖像捕獲系統(tǒng)，該系統(tǒng)用于捕獲用戶選定的圖像；一存儲器，它存儲上述圖像；以及；一組傳感器，它用于在捕獲時捕獲來自用戶的情感信號；以及，一處理器，它用于將情感信息與所捕獲的圖像相關(guān)聯(lián)。
全文摘要
提供了一種成像方法。依照這一實施例，捕獲場景的圖像。在捕獲時收集情感信息。將情感信息與圖像相關(guān)聯(lián)。
文檔編號G06F17/30GK1510903SQ20031011837
公開日2004年7月7日 申請日期2003年11月25日 優(yōu)先權(quán)日2002年11月25日
發(fā)明者E·A·菲德羅威斯卡亞, S·恩德里霍維斯基, T·A·馬特拉斯?jié)煽? K·A·帕魯斯基, C·A·扎克斯, K·M·塔西爾, M·J·特勒克, F·馬林奧, D·哈雷, E A 菲德羅威斯卡亞, 呂锘粑 夠, 塔西爾, 帕魯斯基, 扎克斯, 特勒克, 職, 馬特拉斯?jié)煽?申請人:伊斯曼柯達(dá)公司