專利名稱：自動捕捉模式的制作方法
自動捕捉模式
背景
SenseCam (感知相機)是一款由Microsoft Research (微軟研究院)開發(fā) 的可佩戴照相機，應用之一是通過使用戶能夠倒帶該設(shè)備佩戴者最近所經(jīng)歷的 事件來幫助喚起記憶。這對于記憶受損的個體或者在個體經(jīng)歷創(chuàng)傷性事件的情 況下(例如，老年人因跌倒導致受傷)尤為有用。
該設(shè)備可以捕捉極大數(shù)量的圖像，并且除了捕捉圖像之外，該設(shè)備還記 錄傳感器數(shù)據(jù)，諸如每秒的運動、亮度級和溫度。該傳感器數(shù)據(jù)用于觸發(fā)圖像 捕捉，例如當亮度級改變或者突然移動時。亮度級的改變可以指示用戶從一個 房間移動至另一房間，或者從室內(nèi)移動至室外，因此所捕捉的圖像將會指示佩 戴者位置(和環(huán)境)的變化。很接近照相機的人的出現(xiàn)例如可使用PIR (被動 紅外)傳感器來檢測，并且這會觸發(fā)圖像的捕捉。于是所捕捉的圖像就可用于 喚起個體對所會面的人的記憶。
該設(shè)備具有廣角或魚眼鏡頭，使得用戶不需要擔心將設(shè)備指向特定方向。 一加速計用于圖像穩(wěn)定。
概述
下面提供本揭示的簡化概要以便為讀者提供基本的理解。本概要不是本 揭示的詳盡概觀，并且既不標識本發(fā)明的關(guān)鍵/本質(zhì)元素也不描繪本發(fā)明的范 圍。其唯一目的是以簡化形式提供在此揭示一些概念作為稍后提供的更詳細描 述的序言。
本發(fā)明的示例提供一種能在多個捕捉模式的任一模式下工作的圖像捕捉 設(shè)備，該設(shè)備包括圖像傳感器；被安排用于存儲多組捕捉觸發(fā)的存儲器，其 中每組捕捉觸發(fā)與多個捕捉模式之一相關(guān)聯(lián)；以及被安排用于選擇多個捕捉模 式之一的處理器，以使得該設(shè)備可在所選操作模式下工作，其中在該組關(guān)聯(lián)的 捕捉觸發(fā)中的一捕捉觸發(fā)被滿足的情況下自動捕捉圖像。有利地，這允許設(shè)備針對不同的境況和不同的用戶來更改其操作，使得 在有不同的捕捉觸發(fā)被定義時捕捉圖像(例如，拍攝照片)。這就使用戶能夠
設(shè)計針對特定位置/事件/活動的捕捉觸發(fā)，并且使單個設(shè)備的不同用戶能夠各
自定制設(shè)備工作。
優(yōu)選地，處理器被安排為響應于接收到的輸入選擇一個捕捉模式。 優(yōu)選地，存儲器被安排為存儲一組模式改變參數(shù)，且其中處理器被安排
為響應于接收到的輸入并根據(jù)該組模式改變參數(shù)來重新選擇捕捉模式。
接收到的輸入包括以下的至少一項時間、用戶輸入、來自日歷程序的
觸發(fā)、無線接收機接收到的信號、從傳感器接收的輸入、設(shè)備狀態(tài)信息和模式
序列文件。
有利地，如果接收到的輸入包括來自日歷程序的觸發(fā)，就可以基于有關(guān) 曰歷程序中各事件的信息來選擇模式。
優(yōu)選地，接收到的輸入是時間，且其中該組模式改變參數(shù)包括一模式序 列及其關(guān)聯(lián)模式改變時間。
該設(shè)備還可以包括用戶輸入裝置，其中接收到的輸入是從該用戶輸入裝 置接收的。
該設(shè)備還可以包括傳感器，并且其中各組觸發(fā)傳感器中的至少一個包括 關(guān)于該傳感器的輸入定義的捕捉觸發(fā)。
優(yōu)選地，各組捕捉觸發(fā)中的至少一個是用戶定義的。
第二示例提供一種捕捉圖像的方法，包括下述的步驟從一組的至少兩 個捕捉模式中選擇一捕捉模式；訪問與所選捕捉模式相關(guān)聯(lián)的一組捕捉觸發(fā)； 在接收到的輸入滿足該組被訪問的捕捉觸發(fā)中的一捕捉觸發(fā)時觸發(fā)圖像捕捉； 以及在滿足模式改變參數(shù)時從該組的至少兩個捕捉模式中選擇另一捕捉模式。
優(yōu)選地，選擇一捕捉模式包括接收一輸入；并且根據(jù)接收到的輸入從 一組的至少兩個捕捉模式中選擇一捕捉模式。
優(yōu)選地，接收輸入包括接收來自用戶、傳感器、無線接收機和時鐘之一 的輸入。
優(yōu)選地，觸發(fā)圖像捕捉包括接收來自用戶、傳感器、無線接收機和時 鐘之一的輸入；以及在接收到的輸入滿足該組被訪問的捕捉觸發(fā)中的一捕捉觸
發(fā)時觸發(fā)圖像捕捉。
優(yōu)選地，該組捕捉觸發(fā)包括關(guān)于傳感器輸入定義的捕捉觸發(fā)。 優(yōu)選地，該組捕捉觸發(fā)是用戶定義的。 優(yōu)選地，該模式改變參數(shù)定義一組用戶輸入。
優(yōu)選地，選擇另一捕捉模式包括檢測用戶輸入；標識檢測到的用戶輸 入是在模式改變參數(shù)中定義的；以及基于檢測到的用戶輸入和模式改變參數(shù)從
該組的至少兩個捕捉模式中選擇另一捕捉模式。
在另一個示例中，選擇另一捕捉模式包括檢測經(jīng)由無線接收機接收到 的信號；以及基于接收到的信號和模式改變參數(shù)從該組的至少兩個捕捉模式中
選擇另一捕捉模式。
第三示例提供一種包括計算機程序代碼裝置的計算機程序，當該程序在 計算機上運行時適于執(zhí)行上述任何方法。
上述計算機程序可以在計算機可讀介質(zhì)上具體化。
另一示例提供一種用戶界面，包括被安排指示捕捉模式名的第一元素；
以及被安排指示多個捕捉觸發(fā)值的多個元素。
本方法可由存儲介質(zhì)上具備機器可讀形式的軟件執(zhí)行。軟件能夠適于在 并行處理器或串行處理器上執(zhí)行，使得本方法的各步驟可以按任何合適的次序 或同時開展。
這里承認軟件能夠是有價值的、可以單獨交易的商品。它旨在包含運行
于或者控制"啞(dumb)"或者標準的硬件以實現(xiàn)期望的功能的軟件。它還旨 在包含"描述"或者定義硬件配置的軟件，例如HDL (硬件描述語言)軟件， 用于設(shè)計硅芯片，或者用于配置通用可編程芯片以實現(xiàn)期望的功能。
許多伴隨特征將隨著參考下面的詳細描述并結(jié)合附圖進行理解而得到更 好的認識。


從結(jié)合附圖的下列詳細描述將更好地理解本描述，在附圖中 圖1是自動圖像捕捉設(shè)備的示意圖2是示出了針對一捕捉模式的一組示例性捕捉條件的表格；
圖3是圖1中自動圖像捕捉設(shè)備的存儲器的示意圖； 圖4是示出圖1的自動圖像捕捉設(shè)備的操作的示例性流程圖； 圖5是自動圖像捕捉設(shè)備的面板示意圖； 圖6示出了用戶界面的示例性屏幕； 圖7是自動圖像捕捉設(shè)備的另一面板示意圖8是示出了一種用于定義通用紋理基元(texton)詞匯的過程的示例性 流程圖9是圖8所示用于定義通用紋理基元詞匯的過程中各階段的示意圖io是示出了一種用于確定圖像的紋理基元直方圖的方法的示例性流程
圖；以及
圖11示出了紋理基元直方圖的兩個示例。 相同的標號用于指示附圖中相同的部分。
詳細描述
下面結(jié)合附圖提供的詳細說明旨在作為本發(fā)明的例子的描述，但是并不 旨在表示可以構(gòu)造或者使用本例子的僅有的形式。該描述闡述本示例的功能以 及用于構(gòu)造和操作本示例的步驟序列。然而，相同或等價的功能與序列可由不 同的示例來完成。
通過使用在由傳感器數(shù)據(jù)觸發(fā)時自動捕捉圖像的照相機來獲得大量的圖 像，而這些圖像如前所述可用于幫助記憶喚起。然而， 一個問題會在捕捉的大 量類似圖像耗盡了內(nèi)存同時卻沒有提供額外的有用信息的一些情況下產(chǎn)生。這 一問題會在例如佩戴者參與會議以及照相機在PIR傳感器檢測到其前有人經(jīng) 過時觸發(fā)的情況下出現(xiàn)。在會議期間，照相機會隨著面向佩戴者的某人作姿勢、 記筆記或以其它方式移動而被重復觸發(fā)。這會導致照相機捕捉同一個人的許多 圖像。雖然照相機可以具有大容量存儲器，但是存儲器不是無限的并且重復圖 像可能占據(jù)了存儲器的很大一部分。這在圖像未被頻繁下載的的情況下尤為明 顯。
當圖像隨后被下載時，下載時間會因為重復圖像而不必要地增加。當在 隨后例如為了努力定位缺失項目而査看圖像時，重復圖像不會有幫助，反而會因為有更多的圖像要審閱而妨礙了工作。在圖像用于生成日記而上傳到互聯(lián)網(wǎng) 的情況下，重復圖像可能會讓看日記的人不甚愉快，同時也增加了上傳時間(這 在經(jīng)由數(shù)據(jù)速率較慢的鏈路進行上載時尤為明顯)。因此，在上載或保存日記 之前可能需要刪除這些重復圖像。
圖1是自動圖像捕捉設(shè)備100的示意圖，該設(shè)備100包括連接至具有廣 角或魚眼鏡頭(未示出)的圖像傳感器102的微處理器101。該設(shè)備由電池103 供電并且電壓可能需要經(jīng)由升壓電路104升壓以便為微處理器101供電。微處 理器在來自一個或多個傳感器105-110的數(shù)據(jù)指示指定捕捉條件(也被稱為捕 捉觸發(fā))已滿足時觸發(fā)對圖像的捕捉。傳感器可以集成入設(shè)備，諸如數(shù)字亮度 級傳感器105、溫度傳感器106、加速計107、話筒109或其他傳感器108，而 作為替換，傳感器也可以在設(shè)備外部(例如，遠程傳感器IIO)，其傳感器數(shù) 據(jù)則通過連接至無線接收機112的天線111接收。來自加速計107的數(shù)據(jù)也用 于減輕和/或校正由于佩戴者運動導致的圖像模糊(例如，通過在開始圖像捕捉 之前檢測穩(wěn)定條件)。該設(shè)備還包括音頻記錄電路113、實時時鐘114和存儲 器115。存儲器115可以包括一個或多個元件，并且可以包括集成入設(shè)備的存 儲器和可移動存儲器(例如，SD卡)的組合。該設(shè)備還可以具有用于向該設(shè) 備上傳數(shù)據(jù)以及從其中下載數(shù)據(jù)的接口 116 (例如，諸如USB或RS-232接口 的串行接口)。另外，這些上傳和下載可經(jīng)由無線接收機112或經(jīng)由可移動存 儲元件通過無線鏈路來完成。設(shè)備100還可以具有一個或多個發(fā)光二極管 (LED) 117或其他視覺反饋元件(例如，LCD顯示屏)。
在圖1中示出為自動圖像捕捉設(shè)備100各部分的元件僅作為示例示出。 捕捉設(shè)備的其他示例可以包括圖1所示各元件的子集和/或可以包括額外的元 件。例如，設(shè)備可以具有一個以上無線收發(fā)機，并且這些多個收發(fā)機可以使用 不同的無線技術(shù)工作，例如藍牙收發(fā)機、紅外收發(fā)機等。在其他示例中，該設(shè) 備可以僅包括無線接收機，而非收發(fā)機(即，發(fā)射機和接收機)。設(shè)備還可以 具有集成在該設(shè)備之內(nèi)的許多其他傳感器，例如GPS元件。此外，可以使用 其他傳感器來代替加速計107進行圖像穩(wěn)定。
術(shù)語"無線"在本文中指的是不涉及物理連接的連接，即不是"有線" 連接。它包括經(jīng)電磁頻譜的自由空間通信，包括RF通信、紅外通信和自由空
間光學通信。
自動圖像捕捉設(shè)備ioo具有多個不同的捕捉模式。每個捕捉模式定義將 會捕捉圖像(例如，將會拍攝照片)的境況，諸如所需的亮度級的改變、所需 的穩(wěn)定周期、捕捉圖像之間的最小/最大周期、當檢測到其他人或其他自動圖像 捕捉設(shè)備時是否捕捉圖像等。因此， 一捕捉模式定義一組會觸發(fā)圖像捕捉的捕 捉條件(或捕捉觸發(fā))，例如一捕捉模式可以定義如果亮度級改變大于10%和
/或如果溫度變化大于10%就捕捉圖像。 一組捕捉條件可以包括基于與捕捉設(shè) 備ioo集成或通信(在遠程傳感器110的情況下)的不同傳感器的單個捕捉條 件(例如，在上午10: 05捕捉圖像)或多個捕捉條件。由一捕捉模式定義的 部分參數(shù)的示例在圖2的表格200中示出，其中該設(shè)備連接至遠程心率監(jiān)視器 (例如，作為遠程傳感器HO)。除了定義捕捉條件之外，如圖2所示，捕捉 模式還可以為該設(shè)備定義其他工作參數(shù)，這將在如下更為詳細地描述。
用于每個捕捉模式的參數(shù)被存儲在設(shè)備上的存儲器115內(nèi)，如圖3針對 三個捕捉模式的設(shè)備的示意圖中所示。存儲器115用于存儲除了存儲圖像304 之外的三組參數(shù)301-303、音頻信息305 (使用話筒109和音頻記錄電路113 記錄)和傳感器數(shù)據(jù)306。存儲器115還可用于存儲描述該設(shè)備何時應該在捕 捉模式307之間變化的參數(shù)。如前所述，雖然存儲器115被示為單個元件，但 這僅是示例而且存儲器也可以包括多個元件。每個存儲器元件可用于存儲圖3 所示的一種或多種類型的信息，并且在一些示例中，全部或部分存儲器元件可 專用于一具體類型的信息，例如用于操作該設(shè)備的信息(包括捕捉模式參數(shù) 301-303)可被存儲在與用于存儲由該設(shè)備捕捉的數(shù)據(jù)(例如，圖像、音頻和 傳感器數(shù)據(jù))的存儲器分隔開的專用部分內(nèi)。
該設(shè)備可以具有一個或多個預設(shè)捕捉模式，它們可以不是用戶定義的， 和/或是一個或多個用戶定義(或用戶定制)的捕捉模式。圖4是示出自動圖像 捕捉設(shè)備100工作的示例性流程圖400。從設(shè)備上的一組可用捕捉模式中選擇 一工作捕捉模式(例如，預設(shè)捕捉模式或用戶定制捕捉模式)(步驟401)。 對于每一可用捕捉模式，如前所述在設(shè)備的存儲器中存儲一組參數(shù)(301-303)， 并且一旦一捕捉模式被選擇為工作模式(在步驟401中)，則訪問定義了捕捉 條件的該組合適參數(shù)(步驟402)。設(shè)備IOO隨后監(jiān)視其接收到的輸入(步驟403)直到接收到的輸入滿足由被訪問參數(shù)定義的捕捉條件之一，此時觸發(fā)對 圖像的捕捉(步驟404)。將所捕捉的圖像存儲在存儲器115中(步驟405) 并且該設(shè)備繼續(xù)監(jiān)視輸入(步驟403)直到捕捉條件再次被滿足(步驟404)。 如果滿足模式改變參數(shù)，則選擇新的工作模式(步驟406)并在隨后訪問一組 新的捕捉條件(步驟402)。這一組新的捕捉條件隨后用于確定是否應該捕捉 圖像(步驟404)。
該預設(shè)捕捉模式可以定義針對設(shè)備的特定使用或針對特定條件的參數(shù)。 例如，如果相比于該設(shè)備用于為佩戴者自動生成日記，該設(shè)備用作記憶衰退個 體的記憶幫助，則使用不同的參數(shù)會是合適的。如下將描述可以針對特定普適 條件定義的不同預設(shè)模式的示例。
可以為不同的環(huán)境設(shè)置不同的模式，諸如室內(nèi)和室外。這會是有益的， 因為建筑物內(nèi)經(jīng)歷的亮度級范圍會相當小。因此，可能希望工作在'室內(nèi)模式' 下的亮度級觸發(fā)點要小于通用或室外模式。
可以為不同的事件類型提供不同的模式，例如'會議模式'。這對于通 過在此模式下不使用PIR傳感器數(shù)據(jù)作為觸發(fā)來避免設(shè)備在會議中獲取相同 個人或人群的許多圖像會是有益的。作為替換，可以指定由PIR傳感器數(shù)據(jù)觸 發(fā)的捕捉事件之間的最短時間。這將不會阻止由其他傳感器數(shù)據(jù)觸發(fā)的圖像捕 捉，但是會減少會議期間對同一人拍攝的重復圖像。
可以定義'假期，或 <旅行'模式，其中將設(shè)備設(shè)置為響應于經(jīng)由無線 收發(fā)機112接收到特定信號來捕捉圖像。這些信號可以用特定名勝或者美景內(nèi) 的信標或發(fā)射機發(fā)送。這些信號可以包括有關(guān)所拍攝全景圖的信息，并且可將 這些信號(進而包括信息)存儲在設(shè)備的存儲器114內(nèi)。這些信息可以作為圖 像文件內(nèi)的元數(shù)據(jù)存儲(例如，作為JPEG規(guī)范中的描述)。其他信息也可存 儲為圖像文件內(nèi)的元數(shù)據(jù)，包括但不限于位置信息、傳感器數(shù)據(jù)和音頻信息。 '定時捕捉'模式可用于確保在一天的特定時刻捕捉圖像，例如該捕捉 模式可以定義每小時拍攝圖像。這可以作為響應于傳感器觸發(fā)捕捉的任何圖像 的附加或者代替。
可以提供'對接(docked)模式，，其中該設(shè)備用作網(wǎng)絡(luò)相機(webcam) 并且在外部信號(例如，來自計算機)或者送至計算機的圖像流序列(或視頻
流)的觸發(fā)下拍攝圖像?？梢詫趥鞲衅鬏斎氲膱D像捕捉觸發(fā)進行限制(例
如，通過設(shè)置極端捕捉條件)或阻止。外部觸發(fā)的示例包括來自諸如MSN (商 標)Messenger的即時消息(IM)程序的觸發(fā)。IM程序可以被設(shè)置為在起動新 IM對話時觸發(fā)圖像捕捉，并且該IM程序隨后可以使用該捕捉的圖像作為用戶 圖片并將其發(fā)送給對話的另一方。在另一個示例中，該外部觸發(fā)可以在起動語 音呼叫時使用標準電話或VoIP (經(jīng)互聯(lián)網(wǎng)協(xié)議的話音)中的任一個來提供。 在呼叫起始時捕捉的圖像可以替代地或者附加地發(fā)送呼叫者ID (標識)信息， 以使得呼叫的接收者能夠看到在呼叫他們的那個人的當前圖像。這將為被叫方 提供額外的信息(例如，呼叫者穿了什么，他們看上去是開心還是悲傷等)而 不會侵犯呼叫者的隱私。以類似的方式，可以在經(jīng)由IM、電話或VoIP收到呼 叫的情況下觸發(fā)圖像并將捕捉的圖像以類似于上述的方式發(fā)送給呼叫者。
可以提供'可變曝光'模式，其中放松對捕捉圖像之前穩(wěn)定條件(如加
速計所檢測到的)的要求，并且替代地根據(jù)如傳感器檢測到的設(shè)備ioo的運動
來改變用于捕捉圖像的曝光設(shè)置。例如，穩(wěn)定條件的定義可以從<20°/秒改變?yōu)?<50°/秒，或者作為替代，捕捉條件可以去除對穩(wěn)定條件的檢測要求。為了使得 在此模式下捕捉到的圖像模糊最小，圖像捕捉的曝光時間與傳感器檢測到的設(shè) 備運動成比例改變，從而在設(shè)備運動較小時使用較長曝光時間而在設(shè)備運動較 大時使用較短的曝光時間。這一模式對在實現(xiàn)穩(wěn)定條件的可能性減小但用戶仍 然希望捕捉圖像的運動事件期間使用設(shè)備尤為有用。這一可變曝光功能還可以 例如作為工作參數(shù)集成入其他捕捉模式。
可以提供一模式，其中可以結(jié)合傳感器信息使用圖像評估算法，從而對 雖然是原始捕捉但極為類似的圖像加以丟棄并不加存儲。該算法可以僅比較時 間上相鄰的圖像，或者可以比較在很短一段時間內(nèi)捕捉的各組圖像。如下將參 考圖8-11描述比較各圖像的示例性方法。
兩圖像之間的相似性還將根據(jù)兩圖像之間的距離進行描述，并且用于計 算該距離的一種技術(shù)要使用兩直方圖之間的絕對差之和(SAD)，而每個直方 圖針對一幅圖像?？梢允褂萌魏魏线m的直方圖，例如彩色直方圖或紋理基元直 方圖。彩色直方圖著眼于圖像中每種顏色的相對量。紋理基元直方圖著眼于圖 像幀的色彩和紋理兩者。為了計算兩幅圖i和j的紋理基元直方圖的SAD，需要紋理基元的通用詞 匯。這種紋理基元的通用詞匯獨立于自動圖像捕捉設(shè)備確定，并且一旦確定， 就將該詞匯存儲在設(shè)備100的存儲器115內(nèi)。紋理基元的通用詞匯在許多訓練 圖像的基礎(chǔ)上定義，并且該詞匯通常依賴于應用，所以訓練圖像的類型優(yōu)選地 類似于將被比較的實際圖像。例如，由SenseCam拍攝的圖像具有與常規(guī)數(shù)碼 照相機拍攝的圖像明顯不同的特性。因此，在期望使用詞匯比較SenseCam圖 像時使用SenseCam圖像作為訓練圖像將會是合適的，而在期望使用詞匯比較 標準數(shù)碼照相機圖像時使用標準數(shù)碼照相機圖像作為訓練圖像將會是合適的。 在要比較其他類型的圖像的情況下，則應該使用一組合適的代表圖像作為訓練 圖像以定義通用詞匯。
可以參考圖8和9描述定義通用詞匯的過程。選擇第一訓練圖像901 (步 驟801)并將該圖像傳遞通過一排諸如伽柏(Gabor)濾波器排的f個濾波器(步 驟802)，其中f是所使用的濾波器的個數(shù)。以一種能夠獲取紋理信息的方式 來使用各濾波器。濾波器通常從圍繞每個像素的10x10像素區(qū)域中捕捉信息。 通常使用一排17個濾波器(f=17)，并且相同的濾波器組可用于任何應用或 任何圖像類型。該步驟(步驟802)的輸出是一組濾波器響應圖像902，每幅 圖像針對一濾波器(即，f幅濾波器響應圖像)。隨后以f個維度標繪每幅濾 波器響應圖像中每個像素的濾波器響應(步驟803)。考慮最初訓練圖像901 中位置(x,y)處的特定像素，存在f個濾波器響應，每個濾波器響應針對該排內(nèi) 的一個濾波器(即，在f幅濾波器響應圖像902的每一幅中位置(x,y)處的濾波 器響應)。這創(chuàng)造了帶有f個元素的向量(ri， r2， r3, ....rf)，隨后可將其標繪在f 維圖903上。隨后可以用不同的訓練圖像多次重復這三個步驟(801-803)并 且所有這些點都繪制在同一幅圖904上。隨后例如使用k平均(k-means)算 法標識該圖上點的聚類卯4a-f (步驟804)，并在每個聚類中心處定義位置 905a-f。因此就得到了一組向量，它們各自都包括f個元素，并且各自定義了 一個聚類中心所處的位置。該組向量(圖9中示出為6個向量，雖然通常存在 有50個向量或'視覺詞(visual word)，)是紋理基元的通用詞匯(針對與所 使用訓練圖像類型相同的圖像)。每個視覺詞(或向量)如下所述導致紋理基 元直方圖中的一個柱(bin)。詞的個數(shù)較少(以及由此產(chǎn)生的柱)導致執(zhí)行圖
像間比較時處理速度較快，然而個數(shù)較多則提供對兩圖像相似性的更好度量。 在獨立于該設(shè)備確定紋理基元的通用詞匯(如上所述)之后，就能夠如
圖IO所示計算圖像的紋理基元直方圖。選擇該圖像(步驟IOOI)并將其傳遞 通過確定通用詞匯時所使用的同一排f個濾波器(步驟1002)。隨后為f個濾 波器中的每一個濾波器確定針對該圖像每個像素的濾波器響應以提供f維空間 內(nèi)的位置(步驟1003)，隨后將該位置與通用詞匯(例如，905中示出的6個 視覺詞)進行比較以確定每個像素最接近的聚類中心位置(在步驟805中定義)。 將結(jié)果繪制在直方圖上，其中每個柱針對一個視覺詞并且每個柱一條目針對最 接近該視覺詞的每個像素。圖11中示出了兩個紋理基元直方圖1101和1102 的示例。隨后就可計算兩幅圖的紋理基元直方圖的SAD(即，每個柱大小之間 的絕對差之和)。
可以設(shè)置SAD的閾值，使得如果第一捕捉圖像相比于第二捕捉圖像并且 所得SAD小于該閾值，則可以刪除圖像之一并不對其加以存儲。可以使用額 外的準則來確定保留兩幅圖中的哪一幅，該準則包括但不限于圖像的銳度以及 觸發(fā)對各幅圖像進行捕捉的捕捉條件。
這些算法和技術(shù)可在預設(shè)模式中使用，或者可以用于用戶定制模式中(例 如，經(jīng)由復選框來實現(xiàn)或者不實現(xiàn)該算法)。用戶能夠指定一參數(shù)，以指示兩 相鄰存儲圖像的相似性的最低程度(例如，如上所述的SAD閾值)。如下將 更為詳細地討論各用戶定制模式。
在另一示例中，可以使用圖像評估技術(shù)來定義特別捕捉人臉(或其他對 象)的模式。人臉檢測算法的一個示例在P. Viola和M. Jones發(fā)表于2001年 的國際計算機視覺大會(ICCV)的題為'健壯實時對象檢測'('Robust Real-Time Object Detection')中有所描述。使用對象檢測算法獲得的信息可同 時用于觸發(fā)圖像捕捉以及在捕捉時對圖像進行注釋。
在某些情況下可能會不允許拍攝照片，例如在機場的移民處或在法庭上。 如果沒有用戶干涉，自動圖像捕捉設(shè)備會根據(jù)所定義的捕捉條件來繼續(xù)不經(jīng)意 捕捉圖像。為了解決這個問題，本設(shè)備提供一 '捕捉阻止'預設(shè)模式，使得該 設(shè)備在收到從發(fā)射機或信標發(fā)送的特定無線信號或者可由本設(shè)備檢測到的其 他信號(例如，聲音、具體的GPS位置信息或其他感知輸入)時就自動切換
成該模式。例如用戶若要進入敏感區(qū)域(例如，醫(yī)院)或者參加敏感事件(例 如，葬禮)，則他們也可以將設(shè)備手動切換至該模式(如下所述)。在此模式 中，在指定時間段(例如，接下來的10分鐘內(nèi))或接收到特定無線信號的同 時，將不會捕捉圖像。在這一模式下，除非除了用戶實際上起始進入該模式的 切換，否則用戶可能無法超控該設(shè)備以將其切換至允許圖像捕捉的另一模式。 在另一個示例中，用戶可能能夠超控該設(shè)備，但是用戶界面可被安排為確保用 戶無法意外切換至另一模式。
以上提供的預設(shè)模式僅作為示例?？梢蕴峁┙Y(jié)合了上述一個或多個模式 的其他預設(shè)模式。作為這些預設(shè)模式的附加或者替換，設(shè)備可以具有一個或多 個用戶可定制模式。這些用戶可定制模式可以包括上述預設(shè)模式的各方面。
用戶可定制模式允許用戶(不必是佩戴者)定義他們自己的捕捉條件。 在一設(shè)備由不同的人在不同時間使用(并佩戴)的情況下，諸如由家庭各成員 使用，每個成員可以定義一個或多個捕捉模式以供其佩戴該設(shè)備時使用。用戶 定制的模式可以使用以上關(guān)于預設(shè)模式的任何概念，并且可以結(jié)合兩個或多個 預設(shè)模式的各方面。例如，用戶可能希望定制'定時捕捉'模式(如上所述)， 這樣他們就能夠指定他們想要捕捉圖像的時刻，而不考慮是否有任何傳感器觸 發(fā)存在。在極端情況下，定時捕捉模式可用于確保在一具體時刻捕捉單幅圖像 而不再捕捉其他圖像。
在一個示例中，用戶可能能夠通過直接對設(shè)備進行輸入來指定針對該捕
捉模式的各個參數(shù)。圖5示出了啟用這些參數(shù)的直接輸入的自動圖像捕捉設(shè)備 500的面板的示意圖。設(shè)備500具有諸如LCD面板的顯示屏501，以及三個按 鈕502-504。用戶可以使用'下一個，按鈕502巻動參數(shù)(顯示在顯示屏501 上)并使用'+'和按鈕503和504來按需改變?nèi)魏沃?。可以使用本領(lǐng)域 已知的其他用戶輸入安排。
在另一個示例中，用戶可以經(jīng)由計算機上的用戶界面(UI)指定針對該 捕捉模式的各個參數(shù)。圖6中示出了用戶界面的示例性屏幕600。這使得用戶 能夠在框601中指定捕捉模式名并使用按鈕602來指示他們期望使用哪個傳感 器來定義捕捉條件。如果選擇了傳感器輸入(例如，亮度級變化603)，則用 戶能夠通過在框604內(nèi)鍵入所需值或使用上下箭頭605來指定該條件。用戶還
可能能夠改變比較算符(</=/>，未在圖6中示出)。UI內(nèi)存在可以使用'下 一個，按鈕606和'后退，按鈕(未示出)巻動的數(shù)個屏幕。當用戶完成對捕 捉模式的指定時，用戶就按下'結(jié)束'按鈕607。這可以引發(fā)XML文件的生 成，該文件隨后可被上傳至設(shè)備并存儲在存儲器內(nèi)(如上所述)。可以經(jīng)由接 口 (諸如圖1中的接口 116)或經(jīng)由無線鏈路(例如，對圖1中的無線收發(fā)機 112)向設(shè)備上傳參數(shù)。在另一示例中，用戶可以通過直接編輯XML文件，例 如通過使用計算機上的文本編輯程序來指定針對捕捉模式的參數(shù)。在定義了一 個或多個用戶可定制模式之后，就可以使用該設(shè)備上的界面(如果有的話)或 者經(jīng)由計算機上的用戶界面來編輯這些模式。
如上所述，自動圖像捕捉設(shè)備可以已在其存儲器115內(nèi)存儲了各捕捉模 式的細節(jié)，這些捕捉模式的一部分是預設(shè)模式， 一部分是用戶可定制模式。設(shè) 備在任一給定時刻都可在單模式下工作，并且設(shè)備可以向用戶提供其當前正在 工作的模式的視覺指示。在設(shè)備具有顯示屏(例如，圖5中的顯示屏501)時，
該顯示屏可以指示正使用模式的名稱。在該設(shè)備具有一個或多個LED (例如， 圖1中的LED 117)的情況下，這些LED可根據(jù)顏色或其狀態(tài)(打開/關(guān)閉/ 閃爍)來提供捕捉模式的指示。在另一個示例中，可以響應于用戶輸入(例如， 姿勢、按鍵)向用戶提供工作模式的聽覺指示。
捕捉模式之間的切換響應于外部輸入、感知信息或設(shè)備狀態(tài)而自動進行。 作為附加或者替換，該設(shè)備可以響應于用戶輸入在各捕捉模式之間切換。如果 自動圖像捕捉設(shè)備具有按鈕(如圖5所示)或者撥盤701 (如圖7所示)，則 它們就可用于手動地在各捕捉模式之間切換。在另一示例中，可以使用姿勢來 引起設(shè)備在各模式之間的切換，其中該設(shè)備被編程以識別與各種姿勢相關(guān)聯(lián)的 感知輸入。在另一示例中，可對經(jīng)由話筒(圖1中的項109)檢測到的音頻使 用語音識別。在又一個示例中，該設(shè)備在其通電時的位置(例如，其面板朝下) 可用于指定該設(shè)備工作的模式。在設(shè)備在各捕捉模式之間切換時定義的各個參 數(shù)可以存儲在存儲器307中(參見圖3)。
自動圖像捕捉設(shè)備100可以響應于從諸如Microsoft Outlook (商標)的外 部日歷或外部數(shù)據(jù)庫獲取的數(shù)據(jù)在捕捉模式之間自動切換。日歷信息可用于確 定某一時刻最合適的捕捉模式。例如，日歷信息可以標識佩戴者將何時開會，因此該設(shè)備就能在會議的計劃開始時間自動切換至'會議'捕捉模式并在會議 的計劃結(jié)束時間切換離開該模式。日歷信息還可用于注釋會議期間(或者照相 機內(nèi)的其他事件)捕捉的任何圖像。注釋可作為圖像文件的一部分(例如如上
所述作為元數(shù)據(jù))等連同傳感器信息一并存儲(例如，在傳感器數(shù)據(jù)存儲306 中)。從日歷獲取的位置信息可以替代地或附加地用于注釋各圖像。這在其他 位置信息(例如，GPS位置信息)不可用的情況下特別有用(例如，GPS位置 信息常常在建筑物內(nèi)不可用)。事件的參與者列表也可用于注釋在該事件期間 捕捉的圖像，尤其是在使用人臉檢測算法確定圖像中人臉存在的情況下。這將 有助于圖像的查看者(或者搜索圖像的某些人)認出特定圖像里是誰。
為了日歷程序和捕捉設(shè)備IOO之間的這一交互工作，可以使用接口程序。 該接口程序可以在用戶的計算機上運行并且可以搜索日歷程序中的具體關(guān)鍵 字或事件類型(例如，會議、社交事件、葬禮等)，隨后在這些事件之前生成 一小型文件并將該文件上傳至設(shè)備100。該文件可以包括根據(jù)有關(guān)模式變化應 出現(xiàn)的具體時刻的信息該捕捉設(shè)備IOO應遍歷的一模式序列。該文件可以存儲 在存儲器114內(nèi)(在部分307中，如圖3所示)，并且可由微處理器101訪問 以確定何時應該自動出現(xiàn)模式變化。在另一個示例中，可以將接口程序的功能 集成入日歷程序。
在另一個示例中，捕捉設(shè)備100可以具有在設(shè)備上運行的日歷程序并且 這可以例如在要求改變的瞬時觸發(fā)捕捉模式的自動改變。如同其上有日歷程序 運行的當前移動設(shè)備一樣，該日歷程序可以獨立工作或者與在用戶計算機上運 行的日歷程序同步(例如，經(jīng)由接口 116或無線收發(fā)機112)。
在該設(shè)備由一個以上個人使用的情況下，可根據(jù)外部RF輸入，諸如與該 佩戴者相關(guān)聯(lián)的射頻識別(RFID)標簽或者來自佩戴者移動電話或個人數(shù)字助 理(PDA)的藍牙信號確定設(shè)備的佩戴者。基于這些有關(guān)自動圖像捕捉設(shè)備佩 戴者的信息，該設(shè)備可以自動切換至由該佩戴者指定的默認捕捉模式，該捕捉 模式可以是由佩戴者定制的模式。
自動圖像捕捉設(shè)備可以響應于設(shè)備狀態(tài)，例如連接至一計算機而在各捕 捉模式之間切換。例如，在設(shè)備具有能像webcam—樣工作的'對接'模式的 情況下，該設(shè)備可以在經(jīng)由物理連接(例如，通過連接至接口 116的USB導
線)或無線地(例如，經(jīng)藍牙鏈路通過無線收發(fā)機112)連接至計算機時自動 切換至該模式。
在其中設(shè)備狀態(tài)可以使設(shè)備在各捕捉模式之間切換的另一個示例是在設(shè) 備電池(圖1中的項103)開始低電量的情況下。 一旦檢測到電池電量低的情 況，就向用戶提供警告(例如，視覺或聽覺警告)并且該設(shè)備可切換至電池密 集(intensive)較低的捕捉模式。這可涉及關(guān)閉一些傳感器和/或停止從遠程傳 感器(圖1中的項110)接收信號并使用一組簡化的傳感器來指示捕捉條件。 在其中設(shè)備狀態(tài)可以使設(shè)備在各捕捉模式之間切換的另一個示例是在可用存
儲器低于閾值(例如，剩余容量低于50幅)的情況下。該設(shè)備可以切換成其 中各圖像捕捉的最小時間有所增加(例如，從圖6所示的10秒到144秒)的 捕捉模式。同樣地，向用戶提供警告。
在以上描述中，該設(shè)備在電池電量低/存儲器低于閾值時自動切換至電量 電池/存儲器密集較低的捕捉模式。在另一個示例中，用戶可以將達到低電量電 池或者低存儲器警告水平時設(shè)備應該做出什么改變指定為用戶定制的捕捉模 式的部分。用戶還可以指定低電量電池或者低存儲器警告會出現(xiàn)的閾值。
自動圖像捕捉設(shè)備可以響應于傳感器信息在捕捉模式之間切換。在此示 例中，該設(shè)備還可以在沒有檢測到運動并且在亮度和溫度讀數(shù)在一段時間內(nèi)維 持恒定時自動切換至'對接'webcam模式。這暗示了該設(shè)備正處于固定位置。
在低存儲器警告出現(xiàn)的情況下，就可以對后續(xù)捕捉的圖像使用圖像評估 算法，從而盡可能地延遲存儲器變滿的時刻。示例性算法以在上文中關(guān)于'場 景改變'捕捉模式而有所描述。作為附加(或者代替)，該算法可對部分或全 部的存儲圖像使用，其中非常類似的相鄰圖像被刪除。這樣就能夠釋放可觀的 存儲器空間，但會是處理器密集和功率密集的。然而，處理器負載可以通過在 照相機上的背景下運行圖像評估算法來時間擴展，以標識在可用存儲器變得受 限時應刪除的一組候選圖像。該候選組可以標識圖像以一特定順序刪除，從而 首先刪除實際上等同于保留圖像的各幅圖像，隨后再刪除差別更大的圖像。除 了根據(jù)相似性加權(quán)各圖像以供刪除之外，還可以加權(quán)較早的圖像，使其相比于 最近捕捉的圖像更可能被刪除。通過按此順序方式刪除圖像，設(shè)備可以工作而 絕不會達到存儲器全滿的那一點。當接近存儲器全滿點時，可以刪除一圖像以
保存新圖像。這能讓佩戴者具有其佩戴設(shè)備期間全部時間的采樣記錄，而不是 丟失后面那一部分。在此情況下，設(shè)備的工作最終又受電池壽命的限制。在另 一個示例中，該設(shè)備還可基于歷史信息修改該刪除過程。如果該設(shè)備歷史上在
每天下午5點至6點間對接并下載數(shù)據(jù)，則該設(shè)備可以假設(shè)其會在下午5點至 6點間再次對接，并且如果可用存儲器開始為低，則該設(shè)備能夠以其將會在下 午6點滿容量為基礎(chǔ)來管理存儲器。
除了能夠如上所述例如使用圖6所示的用戶界面來定制捕捉模式之外， 用戶還能夠定制設(shè)備在各捕捉模式之間自動改變的各種條件。這種定制能夠以 類似指定捕捉模式的方式在照相機上或離開照相機(例如，在計算機上)指定。 在某些示例中，用戶可能無法在設(shè)備使用'捕捉阻止'模式(如上所述)時進 行指定。如上所述，這些條件可以存儲在存儲器115的部分307內(nèi)(參見圖l 和3)。
在自動圖像捕捉設(shè)備具有如圖7所示撥盤701的情況下，用戶還能夠在 設(shè)備上定制每種設(shè)置的效果(例如，圖7中的設(shè)置1-6)。例如，在設(shè)備具有 5個預設(shè)捕捉模式和5個用戶定制模式的情況下，用戶可以定義設(shè)置1-5對應 于5個用戶定制模式而設(shè)置6則對應于5個預設(shè)捕捉模式中的一個選定模式。 在設(shè)備具有一組按鈕或其他輸入設(shè)備來代替撥盤時，用戶能夠類似地定制輸入 設(shè)備。
以上描述不限于Microsoft Research開發(fā)的SenseCam，而是可應用于能夠 在例如滿足預定義捕捉條件時自動捕捉圖像的任何圖像捕捉設(shè)備。捕捉條件沒 有必要與傳感器數(shù)據(jù)相關(guān)，但是可以與其他參數(shù)相關(guān)。
雖然以上描述涉及可佩戴自動圖像捕捉設(shè)備，但這只是示例方式。作為 替換，該設(shè)備可以是便攜式設(shè)備或者能夠在例如建筑物或汽車等的靜態(tài)位置下 工作的設(shè)備。若該設(shè)備是在建筑物的固定位置下工作，則可依賴于該房間/建筑 物是否被占用來使用不同的模式，并且在此情況下，模式可以在收到外部信號 (例如，指示建筑物的警報系統(tǒng)已被激活或者解除激活或者該警報系統(tǒng)已被觸 發(fā)的信號)時自動改變。若該設(shè)備是在車輛內(nèi)的靜止位置下工作，則可依賴于 該車輛是熄火、固定不動還是在移動來使用不同的模式。若該車輛是應急服務 車輛，那么可以在藍燈打開時使用另一模式。在該車輛示例中，可以響應于接收自車輛控制系統(tǒng)的外部信號來自動切換各模式。
雖然以上描述涉及作為記憶喚起幫助或是作為日記生成工具的設(shè)備，但 是本設(shè)備還可用于許多不同的應用，包括安全或監(jiān)督(參見上述建筑物和車輛 應用)、健康監(jiān)視、健身/運動(例如，作為訓練記錄/幫助)、旅游和寵物照 料。
本領(lǐng)域的技術(shù)人員將認識到用于存儲程序指令的存儲設(shè)備可分布在網(wǎng)絡(luò) 上。例如，遠程計算機可存儲描述為軟件的該過程的示例。本地或終端計算機 可訪問遠程計算機并下載該軟件的一部分或全部以運行該程序。可替換地，本 地計算機可按需下載軟件的片斷，或者可以在本地終端上執(zhí)行一些軟件指令而 在遠程計算機(或計算機網(wǎng)絡(luò))上執(zhí)行一些軟件指令。本領(lǐng)域的技術(shù)人員將認 識到，通過使用本領(lǐng)域技術(shù)人員已知的常規(guī)技術(shù)，軟件指令的全部或部分可由 專用電路如DSP、可編程邏輯陣列等來執(zhí)行。
如對于本領(lǐng)域的技術(shù)人員而言，顯然此處給出的任何范圍或者設(shè)備值可 以被擴展或者改變而不失去所尋求的效果。
本文中描述的各方法步驟可以在需要時按任何合適的次序或同時執(zhí)行。
可以理解，上面對于較佳實施例的描述僅僅是作為例子給出的，而本領(lǐng) 域的技術(shù)人員可以做出多種改變。
雖然已經(jīng)用具體到結(jié)構(gòu)功能部件和/或方法動作的語言對主題進行了描 述，但是應該理解，在所附權(quán)利要求中定義的該主題不必限于上述具體的功能 部件或動作。相反，上述具體功能部件和動作是作為實現(xiàn)權(quán)利要求的示例形式 而公開的。
權(quán)利要求
1.一種可在多個捕捉模式的任一模式下工作的圖像捕捉設(shè)備，所述設(shè)備包括圖像傳感器；被安排用于存儲多組捕捉觸發(fā)的存儲器，其中每組捕捉觸發(fā)與所述多個捕捉模式之一相關(guān)聯(lián)；以及被安排用于選擇所述多個捕捉模式之一的處理器，以使得該設(shè)備在所選捕捉模式下工作，其中在所述組關(guān)聯(lián)捕捉觸發(fā)中的一個捕捉觸發(fā)被滿足的情況下自動捕捉圖像。
2. 如權(quán)利要求1所述的圖像捕捉設(shè)備，其特征在于，所述處理器被安排 為響應于接收到的輸入選擇所述捕捉模式之一 。
3. 如權(quán)利要求1或2所述的圖像捕捉設(shè)備，其特征在于，所述存儲器被 安排為存儲一組模式改變參數(shù)，并且其中所述處理器被安排為響應于接收到的 輸入并根據(jù)該組模式改變參數(shù)來重新選擇一捕捉模式。
4. 如權(quán)利要求2或3所述的圖像捕捉設(shè)備，其特征在于，所述接收到的 輸入包括以下的至少一項時間、用戶輸入、來自日歷程序的觸發(fā)、無線接收 器接收的信號、從傳感器接收的輸入、設(shè)備狀態(tài)信息和模式序列文件。
5. 如權(quán)利要求3所述的圖像捕捉設(shè)備，其特征在于，所述接收到的輸入 是時間，并且其中該組模式改變參數(shù)包括一模式序列及其關(guān)聯(lián)模式改變時間。
6. 如權(quán)利要求2或3所述的圖像捕捉設(shè)備，其特征在于，還包括用戶輸 入裝置，并且其中所述接收到的輸入是從該用戶輸入裝置接收的。
7. 如權(quán)利要求1至6中任一項所述的圖像捕捉設(shè)備，還包括傳感器，并 且其中所述各組捕捉觸發(fā)中的至少一個包括關(guān)于所述傳感器的輸入來定義的 捕捉觸發(fā)。
8. 如權(quán)利要求1至7中任一項所述的圖像捕捉設(shè)備，其特征在于，所述 各組捕捉觸發(fā)中的至少一個是用戶定義的。
9. 一種捕捉圖像的方法，包括如下步驟 從一組的至少兩個捕捉模式中選擇一捕捉模式；訪問與所選捕捉模式相關(guān)聯(lián)的 一組捕捉觸發(fā)；在接收到的輸入滿足所述組被訪問捕捉觸發(fā)中的一個捕捉觸發(fā)時觸發(fā)圖 像捕捉；以及在模式改變參數(shù)被滿足時從所述組的至少兩個捕捉模式中選擇另一捕捉 模式。
10. 如權(quán)利要求9所述的方法，其特征在于，選擇一捕捉模式包括 接收一輸入；以及根據(jù)所述接收到的輸入從一組的至少兩個捕捉模式中選擇一捕捉模式。
11. 如權(quán)利要求10所述的方法，其特征在于，接收輸入包括接收來自用 戶、傳感器、無線接收機和時鐘之一的輸入。
12. 如權(quán)利要求9至11中任一項所述的方法，其特征在于，觸發(fā)圖像捕 捉包括-接收來自用戶、傳感器、無線接收機和時鐘之一的輸入；以及 在所述接收到的輸入滿足所述組被訪問捕捉觸發(fā)中的一個捕捉觸發(fā)時觸 發(fā)圖像捕捉。
13. 如權(quán)利要求9至12中任一項所述的方法，其特征在于，所述組捕捉 觸發(fā)包括關(guān)于傳感器輸入來定義的捕捉觸發(fā)。
14. 如權(quán)利要求9至13中任一項所述的方法，其特征在于，所述組捕捉 觸發(fā)是用戶定義的。
15. 如權(quán)利要求9至14中任一項所述的方法，其特征在于，所述模式改 變參數(shù)定義一組用戶輸入。
16. 如權(quán)利要求15所述的方法，其特征在于，選擇另一捕捉模式包括 檢測用戶輸入；標識所檢測到的用戶輸入是在所述模式改變參數(shù)中定義的；以及 基于所檢測到的用戶輸入和所述模式改變參數(shù)從所述組的至少兩個捕捉 模式中選擇另一捕捉模式。
17. 如權(quán)利要求9-15中任一項所述的方法，其特征在于，選擇另一捕捉 模式包括檢測經(jīng)由無線接收機接收到的信號；以及基于所接收到的信號和所述模式改變參數(shù)從所述組的至少兩個捕捉模式 中選擇另一捕捉模式。
18. —種包括計算機程序代碼裝置的計算機程序，在所述程序在計算機上 運行時適于執(zhí)行權(quán)利要求9至17中任一項所述的方法。
19. 如權(quán)利要求18所述的計算機程序在計算機可讀介質(zhì)上具體化。
全文摘要
描述了一種在多個捕捉模式中的任一模式下工作的圖像捕捉設(shè)備。該設(shè)備包括照相機、存儲器和處理器。存儲器存儲了多組捕捉觸發(fā)，每組捕捉觸發(fā)都與多個捕捉模式之一相關(guān)聯(lián)。處理器選擇多個捕捉模式之一，使得該設(shè)備在所選捕捉模式下工作。在所選的捕捉模式中，當該組關(guān)聯(lián)的捕捉觸發(fā)中的一捕捉觸發(fā)被滿足時自動捕捉圖像。
文檔編號H04N5/225GK101341734SQ200680045520
公開日2009年1月7日 申請日期2006年11月16日 優(yōu)先權(quán)日2005年12月5日
發(fā)明者A·克里米尼斯, C·洛瑟, J·切洛伊安, J·斯里尼瓦森, K·伍德, L·威廉姆斯, S·胡德格斯 申請人:微軟公司