專(zhuān)利名稱(chēng)：數(shù)字圖像的回放的制作方法
數(shù)字圖像的回放
背景
在過(guò)去的幾年里，數(shù)碼照相機(jī)的使用量大幅增加，而且數(shù)碼照相機(jī)現(xiàn)在通 常并入其他的便攜式電子設(shè)備，特別是移動(dòng)電話(huà)。數(shù)碼照相機(jī)允許用戶(hù)拍攝大
量照片，允許他們知道他們能夠在隨后選擇打印或以其他方式保存哪些和多少 圖像。這導(dǎo)致了用戶(hù)具有一個(gè)很大的數(shù)字圖像集合。
SenseCam (感知相機(jī))是一款由Microsoft Research (微軟研究院)開(kāi)發(fā) 的可佩戴照相機(jī)，它可通過(guò)使用戶(hù)能夠倒帶該設(shè)備佩戴者最近所經(jīng)歷的事件來(lái) 幫助喚起記憶。這對(duì)于記憶受損的個(gè)體或者在個(gè)體經(jīng)歷創(chuàng)傷性事件的情況下 (例如，老年人因跌倒導(dǎo)致受傷)尤為有用。
該設(shè)備可以捕捉極大數(shù)量的圖像，并且除了捕捉圖像之外，該設(shè)備還記錄 傳感器數(shù)據(jù)，諸如周期性運(yùn)動(dòng)、亮度級(jí)和溫度。該傳感器數(shù)據(jù)用于觸發(fā)圖像捕 捉，例如當(dāng)亮度級(jí)改變或者突然移動(dòng)時(shí)。亮度級(jí)的改變可以指示用戶(hù)從一個(gè)房 間移動(dòng)至另一房間，或者從室內(nèi)移動(dòng)至室外，因此捕捉的圖像將會(huì)指示佩戴者 位置(和環(huán)境)的變化。該設(shè)備具有廣角或魚(yú)眼鏡頭，使得用戶(hù)不必?fù)?dān)心需要 將設(shè)備指向特定方向。 一加速計(jì)用于圖像穩(wěn)定。
通過(guò)使用傳統(tǒng)數(shù)碼照相機(jī)或SenseCam，用戶(hù)就可以生成他們想要查看的 一個(gè)巨大的數(shù)字圖像集合?，F(xiàn)存有許多軟件應(yīng)用程序允許用戶(hù)經(jīng)由目錄結(jié)構(gòu)或 文件夾層次瀏覽他們的照片并能以電影膠片或幻燈片的形式查看目錄/文件夾 內(nèi)的圖像。攝影膠片視圖從目錄中顯示沿著水平線(按文件名的字母順序排列) 彼此相鄰的各幅圖像，其中滾動(dòng)條允許用戶(hù)沿著該攝影膠片移動(dòng)。幻燈片放映 視圖根據(jù)文件名的字母次序列表順序顯示目錄中的各幅圖像。已經(jīng)開(kāi)發(fā)的快速 順次視覺(jué)呈現(xiàn)(RSVP)技術(shù)允許用戶(hù)向前或向后并以可調(diào)節(jié)的速度來(lái)瀏覽他 們的照片。慢速時(shí)顯示類(lèi)似于幻燈片放映視圖，而快速時(shí)顯示則更類(lèi)似于電影。
雖然這些視圖能夠很好地顯示含有幾十張照片的目錄，但是它們不適合顯 示含有多得多照片數(shù)量的目錄。具體問(wèn)題可能會(huì)在用戶(hù)嘗試査看SenseCam上拍攝的圖像時(shí)出現(xiàn)，因?yàn)镾enseCam可能會(huì)在一天之內(nèi)拍攝幾百幅圖片(甚至 有可能上千幅)圖像。
概述
下面提供本揭示的簡(jiǎn)化概要以便為讀者提供基本的理解。本概要不是本揭 示的詳盡概觀，并且既不標(biāo)識(shí)本發(fā)明的關(guān)鍵/本質(zhì)元素也不描繪本發(fā)明的范圍。 其唯一目的是以簡(jiǎn)化形式提供在此揭示一些概念作為稍后提供的更詳細(xì)描述 的序言。
第一示例提供一種顯示數(shù)字圖像的方法，包括以下各項(xiàng)步驟接收顯示長(zhǎng) 度指示符；訪問(wèn)數(shù)字圖像；根據(jù)顯示長(zhǎng)度指示符和預(yù)定義選擇準(zhǔn)則從所訪問(wèn)的 數(shù)字圖像中選擇一組數(shù)字圖像；并且以預(yù)定次序顯示所選的該組數(shù)字圖像。
有利地，本方法把要顯示的圖像數(shù)量自動(dòng)減少至用戶(hù)定義的水平。這在數(shù) 字圖像源很大(例如，幾百幅圖像)的情況下特別有用。它使得對(duì)事件序列的 搜索更為簡(jiǎn)單并且更加用戶(hù)友好。預(yù)定義選擇準(zhǔn)則的示例包括但不限于根據(jù)圖像的日期/時(shí)間戳、圖像在序 列中的位置或者圖像間的差異、或者一組代表性圖像的選擇來(lái)進(jìn)行選擇。
優(yōu)選地，數(shù)字圖像是數(shù)字照片。
優(yōu)選地，預(yù)定次序是時(shí)間次序。
有利地，通過(guò)按時(shí)間順序顯示圖像，用戶(hù)就看到記錄在圖像內(nèi)各事件的代 表性視圖以及它們?nèi)绾伪舜讼嚓P(guān)，而不會(huì)超載過(guò)多的信息。
優(yōu)選地，顯示長(zhǎng)度指示符包括以下各項(xiàng)之一圖像數(shù)量、顯示時(shí)間或者圖 像差異閾值。
有利地，通過(guò)指定顯示時(shí)間，用戶(hù)能夠?qū)⑺麄兊牟榭大w驗(yàn)調(diào)整成適合他們 可用的時(shí)間。
訪問(wèn)步驟包括以下各步驟訪問(wèn)數(shù)字圖像；并且將所訪問(wèn)的數(shù)字圖像限制 為在定義時(shí)段內(nèi)捕捉的圖像。
優(yōu)選地，選擇步驟包括以下各步驟從顯示長(zhǎng)度指示符確定要顯示的圖像 數(shù)量；并且根據(jù)關(guān)聯(lián)于每幅圖像的時(shí)間戳和每幅圖像的性質(zhì)中的至少一個(gè)從所 訪問(wèn)的圖像中選擇所述數(shù)量的圖像。優(yōu)選地，選擇所述數(shù)量的圖像的步驟包括以下各項(xiàng)步驟根據(jù)指定的準(zhǔn)則 從所訪問(wèn)圖像中選擇第一圖像；從所訪問(wèn)圖像中選擇給出預(yù)定義能量參數(shù)極值 的再一幅圖像；并且重復(fù)選擇再一幅圖像的步驟直到己選擇了預(yù)定數(shù)量的圖像。這樣就有利地從被訪問(wèn)的圖像中選擇了要顯示的一組代表性圖像。因此顯 示就向用戶(hù)提供了在數(shù)字圖像中捕捉的活動(dòng)/場(chǎng)景的良好代表。取決于預(yù)定的能 量參數(shù)，極值可以是最大值或最小值。優(yōu)選地，能量參數(shù)是關(guān)于重要性因子和相似性因子而被定義的，并且其中 重要性因子是關(guān)于一幅或多幅圖像屬性的度量而相似性因子則是關(guān)于兩幅圖 像之間差異的度量。優(yōu)選地，重要性因子是以下一項(xiàng)或多項(xiàng)的度量圖像中人臉的存在；圖像 的有趣程度；以及圖像的清晰度。優(yōu)選地，顯示步驟包括以預(yù)定次序順序顯示所選的一組數(shù)字圖像。本方法還包括以下各項(xiàng)步驟訪問(wèn)音頻剪輯；選擇與所選數(shù)字圖像相關(guān)聯(lián) 的一個(gè)或多個(gè)音頻剪輯；以及與顯示所選一組數(shù)字圖像步驟并行地播放所選音 頻剪輯。本方法還包括以下各項(xiàng)步驟訪問(wèn)傳感器數(shù)據(jù)；選擇傳感器數(shù)據(jù)中與所選 數(shù)字圖像相關(guān)聯(lián)的那些部分；處理傳感器數(shù)據(jù)所選的各部分以提供感知反饋信 號(hào)；以及與顯示所選的一組數(shù)字圖像的步驟并行地輸出該感知反饋信號(hào)。有利地，提供感知反饋信號(hào)就能向查看者提供增強(qiáng)的體驗(yàn)并能讓査看者更 好地欣賞圖像中示出的活動(dòng)。優(yōu)選地，傳感器數(shù)據(jù)包括加速度數(shù)據(jù)；感知反饋信號(hào)包括低頻音頻信號(hào)并 且輸出步驟包括與顯示所選的一組數(shù)字圖像的步驟并行地向感知執(zhí)行器輸出 該低頻音頻信號(hào)。優(yōu)選地，處理傳感器數(shù)據(jù)的所選部分的步驟包括訪問(wèn)音頻剪輯；使用低 通濾波器過(guò)濾音頻剪輯以產(chǎn)生低頻音頻信號(hào)；以及根據(jù)加速度數(shù)據(jù)控制低頻音 頻信號(hào)的放大。本方法還包括以下步驟與向傳感執(zhí)行器輸出低頻音頻信號(hào)同步播放音頻 剪輯。優(yōu)選地，傳感執(zhí)行器包括低音揚(yáng)聲器。 有利地，無(wú)需專(zhuān)門(mén)的設(shè)備就能提供感知反饋。
第二示例提供了一種包括計(jì)算機(jī)程序代碼裝置的計(jì)算機(jī)程序，當(dāng)所述程序 在計(jì)算機(jī)上運(yùn)行時(shí)適于執(zhí)行上述任何方法的所有步驟。 該計(jì)算機(jī)程序可以在計(jì)算機(jī)可讀介質(zhì)上具體化。
第三示例提供一種用于顯示數(shù)字圖像的裝置，包括用戶(hù)輸入設(shè)備；處理
器，被安排用于接收來(lái)自用戶(hù)輸入設(shè)備的顯示長(zhǎng)度指示符，訪問(wèn)數(shù)字圖像并且 根據(jù)顯示長(zhǎng)度指示符和預(yù)定義的選擇準(zhǔn)則從所訪問(wèn)的數(shù)字圖像中選擇一組數(shù)
字圖像；以及顯示器，用于以預(yù)定次序顯示所選的該組數(shù)字圖像。 優(yōu)選地，預(yù)定次序是時(shí)間次序。
再一個(gè)示例提供了一種向一幅或多幅數(shù)字圖像的查看者提供感知反饋的 方法，所述方法包括訪問(wèn)傳感器數(shù)據(jù)的源；選擇關(guān)聯(lián)于所述一幅或多幅數(shù)字 圖像中至少一幅的傳感器數(shù)據(jù)的部分；處理傳感器數(shù)據(jù)的所選部分以提供感知
反饋信號(hào)；以及將該感知反饋信號(hào)輸出至執(zhí)行器。
另一示例提供一種用戶(hù)界面，包括被安排用于指示顯示長(zhǎng)度指示符的第 一元素；被安排用于指示數(shù)字圖像位置的第二因素以及用于啟動(dòng)對(duì)選自該數(shù)字 圖像的一組圖像的顯示的輸入，該組圖像是根據(jù)顯示長(zhǎng)度指示符和預(yù)定義選擇 準(zhǔn)則來(lái)選擇的。
在此描述的各方法可由存儲(chǔ)介質(zhì)上具備機(jī)器可讀形式的軟件執(zhí)行。軟件能 夠適于在并行處理器或串行處理器上執(zhí)行，使得本方法的各步驟可以按任何合 適的次序或同時(shí)開(kāi)展。
這里承認(rèn)軟件能夠是有價(jià)值的、可以單獨(dú)交易的商品。它旨在包含運(yùn)行于 或者控制"椏(dumb)"或者標(biāo)準(zhǔn)的硬件以實(shí)現(xiàn)期望的功能的軟件。它還旨在 包含"描述"或者定義硬件配置的軟件，例如HDL (硬件描述語(yǔ)言)軟件， 用于設(shè)計(jì)硅芯片，或者用于配置通用可編程芯片以實(shí)現(xiàn)期望的功能。
許多伴隨特征將隨著參考下面的詳細(xì)描述并結(jié)合附圖進(jìn)行理解而得到更 好的認(rèn)識(shí)。


從結(jié)合附圖的下列詳細(xì)描述將更好地理解本描述，在附圖中 圖1是數(shù)字圖像回放方法的一個(gè)示例性流程圖； 圖2-4示出了用戶(hù)界面的示例；圖5示出了一種用于數(shù)字圖像回放的安排的示意圖；圖6是選擇一組圖像的方法的示例性流程圖；圖7是例示圖6所示選擇方法的示意圖；圖8是例示選擇方法的另一示例的示意圖；圖9是選擇一組代表性圖像的方法的示例性流程圖；圖IO是示出了用于定義通用紋理基元(texton)詞匯的過(guò)程的示例性流程圖；圖11是圖IO所示用于定義通用紋理基元詞匯的過(guò)程中各階段的示意圖； 圖12是示出了一種用于確定圖像的紋理基元直方圖的方法的示例性流程圖；圖13示出了紋理基元直方圖的兩個(gè)示例；圖14示出了一個(gè)示例性顯示屏；圖15是數(shù)字圖像回放方法的另一個(gè)示例性流程圖；圖16示出了用于記錄加速度信息的裝置的示意圖；圖17示出了從所記錄的加速度數(shù)據(jù)中確定的傾斜度量的示例性圖表；圖18示出了典型的家用計(jì)算機(jī)音頻系統(tǒng)的示意圖；以及圖19示出了使用觸覺(jué)論增強(qiáng)回放的信號(hào)處理步驟的一個(gè)示例的示意圖。 相同的標(biāo)號(hào)用于指示附圖中相同的部分。詳細(xì)描述下面結(jié)合附圖提供的詳細(xì)說(shuō)明旨在作為本發(fā)明的例子的描述，但是并不旨 在表示可以構(gòu)造或者使用本例子的僅有的形式。該描述闡述本示例的功能以及 用于構(gòu)造和操作本示例的步驟序列。然而，相同或等價(jià)的功能與序列可由不同 的示例來(lái)完成。圖1是數(shù)字圖像(例如，數(shù)碼照片)回放方法的一個(gè)示例性流程圖。用戶(hù) 輸入信息以提供對(duì)所需顯示長(zhǎng)度的指示符(步驟101)。該指示符可以有關(guān)所9需顯示的時(shí)間長(zhǎng)度(例如，秒或分鐘)、有關(guān)要顯示的圖像數(shù)量、或者其他參
數(shù)，諸如正顯示的兩圖像間最小差異的指示(例如，最小SAD為20，見(jiàn)下文 討論)。訪問(wèn)圖像源(步驟102)，其中每幅圖像都具有與其相關(guān)聯(lián)的日期/ 時(shí)間戳，以詳述該圖像是在何時(shí)被捕捉/拍攝(例如，存儲(chǔ)為JPEG圖像的屬性)。 隨后根據(jù)顯示長(zhǎng)度指示符從源中選擇一組圖像(步驟103)。隨后以預(yù)定次序 (例如，按時(shí)間順序)顯示所選的一組圖像(步驟104)，該顯示從第一幅拍 攝的所選圖像開(kāi)始并以最后一幅拍攝的所選圖像結(jié)束(按照?qǐng)D像日期/時(shí)間戳所 定義的)。這些步驟在下面將更詳細(xì)地描述。
圖2-4示出了可由用戶(hù)用來(lái)輸入顯示長(zhǎng)度指示符(為步驟IOI)的用戶(hù)界 面(UI)示例。圖2示出了在其中用戶(hù)能夠指定圖像位置(框201)的第一示 例性UI屏幕200。圖像可以存儲(chǔ)在單個(gè)目錄下或是跨多個(gè)目錄存儲(chǔ)，此外它 們還可以存儲(chǔ)在正運(yùn)行顯示應(yīng)用程序的計(jì)算機(jī)上或是可經(jīng)由內(nèi)聯(lián)網(wǎng)或互聯(lián)網(wǎng) 的網(wǎng)絡(luò)遠(yuǎn)程地進(jìn)行訪問(wèn)。在此示例中，向用戶(hù)提供了有關(guān)顯示長(zhǎng)度指示符的兩 個(gè)可選項(xiàng)單元——時(shí)間(使用按鈕202選擇)或者圖像數(shù)量(使用按鈕203選 擇)。在任一情況下，用戶(hù)都可以直接輸入所需數(shù)量(在框204、 205中)或 者使用箭頭按鈕206來(lái)設(shè)置顯示長(zhǎng)度指示符。除了選擇顯示長(zhǎng)度指示符之外， 用戶(hù)還可以選擇所需的顯示類(lèi)型(屏幕部分207)以及某些增強(qiáng)特征(屏幕部 分208)。顯示類(lèi)型和增強(qiáng)特征將在以下更為詳細(xì)地解釋。顯示長(zhǎng)度指示符是 在用戶(hù)點(diǎn)擊'下一個(gè)，按鈕209時(shí)的輸入(為步驟101)。
圖3示出了第二示例性UI屏幕300，該UI屏幕300具有顯示區(qū)域301以 及其下的兩個(gè)滑塊302、 303和時(shí)間線304。第一滑塊302能讓用戶(hù)通過(guò)點(diǎn)擊和 向兩側(cè)拖曳條305來(lái)指定顯示長(zhǎng)度指示符。如果用戶(hù)將條305左移，則顯示指 示符變小而如果用戶(hù)將條305右移，則顯示指示符增加。第二滑塊303允許用 戶(hù)顯示所基于的時(shí)段，并且具有兩個(gè)可調(diào)節(jié)標(biāo)記306、 307，這兩個(gè)標(biāo)記分別可 以相對(duì)于其上的時(shí)間線304移動(dòng)來(lái)設(shè)置開(kāi)始和結(jié)束時(shí)間。在所選圖像的回放期 間(在步驟104)，箭頭308沿著時(shí)間線304移動(dòng)以向用戶(hù)指示正顯示的圖像 是何時(shí)被拍攝的。用戶(hù)可以在任何時(shí)刻點(diǎn)擊該箭頭來(lái)暫停顯示。在此示例中， 顯示長(zhǎng)度指示符可以只要條305沿滑塊302移動(dòng)使得值改變就被自動(dòng)輸入(為 步驟101)。輸入新的顯示長(zhǎng)度指示符(步驟101)會(huì)引起使用新的顯示參數(shù)和新近選擇的一組圖像(在步驟103中選擇的)的圖像顯示重新開(kāi)始(步驟 104)。圖4示出了第三示例性UI屏幕400，在其中如圖2—樣，向用戶(hù)提供了 有關(guān)顯示長(zhǎng)度指示符的兩個(gè)可選項(xiàng)單元——時(shí)間(使用按鈕401選擇)或者圖 像數(shù)量(使用按鈕402選擇)。在此示例中，顯示長(zhǎng)度指示符的值通過(guò)旋轉(zhuǎn)刻 度盤(pán)403來(lái)設(shè)置，因此在順時(shí)針旋轉(zhuǎn)刻度盤(pán)403時(shí)顯示長(zhǎng)度增加而在逆時(shí)針旋 轉(zhuǎn)刻度盤(pán)403時(shí)顯示時(shí)間縮短。顯示長(zhǎng)度指示符的值在合適的框404中顯示。 如圖2—樣，顯示長(zhǎng)度指示符是在用戶(hù)點(diǎn)擊按鈕時(shí)的輸入(為步驟101)，在 此示例中用戶(hù)點(diǎn)擊的按鈕是'顯示'按鈕405。圖5示出了根據(jù)圖1所示方法的一種用于數(shù)字圖像回放的安排的示意圖， 包括顯示器501、處理器502、用戶(hù)輸入設(shè)備503和圖像源504。顯示器501 用于顯示UI (例如，如圖2-4所示)和圖像。處理器502接收來(lái)自用戶(hù)輸入設(shè) 備503的顯示長(zhǎng)度指示符(步驟101)，訪問(wèn)圖像源(步驟102)，從源中選 擇一組數(shù)字圖像以供顯示(步驟103)并在隨后將所選的該組圖像輸出至顯示 器501 (步驟104)。顯示器501、處理器502和用戶(hù)輸入設(shè)備503可以集成在 一數(shù)碼相機(jī)內(nèi)，因此回放可以在拍攝圖像(即，數(shù)碼照片)的相機(jī)上進(jìn)行。在 另一示例中，處理器502可以是附連有監(jiān)視器(顯示器501)和鍵盤(pán)和/或鼠標(biāo) (用戶(hù)輸入設(shè)備503)的計(jì)算機(jī)的一部分。如上所述，訪問(wèn)圖像源的步驟(步驟101)可以涉及訪問(wèn)位于一個(gè)或多個(gè) 地點(diǎn)的一個(gè)或多個(gè)目錄。圖像可以是本地存儲(chǔ)的，例如與處理器相同的設(shè)備上， 或者可以存儲(chǔ)在其他地方，例如在遠(yuǎn)程計(jì)算機(jī)、服務(wù)器或網(wǎng)站上。圖像源的位 置可以由用戶(hù)經(jīng)由例如圖2的框201之類(lèi)的UI來(lái)指定。除了僅指定存儲(chǔ)圖像 的目錄之外，還可以對(duì)圖像源進(jìn)行進(jìn)一步的限制。如圖3所示，用戶(hù)還可以例 如使用滑塊303來(lái)指定有趣圖像的日期/時(shí)間范圍。這一用戶(hù)輸入除了已由用戶(hù) 標(biāo)識(shí)任何文件目錄(例如，經(jīng)由圖2的框201)之外還用作對(duì)圖像源的進(jìn)一步 限制。從源中選擇滿(mǎn)足顯示長(zhǎng)度指示符的一組圖像(步驟103)可以使用各種不 同的方法來(lái)實(shí)現(xiàn)，此處描述了三種可能的方法 ，根據(jù)時(shí)間/日期戳選擇 根據(jù)序列中的位置選擇 選擇一組代表性圖像 在其中根據(jù)圖像的時(shí)間/日期戳來(lái)作出選擇的第一種選擇方法可以參考圖
6和7進(jìn)行描述。首先計(jì)算要顯示的圖像數(shù)量(步驟601)。如果使用了單元
'圖像'，則該數(shù)量可以直接從顯示長(zhǎng)度指示符獲取。作為替換，該數(shù)量也可 以通過(guò)用所需顯示時(shí)間除以預(yù)定義的圖像顯示時(shí)間(例如，l秒種)來(lái)計(jì)算。
在計(jì)算出該數(shù)值(在圖7所示示例中為6)之后，就從源中所有這些圖像中選 擇所需數(shù)量的圖像，使得所選組盡可能跨所有圖像覆蓋的時(shí)段平均分布。圖7 在時(shí)間線702上將每幅圖像示出為圓圈701。垂直符號(hào)703示出了在源704的 第一幅圖像和源705的最后一幅圖像之間沿時(shí)間線等分的六個(gè)點(diǎn)。由箭頭706 指示的圖像是時(shí)間上最接近垂直符號(hào)703之一的那些點(diǎn)。雖然本方法提供了貫 穿感興趣的時(shí)段而在時(shí)間上被良好間隔的圖像，但是所選圖像可能不是代表性 的并且如果它們沿著時(shí)間線落在了錯(cuò)誤的點(diǎn)上，那么所選圖像可能會(huì)未命中圖 像聚類(lèi)(例如，聚類(lèi)707)。
在其中根據(jù)圖像在序列中的位置來(lái)作出選擇的第二種選擇方法可以參考 圖8進(jìn)行描述。首先以與上述相同(步驟601)的方式計(jì)算要顯示的圖像數(shù)量。 在計(jì)算出該數(shù)值(在圖8所示示例中仍為6)之后，就從源中所有這些圖像中 選擇所需數(shù)量的圖像，使得所選組盡可能地按圖像順序平均選取。圖8在時(shí)間 線702上將每幅圖像示出為圓圈701 (如圖7)。像箭頭801指示的那樣選擇 第一幅、第五幅、第九幅、第十三幅、第十七幅和最后一幅(第二十一幅)圖 像。雖然本方法提供了貫穿源內(nèi)那些圖像而良好間隔的圖像，但是所選圖像可 能對(duì)全組21幅圖像不具有代表性。
第三種選擇方法從源內(nèi)的那些圖像中選擇一組代表性圖像。如果該源包括
n幅圖像，就定義具有n個(gè)元素的向量x，其中如果圖像i被選作該組代表性圖
像之一，那么x(i)4;否則x(i)-0。于是，如果要從包括100幅圖像的源中選
擇10幅圖像，那么向量x會(huì)具有IOO個(gè)元素(n=100)，其中IO個(gè)元素等于
1而90個(gè)元素等于0。
為了選擇一組X幅的代表性圖像，將能量E定義為 <formula>formula see original document page 12</formula>其中如果arg為真，則5(Wg)-l;否則5(flrg) = 0 A^是常數(shù)且示例值為100S/m(ij)是兩幅圖像之間的相似性。兩幅同樣的圖像ij具有等于0的Sz'm(i,j)， 而兩幅很不同的圖像i,j則具有較大值的^Vn(U)。這被定義為兩幅圖像時(shí)間的 距離，例如兩幅圖像文本基元直方圖的絕對(duì)差之和(SAD)(將在下文中詳述)。 如下所述使用紋理基元直方圖，這是因?yàn)樗紤]到圖像的顏色和紋理基元兩 者。在另一示例中，可以使用顏色直方圖僅對(duì)具體圖像內(nèi)的像素顏色分布進(jìn)行 比較。Imp(i)是圖像的重要性，其值越高則認(rèn)為該圖像越重要。在一個(gè)示例中，它可 被定義為Imp(i)=人臉權(quán)重+平均信息量(i) 其中如果圖像中有人臉，則人臉權(quán)重=0.008;否則人臉權(quán)重=0。合適的人臉檢 測(cè)算法的一個(gè)示例在P. Viola和M. Jones發(fā)表于2001年的國(guó)際計(jì)算機(jī)視覺(jué)大 會(huì)(ICCV)的題為'健壯實(shí)時(shí)對(duì)象檢測(cè)，('Robust Real-Time Object Detection')中有所描述。平均信息量(/)"2^H/^og(W) 其中平均信息量(i)是對(duì)圖片多有趣的測(cè)度(例如，均勻顏色的圖像會(huì)不怎么有趣，而細(xì)節(jié)感強(qiáng)且色彩豐富的圖像則會(huì)很有趣)k是總像素?cái)?shù)m是圖像通道數(shù)(例如，RGB圖像具有3個(gè)通道) 《是像素i在通道c內(nèi)的值。在上述等式中，如果圖像中有人臉并且如果圖像具有較高的平均信息量， 即較高的有趣程度，則認(rèn)為該圖像比較重要?？梢允褂闷渌蛩刈鳛樘鎿Q或者 附加來(lái)確定圖像的重要性。例如還可以將圖像清晰度包括在內(nèi)，模糊的圖像具 有極低的值(例如，0)，而清晰的圖像則具有較高值。圖像若帶有與其相關(guān) 聯(lián)的音頻剪輯(如下將描述)，則可被認(rèn)為是重要的并且因此被包括在平均信息量的計(jì)算中。用戶(hù)能夠例如經(jīng)由UI來(lái)定義他們認(rèn)為比其他方面更重要的方 面(例如，清晰度相比于人臉出現(xiàn))。
為了選擇一組代表性圖像，必須找出能量E的最大值。這一優(yōu)化可以在圖 9所示通過(guò)一次選擇一幅圖像來(lái)執(zhí)行。首先如上所述(參考圖6的步驟601) 計(jì)算要顯示的圖像數(shù)量N (步驟900)。接下來(lái)將全部i的x(i)設(shè)置為0 (步驟 901)。將人臉最多的圖像選擇為第一圖像(步驟902)，并且針對(duì)該圖像，將 x(i)設(shè)置為l (步驟903)。隨后，通過(guò)選擇給出最大能量E的(第i幅)圖像 來(lái)一個(gè)個(gè)地選擇少于的N-1幅圖像(步驟904，包括904a和904b部分)。為 了選擇第二圖像，輪流檢查所有剩余的n-l幅圖像，并且計(jì)算E的值以找出哪 幅圖像(即i為幾)給出了最大值(步驟904a)，并且一旦被標(biāo)識(shí)，就把第二 所選圖像的x(i)的值設(shè)置為1 (步驟904b)。隨后為選擇第三圖像重復(fù)上述步 驟，即輪流檢査所有剩余的n-2幅圖像，并且計(jì)算E的值以找出哪幅圖像(即 i為幾)給出了最大值(步驟904a)，并且一旦被標(biāo)識(shí)，就把第三所選圖像的 x(i)的值設(shè)置為1 (步驟904b)。隨后重復(fù)上述步驟，直到已經(jīng)選擇了N幅圖 像并且在向量x中具有其x(i)-l的元素(步驟905)。
為了執(zhí)行上述對(duì)E值的計(jì)算(在步驟904a)，有必要計(jì)算Sim(i,j)的值。 如前所述，這被定義為兩幅圖像時(shí)間的距離，例如兩幅圖像紋理基元直方圖的 絕對(duì)差之和(SAD)。為了計(jì)算兩幅圖i和j的紋理基元直方圖的SAD，需要 紋理基元的通用詞匯。這是在許多訓(xùn)練圖像的基礎(chǔ)上定義，并且詞匯通常依賴(lài) 于應(yīng)用，所以訓(xùn)練圖像的類(lèi)型優(yōu)選地類(lèi)似于將位于源內(nèi)的實(shí)際圖像。例如，由 SenseCam拍攝的圖像具有與常規(guī)數(shù)碼照相機(jī)拍攝的圖像明顯不同的特性。因 此，在要使用SenseCam圖像的源時(shí)使用SenseCam圖像作為訓(xùn)練圖像將會(huì)是 合適的，而在要使用標(biāo)準(zhǔn)數(shù)碼照相機(jī)圖像的源時(shí)使用標(biāo)準(zhǔn)數(shù)碼照相機(jī)圖像作為 訓(xùn)練圖像將會(huì)是合適的。在要從中選擇其他類(lèi)型的圖像的情況下，則應(yīng)該使用 一組合適的代表圖像作為訓(xùn)練圖像以定義通用詞匯。
可以參考圖10和11描述定義通用詞匯的過(guò)程。選擇第一訓(xùn)練圖像1101 (步驟1002)并將該圖像傳遞通過(guò)一排諸如伽柏(Gabor)濾波器排的f個(gè)濾 波器(步驟902)，其中f是使用的濾波器的個(gè)數(shù)。以一種能夠獲取紋理信息 的方式來(lái)使用各濾波器。濾波器通常從圍繞每個(gè)像素的10x10像素區(qū)域中捕捉信息。通常使用一排17個(gè)濾波器(f=17)，并且相同的濾波器組可用于任何 應(yīng)用或任何圖像類(lèi)型。該步驟(步驟1002)的輸出是一組濾波器響應(yīng)圖像1102， 每幅圖像針對(duì)一濾波器(即，f幅濾波器響應(yīng)圖像)。隨后以f個(gè)維度標(biāo)繪每 幅濾波器響應(yīng)圖像中每個(gè)像素的濾波器響應(yīng)(步驟1003)?？紤]最初訓(xùn)練圖像 1101中位置(x，y)處的特定像素，存在f個(gè)濾波器響應(yīng)，每個(gè)濾波器響應(yīng)針對(duì)該 排內(nèi)的一個(gè)濾波器(即，在f幅濾波器響應(yīng)圖像1102的每一幅中位置(x,y)處的 濾波器響應(yīng))。這創(chuàng)造了帶有f個(gè)元素的向量(rhr2，r3，.…rf)，隨后可將其標(biāo)繪 在f維圖1103上。隨后可以用不同的訓(xùn)練圖像多次重復(fù)這三個(gè)步驟(1001-1003) 并且所有這些點(diǎn)都繪制在同一幅圖1104上。隨后例如使用k平均(k-means) 算法標(biāo)識(shí)該圖上點(diǎn)的聚類(lèi)1104a-f (步驟1004)，并在每個(gè)聚類(lèi)中央處定義位 置1105a-f (步驟1005)。因此就得到了一組向量，它們各自都包括f個(gè)元素， 并且各自定義了一個(gè)聚類(lèi)中央所處的位置。該組向量(圖11中示出為6個(gè)向 量，雖然通常存在有50個(gè)向量或"視覺(jué)詞")是紋理基元的通用詞匯(針對(duì) 與所使用訓(xùn)練圖像類(lèi)型相同的圖像)。每個(gè)視覺(jué)詞(或向量)如下所述導(dǎo)致紋 理基元直方圖中的一個(gè)柱(bin)。詞的個(gè)數(shù)較少(以及由此產(chǎn)生的條)導(dǎo)致執(zhí) 行圖像間比較時(shí)處理速度較快，然而個(gè)數(shù)較多則提供對(duì)兩圖像間差異性或相似 性的更好度量。在確定了通用紋理基元詞匯之后，就可以如圖12所示計(jì)算圖像的紋理基 元直方圖。選擇該圖像(步驟1201)并將其傳遞通過(guò)確定通用詞匯時(shí)所使用的 同一排f個(gè)濾波器(步驟1202)。隨后為f個(gè)濾波器中的每一個(gè)濾波器確定針 對(duì)該圖像每個(gè)像素的濾波器響應(yīng)以提供f維空間內(nèi)的位置(步驟1203)，隨后 將該位置與通用詞匯(例如，1105中示出的6個(gè)視覺(jué)詞)進(jìn)行比較以確定每個(gè) 像素最接近的聚類(lèi)中心位置(在步驟1005中定義)。將結(jié)果繪制在直方圖上， 其中每個(gè)柱針對(duì)一個(gè)視覺(jué)詞并且每個(gè)柱一條目針對(duì)最接近該視覺(jué)詞的每個(gè)像 素。圖13中示出了兩個(gè)紋理基元直方圖1301和1302的示例。隨后就可計(jì)算 兩幅圖i和j的紋理基元直方圖的SAD (即，每個(gè)柱大小之間的絕對(duì)差之和)， 并且這給出了用于計(jì)算如上所述的平均信息量E的S/m(i,j)的值。在以上的描述中，定義能量參數(shù)E從而能夠在確定代表性圖像的過(guò)程中尋 找最大值。本領(lǐng)域普通技術(shù)人員顯而易見(jiàn)的是，可以為能量參數(shù)使用其他替換的表達(dá)式并且依賴(lài)于所選的表達(dá)式，可以尋找最大值或最小值來(lái)確定代表性圖 像。在例如使用上述三種方法之一選擇要顯示的一組圖像(步驟103)之后， 就按時(shí)間順序顯示所選的該組圖像(步驟104)。存在有各種不同的圖像顯示 方式，并且所使用的顯示類(lèi)型可由用戶(hù)選擇(參見(jiàn)圖2所示的用戶(hù)界面的部分 207)。圖像可以例如使用幻燈片放映或RSVP技術(shù)來(lái)順序顯示，并且取決于每幅 圖像的顯示速度，在査看者看來(lái)圖像的顯示可以象是幻燈片放映顯示(慢速)、 類(lèi)似于翻書(shū)的顯示(中速)或者電影(快速)。每幅圖像顯示之間的時(shí)間可以 是恒定的(例如，每幅圖一秒)，或者在顯示間的時(shí)間可以有所變化從而為用 戶(hù)提供捕捉兩幅圖像間實(shí)際時(shí)間差異的指示。例如，如果第一幅圖像在上午9 點(diǎn)捕捉，第二幅在上午IO點(diǎn)而第三幅在下午兩點(diǎn)，那么若是第一幅圖像在1=0 時(shí)刻顯示，第二幅在1=1時(shí)刻顯示，則第三幅圖像就可以在1=1.2時(shí)刻顯示以 指示用戶(hù)第二幅和第三幅圖像之間的拍攝時(shí)間間隔要遠(yuǎn)大于第一幅和第二幅 圖像之間的拍攝時(shí)間間隔。在另一個(gè)示例中，取決于可用顯示區(qū)域，可以并排顯示部分或全部的所選 圖像。圖像可以在網(wǎng)格內(nèi)顯示或者可以模擬電影膠片沿單線顯示。在可用顯示 區(qū)域內(nèi)無(wú)法顯示全部圖像的情況下可以提供滾動(dòng)條，或者可以調(diào)整圖像大小以 適合可用顯示區(qū)域。在某些顯示示例中，可以在顯示圖像的同時(shí)示出時(shí)間線以便向査看者指示 圖像的拍攝時(shí)間，如圖3所示(時(shí)間線304)。可以使用具有帶等距核對(duì)記號(hào) 的線性標(biāo)度的標(biāo)準(zhǔn)時(shí)間線(或軌跡條)，即核對(duì)記號(hào)之間的間隔是恒定的(例 如，IO分鐘)，如圖7所示(核對(duì)記號(hào)703)。在另一個(gè)示例中，可以使用改進(jìn) 的時(shí)間線(或軌跡條)，其中核對(duì)記號(hào)(或其他指示符)用于表示場(chǎng)景的改變。 這些場(chǎng)景改變可以通過(guò)比較兩幅毗鄰圖像i和i+l并計(jì)算SAD (如上所述)來(lái) 檢測(cè)。如果SAD超過(guò)閾值(可以是可配置的)，就指定一場(chǎng)景中斷并在時(shí)間 線的該點(diǎn)上放置核對(duì)記號(hào)。這些核對(duì)記號(hào)仍可以顯示在線性時(shí)間線上，雖然它 們將不再等距間隔。這一改進(jìn)的時(shí)間線使得用戶(hù)能夠方便地向前/向后移動(dòng)通過(guò) 圖像序列中示出的不同場(chǎng)景。在其他示例中，場(chǎng)景改變標(biāo)記可以與時(shí)間線分開(kāi)使用，并且可以作為圖像序列的翻書(shū)或電影型呈現(xiàn)內(nèi)的標(biāo)志或標(biāo)簽。在其它的顯示示例中，可以使用同時(shí)和順序顯示的組合。這種顯示技術(shù)組合的示例可以參考圖14和圖15描述，其中圖14示出了示例性顯示屏幕1400 而圖15則示出了數(shù)字圖像回放方法的另一個(gè)示例性流程圖。如上所述，接收 顯示長(zhǎng)度指示符的輸入(步驟101)，訪問(wèn)圖像源(步驟102)并從源中選擇 滿(mǎn)足該顯示長(zhǎng)度指示符的一組圖像(步驟103)。在此示例中，選擇三幅代表 性圖像(在步驟103中)。隨后在三幅代表性圖像的每一幅周?chē)x擇一圖像聚 類(lèi)(步驟1501)。這些聚類(lèi)與參考圖10-13所提及的聚類(lèi)不同。選擇聚類(lèi)中的 圖像以使得這些圖像與代表性圖像相類(lèi)似，而這一選擇可以如下所述使用紋理 基元(或顏色)直方圖的SAD的計(jì)算來(lái)完成?？梢远x一閾值，若SAD低于 該閾值，則考慮圖像是類(lèi)似的。作為這一選擇的替換或者組合，可以定義最大 聚類(lèi)大小以選擇例如IO幅最接近的圖像(除非只有IO幅以下類(lèi)似圖像，在這 種情況下聚類(lèi)將包含少于10幅的圖像)。也可以在聚類(lèi)內(nèi)選擇的圖像，使得 它們的拍攝時(shí)間與代表性圖像接近。例如，如果源包括100幅圖像，按時(shí)間順 序編號(hào)為1至100，并且圖像2、 30和89被選作三幅代表性圖像(在步驟103) 中，則關(guān)于圖像2的圖像聚類(lèi)可以包含范圍在1-29之間的圖像(如果認(rèn)為其 相似)，但是不能包含范圍在30-100之間的圖像，即使圖像非常相似。此外， 如果圖像1-8都是在20分鐘內(nèi)拍攝的，而圖像9是在圖像8之后2小時(shí)拍攝 的，則關(guān)于圖像2的圖像聚類(lèi)可以包含范圍在l-8之間的圖像(如果認(rèn)為其相 似)，但是可以不包括圖像9及其后圖像。在選擇了與每幅代表性圖像相關(guān)聯(lián)的聚類(lèi)之后，就按時(shí)間順序顯示每個(gè)聚 類(lèi)內(nèi)的所選圖像(步驟104)，其中第一聚類(lèi)在第一顯示區(qū)域1401內(nèi)順序顯示， 第二聚類(lèi)在第二顯示區(qū)域1402內(nèi)順序顯示，而第三聚類(lèi)在第三顯示區(qū)域1403 內(nèi)順序顯示。每個(gè)聚類(lèi)內(nèi)的圖像顯示速度可以不同以使得每個(gè)聚類(lèi)的總顯示時(shí) 間相等(即，含有10幅圖像的聚類(lèi)顯示圖像的速度要比含有5幅圖像的聚類(lèi) 快一倍)，同樣地，在聚類(lèi)內(nèi)每幅圖像的顯示時(shí)間可以相同或者可以如上所述 可以根據(jù)每幅圖像的拍攝時(shí)間而在聚類(lèi)內(nèi)變化。順序顯示的速度可以是慢的 (像幻燈片放映)、快的(像電影)或者是其間的任何速度。在另一個(gè)示例中，聚類(lèi)的順序顯示可由用戶(hù)例如通過(guò)將鼠標(biāo)指針懸停在顯示區(qū)域1401-1403之一上來(lái)控制。在又一個(gè)示例中，既可以在一個(gè)顯示區(qū)域(例 如，顯示第一聚類(lèi)，之后是第二聚類(lèi)，再后是第三聚類(lèi))也可以在多個(gè)顯示區(qū) 域(例如，在區(qū)域1401內(nèi)顯示第一聚類(lèi)，隨后在區(qū)域1402內(nèi)顯示第二聚類(lèi)同 時(shí)在區(qū)域1401內(nèi)顯示代表性圖像等)內(nèi)順序顯示每個(gè)聚類(lèi)。在其他示例中，顯示可以包括以上技術(shù)的組合，為一些代表性圖像(例如， 在顯示區(qū)域1401和1403內(nèi))而不為其他圖像(例如，在顯示區(qū)域1402內(nèi)) 顯示圖像聚類(lèi)。在顯示器使用參考圖14和15描述的技術(shù)的情況下，顯示長(zhǎng)度指示符可以 具有兩個(gè)方面顯示的代表性圖像數(shù)量(例如，在示出示例中為3)和長(zhǎng)度(時(shí) 間)?？蛇x地，可以固定這兩個(gè)參數(shù)之一并使用顯示長(zhǎng)度指示符來(lái)確定另一參 數(shù)。以上描述涉及按時(shí)間順序顯示圖像。這僅作為示例并且可以按任何預(yù)定順 序顯示圖像。除了顯示圖像之外，其他顯示技術(shù)也可以與顯示圖像結(jié)合使用，如以上在 圖2所示用戶(hù)界面中增強(qiáng)特征選擇部分208中所指示的那樣。一些數(shù)碼相機(jī)(例 如，SenseCam)還可以自動(dòng)地或者作為用戶(hù)啟動(dòng)的備忘錄特征來(lái)記錄短的音頻 剪輯。這些音頻剪輯可以與圖像顯示并行地回放給用戶(hù)。這些音頻剪輯可以存 儲(chǔ)在音頻剪輯源內(nèi)，該源可以與圖像源504所處位置相同。在源內(nèi)圖像所覆蓋 時(shí)段內(nèi)記錄了大量音頻剪輯的情況下，可以對(duì)音頻剪輯進(jìn)行選擇，從而只選擇 與被選為代表性圖像的圖像(在步驟103中)相關(guān)聯(lián)的音頻剪輯。如上所述， 帶有關(guān)聯(lián)音頻剪輯的圖像可以被認(rèn)為是更重要的，因此更可能被選為代表性圖 像。在另一個(gè)選擇示例中，可以選擇位于代表性圖像拍攝時(shí)間所定義時(shí)間間隔(例如，2分鐘)內(nèi)所記錄的音頻剪輯。在以運(yùn)動(dòng)方式顯示圖像(例如，幻燈 片放映/翻書(shū)/電影)的情況下，音頻剪輯的播放可以與正在被顯示的代表性圖 像同時(shí)或在類(lèi)似時(shí)間拍攝的各幅圖像同步。這一同步可以是近似的，尤其是在 圖像被順序顯示而音頻剪輯的長(zhǎng)度超過(guò)關(guān)聯(lián)圖像顯示時(shí)間的情況下。為了播放 音頻剪輯，圖5所示的安排還需包括揚(yáng)聲器。為了增強(qiáng)圖像回放，特別是在順序顯示圖像的情況下，可以使用'觸覺(jué)論(haptics)'向查看者提供對(duì)圖像內(nèi)所描繪的經(jīng)歷的'感覺(jué)'。觸覺(jué)論指涉及觸覺(jué)的科學(xué)，并且也是有關(guān)物理傳感器的術(shù)語(yǔ)，而該物理傳感器提供皮膚級(jí)別 的觸覺(jué)以及往來(lái)自肌肉和關(guān)節(jié)的力反饋信息。觸覺(jué)論接口已經(jīng)在飛機(jī)內(nèi)用于向 飛行員提供力反饋，并且還用于計(jì)算機(jī)游戲和虛擬現(xiàn)實(shí)環(huán)境。通常這一反饋是 通過(guò)操縱桿提供的，該操縱桿被安排為提供運(yùn)動(dòng)阻抗以及振動(dòng)。觸覺(jué)論還用于 創(chuàng)建醫(yī)療模擬器，從而能夠以仿真(即，遠(yuǎn)離病人)且為用戶(hù)提供真實(shí)體驗(yàn)的 方式來(lái)實(shí)現(xiàn)侵入式過(guò)程。
可以參考圖16-19描述使用觸覺(jué)論來(lái)增強(qiáng)圖像回放。觸覺(jué)論用于重新生成 由加速計(jì)或數(shù)碼相機(jī)內(nèi)其他傳感器所記錄的運(yùn)動(dòng)，并且使用低音揚(yáng)聲器、移動(dòng) 地板或其他執(zhí)行器來(lái)重新合成該運(yùn)動(dòng)。圖16示出了可以在數(shù)碼相機(jī)內(nèi)使用以 記錄加速度信息的裝置1600的示意圖。裝置1600包括加速計(jì)1601或者檢測(cè) 加速度的其他裝置、微控制器1602 (或微處理器)和存儲(chǔ)器1603。如果有音 頻也被記錄(如上所述)，則還提供話(huà)筒輸入1604。這些元件已經(jīng)設(shè)置在數(shù)碼 相機(jī)(例如，在SenseCam)內(nèi)，并且這些元件可以具有若干目的，例如存儲(chǔ) 器也可用于記錄捕捉到的圖像。裝置1600周期性地(例如，每10ms)記錄沿 著一個(gè)或多個(gè)軸(例如，沿著x和y軸)的加速度。這些數(shù)據(jù)例如可被記錄為 IO比特的值。圖17示出了可以從(例如在佩戴者滑雪時(shí)記錄的)測(cè)得加速度 中確定的傾斜度量(以角度為單位)的示例性圖表1700。用戶(hù)在滑雪時(shí)經(jīng)歷的 跌倒從圖1701中清晰可見(jiàn)。雖然圖17示出了傾斜度量，但是在其它實(shí)例中也 可以使用原始的加速度數(shù)據(jù)。
圖18示出了可使用觸覺(jué)論來(lái)增強(qiáng)回放的家用計(jì)算機(jī)的典型音頻系統(tǒng)1800 的示意圖。其他系統(tǒng)也可用于增強(qiáng)回放，在此示出的僅作為示例。系統(tǒng)1800 包括計(jì)算機(jī)1801，計(jì)算機(jī)1801連接至音頻功率放大器1802，而后者進(jìn)而連接 至兩個(gè)中間揚(yáng)聲器1803、 1804 (—左一右)以及一個(gè)低音喇叭揚(yáng)聲器1805。 在另一個(gè)示例中，可以提供兩個(gè)低音喇叭揚(yáng)聲器。這就能夠提供振動(dòng)的定向角 度。
信號(hào)(如圖17所示)由計(jì)算機(jī)1801處理并且傾斜數(shù)據(jù)用于放大音頻軌跡。 例如，當(dāng)佩戴者跌倒時(shí)，傾斜數(shù)據(jù)接近90°并且放大該跌倒的低頻(例如， <100Hz)音頻記錄。以此方式，通過(guò)由低音揚(yáng)聲器1805產(chǎn)生的低頻振動(dòng)就能 夠給出振動(dòng)感覺(jué)，從而能夠增強(qiáng)對(duì)跌倒音頻記錄的真實(shí)感。通常由軟件執(zhí)行的信號(hào)處理步驟的示例在圖19中示出，其中音頻信號(hào)的一部分被分接并饋入低
通濾波器1901 (例如，100Hz低通濾波器)。放大器增益控制元件1902隨后 用于根據(jù)加速度輸出水平來(lái)控制放大器的增益。放大器增益控制元件l卯2的 輸出隨后與原始音頻信號(hào)混合(在混音器1903內(nèi))并饋入音頻放大器1802(在 圖18中)，該音頻放大器1802則與理想地放在地板上的至少一個(gè)低音揚(yáng)聲器 1805相連接。這一低音揚(yáng)聲器1805產(chǎn)生地板振動(dòng)，從而向圖像的査看者提供 額外的感知信息。
額外感知信息的提供如上所述可以與圖像顯示(以及音頻剪輯的播放，如 果合適的話(huà))同步。在以移動(dòng)方式顯示圖像(例如，幻燈片放映/翻書(shū)/電影) 的情況下，額外感知信息的提供可以與正在被顯示的代表性圖像同時(shí)或在類(lèi)似 時(shí)間拍攝的各幅圖像同步。這一同步可以是近似的，尤其是在圖像被順序顯示 而提供的額外感知信息剪輯的時(shí)間長(zhǎng)度超過(guò)關(guān)聯(lián)圖像顯示時(shí)間的情況下。
在圖19示出的示例中，加速度信息與記錄的音頻結(jié)合使用以增強(qiáng)音頻并 提供對(duì)圖像的'感覺(jué)'。在另一個(gè)示例中，可以不使用音頻而使用加速度信息 本身來(lái)生成可在低音揚(yáng)聲器上播放的低頻音頻以產(chǎn)生可被査看者感覺(jué)到的振 動(dòng)。在這種情況下，可以按時(shí)序用極性相反的信號(hào)(例如，以方波或類(lèi)似的形 式)驅(qū)動(dòng)揚(yáng)聲器的喇叭以實(shí)現(xiàn)査看者強(qiáng)烈的'重?fù)?感。
在以上參考圖16-19描述的示例中，低音揚(yáng)聲器用于重新產(chǎn)生由數(shù)碼相機(jī) 攜帶者所經(jīng)歷的振動(dòng)。如上所述，作為低音揚(yáng)聲器的附加或者替代，可以使用 其他執(zhí)行器來(lái)重新產(chǎn)生振動(dòng)，諸如移動(dòng)地板、內(nèi)建于椅子的執(zhí)行器、以及內(nèi)建 于操縱桿的執(zhí)行器。
作為上述使用加速度數(shù)據(jù)生成振動(dòng)的附加或者替代，由數(shù)碼相機(jī)記錄的其 他傳感器數(shù)據(jù)也可映射至其他的執(zhí)行器。例如，可以生成風(fēng)噪音并用標(biāo)準(zhǔn)揚(yáng)聲 器播放以給出速度的印象，可以使用風(fēng)扇產(chǎn)生氣流以給出速度的印象，可以將 環(huán)境傳感器數(shù)據(jù)映射至氣候控制裝置(例如，空調(diào)、中央加熱)，并且可以將 亮度數(shù)據(jù)映射至照明裝置。
如上所述使用觸覺(jué)論來(lái)增強(qiáng)數(shù)字圖像的回放可以與參考圖1-15描述的部 分或所有技術(shù)相結(jié)合。作為替換，觸覺(jué)論也可以與數(shù)字圖像回放的任何其他方 法相結(jié)合。本領(lǐng)域的技術(shù)人員將認(rèn)識(shí)到用于存儲(chǔ)程序指令的存儲(chǔ)設(shè)備可分布在網(wǎng)絡(luò) 上。例如，遠(yuǎn)程計(jì)算機(jī)可存儲(chǔ)描述為軟件的該過(guò)程的示例。本地或終端計(jì)算機(jī) 可訪問(wèn)遠(yuǎn)程計(jì)算機(jī)并下載該軟件的一部分或全部以運(yùn)行該程序。可替換地，本 地計(jì)算機(jī)可按需下載軟件的片斷，或者可以在本地終端上執(zhí)行一些軟件指令而 在遠(yuǎn)程計(jì)算機(jī)(或計(jì)算機(jī)網(wǎng)絡(luò))上執(zhí)行一些軟件指令。本領(lǐng)域的技術(shù)人員將認(rèn) 識(shí)到，通過(guò)使用本領(lǐng)域技術(shù)人員已知的常規(guī)技術(shù)，軟件指令的全部或部分可由
專(zhuān)用電路如DSP、可編程邏輯陣列等來(lái)執(zhí)行。
如對(duì)于本領(lǐng)域的技術(shù)人員而言，顯然此處給出的任何范圍或者設(shè)備值可以
被擴(kuò)展或者改變而不失去所尋求的效果。
文本中描述的各方法步驟可以在需要時(shí)按任何合適的次序或同時(shí)執(zhí)行。 可以理解，上面對(duì)于較佳實(shí)施例的描述僅僅是作為例子給出的，而本領(lǐng)域
的技術(shù)人員可以做出多種改變。
權(quán)利要求
1.一種顯示數(shù)字圖像的方法，包括以下各項(xiàng)步驟接收顯示長(zhǎng)度指示符；訪問(wèn)數(shù)字圖像；根據(jù)所述顯示長(zhǎng)度指示符和預(yù)定義選擇準(zhǔn)則從所訪問(wèn)的數(shù)字圖像中選擇一組數(shù)字圖像；以及以預(yù)定次序顯示所選的該組數(shù)字圖像。
2. 如權(quán)利要求l所述的方法，其特征在于，所述數(shù)字圖像是數(shù)字照片。
3. 如前述任一項(xiàng)權(quán)利要求所述的方法，其特征在于，所述預(yù)定次序是時(shí) 間次序。
4. 如前述任一項(xiàng)權(quán)利要求所述的方法，其特征在于，所述顯示長(zhǎng)度指示 符包括以下各項(xiàng)之一圖像數(shù)量、顯示時(shí)間或者圖像差異閾值。
5. 如前述任一項(xiàng)權(quán)利要求所述的方法，其特征在于，所述訪問(wèn)步驟包括 以下各步驟訪問(wèn)數(shù)字圖像；以及將所訪問(wèn)的數(shù)字圖像限制為在定義時(shí)段內(nèi)捕捉的圖像。
6. 如前述任一項(xiàng)權(quán)利要求所述的方法，其特征在于，所述選擇步驟包括 以下各步驟從所述顯示長(zhǎng)度指示符確定要顯示的圖像數(shù)量；以及 根據(jù)關(guān)聯(lián)于每幅圖像的時(shí)間戳和每幅圖像的性質(zhì)中的至少一個(gè)從所訪問(wèn) 的圖像中選擇所述數(shù)量的圖像。
7. 如權(quán)利要求6所述的方法，其特征在于，選擇所述數(shù)量的圖像的步驟 包括以下各步驟根據(jù)指定的準(zhǔn)則從所訪問(wèn)圖像中選擇第一圖像； 從所訪問(wèn)圖像中選擇給出預(yù)定義能量參數(shù)極值的再一幅圖像；以及 重復(fù)選擇再一幅圖像的所述步驟直到已選擇預(yù)定數(shù)量的圖像。
8. 如權(quán)利要求7所述的方法，其特征在于，所述能量參數(shù)是關(guān)于重要性 因子和相似性因子而被定義的，并且其中重要性因子是關(guān)于一幅或多幅圖像屬性的度量而相似性因子則是關(guān)于兩幅圖像之間差異的度量。
9. 如權(quán)利要求8所述的方法，其特征在于，所述重要性因子是以下一項(xiàng) 或多項(xiàng)的度量圖像中人臉的存在；圖像的有趣程度；以及圖像的清晰度。
10. 如前述任一項(xiàng)權(quán)利要求所述的方法，其特征在于，所述顯示步驟包括: 以預(yù)定次序順序顯示所選的一組數(shù)字圖像。
11. 如前述任一項(xiàng)權(quán)利要求所述的方法，其特征在于，還包括以下各步驟: 訪問(wèn)音頻剪輯；選擇與所選數(shù)字圖像相關(guān)聯(lián)的一個(gè)或多個(gè)音頻剪輯；以及 與顯示所選一組數(shù)字圖像的步驟并行地播放所選音頻剪輯。
12. 如前述任一項(xiàng)權(quán)利要求所述的方法，其特征在于，還包括以下各步驟: 訪問(wèn)傳感器數(shù)據(jù)；選擇所述傳感器數(shù)據(jù)中與所選數(shù)字圖像相關(guān)聯(lián)的那部分； 處理傳感器數(shù)據(jù)的所選部分以提供感知反饋信號(hào)；以及 與顯示所選的一組數(shù)字圖像的步驟并行地輸出該感知反饋信號(hào)。
13. 如權(quán)利要求12所述的方法，其特征在于，所述傳感器數(shù)據(jù)包括加速 度數(shù)據(jù)；所述感知反饋信號(hào)包括低頻音頻信號(hào)并且所述輸出步驟包括與顯示所選的一組數(shù)字圖像的步驟并行地向感知執(zhí)行器輸出該低頻音頻 信號(hào)。
14. 如權(quán)利要求13所述的方法，其特征在于，所述處理傳感器數(shù)據(jù)的所 選部分的步驟包括訪問(wèn)音頻剪輯；使用低通濾波器過(guò)濾音頻剪輯以產(chǎn)生低頻音頻信號(hào)；以及 根據(jù)所述加速度數(shù)據(jù)控制所述低頻音頻信號(hào)的放大。
15. 如權(quán)利要求14所述的方法，其特征在于，還包括以下步驟 與向傳感執(zhí)行器輸出低頻音頻信號(hào)同步播放所述音頻剪輯。
16. 如權(quán)利要求13至15中任一項(xiàng)所述的方法，其特征在于，所述傳感執(zhí) 行器包括低音揚(yáng)聲器。
17. —種包括計(jì)算機(jī)程序代碼裝置的計(jì)算機(jī)程序，當(dāng)所述程序在計(jì)算機(jī)上 運(yùn)行時(shí)適于執(zhí)行前述任一項(xiàng)權(quán)利要求所述的所有步驟。
18. 如權(quán)利要求17所述的計(jì)算機(jī)程序在計(jì)算機(jī)可讀介質(zhì)上具體化。
19. 一種用于顯示數(shù)字圖像的裝置，包括 用戶(hù)輸入設(shè)備；處理器，被安排用于從所述用戶(hù)輸入設(shè)備接收顯示長(zhǎng)度指示符，訪問(wèn)數(shù)字 圖像并且根據(jù)所述顯示長(zhǎng)度指示符和預(yù)定義選擇準(zhǔn)則從所訪問(wèn)的數(shù)字圖像中 選擇一組數(shù)字圖像；以及顯示器，用于以預(yù)定次序顯示所選的該組數(shù)字圖像。
20. 如權(quán)利要求19所述的裝置，其特征在于，所述預(yù)定次序是時(shí)間次序。
全文摘要
描述了一種在其中接收顯示長(zhǎng)度指示符并訪問(wèn)數(shù)字圖像的顯示數(shù)字圖像的方法。根據(jù)該顯示長(zhǎng)度指示符和預(yù)定義選擇準(zhǔn)則從所訪問(wèn)的數(shù)字圖像中選擇一組數(shù)字圖像并且以預(yù)定次序顯示所選的該組數(shù)字圖像。本方法可由在計(jì)算機(jī)可讀介質(zhì)上具體化的計(jì)算機(jī)程序來(lái)執(zhí)行。
文檔編號(hào)H04N5/225GK101322396SQ200680045522
公開(kāi)日2008年12月10日 申請(qǐng)日期2006年11月16日 優(yōu)先權(quán)日2005年12月5日
發(fā)明者A·克里米尼斯, C·洛瑟, J·斯里尼瓦桑, K·伍德, L·威廉姆斯, S·胡德格斯 申請(qǐng)人:微軟公司