專利名稱：圖像收藏集的可縮放的相關(guān)性排序表示的自動(dòng)創(chuàng)建的制作方法
圖像收藏集的可縮放的相關(guān)性排序表示的自動(dòng)創(chuàng)建相關(guān)申請(qǐng)
本申請(qǐng)與在2005年5月12日提交的題為“METHOD AND SYSTEM FOR AUTOMATICALLY SELECTING IMAGES FROM AMONG MULTIPLE IMAGES” 的序列號(hào)為 11/127,079 的共同未決且 共同受讓的美國(guó)專利申請(qǐng)和在2007年12月7日提交的題為“!PROCESSING PIXEL VALUES OF A COLOR IMAGE”的序列號(hào)為61/012，099的共同未決的美國(guó)臨時(shí)專利申請(qǐng)共享某個(gè)共同 的主題，這些專利申請(qǐng)的整體公開(kāi)內(nèi)容通過(guò)引用結(jié)合于此。
背景技術(shù)：
隨著數(shù)字照相機(jī)和錄像機(jī)的出現(xiàn)和激增，以及成本日益降低的數(shù)據(jù)存儲(chǔ)容量的增 加，用戶將數(shù)目越來(lái)越多的圖像收集在收藏集(collection)中已變得普遍。例如，用戶常 常在諸如婚禮、度假和聚會(huì)的單個(gè)事件期間拍攝數(shù)百?gòu)垟?shù)字圖像。當(dāng)用戶希望創(chuàng)建包含其 中一些圖像的相冊(cè)、照片書(shū)(photobook)或幻燈片時(shí)，用戶通?；趫?chǎng)景內(nèi)容或者捕獲照片 的人物按時(shí)間順序排列照片。然而，由于相對(duì)大數(shù)目的圖像，用戶常?；ㄙM(fèi)大量的時(shí)間在圖 像收藏集中進(jìn)行揀選，以確定要包括這些圖像中的哪些圖像。用于自動(dòng)圖像分類(lèi)的常規(guī)系統(tǒng)已被應(yīng)用于存儲(chǔ)在數(shù)據(jù)庫(kù)中的多個(gè)圖像。分類(lèi)已被 用來(lái)對(duì)圖像編注索引，使得可以歸類(lèi)、瀏覽和檢索圖像。此外，圖像與關(guān)于圖像文件的諸如 文件創(chuàng)建日期、文件名和文件擴(kuò)展名的描述信息一起被存儲(chǔ)在數(shù)據(jù)庫(kù)中。在極大程度上，用 于圖像分類(lèi)的技術(shù)類(lèi)似于應(yīng)用于任何形式的數(shù)字信息的分類(lèi)技術(shù)。示例性圖像分類(lèi)技術(shù)提供了對(duì)圖像收藏集的導(dǎo)航，以便于圖像檢索。通過(guò)色彩或 紋理特征的分布來(lái)概括圖像的外觀，并且在任何兩個(gè)這樣的分布之間定義度量(metric)。 提供感知的非相似性的測(cè)度(measure)來(lái)協(xié)助圖像檢索。二維或三維歐幾里德空間已被用 于評(píng)估圖像之間的距離差異，以突出圖像非相似性。結(jié)果可用于協(xié)助用于定位特定圖像的 數(shù)據(jù)庫(kù)查詢。盡管常規(guī)的圖像分類(lèi)技術(shù)給用戶提供了更容易地對(duì)圖像導(dǎo)航的能力，但是因?yàn)槿?要求用戶手動(dòng)搜尋圖像，所以這些技術(shù)仍要求用戶花費(fèi)大量的手動(dòng)勞動(dòng)來(lái)選擇所期望的圖 像、諸如代表特定事件的圖像。因此，要求相對(duì)較少的用戶輸入的從圖像收藏集中選擇良好的代表性圖像以包括 在相冊(cè)、照片書(shū)、幻燈片等中的改進(jìn)的方法會(huì)是有益的。


根據(jù)下文參照附圖的描述，本發(fā)明的特征對(duì)于本領(lǐng)域技術(shù)人員將變得明顯，在附 圖中
圖1根據(jù)本發(fā)明的實(shí)施例描繪了用于創(chuàng)建圖像收藏集的可縮放的(scalable)相關(guān)性 排序表示的計(jì)算機(jī)實(shí)施的系統(tǒng)的簡(jiǎn)化框圖2根據(jù)本發(fā)明的實(shí)施例描繪了創(chuàng)建圖像收藏集的可縮放的相關(guān)性排序表示的方法 的流程圖；圖3A根據(jù)本發(fā)明的實(shí)施例描繪了圖2中描繪的流程圖中所包含的步驟的圖形說(shuō)明； 圖3B根據(jù)本發(fā)明的實(shí)施例示出了圖2中描繪的流程圖中所包含的步驟的圖形相關(guān)性 表示；以及
圖4根據(jù)本發(fā)明的實(shí)施例示出了樣本分級(jí)可縮放圖像收藏集表示310和可縮放的相關(guān) 性排序表示的圖。
具體實(shí)施例方式出于簡(jiǎn)單和說(shuō)明的目的，主要參照本發(fā)明的示例性實(shí)施例描述本發(fā)明。在下面的 描述中，闡述了許多特定的細(xì)節(jié)，以便提供本發(fā)明的透徹理解。然而，對(duì)于本領(lǐng)域技術(shù)人員 顯而易見(jiàn)的是，本發(fā)明可以在不限于這些特定細(xì)節(jié)的情況下被實(shí)踐。在其它情況下，未詳細(xì) 描述公知的方法和結(jié)構(gòu)，以免不必要地使本發(fā)明模糊不清。這里描述了用于自動(dòng)地創(chuàng)建圖像收藏集的可縮放表示的方法和系統(tǒng)?？煽s放表示 由提供所期望的結(jié)果的選自圖像收藏集的圖像排列組成。例如，可縮放表示由圖像收藏集 中的提供對(duì)特定事件的良好覆蓋的最相關(guān)的圖像組成。最相關(guān)的圖像可以包括那些包含特 定人物、地點(diǎn)、事件等的圖像。此外，最相關(guān)的圖像可以包括最吸引人的圖像。作為另一實(shí) 例，可縮放表示由被排列和被排序?yàn)榛诟鞣N事件發(fā)生的順序來(lái)講述故事的圖像組成。作 為又一實(shí)例，可縮放表示由被排列和被排序?yàn)樘峁?duì)包含特定人物、對(duì)象、地點(diǎn)等的圖像的 覆蓋的圖像組成。通過(guò)在這里公開(kāi)的方法和系統(tǒng)的實(shí)施方案，可以自動(dòng)地創(chuàng)建圖像收藏集的可縮放 的排序表示，使得可縮放表示可以容易地被縮放來(lái)將期望數(shù)目的圖像并入到文檔、照片書(shū)、 相冊(cè)、幻燈片、日歷等中的至少一個(gè)，同時(shí)至少提供期望等級(jí)的覆蓋。因?yàn)閳D像按相關(guān)性排 序，所以該表示可以容易地縮放，并且因此可以如所期望的那樣容易地移除最不相關(guān)的圖 像，以能夠僅將最相關(guān)的圖像保留在表示中。首先參照?qǐng)D1，根據(jù)實(shí)例示出了用于創(chuàng)建圖像收藏集的可縮放的相關(guān)性排序表示 的計(jì)算機(jī)實(shí)施的系統(tǒng)100的簡(jiǎn)化框圖。在一個(gè)方面，在這里公開(kāi)的各種方法和系統(tǒng)可以如 下文更詳細(xì)討論的那樣在圖1中描繪的計(jì)算機(jī)實(shí)施的系統(tǒng)100中被實(shí)施。應(yīng)當(dāng)理解，系統(tǒng) 100可以包括另外的部件并且在不偏離系統(tǒng)100的范圍的情況下可以移除和/或修改這里 描述的部件中的一些部件。如圖1中所示，系統(tǒng)100包括計(jì)算設(shè)備110、輸入源120和輸出130。計(jì)算設(shè)備110 包括處理器112和存儲(chǔ)器114，該存儲(chǔ)器114存儲(chǔ)圖像收藏集116。處理器112被配置來(lái)控 制在計(jì)算設(shè)備110中執(zhí)行的各種操作。操作之一包括創(chuàng)建圖像收藏集116的也可以存儲(chǔ) 在存儲(chǔ)器114中的可縮放的相關(guān)性排序表示118。然而，可替換地，圖像收藏集116可以被 存儲(chǔ)在諸如外部數(shù)據(jù)存儲(chǔ)裝置等的分離的數(shù)據(jù)存儲(chǔ)裝置中。在任何方面，圖像收藏集116 可以包括單個(gè)文件夾中所包含的所有圖像文件、單個(gè)文件夾中所包含的所有圖像文件的子 集、多個(gè)文件夾中所包含的圖像等等。如在這里提到的那樣，“圖像”是以電子形式存儲(chǔ)在任何類(lèi)型的電子存儲(chǔ)介質(zhì)或者 計(jì)算機(jī)存儲(chǔ)器中的任何圖像或者電子數(shù)據(jù)文件。圖像可以是來(lái)自任何類(lèi)型的數(shù)字捕獲裝置 (digital capturing device)(諸如但不限于數(shù)字?jǐn)z像機(jī)、數(shù)碼相機(jī)、視頻捕獲卡或者其它 圖像捕獲裝置)的所捕獲的任何數(shù)字圖像。圖像交替地可以是例如來(lái)自任何照相機(jī)、攝像機(jī)或者模擬圖像捕獲源或裝置的所捕獲的模擬圖像，所述模擬圖像被掃描或者以其它方式進(jìn) 行數(shù)字化并且被存儲(chǔ)為數(shù)字圖像。圖像也可以是電子文檔，諸如例如包含圖像、視頻、聲音 等的多媒體文檔。本領(lǐng)域技術(shù)人員將認(rèn)識(shí)到，圖像可以是用戶可以從電子數(shù)據(jù)文件集訪問(wèn) 的任何類(lèi)型的電子文件。一般說(shuō)來(lái)，圖像收藏集116的可縮放的相關(guān)性排序表示118包括圖像收藏集116 中的圖像排列，使得當(dāng)例如通過(guò)移除被標(biāo)識(shí)為相關(guān)性相對(duì)較小的圖像來(lái)將表示118縮放為 包括比所有圖像少的圖像時(shí)，剩余的圖像提供了對(duì)圖像收藏集中的所有重要事件(人臉、動(dòng) 物、地點(diǎn)、對(duì)象等)的相對(duì)良好的覆蓋。下文更詳細(xì)地描述了處理器112可創(chuàng)建可縮放的相 關(guān)性排序表示118的各種方式。根據(jù)實(shí)例，處理器112包括被編程來(lái)創(chuàng)建可縮放的相關(guān)性排序表示118的微處理 器電路。根據(jù)另一實(shí)例，用于創(chuàng)建可縮放的相關(guān)性排序表示118的代碼在存儲(chǔ)器114上被 存儲(chǔ)為處理器112被配置來(lái)實(shí)施或執(zhí)行的軟件。在任何方面，存儲(chǔ)器114包括能夠存儲(chǔ)信息的任何合理適當(dāng)?shù)难b置或者包括能夠 存儲(chǔ)信息的裝置的任何組合，諸如半導(dǎo)體裝置、磁盤(pán)存儲(chǔ)裝置、諸如EEPROM或CDROM的非易 失性存儲(chǔ)裝置等。存儲(chǔ)器114還可以包括固定的或者可移動(dòng)的數(shù)據(jù)存儲(chǔ)裝置。除了存儲(chǔ)圖 像收藏集116和圖像收藏集116的可縮放表示118之外，存儲(chǔ)器114還可以存儲(chǔ)處理器112 在執(zhí)行計(jì)算設(shè)備110的各種操作時(shí)可以執(zhí)行的一個(gè)或更多程序指令或代碼?？煽s放的相關(guān)性排序表示118可以包括圖像收藏集116中所包含的圖像的副本。 可替換地，表示118可以包括圖像收藏集116中所包含的圖像的指示。此外，表示118不需 要被存儲(chǔ)為存儲(chǔ)器114的部分，而是可以被存儲(chǔ)在分離的位置，并且可以包括將允許處理 器112針對(duì)連續(xù)顯示檢索所選擇的圖像的任何信息。例如，與表示118相關(guān)聯(lián)的所選擇的 圖像(或者其指示)或者其部分可以被存儲(chǔ)在處理器112的本地存儲(chǔ)器中。輸入源120可以包括用戶在將數(shù)據(jù)輸入到計(jì)算設(shè)備110中時(shí)使用的用戶接口，諸 如鍵盤(pán)、鼠標(biāo)、觸摸屏顯示器、另一計(jì)算設(shè)備等。例如，用戶可以使用輸入源120輸入在圖像 收藏集116的表示118中期望的關(guān)于圖像數(shù)目、來(lái)自圖像收藏的圖像的百分比、圖像中包含 的對(duì)象等的信息。用戶還可以使用輸入源120對(duì)圖像中的所選擇的圖像加標(biāo)簽為高度相關(guān) 的，標(biāo)識(shí)表示118中的所期望的參數(shù)。輸出130可以包括向其輸出圖像收藏集116的可縮放表示118的任何合理適當(dāng)?shù)?設(shè)備。輸出130因此可以例如包括顯示器、打印機(jī)、另一計(jì)算設(shè)備、數(shù)據(jù)存儲(chǔ)裝置、經(jīng)由因特 網(wǎng)連接到計(jì)算設(shè)備110的服務(wù)器等。例如，可以使用可縮放表示118基本上自動(dòng)地創(chuàng)建包 含來(lái)自圖像收藏集116的所選擇的圖像的照片書(shū)、幻燈片、日歷、相冊(cè)等，這些所選擇的圖 像可由輸出130存儲(chǔ)、顯示和/或打印。盡管沒(méi)有示出，但是計(jì)算設(shè)備110可以包括附加的部件，諸如包括通信總線和輔 助存儲(chǔ)器。計(jì)算設(shè)備110還可以與用戶輸入和輸出裝置接口連接，諸如與鍵盤(pán)、鼠標(biāo)和顯示 器接口連接。此外，處理器112可以通過(guò)網(wǎng)絡(luò)適配器在例如因特網(wǎng)、LAN等的網(wǎng)絡(luò)上進(jìn)行通 現(xiàn)將參照下面的圖2中描繪的方法200的流程圖描述其中可以使用計(jì)算設(shè)備110 創(chuàng)建圖像收藏集116的可縮放的相關(guān)性排序表示118的方法的實(shí)例。對(duì)于本領(lǐng)域技術(shù)人員 應(yīng)明顯的是，在不偏離方法200的范圍的情況下，可以添加其它步驟或者可以移除、修改或重新排列現(xiàn)有步驟。方法200的描述是參照?qǐng)D1中圖示的計(jì)算設(shè)備110進(jìn)行的，并且因此參照其中提 到的元件。然而，應(yīng)當(dāng)理解，方法200并不限于系統(tǒng)100中闡述的元件。相反地，應(yīng)當(dāng)理解， 方法200可以由配置不同于圖1中闡述的配置的計(jì)算設(shè)備來(lái)實(shí)踐。方法200中闡述的操作中的一些或所有操作可以作為實(shí)用程序、程序或子程序被 包含在任何所期望的計(jì)算機(jī)可訪問(wèn)介質(zhì)中。此外，方法200可以通過(guò)計(jì)算機(jī)程序被具體化， 這些計(jì)算機(jī)程序可以以活躍的和不活躍的多種形式存在。例如，這些計(jì)算機(jī)程序可以作為 包括具有源代碼、目標(biāo)代碼、可執(zhí)行代碼或其它格式的程序指令的(多個(gè))軟件程序而存在。 任何上述內(nèi)容可以在計(jì)算機(jī)可讀介質(zhì)上被具體化，其包括存儲(chǔ)裝置和具有壓縮過(guò)的或未壓 縮過(guò)的形式的信號(hào)。示例性計(jì)算機(jī)可讀存儲(chǔ)裝置包括常規(guī)的計(jì)算機(jī)系統(tǒng)RAM、ROM、EPROM、EEPROM和磁 盤(pán)或磁帶或光盤(pán)或光帶。示例性計(jì)算機(jī)可讀信號(hào)不論是否使用載體進(jìn)行調(diào)制過(guò)都是主控或 運(yùn)行計(jì)算機(jī)程序的計(jì)算機(jī)系統(tǒng)可以被配置來(lái)對(duì)其進(jìn)行訪問(wèn)的信號(hào)，這些信號(hào)包括通過(guò)因特 網(wǎng)或其它網(wǎng)絡(luò)下載的信號(hào)。前述內(nèi)容的具體實(shí)例包括CD ROM上的或者經(jīng)由因特網(wǎng)下載的 程序的分布。在某種意義上，因特網(wǎng)自身(作為抽象實(shí)體)是計(jì)算機(jī)可讀介質(zhì)。通常，對(duì)于計(jì) 算機(jī)網(wǎng)絡(luò)，情況亦是如此。因此將理解，能夠執(zhí)行上述功能的任何電子裝置都可以執(zhí)行上文 列舉的那些功能。處理器112可以實(shí)施或執(zhí)行方法200，以創(chuàng)建圖像收藏集116的可縮放的相關(guān)性排 序表示118。如根據(jù)下文的討論而將變得更清楚的那樣，因?yàn)樘幚砥?12被配置為根據(jù)相關(guān) 性度量對(duì)圖像排序，所以表示118被視為是可縮放的。同樣地，當(dāng)表示118被縮小時(shí)，因?yàn)?首先從表示118移除不太相關(guān)的圖像，所以對(duì)整體表示118影響較小。將參照?qǐng)D3A和;3B描述方法200，圖3A和分別描繪了方法200中所包含的步驟 的圖形說(shuō)明300和步驟206的圖形相關(guān)性表示312。出于說(shuō)明的目的且不是限制的目的，特 別參照?qǐng)D3A和;3B中描繪的元件。同樣地，方法200不應(yīng)被解釋為限于圖3A和中描繪 的元件。在步驟202，處理器112基于圖像中的至少一個(gè)特征將圖像收藏集116中包含的圖 像分類(lèi)為多個(gè)簇。在一個(gè)實(shí)例中，例如，基于時(shí)間特征，多個(gè)簇中的每個(gè)簇都包括不同的時(shí) 間段。在另一實(shí)例中，多個(gè)簇中的每個(gè)簇都包括不同的行動(dòng)者(actor)或?qū)ο?。在又一?shí) 例中，如圖像中所描繪的那樣或者基于標(biāo)識(shí)數(shù)據(jù)(諸如與不同的地理位置相關(guān)聯(lián)的全球定 位系統(tǒng)坐標(biāo))，多個(gè)簇中的每個(gè)簇都包括不同的地理位置。根據(jù)另一實(shí)例，處理器112可以 將圖像分類(lèi)為不止一個(gè)類(lèi)型的簇，諸如時(shí)間簇和行動(dòng)者簇。應(yīng)當(dāng)理解，可以基于圖像中所包 含的主題和圖像的標(biāo)識(shí)數(shù)據(jù)之一或兩者的任何合理適當(dāng)?shù)?多個(gè))特征來(lái)劃分簇。在其中圖像的特征包括時(shí)間的情況中，處理器112可以從與每個(gè)圖像相關(guān)聯(lián)的自 動(dòng)創(chuàng)建的時(shí)間戳或者從用戶輸入的時(shí)間信息獲得時(shí)間信息。在其中圖像的特征包括行動(dòng)者 的情況中，處理器112可以執(zhí)行或?qū)嵤┍辉O(shè)計(jì)來(lái)標(biāo)識(shí)圖像中的人臉并且還區(qū)分檢測(cè)到的人 臉的人臉檢測(cè)算法。在 Xiao, J.和 Zhang，Τ.的“Face Bubble: Photo Browsing with Faces" (Proceedings of Advanced Visual Interfaces 2008，那不勒斯、意大利、2008 年5月觀日一 30日)中描述了用于檢測(cè)和區(qū)分人臉的適當(dāng)方法的實(shí)例，該文獻(xiàn)的整體公開(kāi) 內(nèi)容通過(guò)引用結(jié)合于此?？梢酝ㄟ^(guò)類(lèi)似的方法標(biāo)識(shí)圖像中的其它類(lèi)型的對(duì)象。
如圖3A中所示，處理器112可以將圖像收藏集116的圖像分類(lèi)為具有簇304、 306a-306c的不同層級(jí)的分級(jí)圖像收藏集表示302。層級(jí)的每個(gè)等級(jí)都可以包括所有相同 的圖像，但是被分為不同數(shù)目的簇304、306a-306c。更具體地，例如，處理器112可以在該層 級(jí)的較高等級(jí)下將圖像分類(lèi)為較少數(shù)目的簇304并且在該層級(jí)中的較低等級(jí)下將圖像分 類(lèi)為較多數(shù)目的簇306a-306c。根據(jù)實(shí)例，處理器112例如根據(jù)獲得簇中所包含的圖像的時(shí)間間隔來(lái)分級(jí)地排列 簇。在該實(shí)例中，如下文所討論的那樣，頂層級(jí)被設(shè)計(jì)為容納最小尺寸的表示118，以便實(shí)現(xiàn) 對(duì)所期望的時(shí)間段上的圖像的良好覆蓋。簇可以被分為任何適當(dāng)?shù)臅r(shí)間段，諸如分為年、月、日、日中的時(shí)間段等。例如，返 回參照?qǐng)D3A，較高等級(jí)的簇304可以是一個(gè)月而較低等級(jí)的簇306a-306c可以是月中的日 或周。在專利申請(qǐng)11/127,079中討論了可以基于時(shí)間特征來(lái)劃分簇的方式的適當(dāng)實(shí)例。在步驟204，在多個(gè)簇中的每個(gè)簇中，處理器112確定圖像的相應(yīng)相關(guān)性測(cè)度。圖 像的相關(guān)性測(cè)度可以包括基于諸如圖像吸引力度量、人臉聚類(lèi)(clustering)、笑容檢測(cè)、用 戶喜好加標(biāo)簽和基本相似性的一個(gè)或更多特征的用戶可配置的相關(guān)性排序。所應(yīng)用的相關(guān) 性測(cè)度的類(lèi)型和/或應(yīng)用到相關(guān)性測(cè)度中的各種相關(guān)性測(cè)度的加權(quán)可以是用戶可選擇的。 因此，例如，用戶可以指示在特定時(shí)間范圍期間或者在特定位置捕獲的圖像將被給予超過(guò) 其它圖像的較大的相關(guān)性。此外或者可替換地，用戶可以指示包含特定人臉或?qū)ο蟮膱D像 將被給予超過(guò)其它圖像的較大的相關(guān)性。因此，例如，處理器112可以處理所有圖像，以確定圖像的一個(gè)或更多特征并且確 定圖像的相應(yīng)的相關(guān)性測(cè)度。一個(gè)或更多特征可以例如包括圖像是否包含人臉；在包含 人臉的那些圖像中，行動(dòng)者是否正在笑；圖像是否包含特定對(duì)象；等等。在處理器112被配 置來(lái)檢測(cè)圖像是否包含笑臉的情況下，處理器112可以使用面部表情識(shí)別算法。在Chen， X.禾口 Huang, Τ.的"Facial Expression Recognition: a Clustering-Based Approach，， (Pattern Recognition Letters,第 M 卷、第 9-10 期、第 1295-1302 頁(yè)、2003 年 6 月 1 日) 中描述了適當(dāng)?shù)拿娌勘砬樽R(shí)別算法的實(shí)例，該文獻(xiàn)的整體公開(kāi)內(nèi)容通過(guò)引用結(jié)合于此。處 理器112也可以使用適當(dāng)?shù)膶?duì)象檢測(cè)算法來(lái)檢測(cè)圖像中的特定對(duì)象。處理器112可以進(jìn)一步實(shí)施圖像吸引力度量，以確定圖像收藏集116中所包含的 每個(gè)圖像的圖像吸引力值。此外，處理器112被配置來(lái)在確定相應(yīng)的相關(guān)性等級(jí)時(shí)使用所 述圖像吸引力值。例如，處理器112被配置來(lái)將較高的相關(guān)性等級(jí)分配給具有較高的圖像 吸引力值的圖像。一般說(shuō)來(lái)，“圖像吸引力”可以被定義為當(dāng)由人類(lèi)觀察者觀看時(shí)圖像生成的興趣， 從而在傳統(tǒng)的客觀質(zhì)量測(cè)度之上并入了主觀因素。根據(jù)實(shí)例，處理器112通過(guò)實(shí)施如下文 所述的圖像吸引力度量而自動(dòng)地確定圖像的圖像吸引力值。在該實(shí)例中，對(duì)于每個(gè)圖像，處理器112將有代表性的銳度(r印resentative sharpness) (S)值分配給圖像的每個(gè)區(qū)域。更具體地，處理器112被配置來(lái)使用常規(guī)的圖 像摳圖(matting)算法，其中摳圖結(jié)果與圖像區(qū)域交叉。這允許標(biāo)識(shí)圖像中的可以在其上 可靠地測(cè)量銳度的具有某個(gè)紋理/邊緣內(nèi)容的區(qū)域。處理器112使用多分辨率拉普拉斯方 法來(lái)確定實(shí)際的銳度值。在該方法下，拉普拉斯金字塔的所有4個(gè)等級(jí)被組合，以便容忍圖 像噪聲。此外，由于模糊感知隨局部對(duì)比度而改變，所以通過(guò)非線性函數(shù)對(duì)拉普拉斯金字塔加權(quán)，以校正針對(duì)不同對(duì)比度等級(jí)的所測(cè)量的模糊?；趯?duì)比度的校正因子已被實(shí)施為 式(1)
權(quán)利要求
1.一種自動(dòng)創(chuàng)建圖像收藏集的可縮放的相關(guān)性排序表示的方法，所述方法包括 基于圖像的特征將所述圖像收藏集中的圖像分類(lèi)為多個(gè)簇；確定所述多個(gè)簇中的每個(gè)簇中所包含的圖像的相應(yīng)的相關(guān)性等級(jí)； 根據(jù)所述相關(guān)性等級(jí)對(duì)所述多個(gè)簇中的每個(gè)簇中的圖像進(jìn)行排序；以及 根據(jù)預(yù)先限定的排列過(guò)程對(duì)來(lái)自經(jīng)過(guò)排序的多個(gè)簇的圖像進(jìn)行排列，以創(chuàng)建所述圖像 收藏集的所述可縮放的相關(guān)性排序表示。
2.根據(jù)權(quán)利要求1所述的方法，其中，特征包括時(shí)間段、內(nèi)容、基于地理位置系統(tǒng)的坐 標(biāo)和圖像的元數(shù)據(jù)中的至少一個(gè)。
3.根據(jù)權(quán)利要求1所述的方法，進(jìn)一步包括從用戶接收標(biāo)識(shí)如何確定圖像的所述相關(guān)性等級(jí)的輸入，其中所述相關(guān)性等級(jí)是基于 從用戶接收到的輸入而被測(cè)量的。
4.根據(jù)權(quán)利要求1所述的方法，其中，確定所述多個(gè)簇中的每個(gè)簇中所包含的圖像的 相應(yīng)的相關(guān)性等級(jí)進(jìn)一步包括確定圖像的笑容、人臉和圖像吸引力值中的至少一個(gè)以確定 所述相關(guān)性等級(jí)。
5.根據(jù)權(quán)利要求1所述的方法，其中，所述相關(guān)性等級(jí)包括簇中的兩個(gè)或更多圖像之 間的相似性等級(jí)的測(cè)度，所述方法進(jìn)一步包括確定每個(gè)簇中的任何圖像是否彼此基本上相似；響應(yīng)于確定圖像中的至少兩個(gè)圖像彼此基本上相似，將基本上相似的圖像中的一個(gè)圖 像歸類(lèi)為代表性圖像并且將基本上相似的圖像中的另一圖像歸類(lèi)為副本圖像；以及其中，對(duì)圖像進(jìn)行排序進(jìn)一步包括對(duì)圖像進(jìn)行排序來(lái)使得被分類(lèi)為代表性圖像的圖像 較之被歸類(lèi)為副本圖像的圖像具有更大的相關(guān)性。
6.根據(jù)權(quán)利要求5所述的方法，進(jìn)一步包括針對(duì)被確定為彼此基本上相似的圖像中的每個(gè)圖像確定圖像吸引力值； 根據(jù)被確定為彼此基本上相似的圖像的相應(yīng)的圖像吸引力值對(duì)被確定為彼此基本上 相似的圖像進(jìn)行評(píng)定，并且其中將所述基本上相似的圖像中的一個(gè)圖像歸類(lèi)為代表性圖像 進(jìn)一步包括將具有最高圖像吸引力值的圖像歸類(lèi)為代表性圖像；以及其中將所述基本上相似的圖像中的另一圖像分類(lèi)為副本圖像進(jìn)一步包括將圖像吸引 力值小于最高圖像吸引力值的圖像歸類(lèi)到根據(jù)圖像吸引力值分級(jí)排列的一個(gè)或更多副本集合中。
7.根據(jù)權(quán)利要求6所述的方法，進(jìn)一步包括 將被確定為重要的圖像評(píng)定為具有最高相關(guān)性等級(jí)。
8.根據(jù)權(quán)利要求5所述的方法，其中，確定每個(gè)簇中的任何圖像是否彼此基本上相似 進(jìn)一步包括通過(guò)每個(gè)圖像的詞匯量化過(guò)程來(lái)確定每個(gè)簇中的任何圖像是否彼此基本上相 似。
9.根據(jù)權(quán)利要求1所述的方法，其中，確定圖像的相應(yīng)的相關(guān)性等級(jí)進(jìn)一步包括基于 每個(gè)圖像的銳度、對(duì)比度、色彩度以及曝光、吸引人的區(qū)域的尺寸和吸引人的區(qū)域的同質(zhì)性 中的至少一個(gè)的組合來(lái)確定每個(gè)圖像的圖像吸引力值。
10.一種用于創(chuàng)建圖像收藏集的可縮放的相關(guān)性排序表示的計(jì)算設(shè)備，所述設(shè)備包括存儲(chǔ)器，所述存儲(chǔ)器存儲(chǔ)所述圖像收藏集；處理器，所述處理器被配置來(lái)訪問(wèn)所述存儲(chǔ)器，所述處理器被進(jìn)一步配置來(lái)基于圖像 的特征將所述圖像收藏集中的圖像分類(lèi)為多個(gè)簇，確定所述多個(gè)簇中的每個(gè)簇中所包含的 圖像的相應(yīng)的相關(guān)性等級(jí)，根據(jù)所述相關(guān)性等級(jí)對(duì)所述多個(gè)簇中的每個(gè)簇中的圖像進(jìn)行排 序，根據(jù)預(yù)先限定的排列過(guò)程對(duì)來(lái)自經(jīng)過(guò)排序的多個(gè)簇的圖像進(jìn)行排列以根據(jù)所排列的圖 像創(chuàng)建所述圖像收藏集的所述可縮放的相關(guān)性排序表示。
11.根據(jù)權(quán)利要求10所述的計(jì)算設(shè)備，其中，所述處理器被進(jìn)一步配置來(lái)確定圖像的 笑容、人臉和圖像吸引力值中的至少一個(gè)以確定圖像的相關(guān)性等級(jí)。
12.根據(jù)權(quán)利要求10所述的計(jì)算設(shè)備，其中，所述相關(guān)性等級(jí)包括簇中的兩個(gè)或更多 圖像之間的相似性等級(jí)的測(cè)度，所述處理器被進(jìn)一步配置來(lái)確定每個(gè)簇中的任何圖像是 否彼此基本上相似，將所述基本上相似的圖像中的一個(gè)圖像歸類(lèi)為代表性圖像并且將所述 基本上相似的圖像中的另一圖像歸類(lèi)為副本圖像；以及其中所述處理器被進(jìn)一步配置來(lái)對(duì) 圖像進(jìn)行排序來(lái)使得被歸類(lèi)為代表性圖像的圖像較之被歸類(lèi)為副本圖像的圖像具有更大 的相關(guān)性。
13.根據(jù)權(quán)利要求12所述的計(jì)算設(shè)備，其中，所述處理器被進(jìn)一步配置來(lái)針對(duì)被確 定為彼此基本上相似的圖像中的每個(gè)圖像確定圖像吸引力值，根據(jù)被確定為彼此基本上相 似的圖像的相應(yīng)的圖像吸引力值對(duì)被確定為基本上彼此相似的圖像進(jìn)行評(píng)定，將具有最高 圖像吸引力值的圖像歸類(lèi)為代表性圖像，以及將圖像吸引力值小于最高圖像吸引力值的圖 像歸類(lèi)到根據(jù)圖像吸引力值分級(jí)排列的一個(gè)或更多副本集合中。
14.一種有形計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上被嵌入一個(gè)或更多計(jì)算機(jī)程序，所述一個(gè)或 更多計(jì)算機(jī)程序?qū)嵤┝俗詣?dòng)創(chuàng)建圖像收藏集的可縮放的相關(guān)性排序表示的方法，所述一個(gè) 或更多計(jì)算機(jī)程序包括用于如下操作的計(jì)算機(jī)可讀代碼基于圖像的特征將所述圖像收藏集中的圖像分類(lèi)為多個(gè)簇；確定所述多個(gè)簇中的每個(gè)簇中所包含的圖像的相應(yīng)的相關(guān)性等級(jí)；根據(jù)所述相關(guān)性等級(jí)對(duì)所述多個(gè)簇中的每個(gè)簇中的圖像進(jìn)行排序；以及根據(jù)預(yù)先限定的排列過(guò)程對(duì)來(lái)自經(jīng)過(guò)排序的多個(gè)簇的圖像進(jìn)行排列，以創(chuàng)建所述圖像 收藏集的所述可縮放的相關(guān)性排序表示。
15.根據(jù)權(quán)利要求15所述的有形計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述一個(gè)或更多計(jì)算機(jī)程序 進(jìn)一步包括用于如下操作的計(jì)算機(jī)可讀代碼確定圖像的笑容、人臉和圖像吸引力值中的至少一個(gè)，以確定相關(guān)性等級(jí)。
全文摘要
在自動(dòng)創(chuàng)建圖像收藏集的可縮放的相關(guān)性排序表示的方法中，基于圖像的特征將圖像收藏集中的圖像分類(lèi)為多個(gè)簇。此外，確定多個(gè)簇中的每個(gè)簇中所包含的圖像的相應(yīng)的相關(guān)性等級(jí)，并且根據(jù)相關(guān)性等級(jí)對(duì)多個(gè)簇中的每個(gè)簇中的圖像進(jìn)行排序。而且，根據(jù)預(yù)先限定的排列過(guò)程對(duì)來(lái)自經(jīng)過(guò)排序的多個(gè)簇的圖像進(jìn)行排列，以創(chuàng)建圖像收藏集的可縮放的相關(guān)性排序表示。
文檔編號(hào)G06T1/20GK102132318SQ200880130820
公開(kāi)日2011年7月20日 申請(qǐng)日期2008年8月21日 優(yōu)先權(quán)日2008年8月21日
發(fā)明者P·奧布拉多 申請(qǐng)人:惠普開(kāi)發(fā)有限公司