本申請要求申請?zhí)枮?2/020152、提交于2014年7月2日、題為“DISPLAY,VISUALIZATION,AND MANAGEMENT OF PHOTOS BASED ON CONTENT ANALYTICS”的美國專利申請的優(yōu)先權(quán),在此通過引用將該美國專利申請的全部內(nèi)容納入在本申請中。
技術(shù)領(lǐng)域
本發(fā)明的實施方案總體涉及圖像管理,并且更具體地涉及用于組編、顯示和可視化一組圖像的系統(tǒng)和方法。
背景技術(shù):
隨著成像和傳感器裝置的廣泛可用性,圖像/視頻數(shù)據(jù)量已經(jīng)有了巨大的增長。據(jù)估計,全球任何時刻在網(wǎng)上可以從網(wǎng)頁、社交媒體、廣告照片等獲得超過1萬億的照片。根據(jù)思科VNI Mobile 2012的預(yù)測,到2016年全球移動數(shù)據(jù)流量將增長到每月10.8艾字節(jié)(exabytes),并且超過70%的移動數(shù)據(jù)將是視頻。
類似地,在個人層面,消費者現(xiàn)在傾向于生成大量的個人照片。隨著高端智能電話、平板電腦、相機和攝像機的大量涌現(xiàn),這些個人照片的數(shù)量預(yù)計會大幅增長。正在拍攝和已生成的照片的數(shù)量、速度和多樣性使組編和管理所拍攝的圖像變得具有挑戰(zhàn)性。審查、組編和分類所拍攝的大量圖像可能是耗時和枯燥的,因此,用戶可能不去組編他們的照片,或者僅按照它們被上傳或存儲的順序排列。
類似地,大量的圖像使得瀏覽圖像集合從而識別特定圖像或圖像類型變得困難。同樣的,此過程可能是耗時的,并且當(dāng)圖像的集合變大時可能是不可完成的。
技術(shù)實現(xiàn)要素:
根據(jù)本文所述的第一實施方案,提供了組編多幅圖像的計算機實現(xiàn)方法。所述方法可以包括對于所述多幅圖像中的每幅圖像,操作計算機處理器以確定至少一個圖像分配準(zhǔn)則,所述至少一個圖像分配準(zhǔn)則包括至少一個圖像特有分配準(zhǔn)則,其中所述至少一個圖像特有分配準(zhǔn)則包括該圖像和所述多幅圖像中的至少另一幅圖像之間的相似性距離,該相似性距離度量該圖像和所述至少另一幅圖像在外觀上的相似程度。所述方法還可以包括將多幅圖像分配到多個圖像組,從而使用每幅圖像的圖像分配準(zhǔn)則將所述多幅圖像中的每幅圖像分配給所述多個圖像組中的至少一個組,其中所述多個圖像組包括多個相似圖像組。通過將所述多幅圖像中的每幅圖像基于針對該圖像的所述至少一個圖像特有分配準(zhǔn)則分配至所述多個相似圖像組中的一個組,可以將所述多幅圖像分成所述多個相似圖像組。
在一些實施方案中,所述方法還可以包括,對于所述多幅圖像中的每幅圖像,通過比較該圖像中至少部分像素的圖像特有像素內(nèi)容和所述多幅圖像中的所述至少另一幅圖像中至少部分像素的圖像特有像素內(nèi)容,以度量該圖像和所述至少另一幅圖像在外觀上的相似程度,來確定該圖像與所述多幅圖像中的所述至少另一幅圖像之間的相似性距離。
在一些實施方案中,所述方法還可以包括:將多個顯示組確定為所述多個圖像組中的組子集;通過以下方式確定多幅代表性圖像,即針對所述多個顯示組的每一個顯示組,確定代表該顯示組中所有圖像的代表性圖像;以及在計算機設(shè)備顯示器上同時顯示所述多幅代表性圖像。
在一些實施方案中,所述方法還可以包括,對于所述多個顯示組中的至少一個顯示組,該顯示組包括數(shù)目多于圖像門限值的多幅圖像,所述圖像門限值是大于1的整數(shù):確定該顯示組的多個圖像分組,其中該顯示組中的每幅圖像被分配到所述多個圖像分組中的一個分組,以及通過針對該顯示組中的每個分組確定代表該分組中的所有圖像的分組代表性圖像以確定多個分組代表性圖像。
在一些實施方案中,所述方法還可以包括,對于所述多個顯示組中的至少一個顯示組,其中該顯示組包括數(shù)目多于圖像門限值的多幅圖像,所述圖像門限值是大于1的整數(shù):確定該顯示組的多個圖像分組,其中該顯示組中的每幅圖像被分配至所述多個圖像分組中的一個分組。通過以下方式來確定該顯示組的代表性圖像:確定多個分組代表性圖像,所述多個圖像分組中的每個圖像分組具有一個分組代表性圖像;并且生成該顯示組的代表性圖像以包括多個代表性圖像部分,每個代表性圖像部分包括所述多個圖像分組中的一個圖像分組的所述分組代表性圖像。
在一些實施方案中,對于所述至少一個顯示組中的特定顯示組,所述多個圖像分組可以包括多個相似圖像組中的第一相似圖像組,所述第一相似圖像組包括多幅第一相似圖像,其中每幅第一相似圖像具有的在該第一相似圖像和至少另一幅第一相似圖像之間的相似性距離在相似性門限值范圍內(nèi)。通過從所述多幅第一相似圖像中選擇多幅代表性第一相似圖像來確定所述第一相似圖像組的分組代表性圖像;并且生成所述第一相似圖像組的所述分組代表性圖像,以包括在所述多幅代表性第一相似圖像中每幅代表性第一相似圖像的至少一部分。
在一些實施方案中,生成所述第一相似圖像組的所述分組代表性圖像可包括將每一幅所述代表性第一相似圖像部分地重疊起來。
在一些實施方案中,特定顯示組的所述多個圖像分組還可包括所述多個相似圖像組中的至少一個額外相似圖像組,每個額外相似圖像組包括多幅額外相似圖像,并且對于每個額外相似圖像組,該額外相似圖像組中的每幅額外相似圖像可以具有的在該額外相似圖像和該額外相似圖像組中的至少另一幅額外相似圖像之間的相似性距離在該額外類似圖像組的相似性門限值范圍內(nèi)。所述多幅第一相似圖像和多幅額外相似圖像中的每個可以沒有交集,并且多幅額外相似圖像中每個可以與多幅額外相似圖像中的其他每個額外相似圖像沒有交集。對于每個額外相似圖像組,分組代表性圖像可以通過以下方式被確定:從所述額外相似圖像組中的所述多幅額外相似圖像中選擇多幅代表性的額外相似圖像;并且生成所述額外相似圖像組的所述分組代表性圖像,以包括所述多幅代表性的額外相似圖像中的每幅代表性的額外相似圖像的至少一部分。
在一些實施方案中,所述方法還可以包括提供與計算機設(shè)備顯示器相關(guān)聯(lián)的用于從用戶接收輸入的用戶接口,并包括從所述用戶接收所述輸入。所述方法可包括基于來自所述用戶的所述輸入從所述多幅代表性圖像中確定所選擇的代表性圖像,其中所選擇的代表性圖像是從所述多個顯示組中被選擇的顯示組的代表性圖像,并且所選顯示組包含數(shù)目多于圖像門限值的圖像,所述圖像門限值是大于1的整數(shù)。所述方法還可以包括對于所選顯示組確定計算機設(shè)備顯示器上分配的屏幕尺寸,以及確定所分配的計算機設(shè)備顯示器的屏幕尺寸是否足以同時顯示所選顯示組中的圖像數(shù)目。所述方法可以包括,如果所分配的計算機設(shè)備顯示器的屏幕尺寸是足夠的,則在所述計算機設(shè)備顯示器上顯示所選顯示組中的圖像;并且如果所分配的計算機設(shè)備顯示器的屏幕尺寸不足,則所述方法可包括確定所選顯示組的多個圖像分組,其中所選顯示組中的每幅圖像被分配到所述多個圖像分組中的一個分組;通過以下方式確定多個圖像分組的多幅代表性圖像:對于所選顯示組的每個分組,確定該分組的代表該分組中的所有圖像的代表性圖像;并且在計算機設(shè)備顯示器上顯示所確定的多個圖像分組的所述多幅代表性圖像。
在一些實施方案中,所述方法還可以包括,對于所述多個顯示組中的至少一個顯示組,所述至少一個顯示組中的每個顯示組包括數(shù)目多于圖像門限值的圖像,其中圖像門限值是大于1的整數(shù);通過以下方式確定所述至少一個顯示組中的每個顯示組的代表性圖像:選擇代表性組圖像的子集,所述代表性組圖像的子集包括該顯示組中的至少兩幅圖像;并且生成所述代表性圖像,以包括所選代表性組圖像的子集中的每幅代表性組圖像的至少一部分。
在一些實施方案中,所述方法還可以包括,對于至少一個顯示組中的每個顯示組,基于對于所述多個顯示組分配的計算機設(shè)備顯示器的顯示尺寸來確定該顯示組的最大代表性圖像尺寸;并且生成該顯示組的代表性圖像,以使得所述代表性圖像的總圖像尺寸大于該顯示組的最大代表性圖像尺寸。所述方法還可以包括通過顯示所述代表性圖像的一部分來顯示該顯示組的代表性圖像,其中所述代表性圖像的所述顯示部分的尺寸不大于所述最大代表性圖像尺寸。
在一些實施方案中,對于所述至少一個顯示組中的特定顯示組,顯示所述特定顯示組的所述代表性圖像可包括依次顯示所述特定顯示組的所述代表性圖像的每一部分。
在一些實施方案中,所述方法還可以包括通過生成所選擇的代表性組圖像子集中的每幅代表性組圖像的透視投影(perspective projection,立體投影)來生成所述代表性圖像,并且生成所述代表性圖像以包括所選擇的代表性組圖像子集中的每幅代表性組圖像的透視投影的至少一部分。
在一些實施方案中,所述方法可包括通過將所選擇的代表性組圖像子集中的每幅代表性組圖像的透視投影重疊生成所述代表性圖像,以包括所選擇的代表性組圖像子集中的每幅代表性組圖像的透視投影的至少一部分。
在一些實施方案中,所述代表性圖像可具有第一周圍邊界和與所述第一周圍邊界相對的第二周圍邊界。所選擇的代表性組圖像子集中的每幅代表性組圖像的所述透視投影可以起初互相重疊,使得所選擇的代表性組圖像子集中的第一代表性組圖像的透視投影與所選擇的代表性組圖像子集中的至少一個額外的代表性組圖像的透視投影重疊。所述第一代表性組圖像的所述透視投影可以緊鄰所述第一周圍邊界,并且每個額外代表性組圖像的透視投影在朝向所述第二周圍邊界的第一方向上越來越遠離所述第一代表性組圖像的透視投影。顯示所述代表性圖像可以包括,沿著朝向所述第一周圍邊界的第二方向逐步移動所選擇的代表性組圖像子集中每幅代表性組圖像的透視投影,并且當(dāng)所選擇的代表性組圖像中的每幅代表性組圖像的透視投影到達接近所述第一周圍邊界的門限值位置時從所述代表性圖像中去除所述透視投影。
在一些實施方案中,所述方法還可包括通過以下方式來顯示所述代表性圖像:在緊鄰所述第二周圍邊界處,逐步把所選擇的代表性組圖像子集中每幅代表性組圖像的透視投影引入至所述代表性圖像,朝向所述第一周圍邊界移動每幅代表性組圖像的所述透視投影,并且當(dāng)每幅代表性組圖像的所述透視投影到達所述門限位置時,把所述透視投影從所述代表性圖像中清除。
在一些實施方案中,每幅代表性組圖像的所述透視投影當(dāng)被引入至所述代表性圖像中時可以是基本不透明的,而隨著它向所述第一周圍邊界移動所述透視投影會逐漸地變?yōu)橹辽侔胪该鳌?/p>
在一些實施方案中,可以以第一投影角度產(chǎn)生所選擇的代表性組圖像子集中的每幅代表性組圖像的透視投影。所述方法還可包括提供與計算機設(shè)備顯示器相關(guān)聯(lián)的用于從用戶接收輸入的用戶接口;從所述用戶接收所述輸入;并且基于來自所述用戶的所述輸入,重新生成所述代表性圖像以包括所選擇的代表性組圖像子集中的每幅代表性組圖像的第二透視投影中的至少一部分,所述第二透視投影是以第二投影角度生成的,其中所述第二投影角度不同于所述第一投影角度。
在一些實施方案中,所述方法可以進一步包括通過確定分配給所述多個顯示組的計算機設(shè)備顯示器的顯示尺寸來確定每個顯示組的最大代表性圖像尺寸;將所分配的顯示尺寸劃分為多個顯示組部分,其中所述多個顯示組中的每個顯示組具有一個顯示組部分;確定每個顯示組的所述最大代表性圖像尺寸為該顯示組的所述顯示組部分的尺寸;并且確定所述多個顯示組的每個顯示組的所述代表性圖像,以使得所述代表性圖像的尺寸不大于該顯示組的所述最大代表性圖像尺寸。
在一些實施方案中,所述方法還可以包括提供與計算機設(shè)備顯示器相關(guān)聯(lián)的用于從用戶接收輸入的用戶接口,從所述用戶接收所述輸入,并且基于來自所述用戶的所述輸入,從多幅代表性圖像中確定所選代表性圖像,所述所選代表性圖像是從所述多個顯示組中所選顯示組的所述代表性圖像,并且所選顯示組包括數(shù)目多于圖像門限值的圖像,所述圖像門限值是大于1的整數(shù)。所述方法還可包括通過以下步驟確定所選顯示組的多個顯示分組:確定所選顯示組的多個圖像分組,其中所選顯示組中的每幅圖像被分配到所述多個圖像分組中的至少一個分組,所述多個圖像分組包括多個分組級別,每個分組級別包括多個互不相交的級別特有分組;確定分配給所選顯示組的計算機設(shè)備顯示器的屏幕尺寸;通過以下方式確定顯示分組門限值數(shù)目:在每幅代表性圖像的圖像尺寸不大于最大代表性圖像尺寸的前提下確認(rèn)能夠同時顯示在所分配的屏幕尺寸上的代表性圖像的最大個數(shù);通過以下方式從所述多個顯示分組級別中確定顯示分組級別:確認(rèn)包括不多于所述顯示分組門限值的最大數(shù)目級別特有分組的分組級別,其中所選顯示組中的每幅圖像被分配到所述顯示分組級別中的至少一個級別特有分組;以及確認(rèn)所述多個顯示分組為所述顯示分組級別中的所述多個級別特有分組。所述方法還可以包括,通過以下方式確定所述多個顯示分組的多幅代表性圖像:對于所述多個顯示分組中的每個顯示分組,確定代表所述顯示分組中所有圖像的且圖像尺寸不大于所述代表性圖像尺寸的代表性圖像;并且在所述計算機設(shè)備顯示器上同時顯示所述多個顯示分組的所述多幅代表性圖像。
在一些實施方案中,所述方法可能包括通過對所述多幅圖像中的每幅圖像向該圖像分配訪問級別來確定至少一個圖像分配準(zhǔn)則,所述訪問級別表示對該圖像的圖像管理限制;并且可以將每幅圖像,通過將該圖像分配到具有與該圖像的訪問級別相對應(yīng)的圖像管理限制的至少一個組,分配給所述多個圖像組中的至少一個組。
在一些實施方案中,所述方法可能包括對于所述多幅圖像中的每幅圖像,通過從與該圖像相關(guān)聯(lián)的圖像元數(shù)據(jù)中確定至少一個元數(shù)據(jù)分配準(zhǔn)則來確定該圖像的所述至少一個圖像分配準(zhǔn)則;并且基于該圖像的所述至少一個元數(shù)據(jù)分配準(zhǔn)則將該圖像分配到所述多個圖像組中的一個特定圖像組。
根據(jù)本文所述的另一示例實施方案,這里提供了一種在計算設(shè)備上組編多幅圖像的計算機程序產(chǎn)品,所述計算機程序產(chǎn)品可以包括非暫態(tài)性記錄介質(zhì)和記錄在所述記錄介質(zhì)上的指令。所述指令可以包括用于配置所述計算設(shè)備的處理器進行以下操作的指令:為所述多幅圖像中的每幅圖像確定至少一種圖像分配準(zhǔn)則,所述至少一種圖像分配準(zhǔn)則包括至少一種圖像特有分配準(zhǔn)則,其中所述至少一種圖像特有分配準(zhǔn)則包括該圖像和所述多幅圖像中的至少另一幅圖像之間的相似性距離,該相似性距離度量該圖像和所述至少另一幅圖像在外觀上的相似程度;并且將所述多幅圖像分配至多個圖像組,使得對于所述多幅圖像中的每幅圖像,通過使用每幅圖像的所述圖像分配準(zhǔn)則將該圖像分配至所述多個圖像組中的至少一個組,其中所述多個圖像組包括多個相似圖像組,并且所述多幅圖像通過以下方式被分成所述多個相似圖像組:對于所述多幅圖像中的每幅圖像,基于該圖像的至少一種圖像特有分配準(zhǔn)則,將該圖像分配到所述多個相似圖像組中的一組。
在一些實施方案中,所述計算機程序產(chǎn)品可能進一步包括用于配置處理器進行以下操作的指令:對于所述多幅圖像中的每幅圖像,通過以下方式確定該圖像與所述多幅圖像中的所述至少另一幅圖像間的相似性距離:將該圖像中至少部分像素的圖像特有像素內(nèi)容與所述至少另一幅圖像中部分像素的圖像特有像素內(nèi)容進行比較,以度量該圖像與所述至少另一幅圖像的外觀相似程度。
在一些實施方案中,所述計算機程序產(chǎn)品還可能包括用于配置處理器進行以下操作的指令:確定多個顯示組作為所述多個圖像組的組子集;通過以下確定多幅代表性圖像:對于所述多個顯示組中的每一個顯示組,確定代表所述顯示組中所有圖像的代表性圖像;并且在所述計算設(shè)備的顯示器上同時顯示所述多幅代表性圖像。
在一些實施方案中,所述計算機程序產(chǎn)品還可能包括用于配置處理器進行以下操作的指令:對于所述多個顯示組中的至少一個顯示組,其中所述至少一個顯示組包括數(shù)目多于圖像門限值的圖像,所述圖像門限值是大于1的整數(shù):確定所述至少一個顯示組的多個圖像分組,其中所述至少一個顯示組中的每幅圖像被分配到所述多個圖像分組中一個分組;并且通過以下方式確定多個分組代表性圖像:對于所述至少一個顯示組中的每一個分組,確定代表所述分組中所有圖像的分組代表性圖像。
在一些實施方案中,所述計算機程序產(chǎn)品還可包括指令,該指令用于將所述處理器配置為:對于所述多個顯示組中的至少一個顯示組,其中所述至少一個顯示組包括數(shù)目多于圖像門限值的圖像,所述圖像門限值是大于1的整數(shù):確定所述至少一個顯示組的多個圖像分組,其中所述至少一個顯示組中的每幅圖像被分配到所述多個圖像分組中的一個分組。所述計算機程序產(chǎn)品還可能包括用于配置處理器進行以下操作的指令:通過以下方式確定所述至少一個顯示組的所述代表性圖像:確定多個分組代表性圖像,其中所述多個子圖像組中的每個圖像分組具有一個分組代表性圖像;并且生成所述至少一個顯示組的所述代表性圖像,以包括多個代表性圖像部分,其中每個代表性圖像部分包括所述多個圖像分組中的所述圖像分組中一個圖像分組的分組代表性圖像。
在一些實施方案中,對于所述至少一個顯示組中的特定顯示組,所述多個圖像分組可以包括所述多個相似圖像組的第一相似圖像組,所述第一相似圖像組包括多幅第一相似圖像,其中每幅第一相似圖像和至少另一幅第一相似圖像之間的相似性距離在相似性門限值范圍內(nèi)。所述計算機程序產(chǎn)品還可能包括用于配置處理器進行以下操作的指令:通過以下方式確定所述第一相似圖像組的所述分組代表性圖像:從所述多幅第一相似圖像中選擇多幅代表性第一相似圖像;并且生成所述第一相似圖像組的所述分組代表性圖像以包括所述多幅代表性第一相似圖像中的每幅代表性第一相似圖像的至少一部分。
在一些實施方案中,計算機程序產(chǎn)品還可包括用于配置處理器進行以下操作的指令:通過把所述多幅代表性第一相似圖像部分地重疊起來,生成所述第一相似圖像組的所述分組代表性圖像。
在一些實施方案中,對于所述特定顯示組,所述多個圖像分組可以進一步包括所述多個相似圖像組的至少一個額外相似圖像組,每個額外相似圖像組包括多幅額外相似圖像,對于每個額外相似圖像組,該額外相似圖像組中的每幅額外相似圖像和該額外相似圖像組中的至少另一幅額外相似圖像之間的相似性距離在該額外相似圖像組的所述相似性門限值范圍內(nèi)。所述多幅第一相似圖像和每個多幅額外相似圖像組可以沒有交集,并且每個多幅額外相似圖像組與其他任何一個額外相似圖像組可以沒有交集。所述計算機程序產(chǎn)品還可以包括用于配置處理器進行以下操作的指令:通過以下方式確定每個額外相似圖像組的分組代表性圖像:從所述額外相似圖像組中的所述多幅額外相似圖像中選擇多幅代表性的額外相似圖像;并且生成所述額外相似圖像組的分組代表性圖像,以包括所述多幅代表性的額外相似圖像中的每幅代表性的額外相似圖像的至少一部分。
在一些實施方案中,所述計算機程序產(chǎn)品還可能包括用于配置處理器進行以下操作的指令:提供同所述計算設(shè)備的所述顯示器相關(guān)聯(lián)的用于從用戶接收輸入的用戶界面;從所述用戶接收所述輸入;基于來自所述用戶的所述輸入,從所述多幅代表性圖像中確定所選代表性圖像,該所選代表性圖像是從所述多個顯示組中選擇的顯示組的代表性圖像,該所選顯示組包括數(shù)目多于圖像門限值的圖像,所述圖像門限值是大于1的整數(shù)。所述計算機程序產(chǎn)品還可以包括指令,該指令用于將所述處理器配置為:確定分配給所選顯示組的所述計算機設(shè)備顯示器的屏幕尺寸;確定所述計算機設(shè)備顯示器上分配的屏幕尺寸是否足以同時顯示所選顯示組中的所有圖像;并且如果所述計算機設(shè)備顯示器上分配的屏幕尺寸是足夠的,則在所述計算機設(shè)備顯示器上顯示所選顯示組中的所有圖像。所述計算機程序產(chǎn)品還可以包括指令,該指令用于將所述處理器配置為:如果所述計算機設(shè)備顯示器上分配的屏幕尺寸不夠,則確定所選顯示組的多個圖像分組,其中所選顯示組中的每幅圖像被分配到所述多個圖像分組中的一個分組;通過以下方式確定所述多個圖像分組的多幅代表性圖像:對于所選顯示組中的每個分組確定代表該分組中的所有圖像的代表性圖像;并且在所述計算設(shè)備的所述顯示器上顯示所述多個圖像分組的所述多幅代表性圖像。
在一些實施方案中,所述計算機程序產(chǎn)品還可以包括用于配置處理器進行以下操作的指令:對于所述多個顯示組中的至少一個顯示組,所述至少一個顯示組中的每個顯示組包括數(shù)目多于圖像門限值的圖像,所述圖像門限值是大于1的整數(shù):通過選擇代表性組圖像的子集來確定所述至少一個顯示組中的每個顯示組的所述代表性圖像,所述代表性組圖像的子集包括所述顯示組中的至少兩幅圖像;并且生成所述代表性圖像,以包括所選擇的代表性組圖像子集中的每幅代表性組圖像的至少一部分。
在一些實施方案中,所述計算機程序產(chǎn)品可能進一步包括用于配置處理器進行以下操作的指令,對于所述至少一個顯示組中的每個顯示組:基于分配給所述多個顯示組的所述計算機設(shè)備顯示器上的顯示尺寸,確定所述顯示組的最大代表性圖像尺寸;生成所述顯示組的所述代表性圖像,所述代表性圖像的總體圖像尺寸大于所述顯示組的最大代表性圖像尺寸;并且通過顯示所述代表性圖像的一部分來顯示所述顯示組的所述代表性圖像,其中所述代表性圖像的所述被顯示部分的尺寸不大于所述最大代表性圖像尺寸。
在一些實施方案中,所述計算機程序產(chǎn)品還可能包括用于配置處理器進行以下操作的指令:對于所述至少一個顯示組中的特定顯示組,通過依次顯示所述特定顯示組的每個部分,來顯示所述特定顯示組的代表性圖像。
在一些實施方案中,所述計算機程序產(chǎn)品還可能包括用于配置處理器進行以下操作生成所述代表性圖像的指令:生成所選擇的代表性組圖像子集中的每幅代表性組圖像的透視投影;并且生成所述代表性圖像以包括所選的代表性組圖像子集中的每幅代表性組圖像的透視投影的至少一部分。
在一些實施方案中,所述計算機程序產(chǎn)品還可能包括用于配置處理器進行以下操作的指令:通過將所選擇的代表性組圖像子集中的每幅代表性組圖像的透視投影的至少一部分重疊,生成所述代表性圖像以包括所選擇的代表性組圖像子集中的每幅代表性組圖像的透視投影的至少一部分。
在一些實施方案中,所述代表性圖像可以包括第一周圍邊界和與第一周圍邊界相對的第二周圍邊界,并且所述計算機程序產(chǎn)品還可能包括用于配置處理器進行以下操作的指令:起初把所選擇的代表性組圖像子集中的每幅代表性組的所述透視投影圖像相互重疊,使得所選擇的代表性組圖像子集的第一代表性組圖像的所述透視投影與所選擇的代表性組圖像子集中的至少另一幅額外代表性組圖像的透視投影重疊,其中所述第一代表性組圖像的所述透視投影緊鄰所述第一周圍邊界,并且每幅額外代表性組圖像的所述透視投影在朝向所述第二周圍邊界的第一方向上越來越遠離所述第一代表性組圖像的所述透視投影;并且通過以下方式顯示所述代表性圖像:沿著朝向所述第一周圍邊界的第二方向逐步移動所選擇的代表性組圖像子集中的每幅代表性組圖像的所述透視投影,并且當(dāng)所選擇的代表性組圖像子集中的每幅代表性組圖像的所述透視投影到達緊鄰所述第一周圍邊界的門限位置時,從所述代表性圖像的圖像中清除所述透視投影。
在一些實施方案中,所述計算機程序產(chǎn)品還可能包括用于配置處理器進行以下操作顯示所述代表性圖像的指令:在緊鄰所述第二周圍邊界處,逐步把所選擇的代表性組圖像子集中每幅代表性組圖像的透視投影引入至所述代表性圖像,沿著朝向所述第一周圍邊界的方向移動所述透視投影,并且當(dāng)每幅代表性組圖像的透視投影到達所述門限位置時,把所述透視投影從所述代表性圖像中清除。
在一些實施方案中,所述計算機程序產(chǎn)品還可能包括用于配置處理器進行以下操作的指令:以基本上是不透明的狀態(tài)把每幅代表性組圖像的所述透視投影引入至所述代表性圖像,并且隨著每幅代表性組圖像的所述透視投影朝向所述第一周圍邊界移動時,逐漸地調(diào)整它以變?yōu)橹辽侔胪该鳌?/p>
在一些實施方案中,所述計算機程序產(chǎn)品還可能包括用于配置處理器進行以下操作的指令:以第一投影角度生成所選擇的代表性組圖像子集中的每幅代表性組圖像的所述透視投影;提供與所述計算設(shè)備的所述顯示器相關(guān)聯(lián)的用于從用戶接收輸入的用戶界面;從所述用戶接收所述輸入;并且基于來自所述用戶的所述輸入,重新生成所述代表性圖像,以包括所選擇的代表性組圖像子集中的每幅代表性組圖像的第二透視投影的至少一部分,所述第二透視投影是以第二投影角度生成的,其中所述第二投影角度不同于所述第一投影角度。
在一些實施方案中,所述計算機程序產(chǎn)品還可能包括用于配置處理器進行以下操作的指令:通過以下方式確定每個顯示組的最大代表性圖像尺寸:確定分配給所述多個顯示組的所述顯示器上分配的顯示尺寸;將所分配的顯示尺寸分割為多個顯示組部分,其中所述多個顯示組的每一個顯示組具有一個顯示組部分;并確定每個顯示組的所述最大代表性圖像尺寸為所述顯示組的顯示組部分的尺寸;并且確定所述多個顯示組中的每個顯示組的所述代表性圖像,所述代表性圖像具有的代表性圖像尺寸不大于所述顯示組的最大代表性圖像尺寸。
在一些實施方案中,所述計算機程序產(chǎn)品還可能包括用于配置處理器進行以下操作的指令:提供與所述顯示器相關(guān)聯(lián)的用于從用戶接收輸入的用戶界面;從所述用戶接收所述輸入;基于來自所述用戶的所述輸入,從所述多幅代表性圖像中確定所選代表性圖像,所選代表性圖像是從所述多個顯示組中選擇的顯示組的所述代表性圖像,并且所選顯示組包括數(shù)目多于圖像門限值的圖像,所述圖像門限值是大于1的整數(shù)。所述計算機程序產(chǎn)品還可能包括用于配置處理器完成以下操作確定所選顯示組的多個顯示分組的指令:確定所選顯示組的多個圖像分組,其中所選顯示組中的每幅圖像被分配到所述多個圖像分組中的至少一個分組,所述多個圖像分組包括多個分組級別,每個分組級別包括多個互不相交的級別特有分組;確定分配給所選顯示組的計算機設(shè)備顯示器上分配的屏幕尺寸;通過以下方式確定顯示分組的門限值:在每幅代表性圖像尺寸不大于最大代表性圖像尺寸的條件下,確認(rèn)能夠同時顯示在所述分配的屏幕尺寸上的代表性圖像的最大個數(shù);通過以下方式從所述多個分組級別中確定顯示分組級別:確認(rèn)包括不多于所述顯示分組的所述門限值的最大數(shù)目級別特有分組的所述分組級別,其中所選顯示組中的每幅圖像被分配到所述顯示分組級別中的至少一個所述級別特有分組;確認(rèn)所述多個顯示分組為所述顯示分組級別中的所述多個級別特有分組;通過以下方式確定所述多個顯示分組的多幅代表性圖像:對于所述多個顯示分組的每一個顯示分組,確定代表該顯示分組中的所有圖像的代表性圖像,所述代表性圖像的圖像尺寸不大于所述代表性圖像尺寸;并且在所述顯示器上同時顯示所述多個顯示分組中的所述多幅代表性圖像。
在一些實施方案中,所述計算機程序產(chǎn)品還可能包括用于配置處理器進行以下操作的指令:通過給所述多幅圖像中的每幅圖像指定訪問級別,確定至少一個圖像分配準(zhǔn)則,所述訪問級別代表對該圖像的圖像管理限制;并且通過以下方式將每幅圖像分配到所述多個圖像組中的至少一個組:分配該圖像到具有與該圖像的訪問級別相對應(yīng)的圖像管理限制的至少一個組。
在一些實施方案中,所述計算機程序產(chǎn)品還可能包括用于配置處理器進行以下操作的指令:對所述多幅圖像的每幅圖像,通過以下方式確定至少一個圖像分配準(zhǔn)則:從與該圖像相關(guān)聯(lián)的圖像元數(shù)據(jù)中確定至少一個元數(shù)據(jù)分配準(zhǔn)則;并且基于該圖像的所述至少一個元數(shù)據(jù)分配準(zhǔn)則將該圖像分配到所述多個圖像組中的一個特定組。
根據(jù)本文描述的另一示例實施方案,這里提供了一種用于組編多幅圖像的設(shè)備。所述設(shè)備可以包括處理器,顯示器和非易失性設(shè)備存儲器。所述非易失性設(shè)備存儲器可以存儲用于配置處理器進行以下操作的指令:確定多組圖像,所述多個圖像組由以下定義:把所述多幅圖像中的每幅圖像通過使用為該圖像確定的至少一種圖像分配準(zhǔn)則,分配到所述多個圖像組中的至少一個組,所述圖像分組準(zhǔn)則包括至少一種圖像特有分配準(zhǔn)則,其中所述至少一種圖像特有分配準(zhǔn)則包括該圖像和所述多幅圖像中的至少另一幅圖像的相似性距離,此距離度量該圖像和所述至少另一幅圖像的外觀的相似性,所述多個圖像組包括多個相似圖像組,并且通過以下方式將所述多幅圖像分成所述多個相似圖像組:將所述多幅圖像中的每幅圖像,基于該圖像的至少一種圖像特有分配準(zhǔn)則,分配到所述相似圖像組中的一組;確定多個顯示組作為所述多個圖像組的組子集;確定多幅代表性圖像,其中所述多個顯示組中的每個顯示組擁有一幅代表性圖像,每個顯示組的代表性圖像代表該顯示組中的所有圖像;并且在所述顯示器上同時顯示所述多幅代表性圖像。
附圖說明
為了更好地理解上述實施方案,并更為清晰地示出如何將它們實施生效,現(xiàn)在將通過示例參考隨附附圖,附圖中:
圖1示出了根據(jù)一個實施方案的可用于組編圖像的系統(tǒng)的框圖;
圖2示出了用于組編圖像的現(xiàn)有技術(shù)系統(tǒng)的屏幕截圖;
圖3示出了根據(jù)一個實施方案的用于組編圖像的方法的一個示例實施方案的流程圖;
圖4示出了可以與圖3的用于組編圖像的方法的實施方案一起使用的用于確定代表性圖像的方法的一個示例實施方案的流程圖;
圖5示出了可以與圖3的用于組編圖像的方法的實施方案一起使用的用于確定是否顯示分組的圖像或代表性圖像的方法的一個示例實施方案的流程圖;
圖6示出了可以與圖3的用于組編圖像的方法的實施方案一起使用的用于確定和顯示代表性圖像的方法的一個示例實施方案的流程圖;
圖7示出了可以與圖3的用于組編圖像的方法的實施方案一起使用的用于確定要顯示的分組代表性圖像的方法的一個示例實施方案的流程圖;
圖8示出了根據(jù)一個實施方案的可被圖1的系統(tǒng)使用以組編圖像的一個示例分級結(jié)構(gòu)的框圖;
圖9A示出了可以在圖1的系統(tǒng)的實施方案中向用戶顯示的用戶界面的示例;
圖9B示出了可以在圖1的系統(tǒng)的實施方案中向用戶顯示的另一用戶界面的示例;
圖10A示出了可以在圖1的系統(tǒng)的實施方案中向用戶顯示的用戶界面的另一示例;
圖10B示出了可以在圖1的系統(tǒng)的實施方案中向用戶顯示的另一用戶界面的示例;
圖10C示出了可以在圖1的系統(tǒng)的實施方案中向用戶顯示的另一用戶界面的示例;
圖10D示出了可以向與圖1的系統(tǒng)交互的用戶顯示的又一用戶界面的示例;
圖11示出了在圖1的系統(tǒng)的實施方案中可以向用戶顯示的具有包括多個分組代表性圖像的代表性圖像的用戶界面的示例;
圖12A示出了在圖1的系統(tǒng)的實施方案中可以向用戶顯示的具有包括多個分組代表性圖像的代表性圖像的另一用戶界面的示例;
圖12B示出了圖12A的用戶界面的另一示例;
圖12C示出了圖12A的用戶界面的另一示例;
圖12D示出了圖12A的用戶界面的又一示例;
圖13A示出了在圖1的系統(tǒng)的實施方案中可以向用戶顯示的具有多幅代表性圖像的又一用戶界面的另一示例;
圖13B示出了圖13A的用戶界面的另一示例;
圖14A示出了在圖1的系統(tǒng)的實施方案中可以向用戶顯示的具有多個第一透視投影的一個代表性圖像的示例;
圖14B示出了具有多個第二透視投影的圖14A的所述代表性圖像的另一示例;
圖14C示出了具有不同投影角度的多個透視投影的圖14A的所述代表性圖像的另一示例;
圖15示出了圖1的所述系統(tǒng)的實施方案中可向用戶顯示的代表性圖像的另一示例;
圖16示出了圖1的所述系統(tǒng)的實施方案中使用的示例設(shè)備的示意圖。
詳細說明
以下將描述各種系統(tǒng)或方法,以提供所要求保護的主題的實施方案的示例。以下描述的實施方案沒有限制任何要求保護的主題,并且任何要求保護的主題可以涵蓋與以下描述的方法或系統(tǒng)不同的方法或系統(tǒng)。要求保護的主題既不限于具有下面描述的任一系統(tǒng)或方法的所有特征的系統(tǒng)或方法,也不限于下面描述的裝置或方法的某些或所有共有的特征。以下描述的系統(tǒng)或方法可能不是在任何要求保護的主題中引用到的實施方案。在該文件中沒有要求保護的在下面描述的系統(tǒng)或方法中公開的任何主題可以是另一保護性文件(例如繼續(xù)專利申請)的主題,并且申請人、發(fā)明人或擁有人不打算通過在該文獻中公開而放棄、否認(rèn)或者向公眾貢獻任何這樣的主題。
此外,將理解,為了例示的簡單明了,在認(rèn)為適當(dāng)?shù)那闆r下,參考數(shù)字可以在圖中重復(fù)以指示對應(yīng)或相似的元件。另外,闡述了很多具體細節(jié),以便提供對本文所述的實施方案的透徹理解。然而,本領(lǐng)域普通技術(shù)人員將理解,可以實踐本文所述的實施方案而不用這些具體細節(jié)。在其他實例中,沒有詳細地描述廣為人知的方法、過程或部件,以免使本文所述的實施方案模糊。還有,附圖和文字描述不應(yīng)被認(rèn)為以任何方式限制本文所述的實施方案的范圍,而是僅僅描述本文所描述的各種實施方案的實現(xiàn)。
還應(yīng)該注意,如本文所使用的,措辭“和/或”旨在代表包含性-或者(inclusive-or)。即,例如“X和/或Y”旨在表示X或Y或XY二者。另一示例,“X、Y和/或Z”旨在表示X或Y或Z或它們的任何組合。
本文所描述的系統(tǒng)、過程和方法的實施方案可用硬件或軟件或兩者的組合實現(xiàn)?;蛘撸@些實施方案還可用在可編程計算機上執(zhí)行的計算機程序?qū)崿F(xiàn),每個可編程計算機包括至少一個處理器(例如微處理器)、數(shù)據(jù)存儲系統(tǒng)(包括易失性和非易失性存儲器和/或存儲元件)、至少一個輸入設(shè)備以及至少一個輸出設(shè)備。例如但不限于,可編程計算機(或計算設(shè)備)可以是個人計算機、筆記本電腦、個人數(shù)據(jù)助理、蜂窩電話、智能電話設(shè)備、平板計算機和/或無線設(shè)備。對于任何軟件組件,程序代碼可以應(yīng)用于輸入數(shù)據(jù)以執(zhí)行本文所述的功能并生成輸出信息。輸出信息還可以以已知的方式應(yīng)用于一個或多個輸出設(shè)備。
每個軟件組件或程序可以用高級過程或面向?qū)ο蟮木幊毯?或腳本語言來實現(xiàn)以與計算機系統(tǒng)通信。然而,如果需要,所述程序可以用匯編或機器語言實現(xiàn)。在任何情況下,所述語言可以是編譯或解釋語言。每個這樣的計算機程序優(yōu)選地存儲在可由通用或?qū)S每删幊逃嬎銠C讀取的存儲介質(zhì)或設(shè)備(例如ROM)上,用于當(dāng)計算機讀取所述存儲介質(zhì)或設(shè)備以執(zhí)行本文所描述的過程時配置和操作計算機。題述系統(tǒng)還可以被認(rèn)為實現(xiàn)為配置有計算機程序的計算機可讀存儲介質(zhì),其中這樣配置的存儲介質(zhì)使得計算機以特定和預(yù)定義的方式操作以執(zhí)行本文所述的功能。
此外,所描述的實施方案的過程和方法能夠分布在包括承載用于一個或多個處理器的計算機可用指令的計算機可讀介質(zhì)的計算機程序產(chǎn)品中。所述介質(zhì)可以用各種形式提供,包括一個或多個軟盤、光盤、磁帶、芯片、有線傳輸、衛(wèi)星傳輸、互聯(lián)網(wǎng)傳輸或下載、磁和電子存儲介質(zhì)、數(shù)字和模擬信號等。計算機可用指令也可具有各種形式,包括編譯和非編譯代碼。
一般來說,本文所述的系統(tǒng)和方法的實施方案可用于組編多幅圖像。本文描述的實施方案可以使用各種技術(shù)來管理、顯示和可視化一組圖像。例如,本文描述的各種實施方案可以使用圖像的層級結(jié)構(gòu)、3D可視化技術(shù)和像素內(nèi)容分析來組編、顯示和可視化圖像和圖像組。此外,本文描述的各種實施方案可以允許在具有有限尺寸的顯示屏幕的設(shè)備(諸如智能電話或平板電腦)上更容易地管理和觀看圖像。
例如,用戶可以使用諸如智能電話、平板電腦和/或數(shù)字相機等各種設(shè)備來捕獲圖像。用戶可以使用一個或多個存儲設(shè)備諸如筆記本電腦、臺式計算機、平板電腦、云服務(wù)器、存儲器存儲設(shè)備(例如U盤)存儲這些圖像。隨著時間的推移,用戶可能積累大量的圖像。結(jié)果,用戶可能難以跟蹤和管理集合中的所有圖像。如果用戶不主動地不斷地和一致地組編和更新他們存儲的圖像,則隨后的圖像檢索可能是一個繁瑣且耗時的任務(wù)。同樣,用戶常常難以關(guān)聯(lián)在不同時間或使用不同設(shè)備捕獲的相似圖像。
通常,用戶可以使用諸如MAC OS X 10.9.3的操作系統(tǒng)提供的文件結(jié)構(gòu)來將文件諸如圖像進行組編。這些系統(tǒng)可能采用分級(或樹)結(jié)構(gòu)來組編文件。圖2顯示了在MAC OS X 10.9.3的文件管理器軟件(稱為Finder)中如何組編文件的屏幕截圖200。
如截圖200所示,分級文件系統(tǒng)可包括文件和文件夾,其中文件夾可包含一個或多個文件夾和文件。文件夾(通常由小圖標(biāo)表示)可能是其包含的所有文件的簡明表示。當(dāng)用戶選擇、移動或刪除文件夾時,用戶的輸入可能會應(yīng)用于該文件夾中的所有文件。通常,用戶在這樣的文件系統(tǒng)中手動地組編個人文件,即用戶創(chuàng)建文件夾,并且手動地把文件添加到這些文件夾中。在一些情況下,當(dāng)用戶點擊文件夾的圖標(biāo)時(例如,圖2中突出顯示的“CVS”),僅將該文件夾下的文件夾和文件的圖標(biāo)顯示或附加到顯示屏幕。
如上所述,組編圖像的這個過程可能是耗時的,并且可能需要用戶不斷維護以更新圖像并且將圖像重新分配到不同的組。因此,用戶可能傾向于將圖像留在默認(rèn)文件夾中,諸如由每個圖像捕獲設(shè)備生成的默認(rèn)文件夾(通?;诓东@圖像的時間)。然后,用戶的圖像集合可能變得分散成具有在用于每個圖像捕獲設(shè)備或方法的多個不相交的文件夾中的圖像。同樣,用戶需要持續(xù)的關(guān)注和努力來為圖像集合生成用戶友好的結(jié)構(gòu)。
在本文所述的實施方案中,為了組編多幅圖像,可以為多幅圖像中的每幅圖像確定圖像分配準(zhǔn)則。每幅圖像的圖像分配準(zhǔn)則可包括至少一個圖像特有分配準(zhǔn)則,所述圖像特有分配準(zhǔn)則包括該圖像與多幅圖像中的至少另一幅圖像之間的相似性距離。第一圖像和至少另一幅圖像之間的所述相似性距離可以度量所述第一圖像和所述至少另一幅圖像在外觀上的相似程度。
然后可以將所述多幅圖像分配到多個圖像組中,使得每幅圖像被分配到多個組中的至少一個組。在一些情況下,所述多個組可被組編在具有多個組級別或分組級別的分級結(jié)構(gòu)中。所述分級結(jié)構(gòu)中的較高級別的組通常包括在較低級別的至少一個分組中(但是,例如如果一個組僅包括單幅圖像,則其可以不包括任何分組)。然后可以將分配給一個級別的組的每幅圖像分配給該組的下一個較低級別的分組之一。
每個組可以通過代表分配給該組的圖像的代表性圖像(也稱為代表性圖標(biāo))向用戶顯示。在用戶選擇組之后,所述系統(tǒng)可以顯示該組下面的分組的代表性圖像。在一些實施方案中,如果一個組包含比其分配的顯示屏幕空間可以處理的更多的圖像,則計算設(shè)備可以自動確定來自該組的哪些圖像被選擇為用于在分配的顯示屏幕空間內(nèi)顯示的組的代表性組圖像。計算設(shè)備還可以確定如何在分配的顯示屏幕空間內(nèi)顯示該組的代表性組圖像。
對于太大而不適合容納在它們相應(yīng)分配的顯示屏幕空間中的那些代表性圖標(biāo),所述代表性圖標(biāo)可以以動畫形式隨時間變化,通過以顯示時間換取顯示空間的方式向用戶顯示那些代表性圖標(biāo)的每個內(nèi)的所有代表性圖像部分。在一些實施方案中,一旦動畫按鈕被敲擊或點擊,則彈出較大的屏幕空間窗口,并且可以在用戶的較大屏幕空間窗口內(nèi)自動播放包含在對應(yīng)的代表性圖標(biāo)中的代表性圖像部分。在一些實施方案中,動畫可能適合于對于代表性圖標(biāo)的所分配的顯示屏幕空間。
例如,如果基于捕獲這些圖像的年份將圖像分配給一個組,則該組可包括與捕獲圖像的月份相對應(yīng)的12個月分組。然后可以將分配給某一年的組的每幅圖像分配給對于某一月的分組。然而,應(yīng)當(dāng)明了分級結(jié)構(gòu)不限于組和分組的一個特定分級結(jié)構(gòu)。例如,如果用戶對來自特定月份的圖像感興趣,則他們可以選擇該月份,并且來自月份組的圖像可基于年份被分配到分組。然后,如果需要,用戶可隨后選擇一個特定年份來查閱圖像。
通常,所述多個組可以包括多個相似圖像組。相似圖像組可被定義為包括在相似性門限值范圍內(nèi)與該組中的至少另一幅圖像相似的圖像?;谟糜谠搱D像的圖像特有分配準(zhǔn)則,通過將多個圖像中的每幅圖像分配給相似圖像組中的一個組來將多個圖像分成多個相似圖像組。
如上所述,所述圖像特有分配準(zhǔn)則可以包括一幅圖像與至少另一幅圖像之間的相似性距離??梢酝ㄟ^將所述圖像的至少部分像素的圖像特有像素內(nèi)容與所述至少另一幅圖像的至少部分像素的圖像特有像素內(nèi)容進行比較,以測量所述圖像和所述至少另一幅圖像的外觀的相似性程度。
一旦所述圖像被分配到多個組,則多個顯示組可以被選擇為所述多個組的圖像中的一個組的子集。例如,所述顯示組可最初被選擇為在分級結(jié)構(gòu)的頂層的所有組?;蛘?,可以基于從用戶接收的指示要顯示特定組級別的輸入來選擇顯示組。
可以為所述多個顯示組中的每個顯示組確定多個代表性圖像。每個顯示組的代表性圖像可被確定為代表該顯示組中的所有圖像。例如,代表性圖像可以是從分配給該顯示組的圖像中選擇的單幅圖像,或是來自分配給該顯示組的多幅圖像中的選集或確定的拼合圖像。然后在計算機設(shè)備顯示器上顯示每個顯示組的所述多個代表性圖像。
實際上,用于顯示組的所述代表性圖像可以像用于該顯示組的圖標(biāo)(代表性圖標(biāo))一樣操作,所述圖標(biāo)可以向分配給該顯示組的圖像的用戶提供視覺指示。這允許用戶基于分配給該組的圖像的表示來容易地確定他們希望選擇哪個分組。
現(xiàn)在參考圖1,其中顯示了可以用于將圖像組編、顯示和可視化的系統(tǒng)100的一個示例實施方案。系統(tǒng)100包括多個計算設(shè)備102A-102C。一般來說,本文所描述的用于將圖像組編、顯示和可視化的方法的實施方案可以在計算設(shè)備102A-102C中的每一個上實現(xiàn)。
在一些實施方案中,所述計算設(shè)備102A-102C可能具有減少的或有限的可用顯示空間。因此,使用諸如截圖200中所示的結(jié)構(gòu)的傳統(tǒng)分級文件結(jié)構(gòu)來組編、管理和導(dǎo)航大量圖像比較困難。本文所描述的方法的實施方案可以使得能夠?qū)崿F(xiàn)對這些設(shè)備上的圖像的更簡單且更易于訪問的組編和導(dǎo)航。
例如,一些實施方案可基于圖像的元數(shù)據(jù)和/或圖像特有像素內(nèi)容來將圖像自動分配給多個組。因此,當(dāng)捕獲圖像時,用戶不需要手動生成分級結(jié)構(gòu)。同樣,用戶不再需要不斷地更新將圖像分配到不同文件夾和子文件夾,因為圖像可以被自動分配。
本文描述的實施方案可使用代表性圖像和可視化技術(shù)來允許用戶識別特定組內(nèi)的圖像或圖像類型。即使當(dāng)分配給一個組的計算機設(shè)備顯示器的屏幕尺寸比較小時,也可以確定所述代表性圖像代表該組內(nèi)的所有圖像。一些實施方案還可以基于特定計算設(shè)備102的分配的屏幕尺寸來確定要顯示的特定組或分組,使得向用戶顯示的信息最大化,同時仍提供易于導(dǎo)航的用戶界面。
本文描述的實施方案可以提供在計算設(shè)備中顯示、可視化和管理一組圖像的系統(tǒng)和方法,該計算設(shè)備可具有有限大小的顯示屏,諸如智能電話、平板電腦、計算機或任何其他類型的智能電子設(shè)備。各種不同類型的計算設(shè)備102可以與系統(tǒng)100一起使用,諸如一個或多個智能電話102A、平板電腦102B、筆記本計算機102C、臺式計算機、PDA或其它可編程計算機。所述可編程計算機可以包括與諸如網(wǎng)絡(luò)106的網(wǎng)絡(luò)的連接。網(wǎng)絡(luò)106可以是到因特網(wǎng)的有線或無線連接。在一些情況下,網(wǎng)絡(luò)106可能包括其他類型的計算機或電信網(wǎng)絡(luò)。
在一些實施方案中,每個可編程計算機可包括用于將信息輸入到設(shè)備中的輸入設(shè)備。例如,輸入設(shè)備可以是鍵盤、小鍵盤、光標(biāo)控制設(shè)備、觸摸屏、相機、掃描儀或傳聲器。在一些實施方案中,計算設(shè)備102可以識別來自用戶的某些輸入,諸如來自用戶的“點擊”(也可以稱為“敲擊”或任何其他名稱)和“滾動”輸入(也可以稱為“手勢”或任何其他名稱)。在一些實施方案中,輸入信息可是通過通信接口經(jīng)由網(wǎng)絡(luò)從其他可編程計算機接收到的。
在一些實施方案中,計算設(shè)備可包括用于呈現(xiàn)視覺信息的顯示設(shè)備。例如,顯示裝置可以是計算機顯示器、純平顯示器、投影儀或顯示面板。在一些實施方案中,計算機顯示設(shè)備顯示根據(jù)本文的方法確定的一個或多個顯示組或顯示分組的代表性圖像。在一些實施方案中,計算設(shè)備102可以被配置為顯示總顯示尺寸大于計算設(shè)備顯示器的實際顯示尺寸的內(nèi)容??蓾L動視圖是圖形用戶界面(GUI)的示例,其可以顯示總顯示尺寸大于計算設(shè)備顯示器的實際顯示尺寸的內(nèi)容。所述可滾動視圖可在任何時間顯示部分內(nèi)容,并且允許用戶向上、向下、向左和向右或任何其他方向上滾動以瀏覽內(nèi)容。
在一些實施方案中,計算設(shè)備102還可以耦合到服務(wù)器計算機諸如服務(wù)器104。服務(wù)器104可是能夠用于存儲多幅圖像的云服務(wù)器。在一些情況下,例如在計算設(shè)備102具有有限存儲空間的情況下,計算設(shè)備102可為一組圖像僅存儲圖像的低質(zhì)量版本或縮略圖。服務(wù)器104可以存儲高清晰度圖像,并且根據(jù)需要使用網(wǎng)絡(luò)106向計算設(shè)備102提供更高清晰度的圖像。
在一些實施方案中,所述服務(wù)器104可為多幅圖像中的每幅圖像確定所述圖像分配準(zhǔn)則。然后,所述服務(wù)器104可定義多個圖像組,并且將每幅圖像分配到至少一個圖像組中。在一些這樣的實施方案中,計算設(shè)備102可能對于至少一些圖像不確定任何圖像分配準(zhǔn)則,而是簡單地從服務(wù)器104接收將所述圖像分配到多個組的指示。然后,計算設(shè)備102可顯示用戶界面以允許服務(wù)器104定義的組的導(dǎo)航。在替代實施方案中,計算設(shè)備102還可以被配置為確定至少一幅圖像的圖像分配準(zhǔn)則,并將圖像分配到圖像組中。
現(xiàn)在參考圖3,其中顯示了用于組編多幅圖像的示例方法300。方法300可以使用系統(tǒng)100的各種組件——諸如計算設(shè)備102——來實現(xiàn)。
在310中,計算設(shè)備102的處理器可以為多幅圖像中的每幅圖像確定至少一個圖像分配準(zhǔn)則。所述至少一個圖像分配準(zhǔn)則可以包括至少一個圖像特有分配準(zhǔn)則。圖像特有分配準(zhǔn)則可以包括導(dǎo)出像素內(nèi)容屬性(諸如像素內(nèi)容相似性、面部檢測/識別信息和其他像素內(nèi)容相關(guān)信息)。一般來說,導(dǎo)出像素內(nèi)容屬性可以指通過對該圖像中的單獨像素或像素組的分析來確定的圖像的屬性。計算設(shè)備102的處理器可以通過分析一幅或多幅圖像的像素內(nèi)容、并且將所述像素內(nèi)容與其他圖像的分析的像素內(nèi)容進行比較來確定所述圖像特有分配準(zhǔn)則。
對于每幅圖像,所述圖像特有分配準(zhǔn)則可以包括該圖像和多幅圖像中的至少另一幅圖像之間的相似性距離,以測量該圖像和至少另一幅圖像在外觀上的相似程度。通過將特定圖像的至少部分像素的圖像特有像素內(nèi)容與多幅圖像中的至少另一幅圖像的至少部分像素的圖像特有像素內(nèi)容進行比較,計算設(shè)備102可以確定該特定圖像和所述多幅圖像中的所述至少另一幅圖像之間的相似性距離來測量該特定圖像和所述至少另一幅圖像在外觀上的相似程度。
在一些實施方案中,用于圖像的所述至少一個圖像分配準(zhǔn)則可以包括根據(jù)與該圖像相關(guān)聯(lián)的圖像元數(shù)據(jù)確定的至少一個元數(shù)據(jù)分配準(zhǔn)則。所述至少一個元數(shù)據(jù)分配準(zhǔn)則可以包括與圖像一起存儲的各種元數(shù)據(jù)屬性,諸如時間、位置、事件、標(biāo)簽信息等。
在一些實施方案中,所述多幅圖像中的每幅圖像的至少一個圖像分配準(zhǔn)則可以包括分配給該圖像的訪問級別。訪問級別表示該圖像的圖像管理限制。
例如,圖像可以被分配為開放(O)、私有(P)、隔離(Q)或存檔(R)的訪問級別。所述訪問級別可以基于用戶輸入被分配。為了方便起見,分配給O、P、Q和R訪問級別中的每一個的圖像可以分別稱為O圖像、P圖像、Q圖像和R圖像。具有這些不同訪問級別的圖像可以以不同的方式管理。
例如,包括其原始全分辨率版本和隨后的下采樣版本的每個O圖像可以被本地存儲在設(shè)備上而不加密。可以允許用戶打開、共享和編輯O圖像。另一方面,包括其原始全分辨率版本和下采樣版本的每個P圖像可以在被本地存儲在設(shè)備的非易失性存儲器中時被加密。合法用戶可以在他們經(jīng)系統(tǒng)驗證之后訪問P圖像。一旦用戶被驗證,他們可以通過系統(tǒng)在O和P訪問級別之間移動圖像。
分配給P訪問級別的圖像能夠被自動加密(最初在捕獲圖像時,或基于后續(xù)用戶輸入)。當(dāng)圖像從P訪問級別移動到O或R訪問級別或用于共享時,圖像能夠被自動解密。
與P圖像相比,對Q圖像的訪問受到更多的限制。在一些實施方案中,Q圖像(包括它們的原始全分辨率版本和下采樣版本)不僅在其被本地存儲到設(shè)備的非易失性存儲器中時被加密,而且當(dāng)它們被從設(shè)備移動到另一個設(shè)備或服務(wù)器上時,也保持加密。在那些實施方案中,每個Q圖像的明文圖像僅在合法用戶已經(jīng)被系統(tǒng)驗證之后才可被查看。在用戶驗證之后,該Q圖像可以被解密并臨時存儲在該用戶的設(shè)備的易失性存儲器中。在用戶關(guān)閉明文圖像之后,所述系統(tǒng)將從設(shè)備易失性存儲器中自動擦除所述明文圖像。
在一些實施方案中,除了系統(tǒng)之外的任何一方都不知道用于Q圖像加密和解密的密鑰。因此,當(dāng)用戶被驗證時,Q圖像可以被認(rèn)為僅在用戶的設(shè)備內(nèi)被隔離和“活著”,只要它們從系統(tǒng)內(nèi)的設(shè)備中被取出,則被認(rèn)為是“死的”。在內(nèi)部拍攝或移動到Q組的圖像將會被自動加密。在一些實施方案中,不允許將Q圖像的訪問級別調(diào)整為系統(tǒng)內(nèi)的O、P和R訪問級別。用于提供Q圖像的加密的系統(tǒng)和方法的示例在申請人于2015年6月12日提交的題為“METHODS,SYSTEMS AND COMPUTER PROGRAM PRODUCT FOR PROVIDING ENCRYPTION ON A PLURALITY OF DEVICES”的共同未決的美國專利申請14/737,940中被描述,該美國專利申請的全部內(nèi)容通過引用方式被納入本文。
最后,每個R圖像可僅具有其元數(shù)據(jù)記錄、下采樣版本以及本地存儲在設(shè)備的非易失性存儲器中的導(dǎo)出像素內(nèi)容屬性。原始全分辨率版本可存儲在諸如服務(wù)器104的服務(wù)器上,服務(wù)器104可以經(jīng)由諸如網(wǎng)絡(luò)106之類的網(wǎng)絡(luò)連接到所述設(shè)備。如果用戶請求使用所述設(shè)備,所述系統(tǒng)可以提供所述全分辨率圖像給所述設(shè)備。
在320中,所述計算設(shè)備的處理器可以將所述多幅圖像分配到多個圖像組中,使得使用每幅圖像的所述圖像分配準(zhǔn)則將多幅圖像中的每幅圖像分配給多個圖像組中的至少一個組。
給定一組圖像,本文所述的實施方案可以通過將多級分類器應(yīng)用于該組圖像來自動構(gòu)建結(jié)構(gòu),例如分級結(jié)構(gòu),以顯示、可視化和管理該組圖像。所述分級結(jié)構(gòu)可以具有幾個組級別,其中頂部組級別(由級別0表示)可對應(yīng)于整個圖像組,而底部組級別可對應(yīng)于該圖像組內(nèi)的每個全分辨率圖像。在一些實施方案中,所述第二底部組級別可對應(yīng)于來自該組的以下采樣分辨率單獨顯示的單獨圖像(例如,比該圖像在服務(wù)器上通常可用的版本分辨率更低的圖像的樣本)。
通常,低于頂部組級別的每個組級別也可以被稱為分組級別。在一些實施方案中,如果第一組級別的每組圖像包括第二組級別的一個或多個圖像分組,則第一組或分組級別可被認(rèn)為高于第二分組級別。通常,每個組級別可能包括分組,其對應(yīng)于來自整個圖像集合的圖像子集(或分組)。通常,每個分組被定義為包括具有至少一些共同圖像分配準(zhǔn)則的圖像。分組級別指示用于將圖像分配給該分組級別的分組的分配準(zhǔn)則。當(dāng)分組級別被選擇時,所述分組能夠以基于這些分組自動生成的代表性圖像的形式被顯示在計算設(shè)備的顯示器上。
例如,可以基于該圖像的至少一個元數(shù)據(jù)分配準(zhǔn)則將每幅圖像分配給多個圖像組中的特定組。所述元數(shù)據(jù)分配準(zhǔn)則可以包括諸如時間、位置、事件、標(biāo)簽信息等元數(shù)據(jù)屬性。所述圖像分配準(zhǔn)則還可以包括圖像特有的分配準(zhǔn)則,諸如導(dǎo)出像素內(nèi)容屬性(例如,像素內(nèi)容相似性、面部檢測/識別信息和其他像素內(nèi)容相關(guān)信息)。
所述多個圖像組可以包括多個相似圖像組。通過基于該圖像的至少一個圖像特有分配準(zhǔn)則將所述多幅圖像中的每幅圖像分配給所述多個相似圖像組中的一組,所述多個圖像組能夠被分到所述多個相似圖像組中。
在一些實施方案中,所述多幅圖像中的圖像可以根據(jù)它們導(dǎo)出像素內(nèi)容屬性通過建立彩色圖并識別彩色圖的連接的子圖而被連接和分類。每幅圖像可以被視為所述彩色圖的頂點。如果它們相應(yīng)的導(dǎo)出像素內(nèi)容屬性滿足一些匹配條件,則兩幅圖像可以以某種顏色連接。對于每個連接顏色,所述彩色圖可以分解為一個或多個連接的子圖。所述彩色圖本身可對應(yīng)于多幅圖像中的所有圖像,而每個連接的子圖可對應(yīng)于多幅圖像內(nèi)的共享一些匹配或緊密相關(guān)的導(dǎo)出像素內(nèi)容屬性的圖像分組。
在一些實施方案中,圖像的導(dǎo)出像素內(nèi)容屬性可以與模型化所述圖像的統(tǒng)計模型的模型參數(shù)相關(guān)(參見例如E.-H.Yang,X.Yu,J.Meng and C.Sun,“Transparent composite model for DCT coefficients:Design and analysis,”IEEE Trans Image Process.,vol.23,no.3,pp.1303–1316,Mar.2014;and E.-H.Yang,X.Yu,J.Meng and C.Sun,“System and method having transparent composite model for transform coefficients,”美國專利申請No.14/272,636,2014年5月9日)。如果兩幅圖像A和B之間的(像素內(nèi)容)相似性距離低于第一相似性門限值(即,它們看起來相似),則它們可以用強顏色(例如紅色)連接。如果兩幅圖像A和B之間的像素內(nèi)容相似性距離高于第一相似性門限值而低于第二相似性門限值(所述第一相似性門限值低于所述第二相似性門限值,所述第一相似性門限值越低意味著兩幅圖像之間的相似性越高或相似性距離越小),則他們可以用較弱的顏色(例如黃色)相連。在一些實施方案中,當(dāng)兩幅圖像通過強色連接時,它們也可以通過較弱的顏色連接。如果A和B之間的像素內(nèi)容相似性距離高于所述第二相似性門限值,則所述圖像不會連接。
在一些實施方案中,兩幅圖像A和B之間的所述像素內(nèi)容相似性距離可以使用集映射誘導(dǎo)相似性距離(SMID)或從SMID導(dǎo)出的相似性距離度量來確定(參見例如E.-H.Yang,X.Yu,and J.Meng,“Methods and systems for determining a perceptual similarity between images”,美國專利申請No.14/221,948,2014年3月21日)。如果一組圖像對應(yīng)于具有弱顏色的連接子圖(即,該組中的每幅圖像與該組中的至少另一幅圖像之間的相似性距離低于所述第二相似性門限值),則可以說該組圖像形成弱相似組(WS組)。同樣地,如果一組圖像對應(yīng)于具有強顏色的連接子圖(即,該組中的每幅圖像和該組中的至少一個其他圖像之間的相似距離低于第一相似性門限值),則可以說該組圖像形成強相似組(SS組)。每個WS組內(nèi)的圖像可以被認(rèn)為彼此弱相似。每個SS組內(nèi)的圖像可以被認(rèn)為彼此強相似。在一些實施方案中,每個WS組可以進一步分解為一個或多個SS組。
在一些實施方案中,通過將圖像分配給具有與該圖像的訪問級別相對應(yīng)的圖像管理限制的至少一個組,來將每幅圖像分配給所述多個圖像組中的至少一個組。如上所述,每幅圖像可以被分配訪問級別。所述圖像可被分配給對于O、P、Q和R訪問級別中的每一個的單獨圖像組。
在一些實施方案中,可以生成所述分級結(jié)構(gòu),使得使用所述導(dǎo)出像素內(nèi)容屬性和元數(shù)據(jù)屬性來為不同訪問級別中的每一個生成分組。例如,除了它們的導(dǎo)出像素內(nèi)容屬性之外,O、P、Q和R組中的每一組的圖像可以根據(jù)它們的元數(shù)據(jù)來分類,所述元數(shù)據(jù)諸如拍攝時間、位置、標(biāo)簽信息等(拍攝圖像的年、月和日可以分別稱為該圖像的年、月和日屬性)。根據(jù)它們的元數(shù)據(jù)屬性被分類的類別可以與根據(jù)其導(dǎo)出像素內(nèi)容屬性被分類的類別相交。例如,在一些實施方案中,組內(nèi)的圖像可以被分類為年份組并進一步分類為月份組(或每個年份組的月份分組)。分配給相同月份組的圖像可以進一步分組為事件分組。在一些情況下,如果圖像的拍攝時間之間的差小于事件門限值,則可以將圖像分配給相同的事件組。這些類別可以分別稱為年份組、月份組和事件組。年份組、月份組和事件組中的每一個可以進一步相交并分解為WS組和SS組。
在一些實施方案中,可以根據(jù)上述類別或組來顯示所述多幅圖像??梢砸苑旨壏绞斤@示圖像屬性之間的交叉,其中每個較低級別的組是它的較高級別的父組的一個分組。通常,組或分組可以由上述圖像屬性中的任何一個或者兩個或更多個圖像屬性的交集形成。
現(xiàn)在參考圖8,其中顯示了分級組結(jié)構(gòu)800的示例。除了頂部組級別810(即,整組圖像)之外,分級組結(jié)構(gòu)800還包括底部分組級別806(包括全分辨率的單獨圖像820)和第二底部分組級別804G(每幅圖像的下采樣圖像814),以及其間的六(6)個額外分組級別804:OPQR分組級別804A、年份分組級別804B、月份分組級別804C、事件分組級別804D、弱相似分組級別804E和強相似分組級別804F。
一般來說,分組級別804A-804G的分級次序是可互換的。然而,在一些實施方案中,OPQR分組級別804A可被定位為第二頂部組級別,下面的分組級別804B-804G的分級順序是可互換的。例如,這可以用于當(dāng)用戶正在導(dǎo)航所述多幅圖像時將具有隔離或私密訪問級別的圖像與其他圖像分離。
在330中,可以將多個顯示組確定為來自多個圖像組的組子集。基于從用戶接收的輸入來確定所述多個顯示組。在一些情況下,可以基于用戶與計算設(shè)備顯示器上的向用戶顯示的圖形用戶界面交互過程中接收的輸入來確定所述多個顯示組。
現(xiàn)在參考圖9A,其中顯示了一個通過使用下拉菜單來選擇O、P、Q和R組之一的圖形用戶界面900的示例。GUI 900頂部存在的按鈕910具有顯示為Open(開放)/Private(私密)/Quarantined(隔離)/Archived(存檔)之一的文字,表示已經(jīng)選擇了O、P、Q和R組中的哪一組。在GUI 900的示例中,已經(jīng)選擇了開放組。當(dāng)用戶點擊或敲擊在GUI 900中按鈕910時,它展開以顯示一個包括開放、私密、隔離和存檔組的列表。當(dāng)用戶選擇列表上的特定組時,系統(tǒng)可顯示該特定組下面的分組的代表性圖像。例如,在圖8的分級結(jié)構(gòu)中,當(dāng)選擇特定訪問級別的組812A時,所選顯示組的所有年份分組812B的代表性圖像將會被顯示。然后,GUI 900可以返回到指示當(dāng)前選擇O、P、Q和R組中的哪一個的按鈕910。
現(xiàn)在參考圖9B,其中顯示了一個可向用戶顯示以允許所述用戶查看各個分組級別上的圖像的示例GUI 950。GUI 950包括按鈕960的列表,其顯示四個選項:“按年份組瀏覽”960A、“按月份組瀏覽”960B、“按事件組瀏覽”960C和“按單獨瀏覽”960D。當(dāng)從所述用戶接收到對特定按鈕960的選擇(例如,通過用戶點擊或敲擊按鈕960中的一個)的輸入時,在該特定分組級別的所有分組的代表性圖像將會被顯示。
在一些實施方案中,如果在所選擇的分組級別的每個分組僅包括一幅圖像,則可以將圖像圖標(biāo)分到共享一些共同分配準(zhǔn)則(諸如元數(shù)據(jù)和/或?qū)С鱿袼貎?nèi)容屬性)的分組中。然后可以使用分組準(zhǔn)則標(biāo)記通過共同屬性來標(biāo)記每個分組。由于在低組級別,可能存在許多分組,這些分組的圖標(biāo)將顯示在可滾動視圖中,可以提供導(dǎo)航面板以幫助用戶將感興趣的分組集合定位在該低分組級別。導(dǎo)航面板可以列出一組分配準(zhǔn)則(例如,元數(shù)據(jù)和/或?qū)С鱿袼貎?nèi)容屬性),每個分配準(zhǔn)則與在該低級別的一組分組圖標(biāo)相關(guān)聯(lián)。一旦選擇了低級別和其下面的特定分配準(zhǔn)則,系統(tǒng)就可以自動地顯示具有期望的分配準(zhǔn)則的分組。
現(xiàn)在參考圖10A-10D,其中顯示了具有示例導(dǎo)航面板1000的GUI。導(dǎo)航面板1000是兩級可擴展列表,最初顯示“轉(zhuǎn)到年(GoTo Year)”、“轉(zhuǎn)到月(GoTo Month)”和“轉(zhuǎn)到天(GoTo Day)”選項(導(dǎo)航面板1000A)。當(dāng)選擇了“轉(zhuǎn)到年”時,可以顯示具有分配給其的至少一幅圖像的所有年份組以供用戶進一步選擇(導(dǎo)航面板1000B)。在一些實施方案中,例如使用上述圖8中所示的分級結(jié)構(gòu)的實施方案,所述導(dǎo)航面板可能僅顯示所選擇的特定訪問級別的分組。
當(dāng)選擇年份組列表上的年份組時,年份組列表可以折疊,而所選年份組中具有分配給其的至少一幅圖像的月份分組列表可以被顯示以供用戶選擇(導(dǎo)航面板1000C)。此外,當(dāng)選擇月份分組時,月份分組的列表可以折疊,而具有分配給其的至少一幅圖像的所選年份組的所選月份分組中的日分組的列表可以被顯示以供用戶選擇(導(dǎo)航面板1000D)。
或者,如果直接從所述導(dǎo)航面板1000A選擇“轉(zhuǎn)到月”而不選擇任何年份組,則可以顯示具有分配給其的至少一幅圖像的所有月份組的列表供用戶選擇。同樣,如果直接從導(dǎo)航面板選擇“轉(zhuǎn)到天”,而不選擇任何年份組或月份組,則可以顯示具有分配給其的至少一幅圖像的日期組列表。此外,對于來自導(dǎo)航面板的每個所選年份組、月份組或日期組,可以在計算設(shè)備顯示器上顯示所選擇的年份組、月份組或日期組的代表性圖像的集合。另外,在一些實施方案中,導(dǎo)航面板可以在選擇日組之后自動消失。
在一些實施方案中,由于除了頂部一個或兩個級別之外的所述分級結(jié)構(gòu)的任何級別的組可以自動地形成(在一些情況下,訪問級別可能沒有被自動定義,則可以在用戶尚未指定特定圖像的訪問級別的情況下使用默認(rèn)訪問級別),則系統(tǒng)還可以使能實現(xiàn)用于組共享和/或組標(biāo)簽的一次點擊(或一次敲擊)組選擇。另外,相同的分級結(jié)構(gòu)和顯示過程也可以應(yīng)用于顯示、可視化和管理共享一些共同元數(shù)據(jù)和/或?qū)С鱿袼貎?nèi)容屬性的圖像子集,并且可以通過搜索面板來選擇。
在一些實施方案中,在用戶選擇特定組的情況下,可以考慮到計算設(shè)備顯示器的尺寸來確定要向用戶顯示的該組的分組。這可便于用戶在各種組級別間導(dǎo)航,而不需要用戶在每個級別上對大量圖像文件夾進行分類、或者不必“點擊”僅一個文件夾的多個分組級別。下面將參考圖7更詳細地描述用于確定多個顯示組的實例過程。
在340中,通過對于多個顯示組中的每個顯示組,確定代表性圖像以表示該顯示組中的所有圖像,從而確定多個代表性圖像??梢酝ㄟ^各種方式來確定特定顯示組的代表性圖像。
在一些實施方案中,可以通過從顯示組中選擇一幅或多幅圖像并且在代表性圖像中包括所選擇的圖像中的每一幅的至少一部分來確定所述代表性圖像。這些選擇的圖像可以被稱為代表性組圖像。
例如,至少一個顯示組可以包括數(shù)目多于圖像門限值的圖像(通常,所述圖像門限值可以是大于1的整數(shù))。可以通過選擇包括該顯示組中的圖像中的至少兩個的代表性組圖像的子集來為這些顯示組中的每一個確定代表性圖像。然后生成代表性圖像以包括所選的代表性組圖像子集中的每幅代表性組圖像的至少一部分。
所述代表性圖像可以采取各種形式,諸如基于分配給該顯示組的圖像的單幅圖像或拼合圖像。在一些情況下,透視投影可以用于生成所述代表性圖像。下面將參考圖6更詳細地描述使用透視投影的示例性實施方案。
在一些實施方案中,顯示組的代表性圖像可以包括多個代表性圖像部分,并且每個代表性圖像部分可以基于該特定顯示組的分組之一來確定。在一些實施方案中,該組的所有代表性圖像部分的集合可以反映該組內(nèi)的所有圖像的像素內(nèi)容。在一些情況下,對于所述組內(nèi)的相似圖像分組(即,對于看起來彼此相似的分配給該組的圖像的集合),可以選擇其中的少數(shù)作為該相似圖像分組的代表性分組圖像。在一些實施方案中,所述代表性圖像部分可以包括具有該組內(nèi)的每個相似圖像分組的分組代表性圖像的圖像部分。相似圖像組的分組代表性圖像可以表示該相似圖像組內(nèi)的所有圖像,并且可以包括該相似圖像組的一個或多個代表性分組圖像的至少一部分。
在一些實施方案中,根據(jù)組是基于分配給該組的圖像的導(dǎo)出像素內(nèi)容屬性還是基于分配給該組的圖像的元數(shù)據(jù)屬性來定義的,可以以不同的方式確定所述組的代表性圖像。
在一些實施方案中,可以基于正在使用的計算設(shè)備的顯示尺寸來確定每個顯示組的代表性圖像?;跒榇@示的所有顯示組分配的計算機設(shè)備顯示器的顯示尺寸,為每個顯示組確定最大代表性圖像尺寸。然后確定每個顯示組的代表性圖像以使代表性圖像尺寸不大于該顯示組的最大代表性圖像尺寸。
可以通過識別用于多個顯示組的所述計算機設(shè)備顯示器的分配的顯示尺寸來確定一個顯示組的最大代表性圖像尺寸。然后,所述分配的顯示尺寸可以被劃分為多個顯示組部分,其中所述多個顯示組中的每個顯示組對應(yīng)于一個顯示組部分。每個顯示組的最大代表性圖像尺寸可以被確定為該顯示組的所述顯示組部分的尺寸。
在350中,為所述顯示組確定的多個代表性圖像可以同時顯示在所述計算機設(shè)備顯示器上。下面將參考圖13A和13B更詳細地描述顯示多個代表性圖像的用戶界面實例。
在一些實施方案中,可以生成一個顯示組的所述代表性圖像使得其總圖像尺寸大于該顯示組的最大的代表性圖像尺寸。在這種情況下,可以通過在任何一個時間在計算設(shè)備顯示器上顯示代表性圖像的一部分來顯示該顯示組的代表性圖像。所述代表性圖像的被顯示部分可以具有不大于最大代表性圖像尺寸的部分尺寸。
在一些實施方案中,對于一個特定顯示組的代表性圖像可以通過連續(xù)顯示所述特定顯示組的代表性圖像的每個部分來顯示。在一些實施方案中,所述代表性圖像可以顯示為隨時間顯示代表性圖像的每個部分的動畫式的或滾動的代表性圖像。下面參考圖12A-12D進一步詳細描述了一個動畫式代表性圖像的示例。
一個動畫式代表性圖像可以向用戶提供關(guān)于包含在特定顯示組內(nèi)的圖像的進一步信息,即使在代表性圖像的分配的屏幕尺寸比較小的情況下也是如此。在一些實施方案中,動畫式代表性圖像可以是靜態(tài)的,直到從用戶接收到動畫輸入為止。例如,所述動畫輸入可以是用戶點擊或敲擊動畫標(biāo)記或使光標(biāo)在所述代表性圖像上方徘徊。
為了簡單起見,已經(jīng)結(jié)合通過計算設(shè)備102對其的實現(xiàn)描述了方法300。然而,將明了方法300的許多方面可以由系統(tǒng)100的其他組件——例如服務(wù)器104——實施。例如,在一些實施方案中,計算設(shè)備102可以提供方法300的可視化和用戶界面等方面,而服務(wù)器104可以分析多幅圖像、確定圖像分配準(zhǔn)則并且將圖像分配給多個圖像組。
例如,在具有R圖像訪問級別的圖像的一些實施方案中,每幅圖像的圖像分配準(zhǔn)則(例如,圖像特有的分配準(zhǔn)則,比如說導(dǎo)出像素內(nèi)容屬性和元數(shù)據(jù)屬性)可以通過所述服務(wù)器104確定并且提供給所述計算設(shè)備102。在一些情況下,所述服務(wù)器可以將圖像分配到組,而在其他情況下,所述計算設(shè)備102可以使用由所述服務(wù)器104提供的所述圖像分配準(zhǔn)則來將圖像分配到圖像組。
現(xiàn)在參考圖4,其中示出了用于確定顯示組的代表性圖像的示例過程400。在一些實施方案中,過程400可以在方法300的340處用于組編多幅圖像。一般來說,過程400可用于多個顯示組中的至少一個顯示組,其中該顯示組包括比圖像數(shù)量門限值更多的多幅圖像,所述圖像數(shù)量門限值是一個大于1的整數(shù)。
在410中,為所述顯示組可以確定多個圖像分組。所述顯示組中的每幅圖像可能被分配至一個圖像分組。例如,在所述顯示組是年份組的情況下,可以將該年份組的圖像分組確定為多個月份分組。所述多個月份分組可以對應(yīng)于拍攝圖像的那一年的每個月?;蛘?,所述分組可以被確定為多個相似的圖像組,其中圖像分組是基于從圖像的像素內(nèi)容導(dǎo)出的圖像特有分配準(zhǔn)則。
在一些實施方案中,所述多個圖像分組可以包括來自多個相似圖像組的第一相似圖像組。所述第一相似圖像組可以包括多個第一相似圖像,其中對于每個第一相似圖像,在該第一相似圖像與至少另一幅第一相似圖像間的相似性距離在一個相似性門限值范圍之內(nèi)。所述第一相似圖像組可以是如上所述的WS組或SS組的示例。
在一些實施方案中,所述多個圖像分組可以進一步包括來自多個相似圖像組的至少一個額外的相似圖像組。每個額外的相似圖像組可以包括多個額外的相似圖像。對于每個額外的相似圖像組,該額外的相似圖像組中的每個額外的相似圖像可以具有在該額外的相似圖像與該額外的相似圖像組中的至少另一個額外的相似圖像之間的相似性距離,而該相似性距離在用于該額外的相似圖像組的相似性門限值范圍內(nèi)。通常,所述多個第一相似圖像和所述多個額外的相似圖像中的每個可以是沒有交集的,并且所述多個額外的相似圖像中的每一個可以與所有其他多個額外的相似圖像沒有交集。
在420中,對于一個顯示組,可以通過為該顯示組中的每個分組確定代表該分組的所有圖像的分組代表性圖像來確定多個分組代表性圖像。通常,分組代表性圖像可以用與確定一個顯示組的代表性圖像相同的方式來確定。然后,可以確定多個分組代表性圖像,其中一個分組代表性圖像用于在410中確定的多個圖像分組中的每個圖像分組。
在一些實施方案中,可以通過從所述多個第一相似圖像中選擇多個代表性第一相似圖像來為第一相似圖像組確定所述分組代表性圖像。然后可以為所述第一相似圖像組生成所述分組代表性圖像,以包括多個代表性第一相似圖像中的每個代表性第一相似圖像的至少一部分。例如,可以通過部分地重疊每個所述代表性第一相似圖像來生成所述分組代表性圖像。
類似地,對于每個額外的相似圖像組,可以通過從該額外的相似圖像組中的所述多個額外的相似圖像中選擇多個代表性的額外的相似圖像來確定所述分組代表性圖像??梢詾樗鲱~外的相似圖像組生成所述分組代表性圖像,以包括多個代表性的額外的相似圖像中的每個代表性的額外的相似圖像的至少一部分。
在430中,可以通過生成多個代表性圖像部分來為一個顯示組確定所述代表性圖像。每個代表性圖像部分可以包括對于所述多個圖像分組中的圖像分組中的一個分組的所述分組代表性圖像。下面將參考圖11更詳細地描述具有多個代表性圖像部分的代表性圖像的示例。
例如,如果顯示組是年份組、月份組或事件組,則所述顯示組可以被分解為多個沒有交集的相似圖像組(即,沒有交集的WS組和沒有交集的SS組)。每個沒有交集的相似圖像組可以是所述顯示組與根據(jù)像素內(nèi)容相似性距離定義的相似圖像組的交集。此外,在所述顯示組是弱相似圖像組的情況下,該顯示組可以進一步分解為多個沒有交集的強相似圖像組。所述強相似圖像組可以有相似性門限值范圍,與弱相似圖像組的相似性門限值范圍比較,所述強相似圖像組的相似性門限值范圍意味著在這些組內(nèi)的圖像之間的相似性更高。
在一些實施方案中,一個顯示組的所述代表性圖像可以包括來自相應(yīng)分解中的每個沒有交集的相似圖像分組的高達固定數(shù)量的代表性分組圖像(諸如2幅圖像),而不論一個特定的沒有交集的相似圖像組可能包含多少圖像。所述顯示組的所述代表性圖像可以被確定為包括來自部分重疊的同樣沒有交集的相似圖像組的代表性分組圖像(即,該相似圖像組的所述分組代表性圖像包括該部分重疊的相似圖像組的所述代表性分組圖像),而來自不同相似圖像組的代表性分組圖像彼此不重疊。
圖11示出了一個顯示組的代表性圖像1100的示例。所述代表性圖像1100被顯示在為該顯示組確定的分配顯示空間1130內(nèi)。所述分配顯示空間1130可以用于為所述代表性圖像1100確定一個最大的代表性圖像尺寸。在一些情況下,根據(jù)設(shè)備的所述顯示屏幕尺寸和分辨率,所述同一幅代表性圖像1100的實際外觀可能對于不同的設(shè)備會改變。
所述代表性圖像1100包括多個分組代表性圖像1112。所述分配的顯示空間1130被劃分為多個代表性圖像部分1140,其中每幅分組代表性圖像1112具有一個圖像部分。在代表性圖像1100中,每幅分組代表性圖像1112對應(yīng)于一個相似圖像分組。由此,每個分組代表性圖像1112中的所述代表性相似圖像(例如,分組代表性圖像1112A中的代表性分組圖像1114A和1114B)部分地重疊。
圖11為每幅分組代表性圖像1112示出了所述代表性相似圖像的透視投影。在圖11中,代表性相似圖像被一個疊一個放置在3D場景中,使得在被投影到2D屏幕之后,它們看起來部分地重疊??雌饋聿幌嗨频膱D像(即,來自不同的相似圖像分組的圖像)會以彼此不重疊的方式來投影和顯示。
所述代表性圖像1100還包括一個分配準(zhǔn)則標(biāo)記1160。所述分配準(zhǔn)則標(biāo)記1160指示分配給該顯示組的圖像共同的分配準(zhǔn)則。在這種情況下,所述代表性圖像1100表示了具有指示在2014年4月8日拍攝的元數(shù)據(jù)的圖像的顯示組。所述代表性圖像1100還包括一個指示多少圖像被分配給該顯示組的圖像數(shù)量標(biāo)記1150。
在一些實施方案中,一個顯示組的所述代表性圖像可以包括來自所述顯示組的分解中的每個沒有交集的相似圖像組中的至少一幅圖像。為每個沒有交集的相似圖像組選擇的代表性分組圖像的實際數(shù)量可以基于沒有交集的相似圖像組的數(shù)量和該沒有交集的相似圖像組內(nèi)的圖像的數(shù)量來動態(tài)地確定。算法1示出了用于確定每個沒有交集的相似圖像組的代表性分組圖像的數(shù)量的示例過程。
示例算法1–確定代表性分組圖像的數(shù)量
假設(shè)所述顯示組包括K個相似圖像分組。定義N[i]為相似圖像分組i中的圖像數(shù)量,1≤i≤K。給定用于所述顯示組的代表性組圖像的數(shù)量的門限值T,以下所述算法可以確定對于所述相似圖像分組i,1≤i≤K,將被選擇為其代表性分組圖像的在所述相似圖像分組i中的圖像數(shù)量S[i]。
算法1
這里是將小數(shù)數(shù)字四舍五入到右邊最緊鄰的整數(shù)的上取整函數(shù)。在一些實施方案中,可以使用算法1,其中所述顯示組是弱相似圖像組,并且所述K個相似圖像分組是沒有交集的強相似圖像分組。
如果所述顯示組是強相似的圖像組,則所述顯示組內(nèi)的圖像看起來彼此非常相似。為了生成所述代表性圖像,可以調(diào)整所述組中選擇的圖像的尺寸,并且使得每個被選圖像的至少一部分會被顯示。如果所述顯示組包括單獨圖像,則可以將所述代表性圖像確定為圖像本身尺寸調(diào)整的形式以適合分配給該組的顯示屏幕空間。
如上所述,如果所述代表性圖像具有大于針對該顯示組的分配的屏幕尺寸的代表性圖像尺寸,則可以在任何一個時間顯示代表性圖像的一部分。在一些情況下,動畫式代表性圖像可以用于隨時間顯示該顯示組的所有所述分組代表性圖像。
再次參考圖11,其中所示的代表性圖像1100具有大于基于所分配的顯示尺寸1130確定的最大代表性圖像尺寸的總圖像尺寸。因此,所述代表性圖像1100包括一個動畫按鈕1120,其允許用戶啟動所述代表性圖像1100的動畫。
圖12A至圖12D示出了與圖11所示的代表性圖像1100相對應(yīng)的一個動畫式代表性圖像的示例屏幕截圖。在這種情況下,當(dāng)用戶選擇所述動畫按鈕1120時,會啟動一個更大的彈出窗口來用大于最大代表性圖像尺寸1130的尺寸顯示所述動畫式代表性圖像。
隨著所述動畫開始,由透視投影顯示的所述動畫式代表性圖像1200A開始朝向彈出窗口的底部移動。代表性分組圖像的底行1212A(以下可以稱為第一底行)在到達彈出窗口的底部時開始消失。在圖12C中,代表性分組圖像(最初未在代表性圖標(biāo)中示出)的一個新行1212B從頂部移動到彈出窗口中的所述代表性圖像1200C的邊界。在播放一定時間之后,所述第一底行1212A完全消失,而所述新行1212B完全顯示在彈出窗口的頂部。在一些示例中,所述動畫可以循環(huán)地播放所有行的代表性分組圖像;當(dāng)所述第一底行1212A第一次出現(xiàn)在彈出窗口的頂部時,則已經(jīng)播放了一個完整周期。
盡管圖12A-12C中的所述動畫是在彈出窗口的情況中描述的,所述動畫也可以出現(xiàn)在與具有最大代表性圖像尺寸1130的代表性圖像1100相同的顯示空間中。同樣,所述動畫也可以以其他方式啟動,例如通過使光標(biāo)在代表性圖像1100上方徘徊。
現(xiàn)在參考圖5,其中示出了可以用于確定是否在所述計算設(shè)備顯示器上顯示分組的圖像或代表性圖像的方法500的一個示例。通常,當(dāng)向用戶顯示多個顯示組的所述代表性圖像時,可以使用方法500。當(dāng)所述用戶選擇了一個特定顯示組時,方法500可以確定是否應(yīng)當(dāng)顯示分配給該組的所有圖像(或圖像的下采樣版本),或者是否應(yīng)該將該顯示組的分組的代表性圖像顯示給用戶。
在510中,可以基于從用戶接收的輸入來確定所選顯示組。可以與計算機設(shè)備顯示器相關(guān)聯(lián)地提供用戶接口,用于從用戶接收輸入??梢詮乃鲇脩艚邮蛰斎?,并且可以基于所述輸入確定所選代表性圖像。例如,所述輸入可以是對一個特定代表性圖像的點擊或敲擊。
一般來說,所選代表性圖像可以是來自所述多個顯示組中的所選顯示組的代表性圖像。如果所選顯示組僅包含單幅圖像或者小于門限值數(shù)量的圖像,則可以顯示所有圖像,而不需要繼續(xù)方法500的剩余部分。在所選顯示組包括的圖像數(shù)量大于所述圖像的門限值數(shù)量(例如,大于1的整數(shù))的情況下,則方法500可以進行到520。
在520中,可以為所選顯示組確定所述計算機設(shè)備顯示器的被分配的屏幕尺寸。對于任何級別的每個顯示組,可以將某個顯示屏幕空間分配給在該設(shè)備上顯示的該顯示組。分配給特定顯示組的所述顯示空間可以取決于處于該分組級別的顯示組的數(shù)量和/或所述設(shè)備的顯示尺寸。
在530中,所述計算設(shè)備可以確定所述計算機設(shè)備顯示器的所述被分配的屏幕尺寸是否足以同時顯示在所選顯示組中的圖像數(shù)量。例如,所述計算設(shè)備可以自動確定所述被分配的顯示屏幕空間在任何時刻可以顯示的圖像的最大數(shù)量(可以稱為并發(fā)顯示門限值)。然后,所述計算設(shè)備可以確定分配給所選顯示組的圖像的數(shù)量是否大于并發(fā)顯示門限值。
在540中,如果所述計算機設(shè)備顯示器的所述被分配的屏幕尺寸足夠大(即,分配給所選顯示組的圖像的數(shù)量小于或等于所述并發(fā)顯示門限值),則所選顯示組中的所述圖像(或其下采樣版本)可以同時顯示在所述計算機設(shè)備顯示器上。
在550處,如果所述計算機設(shè)備顯示器的所述被分配的屏幕尺寸不夠大(即,分配給所選顯示組的圖像的數(shù)量大于所述并發(fā)顯示門限值),則可以顯示用于所選顯示組的分組的代表性圖像。
所述計算設(shè)備可以為所選顯示組確定多個圖像分組,其中,所選顯示組中的每幅圖像被分配給所述圖像分組之一。然后可以通過為所選顯示組中的每個分組確定一個代表該分組中的所有圖像的該分組的代表性圖像,來為所選顯示組確定多個代表性圖像。然后可以在所述計算機設(shè)備顯示器上顯示針對所選顯示組確定的對于所述多個圖像分組740的多個代表性圖像。
在一些實施方案中,可以調(diào)整顯示組的代表性組圖像的尺寸,然后使用透視投影來顯示它們。在一些情況下,所述透視投影可以如下產(chǎn)生,使得看起來相似的代表性組圖像(例如來自相似圖像分組的圖像的集合)部分地重疊,而不相似的代表性組圖像(即,來自不相似的相似的圖像分組)不彼此重疊。
在一些情況下,即使使用透視投影,分配給所述顯示組的所述顯示屏幕空間可能仍然不足以一次完全顯示全部所述代表性組圖像。在這種情況下,可以通過在顯示時動畫呈現(xiàn)所述代表性組圖像,來用顯示時間換取顯示空間。
現(xiàn)在參考圖6,其中示出了用于生成顯示組的代表性圖像的示例過程600。如上所述,可以通過選擇包括該顯示組中的至少兩個圖像的代表性組圖像的子集來為一個顯示組確定代表性圖像。
在610中,可以為所述顯示組確定所述代表性組圖像。例如,所述代表性組圖像可以是分配給該組的圖像的一個子集。在一些情況下,如上所述,所述代表性組圖像可以包括多個代表性分組圖像。
在620中,可以生成每幅代表性組圖像的透視投影??梢詾樗x的代表性組圖像子集中的每幅代表性組圖像生成透視投影。
所述透視投影可以被生成以在一個被分配的顯示尺寸內(nèi)顯示多個代表性組圖像的至少一部分,而所述被分配的顯示尺寸原本并不夠用以同時顯示這些代表性組圖像。
透視投影可以被認(rèn)為是從3D空間點到2D空間點的映射,表示為一個4x4矩陣M。具體地,用表示坐標(biāo)為x,y,和z的3D空間中的一個點。通過一個透射投影M可以將所述點映射到坐標(biāo)為u和v的一個2D空間上的點其中并且
然后可以通過透視投影將3D場景投影到2D視圖中。在所述透視投影中,所述2D視圖中的點處的像素可以是所述3D場景中所有點的像素通過所述透視投影被映射到的合成。來自所述3D場景的映射到所述2D場景中的相同點的像素的混合可以取決于如下一個因素,即由所述3D場景中的那些點處的像素表示的對象是不透明的、半透明的還是透明的。
現(xiàn)在參考圖13A和13B,其中示出了向用戶顯示的多個代表性圖像1312的示例屏幕截圖1300A和1300B。所述代表性圖像1312可以是針對與圖11中所示的代表性圖像1100相對應(yīng)的所述顯示組的下一個顯示分組級別處的分組確定的代表性圖像。一個顯示分組包括僅單幅圖像,因此一個圖像圖標(biāo)1314被顯示作為該顯示分組的代表性圖像。在選擇(例如點擊或敲擊)所述代表性圖像1100之后,所述系統(tǒng)可以在其下一個顯示級別顯示這些組的所有圖標(biāo),每個圖標(biāo)是該顯示組的一個分組(即,所述系統(tǒng)可以顯示為所述顯示分組確定的代表性圖像)。
在圖13A和13B所示的具體示例中,下一個顯示級別包括多個相似的圖像分組。如圖13A和13B中所示的最終顯示也占據(jù)了超過所述設(shè)備的全屏的范圍。由此,所述代表性圖像1312可以在所述計算設(shè)備上以滾動視圖方式顯示。
每個代表性圖像1312的所述代表性組圖像通過在所述3D場景中按照一個隊列(即,一個在另一個之后)布置被示出,然后通過透視投影被顯示。在圖13中,已經(jīng)生成了所述透視投影,使得所述隊列中的第一代表性組圖像出現(xiàn)在分配給該顯示分組的所述顯示屏幕空間的左下角附近,并且所述隊列朝向分配給該顯示分組的所述顯示屏幕空間的右上角擴展。與所述代表性圖像1100一樣,每個代表性圖像1312包括一個分配準(zhǔn)則標(biāo)記1360(盡管在這種情況下,每個代表性圖像1312具有相同的分配準(zhǔn)則標(biāo)記1360,因為它們已經(jīng)在基于導(dǎo)出像素內(nèi)容數(shù)據(jù)的基礎(chǔ)上被分配給了所述分組)。同樣,每個代表性圖像1312包括一個圖像編號標(biāo)記1350。
一旦選擇了用于特定分組的所述代表性圖像1312的所述動畫按鈕1320,則所述隊列中的所有代表性組圖像(對于該特定分組的所述代表性圖像)可以開始朝著所分配的顯示屏幕空間的左下角移動。當(dāng)所述第一代表性組圖像越來越靠近所述被分配的顯示屏幕空間的左下角時,所述第一代表性組圖像可以變得越來越半透明,并且最終在新的代表性組圖像(開始未在所分配的顯示屏幕空間中示出)能夠移動進入到被分配的顯示屏幕空間的邊界的時候最終消失。再次,在該示例中,所述動畫可以循環(huán)地播放所述隊列中的所有的代表性組圖像。
現(xiàn)在將結(jié)合圖6參考圖14A-14C。圖14A-14C通過使用多個代表性組圖像1402A-1402D的透視投影示出了一個代表性圖像1400。所述代表性組圖像1402A-1402D是來自一個相似圖像組的圖像。
在630中,可以為所述顯示組生成所述代表性圖像1400A。所述計算設(shè)備可以生成所述代表性圖像,以包括在所選擇的代表性組圖像子集中每幅代表性組圖像1402A-1402C的所述透視投影的至少一部分。例如,所述計算設(shè)備可以將用于所選擇的代表性組圖像子集中的每幅代表性組圖像1402A-1402C的所述透視投影重疊。
在一些情況下,將所述圖像部分地重疊還可以包括混合來自被重疊的所述代表性組圖像1402的像素。例如,在一些情況下,可以生成一個動畫式代表性圖像,其中每幅代表性組圖像1402的不透明度(或透明度)隨著其移動通過所述代表性圖像1400而改變。每幅代表性組圖像1402的相同部分可以重疊,并且兩者都在所述代表性圖像1400中可見,但是,像素混合可基于重疊的每幅代表性組圖像1402的不透明度或透明度而改變。
在一些實施方案中,所述代表性圖像1400可以包括一個第一周圍邊界1404(例如底側(cè)或左下角)和一個與第一周圍邊界相對的第二周圍邊界1406(例如頂側(cè)或右上角)。所選的代表性組圖像子集中的每幅代表性組圖像1402的所述透視投影最初可以重疊,使得來自所選的代表性組圖像子集的第一代表性組圖像1402A的所述透視投影,與來自所選的代表性組圖像子集中的至少一個另外的代表性組圖像1402B-1402C的所述透視投影相重疊。所述第一代表性組圖像1402A的所述透視投影可以緊鄰所述第一周圍邊界1404,并且每個額外的代表性組圖像1402B-1402C的所述透視投影可以在朝向所述第二周圍邊界1406的第一方向1410上越來越遠離所述第一代表性組圖像1402A的所述透視投影。
在640中,所述代表性圖像1400(即,重疊透視投影)可以被逐步顯示。在一些實施方案中,逐步顯示所述代表性圖像1400可以包括在朝向所述第一周圍邊界1404的第二方向1412上,逐步地移動在所選擇的代表性組圖像子集中的每幅代表性組圖像1402的所述透視投影。當(dāng)在所選擇的代表性組圖像子集中的每幅代表性組圖像1402的所述透視投影到達緊鄰第一周圍邊界1404的門限值位置1408的時候,可以從所述代表性圖像1400中移除該透視投影。如圖14B所示,所述代表性組圖像1402A不再存在于所述代表性圖像1400B中,因為它作為在1400A和1400B之間的動畫的結(jié)果到達了所述門限值位置1408。
對所述代表性圖像1400的顯示可以進一步包括,將所選的代表性組圖像的子集中的每幅代表性組圖像1402的所述透視投影逐步地引入靠近所述第二周圍邊界1406的所述代表性圖像1400中,將每個代表性組圖像1402的所述透視投影朝所述第一周圍邊界1404移動,然后當(dāng)該透視投影到達所述門限值位置1404時,從所述代表性圖像中去除每幅代表性組圖像1402的所述透視投影。如圖14B所示,一個新的代表性組圖像1402D已經(jīng)被引入到所述代表性圖像1400B的顯示中。
在一些實施方案中,每幅代表性組圖像1402的所述透視投影在被引入代表性圖像1400中時可以是基本上不透明的。每幅代表性組圖像1402在朝向所述第一周圍邊界1404移動時逐漸變?yōu)橹辽侔胪该鞯?參見圖14A-14B)。如上所述,來自各種代表性組圖像1402的像素的混合可因此隨著所述代表性圖像1400被動畫化而改變。當(dāng)每幅代表性組圖像1402移動通過所述代表性圖像1400時,該代表性組圖像1402可以變得至少部分透明,以方便更清楚地看到后續(xù)代表性組圖像1402。
在一些實施方案中,可以用第一投影角度產(chǎn)生在所選擇的代表性組圖像子集中的每幅代表性組圖像1402的所述透視投影。然而,在一些實施方案中,可以提供GUI以改變那些透視投影。
可以提供與所述計算機設(shè)備顯示器相關(guān)聯(lián)的用戶界面,用于從用戶接收輸入??梢詮乃鲇脩艚邮找粋€輸入,該輸入指示應(yīng)當(dāng)改變一個或多個所述透視投影。基于來自所述用戶的所述輸入,所述計算設(shè)備可以重新生成所述代表性圖像1400C,以包括在所選擇的代表性組圖像子集中的每幅代表性組圖像1402的第二透視投影的至少一部分,所述第二透視投影是以一個不同于所述第一投影角度的第二投影角度產(chǎn)生的。圖14C示出了對應(yīng)于圖14B所示的所述代表性圖像1400B、但是具有不同的透視投影角度的一個代表性圖像1400C。同樣,由于投影角度的變化,所述動畫方向可能發(fā)生改變,由此所述第一周圍邊界1404、第二周圍邊界1406的位置和門限值位置1408也可能發(fā)生改變。
在一些實施方案中,可以提供一個觸摸屏用戶界面以允許用戶改變透視投影。圖16示出了配備有觸摸屏(具有X和Y軸)的設(shè)備1600的示例。所述設(shè)備1600是能夠檢測諸如長按(按住一會兒)和拖動(在手指四處移動時保持按壓屏幕)的觸摸屏手勢的計算設(shè)備102的一個示例。在一個示例中,用戶可以長按(按住一會兒)一個圖標(biāo)以指示透視投影將被改變。然后,所述用戶可以執(zhí)行拖動手勢以改變所述透視投影的所述投影角度。用于顯示該圖標(biāo)的所述透視投影可以根據(jù)用戶的拖動手勢的方向和距離而改變。令α和β分別是該用戶沿著X和Y軸拖動的距離。然后可以通過將透視投影M乘以以下兩個矩陣的乘積,以產(chǎn)生所述第二透射投影:
在一些情況下,單個拖動動作可以用于調(diào)整同時顯示在所述顯示設(shè)備上的每個代表性圖像的所述透視投影。
如上所述,在一些實施方案中,用于一個顯示組的所述代表性圖像可以包括多個代表性圖像部分。每個代表性圖像部分可以包括至少一個與所述顯示組的一個分組相對應(yīng)的分組代表性圖像。在一些實施方案中,過程600可以應(yīng)用于所述代表性圖像的每個所述代表性圖像部分。也就是說,每個代表性圖像部分可以包括一個具有該分組的一個或多個代表性分組圖像(其彼此可以重疊)的透視投影的分組代表性圖像。同樣,在一些實施方案中,每個代表性圖像可以是當(dāng)向用戶顯示時可以獨立地動畫呈現(xiàn)的動畫代表性圖像。
如上所述,在一些實施方案中,可以提供GUI以允許用戶經(jīng)由所述層級結(jié)構(gòu)水平地(即,從較高級到較低級,反之亦然)或垂直地(即,跨越每個級)或兩種方式的結(jié)合來搜索代表性圖像(即,圖像組的圖標(biāo))。除了底部全分辨率級別之外的任何級別的每個代表性圖像都可以由所述用戶選擇,例如,通過點擊或敲擊。
對于一個單獨圖像的圖標(biāo)(圖像圖標(biāo)),當(dāng)點擊或敲擊時,可以以其全分辨率顯示該圖像。圖15示出了一個通過所述圖像本身生成的示例圖像圖標(biāo)1500。具體地,所述圖像在其尺寸被重新適當(dāng)調(diào)整到適合于被分配的顯示屏幕空間后,可以以圖像傾斜的方式被顯示在一個透視投影中。
在一些實施方案中,當(dāng)選擇(例如點擊或敲擊)一個組(例如Π)的代表性圖像(除了圖像圖標(biāo)之外的組圖標(biāo))時,可以顯示所述組的低于該組Π的組級別的一個組級別的分組。這一個組級別被稱為該組Π的“下一個顯示組級別”。在Π的下一個顯示級別的所有組是對應(yīng)于Π的所述顯示組的分組。我們可以將Π的一個最低的約束縮放級別(LCZL)定義為低于Π的組級別的最低組級別,并且在此級別下作為與Π對應(yīng)的所述顯示組的分組的每個沒有交集的組可以使得其代表性圖像顯示在小于規(guī)定空間門限值的總分配顯示屏幕空間中。
在一些實施方案中,如果在Π的所述下一個顯示級別處存在著兩個或更多個不相交組,則Π的所述下一個顯示級別可以是Π的LCZL。在一些實施方案中,所述規(guī)定的空間門限值可以不大于所述設(shè)備顯示器的全顯示屏幕尺寸的兩倍(不滾動)。下面參照圖7描述一個用于確定Π的所述下一個顯示級別的示例過程。
現(xiàn)在參考圖7,其中示出了一個用于確定顯示分組級別的過程700的示例實施方案。當(dāng)用戶選擇特定顯示組時,過程700可以用于為其代表性圖像應(yīng)當(dāng)顯示給所述用戶的所選顯示組確定所述多個顯示分組。在一些情況下,不是簡單地在所述分級結(jié)構(gòu)中向下移動一個組級別,過程700可以通過向下跳過多個組級別到達具有要顯示給所述用戶的多個分組的那個組級別來實現(xiàn)更快和更有效的圖像集合導(dǎo)航。
在710中,可以基于來自用戶的輸入來確定所選顯示組。可以向所述用戶顯示多個顯示組的所述代表性圖像,并且所述用戶可以選擇所顯示的代表性圖像中的一個。所選代表性圖像可以是所選顯示組的所述代表性圖像。
一般來說,在所選顯示組的圖像數(shù)量小于圖像數(shù)量門限值的情況下,過程700可能是不必要的。例如,如果為所選顯示組分配的屏幕尺寸足以顯示所選顯示組中的所有圖像,則可以不必執(zhí)行過程700。因此,過程700通常會在所選顯示組包括的圖像的數(shù)量大于圖像數(shù)量門限值的情況下被執(zhí)行,其中所述圖像數(shù)量門限值是一個大于1的整數(shù)。所述圖像數(shù)量門限值可以基于所述計算設(shè)備的顯示器的所述屏幕尺寸來確定。
在720中,可以通過確認(rèn)可同時顯示的代表性圖像的最大數(shù)來確定顯示分組的門限值數(shù)。所述可同時顯示的代表性圖像的最大數(shù)可以基于所述計算機設(shè)備顯示器為所選顯示組分配的屏幕尺寸和針對每個代表性圖像的所述最大代表性圖像尺寸(即,可以被分配給單個代表性圖像的所分配屏幕尺寸大小)來確定。
在730中,可以確定一個顯示分組級別。一般來說,所述計算設(shè)備可以確定所述所選顯示組的多個圖像分組??梢詫⑺鏊x顯示組中的每幅圖像分配給所述圖像分組中的至少一個,并且所述多個圖像分組可以包括跨越多個分組級別的分組。每個分組級別包括多個沒有交集的級別特有分組。
可以通過確認(rèn)具有不大于顯示分組的所述門限值數(shù)量的最大數(shù)量的級別特有分組的分組級別,從所述多個分組級別中確定所述顯示分組級別,其中所選顯示組的每幅圖像會被分配到在該分組級別的所述級別特有分組的至少一個中。
示例算法2–確定顯示分組級別
為每個分組級別分配編號,將0設(shè)置為單獨圖像的級別(例如,可以分別指定年份、月份、事件、WS、SS和單獨級別的編號數(shù)字為5、4、3、2、1和0)。用T[i]表示可以在規(guī)定的顯示屏幕空間內(nèi)同時顯示的在級別i的最大的代表性圖像數(shù)目,i=0、1、2、3、4或5。在一些實施方案中,所述規(guī)定的顯示屏幕空間可以被選擇為不大于所述設(shè)備的全部顯示屏幕尺寸的兩倍(不滾動情況下)。給定不是圖像圖標(biāo)的在級別L的組A的代表性圖像,算法2是確定下一個顯示分組級別的示例過程。
算法2:
在740中,所述計算設(shè)備可以為所述多個顯示分組確定多個代表性圖像。在730確認(rèn)的所述顯示分組級別中的所述多個級別特有分組可以被確認(rèn)為所述顯示分組。對于每個顯示分組,可以確定一個代表性圖像以表示該顯示分組中的所有圖像。所述代表性圖像可以被確定為具有不大于所述代表性圖像尺寸的圖像尺寸。然后可以在所述計算機設(shè)備顯示器上同時顯示所述多個顯示分組的所述多個代表性圖像。
例如,考慮圖8中所示的分級結(jié)構(gòu)。如果所選顯示組是開放組812A,并且分配給開放組的所有圖像都被分配給了相同的年、月和事件組,則所述計算設(shè)備可以確定所述顯示分組級別為弱相似圖像組級別804E。然后,在所述開放組812A被選擇時,可以向所述用戶顯示處于所述弱相似圖像組級別804E的所述分組的所述代表性圖像,而不是要求用戶在到達所述弱相似圖像組級別804E之前依次選擇年份組、月份組和事件組。這有助于更快速地在通過大量圖像分配準(zhǔn)則組編的大圖像集合中導(dǎo)航。
這里已經(jīng)描述了多個示例性實施方案。然而,本領(lǐng)域技術(shù)人員將理解的是,在不脫離隨附權(quán)利要求書所限定的實施方案的范圍的情況下,可以進行其它變化和修改。