物的數(shù)目或人物的年齡)進行排序。圖5說明若干情景，但本發(fā)明不由此處所描繪的這些情景來限制。圖5A說明按捕獲時間的排序情景。為按時間順序來排序經(jīng)匹配的圖像，可使用從圖像的標頭(例如，JPEG圖像的EXIF標頭)提取的捕獲日期/時間信息。在圖5B中，按照在圖像中呈現(xiàn)的人物的數(shù)目來完成排序。這可通過使用人臉檢測算法來實現(xiàn)，例如，“用于對象辨識的局部外觀及空間關系的概率建模(Probabilistic Modeling of Local Appearanceand Spatial Relat1nships for Object Recognit1n)，，(H.施耐德曼(H.Schneiderman)及T.堪納德(T.Kanade)，計算機視覺與模式辨識(CVPR)，98學報，45-51頁)中所描述的人臉檢測器。圖5C說明按年齡的排序情景。這可通過使用人臉檢測及聚類算法的組合來實現(xiàn)。將人臉檢測算法應用于首先確定經(jīng)檢測的人臉的位置。隨后(例如)可使用如由T.F庫茨(T.F.Cootes)、C.J.泰勒(C.J.Taylor)、D.Η.庫拍(D.Η.Cooper)及J.格雷漢姆(J.Graham)在論文“主動形狀模型-其訓練及應用(Active shape models-their training andapplicat1n)”(計算機視覺及圖像理解(Computer Vis1n and Image Understanding)(61):38-59,1995)中描述的主動形狀模型來提取面部特征以提取面部特征點。這些面部特征點可隨后用以確定具有類似人臉(即，具有類似面部特征點的人臉)的集群。人臉的年齡隨后可由用戶簡檔數(shù)據(jù)(如果可用)來確定或由年齡及性別算法(例如，在由M.-H.楊(M.-
H.Yang)及B.蒙哈達(B.Moghaddam)所著的“用于視覺性別分類的支持向量機(Supportvector machines for visual gender classificat1n)，，(模式辨識國際會議學報(?『0。.10卩10，2000)及由乂.耿(乂.66即)、2.-!1.周(2.-!1.211011)、￥.張(￥.21^1^)、6.李(6.1^)及Η.戴(H.Dai)所著的“從面部衰老模式學習自動年齡估計(Learning from facial agingpatterns for automatic age estimat1n)”(2006年國際多媒體大會(ACMMULTIMEDIA
2006))中所描述的那些算法)來估計。圖5D說明按時間順序?qū)哂型蝗宋锏膱D像的排序情景?？稍俅瓮ㄟ^使用人臉檢測及集群以識別同一人物的圖像來實現(xiàn)此種情況，隨后從圖像標頭提取日期/時間信息以確定先后順序。應注意，在本發(fā)明中可使用非人物的其它語義內(nèi)容的對象。舉例來說，頻繁反復出現(xiàn)的對象(例如，汽車、寵物、玩具、植物)可用于各種排序情景而不限于此處所描述的情景。
[0029]最后，在步驟107中，使用經(jīng)排序的一組圖像來創(chuàng)建演示或可操縱視圖。舉例來說，圖5中的白色箭頭說明借助于上文所描述的各種情景中的類似背景圖片來呈現(xiàn)或操縱圖像的順序。圖6提供對整體應用的更詳細說明。參考圖6，頂部圖像為參考圖像，其中參考對象為墻上的圖片。位于左側的下部圖像為原始圖像中的一者，其經(jīng)檢測為具有與墻上的圖片相同的圖片。在對準步驟105(在此情形中通過縮放及裁剪操作)之后，位于右側的下部圖像(圖像2)相對于墻上的圖片更加一致地與位于頂部的參考圖像(圖像1)對準。當按連續(xù)順序在幻燈片中使用這兩個圖像(即，圖像1由圖像2跟隨)時，所得演示將更為賞心悅目，這是由于當從一個圖像過渡到另一圖像時類似背景看起來是靜止的或較不易使觀眾分散注意力。此外，可添加各種過渡效果(例如，漸隱及擦除)以進一步增強整體演示。
[0030]多媒體演示及操縱的另一實施例利用用于全景拼接及虛擬環(huán)境創(chuàng)建的經(jīng)識別的反復出現(xiàn)的靜止對象以及用于在經(jīng)創(chuàng)建的虛擬環(huán)境中的布置的經(jīng)提取的非靜止前景對象?？砂磿r間及空間標準(例如，先后順序、集群、及相對物理位置、對象或人物的年齡)來對所述經(jīng)提取的前景對象進行排序及組織。
[0031 ] 以引用的方式并入由民宇?帕克(Minwoo Park)、亞歷山大?路易(AlexanderLoui)及瑪麗云基.庫馬爾(Mrityunjay Kumar)所著的標題為“識別數(shù)字圖像中的高顯著性區(qū)域(Identifying high saliency reg1ns in digital images)” 的美國專利8401292來描述自動場景分割及對象提取技術。簡單地說，‘ 292專利教示一種用于通過自動分析數(shù)字圖像以將其分割成多個經(jīng)分割的區(qū)域來識別所述數(shù)字圖像中的高顯著性區(qū)域的方法，其中每一經(jīng)分割的區(qū)域包含一組圖像像素且通過分割邊界來定邊界。每一經(jīng)分割的區(qū)域的顯著性值通過以下步驟來確定:
[0032]a.確定包含環(huán)繞所述經(jīng)分割的區(qū)域的一組圖像像素的環(huán)繞區(qū)域，其中所述環(huán)繞區(qū)域具有由所述分割邊界所界定的外邊界及內(nèi)邊界；
[0033]b.分析所述經(jīng)分割的區(qū)域中的圖像像素以確定一或多個經(jīng)分割的區(qū)域?qū)傩裕?br>[0034]c.分析所述環(huán)繞區(qū)域中的圖像像素以確定一或多個對應環(huán)繞區(qū)域?qū)傩?；以?br>[0035]d.響應于所述一或多個經(jīng)分割的區(qū)域?qū)傩耘c所述對應環(huán)繞區(qū)域?qū)傩灾g的差異來確定區(qū)域顯著性值。
[0036]隨后響應于確定滿足一或多個規(guī)定的合并標準來合并共享共同邊界的相鄰經(jīng)分割的區(qū)域，其中規(guī)定的合并標準包含以下標準:經(jīng)合并的經(jīng)分割的區(qū)域的顯著性高于相鄰經(jīng)分割的區(qū)域的顯著性。最后，具有最高區(qū)域顯著性值的經(jīng)分割的區(qū)域中的一或多者被指定為高顯著性區(qū)域。此方法具有以下優(yōu)點:由若干統(tǒng)計上不均勻區(qū)域組成的顯著的對象可被檢測為整體。其具有以下額外優(yōu)點:其可有效地檢測大顯著的區(qū)域及小顯著的區(qū)域兩者。
[0037]此外，可將各種經(jīng)創(chuàng)建的虛擬環(huán)境呈現(xiàn)為一系列同心帶或球，其中位于中心的“觀察者”具有對場景及對象的獨立控制。舉例來說，用戶可使用由攝像機監(jiān)視的手勢、指向裝置或觸摸屏來將帶向左或向右平移，通過向前及向后行進而移動通過帶。所選擇的“背景帶”可為連續(xù)的或一系列的重建場景，其具有填充有場景相關的經(jīng)提取對象的“前景帶”?？墒褂脠D2的步驟101到103來識別用于重建的背景場景。可由任何現(xiàn)有技術(例如，經(jīng)由圖切割的能量最小化)來實現(xiàn)場景重建。在由V.柯爾莫哥洛夫(V.Kolmogorow)及雜賓(Zabih)所著的標題為“經(jīng)由圖切割的多攝像機場景重建(Mult1-camera scene reconstruct1n viagraph cuts)”的論文(2002年5月的歐洲計算機視覺會議(European Conference onComputer Vis1n,May 2002))中描述一種此方法。
[0038]在典型場景內(nèi)存在圖像對象類型的四個主要類別，其包含前景、背景、靜止及可移動。通過提供具有靜止或固定對象(如經(jīng)裝飾的房間、墻壁、地板、藝術墻、花園、自然景觀、建筑、城市景觀及類似物)的更連續(xù)的室內(nèi)及室外背景環(huán)境，這將允許用戶以更自然的方式瀏覽圖像集合。提取相關移動前景對象(如人物、車輛、玩具、動物)且允許其獨立于相關背景而移動。使用反復出現(xiàn)的靜止對象(如關鍵點)提供使用多個背景場景來“填充”由經(jīng)提取的對象引起的任何圖像數(shù)據(jù)“洞”的能力。
[0039]移動前景對象還可經(jīng)修改以包含簡單動畫，例如，借助于通過提供移動且在膝及肘關節(jié)處彎曲的四肢的經(jīng)提取的人物的圖像，或借助于與汽車朝向的方向一致的向左或向右橫向移動的機動車的圖像，車輪也可經(jīng)獨立地提取且旋轉以進一步增強車輛的運動錯覺。當汽車的前部或背部圖像為可見時，可通過放大或縮小使汽車看起來似乎正在移