用于創(chuàng)建經(jīng)排序的圖像的可操縱視圖的系統(tǒng)及方法
【專利說明】用于創(chuàng)建經(jīng)排序的圖像的可操縱視圖的系統(tǒng)及方法
[0001 ] 相關(guān)申請案的交叉參考
[0002]本申請案涉及2013年7月30日申請的標題為“用于創(chuàng)建可操縱視圖的方法(METHODFOR CREATING NAVIGABLE VIEWS)”序列號為61/859,935的美國臨時專利申請案及2013年7月30日申請的標題為“用于創(chuàng)建可操縱視圖的系統(tǒng)(SYSTEM FOR CREATING NAVIGABLEVIEWS)”序列號為61/859,941的美國臨時專利申請案，且本申請案主張前述兩個臨時專利申請案的優(yōu)先權(quán)。上述共同待決的臨時申請案的揭示內(nèi)容特此以全文引用的方式并入。
技術(shù)領(lǐng)域
[0003]本發(fā)明大體上涉及數(shù)字圖像處理領(lǐng)域，且特定來說，涉及用于創(chuàng)建消費者媒體集合中的可操縱視圖及演示的系統(tǒng)及方法。
【背景技術(shù)】
[0004]數(shù)碼相機及智能電話的激增已導(dǎo)致大量數(shù)字圖像及視頻的出現(xiàn)，從而產(chǎn)生大的個人圖像及視頻數(shù)據(jù)庫。由于拍攝數(shù)字照片及視頻是容易的且?guī)缀趺赓M的，因此消費者不再將拍攝照片限于重要事件及特殊場合。圖像及視頻被頻繁地捕獲，且成為消費者日常生活中每天都要發(fā)生的事情。由于一般用戶已積累許多年的數(shù)字圖像及視頻，因此瀏覽數(shù)字圖像及視頻的集合來創(chuàng)建幻燈片放映或可操縱多媒體演示對于消費者來說是耗時的過程。
[0005]從消費者圖像及包含音樂聲軌的視頻幀匯編而成的數(shù)字幻燈片放映是眾所周知的。與從模擬到數(shù)字攝像的許多轉(zhuǎn)換形式一樣，數(shù)字幻燈片未能相對于其模擬對應(yīng)物在很大程度上增強用戶體驗，且未充分利用數(shù)字處理及媒體的潛能。除了數(shù)字轉(zhuǎn)換及音樂節(jié)拍導(dǎo)出的演示時序之外，圖像隨著聲軌播放而按順序呈現(xiàn)，與模擬幻燈片放映一樣。用戶通常拍攝人物及對象的照片，而將背景作為次要考慮因素，除非用戶在拍攝日落或風(fēng)景。由于人物及對象提供攝像的主要動機，因此其還應(yīng)作為呈現(xiàn)所得圖像的主要考慮因素。圖像編輯軟件(例如，Adobe “后效應(yīng)”(Adobe “After Effects”))用于創(chuàng)建運動圖形及視覺效應(yīng)且允許用戶借助于各種內(nèi)置工具及第三方插件以及對如視差的變量的個人關(guān)注及用戶可調(diào)整的觀察角度而在2D及3D空間中把媒體制成動畫效果、改變及合成媒體。問題在于學(xué)習(xí)及使用如上述圖像編輯軟件的工具非常復(fù)雜，且需要熟練的專業(yè)圖形繪制技術(shù)人員。使用經(jīng)提取的對象、人物或所關(guān)注的區(qū)域、基于主題的“腳本”、及經(jīng)導(dǎo)引的用戶選擇、多個選擇選項，創(chuàng)建動畫的/可操縱的多媒體演示的整個過程可為自動的。本發(fā)明提供一種自動化方法以使創(chuàng)建針對用戶的圖像集合的有趣且個性化的多媒體演示及可操縱視圖的繁瑣過程更容易Ο

【發(fā)明內(nèi)容】

[0006]根據(jù)本發(fā)明，提供一種用于使用多個經(jīng)排序的圖像來創(chuàng)建可操縱視圖的系統(tǒng)及方法，其包括:接收多個數(shù)字圖像;使用處理器來計算所述多個數(shù)字圖像中的每一者的一組特征點；選擇所述多個數(shù)字圖像中的一者作為參考圖像;識別所述參考圖像中顯著的所關(guān)注的區(qū)域;使用所述處理器來使用針對其它數(shù)字圖像中的每一者而計算的所述組特征點來識別含有與所述參考圖像中所述顯著的所關(guān)注的區(qū)域類似的所關(guān)注的區(qū)域的所述多個圖像中的其它數(shù)字圖像;指定針對所述參考圖像或所述經(jīng)識別的一組類似圖像中的一者中所述顯著的所關(guān)注的區(qū)域的參考位置;使用所述處理器來將所述其它數(shù)字圖像與含有所述經(jīng)指定的參考位置的圖像對準;將含有所述經(jīng)指定的參考位置的圖像及所述其它數(shù)字圖像進行排序；以及產(chǎn)生顯示所述經(jīng)排序的數(shù)字圖像的可操縱視圖。
[0007]現(xiàn)有消費者圖像集合可經(jīng)組織及集成以創(chuàng)建虛擬環(huán)境。通過使用計算機視覺及模式辨識技術(shù)，圖像集合的演示及操縱變成與常規(guī)“模擬式”數(shù)字幻燈片放映相反的交互式、沉浸式、非線性體驗。本發(fā)明旨在通過對數(shù)字圖像的群組中顯著的反復(fù)出現(xiàn)的所關(guān)注的區(qū)域(R0I)或?qū)ο蟮倪M行識別來促進可操縱多媒體演示。通過將參考圖像中的關(guān)鍵點與目標圖像中的關(guān)鍵點進行匹配來識別顯著的反復(fù)出現(xiàn)的R0I或?qū)ο?。因此，冗余、較不受關(guān)注的圖像可獲得作為用于創(chuàng)建虛擬背景的潛在材料的價值。這與現(xiàn)有圖像集合(即，無需準備或特殊捕獲需求)兼容。此外，反復(fù)出現(xiàn)的靜止對象可用作到額外信息或操縱點的超鏈接。用戶可獨立地選擇背景及對象以創(chuàng)建適于打印及共享的場景。
【附圖說明】
[0008]圖1展示根據(jù)本發(fā)明的實施例的系統(tǒng)的框圖；
[0009]圖2描述根據(jù)本發(fā)明的實施例的方法的流程圖；
[0010]圖3描述圖2的框102的流程圖；
[0011]圖4展示根據(jù)本發(fā)明的實施例的出現(xiàn)在兩個不同圖像中的同一對象的SIFT關(guān)鍵點的匹配的實例；
[0012]圖5A展示根據(jù)本發(fā)明的實施例的按時間順序的圖像順序；
[0013]圖5B展示根據(jù)本發(fā)明的實施例的按人物的數(shù)目來排序的圖像；
[0014]圖5C展示根據(jù)本發(fā)明的實施例的按年齡來排序的具有單個人物的圖像；
[0015]圖f5D展示根據(jù)本發(fā)明的實施例的按時間來排序的具有同一人物的圖像;及
[0016]圖6展示根據(jù)本發(fā)明的實施例的經(jīng)由縮放及裁剪的對準的實例。
【具體實施方式】
[0017]如所屬領(lǐng)域的技術(shù)人員將熟知，本發(fā)明可在計算機系統(tǒng)中實施。在以下描述中，本發(fā)明的一些實施例將被描述為軟件程序。所屬領(lǐng)域的技術(shù)人員將容易認識到，此方法的等效物還可被解釋為本發(fā)明范圍內(nèi)的硬件或軟件。
[0018]因為圖像處理算法及系統(tǒng)是眾所周知的，所以本描述將尤其涉及形成根據(jù)本發(fā)明的方法的部分或更直接地與根據(jù)本發(fā)明的方法協(xié)作的算法及系統(tǒng)。此類算法及系統(tǒng)的其它方面，以及用于產(chǎn)生及以其它方式處理其中所涉及的圖像信號的硬件或軟件(本文未特定展示或描述)可從所屬領(lǐng)域已知的此類系統(tǒng)、算法、組件及元件中選擇。鑒于如以下說明書中所闡述的描述，本發(fā)明的所有軟件實施方案為常規(guī)的且在所屬領(lǐng)域的技術(shù)人員理解范圍之內(nèi)。
[0019]集合中的視頻在描述的其余部分中包含于術(shù)語“圖像”中。
[0020]本發(fā)明可在計算機硬件及計算機化設(shè)備中實施。舉例來說，可在數(shù)碼相機、多媒體智能電話、數(shù)字打印機中執(zhí)行所述方法，可在因特網(wǎng)服務(wù)器、自助服務(wù)終端及個人計算機上執(zhí)行所述方法。參考圖1，圖1說明用于實施本發(fā)明的計算機系統(tǒng)。盡管出于說明根據(jù)本發(fā)明的實施例的目的展示所述計算機系統(tǒng)，但本發(fā)明不限于所展示的計算機系統(tǒng)，而是可用在任何電子處理系統(tǒng)(例如，數(shù)碼相機、家用計算機、自助服務(wù)終端中的電子處理系統(tǒng))或用于數(shù)字圖像處理的任何其它系統(tǒng)上。計算機10包含基于微處理器的單元20(本文也稱作處理器)，其用于接收及處理軟件程序且用于執(zhí)行其它處理功能。存儲器單元30存儲用戶供應(yīng)及計算機生成的數(shù)據(jù)，所述數(shù)據(jù)可由處理器20在運行計算機程序時存取。顯示裝置(例如，監(jiān)視器)70(例如，通過圖形用戶接口)電連接到計算機10用于顯示與軟件相關(guān)聯(lián)的信息及數(shù)據(jù)。鍵盤60也連接到所述計算機。作為對使用鍵盤60進行輸入的替代，可使用鼠標來移動顯示裝置70上的選擇器且用于選擇所述選擇器覆蓋的項，如在所屬領(lǐng)域中為眾所周知的。輸入裝置50(例如，光盤(CD)及DVD)可插入計算機10以用于將軟件程序及其它信息輸入計算機10及處理器20。此外，如在所屬領(lǐng)域中為眾所周知的，計算機10可經(jīng)編程以用于內(nèi)部存儲軟件程序。此外，媒體文件(例如，圖像、音樂及視頻)可通過輸入裝置50(例如，存儲卡、隨身盤、CD及DVD)被傳送到計算機10的存儲器30，或通過將捕獲裝置(例如，攝像機、蜂窩電話及視頻記錄器)作為輸入裝置直接連接到計算機10來將所述媒體文件傳送到計算機10的存儲器30。計算機10可具有到外部網(wǎng)絡(luò)(例如，局域網(wǎng)或因特網(wǎng))的網(wǎng)絡(luò)連接(例如，電話線或無線連接80)。軟