用于視覺搜索的圖像拓撲編碼的制作方法
【專利摘要】一種用于處理圖像的方法和設(shè)備，其基于第一數(shù)目的點的拓撲信息，從所述圖像的第一數(shù)目的點中生成所述圖像的第一數(shù)目維數(shù)的第一矢量，并且在生成所述圖像時，所述圖像的所述第一矢量的旋轉(zhuǎn)度與尺度不變。所述第一數(shù)目的點可以是所述圖像的一組旋轉(zhuǎn)度與尺度不變的特征點的位置，并且所生成的第一矢量可以是從所述圖像的所述第一數(shù)目的點中生成的成對距離矩陣的圖譜。
【專利說明】用于視覺搜索的圖像拓撲編碼
[0001]本發(fā)明要求2011年12月29日遞交的發(fā)明名稱為“用于視覺搜索的圖像拓撲編碼(Image Topological Coding for Visual Search)” 的第 13/340，398 號美國非臨時申請案的在先申請優(yōu)先權(quán)，并且要求2011年7月11日遞交的發(fā)明名稱為“采用圖形頻譜分析的拓撲編碼和驗證(Topological Coding and Verification with Graph SpectralAnalysis)”的第61/506，612號美國臨時申請案的在先申請優(yōu)先權(quán)，這兩個在先申請的內(nèi)容以全文引入的方式并入本文本中。
【技術(shù)領(lǐng)域】
[0002]本發(fā)明大體涉及圖像處理，且確切地說，涉及可以在視覺搜索中應用的提供用于圖像的點集的拓撲編碼的實例實施例。
【背景技術(shù)】
[0003]現(xiàn)代的移動電話、手機、平板電腦、移動終端、移動裝置或用戶設(shè)備已發(fā)展為強大的圖像和視頻處理裝置，該圖像和視頻處理裝置配備有高分辨率相機、彩色顯示器和硬件加速圖形。隨著像android、iPhone等的移動裝置迅速發(fā)展,基于移動的多媒體視覺服務正經(jīng)歷著深刻的變革和發(fā)展。移動視覺搜索服務的應用場景可以是基于位置的服務、徽標搜索等等，其中從移動裝置中發(fā)送的一個圖像或多媒體與存儲在數(shù)據(jù)庫或圖像存儲庫中的另一圖像或多媒體相匹配。移動視覺搜索系統(tǒng)的第一推廣應用包括谷歌的Goggles、諾基亞的Point and Find、Kooaba和 Snaptell。
[0004]移動裝置通過無線網(wǎng)絡而發(fā)送的圖像查詢通常在計算上開銷很大，需要相當高的通信成本，而且無法支持實時操作。在受歡迎的應用中，其中移動裝置捕獲某些對象的圖片，并在無線網(wǎng)絡上將這一圖片作為查詢來發(fā)送以搜索較大的存儲庫，降低比特率同時保持匹配準確度是在MPEG下進行標準化努力所面臨的主要問題和主要焦點。
[0005]出于視覺搜索的目的，視覺描述符或圖像描述符可以代替圖像用作查詢。然而，對于移動裝置來說，視覺描述符通常還是非常大的，這是因為它們由數(shù)百個尺度與旋轉(zhuǎn)度不變的特征點及其位置組成。尺度不變特征變換(SIFT)的一個實例特征點由具有2048個位的128維組成?？焖亵敯籼卣?SURF)的另一實例特征點由具有1024個位的64維組成。減小特征點的大小可能損害視覺搜索服務的搜索性能以及匹配準確度。
[0006]圖像的點集而非完整圖像可以由移動裝置發(fā)送以搜索圖像存儲庫。可以在發(fā)送用于視覺搜索的圖像的特征點的同時發(fā)送點集，或者單獨發(fā)送點集。因此點集除了可以用于搜索特征點之外，還可以用于在視覺搜索中對圖像進行搜索和匹配。

【發(fā)明內(nèi)容】

[0007]隨著互聯(lián)網(wǎng)中視覺內(nèi)容存儲庫的飛速發(fā)展，可以在無線鏈路上支持通過捕獲進行的查詢的視覺搜索方案在多種應用中都存在著很大的吸引力。在本發(fā)明中，公開了一種視覺搜索系統(tǒng)，所述系統(tǒng)可以操縱圖像的點集，從而生成用于表示所述圖像的拓撲編碼矢量，所述矢量可以用于對圖像進行搜索和識別。圖像點集的拓撲編碼矢量較小，從而可以促進對圖像進行有效的搜索和識別。拓撲編碼矢量在生成圖像時旋轉(zhuǎn)度與尺度也是不變的。
[0008]根據(jù)一項實例實施例，提供了一種用于處理圖像的方法。所述方法基于第一數(shù)目的點的拓撲信息，從圖像的第一數(shù)目的點中生成了圖像的第一數(shù)目維數(shù)的第一矢量，并且在生成圖像時，圖像的第一矢量的旋轉(zhuǎn)度與尺度不變。
第一數(shù)目的點可以是圖像的一組旋轉(zhuǎn)度與尺度不變的特征點的位置，并且生成的第一矢量可以是從圖像的第一數(shù)目的點中生成的成對距離矩陣的圖譜。另外，圖譜作為圖的拉
普拉斯矩陣L=S-W的本征值eigenvalue (L)進行計算,其中S是具有項*5"*，* =^wj.k的對角
矩陣，η是第一數(shù)目的點，而W是由m，/;定義的關(guān)聯(lián)矩陣，I |XrXk| I是第一數(shù)目的
點中的第一點\與第二點Xk之間的距離。
[0009]根據(jù)一項實例實施例，提供了一種用于處理圖像的方法。所述方法從圖像的第一數(shù)目的點中生成了圖像的第一數(shù)目維數(shù)的第一矢量。所述方法可以進一步通過壓縮方法對第一數(shù)目維數(shù)的第一矢量進行壓縮，以生成第二數(shù)目維數(shù)的第二矢量。例如，所述壓縮方法可以是離散余弦變換(DCT)。
[0010]根據(jù)一項實例實施例，提供了一種用于處理圖像的方法。所述方法從圖像的第一數(shù)目的點中生成了圖像的第一數(shù)目維數(shù)的第一矢量。當圖像的第一矢量與額外圖像的第二矢量之間的距離小于閾值時，所述方法可以進一步對圖像和額外圖像進行匹配，其中額外圖像的第二數(shù)目維數(shù)的第二矢量是基于第二數(shù)目的點的拓撲信息從額外圖像的第二數(shù)目的點中生成的，并且額外圖像的第二矢量在生成額外圖像時旋轉(zhuǎn)度與尺度不變。根據(jù)一些實施例，所述閾值可以從含有額外圖像的圖像存儲庫中生成，所述第一數(shù)目等于所述第二數(shù)目。所述方法可以用于視覺搜索中，從而將圖像與存儲在圖像存儲庫中的額外圖像進行匹配。
[0011]根據(jù)一項實例實施例，提供了一種用于處理圖像的設(shè)備。所述設(shè)備包括:接收器，其用于接收圖像的第一數(shù)目的點；以及拓撲編碼單元，其位于無線系統(tǒng)的用戶設(shè)備或基站中。所述拓撲編碼單元可以用于基于第一數(shù)目的點的拓撲信息，從圖像的第一數(shù)目的點中生成圖像的第一數(shù)目維數(shù)的第一矢量，并且在生成圖像時，圖像的第一矢量的旋轉(zhuǎn)度與尺度不變。所述第一數(shù)目的點可以是一組旋轉(zhuǎn)度與尺度不變的特征點的位置。所述第一矢量可以是從圖像的第一數(shù)目的點中生成的成對距離矩陣的圖譜。根據(jù)一些實施例，圖譜作為








η
圖的拉普拉斯矩陣L=S-W的本征值eigenvalue (L)進行計算，其中S是具有項









J-=I
的對角矩陣，η是第一數(shù)目的點，而W是由n,A yHM11定義的關(guān)聯(lián)矩陣，I X.-XJ I是第
一數(shù)目的點中的第一點&與第二點Xk之間的距離。所述設(shè)備可以進一步包括壓縮單元，所述壓縮單元用于通過壓縮方法對第一數(shù)目維數(shù)的第一矢量進行壓縮，以生成第二數(shù)目維數(shù)的第二矢量，例如，可以使用離散余弦變換(DCT)壓縮方法。
[0012]根據(jù)一項實例實施例，提供了一種用于處理圖像的設(shè)備。所述設(shè)備可以包括:接收器，其用于接收基于第一圖像的第一數(shù)目的點的拓撲信息生成的第一拓撲編碼矢量，其中第一圖像的第一拓撲編碼矢量在生成第一圖像時旋轉(zhuǎn)度與尺度不變；以及搜索單元，其用于在第一拓撲編碼矢量與第二拓撲編碼矢量之間的距離小于閾值時，將第一圖像的第一拓撲編碼矢量與基于第二圖像的第二數(shù)目的點的拓撲信息生成的第二拓撲編碼矢量進行匹配，其中所述第二圖像的第二拓撲編碼矢量在生成第二圖像時旋轉(zhuǎn)度與尺度不變，所述第二圖像存儲在圖像存儲庫中，并且所述閾值是由關(guān)于圖像存儲庫的信息確定的。根據(jù)一些實施例，第一數(shù)目的點是第一圖像的第一組旋轉(zhuǎn)度與尺度不變的特征點的位置；第二數(shù)目的點是第二圖像的第二組旋轉(zhuǎn)度與尺度不變的特征點的位置；第一拓撲編碼矢量是從第一圖像的第一數(shù)目的點中生成的成對距離矩陣的圖譜；并且第二拓撲編碼矢量是從第二圖像的第二數(shù)目的點中生成的成對距離矩陣的圖譜。另外，第二拓撲編碼矢量是在搜索單元要將第一拓撲編碼矢量與第二拓撲編碼矢量進行匹配時，由裝置從第二圖像的第二數(shù)目的點中生成的，或者第二拓撲編碼矢量是在搜索單元要將第一拓撲編碼矢量與第二拓撲編碼矢量進行匹配之前，由裝置從第二圖像的第二數(shù)目的點中生成的。
【專利附圖】

【附圖說明】
[0013]為了更完整地理解本發(fā)明及其優(yōu)點，現(xiàn)在參考以下結(jié)合附圖進行的描述，其中:
[0014]圖1 (a)和圖1 (b)描繪了具有移動裝置的內(nèi)容分布網(wǎng)絡和視覺搜索系統(tǒng)的一個實例；
[0015]圖2描繪了在圖像上執(zhí)行的操作順序，從而用點集來表示圖像、執(zhí)行點集的拓撲編碼，并且對拓撲編碼進行壓縮；
[0016]圖3描繪了用于拓撲編碼的過程；
[0017]圖4描繪了對由兩個點集表示的兩個圖像進行匹配的過程；以及
[0018]圖5描繪了所述方法的一個實例實施方案。
【具體實施方式】
[0019]下文詳細論述當前優(yōu)選實施例的制作和使用。然而，應了解，本發(fā)明提供可以在各種具體上下文中體現(xiàn)的許多適用發(fā)明性概念。所論述的具體實施例僅僅說明用以制作和使用本發(fā)明的具體方式，而不限制本發(fā)明的范圍。
[0020]如下文中更加詳細地描述，本發(fā)明公開了一種視覺搜索系統(tǒng)，所述系統(tǒng)可以操縱圖像的點集，從而生成用于表示所述圖像的拓撲編碼矢量，所述矢量可以用于對圖像進行搜索和識別。圖像點集的拓撲編碼矢量較小，從而可以促進對圖像進行有效的搜索和識別。拓撲編碼矢量在生成圖像時旋轉(zhuǎn)度與尺度也不變。
[0021]圖1 (a)描繪了視覺搜索系統(tǒng)的一個實例，其中移動裝置或用戶設(shè)備(UE)UEllOl或UE2103通過基站105和內(nèi)容分布網(wǎng)絡(⑶N) 107發(fā)送多媒體查詢111或113。以可互換的方式使用術(shù)語移動電話、手機、平板電腦、移動終端、移動裝置或用戶設(shè)備。所述查詢由服務器129內(nèi)的接收器121接收為查詢117，搜索單元119將查詢117用于在圖像存儲庫109中搜索。UE1101、UE2103或基站eNB105可以統(tǒng)稱為客戶端，并且包括接收器、搜索單元以及圖像存儲庫的服務器129可以統(tǒng)稱為服務器129。
[0022]視覺搜索系統(tǒng)可以是基于位置的服務、徽標搜索等等。UElOl和103可以通過無線通信信道連接到基站eNB105。UElOl和103可以是移動電話、用戶終端、移動臺、iPHONE或任何其他類似的裝置。連接到基站eNB105的UE數(shù)目可能不同。一個UE可以將多個查詢發(fā)送到基站。
[0023]UE101、103、基站105和CDN107可以是長期演進(LTE)無線系統(tǒng)、長期演進高級(LTE-A)系統(tǒng)、IEEE802.16m系統(tǒng)，或任何其他種類的無線系統(tǒng)的一部分。圖1 (a)中描繪的視覺搜索系統(tǒng)可以通過其他方式來實施，并且可以通過圖1 (b)中描繪的抽象級(abstractlevel)來表示，其中UEllOl連接到圖像存儲庫109，并且UEllOl將由服務器接收為查詢117的查詢111進行發(fā)送，該查詢用于搜索服務器129內(nèi)的圖像存儲庫109。
[0024]查詢111和113從UElOl或103發(fā)送到基站105?；?05可以直接將查詢111或113傳送到服務器，并且由接收器121來接收所述查詢以生成查詢117?；?05可以對查詢111或113執(zhí)行某些操作以生成不同的查詢115，然后通過⑶N107發(fā)送查詢115，并且由接收器121來接收該查詢。
[0025]如果從UE中發(fā)送的查詢111以及所接收的查詢117是圖像，那么圖像查詢可以用于對存儲在數(shù)據(jù)庫或圖像存儲庫109中的圖像進行搜索和匹配。通常使用特殊的索引結(jié)構(gòu)來實現(xiàn)這一操作?；趫D像的查詢通常在計算上開銷很大，需要相當高的額外通信成本，并且無法支持CDN應用所需的實時操作。
[0026]查詢111或查詢117可以是視覺描述符。視覺描述符或圖像描述符是對圖像、視頻中或生成此類描述的部件或模塊中的內(nèi)容的視覺特征點的描述。這些描述符描述了形狀、顏色、紋理或動作等基本特性，以及其他基本特性，并且這些描述實現(xiàn)了音頻-視頻內(nèi)容的快速有效搜索。具有較大區(qū)別的描述符包括快速魯棒特征(SURF)和尺度不變特征變換(SIFT)，這些是魯棒圖像(robust image)檢測符和描述符。在視覺搜索應用中，查詢圖像的描述符與數(shù)據(jù)庫圖像的描述符之間的匹配能力對于成功匹配來說非常關(guān)鍵。
[0027]視覺描述符可以將視覺對象及興趣點表示為一個特征點集合，該特征點集合可以具有尺度與旋轉(zhuǎn)度不變性或任何其他性質(zhì)。當視覺描述符用于匹配圖像時，查詢117可以是從圖像中提取的特征點集合。對于這些特征點及其拓撲信息的組合，例如特征點集合{匕I j=l，...，!!}，其中每一特征AFj位于圖像位置{Xj，yj}處，提供了尺度、旋轉(zhuǎn)度及視角變化度數(shù)不變的某些對象的唯一表示。該集合可以由數(shù)百個(例如242個)特征點組成。匹配兩個圖像可以與匹配圖像中的兩個特征點集合相同，并且匹配的特征的數(shù)目用作匹配的指示符。
[0028]特征點匕為中的點，其中為特征點匕的維數(shù)，并且特征點匕的特征維數(shù)丨 e_ R11具有用Pi個位表示的Pji精度。這可以稱為特征點在維數(shù)i下的分辨率。對于特征點集合來說，該集合中的特征點可以具有相同的維數(shù)或不同的維數(shù)。
[0029]然而，對于移動裝置來說，視覺描述符通常還是非常大的，這是因為它們由數(shù)百個尺度與旋轉(zhuǎn)度不變的特征點及其位置組成。尺度不變特征變換(SIFT)的一個實例特征點由具有2048個位的128維組成。快速魯棒特征(SURF)的另一實例特征點由具有1024個位的64維組成。減小特征點的大小可能損害視覺搜索服務中的搜索性能及匹配準確度。
[0030]查詢111或查詢117可以是由移動裝置發(fā)送以搜索圖像存儲庫的圖像的點集或視覺描述符，而不是整個圖像的點集?？梢栽诎l(fā)送用于視覺搜索的圖像的特征點的同時發(fā)送點集，或者單獨發(fā)送點集。因此點集除了可以用于搜索特征點之外，還可以用于在視覺搜索中對圖像進行搜索和匹配。點集可以用于獨立地在視覺搜索中對圖像進行搜索和匹配，而無需與特征點一起使用。[0031]圖2描繪了由一種設(shè)備執(zhí)行的操作流程，所述設(shè)備可以在使用點集以在本發(fā)明的一項實施例中執(zhí)行視覺搜索時使用。圖2中描繪的操作可以由移動裝置、基站來執(zhí)行，或者由移動裝置和基站的組合，或網(wǎng)絡中的任何其他部件來執(zhí)行。
[0032]在201處提供圖像。點集203可以從接收器205中的圖像中提取出來。根據(jù)一項實施例，可以關(guān)于特征點集合提取點集，這一操作是由移動裝置或基站執(zhí)行的。當SURF和SIFT特征點等尺度與旋轉(zhuǎn)度不變的特征點組合的集合可以用作視覺描述符時，通過多個尺度的邊緣檢測可以在視覺對象中找到這些特征點。在一項實例實施例中，僅僅將具有與尺度一致的強邊緣信息的那些點選擇為特征點。旋轉(zhuǎn)不變性是由描述邊緣定向的描述符來實現(xiàn)的。特征點集合可以由數(shù)百個尺度與旋轉(zhuǎn)度不變的特征點，以及這些特征點在原始圖像中的位置組成。特征點集合在原始圖像中的位置可以是在接收器205中生成的點集203。也可以提取其他視覺描述符特征點來代替SURF或SIFT。SURF和SIFT的使用僅僅是出于說明的目的，而并非是限制性的。也可以在步驟203中使用圖像的其他點集來代替SURF或SIFT特征點的位置。 [0033]生成了點集203的拓撲編碼矢量，例如，拓撲編碼單元209可以用于生成點集203的拓撲編碼矢量。圖像的拓撲編碼矢量在生成圖像時旋轉(zhuǎn)度與尺度不變，并且可以是基于點集的拓撲信息生成的。在一項實例實施例中，拓撲編碼矢量可以是從圖像的點集中生成的成對關(guān)聯(lián)矩陣2091的圖譜。拓撲編碼矢量可以計算為拉普拉斯矩陣L=S -W的本征值
2093，其中W為由w# =e—定義的關(guān)聯(lián)矩陣，I |Xj-XkI |是圖像點集中的第一點Xj與第
二點Xk之間的距離。
[0034]根據(jù)一項實施例，壓縮單元211可以使用壓縮方法來執(zhí)行壓縮，所述方法對點集的拓撲編碼矢量進行壓縮，以生成壓縮矢量。例如，所述壓縮方法可以是離散余弦變換(DCT)0也可以使用其他壓縮方法?？梢园错樞蚴褂枚喾N壓縮方法以對點集的拓撲編碼矢量進行壓縮。
[0035]圖3描繪了如何找到點集的拓撲編碼矢量的一項實施例。點集{(Xj，yj) I j =I,..., η}的拓撲編碼矢量取決于在步驟301中由關(guān)聯(lián)單元生成的關(guān)聯(lián)矩陣。作為一項實
例實施例，關(guān)聯(lián)矩陣可以定義為w# 夂—Χ?Ι1, I IXj-XkI I是點集的第一點\與第二點Xk
之間的距離，而關(guān)聯(lián)矩陣的大小是η*η，其中η是點集中點的數(shù)目。接下來，通過拉普拉斯






η
單元303來計算拉普拉斯矩陣L=S-W,其中S是具有項st，k = 的對角矩陣，其中η是

M
第一數(shù)目的點。最后，通過本征單元305將圖譜作為圖的拉普拉斯矩陣L=S-W的本征值eigenvalue (L)進行計算。多種圖像分割成本(graph cut cost)可以通過解決其拉普拉斯本征值問題來計算。所生成的拓撲代碼是可擴展的，即，第一本征值k可以用于表示該點集。
[0036]圖4描繪了設(shè)備400的一項實施例，以使用第一圖像的點集的拓撲編碼矢量來搜索第一圖像，所述拓撲編碼矢量可以是圖像存儲庫109中的第一圖像的圖譜。這種搜索可以由圖1中描繪的服務器129來執(zhí)行。所述搜索是基于第一圖像的拓撲編碼矢量確定的，所述拓撲編碼矢量可以作為圖譜由圖3中描繪的設(shè)備生成。由拓撲編碼單元209生成的圖譜可以由查詢接收器117接收。搜索單元119使用接收到的第一圖像的拓撲編碼矢量來搜索圖像存儲庫109。作為一項實例實施例，如果接收到的查詢是壓縮的拓撲編碼矢量，那么可以執(zhí)行任何必要的操作以對壓縮的拓撲編碼矢量進行解壓縮，從而恢復所述拓撲編碼矢量。
[0037]根據(jù)一項實施例，搜索單元119用于將第一圖像的第一圖譜與第二拓撲編碼矢量進行匹配，所述第二拓撲編碼矢量是存儲在圖像存儲庫109中的第二圖像的第二圖譜。第二拓撲編碼矢量是基于第二圖像的第二數(shù)目的點的拓撲信息生成的。
[0038]作為一項實例實施例，圖像存儲庫109除了存儲圖像本身之外也可以存儲所述圖像的點集，所述點集含有第二圖像的第二數(shù)目的點。第二圖像的點集可以存儲在與圖像存儲庫109分開的裝置中。每個圖像中，用于生成拓撲編碼矢量的第一圖像的點集和第二圖像的點集可能具有相同數(shù)目的點。第二數(shù)目的點可以是第二圖像的第二組旋轉(zhuǎn)度與尺度不變的特征點的位置。
[0039]如圖4所述，第二拓撲編碼矢量可以在搜索單元要將第一拓撲編碼矢量與第二拓撲編碼矢量進行匹配時，由裝置從第二圖像的第二數(shù)目的點中生成。這種拓撲編碼矢量也可以在搜索單元要將第一拓撲編碼矢量與第二拓撲編碼矢量進行匹配之前，由裝置從第二圖像的第二數(shù)目的點中生成。在一項實例實施例中，預匹配生成的拓撲編碼矢量可以存儲在圖像存儲庫109中，或者可以存儲在單獨的存儲單元中。
[0040]對于搜索單元119來判定兩個拓撲編碼矢量之間的匹配而言，當?shù)谝粓D像的第一拓撲編碼矢量與第二圖像的第二拓撲編碼矢量之間的距離小于閾值時，搜索單元119可以判定已發(fā)現(xiàn)匹配。例如，閾值可以從含有第二圖像的圖像存儲庫109中生成。由匹配單元執(zhí)行的搜索和匹配方法可以用于視覺搜索中，以將第一圖像與存儲在圖像存儲庫中的第二圖像進行匹配。
[0041]通過前述實施例的描述，本發(fā)明可以僅僅使用硬件來實施，或者可以使用軟件和必要的通用硬件平臺來實施。圖5描繪了根據(jù)本發(fā)明的一項實施例的單元或控制器500的一個實例。單元500可以結(jié)合本發(fā)明而使用，并且可以執(zhí)行本發(fā)明中所描述的功能。在相同的實施例或替代實施例中，控制器500可以存在于一或多個UE、eNB和服務器中，成為其部件，或者可以由一或多個UE、eNB和服務器使用。
[0042]單元500可以含有處理器502，其通過執(zhí)行定義控制器500的總體操作的計算機程序指令來控制此類操作。處理器502可以包括一或多個中央處理單元，只讀存儲器(ROM)裝置和/或隨機存取存儲器(RAM)裝置。處理器502可以是ASIC、通用處理器、數(shù)字信號處理器、處理器的組合、具有專用電路的處理器、用作處理器的專用電路，以及上述項的組合。
[0043]計算機程序指令可以存儲在存儲裝置504 (例如，磁盤、數(shù)據(jù)庫等)中，并且在需要執(zhí)行計算機程序指令時載入到存儲器506中。因此，用于執(zhí)行本文中所述的預編碼、計劃、發(fā)射和接收數(shù)據(jù)等的方法步驟的應用可以由存儲在存儲器506或存儲裝置504中的計算機程序指令定義，并且由執(zhí)行這些計算機程序指令的處理器502控制。
[0044]在替代實施例中，硬連線電路或集成電路可以用來代替用于實施本發(fā)明的過程的軟件指令，或與所述軟件指令結(jié)合使用。因此，本發(fā)明的實施例并不限制于硬件、固件或軟件的任何特定組合。存儲器506可以存儲用于控制器500的軟件，該軟件可以適于執(zhí)行軟件程序，且由此根據(jù)本發(fā)明，且尤其根據(jù)上文詳細描述的方法進行操作。然而，如本文中所描述的本發(fā)明可以使用各種編程技術(shù)以及通用硬件子系統(tǒng)或?qū)Ｓ每刂破鞫凑蘸芏嗖煌绞絹韺嵤?br> [0045]單元500還可以包括用于經(jīng)由網(wǎng)絡而與其他裝置通信的一或多個網(wǎng)絡接口 508。在網(wǎng)絡的無線部分中，網(wǎng)絡接口可以包括天線及相關(guān)處理。在網(wǎng)絡的有線部分，網(wǎng)絡接口可以包括將該單元連接到其他單元的到電纜的連接。在每一種情況中，所述網(wǎng)絡接口都可以被視作用于接入物理通信部分(例如天線)的電路。
[0046]單元500也可以包括能夠?qū)崿F(xiàn)用戶與控制器500的交互的輸入/輸出裝置510(例如，顯示器、鍵盤、鼠標、揚聲器、按鈕等)。這些用戶I/o裝置是可選的，并且如果單元500僅僅由網(wǎng)絡接口接入，則不需要這些裝置。
[0047]單元500的一項實施方案也可以含有其他部件，并且出于說明性目的，圖5的控制器為此類控制器的一些部件的高層次表示。
[0048]本發(fā)明的各項實施例提供了許多新穎的有利特征。例如，一項實施例提供一種新穎的視覺特征描述壓縮方案，該方案可以在非常低的位速率下獲得非常高的準確度。另一項實施例提供一種位速率和準確度可擴展的壓縮方案。本發(fā)明的各項實施例可以用于多種產(chǎn)品、過程和服務中。這些實施方案的一些實例包括基于云的媒體處理、下一代⑶N產(chǎn)品、CDN方法及操作。需要各項實施例，這是因為它們可以在客戶端提供實時的、低計算/通信成本的體驗質(zhì)量(Q0E)估計。例如，可以獲得在計算和通信資源中具有較輕重量的視頻簽名(video signature)以及最小成本的魯棒QoE估計器。這在⑶N和無線多媒體市場中將會非常有用。
[0049]盡管詳細描述了各項實施例及其優(yōu)勢，但應理解，可以在不脫離由所附權(quán)利要求書界定的所述實施例的精神和范圍的前提下，在本文中做出各種改變、替代和更改。例如，上文所論述的許多特征和功能可以由軟件、硬件、固件或其組合來實施。
[0050]此外，本申請案的范圍不希望限于本說明書中所描述的過程、機器、制造、物質(zhì)成分、構(gòu)件、方法和步驟的特定實施例。如所屬領(lǐng)域的技術(shù)人員將從本發(fā)明的揭示內(nèi)容容易了解，可根據(jù)本發(fā)明利用執(zhí)行與本文中所描述的對應實施例大致相同的功能或?qū)崿F(xiàn)與本文中所描述的對應實施例大致相同的結(jié)果的目前存在或稍后將開發(fā)的過程、機器、制造、物質(zhì)成分、構(gòu)件、方法或步驟。因此，所附權(quán)利要求書既定在其范圍內(nèi)包括此類過程、機器、制造、物質(zhì)成分、構(gòu)件、方法或步驟。
【權(quán)利要求】
1.一種用于處理圖像的方法，所述方法包括: 基于第一數(shù)目的點的拓撲信息，從所述圖像的第一數(shù)目的點中生成所述圖像的第一數(shù)目維數(shù)的第一矢量，并且在生成所述圖像時，所述圖像的所述第一矢量的旋轉(zhuǎn)度與尺度不變。
2.根據(jù)權(quán)利要求1所述的方法，其中所述第一數(shù)目的點是所述圖像的一組旋轉(zhuǎn)度與尺度不變的特征點的位置。
3.根據(jù)權(quán)利要求1所述的方法，其中所述第一矢量是從所述圖像的所述第一數(shù)目的點中生成的成對距離矩陣的圖譜。
4.根據(jù)權(quán)利要求3所述的方法，其中所述圖譜作為圖的拉普拉斯矩陣L=S-W的本征值eigenvalue (L)進行計算，


其中S是具有項.
5.根據(jù)權(quán)利要求1所述的方法，其進一步包括: 通過壓縮方法對所述第一數(shù)目維數(shù)的所述第一矢量進行壓縮，以生成第二數(shù)目維數(shù)的第二矢量。
6.根據(jù)權(quán)利要求5所述的方法，其中所述壓縮方法是離散余弦變換(DCT)。
7.根據(jù)權(quán)利要求1所述的方法，其進一步包括: 當所述圖像的所述第一矢量與額外圖像的第二矢量之間的距離小于閾值時，對所述圖像和額外圖像進行匹配， 其中基于所述第二數(shù)目的點的拓撲信息，從所述額外圖像的第二數(shù)目的點中生成所述額外圖像的第二數(shù)目維數(shù)的所述第二矢量，并且在生成所述額外圖像時，所述額外圖像的所述第二矢量的旋轉(zhuǎn)度與尺度不變。
8.根據(jù)權(quán)利要求7所述的方法，其中所述閾值是從含有所述額外圖像的圖像存儲庫中生成的。
9.根據(jù)權(quán)利要求7所述的方法，其中所述第一數(shù)目等于所述第二數(shù)目。
10.根據(jù)權(quán)利要求7所述的方法，其中所述方法用于視覺搜索，以將所述圖像與存儲在圖像存儲庫中的所述額外圖像進行匹配。
11.一種用于處理圖像的設(shè)備，所述設(shè)備包括: 接收器，其用于接收所述圖像的第一數(shù)目的點； 拓撲編碼單元，其用于基于所述第一數(shù)目的點的拓撲信息，從所述圖像的所述第一數(shù)目的點中生成所述圖像的所述第一數(shù)目維數(shù)的第一矢量，并且在生成所述圖像時，所述圖像的所述第一矢量的旋轉(zhuǎn)度與尺度不變。
12.根據(jù)權(quán)利要求11所述的設(shè)備，其中所述第一數(shù)目的點是一組旋轉(zhuǎn)度與尺度不變的特征點的位置。
13.根據(jù)權(quán)利要求11所述的設(shè)備，其中所述第一矢量是從所述圖像的所述第一數(shù)目的點中生成的成對距離矩陣的圖譜。
14.根據(jù)權(quán)利要求13所述的設(shè)備，其中所述圖譜作為圖的拉普拉斯矩陣L=S-W的本征值eigenvalue (L)進行計算，


η 其中S是具有項的對角矩陣，


7=1 其中η是第一數(shù)目的點，并且 其中W是由M ‘定義的關(guān) 聯(lián)矩陣，I IXj-XkI I是所述第一數(shù)目的點中的第一點&與第二點Xk之間的距離。
15.根據(jù)權(quán)利要求11所述的設(shè)備，其進一步包括: 壓縮單元，其用于通過壓縮方法對第一數(shù)目維數(shù)的所述第一矢量進行壓縮，以生成第二數(shù)目維數(shù)的第二矢量。
16.根據(jù)權(quán)利要求15所述的設(shè)備，其中所述壓縮方法是離散余弦變換(DCT)壓縮。
17.根據(jù)權(quán)利要求11所述的設(shè)備，其中所述拓撲編碼單元位于無線系統(tǒng)的用戶設(shè)備或基站中。
18.一種用于處理圖像的設(shè)備，所述設(shè)備包括: 接收器，其用于接收基于第一圖像的第一數(shù)目的點的拓撲信息生成的第一拓撲編碼矢量，其中所述第一圖像的所述第一拓撲編碼矢量在生成所述第一圖像時，旋轉(zhuǎn)度與尺度不變；以及 搜索單元，其用于在所述第一拓撲編碼矢量與所述第二拓撲編碼矢量之間的距離小于閾值時，將所述第一圖像的所述第一拓撲編碼矢量與基于第二圖像的第二數(shù)目的點的拓撲信息生成的第二拓撲編碼矢量進行匹配，其中所述第二圖像的所述第二拓撲編碼矢量在生成所述第二圖像時，旋轉(zhuǎn)度與尺度不變，所述第二圖像存儲在圖像存儲庫中，并且所述閾值是由關(guān)于所述圖像存儲庫的信息確定的。
19.根據(jù)權(quán)利要求18所述的設(shè)備，其中: 所述第一數(shù)目的點可以是所述第一圖像的第一組旋轉(zhuǎn)度與尺度不變的特征點的位置； 所述第二數(shù)目的點是所述第二圖像的第二組旋轉(zhuǎn)度與尺度不變的特征點的位置；所述第一拓撲編碼矢量是從所述第一圖像的所述第一數(shù)目的點中生成的成對距離矩陣的圖譜；以及 所述第二拓撲編碼矢量是從所述第二圖像的所述第二數(shù)目的點中生成的成對距離矩陣的圖譜。
20.根據(jù)權(quán)利要求18所述的設(shè)備，其中: 所述第二拓撲編碼矢量是在所述搜索單元要將所述第一拓撲編碼矢量與所述第二拓撲編碼矢量進行匹配時，由裝置從所述第二圖像的所述第二數(shù)目的點中生成的，或者所述第二拓撲編碼矢量是在所述搜索單元要將所述第一拓撲編碼矢量與所述第二拓撲編碼矢量進行匹配之前，由裝置從所述第二圖像的所述第二數(shù)目的點中生成的。
【文檔編號】G06K9/62GK103649955SQ201280034809
【公開日】2014年3月19日 申請日期:2012年1月4日 優(yōu)先權(quán)日:2011年7月11日
【發(fā)明者】朱理, 辛欣, 阿切雷斯·凱特撒切雷斯 申請人:華為技術(shù)有限公司