專利名稱：用于索引和檢索多媒體數(shù)據(jù)的形狀匹配方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于索引和檢索多媒體數(shù)據(jù)的方法。更具體的說，本發(fā)明涉及根據(jù)從多媒體數(shù)據(jù)目標(biāo)提取的形狀特征信息，計算至少兩個多媒體信息集合之間的相似性索引。
背景技術(shù)：
大型圖像和視頻序列數(shù)據(jù)庫用于諸如娛樂、商業(yè)、藝術(shù)、工程和科學(xué)的領(lǐng)域中的許多多媒體應(yīng)用中，根據(jù)他們的內(nèi)容，檢索圖像或部分序列已成為一項重要操作。
形狀分析方法在用于目標(biāo)識別、匹配、注冊和分析的系統(tǒng)中扮演著重要的角色。然而，通過形狀檢索仍被認為是基于內(nèi)容搜索的最困難方面之一。
多媒體數(shù)據(jù)檢索的關(guān)鍵如下將被考慮的多媒體數(shù)據(jù)特征類型和如何表示這些特征以及如何在特征之間做出比較。
形狀分析研究中的一個普遍問題是如何判斷形狀描述/匹配方法的質(zhì)量。不是所有方法都適合所有種類的形狀和每類應(yīng)用。一般而言，有用的形狀分析方案應(yīng)滿足以下條件·對轉(zhuǎn)化的堅固性分析結(jié)果對于平移、旋轉(zhuǎn)和縮放以及在定義邊界序列中使用的開始點必須是不變的；需要這個條件是因為通過定義，這些轉(zhuǎn)換不改變目標(biāo)的形狀。
·特征提取有效性應(yīng)該有效計算特征矢量(描述符)，·特征匹配有效性因為一般在線執(zhí)行匹配，距離尺度必須需要非常小的計算代價，·對變形的堅固性分析結(jié)果對空間噪音必須是堅固的，空間噪音由分段處理引起或因為微小形狀改變，·符合人的判斷形狀相似性/相異性檢測必須盡可能符合人的判斷。
表示形狀的已知方法包括MPEG-7采用的描述符；澤尼克(Zernike)動量[A.Khotanzan和Y.H.Hong.澤尼克動量的固定圖像識別(Invariant image recognition by zernike moments)IEEE TransPAMI，12489-497，1990]和CSS[Farzin Mokhtarian，Sadegh Abbasi和Josef Kittler通過曲率尺度空間的穩(wěn)固和有效形狀索引(Robust andEfficient Shape Indexing through Curvature Scale Space)，英國機器視野會議，1996]。對于澤尼克動量形狀描述符，定義關(guān)于多種形狀的澤尼克基函數(shù)，以勘察一幅圖像內(nèi)的目標(biāo)形狀。然后，將固定尺寸的圖像投影到基函數(shù)之上，并將產(chǎn)生的結(jié)果用作形狀描述符。對于曲率尺度空間描述符，提取模型圖像的輪廓，并以尺度空間表示沿著輪廓曲率點的變化。然后，將峰值的位置用z維向量表示。
Zernike動量和CSS描述符具有諸如極快特征匹配和簡潔表達的明顯優(yōu)勢。不幸的是，大多數(shù)簡潔形狀描述符(也就是Zernike動量)對形狀變形不堅固。其他的，如CSS堅固但是匹配這些描述符導(dǎo)致許多錯誤正數(shù)。CSS方法的檢索正確性經(jīng)常很差，特別對于曲線，曲線具有少數(shù)的凹狀或凸面。特別是，該表示不能區(qū)分各種凸曲線。簡潔描述符的另一個缺點是他們的提取經(jīng)常在計算上花費很大。
雖然這對產(chǎn)生數(shù)據(jù)庫不是問題(離線執(zhí)行特征提取)，然而這使使用他們用于快速在線比較二進制掩碼提供的兩個形狀變的困難(或甚至是不可能的)。
發(fā)明目的本發(fā)明的目的是提供計算上有效的形狀描述/匹配方法用于快速匹配二進制掩碼提供的兩個形狀。本發(fā)明的另一個目的在于該方法對形狀變形是堅固的，并且不會產(chǎn)生許多錯誤的正數(shù)返回。另一個目的是本發(fā)明的技術(shù)能在在線環(huán)境中實施。
發(fā)明概述相應(yīng)的，本發(fā)明提供一種改進的技術(shù)，用于實施兩個形狀的相異性檢測。根據(jù)優(yōu)選實施例，提供一種使用形狀信息比較至少兩個多媒體數(shù)據(jù)集合的方法以用于提供集合間相異性檢測，第一集合形成參考集，并相對于第一集合比較第二集合，該方法包括步驟
對每個多媒體數(shù)據(jù)集合提供一個輪廓點集合，將第一集合的輪廓點和第二集合的輪廓點相關(guān)用于定義相關(guān)輪廓點，計算所述相關(guān)輪廓點之間的距離，而其中使用所述相關(guān)輪廓點之間的距離用于確定所述多媒體數(shù)據(jù)集合之間的相異性檢測，因此提供集合間相似性程度的指示符。
最好通過搜索每個多媒體數(shù)據(jù)集合的邊界獲得每個多媒體數(shù)據(jù)集合的輪廓點集合。
輪廓點集合是向下取樣的，用于在每個集合中產(chǎn)生等數(shù)目的近似等距輪廓點。
在互相相關(guān)之前，輪廓點集合最好被平移以及比例尺寸標(biāo)準(zhǔn)化。
該方法還包括為每個輪廓點集合建立開始點的其他步驟。通過為每個集合定義所有輪廓點建立開始點，開始點與他們各個輪廓的計算的形心點的距離大于與他們各個形心的最遠輪廓點的用戶定義第一百分比P1。能讓用戶輸入第一百分比P1。
最好以連續(xù)形式建立開始點。一般將連續(xù)的開始點劃分為組，這些組包含小于輪廓點總數(shù)的用戶定義第二百分比P2。能讓用戶輸入第二百分比P2。
每個開始點組一般由離形心最遠的開始點表示。
在具有最多開始點或最大初始領(lǐng)域的輪廓點集合上，最好將參考開始點認為是最遠開始點，并且對于集合上將被比較的每個開始點，旋轉(zhuǎn)要被比較的集合以對齊它的開始點與參考開始點。
通過為每個輪廓點集合提供一個控制點，并相應(yīng)的沿著每個集合的輪廓順序移動控制點，相關(guān)輪廓點最好是互相相關(guān)的，并且其中使用控制點關(guān)于每個輪廓的移動互相關(guān)聯(lián)每個集合的輪廓點。
最好在每個集合對齊的開始點，為每個集合初始化控制點的移動。
在控制點圍繞輪廓移動的每個步驟，一般計算兩個控制點之間的距離，第一集合上控制點和第二集合上下一個輪廓點之間的距離，以及第二集合上控制點和第一集合上下一個輪廓點之間的距離，并且將具有最小的這些計算距離的輪廓點互相關(guān)聯(lián)。
一般指定輪廓點，直到控制點已沿所有的輪廓點移動。
通過完成每個集合的比例尺寸標(biāo)準(zhǔn)化周長檢測，確定最小的所述周長，并進一步確定相關(guān)輪廓點之間距離的平均和標(biāo)準(zhǔn)偏差，以確定相異性檢測。
一般以下等式提供相異性檢測D(A,B)=cCIRmin2·|D‾|·|V|]]>其中D(A，B)是集合A和集合B之間的相異性程度c表示用戶定義常數(shù)，其將相異性程度的值重新調(diào)整到適宜范圍的值，cirmin是最小周長|D|是相關(guān)輪廓點之間的平均距離，以及|V|是相關(guān)輪廓點之間距離的標(biāo)準(zhǔn)偏差。
在優(yōu)選實施例中，計算多個相異性檢測，每個相異性測量與正在比較的特定排列集合相關(guān)，并且其中提供集合間相等級別整體表示的最后相異性檢測作為所有計算的相異性檢測中最低的。
現(xiàn)在將參考以下附圖詳細描述本發(fā)明的這些和其他特征。


此后參考相應(yīng)附圖本發(fā)明的一些實施例，其中附圖1表示根據(jù)本發(fā)明的形狀分析算法的主要步驟；附圖2是根據(jù)本發(fā)明一方面實施的輪廓查找示例；附圖3表示在本發(fā)明的方法步驟中使用的8個領(lǐng)域；附圖4描述諸如那些在本發(fā)明中使用的輪廓查詢步驟；附圖5表示根據(jù)本發(fā)明如何選擇輪廓點；附圖6表示根據(jù)本發(fā)明計算輪廓動量使用的區(qū)域；附圖7給出使用MPEG-7測試圖像平移和尺寸標(biāo)準(zhǔn)化的一個示例；附圖8給出使用MPEG-7測試圖像旋轉(zhuǎn)補償?shù)囊粋€示例；附圖9給出使用MPEG-7測試圖像開始點提取的一個示例；附圖10給出通過本發(fā)明的簡單指定，指定兩個形狀的輪廓點的示例；
附圖11表示根據(jù)本發(fā)明輪廓點指定的取樣步驟。
具體實施例方式
根據(jù)本發(fā)明，提供一種使用形狀信息比較至少兩個多媒體數(shù)據(jù)集合用于提供相異性程度的方法。在本發(fā)明中，將如何表示特征認為是形狀描述而特征比較被認為是形狀匹配。相異性程度或檢測提供第一集合和參照第一集合測試的第二集合之間相似性的指示符。一般以二進制圖像或輪廓的形式提供多媒體數(shù)據(jù)集合。一般以軟件序列實施本發(fā)明的方法，軟件序列以2個主要步驟操作特征提取1和特征匹配2。附圖1表示根據(jù)本發(fā)明用于提供該階段的流程序列。
在第一階段，搜索來自輸入二進制圖像的形狀邊界。提取的輪廓被平移和比例尺寸標(biāo)準(zhǔn)化并且估計對兩個形狀最可能的開始點。
在第二階段，使用在第一階段中提取的特征計算相異性檢測。將來自兩個形狀的開始點指定為對。在為給出的開始點對評價相異性檢測之前，估計這些點之間的旋轉(zhuǎn)并旋轉(zhuǎn)形狀之一。為每對開始點計算兩個形狀之間的相異性。最低的整體相異性被認為是兩個形狀之間的相異性程度檢測。
序列流程可以進一步分割為如下所示的形成連續(xù)操作的一系列單個步驟。輪廓查詢(步驟100)在輪廓查詢步驟，提取邊界像素的有序序列。為提取該集合，將諸如輪廓查詢的技術(shù)(本領(lǐng)域技術(shù)人員也將其稱為界限跟蹤或邊界跟蹤)應(yīng)用于輸入二進制圖像。這種查詢算法的應(yīng)用忽視在形狀中出現(xiàn)的“洞”。例如，參考圖2，如果查詢?nèi)纭癆”3的形狀，算法查詢的輪廓將類似于“A”4的外部(灰色)像素。
為了解釋查詢算法，首先需要定義像素的8個領(lǐng)域[T.Pavlidis，圖形和圖像的處理算法(Algorithms for Graphics and Image Processing)，計算機科學(xué)出版社，Rockville，Maryland，1982]概念。如附圖3所示，像素c6的8領(lǐng)域5是8像素集合，稱為像素c1、c2、c3、c4、c5、c6、c7和c8，他們與該像素共享頂點或邊。
查詢算法如表4所示操作給出數(shù)字形狀(在黑色像素背景上的白色像素組)，定位白色像素并將其稱為開始輪廓像素6?？梢砸栽S多形式執(zhí)行定位開始像素。使用以順時針方向查詢輪廓的假設(shè)，開始像素必須滿足左相鄰像素不是白色的限制?，F(xiàn)在，存儲它的坐標(biāo)并將開始像素設(shè)置為當(dāng)前輪廓像素。
從當(dāng)前輪廓像素，在它的領(lǐng)域中執(zhí)行搜索用于查找下一個輪廓像素。為了執(zhí)行該搜索，當(dāng)前方向8非常重要?？梢詫⑺x為連接前一輪廓像素和當(dāng)前輪廓像素的線。使用當(dāng)前方向確定從當(dāng)前像素領(lǐng)域中哪個像素開始搜索下一個輪廓像素。注意在當(dāng)前像素領(lǐng)域搜索中當(dāng)前方向不會改變。只有當(dāng)下一個輪廓像素成為當(dāng)前輪廓像素時，才會改變(在輪廓中向前一個步驟)。當(dāng)查詢開始，當(dāng)前像素也是開始像素。在該情況中，將當(dāng)前方向定義為連接開始像素和其上像素7的方向。因為在選擇開始像素中進行的限制可以采用該方向。
如果當(dāng)前輪廓像素與以前輪廓像素只共享一個頂點(可以從當(dāng)前方向直接確定)，該搜索從與當(dāng)前方向的左邊成90度的像素9開始。在更差的情況中，必須檢查6個陰影像素10。在表示的示例中，搜索在第四像素11結(jié)束。
如果當(dāng)前輪廓像素和以前輪廓像素共享一條邊，搜索從像素12開始，像素12位于當(dāng)前方向左邊的45度。不是必須檢查當(dāng)前輪廓像素左邊的像素，因為當(dāng)搜索以前輪廓像素領(lǐng)域時已經(jīng)檢查過。一個示例如附圖4(d)所示。在更差的情況下，這次，必須檢查在當(dāng)前輪廓像素領(lǐng)域中7個陰影像素13。在示例中，搜索在第二像素14結(jié)束。
當(dāng)發(fā)現(xiàn)來自查詢輪廓的下一個白色像素，算法移動到該像素，使之成為當(dāng)前輪廓像素。存儲它的坐標(biāo)，更新當(dāng)前方向并且如上所示檢查它的領(lǐng)域。該進程繼續(xù)直到再次訪問該開始像素。
可以簡單而有效的實施提出的查詢算法?？梢允褂孟禂?shù)8操作或查找(LOOK-UP)表用于確定應(yīng)該檢查當(dāng)前像素領(lǐng)域中哪一個像素，以及應(yīng)以什么順序檢查?？梢岳斫獾氖?，上面描述的是優(yōu)選查詢算法，而可以在本發(fā)明的環(huán)境中使用所有合適的其他方法。在輪廓查詢中確定和存儲輪廓像素之間的距離是很方便的，因為在形狀分析算法的下一個階段必須知道整個輪廓的長度和它的分割段?？梢允褂迷贔reemancode or chain code(參見Freeman H.Computer processing ofLine-Drawing Images，Computing Surveys，第6卷，第一期，1974年3月)的文獻中已知的概念以有效的形式執(zhí)行它。
鏈代碼(chain code)根據(jù)連接像素鏈的線段方向描述邊界。描述可以根據(jù)4或8個連接性。使用圖3所示的數(shù)字方案編碼每段的方向。因此，在輪廓查詢之后將不僅存儲輪廓像素坐標(biāo)的矢量，而且存儲像素間方向矢量。
該技術(shù)使用提取的輪廓，將標(biāo)準(zhǔn)化步驟應(yīng)用于每幅要被比較的兩幅圖像(步驟105)。該標(biāo)準(zhǔn)化步驟一般包括兩個子步驟首先向下取樣提取的輪廓，并然后互相參照平移和標(biāo)準(zhǔn)化向下取樣的輪廓。
輪廓向下取樣(步驟105b)從以上階段，可以理解現(xiàn)在每個數(shù)據(jù)集合被提供為或表示為輪廓像素的有序序列(x，y)，并且鏈代碼也是可獲得的。本階段的目的是從輪廓像素集合提取輪廓點矢量，輪廓像素沿著曲線被平等分布。
需要該階段是因為在本發(fā)明的形狀分析方案中使用的相似性程度檢測是根據(jù)沿著形狀曲線相應(yīng)形狀控制點之間的距離。由此引起，需要對兩個比較的形狀近似相等數(shù)目的輪廓點(參見附圖1)。明顯的是，因為尺寸改變，形狀中輪廓像素的數(shù)目可以顯著的改變。另一個問題涉及如下事實相鄰輪廓像素之間垂直和水平線段都有單元長度，而對角線段貢獻 因為此事實，在輪廓的不同部分中輪廓像素的實質(zhì)數(shù)在旋轉(zhuǎn)后也改變。引入控制點的最后原因是算法的計算代價，算法的計算代價取決于表示輪廓的點數(shù)。從典型CIF序列(352*288像素)獲得的一些區(qū)域輪廓可以具有1000多像素。實驗表示，在大多數(shù)情況下，為了保留最大多數(shù)輪廓特征，100個點足以表示輪廓。
對于使用少量頂點或線段的近似輪廓曲線有許多優(yōu)選方法。普遍的方法是分割或合并輪廓線段直到獲得選擇的近似錯誤。在提出的向下取樣算法中，主要目的在于以以下方式提取輪廓點他們會沿著輪廓近似平均分布，也就是從整個輪廓像素集合，將選擇近似等距的像素子集。在輪廓像素序列的一次掃描中這能容易的執(zhí)行。
通過形狀的輪廓像素數(shù)確定形狀的輪廓點的最大數(shù)目。因為兩幅圖像必須具有相等數(shù)目的輪廓點，在具有較少輪廓像素數(shù)的形狀中的輪廓像素數(shù)定義兩個形狀的最大輪廓點數(shù)。如果在該數(shù)據(jù)庫中存儲形狀描述符，應(yīng)該對數(shù)據(jù)庫中的所有形狀修改輪廓點數(shù)。
根據(jù)本發(fā)明的技術(shù)，以非常簡單而有效的形式提供輪廓點的選擇。該思想是沿著輪廓移動為輪廓點選擇像素?？梢詮逆湸a有效計算沿著輪廓的像素位置。
從圖5(b)所示，只選擇對輪廓點的“理想”位置具有最近位置的像素。將選擇像素的坐標(biāo)拷貝到輪廓點矢量(一個到x，而另一個到y(tǒng)坐標(biāo))。
從這點看，形狀輪廓由輪廓點(頂點)的有序序列(x(s)，y(s))表示，其中s表示輪廓中的位置，并可以具有從0到N的整數(shù)值，其中N表示用于表示形狀的輪廓點的總數(shù)。
平移和比例標(biāo)準(zhǔn)化(步驟105C)很明顯，將區(qū)域從圖像中一個位置移到另一個位置以及/或改變圖像的尺寸不會影響形狀分析。因為形狀中心對平移、旋轉(zhuǎn)和縮放是不變的，本發(fā)明使用定位形狀形心作為解決平移問題方法的一部分。在表示的方法中，將目標(biāo)曲線的形心平移到坐標(biāo)(0，0)，這使目標(biāo)曲線平移是不變的?？梢酝ㄟ^標(biāo)準(zhǔn)化形狀曲線獲得比例不變(參見示例Dinggang Shen，Horace H.S.，Discriminative wavelet shape descriptors forrecognition of 2-D patterns，Pattern Recognition 32，151-156頁，1999)?？梢允褂萌缦伦硬糠种忻枋龅某Ｒ?guī)動量獲得平移和比例不變。
計算動量常規(guī)動量mpq的定義是mpq＝∫∫xpyqf(x，y)dxdy (1)對二進制圖像，上述等式可以以如下的離散形式表示mpq=ΣRxpyq---(2)]]>在表示的方案中，形狀標(biāo)準(zhǔn)化所需的所有低順序動量都從邊界輪廓點獲得。相比該方法在計算上面定義等式動量較快。對于計算來自邊界的動量，可以使用在“Herbert Freeman Computer processing ofLine-Drawing Images，Computing Surveys，第六卷，第一期，1974年3月”中所示的類似方法，用于從簡單鏈代碼中獲得形狀區(qū)域。這里，對于動量m01和m10擴展該方法。
參考圖6(a)，算法以沿著輪廓的順時針方向15從一個輪廓點移到另一個。計算動量作為從當(dāng)前和前面輪廓點產(chǎn)生的梯形和x(或y)軸的的合適動量和。(對于動量m01′，從當(dāng)前、前面和y軸產(chǎn)生梯形)。只關(guān)于m00′和m01′的該梯形17的示例如附圖6(b)所示。梯形的頂點是(x(c)，y(c))，(x(p)，y(p))，(x(p)，y(0))和(x(c)，0)，其中c和p分別表示當(dāng)前和前一輪廓點。
從等式2，可以容易的獲得低順序動量的公式，梯形(m00′，m10′，m01′)為它的頂點函數(shù)m00′=12[x(p)-x(c)]·[y(c)+y(p)]---(3)]]>m10′=14[x(p)-x(c)]·[x(c)+x(p)]·[y(c)+y(p)]---(4)]]>m01′=14[y(c)-y(p)]·[x(c)+x(p)]·[y(c)+y(p)]---(5)]]>注意m00′和m01′對于來自形狀上邊界的頂點(減少組分18)具有負值，而對來自下邊界的頂點(增加組分19)具有正值。類似的，m01′對于形狀的左邊具有負值，而對右邊有正值(圖中未表示)。
可以如下計算整個形狀的低順序動量，作為所有梯形動量的和mpq=Σ∀I∈Vmpqli---(6)]]>其中V表示形狀所有頂點(輪廓點)的集合。
計算形狀的所有必要動量花費與頂點數(shù)成正比的時間。因為等式3、4和5具有許多共同組分，可以以非常有效的方式實施他們。
標(biāo)準(zhǔn)化(Normalization)使用低順序動量，可以如下計算形狀中心坐標(biāo)
xc=m10m00,yc=m01m00---(7)]]>其中xc和yc是形狀形心的坐標(biāo)。
通過中心動量m00重新調(diào)整形狀頂點獲得比例不變。與期望尺寸相比，當(dāng)前目標(biāo)尺寸的比例因子是a=m00AREA---(8)]]>其中AREA是選擇的常數(shù)，其對于所有比較的形狀是相同的。
最后，根據(jù)以下轉(zhuǎn)變，通過改變頂點坐標(biāo)，可以獲得平移和比例標(biāo)準(zhǔn)化形狀x′(s)=x(s)-xca,y′(s)=y(s)-yca---(9)]]>形狀的平移和尺寸標(biāo)準(zhǔn)化示例如圖7所示。來自MPEG-7測試組的初始形狀如圖7(a)所示，而圖7(b)表示相同形狀的重新調(diào)整(縮小5倍)和平移版本。最后，附圖7(c)表示上述輪廓提取的頂點，而附圖7(d)表示在平移和比例標(biāo)準(zhǔn)化后的頂點。
對于其余的該描述，我們使序列(x(s)，y(s))表示平移和比例標(biāo)準(zhǔn)化輪廓。
開始點的提取(步驟110)可以理解，目標(biāo)區(qū)域旋轉(zhuǎn)或改變查詢區(qū)域邊界點不應(yīng)該影響形狀分析。對該問題的可能方法是為每對輪廓點評價相似性/相異性檢測。
在表示的方法中，從形狀選擇最可能開始點的集合以加速搜索。選擇集合主要取決于形狀并假設(shè)開始點的變形只會影響來自整個集合的一些開始點。選擇的開始點數(shù)目可以由兩個參數(shù)調(diào)節(jié)。在數(shù)據(jù)庫中對一個形狀可以存儲超過一個的開始點集合以允許用戶為最佳匹配選擇搜索的速度和正確性。
根據(jù)本發(fā)明的優(yōu)選實施例，使用選擇開始點的以下方案1.從形心尋找最遠輪廓點(從形心的距離dmax)2.定義邊界距離Td。將從形心相等或更遠的輪廓點標(biāo)記為可能開始點?？梢詫⑦吔缇嚯xTd表示為最大距離的部分
Td＝Pd·dmax(10)其中參數(shù)pd是范圍<0，1>中的實數(shù)。
3.對標(biāo)記輪廓點的每個連續(xù)組合，選擇一個對該輪廓的開始點。實驗表明，組中最遠輪廓點是個好選擇。為避免其中太多輪廓點將只由一個開始點表示的情況，引入標(biāo)記點Tn的最大數(shù)，其可以由一個開始點表示 其中N表示代表形狀的所有輪廓點數(shù)，而Pn表示范圍<0，1>內(nèi)的數(shù)。
如果組具有比Tn更多的點，將其劃分為有與Tn相等或更少點的更小組。然后每個組由一個開始點(離形心最遠的一個)表示。
對兩個形狀之間搜索最優(yōu)旋轉(zhuǎn)的強度可以用Pd和Pn區(qū)別。通過改變參數(shù)Pd和Pn以執(zhí)行更快，正?；蛎芗淖顑?yōu)旋轉(zhuǎn)排列是可能的。雖然在以后的步驟執(zhí)行搜索，搜索的強度取決于在該時期選擇多少開始點。因此它對于處理的整體有效性是關(guān)鍵的貢獻性因素。然而，在大多數(shù)情況下，通過選擇如Pd＝0.7和Pn=120]]>的值可以獲得好的結(jié)果。他們導(dǎo)致大約2到4個開始點用于延長的形狀以及大約20用于圓形形狀。提取開始點集合的一個示例如附圖9所示。
匹配(步驟120)在該時期中，執(zhí)行搜索在兩個形狀之間排列的最佳旋轉(zhuǎn)。使用提取的開始點集合縮小搜索范圍。對每個檢查的旋轉(zhuǎn)計算相似性/相異性檢測。在該搜索中獲得的最低相異性檢測被認為是兩個形狀之間最終相異性程度。在接下來的子部分中解釋對給出的開始點集合計算相異性檢測的詳細描述。
在當(dāng)前技術(shù)中，優(yōu)選搜索操作如下1.從兩個形狀產(chǎn)生開始點對的集合，對兩個形狀，評價相似性/相異性檢測。在當(dāng)前實施例中，以以下方式結(jié)合對(Spref，sp1)，(spref，sp2)，…(spref，spk)，其中spref是從選做參考的形狀最遠開始點，而K是從選做旋轉(zhuǎn)的形狀的開始點總數(shù)。一般來說，選擇具有較少開始點數(shù)的形狀為旋轉(zhuǎn)形狀，而具有更多開始點的形狀為參考形狀更好(該決定是面向應(yīng)用的)。如果兩個形狀都具有相同數(shù)目的開始點，將具有較小初始區(qū)域的形狀選作旋轉(zhuǎn)的，而具有較大區(qū)域的形狀選為參考形狀。
2.補償對每對開始點的旋轉(zhuǎn)(參見附圖8的示例)并評價相異性。選擇具有最低相異性檢測的對(使之為(spref，spx))。
3.在步驟2中，評價具有從spx領(lǐng)域的開始點的spref對相異性，搜索領(lǐng)域并計算各對(…(spref，spx-2)，(spref，spx-1)，(spref，spx+1)，(spref，spx+2)…)的相異性檢測。在兩個方向繼續(xù)搜索直到相異性值開始增加。
4.將從所有檢查的開始點對獲得的最低相異性檢測認為是形狀之間的最后相異性檢測。
如附圖8所示，可以彌補開始點之間的旋轉(zhuǎn)。可以將從兩個形狀的開始點之間的實質(zhì)旋轉(zhuǎn)估算為這些開始點和這些形狀的對齊形心之間的角度α。通過圍繞角度α旋轉(zhuǎn)形狀之一，補償旋轉(zhuǎn)。可以從以下公式計算對旋轉(zhuǎn)形狀的輪廓點的新坐標(biāo)x0(s)＝x(s)cosα-y(s)sinα (12)y0(s)＝x(s)sinα+y(s)cosα (13)相異性/相似性檢測表示的相似性/相異性尺度取決于兩個形狀輪廓點之間的距離。在計算兩個形狀之間相似性/相異性之前，必須首先解決來自兩個形狀的輪廓點之間的對應(yīng)問題。輪廓點的簡單指定取決于他們的索引(從開始點開始)，但是這對于形狀變形(特別是輪廓噪音)是不堅固的。這種簡單指定的示例如附圖10所示。附圖10(a)和(b)表示必須計算相異性程度的形狀。兩個形狀是相同的除了如圖10(b)所示的形狀頂部被分段噪音破壞。附圖10(c)表示簡單的輪廓點指定。從該示例，很明顯，上述輪廓點指定失敗。在本方法中，提出對該問題的部分最佳方案。它使用沿著形狀移動的兩個控制點。它是變形和噪音堅固的，而復(fù)雜度是O(N)。
想象兩個控制點CPA和CPB從對齊的開始點開始，正沿著輪廓A和B移動。他們分為N步沿著輪廓移動，并對每一步，獲得他們之間的距離。每步由2個階段組成。在第一階段，每個控制點以輪廓點序列向前移動一個位置。對于新位置，計算這些控制點的坐標(biāo)之間的歐幾里得距離|dc(i)|。在第二階段，計算在另一控制點和另一輪廓的下一個輪廓點(|dAB(i)和|dBA(i)|)之間的距離。如果其中之一小于|dc(i)|，合適的控制點向前移動一個位置以縮小CPA和CPB之間的距離。對于步驟i獲得距離|d(i)|，作為距離|dc(i)|、|dAB(i)|和|dBA(i)|的最小值。
以該方式，控制點盡可能緊密的沿著輪廓一起移動。他們在一步中經(jīng)常只移動一個位置，但是如果它產(chǎn)生了他們之間較小的距離，他們其中之一可以移動兩個位置。換句話說，在輪廓的某些部分，來自形狀A(yù)的控制點可以更快的移動，而對其他部分，來自形狀B的控制點可以移動的更快。在該情況下，更快意味著在輪廓點序列中每步2個位置。注意，以以下方式，跳過一些輪廓點。當(dāng)跳過一個輪廓點的步驟示例如附圖11(b)所示。距離|dAB(i)|比|dc(i)|短，所以形狀B中的控制點cpn再向前移動一步，而認為|dAB(i)|是對該步的距離。
附圖10(d)表示其中通過移動控制點指定附圖10(a)和10(b)所示形狀中的輪廓點的形式。通過降低表示點指定的線復(fù)雜性，改進(與附圖10(c)比較)是明顯的，特別是對形狀的部分{2}和{4}。
使用以該方式指定的輪廓點之間的距離計算兩個形狀之間的相似性/相異性。
當(dāng)同時沿著兩個輪廓移動，來自兩個形狀的輪廓點之間的檢測距離應(yīng)是相對小的。而且，他們不應(yīng)該沿著曲線改變。如果形狀相似，這些距離的標(biāo)準(zhǔn)偏差應(yīng)很小并嚴(yán)重取決于兩個形狀之間的相異性程度。提出的度量利用該事實。它根據(jù)以下兩點指定的輪廓點之間的幾何距離以及他們沿著兩個輪廓的變化。
輪廓之間的平均距離可以由以下等式計算|D‾|=1N′Σi=0N′|di|---(14)]]>其中|di|表示在步驟i中指定的輪廓點的坐標(biāo)之間的歐幾里得距離。
距離的標(biāo)準(zhǔn)偏差可以由以下等式計算|V|=1N′Σi=0N′(|D‾|-|di|)2---(15)]]>可以將提出的相異性程度定義如下D(A,B)=ccirmin2·|D‾|·|V|]]>其中·c表示將相異性程度尺度重新調(diào)節(jié)為適宜的值的范圍的常數(shù)(校正算法)；·cirmin是兩個標(biāo)準(zhǔn)化形狀的周長的最小周長。
cirmin根據(jù)形狀的復(fù)雜性調(diào)整相異性度量，使之符合人們關(guān)于兩個形狀的相異性感知。本發(fā)明人已經(jīng)觀察到相對于兩個更復(fù)雜形狀之間的差別，人們甚至感知兩個簡單形狀之間的微小差別是顯著的，對于復(fù)雜的形狀，微小差別不是那么重要。假設(shè)，形狀是尺寸標(biāo)準(zhǔn)化的，那么可以使用周長作為形狀復(fù)雜性的檢測。
這種相異性程度檢測對非常相似的形狀給出接近0的值，而對于顯著不同的形狀給出1或大于1的值。根據(jù)以上，百分比相似性程度檢測可以定義如下 它給出從0％到100％的值(對于顯著不同的形狀是接近0％的值，而對于相似的形狀是接近100％的值)。
可以理解，已經(jīng)描述了提供兩個數(shù)據(jù)集合之間相異性檢測的方法。根據(jù)本發(fā)明該方法可以實時比較第一或參考數(shù)據(jù)集合和與第一集合比較的第二集合。當(dāng)用于為具有相似性狀的圖像檢索數(shù)據(jù)庫用于查詢圖像時，該技術(shù)的使用對于檢索性能是有利的。本方法優(yōu)越于在MPEG7核心實驗CE-形狀-1(MPEG7 Core Experiment CE-Shape-1)(部分B)中的所有現(xiàn)存形狀匹配算法。與現(xiàn)存的方法比較，提出的形狀分析技術(shù)對于直接從二進制圖像獲得的形狀之間的在線相似性計算是非?？斓?。
通過根據(jù)本發(fā)明實施技術(shù)，可能有效的開發(fā)需要大量比較二進制形狀的圖像之間的應(yīng)用。一個示例是先進的圖像數(shù)據(jù)庫。當(dāng)確定圖像之間的相似性時，可以使用諸如顏色和紋理的特征數(shù)據(jù)。然而，另一重要的特征是出現(xiàn)于情景中的目標(biāo)形狀。因此，當(dāng)索引大的圖像檔案用于瀏覽、搜索和檢索時，該方法是一個重要工具。而且，因為它的有效性，它也可以成功應(yīng)用于視頻夾并在從視頻檔案基于形狀的檢索中找到用途。當(dāng)前視頻管理工具的生產(chǎn)者一般只根據(jù)視頻的臨時分段和提取的關(guān)鍵幀使用特征。然而，下一代產(chǎn)生這些系統(tǒng)將需要更復(fù)雜的特征，而提出的方法對此是完美的選擇。已使用類似技術(shù)的另一示例應(yīng)用是商標(biāo)標(biāo)志數(shù)據(jù)庫。當(dāng)指定一個新商標(biāo)或標(biāo)志時，可以使用它的形狀特征用于確定它是否類似于現(xiàn)有的商標(biāo)或標(biāo)志。使用諸如本發(fā)明提供的技術(shù)能檢測或計算相異性值以便實際比較。
可以理解的是，已經(jīng)參考優(yōu)選實施例描述本發(fā)明，而上述的步驟任何順序都是本發(fā)明技術(shù)的示例，并不是將應(yīng)用限制于任何一個順序步驟集合，除了在附加權(quán)利要求中認為是必需的。
權(quán)利要求
1.一種使用形狀信息比較至少兩個多媒體數(shù)據(jù)集合以提供集合之間的相異性檢測的方法，第一集合形成參考集，并相對于第一集合比較第二集合，該方法包括步驟；a)為每個多媒體數(shù)據(jù)集合提供輪廓點集合；b)將第一集合的輪廓點和第二集合的輪廓點相關(guān)以定義相關(guān)輪廓點；c)計算所述相關(guān)輪廓點之間的距離，并且其中使用所述相關(guān)輪廓點之間的距離以確定所述多媒體數(shù)據(jù)集之間的相異性檢測，從而提供集合間相似性程度的指示符。
2.如權(quán)利要求1所述的方法，其中通過搜索每個多媒體數(shù)據(jù)集合的邊界來獲得每個多媒體數(shù)據(jù)集合的輪廓點集合。
3.如權(quán)利要求1或2所述的方法，其中向下取樣輪廓點集合以在每個集合中產(chǎn)生相同數(shù)目的近似等距輪廓點。
4.如前述任一權(quán)利要求所述的方法，其中在互相相關(guān)之前對輪廓集合平移和比例尺寸標(biāo)準(zhǔn)化。
5.如前述任一權(quán)利要求所述的方法，還包括為每個輪廓點集合建立開始點的步驟，通過為每個集合定義所有輪廓點，建立開始點，每組輪廓點與他們各自輪廓的計算的形心點距離大于用戶定義的離他們各自輪廓的最遠輪廓點的第一百分比P1。
6.如權(quán)利要求5所述的方法，其中方法包括能讓用戶屬于第一百分比P1的步驟。
7.如權(quán)利要求4或5所述的方法，其中以連續(xù)的形式建立開始點。
8.如權(quán)利要求7所述的方法，其中將連續(xù)的開始點劃分為組，所述組包括小于用戶定義的輪廓點總數(shù)的第二百分比P2。
9.如權(quán)利要求8所述的方法，其中該方法包括能讓用戶輸入第二百分比P2的步驟。
10.如權(quán)利要求8或9所述的方法，其中每個開始點的各組用離所述形心最遠的開始點表示。
11.如任何權(quán)利要求5-10所述的方法，其中參考開始點被認為是具有最多開始點或最大初始區(qū)域的輪廓點集合上的最遠開始點，并且對于將被比較的集合上的每個開始點，旋轉(zhuǎn)要被比較的集合以將它的開始點和參考開始點對齊。
12.如前述任一權(quán)利要求所述的方法，其中通過為每個輪廓點集合提供控制點，并隨后沿著每個集合的輪廓順序移動控制點，以相關(guān)輪廓點相關(guān)，并且其中使用關(guān)于輪廓的控制點的移動相互相關(guān)每個集合的輪廓點。
13.如權(quán)利要求12所述的方法，其中在每個集合對齊的開始點對每個集合初始化控制點的移動。
14.如權(quán)利要求12或13所述，其中在控制點關(guān)于輪廓移動的每個步驟，計算兩個控制點之間的距離、第一集合上的控制點與第二集合上的下一個輪廓點之間的距離，以及第二集合上控制點和第一集合上的下一個輪廓點之間的距離，并且將具有這些計算的距離最小的輪廓點互相關(guān)聯(lián)。
15.如前述任一權(quán)利要求12-14所述的方法，其中指定輪廓點直到控制點已移遍所有輪廓點。
16.如前述任一權(quán)利要求所述的方法，其中通過進行每個集合的比例尺寸標(biāo)準(zhǔn)化的周長測試，確定最小所述周長，并進一步確定相關(guān)輪廓點之間的距離平均和標(biāo)準(zhǔn)偏差，以確定相異性檢測。
17.如權(quán)利要求16所述的方法，其中以下等式提供相異性檢測D(A,B)=ccirmin2·|D‾|·|V|]]>其中·D(A，B)是集合A和集合B之間的相異性程度·c表示用戶定義常數(shù)，其將相異性程度的值重新調(diào)節(jié)為適宜的值的范圍，·cirmin是最小周長·|D|是相關(guān)輪廓點之間的平均距離，以及·|V|是相關(guān)輪廓點之間距離的標(biāo)準(zhǔn)偏差
18.如前述任一權(quán)利要求所述的方法，其中計算多個相異性檢測，每個相異性檢測與正在比較的集合的特定排列相關(guān)，并且其中提供集合間相等水平的整體指示的最后相異性檢測作為最低的計算相異性檢測。
19.一種實質(zhì)上如此后參考一幅或多幅相應(yīng)附圖所述的方法。
全文摘要
本發(fā)明涉及一種用于索引和檢索多媒體數(shù)據(jù)的方法。特別是本發(fā)明提供一種使用形狀信息比較至少兩個多媒體數(shù)據(jù)集合以提供集合間相異性檢測的方法。本發(fā)明的用處在于根據(jù)他們在圖像和視頻序列數(shù)據(jù)庫中的內(nèi)容檢索圖像或部分序列。
文檔編號G06F17/30GK1768339SQ200480008942
公開日2006年5月3日 申請日期2004年3月25日 優(yōu)先權(quán)日2003年4月3日
發(fā)明者T·阿達梅克, N·奧康納, S·馬洛, N·墨菲, A·斯米頓 申請人:都柏林城市大學(xué)