專利名稱：顯示或檢索圖象中的目標的方法、裝置以及計算機可讀存儲載體的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及以檢索為目的的對象存儲在多媒體數(shù)據(jù)庫中的圖象這樣 的靜止圖象或視頻圖象中出現(xiàn)的目標的顯示，特別是涉及利用這種顯示對 目標進行檢索的方法和裝置。
背景技術(shù)：
在視頻庫的圖象應用中，希望有效地對出現(xiàn)于視頻圖象或靜止圖象中 的目標的輪廓及形狀或目標的一部分進行顯示和存儲。在用于進行形狀基 址的變址和檢索的公知方法中，采用曲率換算空間(CSS， Curvature Scale Space)顯示。關(guān)于CSS的詳細情況，可從論文"曲率義少^空間(二 J: 3 口"義卜"C效率的《形狀索引付^"("利用曲率換算空間的自動有效的 形狀變址")(英國machine vision會報P53 P62，埃丁堡，英國，1996 年)以及"借助采用曲率換算空間的形狀內(nèi)容的圖象數(shù)據(jù)庫的變址"(有 關(guān)智能數(shù)據(jù)庫的正E專家會報，倫敦，1996年)中獲得知。兩篇論文的 作者為Makhtarian, S.Abbasi及J.Kittler，其內(nèi)容引作本說明書的參考文獻。
在CSS顯示中，為了求出目標的輪廓而使用曲率函數(shù)并從輪廓上的 任意點開始顯示。提供進行將形狀平滑化的一系列變形， 一面展開輪廓形 狀， 一面研究曲率函數(shù)。具體地說，計算出與高斯篩選群巻積的曲率函數(shù) 的導數(shù)的零交叉。如作為曲率換算空間眾所周知的那樣，零交叉是坐標圖 上的基址。其中，x軸是將曲線標準化的弧長，y軸是展開參數(shù)，特別是 用于篩選的參數(shù)。在坐標圖上的基址形成顯示輪廓特征的環(huán)路。形成目標輪廓的各凸狀或凹狀部分對應于css圖象中的環(huán)路。在css圖象中，利
用最突出的環(huán)路的峰值的縱坐標作為輪廓的顯示。
為了進行與輸入的目標的形狀一致的、在數(shù)據(jù)庫存儲的圖象的目標的
檢索，計算輸入形狀的css顯示。利用匹配算法，通過各css圖象的峰
值的位置和高度，判斷輸入形狀與存儲形狀之間的類似度。
己知，根據(jù)上述最初的論文，采用兩個追加的參數(shù)(原始形狀的圓度 和離心率)，將具有顯著不同的圓度和離心率的參數(shù)的形狀從匹配處理中 除去。
作為上述顯示方式所存在的問題，可以列舉出其檢索精度往往較低， 特別是對于凹凸曲線來說，其檢索精度降低。尤其是這種顯示方式不能對 各種凸曲線進行區(qū)分。

發(fā)明內(nèi)容
本發(fā)明的一種形式為引入在"原型輪廓形狀"的形狀中所描述的輔助
方法。原型輪廓形狀的比較恰當?shù)亩x如下
1) 在輪廓中不存在凹凸(即在css圖象中不存在峰值)的場合，為
原始形狀。
2) 在進行過對于CSS圖象中的最高峰值的相同的平滑化之后的形狀
的輪廓。
通常，對于原型輪廓形狀只注意凸狀形狀。
例如，可如MK.HU的論文"根據(jù)矩量不變量的視覺圖象識別"(關(guān) 于情報理論的正EE處理(關(guān)于信息理論的IEEE處理)VoUT8， 179 181， 1962年)中所描述的那樣的領(lǐng)域，根據(jù)區(qū)域矩量對原型輪廓的形狀進行 描述。上述論文的內(nèi)容在本說明書中被引用為參考文獻?；蛘撸捎?CHo-Huak The的論文"關(guān)于用矩量法的圖象分析"(關(guān)于圖象分析及機 器，智能的IEEE處理，第10巻，N0.4， 1988年7月)所描述的傅立葉 描述符或者離心率，圓度等參數(shù)來描述原型輪廓的形狀。該論文的內(nèi)容在 本說明書中也被引用為參考文獻。在上述公知的方法中，離心率和圓度僅 用于原始形狀。在本發(fā)明中，對于曲線將不同的離心率和圓度用于"原型 形狀"。該原型形狀具有至少一個CSS峰值。另一個不同之處在于，利用公知的方法采用離心率和圓度，將某些一定形狀從類似度匹配中除去。 在本發(fā)明中，(除CSS峰值外)采用離心率與圓度推導出類似度測定值。
最后，相對矩量不變量、傅立葉描述符及澤爾尼克(Zemicke)矩量擴展 匹配處理所用的追加參數(shù)。
作為本發(fā)明的結(jié)果，可以改善檢索精度。
根據(jù)本發(fā)明的第l方面，靜止圖象或視頻圖象中目標的顯示方法，通過將 對應于所述靜止圖象或視頻圖象的信號進行處理，顯示出現(xiàn)于前述圖象中的目 標，其特征為，所述方法包括以下步驟
通過將目標的輪廓平滑化，推導出目標輪廓的曲率變換空間(CSS)的顯 示的步驟，
推導出反映原始曲線的已平滑化形式的形狀或大小的分布的至少一個追 加參數(shù)的步驟，
將前述CSS顯示與前述追加參數(shù)關(guān),來，以產(chǎn)生目標的形狀描述符的 的步驟，其中至少一個追加參數(shù)對應于前述輪廓的離心率。
根據(jù)本發(fā)明的第2方面，如第l方面所述的圖象中目標的顯示方法，其特 征為，追加參數(shù)與和CSS圖象的峰值對應的前述平滑化的輪廓相關(guān)。
根據(jù)本發(fā)明的第3方面，如第2方面所述的圖象中目標的顯示方法，其特 征為，追加參數(shù)和對應于前述CSS圖象的最高峰值的前述平滑化的輪廓相關(guān)。
根據(jù)本發(fā)明的第4方面，如第l方面所述的圖象中目標的顯示方法，其特 征為，至少一個追加參l^用區(qū)域基址顯示。
根據(jù)本發(fā)明的第5方面，如第4方面所述的圖象中的目標的顯示方法，其 特征為，追加參數(shù)為區(qū)域矩量的不變量。
根據(jù)本發(fā)明的第6方面，如第4方面所述的圖象中目標的顯示方法，其特 征為，追加參數(shù)以傅立葉描述符為基礎(chǔ)。
根據(jù)本發(fā)明的第7方面，如第4方面所述的圖象中目標的顯示方法，其特
征為，追加參數(shù)以由前述輪廓包圍的區(qū)域的澤爾尼克矩量為基礎(chǔ)。
根據(jù)本發(fā)明的第8方面，靜止圖象或視頻圖象中多個目標的顯示方法，通 過將對應于所述靜止圖象或視頻圖象的信號進行處理，對出現(xiàn)于前述圖象中的 多個目標進行顯示，其特征在于，所述方法包括以下步驟對于各目標的輪廓，判斷前述目標的輪廓的曲率是否存在顯著變化的步
驟，
如果所述目標的輪廓的曲率存在顯著變化，利用權(quán)利要求1至9任何一項 中所述的方法推導出形狀描述符的步驟，
如果所述目標的輪廓的曲率不存在顯著變化，推導出至少含有反映前述目 標的輪廓形狀的前述追加參數(shù)的形狀描述符的步驟。
根據(jù)本發(fā)明的第9方面，如第8方面所述的圖象中多個目標的顯示方法， 其特征為，表示曲率不顯著變化的目標的輪廓的追加參數(shù)，以前述輪廓的區(qū)域 矩量的不變量、前述輪廓的傅立葉描述符或前述輪廓的澤爾尼克矩量為基礎(chǔ)。
根據(jù)本發(fā)明的第10方面，用于推導圖象中的目標的顯示的控制裝置，該 控制裝置被編程，以執(zhí)行如第1方面所述的方法。
根據(jù)本發(fā)明的第ll方面，用于推導圖象中的目標的顯示的設(shè)備，包括如 第10方面所述的控制裝置以及用來存儲圖象和/或圖象顯示的存儲裝置。
根據(jù)本發(fā)明的第12方面，如第11方面所述的設(shè)備，其中所述的存儲裝置 是圖象數(shù)據(jù)庫和減描述符數(shù)據(jù)庫。
根據(jù)本發(fā)明的第13方面，如第11或12方面所述的設(shè)備，還包括顯g置。


圖l、是表示視頻數(shù)據(jù)庫系統(tǒng)的流程圖。 圖2、是表示某一目標的輪廓的圖示。 圖3、是表示圖的輪廓的顯示圖。
具體實施例方式
下面參照附圖對本發(fā)明的實施例進行說明。
圖1是根據(jù)本發(fā)明的實施例進行計算機處理的視頻數(shù)據(jù)庫系統(tǒng)的圖 示。在該系統(tǒng)中，包括計算機型的控制裝置2，顯示器型的顯示裝置4， 鼠標型的指點器6，以及描述符IO，其中，所述描述符10存儲有包含所 存儲的靜止圖象和視頻圖象的數(shù)據(jù)庫8及出現(xiàn)于存儲在圖象數(shù)據(jù)庫8中的 圖象內(nèi)的目標或目標的某一部分的描述符。
7表示出現(xiàn)于圖象數(shù)據(jù)庫中感興趣的各目標的形狀的描述符，由控制裝
置2推導出來，存儲在描述符數(shù)據(jù)庫10中。控制裝置2通過下面所述的
方法借助適當?shù)某绦蚩刂苿幼?，推導出描述符?br> 第一，對于預定的目標的輪廓，推導出該輪廓的CSS顯示。利用上 面所述的論文之一所描述的公知的方法，進行該CSS顯示。
更具體地說，該輪廓由甲={ (x (u) ， y (u) ， ue[O， 1]}表示(但 其中，u為歸一化的弧長參數(shù))。
該輪廓通過用ID高斯影響函數(shù)核g (u， p)進行巻積使之平滑化， 隨著p的變化研究展開曲線的曲率零交叉。零交叉用表示曲率的下述公式 來指定。
Xu(u,a)Yuu(u,CT)-Xuu(u,c7)Yu(u,cj)
K(U,C7)=-
(Xu(u,CT)2+Yu(u,(j)2)3/2
其中，X(U,CT)=X(U)*g(U,CT)， Y(U,CT)=y(U)*g(U,C7)
且， Xu(U,C7)=X(U)*gu(U,C7)， XuU(U,(J)=X(U)*guu(U,C7)
在上述公式中，*表示巻積，下標表示導數(shù)。 曲率零交叉隨著p的變化而變化，當p很大時，甲成為零交叉的凸狀曲線。
將零交叉點(u,l)在作為CSS圖象空間已知的曲線圖上繪圖。從而
生成表示原始輪廓的特征的曲線。指定表示該特征的曲線的峰值，提取對
應的縱坐標加以存儲。 一般地，上述結(jié)果給出n個坐標時(xl,yl)、
(x2,y2)、…(xn,yn)組其中，n為峰值數(shù)，xi是第i個的峰值弧長的位 置，yi是峰值高度)。由這些峰值的縱坐標構(gòu)成CSS顯示峰值。
除CSS顯示外，進而生成與形狀有關(guān)的參數(shù)的形狀描述符。在本實 施例中，追加參數(shù)為形狀的"原型區(qū)域"的離心率與圓度，在這種情況下， 這種形狀的"原型區(qū)域"為在最終的平滑化步驟之后，即，在等于最高的 峰值p的點處的輪廓。對于原型區(qū)域也可以選擇其它的p值。其結(jié)果是，在 形狀中，生成表示S字形的形狀描述符(EPR， CPR， PEAKS}(其中，EPR 表示原型區(qū)域的離心率，CPR表示原型區(qū)域的圓度，PEAKS表示CSS顯示)。
下面說明根據(jù)本發(fā)明的實施例的圖象中目標的檢索方法。 在本說明書中，在圖1所示的系統(tǒng)的描述符數(shù)據(jù)庫10中存儲按照上
述方法推導出來的形狀描述符。
用戶用指點器在顯示器上畫出目標的輪廓，開始進行檢索。接著，控
制裝置2用上述方法推導出表示輸入輪廓的形狀描述符。然后，控制裝置
利用存儲在數(shù)據(jù)庫中的各種形狀描述符進行匹配比較。
假定當將輸入輪廓形狀Sl與存儲的形狀S2比較時，Sl與S2它們各 自的描述符如下所示.-
Sl: (EPR1， CPR1， PEAKS1) S2: (EPR2， CPR2， PEAKS2)
其中，EPR表示原型區(qū)域的離心率，CPR表示原型區(qū)域的圓度， PEAKS表示CSS圖象中的峰值坐標的設(shè)定值(該設(shè)定值也可以是空的)。 以如下方式計算兩個形狀之間的類似度測定值。
M=a*abs((EPR2—EPR1 )/(EPR2+EPR1 ))+b*abs
((CPR2—CPR1 )/((CPR2+CPR 1》+SM(PEAKS 1 ,PEAKS2)
其中，a和b為兩個系數(shù)，SM為與兩組峰值[1]相關(guān)所定義的標準類 似度測定值，abs表示絕對值。SM采用上述論文中所述的公知的匹配算 法進行計算。下面簡單地說明一下這種匹配處理。
如果對兩個閉合的輪廓形狀，分別對圖象曲線屮i與模型曲線Tm以 及這些曲線的峰值分別給予設(shè)定值((xil,yil)， (xi2,yil)，…(xin,yin)〉及 ((xml,yml)， (xm2,ym2)，…(xmn,ymn》時，計算類似度測定值。類似度測 定值定義為圖象中的峰值和模型中峰值的匹配總價值。使總價值最小化的 匹配用定時程序進行計算。利用算法，從模型所得的峰值遞歸地與從圖象 所得到的峰值匹配，進行這種匹配的各個價值的計算?？蓪⒛Ｐ偷姆逯蹬c 唯一的圖象峰值匹配，也可以使圖象的峰值與唯一的模型峰值匹配。模型 以及/或者圖象峰值中也存在不能匹配的情況，對于各個不能匹配的峰值 存在追加補償價值。兩個峰值的水平距離不足0.2時，可將兩個峰值匹配。 匹配的價值為兩個匹配峰值間的直線長度。不匹配的峰值的價值為其高 度。更詳細地說，算法具有將節(jié)點制成對應于匹配峰值的樹形結(jié)構(gòu)進行擴 展的功能。
1、 制成由圖象(xik,yik)的最大值與模型(xir,yir)的最大值構(gòu)成的開始節(jié)點。
2、 對于圖象峰值的最大值的80%以內(nèi)的殘存的模型峰值制成追加開 始節(jié)點。
3、 將用1和2制成的各開始節(jié)點的價值初始化為連接該開始節(jié)點的 圖象峰值和模型峰值的y坐標之差的絕對值。
4、 對于開始節(jié)點，在該開始節(jié)點計算出定義為匹配的模型峰值與圖 象峰值X (水平)坐標之差的CSS移位參數(shù)a。移位參數(shù)對于各節(jié)點互不 相同。
5、 對于各開始節(jié)點，制成模型峰值的目錄及圖象峰值目錄。在該目 錄中，包含有關(guān)哪個峰值尚未匹配的信息。對于各開始節(jié)點，作為"已經(jīng) 匹配的"在該節(jié)點處對于已匹配的峰值加上標記，對于其它全部峰值加上 作為"尚未匹配的"標記。
6、 直到滿足下面的第8項之前，將最低價值的節(jié)點遞歸地擴大(從 用步驟1 6制成的節(jié)點開始，后續(xù)各節(jié)點的子節(jié)點)。為將節(jié)點擴大， 采用以下步驟。
7、 節(jié)點的擴大
在存在尚為匹配的至少一個圖象與一個模型峰值的情況下， 選擇未匹配的最低比例圖象曲線CSS的最大值(xip， yip)。應用(由 步驟4計算的)開始節(jié)點移位參數(shù)將選擇的最大值映射為模型的CSS圖 象，所選擇的峰值具有坐標(xip-a， yip)。決定未匹配的最近的模型曲 線峰值(xms，yms)。在兩個峰值間的水平距離不足0.2(gplxip-a-xms |<0.2) 時，使兩個峰值匹配，將兩個峰值間的直線的長度定義為匹配價值。將匹 配價值加到該決定的總價值上。通過在已匹配的峰值上加上"已匹配的" 的標記，從各自的目錄中將已匹配的峰值除去。在兩個峰值間的水平距離 大于0.2的場合，圖象峰值(xip， yip)不能匹配。這時，將圖象峰值的 高度yip加在這種情況下的總價值上，通過使在該峰值上加上"己匹配的" 標記，從圖象峰值目錄中僅將峰值(xip， yip)除去。在不符合上述條件(僅存在不匹配的圖象峰值或僅存在不匹配的模型 峰值)的情況下，存儲不匹配分狀態(tài)原封不動地擱置。
作為未匹配的圖象峰值或模型峰值的最高的高度定義的匹配總價值 從目錄中除去。
8、在第7項中將節(jié)點擴大后，當圖象目錄和模型目錄兩者不存在未
匹配峰值的場合，匹配處理完畢。該節(jié)點的價值為圖象和模型曲線間的類
似度測定值。在存在峰值的場合，返回到低7項擴大最低價值的節(jié)點。 將圖象曲線峰值與模型曲線峰值交換，反復進行上述步驟。最后的匹
配值為兩個峰值中的較低的值。
對于數(shù)據(jù)庫的各模型反復上述步驟。
將作為由匹配比較所得到的結(jié)果所產(chǎn)生的類似度測定值進行分類，然 后，將具有對應于表示最接近的匹配類似度測定值的描述符的目標(即在 本發(fā)明中最低的類似度測定值)相對于用戶在顯示裝置上顯示。作為顯示 對象的目標數(shù)可由用戶預先設(shè)定或選擇。
在代替的實施例中，可采用各種參數(shù)對"原型區(qū)域"的形狀進行描述。 例如，可以使用曲線的三個傅立葉系數(shù)。類似度測定值可按以下方式定義。
M=a*EUC (F1,F2) +SM (PEAKS 1,PEAKS2)
其中EUC是表示由模型和圖象的形狀的三個主要傅立葉系數(shù)構(gòu)成的 矢量Fl與F2之間的歐幾里德距離，SM是表示CSS峰值的類似度測定值， 用基本上和上面所述的相同方法進行計算。
根據(jù)本發(fā)明的系統(tǒng)例如可設(shè)置在圖象庫中?；蛘邤?shù)據(jù)庫，通過互聯(lián)網(wǎng) 等網(wǎng)絡(luò)由電話線等暫時的鏈路與控制裝置連接，由系統(tǒng)的控制裝置遠距離 的配置。例如，圖象數(shù)據(jù)庫及描述符數(shù)據(jù)庫可設(shè)置在永久存儲裝置或ROM 及DVD等攜帶式用的存儲載體中。
上面所描述的系統(tǒng)的結(jié)構(gòu)部件可用軟件或硬件形式設(shè)置。上面利用計 算機系統(tǒng)的形式對本發(fā)明進行了說明，但本發(fā)明也可用專用芯片等利用其 它形式加以實施。
上面給出了對目標的二維形狀的表示方法及表示計算表示兩個形狀 之間的類似度的值的計算方法的特定例子，但可以采用同樣的任意的合適 的方法。例如，可將本發(fā)明用于為進行確認而進行目標圖象的匹配或者迸行篩
選o
權(quán)利要求
1.一種表示出現(xiàn)在圖像或者多個圖像的序列中的目標的方法，通過處理對應于所述圖像或多個圖像的信號實現(xiàn)，所述方法包括通過將所述目標的輪廓平滑化，推導出所述目標輪廓的曲率換算空間(CSS)的表示，推導出表示原始目標輪廓的已平滑化形式的形狀或質(zhì)量的分布的追加參數(shù)，所述原始目標輪廓的已平滑化形式對應于所述CSS圖像的峰值，以及將所述CSS表示與所述追加參數(shù)關(guān)聯(lián)起來以形成所述目標的形狀描述符。
2. 如權(quán)利要求1所述的方法，其中所述原始目標輪廓的已平滑化形式對應于所述 css圖1象中的最高J^值。
3. —種表示出現(xiàn)在圖像或多個圖像的序列中的多個目標的方法，通過處理對應于 所述圖像或多個圖像的信號實現(xiàn)，所述方法包括，對于每個目標輪廓，確定在所述 CSS圖像中是否存在至少一個峰值，以及，如果在所述CSS圖像中存在至少一個峰 值，則使用如權(quán)利要求1的任何一個所述的方法推導形狀描述符，以及，如果在所述 css圖像中不存在峰值，則推導形狀描述符，其至少包括代表所述原始目標輪廓的平滑化形式的形狀或質(zhì)量分布的追加參數(shù)。
4. 如權(quán)利要求1或3所述的方法，其中所述追加參數(shù)是偏心率或圓度。
5. —種在圖像或多個圖像的序列中搜索目標的方法，通過處理對應于圖像的信號 實現(xiàn)，所述方法包括以二維輪廓的形式輸入查詢，利用權(quán)利要求1所述方法推導所述 輪廓的描述符，以及使用匹配流程比較所述查詢描述符與每一個存儲的目標的描述符 以推導相似性量度，該匹配流程使用所述CSS值和所述追加參數(shù)，以及選擇和顯示 對應于包括目標的圖像的至少一個結(jié)果，其中所述比津交指示所述查詢與所述目標之間 的相似程度。
6. —種用于表示出現(xiàn)在圖像或者多個圖像的序列中的目標的設(shè)備，通過處理對 應于所述圖像或多個圖像的信號實現(xiàn)，包括用于通過將所述目標的輪廓平滑化，推導 所述目標輪廓的曲率換算空間(CSS)的表示的裝置，用于推導代表原始目標輪廓的 已平滑化形式的形狀或質(zhì)量的分布的追加參數(shù)的裝置，所述原始目標輪廓的已平滑化 形式對應于所述CSS圖像中的峰值，以及用于將所述CSS表示與所述追加參數(shù)關(guān)聯(lián) 起來以形成所述目標的形狀描述符的裝置。
7. —種用于表示出現(xiàn)在圖像或者多個圖像的序列中的目標的計算機系統(tǒng)，通過 處理對應于所述圖像或多個圖像的信號實現(xiàn)，包括用于通過將所述目標的輪廓平滑 化，推導所述目標輪廓的曲率換算空間(CSS)的表示的裝置，用于推導代表原始目標輪廓的已平滑化形式的形狀或質(zhì)量的分布的追加參數(shù)的裝置，所述原始目標輪廓的 已平滑化形式對應于所述CSS圖像中的峰值，以及用于將所述CSS表示與所述追加 參數(shù)關(guān)聯(lián)起來以形成所述目標的形狀描述符的裝置。
全文摘要
在通過將對應于靜止圖象或視頻圖象的信號進行處理、表示出現(xiàn)在圖象中的目標的方法中，包括通過將目標的輪廓平滑化，推導出目標的輪廓的曲率換算空間(CSS)顯示的步驟，推導出反映將原始曲線平滑化的文本形狀或大小的分布的至少一個追加參數(shù)的步驟，以及將該CSS顯示與作為目標的形狀描述符的該追加參數(shù)聯(lián)系起來的步驟。
文檔編號G06T7/60GK101609468SQ20091014587
公開日2009年12月23日 申請日期2000年7月12日 優(yōu)先權(quán)日1999年7月15日
發(fā)明者M·Z·波伯 申請人:三菱電機株式會社