專利名稱：圖像分析的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像分析，更具體地說，涉及從二維圖像提取三維信息。
技術(shù)背景在反映3D信息的所有圖像中都在某種程度上存在透視圖。在三維場 景中的平行線在圖像中投射至消失點(vanishingpoint)。對消失點進(jìn)行定 位提供了一種根據(jù)2D圖像推斷3D結(jié)構(gòu)的強(qiáng)有力方式，尤其是在風(fēng)景畫 或人造環(huán)境下。Lutton等人[l]提取指向消失點的邊緣和集合線段。該方 法需要獲知攝像機(jī)參數(shù)并且必須處理大量的從特定圖像產(chǎn)生的非常短的 線段。McLean等人[2]對梯度取向進(jìn)行聚類以再次檢測圖像中的線結(jié)構(gòu)， 并且針對兩個灰度級圖像評估該方法。和其他作者一起，Shufelt [3]使用 高斯球表示法并且致力于利用限定范圍的目標(biāo)取向來解決圖像中的偽邊 緣的問題。Rother [4]將這種思想應(yīng)用至建筑環(huán)境并且通過使用攝像機(jī)參數(shù)來除 去錯誤檢測到的消失點。Cantoni等人[5]探索出兩種方法， 一種利用霍夫 變換(Hough transform)而另一種利用邊緣檢測。需要進(jìn)行連續(xù)分析來對 多個消失點進(jìn)行定位。Almansa等人[6]提出了一種不依賴于攝像機(jī)參數(shù) 的方法，該方法搜索包含最大數(shù)量的線段交點的圖像區(qū)域。圖像中的不 包含實際消失點的曲邊界可能造成錯誤警報。Rasmussen [7]使用伽柏小 波濾波器來獲取道路圖像中的主導(dǎo)性紋理取向。在我們下列較早的專利申請中描述了用于分析圖像或其他圖案的一 些技術(shù)，其中將圖案與同一圖案的其他部分進(jìn)行比較。歐洲專利申請00301262.2 (公開號1126411 )(申請人案號 A25904EP#);國際專利申請PCT/GB01/00504 (公開號WO 01/61648)(申請人案號A25904WO);國際專利申請PCT/GBOl/03802 (公幵號WO02/21446)(申請人案號 A26055WO);2001年10月16日提交的美國專利申請977,263/09 (公開號 20020081033)(申請人案號A25904US1);國際專利申請0PCT/GB2006/002001 (A30776)。并且本發(fā)明人發(fā)表了下面的論文Stentiford F W M ， "An estimator for visual attention through competitive novelty with application to image compression", Proc. Picture Coding Symposium 2001， Seoul, 25-27 April, pp 101 - 104， 2001。Stentiford F W M, "An evolutionary programming approach to the simulation of visual attention", Proc. Congress on Evolutionary Computation 2001， Seoul, pp 851 - 858， 27-30 May, 2001。在我們較早的國際專利申請W003/081523 (A30179)以及我們的日 期為2004年9月17日的英國專利申請0420727.0 (A30519)和日期為 2005年2月25日的英國專利申請0503944.1 (A30705)中描述了用于比 較圖案的方法和裝置。發(fā)明內(nèi)容本發(fā)明的多個方面在權(quán)利要求中進(jìn)行闡述。


現(xiàn)在參照附圖對本發(fā)明的一些實施方式進(jìn)行說明，在附圖中: 圖1是用于執(zhí)行本發(fā)明的方法的裝置的框圖； 圖2是例示本發(fā)明一個實施方式的操作的流程圖； 圖3是具有例示性像素選擇的圖；以及圖4到9描繪了一些測試圖像和所得結(jié)果。
具體實施方式
圖1示出了由通用計算機(jī)組成的裝置，該通用計算機(jī)被編程為執(zhí)行 根據(jù)本發(fā)明第一實施方式的圖像分析。該裝置具總線1，中央處理單元2、 可視顯示器3、鍵盤4、用于輸入圖像的掃描儀5 (或其他裝置，未示出)以及存儲器6連接至該總線1。在存儲器6中存儲有操作系統(tǒng)601、用于執(zhí)行圖像分析的程序602， 以及用于存儲圖像的存儲區(qū)603。將圖像存儲為二維陣列值，每一個值都 表示該陣列內(nèi)的圖片元素的亮度和/或顏色分量。圖像陣列由圖片元素&= (Xi，》)的陣列組成，其中，Xi和yj是該 圖像內(nèi)元素的水平和垂直位置。每一個元素都具有各自的值cc-(x (&)。 在單色圖像的情況下，這個值為標(biāo)量值，亮度cc，或者在彩色圖像的情況 下，將是包括一組顏色分量的矢量，如(采用r、 g、 b表示法)a= (ctn(Xg、 Otb)。圖2是說明方法應(yīng)用的流程圖。在步驟100中，將一組分?jǐn)?shù)H (i， j)設(shè)置成零，并且將計數(shù)器k設(shè)置成零。要針對圖像陣列的每一個元素 xo生成分?jǐn)?shù)?？梢园慈魏未涡蛱幚硭鼈儯鐖D所示，我們在步驟102 以將Xo設(shè)置成O， O開始。為方便起見，在本說明書中將其稱為根。本方法的第一任務(wù)是對圖像中的元素進(jìn)行隨機(jī)選擇。這可以形象化 為利用具有m個齒的不規(guī)則叉子刺入圖像。應(yīng)注意到，在整個說明書中， 提到隨機(jī)選擇還設(shè)想了通過偽隨機(jī)處理來進(jìn)行選擇的可能性。而且，提 到隨機(jī)選擇不僅設(shè)想了對任何值(在指定范圍內(nèi)的任何值)的選擇都是 等概率的隨機(jī)選擇的可能性，而且設(shè)想了根據(jù)非均勻概率分布來進(jìn)行選 擇的可能性。因而，在步驟104，受到所有元素位于圖像內(nèi)的約束，在圖像中選 擇隨機(jī)位置Xi處的m個元素的集合Sx。圖3 (a)示出了一個示例集合。應(yīng)注意到，該處理允許出現(xiàn)一對或更多對Xi = Xj，其中i^j，艮卩， Xj不被約束為不同的。實踐中，這是不可避免的，但如果希望，則也可以 通過對它進(jìn)行測試并且再選擇匹配對中的一個成員來消除這種情況。出于將變得清楚的理由，不希望選擇這樣一組元素該組元素中的 所有成員或許多成員位于相同顏色的區(qū)域中。因而，在步驟106，執(zhí)行測試，以檢查是否至少h個成員與該組中的所有其他成員相差閾值量以上。 即，對于至少h個不同的p值，滿足|aj (Xp) - aj (xq) l>￡j， q=l …m。針對任何p， 一個j值滿足上式(即，不是所有的顏色分量都需要失 配)即可。如果不滿足，則在步驟104重新選擇元素。下一階段(步驟108)是限定該圖像內(nèi)的m個元素Ui的第二集合Su， 該第二集合Su相對于根XQ的矢量位置與先前選擇的集合Sx的相對矢量位 置相比按因子a縮小。即，對所有的i， Ui = x0 + (x (Xi-Xo)。這可以形象 化(參見圖3 (b))為利用對Xi使用的同一叉子的收縮形式來刺入圖像。要確定所選擇元素Xi中的每一個是否與對應(yīng)元素Ui匹配。在步驟110 進(jìn)行匹配測試。在r、 g、 b的情況下，如果對于所有的i-l…m，都滿 足Dist[a (Xi) - a (u》〗<S，則出現(xiàn)匹配。其中，Dist是某一距離算子(例如，歐幾里德或城市街區(qū) (city-block))，或者，例如可以針對顏色分量單獨地對矢量分量設(shè)置閾 值對于所有1=1…m， |ar (Xi) -ar (Uj) |<&禾口 |ag (Xj) - ag (Ui) I < 5g禾口 |ab (Xi) -ab (Ui) |<5b其中，Sr、 5g以及5b是通常相等的某些較小閾值。如果出現(xiàn)匹配，則在步驟112，遞增分?jǐn)?shù)H (X())?？梢院唵蔚匕? (或其他固定值)遞增。一旦更新了分?jǐn)?shù)(或者在不存在匹配時)，則在步驟114遞增迭代計 數(shù)器k，并且在步驟116進(jìn)行測試，以察看其是否已經(jīng)達(dá)到最大迭代計數(shù) K;如果沒有，則處理返回至步驟104，以利用新的叉子形狀進(jìn)行進(jìn)一步 迭代。一旦已經(jīng)執(zhí)行了 K次測試，則在步驟118通過將xo指向新的根來處理新的像素，并且從步驟104起重復(fù)處理。如果已經(jīng)處理了所有元素， 則在步驟120識別這一點。這里，分?jǐn)?shù)矩陣H實際上包含表示針對每一 個根獲得的匹配數(shù)量的直方圖。向根收斂的圖案往往針對該位置生成大量的匹配，例如，圖3示出了與圖像匹配的m-5像素叉子x以及也與該圖像匹配的相對于根V按ot = 1/2縮放的其變換形式u。大量的這種匹配表示點V可能是消失點。因而，消失點在直方圖中呈現(xiàn)為峰值。盡管在場景中的平行線全部會聚至單個消失點，但處于不同角度(但彼此平行)的其他線將在不同消失點處會聚。假如這些線(在原始場景中)水平，則它們的消失點位于水平線上；由此，如果存在許多這種消失點，則水平線呈現(xiàn)為直方圖中的隆起線。因而，下一步，在步驟122，是檢測直方圖中的任何峰值的位置。 針對這種檢測的標(biāo)準(zhǔn)是具有最高分?jǐn)?shù)max-'/f(x)的圖像元素Xq的位置。另選的是，可以在利用高斯或其他類型的濾波器首次平滑直方圖之后定 位該峰值。可以通過從不同起點開始的梯度上升來定位多個峰值。如上所述，縮放因子(x是固定的。建議取值為1/2。根據(jù)圖片內(nèi)容可 以選擇其他值。 一般來說，接近一的值不能令人滿意，因為它們往往僅 僅因為叉子尺寸的變化不足以造成失配而導(dǎo)致大量匹配。非常小的值往 往導(dǎo)致更易受噪聲影響因而不可靠的結(jié)果。實際上，將a固定不是必要 的，盡管很自然必須使用相同值來對給定迭代k的特定叉子的m個齒中 的每一個進(jìn)行縮放。已經(jīng)嘗試了隨機(jī)改變選擇(在設(shè)定界限內(nèi)改變)，并 且發(fā)現(xiàn)了這樣是成功的這種方法在不能預(yù)測最優(yōu)值的情況下確實是優(yōu) 選的。還應(yīng)注意到，超過一的a的值是容許的，只是相當(dāng)于在Xj之前選擇 Ui，但較為不便實施，因為存在元素在縮放之后落在圖像之外的危險。應(yīng)注意到，所選擇元素中的一個位于根位置xo是沒有用的，因為這 種元素對于縮放是不變的，由此始終匹配。對Xi的隨機(jī)選擇將偶然造成 對根的選擇，但這在實踐中是不可避免的。如果希望，則可以對條件進(jìn) 行測試并且進(jìn)行重新選擇。以上描述還假定了圖像中的所有點都被選擇為根X()，并且具有針對它們生成的分?jǐn)?shù)。然而，對所有這種點都進(jìn)行處理并不是必要的可以 將分析限于關(guān)心的特定區(qū)域，或者可以針對子集進(jìn)行。而且，還可以關(guān) 于圖像之外的根位置進(jìn)行分析。例如， 一些圖像可以包含可以推導(dǎo)出消 失點的位置的結(jié)構(gòu)，盡管該消失點本身不在該圖像的范圍內(nèi)。然而，在 這種情況下，存在這樣的危險Ui有時可能落在圖像范圍之外(由(X的 較小值而放大的危險)。這例如可以通過以下方式來解決緊接在步驟110 之后，針對落在圖像之外的任何元素對Ui進(jìn)行測試，如果存在落在圖像 之外的元素，則返回至步驟104以對這些可惡的元素(甚至全部元素) 進(jìn)行新選擇。如上所述，對來自Corel數(shù)據(jù)庫的具有明顯透視結(jié)構(gòu)的許多圖像進(jìn)行 處理并且計算每一個像素處的透視圖的測度。在這些結(jié)果中，將每一個 叉子中的元素數(shù)量(m)設(shè)置為12，將比較數(shù)量(K)設(shè)置為100，而將 a設(shè)置為0.5。在圖像上表示標(biāo)記主要消失點的峰值的位置，并且將各分 數(shù)繪制為3D直方圖。在圖4中，道路、樹木以及天空的透視圖實際上全 部呈現(xiàn)為會聚在同一點。最高分?jǐn)?shù)的分布集中于該同一區(qū)域中的最大值。 在圖5中，透視圖的峰值因不對稱植被而稍微偏向入口的左側(cè)。輔峰值 按照每一側(cè)上的柵欄線。圖6中檢測到的消失點位于水平線上，但稍微 不對稱地將消失點拉至可以由道路表示的右側(cè)。高分像素隨著道路在圖7 中消失于左側(cè)而覆蓋該道路的鄰域。峰值考慮了樹木和天空以及道路及 其標(biāo)記。圖8中的透視分?jǐn)?shù)向水平線增加，但緊接山脈右側(cè)處上升至最 大。該最大值再一次反映天空、山脈以及道路的透視結(jié)構(gòu)。其他較低峰 值與由道路和路標(biāo)產(chǎn)生的透視圖對準(zhǔn)。最后，識別出圖9中的主消失點。這里產(chǎn)生的結(jié)果將消失點的位置限定至圖像的邊界之內(nèi)，但是，如 果匹配叉子像素Sx和Su本身全部位于圖像之內(nèi)，則本方法同樣可應(yīng)用于 檢測位于圖像之外的消失點。在這些情況下，a可以采用更接近一的值， 對于無窮遠(yuǎn)消失點來說，在極限情況下，a=l，匹配的方向足以獲得透 視信息。隨著根變得越來越遠(yuǎn)并且a變得更接近于一，在極限情況下，縮放 的效果是與^相比移動叉子Su的像素。由此，為了獲取在無窮遠(yuǎn)處的消失點的分?jǐn)?shù)，變換變?yōu)?uik = xik +其中，附加下標(biāo)k指特定迭代。在這種模式下，限制叉子尺寸是明 智的——或許限制為不超出圖像本身尺寸的一半?？梢噪S機(jī)選擇Aik的兩個分量——并且如果希望，則也可以對每一個k進(jìn)行重新選擇，并且必須選擇得使它們不會造成Ujk落在圖像之外。在對無窮遠(yuǎn)處的消失點進(jìn)行測試的這個特殊情況下，匹配叉子的移位Aa的 方向的分布中的峰值給出遠(yuǎn)處消失點的方向。然而，該方法不會導(dǎo)致針 對A的每一個方向的恒定數(shù)量的迭代，這樣，如果希望比較這樣獲取的 分?jǐn)?shù)H的值和通過縮放獲取的分?jǐn)?shù)值，則優(yōu)選的是，針對Aik的固定方向 執(zhí)行k次迭代，僅在連續(xù)迭代上重新選擇Aik的幅度，并且重復(fù)該處理以 針對角e的范圍提供一組分?jǐn)?shù)H (e)。這個方法超過其他技術(shù)的關(guān)鍵優(yōu)點包括不需要針對可以特征化透視 圖存在性的任何先驗特征(例如邊緣或與特定類型的濾波器的諧振)的 規(guī)范。即使圖像模糊并且不包含尖銳邊緣，本方法也仍然可以起作用。 另外，不需要攝像機(jī)參數(shù)或其校準(zhǔn)的知識，并且對任何透視結(jié)構(gòu)的為了 讓算法有效工作而在數(shù)據(jù)中必須存在的最小強(qiáng)度沒有限制。最后，不需 要人工干預(yù)來進(jìn)行初始化或者指導(dǎo)處理。己經(jīng)將相同的基本機(jī)制用于提取面部圖像中的反射式對稱，其中，按角e利用通過軸的反射取代透視變換(2) [io]。匹配叉子的e分布中 的峰值指出了圖像中出現(xiàn)的對稱軸的位置。已經(jīng)利用每像素ioo次叉子生成迭代而產(chǎn)生了這里報告的結(jié)果。盡 管計算步驟非常簡單，但存在大量計算步驟，并且消失點分析在運行C++的1.8GHz機(jī)器上大約花費IO秒鐘。在可以不需要獲取到最接近像素的 位置精度的情況下，可以通過僅對采樣像素進(jìn)行記分來在時序機(jī)上減少 計算。然而，由于每一個匹配都獨立于下一個匹配，所以可以并行執(zhí)行 對叉子的匹配，并且，在德州儀器DM642 DSP平臺上的相關(guān)實現(xiàn)表示 可以在視頻速度進(jìn)行處理。參考文獻(xiàn)1、 Lutton， E.， Maitre， H.， andLopez-krahe， J.， " Contribution to the determination of vanishing points using Hough transform", IEEE Trans, on Pattern Analysis and Machine Intelligence, vol. 16， no. 4， pp 430-438， 1994。2、 McLean, G.R， andKotturi， D.， "Vanishing point detection by line clustering", IEEE Trans. On Pattern Analysis and Machine Intelligence, vol. 17， no.11， pp 1090-1095， 1995。3 、 Shufelt ， J. A. ， "Performance evaluation and analysis of vanishing point detection techniques" ， IEEE Trans, nn Pattern Analysis and Machine Intelligence, vol. 21， no. 3， pp 282-288， 1999。4、 Rother， C.， "A new approach for vanishing point detection in architectural environments", 11thBritish Machine Vision Conference, Bristol, UK， September, 2000。5、 Cantoni， V.， Lombardi， L.， Porta, M.， and Sicard， N.， "Vanishing point detection: representation analysis and new approaches", 11thInt. Conf. on Image Analysis and Processing, Palermo, Italy, September, 2001。6、 Almansa， A.， and Desolneux， A.， "Vanishing point detection without any a priori information", IEEE Trans, on Pattern Analysis and Machine Intelligence, vol. 25， no. 4， pp 502-506， 2003。7、 Rasmussen， C.， "Texture-based vanishing point voting for road shape estimation", British Machine vision Conference， Kingston, UK， September, 2004。8、 Stentiford， F. W. M.， "Automation identification of regions of interest with application to the quantification of DNA damage in cells", Proc. SPIE， Vol.4662， pp 244-253， 2002。9、 Stentiford， F. W. M.， "An estimator for visual attention through competitive novelty with application to image compression", Picture Coding Symposium, Seoul, pp 101-104， 2001。10、 Stentiford, F. W. M.， "Attention based symmetry detection", Int.Conf. on Advances in Pattern Recognition, Bath， UK， August, 2005。11、 Multimedia Understanding through Semantics, Computation and Learning ， Network of Excellence. EC 6 Framework Programme. FP6-507752. http:〃www.myscle-noc.org/。
權(quán)利要求
1、一種對由各自具有值的元素(xi)的有序集合表示的圖像進(jìn)行分析的方法，所述方法包括針對多個根位置(x0)中的每一個重復(fù)執(zhí)行以下步驟(i)從所述有序集合中選擇第一多個元素(xi)；(ii)針對每一個所選擇元素(xi)，選擇第二元素(ui)，使得所選擇的第二元素相對于所述根位置的矢量位置與第一選擇的元素的位置相比縮放了因子(α)；(iii)確定所選擇的元素是否滿足需要所述多個第一元素中的每一個的值都與對應(yīng)的第二元素的值相似的匹配標(biāo)準(zhǔn)；以及(iv)在匹配的情況下，更新關(guān)于該根元素的相似性分?jǐn)?shù)(H)。
2、 根據(jù)權(quán)利要求1所述的方法，該方法還包括對所述相似性分?jǐn)?shù)(H) 進(jìn)行檢査以識別所述圖像的與所述相似性分?jǐn)?shù)的峰值對應(yīng)的一部分的步 驟。
3、 根據(jù)權(quán)利要求1或2所述的方法，其中，所有的根位置都是所述 圖像內(nèi)的元素的位置。
4、 根據(jù)權(quán)利要求1或2所述的方法，其中，所述多個根位置中的至 少一部分根位置是在所述圖像之外的位置。
5、 根據(jù)前述權(quán)利要求中的任一項所述的方法，其中，在選擇第一多 個元素的步驟中，將選擇限制為使得不多于設(shè)定數(shù)量的所選擇元素滿足 與其他元素的相似性的預(yù)定標(biāo)準(zhǔn)。
6、 根據(jù)前述權(quán)利要求中的任一項所述的方法，其中，所述縮放因子 (a)是固定的。
7、 根據(jù)權(quán)利要求1到6中的任一項所述的方法，其中，針對選擇第 二元素的每一個步驟，對所述縮放因子(a)進(jìn)行新選擇。
8、 根據(jù)前述權(quán)利要求中的任一項所述的方法，其中，所述縮放因子 (a)在0.3到0.8的范圍內(nèi)。
9、 根據(jù)前述權(quán)利要求中的任一項所述的方法，其中，所述圖像是彩色圖像，每一個值都包括亮度和/或顏色分量，并且，所述匹配標(biāo)準(zhǔn)是各 個第一元素的每一個分量與對應(yīng)的第二元素的對應(yīng)分量之間的差不超過 設(shè)定量。
10、 一種對由各自具有值的元素(Xi)的有序集合表示的圖像進(jìn)行分 析的方法，所述方法包括針對多個參考方向中的每一個重復(fù)執(zhí)行以下步驟(i) 從所述有序集合中選擇第一多個元素(Xi);(ii) 針對每一個所選擇元素(Xi)，選擇第二元素(Ui)，使得所選 擇的第二元素相對于根位置的矢量位置與第一選擇的元素的位置相比在 相應(yīng)的參考方向上移動了一移動量(△);(iii) 確定所選擇的元素是否滿足需要所述多個第一元素中的每一個的值都與對應(yīng)的第二元素的值相似的匹配標(biāo)準(zhǔn)；以及(iv) 在匹配的情況下，更新關(guān)于該參考方向的相似性分?jǐn)?shù)(H)。
全文摘要
本發(fā)明涉及圖像分析。對由各自具有值的元素(x_i)的有序集合表示的圖像進(jìn)行分析以檢測消失點。本方法包括針對多個根位置(x₀)中的每一個重復(fù)執(zhí)行以下步驟(i)從所述有序集合中選擇第一多個元素(x_i)；(ii)針對每個選擇的元素(x_i)，選擇第二元素(u_i)，使得所選擇的第二元素相對于所述根位置的矢量位置與第一選擇的元素的位置相比縮放了因子(α)；(iii)確定選擇的元素是否滿足需要所述多個第一元素中的每一個的值都與對應(yīng)的第二元素的值相似的匹配標(biāo)準(zhǔn)；以及(iv)在匹配的情況下，更新關(guān)于該根元素的相似性分?jǐn)?shù)(H)。一旦找出了這些分?jǐn)?shù)，它們就可以被檢查所述圖像的與所述相似性分?jǐn)?shù)的峰值對應(yīng)的一部分。
文檔編號G06T7/00GK101248457SQ200680027429
公開日2008年8月20日 申請日期2006年6月30日 優(yōu)先權(quán)日2005年7月28日
發(fā)明者弗雷德里克·沃里克·邁克·斯騰蒂福特 申請人:英國電訊有限公司