專利名稱：用于識(shí)別圖像中的干擾元素的方法、裝置和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理領(lǐng)域，具體地講，涉及圖像增強(qiáng)。本發(fā)明還涉及一種用于識(shí)別圖像中的干擾元素的方法和裝置、以及一種包括其上記錄有用于識(shí)別圖像中的干擾元素的計(jì)算機(jī)程序的計(jì)算機(jī)可讀介質(zhì)的計(jì)算機(jī)程序產(chǎn)品。
背景技術(shù)：
觀看圖像的人將不會(huì)注意到圖像的整個(gè)內(nèi)容，而是將選擇性地查看圖像內(nèi)的區(qū)域。通過(guò)組合的技術(shù)(諸如選擇聚焦、顏色和亮度對(duì)比度以及圖像所捕獲的場(chǎng)景中的元素的定位)，專業(yè)級(jí)圖像、照片或繪畫(huà)將引導(dǎo)觀看者的目光朝向感興趣區(qū)域。并非所有圖像從業(yè)者都一樣精通。此外，圖像內(nèi)所捕獲的場(chǎng)景不一定能被控制。結(jié)果，大量圖像包含妨礙預(yù)期的攝影輸出的干擾元素。這樣的圖像“干擾物”可被認(rèn)為是圖像中的不需要的、不必要的元素，這些元素吸引觀察者的注意力離開(kāi)最初預(yù)期的(或主要的)對(duì)象或感興趣區(qū)域。圖像中的干擾元素可包括偽影(artefact)。移除干擾元素通常是兩步處理，該兩步處理涉及檢測(cè)作為干擾元素(或干擾物)的圖像區(qū)域、以及移除該干擾元素(或干擾物)或使該干擾元素(或干擾物)弱化(attenuation)。然而，干擾元素的統(tǒng)計(jì)數(shù)據(jù)和表現(xiàn)形式可以有很大的差別。移除干擾元素需要了解在沒(méi)有干擾元素的情況下圖像看起來(lái)將是什么樣的。降低干擾元素的可見(jiàn)性的大多數(shù)常規(guī)方法集中于移除非常具體的情況(諸如噪聲、灰塵或刮擦)。在這些情況下，通常構(gòu)建干擾元素(或干擾物)的模型，并利用該模型來(lái)識(shí)別圖像中的偽影。一旦被識(shí)別，就使用同一模型來(lái)推斷無(wú)干擾物的圖像。當(dāng)圖像的大的區(qū)域被識(shí)別為干擾元素時(shí)，可利用修復(fù)方法來(lái)重構(gòu)圖像的無(wú)偽影版本。然而，修復(fù)方法眾所周知是不可靠的并且計(jì)算成本高。基于目標(biāo)的干擾元素弱化方法的重要缺點(diǎn)是，這樣的方法降低了目標(biāo)顏色空間中的通常具有非常小的感知重要性的干擾元素的幅度(比如，峰值信噪比(psnr)或國(guó)際照明委員會(huì)(CIE)Delta E)。然而，在攝影中或者在人類用戶/觀察者是預(yù)期觀看者的任何時(shí)候，干擾物具有感知性。干擾元素對(duì)感知到的圖像質(zhì)量的沖擊和影響以主觀的方式變化。試圖解決圖像中的干擾元素問(wèn)題的大多數(shù)常規(guī)方法通過(guò)回避該問(wèn)題來(lái)解決該問(wèn)題。例如，識(shí)別圖像的對(duì)象或感興趣區(qū)域，并且將不是對(duì)象的一部分的部分作為“噪聲”(或背景)對(duì)待。然后通過(guò)裁掉圖像的非對(duì)象部分或者使這些非對(duì)象部分模糊來(lái)使圖像的非對(duì)象部分的可見(jiàn)性統(tǒng)一降低。盡管這樣的方法可降低干擾元素(或干擾物)的可見(jiàn)性，但是這樣的方法不一定改進(jìn)圖像的感知質(zhì)量。通常，改變?nèi)绱舜笄覐V泛，以至于從感知角度來(lái)講，這樣的方法的有效性高度依賴于圖像、內(nèi)容和觀察者。因此，對(duì)識(shí)別圖像中的干擾元素的改進(jìn)方法的需求顯然存在。

發(fā)明內(nèi)容
本發(fā)明的一個(gè)目的是基本上克服或至少改善現(xiàn)有布置的一個(gè)或多個(gè)缺點(diǎn)。
根據(jù)本公開(kāi)內(nèi)容的一方面，提供了 一種識(shí)別圖像中的干擾元素的方法，所述方法包括:對(duì)所述圖像確定視覺(jué)注意力圖(visual attention map),所述視覺(jué)注意力圖表示所述圖像的一個(gè)或多個(gè)區(qū)域，所述區(qū)域中的至少一個(gè)對(duì)應(yīng)于所述圖像的對(duì)象的至少一部分；對(duì)所述圖像確定顯著區(qū)域圖(salient region map),所述顯著區(qū)域圖包括定義所述圖像的一個(gè)或多個(gè)更多(further)區(qū)域的視覺(jué)吸引力值的分布，所述一個(gè)或多個(gè)更多區(qū)域被歸類為是顯著的；以及基于所述視覺(jué)注意力圖和所述顯著區(qū)域圖來(lái)識(shí)別所述圖像中的干擾元素，其中，所述干擾元素對(duì)應(yīng)于顯著的區(qū)域中的至少一個(gè)。根據(jù)本公開(kāi)內(nèi)容的另一方面，提供了一種用于識(shí)別圖像中的干擾元素的裝置，所述裝置包括:用于對(duì)所述圖像確定視覺(jué)注意力圖的部件，所述視覺(jué)注意力圖表示所述圖像的一個(gè)或多個(gè)區(qū)域，所述區(qū)域中的至少一個(gè)對(duì)應(yīng)于所述圖像的對(duì)象的至少一部分；用于對(duì)所述圖像確定顯著區(qū)域圖的部件，所述顯著區(qū)域圖包括定義所述圖像的一個(gè)或多個(gè)更多區(qū)域的視覺(jué)吸引力值的分布，所述一個(gè)或多個(gè)更多區(qū)域被歸類為是顯著的；以及用于基于視覺(jué)注意力圖和顯著區(qū)域圖來(lái)識(shí)別所述圖像中的干擾元素的部件，其中，所述干擾元素對(duì)應(yīng)于顯著的區(qū)域中的至少一個(gè)。根據(jù)本公開(kāi)內(nèi)容的又一方面，提供了一種用于識(shí)別圖像中的干擾元素的系統(tǒng)，所述系統(tǒng)包括:存儲(chǔ)器，其用于存儲(chǔ)數(shù)據(jù)和計(jì)算機(jī)程序；處理器，其與所述存儲(chǔ)器耦接以執(zhí)行所述計(jì)算機(jī)程序，所述計(jì)算機(jī)程序包括用于執(zhí)行以下步驟的指令:對(duì)所述圖像確定視覺(jué)注意力圖，所述視覺(jué)注意力圖表示所述圖像的一個(gè)或多個(gè)區(qū)域，所述區(qū)域中的至少一個(gè)對(duì)應(yīng)于所述圖像的對(duì)象的至少一部分；對(duì)所述圖像確定顯著區(qū)域圖，所述顯著區(qū)域圖包括定義所述圖像的一個(gè)或多個(gè)更多區(qū)域的視覺(jué)吸引力值的分布，所述一個(gè)或多個(gè)更多區(qū)域被歸類為是顯著的；以及基于所述視覺(jué)注意力圖和所述顯著區(qū)域圖來(lái)識(shí)別所述圖像中的干擾元素，其中，所述干擾元素對(duì)應(yīng)于顯著的區(qū)域中的至少一個(gè)。根據(jù)本公開(kāi)內(nèi)容的又一方面，提供了一種其上記錄有用于識(shí)別圖像中的干擾元素的計(jì)算機(jī)程序的計(jì)算機(jī)可讀介質(zhì)，所述程序包括:用于對(duì)所述圖像確定視覺(jué)注意力圖的代碼，所述視覺(jué)注意力圖表示所述圖像的一個(gè)或多個(gè)區(qū)域，所述區(qū)域中的至少一個(gè)對(duì)應(yīng)于所述圖像的對(duì)象的至少一部分；用于對(duì)所述圖像確定顯著區(qū)域圖的代碼，所述顯著區(qū)域圖包括定義所述圖像的一個(gè)或多個(gè)更多區(qū)域的視覺(jué)吸引力值的分布，所述一個(gè)或多個(gè)更多區(qū)域被歸類為是顯著的；以及用于基于視覺(jué)注意力圖和顯著區(qū)域圖來(lái)識(shí)別所述圖像中的干擾元素的代碼，其中，所述干擾元素對(duì)應(yīng)于顯著的區(qū)域中的至少一個(gè)。
還公開(kāi)了本發(fā)明的其它方面。


現(xiàn)在將參照附圖來(lái)描述本發(fā)明的一個(gè)或多個(gè)實(shí)施例，在附圖中:圖1是示出修改圖像的方法的流程圖；圖2是示出如在圖1的方法中執(zhí)行的、確定視覺(jué)注意力圖的方法的流程圖；圖3是示出如在圖1的方法中執(zhí)行的、確定視覺(jué)注意力圖的可替換方法的流程圖；圖4是示出如在圖1的方法中執(zhí)行的、確定視覺(jué)注意力圖的另一可替換方法的流程圖；圖5是示出如在圖1的方法中執(zhí)行的、識(shí)別圖像中的一個(gè)或多個(gè)干擾元素的方法的流程圖；圖6是示出如在圖1的方法中執(zhí)行的、識(shí)別圖像中的一個(gè)或多個(gè)干擾元素的另一可替換方法的流程圖；圖7是示出如在圖1的方法中執(zhí)行的、使輸入圖像的區(qū)域(或干擾元素)的顯著性弱化的方法的流程圖；圖8是示出修改圖像的可替換方法的流程圖；圖9是示出修改圖像的另一可替換方法的流程圖；圖1OA和圖1OB形成可在其上實(shí)施所描述的布置的通用計(jì)算機(jī)系統(tǒng)的示意性框圖；圖1lA示出示例性圖像；圖1lB示出根據(jù)所述方法對(duì)圖1lA的圖像確定的顯著區(qū)域圖；圖1lC示出根據(jù)所述方法對(duì)圖1lA的圖像確定的視覺(jué)注意力圖；圖1lD示出對(duì)圖1lA的圖像確定的干擾物圖；和圖1lE示出根據(jù)圖1的方法對(duì)圖1lA的輸入圖像確定的輸出圖像。
具體實(shí)施例方式在任何一個(gè)或多個(gè)附圖中提及具有相同附圖標(biāo)記的步驟和/或特征的情況下，為了該描述的目的，這些步驟和/或特征具有相同的功能或操作，除非出現(xiàn)相反的意圖。公開(kāi)了設(shè)法修改圖像以使得通過(guò)各種形態(tài)獲得的預(yù)測(cè)的“視覺(jué)注意力圖”相類似的方法。以下所述的方法使圖像中的視覺(jué)上無(wú)吸引力的或分散注意力的元素的可見(jiàn)性最小化，并確保被不同觀察者觀看的圖像以統(tǒng)一的方式被感知。具體地講，下面參照?qǐng)D1來(lái)描述通過(guò)使圖像中的干擾元素弱化來(lái)修改圖像的方法100。所描述的方法100對(duì)圖像進(jìn)行修改，以使得圖像中的干擾元素的可見(jiàn)性最小化。干擾元素是圖像的這樣的區(qū)域，該區(qū)域吸引觀察者的注意力離開(kāi)圖像的預(yù)期的主要對(duì)象或主要感興趣區(qū)域。干擾元素是顯著的，并具有高的注意吸引力可能。例如，干擾元素可以是肖像照片的背景中的顏色鮮艷的物體(或區(qū)域)。包含干擾元素的圖像一向被觀察者按照偏好而評(píng)定為等級(jí)低于無(wú)干擾元素的圖像。可通過(guò)降低這樣的干擾元素的可見(jiàn)性來(lái)增強(qiáng)圖像。
如下所述，方法100通過(guò)對(duì)圖像進(jìn)行分解來(lái)降低圖像內(nèi)的干擾元素的可見(jiàn)性。使用與人類視覺(jué)系統(tǒng)的敏感性相關(guān)的低級(jí)別(low-level)視覺(jué)特征來(lái)識(shí)別圖像的可能顯著的區(qū)域，以生成顯著區(qū)域圖。顯著區(qū)域圖是圖像的可能吸引觀察者的注意力的元素區(qū)域的圖。如下所述，顯著區(qū)域圖定義視覺(jué)吸引力值的分布。圖像的顯著但不應(yīng)被注意到的元素或區(qū)域被認(rèn)為是干擾元素。方法100還將圖像分解為與觀察者針對(duì)內(nèi)容分析圖像的認(rèn)知方式相關(guān)的低級(jí)別特征和高級(jí)別(high-level)特征，以生成視覺(jué)注意力圖(或?qū)ο髨D),該視覺(jué)注意力圖(或?qū)ο髨D)定義圖像的被觀察者有意識(shí)地注意到的區(qū)域。如下所述，方法100確定定義圖像中的干擾元素的干擾物圖。方法100通過(guò)組合顯著區(qū)域圖和視覺(jué)注意力圖而被確定。干擾物圖包括圖像的存在于顯著區(qū)域圖中但不在視覺(jué)注意力圖中的元素。然后將干擾物圖與圖像一起進(jìn)行分析以對(duì)圖像進(jìn)行修改，從而使圖像中所識(shí)別的干擾元素弱化，而生成輸出圖像。圖1OA和圖1OB描繪了在其上可實(shí)施將描述的方法的通用計(jì)算機(jī)系統(tǒng)1000。將描述的方法還可在其中處理資源有限的其它設(shè)備(諸如例如數(shù)字照相機(jī)、移動(dòng)電話或便攜式媒體播放器)上實(shí)施。如圖1OA中所見(jiàn)，計(jì)算機(jī)系統(tǒng)1000包括:計(jì)算機(jī)模塊1001 ;輸入設(shè)備，諸如鍵盤
1002、鼠標(biāo)指針設(shè)備1003、掃描儀1026、照相機(jī)1027和麥克風(fēng)1080;以及輸出設(shè)備，包括打印機(jī)1015、顯示設(shè)備1014和揚(yáng)聲器1017。外部調(diào)制器-解調(diào)器(調(diào)制解調(diào)器)收發(fā)器設(shè)備1016可被計(jì)算機(jī)模塊1001用于通過(guò)連接1021與通信網(wǎng)絡(luò)1020通信。通信網(wǎng)絡(luò)1020可以是廣域網(wǎng)(WAN)，諸如互聯(lián)網(wǎng)、蜂窩電信網(wǎng)或私有WAN。在連接1021是電話線的情況下，調(diào)制解調(diào)器1016可以是傳統(tǒng)的“撥號(hào)”調(diào)制解調(diào)器?？商鎿Q地，在連接1021是高容量(比如，電纜)連接的情況下，調(diào)制解調(diào)器1016可以是寬帶調(diào)制解調(diào)器。無(wú)線調(diào)制解調(diào)器也可用于與通信網(wǎng)絡(luò)1020的無(wú)線連接。計(jì)算機(jī)模塊1001通常包括至少一個(gè)處理器單元1005和存儲(chǔ)器單元1006。例如，存儲(chǔ)器單元1006可具有半導(dǎo)體隨機(jī)存取存儲(chǔ)器(RAM)和半導(dǎo)體只讀存儲(chǔ)器(ROM)。計(jì)算機(jī)模塊1001還包括若干個(gè)輸入/輸出(I/O)接口，這些接口包括:音頻-視頻接口 1007，其與視頻顯示器1014、揚(yáng)聲器1017和麥克風(fēng)1080耦接；1/0接口 1013，其與鍵盤1002、鼠標(biāo)
1003、掃描儀1026、照相機(jī)1027(以及可選地，還有操縱桿或其它人類接口設(shè)備(未示出))耦接；以及接口 1008，其用于外部調(diào)制解調(diào)器1016和打印機(jī)1015。在一些實(shí)現(xiàn)中，調(diào)制解調(diào)器1016可被合并在計(jì)算機(jī)模塊1001內(nèi)(例如，在接口 1008內(nèi))。計(jì)算機(jī)模塊1001還具有局域網(wǎng)接口 1011，該局域網(wǎng)接口 1011使得計(jì)算機(jī)系統(tǒng)1000可通過(guò)連接1023與局域通信網(wǎng)1022 (被稱為局域網(wǎng)(LAN))耦接。如圖1OA所示，局域通信網(wǎng)1022還可通過(guò)連接1024與廣域網(wǎng)絡(luò)1020耦接，連接1024通常將包括所謂的“防火墻”設(shè)備或類似功能的設(shè)備。局域網(wǎng)接口 1011可包括Ethernet 電路卡、Bluetooth 無(wú)線布置或IEEE 802.11無(wú)線布置；然而，對(duì)于接口 1011，可實(shí)施許多其它類型的接口。I/O接口 1008和1013可給予串行連接和并行連接中的任何一個(gè)或兩者，前者通常根據(jù)通用串行總線(USB)標(biāo)準(zhǔn)實(shí)現(xiàn)并具有對(duì)應(yīng)的USB連接器(未示出)。存儲(chǔ)設(shè)備1009被提供，并且通常包括硬盤驅(qū)動(dòng)器(HDD) 1010。還可使用其它存儲(chǔ)設(shè)備，諸如軟盤驅(qū)動(dòng)器和磁帶驅(qū)動(dòng)器(未示出)。光盤驅(qū)動(dòng)器1012通常被提供來(lái)充當(dāng)非易失性數(shù)據(jù)源。便攜式存儲(chǔ)器設(shè)備(例如光盤(比如，CD-ROM、DVD、Blu-rayDisc )、USB-RAM、便攜式外部硬盤驅(qū)動(dòng)器和軟盤)可用作對(duì)于系統(tǒng)1000合適的數(shù)據(jù)源。計(jì)算機(jī)模塊1001的組件1005至1013通常通過(guò)互連總線1004并以相關(guān)領(lǐng)域技術(shù)人員已知的導(dǎo)致計(jì)算機(jī)系統(tǒng)1000的常規(guī)操作模式的方式進(jìn)行通信。例如，處理器1005使用連接1018與系統(tǒng)總線1004耦接。同樣地，存儲(chǔ)器1006和光盤驅(qū)動(dòng)器1012通過(guò)連接1019與系統(tǒng)總線1004耦接。其上可實(shí)施所描述的布置的計(jì)算機(jī)的例子包括IBM-PC’ s和兼容機(jī)、Sun Sparcstations、Apple Mac 或相似的計(jì)算機(jī)系統(tǒng)。方法100可使用計(jì)算機(jī)系統(tǒng)1000來(lái)實(shí)現(xiàn)，其中，將描述的圖1至圖9的處理可被實(shí)現(xiàn)為可在計(jì)算機(jī)系統(tǒng)1000內(nèi)執(zhí)行的一個(gè)或多個(gè)軟件應(yīng)用程序1033。具體地講，所描述的方法的步驟通過(guò)在計(jì)算機(jī)系統(tǒng)1000內(nèi)執(zhí)行的軟件1033中的指令1031 (參見(jiàn)圖10B)而被實(shí)現(xiàn)。軟件指令1031可被形成為一個(gè)或多個(gè)代碼模塊，每個(gè)代碼模塊用于執(zhí)行一個(gè)或多個(gè)特定任務(wù)。所述軟件還可被劃分為兩個(gè)分離的部分，其中，第一部分和對(duì)應(yīng)的代碼模塊執(zhí)行所描述的方法，第二部分和對(duì)應(yīng)的代碼模塊管理第一部分與用戶之間的用戶接口。所述軟件可被存儲(chǔ)在包括例如以下所述的存儲(chǔ)設(shè)備的計(jì)算機(jī)可讀介質(zhì)中。軟件1033通常被存儲(chǔ)在HDD 1010或存儲(chǔ)器1006中。所述軟件從計(jì)算機(jī)可讀介質(zhì)被加載到計(jì)算機(jī)系統(tǒng)1000中，然后被計(jì)算機(jī)系統(tǒng)1000執(zhí)行。因此，例如，軟件1033可被存儲(chǔ)在被光盤驅(qū)動(dòng)器1012讀取的光學(xué)可讀盤存儲(chǔ)介質(zhì)(比如，⑶_R0M)1025上。在其上記錄有這樣的軟件或計(jì)算機(jī)程序的計(jì)算機(jī)可讀介質(zhì)是計(jì)算機(jī)程序產(chǎn)品。該計(jì)算機(jī)程序產(chǎn)品在計(jì)算機(jī)系統(tǒng)1000中的使用優(yōu)選地實(shí)現(xiàn)用于實(shí)施所描述的方法的有利裝置。在某些情況下，在一個(gè)或多個(gè)⑶-ROM 1025上被編碼并通過(guò)對(duì)應(yīng)的驅(qū)動(dòng)器1012被讀取的應(yīng)用程序1033可被供給到用戶，或者可替換地，可被用戶從網(wǎng)絡(luò)1020或1022讀取。更進(jìn)一步，所述軟件還可從其它計(jì)算機(jī)可讀介質(zhì)被加載到計(jì)算機(jī)系統(tǒng)1000中。計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)是指將所記錄的指令和/或數(shù)據(jù)提供給計(jì)算機(jī)系統(tǒng)1000以便執(zhí)行和/或處理的任何非暫態(tài)有形存儲(chǔ)介質(zhì)。這樣的存儲(chǔ)介質(zhì)的例子包括軟盤、磁帶、CD-R0M、DVD、藍(lán)光盤、硬盤驅(qū)動(dòng)器、ROM或集成電路、USB存儲(chǔ)器、磁光盤或者計(jì)算機(jī)可讀卡(諸如PCMCIA卡)等，而無(wú)論這樣的設(shè)備是在計(jì)算機(jī)模塊1001的內(nèi)部還是外部。也可參與將軟件、應(yīng)用程序、指令和/或數(shù)據(jù)提供給計(jì)算機(jī)模塊1001的暫態(tài)或非有形計(jì)算機(jī)可讀傳輸介質(zhì)的例子包括無(wú)線電或紅外傳輸信道和與另一計(jì)算機(jī)或聯(lián)網(wǎng)設(shè)備的網(wǎng)絡(luò)連接、以及互聯(lián)網(wǎng)或內(nèi)聯(lián)網(wǎng)(包括電子郵件傳輸和記錄在網(wǎng)站等上的信息)。以上提及的應(yīng)用程序1033的第二部分和對(duì)應(yīng)的代碼模塊可被執(zhí)行來(lái)實(shí)現(xiàn)將呈現(xiàn)或以其它方式表示在顯示器1014上的一個(gè)或多個(gè)圖形用戶界面(GUI)。通過(guò)典型地操作鍵盤1002和鼠標(biāo)1003，計(jì)算機(jī)系統(tǒng)1000和應(yīng)用程序的用戶可以以功能可適應(yīng)的方式對(duì)所述界面進(jìn)行操作，以將控制命令和/或輸入提供給與GUI相關(guān)聯(lián)的應(yīng)用程序。還可實(shí)現(xiàn)其它形式的功能可適應(yīng)的用戶界面，諸如利用通過(guò)揚(yáng)聲器1017輸出的語(yǔ)音提示的音頻接口和通過(guò)麥克風(fēng)1080輸入的用戶話音命令。圖1OB是處理器1005和“存儲(chǔ)器”1034的詳細(xì)示意性框圖。存儲(chǔ)器1034表示可被圖1OA中的計(jì)算機(jī)模塊1001訪問(wèn)的所有存儲(chǔ)器模塊(包括HDD 1009和半導(dǎo)體存儲(chǔ)器1006)
的邏輯聚合。
當(dāng)計(jì)算機(jī)模塊1001初次上電時(shí)，開(kāi)電自檢(POST)程序1050執(zhí)行。POST程序1050通常被存儲(chǔ)在圖1OA的半導(dǎo)體存儲(chǔ)器1006的ROM 1049中。諸如存儲(chǔ)軟件的ROM 1049之類的硬件設(shè)備有時(shí)被稱為固件。POST程序1050檢查計(jì)算機(jī)模塊1001內(nèi)的硬件以確保正常運(yùn)行，并且通常檢查處理器1005、存儲(chǔ)器1034 (1009、1006)和基本輸入-輸出系統(tǒng)軟件(BIOS)模塊1051 (通常也被存儲(chǔ)在ROM 1049中)以便正確地操作。一旦POST程序1050已成功運(yùn)行，BIOS 1051就啟動(dòng)圖10A的硬盤驅(qū)動(dòng)器1010。硬盤驅(qū)動(dòng)器1010的啟動(dòng)通過(guò)處理器1005使駐留在硬盤驅(qū)動(dòng)器1010上的引導(dǎo)裝入程序1052執(zhí)行。這將操作系統(tǒng)1053加載到RAM存儲(chǔ)器1006中，在RAM存儲(chǔ)器1006上操作系統(tǒng)1053開(kāi)始操作。操作系統(tǒng)1053是可被處理器1005執(zhí)行的、實(shí)現(xiàn)各種高層功能的系統(tǒng)級(jí)應(yīng)用程序，所述高層功能包括處理器管理、存儲(chǔ)器管理、設(shè)備管理、存儲(chǔ)管理、軟件應(yīng)用程序接口和通用用戶接口。操作系統(tǒng)1053管理存儲(chǔ)器1034 (1009、1006)以確保在計(jì)算機(jī)模塊1001上運(yùn)行的每個(gè)處理或應(yīng)用程序具有足夠的存儲(chǔ)器，以在該足夠的存儲(chǔ)器中在不與被分配給另一處理的存儲(chǔ)器沖突的情況下執(zhí)行。此外，必須適當(dāng)?shù)厥褂脠D10A的系統(tǒng)1000中可用的不同類型的存儲(chǔ)器，以使得每個(gè)處理可高效地運(yùn)行。因此，聚合的存儲(chǔ)器1034并非意圖說(shuō)明存儲(chǔ)器的特定段如何被分配(除非另有說(shuō)明)，而是提供可被計(jì)算機(jī)系統(tǒng)1000訪問(wèn)的存儲(chǔ)器的概觀以及其如何被使用。如圖10B所示，處理器1005包括若干個(gè)功能模塊，這些功能模塊包括控制單元1039、算術(shù)邏輯單元(ALU)1040以及本地或內(nèi)部存儲(chǔ)器1048(有時(shí)被稱為高速緩沖存儲(chǔ)器)。高速緩沖存儲(chǔ)器1048通常包括在寄存器部分中的若干個(gè)存儲(chǔ)寄存器1044-1046。一個(gè)或多個(gè)內(nèi)部總線1041與這些功能模塊在功能上互連。通過(guò)使用連接1018，處理器1005通常還具有用于通過(guò)系統(tǒng)總線1004與外部設(shè)備通信的一個(gè)或多個(gè)接口 1042。存儲(chǔ)器1034使用連接1019與總線1004耦接。應(yīng)用程序1033包括指令序列1031，該指令序列1031可包括條件分支和循環(huán)指令。程序1033還可包括在執(zhí)行程序1033時(shí)所使用的數(shù)據(jù)1032。指令1031和數(shù)據(jù)1032分別被存儲(chǔ)在存儲(chǔ)器位置1028、1029、1030和1035、1036、1037中。根據(jù)存儲(chǔ)器位置1028-1030和指令1031的相對(duì)大小，特定指令可如存儲(chǔ)器位置1030中所示的指令所描繪的那樣被存儲(chǔ)在單個(gè)存儲(chǔ)器位置中?？商鎿Q地，如存儲(chǔ)器位置1028和1029中所示的指令段所描繪的，指令可被分段為若干個(gè)部分，每個(gè)部分被存儲(chǔ)在單獨(dú)的存儲(chǔ)器位置中。通常，處理器1005被給予在其中執(zhí)行的指令集。處理器1005等待后續(xù)的輸入，處理器1005通過(guò)執(zhí)行另一指令集來(lái)對(duì)該后續(xù)的輸入作出反應(yīng)。每個(gè)輸入可從若干個(gè)源中的一個(gè)或多個(gè)被提供，所述若干個(gè)源包括由輸入設(shè)備1002、1003中的一個(gè)或多個(gè)產(chǎn)生的數(shù)據(jù)、通過(guò)網(wǎng)絡(luò)1020、1022之一從外部源接收的數(shù)據(jù)、從存儲(chǔ)設(shè)備1006、1009之一檢索的數(shù)據(jù)、或者從被插入到對(duì)應(yīng)的讀取器1012中的存儲(chǔ)介質(zhì)1025檢索的數(shù)據(jù)，所有這些源都被描繪在圖10A中。指令集的執(zhí)行在一些情況下可導(dǎo)致數(shù)據(jù)的輸出。執(zhí)行還可涉及將數(shù)據(jù)或變量存儲(chǔ)到存儲(chǔ)器1034。所描述的方法使用輸入變量1054，這些輸入變量1054被存儲(chǔ)在存儲(chǔ)器1034中的對(duì)應(yīng)的存儲(chǔ)器位置1055、1056、1057中。所描述的方法生成輸出變量1061，這些輸出變量1061被存儲(chǔ)在存儲(chǔ)器1034中的對(duì)應(yīng)的存儲(chǔ)器位置1062、1063、1064中。中間變量1058可被存儲(chǔ)在存儲(chǔ)器位置1059、1060、1066和1067中。
參照?qǐng)D1OB的處理器1005，寄存器1044、1045、1046、算術(shù)邏輯單元(ALU) 1040和控制單元1039 —起工作，以執(zhí)行對(duì)構(gòu)成程序1033的指令集中的每一個(gè)指令執(zhí)行“提取、解碼和執(zhí)行”循環(huán)所需的微操作序列。每個(gè)提取、解碼和執(zhí)行循環(huán)包括:(a)提取操作，該操作從存儲(chǔ)器位置1028、1029、1030提取或讀取指令1031 ；(b)解碼操作，在該操作中，控制單元1039確定哪個(gè)指令已被提??；和(c)執(zhí)行操作，在該操作中，控制單元1039和/或ALU 1040執(zhí)行所述指令。其后，可對(duì)下一指令執(zhí)行另外的提取、解碼和執(zhí)行循環(huán)。類似地，可執(zhí)行存儲(chǔ)循環(huán)，通過(guò)該存儲(chǔ)循環(huán)，控制單元1039將值存儲(chǔ)或?qū)懭氲酱鎯?chǔ)器位置1032。圖1至圖9的處理中的每個(gè)步驟或子處理與程序1033的一個(gè)或多個(gè)段相關(guān)聯(lián)，并被處理器1005中的寄存器部分1044、1045、1046、ALU 1040和控制單元1039執(zhí)行，寄存器部分1044、1045、1046、ALU1040和控制單元1039 —起工作以對(duì)程序1033的所指出段的指令集中的每一個(gè)指令執(zhí)行提取、解碼和執(zhí)行循環(huán)。所描述的方法可以可替換地用專用硬件(諸如執(zhí)行所描述的方法的功能或子功能的一個(gè)或多個(gè)集成電路)來(lái)實(shí)現(xiàn)。這樣的專用硬件可包括圖形處理器、數(shù)字信號(hào)處理器、或者一個(gè)或多個(gè)微處理器和相關(guān)聯(lián)的存儲(chǔ)器。方法100從步驟101開(kāi)始，在步驟101中，處理器105訪問(wèn)輸入圖像I。這樣的輸入圖像的例子是圖1lA的圖像1100。輸入圖像可被處理器1005從例如硬盤驅(qū)動(dòng)器1010和/或存儲(chǔ)器1006訪問(wèn)。被訪問(wèn)的輸入圖像I通常根據(jù)特定顏色空間(諸如sRGB、HSV或CIELab)被編碼。然后，在顯著區(qū)域檢測(cè)步驟103中，處理器1005執(zhí)行確定顯著區(qū)域圖S的步驟。顯著區(qū)域圖S可被存儲(chǔ)在存儲(chǔ)器 1006中。如下所述，顯著區(qū)域圖S包括定義輸入圖像I的一個(gè)或多個(gè)區(qū)域的視覺(jué)吸引力值的分布。圖1lB示出了對(duì)圖像1100確定的顯著區(qū)域圖SlllO的例子。顯著區(qū)域圖SlllO根據(jù)步驟103確定，以下將詳細(xì)地描述步驟103。顯著區(qū)域圖S的區(qū)域被歸類為是顯著的，并可被用于檢測(cè)輸入圖像I的顯著區(qū)域。輸入圖像的顯著區(qū)域通過(guò)確定輸入圖像的與觀察者的低級(jí)別視覺(jué)相關(guān)的特征(諸如顏色、亮度、清晰度、大小、紋理和方向)來(lái)檢測(cè)。例如，輸入圖像的亮度可基于CIELab顏色空間的亮度通道L*或者XYZ顏色空間的亮度通道Y來(lái)確定。此外，色調(diào)可通過(guò)確定CIELab顏色空間的arctan (b/a)或者基于HSV顏色空間的色調(diào)通道H來(lái)確定。為了確定色度，在步驟103可確定例如CIELab顏色空間的a_b平面中的顏色之間的歐幾里得距離、ab平面的a*通道、b*通道、或者在其中色度從亮度去除相關(guān)性的任何其它通道(諸如通過(guò)主成分分析獲得的通道)。輸入圖像的清晰度可通過(guò)從輸入圖像的梯度幅度或梯度直方圖的小波或傅里葉分解確定譜功率來(lái)確定。輸入圖像的紋理和方向可通過(guò)例如確定Gabor濾波器組的輸出來(lái)確定。在一種實(shí)現(xiàn)中，在步驟103，處理器1005確定在尺度Γ。和Γ\上組合的一組η個(gè)特征ξ i，i=l，...，η，其中，Γ。和Γ\表示輸入圖像I的可以以被考慮像素為中心的區(qū)域。區(qū)域Γ。小于區(qū)域rs，并對(duì)應(yīng)于圖像的感知重要特征的尺度。區(qū)域Γ。的值和形狀可根據(jù)輸入圖像的觀察者或者輸入圖像的內(nèi)容而變化。然而，區(qū)域Γ。的值被估計(jì)在兩(2)度對(duì)向視角與八(8)度對(duì)向視角之間，對(duì)于區(qū)域Γ。更強(qiáng)調(diào)的是小于十二(12)度視角。區(qū)域1\的值可更顯著地變化，并且其范圍可以從僅比區(qū)域Γ。大幾度到跨越整個(gè)輸入圖像。
區(qū)域Γ s和Γ?？杀活A(yù)先確定?？商鎿Q地，當(dāng)在步驟103使用多尺度方法(諸如拉普拉斯金字塔分解)時(shí)，作為顯著區(qū)域檢測(cè)步驟103的一部分，可確定區(qū)域1\和Γ。。在一種布置中，對(duì)于輸入圖像I的每個(gè)像素(X，y)，處理器1005在步驟103使用根據(jù)如下等式(I)的函數(shù)S(x，y)來(lái)確定顯著區(qū)域圖S中的每個(gè)值:S(x,y) = (ξ17 I2,,..., ξη,,χ,γ,Ι, Tc, Γ s)(I)其中，f是在輸入圖像I的顏色空間上定義的函數(shù)。例如，如果分別作為ξ 1; ξ 2，I 3的三個(gè)特征CIELab (L' a*和b*)被用于確定顯著區(qū)域圖S，并且函數(shù)f被定義為三個(gè)特征ξ1; ξ2，ξ3上的歐幾里德距離，則可根據(jù)如下等式(2)來(lái)表達(dá)函數(shù)S(x，y):
權(quán)利要求
1.一種識(shí)別圖像中的干擾元素的方法，所述方法包括: 對(duì)所述圖像確定視覺(jué)注意力圖，所述視覺(jué)注意力圖表示所述圖像的一個(gè)或多個(gè)區(qū)域，所述區(qū)域中的至少一個(gè)對(duì)應(yīng)于所述圖像的對(duì)象的至少一部分； 對(duì)所述圖像確定顯著區(qū)域圖，所述顯著區(qū)域圖包括定義所述圖像的一個(gè)或多個(gè)更多區(qū)域的視覺(jué)吸引力值的分布，所述一個(gè)或多個(gè)更多區(qū)域被歸類為是顯著的；以及 基于所述視覺(jué)注意力圖和所述顯著區(qū)域圖來(lái)識(shí)別所述圖像中的干擾元素，其中，所述干擾元素對(duì)應(yīng)于顯著的區(qū)域中的至少一個(gè)。
2.根據(jù)權(quán)利要求1所述的方法，其中，通過(guò)確定所述視覺(jué)注意力圖與所述顯著區(qū)域圖之間的交集來(lái)識(shí)別所述干擾元素。
3.根據(jù)權(quán)利要求1所述的方法，其中，所述視覺(jué)注意力圖所表示的區(qū)域取決于所述圖像的內(nèi)容。
4.根據(jù)權(quán)利要求1所述的方法，其中，所述視覺(jué)注意力圖所表示的區(qū)域?qū)?yīng)于所述圖像的高級(jí)別特征。
5.根據(jù)權(quán)利要求1所述的方法，其中，所述視覺(jué)注意力圖所表示的區(qū)域取決于所述圖像的預(yù)期觀察者。
6.根據(jù)權(quán)利要求1所述的方法，其中，所述視覺(jué)注意力圖的取反值與所述顯著區(qū)域圖相交以確定所述交集。
7.根據(jù)權(quán)利要求1所述的方法，其中，所述顯著區(qū)域圖和所述視覺(jué)注意力圖是二值的。
8.根據(jù)權(quán)利要求1所述的方法，還包括對(duì)所述交集執(zhí)行連接成分分析。
9.根據(jù)權(quán)利要求1所述的方法，其中，使用眼球跟蹤來(lái)確定所述視覺(jué)注意力圖。
10.根據(jù)權(quán)利要求1所述的方法，其中，使用眼球跟蹤來(lái)確定所述顯著區(qū)域圖。
11.一種用于識(shí)別圖像中的干擾元素的裝置，所述裝置包括: 用于對(duì)所述圖像確定視覺(jué)注意力圖的部件，所述視覺(jué)注意力圖表示所述圖像的一個(gè)或多個(gè)區(qū)域，所述區(qū)域中的至少一個(gè)對(duì)應(yīng)于所述圖像的對(duì)象的至少一部分； 用于對(duì)所述圖像確定顯著區(qū)域圖的部件，所述顯著區(qū)域圖包括限定所述圖像的一個(gè)或多個(gè)更多區(qū)域的視覺(jué)吸引力值的分布，所述一個(gè)或多個(gè)更多區(qū)域被歸類為是顯著的；以及用于基于所述視覺(jué)注意力圖和所述顯著區(qū)域圖來(lái)識(shí)別所述圖像中的干擾元素的部件，其中，所述干擾元素對(duì)應(yīng)于顯著的區(qū)域中的至少一個(gè)。
12.一種用于識(shí)別圖像中的干擾元素的系統(tǒng)，所述系統(tǒng)包括: 存儲(chǔ)器，其用于存儲(chǔ)數(shù)據(jù)和計(jì)算機(jī)程序； 處理器，其與所述存儲(chǔ)器耦接以執(zhí)行所述計(jì)算機(jī)程序，所述計(jì)算機(jī)程序包括用于執(zhí)行以下步驟的指令: 對(duì)所述圖像確定視覺(jué)注意力圖，所述視覺(jué)注意力圖表示所述圖像的一個(gè)或多個(gè)區(qū)域，所述區(qū)域中的至少一個(gè)對(duì)應(yīng)于所述圖像的對(duì)象的至少一部分； 對(duì)所述圖像確定顯著區(qū)域圖，所述顯著區(qū)域圖包括定義所述圖像的一個(gè)或多個(gè)更多區(qū)域的視覺(jué)吸引力值的分布，所述一個(gè)或多個(gè)更多區(qū)域被歸類為是顯著的；以及 基于所述視覺(jué)注意力圖和所述顯著區(qū)域圖來(lái)識(shí)別所述圖像中的干擾元素，其中，所述干擾元素對(duì)應(yīng)于顯著的區(qū)域中的至少一個(gè)。
13.一種其上記錄有用于識(shí)別圖像中的干擾元素的計(jì)算機(jī)程序的計(jì)算機(jī)可讀介質(zhì)，所述程序包括: 用于對(duì)所述圖像確定視覺(jué)注意力圖的代碼，所述視覺(jué)注意力圖表示所述圖像的一個(gè)或多個(gè)區(qū)域，所述區(qū)域中的至少一個(gè)對(duì)應(yīng)于所述圖像的對(duì)象的至少一部分； 用于對(duì)所述圖像確定顯著區(qū)域圖的代碼，所述顯著區(qū)域圖包括限定所述圖像的一個(gè)或多個(gè)更多區(qū)域的視覺(jué)吸引力值的分布，所述一個(gè)或多個(gè)更多區(qū)域被歸類為是顯著的；以及用于基于所述視覺(jué)注意力圖和所述顯著區(qū)域圖來(lái)識(shí)別所述圖像中的干擾元素的代碼，其中，所述干擾元 素對(duì)應(yīng)于顯著的區(qū)域中的至少一個(gè)。
全文摘要
本公開(kāi)內(nèi)容涉及用于識(shí)別圖像中的干擾元素的方法、裝置和系統(tǒng)。公開(kāi)了一種識(shí)別圖像(比如，1100)中的干擾元素的方法。對(duì)圖像(1100)確定視覺(jué)注意力圖(比如，1120)，視覺(jué)注意力圖(1120)表示圖像的一個(gè)或多個(gè)區(qū)域，所述區(qū)域中的至少一個(gè)對(duì)應(yīng)于圖像的對(duì)象的至少一部分。對(duì)圖像(1100)確定顯著區(qū)域圖(比如，1110)，顯著區(qū)域圖包括定義圖像(1100)的一個(gè)或多個(gè)更多區(qū)域的視覺(jué)吸引力值的分布，所述一個(gè)或多個(gè)更多區(qū)域被歸類為是顯著的。確定視覺(jué)注意力圖(1120)與顯著區(qū)域圖(1110)之間的交集，以識(shí)別圖像(1100)中的干擾元素。干擾元素對(duì)應(yīng)于顯著的區(qū)域中的至少一個(gè)。
文檔編號(hào)G06K9/36GK103198316SQ201210534060
公開(kāi)日2013年7月10日 申請(qǐng)日期2012年12月12日 優(yōu)先權(quán)日2011年12月12日
發(fā)明者C·弗雷德姆巴赫 申請(qǐng)人:佳能株式會(huì)社