本發(fā)明涉及圖像處理技術(shù)領(lǐng)域,具體涉及一種圖像處理方法和裝置。
背景技術(shù):
在很多應(yīng)用中,如人臉識別、虹膜識別和視頻監(jiān)控系統(tǒng)中,需要進(jìn)行圖像處理,但是,光照影響會顯著改變圖像對象的顏色值,這對于依賴于顏色值進(jìn)行檢索或者識別圖像的系統(tǒng)的有效性是一個非常有挑戰(zhàn)性的問題。
為了有效去除光照對圖像顏色值的影響,很多對圖像進(jìn)行光照處理以恢復(fù)圖像顏色的方案被提出,包括基于視網(wǎng)膜大腦皮層理論(retinex)的方案、暗通道處理技術(shù)、高動態(tài)范圍壓縮、低動態(tài)范圍壓縮技術(shù)、基于梯度理論、基于偏微分方程以及基于變分極值理論的方案等。
這些方案的原理,普遍是首先對光照進(jìn)行估計,然后在獲得光照估計值的基礎(chǔ)上,通過剝離光照值的方式對圖像對象固有的反射系數(shù)進(jìn)行估計,以獲得不受光照影響的對象固有的顏色值。例如,基本思路可以簡單理解為:通過估計光照值l,根據(jù)光照數(shù)學(xué)模型s=r*l或是更復(fù)雜一些的模型s=r*l+n,來求解反射圖像r,其中,n表示噪聲,s表示顏色值。
實(shí)踐發(fā)現(xiàn),上述多種方案都需要在獲得光照估計值的基礎(chǔ)上進(jìn)行計算,但是,現(xiàn)有技術(shù)中對光照進(jìn)行估計的方法不夠理想,得到的光照估計值不夠準(zhǔn)確,進(jìn)而導(dǎo)致采用上述多種方案進(jìn)行圖像處理時準(zhǔn)確性不夠好。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明實(shí)施例提供一種圖像處理方法和裝置,以提高圖像處理的準(zhǔn)確性。
本發(fā)明實(shí)施例的第一方面提供一種圖像處理方法,該方法可以將不同光照條件下的對象顏色統(tǒng)一到“同一”參考光照條件下,具體實(shí)現(xiàn)中,可以在獲取第一光照條件下拍攝的參考圖像中的參考背景對象的第一顏色值,以及獲取第二光照條件下拍攝的待處理圖像中的所述參考背景對象的第二顏色值和前景對象的第三顏色值之后,根據(jù)所述第一顏色值,第二顏色值和第三顏色值,估 算第一光照條件下拍攝所述前景對象的第四顏色值,實(shí)現(xiàn)將將不同光照條件下的前景對象的顏色值統(tǒng)一到第一光照條件下,后續(xù)利用前景對象在第一光照條件下的第四顏色值對前景對象進(jìn)行處理,例如檢索或查詢以及圖像編輯等。與現(xiàn)有技術(shù)相比,該方案不必剝離圖像的光照值,避免了對光照值進(jìn)行估計,從而避免了光照估計過程中產(chǎn)生的誤差,解決了現(xiàn)有技術(shù)中難以獲得精確的光照估計值的問題,提高了圖像處理的精確度。
本發(fā)明實(shí)施例的第二方面提供一種圖像處理裝置,該裝置可以將不同光照條件下的對象顏色統(tǒng)一到“同一”參考光照條件下,具體實(shí)現(xiàn)中,該裝置可以包括:獲取模塊,顏色值計算模塊,以及處理模塊,其中,獲取模塊獲取第一光照條件下拍攝的參考圖像中的參考背景對象的第一顏色值,獲取第二光照條件下拍攝的待處理圖像中的所述參考背景對象的第二顏色值和前景對象的第三顏色值;顏色值計算模塊根據(jù)所述第一,第二和第三,計算第一光照條件下拍攝所述前景對象的第四顏色值;處理模塊利用所述第四顏色值對前景對象進(jìn)行處理,例如檢索或查詢以及圖像編輯等。與現(xiàn)有技術(shù)相比,該方案不必剝離圖像的光照值,避免了對光照值進(jìn)行估計,從而避免了光照估計過程中產(chǎn)生的誤差,解決了現(xiàn)有技術(shù)中難以獲得精確的光照估計值的問題,提高了圖像處理的精確度。
基于上述的方法或裝置,還可以提供其它一些可行的實(shí)施方式,例如:
可選的,記所述第一,第二和第三以及第四顏色值分別為s1,s2,s3,s4,則可以采用公式s4=s3-(s2-s1)計算第四顏色值。需要說明的是,s1,s2,s3,s4可以是對原始觀測值取對數(shù)之后的對數(shù)值,且原始觀測值可以是rgb值,也就是說,s1,s2,s3,s4可以為對數(shù)域上的rgb值。
可選的,可以預(yù)先設(shè)定一個參考圖像,將參考圖像的光照條件定義為第一光照條件,將待處理圖像的光照條件定義為第二光照條件,則可以從所述參考圖像中獲取第一光照條件下參考背景對象的第一顏色值,從所述待處理圖像中獲取第二光照條件下所述參考背景對象的第二顏色值和前景對象的第三顏色值。
可選的,獲取多張圖像;獲取所述多張圖像中的一張圖像作為所述參考圖 像;獲取所述多張圖像中除所述參考圖像以外的任一張圖像作為所述待處理圖像;所述參考圖像包括所述參考背景對象,所述待處理圖像包括所述參考背景對象和所述前景對象。
可選的,可以根據(jù)所述多張圖像的亮度值和/或拍攝時間,從所述多張圖像中選擇一張圖像作為所述參考圖像,例如將亮度值在設(shè)定的閾值范圍內(nèi)和/或拍攝時間在預(yù)設(shè)的時間范圍內(nèi)的一張圖像設(shè)置為參考圖像。
可選的,在所述多張圖像來自于多個相機(jī)時,可以預(yù)先對所述多個相機(jī)的顏色進(jìn)行校準(zhǔn);分別計算所述多個相機(jī)中除參考相機(jī)之外的每個相機(jī)與所述參考相機(jī)各自拍攝的圖像中的參考背景對象的光照差異;從所述前景對象的第四顏色值中去除相應(yīng)的光照差異,利用去除光照差異后的第四顏色值對所述前景對象進(jìn)行處理。從而降低相機(jī)間的差異對圖像處理的影響。
本發(fā)明實(shí)施例的第三方面還提供一種計算機(jī)設(shè)備,其特征在于,所述計算機(jī)設(shè)備包括處理器、存儲器、總線和通信接口;所述存儲器用于存儲程序,所述處理器與所述存儲器通過所述總線連接,當(dāng)所述計算機(jī)設(shè)備運(yùn)行時,所述處理器執(zhí)行所述存儲器存儲的所述程序,以使所述計算機(jī)設(shè)備執(zhí)行如上文所述的圖像處理方法。
本發(fā)明實(shí)施例的第四方面還提供一種存儲一個或多個程序的計算機(jī)可讀存儲介質(zhì),所述一個或多個程序包括指令,所述指令當(dāng)被包括一個或多個處理器的計算機(jī)設(shè)備執(zhí)行時,使所述計算機(jī)設(shè)備執(zhí)行如上文所述的圖像處理方法。
由上可見,在本發(fā)明實(shí)施例的一些可行的實(shí)施方式中,根據(jù)參考背景對象在第一和第二光照條件下的顏色值,以及前景對象在第二光照條件下的顏色值,來計算前景對象在第一光照條件下的顏色值,從而將待處理圖像中的前景對象統(tǒng)一到第一光照條件下,后續(xù)可統(tǒng)一使用第一光照條件下前景對象的顏色值進(jìn)行檢索或查詢等處理,相對于現(xiàn)有技術(shù),不必剝離圖像的光照值,解決了現(xiàn)有技術(shù)中難以獲得精確的光照估計值的問題,提高了圖像處理的精確度。
附圖說明
為了更清楚地說明本發(fā)明實(shí)施例技術(shù)方案,下面將對實(shí)施例和現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹,顯而易見地,下面描述中的附圖僅僅是 本發(fā)明的一些實(shí)施例,對于本領(lǐng)域普通技術(shù)人員來講,在不付出創(chuàng)造性勞動的前提下,還可以根據(jù)這些附圖獲得其它的附圖。
圖1是本發(fā)明一個實(shí)施例提供的圖像處理方法的流程示意圖;
圖2是本發(fā)明另一實(shí)施例提供的圖像處理方法的流程示意圖;
圖3a和3b分別是處理前后的圖像的示意圖;
圖4是本發(fā)明又一實(shí)施例提供的圖像處理方法的流程示意圖;
圖5是本發(fā)明一個實(shí)施例提供的圖像處理裝置的結(jié)構(gòu)示意圖;
圖6是本發(fā)明另一實(shí)施例提供的圖像處理裝置的結(jié)構(gòu)示意圖;
圖7是本發(fā)明一個實(shí)施例提供的計算機(jī)設(shè)備的結(jié)構(gòu)示意圖。
具體實(shí)施方式
為了使本技術(shù)領(lǐng)域的人員更好地理解本發(fā)明方案,下面將結(jié)合本發(fā)明實(shí)施例中的附圖,對本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述,顯然,所描述的實(shí)施例僅僅是本發(fā)明一部分的實(shí)施例,而不是全部的實(shí)施例?;诒景l(fā)明中的實(shí)施例,本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實(shí)施例,都應(yīng)當(dāng)屬于本發(fā)明保護(hù)的范圍。
本發(fā)明的說明書和權(quán)利要求書及上述附圖中的術(shù)語“第一”、“第二”、“第三”等是用于區(qū)別不同的對象,而不是用于描述特定順序。此外,術(shù)語“包括”和“具有”以及它們?nèi)魏巫冃?,意圖在于覆蓋不排他的包含。例如包含了一系列步驟或單元的過程、方法、系統(tǒng)、產(chǎn)品或設(shè)備沒有限定于已列出的步驟或單元,而是可選地還包括沒有列出的步驟或單元,或可選地還包括對于這些過程、方法、產(chǎn)品或設(shè)備固有的其它步驟或單元。
本發(fā)明實(shí)施例技術(shù)方案應(yīng)用人臉識別、虹膜識別和視頻監(jiān)控等各種涉及圖像處理的計算機(jī)系統(tǒng),該計算機(jī)系統(tǒng)可以包括:用于獲取圖像的圖像采集單元,例如各種相機(jī)、攝像機(jī)、攝像模組等;用于存儲圖像的存儲單元,例如只讀存儲器(英文全稱:read-onlymemory,英文簡稱:rom)、隨機(jī)存取存儲器(英文全稱:randomaccessmemory,英文簡稱:ram)、移動硬盤、磁碟或者光盤等;用于進(jìn)行圖像處理的處理單元,例如中央處理器(英文全稱:centralprocessingunit,英文簡稱:cpu),或者特定集成電路(英文全稱:application specificintegratedcircuit,英文簡稱:asic)等;用于顯示圖像的顯示單元,例如陰極射線管顯示器(英文全稱:cathoderaytube,英文簡稱:crt),等離子顯示器(英文全稱:plasmadisplaypanel,英文簡稱:pdp),液晶顯示器(英文全稱:liquidcrystaldisplay,英文簡稱:lcd)等;和連接上述各個單元、用于上述各個單元之間相互通信的總線,例如工業(yè)標(biāo)準(zhǔn)體系結(jié)構(gòu)(industrystandardarchitecture,簡稱為isa)總線或外部設(shè)備互連(peripheralcomponent,簡稱為pci)總線或擴(kuò)展工業(yè)標(biāo)準(zhǔn)體系結(jié)構(gòu)(extendedindustrystandardarchitecture,簡稱為eisa)總線等;以及通信接口等。
不同光照條件下拍攝的圖像中,同一物理對象的顏色值會發(fā)生改變,進(jìn)而影響以顏色為主要特征進(jìn)行查詢檢索的結(jié)果。本發(fā)明致力于解決此問題。
本發(fā)明實(shí)施例技術(shù)方案可用于這樣的場景:在已給出的多張圖像中,給定一張圖像,將給定的圖像中的前景對象作為查詢目標(biāo),將該查詢目標(biāo)與其它圖像中的前景對象進(jìn)行匹配,判斷是否是同一對象,以查詢或檢索出所有包含查詢目標(biāo)的圖像。
請參考圖3a,是以左上角第一張圖像中的人像為查詢目標(biāo),直接從多張圖像中進(jìn)行查詢,查找包含該查詢目標(biāo)的圖像的查詢結(jié)果,查詢結(jié)果顯示,第一行的第一至第七共7張圖像都包含該查詢目標(biāo),或者說,這7張圖像中的人像是同一人。然而,由于各張圖像的顏色值受到光照值影響,查詢結(jié)果難以找出包含查詢目標(biāo)的所有圖像,假設(shè)多張圖像中包含查詢目標(biāo)的圖像共有15張,則查詢命中率僅為7/15=47%。
本發(fā)明一個實(shí)施例提供的圖像處理方法可包括:獲取第一光照條件下拍攝的參考圖像中的參考背景對象的第一顏色值;獲取第二光照條件下拍攝的待處理圖像中的所述參考背景對象的第二顏色值和前景對象的第三顏色值;根據(jù)所述第一顏色值,第二顏色值和第三顏色值,估算第一光照條件下拍攝所述前景對象的第四顏色值;利用所述第四顏色值對所述待處理圖像中的所述前景對象進(jìn)行處理,例如進(jìn)行檢索或查詢。
由上,為了避免對光照值進(jìn)行估計,并避免基于估計的光照值再估計圖像的反射系數(shù)(固有色彩),從而避免光照估計過程中產(chǎn)生的誤差,本發(fā)明實(shí)施 例方案中,將不同光照條件下的對象顏色統(tǒng)一到“同一”參考光照條件即第一光照條件下,以獲得對象在近似同一光照條件下的顏色值。
為此,本發(fā)明實(shí)施例假定可以獲得光照較好情況下的參考背景對象的顏色值,通常情況下這是可能的。例如,對于視頻監(jiān)控應(yīng)用,可在白天某時刻獲得光照較好情況下的參考背景對象的顏色值。使用光照較好情況下的參考背景對象的顏色值作為先驗信息,本文中將該光照較好情況下的光照條件稱為第一光照條件。在光照均勻的情況下,可以利用不同光照條件下同一或同種參照背景對象的顏色值的差異,來計算前景對象在第一光照條件下的顏色值,將前景對象統(tǒng)一到第一光照條件下。
請參考圖3b,是采用本發(fā)明實(shí)例方法將多張圖像的前景對象統(tǒng)一到第一光照條件下后,以左上角第一張圖像中的人像為查詢目標(biāo),從多張圖像中進(jìn)行查詢,查找同一人的圖像的查詢結(jié)果。查詢結(jié)果顯示,共找出15張包含查詢目標(biāo)的圖像,如圖3b中第一行的前15張圖像,查詢命中率為15/15=100%。
請參考圖1,本發(fā)明一個實(shí)施例提供的圖像處理方法的具體過程可包括:
110、獲取第一光照條件下拍攝的參考圖像中的參考背景對象的第一顏色值。
本發(fā)明實(shí)施例中,可以從包含參考背景對象的參考圖像中,獲取第一光照條件下參考背景對象的第一顏色值。所謂的第一光照條件,可以理解為拍攝參考圖像的光照條件。本發(fā)明實(shí)施例中,可以在獲取的需要進(jìn)行處理的多張圖像中,任選一張作為參考圖像,將該參考圖像的光照條件定義為第一光照條件。其中,獲取的多張圖像中應(yīng)包括同一個或同一種參考背景對象,例如道路、樹木、墻壁等,本文對于參考背景對象的具體類別不加限定。
本文中,將所述多張圖像中除所述參考圖像以外的圖像稱為待處理圖像。可選的,步驟110之前還可以包括:獲取多張圖像;獲取所述多張圖像中的一張圖像作為所述參考圖像;獲取所述多張圖像中除所述參考圖像以外的任一張圖像作為所述待處理圖像。
所說的第一顏色值,以及后文將提到的第二、第三或第四顏色值等,可簡稱為顏色值或色值,具體可以是指rgb值,rgb用英文表示就是r(red)、 g(green)、b(blue)。rgb色彩模式是工業(yè)界的一種顏色標(biāo)準(zhǔn),是通過對紅(r)、綠(g)、藍(lán)(b)三個顏色通道的變化以及它們相互之間的疊加來得到各式各樣的顏色的,rgb即是代表紅、綠、藍(lán)三個通道的顏色,這個標(biāo)準(zhǔn)幾乎包括了人類視力所能感知的所有顏色,是目前運(yùn)用最廣的顏色系統(tǒng)之一。rgb是指亮度,并使用整數(shù)來表示。通常情況下,r、g、b各有256級亮度,用數(shù)字表示為從0、1、2...直到255,共256級。
對一種顏色進(jìn)行編碼的方法統(tǒng)稱為“顏色空間”或“色域”。任何一種顏色的“顏色空間”都可定義成一個固定的數(shù)字或變量。采用rgb這種編碼方法,每種顏色都可用三個變量來表示-紅色、綠色以及藍(lán)色的亮度。可以采用多種rgb格式來表示一種顏色,例如一種格式稱為rgb555,rgb555是一種16位的rgb格式,rgb的三個分量都用5位表示,剩下的1位不用;這樣,圖像中每個像素的顏色都可以用一個16位的二進(jìn)制數(shù)字表示。實(shí)際應(yīng)用中,不限于rgb555這種格式,也可以采用rgb565,rgb24,rgb32等格式,這里不再贅述。
為了提高圖像處理的準(zhǔn)確度,本文中可以選擇光照條件較好情況下拍攝的圖像作為參考圖像。其中,光照條件較好可以理解為圖像亮度值在設(shè)定的閾值范圍內(nèi),和/或,拍攝時間在設(shè)定的時間范圍內(nèi)。一些實(shí)施例中,可以根據(jù)所述多張圖像的亮度值和/或拍攝時間,例如,亮度值在4.5到5.5之間,且拍攝時間為上午,從所述多張圖像中選擇一張圖像作為所述參考圖像。其中,亮度值的單位可以是堪德拉每平米(cd/m2)。
120、獲取第二光照條件下拍攝的待處理圖像中的所述參考背景對象的第二顏色值和前景對象的第三顏色值。
本步驟中,具體可以從同時包含參考背景對象和前景對象的待處理圖像中,獲取第二光照條件下參考背景對象的第二顏色值和前景對象的第三顏色值。所謂的第二光照條件,可以理解為拍攝待處理圖像的光照條件。所述待處理圖像可以是指上一個步驟中獲取的多張圖像中,除了選定的參考圖像以外的任一圖像。
130、根據(jù)所述第一顏色值,第二顏色值和第三顏色值,估算第一光照條件下拍攝所述前景對象的第四顏色值。
記所述第一顏色值,第二顏色值和第三顏色值以及第四顏色值分別為s1,s2,s3,s4,則有s4=s3-(s2-s1);需要說明的是,這里的s1,s2,s3,s4是對原始觀測值取對數(shù)之后的值。所述原始觀測值可以是rgb值。也就是說,s1,s2,s3,s4為對數(shù)域上的rgb值,對數(shù)域上的rgb值具體是指對rgb值取對數(shù)得到的值。通過取對數(shù),既符合人眼視覺特性,也起到數(shù)據(jù)壓縮作用。
計算原理簡單說明如下,根據(jù)參考背景對象分別在第一和第二光照條件下的顏色值s1,s2,可計算得到第一和第二光照條件下的光照值的差異為δs=(s2-s1);同理,可以得到δs=(s4-s3);則有δs=(s2-s1)=(s4-s3),可以計算得到s4=s3-(s2-s1)。于是,獲得了前景對象在第一光照條件下的顏色值,實(shí)現(xiàn)了將第二光照條件下的前景對象的顏色統(tǒng)一到第一光照條件下。
基于該算法,可以計算得到任一張需要處理的圖像中的前景對象在第一光照條件下的顏色值,實(shí)現(xiàn)了不同光照條件下的多張圖像中的前景對象的顏色統(tǒng)一到第一光照條件下。
140、利用所述第四顏色值對所述前景對象進(jìn)行處理。
本步驟中,就可以利用前景對象統(tǒng)一到第一光照條件下的顏色值來進(jìn)行圖像處理,包括檢索或查詢等等。例如圖3b所示,可以從圖3b所示的圖像中選擇一張清晰度較高的圖像作為參考圖像,將其它圖像中的前景對象(具體為人像)的顏色值統(tǒng)一到拍攝該參考圖像的第一光照條件下,利用各張圖像的前景對象估算得到的第一光照條件下的顏色值進(jìn)行檢索或查詢,其中,可將左上角第一張圖像中的人像作為查詢目標(biāo),將其它任一張圖像中的人像與該查詢目標(biāo)進(jìn)行匹配,判斷是否是同一人,以查找包含該查找目標(biāo)的所有圖像,最終查詢得到15張包含查詢目標(biāo)的圖像,如圖3b中第一行的前15張圖像。
下面,對本方案的技術(shù)原理做進(jìn)一步的介紹:
目前廣泛應(yīng)用的一個光照模型是retinex數(shù)學(xué)模型,本發(fā)明技術(shù)原理在此模型基礎(chǔ)上,并在假定可以獲取第一光照條件l0下的參考背景對象的顏色值的情況下,推導(dǎo)出在第二光照條件l1下得到的前景對象在l0光照下的顏色值,其中,l0和l1的具體取值不需要知道。
retinex模型如下:
s(x,y)=l(x,y)*r(x,y)(1.1)
其中,s(x,y)為顏色值,l(x,y)為光照值,r(x,y)為對象的反射系數(shù)。
通過對(1)式兩端取對數(shù),并對符號簡化,(1.1)式等價于
s(x,y)=l(x,y)+r(x,y)(1.2)
式(2)中,分別用大寫的s(x,y),l(x,y),r(x,y)表示s(x,y),l(x,y),r(x,y)取對數(shù)之后的值。
在光照l0情況下,對于參考背景對象有下式成立
sbg,0=l0(x,y)+rbg(x,y)(1.2.1)
其中,下標(biāo)bg表示背景對象,下標(biāo)0表示光照l0。
在新的光照l1情況下,對于背景對象有
sbg,1=l1(x,y)+rbg(x,y)(1.2.2)
其中,下標(biāo)bg表示背景對象,下標(biāo)1表示光照l1。
此時,對于前景對象有
sfg,1=l1(x,y)+rfg(x,y)(1.2.3)
其中,下標(biāo)fg表示前景對象,下標(biāo)1表示光照l1。
由(1.2.2)減去(1.2.1),可以得到
sbg,1-sbg,0=l1(x,y)-l0(x,y)
進(jìn)而得到
l1(x,y)=l0(x,y)+(sbg,1-sbg,0),
將得到的l1(x,y)代入到式(1.2.3),則有
sfg,1=rfg(x,y)+l0(x,y)+(sbg,1-sbg,0)
進(jìn)一步,可以得到
rfg(x,y)+l0(x,y)=sfg,1-(sbg,1-sbg,0)(1.2.4)
公式(1.2.4)右端都是觀測得到的顏色值,為已知。左端恰是前景對象在光照l0情況下的顏色值,可記為sfg,0。
公式(1.2.4)也可寫成sfg,0=sfg,1-(sbg,1-sbg,0)
可以理解,本發(fā)明實(shí)施例上述方案例如可以在計算機(jī)設(shè)備具體實(shí)施。該方案根據(jù)參考背景對象在第一和第二光照條件下的顏色值,以及前景對象在第二 光照條件下的顏色值,來計算前景對象在第一光照條件下的顏色值,從而將待處理圖像中的前景對象統(tǒng)一到第一光照條件下,后續(xù)可統(tǒng)一使用第一光照條件下前景對象的顏色值進(jìn)行檢索或查詢等處理,相對于現(xiàn)有技術(shù),不必剝離圖像的光照值,解決了現(xiàn)有技術(shù)中難以獲得精確的光照估計值的問題,提高了圖像處理的精確度。
為便于更好的理解本發(fā)明實(shí)施例提供的技術(shù)方案,下面通過一個具體場景下的實(shí)施方式為例進(jìn)行介紹。
請參考圖2,本發(fā)明實(shí)施例的另一種圖像處理方法??砂ǎ?/p>
210、獲取多張圖像,所述多張圖像均包括參考背景對象。
本實(shí)施例方案操作處理的對象是一組有相同背景對象的圖像集,包括多張圖像,且多張圖像均包括相同的背景對象,該相同的背景對象定義為參考背景對象。圖像集中的多張圖像可以是同一相機(jī)拍攝的,有著相同或相近的背景對象;也可以是不同相機(jī)拍攝的,不同相機(jī)之間拍攝的圖像有著重疊區(qū)域,或者沒有重疊區(qū)域,但具有相同的背景對象,比如同樣材質(zhì)的地面(如柏油馬路)。
220、根據(jù)所述多張圖像的亮度值和/或拍攝時間,從所述多張圖像中選擇一張設(shè)為所述參考圖像。
可以根據(jù)所述多張圖像的亮度值和/或拍攝時間,選定在光照強(qiáng)度較好情況下拍攝的一張圖像,設(shè)為參考圖像。例如可以認(rèn)為亮度值在4.5到5.5之間,且拍攝時間為上午時,光照強(qiáng)度較好,拍攝的圖像較為清晰,則可以選擇這樣的一張圖像,設(shè)為參考圖像。
選定參考圖像中特定背景對象作為參考背景對象(sbg,0),該參考背景對象的選擇要求是出現(xiàn)在前述待處理圖像集的多張圖像中。該參考背景對象對應(yīng)的光照強(qiáng)度作為參考光照水平,即前文所述的第一光照條件l0。
230、獲取參考圖像和待處理圖像。
將圖像集中除參考圖像外的其它圖像定義為待處理圖像,可以根據(jù)參考圖像對任一待處理圖像進(jìn)行處理,包括如下步驟:
240、從所述參考圖像中獲取第一光照條件下參考背景對象的第一顏色值;從所述待處理圖像中獲取第二光照條件下所述參考背景對象的第二顏色值和 前景對象的第三顏色值。
從參考圖像中提取參考背景對象的顏色值sbg,0,對前述待處理的圖像集中的每一張待處理圖像,提取和參考背景對象相同的背景對象sbg,1以及希望恢復(fù)到參考光照水平的前景對象sfg,1。記所述第一顏色值,第二顏色值和第三顏色值分別為sbg,0,sbg,1,sfg,1。
250、計算第一光照條件下所述前景對象的第四顏色值sfg,0;
利用公式(1.2.4),可以得到sfg,0=sfg,1-(sbg,1-sbg,0)
或者,將第一,第二,第三以及第四顏色值分別記為s1,s2,s3,s4。則有s4=s3-(s2-s1)。
260、利用第四顏色值對待處理圖像中的前景對象進(jìn)行處理。
輸入的計算結(jié)果—第四顏色值sfg,0,可用于后續(xù)的創(chuàng)建索引進(jìn)行檢索或查詢等處理。例如,當(dāng)前景對象為人時,希望從圖像集中找出某個人的圖像,則可以將圖像集中各圖像的前景對象的顏色值統(tǒng)一到參考光照水平下,然后利用參考光照水平下的顏色值進(jìn)行人像檢索或查詢。請參考圖3a,是未做上述圖像處理的情況下以左上角第一幅圖像作為查詢對象得到的查詢結(jié)果,如圖中的線框所示,找出7張包含查詢目標(biāo)的圖像,如圖3a中第一行的前7張圖像,但實(shí)際上,圖片集合中共包括該查詢對象的15張圖像,因此,查詢命中率為7/15=47%;請參考圖3b,是先對所有圖像進(jìn)行上述圖像處理,將所有圖像都統(tǒng)一到同一個光照條件下之后,仍以左上角第一幅圖像作為查詢對象得到的查詢結(jié)果,如圖中的線框所示,找出15張包含查詢目標(biāo)的圖像,如圖3b中第一行的前15張圖像,命中率為15/15=100%。
需要說明的是,一些實(shí)施例中可以根據(jù)第四顏色值對待處理圖像中的前景對象進(jìn)行顏色校正,將校正后的待處理圖像顯示出來;另一些實(shí)施例中,也可以僅僅將第四顏色值用來進(jìn)行檢索和查詢,而不對前景對象進(jìn)行顏色校正,且不顯示校正后的待處理圖像;是否顯示可根據(jù)實(shí)際需要決定。
以上,如圖2所示的實(shí)施例,對本發(fā)明實(shí)施例圖像處理方法進(jìn)行了進(jìn)一步說明,其中,所處理的圖像集中的多張圖像可以是同一相機(jī)拍攝的,也可以是不同相機(jī)拍攝的,不同相機(jī)之間拍攝的圖像可以有重疊區(qū)域;或者沒有重疊區(qū) 域,但具有同樣的參考背景對象,比如同樣材質(zhì)的地面,如柏油馬路。即,本發(fā)明實(shí)施例技術(shù)方案可以直接應(yīng)用于跨攝像頭的應(yīng)用。
對于每一個相機(jī)拍攝的圖像,可以選取光照較好的第一光照條件如l0的一張圖像,設(shè)為參考圖像,將每一相機(jī)拍攝的圖像的前景對象都映射到l0下,也就是估算出在第一光照條件l0下的顏色值。為了下文描述方便,將這個過程,也就是上文中的步驟110~130描述的過程,或者,步驟210~250描述的過程,稱作光照預(yù)處理。盡管不同相機(jī)選擇了可能不同的參考光照水平,但由于都是相對較好的光照,對于很多應(yīng)用,經(jīng)過這樣光照預(yù)處理后的圖像可以基本符合查詢或檢索的需求。
但是,某些情況中相機(jī)之間的差異較大,對于多個相機(jī)拍攝的多張圖像進(jìn)行上述的光照預(yù)處理后,如果出現(xiàn)仍無法滿足應(yīng)用的情況,可以通過一些技術(shù)手段對不同相機(jī)拍攝的已經(jīng)經(jīng)過光照預(yù)處理的圖像再次進(jìn)行處理,將它們映射到近似相同的參考光照水平。以下實(shí)施例描述了一種技術(shù)方法以達(dá)到此目的。
請參考圖4,一些實(shí)施例中,本發(fā)明實(shí)施例的圖像處理方法可以包括:
410、相機(jī)間顏色校準(zhǔn)。
可以在安裝相機(jī)時,預(yù)先對多個相機(jī)的顏色進(jìn)行校準(zhǔn)。
420、相機(jī)間不同參考背景對象間對應(yīng)的參考光照水平校準(zhǔn)。
本步驟中,分別計算所述多個相機(jī)中除參考相機(jī)之外的每個相機(jī)與參考相機(jī)各自拍攝的圖像中的參考背景對象的光照差異。在缺乏可公共參考的背景對象時,可以使用每一個相機(jī)對同一調(diào)色板的多個顏色進(jìn)行拍照,同時對背景環(huán)境進(jìn)行拍照。此時得到的調(diào)色板顏色的圖像與背景對象的光照水平是一致的??梢允褂妹總€相機(jī)拍攝得到的調(diào)色板顏色圖像,來計算估計不同相機(jī)拍攝的參考背景對象之間的光照差異δl。為了避免大量的計算負(fù)擔(dān),可以選定某一相機(jī)作為比較標(biāo)準(zhǔn),這里稱作參考標(biāo)準(zhǔn)相機(jī),計算所有其他相機(jī)拍攝的參考背景對象與參考標(biāo)準(zhǔn)相機(jī)拍攝的參考背景對象之間的光照差異δsl。分別計算多個相機(jī)中的每個相機(jī)與參考相機(jī)各自拍攝的圖像中的參考背景對象的光照差異δsl。
430、對每個相機(jī)拍攝的前景對象做光照預(yù)處理。
本步驟中對每一相機(jī)拍攝的圖像,進(jìn)行光照預(yù)處理操作。光照預(yù)處理的具體過程對應(yīng)于上文中的步驟110~130描述的過程,或者,步驟210~250描述的過程,這里不再詳細(xì)贅述。
440、對不同相機(jī)拍攝的光照預(yù)處理后前景對象做去除光照差異處理。
本步驟中,從每一張待處理圖像的前景對象的第四顏色值中去除相應(yīng)的光照差異,得到修正后的第四顏色值。也就是說,對得到的前景對象序列,去除光照差異δsl。注意,對于參考標(biāo)準(zhǔn)相機(jī)拍攝的圖像序列,進(jìn)行光照預(yù)處理步驟之后,不需要去除光照差異的步驟,因為自身之間不存在差異。去除光照差異后得到的圖像序列可稱作光照無差異估計圖像序列。所得到的光照無差異估計圖像序列即可用于應(yīng)用中的查詢檢索。
450、利用前景對象的、經(jīng)上述步驟處理后得到的顏色值進(jìn)行檢索或查詢等處理。
本步驟中,利用上述步驟的輸出結(jié)果圖像進(jìn)行圖像查詢檢索,即,利用光照無差異估計圖像序列的、修正后的第四顏色值進(jìn)行檢索或查詢等處理。
需要說明的是,上述步驟440也可以在步驟430之前執(zhí)行。
由上可見,在本發(fā)明的一些可行的實(shí)施方式中,提供了一種圖像處理方法,根據(jù)參考背景對象在第一和第二光照條件下的顏色值,以及前景對象在第二光照條件下的顏色值,來計算前景對象在第一光照條件下的顏色值,從而將待處理圖像中的前景對象統(tǒng)一到第一光照條件下,后續(xù)可統(tǒng)一使用第一光照條件下前景對象的顏色值進(jìn)行檢索或查詢等處理,相對于現(xiàn)有技術(shù),不必剝離圖像的光照值,解決了現(xiàn)有技術(shù)中難以獲得精確的光照估計值的問題,提高了圖像處理的精確度。
為了更好的實(shí)施本發(fā)明實(shí)施例的上述方案,下面還提供用于配合實(shí)施上述方案的相關(guān)裝置。
請參考圖5,本發(fā)明實(shí)施例提供一種圖像處理裝置500,可包括:
獲取模塊510,用于獲取第一光照條件下拍攝的參考圖像中的參考背景對象的第一顏色值;獲取第二光照條件下拍攝的待處理圖像中的所述參考背景對象的第二顏色值和前景對象的第三顏色值;
顏色值計算模塊520,用于根據(jù)所述第一顏色值,第二顏色值和第三顏色值,估算第一光照條件下拍攝所述前景對象的第四顏色值;
處理模塊530,用于利用所述第四顏色值對所述前景對象進(jìn)行處理。
其中,顏色值可簡稱為色值。
在一些實(shí)施例中,所述第一顏色值,第二顏色值和第三顏色值以及第四顏色值為rgb值或?qū)?shù)域上的rgb值。
在一些實(shí)施例中,所述顏色值計算模塊520,具體用于采用以下公式計算所述第四顏色值:s4=s3-(s2-s1);其中,s1,s2,s3,s4分別為所述第一顏色值,第二顏色值和第三顏色值以及第四顏色值,且s1,s2,s3,s4為對數(shù)域上的rgb值。
請參考圖6,在一些實(shí)施例中,所述獲取模塊510還用于:獲取多張圖像;獲取所述多張圖像中的一張圖像作為所述參考圖像;獲取所述多張圖像中除所述參考圖像以外的任一張圖像作為所述待處理圖像;所述參考圖像包括所述參考背景對象,所述待處理圖像包括所述參考背景對象和所述前景對象。
請參考圖6,在一些實(shí)施例中,圖像處理裝置500還包括:設(shè)置模塊540;
所述設(shè)置模塊540,用于根據(jù)所述多張圖像的亮度值和/或拍攝時間,從所述多張圖像中選擇一張圖像作為所述參考圖像。
請參考圖6,在一些實(shí)施例中,圖像處理裝置500還包括:
校準(zhǔn)模塊550,用于預(yù)先對所述多個相機(jī)的顏色進(jìn)行校準(zhǔn);
差異計算模塊560,用于分別計算所述多個相機(jī)中除參考相機(jī)之外的每個相機(jī)與參考相機(jī)各自拍攝的圖像中的所述參考背景對象的光照差異;
所述處理模塊530,還用于從所述第四顏色值中去除相應(yīng)的光照差異,利用去除光照差異后的第四顏色值對所述前景對象進(jìn)行處理。
在一些實(shí)施例中,所述處理模塊530,具體用于對所述前景對象進(jìn)行檢索或查詢。
本發(fā)明實(shí)施例的圖像處理裝置例如可以是計算機(jī)設(shè)備。上述各個功能模塊可以由計算機(jī)設(shè)備的處理器執(zhí)行存儲器中存儲的程序來實(shí)現(xiàn)。
可以理解,本發(fā)明實(shí)施例的圖像處理裝置的各個功能模塊的功能可根據(jù)上 述方法實(shí)施例中的方法具體實(shí)現(xiàn),其具體實(shí)現(xiàn)過程可參照上述方法實(shí)施例中的相關(guān)描述,此處不再贅述。
由上可見,在本發(fā)明的一些可行的實(shí)施方式中,提供了一種圖像處理裝置,根據(jù)參考背景對象在第一和第二光照條件下的顏色值,以及前景對象在第二光照條件下的顏色值,來計算前景對象在第一光照條件下的顏色值,從而將待處理圖像中的前景對象統(tǒng)一到第一光照條件下,后續(xù)可統(tǒng)一使用第一光照條件下前景對象的顏色值進(jìn)行檢索或查詢等處理,相對于現(xiàn)有技術(shù),不必剝離圖像的光照值,解決了現(xiàn)有技術(shù)中難以獲得精確的光照估計值的問題,提高了圖像處理的精確度。
請參考圖7,本發(fā)明實(shí)施例還提供一種計算機(jī)設(shè)備700,可包括:
處理器710,存儲器720,通信接口730,總線740;
所述處理器710,存儲器720,通信接口730通過所述總線740連接并相互的通信;所述通信接口730,用于接收和發(fā)送數(shù)據(jù);所述存儲器720用于存儲程序750;所述處理器710用于執(zhí)行所述存儲器中的所述程序750;當(dāng)所述計算機(jī)設(shè)備700運(yùn)行時,所述處理器710執(zhí)行所述存儲器720存儲的所述程序750,以使所述計算機(jī)設(shè)備700執(zhí)行如上文方法實(shí)施例所述的圖像處理方法。
其中,處理器710可以執(zhí)行以下步驟:獲取第一光照條件下拍攝的參考圖像中的參考背景對象的第一顏色值;獲取第二光照條件下拍攝的待處理圖像中的所述參考背景對象的第二顏色值和前景對象的第三顏色值;根據(jù)所述第一顏色值,第二顏色值和第三顏色值,估算第一光照條件下拍攝所述前景對象的第四顏色值;利用所述第四顏色值對所述前景對象進(jìn)行處理。
所述總線740可以是工業(yè)標(biāo)準(zhǔn)體系結(jié)構(gòu)(industrystandardarchitecture,簡稱為isa)總線或外部設(shè)備互連(peripheralcomponent,簡稱為pci)總線或擴(kuò)展工業(yè)標(biāo)準(zhǔn)體系結(jié)構(gòu)(extendedindustrystandardarchitecture,簡稱為eisa)總線等。所述總線可以分為地址總線、數(shù)據(jù)總線、控制總線中的一種或多種。為便于表示,圖中僅用一條粗線表示,但并不表示僅有一根總線或一種類型的總線。
所述存儲器720可以包含高速ram(ramdomaccessmemory)存儲器。 可選地,所述存儲器720還可以還包括非易失性存儲器(non-volatilememory)。例如所述存儲器720可以包括磁盤存儲器。
所述處理器710可以是一個中央處理器(centralprocessingunit,簡稱為cpu),或者所述處理器710可以是特定集成電路(applicationspecificintegratedcircuit,簡稱為asic),或者所述處理器710可以是被配置成實(shí)施本發(fā)明實(shí)施例的一個或多個集成電路。
可以理解,本發(fā)明實(shí)施例的計算機(jī)設(shè)備的功能可根據(jù)上述方法實(shí)施例中的方法具體實(shí)現(xiàn),其具體實(shí)現(xiàn)過程可參照上述方法實(shí)施例中的相關(guān)描述,此處不再贅述。該計算機(jī)設(shè)備通過實(shí)施上述方法實(shí)施例中的方法,可以取得上述方法實(shí)施例所能取得的技術(shù)效果。
(實(shí)施例三、)本發(fā)明實(shí)施例還提供一種存儲一個或多個程序的計算機(jī)可讀存儲介質(zhì),所述一個或多個程序包括指令,所述指令當(dāng)被包括一個或多個處理器的計算機(jī)設(shè)備執(zhí)行時,使所述計算機(jī)設(shè)備執(zhí)行如上文方法實(shí)施例所述的圖像處理方法。
在上述實(shí)施例中,對各個實(shí)施例的描述都各有側(cè)重,某個實(shí)施例中沒有詳細(xì)描述的部分,可以參見其它實(shí)施例的相關(guān)描述。
需要說明的是,對于前述的各方法實(shí)施例,為了簡單描述,故將其都表述為一系列的動作組合,但是本領(lǐng)域技術(shù)人員應(yīng)該知悉,本發(fā)明并不受所描述動作順序的限制,因為依據(jù)本發(fā)明,某些步驟可以采用其它順序或者同時進(jìn)行。其次,本領(lǐng)域技術(shù)人員也應(yīng)該知悉,說明書中所描述的實(shí)施例均屬于優(yōu)選實(shí)施例,所涉及的動作和模塊并不一定是本發(fā)明所必須的。
所屬領(lǐng)域的技術(shù)人員可以清楚地了解到,為描述的方便和簡潔,上述描述的系統(tǒng),裝置和單元的具體工作過程,可以參考前述方法實(shí)施例中的對應(yīng)過程,在此不再贅述。
在本申請所提供的幾個實(shí)施例中,應(yīng)該理解到,所揭露的系統(tǒng),裝置和方法,可以通過其它的方式實(shí)現(xiàn)。例如,以上所描述的裝置實(shí)施例僅僅是示意性的,例如,單元的劃分,僅僅為一種邏輯功能劃分,實(shí)際實(shí)現(xiàn)時可以有另外的 劃分方式,例如多個單元或組件可以結(jié)合或者可以集成到另一個系統(tǒng),或一些特征可以忽略,或不執(zhí)行。另一點(diǎn),所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些接口,裝置或單元的間接耦合或通信連接,可以是電性,機(jī)械或其它的形式。
作為分離部件說明的單元可以是或者也可以不是物理上分開的,作為單元顯示的部件可以是或者也可以不是物理單元,即可以位于一個地方,或者也可以分布到多個網(wǎng)絡(luò)單元上??梢愿鶕?jù)實(shí)際的需要選擇其中的部分或者全部單元來實(shí)現(xiàn)本實(shí)施例方案的目的。
另外,在本發(fā)明各個實(shí)施例中的各功能單元可以集成在一個處理單元中,也可以是各個單元單獨(dú)物理存在,也可以兩個或兩個以上單元集成在一個單元中。上述集成的單元既可以采用硬件的形式實(shí)現(xiàn),也可以采用軟件功能單元的形式實(shí)現(xiàn)。
集成的單元如果以軟件功能單元的形式實(shí)現(xiàn)并作為獨(dú)立的產(chǎn)品銷售或使用時,可以存儲在一個計算機(jī)可讀取存儲介質(zhì)中?;谶@樣的理解,本發(fā)明的技術(shù)方案本質(zhì)上或者說對現(xiàn)有技術(shù)做出貢獻(xiàn)的部分或者該技術(shù)方案的全部或部分可以以軟件產(chǎn)品的形式體現(xiàn)出來,該計算機(jī)軟件產(chǎn)品存儲在一個存儲介質(zhì)中,包括若干指令用以使得一臺計算機(jī)設(shè)備(可以是個人計算機(jī),服務(wù)器,或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個實(shí)施例方法的全部或部分步驟。而前述的存儲介質(zhì)包括:u盤、移動硬盤、只讀存儲器(rom,read-onlymemory)、隨機(jī)存取存儲器(ram,randomaccessmemory)、磁碟或者光盤等各種可以存儲程序代碼的介質(zhì)。
以上對本發(fā)明實(shí)施例所提供的圖像處理方法和裝置進(jìn)行了詳細(xì)介紹,本文中應(yīng)用了具體個例對本發(fā)明的原理及實(shí)施方式進(jìn)行了闡述,以上實(shí)施例的說明只是用于幫助理解本發(fā)明的方法及其核心思想;同時,對于本領(lǐng)域的一般技術(shù)人員,依據(jù)本發(fā)明的思想,在具體實(shí)施方式及應(yīng)用范圍上均會有改變之處,綜上所述,本說明書內(nèi)容不應(yīng)理解為對本發(fā)明的限制。