本申請涉及自動化測試技術(shù)領(lǐng)域,具體而言,涉及用于識別圖像局部區(qū)域的方法、裝置及終端設(shè)備。
背景技術(shù):
相關(guān)技術(shù)中,自動錄制腳本的過程為:用戶對設(shè)備操作,腳本錄制工具自動識別用戶的操作,實(shí)時生成對應(yīng)的操作腳本,同時自動截取操作位置的圖像保存到腳本中,將截圖文件路徑作為腳本參數(shù),如圖1所示。
回歸腳本的原理是,在運(yùn)行測試腳本時,需要將腳本中的截圖與設(shè)備當(dāng)前的畫面進(jìn)行腳本匹配,識別出腳本中的截圖在屏幕中的位置,從而定位操作位置,以在該位置處執(zhí)行腳本定義的操作,從而達(dá)到自動化回歸測試的目的。
其中,識別截圖在屏幕中的對應(yīng)位置是非常關(guān)鍵的步驟,相關(guān)技術(shù)通過設(shè)定可信度閾值來決定圖像識別的結(jié)果是否正確,并作為位置依據(jù)進(jìn)行操作。在通常情況下,腳本內(nèi)產(chǎn)生的截圖一般都會有一些多余的無關(guān)背景(如游戲控件的周邊場景,在不同的場景下或同一場景的不同放大倍率下菜單的背景均不同),這些無關(guān)背景會對識別的可信度計(jì)算造成不利影響,例如圖3為腳本截圖包含無關(guān)背景時識別目標(biāo)圖像的可信度為0.825,圖4為腳本截圖去掉無關(guān)背景時識別目標(biāo)圖像的可信度為0.989。
在實(shí)際錄制測試腳本中,無法確保生產(chǎn)腳本時獲取的截圖不包含無關(guān)背景。因此提高包含有無關(guān)背景的截圖的圖像匹配效果是腳本回歸測試面臨的一大問題。
技術(shù)實(shí)現(xiàn)要素:
本申請公開用于識別圖像局部區(qū)域的方法,在識別包含有無關(guān)背景的截圖在屏幕中的對應(yīng)位置時,使得匹配可信度提高。
本發(fā)明的其他特性和優(yōu)點(diǎn)將通過下面的詳細(xì)描述變得顯然,或部分地通過本發(fā)明的實(shí)踐而習(xí)得。
根據(jù)本發(fā)明的一個方面,提供一種用于識別圖像局部區(qū)域的方法,包括:
獲取模板圖像中的至少一個區(qū)域作為至少一個忽略區(qū)域;
將所述模板圖像與源圖像進(jìn)行匹配計(jì)算,在計(jì)算時忽略所述至少一個忽略區(qū)域,其中所述源圖像的長度大于或等于所述模板圖像的長度,所述源圖像的寬度大于或等于所述模板圖像的寬度;
根據(jù)所述匹配計(jì)算得到的結(jié)果確定識別結(jié)果。
根據(jù)一些實(shí)施例,獲取模板圖像中的至少一個區(qū)域作為至少一個忽略區(qū)域包括:響應(yīng)用戶操作獲取在所述模板圖像上設(shè)置的至少一個區(qū)域作為所述至少一個忽略區(qū)域。
根據(jù)一些實(shí)施例,獲取模板圖像中的至少一個區(qū)域作為至少一個忽略區(qū)域包括:按照設(shè)定要求從所述模板圖像上自動識別出至少一個區(qū)域作為所述至少一個忽略區(qū)域。
根據(jù)一些實(shí)施例,按照設(shè)定要求從所述模板圖像上自動識別出至少一個區(qū)域作為所述至少一個忽略區(qū)域包括:從所述模板圖像上自動識別出背景區(qū)域作為所述至少一個忽略區(qū)域。
根據(jù)一些實(shí)施例,將所述模板圖像與源圖像進(jìn)行匹配計(jì)算包括:將所述模板圖像與所述源圖像進(jìn)行歸一化相關(guān)系數(shù)匹配計(jì)算。
根據(jù)一些實(shí)施例,將所述模板圖像與源圖像進(jìn)行匹配計(jì)算,在計(jì)算時忽略所述至少一個忽略區(qū)域包括:
其中T為所述模板圖像;
I為所述源圖像;
R(x,y)為所述模板圖像T的左上角在所述源圖像I的(x,y)位置處的可信度矩陣;
(x’,y’)為所述模板圖像T中的像素;
S為所述至少一個忽略區(qū)域。根據(jù)一些實(shí)施例,根據(jù)所述匹配計(jì)算得到的結(jié)果確定識別結(jié)果包括:
根據(jù)所述匹配計(jì)算得到匹配結(jié)果矩陣,若所述匹配結(jié)果矩陣中的最大可信度達(dá)到預(yù)設(shè)條件,則將所述最大可信度對應(yīng)的區(qū)域作為匹配區(qū)域。
根據(jù)一些實(shí)施例,所述方法還包括獲取所述模板圖像中的至少一個區(qū)域作為至少一個關(guān)注區(qū)域;
根據(jù)所述匹配計(jì)算得到的結(jié)果確定識別結(jié)果包括:
將所述匹配計(jì)算作為第一匹配計(jì)算,根據(jù)所述第一匹配計(jì)算得到的結(jié)果確定至少一個初選匹配區(qū)域;
分別將所述至少一個關(guān)注區(qū)域分別與所述至少一個初選匹配區(qū)域進(jìn)行第二匹配計(jì)算,根據(jù)所述第二匹配計(jì)算得到的結(jié)果確定識別結(jié)果。
根據(jù)一些實(shí)施例,獲取所述至少一個關(guān)注區(qū)域和/或所述至少一個忽略區(qū)域包括:響應(yīng)用戶操作獲取在所述模板圖像上設(shè)置的至少一個區(qū)域作為所述至少一個關(guān)注區(qū)域和/或所述至少一個忽略區(qū)域,或者按照設(shè)定要求從所述模板圖像上自動識別出至少一個區(qū)域作為所述至少一個關(guān)注區(qū)域和/或所述至少一個忽略區(qū)域。根據(jù)一些實(shí)施例,所述第一匹配計(jì)算和/或所述第二匹配計(jì)算為歸一化相關(guān)系數(shù)匹配計(jì)算。
根據(jù)一些實(shí)施例,根據(jù)所述第二匹配計(jì)算得到的結(jié)果確定識別結(jié)果包括:
計(jì)算所述至少一個初選匹配區(qū)域中各初選匹配區(qū)域的最終可信度;
將所述最終可信度最大的初選匹配區(qū)域作為匹配區(qū)域;
其中計(jì)算初選匹配區(qū)域的最終可信度采用以下公式:
其中C為所述至少一個初選匹配區(qū)域中一個初選匹配區(qū)域的最終可信度;
S1為所述至少一個關(guān)注區(qū)域中第一關(guān)注區(qū)域的面積;
C1為所述第一關(guān)注區(qū)域與所述一個初選匹配區(qū)域第二次匹配計(jì)算得到的最大可信度;
S2為所述至少一個關(guān)注區(qū)域中第二關(guān)注區(qū)域的面積;
C2為所述第二關(guān)注區(qū)域與所述一個初選匹配區(qū)域第二次匹配計(jì)算得到的最大可信度;
SN為所述至少一個關(guān)注區(qū)域中第N關(guān)注區(qū)域的面積;
CN為所述第N關(guān)注區(qū)域與所述一個初選匹配區(qū)域第二次匹配計(jì)算得到的最大可信度。
根據(jù)本發(fā)明的另一方面,提供一種用于識別圖像局部區(qū)域的裝置,其包括:
忽略區(qū)域獲取單元,用于獲取模板圖像中的至少一個區(qū)域作為至少一個忽略區(qū)域;
匹配計(jì)算單元,用于將所述模板圖像與源圖像進(jìn)行匹配計(jì)算,在計(jì)算時忽略所述至少一個忽略區(qū)域內(nèi)的像素,其中所述源圖像的長度大于或等于所述模板圖像的長度,所述源圖像的寬度大于或等于所述模板圖像的寬度;
結(jié)果確定單元,用于根據(jù)所述匹配計(jì)算得到的結(jié)果確定識別結(jié)果。
根據(jù)一些實(shí)施例,所述忽略區(qū)域獲取單元還用于:響應(yīng)用戶操作獲取在所述模板圖像上設(shè)置的至少一個區(qū)域作為所述至少一個忽略區(qū)域。
根據(jù)一些實(shí)施例,所述忽略區(qū)域獲取單元還用于:按照設(shè)定要求從所述模板圖像上自動識別出至少一個區(qū)域作為所述至少一個忽略區(qū)域。
根據(jù)一些實(shí)施例,所述忽略區(qū)域獲取單元還用于:從所述模板圖像上自動識別出背景區(qū)域作為所述至少一個忽略區(qū)域。
根據(jù)一些實(shí)施例,所述匹配計(jì)算單元還用于:將所述模板圖像與所述源圖像進(jìn)行歸一化相關(guān)系數(shù)匹配計(jì)算。根據(jù)一些實(shí)施例,所述匹配計(jì)算單元用于將所述模板圖像與所述源圖像進(jìn)行匹配計(jì)算,在計(jì)算時忽略所述至少一個忽略區(qū)域包括:
其中T為所述模板圖像;
I為所述源圖像;
R(x,y)為所述模板圖像T的左上角在所述源圖像I的(x,y)位置處的可信度矩陣;
(x’,y’)為所述模板圖像T中的像素;
S為所述至少一個忽略區(qū)域。
根據(jù)一些實(shí)施例,所述結(jié)果確定單元用于:根據(jù)所述匹配計(jì)算得到匹配結(jié)果矩陣,若所述匹配結(jié)果矩陣中的最大可信度達(dá)到預(yù)設(shè)條件,則將所述最大可信度對應(yīng)的區(qū)域作為匹配區(qū)域。
根據(jù)一些實(shí)施例,所述裝置還包括關(guān)注區(qū)域獲取單元、以及第二匹配計(jì)算單元;
所述關(guān)注區(qū)域獲取單元用于:獲取所述模板圖像中的至少一個區(qū)域作為至少一個關(guān)注區(qū)域;
所述第二匹配計(jì)算單元用于:將所述匹配計(jì)算作為第一匹配計(jì)算,根據(jù)所述第一匹配計(jì)算得到的結(jié)果確定至少一個初選匹配區(qū)域,分別將所述至少一個關(guān)注區(qū)域分別與所述至少一個初選匹配區(qū)域進(jìn)行第二匹配計(jì)算;
所述結(jié)果確定單元用于:根據(jù)所述第二匹配計(jì)算得到的結(jié)果確定識別結(jié)果。
根據(jù)一些實(shí)施例,所述忽略區(qū)域獲取單元用于:響應(yīng)用戶操作獲取在所述模板圖像上設(shè)置的至少一個區(qū)域作為所述至少一個忽略區(qū)域,或者按照設(shè)定要求從所述模板圖像上自動識別出至少一個區(qū)域作為所述至少一個忽略區(qū)域。根據(jù)一些實(shí)施例,所述關(guān)注區(qū)域獲取單元用于:響應(yīng)用戶操作獲取在所述模板圖像上設(shè)置的至少一個區(qū)域作為所述至少一個關(guān)注區(qū)域,或者按照設(shè)定要求從所述模板圖像上自動識別出至少一個區(qū)域作為所述至少一個關(guān)注區(qū)域。
根據(jù)一些實(shí)施例,所述匹配計(jì)算單元中,所述第一匹配計(jì)算和/或所述第二匹配計(jì)算為歸一化相關(guān)系數(shù)匹配計(jì)算。
根據(jù)一些實(shí)施例,所述結(jié)果確定單元用于:
計(jì)算所述至少一個初選匹配區(qū)域中各初選匹配區(qū)域的最終可信度;
將所述最終可信度最大的初選匹配區(qū)域作為匹配區(qū)域;
其中計(jì)算初選匹配區(qū)域的最終可信度采用以下公式:
其中C為所述至少一個初選匹配區(qū)域中一個初選匹配區(qū)域的最終可信度;
S1為所述至少一個關(guān)注區(qū)域中第一關(guān)注區(qū)域的面積;
C1為所述第一關(guān)注區(qū)域與所述一個初選匹配區(qū)域第二次匹配計(jì)算得到的最大可信度;
S2為所述至少一個關(guān)注區(qū)域中第二關(guān)注區(qū)域的面積;
C2為所述第二關(guān)注區(qū)域與所述一個初選匹配區(qū)域第二次匹配計(jì)算得到的最大可信度;
SN為所述至少一個關(guān)注區(qū)域中第N關(guān)注區(qū)域的面積;
CN為所述第N關(guān)注區(qū)域與所述一個初選匹配區(qū)域第二次匹配計(jì)算得到的最大可信度。
根據(jù)本發(fā)明的另一方面,提供一種終端設(shè)備,包括:處理器;存儲器,存儲用于處理器控制以下操作的指令:
獲取模板圖像中的至少一個區(qū)域作為至少一個忽略區(qū)域;
將所述模板圖像與源圖像進(jìn)行匹配計(jì)算,在計(jì)算時忽略所述至少一個忽略區(qū)域,其中所述源圖像的長度大于或等于所述模板圖像的長度,所述源圖像的寬度大于或等于所述模板圖像的寬度;
根據(jù)所述匹配計(jì)算得到的結(jié)果確定識別結(jié)果。
本申請的實(shí)施例提供的技術(shù)方案可以包括以下有益效果:
本申請的實(shí)施例提供的技術(shù)方案能夠在識別包含有無關(guān)背景的截圖在屏幕中的對應(yīng)位置時,能夠提高匹配可信度和效率,從而能夠提高識別的質(zhì)量。應(yīng)當(dāng)理解的是,以上的一般描述和后文的細(xì)節(jié)描述僅是示例性的,并不能限制本發(fā)明。
附圖說明
通過參照附圖詳細(xì)描述其示例實(shí)施例,本發(fā)明的上述和其它特征及優(yōu)點(diǎn)將變得更加明顯。
圖1示出了相關(guān)技術(shù)中的測試腳本示例圖;
圖2示出了相關(guān)技術(shù)中運(yùn)行測試腳本時識別出圖片位置的示意圖
圖3示出了相關(guān)技術(shù)中模板圖像包含無關(guān)背景時計(jì)算可信度的示意圖;
圖4示出了相關(guān)技術(shù)中模板圖像不包含無關(guān)背景時計(jì)算可信度的示意圖;
圖5示出了根據(jù)本發(fā)明一實(shí)施例的用于識別圖像局部區(qū)域的方法;
圖6示出了根據(jù)本發(fā)明另一實(shí)施例的用于識別圖像局部區(qū)域的方法;
圖7示出了根據(jù)本發(fā)明一實(shí)施例的示例所示的應(yīng)用場合示意圖中的模板圖像示例圖;
圖8示出了根據(jù)本發(fā)明一實(shí)施例的示例所示的應(yīng)用場合示意圖中將模板圖像中不相關(guān)區(qū)域以黑色示意后的示例圖;
圖9示出了根據(jù)本發(fā)明一實(shí)施例的示例所示的應(yīng)用場合示意圖中的源圖像示例圖;
圖10示出了根據(jù)本發(fā)明一實(shí)施例的示例所示的應(yīng)用場合示意圖中的模板圖像示例圖;
圖11示出了根據(jù)本發(fā)明一實(shí)施例的示例所示的應(yīng)用場合示意圖中的源圖像示例圖;
圖12示出了根據(jù)本發(fā)明一實(shí)施例的示例所示的模板圖像與源圖像進(jìn)行第一匹配計(jì)算的結(jié)果圖;
圖13示出了根據(jù)本發(fā)明一實(shí)施例的示例所示的第一關(guān)注區(qū)進(jìn)行第二匹配計(jì)算的結(jié)果圖;
圖14示出了根據(jù)本發(fā)明一實(shí)施例的示例所示的第二關(guān)注區(qū)進(jìn)行第二匹配計(jì)算的結(jié)果圖;
圖15示出了根據(jù)本發(fā)明一實(shí)施例的示例所示的第三關(guān)注區(qū)進(jìn)行第二匹配計(jì)算的結(jié)果圖;
圖16示出了根據(jù)本發(fā)明一實(shí)施例的用于識別圖像局部區(qū)域的裝置的框圖;
圖17示出了根據(jù)本發(fā)明另一實(shí)施例的用于識別圖像局部區(qū)域的裝置的框圖;
圖18示出了根據(jù)本發(fā)明一實(shí)施例的終端設(shè)備。
具體實(shí)施方式
現(xiàn)在將參考附圖更全面地描述示例實(shí)施例。然而,示例實(shí)施例能夠以多種形式實(shí)施,且不應(yīng)被理解為限于在此闡述的實(shí)施例;相反,提供這些實(shí)施例使得本發(fā)明將全面和完整,并將示例實(shí)施例的構(gòu)思全面地傳達(dá)給本領(lǐng)域的技術(shù)人員。在圖中相同的附圖標(biāo)記表示相同或類似的部分,因而將省略對它們的重復(fù)描述。
此外,所描述的特征、結(jié)構(gòu)或特性可以以任何合適的方式結(jié)合在一個或更多實(shí)施例中。在下面的描述中,提供許多具體細(xì)節(jié)從而給出對本發(fā)明的實(shí)施例的充分理解。然而,本領(lǐng)域技術(shù)人員將意識到,可以實(shí)踐本發(fā)明的技術(shù)方案而沒有特定細(xì)節(jié)中的一個或更多,或者可以采用其它的方法、組元、裝置、步驟等。在其它情況下,不詳細(xì)示出或描述公知方法、裝置、實(shí)現(xiàn)或者操作以避免模糊本發(fā)明的各方面。
附圖中所示的方框圖僅僅是功能實(shí)體,不一定必須與物理上獨(dú)立的實(shí)體相對應(yīng)。即,可以采用軟件形式來實(shí)現(xiàn)這些功能實(shí)體,或在一個或多個硬件模塊或集成電路中實(shí)現(xiàn)這些功能實(shí)體,或在不同網(wǎng)絡(luò)和/或處理器裝置和/或微控制器裝置中實(shí)現(xiàn)這些功能實(shí)體。
附圖中所示的流程圖僅是示例性說明,不是必須包括所有的內(nèi)容和操作/步驟,也不是必須按所描述的順序執(zhí)行。例如,有的操作/步驟還可以分解,而有的操作/步驟可以合并或部分合并,因此實(shí)際執(zhí)行的順序有可能根據(jù)實(shí)際情況改變。
圖5示出了根據(jù)本發(fā)明一實(shí)施例的用于識別圖像局部區(qū)域的方法,本實(shí)施例可適用于從源圖像中識別出與模板圖像中局部區(qū)域內(nèi)容一致的情況,如圖5所示,本實(shí)施例所述的用于識別圖像局部區(qū)域的方法包括:
在步驟S510中,獲取模板圖像中的至少一個區(qū)域作為至少一個忽略區(qū)域。
本實(shí)施例所述的忽略區(qū)域是通過在模板圖像中設(shè)定的,可以是任意形狀的封閉區(qū)域。可以通過多種方式得到,例如可以通過響應(yīng)用戶操作獲取在所述模板圖像上設(shè)置的至少一個區(qū)域作為所述至少一個忽略區(qū)域,或者還可以按照設(shè)定要求從所述模板圖像上自動識別出的至少一個區(qū)域作為所述至少一個忽略區(qū)域,例如通過自動識別獲取的背景區(qū)域。
在步驟S520中,將所述模板圖像與源圖像進(jìn)行匹配計(jì)算,在計(jì)算時忽略所述至少一個忽略區(qū)域。
其中所述源圖像的長度大于或等于所述模板圖像的長度,所述源圖像的寬度大于或等于所述模板圖像的寬度。
即進(jìn)行匹配可信度計(jì)算時,不考慮所述至少一個忽略區(qū)域內(nèi)的像素。
在步驟S530中,根據(jù)所述匹配計(jì)算得到的結(jié)果確定識別結(jié)果。
本實(shí)施例在從源圖像識別出所述模板圖像時,進(jìn)行模板圖像與源圖像進(jìn)行匹配計(jì)算時忽略設(shè)定的忽略區(qū)域,根據(jù)所述匹配計(jì)算得到的結(jié)果確定識別結(jié)果。能夠在識別包含有無關(guān)背景的截圖在屏幕中的對應(yīng)位置時,能夠提高匹配可信度和效率,從而能夠提高識別的質(zhì)量。
圖6示出了根據(jù)本發(fā)明另一實(shí)施例的用于識別圖像局部區(qū)域的方法,如圖6所示,本實(shí)施例所述的用于識別圖像局部區(qū)域的方法包括:
在步驟S610中,響應(yīng)用戶操作獲取在所述模板圖像上設(shè)置的至少一個區(qū)域作為所述至少一個忽略區(qū)域。
本實(shí)施例所述的忽略區(qū)域可以是通過在模板圖像中設(shè)定的,可以是任意形狀的封閉區(qū)域。可以通過多種方式得到,例如可以通過響應(yīng)用戶操作獲取在所述模板圖像上設(shè)置的至少一個區(qū)域作為所述至少一個忽略區(qū)域,或者還可以按照設(shè)定要求從所述模板圖像上自動識別出的至少一個區(qū)域作為所述至少一個忽略區(qū)域。
例如將圖7作為模板圖像,圖9作為源圖像,以在圖9中識別出包含“烹飪”、“煉藥”、以及“擺攤”三個子菜單的菜單條為例??赏ㄟ^獲取用戶在圖7中框選出該菜單條之外的部分作為忽略區(qū)域,如圖8所示,該忽略區(qū)以黑色示意,而在計(jì)算機(jī)執(zhí)行算法時,此區(qū)域不參與匹配運(yùn)算。
在步驟S620中,響應(yīng)用戶操作獲取在所述模板圖像上設(shè)置的至少一個區(qū)域作為所述至少一個關(guān)注區(qū)域。
與步驟S610相同,本實(shí)施例所述的關(guān)注區(qū)域是通過在模板圖像中設(shè)定的,可以是任意形狀的封閉區(qū)域??梢酝ㄟ^多種方式得到,例如可以通過響應(yīng)用戶操作獲取在所述模板圖像上設(shè)置的至少一個區(qū)域作為所述至少一個關(guān)注區(qū)域,或者還可以按照設(shè)定要求從所述模板圖像上自動識別出的至少一個區(qū)域作為所述至少一個關(guān)注區(qū)域。
例如將圖10作為模板圖像,圖11作為源圖像,以在圖11所述圖像中識別包含圖10所述圖像中的三個按鈕的區(qū)塊為例??赏ㄟ^獲取用戶在圖10中框選出“烹飪”、“煉藥”、以及“擺攤”文字部分所在的區(qū)域分別作為第一關(guān)注區(qū)、第二關(guān)注區(qū)、以及第三關(guān)注區(qū)。
在步驟S630中,將所述模板圖像與源圖像進(jìn)行歸一化相關(guān)系數(shù)匹配計(jì)算確定至少一個初選匹配區(qū)域,在計(jì)算時忽略所述至少一個忽略區(qū)域。
即進(jìn)行匹配計(jì)算時,不考慮所述至少一個忽略區(qū)域內(nèi)的像素。
進(jìn)行模板匹配時,匹配計(jì)算的方法包括多種,例如:差值平方和匹配(CV_TM_SQDIFF)、歸一化差值平方和匹配(CV_TM_SQDIFF_NORMED)、相關(guān)匹配(CV_TM_CCORR)、歸一化相關(guān)匹配(CV_TM_CCORR_NORMED)、相關(guān)系數(shù)匹配(CV_TM_CCOEFF)、以及歸一化相關(guān)系數(shù)匹配(CV_TM_CCOEFF_NORMED)等。本實(shí)施例對此不作限定。
例如可采用歸一化相關(guān)系數(shù)匹配,最終返回至少一個最相似的結(jié)果位置和該結(jié)果位置對應(yīng)的匹配相似度。通過預(yù)先設(shè)定的閾值進(jìn)行結(jié)果篩選,如果匹配相似度高于預(yù)設(shè)閾值,則識別結(jié)果即為所得,如果相似度低于預(yù)設(shè)閾值,則拋棄識別結(jié)果。
圖12示出了根據(jù)圖10所示的模板圖像與圖11所示的源圖像進(jìn)行第一匹配計(jì)算的結(jié)果圖,該結(jié)果是將圖10所述模板圖像與圖11所述的源圖像進(jìn)行第一歸一化相關(guān)系數(shù)匹配計(jì)算,得到圖12右邊所示的一個初選匹配區(qū)域,兩者匹配的可信度為0.637。
在步驟S640中,分別將所述至少一個關(guān)注區(qū)域分別與所述至少一個初選匹配區(qū)域進(jìn)行第二匹配計(jì)算。
圖13示出了根據(jù)第一關(guān)注區(qū)與所述初選匹配區(qū)域進(jìn)行第二匹配計(jì)算的結(jié)果圖,其可信度為0.984,記為C1;圖14示出了根據(jù)第二關(guān)注區(qū)與所述初選匹配區(qū)域進(jìn)行第二匹配計(jì)算的結(jié)果圖,其可信度為0.984,記為C2;圖15示出了根據(jù)第三關(guān)注區(qū)與所述初選匹配區(qū)域進(jìn)行第二匹配計(jì)算的結(jié)果圖其可信度為0.981,記為C3。
第一關(guān)注區(qū)面積為S1,求出的可信度為C1;第二關(guān)注區(qū)面積為S2,求出的可信度為C2;第三關(guān)注區(qū)面積為S3,求出的可信度為C3。則最終可信度C求取如下:
上述示例,初次模板匹配的可信度求取為0.637。二次可信度求取后,最小可信度0.981,最大可信度0.984,則最終的可信度一定在[0.981,0.984]區(qū)間內(nèi),遠(yuǎn)優(yōu)于初次模板匹配。
在步驟S650中,根據(jù)所述第二匹配計(jì)算得到的結(jié)果確定識別結(jié)果。
需要說明的是,上述示例只獲取了一個初選匹配區(qū)域。若第一次匹配后,存在多于一個匹配區(qū)域的可信度大于預(yù)設(shè)可信度閾值,則均需作為初選匹配區(qū)域。此時就出現(xiàn)了初選匹配區(qū)域數(shù)目大于1的情況。對于這種情況,需要針對每個初選匹配區(qū)域進(jìn)行上述計(jì)算,獲取每一個初選匹配區(qū)域的最終可信度C,最后將最終可信度C最大的初選匹配區(qū)域作為最終的匹配結(jié)果。
本實(shí)施例能夠從源圖像中識別出與模板圖像中局部區(qū)域內(nèi)容一致但位置不一致的圖像,能夠提高匹配可信度和效率,從而能夠提高識別的質(zhì)量。對于模板圖像中包含有相似但有區(qū)別的元素、且源圖像中各元素位置錯亂的情況,使用本方法可以大大提高識別可信度,非常有利于圖像識別結(jié)果的篩選。
本實(shí)施例通過忽略區(qū)域和關(guān)注區(qū)域的結(jié)合使用,可以大大拓展模板匹配的實(shí)用范圍,舉例如下:
模板圖像中與源圖像中的目標(biāo)區(qū)域的對比中有以下四類區(qū)域:局部區(qū)域A內(nèi)容和位置均對應(yīng)一致;局部區(qū)域B的內(nèi)容一致但是位置不一致;局部區(qū)域C內(nèi)容不一致但是位置一致;局部區(qū)域D的內(nèi)容和位置均不一致。
那么在本實(shí)施例的匹配中,忽略區(qū)域是初次匹配時需要忽略的區(qū)域,因此需要將模板圖像中與源圖像目標(biāo)區(qū)域不一致的區(qū)域進(jìn)行屏蔽,將局部區(qū)域B、局部區(qū)域C、局部區(qū)域D設(shè)為忽略區(qū)域。又因?yàn)殛P(guān)注區(qū)域是局部區(qū)域A和局部區(qū)域B,將局部區(qū)域A和局部區(qū)域B設(shè)為關(guān)注區(qū)域。
在初次模板匹配中,可以通過局部區(qū)域A精確定位到源圖像中的目標(biāo)區(qū)域;二次模板匹配中,分別對局部區(qū)域A和局部區(qū)域B進(jìn)行二次模板匹配,并通過可信度加權(quán)運(yùn)算得到對應(yīng)的可信度。
通過以上步驟,就可以對源圖像有一定變化的匹配案例,使用模板匹配進(jìn)行圖像的匹配運(yùn)算。
在模板圖像中包含有較多的無關(guān)背景,且部分有效區(qū)域與源圖像的目標(biāo)區(qū)域有一定的位置偏差時,常規(guī)的模板匹配只能通過分別對有效區(qū)域在整個源圖像中分別進(jìn)行模板匹配,然后將識別可信度進(jìn)行加權(quán)平均。在本實(shí)施例中,通過加入忽略區(qū)域,使得可以將若干有效區(qū)域的內(nèi)容一并進(jìn)行初次模板匹配,避免了因?yàn)槟0鍒D像中引入較多無關(guān)背景導(dǎo)致的相似度過低的問題;并通過分別將模板圖像中的關(guān)注區(qū)域,與初次模板匹配得到的源圖像目標(biāo)區(qū)域,進(jìn)行二次模板匹配,可以迅速得到各關(guān)注區(qū)域的可信度,進(jìn)而進(jìn)行可信度加權(quán)平均(按照面積加權(quán))。
本實(shí)施例所述技術(shù)方案至少包括以下優(yōu)點(diǎn):
首先,相對于現(xiàn)有的相關(guān)技術(shù),本實(shí)施例中的方法可以大大節(jié)約匹配時間。
比如有5處關(guān)注區(qū)域的情形下,傳統(tǒng)方法需要分別執(zhí)行5次關(guān)注區(qū)域和源圖像的模板匹配。在模板匹配中,計(jì)算量與源圖像是呈正比關(guān)系。
本實(shí)施例中,只有初次模板匹配需要進(jìn)行與源圖像的匹配,二次匹配中是把源圖像中的目標(biāo)區(qū)域(和模板圖像大小一致)作為“源圖像”,二次匹配中5次關(guān)注運(yùn)算的源圖像大小為模板圖像的大小。
一般的應(yīng)用場景中,模板圖像比源圖像小得多(小一個量級),此處如果設(shè)定模板圖像為源圖像的1/10大小,每次整個源圖像的模板匹配中耗時為T,二次模板匹配中耗時大約為0.1T的級別。則傳統(tǒng)方法中耗時約為5T級別,而本實(shí)施例中的匹配耗時約為1.5T級別。
其次,相對于現(xiàn)有的相關(guān)技術(shù),本實(shí)施例中的方法可以得到更高更可靠的可信度。在上文的技術(shù)細(xì)節(jié)描述中,通過精確指定關(guān)注區(qū)域,可以獲取所關(guān)注區(qū)域的可信度,避免無關(guān)背景可能造成的干擾,也避免了因?yàn)橛行?nèi)容的移位造成的可信度計(jì)算的錯誤。
圖16示出了根據(jù)本發(fā)明一實(shí)施例的用于識別圖像局部區(qū)域的裝置的框圖,如圖16所示,本實(shí)施例所述的用于識別圖像局部區(qū)域的裝置包括忽略區(qū)域獲取單元1610、匹配計(jì)算單元1620、以及結(jié)果確定單元1630。
該忽略區(qū)域獲取單元1610被配置為,用于獲取模板圖像中的至少一個區(qū)域作為至少一個忽略區(qū)域;
該匹配計(jì)算單元1620被配置為,用于將所述模板圖像與源圖像進(jìn)行匹配計(jì)算,在計(jì)算時忽略所述至少一個忽略區(qū)域,其中所述源圖像的長度大于或等于所述模板圖像的長度,所述源圖像的寬度大于或等于所述模板圖像的寬度;
該結(jié)果確定單元1630被配置為,用于根據(jù)所述匹配計(jì)算得到的結(jié)果確定識別結(jié)果。
根據(jù)本發(fā)明的一些實(shí)施例,所述忽略區(qū)域獲取單元1610還用于:響應(yīng)用戶操作獲取在所述模板圖像上設(shè)置的至少一個區(qū)域作為所述至少一個忽略區(qū)域。
根據(jù)本發(fā)明的一些實(shí)施例,所述忽略區(qū)域獲取單元1610還用于:按照設(shè)定要求從所述模板圖像上自動識別出至少一個區(qū)域作為所述至少一個忽略區(qū)域。
根據(jù)本發(fā)明的一些實(shí)施例,所述忽略區(qū)域獲取單元1610還用于:從所述模板圖像上自動識別出背景區(qū)域作為所述至少一個忽略區(qū)域。
根據(jù)本發(fā)明的一些實(shí)施例,所述匹配計(jì)算單元1620還用于:將所述模板圖像與所述源圖像進(jìn)行歸一化相關(guān)系數(shù)匹配計(jì)算。
根據(jù)本發(fā)明的一些實(shí)施例,所述匹配計(jì)算單元1620用于將所述模板圖像與所述源圖像進(jìn)行匹配計(jì)算,在計(jì)算時忽略所述至少一個忽略區(qū)域包括:
其中T為所述模板圖像;
I為所述源圖像;
R(x,y)為所述模板圖像T的左上角在所述源圖像I的(x,y)位置處的可信度矩陣;
(x’,y’)為所述模板圖像T中的像素;
S為所述至少一個忽略區(qū)域。需要說明的是,將所述模板圖像與所述源圖像進(jìn)行匹配計(jì)算時,需要將模板圖像T與源圖像I進(jìn)行匹配度的遍歷計(jì)算,求取每次遍歷位置對應(yīng)的所述模板圖像T的左上角在所述源圖像I的(x,y)位置處的可信度矩陣R(x,y)。
R(x,y)需要將所述模板圖像T的除忽略區(qū)域之外的每個像素值T(x’,y’)與其所述源圖像中重合的I(x+x’,y+y’)進(jìn)行匹配度計(jì)算,遍歷到模板圖像T在源圖像I中遍歷到(x,y)時的匹配度矩陣即為R(x,y)。
根據(jù)本發(fā)明的一些實(shí)施例,所述結(jié)果確定單元1630用于:根據(jù)所述匹配計(jì)算得到匹配結(jié)果矩陣,若所述匹配結(jié)果矩陣中的最大可信度達(dá)到預(yù)設(shè)條件,則將所述最大可信度對應(yīng)的區(qū)域作為匹配區(qū)域。
關(guān)于上述實(shí)施例中的裝置,其中各個單元執(zhí)行操作的具體方式已經(jīng)在有關(guān)該方法的實(shí)施例中進(jìn)行了詳細(xì)描述,此處將不做詳細(xì)闡述說明。
本實(shí)施例提供的用于識別圖像局部區(qū)域的裝置可執(zhí)行本發(fā)明實(shí)施例一和實(shí)施例二所提供的用于識別圖像局部區(qū)域的方法,具備執(zhí)行方法相應(yīng)的功能模塊和有益效果。
圖17示出了根據(jù)本發(fā)明另一實(shí)施例的用于識別圖像局部區(qū)域的裝置的框圖,如圖17所示,本實(shí)施例所述的用于識別圖像局部區(qū)域的裝置包括:忽略區(qū)域獲取單元1710、關(guān)注區(qū)域獲取單元1720、匹配計(jì)算單元1730、第二匹配計(jì)算單元1740、以及結(jié)果確定單元1750。
該忽略區(qū)域獲取單元1710被配置為,用于獲取模板圖像中的至少一個區(qū)域作為至少一個忽略區(qū)域;
該關(guān)注區(qū)域獲取單元1720被配置為,獲取所述模板圖像中的至少一個區(qū)域作為至少一個關(guān)注區(qū)域;
該匹配計(jì)算單元1730被配置為,用于將所述模板圖像與源圖像進(jìn)行匹配計(jì)算,在計(jì)算時忽略所述至少一個忽略區(qū)域,其中所述源圖像的長度大于或等于所述模板圖像的長度,所述源圖像的寬度大于或等于所述模板圖像的寬度;
該第二匹配計(jì)算單元1740被配置為,將所述匹配計(jì)算作為第一匹配計(jì)算,根據(jù)所述第一匹配計(jì)算得到的結(jié)果確定至少一個初選匹配區(qū)域,分別將所述至少一個關(guān)注區(qū)域分別與所述至少一個初選匹配區(qū)域進(jìn)行第二匹配計(jì)算;
該結(jié)果確定單元1750被配置為,根據(jù)所述第二匹配計(jì)算得到的結(jié)果確定識別結(jié)果。
根據(jù)本發(fā)明的一些實(shí)施例,所述忽略區(qū)域獲取單元1710用于:響應(yīng)用戶操作獲取在所述模板圖像上設(shè)置的至少一個區(qū)域作為所述至少一個忽略區(qū)域,或者按照設(shè)定要求從所述模板圖像上自動識別出至少一個區(qū)域作為所述至少一個忽略區(qū)域;和/或
所述關(guān)注區(qū)域獲取單元1720用于:響應(yīng)用戶操作獲取在所述模板圖像上設(shè)置的至少一個區(qū)域作為所述至少一個關(guān)注區(qū)域,或者按照設(shè)定要求從所述模板圖像上自動識別出至少一個區(qū)域作為所述至少一個關(guān)注區(qū)域。
根據(jù)本發(fā)明的一些實(shí)施例,所述匹配計(jì)算單元1730中,所述第一匹配計(jì)算和/或所述第二匹配計(jì)算為歸一化相關(guān)系數(shù)匹配計(jì)算。
根據(jù)本發(fā)明的一些實(shí)施例,所述結(jié)果確定單元1750用于:
計(jì)算所述至少一個初選匹配區(qū)域中各初選匹配區(qū)域的最終可信度;
將所述最終可信度最大的初選匹配區(qū)域作為匹配區(qū)域;
其中計(jì)算初選匹配區(qū)域的最終可信度采用以下公式:
其中C為所述至少一個初選匹配區(qū)域中一個初選匹配區(qū)域的最終可信度;
S1為所述至少一個關(guān)注區(qū)域中第一關(guān)注區(qū)域的面積;
C1為所述第一關(guān)注區(qū)域與所述一個初選匹配區(qū)域第二次匹配計(jì)算得到的最大可信度;
S2為所述至少一個關(guān)注區(qū)域中第二關(guān)注區(qū)域的面積;
C2為所述第二關(guān)注區(qū)域與所述一個初選匹配區(qū)域第二次匹配計(jì)算得到的最大可信度;
SN為所述至少一個關(guān)注區(qū)域中第N關(guān)注區(qū)域的面積;
CN為所述第N關(guān)注區(qū)域與所述一個初選匹配區(qū)域第二次匹配計(jì)算得到的最大可信度。
根據(jù)本發(fā)明的一些實(shí)施例,所述匹配計(jì)算單元1730用于將所述模板圖像與所述源圖像進(jìn)行匹配計(jì)算,在計(jì)算時忽略所述至少一個忽略區(qū)域包括:
其中T為所述模板圖像;
I為所述源圖像;
R(x,y)為所述模板圖像T的左上角在所述源圖像I的(x,y)位置處的可信度矩陣;
(x’,y’)為所述模板圖像T中的像素;
S為所述至少一個忽略區(qū)域。本實(shí)施例提供的用于識別圖像局部區(qū)域的裝置可執(zhí)行本發(fā)明實(shí)施例一和實(shí)施例二所提供的用于識別圖像局部區(qū)域的方法,具備執(zhí)行方法相應(yīng)的功能模塊和有益效果。
圖18示出了根據(jù)本發(fā)明一實(shí)施例的終端設(shè)備,如圖18所示,終端設(shè)備1800可包括處理器1810、存儲器1820、發(fā)射器1830及接收器1840。
存儲器1820可存儲用于處理器1810控制操作處理的指令。存儲器1820可包括易失性或非易失性存儲器,如靜態(tài)隨機(jī)存取存儲器(SRAM)、電可擦除可編程只讀存儲器(EEPROM)、可擦除可編程只讀存儲器(EPROM)、可編程只讀存儲器(PROM)、只讀存儲器(ROM)等,本發(fā)明對此沒有限制。
處理器1810可調(diào)用存儲器1820中存儲的指令控制相關(guān)操作。根據(jù)一實(shí)施例,存儲器1820存儲用于處理器1810控制以下操作的指令:
獲取模板圖像中的至少一個區(qū)域作為至少一個忽略區(qū)域;
將所述模板圖像與源圖像進(jìn)行匹配計(jì)算,在計(jì)算時忽略所述至少一個忽略區(qū)域,其中所述源圖像的長度大于或等于所述模板圖像的長度,所述源圖像的寬度大于或等于所述模板圖像的寬度;
根據(jù)所述匹配計(jì)算得到的結(jié)果確定識別結(jié)果。
易于理解,存儲器1820還可存儲用于處理器1810控制根據(jù)本發(fā)明實(shí)施例的其他操作的指令,這里不再贅述。
處理器1810還可控制發(fā)射器1830和接收器1840進(jìn)行信號收發(fā)等。
根據(jù)一些實(shí)施例,本發(fā)明還提供一種非臨時性計(jì)算機(jī)可讀存儲介質(zhì),例如包括指令的存儲器,上述指令可由裝置的處理器執(zhí)行以完成上述方法。例如,非臨時性計(jì)算機(jī)可讀存儲介質(zhì)可以是ROM、隨機(jī)存取存儲器(RAM)、CD-ROM、磁帶、軟盤和光數(shù)據(jù)存儲設(shè)備等。當(dāng)存儲介質(zhì)中的指令由終端的處理器執(zhí)行時,使得終端能夠執(zhí)行下述方法:獲取模板圖像中的至少一個區(qū)域作為至少一個忽略區(qū)域;將所述模板圖像與源圖像進(jìn)行匹配計(jì)算,在計(jì)算時忽略所述至少一個忽略區(qū)域,其中所述源圖像的長度大于或等于所述模板圖像的長度,所述源圖像的寬度大于或等于所述模板圖像的寬度;根據(jù)所述匹配計(jì)算得到的結(jié)果確定識別結(jié)果。
本領(lǐng)域技術(shù)人員可以理解,附圖只是示例實(shí)施例的示意圖,附圖中的模塊或流程并不一定是實(shí)施本發(fā)明所必須的,因此不能用于限制本發(fā)明的保護(hù)范圍。
本領(lǐng)域技術(shù)人員可以理解上述各模塊可以按照實(shí)施例的描述分布于裝置中,也可以進(jìn)行相應(yīng)變化唯一不同于本實(shí)施例的一個或多個裝置中。上述實(shí)施例的模塊可以合并為一個模塊,也可以進(jìn)一步拆分成多個子模塊。
以上具體地示出和描述了本發(fā)明的示例性實(shí)施例。應(yīng)該理解,本發(fā)明不限于所公開的實(shí)施例,相反,本發(fā)明意圖涵蓋包含在所附權(quán)利要求的精神和范圍內(nèi)的各種修改和等效布置。