圖像處理裝置、圖像處理方法和電子設(shè)備的制作方法
【專利摘要】本發(fā)明提供一種圖像處理裝置、圖像處理方法和電子設(shè)備。圖像處理裝置包括預(yù)處理單元，其對輸入圖像進(jìn)行包括多層分割的預(yù)處理，以得到包括多個父區(qū)域和多個子區(qū)域的多個圖像區(qū)域，其中每個父區(qū)域包括將其作為分割對象分割后得到的多個子區(qū)域；計(jì)算單元，其針對每個圖像區(qū)域計(jì)算圖像特征，并且基于該圖像特征、利用訓(xùn)練好的圖像語義分類器確定該圖像區(qū)域的語義；輸入圖像語義確定單元，其根據(jù)每個父區(qū)域的語義及所包含的子區(qū)域的語義確定該父區(qū)域的最終語義，從而確定與輸入圖像相對應(yīng)的語義信息；以及檢索單元，其根據(jù)語義信息進(jìn)行檢索，以獲得與輸入圖像相關(guān)的信息。本發(fā)明能夠在不清楚檢索對象的確切名稱的情況下獲取與檢索對象相關(guān)的信息。
【專利說明】圖像處理裝置、圖像處理方法和電子設(shè)備
【技術(shù)領(lǐng)域】
[0001]本公開涉及圖像處理領(lǐng)域，尤其涉及一種圖像處理裝置、圖像處理方法以及電子設(shè)備。
【背景技術(shù)】
[0002]隨著互聯(lián)網(wǎng)在工作和生活中的廣泛應(yīng)用，人們越來越多地使用檢索方式來獲取所需信息。目前的檢索方式主要依賴于文本，即通過用戶輸入與所需信息相關(guān)的關(guān)鍵詞來進(jìn)行檢索，例如，當(dāng)用戶需要了解與待檢索對象(諸如發(fā)光二極管的電子元件)有關(guān)的信息，通常需要將“發(fā)光二極管”作為關(guān)鍵詞進(jìn)行檢索，從而獲得關(guān)于發(fā)光二極管的元件結(jié)構(gòu)、性能參數(shù)等信息。然而，例如由于電子元器件產(chǎn)品種類繁多，用戶不可能了解每一種電子元件的準(zhǔn)確名稱是什么，因此當(dāng)用戶不清楚待檢索對象的準(zhǔn)確名稱的情況下或者不方便進(jìn)行文字輸入時，可能無法使用傳統(tǒng)的文本檢索方法獲取與該電子元件相關(guān)的信息。
[0003]另一方面，隨著智能手機(jī)和平板電腦等移動設(shè)備的發(fā)展，用戶能夠方便地獲得待檢索對象(例如電子元件)的圖像，例如通過手機(jī)對待檢索對象進(jìn)行拍照，因此，如何利用待檢索相關(guān)信息的對象(例如，電子元件)的圖像獲取與其相關(guān)的信息成為當(dāng)前檢索領(lǐng)域關(guān)注的焦點(diǎn)。

【發(fā)明內(nèi)容】

[0004]在下文中給出了關(guān)于本公開的簡要概述，以便提供關(guān)于本公開的某些方面的基本理解。應(yīng)當(dāng)理解，這個概述并不是關(guān)于本公開的窮舉性概述。它并不意圖確定本公開的關(guān)鍵或重要部分，也不意圖限定本公開的范圍。其目的僅僅是以簡化的形式給出某些概念，以此作為稍后論述的更詳細(xì)描述的前序。
[0005]鑒于現(xiàn)有技術(shù)的上述缺陷，本公開的目的之一是提供一種圖像處理裝置、圖像處理方法以及電子設(shè)備，以至少克服現(xiàn)有的文本檢索必須精確了解諸如電子元件的檢索對象的準(zhǔn)確名稱的問題。
[0006]根據(jù)本發(fā)明的一個方面，提供一種獲取與輸入圖像相關(guān)的信息的圖像處理裝置，包括:預(yù)處理單元，用于對所述輸入圖像進(jìn)行包括多層分割的預(yù)處理，從而得到包括多個父區(qū)域和多個子區(qū)域的多個圖像區(qū)域，其中每個父區(qū)域包括將其作為分割對象分割后得到的多個子區(qū)域；計(jì)算單元，用于針對每個圖像區(qū)域計(jì)算圖像特征，并且基于該圖像特征、利用訓(xùn)練好的圖像語義分類器確定該圖像區(qū)域的語義；輸入圖像語義確定單元，用于根據(jù)每個父區(qū)域的語義及其所包含的子區(qū)域的語義確定該父區(qū)域的最終語義，從而確定與所述輸入圖像相對應(yīng)的語義信息；以及檢索單元，用于根據(jù)所述語義信息進(jìn)行檢索，從而獲得與所述輸入圖像相關(guān)的信息。
[0007]根據(jù)本發(fā)明的另一個方面，還提供了一種根據(jù)輸入圖像獲取與該輸入圖像相關(guān)的信息的圖像處理方法，包括:對所述輸入圖像進(jìn)行包括多層分割的預(yù)處理，從而得到包括多個父區(qū)域和多個子區(qū)域的多個圖像區(qū)域，其中每個父區(qū)域包括將其作為分割對象分割后得到的多個子區(qū)域；針對所述多個圖像區(qū)域中的每個圖像計(jì)算圖像特征，并且基于該圖像特征、利用訓(xùn)練好的圖像語義分類器確定該圖像區(qū)域的語義；根據(jù)每個父區(qū)域的語義及其所包含的子區(qū)域的語義確定該父區(qū)域的最終語義，從而確定與所述輸入圖像相對應(yīng)的語義信息；以及根據(jù)所述語義信息進(jìn)行檢索，從而獲得與所述輸入圖像相關(guān)的信息。
[0008]根據(jù)本發(fā)明的另一個方面，還提供了一種電子設(shè)備，該設(shè)備包括如上所述的圖像處理裝置，所述電子設(shè)備尤其是手機(jī)、計(jì)算機(jī)、平板電腦、以及個人數(shù)字助理。
[0009]依據(jù)本發(fā)明的其它方面，還提供了一種使得計(jì)算機(jī)用作如上所述的圖像處理裝置的程序。
[0010]依據(jù)本發(fā)明的又一方面，還提供了相應(yīng)的計(jì)算機(jī)可讀存儲介質(zhì)，該計(jì)算機(jī)可讀存儲介質(zhì)上存儲有能夠由計(jì)算設(shè)備執(zhí)行的計(jì)算機(jī)程序，所述程序在執(zhí)行時能夠使所述計(jì)算設(shè)備執(zhí)行上述圖像處理方法。
[0011]上述根據(jù)本發(fā)明實(shí)施例的圖像處理裝置和圖像處理方法以及電子設(shè)備，至少能夠獲得以下益處之一:能夠在不清楚檢索對象的確切名稱的情況下獲取與檢索對象相關(guān)的信息；并且能夠提高諸如圖像檢索之類的圖像處理的精度。
[0012]通過以下結(jié)合附圖對本發(fā)明的最佳實(shí)施例的詳細(xì)說明，本發(fā)明的這些以及其他優(yōu)點(diǎn)將更加明顯。
【專利附圖】

【附圖說明】
[0013]本公開可以通過參考下文中結(jié)合附圖所給出的描述而得到更好的理解，其中在所有附圖中使用了相同或相似的附圖標(biāo)記來表示相同或者相似的部件。所述附圖連同下面的詳細(xì)說明一起包含在本說明書中并且形成本說明書的一部分，而且用來進(jìn)一步舉例說明本公開的優(yōu)選實(shí)施例和解釋本公開的原理和優(yōu)點(diǎn)。其中:
[0014]圖1是示意性地示出根據(jù)本公開實(shí)施例的圖像處理裝置的一種示例結(jié)構(gòu)的框圖。
[0015]圖2是示意性地示出如圖1所示的輸入圖像語義確定單元的一種可能的示例結(jié)構(gòu)的框圖。
[0016]圖3是示意性地示出如圖2所示的語義確定子單元的一種可能的示例結(jié)構(gòu)的框圖。
[0017]圖4是示意性地示出根據(jù)本公開另一實(shí)施例的圖像處理裝置的一種示例結(jié)構(gòu)的框圖。
[0018]圖5是示意性地示出如圖4所示的相似性計(jì)算單元的一種可能的示例結(jié)構(gòu)的框圖。
[0019]圖6是示意性地示出如圖5所示的第二計(jì)算子單元的一種可能的示例結(jié)構(gòu)的框圖。
[0020]圖7是示意性地示出如圖5所示的第二計(jì)算子單元的另一種可能的示例結(jié)構(gòu)的框圖。
[0021]圖8是示意性地示出如圖7所示的局部匹配模塊的另一種可能的示例結(jié)構(gòu)的框圖。
[0022]圖9是示出根據(jù)本公開實(shí)施例的圖像處理方法的一種示例性處理的流程圖。
[0023]圖10示出了可用來實(shí)現(xiàn)根據(jù)本公開實(shí)施例的圖像處理裝置和圖像處理方法的一種可能的信息處理設(shè)備的硬件配置的結(jié)構(gòu)簡圖。
[0024]本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，附圖中的元件僅僅是為了簡單和清楚起見而示出的，而且不一定是按比例繪制的。例如，附圖中某些元件的尺寸可能相對于其他元件放大了，以便有助于提高對本公開實(shí)施例的理解。
【具體實(shí)施方式】
[0025]在下文中將結(jié)合附圖對本公開的示范性實(shí)施例進(jìn)行描述。為了清楚和簡明起見，在說明書中并未描述實(shí)際實(shí)施方式的所有特征。然而，應(yīng)該了解，在開發(fā)任何這種實(shí)際實(shí)施例的過程中必須做出很多特定于實(shí)施方式的決定，以便實(shí)現(xiàn)開發(fā)人員的具體目標(biāo)，例如，符合與系統(tǒng)及業(yè)務(wù)相關(guān)的那些限制條件，并且這些限制條件可能會隨著實(shí)施方式的不同而有所改變。此外，還應(yīng)該了解，雖然開發(fā)工作有可能是非常復(fù)雜和費(fèi)時的，但對得益于本公開內(nèi)容的本領(lǐng)域技術(shù)人員來說，這種開發(fā)工作僅僅是例行的任務(wù)。
[0026]在此，還需要說明的一點(diǎn)是，為了避免因不必要的細(xì)節(jié)而模糊了本公開，在附圖中僅僅示出了與根據(jù)本公開的方案密切相關(guān)的裝置結(jié)構(gòu)和/或處理步驟，而省略了與本公開關(guān)系不大的其他細(xì)節(jié)。
[0027]下面將以電子元件作為待檢索對象對本公開的圖像處理裝置以及其所包含的各個部件進(jìn)行詳細(xì)描述，但是本公開不限于此。通過以下描述，本領(lǐng)域技術(shù)人員容易理解還可以將本公開的圖像處理裝置用于獲取與諸如圖書、生活用品等其他產(chǎn)品相關(guān)的信息。
[0028]如圖1所示，根據(jù)本公開實(shí)施例的圖像處理裝置I包括:預(yù)處理單元10，用于對輸入圖像進(jìn)行包括多層分割的預(yù)處理，從而得到包括多個父區(qū)域和多個子區(qū)域的多個圖像區(qū)域，其中每個父區(qū)域包括將其作為分割對象分割后得到的多個子區(qū)域；計(jì)算單元20，用于針對每個圖像區(qū)域計(jì)算圖像特征，并且基于圖像特征、利用訓(xùn)練好的圖像語義分類器確定該圖像區(qū)域的語義；輸入圖像語義確定單元30，用于根據(jù)每個父區(qū)域的語義及其所包含的子區(qū)域的語義確定該父區(qū)域的最終語義，從而確定與所述輸入圖像相對應(yīng)的語義信息；以及檢索單元40，用于根據(jù)語義信息進(jìn)行檢索，從而獲得與輸入圖像相關(guān)的信息。
[0029]如圖1所示，預(yù)處理單元10可以接收例如來自用戶的輸入圖像，并對輸入圖像進(jìn)行預(yù)處理以得到多個圖像區(qū)域。其中，上述輸入圖像例如可以是手機(jī)拍攝的多個電子元件，如繼電器、三極管等等。此外，對輸入圖像進(jìn)行的多層分割例如可以采用本領(lǐng)域公知的分水嶺算法設(shè)定不同的分割參數(shù)，從而對圖像進(jìn)行由粗到細(xì)的分層分割，得到多個圖像區(qū)域。
[0030]在一種具體實(shí)施例中，預(yù)處理單元10可以對輸入圖像進(jìn)行兩層分割來獲得多個圖像區(qū)域。在這種情況下，根據(jù)圖像的灰度、邊緣、紋理、結(jié)構(gòu)等特性首先將輸入圖像進(jìn)行粗分割得到多個父區(qū)域(例如3個)，然后根據(jù)灰度、邊緣、紋理、結(jié)構(gòu)等特性對每個父區(qū)域進(jìn)一步進(jìn)行細(xì)分割，從而針對每個父區(qū)域得到多個子區(qū)域(例如5個)，從而獲得包括所有父區(qū)域和所有子區(qū)域的多個圖像區(qū)域。其中，上述所分割的層數(shù)以及父區(qū)域和子區(qū)域的數(shù)量僅為示例性的，本公開不限于此，而是可以根據(jù)圖像處理的精確度要求對父區(qū)域和子區(qū)域的數(shù)量進(jìn)行任意設(shè)置。在本公開中，父區(qū)域是指在進(jìn)行分割時作為分割對象的圖像區(qū)域，在對父區(qū)域進(jìn)行一層分割后得到的多個圖像區(qū)域作為該父區(qū)域的子區(qū)域。
[0031]通過上述對輸入圖像的預(yù)處理之后，可以得到多個圖像區(qū)域用于計(jì)算單元20的
進(jìn)一步處理。[0032]接下來，計(jì)算單元20計(jì)算通過預(yù)處理單元10預(yù)處理之后獲得多個圖像區(qū)域中的每個圖像區(qū)域的圖像特征(在上述示例中，計(jì)算2個父區(qū)域和2X3個子區(qū)域中每個圖像區(qū)域的圖像特征)，例如圖像區(qū)域的灰度、紋理等等。然后，針對每個圖像區(qū)域，計(jì)算單元20基于計(jì)算好的該圖像區(qū)域的圖像特征，利用訓(xùn)練好的圖像語義分類器，對該圖像區(qū)域的類別進(jìn)行判斷，以對該圖像區(qū)域的類別進(jìn)行識別，即確定該圖像區(qū)域的語義。
[0033]在此以電子元件作為待檢索對象為例，對利用圖像語義分類器的運(yùn)作進(jìn)行描述。圖像語義分類器是預(yù)先經(jīng)過訓(xùn)練的諸如對電子元件種類進(jìn)行分類的分類器。分類器訓(xùn)練方法包括:建立電子元件圖像數(shù)據(jù)庫，包括市場上可獲得的各種電子元件的圖像數(shù)據(jù)，并且在該數(shù)據(jù)庫中根據(jù)電子元件的類別分成了多個圖像子集，例如電容元件、電阻元件等等；提取數(shù)據(jù)庫中電子元件的圖像特征，例如顏色特征、紋理特征等等；以及根據(jù)電子元件的特征，訓(xùn)練電子元件類別分類器，例如可以采用SVM(支持向量機(jī))算法訓(xùn)練電子元件類別分類器。上述分類器的訓(xùn)練方法僅為示例性的，本領(lǐng)域技術(shù)人員可以理解，還可以通過本領(lǐng)域公知的其它的訓(xùn)練方法來對分類器進(jìn)行訓(xùn)練，從而利用訓(xùn)練好的分類器將每個圖像區(qū)域分到相應(yīng)的電子元件類別，即通過該相應(yīng)的電子元件類別可以獲得該圖像區(qū)域的語義信息。
[0034]例如，在對輸入圖像進(jìn)行兩層分割的上述示例中，基于計(jì)算的圖像特征并且利用圖像語義分類器，將輸入圖像的第一父區(qū)域Al和第二父區(qū)域A2的語義分別確定為“三極管”和“繼電器”，并且將第一父區(qū)域Al所包括的三個子區(qū)域A11、A12和A13的語義分別確定為“三極管”、“三極管”和“二極管”，將第二父區(qū)域所包括的三個子區(qū)域A21、A22和A23為“繼電器”、“接觸器”和“接觸器”，從而得到多個圖像區(qū)域中每個圖像區(qū)域相對應(yīng)的語義。
[0035]因此，計(jì)算單元20通過上述處理可以獲得經(jīng)預(yù)處理單元10預(yù)處理后獲得的多個圖像區(qū)域中每個圖像區(qū)域的語義信息。
[0036]接下來，輸入圖像語義確定單元30根據(jù)每個父區(qū)域的語義及其所包含的子區(qū)域的語義確定該父區(qū)域的最終語義，從而確定與所述輸入圖像相對應(yīng)的語義信息。
[0037]圖2示出如圖1所示的輸入圖像語義確定單元30的一種具體實(shí)現(xiàn)方式。
[0038]根據(jù)本公開的優(yōu)選實(shí)施例，如圖所示，輸入圖像語義確定單元30可以包括語義確定子單元301和語義綜合子單元302。
[0039]在此，仍以對輸入圖像進(jìn)行兩層分割為例對語義確定子單元301和語義綜合子單元302進(jìn)行詳細(xì)說明，但本公開不限于此。
[0040]如圖2所示，語義確定子單元301根據(jù)所述計(jì)算單元20確定的第一父區(qū)域Al的語義以及該第一父區(qū)域所包括的所有子區(qū)域All、A12和A13的語義，確定該第一父區(qū)域的最終語義，并根據(jù)所述計(jì)算單元確定的第二父區(qū)域A2的語義以及該第二父區(qū)域所包括的所有子區(qū)域A21、A22和A23的語義，確定該第二父區(qū)域的最終語義，從而得到所有父區(qū)域(即通過對輸入圖像進(jìn)行第一層分割所得到的多個區(qū)域)的最終語義。
[0041]根據(jù)本公開的優(yōu)選實(shí)施例，語義確定子單元301可以實(shí)現(xiàn)為如圖3所示的結(jié)構(gòu)。如圖3所示，語義確定子單元301可以包括語義判斷模塊3011和語義確定模塊3012。
[0042]如圖3所示，語義判斷模塊3011用于針對每個父區(qū)域，判斷該父區(qū)域所包括的子區(qū)域中語義與該父區(qū)域的由所述計(jì)算單元確定的語義相同的子區(qū)域的數(shù)目是否大于預(yù)定值(例如I)。例如在上述示例中，第一父區(qū)域Al的語義被計(jì)算單元確定為“三極管”，并且第一父區(qū)域Al所包括的三個子區(qū)域All、A12和A13的最終語義(由于只進(jìn)行了兩層分割，因此子區(qū)域A11、A12和A13的最終語義為由計(jì)算單元20確定的語義)分別被確定為“三極管”、“三極管”和“二極管”，在此情況下，語義判斷模塊3011將第一父區(qū)域中所包括的語義與其語義(即計(jì)算單元20確定的Al的語義“三極管”)相同的子區(qū)域的數(shù)目判定為2，其大于預(yù)定值I。類似地，將第二父區(qū)域A2中所包括的語義與其語義(“繼電器”)相同的子區(qū)域的數(shù)目判定為不大于預(yù)定值I。
[0043]然后，由語義確定模塊3012根據(jù)判定結(jié)果確定每一個父區(qū)域的最終語義。根據(jù)本公開的一個實(shí)施例，在語義判斷模塊3011的判定結(jié)果為大于預(yù)定值時，將由計(jì)算單元20確定的父區(qū)域的語義作為該父區(qū)域的最終語義，例如，在上述示例中將“三極管”作為第一父區(qū)域Al的最終語義。而在語義判斷模塊3011的判定結(jié)果為小于預(yù)定值時，語義確定模塊3012將由計(jì)算單元20確定的該父區(qū)域的語義以及該父區(qū)域內(nèi)所有子單元的語義進(jìn)行綜合，作為該父區(qū)域的最終語義，例如在上述實(shí)例中，通過合并第二父區(qū)域A2的語義“繼電器”以及其子區(qū)域A21、A22和A23的語義“繼電器”、“接觸器”和“接觸器”，從而得到“繼電器”和“接觸器”兩個語義作為第二父區(qū)域的最終語義。
[0044]雖然，上面以合并方式為例示出了在語義判斷模塊3011的判斷結(jié)果為語義與其父區(qū)域的語義相同的子區(qū)域的數(shù)目小于預(yù)定值的情況下、語義確定模塊3012對父區(qū)域及其子區(qū)域的語義進(jìn)行的綜合，但是本公開不限于此，還可以通過其他綜合方式確定父區(qū)域的語義，例如取子區(qū)域的語義中出現(xiàn)次數(shù)最多的語義與父區(qū)域結(jié)合作為該父區(qū)域的最終語義。
[0045]回到圖2，在得到每個父區(qū)域的最終語義之后，語義綜合子單元302將通過語義確定子單元301確定的每個父區(qū)域的最終語義進(jìn)行綜合得到輸入圖像的最終語義?？梢圆捎门c上述對父區(qū)域及其子區(qū)域的語義的綜合類似的方式對每個父區(qū)域的語義進(jìn)行綜合，進(jìn)而得到輸入圖像的最終語義。在上述示例中，語義綜合子單元302例如通過對第一父區(qū)域“三極管”和第二父區(qū)域的語義“接觸器”和“繼電器”進(jìn)行合并來得到“三極管”、“接觸器”和“繼電器”作為輸入圖像的語義。
[0046]轉(zhuǎn)至圖1，在由圖像語義確定單元30確定了針對整個輸入圖像的語義信息之后，檢索單元40可以根據(jù)所確定的針對整個輸入圖像的語義信息在信息源中進(jìn)行檢索，以獲得與輸入圖像有關(guān)的信息。信息源可以是各種專用數(shù)據(jù)庫(例如電子元件數(shù)據(jù)庫)，也可以通用數(shù)據(jù)庫、網(wǎng)站等等。
[0047]根據(jù)本公開的一個實(shí)施例，在圖像語義確定單元30確定了針對整個輸入圖像的語義信息為多個語義后，檢索單元40可以針對每個語義分別進(jìn)行檢索，或者也可以針對多個語義中的任意語義的組合進(jìn)行檢索。在上述實(shí)例中，例如可以針對“三極管”、“接觸器”和“繼電器”分別進(jìn)行檢索，也可以針對三極管”、“接觸器”和“繼電器”中的任意兩個或三個一起作為檢索關(guān)鍵字進(jìn)行檢索，以獲得相關(guān)的信息。
[0048]在此需要說明，雖然為了便于描述，以對輸入圖像進(jìn)行兩層分割為例描述了本公開的上述實(shí)施例，但是這并不構(gòu)成對本公開的限定。在上述具體實(shí)施例的公開的基礎(chǔ)上，根據(jù)對檢索精度的具體要求，本領(lǐng)域技術(shù)人員容易想到通過改變輸入圖像語義確定單元30中的語義確定子單元的操作，實(shí)現(xiàn)對輸入圖像進(jìn)行一層分割、三層或更多層分割后的圖像中每一層區(qū)域的最終語義的確定，從而實(shí)現(xiàn)能夠?qū)斎雸D像進(jìn)行一層分割、三層或更多層分割的圖像處理裝置。例如預(yù)處理單元10對輸入圖像進(jìn)行N層(N為正整數(shù))分割，從而得到多個圖像區(qū)域，該多個圖像區(qū)域包括經(jīng)第一層分割后得到的多個第一層區(qū)域、經(jīng)第二層分割后得到的多個第二層區(qū)域、...經(jīng)第N-1層分割后得到的多個第N-1層區(qū)域以及經(jīng)第N層分割后得到的多個第N層區(qū)域，其中在進(jìn)行第K層分割時(K為大于I且小于等于N的正整數(shù))，以多個第K-1層區(qū)域中的每個區(qū)域作為父區(qū)域，將其分割為多個第K層區(qū)域作為該K-1層區(qū)域的子區(qū)域。在此情況下，語義確定子單元301可以根據(jù)計(jì)算單元20確定的第N-1層區(qū)域的語義以及該第N-1層區(qū)域所包括的所有第N層區(qū)域的最終語義(第N層區(qū)域由于不包括子區(qū)域，因此將計(jì)算單元20確定的該第N層區(qū)域的語義作為該第N層區(qū)域的最終語義)，確定該第N-1層區(qū)域的最終語義，并根據(jù)所述計(jì)算單元確定的第N-2層區(qū)域的語義以及該第N-2層區(qū)域所包括的所有第N-1層區(qū)域的所述最終語義，確定第N-2層區(qū)域的最終語義，以此類推，直到確定第一層區(qū)域(即對輸入圖像進(jìn)行第一層分割后獲得的多個圖像區(qū)域)的最終語義。即，在對輸入圖像進(jìn)行了 N層分割的情況下，將由計(jì)算單元20確定的第N層區(qū)域的語義作為該第N層區(qū)域的最終語義，并且針對第一層至第N-1層區(qū)域中的第i層區(qū)域(其中i為大于等于I且小于等于N-1的正整數(shù))，根據(jù)由計(jì)算單元20確定的第i層區(qū)域的語義與該i層區(qū)域所包括的所有第i+1層區(qū)域的最終語義來確定該第i層區(qū)域的最終語義。
[0049]通過以上描述可知，根據(jù)本公開實(shí)施例的上述圖像處理裝置是基于作為待檢索對象的輸入圖像來獲取與輸入圖像有關(guān)的信息的，因此用戶無需了解代檢索對象的確切名稱，而是可以利用諸如智能手機(jī)對待檢索對象進(jìn)行拍照，來獲取與待檢索對象有關(guān)的信息。此外，對待檢索對象的檢索是基于輸入圖像首先確定其語義信息，再以語義信息作為關(guān)鍵字進(jìn)行檢索，因此提高了圖像檢索精度。并且，由于將圖像分割為多個圖像區(qū)域并基于多個圖像區(qū)域分別獲取相對應(yīng)的語義信息，因此能夠進(jìn)一步提高了圖像檢索精度。
[0050]此外，根據(jù)本公開的圖像處理裝置尤其適用于獲取多個待檢索對象之間的關(guān)聯(lián)信息的情況，例如用戶想要了解兩個電子元件(諸如繼電器、電容)之間的電氣連接關(guān)系，用戶可以對兩個電子元件同時進(jìn)行拍照，獲得同時包括兩個電子元件的輸入圖像，在此情況下，使用本公開的上述圖像處理裝置，可以獲得這兩個電子元件的語義作為與輸入圖像對應(yīng)的語義信息，從而使用這語義進(jìn)行檢索，得到用戶所需的諸如電路圖的信息。
[0051]如圖4所示，根據(jù)本公開的另一個實(shí)施例的圖像處理裝置10可以包括:預(yù)處理單元10、計(jì)算單元20、圖像語義確定單元30、檢索單元40、相似度計(jì)算單元50以及后處理子單元60。其中預(yù)處理單元10、計(jì)算單元20、圖像語義確定單元30、檢索單元40的配置與圖1所示的相同，在此不再贅述。
[0052]相似度計(jì)算單元50用于判斷檢索結(jié)果與輸入圖像的相似度。如圖5所示，根據(jù)本公開實(shí)施例的檢索結(jié)果相似度計(jì)算單元50可以包括第一計(jì)算子單元501和第二計(jì)算子單元502中的至少一個。下面，以相似度計(jì)算單元50同時包括第一計(jì)算子單元501和第二計(jì)算子單元502的情況為例來進(jìn)行描述，相似度計(jì)算單元50只包括第一計(jì)算子單元501或第二計(jì)算子單元502的情況容易根據(jù)以下描述獲知，不再贅述。
[0053]如圖5所示，相似度計(jì)算單元50所計(jì)算的相似度例如可以包括圖像相似度和語義相似度。在此情況下，第一計(jì)算子單元501用于計(jì)算每個檢索結(jié)果中包含的語義信息與由語義確定單元確定的輸入圖像的語義之間的語義相似度，第二計(jì)算子單元502用于計(jì)算每個檢索結(jié)果與輸入圖像之間的圖像相似度。[0054]語義相似度的計(jì)算是本領(lǐng)域公知常識，因此省略了對第一計(jì)算單元501計(jì)算語義相似度的操作的具體描述。
[0055]圖6示出了如圖5所示的第二計(jì)算子單元502的一種具體實(shí)現(xiàn)方式。
[0056]如圖6所示，第二計(jì)算子單元502包括圖像分割模塊5021、整體匹配模塊5022和圖像相似度計(jì)算模塊5023。[0057]針對檢索結(jié)果中包含的圖像區(qū)域，圖像分割模塊5021用于將檢索得到的每個圖像以及輸入圖像分別分割成多個圖像區(qū)域。類似于預(yù)處理單元10對輸入圖像的預(yù)處理，圖像分割子單元5021也可以根據(jù)圖像的灰度、邊緣、紋理、結(jié)構(gòu)等特性對輸入圖像和檢索得到的圖像進(jìn)行分割，從而得到多個圖像區(qū)域。當(dāng)然，本領(lǐng)域技術(shù)人員可以理解，也可以利用預(yù)處理單元10在對輸入圖像進(jìn)行預(yù)處理時得到的多個圖像區(qū)域作為在此使用的多個圖像區(qū)域，并且使用與分割輸入圖像相同的分割方式對檢索得到的輸入圖像進(jìn)行分割。
[0058]整體匹配模塊5022針對輸入圖像的每個圖像區(qū)域與檢索得到的圖像的多個圖像區(qū)域中的每一個進(jìn)行比較，以確定是否整體匹配，例如兩個所比較的圖像區(qū)域是否在整體上具有一定的相似度(例如達(dá)到預(yù)定的第一相似度閾值)，如果具有一定的相似度(例如≥50%)，則認(rèn)為輸入圖像的該圖像區(qū)域與檢索得到的圖像能夠匹配，否則不匹配。
[0059]在整體匹配模塊5022得到整體匹配的結(jié)果之后，圖像相似度計(jì)算模塊5023可以結(jié)合整體匹配模塊5022的匹配結(jié)果，確定輸入圖像與檢索得到的每個圖像的圖像相似度。例如，當(dāng)輸入圖像的四個圖像區(qū)域中有三個圖像區(qū)域確定為與檢索得到的圖像的相應(yīng)圖像區(qū)域匹配，則確定輸入圖像與該檢索得到的圖像的相似度為75%。
[0060]雖然以上針對輸入圖像與一個檢索得到的圖像的圖像相似度的確定進(jìn)行了描述，但是本領(lǐng)域技術(shù)人員可以理解，也可以針對檢索結(jié)果中的每個圖像、任意多個圖像的組合中的每個圖像，判斷其與輸入圖像的圖像相似度。
[0061]圖7是示意性地示出如圖5所示的第二計(jì)算子單元502的另一種可能的示例結(jié)構(gòu)的框圖。如圖7所示，第二計(jì)算子單元502除了包括圖像分割模塊5021、整體匹配模塊5022和圖像相似度計(jì)算模塊5023之外，還包括局部匹配模塊5024。其中圖像分割模塊5021、整體匹配模塊5022和圖像相似度計(jì)算模塊5023的配置和功能與圖5所示的相同，在此不再贅述。
[0062]局部匹配模塊5024用于在針對整體匹配模塊5022的整體匹配的結(jié)果是不匹配時，確定該圖像區(qū)域的局部匹配度。
[0063]如圖8所示，局部匹配模塊5024包括局部相似度判斷子模塊5024A、圖像再分割子模塊5024B以及圖像再匹配子模塊5024C。
[0064]局部相似度判斷子模塊5024A在整體匹配模塊5022的整體匹配的結(jié)果是不匹配時，對被整體匹配模塊5022確定為不匹配的輸入圖像的圖像區(qū)域與檢索得到每個圖像的多個圖像區(qū)域中的每一個是否存在局部相似進(jìn)行判斷，例如相似度是否達(dá)到第二相似度閾值(例如30%)。例如，當(dāng)整體匹配模塊5022確定輸入圖像的某個圖像區(qū)域與檢索得到的某個圖像的相似度為40% (小于第一相似度閾值50%)而不與其整體匹配時，由于該相似度大于第二相似度閾值30%，因此局部相似度判斷子模塊5024A判定輸入圖像的該圖像區(qū)域與檢索得到的圖像存在局部相似。
[0065]在局部相似度判斷子模塊5024A判定輸入圖像與檢索得到的圖像存在局部相似后，圖像再分割子模塊5024B將該圖像區(qū)域再分割為多個圖像子區(qū)域，例如可以采用與圖像分割模塊5021對輸入圖像進(jìn)行分割時采用的類似方式對圖像區(qū)域進(jìn)行再分割。
[0066]圖像再匹配子模塊5024C將經(jīng)過再分割的圖像子區(qū)域與檢索得到的圖像的每個圖像區(qū)域進(jìn)行整體匹配，并根據(jù)每個圖像子區(qū)域的匹配結(jié)果確定該圖像區(qū)域的局部匹配度。例如，將一個判定為整體不匹配的圖像區(qū)域分割為4個圖像子區(qū)域，以與如上參照整體匹配模塊5022描述的整體匹配方式類似的方式，判斷4個子區(qū)域中有2個子區(qū)域能夠與檢索得到的圖像整體匹配，在此情況下，將該圖像區(qū)域的局部匹配度確定為2/4=0.5。
[0067]這樣，在整體匹配模塊5022得到整體匹配的結(jié)果并且局部匹配模塊5024得到整體不匹配的圖像區(qū)域的局部匹配結(jié)果之后，圖像區(qū)域相似度計(jì)算模塊5023可以根據(jù)這兩個模塊的匹配結(jié)果，確定輸入圖像與檢索得到的每個圖像的圖像相似度。例如，當(dāng)輸入圖像的4個圖像區(qū)域中有2個圖像區(qū)域通過整體匹配模塊5022被確定為與檢索得到的圖像的圖像區(qū)域整體匹配，而剩余兩個整體不匹配的圖像區(qū)域在通過局部匹配子單元504判定局部匹配度分別為0.5和0.3之后，確定輸入圖像與該檢索得到的圖像的相似度為2/4+0.5X1/4+0.3X1/4=0.7。
[0068]在通過檢索結(jié)果相似度判定單元50計(jì)算出所述輸入圖像與檢索結(jié)果的語義相似度和/或圖像相似度之后，后處理單元60基于判定結(jié)果對檢索結(jié)果進(jìn)行后處理，例如根據(jù)語義相似度和/或圖像相似度，從高到低對檢索結(jié)果排序。在一個例子中，所獲得的檢索結(jié)果可以是按照檢索結(jié)果與輸入圖像之間的圖像相似度與語義相似度的加權(quán)和的高低順序進(jìn)行排序的。
[0069]通過以上描述可知，根據(jù)本公開實(shí)施例的圖像處理裝置能夠?qū)z索后得到的圖像與輸入圖像的相似度進(jìn)行后驗(yàn)證，從而能夠以與輸入圖像的相似度對檢索得到的圖像進(jìn)行排序，從而能夠提高檢索結(jié)果與輸入圖像的相關(guān)程度。
[0070]此外，本公開的實(shí)施例還提供了一種圖像處理方法，下面結(jié)合圖9來描述該圖像處理方法的一種示例性處理。
[0071]圖9是示意性地示出根據(jù)本公開的圖像處理方法的一種示例性處理的流程圖。
[0072]如圖9所示，根據(jù)本公開的實(shí)施例的圖像處理方法的處理流程900開始于步驟S910，然后執(zhí)行步驟S920。
[0073]在步驟S920中，對所述輸入圖像進(jìn)行包括多層分割的預(yù)處理，從而得到包括多個父區(qū)域和多個子區(qū)域的多個圖像區(qū)域，其中每個父區(qū)域包括將其作為分割對象分割后得到的多個子區(qū)域；然后執(zhí)行步驟S930。
[0074]可以通過執(zhí)行上述結(jié)合圖1描述的預(yù)處理單元10的處理來獲得多個圖像，在此省略其描述。
[0075]在步驟S930中，計(jì)算每個圖像區(qū)域的圖像特征，并且基于該圖像特征利用訓(xùn)練好的圖像語義分類器確定該圖像區(qū)域的語義。然后執(zhí)行步驟840。
[0076]在步驟S940中，根據(jù)每個父區(qū)域的語義及其所包含的子區(qū)域的語義確定該父區(qū)域的最終語義，從而確定與所述輸入圖像相對應(yīng)的語義信息。然后執(zhí)行步驟S950。與輸入圖像相對應(yīng)的語義信息可以通過執(zhí)行參照圖1-圖3描述的圖像語義確定單元30的處理來獲得，在此省略其描述。
[0077]在步驟S950中，根據(jù)所述語義信息進(jìn)行檢索，從而獲得與所述輸入圖像相關(guān)的信息。然后執(zhí)行步驟S960。
[0078]在另一個例子中，所獲得的檢索結(jié)果可以是按照檢索結(jié)果與輸入圖像之間的圖像相似度與語義相似度的加權(quán)和的高低順序進(jìn)行排序的。
[0079]其中，檢索結(jié)果與輸入圖像之間的圖像相似度可以通過參考上文中結(jié)合圖4-圖6描述的相似度計(jì)算單元50的示例處理。
[0080]處理流程900結(jié)束于步驟960。
[0081]此外，本公開的實(shí)施例還提供了一種電子設(shè)備，該電子設(shè)備被配置包括如上所述的圖像處理裝置I。該電子設(shè)備例如可以是以下設(shè)備中的任意一種:手機(jī)；計(jì)算機(jī)；平板電腦；以及個人數(shù)字助理等。相應(yīng)地，該電子設(shè)備能夠擁有如上所述的圖像處理裝置的有益效果和優(yōu)點(diǎn)。
[0082]上述根據(jù)本公開的實(shí)施例的圖像處理裝置中的各個組成單元、子單元等可以通過軟件、固件、硬件或其任意組合的方式進(jìn)行配置。在通過軟件或固件實(shí)現(xiàn)的情況下，可從存儲介質(zhì)或網(wǎng)絡(luò)向具有專用硬件結(jié)構(gòu)的機(jī)器(例如圖10所示的通用機(jī)器1000)安裝構(gòu)成該軟件或固件的程序，該機(jī)器在安裝有各種程序時，能夠執(zhí)行上述各組成單元、子單元的各種功倉泛。
[0083]圖10是示出了可用來實(shí)現(xiàn)根據(jù)本公開的實(shí)施例的圖像處理裝置和圖像處理方法的一種可能的信息處理設(shè)備的硬件配置的結(jié)構(gòu)簡圖。
[0084]在圖10中，中央處理單元(CPU) 1001根據(jù)只讀存儲器(ROM) 1002中存儲的程序或從存儲部分1008加載到隨機(jī)存取存儲器(RAM) 1003的程序執(zhí)行各種處理。在RAM 1003中，還根據(jù)需要存儲當(dāng)CPU 1001執(zhí)行各種處理等等時所需的數(shù)據(jù)。CPU 100KROM 1002和RAM1003經(jīng)由總線1004彼此連接。輸入/輸出接口 1005也連接到總線1004。
[0085]下述部件也連接到輸入/輸出接口 1005:輸入部分1006 (包括鍵盤、鼠標(biāo)等等)、輸出部分1007(包括顯示器，例如陰極射線管(CRT)、液晶顯示器(LCD)等，和揚(yáng)聲器等)、存儲部分1008 (包括硬盤等)、通信部分1009 (包括網(wǎng)絡(luò)接口卡例如LAN卡、調(diào)制解調(diào)器等)。通信部分1009經(jīng)由網(wǎng)絡(luò)例如因特網(wǎng)執(zhí)行通信處理。根據(jù)需要，驅(qū)動器1010也可連接到輸入/輸出接口 1005?？刹鹦督橘|(zhì)1011例如磁盤、光盤、磁光盤、半導(dǎo)體存儲器等等可以根據(jù)需要被安裝在驅(qū)動器1010上，使得從中讀出的計(jì)算機(jī)程序可根據(jù)需要被安裝到存儲部分1008 中。
[0086]在通過軟件實(shí)現(xiàn)上述系列處理的情況下，可以從網(wǎng)絡(luò)例如因特網(wǎng)或從存儲介質(zhì)例如可拆卸介質(zhì)1011安裝構(gòu)成軟件的程序。
[0087]本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)理解，這種存儲介質(zhì)不局限于圖10所示的其中存儲有程序、與設(shè)備相分離地分發(fā)以向用戶提供程序的可拆卸介質(zhì)1011。可拆卸介質(zhì)1011的例子包含磁盤(包含軟盤)、光盤(包含光盤只讀存儲器(⑶-ROM)和數(shù)字通用盤(DVD))、磁光盤(包含迷你盤(MD)(注冊商標(biāo)))和半導(dǎo)體存儲器?；蛘?，存儲介質(zhì)可以是ROM 1002、存儲部分1008中包含的硬盤等等，其中存有程序，并且與包含它們的設(shè)備一起被分發(fā)給用戶。
[0088]此外，本公開還提出了 一種存儲有機(jī)器可讀取的指令代碼的程序產(chǎn)品。上述指令代碼由機(jī)器讀取并執(zhí)行時，可執(zhí)行上述根據(jù)本公開的實(shí)施例的圖像處理方法。相應(yīng)地，用于承載這種程序產(chǎn)品的例如磁盤、光盤、磁光盤、半導(dǎo)體存儲器等的各種存儲介質(zhì)也包括在本公開的公開中。[0089]在上面對本公開具體實(shí)施例的描述中，針對一種實(shí)施方式描述和/或示出的特征可以以相同或類似的方式在一個或更多個其它實(shí)施方式中使用，與其它實(shí)施方式中的特征相組合，或替代其它實(shí)施方式中的特征。
[0090]此外，本公開的各實(shí)施例的方法不限于按照說明書中描述的或者附圖中示出的時間順序來執(zhí)行，也可以按照其他的時間順序、并行地或獨(dú)立地執(zhí)行。因此，本說明書中描述的方法的執(zhí)行順序不對本公開的技術(shù)范圍構(gòu)成限制。
[0091]此外，顯然，根據(jù)本公開的上述方法的各個操作過程也可以以存儲在各種機(jī)器可讀的存儲介質(zhì)中的計(jì)算機(jī)可執(zhí)行程序的方式實(shí)現(xiàn)。
[0092]而且，本公開的目的也可以通過下述方式實(shí)現(xiàn):將存儲有上述可執(zhí)行程序代碼的存儲介質(zhì)直接或者間接地提供給系統(tǒng)或設(shè)備，并且該系統(tǒng)或設(shè)備中的計(jì)算機(jī)或者中央處理單元(CPU)讀出并執(zhí)行上述程序代碼。
[0093]此時，只要該系統(tǒng)或者設(shè)備具有執(zhí)行程序的功能，則本公開的實(shí)施方式不局限于程序，并且該程序也可以是任意的形式，例如，目標(biāo)程序、解釋器執(zhí)行的程序或者提供給操作系統(tǒng)的腳本程序等。
[0094]上述這些機(jī)器可讀存儲介質(zhì)包括但不限于:各種存儲器和存儲單元，半導(dǎo)體設(shè)備，磁盤單元例如光、磁和磁光盤，以及其它適于存儲信息的介質(zhì)等。
[0095]另外，客戶信息處理終端通過連接到因特網(wǎng)上的相應(yīng)網(wǎng)站，并且將依據(jù)本公開的計(jì)算機(jī)程序代碼下載和安裝到信息處理終端中然后執(zhí)行該程序，也可以實(shí)現(xiàn)本公開的各實(shí)施例。
[0096]此外，雖然本公開的圖像處理裝置以電子元件作為輸入圖像的對象進(jìn)行了描述，但是本公開不限于此。通過以上描述，本領(lǐng)域技術(shù)人員容易理解還可以將本公開的圖像處理裝置用于獲取與諸如圖書、生活用品等其他產(chǎn)品相關(guān)的信息。
[0097]另外，本公開的圖像處理裝置使用的各種上述閾值參數(shù)可以基于圖像處理裝置和圖像處理方法的實(shí)際應(yīng)用場景而設(shè)定，或者可以通過有限次實(shí)驗(yàn)來確定。
[0098]綜上，在根據(jù)本發(fā)明的實(shí)施例中，本發(fā)明提供了如下方案:
[0099]附記1.一種獲取與輸入圖像相關(guān)的信息的圖像處理裝置，包括:
[0100] 預(yù)處理單元，用于對所述輸入圖像進(jìn)行包括多層分割的預(yù)處理，從而得到包括多個父區(qū)域和多個子區(qū)域的多個圖像區(qū)域，其中每個父區(qū)域包括將其作為分割對象分割后得到的多個子區(qū)域；
[0101]計(jì)算單元，用于針對每個圖像區(qū)域計(jì)算圖像特征，并且基于該圖像特征、利用訓(xùn)練好的圖像語義分類器確定該圖像區(qū)域的語義；
[0102]輸入圖像語義確定單元，用于根據(jù)每個父區(qū)域的語義及其所包含的子區(qū)域的語義確定該父區(qū)域的最終語義，從而確定與所述輸入圖像相對應(yīng)的語義信息；以及
[0103]檢索單元，用于根據(jù)所述語義信息進(jìn)行檢索，從而獲得與所述輸入圖像相關(guān)的信
息O
[0104]附記2.根據(jù)附記I所述的圖像處理裝置，其中所述預(yù)處理單元用于對所述輸入圖像進(jìn)行N層分割，從而得到包括經(jīng)第一層分割后得到的多個第一層區(qū)域、經(jīng)第二層分割后得到的多個第二層區(qū)域、…經(jīng)第N-1層分割后得到的多個第N-1層區(qū)域以及經(jīng)第N層分割后得到的多個第N層區(qū)域的多個圖像區(qū)域，其中N為正整數(shù)，并且在進(jìn)行第K層分割時，以第K-1層區(qū)域作為父區(qū)域，將其分割為多個第K層區(qū)域作為該K-1層區(qū)域的子區(qū)域，K為大于I且小于等于N的正整數(shù)，其中
[0105]所述輸入圖像語義確定單元包括:
[0106]語義確定子單元，用于將由所述計(jì)算單元確定的每個第N層區(qū)域的語義作為該第N層區(qū)域的最終語義，并根據(jù)所述計(jì)算單元確定的第N-1層區(qū)域的語義以及該第N-1層區(qū)域所包括的所有第N層區(qū)域的最終語義，確定該第N-1層區(qū)域的最終語義，并根據(jù)所述計(jì)算單元確定的第N-2層區(qū)域的語義以及該第N-2層區(qū)域所包括的所有第N-1層區(qū)域的最終語義，確定第N-2層區(qū)域的最終語義，以此類推，直到確定第一層區(qū)域的最終語義；
[0107]語義綜合子單元，將通過語義確定子單元確定的每個第一層區(qū)域的最終語義進(jìn)行綜合得到輸入圖像的最終語義。
[0108]附記3.根據(jù)附記I或2所述的圖像處理裝置，其中所述語義確定子單元包括:
[0109]語義判斷模塊，用于針對每個父區(qū)域，判斷該父區(qū)域所包括的子區(qū)域中最終語義與該父區(qū)域的由所述計(jì)算單元確定的語義相同的子區(qū)域的數(shù)目是否大于預(yù)定值；
[0110]語義確定模塊，用于在所述語義判斷模塊的判斷結(jié)果為大于預(yù)定值時，將由所述計(jì)算單元確定的該父區(qū)域的語義作為該父區(qū)域的最終語義，并且在所述語義判斷模塊的判斷結(jié)果為不大于預(yù)定值時，將由所述計(jì)算單元確定的該父區(qū)域的語義以及該父區(qū)域內(nèi)所有子區(qū)域的最終語義進(jìn)行綜合，以確定該父區(qū)域的最終語義。
[0111]附記4.根據(jù)附記1-3中任一項(xiàng)所述的圖像處理裝置，其中所述檢索單元根據(jù)所述語義信息中的各個語義分別進(jìn)行檢索或根據(jù)所述語義信息中的多個語義進(jìn)行檢索。
[0112]附記5.根據(jù)附記1-4中任一項(xiàng)所述的圖像處理裝置，其中所述圖像處理裝置還包括:
[0113]相似度計(jì)算單元，用于計(jì)算所述輸入圖像與所述檢索單元獲得的檢索結(jié)果的相似度；以及
[0114]后處理單元，基于所述相似度計(jì)算單元計(jì)算的相似度對檢索結(jié)果進(jìn)行后處理。
[0115]附記6.根據(jù)附記5所述的圖像處理裝置，其中所述相似度計(jì)算單元包括第一計(jì)算子單元和/或第二計(jì)算子單元，所述第一計(jì)算子單元用于計(jì)算圖像語義確定單元所確定的語義信息與檢索得到的語義的語義相似度，所述第二計(jì)算子單元用于計(jì)算輸入圖像與檢索得到的圖像的圖像相似度；所述后處理單元用于按照所述檢索結(jié)果與所述輸入圖像之間的相似度的高低對所述檢索結(jié)果進(jìn)行排序，并且輸出排序后的檢索結(jié)果。
[0116]附記7.根據(jù)附記6所述的圖像處理裝置，其中所述第二計(jì)算子單元包括:
[0117]圖像分割模塊，用于將檢索得到的圖像以及所述輸入圖像分別分割成多個圖像塊；
[0118]整體匹配模塊，用于針對輸入圖像的每個圖像塊，將該圖像塊與檢索得到的圖像的多個圖像塊中的每一個進(jìn)行整體匹配；以及
[0119]圖像相似度計(jì)算模塊，用于根據(jù)匹配結(jié)果計(jì)算所述輸入圖像與檢索得到的圖像的圖像相似度。
[0120]附記8.根據(jù)附記7所述的圖像處理裝置，其中第二計(jì)算子單元還包括局部匹配模塊，所述局部匹配模塊包括:
[0121]局部相似度判斷子模塊，用于當(dāng)整體匹配模塊的匹配結(jié)果是不匹配時，對由整體匹配模塊確定為不匹配的輸入圖像的圖像塊與檢索得到的圖像的多個圖像塊中的每一個是否存在局部相似進(jìn)行判斷；以及
[0122]圖像再分割子模塊，用于在局部相似度判斷子模塊的判斷結(jié)果是存在局部相似時，將輸入圖像的確定為局部相似的圖像塊進(jìn)一步分割成多個圖像子塊；以及
[0123]圖像再匹配子模塊，用于對該多個圖像子塊中的每一個與檢索得到的圖像的多個圖像塊中的每一個進(jìn)行整體匹配，以根據(jù)匹配結(jié)果計(jì)算該圖像塊與檢索得到的圖像的局部相似度；
[0124]所述圖像相似度計(jì)算模塊根據(jù)所述整體匹配模塊的匹配結(jié)果以及所述局部匹配模塊的匹配結(jié)果，計(jì)算所述輸入圖像與檢索得到的圖像的圖像相似度。
[0125]附記9.一種根據(jù)輸入圖像獲取與該輸入圖像相關(guān)的信息的圖像處理方法，包括以下步驟:
[0126]對所述輸入圖像進(jìn)行包括多層分割的預(yù)處理，從而得到包括多個父區(qū)域和多個子區(qū)域的多個圖像區(qū)域，其中每個父區(qū)域包括將其作為分割對象分割后得到的多個子區(qū)域；
[0127]針對所述多個圖像區(qū)域中的每個圖像計(jì)算圖像特征，并且基于該圖像特征、利用訓(xùn)練好的圖像語義分類器確定該圖像區(qū)域的語義；
[0128]根據(jù)每個父區(qū)域的語義及其所包含的子區(qū)域的語義確定該父區(qū)域的最終語義，從而確定與所述輸入圖像相對應(yīng)的語義信息；以及
[0129]根據(jù)所述語義信息進(jìn)行檢索，從而獲得與所述輸入圖像相關(guān)的信息。
[0130]附記10.根據(jù)附記9所述的圖像處理方法，其中所述預(yù)處理步驟對所述輸入圖像進(jìn)行N層分割，從而得到包括經(jīng)第一層分割后得到的多個第一層區(qū)域、經(jīng)第二層分割后得到的多個第二層區(qū)域、…經(jīng)第N-1層分割后得到的多個第N-1層區(qū)域以及經(jīng)第N層分割后得到的多個第N層區(qū)域的多個圖像區(qū)域，其中N為正整數(shù)，并且在進(jìn)行第K層分割時，以第K-1層區(qū)域作為父區(qū)域，將其分割為多個第K層區(qū)域作為該K-1層區(qū)域的子區(qū)域，K為大于I且小于等于N的正整數(shù)，其中
[0131]所述確定與所述輸入圖像相對應(yīng)的語義信息的步驟包括:
[0132]將由計(jì)算步驟所確定的每個第N層區(qū)域的語義作為該第N層區(qū)域的最終語義，并根據(jù)計(jì)算步驟所確定的第N-1層區(qū)域的語義以及該第N-1層區(qū)域所包括的所有第N層區(qū)域的最終語義，確定該第N-1層區(qū)域的最終語義，并根據(jù)計(jì)算步驟所確定的第N-2層區(qū)域的語義以及該第N-2層區(qū)域所包括的所有第N-1層區(qū)域的最終語義，確定第N-2層區(qū)域的最終語義，以此類推，直到確定第一層區(qū)域的最終語義；
[0133]將確定的每個第一層區(qū)域的最終語義進(jìn)行綜合得到輸入圖像的最終語義。
[0134]附記11.根據(jù)附記9或10所述的圖像處理方法，其中所述語義確定步驟包括:
[0135]針對每個父區(qū)域，判斷該父區(qū)域所包括的子區(qū)域中最終語義與該父區(qū)域的由計(jì)算步驟所確定的語義相同的子區(qū)域的數(shù)目是否大于預(yù)定值；
[0136]在判斷結(jié)果為大于預(yù)定值時，將由計(jì)算步驟所確定的該父區(qū)域的語義作為該父區(qū)域的最終語義，并且判斷結(jié)果為不大于預(yù)定值時，將由計(jì)算步驟所確定的該父區(qū)域的語義以及該父區(qū)域內(nèi)所有子區(qū)域的最終語義進(jìn)行綜合，以確定該父區(qū)域的最終語義。
[0137]附記12.根據(jù)附記9-11中任一項(xiàng)所述的圖像處理方法，其中所述檢索步驟包括根據(jù)所述語義信息中的各個語義分別進(jìn)行檢索或根據(jù)所述語義信息中的多個語義進(jìn)行檢索。[0138]附記13.根據(jù)附記9-12中任一項(xiàng)所述的圖像處理方法，還包括:
[0139]計(jì)算所述輸入圖像與所述檢索單元獲得的檢索結(jié)果的相似度；以及
[0140]基于所述相似度計(jì)算單元計(jì)算的相似度對檢索結(jié)果進(jìn)行后處理。
[0141]附記14.根據(jù)附記13所述的圖像處理方法，其中相似度計(jì)算步驟包括計(jì)算圖像語義確定單元所確定的語義信息與檢索得到的語義的語義相似度，計(jì)算輸入圖像與檢索得到的圖像的圖像相似度；后處理步驟包括按照所述檢索結(jié)果與所述輸入圖像之間的相似度的高低對所述檢索結(jié)果進(jìn)行排序，并且輸出排序后的檢索結(jié)果。
[0142]附記15.根據(jù)附記14所述的圖像處理方法，其中圖像相似度計(jì)算步驟包括:
[0143]將檢索得到的圖像以及所述輸入圖像分別分割成多個圖像塊；
[0144]針對輸入圖像的每個圖像塊，將該圖像塊與檢索得到的圖像的多個圖像塊中的每一個進(jìn)行整體匹配；以及
[0145]根據(jù)匹配結(jié)果計(jì)算所述輸入圖像與檢索得到的圖像的圖像相似度。
[0146]附記16.根據(jù)附記15所述的圖像處理方法，其中圖像相似度計(jì)算步驟還包括以下步驟:
[0147]當(dāng)整體匹配的匹配結(jié)果是不匹配時，對整體匹配步驟確定為不匹配的輸入圖像的圖像塊與檢索得到的圖像的多個圖像塊中的每一個是否存在局部相似進(jìn)行判斷；以及
[0148]在局部相似度判斷步驟的判斷結(jié)果是存在局部相似時，將輸入圖像的確定為局部相似的圖像塊進(jìn)一步分割成多個圖像子塊；以及
[0149]對該多個圖像子塊中的每一個與檢索得到的圖像的多個圖像塊中的每一個進(jìn)行整體匹配，以根據(jù)匹配結(jié)果計(jì)算該圖像塊與檢索得到的圖像的局部相似度；
[0150]圖像相似度計(jì)算步驟根據(jù)整體匹配步驟的匹配結(jié)果以及局部匹配步驟的匹配結(jié)果，計(jì)算所述輸入圖像與檢索得到的圖像的圖像相似度。
[0151]附記17.—種電子設(shè)備，包括如權(quán)利要求1-8中任一項(xiàng)所述的圖像處理裝置，所述電子設(shè)備尤其是手機(jī)、計(jì)算機(jī)、平板電腦、以及個人數(shù)字助理。
[0152]附記18.—種使得計(jì)算機(jī)用作如權(quán)利要求1-8中任一項(xiàng)所述的圖像處理裝置的程序。
[0153]附記19.一種計(jì)算機(jī)可讀存儲介質(zhì)，其上存儲有能夠由計(jì)算設(shè)備執(zhí)行的計(jì)算機(jī)程序，所述程序在執(zhí)行時能夠使所述計(jì)算設(shè)備執(zhí)行根據(jù)附記9-16中任意一項(xiàng)所述的圖像處
理方法。
[0154]最后，還需要說明的是，在本文中，諸如左和右、第一和第二等之類的關(guān)系術(shù)語僅僅用來將一個實(shí)體或者操作與另一個實(shí)體或操作區(qū)分開來，而不一定要求或者暗示這些實(shí)體或操作之間存在任何這種實(shí)際的關(guān)系或者順序。而且，術(shù)語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者設(shè)備不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、物品或者設(shè)備所固有的要素。在沒有更多限制的情況下，由語句“包括一個……”限定的要素，并不排除在包括所述要素的過程、方法、物品或者設(shè)備中還存在另外的相同要素。
【權(quán)利要求】
1.一種獲取與輸入圖像相關(guān)的信息的圖像處理裝置，包括: 預(yù)處理單元，用于對所述輸入圖像進(jìn)行包括多層分割的預(yù)處理，從而得到包括多個父區(qū)域和多個子區(qū)域的多個圖像區(qū)域，其中每個父區(qū)域包括將其作為分割對象分割后得到的多個子區(qū)域； 計(jì)算單元，用于針對每個圖像區(qū)域計(jì)算圖像特征，并且基于該圖像特征、利用訓(xùn)練好的圖像語義分類器確定該圖像區(qū)域的語義； 輸入圖像語義確定單元，用于根據(jù)每個父區(qū)域的語義及其所包含的子區(qū)域的語義確定該父區(qū)域的最終語義，從而確定與所述輸入圖像相對應(yīng)的語義信息；以及 檢索單元，用于根據(jù)所述語義信息進(jìn)行檢索，從而獲得與所述輸入圖像相關(guān)的信息。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中所述預(yù)處理單元用于對所述輸入圖像進(jìn)行N層分割，從而得到包括經(jīng)第一層分割后得到的多個第一層區(qū)域、經(jīng)第二層分割后得到的多個第二層區(qū)域、…經(jīng)第N-1層分割后得到的多個第N-1層區(qū)域以及經(jīng)第N層分割后得到的多個第N層區(qū)域的多個圖像區(qū)域，其中N為正整數(shù)，并且在進(jìn)行第K層分割時，以第K-1層區(qū)域作為父區(qū)域，將其分割為多個第K層區(qū)域作為該K-1層區(qū)域的子區(qū)域，其中K為大于I且小于等于N的正整數(shù)，其中 所述輸入圖像語義確定單元包括: 語義確定子單元，用于將由所述計(jì)算單元確定的每個第N層區(qū)域的語義作為該第N層區(qū)域的最終語義，并根據(jù)所述計(jì)算單元確定的第N-1層區(qū)域的語義以及該第N-1層區(qū)域所包括的所有第N層區(qū)域的最終語義，確定該第N-1層區(qū)域的最終語義，并根據(jù)所述計(jì)算單元確定的第N-2層區(qū)域的語義以及該第N-2層區(qū)域所包括的所有第N-1層區(qū)域的最終語義，確定第N-2層區(qū)域的最終語義，以此類推，直到確定第一層區(qū)域的最終語義；` 語義綜合子單元，將通過語義確定子單元確定的每個第一層區(qū)域的最終語義進(jìn)行綜合得到輸入圖像的最終語義。
3.根據(jù)權(quán)利要求1或2所述的圖像處理裝置，其中所述語義確定子單元包括: 語義判斷模塊，用于針對每個父區(qū)域，判斷該父區(qū)域所包括的子區(qū)域中最終語義與該父區(qū)域的由所述計(jì)算單元確定的語義相同的子區(qū)域的數(shù)目是否大于預(yù)定值； 語義確定模塊，用于在所述語義判斷模塊的判斷結(jié)果為大于預(yù)定值時，將由所述計(jì)算單元確定的該父區(qū)域的語義作為該父區(qū)域的最終語義，并且在所述語義判斷模塊的判斷結(jié)果為不大于預(yù)定值時，將由所述計(jì)算單元確定的該父區(qū)域的語義以及該父區(qū)域內(nèi)所有子區(qū)域的最終語義進(jìn)行綜合，以確定該父區(qū)域的最終語義。
4.根據(jù)權(quán)利要求1-3中任一項(xiàng)所述的圖像處理裝置，其中所述檢索單元根據(jù)所述語義信息中的各個語義分別進(jìn)行檢索或根據(jù)所述語義信息中的多個語義進(jìn)行檢索。
5.根據(jù)權(quán)利要求1-4中任一項(xiàng)所述的圖像處理裝置，其中所述圖像處理裝置還包括: 相似度計(jì)算單元，用于計(jì)算所述輸入圖像與所述檢索單元獲得的檢索結(jié)果的相似度；以及 后處理單元，基于所述相似度計(jì)算單元計(jì)算的相似度對檢索結(jié)果進(jìn)行后處理。
6.根據(jù)權(quán)利要求5所述的圖像處理裝置，其中所述相似度計(jì)算單元包括第一計(jì)算子單元和/或第二計(jì)算子單元，所述第一計(jì)算子單元用于計(jì)算圖像語義確定單元所確定的語義信息與檢索得到的語義的語義相似度，所述第二計(jì)算子單元用于計(jì)算輸入圖像與檢索得到的圖像的圖像相似度；所述后處理單元用于按照所述檢索結(jié)果與所述輸入圖像之間的相似度的高低對所述檢索結(jié)果進(jìn)行排序，并且輸出排序后的檢索結(jié)果。
7.根據(jù)權(quán)利要求6所述的圖像處理裝置，其中所述第二計(jì)算子單元包括: 圖像分割模塊，用于將檢索得到的圖像以及所述輸入圖像分別分割成多個圖像塊； 整體匹配模塊，用于針對輸入圖像的每個圖像塊，將該圖像塊與檢索得到的圖像的多個圖像塊中的每一個進(jìn)行整體匹配；以及 圖像相似度計(jì)算模塊，用于根據(jù)匹配結(jié)果計(jì)算所述輸入圖像與檢索得到的圖像的圖像相似度。
8.根據(jù)權(quán)利要求7所述的圖像處理裝置，其中第二計(jì)算子單元還包括局部匹配模塊，所述局部匹配模塊包括: 局部相似度判斷子模塊，用于當(dāng)整體匹配模塊的匹配結(jié)果是不匹配時，對由整體匹配模塊確定為不匹配的輸入圖像的圖像塊與檢索得到的圖像的多個圖像塊中的每一個是否存在局部相似進(jìn)行判斷；以及 圖像再分割子模塊，用于在局部相似度判斷子模塊的判斷結(jié)果是存在局部相似時，將輸入圖像的確定為局部相似的圖像塊進(jìn)一步分割成多個圖像子塊；以及 圖像再匹配子模塊，用于對該多個圖像子塊中的每一個與檢索得到的圖像的多個圖像塊中的每一個進(jìn)行整體匹配，以根據(jù)匹配結(jié)果計(jì)算該圖像塊與檢索得到的圖像的局部相似度； 所述圖像相似度計(jì)算模塊根據(jù)所述整體匹配模塊的匹配結(jié)果以及所述局部匹配模塊的匹配結(jié)果，計(jì)算所述輸入圖像與檢索得到的圖像的圖像相似度。
9.一種根據(jù)輸入圖像獲取與該輸入圖像相關(guān)的信息的圖像處理方法，包括:` 對所述輸入圖像進(jìn)行包括多層分割的預(yù)處理，從而得到包括多個父區(qū)域和多個子區(qū)域的多個圖像區(qū)域，其中每個父區(qū)域包括將其作為分割對象分割后得到的多個子區(qū)域； 針對所述多個圖像區(qū)域中的每個圖像計(jì)算圖像特征，并且基于該圖像特征、利用訓(xùn)練好的圖像語義分類器確定該圖像區(qū)域的語義； 根據(jù)每個父區(qū)域的語義及其所包含的子區(qū)域的語義確定該父區(qū)域的最終語義，從而確定與所述輸入圖像相對應(yīng)的語義信息；以及 根據(jù)所述語義信息進(jìn)行檢索，從而獲得與所述輸入圖像相關(guān)的信息。
10.一種電子設(shè)備，包括如權(quán)利要求1-8中任一項(xiàng)所述的圖像處理裝置，所述電子設(shè)備尤其是手機(jī)、計(jì)算機(jī)、平板電腦、以及個人數(shù)字助理。
【文檔編號】G06F17/30GK103678315SQ201210320320
【公開日】2014年3月26日 申請日期:2012年8月31日 優(yōu)先權(quán)日:2012年8月31日
【發(fā)明者】曹瓊, 劉汝杰 申請人:富士通株式會社