本申請(qǐng)涉及一種圖像搜索系統(tǒng)及方法，尤其是基于提取待搜索圖像的特征，并與圖像數(shù)據(jù)庫(kù)中的圖像特征比較，從而提供與待搜索圖像中相似的圖像的系統(tǒng)與方法。

背景技術(shù)：

在進(jìn)行相似圖像搜索時(shí)，通常根據(jù)圖像之間眾多圖像特征進(jìn)行權(quán)衡和比較，從而得出與待搜索圖像相似的結(jié)果。例如，臨床上醫(yī)生對(duì)肺結(jié)節(jié)進(jìn)行診斷和評(píng)判時(shí)，通常根據(jù)眾多肺結(jié)節(jié)相似度權(quán)衡，進(jìn)而得出結(jié)節(jié)的診斷結(jié)果。為了獲取與待搜索圖像最為相似的圖像，需要將待搜索圖像特征與圖像數(shù)據(jù)庫(kù)中盡可以多的圖像進(jìn)行比較，最終找出最相似的圖像，給出較客觀的綜合評(píng)判。隨著時(shí)間和圖像數(shù)目的增長(zhǎng)，基于人眼的圖像對(duì)比難以得到穩(wěn)定的評(píng)判，因而需要一個(gè)能夠較準(zhǔn)確搜索待搜索圖像與圖像數(shù)據(jù)庫(kù)庫(kù)中相似的圖像的檢索系統(tǒng)與方法。

技術(shù)實(shí)現(xiàn)要素：

本申請(qǐng)的技術(shù)方案提供一種圖像搜索方法及系統(tǒng)，解決圖像檢索中存在的效率、穩(wěn)定性或準(zhǔn)確性的問(wèn)題。

本申請(qǐng)的一些實(shí)施例，提供了一種圖像搜索方法。該方法包括以下操作中的一步或多步：獲取第一圖像，該第一圖像包含第一區(qū)域；獲取第二圖像，該第二圖像包含第二區(qū)域；獲取第三圖像，該第三圖像包含第三區(qū)域；基于卷積神經(jīng)網(wǎng)絡(luò)算法，分別提取第一區(qū)域的第一組特征、第二區(qū)域的第二組特征及第三區(qū)域的第三組特征；計(jì)算與該第一組特征和該第二組特征相關(guān)的第一數(shù)據(jù)，及該第一組特征和該第三組特征相關(guān)的第二數(shù)據(jù)；根據(jù)該第一數(shù)據(jù)和該第二數(shù)據(jù)，對(duì)該第二圖像和該第三圖像進(jìn)行排序。

在一些實(shí)施例中，該方法可以進(jìn)一步包括設(shè)定第二參數(shù)，并提取與第二區(qū)域有關(guān)的第二特征集。該第二特征集可以包含第二組特征。該方法進(jìn)一步包括基于該第二組特征，設(shè)定第一參數(shù)，并提取與第一區(qū)域有關(guān)的第一組特征。

在一些實(shí)施例中，從第二特征集中選擇出第二組特征是基于特征選擇算法。在一些實(shí)施例中，該特征選擇算法是Correlation Based Feature Selection算法。

在一些實(shí)施例中，第一參數(shù)或第二參數(shù)可以包括卷積神經(jīng)網(wǎng)絡(luò)層級(jí)數(shù)目、卷積核大小、卷積核數(shù)目和產(chǎn)生的特征數(shù)目中至少一個(gè)。

在一些實(shí)施例中，卷積神經(jīng)網(wǎng)絡(luò)算法可以包括多層結(jié)構(gòu)。

在一些實(shí)施例中，第一數(shù)據(jù)是基于第一組特征和第二組特征的特征之差產(chǎn)生?？蛇x的，第二數(shù)據(jù)是基于第一組特征和第三組特征的特征之差產(chǎn)生。

在一些實(shí)施例中，該方法可以包括基于第一數(shù)據(jù)和第二數(shù)據(jù)，使用LambdaMART算法對(duì)第二圖像和第三圖像排序。在一些實(shí)施例中，該方法進(jìn)一步包括根據(jù)該排序確定該第二圖像或該第三圖像。

在一些實(shí)施例中，該方法可以進(jìn)一步包括使用計(jì)算機(jī)輔助診斷，在第一圖像中定位第一區(qū)域。在一些實(shí)施例中，該方法可以進(jìn)一步包括使用計(jì)算機(jī)輔助診斷，根據(jù)該第一區(qū)域，在第二圖像中選擇第二區(qū)域。

在一些實(shí)施例中，第一圖像、第二圖像或第三圖像是二維圖像或三維圖像。

在一些實(shí)施例中，第一圖像、第二圖像或第三圖像是PET圖像、CT圖像、SPECT圖像、MRI圖像、超聲圖像中至少一種。

根據(jù)本申請(qǐng)的一些實(shí)施例，提供了一種圖像重建的系統(tǒng)。該系統(tǒng)可以包括一個(gè)圖像獲取裝置。該圖像獲取裝置可以獲取第一圖像、第二圖像和第三圖像，及在該第一圖像、該第二圖像和該第三圖像中分別定位第一區(qū)域、第二區(qū)域和第三區(qū)域。該系統(tǒng)可以進(jìn)一步包括一個(gè)圖像分析裝置。該圖像分析裝置可以包括特征提取模塊。該特征提取模塊可以提取該第一區(qū)域的第一組特征，提取該第二區(qū)域的第二組特征和該第三區(qū)域的第三組特征。該圖像分析裝置可以進(jìn)一步包括特征分析模塊。該特征分析模塊可以計(jì)算該第一組特征和該第二組特征相關(guān)的第一數(shù)據(jù)，以及該第一組特征和該第三組特征相關(guān)的第二數(shù)據(jù)。該圖像分析裝置可以進(jìn)一步包括排序模塊。該排序模塊可以基于該第一數(shù)據(jù)和該第二數(shù)據(jù)，對(duì)該第二圖像和該第三圖像進(jìn)行排序。

在一些實(shí)施例中，圖像獲取裝置進(jìn)一步包含使用計(jì)算機(jī)輔助診斷，在第一圖像中定位第一區(qū)域。在一些實(shí)施例中，該圖像獲取裝置進(jìn)一步包含使用計(jì)算機(jī)輔助診斷，在第二圖像中定位第二區(qū)域。

在一些實(shí)施例中，第一組特征的提取可以基于第二組特征或第三組特征。

在一些實(shí)施例中，該特征選擇模塊可以提取第二區(qū)域有關(guān)的第二特征集，該第二特征集可以進(jìn)一步包括該第二組特征。

在一些實(shí)施例中，該系統(tǒng)可以進(jìn)一步包括一個(gè)特征選擇模塊。該特征選擇模塊可以基于特征選擇算法從該第二特征集中選擇獲得該第二組特征，該特征選擇算法可以包含Correlation Based Feature Selection算法。

在一些實(shí)施例中，特征分析模塊可以基于該第一組特征和該第二組特征的特征之差產(chǎn)生第一數(shù)據(jù)。可選的，特征分析模塊可以基于該第一組特征和該第三組特征的特征之差產(chǎn)生第二數(shù)據(jù)。

在一些實(shí)施例中，排序模塊可以基于該第一數(shù)據(jù)和該第二數(shù)據(jù)，使用LambdaMART算法對(duì)第二圖像和第三圖像排序。

本申請(qǐng)的一部分附加特性可以在下面的描述中進(jìn)行說(shuō)明。通過(guò)對(duì)以下描述和相應(yīng)附圖的檢查或者對(duì)實(shí)施例的生產(chǎn)或操作的了解，本申請(qǐng)的一部分附加特性對(duì)于本領(lǐng)域技術(shù)人員是明顯的。本披露的特性可以通過(guò)對(duì)以下描述的具體實(shí)施例的各種方面的方法、手段和組合的實(shí)踐或使用得以實(shí)現(xiàn)和達(dá)到。

本申請(qǐng)的技術(shù)方案提高了圖像搜索時(shí)的速度、穩(wěn)定性或準(zhǔn)確性的至少一種。

附圖說(shuō)明

圖1A是根據(jù)本申請(qǐng)的一些實(shí)施例所示的一種圖像搜索系統(tǒng)的示意圖；

圖1B是根據(jù)本申請(qǐng)的一些實(shí)施例所示的計(jì)算設(shè)備配置的示意圖；

圖2是根據(jù)本申請(qǐng)的一些實(shí)施例所示的一種圖像搜索的流程圖；

圖3是根據(jù)本申請(qǐng)的一些實(shí)施例所示的一種圖像獲取裝置的示意圖；

圖4是根據(jù)本申請(qǐng)的一些實(shí)施例所示的一種圖像獲取流程圖；

圖5是根據(jù)本申請(qǐng)的一些實(shí)施例所示的一種圖像分析裝置的示意圖；

圖6是根據(jù)本申請(qǐng)的一些實(shí)施例所示的一種圖像分析的流程圖；

圖7是根據(jù)本申請(qǐng)的一些實(shí)施例所示的一種ROI圖像特征提取的流程圖；

圖8是根據(jù)本申請(qǐng)的一些實(shí)施例所示的一種采用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取的流程圖；以及

圖9是根據(jù)本申請(qǐng)的一些實(shí)施例所示的一種存儲(chǔ)裝置的示意圖。

具體實(shí)施方式

為使本發(fā)明的上述目的、特征和優(yōu)點(diǎn)能夠更為明顯易懂，下面結(jié)合附圖對(duì)本發(fā)明的具體實(shí)施方式做詳細(xì)的說(shuō)明。在以下描述中闡述了具體細(xì)節(jié)以便于充分理解本發(fā)明。但是本發(fā)明能夠以多種不同于在此描述的其它方式來(lái)實(shí)施，本領(lǐng)域技術(shù)人員可以在不違背本發(fā)明內(nèi)涵的情況下做類(lèi)似推廣。因此本發(fā)明不受下面公開(kāi)的具體實(shí)施方式的限制。

如本說(shuō)明書(shū)和權(quán)利要求書(shū)中所示，除非上下文明確提示例外情形，“一”、“一個(gè)”、“一種”和/或“該”等詞并非特指單數(shù)，也可包括復(fù)數(shù)。一般說(shuō)來(lái)，術(shù)語(yǔ)“包括”與“包含”僅提示包括已明確標(biāo)識(shí)的步驟和元素，而這些步驟和元素不構(gòu)成一個(gè)排它性的羅列，方法或者設(shè)備也可以包含其它的步驟或元素。

本說(shuō)明書(shū)所述的圖像搜索系統(tǒng)和方法是指基于提取待搜索圖像的特征，并與圖像數(shù)據(jù)庫(kù)中的圖像特征比較，從而提供與待搜索圖像中相似的圖像。該圖像搜索系統(tǒng)可以包括一個(gè)圖像處理引擎、一個(gè)存儲(chǔ)裝置、一個(gè)輸出裝置和一個(gè)控制裝置。

本申請(qǐng)的不同實(shí)施例可適用于多種領(lǐng)域，包括醫(yī)學(xué)及其衍生科學(xué)技術(shù)(包括醫(yī)療器械診斷、醫(yī)療影像等)和圖像處理領(lǐng)域(包括數(shù)學(xué)、物理、化學(xué)及化學(xué)工程、生物及生物工程、電子工程、通信系統(tǒng)、互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、新聞媒介等領(lǐng)域中的圖像處理)。本申請(qǐng)的不同實(shí)施例應(yīng)用場(chǎng)景包括網(wǎng)頁(yè)、瀏覽器插件、客戶(hù)端、定制系統(tǒng)、企業(yè)內(nèi)部分析系統(tǒng)、人工智能機(jī)器人等一種或多種組合。以上對(duì)適用領(lǐng)域的描述僅僅是具體的示例，不應(yīng)被視為是唯一可行的實(shí)施方案。顯然，對(duì)于本領(lǐng)域的專(zhuān)業(yè)人員來(lái)說(shuō)，在了解一種圖像搜索方法和系統(tǒng)的基本原理后，可以在不背離這一原理的情況下，對(duì)實(shí)施上述方法和系統(tǒng)的應(yīng)用領(lǐng)域形式和細(xì)節(jié)上的各種修正和改變，但是這些修正和改變?nèi)栽谝陨厦枋龅姆秶畠?nèi)。例如，在本申請(qǐng)的一個(gè)實(shí)施例中，圖像搜索系統(tǒng)100的待搜索圖像可以是醫(yī)學(xué)圖像、新聞圖像等種類(lèi)。醫(yī)學(xué)圖像可以是正電子斷層掃描(Positron Emission Tomography,PET)圖像、單光子發(fā)射計(jì)算機(jī)斷層掃描(Single-Photo Emission Comupted Tomography,SPECT)圖像、電子計(jì)算機(jī)斷層掃描(Computed Tomography,CT)圖像、核磁共振(Magnetic Resonance Imaging,MRI)圖像、超聲圖像或其他類(lèi)似圖像或組合。與此類(lèi)似的替換或修正或改變，仍在本申請(qǐng)的保護(hù)范圍之內(nèi)。為了更清楚地說(shuō)明本申請(qǐng)實(shí)施例的技術(shù)方案，下面將對(duì)實(shí)施例描述中所需要使用的附圖作簡(jiǎn)單的介紹。顯而易見(jiàn)地，下面描述中的附圖僅僅是本申請(qǐng)的一些實(shí)施例，對(duì)于本領(lǐng)域的普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖將本申請(qǐng)應(yīng)用于其它類(lèi)似情景。除非從語(yǔ)言環(huán)境中顯而易見(jiàn)或另做說(shuō)明，圖中相同標(biāo)號(hào)代表相同結(jié)構(gòu)和操作。

圖1A是根據(jù)本申請(qǐng)的一些實(shí)施例所示的一種圖像搜索系統(tǒng)100的示意圖。如圖1所述，圖像搜索系統(tǒng)100可以包括一個(gè)用戶(hù)界面110、一個(gè)圖像處理引擎120、一個(gè)輸出裝置130、一個(gè)存儲(chǔ)裝置140和一個(gè)控制裝置150。圖1所述圖像搜索系統(tǒng)100僅僅是代表本申請(qǐng)的一些實(shí)施例，對(duì)于本領(lǐng)域的普通技術(shù)人員而言，在不付出創(chuàng)造性勞動(dòng)的前提下，可以根據(jù)圖像搜索系統(tǒng)100的描述做出修改、增添和刪減。例如，其中兩個(gè)裝置可以結(jié)合為一個(gè)設(shè)備，或者其中一個(gè)裝置可以分別在兩個(gè)或多個(gè)設(shè)備上。在一些實(shí)施例中，多個(gè)裝置可以存在于一個(gè)計(jì)算設(shè)備上(如電腦、手機(jī)、可穿戴計(jì)算設(shè)備等)。在一些實(shí)施例中，多個(gè)裝置可以通過(guò)網(wǎng)絡(luò)聯(lián)系在一起。所述網(wǎng)絡(luò)可以包括局域網(wǎng)、廣域網(wǎng)、公用網(wǎng)絡(luò)、專(zhuān)用網(wǎng)絡(luò)、無(wú)線局域網(wǎng)、虛擬網(wǎng)絡(luò)、都市城域網(wǎng)、公用開(kāi)關(guān)電話網(wǎng)絡(luò)等一種或多種組合。

用戶(hù)界面110可以接收數(shù)據(jù)，以及將所接收的數(shù)據(jù)傳輸?shù)綀D像搜索系統(tǒng)100的其它部分。在一些實(shí)施例中，用戶(hù)界面110可以接收用戶(hù)對(duì)圖像處理引擎120的設(shè)定參數(shù)，例如，接收用戶(hù)對(duì)圖像處理引擎120的設(shè)定算法。在一些實(shí)施例中，用戶(hù)界面110可以傳輸圖像到圖像獲取裝置121中。用戶(hù)界面110可以包含一種或多種通信終端。所述通信終端可以是手機(jī)、個(gè)人電腦、可穿戴設(shè)備、平板電腦、智能電視等，或則上述通信終端的任意組合。

圖像處理引擎120可以獲取與待搜索圖像相似的圖像。圖像處理引擎120可以包括一個(gè)圖像獲取裝置121和一個(gè)圖像分析裝置122。

圖像獲取裝置121可以獲取一幅或多幅待搜索圖像和/或參考圖像。所述待搜索圖像和/或參考圖像可以從用戶(hù)界面110、存儲(chǔ)裝置140和/或圖像搜索系統(tǒng)100其他部分中獲取。本申請(qǐng)中“待搜索圖像”指的是圖像搜索過(guò)程中的基準(zhǔn)圖像，即在圖像搜索過(guò)程中，圖像搜索系統(tǒng)會(huì)根據(jù)基準(zhǔn)圖像搜索出與基準(zhǔn)圖像相似的參考圖像。待搜索圖像可以是由用戶(hù)輸入的感興趣的圖像，也可以包含一個(gè)可被識(shí)別特征的圖像?！皡⒖紙D像”指的存儲(chǔ)在一個(gè)圖像庫(kù)中，并且用于與待搜索圖像進(jìn)行相似度比較的圖像。在一些實(shí)施例中，參考圖像和/或待搜索圖像可以存在于一個(gè)或多個(gè)圖像數(shù)據(jù)庫(kù)中。所述圖像數(shù)據(jù)庫(kù)可以包含參考圖像、待搜索圖像和其他圖像，及圖像相關(guān)的信息等。所述圖像相關(guān)的信息包括圖像生成的時(shí)間和圖像的內(nèi)容(如圖像是PET圖像、MRI圖像等，和/或圖像是關(guān)于病人某個(gè)部位的圖像等)。待搜索圖像和/或參考圖像可以是任何形式和內(nèi)容的圖像。在一些實(shí)施例中，待搜索圖像和/或參考圖像可以是二維圖像和/或三維圖像。在一些實(shí)施例中，待搜索圖像和/或參考圖像可以是PET圖像、SPECT圖像、CT圖像、MRI圖像、超聲圖像或其他類(lèi)似圖像或組合。顯而易見(jiàn)地，待搜索圖像和參考圖像也可以是其他內(nèi)容的圖像，例如，包含文字和/或人物的新聞圖片。圖像獲取裝置121可以在待搜索圖像和/或參考圖像中定位某一特定區(qū)域。在一些實(shí)施例中，圖像獲取裝置121可以使用計(jì)算機(jī)輔助診斷在待搜索圖像和/或參考圖像中定位出某一特定區(qū)域(醫(yī)學(xué)圖像中的病灶等)。在一些具體實(shí)施例中，計(jì)算機(jī)輔助診斷可以產(chǎn)生一幅或多幅感興趣區(qū)域(Region of Interest,ROI)或感興趣體積(Volume of Interest,VOI)圖像。所述ROI/VOI圖像與特定區(qū)域相關(guān)。

圖像分析裝置122可以判斷待搜索圖像與一幅或多幅參考圖像的相似度。圖像分析裝置122可以通過(guò)提取一幅或多幅待搜索圖像和/或參考圖像的特征，并進(jìn)行特征比較，從而判斷待搜索圖像與參考圖像的相似度。本申請(qǐng)中的“特征”指的是一個(gè)圖像單獨(dú)可計(jì)量的屬性。在一些實(shí)施例中，特征可以包括一幅圖像的像素點(diǎn)(例如，一個(gè)肺結(jié)節(jié)圖像的多個(gè)像素點(diǎn))，以及像素點(diǎn)對(duì)應(yīng)的信息。例如，像素點(diǎn)的大小，數(shù)量，灰度值，紋理特征，形態(tài)學(xué)特征，灰度特征，小波特征，直方圖特征等都可以作為圖像間用于比較的特征。在一些實(shí)施例中，特征可以包括一幅圖像的統(tǒng)計(jì)特征，例如，在二維圖像的豎直和水平方向上像素?cái)?shù)目，或灰度值的直方圖。在一些實(shí)施例中，特征可以包括一幅圖像所顯示物體的特征，例如，一個(gè)生物器官的解剖學(xué)特征。例如，特征可以包括一個(gè)病灶的顯示特征。以肺結(jié)節(jié)為例，特征可以描述肺結(jié)節(jié)邊緣的清晰程度，光滑還是有毛刺，有無(wú)分葉、有無(wú)空洞、有無(wú)鈣化、是毛玻璃肺結(jié)節(jié)還是實(shí)性結(jié)節(jié)等。在一些實(shí)施例中，特征可以包括經(jīng)過(guò)特征提取算法提取的特征，例如，通過(guò)卷積神經(jīng)網(wǎng)絡(luò)算法對(duì)一幅圖像進(jìn)行卷積處理后得到的特征等。

圖像分析裝置122可以包括但不限于中央處理器(Central Processing Unit，CPU,)、專(zhuān)門(mén)應(yīng)用集成電路(Application Specific Integrated Circuit，ASIC)、專(zhuān)用指令處理器(Application Specific Instruction Set Processor，ASIP)、物理處理器(Physics Processing Unit，PPU)、數(shù)字信號(hào)處理器(Digital Processing Processor，DSP)、現(xiàn)場(chǎng)可編程邏輯門(mén)陣列(Field-Programmable Gate Array，F(xiàn)PGA)、可編程邏輯器件(Programmable Logic Device，PLD)、處理器、微處理器、控制器、微控制器等中的一種或幾種的組合。

輸出裝置130可以接收、處理、存儲(chǔ)和/或傳輸來(lái)自于用戶(hù)界面110、圖像獲取裝置121、圖像分析裝置122、存儲(chǔ)裝置140和/或圖像搜索系統(tǒng)100的其他部分的數(shù)據(jù)。輸出裝置130可以輸出與待搜索圖像相似的一幅或多幅參考圖像。在一些實(shí)施例中，輸出裝置可以基于參考圖像與待搜索圖像的相似度大小，選擇輸出與待搜索圖像相似的一幅或多幅參考圖像。輸出裝置130可以輸出待搜索和/或參考圖像相關(guān)的信息。例如，輸出裝置可以輸出圖像生成的時(shí)間、圖像在數(shù)據(jù)庫(kù)中存儲(chǔ)的路徑、圖像所展示內(nèi)容相關(guān)的信息(如圖像展示出的內(nèi)容與某個(gè)身份編號(hào)相關(guān))等。輸出裝置130可以包括一個(gè)顯示屏(如LCD屏幕、LED屏幕、CRT屏幕等)、一個(gè)打印機(jī)(如噴墨打印機(jī)、膠片打印機(jī)等)，或其他用于輸出的裝置等一種或多種的組合。

存儲(chǔ)裝置140可以接收、處理和/或存儲(chǔ)來(lái)自于用戶(hù)界面110、圖像獲取裝置121、圖像分析裝置122、輸出裝置130、控制裝置150和/或來(lái)自于圖像搜索系統(tǒng)100其他部分的數(shù)據(jù)。所述數(shù)據(jù)可以包括待搜索圖像、參考圖像、特征、圖像相關(guān)的信息等一種或多種的組合。在一些實(shí)施例中，存儲(chǔ)裝置140可以是利用電能方式存儲(chǔ)信息的設(shè)備，例如各種存儲(chǔ)器、隨機(jī)存取存儲(chǔ)器(Random Access Memory,RAM)、只讀存儲(chǔ)器(Read Only Memory,ROM)等。隨機(jī)存儲(chǔ)器可以包括動(dòng)態(tài)隨機(jī)存儲(chǔ)器(DRAM)、靜態(tài)隨機(jī)存儲(chǔ)器(SRAM)、晶閘管隨機(jī)存儲(chǔ)器(T-RAM)、零電容隨機(jī)存儲(chǔ)器(Z-RAM)等一種或多種的組合。只讀存儲(chǔ)器可以包括光盤(pán)驅(qū)動(dòng)器、硬盤(pán)、磁帶、早期非易失存儲(chǔ)器(NVRAM)、非易失SRAM、閃存、電子抹除式可復(fù)寫(xiě)只讀存儲(chǔ)器、可擦除可編程只讀存儲(chǔ)器、可編程只讀存儲(chǔ)器等中的一種或幾種的組合。存儲(chǔ)裝置140可以是利用磁能方式存儲(chǔ)信息的設(shè)備，例如硬盤(pán)、軟盤(pán)、磁帶、磁芯存儲(chǔ)器、磁泡存儲(chǔ)器、U盤(pán)、閃存等。存儲(chǔ)裝置140可以是利用光學(xué)方式存儲(chǔ)信息的設(shè)備，例如CD或DVD等。存儲(chǔ)裝置140可以是利用磁光方式存儲(chǔ)信息的設(shè)備，例如磁光盤(pán)等。存儲(chǔ)裝置140的存取方式可以是隨機(jī)存儲(chǔ)、串行訪問(wèn)存儲(chǔ)、只讀存儲(chǔ)等一種或多種組合。存儲(chǔ)裝置140可以是非永久記憶存儲(chǔ)裝置，也可以是永久記憶存儲(chǔ)裝置。以上提及的存儲(chǔ)裝置是列舉了一些例子，存儲(chǔ)裝置并不局限于此。存儲(chǔ)裝置140可以是本地的，也可以是遠(yuǎn)程的，也可以是云服務(wù)器上的。

控制裝置150可以接收、處理、存儲(chǔ)和/或傳輸用戶(hù)界面110、圖像處理引擎120、輸出裝置130、存儲(chǔ)裝置140和/或圖像搜索系統(tǒng)100其他部分的信息。所述信息可以包括來(lái)自用戶(hù)界面110的用戶(hù)設(shè)定(如對(duì)參考圖像的輸出格式設(shè)定、對(duì)圖像分析裝置122所采用算法的設(shè)定等)，傳輸至存儲(chǔ)裝置140的信息(如待搜索圖像的存儲(chǔ)格式和路徑、從待搜索圖像提取的特征的存儲(chǔ)格式等)，和傳輸至輸出裝置130的信息(如是否輸出一幅或多幅參考圖像)等。

圖1B是根據(jù)本申請(qǐng)的一些實(shí)施例所示的一種計(jì)算設(shè)備配置的示意圖。該計(jì)算設(shè)備能夠用于本申請(qǐng)中的特定系統(tǒng)。本實(shí)施例中的特定系統(tǒng)利用功能框圖解釋了一個(gè)包含用戶(hù)界面的硬件平臺(tái)。計(jì)算設(shè)備可以實(shí)施當(dāng)前描述系統(tǒng)100的一個(gè)或多個(gè)組件、模塊、單元、子單元(例如，用戶(hù)界面110，圖像處理引擎120，控制裝置150)。這種計(jì)算設(shè)備可以是一個(gè)通用目的的計(jì)算機(jī)，也可以是一個(gè)有特定目的的計(jì)算機(jī)。兩種計(jì)算機(jī)都可以被用于實(shí)現(xiàn)本實(shí)施例中的特定系統(tǒng)。為了方便起見(jiàn)，圖1B中只繪制了一臺(tái)計(jì)算設(shè)備，但是本實(shí)施例所描述的提供圖像搜索所需信息的相關(guān)計(jì)算設(shè)備功能是可以以分布的方式、由一組相似的平臺(tái)所實(shí)施的，分散系統(tǒng)的處理負(fù)荷。

如圖1B所示，計(jì)算設(shè)備配置可包括內(nèi)部通信總線160，處理器(processor)162，硬盤(pán)164，只讀存儲(chǔ)器(ROM)166，隨機(jī)存取存儲(chǔ)器(RAM)168，通信端口170，輸入/輸出組件172。內(nèi)部通信總線160可配置為實(shí)現(xiàn)計(jì)算設(shè)備組件間的數(shù)據(jù)通信。處理器162用于執(zhí)行程序指令完成在此申請(qǐng)中所描述的圖像搜索系統(tǒng)100的任何功能、組件、模塊、單元、子單元。處理器162由一個(gè)或多個(gè)處理器組成。在一些實(shí)施例中，處理器162的種類(lèi)可以包括但不限于微控制器、簡(jiǎn)化指令系統(tǒng)計(jì)算機(jī)(RISC)、專(zhuān)用集成電路(ASIC)、特定應(yīng)用指令集處理器(ASIP)、中央處理器(CPU)、圖形處理器(GPU)、物理處理器(PPU)、微處理器單元、數(shù)字信號(hào)處理器(DSP)、現(xiàn)場(chǎng)可編程門(mén)陣列(FPGA)，或者其他能夠執(zhí)行計(jì)算程序指令的電路或處理器或其組合。

計(jì)算設(shè)備還包括不同形式的存儲(chǔ)設(shè)備用于儲(chǔ)存程序以及數(shù)據(jù)，例如硬盤(pán)164，只讀存儲(chǔ)器(ROM)166，隨機(jī)存取存儲(chǔ)器(RAM)168，能夠用于計(jì)算設(shè)備處理和/或通信使用的各種數(shù)據(jù)文件，以及處理器162所執(zhí)行的可能的程序指令。存儲(chǔ)設(shè)備可以在圖像搜索系統(tǒng)100內(nèi)部(例如，存儲(chǔ)裝置140)，也可以在搜索系統(tǒng)100外部(比如可通過(guò)用戶(hù)界面110連接)。

通信端口170可配置實(shí)現(xiàn)計(jì)算設(shè)備與其他圖像搜索系統(tǒng)100部件(比如用輸出裝置130，存儲(chǔ)裝置140)之間數(shù)據(jù)通信。輸入/輸出組件172支持計(jì)算設(shè)備與系統(tǒng)100其他組件(如用戶(hù)界面110)之間的輸入/輸出數(shù)據(jù)流。計(jì)算設(shè)備也可以通過(guò)通信端口170從網(wǎng)絡(luò)發(fā)送和接受信息及數(shù)據(jù)。圖像搜索系統(tǒng)100輸出信息的形式可以包括但不限于數(shù)字、字符、指令、壓力、聲音、圖像、系統(tǒng)、軟件、程序等中的一種或幾種的組合。在一些實(shí)施例中，輸入/輸出組件172可以包括但不限于顯示器、打印機(jī)、繪圖儀、影像輸出設(shè)備、語(yǔ)言輸出設(shè)備等中的一種或幾種的組合。輸出的信息可以發(fā)送給用戶(hù)，也可以不發(fā)送。不發(fā)送的輸出信息可以存儲(chǔ)在存儲(chǔ)裝置140、硬盤(pán)164、只讀存儲(chǔ)器(ROM)166，隨機(jī)存取存儲(chǔ)器(RAM)168中，也可以刪除。

需要注意的是，上述存儲(chǔ)設(shè)備(如硬盤(pán)164，只讀存儲(chǔ)器(ROM)166，隨機(jī)存取存儲(chǔ)器(RAM)168)和/或處理器162可以實(shí)際存在于系統(tǒng)中，也可以通過(guò)云計(jì)算平臺(tái)完成相應(yīng)功能。其中，云計(jì)算平臺(tái)可以包括但不限于以存儲(chǔ)數(shù)據(jù)為主的存儲(chǔ)型云平臺(tái)、以處理數(shù)據(jù)為主的計(jì)算型云平臺(tái)以及兼顧數(shù)據(jù)存儲(chǔ)和處理的綜合云計(jì)算平臺(tái)。圖像搜索系統(tǒng)100所使用的云平臺(tái)可以是公共云、私有云、社區(qū)云或混合云等。例如，根據(jù)實(shí)際需要，圖像搜索系統(tǒng)100接收的一部分信息，可以通過(guò)云平臺(tái)進(jìn)行計(jì)，算和/或存儲(chǔ)。另一部分信息，可以通過(guò)本地的處理設(shè)備和/或存儲(chǔ)設(shè)備進(jìn)行計(jì)算和/或存儲(chǔ)。

圖2是根據(jù)本申請(qǐng)的一些實(shí)施例所示的一種圖像搜索的流程圖。在201中，可以獲取圖像。獲取的圖像可以是待搜索圖像和/或參考圖像。獲取的圖像包含一個(gè)或多個(gè)感興趣區(qū)域(ROI)或感興趣體積(VOI)所形成的圖像。待搜索圖像和/或參考圖像的獲取可以由圖像獲取裝置121執(zhí)行。

在202中，可以基于待搜索圖像的數(shù)據(jù)，搜索與待搜索圖像相似的圖像。搜索的過(guò)程可以包括分別計(jì)算待搜索圖像與多幅參考圖像的相似度，以及根據(jù)所述分別計(jì)算的相似度對(duì)多幅參考圖像進(jìn)行排序。計(jì)算待搜索圖像與一幅參考圖像的相似度可以通過(guò)計(jì)算所述待搜索圖像與所述參考圖像的圖像特征的相似度來(lái)實(shí)現(xiàn)。在一些實(shí)施例中，搜索的過(guò)程可以包括分別計(jì)算待搜索圖像中一個(gè)或多個(gè)ROI/VOI圖像與多幅參考圖像中的ROI/VOI圖像的相似度，以及根據(jù)所述分別計(jì)算的相似度對(duì)多幅參考圖像進(jìn)行排序。提取圖像數(shù)據(jù)和搜索相似圖像可以由圖像獲取裝置121和圖像分析裝置122執(zhí)行。所述圖像數(shù)據(jù)可以包括待搜索圖像和/或參考圖像的種類(lèi)(如PET圖像、SPECT圖像、CT圖像、MRI圖像等)，從待搜索圖像和/或參考圖像中獲取的ROI/VOI圖像，和/或從ROI/VOI圖像中提取出的特征等。

在203中，可以根據(jù)所述相似度的排序結(jié)果確定與待搜索圖像相似的一幅或多幅參考圖像。這里所說(shuō)的與待搜索圖像相似的一幅或多幅參考圖像指的是相似度滿(mǎn)足一定條件的參考圖像。例如，排名越靠前的相似度所對(duì)應(yīng)的參考圖像與待搜索圖像的相似度越高。一個(gè)搜索結(jié)果中可以確定相似度排名前5，前10，或者前20的參考圖像。相似參考圖像的確定可以由輸出裝置130執(zhí)行。

以上對(duì)適用領(lǐng)域的描述僅僅是具體的示例，不應(yīng)被視為是唯一可行的實(shí)施方案。顯然，對(duì)于本領(lǐng)域的專(zhuān)業(yè)人員來(lái)說(shuō)，在了解一種圖像搜索方法和系統(tǒng)的基本原理后，可以在不背離這一原理的情況下，對(duì)實(shí)施上述方法和系統(tǒng)的應(yīng)用領(lǐng)域形式和細(xì)節(jié)上的各種修正和改變，但是這些修正和改變?nèi)栽谝陨厦枋龅姆秶畠?nèi)。例如，在201中，可以獲取與待搜索圖像相關(guān)的其它信息，并基于所述其它信息搜索圖像。具體地，可以獲取待搜索圖像的一個(gè)或多個(gè)特征，或者與待搜索圖像一個(gè)或多個(gè)特征相關(guān)的語(yǔ)義描述，后續(xù)的搜索過(guò)程可以是搜索含有類(lèi)似特征的圖像或信息，也可以是搜索滿(mǎn)足所述語(yǔ)義描述的圖像。

圖3是根據(jù)本申請(qǐng)的一些實(shí)施例所示的一種圖像獲取裝置121的示意圖。圖像獲取裝置121可以包含圖像獲取模塊301、識(shí)別模塊302、定位模塊303、ROI/VOI圖像獲取模塊304，以及其他用于實(shí)現(xiàn)圖像獲取裝置功能的部分。顯而易見(jiàn)地，圖3所述圖像獲取裝置121僅僅是代表本申請(qǐng)的一些實(shí)施例，對(duì)于本領(lǐng)域的普通技術(shù)人員而言，在不付出創(chuàng)造性勞動(dòng)的前提下，可以根據(jù)圖像獲取裝置121的描述做出修改、增添和刪減。例如，其中兩個(gè)模塊可以結(jié)合為一個(gè)模塊，或者其中一個(gè)模塊可以分割為兩個(gè)或多個(gè)模塊。

圖像獲取模塊301可以用于獲取一幅或多幅待搜索圖像和/或參考圖像。所述待搜索圖像和/或參考圖像可以有多種類(lèi)型。在一些實(shí)施例中，待搜索圖像和/或參考圖像可以是二維圖像和/或三維圖像。在一些實(shí)施例中，待搜索圖像和/或參考圖像可以是PET圖像、CT圖像、SPECT圖像、MRI圖像、超聲圖像等中的一種圖像或多種圖像的組合。

識(shí)別模塊302可以用于識(shí)別待搜索圖像和/或參考圖像。識(shí)別模塊302可以識(shí)別待搜索圖像和/或參考圖像的類(lèi)型和內(nèi)容。在一些實(shí)施例中，識(shí)別模塊302可以識(shí)別待檢索圖像和/或參考圖像是二維圖像、三維圖像中一種。在一些實(shí)施例中，識(shí)別模塊302可以識(shí)別待檢索圖像和/或參考圖像是PET圖像、CT圖像、SPECT圖像、MRI圖像、超聲圖像中一種。

定位模塊303可以在待搜索圖像和/或參考圖像中定位一個(gè)或多個(gè)特定區(qū)域。所述特定區(qū)域可以包含感興趣區(qū)域(ROI)或感興趣體積(VOI)。在一些實(shí)施例中，定位模塊303可以采用計(jì)算機(jī)輔助診斷(Computer-Aided Diagnosis,CAD)在所述識(shí)別出的圖像中定位所述特定區(qū)域。

ROI/VOI圖像獲取模塊304可以獲取待搜索圖像和/或參考圖像中的ROI/VOI圖像。所述ROI/VOI圖像可以是將待搜索圖像和/或參考圖像中的特定區(qū)域提取出來(lái)所形成的圖像。所述ROI/VOI圖像可以是二維圖像和/或三維圖像。在一些實(shí)施例中，對(duì)于二維的待搜索圖像和/或參考圖像，ROI/VOI圖像獲取模塊304獲取的圖像可以是ROI圖像；對(duì)于三維的待搜索圖像和/或參考圖像，ROI/VOI圖像獲取模塊304獲取的圖像可以是VOI圖像。在一些實(shí)施例中，ROI/VOI圖像可以是獲取的待搜索圖像和/或參考圖像本身，或待搜索圖像和/或參考圖像中的一部分。僅僅以醫(yī)療上的肺部圖像作為事例，ROI/VOI圖像可以顯示整個(gè)肺部，或肺部中某一具體特定區(qū)域。特定區(qū)域可以包括肺部病灶區(qū)域或產(chǎn)生肺結(jié)節(jié)的區(qū)域等。

ROI/VOI圖像的獲取可以是人工手動(dòng)完成的，例如，醫(yī)護(hù)人員可以指定病灶區(qū)域。ROI/VOI圖像的獲取可以通過(guò)計(jì)算機(jī)自動(dòng)識(shí)別獲得。在一些實(shí)施例中，ROI/VOI圖像的可以通過(guò)計(jì)算機(jī)輔助診斷獲取。例如，計(jì)算機(jī)識(shí)別出病灶后，可以將病灶本身設(shè)定為目標(biāo)區(qū)域，并生成ROI/VOI圖像。又例如，計(jì)算機(jī)識(shí)別出病灶后，可以設(shè)定一個(gè)區(qū)域作為目標(biāo)區(qū)域，并根據(jù)該目標(biāo)區(qū)域生成ROI/VOI圖像。該目標(biāo)區(qū)域可以將病灶包含在內(nèi)。所述目標(biāo)區(qū)域可以具有與病灶相同或相似的輪廓，或其它輪廓。所述目標(biāo)區(qū)域的面積可以比病灶面積基本相同，或大1％，或者3％，或者5％，或者10％，或者50％，或者其它任意的數(shù)字。這里所說(shuō)的病灶是對(duì)應(yīng)于生物組織中存在異常的區(qū)域，在圖像中會(huì)表現(xiàn)出不同于正常組織的“突變”或者“陰影”。

顯而易見(jiàn)地，圖3所述圖像獲取裝置121僅僅是代表本申請(qǐng)的一些實(shí)施例，對(duì)于本領(lǐng)域的普通技術(shù)人員而言，在不付出創(chuàng)造性勞動(dòng)的前提下，可以根據(jù)圖像獲取裝置121的描述做出修改、增添和刪減。例如，在一些實(shí)施例中，定位模塊303和ROI/VOI圖像獲取模塊304可以結(jié)合為一個(gè)模塊。在一些更具體的實(shí)施例中，定位模塊303可以通過(guò)計(jì)算輔助診斷在待搜索圖像和/或參考圖像中定位一個(gè)或多個(gè)區(qū)域，并獲取所述區(qū)域的ROI/VOI圖像。

圖4是根據(jù)本申請(qǐng)的一些實(shí)施例所示的一種圖像獲取流程圖。在401中，圖像獲取過(guò)程可以包含獲取待搜索圖像和/或參考圖像。待搜索圖像和/或參考圖像的獲取可以由圖像獲取模塊301執(zhí)行。待搜索圖像和/或參考圖像可以從用戶(hù)界面110和/或存儲(chǔ)裝置140等部分中獲取。在一些實(shí)施例中，圖像搜索系統(tǒng)100可以從圖像數(shù)據(jù)庫(kù)中獲取一幅或多幅參考圖像。

在402中，圖像獲取過(guò)程包括識(shí)別待搜索圖像和/或參考圖像。識(shí)別過(guò)程可以通過(guò)識(shí)別模塊302執(zhí)行。在一些實(shí)施例中，圖像搜索系統(tǒng)100可以基于圖像中有無(wú)三維的數(shù)據(jù)(如三維坐標(biāo)方向的像素點(diǎn)等)來(lái)判斷待搜索圖像和/或參考圖像是二維圖像和/或三維圖像。在一些實(shí)施例中，圖像搜索系統(tǒng)100可以基于圖像相關(guān)的信息(如圖像的類(lèi)型、圖像的存儲(chǔ)路徑、圖像中的標(biāo)志等信息)判斷待搜索圖像和/或參考圖像的內(nèi)容(如圖像是否是PET圖像、圖像是否關(guān)于同一病人等)。

在403中，在待搜索圖像和/或參考圖像中定位一個(gè)或多個(gè)區(qū)域。所述定位可以由定位模塊303執(zhí)行。在一些實(shí)施例中，可以通過(guò)計(jì)算機(jī)輔助診斷在待搜索圖像和/或參考圖像中定位出所述一個(gè)或多個(gè)區(qū)域。在一些實(shí)施例中，圖像搜索系統(tǒng)100可以通過(guò)一個(gè)或多個(gè)模型(如生物結(jié)構(gòu)模型、圖像像素點(diǎn)或灰度值分布模型等)對(duì)待搜索圖像和/或參考圖形進(jìn)行分割后定位所述區(qū)域。

在404中，獲取一個(gè)或多個(gè)區(qū)域相關(guān)的ROI/VOI圖像。ROI/VOI圖像的獲取可以由ROI/VOI圖像獲取模塊304執(zhí)行。在一些實(shí)施例中，ROI/VOI圖像的獲取可以通過(guò)分割出待搜索圖像和/或參考圖像中的特定區(qū)域來(lái)實(shí)現(xiàn)。例如，在一個(gè)肺部圖像中，ROI/VOI圖像可以是病灶區(qū)域所對(duì)應(yīng)部分的圖像。在一些實(shí)施例中，圖像搜索過(guò)程包括進(jìn)一步提取ROI/VOI圖像的表征參數(shù)。在一些實(shí)施例中，所述表征參數(shù)包含面積、灰度均值、方差、標(biāo)準(zhǔn)差、圓形度、球形度、矩、最大值、最小值、形狀矩描述子及傅里葉描述子等一種參數(shù)或多種參數(shù)的組合。

圖5是根據(jù)本申請(qǐng)的一些實(shí)施例所示的一種圖像分析裝置122的示意圖。圖像分析裝置122可以包含參數(shù)模塊501、特征提取模塊502、特征選擇模塊503、特征分析模塊504、排序模塊505和/或其他用于執(zhí)行圖像分析裝置功能的部分。顯而易見(jiàn)地，圖5所述圖像分析裝置122僅僅是代表本申請(qǐng)的一些實(shí)施例，對(duì)于本領(lǐng)域的普通技術(shù)人員而言，在不付出創(chuàng)造性勞動(dòng)的前提下，可以根據(jù)圖像分析裝置122的描述做出修改、增添和刪減。例如，其中兩個(gè)模塊可以結(jié)合為一個(gè)模塊，或者其中一個(gè)模塊可以分割為兩個(gè)或多個(gè)模塊。

參數(shù)模塊501可以用于接收、處理和/或存儲(chǔ)一個(gè)或多個(gè)參數(shù)。所述參數(shù)可以與特征提取模塊502、特征選擇模塊503、特征分析模塊504和/或排序模塊505相關(guān)。所述參數(shù)可以包含特征提取模塊502的信息、特征選擇模塊503的信息、特征分析模塊504的信息和/或排序模塊505的信息。特征提取模塊502中的信息，以采用卷積神經(jīng)網(wǎng)絡(luò)算法為例，可以包含設(shè)置的層級(jí)數(shù)目、卷積核大小、卷積核數(shù)目、混合層的窗口大小、混合層和卷積層的匹配方式、ReLU層的位置等。特征選擇模塊503中的信息可以包含選擇的特征數(shù)目、特征的類(lèi)型等。特征分析模塊504中的信息可以包含對(duì)待搜索圖像和/或參考圖像的特征進(jìn)行比較或分析的方式等。排序模塊505中的信息可以包含進(jìn)行排序的特征的數(shù)目、排序的方法等。對(duì)待搜索圖像，圖像搜索系統(tǒng)100可以設(shè)置一種參數(shù)(為了方便描述，以下稱(chēng)“第一參數(shù)”)。針對(duì)參考圖像，圖像搜索系統(tǒng)100可以設(shè)置一種參數(shù)(為了方便描述，以下稱(chēng)“第二參數(shù)”)。所述第一參數(shù)和第二參數(shù)可以包括參數(shù)模塊501接收、處理和/或存儲(chǔ)的參數(shù)中的一個(gè)或多個(gè)的組合。在一些實(shí)施例中，第一參數(shù)和第二參數(shù)可以相同或不同。

特征提取模塊502可以用于提取待搜索圖像和/或參考圖像相關(guān)的ROI/VOI圖像特征。所述ROI/VOI圖像特征指的是一個(gè)ROI/VOI圖像單獨(dú)可計(jì)量的屬性。在一些實(shí)施例中，所述ROI/VOI圖像特征可以包括圖像灰度統(tǒng)計(jì)特征、紋理特征、形態(tài)學(xué)特征、小波特征、直方圖特征等一種或多種的組合。在一些實(shí)施例中，所述ROI/VOI圖像特征可以是通過(guò)一個(gè)或多個(gè)模型(例如，卷積神經(jīng)網(wǎng)絡(luò)算法的模型，或其他相關(guān)算法的模型等)提取出的圖像信息。所述圖像信息可以是指由特定算法計(jì)算出的與圖像相關(guān)的結(jié)果。經(jīng)提取的ROI/VOI圖像特征可以包含在一個(gè)ROI/VOI圖像特征集中。例如，待搜索圖像的ROI/VOI圖像特征可以包含在一個(gè)待搜索圖像ROI/VOI圖像特征集中；一幅或多幅參考圖像的ROI/VOI圖像特征可以包含在一個(gè)參考圖像ROI/VOI圖像特征集中。一個(gè)ROI/VOI圖像特征集中可以包含一種或多種圖像特征，這些圖像特征可以通過(guò)同一個(gè)模型，或不同的模型獲得。

特征選擇模塊503可以用于在ROI/VOI圖像特征集中選擇部分或全部ROI/VOI圖像特征。特征選擇模塊503可以基于一個(gè)或多個(gè)特征選擇算法進(jìn)行特征選擇。對(duì)于不同類(lèi)型的待搜索圖像，特征選擇模塊503可以采用相同或者不同的特征選擇算法。對(duì)特征選擇算法的選擇可以是人為設(shè)定的，或特征選擇模塊503通過(guò)學(xué)習(xí)同類(lèi)待搜索圖像的搜索歷史而獲得等。在一些實(shí)施例中，所述特征選擇算法可以是Correlation Based Feature Selection(CFS)算法。

特征分析模塊504可以分析和獲取ROI/VOI圖像特征有關(guān)的數(shù)據(jù)。所述ROI/VOI圖像特征有關(guān)的數(shù)據(jù)可以包括待搜索圖像的ROI/VOI圖像特征、參考圖像ROI/VOI圖像特征、和/或待搜索圖像ROI/VOI圖像特征與參考圖像ROI/VOI圖像特征的特征之差等。所述特征之差可以通過(guò)待搜索圖像的ROI/VOI圖像特征與參考圖像的ROI/VOI圖像特征所分別形成的特征向量之差來(lái)確定。在一些實(shí)施例中，所述特征向量可以由ROI/VOI圖像特征中的像素點(diǎn)進(jìn)行一定操作(例如，排列，組合等)表示。在一些實(shí)施例中，待搜索圖像的ROI/VOI圖像與參考圖像ROI/VOI圖像含有相同數(shù)量的像素。在一些實(shí)施例中，特征之差可以表現(xiàn)為兩幅ROI/VOI圖像上相同像素點(diǎn)的灰度值之差。在一些實(shí)施例中，特征之差可以表現(xiàn)為兩幅ROI/VOI圖像經(jīng)過(guò)相同算法計(jì)算獲得圖像信息之間的差別。

排序模塊505可以基于圖像特征相關(guān)的數(shù)據(jù)對(duì)參考圖像進(jìn)行排序。排序模塊505可以通過(guò)LambdaMART算法對(duì)參考圖像進(jìn)行排序。在一些實(shí)施例中，排序越高的參考圖像與待搜索的圖像具有越高的相似性。

顯而易見(jiàn)地，圖5所述圖像分析裝置122僅僅是代表本申請(qǐng)的一些實(shí)施例，對(duì)于本領(lǐng)域的普通技術(shù)人員而言，在不付出創(chuàng)造性勞動(dòng)的前提下，可以根據(jù)圖像分析裝置122的描述做出修改、增添和刪減。例如，在一些實(shí)施例中，特征分析模塊504和排序模塊505可以結(jié)合為一個(gè)模塊。

圖6是根據(jù)本申請(qǐng)的一些實(shí)施例所示的一種圖像分析的流程圖。在601中，圖像搜索系統(tǒng)100可以載入?yún)⒖紙D像的ROI/VOI圖像和第二參數(shù)。參考圖像的ROI/VOI圖像和第二參數(shù)的獲取可以由參數(shù)模塊501執(zhí)行。

在602中，圖像搜索系統(tǒng)100可以基于第二參數(shù)，提取參考圖像的ROI/VOI圖像的特征，形成特征集A。參考圖像的ROI/VOI圖像特征提取可以由特征提取模塊502執(zhí)行。在一些實(shí)施例中，第二參數(shù)可以包含采用卷積神經(jīng)網(wǎng)絡(luò)算法提取參考圖像的ROI/VOI圖像特征的方法。在一些實(shí)施例中，參考圖像的ROI/VOI圖像特征可以被存儲(chǔ)在存儲(chǔ)裝置140和/或圖像搜索系統(tǒng)100其他部分。圖像搜索系統(tǒng)100可以直接獲取參考圖像的ROI/VOI圖像特征。在一些實(shí)施例中，第二參數(shù)中包括所需提取的ROI/VOI圖像特征的特征數(shù)目，例如，500。

在603中，圖像搜索系統(tǒng)100可以采用特征選擇算法對(duì)特征集A進(jìn)行特征選擇，得到特征子集B。特征選擇可以由特征選擇模塊503執(zhí)行。在一些實(shí)施例中，所述特征選擇算法可以是Correlation Based Feature Selection(CFS)算法。

在604中，圖像搜索系統(tǒng)100可以載入待搜索圖像的ROI/VOI圖像和第一參數(shù)。待搜索圖像的ROI/VOI圖像和第一參數(shù)的獲取可以由參數(shù)模塊501執(zhí)行。在一些實(shí)施例中，第一參數(shù)和第二參數(shù)可以相同或不同。例如，第一參數(shù)和第二參數(shù)可以含有相同的提取圖像特征的算法。再例如，第一參數(shù)和第二參數(shù)可以含有不同的提取圖像特征的特征數(shù)目。在一些實(shí)施例中，第一參數(shù)是基于特征子集B對(duì)應(yīng)的特征參數(shù)得到的。例如，第一參數(shù)中可以包含提取出特征子集B的方法。再例如，第一參數(shù)中可以設(shè)定所提取的圖像特征的數(shù)目等同于特征子集B中所包含的圖像特征的數(shù)目。

在605中，圖像搜索系統(tǒng)100可以基于特征子集B和第一參數(shù)，提取待搜索圖像的ROI/VOI圖像的特征，形成特征集C。待搜索圖像的ROI/VOI圖像特征提取可以由特征提取模塊502執(zhí)行。在一些實(shí)施例中，第一參數(shù)可以包含采用卷積神經(jīng)網(wǎng)絡(luò)算法提取待搜索圖像的ROI/VOI圖像特征的方法。

在606中，圖像搜索系統(tǒng)100可以存儲(chǔ)參考圖像的ROI/VOI圖像特征子集B和/或待搜索圖像的ROI/VOI圖像特征集C。參考圖像的ROI/VOI圖像特征子集B和/或待搜索圖像的ROI/VOI圖像特征集C可以被存儲(chǔ)到存儲(chǔ)裝置140和/或圖像搜索系統(tǒng)100的其他部分中。在一些實(shí)施例中，參考圖像的ROI/VOI圖像特征子集B和/或待搜索圖像的ROI/VOI圖像特征集C可以以特征樹(shù)(例如基于歐氏距離建立的特征索引樹(shù)等)的形式存儲(chǔ)在存儲(chǔ)裝置140中。

在607中，圖像搜索系統(tǒng)100可以分析和獲取與特征集C有關(guān)的特征數(shù)據(jù)。與特征集C有關(guān)的特征數(shù)據(jù)的分析和獲取可以通過(guò)特征分析模塊504執(zhí)行。在一些實(shí)施例中，特征分析模塊504可以比較待搜索圖像的ROI/VOI圖像特征集C和參考圖像的ROI/VOI圖像特征子集B，獲取一個(gè)或多個(gè)特征之差。在一些實(shí)施例中，可以比較待搜索圖像的ROI/VOI圖像特征集C和參考圖像的ROI/VOI圖像特征子集B中全部的特征并獲得特征之差，或在所述特征集C和特征子集B中選擇部分特征進(jìn)行比較，從而獲得特征之差。，

在608中，圖像搜索系統(tǒng)100可以基于得到的特征相關(guān)的數(shù)據(jù)，對(duì)參考圖像進(jìn)行排序。所述特征相關(guān)的數(shù)據(jù)包含單個(gè)特征的特征之差，多個(gè)特征的特征之差等。在所述排序結(jié)果中，排名越靠前的參考圖像與待搜索圖像的相似度越高。參考圖像的排序可以通過(guò)排序模塊505執(zhí)行。排序模塊505可以通過(guò)一個(gè)或多個(gè)分類(lèi)器對(duì)參考圖像進(jìn)行排序。在一些實(shí)施例中，不同圖像類(lèi)型或者不同圖像內(nèi)容所采用的排序方法可以不同。在一些實(shí)施例中，排序模塊505可以采用LambdaMART算法，基于每一組待搜索圖像的ROI/VOI圖像和參考圖像的ROI/VOI圖像之間一個(gè)或多個(gè)特征之差，對(duì)參考圖像排序。

在609中，圖像搜索系統(tǒng)100可以根據(jù)排序結(jié)果，確定一幅或多幅參考圖像。這里所確定的一幅或多幅參考圖像與待搜索圖像的相似度滿(mǎn)足一定的條件。例如在所述排序結(jié)果中，排名越靠前的參考圖像與待搜索圖像的相似度越高。在一些實(shí)施例中，一個(gè)搜索結(jié)果中可以確定排名前5，前10，或者前20的參考圖像。參考圖像的確定可以由輸出裝置130執(zhí)行。在一些實(shí)施例中，圖像搜索系統(tǒng)100可以確定待搜索圖像、待搜索圖像的ROI/VOI圖像、一幅或多幅參考圖像、以及一幅或多幅參考圖像的ROI/VOI圖像等。

在圖像搜索過(guò)程中，操作601、602、603可發(fā)生在訓(xùn)練階段，圖像搜索系統(tǒng)100對(duì)一幅或多幅參考圖像的ROI/VOI圖像提取特征，分別形成特征集，并采用特征選擇算法對(duì)特征集進(jìn)行特征選擇，分別形成特征子集。在一些實(shí)施例中，操作604、605、607、608、609可發(fā)生在測(cè)試階段，圖像搜索系統(tǒng)100可直接基于所述得到的參考圖像的ROI/VOI圖像特征子集對(duì)應(yīng)的特征參數(shù)，對(duì)待搜索圖像的ROI/VOI圖像提取特征，形成特征集。進(jìn)而分析參考圖像的ROI/VOI圖像特征子集和待搜索圖像的ROI/VOI圖像特征集，得到特征數(shù)據(jù)，基于得到的特征數(shù)據(jù)，對(duì)所述參考圖像進(jìn)行排序，再基于所述排序結(jié)果，確定相似的參考圖像。

顯而易見(jiàn)地，圖6所述圖像分析流程僅僅是代表本申請(qǐng)的一些實(shí)施例，對(duì)于本領(lǐng)域的普通技術(shù)人員而言，在不付出創(chuàng)造性勞動(dòng)的前提下，可以根據(jù)圖像分析裝置122的描述做出修改、增添和刪減。例如，參考圖像的ROI/VOI圖像特征子集B可以事先存儲(chǔ)在存儲(chǔ)裝置140或圖像搜索系統(tǒng)100中其他部分，與待搜索圖像的ROI/VOI圖像經(jīng)過(guò)特征提取后形成的特征集C進(jìn)行比較后獲得特征之差。

圖7是根據(jù)本申請(qǐng)的一些實(shí)施例所示的一種ROI圖像特征提取的流程圖。在一些實(shí)施例中，所述ROI圖像特征提取流程是基于第一參數(shù)和/或第二參數(shù)，并采用卷積神經(jīng)網(wǎng)絡(luò)算法得以實(shí)現(xiàn)ROI圖像特征的提取。

在701中，圖像搜索系統(tǒng)100可以獲取一幅ROI圖像。所述ROI圖像可以是待搜索圖像的ROI圖像，或參考圖像的ROI圖像。所述ROI圖像可以是任何分辨率的圖像。在一些實(shí)施例中，所述ROI圖像可以是20*20、28*28等。

在702中，圖像搜索系統(tǒng)100可以采用卷積神經(jīng)網(wǎng)絡(luò)對(duì)ROI圖像采用第一組卷積核進(jìn)行多次卷積，得到多幅圖像conv1。在一些實(shí)施例中，所述第一組卷積核可以是3*3、5*5、或其他大小的卷積核。卷積核的數(shù)目可以人為設(shè)定，或根據(jù)圖像的分辨率進(jìn)行調(diào)整等。僅僅作為例子，卷積核的數(shù)量可以是10，或者20。所述的第一組卷積核所包含的多個(gè)卷集核可以是完全相同的，部分相同的，或完全不相同的。在一個(gè)具體的實(shí)施例中，對(duì)一幅28*28的ROI圖像，可以采用20個(gè)5*5的第一組卷積核進(jìn)行卷積，得到20幅24*24的圖像。

在703中，對(duì)得到的一幅或多幅圖像conv1劃分子塊。所述子塊包含圖像conv1中的部分或全部信息。在一些實(shí)施例中，圖像搜索系統(tǒng)100可以通過(guò)在多幅圖像conv1中截取一定數(shù)目的像素點(diǎn)形成子塊。例如，可以將上述實(shí)施例中一幅24*24的圖像劃分為12*12個(gè)子塊，每個(gè)子塊的大小為2*2。

在704中，遍歷一幅圖像conv1中劃分好的子塊，并對(duì)各個(gè)子塊賦值，得到一幅新的圖像。例如，在上述實(shí)施例中，在每個(gè)2*2的子塊中提取最大值作為子塊的像素值，可以獲得一幅12*12的圖像。對(duì)一幅圖像conv1中的子塊分別提取最大值，可以得到一幅圖像pool1。對(duì)多幅圖像convl中的子塊分別提取最大值，可以得到多幅圖像pool1。例如，在上述實(shí)施例中，對(duì)20幅24*24的圖像都執(zhí)行劃分子塊并提取最大值的過(guò)程，得到20幅12*12的圖像。

在705中，可以采用第二組卷積核在得到的一幅或者多幅圖像pool1再次進(jìn)行卷積。在一些實(shí)施例中，所述第二組卷積核可以是3*3、5*5或其他大小的卷積核，卷積核的數(shù)目可以人為設(shè)定，或根據(jù)圖像的分辨率進(jìn)行調(diào)整等。所述的第二組卷積核所包含多個(gè)卷集核可以是完全相同的，部分相同，或完全不相同的。

在706中，可以將再次卷積后得到的部分或者全部圖像進(jìn)行疊加，得到一幅圖像塊。在707中，可以采用第三組卷積核對(duì)所述圖像塊進(jìn)行多次卷積，得到多幅圖像conv2。在708中，可以對(duì)得到的一幅或者多幅圖像conv2劃分子塊。在709中，可以遍歷一幅圖像conv2中劃分好的子塊，并對(duì)各個(gè)子塊賦值，得到一幅新的圖像。在一些實(shí)施例中，可以對(duì)各個(gè)子塊都抽取最大值作為新圖像的一個(gè)像素點(diǎn)。對(duì)一幅圖像conv2中的子塊分別提取最大值，可以得到一幅圖像pool2。對(duì)多幅圖像conv2中的子塊分別提取最大值，可以得到多幅圖像pool2。在710中，可以將得到的多幅圖像pool2中的像素點(diǎn)表示為特征的向量，對(duì)向量進(jìn)行全連接到神經(jīng)元，獲得一定數(shù)目的特征。所述全連接層中，每一個(gè)下層神經(jīng)元都和上一層所有的像素點(diǎn)有關(guān)系。

顯而易見(jiàn)地，圖7所述ROI圖像特征提取流程僅僅是代表本申請(qǐng)的一些實(shí)施例，對(duì)于本領(lǐng)域的普通技術(shù)人員而言，在不付出創(chuàng)造性勞動(dòng)的前提下，可以根據(jù)圖像分析裝置122的描述做出修改、增添和刪減。例如，操作702、705和707步可以是采用相同的卷積原理，所述第一組卷積核、第二組卷積核和第三組卷積核可以相同也可以不同；操作703和操作708中對(duì)子塊的劃分可以相同也可以不同；704和709對(duì)子塊取值的選取，也可以采用取最大值之外的其它方法。例如，可以取子塊中所有體素的平均值，或是基于子塊中超過(guò)某一閾值的像素而產(chǎn)生的數(shù)值。

圖8是根據(jù)本申請(qǐng)的一些實(shí)施例所示的一種采用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取的流程圖。如圖所示，采用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取可以包括如下流程：(1)載入28*28的ROI圖像對(duì)，該ROI圖像對(duì)可以包括一幅待搜索的ROI圖像和一幅參考圖像的ROI圖像；(2)對(duì)一幅ROI圖像用20個(gè)5*5的卷積核進(jìn)行卷積，分別得到20幅24*24的圖像；(3)將每幅24*24的圖像劃分為12*12個(gè)子塊，每塊的大小為2*2，對(duì)各個(gè)子塊都抽取最大值，得到12*12的圖像。對(duì)20幅24*24的圖像都執(zhí)行此過(guò)程，分別得到20幅12*12的圖像；(4)對(duì)第(3)步中的每組的20幅12*12的圖像，分別采用不同的5*5的卷積核進(jìn)行卷積，得到20幅8*8的圖像；然后這些圖像進(jìn)行疊加，得到一幅8*8的圖像；(5)采用不同的卷積核對(duì)第(4)步執(zhí)行50次，可得到50幅8*8的圖像；(4)和(5)中用到的卷積核為50*20個(gè)；(6)對(duì)50幅8*8的圖像，每個(gè)圖像執(zhí)行2*2塊中抽取最大值，得到50幅4*4的圖像；(7)對(duì)4*4*50個(gè)特征進(jìn)行全連接到500個(gè)神經(jīng)元，輸出500個(gè)特征；(8)針對(duì)操作(1)輸入的圖像對(duì)，每個(gè)ROI圖像都執(zhí)行操作(2)^-(7)；(9)對(duì)這500個(gè)特征組成的樣本集，基于特征選擇模塊503的特征選擇算法CFS算法進(jìn)行特征選擇，采用特征分析模塊504中的特征數(shù)據(jù)分析算法獲取ROI圖像的特征數(shù)據(jù)，采用排序模塊505中的算法(例如，LambdaMART算法)將待搜索ROI圖像對(duì)應(yīng)的參考圖像進(jìn)行排序確定搜索到的相似參考圖像。

對(duì)參考圖像的排序可以基于參考圖像的ROI圖像與待搜索圖像的ROI圖像形成的損失函數(shù)。圖8所述的卷積神經(jīng)網(wǎng)絡(luò)中，圖像搜索系統(tǒng)100可以對(duì)兩幅ROI圖像構(gòu)建Siamese網(wǎng)絡(luò)，并進(jìn)一步計(jì)算Siamese網(wǎng)絡(luò)的損失函數(shù)。公式(1)為所述Siamese網(wǎng)絡(luò)的一個(gè)示例性損失函數(shù)：

N為樣本數(shù)，即待搜索圖像與參考圖像所形成圖像對(duì)的個(gè)數(shù)。yi為第i對(duì)圖像對(duì)的相似度，yi＝1時(shí)表示相似，yi＝0時(shí)表示不相似。di表示第i對(duì)圖像對(duì)的特征之間的距離，左邊結(jié)節(jié)的特征為(L_i1,L_i2,…,L_im)，右邊結(jié)節(jié)的特征為(R_i1,R_i2,…,R_im)。

圖9是根據(jù)本申請(qǐng)的一些實(shí)施例所示的一種存儲(chǔ)裝置140的示意圖。存儲(chǔ)裝置140可以包含圖像存儲(chǔ)模塊901、特征存儲(chǔ)模塊902、關(guān)聯(lián)模塊903和/或其他用于實(shí)現(xiàn)存儲(chǔ)裝置功能的部分。顯而易見(jiàn)地，圖9所述存儲(chǔ)裝置140僅僅是代表本申請(qǐng)的一些實(shí)施例，對(duì)于本領(lǐng)域的普通技術(shù)人員而言，在不付出創(chuàng)造性勞動(dòng)的前提下，可以根據(jù)存儲(chǔ)裝置140的描述做出修改、增添和刪減。例如，其中兩個(gè)模塊可以結(jié)合為一個(gè)模塊，或者其中一個(gè)模塊可以分割為兩個(gè)或多個(gè)模塊。

圖像存儲(chǔ)模塊901可以存儲(chǔ)待搜索圖像和/或參考圖像。待搜索圖像和/或參考圖像的存儲(chǔ)可以在各種適合時(shí)間點(diǎn)進(jìn)行。例如，待搜索圖像和/或參考圖像可以發(fā)生在確定與待搜索圖像相似的參考圖像之后。待搜索圖像和/或參考圖像可以以任何圖像搜索系統(tǒng)100支持的格式進(jìn)行存儲(chǔ)。在一些實(shí)施例中，待搜索圖像和/或參考圖像可以以Digital Imaging and Communications in Medicine(DICOM)格式存儲(chǔ)。

特征存儲(chǔ)模塊902可以存儲(chǔ)待搜索圖像和/或參考圖像的ROI/VOI圖像特征。在一些實(shí)施例中，待搜索圖像和/或參考圖像的ROI/VOI圖像特征，以及待搜索圖像和參考圖像ROI/VOI圖像特征之差可以通過(guò)特征存儲(chǔ)模塊902進(jìn)行存儲(chǔ)。所述特征可以以一定結(jié)構(gòu)存儲(chǔ)在存儲(chǔ)裝置140中。在一些實(shí)施例中，特征存儲(chǔ)模塊902可以通過(guò)對(duì)特征設(shè)置特征樹(shù)(如基于歐氏距離的特征索引樹(shù))而將特征存儲(chǔ)在存儲(chǔ)裝置140中。

關(guān)聯(lián)模塊903可以用于關(guān)聯(lián)存儲(chǔ)于圖像存儲(chǔ)模塊901中的圖像和存儲(chǔ)于特征存儲(chǔ)模塊903中的圖像特征。在一些實(shí)施例中，關(guān)聯(lián)模塊903可以設(shè)置一個(gè)關(guān)聯(lián)表來(lái)關(guān)聯(lián)圖像與特征。所述關(guān)聯(lián)表可以包括待搜索圖像和/或參考圖像的存儲(chǔ)名稱(chēng)、存儲(chǔ)路徑，和特征的存儲(chǔ)名稱(chēng)、存儲(chǔ)路徑等。

上文已對(duì)基本概念做了描述，顯然，對(duì)于本領(lǐng)域技術(shù)人員來(lái)說(shuō)，上述發(fā)明披露僅僅作為示例，而并不構(gòu)成對(duì)本申請(qǐng)的限定。雖然此處并沒(méi)有明確說(shuō)明，本領(lǐng)域技術(shù)人員可能會(huì)對(duì)本申請(qǐng)進(jìn)行各種修改、改進(jìn)和修正。該類(lèi)修改、改進(jìn)和修正在本申請(qǐng)中被建議，所以該類(lèi)修改、改進(jìn)、修正仍屬于本申請(qǐng)示范實(shí)施例的精神和范圍。

同時(shí)，本申請(qǐng)使用了特定詞語(yǔ)來(lái)描述本申請(qǐng)的實(shí)施例。如“一個(gè)實(shí)施例”、“一實(shí)施例”、和/或“一些實(shí)施例”意指與本申請(qǐng)至少一個(gè)實(shí)施例相關(guān)的某一特征、結(jié)構(gòu)或特點(diǎn)。因此，應(yīng)強(qiáng)調(diào)并注意的是，本說(shuō)明書(shū)中在不同位置兩次或多次提及的“一實(shí)施例”或“一個(gè)實(shí)施例”或“一替代性實(shí)施例”并不一定是指同一實(shí)施例。此外，本申請(qǐng)的一個(gè)或多個(gè)實(shí)施例中的某些特征、結(jié)構(gòu)或特點(diǎn)可以進(jìn)行適當(dāng)?shù)慕M合。

此外，本領(lǐng)域技術(shù)人員可以理解，本申請(qǐng)的各方面可以通過(guò)若干具有可專(zhuān)利性的種類(lèi)或情況進(jìn)行說(shuō)明和描述，包括任何新的和有用的工序、機(jī)器、產(chǎn)品或物質(zhì)的組合，或?qū)λ麄兊娜魏涡碌暮陀杏玫母倪M(jìn)。相應(yīng)地，本申請(qǐng)的各個(gè)方面可以完全由硬件執(zhí)行、可以完全由軟件(包括固件、常駐軟件、微碼等)執(zhí)行、也可以由硬件和軟件組合執(zhí)行。以上硬件或軟件均可被稱(chēng)為“數(shù)據(jù)塊”、“模塊”、“引擎”、“單元”、“組件”或“系統(tǒng)”。此外，本申請(qǐng)的各方面可能表現(xiàn)為位于一個(gè)或多個(gè)計(jì)算機(jī)可讀介質(zhì)中的計(jì)算機(jī)產(chǎn)品，該產(chǎn)品包括計(jì)算機(jī)可讀程序編碼。

計(jì)算機(jī)可讀信號(hào)介質(zhì)可能包含一個(gè)內(nèi)含有計(jì)算機(jī)程序編碼的傳播數(shù)據(jù)信號(hào)，例如在基帶上或作為載波的一部分。所述傳播信號(hào)可能有多種表現(xiàn)形式，包括電磁形式、光形式等等、或合適的組合形式。計(jì)算機(jī)可讀信號(hào)介質(zhì)可以是除計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)之外的任何計(jì)算機(jī)可讀介質(zhì)，該介質(zhì)可以通過(guò)連接至一個(gè)指令執(zhí)行系統(tǒng)、裝置或設(shè)備以實(shí)現(xiàn)通訊、傳播或傳輸供使用的程序。位于計(jì)算機(jī)可讀信號(hào)介質(zhì)上的程序編碼可以通過(guò)任何合適的介質(zhì)進(jìn)行傳播，包括無(wú)線電、電纜、光纖電纜、RF、或類(lèi)似介質(zhì)、或任何上述介質(zhì)的組合。

本申請(qǐng)各部分操作所需的計(jì)算機(jī)程序編碼可以用任意一種或多種程序語(yǔ)言編寫(xiě)，包括面向?qū)ο缶幊陶Z(yǔ)言如Java、Scala、Smal ltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等，常規(guī)程序化編程語(yǔ)言如C語(yǔ)言、Visual Bas ic、Fortran 2003、Perl、COBOL 2002、PHP、ABAP，動(dòng)態(tài)編程語(yǔ)言如Python、Ruby和Groovy，或其他編程語(yǔ)言等。該程序編碼可以完全在用戶(hù)計(jì)算機(jī)上運(yùn)行、或作為獨(dú)立的軟件包在用戶(hù)計(jì)算機(jī)上運(yùn)行、或部分在用戶(hù)計(jì)算機(jī)上運(yùn)行部分在遠(yuǎn)程計(jì)算機(jī)運(yùn)行、或完全在遠(yuǎn)程計(jì)算機(jī)或服務(wù)器上運(yùn)行。在后種情況下，遠(yuǎn)程計(jì)算機(jī)可以通過(guò)任何網(wǎng)絡(luò)形式與用戶(hù)計(jì)算機(jī)連接，例如，局域網(wǎng)(LAN)或廣域網(wǎng)(WAN)，或連接至外部計(jì)算機(jī)(例如通過(guò)因特網(wǎng))，或在云計(jì)算環(huán)境中，或作為服務(wù)使用如軟件即服務(wù)(SaaS)。

此外，除非權(quán)利要求中明確說(shuō)明，本申請(qǐng)所述處理元素和序列的順序、數(shù)字字母的使用、或其他名稱(chēng)的使用，并非用于限定本申請(qǐng)流程和方法的順序。盡管上述披露中通過(guò)各種示例討論了一些目前認(rèn)為有用的發(fā)明實(shí)施例，但應(yīng)當(dāng)理解的是，該類(lèi)細(xì)節(jié)僅起到說(shuō)明的目的，附加的權(quán)利要求并不僅限于披露的實(shí)施例，相反，權(quán)利要求旨在覆蓋所有符合本申請(qǐng)實(shí)施例實(shí)質(zhì)和范圍的修正和等價(jià)組合。例如，雖然以上所描述的系統(tǒng)組件可以通過(guò)硬件設(shè)備實(shí)現(xiàn)，但是也可以只通過(guò)軟件的解決方案得以實(shí)現(xiàn)，如在現(xiàn)有的服務(wù)器或移動(dòng)設(shè)備上安裝所描述的系統(tǒng)。

同理，應(yīng)當(dāng)注意的是，為了簡(jiǎn)化本申請(qǐng)披露的表述，從而幫助對(duì)一個(gè)或多個(gè)發(fā)明實(shí)施例的理解，前文對(duì)本申請(qǐng)實(shí)施例的描述中，有時(shí)會(huì)將多種特征歸并至一個(gè)實(shí)施例、附圖或?qū)ζ涞拿枋鲋?。但是，這種披露方法并不意味著本申請(qǐng)對(duì)象所需要的特征比權(quán)利要求中提及的特征多。實(shí)際上，實(shí)施例的特征要少于上述披露的單個(gè)實(shí)施例的全部特征。

一些實(shí)施例中使用了描述成分、屬性數(shù)量的數(shù)字，應(yīng)當(dāng)理解的是，此類(lèi)用于實(shí)施例描述的數(shù)字，在一些示例中使用了修飾詞“大約”、“近似”或“大體上”來(lái)修飾。除非另外說(shuō)明，“大約”、“近似”或“大體上”表明所述數(shù)字允許有±20％的變化。相應(yīng)地，在一些實(shí)施例中，說(shuō)明書(shū)和權(quán)利要求中使用的數(shù)值參數(shù)均為近似值，該近似值根據(jù)個(gè)別實(shí)施例所需特點(diǎn)可以發(fā)生改變。在一些實(shí)施例中，數(shù)值參數(shù)應(yīng)考慮規(guī)定的有效數(shù)位并采用一般位數(shù)保留的方法。盡管本申請(qǐng)一些實(shí)施例中用于確認(rèn)其范圍廣度的數(shù)值域和參數(shù)為近似值，在具體實(shí)施例中，此類(lèi)數(shù)值的設(shè)定在可行范圍內(nèi)盡可能精確。

針對(duì)本申請(qǐng)引用的每個(gè)專(zhuān)利、專(zhuān)利申請(qǐng)、專(zhuān)利申請(qǐng)公開(kāi)物和其他材料，如文章、書(shū)籍、說(shuō)明書(shū)、出版物、文檔、物件等，特將其全部?jī)?nèi)容并入本申請(qǐng)作為參考。與本申請(qǐng)內(nèi)容不一致或產(chǎn)生沖突的申請(qǐng)歷史文件除外，對(duì)本申請(qǐng)權(quán)利要求最廣范圍有限制的文件(當(dāng)前或之后附加于本申請(qǐng)中的)也除外。需要說(shuō)明的是，如果本申請(qǐng)附屬材料中的描述、定義、和/或術(shù)語(yǔ)的使用與本申請(qǐng)所述內(nèi)容有不一致或沖突的地方，以本申請(qǐng)的描述、定義和/或術(shù)語(yǔ)的使用為準(zhǔn)。

最后，應(yīng)當(dāng)理解的是，本申請(qǐng)中所述實(shí)施例僅用以說(shuō)明本申請(qǐng)實(shí)施例的原則。其他的變形也可能屬于本申請(qǐng)的范圍。因此，作為示例而非限制，本申請(qǐng)實(shí)施例的替代配置可視為與本申請(qǐng)的教導(dǎo)一致。相應(yīng)地，本申請(qǐng)的實(shí)施例不限于本申請(qǐng)明確介紹和描述的實(shí)施例。