本發(fā)明涉及圖像處理和存儲(chǔ),特別涉及一種輔助人工對(duì)圖像進(jìn)行篩查、分類和存儲(chǔ)的方法及系統(tǒng)。
背景技術(shù):
隨著互聯(lián)網(wǎng)和數(shù)據(jù)庫(kù)技術(shù)的發(fā)展,人們通過(guò)檢索獲取信息的方式更加方便快捷。而且,隨著照相機(jī)和攝像頭等圖像和視頻采集設(shè)備的日益普及,網(wǎng)絡(luò)中的圖像和視頻數(shù)據(jù)也日益增多,由此進(jìn)入了大數(shù)據(jù)的時(shí)代。因此,出現(xiàn)了基于圖像和視頻數(shù)據(jù)的各種應(yīng)用和服務(wù),比如互聯(lián)網(wǎng)上使用的基于圖像內(nèi)容的圖像搜索應(yīng)用和服務(wù)。這種互聯(lián)網(wǎng)上使用的搜索應(yīng)用和服務(wù)對(duì)數(shù)據(jù)庫(kù)中存儲(chǔ)的數(shù)據(jù)源的內(nèi)容可以不進(jìn)行嚴(yán)格認(rèn)證,但是,利用經(jīng)過(guò)認(rèn)證存儲(chǔ)后的數(shù)據(jù)源進(jìn)行搜索的結(jié)果應(yīng)該更利于用戶獲得期望的結(jié)果。
然而,當(dāng)針對(duì)就診患者本人的醫(yī)療圖像在醫(yī)療圖像專家?guī)熘羞M(jìn)行檢索以獲取相似病例的診斷結(jié)果并輔助醫(yī)生進(jìn)行診斷時(shí),所使用的醫(yī)療圖像專家?guī)斓臄?shù)據(jù)源應(yīng)當(dāng)是經(jīng)過(guò)人工認(rèn)證的數(shù)據(jù)源,以保證準(zhǔn)確性。
現(xiàn)有技術(shù)中已經(jīng)存在基于網(wǎng)格平臺(tái)和分布式醫(yī)療圖像專家?guī)斓尼t(yī)學(xué)圖像檢索系統(tǒng)。而且,也已知德國(guó)亞琛大學(xué)已經(jīng)開(kāi)發(fā)出了用于醫(yī)學(xué)圖像分類的irma系統(tǒng),按照成像類型、拍攝部位等將醫(yī)學(xué)圖像分類存儲(chǔ)在圖像庫(kù)中。
如果醫(yī)療圖像專家?guī)熘械尼t(yī)療圖像的分類和存儲(chǔ)操作完全依賴于人工分類和存儲(chǔ)的話,雖然能夠保證數(shù)據(jù)源的準(zhǔn)確性,但是工作量較大。
另外,隨著大數(shù)據(jù)時(shí)代的到來(lái),存儲(chǔ)在圖像專家?guī)熘械恼J(rèn)證數(shù)據(jù)源的數(shù)據(jù)來(lái)源也可能會(huì)不限于醫(yī)院提供的類似于x射線、ct、mri等的傳統(tǒng)醫(yī)療圖像,而是將數(shù)據(jù)來(lái)源擴(kuò)展至通過(guò)互聯(lián)網(wǎng)或移動(dòng)互聯(lián)網(wǎng)采集的可以用于診斷的其它形式的圖像或視頻數(shù)據(jù),這就需要先人工排除非醫(yī)療圖像,然后再對(duì)醫(yī)療圖像進(jìn)行分類和存儲(chǔ)。在這種情況下,單純靠人工進(jìn)行分類和存儲(chǔ)的工作量將更大。而且,完全自動(dòng)的圖像分類算法也會(huì)存在一定的錯(cuò)誤分類的概率。
因此,有必要提供一種方法和系統(tǒng)來(lái)輔助人工對(duì)將要被存儲(chǔ)在特定應(yīng)用和服務(wù)所使用的圖像數(shù)據(jù)庫(kù)中的圖像進(jìn)行篩查、分類和存儲(chǔ),從而保證該圖像數(shù)據(jù)庫(kù)中的數(shù)據(jù)源自身和數(shù)據(jù)源所屬類別等的準(zhǔn)確性。同時(shí),也為自動(dòng)圖像分類算法提供正確的反饋信息,從而基于反饋信息來(lái)進(jìn)行算法優(yōu)化。
技術(shù)實(shí)現(xiàn)要素:
至少為了部分解決上述技術(shù)問(wèn)題,本發(fā)明提出了以下技術(shù)方案。
根據(jù)本發(fā)明的一種輔助人工對(duì)圖像進(jìn)行篩查、分類和存儲(chǔ)的方法,包括以下步驟:步驟1:獲取和輸出待處理圖像;步驟2:對(duì)待處理圖像進(jìn)行特征提取,獲取該待處理圖像所對(duì)應(yīng)的待處理圖像特征向量;步驟3:分別計(jì)算待處理圖像特征向量與圖像特征數(shù)據(jù)庫(kù)中存儲(chǔ)的與多個(gè)醫(yī)學(xué)模板圖像一一對(duì)應(yīng)的各個(gè)醫(yī)學(xué)模板圖像特征向量和與多個(gè)非醫(yī)學(xué)模板圖像一一對(duì)應(yīng)的各個(gè)非醫(yī)學(xué)模板圖像特征向量之間的相似度表示的相似度指示值;步驟4:將與某個(gè)醫(yī)學(xué)模板圖像特征向量之間的相似度指示值最大的待處理圖像特征向量所對(duì)應(yīng)的選定待處理圖像確定為屬于該醫(yī)學(xué)模板圖像特征向量所對(duì)應(yīng)的待人工確認(rèn)的醫(yī)學(xué)模板圖像類;步驟5:在確定了選定待處理圖像屬于某個(gè)醫(yī)學(xué)模板圖像特征向量所對(duì)應(yīng)的待人工確認(rèn)的醫(yī)學(xué)模板圖像類之后,提取選定待處理圖像的縮略圖;步驟6:向用戶顯示包含選定待處理圖像的縮略圖、選定待處理圖像所屬的待人工確認(rèn)的醫(yī)學(xué)模板圖像類的類別和相似度指示值的顯示信息;步驟7:用戶根據(jù)顯示信息確認(rèn)或修改待人工確認(rèn)的醫(yī)學(xué)模板圖像類的類別,產(chǎn)生經(jīng)人工確認(rèn)的醫(yī)學(xué)模板圖像類的類別;步驟8:將選定待處理圖像按照經(jīng)人工確認(rèn)的醫(yī)學(xué)模板圖像類的類別存儲(chǔ)在醫(yī)療圖像數(shù)據(jù)庫(kù)中。
根據(jù)本發(fā)明的輔助人工對(duì)圖像進(jìn)行篩查、分類和存儲(chǔ)的方法,在步驟1之前還包括:步驟1’:建立或更新圖像特征數(shù)據(jù)庫(kù)。
根據(jù)本發(fā)明的輔助人工對(duì)圖像進(jìn)行篩查、分類和存儲(chǔ)的方法,其中的待處理圖像特征向量、醫(yī)學(xué)模板圖像特征向量和非醫(yī)學(xué)模板圖像特征向量包括下列特征中的至少一項(xiàng):顏色特征、形狀特征、紋理特征。
根據(jù)本發(fā)明的一種輔助人工對(duì)圖像進(jìn)行篩查、分類和存儲(chǔ)的系統(tǒng),所述系統(tǒng)包括:圖像特征數(shù)據(jù)庫(kù),用于存儲(chǔ)與多個(gè)醫(yī)學(xué)模板圖像一一對(duì)應(yīng)的多個(gè)醫(yī)學(xué)模板圖像特征向量和與多個(gè)非醫(yī)學(xué)模板圖像一一對(duì)應(yīng)的多個(gè)非醫(yī)學(xué)模板圖像特征向量;待處理圖像獲取模塊,用于獲取和輸出待處理圖像;特征提取模塊,其與待處理圖像獲取模塊連接,用于對(duì)待處理圖像進(jìn)行特征提取,獲取該待處理圖像所對(duì)應(yīng)的待處理圖像特征向量;相似度計(jì)算模塊,其與特征提取模塊和圖像特征數(shù)據(jù)庫(kù)連接,用于分別計(jì)算待處理圖像特征向量與圖像特征數(shù)據(jù)庫(kù)中存儲(chǔ)的與多個(gè)醫(yī)學(xué)模板圖像一一對(duì)應(yīng)的各個(gè)醫(yī)學(xué)模板圖像特征向量和與多個(gè)非醫(yī)學(xué)模板圖像一一對(duì)應(yīng)的各個(gè)非醫(yī)學(xué)模板圖像特征向量之間的相似度表示的相似度指示值;待人工確認(rèn)的醫(yī)學(xué)模板圖像類確定模塊,其與相似度計(jì)算模塊連接,用于將與某個(gè)醫(yī)學(xué)模板圖像特征向量之間的相似度指示值最大的待處理圖像特征向量所對(duì)應(yīng)的選定待處理圖像確定為屬于該醫(yī)學(xué)模板圖像特征向量所對(duì)應(yīng)的待人工確認(rèn)的醫(yī)學(xué)模板圖像類;縮略圖提取模塊,其與待人工確認(rèn)的醫(yī)學(xué)模板圖像類確定模塊和待處理圖像獲取模塊連接,用于在確定了選定待處理圖像屬于某個(gè)醫(yī)學(xué)模板圖像特征向量所對(duì)應(yīng)的待人工確認(rèn)的醫(yī)學(xué)模板圖像類之后,提取選定待處理圖像的縮略圖;信息顯示模塊,其與相似度計(jì)算模塊、待人工確認(rèn)的醫(yī)學(xué)模板圖像類確定模塊和縮略圖提取模塊連接,用于向用戶顯示包含選定待處理圖像的縮略圖、選定待處理圖像所屬的待人工確認(rèn)的醫(yī)學(xué)模板圖像類的類別和相似度指示值的顯示信息;人工確認(rèn)或修改模塊,用于用戶根據(jù)顯示信息確認(rèn)或修改待人工確認(rèn)的醫(yī)學(xué)模板圖像類的類別,產(chǎn)生經(jīng)人工確認(rèn)的醫(yī)學(xué)模板圖像類的類別;待處理圖像存儲(chǔ)模塊,其與待處理圖像獲取模塊和人工確認(rèn)或修改模塊連接,用于將選定待處理圖像按照經(jīng)人工確認(rèn)的醫(yī)學(xué)模板圖像類的類別存儲(chǔ)在醫(yī)療圖像數(shù)據(jù)庫(kù)中;醫(yī)療圖像數(shù)據(jù)庫(kù),其與待處理圖像獲取模塊和待處理圖像存儲(chǔ)模塊連接,用于分類存儲(chǔ)醫(yī)療圖像。
根據(jù)本發(fā)明的輔助人工對(duì)圖像進(jìn)行篩查、分類和存儲(chǔ)的系統(tǒng)還包括:圖像特征數(shù)據(jù)庫(kù)建立或更新模塊,其與圖像特征數(shù)據(jù)庫(kù)連接,用于建立或更新圖像特征數(shù)據(jù)庫(kù)。
根據(jù)本發(fā)明的輔助人工對(duì)圖像進(jìn)行篩查、分類和存儲(chǔ)的系統(tǒng),其中的待處理圖像特征向量、醫(yī)學(xué)模板圖像特征向量和非醫(yī)學(xué)模板圖像特征向量包括下列特征中的至少一項(xiàng):顏色特征、形狀特征、紋理特征。
根據(jù)本發(fā)明的另一種輔助人工對(duì)圖像進(jìn)行篩查、分類和存儲(chǔ)的方法,包括以下步驟:步驟1:獲取和輸出待處理圖像;步驟2:對(duì)待處理圖像進(jìn)行特征提取,獲取該待處理圖像所對(duì)應(yīng)的待處理圖像特征向量;步驟3:分別計(jì)算待處理圖像特征向量與圖像特征數(shù)據(jù)庫(kù)中存儲(chǔ)的與多個(gè)醫(yī)學(xué)模板圖像一一對(duì)應(yīng)的各個(gè)醫(yī)學(xué)模板圖像特征向量和與多個(gè)非醫(yī)學(xué)模板圖像一一對(duì)應(yīng)的各個(gè)非醫(yī)學(xué)模板圖像特征向量之間的相似度表示的相似度指示值;步驟4:將與某個(gè)醫(yī)學(xué)模板圖像特征向量之間的相似度指示值最大的待處理圖像特征向量所對(duì)應(yīng)的選定待處理圖像確定為屬于該醫(yī)學(xué)模板圖像特征向量所對(duì)應(yīng)的待人工確認(rèn)的醫(yī)學(xué)模板圖像類;步驟5:在確定了選定待處理圖像屬于某個(gè)醫(yī)學(xué)模板圖像特征向量所對(duì)應(yīng)的待人工確認(rèn)的醫(yī)學(xué)模板圖像類之后,提取選定待處理圖像的縮略圖;步驟6:將選定待處理圖像按照待人工確認(rèn)的醫(yī)學(xué)模板圖像類的類別自動(dòng)存儲(chǔ)在醫(yī)療圖像數(shù)據(jù)庫(kù)中;步驟7:將選定待處理圖像的縮略圖、選定待處理圖像所屬的待人工確認(rèn)的醫(yī)學(xué)模板圖像類的類別和相似度指示值、選定待處理圖像的唯一標(biāo)識(shí)存儲(chǔ)在自動(dòng)分類和保存信息暫存數(shù)據(jù)庫(kù)中。
根據(jù)本發(fā)明的另一種輔助人工對(duì)圖像進(jìn)行篩查、分類和存儲(chǔ)的系統(tǒng),所述系統(tǒng)包括:圖像特征數(shù)據(jù)庫(kù),用于存儲(chǔ)與多個(gè)醫(yī)學(xué)模板圖像一一對(duì)應(yīng)的多個(gè)醫(yī)學(xué)模板圖像特征向量和與多個(gè)非醫(yī)學(xué)模板圖像一一對(duì)應(yīng)的多個(gè)非醫(yī)學(xué)模板圖像特征向量;待處理圖像獲取模塊,用于獲取和輸出待處理圖像;特征提取模塊,其與待處理圖像獲取模塊連接,用于對(duì)待處理圖像進(jìn)行特征提取,獲取該待處理圖像所對(duì)應(yīng)的待處理圖像特征向量;相似度計(jì)算模塊,其與特征提取模塊和圖像特征數(shù)據(jù)庫(kù)連接,用于分別計(jì)算待處理圖像特征向量與圖像特征數(shù)據(jù)庫(kù)中存儲(chǔ)的與多個(gè)醫(yī)學(xué)模板圖像一一對(duì)應(yīng)的各個(gè)醫(yī)學(xué)模板圖像特征向量和與多個(gè)非醫(yī)學(xué)模板圖像一一對(duì)應(yīng)的各個(gè)非醫(yī)學(xué)模板圖像特征向量之間的相似度表示的相似度指示值;待人工確認(rèn)的醫(yī)學(xué)模板圖像類確定模塊,其與相似度計(jì)算模塊連接,用于將與某個(gè)醫(yī)學(xué)模板圖像特征向量之間的相似度指示值最大的待處理圖像特征向量所對(duì)應(yīng)的選定待處理圖像確定為屬于該醫(yī)學(xué)模板圖像特征向量所對(duì)應(yīng)的待人工確認(rèn)的醫(yī)學(xué)模板圖像類;縮略圖提取模塊,其與待人工確認(rèn)的醫(yī)學(xué)模板圖像類確定模塊和待處理圖像獲取模塊連接,用于在確定了選定待處理圖像屬于某個(gè)醫(yī)學(xué)模板圖像特征向量所對(duì)應(yīng)的待人工確認(rèn)的醫(yī)學(xué)模板圖像類之后,提取選定待處理圖像的縮略圖;待處理圖像自動(dòng)存儲(chǔ)模塊,其與待處理圖像獲取模塊、待人工確認(rèn)的醫(yī)學(xué)模板圖像類確定模塊和醫(yī)療圖像數(shù)據(jù)庫(kù)連接,用于將選定待處理圖像按照待人工確認(rèn)的醫(yī)學(xué)模板圖像類的類別自動(dòng)存儲(chǔ)在醫(yī)療圖像數(shù)據(jù)庫(kù)中;醫(yī)療圖像數(shù)據(jù)庫(kù),其與待處理圖像獲取模塊和待處理圖像自動(dòng)存儲(chǔ)模塊連接,用于分類存儲(chǔ)醫(yī)療圖像;自動(dòng)分類和保存信息生成和存儲(chǔ)模塊,其與相似度計(jì)算模塊、待人工確認(rèn)的醫(yī)學(xué)模板圖像類確定模塊、縮略圖提取模塊和待處理圖像自動(dòng)存儲(chǔ)模塊連接,用于將選定待處理圖像的縮略圖、選定待處理圖像所屬的待人工確認(rèn)的醫(yī)學(xué)模板圖像類的類別和相似度指示值、選定待處理圖像的唯一標(biāo)識(shí)存儲(chǔ)在自動(dòng)分類和保存信息暫存數(shù)據(jù)庫(kù)中;自動(dòng)分類和保存信息暫存數(shù)據(jù)庫(kù),其與自動(dòng)分類和保存信息生成和存儲(chǔ)模塊連接,用于暫存選定待處理圖像的縮略圖、選定待處理圖像所屬的待人工確認(rèn)的醫(yī)學(xué)模板圖像類的類別和相似度指示值、選定待處理圖像的唯一標(biāo)識(shí)。
本發(fā)明的優(yōu)點(diǎn)在于:通過(guò)圖像特征數(shù)據(jù)庫(kù)中存儲(chǔ)的醫(yī)學(xué)模板圖像的醫(yī)學(xué)模板圖像特征向量和非醫(yī)學(xué)模板圖像的非醫(yī)學(xué)模板圖像特征向量來(lái)進(jìn)行篩查,從而排除待處理圖像中不需要的非醫(yī)學(xué)圖像。然后根據(jù)待處理圖像與各個(gè)醫(yī)學(xué)模板圖像特征向量之間的相似度進(jìn)行醫(yī)學(xué)圖像分類,并產(chǎn)生用于進(jìn)行人工核查的顯示信息,所述顯示信息包含選定待處理圖像的縮略圖、選定待處理圖像所屬的待人工確認(rèn)的醫(yī)學(xué)模板圖像類的類別和相似度指示值,方便人工核查和對(duì)分類錯(cuò)誤的醫(yī)學(xué)圖像的類別進(jìn)行修改和存儲(chǔ)。同時(shí),也為自動(dòng)圖像分類算法提供正確的反饋信息,從而基于反饋信息來(lái)進(jìn)行算法優(yōu)化。
附圖說(shuō)明
通過(guò)閱讀下文具體實(shí)施方式的詳細(xì)描述,各種其他的優(yōu)點(diǎn)和益處對(duì)于本領(lǐng)域普通技術(shù)人員將變得清楚明了。附圖僅用于示出具體實(shí)施方式的目的,而并不能被認(rèn)為是對(duì)本發(fā)明的限制。而且在整個(gè)附圖中,用相同的參考符號(hào)表示相同的部件。在附圖中:
圖1示出了根據(jù)本發(fā)明實(shí)施方式的輔助人工對(duì)圖像進(jìn)行篩查、分類和存儲(chǔ)的第一種示例方法的流程圖。
圖2示出了根據(jù)本發(fā)明實(shí)施方式的輔助人工對(duì)圖像進(jìn)行篩查、分類和存儲(chǔ)的第二種示例方法的流程圖。
圖3示出了根據(jù)本發(fā)明實(shí)施方式的輔助人工對(duì)圖像進(jìn)行篩查、分類和存儲(chǔ)的第一種示例系統(tǒng)的框圖。
圖4示出了根據(jù)本發(fā)明實(shí)施方式的輔助人工對(duì)圖像進(jìn)行篩查、分類和存儲(chǔ)的第二種示例系統(tǒng)的框圖。
圖5示出了根據(jù)本發(fā)明實(shí)施方式的輔助人工對(duì)圖像進(jìn)行篩查、分類和存儲(chǔ)的第三種示例系統(tǒng)的框圖。
圖6示出了根據(jù)本發(fā)明實(shí)施方式的輔助人工對(duì)圖像進(jìn)行篩查、分類和存儲(chǔ)的第四種示例系統(tǒng)的框圖。
具體實(shí)施方式
下面將參照附圖更詳細(xì)地描述本公開(kāi)的示例性實(shí)施方式。雖然附圖中顯示了本公開(kāi)的示例性實(shí)施方式,然而應(yīng)當(dāng)理解,可以以各種形式實(shí)現(xiàn)本公開(kāi)而不應(yīng)被這里闡述的實(shí)施方式所限制。相反,提供這些實(shí)施方式是為了能夠更透徹地理解本公開(kāi),并且能夠?qū)⒈竟_(kāi)的范圍完整的傳達(dá)給本領(lǐng)域的技術(shù)人員。
圖1示出了根據(jù)本發(fā)明實(shí)施方式的輔助人工對(duì)圖像進(jìn)行篩查、分類和存儲(chǔ)的第一種示例方法100的流程圖。
如圖1所示,輔助人工對(duì)圖像進(jìn)行篩查、分類和存儲(chǔ)的方法100包括以下步驟:
步驟s101:獲取和輸出待處理圖像。
例如,待處理圖像可以是自動(dòng)獲取的批量圖像。
步驟s103:對(duì)待處理圖像進(jìn)行特征提取,獲取該待處理圖像所對(duì)應(yīng)的待處理圖像特征向量。
步驟s105:分別計(jì)算待處理圖像特征向量與圖像特征數(shù)據(jù)庫(kù)中存儲(chǔ)的與多個(gè)醫(yī)學(xué)模板圖像一一對(duì)應(yīng)的各個(gè)醫(yī)學(xué)模板圖像特征向量和與多個(gè)非醫(yī)學(xué)模板圖像一一對(duì)應(yīng)的各個(gè)非醫(yī)學(xué)模板圖像特征向量之間的相似度表示的相似度指示值。
例如,相似度指示值可以根據(jù)如下公式計(jì)算:
其中,x=[x1,x2,…,xn]t是與多個(gè)醫(yī)學(xué)模板圖像一一對(duì)應(yīng)的醫(yī)學(xué)模板圖像特征向量xi=[xi1,xi2,…xim],(i=1,…,n)或者與多個(gè)非醫(yī)學(xué)模板圖像一一對(duì)應(yīng)的非醫(yī)學(xué)模板圖像特征向量組成的集合,但是,所選取的醫(yī)學(xué)模板圖像和非醫(yī)學(xué)模板圖像的個(gè)數(shù)可以不同。x'j=[x1j,…,xnj]t,(j=1,…,m)是n個(gè)醫(yī)學(xué)模板圖像或非醫(yī)學(xué)模板圖像的相同特征組成的集合;yinput=[y1,y2,…ym]是待處理圖像所對(duì)應(yīng)的待處理圖像特征向量;max(yj,x'j)和min(yj,x'j)分別求取||xij-yj||(i=1,…,n)序列的最大值和最小值,θj是不同的特征對(duì)應(yīng)的權(quán)值,且所有權(quán)值之和為1。
方法100所使用的待處理圖像特征向量、醫(yī)學(xué)模板圖像特征向量和非醫(yī)學(xué)模板圖像特征向量包括下列特征中的至少一項(xiàng):顏色特征、形狀特征、紋理特征。
可選地,顏色特征包括顏色直方圖(例如,灰度直方圖)、顏色相關(guān)圖(例如,灰度相關(guān)圖)、顏色矩(例如,平均灰度值、灰度方差)等。
可選地,形狀特征包括基于邊緣檢測(cè)提取的輪廓(例如,心臟、肺部的形狀、交通標(biāo)識(shí)指示牌的形狀等)。
可選地,紋理特征包括利用灰度共生矩陣產(chǎn)生的紋理信息。
通常情況下,形狀特征(例如,邊緣曲線的曲率特征)的權(quán)值最低、顏色特征(例如,灰度特征和透光度特征)的權(quán)值較高,而紋理特征的權(quán)值最高。
步驟s107:將與某個(gè)醫(yī)學(xué)模板圖像特征向量之間的相似度指示值最大的待處理圖像特征向量所對(duì)應(yīng)的選定待處理圖像確定為屬于該醫(yī)學(xué)模板圖像特征向量所對(duì)應(yīng)的待人工確認(rèn)的醫(yī)學(xué)模板圖像類。
例如,將待處理圖像確定為屬于第i個(gè)(即,最大
可選地,如果想排除醫(yī)學(xué)圖像而保留非醫(yī)學(xué)圖像,用于諸如日常人物或環(huán)境照片之類的搜索應(yīng)用時(shí),可以使用類似的方法針對(duì)待處理圖像與非醫(yī)學(xué)模板圖像特征向量之間的相似度指示值來(lái)確定非醫(yī)學(xué)圖像的類別。
步驟s109:在確定了選定待處理圖像屬于某個(gè)醫(yī)學(xué)模板圖像特征向量所對(duì)應(yīng)的待人工確認(rèn)的醫(yī)學(xué)模板圖像類之后,提取選定待處理圖像的縮略圖。
縮略圖可以是最終的顯示尺寸遠(yuǎn)遠(yuǎn)小于原始待處理圖像的顯示尺寸的縮小的圖像。例如,可以是使用諸如降采樣或尺度變換等圖像處理算法獲得的待處理圖像的概貌圖像。雖然這些概貌圖像的尺寸較小,但是仍然能夠提供通過(guò)人眼正確進(jìn)行圖像分類所需要的諸如結(jié)構(gòu)、形狀、紋理、色彩、位置關(guān)系等必要的信息。
步驟s111:向用戶顯示包含選定待處理圖像的縮略圖、選定待處理圖像所屬的待人工確認(rèn)的醫(yī)學(xué)模板圖像類的類別和相似度指示值的顯示信息。
由于顯示信息僅僅包含縮略圖和關(guān)于通過(guò)自動(dòng)分類所獲得的圖像類別的必要顯示信息,信息量很少,能夠在有限的顯示空間顯示大量的條目,方便用戶進(jìn)行人工確認(rèn)。
步驟s113:用戶根據(jù)顯示信息確認(rèn)或修改待人工確認(rèn)的醫(yī)學(xué)模板圖像類的類別,產(chǎn)生經(jīng)人工確認(rèn)的醫(yī)學(xué)模板圖像類的類別。
如果用戶發(fā)現(xiàn)自動(dòng)分類錯(cuò)誤的圖像,可以將其修改為正確的圖像類別。
步驟s115:將選定待處理圖像按照經(jīng)人工確認(rèn)的醫(yī)學(xué)模板圖像類的類別存儲(chǔ)在醫(yī)療圖像數(shù)據(jù)庫(kù)中。
可選地,在步驟s101之前,輔助人工對(duì)圖像進(jìn)行篩查、分類和存儲(chǔ)的方法100還包括步驟s101’:建立或更新圖像特征數(shù)據(jù)庫(kù)。
例如,在不存在圖像特征數(shù)據(jù)庫(kù)時(shí)建立圖像特征數(shù)據(jù)庫(kù),以保證輔助人工對(duì)圖像進(jìn)行篩查、分類和存儲(chǔ)的方法100的執(zhí)行?;蛘?,在步驟s113中用戶根據(jù)顯示信息確認(rèn)待人工確認(rèn)的醫(yī)學(xué)模板圖像類的類別出現(xiàn)錯(cuò)誤,并且將錯(cuò)誤的圖像類別修改為正確的圖像類別之后,將分類錯(cuò)誤的待處理圖像和正確的圖像類別反饋給算法人員,用于算法人員優(yōu)化算法或者更新圖像特征數(shù)據(jù)庫(kù)(例如,修改或者增加醫(yī)學(xué)模板圖像的醫(yī)學(xué)模板圖像特征向量)。
圖2示出了根據(jù)本發(fā)明實(shí)施方式的輔助人工對(duì)圖像進(jìn)行篩查、分類和存儲(chǔ)的第二種示例方法200的流程圖。
如圖2所示,輔助人工對(duì)圖像進(jìn)行篩查、分類和存儲(chǔ)的方法200除了包括與方法100中的步驟s101至步驟s109相同的步驟s201至步驟s209之外,還包括以下步驟:
步驟s211:將選定待處理圖像按照待人工確認(rèn)的醫(yī)學(xué)模板圖像類的類別自動(dòng)存儲(chǔ)在醫(yī)療圖像數(shù)據(jù)庫(kù)中。
在自動(dòng)分類的正確率較高時(shí),對(duì)于批量待處理圖像可以自動(dòng)分類存儲(chǔ)。步驟s211和步驟s209的順序也可以互換。
步驟s213:將選定待處理圖像的縮略圖、選定待處理圖像所屬的待人工確認(rèn)的醫(yī)學(xué)模板圖像類的類別和相似度指示值、選定待處理圖像的唯一標(biāo)識(shí)存儲(chǔ)在自動(dòng)分類和保存信息暫存數(shù)據(jù)庫(kù)中。
對(duì)于自動(dòng)分類存儲(chǔ)的圖像,用戶后續(xù)可以通過(guò)查看步驟s213中保存的信息來(lái)進(jìn)行人工核查和修改。例如,可以根據(jù)相似度指示值來(lái)檢索自動(dòng)分類和保存信息暫存數(shù)據(jù)庫(kù),從而批量顯示待處理圖像的縮略圖和分類信息??焖贆z索、顯示和定位分類錯(cuò)誤的圖像,從而使用人工確認(rèn)的正確分類結(jié)果來(lái)更新醫(yī)療圖像數(shù)據(jù)庫(kù)??蛇x地,將人工核查過(guò)的待處理圖像的相關(guān)信息(縮略圖、所屬圖像的類別和相似度指示值、唯一標(biāo)識(shí))從自動(dòng)分類和保存信息暫存數(shù)據(jù)庫(kù)中刪除。
可選地,當(dāng)自動(dòng)分類正確率足夠高時(shí),用戶可以不進(jìn)行人工核查和修改。
可選地,在步驟s201之前,輔助人工對(duì)圖像進(jìn)行篩查、分類和存儲(chǔ)的方法200還包括步驟s201’:建立或更新圖像特征數(shù)據(jù)庫(kù)。
例如,在不存在圖像特征數(shù)據(jù)庫(kù)時(shí)建立圖像特征數(shù)據(jù)庫(kù),以保證輔助人工對(duì)圖像進(jìn)行篩查、分類和存儲(chǔ)的方法200的執(zhí)行。或者,如上所述,對(duì)于自動(dòng)分類存儲(chǔ)的圖像,用戶后續(xù)可以通過(guò)查看步驟s213中保存的信息來(lái)進(jìn)行人工核查和修改。在用戶確認(rèn)待人工確認(rèn)的醫(yī)學(xué)模板圖像類的類別出現(xiàn)錯(cuò)誤,并且將錯(cuò)誤的圖像類別修改為正確的圖像類別之后,將分類錯(cuò)誤的待處理圖像和正確的圖像類別反饋給算法人員,用于算法人員優(yōu)化算法或者更新圖像特征數(shù)據(jù)庫(kù)(例如,修改或者增加醫(yī)學(xué)模板圖像的醫(yī)學(xué)模板圖像特征向量)。
圖3示出了根據(jù)本發(fā)明實(shí)施方式的輔助人工對(duì)圖像進(jìn)行篩查、分類和存儲(chǔ)的第一種示例系統(tǒng)300的框圖。系統(tǒng)300可以結(jié)合圖1所示的方法100使用。
如圖3所示,系統(tǒng)300包括圖像特征數(shù)據(jù)庫(kù)301、待處理圖像獲取模塊303、特征提取模塊305、相似度計(jì)算模塊307、待人工確認(rèn)的醫(yī)學(xué)模板圖像類確定模塊309、縮略圖提取模塊311、信息顯示模塊313、人工確認(rèn)或修改模塊315、待處理圖像存儲(chǔ)模塊317、醫(yī)療圖像數(shù)據(jù)庫(kù)319。
圖像特征數(shù)據(jù)庫(kù)301,用于存儲(chǔ)與多個(gè)醫(yī)學(xué)模板圖像一一對(duì)應(yīng)的多個(gè)醫(yī)學(xué)模板圖像特征向量和與多個(gè)非醫(yī)學(xué)模板圖像一一對(duì)應(yīng)的多個(gè)非醫(yī)學(xué)模板圖像特征向量。
待處理圖像獲取模塊303,用于獲取和輸出待處理圖像。
例如,待處理圖像可以是自動(dòng)獲取的批量圖像。
特征提取模塊305,其與待處理圖像獲取模塊303連接,用于對(duì)待處理圖像進(jìn)行特征提取,獲取該待處理圖像所對(duì)應(yīng)的待處理圖像特征向量。
相似度計(jì)算模塊307,其與特征提取模塊305和圖像特征數(shù)據(jù)庫(kù)301連接,用于分別計(jì)算待處理圖像特征向量與圖像特征數(shù)據(jù)庫(kù)301中存儲(chǔ)的與多個(gè)醫(yī)學(xué)模板圖像一一對(duì)應(yīng)的各個(gè)醫(yī)學(xué)模板圖像特征向量和與多個(gè)非醫(yī)學(xué)模板圖像一一對(duì)應(yīng)的各個(gè)非醫(yī)學(xué)模板圖像特征向量之間的相似度表示的相似度指示值。
例如,相似度指示值可以根據(jù)如下公式計(jì)算:
其中,x=[x1,x2,…,xn]t是與多個(gè)醫(yī)學(xué)模板圖像一一對(duì)應(yīng)的醫(yī)學(xué)模板圖像特征向量xi=[xi1,xi2,…xim],(i=1,…,n)或者與多個(gè)非醫(yī)學(xué)模板圖像一一對(duì)應(yīng)的非醫(yī)學(xué)模板圖像特征向量組成的集合,但是,所選取的醫(yī)學(xué)模板圖像和非醫(yī)學(xué)模板圖像的個(gè)數(shù)可以不同。x'j=[x1j,…,xnj]t,(j=1,…,m)是n個(gè)醫(yī)學(xué)模板圖像或非醫(yī)學(xué)模板圖像的相同特征組成的集合;yinput=[y1,y2,…ym]是待處理圖像所對(duì)應(yīng)的待處理圖像特征向量;max(yj,x'j)和min(yj,x'j)分別求取||xij-yj||(i=1,…,n)序列的最大值和最小值,θj是不同的特征對(duì)應(yīng)的權(quán)值,且所有權(quán)值之和為1。
系統(tǒng)300所使用的待處理圖像特征向量、醫(yī)學(xué)模板圖像特征向量和非醫(yī)學(xué)模板圖像特征向量包括下列特征中的至少一項(xiàng):顏色特征、形狀特征、紋理特征。
可選地,顏色特征包括顏色直方圖(例如,灰度直方圖)、顏色相關(guān)圖(例如,灰度相關(guān)圖)、顏色矩(例如,平均灰度值、灰度方差)等。
可選地,形狀特征包括基于邊緣檢測(cè)提取的輪廓(例如,心臟、肺部的形狀、交通標(biāo)識(shí)指示牌的形狀等)。
可選地,紋理特征包括利用灰度共生矩陣產(chǎn)生的紋理信息。
通常情況下,形狀特征(例如,邊緣曲線的曲率特征)的權(quán)值最低、顏色特征(例如,灰度特征和透光度特征)的權(quán)值較高,而紋理特征的權(quán)值最高。
待人工確認(rèn)的醫(yī)學(xué)模板圖像類確定模塊309,其與相似度計(jì)算模塊307連接,用于將與某個(gè)醫(yī)學(xué)模板圖像特征向量之間的相似度指示值最大的待處理圖像特征向量所對(duì)應(yīng)的選定待處理圖像確定為屬于該醫(yī)學(xué)模板圖像特征向量所對(duì)應(yīng)的待人工確認(rèn)的醫(yī)學(xué)模板圖像類。
例如,待人工確認(rèn)的醫(yī)學(xué)模板圖像類確定模塊309將待處理圖像確定為屬于第i個(gè)(即,最大
可選地,如果想排除醫(yī)學(xué)圖像而保留非醫(yī)學(xué)圖像,用于諸如日常人物或環(huán)境照片之類的搜索應(yīng)用時(shí),可以使用類似的方法針對(duì)待處理圖像與非醫(yī)學(xué)模板圖像特征向量之間的相似度指示值來(lái)確定非醫(yī)學(xué)圖像的類別。
縮略圖提取模塊311,其與待人工確認(rèn)的醫(yī)學(xué)模板圖像類確定模塊309和待處理圖像獲取模塊303連接,用于在確定了選定待處理圖像屬于某個(gè)醫(yī)學(xué)模板圖像特征向量所對(duì)應(yīng)的待人工確認(rèn)的醫(yī)學(xué)模板圖像類之后,提取選定待處理圖像的縮略圖。
縮略圖可以是最終的顯示尺寸遠(yuǎn)遠(yuǎn)小于原始待處理圖像的顯示尺寸的縮小的圖像。例如,可以是使用諸如降采樣或尺度變換等圖像處理算法獲得的待處理圖像的概貌圖像。雖然這些概貌圖像的尺寸較小,但是仍然能夠提供通過(guò)人眼正確進(jìn)行圖像分類所需要的諸如結(jié)構(gòu)、形狀、紋理、色彩、位置關(guān)系等必要的信息。
信息顯示模塊313,其與相似度計(jì)算模塊307、待人工確認(rèn)的醫(yī)學(xué)模板圖像類確定模塊309和縮略圖提取模塊311連接,用于向用戶顯示包含選定待處理圖像的縮略圖、選定待處理圖像所屬的待人工確認(rèn)的醫(yī)學(xué)模板圖像類的類別和相似度指示值的顯示信息。
由于顯示信息僅僅包含縮略圖和關(guān)于通過(guò)自動(dòng)分類所獲得的圖像類別的必要顯示信息,信息量很少,能夠在有限的顯示空間顯示大量的條目,方便用戶進(jìn)行人工確認(rèn)。
人工確認(rèn)或修改模塊315,用于用戶根據(jù)顯示信息確認(rèn)或修改待人工確認(rèn)的醫(yī)學(xué)模板圖像類的類別,產(chǎn)生經(jīng)人工確認(rèn)的醫(yī)學(xué)模板圖像類的類別。
如果用戶發(fā)現(xiàn)自動(dòng)分類錯(cuò)誤的圖像,可以將其修改為正確的圖像類別。
待處理圖像存儲(chǔ)模塊317,其與待處理圖像獲取模塊303和人工確認(rèn)或修改模塊315連接,用于將選定待處理圖像按照經(jīng)人工確認(rèn)的醫(yī)學(xué)模板圖像類的類別存儲(chǔ)在醫(yī)療圖像數(shù)據(jù)庫(kù)319中。
醫(yī)療圖像數(shù)據(jù)庫(kù)319,其與待處理圖像獲取模塊303和待處理圖像存儲(chǔ)模塊317連接,用于分類存儲(chǔ)醫(yī)療圖像。
圖4示出了根據(jù)本發(fā)明實(shí)施方式的輔助人工對(duì)圖像進(jìn)行篩查、分類和存儲(chǔ)的第二種示例系統(tǒng)400的框圖。系統(tǒng)400可以結(jié)合包含步驟s101’的圖1所示的方法100使用。
如圖4所示,系統(tǒng)400比圖3所示的系統(tǒng)300增加了圖像特征數(shù)據(jù)庫(kù)建立或更新模塊421,其與圖像特征數(shù)據(jù)庫(kù)401連接,用于建立或更新圖像特征數(shù)據(jù)庫(kù)401。
例如,圖像特征數(shù)據(jù)庫(kù)建立或更新模塊421用于在不存在圖像特征數(shù)據(jù)庫(kù)時(shí)建立圖像特征數(shù)據(jù)庫(kù),以保證方法100的執(zhí)行。或者,在用戶根據(jù)顯示信息確認(rèn)待人工確認(rèn)的醫(yī)學(xué)模板圖像類的類別出現(xiàn)錯(cuò)誤,并且將錯(cuò)誤的圖像類別修改為正確的圖像類別之后,將分類錯(cuò)誤的待處理圖像和正確的圖像類別反饋給算法人員,用于算法人員優(yōu)化算法或者更新圖像特征數(shù)據(jù)庫(kù)(例如,修改或者增加醫(yī)學(xué)模板圖像的醫(yī)學(xué)模板圖像特征向量)。
圖5示出了根據(jù)本發(fā)明實(shí)施方式的輔助人工對(duì)圖像進(jìn)行篩查、分類和存儲(chǔ)的第三種示例系統(tǒng)500的框圖。系統(tǒng)500可以結(jié)合圖2所示的方法200使用。
類似于圖3所示的系統(tǒng)300的框圖,圖5所示的系統(tǒng)500包括圖像特征數(shù)據(jù)庫(kù)501、待處理圖像獲取模塊503、特征提取模塊505、相似度計(jì)算模塊507、待人工確認(rèn)的醫(yī)學(xué)模板圖像類確定模塊509、縮略圖提取模塊511、醫(yī)療圖像數(shù)據(jù)庫(kù)513。此外,系統(tǒng)500還包括待處理圖像自動(dòng)存儲(chǔ)模塊515、自動(dòng)分類和保存信息生成和存儲(chǔ)模塊517和自動(dòng)分類和保存信息暫存數(shù)據(jù)庫(kù)519。
待處理圖像自動(dòng)存儲(chǔ)模塊515與待處理圖像獲取模塊503、待人工確認(rèn)的醫(yī)學(xué)模板圖像類確定模塊509和醫(yī)療圖像數(shù)據(jù)庫(kù)513連接,用于將選定待處理圖像按照待人工確認(rèn)的醫(yī)學(xué)模板圖像類的類別自動(dòng)存儲(chǔ)在醫(yī)療圖像數(shù)據(jù)庫(kù)513中。
自動(dòng)分類和保存信息生成和存儲(chǔ)模塊517,其與相似度計(jì)算模塊507、待人工確認(rèn)的醫(yī)學(xué)模板圖像類確定模塊509、縮略圖提取模塊511和待處理圖像自動(dòng)存儲(chǔ)模塊515連接,用于將選定待處理圖像的縮略圖、選定待處理圖像所屬的待人工確認(rèn)的醫(yī)學(xué)模板圖像類的類別和相似度指示值、選定待處理圖像的唯一標(biāo)識(shí)存儲(chǔ)在自動(dòng)分類和保存信息暫存數(shù)據(jù)庫(kù)519中。
自動(dòng)分類和保存信息暫存數(shù)據(jù)庫(kù)519與自動(dòng)分類和保存信息生成和存儲(chǔ)模塊517連接,用于暫存選定待處理圖像的縮略圖、選定待處理圖像所屬的待人工確認(rèn)的醫(yī)學(xué)模板圖像類的類別和相似度指示值、選定待處理圖像的唯一標(biāo)識(shí)。
對(duì)于自動(dòng)分類存儲(chǔ)的圖像,用戶后續(xù)可以通過(guò)檢索自動(dòng)分類和保存信息暫存數(shù)據(jù)庫(kù)519中保存的相關(guān)信息來(lái)進(jìn)行人工核查和修改。例如,可以根據(jù)相似度指示值來(lái)檢索自動(dòng)分類和保存信息暫存數(shù)據(jù)庫(kù),從而批量顯示待處理圖像的縮略圖和分類信息??焖贆z索、顯示和定位分類錯(cuò)誤的圖像,從而使用人工確認(rèn)的正確分類結(jié)果來(lái)更新醫(yī)療圖像數(shù)據(jù)庫(kù)513??蛇x地,將人工核查過(guò)的待處理圖像的相關(guān)信息(縮略圖、所屬圖像的類別和相似度指示值、唯一標(biāo)識(shí))從自動(dòng)分類和保存信息暫存數(shù)據(jù)庫(kù)519中刪除。
可選地,當(dāng)自動(dòng)分類正確率足夠高時(shí),用戶可以不進(jìn)行人工核查和修改。
圖6示出了根據(jù)本發(fā)明實(shí)施方式的輔助人工對(duì)圖像進(jìn)行篩查、分類和存儲(chǔ)的第四種示例系統(tǒng)600的框圖。系統(tǒng)600可以包含步驟s201’結(jié)合圖2所示的方法200使用。
如圖6所示,系統(tǒng)600比圖5所示的系統(tǒng)500增加了圖像特征數(shù)據(jù)庫(kù)建立或更新模塊621,其與圖像特征數(shù)據(jù)庫(kù)601連接,用于建立或更新圖像特征數(shù)據(jù)庫(kù)601。
例如,圖像特征數(shù)據(jù)庫(kù)建立或更新模塊621用于在不存在圖像特征數(shù)據(jù)庫(kù)時(shí)建立圖像特征數(shù)據(jù)庫(kù),以保證方法200的執(zhí)行?;蛘撸缟纤?,對(duì)于自動(dòng)分類存儲(chǔ)的圖像,用戶后續(xù)可以通過(guò)查看步驟s213中保存的信息來(lái)進(jìn)行人工核查和修改。在用戶根據(jù)顯示信息確認(rèn)待人工確認(rèn)的醫(yī)學(xué)模板圖像類的類別出現(xiàn)錯(cuò)誤,并且將錯(cuò)誤的圖像類別修改為正確的圖像類別之后,將分類錯(cuò)誤的待處理圖像和正確的圖像類別反饋給算法人員,用于算法人員優(yōu)化算法或者更新圖像特征數(shù)據(jù)庫(kù)(例如,修改或者增加醫(yī)學(xué)模板圖像的醫(yī)學(xué)模板圖像特征向量)。
以上所述,僅為本發(fā)明示例性的具體實(shí)施方式,但本發(fā)明的保護(hù)范圍并不局限于此,任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi),可輕易想到的變化或替換,都應(yīng)涵蓋在本發(fā)明的保護(hù)范圍之內(nèi)。因此,本發(fā)明的保護(hù)范圍應(yīng)以所述權(quán)利要求的保護(hù)范圍為準(zhǔn)。