專利名稱：已制造幅材產(chǎn)品數(shù)字樣品的計(jì)算機(jī)輔助評(píng)級(jí)分配的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及自動(dòng)檢測(cè)系統(tǒng)，例如用于檢測(cè)移動(dòng)幅材的計(jì)算機(jī)化系統(tǒng)。
背景技術(shù)：
已經(jīng)證明用于分析移動(dòng)幅材的計(jì)算機(jī)化檢測(cè)系統(tǒng)對(duì)現(xiàn)代制造操作至關(guān)重要。例如，部署基于圖像的檢測(cè)系統(tǒng)的做法正變得日益普遍，該基于圖像的檢測(cè)系統(tǒng)可自動(dòng)根據(jù)用光學(xué)檢器(如照相機(jī))獲取的數(shù)字圖像對(duì)已制造產(chǎn)品的質(zhì)量進(jìn)行分類。這些檢測(cè)系統(tǒng)通常依賴于復(fù)雜的技術(shù)，如機(jī)器學(xué)習(xí)、圖案識(shí)別和計(jì)算機(jī)視覺技術(shù)。
一些檢測(cè)系統(tǒng)采用了通常稱之為“分類器”的算法，該算法為每個(gè)已獲取的數(shù)字圖像(即“樣品”)分配評(píng)級(jí)，從而指示出樣品是可接受的還是不可接受的，或在最簡(jiǎn)單的情況下，是對(duì)應(yīng)于變化程度或質(zhì)量水平的更復(fù)雜的標(biāo)注組。這些類型的檢測(cè)系統(tǒng)通常在兩個(gè)單獨(dú)的處理階段中執(zhí)行任務(wù)。
第一個(gè)步驟是離線執(zhí)行步驟，稱之為“訓(xùn)練階段”。在訓(xùn)練階段中，由一組專家為一組代表性樣品圖像手動(dòng)分配評(píng)級(jí)(本文也稱為“標(biāo)注”)。專家可以是(例如)在手動(dòng)檢查幅材產(chǎn)品并確定潛在缺陷方面具有豐富經(jīng)驗(yàn)的工藝工程師。根據(jù)樣品圖像，為訓(xùn)練數(shù)據(jù)開發(fā)一種可由計(jì)算機(jī)化檢測(cè)系統(tǒng)使用的分類模型。這樣，可將訓(xùn)練階段視為檢查工藝的學(xué)習(xí)部分。
—旦從訓(xùn)練數(shù)據(jù)中開發(fā)出了模型，就可在處理過程的“分類階段”將其實(shí)時(shí)應(yīng)用于從新制造產(chǎn)品中獲取的新樣品。即，分類模型可由計(jì)算機(jī)化幅材檢測(cè)系統(tǒng)在線使用，以通過為每個(gè)樣品分配標(biāo)注來對(duì)新樣品圖像進(jìn)行分類。
計(jì)算機(jī)化檢測(cè)系統(tǒng)對(duì)新樣品圖像的正確評(píng)級(jí)能力與用于訓(xùn)練系統(tǒng)的初始訓(xùn)練數(shù)據(jù)(即，樣品圖像及其由專家分配的相應(yīng)標(biāo)注)的質(zhì)量和準(zhǔn)確性直接相關(guān)。例如，訓(xùn)練集中的樣品應(yīng)代表整個(gè)數(shù)據(jù)分布，即期望從給定幅材應(yīng)用中獲得的數(shù)據(jù)分布。因此，擁有大量的訓(xùn)練樣品總體上是有利的，這可幫助更有效地訓(xùn)練模型以及減少過度擬合的影響，其特征在于這樣一個(gè)模型，該模型區(qū)分訓(xùn)練樣品之間的噪聲或不顯著差異，但對(duì)于訓(xùn)練樣品集之外的范圍具有較差的預(yù)測(cè)性能。然而，大量樣品的手動(dòng)標(biāo)注任務(wù)對(duì)專家而言可能會(huì)非常費(fèi)時(shí)和繁瑣。更糟糕的是，該標(biāo)注任務(wù)是主觀任務(wù)，對(duì)產(chǎn)品非常熟悉的專家會(huì)由于任務(wù)性質(zhì)而產(chǎn)生不一致的標(biāo)注。此外，會(huì)在不同的專家評(píng)估者之間出現(xiàn)不一致。這些困難會(huì)隨訓(xùn)練集規(guī)模的增長(zhǎng)而增加，并會(huì)因以下事實(shí)而加劇:相同的幅材可應(yīng)用于不同的最終用途，該不同的最終用途具有不同的驗(yàn)收公差。因此，產(chǎn)品對(duì)于一種最終用途而言可能被視為是不可接受的，但對(duì)于另一種最終用途而言可能是可接受的。發(fā)明內(nèi)容
概括地講，本發(fā)明描述了一種計(jì)算機(jī)化評(píng)級(jí)工具，該計(jì)算機(jī)化評(píng)級(jí)工具可幫助用戶有效和一致地為代表給定產(chǎn)品樣品的大型數(shù)字圖像集合分配專家評(píng)級(jí)(即，標(biāo)注)。舉例來說，標(biāo)注可對(duì)應(yīng)于樣品中存在的特定非均勻性缺陷的嚴(yán)重級(jí)別。與用戶分別為每個(gè)樣品標(biāo)注不同(這可能是乏味的、主觀的，而且容易出錯(cuò)，并可能導(dǎo)致不一致的標(biāo)注)，計(jì)算機(jī)化工具通過自動(dòng)化最繁瑣的方面簡(jiǎn)化了任務(wù)，同時(shí)為用戶提供直觀的可視化反饋和方法以與數(shù)據(jù)進(jìn)行交互。在一些示例性實(shí)施例中，計(jì)算機(jī)化工具以視覺吸引力方式向用戶顯示圖像，并通過允許用戶在空間上可視化樣品之間的關(guān)系而簡(jiǎn)化了分配一致標(biāo)注的任務(wù)。在其他實(shí)施例中，計(jì)算機(jī)自動(dòng)為代表樣品的大型數(shù)字圖像集合分配評(píng)級(jí)(即標(biāo)注)。
在一些示例性實(shí)施例中，所述計(jì)算機(jī)化評(píng)級(jí)工具提供了用于以直觀和可配置的方式可視化數(shù)據(jù)的機(jī)制，包括對(duì)圖像進(jìn)行聚類和排序。在某些示例性實(shí)施例中，計(jì)算機(jī)化工具提供了易用界面，該易用界面用于探究數(shù)據(jù)中表示的多種缺陷類型，以及用于有效地分配專家評(píng)級(jí)。此外，計(jì)算機(jī)化工具有適用于為非常大的數(shù)據(jù)集標(biāo)注的能力，包括能夠自動(dòng)識(shí)別并選擇最相關(guān)圖像子集的缺陷，以及能夠?qū)?biāo)注從該子集自動(dòng)傳送到剩余圖像，而無需進(jìn)一步的用戶交互。
在一個(gè)示例性實(shí)施例中，裝置包括處理器或計(jì)算機(jī)，該計(jì)算機(jī)包括處理器和存儲(chǔ)器，該存儲(chǔ)器存儲(chǔ)有要在處理器上執(zhí)行的多個(gè)訓(xùn)練樣品和評(píng)級(jí)軟件。該評(píng)級(jí)軟件包括特征提取模塊，用于通過以下方式從多個(gè)訓(xùn)練圖像的每一個(gè)中提取特征:通過相應(yīng)訓(xùn)練圖像的像素值計(jì)算每個(gè)訓(xùn)練圖像的數(shù)值描述符。評(píng)級(jí)軟件執(zhí)行第一聚類過程以處理訓(xùn)練圖像的數(shù)值描述符，從而自動(dòng)選擇訓(xùn)練圖像的代表性子集并計(jì)算訓(xùn)練圖像代表性子集的多個(gè)圖像集群。
在一些示例性實(shí)施例中，至少一個(gè)評(píng)級(jí)軟件在處理器或該評(píng)級(jí)軟件提供的用戶界面上運(yùn)行，并提供輸入機(jī)制以接收來自用戶的輸入，所述評(píng)級(jí)軟件指定代表性訓(xùn)練圖像中存在的一個(gè)或多個(gè)缺陷類別和用于每個(gè)缺陷類別的一組評(píng)級(jí)標(biāo)注。在某些示例性實(shí)施例中，用戶界面包括輸入機(jī)制以接收輸入，所述輸入針對(duì)每個(gè)指定的缺陷類別將相應(yīng)的評(píng)級(jí)標(biāo)注分配到每個(gè)圖像集群。
在另外的或可供選擇的示例性實(shí)施例中，處理器或計(jì)算機(jī)用于確定代表性訓(xùn)練圖像中存在的多個(gè)缺陷類別，并針對(duì)每個(gè)指定的缺陷類別將嚴(yán)重級(jí)別標(biāo)注分配到多個(gè)圖像集群中的每一個(gè)。在一些具體的示例性實(shí)施例中，在處理器上運(yùn)行的評(píng)級(jí)軟件指定代表性訓(xùn)練圖像中存在的多個(gè)缺陷類別，并針對(duì)每個(gè)指定的缺陷類別將嚴(yán)重級(jí)別標(biāo)注分配到多個(gè)圖像集群中的每一個(gè)。
在上述任意示例性實(shí)施例中，評(píng)級(jí)軟件可將已分配到每個(gè)圖像集群缺陷類別的每個(gè)相應(yīng)的評(píng)級(jí)標(biāo)注自動(dòng)傳送到相應(yīng)圖像集群中的所有訓(xùn)練圖像。
在另外的實(shí)施例中，該方法包括在計(jì)算機(jī)上運(yùn)行評(píng)級(jí)軟件以通過以下方式從多個(gè)訓(xùn)練圖像的每一個(gè)中提取特征:通過相應(yīng)訓(xùn)練圖像的像素值計(jì)算每個(gè)訓(xùn)練圖像的數(shù)值描述符。該方法還包括使用評(píng)級(jí)軟件處理訓(xùn)練圖像的數(shù)值描述符，以自動(dòng)選擇訓(xùn)練圖像的代表性子集，以及使用評(píng)級(jí)軟件執(zhí)行第一聚類過程以處理訓(xùn)練圖像代表性子集的數(shù)值描述符并計(jì)算訓(xùn)練圖像代表性子集的多個(gè)圖像集群。
在一些示例性實(shí)施例中，評(píng)級(jí)軟件在處理器上運(yùn)行，其中評(píng)級(jí)軟件包括用于通過以下方式從多個(gè)訓(xùn)練圖像的每一個(gè)中提取特征的特征提取模塊:通過相應(yīng)訓(xùn)練圖像的像素值計(jì)算每個(gè)訓(xùn)練圖像的數(shù)值描述符，并且其中評(píng)級(jí)軟件執(zhí)行第一聚類過程以處理訓(xùn)練圖像的數(shù)值描述符，從而自動(dòng)選擇訓(xùn)練圖像的代表性子集并計(jì)算訓(xùn)練圖像代表性子集的多個(gè)圖像集群。至少一個(gè)評(píng)級(jí)軟件在處理器或該評(píng)級(jí)軟件提供的用戶界面上運(yùn)行，并提供輸入機(jī)制以接收來自用戶的輸入，所述評(píng)級(jí)軟件指定代表性訓(xùn)練圖像中存在的一個(gè)或多個(gè)缺陷類別和用于每個(gè)缺陷類別的一組相應(yīng)的評(píng)級(jí)標(biāo)注。
因此，在一些具體的示例性實(shí)施例中，該方法還包括:使用評(píng)級(jí)軟件提供用戶界面以接收來自用戶的輸入，所述用戶輸入指定代表性訓(xùn)練圖像中存在的一個(gè)或多個(gè)缺陷類別和用于每個(gè)缺陷類別的一組評(píng)級(jí)標(biāo)注；接收輸入，所述輸入針對(duì)每個(gè)指定的缺陷類別將相應(yīng)的評(píng)級(jí)標(biāo)注分配到每個(gè)圖像集群；以及針對(duì)每個(gè)圖像集群，使用評(píng)級(jí)軟件將已分配到圖像集群缺陷類別的每個(gè)相應(yīng)的評(píng)級(jí)標(biāo)注自動(dòng)傳送到相應(yīng)圖像集群中的所有訓(xùn)練圖像。
然而，在其他另外的或可供選擇的示例性實(shí)施例中，該方法還包括接收來自計(jì)算機(jī)的輸入，所述輸入指定代表性訓(xùn)練圖像中存在的一個(gè)或多個(gè)缺陷類別和用于每個(gè)缺陷類別的一組評(píng)級(jí)標(biāo)注。在某些此類實(shí)施例中，接收來自計(jì)算機(jī)的輸入還包括使用計(jì)算機(jī)確定代表性訓(xùn)練圖像中存在的多個(gè)缺陷類別，以及針對(duì)每個(gè)指定的缺陷類別將嚴(yán)重級(jí)別標(biāo)注分配到多個(gè)圖像集群中的每一個(gè)。
本發(fā)明技術(shù)可提供一種或多種優(yōu)點(diǎn)。例如，針對(duì)對(duì)大型訓(xùn)練數(shù)據(jù)集手動(dòng)標(biāo)注的固有問題，本文所述計(jì)算機(jī)化工具將對(duì)大型數(shù)據(jù)集標(biāo)注這一繁瑣過程的一部分加以自動(dòng)化，同時(shí)還以有效利用自身專業(yè)知識(shí)的方式在循環(huán)中保留了人工操作。這可允許將通過監(jiān)督/半監(jiān)督分類算法的訓(xùn)練階段開發(fā)的模型成功地應(yīng)用于計(jì)算機(jī)化檢測(cè)系統(tǒng)。
本發(fā)明的一個(gè)或多個(gè)實(shí)施例的細(xì)節(jié)在附圖和以下具體實(shí)施方式
中說明。通過具體實(shí)施方式
和附圖以及權(quán)利要求書，本發(fā)明的其他特征、目標(biāo)和優(yōu)點(diǎn)將顯而易見。


圖1為示出了示例性幅材制造和轉(zhuǎn)換系統(tǒng)的框圖，其中可在該系統(tǒng)中應(yīng)用本文所述的技術(shù)。
圖2為示出了示例性幅材制造廠中檢測(cè)系統(tǒng)的示例性實(shí)施例的框圖。
圖3為示出了軟件評(píng)級(jí)工具示例性操作的流程圖。
圖4-9示出了評(píng)級(jí)工具所提供用戶界面的示例性功能。
具體實(shí)施方式
圖1為示出了示例性系統(tǒng)2的框圖，其中可在該系統(tǒng)中應(yīng)用本文所述的技術(shù)。幅材制造廠6A-6N(幅材制造廠6)表示生產(chǎn)和運(yùn)輸幅材卷7形式的幅材的制造地點(diǎn)。幅材制造廠6可以按地理位置分布，該幅材制造廠中的每一個(gè)可以包括一條或多條生產(chǎn)線。通常，幅材卷7可由任何制造廠6制造，并可在幅材制造廠之間運(yùn)輸以進(jìn)行額外的處理。成品幅材卷10運(yùn)輸?shù)睫D(zhuǎn)換位點(diǎn)8A-8N(轉(zhuǎn)換位點(diǎn)8)以轉(zhuǎn)換成產(chǎn)品12A-12N(產(chǎn)品12)。如圖1所示，轉(zhuǎn)換控制系統(tǒng)4、幅材制造廠6A-6M(幅材制造廠6)和轉(zhuǎn)換位點(diǎn)8A-8N(轉(zhuǎn)換位點(diǎn)8)通過計(jì)算機(jī)網(wǎng)絡(luò)9互連，以交換與幅材制造相關(guān)的信息(例如缺陷信息)并轉(zhuǎn)換成產(chǎn)品12。
通常，幅材卷7、10可以包含已生產(chǎn)的幅材，其可以是在一個(gè)方向具有固定尺寸并且在正交方向上具有預(yù)定或待定長(zhǎng)度的任何片狀材料。幅材的實(shí)例包括但不限于金屬、紙張、織物、非織物、玻璃、聚合物膜、柔性電路或它們的組合。金屬可以包括例如鋼或鋁等材料。織物一般包括各種布。非織物包括例如紙張、過濾介質(zhì)或絕緣材料等材料。膜包括例如透明和不透明的聚合物膜，包括層壓材料和涂覆膜。
轉(zhuǎn)換位點(diǎn)8可接納來自幅材制造廠6的成品幅材卷10，并將成品幅材卷10轉(zhuǎn)換成各個(gè)片材，所述各個(gè)片材可組裝到用于銷售至客戶14A-14N(客戶14)的產(chǎn)品12內(nèi)。轉(zhuǎn)換系統(tǒng)可根據(jù)多種標(biāo)準(zhǔn)(例如與產(chǎn)品相關(guān)的等級(jí)水平)確定將給定成品幅材卷10轉(zhuǎn)換成何種產(chǎn)品14。也就是說，可以根據(jù)每個(gè)片材所符合的特定等級(jí)水平選擇應(yīng)將哪個(gè)片材組裝到哪個(gè)產(chǎn)品12中。根據(jù)本文所述的技術(shù)，轉(zhuǎn)換位點(diǎn)8也可接收成品幅材卷10中的與異常有關(guān)的數(shù)據(jù)，即，可能的缺陷。最終，轉(zhuǎn)換位點(diǎn)8可將成品幅材卷10轉(zhuǎn)換成各個(gè)片材，所述各個(gè)片材可組裝到用于銷售至客戶14A-14N(客戶14)的產(chǎn)品12內(nèi)。
為了生產(chǎn)準(zhǔn)備轉(zhuǎn)換成用于組裝到產(chǎn)品12中的各個(gè)片材的成品幅材卷10，非成品幅材卷7可能需要經(jīng)多條生產(chǎn)線的處理，這些生產(chǎn)線可位于一個(gè)幅材制造廠內(nèi)，例如幅材制造廠6A內(nèi)，也可位于多個(gè)制造廠內(nèi)。每一個(gè)加工過程通常使用幅材卷作為原料卷，利用卷將幅材送入制備工藝中。完成每一個(gè)加工過程后，幅材通常再次卷繞成幅材卷7并轉(zhuǎn)移至不同產(chǎn)品線或運(yùn)送至不同制造廠，在那里進(jìn)行退繞、加工并再次卷繞成卷。重復(fù)該過程，直至最終生產(chǎn)出成品幅材卷10。對(duì)于多個(gè)應(yīng)用，用于幅材卷7中的每一個(gè)的幅材可具有多個(gè)涂層，所述涂層是在一個(gè)或多個(gè)幅材制造廠6的一條或多條生產(chǎn)線處涂覆的。就第一制備工藝而言，涂層通常涂覆至基礎(chǔ)幅材的暴露表面，或者就后續(xù)制備工藝而言，涂層通常涂覆至先前涂覆的涂層。涂層的實(shí)例包括粘合劑、硬涂層、低粘附力背面涂層、金屬化涂層、中密度涂層、導(dǎo)電或不導(dǎo)電涂層，或者它們的組合。
在一個(gè)給定幅材卷7的每一個(gè)制備工藝中，一個(gè)或多個(gè)檢測(cè)系統(tǒng)會(huì)采集幅材的異常信息。例如，如圖2所示，處理幅材時(shí)，如向幅材施加一個(gè)或多個(gè)涂層時(shí)，生產(chǎn)線的檢測(cè)系統(tǒng)可以包括緊鄰連續(xù)移動(dòng)幅材設(shè)置的一個(gè)或多個(gè)圖像采集裝置。圖像采集裝置掃描連續(xù)移動(dòng)幅材的連續(xù)部分，以獲得數(shù)字圖像。檢測(cè)系統(tǒng)可使用一種或多種算法來分析圖像，以生成可表示實(shí)際“缺陷”的所謂“局部”異常信息，具體取決于將幅材轉(zhuǎn)換成何種最終產(chǎn)品12。檢測(cè)系統(tǒng)可以(例如)生成“點(diǎn)”缺陷的異常信息，其中每個(gè)缺陷都被定位在單一區(qū)域中。又如，檢測(cè)系統(tǒng)可以生成“不均一”缺陷或“不均勻因素”的異常信息，其中幅材表現(xiàn)出大范圍的不均一波動(dòng)。此類不均勻因素的例子包括雜色、顫動(dòng)、帶和條紋。
幅材制造廠內(nèi)的分析計(jì)算機(jī)采用了在本文中稱為“分類器”的算法，該算法將質(zhì)量評(píng)級(jí)(即標(biāo)注)分配到每個(gè)已獲取的數(shù)字圖像(即“樣品”)。分析計(jì)算機(jī)可在制造幅材時(shí)，或在獲取幅材的所有圖像數(shù)據(jù)之后離線時(shí)實(shí)時(shí)應(yīng)用算法。在任一種情況下，標(biāo)注將每個(gè)對(duì)應(yīng)的幅材區(qū)域分類成一個(gè)質(zhì)量級(jí)別。在一個(gè)實(shí)例中，標(biāo)注將每個(gè)區(qū)域分類為可接受的或不可接受的。在另一個(gè)實(shí)例中，分類器可對(duì)與變化程度相對(duì)應(yīng)的一組復(fù)雜的標(biāo)注進(jìn)行分配。所分配的標(biāo)注最終可根據(jù)幅材轉(zhuǎn)換成的具體產(chǎn)品12而用于接受或拒絕幅材的區(qū)域。
在分類過程中，分析計(jì)算機(jī)通過應(yīng)用根據(jù)訓(xùn)練數(shù)據(jù)開發(fā)的分類模型對(duì)已獲取的數(shù)字圖像進(jìn)行分類。訓(xùn)練數(shù)據(jù)通常在算法的“訓(xùn)練階段”中運(yùn)行，分類模型開發(fā)用于與訓(xùn)練數(shù)據(jù)進(jìn)行最佳匹配。即，在訓(xùn)練階段和分類模型開發(fā)之后，對(duì)訓(xùn)練數(shù)據(jù)應(yīng)用分類模型將使得以高正確概率為訓(xùn)練數(shù)據(jù)標(biāo)注。一旦從訓(xùn)練數(shù)據(jù)中開發(fā)出了模型，分析計(jì)算機(jī)就會(huì)在處理過程的“分類階段”將該模型實(shí)時(shí)應(yīng)用于從新制造產(chǎn)品中獲取的新樣品。
在一些實(shí)施例中，對(duì)給定制造幅材的數(shù)字圖像進(jìn)行分類的操作可由轉(zhuǎn)換控制系統(tǒng)4離線執(zhí)行。轉(zhuǎn)換控制系統(tǒng)4可根據(jù)給定幅材的分類為每個(gè)幅材卷10選擇和生成轉(zhuǎn)換方案。分類可以特定于應(yīng)用，因?yàn)槟承┊惓？稍谝粋€(gè)產(chǎn)品(例如產(chǎn)品12A)中導(dǎo)致缺陷，而該異常不會(huì)在不同產(chǎn)品(例如產(chǎn)品12B)中導(dǎo)致缺陷。每一個(gè)轉(zhuǎn)換方案表示限定的指令，用于將對(duì)應(yīng)成品幅材卷10加工，以用于形成可以最終出售給客戶14的產(chǎn)品12。例如，可將幅材卷10轉(zhuǎn)換成用于應(yīng)用到筆記本電腦的顯示屏的最終產(chǎn)品，如，特定尺寸的片材。又如，可將相同的幅材卷10取代地轉(zhuǎn)換成用于應(yīng)用到移動(dòng)電話的顯示屏的最終產(chǎn)品。轉(zhuǎn)換控制系統(tǒng)4可根據(jù)可應(yīng)用到異常的不同缺陷檢測(cè)算法來辨識(shí)出哪一個(gè)產(chǎn)品最佳地實(shí)現(xiàn)某些參數(shù)，例如幅材的最大利用率。
圖2為框圖，示出了位于圖1的示例性幅材制造廠6A中的幅材生產(chǎn)線21的一部分內(nèi)的檢測(cè)系統(tǒng)的示例性實(shí)施例。在示例性實(shí)施例中，將幅材20的一段設(shè)置在兩個(gè)支承輥22,24之間。圖像采集裝置26A-26N(圖像采集裝置26)被設(shè)置為緊鄰連續(xù)移動(dòng)幅材20，并掃描連續(xù)移動(dòng)幅材20的連續(xù)部分以獲取圖像數(shù)據(jù)。采集計(jì)算機(jī)27從圖像采集裝置26收集圖像數(shù)據(jù)，然后將圖像數(shù)據(jù)傳送至分析計(jì)算機(jī)28。
圖像采集裝置26可以是能夠讀取移動(dòng)幅材20的連續(xù)部分并以數(shù)字?jǐn)?shù)據(jù)流方式提供輸出的常規(guī)圖像裝置。如圖2所示，成像裝置26可為直接提供數(shù)字?jǐn)?shù)據(jù)流的攝像機(jī)或是具有額外模數(shù)轉(zhuǎn)換器的模擬攝像機(jī)。其他傳感器，例如激光掃描儀，可以作為圖像采集裝置使用。幅材的連續(xù)部分表明通過連續(xù)的單行采集數(shù)據(jù)。單行包括映射到單排傳感器或像素的連續(xù)移動(dòng)幅材的區(qū)域。適于采集圖像的裝置實(shí)例包括行掃描攝像機(jī)，例如得自的AviivaSC2 CL型。其他實(shí)例包括與模數(shù)轉(zhuǎn)換器結(jié)合使用的得自Surface Inspection SystemsGmbH (Munich, Germany)的激光掃描儀。
可以通過使用輔助獲取圖像的光學(xué)組件而可選地采集圖像數(shù)據(jù)。組件可以是攝像機(jī)的一部分，也可以與攝像機(jī)分開。光學(xué)組件在成像過程中利用反射光、透射光或折射光。反射光例如通常適合檢測(cè)由于幅材表面變形(例如表面劃痕)引起的缺陷。
在一些實(shí)施例中，基準(zhǔn)標(biāo)記控制器30控制基準(zhǔn)標(biāo)記讀出器29來從幅材20采集卷和位置信息。例如，基準(zhǔn)標(biāo)記控制器30可包括一個(gè)或多個(gè)光學(xué)照相傳感器，以用于從幅材20讀取條形碼或其他標(biāo)記。另外，基準(zhǔn)標(biāo)記控制器30可從與幅材20和/或輥22、24接合的一個(gè)或多個(gè)高精度編碼器接收位置信號(hào)。根據(jù)這些位置信號(hào)，基準(zhǔn)標(biāo)記控制器30確定每一個(gè)檢測(cè)到的基準(zhǔn)標(biāo)記的位置信息?；鶞?zhǔn)標(biāo)記控制器30將輥信息和位置信息傳送至分析計(jì)算機(jī)28，以與所檢測(cè)的異常關(guān)聯(lián)。
分析計(jì)算機(jī)28處理來自采集計(jì)算機(jī)27的圖像數(shù)據(jù)流。即，根據(jù)本文所述的技術(shù)，分析計(jì)算機(jī)28根據(jù)基于訓(xùn)練數(shù)據(jù)35開發(fā)的分類模型34 ( “模型34”)使用分類器，以將質(zhì)量評(píng)級(jí)(即標(biāo)注)分配到每個(gè)已獲取的數(shù)字圖像。分類器和分類器構(gòu)造的其他詳細(xì)信息在PCT國(guó)際專利申請(qǐng)公開N0.WO 2010/059679中有所描述。
訓(xùn)練數(shù)據(jù)35通常包括已由一個(gè)或多個(gè)專家38分配了評(píng)級(jí)的大型代表性樣品數(shù)字圖像集。數(shù)字圖像可以(例如)代表取自幅材20或此前由生產(chǎn)線21生產(chǎn)的另一個(gè)幅材的樣品。
因此，在一些示例性實(shí)施例中，訓(xùn)練服務(wù)器36為軟件運(yùn)行提供操作環(huán)境，所述軟件提供計(jì)算機(jī)化專家評(píng)級(jí)工具37( “評(píng)級(jí)工具37”)以協(xié)助專家38有效且一致地將評(píng)級(jí)(即標(biāo)注)分配到代表樣品的大型數(shù)字圖像集合。即，一個(gè)或多個(gè)專家38與評(píng)級(jí)工具37提供的用戶界面進(jìn)行交互以將質(zhì)量評(píng)級(jí)分配到樣品集的每個(gè)數(shù)字圖像。如本文進(jìn)一步詳述，專家評(píng)級(jí)工具37提供用戶界面，該用戶界面允許一個(gè)或多個(gè)專家38可視化和修改訓(xùn)練數(shù)據(jù)35中的圖像集群、探究訓(xùn)練數(shù)據(jù)以辨識(shí)所代表的缺陷類型以及將專家評(píng)級(jí)分配到圖像。
更具體地講，專家評(píng)級(jí)工具37提供用于以直觀和可配置的方式可視化數(shù)據(jù)的機(jī)制，包括對(duì)樣品圖像進(jìn)行聚類和排序的功能。專家評(píng)級(jí)工具37還提供易用界面，該易用界面用于探究數(shù)據(jù)中表示的多種缺陷類型，以及用于有效地分配專家評(píng)級(jí)。此外，專家評(píng)級(jí)工具37具有適用于為非常大的數(shù)據(jù)集標(biāo)注的能力，包括能夠自動(dòng)識(shí)別并選擇最相關(guān)圖像子集的缺陷，以及能夠?qū)?biāo)注從該子集傳送到剩余圖像，而無需進(jìn)一步的用戶交互。這可允許將監(jiān)督/半監(jiān)督分類算法的訓(xùn)練階段結(jié)果成功地應(yīng)用于制造廠6中的算機(jī)化檢測(cè)系統(tǒng)。專家38可通過本地用戶界面(如制造廠6A中的專家38A)或借助于網(wǎng)絡(luò)9 (如專家38B)以遠(yuǎn)程方式直接與訓(xùn)練服務(wù)器36交互。
在其他示例性實(shí)施例中，可能有利的是，以其他方式(或作為另外一種選擇)使計(jì)算機(jī)自動(dòng)將評(píng)級(jí)(標(biāo)注)分配到代表樣品的數(shù)字圖像的大型集合。例如，訓(xùn)練服務(wù)器36可為自動(dòng)將質(zhì)量評(píng)級(jí)分配到樣品集每個(gè)數(shù)字圖像的軟件的運(yùn)行提供操作環(huán)境，例如，根據(jù)在每個(gè)圖像中觀察到的缺陷數(shù)量將所有類似圖像分組為缺陷類別，從而自動(dòng)為該數(shù)量的缺陷類別提供評(píng)估。這可以通過(例如)比較從圖像提取的特征和計(jì)算其相似性來完成。該步驟完成后，也可以(例如)通過將圖像與顯示出缺陷的其他圖像作比較，以及評(píng)估當(dāng)前圖像相對(duì)于其他圖像顯示出的嚴(yán)重級(jí)別，而將標(biāo)注的初始評(píng)估自動(dòng)分配到每個(gè)缺陷類別中的圖像。
由于軟件指令通過訓(xùn)練服務(wù)器36的一個(gè)或多個(gè)處理器執(zhí)行，包括一個(gè)或多個(gè)硬件微處理器、數(shù)字信號(hào)處理器(DSP)、特定應(yīng)用集成電路(ASIC)、現(xiàn)場(chǎng)可編程門陣列(FPGA)、或任何其它等效的集成或離散邏輯電路，以及這些組件的任意組合，因此可以至少部分地或甚至完全實(shí)施專家評(píng)級(jí)工具37。軟件指令可以存儲(chǔ)在非臨時(shí)性計(jì)算機(jī)可讀介質(zhì)內(nèi)，例如隨機(jī)存取存儲(chǔ)器(RAM)、只讀存儲(chǔ)器(ROM)、可編程只讀存儲(chǔ)器(PROM)、可擦除可編程只讀存儲(chǔ)器(EPROM)、電可擦除可編程只讀存儲(chǔ)器(EEPROM)、閃存、硬盤、CD-ROM、軟盤、盒式磁帶、磁介質(zhì)、光介質(zhì)，或其他計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。
雖然出于舉例說明的目的將訓(xùn)練服務(wù)器36和評(píng)級(jí)工具37示出為位于制造廠6A內(nèi)部(例如位于中心位置或轉(zhuǎn)換位點(diǎn)處)，但其也可以位于制造廠的外部。例如，訓(xùn)練服務(wù)器36和評(píng)級(jí)工具37可在轉(zhuǎn)換控制系統(tǒng)4內(nèi)運(yùn)行。在該實(shí)例中，訓(xùn)練服務(wù)器36使分類模型34與分析計(jì)算機(jī)28通信以應(yīng)用于從幅材20收集的樣品。
一旦建立了訓(xùn)練數(shù)據(jù)35和分類模型34，訓(xùn)練服務(wù)器36就會(huì)處理訓(xùn)練數(shù)據(jù)以生成模型34，該模型34用于對(duì)接收自采集計(jì)算機(jī)27的幅材20的圖像數(shù)據(jù)進(jìn)行后續(xù)實(shí)時(shí)分析和分類。這樣，可根據(jù)分類模型34對(duì)幅材20區(qū)域中的新圖像進(jìn)行分類。分析計(jì)算機(jī)28可以采用任何可利用專業(yè)評(píng)級(jí)訓(xùn)練數(shù)據(jù)35的技術(shù)，如機(jī)器學(xué)習(xí)技術(shù)，其包括神經(jīng)網(wǎng)絡(luò)、自適應(yīng)控制、數(shù)據(jù)挖掘、遺傳編程、聚類分析、主成分分析、圖案識(shí)別和計(jì)算機(jī)視覺技術(shù)。可檢測(cè)的示例性缺陷包括不均勻因素(例如雜色、顫動(dòng)、帶和條紋)和點(diǎn)缺陷(包括斑點(diǎn)、劃痕、油滴)。
分析計(jì)算機(jī)28在數(shù)據(jù)庫(kù)32內(nèi)存儲(chǔ)幅材20的異常信息，包括幅材20的卷識(shí)別信息和每一個(gè)異常的位置信息。例如，分析計(jì)算機(jī)28可使用由基準(zhǔn)標(biāo)記控制器30生成的位置數(shù)據(jù)來確定生產(chǎn)線坐標(biāo)系內(nèi)每個(gè)異常的空間位置或圖像區(qū)域。即，根據(jù)來自基準(zhǔn)標(biāo)記控制器30的位置數(shù)據(jù)，分析計(jì)算機(jī)28確定每個(gè)異常在當(dāng)前生產(chǎn)線所用坐標(biāo)系內(nèi)的X、y以及可能的z位置。例如，可以限定坐標(biāo)系，使得X維度表示幅材20的橫向距離，y維度表示幅材的縱向距離，z維度表示幅材的高度，所述高度取決于涂層的數(shù)量、材料或此前涂覆到幅材的其他層。
此外，可以限定x、y、z坐標(biāo)系在生產(chǎn)線內(nèi)物理位置處的原點(diǎn)，其通常與幅材20的初始進(jìn)料位置相關(guān)。數(shù)據(jù)庫(kù)32可以按許多不同形式中的任一形式執(zhí)行，包括數(shù)據(jù)存儲(chǔ)文件或在一個(gè)或多個(gè)數(shù)據(jù)庫(kù)服務(wù)器上執(zhí)行的一個(gè)或多個(gè)數(shù)據(jù)庫(kù)管理系統(tǒng)(DBMS)。數(shù)據(jù)庫(kù)管理系統(tǒng)可以是例如關(guān)系(RDBMS)、分層(HDBMS)、多維(MDBMS)、面向?qū)ο?0DBMS或OODBMS)或?qū)ο箨P(guān)系(ORDBMS)數(shù)據(jù)庫(kù)管理系統(tǒng)。例如,數(shù)據(jù)庫(kù)32是作為由Microsoft Corporation的SQL Server 提供的關(guān)系數(shù)據(jù)庫(kù)而執(zhí)行的。
一旦該過程結(jié)束，分析計(jì)算機(jī)28就可將收集在數(shù)據(jù)庫(kù)32中的數(shù)據(jù)通過網(wǎng)絡(luò)9傳送至轉(zhuǎn)換控制系統(tǒng)4。例如，分析計(jì)算機(jī)28可將卷信息和異常信息以及每個(gè)異常的各個(gè)子圖像傳送到轉(zhuǎn)換控制系統(tǒng)4，以根據(jù)分類模型34進(jìn)行后續(xù)的離線詳細(xì)分析。例如，信息可通過數(shù)據(jù)庫(kù)32與轉(zhuǎn)換控制系統(tǒng)4之間的數(shù)據(jù)庫(kù)同步進(jìn)行傳送。在一些實(shí)施例中，轉(zhuǎn)換控制系統(tǒng)4(并非分析計(jì)算機(jī)28)可確定出每一個(gè)異?？稍诋a(chǎn)品12中引起缺陷的那些產(chǎn)品。一旦將成品幅材卷10的數(shù)據(jù)收集在數(shù)據(jù)庫(kù)32中，就可將所述數(shù)據(jù)傳送至轉(zhuǎn)換位點(diǎn)8和/使用所述數(shù)據(jù)來標(biāo)記幅材卷上的異常，方式為利用可移除或可擦洗標(biāo)記直接在幅材表面上進(jìn)行標(biāo)記或者在覆蓋片材上進(jìn)行標(biāo)記，所述覆蓋片材可在幅材上進(jìn)行異常標(biāo)注之前或期間被施加至幅材。
圖3為示出了評(píng)級(jí)工具37示例性操作的流程圖。最初，評(píng)級(jí)工具37接收訓(xùn)練數(shù)據(jù)35，該訓(xùn)練數(shù)據(jù)通常為圖像集(50)形式的輸入。接著，評(píng)級(jí)工具37的特征提取軟件模塊處理每個(gè)圖像以提取特征(52)。特征提取提供每個(gè)圖像的數(shù)值描述符作為每個(gè)圖像固有相關(guān)信息的簡(jiǎn)化數(shù)值表示?？梢员Ａ襞c訓(xùn)練集中圖像之間關(guān)系相關(guān)的可用信息的任何方式來提取特征，同時(shí)去除無信息的圖像特征。
通用特征提取技術(shù)的例子包括用一組過濾器卷積圖像并計(jì)算已過濾圖像的統(tǒng)計(jì)信息，或根據(jù)顏色或強(qiáng)度直方圖提取特征。有時(shí)可將像素值用作特征，但這種情況下的描述符無簡(jiǎn)化，因?yàn)橥ǔ１仨毚鎯?chǔ)整個(gè)圖像。通常，所得特征被視為對(duì)應(yīng)圖像中相關(guān)信息的簡(jiǎn)化描述。在一個(gè)實(shí)施例中，特征并非特定于具體的應(yīng)用，而是提供了一組豐富的特征，不同的應(yīng)用可使用這些特征中的不同特征子集。即，在該實(shí)例中，并未通過使用復(fù)雜的、特定于應(yīng)用的過濾器來提取特征。相反，過濾器僅有利于圖像間的直接成對(duì)比較，以衡量其相似性。評(píng)級(jí)工具37并不限于使用任何具體的特征提取方法，并且可以容易地應(yīng)用于更適合其他類型特征的應(yīng)用。
以簡(jiǎn)化形式包含相關(guān)圖像信息(特別是當(dāng)其與紋理相關(guān)時(shí))的一個(gè)示例性方法是，計(jì)算整個(gè)圖像像素特征的小協(xié)方差矩陣。一旦推導(dǎo)出該小協(xié)方差矩陣(例如5X5)，就可僅根據(jù)這些矩陣有效地進(jìn)行圖像間的成對(duì)比較，而不是直接處理圖像。例如，將灰度圖像定義為二維陣列，并通過像素坐標(biāo)X和y將其標(biāo)記為I(x，y)。在每個(gè)像素位置(x，y)，根據(jù)像素強(qiáng)度值及該像素處的一階和二階導(dǎo)數(shù)推導(dǎo)出特征矢量:
權(quán)利要求
1.一種方法，其包括: 在計(jì)算機(jī)上運(yùn)行評(píng)級(jí)軟件以通過以下方式從多個(gè)訓(xùn)練圖像的每一個(gè)中提取特征:通過所述相應(yīng)訓(xùn)練圖像的像素值計(jì)算每個(gè)所述訓(xùn)練圖像的數(shù)值描述符； 使用所述評(píng)級(jí)軟件處理所述數(shù)訓(xùn)練圖像的所述數(shù)值描述符以自動(dòng)選擇所述訓(xùn)練圖像的代表性子集； 使用所述評(píng)級(jí)軟件執(zhí)行第一聚類過程以處理所述訓(xùn)練圖像的所述代表性子集的所述數(shù)值描述符，并且計(jì)算所述訓(xùn)練圖像代表性子集的多個(gè)圖像集群； 接收來自至少一個(gè)用戶或所述計(jì)算機(jī)的輸入，所述輸入針對(duì)每個(gè)指定的缺陷類別將相應(yīng)的評(píng)級(jí)標(biāo)注分配到所述多個(gè)圖像集群中的每一個(gè)， 其中接收來自所述用戶的輸入還包括使用所述評(píng)級(jí)軟件提供用戶界面以接收來自所述用戶的輸入，所述用戶輸入指定所述多個(gè)訓(xùn)練圖像中存在的一個(gè)或多個(gè)缺陷類別，并且可任選的是 其中接收來自所述計(jì)算機(jī)的輸入還包括使用所述計(jì)算機(jī)確定所述代表性訓(xùn)練圖像中存在的多個(gè)缺陷類別，以及針對(duì)每個(gè)所指定的缺陷類別將嚴(yán)重級(jí)別標(biāo)注分配到所述多個(gè)圖像集群中的每一個(gè)；和 針對(duì)每個(gè)所述圖像集群，使用所述評(píng)級(jí)軟件將已分配到所述圖像集群的所述缺陷類別的每個(gè)所述相應(yīng)的評(píng)級(jí)標(biāo)注自動(dòng)傳送到相應(yīng)圖像集群中的所有所述訓(xùn)練圖像。
2.根據(jù)權(quán)利要求1所述的方法，還包括使用所述評(píng)級(jí)軟件將評(píng)級(jí)標(biāo)注自動(dòng)分配到未包括在每個(gè)所述缺陷類別的所述訓(xùn)練圖像的所述代表性子集內(nèi)的所述訓(xùn)練圖像的所有剩余圖像。
3.根據(jù)權(quán)利要求1所述的方法，其中對(duì)于未包括在所述訓(xùn)練圖像的所述訓(xùn)練子集內(nèi)的每個(gè)未標(biāo)注訓(xùn)練圖像而言，使用所述評(píng)級(jí)軟件自動(dòng)分配評(píng)級(jí)標(biāo)注包括: 計(jì)算未標(biāo)注訓(xùn)練圖像數(shù)值描述符到所述訓(xùn)練圖像的代表性子集內(nèi)的每個(gè)已標(biāo)注圖像的所述數(shù)值描述符的成對(duì)距離； 計(jì)算每個(gè)指定缺陷類別的概率集合，其中每個(gè)缺陷類別的所述概率集合包括為所述缺陷類別指定的每個(gè)所述評(píng)級(jí)標(biāo)注的概率，并且指出了所述未標(biāo)注訓(xùn)練圖像成為已分配了相應(yīng)特定缺陷類別的 相應(yīng)特定評(píng)級(jí)標(biāo)注的所述訓(xùn)練圖像一員的概率；和 分配到所述評(píng)級(jí)標(biāo)注在每個(gè)所述缺陷類別范圍內(nèi)具有最高概率的所述未標(biāo)注訓(xùn)練圖像。
4.根據(jù)權(quán)利要求1所述的方法，其中計(jì)算每個(gè)所述訓(xùn)練圖像的數(shù)值描述符包括: 針對(duì)每個(gè)所述訓(xùn)練圖像，根據(jù)所述像素相對(duì)于多個(gè)相鄰像素的一個(gè)或多個(gè)強(qiáng)度值導(dǎo)數(shù)，計(jì)算所述訓(xùn)練圖像的每個(gè)像素上的特征矢量；和 根據(jù)所述訓(xùn)練圖像的所述每個(gè)像素的特征矢量，計(jì)算所述訓(xùn)練圖像的協(xié)方差矩陣。
5.根據(jù)權(quán)利要求1所述的方法，其中計(jì)算每個(gè)所述訓(xùn)練圖像的數(shù)值描述符包括，對(duì)于每個(gè)所述訓(xùn)練圖像，使用一個(gè)或多個(gè)過濾器卷積所述訓(xùn)練圖像的所述像素值，以計(jì)算所述訓(xùn)練圖像的所述數(shù)值描述符。
6.根據(jù)權(quán)利要求1所述的方法，其中計(jì)算每個(gè)所述訓(xùn)練圖像的數(shù)值描述符包括，對(duì)于每個(gè)所述訓(xùn)練圖像，計(jì)算所述訓(xùn)練圖像的像素強(qiáng)度值直方圖，以及通過所述強(qiáng)度值直方圖計(jì)算所述訓(xùn)練圖像的所述數(shù)值描述符。
7.根據(jù)權(quán)利要求1所述的方法，其中自動(dòng)選擇所述訓(xùn)練圖像的代表性子集包括: 使用所述評(píng)級(jí)軟件處理所述訓(xùn)練圖像的所述數(shù)值描述符以計(jì)算每個(gè)訓(xùn)練樣品的像素強(qiáng)度方差；和 使用所述評(píng)級(jí)軟件識(shí)別具有最高像素強(qiáng)度方差的所述訓(xùn)練圖像的第一子集以包括在訓(xùn)練圖像的所述代表性子集內(nèi)。
8.根據(jù)權(quán)利要求7所述的方法，其中自動(dòng)選擇所述訓(xùn)練圖像的代表性子集還包括:在選擇所述第一子集并且計(jì)算所述代表性子集之后，運(yùn)行所述評(píng)級(jí)軟件以從剩余訓(xùn)練圖像中隨機(jī)選擇第二子集，以將所述訓(xùn)練圖像的所述第二子集包括在內(nèi)。
9.根據(jù)權(quán)利要求8所述的方法，還包括提供所述評(píng)級(jí)軟件的用戶界面以接收第一可配置參數(shù)和第二可配置參數(shù)，所述第一可配置參數(shù)指定了訓(xùn)練圖像的所述第一子集的訓(xùn)練圖像目標(biāo)大小，所述第二可配置參數(shù)指定了訓(xùn)練圖像的所述第二子集的目標(biāo)大小。
10.根據(jù)權(quán)利要求8所述的方法，其中對(duì)于未包括在所述第一子集或所述第二子集內(nèi)的每個(gè)所述訓(xùn)練圖像而言，自動(dòng)選擇所述訓(xùn)練圖像的代表性子集還包括: 使用所述評(píng)級(jí)軟件在與所述數(shù)值描述符相關(guān)的特征空間中識(shí)別所述訓(xùn)練圖像的多個(gè)最近鄰數(shù)值描述符； 計(jì)算到所述訓(xùn)練圖像的所述數(shù)值描述符的每個(gè)最近鄰的距離；和當(dāng)?shù)剿鲇?xùn)練圖像的所述最近鄰的所有距離均超出表示所述訓(xùn)練圖像為異常訓(xùn)練圖像的異常閾值時(shí)，將所述訓(xùn)練圖像包括在所述代表性子集內(nèi)。
11.根據(jù)權(quán)利要求10所述的方法，還包括提供所述評(píng)級(jí)軟件的用戶界面以接收第一可配置參數(shù)和第二可配置參數(shù) ，所述第一可配置參數(shù)在確定訓(xùn)練圖像是否為異常訓(xùn)練圖像時(shí)指定要識(shí)別的最近鄰數(shù)量，而所述第二可配置參數(shù)指定所述異常閾值。
12.根據(jù)權(quán)利要求1所述的方法，還包括提供所述評(píng)級(jí)軟件的用戶界面以接收來自所述用戶的輸入，所述輸入指定所述訓(xùn)練圖像是否構(gòu)成了大型數(shù)據(jù)集，并且引導(dǎo)所述評(píng)級(jí)軟件自動(dòng)識(shí)別所述訓(xùn)練圖像的所述代表性子集以進(jìn)行聚類。
13.根據(jù)權(quán)利要求1所述的方法，其中使用所述評(píng)級(jí)軟件執(zhí)行第一聚類過程包括處理所述訓(xùn)練圖像的所述代表性子集的所述數(shù)值描述符，以計(jì)算多個(gè)所述圖像集群。
14.根據(jù)權(quán)利要求13所述的方法，其中計(jì)算分層包括: 提供戶界面以接收來自所述用戶的輸入，所述輸入指定所述圖像集群的所需數(shù)量；對(duì)訓(xùn)練圖像的所述代表性子集應(yīng)用自下而上聚合的聚類算法以根據(jù)所述代表性子集內(nèi)的每個(gè)所述訓(xùn)練圖像的所述數(shù)值描述符形成樹；和 在生成所述樹時(shí)截?cái)嗨鼍垲愡^程，以產(chǎn)生至少符合所述用戶指定的所述圖像集群所需數(shù)量的多個(gè)葉節(jié)點(diǎn)。
15.根據(jù)權(quán)利要求13所述的方法，還包括: 根據(jù)所述圖像集群的圖像之間的相似性計(jì)算所述圖像集群的順序； 使用所述評(píng)級(jí)軟件提供用戶界面，所述用戶界面顯示所述多個(gè)圖像集群并且包括輸入機(jī)制，所述輸入機(jī)制允許所述用戶根據(jù)所述排序?yàn)g覽所述多個(gè)圖像集群；和 根據(jù)所述計(jì)算順序控制所述圖像集群在所述用戶界面中的顯示，以使得在所述用戶界面上以彼此更接近的方式顯示多于相異圖像集群的類似圖像集群。
16.根據(jù)權(quán)利要求15所述的方法，其中計(jì)算所述圖像集群的順序包括:對(duì)于每一對(duì)所述圖像集群，處理所述數(shù)值描述符以計(jì)算所述對(duì)的第一圖像集群中的每個(gè)圖像與所述對(duì)的第二圖像集群的每個(gè)圖像之間的各個(gè)距離； 計(jì)算所述各個(gè)距離的中值以確定每個(gè)所述圖像集群對(duì)的集群間距離；和 將所述順序計(jì)算為第二樹以根據(jù)成對(duì)集群間距離對(duì)所述圖像集群排序。
17.根據(jù)權(quán)利要求16所述的方法，其中使用允許所述用戶查看和導(dǎo)航所述多個(gè)圖像集群的所述評(píng)級(jí)軟件來提供用戶界面包括:使用所述第二樹的葉節(jié)點(diǎn)布置來控制所述多個(gè)圖像集群在所述用戶界面中的所述顯示。
18.根據(jù)權(quán)利要求16所述的方法，其中在所述評(píng)級(jí)軟件的所述用戶界面中提供集群查看窗口包括: 顯示來自每個(gè)集群的單個(gè)代表性圖像； 接收來自所述用戶的輸入，所述輸入用于選擇所述圖像集群中的其中一個(gè)的所述代表性圖像；和 對(duì)應(yīng)所述選擇，更新所述用戶界面以顯示分配到所述相應(yīng)圖像集群的所述訓(xùn)練圖像。
19.根據(jù)權(quán)利要求18所述的方法，還包括根據(jù)所述第二分層在可滾動(dòng)面板中布置所述集群。
20.根據(jù)權(quán)利 要求15所述的方法，還包括: 提供用戶界面以包括輸入機(jī)制，從而接收來自所述用戶的輸入，所述輸入識(shí)別要合并的兩個(gè)所述圖像集群； 對(duì)應(yīng)接收輸入，通過將所述用戶識(shí)別的所述兩個(gè)圖像集群合并為單個(gè)集群來修改所述多個(gè)圖像集群；和 更新所述用戶界面以顯示所述被修改的多個(gè)圖像集群。
21.根據(jù)權(quán)利要求15所述的方法，還包括: 提供所述用戶界面以包括輸入機(jī)制，從而接收來自所述用戶的輸入，所述輸入識(shí)別將從所述圖像集群中的第一個(gè)重新分配到所述圖像集群中的第二個(gè)的所述訓(xùn)練圖像中的一個(gè)或多個(gè)； 響應(yīng)于接收輸入，通過將所述一個(gè)或多個(gè)訓(xùn)練圖像重新分配到所述第二集群來修改所述多個(gè)圖像集群；和 更新所述用戶界面以顯示所述被修改的多個(gè)圖像集群。
22.根據(jù)權(quán)利要求15所述的方法，還包括:執(zhí)行第二聚類過程以計(jì)算圖像集群的多個(gè)分層，所述分層中的每一個(gè)對(duì)所述訓(xùn)練圖像進(jìn)行聚類，所述訓(xùn)練圖像分配有相應(yīng)的一個(gè)所述缺陷類別的相應(yīng)的一個(gè)所述評(píng)級(jí)標(biāo)注；和提供用戶界面以包括輸入機(jī)制，從而接收用于選擇所述缺陷類別其中一個(gè)的輸入；在接收所述輸入時(shí)，提供所述用戶界面以顯示所述已選缺陷類別的所述評(píng)級(jí)標(biāo)注的所述圖像集群分層，其中所述用戶界面包括輸入機(jī)制，所述輸入機(jī)制允許所述用戶導(dǎo)航與所述已選缺陷類別的每個(gè)所述評(píng)級(jí)標(biāo)注相關(guān)的所述圖像集群分層。
23.根據(jù)權(quán)利要求22所述的方法，其中執(zhí)行第二聚類過程包括利用在所述第一聚類過程期間確定的所述集群分配對(duì)所述第二聚類過程的所述圖像集群進(jìn)行初始化。
24.—種設(shè)備,其包括: 處理器；存儲(chǔ)器，所述存儲(chǔ)器用于存儲(chǔ)多個(gè)訓(xùn)練樣品； 評(píng)級(jí)軟件，所述評(píng)級(jí)軟件在所述處理器上運(yùn)行，其中所述評(píng)級(jí)軟件包括用于通過以下方式從多個(gè)訓(xùn)練圖像的每一個(gè)中提取特征的特征提取模塊:通過所述相應(yīng)訓(xùn)練圖像的像素值計(jì)算每個(gè)所述訓(xùn)練圖像的數(shù)值描述符，并且其中所述評(píng)級(jí)軟件執(zhí)行第一聚類過程以處理所述訓(xùn)練圖像的所述數(shù)值描述符，從而自動(dòng)選擇所述訓(xùn)練圖像的代表性子集并計(jì)算所述訓(xùn)練圖像代表性子集的多個(gè)圖像集群；和 所述評(píng)級(jí)軟件中的至少一個(gè)在所述處理器或所述評(píng)級(jí)軟件提供的用戶界面上運(yùn)行，并提供輸入機(jī)制以接收來自用戶的輸入，所述評(píng)級(jí)軟件指定所述代表性訓(xùn)練圖像中存在的一個(gè)或多個(gè)缺陷類別和用于每個(gè)所述缺陷類別的一組相應(yīng)的評(píng)級(jí)標(biāo)注， 其中所述用戶界面還包括輸入機(jī)制以接收輸入，所述輸入針對(duì)每個(gè)所指定的缺陷類別將相應(yīng)的評(píng)級(jí)標(biāo)注分配到每個(gè)所述圖像集群， 并且可任選的是，其中在所述處理器上運(yùn)行的所述評(píng)級(jí)軟件指定所述代表性訓(xùn)練圖像中存在的多個(gè)缺陷類別，并針對(duì)每個(gè)所指定的缺陷類別將嚴(yán)重級(jí)別標(biāo)注分配到所述多個(gè)圖像集群中的每一個(gè)；和 其中針對(duì)每個(gè)所述圖像集群，所述評(píng)級(jí)軟件將已分配到所述圖像集群的所述缺陷類別的每個(gè)相應(yīng)的評(píng)級(jí)標(biāo)注自動(dòng)傳送到相應(yīng)圖像集群中的所有所述訓(xùn)練圖像。
25.根據(jù)權(quán)利要求24所述的設(shè)備，其中所述評(píng)級(jí)軟件將評(píng)級(jí)標(biāo)注自動(dòng)分配到未包括在每個(gè)所述缺陷類別的所述訓(xùn)練圖像的所述代表性子集內(nèi)的訓(xùn)練圖像的所有剩余圖像。
26.根據(jù)權(quán)利要求24所述的設(shè)備，其中分配到每個(gè)所述訓(xùn)練樣品的每個(gè)評(píng)級(jí)標(biāo)注對(duì)應(yīng)于特定缺陷的嚴(yán)重級(jí)別。
27.根據(jù)權(quán)利要求24所述的設(shè)備，其中所述訓(xùn)練樣品為已制造材料的數(shù)字圖像，并且所述缺陷為不均一缺陷，包括顫動(dòng)、雜色、條帶和條紋。
28.根據(jù)權(quán)利要求24所述的設(shè)備，其中所述評(píng)級(jí)標(biāo)注相對(duì)于相應(yīng)缺陷將每個(gè)所述訓(xùn)練樣品分類為可接受或不可接受。
29.根據(jù)權(quán)利要求24所述的設(shè)備，其中所述評(píng)級(jí)標(biāo)注相對(duì)于相應(yīng)缺陷將每個(gè)所述訓(xùn)練樣品分類為多個(gè)等級(jí)水平中的其中一個(gè)。
30.根據(jù)權(quán)利要求24所述的設(shè)備，其中所述評(píng)級(jí)軟件執(zhí)行訓(xùn)練階段以根據(jù)分配到所述訓(xùn)練樣品的所述評(píng)級(jí)標(biāo)注計(jì)算分類模型。
31.根據(jù)權(quán)利要求30 所述的設(shè)備，還包括計(jì)算機(jī)化檢測(cè)系統(tǒng)以應(yīng)用分類器，從而根據(jù)所述分類模型將評(píng)級(jí)標(biāo)注分配到從已制造材料中獲取的多個(gè)樣品中的每一個(gè)。
32.—種系統(tǒng),包括: 運(yùn)行評(píng)級(jí)軟件的服務(wù)器，其中所述服務(wù)器包括: 處理器； 存儲(chǔ)器，所述存儲(chǔ)器用于存儲(chǔ)多個(gè)訓(xùn)練樣品； 評(píng)級(jí)軟件，所述評(píng)級(jí)軟件在所述處理器上運(yùn)行，其中所述評(píng)級(jí)軟件包括用于通過以下方式從多個(gè)訓(xùn)練圖像的每一個(gè)中提取特征的特征提取模塊:通過所述相應(yīng)訓(xùn)練圖像的像素值計(jì)算每個(gè)所述訓(xùn)練圖像的數(shù)值描述符，并且其中所述評(píng)級(jí)軟件執(zhí)行第一聚類過程以處理所述訓(xùn)練圖像的所述數(shù)值描述符，從而自動(dòng)選擇所述訓(xùn)練圖像的代表性子集并計(jì)算所述訓(xùn)練圖像代表性子集的多個(gè)圖像集群；其中在所述處理器或所述評(píng)級(jí)軟件提供的用戶界面上運(yùn)行的所述評(píng)級(jí)軟件中的至少一個(gè) 指定所述代表性訓(xùn)練圖像中存在的一個(gè)或多個(gè)缺陷類別和用于每個(gè)所述缺陷類別的一組相應(yīng)的評(píng)級(jí)標(biāo)注， 其中所述用戶界面還包括輸入機(jī)制以接收來自用戶的輸入，所述輸入針對(duì)每個(gè)所指定的缺陷類別將相應(yīng)的評(píng)級(jí)標(biāo)注分配到每個(gè)所述圖像集群，并且 可任選的是，其中在所述處理器上運(yùn)行的所述評(píng)級(jí)軟件指定所述代表性訓(xùn)練圖像中存在的多個(gè)缺陷類別，并針對(duì)每個(gè)所指定的缺陷類別將嚴(yán)重級(jí)別標(biāo)注分配到所述多個(gè)圖像集群中的每一個(gè)， 其中針對(duì)每個(gè)所述圖像集群，所述評(píng)級(jí)軟件將已分配到所述圖像集群的所述缺陷類別的每個(gè)所述相應(yīng)的評(píng)級(jí)標(biāo)注自動(dòng)傳送到相應(yīng)圖像集群中的所有所述訓(xùn)練圖像，并且 其中所述評(píng)級(jí)軟件還執(zhí)行訓(xùn)練階段以根據(jù)分配到所述訓(xùn)練圖像的所述評(píng)級(jí)標(biāo)注計(jì)算分類模型；和 計(jì)算機(jī)化檢測(cè)系統(tǒng)，所述計(jì)算機(jī)化檢測(cè)系統(tǒng)用于掃描幅材的連續(xù)部分以采集樣品，其中所述計(jì)算機(jī)化檢測(cè)系統(tǒng)應(yīng)用分類器以根據(jù)所述分類模型將評(píng)級(jí)分配到每個(gè)所述樣品。
33.非臨時(shí)性計(jì)算機(jī)可讀介質(zhì)，所述非臨時(shí)性計(jì)算機(jī)可讀介質(zhì)包括軟件指令以促使計(jì)算機(jī)處理器執(zhí)行以下操作: 在計(jì)算機(jī)上運(yùn)行評(píng)級(jí)軟件以通過以下方式從多個(gè)訓(xùn)練圖像的每一個(gè)中提取特征:通過所述相應(yīng)訓(xùn)練圖像的像素值計(jì)算每個(gè)所述訓(xùn)練圖像的數(shù)值描述符； 使用所述評(píng)級(jí)軟件處理所述數(shù)訓(xùn)練圖像的所述數(shù)值描述符以自動(dòng)選擇所述訓(xùn)練圖像的代表性子集； 使用所述評(píng)級(jí)軟件執(zhí)行第一聚類過程以處理所述訓(xùn)練圖像的所述代表性子集的所述數(shù)值描述符，并且計(jì)算所述訓(xùn)練圖像代表性子集的多個(gè)圖像集群； 接收來自至少一個(gè)用戶或所述計(jì)算機(jī)的輸入，所述輸入針對(duì)每個(gè)指定的缺陷類別將相應(yīng)的評(píng)級(jí)標(biāo)注分配到所述多個(gè)圖像集群中的每一個(gè)， 其中接收來自所述用戶的輸入還包括:使用所述評(píng)級(jí)軟件提供用戶界面以接收來自所述用戶的輸入，所述輸入指定訓(xùn)練圖像的所述代表性子集中存在的一個(gè)或多個(gè)缺陷類別和用于每個(gè)所述缺陷類別的一組評(píng)級(jí)標(biāo)注， 可任選的是，其中接收來自所述計(jì)算機(jī)的輸入還包括使用所述計(jì)算機(jī)確定所述代表性訓(xùn)練圖像中存在的多個(gè)缺 陷類別，以及針對(duì)每個(gè)所指定的缺陷類別將嚴(yán)重級(jí)別標(biāo)注分配到所述多個(gè)圖像集群中的每一個(gè)；和 針對(duì)每個(gè)所述圖像集群，使用所述評(píng)級(jí)軟件將已分配到所述圖像集群的所述缺陷類別的每個(gè)所述相應(yīng)的評(píng)級(jí)標(biāo)注自動(dòng)傳送到相應(yīng)圖像集群中的所有所述訓(xùn)練圖像。
全文摘要
本發(fā)明描述了一種計(jì)算機(jī)化評(píng)級(jí)工具，所述計(jì)算機(jī)化評(píng)級(jí)工具幫助用戶有效和一致地為代表給定產(chǎn)品樣品的大型訓(xùn)練圖像集合分配專家評(píng)級(jí)(即標(biāo)注)。所述評(píng)級(jí)工具提供了用于以直觀和可配置的方式可視化訓(xùn)練圖像的機(jī)制，包括對(duì)所述訓(xùn)練圖像進(jìn)行聚類和排序。在一些實(shí)施例中，所述評(píng)級(jí)工具提供了易用界面，所述易用界面用于探究所述數(shù)據(jù)中表示的多種缺陷類型，以及用于有效地分配專家評(píng)級(jí)。在其他實(shí)施例中，所述計(jì)算機(jī)自動(dòng)為所述相應(yīng)的集群分配評(píng)級(jí)(即標(biāo)注)，所述集群包含代表所述樣品的大型數(shù)字圖像集合。此外，所述計(jì)算機(jī)化工具有適用于為非常大的數(shù)據(jù)集標(biāo)注的能力，包括能夠自動(dòng)識(shí)別并選擇所述圖像最相關(guān)子集的缺陷，以及能夠?qū)?biāo)注從所述子集自動(dòng)傳送到剩余圖像，而無需進(jìn)一步的用戶交互。
文檔編號(hào)G01N21/89GK103168227SQ201180050416
公開日2013年6月19日 申請(qǐng)日期2011年10月14日 優(yōu)先權(quán)日2010年10月19日
發(fā)明者E·J·里布尼克, K·G·布里泰恩, G·D·科斯塔施, C·P·塔諾維斯基, D·H·賈斯泰斯, G·薩皮羅, S·D·赫伯特, D·L·霍菲爾特 申請(qǐng)人:3M創(chuàng)新有限公司