本公開內(nèi)容涉及用于將深度強(qiáng)化學(xué)習(xí)用于制造系統(tǒng)處的時(shí)間約束管理的方法和機(jī)構(gòu)。

背景技術(shù)：

1、在基板成為成品(如晶片、電子設(shè)備等)之前，基板可以依據(jù)一組操作進(jìn)行處理，其中每個(gè)操作都在制造系統(tǒng)的一個(gè)工具處執(zhí)行。在某些情況下，一個(gè)或多個(gè)操作可以經(jīng)受時(shí)間約束。時(shí)間約束指的是在完成一個(gè)操作后，要完成后續(xù)操作的特定時(shí)間量。例如，可以依據(jù)第一操作和第二操作來處理基板，在第一操作中，將第一材料沉積在基板的表面上，在第二操作中，將第二材料沉積在第一材料上。第一操作和第二操作可以經(jīng)受時(shí)間約束，其中第二材料要在特定的時(shí)間量內(nèi)沉積在第一材料上，否則第一材料可能開始降解，基板不能用于生產(chǎn)成品(即變得不可用)。時(shí)間約束窗口指的是完成引起時(shí)間約束的操作(稱為啟動操作)的特定時(shí)間量，以及啟動操作完成后要完成后續(xù)操作(稱為完成操作)的時(shí)間量。在一些情況下，可以在啟動操作與完成操作之間執(zhí)行一個(gè)或多個(gè)操作。

2、在大多數(shù)情況下，當(dāng)基板到達(dá)工具時(shí)，不能對基板開始操作，因?yàn)楣ぞ呖赡苷谔幚砥渌?。因此，制造系統(tǒng)的操作員(例如，工業(yè)工程師、工藝工程師、系統(tǒng)工程師等)將操作排定在特定時(shí)間運(yùn)行，以滿足與操作相關(guān)聯(lián)的時(shí)間約束。例如，操作員可以推遲對基板進(jìn)行的操作，直到每個(gè)被設(shè)定為執(zhí)行與時(shí)間約束相關(guān)聯(lián)的操作的工具有容量(capacity)在時(shí)間約束窗口內(nèi)執(zhí)行操作。

3、在某些情況下，第一時(shí)間約束窗口的完成操作也可以是第二時(shí)間約束窗口的啟動操作。在這種情況下，制造系統(tǒng)的操作員可以排定第一時(shí)間約束窗口的啟動操作在特定的時(shí)間開始，以滿足第一時(shí)間約束窗口的第一時(shí)間約束和第二時(shí)間約束窗口的第二時(shí)間約束。在其他情況下，一個(gè)操作可以是第一時(shí)間約束窗口和第二時(shí)間約束窗口兩者的完成操作。在這種情況下，操作員可以排定第一時(shí)間約束窗口和第二時(shí)間約束窗口的啟動操作在特定的時(shí)間開始，以滿足第一時(shí)間約束窗口的第一時(shí)間約束和第二時(shí)間約束窗口的第二時(shí)間約束。

4、隨著制造系統(tǒng)變得越來越復(fù)雜，經(jīng)受時(shí)間約束的操作也越來越多。為了排定基板在啟動操作開始，操作員(例如使用計(jì)算系統(tǒng))要考慮所有可能由啟動操作引起的時(shí)間約束。為了考慮到所有可能由啟動操作引起的時(shí)間約束，操作員要考慮到可以執(zhí)行啟動操作、完成操作以及兩者之間的每個(gè)操作的每個(gè)工具的容量。在某些情況下，包括啟動操作的時(shí)間約束窗口可以對應(yīng)于相當(dāng)長的時(shí)間(例如，6小時(shí)、8小時(shí)、12小時(shí)、24小時(shí)等)。操作員可能難以考慮到未來相當(dāng)長一段時(shí)間內(nèi)的每個(gè)時(shí)間約束和制造系統(tǒng)的每個(gè)工具的容量。對于一些計(jì)算系統(tǒng)來說，這種考慮可以被歸類為np-hard(非確定性多項(xiàng)式時(shí)間困難(non-deterministic?polynomial-time?hard))問題。因此，操作員可能無法成功地排定基板在一組操作的每個(gè)啟動操作開始使得每個(gè)時(shí)間約束都得到滿足。因此，基板可能違反一組操作的時(shí)間約束，變得不可用。每一個(gè)變得不可用的基板都可能會降低整體系統(tǒng)產(chǎn)量，并導(dǎo)致整體系統(tǒng)延遲的增加。

技術(shù)實(shí)現(xiàn)思路

1、以下是本公開內(nèi)容的簡化概要，以提供對本公開內(nèi)容的一些方面的基本理解。這個(gè)概要并不是對本公開內(nèi)容的廣泛概述。它并不旨在識別本公開內(nèi)容的關(guān)鍵或重要元素，也不旨在劃定本公開內(nèi)容的特定實(shí)施方式的任何范圍或權(quán)利要求的任何范圍。它的唯一目的是以簡化的形式呈現(xiàn)本公開內(nèi)容的一些概念以作為后面呈現(xiàn)的更詳細(xì)描述的前奏。

2、在本公開內(nèi)容的一個(gè)方面中，提供了一種用于訓(xùn)練軟件代理器的方法。所述方法包括：初始化軟件代理器，以選擇一個(gè)動作在與制造系統(tǒng)相關(guān)聯(lián)的仿真環(huán)境中執(zhí)行；以及在所述仿真環(huán)境中啟動對所選的所述動作的仿真。響應(yīng)于暫停所述仿真，所述方法進(jìn)一步包括：基于與所述仿真相關(guān)聯(lián)的環(huán)境狀態(tài)，獲得輸出數(shù)據(jù)；以及基于所述輸出數(shù)據(jù)，將所述軟件代理器更新為配置為產(chǎn)生一個(gè)或多個(gè)調(diào)度決策，所述一個(gè)或多個(gè)調(diào)度決策表明在所述制造系統(tǒng)中啟動對一個(gè)或多個(gè)基板的處理的時(shí)間。

3、在本公開內(nèi)容的另一個(gè)方面中，提供了一種用于制造系統(tǒng)處的時(shí)間約束管理的方法。所述方法包括：接收啟動要在制造系統(tǒng)處在候選的一組基板上運(yùn)行的一組操作的請求，其中所述組操作包括一個(gè)或多個(gè)操作，每個(gè)操作具有一個(gè)或多個(gè)時(shí)間約束。所述方法進(jìn)一步包括：獲得與所述制造系統(tǒng)的當(dāng)前狀態(tài)有關(guān)的當(dāng)前數(shù)據(jù)；以及將軟件代理器應(yīng)用于所述當(dāng)前數(shù)據(jù)，以確定處理候選的所述組基板的時(shí)間。所述方法進(jìn)一步包括：在所確定的所述時(shí)間在候選的所述組基板上啟動所述組操作。

4、本公開內(nèi)容的另一個(gè)方面包括一種電子設(shè)備制造系統(tǒng)，所述電子設(shè)備制造系統(tǒng)包括存儲器設(shè)備和處理設(shè)備，所述處理設(shè)備可操作地與所述存儲器設(shè)備耦合，以依據(jù)本文所述的任何方面或?qū)嵤┓绞綀?zhí)行操作。

5、本公開內(nèi)容的另一個(gè)方面包括一種包括指令的非暫時(shí)性計(jì)算機(jī)可讀取儲存媒體，所述指令當(dāng)由可操作地與存儲器耦合的處理設(shè)備執(zhí)行時(shí)，依據(jù)本文所述的任何方面或?qū)嵤┓绞綀?zhí)行操作。

技術(shù)特征：

1.一種方法，包括：

2.如權(quán)利要求1所述的方法，所述方法進(jìn)一步包括：

3.如權(quán)利要求1所述的方法，所述方法進(jìn)一步包括：

4.如權(quán)利要求1所述的方法，其中所述代理器包括深度強(qiáng)化學(xué)習(xí)模型。

5.如權(quán)利要求1所述的方法，所述方法進(jìn)一步包括：

6.如權(quán)利要求1所述的方法，其中所述輸出數(shù)據(jù)包括環(huán)境狀態(tài)數(shù)據(jù)和報(bào)酬數(shù)據(jù)，其中所述環(huán)境狀態(tài)數(shù)據(jù)包括制造裝備性質(zhì)、制造裝備觀察、隊(duì)列時(shí)間觀察或容量觀察中的至少一者。

7.如權(quán)利要求1所述的方法，其中所述動作包括對以下至少一項(xiàng)的決策：啟動對一個(gè)或多個(gè)基板的處理，不啟動對所述一個(gè)或多個(gè)基板的處理，或啟動對所述一個(gè)或多個(gè)基板的子集的處理。

8.一種電子設(shè)備制造系統(tǒng)，包括：

9.如權(quán)利要求8所述的電子設(shè)備制造系統(tǒng)，其中所述操作進(jìn)一步包括：

10.如權(quán)利要求8所述的電子設(shè)備制造系統(tǒng)，其中所述操作進(jìn)一步包括：

11.如權(quán)利要求8所述的電子設(shè)備制造系統(tǒng)，其中所述代理器包括深度強(qiáng)化學(xué)習(xí)模型。

12.如權(quán)利要求8所述的電子設(shè)備制造系統(tǒng)，其中所述操作進(jìn)一步包括：

13.如權(quán)利要求8所述的電子設(shè)備制造系統(tǒng)，其中所述輸出數(shù)據(jù)包括環(huán)境狀態(tài)數(shù)據(jù)和報(bào)酬數(shù)據(jù)，其中所述環(huán)境狀態(tài)數(shù)據(jù)包括制造裝備性質(zhì)、制造裝備觀察、隊(duì)列時(shí)間觀察或容量觀察中的至少一者。

14.如權(quán)利要求8所述的電子設(shè)備制造系統(tǒng)，其中所述動作包括對以下至少一項(xiàng)的決策：啟動對一個(gè)或多個(gè)基板的處理，不啟動對所述一個(gè)或多個(gè)基板的處理，或啟動對所述一個(gè)或多個(gè)基板的子集的處理。

15.一種方法，包括：

16.如權(quán)利要求15所述的方法，其中訓(xùn)練所述代理器的步驟包括：

17.如權(quán)利要求15所述的方法，其中所述代理器包括深度強(qiáng)化學(xué)習(xí)模型。

18.如權(quán)利要求15所述的方法，其中所述輸出數(shù)據(jù)包括環(huán)境狀態(tài)數(shù)據(jù)和報(bào)酬數(shù)據(jù)。

19.如權(quán)利要求18所述的方法，其中所述環(huán)境狀態(tài)數(shù)據(jù)包括制造裝備性質(zhì)、制造裝備觀察、隊(duì)列時(shí)間觀察或容量觀察中的至少一者。

20.如權(quán)利要求15所述的方法，其中所述動作包括對以下至少一項(xiàng)的決策：啟動對一個(gè)或多個(gè)基板的處理，不啟動對所述一個(gè)或多個(gè)基板的處理，或啟動對所述一個(gè)或多個(gè)基板的子集的處理。

技術(shù)總結(jié)
提供了一種用于為基板制造系統(tǒng)訓(xùn)練代理器的方法。所述方法包括：初始化基板制造系統(tǒng)的預(yù)測子系統(tǒng)的代理器，以選擇一個(gè)動作在與所述基板制造系統(tǒng)相關(guān)聯(lián)的仿真環(huán)境中執(zhí)行；以及在所述仿真環(huán)境中啟動對所選的所述動作的仿真。響應(yīng)于暫停所述仿真，所述方法進(jìn)一步包括：基于與所述仿真相關(guān)聯(lián)的環(huán)境狀態(tài)，獲得輸出數(shù)據(jù)；以及基于所述輸出數(shù)據(jù)，將所述代理器更新為配置為產(chǎn)生一個(gè)或多個(gè)調(diào)度決策，所述一個(gè)或多個(gè)調(diào)度決策表明在所述基板制造系統(tǒng)中啟動對一個(gè)或多個(gè)基板的處理的時(shí)間。

技術(shù)研發(fā)人員：哈利·葉迪森,普拉富拉·達(dá)瓦迪,大衛(wèi)·埃弗頓·諾曼
受保護(hù)的技術(shù)使用者：應(yīng)用材料公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19