機(jī)器學(xué)習(xí)系統(tǒng)的更新的制作方法
本發(fā)明涉及計算機(jī)程序及系統(tǒng)領(lǐng)域，尤其是一種用于更新機(jī)器學(xué)習(xí)系統(tǒng)的方法、系統(tǒng)及程序。
背景技術(shù)：
推薦用于工程中所做的決策。譬如，在正在進(jìn)行衛(wèi)星發(fā)射中，需要推薦緊急動作以最小化事故風(fēng)險的函數(shù)(例如，控制燃料箱的溫度、燃料消耗、發(fā)射速度)。推薦不限于設(shè)備控制，但它們也能用在設(shè)備的概念及制造期間，例如，cad系統(tǒng)能夠為設(shè)備的設(shè)計提供推薦，從而使得將所設(shè)計的設(shè)備的故障風(fēng)險最小化。
存在數(shù)種已知類別的推薦系統(tǒng)。第一類別包括所謂的推薦者系統(tǒng)，其為訪問者接收基于已訪問內(nèi)容的內(nèi)容建議的系統(tǒng)。譬如，搜索引擎基于訪問頁面的個人歷史給搜索結(jié)果排序。在
然而，這些推薦者系統(tǒng)在集中了大量用戶的歷史的應(yīng)用中工作。例如，
第二類別包括專家系統(tǒng)，其基于專家寫入并自動應(yīng)用的規(guī)則，自動做出某個問題相關(guān)的決策。當(dāng)選項的數(shù)目很小、且輸入變量可由人管理或處理為在可管理的判別變量集中歸納時，那么專家可能規(guī)定大多數(shù)情況下產(chǎn)生最佳動作的規(guī)則。第一種方案叫做“僅有專家規(guī)則”，其中規(guī)則由應(yīng)用系統(tǒng)的技術(shù)領(lǐng)域的專家手工寫入。第二種方案叫做“結(jié)合經(jīng)驗?zāi)Ｐ偷膶＜乙?guī)則”，其中基于機(jī)器學(xué)習(xí)創(chuàng)建經(jīng)驗?zāi)Ｐ?，以處理可用的輸入并返回?shù)量可管理的輸入。此類模型一般返回估計的概率。由于減少了提供給人寫入的規(guī)則的輸入的復(fù)雜性，因此減小了人為錯誤的空間。
作為經(jīng)驗?zāi)Ｐ偷氖纠?，例如delmia
然而，此第二類別具有許多缺點(diǎn)；尤其是，當(dāng)獨(dú)立因子的數(shù)目與選項的數(shù)目導(dǎo)致人類專家無法管理的問題時，第一種方案不起作用。第二種方案需要大量硬件資源來訓(xùn)練經(jīng)驗?zāi)Ｐ汀嵺`中，決策的需求一般由新數(shù)據(jù)觸發(fā)。并且一般必須迅速進(jìn)行決策。因此，進(jìn)一步限制可獲得的資源量和能夠使用這些系統(tǒng)的情況的數(shù)量。
在第三類別中，諸如delmiaoi的經(jīng)驗規(guī)則生成系統(tǒng)。這些系統(tǒng)示出了處理此類現(xiàn)象所需的復(fù)雜度。經(jīng)驗規(guī)則系統(tǒng)生成系統(tǒng)給由大量變量描述的現(xiàn)象建模。它們通過以下進(jìn)行工作：產(chǎn)生許多各個具有低再次調(diào)用(recall)和低精確率，并因而可能相互矛盾的規(guī)則，利用投票解決它們的不同結(jié)果，并輸出投票的結(jié)果，該結(jié)果用作新的合成變量來描述情況。這些系統(tǒng)一般同時實現(xiàn)高再次調(diào)用和高精確率(每個都在80％以上)，但為了這樣做，這些系統(tǒng)產(chǎn)生了專家無法產(chǎn)生的、數(shù)量無法管理(對于幾十個變量，達(dá)到數(shù)萬至數(shù)百萬的量級)的規(guī)則。
在具有許多輸入?yún)?shù)和兩種決策替換方法的情況中，此類系統(tǒng)能夠成功用于“結(jié)合經(jīng)驗?zāi)Ｐ偷膶＜乙?guī)則”方案。
然而，此類經(jīng)驗?zāi)Ｐ筒蛔寷Q策者考慮在訓(xùn)練系統(tǒng)和寫入專家規(guī)則時不存在或不予考慮的數(shù)據(jù)。另外，此第三種類可能需要大量硬件資源來訓(xùn)練。實踐中，決策的需求一般由新數(shù)據(jù)觸發(fā)。并且，一般必須迅速進(jìn)行決策。因此，進(jìn)一步限制可獲得的資源量和能夠使用這些系統(tǒng)的情況的數(shù)量。
第三類別包括可理解模型、表示和交互界面，其通過以使相關(guān)信息可由決策者或其助手管理的形式呈現(xiàn)該相關(guān)信息來有助于做決策。譬如，商業(yè)智能工具提供了譬如通過散點(diǎn)圖的方式選擇變量并可視化其交互的手段。分析人員選取相關(guān)的可視化，產(chǎn)生靜態(tài)報告，并將它們發(fā)送給決策者。
所謂的“白盒模型”取決于經(jīng)驗(受訓(xùn)練的)模型，其給出變量之間關(guān)系的可視化或解釋。譬如，在訓(xùn)練決策樹(例如，如在quinlan、j.ross.的″inductionofdecisiontrees.″machinelearning1.1(1986)：81-106.[1]中所討論的)，規(guī)則創(chuàng)建引擎或貝葉斯網(wǎng)絡(luò)(例如，如在heckerman、david、dangeiger和davidm.chickering.的″learningbayesiannetworks：thecombinationofknowledgeandstatisticaldata.″machinelearning20.3(1995)：197-243中討論的)之后，可能理解以某種概率將目標(biāo)變量鏈接到描述現(xiàn)象的變量中若干前提的規(guī)則。
當(dāng)輸入數(shù)據(jù)能夠在圖表中表示時，存在以以下方式將圖表映射到二維圖的技術(shù)，該方式為2d圖上兩個實體之間的距離表示它們在圖表中的連接性。這些技術(shù)允許定性地表示描述情況的元素之間的交互程度。這些技術(shù)還能應(yīng)用于映射2d圖上的復(fù)雜觀察(complexobservation)，從而使得相似觀察(在n維中接近，所述維度為描述觀察的變量)，最終在2d圖上彼此接近，例如，如在balasubramanian、mukund和ericl.schwartz.的″theisomapalgorithmandtopologicalstability.″science295.5552(2002)：7-7中所討論的。
在jain、anilk.、m.narasimhamurty和patrickj.flynn.的″dataclustering：areview.″acmcomputingsurveys(csur)31.3(1999)：264-323中討論了聚類技術(shù)，并且這些聚類技術(shù)允許以可管理數(shù)量分組的方式將在n維中相似的觀察分組在一起。
在wall、michaele.、andreasrechtsteiner和luism.rocha.的″singularvaluedecompositionandprincipalcomponentanalysis.″apracticalapproachtomicroarraydataanalysis.springerus，2003.91-109中討論了降維技術(shù)，并且它們允許找到數(shù)據(jù)沿其變化最大的維度或維度組合。
存在其它技術(shù)來發(fā)現(xiàn)什么維度(描述性變量)對給定目標(biāo)變量的值影響最大。
然而，“白盒模型”具有數(shù)個缺陷。尤其是，這些系統(tǒng)仍然不提供完全自動化的決策，并因此允許因例如遺漏重要因素或未精確評估考慮因素的實際影響的人類失誤而導(dǎo)致的次優(yōu)決策。
另一問題是此第三類別需要大量硬件資源來訓(xùn)練。實踐中，決策的需求一般由新數(shù)據(jù)觸發(fā)。并且，一般必須迅速進(jìn)行決策。因此，進(jìn)一步限制可獲得的資源量和能夠使用這些系統(tǒng)的情況的數(shù)量。
更具體地，當(dāng)直接用來對涉及復(fù)雜系統(tǒng)的實際事件進(jìn)行建模時，直接使用經(jīng)驗?zāi)Ｐ途哂幸韵滦阅軉栴}。
第一個性能問題涉及存儲器占用問題。描述涉及復(fù)雜系統(tǒng)的情況的相關(guān)參數(shù)的數(shù)量一般很大。因此，利用模型的輸入變量來整體描述情況會導(dǎo)致輸入變量激增，這將使得在事件進(jìn)程期間訓(xùn)練模型不切實際。
隨著變量激增，訓(xùn)練數(shù)據(jù)中必需的觀察數(shù)也激增。簡言之，訓(xùn)練數(shù)據(jù)中的觀察必須表示對于受訓(xùn)的模型能夠?qū)嶋H發(fā)生以正確執(zhí)行的所有可能的變量組合。
大多數(shù)可用的機(jī)器學(xué)習(xí)方法是通過假設(shè)訓(xùn)練數(shù)據(jù)適合隨機(jī)存取存儲器來設(shè)計的。隨機(jī)存取存儲器的現(xiàn)有尺寸一般限制了描述情況能夠考慮的參數(shù)。
第二個性能問題是可擴(kuò)展性的問題。某些精確的機(jī)器學(xué)習(xí)算法擴(kuò)展性不好。例如，沖高排名技術(shù)(boostingtechnique)就是此種情況。對于再次調(diào)用和精確率，沖高排名技術(shù)為當(dāng)前最強(qiáng)大的機(jī)器學(xué)習(xí)技術(shù)之一，但它們本質(zhì)上是順序的。這意味著它們無法跨多個服務(wù)器分布。一個服務(wù)器將忙著運(yùn)行計算，而其它服務(wù)器空閑。運(yùn)行順序算法的時間將不會隨著服務(wù)器數(shù)目的增加而減少。
在事件進(jìn)程期間重新訓(xùn)練模型時，也存在同樣的存儲器占用及擴(kuò)展性問題。
另外，由于時間有限，延遲也成為問題。取決于模型、訓(xùn)練數(shù)據(jù)的大小和可獲得的硬件資源，對模型進(jìn)行訓(xùn)練花費(fèi)數(shù)秒至數(shù)周。當(dāng)給涉及復(fù)雜系統(tǒng)的實際情況進(jìn)行建模時，大多數(shù)情況下對模型進(jìn)行訓(xùn)練必須至少花費(fèi)數(shù)十秒。因此，在事件進(jìn)程期間對模型進(jìn)行訓(xùn)練的機(jī)會將很小。
在此背景下，仍然需要更新機(jī)器學(xué)習(xí)系統(tǒng)的模型。
技術(shù)實現(xiàn)要素：
因此，提供了一種用于更新機(jī)器學(xué)習(xí)系統(tǒng)的模型的計算機(jī)實現(xiàn)的方法。所述方法包括：
-提供相似事件的第一觀察集合，每個觀察與目標(biāo)值和一個或多個變量關(guān)聯(lián)，每個變量與對應(yīng)于觀察的值關(guān)聯(lián)；
-利用第一集合的每個觀察對應(yīng)的一個或多個變量和目標(biāo)值來索引第一集合的每個觀察；
-接收允許選擇第一觀察集合的子集的對所述索引的查詢；
-返回所述第一觀察集合的子集作為查詢的結(jié)果；
-提供第二模型；
-利用第一觀察集合的被返回的子集來訓(xùn)練所提供的第二模型；以及
-加載受訓(xùn)的第二模型。
所述方法可包括以下中的一個或多個；
-提供第一模型；利用第一觀察集合來訓(xùn)練第一模型；存儲受訓(xùn)的第一模型。
-在接收對所述索引的查詢之前：采集當(dāng)前事件的第二觀察集合；并且其中接收對所述索引的查詢進(jìn)一步包括接收允許選擇所述第一觀察集合的子集的對所述索引的查詢，利用第二觀察集合的一個或多個變量執(zhí)行所述查詢。
-在接收對所述索引的查詢之前：識別所述第二觀察集合的一個或多個變量；并且其中接收對所述索引的查詢進(jìn)一步包括接收允許選擇第一觀察集合的子集的對所述索引的查詢，利用所識別的第二觀察集合的一個或多個變量來執(zhí)行所述查詢。
-識別所述第二觀察集合的一個或多個變量包括識別(s210)緩慢移動的變量和/或識別快速移動的變量；
-識別在第二觀察集合的變量之中的一個或多個未知變量；以及索引與所識別的一個或多個未知變量關(guān)聯(lián)的第二集合的每個觀察，利用第二集合的所述每個觀察的對應(yīng)的一個或多個變量和目標(biāo)值執(zhí)行第二集合的所述每個觀察的索引。
-采集第二觀察集合進(jìn)一步包括實時采集第二觀察集合；存儲所采集的第二觀察集合；以及在預(yù)定的時間段過去之前提供對所采集的第二觀察集合的訪問；
-在加載受訓(xùn)的第二模型之后：通過利用值來設(shè)定輸入變量集合中的輸入變量，來提供一個或多個選項；通過使用所提供的一個或多個選項，為受訓(xùn)的第二模型計算結(jié)果；
-提供一個或多個選項進(jìn)一步包括計算輸入變量的值的組合；并且其中為受訓(xùn)的第二模型計算結(jié)果進(jìn)一步包括通過使用所計算的組合為受訓(xùn)的第二模型計算結(jié)果；
-在計算輸入變量的值的組合之后：接收第二觀察集合的變量的值；計算輸入變量的值和第二觀察集合的變量的值的組合；通過使用輸入變量及第二觀察集合的變量的值的組合，為受訓(xùn)的第二模型計算結(jié)果；
進(jìn)一步提供了一種計算機(jī)程序，包括用于執(zhí)行所述方法的指令。
進(jìn)一步提供了一種計算機(jī)可讀存儲介質(zhì)，其上記錄有計算機(jī)程序。
進(jìn)一步提供了一種服務(wù)器，包括耦合到存儲器的處理電路，所述存儲器其上記錄有計算機(jī)程序。
所述服務(wù)器可以連接到客戶端計算機(jī)，從所述客戶端計算機(jī)生成對一個索引的查詢、且從所述客戶端計算機(jī)提供一個或多個選項。
附圖說明
現(xiàn)在將通過非限制性示例、并參考附圖來描述本發(fā)明的實施例，其中：
-圖1示出了本發(fā)明的構(gòu)建時間的示例的流程圖；
-圖2示出了本發(fā)明的運(yùn)行時間的示例的流程圖；
-圖3示出了觀察集合的示例；
-圖4示出了計算機(jī)的示例。
具體實施方式
參考圖1和2的流程圖，提出了一種用于更新機(jī)器學(xué)習(xí)系統(tǒng)的模型的計算機(jī)實現(xiàn)的方法。該方法包括提供第一模型。該方法還包括提供相似事件的第一觀察集合，每個觀察關(guān)聯(lián)于(i)一個或多個變量，并關(guān)聯(lián)于(ii)目標(biāo)值，每個所述變量與對應(yīng)于事件的值關(guān)聯(lián)。該方法還包括利用每個觀察對應(yīng)的一個或多個變量和目標(biāo)值來索引第一集合的每個觀察。接著，接收對所述索引的查詢；查詢的目的是獲取第一觀察集合的子集的選擇。作為查詢的結(jié)果，返回第一觀察集合的子集。接下來，提供第二模型。利用返回的第一觀察集合的子集來訓(xùn)練第二模型。然后，加載受訓(xùn)的第二模型。
此類方法改進(jìn)了機(jī)器學(xué)習(xí)系統(tǒng)的模型的更新。實際上，使用了訓(xùn)練數(shù)據(jù)的索引。根據(jù)當(dāng)前情況對訓(xùn)練數(shù)據(jù)進(jìn)行采樣，并基于采樣的數(shù)據(jù)重新訓(xùn)練模型。
在可獲得大量訓(xùn)練數(shù)據(jù)、且缺乏時間的情況下，基于當(dāng)前情況移除數(shù)據(jù)大大地縮小了訓(xùn)練集的大小，同時保留了它包含的關(guān)于當(dāng)前情況的大多數(shù)相關(guān)信息。例如，假如航天飛機(jī)的引擎僅能提供有限的推力，關(guān)于利用引擎提供高于限制的推力的之前任務(wù)的數(shù)據(jù)具有很小的值。
將選擇的變量設(shè)定為它們在情況下的當(dāng)前值允許減小存儲觀察的矩陣的大小。通過消除其關(guān)于所選變量的值不同于其在當(dāng)前情況下的值的觀察，能夠減少線(觀察)數(shù)。生成的矩陣小于初始矩陣(可能是數(shù)量級)，而不會損失大量信息。用于訓(xùn)練的存儲器占用大致為矩陣的大小。因此，存儲器占用隨矩陣的大小線性增加。訓(xùn)練的時間為變量及觀察的數(shù)目的直接函數(shù)。依據(jù)訓(xùn)練數(shù)據(jù)的大小，訓(xùn)練機(jī)器學(xué)習(xí)算法的時間的增加一般快于線性。
本發(fā)明不與使用遞增或在線學(xué)習(xí)算法兼容。事實上，本發(fā)明能夠減少遞增或在線學(xué)習(xí)算法的缺陷，因為它使得可能/較易于批次更新模型，模型能夠使用本發(fā)明完全更新，并在批次更新之間使用遞增或在線學(xué)習(xí)技術(shù)迭代更新。
該方法是計算機(jī)實現(xiàn)的。這意味著該方法的步驟(或基本上所有步驟)由至少一個計算機(jī)或類似的任意系統(tǒng)來執(zhí)行。因此，由該計算機(jī)，可能全自動或半自動地來執(zhí)行該方法的步驟。在示例中，可以通過用戶-計算機(jī)交互來執(zhí)行該方法的至少某些步驟的觸發(fā)。所需的用戶-計算機(jī)交互水平可取決于預(yù)見的自動化水平，并與實現(xiàn)用戶意愿的需求相平衡。在示例中，此水平可以是用戶定義和/或預(yù)定義的。
該方法的計算機(jī)實現(xiàn)的一個典型示例是利用適配于此目的的系統(tǒng)執(zhí)行該方法。該系統(tǒng)可以包括耦合到存儲器和圖形用戶界面(gui)的處理器，存儲器其上具有記錄的包括用于執(zhí)行該方法的指令的計算機(jī)程序。該存儲器還可以存儲數(shù)據(jù)庫。該存儲器是適配于此類存儲的任意硬件，可能包括數(shù)個物理的不同部分(例如，一部分用于程序，且可能一部分用于數(shù)據(jù)庫)。
“數(shù)據(jù)庫”，意指組織成用于搜索和檢索(例如，關(guān)系數(shù)據(jù)庫，例如基于預(yù)定的結(jié)構(gòu)語言，例如sql)的任意數(shù)據(jù)(即，信息)的集合。數(shù)據(jù)庫當(dāng)被存儲在存儲器上時，允許計算機(jī)快速搜索和檢索。數(shù)據(jù)庫的結(jié)構(gòu)實際上便于與各種數(shù)據(jù)處理操作協(xié)作的數(shù)據(jù)存儲、檢索、更改和刪除。數(shù)據(jù)庫可以由能夠拆分為記錄的文件或文件集構(gòu)成，各記錄由一個或多個字段(field)構(gòu)成。字段為數(shù)據(jù)存儲的基本單位。用戶可以主要通過查詢來檢索數(shù)據(jù)。使用關(guān)鍵詞和排序命令，用戶能夠根據(jù)所用的數(shù)據(jù)庫管理系統(tǒng)的規(guī)則，快速搜索、重排列、分組和選擇許多記錄中的字段，以檢索或創(chuàng)建有關(guān)特定數(shù)據(jù)聚合的報告。
所述方法通常操縱觀察集合。觀察為變量集合，其中每個變量與值關(guān)聯(lián)。變量表示系統(tǒng)的狀態(tài)或系統(tǒng)部分的狀態(tài)，或與系統(tǒng)或系統(tǒng)部分相關(guān)的元素狀態(tài)或?qū)ο到y(tǒng)或系統(tǒng)部分有影響的元素狀態(tài)。譬如，汽車的觀察的變量能夠為汽車溫度、油壓、即時燃料消耗、比賽期間的平均燃料消耗、輪胎類型、大氣溫度、天氣(雨、太陽、雪)，……變量與量化變量的狀態(tài)的值關(guān)聯(lián)。觀察表示處于給定時間點(diǎn)的系統(tǒng)狀態(tài)。觀察集合因而為處于不同時間點(diǎn)的變量的值。實踐中，系統(tǒng)能夠?qū)儆诓煌也皇芟薜墓I(yè)領(lǐng)域，包括：航空、建筑、工程、消費(fèi)品、高科技設(shè)備、工業(yè)裝備、運(yùn)輸、海運(yùn)和/或近海石油/天然氣生產(chǎn)或運(yùn)輸。由該方法使用的觀察集合因而可以包括涉及工業(yè)系統(tǒng)的變量，該工業(yè)系統(tǒng)可以為任意機(jī)械系統(tǒng)，例如陸地交通工具或其部件的系統(tǒng)(包括例如轎車及輕卡裝備、賽車、摩托車、卡車及機(jī)動車裝備、卡車及公共汽車、火車)、航空交通工具或其部件的系統(tǒng)(包括例如機(jī)身裝備、航空裝備、推進(jìn)裝備、國防產(chǎn)品、飛機(jī)裝備、太空裝備)、海洋交通工具或其部件的系統(tǒng)(包括例如船用裝備、商船、近海裝備、游艇及工作船、海運(yùn)裝備)，通用機(jī)械系統(tǒng)或機(jī)械系統(tǒng)的部件(包括例如工業(yè)制造機(jī)械、重移動機(jī)械或裝備、安裝裝備、工業(yè)裝備產(chǎn)品、鍛造金屬產(chǎn)品、輪胎制造產(chǎn)品)、電子機(jī)械或電子系統(tǒng)或其部件(包括例如消費(fèi)電子、安全和/或控制和/或儀器產(chǎn)品、計算及通信裝備，半導(dǎo)體、醫(yī)療設(shè)備及裝備)、消費(fèi)品(包括例如家具、家庭及花園產(chǎn)品、休閑品、時尚產(chǎn)品、硬品零售商產(chǎn)品、軟品零售商產(chǎn)品)、包裝物(包括例如食物及飲料及煙草、美容及個人護(hù)理、家用產(chǎn)品包裝)。
圖4示出了該系統(tǒng)的示例，其中該系統(tǒng)為客戶端計算機(jī)系統(tǒng)，例如用戶工作站。
該示例的客戶端計算機(jī)包括連接到內(nèi)部通信總線1000的中央處理單元(cpu)1010、還連接到總線的隨機(jī)存取存儲器(ram)1070?？蛻舳擞嬎銠C(jī)進(jìn)一步設(shè)置有與連接到總線的視頻隨機(jī)存取存儲器1100關(guān)聯(lián)的圖形處理單元(gpu)1110。視頻ram1100在本領(lǐng)域中也稱為幀緩沖器。大容量存儲設(shè)備控制器1020管理對大容量存儲器設(shè)備(例如硬盤驅(qū)動1030)的訪問。適于有形地體現(xiàn)計算機(jī)程序指令及數(shù)據(jù)的大容量存儲設(shè)備包括所有形式的非易失性存儲器，舉例來說包括半導(dǎo)體存儲設(shè)備，例如eprom、eeprom和閃存設(shè)備；例如內(nèi)部硬盤和可移除盤的磁盤；磁光盤；以及cd-rom盤1040。前述任一可以由特殊設(shè)計的asic(專用集成電路)補(bǔ)充或納入其中。網(wǎng)絡(luò)適配器1050管理對網(wǎng)絡(luò)1060的訪問?？蛻舳擞嬎銠C(jī)還可以包括觸覺設(shè)備1090，例如光標(biāo)控制設(shè)備、鍵盤等。光標(biāo)控制設(shè)備用在客戶端計算機(jī)中，以允許用戶在顯示器1080上任意想要的位置處選擇性定位光標(biāo)。另外，光標(biāo)控制設(shè)備允許用戶選擇各種命令并輸入控制信號。光標(biāo)控制設(shè)備包括用于輸入控制信號給系統(tǒng)的多個信號生成設(shè)備。通常，光標(biāo)控制設(shè)備可以是鼠標(biāo)，鼠標(biāo)的按鈕用于生成信號。替代或額外地，客戶端計算機(jī)系統(tǒng)可以包括觸敏板和/或觸敏屏。
計算機(jī)程序可以包括可由計算機(jī)執(zhí)行的指令，所述指令包括用于使上述系統(tǒng)執(zhí)行所述方法的模塊。程序可記錄在任意數(shù)據(jù)存儲介質(zhì)上，包括系統(tǒng)的存儲器。該程序可以例如以數(shù)字電子電路、或計算機(jī)硬件、固件、軟件或其組合來實現(xiàn)。該程序可以實現(xiàn)為裝置，例如有形地體現(xiàn)在用于由可編程處理器執(zhí)行的機(jī)器可讀存儲設(shè)備中的產(chǎn)品。方法步驟可以由可編程處理器執(zhí)行指令程序來執(zhí)行，以通過對輸入數(shù)據(jù)操作并生成輸出來執(zhí)行所述方法的功能。處理器因而是可編程的，并可以耦合以從數(shù)據(jù)存儲系統(tǒng)、至少一個輸入設(shè)備和至少一個輸出設(shè)備接收數(shù)據(jù)及指令和發(fā)送數(shù)據(jù)及指令給數(shù)據(jù)存儲系統(tǒng)、至少一個輸入設(shè)備和至少一個輸出設(shè)備。應(yīng)用程序可以用高級程序或面向?qū)ο蟮木幊陶Z言、或若需要以匯編或機(jī)器語言來實現(xiàn)?？傊Z言可以是編譯或解釋語言。程序可以是全安裝程序或更新程序?？傊?，程序應(yīng)用于系統(tǒng)導(dǎo)致用于執(zhí)行該方法的指令。
現(xiàn)在參考圖1，討論本發(fā)明的構(gòu)建時間的示例。創(chuàng)建時間尤其針對創(chuàng)建觀察的索引。觀察可以是過去的觀察。
在步驟s100，提供第一觀察集合。集合的每個觀察與一個或多個變量和目標(biāo)值關(guān)聯(lián)。變量與值關(guān)聯(lián)。
圖3示出了觀察的示例。每個線12表示一觀察，每列14(為清楚起見，圖3中僅有一列用虛線表示)對應(yīng)于一變量，并且每個矩形18表示用于觀察的變量的值。在此示例中，觀察集合存儲在矩陣10上。每個觀察以其關(guān)于所謂的《描述性變量》、也稱作《輸入變量》的值來描述(因為它們是作為描述觀察的受訓(xùn)模型的輸入而提供的)。有趣的是，集合的每個觀察包括與集合的其它觀察相同的變量。要理解對于每個觀察，一個或多個變量可能為空，也就是說，不與值關(guān)聯(lián)。每個觀察與關(guān)于所謂的《目標(biāo)變量》、也稱作《輸出變量》的對應(yīng)值關(guān)聯(lián)。目標(biāo)變量為受訓(xùn)模型必須為新觀察評估的變量。目標(biāo)變量對于模型的用戶是有意義的，從這方面來說它們提供有助于模型用戶理解和/或預(yù)測和/或?qū)ο到y(tǒng)的行為做出反應(yīng)的信息。在此示例中，目標(biāo)變量也存儲在矩陣16內(nèi)。要理解每個觀察的值及目標(biāo)變量能夠存儲在包括矩陣10及16的矩陣內(nèi)。觀察及目標(biāo)變量構(gòu)成了(并且也稱作)標(biāo)簽數(shù)據(jù)集。要理解每個目標(biāo)變量被評估為所謂目標(biāo)值的值。
觀察集合可以表示相似事件。相似事件意指事件具有共同特性。實踐中，每個觀測與一個或多個變量關(guān)聯(lián)。事件之間的共同特性可能為變量。因此，參考圖3，除了兩個觀察之間的變量可能具有不同值之外，觀察集合的每個觀察描述具有相同變量而相同的事件。
觀察集合可以是自然的觀察集合。自然意指變量的值是針對真實事件的測量，也就是說，真實世界中發(fā)生的事件，例如航天飛機(jī)引擎的溫度。因而采集觀察和每個觀察的變量。
觀察集合可以是合成的觀察集合。合成意指已計算變量的值。譬如，它們已被生成。具有多種用于生成合成觀察的方法。我們在下文描述兩種方法。
兩種方案始于識別能夠被觀察集合的變量所采用的值的范圍。某些變量僅能采用離散值。這些是離散變量。其它能夠采用連續(xù)值。這些是連續(xù)變量。
兩種方案涉及生成關(guān)于觀察的每個變量的值，并組合這些值以構(gòu)成合成觀察。例如，假如變量a采用值[1，2，3]，而變量b采用值[1，2]，所述組合為(1，1)、(1，2)、(2，1)、(2，2)、(3，1)、(3，2)。那就是|a|*|b|組合。在此示例中，能夠創(chuàng)建6個新觀察，每個由其關(guān)于變量a和b的值定義，且對應(yīng)于a和b的可能值的6個組合。
兩種方案可涉及生成用于每個觀察的目標(biāo)值。目標(biāo)值為關(guān)聯(lián)到觀察的目標(biāo)變量的值。在給定輸入中的觀察的變量時，它一般是由仿真模型而生成。目標(biāo)變量是機(jī)器學(xué)習(xí)算法當(dāng)利用與其各自的目標(biāo)值關(guān)聯(lián)的觀察受訓(xùn)時學(xué)習(xí)產(chǎn)生的變量。通過機(jī)器學(xué)習(xí)領(lǐng)域已知的這個學(xué)習(xí)過程，機(jī)器學(xué)習(xí)算法響應(yīng)于與它受訓(xùn)所用的那些觀察相類似的新觀察，將學(xué)習(xí)以產(chǎn)生與它受訓(xùn)所用的那些觀察一致的目標(biāo)值。
兩種方案的區(qū)別為用于生成有關(guān)每個變量的值的方法。
第一種方案可包括使用隨機(jī)變量生成器，以生成有關(guān)變量定義范圍的值，可能遵循有關(guān)分布范圍的一致性分布，或根據(jù)需求遵循不同的概率分布(例如，假如對于采用與用于特定變量的值v相類似的值的觀察，人們想要模型受訓(xùn)得特別好，人們可以決定使用偏愛接近用于那個變量的v的值的概率分布，例如以v為中心的正態(tài)分布。)
第二種方案可包括可能在用離散變量(也就是說，采用離散值的變量)逼近變量之后，枚舉用于變量的、在其可能值范圍上的可能值。能夠通過用離散變量的最接近的離散值逼近每個值來進(jìn)行此逼近。離散值譬如能夠定義為四舍五入到指定精度水平的值。實踐中，表示物理事件的變量僅采用關(guān)于有限定義范圍的值：具有下限和上限。這些界限通常能夠通過查看過去數(shù)據(jù)來找到。離散變量采用關(guān)于有限定義范圍的有限數(shù)量的值。這使得能夠枚舉離散逼近的所有可能值，假如這是想要實現(xiàn)的。
觀察集合可以是自然及合成觀察的混合。譬如，假如自然觀察的數(shù)目太小，并因而不足以表示事件，觀察集合可以用合成觀察來完善，使得觀察集合在統(tǒng)計意義上表示其上用到模型的可能觀察集合。
接下來，在步驟s110，索引第一集合的觀察。此索引稱作訓(xùn)練數(shù)據(jù)索引。為了支持基于變量的準(zhǔn)確值的搜索，索引包含查詢中易用到的每個變量的倒排列表。對應(yīng)于變量的倒排列表為耦組(value，[id1，…，idn])的列表，其中value為變量的值，并且[id1，…，idn]為變量具有值value的觀察的識別符的列表。一旦有指定變量的值的查詢時，此結(jié)構(gòu)允許較快檢索模型。實際上，倒排列表是排序的，因此在排序的倒排列表中找到指定值要快于瀏覽所有觀察并檢查它們對應(yīng)的關(guān)聯(lián)值。
為了支持利用倒排列表搜索索引中的相似值，一種方案是在將值加入倒排列表之前離散化它們，并在查詢中指定的值的距離內(nèi)搜索所有的離散值。在此背景中，離散化值意指利用精度水平小于距離的四舍五入值來逼近它們。
利用第一集合的每個觀察的對應(yīng)變量和它的目標(biāo)值對每個觀察進(jìn)行索引。要理解利用觀察的對應(yīng)變量來索引觀察意指利用觀察來索引變量的值，也就是說，在對應(yīng)于變量的倒排列表中找到與值關(guān)聯(lián)的觀察。
接著，在步驟s120，訓(xùn)練模型。提供模型。根據(jù)預(yù)測的目標(biāo)變量執(zhí)行對模型的選擇。可以在模型庫中選擇模型。
如本領(lǐng)域已知的執(zhí)行模型訓(xùn)練。用于訓(xùn)練模型的方法因模型而異。例如，訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)涉及使用反向傳播算法來基于響應(yīng)于正被輸入網(wǎng)絡(luò)的新觀察在更新之前網(wǎng)絡(luò)如何運(yùn)行以及基于網(wǎng)絡(luò)輸出和與觀察關(guān)聯(lián)的目標(biāo)值之間的差，來更新網(wǎng)絡(luò)的神經(jīng)元的特性。訓(xùn)練例如梯度提升或隨機(jī)森林之類的集成模型(ensemblemodel)涉及選擇觀察的多個子集，且針對每個子集，訓(xùn)練例如stub之類的簡單評估器以對于給定子集的觀察輸出目標(biāo)值，并將受訓(xùn)的評估器添加到整個集成模型的評估器的列表。訓(xùn)練stub(＝一級決策樹)涉及選擇變量和該變量的值，該變量和該變量的值在選擇的觀察之中最佳地區(qū)分了那些與不同目標(biāo)值相關(guān)聯(lián)的觀察。
機(jī)器學(xué)習(xí)庫一般實現(xiàn)用于訓(xùn)練每個可用模型的方法，并將該方法提供給該庫的用戶。用戶能夠通過利用選擇的觀察及其用作訓(xùn)練數(shù)據(jù)的目標(biāo)值輸入此方法來訓(xùn)練模型。該方法通常返回指針給受訓(xùn)的模型，該受訓(xùn)的模型接著能夠被用于預(yù)測給定新觀察的目標(biāo)值。
接著在步驟s130存儲受訓(xùn)模型，例如為了執(zhí)行而存儲在隨機(jī)存取存儲器上和為了持久性而存儲在文件系統(tǒng)上。存儲的模型因此能夠在運(yùn)行時間期間重用于后面的階段。
要理解索引的構(gòu)建和模型的訓(xùn)練可以同時或并發(fā)進(jìn)行?；蛘?，可以先訓(xùn)練模型，接著能夠索引第一觀察集合。
現(xiàn)在參考圖2，討論本發(fā)明的運(yùn)行時間的示例。運(yùn)行時間尤其包括接收允許選擇第一觀察集合的子集的對索引的查詢(s220)；返回第一觀察集合的子集作為查詢結(jié)果；提供第二模型；利用返回的第一觀察集合的子集來訓(xùn)練所提供的第二模型(s240)；以及加載(s250)受訓(xùn)的第二模型。
在步驟s200，采集第二觀察集合。第二集合的觀察涉及當(dāng)前事件。當(dāng)前事件為現(xiàn)在發(fā)生的事件，與第一觀察集合的事件相反。
第二觀察集合可以表示與第一觀察集合中存儲的過去或模擬的事件相類似的事件。第二集合的觀察至少包括與描述過去或模擬的事件的觀察集合相同的變量。為解釋起見，相似事件意指事件具有共同特性。實踐中，采集的數(shù)據(jù)為相似事件的觀察，每個觀察與一個或多個變量關(guān)聯(lián)。事件之間的共同特性可能為變量。因此，第二觀察集合的每個觀察描述了因變量相同而相似的事件，除了兩個觀察之間的變量可以具有不同的值。
測量第二觀察集合的變量的值，也就是說，第二觀察集合僅包括已對真實事件測量的變量的值。被測變量的被測值優(yōu)選地實時發(fā)送給執(zhí)行該方法的系統(tǒng)。這能通過經(jīng)由任意遠(yuǎn)程通信信道和訂購(subscription)或消息傳遞協(xié)議從數(shù)據(jù)供應(yīng)商或傳感器訂購實時推送通知來進(jìn)行。要理解信道一般取決于數(shù)據(jù)供應(yīng)商或傳感器提供的接口。此處，術(shù)語實時意指用于傳輸采集的數(shù)據(jù)的時間為預(yù)定的時間段；傳輸所需的時間不應(yīng)該超過預(yù)定的時間段。
優(yōu)選地實時采集第二集合的采集的觀察。這允許將最近測量的變量提供給執(zhí)行本發(fā)明的系統(tǒng)。利用新鮮數(shù)據(jù)執(zhí)行預(yù)測。能夠存儲所采集的數(shù)據(jù)，從而使得它們能夠重用于后面的階段。為了限制計算資源的消耗，僅當(dāng)已存儲預(yù)定數(shù)目的新觀察時、或當(dāng)預(yù)定的時間段過去時，才可以允許訪問所采集的數(shù)據(jù)。
接著，在步驟s210，對第二集合的觀察的變量施加過濾。過濾意指根據(jù)一個或數(shù)個準(zhǔn)則執(zhí)行選擇。譬如，過濾可以包括識別緩慢移動的變量。緩慢移動的變量是在第二觀察集合的若干最近連續(xù)的觀察中展現(xiàn)出小差異的變量。一般地，選擇緩慢移動的變量針對假設(shè)對第二集合的最近觀察展現(xiàn)出穩(wěn)定值的變量可能展示出集合接下來的觀察中的類似值，從第一集合過濾出可能類似于第二集合的這些最近觀察、并因此類似于接下來將采集的第二集合的若干觀察的觀察。
例如，能夠選擇關(guān)于第二集合的最近100條觀察的10％最穩(wěn)定的變量。這可能是為了提高過濾的第一集合的觀察譬如類似于第二集合的下個50個觀察的可能性。
接著，在步驟s220，查詢第一集合的觀察的索引。索引允許選擇被索引的第一觀察集合的子集。利用采集到的第二觀察集合的一個或多個變量執(zhí)行查詢。實踐中，查詢的一個或多個變量是在步驟s210識別的變量的值。
作為查詢的結(jié)果，返回第一觀察集合的子集。這是如本領(lǐng)域已知執(zhí)行的。
接著，提供第二模型。選擇此第二模型的執(zhí)行方式可以與選擇第一模型的相同。第二模型可以與第一模型相同。
在步驟s230，利用作為查詢(s220)的結(jié)果返回的觀察子集來訓(xùn)練之前提供的第二模型。
一旦進(jìn)行訓(xùn)練，能夠存儲第二模型。它可以存儲在用于存儲第一受訓(xùn)模型的同一存儲器(一般為了執(zhí)行是隨機(jī)存取存儲器，而為了持久性是文件系統(tǒng))上。
能夠加載第二受訓(xùn)模型；也就是說，它能用于生成預(yù)測。
采集的第二觀察集合的數(shù)據(jù)可以用于維持更新在步驟s110計算的索引。識別第二觀察集合的變量和它們的目標(biāo)變量中的一個或多個丟失值，而不是索引所有的新觀察。當(dāng)檢測到丟失值時，索引對應(yīng)的觀察。索引的執(zhí)行方式與參考步驟s110討論的相同：利用對應(yīng)的變量及目標(biāo)值來執(zhí)行與所識別的一個或多個之前丟失的值關(guān)聯(lián)的第二集合的每個觀察的索引。
現(xiàn)在討論如何使用第一和/或第二受訓(xùn)模型生成預(yù)測。
在步驟s260，提供一個或多個選項。一個選項為描述事件可能轉(zhuǎn)折的假定觀察。例如，假設(shè)由變量“機(jī)艙火災(zāi)”(是/否)、“滅火器狀態(tài)”(開/關(guān))、“當(dāng)前過程”(如飛行數(shù)據(jù)文件中定義的)描述觀察。在通過機(jī)艙火災(zāi)＝是、滅火器狀態(tài)＝關(guān)、當(dāng)前過程＝倒計時的情況描述事件時，使用滅火器并暫停倒計時的決策轉(zhuǎn)化為選擇定義為機(jī)艙火災(zāi)＝是、滅火器狀態(tài)＝開、當(dāng)前過程＝倒計時暫停的選項。
通過設(shè)定觀察的變量來獲得選項。與第一及第二集合的觀察相比，首先獲得選項，無需關(guān)聯(lián)的目標(biāo)值。這些變量叫做可動作的變量，因為用戶能夠作用于它們，例如設(shè)定引擎的推力。
具有多種用于生成選項的方案。我們在下文中描述兩種方案。
兩種方案始于識別能夠被觀察集合的變量采用的值的范圍。某些變量僅能采用離散值。這些是離散變量。其它能采用連續(xù)值。這些為連續(xù)變量。
兩種方案涉及生成關(guān)于觀察的每個變量的值(s270)，組合這些值以構(gòu)成合成觀察(s280)。例如，假如變量a采用值[1，2，3]，且變量b采用值[1，2]，組合為(1，1)、(1，2)、(2，1)、(2，2)、(3，1)、(3，2)。那是|a|*|b|組合。在此示例中，能夠創(chuàng)建6個新觀察，每個由其關(guān)于變量a和b的值定義，且對應(yīng)于a和b的可能值的6個組合。
兩種方案的區(qū)別為用于生成有關(guān)每個變量的值(在s270)的方法。
第一種方案可包括使用隨機(jī)變量生成器來生成有關(guān)變量定義的范圍的值，可能遵循有關(guān)分布范圍的一致性分布，或遵循根據(jù)需求的不同概率分布(例如，假如對于采用與用于特定變量的值v相類似的值的觀察，想要模型受訓(xùn)得特別好，可以決定使用偏愛接近用于那個變量的v的值的概率分布，例如以v為中心的正態(tài)分布。)
第二種方案可包括可能在利用離散變量(也就是說，采用離散值的變量)逼近變量之后，枚舉用于變量的、在其可能值范圍上的可能值。能夠通過利用離散變量的最接近的離散值逼近每個值來進(jìn)行此逼近。離散值譬如能夠定義為四舍五入至指定精度水平的值。實踐中，表示物理事件的變量僅采用關(guān)于有限定義范圍的值：具有下限和上限。這些界限通常能夠通過查看過去數(shù)據(jù)來找到。離散變量將采用關(guān)于有限定義范圍的有限數(shù)量的值。這使得能夠枚舉離散逼近的所有可能值，假如這是想要實現(xiàn)的。
現(xiàn)在可獲得提供給第二受訓(xùn)模型的輸入。第二受訓(xùn)模型因而能夠用于生成結(jié)果(s290)；計算在步驟s270或步驟280獲得的用于每個選項的預(yù)測。按本領(lǐng)域已知的執(zhí)行結(jié)果的計算。因此，根據(jù)所提供的一個或多個選項計算預(yù)測，或根據(jù)所提供的一個或多個選項和第二觀察集合的變量的值的組合來計算預(yù)測。
能夠通過根據(jù)預(yù)測和表示選項吸引力的預(yù)測的函數(shù)選擇最優(yōu)選項或次優(yōu)選項，來進(jìn)行建議(s292)。
現(xiàn)在討論本發(fā)明的用于幫助任務(wù)控制人員和機(jī)上人員在用于衛(wèi)星發(fā)射的軌道飛行器操作期間進(jìn)行決策的示例。的確，在這些操作中，根據(jù)自動程序和計劃的過程來執(zhí)行大多數(shù)動作。大多數(shù)引擎是伺服控制的：用戶不直接作用于它們，但你給它們目標(biāo)，而它們適配來實現(xiàn)它。
指南及計劃事件的集合位于飛行數(shù)據(jù)文件內(nèi)。飛行數(shù)據(jù)文件包括人員行動計劃、有效負(fù)載手冊和在精心制作的飛行計劃過程期間放在一起的其它文檔。分割問題類型，且提前計劃行動，目的是預(yù)測每種類型的問題。
然而，任務(wù)控制人員和機(jī)上人員仍然需要時時進(jìn)行決策。例如，nasa聲稱在所有中止模式中，可能的話中止軌道是優(yōu)選模式，而原因之一是它給控制器和飛行人員時間來評估情況，并決定按計劃登陸或繼續(xù)，以及如何解決問題。然而，因任務(wù)推遲，此時間很寶貴，資源在消耗，并且問題可能加重。如果中止軌道不可行，決策的速度及質(zhì)量甚至更為重要。
能夠為航天飛機(jī)測量數(shù)個變量：每個引擎的引擎閥門、每個引擎的燃料水平、艙壓(假如泄壓就是問題)、軌道飛行器冷卻系統(tǒng)的狀態(tài)(假如一個受損就是問題)、海拔高度、飛行路徑角度、航向、重量、速率/射程、交通工具表面的壓力、電子系統(tǒng)狀態(tài)、當(dāng)前過程(倒計時/第一級/第二級/返回發(fā)射點(diǎn)/橫跨大西洋著陸中止/中止一次左右/中止軌道/偶然中止/艙外活動)，等等。在此示例中，可行動變量包括：各引擎系統(tǒng)的引擎閥門、燃料水平(燃料可能傾瀉、重量(材料可能傾瀉)、機(jī)動選擇(改變海拔高度、姿態(tài)、飛行角度、航向等)，過程選擇和軌道選擇。
在此背景中，可以應(yīng)用本發(fā)明來使用以下選項：使得將衛(wèi)星放在正確軌道上的估計機(jī)會最大化、使在返回地球時無風(fēng)險著陸的估計機(jī)會最大化、譬如通過最小化材料損失來最小化任務(wù)的總成本、以及最小化機(jī)艙內(nèi)部中易導(dǎo)致機(jī)組成員受傷或傷亡的事故。
對若干觀察進(jìn)行索引并過濾，并利用過濾的觀察來訓(xùn)練機(jī)器學(xué)習(xí)算法，例如基于它們對應(yīng)于階段1飛行過程這一事實。在事件進(jìn)程中，采集描述所述事件的新觀察?；谛掠^察來過濾索引的觀察。例如，任務(wù)進(jìn)入新的飛行過程。它離開階段1，并進(jìn)入發(fā)射的階段2。新觀察全部展現(xiàn)出關(guān)于變量《飛行過程》的值《階段_2》。(基于它們關(guān)于變量飛行過程的值為階段_2這一事實)過濾對應(yīng)于階段2飛行過程的索引觀察，并且機(jī)器學(xué)習(xí)算法關(guān)于這些過濾的觀察被訓(xùn)練，并更新(就此意義而言它替換)第一機(jī)器學(xué)習(xí)算法。上面列舉的所有變量構(gòu)成了機(jī)器學(xué)習(xí)算法的輸入變量，并且選項的評估結(jié)果為機(jī)器學(xué)習(xí)算法的目標(biāo)變量。所更新的模型應(yīng)用于所生成的選項以預(yù)測它們的結(jié)果。
譬如，這能用于回答問題，諸如在可能有多個中止模式的情況下，“哪個是用于中止軌道模式的優(yōu)選軌道？”或“哪個是優(yōu)選的中止模式”。
譬如，受訓(xùn)為評估中止模式的機(jī)器學(xué)習(xí)算法將采納指定中止模式的輸入觀察(在一個變量中)和選擇它的背景(在其它變量中)。它是使中止模式相關(guān)與否的背景，且在輸入中接收到對應(yīng)的觀察時，在各自的背景中每個中止模式的相關(guān)性由機(jī)器學(xué)習(xí)算法的結(jié)果來評估。
- 還沒有人留言評論。精彩留言會獲得點(diǎn)贊！