混合模型的確定方法及裝置的制造方法
【技術領域】
[0001] 本發(fā)明涉及統(tǒng)計技術領域，特別涉及一種混合模型的確定方法及裝置。
【背景技術】
[0002] 隨著統(tǒng)計技術的不斷發(fā)展，利用混合概率密度函數(或概率分布列)來估計數據密 度，實現(xiàn)復雜分布構建、數據聚類等應用的混合模型被廣泛應用于工業(yè)實踐中。例如，通過 混合模型進行文本分類、手寫識別、模糊圖像分割、行為檢測等等。混合模型是一類概率模 型，種類有多種，包括高斯混合模型和隨機關系模型等等。無論哪種混合模型，均可以由隱 變量的變分分布和模型參數確定。隱變量是指不能被直接觀測到，而需要通過樣本數據推 導得出的變量，隱變量的變分分布用于描述樣本數據被聚類到對應類別的概率；模型參數 用于描述每個類別下子模型的參數。隨著混合模型的應用范圍越來越廣，如何確定混合模 型，成為了目前機器學習領域的一個研究熱點。
[0003] 目前，文章 Stochastic Variational Inference, Matt Hoffman et al. , Journal of Machine Learning Research, 2013.中給出了一種確定混合模型的方式。該方式下， 首先，獲取根據樣本數據、隱變量及模型參數確定的對數似然及隱變量的變分分布的對數； 其次，基于隨機平均場變分推理理論根據對數似然及隱變量的變分分布的對數推斷目標函 數；再次，根據從樣本數據中抽取的子樣本數據確定收斂的模型參數及隱變量，確定使目標 函數收斂的隱變量的變分分布及模型參數；最后，根據使目標函數收斂的隱變量的變分分 布及模型參數確定混合模型。
[0004] 在實現(xiàn)本發(fā)明的過程中，發(fā)明人發(fā)現(xiàn)現(xiàn)有技術至少存在以下問題：
[0005] 由于目標函數根據對數似然及隱變量的變分分布的對數確定，因而通過該種目標 函數所確定的混合模型的復雜度較高。

【發(fā)明內容】

[0006] 為了解決現(xiàn)有技術的問題，本發(fā)明實施例提供了一種混合模型的確定方法及裝 置。所述技術方案如下：
[0007] 第一方面，提供了一種混合模型的確定方法，所述方法包括：
[0008] 獲取根據樣本數據、隱變量及組件參數確定的對數似然、正則項及隱變量的變分 分布的對數，并根據所述對數似然、正則項及隱變量的變分分布的對數確定目標函數；
[0009] 根據從所述樣本數據中抽取的子樣本數據確定使所述目標函數收斂的隱變量的 變分分布及組件參數，根據使所述目標函數收斂的隱變量的變分分布及組件參數確定混合 模型。
[0010] 結合第一方面，在第一方面的第一種可能的實現(xiàn)方式中，根據所述樣本數據、隱變 量及組件參數確定的對數似然為：
[0011] logp(xN,ZN| 0)；
[0012] 其中，所述logp 0表示對數似然，所述p表示聯(lián)合概率密度函數，所述xN為樣本 數據，所述N為樣本數據個數，所述ZNS隱變量，所述0為組件參數的集合，所述組件參數 包括a、口，所述a為組件混合比率，所述W表示每個組件的子模型參數。
[0013] 結合第一方面，在第一方面的第二種可能的實現(xiàn)方式中，根據所述樣本數據、隱變 量及組件參數確定的正則項為：
[0015] 其中，所述N為樣本數據個數；所述C為組件個數，所述zn。為隱變量；所述g()為 隱變量的變分分布的近似值；所述a為組件混合比率，所述Da為所述a的維度，所述D。為 所述組件c的子模型參數的維度，L (a，b) =logb+ (a-b) /b，所述a為，所述b為)。
[0016] 結合第一方面，在第一方面的第三種可能的實現(xiàn)方式中，根據所述樣本數據、隱變 量及組件參數確定的隱變量的變分分布的對數為：
[0017]logq(ZN)；
[0018] 其中，所述q(ZN)為隱變量ZN的變分分布，所述N為樣本數據個數。
[0019] 結合第一方面至第一方面的第三種可能的實現(xiàn)方式中的任一種實現(xiàn)方式，在第一 方面的第四種可能的實現(xiàn)方式中，所述根據所述對數似然、正則項及隱變量的變分分布的 對數確定目標函數，包括：
[0020] 根據所述對數似然的期望值、所述正則項的期望值及所述隱變量的變分分布的對 數的期望值確定目標函數。
[0021] 結合第一方面的第四種可能的實現(xiàn)方式，在第一方面的第五種可能的實現(xiàn)方式 中，根據所述對數似然的期望值、所述正則項的期望值及所述隱變量的變分分布的對數的 期望值確定的目標函數為：
[0023] 結合第一方面的第五種可能的實現(xiàn)方式，在第一方面的第六種可能的實現(xiàn)方式 中，所述根據從所述樣本數據中抽取的子樣本數據確定使所述目標函數收斂的隱變量的變 分分布及組件參數，包括：
[0024] 根據從所述樣本數據中抽取的每個子樣本數據獲取隱變量的變分分布及組件參 數；
[0025] 根據所述隱變量的變分分布及所述組件參數確定所述目標函數是否收斂，如果所 述目標函數未收斂，則重新根據從所述樣本數據中抽取的每個子樣本數據獲取隱變量的變 分分布及組件參數，直至得到使所述目標函數收斂的隱變量的變分分布及組件參數。
[0026] 結合第一方面的第六種可能的實現(xiàn)方式，在第一方面的第七種可能的實現(xiàn)方式 中，所述根據從所述樣本數據中抽取的每個子樣本數據獲取隱變量的變分分布及組件參 數，包括：
[0027] 根據從所述樣本數據中抽取的每個子樣本數據獲取每個子樣本數據對應的隱變 量的變分分布，并根據每個子樣本數據對應的隱變量的變分分布獲取每個子樣本數據對應 的組件參數中間值；
[0028] 根據每個子樣本數據對應的組件參數中間值確定組件參數的平均值，并根據所述 組件參數的平均值獲取組件參數。
[0029] 結合第一方面的第七種可能的實現(xiàn)方式，在第一方面的第八種可能的實現(xiàn)方式 中，根據從所述樣本數據中抽取的每個子樣本數據按照如下公式獲取每個子樣本數據對應 的隱變量的變分分布：
[0030]
[0031] 根據每個子樣本數據對應的隱變量的變分分布按照如下公式獲取每個子樣本數 據對應的組件參數中間值嶺和今：
[0035] 根據各個子樣本數據對應的組件參數中間值按照如下公式確定組件參數的平均 值夂和戎：
[0037] 根據所述組件參數的平均值按照如下公式獲取組件參數<和< :
[0039] 所述t代表當前獲取，所述t_l代表上一次獲取或初始化，所述P為更新步長，所 述為第c個組件下第I m個子樣本數據對應的隱變量的變分分布，所述S為子樣本數 據集合，所述為子樣本數據集合中的第Im個子樣本數據，所述a。為第c個組件的組件 參數 a，所述A為第c個組件的組件參數爐。
[0040] 結合第一方面的第六種至第八種可能的實現(xiàn)方式中任一種可能的實現(xiàn)方式，在第 一方面的第九種可能的實現(xiàn)方式中，所述根據所述隱變量的變分分布及所述組件參數確定 所述目標函數是否收斂，包括：
[0041] 比較根據所述隱變量的變分分布及組件參數確定的目標函數值與上一次得到的 目標函數值之間的距離是否小于閾值，所述上一次得到的目標函數值根據上一次獲取到的 隱變量的變分分布及組件參數確定；
[0042] 如果根據所述隱變量的變分分布及組件參數確定的目標函數值與上一次得到的 目標函數值之間的距離小于閾值，則確定所述目標函數收斂。
[0043] 第二方面，提供了一種混合模型的確定裝置，所述裝置包括：
[0044] 獲取模塊，用于獲取根據樣本數據、隱變量及組件參數確定的對數似然、正則項及 隱變量的變分分布的對數；
[0045] 第一確定模塊，用于根據所述對數似然、正則項及隱變量的變分分布的對數確定 目標函數；
[0046] 第二確定模塊，用于根據從所述樣本數據中抽取的子樣本數據確定使所述目標函 數收斂的隱變量的變分分布及組件參數；
[0047] 第三確定模塊，用于根據使所述目標函數收斂的隱變量的變分分布及組件參數確 定混合模型。
[0048] 結合第二方面，在第二方面的第一種可能的實現(xiàn)方式中，所述獲取模塊獲取到的 對數似然為：
[0049] logp(xN，ZN| 0 );
[0050] 其中，所述logp 0表示對數似然，所述p表示聯(lián)合概率密度函數，所述xN為樣本 數據，所述N為樣本數據個數，所述ZN為隱變量，所述0為組件參數的集合，所述組件參數 包括a、爐，所述 a為組件混合比率，所述p表示每個組件的子模型參數。
[0051] 結合第二方面，在第二方面的第二種可能的實現(xiàn)方式中，所述獲取模塊獲取到的 正則項為：
[0053] 其中，所述N為樣本數據個數；所述C為組件個數，所述zn。為隱變量；所述5 ()為 隱變量的變分分布的近似值；所述a為組件混合比率，所述Da為所述a的維度，所述D。為 所述組件c的子模型參數的維度，L(a, b)=logb+(a_b)/b，所述a為
[0054] 結合第二方面，在第二方面的第三種可能的實現(xiàn)方式中，所述獲取模塊獲取到的 隱變量的變分分布的對數為：
[0055] logq(ZN)；
[0056] 其中，所述q(ZN)為隱變量ZN的變分分布，所述N為樣本數據個數。
[0057] 結合第二方面至第二方面的第三種可能的實現(xiàn)方式中的任一種可能的實現(xiàn)方式， 在第二方面的第四種可能的實現(xiàn)方式中，所述第一確定模塊，用于根據所述對數似然的期 望值、所述正則項的期望值及所述隱變量的變分分布的對數的期望值確定目標函數。
[0058] 結合第二方面的第四種可能的實現(xiàn)方式，在第二方面的第五種可能的實現(xiàn)方式 中，所述第一確定模塊確定的目標函數％CZ^U/, )為：
[0060] 結合第二方面的第五種可能的實現(xiàn)方式，在第二方面的第六種可能的實現(xiàn)方式 中，所述第二確定模塊，包括：
[0061] 獲取單元，用于根據從所述樣本數據中抽取的每個子樣本數據獲取隱變量的變分 分布及組件參數；
[0062] 確定單元，用于根據所述隱變量的變分分布及所述組件參數確定所述目標函數是 否收斂；
[0063] 所述獲取單元，用于當所述目標函數未收斂時，重新根據從所述樣本數據中抽取 的每個子樣本數據獲取隱變量的變分分布及組件參數，直至得到使所述目標函數收斂的隱 變量的變分分布及組件參數。
[0064] 結合第二方面的第六種可能的實現(xiàn)方式，在第二方面的第七種可能的實現(xiàn)方式 中，所述獲取單元，包括：
[0065] 第一獲取子單元，用于根據從所述樣本數據中抽取的每個子樣本數據獲取每個子 樣本數據對應的隱變量的變分分布；
[0066] 第二獲取子單元，用于根據每個子樣本數據對應的隱變量的變分分布獲取每個子 樣本數據對應的組件參數中間值；
[0067] 第一確定子單元，用于根據每個子樣本數據對應的組件參數中間值確定組件參數 的平均值；
[0068] 第三獲取子單元，用于根據所述組件參數的平均值獲取組件參數。
[0069] 結合第二方面的第七種可能的實現(xiàn)方式，在第二方面的第八種可能的實現(xiàn)方式 中，所述第一獲取子單元，用于根據從所述樣本數據中抽取的每個子樣本數據按照如下公 式獲取每個子樣本