300能夠?qū)崿F(xiàn)圖2的實(shí)施例中的各個(gè)過(guò)程，為避免重復(fù)，這里不再贅述。
[0165] 本領(lǐng)域普通技術(shù)人員可以意識(shí)到，結(jié)合本文中所公開(kāi)的實(shí)施例描述的各示例的單 元及算法步驟，能夠以電子硬件、或者計(jì)算機(jī)軟件和電子硬件的結(jié)合來(lái)實(shí)現(xiàn)。這些功能究竟 以硬件還是軟件方式來(lái)執(zhí)行，取決于技術(shù)方案的特定應(yīng)用和設(shè)計(jì)約束條件。專(zhuān)業(yè)技術(shù)人員 可以對(duì)每個(gè)特定的應(yīng)用來(lái)使用不同方法來(lái)實(shí)現(xiàn)所描述的功能，但是這種實(shí)現(xiàn)不應(yīng)認(rèn)為超出 本發(fā)明的范圍。
[0166] 所屬領(lǐng)域的技術(shù)人員可以清楚地了解到，為描述的方便和簡(jiǎn)潔，上述描述的系統(tǒng)、 裝置和單元的具體工作過(guò)程，可以參考前述方法實(shí)施例中的對(duì)應(yīng)過(guò)程，在此不再贅述。
[0167] 在本申請(qǐng)所提供的幾個(gè)實(shí)施例中，應(yīng)該理解到，所揭露的系統(tǒng)、裝置和方法，可以 通過(guò)其它的方式實(shí)現(xiàn)。例如，以上所描述的裝置實(shí)施例僅僅是示意性的，例如，所述單元的 劃分，僅僅為一種邏輯功能劃分，實(shí)際實(shí)現(xiàn)時(shí)可以有另外的劃分方式，例如多個(gè)單元或組件 可以結(jié)合或者可以集成到另一個(gè)系統(tǒng)，或一些特征可以忽略，或不執(zhí)行。另一點(diǎn)，所顯示或 討論的相互之間的耦合或直接耦合或通信連接可以是通過(guò)一些接口，裝置或單元的間接耦 合或通信連接，可以是電性，機(jī)械或其它的形式。
[0168] 所述作為分離部件說(shuō)明的單元可以是或者也可以不是物理上分開(kāi)的，作為單元顯 示的部件可以是或者也可以不是物理單元，即可以位于一個(gè)地方，或者也可以分布到多個(gè) 網(wǎng)絡(luò)單元上。可以根據(jù)實(shí)際的需要選擇其中的部分或者全部單元來(lái)實(shí)現(xiàn)本實(shí)施例方案的目 的。
[0169] 另外，在本發(fā)明各個(gè)實(shí)施例中的各功能單元可以集成在一個(gè)處理單元中，也可以 是各個(gè)單元單獨(dú)物理存在，也可以?xún)蓚€(gè)或兩個(gè)以上單元集成在一個(gè)單元中。
[0170] 所述功能如果以軟件功能單元的形式實(shí)現(xiàn)并作為獨(dú)立的產(chǎn)品銷(xiāo)售或使用時(shí)，可以 存儲(chǔ)在一個(gè)計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中?；谶@樣的理解，本發(fā)明的技術(shù)方案本質(zhì)上或者說(shuō) 對(duì)現(xiàn)有技術(shù)做出貢獻(xiàn)的部分或者該技術(shù)方案的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來(lái)，該計(jì) 算機(jī)軟件產(chǎn)品存儲(chǔ)在一個(gè)存儲(chǔ)介質(zhì)中，包括若干指令用以使得一臺(tái)計(jì)算機(jī)設(shè)備（可以是個(gè) 人計(jì)算機(jī)，服務(wù)器，或者網(wǎng)絡(luò)設(shè)備等）執(zhí)行本發(fā)明各個(gè)實(shí)施例所述方法的全部或部分步驟。 而前述的存儲(chǔ)介質(zhì)包括：U盤(pán)、移動(dòng)硬盤(pán)、ROM、RAM、磁碟或者光盤(pán)等各種可以存儲(chǔ)程序代碼 的介質(zhì)。
[0171] 以上所述，僅為本發(fā)明的【具體實(shí)施方式】，但本發(fā)明的保護(hù)范圍并不局限于此，任何 熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，可輕易想到變化或替換，都應(yīng)涵 蓋在本發(fā)明的保護(hù)范圍之內(nèi)。因此，本發(fā)明的保護(hù)范圍應(yīng)以權(quán)利要求的保護(hù)范圍為準(zhǔn)。
【主權(quán)項(xiàng)】
1. 一種數(shù)據(jù)處理的方法，其特征在于，外部存儲(chǔ)器中的大規(guī)模詞包矩陣能夠分割成A 個(gè)詞包矩陣，所述A個(gè)詞包矩陣中的第s個(gè)詞包矩陣表示為XsWsXDs，A和s為正整數(shù)，s= 1，2,…，A，所述詞包矩陣的行表示單詞表索引，列表示文檔索引，所述方法包括： 處理器將所述外部存儲(chǔ)器中的第s= 1個(gè)詞包矩陣Xswsxds讀取至內(nèi)存； 根據(jù)所述第s= 1個(gè)詞包矩陣Xswsxds，隨機(jī)初始化第一消息矩陣； 根據(jù)所述隨機(jī)初始化的第一消息矩陣，采用期望最大化EM算法，確定第一單詞-主題 矩陣； 釋放所述內(nèi)存中由所述第s= 1個(gè)詞包矩陣Xswsxds、第一消息矩陣和EM算法產(chǎn)生的第 一文檔-主題矩陣占用的空間，保留所述第一單詞-主題矩陣并緩存在所述內(nèi)存中； 依次地對(duì)s>l的第s個(gè)詞包矩陣Xswsxds，更新所述第一單詞-主題矩陣； 其中，Ws為所述第s個(gè)詞包矩陣Xswsxds的單詞表中的單詞數(shù)，Ds為所述第s個(gè)詞包矩 陣的文檔數(shù)。2. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對(duì)s>l的第s個(gè)詞包矩陣Xswsxds，更 新所述第一單詞-主題矩陣，包括 ： 將所述外部存儲(chǔ)器中的第s個(gè)詞包矩陣Xswsxds讀取至所述內(nèi)存； 基于第s-1個(gè)詞包矩陣所確定的第一單詞-主題矩陣，獲取與所述第s個(gè)詞包矩陣X\sXDs對(duì)應(yīng)的第二單詞-主題矩陣，所述第二單詞-主題矩陣中的單詞與所述第s個(gè)詞包 矩陣Xswsxds的單詞表中的單詞一致； 根據(jù)所述第s個(gè)詞包矩陣Xswsxds，隨機(jī)初始化第二文檔-主題矩陣； 根據(jù)所述隨機(jī)初始化的第二文檔-主題矩陣和所述第二單詞-主題矩陣，采用EM算 法，確定更新后的第一單詞-主題矩陣； 釋放所述內(nèi)存中由所述第s個(gè)詞包矩陣Xswsxds、第二文檔-主題矩陣和EM算法產(chǎn)生的 第二消息矩陣占用的空間，保留所述更新后的第一單詞-主題矩陣并緩存在所述內(nèi)存中。3. 根據(jù)權(quán)利要求2所述的方法，其特征在于，所述基于第s-1個(gè)詞包矩陣所確定的第一 單詞-主題矩陣，獲取與所述第s個(gè)詞包矩陣Xswsxds對(duì)應(yīng)的第二單詞-主題矩陣，包括 ： 根據(jù)所述第s個(gè)詞包矩陣Xswsxds的單詞表中的單詞的索引，從所述第s-1個(gè)詞包矩陣 所確定的所述內(nèi)存中緩存的第一單詞-主題矩陣中，獲取與所述單詞的索引對(duì)應(yīng)的所述第 二單詞-主題矩陣。4. 根據(jù)權(quán)利要求3所述的方法，其特征在于，所述基于第s-1個(gè)詞包矩陣所確定的第一 單詞-主題矩陣，獲取與所述第s個(gè)詞包矩陣Xswsxds對(duì)應(yīng)的第二單詞-主題矩陣，還包括： 當(dāng)所述內(nèi)存中緩存的第一單詞-主題矩陣的單詞表中不包括所述第s個(gè)詞包矩陣X\sXDs的單詞表中的第一單詞時(shí)，從所述外部存儲(chǔ)器中的單詞-主題矩陣Xkxw中，獲取與所 述第一單詞的索引對(duì)應(yīng)的元素，并將所述與所述第一單詞的索引對(duì)應(yīng)的元素作為所述第二 單詞-主題矩陣中的對(duì)應(yīng)元素； 其中，W為所述大規(guī)模詞包矩陣的單詞表中的單詞數(shù)，K為主題數(shù)。5. 根據(jù)權(quán)利要求1至4任一項(xiàng)所述的方法，其特征在于，在對(duì)s>l的第s個(gè)詞包矩陣 Xswsxds，更新所述第一單詞-主題矩陣之后，當(dāng)所述內(nèi)存中緩存的第一單詞-主題矩陣的大 小大于第一閾值時(shí)，所述方法還包括： 根據(jù)所述內(nèi)存中緩存的第一單詞-主題矩陣，更新所述外部存儲(chǔ)器中的單詞-主題矩 陣XWXD; 刪除所述內(nèi)存中緩存的第一單詞-主題矩陣中的部分單詞。6. 根據(jù)權(quán)利要求1至4任一項(xiàng)所述的方法，其特征在于，在對(duì)s>l的第s=P個(gè)詞包矩 陣Xswsxds，更新所述第一單詞_主題矩陣之后，所述方法還包括： 根據(jù)所述內(nèi)存中緩存的第一單詞-主題矩陣，更新所述外部存儲(chǔ)器中的單詞-主題矩 陣XWxd; 其中，P為第二閾值的整數(shù)倍或者P=A，所述第二閾值為預(yù)設(shè)置的小于A的正整數(shù)。7. 根據(jù)權(quán)利要求1至6任一項(xiàng)所述的方法，其特征在于，所述對(duì)s>l的第s個(gè)詞包矩陣 Xswsxds，更新所述第一單詞-主題矩陣，包括 ： 以所述第s個(gè)詞包矩陣Xswsxds的單詞表中的單詞的順序，更新所述第一單詞-主題矩 陣。8. -種計(jì)算設(shè)備，其特征在于，所述計(jì)算設(shè)備與外部存儲(chǔ)器通信，所述外部存儲(chǔ)器中的 大規(guī)模詞包矩陣能夠分割成A個(gè)詞包矩陣，所述A個(gè)詞包矩陣中的第s個(gè)詞包矩陣表示為 XsWsXDs，A和s為正整數(shù)，s= 1，2,…，A，所述詞包矩陣的行表示單詞表索引，列表示文檔索 弓丨，所述計(jì)算設(shè)備包括處理器和內(nèi)存， 所述處理器，用于將所述外部存儲(chǔ)器中的第s= 1個(gè)詞包矩陣Xswsxds讀取至內(nèi)存；根據(jù) 所述第s= 1個(gè)詞包矩陣Xswsxds，隨機(jī)初始化第一消息矩陣；根據(jù)所述隨機(jī)初始化的第一消 息矩陣，采用期望最大化EM算法，確定第一單詞-主題矩陣；釋放所述內(nèi)存中由所述第s= 1個(gè)詞包矩陣Xswsxds、第一消息矩陣和EM算法產(chǎn)生的第一文檔-主題矩陣占用的空間，保留 所述第一單詞-主題矩陣并緩存在所述內(nèi)存中；依次地對(duì)s>l的第s個(gè)詞包矩陣Xswsxds，更 新所述第一單詞-主題矩陣； 所述內(nèi)存，用于緩存所述第一單詞-主題矩陣； 其中，Ws為所述第s個(gè)詞包矩陣Xswsxds的單詞表中的單詞數(shù)，Ds為所述第s個(gè)詞包矩 陣的文檔數(shù)。9. 根據(jù)權(quán)利要求8所述的計(jì)算設(shè)備，其特征在于，所述處理器對(duì)s>l的第s個(gè)詞包矩陣 Xswsxds，更新所述第一單詞-主題矩陣，包括 ： 將所述外部存儲(chǔ)器中的第s個(gè)詞包矩陣Xswsxds讀取至所述內(nèi)存； 基于第s-1個(gè)詞包矩陣所確定的第一單詞-主題矩陣，獲取與所述第s個(gè)詞包矩陣X\sXDs對(duì)應(yīng)的第二單詞-主題矩陣，所述第二單詞-主題矩陣中的單詞與所述第s個(gè)詞包 矩陣Xswsxds的單詞表中的單詞一致； 根據(jù)所述第s個(gè)詞包矩陣Xswsxds，隨機(jī)初始化第二文檔-主題矩陣； 根據(jù)所述隨機(jī)初始化的第二文檔-主題矩陣和所述第二單詞-主題矩陣，采用EM算 法，確定更新后的第一單詞-主題矩陣； 釋放所述內(nèi)存中由所述第s個(gè)詞包矩陣Xswsxds、第二文檔-主題矩陣和EM算法產(chǎn)生的 第二消息矩陣占用的空間，保留所述更新后的第一單詞-主題矩陣并緩存在所述內(nèi)存中。10. 根據(jù)權(quán)利要求9所述的計(jì)算設(shè)備，其特征在于，所述處理器基于第s-1個(gè)詞包矩陣 所確定的第一單詞-主題矩陣，獲取與所述第s個(gè)詞包矩陣Xswsxds對(duì)應(yīng)的第二單詞-主題 矩陣，包括： 根據(jù)所述第s個(gè)詞包矩陣Xswsxds的單詞表中的單詞的索引，從所述第s-1個(gè)詞包矩陣 所確定的所述內(nèi)存中緩存的第一單詞-主題矩陣中，獲取與所述單詞的索引對(duì)應(yīng)的所述第 二單詞-主題矩陣。11. 根據(jù)權(quán)利要求10所述的計(jì)算設(shè)備，其特征在于，所述處理器基于第S-I個(gè)詞包矩陣 所確定的第一單詞-主題矩陣，獲取與所述第S個(gè)詞包矩陣Xswsxds對(duì)應(yīng)的第二單詞-主題 矩陣，還包括： 當(dāng)所述內(nèi)存中緩存的第一單詞-主題矩陣的單詞表中不包括所述第s個(gè)詞包矩陣X\sXDs的單詞表中的第一單詞時(shí)，從所述外部存儲(chǔ)器中的單詞-主題矩陣Xkxw中，獲取與所 述第一單詞的索引對(duì)應(yīng)的元素，并將所述與所述第一單詞的索引對(duì)應(yīng)的元素作為所述第二 單詞-主題矩陣中的對(duì)應(yīng)元素； 其中，W為所述大規(guī)模詞包矩陣的單詞表中的單詞數(shù)，K為主題數(shù)。12. 根據(jù)權(quán)利要求8至11任一項(xiàng)所述的計(jì)算設(shè)備，其特征在于，所述處理器，還用于： 在對(duì)s>l的第s個(gè)詞包矩陣Xswsxds，更新所述第一單詞-主題矩陣之后，當(dāng)所述內(nèi)存中緩存 的第一單詞-主題矩陣的大小大于第一閾值時(shí)， 根據(jù)所述內(nèi)存中緩存的第一單詞-主題矩陣，更新所述外部存儲(chǔ)器中的單詞-主題矩 陣XWxd; 刪除所述內(nèi)存中緩存的第一單詞-主題矩陣中的部分單詞。13. 根據(jù)權(quán)利要求8至11任一項(xiàng)所述的計(jì)算設(shè)備，其特征在于，所述處理器，還用于： 在對(duì)s>l的第s=P個(gè)詞包矩陣Xswsxds，更新所述第一單詞-主題矩陣之后， 根據(jù)所述內(nèi)存中緩存的第一單詞-主題矩陣，更新所述外部存儲(chǔ)器中的單詞-主題矩 陣XWxd; 其中，P為第二閾值的整數(shù)倍或者P = A，所述第二閾值為預(yù)設(shè)置的小于A的正整數(shù)。14. 根據(jù)權(quán)利要求8至13任一項(xiàng)所述的計(jì)算設(shè)備，其特征在于，所述處理器，以所述第 s個(gè)詞包矩陣Xswsxds的單詞表中的單詞的順序，更新所述第一單詞-主題矩陣。
【專(zhuān)利摘要】本發(fā)明實(shí)施例提供了一種數(shù)據(jù)處理的方法，外部存儲(chǔ)器中的大規(guī)模詞包矩陣能分割成A個(gè)詞包矩陣，其中第s個(gè)詞包矩陣為XsWs×Ds，A和s為正整數(shù)，s＝1,2,…,A，該方法包括：將外部存儲(chǔ)器中第s＝1個(gè)詞包矩陣讀取至內(nèi)存；根據(jù)第s＝1個(gè)詞包矩陣隨機(jī)初始化消息矩陣；采用EM算法確定單詞-主題矩陣；釋放內(nèi)存中由第s＝1個(gè)詞包矩陣、消息矩陣和EM算法產(chǎn)生的文檔-主題矩陣占用的空間，保留單詞-主題矩陣并緩存在內(nèi)存中；依次地對(duì)s>1的第s個(gè)詞包矩陣XsWs×Ds，更新單詞-主題矩陣。本發(fā)明實(shí)施例中，大規(guī)模詞包矩陣能夠分割成A個(gè)詞包矩陣，針對(duì)其中每一個(gè)詞包矩陣，采用EM算法，確定對(duì)應(yīng)的單詞-主題矩陣，并且及時(shí)釋放EM算法的參數(shù)所占用的內(nèi)存空間，該方法對(duì)內(nèi)存資源的要求較低。
【IPC分類(lèi)】G06F17/30
【公開(kāi)號(hào)】CN105224557
【申請(qǐng)?zhí)枴緾N201410264449
【發(fā)明人】曾嘉, 張世明, 倪冰
【申請(qǐng)人】華為技術(shù)有限公司
【公開(kāi)日】2016年1月6日
【申請(qǐng)日】2014年6月13日