時(shí)空壓縮感知方法及裝置制造方法
【專利摘要】本發(fā)明公開了一種時(shí)空壓縮感知的方法和裝置，用以準(zhǔn)確重建以矩陣形式或更普遍的張量形式表示的數(shù)字化信息中的缺失值。實(shí)施方案包括三個(gè)主要組成部分：（一）一種方法，用以尋找對感興趣的數(shù)據(jù)的稀疏和低秩的近似，并能有效考慮數(shù)據(jù)在時(shí)間、空間上的特性；（二）一種方法，用以尋找對感興趣數(shù)據(jù)的一個(gè)更好的近似，一方面能更好地滿足測量的限制，同時(shí)與上述低秩近似保持接近；（三）一種方法，用以結(jié)合全局和局部插值。本發(fā)明的實(shí)施方案，還為矩陣形式或張量形式的數(shù)據(jù)提供了一個(gè)統(tǒng)一的框架，能實(shí)現(xiàn)如網(wǎng)絡(luò)層析、預(yù)測和異常檢測等常見分析任務(wù)。
【專利說明】時(shí)空壓縮感知方法及裝置
[0001] 相關(guān)專利申請
[0002] 章寅等，美國臨時(shí)專利申請?zhí)朜o. 61/181，613,標(biāo)題："SPATI0-TEMP0RAL COMPRESSIVE SENSING ON TRAFFIC MATRICES"， 申請日期:為 2009 年 5 月 27 日。在此被全 部包括。

【技術(shù)領(lǐng)域】
[0003] 本發(fā)明涉及到數(shù)字化信息處理。特別的是，本發(fā)明涉及了一種方法和裝置，用以準(zhǔn) 確重建以矩陣形式（即二維數(shù)組）或更普遍的張量形式（即多維數(shù)組）表示的數(shù)字化信息 中的缺失值。

【背景技術(shù)】
[0004] 多種數(shù)字化信息是用矩陣（二維數(shù)組）或更普遍地用張量形式（即多維數(shù)組）來 表示的。矩陣形式的數(shù)字化信息的例子可能包括：流量矩陣（說明網(wǎng)絡(luò)在不同時(shí)間從不同 源節(jié)點(diǎn)到不同目標(biāo)節(jié)點(diǎn)的流量），延遲矩陣（描述網(wǎng)絡(luò)節(jié)點(diǎn)之間的往返延遲），社交相似性 矩陣（反映社交的毗鄰或社交網(wǎng)絡(luò)用戶之間的親密程度），數(shù)字圖像（指定在不同的坐標(biāo)的 顏色）和時(shí)空信號(hào)（指定在不同的空間地點(diǎn)和不同時(shí)間的信號(hào)值）等。張量形式的數(shù)字化 信息的一個(gè)例子是數(shù)字視頻（指定不同時(shí)間、不同XY坐標(biāo)的像素）。流量矩陣也可自然地 表示成具有流量源、流量目的地和時(shí)間的一個(gè)張量（三維數(shù)組）。這種矩陣形式或張量形式 的數(shù)字化信息，是大量應(yīng)用的關(guān)鍵輸入量。例如，在網(wǎng)絡(luò)中，流量矩陣（TM)給出了始發(fā)地和 目的地之間的流量需求，是許多網(wǎng)絡(luò)工程任務(wù)的關(guān)鍵輸入，如流量工程（參見B. Fortz and M. Thorup,"Optimizing OSPF/IS-IS weights in a changing world, ''IEEE JSAC Special Issue on Advances in Fundamentals of Network Management, Spring 2002(Fortz 等 2002), M. Roughan, M. Thorup, and Y. Zhang, "Traffic engineering with estimated traffic matrices,，'Proc.of Internet Measurement Conference (IMC),2003 (Roughan 等2003))，容量規(guī)劃和異常檢測。
[0005] 在實(shí)踐中，很難在任何時(shí)候直接、完整、準(zhǔn)確地測量所有感興趣的數(shù)據(jù)。因此，需要 矩陣形式或張量形式的數(shù)字化信息的許多應(yīng)用所面臨的一個(gè)重大挑戰(zhàn)是如何應(yīng)付在現(xiàn)實(shí) 世界數(shù)據(jù)集中頻繁出現(xiàn)的缺失值。由于許多應(yīng)用程序要么不允許任何缺失數(shù)據(jù)，要么結(jié)果 對缺失的數(shù)據(jù)高度敏感，重要的是如何從不完整、不直接的測量數(shù)據(jù)中準(zhǔn)確地重建缺失的 部分。插值是填補(bǔ)這些缺失值的數(shù)學(xué)術(shù)語。
[0006] 壓縮感知（又稱被壓縮的感知）是一種利用許多現(xiàn)實(shí)世界的數(shù)據(jù)中廣泛存在 的特殊結(jié)構(gòu)和冗余性處理缺失值的通用方法。在統(tǒng)計(jì)學(xué)、近似論、信息論和信號(hào)處理領(lǐng) 域，壓縮感知最近吸引了眾多關(guān)注。利用數(shù)據(jù)稀疏性或低秩的性質(zhì)已提出幾種有效的 啟發(fā)式的算法（見 E. Candes and B. Recht，"Exact matrix completion via convex optimization，''Foundations of Computational Mathematics，9 :717-772, 2009 (Candes 等 2009)， E.Candes and T.Tao,"Near optimal signal recovery from random projections ：Universal encoding strategies ? ''IEEE Trans, on Information Theory, 52(12) :5406-5425,2006(Candes等2006),D.Donoho,"Compressed sensing,"IEEE Trans, on Information Theory,52(4) ： 1289-1306,2006(Donoho 2006), B. Recht, M. Fazel, and P.A. Parrilo, "Guaranteed Minimum Rank Solutions to Linear Matrix Equations via Nuclear Norm Minimization," Preprint, 2007 (Recht 等 2007), B.Recht, W. Xu, and B. Hassibi,"Necessary and sufficient conditions for success of the nuclear norm heuristic for rank minimization,，'Proc.of47th IEEE Conference on Decision and Control, 2008 (Recht等2008))。同時(shí)，壓縮感知的數(shù)學(xué)理論已經(jīng)發(fā)展到在一些特定的技術(shù) 條件下能夠證明許多啟發(fā)式的算法對所感興趣的矩陣是最佳的。
[0007] 盡管在壓縮感知方面取得很大進(jìn)展，現(xiàn)有的壓縮感知算法往往對現(xiàn)實(shí)世界的數(shù)據(jù) 矩陣或張量值的插值性能很差，尤其是在數(shù)據(jù)丟失（例如見第3節(jié)，在流量矩陣中的結(jié)果） 的丟失率較高或者呈現(xiàn)出較強(qiáng)的（非隨機(jī)）的結(jié)構(gòu)。最主要的原因是，現(xiàn)實(shí)世界的數(shù)據(jù)常 常違反現(xiàn)有的壓縮感知算法能有效操作所需的數(shù)學(xué)條件。具體來說，為了讓現(xiàn)有壓縮感知 算法獲得最優(yōu)的結(jié)果，通常需要：（一）矩陣元素曲線服從高斯或類似高斯分布；（二）矩陣 絕對是低秩的；（三）不同矩陣元素的數(shù)據(jù)丟失是獨(dú)立的；（四）矩陣的測量約束滿足一定 技術(shù)條件，例如，限制等距屬性（見Recht等2007)。不幸的是，在真實(shí)的數(shù)據(jù)中這些條件可 能不成立。舉例來說，真正的流量矩陣元素往往表現(xiàn)出高度偏態(tài)分布，其中最大和最小的元 素，經(jīng)常大小差幾個(gè)不同的數(shù)量級。此外，真正的流量矩陣，只是近似的低秩，數(shù)據(jù)丟失往往 是高度結(jié)構(gòu)化的-數(shù)據(jù)丟失或者可能發(fā)生在空間上（可能會(huì)丟失矩陣的整個(gè)行或列），或者 是時(shí)間上（可能會(huì)丟失在整個(gè)時(shí)間段中所有的矩陣元素），或者可能是某些組合。最后，從 現(xiàn)實(shí)世界中的矩陣測量所帶來的制約，并不能保證滿足所需的技術(shù)條件。
[0008] 因此，有必要開發(fā)有效的技術(shù)，準(zhǔn)確地重建以矩陣或張量形式表示的現(xiàn)實(shí)世界中 的數(shù)字化信息的缺失值。


【發(fā)明內(nèi)容】

[0009] 以下介紹一個(gè)簡化的發(fā)明公開摘要，目的是給讀者提供一個(gè)基本的了解。本摘要 并非詳盡發(fā)明公開或限制性概述。本摘要并不用于確定該發(fā)明的關(guān)鍵或關(guān)鍵要素，劃定發(fā) 明的范圍，或以任何方式限制發(fā)明的范圍。其唯一目的是以一個(gè)簡化的形式提出一些本發(fā) 明公開的概念，更詳細(xì)的說明介紹稍后再提交。
[0010] 本發(fā)明公開了一種基本的時(shí)空壓縮感知方法和裝置，能用于精確地重建用矩陣形 式（即，二維數(shù)組）或張量形式（即，多維數(shù)組）表示的任何數(shù)字化信息中的缺失值。
[0011] 本發(fā)明的一個(gè)實(shí)施例提供了一種稱為正則稀疏矩陣分解法（SRMF)的方法，用 以尋找感興趣數(shù)據(jù)的一個(gè)稀疏和低秩的近似，并能有效考慮真實(shí)數(shù)據(jù)在時(shí)間、空間上的 特性。該方法為矩陣形式或張量形式的數(shù)據(jù)提供了一個(gè)真正的時(shí)空模型。相比之下， 大多數(shù)過去的方法提供的要么是純粹的空間模型（參見V. Errami 11 i，M. Crovella, and N. Taft, "An independent-connection model for traffic matrices,，'Proc. of Internet Measurement Conference(IMC),2006(Erramilli 等 2006), A. Lakhina, M.Crovella,and C. Diot,^Diagnosing network-wide traffic anomalies, ^Proc. of ACM SIGC0MM,2004(Lakhina 等 2004a), A. Lakhina, K.Papagiannaki, M.Crovella, C. Dior, E. D. Kolaczyk, and N. Taft, "Structural analysis of network traffic flows,，'Proc. of ACM SIGMETRICS/Performance,2004 (Lakhina 等 2004b), Y. Zhang, M.Roughan, N. Duffield,and A.Greenberg,"Fast accurate computation of large-scale IP traffic matrices from link load, " Proc. of ACM SIGMETRICS, 2003 (Zhang 等 2003a), Y. Zhang, M. Roughan, C. Lund, and D. Donoho, "An information-theoretic approach to traffic matrix estimation,''Proc. of ACM SIGCOMM, 2003 (Zhang 等 2003b) ,Y. Zhang,M. Roughan, C.Lund, and D.Donoho,"Estimating point-to-point and point-to-multipoint traffic matrices ：An information-theoretic approach," IEEE/ACM Transactions on Networking, 13 (5) :947-960, 2005 (Zhang 等 2005a))要么是純粹的時(shí)間模型（見 P.Barford, J. Kline, D.Plonka, and A. Ron, "A signal analysis of network traffic anomalies, Proc. of ACM SIGCOMM Internet Measurement Workshop,2002(Bafford 等 2002), Y.Vardi, "Network Tomography, " Journal of the Amer.Stat. Assoc·, Mar. 1996(Vardi 1996))〇
[0012] 本發(fā)明的另一個(gè)實(shí)施例提供了一種叫層析SRMF(層析SRMF)方法，用以尋找感興 趣數(shù)據(jù)的一個(gè)更好的近似，一方面能更好地滿足測量的限制，同時(shí)與SRMF獲得的低秩近似 保持接近。具體來說，該方法的基本策略是將SRMF獲得的低秩近似作為一個(gè)先驗(yàn)解，派生 出一個(gè)更精確的近似，不再是嚴(yán)格的低秩，但是很接近低秩的先驗(yàn)解，并且可以考慮現(xiàn)有的 測量限制和/或有關(guān)的時(shí)空結(jié)構(gòu)和冗余的知識(shí)。
[0013] 本發(fā)明的再一個(gè)實(shí)施例提供了一種方法，通過將全局插值（SRMF和層析SRMF)與 局部插值（如K-最近鄰）相結(jié)合，進(jìn)一步提高重建精度。
[0014] 本發(fā)明所述實(shí)施方案進(jìn)一步提供了一個(gè)統(tǒng)一的方法，來對矩陣或張量形式的數(shù)字 化信息完成一些常見的分析任務(wù)，如估計(jì)、推測（即網(wǎng)絡(luò)層析）、預(yù)測和異常檢測。
[0015] 使用三個(gè)運(yùn)營網(wǎng)絡(luò)的實(shí)際流量矩陣的評價(jià)表明，如本發(fā)明所述的方法有許多優(yōu) 點(diǎn)。其應(yīng)用到實(shí)際流量矩陣時(shí)的表現(xiàn)非常出色。當(dāng)多達(dá)一半的數(shù)據(jù)丟失時(shí)，重建后的流量 矩陣只有10%的誤差。即使98%的數(shù)據(jù)點(diǎn)丟失，該方法的實(shí)施方案只有30%的誤差。該技 術(shù)處理有70多萬元素的矩陣只需要幾秒鐘時(shí)間。實(shí)施例給出算法的復(fù)雜性隨數(shù)據(jù)量的增 加線性增長，所以能很容易地分析更大的數(shù)據(jù)集。此外，實(shí)施例已應(yīng)用在如網(wǎng)絡(luò)層析、流量 預(yù)測和異常檢測方法的測試，確認(rèn)其對現(xiàn)實(shí)世界中的測量問題的有效性和穩(wěn)健性。

【專利附圖】
【專利附圖】

【附圖說明】
[0016] 為了透徹的解釋目前披露的本發(fā)明的具體內(nèi)容，在下述說明列述了許多具體資 料。然而很明顯，對于一個(gè)技術(shù)上熟練的人來說，本發(fā)明不需要這些具體資料即可付諸實(shí) 施。本發(fā)明是用圖例說明，但不限于所附圖表，同樣其中的參考數(shù)據(jù)只是用于指示出類似的 元素。這些圖例如下：
[0017] 圖1比較了不同算法在數(shù)據(jù)獨(dú)立隨機(jī)損失下的插值性能，數(shù)據(jù)丟失率范圍從0.02 到〇· 98,使用的數(shù)據(jù)來自Abilene網(wǎng)絡(luò)（圖1A)、商業(yè)ISP網(wǎng)絡(luò)（圖1B)和GEANT網(wǎng)絡(luò)（圖 1C)。需要注意的是三幅圖的圖例是相同的。
[0018] 圖2顯示了低秩近似中的矩陣秩對于插值性能的影響。具體來說，圖2A顯示 Abilene的結(jié)果，損失率為0. 2 ;圖2B顯示商業(yè)ISP的結(jié)果，損失率為0. 6 ;圖2C顯示GEANT 的結(jié)果，損失率為0.95。
[0019] 圖3給出了三個(gè)例子，顯示在不同Λ參數(shù)下和三種不同的損失率和網(wǎng)絡(luò)上的性能 差異。具體來說，圖3Α顯示Abilene的結(jié)果，損失率為0. 2 ;圖3Β顯示商業(yè)ISP的結(jié)果，損 失率為〇. 6 ;圖3C顯示GEANT的結(jié)果，損失率為0. 95。需要注意的是三幅圖的圖例是相同 的。
[0020] 圖4顯示了關(guān)鍵算法在所有數(shù)據(jù)損失模型和兩個(gè)不同的損失水平下的性能條形 圖。圖4A和圖4B的損失概率分別是0. 2和0. 95。
[0021] 圖5顯示了三個(gè)不同的損失模型下的插值性能。具體來說，圖5A顯示Abilene網(wǎng) 絡(luò)數(shù)據(jù)的隨機(jī)行損失；圖5B顯示GEANT網(wǎng)絡(luò)數(shù)據(jù)與時(shí)間同步的極有條理的損失；圖5B顯示 ISP網(wǎng)絡(luò)矩陣隨機(jī)列的損失，影響商業(yè)ISP大約一半的行。
[0022] 圖6顯示了不同算法用于網(wǎng)絡(luò)層析的性能（相對于流量矩陣元素?fù)p失率）。數(shù)據(jù) 來自 Abilene (圖 6A)、商業(yè) ISP (圖 6B)和 GEANT (圖 6C)。
[0023] 圖7顯示了不同算法對于流量矩陣預(yù)測的性能（相對于需要預(yù)測的數(shù)據(jù)的比例）。 數(shù)據(jù)來自Abilene (圖7A)，商業(yè)ISP (圖7B)，和GEANT (圖7C)。
[0024] 圖8比較了不同的異常檢測算法的誤報(bào)率（圖8A)和檢測概率（圖8B)。

【具體實(shí)施方式】
[0025] 本發(fā)明具體實(shí)施例將參考附圖在下文中作更多說明，附圖中所表示的只是本發(fā)明 的一些但并非全部內(nèi)容。本發(fā)明的具體內(nèi)容，可以以許多不同的形式來概括，不應(yīng)看作對本 發(fā)明以后的權(quán)利范圍的限制；提供這些具體內(nèi)容的目的是滿足適當(dāng)?shù)姆梢?。全文同?的數(shù)字請查閱同樣的要素。
[0026] 本發(fā)明公開假設(shè)讀者熟悉線性代數(shù)的標(biāo)準(zhǔn)符號(hào)，尤其是矩陣的概念（即二維 數(shù)組）、（列和行）向量、矩陣向量積、矩陣乘法和線性方程組（見G.H.Golub，C.F.Van Loan, Matrix Computations. Third edition. London ：Johns Hopkins University PreSS(1996))。所需背景知識(shí)可以通過閱讀與線性代數(shù)和/或矩陣分析大學(xué)課程相關(guān)的書 籍獲得。
[0027] 本發(fā)明全面公開了一種方法和裝置，用以準(zhǔn)確重建矩陣形式（二維數(shù)組）或更普 遍的張量形式（即多維數(shù)組）表示的任何數(shù)字化信息中的缺失值。矩陣形式的數(shù)字化信息 的例子可能包括：流量矩陣（說明網(wǎng)絡(luò)在不同時(shí)間從不同源節(jié)點(diǎn)到不同目標(biāo)節(jié)點(diǎn)的流量）， 延遲矩陣（描述網(wǎng)絡(luò)節(jié)點(diǎn)之間的往返延遲），社交相似性矩陣（反映社交的毗鄰或社交網(wǎng)絡(luò) 用戶之間的親密程度），數(shù)字圖像（指定在不同的坐標(biāo)的顏色），時(shí)空信號(hào)（指定在不同的 空間地點(diǎn)和不同時(shí)間的信號(hào)值），以及照片。張量形式的數(shù)字化信息的一個(gè)例子是數(shù)字視頻 (指定不同時(shí)間、不同XY坐標(biāo)的像素）。流量矩陣也可自然地表示成具有流量源、流量目的 地和時(shí)間的一個(gè)張量（三維數(shù)組）。
[0028] 為了幫助讀者更好地理解本發(fā)明，用流量矩陣來說明本發(fā)明在此公開的具體情 況。然而，本發(fā)明的應(yīng)用并不局限于流量矩陣。換句話說，本發(fā)明可應(yīng)用于重建任何矩陣形 式（二維數(shù)組）或張量形式（即多維數(shù)組）的數(shù)據(jù)中的缺失值，如延遲矩陣，社交相似性矩 陣，數(shù)字圖像，時(shí)空信號(hào)，數(shù)字視頻，照片等。
[0029] 1、問題：缺失值插值
[0030] 本發(fā)明所述的實(shí)施例提供了對于缺失值插值的一種一般解決方案，即：在矩陣形 式或張量形式表示的數(shù)字化信息中重建缺失值。如上所述，流量矩陣是用于以下描述的上 下文。具體來說，在詳細(xì)介紹本發(fā)明的實(shí)施例之前，將首先介紹以下概念：（一）流量矩陣； (二）缺失值；（三）缺失值插值。
[0031] 1. 1流量矩陣
[0032] 一個(gè)流量矩陣（TM)是一個(gè)非負(fù)矩陣Z(i，j)，描述了一個(gè)源i和一個(gè)目的地j之 間的鏈路量（單位可以是字節(jié)、包、或流的數(shù)目）。一個(gè)有N個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)的TM是一個(gè)NXN 方陣。在實(shí)踐中，TM通常在一個(gè)時(shí)間區(qū)間上測量，并且報(bào)告的是一個(gè)平均值。因此，讓Z(i， j ;t)表示從i到j(luò)在時(shí)間區(qū)間[t，t+Λ t).上的平均流量。讓TM Z(*，*，t)被稱為快照， 盡管事實(shí)上，它真正代表的是一個(gè)時(shí)間區(qū)間上的平均值。因此，TM可以會(huì)被當(dāng)作是一個(gè)3維 數(shù)鉅

【權(quán)利要求】
1. 一種方法，用于為以矩陣形式或張量形式表示的數(shù)字化信息重建缺失值，所述方法 包括： 為感興趣的數(shù)據(jù)尋找一個(gè)低秩近似，考慮到測量數(shù)據(jù)和數(shù)據(jù)的時(shí)空結(jié)構(gòu)； 強(qiáng)制滿足測量約束，并保持對上述低秩近似的接近； 將低秩近似與局部插值相結(jié)合。
2. 如權(quán)利要求1所述的方法，其中為感興趣的數(shù)據(jù)尋找一個(gè)低秩近似，考慮到測量數(shù) 據(jù)和數(shù)據(jù)的時(shí)空結(jié)構(gòu)，包括： 通過解決以下優(yōu)化問題尋找矩陣L和R 最小化u
其中Α(·)是個(gè)線性算子，A(X)=B表示測量約束，|| · ||[?表示？1'(^611；[118范數(shù)，對 任何矩陣Z有
量化了對測量約束的總違反量，λ是 一個(gè)正規(guī)化參數(shù)
抓住了所得低秩近似的復(fù)雜性，C( ·)是一個(gè)線性算子，
抓住了矩陣X的元素間的時(shí)空結(jié)構(gòu)； 計(jì)算出低秩近似：X ~ LRT。
3. 如權(quán)利要求2所述的方法，其中線性算子C( ·)被設(shè)成
其中時(shí)間約束矩陣S和空間約束矩陣T表示了對感興趣的數(shù)據(jù)的時(shí)空結(jié)構(gòu)的知識(shí)。
4. 如權(quán)利要求3所述的方法，其中選擇時(shí)間約束矩陣T包括：設(shè)計(jì)一個(gè)模型，用以抓住 感興趣的數(shù)據(jù)的時(shí)間屬性，例如周期性或時(shí)域的平滑性（即：時(shí)間相近的數(shù)據(jù)值相似）。
5. 如權(quán)利要求3所述的方法，其中選擇空間約束矩陣S包括： 用一個(gè)簡單插值算法獲取一個(gè)初始估計(jì)
基于文來選擇S。
6. 如權(quán)利要求5所述的方法，其中用一個(gè)簡單插值算法獲取一個(gè)初始估討宜括： 通過解決以下優(yōu)化問題，根據(jù)輸入A( ·)和B來計(jì)算
minimiz :
其中λ是個(gè)正規(guī)化參數(shù)； 計(jì)算
其中1是一個(gè)全是1的列向量； 計(jì)芻。
其中Μ指明了哪些矩陣元素是直接測量的，而D包括了這些直接測量的元素。
7. 如權(quán)利要求5所述的方法，其中基于X來選擇S包括： 構(gòu)建一個(gè)加權(quán)圖G，其中每個(gè)節(jié)點(diǎn)代表j的一行，而每個(gè)邊的權(quán)重代表X的兩行之間的 某種相似性度量； 設(shè)置S為圖G的Laplacian矩陣，作為圖G上的一個(gè)差分算子，可以消除G的相似節(jié)點(diǎn) (即X的行）之間的冗余從而導(dǎo)入稀疏性。
8. 如權(quán)利要求5所述的方法，其中基于:?來選擇S包括： 對于X中的每一行i，找到K最相似的行jk尹i (k = 1，. . .，K); 執(zhí)行線性回歸，找到一組行的權(quán)重w(k)使得其線性組合能最佳地逼近行i :
設(shè)置S(i，i) = 1和S(i，jk) = -w(k)，其中k = 1，2, . . .，K，以表示近似誤差。
9. 如權(quán)利要求3所述的方法，其中S和T被放縮使得|| S(LRT) ||F，|| (LRt)Tt||f， 和II A(LRT)-B II F具有類似的數(shù)量級。
10. 如權(quán)利要求9所述的方法，其中S和T被放縮使得
和
反映了可以忍受的II A(LRT)-B || F的逼近誤差水平。
11. 如權(quán)利要求2所述的方法，其中為感興趣的張量形式的數(shù)據(jù)尋找一個(gè)低秩近似， 考慮到測量數(shù)據(jù)和數(shù)據(jù)的時(shí)空結(jié)構(gòu)，包括：尋求張量X的以下形式的低秩近似：X?TP(Fi， F2, · · ·，F(xiàn)d)，其中X是一個(gè)以d維數(shù)組（大小為niiXmsX· · · md)的形式代表的數(shù)字化信 息，F(xiàn)k是與第k個(gè)維度相關(guān)的因子矩陣（大小m kXr)，r是低秩近似所期望的秩的上線，而 TP(......)代表張量乘積。
12. 如權(quán)利要求2所述的方法，其中為感興趣的張量形式的數(shù)據(jù)尋找一個(gè)低秩近似，考 慮到測量數(shù)據(jù)和數(shù)據(jù)的時(shí)空結(jié)構(gòu)，包括解決如下優(yōu)化問題： 最小化{Fk}
這里II · II F表示Frobenius范數(shù)
為任何d維張量Z，
量化了對測量約束的總違反量，正規(guī)化項(xiàng)
衡量 了最終低秩近似的復(fù)雜性，其中λ是一個(gè)正規(guī)化參數(shù)，
抓住了張量X的 要素之間的時(shí)空結(jié)構(gòu)，其中C( ·)可以是任何線性算子。
13. 如權(quán)利要求1所述的方法，其中強(qiáng)制滿足測量約束并保持對上述低秩近似的接近 包括解決如下優(yōu)化問題： 最小化xJ(X，LRT)滿足A(X) = B 其中J(X，Y)是一個(gè)懲罰函數(shù)，量化了兩個(gè)矩陣X和Y之間的距離。
14. 如權(quán)利要求1所述的方法，其中強(qiáng)制滿足測量約束并保持對上述低秩近似的接近 包括解決如下優(yōu)化問題： 最小化
式中，α是正規(guī)化參數(shù)，J(X，Y)是一個(gè)懲罰函數(shù)，量化了兩個(gè)矩陣X和Υ之間的距離。
15. 如權(quán)利要求1所述的方法，其中強(qiáng)制滿足測量約束并保持對上述低秩近似的接近 包括解決如下優(yōu)化問題： 最小化x
式中，α是正規(guī)化參數(shù)，J(X，Y)是一個(gè)懲罰函數(shù)，量化了兩個(gè)矩陣X和Y之間的距離， c( ·)是一個(gè)線性算子，表示了對X時(shí)空屬性的知識(shí)。
16. 如權(quán)利要求1所述的方法，其中將低秩近似與局部插值相結(jié)合包括： 為X計(jì)算基于SRMF的插值（記作XSKMF); 如果沒有一個(gè)近鄰的元素被直接觀察到，用XSKMF近似X(i，j); 如果有一些近鄰的元素被直接觀察到，通過對這些近鄰元素建立一個(gè)本地模型來近似 X(i，j)。
17. 如權(quán)利要求16所述的方法，其中通過對這些近鄰元素建立一個(gè)本地模型來近似 X(i，j)包括： 使用線性回歸找到一個(gè)權(quán)重集w(k)對所有p= l，2，...，n最佳地逼近XSEMF(p，j)=
采用上述權(quán)重對最近鄰的值進(jìn)行加權(quán)線性插值，即
18. 如權(quán)利要求1所述的方法，其中為以矩陣形式或張量形式表示的數(shù)字化信息重建 缺失值包括：為了從直接測量和間接測量推測矩陣X，在A的定義中同時(shí)包括Y = AX，and 1杜=1*1)，其中1)(1，」_)包含了所有可用的直接測量數(shù)據(jù)，而|1是一個(gè)#><111矩陣，其中 M(i，j) =0如果數(shù)據(jù)點(diǎn)X(i，j)缺失，M(i，j) = 1如果數(shù)據(jù)點(diǎn)X(i，j)可用，然后定義一個(gè) 組合后的懲罰項(xiàng)|丨
19. 如權(quán)利要求1所述的方法，其中為以矩陣形式或張量形式表示的數(shù)字化信息重建 缺失值，包括通過數(shù)據(jù)的周期性建立時(shí)間約束矩陣從而預(yù)測該矩陣或張量。
20. 如權(quán)利要求1所述的方法，其中為以矩陣形式或張量形式表示的數(shù)字化信息重建 缺失值，包括通過以下步驟檢測異常： 使用所述數(shù)據(jù)的低秩近似作為數(shù)據(jù)的一個(gè)正常模型； 在每個(gè)點(diǎn)對正常模型的數(shù)值與真實(shí)數(shù)據(jù)進(jìn)行比較； 找出所述模型的數(shù)值與所述真實(shí)數(shù)據(jù)的差值超過一個(gè)閾值T的所有點(diǎn)。
【文檔編號(hào)】G06F7/00GK104220979SQ201080033286
【公開日】2014年12月17日 申請日期:2010年5月26日 優(yōu)先權(quán)日:2009年5月27日
【發(fā)明者】章寅, 邱鋰力 申請人:章寅, 邱鋰力