數據處理方法、裝置以及系統(tǒng)的制作方法
【技術領域】
[0001] 本發(fā)明涉及數據處理技術領域，尤其涉及一種數據處理方法、裝置以及系統(tǒng)。
【背景技術】
[0002] 矩陣相乘計算運用于諸多領域中，尤其是當下的大數據情況下，大矩陣相乘可以 應用于改進搜索結果的網頁排序（Page-Rank)算法，以及應用于各種基于大數據的推薦服 務等。
[0003] -類傳統(tǒng)的矩陣相乘計算方法是行列相乘方法，即用左矩陣的行乘以右矩陣的 列；另一類比較流行的矩陣相乘方法是分塊相乘方法，該類方法的本質依舊是傳統(tǒng)的行列 相乘方法。
[0004] 應該注意，上面對技術背景的介紹只是為了方便對本發(fā)明的技術方案進行清楚、 完整的說明，并方便本領域技術人員的理解而闡述的。不能僅僅因為這些方案在本發(fā)明的
【背景技術】部分進行了闡述而認為上述技術方案為本領域技術人員所公知。

【發(fā)明內容】

[0005] 本發(fā)明的發(fā)明人在實施現(xiàn)有技術時發(fā)現(xiàn)：對于傳統(tǒng)的行列相乘方法，單計算節(jié)點 的內存大小與存儲大小限制了相乘的兩個矩陣的規(guī)模，此外，傳統(tǒng)的行列相乘方法需要左 矩陣中的元素與右矩陣列中的元素一一對應，而大規(guī)模矩陣往往是稀疏矩陣，這樣就造成 了計算資源的極大浪費；對于流行的分塊相乘方法，由于本質上還是傳統(tǒng)的行列相乘方法， 因此，仍然存在稀疏矩陣中的無效計算問題，此外，該方法在邏輯控制上也非常繁瑣。
[0006] 本發(fā)明實施例提供一種數據處理方法、裝置以及系統(tǒng)，其目的在于提高矩陣相乘 的可擴展性以及提高矩陣相乘的效率。
[0007] 根據本發(fā)明實施例的第一方面，提供一種數據處理裝置，該裝置包括：
[0008] 第一確定單元，其用于根據左矩陣和右矩陣中元素的位置和元素的數量，對所述 左矩陣和所述右矩陣分段，以確定所述分段的分段信息；
[0009] 第一復制單元，其用于根據所述分段信息，對所述左矩陣和所述右矩陣進行復 制；
[0010] 第一計算單元，其用于根據所述復制的結果，對所述左矩陣和所述右矩陣進行相 乘計算。
[0011] 根據本發(fā)明實施例的第二方面，提供一種數據處理系統(tǒng)，其具有如本發(fā)明實施例 的第一方面所述的數據處理裝置。
[0012] 根據本發(fā)明實施例的第三方面，提供一種數據處理方法，該方法包括：
[0013] 根據左矩陣和右矩陣中元素的位置和元素的數量，對所述左矩陣和所述右矩陣分 段，以確定所述分段的分段信息；
[0014] 根據所述分段信息，對所述左矩陣和所述右矩陣進行復制；
[0015] 根據所述復制的結果，對所述左矩陣和所述右矩陣進行相乘計算。
[0016] 本發(fā)明的有益效果在于：對左矩陣和右矩陣進行分段并復制，并根據復制的結果 進行矩陣相乘計算，由此，提高了矩陣相乘的可擴展性，并提高了矩陣相乘的效率。
[0017] 參照后文的說明和附圖，詳細公開了本發(fā)明的特定實施方式，指明了本發(fā)明的原 理可以被采用的方式。應該理解，本發(fā)明的實施方式在范圍上并不因而受到限制。在所附 權利要求的精神和條款的范圍內，本發(fā)明的實施方式包括許多改變、修改和等同。
[0018] 針對一種實施方式描述和/或示出的特征可以以相同或類似的方式在一個或更 多個其它實施方式中使用，與其它實施方式中的特征相組合，或替代其它實施方式中的特 征。
[0019] 應該強調，術語"包括/包含"在本文使用時指特征、整件、步驟或組件的存在，但 并不排除一個或更多個其它特征、整件、步驟或組件的存在或附加。
【附圖說明】
[0020] 所包括的附圖用來提供對本發(fā)明實施例的進一步的理解，其構成了說明書的一部 分，用于例示本發(fā)明的實施方式，并與文字描述一起來闡釋本發(fā)明的原理。顯而易見地，下 面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領域普通技術人員來講，在不付出創(chuàng) 造性勞動性的前提下，還可以根據這些附圖獲得其他的附圖。在附圖中：
[0021] 圖1是本發(fā)明實施例1的數據處理裝置的組成示意圖；
[0022] 圖2是本發(fā)明實施例1的第一確定單元的組成示意圖；
[0023] 圖3是本發(fā)明實施例1中預處理前文本文件的記錄結構示意圖；
[0024] 圖4是本發(fā)明實施例1中預處理后文本文件的記錄結構示意圖；
[0025] 圖5是存儲于第二存儲單元的左矩陣和右矩陣分段的信息的示意圖；
[0026] 圖6是本發(fā)明實施例1的第一復制單元1的組成示意圖；
[0027] 圖7是本發(fā)明實施例1的上一級節(jié)點向下一級節(jié)點發(fā)送控制信號的示意圖；
[0028] 圖8是本發(fā)明實施例1的第一計算單元的組成示意圖；
[0029] 圖9是本發(fā)明實施例1的左矩陣和右矩陣相乘的原理圖；
[0030] 圖10是本發(fā)明實施例2的數據處理系統(tǒng)的構成示意框圖；
[0031] 圖11是本發(fā)明實施例3的數據處理方法的流程圖；
[0032] 圖12是本發(fā)明實施例3的確定分段信息的方法流程圖；
[0033] 圖13是本發(fā)明實施例3的對矩陣進行復制的方法流程圖；
[0034] 圖14是本發(fā)明實施例3的對矩陣進行相乘的方法流程圖。
【具體實施方式】
[0035] 參照附圖，通過下面的說明書，本發(fā)明的前述以及其它特征將變得明顯。在說明書 和附圖中，具體公開了本發(fā)明的特定實施方式，其表明了其中可以采用本發(fā)明的原則的部 分實施方式，應了解的是，本發(fā)明不限于所描述的實施方式，相反，本發(fā)明包括落入所附權 利要求的范圍內的全部修改、變型以及等同物。
[0036] 實施例1
[0037] 本發(fā)明實施例1提供一種數據處理裝置，如圖1所示，數據處理裝置100包括第一 確定單元101、第一復制單元102和第一計算單元103。
[0038] 其中，第一確定單元101，用于根據輸入到數據處理裝置100中的左矩陣和右矩陣 中元素的位置和元素的數量，對所述左矩陣和所述右矩陣分段，以確定該分段的分段信息； 第一復制單元102,用于根據該分段信息，對左矩陣和右矩陣進行復制；第一計算單元103， 用于根據復制的結果，對左矩陣和右矩陣進行相乘計算。
[0039] 本發(fā)明實施例1的數據處理裝置可以應用于大規(guī)模矩陣的相乘運算中，其中，大 規(guī)模矩陣可以是元素數量為百億量級的矩陣。
[0040] 本發(fā)明實施例1的數據處理裝置對相乘的矩陣進行分段，獲得分段的分段信息， 其中，該分段信息可以是左矩陣的每一列被分段的段數，以及右矩陣的每一行被分段的段 數；通過將每一分段復制為多份，可以在多個分布式的計算節(jié)點上并行分段相乘，由此，將 大規(guī)模的矩陣相乘分解為分布式計算節(jié)點上的分段相乘，提高了矩陣相乘的規(guī)模與計算效 率。
[0041] 可見，根據本發(fā)明的實施例1，對左矩陣和右矩陣進行分段并復制，并根據復制的 結果進行矩陣相乘計算，能夠提高矩陣相乘的可擴展性，并提高矩陣相乘的效率。
[0042] 圖2是本發(fā)明實施例1的第一確定單元101的組成示意圖。如圖2所示，第一確 定單元101包括，預處理單元201、第二確定單元202和第三確定單元203。
[0043] 其中，預處理單元201用于根據該左矩陣中元素的列號，以及該右矩陣中元