超低延時(shí)網(wǎng)絡(luò)緩沖存儲(chǔ)的制作方法
【專(zhuān)利說(shuō)明】超低延時(shí)網(wǎng)絡(luò)緩沖存儲(chǔ)
[0001]相關(guān)申請(qǐng)的交叉引用
[0002]本申請(qǐng)要求于2012年9月18日提交的、題為“超低延時(shí)網(wǎng)絡(luò)緩沖存儲(chǔ)”的美國(guó)臨時(shí)申請(qǐng)N0.61/702，326的優(yōu)先權(quán)，該臨時(shí)申請(qǐng)的整體通過(guò)引用被合并于此。
技術(shù)領(lǐng)域
[0003]本公開(kāi)總體涉及最小化網(wǎng)絡(luò)設(shè)備中的緩沖存儲(chǔ)。
【背景技術(shù)】
[0004]超低延時(shí)網(wǎng)絡(luò)是例如由高頻交易(HFT)客戶(hù)用來(lái)交易金融資產(chǎn)的特殊的計(jì)算網(wǎng)絡(luò)類(lèi)型。在這樣的應(yīng)用中，即使輕微的傳輸時(shí)間延時(shí)也可能帶來(lái)金融影響。具體地，具有比競(jìng)爭(zhēng)者更快的數(shù)據(jù)連接可以使得HFT客戶(hù)在波動(dòng)時(shí)期捕捉機(jī)會(huì)、增加訂單流、流動(dòng)資產(chǎn)、并且加速價(jià)格發(fā)現(xiàn)以獲得競(jìng)爭(zhēng)優(yōu)勢(shì)。
[0005]用于計(jì)算網(wǎng)絡(luò)(甚至是超低延時(shí)網(wǎng)絡(luò))中的傳統(tǒng)聯(lián)網(wǎng)設(shè)備會(huì)因?yàn)榕R時(shí)將接收到的數(shù)據(jù)分組存儲(chǔ)在網(wǎng)絡(luò)緩沖器中以吸收仲裁、轉(zhuǎn)發(fā)或擁塞延遲而引發(fā)不想要的延時(shí)。例如，交叉開(kāi)關(guān)(crossbar)和端口邏輯架構(gòu)可以存儲(chǔ)分組多達(dá)四次(例如，輸入端口、輸入交叉開(kāi)關(guān)、輸出交叉開(kāi)關(guān)、以及輸出端口)。另外，共享的存儲(chǔ)器架構(gòu)可以導(dǎo)致存儲(chǔ)數(shù)據(jù)多達(dá)三次(例如，輸入端口、緩沖存儲(chǔ)器、以及輸出端口)。這些存儲(chǔ)操作中的每個(gè)均增加了不想要的延時(shí)。
【附圖說(shuō)明】
[0006]圖1根據(jù)本文所呈現(xiàn)的技術(shù)示出了網(wǎng)絡(luò)設(shè)備的框圖，該網(wǎng)絡(luò)設(shè)備被配置來(lái)執(zhí)行從存儲(chǔ)器讀取分組和向存儲(chǔ)器寫(xiě)入分組。
[0007]圖2是多個(gè)緩沖器和針對(duì)每個(gè)緩沖器的相關(guān)聯(lián)的寫(xiě)入邏輯的詳細(xì)框圖。
[0008]圖3是多個(gè)緩沖器和針對(duì)多個(gè)緩沖器的相關(guān)聯(lián)的讀取邏輯的詳細(xì)框圖。
[0009]圖4是示出隊(duì)列結(jié)構(gòu)、調(diào)度器和隊(duì)列管理器的框圖，其中，隊(duì)列管理器被配置為在某些情況下繞過(guò)隊(duì)列結(jié)構(gòu)和/或調(diào)度器。
[0010]圖5是總體描繪了本文所呈現(xiàn)的緩沖配置的讀取操作和寫(xiě)入操作的流程圖。
【具體實(shí)施方式】
[0011]臟
[0012]本文呈現(xiàn)了網(wǎng)絡(luò)設(shè)備中的緩沖設(shè)計(jì)和緩沖的寫(xiě)入/讀取配置。在網(wǎng)絡(luò)設(shè)備的端口處接收分組。根據(jù)一個(gè)方面，分組的第一部分被寫(xiě)入網(wǎng)絡(luò)設(shè)備中的緩沖器的多個(gè)單元格(cell)的第一單元格。每個(gè)單元格具有比該網(wǎng)絡(luò)設(shè)備所接收的分組的最小尺寸更小的尺寸。可以從第一單元格讀取分組的第一部分，并且同時(shí)將分組的第二部分寫(xiě)入第二單元格。
【具體實(shí)施方式】
[0013]
[0014]諸如交換機(jī)之類(lèi)的網(wǎng)絡(luò)設(shè)備將延時(shí)測(cè)量為分組的第一位的發(fā)送時(shí)間(出發(fā))減去該分組的該第一位的接收時(shí)間(到達(dá))。該延時(shí)的一個(gè)原因是對(duì)到達(dá)分組的緩沖(即，臨時(shí)存儲(chǔ)接收到的分組以吸收仲裁、轉(zhuǎn)發(fā)或擁塞延遲)。期望網(wǎng)絡(luò)設(shè)備中的緩沖器具有寫(xiě)入和讀取總共2* (M個(gè)輸入端口 *N Gbps)的能力以維持線(xiàn)速率(wire rate)。高端口密度計(jì)數(shù)和高端口性能速度為架構(gòu)方面帶來(lái)了巨大的挑戰(zhàn)。
[0015]緩沖器寫(xiě)入應(yīng)該以防止分組丟失的方式被執(zhí)行。高帶寬操作(例如，高效寫(xiě)入網(wǎng)絡(luò)緩沖器)具有在數(shù)據(jù)存儲(chǔ)之前建立分頁(yè)(page)單元的輸入緩沖階段。該操作經(jīng)由輸入端口緩沖器的預(yù)分段導(dǎo)致分頁(yè)延時(shí)。例如，10十億位/秒(Gbps)的100字節(jié)分頁(yè)可能增加另外的160納秒(ns)的延時(shí)(80ns用于寫(xiě)入，80ns用于讀取)。
[0016]本文呈現(xiàn)了減少或消除輸入緩沖階段(即，輸入累加)從而降低延時(shí)的技術(shù)。這些技術(shù)通過(guò)將緩沖存儲(chǔ)器分頁(yè)存儲(chǔ)單元減小(分離)為單元格來(lái)操作。例如，200字節(jié)分頁(yè)可以被劃分為二十個(gè)10字節(jié)單元格。每個(gè)10字節(jié)單元格是單個(gè)的存儲(chǔ)器組(bank)列，該存儲(chǔ)器組列可以以提供對(duì)一個(gè)或多個(gè)單元格列的完全訪(fǎng)問(wèn)的方式被寫(xiě)入，從而無(wú)延時(shí)地存儲(chǔ)分組。獨(dú)立的列訪(fǎng)問(wèn)有助于保證數(shù)據(jù)不會(huì)因線(xiàn)速度的高帶寬寫(xiě)入而被丟棄(傳統(tǒng)上，這通過(guò)輸入緩沖來(lái)實(shí)現(xiàn))。舉例來(lái)說(shuō)，還可以通過(guò)減小單元格的尺寸、通過(guò)將單元格劃分為子單元格等來(lái)實(shí)現(xiàn)附加的優(yōu)化。
[0017]本文所呈現(xiàn)的技術(shù)使用共享的存儲(chǔ)器架構(gòu)、多個(gè)存儲(chǔ)器單元格以及工作保存仲裁器來(lái)減少存儲(chǔ)和仲裁延時(shí)量，其中，共享的存儲(chǔ)器架構(gòu)、多個(gè)存儲(chǔ)器單元格以及工作保存仲裁器均為緩沖延時(shí)的關(guān)鍵部件。降低延時(shí)對(duì)于超低延時(shí)網(wǎng)絡(luò)用戶(hù)至關(guān)重要。本文所呈現(xiàn)的技術(shù)可以實(shí)現(xiàn)在特定情形下低達(dá)零的延時(shí)存儲(chǔ)，實(shí)現(xiàn)獨(dú)立于分組尺寸的延時(shí)，對(duì)于單播、2層多播和3層多播而言實(shí)現(xiàn)相同的線(xiàn)速率低延時(shí)，和/或?qū)崿F(xiàn)維持非常高的密度和高性能端口的能力。
[0018]現(xiàn)在參照?qǐng)D1，提供了網(wǎng)絡(luò)設(shè)備10的高層框圖，網(wǎng)絡(luò)設(shè)備10被配置以用于超低延時(shí)緩沖存儲(chǔ)。網(wǎng)絡(luò)設(shè)備10包括多個(gè)端口 12(l)-12(p)，在這些端口處，分組可以到達(dá)網(wǎng)絡(luò)設(shè)備10并且從網(wǎng)絡(luò)設(shè)備離開(kāi)。端口 12 (I)-12 (P)被親合于交換機(jī)結(jié)構(gòu)(switch fabric) 14。交換機(jī)結(jié)構(gòu)14包括對(duì)分組執(zhí)行處理決定的數(shù)字邏輯和相關(guān)聯(lián)的存儲(chǔ)器。交換機(jī)結(jié)構(gòu)14可以被實(shí)現(xiàn)于一個(gè)或多個(gè)專(zhuān)用集成電路(ASIC)中。網(wǎng)絡(luò)設(shè)備10還包括中央處理單元(CPU) 16和存儲(chǔ)器18。其他部件可以存在于網(wǎng)絡(luò)設(shè)備10中，但未在圖1中示出，因?yàn)樗鼈儾粚儆诒疚乃尸F(xiàn)的低延時(shí)緩沖存儲(chǔ)技術(shù)。圖1示出了交換機(jī)結(jié)構(gòu)14包括一組緩沖器20 (I)-20 (C)、一組相對(duì)應(yīng)的寫(xiě)入邏輯30 (I)-30 (C)以及讀取邏輯40。因此，對(duì)于緩沖器20(1)，存在寫(xiě)入邏輯框30(1)，等等。
[0019]存儲(chǔ)器18可以包括只讀存儲(chǔ)器(ROM)、隨機(jī)存取存儲(chǔ)器(RAM)、磁盤(pán)存儲(chǔ)介質(zhì)設(shè)備、光存儲(chǔ)介質(zhì)設(shè)備、閃存設(shè)備、電、光、或其他物理/有形存儲(chǔ)器存儲(chǔ)設(shè)備。因此，一般地，存儲(chǔ)器18可以包括一個(gè)或多個(gè)有形(非易失性)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)(例如，存儲(chǔ)器設(shè)備)，該一個(gè)或多個(gè)有形(非易失性)的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)被編碼有包括計(jì)算機(jī)可執(zhí)行的指令的軟件，并且當(dāng)該軟件被(CPU 16)運(yùn)行時(shí)其可操作來(lái)執(zhí)行本文所描述的操作。
[0020]網(wǎng)絡(luò)設(shè)備10可以是現(xiàn)在已知或者之后開(kāi)發(fā)的任意網(wǎng)絡(luò)設(shè)備，包括交換機(jī)、路由器、網(wǎng)關(guān)、主機(jī)設(shè)備上的軟件棧、虛擬網(wǎng)絡(luò)接口卡(VNIC)虛擬交換機(jī)、物理網(wǎng)絡(luò)接口卡(包括支持虛擬化的那些物理網(wǎng)絡(luò)接口卡)。
[0021]為對(duì)緩沖器20 (I)-20 (C)以及相關(guān)聯(lián)的寫(xiě)入邏輯30 (I)-30 (C)進(jìn)行更加詳細(xì)的描述，現(xiàn)在參照?qǐng)D2。每個(gè)緩沖器20 (I)-20 (C)包括多個(gè)單元格22(1)-22(C)。每個(gè)單元格22 (I) -22 (C)是可以被獨(dú)立寫(xiě)入的單個(gè)存儲(chǔ)器組列，如上面所一般解釋的。對(duì)于緩沖器的一行存儲(chǔ)器中總共N個(gè)字節(jié)，一行存儲(chǔ)器中存在C個(gè)單元格。另外，每個(gè)單元格具有比網(wǎng)絡(luò)設(shè)備預(yù)期要接收的分組的最小尺寸更小的尺寸。
[0022]端口 12(1)_12(P)被連接到每個(gè)寫(xiě)入邏輯30 (I)-30 (C)。更具體地，每個(gè)寫(xiě)入邏輯框包括輸入累加器32 (I) -32 (P)，并且每個(gè)輸入累加器32 (I) -32 (P)被連接到端口12 (I)-12 (P)中相應(yīng)的一個(gè)端口。每個(gè)輸入累加器32 (I)-32 (P)在分組內(nèi)容可以被寫(xiě)入相關(guān)聯(lián)的緩沖器中的多個(gè)單元格中的任意一個(gè)單元格之前累加N/C個(gè)字節(jié)。此外，每個(gè)寫(xiě)入邏輯框包括C個(gè)并行的寫(xiě)入仲裁器34 (I)-34 (C)。在端口 12 (I)-12 (P)之一處接收到的分組的數(shù)據(jù)已在輸入累加器32(1)-32 (P)之一中被充分累加之后，該數(shù)據(jù)被連接到寫(xiě)入仲裁器34(1)-34(C)之一。來(lái)自給定端口的分組數(shù)據(jù)被一次一個(gè)單元格地寫(xiě)入緩沖器中，然后穿過(guò)緩沖器中的單元格直到整個(gè)分組已被寫(xiě)入。在任意給定的時(shí)間，C個(gè)寫(xiě)入仲裁器可以寫(xiě)入C個(gè)單元格。因此，當(dāng)分組數(shù)據(jù)從端口 12 (I)-12 (P)之一到達(dá)輸入累加器32 (I)-32 (P)之一時(shí)，輸入累加器等待累加N/C個(gè)字節(jié)，并且等待最多P/C個(gè)周期以獲得對(duì)緩沖存儲(chǔ)器的訪(fǎng)問(wèn)。
[0023]可以設(shè)計(jì)緩沖器的每個(gè)單元格22⑴-22(C)的尺寸，以使得與將分組寫(xiě)入緩沖器和從緩沖器讀取分組相關(guān)聯(lián)的延時(shí)獨(dú)立于分組的尺寸。類(lèi)似地，可以設(shè)計(jì)緩沖器的每個(gè)單元格22(1)-22(C)的尺寸，以使得與將分組寫(xiě)入緩沖器和從緩沖器讀取分組相關(guān)聯(lián)的延時(shí)獨(dú)立于端口速度(例如，1Mbps或10Gbps)。
[0024]寫(xiě)入仲裁器34(1)-34(C)獨(dú)立且并行地進(jìn)行操作，以使得分組可以在多個(gè)端口12 (I)-12 (P)處被接收，并且來(lái)自那些分組的各部分可以被同時(shí)寫(xiě)入相關(guān)聯(lián)的緩沖器(例如，緩沖器20 (I))內(nèi)的不同的單元格。該寫(xiě)入仲裁方案是這樣的方案，即，緩沖器的P個(gè)單元格對(duì)于到達(dá)P個(gè)端口 12(1)-12(P)的分組的數(shù)據(jù)而言是無(wú)寫(xiě)入沖突的。例如，對(duì)于所有分組在相同時(shí)間到達(dá)的20端口系統(tǒng)，所有的20個(gè)分組的第一部分在相同的瞬時(shí)(即，時(shí)間)被寫(xiě)入。無(wú)寫(xiě)入沖突的延伸是對(duì)低延時(shí)多目的地分組進(jìn)行寫(xiě)復(fù)制的能力。例如，如果多目的地(多播)分組M從端口 12(1)到達(dá)并去往端口 12(2)至12 (20)，并且沒(méi)有即將到來(lái)的數(shù)據(jù)到達(dá)端口 12(2)至12(20)，則分組M通過(guò)并行寫(xiě)入到每個(gè)輸出隊(duì)列被同時(shí)發(fā)送出端口12(2)至 12(20) ο
[0025]現(xiàn)在參照?qǐng)D3。圖3示出與多個(gè)緩沖器20(1)_20(C)相關(guān)聯(lián)的讀取邏輯40的更多細(xì)節(jié)，其中，緩沖器20(1)-20(C)