驟。由此，本實施例描述的方案可以引入第一重做日志，當發(fā)送第一業(yè)務量數(shù)據(jù)至數(shù)據(jù)處理節(jié)點的事務失敗或單機節(jié)點崩潰時，可以對發(fā)送第一業(yè)務量數(shù)據(jù)的事務進行恢復。
[0091]應當說明的是，在上述的服務器集群環(huán)境中，當實例或介質(zhì)失敗時，其他仍然完好的節(jié)點數(shù)據(jù)庫實例就可以聯(lián)機失敗的實例或介質(zhì)，對其中的重做日志文件進行訪問，執(zhí)行實例恢復，進行已提交事務的前滾和未提交事務的回滾，從而實現(xiàn)失敗事務的恢復或集群角度的崩潰恢復。
[0092]進一步參考圖5，其示出了根據(jù)本申請實施例的基于圖4的分析用戶業(yè)務量的方法的一個示意性流程圖500。該分析用戶業(yè)務量的方法500，在圖4的分析用戶業(yè)務量的方法的基礎上，還包括以下步驟:
[0093]步驟501，單機節(jié)點間隔第一預設時間或響應于發(fā)送成功第一預設數(shù)量的第一業(yè)務量數(shù)據(jù)至數(shù)據(jù)處理節(jié)點，新建第一重做日志。
[0094]在本實施例中，單機節(jié)點可以間隔第一預設時間新建第一重做日志，也可以響應于發(fā)送成功第一預設數(shù)量的第一業(yè)務量數(shù)據(jù)至數(shù)據(jù)處理節(jié)點，新建第一重做日志。其中，第一預設時間可以為預先設置的生成第一快照的間隔時間；第一預設次數(shù)可以為預先設置的生成第一快照之間間隔的成功發(fā)送第一業(yè)務量數(shù)據(jù)至數(shù)據(jù)處理節(jié)點的次數(shù)。
[0095]步驟502，響應于新建第一重做日志完成，同時在原第一重做日志和新建第一重做日志中記錄第一獲取事務的處理標記和第一發(fā)送事務的處理標記。
[0096]在本實施例中，當步驟501中新建第一重做日志完成時，可以同時在原第一重做日志和新建第一重做日志中記錄第一獲取事務的處理標記和第一發(fā)送事務的處理標記，以便在生成第一快照失敗時，進行已提交事務和未提交事務的回滾，重新生成第一快照。
[0097]步驟503，查詢當前正在進行的事務的時間戳。
[0098]在本實施例中，可以查詢當前正在進行的事務的時間戳，以便根據(jù)查詢到的時間戳，確定具有該時間戳的數(shù)據(jù)批次。
[0099]步驟504，生成內(nèi)存中數(shù)據(jù)集的第一快照，并同時在原第一重做日志和新建第一重做日志中記錄第一快照事務的開始標記。
[0100]在本實施例中，在查詢到當前正在進行的事務的時間戳之后，可以生成內(nèi)存中數(shù)據(jù)集的第一快照，并可以同時在原第一重做日志和新建第一重做日志中記錄第一快照事務的開始標記，以便在第一快照事務失敗時，可以對第一快照事務進行恢復。其中，第一快照事務的開始標記包括第一快照的檢查點所存入的文件名稱和正在進行的事務的時間戳。
[0101]步驟505，將生成的第一快照存入磁盤，并同時在原第一重做日志和新建第一重做日志中記錄第一快照事務的結束標記。
[0102]在本實施例中，當?shù)谝豢煺帐聞胀瓿蓵r，可以將生成的第一快照存入磁盤，并同時在原第一重做日志和新建的第一重做日志中記錄第一快照事務的結束標記。其中，第一快照事務的結束標記包括第一快照的檢查點所存入的文件名稱。
[0103]之后，當單機節(jié)點崩潰或發(fā)送第一業(yè)務量數(shù)據(jù)至數(shù)據(jù)處理節(jié)點失敗時，可以查詢新建的第一重做日志中是否包括第一快照事務的結束標記，若包括，則可以根據(jù)第一快照事務的結束標記中包括的第一快照的檢查點所存入的文件名稱，得到第一快照，繼而根據(jù)第一快照，恢復生成第一快照時內(nèi)存中的數(shù)據(jù)集。
[0104]步驟506，響應于同時在原第一重做日志和新建第一重做日志中記錄第一快照事務的結束標記完成，刪除原第一重做日志。
[0105]在本實施例中，在同時在原第一重做日志和新建第一重做日志中記錄第一快照事務的結束標記完成之后，可以刪除原第一重做日志以節(jié)省單機節(jié)點的磁盤空間。
[0106]在本實施例的一個具體應用場景中，上述的位于單機節(jié)點中的Collector每隔一段時間，或者是完成了一定數(shù)量的事務后，將生成快照并清理本地Redo-Log，以免本地Redo-Log過大。生成快照時，首先產(chǎn)生新的本地Redo-Log，從此刻起，所有的記錄都要同時向新舊兩個本地Redo-Log中進行追加操作。然后查詢當前正在進行中的事務，生成一份內(nèi)存中當前數(shù)據(jù)集的快照，并在Redo-Log中記錄〈BEGIN CHECKPOINT filename, Tl, T2,…
>(filename指的是檢查點所存入的文件名稱)，其中〈Tl, T2,…〉是當前正在進行中的事務編號(同時也是時間戳，指示一批數(shù)據(jù)的編號)ο將修改后的快照存入磁盤后，記錄〈FINISHCHECKPOINT filename〉(filename指的是檢查點所存入的文件名稱)。從此刻起，可以拋棄舊的本地Redo-Log，而使用新的本地Redo-Log。
[0107]在發(fā)生系統(tǒng)故障時，Collector可以直接加載最新的快照，并且重放此次快照之后所有成功事務造成的數(shù)據(jù)更改。對于從單機節(jié)點的請求日志中提取初始業(yè)務量數(shù)據(jù)的事務，可以安全的拋棄掉未完成的事務，從最后一次成功的從單機節(jié)點的請求日志中提取初始業(yè)務量數(shù)據(jù)的事務處繼續(xù)執(zhí)行。對于單機節(jié)點將合并的第一業(yè)務量數(shù)據(jù)發(fā)送至數(shù)據(jù)處理節(jié)點的事務，因為不知道系統(tǒng)結束時數(shù)據(jù)是否已經(jīng)發(fā)送成功，所以必須進行重試直到事務成功。Sender會根據(jù)信息編號對數(shù)據(jù)進行去重。
[0108]從圖5中可以看出，與圖4對應的實施例相比，本實施例中的分析用戶業(yè)務量的方法的流程500突出了生成第一快照的步驟。由此，本實施例描述的方案可以引入第一快照，從而實現(xiàn)在生成第一快照失敗時對已提交事務的前滾和未提交事務的回滾，完成數(shù)據(jù)恢復。
[0109]進一步參考圖6，其示出了根據(jù)本申請實施例的基于圖5的分析用戶業(yè)務量的方法的一個示意性流程圖600。該分析用戶業(yè)務量的方法600，在圖5的分析用戶業(yè)務量的方法的基礎上，上述的獲取具有同一時間戳的請求日志，從請求日志中解析初始業(yè)務量數(shù)據(jù)，合并屬于同一用戶的初始業(yè)務量數(shù)據(jù)，得到第一業(yè)務量數(shù)據(jù)，并記錄第一獲取事務的處理標記至第一重做日志，可以包括以下步驟:
[0110]步驟601，記錄第一獲取事務的開始標記至第一重做日志。
[0111]在本實施例中，單機節(jié)點可以記錄第一獲取事務的開始標記至第一重做日志。其中，第一獲取事務為獲取具有同一時間戳的請求日志，從請求日志中解析初始業(yè)務量數(shù)據(jù)，合并屬于同一用戶的初始業(yè)務量數(shù)據(jù)，得到第一業(yè)務量數(shù)據(jù)的事務；第一獲取事務的開始標記包括獲取的請求日志的時間戳。
[0112]步驟602，根據(jù)獲取的請求日志的時間戳，獲取請求日志。
[0113]在本實施例中，在步驟601記錄第一獲取事務的開始標記至第一重做日志之后，可以根據(jù)獲取的請求日志精確到分鐘的時間戳，獲取具有同一時間戳Ti的請求日志。
[0114]步驟603，從請求日志中逐條解析初始業(yè)務量數(shù)據(jù)，將解析的初始業(yè)務量數(shù)據(jù)合并至內(nèi)存中屬于同一用戶的數(shù)據(jù)集中以累積第一業(yè)務量數(shù)據(jù)，并記錄第一獲取事務的單條解析成功標記至第一重做日志。
[0115]在本實施例中，在步驟602獲取具有同一時間戳Ti的請求日志之后，可以將解析獲取的請求日志得到的初始業(yè)務量數(shù)據(jù)合并至內(nèi)存中屬于同一用戶的數(shù)據(jù)集中，以累積第一業(yè)務量數(shù)據(jù)，并記錄第一獲取事務的單條解析成功標記至第一重做日志。其中，第一獲取事務的單條解析成功標記可以包括解析成功的單條請求日志的時間戳、內(nèi)存中數(shù)據(jù)集的原始值和修改后值。
[0116]步驟604，響應于解析單條請求日志成功的次數(shù)符合預設的解析次數(shù)或完成單機節(jié)點中所有請求日志的解析，記錄第一獲取事務的結束標記至第一重做日志。
[0117]在本實施例中，單機節(jié)點可以響應于解析單條請求日志成功的次數(shù)符合預設的解析次數(shù)，記錄第一獲取事務的結束標記至第一重做日志，也可以響應于完成單機節(jié)點中所有請求日志的解析，記錄第一獲取事務的結束標記至第一重做日志。其中，第一獲取事務的結束標記可以包括獲取的請求日志的時間戳和請求日志文件中的偏移量；請求日志文件中的偏移量記錄當前讀取的請求日志的位置信息。
[0118]從圖6中可以看出，與圖5對應的實施例相比，本實施例中的分析用戶業(yè)務量的方法的流程600突出了記錄第一獲取事務的處理標記至第一重做日志的步驟。由此，本實施例描述的方案可以引入第一重做日志，從而在得到第一業(yè)務量數(shù)據(jù)的事務失敗時，可以對得到第一業(yè)務量數(shù)據(jù)的事務進行恢復。
[0119]進一步參考圖7，其示出了根據(jù)本申請實施例的基于圖6的分析用戶業(yè)務量的方法的一個示意性流程圖700。該分析用戶業(yè)務量的方法700，在圖6的分析用戶業(yè)務量的方法的基礎上，還包括以下步驟:
[0120]步驟701，響應于執(zhí)行第一操作流程失敗，加載最后一次的第一快照以及最后一次的第一快照之后由成功事務造成的數(shù)據(jù)更改。
[0121 ] 在本實施例中，當執(zhí)行第一操作流程失敗時，可以根據(jù)新建第一重做日志，得到最后一次的第一快照之后由成功事務造成的數(shù)據(jù)更改，之后加載最后一次的第一快照以及得到的數(shù)據(jù)更改，以便將內(nèi)存中的數(shù)據(jù)集以及正在執(zhí)行的事務恢復至執(zhí)行失敗之前的狀態(tài)。
[0122]在本實施例的一些可選方式中，響應于執(zhí)行第一操作流程失敗，加載最后一次的第一快照以及最后一次的第一快照之后由成功事務造成的數(shù)據(jù)更改可以包括:響應于獲取具有同一時間戳的請求日志，從請求日志中解析初始業(yè)務量數(shù)據(jù)，合并屬于同一用戶的初始業(yè)務量數(shù)據(jù)，得到第一業(yè)務量數(shù)據(jù)失敗，加載最后一次的第一快照和新建第一重做日志中最后一次記錄的第一獲取事務的結束標記。
[0123]在本實現(xiàn)方式中，響應于將請求日志中解析的初始業(yè)務量數(shù)據(jù)合并為第一業(yè)務量數(shù)據(jù)失敗，可以加載最后一次的第一快照和新建第一重做日志中最后一次記錄的第一獲取事務的結束標記，以便根據(jù)該第一快照恢復內(nèi)存中的數(shù)據(jù)集，根據(jù)該結束標記中包括的獲取的請求日志的時間戳和請求日志文件中的偏移量，確定需要解析的下一條請求日志。
[0124]在本實施例的一些可選方式中，響應于執(zhí)行第一操作流程失敗，加載最后一次的第一快照以及最后一次的第一快照之后由成功事務造成的數(shù)據(jù)更改可以包括:響應于以分鐘為間隔發(fā)送第一業(yè)務量數(shù)據(jù)至數(shù)據(jù)處理節(jié)點失敗，加載最后一次的第一快照和新建第一重做日志中未記錄第一發(fā)送事務的結束標記的第一發(fā)送事務的開始標記。
[0125]在本實現(xiàn)方式中，響應于以分鐘為間隔發(fā)送第一業(yè)務量數(shù)據(jù)至數(shù)據(jù)處理節(jié)點失敗，可以加載最后一次的第一快照和新建第一重做日志中未記錄第一發(fā)送事務的結束標記的第一發(fā)送事務的開始標記，以便根據(jù)該第一快照恢復內(nèi)存中的數(shù)據(jù)集，根據(jù)未記錄第一發(fā)送事務的結束標記的第一發(fā)送事務的開始標記中包括的發(fā)送的第一業(yè)務量數(shù)據(jù)的時間戳，確定需要發(fā)送的第一業(yè)務量數(shù)據(jù)，之后發(fā)送確定的該第一業(yè)務量數(shù)據(jù)。
[0126]步驟702，根據(jù)最后一次的第一快照以及數(shù)據(jù)更改，執(zhí)行第一操作流程。
[0127]在本實施例中，可以根據(jù)加載的最后一次的第一快照以及最后一次的第一快照之后由成功事務造成的數(shù)據(jù)更改，重新執(zhí)行之前失敗的第一操作流程。
[0128]在本實施例的一些可選實現(xiàn)方式中，與上述的響應于獲取具有同一時間戳的請求日志，從請求日志中解析初始業(yè)務量數(shù)據(jù)，合并屬于同一用戶的初始業(yè)務量數(shù)據(jù)，得到第一業(yè)務量數(shù)據(jù)失敗，加載最后一次的第一快照和新建第一重做日志中最后一次記錄的第一獲取事務的結束標記相對應，根據(jù)最后一次的第一快照以及數(shù)據(jù)更改，執(zhí)行第一操作流程可以包括:根據(jù)最后一次的第一快照和新建第一重做日志中最后一次記錄的第一獲取事務的結束標記，繼續(xù)獲取具有同一時間戳的請求日志，從請求日志中解析初始業(yè)務量數(shù)據(jù)，合并屬于同一用戶的初始業(yè)務量數(shù)據(jù)，得到第一業(yè)務量數(shù)據(jù)，之后執(zhí)行發(fā)送第一業(yè)務量數(shù)據(jù)至數(shù)據(jù)處理節(jié)點。
[0129]在本實施例的一些可選實現(xiàn)方式中，與上述的響應于以分鐘為間隔發(fā)送第一業(yè)務量數(shù)據(jù)至數(shù)據(jù)處理節(jié)點失敗，加載最后一次的第一快照和新建第一重做日志中未記錄第一發(fā)送事務的結束標記的第一發(fā)送事務的開始標記相對應，根據(jù)最后一次的第一快照以及數(shù)據(jù)更改，執(zhí)行第一操作流程可以包括:根據(jù)最后一次的第一快照和新建第一重做日志中未記錄第一發(fā)送事務的結束標記的第一發(fā)送事務的開始標記，重新發(fā)送第一業(yè)務量數(shù)據(jù)至數(shù)據(jù)處理節(jié)點。
[0130]從圖7中可以看出，與圖6對應的實施例相比，本實施例中的分析用戶業(yè)務量的方法的流程700突出了恢復失敗的第一操作流程的步驟。由此，本實施例描述的方案可以防止單機節(jié)點在執(zhí)行第一操作流程時因宕機而造成數(shù)據(jù)丟失。
[0131]進一步參考圖8，其示出了基于圖2至圖7的任意一方法的分析用戶業(yè)務量的方法的一個示意性流程圖800。該分析用戶業(yè)務量的方法800，在圖2至圖7的任意一方法的基礎上，上述的發(fā)送第二業(yè)務量數(shù)據(jù)至業(yè)務節(jié)點，并記錄第二發(fā)送事務的處理標記至預設的第二重做日志，可以包括以下步驟:
[0132]步驟801，記錄第二發(fā)送事務的開始標記至預設的第二重做日志。
[0133]在本實施例中，記錄第二發(fā)送事務的開始標記至預設的第二重做日志這一操作步驟可以運行于數(shù)據(jù)處理節(jié)點中。其中，第二發(fā)送事務為發(fā)送第二業(yè)務量數(shù)據(jù)至業(yè)務節(jié)點的事務。第二發(fā)送事務的開始標記包括發(fā)送的第二業(yè)務量數(shù)據(jù)的時間戳。
[0134]步驟802，根據(jù)發(fā)送的第二業(yè)務量數(shù)據(jù)的時間戳，獲取第二業(yè)務量數(shù)據(jù)。
[0135]在本實施例中，在步驟801記錄第二發(fā)送事務的開始標記至預設的第二重做日志之后，可以根據(jù)第二發(fā)送事務的開始標記中精確到分鐘的時間戳，獲取具有同一時間戳