亚洲成年人黄色一级片,日本香港三级亚洲三级,黄色成人小视频,国产青草视频,国产一区二区久久精品,91在线免费公开视频,成年轻人网站色直接看

一種基于消息隊(duì)列的分布式任務(wù)處理的方法、裝置及系統(tǒng)與流程

文檔序號:12648575閱讀:來源:國知局
一種基于消息隊(duì)列的分布式任務(wù)處理的方法、裝置及系統(tǒng)與流程

技術(shù)特征:
1.一種基于消息隊(duì)列的分布式任務(wù)處理方法,其特征在于,任務(wù)消息隊(duì)列組中的每個(gè)消息隊(duì)列存儲(chǔ)任務(wù)處理節(jié)點(diǎn)承載的一種處理任務(wù),該方法包括:A,所述任務(wù)處理節(jié)點(diǎn)按照自身承載的處理任務(wù)的優(yōu)先級級別,確定存儲(chǔ)所述處理任務(wù)的消息隊(duì)列的優(yōu)先級級別;B,所述任務(wù)處理節(jié)點(diǎn)按照優(yōu)先級級別由高到低的順序,從優(yōu)先級級別最高的消息隊(duì)列開始依次掃描所述任務(wù)消息隊(duì)列組中的消息隊(duì)列,若掃描到包含處理任務(wù)的消息隊(duì)列,執(zhí)行步驟C,否則,重復(fù)步驟B;C,所述任務(wù)處理節(jié)點(diǎn)獲取當(dāng)前處理任務(wù),并執(zhí)行所述當(dāng)前處理任務(wù),執(zhí)行完之后返回步驟B,其中,所述當(dāng)前處理任務(wù)存儲(chǔ)在所述包含處理任務(wù)的消息隊(duì)列中。2.根據(jù)權(quán)利要求1所述的方法,其特征在于,還包括:所述任務(wù)處理節(jié)點(diǎn)根據(jù)業(yè)務(wù)需求確定自身承載的處理任務(wù)的優(yōu)先級級別,或者,預(yù)先設(shè)置所述處理任務(wù)的優(yōu)先級級別。3.根據(jù)權(quán)利要求1或2所述的方法,其特征在于,還包括:調(diào)度器接收到所述處理任務(wù)后,根據(jù)所述處理任務(wù)的類型將所述處理任務(wù)發(fā)送至所述任務(wù)消息隊(duì)列組中與所述處理任務(wù)的類型關(guān)聯(lián)的消息隊(duì)列。4.根據(jù)權(quán)利要求3所述的方法,其特征在于,所述調(diào)度器接收到所述處理任務(wù)之前,還包括:對原始任務(wù)進(jìn)行分割得到至少一個(gè)處理任務(wù),并對與所述原始任務(wù)關(guān)聯(lián)的數(shù)據(jù)文件進(jìn)行相應(yīng)的分割得到至少一個(gè)分片,使得每個(gè)處理任務(wù)都對應(yīng)一個(gè)與所述處理任務(wù)相匹配的分片。5.根據(jù)權(quán)利要求4所述的方法,其特征在于,所述原始任務(wù)為原始視頻任務(wù),所述處理任務(wù)為視頻處理任務(wù);則,所述對原始任務(wù)進(jìn)行分割得到至少一個(gè)處理任務(wù),并對與所述原始任務(wù)關(guān)聯(lián)的數(shù)據(jù)文件進(jìn)行相應(yīng)的分割得到至少一個(gè)分片,使得每個(gè)處理任務(wù)都對應(yīng)一個(gè)與所述處理任務(wù)相匹配的分片,包括:根據(jù)預(yù)先設(shè)置的分割策略對所述原始視頻任務(wù)進(jìn)行分割得到至少一個(gè)視頻處理任務(wù),并在I幀的位置對與所述原始視頻任務(wù)關(guān)聯(lián)的視頻數(shù)據(jù)文件進(jìn)行分割得到至少一個(gè)分片,使得每個(gè)視頻處理任務(wù)都對應(yīng)一個(gè)與所述視頻處理任務(wù)相匹配的分片;其中,所述分割策略保證在I幀的位置對視頻數(shù)據(jù)文件進(jìn)行分割。6.根據(jù)權(quán)利要求1或2所述的方法,其特征在于,所述任務(wù)處理節(jié)點(diǎn)獲取所述當(dāng)前處理任務(wù),并執(zhí)行所述當(dāng)前任務(wù),包括:所述任務(wù)處理節(jié)點(diǎn)獲取所述包含處理任務(wù)的消息隊(duì)列中未被執(zhí)行的任一處理任務(wù),并執(zhí)行所述未被執(zhí)行的任一處理任務(wù);或者,所述任務(wù)處理節(jié)點(diǎn)獲取所述包含處理任務(wù)的消息隊(duì)列中未被執(zhí)行的隊(duì)首處理任務(wù),并執(zhí)行所述未被執(zhí)行的隊(duì)首處理任務(wù)。7.一種任務(wù)處理節(jié)點(diǎn),其特征在于,包括:消息隊(duì)列優(yōu)先級級別確定單元,用于按照自身承載的處理任務(wù)的優(yōu)先級級別,確定存儲(chǔ)所述處理任務(wù)的消息隊(duì)列的優(yōu)先級級別;掃描單元,用于根據(jù)所述消息隊(duì)列優(yōu)先級級別確定單元確定的所述消息隊(duì)列的優(yōu)先級級別,按照優(yōu)先級級別由高到低的順序,從優(yōu)先級級別最高的消息隊(duì)列開始依次掃描任務(wù)消息隊(duì)列組中的消息隊(duì)列;任務(wù)執(zhí)行單元,用于在所述掃描單元掃描到包含處理任務(wù)的消息隊(duì)列時(shí),獲取當(dāng)前處理任務(wù),并執(zhí)行所述當(dāng)前處理任務(wù),其中,所述當(dāng)前處理任務(wù)存儲(chǔ)在所述包含處理任務(wù)的消息隊(duì)列中。8.根據(jù)權(quán)利要求7所述的任務(wù)處理節(jié)點(diǎn),其特征在于,還包括:處理任務(wù)優(yōu)先級級別確定單元,用于根據(jù)業(yè)務(wù)需求確定任務(wù)處理節(jié)點(diǎn)承載的處理任務(wù)的優(yōu)先級級別,或者,預(yù)先設(shè)置所述處理任務(wù)的優(yōu)先級級別,以便所述消息隊(duì)列優(yōu)先級級別確定單元確定所述任務(wù)消息隊(duì)列組中消息隊(duì)列的優(yōu)先級級別。9.根據(jù)權(quán)利要求7或8所述的任務(wù)處理節(jié)點(diǎn),其特征在于,還包括:分割單元,用于對原始任務(wù)進(jìn)行分割得到至少一個(gè)處理任務(wù),并對所述原始任務(wù)對應(yīng)的數(shù)據(jù)文件進(jìn)行相應(yīng)的分割得到至少一個(gè)分片,使得每個(gè)處理任務(wù)都對應(yīng)一個(gè)與所述處理任務(wù)相匹配的分片,以便調(diào)度器根據(jù)所述處理任務(wù)的類型將所述處理任務(wù)發(fā)送至所述任務(wù)消息隊(duì)列組中與所述處理任務(wù)的類型關(guān)聯(lián)的消息隊(duì)列,使得所述掃描單元掃描分割后的處理任務(wù)。10.根據(jù)權(quán)利要求9所述的任務(wù)處理節(jié)點(diǎn),其特征在于,所述任務(wù)分割單元具體用于根據(jù)預(yù)先設(shè)置的分割策略對原始視頻任務(wù)進(jìn)行分割得到至少一個(gè)視頻處理任務(wù),并在I幀的位置對與所述原始視頻任務(wù)關(guān)聯(lián)的視頻數(shù)據(jù)文件進(jìn)行分割得到至少一個(gè)分片,使得每個(gè)視頻處理任務(wù)都對應(yīng)一個(gè)與所述視頻處理任務(wù)相匹配的分片;其中,所述分割策略保證在I幀的位置對視頻數(shù)據(jù)文件進(jìn)行分割。11.根據(jù)權(quán)利要求7或8所述的任務(wù)處理節(jié)點(diǎn),其特征在于,在所述掃描單元掃描到包含處理任務(wù)的消息隊(duì)列時(shí),所述任務(wù)執(zhí)行單元具體用于獲取所述包含處理任務(wù)的消息隊(duì)列中未被執(zhí)行的任一處理任務(wù),并執(zhí)行所述未被執(zhí)行的任一處理任務(wù);或者,具體用于獲取所述包含處理任務(wù)的消息隊(duì)列中未被執(zhí)行的隊(duì)首處理任務(wù),并執(zhí)行所述未被執(zhí)行的隊(duì)首處理任務(wù)。12.一種分布式任務(wù)處理系統(tǒng),其特征在于,所述系統(tǒng)包括至少一個(gè)任務(wù)處理節(jié)點(diǎn),所述任務(wù)處理節(jié)點(diǎn)用于按照自身承載的處理任務(wù)的優(yōu)先級級別,確定存儲(chǔ)所述處理任務(wù)的消息隊(duì)列的優(yōu)先級級別,并按照優(yōu)先級級別由高到低的順序,從優(yōu)先級級別最高的消息隊(duì)列開始依次循環(huán)掃描任務(wù)消息隊(duì)列組中的消息隊(duì)列,并執(zhí)行掃描到的處理任務(wù),其中,所述任務(wù)消息隊(duì)列組中的每個(gè)消息隊(duì)列存儲(chǔ)所述任務(wù)處理節(jié)點(diǎn)承載的一種處理任務(wù);其中,所述任務(wù)處理節(jié)點(diǎn)包括:消息隊(duì)列優(yōu)先級級別確定單元,用于按照自身承載的處理任務(wù)的優(yōu)先級級別,確定存儲(chǔ)所述處理任務(wù)的消息隊(duì)列的優(yōu)先級級別;掃描單元,用于根據(jù)所述消息隊(duì)列優(yōu)先級級別確定單元確定的所述消息隊(duì)列的優(yōu)先級級別,按照優(yōu)先級級別由高到低的順序,從優(yōu)先級級別最高的消息隊(duì)列開始依次掃描任務(wù)消息隊(duì)列組中的消息隊(duì)列;任務(wù)執(zhí)行單元,用于在所述掃描單元掃描到包含處理任務(wù)的消息隊(duì)列時(shí),獲取當(dāng)前處理任務(wù),并執(zhí)行所述當(dāng)前處理任務(wù),其中,所述當(dāng)前處理任務(wù)存儲(chǔ)在所述包含處理任務(wù)的消息隊(duì)列中。13.根據(jù)權(quán)利要求12所述的系統(tǒng),其特征在于,還包括:任務(wù)消息隊(duì)列組存儲(chǔ)節(jié)點(diǎn),用于存儲(chǔ)所述任務(wù)消息隊(duì)列組;調(diào)度器,用于獲取分割后的處理任務(wù),并根據(jù)所述處理任務(wù)的類型,將所述處理任務(wù)發(fā)送至所述任務(wù)消息隊(duì)列組存儲(chǔ)節(jié)點(diǎn)存儲(chǔ)的任務(wù)消息隊(duì)列組中與所述處理任務(wù)的類型關(guān)聯(lián)的消息隊(duì)列,等待所述任務(wù)處理節(jié)點(diǎn)執(zhí)行;其中,所述調(diào)度器包括:獲取單元,用于獲取分割后的處理任務(wù);發(fā)送單元,用于根據(jù)所述獲取單元獲取的處理任務(wù)的類型,將所述處理任務(wù)發(fā)送至所述任務(wù)消息隊(duì)列組存儲(chǔ)節(jié)點(diǎn)存儲(chǔ)的任務(wù)消息隊(duì)列組中與所述處理任務(wù)的類型關(guān)聯(lián)的消息隊(duì)列,等待任務(wù)處理節(jié)點(diǎn)執(zhí)行。
當(dāng)前第2頁1 2 3 
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會(huì)獲得點(diǎn)贊!
1