專利名稱：傳輸任務(wù)調(diào)度方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及數(shù)字電視文件的傳輸，尤其涉及一種傳輸任務(wù)調(diào)度方法和系統(tǒng)。
背景技術(shù)：
隨著數(shù)字電視的加速推廣，數(shù)字電視越發(fā)普及，廣電運營商在為新的數(shù)字 電視業(yè)務(wù)準(zhǔn)備數(shù)字節(jié)目時，需要對海量的超大規(guī)模的視頻文件進(jìn)行遷移。廣電 運營商現(xiàn)有系統(tǒng)常用的視頻文件遷移方式是采用單線程、單任務(wù)處理方式；或 簡單的增加設(shè)備來提高處理能力。這些技術(shù)存在不足之處是處理效率過低，不 能充分利用服務(wù)器的性能。現(xiàn)有的處理方式越來越難以滿足廣電運營商發(fā)展數(shù) 字電視的需要，非常不利于數(shù)字電視業(yè)務(wù)的推廣。

發(fā)明內(nèi)容
為此，本發(fā)明提出一種傳輸任務(wù)調(diào)度方法和系統(tǒng)，針對現(xiàn)有數(shù)字電視業(yè)務(wù) 需要，對海量的超大容量的媒資文件的傳輸進(jìn)行了優(yōu)化，并可以根據(jù)服務(wù)器的 數(shù)量、服務(wù)器的性能進(jìn)行調(diào)優(yōu)，以達(dá)到高速處理、充分利用服務(wù)器性能、消除 傳輸服務(wù)器的單點故障。
本發(fā)明提出一種傳輸任務(wù)調(diào)度方法，用以通過一任務(wù)管理模塊、多個任務(wù) 調(diào)度模塊及多個任務(wù)處理模塊管理數(shù)字電視的文件傳輸，其中所述的多個任務(wù) 調(diào)度模塊及多個任務(wù)處理模塊配置在一處理服務(wù)器上，該方法包括以下步驟
通過一任務(wù)管理模塊管理需要傳輸?shù)娜蝿?wù)；
通過多個任務(wù)調(diào)度模塊從任務(wù)管理模塊獲取傳輸任務(wù)，其中每一任務(wù)調(diào)度 模塊具有根據(jù)處理服務(wù)器的性能確定的任務(wù)數(shù)量；
任務(wù)調(diào)度模塊將獲取的傳輸任務(wù)分配給任務(wù)處理模塊；以及 任務(wù)處理模塊根據(jù)任務(wù)調(diào)度模塊分配的傳輸任務(wù)創(chuàng)建相應(yīng)的處理線程以進(jìn)行傳輸任務(wù)處理。
在本發(fā)明的一實施例中，所述任務(wù)管理模塊為每個傳輸任務(wù)設(shè)置優(yōu)先級， 所述任務(wù)調(diào)度模塊根據(jù)優(yōu)先級從所述任務(wù)管理模塊獲取傳輸任務(wù)。
在本發(fā)明的一實施例中，在任務(wù)調(diào)度模塊從任務(wù)管理模塊獲取傳輸任務(wù) 后，任務(wù)管理模塊標(biāo)記該傳輸任務(wù)的狀態(tài)為"已分配"。
在本發(fā)明的一實施例中，上述方法還包括任務(wù)處理模塊將處理結(jié)果反饋 給任務(wù)調(diào)度模塊；以及任務(wù)調(diào)度模塊將處理結(jié)果反饋給任務(wù)管理模塊。
在本發(fā)明的一實施例中，在任務(wù)調(diào)度模塊將處理結(jié)果反饋給任務(wù)管理模塊 后，任務(wù)管理模塊標(biāo)記該傳輸任務(wù)的狀態(tài)為"己完成"。
在本發(fā)明的一實施例中，所述任務(wù)數(shù)量是預(yù)設(shè)的。
在本發(fā)明的一實施例中，所述任務(wù)數(shù)量是由任務(wù)調(diào)度模塊動態(tài)地根據(jù)處理 服務(wù)器的性能調(diào)節(jié)。
在本發(fā)明的一實施例中，所述處理服務(wù)器的性能包括CPU和內(nèi)存的使用率。
另一方面，本發(fā)明提出一種傳輸任務(wù)調(diào)度系統(tǒng)，包括 任務(wù)管理模塊，管理需要傳輸?shù)奈募畔ⅲ?br> 處理服務(wù)器，包括多個任務(wù)調(diào)度模塊和多個任務(wù)處理模塊，其中 多個任務(wù)調(diào)度模塊用以從任務(wù)管理模塊獲取傳輸任務(wù)并分配給任務(wù)處理
模塊，其中每一任務(wù)調(diào)度模塊具有根據(jù)處理服務(wù)器的性能確定的任務(wù)數(shù)量；
多個任務(wù)處理模塊，根據(jù)分配的傳輸任務(wù)創(chuàng)建相應(yīng)的處理線程以進(jìn)行傳輸
任務(wù)處理。
在本發(fā)明的一實施例中，所述任務(wù)數(shù)量是預(yù)設(shè)的。
在本發(fā)明的一實施例中，所述任務(wù)數(shù)量是由任務(wù)調(diào)度模塊動態(tài)地根據(jù)處理 服務(wù)器的性能調(diào)節(jié)。
在本發(fā)明的一實施例中，所述處理服務(wù)器的性能包括CPU和內(nèi)存的使用率。
綜上所述，本發(fā)明的傳輸任務(wù)調(diào)度方法和系統(tǒng)相比目前應(yīng)用于數(shù)字電視文 件傳輸?shù)募夹g(shù)具有以下優(yōu)點
1、提供系統(tǒng)管理人員配置參數(shù)的方式優(yōu)化傳輸服務(wù)器的處理性能。2、 任務(wù)調(diào)度模塊可以根據(jù)傳輸服務(wù)器CPU和內(nèi)存使用情況優(yōu)化處理性能。
3、 安全可靠性，由于數(shù)字電視業(yè)務(wù)對實時性要求高，需7X24小時運行， 基于策略的任務(wù)調(diào)度算法充分考慮系統(tǒng)的安全可靠性。由于釆用分布式和模塊 化的思想及對各種異常的充分處理，當(dāng)其中一任務(wù)調(diào)度及處理模塊由于因硬件 或網(wǎng)路產(chǎn)生異常時，其他的任務(wù)調(diào)度及處理模塊不受影響，依然正常運行，從 而保證系統(tǒng)穩(wěn)定、安全可靠。
4、 動態(tài)擴(kuò)展，伴隨數(shù)字電視業(yè)務(wù)的擴(kuò)展，對海量媒資處理量越來越大， 基于策略的任務(wù)調(diào)度方法和系統(tǒng)充分考慮系統(tǒng)處理性能的可擴(kuò)展性，對任務(wù)調(diào) 度及處理模塊可根據(jù)需要，動態(tài)增加。


為讓本發(fā)明的上述目的、特征和優(yōu)點能更明顯易懂，以下結(jié)合附圖對本發(fā)
明的具體實施方式
作詳細(xì)說明，其中
圖1示出根據(jù)本發(fā)明一實施例的系統(tǒng)架構(gòu)及其處理流程。
具體實施例方式
數(shù)字電視業(yè)務(wù)要求數(shù)字內(nèi)容傳輸做到高效、實時，同時數(shù)字內(nèi)容存在海量、 超大容量等特點，這就存在隨著業(yè)務(wù)的擴(kuò)展、系統(tǒng)負(fù)荷也在增加。因此希望在 處理數(shù)字內(nèi)容傳輸時充分考慮根據(jù)不同的策略可以隨時調(diào)整傳輸目的地，隨時 可以調(diào)整各傳輸服務(wù)器的處理性能。
在相同的網(wǎng)絡(luò)環(huán)節(jié)下，數(shù)字內(nèi)容傳輸主要是對超大文件進(jìn)行傳輸(2G以 上)，傳輸機(jī)制采用FTP,傳輸服務(wù)器的CPU、內(nèi)存是影響處理性能決定因素。
圖1示出根據(jù)本發(fā)明一實施例的系統(tǒng)架構(gòu)及其處理流程。此任務(wù)調(diào)度系統(tǒng)100 是由任務(wù)管理模塊110、多個任務(wù)調(diào)度模塊120-122以及多個任務(wù)處理模塊130-132 組成。由于每一任務(wù)調(diào)度模塊和任務(wù)處理模塊所執(zhí)行的操作大致相同，下面僅以任 務(wù)調(diào)度模塊120和任務(wù)處理模塊130為例進(jìn)行說明。
任務(wù)管理模塊管理110需要傳輸?shù)拿劫Y文件任務(wù)，每一傳輸任務(wù)可包括媒資 文件傳輸源信息、傳輸目的地信息、媒資文件信息等。任務(wù)調(diào)度模塊120和任務(wù)處 理模塊130部署在處理服務(wù)器140上，任務(wù)調(diào)度模塊120負(fù)責(zé)從任務(wù)管理模塊110獲取傳輸任務(wù)，創(chuàng)建相應(yīng)的任務(wù)處理模塊的線程，并將任務(wù)分配給任務(wù)處理模塊 130;任務(wù)處理模塊130根據(jù)任務(wù)調(diào)度模塊120分配的任務(wù)進(jìn)行任務(wù)處理，并將處
理結(jié)果通過任務(wù)調(diào)度模塊120反饋給任務(wù)管理模塊110。
下面具體描述任務(wù)調(diào)度方法的處理流程。
步驟S1，任務(wù)管理模塊IIO管理需要傳輸?shù)娜蝿?wù)，例如創(chuàng)建傳輸任務(wù)，設(shè)
定這些傳輸任務(wù)的媒資文件傳輸源信息、傳輸目的地信息、媒資文件信息、任務(wù)
狀態(tài)、優(yōu)先級等信息；任務(wù)狀態(tài)例如包括"未分配"，"己分配"，"已完成"等。
步驟S2，多個任務(wù)調(diào)度模塊120會動態(tài)地從任務(wù)管理模塊IIO獲取傳輸任 務(wù)，其中每一任務(wù)調(diào)度模塊120具有根據(jù)處理服務(wù)器的性能確定的任務(wù)數(shù)量， 處理服務(wù)器的性能可包括CPU、內(nèi)存等對文件傳輸影響較大的參數(shù)。
在任務(wù)調(diào)度模塊120從任務(wù)管理模塊IIO獲取傳輸任務(wù)后，任務(wù)管理模塊 IIO標(biāo)記該傳輸任務(wù)的狀態(tài)為"已分配"。
步驟S3，任務(wù)調(diào)度模塊120將獲取的傳輸任務(wù)分配給該任務(wù)處理模塊。
在步驟S4，任務(wù)處理模塊130根據(jù)任務(wù)調(diào)度模塊IIO分配的傳輸任務(wù)創(chuàng)建 相應(yīng)的處理線程進(jìn)行任務(wù)處理。
在本實施例中，任務(wù)調(diào)度模塊120的任務(wù)數(shù)和任務(wù)處理模塊130的線程數(shù) 是相同的，任務(wù)調(diào)度模塊獲取了多少任務(wù)數(shù)，就創(chuàng)建多少任務(wù)處理線程。
在步驟S5，任務(wù)處理模塊130將處理結(jié)果反饋給任務(wù)調(diào)度模塊120;
在步驟S6，任務(wù)調(diào)度模塊120將處理結(jié)果反饋給任務(wù)管理模塊110。
在任務(wù)調(diào)度模塊120將處理結(jié)果反饋給任務(wù)管理模塊IIO后，任務(wù)管理模 塊IIO標(biāo)記該傳輸任務(wù)的狀態(tài)為"已完成"。
當(dāng)任務(wù)處理模塊130中的一個任務(wù)處理線程完成后，任務(wù)調(diào)度模塊120實 時從任務(wù)管理模塊IIO獲取新的任務(wù)，以保持任務(wù)處理線程的數(shù)量與設(shè)置的任 務(wù)數(shù)量一致。
在本發(fā)明的實現(xiàn)中，提供兩種調(diào)整任務(wù)數(shù)量方式 一種預(yù)設(shè)方式，即系統(tǒng) 管理人員根據(jù)服務(wù)器處理性能自行設(shè)置各傳輸服務(wù)器的處理參數(shù)(例如根據(jù)傳 輸服務(wù)器的性能調(diào)整任務(wù)調(diào)度模塊的任務(wù)數(shù)量及各服務(wù)器任務(wù)處理的線程 數(shù))；另一種是動態(tài)方式，即任務(wù)調(diào)度模塊根據(jù)運行過程中CPU、內(nèi)存的使用情況自動調(diào)節(jié)任務(wù)調(diào)度模塊120的任務(wù)數(shù)和任務(wù)處理模塊130的線程數(shù)。
在動態(tài)方式中，可以設(shè)置CPU和內(nèi)存的上下閥值；任務(wù)調(diào)度模塊120統(tǒng)
計服務(wù)器CPU和內(nèi)存的使用率，當(dāng)CPU和內(nèi)存的使用率均小于下閥值時，任
務(wù)調(diào)度模塊自動增加任務(wù)數(shù)(每次加l);當(dāng)CPU或內(nèi)存的使用率有一個超過
上閥值，則任務(wù)調(diào)度模塊自動減少任務(wù)數(shù)(每次減l)。
綜上所述，本發(fā)明的傳輸任務(wù)調(diào)度方法和系統(tǒng)相比目前應(yīng)用于數(shù)字電視文
件傳輸?shù)募夹g(shù)具有以下優(yōu)點
1、 提供系統(tǒng)管理人員配置參數(shù)的方式優(yōu)化傳輸服務(wù)器的處理性能。
2、 任務(wù)調(diào)度模塊可以根據(jù)傳輸服務(wù)器CPU和內(nèi)存使用情況優(yōu)化處理性能。
3、 安全可靠性，由于數(shù)字電視業(yè)務(wù)對實時性要求高，需7X24小時運行， 基于策略的任務(wù)調(diào)度算法充分考慮系統(tǒng)的安全可靠性。由于采用分布式和模塊 化的思想及對各種異常的充分處理，當(dāng)其中一任務(wù)調(diào)度及處理模塊由于因硬件 ^K網(wǎng)路產(chǎn)生異常時，^ 也的任務(wù)調(diào)度及處理模塊不受影響，依然正常運行，—從 而保證系統(tǒng)穩(wěn)定、安全可靠。
4、 動態(tài)擴(kuò)展，伴隨數(shù)字電視業(yè)務(wù)的擴(kuò)展，對海量媒資處理量越來越大， 基于策略的任務(wù)調(diào)度方法和系統(tǒng)充分考慮系統(tǒng)處理性能的可擴(kuò)展性，對任務(wù)調(diào) 度及處理模塊可根據(jù)需要，動態(tài)增加。
雖然本發(fā)明已以較佳實施例揭示如上，然其并非用以限定本發(fā)明，任何本 領(lǐng)域技術(shù)人員，在不脫離本發(fā)明的精神和范圍內(nèi)，當(dāng)可作些許的修改和完善， 因此本發(fā)明的保護(hù)范圍當(dāng)以權(quán)利要求書所界定的為準(zhǔn)。
權(quán)利要求
1、一種傳輸任務(wù)調(diào)度方法，用以通過一任務(wù)管理模塊、多個任務(wù)調(diào)度模塊及多個任務(wù)處理模塊管理數(shù)字電視的文件傳輸，其中所述的多個任務(wù)調(diào)度模塊及多個任務(wù)處理模塊配置在一處理服務(wù)器上，該方法包括以下步驟通過一任務(wù)管理模塊管理需要傳輸?shù)娜蝿?wù)；通過多個任務(wù)調(diào)度模塊從任務(wù)管理模塊獲取傳輸任務(wù)，其中每一任務(wù)調(diào)度模塊具有根據(jù)處理服務(wù)器的性能確定的任務(wù)數(shù)量；任務(wù)調(diào)度模塊將獲取的傳輸任務(wù)分配給任務(wù)處理模塊；以及任務(wù)處理模塊根據(jù)任務(wù)調(diào)度模塊分配的傳輸任務(wù)創(chuàng)建相應(yīng)的處理線程以進(jìn)行傳輸任務(wù)處理。
2、 如權(quán)利要求1所述的方法，其特征在于，所述任務(wù)管理模塊為每個傳 輸任務(wù)設(shè)置優(yōu)先級，所述任務(wù)調(diào)度模塊根據(jù)優(yōu)先級從所述任務(wù)管理模塊獲取傳 輸任務(wù)。
3、 如權(quán)利要求1所述的方法，其特征在于，在任務(wù)調(diào)度模塊從任務(wù)管理 模塊獲取傳輸任務(wù)后，任務(wù)管理模塊標(biāo)記該傳輸任務(wù)的狀態(tài)為"已分配"。
4、 如權(quán)利要求l所述的方法，其特征在于，還包括 任務(wù)處理模塊將處理結(jié)果反饋給任務(wù)調(diào)度模塊；以及 任務(wù)調(diào)度模塊將處理結(jié)果反饋給任務(wù)管理模塊。
5、 如權(quán)利要求4所述的方法，其特征在于，在任務(wù)調(diào)度模塊將處理結(jié)果 反饋給任務(wù)管理模塊后，任務(wù)管理模塊標(biāo)記該傳輸任務(wù)的狀態(tài)為"已完成"。
6、 如權(quán)利要求l所述的方法，其特征在于，所述任務(wù)數(shù)量是預(yù)設(shè)的。
7、 如權(quán)利要求1所述的方法，其特征在于，所述任務(wù)數(shù)量是由任務(wù)調(diào)度 模塊動態(tài)地根據(jù)處理服務(wù)器的性能調(diào)節(jié)。
8、 如權(quán)利要求1或7所述的方法，其特征在于，所述處理服務(wù)器的性能 包括CPU和內(nèi)存的使用率。
9、 一種傳輸任務(wù)調(diào)度系統(tǒng)，包括 任務(wù)管理模塊，管理需要傳輸?shù)奈募畔?；處理服?wù)器，包括多個任務(wù)調(diào)度模塊和多個任務(wù)處理模塊，其中多個任務(wù)調(diào)度模塊用以從任務(wù)管理模塊獲取傳輸任務(wù)并分配給任務(wù)處理 模塊，其中每一任務(wù)調(diào)度模塊具有根據(jù)處理服務(wù)器的性能確定的任務(wù)數(shù)量；多個任務(wù)處理模塊，根據(jù)分配的傳輸任務(wù)創(chuàng)建相應(yīng)的處理線程以進(jìn)行傳輸 任務(wù)處理。
10、 如權(quán)利要求9所述的系統(tǒng)，其特征在于，所述任務(wù)數(shù)量是預(yù)設(shè)的。
11、 如權(quán)利要求9所述的系統(tǒng)，其特征在于，所述任務(wù)數(shù)量是由任務(wù)調(diào)度 模塊動態(tài)地根據(jù)處理服務(wù)器的性能調(diào)節(jié)。
12、 如權(quán)利要求9或11所述的系統(tǒng)，其特征在于，所述處理服務(wù)器的性 能包括CPU和內(nèi)存的使用率。
全文摘要
本發(fā)明涉及一種傳輸任務(wù)調(diào)度方法和系統(tǒng)，用以通過一任務(wù)管理模塊、多個任務(wù)調(diào)度模塊及多個任務(wù)處理模塊管理數(shù)字電視的文件傳輸，其中所述的多個任務(wù)調(diào)度模塊及多個任務(wù)處理模塊配置在一處理服務(wù)器上，該方法包括以下步驟通過一任務(wù)管理模塊管理需要傳輸?shù)娜蝿?wù)；通過多個任務(wù)調(diào)度模塊從任務(wù)管理模塊獲取傳輸任務(wù)，其中每一任務(wù)調(diào)度模塊具有根據(jù)處理服務(wù)器的性能確定的任務(wù)數(shù)量；任務(wù)調(diào)度模塊將獲取的傳輸任務(wù)分配給任務(wù)處理模塊；以及任務(wù)處理模塊根據(jù)任務(wù)調(diào)度模塊分配的傳輸任務(wù)創(chuàng)建相應(yīng)的處理線程以進(jìn)行傳輸任務(wù)處理。
文檔編號H04L29/06GK101442534SQ20081020812
公開日2009年5月27日 申請日期2008年12月29日 優(yōu)先權(quán)日2008年12月29日
發(fā)明者顧亞平 申請人:上海全景數(shù)字技術(shù)有限公司