專利名稱：面向多媒體類儀器設備的嵌入式軟件應用框架及應用的制作方法
技術領域：
本發(fā)明涉及一種數字化多媒體類儀器設備的嵌入式系統(tǒng)的開發(fā)方法 及裝置，特別指一種應用軟件框架快速開發(fā)多媒體類儀器設備的嵌入式系 統(tǒng)的方法及裝置。
背景技術：
音視頻技術、通信和圖像技術等多媒體技術與數字化儀器的結合，賦 予了儀器設備新的功能業(yè)務，大量的多媒體類儀器設備(比如消費電子和 視頻監(jiān)控等)規(guī)模呈爆炸性增長。目前，在生產生活領域，多媒體類儀器 設備的應用范圍廣闊，應用需求日益更新?，F有的數字化多々某體類儀器設備的結構一般如圖1所示，包括主處理單元100、音頻輸A/輸出模塊110、 視頻輸入/輸出模塊120， UI交互模塊140以及其他交互接口 130。主處理 單元100以嵌入式處理器或DSP處理器101為核心，帶有存儲器102進 行應用程序存儲和數據存儲。音頻輸入/輸出模塊110，連接到主處理單元 100，并通過話筒111等進行音頻數據采集，采集到的數據通過音頻編解 碼器113進行編碼，編碼音頻數據可以通過音頻編解碼器113進行解碼揚 聲器112輸出。視頻輸入/輸出模塊120，連接到主處理單元IOO，并通過 攝像頭121等進行視頻數據采集，采集到的數據通過視頻編解碼器123進 行編碼，接收到的編碼視頻數據可以通過視頻編解碼器123進行解碼LCD 122等顯示輸出。其他交互接口 130，包括調試接口 131、 USB接口 132 或LED顯示133等等，實現用戶的其他人機操作。UI交互模塊140,用 戶通過GUI界面和鍵盤等對設備進行操作。多媒體類儀器設備一般采用嵌入式處理器或DSP處理器，實現系統(tǒng) 的高性能要求，而且系統(tǒng)的功能繁復，所以面向該領域的系統(tǒng)開發(fā)十分復 雜和多樣化，為系統(tǒng)的快速開發(fā)帶來了阻礙?？蚣苁且豁椨行У能浖陀眉夹g，近年來成為軟件工程的研究熱點， 是實現軟件開發(fā)標準化、可重用性和可擴展性的有效途徑，而且在嵌入式系統(tǒng)領域也已經有較多的應用成功的例子。框架反映了 一個特定領域的軟 件體系結構，為軟件開發(fā)提供了設計和代碼復用。研究開發(fā)一個面向多媒 體類儀器設備的嵌入式系統(tǒng)的軟件框架，對系統(tǒng)開發(fā)是具有指導意義和工 程價值的。應用軟件框架進行多媒體類儀器設備嵌入式系統(tǒng)快速開發(fā)是有 效提高開發(fā)效率、保證系統(tǒng)可靠性和便于系統(tǒng)維護的一個發(fā)展方向。發(fā)明內容本發(fā)明提供了 一種面向多媒體類儀器設備的嵌入式軟件應用框架。一種面向多々某體類儀器設備的嵌入式軟件應用框架，包括UI系統(tǒng)才莫塊，用于完成系統(tǒng)資源和設備初始化，包括編解碼Codec 庫、顯示渲染Render設備、協(xié)議棧，進行用戶界面交互、定義定時事件 和網絡多媒體協(xié)議傳輸事件；播放和事件處理模塊，用于解析音視頻編碼類型，創(chuàng)建音視頻解碼線 程；包括用于解碼輸出視頻數據的視頻解碼模塊、用于解碼輸出音頻數據 的音頻解碼才莫塊、用于完成音^f見頻緩沖區(qū)管理和^L音頻同步功能、處理用 戶事件和網絡多媒體數據到達事件的事件處理模塊；網絡發(fā)送數據模塊，用于與DSP協(xié)處理器交互，根據UI系統(tǒng)模塊定 義的定時參數，定時從DSP協(xié)處理器獲取音視頻編碼數據；接收到的數 據采用RTP打包通過網絡發(fā)送，或本地存儲。所述的UI系統(tǒng)模塊支持流媒體類協(xié)議、電話呼叫類協(xié)議、網絡傳輸 類協(xié)議。本發(fā)明多媒體類儀器嵌入式軟件應用框架是經過功能驗證的，設計合 理；開發(fā)者可在開發(fā)裝置提供的開發(fā)環(huán)境中，像，塔積木一樣方便地組合資 源搭建應用系統(tǒng)，大幅度節(jié)省了時間，并提高了軟件質量。本發(fā)明還提供了 一種應用上述嵌入式軟件應用框架快速開發(fā)多媒體 類儀器嵌入式系統(tǒng)的裝置。一種基于上述方法快速開發(fā)多媒體類儀器嵌入式系統(tǒng)的裝置，包括(a) 面向多媒體類儀器設備的系統(tǒng)支撐，提供一套基于多種典型嵌 入式處理器的硬件平臺，面向硬件平臺的板級支持包BSP (Board Support Package)和驅動程序，以及嵌入式操作系統(tǒng)SmartOSDI;(b) 圖形化集成開發(fā)環(huán)境IDE( Integrated Development Environment )，
集成了面向多媒體類儀器設備的嵌入式軟件應用構件庫和嵌入式軟件應 用框架，實現對嵌入式軟件應用構件庫和嵌入式軟件應用框架的管理和使 用，為嵌入式系統(tǒng)的開發(fā)提供了工具和環(huán)境。所述的嵌入式軟件應用構件庫，包括圖形用戶構件庫，用于提供一組GUI應用程序開發(fā)的接口支持； 數據管理構件庫，用于提供基于"鍵-數據"的數據管理接口支持； 信號及圖像處理算法構件庫，用于提供多媒體類儀器設備應用的音視頻信號及圖像處理算法支持；數字化儀器專用接口構件庫，用于提供多媒體類儀器設備應用的通訊接口等支持；多媒體專用構件庫，用于提供網絡多媒體通訊協(xié)議、流媒體傳輸協(xié)議 和網絡多媒體傳輸QoS控制支持。所述的多媒體專用構件庫支持網絡多媒體通訊協(xié)議，包括H.323協(xié)議和SIP協(xié)議；流々某體傳輸協(xié)議，包括HTTP、 RTSP、 SDP、 RTP/RTCP、 TS STREAM 等協(xié)議；網絡多媒體傳輸QoS控制，包括自適應抖動緩沖、音視頻同步和視頻 傳輸策略。本發(fā)明開發(fā)裝置為多媒體類儀器設備嵌入式軟件應用框架提供應用 開發(fā)的工具和環(huán)境。本發(fā)明進一步提供了一種基于上述裝置快速開發(fā)多媒體類儀器設備 嵌入式系統(tǒng)的方法。一種基于上述裝置快速開發(fā)多媒體類儀器設備嵌入式系統(tǒng)的方法，包 括以下步驟步驟501 ，針對具體的多媒體類儀器設備進行應用需求分析； 步驟502,在開發(fā)裝置中搭建硬件平臺和內核系統(tǒng)； 步驟503，在圖形化集成開發(fā)環(huán)境中對嵌入式軟件應用框架進行具體 的適應性〗務改；步驟504，生成嵌入式系統(tǒng)代碼；步驟505,對生成的嵌入式系統(tǒng)代碼進行交叉編譯，下栽至目標板完 成嵌入式系統(tǒng)設計。
本發(fā)明方法基于嵌入式軟件應用框架和嵌入式軟件應用構件庫，實現 了多媒體類儀器設備嵌入式系統(tǒng)開發(fā)的標準化、模塊化、構件化和重用性。很好地實現了系統(tǒng)的模塊化和；同時構件庫和應用框架所包含的軟件元件 都是已經通過功能驗證的，保證了系統(tǒng)的合理性和可靠性。同時嵌入式軟 件應用框架提供了 一套框架原始代碼，無需更改就可以生成可執(zhí)行的多媒 體類儀器設備嵌入式軟件程序，對框架原始代碼進行替換和修改，即可達 到符合具體多士某體應用的系統(tǒng)需求。


圖l為現有數字化多媒體類儀器設備的硬件系統(tǒng)結構示意框圖； 圖2為本發(fā)明面向數字化多媒體類儀器設備嵌入式系統(tǒng)的軟件應用框 架的結構示意框圖；圖3為本發(fā)明開發(fā)裝置的結構示意框圖；圖4為多々某體專用構件庫的結構示意框圖；圖5為本發(fā)明快速開發(fā)多媒體類儀器設備嵌入式系統(tǒng)的流程圖。
具體實施方式
如圖2所示， 一種面向多媒體類儀器設備的嵌入式軟件應用框架，包括UI系統(tǒng)模塊200,用于完成系統(tǒng)資源和設備初始化，包括編解碼Codec 庫、Render設備、協(xié)議棧等，支持的多媒體網絡協(xié)議包括流媒體類協(xié)議 (RTSP、 MMS、 HTTP),電話呼叫類協(xié)議(H.323、 SIP、 MGCP)，網絡 傳輸類協(xié)議(RTP、 RTSP、 UDP)等；接收用戶界面事件，包括快進、停 止、開始播放、以及其他呼叫等操作，并通知事件處理模塊213;定義定 時事件和網絡多媒體協(xié)議傳輸事件。播放和事件處理模塊210，用于解析音視頻編碼類型，創(chuàng)建音視頻解 碼線程，包括視頻解碼模塊211,用于解碼輸出視頻數據；音頻解碼模塊212，用于解碼輸出音頻數據；事件處理模塊213，用于完成音視頻緩沖區(qū)管理和視音頻同步功能、 處理用戶事件和網絡多媒體數據到達事件。 網絡發(fā)送數據模塊220，用于與DSP協(xié)處理器交互，根據UI系統(tǒng)模塊定義的定時參數，定時從DSP協(xié)處理器獲取音視頻編碼數據；接收到的數據采用RTP打包通過網絡發(fā)送，或本地存儲。如圖3所示， 一種數字化多媒體類儀器設備嵌入式系統(tǒng)開發(fā)裝置，包括面向多媒體類儀器設備嵌入式系統(tǒng)支撐400，提供了面向多媒體類儀 器設備的基于多種典型嵌入式處理器的硬件平臺401、基于多種典型嵌入 式處理器的板級支持包BSP及驅動程序402,以及面向數字化儀器設備的 嵌入式操作系統(tǒng)SmartOSDI 403 。圖形化集成開發(fā)環(huán)境410，以圖形化的形式向開發(fā)者提供了工具和資 源。包括編輯器、編譯器和調試工具等，各種交叉編譯環(huán)境，利用構件庫 和框架進行系統(tǒng)快速開發(fā)的工具，對構件庫和框架進行二次開發(fā)的工具。圖形化集成開發(fā)環(huán)境410集成了多々某體類儀器設備嵌入式軟件應用構 件庫411，包括圖形用戶構件庫414、數據管理構件庫415、信號及圖像處 理算法構件庫416、數字化儀器專用接口構件庫417和多媒體專用構件 418,供框架實現開發(fā)調用。圖形化集成開發(fā)環(huán)境410集成了多媒體類儀器設備嵌入式軟件應用框 架412,提供復用代碼，系統(tǒng)開發(fā)者可以對原始代碼進行替換和刪減等操 作，最終獲得系統(tǒng)軟件代碼。同時，圖形化集成開發(fā)環(huán)境410提供了對多媒體類儀器設備嵌入式軟 件應用構件庫的擴展實現414,為應用的需求更新提供實現機制。如圖4所示，多媒體專用構件庫實現了網絡多々某體通訊協(xié)議300、流 媒體傳輸協(xié)議310和網絡多媒體傳輸QoS支持320。網絡多媒體通訊協(xié)議 300包括H.323協(xié)議支持和SIP協(xié)議支持。流媒體傳輸協(xié)議310包括HTTP、 RTSP、 SDP、 RTP/RTCP、 TS STREAM等協(xié)議支持。網絡多媒體傳輸QoS 支持320包括自適應抖動緩沖、音視頻同步和視頻傳輸策略等。如圖5所示，應用軟件框架快速開發(fā)數字化多媒體類儀器設備嵌入式 系統(tǒng)的流程如下首先針對具體的多媒體類儀器設備系統(tǒng)進行需求分析 501;在圖3提供的開發(fā)平臺裝置上進行應用系統(tǒng)的硬件平臺及系統(tǒng)內核 的搭建502;在集成開發(fā)環(huán)境IDE中對多媒體類儀器設備嵌入式軟件應用 框架作具體需求的適應性修改503;框架適應性修改，進行代碼替換或刪
減后，就可以生成具體的應用系統(tǒng)代碼504，通過交叉編譯等步驟后下載 至目標板即可完成系統(tǒng)開發(fā)505。
權利要求
1.一種面向多媒體類儀器設備的嵌入式軟件應用框架，其特征在于包括用戶接口UI系統(tǒng)模塊(200)，用于完成系統(tǒng)資源和設備初始化，包括編解碼Codec庫、顯示渲染Render設備、協(xié)議棧，進行用戶界面交互、定義定時事件和網絡多媒體協(xié)議傳輸事件；播放和事件處理模塊(210)，用于解析音視頻編碼類型，創(chuàng)建音視頻解碼線程；包括用于解碼輸出視頻數據的視頻解碼模塊(211)、用于解碼輸出音頻數據的音頻解碼模塊(212)、用于完成音視頻緩沖區(qū)管理和視音頻同步功能、處理用戶事件和網絡多媒體數據到達事件的事件處理模塊(213)；網絡發(fā)送數據模塊(220)，用于與DSP協(xié)處理器交互，根據UI系統(tǒng)模塊(200)定義的定時參數，定時從DSP協(xié)處理器獲取音視頻編碼數據；接收到的數據采用實時傳輸協(xié)議RTP打包通過網絡發(fā)送，或本地存儲。
2. 如權利要求1所述的嵌入式軟件應用框架，其特征在于所述的 UI系統(tǒng)模塊(200)支持流媒體類協(xié)議、電話呼叫類協(xié)議、網絡傳輸類協(xié) 議。
3. —種應用如權利要求1-2任一所述嵌入式軟件框架快速開發(fā)多媒 體類儀器設備嵌入式系統(tǒng)的裝置，包括(a) 面向多媒體類儀器設備的系統(tǒng)支撐，提供一套基于多種典型嵌 入式處理器的硬件平臺，面向硬件平臺的板級支持包BSP和驅動程序，以 及嵌入式操作系統(tǒng)SmartOSDI;(b) 圖形化集成開發(fā)環(huán)境IDE，集成了面向多媒體類儀器設備的嵌 入式軟件應用構件庫和嵌入式軟件應用框架，實現對嵌入式軟件應用構件 庫和嵌入式軟件應用框架的管理和使用，為嵌入式系統(tǒng)的開發(fā)提供了工具 和環(huán)境。
4. 如權利要求3所述的裝置，其特征在于所述的嵌入式軟件應用 構件庫，包括圖形用戶構件庫，用于提供一組圖形用戶接口 GUI應用程序開發(fā)的接 口支持；數據管理構件庫，用于提供基于"鍵-數據"的數據管理接口支持； 信號及圖像處理算法構件庫，用于提供多媒體類儀器設備應用的音視頻信號及圖像處理算法支持；數字化儀器專用接口構件庫，用于提供多媒體類儀器設備應用的通訊 接口等支持；多媒體專用構件庫，用于提供網絡多媒體通訊協(xié)議、流媒體傳輸協(xié)議 和網絡多媒體傳輸QoS控制支持。
5. 如權利要求4所述的裝置，其特征在于所述的多媒體專用構件 庫支持網絡多々某體通訊協(xié)議，包括H.323協(xié)議和SIP協(xié)議； 流+某體傳輸協(xié)議，包括HTTP、 RTSP、 SDP、 RTP/RTCP、 TS STREAM 等協(xié)議；網絡多媒體傳輸QoS控制，包括自適應抖動緩沖、音視頻同步和視頻 傳輸策略。
6. —種基于如權利要求3所述裝置快速開發(fā)多i某體類儀器設備嵌入 式嵌入式系統(tǒng)的方法，其特征在于包括以下步驟步驟501,針對具體的多媒體類儀器設備進行應用需求分析； 步驟502，在開發(fā)裝置中搭建硬件平臺和內核系統(tǒng)； 步驟503，在圖形化集成開發(fā)環(huán)境中對嵌入式軟件應用框架進行具體 的適應性^^改；步驟504,生成嵌入式系統(tǒng)代碼；步驟505,對生成的嵌入式系統(tǒng)代碼進行交叉編譯，下載至目標板完 成嵌入式系統(tǒng)_沒計。
全文摘要
本發(fā)明公開了一種應用軟件框架快速開發(fā)多媒體類儀器設備嵌入式軟件系統(tǒng)的方法與裝置。該方法提供了一個面向多媒體類儀器設備的嵌入式軟件應用框架，它建立在一組面向數字化多媒體類儀器設備的嵌入式軟件應用構件庫基礎上，特別是一個多媒體專用構件庫。本發(fā)明實現了多媒體應用系統(tǒng)的業(yè)務功能流程，還提供功能強大的音視頻編解碼器。應用上述方法，一個多媒體類儀器嵌入式系統(tǒng)的平臺裝置，為快速開發(fā)提供了工具和環(huán)境支撐。由于本發(fā)明的面向多媒體類儀器設備的嵌入式軟件應用框架是已經通過功能驗證的，大幅度縮短了開發(fā)周期，提高了軟件質量，并達到了系統(tǒng)軟件標準化、模塊化和重用性。
文檔編號H04N7/26GK101166274SQ20071006995
公開日2008年4月23日 申請日期2007年7月12日 優(yōu)先權日2007年7月12日
發(fā)明者夏一行, 陳耀武 申請人:浙江大學