專(zhuān)利名稱(chēng)：訪問(wèn)網(wǎng)格的增強(qiáng)型視頻服務(wù)模式的實(shí)現(xiàn)方法
技術(shù)領(lǐng)域：
本發(fā)明涉及訪問(wèn)網(wǎng)格和增強(qiáng)現(xiàn)實(shí)領(lǐng)域，特別是涉及面向訪問(wèn)網(wǎng)格應(yīng)用的新的增強(qiáng)型視 頻服務(wù)模式。
背景技術(shù)：
訪問(wèn)網(wǎng)格(Access Grid,簡(jiǎn)稱(chēng)AG)是網(wǎng)格技術(shù)的重要組成部分，是網(wǎng)格系統(tǒng)的訪問(wèn) 界面，它在網(wǎng)格環(huán)境下結(jié)合人機(jī)交互、圖形圖像、虛擬現(xiàn)實(shí)、多媒體等技術(shù)，為網(wǎng)格應(yīng)用 提供沉浸式、交互式、協(xié)同式的訪問(wèn)環(huán)境，主要包括組與組之間的交流方式、網(wǎng)格資源的 訪問(wèn)方式、用戶(hù)操作的協(xié)同方式等。多個(gè)訪問(wèn)網(wǎng)格用戶(hù)進(jìn)入?yún)f(xié)同工作環(huán)境后，經(jīng)常需要在 描述真實(shí)環(huán)境的視頻場(chǎng)景中協(xié)同操作網(wǎng)格服務(wù)結(jié)果的三維幾何模型，這要求訪問(wèn)網(wǎng)格能夠 拓展其服務(wù)功能以支持這一類(lèi)型的典型應(yīng)用，在視頻場(chǎng)景中同時(shí)提供三維幾何模型的共享 服務(wù)，支持協(xié)同工作環(huán)境中用戶(hù)與模型之間的交互作用。但是目前訪問(wèn)網(wǎng)格的視頻服務(wù)只 能構(gòu)造一個(gè)共享的視頻場(chǎng)景，而不能支持在視頻場(chǎng)景中操作三維幾何模型。
增強(qiáng)現(xiàn)實(shí)(Augmented Reality,簡(jiǎn)稱(chēng)AR)技術(shù)借助必要的設(shè)備使計(jì)算機(jī)生成的虛擬 環(huán)境(Virtual Environment,簡(jiǎn)稱(chēng)VE)與客觀存在的真實(shí)環(huán)境(Real Environment,簡(jiǎn)稱(chēng) RE)共存于同一個(gè)增強(qiáng)現(xiàn)實(shí)系統(tǒng)中，從感官和體驗(yàn)效果上給用戶(hù)呈現(xiàn)出虛擬對(duì)象(Virtual Object)與真實(shí)環(huán)境融為一體的增強(qiáng)現(xiàn)實(shí)環(huán)境。由于增強(qiáng)現(xiàn)實(shí)技術(shù)具有虛實(shí)結(jié)合、實(shí)時(shí)交 互、三維注冊(cè)的特點(diǎn)，可以將真實(shí)環(huán)境的視頻序列與虛擬環(huán)境的三維幾何模型融為一體， 所以需要結(jié)合增強(qiáng)現(xiàn)實(shí)技術(shù)，在訪問(wèn)網(wǎng)格系統(tǒng)中提出一種新型的視頻服務(wù)模式，將訪問(wèn)網(wǎng) 格的真實(shí)視頻場(chǎng)景與網(wǎng)格服務(wù)結(jié)果的三維幾何模型融為一體，使用戶(hù)能夠在訪問(wèn)網(wǎng)格的真 實(shí)視頻場(chǎng)景中操作網(wǎng)格服務(wù)結(jié)果的三維幾何模型。
美國(guó)阿岡(Argonne)國(guó)家實(shí)驗(yàn)室研究開(kāi)發(fā)的訪問(wèn)網(wǎng)格工具包Access Grid Toolkit,能 夠在協(xié)作環(huán)境中提供各節(jié)點(diǎn)的視頻和音頻資源，通過(guò)基于VIC (Video Conferencing)的 視頻服務(wù)實(shí)現(xiàn)群組之間的可視化交流，為用戶(hù)構(gòu)造一個(gè)共享的可視化協(xié)作空間。但是該訪 問(wèn)網(wǎng)格工具包難以同時(shí)共享多種形式的網(wǎng)格服務(wù)結(jié)果，特別是難以在基于視頻資源的可視 化協(xié)作空間中共享和操作三維幾何模型，這限制了網(wǎng)格用戶(hù)與網(wǎng)格資源之間的交互作用， 也降低了網(wǎng)格用戶(hù)之間的協(xié)作效率。
美國(guó)國(guó)家自然科學(xué)基金會(huì)(NSF)資助的地震工程和仿真網(wǎng)格計(jì)劃(Network for Earthquake Engineering and Simulation Grid,簡(jiǎn)稱(chēng)NEESgrid)包括一個(gè)面向地震工程的虛擬協(xié)作環(huán)境，基于實(shí)驗(yàn)設(shè)備的集成和共享系統(tǒng)，協(xié)作用戶(hù)能夠通過(guò)視頻方式遠(yuǎn)程觀測(cè)實(shí)驗(yàn) 進(jìn)展情況，也能夠遠(yuǎn)程操作和控制節(jié)點(diǎn)設(shè)備。例如獲取當(dāng)前實(shí)驗(yàn)設(shè)備執(zhí)行情況的視頻圖 像，標(biāo)定和繪制實(shí)時(shí)實(shí)驗(yàn)數(shù)據(jù)的可視化結(jié)果，基于標(biāo)繪實(shí)驗(yàn)數(shù)據(jù)操作和控制實(shí)驗(yàn)儀器。但 是，該協(xié)作環(huán)境將遠(yuǎn)程觀測(cè)與遠(yuǎn)程控制分成兩個(gè)部分，只能夠通過(guò)實(shí)驗(yàn)數(shù)據(jù)間接地操作和 控制遠(yuǎn)程設(shè)備，不能夠在視頻圖像場(chǎng)景中基于三維模型直觀地操控實(shí)驗(yàn)設(shè)備。
荷蘭遠(yuǎn)程信息學(xué)院(Telematic Institute)和阿姆斯特丹大學(xué)共同承擔(dān)的虛擬協(xié)作實(shí)驗(yàn) 室(Collaboratory.nl，簡(jiǎn)稱(chēng)CNL)項(xiàng)目構(gòu)建了遠(yuǎn)程操作設(shè)備資源的協(xié)同工作空間，能夠支 持用戶(hù)與設(shè)備資源的遠(yuǎn)程交互。它利用視頻服務(wù)器將共享儀器實(shí)驗(yàn)結(jié)果的視頻圖像傳輸給 協(xié)同工作空間的相關(guān)操控和可視化工具，用戶(hù)通過(guò)共享的視頻信息協(xié)同討論實(shí)驗(yàn)情況和確 定操作決策。但是協(xié)同工作空間僅僅能夠以可視化形式共享儀器設(shè)備產(chǎn)生的實(shí)驗(yàn)數(shù)據(jù)，不 能夠提供儀器設(shè)備在實(shí)驗(yàn)過(guò)程中的工作狀態(tài)，并且用戶(hù)可以直接操控的界面較簡(jiǎn)單。
加拿大多倫多大學(xué)的ETC實(shí)驗(yàn)室，基于增強(qiáng)現(xiàn)實(shí)技術(shù)完成真實(shí)環(huán)境的物體移動(dòng)操 作，將儀器設(shè)備的幾何模型疊加于遠(yuǎn)端場(chǎng)所的視頻圖像，使用戶(hù)能夠操作幾何模型完成仿 真任務(wù)，同時(shí)通過(guò)視頻圖像反饋實(shí)驗(yàn)情況。但是，該方法要求遠(yuǎn)程操作的工作空間和用戶(hù) 視點(diǎn)為靜態(tài)不變的，只有當(dāng)某一操作任務(wù)終止才會(huì)更新工作空間的視頻圖像，這種交互模 式不能夠?qū)崟r(shí)表現(xiàn)工作空間的動(dòng)態(tài)變化，并且不支持多人協(xié)同工作。所以該方法不適合表 現(xiàn)訪問(wèn)網(wǎng)格環(huán)境下人與人之間的交流、人與網(wǎng)格服務(wù)結(jié)果之間的交互。
韓國(guó)光州科技學(xué)院(Gwangju Institute of Science and Technology,簡(jiǎn)稱(chēng)GIST)的 Sangwoo Han等提出了面向訪問(wèn)網(wǎng)格的擴(kuò)展型視頻服務(wù)(Extended Video Service),支持 訪問(wèn)網(wǎng)格傳輸數(shù)字視頻DV (Digital Video)、高清晰數(shù)字視頻HDV (High Definition Video)。 它提供面向多種視頻編解碼器的接口，能夠共享訪問(wèn)網(wǎng)格的高質(zhì)量視頻內(nèi)容，在更大應(yīng)用 范圍內(nèi)提高了協(xié)同工作空間的視頻質(zhì)量。但是該擴(kuò)展型視頻服務(wù)局限于如何提高視頻質(zhì) 量，沒(méi)有考慮通過(guò)三維模型增強(qiáng)視頻內(nèi)容和操控作用。
清華大學(xué)國(guó)家CIMS工程技術(shù)研究中心基于仿真建模和網(wǎng)格技術(shù)，提出一種面向設(shè)備 資源共享的仿真網(wǎng)格技術(shù)。該方法在網(wǎng)格系統(tǒng)中建立共享儀器的仿真模型，通過(guò)仿真模型 操作和調(diào)度遠(yuǎn)程儀器資源，雖然能夠共享網(wǎng)格服務(wù)結(jié)果的仿真模型，但是資源共享僅局限 于仿真模型，不支持在協(xié)同工作空間的視頻場(chǎng)景中操作各種仿真模型，也不支持多用戶(hù)參 與的交流和交互。
通過(guò)對(duì)上述國(guó)內(nèi)外研究現(xiàn)狀的調(diào)研和分析可知，訪問(wèn)網(wǎng)格環(huán)境下的視頻服務(wù)還存在以 下主要問(wèn)題。(l)作為面向網(wǎng)格用戶(hù)的群組間可視化交流環(huán)境，訪問(wèn)網(wǎng)格目前的服務(wù)模式 存在局限性。當(dāng)用戶(hù)需要的共享資源同時(shí)包括協(xié)同工作空間的視頻信息與網(wǎng)格服務(wù)結(jié)果的
三維幾何模型時(shí)，訪問(wèn)網(wǎng)格目前提供的視頻服務(wù)和音頻服務(wù)，已經(jīng)不能滿(mǎn)足用戶(hù)需要的這 一類(lèi)型網(wǎng)格應(yīng)用。所以訪問(wèn)網(wǎng)格需要增加新型的服務(wù)模式，加強(qiáng)協(xié)同工作空間中用戶(hù)的交 流方式。(2)不同的網(wǎng)格應(yīng)用經(jīng)常需要不同的幾何模型與真實(shí)視頻結(jié)合方式，所以支持這 一類(lèi)型網(wǎng)格應(yīng)用的服務(wù)模式應(yīng)該能夠提供多種幾何模型與真實(shí)視頻結(jié)合效果的傳輸方式。

發(fā)明內(nèi)容
根據(jù)上述實(shí)際需求和關(guān)鍵問(wèn)題，本發(fā)明的目的在于提出一種訪問(wèn)網(wǎng)格的增強(qiáng)型視頻服 務(wù)模式實(shí)現(xiàn)方法，它能將網(wǎng)格服務(wù)結(jié)果的幾何模型與訪問(wèn)網(wǎng)格的視頻序列融為一體，生成 訪問(wèn)網(wǎng)格協(xié)同工作空間的增強(qiáng)型視頻流，在訪問(wèn)網(wǎng)格的視頻場(chǎng)景中共享網(wǎng)格服務(wù)結(jié)果的幾 何三維模型，使用戶(hù)在協(xié)同工作空間中具備操作幾何三維模型的能力，能夠共同完成基于 網(wǎng)格服務(wù)結(jié)果的協(xié)同工作任務(wù)。
為完成上述發(fā)明目的，本發(fā)明采用的技術(shù)方案是定義訪問(wèn)網(wǎng)格的增強(qiáng)型視頻服務(wù)
(Augmented Video Services,簡(jiǎn)稱(chēng)AVS)的概念，提出一種訪問(wèn)網(wǎng)格的增強(qiáng)型視頻服務(wù) 模式。該模式首先明確了基于虛實(shí)結(jié)合處理的增強(qiáng)型視頻生成方法，將網(wǎng)格服務(wù)結(jié)果的三 維幾何模型注冊(cè)到訪問(wèn)網(wǎng)格的真實(shí)視頻場(chǎng)景中，生成網(wǎng)格服務(wù)結(jié)果的幾何模型與訪問(wèn)網(wǎng)格 的視頻序列融為一體的增強(qiáng)型視頻流;然后根據(jù)網(wǎng)格應(yīng)用特點(diǎn)給出了增強(qiáng)型視頻信息的傳 輸方式，主要有生產(chǎn)端跟蹤生產(chǎn)端注冊(cè)(Producer Tracking, Producer Registration,簡(jiǎn)稱(chēng) PTPR)方式和生產(chǎn)端跟蹤消費(fèi)端注冊(cè)(Producer Tracking, Consumer Registration,簡(jiǎn)稱(chēng) PTCR)方式，為每個(gè)訪問(wèn)網(wǎng)格用戶(hù)提供共享的增強(qiáng)型視頻流；最后利用會(huì)話通告協(xié)議
(Session Announcement Protocol, 簡(jiǎn)稱(chēng)SAP)禾卩會(huì)話描述協(xié)議(Session Description Protocol,簡(jiǎn)稱(chēng)SDP)管理訪問(wèn)網(wǎng)格的增強(qiáng)型視頻會(huì)話。
在此基礎(chǔ)上，本發(fā)明實(shí)現(xiàn)了訪問(wèn)網(wǎng)格的增強(qiáng)型視頻服務(wù)，該服務(wù)首先通過(guò)三維注冊(cè)， 在訪問(wèn)網(wǎng)格的真實(shí)視頻幀中注冊(cè)三維幾何模型，生成增強(qiáng)型視頻信息；并且設(shè)計(jì)與實(shí)現(xiàn)增 強(qiáng)型視頻生產(chǎn)工具、消費(fèi)工具、信息傳輸方式；然后構(gòu)建增強(qiáng)型視頻生產(chǎn)者服務(wù)和消費(fèi)者 服務(wù)，同時(shí)設(shè)計(jì)實(shí)現(xiàn)這些服務(wù)與數(shù)據(jù)流傳輸方式之間的接口；最后根據(jù)增強(qiáng)型視頻信息的 特點(diǎn)，拓展訪問(wèn)網(wǎng)格的已有流分配機(jī)制，傳輸增強(qiáng)型視頻信息和會(huì)話管理的相關(guān)SAP/ SDP消息數(shù)據(jù)。
本發(fā)明的優(yōu)點(diǎn)是使用戶(hù)能夠在訪問(wèn)網(wǎng)格的協(xié)同工作空間中操作網(wǎng)格服務(wù)結(jié)果的幾何 三維模型，共同完成訪問(wèn)網(wǎng)格環(huán)境下基于網(wǎng)格服務(wù)結(jié)果的協(xié)同工作任務(wù)。


圖1是本發(fā)明的增強(qiáng)型視頻服務(wù)組成結(jié)構(gòu)圖； 圖2是本發(fā)明的AVS模式三種執(zhí)行方式圖3是本發(fā)明的支持場(chǎng)景同步的節(jié)點(diǎn)路徑更新圖4是本發(fā)明的增強(qiáng)型視頻信息PTPR傳輸方式圖5是本發(fā)明的增強(qiáng)型視頻信息PTCR傳輸方式圖6是本發(fā)明的增強(qiáng)型視頻信息和會(huì)話管理信息的組播地址分配圖。
具體實(shí)施例方式
根據(jù)目前訪問(wèn)網(wǎng)格的需求和增強(qiáng)現(xiàn)實(shí)技術(shù)的特點(diǎn)，本發(fā)明定義了 "增強(qiáng)型視頻服務(wù)
(Augmented Video Services,簡(jiǎn)稱(chēng)AVS)"這一概念能夠?qū)⒕W(wǎng)格服務(wù)結(jié)果的三維幾何模 型與訪問(wèn)網(wǎng)格的真實(shí)視頻場(chǎng)景融為一體，為用戶(hù)提供虛實(shí)結(jié)合的增強(qiáng)型視頻資源和三維幾 何模型的操作方式的訪問(wèn)網(wǎng)格服務(wù)。增強(qiáng)現(xiàn)實(shí)能夠利用計(jì)算機(jī)生成的虛擬對(duì)象增強(qiáng)現(xiàn)實(shí)世 界，"增強(qiáng)型視頻服務(wù)"沿用了 "增強(qiáng)現(xiàn)實(shí)"的"增強(qiáng)"這一名稱(chēng)；同時(shí)"增強(qiáng)型視頻服 務(wù)"又是訪問(wèn)網(wǎng)格視頻服務(wù)的拓展，因此也沿用了 "視頻服務(wù)"這一名稱(chēng)。
參閱圖1增強(qiáng)型視頻服務(wù)的組成結(jié)構(gòu)圖，增強(qiáng)型視頻服務(wù)包括增強(qiáng)型視頻生產(chǎn)者服務(wù)
(Augmented Video Producer Service,簡(jiǎn)稱(chēng)AVPS)和增強(qiáng)型視頻消費(fèi)者服務(wù)(Augmented Video Consumer Service,簡(jiǎn)稱(chēng)AVCS)。 AVPS負(fù)責(zé)增強(qiáng)型視頻的生成、發(fā)送；AVCS負(fù)責(zé) 增強(qiáng)型視頻的接收、渲染以及三維幾何模型的操作。AVPS由網(wǎng)絡(luò)環(huán)境中可訪問(wèn)的接口、 會(huì)話通告協(xié)議(Session Announcement Protocol,簡(jiǎn)稱(chēng)SAP)服務(wù)端和增強(qiáng)型視頻生產(chǎn)工具 組成，其中SAP服務(wù)端負(fù)責(zé)生成和發(fā)送增強(qiáng)型視頻會(huì)話的SAP消息，并且管理增強(qiáng)型視 頻會(huì)話的啟動(dòng)、停止等；增強(qiáng)型視頻生產(chǎn)工具負(fù)責(zé)增強(qiáng)型視頻數(shù)據(jù)的生成、發(fā)送等。AVCS 由網(wǎng)絡(luò)環(huán)境中可訪問(wèn)的接口、 SAP客戶(hù)端和增強(qiáng)型視頻消費(fèi)工具組成，其中SAP客戶(hù)端 可以監(jiān)聽(tīng)會(huì)話信息，并將接收到的信息解析為SAP消息(SAP報(bào)頭和SAP有效載荷)， 管理增強(qiáng)型視頻消費(fèi)應(yīng)用進(jìn)程；增強(qiáng)型視頻消費(fèi)工具與生產(chǎn)工具相對(duì)應(yīng)，即AVCS根據(jù) AVPS的增強(qiáng)型視頻生產(chǎn)工具啟用相應(yīng)的增強(qiáng)型視頻消費(fèi)工具。
利用增強(qiáng)現(xiàn)實(shí)的虛實(shí)結(jié)合處理技術(shù)，將網(wǎng)格服務(wù)結(jié)果的三維幾何模型與協(xié)同工作空間 的真實(shí)視頻融為一體，生成訪問(wèn)網(wǎng)格的增強(qiáng)型視頻場(chǎng)景，其中主要包括標(biāo)志物跟蹤和三維 注冊(cè)。根據(jù)基于計(jì)算機(jī)視覺(jué)的三維注冊(cè)方法，本發(fā)明首先獲取攝像機(jī)的位置和方向，計(jì)算 標(biāo)志物坐標(biāo)系與攝像機(jī)坐標(biāo)系之間的變換?？梢栽趨f(xié)同工作環(huán)境中選擇一個(gè)基準(zhǔn)坐標(biāo)系描 述攝像機(jī)的位置，稱(chēng)該坐標(biāo)系為世界坐標(biāo)系。用旋轉(zhuǎn)矩陣R和平移向量t描述攝像機(jī)坐標(biāo) 系與世界坐標(biāo)系之間的空間關(guān)系，則三維空間的一點(diǎn)P在世界坐標(biāo)系與攝像機(jī)坐標(biāo)系之 間的空間關(guān)系為
<formula>formula see original document page 8</formula>其中(Xc,:Tc,Zc)和(J^&Z/)分別是點(diǎn)戶(hù)在攝像機(jī)坐標(biāo)系和世界坐標(biāo)系中的坐標(biāo)。并 且成像平面坐標(biāo)系與攝像機(jī)坐標(biāo)系之間的空間關(guān)系為
<formula>formula see original document page 8</formula>其中/為攝像頭焦距，血、辦分別為像素的寬度和高度，(t/o,vo)為以物理長(zhǎng)度(例如毫
米)為單位的圖像坐標(biāo)系原點(diǎn)在以像素為單位的圖像坐標(biāo)系中的坐標(biāo)。從而有成像平面坐
標(biāo)系與世界坐標(biāo)系之間的空間關(guān)系為
<formula>formula see original document page 8</formula>
其中投影矩陣M為3X4矩陣，根據(jù)攝像機(jī)的內(nèi)參數(shù)f、血、辦、"o和V()確定Mc，根據(jù) 攝像機(jī)的外參數(shù)R和t確定4X4矩陣M《。事實(shí)上，攝像機(jī)的內(nèi)外參數(shù)矩陣Me和Mc/分 別為三維注冊(cè)的透視矩陣和視景矩陣，可以通過(guò)攝像機(jī)的標(biāo)定和基于標(biāo)志物檢測(cè)識(shí)別的標(biāo) 定分別確定Mc和M"。
生成增強(qiáng)型視頻場(chǎng)景的虛實(shí)結(jié)合處理主要包括:通過(guò)訪問(wèn)網(wǎng)格的攝像機(jī)實(shí)時(shí)采集協(xié)同 工作空間的視頻序列；根據(jù)視頻圖像計(jì)算攝像機(jī)與標(biāo)志物的相對(duì)方位；根據(jù)定位數(shù)據(jù)確定 投影矩陣，并將三維幾何模型注冊(cè)到視頻圖像的正確位置；渲染虛實(shí)結(jié)合的增強(qiáng)型圖像與 視頻，生成協(xié)同工作空間的增強(qiáng)型視頻場(chǎng)景；支持用戶(hù)協(xié)同操作增強(qiáng)型視頻場(chǎng)景的三維幾 何模型，改變?nèi)S幾何模型的位置和方向，共享訪問(wèn)網(wǎng)格的增強(qiáng)型視頻服務(wù)。增強(qiáng)型視頻 服務(wù)模式通過(guò)實(shí)物操作界面，支持用戶(hù)協(xié)同操作三維幾何模型。實(shí)物操作界面能夠建立真 實(shí)世界的交互行為與信息空間的交互操作之間映射關(guān)系，本發(fā)明的實(shí)物操作界面的實(shí)物為 空間標(biāo)志物，三維幾何模型可以隨標(biāo)志物的移動(dòng)而移動(dòng)，用戶(hù)可以利用標(biāo)志物操作三維幾 何模型。
如圖2所示，用戶(hù)在訪問(wèn)網(wǎng)格的真實(shí)視頻場(chǎng)景中操作網(wǎng)格服務(wù)結(jié)果的三維幾何模型
時(shí)，三維幾何模型的方位數(shù)據(jù)包括狀態(tài)數(shù)據(jù)和操作數(shù)據(jù)，為了確保各節(jié)點(diǎn)增強(qiáng)型視頻場(chǎng)景 的同步性，增強(qiáng)型視頻服務(wù)模式根據(jù)節(jié)點(diǎn)路徑更新三維幾何模型的方位數(shù)據(jù)，能夠維護(hù)三 維幾何模型的狀態(tài)數(shù)據(jù)，也能夠關(guān)聯(lián)三維幾何模型的操作數(shù)據(jù)。其中，狀態(tài)數(shù)據(jù)包含了 16個(gè)雙精度類(lèi)型元素，能夠描述三維幾何模型的方位狀態(tài)；操作數(shù)據(jù)包含了基于用戶(hù)操 作事件的三維幾何模型控制信息，能夠描述相應(yīng)三維幾何模型的操作行為。當(dāng)用戶(hù)觸發(fā)三 維幾何模型的操作事件時(shí)，首先更新相關(guān)聯(lián)的三維幾何模型的操作數(shù)據(jù)，并將操作數(shù)據(jù)發(fā) 送給AVPS節(jié)點(diǎn)，然后利用接收到的操作數(shù)據(jù)更新AVPS節(jié)點(diǎn)的旋轉(zhuǎn)量、跟蹤數(shù)據(jù)、狀態(tài) 數(shù)據(jù)，同時(shí)由AVPS節(jié)點(diǎn)告知所有與之相連的AVCS節(jié)點(diǎn)，使各節(jié)點(diǎn)的狀態(tài)數(shù)據(jù)保持一致。
如圖3所示，增強(qiáng)型視頻流的生成主要包括視頻捕獲、標(biāo)志物跟蹤、三維注冊(cè)、顯示 和操作等方面，并且能夠在AVPS節(jié)點(diǎn)和AVCS節(jié)點(diǎn)上根據(jù)不同的方式執(zhí)行其生成過(guò)程， 主要有以下三種執(zhí)行方式(l)執(zhí)行方式一為"生產(chǎn)者跟蹤，生產(chǎn)者注冊(cè)"方式(Producer Tracking Producer Registration,簡(jiǎn)稱(chēng)PTPR)。 AVPS節(jié)點(diǎn)實(shí)現(xiàn)視頻捕獲、標(biāo)志物跟蹤、三 維注冊(cè)以后，將虛實(shí)結(jié)合的增強(qiáng)型視頻圖像傳輸給AVCS節(jié)點(diǎn)。這種執(zhí)行方式適用于高 分辨率的大規(guī)模三維幾何模型，不要求每一個(gè)增強(qiáng)型視頻消費(fèi)節(jié)點(diǎn)具有很強(qiáng)的繪制能力； 也適用于建模代價(jià)昂貴、需要版權(quán)保護(hù)的三維幾何模型，增強(qiáng)型視頻消費(fèi)節(jié)點(diǎn)沒(méi)有權(quán)限獲 得三維幾何模型的原始數(shù)據(jù)，只能獲得渲染后的圖像結(jié)果。但是這種執(zhí)行方式編碼和傳輸 虛實(shí)結(jié)合處理后的視頻圖像，容易降低增強(qiáng)型視頻消費(fèi)節(jié)點(diǎn)中關(guān)于三維幾何模型的渲染質(zhì) 量。(2)執(zhí)行方式二為"生產(chǎn)者跟蹤，消費(fèi)者注冊(cè)"方式(Producer Tracking Consumer Registration,簡(jiǎn)稱(chēng)PTCR)。 AVPS節(jié)點(diǎn)實(shí)現(xiàn)視頻捕獲、標(biāo)志物跟蹤以后，將跟蹤數(shù)據(jù)和視 頻圖像傳輸給AVCS節(jié)點(diǎn)，然后AVCS節(jié)點(diǎn)實(shí)現(xiàn)三維注冊(cè)，并根據(jù)接跟蹤數(shù)據(jù)將三維幾 何模型正確地注冊(cè)到視頻圖像。這種執(zhí)行方式需要預(yù)先將模型部署到各個(gè)消費(fèi)節(jié)點(diǎn)，適應(yīng) 于模型數(shù)據(jù)量不大、要求模型渲染質(zhì)量、不需要版權(quán)保護(hù)的三維幾何模型。(3)執(zhí)行方式 三為"消費(fèi)者跟蹤，消費(fèi)者注冊(cè)"方式(Consumer Tracking Consumer Registration,簡(jiǎn)稱(chēng) CTCR)， AVPS節(jié)點(diǎn)只捕獲和傳輸視頻，AVCS節(jié)點(diǎn)實(shí)現(xiàn)標(biāo)志物跟蹤、三維注冊(cè)、顯示和 操作等。這種執(zhí)行方式要求每一個(gè)AVCS節(jié)點(diǎn)跟蹤標(biāo)志物，重復(fù)計(jì)算攝像機(jī)的方位數(shù)據(jù)， 并且，利用編碼和傳輸?shù)囊曨l圖像計(jì)算出的跟蹤數(shù)據(jù)具有不可靠性。所以，本發(fā)明不鼓勵(lì) 使用CTCR執(zhí)行方式，建議應(yīng)用系統(tǒng)根據(jù)具體需求選用PTPR或者PTCR執(zhí)行方式。
根據(jù)本發(fā)明的PTPR執(zhí)行方式和PTCR執(zhí)行方式，增強(qiáng)型視頻服務(wù)模式具有兩種典型
的增強(qiáng)型視頻信息在AVPS節(jié)點(diǎn)與AVCS節(jié)點(diǎn)之間的傳輸方式PTPR傳輸方式和PTCR
傳輸方式。圖4描述了本發(fā)明的增強(qiáng)型視頻信息PTPR傳輸方式，根據(jù)PTPR執(zhí)行方式的
特點(diǎn)，AVPS節(jié)點(diǎn)負(fù)責(zé)標(biāo)志物的識(shí)別、狀態(tài)數(shù)據(jù)的計(jì)算、視頻幀的渲染和視頻的壓縮編碼；
AVCS節(jié)點(diǎn)負(fù)責(zé)將接收到的視頻解碼、顯示，并處理用戶(hù)操作事件，使用戶(hù)能夠遠(yuǎn)程操作 三維幾何模型。圖5描述了本發(fā)明的增強(qiáng)型視頻信息的PTCR傳輸方式圖，根據(jù)PTCR 執(zhí)行方式的特點(diǎn)，AVPS節(jié)點(diǎn)負(fù)責(zé)標(biāo)志物的識(shí)別、狀態(tài)數(shù)據(jù)的計(jì)算、視頻的壓縮編碼； AVCS節(jié)點(diǎn)負(fù)責(zé)解碼、渲染接收到的視頻，根據(jù)AVPS節(jié)點(diǎn)產(chǎn)生的狀態(tài)數(shù)據(jù)在AVCS節(jié)點(diǎn) 繪制三維幾何模型，并處理用戶(hù)操作事件，使用戶(hù)能夠在AVCS節(jié)點(diǎn)操作三維幾何模型。 增強(qiáng)型視頻流與普通媒體流之間存在一定的差異，例如增強(qiáng)型視頻流的傳輸數(shù)據(jù)具有 多樣性，不但包括視頻流，而且包括相應(yīng)三維幾何模型的狀態(tài)數(shù)據(jù)，并且這些傳輸數(shù)據(jù)直 接影響三維幾何模型與視頻圖像之間的虛實(shí)結(jié)合效果。所以，本發(fā)明拓展了訪問(wèn)網(wǎng)格的已 有流分配機(jī)制，為每一路增強(qiáng)型視頻分配一個(gè)全局唯一的流，使每一路增強(qiáng)型視頻擁有獨(dú) 立的傳輸通道，并且為增強(qiáng)型視頻的會(huì)話通告協(xié)議(Session Announcement Protocol,簡(jiǎn)稱(chēng) SAP)和會(huì)話描述信息(Session Description Protocol,簡(jiǎn)稱(chēng)SDP)的消息分配一個(gè)全局共 享的流。在此基礎(chǔ)上，本發(fā)明結(jié)合全局共享和全局唯一兩種流分配機(jī)制管理增強(qiáng)型視頻會(huì) 話。
如圖6所示，AVS模式給出了兩類(lèi)組播地址 一類(lèi)是共享組播地址，可以來(lái)自協(xié)作 服務(wù)并被所有節(jié)點(diǎn)共享，可以向所有節(jié)點(diǎn)發(fā)送SAP通告，稱(chēng)為"通告組播地址"；另一類(lèi) 是某一視頻序列獨(dú)有的組播地址，這類(lèi)地址由相應(yīng)AVPS通過(guò)協(xié)作服務(wù)的組播地址分配功 能生成，專(zhuān)門(mén)用于傳輸增強(qiáng)型視頻流，稱(chēng)為"增強(qiáng)型視頻組播地址"，并且不同的增強(qiáng)型 視頻具有不同的"增強(qiáng)型視頻組播地址"。另外，AVPS與AVCS具有不同的組播地址分 配方式，由于可以從相應(yīng)的SAP消息中獲取"增強(qiáng)型視頻組播地址"，所以AVCS不需要 返回"增強(qiáng)型視頻組播地址"，只需要返回"通告組播地址"。
以上所述僅為本發(fā)明技術(shù)方案的一些基本說(shuō)明，而依據(jù)本發(fā)明的技術(shù)方案所做的任何 等效變換，均應(yīng)屬于本發(fā)明的保護(hù)范圍。
權(quán)利要求
1.一種訪問(wèn)網(wǎng)格的增強(qiáng)型視頻服務(wù)模式的實(shí)現(xiàn)方法，其特征在于包括以下步驟1)將網(wǎng)格服務(wù)結(jié)果的三維幾何模型注冊(cè)到訪問(wèn)網(wǎng)格的真實(shí)視頻場(chǎng)景中，生成網(wǎng)格服務(wù)結(jié)果的幾何模型與訪問(wèn)網(wǎng)格的視頻序列融為一體的增強(qiáng)型視頻流；2)給出增強(qiáng)型視頻信息的傳輸方式，為每個(gè)訪問(wèn)網(wǎng)格用戶(hù)提供共享的增強(qiáng)型視頻流；3)利用會(huì)話通告協(xié)議和會(huì)話描述協(xié)議管理訪問(wèn)網(wǎng)格的增強(qiáng)型視頻會(huì)話。
2. 如權(quán)利要求1所述的訪問(wèn)網(wǎng)格的增強(qiáng)型視頻服務(wù)模式的實(shí)現(xiàn)方法，其特征在于 所述步驟l)進(jìn)一步包括以下步驟1.1) 通過(guò)訪問(wèn)網(wǎng)格的攝像機(jī)實(shí)時(shí)采集協(xié)同工作空間的視頻序列；1.2) 根據(jù)視頻圖像計(jì)算攝像機(jī)與標(biāo)志物的相對(duì)方位；1.3) 根據(jù)攝像機(jī)的定位數(shù)據(jù)確定投影矩陣，并將三維幾何模型注冊(cè)到視頻圖像的正確 位置；1.4) 渲染虛實(shí)結(jié)合的增強(qiáng)型圖像與視頻，生成協(xié)同工作空間的增強(qiáng)型視頻場(chǎng)景。
3. 如權(quán)利要求1所述的訪問(wèn)網(wǎng)格的增強(qiáng)型視頻服務(wù)模式的實(shí)現(xiàn)方法，其特征在于所述步驟2)中的傳輸方式為生產(chǎn)端跟蹤生產(chǎn)端注冊(cè)(PTPR)方式，即由增強(qiáng)型視頻生 產(chǎn)者服務(wù)(AVPS)節(jié)點(diǎn)負(fù)責(zé)標(biāo)志物的識(shí)別、狀態(tài)數(shù)據(jù)的計(jì)算、視頻幀的渲染和視頻的壓 縮編碼；由增強(qiáng)型視頻消費(fèi)者服務(wù)(AVCS)節(jié)點(diǎn)負(fù)責(zé)將接收到的視頻解碼、顯示，并處 理用戶(hù)操作事件，使用戶(hù)能夠遠(yuǎn)程操作三維幾何模型。
4. 如權(quán)利要求1所述的訪問(wèn)網(wǎng)格的增強(qiáng)型視頻服務(wù)模式的實(shí)現(xiàn)方法，其特征在于 所述步驟2)中的傳輸方式為生產(chǎn)端跟蹤消費(fèi)端注冊(cè)(PTCR)方式，即由增強(qiáng)型視頻生產(chǎn)者服務(wù)(AVPS)節(jié)點(diǎn)負(fù)責(zé)標(biāo)志物的識(shí)別、狀態(tài)數(shù)據(jù)的計(jì)算、視頻的壓縮編碼；由增強(qiáng) 型視頻消費(fèi)者服務(wù)(AVCS)節(jié)點(diǎn)負(fù)責(zé)解碼、渲染接收到的視頻，根據(jù)AVPS節(jié)點(diǎn)產(chǎn)生的 狀態(tài)數(shù)據(jù)在AVCS節(jié)點(diǎn)繪制三維幾何模型，并處理用戶(hù)操作事件，使用戶(hù)能夠在AVCS 節(jié)點(diǎn)操作三維幾何模型。
5. 如權(quán)利要求1所述的訪問(wèn)網(wǎng)格的增強(qiáng)型視頻服務(wù)模式的實(shí)現(xiàn)方法，其特征在于 所述步驟3)進(jìn)一步包括以下步驟3.1) 為每一路增強(qiáng)型視頻分配一個(gè)全局唯一的流，使每一路增強(qiáng)型視頻擁有獨(dú)立的傳 輸通道；3.2) 為增強(qiáng)型視頻的會(huì)話通告協(xié)議和會(huì)話描述信息的消息分配一個(gè)全局共享的流； 在此基礎(chǔ)上，結(jié)合全局共享和全局唯一兩種流的分配機(jī)制管理增強(qiáng)型視頻會(huì)話。
6.如權(quán)利要求1所述的訪問(wèn)網(wǎng)格的增強(qiáng)型視頻服務(wù)模式的實(shí)現(xiàn)方法，其特征在于 在協(xié)作服務(wù)中使用兩類(lèi)組播地址 一類(lèi)是共享組播地址，該類(lèi)地址來(lái)自協(xié)作服務(wù)并被 所有節(jié)點(diǎn)共享，可以向所有節(jié)點(diǎn)發(fā)送SAP通告，稱(chēng)為通告組播地址；另一類(lèi)是某一視頻 序列獨(dú)有的組播地址，這類(lèi)地址由相應(yīng)增強(qiáng)型視頻生產(chǎn)者服務(wù)通過(guò)協(xié)作服務(wù)的組播地址分 配功能生成，專(zhuān)門(mén)用于傳輸增強(qiáng)型視頻流，稱(chēng)為增強(qiáng)型視頻組播地址，并且不同的增強(qiáng)型 視頻具有不同的增強(qiáng)型視頻組播地址。
全文摘要
本發(fā)明提出了一種訪問(wèn)網(wǎng)格的增強(qiáng)型視頻服務(wù)模式實(shí)現(xiàn)方法。該方法首先將網(wǎng)格服務(wù)結(jié)果的三維幾何模型注冊(cè)到訪問(wèn)網(wǎng)格的真實(shí)視頻場(chǎng)景中，生成網(wǎng)格服務(wù)結(jié)果的幾何模型與訪問(wèn)網(wǎng)格的視頻序列融為一體的增強(qiáng)型視頻流；然后根據(jù)網(wǎng)格應(yīng)用特點(diǎn)給出了增強(qiáng)型視頻信息的傳輸方式，包括PTPR方式和PTCR方式，為每個(gè)訪問(wèn)網(wǎng)格用戶(hù)提供共享的增強(qiáng)型視頻流；最后利用會(huì)話通告協(xié)議和會(huì)話描述協(xié)議管理訪問(wèn)網(wǎng)格的增強(qiáng)型視頻會(huì)話。本發(fā)明使用戶(hù)能夠在訪問(wèn)網(wǎng)格的協(xié)同工作空間中操作網(wǎng)格服務(wù)結(jié)果的幾何三維模型，共同完成訪問(wèn)網(wǎng)格環(huán)境下基于網(wǎng)格服務(wù)結(jié)果的協(xié)同工作任務(wù)。
文檔編號(hào)H04L12/56GK101179500SQ20071017655
公開(kāi)日2008年5月14日 申請(qǐng)日期2007年10月30日 優(yōu)先權(quán)日2007年10月30日
發(fā)明者彬 周, 穎 李, 趙沁平, 陳小武 申請(qǐng)人:北京航空航天大學(xué)