本發(fā)明涉及一種直播系統(tǒng)，具體是一種醫(yī)療手術(shù)直播系統(tǒng)。

背景技術(shù)：

手術(shù)示教(示范教學(xué))、遠(yuǎn)程專家會診、手術(shù)指導(dǎo)、手術(shù)觀摩、醫(yī)療器械操作演示培訓(xùn)等領(lǐng)域。普遍存在技術(shù)落后，成本高，教學(xué)視頻圖像不清晰、視頻片面、不全面、不系統(tǒng)、不客觀、網(wǎng)絡(luò)延時大，不支持交互，不支持3D立體圖像等缺點?，F(xiàn)有技術(shù)畫面感太差，沒有立體感，不支持VR虛擬現(xiàn)實技術(shù)。

技術(shù)實現(xiàn)要素：

本發(fā)明的目的在于提供一種醫(yī)療手術(shù)直播系統(tǒng)，以解決上述背景技術(shù)中提出的問題。

為實現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：

一種醫(yī)療手術(shù)直播系統(tǒng)，手術(shù)室前端采用雙全景攝像機立體3D 360度掃描成像，形成全景立體格式視頻，所述視頻和手術(shù)室醫(yī)療設(shè)備影像及手術(shù)室雙向?qū)χv音頻一起送入到音視頻接入和特殊編碼處理系統(tǒng)主機內(nèi)部，音視頻接入和編碼處理主機對收到的核心信號進行超媒體記錄存儲并通過網(wǎng)絡(luò)傳輸音視頻資料給后端的手術(shù)顯示端，此外，音視頻接入和編碼處理主機對收到的示教反饋控制系統(tǒng)信號進行處理，優(yōu)化傳輸可視視角內(nèi)的圖像，手術(shù)顯示端的音視頻解碼處理系統(tǒng)對前端送來的立體視頻流進行解碼，圖像部分由高清VR顯示終端顯示，音頻部分由音頻處理系統(tǒng)和對講部分處理；視角反饋控制系統(tǒng)接收來自VR顯示終端內(nèi)部陀螺儀的信號和手柄控制系統(tǒng)的信號，能夠根據(jù)受眾的觀影愛好和興趣智能的進行視角、視場調(diào)整；視角反饋控制系統(tǒng)通過網(wǎng)絡(luò)將控制反饋信號發(fā)送給前端編碼處理系統(tǒng)，由前端智能安排視角、視場發(fā)送到后端。

作為本發(fā)明進一步的方案：所述雙全景攝像機中每個攝像機由8個鏡頭組成，采用周邊7個鏡頭和底部一個鏡頭的結(jié)構(gòu)，組成一個360度全覆蓋的圖像；兩個攝像機共設(shè)計16個鏡頭，模擬人類的雙眼，形成360度無死角的全景雙目攝像。雙目攝像采用左眼碼流和右眼碼流獨立傳輸。

作為本發(fā)明再進一步的方案：攝像機鏡頭采集到的圖像通過圖像傳感器進行A/D轉(zhuǎn)換，然后進行圖像的正畸、拼合、多余重疊區(qū)的裁切邊緣的融合技術(shù)處理，處理完的視頻進行高清編碼和傳輸，高清編碼板利用H.264壓縮方式，將每個視頻幀分離成由像素組成的塊，采用空間冗余的方法，對視頻幀的一些原始塊進行空間預(yù)測、轉(zhuǎn)換、優(yōu)化和熵編碼，對連續(xù)幀的不同塊采用臨時存放，采用剩余空間冗余技術(shù)，對視頻幀里的殘留塊進行編碼。

與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：本發(fā)明利用最新的3D立體圖像掃描技術(shù)，音視頻處理技術(shù)，特殊編解碼技術(shù)，在保證合理帶寬的情況下，高質(zhì)量的同步傳輸立體音視頻資料，使受眾如身處手術(shù)室實景一般，具有沉浸感，立體感，畫面感。具有多媒體性，人機交互性，仿真性和構(gòu)想性的特點?？上到y(tǒng)、客觀、全面的將整個系統(tǒng)以360度立體成像方式錄像存儲。日后可重復(fù)回放。并支持回放交互和回放時漫游，和直播時的操控性無異。系統(tǒng)利用網(wǎng)絡(luò)傳輸交互技術(shù)可實現(xiàn)音視頻交流和視頻場景切換管理本發(fā)明采用網(wǎng)絡(luò)音視頻編解碼直播技術(shù)，設(shè)備集成技術(shù)，運行監(jiān)測技術(shù)，整合最新的360度3D立體全景拼接技術(shù)，VR虛擬現(xiàn)實技術(shù)，AR增強現(xiàn)實，結(jié)合醫(yī)療行業(yè)特點設(shè)計開發(fā)。通過本發(fā)明，可將過去“封閉式”獨立的單元過渡到開放的信息樞紐，可廣泛用于手術(shù)示教、學(xué)術(shù)交流、醫(yī)患交流、遠(yuǎn)程會診、重癥監(jiān)護、移動救護等。

附圖說明

圖1為醫(yī)療手術(shù)直播系統(tǒng)的結(jié)構(gòu)示意圖。

圖2為醫(yī)療手術(shù)直播系統(tǒng)中音視頻接入轉(zhuǎn)換和特殊編碼處理系統(tǒng)工作流程圖。

圖3為醫(yī)療手術(shù)直播系統(tǒng)中音頻處理及對講輸入輸出流程圖。

圖4為醫(yī)療手術(shù)直播系統(tǒng)中全景立體超媒體錄像系統(tǒng)流程圖。

圖5為醫(yī)療手術(shù)直播系統(tǒng)中后端音視頻解碼系統(tǒng)及視角反饋控制系統(tǒng)控制流程圖。

具體實施方式

下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。

請參閱圖1～5，本發(fā)明實施例中，一種醫(yī)療手術(shù)直播系統(tǒng)，手術(shù)室前端采用雙全景攝像機立體3D 360度掃描成像，形成全景立體格式視頻，所述視頻和手術(shù)室醫(yī)療設(shè)備影像及手術(shù)室雙向?qū)χv音頻一起送入到音視頻接入和特殊編碼處理系統(tǒng)主機內(nèi)部，音視頻接入和編碼處理主機對收到的核心信號進行超媒體記錄存儲并通過網(wǎng)絡(luò)傳輸音視頻資料給后端的手術(shù)顯示端，此外，音視頻接入和編碼處理主機對收到的示教反饋控制系統(tǒng)信號進行處理，優(yōu)化傳輸可視視角內(nèi)的圖像，手術(shù)顯示端的音視頻解碼處理系統(tǒng)對前端送來的立體視頻流進行解碼，圖像部分由高清VR顯示終端顯示，音頻部分由音頻處理系統(tǒng)和對講部分處理；視角反饋控制系統(tǒng)接收來自VR顯示終端內(nèi)部陀螺儀的信號和手柄控制系統(tǒng)的信號，能夠根據(jù)受眾的觀影愛好和興趣智能的進行視角、視場調(diào)整；視角反饋控制系統(tǒng)通過網(wǎng)絡(luò)將控制反饋信號發(fā)送給前端編碼處理系統(tǒng)，由前端智能安排視角、視場發(fā)送到后端。所述雙全景攝像機中每個攝像機由8個鏡頭組成，采用周邊7個鏡頭和底部一個鏡頭的結(jié)構(gòu)，組成一個360度全覆蓋的圖像；兩個攝像機共設(shè)計16個鏡頭，模擬人類的雙眼，形成360度無死角的全景雙目攝像。雙目攝像采用左眼碼流和右眼碼流獨立傳輸。所述雙全景攝像機中每個攝像機由8個鏡頭組成，采用周邊7個鏡頭和底部一個鏡頭的結(jié)構(gòu)，組成一個360度全覆蓋的圖像；另外，本發(fā)明把雙攝像系統(tǒng)集成到一臺攝像機外殼里面，安裝簡單。攝像機鏡頭采集到的圖像通過圖像傳感器進行A/D轉(zhuǎn)換，然后進行圖像的正畸、拼合、多余重疊區(qū)的裁切邊緣的融合技術(shù)處理，處理完的視頻進行高清編碼和傳輸，高清編碼板利用H.264壓縮方式，將每個視頻幀分離成由像素組成的塊，采用空間冗余的方法，對視頻幀的一些原始塊進行空間預(yù)測、轉(zhuǎn)換、優(yōu)化和熵編碼，對連續(xù)幀的不同塊采用臨時存放，采用剩余空間冗余技術(shù)，對視頻幀里的殘留塊進行編碼。

雙全景立體3D攝像機采用共用一個外殼設(shè)計，內(nèi)部2套全景攝像機設(shè)計，分別對應(yīng)左眼攝像和右眼攝像，在水平方設(shè)計左眼和右眼攝像機分別設(shè)計7個鏡頭，每個鏡頭捕捉約51.5度的視角，左右眼攝像機相互垂直分布，結(jié)構(gòu)美觀。相機底部設(shè)計左右眼攝像機各1個鏡頭，相互水平分部。

攝像機核心電路采用高性能數(shù)字處理電路，在電路板上完成了視頻模數(shù)轉(zhuǎn)換、圖像正畸、裁切、拼合和邊緣融合等處理。處理后的視頻通過簡單的編碼壓縮后通過網(wǎng)絡(luò)傳送至后端。

音視頻接入轉(zhuǎn)換：主要目的是統(tǒng)一的接入不同的信號而設(shè)計的。本系統(tǒng)視頻接入既要保證3D全景視頻的接入也要兼容常規(guī)高清視頻信號的接入和音頻信號的接入。從接口上來看既要能接入網(wǎng)絡(luò)數(shù)字信號也要能接入HDMI/DVI/SDI/VGA色差和AV等接口的信號。通過本系統(tǒng)的處理，將來自不同用途和不同類型的信號通過處理，形成一種統(tǒng)一的格式，方便程序統(tǒng)一處理、方便統(tǒng)一管理、調(diào)度及整體的錄像和后端的觀看。

特殊編碼處理系統(tǒng)：特殊編碼處理系統(tǒng)的主要目的是為了減少傳輸帶寬、減少后端處理任務(wù)量、優(yōu)化系統(tǒng)傳輸?shù)膶崟r性。使整個系統(tǒng)穩(wěn)定高效。通俗的講就是VR在視頻觀看時前端雖然是全景圖，但是為節(jié)省帶寬，優(yōu)化方式處理，前端會根據(jù)后端觀看角度僅僅傳輸正在觀看視角內(nèi)的視頻，視角外的圖像不進行沒意義的傳輸，節(jié)約帶寬和數(shù)據(jù)處理量。

工作流程為接收來自后端的反饋信號，通過立體建模系統(tǒng)，定位當(dāng)前的鏡頭視角(可視范圍)，然后進行視角掃描和視角運動預(yù)測。對視角內(nèi)容從整體視頻中切割出來，作為一個當(dāng)前視角輸出送到二次編碼傳輸模塊進行二次編碼傳輸。

系統(tǒng)通過后端的控制手柄進行視場切換，視場切換可以切換不同的前端信號源，實現(xiàn)虛擬漫游定位功能?？梢愿逦挠^看具體醫(yī)療設(shè)備的視頻。軟件系統(tǒng)通過對當(dāng)前視角定位，若視角內(nèi)有顯示器視頻顯示則可以通過視場切換的方式把顯示器內(nèi)容切到當(dāng)前視角內(nèi)，實現(xiàn)最清晰直接的顯示。

視頻漫游定位技術(shù)：視頻觀看者在虛擬空間中漫游時可以做定位，并且前端可以監(jiān)測后端所處的視角坐標(biāo)，當(dāng)用戶瀏覽到醫(yī)療顯示器位置時可以提示視頻切換，自動將醫(yī)療影像切換到當(dāng)前視角，以便可以更清晰的觀看設(shè)備顯示內(nèi)容。

二次編碼傳輸模塊主要目的是根據(jù)網(wǎng)絡(luò)狀況和帶寬的占用情況進行智能的編碼重組、彈性幀率采樣率控制和碼流優(yōu)化。

音頻處理和音頻對講系統(tǒng)主要為了解決前端和后端的語音交流問題。

語音通話支持三種方式：第一種為免提會議型。工作原理和視頻會議一樣，采用大音量的音箱和高靈敏度的麥克風(fēng)實現(xiàn)會議級別免提對講?？梢远嗳送瑫r參與溝通。第二種為無線耳麥對講型。這種方式采用耳掛式無線對講通信方式，類似于藍(lán)牙連接，耳麥上含有耳機和麥克風(fēng)話筒。此方式比較安靜，不影響其他人，具有良好的私密性。第三種為標(biāo)準(zhǔn)耳機接口，方便有線通話，減少輻射和干擾。

三種音頻方式通過對應(yīng)的接口連接到音頻處理功能模塊。音頻處理功能模塊包含音頻均衡、自動混音、回音消除、音質(zhì)優(yōu)化、背景降噪防嘯叫處理等功能。

處理器還集成了音頻矩陣切換裝置，可對三種音頻接入方式進行切換。音頻功放的作用是把音頻信號放大驅(qū)動音箱輸出聲音。

本發(fā)明根據(jù)醫(yī)療行業(yè)特點特別設(shè)計多通道，多視頻，整合多數(shù)據(jù)信息統(tǒng)一的高標(biāo)準(zhǔn)可交互的特殊錄像文件。它既可以多畫面顯示，每個畫面也可以獨立進行剪輯、合并、錄制旁白、圖像渲染、加字幕等多種制作功能，每一路視頻文件可以單獨放大、縮小，可以任意拖拽，畫面顯示可以任意組合，可以任意調(diào)整其在多畫面中顯示的位置。支持后期智能回放查詢服務(wù)，并且錄制文件可以快速刻錄成盤。這里的超媒體指的是不僅可以記錄全部的2D/3D音視頻文件，回放時支持3D重建，還支持病人相關(guān)信息附加存儲，一個錄像文檔包含了所有需要的病人資料。方便整體存檔和回放。一個錄像文件可包含病人從入院到出院全過程，可從術(shù)前、術(shù)中、術(shù)后3個方面進行全方位管理。錄像服務(wù)器支持彈性多路碼流靈活接入，可接入單路或同時接入多路媒體流，支持音頻和視頻同步傳輸。錄像服務(wù)器還支持大容量數(shù)據(jù)庫功能和磁盤陣列功能。

后端視頻解碼系統(tǒng)主要作用是接收前端送來的碼流進行解碼輸出，解碼輸出按左右眼的格式分別顯示在VR顯示終端的左右顯示區(qū)。同時音頻編解碼處理VR終端的語音對講部分。對來自麥克風(fēng)的音頻進行優(yōu)化處理或者把來自前端的音頻處理后送往耳機。反饋控制系統(tǒng)分為基于內(nèi)置陀螺儀的控制反饋系統(tǒng)和基于手柄操作的控制系統(tǒng)。陀螺儀可以根據(jù)受眾的體位進行運動方向、運動角度和當(dāng)前位置進行計算，自動的對視角進行調(diào)整。手柄操控終端提供手動的切換視角，調(diào)整視角和切換視場等功能，可以讓受眾更方便便捷的選擇觀看興趣點。

視頻漫游定位技術(shù)：主述視頻觀看者在虛擬空間中漫游時可以做定位，并且前端可以監(jiān)測后端所處的視角坐標(biāo)，當(dāng)用戶瀏覽到醫(yī)療顯示器位置時可以提示視頻切換，自動將醫(yī)療影像切換到當(dāng)前視角，以便可以更清晰的觀看設(shè)備顯示內(nèi)容。

對于本領(lǐng)域技術(shù)人員而言，顯然本發(fā)明不限于上述示范性實施例的細(xì)節(jié)，而且在不背離本發(fā)明的精神或基本特征的情況下，能夠以其他的具體形式實現(xiàn)本發(fā)明。因此，無論從哪一點來看，均應(yīng)將實施例看作是示范性的，而且是非限制性的，本發(fā)明的范圍由所附權(quán)利要求而不是上述說明限定，因此旨在將落在權(quán)利要求的等同要件的含義和范圍內(nèi)的所有變化囊括在本發(fā)明內(nèi)。不應(yīng)將權(quán)利要求中的任何附圖標(biāo)記視為限制所涉及的權(quán)利要求。

此外，應(yīng)當(dāng)理解，雖然本說明書按照實施方式加以描述，但并非每個實施方式僅包含一個獨立的技術(shù)方案，說明書的這種敘述方式僅僅是為清楚起見，本領(lǐng)域技術(shù)人員應(yīng)當(dāng)將說明書作為一個整體，各實施例中的技術(shù)方案也可以經(jīng)適當(dāng)組合，形成本領(lǐng)域技術(shù)人員可以理解的其他實施方式。