專利名稱：全景視頻通訊系統(tǒng)和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻通訊的系統(tǒng)和方法，尤其涉及將全景視頻數(shù)據(jù)通過廣角鏡頭(例 如魚眼鏡頭)搭配具有拍攝功能的終端設(shè)備進(jìn)行便攜采集、通用處理、清晰展現(xiàn)，并能夠在 視頻通訊中廣泛應(yīng)用的系統(tǒng)和方法。
背景技術(shù)：
隨著互聯(lián)網(wǎng)和移動(dòng)通信網(wǎng)絡(luò)的飛速發(fā)展，越來越多的人們可以享受視頻通訊帶來 的便利和樂趣。比較普遍的如基于3G及4G通信網(wǎng)絡(luò)的視頻電話，基于寬帶互聯(lián)網(wǎng)的及時(shí) 通訊聊天工具IM中的視頻聊天功能，這些手段和工具僅解決了一個(gè)問題，就是如何相互看 到，且這種看到或關(guān)注由于所使用的攝像頭的限制，使得觀看的影像視角狹小，不夠逼真。同時(shí)出現(xiàn)了面向高端專業(yè)會(huì)議所使用的網(wǎng)真系統(tǒng)，該系統(tǒng)配套了 3D仿真技術(shù)，對(duì) 視頻圖像進(jìn)行獲取和拼接，給與會(huì)者身臨其境的體驗(yàn)。比如華為終端有限公司申請(qǐng)的專利， 專利申請(qǐng)?zhí)?00810247531. 5，立體全景視頻流生成方法、設(shè)備及視頻會(huì)議方法和設(shè)備，該方 案由于需要專用的帶寬、高昂的采集處理設(shè)備、專用的統(tǒng)一風(fēng)格制式的會(huì)議室環(huán)境，使得普 通人無法通過低廉的價(jià)格享受到這種高畫質(zhì)、高真實(shí)度、低延時(shí)的視頻會(huì)議服務(wù)。為了實(shí)現(xiàn)便攜式全景影像采集，出現(xiàn)了可結(jié)合手機(jī)和普通數(shù)碼相機(jī)拍攝魚眼照片 的鏡頭，該鏡頭可適配多種拍照手機(jī)，同時(shí)我們也發(fā)現(xiàn)它可以連接到多種網(wǎng)絡(luò)攝像頭上中 國(guó)發(fā)明專利號(hào)ZL03157702. 4照相機(jī)等用輔助鏡頭。該發(fā)明專利投入應(yīng)用后，從最初魚眼 照片只能通過單反專業(yè)魚眼鏡頭配套單反數(shù)碼相機(jī)獲得，到現(xiàn)在可以通過各種尺寸、各種 型號(hào)的拍照手機(jī)，搭配小巧便攜，廉價(jià)的魚眼鏡頭獲得，極大擴(kuò)展了魚眼照片采集的途徑。 拍照的原理和拍攝視頻的原理是類似的，攝制視頻是將圖像一幀幀的壓制成連續(xù)的視頻格 式，然后通過視頻流將一幀幀的畫面播出。所以本發(fā)明將這種便攜的魚眼鏡頭應(yīng)用于攝像 領(lǐng)域，從而解決了低成本、大視角視頻的采集問題。由于獲取的魚眼視頻雖然視角大，但卻是畸變的圖像，人們無法通過觀察該畸變 的圖像完全獲取自己所需要的信息，需要對(duì)這種畸變進(jìn)行展開。同時(shí)這種展開又要求實(shí)時(shí) 性，才能保證展開的視頻較少的延時(shí)。這就需要一種快速的展開技術(shù)來對(duì)圖像進(jìn)行實(shí)時(shí)處 理，相關(guān)專利中都涉及對(duì)圖像的展開技術(shù)，如中國(guó)發(fā)明專利說明書CN1437165A(
公開日
2003年8月20日)公開的一種基于兩張魚眼圖像的智能型全景生成方法、中國(guó)發(fā)明專利 說明書CN1707353A(
公開日2005年12月14日)公開的一種基于全幀圖像生成球形全景 的方法、中國(guó)發(fā)明專利說明書CN1707354A(
公開日2005年12月14日)公開的基于圓魚眼 或鼓形圖像快速生成高清晰度全景的智能化方法、中國(guó)發(fā)明專利說明書CN1707355A(公開 日2005年12月14日)公開的基于六張鼓形圖像生成整球形全景的方法。本發(fā)明將利用 類似的展開技術(shù)，并專為單魚眼展開進(jìn)行優(yōu)化，從而實(shí)現(xiàn)魚眼視頻的快速展開。在當(dāng)前的視頻通訊領(lǐng)域，還沒有一種成熟高效的技術(shù)手段來實(shí)現(xiàn)全景方式的視頻 通訊，這也是本發(fā)明所要解決的技術(shù)問題。

發(fā)明內(nèi)容
本發(fā)明的目的在于解決上述問題，提供了一種全景視頻通訊系統(tǒng)，以全景影像的 方式提供給終端視頻通訊的功能，從而為全景通訊視頻的參與者提供更多真實(shí)、全面的體 驗(yàn)。本發(fā)明的另一目的在于提供了一種全景視頻通訊方法。本發(fā)明的技術(shù)方案為本發(fā)明揭示了一種全景視頻通訊系統(tǒng)，包括多個(gè)全景視頻通訊終端，進(jìn)行全景視頻數(shù)據(jù)的采集和播放，其進(jìn)一步包括廣角鏡頭，獲取具廣角效果的圖像；曝光設(shè)備，其上安裝該廣角鏡頭，利用通過該廣角鏡頭進(jìn)入的光線進(jìn)行曝光、轉(zhuǎn)換 和壓縮，形成廣角圖像數(shù)據(jù)；播放模塊，將接收到的全景視頻數(shù)據(jù)流以視頻幀的方式進(jìn)行播放；全景視頻服務(wù)器，通過數(shù)據(jù)交換網(wǎng)絡(luò)與該多個(gè)全景視頻通訊終端建立數(shù)據(jù)連接， 其進(jìn)一步包括廣角視頻展開模塊，提供廣角圖像數(shù)據(jù)的解碼和展開，并將多幀展開后的單幀圖 像壓縮為全景視頻數(shù)據(jù)流；全景視頻輸出模塊，向某一全景視頻通訊終端提供另一全景視頻通訊終端的全景 視頻影像的鏈接以及全景視頻數(shù)據(jù)流。根據(jù)本發(fā)明的全景視頻通訊系統(tǒng)的一實(shí)施例，該廣角鏡頭包括魚眼鏡頭。根據(jù)本發(fā)明的全景視頻通訊系統(tǒng)的一實(shí)施例，該曝光設(shè)備和該播放模塊是一具有 拍攝視頻功能和視頻播放功能的移動(dòng)通信設(shè)備。根據(jù)本發(fā)明的全景視頻通訊系統(tǒng)的一實(shí)施例，該曝光設(shè)備是一攝像頭，該播放模 塊是一具有視頻播放功能的計(jì)算機(jī)。根據(jù)本發(fā)明的全景視頻通訊系統(tǒng)的一實(shí)施例，該數(shù)據(jù)交換網(wǎng)絡(luò)包括互聯(lián)網(wǎng)或無線 通信網(wǎng)絡(luò)。根據(jù)本發(fā)明的全景視頻通訊系統(tǒng)的一實(shí)施例，該多個(gè)全景視頻通訊終端之間的全 景視頻通訊是實(shí)時(shí)的。根據(jù)本發(fā)明的全景視頻通訊系統(tǒng)的一實(shí)施例，該全景視頻服務(wù)器上還設(shè)置存儲(chǔ)模 塊，用于存儲(chǔ)該多個(gè)全景視頻通訊終端傳輸來的處理后的全景視頻數(shù)據(jù)流；該全景視頻通訊系統(tǒng)還包括全景視頻瀏覽終端，通過數(shù)據(jù)交換網(wǎng)絡(luò)和該全景視頻服務(wù)器建立數(shù)據(jù)鏈接，從該 全景視頻服務(wù)器的該存儲(chǔ)模塊中下載該全景視頻數(shù)據(jù)流加以播放。本發(fā)明還揭示了一種全景視頻通訊系統(tǒng)，包括多個(gè)全景視頻通訊終端，進(jìn)行全景視頻數(shù)據(jù)的采集，其進(jìn)一步包括廣角鏡頭，獲取具廣角效果的圖像；曝光設(shè)備，其上安裝該廣角鏡頭，利用通過該廣角鏡頭進(jìn)入的光線進(jìn)行曝光、轉(zhuǎn)換 和壓縮，形成廣角圖像數(shù)據(jù)；全景視頻服務(wù)器，通過數(shù)據(jù)交換網(wǎng)絡(luò)與該多個(gè)全景視頻通訊終端建立數(shù)據(jù)連接， 其進(jìn)一步包括廣角視頻展開模塊，提供廣角圖像數(shù)據(jù)的解碼和展開，并將多幀展開后的單幀圖像壓縮為全景視頻數(shù)據(jù)流；全景視頻播放模塊，將該廣角視頻展開模塊壓縮完成的全景視頻數(shù)據(jù)流進(jìn)行播 放。根據(jù)本發(fā)明的全景視頻通訊系統(tǒng)的一實(shí)施例，該廣角鏡頭包括魚眼鏡頭。根據(jù)本發(fā)明的全景視頻通訊系統(tǒng)的一實(shí)施例，該曝光設(shè)備是一具有拍攝視頻功能 的移動(dòng)通信設(shè)備。根據(jù)本發(fā)明的全景視頻通訊系統(tǒng)的一實(shí)施例，該曝光設(shè)備是一攝像頭和一計(jì)算機(jī) 的組合。根據(jù)本發(fā)明的全景視頻通訊系統(tǒng)的一實(shí)施例，該數(shù)據(jù)交換網(wǎng)絡(luò)包括互聯(lián)網(wǎng)或無線 通信網(wǎng)絡(luò)。本發(fā)明還揭示了一種全景視頻通訊方法，包括—全景視頻通訊終端通過廣角鏡頭采集具有廣角效果的圖像，經(jīng)曝光、轉(zhuǎn)換和壓 縮后形成廣角圖像數(shù)據(jù)；該全景視頻通訊終端將該廣角圖像數(shù)據(jù)通過數(shù)據(jù)交換網(wǎng)絡(luò)發(fā)送到全景視頻服務(wù) 器；全景視頻服務(wù)器將接收到的廣角圖像數(shù)據(jù)進(jìn)行解碼和展開處理，并將多幀展開后 的單幀圖像壓縮為全景視頻數(shù)據(jù)流；全景視頻服務(wù)器向另一全景視頻通訊終端提供該全景視頻通訊終端的全景視頻 影像的鏈接以及該全景視頻數(shù)據(jù)流；該另一全景視頻通訊終端播放該全景視頻數(shù)據(jù)流。根據(jù)本發(fā)明的全景視頻通訊方法的一實(shí)施例，該廣角鏡頭包括魚眼鏡頭。根據(jù)本發(fā)明的全景視頻通訊方法的一實(shí)施例，該全景視頻通訊終端包括一具有拍 攝視頻功能和視頻播放功能的移動(dòng)通信設(shè)備，該廣角鏡頭安裝在該移動(dòng)通信設(shè)備預(yù)制的鏡 頭上。根據(jù)本發(fā)明的全景視頻通訊方法的一實(shí)施例，該全景視頻通訊終端包括一具有視 頻播放功能的計(jì)算機(jī)以及連接該計(jì)算機(jī)的一攝像頭，該廣角鏡頭安裝在該攝像頭上。根據(jù)本發(fā)明的全景視頻通訊方法的一實(shí)施例，該數(shù)據(jù)交換網(wǎng)絡(luò)包括互聯(lián)網(wǎng)或無線 通信網(wǎng)絡(luò)。根據(jù)本發(fā)明的全景視頻通訊方法的一實(shí)施例，該一全景視頻通訊終端和該另一全 景視頻通訊終端之間的全景視頻通訊是實(shí)時(shí)的。根據(jù)本發(fā)明的全景視頻通訊方法的一實(shí)施例，該方法還包括該全景視頻服務(wù)器存儲(chǔ)壓縮完成的全景視頻數(shù)據(jù)流，提供給全景視頻瀏覽終端以 非實(shí)時(shí)的方式下載播放。本發(fā)明又揭示了一種全景視頻通訊方法，包括一全景視頻通訊終端通過廣角鏡頭采集具有廣角效果的圖像，經(jīng)曝光、轉(zhuǎn)換和壓 縮后形成廣角圖像數(shù)據(jù)；該全景視頻通訊終端將該廣角圖像數(shù)據(jù)通過數(shù)據(jù)交換網(wǎng)絡(luò)發(fā)送到全景視頻服務(wù) 器；全景視頻服務(wù)器將接收到的廣角圖像數(shù)據(jù)進(jìn)行解碼和展開處理，并將多幀展開后的單幀圖像壓縮為全景視頻數(shù)據(jù)流；全景視頻服務(wù)器將壓縮完成的全景視頻數(shù)據(jù)流進(jìn)行播放。根據(jù)本發(fā)明的全景通訊方法的一實(shí)施例，該廣角鏡頭包括魚眼鏡頭。根據(jù)本發(fā)明的全景通訊方法的一實(shí)施例，該全景視頻通訊終端包括一具有拍攝視 頻功能的移動(dòng)通信設(shè)備，該廣角鏡頭安裝在該移動(dòng)通信設(shè)備預(yù)制的鏡頭上。根據(jù)本發(fā)明的全景通訊方法的一實(shí)施例，該全景視頻通訊終端包括一計(jì)算機(jī)以及 連接該計(jì)算機(jī)的一攝像頭，該廣角鏡頭安裝在該攝像頭上。根據(jù)本發(fā)明的全景通訊方法的一實(shí)施例，該數(shù)據(jù)交換網(wǎng)絡(luò)包括互聯(lián)網(wǎng)或無線通信 網(wǎng)絡(luò)。本發(fā)明對(duì)比現(xiàn)有技術(shù)有如下的有益效果本發(fā)明主要的發(fā)明點(diǎn)是將基于魚眼成 像的成套設(shè)備應(yīng)用于視頻通訊，使得全景視頻通訊的發(fā)起和參與者更容易獲取魚眼攝影設(shè) 備，能更方便的展開魚眼視頻影像，更通用的瀏覽全景視頻，從而解決了全景視頻會(huì)議設(shè)備 過于昂貴，攝像技術(shù)過于復(fù)雜、拼合成功率過低、拼合速度緩慢的問題，可使視頻通訊的參 與者隨時(shí)隨地的進(jìn)行視頻聯(lián)系，隨時(shí)隨地的獲得真切的體驗(yàn)。


圖1是本發(fā)明的全景視頻通訊系統(tǒng)的第一實(shí)施例的原理圖。圖2是本發(fā)明的全景視頻通訊系統(tǒng)的第二實(shí)施例的原理圖。圖3是本發(fā)明的全景視頻通訊系統(tǒng)的第三實(shí)施例的原理圖。圖4是本發(fā)明的全景視頻通訊方法的第一實(shí)施例的流程圖。圖5是本發(fā)明的全景視頻通訊方法的第二實(shí)施例的流程圖。圖6是本發(fā)明的全景視頻通訊方法的第三實(shí)施例的流程圖。
具體實(shí)施例方式下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明作進(jìn)一步的描述。在介紹本發(fā)明的各個(gè)實(shí)施例之前，首先對(duì)全景或者全景圖像(影像)作一個(gè)說明 若將圖像放在一個(gè)球空間、或立方體空間、或柱形空間、或錐形空間、或橢球空間中，通過上 述空間中固定一點(diǎn)作為觀察點(diǎn)，通過該觀察點(diǎn)采用單點(diǎn)透視該圖像所獲得的影像的過程即 為全景播放，則該圖像被對(duì)應(yīng)的稱為球形全景、或立方體全景、或柱形全景、或錐形全景、或 橢球全景，并且統(tǒng)稱該圖像為全景或全景圖像(影像)。在介紹本發(fā)明的各個(gè)實(shí)施例之前，還要對(duì)魚眼視頻做一個(gè)說明魚眼視頻是指通 過魚眼鏡頭匯聚光線透視到感光成像元件上產(chǎn)生的連續(xù)的視頻影像，由于是通過魚眼鏡頭 獲取的，則稱這類照片為魚眼照片。在介紹本發(fā)明的各個(gè)實(shí)施例之前，還要對(duì)全景視頻做一個(gè)說明魚眼視頻的每一 幀圖像都是畸變的圖像，需要通過算法展開才能將圖像展開成一個(gè)適合肉眼觀看的全景圖 像，將魚眼視頻展開后看到的視頻被稱為全景視頻。全景視頻通訊系統(tǒng)的第一實(shí)施例圖1示出了本發(fā)明的全景視頻通訊系統(tǒng)的第一實(shí)施例的原理。請(qǐng)參見圖1，本實(shí)施 例的全景視頻通訊系統(tǒng)包括多個(gè)全景視頻通訊終端10、數(shù)據(jù)交換網(wǎng)絡(luò)12、全景視頻服務(wù)器14。通過數(shù)據(jù)交換網(wǎng)絡(luò)12，這些全景視頻通訊終端10和全景視頻服務(wù)器14之間建立數(shù) 據(jù)連接，其中數(shù)據(jù)交換網(wǎng)絡(luò)12可以是互聯(lián)網(wǎng)或無線通信網(wǎng)絡(luò)。以其中一個(gè)全景視頻通訊終端10為例，其包括三個(gè)模塊廣角鏡頭100、曝光設(shè)備 102以及播放模塊104。廣角鏡頭100可以獲取具有廣角效果的圖像，在本實(shí)施例中可以是 一個(gè)魚眼鏡頭，魚眼鏡頭用于獲取魚眼照片。魚眼鏡頭100安裝在曝光設(shè)備102之前，曝光設(shè)備102利用通過魚眼鏡頭100進(jìn) 入的光線進(jìn)行曝光、轉(zhuǎn)換和壓縮，形成魚眼圖像數(shù)據(jù)。而播放模塊104用于將接收到的全景 視頻數(shù)據(jù)流以視頻幀的方式進(jìn)行播放。曝光設(shè)備102和播放模塊104可以集成在一個(gè)裝置中，例如具有拍攝視頻功能和 視頻播放功能的移動(dòng)通信設(shè)備(如手機(jī))。魚眼鏡頭100安裝在手機(jī)的攝像頭之前。曝光設(shè)備102也可以是一個(gè)攝像頭，而播放模塊實(shí)際上是一臺(tái)具有視頻播放功能 的計(jì)算機(jī)，攝像頭安裝在計(jì)算機(jī)上，魚眼鏡頭100安裝在攝像頭之前。手機(jī)或者是計(jì)算機(jī)通過數(shù)據(jù)交換網(wǎng)絡(luò)12將魚眼照片(視頻)上傳到全景視頻服 務(wù)器14中。全景視頻服務(wù)器14的內(nèi)部也分為兩個(gè)模塊廣角視頻展開模塊140和全景視頻輸 出模塊142。對(duì)應(yīng)本實(shí)施例的魚眼鏡頭，這里的廣角視頻展開模塊140實(shí)際上是魚眼視頻展 開模塊。魚眼視頻展開模塊140負(fù)責(zé)對(duì)獲得的魚眼圖像的解碼和展開，并將多幀展開后的 單幀圖像壓縮為全景視頻數(shù)據(jù)流。展開的處理方法在背景技術(shù)中已經(jīng)提到，例如是基于兩張魚眼圖像的智能型全景 生成方法、基于全幀圖像生成球形全景的方法、基于圓魚眼或鼓形圖像快速生成高清晰度 全景的智能化方法、基于六張鼓形圖像生成球形全景的方法。全景視頻輸出模塊142負(fù)責(zé)通過數(shù)據(jù)交換網(wǎng)絡(luò)12，將某一全景視頻通訊終端上 傳的全景視頻數(shù)據(jù)流提供給另一個(gè)全景視頻通訊終端，也包括隨之提供全景視頻影像的連 接。這樣實(shí)現(xiàn)的全景視頻通訊終端之間是實(shí)時(shí)通訊。全景視頻通訊系統(tǒng)的第二實(shí)施例圖2示出了本發(fā)明的全景視頻通訊系統(tǒng)的第二實(shí)施例的原理。請(qǐng)參見圖2，本實(shí)施 例的全景視頻通訊系統(tǒng)包括多個(gè)全景視頻通訊終端20、數(shù)據(jù)交換網(wǎng)絡(luò)22、全景視頻服務(wù) 器24、全景視頻瀏覽終端26。通過數(shù)據(jù)交換網(wǎng)絡(luò)22，這些全景視頻通訊終端20、全景視頻 瀏覽終端26和全景視頻服務(wù)器24之間建立數(shù)據(jù)連接，其中數(shù)據(jù)交換網(wǎng)絡(luò)22可以是互聯(lián)網(wǎng) 或無線通信網(wǎng)絡(luò)。以其中一個(gè)全景視頻通訊終端20為例，其包括三個(gè)模塊廣角鏡頭200、曝光設(shè)備 202以及播放模塊204。廣角鏡頭200可以獲取具有廣角效果的圖像，在本實(shí)施例中可以是 一個(gè)魚眼鏡頭，魚眼鏡頭用于獲取魚眼照片。魚眼鏡頭200安裝在曝光設(shè)備202之前，曝光設(shè)備202利用通過魚眼鏡頭200進(jìn) 入的光線進(jìn)行曝光、轉(zhuǎn)換和壓縮，形成魚眼圖像數(shù)據(jù)。而播放模塊204用于將接收到的全景 視頻數(shù)據(jù)流以視頻幀的方式進(jìn)行播放。曝光設(shè)備202和播放模塊204可以集成在一個(gè)裝置中，例如具有拍攝視頻功能和 視頻播放功能的移動(dòng)通信設(shè)備(如手機(jī))。魚眼鏡頭200安裝在手機(jī)的攝像頭之前。曝光設(shè)備202也可以是一個(gè)攝像頭，而播放模塊實(shí)際上是一臺(tái)具有視頻播放功能的計(jì)算機(jī)，攝像頭安裝在計(jì)算機(jī)上，魚眼鏡頭200安裝在攝像頭之前。手機(jī)或者是計(jì)算機(jī)通過數(shù)據(jù)交換網(wǎng)絡(luò)22將魚眼照片(視頻)上傳到全景視頻服 務(wù)器24中。全景視頻服務(wù)器24的內(nèi)部也分為三個(gè)模塊廣角視頻展開模塊240、全景視頻輸 出模塊242和存儲(chǔ)模塊244。對(duì)應(yīng)本實(shí)施例的魚眼鏡頭，這里的廣角視頻展開模塊240實(shí)際 上是魚眼視頻展開模塊。魚眼視頻展開模塊240負(fù)責(zé)對(duì)獲得的魚眼圖像的解碼和展開，并 將多幀展開后的單幀圖像壓縮為全景視頻數(shù)據(jù)流。展開的處理方法在背景技術(shù)中已經(jīng)提到，例如是基于兩張魚眼圖像的智能型全景 生成方法、基于全幀圖像生成球形全景的方法、基于圓魚眼或鼓形圖像快速生成高清晰度 全景的智能化方法、基于六張鼓形圖像生成球形全景的方法。存儲(chǔ)模塊244將魚眼視頻展開模塊240處理后的全景視頻數(shù)據(jù)流存儲(chǔ)在全景視頻 服務(wù)器24上。全景視頻輸出模塊242連接該存儲(chǔ)模塊244，負(fù)責(zé)通過數(shù)據(jù)交換網(wǎng)絡(luò)12，將某一全 景視頻通訊終端上傳的在服務(wù)器中處理后的且存儲(chǔ)在存儲(chǔ)模塊244中的全景視頻數(shù)據(jù)流 提供給另一個(gè)全景視頻通訊終端，也包括隨之提供全景視頻影像的連接。此外，全景視頻瀏覽終端26還可以向服務(wù)器請(qǐng)求播放存儲(chǔ)模塊244中的全景視頻 數(shù)據(jù)流。這種瀏覽可以是實(shí)時(shí)的，也可以是非實(shí)時(shí)的，全景視頻瀏覽終端26的具體形式可 以包括計(jì)算機(jī)、個(gè)人數(shù)字助理PDA、移動(dòng)顯示終端或手機(jī)等。全景視頻通訊系統(tǒng)的第三實(shí)施例圖3示出了本發(fā)明的全景視頻通訊系統(tǒng)的第三實(shí)施例的原理。請(qǐng)參見圖3，本實(shí)施 例的全景視頻通訊系統(tǒng)包括多個(gè)全景視頻通訊終端30、數(shù)據(jù)交換網(wǎng)絡(luò)32、全景視頻服務(wù) 器34。通過數(shù)據(jù)交換網(wǎng)絡(luò)32，這些全景視頻通訊終端30和全景視頻服務(wù)器34之間建立數(shù) 據(jù)連接，其中數(shù)據(jù)交換網(wǎng)絡(luò)32可以是互聯(lián)網(wǎng)或無線通信網(wǎng)絡(luò)。以其中一個(gè)全景視頻通訊終端30為例，其包括兩個(gè)模塊廣角鏡頭300、曝光設(shè)備 302。廣角鏡頭300可以獲取具有廣角效果的圖像，在本實(shí)施例中可以是一個(gè)魚眼鏡頭，魚 眼鏡頭用于獲取魚眼照片。魚眼鏡頭300安裝在曝光設(shè)備302之前，曝光設(shè)備302利用通過魚眼鏡頭300進(jìn) 入的光線進(jìn)行曝光、轉(zhuǎn)換和壓縮，形成魚眼圖像數(shù)據(jù)。曝光設(shè)備302例如是具有拍攝視頻功能的移動(dòng)通信設(shè)備(如手機(jī))。魚眼鏡頭300 安裝在手機(jī)的攝像頭之前。曝光設(shè)備302也可以是一個(gè)攝像頭和計(jì)算機(jī)的組合，攝像頭安裝在計(jì)算機(jī)上，魚 眼鏡頭300安裝在攝像頭之前。手機(jī)或者是計(jì)算機(jī)通過數(shù)據(jù)交換網(wǎng)絡(luò)32將魚眼照片(視頻)上傳到全景視頻服 務(wù)器34中。全景視頻服務(wù)器34的內(nèi)部分為兩個(gè)模塊廣角視頻展開模塊340和全景視頻播放 模塊342。對(duì)應(yīng)本實(shí)施例的魚眼鏡頭，這里的廣角視頻展開模塊340實(shí)際上是魚眼視頻展開 模塊。魚眼視頻展開模塊340負(fù)責(zé)對(duì)獲得的魚眼圖像的解碼和展開，并將多幀展開后的單 幀圖像壓縮為全景視頻數(shù)據(jù)流。展開的處理方法在背景技術(shù)中已經(jīng)提到，例如是基于兩張魚眼圖像的智能型全景生成方法、基于全幀圖像生成球形全景的方法、基于圓魚眼或鼓形圖像快速生成高清晰度 全景的智能化方法、基于六張鼓形圖像生成球形全景的方法。全景視頻播放模塊342接收魚眼視頻展開模塊340壓縮完成的全景視頻數(shù)據(jù)流， 將予以播放。本實(shí)施例可以應(yīng)用在視頻會(huì)議中。全景視頻通訊方法的第一實(shí)施例圖4示出了本發(fā)明的全景視頻通訊方法的第一實(shí)施例。請(qǐng)參見圖4，本實(shí)施例的全 景視頻通訊方法的各個(gè)步驟詳述如下。步驟SlO 全景視頻通訊終端通過廣角鏡頭采集具有廣角效果的圖像，經(jīng)曝光、轉(zhuǎn) 換和壓縮后形成廣角圖像數(shù)據(jù)。本實(shí)施例中的廣角鏡頭是魚眼鏡頭，因此采集到的也是具有魚眼效果的圖像，最 后形成的是魚眼圖像數(shù)據(jù)。具體可以有兩種實(shí)現(xiàn)方式，一種是將魚眼鏡頭安裝在手機(jī)鏡頭上，是由手機(jī)來曝 光、轉(zhuǎn)換和壓縮的，另一種是將魚眼鏡頭安裝在攝像頭，而攝像頭是連接在普通的電腦上 的。步驟Sll 全景視頻通訊終端將廣角圖像數(shù)據(jù)通過數(shù)據(jù)交換網(wǎng)絡(luò)發(fā)送到全景視頻 服務(wù)器。這里的數(shù)據(jù)交換網(wǎng)絡(luò)可以是互聯(lián)網(wǎng)或者無線通信網(wǎng)絡(luò)。對(duì)應(yīng)于上一步驟中的魚眼 鏡頭，這里的廣角圖像數(shù)據(jù)也就是魚眼照片。步驟S12 全景視頻服務(wù)器將接收到的廣角圖像數(shù)據(jù)進(jìn)行解碼和展開處理。這里的展開的處理方法在背景技術(shù)中已經(jīng)提到，例如是基于兩張魚眼圖像的智能 型全景生成方法、基于全幀圖像生成球形全景的方法、基于圓魚眼或鼓形圖像快速生成高 清晰度全景的智能化方法、基于六張鼓形圖像生成球形全景的方法。步驟S13 全景視頻服務(wù)器將多幀展開后的單幀圖像壓縮為全景視頻數(shù)據(jù)流。步驟S14 全景視頻服務(wù)器向另一全景視頻通訊終端提供這一個(gè)全景視頻通訊終 端的全景視頻影像的鏈接以及全景視頻數(shù)據(jù)流。這里的兩個(gè)全景視頻通訊終端之間通過全景視頻服務(wù)器來通訊是實(shí)時(shí)的過程。步驟S15 另一個(gè)全景視頻通訊終端在接收到全景視頻數(shù)據(jù)流后進(jìn)行播放。全景視頻通訊方法的第二實(shí)施例圖5示出了本發(fā)明的全景視頻通訊方法的第二實(shí)施例。請(qǐng)參見圖5，本實(shí)施例的全 景視頻通訊方法的各個(gè)步驟詳述如下。步驟S20 全景視頻通訊終端通過廣角鏡頭采集具有廣角效果的圖像，經(jīng)曝光、轉(zhuǎn) 換和壓縮后形成廣角圖像數(shù)據(jù)。本實(shí)施例中的廣角鏡頭是魚眼鏡頭，因此采集到的也是具有魚眼效果的圖像，最 后形成的是魚眼圖像數(shù)據(jù)。具體可以有兩種實(shí)現(xiàn)方式，一種是將魚眼鏡頭安裝在手機(jī)鏡頭上，是由手機(jī)來曝 光、轉(zhuǎn)換和壓縮的，另一種是將魚眼鏡頭安裝在攝像頭，而攝像頭是連接在普通的電腦上 的。步驟S21 全景視頻通訊終端將廣角圖像數(shù)據(jù)通過數(shù)據(jù)交換網(wǎng)絡(luò)發(fā)送到全景視頻 服務(wù)器。
這里的數(shù)據(jù)交換網(wǎng)絡(luò)可以是互聯(lián)網(wǎng)或者無線通信網(wǎng)絡(luò)。對(duì)應(yīng)于上一步驟中的魚眼 鏡頭，這里的廣角圖像數(shù)據(jù)也就是魚眼照片。步驟S22 全景視頻服務(wù)器將接收到的廣角圖像數(shù)據(jù)進(jìn)行解碼和展開處理。這里的展開的處理方法在背景技術(shù)中已經(jīng)提到，例如是基于兩張魚眼圖像的智能 型全景生成方法、基于全幀圖像生成球形全景的方法、基于圓魚眼或鼓形圖像快速生成高 清晰度全景的智能化方法、基于六張鼓形圖像生成球形全景的方法。步驟S23 全景視頻服務(wù)器將多幀展開后的單幀圖像壓縮為全景視頻數(shù)據(jù)流。步驟S24 全景視頻服務(wù)器將壓縮完成的全景視頻數(shù)據(jù)流存儲(chǔ)下來。步驟S25 全景視頻服務(wù)器向另一全景視頻通訊終端或者一個(gè)全景視頻瀏覽終端 提供這一個(gè)全景視頻通訊終端的全景視頻影像的鏈接以及全景視頻數(shù)據(jù)流。全景視頻數(shù)據(jù)流在全景視頻服務(wù)器中的來源可以直接取自壓縮過程，也可以取自 存儲(chǔ)模塊中的數(shù)據(jù)。全景視頻瀏覽終端例如是計(jì)算機(jī)、個(gè)人數(shù)字助理PDA、移動(dòng)顯示終端或 手機(jī)等。步驟S26 另一個(gè)全景視頻通訊終端或者全景視頻瀏覽終端在接收到全景視頻數(shù) 據(jù)流后進(jìn)行播放。全景視頻通訊方法的第三實(shí)施例圖6示出了本發(fā)明的全景視頻通訊方法的第三實(shí)施例。請(qǐng)參見圖6，本實(shí)施例的全 景視頻通訊方法的各個(gè)步驟詳述如下。步驟S30 全景視頻通訊終端通過廣角鏡頭采集具有廣角效果的圖像，經(jīng)曝光、轉(zhuǎn) 換和壓縮后形成廣角圖像數(shù)據(jù)。本實(shí)施例中的廣角鏡頭是魚眼鏡頭，因此采集到的也是具有魚眼效果的圖像，最 后形成的是魚眼圖像數(shù)據(jù)。具體可以有兩種實(shí)現(xiàn)方式，一種是將魚眼鏡頭安裝在手機(jī)鏡頭上，是由手機(jī)來曝 光、轉(zhuǎn)換和壓縮的，另一種是將魚眼鏡頭安裝在攝像頭，而攝像頭是連接在普通的電腦上 的。步驟S31 全景視頻通訊終端將廣角圖像數(shù)據(jù)通過數(shù)據(jù)交換網(wǎng)絡(luò)發(fā)送到全景視頻 服務(wù)器。這里的數(shù)據(jù)交換網(wǎng)絡(luò)可以是互聯(lián)網(wǎng)或者無線通信網(wǎng)絡(luò)。對(duì)應(yīng)于上一步驟中的魚眼 鏡頭，這里的廣角圖像數(shù)據(jù)也就是魚眼照片。步驟S32 全景視頻服務(wù)器將接收到的廣角圖像數(shù)據(jù)進(jìn)行解碼和展開處理。這里的展開的處理方法在背景技術(shù)中已經(jīng)提到，例如是基于兩張魚眼圖像的智能 型全景生成方法、基于全幀圖像生成球形全景的方法、基于圓魚眼或鼓形圖像快速生成高 清晰度全景的智能化方法、基于六張鼓形圖像生成球形全景的方法。步驟S33 全景視頻服務(wù)器將多幀展開后的單幀圖像壓縮為全景視頻數(shù)據(jù)流。步驟S34 全景視頻服務(wù)器將全景視頻數(shù)據(jù)流在服務(wù)器端進(jìn)行播放。上述實(shí)施例是提供給本領(lǐng)域普通技術(shù)人員來實(shí)現(xiàn)或使用本發(fā)明的，本領(lǐng)域普通技 術(shù)人員可在不脫離本發(fā)明的發(fā)明思想的情況下，對(duì)上述實(shí)施例做出種種修改或變化，因而 本發(fā)明的保護(hù)范圍并不被上述實(shí)施例所限，而應(yīng)該是符合權(quán)利要求書提到的創(chuàng)新性特征的 最大范圍。
權(quán)利要求
一種全景視頻通訊系統(tǒng)，包括多個(gè)全景視頻通訊終端，進(jìn)行全景視頻數(shù)據(jù)的采集和播放，其進(jìn)一步包括廣角鏡頭，獲取具廣角效果的圖像；曝光設(shè)備，其上安裝該廣角鏡頭，利用通過該廣角鏡頭進(jìn)入的光線進(jìn)行曝光、轉(zhuǎn)換和壓縮，形成廣角圖像數(shù)據(jù)；播放模塊，將接收到的全景視頻數(shù)據(jù)流以視頻幀的方式進(jìn)行播放；全景視頻服務(wù)器，通過數(shù)據(jù)交換網(wǎng)絡(luò)與該多個(gè)全景視頻通訊終端建立數(shù)據(jù)連接，其進(jìn)一步包括廣角視頻展開模塊，提供廣角圖像數(shù)據(jù)的解碼和展開，并將多幀展開后的單幀圖像壓縮為全景視頻數(shù)據(jù)流；全景視頻輸出模塊，向某一全景視頻通訊終端提供另一全景視頻通訊終端的全景視頻影像的鏈接以及全景視頻數(shù)據(jù)流。
2.根據(jù)權(quán)利要求1所述的全景視頻通訊系統(tǒng)，其特征在于，該廣角鏡頭包括魚眼鏡頭。
3.根據(jù)權(quán)利要求1所述的全景視頻通訊系統(tǒng)，其特征在于，該曝光設(shè)備和該播放模塊 是一具有拍攝視頻功能和視頻播放功能的移動(dòng)通信設(shè)備。
4.根據(jù)權(quán)利要求1所述的全景視頻通訊系統(tǒng)，其特征在于，該曝光設(shè)備是一攝像頭，該 播放模塊是一具有視頻播放功能的計(jì)算機(jī)。
5.根據(jù)權(quán)利要求1所述的全景視頻通訊系統(tǒng)，其特征在于，該數(shù)據(jù)交換網(wǎng)絡(luò)包括互聯(lián) 網(wǎng)或無線通信網(wǎng)絡(luò)。
6.根據(jù)權(quán)利要求1所述的全景視頻通訊系統(tǒng)，其特征在于，該多個(gè)全景視頻通訊終端 之間的全景視頻通訊是實(shí)時(shí)的。
7.根據(jù)權(quán)利要求1所述的全景視頻通訊系統(tǒng)，其特征在于，該全景視頻服務(wù)器上還設(shè) 置存儲(chǔ)模塊，用于存儲(chǔ)該多個(gè)全景視頻通訊終端傳輸來的處理后的全景視頻數(shù)據(jù)流；該全景視頻通訊系統(tǒng)還包括全景視頻瀏覽終端，通過數(shù)據(jù)交換網(wǎng)絡(luò)和該全景視頻服務(wù)器建立數(shù)據(jù)鏈接，從該全景 視頻服務(wù)器的該存儲(chǔ)模塊中下載該全景視頻數(shù)據(jù)流加以播放。
8.一種全景視頻通訊系統(tǒng)，包括多個(gè)全景視頻通訊終端，進(jìn)行全景視頻數(shù)據(jù)的采集，其進(jìn)一步包括 廣角鏡頭，獲取具廣角效果的圖像；曝光設(shè)備，其上安裝該廣角鏡頭，利用通過該廣角鏡頭進(jìn)入的光線進(jìn)行曝光、轉(zhuǎn)換和壓 縮，形成廣角圖像數(shù)據(jù)；全景視頻服務(wù)器，通過數(shù)據(jù)交換網(wǎng)絡(luò)與該多個(gè)全景視頻通訊終端建立數(shù)據(jù)連接，其進(jìn) 一步包括廣角視頻展開模塊，提供廣角圖像數(shù)據(jù)的解碼和展開，并將多幀展開后的單幀圖像壓 縮為全景視頻數(shù)據(jù)流；全景視頻播放模塊，將該廣角視頻展開模塊壓縮完成的全景視頻數(shù)據(jù)流進(jìn)行播放。
9.根據(jù)權(quán)利要求8所述的全景視頻通訊系統(tǒng)，其特征在于，該廣角鏡頭包括魚眼鏡頭。
10.根據(jù)權(quán)利要求8所述的全景視頻通訊系統(tǒng)，其特征在于，該曝光設(shè)備是一具有拍攝 視頻功能的移動(dòng)通信設(shè)備。
11.根據(jù)權(quán)利要求8所述的全景視頻通訊系統(tǒng)，其特征在于，該曝光設(shè)備是一攝像頭和 一計(jì)算機(jī)的組合。
12.根據(jù)權(quán)利要求8所述的全景視頻通訊系統(tǒng)，其特征在于，該數(shù)據(jù)交換網(wǎng)絡(luò)包括互聯(lián) 網(wǎng)或無線通信網(wǎng)絡(luò)。
13.一種全景視頻通訊方法，包括一全景視頻通訊終端通過廣角鏡頭采集具有廣角效果的圖像，經(jīng)曝光、轉(zhuǎn)換和壓縮后 形成廣角圖像數(shù)據(jù)；該全景視頻通訊終端將該廣角圖像數(shù)據(jù)通過數(shù)據(jù)交換網(wǎng)絡(luò)發(fā)送到全景視頻服務(wù)器；全景視頻服務(wù)器將接收到的廣角圖像數(shù)據(jù)進(jìn)行解碼和展開處理，并將多幀展開后的單 幀圖像壓縮為全景視頻數(shù)據(jù)流；全景視頻服務(wù)器向另一全景視頻通訊終端提供該全景視頻通訊終端的全景視頻影像 的鏈接以及該全景視頻數(shù)據(jù)流；該另一全景視頻通訊終端播放該全景視頻數(shù)據(jù)流。
14.根據(jù)權(quán)利要求13所述的全景視頻通訊方法，其特征在于，該廣角鏡頭包括魚眼鏡頭。
15.根據(jù)權(quán)利要求13所述的全景視頻通訊方法，其特征在于，該全景視頻通訊終端包 括一具有拍攝視頻功能和視頻播放功能的移動(dòng)通信設(shè)備，該廣角鏡頭安裝在該移動(dòng)通信設(shè) 備預(yù)制的鏡頭上。
16.根據(jù)權(quán)利要求13所述的全景視頻通訊方法，其特征在于，該全景視頻通訊終端包 括一具有視頻播放功能的計(jì)算機(jī)以及連接該計(jì)算機(jī)的一攝像頭，該廣角鏡頭安裝在該攝像 頭上。
17.根據(jù)權(quán)利要求13所述的全景視頻通訊方法，其特征在于，該數(shù)據(jù)交換網(wǎng)絡(luò)包括互 聯(lián)網(wǎng)或無線通信網(wǎng)絡(luò)。
18.根據(jù)權(quán)利要求13所述的全景視頻通訊方法，其特征在于，該一全景視頻通訊終端 和該另一全景視頻通訊終端之間的全景視頻通訊是實(shí)時(shí)的。
19.根據(jù)權(quán)利要求13所述的全景視頻通訊方法，其特征在于，該方法還包括該全景視頻服務(wù)器存儲(chǔ)壓縮完成的全景視頻數(shù)據(jù)流，提供給全景視頻瀏覽終端以非實(shí) 時(shí)的方式下載播放。
20.一種全景視頻通訊方法，包括一全景視頻通訊終端通過廣角鏡頭采集具有廣角效果的圖像，經(jīng)曝光、轉(zhuǎn)換和壓縮后 形成廣角圖像數(shù)據(jù)；該全景視頻通訊終端將該廣角圖像數(shù)據(jù)通過數(shù)據(jù)交換網(wǎng)絡(luò)發(fā)送到全景視頻服務(wù)器；全景視頻服務(wù)器將接收到的廣角圖像數(shù)據(jù)進(jìn)行解碼和展開處理，并將多幀展開后的單 幀圖像壓縮為全景視頻數(shù)據(jù)流；全景視頻服務(wù)器將壓縮完成的全景視頻數(shù)據(jù)流進(jìn)行播放。
21.根據(jù)權(quán)利要求20所述的全景通訊方法，其特征在于，該廣角鏡頭包括魚眼鏡頭。
22.根據(jù)權(quán)利要求20所述的全景視頻通訊方法，其特征在于，該全景視頻通訊終端包 括一具有拍攝視頻功能的移動(dòng)通信設(shè)備，該廣角鏡頭安裝在該移動(dòng)通信設(shè)備預(yù)制的鏡頭 上。
23.根據(jù)權(quán)利要求20所述的全景視頻通訊方法，其特征在于，該全景視頻通訊終端包 括一計(jì)算機(jī)以及連接該計(jì)算機(jī)的一攝像頭，該廣角鏡頭安裝在該攝像頭上。
24.根據(jù)權(quán)利要求20所述的全景視頻通訊方法，其特征在于，該數(shù)據(jù)交換網(wǎng)絡(luò)包括互 聯(lián)網(wǎng)或無線通信網(wǎng)絡(luò)。
全文摘要
本發(fā)明公開了全景視頻通訊系統(tǒng)和方法，以全景影像的方式提供終端視頻通訊，為全景通訊視頻參與者提供真實(shí)全面的體驗(yàn)。其技術(shù)方案為系統(tǒng)包括多個(gè)全景視頻通訊終端，采集和播放全景視頻數(shù)據(jù)，進(jìn)一步包括廣角鏡頭，獲取具廣角效果的圖像；曝光設(shè)備，利用通過廣角鏡頭的光線進(jìn)行曝光、轉(zhuǎn)換和壓縮，形成廣角圖像數(shù)據(jù)；播放模塊，以視頻幀方式播放全景視頻數(shù)據(jù)流；全景視頻服務(wù)器，與全景視頻通訊終端建立連接，進(jìn)一步包括廣角視頻展開模塊，提供廣角圖像數(shù)據(jù)的解碼和展開，并將多幀單幀圖像壓縮為全景視頻數(shù)據(jù)流；全景視頻輸出模塊，向某一全景視頻通訊終端提供另一全景視頻通訊終端的全景視頻影像的鏈接以及全景視頻數(shù)據(jù)流。
文檔編號(hào)G03B37/00GK101969541SQ20101052428
公開日2011年2月9日 申請(qǐng)日期2010年10月28日 優(yōu)先權(quán)日2010年10月28日
發(fā)明者殷銘 申請(qǐng)人:上海杰圖軟件技術(shù)有限公司