專(zhuān)利名稱(chēng)：多視點(diǎn)視頻中丟失的視頻數(shù)據(jù)的恢復(fù)方法、系統(tǒng)及設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及多視點(diǎn)視頻領(lǐng)域，尤其涉及一種多視點(diǎn)視頻中丟失的視頻數(shù)據(jù)的恢復(fù) 方法、系統(tǒng)及設(shè)備。
背景技術(shù)：
多視點(diǎn)視頻是視頻業(yè)務(wù)的一項(xiàng)重要內(nèi)容，其特點(diǎn)是用戶(hù)可以自由地選擇觀看的視 角，從而可以觀看被拍攝物體(場(chǎng)景)的不同側(cè)面。如圖1所示，多視點(diǎn)視頻的實(shí)現(xiàn)方法是 在拍攝時(shí)通過(guò)多個(gè)角度對(duì)同一物體(場(chǎng)景)進(jìn)行拍攝，按照順時(shí)針?lè)较蛞暯蔷幪?hào)依次為1、 2、3. . . 16 ；在編碼時(shí)對(duì)每一個(gè)視角的視頻流分別進(jìn)行編碼，得到多視點(diǎn)視頻編碼碼流(包 括每一個(gè)視角的視頻編碼碼流)；在播放時(shí)需要根據(jù)用戶(hù)需求對(duì)相應(yīng)視角的視頻編碼碼流 進(jìn)行解碼和顯示。如圖2所示，為具有五個(gè)視角的多視點(diǎn)視頻編碼碼流的幀結(jié)構(gòu)示意圖，其中橫坐 標(biāo)表示時(shí)間(t)，縱坐標(biāo)表示視角編號(hào)。各幀圖像定義為I幀、P幀和B幀三種類(lèi)型，其中I 幀為幀內(nèi)編碼圖像，是只使用本幀內(nèi)的數(shù)據(jù)進(jìn)行編碼的圖像；P幀為前向預(yù)測(cè)編碼圖像，是 根據(jù)前面最近的I幀或P幀作為參考幀進(jìn)行前向預(yù)測(cè)編碼的圖像；B幀為雙向預(yù)測(cè)編碼圖 像，是根據(jù)前面和后面的I幀或P幀進(jìn)行雙向預(yù)測(cè)編碼的圖像。多視點(diǎn)視頻編碼碼流在進(jìn)行網(wǎng)絡(luò)傳輸時(shí)會(huì)出現(xiàn)丟失視頻數(shù)據(jù)的情況。由于多視點(diǎn) 視頻編碼碼流以視頻幀為單位，所以某一視頻幀的部分視頻數(shù)據(jù)丟失很可能導(dǎo)致該視頻幀 無(wú)法解碼；并且由于視頻幀的解碼有依賴(lài)關(guān)系，如果某個(gè)視角的視頻編碼碼流中I幀或P幀 丟失(全部視頻數(shù)據(jù)或部分視頻數(shù)據(jù)丟數(shù))，將導(dǎo)致該視角的視頻編碼碼流中后續(xù)視頻幀 無(wú)法解碼。現(xiàn)有技術(shù)中針對(duì)多視點(diǎn)視頻編碼碼流中視頻數(shù)據(jù)丟失的情況，提供了對(duì)視頻數(shù)據(jù) 進(jìn)行處理的方案，如果視頻編碼碼流中存在視頻數(shù)據(jù)的丟失，則對(duì)丟失的視頻數(shù)據(jù)進(jìn)行預(yù) 測(cè)估計(jì)和補(bǔ)償，需要從丟失了視頻數(shù)據(jù)的視頻幀(本申請(qǐng)文件中稱(chēng)為丟失幀)的前向視頻 幀中提取視頻數(shù)據(jù)宏塊整體復(fù)制到該丟失幀中，得到重建幀，從而恢復(fù)出丟失的視頻數(shù)據(jù)。 該方案導(dǎo)致重建幀有較明顯的分塊效應(yīng)，重建幀的視頻質(zhì)量較差。

發(fā)明內(nèi)容
本發(fā)明提供一種多視點(diǎn)視頻中丟失的視頻數(shù)據(jù)的恢復(fù)方法、系統(tǒng)及設(shè)備，用以消 除重建幀具有的分塊效應(yīng)，提升重建幀的視頻質(zhì)量。本發(fā)明提供一種多視點(diǎn)視頻中丟失的視頻數(shù)據(jù)的恢復(fù)方法，包括接收視頻發(fā)送端發(fā)送的多視點(diǎn)視頻編碼碼流，其中每一個(gè)視角的視頻編碼碼流中 攜帶本視角的攝像機(jī)參數(shù)；檢測(cè)出當(dāng)前正在播放視角的視頻編碼碼流中存在丟失了視頻數(shù)據(jù)的丟失幀時(shí)，根 據(jù)接收到的其它視角的視頻編碼碼流中與丟失幀處于相同時(shí)間位置上的視頻幀、以及相關(guān) 視角的攝像機(jī)參數(shù)，恢復(fù)出若干備選重建幀；并
從恢復(fù)出的若干備選重建幀中選取一個(gè)作為丟失幀的重建幀。本發(fā)明提供一種多視點(diǎn)視頻中丟失的視頻數(shù)據(jù)的恢復(fù)系統(tǒng)，包括視頻發(fā)送端，用于發(fā)送多視點(diǎn)視頻編碼碼流，其中每一個(gè)視角的視頻編碼碼流中 攜帶本視角的攝像機(jī)參數(shù)；視頻接收端，用于接收視頻發(fā)送端發(fā)送的所述多視點(diǎn)視頻編碼碼流，檢測(cè)出當(dāng)前 正在播放視角的視頻編碼碼流中存在丟失了視頻數(shù)據(jù)的丟失幀時(shí)，根據(jù)接收到的其它視角 的視頻編碼碼流中與丟失幀處于相同時(shí)間位置上的視頻幀、以及相關(guān)視角的攝像機(jī)參數(shù)， 恢復(fù)出若干備選重建幀；并從恢復(fù)出的若干備選重建幀中選取一個(gè)作為丟失幀的重建幀。本發(fā)明提供一種視頻接收端的解碼設(shè)備，包括接收單元，用于接收視頻發(fā)送端發(fā)送的多視點(diǎn)視頻編碼碼流，其中每一個(gè)視角的 視頻編碼碼流中攜帶本視角的攝像機(jī)參數(shù)；恢復(fù)單元，用于檢測(cè)出當(dāng)前正在播放視角的視頻編碼碼流中存在丟失了視頻數(shù)據(jù) 的丟失幀時(shí)，根據(jù)接收到的其它視角的視頻編碼碼流中與丟失幀處于相同時(shí)間位置上的視 頻幀、以及相關(guān)視角的攝像機(jī)參數(shù)，恢復(fù)出若干備選重建幀；選取單元，用于從恢復(fù)出的若干備選重建幀中選取一個(gè)作為丟失幀的重建幀。本發(fā)明提供的多視點(diǎn)視頻中丟失的視頻數(shù)據(jù)的恢復(fù)方法、系統(tǒng)及設(shè)備，視頻接收 端檢測(cè)出當(dāng)前正在播放視角的視頻編碼碼流中存在丟失幀時(shí)，根據(jù)接收到的其它視角的視 頻編碼碼流中與丟失幀處于相同時(shí)間位置上的視頻幀、以及相關(guān)視角的攝像機(jī)參數(shù)，恢復(fù) 出若干備選重建幀，并選取一個(gè)作為重建幀。本方案利用接收到的其它視角的視頻編碼碼 流中與丟失幀處于相同時(shí)間位置上的視頻幀，恢復(fù)出若干個(gè)備選重建幀，充分利用了空間 上不同視角的視頻冗余信息，有效解決了多視點(diǎn)視頻中視頻數(shù)據(jù)丟失的錯(cuò)誤隱藏問(wèn)題，提 升了丟失幀的重建幀的視頻質(zhì)量；該方案實(shí)現(xiàn)簡(jiǎn)單，并可普遍適用于丟失了全部視頻數(shù)據(jù) 或者部分視頻數(shù)據(jù)的丟失幀的視頻數(shù)據(jù)恢復(fù)。


圖1為現(xiàn)有技術(shù)中多視點(diǎn)視頻的實(shí)現(xiàn)方法示意圖；圖2為現(xiàn)有技術(shù)中多視點(diǎn)視頻編碼碼流的幀結(jié)構(gòu)示意圖；圖3為本發(fā)明實(shí)施例中丟失的視頻數(shù)據(jù)的恢復(fù)系統(tǒng)示意圖；圖4為本發(fā)明實(shí)施例中視頻接收端的編碼設(shè)備的結(jié)構(gòu)框圖；圖5為本發(fā)明實(shí)施例中丟失的視頻數(shù)據(jù)的恢復(fù)方法流程圖。
具體實(shí)施例方式本發(fā)明實(shí)施例針對(duì)多視點(diǎn)視頻編碼碼流中視頻數(shù)據(jù)丟失的情況，提供了一種多視 點(diǎn)視頻中丟失的視頻數(shù)據(jù)的恢復(fù)方法及系統(tǒng)，用以消除重建幀具有的分塊效應(yīng)，提升重建 幀的視頻質(zhì)量。首先介紹現(xiàn)有多視點(diǎn)視頻的實(shí)現(xiàn)系統(tǒng)，由視頻發(fā)送端、傳輸網(wǎng)絡(luò)和視頻接收端組 成。視頻發(fā)送端包括攝像機(jī)采集系統(tǒng)和編碼設(shè)備，攝像機(jī)采集系統(tǒng)用于采集每一個(gè)視角的 視頻流；編碼設(shè)備用于對(duì)攝像機(jī)采集系統(tǒng)采集到的每一個(gè)視角的視頻流分別進(jìn)行編碼，得 到多視點(diǎn)視頻編碼碼流，多視點(diǎn)視頻編碼碼流包括每一個(gè)視角的視頻編碼碼流。視頻接收端包括解碼設(shè)備和顯示設(shè)備，解碼設(shè)備用于接收多視點(diǎn)視頻編碼碼流，根據(jù)用戶(hù)需求對(duì)相 應(yīng)視角的視頻編碼碼流進(jìn)行解碼；顯示設(shè)備用于顯示解碼設(shè)備解碼后得到的視頻圖像。本發(fā)明實(shí)施例為了恢復(fù)多視點(diǎn)視頻中丟失的視頻數(shù)據(jù)，對(duì)視頻發(fā)送端和視頻接收 端進(jìn)行了如下改進(jìn)對(duì)于視頻發(fā)送端來(lái)說(shuō)，視頻發(fā)送端發(fā)送的多視點(diǎn)視頻編碼碼流，其中每一個(gè)視角 的視頻編碼碼流中攜帶本視角的攝像機(jī)參數(shù)。視頻發(fā)送端的改進(jìn)可以通過(guò)對(duì)編碼設(shè)備進(jìn)行 相應(yīng)改造實(shí)現(xiàn)。具體實(shí)施中，視頻發(fā)送端在發(fā)送所述多視點(diǎn)視頻編碼碼流之前，可以根據(jù)每一個(gè) 視角的視頻流通過(guò)攝像機(jī)標(biāo)定方法標(biāo)定每一個(gè)視角的攝像機(jī)參數(shù)(包括內(nèi)部參數(shù)和外部 參數(shù))。多視點(diǎn)視頻編碼碼流中攜帶的每一個(gè)視角的攝像機(jī)參數(shù)也可以通過(guò)其它方式獲得， 例如預(yù)先配置。攝像機(jī)采集系統(tǒng)在對(duì)同一物體(場(chǎng)景)進(jìn)行多個(gè)角度的拍攝時(shí)，由每一個(gè)視角的 攝像機(jī)成像幾何模型決定空間物點(diǎn)與該視角的二維像點(diǎn)之間的對(duì)應(yīng)關(guān)系，攝像機(jī)成像幾何 模型參數(shù)即攝像機(jī)參數(shù)。空間物點(diǎn)坐標(biāo)與二維像點(diǎn)坐標(biāo)之間的關(guān)系如公式[1]所示Xp = M1M2XW [1]其中，Xw表示空間物點(diǎn)坐標(biāo)，)(p表示二維像點(diǎn)坐標(biāo)，Ml表示攝像機(jī)內(nèi)部參數(shù)，M2表 示攝像機(jī)外部參數(shù)。攝像機(jī)標(biāo)定是確定攝像機(jī)參數(shù)的一個(gè)過(guò)程，即確定攝像機(jī)的內(nèi)部幾何和光學(xué)參數(shù) (內(nèi)部參數(shù))和確定攝像機(jī)坐標(biāo)系相對(duì)世界坐標(biāo)系的三維位置和方向關(guān)系(外部參數(shù))。對(duì)于視頻接收端來(lái)說(shuō)，檢測(cè)出當(dāng)前正在播放視角的視頻編碼碼流中存在丟失了視 頻數(shù)據(jù)的丟失幀時(shí)，根據(jù)接收到的其它視角的視頻編碼碼流中與丟失幀處于相同時(shí)間位置 上的視頻幀、以及相關(guān)視角的攝像機(jī)參數(shù)，恢復(fù)出丟失幀的重建幀。視頻接收端的改進(jìn)可以 通過(guò)對(duì)解碼設(shè)備進(jìn)行相應(yīng)改造實(shí)現(xiàn)?；谝陨戏治觯景l(fā)明實(shí)施例提供了一種多視點(diǎn)視頻中丟失的視頻數(shù)據(jù)的恢復(fù)系 統(tǒng)，如圖3所示，包括視頻發(fā)送端301，用于發(fā)送多視點(diǎn)視頻編碼碼流，其中每一個(gè)視角的視頻編碼碼流 中攜帶本視角的攝像機(jī)參數(shù)；視頻接收端302，用于接收視頻發(fā)送端301發(fā)送的該多視點(diǎn)視頻編碼碼流，檢測(cè)出 當(dāng)前正在播放視角的視頻編碼碼流中存在丟失了視頻數(shù)據(jù)的丟失幀時(shí)，根據(jù)接收到的其它 視角的視頻編碼碼流中與丟失幀處于相同時(shí)間位置上的視頻幀、以及相關(guān)視角的攝像機(jī)參 數(shù)，恢復(fù)出若干備選重建幀；并從恢復(fù)出的若干備選重建幀中選取一個(gè)作為丟失幀的重建 幀。具體實(shí)施中，視頻接收端302，進(jìn)一步用于從其它視角選取第一視角和第二視角， 其中每一次選取出的第一視角和第二視角的組合各不相同；分別根據(jù)各次選取出的第一視 角和第二視角的視頻編碼碼流中與丟失幀處于相同時(shí)間位置上的兩個(gè)視頻幀、以及所述第 一視角、第二視角和當(dāng)前正在播放視角的攝像機(jī)參數(shù)，恢復(fù)出若干備選重建幀。具體實(shí)施中，視頻接收端302，進(jìn)一步用于如果恢復(fù)出一個(gè)備選重建幀，選取該備 選重建幀作為丟失幀的重建幀；如果恢復(fù)出兩個(gè)備選重建幀，選取備選重建幀對(duì)應(yīng)的第一 視角和第二視角之間的夾角較小的備選重建幀作為丟失幀的重建幀；如果恢復(fù)出三個(gè)或以上備選重建幀，分別計(jì)算每一個(gè)備選重建幀與其它備選重建幀之間的差值之和，選取差值 之和的最小值對(duì)應(yīng)的備選重建幀作為丟失幀的重建幀。具體實(shí)施中，視頻發(fā)送端301，還用于在發(fā)送該多視點(diǎn)視頻編碼碼流之前，根據(jù)每 一個(gè)視角的視頻流標(biāo)定每一個(gè)視角的攝像機(jī)參數(shù)。視頻接收端的改進(jìn)可以通過(guò)對(duì)解碼設(shè)備進(jìn)行相應(yīng)改造實(shí)現(xiàn)，本發(fā)明實(shí)施例同時(shí)提 供了一種視頻接收端的解碼設(shè)備的可能結(jié)構(gòu)，如圖4所示，包括接收單元401，用于接收視頻發(fā)送端發(fā)送的多視點(diǎn)視頻編碼碼流，其中每一個(gè)視角 的視頻編碼碼流中攜帶本視角的攝像機(jī)參數(shù)；恢復(fù)單元402，用于檢測(cè)出當(dāng)前正在播放視角的視頻編碼碼流中存在丟失了視頻 數(shù)據(jù)的丟失幀時(shí)，根據(jù)接收到的其它視角的視頻編碼碼流中與丟失幀處于相同時(shí)間位置上 的視頻幀、以及相關(guān)視角的攝像機(jī)參數(shù)，恢復(fù)出若干備選重建幀；選取單元403，用于從恢復(fù)出的若干備選重建幀中選取一個(gè)作為丟失幀的重建幀。具體實(shí)施中，恢復(fù)單元402具體可以包括視角選取子單元4021，用于從其它視角選取第一視角和第二視角，其中每一次選 取出的第一視角和第二視角的組合各不相同；重建子單元4022，用于分別根據(jù)各次選取出的第一視角和第二視角的視頻編碼碼 流中與丟失幀處于相同時(shí)間位置上的兩個(gè)視頻幀、以及所述第一視角、第二視角和當(dāng)前正 在播放視角的攝像機(jī)參數(shù)，恢復(fù)出若干備選重建幀。具體實(shí)施中，選取單元403具體可以包括控制子單元4031，用于如果恢復(fù)單元恢復(fù)出一個(gè)備選重建幀，觸發(fā)第一選取子單 元4032，如果恢復(fù)單元恢復(fù)出兩個(gè)備選重建幀，觸發(fā)第二選取子單元4033，如果恢復(fù)單元 恢復(fù)出三個(gè)或以上備選重建幀，觸發(fā)第三選取子單元4034 ；第一選取子單元4032，用于選取恢復(fù)單元恢復(fù)出的該備選重建幀作為丟失幀的重 建幀；第二選取子單元4033，用于選取備選重建幀對(duì)應(yīng)的第一視角和第二視角之間的夾 角較小的備選重建幀作為丟失幀的重建幀；第三選取子單元4034，用于分別計(jì)算每一個(gè)備選重建幀與其它備選重建幀之間的 差值之和，選取差值之和的最小值對(duì)應(yīng)的備選重建幀作為丟失幀的重建幀?；谕患夹g(shù)構(gòu)思，本發(fā)明實(shí)施例提供了一種多視點(diǎn)視頻中丟失的視頻數(shù)據(jù)的恢 復(fù)方法，如圖5所示，包括S501、接收視頻發(fā)送端發(fā)送的多視點(diǎn)視頻編碼碼流，其中每一個(gè)視角的視頻編碼 碼流中攜帶本視角的攝像機(jī)參數(shù)；S502、檢測(cè)出當(dāng)前正在播放視角的視頻編碼碼流中存在丟失了視頻數(shù)據(jù)的丟失幀 時(shí)，根據(jù)接收到的其它視角的視頻編碼碼流中與丟失幀處于相同時(shí)間位置上的視頻幀、以 及相關(guān)視角的攝像機(jī)參數(shù)，恢復(fù)出若干備選重建幀；具體實(shí)施中，從其它視角中選取第一視角和第二視角，其中每一次選取出的第一 視角和第二視角的組合各不相同；分別根據(jù)各次選取出的第一視角和第二視角的視頻編碼 碼流中與丟失幀處于相同時(shí)間位置上的兩個(gè)視頻幀、以及該第一視角、第二視角和當(dāng)前正 在播放視角的攝像機(jī)參數(shù)，恢復(fù)出若干備選重建幀。由于空間物點(diǎn)坐標(biāo)與每一個(gè)視角的二維像點(diǎn)坐標(biāo)之間存在如下關(guān)系Xp = M1M2XW，根據(jù)第一視角和第二視角中與丟失幀處于相同 時(shí)間位置上的兩個(gè)視頻幀的視頻數(shù)據(jù)，以及第一視角、第二視角以及當(dāng)前正在播放視角的 攝像機(jī)參數(shù)，利用公式)(p = M1M2XW，采用現(xiàn)有的中間視圖生成方法即可計(jì)算出當(dāng)前正在播 放視角中丟失幀的視頻數(shù)據(jù)，從而恢復(fù)出備選重建幀。由于多視點(diǎn)視頻中有至少三個(gè)視角，則當(dāng)前正在播放視角之外的接收到的其它視 角有至少兩個(gè)，從至少兩個(gè)其它視角中每次選取兩個(gè)視角用于恢復(fù)備選重建幀，并保證每 次選取的兩個(gè)視角的組合各不相同，可以有至少一種選取方案，從而恢復(fù)出的備選重建幀 有至少一個(gè)。當(dāng)前正在播放視角之外的接收到的其它視角的數(shù)量與恢復(fù)出的備選重建幀的 數(shù)量之間存在如下關(guān)系，如公式[2]所示
權(quán)利要求
1.一種多視點(diǎn)視頻中丟失的視頻數(shù)據(jù)的恢復(fù)方法，其特征在于，包括接收視頻發(fā)送端發(fā)送的多視點(diǎn)視頻編碼碼流，其中每一個(gè)視角的視頻編碼碼流中攜帶 本視角的攝像機(jī)參數(shù)；檢測(cè)出當(dāng)前正在播放視角的視頻編碼碼流中存在丟失了視頻數(shù)據(jù)的丟失幀時(shí)，根據(jù)接 收到的其它視角的視頻編碼碼流中與丟失幀處于相同時(shí)間位置上的視頻幀、以及相關(guān)視角 的攝像機(jī)參數(shù)，恢復(fù)出若干備選重建幀；并從恢復(fù)出的若干備選重建幀中選取一個(gè)作為丟失幀的重建幀。
2.如權(quán)利要求1所述的方法，其特征在于，所述根據(jù)接收到的其它視角的視頻編碼碼 流中與丟失幀處于相同時(shí)間位置上的視頻幀、以及相關(guān)視角的攝像機(jī)參數(shù)，恢復(fù)出若干備 選重建幀，具體包括從其它視角中選取第一視角和第二視角，其中每一次選取出的第一視角和第二視角的 組合各不相同；分別根據(jù)各次選取出的第一視角和第二視角的視頻編碼碼流中與丟失幀處于相同時(shí) 間位置上的兩個(gè)視頻幀、以及所述第一視角、第二視角和當(dāng)前正在播放視角的攝像機(jī)參數(shù)， 恢復(fù)出若干備選重建幀。
3.如權(quán)利要求2所述的方法，其特征在于，所述第一視角從順時(shí)針?lè)较蛏吓c當(dāng)前正在播放視角之間的夾角不大于設(shè)定的角度閾 值的各視角中選取，所述第二視角從逆時(shí)針?lè)较蛏吓c當(dāng)前正在播放視角之間的夾角不大于 所述角度閾值的各視角中選取，所述角度閾值小于180度。
4.如權(quán)利要求2或3所述的方法，其特征在于，所述從恢復(fù)出的若干備選重建幀中選取 一個(gè)作為丟失幀的重建幀，具體包括如果恢復(fù)出一個(gè)備選重建幀，選取該備選重建幀作為丟失幀的重建幀；如果恢復(fù)出兩個(gè)備選重建幀，選取備選重建幀對(duì)應(yīng)的第一視角和第二視角之間的夾角 較小的備選重建幀作為丟失幀的重建幀；如果恢復(fù)出三個(gè)或以上備選重建幀，分別計(jì)算每一個(gè)備選重建幀與其它備選重建幀之 間的差值之和，選取差值之和的最小值對(duì)應(yīng)的備選重建幀作為丟失幀的重建幀。
5.如權(quán)利要求4所述的方法，其特征在于，如果差值之和的最小值對(duì)應(yīng)的備選重建幀 有至少兩個(gè)，選取差值之和的最小值對(duì)應(yīng)的任一備選重建幀作為丟失幀的重建幀；或者，從 差值之和的最小值對(duì)應(yīng)的各備選重建幀中，選取備選重建幀對(duì)應(yīng)的第一視角和第二視角之 間的夾角最小的備選重建幀作為丟失幀的重建幀。
6.如權(quán)利要求4所述的方法，其特征在于，備選重建幀與其它備選重建幀之間的差值 之和的計(jì)算方法，具體包括分別計(jì)算備選重建幀與每一個(gè)其它備選重建幀之間的絕對(duì)差值，備選重建幀與任一其 它備選重建幀之間的絕對(duì)差值為備選重建幀與該其它備選重建幀中各對(duì)應(yīng)像素點(diǎn)的亮度 值之間的差值絕對(duì)值之和；將得到的各絕對(duì)差值求和，得到備選重建幀與其它備選重建幀之間的差值之和。
7.如權(quán)利要求1所述的方法，其特征在于，還包括所述視頻發(fā)送端在發(fā)送所述多視點(diǎn)視頻編碼碼流之前，根據(jù)每一個(gè)視角的視頻流標(biāo)定 每一個(gè)視角的攝像機(jī)參數(shù)。
8.一種多視點(diǎn)視頻中丟失的視頻數(shù)據(jù)的恢復(fù)系統(tǒng)，其特征在于，包括視頻發(fā)送端，用于發(fā)送多視點(diǎn)視頻編碼碼流，其中每一個(gè)視角的視頻編碼碼流中攜帶 本視角的攝像機(jī)參數(shù)；視頻接收端，用于接收視頻發(fā)送端發(fā)送的所述多視點(diǎn)視頻編碼碼流，檢測(cè)出當(dāng)前正在 播放視角的視頻編碼碼流中存在丟失了視頻數(shù)據(jù)的丟失幀時(shí)，根據(jù)接收到的其它視角的視 頻編碼碼流中與丟失幀處于相同時(shí)間位置上的視頻幀、以及相關(guān)視角的攝像機(jī)參數(shù)，恢復(fù) 出若干備選重建幀；并從恢復(fù)出的若干備選重建幀中選取一個(gè)作為丟失幀的重建幀。
9.如權(quán)利要求8所述的系統(tǒng)，其特征在于，所述視頻接收端，進(jìn)一步用于從其它視角中選取第一視角和第二視角，其中每一次選 取出的第一視角和第二視角的組合各不相同；分別根據(jù)各次選取出的第一視角和第二視角 的視頻編碼碼流中與丟失幀處于相同時(shí)間位置上的兩個(gè)視頻幀、以及所述第一視角、第二 視角和當(dāng)前正在播放視角的攝像機(jī)參數(shù)，恢復(fù)出若干備選重建幀。
10.如權(quán)利要求9所述的系統(tǒng)，其特征在于，所述視頻接收端，進(jìn)一步用于如果恢復(fù)出一個(gè)備選重建幀，選取該備選重建幀作為丟 失幀的重建幀；如果恢復(fù)出兩個(gè)備選重建幀，選取備選重建幀對(duì)應(yīng)的第一視角和第二視角 之間的夾角較小的備選重建幀作為丟失幀的重建幀；如果恢復(fù)出三個(gè)或以上備選重建幀， 分別計(jì)算每一個(gè)備選重建幀與其它備選重建幀之間的差值之和，選取差值之和的最小值對(duì) 應(yīng)的備選重建幀作為丟失幀的重建幀。
11.如權(quán)利要求8所述的系統(tǒng)，其特征在于，所述視頻發(fā)送端，還用于在發(fā)送所述多視點(diǎn)視頻編碼碼流之前，根據(jù)每一個(gè)視角的視 頻流標(biāo)定每一個(gè)視角的攝像機(jī)參數(shù)。
12.一種視頻接收端的解碼設(shè)備，其特征在于，包括接收單元，用于接收視頻發(fā)送端發(fā)送的多視點(diǎn)視頻編碼碼流，其中每一個(gè)視角的視頻 編碼碼流中攜帶本視角的攝像機(jī)參數(shù)；恢復(fù)單元，用于檢測(cè)出當(dāng)前正在播放視角的視頻編碼碼流中存在丟失了視頻數(shù)據(jù)的 丟失幀時(shí)，根據(jù)接收到的其它視角的視頻編碼碼流中與丟失幀處于相同時(shí)間位置上的視頻 幀、以及相關(guān)視角的攝像機(jī)參數(shù)，恢復(fù)出若干備選重建幀；選取單元，用于從恢復(fù)出的若干備選重建幀中選取一個(gè)作為丟失幀的重建幀。
13.如權(quán)利要求12所述的設(shè)備，其特征在于，所述恢復(fù)單元具體包括視角選取子單元，用于從其它視角中選取第一視角和第二視角，其中每一次選取出的 第一視角和第二視角的組合各不相同；重建子單元，用于分別根據(jù)各次選取出的第一視角和第二視角的視頻編碼碼流中與丟 失幀處于相同時(shí)間位置上的兩個(gè)視頻幀、以及所述第一視角、第二視角和當(dāng)前正在播放視 角的攝像機(jī)參數(shù)，恢復(fù)出若干備選重建幀。
14.如權(quán)利要求13所述的設(shè)備，其特征在于，所述選取單元具體包括控制子單元，用于如果恢復(fù)單元恢復(fù)出一個(gè)備選重建幀，觸發(fā)第一選取子單元，如果恢 復(fù)單元恢復(fù)出兩個(gè)備選重建幀，觸發(fā)第二選取子單元，如果恢復(fù)單元恢復(fù)出三個(gè)或以上備 選重建幀，觸發(fā)第三選取子單元；所述第一選取子單元，用于選取恢復(fù)單元恢復(fù)出的該備選重建幀作為丟失幀的重建幀；所述第二選取子單元，用于選取備選重建幀對(duì)應(yīng)的第一視角和第二視角之間的夾角較 小的備選重建幀作為丟失幀的重建幀；所述第三選取子單元，用于分別計(jì)算每一個(gè)備選重建幀與其它備選重建幀之間的差值 之和，選取差值之和的最小值對(duì)應(yīng)的備選重建幀作為丟失幀的重建幀。
全文摘要
本發(fā)明公開(kāi)了一種多視點(diǎn)視頻中丟失的視頻數(shù)據(jù)的恢復(fù)方法、系統(tǒng)及設(shè)備，用以消除重建幀具有的分塊效應(yīng)，提升重建幀的視頻質(zhì)量。多視點(diǎn)視頻中丟失的視頻數(shù)據(jù)的恢復(fù)方法，包括接收視頻發(fā)送端發(fā)送的多視點(diǎn)視頻編碼碼流，其中每一個(gè)視角的視頻編碼碼流中攜帶本視角的攝像機(jī)參數(shù)；檢測(cè)出當(dāng)前正在播放視角的視頻編碼碼流中存在丟失了視頻數(shù)據(jù)的丟失幀時(shí)，根據(jù)接收到的其它視角的視頻編碼碼流中與丟失幀處于相同時(shí)間位置上的視頻幀、以及相關(guān)視角的攝像機(jī)參數(shù)，恢復(fù)出若干備選重建幀；并從恢復(fù)出的若干備選重建幀中選取一個(gè)作為丟失幀的重建幀。
文檔編號(hào)H04N7/64GK102055968SQ20091023674
公開(kāi)日2011年5月11日 申請(qǐng)日期2009年10月28日 優(yōu)先權(quán)日2009年10月28日
發(fā)明者袁潮, 黃曉偉 申請(qǐng)人:中國(guó)移動(dòng)通信集團(tuán)公司