本發(fā)明涉及三維成像技術(shù)領(lǐng)域，尤其涉及一種體育賽事拍攝方法及其拍攝系統(tǒng)。

背景技術(shù)：

在現(xiàn)有的體育賽事的直播內(nèi)容制作過程中，通常是通過一個(gè)或者多個(gè)有軌攝像機(jī)分別對(duì)賽事現(xiàn)場(chǎng)進(jìn)行各個(gè)攝像機(jī)視角的單視角錄制。

攝像機(jī)在軌道上的移動(dòng)一般采用人工操縱，操作有軌相機(jī)進(jìn)行跟蹤拍攝。在更高的直播要求中，也會(huì)在賽場(chǎng)上布置其他不同的定點(diǎn)攝像機(jī)進(jìn)行拍攝。在賽事直播拍攝過程中，賽事的直播畫面需由導(dǎo)播根據(jù)當(dāng)前的情況進(jìn)行人工切換，例如對(duì)于足球賽事中某次越位的判罰，切換為更能體現(xiàn)該判罰是否準(zhǔn)確的視角畫面。

在現(xiàn)有的拍攝系統(tǒng)中，其賽事直播內(nèi)容所能呈現(xiàn)的視角極為單一，并且由人工操縱有軌相機(jī)進(jìn)行跟蹤拍攝的難度極大，效果不佳，攝影師等均需要經(jīng)過專業(yè)的技能培訓(xùn)，人工成本高，自動(dòng)化程度不佳。在切換過程中，由導(dǎo)播進(jìn)行，而且受限于攝像機(jī)機(jī)位的設(shè)置，無法滿足所有的視角要求。而且這樣的系統(tǒng)輸出視頻內(nèi)容的二次制作難度較大，內(nèi)容可塑性較差。這樣的直播內(nèi)容無法滿足用戶對(duì)于視頻觀看日益增長(zhǎng)的需求。

因此，現(xiàn)有技術(shù)還有待發(fā)展。

技術(shù)實(shí)現(xiàn)要素：

鑒于上述現(xiàn)有技術(shù)的不足之處，本發(fā)明的目的在于提供一種體育賽事拍攝方法及其拍攝系統(tǒng)，旨在解決現(xiàn)有體育賽事拍攝系統(tǒng)呈現(xiàn)視角單一，自動(dòng)化程度低，后期制作難度大的問題。

為了達(dá)到上述目的，本發(fā)明采取了以下技術(shù)方案：

一種體育賽事拍攝方法，其中，包括：

根據(jù)拍攝場(chǎng)地要求，在對(duì)應(yīng)的機(jī)位設(shè)置若干攝像機(jī)并確定攝像機(jī)參數(shù)；

提取攝像機(jī)拍攝圖像的特征點(diǎn)；

立體匹配以獲取所述攝像機(jī)拍攝圖像的深度信息；

根據(jù)所述深度信息、特征點(diǎn)以及攝像機(jī)參數(shù)，計(jì)算獲得拍攝對(duì)象的空間中任意被測(cè)點(diǎn)在圖像中的坐標(biāo)和攝像機(jī)的參數(shù)矩陣；

根據(jù)所述任意被測(cè)點(diǎn)的信息進(jìn)行三維重建，輸出三維立體圖像。

所述的體育賽事拍攝方法，其中，所述方法還包括：

根據(jù)采集的用戶指令，旋轉(zhuǎn)所述三維立體圖像，將賽事內(nèi)容以不同的視角向用戶呈現(xiàn)。

所述的體育賽事拍攝方法，其中，所述提取攝像機(jī)拍攝圖像的特征點(diǎn)，具體包括：

使用邊緣提取法和興趣算子法提取攝像機(jī)拍攝圖像的特征點(diǎn)。

所述的體育賽事拍攝方法，其中，所述立體匹配以獲取所述攝像機(jī)拍攝圖像的深度信息，具體包括：

基于多匹配基元對(duì)圖像進(jìn)行特征點(diǎn)匹配；所述匹配基元包括：圖像點(diǎn)的灰度、圖像的零交叉點(diǎn)、圖像的傅里葉變換相位以及圖像的小波變換相位。

所述的體育賽事拍攝方法，其中，所述根據(jù)所述任意被測(cè)點(diǎn)的信息進(jìn)行三維重建，具體包括：

獲取兩個(gè)已確定攝像機(jī)參數(shù)的攝像機(jī)同時(shí)拍攝的拍攝對(duì)象的空間中的觀測(cè)點(diǎn)；

確定在攝像機(jī)圖像上的共軛對(duì)應(yīng)點(diǎn)與所述觀測(cè)點(diǎn)在所述拍攝對(duì)象的空間中是否為同一點(diǎn)，并據(jù)此計(jì)算觀測(cè)點(diǎn)在所述拍攝對(duì)象的空間中的三維空間坐標(biāo)；

基于分層重構(gòu)原理，依次將觀測(cè)點(diǎn)的射影重構(gòu)提升為度量重構(gòu)；

通過預(yù)定的圖形編譯軟件顯示所述三維立體圖像。

一種體育賽事拍攝系統(tǒng)，其中，包括：

攝像機(jī)參數(shù)設(shè)置模塊，用于存儲(chǔ)根據(jù)拍攝場(chǎng)地要求，在對(duì)應(yīng)的機(jī)位設(shè)置若干攝像機(jī)并據(jù)此確定的攝像機(jī)參數(shù)；

特征點(diǎn)提取模塊，用于提取攝像機(jī)拍攝圖像的特征點(diǎn)；

立體匹配模塊，用于立體匹配以獲取所述攝像機(jī)拍攝圖像的深度信息；

坐標(biāo)計(jì)算模塊，用于根據(jù)所述深度信息、特征點(diǎn)以及攝像機(jī)參數(shù)，計(jì)算獲得拍攝對(duì)象的空間中任意被測(cè)點(diǎn)在圖像中的坐標(biāo)和攝像機(jī)的參數(shù)矩陣；以及

三維重建模塊，用于根據(jù)所述任意被測(cè)點(diǎn)的信息進(jìn)行三維重建，輸出三維立體圖像。

所述的體育賽事拍攝系統(tǒng)，其中，所述系統(tǒng)還包括：

視角輸出模塊，用于根據(jù)采集的用戶指令，旋轉(zhuǎn)所述三維立體圖像，將賽事內(nèi)容以不同的視角向用戶呈現(xiàn)。

所述的體育賽事拍攝系統(tǒng)，其中，所述特征點(diǎn)提取模塊具體用于：

使用邊緣提取法和興趣算子法提取攝像機(jī)拍攝圖像的特征點(diǎn)。

所述的體育賽事拍攝系統(tǒng)，其中，所述立體匹配模塊具體用于：基于多匹配基元對(duì)圖像進(jìn)行特征點(diǎn)匹配；所述匹配基元包括：圖像點(diǎn)的灰度、圖像的零交叉點(diǎn)、圖像的傅里葉變換相位以及圖像的小波變換相位。

所述的體育賽事拍攝系統(tǒng)，其中，所述三維重建模塊具體用于：

獲取兩個(gè)已確定攝像機(jī)參數(shù)的攝像機(jī)同時(shí)拍攝的拍攝對(duì)象的空間中的觀測(cè)點(diǎn)；

確定在攝像機(jī)圖像上的共軛對(duì)應(yīng)點(diǎn)與所述觀測(cè)點(diǎn)在所述拍攝對(duì)象的空間中是否為同一點(diǎn)，并據(jù)此計(jì)算觀測(cè)點(diǎn)在所述拍攝對(duì)象的空間中的三維空間坐標(biāo)；基于分層重構(gòu)原理，依次將觀測(cè)點(diǎn)的射影重構(gòu)提升為度量重構(gòu)；通過預(yù)定的圖形編譯軟件顯示所述三維立體圖像。

有益效果：本發(fā)明提供的一種體育賽事拍攝方法及其拍攝系統(tǒng)，通過預(yù)設(shè)多個(gè)機(jī)位并完成攝像機(jī)標(biāo)定后，通過相對(duì)應(yīng)的算法完成對(duì)于直播內(nèi)容的三維重構(gòu)，輸出時(shí)可以根據(jù)用戶的需求或者實(shí)際的情況，輸出任意視角的賽事直播內(nèi)容，為用戶提供更好的觀賽體驗(yàn)，滿足用戶的需求。而且該重構(gòu)的三維立體圖像，還可以方便的進(jìn)行一系列后期制作，提供更多元的拓展空間，具有良好的應(yīng)用前景。

附圖說明

圖1為本發(fā)明實(shí)施例的體育賽事拍攝方法的應(yīng)用實(shí)例的示意圖。

圖2為本發(fā)明實(shí)施例提供的體育賽事拍攝方法的方法流程圖。

圖3為本發(fā)明實(shí)施例提供的體育賽事拍攝方法的軟件架構(gòu)圖。

圖4為本發(fā)明實(shí)施例提供的體育賽事拍攝系統(tǒng)的硬件架構(gòu)圖。

圖5為本發(fā)明實(shí)施例提供的體育賽事拍攝系統(tǒng)的功能框圖。

具體實(shí)施方式

本發(fā)明提供一種體育賽事拍攝方法及其拍攝系統(tǒng)。為使本發(fā)明的目的、技術(shù)方案及效果更加清楚、明確，以下參照附圖并舉實(shí)施例對(duì)本發(fā)明進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅用以解釋本發(fā)明，并不用于限定本發(fā)明。

圖1為本發(fā)明實(shí)施例的體育賽事拍攝方法的應(yīng)用實(shí)例。如圖1所示，可以在體育場(chǎng)的合適的機(jī)位設(shè)置若干個(gè)攝像機(jī)(圖中圓點(diǎn)所示為攝像機(jī)設(shè)置機(jī)位)。在本應(yīng)用實(shí)例中，以轉(zhuǎn)播足球賽事為例，考慮到精彩的賽事內(nèi)容一般發(fā)生在禁區(qū)范圍內(nèi)，因此，針對(duì)禁區(qū)設(shè)置了4對(duì)8臺(tái)攝像機(jī)對(duì)進(jìn)行拍攝，能夠?qū)崿F(xiàn)直播過程中禁區(qū)內(nèi)三維立體圖像數(shù)據(jù)的輸出。

在設(shè)置攝像機(jī)前，需要進(jìn)行攝像機(jī)標(biāo)定。在此使用“攝像機(jī)標(biāo)定”這樣的術(shù)語進(jìn)行表述，是指確定攝像機(jī)的內(nèi)部和外部參數(shù)的過程，其作用是建立拍攝對(duì)象物體在立體空間中的三維世界坐標(biāo)系和攝像機(jī)拍攝圖像的坐標(biāo)系之間的關(guān)系。在比賽場(chǎng)館的攝像機(jī)設(shè)置過程中，安裝攝像機(jī)的位置(即機(jī)位)以及機(jī)位的數(shù)需要參照攝像機(jī)標(biāo)定實(shí)驗(yàn)中所獲得的參數(shù)進(jìn)行。進(jìn)一步的，還可以針對(duì)具體的賽場(chǎng)，在安裝調(diào)試過程中，對(duì)攝像機(jī)進(jìn)行精確的標(biāo)定，不同的比賽場(chǎng)地的實(shí)際情況都會(huì)對(duì)攝像機(jī)標(biāo)定，或者機(jī)位等產(chǎn)生影響。

圖2為本發(fā)明實(shí)施例提供的一種體育賽事拍攝方法。該方法包括：

101：根據(jù)拍攝場(chǎng)地要求，在對(duì)應(yīng)的機(jī)位設(shè)置若干攝像機(jī)并確定攝像機(jī)參數(shù)(即攝像機(jī)標(biāo)定)。

103：提取攝像機(jī)拍攝圖像的特征點(diǎn)。提取圖像中的特征點(diǎn)是進(jìn)行后續(xù)三維重建的必要參數(shù)，特征點(diǎn)提取的準(zhǔn)確與否也影響著后續(xù)三維重建的速度以及精確度。

具體的，可以使用邊緣提取法和興趣算子法提取攝像機(jī)拍攝圖像的特征點(diǎn)。由于上述邊緣提取和興趣算子法對(duì)光照條件敏感。因此，當(dāng)物體相鄰面的灰度近似時(shí)，該特征點(diǎn)提取方法能夠在較低精度的要求下，有效的提取特征點(diǎn)。另外，當(dāng)某一像素存在局部灰度差異的區(qū)域或存在于具有不同灰度值的幾個(gè)相鄰區(qū)域之間時(shí)，該方法也能將邊緣作為特征點(diǎn)提取出來。

105：立體匹配以獲取所述攝像機(jī)拍攝圖像的深度信息。在本發(fā)明實(shí)施例中，是基于雙目立體視覺的原理來融合多視點(diǎn)圖像，并輸出最終的三維立體圖像信息。

在確定圖像深度信息的過程中，需要確定左右對(duì)稱兩幅圖像之間的對(duì)應(yīng)點(diǎn)，完成圖像的匹配才能實(shí)現(xiàn)圖像的融合。由于步驟101中已經(jīng)完成了攝像機(jī)的標(biāo)定。根據(jù)攝像機(jī)標(biāo)定的結(jié)果，能夠方便的通過極線約束的方式計(jì)算出圖像的深度。

具體的，在本發(fā)明實(shí)施例中，使用了基于多匹配基元對(duì)圖像進(jìn)行特征點(diǎn)匹配，而可以使用的匹配基元包括：圖像點(diǎn)的灰度、圖像的零交叉點(diǎn)、圖像的傅里葉變換相位以及圖像的小波變換相位等。

立體匹配的過程可以最終歸結(jié)為數(shù)學(xué)上的，在特定約束條件下的求解最優(yōu)搜索的問題。在本實(shí)施例中，可以使用神經(jīng)網(wǎng)絡(luò)算法作為提取到的特征點(diǎn)的匹配算法，將左右兩側(cè)攝像機(jī)拍攝的圖像中的特征點(diǎn)進(jìn)行匹配和評(píng)估。

107：根據(jù)所述深度信息、特征點(diǎn)以及攝像機(jī)參數(shù)，計(jì)算獲得拍攝對(duì)象的空間中任意被測(cè)點(diǎn)在圖像中的坐標(biāo)和攝像機(jī)的參數(shù)矩陣。

109：根據(jù)所述任意被測(cè)點(diǎn)的信息進(jìn)行三維重建，輸出三維立體圖像。

具體的，基于該坐標(biāo)信息及攝像機(jī)參數(shù)矩陣，該三維重建過程可以包括如下步驟：

首先，獲取兩個(gè)已確定攝像機(jī)參數(shù)的攝像機(jī)同時(shí)拍攝的拍攝對(duì)象的空間中的觀測(cè)點(diǎn)。然后，確定在攝像機(jī)圖像上的共軛對(duì)應(yīng)點(diǎn)與所述觀測(cè)點(diǎn)在所述拍攝對(duì)象的空間中是否為同一點(diǎn)，并據(jù)此計(jì)算觀測(cè)點(diǎn)在所述拍攝對(duì)象的空間中的三維空間坐標(biāo)。然后，基于分層重構(gòu)原理，依次將觀測(cè)點(diǎn)的射影重構(gòu)提升為度量重構(gòu)。最后，通過預(yù)定的圖形編譯軟件顯示所述三維立體圖像。具體的，可以使用任何合適的圖形編譯軟件來完成該三維立體圖像的呈現(xiàn)，例如opengl。

如圖3所示，為本發(fā)明實(shí)施例的軟件架構(gòu)圖，以左右兩幅圖像，圖像1和圖像2為例，其包括了匹配階段和三維重構(gòu)兩個(gè)階段，在直播制作過程中不斷循環(huán)進(jìn)行。

較佳的是，如圖1所示，所述方法還包括：

111：根據(jù)采集的用戶指令，旋轉(zhuǎn)所述三維立體圖像，將賽事內(nèi)容以不同的視角向用戶呈現(xiàn)。在生成三維立體圖像后，可以根據(jù)用戶的指令或者直播的實(shí)際需求，切換不同的直播視角，向觀眾提供更加完美的觀賽體驗(yàn)，例如，對(duì)于禁區(qū)內(nèi)發(fā)生的精彩射門，可以采用360°環(huán)繞旋轉(zhuǎn)播放的形式向用戶展示，或者根據(jù)用戶指令，切換賽場(chǎng)內(nèi)不同的觀賽視角。

進(jìn)一步的，還可以對(duì)該輸出的三維立體圖像的直播內(nèi)容進(jìn)行二次加工，例如增加戰(zhàn)術(shù)提示標(biāo)志，或者解說音頻等。

本發(fā)明實(shí)施例還提供一種體育賽事拍攝系統(tǒng)。在該系統(tǒng)中，如圖4所示，包容若干對(duì)攝像機(jī)組成的拍攝系統(tǒng)以及執(zhí)行后期處理操作的服務(wù)器、具有一定運(yùn)算能力的電子運(yùn)算平臺(tái)等。其中，如圖5所示，該系統(tǒng)可以包括：

攝像機(jī)參數(shù)設(shè)置模塊100，用于存儲(chǔ)根據(jù)拍攝場(chǎng)地要求，在對(duì)應(yīng)的機(jī)位設(shè)置若干攝像機(jī)并據(jù)此確定的攝像機(jī)參數(shù)。

特征點(diǎn)提取模塊200，用于提取攝像機(jī)拍攝圖像的特征點(diǎn)。其中，所述特征點(diǎn)提取模塊具體用于：使用邊緣提取法和興趣算子法提取攝像機(jī)拍攝圖像的特征點(diǎn)。

立體匹配模塊300，用于立體匹配以獲取所述攝像機(jī)拍攝圖像的深度信息。其中，所述立體匹配模塊具體用于：基于多匹配基元對(duì)圖像進(jìn)行特征點(diǎn)匹配；所述匹配基元包括：圖像點(diǎn)的灰度、圖像的零交叉點(diǎn)、圖像的傅里葉變換相位以及圖像的小波變換相位。

坐標(biāo)計(jì)算模塊400，用于根據(jù)所述深度信息、特征點(diǎn)亦即攝像機(jī)參數(shù)，計(jì)算獲得拍攝對(duì)象的空間中任意被測(cè)點(diǎn)在圖像中的坐標(biāo)和攝像機(jī)的參數(shù)矩陣；以及

三維重建模塊500，用于根據(jù)所述任意被測(cè)點(diǎn)的信息進(jìn)行三維重建，輸出三維立體圖像。所述三維重建模塊具體用于：獲取兩個(gè)已確定攝像機(jī)參數(shù)的攝像機(jī)同時(shí)拍攝的拍攝對(duì)象的空間中的觀測(cè)點(diǎn)；確定在攝像機(jī)圖像上的共軛對(duì)應(yīng)點(diǎn)與所述觀測(cè)點(diǎn)在所述拍攝對(duì)象的空間中是否為同一點(diǎn)，并據(jù)此計(jì)算觀測(cè)點(diǎn)在所述拍攝對(duì)象的空間中的三維空間坐標(biāo)；基于分層重構(gòu)原理，依次將觀測(cè)點(diǎn)的射影重構(gòu)提升為度量重構(gòu)。最后，通過預(yù)定的圖形編譯軟件顯示所述三維立體圖像

較佳的是，如圖5所示，所述系統(tǒng)還可以包括：視角輸出模塊600，用于根據(jù)采集的用戶指令，旋轉(zhuǎn)所述三維立體圖像，將賽事內(nèi)容以不同的視角向用戶呈現(xiàn)。

綜上所述，本發(fā)明實(shí)施例提供的體育賽事拍攝方法及其系統(tǒng)，可以應(yīng)用于多種不同類型的體育賽事直播或者錄播，基于多攝像機(jī)的三維重建技術(shù)，能夠?yàn)橛脩籼峁└鞣N不同視角和顯示效果的直播內(nèi)容，能夠滿足不同用戶的要求，具有良好的應(yīng)用前景。

可以理解的是，對(duì)本領(lǐng)域普通技術(shù)人員來說，可以根據(jù)本發(fā)明的技術(shù)方案及本發(fā)明構(gòu)思加以等同替換或改變，而所有這些改變或替換都應(yīng)屬于本發(fā)明所附的權(quán)利要求的保護(hù)范圍。