本發(fā)明涉及圖像處理領(lǐng)域,特別是涉及一種視頻中球員追蹤方法和裝置。
背景技術(shù):
隨著計(jì)算機(jī)科學(xué)技術(shù)的發(fā)展,計(jì)算機(jī)科技已經(jīng)漸漸的融入了我們的日常生活。在體育比賽方面,計(jì)算機(jī)視覺技術(shù)發(fā)揮著重要的作用,相對(duì)于傳統(tǒng)的人工記錄,計(jì)算機(jī)視覺極大地減少了工作量和人工成本,更加清晰地展現(xiàn)了比賽數(shù)據(jù),方便技戰(zhàn)術(shù)分析。足球作為最熱門的體育項(xiàng)目之一,對(duì)于其比賽視頻分析系統(tǒng)的研究自然非常關(guān)鍵。
在足球視頻分析領(lǐng)域,bebie等人實(shí)現(xiàn)了半自動(dòng)的足球比賽視頻片段三維重現(xiàn),著重于球員的動(dòng)作和姿態(tài)的重現(xiàn)。針對(duì)多目標(biāo)跟蹤領(lǐng)域,也有一系列的算法被提出,例如較為經(jīng)典的聯(lián)合概率數(shù)據(jù)關(guān)聯(lián),其首先通過(guò)背景差分得到前景圖,這樣可以高效地提取目標(biāo)量測(cè)數(shù)據(jù),但在后面關(guān)聯(lián)跟蹤中沒有考慮到當(dāng)目標(biāo)由運(yùn)動(dòng)變靜止后,目標(biāo)融入背景中,背景差分法無(wú)法得到目標(biāo)的測(cè)量數(shù)據(jù),從而無(wú)法跟蹤該目標(biāo)。
技術(shù)實(shí)現(xiàn)要素:
基于此,有必要針對(duì)關(guān)聯(lián)跟蹤中目標(biāo)由運(yùn)動(dòng)變靜止后,目標(biāo)丟失的問題,提供一種視頻中球員追蹤方法和裝置。
一種視頻中球員追蹤方法,所述方法包括:
獲取第一視角下的視頻的當(dāng)前幀;
根據(jù)預(yù)設(shè)的不同球隊(duì)顏色和所述當(dāng)前幀中的各個(gè)像素的顏色值,對(duì)所述各個(gè)像素進(jìn)行分類標(biāo)記;
根據(jù)分類標(biāo)記后的所述各個(gè)像素的坐標(biāo)確定所述當(dāng)前幀中的待定球員坐標(biāo);
獲取與上一幀中的相應(yīng)球員坐標(biāo)間的距離小于第一預(yù)設(shè)距離的所述當(dāng)前幀中的待定球員坐標(biāo)作為所述當(dāng)前幀的確定球員坐標(biāo);
獲取所述當(dāng)前幀中的確定球員坐標(biāo),投影至目標(biāo)平面中的第一球員投影坐標(biāo);
在所述目標(biāo)平面中,根據(jù)所述第一球員投影坐標(biāo),追蹤顯示所述上一幀中的相應(yīng)球員坐標(biāo)投影至所述目標(biāo)平面中的第二球員投影坐標(biāo)處的球員標(biāo)識(shí)。
在其中一個(gè)實(shí)施例中,所述方法還包括:
根據(jù)所述視頻獲得第一視角下的球場(chǎng)區(qū)域;
根據(jù)所述球場(chǎng)區(qū)域的各個(gè)像素的顏色值,提取所述球場(chǎng)圖像中的球場(chǎng)線;
根據(jù)所述球場(chǎng)線,確定當(dāng)前幀與目標(biāo)平面之間的坐標(biāo)投影關(guān)系。
在其中一個(gè)實(shí)施例中,所述根據(jù)預(yù)設(shè)的不同球隊(duì)顏色和所述當(dāng)前幀中的各個(gè)像素的顏色值,對(duì)所述各個(gè)像素進(jìn)行分類標(biāo)記的步驟,包括:
根據(jù)預(yù)設(shè)的草地顏色范圍,確定所述當(dāng)前幀中的草地區(qū)域;
根據(jù)所述草地區(qū)域的輪廓確定球場(chǎng)區(qū)域;
根據(jù)預(yù)設(shè)的不同球隊(duì)顏色,將所述當(dāng)前幀中屬于所述球場(chǎng)區(qū)域且不屬于所述草地區(qū)域的像素,分類標(biāo)記為不同球隊(duì)球員像素。
在其中一個(gè)實(shí)施例中,所述根據(jù)分類標(biāo)記后的所述各個(gè)像素的坐標(biāo)確定所述當(dāng)前幀中的待定球員坐標(biāo)的步驟,包括:
確定被標(biāo)記為不同球隊(duì)球員像素的像素坐標(biāo);
獲取與所述像素坐標(biāo)相對(duì)應(yīng)的預(yù)設(shè)矩形框;
根據(jù)所述預(yù)設(shè)矩形框中每一行的球員像素的數(shù)量,獲取所述預(yù)設(shè)矩形框中的像素有效行的數(shù)量;
當(dāng)所述預(yù)設(shè)矩形框中像素有效行的數(shù)量大于預(yù)設(shè)數(shù)量時(shí),則通過(guò)所述預(yù)設(shè)矩形框中的所有所述球員像素的坐標(biāo)計(jì)算當(dāng)前幀中的待定球員坐標(biāo)。
在其中一個(gè)實(shí)施例中,所述方法還包括:
計(jì)算所述當(dāng)前幀中的待定球員坐標(biāo)的中心坐標(biāo);
判斷與所述上一幀中的球員坐標(biāo)間的距離小于第一預(yù)設(shè)距離的所述當(dāng)前幀中的待定球員坐標(biāo)的個(gè)數(shù)是否小于預(yù)設(shè)個(gè)數(shù);
當(dāng)與所述上一幀中的球員坐標(biāo)間的距離小于第一預(yù)設(shè)距離的所述當(dāng)前幀中的待定球員坐標(biāo)的個(gè)數(shù)小于預(yù)設(shè)個(gè)數(shù)時(shí),則計(jì)算丟失球員的數(shù)量;
根據(jù)所述當(dāng)前幀中的待定球員坐標(biāo)距離所述中心坐標(biāo)的距離,獲取與所述丟失球員的數(shù)量相同個(gè)數(shù)的,與所述上一幀中的球員坐標(biāo)間的距離大于等于所述第一預(yù)設(shè)距離的所述當(dāng)前幀中的球員坐標(biāo)作為所述當(dāng)前幀的確定球員坐標(biāo)。
在其中一個(gè)實(shí)施例中,所述在所述目標(biāo)平面中,根據(jù)所述第一球員投影坐標(biāo),追蹤顯示所述上一幀中的相應(yīng)球員坐標(biāo)投影至所述目標(biāo)平面中的第二球員投影坐標(biāo)處的球員標(biāo)識(shí)的步驟,包括:
獲取第二視角下的視頻,并計(jì)算在所述第二視角下的視頻中與所述當(dāng)前幀對(duì)應(yīng)的視頻幀的球員坐標(biāo)在所述目標(biāo)平面的第三球員投影坐標(biāo);
當(dāng)所述第一球員投影坐標(biāo)與所述第三球員投影坐標(biāo)間的距離小于第二預(yù)設(shè)距離時(shí),則根據(jù)所述第一球員投影坐標(biāo)和所述第三球員投影坐標(biāo)計(jì)算在所述目標(biāo)平面的目標(biāo)投影坐標(biāo);
在所述目標(biāo)平面中,將所述上一幀中的相應(yīng)球員坐標(biāo)投影至所述目標(biāo)平面中的第二球員投影坐標(biāo)處的球員標(biāo)識(shí),移動(dòng)至所述目標(biāo)投影坐標(biāo)處。
一種視頻中球員追蹤裝置,所述裝置包括:
獲取模塊,用于獲取第一視角下的視頻的當(dāng)前幀;
標(biāo)記模塊,用于根據(jù)預(yù)設(shè)的不同球隊(duì)顏色和所述當(dāng)前幀中的各個(gè)像素的顏色值,對(duì)所述各個(gè)像素進(jìn)行分類標(biāo)記;
坐標(biāo)確定模塊,用于根據(jù)分類標(biāo)記后的所述各個(gè)像素的坐標(biāo)確定所述當(dāng)前幀中的待定球員坐標(biāo);
計(jì)算模塊,用于獲取與上一幀中的相應(yīng)球員坐標(biāo)間的距離小于第一預(yù)設(shè)距離的所述當(dāng)前幀中的待定球員坐標(biāo)作為所述當(dāng)前幀的確定球員坐標(biāo);
映射模塊,用于獲取所述當(dāng)前幀中的確定球員坐標(biāo),投影至目標(biāo)平面中的第一球員投影坐標(biāo);
顯示模塊,用于在所述目標(biāo)平面中,根據(jù)所述第一球員投影坐標(biāo),追蹤顯示所述上一幀中的相應(yīng)球員坐標(biāo)投影至所述目標(biāo)平面中的第二球員投影坐標(biāo)處的球員標(biāo)識(shí)。
在其中一個(gè)實(shí)施例中,所述獲取模塊還用于根據(jù)所述視頻獲得第一視角下的球場(chǎng)區(qū)域;
所述裝置還包括:
提取模塊,用于根據(jù)所述球場(chǎng)區(qū)域的各個(gè)像素的顏色值,提取所述球場(chǎng)圖像中的球場(chǎng)線;
矩陣計(jì)算模塊,用于根據(jù)所述球場(chǎng)線,確定當(dāng)前幀與目標(biāo)平面之間的坐標(biāo)投影關(guān)系。
在其中一個(gè)實(shí)施例中,所述標(biāo)記模塊包括:
草地區(qū)域確定單元,用于根據(jù)預(yù)設(shè)的草地顏色范圍,確定所述當(dāng)前幀中的草地區(qū)域;
球場(chǎng)區(qū)域確定單元,用于根據(jù)所述草地區(qū)域的輪廓確定球場(chǎng)區(qū)域;
標(biāo)記單元,用于根據(jù)預(yù)設(shè)的不同球隊(duì)顏色,將所述當(dāng)前幀中屬于所述球場(chǎng)區(qū)域且不屬于所述草地區(qū)域的像素,分類標(biāo)記為不同球隊(duì)球員像素。
在其中一個(gè)實(shí)施例中,所述獲取模塊還用于獲取第二視角下的視頻,并計(jì)算在所述第二視角下的視頻中與所述當(dāng)前幀對(duì)應(yīng)的視頻幀的球員坐標(biāo)在所述目標(biāo)平面的第三球員投影坐標(biāo);
所述計(jì)算模塊還用于當(dāng)所述第一球員投影坐標(biāo)與所述第三球員投影坐標(biāo)間的距離小于第二預(yù)設(shè)距離時(shí),則根據(jù)所述第一球員投影坐標(biāo)和所述第三球員投影坐標(biāo)計(jì)算在所述目標(biāo)平面的目標(biāo)投影坐標(biāo);
所述顯示模塊還用于在所述目標(biāo)平面中,將所述上一幀中的相應(yīng)球員坐標(biāo)投影至所述目標(biāo)平面中的第二球員投影坐標(biāo)處的球員標(biāo)識(shí),移動(dòng)至所述目標(biāo)投影坐標(biāo)處。
上述視頻中球員追蹤方法和裝置,首先通過(guò)各個(gè)像素的顏色值,可以方便地識(shí)別出標(biāo)識(shí)球員的像素,且根據(jù)各個(gè)像素的坐標(biāo)可以得到所有球員的待定球員坐標(biāo),包括運(yùn)動(dòng)中的球員和靜止的球員,然后將所獲得的所有球員的待定球員坐標(biāo)與上一幀的球員坐標(biāo)進(jìn)行匹配,可以將上一幀的球員坐標(biāo)與當(dāng)前幀的待定球員坐標(biāo)進(jìn)行關(guān)聯(lián),從而實(shí)現(xiàn)了對(duì)所有球員的跟蹤。
附圖說(shuō)明
圖1為一實(shí)施例中的視頻中球員追蹤方法的流程圖;
圖2為一實(shí)施例中坐標(biāo)投影關(guān)系確定步驟的流程圖;
圖3為一實(shí)施例中頂帽操作以及二值化操作后的結(jié)果圖;
圖4為圖3所示實(shí)施例中獲取最大連通區(qū)域后的結(jié)果圖;
圖5為圖4所示實(shí)施例中球場(chǎng)區(qū)域的平面圖;
圖6為圖5所示實(shí)施例中球場(chǎng)線的示意圖;
圖7為圖1所示實(shí)施例中的步驟s104的流程圖;
圖8為圖1所示實(shí)施例中的步驟s106的流程圖;
圖9為圖6所示實(shí)施例中球場(chǎng)區(qū)域的劃分圖;
圖10為圖9所示的預(yù)設(shè)矩形框的示意圖;
圖11為一實(shí)施例中球員數(shù)量確定步驟的流程圖;
圖12為圖1所示實(shí)施例中步驟s112的流程圖;
圖13為圖1所示實(shí)施例中的目標(biāo)平面的示意圖;
圖14為一實(shí)施例中視頻中球員追蹤裝置的結(jié)構(gòu)示意圖。
具體實(shí)施方式
為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白,以下結(jié)合附圖及實(shí)施例,對(duì)本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說(shuō)明。應(yīng)當(dāng)理解,此處所描述的具體實(shí)施例僅僅用于解釋本發(fā)明,并不用于限定本發(fā)明。
請(qǐng)參閱圖1,圖1為一實(shí)施例中的視頻中球員追蹤方法的流程圖,其中,該方法包括:
s102:獲取第一視角下的視頻的當(dāng)前幀。
其中,視頻可以是球員在比賽時(shí)通過(guò)攝像機(jī)拍攝的視頻。球場(chǎng)可以理解為物理世界中的三維空間的一個(gè)平面,攝像機(jī)為物理世界中的三維空間的一個(gè)點(diǎn),從物理世界的該點(diǎn)處看向球場(chǎng)的視角則為第一視角。
s104:根據(jù)預(yù)設(shè)的不同球隊(duì)顏色和當(dāng)前幀中的各個(gè)像素的顏色值,對(duì)各個(gè)像素進(jìn)行分類標(biāo)記。
具體地,比賽中至少可以包括兩個(gè)球隊(duì),且為了區(qū)分球隊(duì),不同的球隊(duì)的隊(duì)服的顏色不相同,因此可以通過(guò)球隊(duì)顏色來(lái)判斷當(dāng)前幀中各個(gè)像素是代表哪個(gè)球隊(duì)的。
其中,各個(gè)像素的顏色值可以為各個(gè)像素的rgb(red、green、blue,紅、綠、藍(lán))值。
s106:根據(jù)分類標(biāo)記后的各個(gè)像素的坐標(biāo)確定當(dāng)前幀中的待定球員坐標(biāo)。
具體地,在對(duì)像素進(jìn)行分類標(biāo)記后,可以通過(guò)被標(biāo)記為球員像素的像素坐標(biāo)確定當(dāng)前幀中的待定球員坐標(biāo),其中像素坐標(biāo)可以是在當(dāng)前幀中建立平面直角坐標(biāo)系,根據(jù)該平面直角坐標(biāo)系可以相應(yīng)地讀取每一像素的像素坐標(biāo)。
s108:獲取與上一幀中的相應(yīng)球員坐標(biāo)間的距離小于第一預(yù)設(shè)距離的當(dāng)前幀中的待定球員坐標(biāo)作為當(dāng)前幀的確定球員坐標(biāo)。
具體地,為了實(shí)現(xiàn)對(duì)球員的追蹤,步驟s102至步驟s106將球員從當(dāng)前幀中識(shí)別出來(lái),再將識(shí)別出來(lái)的球員與上一幀中所識(shí)別出來(lái)的球員進(jìn)行匹配,以確定當(dāng)前幀中的球員與上一幀中的球員的對(duì)應(yīng)關(guān)系。其中,由于球員在球場(chǎng)區(qū)域的位置不可能出現(xiàn)突變,因此以距離作為當(dāng)前幀中的待定球員坐標(biāo)與上一幀中的球員坐標(biāo)的匹配條件,當(dāng)當(dāng)前幀中的待定球員坐標(biāo)與上一幀中的球員坐標(biāo)之間的距離小于第一預(yù)設(shè)距離時(shí),則認(rèn)為該當(dāng)前幀中的待定球員坐標(biāo)為當(dāng)前幀中的確定的球員坐標(biāo),從而實(shí)現(xiàn)對(duì)球員的追蹤。
s110:獲取當(dāng)前幀中的確定球員坐標(biāo),投影至目標(biāo)平面中的第一球員投影坐標(biāo)。
具體地,目標(biāo)平面可以為一二維平面,其與球場(chǎng)相對(duì)應(yīng),可以將該目標(biāo)平面理解成為按比例縮小的球場(chǎng)平面。
且為了直觀地向觀看視頻的用戶展現(xiàn)球員在球場(chǎng)的位置,將當(dāng)前幀中的確定球員坐標(biāo)投影至該目標(biāo)平面中的第一球員投影坐標(biāo)。
s112:在目標(biāo)平面中,根據(jù)第一球員投影坐標(biāo),追蹤顯示上一幀中的相應(yīng)球員坐標(biāo)投影至目標(biāo)平面中的第二球員投影坐標(biāo)處的球員標(biāo)識(shí)。
具體地,球員標(biāo)識(shí)是可以唯一確定該球員的圖標(biāo),例如可以為一圓形圖標(biāo)、三角形圖標(biāo)等,也可以為一帶有號(hào)碼的人形圖標(biāo)等。為了實(shí)現(xiàn)對(duì)該球員的追蹤,可以將上一幀中的相應(yīng)球員坐標(biāo)投影至目標(biāo)平面中的第二球員投影坐標(biāo)處的球員標(biāo)識(shí),移動(dòng)至第一球員投影坐標(biāo)處,以直觀地表示該球員的位置發(fā)生了變化,實(shí)現(xiàn)對(duì)該球員的追蹤。
上述視頻中球員追蹤方法,首先通過(guò)各個(gè)像素的顏色值,可以方便地識(shí)別出標(biāo)識(shí)球員的像素,且根據(jù)各個(gè)像素的坐標(biāo)可以得到所有球員的待定球員坐標(biāo),包括運(yùn)動(dòng)中的球員和靜止的球員,然后將所獲得的所有球員的待定球員坐標(biāo)與上一幀的球員坐標(biāo)進(jìn)行匹配,可以將上一幀的球員坐標(biāo)與當(dāng)前幀的待定球員坐標(biāo)進(jìn)行關(guān)聯(lián),從而實(shí)現(xiàn)了對(duì)所有球員的跟蹤。
在其中一個(gè)實(shí)施例中,請(qǐng)參閱圖2,圖2為一實(shí)施例中坐標(biāo)投影關(guān)系確定步驟的流程圖,該坐標(biāo)投影關(guān)系確定步驟可以在圖1所示實(shí)的步驟s102之前進(jìn)行,該坐標(biāo)投影關(guān)系步驟可以包括:
s202:根據(jù)視頻獲得第一視角下的球場(chǎng)區(qū)域。
具體地,假設(shè)物體較背景明亮,首先可以通過(guò)開操作排除圖像中的小團(tuán)塊物體,然后使用頂帽操作,即原圖像與開操作后的結(jié)果圖的差,可以達(dá)到突出白線的效果,即突出球場(chǎng)線的效果,故而如圖3,通過(guò)對(duì)當(dāng)前幀的灰度圖進(jìn)行頂帽操作,然后對(duì)結(jié)果進(jìn)行二值化,可以濾掉當(dāng)前幀中暗淡的部分。
由于球場(chǎng)占據(jù)了當(dāng)前幀中的大部分區(qū)域,且由于球場(chǎng)中的草地面積較大,因此球場(chǎng)大致是綠色的,從而可以根據(jù)當(dāng)前幀中各個(gè)像素的顏色值來(lái)提取出球場(chǎng)區(qū)域,在rgb直方圖中,r通道、g通道和b通道的峰值則代表了球場(chǎng)的區(qū)域,因此可以找到r通道、g通道和b通道的峰值,得到峰值后,可以以像素的顏色值與r通道、g通道和b通道的峰值的相似度選取合適的閾值來(lái)對(duì)圖像進(jìn)行二值化處理。另外,在選取峰值時(shí),由于黑邊會(huì)對(duì)峰值造成影響,因此在本實(shí)施例中可以另加判斷舍去黑邊。其中,可以通過(guò)以下公式來(lái)實(shí)現(xiàn)對(duì)圖像的二值化處理:
其中,f(x,y)為當(dāng)前幀中的像素(x,y)的二值化后的值,ir(x,y)為當(dāng)前幀中像素(x,y)的r值,ig(x,y)為當(dāng)前幀中像素(x,y)的g值,ib(x,y)為當(dāng)前幀中像素(x,y)的b值,rmax為r通道的峰值,gmax為g通道的峰值,bmax為b通道的峰值,rth為r通道的閾值,gth為g通道的閾值,bth為b通道的閾值。
其中由于綠色的rgb為(0,255,0)紅色的rgb為(255,0,0),且當(dāng)前幀中的球場(chǎng)區(qū)域是綠色的,跑道區(qū)域是紅色的,因此增加ig(x,y)>ir(x,y)和ig(x,y)>ib(x,y)可以提出到大規(guī)模的紅色跑道區(qū)域。
且由于在二值化處理后,得到的結(jié)果中噪聲點(diǎn)較多,因此需要通過(guò)一系列形態(tài)學(xué)操作去除噪點(diǎn),在此可以同3次腐蝕操作、1次中值操作和1次膨脹操作來(lái)去除噪點(diǎn),其中腐蝕操作可以細(xì)化圖像中物體的輪廓,可以用來(lái)分離物體間的連接消除離散點(diǎn)。中值操作是一種非線性的圖像處理方法,其可以根據(jù)對(duì)領(lǐng)域內(nèi)響度按灰度排序的結(jié)果決定中心像素的灰度,這樣,在一定條件下可以克服線性濾波帶來(lái)的圖像的細(xì)節(jié)模糊問題,而且對(duì)濾除噪聲干擾非常有效。膨脹操作會(huì)擴(kuò)大圖像中物體的輪廓,可以用來(lái)填充物體間的孔洞,強(qiáng)化離散點(diǎn)。在形態(tài)學(xué)操作后,再求得最大連通區(qū)域即可得到如圖4的草地區(qū)域。
參見圖4,球場(chǎng)線和球員在圖4中仍以黑色像素的形式存在,為了得到球場(chǎng)區(qū)域,可以對(duì)圖4再次進(jìn)行1次膨脹操作和2次腐蝕操作以得到如圖5的球場(chǎng)區(qū)域。
s204:根據(jù)球場(chǎng)區(qū)域的各個(gè)像素的顏色值,提取球場(chǎng)圖像中的球場(chǎng)線。
具體地,圖5中球場(chǎng)區(qū)域?yàn)榘咨艿绤^(qū)域以及周圍環(huán)境區(qū)域?yàn)楹谏?,這樣通過(guò)霍夫變換算法以及球場(chǎng)區(qū)域的各個(gè)像素的顏色值可以得到如圖6的球場(chǎng)線。且由于在獲得圖6中的球場(chǎng)線前,得到的是許多線段,且許多線段連接起來(lái)是球場(chǎng)區(qū)域中的一條球場(chǎng)線,因此可以設(shè)置合適的閾值,將斜率與截距相同的線段歸為同一類中,以該類中所有線段的斜率的平均值和截距的平均值作為該條球場(chǎng)線的斜率和截距。
s206:根據(jù)球場(chǎng)線,確定當(dāng)前幀與目標(biāo)平面之間的坐標(biāo)投影關(guān)系。
具體地,參見圖6,可以獲取到球場(chǎng)區(qū)域的邊界點(diǎn)以及真實(shí)球場(chǎng)區(qū)域中各個(gè)線段的比例。以圖6中所創(chuàng)建的坐標(biāo)系為例,其中a點(diǎn)的坐標(biāo)可以通過(guò)求取球場(chǎng)區(qū)域中y值最大的交點(diǎn)即可,得到a點(diǎn)的坐標(biāo)后,可以根據(jù)線段的交點(diǎn)得到e點(diǎn)和f點(diǎn)的坐標(biāo),計(jì)算c=fe/ae,其中假設(shè)真實(shí)球場(chǎng)區(qū)域中f’e’/a’e’=m,b’e’/a’e’=n,假設(shè)h=c/m,由于透視變形連續(xù),可以忽略攝像頭可能產(chǎn)生的廣角畸變,計(jì)算b’e’/a’e’=h×n,從而圖6中所示的球場(chǎng)區(qū)域存在以下關(guān)系be/ae=h×n,從而可以得到be=h×n×ae,因此b點(diǎn)的坐標(biāo)也可以確定。然后再計(jì)算c點(diǎn)和d點(diǎn)的坐標(biāo),可以先計(jì)算g點(diǎn)的坐標(biāo),且由于真實(shí)球場(chǎng)區(qū)域中a’g’/c’g’的值是已知的,結(jié)合be/ae=h×n,可以得到c點(diǎn)的坐標(biāo),且由于透視關(guān)系中,直線ac、直線bd以及直線l1相交于一點(diǎn),因此可以計(jì)算直線ac與直線l1的交點(diǎn),從而可以得到直線bd的方程和直線cd的方程,求直線bd和和直線cd的交點(diǎn)即可得到d點(diǎn)的坐標(biāo)。
在a點(diǎn)、b點(diǎn)、c點(diǎn)以及d點(diǎn)的坐標(biāo)確定后,可以根據(jù)坐標(biāo)變換求得當(dāng)前幀與目標(biāo)平面之間的坐標(biāo)投影關(guān)系,二維坐標(biāo)的轉(zhuǎn)換可以表示為3×3矩陣,自由度為8,將得到的a點(diǎn)、b點(diǎn)、c點(diǎn)以及d點(diǎn)的坐標(biāo)帶入到待求矩陣中,即可得到該待求矩陣,即當(dāng)前幀與目標(biāo)平面之間的坐標(biāo)投影關(guān)系。
上述實(shí)施例中,通過(guò)獲取球場(chǎng)區(qū)域中的球場(chǎng)線,根據(jù)該球場(chǎng)線的關(guān)鍵點(diǎn)的坐標(biāo)即可求得當(dāng)前幀與目標(biāo)平面之間的坐標(biāo)投影關(guān)系,可以實(shí)現(xiàn)視頻圖像到目標(biāo)平面的轉(zhuǎn)換,從而在后續(xù)球員追蹤過(guò)程中,可以在該目標(biāo)平面實(shí)時(shí)呈現(xiàn)追蹤到的球員,簡(jiǎn)單、直觀。
在其中一個(gè)實(shí)施例中,請(qǐng)參閱圖7,圖7為圖1所示實(shí)施例中的步驟s104的流程圖,該步驟s104,即根據(jù)預(yù)設(shè)的不同球隊(duì)顏色和當(dāng)前幀中的各個(gè)像素的顏色值,對(duì)各個(gè)像素進(jìn)行分類標(biāo)記的步驟,可以包括:
s702:根據(jù)預(yù)設(shè)的草地顏色范圍,確定當(dāng)前幀中的草地區(qū)域。
具體地,假設(shè)物體較背景明亮,首先可以通過(guò)開操作排除圖像中的小團(tuán)塊物體,然后使用頂帽操作,即原圖像與開操作后的結(jié)果圖的差,可以達(dá)到突出白線的效果,即突出球場(chǎng)線的效果,故而如圖3,通過(guò)對(duì)當(dāng)前幀的灰度圖進(jìn)行頂帽操作,然后對(duì)結(jié)果進(jìn)行二值化,可以濾掉當(dāng)前幀中暗淡的部分。
由于球場(chǎng)占據(jù)了當(dāng)前幀中的大部分區(qū)域,且由于球場(chǎng)中的草地面積較大,因此球場(chǎng)大致是綠色的,從而可以根據(jù)當(dāng)前幀中各個(gè)像素的顏色值來(lái)提取出球場(chǎng)區(qū)域,在rgb直方圖中,r通道、g通道和b通道的峰值則代表了球場(chǎng)的區(qū)域,因此可以找到r通道、g通道和b通道的峰值,得到峰值后,可以以像素的顏色值與r通道、g通道和b通道的峰值的相似度選取合適的閾值來(lái)對(duì)圖像進(jìn)行二值化處理。另外,在選取峰值時(shí),由于黑邊會(huì)對(duì)峰值造成影響,因此在本實(shí)施例中可以另加判斷舍去黑邊。其中,可以通過(guò)以下公式來(lái)實(shí)現(xiàn)對(duì)圖像的二值化處理:
其中,f(x,y)為當(dāng)前幀中的像素(x,y)的二值化后的值,ir(x,y)為當(dāng)前幀中像素(x,y)的r值,ig(x,y)為當(dāng)前幀中像素(x,y)的g值,ib(x,y)為當(dāng)前幀中像素(x,y)的b值,rmax為r通道的峰值,gmax為g通道的峰值,bmax為b通道的峰值,rth為r通道的閾值,gth為g通道的閾值,bth為b通道的閾值。
其中由于綠色的rgb為(0,255,0)紅色的rgb為(255,0,0),且當(dāng)前幀中的球場(chǎng)區(qū)域是綠色的,跑道區(qū)域是紅色的,因此增加ig(x,y)>ir(x,y)和ig(x,y)>ib(x,y)可以提出到大規(guī)模的紅色跑道區(qū)域。
且由于在二值化處理后,得到的結(jié)果中噪聲點(diǎn)較多,因此需要通過(guò)一系列形態(tài)學(xué)操作去除噪點(diǎn),在此可以同3次腐蝕操作、1次中值操作和1次膨脹操作來(lái)去除噪點(diǎn),其中腐蝕操作可以細(xì)化圖像中物體的輪廓,可以用來(lái)分離物體間的連接消除離散點(diǎn)。中值操作是一種非線性的圖像處理方法,其可以根據(jù)對(duì)領(lǐng)域內(nèi)響度按灰度排序的結(jié)果決定中心像素的灰度,這樣,在一定條件下可以克服線性濾波帶來(lái)的圖像的細(xì)節(jié)模糊問題,而且對(duì)濾除噪聲干擾非常有效。膨脹操作會(huì)擴(kuò)大圖像中物體的輪廓,可以用來(lái)填充物體間的孔洞,強(qiáng)化離散點(diǎn)。在形態(tài)學(xué)操作后,再求得最大連通區(qū)域即可得到如圖4的草地區(qū)域。
s704:根據(jù)草地區(qū)域的輪廓確定球場(chǎng)區(qū)域。
參見圖4,球場(chǎng)線和球員在圖4中仍以黑色像素的形式存在,為了得到球場(chǎng)區(qū)域,可以對(duì)圖4再次進(jìn)行1次膨脹操作和2次腐蝕操作以得到如圖5的球場(chǎng)區(qū)域。
s706:根據(jù)預(yù)設(shè)的不同球隊(duì)顏色,將當(dāng)前幀中屬于球場(chǎng)區(qū)域且不屬于草地區(qū)域的像素,分類標(biāo)記為不同球隊(duì)球員像素。
具體地,可以根據(jù)圖5來(lái)判斷像素是否處于球場(chǎng)區(qū)域,即屬于球場(chǎng)區(qū)域的像素在圖5中為白色??梢愿鶕?jù)圖4來(lái)判斷像素是否屬于草地區(qū)域,即屬于草地區(qū)域的像素在圖4中為黑色,當(dāng)當(dāng)前幀中屬于球場(chǎng)區(qū)域且不屬于草地區(qū)域的像素時(shí),則認(rèn)為該像素為球員像素,然后根據(jù)預(yù)設(shè)的不同球隊(duì)顏色來(lái)對(duì)該球員像素進(jìn)行標(biāo)記,例如如果該像素的rgb值與第一球隊(duì)顏色的rgb值的差值小于一預(yù)設(shè)值,則認(rèn)為該球員像素為第一隊(duì)球員像素,如果該像素的rgb值與第二球隊(duì)顏色的rgb值的差值小于另一預(yù)設(shè)值,則認(rèn)為該球員像素為第二隊(duì)球員像素。這樣可以實(shí)現(xiàn)對(duì)整個(gè)球場(chǎng)區(qū)域中的像素的分類標(biāo)記,例如第一隊(duì)球員像素標(biāo)記為1,第二隊(duì)球員像素標(biāo)記為2,草地像素可以標(biāo)記為0等。
上述實(shí)施例中,首先通過(guò)遍歷當(dāng)前幀中的像素識(shí)別出球員像素,并且通過(guò)球員像素與球隊(duì)顏色的的比較,確定出該球員像素是第一隊(duì)球員像素還是第二隊(duì)球員像素,僅通過(guò)簡(jiǎn)單的顏色判斷即可以實(shí)現(xiàn)對(duì)像素的分類標(biāo)記,簡(jiǎn)單實(shí)用。
在其中一個(gè)實(shí)施例中,請(qǐng)參閱圖8,圖8為圖1所示實(shí)施例中的步驟s106的流程圖,步驟s106,即根據(jù)分類標(biāo)記后的各個(gè)像素的坐標(biāo)確定當(dāng)前幀中的待定球員坐標(biāo)的步驟可以包括:
s802:確定被標(biāo)記為不同球隊(duì)球員像素的像素坐標(biāo)。
具體地,可以在當(dāng)前幀中建立一平面直角坐標(biāo)系,這樣可以確定被標(biāo)記為不同球隊(duì)球員像素的像素坐標(biāo)。
s804:獲取與像素坐標(biāo)相對(duì)應(yīng)的預(yù)設(shè)矩形框。
具體地,由于當(dāng)前幀中的圖像有近大遠(yuǎn)小的特點(diǎn),因此不能對(duì)當(dāng)前幀中的圖像的每一位置處都使用相同的預(yù)設(shè)矩形框,從而可以將當(dāng)前幀劃分為多個(gè)區(qū)域,每個(gè)區(qū)域設(shè)置不同的預(yù)設(shè)矩形框,如圖9所示,將當(dāng)前幀按照高度劃分為10塊,每塊設(shè)置不同的預(yù)設(shè)矩形框。假設(shè)預(yù)設(shè)矩形框的長(zhǎng)為5×a×sh,寬為5×a×sw,其中a可以根據(jù)當(dāng)前幀中區(qū)域的不同,設(shè)置不同的值,例如a可以在一個(gè)列表中取值,列表在代碼中可以為一個(gè)矢量va;sh/sw可以為7/5,在其他實(shí)施例中,還可以設(shè)置為其他的比值。
s806:根據(jù)預(yù)設(shè)矩形框中每一行的球員像素的數(shù)量,獲取預(yù)設(shè)矩形框中的像素有效行的數(shù)量。
具體地,在預(yù)設(shè)矩形框建立一如圖10的平面直角坐標(biāo)系,假設(shè)預(yù)設(shè)矩形框中第i行中,從(0,i)至(5×a×sw-1,i)遍歷這5×a×sw點(diǎn),將這5×a×sw點(diǎn)分別與(0,0)點(diǎn)相比較,當(dāng)遍歷完5×a×sw個(gè)點(diǎn)或者有2×a×sw個(gè)點(diǎn)與(0,0)點(diǎn)不同時(shí),則跳出遍歷。然后統(tǒng)計(jì)已經(jīng)遍歷的點(diǎn),如果存在a×sw個(gè)點(diǎn)與(0,0)點(diǎn)相同,則標(biāo)記該行為像素有效行。
待預(yù)設(shè)矩形框中5×a×sh行全部遍歷完成后,統(tǒng)計(jì)像素有效行的數(shù)量。具體地,可以從第0行遍歷到5×a×sh-1行,當(dāng)5×a×sh行遍歷完成或者像素有效行的數(shù)量超過(guò)2×a×sh行時(shí),則跳出遍歷。然后統(tǒng)計(jì)像素有效行的數(shù)量。
s808:當(dāng)預(yù)設(shè)矩形框中像素有效行的數(shù)量大于預(yù)設(shè)數(shù)量時(shí),則通過(guò)預(yù)設(shè)矩形框中的所有球員像素的坐標(biāo)計(jì)算當(dāng)前幀中的待定球員坐標(biāo)。
具體地,接上述例子,當(dāng)像素有效行的數(shù)量超過(guò)a×sh時(shí),則認(rèn)為該預(yù)設(shè)矩形框?yàn)橛行У念A(yù)設(shè)矩形框,這樣可以避免有效矩形框的前幾行不全是像素?zé)o效行,待確定該預(yù)設(shè)矩形框?yàn)橛行Ь匦慰蚝?,可以通過(guò)該預(yù)設(shè)矩形框中的球員像素的坐標(biāo)計(jì)算待定球員坐標(biāo),例如可以通過(guò)球員像素的坐標(biāo)的平均值代表待定球員坐標(biāo)。
上述實(shí)施例中,由于當(dāng)前幀中的圖像有近大遠(yuǎn)小的特點(diǎn),在當(dāng)前幀中的不同區(qū)域設(shè)置不同的預(yù)設(shè)矩形框,可以提高圖像處理的精度,且通過(guò)像素有效行的數(shù)量來(lái)確定該預(yù)設(shè)矩形框是否有效,這樣可以避免有效矩形框的前幾行不全是像素?zé)o效行,從而可以準(zhǔn)確地計(jì)算待定球員坐標(biāo)。
在其中一個(gè)實(shí)施例中,如圖11,圖11為一實(shí)施例中球員數(shù)量確定步驟的流程圖,該球員數(shù)量確定步驟可以是在圖1所示的實(shí)施例的步驟s108之后,該球員數(shù)量確定步驟可以包括:
s1102:計(jì)算當(dāng)前幀中的待定球員坐標(biāo)的中心坐標(biāo)。
具體地,可以通過(guò)當(dāng)前幀中所有待定球員坐標(biāo)來(lái)計(jì)算中心坐標(biāo),例如可以計(jì)算當(dāng)前幀中所有待定球員坐標(biāo)的平均值來(lái)計(jì)算中心坐標(biāo)。
s1104:判斷與上一幀中的球員坐標(biāo)間的距離小于第一預(yù)設(shè)距離的當(dāng)前幀中的待定球員坐標(biāo)的個(gè)數(shù)是否小于預(yù)設(shè)個(gè)數(shù)。
具體地,例如在足球比賽中,一場(chǎng)比賽應(yīng)有兩隊(duì)參加,每隊(duì)上場(chǎng)隊(duì)員不得多于11名,其中必須有一名守門員。如果任何一隊(duì)少于7人則比賽不能開始。因此本實(shí)施例中預(yù)設(shè)個(gè)數(shù)可以為7、8、9、10或11等。本實(shí)施例中以8為例,若與上一幀中的球員坐標(biāo)間的距離小于第一預(yù)設(shè)距離的當(dāng)前幀中的待定球員坐標(biāo)的個(gè)數(shù)小于8個(gè),則認(rèn)為存在丟失球員,這樣需要確定丟失球員的球員坐標(biāo)。
具體地,可以對(duì)每一幀中的球員坐標(biāo)加上一個(gè)狀態(tài)變量,例如正常和丟失,且為了方便匹配,可以首先對(duì)上一幀中的球員坐標(biāo)進(jìn)行排序,例如計(jì)算當(dāng)前幀中的待定球員坐標(biāo)的中心坐標(biāo),然后按照上一幀中的球員坐標(biāo)與待定球員坐標(biāo)的距離進(jìn)行排序,在匹配時(shí),首先在上一幀中獲取狀態(tài)變量為正常的球員坐標(biāo),然后獲取當(dāng)前幀中的待定球員坐標(biāo),如果兩個(gè)球員坐標(biāo)之間的距離小于第一預(yù)設(shè)距離時(shí),則將當(dāng)前幀中的待定球員坐標(biāo)更新到上一幀中相應(yīng)的球員坐標(biāo)處,且標(biāo)記當(dāng)前幀中的待定球員坐標(biāo)標(biāo)記為丟失,即表示當(dāng)前幀中的該待定球員坐標(biāo)已使用。且當(dāng)兩個(gè)球員坐標(biāo)之間的距離大于等于第一預(yù)設(shè)距離時(shí),則更改上一幀中相應(yīng)的球員坐標(biāo)的狀態(tài)變量為丟失。
且如果上一幀中狀態(tài)變量為正常的球員坐標(biāo)的數(shù)量不足8個(gè)時(shí),則可以從當(dāng)前幀中選擇未使用的球員坐標(biāo),并選取上一幀中狀態(tài)變量為丟失的球員坐標(biāo),如果兩個(gè)球員坐標(biāo)之間的距離小于第一預(yù)設(shè)距離時(shí),則將當(dāng)前幀中的待定球員坐標(biāo)更新到上一幀中相應(yīng)的球員坐標(biāo)處,且標(biāo)記當(dāng)前幀中的相應(yīng)的待定球員坐標(biāo)標(biāo)記為丟失,即表示當(dāng)前幀中的該待定球員坐標(biāo)已使用。
s1106:當(dāng)與上一幀中的球員坐標(biāo)間的距離小于第一預(yù)設(shè)距離的當(dāng)前幀中的待定球員坐標(biāo)的個(gè)數(shù)小于預(yù)設(shè)個(gè)數(shù)時(shí),則計(jì)算丟失球員的數(shù)量。
具體地,假設(shè)本實(shí)施例中,當(dāng)前幀中的待定球員坐標(biāo)的個(gè)數(shù)為6個(gè),則存在2個(gè)丟失球員。
s1108:根據(jù)當(dāng)前幀中的待定球員坐標(biāo)距離中心坐標(biāo)的距離,獲取與丟失球員的數(shù)量相同個(gè)數(shù)的,與上一幀中的球員坐標(biāo)間的距離大于等于第一預(yù)設(shè)距離的當(dāng)前幀中的球員坐標(biāo)作為當(dāng)前幀的確定球員坐標(biāo)。
具體地,在本實(shí)施例中,如果還存在2個(gè)丟失球員,則選取當(dāng)前幀中還未使用的待定球員坐標(biāo),并根據(jù)該待定球員坐標(biāo)與中心坐標(biāo)的距離,選取與中心坐標(biāo)的距離最近的兩個(gè)待定球員坐標(biāo)更新到上一幀中的球員坐標(biāo)中,并標(biāo)記為球員坐標(biāo)的狀態(tài)為正常,這樣再將上一幀中的球員坐標(biāo)更新到當(dāng)前幀中的球員坐標(biāo)。且為了保證效率,可以每隔10幀、15幀、8幀等自動(dòng)清理一次當(dāng)前幀中狀態(tài)為丟失的球員坐標(biāo)。
上述實(shí)施例中,通過(guò)簡(jiǎn)單的球員坐標(biāo)個(gè)數(shù)的判斷,可以保證每一幀中狀態(tài)為正常的球員坐標(biāo)的個(gè)數(shù),從而可以避免球員追蹤失敗,且每隔預(yù)設(shè)幀對(duì)狀態(tài)為丟失的球員坐標(biāo)進(jìn)行清理,提高匹配的效率。
在其中一個(gè)實(shí)施例中,參閱圖12所示,圖12為圖1所示實(shí)施例中步驟s112的流程圖,該步驟s112,即在目標(biāo)平面中,根據(jù)第一球員投影坐標(biāo),追蹤顯示上一幀中的相應(yīng)球員坐標(biāo)投影至目標(biāo)平面中的第二球員投影坐標(biāo)處的球員標(biāo)識(shí)的步驟可以包括:
s1202:獲取第二視角下的視頻,并計(jì)算在第二視角下的視頻中與當(dāng)前幀對(duì)應(yīng)的視頻幀的球員坐標(biāo)在目標(biāo)平面的第三球員投影坐標(biāo)。
具體地,在球員出現(xiàn)遮擋的情況下,僅獲取一個(gè)視角下的視頻,則可能導(dǎo)致球員丟失的情況,因此在本實(shí)施例中又獲取第二視角下的視頻,這樣在第一視角下球員出現(xiàn)遮擋時(shí),第二視角下的球員則不會(huì)出現(xiàn)遮擋,從而可以準(zhǔn)確地獲取球員坐標(biāo)。
s1204:當(dāng)?shù)谝磺騿T投影坐標(biāo)與第三球員投影坐標(biāo)間的距離小于第二預(yù)設(shè)距離時(shí),則根據(jù)第一球員投影坐標(biāo)和第三球員投影坐標(biāo)計(jì)算在目標(biāo)平面的目標(biāo)投影坐標(biāo)。
具體地,為了能夠確定第一視角下的球員坐標(biāo)和第二視角下的球員坐標(biāo)之間的關(guān)系,因此將第一視角下的球員坐標(biāo)和第二視角下的球員坐標(biāo)都統(tǒng)一到目標(biāo)平面中,即第一球員投影坐標(biāo)和第三球員投影坐標(biāo),這樣通過(guò)判斷第一球員投影坐標(biāo)和第三球員投影坐標(biāo)之間的距離,即可確定該第一球員投影坐標(biāo)和第三球員投影坐標(biāo)是否只同一球員,如果是,則通過(guò)該第一球員投影坐標(biāo)和第三球員投影坐標(biāo)計(jì)算該球員在目標(biāo)平面的目標(biāo)投影坐標(biāo),例如可以將第一球員投影坐標(biāo)和第三球員投影坐標(biāo)的平均值作為目標(biāo)投影坐標(biāo)。
s1206:在目標(biāo)平面中,將上一幀中的相應(yīng)球員坐標(biāo)投影至目標(biāo)平面中的第二球員投影坐標(biāo)處的球員標(biāo)識(shí),移動(dòng)至目標(biāo)投影坐標(biāo)處。
具體地,為了實(shí)現(xiàn)對(duì)球員的追蹤,參閱圖13,將上一幀中的相應(yīng)球員坐標(biāo)投影至目標(biāo)平面中的第二球員投影坐標(biāo)處的球員標(biāo)識(shí),移動(dòng)至目標(biāo)投影坐標(biāo)處,以實(shí)現(xiàn)對(duì)球員的追蹤。
上述實(shí)施例中,通過(guò)第一視角和第二視角下的視頻來(lái)確定球員在目標(biāo)平面的目標(biāo)投影坐標(biāo),可以準(zhǔn)確地獲取球員坐標(biāo)在目標(biāo)平面的目標(biāo)投影坐標(biāo),實(shí)現(xiàn)對(duì)球員的準(zhǔn)確追蹤。
請(qǐng)參閱圖14,圖14為一實(shí)施例中視頻中球員追蹤裝置的結(jié)構(gòu)示意圖,該裝置包括:
獲取模塊100,用于獲取第一視角下的視頻的當(dāng)前幀。
標(biāo)記模塊200,用于根據(jù)預(yù)設(shè)的不同球隊(duì)顏色和當(dāng)前幀中的各個(gè)像素的顏色值,對(duì)各個(gè)像素進(jìn)行分類標(biāo)記。
坐標(biāo)確定模塊300,用于根據(jù)分類標(biāo)記后的各個(gè)像素的坐標(biāo)確定當(dāng)前幀中的待定球員坐標(biāo)。
計(jì)算模塊400,用于獲取與上一幀中的相應(yīng)球員坐標(biāo)間的距離小于第一預(yù)設(shè)距離的當(dāng)前幀中的待定球員坐標(biāo)作為當(dāng)前幀的確定球員坐標(biāo)。
映射模塊500,用于獲取當(dāng)前幀中的確定球員坐標(biāo),投影至目標(biāo)平面中的第一球員投影坐標(biāo)。
顯示模塊600,用于在目標(biāo)平面中,根據(jù)第一球員投影坐標(biāo),追蹤顯示上一幀中的相應(yīng)球員坐標(biāo)投影至目標(biāo)平面中的第二球員投影坐標(biāo)處的球員標(biāo)識(shí)。
在其中一個(gè)實(shí)施例中,獲取模塊100還用于根據(jù)視頻獲得第一視角下的球場(chǎng)區(qū)域。
裝置還包括:
提取模塊,用于根據(jù)球場(chǎng)區(qū)域的各個(gè)像素的顏色值,提取球場(chǎng)圖像中的球場(chǎng)線。
矩陣計(jì)算模塊400,用于根據(jù)球場(chǎng)線,確定當(dāng)前幀與目標(biāo)平面之間的坐標(biāo)投影關(guān)系。
在其中一個(gè)實(shí)施例中,標(biāo)記模塊200包括:
草地區(qū)域確定單元,用于根據(jù)預(yù)設(shè)的草地顏色范圍,確定當(dāng)前幀中的草地區(qū)域。
球場(chǎng)區(qū)域確定單元,用于根據(jù)草地區(qū)域的輪廓確定球場(chǎng)區(qū)域。
標(biāo)記單元,用于根據(jù)預(yù)設(shè)的不同球隊(duì)顏色,將當(dāng)前幀中屬于球場(chǎng)區(qū)域且不屬于草地區(qū)域的像素,分類標(biāo)記為不同球隊(duì)球員像素。
在其中一個(gè)實(shí)施例中,坐標(biāo)確定模塊300包括:
確定單元,用于確定被標(biāo)記為不同球隊(duì)球員像素的像素坐標(biāo)。
矩形框獲取單元,用于獲取與像素坐標(biāo)相對(duì)應(yīng)的預(yù)設(shè)矩形框。
像素有效行確定單元,用于根據(jù)預(yù)設(shè)矩形框中每一行的球員像素的數(shù)量,獲取預(yù)設(shè)矩形框中的像素有效行的數(shù)量。
待定球員坐標(biāo)確定單元,用于當(dāng)預(yù)設(shè)矩形框中像素有效行的數(shù)量大于預(yù)設(shè)數(shù)量時(shí),則通過(guò)預(yù)設(shè)矩形框中的所有球員像素的坐標(biāo)計(jì)算當(dāng)前幀中的待定球員坐標(biāo)。
在其中一個(gè)實(shí)施例中,計(jì)算模塊400還用于計(jì)算當(dāng)前幀中的待定球員坐標(biāo)的中心坐標(biāo);判斷與上一幀中的球員坐標(biāo)間的距離小于第一預(yù)設(shè)距離的當(dāng)前幀中的待定球員坐標(biāo)的個(gè)數(shù)是否小于預(yù)設(shè)個(gè)數(shù);當(dāng)與上一幀中的球員坐標(biāo)間的距離小于第一預(yù)設(shè)距離的當(dāng)前幀中的待定球員坐標(biāo)的個(gè)數(shù)小于預(yù)設(shè)個(gè)數(shù)時(shí),則計(jì)算丟失球員的數(shù)量;根據(jù)當(dāng)前幀中的待定球員坐標(biāo)距離中心坐標(biāo)的距離,獲取與丟失球員的數(shù)量相同個(gè)數(shù)的,與上一幀中的球員坐標(biāo)間的距離大于等于第一預(yù)設(shè)距離的當(dāng)前幀中的球員坐標(biāo)作為當(dāng)前幀的確定球員坐標(biāo)。
在其中一個(gè)實(shí)施例中,獲取模塊100還用于獲取第二視角下的視頻,并計(jì)算在第二視角下的視頻中與當(dāng)前幀對(duì)應(yīng)的視頻幀的球員坐標(biāo)在目標(biāo)平面的第三球員投影坐標(biāo)。
計(jì)算模塊400還用于當(dāng)?shù)谝磺騿T投影坐標(biāo)與第三球員投影坐標(biāo)間的距離小于第二預(yù)設(shè)距離時(shí),則根據(jù)第一球員投影坐標(biāo)和第三球員投影坐標(biāo)計(jì)算在目標(biāo)平面的目標(biāo)投影坐標(biāo)。
顯示模塊600還用于在目標(biāo)平面中,將上一幀中的相應(yīng)球員坐標(biāo)投影至目標(biāo)平面中的第二球員投影坐標(biāo)處的球員標(biāo)識(shí),移動(dòng)至目標(biāo)投影坐標(biāo)處。
上述對(duì)視頻中球員追蹤裝置的限定可以參見上文中對(duì)視頻中球員追蹤方法的限定,在此不再贅述。
以上所述實(shí)施例的各技術(shù)特征可以進(jìn)行任意的組合,為使描述簡(jiǎn)潔,未對(duì)上述實(shí)施例中的各個(gè)技術(shù)特征所有可能的組合都進(jìn)行描述,然而,只要這些技術(shù)特征的組合不存在矛盾,都應(yīng)當(dāng)認(rèn)為是本說(shuō)明書記載的范圍。
以上所述實(shí)施例僅表達(dá)了本發(fā)明的幾種實(shí)施方式,其描述較為具體和詳細(xì),但并不能因此而理解為對(duì)發(fā)明專利范圍的限制。應(yīng)當(dāng)指出的是,對(duì)于本領(lǐng)域的普通技術(shù)人員來(lái)說(shuō),在不脫離本發(fā)明構(gòu)思的前提下,還可以做出若干變形和改進(jìn),這些都屬于本發(fā)明的保護(hù)范圍。因此,本發(fā)明專利的保護(hù)范圍應(yīng)以所附權(quán)利要求為準(zhǔn)。