一種全景視頻顯示方法及系統(tǒng)的制作方法
【專(zhuān)利摘要】本發(fā)明適用于圖像拼接領(lǐng)域，提供了一種全景視頻顯示方法及系統(tǒng)，所述方法包括：終端采集攝像機(jī)陣列中各個(gè)攝像機(jī)的視頻幀；終端對(duì)采集的視頻幀進(jìn)行預(yù)處理，所述預(yù)處理包括計(jì)算視頻幀之間的位移，基于所計(jì)算的位移確定全景圖像的周長(zhǎng)；全景生成服務(wù)器基于所述全景圖像的周長(zhǎng)拼接并顯示終端預(yù)處理后的視頻幀。本發(fā)明實(shí)施例能夠有效提高了全景生成服務(wù)器的拼接效率。
【專(zhuān)利說(shuō)明】一種全景視頻顯示方法及系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于圖像拼接領(lǐng)域，尤其涉及一種全景視頻顯示方法及系統(tǒng)。
【背景技術(shù)】
[0002]在監(jiān)控行業(yè)中，CIF格式的圖像以存儲(chǔ)量較低，價(jià)格相對(duì)低廉，圖像質(zhì)量較好的特點(diǎn)成為主流分辨率，但其分辨率為352*288，圖像質(zhì)量并不能滿(mǎn)足高清晰的要求。在一些高端視頻監(jiān)控領(lǐng)域，如國(guó)家安全機(jī)關(guān)、信息分析中心等，需要的高清晰圖像畫(huà)面，這些高清晰圖像畫(huà)面目前一般采用Full Dl或Dl (702*576)進(jìn)行視頻采集，其中，F(xiàn)ull Dl的分辨率為720*576，Dl 的分辨率為 702*576。
[0003]目前，在全景視頻顯示方法中，若以分辨率較低的CIF進(jìn)行視頻采集，則系統(tǒng)仍需對(duì)視頻圖像進(jìn)行大量處理，給全景生成服務(wù)器造成很大的運(yùn)算負(fù)荷，并且隨著攝像機(jī)陣列中攝像機(jī)數(shù)目的增多而不斷增大，進(jìn)而滿(mǎn)足不了全景視場(chǎng)實(shí)時(shí)更新的要求。若采用Full Dl或Dl進(jìn)行視頻采集，則數(shù)據(jù)量將更大，給全景生成服務(wù)器造成的運(yùn)算負(fù)荷也更大，根本不可能滿(mǎn)足全景視場(chǎng)實(shí)時(shí)性的要求。

【發(fā)明內(nèi)容】

[0004]本發(fā)明實(shí)施例提供了一種全景視頻顯示方法，旨在解決現(xiàn)有方法使得全景生成服務(wù)器的負(fù)荷過(guò)大，拼接效率過(guò)低的問(wèn)題。
[0005]本發(fā)明實(shí)施例是這樣實(shí)現(xiàn)的，一種全景視頻顯示方法，所述方法包括下述步驟:
[0006]終端采集攝像機(jī)陣列中各個(gè)攝像機(jī)的視頻幀；
[0007]終端對(duì)采集的視頻幀進(jìn)行預(yù)處理，所述預(yù)處理包括計(jì)算視頻幀之間的位移，基于所計(jì)算的位移確定全景圖像的周長(zhǎng)；
[0008]全景生成服務(wù)器基于所述全景圖像的周長(zhǎng)拼接并顯示終端預(yù)處理后的視頻幀。
[0009]本發(fā)明實(shí)施例的另一目的在于提供一種全景視頻顯示系統(tǒng)，所述系統(tǒng)包括終端和全景生成服務(wù)器；
[0010]所述終端包括視頻幀采集單元，用于采集攝像機(jī)陣列中各個(gè)攝像機(jī)的視頻幀；
[0011]所述終端包括處理單元，用于對(duì)采集的視頻幀進(jìn)行預(yù)處理，所述預(yù)處理包括計(jì)算視頻幀之間的位移，基于所計(jì)算的位移確定全景圖像的周長(zhǎng)；
[0012]所述全景生成服務(wù)器用于基于所述全景圖像的周長(zhǎng)拼接并顯示終端預(yù)處理后的視頻幀。
[0013]在本發(fā)明實(shí)施例中，由于無(wú)需全景生成服務(wù)器處理海量的視頻數(shù)據(jù)，因此減少了該全景生成服務(wù)器的負(fù)荷，從而有效提高了全景生成服務(wù)器的拼接效率，加快全景圖像的顯不O
【專(zhuān)利附圖】

【附圖說(shuō)明】
[0014]圖1是本發(fā)明第一實(shí)施例提供的一種全景視頻顯示方法的流程圖；[0015]圖2a是本發(fā)明第二實(shí)施例提供的PC機(jī)I的全景生成軟件的窗口畫(huà)面的示意圖；
[0016]圖2b是本發(fā)明第二實(shí)施例提供的PC機(jī)2的全景生成軟件的窗口畫(huà)面的示意圖；
[0017]圖2c是本發(fā)明第二實(shí)施例提供的PC機(jī)3的全景生成軟件的窗口畫(huà)面的示意圖；
[0018]圖3是本發(fā)明第二實(shí)施例提供的全景生成服務(wù)器接收3臺(tái)PC機(jī)傳輸?shù)囊粠瑘D像后得到的畫(huà)面不意圖；
[0019]圖4是本發(fā)明第二實(shí)施例提供的全景生成服務(wù)器拼接3臺(tái)PC機(jī)傳輸?shù)念A(yù)處理后的視頻圖像得到的畫(huà)面示意圖；
[0020]圖5是本發(fā)明第三實(shí)施例提供的一種全景視頻顯示系統(tǒng)的結(jié)構(gòu)圖。
【具體實(shí)施方式】
[0021]為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖及實(shí)施例，對(duì)本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說(shuō)明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。
[0022]本發(fā)明實(shí)施例中，終端采集攝像機(jī)陣列的視頻幀進(jìn)行預(yù)處理，包括確定相鄰兩路攝像機(jī)的視頻幀之間的位移、全景圖像的周長(zhǎng)等預(yù)處理，再將預(yù)處理得到的結(jié)果發(fā)送給全景生成服務(wù)器，以使該全景生成服務(wù)器根據(jù)預(yù)處理得到的位移、周長(zhǎng)等拼接視頻幀，并呈現(xiàn)拼接后的視頻幀。 [0023]為了說(shuō)明本發(fā)明所述的技術(shù)方案，下面通過(guò)具體實(shí)施例來(lái)進(jìn)行說(shuō)明。
[0024]實(shí)施例一:
[0025]圖1示出了本發(fā)明第一實(shí)施例提供的一種全景視頻顯示方法的流程圖，詳述如下:
[0026]步驟Sll，終端采集攝像機(jī)陣列中各個(gè)攝像機(jī)的視頻幀。
[0027]該步驟中，攝像機(jī)陣列存在多個(gè)攝像機(jī)，任意位置相鄰的兩個(gè)攝像機(jī)拍攝的視頻幀中存在有重疊的視頻數(shù)據(jù)。
[0028]步驟S12，終端對(duì)采集的視頻幀進(jìn)行預(yù)處理，所述預(yù)處理包括計(jì)算視頻幀之間的位移，基于所計(jì)算的位移確定全景圖像的周長(zhǎng)。
[0029]該步驟中，終端計(jì)算視頻幀之間的位移是指，計(jì)算具有重疊視頻數(shù)據(jù)的兩個(gè)攝像機(jī)拍攝的視頻幀中重疊視頻數(shù)據(jù)的位移，這兩個(gè)視頻幀的采集時(shí)間是相同的。例如，假設(shè)攝像機(jī)I和攝像機(jī)2位置相鄰，攝像機(jī)I在t時(shí)間拍攝的視頻幀中包含物體Q的視頻數(shù)據(jù)，攝像機(jī)2在t時(shí)間拍攝的視頻幀中也包含有Q的視頻數(shù)據(jù)，則該步驟中，計(jì)算攝像機(jī)I拍攝的視頻幀與攝像機(jī)2拍攝的視頻幀之間的位移是指，計(jì)算物體Q在攝像機(jī)I和攝像機(jī)2在t時(shí)間拍攝的視頻幀之間的位移。
[0030]其中，計(jì)算視頻幀之間的位移的步驟具體包括:
[0031]終端在一路攝像機(jī)中選取連續(xù)三個(gè)視頻幀I1、12、13，在另一路攝像機(jī)中選取連續(xù)三個(gè)視頻幀il、i2、i3，所述I1、12、13的采集時(shí)間分別和所述il、i2、?3的采集時(shí)間相同，且兩路攝像機(jī)在攝像機(jī)陣列中的位置相鄰，對(duì)選取的視頻幀執(zhí)行以下操作:
[0032]步驟Al、計(jì)算Il和il的梯度信息，所述梯度信息包括水平梯度向量和垂直梯度df(x,y)
向量。該步驟中，計(jì)算一個(gè)視頻幀的梯度信息可通過(guò)下式確定
【權(quán)利要求】
1.一種全景視頻顯示方法，其特征在于，所述方法包括下述步驟: 終端采集攝像機(jī)陣列中各個(gè)攝像機(jī)的視頻幀； 終端對(duì)采集的視頻幀進(jìn)行預(yù)處理，所述預(yù)處理包括計(jì)算視頻幀之間的位移，基于所計(jì)算的位移確定全景圖像的周長(zhǎng)； 全景生成服務(wù)器基于所述全景圖像的周長(zhǎng)拼接并顯示終端預(yù)處理后的視頻幀。
2.如權(quán)利要求1所述的方法，其特征在于，所述計(jì)算視頻幀之間的位移的步驟具體包括: 在一路攝像機(jī)中選取連續(xù)三個(gè)視頻幀Il、12、13，在另一路攝像機(jī)中選取連續(xù)三個(gè)視頻幀il、i2、i3，所述I1、12、13的采集時(shí)間分別和所述il、i2、i3的采集時(shí)間相同，且兩路攝像機(jī)在攝像機(jī)陣列中的位置相鄰，對(duì)選取的視頻幀執(zhí)行以下操作: 計(jì)算Il和il的梯度信息，所述梯度信息包括垂直梯度向量； 根據(jù)計(jì)算的Il和il的垂直梯度向量確定所述Il與所述il之間的位移，假設(shè)為dl ； 計(jì)算12和i2的梯度信息，所述梯度信息包括垂直梯度向量； 根據(jù)計(jì)算的12和i2的垂直梯度向量確定所述12與所述i2之間的位移，假設(shè)為d2 ； 計(jì)算13和i3的梯度信息，所述梯度信息包括垂直梯度向量； 根據(jù)計(jì)算的13和i3的垂直梯度向量確定所述13與所述和i3之間的位移，假設(shè)為d3 ；判斷dl是否等于d2，d2是否等于d3，并在dl等于d2，且d2等于d3時(shí)，判定所述相鄰兩路攝像機(jī)拍攝的視頻幀之間的位移為dl。
3.如權(quán)利要求2所述的方法，其特征在于，通過(guò)以下公式確定分處于相鄰兩路攝像機(jī)中的兩個(gè)視頻幀之間的位移，所述兩個(gè)視頻幀的采集時(shí)間相同:
4.如權(quán)利要求3所述的方法，其特征在于，所述基于所計(jì)算的位移確定全景圖像的周長(zhǎng)具體為: 終端對(duì)攝像機(jī)陣列的所有相鄰兩路攝像機(jī)執(zhí)行以下操作: A、根據(jù)確定的分處相鄰兩路攝像機(jī)中的兩個(gè)視頻幀之間的位移確定所述兩個(gè)視頻幀的最佳匹配位置；在確定的最佳匹配位置上拼接所述兩個(gè)視頻幀，得到拼接的全景圖像； B、終端計(jì)算拼接的全景圖像的垂直梯度向量直方圖； C、終端確定所述全景圖像的垂直梯度向量直方圖中的最大垂直梯度向量； D、終端以所述最大垂直梯度向量所在的位置為中心，選取一個(gè)待匹配向量； E、終端確定選取的待匹配向量與所述全景圖像的垂直梯度向量直方圖中的非匹配向量的相關(guān)性；F、終端在確定的相關(guān)性的值中選取3個(gè)大于預(yù)設(shè)閾值的相關(guān)性的值，并確定選取的3個(gè)相關(guān)性的值對(duì)應(yīng)的匹配位置； G、終端判斷選取的3個(gè)相關(guān)性的值對(duì)應(yīng)的匹配位置中，相鄰兩個(gè)的匹配位置的間隔是否相等，并在相鄰兩個(gè)的匹配位置的間隔相等時(shí)，確定全景圖像的周長(zhǎng)為任一個(gè)相鄰兩個(gè)的匹配位置的間隔。
5.如權(quán)利要求4所述的方法，其特征在于，在相鄰兩個(gè)的匹配位置的間隔不相等時(shí)，終端重新調(diào)整所述最大垂直梯度向量所在的位置后，再以所述最大垂直梯度向量所在的位置為中心，選取一個(gè)待匹配向量，重新執(zhí)行權(quán)利要求4中的步驟E至步驟G。
6.一種全景視頻顯示系統(tǒng)，其特征在于，所述系統(tǒng)包括終端和全景生成服務(wù)器； 所述終端包括視頻幀采集單元，用于采集攝像機(jī)陣列中各個(gè)攝像機(jī)的視頻幀； 所述終端包括處理單元，用于對(duì)采集的視頻幀進(jìn)行預(yù)處理，所述預(yù)處理包括計(jì)算視頻幀之間的位移，基于所計(jì)算的位移確定全景圖像的周長(zhǎng)； 所述全景生成服務(wù)器用于基于所述全景圖像的周長(zhǎng)拼接并顯示終端預(yù)處理后的視頻 幀。
7.如權(quán)利要求6所述的系統(tǒng)，其特征在于，所述處理單元包括: 視頻幀選取模塊，用于在一路攝像機(jī)中選取連續(xù)三個(gè)視頻幀I1、12、13，在另一路攝像機(jī)中選取連續(xù)三個(gè)視頻幀il、i2、i3，所述I1、12、13的采集時(shí)間分別和所述il、i2、?3的采集時(shí)間相同，且兩路攝像機(jī)在攝像機(jī)陣列中的位置相鄰； 梯度信息計(jì)算模塊，用于計(jì)算Il和il的梯度信息；用于計(jì)算12和i2的梯度信息；以及用于計(jì)算13和i3的梯度信息，所述梯度信息包括垂直梯度向量； 位移計(jì)算模塊，用于根據(jù)計(jì)算的Il和il的垂直梯度向量確定所述Il與所述il之間的位移，假設(shè)為dl ;用于根據(jù)計(jì)算的12和i2的垂直梯度向量確定所述12與所述i2之間的位移，假設(shè)為d2 ;以及用于根據(jù)計(jì)算的13和i3的垂直梯度向量確定所述13與所述和i3之間的位移，假設(shè)為d3; 位移判斷模塊，用于判斷dl是否等于d2，d2是否等于d3，并在dl等于d2，且d2等于d3時(shí)，判定所述相鄰兩路攝像機(jī)拍攝的視頻幀之間的位移為dl。
8.如權(quán)利要求7所述的系統(tǒng)，其特征在于，所述位移計(jì)算模塊通過(guò)以下公式確定分處于相鄰兩路攝像機(jī)中的兩個(gè)視頻幀之間的位移，所述兩個(gè)視頻幀的采集時(shí)間相同:
9.如權(quán)利要求8所述的系統(tǒng)，其特征在于，所述處理單元包括: 全景圖像拼接模塊，用于對(duì)攝像機(jī)陣列的所有相鄰兩路攝像機(jī)執(zhí)行以下操作:根據(jù)確定的分處相鄰兩路攝像機(jī)中的兩個(gè)視頻幀之間的位移確定所述兩個(gè)視頻幀的最佳匹配位置；在確定的最佳匹配位置上拼接所述兩個(gè)視頻幀，得到拼接的全景圖像； 垂直梯度向量直方圖計(jì)算模塊，用于計(jì)算拼接的全景圖像的垂直梯度向量直方圖；最大垂直梯度向量確定模塊，用于確定所述全景圖像的垂直梯度向量直方圖中的最大垂直梯度向量； 待匹配向量選取模塊，用于以所述最大垂直梯度向量所在的位置為中心，選取一個(gè)待匹配向量； 待匹配向量相關(guān)性確定模塊，用于確定選取的待匹配向量與所述全景圖像的垂直梯度向量直方圖中的非匹配向量的相關(guān)性； 匹配位置確定模塊，用于在確定的相關(guān)性的值中選取3個(gè)大于預(yù)設(shè)閾值的相關(guān)性的值，并確定選取的3個(gè)相關(guān)性的值對(duì)應(yīng)的匹配位置； 匹配位置間隔確定模塊，用于判斷選取的3個(gè)相關(guān)性的值對(duì)應(yīng)的匹配位置中，相鄰兩個(gè)的匹配位置的間隔是否相等，并在相鄰兩個(gè)的匹配位置的間隔相等時(shí)，確定全景圖像的周長(zhǎng)為任一個(gè)相鄰兩個(gè)的匹配位置的間隔。
10.如權(quán)利要求9所述的系統(tǒng)，其特征在于，所述處理單元包括: 最大垂直梯度向量所在的位置微調(diào)模塊，用于在相鄰兩個(gè)的匹配位置的間隔不相等時(shí)，重新調(diào)整所述最大垂直梯度向量所在的位置后，再以所述最大垂直梯度向量所在的位置為中心，選取一個(gè)待匹配向量，重新執(zhí)行待匹配向量相關(guān)性確定模塊、匹配位置確定模塊、匹配位置間隔確 定模塊。
【文檔編號(hào)】H04N5/14GK104038668SQ201410305477
【公開(kāi)日】2014年9月10日 申請(qǐng)日期:2014年6月30日 優(yōu)先權(quán)日:2014年6月30日
【發(fā)明者】張艷 申請(qǐng)人:Tcl集團(tuán)股份有限公司