基于目標(biāo)塊檢測(cè)的縫合線實(shí)時(shí)調(diào)整方法
【專利摘要】本發(fā)明屬于圖像信息處理領(lǐng)域，解決視頻拼接中由于相鄰幀之間縫合線變化導(dǎo)致視覺(jué)效果下降的問(wèn)題，提供一種基于目標(biāo)塊檢測(cè)的縫合線實(shí)時(shí)調(diào)整方法。包括：將已有縫合線分割成等長(zhǎng)的縫合線段，利用幀差法在每段縫合線所對(duì)應(yīng)的臨界區(qū)域進(jìn)行變化檢測(cè)；將臨界區(qū)域均分成若干個(gè)方格塊，計(jì)算每一個(gè)方格塊灰度變化，標(biāo)記目標(biāo)塊；對(duì)該段縫合線進(jìn)行局部調(diào)整。本發(fā)明能夠?qū)崟r(shí)對(duì)縫合線進(jìn)行局部調(diào)整，能夠使縫合線繞開(kāi)運(yùn)動(dòng)目標(biāo)，避免縫合線的全局跳變，達(dá)到更理想的視覺(jué)效果。
【專利說(shuō)明】基于目標(biāo)塊檢測(cè)的縫合線實(shí)時(shí)調(diào)整方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于圖像信息處理領(lǐng)域，涉及多路高清視頻拼接過(guò)程中的縫合線調(diào)整方法。
【背景技術(shù)】
[0002]視頻拼接技術(shù)突破攝像機(jī)采集傳感器的物理限制，通過(guò)拼接多攝像機(jī)同一時(shí)刻下拍攝的視頻序列，得到高分辨的全景視頻，能夠大大提高人們對(duì)事物和場(chǎng)景的動(dòng)態(tài)感知、辨別與監(jiān)控能力，技術(shù)要點(diǎn)涉及數(shù)據(jù)采集、圖像配準(zhǔn)、圖像拼接與融合等方面。
[0003]在圖像拼接與融合過(guò)程中，需要在相鄰圖像重疊區(qū)域內(nèi)尋找一條最優(yōu)縫合線，在縫合線的左側(cè)寫(xiě)入源圖像一的相應(yīng)像素值，在縫合線另一側(cè)寫(xiě)入源圖像二的相應(yīng)像素值。如果縫合線選取恰當(dāng)，不但能夠得到無(wú)錯(cuò)位的融合圖像，而且可以從根本上消除“鬼影”現(xiàn)象。
[0004]求解縫合線的過(guò)程可以歸結(jié)為一個(gè)多階段決策問(wèn)題，而動(dòng)態(tài)規(guī)劃算法是一種解決多階段決策問(wèn)題的高效優(yōu)化方法。從縫合線初始點(diǎn)到終點(diǎn)的搜索過(guò)程中，由當(dāng)前點(diǎn)尋找下一點(diǎn)的決策可以構(gòu)成一個(gè)決策序列，即一個(gè)策略。在所有可能策略中，按照上述準(zhǔn)則選取最優(yōu)解。具體來(lái)說(shuō)，首先按照上述準(zhǔn)則構(gòu)建重疊區(qū)域的差值圖像，然后在差值圖像上用動(dòng)態(tài)規(guī)劃算法求解縫合線，并選擇經(jīng)過(guò)像素值最小的縫合線作為最優(yōu)縫合線。
[0005]由于求得的縫合線可能穿過(guò)重疊區(qū)域中的運(yùn)動(dòng)目標(biāo)，容易造成運(yùn)動(dòng)目標(biāo)產(chǎn)生較明顯的形變和錯(cuò)位。如果在每一幀中都重新求解縫合線，則會(huì)造成整條縫合線的全局調(diào)整，容易出現(xiàn)比較明顯的閃動(dòng)的視覺(jué)效果。針對(duì)這些問(wèn)題，對(duì)穿過(guò)運(yùn)動(dòng)目標(biāo)的縫合線部分進(jìn)行局部調(diào)整，既可以繞開(kāi)運(yùn)動(dòng)目標(biāo)，又可以避免相鄰兩幀之間縫合線的全局調(diào)整，能夠取得更好的視覺(jué)效果。

【發(fā)明內(nèi)容】

[0006]本發(fā)明為解決由于相鄰幀之間縫合線發(fā)生全局變化和縫合線穿過(guò)運(yùn)動(dòng)目標(biāo)而導(dǎo)致的視頻拼接視覺(jué)效果下降的技術(shù)問(wèn)題，提供一種基于目標(biāo)塊檢測(cè)的縫合線實(shí)時(shí)調(diào)整方法。
[0007]本發(fā)明是采用以下技術(shù)方案實(shí)現(xiàn)的:
[0008]一種基于目標(biāo)塊檢測(cè)的縫合線實(shí)時(shí)調(diào)整方法，包括如下步驟:
[0009]S1、將已有縫合線分割成等長(zhǎng)的縫合線段，利用幀差法在每段縫合線所對(duì)應(yīng)的臨界區(qū)域進(jìn)行變化檢測(cè)，得到相鄰兩幀在所述臨界區(qū)域內(nèi)的灰度變化，所述已有縫合線為上
一中貞縫合線；
[0010]S2、根據(jù)預(yù)先設(shè)定的方格塊區(qū)域總數(shù)將每段縫合線所對(duì)應(yīng)的臨界區(qū)域均分成若干個(gè)方格塊，計(jì)算每一個(gè)所述方格塊的灰度變化；當(dāng)方格塊的灰度變化大于預(yù)先設(shè)定的變化閾值時(shí)，將所述方格塊標(biāo)記為目標(biāo)塊；
[0011]S3、設(shè)定目標(biāo)塊數(shù)量閾值，當(dāng)某段縫合線所對(duì)應(yīng)的臨界區(qū)域內(nèi)的目標(biāo)塊數(shù)量大于所述目標(biāo)塊數(shù)量閾值時(shí)，對(duì)該段縫合線進(jìn)行局部調(diào)整。
[0012]進(jìn)一步地，在步驟S3中需要進(jìn)行局部調(diào)整的若干段縫合線中如果存在相鄰的縫合線段，則以相鄰的縫合線段構(gòu)成的整體縫合線段進(jìn)行局部調(diào)整。
[0013]進(jìn)一步地，所述步驟S3中對(duì)縫合線進(jìn)行局部調(diào)整所采用的方法包括但不限于動(dòng)態(tài)規(guī)劃算法、圖割算法或貪婪搜索算法。
[0014]進(jìn)一步地，所述步驟S3中對(duì)縫合線進(jìn)行局部調(diào)整所采用的方法包括以下步驟:
[0015]S31、計(jì)算圖像重疊區(qū)域的差異圖像；
[0016]S32、采用動(dòng)態(tài)規(guī)劃算法，在該段縫合線所在重疊區(qū)域內(nèi)從縫合線段的上端到下端進(jìn)行逐行搜索，尋找一條最優(yōu)路徑使得縫合線經(jīng)過(guò)位置的差異圖像像素值之和最小，所述最優(yōu)路徑即為局部調(diào)整后的縫合線。
[0017]進(jìn)一步地，所述步驟S31中計(jì)算圖像重疊區(qū)域的差異圖像的具體方法為:對(duì)兩幅源圖像在每一個(gè)像素點(diǎn)處的顏色差和梯度差，根據(jù)預(yù)先設(shè)定的對(duì)應(yīng)的加權(quán)系數(shù)進(jìn)行加權(quán)平均得到每個(gè)像素點(diǎn)對(duì)應(yīng)的差異值，進(jìn)而得到重疊區(qū)域的差異圖像。
[0018]進(jìn)一步地，所述步驟S32中的動(dòng)態(tài)規(guī)劃算法為:首先從待局部調(diào)整的縫合線終點(diǎn)向起點(diǎn)方向分別按照從左向右和從右向左順序，在差異圖像內(nèi)進(jìn)行逐行計(jì)算，得到每行內(nèi)各個(gè)像素點(diǎn)到該縫合線終點(diǎn)的最小的差異圖像像素值之和；再按照相反方向從該縫合線起點(diǎn)到終點(diǎn)進(jìn)行搜索，根據(jù)當(dāng)前點(diǎn)和其相鄰點(diǎn)到該縫合線終點(diǎn)的最小的差異圖像像素值之和，依次從其相鄰點(diǎn)中確定下一個(gè)縫合線點(diǎn)，最終確定調(diào)整后的縫合線。
[0019]綜上所述，本發(fā)明所述方法首先將上一幀縫合線作為已有縫合線，并將縫合線分割成等長(zhǎng)縫合線段，然后對(duì)于每段縫合線，在縫合線兩側(cè)的臨界區(qū)域利用幀差法進(jìn)行變化檢測(cè)。當(dāng)灰度變化大于變化閾值時(shí)，標(biāo)記目標(biāo)塊。最后利用改進(jìn)動(dòng)態(tài)規(guī)劃算法更新該段縫合線。本發(fā)明能夠?qū)崟r(shí)對(duì)縫合線進(jìn)行局部調(diào)整，能夠使縫合線繞開(kāi)運(yùn)動(dòng)目標(biāo)，避免縫合線的全局跳變，達(dá)到更理想的視覺(jué)效果。
【專利附圖】

【附圖說(shuō)明】
[0020]圖1是本發(fā)明所述方法的流程圖；
[0021]圖2是本發(fā)明實(shí)施例中兩幅有重疊區(qū)域的源圖像；
[0022]圖3是重疊區(qū)域圖像；
[0023]圖4是已有縫合線示意圖；
[0024]圖5是縫合線分割成等長(zhǎng)縫合線段示意圖；
[0025]圖6是幀差法求得灰度變化結(jié)果示意圖；
[0026]圖7是目標(biāo)塊標(biāo)記示意圖；
[0027]圖8是差異值圖像不意圖；
[0028]圖9是改進(jìn)動(dòng)態(tài)規(guī)劃算法求解過(guò)程示意圖；
[0029]圖10是局部調(diào)整后縫合線示意圖。
【具體實(shí)施方式】
[0030]下面結(jié)合附圖和【具體實(shí)施方式】對(duì)本發(fā)明作進(jìn)一步說(shuō)明。
[0031]本發(fā)明提供了一種基于目標(biāo)塊檢測(cè)的縫合線實(shí)時(shí)調(diào)整方法，如圖1所示，包括如下步驟:
[0032]S1、將已有縫合線分割成等長(zhǎng)的縫合線段，利用幀差法在每段縫合線所對(duì)應(yīng)的臨界區(qū)域進(jìn)行變化檢測(cè)，得到相鄰兩幀在所述臨界區(qū)域內(nèi)的灰度變化，所述已有縫合線為上
一中貞縫合線。
[0033]縫合線段長(zhǎng)度根據(jù)圖像尺寸具體確定，可以按照垂直距離將重疊區(qū)域等分為若干部分，每一部分中包含了一段垂直方向等長(zhǎng)的縫合線。對(duì)于第一幀視頻圖像的重疊區(qū)域，該已有縫合線的初值為所述重疊區(qū)域垂直方向的中心線。一般來(lái)說(shuō)，可以按照垂直距離將重疊區(qū)域等分為5至20個(gè)部分。
[0034]幀差法在運(yùn)動(dòng)目標(biāo)檢測(cè)中使用較多，其基本原理是將連續(xù)的兩幀圖像對(duì)應(yīng)的像素值相減。在環(huán)境亮度變化不大的情況下，如果對(duì)應(yīng)像素值相差很小，可以認(rèn)為此處景物是靜止的，如果圖像區(qū)域某處的像素值變化很大，可認(rèn)為這是由于圖像中運(yùn)動(dòng)物體引起的，將這些區(qū)域標(biāo)記下來(lái)，利用這些標(biāo)記的像素區(qū)域，可以求出運(yùn)動(dòng)目標(biāo)在圖像中的位置。設(shè)&(/,./)，g,#，_/)分別為像素點(diǎn)(i, j)在相鄰兩幀的灰度值，則像素點(diǎn)(i, j)的灰度變化Δ g0(i, j)為:
[0035]
【權(quán)利要求】
1.一種基于目標(biāo)塊檢測(cè)的縫合線實(shí)時(shí)調(diào)整方法，其特征在于包括如下步驟: 51、將已有縫合線分割成等長(zhǎng)的縫合線段，利用幀差法在每段縫合線所對(duì)應(yīng)的臨界區(qū)域進(jìn)行變化檢測(cè)，得到相鄰兩幀在所述臨界區(qū)域內(nèi)的灰度變化，所述已有縫合線為上一幀縫合線； 52、根據(jù)預(yù)先設(shè)定的方格塊區(qū)域總數(shù)將每段縫合線所對(duì)應(yīng)的臨界區(qū)域均分成若干個(gè)方格塊，計(jì)算每一個(gè)所述方格塊的灰度變化；當(dāng)方格塊的灰度變化大于預(yù)先設(shè)定的變化閾值時(shí)，將所述方格塊標(biāo)記為目標(biāo)塊； 53、設(shè)定目標(biāo)塊數(shù)量閾值，當(dāng)某段縫合線所對(duì)應(yīng)的臨界區(qū)域內(nèi)的目標(biāo)塊數(shù)量大于所述目標(biāo)塊數(shù)量閾值時(shí)，對(duì)該段縫合線進(jìn)行局部調(diào)整。
2.根據(jù)權(quán)利要求1所述的基于目標(biāo)塊檢測(cè)的縫合線實(shí)時(shí)調(diào)整方法，其特征在于:在步驟S3中需要進(jìn)行局部調(diào)整的若干段縫合線中如果存在相鄰的縫合線段，則以相鄰的縫合線段構(gòu)成的整體縫合線段進(jìn)行局部調(diào)整。
3.根據(jù)權(quán)利要求1或2所述的基于目標(biāo)塊檢測(cè)的縫合線實(shí)時(shí)調(diào)整方法，其特征在于:所述步驟S3中對(duì)縫合線進(jìn)行局部調(diào)整所采用的方法包括但不限于動(dòng)態(tài)規(guī)劃算法、圖割算法或貪婪搜索算法。
4.根據(jù)權(quán)利要求1或2所述的基于目標(biāo)塊檢測(cè)的縫合線實(shí)時(shí)調(diào)整方法，其特征在于:所述步驟S3中對(duì)縫合線進(jìn)行局部調(diào)整所采用的方法包括以下步驟: 531、計(jì)算圖像重疊區(qū)域的差異圖像； 532、采用動(dòng)態(tài)規(guī)劃算法，在該段縫合線所在重疊區(qū)域內(nèi)從縫合線段的上端到下端進(jìn)行逐行搜索，尋找一條最優(yōu)路徑使得縫合線經(jīng)過(guò)位置的差異圖像像素值之和最小，所述最優(yōu)路徑即為局部調(diào)整后的縫合線。
5.根據(jù)權(quán)利要求4所述的基于目標(biāo)塊檢測(cè)的縫合線實(shí)時(shí)調(diào)整方法，其特征在于:所述步驟S31中計(jì)算圖像重疊區(qū)域的差異圖像的具體方法為:對(duì)兩幅源圖像在每一個(gè)像素點(diǎn)處的顏色差和梯度差，根據(jù)預(yù)先設(shè)定的對(duì)應(yīng)的加權(quán)系數(shù)進(jìn)行加權(quán)平均得到每個(gè)像素點(diǎn)對(duì)應(yīng)的差異值，進(jìn)而得到重疊區(qū)域的差異圖像。
6.根據(jù)權(quán)利要求4所述的基于目標(biāo)塊檢測(cè)的縫合線實(shí)時(shí)調(diào)整方法，其特征在于:所述步驟S32中的具體方法為:首先從待局部調(diào)整的縫合線終點(diǎn)向起點(diǎn)方向分別按照從左向右和從右向左順序，在差異圖像內(nèi)進(jìn)行逐行計(jì)算，得到每行內(nèi)各個(gè)像素點(diǎn)到該縫合線終點(diǎn)的最小的差異圖像像素值之和；再按照相反方向從該縫合線起點(diǎn)到終點(diǎn)進(jìn)行搜索，根據(jù)當(dāng)前點(diǎn)和其相鄰點(diǎn)到該縫合線終點(diǎn)的最小的差異圖像像素值之和，依次從其相鄰點(diǎn)中確定下一個(gè)縫合線點(diǎn)，最終確定調(diào)整后的縫合線。
【文檔編號(hào)】G06T3/40GK103489154SQ201310462090
【公開(kāi)日】2014年1月1日 申請(qǐng)日期:2013年10月1日 優(yōu)先權(quán)日:2013年10月1日
【發(fā)明者】張茂軍, 熊志輝, 尹曉晴, 譚樹(shù)人, 徐瑋, 王煒, 劉煜, 張政, 李靖, 彭?xiàng)? 申請(qǐng)人:中國(guó)人民解放軍國(guó)防科學(xué)技術(shù)大學(xué), 湖南源信光電科技有限公司