專利名稱：用于穩(wěn)健視頻時(shí)間配準(zhǔn)的系統(tǒng)和方法
用于穩(wěn)#^見頻時(shí)間配準(zhǔn)的系統(tǒng)和方法 相關(guān)申請的交叉引用 本發(fā)明的實(shí)施例涉及視頻測試和測量設(shè)備，且更具體地涉及用于 視頻的圖像質(zhì)量測量。
背景技術(shù)：
如通過引用結(jié)合到本文的Jiuhuai Lu的題為"Fast Video Temporal Misalignment Estimation"的美國專利No. 6,751,360中所給出的那樣，現(xiàn)有 技術(shù)的示例表現(xiàn)不好，即使除了一個(gè)是另一個(gè)的幀重復(fù)版本之外視頻是相同的。使用幀差的相關(guān)性作為幀提取(distillation)的主要或唯一手段的方 法遭受"斬波器(chopper)"效應(yīng)(其中幀差對于重復(fù)則為0，但對于非 重復(fù)則不為0)，結(jié)果得到對應(yīng)于圖3的相關(guān)性。在圖3中，幀重復(fù)引起 每隔一個(gè)幀的零差(zero difference )(對應(yīng)于暗水平線)和針對甚至最佳 匹配的弱相關(guān)性。 圖5是圖2中所示的序列的測試和參考平均幀概要提取的 LPCCC圖像的示圖。
具體實(shí)施例方式
本發(fā)明的實(shí)施例基于由本發(fā)明人Kevin Ferguson開發(fā)的視頻測試 中的最新改進(jìn)，其在2007年11月21日提交的題為"Measurement Apparatus and Method of Measurement of Video Spatial Scale, Offset and Cropping" 的 美國專利申請序號11/944,050 ( '050申請)中有所描述，并且該美國專 利申請通過引用結(jié)合到本文中。'050申請要求也通過引用結(jié)合到本文中 的、于2006年11月22日提交的美國臨時(shí)專利申請序號60/867,087( '087 申請)的優(yōu)先權(quán)。-開根號(取平均值 ((幀像素[x， y，第n幀]-幀像素[x， y， 第(n-l)幀])) 幀概要測量是在整個(gè)幀上而不是僅僅在塊子圖像上進(jìn)行的相同測量。0018步驟2:線性校準(zhǔn)測量
在某些實(shí)施例中，執(zhí)行根據(jù)'050申請中所述的方法的線性校準(zhǔn)測量。 例如，如果對于每個(gè)前面的測量(經(jīng)由根據(jù)'050申請中所述的方法的局 部皮爾森互相關(guān)系數(shù)(LPCCC)圖像的最大霍夫變換的連續(xù)線性校準(zhǔn)測 量)而言總相關(guān)系數(shù)過低，則可以執(zhí)行此操作。
[0019首先，使用平均幀概要陣列對作為兩個(gè)(1高度x幀計(jì)數(shù)寬)圖
像輸入， 一個(gè)圖像用于整個(gè)測試視頻序列，而另一圖像用于整個(gè)參考視頻
序列，這兩個(gè)圖像被輸入到'050申請中給出的方法。
0020如果沿著所選最亮線的結(jié)果得到的LPCCC值的平均值根據(jù)下式
小于給定閾值
CxyWorthUsing = 0.8F*crossCorThreshold(croppedRefDiffLineParams.width)
其中
crossCorThreshoId(resolution) = squareRoot( 240.0/(240.0 + resolution))
則使用下一個(gè)提取幀概要陣列/圖像對、RMS幀差提取圖像(再次地，一 個(gè)用于整個(gè)測試序列且一個(gè)用于整個(gè)參考序列)作為到'050申請中提供 的校準(zhǔn)測量方法的輸入。再次地，相對于CxyWorthUsing閾值來檢查并計(jì) 算沿著LPCCC最大線的平均值。如果在閾值以下，則使用下一個(gè)提取圖 像對一一標(biāo)準(zhǔn)偏差幀概要提取。如果這些中沒有一個(gè)在閾值以上，則可以 進(jìn)行用戶控制選擇一一對于速度而言使用具有最高系數(shù)的測量或者對于 精確度而言進(jìn)行到下一步驟。對于甚至更高的精確度而言，在下一步驟中 可以執(zhí)行擴(kuò)展時(shí)間映射而不是最佳線性擬合。
[0021對于同一視頻的CIF60幀每秒(使用幀重復(fù))對(vs) SD30幀每秒(標(biāo)準(zhǔn)定義)的版本，在圖2至4中給出了三次幀概要提取的LPCCC 圖像的示例。通過比較這三幅附圖
來示出使用幀差的現(xiàn)有技術(shù)的穩(wěn)健性缺 陷。而且，請注意圖2的亮線。這是對應(yīng)于使用'050申請中所述方法的 視頻序列之間的最佳線性匹配的線。步驟3、 4和5重新使用此信息。 [0022
如在圖2中一樣，在圖3中顯示了垂直偏移的測試幀對(vs)水 平方向上的參考幀數(shù)之間的相關(guān)系數(shù)理想地具有對應(yīng)于視頻序列之間的 最佳線性映射的明確定義的亮線。然而，在圖3中，幀重復(fù)引起每隔一個(gè) 幀的零差(對應(yīng)于暗水平線)和針對甚至最佳匹配的弱相關(guān)性，諸如不是 那么亮的最亮線。 [0023步驟3:擴(kuò)展時(shí)間映射
如所示，對于LPCCC的每個(gè)水平位置，當(dāng)在最佳線性校準(zhǔn)線(最 亮線)上的像素值(其為皮爾森互相關(guān)系數(shù))在閾值以下時(shí)，對與幀 的較好局部匹配對應(yīng)的更高相關(guān)系數(shù)垂直地執(zhí)行搜索。此垂直搜索局 限于僅在可以假設(shè)幀計(jì)數(shù)的單調(diào)性的情況下向前查看(look forward) (一般約束)。
0024步驟4:檢查幀相關(guān)性以選通子圖像的空間校準(zhǔn)
當(dāng)基于精確度、速度控制、或兩者的組合允許進(jìn)一步的搜索時(shí) 對于步驟3的每個(gè)幀匹配搜索，當(dāng)用于給定幀的先前步驟的最佳 互相關(guān)系數(shù)在闊值以下時(shí)，空間地校準(zhǔn)提取圖像，并對每個(gè)幀使用相 應(yīng)的最高相關(guān)系數(shù)；或者使用'050申請中所述的方法來空間地校準(zhǔn)提 取圖像。
[0025步驟5:檢查幀相關(guān)性以選通概要行和概要列的空間校準(zhǔn)
當(dāng)基于精確度、速度控制、或兩者的組合允許進(jìn)一步的搜索時(shí) 對于步驟4的每個(gè)幀匹配搜索，當(dāng)用于給定幀的所有先前步驟的 最佳互相關(guān)系數(shù)在閾值以下時(shí)，空間地校準(zhǔn)概要行和概要列 一維圖像， 并對每個(gè)幀使用對應(yīng)于最高相關(guān)系數(shù)的映射；或者使用'050申請中所 述的方法來空間地校準(zhǔn)概要行和概要列 一 維圖像。所確定的是最高相 關(guān)系數(shù)，其被認(rèn)為是概要行結(jié)果和概要列結(jié)果的平方和的平方根。0026除解決與現(xiàn)有技術(shù)方法相關(guān)的問題之外，上述處理還可以提供 靈活地將速度和精確度控制到期望水平的能力，同時(shí)提供處理中每個(gè)連 續(xù)階段處的諸如相關(guān)系數(shù)之類的品質(zhì)因數(shù)。
[0027因此，本發(fā)明在沒有測試和參考視頻序列的先驗(yàn)知識的情況下
8通過將序列提取成使用LPCCC圖像線性地校準(zhǔn)以獲得最佳校準(zhǔn)線的幀
提取測量、然后通過在LPCCC圖像中垂直地搜索最佳相關(guān)系數(shù)來在時(shí) 間上映射由最佳校準(zhǔn)線的像素表示的每個(gè)幀來提供穩(wěn)健的視頻時(shí)間配 準(zhǔn)。
權(quán)利要求
1.一種校準(zhǔn)測試和參考視頻序列之間的幀的方法，包括步驟將所述測試和參考視頻序列的每個(gè)幀提取成幀提取測量；根據(jù)所述幀提取測量，使用用于測試和參考視頻序列之間的幀的空間校準(zhǔn)的局部皮爾森互相關(guān)系數(shù)(LPCCC)圖像的線性霍夫變換來執(zhí)行線性校準(zhǔn)測量，以找到穿過LPCCC圖像的最佳擬合線；以及對于沿著最佳擬合線的LPCCC圖像的每個(gè)像素，當(dāng)所述像素具有小于閾值的值時(shí)，垂直地搜索更高的相關(guān)系數(shù)以找到用于測試和參考視頻序列之間的幀的時(shí)間校準(zhǔn)的更好的幀匹配。
2. 如權(quán)利要求l所述的方法，其中，所述幀提取測量包括測試和參 考視頻序列的相應(yīng)幀之間的平均值、標(biāo)準(zhǔn)偏差和RMS差的概要。
3. 如權(quán)利要求1所述的方法，其中，所述幀提取測量包括測試和參 考視頻序列之間的每對相應(yīng)幀的子圖像之間的平均值、標(biāo)準(zhǔn)偏差和RMS 差的概要。
4. 如權(quán)利要求1所述的方法，其中，所述幀提取測量包括所述 LPCCC圖像的概要行和概要列一維圖像。
5. 如權(quán)利要求2所述的方法，其中，執(zhí)行步驟包括步驟使用平均幀概要陣列對作為用于測試和參考視頻序列的兩個(gè)一乘 幀計(jì)數(shù)寬的圖像輸入來根據(jù)幀概要平均差確定最佳線擬合平均值；以及 將所述最佳線擬合平均值與所述閾值相比較。
6. 如權(quán)利要求5所述的方法，其中，執(zhí)行步驟還包括步驟 如果所述最佳線擬合平均值小于閾值，則使用RMS幀概要陣列對作為用于測試和參考視頻序列的兩個(gè)一乘幀計(jì)數(shù)寬的圖像輸入來根據(jù) 幀概要RMS差確定最佳線擬合RMS值；以及 將所述最佳線擬合RMS值與所述閾值相比較。
7. 如權(quán)利要求6所述的方法，其中，執(zhí)行步驟還包括步驟 如果所述最佳線擬合RMS值小于閾值，則使用標(biāo)準(zhǔn)偏差概要陣列對作為用于測試和參考視頻序列的兩個(gè)一乘幀計(jì)數(shù)寬的圖像輸入來根 據(jù)幀概要標(biāo)準(zhǔn)偏差差來確定最佳線擬合標(biāo)準(zhǔn)偏差值；以及 將所述最佳線擬合標(biāo)準(zhǔn)偏差值與所述閾值相比較。
8. 如權(quán)利要求7所述的方法，其中，執(zhí)行步驟還包括步驟如果所述最佳線擬合標(biāo)準(zhǔn)偏差值小于所述閾值，則用戶從具有最高相關(guān)系數(shù)的最佳線擬合平均值、RMS和標(biāo)準(zhǔn)偏差值之中選擇最佳線擬合測量。
9. 如權(quán)利要求3所述的方法，其中，所述提取步驟包括步驟 將每個(gè)幀劃分成圖像塊；以及計(jì)算每個(gè)圖像塊的相應(yīng)的平均值、標(biāo)準(zhǔn)偏差和RMS差以提供子圖 像概要。
10. 如權(quán)利要求9所述的方法，還包括步驟如果所述最佳相關(guān)系 數(shù)小于所述閾值，則如在執(zhí)行步驟中那樣空間地校準(zhǔn)子圖像以找到每個(gè) 幀的最高相關(guān)系數(shù)作為新的幀匹配。
11. 如權(quán)利要求4所述的方法，還包括步驟如果所述最佳相關(guān)系 數(shù)小于所述閾值，則空間地校準(zhǔn)概要行和概要列 一維圖像以找到每個(gè)幀 的最高相關(guān)系數(shù)作為新的幀匹配。
全文摘要
一種在沒有各信號參數(shù)的先驗(yàn)知識的情況下用于測試和參考視頻序列之間的配準(zhǔn)的穩(wěn)健視頻時(shí)間方法最初根據(jù)視頻和參考視頻序列產(chǎn)生幀和子圖像提取測量。使用局部皮爾森互相關(guān)系數(shù)(LPCCC)圖像來線性地校準(zhǔn)所述幀提取測量以獲得最佳校準(zhǔn)線，該最佳校準(zhǔn)線的每個(gè)像素表示測試和參考視頻序列的幀之間的LPCCC互相關(guān)系數(shù)。對于在閾值以下的最佳校準(zhǔn)線的每個(gè)像素，在LPCCC圖像中執(zhí)行對更高互相關(guān)系數(shù)的垂直搜索作為最佳互相關(guān)系數(shù)以實(shí)現(xiàn)測試和參考視頻序列的幀之間的時(shí)間映射。
文檔編號H04N17/00GK101682797SQ200880020175
公開日2010年3月24日 申請日期2008年4月16日 優(yōu)先權(quán)日2007年4月16日
發(fā)明者K·費(fèi)爾古森 申請人:特克特朗尼克公司