專利名稱：控制視頻數(shù)據(jù)中的偽影的制作方法
技術(shù)領(lǐng)域：
本發(fā)明的各個(gè)實(shí)施方式涉及視頻處理領(lǐng)域。
背景技術(shù)：
典型的視頻捕獲管線應(yīng)用壓縮和處理來(lái)進(jìn)行分析和增強(qiáng)。通常，典型的壓縮和處理不會(huì)模仿由照相機(jī)的自動(dòng)曝光控制引起的圖片亮度的改變，這通常隨機(jī)地產(chǎn)生偽影。此外，這些亮度的改變能夠?qū)е抡麄€(gè)視頻幀的全面改變，包括固定的背景。在編碼器處對(duì)速率控制和帶寬的限制隨后使得這些全面的亮度改變看起來(lái)像分散塊。


合并到說(shuō)明書并形成說(shuō)明書的一部分的附圖示出了本發(fā)明的實(shí)施方式圖1是根據(jù)本發(fā)明的一個(gè)實(shí)施方式的用于控制視頻數(shù)據(jù)中的偽影的系統(tǒng)的框圖。圖2A是根據(jù)本發(fā)明的一個(gè)實(shí)施方式的示例性的幀的示例性的穩(wěn)健直線擬合的圖。圖2B是根據(jù)本發(fā)明的一個(gè)實(shí)施方式的示例性的幀的示例性的穩(wěn)健直線擬合的圖，其中該示例性的幀比圖2A的示例性的幀包括更多的運(yùn)動(dòng)。圖2C是根據(jù)本發(fā)明的一個(gè)實(shí)施方式的示例性的幀的示例性的穩(wěn)健直線擬合的圖，其中與標(biāo)準(zhǔn)最小二乘法擬合相比，該示例性的幀比圖2A的示例性的幀包括更多的運(yùn)動(dòng)。圖3是根據(jù)本發(fā)明的一個(gè)實(shí)施方式的示出用于控制視頻數(shù)據(jù)中的偽影的過(guò)程的流程圖。除非特別指出，不應(yīng)該將在對(duì)實(shí)施方式的描述中所涉及的附圖理解為是按照比例繪制的。
具體實(shí)施例方式在此描述了控制視頻數(shù)據(jù)中的偽影的本發(fā)明的各種實(shí)施方式。在一個(gè)實(shí)施方式中，描述了控制視頻數(shù)據(jù)中的偽影的方法。對(duì)視頻數(shù)據(jù)的多個(gè)幀的并置像素的圖像數(shù)據(jù)進(jìn)行采樣，其中，多個(gè)幀中的每個(gè)幀的至少一部分對(duì)應(yīng)于不穿過(guò)該多個(gè)幀移動(dòng)的對(duì)象。對(duì)并置的像素的采樣圖像數(shù)據(jù)執(zhí)行統(tǒng)計(jì)曲線擬合，其中，該統(tǒng)計(jì)曲線擬合較少考慮與穿過(guò)多個(gè)幀的對(duì)象的移動(dòng)相對(duì)應(yīng)的采樣的并置的像素。至少部分基于統(tǒng)計(jì)曲線擬合的至少一個(gè)參數(shù)， 生成調(diào)整幀。為了減少假偽影，希望一種只使用像素值來(lái)補(bǔ)償照相機(jī)照明改變的簡(jiǎn)單、有效且低延遲的方法。本發(fā)明的實(shí)施方式提供了低延遲的解決方案，其能夠作為獨(dú)立的模塊插入到任何照相機(jī)和處理模塊之間。以這種方式，具有不同的自動(dòng)曝光算法和性能的照相機(jī)可互換地用于通信應(yīng)用。本發(fā)明的實(shí)施方式提供了一種用于控制由靜止視頻照相機(jī)的自動(dòng)曝光控制或者自動(dòng)增益控制(AGC)引起的虛塊的方法。例如，視頻會(huì)議通常應(yīng)用靜止照相機(jī)記錄呈現(xiàn)。沒(méi)有受控照明的視頻會(huì)議通常遭受例如偽AGC再調(diào)整，例如，如在典型的網(wǎng)絡(luò)攝像頭中所常見(jiàn)到的。因?yàn)槟壳暗囊曨l編碼器不會(huì)模擬強(qiáng)度改變，所以這些AGC錯(cuò)誤能夠反過(guò)來(lái)引起嚴(yán)重的虛塊。本發(fā)明的實(shí)施方式提供控制這種偽影。本發(fā)明的各種實(shí)施方式通過(guò)在視頻數(shù)據(jù)中把AGC錯(cuò)誤和實(shí)際的改變區(qū)分開(kāi)來(lái)提供控制視頻數(shù)據(jù)中的偽影。本發(fā)明的實(shí)施方式僅依賴于像素值，并且能夠作為獨(dú)立的模塊將其插入到任何視頻捕獲設(shè)備(例如，照相機(jī))和處理模塊之間。因此，具有不同的AGC功能和性能的照相機(jī)可互換地用于通信應(yīng)用?，F(xiàn)在將詳細(xì)地參考本發(fā)明的各種實(shí)施方式，附圖中示出了本發(fā)明的各種實(shí)施方式的例子。盡管將結(jié)合各種實(shí)施方式來(lái)描述本發(fā)明，但是應(yīng)當(dāng)理解，它們并不旨在將本發(fā)明限制到這些實(shí)施方式。相反，本發(fā)明的實(shí)施方式旨在覆蓋可供選擇的方案、修改以及等價(jià)物， 它們可包括在隨附的權(quán)利要求的精神和范圍內(nèi)。此外，在以下對(duì)本發(fā)明的各種實(shí)施方式的描述中，提出了大量的特定細(xì)節(jié)，以便提供對(duì)本發(fā)明的實(shí)施方式的全面理解。在其他例子中，沒(méi)有詳細(xì)描述公知的方法、程序、組件和電路，以免不必要的使本發(fā)明的實(shí)施方式的方面不清楚。為了直接的描述本發(fā)明的實(shí)施方式的目的，視頻數(shù)據(jù)指包括代表物理對(duì)象的圖像數(shù)據(jù)的數(shù)據(jù)。在各種實(shí)施方式中，視頻數(shù)據(jù)包括代表物理對(duì)象的靜止圖像的多個(gè)幀。例如， 圖像數(shù)據(jù)包括代表物理對(duì)象的攝影圖像的至少一部分的幀。本發(fā)明的實(shí)施方式通過(guò)生成調(diào)整的圖像數(shù)據(jù)，提供了調(diào)整(例如，轉(zhuǎn)換)輸入圖像數(shù)據(jù)，以控制虛塊。圖1是根據(jù)本發(fā)明的一個(gè)實(shí)施方式的用于控制視頻數(shù)據(jù)中的偽影的系統(tǒng)100的框圖。系統(tǒng)100包括偽影控制器102，該偽影控制器102包括視頻數(shù)據(jù)接收器115、視頻數(shù)據(jù)采樣器125、曲線擬合模塊135和幀調(diào)整器145。在一個(gè)實(shí)施方式中，系統(tǒng)100還包括錯(cuò)誤消除(error dampening)模塊155。在一個(gè)實(shí)施方式中，系統(tǒng)100還包括視頻編碼器165。 在一個(gè)實(shí)施方式中，系統(tǒng)100還包括視頻源105。在一個(gè)實(shí)施方式中，在能夠接收視頻數(shù)據(jù)的計(jì)算裝置中實(shí)現(xiàn)系統(tǒng)100。例如，系統(tǒng) 100可為任何類型的計(jì)算裝置，其包括但不限于計(jì)算機(jī)、數(shù)碼相機(jī)、網(wǎng)絡(luò)攝影機(jī)、蜂窩電話、 個(gè)人數(shù)字助理、電視接收機(jī)、機(jī)頂盒以及能夠接收或捕獲視頻數(shù)據(jù)的任何其他計(jì)算裝置。應(yīng)當(dāng)意識(shí)到的是，能夠以硬件、固件、軟件和硬件、軟件和固件、以及硬件、軟件和固件來(lái)實(shí)現(xiàn)偽影控制器102、視頻源105、視頻數(shù)據(jù)接收器115、視頻數(shù)據(jù)采樣器125、曲線擬合模塊135、幀調(diào)整器145、錯(cuò)誤消除模塊155和視頻編碼器165。此外，應(yīng)當(dāng)意識(shí)到的是，系統(tǒng)100可包括附加組件，沒(méi)有示出這些組件，以免不必要的使本發(fā)明的實(shí)施方式的方面不清楚。在一個(gè)實(shí)施方式中，視頻源105向偽影控制器102提供視頻數(shù)據(jù)的輸入幀110。應(yīng)當(dāng)意識(shí)到的是，視頻源105向偽影控制器102提供多個(gè)輸入幀，并且為了簡(jiǎn)單的示出，僅顯示了一個(gè)輸入幀110。例如，視頻源105向偽影控制器102提供包括多個(gè)順序視頻幀的整個(gè)視頻文件。在一個(gè)實(shí)施方式中，視頻源105的視頻數(shù)據(jù)是原始視頻數(shù)據(jù)，例如，還沒(méi)有被編碼的數(shù)據(jù)。在另一個(gè)實(shí)施方式中，已經(jīng)處理視頻源105的視頻數(shù)據(jù)，例如，已經(jīng)進(jìn)行了色彩轉(zhuǎn)換。此外，應(yīng)當(dāng)意識(shí)到的是，視頻源105可為存儲(chǔ)或捕獲視頻數(shù)據(jù)的任何裝置或模塊。例如但不限于，視頻源105可包括視頻存儲(chǔ)設(shè)備、存儲(chǔ)設(shè)備、視頻捕獲設(shè)備或其他視頻數(shù)據(jù)設(shè)備。應(yīng)當(dāng)意識(shí)到的是，本發(fā)明的實(shí)施方式依賴于以下假設(shè)由基本上靜止視頻捕獲裝置來(lái)捕獲視頻數(shù)據(jù)。換句話說(shuō)，由靜止照相機(jī)捕獲視頻數(shù)據(jù)，并且多個(gè)幀中的每個(gè)幀的至少一部分對(duì)應(yīng)于不穿過(guò)該多個(gè)幀移動(dòng)的對(duì)象。視頻數(shù)據(jù)接收器115從視頻源105接收多個(gè)輸入幀110，并且視頻數(shù)據(jù)接收器115 被配置為將輸入幀Iio轉(zhuǎn)送至視頻數(shù)據(jù)采樣器125和幀調(diào)整器145。在一個(gè)實(shí)施方式中，視頻數(shù)據(jù)接收器115被配置為將輸入幀110轉(zhuǎn)送至錯(cuò)誤消除模塊155。視頻數(shù)據(jù)采樣器125可操作用于對(duì)多個(gè)幀的并置像素的圖像數(shù)據(jù)進(jìn)行采樣，其中，多個(gè)幀中的每個(gè)幀的至少一部分對(duì)應(yīng)于不穿過(guò)該多個(gè)幀移動(dòng)的對(duì)象。在一個(gè)實(shí)施方式中，多個(gè)幀包括視頻數(shù)據(jù)的連續(xù)輸入幀110。在一個(gè)實(shí)施方式中，采樣的圖像數(shù)據(jù)包括亮度數(shù)據(jù)。在一個(gè)實(shí)施方式中，采樣的圖像數(shù)據(jù)包括RGB顏色空間數(shù)據(jù)。應(yīng)當(dāng)意識(shí)到的是，采樣的圖像數(shù)據(jù)可包括其他類型的數(shù)據(jù)，并且并不旨在將其限制到描述的實(shí)施方式。特別地，可在各種實(shí)施方式中實(shí)現(xiàn)考慮到檢測(cè)穿過(guò)多個(gè)幀移動(dòng)的任何圖像數(shù)據(jù)，例如，YUV顏色數(shù)據(jù)。在一個(gè)實(shí)施方式中，視頻數(shù)據(jù)采樣器125被配置為在網(wǎng)格中對(duì)多個(gè)幀的并置像素進(jìn)行采樣。例如，可使用有規(guī)律的二維空間網(wǎng)格。然而，應(yīng)當(dāng)意識(shí)到的是，幀的任何像素或者所有像素都可被采樣。曲線擬合模塊135被配置為對(duì)并置的像素的采樣圖像數(shù)據(jù)執(zhí)行統(tǒng)計(jì)曲線擬合，其中，該統(tǒng)計(jì)曲線擬合較少考慮與穿過(guò)多個(gè)幀的對(duì)象的移動(dòng)相對(duì)應(yīng)的采樣并置的像素。在各種實(shí)施方式中，統(tǒng)計(jì)曲線擬合是穩(wěn)健統(tǒng)計(jì)曲線擬合，其中，曲線可指參數(shù)式、非參數(shù)式或直線。在一個(gè)實(shí)施方式中，統(tǒng)計(jì)曲線擬合包括統(tǒng)計(jì)的穩(wěn)健線性擬合。在另一個(gè)實(shí)施方式中，統(tǒng)計(jì)曲線擬合包括統(tǒng)計(jì)的穩(wěn)健參數(shù)式擬合。通常，穩(wěn)健統(tǒng)計(jì)擬合(也稱為穩(wěn)健回歸)被設(shè)計(jì)為減少離群數(shù)據(jù)對(duì)統(tǒng)計(jì)擬合的影響。在一個(gè)實(shí)施方式中，統(tǒng)計(jì)曲線擬合是迭代重加權(quán)最小二乘(IRLS)擬合。本發(fā)明的實(shí)施方式依賴于以下假設(shè)1)連續(xù)幀中的一部分像素對(duì)應(yīng)于不移動(dòng)的對(duì)象，例如，靜止照相機(jī)，以及2)這些像素的強(qiáng)度改變是由于全局的AGC修改。在一個(gè)實(shí)施方式中，曲線擬合模塊135使用模型yi = giXi+0i，其中，Xi是假設(shè)在AGC之前第i個(gè)輸入視頻巾貞，gi和Oi是增益和偏移量AGC參數(shù)，它們被隨后應(yīng)用，以形成yi、修改AGC的視頻幀， 該視頻幀是幀調(diào)整器145的輸入。此外，一部分采樣的像素是由于對(duì)象移動(dòng)而改變的離群像素。在一個(gè)實(shí)施方式中，曲線擬合模塊135使用當(dāng)前視頻幀yi和先前校正的幀的
并置像素的規(guī)律間隔二維網(wǎng)格計(jì)算統(tǒng)計(jì)穩(wěn)健擬合+ )。在當(dāng)前的實(shí)施方式中， 使用估計(jì)參數(shù)^和、的IRLS直線擬合。該擬合較少考慮由于對(duì)象移動(dòng)而造成的離群數(shù)據(jù)，并簡(jiǎn)單地追蹤AGC。應(yīng)當(dāng)意識(shí)到的是，在其他實(shí)施方式中，忽略了離群數(shù)據(jù)，而不是較少
^慮ο圖2Α到2C示出了根據(jù)本發(fā)明的實(shí)施方式的穩(wěn)健直線擬合的示例性的圖。特別地， 這些示例性的圖是當(dāng)前幀的采樣值和先前幀的采樣值。應(yīng)當(dāng)意識(shí)到的是，幀可被連續(xù)的、周期性采樣，隨機(jī)采樣或者根據(jù)任何其他采樣方法學(xué)采樣。另外，應(yīng)當(dāng)意識(shí)到的是，直線擬合可同時(shí)應(yīng)用到所有的顏色通道，只應(yīng)用到亮度，或應(yīng)用到將指示穿過(guò)幀的移動(dòng)的任何其他數(shù)據(jù)。圖2A是根據(jù)本發(fā)明的一個(gè)實(shí)施方式的示例性的幀的示例性的穩(wěn)健直線擬合202 的圖200。特別地，示例性的穩(wěn)健直線擬合202用于具有最小運(yùn)動(dòng)的示例性的幀，如由與先前采樣的像素的數(shù)據(jù)非常接近的當(dāng)前采樣像素的大部分?jǐn)?shù)據(jù)的位置所示。圖2B是根據(jù)本發(fā)明的一個(gè)實(shí)施方式的示例性的幀的示例性的穩(wěn)健直線擬合212 的圖210，其中該示例性的幀比圖2A的示例性的幀包括更多的運(yùn)動(dòng)。如圖210所示，與多個(gè)當(dāng)前采樣像素關(guān)聯(lián)的數(shù)據(jù)具有不同于先前采樣像素的數(shù)據(jù)的值。這些數(shù)據(jù)被認(rèn)為是離群數(shù)據(jù)，通過(guò)在執(zhí)行直線擬合時(shí)較少考慮它們來(lái)減少它們對(duì)示例性的穩(wěn)健直線擬合212的影響。在一個(gè)實(shí)施方式中，對(duì)范圍外的任何數(shù)據(jù)忽略直線擬合。在另一個(gè)實(shí)施方式中，當(dāng)數(shù)據(jù)運(yùn)動(dòng)到遠(yuǎn)離先前幀中的值時(shí)，給予該數(shù)據(jù)較小的權(quán)重。圖2C是根據(jù)本發(fā)明的一個(gè)實(shí)施方式的與標(biāo)準(zhǔn)最小二乘法擬合2M相比用于相同數(shù)據(jù)的示例性的穩(wěn)健直線擬合212的圖220。標(biāo)準(zhǔn)最小二乘法擬合不會(huì)重加權(quán)或者忽視離群數(shù)據(jù)。這樣，標(biāo)準(zhǔn)最小二乘法擬合偏向于離群數(shù)據(jù)。不考慮離群數(shù)據(jù)對(duì)直線擬合的影響， 標(biāo)準(zhǔn)最小二乘法不能提供像穩(wěn)健直線擬合那么精確的直線擬合。返回圖1，曲線擬合模塊135可操作用于從穩(wěn)健直線擬合提取曲線擬合參數(shù)140。 在一個(gè)實(shí)施方式中，曲線擬合參數(shù)140包括增益和偏移量。幀調(diào)整器145被配置為至少部分基于曲線擬合參數(shù)140生成調(diào)整幀150(這里也稱為中間幀)。如圖所示，幀調(diào)整器145 接收相應(yīng)的輸入幀110，并通過(guò)將曲線擬合參數(shù)應(yīng)用到相應(yīng)的輸入幀110來(lái)生成調(diào)整幀 150。例如，根據(jù)一個(gè)實(shí)施方式，使用以上所定義的穩(wěn)健擬合參數(shù)％和h生成調(diào)整幀150
=(只_《)/ ,，其中，初始條件為ΖΛ。=Jo。在一個(gè)實(shí)施方式中，錯(cuò)誤消除模塊155簡(jiǎn)單地將沒(méi)有修改的調(diào)整幀150作為最終幀1 傳送到視頻編碼器165。在當(dāng)前的實(shí)施方式中，視頻編碼器165通過(guò)有效地編碼調(diào)整幀150生成編碼視頻數(shù)據(jù)160。應(yīng)當(dāng)意識(shí)到的是，視頻編碼器165能夠執(zhí)行任何視頻編碼標(biāo)準(zhǔn)，包括但不限于H. 261, H. 263, H. 264, MPEG-I, MPEG-2，MPEG-4以及其他視頻編碼標(biāo)準(zhǔn)。 應(yīng)當(dāng)意識(shí)到的是，在本發(fā)明的各種實(shí)施方式中，錯(cuò)誤消除模塊1 是可選的并不被包括，這樣，調(diào)整幀150作為最終幀IM直接從幀調(diào)整器145傳送到視頻編碼器165。在另一個(gè)實(shí)施方式中，由錯(cuò)誤消除模塊155接收并修改調(diào)整幀150。錯(cuò)誤消除模塊155被配置為通過(guò)向調(diào)整幀150應(yīng)用混合濾波器生成消除錯(cuò)誤的調(diào)整幀，這樣混合濾波器將調(diào)整幀150與對(duì)應(yīng)于該調(diào)整幀150的輸入幀110的至少一部分進(jìn)行混合。在一個(gè)實(shí)施方式中，混合濾波器被應(yīng)用到調(diào)整幀150以形成最終幀154:
Xi=Oz^(I-O)yi。通過(guò)返回注入一部分輸入幀110，Yi，該混合允許長(zhǎng)期AGC增益修改來(lái)操
作，并且它還消除估計(jì)^和、中的錯(cuò)誤，否則這些錯(cuò)誤可能會(huì)積累。在一個(gè)實(shí)施方式中，使用了 α = . 99。在當(dāng)前的實(shí)施方式中，可將最終幀154 表示為■二 =kiy,+k2,其中，ki和1 是輸入幀IlOyi的校正參數(shù)。這說(shuō)明偽影控制器102單獨(dú)地將適應(yīng)性的校正應(yīng)用到每個(gè)單獨(dú)的幀。此外，因?yàn)闆](méi)有時(shí)域?yàn)V波，所以偽影控制器102不會(huì)引起輸入視頻的拖尾效應(yīng)。在一個(gè)實(shí)施方式中，在視頻編碼器165處接收最終幀154。在當(dāng)前的實(shí)施方式中，視頻編碼器165通過(guò)編碼最終幀巧4生成編碼的視頻數(shù)據(jù)160。應(yīng)當(dāng)意識(shí)到的是，視頻編碼器165能夠執(zhí)行任何編碼標(biāo)準(zhǔn)，包括但不限于H. 261, H. 263, H. 264, MPEG-I，MPEG-2， MPEG-4以及其他視頻編碼標(biāo)準(zhǔn)。如以上所提出的，本發(fā)明的實(shí)施方式依賴于以下假設(shè)一部分像素不會(huì)在幀之間改變位置，并且由自動(dòng)曝光引起的全局改變?cè)试S校正自動(dòng)曝光錯(cuò)誤。應(yīng)當(dāng)意識(shí)到的是，所描述的實(shí)施方式的不同形式和變化是可能的。例如，可使用多個(gè)不同的擬合方法，并且自動(dòng)曝光模型不需要為仿射擬合?？商鎿Q地，在另一個(gè)實(shí)施方式中，群集技術(shù)(例如，與適當(dāng)?shù)幕旌夏Ｐ?例如，在并置的像素的殘差值上)一起的期望最大化算法)用于估計(jì)混合的參數(shù)， 并將像素成群為變化類和不變類，其轉(zhuǎn)而用于繼續(xù)進(jìn)行全局?jǐn)M合。圖3是根據(jù)本發(fā)明的一個(gè)實(shí)施方式的示出用于控制視頻數(shù)據(jù)中的偽影的過(guò)程300 的流程圖。在一個(gè)實(shí)施方式中，由處理器和電子組件在計(jì)算機(jī)可讀和計(jì)算機(jī)可執(zhí)行指令的控制下執(zhí)行過(guò)程300。例如，計(jì)算機(jī)可讀和計(jì)算機(jī)可執(zhí)行指令位于數(shù)據(jù)存儲(chǔ)部件中，例如，計(jì)算機(jī)可用的易失性和非易失性存儲(chǔ)器。然而，計(jì)算機(jī)可讀和計(jì)算機(jī)可執(zhí)行指令可位于任何類型的計(jì)算機(jī)可讀存儲(chǔ)媒質(zhì)中。在一個(gè)實(shí)施方式中，由圖1的系統(tǒng)100來(lái)執(zhí)行過(guò)程300。在過(guò)程300的310，對(duì)多個(gè)幀的并置像素的圖像數(shù)據(jù)進(jìn)行采樣，其中，多個(gè)幀中的每個(gè)幀的至少一部分對(duì)應(yīng)于不穿過(guò)該多個(gè)幀移動(dòng)的對(duì)象。在一個(gè)實(shí)施方式中，該多個(gè)幀包括視頻數(shù)據(jù)的連續(xù)幀。在一個(gè)實(shí)施方式中，如過(guò)程300的315所示，采樣包括在網(wǎng)格中對(duì)多個(gè)幀的并置像素進(jìn)行采樣。在一個(gè)實(shí)施方式中，圖像數(shù)據(jù)包括亮度數(shù)據(jù)。在另一個(gè)實(shí)施方式中，圖像數(shù)據(jù)包括RGB顏色空間數(shù)據(jù)。在320，對(duì)并置像素的采樣圖像數(shù)據(jù)執(zhí)行統(tǒng)計(jì)曲線擬合，其中，統(tǒng)計(jì)曲線擬合較少考慮與穿過(guò)多個(gè)幀的對(duì)象的移動(dòng)相對(duì)應(yīng)的采樣并置的像素。在一個(gè)實(shí)施方式中，統(tǒng)計(jì)曲線擬合包括統(tǒng)計(jì)穩(wěn)健曲線擬合。在一個(gè)實(shí)施方式中，統(tǒng)計(jì)曲線擬合包括統(tǒng)計(jì)穩(wěn)健線性擬合。在另一個(gè)實(shí)施方式中，統(tǒng)計(jì)曲線擬合包括統(tǒng)計(jì)穩(wěn)健線性擬合。在330，至少部分基于統(tǒng)計(jì)曲線擬合的至少一個(gè)參數(shù)，生成調(diào)整幀，例如，中間幀。 在一個(gè)實(shí)施方式中，參數(shù)包括增益和偏移量。在一個(gè)實(shí)施方式中，如在340所示，通過(guò)將混合濾波器應(yīng)用到調(diào)整幀，生成錯(cuò)誤消除調(diào)整幀，例如，最終幀，混合濾波器將調(diào)整幀與對(duì)應(yīng)于該調(diào)整幀的輸入幀的至少一部分進(jìn)行混合。在一個(gè)實(shí)施方式中，如在350所示，對(duì)視頻數(shù)據(jù)進(jìn)行編碼。在一個(gè)實(shí)施方式中，使用調(diào)整幀對(duì)視頻數(shù)據(jù)進(jìn)行編碼。在另一個(gè)實(shí)施方式中，使用錯(cuò)誤消除調(diào)整幀對(duì)視頻數(shù)據(jù)進(jìn)行編碼。本發(fā)明的實(shí)施方式提供調(diào)整來(lái)自靜止照相機(jī)的視頻，例如，視頻會(huì)議，這樣減少了由對(duì)象移動(dòng)引起的整個(gè)視頻幀的質(zhì)量降級(jí)。本發(fā)明的實(shí)施方式與現(xiàn)有的編碼器實(shí)現(xiàn)和現(xiàn)有的照相機(jī)相兼容。此外，本發(fā)明的實(shí)施方式不需要運(yùn)動(dòng)估計(jì)，由此減少了視頻數(shù)據(jù)調(diào)整的復(fù)雜性。此外，本發(fā)明的實(shí)施方式不需要在視頻的特定部分發(fā)生運(yùn)動(dòng)。例如，一些運(yùn)動(dòng)對(duì)象處在幀的邊緣是可能的。只要一部分像素來(lái)自靜止對(duì)象，穩(wěn)健曲線擬合能夠提供改進(jìn)的視頻數(shù)據(jù)調(diào)整。同樣地，盡管各種穩(wěn)健曲線擬合是迭代的，但是本發(fā)明的實(shí)施方式比傳統(tǒng)的背景/前景分割要快。此外，本發(fā)明的實(shí)施方式提供保持AGC在變化的照明條件下的優(yōu)勢(shì)的
8同時(shí)，減少由AGC引起的錯(cuò)誤結(jié)果。本發(fā)明的實(shí)施方式提供控制視頻數(shù)據(jù)中的偽影。本發(fā)明的各種實(shí)施方式提供視頻處理，例如，預(yù)處理，以在圖像捕獲后視頻編碼前控制偽影，從而避免偽影。在一個(gè)實(shí)施方式中，為了減少自動(dòng)曝光錯(cuò)誤，執(zhí)行連續(xù)幀的并置的像素值之間的統(tǒng)計(jì)穩(wěn)健曲線擬合。在一個(gè)實(shí)施方式中，混合濾波器用于允許自動(dòng)曝光以繼續(xù)操作，同時(shí)也使系統(tǒng)穩(wěn)定防止累積穩(wěn)健曲線擬合的錯(cuò)誤。因此，描述了本發(fā)明的控制視頻數(shù)據(jù)中的偽影的各種實(shí)施方式。雖然已經(jīng)以特定的實(shí)施方式描述了本發(fā)明，但是應(yīng)當(dāng)意識(shí)到的是，不應(yīng)如由這些實(shí)施方式所限制的來(lái)構(gòu)造本發(fā)明，而應(yīng)根據(jù)下面的權(quán)利要求來(lái)構(gòu)造本發(fā)明。
權(quán)利要求
1.一種計(jì)算機(jī)實(shí)施的用于控制視頻數(shù)據(jù)中的偽影的方法(300)，所述方法(300)包括對(duì)所述視頻數(shù)據(jù)的多個(gè)幀的并置像素的圖像數(shù)據(jù)進(jìn)行采樣(310)，其中，所述多個(gè)幀中的每個(gè)幀的至少一部分對(duì)應(yīng)于不穿過(guò)所述多個(gè)幀移動(dòng)的對(duì)象；對(duì)所述并置像素的采樣圖像數(shù)據(jù)執(zhí)行(320)統(tǒng)計(jì)曲線擬合，其中，所述統(tǒng)計(jì)曲線擬合較少考慮與穿過(guò)所述多個(gè)幀的對(duì)象的移動(dòng)相對(duì)應(yīng)的采樣的并置像素；以及至少部分基于所述統(tǒng)計(jì)曲線擬合的至少一個(gè)參數(shù)，生成(330)調(diào)整的幀。
2.如權(quán)利要求1所述的計(jì)算機(jī)實(shí)施的方法(300)，其中，所述多個(gè)幀包括所述視頻數(shù)據(jù)的連續(xù)幀。
3.如權(quán)利要求1所述的計(jì)算機(jī)實(shí)施的方法(300)，其中，所述統(tǒng)計(jì)曲線擬合包括統(tǒng)計(jì)穩(wěn)健線性擬合。
4.如權(quán)利要求1所述的計(jì)算機(jī)實(shí)施的方法(300)，其中，所述統(tǒng)計(jì)曲線擬合包括統(tǒng)計(jì)穩(wěn)健參數(shù)式擬合。
5.如權(quán)利要求1所述的計(jì)算機(jī)實(shí)施的方法(300)，其中，所述對(duì)所述視頻數(shù)據(jù)的多個(gè)幀的并置像素的圖像數(shù)據(jù)進(jìn)行采樣(310)包括在網(wǎng)格中對(duì)多個(gè)幀的并置像素進(jìn)行采樣(315)。
6.如權(quán)利要求1所述的計(jì)算機(jī)實(shí)施的方法(300)，其中，所述圖像數(shù)據(jù)包括亮度數(shù)據(jù)。
7.如權(quán)利要求1所述的計(jì)算機(jī)實(shí)施的方法(300)，其中，所述圖像數(shù)據(jù)包括RGB顏色空間數(shù)據(jù)。
8.如權(quán)利要求1所述的計(jì)算機(jī)實(shí)施的方法(300)，其中，所述至少一個(gè)參數(shù)包括增益和偏移量。
9.如權(quán)利要求1所述的計(jì)算機(jī)實(shí)施的方法(300)，進(jìn)一步包括通過(guò)將混合濾波器應(yīng)用到所述調(diào)整的幀，生成(340)錯(cuò)誤消除的調(diào)整的幀，所述混合濾波器用于將所述調(diào)整的幀與對(duì)應(yīng)于所述調(diào)整幀的輸入幀的至少一部分進(jìn)行混合。
10.如權(quán)利要求1所述的計(jì)算機(jī)實(shí)施的方法(300)，進(jìn)一步包括 使用所述調(diào)整的幀對(duì)所述視頻數(shù)據(jù)進(jìn)行編碼(350)。
11.一種用于存儲(chǔ)指令的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，當(dāng)執(zhí)行控制視頻數(shù)據(jù)中的偽影的方法 (300)時(shí)，由一個(gè)或多個(gè)處理器執(zhí)行所述指令，所述方法(300)包括在網(wǎng)格中對(duì)所述視頻數(shù)據(jù)的連續(xù)幀的并置像素的圖像數(shù)據(jù)進(jìn)行采樣(310)，其中，所述連續(xù)幀的每個(gè)幀的至少一部分對(duì)應(yīng)于不穿過(guò)所述連續(xù)幀移動(dòng)的對(duì)象；對(duì)所述并置像素的采樣圖像數(shù)據(jù)執(zhí)行(320)統(tǒng)計(jì)曲線擬合，其中，所述統(tǒng)計(jì)曲線擬合較少考慮與穿過(guò)所述連續(xù)幀的對(duì)象的移動(dòng)相對(duì)應(yīng)的經(jīng)采樣的并置像素；至少部分基于所述統(tǒng)計(jì)曲線擬合的至少一個(gè)參數(shù)，生成(330)用于所述連續(xù)幀的一個(gè)幀的中間幀；以及通過(guò)將混合濾波器應(yīng)用到所述中間幀，生成(340)最終幀，所述混合濾波器將所述中間幀與對(duì)應(yīng)于所述一個(gè)幀的輸入幀的至少一部分進(jìn)行混合。
12.如權(quán)利要求11所述的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中，所述統(tǒng)計(jì)曲線擬合包括統(tǒng)計(jì)穩(wěn)健線性擬合。
13.如權(quán)利要求11所述的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中，所述統(tǒng)計(jì)曲線擬合包括統(tǒng)計(jì)穩(wěn)健參數(shù)式擬合。
14.如權(quán)利要求11所述的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中，所述方法(300)進(jìn)一步包括 使用所述最終幀對(duì)所述視頻數(shù)據(jù)進(jìn)行編碼(350)。
15.一種用于控制視頻數(shù)據(jù)中的偽影的系統(tǒng)(100)，所述裝置包括視頻數(shù)據(jù)接收器(115)，用于接收包括所述視頻數(shù)據(jù)的多個(gè)幀的圖像數(shù)據(jù)； 視頻數(shù)據(jù)采樣器(125)，用于對(duì)所述多個(gè)幀的并置像素的圖像數(shù)據(jù)進(jìn)行采樣，其中，所述多個(gè)幀中的每個(gè)幀的至少一部分對(duì)應(yīng)于不穿過(guò)所述多個(gè)幀移動(dòng)的對(duì)象；曲線擬合模塊(135)，用于對(duì)所述并置像素的采樣圖像數(shù)據(jù)執(zhí)行統(tǒng)計(jì)穩(wěn)健曲線擬合，其中，所述統(tǒng)計(jì)穩(wěn)健曲線擬合較少考慮與穿過(guò)所述多個(gè)幀的對(duì)象的移動(dòng)相對(duì)應(yīng)的采樣的并置像素；以及幀調(diào)整器(145)，用于至少部分基于所述統(tǒng)計(jì)曲線擬合的至少一個(gè)參數(shù)生成調(diào)整的幀。
全文摘要
控制視頻數(shù)據(jù)中的偽影。對(duì)視頻數(shù)據(jù)的多個(gè)幀的并置像素的圖像數(shù)據(jù)進(jìn)行采樣(310)，其中，所述多個(gè)幀中的每個(gè)幀的至少一部分對(duì)應(yīng)于不穿過(guò)所述多個(gè)幀移動(dòng)的對(duì)象。對(duì)并置像素的采樣圖像數(shù)據(jù)執(zhí)行(320)統(tǒng)計(jì)曲線擬合，其中，所述統(tǒng)計(jì)曲線擬合較少考慮與穿過(guò)所述多個(gè)幀的對(duì)象的移動(dòng)相對(duì)應(yīng)的經(jīng)采樣的并置像素。至少部分基于所述統(tǒng)計(jì)曲線擬合的至少一個(gè)參數(shù)，生成(330)調(diào)整的幀。
文檔編號(hào)H04N5/217GK102257808SQ200880132406
公開(kāi)日2011年11月23日 申請(qǐng)日期2008年12月16日 優(yōu)先權(quán)日2008年12月16日
發(fā)明者R·薩馬達(dá)尼, W-T·譚 申請(qǐng)人:惠普開(kāi)發(fā)有限公司