專利名稱：用于高效視頻處理的方法和系統(tǒng)的制作方法
技術(shù)領域：
本發(fā)明涉及圖像處理，并且具體地，涉及一種用于將各種處理操作應用于視頻流 的幀的高效視頻處理方法和系統(tǒng)，所述處理操作包括對視頻圖像流進行去噪、銳化、增強和 去模糊。
背景技術(shù)：
當前，圖像處理是對其付出了顯著的研究和開發(fā)努力的重要的技術(shù)領域。隨著 包括手持式攝像機、視頻會議系統(tǒng)、蜂窩電話和包括通過互聯(lián)網(wǎng)的視頻圖像的實時傳送的 視頻分送信道的各種類型的視頻圖像捕獲、傳輸和顯示設備的可用性的增加以及成本的降 低，視頻圖像的處理正在變?yōu)槿找嬷匾难芯亢烷_發(fā)領域并且提供了視頻處理系統(tǒng)的越來 越大的市場。在許多應用中，可以在視頻采集之后以及在視頻分送之前通過計算上昂貴的技術(shù) 執(zhí)行視頻處理。然而，在許多當前的和涌現(xiàn)的應用中，諸如在實時視頻處理系統(tǒng)中，視頻處 理需要快速地和高效地執(zhí)行。視頻會議是其中實時視頻處理可以提供眾多益處的應用的一 個示例。視頻會議設備制造商和銷售商已經(jīng)確定，視頻會議的有效性可以極大地取決于遞 送到視頻會議參與者的視頻圖像的質(zhì)量。通過使用復雜的和昂貴的相機、高端顯示系統(tǒng)、大 量的專用計算硬件和寬帶寬通信信道，可以實現(xiàn)視頻質(zhì)量。不幸地，這種昂貴的、高端視頻 會議系統(tǒng)的市場較之較低成本的視頻會議系統(tǒng)的潛在市場是相對小的。需要實時視頻處理 的視頻會議設備和其他系統(tǒng)的研究人員和開發(fā)人員、制造商和銷售商以及視頻會議設備和 其他這種基于視頻的系統(tǒng)的用戶均已認識到需要較低成本的基于視頻的系統(tǒng)，其中視頻處 理部件可以用于在計算上抵消因使用不太昂貴的相機、通信信道和專用硬件而導致的視頻 圖像質(zhì)量的降低。

發(fā)明內(nèi)容
本發(fā)明的實施例針對用于計算上高效地對視頻幀的流進行去噪、銳化、對比度增 強、去模糊和其他空間和時間處理的高效的視頻處理方法和系統(tǒng)。本發(fā)明的實施例使僅針 對從視頻流中以固定的或可變的間隔選擇的小百分比的視頻幀執(zhí)行的統(tǒng)計量相關(guān)計算與 針對視頻流的每個幀執(zhí)行的各種空間和時間處理步驟分離，所述統(tǒng)計量相關(guān)計算包括估計 像素值關(guān)聯(lián)方差、標準差、噪聲閾值和信號對比度閾值。在本發(fā)明的某些實施例中，統(tǒng)計量 相關(guān)計算由計算機系統(tǒng)的一個或多個通用處理器執(zhí)行，而逐幀的空間和時間處理由計算機 系統(tǒng)中的一個或多個專用圖形處理器執(zhí)行。


圖1圖示了二維圖像信號。圖2示出了具有數(shù)值像素值的圖1的二維圖像。圖3A-E圖示了由本發(fā)明的方法和系統(tǒng)實施例執(zhí)行的各種類型的圖像和視頻幀處理的簡單示例。圖4提供了簡單的計算機系統(tǒng)的高級別的類似框圖的表示。圖5圖示了圖像中的鄰域的概念。圖6A-B圖示了基于鄰域的操作中使用的圖像的各種類型的遍歷。圖7圖示了由本發(fā)明的方法和系統(tǒng)實施例解決的基本問題。圖8圖示了表示本發(fā)明的一個實施例的實時高質(zhì)量視頻處理系統(tǒng)。圖9-11圖示了表示本發(fā)明的一個實施例的實時視頻處理系統(tǒng)的噪聲和對比度模 塊的操作。圖12圖示了兩個圖像A和B的相加。圖13圖示了被稱為“縮減(downscaling)”的一種類型的縮放操作。圖14圖示了 D操作的一個實施例。圖15圖示了權(quán)重模板(mask) W中包括的權(quán)重的計算。圖16圖示了通過將D操作兩次應用到中間尺度圖像而獲得的高斯金字塔的一部 分。圖17圖示了 U操作的一個實施例圖18圖示了本發(fā)明的實施例中使用的魯棒過濾操作的一個實施例。圖19圖示了作為本發(fā)明的實施例中使用的上文參照圖18描述的魯棒過濾操作的 一部分的針對原始圖像Y的每個像素Y(i，j)執(zhí)行的過濾操作fs(i，j)。圖20圖示了在本發(fā)明的實施例中使用的過濾操作fs(i，j)中使用的非線性函數(shù) 的一般形式。圖21圖示了在本發(fā)明的實施例中使用的函數(shù)Ψ3。圖22示出了在圖15中使用的許多圖示約定。圖23圖示了由本發(fā)明的各種實施例中的多尺度去噪、銳化和對比度增強模塊使 用的一個多尺度魯棒銳化和對比度增強方法。圖Μ-25圖示了由表示本發(fā)明的一個實施例的實時視頻處理系統(tǒng)的運動檢測模 塊針對當前分析的幀中的每個像素執(zhí)行的計算。圖沈-29圖示了表示本發(fā)明的一個實施例的實時視頻處理系統(tǒng)的自適應時間處 理模塊的操作。圖30示出了用于本發(fā)明的實時視頻處理方法的實施例的高級別控制流程圖。圖31提供了表示本發(fā)明的一個實施例的實時視頻處理系統(tǒng)的噪聲和對比度模塊 的控制流程圖。圖32提供了表示本發(fā)明的實施例的實時視頻處理系統(tǒng)的運動檢測模塊的控制流 程圖。圖33提供了用于表示本發(fā)明的一個實施例的視頻處理系統(tǒng)的自適應時間處理模 塊的控制流程圖。
具體實施例方式本發(fā)明的實施例針對計算上高效的實時視頻處理。首先，提供了數(shù)字圖像和數(shù)字 圖像處理的一般概況，作為本發(fā)明的實施例的后繼描述的背景。然后，提供了表示本發(fā)明的一個實施例的計算上高效的實時視頻處理系統(tǒng)的概況。隨后更詳細地討論了該系統(tǒng)的部 件。最后，提供了用于表示本發(fā)明的一個實施例的視頻圖像處理方法的控制流程圖。圖像處理背景
圖1圖示了二維圖像信號。如圖1中所示，二維圖像信號可以被視為包含具有索引 0，1，…，r-Ι的R個行和具有索引0，1，…，C-I的C個列的二維矩陣101。通常，單個大寫字 母，諸如字母“Y”，用于表示整個圖像。圖1中示出的二維圖像Y中的每個元素或單元被稱 為“像素”并且由一對坐標來指代，一個坐標指定其中包含該像素的行而另一個坐標指定其 中包含該像素的列。例如，圖像Y中的單元103被表示為Y(l，2)。圖2示出了具有數(shù)值像素值的圖1的二維圖像。在圖2中，每個像素與數(shù)值值關(guān) 聯(lián)。例如，在圖2中像素Υ(2，8) 202被示出為具有值“97”。在某些情況中，特別是黑白照 片中，每個像素可以與單個灰度值關(guān)聯(lián)，該灰度值的范圍常常是從表示黑色的0到表示白 色的255。對于彩色照片，每個像素可以與多個數(shù)值值關(guān)聯(lián)，諸如亮度值和兩個色度值，或者 替選地，三個RBG (紅藍綠)值。在其中像素與不止一個值關(guān)聯(lián)的情況中，圖像增強技術(shù)可以 單獨地應用于分圖像，每個分圖像表示從每個像素中選擇的一種類型的像素值的集合。替 選地，圖像增強技術(shù)可以被應用于計算的單值像素圖像，其中通過針對與原始圖像中的像 素關(guān)聯(lián)的多個值的數(shù)學運算來為每個像素生成計算值。替選地，圖像增強技術(shù)可以主要應 用于僅亮度分圖像。在下面的討論中，圖像被視為單值的，如例如與黑白照片中的像素關(guān)聯(lián) 的灰度值那樣。然而，通過將本發(fā)明的公開方法單獨地應用于一個或多個分圖像或者通過 在數(shù)學上組合與每個像素關(guān)聯(lián)的多個值以計算與每個像素關(guān)聯(lián)的單個值，并且將本發(fā)明的 方法應用于計算像素值的集合，可以將本發(fā)明的方法直接應用于具有多值像素的圖像和信 號。應當注意，盡管圖像被視為像素值的二維陣列，但是圖像可以作為數(shù)值值的連續(xù)列表， 作為值的壓縮序列或者以其他方式被存儲和傳送。下面的討論假設，不管圖像被如何存儲 和傳送，圖像可以被視為像素值的二維矩陣，所述像素值可以通過針對二維矩陣的各種類 型的操作而進行變換。視頻流由時間排序的一系列視頻圖像(在下文中被稱為“幀”)組成，每個幀通常在 時間上與前一幀和后一幀隔開諸如1/30秒的某個固定時間間隔。各種視頻處理方法可以 應用于隔離的幀，并且其他方法可以應用于連續(xù)的時間排序的幀子集。圖3Α-Ε圖示了由本發(fā)明的方法和系統(tǒng)實施例執(zhí)行的各種類型的視頻幀處理的簡 單示例。在圖3Α-Ε的每一個中，示出了兩個非常小的數(shù)字圖像區(qū)域，一個圖像是應用圖示 的處理技術(shù)之前的圖像，而另一個圖像是應用圖示的處理技術(shù)之后的圖像，以圖示各種類 型的處理技術(shù)。圖3Α中示出的一個處理技術(shù)被稱為“去噪”。去噪指的是如下過程通過該 過程對噪聲圖像302進行處理以便于使用背景適當?shù)幕叶戎堤娲哂斜煌茢酁橐蛟跀?shù)字 圖像的捕獲、存儲、傳送或者先前處理期間引入的噪聲而改變或失真的灰度值的像素。得到 的去噪圖像304理想地表現(xiàn)為無噪聲。去噪過程可以識別具有明顯偏離周圍像素的灰度值 的像素，諸如圖3Α中示出的噪聲圖像中的像素306，并且將這些像素值替換為與周圍像素 值308 —致的更適當?shù)南袼刂?。在某些情況中，使用大的像素值替代較小的像素值，并且在 其他情況中，使用較小的像素值替代較大的像素值。去噪過程試圖識別和移除數(shù)字圖像中 的噪聲引入的偽像而不移除或改變圖像特征，特別是可能容易地被許多去噪算法誤認為噪 聲的較小的高分辨率特征和細節(jié)。
如圖:3B中圖示的對比度增強的目標是提高數(shù)字圖像中的對比度。例如，在圖:3B 中的低對比度數(shù)字圖像310中，諸如背景像素312的背景像素的灰度值與字母0形特征314 的像素值沒有很大不同。對比度增強技術(shù)試圖通過例如使背景像素的灰度值與字母0形特 征像素更寬地隔開(如增強的數(shù)字圖像316中的那樣)來提高圖像對比度。在增強的數(shù)字圖 像中，例如，背景像素具有255的灰度值，而字母0形特征像素具有0的灰度值。對比度增 強試圖提供圖像中的不同圖像特征之間以及圖像特征和背景之間的更大的對比度，同時避 免引入偽造的偽像。圖3C中圖示的被稱為“銳化”的圖像處理技術(shù)試圖增強或者銳化圖像中的特征之 間以及特征和背景之間的邊界。例如，在圖3C中的未銳化的圖像320中，圖像的較暗的區(qū) 域322沿圖像中的豎直線3 鄰接較亮的區(qū)域324。一種類型的銳化過程可以通過在較亮 的區(qū)域324的邊緣處引入較亮的像素列330并且在較暗的區(qū)域322的邊緣處引入較暗的像 素列332來增強或者放大較暗和較亮的區(qū)域之間的邊界(如增強的圖像328中所示)。銳化 技術(shù)可以另外使線性邊界變直并且使彎曲的邊界更加連續(xù)。上文參照圖3A-C討論的去噪，對比度增強和銳化通常是空間處理技術(shù)，其可以單 獨地應用于視頻流的每個幀。除了空間處理技術(shù)之外，各種時間處理技術(shù)可以應用于視頻 流中的多個連續(xù)的時間排序的幀以便于改善運動誘發(fā)的效果和偽像，包括因針對固定背景 的相機運動或者對象運動引起的模糊。圖3D圖示了數(shù)字圖像的運動誘發(fā)的模糊。靜止圖像 340包括字母0形特征342。當在圖像捕獲期間發(fā)生相機運動時，在運動模糊圖像344中可 能發(fā)生特征的運動誘發(fā)的模糊。運動誘發(fā)的模糊通常相似地影響圖像的像素鄰域中的許多 鄰近的像素。例如，在運動模糊圖像344中，字母0形特征342已經(jīng)沿對角線抹向左下方， 產(chǎn)生了兩個另外的字母0形偽像346和348。包括字母0形特征的像素鄰域中的所有較暗 的像素示出了相似的沿對角線平移的偽像像素。盡管噪聲常常表現(xiàn)為隨機分布在整個圖像 上，但是作為對比，運動誘發(fā)的模糊是相當非隨機的。如圖3E中所示，被稱為“去模糊”的 處理技術(shù)試圖識別模糊圖像350中的運動誘發(fā)的偽像并且系統(tǒng)地移除偽像以產(chǎn)生去模糊 的圖像352。圖4提供了簡單的計算機系統(tǒng)的高級別的類似框圖的表示。該計算機系統(tǒng)包括一 個或多個中央處理單元(“CPU”)402，系統(tǒng)存儲器404，內(nèi)部盤406，包括一個或多個圖形處 理單元(“GPU”)的圖形再現(xiàn)設備408，存儲器橋424，以及I/O橋432，它們由處理器系統(tǒng)總 線422、存儲器總線426、高級圖形端口(“AGP”)總線428、內(nèi)部主機橋總線430和諸如SATA 鏈路的專用存儲設備通信鏈路互連。I/O橋432用于將另外的設備互連到存儲器橋424，并 且因此互連到存儲器404和CPU 402。I/O橋432和存儲器橋似4 一起組成主機橋420。I/ 0橋包括到PCIe交換機436的多通道互連和PCIe端口，該PCIe交換機436用作用于建立 I/O橋和各個PCIe端點410-415之間的點對點互連的交叉式(crossbar-like)交換機。諸 如圖4中示出的那個計算機系統(tǒng)之類的計算機系統(tǒng)是用于表示本發(fā)明的實施例的實時視 頻處理系統(tǒng)的示例性平臺。圖5圖示了圖像中的鄰域的概念。許多圖像處理技術(shù)基于像素鄰域的數(shù)學概念。 在圖5中，大圖像的一部分被示出為柵格(grid) 502。在圖示的圖像部分中，小的正方形 區(qū)域504被遮蔽，并且遮蔽區(qū)域的中心像素被另外加陰影506。對于許多操作而言，其邊具 有奇數(shù)個像素的正方形區(qū)域提供了方便的計算用鄰域。在許多情況中，正方形區(qū)域504被視為中心像素506的鄰域。在圖5中，中心像素506具有索引(i，j)。該鄰域可以被稱為 n(i, j)。在插圖508中示出了鄰域中的所有像素的索引。鄰域可以具有不同類型的形狀，包 括菱形、近似盤狀的形狀和其他形狀。在下面的討論中，鄰域中的像素數(shù)目通常由字母“K” 表示。對于一些操作，中心像素值被視為鄰域中的K個像素中的一個。在其他情況中，在特 定的基于鄰域的過程中不使用中心像素值，并且因此常數(shù)K可以不包括中心像素。例如，對 于那些不使用中心像素值的操作而言，對于圖5中的鄰域508，K可以被視為具有值8，并且 對于那些使用中心像素值的操作而言，對于圖5中的鄰域508，K可以被視為具有值9。術(shù) 語“窗口”也可以用于描述像素鄰域。圖6Α-Β圖示了基于鄰域的操作中使用的圖像的各種類型的遍歷。常常針對圖像 中的每個像素執(zhí)行基于鄰域的計算。因此，鄰域可以被想象為窗口，其沿圖像中的遍歷路徑 滑動，停止在沿遍歷路徑的每個位置處，其中在沿遍歷路徑的每個位置處具有不同的中心 像素。圖6Α圖示了一種可能的遍歷路徑，其中按順序遍歷行，沿著與前一行和后一行的遍 歷相反的方向遍歷每個行中的像素。替選地，如圖6Β中所示，可以執(zhí)行對角線遍歷。對于 接近邊緣的像素，可以使用經(jīng)修改的鄰域以便于針對接近邊緣或拐角的像素執(zhí)行基于鄰域 的計算。卷積操作(其中小的值模板與關(guān)于每個像素的對應鄰域相乘以生成通過卷積產(chǎn)生 的圖像的每個像素值)和過濾操作(其中基于沿諸如圖6Α-Β中示出的那些的遍歷路徑的每 個鄰域的像素值進行計算)均是基于鄰域的操作的示例。本發(fā)明的實施例的概況
圖7圖示了由本發(fā)明的方法和系統(tǒng)實施例解決的基本問題。如圖7中所示，包括視頻 信號702的視頻圖像流被輸入到實時視頻處理系統(tǒng)704，實時視頻處理系統(tǒng)704需要實時 地對每個幀執(zhí)行空間操作，包括去噪、銳化和對比度增強，并且對視頻流的時間排序的子集 執(zhí)行包括去模糊的時間處理以便于產(chǎn)生經(jīng)處理的視頻流706。即使是相對低分辨率的視頻 流，其中每個幀具有720X480個像素的尺寸并且相鄰的幀隔開1/30秒的時間間隔，仍包括 視頻處理系統(tǒng)704每秒必須處理的超過10，000，000個像素。然而，各種不同的空間和時間 處理技術(shù)可能需要多次訪問每個像素，并且可能需要在各種不同的緩沖器和數(shù)據(jù)結(jié)構(gòu)之間 傳輸像素值，進一步增加了實時視頻處理系統(tǒng)的相當大的計算開銷。對于許多當前可用的 個人計算機和工作站，個人計算機或工作站中的一個或多個中央處理單元(“CPU”)中可用 的處理帶寬不足以執(zhí)行由廉價的視頻會議系統(tǒng)和其他類型的基于視頻處理的系統(tǒng)產(chǎn)生高 質(zhì)量視頻所需的高質(zhì)量、多步驟處理。圖8圖示了表示本發(fā)明的一個實施例的實時高質(zhì)量視頻處理系統(tǒng)。在圖8中，視頻 流由包括幀802的幀序列表示。表示本發(fā)明的一個實施例的實時視頻處理系統(tǒng)包括由底層 計算機系統(tǒng)或工作站的一個或多個CPU執(zhí)行的噪聲和對比度模塊804，以及由計算機系統(tǒng) 或工作站中的一個或多個特殊圖形處理單元(“GPU”)執(zhí)行的三個模塊806、808和810。由一 個或多個GPU執(zhí)行的三個模塊包括(1)多尺度去噪、銳化和對比度增強模塊806 ； (2)運動 檢測部件808 ；和(3)自適應時間處理模塊810。如圖8中所示，噪聲和對比度模塊804僅對 視頻流中的以固定的或可變的時間或者幀間隔出現(xiàn)的少數(shù)選定幀(例如圖8中的幀812和 813)進行操作。噪聲和對比度模塊產(chǎn)生的結(jié)果常常在相當大的幀區(qū)間上是相對恒定的。而 且，噪聲和對比度模塊執(zhí)行的計算通常不太適用于在底層的計算機系統(tǒng)或設備的一個或多 個GPU上執(zhí)行。這些計算牽涉專用的、復雜的、連續(xù)編程的例程，其通常不會以規(guī)則的或者可預測的模式訪問存儲器，諸如存儲整個二維陣列。而且，將這些計算分解為可以并行執(zhí)行 的較小的任務是困難的和不實際的，并且這些計算通常不利用GPU提供的專用的基于圖像 的向量和矩陣基元。換言之，在這些計算中有效地利用GPU提供的并行的基于專用基元的 接口的機會是相對低的。在一個或多個GPU上執(zhí)行的這三個模塊對視頻流的每個幀進行操 作。對比在一個或多個CPU上的噪聲和對比度模塊執(zhí)行的計算，由多尺度去噪、銳化和對比 度增強模塊，運動檢測部件和自適應時間處理模塊在一個或多個GPU上執(zhí)行的計算是基于 圖像的計算，其適于GPU被設計用于的高帶寬和高度規(guī)則的存儲器訪問操作以及并行向量 和矩陣操作。通過在一個或多個CPU上執(zhí)行噪聲和對比度模塊的連續(xù)計算，并且在一個或 多個GPU上執(zhí)行多尺度去噪、銳化和對比度增強模塊，運動檢測部件和自適應時間處理模 塊的基于圖像的可并行化操作，按并行的方式最佳地充分利用了計算機系統(tǒng)的整體處理帶 寬，并且這些計算分布在CPU和GPU中，因此利用CPU和GPU的不同能力以及到CPU和GPU 的接口。在本發(fā)明的一個實施例中，這三個模塊是分立的，并且按組裝線的方式對視頻幀進 行操作。在替選實施例中，所有三個模塊可以一起被實現(xiàn)為單個模塊。噪聲和對比度模塊是執(zhí)行選定視頻幀的統(tǒng)計分析以便于提供用于后繼空間和時 間處理的參數(shù)值的測量模塊的一個實施例。多尺度去噪、銳化和對比度增強模塊，運動檢測 部件和自適應時間處理模塊一起構(gòu)成通過各種方法對每個視頻幀進行操作以產(chǎn)生對應的 經(jīng)處理的視頻幀的處理模塊的一個實施例，所述方法包括移除噪聲、增強對比度、銳化特征 和使視頻幀去模糊。如圖8中所示，噪聲和對比度模塊804產(chǎn)生結(jié)果，即與灰度值關(guān)聯(lián)的所估計的噪聲 相關(guān)方差或者標準差以及信號對比度相關(guān)方差，其被輸入到多尺度去噪、銳化和對比度增 強模塊806以及運動檢測模塊808。運動檢測模塊808產(chǎn)生輸入到自適應時間處理模塊810 的值。噪聲和對比度模塊804和運動檢測模塊808不會改變視頻幀，但是多尺度去噪、銳化 和對比度增強模塊806和自適應時間處理模塊810均改變視頻流中的每個視頻幀的內(nèi)容。 如參照圖3A-C討論的，多尺度去噪、銳化和對比度增強模塊806執(zhí)行視頻幀的空間處理，并 且如參上文照圖3D-E討論的，自適應時間處理模塊810執(zhí)行包括去模糊的時間處理。自適 應時間處理模塊輸出的增強的幀然后可以由包括本發(fā)明的實時視頻處理系統(tǒng)或與其對接 的各種類型的系統(tǒng)傳送、存儲和再現(xiàn)以便進行顯示。噪聲和對比度模塊
圖9-11圖示了表示本發(fā)明的一個實施例的實時視頻處理系統(tǒng)的噪聲和對比度模塊的 操作。如上文討論的，噪聲和對比度模塊(圖8中的804)表示測量模塊的實施例。從圖9 開始，噪聲和對比度模塊被示出為對選定視頻幀902進行操作以便于產(chǎn)生與該視頻幀相關(guān) 的許多統(tǒng)計函數(shù)。首先，視頻幀被劃分為小的像素塊。在本發(fā)明的某些實施例中，使用8X8 的像素塊，8X8的塊完全覆蓋視頻幀。在替選實施例中，可以使用不同尺寸的塊，并且可以 使用數(shù)目比覆蓋集合小的塊來計算統(tǒng)計函數(shù)。每個塊的平均灰度值或像素值被計算為
權(quán)利要求
1.一種視頻處理系統(tǒng)，其接收視頻幀的輸入流并且輸出增強幀的流以進行存儲、傳 送、和/或再現(xiàn)以用于顯示，所述實時視頻處理系統(tǒng)包括在計算機系統(tǒng)的一個或多個中央處理單元上執(zhí)行的測量模塊，其根據(jù)所述視頻幀的輸 入流的選定幀生成關(guān)于像素值的統(tǒng)計量的一個或多個函數(shù)；以及在計算機系統(tǒng)的一個或多個圖形處理器單元上執(zhí)行的處理模塊，其使用由所述測量模 塊生成的所述關(guān)于像素值的統(tǒng)計量的一個或多個函數(shù)來處理所述視頻幀的輸入流的每個 幀，包括對每個幀進行去噪、銳化、對比度增強和去模糊，以便于輸出增強幀的流。
2.根據(jù)權(quán)利要求1所述的視頻處理系統(tǒng)，其中所述測量模塊通過如下方式之一選擇 根據(jù)其生成所述關(guān)于像素值的統(tǒng)計量的一個或多個函數(shù)的幀按固定幀間隔選擇在所述視頻幀的輸入流中出現(xiàn)的每個幀； 按固定時間間隔選擇在所述視頻幀的輸入流中出現(xiàn)的每個幀； 按可變幀間隔選擇在所述視頻幀的輸入流中出現(xiàn)的每個幀；以及 按可變時間間隔選擇在所述視頻幀的輸入流中出現(xiàn)的每個幀。
3.根據(jù)權(quán)利要求1所述的視頻處理系統(tǒng)，其中所述測量模塊通過如下方式根據(jù)所述 視頻幀的輸入流的選定幀生成關(guān)于像素值的統(tǒng)計量的一個或多個函數(shù)根據(jù)所述幀生成像素塊； 為每個塊計算平均像素值和估計的樣本方差； 將所述塊劃分為分區(qū)，每個分區(qū)與不同的平均像素值關(guān)聯(lián)； 對于每個分區(qū)，基于估計的樣本方差移除離群塊以產(chǎn)生不具有離群塊的塊分區(qū)， 根據(jù)不具有離群塊的塊分區(qū)的許多塊計算噪聲相關(guān)估計方差和/或標準差，所述許多 塊在不具有離群塊的塊分區(qū)的塊中具有最低估計樣本方差，以及 根據(jù)不具有離群塊的塊分區(qū)的塊計算對比度相關(guān)方差；計算關(guān)于像素值的噪聲相關(guān)方差的函數(shù)和/或關(guān)于像素值的噪聲相關(guān)標準差的函數(shù)；以及計算關(guān)于像素值的對比度相關(guān)方差的函數(shù)。
4.根據(jù)權(quán)利要求1所述的視頻處理系統(tǒng)，其中所述處理模塊包括多尺度去噪、銳化和 對比度增強模塊，其通過如下方式對每個輸入幀進行去噪、銳化和對比度增強以生成對應 的經(jīng)空間處理的幀在大于最低分辨率尺度的一個或多個當前考慮的分辨率尺度的每一個下， 使輸入幀或者從所述輸入幀得到的中間幀縮減以產(chǎn)生用于輸入到下一較低分辨率尺 度的中間幀，使從較低分辨率尺度接收到的中間幀放大以產(chǎn)生用于輸出到下一較高分辨率尺度的 中間幀，以及使用關(guān)于像素值的噪聲相關(guān)方差的函數(shù)或者關(guān)于像素值的噪聲相關(guān)標準差的函數(shù)來 計算噪聲相關(guān)閾值，對所述輸入幀或中間幀中的至少一個進行魯棒過濾。
5.根據(jù)權(quán)利要求4所述的視頻處理系統(tǒng)，其中所述處理模塊包括運動檢測模塊和自 適應時間處理模塊。
6.根據(jù)權(quán)利要求5所述的視頻處理系統(tǒng)，其中所述運動檢測模塊通過如下方式生成用于所述多尺度去噪、銳化和對比度增強模塊生成的每個經(jīng)空間處理的幀中的每個像素的 因子ω u 在基于鄰域的操作中，通過如下方式考慮鄰域η (i, j, t)中的在視頻幀流中的時間t處 出現(xiàn)的經(jīng)空間處理的幀中的每個像素(i，j)計算鄰域n(i，j，t)中的每個像素k即n(i，j，t)k和在所述視頻幀流中的時間t-Ι處 出現(xiàn)并且緊鄰在所述視頻幀流中的時間t處出現(xiàn)的經(jīng)空間處理的幀之前的經(jīng)空間處理的 幀的鄰域中的對應像素k即n(i，j, t-l)k之間的差的量值，根據(jù)鄰域n(i，j，t)和鄰域n(i，j，t-l)中的對應像素之間的計算的量值，計算像素 (i，j)的值受噪聲影響的概率Pn。ise以及像素(i，j)的值受運動影響的概率Pm。ti。n，以及h將ω。計算為與比成motion比例。
7.根據(jù)權(quán)利要求6所述的視頻處理系統(tǒng)，其中所述運動檢測模塊如下計算Pn。ise和P .1 motion ·κ4 二Π fx ((" (W),—打(W — 1),)，^ (丄))免-1^tj = Σ /2 (( ‘jA - “ O，J^t欣(L)) k=l其中是計算像素值的差值大于基于統(tǒng)計參數(shù)的閾值(L)和CiC(L)的概率的函數(shù)。
8.根據(jù)權(quán)利要求5所述的視頻處理系統(tǒng)，其中所述自適應時間處理模塊維持歷史幀 H，其表示由所述自適應時間處理模塊輸出的先前的增強幀的遞歸生成的歷史，所述歷史幀 被定義為H=Zf(Et)imtK—1其中Et是對應于視頻流中的時間t的視頻幀的增強幀；以及 f()是返回針對增強幀中的每個像素的值的函數(shù)。
9.根據(jù)權(quán)利要求8所述的視頻處理系統(tǒng)，其中所述自適應時間處理模塊通過如下方 式對每個經(jīng)空間處理的幀執(zhí)行時間處理以產(chǎn)生對應的增強幀對于經(jīng)空間處理的幀中的每個像素(i，j)， 如下計算對應的增強幀像素的值Ε。
10.根據(jù)權(quán)利要求9所述的視頻處理系統(tǒng)，其中，在計算對應于所述視頻幀的輸入流 中的時間t處出現(xiàn)的經(jīng)空間處理的幀的下一增強幀Et之后，所述視頻處理系統(tǒng)將當前的歷史幀H替換為所述下一增強幀Et。
11.根據(jù)權(quán)利要求5所述的視頻處理系統(tǒng)，其中所述運動檢測模塊通過如下方式為所 述多尺度去噪、銳化和對比度增強模塊生成的每個經(jīng)空間處理的幀中的每個像素生成因子在基于鄰域的操作中，通過如下方式考慮鄰域η (i, j, t)中的在視頻幀流中的時間t處 出現(xiàn)的經(jīng)空間處理的幀中的每個像素(i，j)計算鄰域η(i，j, t)中的每個像素k即n(i, j, t)k和在所述視頻幀流中的時間t-Ι處 計算的并且緊鄰在所述視頻幀流中的時間t處出現(xiàn)的經(jīng)空間處理的幀之前的歷史中的對 應像素k即H(i, j, t-l)k之間的差的量值，根據(jù)鄰域n(i，j，t)和歷史H(i，j，t-l)中的對應像素之間的計算的量值，計算像素 (i，j)的值受噪聲影響的概率Pn。ise以及像素(i，j)的值受運動影響的概率Pm。ti。n，以及將、」計算為與比’成比例。
12.根據(jù)權(quán)利要求11所述的視頻處理系統(tǒng)，其中所述運動檢測模塊如下計算Pn。ise和
13.根據(jù)權(quán)利要求10所述的視頻處理系統(tǒng)，其中所述運動檢測模塊和所述自適應時 間處理模塊是以下之一單獨的模塊；以及 單個時間處理模塊中的功能。
14.根據(jù)權(quán)利要求10所述的視頻處理系統(tǒng)，其中所述多尺度去噪、銳化和對比度增強 模塊是以下之一單獨的模塊； 單個處理模塊中的功能。
15.一種用于增強視頻幀的輸入流的方法，所述方法包括在計算機系統(tǒng)的一個或多個中央處理單元上，根據(jù)所述視頻幀的輸入流的選定幀生成 關(guān)于像素值的統(tǒng)計量的一個或多個函數(shù)；以及在計算機系統(tǒng)的一個或多個圖形處理器單元上，使用所述關(guān)于像素值的統(tǒng)計量的一個 或多個函數(shù)處理所述視頻幀的輸入流的每個幀，包括對每個幀進行去噪、銳化、對比度增強 和去模糊，以便于輸出增強幀的流用于存儲、傳送和/或再現(xiàn)以進行顯示。
全文摘要
本發(fā)明的實施例針對用于計算上高效地對視頻幀的流進行去噪、銳化、對比度增強、去模糊和其他空間和時間處理的高效的視頻處理方法和系統(tǒng)。本發(fā)明的實施例使僅針對從視頻流中以固定的或可變的間隔選擇的小百分比的視頻幀執(zhí)行的統(tǒng)計量相關(guān)計算與針對視頻流的每個幀執(zhí)行的各種空間和時間處理步驟分離，所述統(tǒng)計量相關(guān)計算包括估計像素值關(guān)聯(lián)方差、標準差、噪聲閾值和信號對比度閾值。在本發(fā)明的某些實施例中，統(tǒng)計量相關(guān)計算由計算機系統(tǒng)的一個或多個通用處理器執(zhí)行，而逐幀的空間和時間處理由計算機系統(tǒng)中的一個或多個專用圖形處理器執(zhí)行。
文檔編號H04N1/409GK102132554SQ200880130817
公開日2011年7月20日 申請日期2008年6月20日 優(yōu)先權(quán)日2008年6月20日
發(fā)明者基西列夫 P., 謝恩 S. 申請人:惠普開發(fā)有限公司