本原理一般地涉及用于圖像或視頻序列的色調(diào)穩(wěn)定的方法和裝置。

背景技術(shù)：

由低成本攝像機的激增導(dǎo)致的業(yè)余視頻片段的數(shù)量越來越多，使得可見視頻偽影的數(shù)量顯著增加，其中一些是運動和色調(diào)不穩(wěn)定。雖然一些研究人員已經(jīng)研究了運動穩(wěn)定，但是色調(diào)不穩(wěn)定的討論則少得多。

視頻色調(diào)不穩(wěn)定是以序列的相鄰幀的顏色中的波動為特征的特定時間偽影。根據(jù)一種先前方法，在現(xiàn)代視頻中，這些不穩(wěn)定主要是由相機的自動設(shè)置(特別是自動白平衡和自動曝光)引起的。

自動白平衡和自動曝光是消費者數(shù)碼相機的常見特征，其分別旨在提供顏色平衡的和良好曝光的圖像，同時促進用戶體驗。然而，這些特征主要適用于靜止圖像并且無法及時穩(wěn)定，產(chǎn)生視頻中可以感覺到的令人不快的色調(diào)不穩(wěn)定。自動白平衡算法的顯著問題是它們對光源估計的依賴性，其被認(rèn)為是不適定問題。在實踐中和在時間場景變化的上下文中容易違反諸如灰白世界(greyworld)和最大rgb(maxrgb)之類的假設(shè)，因此可能產(chǎn)生色彩不穩(wěn)定。

另一方面，自動曝光是相機補償動態(tài)范圍的固有局限性的關(guān)鍵特征。然而，視頻片段中的快速曝光變化對于觀看者可能是不愉快的，因此快速變化曝光的時間平滑可以潛在地增強視頻的感知質(zhì)量。穩(wěn)定曝光對于依賴于亮度恒定假設(shè)(例如，跟蹤、光流)的計算機視覺應(yīng)用也是有用的。

雖然在某些情況下可以簡單地關(guān)閉自動白平衡，但是低端相機不能控制設(shè)置參數(shù)。在這種情況下，避免不愉快的色調(diào)波動的唯一選擇是進一步處理視頻。文獻中的少數(shù)著作已經(jīng)著手處理視頻中色調(diào)不穩(wěn)定的問題，但先前解決方案僅限于處理特定類型的亮度閃爍或不適合實時應(yīng)用。

本文所描述的實施例提供了用于解決視頻中的色調(diào)穩(wěn)定的快速和參數(shù)化的方法和裝置。一個特征是將色調(diào)穩(wěn)定問題建模為可以用封閉形式解決方案輕松計算的優(yōu)化。此外，考慮幀之間的主要運動，允許該方法計算時間上遙遠(yuǎn)的幀之間的準(zhǔn)確顏色對應(yīng)關(guān)系。所提出的裝置和方法產(chǎn)生更魯棒的和更可靠的色調(diào)穩(wěn)定。

技術(shù)實現(xiàn)要素：

先前技術(shù)的這些和其它缺點和劣勢通過各種描述的實施例來解決，這些實施例涉及用于圖像的數(shù)據(jù)庫的對比度增強的方法和裝置。

根據(jù)一個一般方面，提供了一種用于視頻色調(diào)穩(wěn)定的方法。該方法包括確定圖像與關(guān)鍵幀之間的基于運動的對應(yīng)關(guān)系從而生成空間對應(yīng)關(guān)系函數(shù)。這可以包括在輸入圖像和關(guān)鍵幀之間執(zhí)行運動估計，使圖像變形以與關(guān)鍵幀對準(zhǔn)，以及在對準(zhǔn)的圖像的差異圖上丟棄高于的閾值的值。方法還包括在使用更新的關(guān)鍵幀重復(fù)確定步驟之前，在圖像之間的基于運動的對應(yīng)關(guān)系的數(shù)量大于閾值時更新關(guān)鍵幀，以及在基于運動的對應(yīng)關(guān)系的數(shù)量小于閾值時對圖像執(zhí)行顏色校正。顏色校正可以包括對空間對應(yīng)關(guān)系函數(shù)中的一組點執(zhí)行回歸；以及對圖像執(zhí)行變換從而最小化圖像與關(guān)鍵幀之間的顏色差異。

根據(jù)另一個一般方面，提供了一種用于視頻色調(diào)穩(wěn)定的裝置。該裝置包括運動估計器，該運動估計器對圖像和關(guān)鍵幀進行操作。裝置還包括圖像處理器，該圖像處理器對圖像和關(guān)鍵幀進行對準(zhǔn)；比較器，該比較器對對準(zhǔn)的圖像的差異圖進行操作以丟棄高于產(chǎn)生空間對應(yīng)關(guān)系函數(shù)的閾值的值；以及電路，該電路在圖像之間的基于運動的對應(yīng)關(guān)系的數(shù)量小于閾值時更新關(guān)鍵幀，并且使得控制重復(fù)運動估計器、圖像處理器和比較器的操作。該裝置還包括第一處理器，該第一處理器在圖像之間的基于運動的對應(yīng)關(guān)系的數(shù)量大于閾值時對空間對應(yīng)關(guān)系函數(shù)中的一組點執(zhí)行回歸；以及第二處理器，該第二處理器對圖像執(zhí)行變換從而最小化所述圖像與所述關(guān)鍵幀之間的顏色差異。

在下面的附圖和描述中詳細(xì)闡述一個或多個實現(xiàn)方式的細(xì)節(jié)。即使以一種特定方式進行描述，但應(yīng)當(dāng)清楚的是，可以以各種方式配置或?qū)嵤崿F(xiàn)方式。例如，實施方式可以執(zhí)行為一種方法，或者體現(xiàn)為一種裝置，例如，被配置為執(zhí)行一組操作的裝置、或存儲用于執(zhí)行一組操作的或?qū)嵤┰谛盘栔械闹噶畹难b置。根據(jù)下面的結(jié)合考慮附圖和權(quán)利要求書的詳細(xì)描述，其他方面和特征將變得顯而易見。

附圖說明

根據(jù)以下示例性附圖可以更好地理解本原理，其中：

圖1示出了原始圖像和經(jīng)過視頻色調(diào)穩(wěn)定的校正示例。

圖2示出了用于視頻色調(diào)穩(wěn)定的流程圖的一個實施例。

圖3示出了用于視頻色調(diào)穩(wěn)定的一些步驟。

圖4示出了根據(jù)本原理的通道直方圖規(guī)范映射。

圖5示出了具有不同曝光和白平衡的圖像的示例。

圖6示出了用冪律模型校正的圖像的示例。

圖7示出了用于視頻色調(diào)穩(wěn)定的方法的一個實施例。

圖8示出了從顏色圖提取的數(shù)據(jù)點以及估計的冪律變換。

圖9示出了間隔拍攝序列的曝光校正的示例。

圖10示出了校正圖9的序列的數(shù)據(jù)點和估計曲線。

圖11示出了用于視頻色調(diào)穩(wěn)定的裝置的實施例。

圖12示出了測試序列中色調(diào)穩(wěn)定的示例。

圖13示出了用于視頻色調(diào)穩(wěn)定的流程圖的實施例。

具體實施方式

所描述的實施例涉及用于基于運動的視頻色調(diào)穩(wěn)定的方法和裝置。

一般來說，色調(diào)穩(wěn)定可以被描述為搜索使序列的多個圖像中的不期望的顏色變化最小化的變換。

本部分呈現(xiàn)了所提出的用于視頻色調(diào)穩(wěn)定的方法的基本原理和主要貢獻。首先，目的是設(shè)想一種具有以下期望屬性的方法：1)對在視頻中的幀之間觀察到的顏色不穩(wěn)定進行建模的準(zhǔn)確性；2)對運動、遮擋和噪音的魯棒性；3)在近實時應(yīng)用中實現(xiàn)的計算簡單性。

在實踐中觀察到，第一屬性(模型準(zhǔn)確性)通常與魯棒性和計算簡單性之類的其他屬性相矛盾。值得注意的是，在色調(diào)變換方面，輻射校準(zhǔn)方法(其可以被認(rèn)為是最準(zhǔn)確的模型)實際上對運動和遮擋是不魯棒的，并且過于復(fù)雜?？紤]到這一點，所提出的方法的目標(biāo)是在這三種屬性之間進行良好的權(quán)衡。

另外，請注意，先前技術(shù)中的現(xiàn)有色調(diào)穩(wěn)定方法不能滿足上述所提及的針對色調(diào)穩(wěn)定的期望屬性。該方法的主要限制是依賴于空間對應(yīng)關(guān)系，然而在相鄰幀的空間坐標(biāo)之間不應(yīng)用運動補償。因此，在兩幀之間的快速運動的情況下，空間對應(yīng)關(guān)系的準(zhǔn)確性可能會受到嚴(yán)重影響。

圖2示出了所提出的用于色調(diào)穩(wěn)定的方法的流程圖，并且圖3呈現(xiàn)了所提出的方法的總體概述。為了實現(xiàn)對運動和遮擋的魯棒性(早期方法的重要限制)，估計參考關(guān)鍵幀uk與要校正的幀ut之間的主要運動。然后，這兩個幀被登記從而計算顏色對應(yīng)關(guān)系。請注意，通過累積運動，我們能夠登記ut和uk，即使它們在時間上相差幾幀。最后，使用顏色對應(yīng)關(guān)系來估計用于校正色調(diào)不穩(wěn)定的顏色變換。

所提出的方法與現(xiàn)有技術(shù)相比的貢獻可以歸納如下：

1.運動驅(qū)動方法：使用通過主要運動估計和補償獲得的幀之間的準(zhǔn)確顏色對應(yīng)關(guān)系。

2.時間上更長的色調(diào)一致性(通過使用通過運動累積獲得的長期運動估計)。

3.提出了一種用于顏色校正的計算簡單而且有效的參數(shù)模型。

對于所提出的算法的應(yīng)用，需要對要校正的序列和要建模的顏色波動進行一些假設(shè)。具體地，假設(shè)：

1.序列(無場景剪切)中的相鄰幀之間存在空間對應(yīng)關(guān)系(或內(nèi)容冗余)；

2.存在可以補償幀之間的比色像差(colorimetricaberration)的全局變換。

針對由單次拍攝組成的每個序列，只要沒有經(jīng)過場景幾何的極端變化(即，幾乎完全遮擋)或輻射測量的極端變化(即，照明或飽和度的巨大變化)，第一假設(shè)被確認(rèn)。第二假設(shè)意味著觀察到的顏色不穩(wěn)定以及相機響應(yīng)函數(shù)是全局的(空間不變的)。換句話說，所提出的方法不適合校正局部色調(diào)不穩(wěn)定，例如，在舊歸檔電影中觀察到的局部閃爍。

以下子部分詳細(xì)討論了所提出的方法的每個主要步驟(在圖3中)。為了簡單起見，接下來描述色調(diào)變換模型，首先假設(shè)沒有運動的圖像之間的顏色校正的最簡單情況。在序列中，所提出的模型被用來處理包括運動的序列的色調(diào)穩(wěn)定的一般情況。最后，該方法的有效性是根據(jù)實際序列的實驗和與現(xiàn)有技術(shù)相比較來描述的。

色調(diào)變換模型

在本部分中，描述了用于校正色調(diào)不穩(wěn)定的色調(diào)變換模型。具體地，考慮在使用相同相機拍攝的圖像中觀察到色調(diào)不穩(wěn)定的情況，因此色調(diào)變化是由相機自動參數(shù)特別引起的。

根據(jù)一個先前方法，完整顏色獲取模型由以下等式給出

其中表示顏色相機響應(yīng)，ts是表示相機顏色空間變換的3×3矩陣(一直為常數(shù))，u是觀察到的強度，e是輻射照度；tw是表示白平衡和曝光中的變化的對角矩陣(隨時間而變化)并且其由以下等式給出

設(shè)u0和u1為由相同相機拍攝的兩個完美登記的圖像，僅在白平衡和曝光方面有所不同(使得這些圖像具有相同輻射照度e)。將h＝f(ts)表示為恒定的相機響應(yīng)的分量，則

并且

現(xiàn)在，校正u0和u1之間的色調(diào)差異的簡單方法是將u0的顏色變換為具有u1的相同色調(diào)特性，使得

因此，在理論上，圖像u0和u1之間的色調(diào)穩(wěn)定可以用在相機傳感器空間中執(zhí)行的簡單對角變換(由非線性變換h和h^-1給出)來實現(xiàn)。這種色調(diào)穩(wěn)定模型靈感來自于作為在raw圖像形式中已知輻射照度e＝[er，eg，eb]時執(zhí)行相機顏色變換的準(zhǔn)確過程的輻射校準(zhǔn)，允許估計為h。然而，對于色調(diào)穩(wěn)定的問題，我們面臨著使用低成本相機拍攝的視頻，我們無法做出計算輻射校準(zhǔn)所需的通常假設(shè)。估計相機響應(yīng)函數(shù)所需的相同場景的多次曝光的假設(shè)對于某些序列可能無效，并且raw-srgb對應(yīng)關(guān)系在實踐中也不可用。

根據(jù)剛剛列出的用于視頻色調(diào)穩(wěn)定的期望屬性，輻射校準(zhǔn)模型雖然準(zhǔn)確，但是過于復(fù)雜，并且不足以應(yīng)用于未知輻射照度的序列的色調(diào)穩(wěn)定?，F(xiàn)在的問題是當(dāng)唯一知道的信息是在u0和u1中觀察到的強度時如何近似這個模型？

雖然觀察到的圖像沒有提供足夠的信息來導(dǎo)出使其色調(diào)特征標(biāo)準(zhǔn)化的確切顏色變換，但是在本文中提出了這個問題的有效解決方案，其來自色調(diào)強度映射(例如，亮度或顏色傳遞函數(shù))，其可以通過參數(shù)估計方法或非參數(shù)估計方法來計算。接下來，描述每種估計方法的優(yōu)缺點，并且提供了針對所提出的選擇的動機。

非參數(shù)顏色變換或參數(shù)顏色變換

非參數(shù)顏色變換模型并沒有對變換的類型做出明確的假設(shè)，允許對非線性變換進行建模，但是存在缺乏規(guī)律性的風(fēng)險，需要后處理正則化。

非參數(shù)顏色變換的一些值得注意的例子是加權(quán)插值和直方圖規(guī)范。如前所述，加權(quán)插值(例如，先前技術(shù)中的色調(diào)穩(wěn)定方法中提出的)具有在存儲器要求和處理時間兩者方面計算復(fù)雜的缺點。應(yīng)當(dāng)注意，顏色插值(例如，由另一先前方法提出的)實際上是類似于直方圖規(guī)范的全局變換，主要區(qū)別在于根據(jù)空間對應(yīng)關(guān)系來計算插值，而直方圖規(guī)范是根據(jù)強度累積直方圖來計算。

經(jīng)典直方圖規(guī)范可以成為解決色調(diào)穩(wěn)定問題的有效替代方案(通道規(guī)范僅需要o(nlogn)計算，其中n是圖像中的像素數(shù)量)。然而，直方圖規(guī)范存在眾所周知的限制。實際上，它可能導(dǎo)致需要后處理的對比度拉伸和量化偽影，并且變換的范圍外推并不總是可能的，特別是在處理顏色時。以圖4所示的變換為例，其示出了通道直方圖規(guī)范。注意，圖4中的紅色和藍(lán)色變換曲線受到突然跳躍的影響，這在變換后得到的圖像中產(chǎn)生強烈的偽影。

另一方面，參數(shù)模型假設(shè)變換可以通過給定的函數(shù)(例如，線性、仿射和多項式)進行建模，因此通過估計變換的系數(shù)來解決問題。盡管不能靈活建模任何形式的變換，但參數(shù)模型具有由平滑和規(guī)則的函數(shù)表達(dá)的重要優(yōu)點，對于整個顏色范圍進行了明確定義，因此外推并不成問題。此外，因為通過很少的參數(shù)來描述變換，所以降低了時間上的振蕩風(fēng)險。

在數(shù)碼相機中實現(xiàn)的大多數(shù)白平衡算法使用簡單的參數(shù)模型來調(diào)整通道縮放，這是在raw圖像中執(zhí)行的vonkries對角變換(實際上，一些相機白平衡算法僅補償紅色通道和藍(lán)色通道，而綠色通道不受影響)。然而，如在色調(diào)變換模型的討論中所描述的，應(yīng)用于srgb圖像的對角線模型不能建模相機響應(yīng)的固有非線性。

沒有足夠的信息來導(dǎo)出用于顏色穩(wěn)定的精確色調(diào)變換模型，無論它是參數(shù)變換還是非參數(shù)變換。因此，需要足夠簡單以被快速計算的、并且足夠準(zhǔn)確以產(chǎn)生視覺上愉悅的色調(diào)穩(wěn)定序列的色調(diào)變換模型。在使用不同的參數(shù)模型和非參數(shù)模型(直方圖規(guī)范、樣條插值、分段線性函數(shù)、對角線模型)進行實驗之后，冪律變換已經(jīng)顯示出最符合上述標(biāo)準(zhǔn)。

冪律顏色變換

為了簡單起見，本子部分描述了所提出的假設(shè)用于在不包括運動的序列中校正色調(diào)不穩(wěn)定的色調(diào)變換模型。稍后將介紹包括運動的序列的一般情況。

校正非線性色調(diào)不穩(wěn)定的假設(shè)是，幀之間的曝光差異可以由指數(shù)因子來近似，而白平衡校正可以由對角線顏色重新縮放來近似。參數(shù)冪律模型在共同滿足這些假設(shè)方面是成功的。形式上，設(shè)uk為參考圖像和ut為要校正的圖像，假設(shè)圖像被完美地登記，并且ut和uk之間的冪律關(guān)系由以下形式的函數(shù)給出

其中，c＝{r，g，b}表示圖像顏色通道，x∈ω表示域上的空間坐標(biāo)?，F(xiàn)在的問題是估計最優(yōu)系數(shù)αc，γc，以便我們最小化均方誤差

非線性等式8在αc和γc上的最小化沒有分析解，但是等式7中的冪律可以由以下等式重寫

loguk(x，c)＝γclogut(x，c)+logαc(9)

并且可以通過作為在對數(shù)域中定義的仿射函數(shù)的線性最小二乘擬合求解：

其中現(xiàn)在，通過設(shè)置以下等式來解等式10

從而導(dǎo)出公知的單變量線性回歸的分析解：

獲得系數(shù)αc和γc的這個解決方案具有一些期望屬性：它在計算上是簡單和精確的，保證在o(n)迭代中收斂(在數(shù)量為n的對應(yīng)點上是線性的，n＝#ω)。作為注釋，注意，最小化等式8顯然不等于最小化等式10。已知當(dāng)在對數(shù)域中擬合仿射函數(shù)時，損失函數(shù)e也變?yōu)閷?shù)，這意味著根據(jù)低值計算的殘差將傾向于具有比根據(jù)高值計算的殘差更多的權(quán)重。對于我們的顏色校正的應(yīng)用，這意味著估計可以對暗顏色異常值的存在特別敏感。雖然分析解是快速和準(zhǔn)確的(對于非線性誤差)，但是對于線性均方誤差的更高回歸準(zhǔn)確性，該解可以用諸如梯度下降之類的數(shù)值方法來計算。

可以評估使用r²(確定的系數(shù))的冪律模型的準(zhǔn)確性，其給出關(guān)于模型的擬合準(zhǔn)確性的一些信息。該系數(shù)是回歸線近似于實際數(shù)據(jù)點的程度的統(tǒng)計量度。例如，r²為1表示回歸線完美擬合數(shù)據(jù)。在這種情況下，優(yōu)選的是評估回歸線在對數(shù)域中的擬合程度，因此擬合準(zhǔn)確性由以下等式給出

其中，

可以用從相同場景拍攝的其中在相機曝光和白平衡中存在變化的圖像來說明冪律關(guān)系。圖5示出了由智能手機拍攝的相同場景的一系列照片。每張圖片被調(diào)整(使用相機設(shè)置)以具有不同的曝光或白平衡，因此可以通過研究第一張圖片和剩下的圖片之間的顏色傳遞函數(shù)來分析色調(diào)變化。更具體地說，為了利用macbeth顏色圖作為參考，使用圖中每種顏色的中值顏色值來估計冪律變換。圖8繪制了來自第一張圖片的顏色與剩下的圖片的顏色之間的函數(shù)關(guān)系的圖示。注意，圖8的左列繪制了普通線性圖示，其中觀察到非線性關(guān)系。在右列中繪制了對數(shù)-對數(shù)圖示，其中函數(shù)關(guān)系現(xiàn)在近似為線性。最后，圖6示出了用估計的冪律顏色變換校正之后的相同系列的圖像。注意，在顏色校正之后，顏色被有效地穩(wěn)定。然而，仔細(xì)觀察，仍然可以注意到第一張圖片和剩下的圖片之間有一些顏色差異。這是由于以下事實，模型是近似的，并且可能會在飽和顏色(其無法在沒有附加的相機信息的情況下進行映射)中失敗。此外，注意，在本實驗中，白平衡和曝光的變化是極端的，在視頻拍攝中不太可能觀察到白平衡的這種極端變化。此外，在對數(shù)域上擬合r²的適合性大于針對在該示例中示出的所有計算回歸的0.9，其示出了顏色強度之間的關(guān)系實際上在對數(shù)尺度中近似線性。

提出的色調(diào)變換模型也可以有效地應(yīng)用于僅補償曝光不穩(wěn)定。圖9示出了來自間隔拍攝序列的原始版本和校正版本的五個幀。由于運動異常值的影響不會影響估計的色調(diào)變換的準(zhǔn)確性，所以不包括運動的序列(例如，間隔拍攝視頻)對驗證色調(diào)校正模型是有意義的。在圖10中，我們示出了rgb點和rgb估計曲線的圖示，從而根據(jù)與第一幀的對應(yīng)關(guān)系來變換每個幀。注意，冪律變換適合強度分布。

最后，我們注意到，顏色變換的冪律模型通常用于電影后期制作中的顏色分級。asccdl(美國電影攝影師協(xié)會色彩決策表)是用于交換來自不同制造商的設(shè)備和軟件之間的顏色分級參數(shù)的格式。格式由三個參數(shù)斜率(α)，偏移(β)和冪(γ)定義，它們獨立地應(yīng)用于每個顏色通道：

t(u)＝(αu+β)^γ.(16)

這種變換通常應(yīng)用于特定于顏色分級軟件的顏色空間(例如davinciresolve中的yrgb顏色空間)。與asccdl相比，我們的參數(shù)模型類似地基于冪系數(shù)和斜率系數(shù)，無偏移，這有利于我們用分析表達(dá)式計算最優(yōu)參數(shù)。

運動和時間一致性模型

雖然完美登記的圖像的假設(shè)是方便的起點，但是顯然在實踐中，在大多數(shù)序列中觀察到運動。運動估計由本方法提出，從而通過考慮一對幀之間的移動以及序列中的幾個幀之間的移動來保證色調(diào)穩(wěn)定。

有許多運動估計方法，一些示例是主要全局運動估計、密集光流和稀疏特征跟蹤。對于估計由基于運動的對應(yīng)關(guān)系導(dǎo)出的色調(diào)變換的當(dāng)前任務(wù)，假設(shè)期望具有密集的對應(yīng)關(guān)系，從而利用均勻強度區(qū)域之間的對應(yīng)關(guān)系來估計準(zhǔn)確的顏色變換。

具體地，本技術(shù)依賴于幀之間的主要運動估計，主要是出于權(quán)衡的考慮。與密集光流相比，主要運動在計算上更簡單(可以實時計算)，然而，主要運動不提供像素準(zhǔn)確性。但主要運動通?？紤]相機運動，并且視頻中看到的色調(diào)不穩(wěn)定通常與相機運動相關(guān)。與嚴(yán)重依賴準(zhǔn)確運動的任務(wù)(即，視頻運動穩(wěn)定)相反，為了估計補償幀之間的色調(diào)差異的顏色變換，不需要高度準(zhǔn)確的運動描述。

將和表示為序列中的兩個相鄰的幀(使得t＝k+1)，我們可以假設(shè)ut和uk描繪相同的場景，僅因小空間位移而不同。然后，可以由全局變換a來描述這些幀之間的2d運動，使得和ut(a(ω))表示uk和ut的登記(運動補償對準(zhǔn))，其中是uk中的空間坐標(biāo)的子集。更具體地，我們將a表示為考慮仿射變形的矩陣，考慮幀之間的尺度、平移和旋轉(zhuǎn)變換，這可以被認(rèn)為是復(fù)雜性和代表性之間的很好的權(quán)衡。然后，

其中x＝(x1，x2)表示原始像素坐標(biāo)，a(x)是在點x處建模的仿射流向量，并且(a1,…,6)是估計的運動系數(shù)。我們基于先前技術(shù)方法中魯棒的參數(shù)運動估計方法來估計系數(shù)。該方法通過具有m估計量損失函數(shù)(tukey'sbiweight)的迭代再加權(quán)最小二乘法(irls)來計算時空梯度的最優(yōu)仿射運動系數(shù)。已知這種損失函數(shù)與通常的二次誤差相比對運動異常值更加魯棒。該方法還考慮到亮度偏移作為放寬亮度恒定假設(shè)(其指出來自相同對象的像素強度不隨時間的推移而改變)以處理場景照明中的微小變化的簡單方法。

在考慮相鄰幀ut和uk(其中t＝k+1)之間的運動估計的情況之后，我們通過若干幀概括了用于不同于t的任意k的情況的方法。具體地，對于視頻色調(diào)穩(wěn)定，期望利用若干幀之間的運動估計從而保證更長的色調(diào)一致性。然而，長期運動估計是具有挑戰(zhàn)的問題，基于時空梯度的方法不能處理幀之間的直接大運動估計。處理較大位移的通常變通方法是估計來自多個圖像分辨率的運動，但是即使這樣，在估計多個幀之間的大運動時多分辨率估計是不準(zhǔn)確的。換句話說，基于先前方法的可靠的參數(shù)主要運動估計僅限于幀間運動。

在實踐中，幀間運動的簡單累積被用作長期運動的近似，其可用于估計色調(diào)變換。形式上，假設(shè)t＞＞k(關(guān)鍵幀在“過去”)并且s＝(t-k)-1是ut和uk中的場景重疊的時間尺度，從ut到uk的累積仿射運動由以下等式給出

其中at，k表示根據(jù)幀ut到uk估計的運動系數(shù)。有了估計at，k，我們可以將ut變形為uk從而獲得具有已知運動補償對應(yīng)點的登記的一對圖像，其由以下等式定義

其中然而，應(yīng)當(dāng)注意，運動估計是粗略的全局近似，并且可能包括因遮擋、非主要(對象)運動、或at，k中簡單的不準(zhǔn)確系數(shù)而產(chǎn)生的誤差。因此，可以丟棄運動異常值從而保證準(zhǔn)確的顏色變換。一種方法是計算對準(zhǔn)的圖像之間的差異圖，并且認(rèn)為該差異圖上高于閾值的值將對應(yīng)于異常值。然而，差異圖基于強度值的殘差，應(yīng)當(dāng)注意，強度差異在幀之間的亮度和顏色變化下是不可靠的。

因此，首先計算對準(zhǔn)的圖像之間的色調(diào)差異的粗略的輻射補償作為降低混淆運動異常值與色調(diào)差異的風(fēng)險的措施。接下來，根據(jù)校正的變形的幀來計算差異圖，該校正的變形的幀將丟棄運動異常值并且保持比色差異，這對于估計顏色變換是至關(guān)重要的。

形式上，異常值移除方法可以歸納如下。設(shè)為兩個幀ut和uk之間共享的對應(yīng)空間坐標(biāo)(運動重疊)集合。是通過累加幀到幀運動來計算的，使ut變形以將其與關(guān)鍵幀uk對準(zhǔn)從而將登記到ut(at，k(ωt))。由于包括運動異常值，拒絕異常值數(shù)據(jù)，要首先考慮對準(zhǔn)的幀之間的可能的色調(diào)差異，以便這些差異不被視為異常值。給定對準(zhǔn)的當(dāng)前幀和關(guān)鍵幀之間的色調(diào)差異通過簡單的平均值移位來補償：

最后，由運動異常值過濾的對應(yīng)空間坐標(biāo)的集合由以下等式定義

其中σ是經(jīng)驗噪聲，其可以是ut和uk中的噪聲方差的估計(用來自先前技術(shù)方法的噪聲估計方法)或近似值。

基于時間上遙遠(yuǎn)的幀ωt，k之間的空間對應(yīng)關(guān)系的集合，本原理可以估計時間上一致的色調(diào)變換，以便補償色調(diào)不穩(wěn)定。通過考慮長期運動，實現(xiàn)了色調(diào)一致性不會從幀到幀丟失。

運動驅(qū)動色調(diào)穩(wěn)定

在描述運動驅(qū)動色調(diào)穩(wěn)定時，首先考慮理想對稱運算符。該變換具有相對于時間方向不變的期望屬性，避免了對關(guān)鍵幀的顏色的偏差。該定義產(chǎn)生與在至少一種其他方法中提出的運算符類似的對稱時間尺度校正：

其中s是校正的時間尺度，ti是由λi加權(quán)的色調(diào)變換，假設(shè)λi是高斯加權(quán)，旨在更加重視根據(jù)在時間上接近ut的幀估計的變換。這個運算符可以被看作是計算ut的色調(diào)穩(wěn)定作為若干加權(quán)變換的組合的時間平滑。在實踐中，st運算符需要估計要校正的每個幀的2s變換，這在計算上是昂貴的，并且即使s被設(shè)置為小的，校正然后面臨不夠有效的風(fēng)險。這個方法適用于高頻閃爍穩(wěn)定，因為閃爍可以用針對有限時間尺度定義的運算符進行濾波。另一方面，由相機參數(shù)產(chǎn)生的色調(diào)波動可能需要更大的時間尺度才能被適當(dāng)?shù)匦Ｕ?/p>

需要運算符st的更快并且有效的替代，其中需要較少的計算來校正每個幀。具體地，在加權(quán)變換中需要控制不期望的估計偏差和偏移。為了簡單起見，假設(shè)順序色調(diào)穩(wěn)定的起點是序列的第一幀，則色調(diào)穩(wěn)定的解決方案可以被看作是時間預(yù)測，其中基于先前已知的色調(diào)狀態(tài)來預(yù)測ut的正確色調(diào)外觀。這通常是用于順序即時校正的應(yīng)用的情況，例如，補償視頻會議中的實況相機的色調(diào)波動。即使對于順序色調(diào)穩(wěn)定，也可以通過組合正向和反向校正來近似對稱屬性。

算法1示出了所提出的順序運動驅(qū)動色調(diào)穩(wěn)定。對于每個幀ut，我們想要找到被定義為tt(ut)的rgb變換的三元組，其使ut和uk之間的色調(diào)差異最小化。設(shè)m(ut，uk)表示以下函數(shù)，采用兩個幀為參數(shù)，計算它們的運動估計、變形和異常值拒絕，產(chǎn)生作為輸出的可靠空間對應(yīng)關(guān)系。因此，色調(diào)變換是基于由坐標(biāo)ωt，k＝m(ut，uk)給出的數(shù)據(jù)點集合的回歸的。

通過估計最優(yōu)系數(shù)αc和γc來解決色調(diào)穩(wěn)定問題，其將ut的顏色變換為關(guān)鍵幀uk的顏色，以便我們最小化平方誤差之和：

從ut開始，在#ωt，k≥ωn時，我們針對后續(xù)的幀重復(fù)圖2所示的主要步驟(運動估計、變形、顏色變換估計、顏色校正)，其中ω是運動重疊閾值，通常被設(shè)置為0.25，并且n是幀ut中的像素的數(shù)量。當(dāng)ut和uk之間的重疊區(qū)域的基數(shù)#ωt，k不再足夠大以允許準(zhǔn)確的顏色估計時，關(guān)鍵幀uk被更新為先前校正的幀tt-1(ut-1)。

作為正則化關(guān)注，我們可以確保通過應(yīng)用時間權(quán)重λ，變換幀tt(ut)不會大大偏離ut的原始內(nèi)容：

參數(shù)λ被設(shè)置為根據(jù)當(dāng)前幀和關(guān)鍵幀之間的運動指數(shù)地下降的權(quán)重(指數(shù)遺忘因子)。

此外，當(dāng)我們應(yīng)用我們的方法來補償曝光變化時，我們可以使用16位圖像，因此在顏色變換后不需要剪切大于255的強度。然后，我們得到的結(jié)果是具有隨時間而增加的動態(tài)范圍的序列，并且在適當(dāng)?shù)母邉討B(tài)范圍顯示中，該序列實際上可以在不丟失強度信息的情況下被可視化。

針對所有后續(xù)ut+m幀，重復(fù)圖13所示的步驟(運動估計、變形、顏色變換估計、顏色校正)，直到#ωt，k＜ω×n，其中#ωt，k表示相應(yīng)集合的基數(shù)。當(dāng)滿足這個條件時，這意味著ut和uk之間的重疊區(qū)域的基數(shù)不再足夠大以允許準(zhǔn)確的顏色估計。在這種情況下，關(guān)鍵幀uk更新為ut-1。

與從幀到幀傳播變換的先前方法相反，所提出的方法保證關(guān)鍵幀的時間鄰域之間更長的色調(diào)一致性。換句話說，這種方法從關(guān)鍵幀到關(guān)鍵幀傳播色調(diào)變換，從而通過使用更大的時間尺度來控制色調(diào)誤差的累積。

視頻色調(diào)穩(wěn)定問題的一個重要方面是，由于固有的相機動態(tài)范圍限制，并不總是期望色調(diào)外觀的完整時間保持。事實上，由相機自動曝光引起的色調(diào)不穩(wěn)定可能會在視覺上令人不安，但如果相機曝光發(fā)生巨大變化，則應(yīng)在一定程度上保持色調(diào)外觀的變化，以避免過度曝光。為了處理這個方面，可以執(zhí)行時間加權(quán)的顏色變換，或者另外可以增加序列在時間中的動態(tài)范圍。

時間加權(quán)

作為正則化關(guān)注，為了確保變換tt(ut)不會大大偏離ut的原始內(nèi)容，權(quán)重λ被應(yīng)用：

類似的加權(quán)校正在先前方法中被使用，其中提出將λ：＝0.85作為遞歸去閃爍的遺忘因子。提出權(quán)重λ可隨時間變化，根據(jù)時間距離或根據(jù)ut和uk之間的運動，假設(shè)內(nèi)容相對于關(guān)鍵幀更接近的幀在色調(diào)校正中應(yīng)該獲得更高的權(quán)重。由于已知將ut變形為uk的仿射運動參數(shù)at，k，可以計算出與這兩個幀的粗略空間距離，并且由以下等式給出：

其中||vuk||表示主要運動向量vuk的范數(shù)，p是最大空間位移(圖像中的行數(shù)+列數(shù))，λ0是指數(shù)衰減率(實際上在這里，設(shè)λ0＝0.5)。另一種可能性是根據(jù)ut和uk之間的時間距離對校正進行加權(quán)：

其中d是序列中的幀的數(shù)量。在這個意義上，這個想法是減小從當(dāng)前幀起具有大運動位移的幀的影響。令人感興趣的是，在顏色感知領(lǐng)域所做的工作表明，當(dāng)刺激速度增加時，色度和對比度靈敏度函數(shù)指數(shù)地下降。因此，這里提供的是運動依賴λ在某種程度上具有感知動機。

增加時間動態(tài)范圍

實際上，無論是否發(fā)生強烈的亮度變化，所提出的方法都能保證整個序列的嚴(yán)格色調(diào)穩(wěn)定。對于其中亮度變化平滑的序列，結(jié)果在視覺上是令人滿意的，然而，當(dāng)校正在曝光方面具有顯著變化的序列時(例如，從非常暗到非常明亮的環(huán)境)，已經(jīng)觀察到在最終結(jié)果中存在飽和和剪切。為了解決這個問題，可以使用更高的動態(tài)范圍，以便不需要剪切大于2⁸-1＝255(8位圖像中每個顏色通道的最大強度值)的顏色強度。

通過使用16位圖像可以實現(xiàn)更大的強度，這樣在顏色變換之后不需要剪切大于255的強度。這產(chǎn)生具有隨時間而增加的動態(tài)范圍的序列，并且在適當(dāng)?shù)母邉討B(tài)范圍顯示中，該序列實際上可以在不丟失強度信息的情況下被可視化。

然而，在實踐中，序列需要被變換回8位，以便在標(biāo)準(zhǔn)的低范圍顯示中顯示它。替代地，可以應(yīng)用選擇的色調(diào)映射運算符來渲染低動態(tài)范圍圖像，而不是剪切超過極限的所有強度。具體地，可以使用對數(shù)色調(diào)映射運算符。給定強度值i，和整個序列z的最大強度值，對數(shù)色調(diào)映射運算符m由以下等式給出

圖12示出了當(dāng)應(yīng)用色調(diào)穩(wěn)定時的強度剪切的潛在問題，以及用時間色調(diào)映射運算符或時間權(quán)重來減弱它的效果。

附加實現(xiàn)細(xì)節(jié)

在實踐中，可選的平滑(雙邊濾波)被應(yīng)用于ut和uk從而減少噪聲異常值在色調(diào)變換的估計中的影響。請注意，對于曝光良好的序列(其中色調(diào)不穩(wěn)定主要是由于白平衡波動)，此步驟不是必需的。然而，當(dāng)面對受噪聲強烈影響的序列時，建議使用平滑。

為了節(jié)省處理時間，對于運動估計和顏色變換估計的原始幀進行重新縮放(120像素寬)，這反過來不會在色調(diào)穩(wěn)定準(zhǔn)確性中產(chǎn)生明顯的損失。此外，代替應(yīng)用冪律顏色變換來校正由n個像素構(gòu)成的完整原始幀，為每個顏色通道構(gòu)建一個查找表(lut)，并且然后針對每個lut獨立計算冪律。這將冪律計算的數(shù)量從3×n(針對4k視頻分辨率，超過1600萬)減少到僅3×256＝768。

在實踐中，已經(jīng)觀察到ω(其中，ω可以看作ut和uk之間的幾何相似性閾值)的最優(yōu)值取決于運動估計的準(zhǔn)確性。如果運動不準(zhǔn)確，則ω的更大的值可以是優(yōu)選的，使得運動估計誤差隨時間較少地累積。一般來說，已經(jīng)觀察到在大多數(shù)情況下ω：＝0.25產(chǎn)生穩(wěn)定的顏色變換。

本文描述的一般方面提出了一種有效的色調(diào)穩(wěn)定方法，輔以組合的運動估計和冪律色調(diào)變換。簡單的六參數(shù)顏色變換模型足以提供由自動相機參數(shù)引起的色調(diào)穩(wěn)定，而無需依賴任何有關(guān)相機模型的先驗知識。

與現(xiàn)有技術(shù)相比，所提出的算法對于包括運動的序列是魯棒的，它通過長期色調(diào)傳播的方式來降低色調(diào)誤差累積，并且不要求執(zhí)行高空間和時間計算復(fù)雜度。

此外，所提出的方法的主要優(yōu)點之一是在實踐中它可以被在線地應(yīng)用，為實時視頻處理應(yīng)用(例如，視頻會議或?qū)崟r廣播的色調(diào)補償)提供潛力。

圖7中示出了用于圖像的色調(diào)穩(wěn)定的方法700的一個實施例。方法從開始框701開始，并且進行到框710以用于確定基于運動的對應(yīng)關(guān)系。該框可以包括在圖像和關(guān)鍵幀之間執(zhí)行運動估計，使圖像變形以與關(guān)鍵幀對準(zhǔn)，以及在所述對準(zhǔn)的圖像的差異圖上丟棄高于閾值的值?？?10生成空間對應(yīng)關(guān)系函數(shù)?？刂迫缓髲目?10進行到框720，以用于確定圖像之間的基于運動的對應(yīng)關(guān)系的數(shù)量是否大于某個預(yù)定閾值。如果不是，則控制從框720進行到框730以更新關(guān)鍵幀?？刂迫缓髲目?30進行到框710，以重復(fù)確定基于運動的對應(yīng)關(guān)系。如果在框720中基于運動的對應(yīng)關(guān)系的數(shù)量大于預(yù)定閾值，則控制進行到框740以用于執(zhí)行顏色校正?？?40可以包括對空間對應(yīng)關(guān)系函數(shù)中的一組點執(zhí)行回歸，以及對圖像執(zhí)行變換從而最小化圖像與關(guān)鍵幀之間的顏色差異。在方框740之后，可以將每個色調(diào)穩(wěn)定的圖像添加到圖像序列中。

圖11中示出了用于圖像的色調(diào)穩(wěn)定的裝置1100的一個實施例。該裝置包括運動估計器1110，該運動估計器對圖像和關(guān)鍵幀進行操作，圖像與運動估計器的第一輸入信號連接，并且關(guān)鍵幀與運動估計器的第二輸入信號連接。運動估計器的第一輸出和第二輸出與圖像處理器1120的兩個輸入信號連接。運動估計器的第三輸出可以向圖像處理器1120提供運動估計細(xì)節(jié)。圖像處理器1120對圖像和關(guān)鍵幀進行對準(zhǔn)。圖像處理器1120的輸出與比較器/丟棄功能電路1130信號連接，該比較器/丟棄功能電路對對準(zhǔn)的圖像和關(guān)鍵幀的差異圖進行操作，并且丟棄高于產(chǎn)生空間對應(yīng)關(guān)系函數(shù)的閾值的值。比較器/丟棄功能電路1130還確定輸入圖像和關(guān)鍵幀之間的基于運動的對應(yīng)關(guān)系的數(shù)量是高于預(yù)定閾值還是低于預(yù)定閾值。如果輸入圖像和關(guān)鍵幀之間的基于運動的對應(yīng)關(guān)系的數(shù)量小于預(yù)定閾值，則比較器/丟棄功能電路1130的一個輸出與關(guān)鍵幀更新電路1140的輸入信號連接，該關(guān)鍵幀更新電路更新關(guān)鍵幀，并且使用從關(guān)鍵幀更新電路1140輸出的更新的關(guān)鍵幀，使得控制返回至運動估計器。

然而，如果比較器/丟棄功能1130確定輸入圖像和關(guān)鍵幀之間的基于運動的對應(yīng)關(guān)系的數(shù)量大于預(yù)定閾值，則第一處理器1150接收與其輸入信號連接的比較器/丟棄功能1130的輸出。第一處理器1150對空間對應(yīng)關(guān)系函數(shù)中的一組點執(zhí)行回歸，并將其輸出至第二處理器1160的輸入。第二處理器1160執(zhí)行圖像的變換從而最小化圖像和關(guān)鍵幀之間的顏色差異。然后可以將色調(diào)穩(wěn)定的圖像添加回到穩(wěn)定的圖像序列中。第一處理器1150和第二處理器1160還接收圖像和關(guān)鍵幀作為輸入。

本說明書描述了本原理。因此，應(yīng)當(dāng)理解，本領(lǐng)域技術(shù)人員將能夠設(shè)計出各種布置，其雖然在本文中未明確描述或顯示，但體現(xiàn)了本原理并因此被包括在本原理之內(nèi)。

本文所述的所有示例和條件語言旨在用于教學(xué)目的以幫助讀者理解由(一個或多個)發(fā)明人貢獻以促進本領(lǐng)域的本發(fā)明原理和概念，并且將被解釋為不限于這些具體列舉的示例和條件。

此外，本文中陳述本原理的原理、方面和實施例的所有陳述及其具體示例都旨在涵蓋其結(jié)構(gòu)和功能等同物。此外，旨在，這樣的等同物包括當(dāng)前已知的等同物以及將來開發(fā)的等同物，即，開發(fā)的任何執(zhí)行相同功能的元件，而不管結(jié)構(gòu)如何。

因此，例如，本領(lǐng)域技術(shù)人員將理解，本文中呈現(xiàn)的框圖表示體現(xiàn)本原理的說明性電路的概念圖。類似地，應(yīng)當(dāng)理解，任何流程表、流程圖、狀態(tài)變換圖、偽代碼等代表可以在計算機可讀介質(zhì)中實質(zhì)表示的并且由計算機或處理器(無論這樣的計算機或處理器是否被明確示出)執(zhí)行的各種過程。

附圖中所示的各種元件的功能可以通過使用專用硬件以及與適當(dāng)軟件相關(guān)聯(lián)的能夠執(zhí)行軟件的硬件來提供。當(dāng)由處理器提供時，功能可以由單個專用處理器、單個共享處理器或多個單獨的處理器(其中一些可以被共享)來提供。此外，術(shù)語“處理器”或“控制器”的明確使用不應(yīng)被解釋為專門涉及能夠執(zhí)行軟件的硬件，并且可以隱含地包括數(shù)字信號處理器(“dsp”)硬件、用于存儲軟件的只讀存儲器(“rom”)、隨機存取存儲器(“ram”)、和非易失性存儲器。

也可以包括常規(guī)和/或定制的其他硬件。類似地，圖中所示的任何開關(guān)僅是概念性的。它們的功能可以通過程序邏輯的操作、通過專用邏輯、通過程序控制和專用邏輯的交互、甚至手動地來執(zhí)行，從上下文中可以更為明確地理解由實現(xiàn)者選擇的特定技術(shù)。

在權(quán)利要求中，表示為用于執(zhí)行指定功能的裝置的任何元件旨在涵蓋執(zhí)行該功能的任何方式，包括例如a)執(zhí)行功能的電路元件的組合、或b)與用于執(zhí)行軟件的適當(dāng)電路組合從而執(zhí)行功能的任何形式的軟件(因此，包括固件、微代碼等)。由這樣的權(quán)利要求限定的本原理存在以下事實，由各種陳述的裝置提供的功能以權(quán)利要求所要求的方式組合并匯集在一起。因此，認(rèn)為能夠提供這些功能的任意裝置等同于本文所示的那些。

在本說明書中對本原理的“一個實施例”或“實施例”以及其它變型的引用，意味著結(jié)合實施例所描述的特定特征、結(jié)構(gòu)、特性等被包括在本原理的至少一個實施例中。因此，在整個說明書中的各個地方出現(xiàn)的短語“在一個實施例中”或“在實施例中”以及任何其它變型并不一定都指代相同的實施例。

應(yīng)當(dāng)理解，使用“/”、“和/或”、和“至少一個a和b”中的任一個(例如，在“a/b”、“a和/或b”、“至少一個”的情況下)旨在包括僅選擇第一列出的選項(a)、或僅選擇第二列出的選項(b)、或選擇兩個選項(a和b)。作為另一例子，在“a、b和/或c”和“a、b和c中的至少一個”的情況下，這種措辭旨在包括僅選擇第一列出的選項(a)、或僅選擇第二列出的選項(b)、或僅選擇第三列出的選項(c)、或僅選擇第一和第二列出的選項(a和b)、或選擇僅第一和第三列出的選項(a和c)、或僅選擇第二和第三列出的選項(b和c)、或選擇所有三個列出的選項(a和b和c)。本領(lǐng)域及相關(guān)領(lǐng)域的普通技術(shù)人員顯而易見的是，這可以擴展至所列出的許多項目。

基于本文的教導(dǎo)，相關(guān)領(lǐng)域的普通技術(shù)人員可以容易地確定本原理的這些和其它特征和優(yōu)點。應(yīng)當(dāng)理解，本原理的教導(dǎo)可以以各種形式的硬件、軟件、固件、專用處理器或其組合來實現(xiàn)。

最優(yōu)選地，本原理的教導(dǎo)被實現(xiàn)為硬件和軟件的組合。此外，軟件可以被實現(xiàn)為有形地體現(xiàn)在程序存儲單元上的應(yīng)用程序。應(yīng)用程序可以被加載到包括任意適當(dāng)?shù)募軜?gòu)的機器并由其執(zhí)行。優(yōu)選地，機器在具有諸如一個或多個中央處理單元(“cpu”)、隨機存取存儲器(“ram”)和輸入/輸出(“i/o”)接口之類的硬件的計算機平臺上被實現(xiàn)。計算機平臺還可以包括操作系統(tǒng)和微指令代碼。本文所描述的各種過程和功能可以是能夠由cpu執(zhí)行的微指令代碼的一部分、或應(yīng)用程序的一部分、或它們的任意組合。此外，各種其他外圍單元可以連接到計算機平臺，例如附加數(shù)據(jù)存儲單元和打印單元。

還應(yīng)當(dāng)理解，因為附圖中描繪的組成系統(tǒng)組件和方法中的一些優(yōu)選地以軟件實現(xiàn)，所以系統(tǒng)組件或過程功能塊之間的實際連接可以根據(jù)本原理被編程的方式而不同。鑒于本文的教導(dǎo)，相關(guān)領(lǐng)域的普通技術(shù)人員將能夠意識到本原理的這些和類似的實現(xiàn)方式或配置。

雖然本文參照附圖描述了說明性實施例，但是應(yīng)當(dāng)理解，本原理不限于那些精確的實施例，并且在不脫離本原理的范圍的情況下，相關(guān)領(lǐng)域的普通技術(shù)人員可以實現(xiàn)各種改變和修改。所有這些改變和修改旨在被包括在如所附權(quán)利要求中闡述的本原理的范圍內(nèi)。