本發(fā)明涉及鏡頭成像領(lǐng)域，尤其涉及一種用于多個魚眼鏡頭的圖像的曝光調(diào)整方法和裝置。

背景技術(shù)：

本部分旨在為權(quán)利要求書中陳述的本發(fā)明的實施方式提供背景或上下文。此處的描述不因為包括在本部分中就承認(rèn)是現(xiàn)有技術(shù)。

在目前使用的利用多個鏡頭拍攝全景圖像的技術(shù)中，每個鏡頭獨立進(jìn)行曝光來采集各自的圖像，采集圖像后將各自的圖形拼接在一起并經(jīng)過后期處理，最終獲得拼接后的全景圖像。在后期處理時，首先估算每個圖像之間的曝光差異，然后根據(jù)所估算的曝光差異將不同圖像之間的層疊區(qū)域進(jìn)行疊加，并對層疊區(qū)域的邊緣亮度做適當(dāng)延展，使得拼接后的全景圖像的曝光變化趨于平滑，從而消除每個圖像之間的拼接后的層疊區(qū)域由曝光差異造成的明暗分界線。然而，目前使用的拼接技術(shù)需要在拍攝完成后對每個圖像分別進(jìn)行處理來消除明暗分界線，而由于每個圖像的拍攝場景不同，造成沒有通用的調(diào)整方式來對所有的圖像進(jìn)行統(tǒng)一處理，因此需要大量的人工操作、巨大的時間成本、效率很低。而且，在后期處理時，需要通過將層疊區(qū)域進(jìn)行漸變疊加過渡的方式來消除曝光差異，導(dǎo)致降低層疊區(qū)域的圖像清晰度，因為不同鏡頭拍攝同樣場景的結(jié)果無法完全一致，因此重疊必然導(dǎo)致其清晰度損失，并產(chǎn)生失真。此外，由于全景圖像的數(shù)據(jù)量遠(yuǎn)遠(yuǎn)大于傳統(tǒng)視角圖像的數(shù)據(jù)量，因此對全景圖像的后期處理所消耗的資源也是巨大的。

技術(shù)實現(xiàn)要素：

鑒于上述問題，提出了本發(fā)明，以便提供一種用于多個魚眼鏡頭的圖像的曝光調(diào)整方法和裝置,以克服上述問題或者至少部分地解決上述問題。

根據(jù)本發(fā)明的第一方面，提供了一種用于多個魚眼鏡頭的圖像的曝光調(diào)整方法，包括：根據(jù)所述多個魚眼鏡頭中每個魚眼鏡頭生成的圖像中的像素點，計算所述圖像的圓心及半徑；根據(jù)所述圖像的圓心和半徑，在所述圖像中選擇采集點的集合；獲取所述采集點的集合中每個采集點的灰度參數(shù)和飽和度參數(shù)；根據(jù)每個采集點的灰度參數(shù)和飽和度參數(shù)，計算每個魚眼鏡頭生成的圖像的曝光修正參數(shù)；以及根據(jù)每個魚眼鏡頭生成的圖像的曝光修正參數(shù)，對所述圖像進(jìn)行曝光調(diào)整，以將由多個魚眼鏡頭生成的多個所述圖像拼接為最終圖像。

根據(jù)本發(fā)明的上述實施方式中的用于多個魚眼鏡頭的圖像的曝光調(diào)整方法中，其中根據(jù)所述多個魚眼鏡頭中每個魚眼鏡頭生成的圖像中的像素點，計算所述圖像的圓心及半徑包括：根據(jù)所述每個魚眼鏡頭生成的圖像中非純黑色的像素點的橫坐標(biāo)x和縱坐標(biāo)y，計算所述圖像的圓心及半徑。

根據(jù)本發(fā)明的上述任一實施方式中的用于多個魚眼鏡頭的圖像的曝光調(diào)整方法中，其中根據(jù)所述圖像的圓心和半徑，在所述圖像中選擇采集點的集合還包括：根據(jù)所述圖像的圓心和半徑，在所述圖像的邊緣處選擇采集點的集合。

根據(jù)本發(fā)明的上述任一實施方式中的用于多個魚眼鏡頭的圖像的曝光調(diào)整方法中，其中根據(jù)所述圖像的圓心和半徑，在所述圖像中選擇采集點的集合還包括：將所述圓心位置設(shè)置為原點，根據(jù)各像素點的橫坐標(biāo)x、縱坐標(biāo)y和視場角計算至原點的不同距離r處的采集點密度s；根據(jù)所述圖像的半徑和所計算的采集點密度，在所述圖像中的選擇采集點的集合，使得至原點的不同距離r處單位視場角范圍內(nèi)所覆蓋的采集點的數(shù)量n是恒定的。

根據(jù)本發(fā)明的上述任一實施方式中的用于多個魚眼鏡頭的圖像的曝光調(diào)整方法中，其中根據(jù)各像素點的橫坐標(biāo)x、縱坐標(biāo)y和視場角計算至原點的不同距離r處的采集點密度s包括：根據(jù)魚眼鏡頭的圖像的畸變函數(shù)

計算所述畸變函數(shù)關(guān)于r的一階導(dǎo)數(shù)；

其中至原點的不同距離r處單位視場角范圍內(nèi)所覆蓋的采集點的數(shù)量是恒定的。

根據(jù)本發(fā)明的上述任一實施方式中的用于多個魚眼鏡頭的圖像的曝光調(diào)整方法中，其中獲取所述采集點的集合中每個采集點的灰度參數(shù)和飽和度參數(shù)包括：獲取所述采集點集合中每個采集點的rgb值；將每個采集點的rgb值通過his顏色空間模型映射為灰度參數(shù)和飽和度參數(shù)。

根據(jù)本發(fā)明的上述任一實施方式中的用于多個魚眼鏡頭的圖像的曝光調(diào)整方法中，其中根據(jù)每個采集點的灰度參數(shù)和飽和度參數(shù)，計算每個魚眼鏡頭生成的圖像的曝光修正參數(shù)包括：根據(jù)每個采集點的灰度參數(shù)，計算所述采集點集合的灰度參數(shù)的中間值imiddle和平均值iaverage；根據(jù)每個采集點的飽和度參數(shù)，計算所述采集點集合的飽和度參數(shù)的最大值hmax和平均值haverage；計算每個魚眼鏡頭的曝光修正參數(shù)e＝a×(iavarage-imiddle)+b×(havarage-hmax)，其中a為灰度參數(shù)的權(quán)重，且b為飽和度參數(shù)的權(quán)重。

根據(jù)本發(fā)明的上述任一實施方式中的用于多個魚眼鏡頭的圖像的曝光調(diào)整方法中，其中根據(jù)每個魚眼鏡頭生成的圖像的曝光修正參數(shù)，對所述圖像進(jìn)行曝光調(diào)整包括：根據(jù)每個魚眼鏡頭生成的圖像的曝光修正參數(shù)，根據(jù)負(fù)反饋方式對所述圖像進(jìn)行曝光調(diào)整。

根據(jù)本發(fā)明的上述任一實施方式中的用于多個魚眼鏡頭的圖像的曝光調(diào)整方法中，其中根據(jù)每個魚眼鏡頭生成的圖像的曝光修正參數(shù)，對所述圖像進(jìn)行曝光調(diào)整，以將由多個魚眼鏡頭生成的多個所述圖像拼接為最終圖像包括：將所述多個魚眼鏡頭生成的多個圖像的曝光修正參數(shù)相比較；當(dāng)所述多個圖像的若干個圖像曝光修正參數(shù)超出預(yù)先確定的曝光閾值范圍時，對所述若干個圖像進(jìn)行曝光調(diào)整，以將調(diào)整后的多個圖像拼接為最終圖像。

根據(jù)本發(fā)明的第二方面，提供了一種用于多個魚眼鏡頭的圖像的曝光調(diào)整裝置，包括：第一計算模塊，被配置為根據(jù)所述多個魚眼鏡頭中每個魚眼鏡頭生成的圖像中的像素點，計算所述圖像的圓心及半徑；采集點選擇模塊，被配置為根據(jù)所述圖像的圓心和半徑，在所述圖像中選擇采集點的集合；參數(shù)獲取模塊，被配置為獲取所述采集點的集合中每個采集點的灰度參數(shù)和飽和度參數(shù)；第二計算模塊，被配置為根據(jù)每個采集點的灰度參數(shù)和飽和度參數(shù)，計算每個魚眼鏡頭生成的圖像的曝光修正參數(shù)；以及調(diào)整模塊，被配置為根據(jù)每個魚眼鏡頭生成的圖像的曝光修正參數(shù)，對所述圖像進(jìn)行曝光調(diào)整，以將由多個魚眼鏡頭生成的多個所述圖像拼接為最終圖像。

根據(jù)本發(fā)明的上述任一實施方式中的用于多個魚眼鏡頭的圖像的曝光調(diào)整裝置中，其中所述第一計算模塊被配置為：根據(jù)所述每個魚眼鏡頭生成的圖像中非純黑色的像素點的橫坐標(biāo)x和縱坐標(biāo)y，計算所述圖像的圓心及半徑。

根據(jù)本發(fā)明的上述任一實施方式中的用于多個魚眼鏡頭的圖像的曝光調(diào)整裝置中，根據(jù)所述圖像的圓心和半徑，在所述圖像的邊緣處選擇采集點的集合。

根據(jù)本發(fā)明的上述任一實施方式中的用于多個魚眼鏡頭的圖像的曝光調(diào)整裝置中，其中所述采集點選擇模塊還包括：第三計算模塊，被配置為將所述圓心位置設(shè)置為原點，根據(jù)各像素點的橫坐標(biāo)x、縱坐標(biāo)y和視場角計算至原點的不同距離r處的采集點密度s；采集點選擇子模塊，被配置為根據(jù)所述圖像的半徑和所計算的采集點密度，在所述圖像中的選擇采集點的集合，使得至原點的不同距離r處單位視場角范圍內(nèi)所覆蓋的采集點的數(shù)量n是恒定的。

根據(jù)本發(fā)明的上述任一實施方式中的用于多個魚眼鏡頭的圖像的曝光調(diào)整裝置中，其中所述第三計算模塊被配置為：根據(jù)魚眼鏡頭的圖像的畸變函數(shù)

計算所述畸變函數(shù)關(guān)于r的一階導(dǎo)數(shù)

其中至原點的不同距離r處單位視場角范圍內(nèi)所覆蓋的采集點的數(shù)量是恒定的。

根據(jù)本發(fā)明的上述任一實施方式中的用于多個魚眼鏡頭的圖像的曝光調(diào)整裝置中，其中所述參數(shù)獲取模塊還包括：參數(shù)獲取子模塊，被配置為獲取所述采集點集合中每個采集點的rgb值；映射模塊，被配置為將每個采集點的rgb值通過his顏色空間模型映射為灰度參數(shù)和飽和度參數(shù)。

根據(jù)本發(fā)明的上述任一實施方式中的用于多個魚眼鏡頭的圖像的曝光調(diào)整裝置中，其中所述第二計算模塊被配置為：根據(jù)每個采集點的灰度參數(shù)，計算所述采集點集合的灰度參數(shù)的中間值imiddle和平均值iaverage；根據(jù)每個采集點的飽和度參數(shù)，計算所述采集點集合的飽和度參數(shù)的最大值hmax和平均值haverage；計算每個魚眼鏡頭的曝光修正參數(shù)e＝a×(iavarage-imiddle)+b×(havarage-hmax)，其中a為灰度參數(shù)的權(quán)重，且b為飽和度參數(shù)的權(quán)重。

根據(jù)本發(fā)明的上述任一實施方式中的用于多個魚眼鏡頭的圖像的曝光調(diào)整裝置中，其中所述調(diào)整模塊被配置為：根據(jù)每個魚眼鏡頭生成的圖像的曝光修正參數(shù)，根據(jù)負(fù)反饋方式對所述圖像進(jìn)行曝光調(diào)整。

根據(jù)本發(fā)明的上述任一實施方式中的用于多個魚眼鏡頭的圖像的曝光調(diào)整裝置中，其中所述調(diào)整模塊還包括：比較模塊，被配置為將所述多個魚眼鏡頭生成的多個圖像的曝光修正參數(shù)與預(yù)先確定的曝光閾值范圍相比較；調(diào)整子模塊，被配置為當(dāng)所述多個圖像的若干個圖像曝光修正參數(shù)超出預(yù)先確定的曝光閾值范圍時，對所述若干個圖像進(jìn)行曝光調(diào)整，以將調(diào)整后的多個圖像拼接為最終圖像。

根據(jù)本發(fā)明實施方式的用于多個魚眼鏡頭的圖像的曝光調(diào)整方法和裝置，可以在魚眼鏡頭的拍攝的過程中進(jìn)行實時曝光調(diào)整，避免后期視頻處理的時間成本和計算資源消耗，同時由于在魚眼鏡頭的拍攝的采集端解決了曝光問題，可以避免在后期處理過程中造成的畫面質(zhì)量損失；通過按照一定的采樣方式在畫面中進(jìn)行隔點采樣，例如在圖像的邊緣處選擇像素點，作為采集點的集合，而避免對所有像素點做采樣記錄，降低了處理數(shù)據(jù)量，從而避免了全景圖像本身數(shù)據(jù)量巨大、導(dǎo)致處理數(shù)據(jù)量顯著增加的難題，在保持?jǐn)?shù)據(jù)采集準(zhǔn)確性的同時提高實時數(shù)據(jù)采集的效率；這樣，根據(jù)魚眼鏡頭的畸變函數(shù)來計算采樣點密度s，可以保證在計算曝光修正參數(shù)過程中考慮了在水平、豎直各360度全景圖像中的任意方位的采集點，允許根據(jù)所選擇的采集點所計算的曝光參數(shù)不受相機(jī)擺放方向的影響，在同一空間位置上任一方向放置鏡頭都能保證一致的計算結(jié)果；而且，由于針對采集點的選擇是基于考慮了所有上的采集點分布情況，基于這種方式選擇采集點的集合并據(jù)此進(jìn)行統(tǒng)一曝光調(diào)整，可以保證每個魚眼鏡頭拍攝的圖像在最終拼接后的畫面上沒有因曝光差異帶來的明暗分界線；通過綜合灰度參數(shù)和飽和度參數(shù)兩者來調(diào)整權(quán)重，計算圖像的曝光修正參數(shù)并進(jìn)行動態(tài)調(diào)整，能夠兼顧圖像的正常亮度和顏色飽滿程度。

附圖說明

通過參考附圖閱讀下文的詳細(xì)描述，本發(fā)明示例性實施方式的上述以及其他目的、特征和優(yōu)點將變得易于理解。在附圖中，以示例性而非限制性的方式示出了本發(fā)明的若干實施方式，其中：

圖1示意性地示出了根據(jù)本發(fā)明實施方式的用于多個魚眼鏡頭的圖像的曝光調(diào)整方法的流程示意圖；以及

圖2示意性地示出了根據(jù)本發(fā)明實施方式的用于多個魚眼鏡頭的圖像的曝光調(diào)整裝置的示意圖。

在附圖中，相同或?qū)?yīng)的標(biāo)號表示相同或?qū)?yīng)的部分。

具體實施方式

下面將參考若干示例性實施方式來描述本發(fā)明的原理和精神。應(yīng)當(dāng)理解，給出這些實施方式僅僅是為了使本領(lǐng)域技術(shù)人員能夠更好地理解進(jìn)而實現(xiàn)本發(fā)明，而并非以任何方式限制本發(fā)明的范圍。相反，提供這些實施方式是為了使本公開更加透徹和完整，并且能夠?qū)⒈竟_的范圍完整地傳達(dá)給本領(lǐng)域的技術(shù)人員。

本領(lǐng)域技術(shù)技術(shù)人員知道，本發(fā)明的實施方式可以實現(xiàn)為一種系統(tǒng)、裝置、設(shè)備、方法或計算機(jī)程序產(chǎn)品。因此，本公開可以具體實現(xiàn)為以下形式，即：完全的硬件、完全的軟件(包括固件、駐留軟件、微代碼等)，或者硬件和軟件結(jié)合的形式。

在本文中，需要理解的是，附圖中的任何元素數(shù)量均用于示例而非限制，以及任何命名都僅用于區(qū)分，而不具有任何限制含義。

下面參考本發(fā)明的若干代表性實施方式，詳細(xì)闡釋本發(fā)明的原理和精神。

示例性方法

下面參考圖1來描述根據(jù)本發(fā)明示例性實施方式的用于多個魚眼鏡頭的圖像的曝光調(diào)整方法。

圖1示意性地示出了根據(jù)本發(fā)明實施方式的用于多個魚眼鏡頭的圖像的曝光調(diào)整的方法100的流程示意圖。如圖1所示，該方法100可以包括：

s101、根據(jù)所述多個魚眼鏡頭中每個魚眼鏡頭生成的圖像中的像素點，計算所述圖像的圓心及半徑；

在一些可能的實施方式中，本發(fā)明實施例的魚眼鏡頭生成的圖像是圓形。

在一些可能的實施方式中，本發(fā)明實施例的圖像可以是由多個魚眼鏡頭拍攝的視頻中所包括的多幀圖像，且根據(jù)本發(fā)明的示例性實施方式，方法100可用于對由多個魚眼鏡頭生成的視頻進(jìn)行曝光調(diào)整并拼接為最終的全景視頻。可選地，可以從多個魚眼鏡頭生成的視頻中選擇一個圖像，例如第一幀圖像，從而對該第一幀圖像進(jìn)行后續(xù)的處理，并根據(jù)對第一幀圖像的處理結(jié)果對后續(xù)拍攝中生成的圖像進(jìn)行曝光調(diào)整。這樣，可以在魚眼鏡頭的拍攝的過程中進(jìn)行實時曝光調(diào)整，避免后期視頻處理的時間成本和計算資源消耗，同時由于在魚眼鏡頭的拍攝的采集端解決了曝光問題，可以避免在后期處理過程中造成的畫面質(zhì)量損失。

當(dāng)然，可選地，本發(fā)明實施例的圖像也可以是靜態(tài)圖像，且本發(fā)明的示例性實施方式可以對由多個魚眼鏡頭生成的多個靜態(tài)圖像進(jìn)行曝光調(diào)整并拼接為最終的全景圖像。

在一些可能的實施方式中，步驟s101包括：根據(jù)所述每個魚眼鏡頭生成的圖像中非純黑色的像素點的橫坐標(biāo)x和縱坐標(biāo)y，計算所述圖像的圓心及半徑。可選地，可以從多個魚眼鏡頭生成的視頻中選擇一個圖像，例如第一幀圖像，對第一幀圖像做二值化處理，即選擇圖像中所有非純黑色的像素點(例如，可將所有非純黑的像素點設(shè)為1，純黑的像素點設(shè)為0)，將所選擇的非純黑色的像素點作為從魚眼鏡頭生成的圖像的有效部分，計算每個魚眼鏡頭生成的圖像(例如每個魚眼鏡頭拍攝的視頻中的第一幀圖像)中非純黑色的像素點的橫坐標(biāo)x和縱坐標(biāo)y，計算所述圖像的圓心及半徑。

如圖1所示，方法100還包括步驟s102、根據(jù)所述圖像的圓心和半徑，在所述圖像中選擇采集點的集合。

在一些可能的實施方式中，步驟s102包括根據(jù)所述圖像的圓心和半徑，在所述圖像的邊緣處選擇采集點的集合。由于最終的全景圖像是由多個魚眼鏡頭生成的多個圖像拼接而成的，為了能夠消除最終的圖像中的層疊區(qū)域中的明暗分界線，需要將每個圖像邊緣處的像素點的曝光參數(shù)調(diào)整為盡可能相似或相同。按照一定的采樣方式在畫面中進(jìn)行隔點采樣，例如在圖像的邊緣處選擇像素點，作為采集點的集合，而避免對所有像素點做采樣記錄，降低了處理數(shù)據(jù)量，從而避免了全景圖像本身數(shù)據(jù)量巨大、導(dǎo)致處理數(shù)據(jù)量顯著增加的難題，在保持?jǐn)?shù)據(jù)采集準(zhǔn)確性的同時提高實時數(shù)據(jù)采集的效率。

在一些可能的實施方式中，其中根據(jù)所述圖像的圓心和半徑，在所述圖像中選擇采集點的集合還包括：將所述圓心位置設(shè)置為原點，根據(jù)各像素點的橫坐標(biāo)x、縱坐標(biāo)y和視場角計算至原點的不同距離r處的采集點密度s；根據(jù)所述圖像的半徑和所計算的采集點密度，在所述圖像中的選擇采集點的集合，使得至原點的不同距離r處單位視場角范圍內(nèi)所覆蓋的采集點的數(shù)量n是恒定的。

在一些可能的實施方式中，視場角可以是以每個魚眼鏡頭的中心為頂點，被拍攝的物像可通過鏡頭的最大范圍的兩條邊緣構(gòu)成的夾角。在一些可能的實施方式中，圖像中每個采集點至原點的距離為r。

為了能夠消除拼接而成的最終圖像中層疊區(qū)域的明暗分界線，需要將每個待拼接的圓形圖像的各方向上的曝光參數(shù)調(diào)整為盡可能相似或相同。而由于魚眼鏡頭的設(shè)計原理，所生成的圖像中的畫面會產(chǎn)生扭曲，也就是說，視場角與圖像中每個采集點至原點的距離r的關(guān)系并不是線性的，且圖像中的采集點沿著徑向方向并不是均勻分布的，因此需要根據(jù)各像素點的橫坐標(biāo)x、縱坐標(biāo)y和視場角計算至原點的不同距離r處的采集點密度s，然后根據(jù)所述圖像的半徑和所計算的采集點密度，在所述圖像中選擇采集點的集合，使得至原點的不同距離r處單位視場角范圍內(nèi)所覆蓋的采集點的數(shù)量n是恒定的。這樣，所計算的采集點密度s能夠使單位視場角范圍內(nèi)所覆蓋的采集點的數(shù)量n是恒定的，允許根據(jù)所選擇的采集點所計算的曝光參數(shù)不受相機(jī)擺放方向的影響，在同一空間位置上任一方向放置鏡頭都能保證一致的計算結(jié)果。

在一些可能的實施方式中，其中根據(jù)各像素點的橫坐標(biāo)x、縱坐標(biāo)y和視場角計算至原點的不同距離r處的采集點密度s包括：

根據(jù)魚眼鏡頭的圖像的畸變函數(shù)

計算所述畸變函數(shù)關(guān)于r的一階導(dǎo)數(shù)

其中至原點的不同距離r處單位視場角范圍內(nèi)所覆蓋的采集點的數(shù)量是恒定的。

可選地，所述畸變函數(shù)是與魚眼鏡頭光學(xué)設(shè)計相關(guān)的，其通過測量鏡頭各個位置的視場角與成像半徑r(即，各像素點至原點的不同距離)的對應(yīng)數(shù)據(jù)，然后擬合而成的函數(shù)?？蛇x地，可根據(jù)橫坐標(biāo)x、縱坐標(biāo)y坐標(biāo)轉(zhuǎn)換為極坐標(biāo)，即和r，再根據(jù)和r通過畸變函數(shù)來計算采集點密度?？蛇x地，所述畸變函數(shù)關(guān)于r的一階導(dǎo)數(shù)表示圖像中在距離原點不同距離r上單位長度成像所對應(yīng)的視場角大小。為了使單位視場角范圍內(nèi)采集點的數(shù)量一致，將距離r處的采集點的數(shù)量設(shè)為從而獲得在不同距離r處的采集點密度s，根據(jù)所獲得的采集點密度來選擇采集點的集合，來計算曝光參數(shù)，能夠保證在每個視場角方向上的采光都是一致的。這樣，根據(jù)魚眼鏡頭的畸變函數(shù)來計算采樣點密度s，可以保證在計算曝光修正參數(shù)過程中考慮了在水平、豎直各360度全景圖像中的任意方位的采集點，允許根據(jù)所選擇的采集點所計算的曝光參數(shù)不受相機(jī)擺放方向的影響，在同一空間位置上任一方向放置鏡頭都能保證一致的計算結(jié)果。而且，由于針對采集點的選擇是基于考慮了所有上的采集點分布情況，基于這種方式選擇采集點的集合并據(jù)此進(jìn)行統(tǒng)一曝光調(diào)整，可以保證每個魚眼鏡頭拍攝的圖像在最終拼接后的畫面上沒有因曝光差異帶來的明暗分界線。

如圖1所示，方法100還包括步驟s103、獲取所述采集點的集合中每個采集點的灰度參數(shù)和飽和度參數(shù)。

在一些可能的實施方式中，步驟s103：獲取所述采集點集合中每個采集點的rgb值；將每個采集點的rgb值通過his顏色空間模型映射為灰度參數(shù)和飽和度參數(shù)。可選地，也可以通過其他方式來獲取灰度參數(shù)和飽和度參數(shù)，例如，當(dāng)圖像的顏色空間為yuv格式時，y即為圖像灰度值；而當(dāng)圖像的顏色空間為hsi格式時，s即為圖像飽和度。

如圖1所示，方法100還包括步驟s104、根據(jù)每個采集點的灰度參數(shù)和飽和度參數(shù)，計算每個魚眼鏡頭生成的圖像的曝光修正參數(shù)。

在一些可能的實施方式中，根據(jù)每個采集點的灰度參數(shù)和飽和度參數(shù)，計算每個魚眼鏡頭生成的圖像的曝光修正參數(shù)包括：根據(jù)每個采集點的灰度參數(shù)，計算所述采集點集合的灰度參數(shù)的中間值imiddle和平均值iaverage；根據(jù)每個采集點的飽和度參數(shù)，計算所述采集點集合的飽和度參數(shù)的最大值hmax和平均值haverage；計算每個魚眼鏡頭的曝光修正參數(shù)e＝a×(iavarage-imiddle)+b×(havarage-hmax)，其中a為灰度參數(shù)的權(quán)重，且b為飽和度參數(shù)的權(quán)重。優(yōu)選地，經(jīng)過參數(shù)反復(fù)調(diào)整，可以將a、b分別設(shè)置為a＝0.8,b＝0.2，可以得到較好的曝光修正效果。

這樣，在計算曝光修正參數(shù)時，在處理灰度參數(shù)時，為盡量避免過曝和欠曝的情況，取其動態(tài)范圍的中值作為最優(yōu)曝光值，而在處理飽和度參數(shù)時，為了保證曝光結(jié)果顏色飽滿，取其最大值作為最優(yōu)曝光值。這樣，綜合灰度參數(shù)和飽和度參數(shù)兩者來調(diào)整權(quán)重，計算圖像的曝光修正參數(shù)并進(jìn)行動態(tài)調(diào)整，能夠兼顧圖像的正常亮度和顏色飽滿程度。

如圖1所示，方法100包括步驟s105、根據(jù)每個魚眼鏡頭生成的圖像的曝光修正參數(shù)，對所述圖像進(jìn)行曝光調(diào)整，以將由多個魚眼鏡頭生成的多個所述圖像拼接為最終圖像。這樣，可以在魚眼鏡頭的拍攝的過程中進(jìn)行實時曝光調(diào)整，避免后期視頻處理的時間成本和計算資源消耗，同時由于在拍攝方案的采集端解決了曝光問題，可以避免因圖像處理過程造成的畫面質(zhì)量損失。

在一些可能的實施方式中，步驟s105包括：根據(jù)每個魚眼鏡頭生成的圖像的曝光修正參數(shù)，根據(jù)負(fù)反饋方式對所述圖像進(jìn)行曝光調(diào)整。根據(jù)本發(fā)明實施方式，根據(jù)負(fù)反饋方式對所述圖像進(jìn)行曝光調(diào)整可以是將原始的圖像作為輸入、進(jìn)行曝光調(diào)整，將曝光調(diào)整后的圖像作為輸出；然后將調(diào)整后的圖像再次作為輸入或輸入的一部分，進(jìn)一步進(jìn)行曝光調(diào)整；這樣不斷地重復(fù)動態(tài)調(diào)整的過程，直至圖像的曝光參數(shù)達(dá)到一個穩(wěn)定的數(shù)值。

在一些可能的實施方式中，步驟s105包括將所述多個魚眼鏡頭生成的多個圖像的曝光修正參數(shù)與預(yù)先確定的曝光閾值范圍相比較；當(dāng)所述多個圖像的若干個圖像曝光修正參數(shù)超出預(yù)先確定的曝光閾值范圍時，對所述若干個圖像進(jìn)行曝光調(diào)整，以將調(diào)整后的多個圖像拼接為最終圖像。可選地，可以在根據(jù)負(fù)反饋方式對所述圖像進(jìn)行曝光調(diào)整之后，再將根據(jù)曝光修正參數(shù)和曝光閾值范圍對圖像進(jìn)行曝光調(diào)整；也可以不對圖像進(jìn)行曝光調(diào)整，而直接根據(jù)曝光修正參數(shù)和曝光閾值范圍對圖像進(jìn)行曝光調(diào)整?？蛇x地，可以根據(jù)各魚眼鏡頭的圖像的邊緣處的采集點的集合的灰度參數(shù)和飽和度參數(shù)，忽略圖像中心部分的采集點的影響，計算多個圖像的曝光修正參數(shù)，然后將多個圖像的曝光修正參數(shù)與預(yù)先確定的曝光閾值范圍相比較；當(dāng)所述多個圖像的若干個圖像曝光修正參數(shù)超出預(yù)先確定的曝光閾值范圍時，對所述若干個圖像進(jìn)行曝光調(diào)整，統(tǒng)一畫面曝光，以將調(diào)整后的多個圖像拼接為最終圖像。

這樣，根據(jù)本發(fā)明實施方式的用于多個魚眼鏡頭的圖像的曝光調(diào)整方法，可以在魚眼鏡頭的拍攝的過程中進(jìn)行實時曝光調(diào)整，避免后期視頻處理的時間成本和計算資源消耗，同時由于在魚眼鏡頭的拍攝的采集端解決了曝光問題，可以避免在后期處理過程中造成的畫面質(zhì)量損失；通過按照一定的采樣方式在畫面中進(jìn)行隔點采樣，例如在圖像的邊緣處選擇像素點，作為采集點的集合，而避免對所有像素點做采樣記錄，降低了處理數(shù)據(jù)量，從而避免了全景圖像本身數(shù)據(jù)量巨大、導(dǎo)致處理數(shù)據(jù)量顯著增加的難題，在保持?jǐn)?shù)據(jù)采集準(zhǔn)確性的同時提高實時數(shù)據(jù)采集的效率；這樣，根據(jù)魚眼鏡頭的畸變函數(shù)來計算采樣點密度s，可以保證在計算曝光修正參數(shù)過程中考慮了在水平、豎直各360度全景圖像中的任意方位的采集點，允許根據(jù)所選擇的采集點所計算的曝光參數(shù)不受相機(jī)擺放方向的影響，在同一空間位置上任一方向放置鏡頭都能保證一致的計算結(jié)果；而且，由于針對采集點的選擇是基于考慮了所有上的采集點分布情況，基于這種方式選擇采集點的集合并據(jù)此進(jìn)行統(tǒng)一曝光調(diào)整，可以保證每個魚眼鏡頭拍攝的圖像在最終拼接后的畫面上沒有因曝光差異帶來的明暗分界線；通過綜合灰度參數(shù)和飽和度參數(shù)兩者來調(diào)整權(quán)重，計算圖像的曝光修正參數(shù)并進(jìn)行動態(tài)調(diào)整，能夠兼顧圖像的正常亮度和顏色飽滿程度。

示例性設(shè)備

在介紹了本發(fā)明示例性實施方式的方法之后，接下來，參考圖2對本發(fā)明示例性實施方式的用于多個魚眼鏡頭的圖像的曝光調(diào)整裝置的進(jìn)行描述。

圖2示意性地示出了根據(jù)本發(fā)明實施方式的用于多個魚眼鏡頭的圖像的曝光調(diào)整裝置200的示意圖。如圖2所示，該裝置200可以包括：第一計算模塊201、采集點選擇模塊202、參數(shù)獲取模塊203、第二計算模塊204，以及調(diào)整模塊205。

在裝置200中，第一計算模塊201被配置為根據(jù)所述多個魚眼鏡頭中每個魚眼鏡頭生成的圖像中的像素點，計算所述圖像的圓心及半徑。

在一些可能的實施方式中，本發(fā)明實施例的魚眼鏡頭生成的圖像是圓形。

在一些可能的實施方式中，本發(fā)明實施例的圖像可以是由多個魚眼鏡頭拍攝的視頻中所包括的多幀圖像，且根據(jù)本發(fā)明的示例性實施方式，裝置200可用于對由多個魚眼鏡頭生成的視頻進(jìn)行曝光調(diào)整并拼接為最終的全景視頻?？蛇x地，可以從多個魚眼鏡頭生成的視頻中選擇一個圖像，例如第一幀圖像，從而對該第一幀圖像進(jìn)行后續(xù)的處理，并根據(jù)對第一幀圖像的處理結(jié)果對后續(xù)拍攝中生成的圖像進(jìn)行曝光調(diào)整。這樣，可以在魚眼鏡頭的拍攝的過程中進(jìn)行實時曝光調(diào)整，避免后期視頻處理的時間成本和計算資源消耗，同時由于在魚眼鏡頭的拍攝的采集端解決了曝光問題，可以避免在后期處理過程中造成的畫面質(zhì)量損失。

當(dāng)然，可選地，本發(fā)明實施例的圖像也可以是靜態(tài)圖像，且本發(fā)明的示例性實施方式可以對由多個魚眼鏡頭生成的多個靜態(tài)圖像進(jìn)行曝光調(diào)整并拼接為最終的全景圖像。

在一些可能的實施方式中，所述第一計算模塊201被配置為：根據(jù)所述每個魚眼鏡頭生成的圖像中非純黑色的像素點的橫坐標(biāo)x和縱坐標(biāo)y，計算所述圖像的圓心及半徑?？蛇x地，可以從多個魚眼鏡頭生成的視頻中選擇一個圖像，例如第一幀圖像，對第一幀圖像做二值化處理，即選擇圖像中所有非純黑色的像素點(例如，可將所有非純黑的像素點設(shè)為1，純黑的像素點設(shè)為0)，將所選擇的非純黑色的像素點作為從魚眼鏡頭生成的圖像的有效部分，所述第一計算模塊201根據(jù)每個魚眼鏡頭生成的圖像(例如每個魚眼鏡頭拍攝的視頻中的第一幀圖像)中非純黑色的像素點的橫坐標(biāo)x和縱坐標(biāo)y，計算所述圖像的圓心及半徑。

如圖2所示，在裝置200中，采集點選擇模塊202被配置為根據(jù)所述圖像的圓心和半徑，在所述圖像中選擇采集點的集合。

在一些可能的實施方式中，采集點選擇模塊202被配置為根據(jù)所述圖像的圓心和半徑，在所述圖像的邊緣處選擇采集點的集合。由于最終的全景圖像是由多個魚眼鏡頭生成的多個圖像拼接而成的，為了能夠消除最終的圖像中的層疊區(qū)域中的明暗分界線，需要將每個圖像邊緣處的像素點的曝光參數(shù)調(diào)整為盡可能相似或相同。采集點選擇模塊202可以按照一定的采樣方式在畫面中進(jìn)行隔點采樣，例如在圖像的邊緣處選擇像素點，作為采集點的集合，而避免對所有像素點做采樣記錄，降低了處理數(shù)據(jù)量，從而避免了全景圖像本身數(shù)據(jù)量巨大、導(dǎo)致處理數(shù)據(jù)量顯著增加的難題，在保持?jǐn)?shù)據(jù)采集準(zhǔn)確性的同時提高實時數(shù)據(jù)采集的效率。

在一些可能的實施方式中，其中所述采集點選擇模塊202還包括：第三計算模塊202a，被配置為將所述圓心位置設(shè)置為原點，根據(jù)各像素點的橫坐標(biāo)x、縱坐標(biāo)y和視場角計算至原點的不同距離r處的采集點密度s；采集點選擇子模塊202b，被配置為根據(jù)所述圖像的半徑和所計算的采集點密度，在所述圖像中的選擇采集點的集合，使得至原點的不同距離r處單位視場角范圍內(nèi)所覆蓋的采集點的數(shù)量n是恒定的。

在一些可能的實施方式中，視場角可以是以每個魚眼鏡頭的中心為頂點，被拍攝的物像可通過鏡頭的最大范圍的兩條邊緣構(gòu)成的夾角。在一些可能的實施方式中，圖像中每個采集點至原點的距離為r。

為了能夠消除拼接而成的最終圖像中層疊區(qū)域的明暗分界線，需要將每個待拼接的圓形圖像的各方向上的曝光參數(shù)調(diào)整為盡可能相似或相同。而由于魚眼鏡頭的設(shè)計原理，所生成的圖像中的畫面會產(chǎn)生扭曲，也就是說，視場角與圖像中每個采集點至原點的距離r的關(guān)系并不是線性的，且圖像中的采集點沿著徑向方向并不是均勻分布的，因此第三計算模塊202a被配置為根據(jù)各像素點的橫坐標(biāo)x、縱坐標(biāo)y和視場角計算至原點的不同距離r處的采集點密度s，然后采集點選擇子模塊202b根據(jù)所述圖像的半徑和所計算的采集點密度，在所述圖像中選擇采集點的集合，使得至原點的不同距離r處單位視場角范圍內(nèi)所覆蓋的采集點的數(shù)量n是恒定的。這樣，所計算的采集點密度s能夠使單位視場角范圍內(nèi)所覆蓋的采集點的數(shù)量n是恒定的，允許根據(jù)所選擇的采集點所計算的曝光參數(shù)不受相機(jī)擺放方向的影響，在同一空間位置上任一方向放置鏡頭都能保證一致的計算結(jié)果。

在一些可能的實施方式中，其中所述第三計算模塊202a被配置為：

根據(jù)魚眼鏡頭的圖像的畸變函數(shù)

計算所述畸變函數(shù)關(guān)于r的一階導(dǎo)數(shù)

其中至原點的不同距離r處單位視場角范圍內(nèi)所覆蓋的采集點的數(shù)量是恒定的。

可選地，所述畸變函數(shù)是與魚眼鏡頭光學(xué)設(shè)計相關(guān)的，其通過測量鏡頭各個位置的視場角與成像半徑r(即，各像素點至原點的不同距離)的對應(yīng)數(shù)據(jù)，然后擬合而成的函數(shù)?？蛇x地，可根據(jù)橫坐標(biāo)x、縱坐標(biāo)y坐標(biāo)轉(zhuǎn)換為極坐標(biāo)，即和r，再根據(jù)和r通過畸變函數(shù)來計算采集點密度?？蛇x地，所述畸變函數(shù)關(guān)于r的一階導(dǎo)數(shù)表示圖像中在距離原點不同距離r上單位長度成像所對應(yīng)的視場角大小。為了使單位視場角范圍內(nèi)采集點的數(shù)量一致，將距離r處的采集點的數(shù)量設(shè)為從而獲得在不同距離r處的采集點密度s，采集點選擇子模塊202b根據(jù)所獲得的采集點密度來選擇采集點的集合，來計算曝光參數(shù)，能夠保證在每個視場角方向上的采光都是一致的。這樣，第三計算模塊202a根據(jù)魚眼鏡頭的畸變函數(shù)來計算采樣點密度s，可以保證在計算曝光修正參數(shù)過程中考慮了在水平、豎直各360度全景圖像中的任意方位的采集點，允許根據(jù)所選擇的采集點所計算的曝光參數(shù)不受相機(jī)擺放方向的影響，在同一空間位置上任一方向放置鏡頭都能保證一致的計算結(jié)果。而且，由于針對采集點的選擇是基于考慮了所有上的采集點分布情況，基于這種方式選擇采集點的集合并據(jù)此進(jìn)行統(tǒng)一曝光調(diào)整，可以保證每個魚眼鏡頭拍攝的圖像在最終拼接后的畫面上沒有因曝光差異帶來的明暗分界線。

如圖2所示，裝置200還包括參數(shù)獲取模塊203，被配置為獲取所述采集點的集合中每個采集點的灰度參數(shù)和飽和度參數(shù)。

在一些可能的實施方式中，所述參數(shù)獲取模塊203還包括：參數(shù)獲取子模塊203a，被配置為獲取所述采集點集合中每個采集點的rgb值；映射模塊203b，被配置為將每個采集點的rgb值通過his顏色空間模型映射為灰度參數(shù)和飽和度參數(shù)?？蛇x地，參數(shù)獲取模塊203也可以通過其他方式來獲取灰度參數(shù)和飽和度參數(shù)，例如，當(dāng)圖像的顏色空間為yuv格式時，y即為圖像灰度值；而當(dāng)圖像的顏色空間為hsi格式時，s即為圖像飽和度。

如圖2所示，裝置200還包括第二計算模塊204，被配置為根據(jù)每個采集點的灰度參數(shù)和飽和度參數(shù)，計算每個魚眼鏡頭生成的圖像的曝光修正參數(shù)。

在一些可能的實施方式中，所述第二計算模塊204被配置為：根據(jù)每個采集點的灰度參數(shù)，計算所述采集點集合的灰度參數(shù)的中間值imiddle和平均值iaverage；根據(jù)每個采集點的飽和度參數(shù)，計算所述采集點集合的飽和度參數(shù)的最大值hmax和平均值haverage；計算每個魚眼鏡頭的曝光修正參數(shù)e＝a×(iabarage-imiddle)+b×(havarage-hmax)，其中a為灰度參數(shù)的權(quán)重，且b為飽和度參數(shù)的權(quán)重。優(yōu)選地，經(jīng)過參數(shù)反復(fù)調(diào)整，可以將a、b分別設(shè)置為a＝0.8,b＝0.2，可以得到較好的曝光修正效果。

這樣，在計算曝光修正參數(shù)時，在處理灰度參數(shù)時，為盡量避免過曝和欠曝的情況，取其動態(tài)范圍的中值作為最優(yōu)曝光值，而在處理飽和度參數(shù)時，為了保證曝光結(jié)果顏色飽滿，取其最大值作為最優(yōu)曝光值。這樣，所述第二計算模塊204綜合灰度參數(shù)和飽和度參數(shù)兩者來調(diào)整權(quán)重，計算圖像的曝光修正參數(shù)并進(jìn)行動態(tài)調(diào)整，能夠兼顧圖像的正常亮度和顏色飽滿程度。

如圖2所示，裝置200包括調(diào)整模塊205，被配置為根據(jù)每個魚眼鏡頭生成的圖像的曝光修正參數(shù)，對所述圖像進(jìn)行曝光調(diào)整，以將由多個魚眼鏡頭生成的多個所述圖像拼接為最終圖像。這樣，可以在魚眼鏡頭的拍攝的過程中進(jìn)行實時曝光調(diào)整，避免后期視頻處理的時間成本和計算資源消耗，同時由于在拍攝方案的采集端解決了曝光問題，可以避免因圖像處理過程造成的畫面質(zhì)量損失。

在一些可能的實施方式中，所述調(diào)整模塊205被配置為：根據(jù)每個魚眼鏡頭生成的圖像的曝光修正參數(shù)，根據(jù)負(fù)反饋方式對所述圖像進(jìn)行曝光調(diào)整。根據(jù)本發(fā)明實施方式，根據(jù)負(fù)反饋方式對所述圖像進(jìn)行曝光調(diào)整可以是將原始的圖像作為輸入、進(jìn)行曝光調(diào)整，將曝光調(diào)整后的圖像作為輸出；然后將調(diào)整后的圖像再次作為輸入或輸入的一部分，進(jìn)一步進(jìn)行曝光調(diào)整；這樣不斷地重復(fù)動態(tài)調(diào)整的過程，直至圖像的曝光參數(shù)達(dá)到一個穩(wěn)定的數(shù)值。

在一些可能的實施方式中，所述調(diào)整模塊205還包括：比較模塊205a，被配置為將所述多個魚眼鏡頭生成的多個圖像的曝光修正參數(shù)與預(yù)先確定的曝光閾值范圍相比較；調(diào)整子模塊205b，被配置為當(dāng)所述多個圖像的若干個圖像曝光修正參數(shù)超出預(yù)先確定的曝光閾值范圍時，對所述若干個圖像進(jìn)行曝光調(diào)整，以將調(diào)整后的多個圖像拼接為最終圖像?？蛇x地，可以在根據(jù)負(fù)反饋方式對所述圖像進(jìn)行曝光調(diào)整之后，再將根據(jù)曝光修正參數(shù)和曝光閾值范圍對圖像進(jìn)行曝光調(diào)整；也可以不對圖像進(jìn)行曝光調(diào)整，而直接根據(jù)曝光修正參數(shù)和曝光閾值范圍對圖像進(jìn)行曝光調(diào)整?？蛇x地，可以根據(jù)各魚眼鏡頭的圖像的邊緣處的采集點的集合的灰度參數(shù)和飽和度參數(shù)，忽略圖像中心部分的采集點的影響，計算多個圖像的曝光修正參數(shù)，然后將多個圖像的曝光修正參數(shù)與預(yù)先確定的曝光閾值范圍相比較；當(dāng)所述多個圖像的若干個圖像曝光修正參數(shù)超出預(yù)先確定的曝光閾值范圍時，對所述若干個圖像進(jìn)行曝光調(diào)整，統(tǒng)一畫面曝光，以將調(diào)整后的多個圖像拼接為最終圖像。

這樣，根據(jù)本發(fā)明實施方式的用于多個魚眼鏡頭的圖像的曝光調(diào)整裝置，可以在魚眼鏡頭的拍攝的過程中進(jìn)行實時曝光調(diào)整，避免后期視頻處理的時間成本和計算資源消耗，同時由于在魚眼鏡頭的拍攝的采集端解決了曝光問題，可以避免在后期處理過程中造成的畫面質(zhì)量損失；通過按照一定的采樣方式在畫面中進(jìn)行隔點采樣，例如在圖像的邊緣處選擇像素點，作為采集點的集合，而避免對所有像素點做采樣記錄，降低了處理數(shù)據(jù)量，從而避免了全景圖像本身數(shù)據(jù)量巨大、導(dǎo)致處理數(shù)據(jù)量顯著增加的難題，在保持?jǐn)?shù)據(jù)采集準(zhǔn)確性的同時提高實時數(shù)據(jù)采集的效率；這樣，根據(jù)魚眼鏡頭的畸變函數(shù)來計算采樣點密度s，可以保證在計算曝光修正參數(shù)過程中考慮了在水平、豎直各360度全景圖像中的任意方位的采集點，允許根據(jù)所選擇的采集點所計算的曝光參數(shù)不受相機(jī)擺放方向的影響，在同一空間位置上任一方向放置鏡頭都能保證一致的計算結(jié)果；而且，由于針對采集點的選擇是基于考慮了所有上的采集點分布情況，基于這種方式選擇采集點的集合并據(jù)此進(jìn)行統(tǒng)一曝光調(diào)整，可以保證每個魚眼鏡頭拍攝的圖像在最終拼接后的畫面上沒有因曝光差異帶來的明暗分界線；通過綜合灰度參數(shù)和飽和度參數(shù)兩者來調(diào)整權(quán)重，計算圖像的曝光修正參數(shù)并進(jìn)行動態(tài)調(diào)整，能夠兼顧圖像的正常亮度和顏色飽滿程度。

應(yīng)當(dāng)注意，盡管在上文詳細(xì)描述中提及了用于多個魚眼鏡頭的圖像的曝光調(diào)整的若干裝置或子裝置，但是這種劃分僅僅并非強(qiáng)制性的。實際上，根據(jù)本發(fā)明的實施方式，上文描述的兩個或更多裝置的特征和功能可以在一個裝置中具體化。反之，上文描述的一個裝置的特征和功能可以進(jìn)一步劃分為由多個裝置來具體化。

此外，盡管在附圖中以特定順序描述了本發(fā)明方法的操作，但是，這并非要求或者暗示必須按照該特定順序來執(zhí)行這些操作，或是必須執(zhí)行全部所示的操作才能實現(xiàn)期望的結(jié)果。附加地或備選地，可以省略某些步驟，將多個步驟合并為一個步驟執(zhí)行，和/或?qū)⒁粋€步驟分解為多個步驟執(zhí)行。

雖然已經(jīng)參考若干具體實施方式描述了本發(fā)明的精神和原理，但是應(yīng)該理解，本發(fā)明并不限于所公開的具體實施方式，對各方面的劃分也不意味著這些方面中的特征不能組合以進(jìn)行受益，這種劃分僅是為了表述的方便。本發(fā)明旨在涵蓋所附權(quán)利要求的精神和范圍內(nèi)所包括的各種修改和等同布置。