用于拼接圖像的方法和裝置以及用于組合圖像的方法
【專利摘要】本公開涉及用于拼接多個圖像的方法和裝置以及用于組合多個圖像的方法。根據(jù)某些實施例，該方法可包括對多個圖像按順序進行排序，以使得：相鄰圖像至少部分彼此重疊；并且第一圖像和最后圖像至少部分彼此重疊。該方法還可以包括確定圖像的重疊區(qū)域的平均像素值。該方法還包括確定圖像的一致性因子。該方法還可以包括通過將平均像素值乘以相應(yīng)的一致性因子來生成修正的平均像素值。該方法還可以包括調(diào)整一致性因子以減小重疊區(qū)域中的修正的平均像素值的差。該方法可以進一步包括基于相應(yīng)的一致性因子來調(diào)整圖像的像素值。
【專利說明】
用于拼接圖像的方法和裝置以及用于組合圖像的方法
技術(shù)領(lǐng)域
[0001] 本公開總體上涉及圖像處理技術(shù)，具體涉及用于在多個圖像間全局地調(diào)整亮度 和/或色度一致性的方法和系統(tǒng)。
【背景技術(shù)】
[0002] 圖像拼接在許多應(yīng)用領(lǐng)域日益受到關(guān)注，例如，計算機視覺、數(shù)字地圖、衛(wèi)星成像、 醫(yī)學成像以及甚至業(yè)余攝影領(lǐng)域。例如，為了創(chuàng)造身臨其境的虛擬現(xiàn)實體驗，可使用多個相 機來捕捉覆蓋了場景的不同部分的源圖像。這些源圖像然后被"拼接"，即接合在一起，以形 成360度的全景圖，其可用在例如交互式全景電影、建筑漫游、多節(jié)點電影的應(yīng)用中，以及與 使用獲取自真實世界的圖像來生成虛擬3D環(huán)境關(guān)聯(lián)的其他應(yīng)用。
[0003] 由于用于全景圖拼接的源圖像可能由不同成像裝置在不同時間和/或在不同光照 條件下生成，對于全景圖拼接來說眾所周知的挑戰(zhàn)是源圖像的圖像參數(shù)的不一致。為了解 決這個問題，傳統(tǒng)的方法逐對地調(diào)整兩個相鄰源圖像的對比度，以確保重疊區(qū)域中的亮度 和/或顏色直方圖是匹配的。由于累積誤差，該方法通常能實現(xiàn)局部一致性而不是全局一致 性。例如，當使用該方法拼接兩個以上源圖像時，最后拼接的源圖像和第一源圖像仍會有顯 著不一致的亮度/色度。這個結(jié)果在一些應(yīng)用中是可以接受的，例如移動電話應(yīng)用中，其中 所生成的全景圖像經(jīng)常有大于常規(guī)視角但小于360度的視角。然而，為了生成高質(zhì)量的全景 圖和/或360度的全景圖（即，第一和最后源圖像所示的視圖實際上重疊），期望第一和最后 源圖像具有一致的亮度和色度。因此，需要全局亮度/色度調(diào)整方法。
[0004] 所公開的方法和系統(tǒng)解決了以上列出的一個以上問題。

【發(fā)明內(nèi)容】

[0005] 與本公開的一個實施例一致，提供了一種用于拼接多個圖像的方法，該圖像包括 具有像素值的像素。該方法可包括對多個圖像按順序進行排序，以使得:相鄰圖像至少部分 彼此重疊；并且第一圖像和最后圖像至少部分彼此重疊。該方法還可包括確定圖像的重疊 區(qū)域的平均像素值。該方法還可包括確定圖像的一致性因子。該方法還包括通過將平均像 素值乘以相應(yīng)的一致性因子來生成修正的平均像素值。該方法還可包括調(diào)整一致性因子以 減小重疊區(qū)域中的修正的平均像素值的差。該方法可進一步包括基于相應(yīng)的一致性因子來 調(diào)整圖像的像素值。
[0006] 與本公開的另一個實施例一致，提供了一種用于組合多個圖像的方法。該方法可 包括獲得η個圖像，η為整數(shù)且η多2。該方法還包括識別圖像中的第一區(qū)域和第二區(qū)域。該方 法還可包括對圖像按順序進行排序。該方法還包括在η個圖像中將第i圖像的第二區(qū)域與第 i+Ι圖像的第一區(qū)域進行配對，i為整數(shù)且n>i多1。該方法還可包括將第η圖像的第二區(qū)域與 第一圖像的第一區(qū)域進行配對。該方法還可包括確定第一區(qū)域和第二區(qū)域中的平均像素 值。該方法還包括確定用于圖像的一致性因子。該方法還可包括通過將平均像素值乘以相 應(yīng)的一致性因子來生成修正的平均像素值。該方法還可包括調(diào)整一致性因子以減小配對區(qū) 域中的修正的平均像素值的差。該方法可進一步包括基于相應(yīng)的一致性因子來調(diào)整圖像的 像素值。
[0007] 與本公開的另一個實施例一致，提供了一種用于拼接多個圖像的裝置，該圖像包 括具有像素值的像素。該裝置可包括用于存儲指令的存儲器。該裝置還可包括處理器，其配 置為執(zhí)行指令以：對多個圖像按順序進行排序，以使得相鄰圖像至少部分彼此重疊并且第 一圖像和最后圖像至少部分彼此重疊;確定圖像的重疊區(qū)域的平均像素值;確定圖像的一 致性因子;通過將平均像素值乘以相應(yīng)的一致性因子來生成修正的平均像素值;調(diào)整一致 性因子以減小重疊區(qū)域中的修正的平均像素值的差;基于相應(yīng)的一致性因子來調(diào)整圖像的 像素值。
[0008] 與本公開的又一實施例一致，提供了一種非暫時性計算機可讀存儲介質(zhì)，其存儲 指令，當裝置的處理器執(zhí)行該指令時使得該裝置執(zhí)行用于拼接多個圖像的方法，該圖像包 括具有像素值的像素。該方法可包括對多個圖像按順序進行排序，以使得:相鄰圖像至少部 分彼此重疊；并且第一圖像和最后圖像至少部分彼此重疊。該方法還可包括確定圖像的重 疊區(qū)域的平均像素值。該方法還包括確定用于圖像的一致性因子。該方法還可包括通過將 平均像素值乘以相應(yīng)的一致性因子來生成修正的平均像素值。該方法還可包括調(diào)整一致性 因子以減小重疊區(qū)域中的修正的平均像素值的差。該方法可進一步包括基于相應(yīng)的一致性 因子來調(diào)整圖像的像素值。
[0009] 要了解的是前述的總體描述和以下詳細描述均僅是示例性且說明性的，不對所要 求保護的本發(fā)明構(gòu)成限制。
【附圖說明】
[0010] 這里描述的方法、系統(tǒng)和/或程序進一步用示例性實施例進行描述。參照附圖來具 體描述這些示例性實施例。這些實施例是非限制性的示例性實施例，其中類似的附圖標記 在附圖的多個視圖中表示類似的結(jié)構(gòu)。
[0011] 圖1為根據(jù)示例性實施例的圖示了用于創(chuàng)建全景圖像的成像系統(tǒng)的示意圖。
[0012] 圖2為根據(jù)示例性實施例的使用在圖1所示的成像系統(tǒng)中的控制器的框圖。
[0013] 圖3為根據(jù)示例性實施例的用于拼接多個圖像的方法的流程圖。
[0014]圖4為根據(jù)示例性實施例的圖示了圖3示出的方法的實施的示意圖。
[0015] 圖5為根據(jù)示例性實施例的用于確定一致性因子的方法的流程圖。
[0016] 圖6A是圖示出未使用所公開的方法實現(xiàn)的結(jié)果的360度全景圖像。
[0017]圖6B是圖示出使用所公開的方法實現(xiàn)的結(jié)果的360度全景圖像。
【具體實施方式】
[0018] 現(xiàn)在將詳細參照所公開的實施例，其例子圖示在附圖中。只要是方便之處，將在整 個附圖中使用相同的附圖標記來指代相同或類似的部件。
[0019] 本公開的特征和特性，連同操作方法和相關(guān)的結(jié)構(gòu)元件以及部件組合的功能和制 造的經(jīng)濟性，將在考慮如下參照附圖的描述后變得顯而易見，所有附圖構(gòu)成本說明書的一 部分。然而，應(yīng)當理解的是，附圖僅僅是用于圖示和描述的目的，而不旨在對本發(fā)明的界限 進行限定。在說明書和權(quán)利要求中使用的單數(shù)形式的"一"和"該"包括復(fù)數(shù)指稱，除非上下 文另行明確指明。
[0020] 圖1為根據(jù)示例性實施例的圖示了用于創(chuàng)建全景圖像的成像系統(tǒng)100的示意圖。參 照圖1，系統(tǒng)100可包括相機裝配件(r ig) 110、一個以上相機120 (例如，圖1中示出的相機 120a、120b、...和120h)和控制器130。除非另有注明，否則術(shù)語"相機120"應(yīng)理解成意為相 機120a-120h中的任一個或全部。
[0021] 相機裝配件110可以是用于安裝相機120的結(jié)構(gòu)。相機裝配件110可以構(gòu)建為形成 特別設(shè)計的相機路徑。工業(yè)標準捆綁和夾緊裝置可結(jié)合多種定制裝配方案使用，以允許定 位、高度和相機移動方面的較大靈活性。相機裝配件110可包括復(fù)雜的結(jié)構(gòu)，其包括多種直 徑的圓和曲線、直軌道、斜/傾角、高架裝配(overhead rigging)等。相機裝配件110還可以 是簡單的直軌道或曲軌道。例如，在360度全景攝影中，相機裝配件110可以形成360度的圓 形以對齊相機120。
[0022] 相機120可以是包括下列任一項的圖像捕捉裝置:光學裝置、透鏡、電荷耦合器件 (CCD)、互補金屬氧化物半導體(CMOS)檢測器陣列和驅(qū)動電路、以及用于發(fā)送和接收多種波 長的光的光學部件、電子部件和控制電路的其他排布。例如，相機120可以是運動型相機、數(shù) 字相機、網(wǎng)絡(luò)相機或數(shù)字單鏡頭反光(DSLR)相機。相機120還可以嵌入其他裝置中，例如嵌 入智能手機、計算機、個人數(shù)字助理(PDA)、監(jiān)視裝置、視頻游戲控制臺等。
[0023] 相機120可以配置為以多種方式捕捉一個以上圖像。例如，相機120可以配置為，通 過程序、通過硬件設(shè)置或其組合而在用戶的啟動下捕捉圖像。在一些實施例中，當相機120 配置為通過軟件或硬件程序或通過硬件設(shè)置來捕捉圖像時，可在一個以上預(yù)定條件下執(zhí)行 圖像捕捉。例如，可由控制器120控制多個相機120來同時捕捉圖像或以有序的方式捕捉圖 像。可選地或另外地，一組預(yù)定條件，例如感測到移動對象，可觸發(fā)相機120捕捉圖像。在一 些實施例中，捕捉圖像可包括將相機120置于能夠捕捉一個以上圖像的模式或設(shè)定。這里所 用的"圖像"可以指部分或整體的靜態(tài)或動態(tài)的視覺表示，其包括但不限于照片、圖片、圖 形、視頻、全息圖、虛擬現(xiàn)實圖像、增強現(xiàn)實圖像、其他視覺表示或其組合。
[0024] 相機120可包括適合于全息圖創(chuàng)建的多種特性。在一個實施例中，相機120可使用 能夠以加強的顏色和對比度來捕捉高分辨率(例如，4608x3456)照片的16MP(兆像素)光傳 感器。相機120還可具有寬視場，例如155度視角。相機120可進一步配置為以多種分辨率和 幀率記錄視頻，例如30fps幀率下1296p的分辨率，以及30fps或60fps幀率下1080p的分辨 率。
[0025]如圖1所示，在一個實施例中，八個相機（即相機120a_120h)均勻地分開并安裝在 相機裝配件110上以形成圓形。八個相機120可協(xié)作實現(xiàn)360度全景覆蓋。例如，由相機120同 時或在不同時點獲取的源圖像可以拼接在一起以生成360度的全景圖像。
[0026] 雖然圖1示出了系統(tǒng)100包括八個相機120,但能想到還可使用更多個或更少個相 機或甚至單個相機120來創(chuàng)建全景圖像。例如，單個相機120可以改變其位置和/或取向來在 不同時點捕捉多個源圖像。這些原圖像然后可被拼接在一起以形成全景圖像。
[0027]然而，不論待拼接的源圖像是由不同相機同時捕捉的還是由同一相機在不同時點 捕捉的，由于每個源圖像是在不同條件下取得的，不同的源圖像會有不同的亮度和/或色 度。例如，由于圖像捕捉參數(shù)是根據(jù)實時成像條件而對每個源圖像在相機120中自動設(shè)定 的，照度等級的變化會引起待拼接的相鄰源圖像中的不同的曝光等級，而多種顏色的物體 的不同分布會影響白平衡設(shè)定，產(chǎn)生的圖像中不同的源圖像中的同一物體看起來顯得不 同，不是亮了就是暗了，或甚至具有不同的表觀顏色。
[0028] 例如，如圖1所示，相機120a_120h可用來在光源140(例如閃光單元或太陽）下同時 分別捕捉源圖像1^(未示出）。源圖像Ma-Mh可然后相繼拼接以創(chuàng)建360度全景圖像，其中M a 是第一源圖像，Mh是最后源圖像。相機120a和120b可能工作在逆光條件下使得源圖像1和施 將物體顯示得更黑，而相機120e和120f工作在反光條件下使得源圖像M e和Mf將同一物體顯 示得更亮。因此，在作為結(jié)果的全景圖中，雖然源圖像(Ma，M b)并未緊鄰源圖像Me、Mf，但(Ma， M b)和(Me，Mf)之間的亮度和/或色度的不一致會顯著到足以引起觀看者的注意。此外，在360 度全景圖中，第一源圖像Ma和最后一個源圖像Mf也需要拼接在一起，因此M4PM b之間任何亮 度和/或色度的不一致也會容易被注意到。
[0029]為了處理上述問題，本公開提供了一種在形成全景圖的源圖像的一些或全部之間 獲得亮度和/或色度一致性的全局調(diào)整方法。即，所公開的方法不僅確保兩個相鄰源圖像之 間的局部亮度和/或色度一致性，而且確保非相鄰的源圖像之中的全局亮度和/或色度一致 性，而且特別是在拼接次序中第一與最后源圖像之間的一致性。
[0030] 在示例性實施例中，相機120可將捕捉的源圖像發(fā)送至控制器130以進一步處理， 包括使用所公開的方法創(chuàng)建全景圖像?？刂破?30可以是為全景圖創(chuàng)建而專門設(shè)計的獨立 裝置。備選地，控制器130可以是更大裝置(例如計算機）的一部分。而且，控制器130可以通 過硬件、軟件或硬件和軟件的組合來實施。控制器130可以用有線和/或無線的方式連接至 相機120,例如通過通信電纜和/或WiFi網(wǎng)絡(luò)?？刂破?30可以發(fā)送控制信號給相機120以控 制相機操作，包括捕捉源圖像。控制器130還可以從相機120接收捕捉的源圖像和/或視頻 幀，并將這些源圖像拼接成全景圖像。
[0031] 圖2為根據(jù)示例性實施例的控制器130的框圖。例如，控制器130可用在成像系統(tǒng) 100中。參照圖2,控制器130可包括輸入/輸出（I/O)接口 132、處理單元134、存儲單元136和/ 或存儲器模塊138。
[0032] I/O接口 132可配置為在控制器130和多種裝置之間進行雙向通信。例如，如圖2所 示，I/O接口 132可發(fā)送和接收給相機120的操作信號，從相機120接收捕捉的圖像和/或視頻 幀。I/O接口 132可通過通信電纜、網(wǎng)絡(luò)或其他通信介質(zhì)發(fā)送和接收數(shù)據(jù)。網(wǎng)絡(luò)可以是可允許 傳送和接收數(shù)據(jù)的任何類型的有線或無線網(wǎng)絡(luò)。例如，網(wǎng)絡(luò)可以是全國性蜂窩網(wǎng)絡(luò)、局域無 線網(wǎng)絡(luò)(例如藍牙?SWiFi)或有線網(wǎng)絡(luò)。
[0033] I/O接口 132可配置為將其從相機120接收的圖像數(shù)據(jù)合并，并將合并的圖像數(shù)據(jù) 轉(zhuǎn)發(fā)給處理單元134。處理單元134可包括任何合適類型的通用或?qū)Ｓ梦⑻幚砥?、?shù)字信號 處理器或微處理器。處理單元134可配置為用來創(chuàng)建全景圖像的單獨的處理器模塊。備選 地，處理單元134可配置為共享處理器模塊，用于執(zhí)行與全景圖創(chuàng)建無關(guān)的其他功能。處理 單元134可執(zhí)行計算機指令(程序代碼)并根據(jù)這里描述的技術(shù)來執(zhí)行功能。計算機指令包 括例程、程序、對象、組件、數(shù)據(jù)結(jié)構(gòu)、過程、模塊和函數(shù)。
[0034]存儲單元136和/或存儲器模塊138中的每個可包括一個以上配置為存儲用于創(chuàng)建 全景圖像的指令和/或數(shù)據(jù)的存儲器。存儲器可以使用任意類型的易失性或非易失性存儲 裝置或其組合來實施，例如靜態(tài)隨機存取存儲器（SRAM)、電可擦除可編程只讀存儲器 (EEPR0M)、可擦除可編程只讀存儲器（EPROM)、可編程只讀存儲器（PR0M)、只讀存儲器 (ROM)、磁存儲器、閃存、磁盤或光盤。
[0035]存儲單元136和/或存儲器模塊138可配置為存儲計算機指令和數(shù)據(jù)，其可由處理 單元134使用來執(zhí)行與本公開一致的功能。例如，存儲單元136和/或存儲器模塊138可存儲 待拼接的源圖像和創(chuàng)建的全景圖像。作為另一個例子，存儲單元136和/或存儲器模塊138可 存儲計算機指令，其用于執(zhí)行所公開的在全景圖創(chuàng)建期間全局地調(diào)整亮度和/或色度的方 法。
[0036]圖3為根據(jù)示例性實施例的用于拼接多個圖像的方法300的流程圖。例如，方法300 可在控制器130中執(zhí)行。參照圖3，方法300可包括以下步驟。
[0037] 在步驟310中，控制器130獲得η個源圖像并將η個源圖像按順序進行排序。這里，η 為整數(shù)且η>2。
[0038] 每個已排序的源圖像可部分地與其相鄰的源圖像重疊。例如，在η多3的情況下，當 i為整數(shù)且n>i多2時，第i源圖像可具有與第（i-Ι)源圖像的至少一部分重疊的第一區(qū)域和 與第（i + Ι)源圖像的至少一部分重疊的第二區(qū)域。此外，在360度全景圖創(chuàng)建中，第η源圖像 還可與第一源圖像重疊。如下所具體描述的，控制器130可通過在重疊區(qū)域進行合并來拼接 這η個源圖像。
[0039] 在上述關(guān)于圖1的例子中，控制器130可獲得8個源圖像1_1^并將它們按Ma、Mb、... 和M h的次序排序。每個源圖像可包括分別與兩個相鄰源圖像重疊的兩個區(qū)域。由于Ma-Mh共 同地覆蓋360度視圖，并且第一圖像1和最后一個圖像Mh部分地彼此重疊，因此1和也也認 為是"相鄰的"源圖像。
[0040] 在步驟320中，控制器130確定η個源圖像的重疊區(qū)域的平均像素值。如本公開中所 使用的，術(shù)語"像素值"指的是與源圖像中的像素或創(chuàng)建的全景圖像中的像素關(guān)聯(lián)的亮度值 和/或色度值。亮度值和色度值可從任何顏色空間獲取，例如RGB或YUV顏色空間。因此，所公 開的方法適用于RGB和YUV顏色空間兩者。不失一般性地，以下描述將假設(shè)像素值為亮度值 (后文指代為?'）。
[0041] 在步驟320中，控制器130可確定每個重疊區(qū)域的平均亮度值f。例如，第i源圖像 與第（i+Ι)源圖像部分重疊。因此，控制器130可分別確定第i和第（i+Ι)源圖像中的一對重 疊區(qū)域的平均亮度值歹和由于第i和第（i+ι)源圖像可能有不一致的亮度，因此f和p 可能不同。
[0042] 在步驟330中，控制器130確定與η個源圖像關(guān)聯(lián)的一致性因子(下文討論）。一致性 因子可用來調(diào)整相應(yīng)源圖像的像素值，從而獲得η個源圖像之間的全局亮度和/或色度一致 性。
[0043]圖4為根據(jù)示例性實施例的圖示了方法300的實施的示意圖。參照圖4,三個源圖像 可進行拼接來創(chuàng)建360度全景圖像。每個源圖像可包括分別與兩個相鄰的源圖像 重疊的兩個區(qū)域。即，區(qū)域Rib與區(qū)域R2a重疊，區(qū)域R 2b與區(qū)域R3a重疊，并且區(qū)域R3b與區(qū)域Ria 重疊。六個重疊區(qū)域中的每個區(qū)域具有分別由Ρ1β、歹1/5、f2t;、? 7#、f3a和表示的 平均亮度值?？刂破?30可確定分別由表示的每個源圖像的一致性因子。
[0044]理想地，對于具有一致亮度的源圖像，平均亮度值和一致性因子應(yīng)當滿 足以下公式：
[0048] 然而，在實踐中，滿足公式2幾乎是不可能的。這是因為從源圖像中獲得的平均亮 度值是隨機的，并且彼此沒有內(nèi)在關(guān)系。
[0049] 與本公開一致，為了處理上述困難，根據(jù)以下公式定義應(yīng)用于360度全景圖的誤差 公式：
[0050]
[0051 ]如公式3所表明的，由于第一源圖像和第η源圖像彼此部分重疊，因此
[0052] f(n+i) = fi 公式 4
[0053] 并且F(ri+1)a = 公式 5
[0054] 控制器130可通過將誤差函數(shù)最小化來確定一致性因子，即：
[0058] 其中δ!-〇，δ2-0，· · ·，δ?-〇，· · ·，δη-〇 公式8
[0059] 因此，控制器130可運行優(yōu)化處理來搜索滿足公式7和8的較小正數(shù)δ。具體而言，控 制器130可調(diào)整一致性因子h直到滿足公式7和8。最后獲取的一致性因子匕是期望的一致性 因子。
[0060] 在步驟340(圖3)中，控制器130基于一致性因子調(diào)整η個源圖像的亮度和/或色度。
[0061] 根據(jù)以上關(guān)于亮度值的描述，控制器130可通過將與每個源圖像中每個像素關(guān)聯(lián) 的亮度值乘以對應(yīng)的一致性因子Α來調(diào)整該每個源圖像的亮度。例如，參照圖4,控制器130 可確定源圖像Ml的一致性因子f 2?？刂破?30然后可將區(qū)域Rla和R2b中的亮度值與Rla和R 2b之 間的中間區(qū)域中的亮度值乘以一致性因子f2?？刂破?30可對源圖像MjPM3執(zhí)行類似的操 作。如此，控制器130可全局地優(yōu)化所有源圖像間的亮度一致性。
[0062]在步驟350中，控制器130將η個源圖像拼接為全景圖像。
[0063]控制器130可根據(jù)任何合適的方法將經(jīng)優(yōu)化的源圖像拼接為全景圖像。例如，控制 器130可按步驟310中確定的順序依次拼接源圖像。為了將第i源圖像拼接至已有的全景圖 像（即，包括頭（i-Ι)個源圖像的全景圖像），控制器130可在第（i-Ι)和第i源圖像的重疊區(qū) 域中找到最佳接縫，并沿著該接縫將兩個源圖像合并在一起。為了減少這些兩個源圖像之 間的色差并使全景圖像中的顏色過渡平滑，控制器130可用誤差分散處理來執(zhí)行圖像融合。 即，控制器130可計算接縫上的色差并將亮度(和/或顏色)差在第i源圖像側(cè)的所有像素上 擴散開?？刂破?30可通過增加貢獻度來更新這些像素的亮度(和/或顏色)值?？刂破?30然 后可將第i源圖像的更新的像素值進行編碼并保存在全景圖像文件中。這樣，控制器130可 對當前全景圖像的顏色過渡進行平滑?？刂破?30可對所有源圖像重復(fù)該處理。而且，在360 度全景圖的情況下，控制器130可在第一和第η源圖像的重疊區(qū)域找到最佳接縫，并在該最 佳接縫處合并這兩個源圖像以創(chuàng)建連續(xù)的環(huán)形360度全景圖像。
[0064]除了亮度一致性，還可想到將上述方法300類似地應(yīng)用于色度一致性的全局優(yōu)化。 在一些實施例中，可確定同樣的一致性因子并用于亮度和色度兩者。在另一實施例中，可確 定不同組的一致性因子并分別用于亮度和色度。
[0065]在示例性實施例中，任何合適的優(yōu)化處理可用來確定一致性因子fi(步驟340)。圖 5為根據(jù)示例性實施例的用于確定一致性因子的方法500的流程圖。參照圖5,方法500可包 括以下步驟。
[0066] 在步驟510中，控制器130計算一致性因子的初始值。
[0067]在執(zhí)行方法500時，控制器130可使用第一源圖像作為參照圖像。在一個實施例中， 控制器130可給h分配預(yù)定值。例如，控制器130可設(shè)定：
[0068] fi = 1 公式 9
[0069] 控制器130然后可根據(jù)公式10來計算其他一致性因子的初始值：
[0071] 返回參照公式4，f(n+1)實際上是與第一源圖像關(guān)聯(lián)的一致性因子。因此，如果公式 10的計算結(jié)果包括f(n+i) = l = f 1，控制器130可確定:該初始計算的一致性因子當應(yīng)用于相 應(yīng)源圖像時能確保整個全景圖像的亮度一致性。在這種情況下，方法500結(jié)束。
[0072]然而，如果，可使用方向參數(shù)S用于評估調(diào)整經(jīng)排序的源圖像之間的亮度 非一致性的期望方向。具體而言，如果f (η+υ>ι，控制器130可設(shè)定S=-1，表明亮度等級應(yīng)在 從第一源圖像至第η源圖像的方向上進一步調(diào)低。如果f( n+1)〈l，控制器130可設(shè)定S=l，表明 亮度等級應(yīng)在從第一源圖像至第η源圖像的方向上進一步調(diào)高。
[0073] 如果f(n+i)辛fi，控制器130進行到步驟520,其中使用預(yù)定的步長來計算一致性因 子。控制器130可根據(jù)公式11來計算一致性因子：
[0075]其中k是用來量化公式11的步長的迭代參數(shù)。如果步長的值表示為p，控制器130可 使得k = p。例如，p可以初始地設(shè)定為0.5。使用公式9和10,控制器130可計算整組一致性因 子fi〇
[0076] 在步驟530中，控制器130確定fdPf(n+1)是否會聚。如果fdPf(n+1)會聚，控制器130 進行到步驟540。如果fi和f(n+i)不會聚，控制器130更新步長并重復(fù)步驟520。
[0077] 例如，如果| f(n+i)_fi | <0.01，控制器130可確定fi和f(n+i)會聚，并進行到步驟540。 相反，如果I f(n+i)_fi | >0.01，控制器130可確定fi和f(n+i)未會聚，并返回到步驟520。
[0078] 在步驟520的每次迭代之前，控制器130可基于上次迭代的結(jié)果更新步長，即迭代 參數(shù)k。具體而言，如果在步驟520的上次迭代之后，方向參數(shù)S保持同一符號，這表明前次使 用的步長不夠大。因此，控制器130可根據(jù)公式12增加步長：
[0079] k = k+p 公式 12
[0080] 相反，如果在步驟520的上次迭代之后，方向參數(shù)S改變了符號，這表明前次使用的 步長太大。因此，控制器130可先根據(jù)公式13更新p:
[0082]并然后根據(jù)公式14減少步長：
[0083] k = k-p 公式 14
[0084] 在更新迭代參數(shù)后，控制器130可使用更新的迭代參數(shù)k和原方向參數(shù)S根據(jù)公式9 和10重復(fù)步驟520。換言之，即使在步驟520的上次迭代后S改變了符號，控制器130仍然使用 從步驟520的第一次迭代獲取的S。
[0085] 在步驟540中，控制器130輸出會聚的一致性因子。
[0086] 將會聚的一致性因子應(yīng)用到相應(yīng)源圖像使重疊區(qū)域的平均亮度值的差減少到最 終達到的步長k以下，并因此實現(xiàn)了亮度一致性的全局優(yōu)化。例如，會聚的一致性因子可用 在方法300中來調(diào)整每個源圖像的亮度等級并類似地調(diào)整色度等級，以達到全局亮度和/或 色度一致性。這樣，源圖像之間的亮度和/或色度非一致性可減少并然后均勻擴散到整個全 景圖像中。
[0087] 圖6A是圖示出未使用所公開的方法實現(xiàn)的結(jié)果的360度全景圖像。如圖6A所示，全 景圖像只經(jīng)過了拼接縫平滑處理，但沒有進行亮度和/或色度的全局調(diào)整。因此，全景圖像 具有明顯的亮度不一致性。
[0088]相反，圖6B是圖示出使用所公開的方法實現(xiàn)的結(jié)果的360度全景圖像。如圖6B所 示，經(jīng)過亮度和/或色度的全局調(diào)整后，進行步驟350中的拼接縫平滑，由此得到的全景圖像 在整個360度視野中具有一致的視覺效果。
[0089]雖然在此描述了說明性的實施例，但本領(lǐng)域技術(shù)人員基于本公開將能夠認識到： 其范圍包括具有等同元件、更改、省略、組合(例如多種實施例交叉的方案）、適應(yīng)性改動和/ 或替換的任一或全部實施例。權(quán)利要求中的限定要基于權(quán)利要求中使用的語言而寬泛地解 釋，而不限于本說明書中描述的或本申請審查期間的例子。上述例子應(yīng)解讀為非排他的。此 外，所公開的過程中的步驟可用任何方式修改，包括對步驟重新排序和/或插入或刪除步 驟。因此，說明書和例子旨在視為僅僅是說明性的，而真實范圍和精神由隨附的權(quán)利要求及 其全部的等同范圍來表示。
【主權(quán)項】
1. 一種用于拼接多個圖像的方法，所述圖像包括具有像素值的像素，所述方法包括： 對所述多個圖像按順序進行排序，以使得： 相鄰的圖像至少部分彼此重疊;并且 第一圖像和最后圖像至少部分彼此重疊； 確定圖像的重疊區(qū)域的平均像素值； 確定圖像的一致性因子； 通過將平均像素值乘以相應(yīng)的一致性因子來生成修正的平均像素值； 調(diào)整一致性因子以減小重疊區(qū)域中的修正的平均像素值的差；以及 基于相應(yīng)的一致性因子來調(diào)整圖像的像素值。2. 根據(jù)權(quán)利要求1的方法，其中，調(diào)整一致性因子包括： 構(gòu)建一致性因子的誤差函數(shù)，該誤差函數(shù)表示重疊區(qū)域中的修正的平均像素值的差； 以及 調(diào)整一致性因子以使誤差函數(shù)最小化。3. 根據(jù)權(quán)利要求2的方法，其中誤差函數(shù)為重疊區(qū)域中的修正的平均像素值的差的平 方和。4. 根據(jù)權(quán)利要求1的方法，其中，確定圖像的一致性因子包括： 將與圖像中的第一圖像相關(guān)聯(lián)的一致性因子設(shè)定為預(yù)定值；以及 基于所述預(yù)定值和重疊區(qū)域中的平均像素值來確定與圖像中的第二圖像相關(guān)聯(lián)的一 致性因子。5. 根據(jù)權(quán)利要求4的方法，其中，調(diào)整一致性因子包括： 調(diào)整一致性因子以使得每個修正的平均像素值的差小于閾值。6. 根據(jù)權(quán)利要求1的方法，其中基于相應(yīng)的一致性因子來調(diào)整圖像的像素值包括： 將圖像的像素值乘以相應(yīng)的一致性因子。7. 根據(jù)權(quán)利要求1的方法，其中每個像素值包括色度值或亮度值中的至少一個。8. 根據(jù)權(quán)利要求1的方法，進一步包括： 在調(diào)整了圖像的像素值之后，拼接多個圖像。9. 根據(jù)權(quán)利要求8的方法，其中，拼接圖像包括： 對相鄰的圖像之間的像素值的過渡進行平滑。10. 根據(jù)權(quán)利要求1的方法，其中，所述多個圖像聯(lián)合地呈現(xiàn)360度全景視圖。11. 一種用于組合多個圖像的方法，包括： 獲得η個圖像，η為整數(shù)且η彡2; 在圖像中識別第一區(qū)域和第二區(qū)域； 對圖像按順序進行排序； 在η個圖像中，將第i圖像的第二區(qū)域與第i+Ι圖像的第一區(qū)域進行配對，i為整數(shù)且n>i 多1; 將第η圖像的第二區(qū)域與第一圖像的第一區(qū)域進行配對； 確定第一區(qū)域和第二區(qū)域中的平均像素值； 確定用于圖像的一致性因子； 通過將平均像素值乘以相應(yīng)的一致性因子來生成修正的平均像素值； 調(diào)整一致性因子以減小配對區(qū)域中的修正的平均像素值的差；以及 基于相應(yīng)的一致性因子來調(diào)整圖像的像素值。12. 根據(jù)權(quán)利要求11的方法，其中，調(diào)整一致性因子包括： 構(gòu)建一致性因子的誤差函數(shù)，該誤差函數(shù)表示配對區(qū)域中的修正的平均像素值的差； 以及 調(diào)整一致性因子以使誤差函數(shù)最小化。13. 根據(jù)權(quán)利要求12的方法，其中誤差函數(shù)為配對區(qū)域中的修正的平均像素值的差的 平方和。14. 根據(jù)權(quán)利要求11的方法，其中，確定圖像的一致性因子包括： 將與圖像中的第一圖像相關(guān)聯(lián)的一致性因子設(shè)定為預(yù)定值；以及 基于所述預(yù)定值和配對區(qū)域中的平均像素值來確定與圖像中的第二圖像相關(guān)聯(lián)的一 致性因子。15. 根據(jù)權(quán)利要求14的方法，其中，調(diào)整一致性因子包括： 調(diào)整一致性因子以使得每個修正的平均像素值的差小于閾值。16. 根據(jù)權(quán)利要求11的方法，其中基于相應(yīng)的一致性因子來調(diào)整圖像的像素值包括： 將圖像的像素值乘以相應(yīng)的一致性因子。17. 根據(jù)權(quán)利要求11的方法，進一步包括： 在調(diào)整了圖像的像素值之后，通過合并配對區(qū)域來組合所述多個圖像。18. 根據(jù)權(quán)利要求17的方法，其中，組合圖像包括： 對合并的圖像之間的像素值的過渡進行平滑。19. 一種用于拼接多個圖像的裝置，所述圖像包括具有像素值的像素，所述裝置包括： 存儲器，存儲指令；以及 處理器，被配置為執(zhí)行所述指令以： 對所述多個圖像按順序進行排序，以使得： 相鄰的圖像至少部分彼此重疊;并且 第一圖像和最后圖像至少部分彼此重疊； 確定圖像的重疊區(qū)域的平均像素值； 確定圖像的一致性因子； 通過將平均像素值乘以相應(yīng)的一致性因子來生成修正的平均像素值； 調(diào)整一致性因子以減小重疊區(qū)域中的修正的平均像素值的差；以及 基于相應(yīng)的一致性因子來調(diào)整圖像的像素值。
【文檔編號】G06T3/00GK106097244SQ201610392155
【公開日】2016年11月9日
【申請日】2016年6月3日 公開號201610392155.3, CN 106097244 A, CN 106097244A, CN 201610392155, CN-A-106097244, CN106097244 A, CN106097244A, CN201610392155, CN201610392155.3
【發(fā)明人】汪孔橋
【申請人】上海小蟻科技有限公司