一種采用兩路視頻間亮度和色偏對視頻拼接的系統(tǒng)及其調(diào)整方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及圖像處理和視頻處理領(lǐng)域，屬于多路攝像頭視頻拼接之前的減小亮度 和色偏范疇，尤其設(shè)及一種采用兩路視頻間亮度和色偏對視頻拼接的系統(tǒng)及其調(diào)整方法。
【背景技術(shù)】
[0002] 隨著當(dāng)今多媒體技術(shù)的飛速發(fā)展，使用數(shù)碼相機(jī)、攝像機(jī)、手機(jī)等設(shè)備來獲取視頻 和圖像信息越來越廣泛，然而人們時(shí)常需要獲得寬視角、大場景的全景圖像滿足特定應(yīng)用， 運(yùn)些設(shè)備無法滿足獲得寬視角視頻的需求。一些硬件設(shè)備如魚眼鏡頭和廣角鏡頭雖然可W 獲得全景圖像，但是運(yùn)些設(shè)備價(jià)格昂貴，不適合廣泛應(yīng)用。視頻拼接技術(shù)是將多路視頻采集 設(shè)備采集到的視頻序列，拼接合成一路寬景甚至全景的視頻，運(yùn)是一種基于圖像配準(zhǔn)算法 的實(shí)時(shí)視頻處理技術(shù)，運(yùn)種方法可W提高人們對事物和場景的辨別、感知和監(jiān)控能力，能夠 廣泛應(yīng)用與多個(gè)領(lǐng)域。
[0003] 然而在實(shí)際環(huán)境中，由于攝像頭所處的位置不同，導(dǎo)致其周圍光照情況互不相同， 得到的視頻中色彩和亮度也互不相同，運(yùn)使得拼接后得到的視頻會(huì)出現(xiàn)空間上亮度和色彩 不自然的現(xiàn)象，甚至在兩幅圖像拼接處出現(xiàn)縫隙，為了解決運(yùn)個(gè)問題，需要在配準(zhǔn)之前對多 路視頻進(jìn)行亮度和色彩校正，通常采用白平衡算法對視頻進(jìn)行預(yù)處理。
[0004] 圖像的亮度可W由YUV格式中的Y分量表征，Y分量的平均值越大，圖像整體亮度越 高，而色彩校正需要將輸入YUV格式轉(zhuǎn)換為RGB格式，因此系統(tǒng)采用了簡單的線性亮度調(diào)整 算法先進(jìn)行亮度調(diào)整，再對調(diào)整完的圖像進(jìn)行色彩校正。
[0005] 近年來，針對圖像色彩恒常性問題，研究者們提出了很多算法，如經(jīng)典的灰度世界 算法、完美反射算法等，Joost van de Weijer和Ilieo Gevers等提出一種基于灰度邊緣 (gray-edge)的白平衡理論和算法，該方法在傳統(tǒng)的灰度世界算法理論的基礎(chǔ)上，提出圖像 的邊緣差分的平均值是無色偏的假設(shè)，即在一般自然圖像中，如果有足夠多的顏色，那么它 們差分圖像的平均值是一個(gè)常量。該算法能夠產(chǎn)生比傳統(tǒng)灰度世界等算法更好的效果，但 是計(jì)算量也相對復(fù)雜。通常白平衡算法是為了還原圖像的色彩，消除色偏，使圖像更接近人 眼的習(xí)慣，而我們?yōu)榱藵M足拼接的需要，必須調(diào)整其中一路視頻的RGB通道值，使之與另一 路更接近，運(yùn)可W通過改進(jìn)算法的解決。
[0006] 由于視頻預(yù)處理的目的是使得多路視頻亮度和色彩相近，如何在綜合考慮SoC系 統(tǒng)對拼接質(zhì)量和效果需求下，提出一種改進(jìn)型的視頻拼接系統(tǒng)，并在此基礎(chǔ)上實(shí)現(xiàn)兩路視 頻間的亮度和色彩一致性調(diào)整，然后根據(jù)調(diào)整后的視頻帖完成拼接融合操作，還存在很多 需要解決的問題。（1)需要性能優(yōu)化的算法，使得運(yùn)算速度能夠提高。（2) W其中一路為參 考，調(diào)整另一路的亮度分量使之與參考帖亮度相同（3)灰度邊緣白平衡算法能夠?qū)D像的 RGBS個(gè)通道的值修正的更加接近平均值，但要使得多路視頻之間色彩相近，不能讓每路視 頻的色彩修正值接近各自的平均值，而需要選擇其中一路作為參考，修正其它各路視頻的 RGB通道值盡可能的接近該參考帖的值。

【發(fā)明內(nèi)容】

[0007] 針對現(xiàn)有技術(shù)中存在的技術(shù)問題，本發(fā)明提供一種采用兩路視頻間亮度和色偏對 視頻拼接的系統(tǒng)及其調(diào)整方法，該系統(tǒng)及方法是對視頻拼接SoC系統(tǒng)中，選擇其中一路視頻 圖像作為參考帖，基于灰度邊緣的白平衡算法和線性亮度調(diào)整算法，對輸入目標(biāo)帖進(jìn)行預(yù) 處理，提出一種調(diào)整多路輸入視頻使它們色彩和亮度保持一致的方法，從而使得拼接融合 后的圖像色彩和明暗變換更加均勻和自然。
[0008] 為了解決現(xiàn)有技術(shù)問題，本發(fā)明采用如下技術(shù)方案：
[0009] -種采用兩路視頻間亮度和色偏對視頻拼接的系統(tǒng)，包括：圖像采集模塊接收兩 路的YUV格式視頻信號，并將一路作為目標(biāo)帖和另一路為參考帖發(fā)送給數(shù)據(jù)同步模塊;所述 數(shù)據(jù)同步模塊將目標(biāo)帖和參考帖場的行場信號和像素時(shí)鐘信號同步向系統(tǒng)提供所需的時(shí) 鐘域，同時(shí)對兩路視頻進(jìn)行相位同步；
[0010] 如果需要對圖像進(jìn)行基礎(chǔ)參數(shù)計(jì)算時(shí)，則令數(shù)據(jù)處理核化l_en=l;存儲(chǔ)器中存入 兩路視頻各一帖的Y分量的數(shù)據(jù)和RGB格式的數(shù)據(jù)，啟動(dòng)數(shù)據(jù)處理核根據(jù)存儲(chǔ)器中的數(shù)據(jù)計(jì) 算色彩增益參數(shù)r、g、b和均值差參數(shù)DW及拼接仿射參數(shù);所述數(shù)據(jù)處理核將參數(shù)r、g、b發(fā) 送給目標(biāo)色調(diào)調(diào)整模塊，所述數(shù)據(jù)處理核將均值差參數(shù)D發(fā)送亮度調(diào)整模塊，同時(shí)所述數(shù)據(jù) 處理核還將仿射參數(shù)發(fā)送給視頻融合模塊；
[0011] 如果需要對圖像進(jìn)行連續(xù)調(diào)整，則令數(shù)據(jù)處理核收到化l_en = 0;數(shù)據(jù)處理核向發(fā) 出color_finish信號，所述目標(biāo)亮度調(diào)整模塊將按照Ynew(i，j)=Y2(i，j)+D運(yùn)算后的數(shù)據(jù) 信號發(fā)送給目標(biāo)格式轉(zhuǎn)換模塊;所述目標(biāo)格式轉(zhuǎn)換模塊將轉(zhuǎn)換的RGB信號發(fā)送給目標(biāo)色調(diào) 調(diào)整模塊，所述目標(biāo)色調(diào)調(diào)整模塊將RGB信號分為S個(gè)通道進(jìn)行色彩格式轉(zhuǎn)換，并利用參數(shù) r、g、b按照如下Rl卸，G1 *g，B1沖計(jì)算后，獲得目標(biāo)帖的RGB分量發(fā)送給存儲(chǔ)器；
[0012] 同時(shí)，所述數(shù)據(jù)同步模塊將參考帖信號發(fā)送參考格式轉(zhuǎn)換模塊，參考格式轉(zhuǎn)換模 塊將轉(zhuǎn)換的RGB信號發(fā)送給參考色調(diào)模塊;所述參考色調(diào)模塊將RGB信號分為=個(gè)通道進(jìn)行 色彩格式轉(zhuǎn)換后參考帖的RGB分量發(fā)送給存儲(chǔ)器；
[0013] 每次系統(tǒng)啟動(dòng)，所述圖像采集模塊進(jìn)入圖像采集，系統(tǒng)完成均值差參數(shù)、色彩增益 參數(shù)和仿射參數(shù)計(jì)算后，系統(tǒng)將對采集圖像保持在連續(xù)調(diào)整模式，并將調(diào)整完色彩和亮度 的RGB格式視頻存入所述存儲(chǔ)器，達(dá)到對每次圖像采集模塊的目標(biāo)帖和參考帖進(jìn)行亮度和 色彩調(diào)整使之一致，最后所述存儲(chǔ)器和所述視頻融合模塊根據(jù)收到的仿射參數(shù)完成兩路視 頻的拼接。所述數(shù)據(jù)處理核采用Microblaze軟核。
[0014] 所述目標(biāo)色調(diào)調(diào)整模塊和參考色調(diào)模塊均采S個(gè)FIFO存儲(chǔ)器用來緩存像素 RGB各 通道的圖像，F(xiàn)IFO輸出時(shí)鐘為266MHz，深度為720,即緩存一行。
[0015] 所述存儲(chǔ)器采用孤R隨機(jī)存儲(chǔ)器。
[0016] 所述視頻融合模塊實(shí)際為DDR地址控制器。
[0017] 所述仿射參數(shù)包括圖像間旋轉(zhuǎn)角度0、水平位移Tx和垂直位移Ty,由數(shù)據(jù)處理核采 用標(biāo)準(zhǔn)的圖像配準(zhǔn)算法計(jì)算得到。
[0018] 為了解決現(xiàn)有技術(shù)問題，本發(fā)明還提供如下技術(shù)方案：
[0019] -種采用兩路視頻間亮度和色偏對視頻拼接的調(diào)整方法，包括如下步驟：
[0020] 步驟一，系統(tǒng)開機(jī)，圖像采集模塊接收兩路的YUV格式視頻信號，并將一路作為目 標(biāo)帖和另一路為參考帖發(fā)送給數(shù)據(jù)同步模塊，經(jīng)過時(shí)鐘同步后，將參考帖和目標(biāo)帖各一帖 的Y分量和格式轉(zhuǎn)換后的RGB圖像存入存儲(chǔ)器中，完成存儲(chǔ)之后返回CaLen = I信號給數(shù)據(jù) 處理核，此時(shí)目標(biāo)亮度調(diào)整模塊和目標(biāo)色調(diào)調(diào)整模塊中加法器和乘法器不使能，僅作為緩 存；
[0021] 步驟二，所述數(shù)據(jù)處理核接收命令，如果所述數(shù)據(jù)處理核接收接收到化l_en = l命 令，則啟動(dòng)數(shù)據(jù)處理核根據(jù)存儲(chǔ)器中的數(shù)據(jù)進(jìn)行灰度邊緣算法計(jì)算色彩增益參數(shù)r、g、b和 均值差參數(shù)D;同時(shí)，所述數(shù)據(jù)處理核將參數(shù)r、g、b發(fā)送給目標(biāo)色調(diào)調(diào)整模塊，所述數(shù)據(jù)處理 核將均值差參數(shù)D發(fā)送亮度調(diào)整模塊，完成亮度的調(diào)整；
[0022] 步驟S，如果數(shù)據(jù)處理核接收CaLen = O命令，此時(shí)判斷所述數(shù)據(jù)處理核發(fā)出的 color_f inish信號，目標(biāo)亮度調(diào)整模塊和目標(biāo)色調(diào)調(diào)整模塊收到color_f inish= 1信號，貝U 所述目標(biāo)亮度調(diào)整模塊和目標(biāo)色調(diào)調(diào)整模塊開始使能，所述目標(biāo)亮度調(diào)整模塊將按照Ynew (i，j) = Y2( i，j)+D運(yùn)算后的數(shù)據(jù)信號發(fā)送給目標(biāo)格式轉(zhuǎn)換模塊，所述目標(biāo)格式轉(zhuǎn)換模塊將 轉(zhuǎn)換的RGB信號發(fā)送給目標(biāo)色調(diào)調(diào)整模塊