蒙板矩陣的生成方法、泊車圖像的合成方法及裝置的制造方法
【專利摘要】本發(fā)明提供了一種蒙板矩陣的生成方法、泊車圖像的合成方法及裝置，生成方法包括：獲取待合成的多幅第一鳥瞰圖像；通過如下處理，生成與多個第一鳥瞰圖像對應的多個蒙板矩陣：識別各第一鳥瞰圖像的有效像素區(qū)域之間的重疊區(qū)域，計算位于重疊區(qū)域中的各第一鳥瞰圖像的像素點的重疊權(quán)重值，并將蒙板矩陣中與該像素點對應的矩陣元素的元素值設為該重疊權(quán)重值；存儲生成的多個蒙板矩陣。本發(fā)明的蒙板矩陣的生成方法、泊車圖像的合成方法及裝置，通過在離線狀態(tài)下預先生成用于泊車圖像合成處理的蒙板矩陣，并將其作為系統(tǒng)文件存儲后，在后續(xù)的在線實時合成時進行應用，能夠大幅度提高在線狀態(tài)下的泊車圖像的合成處理的效率。
【專利說明】
蒙板矩陣的生成方法、泊車圖像的合成方法及裝置
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及矩陣的生成方法、圖像的融合方法及裝置，尤其涉及一種蒙板矩陣的 生成方法、泊車圖像的融合方法及裝置。
【背景技術(shù)】
[0002] 近年來，隨著人們對安全駕駛的要求不斷提高，常見的普通倒車后視系統(tǒng)已經(jīng)越 來越無法滿足人們?nèi)粘５男枨?。因此能夠直觀地向駕駛員展現(xiàn)車輛四周360度無死角場景 畫面的全景泊車系統(tǒng)應運而生。然而，目前市面上的全景泊車系統(tǒng)的全景圖像大多只是簡 單地對各個方向的鳥瞰圖進行圖像合成，即把采集到的圖像進行簡單校正和變換后進行位 置匹配，然后直接合成為一幅圖像。然而，在各個攝像頭之間的圖像重疊區(qū)域，會有明顯的 拼接痕跡，影響用戶體驗。
[0003] 現(xiàn)有技術(shù)也提出過一些針對泊車圖像的合成處理方法，但是由于涉及的算法計算 量很大，在實時在線的泊車圖像的合成處理過程中，經(jīng)常會出現(xiàn)處理效率低下的，導致泊車 系統(tǒng)無法實現(xiàn)真正的實時工作。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明的目的在于提供一種蒙板矩陣的生成方法、泊車圖像的合成方法及裝置， 以提高泊車圖像的合成處理的效率。
[0005] 為了實現(xiàn)上述發(fā)明目的，本發(fā)明提供了一種蒙板矩陣的生成方法，包括：
[0006] 獲取待合成的多幅第一鳥瞰圖像，其中，每幅所述第一鳥瞰圖像分別與一個泊車 攝像機對應，所述第一鳥瞰圖像的分辨率與預設的目標全景泊車圖像的分辨率相同；
[0007] 通過如下處理，生成與多個所述第一鳥瞰圖像對應的多個蒙板矩陣：識別各所述 第一鳥瞰圖像的有效像素區(qū)域之間的重疊區(qū)域，計算位于重疊區(qū)域中的各所述第一鳥瞰圖 像的像素點的重疊權(quán)重值，并將所述蒙板矩陣中與該像素點對應的矩陣元素的元素值設為 該重疊權(quán)重值，所述有效像素區(qū)域為具有實際拍攝圖像的像素區(qū)域;存儲生成的所述多個 蒙板矩陣作為后續(xù)泊車圖像合成用的系統(tǒng)調(diào)用文件。
[0008] 本發(fā)明還提供了一種泊車圖像的合成方法，包括：
[0009] 獲取待合成的多幅相同的第二鳥瞰圖像，每幅第二鳥瞰圖像分別與一個泊車攝像 機對應，所述第二鳥瞰圖像的分辨率與預設的目標全景圖像的分辨率相同；
[0010] 調(diào)用預先存儲的多個蒙板矩陣，在所述蒙板矩陣的矩陣元素中，存儲有與所述第 二鳥瞰圖像的像素點對應重疊權(quán)重值，所述重疊權(quán)重值表示在最終合成的全景泊車圖像 中，有效像素區(qū)域之間的重疊區(qū)域的各第二鳥瞰圖像的像素點的像素值所占的比重，所述 有效像素區(qū)域為具有實際拍攝圖像的像素區(qū)域；
[0011] 將多幅所述第二鳥瞰圖像中的像素值分別與所述多個蒙板矩陣對應的元素值相 乘，生成多幅第三鳥瞰圖像；
[0012] 將所述多幅第三鳥瞰圖像進行疊加合成，生成所述全景泊車圖像。
[0013]本發(fā)明又提供了一種蒙板矩陣的生成裝置，包括：
[0014] 第一獲取模塊，用于獲取待合成的多幅第一鳥瞰圖像，其中，每幅第一鳥瞰圖像分 別與一個泊車攝像機對應，所述第一鳥瞰圖像的分辨率與預設的目標全景泊車圖像的分辨 率相同；
[0015] 矩陣生成模塊，用于通過如下處理，生成與多個所述第一鳥瞰圖像對應的多個蒙 板矩陣：識別各所述第一鳥瞰圖像的有效像素區(qū)域之間的重疊區(qū)域，計算位于重疊區(qū)域中 的各所述第一鳥瞰圖像的像素點的重疊權(quán)重值，并將所述蒙板矩陣中與該像素點對應的矩 陣元素的元素值設為該重疊權(quán)重值，所述有效像素區(qū)域為具有實際拍攝圖像的像素區(qū)域；
[0016] 存儲模塊，用于存儲生成的所述多個蒙板矩陣作為后續(xù)泊車圖像合成用的系統(tǒng)調(diào) 用文件。
[0017]本發(fā)明再提供了泊車圖像的合成裝置，包括：
[0018] 第二獲取模塊，用于獲取待合成的多幅相同的第二鳥瞰圖像，每幅第二鳥瞰圖像 分別與一個泊車攝像機對應，所述第二鳥瞰圖像的分辨率與預設的目標全景圖像的分辨率 相同；
[0019] 調(diào)用模塊，用于調(diào)用預先存儲的多個蒙板矩陣，在所述蒙板矩陣的矩陣元素中，存 儲有與所述第二鳥瞰圖像的像素點對應重疊權(quán)重值，所述重疊權(quán)重值表示在最終合成的全 景泊車圖像中，有效像素區(qū)域之間的重疊區(qū)域的各第二鳥瞰圖像中的像素點的像素值所占 的比重，所述有效像素區(qū)域為具有實際拍攝圖像的像素區(qū)域；
[0020] 乘法模塊，用于將多幅所述第二鳥瞰圖像中的像素值分別與所述多個蒙板矩陣對 應的元素值相乘，生成多幅第三鳥瞰圖像；
[0021] 合成模塊，用于將所述多幅第三鳥瞰圖像進行疊加合成，生成全景泊車圖像。
[0022] 本發(fā)明的蒙板矩陣的生成方法、泊車圖像的合成方法及裝置，通過在離線狀態(tài)下 預先生成用于泊車圖像合成處理的蒙板矩陣，并將其作為系統(tǒng)文件存儲后，在后續(xù)的在線 實時合成時進行應用，能夠大幅度提高在線狀態(tài)下的泊車圖像的合成處理的效率。
【附圖說明】
[0023]圖1為本發(fā)明的全景泊車系統(tǒng)的圖像合成原理示意圖之一。
[0024]圖2為本發(fā)明的全景泊車系統(tǒng)的圖像合成原理示意圖之二。
[0025]圖3為本發(fā)明實施例一的蒙板矩陣的生成方法的流程示意圖。
[0026]圖4為本發(fā)明實施例一的重疊權(quán)重值計算原理示意圖。
[0027]圖5為本發(fā)明實施例二的泊車圖像的合成方法的流程示意圖。
[0028]圖6為本發(fā)明實施例二的泊車圖像合成處理的原理示意圖；
[0029] 圖7為本發(fā)明實施例三的蒙板矩陣的生成裝置的結(jié)構(gòu)示意圖；
[0030] 圖8為本發(fā)明實施例四的泊車圖像合成處理裝置的結(jié)構(gòu)示意圖。
【具體實施方式】
[0031] 下面結(jié)合附圖對本發(fā)明實施例進行詳細描述。
[0032] 本發(fā)明的原理在于:在進行在線狀態(tài)下的泊車圖像合成處理的之前，先在離線狀 態(tài)下，生成用于泊車圖像合成處理的蒙板矩陣，然后將該蒙板矩陣進行存儲。當進行在線狀 態(tài)下的實時的泊車圖像合成處理時，調(diào)用存儲的蒙板矩陣進行圖像合成處理，從而提高在 線狀態(tài)下泊車圖像合成處理的效率。在本發(fā)明的實施例中，在線狀態(tài)是指實時系統(tǒng)運行時 的工作狀態(tài)，而離線狀態(tài)是指測試、調(diào)試或者設置等狀態(tài)，例如在出廠前或者系統(tǒng)第一次使 用時進行的初始化模式，或者調(diào)試模式等。
[0033]泊車圖像的合成處理主要的應用場景如圖1所示，以將4臺泊車攝像機拍攝的4幅 圖像合成為全景泊車圖像為例，4臺泊車攝像機所拍攝的圖像經(jīng)過處理后能夠生成環(huán)繞汽 車四周的鳥瞰圖像（中間部分為車輛的固有圖像，可以認為不需要進行合成或者拼接處 理），為了便于說明，將各個區(qū)域進行分別標記為區(qū)域1至4。
[0034]圖像合成的基本過程如下：將4幅原始圖像經(jīng)過預處理后生成4幅鳥瞰圖像，然后 按照最終的要生成的目標全景泊車圖像的大?。茨繕巳皥D像尺寸），對4幅鳥瞰圖像進 行圖像填充處理，生成與最終的全景泊車圖像的大小相同的圖像。由于4幅鳥瞰圖像的任意 一副都不可能拍攝到全景泊車圖像中的全部內(nèi)容，但是為了生成與最終的全景泊車圖像的 尺寸一樣的圖像，就需要將沒有拍攝到的部分進行填充(一般填充為黑色，如圖2所示），從 而才能生成與全景泊車圖像的尺寸相同的圖像。例如，以前置的泊車攝像頭為例，其拍攝到 的圖像僅僅為前方的區(qū)域1，但是為了生成與全景泊車圖像的尺寸相同的圖像，將其他幾個 區(qū)域?qū)牟糠痔畛淞撕谏?。同理，其他三幅圖像也進行了同樣的填充處理，從而形成4幅 與最終全景圖像待合成的圖像，然后，將4張圖片進行疊加融合，就能生成如圖1所示的環(huán)繞 汽車四周的全景泊車圖像了。
[0035]此外，為了便于本發(fā)明實施例對技術(shù)方案的描述，將離線狀態(tài)下處理的鳥瞰圖像 稱作第一鳥瞰圖像，將在線狀態(tài)下處理的鳥瞰圖像稱作第二鳥瞰圖像。
[0036] 實施例一
[0037]如圖3所示，其為本發(fā)明實施例一的蒙板矩陣的生成方法的流程示意圖，本實施例 的蒙板矩陣的生成方法，包括：
[0038]步驟101:獲取待合成的多幅第一鳥瞰圖像，其中，每幅第一鳥瞰圖像分別與一個 泊車攝像機對應，第一鳥瞰圖像的分辨率與預設的目標全景泊車圖像的分辨率相同。
[0039]步驟102:通過如下處理，生成與多個第一鳥瞰圖像對應的多個蒙板矩陣：識別各 第一鳥瞰圖像的有效像素區(qū)域之間的重疊區(qū)域，計算位于重疊區(qū)域中的各第一鳥瞰圖像的 像素點的重疊權(quán)重值，并將蒙板矩陣中與該像素點對應的矩陣元素的元素值設為該重疊權(quán) 重值。本發(fā)明實施例中的重疊權(quán)重值主要表示在最終合成的全景泊車圖像中，各個第二鳥 瞰圖像中重疊的像素點的像素值所占的比重，這里所說的有效像素區(qū)域為具有實際拍攝圖 像的像素區(qū)域，例如圖2中的區(qū)域1。
[0040] 本發(fā)明實施例的蒙板矩陣，其主要的作用在于對重疊區(qū)域的像素點的像素值按照 重疊權(quán)重值進行圖像合成，而對于重疊區(qū)域以外的像素點不需要進行圖像合成處理，因此， 這部分像素點對應的蒙板矩陣上值設置為1即可，即將第一鳥瞰圖像與蒙板矩陣相乘后，只 改變重疊區(qū)域的像素點的像素值。
[0041] 在該步驟中，重疊權(quán)重值可以平均權(quán)重法或距離權(quán)重法或角度權(quán)重法來計算。其 中，角度權(quán)重法計算原理如圖4所示，預設的空間排布的標定點為P1至P4,結(jié)合圖1可以大致 看出，圖4中的點P位于前方攝像頭能夠拍攝的區(qū)域1和右側(cè)攝像頭能夠拍攝的區(qū)域3的重疊 區(qū)域中，在這種情況下，在點P處，前方攝像頭拍攝第一鳥瞰圖像中的像素點的重疊權(quán)重值 M1(P) = sin0，M3(P) = c〇S0。距離權(quán)重法可以采用像素點距離指定邊界的距離的比例值來計 算權(quán)重，再如圖4所示，點P距離P3和P2連線的延長線的垂直距離用L1表示，點P距離P1和P2 連線的延長線的垂直距離用L2,此時，在點P處，前方攝像頭拍攝第一鳥瞰圖像中的像素點 的重疊權(quán)重值可以為
M3(P) = 1 _ (P)。平均權(quán)重法是將點P處對應的 像素點的重疊權(quán)重值等分，即施(？）=0.5,3(?)=0.5。以上示例性地示出了重疊權(quán)重值的 幾種計算方法，對于每種計算方法，可以根據(jù)實際情況進行調(diào)整，不受上述示例的限制。另 外，圖4所示的情形為僅有兩個攝像頭的拍攝區(qū)域重疊的情形，實際上，在兩個以上的攝像 頭的拍攝區(qū)域重疊的情形也能夠計算重疊權(quán)重值，只要保證同一個像素點處對應的所有像 素點的重疊權(quán)重值相加等于1即可。
[0042] 步驟103:存儲生成的多個蒙板矩陣作為后續(xù)泊車圖像合成用的系統(tǒng)調(diào)用文件。
[0043] 通過上述的步驟101至103能夠生成可以重復使用的多個蒙板矩陣，這些蒙板矩陣 被存儲在汽車的系統(tǒng)中后，在之后進行在線狀態(tài)下的實時的泊車圖像合成處理時，就可以 立即調(diào)用，而不需要再重復執(zhí)行圖像重疊區(qū)域的識別以及圖像融合處理了，從而能夠提高 在線狀態(tài)的圖像合成效率。
[0044] 在實際應用中，上述的步驟102中，生成與多個第一鳥瞰圖像對應的多個蒙板矩陣 的處理可以具體為如下處理過程：
[0045] 遍歷所有第一鳥瞰圖像的所有像素點進行如下處理，以生成與多幅第一鳥瞰圖像 分別對應的多個蒙板矩陣：
[0046] 1)如果當前進行判斷的第一像素點的像素值為0(該像素點呈黑色），則將與該第 一鳥瞰圖像對應的蒙板矩陣中的對應位置的元素值設為〇或者1。
[0047] 這種情況存在兩種可能，一種是該像素位于被填充為黑色的區(qū)域(例如圖2中的區(qū) 域2至4)，另一種可能是該部分對應的實際拍攝到的圖像的點就是黑色。由于該像素點像素 值為〇,因此，蒙板矩陣對應的元素值無論設置為什么值都不會對該點像素造成影響，不過 按照一般的圖像處理方式，可以將元素值設為〇或者1。
[0048] 2)如果第一像素點的像素值不為0,且在其他所有第一鳥瞰圖像中與該第一像素 點的位置相同的所有第二像素點的像素值均為〇，則將元素值設為1。這種情況下，該第一像 素點是處于重疊區(qū)域以外的有效像素區(qū)域中。
[0049] 3)如果所述第一像素點的像素值不為0,且存在像素值不為0的第二像素點，則計 算該第一像素點的像素值相對于其他所述第二像素點的像素值的重疊權(quán)重值，并將第一元 素值設為該重疊權(quán)重值。這種情況下，第一像素點處于重疊區(qū)域中。
[0050] 上述步驟102的處理也可用如下數(shù)學模型描述：
[0051] 假設步驟101中獲取到N幅分辨率大小為HXW的第一幅鳥瞰圖像 y)，???，lN(x，y)，與之對應的N個蒙板矩陣分別表示為Mi(x，y)，M2(x，y)，???，MN(x，y)，其中， x，y分別為代表圖像對應像素或矩陣對應的矩陣元素的行和列的坐標值，且xe[0，H)，ye [0,W) ；
[0052]對于其中任一蒙板矩陣1(^7)，116[1，幻，需要遍歷所有第一幅鳥瞰圖像111(^ 7) 的所有像素點，1￡[0，扣，76[0，1]，按照如下規(guī)則，對該蒙板矩陣1(1，5〇的矩陣元素進行 求值：
[0053] A)若ln(x，y) = 0,則令Mn(x，y)=0或者Mn(x，y) = l。在圖像處理中，像素值為0代表 該處為黑色。
[0054] B)若In(x，y)矣0,且其他所有Im(X，y)=0，me[l，N]，m#nJI^M n(X，y) = l。
[0055] C)若In(x，y)矣0,且存在Im(x，y)矣0,則計算該幅第一鳥瞰圖像在該像素點處的權(quán) 重值P，并令Mn(x，y)=P。
[0056]步驟103:存儲生成的多個蒙板矩陣作為后續(xù)泊車圖像合成用的系統(tǒng)文件。
[0057]進一步地，在上述步驟101中，獲取待合成的多幅第一鳥瞰圖像的處理可以包括： 接收多個泊車攝像機拍攝的多幅第一原始圖像，然后，對多幅第一原始圖像進行畸變校正 處理，最后，根據(jù)預設的空間排布的標定點坐標以及預設的目標全景泊車圖像的分辨率和 大小，對畸變校正處理后的多幅第一原始圖像進行角度透視變換和圖像填充處理，生成多 幅第一鳥瞰圖像。
[0058] 本實施例的處理流程主要應用于離線狀態(tài)，例如，在出廠前或者系統(tǒng)第一次使用 時進行的初始化模式下，或者在調(diào)試模式下，運行本實施例的處理流程，從而生成供在線狀 態(tài)使用的蒙板矩陣文件。
[0059] 實施例二
[0060] 圖5為本發(fā)明實施例二的泊車圖像的合成方法的流程示意圖，如圖5所示，本實施 例的泊車圖像的合成方法包括：
[0061] 步驟201:獲取待合成的多幅相同的第二鳥瞰圖像，每幅第二鳥瞰圖像分別與一個 泊車攝像機對應，第二鳥瞰圖像的分辨率與預設的目標全景圖像的分辨率相同。例如，表示 為Ii(x，y)，l2(x，y)，…，lN(x，y)〇
[0062] 步驟202:調(diào)用預先存儲的多個蒙板矩陣，在蒙板矩陣的矩陣元素中，存儲有與第 二鳥瞰圖像的像素點對應重疊權(quán)重值，重疊權(quán)重值表示在最終合成的全景泊車圖像中，有 效像素區(qū)域之間的重疊區(qū)域的各第二鳥瞰圖像中的像素點的像素值所占的比重。其中，這 里的蒙板矩陣可以是通過上述實施例一的蒙板矩陣生成方法所生成的蒙板矩陣。具體地， 結(jié)合實施例一中的示例，蒙板矩陣文件可以表示為Mi(x，y)，M2(x，y)，???，MN(x，y)。
[0063] 步驟203:將多幅第二鳥瞰圖像中的像素值分別與多個蒙板矩陣對應的元素值相 乘，生成多幅第三鳥瞰圖像。
[0064]步驟204:將多幅第三鳥瞰圖像進行疊加合成，生成全景泊車圖像。上述的步驟203 和步驟204的處理可以表示為:最終全景泊車圖像= Mi(x，y) X Ii(x，y)+M2(x，y) X I2(x，y) +…+1^(1，7)\1~(1，3〇。本發(fā)明實施例中所說的矩陣乘法處理只是將蒙板矩陣的各個矩陣 元素與第二鳥瞰圖像中的像素點進行一對一的乘法處理。
[0065]如圖6所示，其為本發(fā)明實施例二的泊車圖像合成處理的原理示意圖，圖6更加形 象地示出了本實施例的處理過程，在在線處理過程中，主要應用蒙板矩陣與各個第二鳥瞰 圖像進行乘法處理，然后再進行合成，從而生成最終的全景泊車圖像。
[0066]本實施例的泊車圖像的合成方法，在在線狀態(tài)下，通過調(diào)用預先生成的蒙板矩陣 來進行泊車圖像合成處理，其中，絕大部分工作都是矩陣乘法，不需要進行復雜的圖像合成 算法，因此，減小了系統(tǒng)資源的消耗，保證了算法的實時性。
[0067]進一步地，步驟201中的獲取待合成的多幅分辨率相同的第二鳥瞰圖像的處理可 以包括:接收多個泊車攝像機拍攝的多幅第二原始圖像;對多幅第二原始圖像進行畸變校 正處理;根據(jù)預設的空間排布的標定點坐標以及預設的目標全景泊車圖像的分辨率，對畸 變校正處理后的多幅第二原始圖像進行透視變換和圖像填充處理，生成多幅分辨率相同的 第二鳥瞰圖像。
[0068] 實施例三
[0069] 如圖7所示，其為本發(fā)明實施例三的蒙板矩陣的生成裝置的結(jié)構(gòu)示意圖，如圖7所 示，本實施例的蒙板矩陣的生成裝置包括：
[0070] 第一獲取模塊11，用于獲取待合成的多幅第一鳥瞰圖像，其中，每幅第一鳥瞰圖像 分別與一個泊車攝像機對應，第一鳥瞰圖像的分辨率與預設的目標全景泊車圖像的分辨率 相同；
[0071] 矩陣生成模塊12,用于通過如下處理，生成與多個第一鳥瞰圖像對應的多個蒙板 矩陣：識別各第一鳥瞰圖像的有效像素區(qū)域之間的重疊區(qū)域，計算位于重疊區(qū)域中的各第 一鳥瞰圖像的像素點的重疊權(quán)重值，并將蒙板矩陣中與該像素點對應的矩陣元素的元素值 設為該重疊權(quán)重值；
[0072] 存儲模塊13,用于存儲生成的多個蒙板矩陣作為后續(xù)泊車圖像合成用的系統(tǒng)調(diào)用 文件。
[0073]其中，第一獲取模塊可以包括：
[0074]第一接收單元，用于接收多個泊車攝像機拍攝的多幅第一原始圖像；
[0075]第一畸變校正單元，用于對多幅第一原始圖像進行畸變校正處理；
[0076] 第一鳥瞰圖像生成單元，用于根據(jù)預設的空間排布的標定點坐標以及預設的目標 全景泊車圖像的分辨率，對畸變校正處理后的多幅第一原始圖像進行透視變換和圖像填充 處理，生成多幅第一鳥瞰圖像。
[0077] 通過本實施例的蒙板矩陣的生成裝置能夠在離線狀態(tài)下生成多個蒙板矩陣，這些 蒙板矩陣被存儲在汽車的系統(tǒng)中后，在之后進行在線狀態(tài)下的實時的泊車圖像合成處理 時，就可以立即調(diào)用，而不需要再重復執(zhí)行圖像重疊區(qū)域的識別以及圖像融合處理了，從而 能夠提高在線狀態(tài)的圖像合成效率。
[0078]實施例四
[0079] 如圖8所示，其為本發(fā)明實施例四的泊車圖像合成處理裝置的結(jié)構(gòu)示意圖，如圖8 所示，本實施例的泊車圖像合成處理裝置包括：
[0080] 第二獲取模塊21，用于獲取待合成的多幅相同的第二鳥瞰圖像，每幅第二鳥瞰圖 像分別與一個泊車攝像機對應，第二鳥瞰圖像的分辨率與預設的目標全景圖像的分辨率相 同；
[0081] 調(diào)用模塊22,用于調(diào)用預先存儲的多個蒙板矩陣，在蒙板矩陣的矩陣元素中，存儲 有與第二鳥瞰圖像的像素點對應重疊權(quán)重值，有效像素區(qū)域之間的重疊權(quán)重值表示在最終 合成的全景泊車圖像中，重疊區(qū)域的各第二鳥瞰圖像中的像素點的像素值所占的比重；
[0082] 乘法模塊23,用于將多幅第二鳥瞰圖像中的像素值分別與多個蒙板矩陣對應的元 素值相乘，生成多幅第三鳥瞰圖像；
[0083]合成模塊24,用于將多幅第三鳥瞰圖像進行疊加合成，生成全景泊車圖像。
[0084]其中，第二獲取模塊可以包括：
[0085]第二接收單元，用于接收多個泊車攝像機拍攝的多幅第二原始圖像；
[0086] 第二畸變校正單元，用于對多幅第二原始圖像進行畸變校正處理；
[0087] 第三鳥瞰圖像生成單元，用于根據(jù)預設的空間排布的標定點坐標以及預設的目標 全景泊車圖像的分辨率，對畸變校正處理后的多幅第二原始圖像進行透視變換和圖像填充 處理，生成多幅分辨率相同的第二鳥瞰圖像。
[0088] 本實施例的泊車圖像的合成裝置，在在線狀態(tài)下，通過調(diào)用預先生成的蒙板矩陣 來進行泊車圖像合成處理，其中，絕大部分工作都是矩陣乘法，不需要進行復雜的圖像合成 算法，因此，減小了系統(tǒng)資源的消耗，保證了算法的實時性。
[0089]本領(lǐng)域普通技術(shù)人員可以理解:實現(xiàn)上述各方法實施例的全部或部分步驟可以通 過程序指令相關(guān)的硬件來完成。前述的程序可以存儲于一計算機可讀取存儲介質(zhì)中。該程 序在執(zhí)行時，執(zhí)行包括上述各方法實施例的步驟;而前述的存儲介質(zhì)包括:R〇M、RAM、磁碟或 者光盤等各種可以存儲程序代碼的介質(zhì)。
[0090]最后應說明的是：以上各實施例僅用以說明本發(fā)明的技術(shù)方案，而非對其限制;盡 管參照前述各實施例對本發(fā)明進行了詳細的說明，本領(lǐng)域的普通技術(shù)人員應當理解:其依 然可以對前述各實施例所記載的技術(shù)方案進行修改，或者對其中部分或者全部技術(shù)特征進 行等同替換；而這些修改或者替換，并不使相應技術(shù)方案的本質(zhì)脫離本發(fā)明各實施例技術(shù) 方案的范圍。
【主權(quán)項】
1. 一種蒙板矩陣的生成方法，其特征在于，包括： 獲取待合成的多幅第一鳥瞰圖像，其中，每幅所述第一鳥瞰圖像分別與一個泊車攝像 機對應，所述第一鳥瞰圖像的分辨率與預設的目標全景泊車圖像的分辨率相同； 通過如下處理，生成與多個所述第一鳥瞰圖像對應的多個蒙板矩陣：識別各所述第一 鳥瞰圖像的有效像素區(qū)域之間的重疊區(qū)域，計算位于重疊區(qū)域中的各所述第一鳥瞰圖像的 像素點的重疊權(quán)重值，并將所述蒙板矩陣中與該像素點對應的矩陣元素的元素值設為該重 疊權(quán)重值，所述有效像素區(qū)域為具有實際拍攝圖像的像素區(qū)域;存儲生成的所述多個蒙板 矩陣作為后續(xù)泊車圖像合成用的系統(tǒng)調(diào)用文件。2. 根據(jù)權(quán)利要求1所述的生成方法，其特征在于，在生成與多個所述第一鳥瞰圖像對應 的多個蒙板矩陣的處理中還包括:將所述重疊區(qū)域以外的像素點對應的矩陣元素的元素值 設為1。3. 根據(jù)權(quán)利要求1所述的生成方法，其特征在于，所述生成與多個所述第一鳥瞰圖像對 應的多個蒙板矩陣的處理包括： 遍歷所有第一鳥瞰圖像的所有像素點進行如下處理，以生成與多幅第一鳥瞰圖像分別 對應的多個蒙板矩陣： 如果當前進行判斷的第一像素點的像素值為0,則將與該第一鳥瞰圖像對應的蒙板矩 陣中的對應位置的元素值設為0或者1， 如果所述第一像素點的像素值不為〇,且在其他所有第一鳥瞰圖像中與該第一像素點 的位置相同的所有第二像素點的像素值均為〇,則將所述元素值設為1， 如果所述第一像素點的像素值不為〇,且存在像素值不為〇的第二像素點，則計算該第 一像素點的像素值相對于其他所述第二像素點的像素值的重疊權(quán)重值，并將所述第一元素 值設為該重疊權(quán)重值。4. 根據(jù)權(quán)利要求1所述的蒙板矩陣的生成方法，其特征在于，通過平均權(quán)重法或距離權(quán) 重法或角度權(quán)重法計算所述重疊權(quán)重值。5. 根據(jù)權(quán)利要求1所述的蒙板矩陣的生成方法，其特征在于，所述獲取待合成的多幅第 一鳥瞰圖像的處理包括： 接收多個泊車攝像機拍攝的多幅第一原始圖像； 對所述多幅第一原始圖像進行畸變校正處理； 根據(jù)預設的空間排布的標定點坐標以及預設的所述目標全景泊車圖像的分辨率，對畸 變校正處理后的多幅第一原始圖像進行透視變換和圖像填充處理，生成所述多幅第一鳥瞰 圖像。6. -種泊車圖像的合成方法，其特征在于，包括： 獲取待合成的多幅相同的第二鳥瞰圖像，每幅第二鳥瞰圖像分別與一個泊車攝像機對 應，所述第二鳥瞰圖像的分辨率與預設的目標全景圖像的分辨率相同； 調(diào)用預先存儲的多個蒙板矩陣，在所述蒙板矩陣的矩陣元素中，存儲有與所述第二鳥 瞰圖像的像素點對應重疊權(quán)重值，所述重疊權(quán)重值表示在最終合成的全景泊車圖像中，有 效像素區(qū)域之間的重疊區(qū)域的各第二鳥瞰圖像的像素點的像素值所占的比重，所述有效像 素區(qū)域為具有實際拍攝圖像的像素區(qū)域； 將多幅所述第二鳥瞰圖像中的像素值分別與所述多個蒙板矩陣對應的元素值相乘，生 成多幅第三鳥瞰圖像； 將所述多幅第三鳥瞰圖像進行疊加合成，生成所述全景泊車圖像。7. 根據(jù)權(quán)利要求6所述的泊車圖像的合成方法，其特征在于，所述獲取待合成的多幅分 辨率相同的第二鳥瞰圖像包括： 接收所述多個泊車攝像機拍攝的多幅第二原始圖像； 對所述多幅第二原始圖像進行畸變校正處理； 根據(jù)預設的空間排布的標定點坐標以及預設的所述目標全景泊車圖像的分辨率，對畸 變校正處理后的多幅第二原始圖像進行透視變換和圖像填充處理，生成多幅分辨率相同的 第二鳥瞰圖像。8. 根據(jù)權(quán)利要求6所述的合成方法，其特征在于，還包括:使用如權(quán)利要求1至5任一權(quán) 利要求所述的生成方法生成所述蒙板矩陣。9. 一種蒙板矩陣的生成裝置，其特征在于，包括： 第一獲取模塊，用于獲取待合成的多幅第一鳥瞰圖像，其中，每幅第一鳥瞰圖像分別與 一個泊車攝像機對應，所述第一鳥瞰圖像的分辨率與預設的目標全景泊車圖像的分辨率相 同； 矩陣生成模塊，用于通過如下處理，生成與多個所述第一鳥瞰圖像對應的多個蒙板矩 陣：識別各所述第一鳥瞰圖像的有效像素區(qū)域之間的重疊區(qū)域，計算位于重疊區(qū)域中的各 所述第一鳥瞰圖像的像素點的重疊權(quán)重值，并將所述蒙板矩陣中與該像素點對應的矩陣元 素的元素值設為該重疊權(quán)重值，所述有效像素區(qū)域為具有實際拍攝圖像的像素區(qū)域； 存儲模塊，用于存儲生成的所述多個蒙板矩陣作為后續(xù)泊車圖像合成用的系統(tǒng)調(diào)用文 件。10. 根據(jù)權(quán)利要求9所述的生成裝置，其特征在于，所述第一獲取模塊包括： 第一接收單元，用于接收多個泊車攝像機拍攝的多幅第一原始圖像； 第一畸變校正單元，用于對所述多幅第一原始圖像進行畸變校正處理； 第一鳥瞰圖像生成單元，用于根據(jù)預設的空間排布的標定點坐標以及預設的所述目標 全景泊車圖像的分辨率，對畸變校正處理后的多幅第一原始圖像進行透視變換和圖像填充 處理，生成所述多幅第一鳥瞰圖像。11. 根據(jù)權(quán)利要求9所述的生成裝置，其特征在于，通過平均權(quán)重法或距離權(quán)重法或角 度權(quán)重法計算所述重疊權(quán)重值。12. -種泊車圖像的合成裝置，其特征在于，包括： 第二獲取模塊，用于獲取待合成的多幅相同的第二鳥瞰圖像，每幅第二鳥瞰圖像分別 與一個泊車攝像機對應，所述第二鳥瞰圖像的分辨率與預設的目標全景圖像的分辨率相 同； 調(diào)用模塊，用于調(diào)用預先存儲的多個蒙板矩陣，在所述蒙板矩陣的矩陣元素中，存儲有 與所述第二鳥瞰圖像的像素點對應重疊權(quán)重值，所述重疊權(quán)重值表示在最終合成的全景泊 車圖像中，有效像素區(qū)域之間的重疊區(qū)域的各第二鳥瞰圖像中的像素點的像素值所占的比 重，所述有效像素區(qū)域為具有實際拍攝圖像的像素區(qū)域； 乘法模塊，用于將多幅所述第二鳥瞰圖像中的像素值分別與所述多個蒙板矩陣對應的 元素值相乘，生成多幅第三鳥瞰圖像； 合成模塊，用于將所述多幅第三鳥瞰圖像進行疊加合成，生成全景泊車圖像。13.根據(jù)權(quán)利要求12所述的合成裝置，其特征在于，所述第二獲取模塊包括： 第二接收單元，用于接收所述多個泊車攝像機拍攝的多幅第二原始圖像； 第二畸變校正單元，用于對所述多幅第二原始圖像進行畸變校正處理； 第三鳥瞰圖像生成單元，用于根據(jù)預設的空間排布的標定點坐標以及預設的所述目標 全景泊車圖像的分辨率，對畸變校正處理后的多幅第二原始圖像進行透視變換和圖像填充 處理，生成多幅分辨率相同的第二鳥瞰圖像。
【文檔編號】G06T3/40GK105894448SQ201510753712
【公開日】2016年8月24日
【申請日】2015年11月6日
【發(fā)明人】周珣, 臧成杰
【申請人】樂卡汽車智能科技（北京）有限公司