本發(fā)明涉及圖像處理的技術領域，特別是涉及一種車底盲區(qū)填充方法及系統(tǒng)、存儲介質、終端設備。

背景技術：

近年來，基于環(huán)視攝像頭的高級輔助駕駛系統(tǒng)(advanceddriverassistancesystems，adas)已經被越來越多的用戶所接受。通過在汽車的前后左右安裝廣角攝像頭，采集車身四周的圖像，經過算法分析處理，給駕駛員提供包括全景泊車輔助、車道偏離報警、盲區(qū)車輛檢測在內的各種高級輔助駕駛功能，對于提高汽車的主動安全性具有重要的意義。

其中，環(huán)視攝像頭包括設置在汽車周圍、能覆蓋車輛周邊所有視場范圍的4到8個廣角攝像頭。將環(huán)視攝像頭同一時刻采集到的多路視頻影像進行處理，便能得到車輛周邊360度的車身俯視圖。

然而，環(huán)視攝像頭無法實時獲取車底盲區(qū)的圖像?，F有技術中，通常采用某一特定圖像對車底盲區(qū)進行填充，導致用戶無法看到車底盲區(qū)的情形，因而無法為用戶提供全方位的視野輔助。

技術實現要素：

鑒于以上所述現有技術的缺點，本發(fā)明的目的在于提供一種車底盲區(qū)填充方法及系統(tǒng)、存儲介質、終端設備，基于設置在車輛上的環(huán)視攝像頭所采集的相鄰圖像進行車底盲區(qū)的填充，從而為用戶駕駛提供輔助。

為實現上述目的及其他相關目的，本發(fā)明提供一種車底盲區(qū)填充方法，包括以下步驟：對設置在車輛上的環(huán)視攝像頭所獲取的圖像進行預處理，獲取鳥瞰車輛全景圖像；計算車輛在上一幀鳥瞰車輛全景圖像與當前幀鳥瞰車輛全景圖像上的相對偏移量和旋轉角度；基于所述相對偏移量和旋轉角度，將上一幀鳥瞰車輛全景圖像映射至當前幀鳥瞰車輛全景圖像上；對于當前幀鳥瞰車輛全景圖像上的車底盲區(qū)，若上一幀鳥瞰車輛全景圖像中對應位置處不是車底盲區(qū)，則利用上一幀鳥瞰車輛全景圖像中對應位置處的圖像填充當前幀鳥瞰車輛全景圖像中車底盲區(qū)的對應位置。

于本發(fā)明一實施例中，所述預處理依次包括去噪、標定校正、裁剪、拼貼以及視頻平滑處理。

于本發(fā)明一實施例中，利用慣導原理計算車輛在上一幀鳥瞰車輛全景圖像與當前幀鳥瞰車輛全景圖像上的相對偏移量和旋轉角度。

于本發(fā)明一實施例中，還包括：反復執(zhí)行上述步驟，利用上一幀鳥瞰車輛全景圖像填充當前幀鳥瞰車輛全景圖像的車底盲區(qū)，直至當前幀的車底盲區(qū)全部被填充完畢。

對應地，本發(fā)明還提供一種車底盲區(qū)填充系統(tǒng)，包括預處理模塊、計算模塊、映射模塊和填充模塊；

所述預處理模塊用于對設置在車輛上的環(huán)視攝像頭所獲取的圖像進行預處理，獲取鳥瞰車輛全景圖像；

所述計算模塊用于計算車輛在上一幀鳥瞰車輛全景圖像與當前幀鳥瞰車輛全景圖像上的相對偏移量和旋轉角度；

所述映射模塊用于基于所述相對偏移量和旋轉角度，將上一幀鳥瞰車輛全景圖像映射至當前幀鳥瞰車輛全景圖像上；

所述填充模塊用于對于當前幀鳥瞰車輛全景圖像上的車底盲區(qū)，若上一幀鳥瞰車輛全景圖像中對應位置處不是車底盲區(qū)，則利用上一幀鳥瞰車輛全景圖像中對應位置處的圖像填充當前幀鳥瞰車輛全景圖像中車底盲區(qū)的對應位置。

于本發(fā)明一實施例中，所述預處理模塊中，所述預處理依次包括去噪、標定校正、裁剪、拼貼以及視頻平滑處理。

于本發(fā)明一實施例中，所述計算模塊利用慣導原理計算車輛在上一幀鳥瞰車輛全景圖像與當前幀鳥瞰車輛全景圖像上的相對偏移量和旋轉角度。

于本發(fā)明一實施例中，還包括迭代模塊，所述迭代模塊用于不斷獲取新的鳥瞰車輛全景圖像作為當前幀鳥瞰車輛全景圖像，并利用上一幀鳥瞰車輛全景圖像填充當前幀鳥瞰車輛全景圖像的車底盲區(qū)，直至當前幀的車底盲區(qū)全部被填充完畢。

同時，本發(fā)明還提供一種計算機可讀存儲介質，其上存儲有計算機程序，該程序被處理器執(zhí)行時實現上述任一項所述車底盲區(qū)填充方法。

另外，本發(fā)明還提供一種終端設備，包括處理器及存儲器；

所述存儲器用于存儲計算機程序；

所述處理器用于執(zhí)行所述存儲器存儲的計算機程序，以使所述終端設備執(zhí)行上述任一項所述車底盲區(qū)填充方法。

最后，本發(fā)明還提供一種車底盲區(qū)填充系統(tǒng)，包括設置在車輛上的環(huán)視攝像頭以及上述的終端設備；

所述環(huán)視攝像頭用于采集車輛周邊的圖像，并傳送至所述終端設備。

如上所述，本發(fā)明的車底盲區(qū)填充方法及系統(tǒng)、存儲介質、終端設備，具有以下有益效果：

(1)基于設置在車輛上的環(huán)視攝像頭所采集的相鄰圖像進行車底盲區(qū)的填充，實現車底盲區(qū)圖像的準確顯示；

(2)為用戶駕駛提供輔助，提升了用戶體驗。

附圖說明

圖1顯示為本發(fā)明的車底盲區(qū)填充方法的流程圖；

圖2顯示為本發(fā)明中將上一幀鳥瞰車輛全景圖像映射至當前幀鳥瞰車輛全景圖像的示意圖；

圖3顯示為本發(fā)明中利用上一幀鳥瞰車輛全景圖像中對應位置處的圖像填充當前幀鳥瞰車輛全景圖像中車底盲區(qū)的對應位置的示意圖；

圖4顯示為本發(fā)明的車底盲區(qū)填充系統(tǒng)的第一實施例的結構示意圖；

圖5顯示為本發(fā)明的終端設備的結構示意圖；

圖6顯示為本發(fā)明的車底盲區(qū)填充系統(tǒng)的第二實施例的結構示意圖。

元件標號說明

11預處理模塊

12計算模塊

13映射模塊

14填充模塊

51處理器

52存儲器

61環(huán)視攝像頭

62終端設備

具體實施方式

以下通過特定的具體實例說明本發(fā)明的實施方式，本領域技術人員可由本說明書所揭露的內容輕易地了解本發(fā)明的其他優(yōu)點與功效。本發(fā)明還可以通過另外不同的具體實施方式加以實施或應用，本說明書中的各項細節(jié)也可以基于不同觀點與應用，在沒有背離本發(fā)明的精神下進行各種修飾或改變。需說明的是，在不沖突的情況下，以下實施例及實施例中的特征可以相互組合。

需要說明的是，以下實施例中所提供的圖示僅以示意方式說明本發(fā)明的基本構想，遂圖式中僅顯示與本發(fā)明中有關的組件而非按照實際實施時的組件數目、形狀及尺寸繪制，其實際實施時各組件的型態(tài)、數量及比例可為一種隨意的改變，且其組件布局型態(tài)也可能更為復雜。

本發(fā)明的車底盲區(qū)填充方法及系統(tǒng)、存儲介質、終端設備基于設置在車輛上的環(huán)視攝像頭所采集的相鄰圖像進行車底盲區(qū)的填充，從而為用戶駕駛提供輔助，提升了用戶體驗。

如圖1所示，本發(fā)明的車底盲區(qū)填充方法包括以下步驟：

步驟s1、對設置在車輛上的環(huán)視攝像頭所獲取的圖像進行預處理，獲取鳥瞰車輛全景圖像。

環(huán)視攝像頭包括設置在車頭、車尾、左右兩側(左右后視鏡下)的四個攝像頭，從而能夠獲取鳥瞰車輛360°全景圖像。需要說明的是，所獲取的鳥瞰車輛全景圖像均是以車輛為中心的、同一規(guī)格的圖像，其所覆蓋的車輛周圍的圖像范圍是相同的。

具體地，所述預處理依次包括去噪、標定校正、裁剪、拼貼以及視頻平滑處理。

由于受到攝像頭本身與外部環(huán)境噪聲干擾等影響，攝像頭直接獲取的圖像稱為含噪圖像或噪聲圖像，需要進行去噪處理。通常地，去噪處理可以采用均值濾波器、自適應維納濾波器、中值濾波器或形態(tài)學噪聲濾除器進行濾波去噪，也可以采用小波分析進行去噪。

在對環(huán)視攝像頭所獲取的圖像進行應用之前，需要建立圖像坐標和物理坐標之間的對應關系。該對應關系的建立過程即是標定校正過程。

裁剪是指按照預設標準對將圖像進行裁剪操作，以獲取滿足要求的裁剪后圖像。例如，對于設置在車頭和左右兩側的攝像頭所獲取的圖像，按照預設標準裁剪掉部分重合的圖像。再例如，對于設置在車尾和左右兩側的攝像頭所獲取的圖像，按照預設標準裁剪掉部分重合的圖像，從而為后續(xù)的圖像處理提供所需的圖像。

拼貼是指將裁剪后的環(huán)視攝像頭中各個攝像頭所獲取的圖像進行拼接貼合，以獲得鳥瞰車輛360°全景圖像。

視頻平滑處理用于減少連續(xù)圖像之間的抖動現象，從而提供滿足要求的鳥瞰車輛全景圖像。

步驟s2、計算車輛在上一幀鳥瞰車輛全景圖像與當前幀鳥瞰車輛全景圖像上的相對偏移量和旋轉角度。

具體地，利用慣導原理計算車輛在上一幀鳥瞰車輛全景圖像與當前幀鳥瞰車輛全景圖像上的相對偏移量和旋轉角度。慣導，即慣性導航系統(tǒng)，是一種不依賴于外部信息、也不向外部輻射能量的自主式導航系統(tǒng)。慣導的基本工作原理是以牛頓力學定律為基礎，通過測量載體在慣性參考系的加速度，將它對時間進行積分，且把它變換到導航坐標系中，就能夠得到在導航坐標系中的速度、偏航角和位置等信息。

步驟s3、基于所述相對偏移量和旋轉角度，將上一幀鳥瞰車輛全景圖像映射至當前幀鳥瞰車輛全景圖像上。

具體地，將上一幀鳥瞰車輛全景圖像覆蓋在當前幀鳥瞰車輛全景圖像上，并使得上一幀鳥瞰車輛全景圖像中的車輛相對于當前幀鳥瞰車輛全景圖像中的車輛以所述旋轉角度進行旋轉，并以所述相對偏移量進行偏移，從而得到映射在當前幀鳥瞰車輛全景圖像上的上一幀鳥瞰車輛全景圖像。如圖2所示，圖像b為上一幀鳥瞰車輛全景圖像，圖像a為當前幀鳥瞰車輛全景圖像。根據所述相對偏移量和旋轉角度，以圖像b中車輛為基點，對圖像b進行偏移和旋轉后，從而將圖像b映射至圖像a中，即得到右邊的映射圖像。

步驟s4、對于當前幀鳥瞰車輛全景圖像上的車底盲區(qū)，若上一幀鳥瞰車輛全景圖像中對應位置處不是車底盲區(qū)，則利用上一幀鳥瞰車輛全景圖像中對應位置處的圖像填充當前幀鳥瞰車輛全景圖像中車底盲區(qū)的對應位置。

具體地，當上一幀鳥瞰車輛全景圖像映射至當前幀鳥瞰車輛全景圖像時，上一幀鳥瞰車輛全景圖像中的車底盲區(qū)與當前幀鳥瞰車輛全景圖像的車底盲區(qū)可能部分重合，也可以完全不相交。當上一幀鳥瞰車輛全景圖像中的車底盲區(qū)與當前幀鳥瞰車輛全景圖像的車底盲區(qū)部分重合時，對于非重合部分，采用映射后的上一幀鳥瞰車輛全景圖像的對應位置處的圖像進行填充。如圖3所示，當前幀鳥瞰車輛全景圖像a的車底盲區(qū)中，a1部分所對應的映射后的圖像b的部分不是車底盲區(qū)，故將圖像b中對應位置處的圖像填充圖像a中車底盲區(qū)的a1部分。

優(yōu)選地，還包括：反復執(zhí)行上述步驟，利用上一幀鳥瞰車輛全景圖像填充當前幀鳥瞰車輛全景圖像的車底盲區(qū)，直至當前幀的車底盲區(qū)全部被填充完畢。

具體地，車輛繼續(xù)前進，不斷獲取新的鳥瞰車輛全景圖像。重復執(zhí)行上述操作，不斷利用上一幀鳥瞰車輛全景圖像填充當前幀鳥瞰車輛全景圖像的車底盲區(qū)，使得當前幀鳥瞰車輛全景圖像的車底盲區(qū)越來越小，直至當前幀的車底盲區(qū)全部被填充完畢。

如圖4所示，本發(fā)明的車底盲區(qū)填充系統(tǒng)的第一實施例中，包括依次相連的預處理模塊11、計算模塊12、映射模塊13和填充模塊14。

預處理模塊11用于對設置在車輛上的環(huán)視攝像頭所獲取的圖像進行預處理，獲取鳥瞰車輛全景圖像。

環(huán)視攝像頭包括設置在車頭、車尾、左右兩側(左右后視鏡下)的四個攝像頭，從而能夠獲取鳥瞰車輛360°全景圖像。需要說明的是，所獲取的鳥瞰車輛全景圖像均是以車輛為中心的、同一規(guī)格的圖像，其所覆蓋的車輛周圍的圖像范圍是相同的。

具體地，所述預處理依次包括去噪、標定校正、裁剪、拼貼以及視頻平滑處理。

由于受到攝像頭本身與外部環(huán)境噪聲干擾等影響，攝像頭直接獲取的圖像稱為含噪圖像或噪聲圖像，需要進行去噪處理。通常地，去噪處理可以采用均值濾波器、自適應維納濾波器、中值濾波器或形態(tài)學噪聲濾除器進行濾波去噪，也可以采用小波分析進行去噪。

在對環(huán)視攝像頭所獲取的圖像進行應用之前，需要建立圖像坐標和物理坐標之間的對應關系。該對應關系的建立過程即是標定校正過程。

裁剪是指按照預設標準對將圖像進行裁剪操作，以獲取滿足要求的裁剪后圖像。例如，對于設置在車頭和左右兩側的攝像頭所獲取的圖像，按照預設標準裁剪掉部分重合的圖像。再例如，對于設置在車尾和左右兩側的攝像頭所獲取的圖像，按照預設標準裁剪掉部分重合的圖像，從而為后續(xù)的圖像處理提供所需的圖像。

拼貼是指將裁剪后的環(huán)視攝像頭中各個攝像頭所獲取的圖像進行拼接貼合，以獲得鳥瞰車輛360°全景圖像。

視頻平滑處理用于減少連續(xù)圖像之間的抖動現象，從而提供滿足要求的鳥瞰車輛全景圖像。

計算模塊12用于計算車輛在上一幀鳥瞰車輛全景圖像與當前幀鳥瞰車輛全景圖像上的相對偏移量和旋轉角度。

具體地，利用慣導原理計算車輛在上一幀鳥瞰車輛全景圖像與當前幀鳥瞰車輛全景圖像上的相對偏移量和旋轉角度。慣導，即慣性導航系統(tǒng)，是一種不依賴于外部信息、也不向外部輻射能量的自主式導航系統(tǒng)。慣導的基本工作原理是以牛頓力學定律為基礎，通過測量載體在慣性參考系的加速度，將它對時間進行積分，且把它變換到導航坐標系中，就能夠得到在導航坐標系中的速度、偏航角和位置等信息。

映射模塊13用于基于所述相對偏移量和旋轉角度，將上一幀鳥瞰車輛全景圖像映射至當前幀鳥瞰車輛全景圖像上。

具體地，將上一幀鳥瞰車輛全景圖像覆蓋在當前幀鳥瞰車輛全景圖像上，并使得上一幀鳥瞰車輛全景圖像中的車輛相對于當前幀鳥瞰車輛全景圖像中的車輛以所述旋轉角度進行旋轉，并以所述相對偏移量進行偏移，從而得到映射在當前幀鳥瞰車輛全景圖像上的上一幀鳥瞰車輛全景圖像。如圖2所示，圖像b為上一幀鳥瞰車輛全景圖像，圖像a為當前幀鳥瞰車輛全景圖像。根據所述相對偏移量和旋轉角度，以圖像b中車輛為基點，對圖像b進行偏移和旋轉后，從而將圖像b映射至圖像a中，即得到右邊的映射圖像。

填充模塊14用于對于當前幀鳥瞰車輛全景圖像上的車底盲區(qū)，若上一幀鳥瞰車輛全景圖像中對應位置處不是車底盲區(qū)，則利用上一幀鳥瞰車輛全景圖像中對應位置處的圖像填充當前幀鳥瞰車輛全景圖像中車底盲區(qū)的對應位置。

具體地，當上一幀鳥瞰車輛全景圖像映射至當前幀鳥瞰車輛全景圖像時，上一幀鳥瞰車輛全景圖像中的車底盲區(qū)與當前幀鳥瞰車輛全景圖像的車底盲區(qū)可能部分重合，也可以完全不相交。當上一幀鳥瞰車輛全景圖像中的車底盲區(qū)與當前幀鳥瞰車輛全景圖像的車底盲區(qū)部分重合時，對于非重合部分，采用映射后的上一幀鳥瞰車輛全景圖像的對應位置處的圖像進行填充。如圖3所示，當前幀鳥瞰車輛全景圖像a的車底盲區(qū)中，a1部分所對應的映射后的圖像b的部分不是車底盲區(qū)，故將圖像b中對應位置處的圖像填充圖像a中車底盲區(qū)的a1部分。

優(yōu)選地，還包括迭代模塊，迭代模塊用于不斷獲取新的鳥瞰車輛全景圖像作為當前幀鳥瞰車輛全景圖像，并利用上一幀鳥瞰車輛全景圖像填充當前幀鳥瞰車輛全景圖像的車底盲區(qū)，直至當前幀的車底盲區(qū)全部被填充完畢。

具體地，車輛繼續(xù)前進，不斷獲取新的鳥瞰車輛全景圖像。重復執(zhí)行上述操作，不斷利用上一幀鳥瞰車輛全景圖像填充當前幀鳥瞰車輛全景圖像的車底盲區(qū)，使得當前幀鳥瞰車輛全景圖像的車底盲區(qū)越來越小，直至當前幀的車底盲區(qū)全部被填充完畢。

本發(fā)明還提供一種計算機可讀存儲介質，其上存儲有計算機程序，該程序被處理器執(zhí)行時實現上述任一項所述車底盲區(qū)填充方法。

如圖5所示，本發(fā)明的終端設備包括處理器51及存儲器52；

存儲器52用于存儲計算機程序；

處理器51用于執(zhí)行存儲器52存儲的計算機程序，以使終端設備執(zhí)行上述任一項所述車底盲區(qū)填充方法。

如圖6所示，本發(fā)明的車底盲區(qū)填充系統(tǒng)第二實施例中，包括設置在車輛上的環(huán)視攝像頭61以及上述的終端設備62；

環(huán)視攝像頭61用于采集車輛周邊的圖像，并傳送至終端設備62。其中，環(huán)視攝像頭61與終端設備62通過有線或者無線的方式實現數據通信。

綜上所述，本發(fā)明的車底盲區(qū)填充方法及系統(tǒng)、存儲介質、終端設備基于設置在車輛上的環(huán)視攝像頭所采集的相鄰圖像進行車底盲區(qū)的填充，實現車底盲區(qū)圖像的準確顯示；為用戶駕駛提供輔助，提升了用戶體驗。所以，本發(fā)明有效克服了現有技術中的種種缺點而具高度產業(yè)利用價值。

上述實施例僅例示性說明本發(fā)明的原理及其功效，而非用于限制本發(fā)明。任何熟悉此技術的人士皆可在不違背本發(fā)明的精神及范疇下，對上述實施例進行修飾或改變。因此，舉凡所屬技術領域中具有通常知識者在未脫離本發(fā)明所揭示的精神與技術思想下所完成的一切等效修飾或改變，仍應由本發(fā)明的權利要求所涵蓋。