專利名稱：多視點(diǎn)視頻中虛擬視點(diǎn)合成方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及三維視頻、多媒體信號(hào)處理技術(shù)領(lǐng)域，尤其涉及一種多視點(diǎn)視頻中虛擬視點(diǎn)合成方法及裝置。
背景技術(shù)：
隨著電視技術(shù)和多媒體處理技術(shù)的發(fā)展，人們對(duì)于最真實(shí)視覺體驗(yàn)的需求日益增強(qiáng)，三維電視被看作是繼彩色電視、高清電視之后的下一代產(chǎn)品；三維電視利用人的雙眼觀察物體的角度略有差異，因此能夠辨別物體遠(yuǎn)近，產(chǎn)生立體的視覺這個(gè)原理，把左右眼所看到的影像分離，從而可以實(shí)現(xiàn)用戶無(wú)需借助立體眼鏡即可用裸眼體驗(yàn)立體感覺。其中多視點(diǎn)視頻被認(rèn)為擁有非常廣闊的應(yīng)用前景，實(shí)現(xiàn)多視點(diǎn)視頻中虛擬視點(diǎn)的合成，虛擬視點(diǎn)合成是關(guān)鍵技術(shù)。目前，基于深度圖像的渲染是一種利用參考視點(diǎn)圖像和相應(yīng)的深度信息來(lái)合成虛擬視點(diǎn)的方法，該種方法由于具有良好的編碼效率、二維/三維選擇性、用戶交互性，因此近年來(lái)得到越來(lái)越多的重視和應(yīng)用；然而該種方法仍然存在以下缺陷本應(yīng)該在虛擬視點(diǎn)中可見的區(qū)域在原始視點(diǎn)中是遮擋的，即在虛擬視點(diǎn)圖像中出現(xiàn)的物體或背景(后續(xù)稱為該物體或背景所在的區(qū)域?yàn)楸┞秴^(qū)域)在原始圖像中的對(duì)應(yīng)位置處不存在，在原始圖像中沒有包含暴露區(qū)域的信息，因此，暴露區(qū)域?yàn)榭斩?；空洞表現(xiàn)為深度圖像當(dāng)中存在灰度值突變的邊界，因此若需要提高虛擬視點(diǎn)的圖像質(zhì)量則必須進(jìn)行補(bǔ)洞。目前，為提高虛擬視點(diǎn)的圖像質(zhì)量，使最終圖像產(chǎn)生最佳的立體效果，解決空洞問(wèn)題的主要方式為在對(duì)原始圖像進(jìn)行三維圖像變換之前，對(duì)該原始圖像進(jìn)行深度圖預(yù)處理， 以使原始圖像的深度圖中尖銳的灰度值突變變得平滑，進(jìn)而減輕前景物體和背景之間的深度差異，從而減少虛擬視點(diǎn)圖像中空洞的數(shù)量，提高視圖質(zhì)量；該種方式雖然在一定程度上提高了虛擬視點(diǎn)圖像的質(zhì)量，但是深度圖預(yù)處理會(huì)給虛擬視點(diǎn)圖像帶來(lái)嚴(yán)重的不可恢復(fù)的幾何畸變。

發(fā)明內(nèi)容
針對(duì)現(xiàn)有技術(shù)存在的技術(shù)問(wèn)題，本發(fā)明實(shí)施例提供一種多視點(diǎn)視頻中虛擬視點(diǎn)合成方法及裝置，以充分考慮到深度圖的處理方式和最終所要合成的虛擬試點(diǎn)圖像質(zhì)量高低的關(guān)系，在保證不帶來(lái)幾何畸變的前提下，提高虛擬視點(diǎn)圖像的質(zhì)量，提高虛擬視點(diǎn)圖像的顯示效果。一種多視點(diǎn)視頻中虛擬視點(diǎn)合成方法，包括步驟1、根據(jù)第一攝像機(jī)得到的第一參考視點(diǎn)圖像及其深度圖像、第一攝像機(jī)參數(shù)，對(duì)所述第一參考視點(diǎn)圖像進(jìn)行三維圖像變換，得到第一虛擬視點(diǎn)圖像及其深度圖像和空洞圖；以及，根據(jù)第二攝像機(jī)得到的第二參考視點(diǎn)圖像及其深度圖像、第二攝像機(jī)參數(shù)， 對(duì)所述第二參考視點(diǎn)圖像進(jìn)行三維圖像變換，得到第二虛擬視點(diǎn)圖像及其深度圖像和空洞步驟2、根據(jù)所述第一虛擬視點(diǎn)圖像的空洞圖，采用水平、垂直和對(duì)角外推法對(duì)所述第一虛擬視點(diǎn)圖像進(jìn)行小洞填充，得到小洞填充后的第一虛擬視點(diǎn)圖像；以及根據(jù)所述第二虛擬視點(diǎn)圖像的空洞圖，采用水平、垂直和對(duì)角外推法對(duì)所述第二虛擬視點(diǎn)圖像進(jìn)行小洞填充，得到小洞填充后的第二虛擬視點(diǎn)圖像；步驟3、將小洞填充后的第一虛擬視點(diǎn)圖像與第二虛擬視點(diǎn)圖像作為彼此的參考圖像，進(jìn)行圖像互補(bǔ)，分別得到圖像互補(bǔ)后的第一虛擬視點(diǎn)圖像和第二虛擬視點(diǎn)圖像；步驟4、將圖像互補(bǔ)后的第一虛擬視點(diǎn)圖像與第二虛擬視點(diǎn)圖像進(jìn)行融合，得到主虛擬視點(diǎn)圖像；步驟5、對(duì)所述第一參考視點(diǎn)圖像與所述第二參考視點(diǎn)圖像分別進(jìn)行深度圖處理， 得到深度圖處理后的第一參考視點(diǎn)圖像和第二參考試點(diǎn)彩色圖像；再按照上述步驟1 步驟4對(duì)深度圖處理后的第一參考視點(diǎn)圖像和第二參考試點(diǎn)彩色圖像進(jìn)行相應(yīng)的處理，得到副虛擬視點(diǎn)圖像；步驟6、根據(jù)所述副虛擬視點(diǎn)圖像對(duì)所述主虛擬視點(diǎn)圖像進(jìn)行空洞填補(bǔ)，生成虛擬視點(diǎn)圖像。一種多視點(diǎn)視頻中虛擬視點(diǎn)合成裝置，包括三維圖像變換單元，用于根據(jù)第一攝像機(jī)得到的第一參考視點(diǎn)圖像及其深度圖像、第一攝像機(jī)參數(shù)，對(duì)所述第一參考視點(diǎn)圖像進(jìn)行三維圖像變換，得到第一虛擬視點(diǎn)圖像及其深度圖像和空洞圖；以及，根據(jù)第二攝像機(jī)得到的第二參考視點(diǎn)圖像及其深度圖像、第二攝像機(jī)參數(shù)，對(duì)所述第二參考視點(diǎn)圖像進(jìn)行三維圖像變換，得到第二虛擬視點(diǎn)圖像及其深度圖像和空洞圖；空洞填充單元，用于根據(jù)所述第一虛擬視點(diǎn)圖像的空洞圖，采用水平、垂直和對(duì)角外推法對(duì)所述第一虛擬視點(diǎn)圖像進(jìn)行小洞填充，得到小洞填充后的第一虛擬視點(diǎn)圖像；以及根據(jù)所述第二虛擬視點(diǎn)圖像的空洞圖，采用水平、垂直和對(duì)角外推法對(duì)所述第二虛擬視點(diǎn)圖像進(jìn)行小洞填充，得到小洞填充后的第二虛擬視點(diǎn)圖像；圖像互補(bǔ)單元，用于將小洞填充后的第一虛擬視點(diǎn)圖像與第二虛擬視點(diǎn)圖像作為彼此的參考圖像，進(jìn)行圖像互補(bǔ)，分別得到圖像互補(bǔ)后的第一虛擬視點(diǎn)圖像和第二虛擬視點(diǎn)圖像；圖像融合單元，用于將圖像互補(bǔ)后的第一虛擬視點(diǎn)圖像與第二虛擬視點(diǎn)圖像進(jìn)行融合，得到主虛擬視點(diǎn)圖像；圖像深度處理單元，用于對(duì)所述第一參考視點(diǎn)圖像與所述第二參考視點(diǎn)圖像分別進(jìn)行深度圖處理，得到深度圖處理后的第一參考視點(diǎn)圖像和第二參考試點(diǎn)彩色圖像；并啟動(dòng)所述三維圖像變換單元、空洞填充單元、圖像互補(bǔ)單元、圖像融合單元依次對(duì)所述深度圖處理后的第一參考視點(diǎn)圖像和第二參考試點(diǎn)彩色圖像進(jìn)行相應(yīng)的處理，得到副虛擬視點(diǎn)圖像；虛擬視點(diǎn)圖像生成單元，用于將所述副虛擬視點(diǎn)圖像對(duì)所述主虛擬視點(diǎn)圖像進(jìn)行空洞填補(bǔ)，生成虛擬視點(diǎn)圖像。本發(fā)明實(shí)施例中，以第一攝像機(jī)和第二攝像機(jī)提供的兩幅視點(diǎn)圖像作為參考視點(diǎn)圖像，并分別對(duì)該兩幅視點(diǎn)圖像進(jìn)行三維圖像變換、小洞填充、圖像互補(bǔ)和圖像融合處理之后得到主虛擬視點(diǎn)圖像；再分別對(duì)所述兩幅視點(diǎn)圖像分別進(jìn)行深度圖處理、三維圖像變換、小洞填充、圖像互補(bǔ)和圖像融合處理之后得到副虛擬視點(diǎn)圖像；再根據(jù)所述副虛擬視點(diǎn)圖像對(duì)所述主虛擬視點(diǎn)圖像進(jìn)行剩余空洞填充之后，得到最終需要合成的虛擬視點(diǎn)圖像。采用本發(fā)明技術(shù)方案，對(duì)兩幅參考視點(diǎn)圖像進(jìn)行相應(yīng)的處理得到主虛擬視點(diǎn)圖像時(shí)，沒有進(jìn)行深度圖處理，因此不會(huì)帶來(lái)較大的圖像畸變；而在對(duì)兩幅參考視點(diǎn)圖像進(jìn)行相應(yīng)的處理得到副虛擬視點(diǎn)圖像時(shí)，進(jìn)行了深度圖處理，因此可以減輕前景物體與背景之間的深度差異，可以改善虛擬視點(diǎn)圖像質(zhì)量；再根據(jù)副虛擬視點(diǎn)圖像對(duì)所述主虛擬視點(diǎn)圖像進(jìn)行空洞填充時(shí)，可以合成不帶來(lái)畸變的且質(zhì)量較高的虛擬視點(diǎn)圖像。


圖IA為本發(fā)明實(shí)施例中多視點(diǎn)視頻中虛擬視點(diǎn)合成的方法流程圖；圖IB為上述圖IA所述流程的示意圖；圖2為本發(fā)明實(shí)施例中圖像坐標(biāo)系與三維空間坐標(biāo)系的映射關(guān)系圖；圖3A為本發(fā)明實(shí)施例中第一參考視點(diǎn)圖像；圖;3B為本發(fā)明實(shí)施例中第一參考視點(diǎn)圖像的深度圖；圖3C為本發(fā)明實(shí)施例中的第二參考視點(diǎn)圖像；圖3D為本發(fā)明實(shí)施例中第二參考視點(diǎn)圖像的深度圖；圖4A為本發(fā)明實(shí)施例中三維圖像變換后的第一參考視點(diǎn)圖像；圖4B為本發(fā)明實(shí)施例中第一虛擬視點(diǎn)圖像的深度圖；圖4C為本發(fā)明實(shí)施例中第一虛擬視點(diǎn)圖像的空洞圖；圖4D為本發(fā)明實(shí)施例中三維圖像變換后的第二參考視點(diǎn)圖像；圖4E為本發(fā)明實(shí)施例中第二虛擬視點(diǎn)圖像的深度圖；圖4F為本發(fā)明實(shí)施例中第二虛擬視點(diǎn)圖像的空洞圖；圖5A為本發(fā)明實(shí)施例中小洞填充后的第一虛擬視點(diǎn)圖像；圖5B為本發(fā)明實(shí)施例中小洞填充后的第一虛擬視點(diǎn)圖像的深度圖；圖5C為本發(fā)明實(shí)施例中小洞填充后的第一虛擬視點(diǎn)圖像的空洞圖；圖5D為本發(fā)明實(shí)施例中小洞填充后的第二虛擬視點(diǎn)圖像；圖5E為本發(fā)明實(shí)施例中小洞填充后的第二虛擬視點(diǎn)圖像的深度圖；圖5F為本發(fā)明實(shí)施例中小洞填充后的第二虛擬視點(diǎn)圖像的空洞圖；圖6A為本發(fā)明實(shí)施例中圖像互補(bǔ)后的第一虛擬視點(diǎn)圖像；圖6B為本發(fā)明實(shí)施例中圖像互補(bǔ)后的深度圖；圖6C為本發(fā)明實(shí)施例中圖像互補(bǔ)后的第二虛擬視點(diǎn)圖像；圖6D為本發(fā)明實(shí)施例中圖像互補(bǔ)后的空洞圖；圖7A為本發(fā)明實(shí)施例中對(duì)圖像互補(bǔ)后的第一虛擬視點(diǎn)圖像和第二虛擬視點(diǎn)圖像進(jìn)行融合處理之后得到的主虛擬視點(diǎn)圖像；圖7B為本發(fā)明實(shí)施例中對(duì)圖像互補(bǔ)后的第一虛擬視點(diǎn)圖像的空洞圖和第二虛擬視點(diǎn)圖像的空洞圖進(jìn)行融合處理之后得到的主空洞圖；圖8為本發(fā)明實(shí)施例中根據(jù)副虛擬視點(diǎn)圖像對(duì)主虛擬視點(diǎn)圖像進(jìn)行空洞填補(bǔ)之后的虛擬視點(diǎn)圖像；圖9為本發(fā)明實(shí)施例中多視點(diǎn)視頻中虛擬視點(diǎn)合成裝置的結(jié)構(gòu)示意圖。
具體實(shí)施例方式針對(duì)現(xiàn)有技術(shù)存在的技術(shù)問(wèn)題，本發(fā)明實(shí)施例提供一種多視點(diǎn)視頻中虛擬視點(diǎn)的合成方法及裝置，以在保證不帶來(lái)幾何畸變的前提下，提高虛擬視點(diǎn)圖像的質(zhì)量和提高虛擬視點(diǎn)圖像的顯示效果。多視點(diǎn)視頻中虛擬試點(diǎn)合成方法，包括以第一攝像機(jī)和第二攝像機(jī)提供的兩幅視點(diǎn)圖像作為參考視點(diǎn)圖像，并分別對(duì)該兩幅視點(diǎn)圖像進(jìn)行三維圖像變換、 小洞填充、圖像互補(bǔ)和圖像融合處理之后得到主虛擬視點(diǎn)圖像；再分別對(duì)所述兩幅視點(diǎn)圖像分別進(jìn)行深度圖處理、三維圖像變換、小洞填充、圖像互補(bǔ)和圖像融合處理之后得到副虛擬視點(diǎn)圖像；再根據(jù)所述副虛擬視點(diǎn)圖像對(duì)所述主虛擬視點(diǎn)圖像進(jìn)行剩余空洞填充之后， 得到最終需要合成的虛擬視點(diǎn)圖像。采用本發(fā)明技術(shù)方案，對(duì)兩幅參考視點(diǎn)圖像進(jìn)行相應(yīng)的處理得到主虛擬視點(diǎn)圖像時(shí)，沒有進(jìn)行深度圖處理，因此不會(huì)帶來(lái)較大的圖像畸變；而在對(duì)兩幅參考視點(diǎn)圖像進(jìn)行相應(yīng)的處理得到副虛擬視點(diǎn)圖像時(shí)，進(jìn)行了深度圖處理，因此可以減輕前景物體與背景之間的深度差異，可以改善虛擬視點(diǎn)圖像質(zhì)量；再根據(jù)副虛擬視點(diǎn)圖像對(duì)所述主虛擬視點(diǎn)圖像進(jìn)行空洞填充時(shí)，可以合成不帶來(lái)畸變的且質(zhì)量較高的虛擬視點(diǎn)圖像。下面結(jié)合說(shuō)明書附圖對(duì)本發(fā)明技術(shù)方案進(jìn)行詳細(xì)的描述。參見圖1A，為本發(fā)明實(shí)施例中多視點(diǎn)視頻中虛擬視點(diǎn)合成的方法流程圖，方法還可通過(guò)圖IB示意，方法包括步驟101、根據(jù)第一攝像機(jī)得到的第一參考視點(diǎn)圖像及其深度圖像、第一攝像機(jī)參數(shù)，對(duì)所述第一參考視點(diǎn)圖像進(jìn)行三維圖像變換，得到第一虛擬視點(diǎn)圖像及其深度圖像和空洞圖；以及，根據(jù)第二攝像機(jī)得到的第二參考視點(diǎn)圖像及其深度圖像、第二攝像機(jī)參數(shù)， 對(duì)所述第二參考視點(diǎn)圖像進(jìn)行三維圖像變換，得到第二虛擬視點(diǎn)圖像及其深度圖像和空洞圖。步驟102、根據(jù)所述第一虛擬視點(diǎn)圖像的空洞圖，采用水平、垂直和對(duì)角外推法對(duì)所述第一虛擬視點(diǎn)圖像進(jìn)行小洞填充，得到小洞填充后的第一虛擬視點(diǎn)圖像；以及根據(jù)所述第二虛擬視點(diǎn)圖像的空洞圖，采用水平、垂直和對(duì)角外推法對(duì)所述第二虛擬視點(diǎn)圖像進(jìn)行小洞填充，得到小洞填充后的第二虛擬視點(diǎn)圖像。步驟103、將小洞填充后的第一虛擬視點(diǎn)圖像與第二虛擬視點(diǎn)圖像作為彼此的參考圖像，進(jìn)行圖像互補(bǔ)，分別得到圖像互補(bǔ)后的第一虛擬視點(diǎn)圖像和第二虛擬視點(diǎn)圖像。步驟104、將圖像互補(bǔ)后的第一虛擬視點(diǎn)圖像與第二虛擬視點(diǎn)圖像進(jìn)行融合，得到主虛擬視點(diǎn)圖像。步驟105、對(duì)所述第一參考視點(diǎn)圖像與所述第二參考視點(diǎn)圖像分別進(jìn)行深度圖處理，得到深度圖處理后的第一參考視點(diǎn)圖像和第二參考試點(diǎn)彩色圖像；再按照上述步驟 101 步驟104對(duì)深度圖處理后的第一參考視點(diǎn)圖像和第二參考試點(diǎn)彩色圖像進(jìn)行相應(yīng)的處理，得到副虛擬視點(diǎn)圖像。步驟106、根據(jù)所述副虛擬視點(diǎn)圖像對(duì)所述主虛擬視點(diǎn)圖像進(jìn)行空洞填補(bǔ)，生成最終需要得到的虛擬視點(diǎn)圖像。上述流程的步驟101中，對(duì)所述第一參考視點(diǎn)圖像進(jìn)行三維圖像變換，可包括以下步驟
步驟al、將所述第一參考視點(diǎn)圖像中的像素點(diǎn)映射到三維空間中，可參見式(1)；步驟bl、將步驟al中已經(jīng)映射到三維空間之后的像素點(diǎn)重投影到第一虛擬視點(diǎn)圖像上，可參見式(2)；步驟Cl、采用Z-fuffer和取整方法對(duì)所述第一虛擬視點(diǎn)圖像中的像素點(diǎn)的坐標(biāo)值進(jìn)行篩選；對(duì)所述第二參考視點(diǎn)圖像進(jìn)行三維圖像變換，包括步驟a2、將所述第二參考視點(diǎn)圖像中的像素點(diǎn)映射到三維空間中，可參見式(3)；步驟1^2、將步驟a2中已經(jīng)映射到三維空間之后的像素點(diǎn)重投影到第二虛擬視點(diǎn)圖像上，可參見式⑷；步驟c2、采用Z-fuffer和取整方法對(duì)所述第二虛擬視點(diǎn)圖像中的像素點(diǎn)的坐標(biāo)值進(jìn)行篩選。上述步驟al、步驟bl和步驟Cl中，第一參考視點(diǎn)圖像中的像素點(diǎn)的坐標(biāo)點(diǎn)所在的圖像坐標(biāo)系為以第一參考視點(diǎn)圖像的左上角為原點(diǎn)，沿水平方向?yàn)闄M坐標(biāo)，沿豎直方向?yàn)榭v坐標(biāo)；在所述步驟a2、步驟1^2和步驟c2中，第二參考視點(diǎn)圖像中的像素點(diǎn)的坐標(biāo)點(diǎn)所在的圖像坐標(biāo)系為以第二參考視點(diǎn)圖像的左上角為原點(diǎn)，沿水平方向?yàn)闄M坐標(biāo)，沿豎直方向?yàn)榭v坐標(biāo)；所述三維空間的空間坐標(biāo)系為以屏幕的左下角為原點(diǎn)，該空間坐標(biāo)系的X軸沿屏幕平面的豎直方向，y軸沿屏幕平面的水平方向。上述圖像坐標(biāo)系與空間坐標(biāo)系的映射關(guān)系可如圖2所示。將第一參考視點(diǎn)圖像中的像素點(diǎn)映射到三維空間，可根據(jù)式(1)進(jìn)行變換_式(1)；式(1)中，為齊次坐標(biāo)系下第一參考視點(diǎn)圖像中某一像素點(diǎn)在圖像坐標(biāo)系中的坐標(biāo)，M1S齊次坐標(biāo)系下所述某一像素點(diǎn)變換到三維空間之后在三維空間坐標(biāo)系中的坐標(biāo)A為相應(yīng)的2#攝像機(jī)的內(nèi)部參數(shù)矩陣；Pn是歸一化透視投影矩陣。將映射到三維空間之后的第一視點(diǎn)彩色圖像的像素點(diǎn)重投影到目標(biāo)虛擬視點(diǎn)圖像上，可通過(guò)式( 變換得到叫ξ」> Ζ)Μ# ⑵；式O)中，Mi與式(1)中的M1相同，％'為齊次坐標(biāo)系下所述似1變換到目標(biāo)虛擬視
點(diǎn)圖像中的坐標(biāo);A'為目標(biāo)視點(diǎn)攝像機(jī)(即3#攝像機(jī))的內(nèi)部參數(shù)矩陣；D是目標(biāo)視點(diǎn)攝像機(jī)的外部參數(shù)矩陣，包含旋轉(zhuǎn)矩陣R和平移向量t。將第二參考視點(diǎn)圖像中的像素點(diǎn)映射到三維空間，可根據(jù)式(3)變換得到階三為尸 M2式⑶；式(3)中，為齊次坐標(biāo)系下第二參考視點(diǎn)圖像中某一像素點(diǎn)在圖像坐標(biāo)系中的坐標(biāo)，似2為齊次坐標(biāo)系下所述某一像素點(diǎn)變換到三維空間之后在三維空間坐標(biāo)系中的坐標(biāo)-A為相應(yīng)的3#攝像機(jī)的內(nèi)部參數(shù)矩陣；Pn是歸一化透視投影矩陣。將映射到三維空間之后的第二視點(diǎn)彩色圖像的像素點(diǎn)重投影到目標(biāo)虛擬視點(diǎn)圖像上，可通過(guò)式(4)變換得到
m; =APnDM2^ ；式(4)中，M2與式⑴中的M2相同，為齊次坐標(biāo)系下所述M2變換到目標(biāo)虛擬視
點(diǎn)圖像中的坐標(biāo);A'為目標(biāo)視點(diǎn)攝像機(jī)(即3#攝像機(jī))的內(nèi)部參數(shù)矩陣；D是目標(biāo)視點(diǎn)攝像機(jī)的外部參數(shù)矩陣，包含旋轉(zhuǎn)矩陣R和平移向量t。將參考視點(diǎn)圖像中的像素點(diǎn)映射到目標(biāo)虛擬視點(diǎn)圖像的過(guò)程為多對(duì)一的過(guò)程，因此，可能會(huì)存在參考視點(diǎn)圖像中位于不同位置的兩個(gè)或多個(gè)像素點(diǎn)映射到目標(biāo)虛擬視點(diǎn)圖像中的同一位置，因此存在重疊現(xiàn)象。因此，上述步驟cl和步驟c2中，采用Z-fuffer方法避免重疊現(xiàn)象，即在目標(biāo)虛擬視點(diǎn)圖像繪制過(guò)程中，為目標(biāo)虛擬視點(diǎn)圖像中的每個(gè)像素點(diǎn)k 提供一個(gè)對(duì)應(yīng)的buffer，以保留映射到該像素點(diǎn)k的來(lái)自參考視點(diǎn)圖像中的多個(gè)像素點(diǎn)的深度值，再將該多個(gè)像素點(diǎn)中深度值最大的像素點(diǎn)的深度值確定為該像素點(diǎn)k的深度值。參考視點(diǎn)圖像中的像素點(diǎn)經(jīng)變換后投影到目標(biāo)虛擬視點(diǎn)圖像的平面上時(shí)，可能不是投影在整像素點(diǎn)上而是投影在分像素點(diǎn)，因此，需要提取該分像素點(diǎn)坐標(biāo)的整數(shù)部分作為目標(biāo)虛擬視點(diǎn)圖像中相應(yīng)點(diǎn)的坐標(biāo)值。上述流程的步驟102中，對(duì)所述第一虛擬視點(diǎn)圖像進(jìn)行小洞填充，包括根據(jù)所述第一虛擬視點(diǎn)圖像的空洞圖中的像素值，確定出在所述第一虛擬試點(diǎn)彩色圖像中相應(yīng)位置是否為空洞；對(duì)所述空洞圖中像素值為0的點(diǎn)ml，在所述第一虛擬視點(diǎn)圖像的深度圖中相應(yīng)位置的水平、垂直和對(duì)角邊界點(diǎn)中確定出深度值最大的點(diǎn)nl ；將nl點(diǎn)在所述第一虛擬視點(diǎn)圖像中的像素信息賦予ml點(diǎn)，得到如圖；對(duì)所述第二虛擬視點(diǎn)圖像進(jìn)行小洞填充，包括根據(jù)所述第二虛擬視點(diǎn)圖像的空洞圖中的像素值，確定出在所述第二虛擬試點(diǎn)彩色圖像中相應(yīng)位置是否為空洞；對(duì)所述空洞圖中像素值為0的點(diǎn)m2，在所述第二虛擬視點(diǎn)圖像的深度圖中相應(yīng)位置的水平、垂直和對(duì)角邊界點(diǎn)中確定出深度值最大的點(diǎn)n2 ；將n2點(diǎn)在所述第二虛擬視點(diǎn)圖像中的像素信息賦予m2點(diǎn)。上述流程的步驟103具體可包括根據(jù)所述第一虛擬視點(diǎn)圖像的空洞圖，確定出所述第一虛擬視點(diǎn)圖像中的空洞的位置；對(duì)所述第一虛擬視點(diǎn)圖像的空洞圖進(jìn)行形態(tài)學(xué)擴(kuò)張，以避免在所述第一虛擬視點(diǎn)圖像中產(chǎn)生偽影；根據(jù)所述第二虛擬視點(diǎn)圖像的空洞圖，確定出所述第二虛擬視點(diǎn)圖像中的空洞的位置；對(duì)所述第二虛擬視點(diǎn)圖像的空洞圖進(jìn)行形態(tài)學(xué)擴(kuò)張，以避免在第二虛擬視點(diǎn)圖像中產(chǎn)生偽影；針對(duì)所述第一虛擬視點(diǎn)圖像中的每個(gè)空洞位置的像素點(diǎn)，若像素點(diǎn)在所述第二虛擬視點(diǎn)圖像中有值，則將該值賦予所述像素點(diǎn)；針對(duì)所述第二虛擬視點(diǎn)圖像中的每個(gè)空洞位置的像素點(diǎn)，若像素點(diǎn)在所述第一虛擬視點(diǎn)圖像中有值，則將該值賦予所述像素點(diǎn)。上述流程的步驟104，將第一虛擬視點(diǎn)圖像與第二虛擬視點(diǎn)圖像進(jìn)行融合處理，可采用以下方式將圖像互補(bǔ)后的第一虛擬視點(diǎn)圖像與第二虛擬視點(diǎn)圖像進(jìn)行基于距離的圖像融合，得到所述主虛擬視點(diǎn)圖像。對(duì)圖像互補(bǔ)后的第一虛擬視點(diǎn)圖像和第二虛擬視點(diǎn)圖基于距離的圖像融合，可根據(jù)式(5)得到
權(quán)利要求
1.一種多視點(diǎn)視頻中虛擬視點(diǎn)合成方法，其特征在于，包括步驟1、根據(jù)第一攝像機(jī)得到的第一參考視點(diǎn)圖像及其深度圖像、第一攝像機(jī)參數(shù)，對(duì)所述第一參考視點(diǎn)圖像進(jìn)行三維圖像變換，得到第一虛擬視點(diǎn)圖像及其深度圖像和空洞圖；以及，根據(jù)第二攝像機(jī)得到的第二參考視點(diǎn)圖像及其深度圖像、第二攝像機(jī)參數(shù)，對(duì)所述第二參考視點(diǎn)圖像進(jìn)行三維圖像變換，得到第二虛擬視點(diǎn)圖像及其深度圖像和空洞圖；步驟2、根據(jù)所述第一虛擬視點(diǎn)圖像的空洞圖，采用水平、垂直和對(duì)角外推法對(duì)所述第一虛擬視點(diǎn)圖像進(jìn)行小洞填充，得到小洞填充后的第一虛擬視點(diǎn)圖像；以及根據(jù)所述第二虛擬視點(diǎn)圖像的空洞圖，采用水平、垂直和對(duì)角外推法對(duì)所述第二虛擬視點(diǎn)圖像進(jìn)行小洞填充，得到小洞填充后的第二虛擬視點(diǎn)圖像；步驟3、將小洞填充后的第一虛擬視點(diǎn)圖像與第二虛擬視點(diǎn)圖像作為彼此的參考圖像， 進(jìn)行圖像互補(bǔ)，分別得到圖像互補(bǔ)后的第一虛擬視點(diǎn)圖像和第二虛擬視點(diǎn)圖像；步驟4、將圖像互補(bǔ)后的第一虛擬視點(diǎn)圖像與第二虛擬視點(diǎn)圖像進(jìn)行融合，得到主虛擬視點(diǎn)圖像；步驟5、對(duì)所述第一參考視點(diǎn)圖像與所述第二參考視點(diǎn)圖像分別進(jìn)行深度圖處理，得到深度圖處理后的第一參考視點(diǎn)圖像和第二參考試點(diǎn)彩色圖像；再按照上述步驟1 步驟4 對(duì)深度圖處理后的第一參考視點(diǎn)圖像和第二參考試點(diǎn)彩色圖像進(jìn)行相應(yīng)的處理，得到副虛擬視點(diǎn)圖像；步驟6、根據(jù)所述副虛擬視點(diǎn)圖像對(duì)所述主虛擬視點(diǎn)圖像進(jìn)行空洞填補(bǔ)，生成虛擬視點(diǎn)圖像。
2.如權(quán)利要求1所述的方法，其特征在于，上述步驟1中，對(duì)所述第一參考視點(diǎn)圖像進(jìn)行三維圖像變換，包括步驟al、將所述第一參考視點(diǎn)圖像中的像素點(diǎn)映射到三維空間中；步驟bl、將步驟al中已經(jīng)映射到三維空間之后的像素點(diǎn)重投影到第一虛擬視點(diǎn)圖像上；步驟Cl、采用Z-fuffer和取整方法對(duì)所述第一虛擬視點(diǎn)圖像中的像素點(diǎn)的坐標(biāo)值進(jìn)行篩選；對(duì)所述第二參考視點(diǎn)圖像進(jìn)行三維圖像變換，包括步驟a2、將所述第二參考視點(diǎn)圖像中的像素點(diǎn)映射到三維空間中；步驟1^2、將步驟a2中已經(jīng)映射到三維空間之后的像素點(diǎn)重投影到第二虛擬視點(diǎn)圖像上；步驟c2、采用Z-fuffer和取整方法對(duì)所述第二虛擬視點(diǎn)圖像中的像素點(diǎn)的坐標(biāo)值進(jìn)行篩選。
3.如權(quán)利要求2所述的方法，其特征在于在所述步驟al、步驟bl和步驟Cl中，第一參考視點(diǎn)圖像中的像素點(diǎn)的坐標(biāo)點(diǎn)所在的圖像坐標(biāo)系為以第一參考視點(diǎn)圖像的左上角為原點(diǎn)，沿水平方向?yàn)闄M坐標(biāo)，沿豎直方向?yàn)榭v坐標(biāo)；在所述步驟a2、步驟1^2和步驟c2中，第二參考視點(diǎn)圖像中的像素點(diǎn)的坐標(biāo)點(diǎn)所在的圖像坐標(biāo)系為以第二參考視點(diǎn)圖像的左上角為原點(diǎn)，沿水平方向?yàn)闄M坐標(biāo)，沿豎直方向?yàn)榭v坐標(biāo)；所述三維空間的空間坐標(biāo)系為以屏幕的左下角為原點(diǎn)，該空間坐標(biāo)系的χ軸沿屏幕平面的豎直方向，y軸沿屏幕平面的水平方向。
4.如權(quán)利要求1所述的方法，其特征在于，對(duì)所述第一虛擬視點(diǎn)圖像進(jìn)行小洞填充，包括根據(jù)所述第一虛擬視點(diǎn)圖像的空洞圖中的像素值，確定出在所述第一虛擬試點(diǎn)彩色圖像中相應(yīng)位置是否為空洞；對(duì)所述空洞圖中像素值為0的點(diǎn)ml，在所述第一虛擬視點(diǎn)圖像的深度圖中相應(yīng)位置的水平、垂直和對(duì)角邊界點(diǎn)中確定出深度值最大的點(diǎn)nl ；將nl點(diǎn)在所述第一虛擬視點(diǎn)圖像中的像素信息賦予ml點(diǎn)；對(duì)所述第二虛擬視點(diǎn)圖像進(jìn)行小洞填充，包括根據(jù)所述第二虛擬視點(diǎn)圖像的空洞圖中的像素值，確定出在所述第二虛擬試點(diǎn)彩色圖像中相應(yīng)位置是否為空洞；對(duì)所述空洞圖中像素值為0的點(diǎn)m2，在所述第二虛擬視點(diǎn)圖像的深度圖中相應(yīng)位置的水平、垂直和對(duì)角邊界點(diǎn)中確定出深度值最大的點(diǎn)n2 ；將n2點(diǎn)在所述第二虛擬視點(diǎn)圖像中的像素信息賦予 m2點(diǎn)。
5.如權(quán)利要求1所述的方法，其特征在于，所述步驟3，具體包括根據(jù)所述第一虛擬視點(diǎn)圖像的空洞圖，確定出所述第一虛擬視點(diǎn)圖像中的空洞的位置；對(duì)所述第一虛擬視點(diǎn)圖像的空洞圖進(jìn)行形態(tài)學(xué)擴(kuò)張，以避免在所述第一虛擬視點(diǎn)圖像中產(chǎn)生偽影；根據(jù)所述第二虛擬視點(diǎn)圖像的空洞圖，確定出所述第二虛擬視點(diǎn)圖像中的空洞的位置；對(duì)所述第二虛擬視點(diǎn)圖像的空洞圖進(jìn)行形態(tài)學(xué)擴(kuò)張，以避免在第二虛擬視點(diǎn)圖像中產(chǎn)生偽影；針對(duì)所述第一虛擬視點(diǎn)圖像中的每個(gè)空洞位置的像素點(diǎn)，若像素點(diǎn)在所述第二虛擬視點(diǎn)圖像中有值，則將該值賦予所述像素點(diǎn)；針對(duì)所述第二虛擬視點(diǎn)圖像中的每個(gè)空洞位置的像素點(diǎn)，若像素點(diǎn)在所述第一虛擬視點(diǎn)圖像中有值，則將該值賦予所述像素點(diǎn)。
6.如權(quán)利要求1所述的方法，其特征在于，所述步驟4，具體包括將圖像互補(bǔ)后的第一虛擬視點(diǎn)圖像與第二虛擬視點(diǎn)圖像進(jìn)行基于距離的圖像融合，得到所述主虛擬視點(diǎn)圖像。
7.如權(quán)利要求1所述的方法，其特征在于，所述步驟5中，對(duì)所述第一參考視點(diǎn)圖像與所述第二參考視點(diǎn)圖像分別進(jìn)行深度圖處理，包括分別對(duì)所述第一參考視點(diǎn)圖像的深度圖像和所述第二參考視點(diǎn)圖像的深度圖像進(jìn)行雙邊濾波處理。
8.一種多視點(diǎn)視頻中虛擬視點(diǎn)合成裝置，其特征在于，包括三維圖像變換單元，用于根據(jù)第一攝像機(jī)得到的第一參考視點(diǎn)圖像及其深度圖像、第一攝像機(jī)參數(shù)，對(duì)所述第一參考視點(diǎn)圖像進(jìn)行三維圖像變換，得到第一虛擬視點(diǎn)圖像及其深度圖像和空洞圖；以及，根據(jù)第二攝像機(jī)得到的第二參考視點(diǎn)圖像及其深度圖像、第二攝像機(jī)參數(shù)，對(duì)所述第二參考視點(diǎn)圖像進(jìn)行三維圖像變換，得到第二虛擬視點(diǎn)圖像及其深度圖像和空洞圖；空洞填充單元，用于根據(jù)所述第一虛擬視點(diǎn)圖像的空洞圖，采用水平、垂直和對(duì)角外推法對(duì)所述第一虛擬視點(diǎn)圖像進(jìn)行小洞填充，得到小洞填充后的第一虛擬視點(diǎn)圖像；以及根據(jù)所述第二虛擬視點(diǎn)圖像的空洞圖，采用水平、垂直和對(duì)角外推法對(duì)所述第二虛擬視點(diǎn)圖像進(jìn)行小洞填充，得到小洞填充后的第二虛擬視點(diǎn)圖像；圖像互補(bǔ)單元，用于將小洞填充后的第一虛擬視點(diǎn)圖像與第二虛擬視點(diǎn)圖像作為彼此的參考圖像，進(jìn)行圖像互補(bǔ)，分別得到圖像互補(bǔ)后的第一虛擬視點(diǎn)圖像和第二虛擬視點(diǎn)圖像；圖像融合單元，用于將圖像互補(bǔ)后的第一虛擬視點(diǎn)圖像與第二虛擬視點(diǎn)圖像進(jìn)行融合，得到主虛擬視點(diǎn)圖像；圖像深度處理單元，用于對(duì)所述第一參考視點(diǎn)圖像與所述第二參考視點(diǎn)圖像分別進(jìn)行深度圖處理，得到深度圖處理后的第一參考視點(diǎn)圖像和第二參考試點(diǎn)彩色圖像；并啟動(dòng)所述三維圖像變換單元、空洞填充單元、圖像互補(bǔ)單元、圖像融合單元依次對(duì)所述深度圖處理后的第一參考視點(diǎn)圖像和第二參考試點(diǎn)彩色圖像進(jìn)行相應(yīng)的處理，得到副虛擬視點(diǎn)圖像；虛擬視點(diǎn)圖像生成單元，用于將所述副虛擬視點(diǎn)圖像對(duì)所述主虛擬視點(diǎn)圖像進(jìn)行空洞填補(bǔ)，生成虛擬視點(diǎn)圖像。
9.如權(quán)利要求8所述的裝置，其特征在于，所述空洞填充單元，具體用于對(duì)所述第一虛擬視點(diǎn)圖像進(jìn)行小洞填充，包括根據(jù)所述第一虛擬視點(diǎn)圖像的空洞圖中的像素值，確定出在所述第一虛擬試點(diǎn)彩色圖像中相應(yīng)位置是否為空洞；對(duì)所述空洞圖中像素值為0的點(diǎn)ml，在所述第一虛擬視點(diǎn)圖像的深度圖中相應(yīng)位置的水平、垂直和對(duì)角邊界點(diǎn)中確定出深度值最大的點(diǎn)nl ；將nl點(diǎn)在所述第一虛擬視點(diǎn)圖像中的像素信息賦予ml 點(diǎn)。對(duì)所述第二虛擬視點(diǎn)圖像進(jìn)行小洞填充，包括根據(jù)所述第二虛擬視點(diǎn)圖像的空洞圖中的像素值，確定出在所述第二虛擬試點(diǎn)彩色圖像中相應(yīng)位置是否為空洞；對(duì)所述空洞圖中像素值為O的點(diǎn)m2，在所述第二虛擬視點(diǎn)圖像的深度圖中相應(yīng)位置的水平、垂直和對(duì)角邊界點(diǎn)中確定出深度值最大的點(diǎn)n2 ；將n2點(diǎn)在所述第二虛擬視點(diǎn)圖像中的像素信息賦予 m2點(diǎn)。
10.如權(quán)利要求8所述的裝置，其特征在于，所述圖像互補(bǔ)單元，具體用于根據(jù)所述第一虛擬視點(diǎn)圖像的空洞圖，確定出所述第一虛擬視點(diǎn)圖像中的空洞的位置；對(duì)所述第一虛擬視點(diǎn)圖像的空洞圖進(jìn)行形態(tài)學(xué)擴(kuò)張，以避免在所述第一虛擬視點(diǎn)圖像中產(chǎn)生偽影；根據(jù)所述第二虛擬視點(diǎn)圖像的空洞圖，確定出所述第二虛擬視點(diǎn)圖像中的空洞的位置；對(duì)所述第二虛擬視點(diǎn)圖像的空洞圖進(jìn)行形態(tài)學(xué)擴(kuò)張，以避免在第二虛擬視點(diǎn)圖像中產(chǎn)生偽影；針對(duì)所述第一虛擬視點(diǎn)圖像中的每個(gè)空洞位置的像素點(diǎn)，若像素點(diǎn)在所述第二虛擬視點(diǎn)圖像中有值，則將該值賦予所述像素點(diǎn)；針對(duì)所述第二虛擬視點(diǎn)圖像中的每個(gè)空洞位置的像素點(diǎn)，若像素點(diǎn)在所述第一虛擬視點(diǎn)圖像中有值，則將該值賦予所述像素點(diǎn)。
全文摘要
本發(fā)明公開一種多視點(diǎn)視頻中虛擬視點(diǎn)合成方法及裝置，在保證不帶來(lái)幾何畸變的前提下，提高虛擬視點(diǎn)圖像的質(zhì)量，提高虛擬視點(diǎn)圖像的顯示效果；方法包括以第一攝像機(jī)和第二攝像機(jī)提供的兩幅視點(diǎn)圖像作為參考視點(diǎn)圖像，并分別對(duì)該兩幅視點(diǎn)圖像進(jìn)行三維圖像變換、小洞填充、圖像互補(bǔ)和圖像融合處理之后得到主虛擬視點(diǎn)圖像；再分別對(duì)所述兩幅視點(diǎn)圖像分別進(jìn)行深度圖處理、三維圖像變換、小洞填充、圖像互補(bǔ)和圖像融合處理之后得到副虛擬視點(diǎn)圖像；再根據(jù)所述副虛擬視點(diǎn)圖像對(duì)所述主虛擬視點(diǎn)圖像進(jìn)行剩余空洞填充之后，得到最終需要合成的虛擬視點(diǎn)圖像。
文檔編號(hào)H04N5/262GK102325259SQ201110267778
公開日2012年1月18日 申請(qǐng)日期2011年9月9日 優(yōu)先權(quán)日2011年9月9日
發(fā)明者劉微, 劉琚, 孫建德, 王路 申請(qǐng)人:青島海信數(shù)字多媒體技術(shù)國(guó)家重點(diǎn)實(shí)驗(yàn)室有限公司