專利名稱：使用背景像素?cái)U(kuò)大和背景優(yōu)先塊匹配的多視圖繪制設(shè)備和方法
使用背景像素?cái)U(kuò)大和背景優(yōu)先塊匹配的多視圖繪制設(shè)備和方法技術(shù)領(lǐng)域
以下描述的一個(gè)或多個(gè)示例實(shí)施例涉及一種多視圖繪制(rendering)設(shè)備和方法。
背景技術(shù)：
為了產(chǎn)生三維(3D)圖像，具有寬視角的多視圖3D圖像需要被連續(xù)呈現(xiàn)。
然而，除了拍攝系統(tǒng)中的物理限制以外，由于在存儲(chǔ)和傳輸拍攝數(shù)據(jù)方面存在困難，因此難以單獨(dú)捕獲多視像并且難以實(shí)時(shí)發(fā)送捕獲的多視像。
因此，3D圖像產(chǎn)生設(shè)備可僅使用較少數(shù)量的輸入視圖(或參考視圖)(例如，兩個(gè)或三個(gè)輸入視圖)來產(chǎn)生3D圖像。此外，用于回放產(chǎn)生的3D圖像的3D顯示設(shè)備可通過對(duì)輸入視圖進(jìn)行外插或內(nèi)插來產(chǎn)生多個(gè)輸出視圖。發(fā)明內(nèi)容
根據(jù)示例實(shí)施例，可提供一種用于恢復(fù)輸出視像中的通過圖像變形(image warping)而產(chǎn)生的空洞(hole)的設(shè)備和方法。
通過提供一種圖像處理設(shè)備來實(shí)現(xiàn)前述和/或其他方面，所述圖像處理設(shè)備包括處理器，用于控制一個(gè)或多個(gè)處理器可執(zhí)行單元；圖像變形單元，用于通過使用參考視像和參考視像的雙目視差信息進(jìn)行圖像變形，來產(chǎn)生輸出視像；基于鄰近圖像的空洞恢復(fù)單元，用于使用一個(gè)或多個(gè)在時(shí)間上鄰近的圖像，恢復(fù)通過圖像變形而產(chǎn)生的空洞。
所述一個(gè)或多個(gè)在時(shí)間上鄰近的圖像可與參考視像在時(shí)間上鄰近。
所述一個(gè)或多個(gè)在時(shí)間上鄰近的圖像可與輸出視像在時(shí)間上鄰近。
基于鄰近圖像的空洞恢復(fù)單元可使用在時(shí)間上鄰近的圖像中包括的且與第一像素對(duì)應(yīng)的像素的顏色值，來恢復(fù)空洞中的像素。
當(dāng)參考視像和在時(shí)間上鄰近的圖像全部隨時(shí)間移動(dòng)時(shí)，基于鄰近圖像的空洞恢復(fù)單元可基于參考視像和在時(shí)間上鄰近的圖像的移動(dòng)，從在時(shí)間上鄰近的圖像中選擇與空洞中的像素對(duì)應(yīng)的像素。
基于鄰近圖像的空洞恢復(fù)單元可使用通過排除與空洞中的像素對(duì)應(yīng)的一個(gè)或多個(gè)空洞像素而獲得的像素來恢復(fù)空洞。
基于鄰近圖像的空洞恢復(fù)單元可使用與空洞中的像素對(duì)應(yīng)的像素中的背景像素來恢復(fù)空洞。
所述圖像處理設(shè)備還可包括緩沖區(qū)設(shè)置單元，用于擴(kuò)大空洞。
緩沖區(qū)設(shè)置單元可通過將與空洞鄰近的緩沖區(qū)域視為空洞來擴(kuò)大空洞。當(dāng)空洞中的像素包括在緩沖區(qū)域中時(shí)，基于鄰近圖像的空洞恢復(fù)單元可基于空洞中的像素的顏色值來恢復(fù)空洞中的像素。
所述圖像處理設(shè)備還可包括雙目視差縫隙檢測(cè)單元，用于將輸出視像中的縫隙設(shè)置為空洞。當(dāng)一像素與鄰近像素之間的雙目視差值的差的總和大于預(yù)定值時(shí)，雙目視差縫隙檢測(cè)單元可將所述像素檢測(cè)為縫隙。還通過提供一種圖像處理設(shè)備來實(shí)現(xiàn)前述和/或其他方面，所述圖像處理設(shè)備包括處理器，用于控制一個(gè)或多個(gè)處理器可執(zhí)行單元；圖像變形單元，用于通過使用參考視像和參考視像的雙目視差信息進(jìn)行圖像變形，來產(chǎn)生輸出視像；基于鄰近像素縮放的空洞恢復(fù)單元，用于通過對(duì)至少一個(gè)像素進(jìn)行縮放來恢復(fù)空洞，通過圖像變形產(chǎn)生了所述空洞，并且所述至少一個(gè)像素與所述空洞鄰近。基于鄰近像素縮放的空洞恢復(fù)單元可對(duì)所述至少一個(gè)像素中的背景像素執(zhí)行縮放。所述至少一個(gè)像素和所述空洞的至少一個(gè)空洞像素可在同一水平行上?；卩徑袼乜s放的空洞恢復(fù)單元可沿與鄰近于所述空洞的所述至少一個(gè)像素中的背景像素的梯度垂直的方向?qū)λ鲋辽僖粋€(gè)像素執(zhí)行縮放。還通過提供一種圖像處理設(shè)備來實(shí)現(xiàn)前述和/或其他方面，所述圖像處理設(shè)備包括處理器，用于控制一個(gè)或多個(gè)處理器可執(zhí)行單元；圖像變形單元，用于通過使用參考視像和參考視像的雙目視差信息進(jìn)行圖像變形，來產(chǎn)生輸出視像；基于最優(yōu)塊搜索的空洞恢復(fù)單元，用于從背景查找塊，并使用查找到的塊來恢復(fù)空洞，通過圖像變形產(chǎn)生了所述空洞，并且所述塊與包括所述空洞的區(qū)域最相似。包括所述空洞的區(qū)域可包括空洞區(qū)域和背景區(qū)域，并且基于最優(yōu)塊搜索的空洞恢復(fù)單元可使用找到的塊的與所述空洞區(qū)域?qū)?yīng)的部分來恢復(fù)所述空洞?；谧顑?yōu)塊搜索的空洞恢復(fù)單元可在輸出視像的第一區(qū)域中搜索第一塊，在輸出視像的第二區(qū)域中搜索第二塊，并可使用第一塊和第二塊的平均值來恢復(fù)第一區(qū)域和第二區(qū)域之間的重疊空洞區(qū)域。通過提供一種圖像處理方法來實(shí)現(xiàn)前述和/或其他方面，所述圖像處理方法包括由處理器通過對(duì)參考視像進(jìn)行圖像變形并基于參考視像的雙目視差信息，來產(chǎn)生輸出視像；使用一個(gè)或多個(gè)在時(shí)間上鄰近的圖像，恢復(fù)輸出視像中產(chǎn)生的空洞。所述圖像處理方法還可包括擴(kuò)大空洞。所述圖像處理方法還可包括將輸出視像中的縫隙設(shè)置為空洞。所述圖像處理方法還可包括通過對(duì)至少一個(gè)像素進(jìn)行縮放來恢復(fù)所述空洞，所述至少一個(gè)像素與所述空洞鄰近。所述圖像處理方法還可包括通過從背景搜索塊并使用找到的塊來恢復(fù)所述空洞，所述塊與包括所述空洞的區(qū)域最相似。通過提供一種用于產(chǎn)生多視圖的設(shè)備來實(shí)現(xiàn)前述和/或其他方面。所述設(shè)備包括處理器，用于控制一個(gè)或多個(gè)處理器可執(zhí)行單元；圖像產(chǎn)生單元，用于基于參考視像和參考視像的雙目視差信息來產(chǎn)生輸出視像；基于鄰近圖像的空洞恢復(fù)單元，用于使用一個(gè)或多個(gè)在時(shí)間上鄰近的圖像的背景信息，來恢復(fù)產(chǎn)生的輸出視像中的空洞，所述空洞作為產(chǎn)生輸出視像的結(jié)果而被產(chǎn)生。
通過提供一種用于產(chǎn)生多視圖的設(shè)備來實(shí)現(xiàn)前述和/或其他方面。所述設(shè)備包括處理器，用于控制一個(gè)或多個(gè)處理器可執(zhí)行單元；圖像產(chǎn)生單元，用于基于至少一個(gè)參考視像來產(chǎn)生輸出視像；雙目視差縫隙檢測(cè)單元，用于檢測(cè)產(chǎn)生的輸出視像的預(yù)定對(duì)象中的縫隙，所述預(yù)定對(duì)象具有分配給所述預(yù)定對(duì)象的不同部分的不同的雙目視差值，其中，由于基于所述至少一個(gè)參考視像產(chǎn)生輸出視像，在所述預(yù)定對(duì)象中出現(xiàn)縫隙；多視圖產(chǎn)生單元，用于將所述縫隙再指定為空洞，并使用一個(gè)或多個(gè)在時(shí)間上鄰近的幀的背景信息來恢復(fù)在產(chǎn)生的輸出視像的當(dāng)前幀中存在的空洞。
所述一個(gè)或多個(gè)在時(shí)間上鄰近的幀可與參考視像在時(shí)間上鄰近。
所述一個(gè)或多個(gè)在時(shí)間上鄰近的幀可與輸出視像在時(shí)間上鄰近。
通過提供一種用于產(chǎn)生多視圖的方法來實(shí)現(xiàn)前述和/或其他方面。所述方法包括由處理器基于至少一個(gè)參考視像來產(chǎn)生輸出視像；檢測(cè)產(chǎn)生的輸出視像的預(yù)定對(duì)象中的縫隙，所述預(yù)定對(duì)象具有分配給所述預(yù)定對(duì)象的不同部分的不同的雙目視差值，其中，由于基于所述至少一個(gè)參考視像產(chǎn)生輸出視像，在所述預(yù)定對(duì)象中出現(xiàn)縫隙；將所述縫隙再指定為空洞，并使用一個(gè)或多個(gè)在時(shí)間上鄰近的幀的背景信息來恢復(fù)在產(chǎn)生的輸出視像的當(dāng)前幀中存在的空洞。
通過提供一種包括圖像處理設(shè)備的顯示裝置來實(shí)現(xiàn)前述和/或其他方面。所述顯示裝置包括圖像產(chǎn)生單元，基于參考視像和參考視像的雙目視差信息來產(chǎn)生輸出視像；基于鄰近圖像的空洞恢復(fù)單元，用于使用一個(gè)或多個(gè)在時(shí)間上鄰近的圖像來恢復(fù)空洞，通過產(chǎn)生輸出視像而產(chǎn)生了所述空洞；控制器，用于基于產(chǎn)生的具有通過基于鄰近圖像的空洞恢復(fù)單元恢復(fù)的空洞的輸出視像，來產(chǎn)生將由顯示裝置顯示的信號(hào)。
在以下描述中將部分闡述示例實(shí)施例的另外的方面、特征和/或優(yōu)點(diǎn)，還有部分從描述中將是清楚的，或者可通過本公開的實(shí)踐而得知。


本專利或申請(qǐng)文件包含至少一個(gè)彩色附圖。具有彩色附圖的本專利或?qū)＠暾?qǐng)公布的副本將在請(qǐng)求和支付必要的費(fèi)用時(shí)由事務(wù)所提供。從以下結(jié)合附圖的示例實(shí)施例的描述中，這些和/或其他方面和優(yōu)點(diǎn)將變得清楚，并且更容易理解，其中
圖I示出根據(jù)示例實(shí)施例的基于三個(gè)輸入視圖的視圖產(chǎn)生方法的示圖2示出根據(jù)示例實(shí)施例的產(chǎn)生外插視圖的幀的方案的示圖3示出根據(jù)示例實(shí)施例的圖像處理設(shè)備的配置的框圖4示出根據(jù)示例實(shí)施例的使用在時(shí)間上鄰近的圖像來恢復(fù)空洞的示圖5示出根據(jù)示例實(shí)施例的通過設(shè)置緩沖區(qū)進(jìn)行空洞擴(kuò)大(hole expansion)的示圖6示出根據(jù)示例實(shí)施例的通過檢測(cè)雙目視差縫隙而發(fā)生縫隙(crack)和空洞設(shè)置的不圖7示出根據(jù)示例實(shí)施例的鄰近像素的縮放(scaling)的示圖8示出根據(jù)示例實(shí)施例的使用背景像素來縮放鄰近像素的示圖9示出根據(jù)示例實(shí)施例的沿與背景的梯度垂直的方向執(zhí)行縮放的示圖10示出根據(jù)示例實(shí)施例的基于最優(yōu)塊搜索(optimal patch search-based)的空洞恢復(fù)的示圖；圖11示出根據(jù)示例實(shí)施例的使用塊的重疊來恢復(fù)空洞的示圖；圖12示出根據(jù)示例實(shí)施例的圖像處理方法的流程圖；圖13示出根據(jù)示例實(shí)施例的包括圖像處理設(shè)備的顯示裝置。
具體實(shí)施例方式現(xiàn)在將詳細(xì)參照示例實(shí)施例，其示例在附圖中示出，其中，相同的標(biāo)號(hào)始終是指相同的元件。以下通過參照附圖來描述示例實(shí)施例，以解釋本公開。圖1示出根據(jù)示例實(shí)施例的基于三個(gè)輸入視圖的視圖產(chǎn)生方法的示圖。在圖1中，將被捕捉的場(chǎng)景110可包括前景以及背景112。前景可包括第一對(duì)象114和第二對(duì)象116?；谟^看者的視點(diǎn)，第一對(duì)象114和第二對(duì)象116可能相對(duì)于背景112向左側(cè)或向右側(cè)相對(duì)移動(dòng)。第一輸入設(shè)備120 (例如,相機(jī))可從第一視點(diǎn)捕捉場(chǎng)景110,第二輸入設(shè)備130和第三輸入設(shè)備140可分別從第二視點(diǎn)和第三視點(diǎn)捕捉場(chǎng)景110。第一輸入設(shè)備120、第二輸入設(shè)備130和第三輸入設(shè)備140可從它們各自的視點(diǎn)捕捉場(chǎng)景110，并且可分別產(chǎn)生第一輸入視圖122、第二輸入視圖132和第三輸入視圖142。例如，第一輸入視圖122可提供當(dāng)觀看者從第一視點(diǎn)看場(chǎng)景110時(shí)出現(xiàn)的圖像，第二輸入視圖132和第三輸入視圖142可提供當(dāng)觀看者分別從第二視點(diǎn)和第三視點(diǎn)看場(chǎng)景110時(shí)出現(xiàn)的圖像。第一輸入視圖122至第三輸入視圖142中的每一個(gè)可包括一系列幀。具體地講，第一輸入視圖122至第三輸入視圖142中的每一個(gè)可每單位時(shí)間包括預(yù)定數(shù)量的幀，例如，按照每秒30幀(FPS)輸出的幀。從預(yù)定視點(diǎn)觀看到的幀是指用于產(chǎn)生從所述預(yù)定視點(diǎn)觀看的圖像的數(shù)據(jù)。因此，第一輸入視圖122至第三輸入視圖142中的每一個(gè)可提供一系列圖像，每個(gè)圖像對(duì)應(yīng)于時(shí)間上的具體時(shí)刻。幀(或圖像)可包括像素。幀(或圖像)中的像素可具有包括X坐標(biāo)和y坐標(biāo)的坐標(biāo)值。每個(gè)像素可具有顏色值。可使用預(yù)定類型(例如,RGB或YCbCr)來表示顏色值，以呈現(xiàn)顏色。此外，每個(gè)像素可具有深度值。深度值可指示通過像素呈現(xiàn)的對(duì)象(或背景)與捕捉時(shí)間(即，與視圖對(duì)應(yīng)的視點(diǎn))之間的距離?？墒褂糜糜诔尸F(xiàn)距離的預(yù)定二進(jìn)制類型(例如，使用整數(shù)或浮點(diǎn))來表示深度值。像素的深度值可包括在幀中。換句話說，幀可具有像素的顏色值和深度值。此外，可與幀分開地提供像素的深度值。幀或圖像的深度信息可指示形成所述幀或圖像的像素的深度值?？膳c幀或輸入視圖分開地提供幀的深度信息?？膳c輸入視圖分開地提供關(guān)于所述輸入視圖中的圖像的深度信息。在圖1中，四邊形指示在預(yù)定時(shí)間“t”處的第一輸入視圖122的幀124、第二輸入視圖132的幀134和第三輸入視圖142的幀144。
三維(3D)圖像設(shè)備需要向用戶提供從除了與第一輸入視圖122至第三輸入視圖 142對(duì)應(yīng)的視點(diǎn)以外的視點(diǎn)觀看的圖像。因此，3D圖像設(shè)備可基于第一輸入視圖122至第三輸入視圖142，產(chǎn)生來自其他視點(diǎn)的輸出視圖(或目標(biāo)視圖)。這里，與第一輸入視圖122 至第三輸入視圖142對(duì)應(yīng)的視點(diǎn)還可被稱為“參考視點(diǎn)”。
為了提供當(dāng)觀看者從與參考視點(diǎn)不同的視點(diǎn)看場(chǎng)景110時(shí)出現(xiàn)的圖像，需要使用由分別由第一輸入設(shè)備120至第三輸入設(shè)備140產(chǎn)生的第一輸入視圖122至第三輸入視圖 142提供的巾貞,通過視圖外插或視圖內(nèi)插來產(chǎn)生與中間視點(diǎn)(intermediate viewpoint)對(duì)應(yīng)的輸出視圖。
輸出視圖的產(chǎn)生可指輸出視圖的幀的產(chǎn)生，并還可指提供從與輸出視圖對(duì)應(yīng)的視點(diǎn)觀看的圖像。
輸出視圖可包括例如通過內(nèi)插產(chǎn)生的內(nèi)插視圖或通過外插產(chǎn)生的外插視圖。
視圖內(nèi)插是指產(chǎn)生與第一輸入視圖122至第三輸入視圖142對(duì)應(yīng)的視點(diǎn)之間的預(yù)定虛擬視點(diǎn)處的輸出視圖。視點(diǎn)內(nèi)插可使得能夠基于與將被產(chǎn)生的虛擬視點(diǎn)鄰近的左輸入視圖幀(或圖像)和右輸入視圖幀(或圖像)產(chǎn)生輸出視圖幀(或圖像)。通過視圖內(nèi)插產(chǎn)生的輸出視圖可被稱為“內(nèi)插視圖(interpolated view)”。
視圖外插是指產(chǎn)生與第一輸入視圖122至第三輸入視圖142對(duì)應(yīng)的視點(diǎn)之外的視點(diǎn)處的輸出視圖。視圖外插使得能夠產(chǎn)生比最左面的輸入視圖(即，第一輸入視圖122)更向左的視點(diǎn)處的輸出視圖，或者比最右面的輸入視圖(即，第三輸入視圖142)更向右的視點(diǎn)處的輸出視圖。通過視圖外插產(chǎn)生的輸出視圖可被稱為“外插視圖(extrapolated view)”。
視圖外插可使得能夠基于單個(gè)最外輸入視圖(例如，第一輸入視圖122或第三輸入視圖142)的幀(或圖像)產(chǎn)生輸出視圖幀(或圖像)。因此，與可用于視圖內(nèi)插的信息相比，可用于視圖外插的信息可能相對(duì)受限。由于相對(duì)少量的信息可被用于執(zhí)行視圖外插，因此，與通過視圖內(nèi)插產(chǎn)生的圖像相比，通過視圖外插產(chǎn)生的圖像的質(zhì)量可能會(huì)顯著下降。
參照?qǐng)D1，三角形150、152、160、162、170、172、180和182指示內(nèi)插視圖幀或外插視圖幀。
外插視圖可與比最左面的參考視圖122更向左的視點(diǎn)以及比最右面的輸入視圖 142更向右的視點(diǎn)對(duì)應(yīng)。例如，幀150、152、180和182是時(shí)間t處的外插視圖幀。
內(nèi)插視圖可與在與輸入視圖122、132和142對(duì)應(yīng)的視點(diǎn)之間產(chǎn)生的虛擬視點(diǎn)對(duì)應(yīng)。例如，示出時(shí)間t處的內(nèi)插視圖的幀160、162、170和172。
內(nèi)插視圖和外插視圖每個(gè)可包括在一段預(yù)定時(shí)間內(nèi)出現(xiàn)的一系列幀。
內(nèi)插視圖的幀或外插視圖的幀可不包括深度信息。換句話說，內(nèi)插視圖幀或外插視圖幀可以是二維(2D)幀。
如上所述，可從與N個(gè)輸入視圖對(duì)應(yīng)的視點(diǎn)產(chǎn)生不同視點(diǎn)處的M個(gè)輸出視圖。
當(dāng)3D圖像設(shè)備基于觀看者的位置，向觀看者提供所述M個(gè)輸出視圖中的預(yù)定的輸出視圖時(shí)，觀看者可通過所述預(yù)定的輸出視圖感受到連續(xù)的真實(shí)3D圖像。例如，當(dāng)3D圖像設(shè)備分別向觀看者的左眼和右眼輸出第一輸出視圖和第二輸出視圖時(shí)，觀看者可感受3D 圖像。
圖2示出根據(jù)示例實(shí)施例的產(chǎn)生外插視圖的幀的方案的示圖。
在圖2中，可通過輸入視圖210提供一系列幀，例如，輸入視圖210的預(yù)定時(shí)間t1處的幀212。通過比輸入視圖210更向右的視點(diǎn)產(chǎn)生的視圖外插，可基于輸入視圖210產(chǎn)生第一外插視圖和第二外插視圖?？墒褂幂斎胍晥D210的幀212產(chǎn)生預(yù)定時(shí)間t處的第一外插視圖的幀220和第二外插視圖的幀230?？赏ㄟ^捕捉圖1的場(chǎng)景110來獲得輸入視圖210，并且輸入視圖210的幀212可包括例如背景214、第一對(duì)象216和第二對(duì)象218。此外，第一外插視圖的幀220可包括背景224、第一對(duì)象226和第二對(duì)象228。此夕卜，第二外插視圖的幀230可包括背景234、第一對(duì)象236和第二對(duì)象238。與第一外插視圖對(duì)應(yīng)的視點(diǎn)可位于比與輸入視圖210對(duì)應(yīng)的視點(diǎn)更向右的位置。因此,第一外插視圖的幀220中的背景224、第一對(duì)象226和第二對(duì)象228可位于比輸入視圖210的幀212更向左的位置?？苫趶呐c輸入視圖210對(duì)應(yīng)的視點(diǎn)距背景224的距離，并基于與輸入視圖210對(duì)應(yīng)的視點(diǎn)和與第一外插視圖對(duì)應(yīng)的視點(diǎn)之間的距離，來確定背景224的更向左的位置。如上所述，由于背景224向左邊移動(dòng)，因此第一外插視圖的幀220可能具有幀邊界空洞244，其中，所述幀邊界空洞244可能不能被輸入視圖210的幀212合適地填充。依據(jù)環(huán)境，背景224可能不被移動(dòng)。當(dāng)背景224未被移動(dòng)時(shí)，可能不會(huì)產(chǎn)生幀邊界空洞244。前景的第一對(duì)象226和第二對(duì)象228可與背景224 —起被移動(dòng)。此外，第一對(duì)象226和第二對(duì)象228可能移動(dòng)得比背景224更左。可基于與輸入視圖210對(duì)應(yīng)的視點(diǎn)距第一對(duì)象226的距離，以及與輸入視圖210對(duì)應(yīng)的視點(diǎn)距第二對(duì)象228的距離，并基于與輸入視圖210對(duì)應(yīng)的視點(diǎn)和與第一外插視圖對(duì)應(yīng)的視點(diǎn)之間的距離，分別確定第一對(duì)象226和第二對(duì)象228的比背景224更向左的位置。由于第一對(duì)象226和第二對(duì)象228移動(dòng)得比背景224更左，因此第一外插視圖的幀220可能具有對(duì)象邊界空洞246和248，其中，所述對(duì)象邊界空洞246和248可能不能被輸入視圖210的幀212合適地填充。為了產(chǎn)生外插視圖，合適的像素需要被外插到幀邊界空洞244以及對(duì)象邊界空洞246 和 248 中。第二外插視圖的幀230也可能具有幀邊界空洞254以及對(duì)象邊界空洞256和258。與對(duì)應(yīng)于第一外插視圖的視點(diǎn)相比，與第二外插視圖對(duì)應(yīng)的視點(diǎn)距與輸入視圖210對(duì)應(yīng)的視點(diǎn)更遠(yuǎn)。第二外插視圖的幀230中的背景234、第一對(duì)象236和第二對(duì)象238可被分別布置得比第一外插視圖的幀220中的背景224、第一對(duì)象226和第二對(duì)象228更左。幀230中的幀邊界空洞254以及對(duì)象邊界空洞256和258可被分別形成得比幀220中的幀邊界空洞244以及對(duì)象邊界空洞246和248在水平方向上更寬。因此，更大量的像素需要被外插到幀230中的幀邊界空洞254以及對(duì)象邊界空洞256 和 258 中。換句話說，隨著與外插視圖對(duì)應(yīng)的視點(diǎn)距最外輸入視圖更遠(yuǎn)，將被外插的像素的范圍會(huì)更廣。
在下文中，全部的幀邊界空洞244和254以及對(duì)象邊界空洞246、248、256和258 可被稱為“空洞”。
圖3示出根據(jù)示例實(shí)施例的圖像處理設(shè)備的配置的框圖。
圖3中示出的圖像處理設(shè)備可通過均使用參考視像和參考視像的雙目視差信息的視圖內(nèi)插和視圖外插來產(chǎn)生輸出視圖。此外，所述圖像處理設(shè)備可恢復(fù)輸出視像中的由視圖內(nèi)插和視圖外插而產(chǎn)生的空洞。
輸出視像可指從與輸出視圖對(duì)應(yīng)的視點(diǎn)觀看的圖像。如上所述，當(dāng)從新視點(diǎn)觀看的圖像被產(chǎn)生時(shí)，需要從所述新視點(diǎn)重新觀察的點(diǎn)可被顯示為圖像中的空洞。
所述圖像處理設(shè)備可恢復(fù)在視圖內(nèi)插和視圖外插期間產(chǎn)生的空洞。
參照?qǐng)D3，圖像處理設(shè)備300可包括例如圖像變形單元310、緩沖區(qū)設(shè)置單元320、 雙目視差縫隙檢測(cè)單元330、基于鄰近圖像的空洞恢復(fù)單元340、基于鄰近像素縮放的空洞恢復(fù)單元350和基于最優(yōu)塊搜索的空洞恢復(fù)單元3 60。
圖像變形單元310可通過使用參考視像和參考視像的雙目視差信息進(jìn)行圖像變形的方式來產(chǎn)生輸出視像。具體地講，圖像變形單元310可使用參考視圖幀和參考視圖幀的雙目視差信息來產(chǎn)生輸出視圖的幀。
圖像變形單元310可通過對(duì)參考視像進(jìn)行圖像變形來產(chǎn)生輸出視像。例如，當(dāng)參考視像的雙目視差信息未被提供時(shí)，圖像變形單元310可產(chǎn)生參考視像的雙目視差信息。
可基于極線(印ipolar line)布置N個(gè)輸入圖像(B卩，與參考視圖對(duì)應(yīng)的N個(gè)圖像)。
可使用與參考視圖距對(duì)應(yīng)于虛擬視點(diǎn)的視圖的距離成比例的權(quán)重來產(chǎn)生與虛擬視點(diǎn)對(duì)應(yīng)的視圖(即，輸出視圖)。換句話說，可使用與虛擬視點(diǎn)和對(duì)應(yīng)于參考視圖的視點(diǎn)之間的距離成比例的權(quán)重來產(chǎn)生與虛擬視點(diǎn)對(duì)應(yīng)的視圖。
輸出視像中的第一像素的I坐標(biāo)值可等于參考視像中的第二像素的y坐標(biāo)值。這里，第一像素和第二像素可彼此對(duì)應(yīng)。換句話說，即使執(zhí)行了圖像變形，像素的y 坐標(biāo)值也可保持不變。
可通過以下的等式I來計(jì)算第一像素的X坐標(biāo)值
[等式I]
!rendered view (X ) — !reference view (X+ Q ·
在等式I中，view表示參考視圖(或輸入視圖)的圖像或幀(或圖像)，tendered view表示輸出視圖(或已繪制的視圖)的圖像(或幀)。
此外，X表示參考視圖中的第二像素的X坐標(biāo)值，X’表示輸出視圖中的第一像素的 X坐標(biāo)值。
此外，d表示從圖像的深度信息或像素的深度信息獲得的第二像素的雙目視差值。 通常，像素的雙目視差值可與像素的深度值成反比。因此，深度和深度信息的以上描述還可被應(yīng)用于雙目視差和雙目視差信息。
此外，α表示與對(duì)應(yīng)于參考視圖的視點(diǎn)和對(duì)應(yīng)于輸出視圖的視點(diǎn)之間的距離成比例的權(quán)重。
因此，等式I可指示以下五條信息
I)可通過變形操作將參考視圖中的第二像素移動(dòng)“ a d”。換句話說，當(dāng)參考視圖中的第二像素與輸出視圖中的第一像素對(duì)應(yīng)時(shí)，可通過將“ a d”加到第二像素的X坐標(biāo)值來獲得第一像素的X坐標(biāo)值。2 )可通過變形操作將具有高雙目視差值的像素移動(dòng)較長(zhǎng)距離。由于雙目視差值與深度值成反比，因此具有低深度值的像素可比具有高深度值的像素移動(dòng)更長(zhǎng)距離。此外，對(duì)象可接近于與參考視圖對(duì)應(yīng)的視點(diǎn)，背景可遠(yuǎn)離與參考視圖對(duì)應(yīng)的視點(diǎn)。因此，參考視像中的多個(gè)像素中呈現(xiàn)對(duì)象的像素可比呈現(xiàn)背景的像素移動(dòng)更長(zhǎng)距離。即使執(zhí)行了變形操作，具有無限深度值的像素或雙目視差值為“O”的像素也可不被移動(dòng)。3)隨著對(duì)應(yīng)于參考視圖的視點(diǎn)與對(duì)應(yīng)于輸出視圖的視點(diǎn)彼此遠(yuǎn)離，參考視圖中的像素可移動(dòng)更長(zhǎng)的距離。除了基于上述等式I的變形操作以外，圖像變形單元310可通過使用各種變形方案進(jìn)行圖像變形來產(chǎn)生輸出視像。4 )第一像素的雙目視差值(或深度值)可等于第二像素的雙目視差值(或深度值)。5)參考視像中的至少一個(gè)像素可被移動(dòng)到輸出視圖中的相同坐標(biāo)。這里，所述至少一個(gè)像素中與對(duì)應(yīng)于輸出視圖的視點(diǎn)最接近的像素可被首先顯示。緩沖區(qū)設(shè)置單元320可擴(kuò)大通過圖像變形而產(chǎn)生的空洞。以下將參照?qǐng)D5詳細(xì)描述通過緩沖區(qū)設(shè)置單元320進(jìn)行的空洞擴(kuò)大。雙目視差縫隙檢測(cè)單元330可將產(chǎn)生的輸出視像中的縫隙設(shè)置為空洞。以下將參照?qǐng)D6詳細(xì)描述通過雙目視差縫隙檢測(cè)單元330進(jìn)行的空洞設(shè)置?；卩徑鼒D像的空洞恢復(fù)單元340可恢復(fù)通過圖像變形而產(chǎn)生的空洞。將參照?qǐng)D4進(jìn)一步描述通過基于鄰近圖像的空洞恢復(fù)單元340進(jìn)行的空洞的恢復(fù)。隨后，基于鄰近像素縮放的空洞恢復(fù)單元350可通過對(duì)與空洞鄰近的至少一個(gè)像素進(jìn)行縮放來恢復(fù)通過圖像變形而產(chǎn)生的空洞。以下將參照?qǐng)D7至圖9進(jìn)一步描述通過基于鄰近像素縮放的空洞恢復(fù)單元350進(jìn)行的鄰近背景像素的縮放?；谧顑?yōu)塊搜索的空洞恢復(fù)單元360可通過從背景搜索與包括空洞的區(qū)域最相似的塊并通過使用找出的塊來恢復(fù)空洞。以下將參照?qǐng)D10進(jìn)一步描述通過基于最優(yōu)塊搜索的空洞恢復(fù)單元360進(jìn)行的最優(yōu)塊搜索和空洞恢復(fù)。在已通過基于鄰近圖像的空洞恢復(fù)單元340恢復(fù)了一部分空洞之后，可通過基于鄰近像素縮放的空洞恢復(fù)單元350和基于最優(yōu)塊搜索的空洞恢復(fù)單元360來恢復(fù)所述空洞的任意剩余部分或多個(gè)部分?；卩徑袼乜s放的空洞恢復(fù)單元350和基于最優(yōu)塊搜索的空洞恢復(fù)單元360可使用輸出視像的背景像素來恢復(fù)其他部分?？苫谂c空洞鄰近的區(qū)域的特征來確定恢復(fù)空洞的方案。在紋理區(qū)域與空洞鄰近的示例中，基于最優(yōu)塊搜索的空洞恢復(fù)單元360可恢復(fù)空洞。在除紋理區(qū)域以外的區(qū)域與空洞鄰近的另一示例中，基于鄰近像素縮放的空洞恢復(fù)單元350可恢復(fù)空洞?；卩徑袼乜s放的空洞恢復(fù)單元350可對(duì)背景像素執(zhí)行縮放，這可能破壞紋理。
具體地講，當(dāng)均質(zhì)(uniform)區(qū)域與空洞鄰近時(shí)，或者當(dāng)在與空洞鄰近的區(qū)域上出現(xiàn)顯著的邊緣時(shí)，可通過對(duì)背景像素進(jìn)行縮放來恢復(fù)空洞。因此，即使在恢復(fù)的空洞中，也可保持鄰近區(qū)域(即，背景)的特征。
此外，當(dāng)紋理區(qū)域與空洞鄰近時(shí)，可從參考視像中的背景區(qū)域檢測(cè)與紋理區(qū)域最相似的區(qū)域。檢測(cè)到的區(qū)域可被用于恢復(fù)空洞。因此，即使在恢復(fù)的空洞中，也可保持紋理分量。
圖4示出根據(jù)示例實(shí)施例的使用在時(shí)間上鄰近的圖像來恢復(fù)空洞的示圖。
在一連串時(shí)間圖像(temporal image)中，時(shí)間t處的參考視像可在圖像變形中被使用以產(chǎn)生時(shí)間t處的輸出視像。在下文中，時(shí)間t處的參考視像或輸出視像可被稱為“圖像t”或者被稱為當(dāng)前圖像。同樣，時(shí)間t處的幀可被稱為“幀t”或被稱為當(dāng)前幀。此外，時(shí)間t-1處的幀可被稱為“幀t-1”或被稱為前一幀，時(shí)間t+i處的幀可被稱為“幀t+i”或被稱為下一幀。
在圖4中，輸出視圖幀t440可包括空洞442。可通過對(duì)參考視圖幀t430進(jìn)行變形來產(chǎn)生輸出視圖幀t440。
通常，與圖像t在時(shí)間上鄰近的圖像可呈現(xiàn)與圖像t呈現(xiàn)的前景(或?qū)ο?和背景相同或相似的前景(或?qū)ο?和背景。例如，圖像t-ι、圖像t+Ι、圖像t-2、圖像t+2等可與圖像t在時(shí)間上鄰近。因此，可使用在時(shí)間上與參考視像或輸出視像鄰近的在時(shí)間上鄰近的圖像的信息來恢復(fù)通過圖像變形而產(chǎn)生的空洞。
在圖4中，與前景對(duì)應(yīng)的對(duì)象可被垂直移動(dòng)。因此,與參考視圖幀t430中的對(duì)象覆蓋的背景對(duì)應(yīng)的部分412可能暴露在參考視圖幀t-1 410中。此外，參考視圖幀t+1 450 的部分452、輸出視圖幀t-1 420的部分422和輸出視圖幀t+1 460的部分462也可能與參考視圖幀t430中的對(duì)象覆蓋的背景對(duì)應(yīng)。因此，所述部分412、422、452和462可用于恢復(fù)空洞442。
基于鄰近圖像的空洞恢復(fù)單元340可基于以下的等式2來恢復(fù)輸出視像t中的空洞442。等式2可用于解釋使用與輸出視圖幀在時(shí)間上鄰近的幀來恢復(fù)幀中的空洞的方法。
[等式2]
權(quán)利要求
1.一種圖像處理設(shè)備，包括處理器，用于控制一個(gè)或多個(gè)處理器可執(zhí)行單元；圖像變形單元，用于通過使用參考視像和參考視像的雙目視差信息進(jìn)行圖像變形，來產(chǎn)生輸出視像；基于鄰近圖像的空洞恢復(fù)單元，用于使用一個(gè)或多個(gè)在時(shí)間上鄰近的圖像，恢復(fù)通過圖像變形而產(chǎn)生的空洞。
2.如權(quán)利要求I所述的圖像處理設(shè)備，其中，所述一個(gè)或多個(gè)在時(shí)間上鄰近的圖像與參考視像在時(shí)間上鄰近。
3.如權(quán)利要求I所述的圖像處理設(shè)備，其中，所述一個(gè)或多個(gè)在時(shí)間上鄰近的圖像與輸出視像在時(shí)間上鄰近。
4.如權(quán)利要求I所述的圖像處理設(shè)備，其中，基于鄰近圖像的空洞恢復(fù)單元使用在時(shí)間上鄰近的圖像中包括的且與空洞中的像素對(duì)應(yīng)的像素的顏色值，來恢復(fù)空洞中的所述像素。
5.如權(quán)利要求4所述的圖像處理設(shè)備，其中，當(dāng)參考視像和在時(shí)間上鄰近的圖像全部隨時(shí)間移動(dòng)時(shí)，基于鄰近圖像的空洞恢復(fù)單元基于參考視像和在時(shí)間上鄰近的圖像的移動(dòng)，從在時(shí)間上鄰近的圖像中選擇與空洞中的像素對(duì)應(yīng)的像素。
6.如權(quán)利要求4所述的圖像處理設(shè)備，其中，基于鄰近圖像的空洞恢復(fù)單元通過排除在時(shí)間上鄰近的圖像中的與空洞中的像素對(duì)應(yīng)的一個(gè)或多個(gè)空洞像素來恢復(fù)空洞。
7.如權(quán)利要求4所述的圖像處理設(shè)備，其中，基于鄰近圖像的空洞恢復(fù)單元使用與空洞中的像素對(duì)應(yīng)的像素中的一個(gè)或多個(gè)背景像素來恢復(fù)空洞。
8.如權(quán)利要求I所述的圖像處理設(shè)備，還包括緩沖區(qū)設(shè)置單元，用于擴(kuò)大空洞。
9.如權(quán)利要求8所述的圖像處理設(shè)備，其中，緩沖區(qū)設(shè)置單元通過將與空洞鄰近的緩沖區(qū)域視為空洞來擴(kuò)大空洞，其中，當(dāng)空洞中的像素包括在緩沖區(qū)域中時(shí)，基于鄰近圖像的空洞恢復(fù)單元基于空洞中的像素的顏色值來恢復(fù)空洞中的像素。
10.如權(quán)利要求I所述的圖像處理設(shè)備，還包括雙目視差縫隙檢測(cè)單元，用于將輸出視像中的縫隙設(shè)置為空洞。
11.如權(quán)利要求10所述的圖像處理設(shè)備，其中，當(dāng)一像素與鄰近像素之間的雙目視差值的差的總和大于預(yù)定值時(shí)，雙目視差縫隙檢測(cè)單元將所述像素檢測(cè)為縫隙。
12.—種圖像處理設(shè)備，包括處理器，用于控制一個(gè)或多個(gè)處理器可執(zhí)行單元；圖像變形單元，用于通過使用參考視像和參考視像的雙目視差信息進(jìn)行圖像變形，來產(chǎn)生輸出視像；基于鄰近像素縮放的空洞恢復(fù)單元，用于通過對(duì)至少一個(gè)像素進(jìn)行縮放來恢復(fù)空洞， 通過圖像變形產(chǎn)生了所述空洞，并且所述至少一個(gè)像素與所述空洞鄰近。
13.如權(quán)利要求12所述的圖像處理設(shè)備，其中，基于鄰近像素縮放的空洞恢復(fù)單元對(duì)所述至少一個(gè)像素中的一個(gè)或多個(gè)背景像素執(zhí)行縮放。
14.如權(quán)利要求12所述的圖像處理設(shè)備，其中，所述空洞和所述至少一個(gè)像素在同一水平行上。
15.如權(quán)利要求12所述的圖像處理設(shè)備，其中，基于鄰近像素縮放的空洞恢復(fù)單元沿與鄰近于所述空洞的所述至少一個(gè)像素中的背景像素的梯度垂直的方向?qū)λ鲋辽僖粋€(gè)像素執(zhí)行縮放。
16.一種圖像處理設(shè)備，包括處理器，用于控制一個(gè)或多個(gè)處理器可執(zhí)行單元；圖像變形單元，用于通過使用參考視像和參考視像的雙目視差信息進(jìn)行圖像變形，來產(chǎn)生輸出視像；基于最優(yōu)塊搜索的空洞恢復(fù)單元，用于從背景查找塊，并使用查找到的塊來恢復(fù)空洞， 通過圖像變形產(chǎn)生了所述空洞，并且所述塊與包括所述空洞的區(qū)域最相似。
17.如權(quán)利要求16所述的圖像處理設(shè)備，其中，包括所述空洞的區(qū)域包括空洞區(qū)域和背景區(qū)域，其中，基于最優(yōu)塊搜索的空洞恢復(fù)單元使用查找到的塊的與所述空洞區(qū)域?qū)?yīng)的部分來恢復(fù)所述空洞。
18.如權(quán)利要求16所述的圖像處理設(shè)備，其中，基于最優(yōu)塊搜索的空洞恢復(fù)單元在輸出視像的第一區(qū)域中搜索第一塊，在輸出視像的第二區(qū)域中搜索第二塊，并使用第一塊和第二塊的平均值來恢復(fù)第一區(qū)域和第二區(qū)域之間的重疊空洞區(qū)域。
19.一種圖像處理方法，包括由處理器通過對(duì)參考視像進(jìn)行圖像變形并基于參考視像的雙目視差信息，來產(chǎn)生輸出視像；使用一個(gè)或多個(gè)在時(shí)間上鄰近的圖像，恢復(fù)在輸出視像中產(chǎn)生的空洞。
20.如權(quán)利要求19所述的圖像處理方法，其中，所述一個(gè)或多個(gè)在時(shí)間上鄰近的圖像與參考視像在時(shí)間上鄰近。
21.如權(quán)利要求19所述的圖像處理方法，其中，所述一個(gè)或多個(gè)在時(shí)間上鄰近的圖像與輸出視像在時(shí)間上鄰近。
22.如權(quán)利要求19所述的圖像處理方法，還包括擴(kuò)大空洞；將輸出視像中的縫隙設(shè)置為空洞。
23.如權(quán)利要求19所述的圖像處理方法，還包括通過對(duì)至少一個(gè)像素進(jìn)行縮放來恢復(fù)所述空洞，所述至少一個(gè)像素與所述空洞鄰近；通過從背景搜索塊并使用找到的塊來恢復(fù)所述空洞，所述塊與包括所述空洞的區(qū)域最相似。
24.一種存儲(chǔ)用于使計(jì)算機(jī)實(shí)現(xiàn)權(quán)利要求19的方法的程序的非暫時(shí)性計(jì)算機(jī)可讀記錄介質(zhì)。
25.一種用于產(chǎn)生多視圖的設(shè)備，所述設(shè)備包括處理器，用于控制一個(gè)或多個(gè)處理器可執(zhí)行單元；圖像產(chǎn)生單元，用于基于參考視像和參考視像的雙目視差信息來產(chǎn)生輸出視像；基于鄰近圖像的空洞恢復(fù)單元，用于使用一個(gè)或多個(gè)在時(shí)間上鄰近的圖像的背景信息，來恢復(fù)產(chǎn)生的輸出視像中的空洞，所述空洞作為產(chǎn)生輸出視像的結(jié)果而被產(chǎn)生。
26.如權(quán)利要求25所述的設(shè)備，其中，所述一個(gè)或多個(gè)在時(shí)間上鄰近的圖像與參考視像在時(shí)間上鄰近。
27.如權(quán)利要求25所述的設(shè)備，其中，所述一個(gè)或多個(gè)在時(shí)間上鄰近的圖像與輸出視像在時(shí)間上鄰近。
28.如權(quán)利要求25所述的設(shè)備，其中，圖像產(chǎn)生單元通過對(duì)來自參考視圖的數(shù)據(jù)進(jìn)行內(nèi)插或外插來產(chǎn)生輸出視像。
29.一種用于產(chǎn)生多視圖的設(shè)備，所述設(shè)備包括處理器，用于控制一個(gè)或多個(gè)處理器可執(zhí)行單元；圖像產(chǎn)生單元，用于基于至少一個(gè)參考視像來產(chǎn)生輸出視像；雙目視差縫隙檢測(cè)單元，用于檢測(cè)產(chǎn)生的輸出視像的對(duì)象中的縫隙，所述對(duì)象具有分配給所述對(duì)象的不同部分的不同的雙目視差值，其中，由于基于所述至少一個(gè)參考視像產(chǎn)生輸出視像，在所述對(duì)象中出現(xiàn)縫隙；多視圖產(chǎn)生單元，用于將所述縫隙再指定為空洞，并使用一個(gè)或多個(gè)在時(shí)間上鄰近的幀的背景信息來恢復(fù)在產(chǎn)生的輸出視像的當(dāng)前幀中存在的空洞。
30.如權(quán)利要求29所述的設(shè)備，其中，所述一個(gè)或多個(gè)在時(shí)間上鄰近的幀與參考視像在時(shí)間上鄰近。
31.如權(quán)利要求29所述的設(shè)備，其中，所述一個(gè)或多個(gè)在時(shí)間上鄰近的幀與輸出視像在時(shí)間上鄰近。
32.如權(quán)利要求29所述的設(shè)備，其中，當(dāng)一像素與鄰近像素之間的雙目視差值的差的總和大于預(yù)定值時(shí)，雙目視差縫隙檢測(cè)單元可將所述像素檢測(cè)為縫隙。
33.如權(quán)利要求29所述的設(shè)備，其中，在時(shí)間上鄰近的幀包括時(shí)間上在當(dāng)前幀之前出現(xiàn)的幀以及在當(dāng)前幀之后出現(xiàn)的幀中的至少一個(gè)。
34.一種產(chǎn)生多視圖的方法，所述方法包括由處理器基于至少一個(gè)參考視像來產(chǎn)生輸出視像；檢測(cè)產(chǎn)生的輸出視像的對(duì)象中的縫隙，所述對(duì)象具有分配給所述對(duì)象的不同部分的不同的雙目視差值，其中，由于基于所述至少一個(gè)參考視像產(chǎn)生輸出視像，在所述對(duì)象中出現(xiàn)縫隙；將所述縫隙再指定為空洞，并使用一個(gè)或多個(gè)在時(shí)間上鄰近的幀的背景信息來恢復(fù)在產(chǎn)生的輸出視像的當(dāng)前幀中存在的空洞。
35.如權(quán)利要求34所述的方法，其中，所述一個(gè)或多個(gè)在時(shí)間上鄰近的幀與參考視像在時(shí)間上鄰近。
36.如權(quán)利要求34所述的方法,其中,所述一個(gè)或多個(gè)在時(shí)間上鄰近的巾貞與輸出視像在時(shí)間上鄰近。
37.如權(quán)利要求34所述的圖像處理方法，其中，當(dāng)一像素與鄰近像素之間的雙目視差值的差的總和大于預(yù)定值時(shí)，雙目視差縫隙檢測(cè)單元可將所述像素檢測(cè)為縫隙。
38.如權(quán)利要求34所述的圖像處理方法，其中，在時(shí)間上鄰近的幀包括時(shí)間上在當(dāng)前幀之前出現(xiàn)的幀以及在當(dāng)前幀之后出現(xiàn)的幀中的至少一個(gè)。
39.一種包括圖像處理設(shè)備的顯示裝置，所述顯示裝置包括圖像產(chǎn)生單元，用于基于參考視像和參考視像的雙目視差信息來產(chǎn)生輸出視像；基于鄰近圖像的空洞恢復(fù)單元，用于使用一個(gè)或多個(gè)在時(shí)間上鄰近的圖像來恢復(fù)空洞，通過產(chǎn)生輸出視像而產(chǎn)生了所述空洞；控制器，用于基于產(chǎn)生的具有通過基于鄰近圖像的空洞恢復(fù)單元恢復(fù)的空洞的輸出視像，產(chǎn)生將由顯示裝置顯示的信號(hào)。
40.如權(quán)利要求39所述的顯示裝置，其中，所述一個(gè)或多個(gè)在時(shí)間上鄰近的圖像與參考視像在時(shí)間上鄰近。
41.如權(quán)利要求39所述的顯示裝置，其中，所述一個(gè)或多個(gè)在時(shí)間上鄰近的圖像與輸出視像在時(shí)間上鄰近。
全文摘要
提供了一種用于恢復(fù)在多視圖繪制過程中產(chǎn)生的空洞的設(shè)備和方法?？墒褂迷跁r(shí)間上鄰近的圖像來恢復(fù)輸出視圖中的空洞。
文檔編號(hào)G06T15/00GK102985949SQ201280001829
公開日2013年3月20日 申請(qǐng)日期2012年1月12日 優(yōu)先權(quán)日2011年1月13日
發(fā)明者趙良鎬, 李晧榮, 樸斗植, 黃圭榮, 鄭英珠 申請(qǐng)人:三星電子株式會(huì)社