專利名稱：立體圖像生成方法及其裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明的一實(shí)施例涉及立體圖像生成方法及其裝置，具體是將2D圖像，利用深度圖，按照所需的相機(jī)位置和角度生成圖像或者3D圖像的方法及其裝置。
背景技術(shù)：
目前開發(fā)的三維圖像顯示器用于顯示立體圖像。立體圖像是根據(jù)人的雙目立體視覺(jué)原理構(gòu)成，而且雙眼的距離約在65mm左右，因此雙目視差(binocular parallax)是立體感的最重要因素。制作立體圖像需要立體視覺(jué)。就是將眼睛能看到的實(shí)際圖像和同樣的圖像分別顯示，使雙眼看得到而表現(xiàn)出立體感。為此，將兩臺(tái)同樣的相機(jī)隔開與雙眼距離同樣的距離之后拍攝，然后使左側(cè)相機(jī)拍攝的圖像只有左眼才能看到，右側(cè)相機(jī)拍攝的圖像只有右眼才能看到。但，一般圖像大部分都是由一臺(tái)相機(jī)拍攝的圖像。這些圖像需要重新制作成立體圖像。

發(fā)明內(nèi)容
技術(shù)課題需求一種將2D圖像用3D圖像生成的方法。技術(shù)方案本發(fā)明要解決的技術(shù)問(wèn)題是，利用單一相機(jī)拍攝的圖像，提供一種立體顯示方法和裝置，并生成深度圖，以此提供根據(jù)用戶所需的相機(jī)位置和角度而生成圖像的方法及裝置。根據(jù)所述旨在解決技術(shù)問(wèn)題的本發(fā)明一實(shí)施例，立體圖像生成方法，其實(shí)施步驟包括對(duì)一個(gè)圖像進(jìn)行分割(Segmentation);從所述分割部分提取特征點(diǎn)；利用所述提取 的特征點(diǎn)，識(shí)別對(duì)象；對(duì)所述識(shí)別對(duì)象賦予深度值；根據(jù)所述深度值，獲得匹配點(diǎn)；利用所述特征點(diǎn)和匹配點(diǎn)，使所述圖像左圖像或右圖像復(fù)原。所述識(shí)別對(duì)象步驟還可以包括在所述分割部分連接特征點(diǎn)，特定為面；在所述分割部分，對(duì)相鄰的面RGB級(jí)別進(jìn)行比較；根據(jù)所述比較結(jié)果，識(shí)別所述對(duì)象。在所述圖像復(fù)原步驟，可以利用所述特征點(diǎn)和匹配點(diǎn)，獲得2D的幾何學(xué)信息即單應(yīng)矩陣(homography);以及利用所述獲得的單應(yīng)矩陣，使所述圖像的左圖像或右圖像復(fù)原。在所述圖像復(fù)原步驟，利用所述特征點(diǎn)和匹配點(diǎn)，獲得3D的幾何學(xué)信息即相機(jī)矩陣；以及利用所述提取的相機(jī)矩陣值，使所述圖像的左圖像或右圖像復(fù)原。有益效果一般尚未制作成立體圖像的普通圖像內(nèi)容，可以應(yīng)用于雙目視覺(jué)或者立體圖像，并利用已制作的普通圖像，從而可有效節(jié)省內(nèi)容提供商的制作費(fèi)用。


圖I是本發(fā)明一實(shí)施例的表示立體圖像生成方法的流程圖2a和圖2b是本發(fā)明一實(shí)施例的對(duì)象的識(shí)別方法的示例圖；圖3是本發(fā)明一實(shí)施例的對(duì)各個(gè)對(duì)象賦予的深度值示例圖；圖4是本發(fā)明一實(shí)施例的利用2D幾何學(xué)信息生成立體圖像的方法示例圖；圖5是本發(fā)明一實(shí)施例的利用3D幾何學(xué)信息生成立體圖像的方法示例圖；圖6是本發(fā)明一實(shí)施例的3D自動(dòng)調(diào)焦方法示例圖；圖7是表示本發(fā)明一實(shí)施例的立體圖像生成器的塊圖。
具體實(shí)施例方式下面結(jié)合附圖，描述本發(fā)明的優(yōu)選實(shí)施例。圖I是本發(fā)明一實(shí)施例的表示立體圖像生成方法的流程圖。圖I中，步驟110的立體圖像生成器對(duì)從外部接收的一個(gè)圖像進(jìn)行分割(segmentation)。分割是指將數(shù)字圖像分割成多個(gè)部分(像素集合)的過(guò)程。分割可以使圖像的表達(dá)(representation)更加有意義,易于分析，目的在于,使圖像更加簡(jiǎn)單或產(chǎn)生變化。分割一般用于找出圖像中的對(duì)象以及界線(線、曲線等)的位置。更加精確地說(shuō)，分割是對(duì)圖像中的所有像素分配標(biāo)記的過(guò)程。分割的結(jié)果是總體覆蓋全體圖像的圖像集合或者從圖像提取的界線的集合(檢測(cè)邊界)。一般在同一域內(nèi)的各個(gè)像素的顏色、強(qiáng)度或者質(zhì)感等一些特性或者產(chǎn)生的特征比較類似。相鄰域的同一特性會(huì)明確不同。步驟120中，立體圖像生成器提取通過(guò)分割獲得的分割部分的特征點(diǎn)。特征點(diǎn)的數(shù)量沒(méi)有限制。步驟130中，立體圖像生成器是利用提取的特征點(diǎn)，識(shí)別對(duì)象。在提取的一個(gè)分割部分連接特征點(diǎn)而特定一個(gè)面。就是說(shuō)，至少連接三個(gè)以上特征點(diǎn)，形成一個(gè)面。連接分割的特征點(diǎn)無(wú)法形成面時(shí)，判斷成邊界(edge)。在本發(fā)明一實(shí)施例中，連接可以形成面的至少三個(gè)特征點(diǎn)形成一個(gè)面。然后相互比較相鄰的三角形RGB等級(jí)(Red Green Blue level)。比較RGB級(jí)別之后，將相鄰的三角形合起來(lái)視為一個(gè)面。具體地說(shuō)，在一個(gè)三角形選擇RGB級(jí)別中最大值，與其它三角形的RGB級(jí)別選擇的一個(gè)值相對(duì)應(yīng)的RGB級(jí)別中一個(gè)值進(jìn)行比較。兩個(gè)值差不多，則視為一個(gè)面。即，從兩值中的大值減掉小值的結(jié)果，小于既定的臨界值，則將相鄰的三角形合起來(lái)視為一個(gè)面。大于臨界值，則識(shí)別為其它對(duì)象。數(shù)學(xué)式IMax (R1. G1. B1) - (R2. G2. B2)〈Threshold根據(jù)數(shù)據(jù)式1，從第一三角形中的各個(gè)級(jí)別值中，提取最大的值。例如，RpG1J1級(jí)別值為155、50、1，則提取Rl級(jí)別值，第二三角形，提取與R1對(duì)應(yīng)的R2值。從R1減掉R2值的值小于既定的臨界值，即兩個(gè)級(jí)別值相差小，則將兩個(gè)三角形識(shí)別成一個(gè)面。臨界值是可以由制造者任意規(guī)定。然后，識(shí)別為一個(gè)面的面中有相鄰的三角形，則反復(fù)上述程序。不能再識(shí)別為一個(gè)合起來(lái)的面時(shí)，將一個(gè)合起來(lái)的面識(shí)別為一個(gè)對(duì)象。判斷為邊界時(shí)，不識(shí)別為對(duì)象。對(duì)于在形成的面中被識(shí)別的邊界，也不被視為對(duì)象。例如，面重疊時(shí)，在一個(gè)面插入其它面的界線。此時(shí)，插入的其它面的界線被識(shí)別為邊界而未能被識(shí)別為對(duì)象。 圖2a和圖2b是對(duì)象識(shí)別方法的不例圖。根據(jù)圖2a，四角形是在圖像中分割的分割部分。
從分割部分提取特征點(diǎn)201-204。由特征點(diǎn)201-203形成的三角形210和由特征點(diǎn)202-204形成的三角形220被特定。檢測(cè)位于左側(cè)的三角形210的RGB級(jí)別之后，提取其中最大的值。例如，R級(jí)別最高，則檢測(cè)位于右側(cè)的三角形220的R級(jí)別進(jìn)行比較。比較兩個(gè)值的相差之后，其相差小于既定的臨界值，則將兩個(gè)三角形特定為一個(gè)面。隨之兩個(gè)合起來(lái)的四角形被識(shí)別為對(duì)象。根據(jù)圖2b，五角形是從圖象分割的分割部分。從分割部分提取特征點(diǎn)205-209。由特征點(diǎn)205、206、208形成三角形230和由特征點(diǎn)206-208形成的三角形240和由特征點(diǎn)207-209形成的三角形250被特定。檢測(cè)左側(cè)三角形230的RGB級(jí)別，然后提取最大的值。例如，R級(jí)別最高，則檢測(cè)中間的三角形240的R級(jí)別加以比較。比較兩個(gè)值的相差之后，其相差小于既定的臨界值，則將兩個(gè)三角形特定為一個(gè)面。然后比較與相鄰特定四角形的右側(cè)三角形250的RGB級(jí)別。檢測(cè)四角形的RGB級(jí)別時(shí)，在上述例中，R級(jí)別最高，兩個(gè)三角形230、240的R級(jí)別有可能不同。此時(shí)，如何決定四角形的RGB級(jí)別值，可以由制造商來(lái)設(shè)定。可以以一個(gè)三角形的RGB級(jí)別為基準(zhǔn)，也可以以兩個(gè)三角形的RGB級(jí)別的平均為基準(zhǔn)。將四角形的RGB級(jí)別與右側(cè)的三角形250的RGB級(jí)別比較。比較值小于既定的臨界值，則由 四角形和三角形合起來(lái)的五角形被識(shí)別為對(duì)象，大于臨界值，則只有四角形被識(shí)別為對(duì)象。步驟140中，立體圖像生成器向被識(shí)別的對(duì)象賦予深度值。立體圖像生成器利用被識(shí)別的對(duì)象，生成深度圖(depth map)。向根據(jù)既定的標(biāo)準(zhǔn)識(shí)別的對(duì)象賦予深度值。在本發(fā)明一實(shí)施例中，圖象中對(duì)象越位于下端，所賦予深度值越高。一般在2D圖像中為生成3D效果，需要其它虛擬視點(diǎn)(view point)的圖像被渲染。此時(shí)，深度圖生成其它虛擬視點(diǎn)的圖像，以帶給觀看者深度效果，并渲染原始圖像。圖3是本發(fā)明一實(shí)施例的賦予各個(gè)對(duì)象的深度值示例圖。圖3中，三個(gè)對(duì)象310、320、330如圖示。根據(jù)本發(fā)明的一實(shí)施例，圖像300最底下的對(duì)象310被賦予最大深度值，中間對(duì)象320被賦予的深度值低于賦予最下面對(duì)象310的深度值，最上面的對(duì)象330被賦予的深度值低于賦予中間對(duì)象340的深度值。對(duì)背景340也賦予深度值。背景340被賦予最低深度值。例如，深度值有可能在0-255之間，而對(duì)最底下的對(duì)象310可以賦予255，中間對(duì)象320賦予170，最上面的對(duì)象330賦予85，背景340賦予0深度值。深度值是由制造商提前設(shè)定。步驟140中，立體圖像生成器是根據(jù)賦予對(duì)象的值，利用對(duì)象的特征點(diǎn)，獲得匹配點(diǎn)(matching point)。匹配點(diǎn)是指特征點(diǎn)根據(jù)賦予各個(gè)對(duì)象的深度值移動(dòng)的點(diǎn)。例如，某一對(duì)象的特征點(diǎn)的坐標(biāo)是(120，50)，深度值為50時(shí)，匹配點(diǎn)的坐標(biāo)是(170，50)。與高度相應(yīng)的y軸的坐標(biāo)則沒(méi)有變化。步驟150中，立體圖像生成器為生成立體圖像，利用特征點(diǎn)和匹配點(diǎn)，使從原始圖像(例如,左眼圖像)相對(duì)移動(dòng)的圖像(例如,右眼圖像)復(fù)原。下面描述生成立體圖像的第一實(shí)施例。第一實(shí)施例是利用2D的幾何學(xué)信息。圖4是利用2D的幾何學(xué)信息生成立體圖像的方法示例圖。根據(jù)圖4，原圖像410的特征點(diǎn)a411和與特征點(diǎn)a對(duì)應(yīng)的匹配點(diǎn)a’421的關(guān)系如數(shù)學(xué)式2和數(shù)學(xué)式3。數(shù)學(xué)式2
x，=H11X數(shù)學(xué)式3
ixh r ki I /,.12 hn 們
_] Ijf = IrIi h22 irl-y y\
11J I 紐 im I JllJX’是3X I矩陣，X’、Y’是匹配點(diǎn)a’的x坐標(biāo)和y坐標(biāo)，x、y是匹配點(diǎn)a的x坐標(biāo)和y坐標(biāo)。Hn為單應(yīng)矩陣(homography)，是3x 3矩陣。根據(jù)數(shù)學(xué)式2或者數(shù)學(xué)式3，在特征點(diǎn)或匹配點(diǎn)的坐標(biāo)，八個(gè)以上時(shí)，求出Hn。求之后，將代入原圖像的所有像素值而 生成立體圖像即左圖像或右圖像。下面描述生成立體圖像的第二實(shí)施例。第二實(shí)施例是利用3D的幾何學(xué)信息。利用特征點(diǎn)和匹配點(diǎn)提出相機(jī)矩陣，利用提取的相機(jī)矩陣，生成立體圖像即左圖像或者右圖像。圖5是利用3D的幾何學(xué)信息生成立體圖像的方法示例圖。圖5中，將原圖像510中存在的特征點(diǎn)a511的相機(jī)原點(diǎn)C531和a 511的匹配點(diǎn)a’ 521的相機(jī)原點(diǎn)C’ 532和a 511和a’ 521，分別以C531和C’ 532為準(zhǔn)，實(shí)施反向投影(back projection)而接觸的3D空間上的點(diǎn)X533會(huì)構(gòu)成核面(epipolar plane)。對(duì)應(yīng)匹配點(diǎn)的虛擬圖像520的核面b’ 522是指對(duì)應(yīng)C531和C’ 532匹配點(diǎn)的虛擬圖像520中的交叉點(diǎn)。經(jīng)過(guò)a’ 521和b’ 522的線I’ 523是根據(jù)核面幾何關(guān)系，利用以下數(shù)學(xué)4求出。數(shù)學(xué)式4I’ = c’ Xx，= [C，！IxH11X = FxX是指a511的坐標(biāo)3x1矩陣，X’是a’ 521的坐標(biāo)3x1矩陣，e’是b’ 522的坐標(biāo)3x1 矩陣，X 是 curl 運(yùn)算符，F(xiàn) 是 3x3 核面基本矩陣(e pipolar fundamentalmatrix)。數(shù)學(xué)式4中，在I’ 523的線上存在X’ 521，因此成立如數(shù)學(xué)式5和6的公式。數(shù)學(xué)式5x，1Fx = 0數(shù)學(xué)式6FTe，=0數(shù)學(xué)式5中具有X’和X的矩陣而求出F，并因數(shù)學(xué)式5中求的F而在數(shù)學(xué)式5中求出e’。利用數(shù)學(xué)式6中求的e’，可以如下面數(shù)學(xué)式7，求出a’ 521的相機(jī)矩陣P1。數(shù)學(xué)式I
f /； S S1 0 0 0p去、P= (I f -U 0 I 0 0 I ；> X S t
I-Jf f Ji 0 0 I 0 I」、 IJ求P1之后把P1代入原圖像的所有像素值，生成立體圖像即左圖像或右圖像。也可以用其它方法求P1。一般而言，相機(jī)矩陣P如數(shù)學(xué)式8。
數(shù)學(xué)式8
權(quán)利要求
1.一種立體圖像生成方法，其特征在于，其實(shí)施步驟包括對(duì)一個(gè)圖像實(shí)施分割(segmentation)；從所述分割的部分提取特征點(diǎn)；利用所述提取的特征點(diǎn)，識(shí)別對(duì)象；對(duì)所述識(shí)別的對(duì)象賦予深度值；根據(jù)所述深度值獲得匹配點(diǎn)；利用所述征特點(diǎn)和匹配點(diǎn)，使所述圖像的左圖像或者右圖像復(fù)原。
2.根據(jù)權(quán)利要求I所述的立體圖像生成方法，其特征在于，所述識(shí)別對(duì)象的步驟還包括在所述分割部分連接特征點(diǎn)而特定為面；比較所述分割部分相鄰面的RGB級(jí)別；根據(jù)所述比較結(jié)果，識(shí)別所述對(duì)象。
3.根據(jù)權(quán)利要求I所述的立體圖像生成方法，其特征在于，所述圖像復(fù)原步驟包括利用所述特征點(diǎn)和匹配點(diǎn)，獲得2D的幾何學(xué)信息即單應(yīng)矩陣(homography)；利用所述獲得的單應(yīng)矩陣，使所述圖像的左圖像或右圖像復(fù)原。
4.根據(jù)權(quán)利要求I所述的立體圖像生成方法，其特征在于，所述圖像復(fù)原步驟包括利用所述特征點(diǎn)和匹配點(diǎn)，獲得3D的幾何學(xué)信息即相機(jī)矩陣；利用所述提取的相機(jī)矩陣值，使所述圖像的左圖像或者右圖像復(fù)原。
全文摘要
本發(fā)明公開了一種立體圖像生成方法，具體是分割一個(gè)圖像，從分割的部分提取特征點(diǎn)，利用提取的特征點(diǎn)，識(shí)別對(duì)象，對(duì)識(shí)別的對(duì)象賦予深度值，根據(jù)深度值，獲得匹配點(diǎn)，然后利用特征點(diǎn)和匹配點(diǎn)，使圖像的左圖像或者右圖像復(fù)原的立體圖像生成方法。
文檔編號(hào)H04N13/02GK102714748SQ201180005750
公開日2012年10月3日 申請(qǐng)日期2011年3月11日 優(yōu)先權(quán)日2010年3月12日
發(fā)明者石保羅 申請(qǐng)人:石保羅