用于三維顯示和交互的設(shè)備和方法
【專利摘要】提供了一種用于三維顯示和交互的設(shè)備，所述設(shè)備包括：顯示與捕捉單元，被配置為將控制單元提供的三維顯示內(nèi)容轉(zhuǎn)換為三維虛擬對(duì)象并在三維空間中顯示三維虛擬對(duì)象，以及獲取用戶使用交互裝置在三維空間中做出的交互姿態(tài)的深度信息；控制單元，被配置為從所述顯示與捕捉單元獲取所述交互姿態(tài)的深度信息并產(chǎn)生與所述交互姿態(tài)相應(yīng)的深度圖，基于產(chǎn)生的深度圖分析三維虛擬對(duì)象與所述交互裝置之間的碰撞，根據(jù)對(duì)碰撞的分析結(jié)果更新三維顯示內(nèi)容并將更新的三維顯示內(nèi)容提供給所述顯示與捕捉單元，以在三維空間中更新三維虛擬對(duì)象的顯示。
【專利說(shuō)明】用于三維顯示和交互的設(shè)備和方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及三維顯示技術(shù)，更具體地講，涉及一種能夠進(jìn)行三維顯示和交互的設(shè)備和方法。
【背景技術(shù)】
[0002]三維(3D)技術(shù)在多個(gè)領(lǐng)域(諸如消費(fèi)電子領(lǐng)域，醫(yī)療成像領(lǐng)域等)中已顯示出巨大的發(fā)展?jié)摿ΑＤ壳?，已出現(xiàn)了多種3D顯示技術(shù)，例如，使用眼鏡的3D顯示技術(shù)和無(wú)需眼鏡的3D顯示技術(shù)。考慮到使用眼鏡的3D顯示技術(shù)容易引起用眼疲勞，因此，無(wú)需眼鏡的3D顯示技術(shù)由于其便利性引起了更多的關(guān)注。
[0003]無(wú)需眼鏡的3D顯示技術(shù)包括全息攝影、自動(dòng)立體成像、全景成像等。全息攝影的方法需要相干光，并且在記錄和再現(xiàn)放置在一定距離處的較大對(duì)象方面有一些困難。自動(dòng)立體成像方法是一種使用柱狀透鏡或視差屏障來(lái)實(shí)現(xiàn)3D顯示的方式，然而，在這種方法中，僅能夠?qū)崿F(xiàn)水平透視差。此外，觀看圖像的雙眼會(huì)聚角和圖像的焦點(diǎn)可能不同，使得會(huì)存在用眼疲勞的現(xiàn)象。對(duì)于具有水平透視差和垂直透視差兩者的3D圖像而言，一般采用全景成像的3D顯示方法，在該方法中，真實(shí)的3D對(duì)象被重構(gòu)，并且觀看3D對(duì)象的雙眼會(huì)聚角與所述對(duì)象的焦點(diǎn)保持相同，因而不會(huì)造成用眼疲勞。
[0004]除了以上描述的3D顯示技術(shù)以外，3D交互技術(shù)也是3D技術(shù)的一種應(yīng)用。3D交互是一種人機(jī)交互的形式，在3D交互中，用戶可在3D空間中移動(dòng)并執(zhí)行交互。用于交互的3D空間可以是真實(shí)的物理空間、在計(jì)算機(jī)中模擬的虛擬空間、或者是兩者的組合，當(dāng)真實(shí)的空間被用于輸入交互數(shù)據(jù)時(shí)，用戶通常做出一些動(dòng)作來(lái)對(duì)使用檢測(cè)用戶的交互動(dòng)作的3D位置的裝置的機(jī)器發(fā)布命令。當(dāng)使用模擬的虛擬空間時(shí)，模擬的3D虛擬空間可通過(guò)輸出裝置被投影到真實(shí)的環(huán)境中。
[0005]無(wú)需眼鏡的3D顯示技術(shù)對(duì)于3D交互非常有用，這是因?yàn)橛脩魰?huì)更傾向于不使用任何眼鏡來(lái)操縱3D對(duì)象。此外，使雙眼的會(huì)聚角與對(duì)象的焦點(diǎn)保持相同對(duì)于避免眼部不適也非常重要。而全景成像技術(shù)提供了一種在不會(huì)產(chǎn)生用眼疲勞的情況下可實(shí)現(xiàn)實(shí)際的3D交互的可能性，其中，實(shí)際的3D顯示對(duì)象可由交互裝置(例如，可以是用戶的手部或者是任何其他由用戶進(jìn)行操縱的裝置)來(lái)操縱，并且所述交互裝置的運(yùn)動(dòng)可以是深度感知的并且能夠被對(duì)3D交互進(jìn)行處理的裝置分析和處理。

【發(fā)明內(nèi)容】

[0006] 根據(jù)本發(fā)明的一方面，提供了一種用于三維顯示和交互的設(shè)備，所述設(shè)備包括:顯示與捕捉單元，被配置為將控制單元提供的三維顯示內(nèi)容轉(zhuǎn)換為三維虛擬對(duì)象并在三維空間中顯示三維虛擬對(duì)象，以及獲取用戶使用交互裝置在三維空間中做出的交互姿態(tài)的深度信息；控制單元，被配置為從所述顯示與捕捉單元獲取所述交互姿態(tài)的深度信息并產(chǎn)生與所述交互姿態(tài)相應(yīng)的深度圖，基于產(chǎn)生的深度圖分析三維虛擬對(duì)象與所述交互裝置之間的碰撞，根據(jù)對(duì)碰撞的分析結(jié)果更新三維顯示內(nèi)容并將更新的三維顯示內(nèi)容提供給所述顯示與捕捉單元，以在三維空間中更新三維虛擬對(duì)象的顯示。
[0007]所述顯示與捕捉單元可包括:圖像顯示單元，被配置為顯示控制單元提供的三維顯示內(nèi)容；三維成像單元，布置在圖像顯示單元的前面，被配置為將圖像顯示單元顯示的三維顯示內(nèi)容轉(zhuǎn)換為在三維空間中顯示的三維虛擬對(duì)象；捕捉單元，布置在三維成像單元的背面，被配置為通過(guò)三維成像單元獲取用戶使用交互裝置在三維空間中做出的交互姿態(tài)的深度信息。
[0008]所述用于三維顯示和交互的設(shè)備還可包括:照明單元，布置在圖像顯示單元的背面，用于為圖像顯示單元提供照明光。
[0009]三維成像單元可以是柱狀透鏡或微透鏡陣列，或者是在控制單元的控制下顯示為柵欄、針孔陣列、或柵欄和針孔陣列的組合的液晶顯示LCD面板。
[0010]所述照明單元可包括:背光單元，與圖像顯示單元相平行地布置在圖像顯示單元的背面，從而將照明光直接提供給圖像顯示單元。
[0011]所述照明單元可包括:背光單元，與圖像顯示單元相垂直地布置在圖像顯示單元背面的頂部或底部；光反射單元，布置在圖像顯示單元的背面，用于將垂直布置的背光單元發(fā)出的光反射至圖像顯示單元，以為圖像顯示單元提供照明光。
[0012]所述光反射單元可以是半透射反射器件。
[0013]所述捕捉單元可布置在半透射反射器件的背面，從做出交互姿態(tài)的交互裝置發(fā)出并透過(guò)三維成像單元的光可穿過(guò)所述半透射反射器件到達(dá)捕捉單元，從而捕捉單元可獲取交互姿態(tài)的深度信息。
[0014]所述半透射反射裝置可以是分光器。
[0015]所述光反射單元可以是用于反射光的全反射器件。
[0016]所述捕捉單元和背光單元可與圖像顯示單元相垂直地布置在圖像顯示單元的背面，其中，所述全反射器件將從做出交互姿態(tài)的交互裝置發(fā)出并透過(guò)三維成像單元的光反射至捕捉單元，從而捕捉單元獲取交互姿態(tài)的深度信息。
[0017]所述圖像顯示單元可以是IXD面板。
[0018]所述捕捉單元可以是與圖像顯示單元分離的CXD傳感器或深度感知相機(jī)。
[0019]所述圖像顯示單元和捕捉單元可集成為集成有IXD面板和多個(gè)CXD傳感器的混合液晶顯示-電荷耦合器件IXD-CXD面板。所述混合IXD-CXD面板中的IXD面板可用于顯示控制單元提供的三維顯示內(nèi)容，所述混合IXD-C⑶面板中的CXD傳感器可通過(guò)三維成像單元獲得交互姿態(tài)的深度信息。
[0020]所述控制單元提供的三維顯示內(nèi)容可以是與將在三維空間中顯示的對(duì)象對(duì)應(yīng)的多個(gè)元素圖像，顯示與捕捉單元獲取的深度信息可以是與所述交互姿態(tài)相關(guān)的多個(gè)元素圖像。
[0021]當(dāng)捕捉單元是布置在圖像顯示單元背面的深度感知相機(jī)時(shí)，捕捉單元獲取的交互姿態(tài)的深度信息中還可包括所述三維顯示內(nèi)容。控制單元可通過(guò)從所述深度信息中去除所述三維顯示內(nèi)容來(lái)獲取與交互姿態(tài)相應(yīng)的深度圖。
[0022]根據(jù)本發(fā)明的另一方面，提供了一種用于三維顯示和交互的方法，所述方法包括:(a)將三維顯示內(nèi)容 轉(zhuǎn)換為三維虛擬對(duì)象并在三維空間中顯示三維虛擬對(duì)象；(b)獲取用戶使用交互裝置在三維空間中做出的交互姿態(tài)的深度信息；(c)根據(jù)獲取的交互姿態(tài)的深度信息來(lái)產(chǎn)生與所述交互姿態(tài)相應(yīng)的深度圖；(d)基于產(chǎn)生的深度圖分析三維虛擬對(duì)象與所述交互裝置之間的碰撞；(e)根據(jù)對(duì)碰撞的分析結(jié)果更新步驟(a)中使用的三維顯示內(nèi)容，以更新顯示在三維空間中的三維虛擬對(duì)象。
[0023]所述三維顯示內(nèi)容可以是與將在三維空間中顯示的對(duì)象對(duì)應(yīng)的多個(gè)元素圖像，所述交互姿態(tài)的深度信息可以是與所述交互姿態(tài)相關(guān)的多個(gè)元素圖像。
【專利附圖】

【附圖說(shuō)明】
[0024]通過(guò)以下結(jié)合示例對(duì)附圖進(jìn)行的詳細(xì)描述，本發(fā)明的上述和其他目的以及特點(diǎn)將會(huì)變得更加清楚，其中:
[0025]圖1是示出根據(jù)示例性實(shí)施例的用于三維顯示和交互的設(shè)備的示意框圖；
[0026]圖2是示出根據(jù)示例性實(shí)施例的顯示與捕捉單元的示意框圖；
[0027]圖3是示出根據(jù)本發(fā)明的示例性實(shí)施例的用于三維顯示和交互的設(shè)備的結(jié)構(gòu)框圖；
[0028]圖4A至圖4F是示出根據(jù)本發(fā)明的示例性實(shí)施例的三維成像單元的結(jié)構(gòu)示意圖；
[0029]圖5A和圖5B是示出根據(jù)本發(fā)明的另一示例性實(shí)施例的用于三維顯示和交互的設(shè)備的結(jié)構(gòu)框圖；
[0030]圖6是示出根據(jù)本發(fā)明的另一示例性實(shí)施例的用于三維顯示和交互的設(shè)備的結(jié)構(gòu)框圖；
[0031]圖7是示出根據(jù)本發(fā)明的另一示例性實(shí)施例的用于三維顯示和交互的設(shè)備的結(jié)構(gòu)框圖；
[0032]圖8是示出根據(jù)本發(fā)明的示例性實(shí)施例的用于三維顯示和交互的方法的流程圖。
[0033]在附圖中，相同的標(biāo)號(hào)始終表示相同的部件。以下通過(guò)參考附圖描述實(shí)施例以解釋本發(fā)明。
【具體實(shí)施方式】
[0034]提供以下參照附圖進(jìn)行的描述以幫助全面理解由權(quán)利要求及其等同物限定的本發(fā)明的示例性實(shí)施例。所述描述包括各種特定細(xì)節(jié)以幫助理解，但這些細(xì)節(jié)被認(rèn)為僅是示例性的。因此，本領(lǐng)域的普通技術(shù)人員將認(rèn)識(shí)到:在不脫離本發(fā)明的范圍和精神的情況下，可對(duì)這里描述的實(shí)施例進(jìn)行各種改變和修改。此外，為了清楚和簡(jiǎn)明，可省略已知功能和構(gòu)造的描述。
[0035]圖1是示出根據(jù)示例性實(shí)施例的用于三維顯示和交互的設(shè)備100的示意框圖。
[0036]如圖1中所示，所述設(shè)備100包括顯示與捕捉單元110和控制單元120。
[0037]顯示與捕捉單元110可被配置為將控制單元120提供的三維顯示內(nèi)容轉(zhuǎn)換為三維虛擬對(duì)象并在三維空間中顯示三維虛擬對(duì)象。應(yīng)該理解，在本發(fā)明中，控制單元120提供的三維顯示內(nèi)容是與將在三維空間中顯示的對(duì)象對(duì)應(yīng)的多個(gè)元素圖像(EI，ElementalImage)。此外，所述顯示與捕捉單元110還可被配置為獲取用戶使用交互裝置在三維空間中做出的交互姿態(tài)(例如，用戶使用交互裝置做出的姿勢(shì))的深度信息(即，與所述交互姿態(tài)相關(guān)的多個(gè)元素圖像)。
[0038]控制單元120可被配置為從顯示與捕捉單元110獲取所述交互姿態(tài)的深度信息并產(chǎn)生與所述交互姿態(tài)相應(yīng)的深度圖。
[0039]在控制單元120產(chǎn)生了與交互姿態(tài)相應(yīng)的深度圖之后，所述控制單元120還可基于產(chǎn)生的深度圖分析三維虛擬對(duì)象與所述交互裝置之間的碰撞，根據(jù)對(duì)碰撞的分析結(jié)果更新三維顯示內(nèi)容并將更新的三維顯示內(nèi)容提供給所述顯示與捕捉單元110，以在三維空間中更新三維虛擬對(duì)象的顯示。
[0040]舉例來(lái)說(shuō)，當(dāng)顯示與捕捉單元110在三維空間中形成并顯示出三維虛擬對(duì)象A之后，如果用戶使用諸如手指的交互裝置做出將所述三維虛擬對(duì)象A水平地?fù)芟蜃髠?cè)的動(dòng)作，則控制單元120可通過(guò)顯示與捕捉單元110獲取交互姿態(tài)(例如，手指向左撥動(dòng)的姿勢(shì))的深度信息，從而產(chǎn)生與所述交互姿態(tài)相應(yīng)的深度圖。然后，使用所述深度圖來(lái)估計(jì)用戶的手指與三維虛擬對(duì)象A之間是否發(fā)生了碰撞。當(dāng)確定發(fā)生碰撞之后，控制單元120可對(duì)三維顯示內(nèi)容進(jìn)行更新，并將更新的三維顯示內(nèi)容提供給顯示與捕捉單元110以在三維空間中更新三維虛擬對(duì)象A的顯示，從而使得更新后的三維虛擬對(duì)象A在三維空間中恰好與用戶的手指不接觸，實(shí)現(xiàn)將所述三維虛擬對(duì)象A撥向左側(cè)這一動(dòng)作。
[0041]然而，應(yīng)該理解，以上示例僅是為了便于理解而示出的，本發(fā)明不限于此，例如，控制單兀120可不將二維虛擬對(duì)象A水平向左移動(dòng),而是例如在二維虛擬對(duì)象A中消去和手指重疊的部分，從而當(dāng)在三維空間中更新三維虛擬對(duì)象A的顯示時(shí)，可呈現(xiàn)出三維虛擬對(duì)象A被手指侵蝕的顯示效果。
[0042]由于三維虛擬對(duì)象和交互裝置的三維空間位置和姿態(tài)都可以被顯示和捕捉單元110獲取，因此通過(guò)控制單元120可分析它們之間的重疊程度，然后根據(jù)三維虛擬對(duì)象對(duì)外力所應(yīng)產(chǎn)生的變形量，決定與交互裝置的姿態(tài)所對(duì)應(yīng)的三維虛擬對(duì)象的顯示位置和姿態(tài)，從而得到交互裝置和三維虛擬對(duì)象的碰撞結(jié)果。然后，控制單元120可根據(jù)碰撞結(jié)果更新三維虛擬對(duì)象的顯示位置和姿態(tài)。分析三維虛擬對(duì)象與交互裝置之間的碰撞并根據(jù)分析結(jié)果更新三維顯示內(nèi)容的方式對(duì)于本領(lǐng)域技術(shù)人員而言是已知的，在此將不再進(jìn)行詳細(xì)描述。
[0043]圖2是示出根據(jù)示例性實(shí)施例的顯示與捕捉單元120的示意框圖。
[0044]如圖2中所示，顯示與捕捉單元110可包括:圖像顯示單元111、三維成像單元112、捕捉單元113和照明單元114。
[0045]圖像顯示單元111可被配置為顯示控制單元120提供的三維顯示內(nèi)容。三維成像單元112可布置在圖像顯示單元111的前面，并被配置為將圖像顯示單元111顯示的三維顯示內(nèi)容轉(zhuǎn)換為可在三維空間中顯示的三維虛擬對(duì)象。捕捉單元113可布置在三維成像單元112的背面，并被配置為通過(guò)三維成像單元112獲取用戶使用交互裝置在三維空間中做出的交互姿態(tài)的深度信息。照明單元114可布置在圖像顯示單元111的背面，用于為圖像顯示單元111提供照明光。
[0046]圖2僅是實(shí)現(xiàn)本發(fā)明的顯示與捕捉單元110的示意圖，以下將結(jié)合圖3至圖7更詳細(xì)地解釋實(shí)現(xiàn)本發(fā)明的顯示與捕捉單元110的各種構(gòu)造以及顯示三維虛擬對(duì)象和獲取深度信息的方法。
[0047]圖3是示出根據(jù)本發(fā)明的示例性實(shí)施例的用于三維顯示和交互的設(shè)備100的結(jié)構(gòu)框圖。
[0048]參照?qǐng)D3，圖像顯示單元111和捕捉單元113可集成為集成有IXD面板和多個(gè)CXD傳感器的混合液晶顯示-電荷耦合器件(IXD-CXD)面板。在所述混合IXD-C⑶面板中，IXD面板可用于顯示控制單元120提供的三維顯示內(nèi)容，集成的CCD傳感器可通過(guò)三維成像單元112獲得用戶使用交互裝置(例如，人的手部)115做出的交互姿態(tài)的深度信息并將所述深度信息提供給控制單元120。
[0049]在如圖3中所示的混合IXD-CXD面板中，多個(gè)CXD傳感器可水平地按行排列在IXD面板中。IXD面板中的IXD像素用于顯示控制單元120提供的三維顯示內(nèi)容，具體地講，在控制單元120的控制下，LCD面板可根據(jù)預(yù)定規(guī)則在面板中的不同位置上分別顯示控制單元120提供的多個(gè)元素圖像中預(yù)先分配的元素圖像(即，控制單元120提供的多個(gè)元素圖像在圖像顯示單元上的顯示位置已被預(yù)先確定)。此外，按行嵌入在IXD像素之間的CXD像素(即，CCD傳感器)用于獲取用戶使用交互裝置在三維空間中做出的交互姿態(tài)的深度信息，具體地講，每個(gè)CCD傳感器可獲取與交互姿態(tài)相關(guān)的一個(gè)元素圖像，然后每個(gè)CCD傳感器可將獲取的元素圖像發(fā)送給控制單元120，控制單元120在接收到從多個(gè)CCD傳感發(fā)送的多個(gè)元素圖像之后，可使用接收的多個(gè)元素圖像產(chǎn)生與交互姿態(tài)相應(yīng)的深度圖。應(yīng)理解，對(duì)于本領(lǐng)域技術(shù)人員而言，使用元素圖像來(lái)產(chǎn)生深度圖的方法是已知的，因此為了簡(jiǎn)明，在此將不再詳細(xì)描述。
[0050]然而，應(yīng)該理解，混合IXD-C⑶面板中的CXD傳感器的排列方式不限于圖3中顯示的方式，還可以以各種方式將CXD傳感器布置在IXD-C⑶面板中來(lái)實(shí)現(xiàn)上述功能。
[0051 ] 此外，如圖3中所示，照明單元114可以是與圖像顯示單元111相平行地布置在圖像顯示單元111的背面的背光單元，從而將照明光直接提供給圖像顯示單元111。然而，本發(fā)明不限于此，例如，如稍后將描述的圖6和圖7中所示出的，照明單元114還可由與圖像顯示單元111相垂直地布置在圖像顯示單元111背面的頂部或底部的背光單元以及光反射單元組成，在這種情況下，所述光反射單元可布置在圖像顯示單元111的背面并與背光單元呈預(yù)定角度，以將垂直布置的背光單元的發(fā)出的光反射至圖像顯示單元111，從而為圖像顯示單元111提供照明光。應(yīng)該理解，照明單元114還可以以本領(lǐng)域技術(shù)人員已知的各種方式來(lái)布置，以為圖像顯示單元111提供照明光。
[0052]以下將結(jié)合圖4A至圖4F來(lái)詳細(xì)描述三維成像單元112的構(gòu)造，和通過(guò)使用三維成像單元112形成三維虛擬對(duì)象以及獲取交互姿態(tài)的深度信息的方法。
[0053]圖4A至圖4F是示出根據(jù)本發(fā)明的示例性實(shí)施例的三維成像單元112的結(jié)構(gòu)示意圖。在圖4A至圖4F，為了便于說(shuō)明，示出由混合IXD-C⑶面板來(lái)實(shí)現(xiàn)布置在三維成像單元112的背面的圖像顯示單元111和捕捉單元113 (應(yīng)理解，圖4A至4C中的IXD像素和CXD是作為示例的混合LCD-CCD面板的組成部分)，然而，應(yīng)該理解，本發(fā)明不限于此，還可以以其他方式實(shí)現(xiàn)本發(fā)明的布置在三維成像單元112的背面的圖像顯示單元111和捕捉單元113 (例如，稍后將參照?qǐng)D5A-圖7的組成方式)。
[0054]圖4A示出使用柱狀透鏡來(lái)構(gòu)造三維成像單元112的示圖，圖4B是示出使用微透鏡陣列來(lái)構(gòu)造三維 成像單元112的示圖。
[0055]然而，應(yīng)該理解，不管是使用微透鏡陣列還是使用柱狀透鏡來(lái)構(gòu)造三維成像單元112，都可以使顯示在其背后的圖像顯示單元上的多個(gè)元素圖像發(fā)出的光經(jīng)過(guò)折射而在三維成像單元112的前面的不同距離處成像，從而形成如圖3中示出的可顯示在三維空間中的三維虛擬圖像。應(yīng)該理解，應(yīng)考慮三維成像單元112的特性(例如，折射率等)來(lái)形成和布置顯示在圖像顯示單元111上的多個(gè)元素圖像，從而使得顯示在圖像顯示單元111上的多個(gè)元素圖像發(fā)出的光在經(jīng)過(guò)三維成像單元112之后能夠在三維空間中組合形成三維虛擬對(duì)象。
[0056]與以上成像的過(guò)程相反，在捕捉單元(例如，圖4A和圖4B中的CXD傳感器)113通過(guò)三維成像單元112來(lái)捕捉交互姿態(tài)的深度信息時(shí)，從所述交互裝置發(fā)出的光經(jīng)過(guò)三維成像單元112后會(huì)被折射，并可成像為多個(gè)元素圖像。因此，捕捉單元113可容易捕捉到用戶做出的交互姿態(tài)的深度信息(即，與交互姿態(tài)相關(guān)的多個(gè)元素圖像)。
[0057]因此，應(yīng)該理解，除了使用微透鏡陣列和柱狀透鏡來(lái)構(gòu)造三維成像單元112以外，任何可以實(shí)現(xiàn)三維成像單元112的上述效果的裝置均可應(yīng)用于本發(fā)明，例如，如圖4C所示，還可使用IXD面板來(lái)實(shí)現(xiàn)三維成像單元112，此時(shí)，為了獲得如圖4A和4C中的使用的柱狀透鏡和微透鏡陣列的效果，圖4C的IXD面板可在控制單元120的控制下如圖4D中所示在其上顯示柵欄，從而所述IXD面板能夠起到圖4A中的柱狀透鏡的效果。可選擇地，IXD面板可在控制單元120的控制下，如圖4E中所示在其上顯示針孔陣列，從而能夠起到圖4B中的微透鏡陣列的效果。此外，所述LCD面板還可如圖4F中所示在其上顯示柵欄和針孔陣列的組合，從而根據(jù)可根據(jù)需求起到柱狀透鏡或微透鏡陣列的效果。
[0058]圖3中示出了顯示與捕捉單元110中的圖像顯示單元111和捕捉單元113集成為混合IXD-C⑶面板來(lái)實(shí)現(xiàn)本發(fā)明的示例，然而，本發(fā)明不限于此，還可以以各種方式實(shí)現(xiàn)本發(fā)明。圖5A是示出根據(jù)本發(fā)明的另一示例性實(shí)施例的用于三維顯示和交互的設(shè)備100的結(jié)構(gòu)框圖。圖5B是示出圖5A中顯示與捕捉單元110的正面的示例性示圖。圖5A和圖5B中的三維成像單元112、照明單元114、用戶的交互裝置115和控制單元120的構(gòu)造可與圖3中的相同，并且圖5A和圖5B中的三維成像單元112還可以是圖4A至圖4F中示出的形式。因此為了簡(jiǎn)明，在此將不再對(duì)其進(jìn)行詳細(xì)解釋。
[0059]如圖5A中所示，與圖3中的結(jié)構(gòu)不同在于，圖5A的圖像顯示單元111可被配置為單純的IXD面板來(lái)顯示控制單元120提供的三維顯示內(nèi)容，捕捉單元113是與圖像顯示單元111分離的C⑶傳感器。
[0060]此外，如圖5A和圖5B中所示，由于CXD傳感器分離地布置在IXD面板的4個(gè)角附近，因此，為了便于CCD傳感器獲取用戶做出的交互姿態(tài)的深度信息(即，與交互姿態(tài)相關(guān)的多個(gè)元素圖像)，可在CXD傳感器與三維顯示單元112之間的適當(dāng)位置布置成像透鏡510，從而經(jīng)過(guò)三維顯示單元112后形成的元素圖像可通過(guò)成像透鏡510被匯聚至CXD傳感器，以便CCD傳感器獲取與交互姿態(tài)相關(guān)的多個(gè)元素圖像。
[0061]此外,應(yīng)該理解，圖5A和圖5B中的傳感器不限于布置在IXD面板的4個(gè)角上,還可根據(jù)需要，例如，沿LCD面板的四周布置多個(gè)CCD傳感器來(lái)獲取與用戶的交互姿態(tài)相關(guān)的多個(gè)元素圖像。
[0062]圖6是示出根據(jù)本發(fā)明的另一示例性實(shí)施例的用于三維顯示和交互的設(shè)備100的結(jié)構(gòu)示意圖。圖6中的控制單元120、三維成像單元112、圖像顯示單元111和用戶的交互裝置115的構(gòu)造可與圖5A中的相同，因此為了簡(jiǎn)明，在此將不再對(duì)其進(jìn)行詳細(xì)解釋。
[0063] 在圖6中，與圖3、圖5A和圖5B中作為照明單元114的背光單元平行地布置在圖像顯示單元111的背面來(lái)為圖像顯示單元111提供照明光的示例相比，圖6中的照明單元114可由光反射單元620和垂直地布置在圖像顯示單元111背面的底部的背光單元610組成，其中，如圖6中所示，光反射單元620可以以預(yù)定角度布置在圖像顯示單元111的背面并將垂直布置的背光單元610的發(fā)出的光反射至圖像顯示單元111，從而為圖像顯示單元111提供照明光。
[0064]此外，圖6中還示出使用深度感知相機(jī)代替CXD傳感器作為捕捉單元113的示例，圖6中的深度感知相機(jī)113布置在光反射單元620的背面，在這種情況下，為了使相機(jī)能夠獲得從用戶的交互裝置115發(fā)出的光，所述光反射單元620可以是半透射反射器件(例如，分光器)，從而使得從交互裝置115發(fā)出的光的一部分能夠到達(dá)深度感知相機(jī)113，并且從背光單元610發(fā)出的光的一部分能夠經(jīng)過(guò)反射被提供給圖像顯示單元111 (例如，IXD面板)用于照明。
[0065]應(yīng)該理解，本發(fā)明不限于此，例如，除照明單元114的構(gòu)造以外，在圖6中也可采用圖3或圖5A中示出的捕捉單元113和圖像顯示單元111的組成形式(即，使用混合IXD-CXD面板來(lái)構(gòu)成捕捉單元113和圖像顯示單元111，或者使用分開(kāi)的LCD面板和多個(gè)CCD傳感器來(lái)分別構(gòu)成圖像顯示單元111和捕捉單元113)，而不需要使用深度感知相機(jī)。此外，還可以以其他方式布置圖6中的背光單元610，例如，將背光單元610垂直地布置在圖像顯示單元111背面的頂部，在這種情況下，所述光反射單元620可布置在圖像顯示單元111的背面并與背光單元610呈預(yù)定角度，從而將垂直布置的背光單元610的發(fā)出的光反射至圖像顯示單元111。[0066]圖7是示出根據(jù)本發(fā)明的另一示例性實(shí)施例的用于三維顯示和交互的設(shè)備100的結(jié)構(gòu)框圖。圖7中的控制單元120、三維成像單元112、圖像顯示單元111和用戶的交互裝置115的構(gòu)造可與圖6中的相同，因此為了簡(jiǎn)明，在此將不再對(duì)其進(jìn)行詳細(xì)解釋。
[0067]此外，與圖6相似，圖7采用也深度感知相機(jī)作為捕捉單元113，并且照明單元114也由光反射單元720和垂直地布置在圖像顯示單元111背面的底部的背光單元710組成，其中，所示光反射單元720以預(yù)定角度布置在圖像顯示單元111的背面并用于將垂直布置的背光單元710的發(fā)出的光反射至圖像顯示單元111，從而可為圖像顯示單元111提供照明光。
[0068]然而，與圖6中不同的是，圖7中的光反射單元720是用于反射光的全反射器件(例如，鏡子)。因此，圖7中的深度感知相機(jī)113和背光單元610可與圖像顯示單元垂直地布置在圖像顯示單元111背面的底部。在這種情況下，所述全反射器件可將從做出交互姿態(tài)的交互裝置115發(fā)出，并透過(guò)三維成像單元112的光反射至深度感知相機(jī)113，以使得深度感知相機(jī)113可獲取交互姿態(tài)的深度信息。
[0069]應(yīng)該理解，本發(fā)明不限于此，例如，在圖7中也可采用圖3或圖5A和圖5B中示出的捕捉單元113和圖像顯示單元111的構(gòu)成形式(即，使用混合IXD-CXD面板來(lái)構(gòu)成捕捉單元113和圖像顯示單元111，或者使用分開(kāi)的IXD面板和多個(gè)C⑶傳感器來(lái)分別構(gòu)成圖像顯示單元111和捕捉單元113)，而不需要使用深度感知相機(jī)。此外，還可以以其他方式布置背光單元610，例如，如上所述的將背光單元610垂直地布置在圖像顯示單元111背面的頂部。
[0070]此外，當(dāng)使用布置在圖像顯示單元111背面的深度感知相機(jī)作為捕捉單元113來(lái)獲取交互姿態(tài)的深度信息時(shí)，由于深度感知相機(jī)位于圖像顯示單元111的后方，所以深度感知相機(jī)獲取的交互姿態(tài)的深度信息中還可能包括三維顯示內(nèi)容(即，三維顯示內(nèi)容的多個(gè)元素圖像)。由于深度感知相機(jī)獲取的三維顯示內(nèi)容的多個(gè)元素圖像是位于同一個(gè)平面上(即，深度感知相機(jī)從平面的圖像顯示單元111上顯示的三維顯示內(nèi)容獲得所述三維顯示內(nèi)容的多個(gè)元素圖像)，因此所述三維顯示內(nèi)容的多個(gè)元素圖像的深度信息相同，是位于同一個(gè)二維平面上的信息。由于深度感知相機(jī)與圖像顯示單元111之間的距離是預(yù)先確定的并且是已知的，因此可容易地知道深度感知相機(jī)獲得的三維顯示內(nèi)容的元素圖像的深度。在這種情況下，控制單元120可通過(guò)從獲取的交互姿態(tài)的深度信息中去除深度已知的三維顯示內(nèi)容的多個(gè)元素圖像，從而得到僅與交互姿態(tài)相應(yīng)的深度圖。應(yīng)理解，去除深度已知的三維顯示內(nèi)容的元素圖像的方法對(duì)于本領(lǐng)域技術(shù)人員而言是已知的，因此為了簡(jiǎn)明，在此將不再進(jìn)行詳細(xì)描述。
[0071]圖8是示出根據(jù)本發(fā)明的示例性實(shí)施例的用于三維顯示和交互的方法的流程圖。
[0072]如圖8中所示，在步驟810，顯示與捕捉單元110中的三維成像單元112可將圖像顯示單元111顯示的由控制單元120提供的三維顯示內(nèi)容轉(zhuǎn)換為三維虛擬對(duì)象并在三維空間中顯示三維虛擬對(duì)象。
[0073]然后，在步驟830，通過(guò)顯示與捕捉單元110中的捕捉單元113獲取用戶使用交互裝置115在三維空間中做出的交互姿態(tài)的深度信息，以上已參照?qǐng)D3和圖4A至F詳細(xì)描述了捕捉單元113獲取交互姿態(tài)的深度信息的方法，為了簡(jiǎn)明，在此將不再進(jìn)行進(jìn)一步的描述。
[0074]在步驟850，控制單元120可從捕捉單元113獲取所述交互姿態(tài)的深度信息，并根據(jù)獲取的交互姿態(tài)的深度信息來(lái)產(chǎn)生與所述交互姿態(tài)相應(yīng)的深度圖。
[0075]在步驟870，控制單元120可基于產(chǎn)生的深度圖分析三維虛擬對(duì)象與交互裝置之間的碰撞。對(duì)于本領(lǐng)域技術(shù)人員而言，如何估計(jì)和分析三維虛擬對(duì)象與所述交互裝置之間的碰撞是已知的，因此，為了簡(jiǎn)明，在此將不再進(jìn)行進(jìn)一步的描述。
[0076]在步驟890，控制單元120可根據(jù)對(duì)碰撞的分析結(jié)果更新將要顯示在圖像顯示單元111中的三維顯示內(nèi)容，并將更新的三維顯示內(nèi)容提供給圖像顯示單元111進(jìn)行顯示，從而更新顯示在三維空間中的三維虛擬對(duì)象。
[0077]通過(guò)這種方式，當(dāng)用戶對(duì)三維虛擬對(duì)象做出動(dòng)作時(shí)，本發(fā)明的三維顯示和交互設(shè)備可通過(guò)捕捉交互動(dòng)作的姿態(tài)，根據(jù)預(yù)設(shè)的規(guī)則來(lái)更新顯示的三維虛擬對(duì)象，從而實(shí)現(xiàn)用戶與三維虛擬對(duì)象之間的交互的效果。
[0078]以上已描述了多個(gè)示例。然而，應(yīng)該理解，可進(jìn)行各種修改。例如，如果以不同的順序執(zhí)行描述的技術(shù)，和/或如果描述的系統(tǒng)、體系結(jié)構(gòu)、裝置或電路中的組件以不同的方式組合和/或被其他組件或其等同物代替或補(bǔ)充，則會(huì)實(shí)現(xiàn)合適的結(jié)果。因此，其他實(shí)施方式在權(quán)利要求的范圍內(nèi)。
【權(quán)利要求】
1.一種用于三維顯示和交互的設(shè)備，所述設(shè)備包括: 顯示與捕捉單元，被配置為將控制單元提供的三維顯示內(nèi)容轉(zhuǎn)換為三維虛擬對(duì)象并在三維空間中顯示三維虛擬對(duì)象，以及獲取用戶使用交互裝置在三維空間中做出的交互姿態(tài)的深度信息； 控制單元，被配置為從所述顯示與捕捉單元獲取所述交互姿態(tài)的深度信息并產(chǎn)生與所述交互姿態(tài)相應(yīng)的深度圖，基于產(chǎn)生的深度圖分析三維虛擬對(duì)象與所述交互裝置之間的碰撞，根據(jù)對(duì)碰撞的分析結(jié)果更新三維顯示內(nèi)容并將更新的三維顯示內(nèi)容提供給所述顯示與捕捉單元，以在三維空間中更新三維虛擬對(duì)象的顯示。
2.如權(quán)利要求1所述的設(shè)備，其中，所述顯示與捕捉單元包括: 圖像顯示單元，被配置為顯示控制單元提供的三維顯示內(nèi)容； 三維成像單元，布置在圖像顯示單元的前面，被配置為將圖像顯示單元顯示的三維顯示內(nèi)容轉(zhuǎn)換為在三維空間中顯示的三維虛擬對(duì)象； 捕捉單元，布置在三維成像單元的背面，被配置為通過(guò)三維成像單元獲取用戶使用交互裝置在三維空間中做出的交互姿態(tài)的深度信息。
3.如權(quán)利要求2所述的設(shè)備，還包括: 照明單元，布置在圖像顯示單元的背面，用于為圖像顯示單元提供照明光。
4.如權(quán)利要求2所述的設(shè)備，其中，三維成像單元是柱狀透鏡或微透鏡陣列，或者是在控制單元的控制下顯示為柵欄、針孔陣列、或柵欄和針孔陣列的組合的液晶顯示LCD面板。
5.如權(quán)利要求3所述的設(shè)備，其中，所述照明單元包括: 背光單元，與圖像顯示單元相平行地布置在圖像顯示單元的背面，從而將照明光直接提供給圖像顯示單元。
6.如權(quán)利要求3所述的設(shè)備，其中，所述照明單元包括: 背光單元，與圖像顯示單元相垂直地布置在圖像顯示單元背面的頂部或底部； 光反射單元，布置在圖像顯示單元的背面，用于將垂直布置的背光單元發(fā)出的光反射至圖像顯示單元，以為圖像顯示單元提供照明光。
7.如權(quán)利要求6所述的設(shè)備，其中，所述光反射單元是半透射反射器件。
8.如權(quán)利要求7所述的設(shè)備，其中，所述捕捉單元布置在半透射反射器件的背面，從做出交互姿態(tài)的交互裝置發(fā)出并透過(guò)三維成像單元的光穿過(guò)所述半透射反射器件到達(dá)捕捉單元，從而捕捉單元獲取交互姿態(tài)的深度信息。
9.如權(quán)利要求7所述的設(shè)備，其中，所述半透射反射裝置是分光器。
10.如權(quán)利要求6所述的設(shè)備，其中，所述光反射單元是用于反射光的全反射器件。
11.如權(quán)利要求10所述的設(shè)備，其中，所述捕捉單元和背光單元一起與圖像顯示單元相垂直地布置在圖像顯示單元的背面， 其中，所述全反射器件將從做出交互姿態(tài)的交互裝置發(fā)出并透過(guò)三維成像單元的光反射至捕捉單元，從而捕捉單元獲取交互姿態(tài)的深度信息。
12.如權(quán)利要求2所述的設(shè)備 ，其中，所述圖像顯示單元是IXD面板。
13.如權(quán)利要求2所述的設(shè)備，其中，所述捕捉單元是與圖像顯示單元分離的CCD傳感器或深度感知相機(jī)。
14.如權(quán)利要求2所述的設(shè)備，其中，所述圖像顯示單元和捕捉單元集成為集成有LCD面板和多個(gè)CXD傳感器的混合液晶顯示-電荷耦合器件IXD-C⑶面板， 其中，所述混合IXD-CCD面板中的IXD面板用于顯示控制單元提供的三維顯示內(nèi)容， 所述混合IXD-CCD面板中的CXD傳感器通過(guò)三維成像單元獲得交互姿態(tài)的深度信息。
15.如權(quán)利要求1所述的設(shè)備，其中，所述控制單元提供的三維顯示內(nèi)容是與將在三維空間中顯示的對(duì)象對(duì)應(yīng)的多個(gè)元素圖像， 顯示與捕捉單元獲取的深度信息是與所述交互姿態(tài)相關(guān)的多個(gè)元素圖像。
16.如權(quán)利要求13所述的設(shè)備，其中，當(dāng)捕捉單元是布置在圖像顯示單元背面的深度感知相機(jī)時(shí)，捕捉單元獲取的交互姿態(tài)的深度信息中還包括所述三維顯示內(nèi)容， 其中，控制單元通過(guò)從所述深度信息中去除所述三維顯示內(nèi)容來(lái)獲取與交互姿態(tài)相應(yīng)的深度圖。
17.一種用于三維顯示和交互的方法，所述方法包括: (a)將三維顯示內(nèi)容轉(zhuǎn)換為三維虛擬對(duì)象并在三維空間中顯示三維虛擬對(duì)象； (b)獲取用戶使用交互裝置在三維空間中做出的交互姿態(tài)的深度信息； (C)根據(jù)獲取的交互姿態(tài)的深度信息來(lái)產(chǎn)生與所述交互姿態(tài)相應(yīng)的深度圖； (d)基于產(chǎn)生的深度圖分析三維虛擬對(duì)象與所述交互裝置之間的碰撞； (e)根據(jù)對(duì)碰撞的分析結(jié)果更新步驟(a)中使用的三維顯示內(nèi)容，以更新顯示在三維空間中的三維虛擬對(duì)象。
18.如權(quán)利要求17所述的方法，其中，所述三維顯示內(nèi)容是與將在三維空間中顯示的對(duì)象對(duì)應(yīng)的多個(gè)元素圖像， 所述交互姿態(tài)的深度信息是與所述交互姿態(tài)相關(guān)的多個(gè)元素圖像。
【文檔編號(hào)】G06F3/01GK103905808SQ201210579928
【公開(kāi)日】2014年7月2日 申請(qǐng)日期:2012年12月27日 優(yōu)先權(quán)日:2012年12月27日
【發(fā)明者】洪濤, 周明才, 焦少慧, 李煒明, 王海濤, 金智淵 申請(qǐng)人:北京三星通信技術(shù)研究有限公司, 三星電子株式會(huì)社