本發(fā)明涉及立體顯示技術(shù)領(lǐng)域,具體而言,涉及一種立體顯示裝置及立體顯示方法。
背景技術(shù):
近幾年,立體顯示技術(shù)發(fā)展迅速,成為人們研究的熱點(diǎn)。立體顯示技術(shù)已經(jīng)越來(lái)越廣泛應(yīng)用于醫(yī)療、廣告、軍事、展覽、游戲及車(chē)載顯示等各個(gè)領(lǐng)域。立體顯示技術(shù)包括佩戴眼鏡式立體顯示技術(shù)和無(wú)需眼鏡的裸眼立體顯示技術(shù)。其中,佩戴眼鏡式立體顯示技術(shù)發(fā)展很早,目前已經(jīng)技術(shù)比較成熟,在很多領(lǐng)域中仍在使用;而裸眼立體顯示技術(shù)起步較晚,其技術(shù)難度比佩戴眼鏡式的難度要高,目前雖在相關(guān)領(lǐng)域有運(yùn)用,但顯示效果還不能滿足人們的需求。尤其是目前裸眼立體顯示技術(shù)應(yīng)用到如球賽實(shí)況轉(zhuǎn)播、醫(yī)療手術(shù)現(xiàn)場(chǎng)等實(shí)時(shí)播放的領(lǐng)域時(shí),其實(shí)時(shí)播放的效果較差,無(wú)法滿足觀看的需要。因此,在這些領(lǐng)域,目前多數(shù)采用佩戴眼鏡式的立體顯示技術(shù),還沒(méi)有裸眼立體顯示技術(shù)的應(yīng)用。
此外,在目前的裸眼立體顯示裝置中,通常采用攝像機(jī)等人眼跟蹤設(shè)備捕捉人眼的位置,然后依據(jù)人的左右眼的位置自適應(yīng)的調(diào)節(jié)分光器件或?qū)︼@示面板的像素進(jìn)行排列,使得人在一定范圍內(nèi)自由移動(dòng),同時(shí)還不會(huì)影響到觀看立體圖像的顯示效果。然而,現(xiàn)有的攝像機(jī)等人眼跟蹤設(shè)備需要對(duì)拍攝到的含有人眼位置的二維圖像進(jìn)行特征分析,以獲取人眼位置信息。采用這種方式,很難保證其穩(wěn)定性和準(zhǔn)確性。若沒(méi)有獲取到準(zhǔn)確的人眼位置信息,這將嚴(yán)重影響立體顯示效果,帶來(lái)較差的用戶體驗(yàn)。尤其是在需要實(shí)時(shí)播放立體顯示圖像的領(lǐng)域,比如在醫(yī)療領(lǐng)域,醫(yī)生依據(jù)顯示的立體圖像進(jìn)行手術(shù)時(shí),醫(yī)生需要不時(shí)且觀看立體顯示圖像,如果跟蹤的人眼位置信息不準(zhǔn)確,將影響到醫(yī)生的操作,嚴(yán)重者,會(huì)影響到手術(shù)的成功。又如在球賽實(shí)況轉(zhuǎn)播時(shí),對(duì)于實(shí)時(shí)性要求較高,圖像在傳輸和處理方 面需要及時(shí)滿足觀看者觀看立體圖像的需要,這就對(duì)立體顯示裝置在跟蹤和排圖方面提出了更高的要求。
現(xiàn)有的3D腹腔鏡在患者體內(nèi)的腹腔鏡鏡頭包含兩個(gè)距離非常近的小鏡頭,兩個(gè)小鏡頭各自拍下腔內(nèi)圖像,再通過(guò)各自的顯示設(shè)備把兩個(gè)角度的圖像通過(guò)不同偏振態(tài)的光同步放映,使有細(xì)微差別的兩幅圖像同時(shí)顯示在顯示設(shè)備的顯示屏上。使用線偏振眼鏡觀看,左眼只能看到左攝像頭拍攝的畫(huà)面,右眼只能看到右攝像頭拍攝的畫(huà)面,這樣組合起來(lái)就會(huì)看到實(shí)時(shí)播放的立體圖像。但是,這種傳統(tǒng)的線偏振式立體顯示裝置,在觀看者使用線偏振眼鏡觀看立體圖像時(shí),應(yīng)始終保持眼鏡處于水平狀態(tài),使水平偏振鏡片看到水平偏振方向的圖像,而垂直偏振鏡片看到垂直偏振方向的圖像。如果眼鏡略有偏轉(zhuǎn),垂直偏振鏡片就會(huì)看見(jiàn)一部分水平方向的圖像,水平偏振鏡片也會(huì)看見(jiàn)一部分垂直方向的圖像,左、右眼就會(huì)看到明顯的重影。而在手術(shù)過(guò)程中,很多醫(yī)生習(xí)慣根據(jù)內(nèi)窺鏡在腔體內(nèi)的角度而對(duì)頭部角度作適當(dāng)?shù)恼{(diào)整來(lái)適應(yīng)顯示畫(huà)面。而佩戴線偏振眼鏡來(lái)觀看3D圖像很大程度地限制了醫(yī)生這種頭部角度調(diào)整的習(xí)慣,給醫(yī)生做手術(shù)帶來(lái)不便。此外,現(xiàn)有技術(shù)的立體顯示裝置中,有一種技術(shù)是利用單點(diǎn)紅外燈作為跟蹤標(biāo)志,但單點(diǎn)紅外燈在醫(yī)生扭頭傾斜觀看時(shí)跟蹤的數(shù)據(jù)會(huì)跟實(shí)際情況有誤差,影響觀看效果。
因此,如何準(zhǔn)確獲取到人眼的位置信息,提升立體顯示的觀看效果成為亟待解決的技術(shù)問(wèn)題。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明的目的在于提供一種立體顯示裝置和顯示方法,旨在解決由現(xiàn)有技術(shù)的局限和缺點(diǎn)引起的上述一個(gè)或多個(gè)技術(shù)問(wèn)題。
本發(fā)明提供一種立體顯示方法,所述立體顯示方法包括:跟蹤步驟,跟蹤目標(biāo)對(duì)象的位置信息;顯示步驟,依據(jù)所述位置信息顯示立體圖像;其中,所述跟蹤步驟包括以下步驟:
S11對(duì)應(yīng)所述目標(biāo)對(duì)象的空間位置設(shè)置三個(gè)以上的標(biāo)記點(diǎn);
S12獲取所述標(biāo)記點(diǎn)的位置信息;
S13依據(jù)目標(biāo)對(duì)象相對(duì)水平面的傾斜角度,校正所述標(biāo)記點(diǎn)的位置信息。
本發(fā)明還提供一種立體顯示裝置,包括跟蹤設(shè)備,分光單元,顯示單元及圖像播放處理單元,所述跟蹤設(shè)備與所述顯示單元分別與所述圖像播放處理單元連接,所述分光單元位于所述顯示單元的顯示側(cè);其中,所述跟蹤設(shè)備包括:標(biāo)記點(diǎn)設(shè)置單元,對(duì)應(yīng)目標(biāo)對(duì)象的空間位置設(shè)置三個(gè)以上的標(biāo)記點(diǎn);獲取單元,獲取所述標(biāo)記點(diǎn)的位置信息;校正單元,依據(jù)目標(biāo)對(duì)象相對(duì)水平面的傾斜角度,校正所述標(biāo)記點(diǎn)的位置信息。
本發(fā)明提供的上述立體顯示裝置和顯示方法,由于考慮了目標(biāo)對(duì)象在偏離水平面時(shí)產(chǎn)生一定的傾斜角度對(duì)立體顯示裝置排圖后進(jìn)行立體顯示所造成的影響,因而跟蹤到的位置信息更加準(zhǔn)確,立體顯示效果更好。
附圖說(shuō)明
圖1示出了本發(fā)明實(shí)施方式一的立體顯示裝置的結(jié)構(gòu)示意圖。
圖2示出了圖1中的圖像播放處理單元的結(jié)構(gòu)示意圖。
圖3是本發(fā)明實(shí)施方式一的立體顯示裝置中分光單元與顯示單元貼合的結(jié)構(gòu)示意圖。
圖4示出了本發(fā)明實(shí)施方式一的立體顯示裝置中跟蹤設(shè)備的較佳實(shí)施例結(jié)構(gòu)示意圖。
圖5示出了圖4中校正單元對(duì)標(biāo)記點(diǎn)進(jìn)行校正的示意圖。
圖6示出了圖4中的獲取單元的具體結(jié)構(gòu)示意圖。
圖7示出了圖4的跟蹤設(shè)備中對(duì)應(yīng)目標(biāo)對(duì)象設(shè)置標(biāo)記點(diǎn)的定位支架的結(jié)構(gòu)示意圖。
圖8是本發(fā)明實(shí)施方式二的立體顯示方法的流程示意圖。
圖9是圖8中S1的具體流程示意圖。
圖10是圖9中S12的具體流程示意圖。
圖11是圖9中S13的第一變形例的具體流程示意圖。
圖12是圖8中的S3的具體流程示意圖。
具體實(shí)施方式
為了能夠更清楚地理解本發(fā)明的上述目的、特征和優(yōu)點(diǎn),下面結(jié)合附圖和具體實(shí)施方式對(duì)本發(fā)明進(jìn)行進(jìn)一步的詳細(xì)描述。需要說(shuō)明的是,在不沖突的情況下,本申請(qǐng)的實(shí)施方式及實(shí)施方式中的特征可以相互組合。
在下面的描述中闡述了很多具體細(xì)節(jié)以便于充分理解本發(fā)明,但是,本發(fā)明還可以采用其他不同于在此描述的其他方式來(lái)實(shí)施,因此,本發(fā)明的保護(hù)范圍并不受下面公開(kāi)的具體實(shí)施方式的限制。
實(shí)施方式一
請(qǐng)參見(jiàn)圖1,圖1為本發(fā)明立體顯示裝置的結(jié)構(gòu)示意圖。如圖1所示,本發(fā)明的立體顯示裝置包括:跟蹤設(shè)備30、分光單元50及顯示單元40,該跟蹤設(shè)備30用于獲取目標(biāo)對(duì)象的位置信息,該分光單元50位于所述顯示單元40的顯示側(cè),用于將該顯示單元40顯示的圖像空間上分成左視圖和右視圖。該立體顯示裝置還包括圖像播放處理單元20,分別與該跟蹤設(shè)備30和該顯示單元40連接,該圖像播放處理單元20依據(jù)該目標(biāo)對(duì)象的位置信息、該分光單元50的光柵參數(shù)及顯示單元40的顯示參數(shù)實(shí)時(shí)處理待播放的圖像,處理后發(fā)送該顯示單元40進(jìn)行顯示。
由于跟蹤設(shè)備30和顯示單元40直接連接到圖像播放處理單元20,圖像播放處理單元20及時(shí)獲取到目標(biāo)對(duì)象的位置信息、光柵參數(shù)及顯示參數(shù),并據(jù)此進(jìn)行圖像處理,省去了現(xiàn)有技術(shù)中需要經(jīng)過(guò)中央處理器的處理過(guò)程,因而圖像播放的速度相比于現(xiàn)有技術(shù)大大提高,能滿足實(shí)時(shí)立體顯示的要求。上述光柵參數(shù)主要包括光柵的柵距(pitch)和光柵相對(duì)顯示面板的傾斜角度、光柵相對(duì)顯示面板的放置距離等參數(shù)。這些光柵參數(shù)可以是直接存儲(chǔ)在圖像播放處理單元內(nèi)的存儲(chǔ)器中,也可是其它檢測(cè)設(shè)備實(shí)時(shí)檢測(cè)并獲取分光單元的光柵參數(shù),將光柵參數(shù)值發(fā)送給圖像播放處理單元20。上述顯示單元參數(shù)包括顯示單元的尺寸、顯示單元的屏幕分辨率、顯示單元的像素單元中子像素的排列順序及排列結(jié)構(gòu)等參數(shù)。子像素排列順序即子像素是按照RGB排列或者RBG排列,還是成BGR排列,還是成其他順序排列;子像素排列結(jié)構(gòu)即子像素為豎直排列的還是橫向排列的,如自上而下是按照RGB的方式循環(huán)排列,或者從左至右依次是按照 RGB的方式循環(huán)排列等。
上述跟蹤設(shè)備30可以是攝像頭和/或者紅外傳感器,主要用于追蹤目標(biāo)對(duì)象的位置,例如人的雙眼或者人的頭部或者人的臉部的位置或者人的上半身的位置。攝像頭或紅外傳感器的數(shù)量不限制,可以是一個(gè),也可以是多個(gè)。攝像頭或者紅外傳感器可以安裝在顯示單元的邊框上,或者單獨(dú)放置在易于追蹤到目標(biāo)對(duì)象的位置。此外,如果采用紅外傳感器作為跟蹤設(shè)備,還可在對(duì)應(yīng)目標(biāo)對(duì)象的位置設(shè)置紅外發(fā)射器,通過(guò)接收到紅外發(fā)射器發(fā)送的紅外定位信號(hào),利用紅外發(fā)送器與目標(biāo)對(duì)象的相對(duì)位置關(guān)系,計(jì)算出目標(biāo)對(duì)象的位置信息。
上述分光單元50設(shè)于顯示單元40的出光側(cè),將顯示單元40顯示的具有視差的左視圖和右視圖分別發(fā)送到人的左眼和右眼,依據(jù)人的左眼和右眼合成立體圖像,使人觀看到立體顯示的效果。較佳地,上述分光單元可以是視差屏障或透鏡光柵。該視差屏障可以是液晶狹縫或固體狹縫光柵片或者電致變色狹縫光柵片等,該透鏡光柵可以是液晶透鏡或固體液晶透鏡光柵。固體液晶透鏡光柵主要是通過(guò)紫外光將液晶固化到薄片上,形成固態(tài)透鏡,對(duì)光線進(jìn)行分光后出射到人的左眼和右眼。較佳地,將上述顯示單元40和分光單元50作為一個(gè)集成的顯示設(shè)備60,該顯示設(shè)備60是整個(gè)立體顯示裝置的顯示部分,可以與前述圖像播放處理單元及跟蹤設(shè)備組裝在一起,也可以是一個(gè)獨(dú)立部分單獨(dú)存在。例如,可以依據(jù)觀看需要,單獨(dú)將顯示設(shè)備60放置在便于觀看的位置,而圖像播放處理單元20和跟蹤設(shè)備30可以是各自具有獨(dú)立功能的設(shè)備,使用時(shí)將這些設(shè)備組裝起來(lái)實(shí)現(xiàn)本發(fā)明的實(shí)時(shí)立體顯示功能即可。例如,該圖像播放處理單元20可以是VMR 3D播放設(shè)備,其本身具有3D播放處理功能,使用是將其組裝到本發(fā)明的立體顯示裝置中,與其它設(shè)備建立連接。
上述圖像播放處理單元20,依據(jù)跟蹤設(shè)備30跟蹤到的該目標(biāo)對(duì)象的位置信息、該分光單元50的光柵參數(shù)及顯示單的顯示參數(shù)實(shí)時(shí)處理待播放的圖像。請(qǐng)參見(jiàn)圖2,圖像播放處理單元20進(jìn)一步包括:
排圖參數(shù)確定模塊201,依據(jù)獲取到的所述目標(biāo)對(duì)象的位置信息和所述分光單元的光柵參數(shù)及顯示單的顯示參數(shù)計(jì)算出在顯示單元上的排圖參 數(shù);
視差圖像排列模塊202,用于依據(jù)所述排圖參數(shù)排列顯示單元上的視差圖像;該視差圖像是通過(guò)在空間上劃分左眼圖像以及右眼圖像來(lái)生成的。
視差圖像播放模塊203,播放所述視差圖像。在接收到排列后的視差圖像后,進(jìn)行播放,觀看者在顯示單元實(shí)時(shí)看到顯示的立體圖像。
實(shí)施例1
在本發(fā)明實(shí)施例1中,要得到較佳的實(shí)時(shí)立體顯示效果,需要依據(jù)分光單元的光柵參數(shù)和顯示單元的顯示參數(shù)對(duì)分光單元與顯示單元進(jìn)行光學(xué)設(shè)計(jì),該光學(xué)設(shè)計(jì)依據(jù)以下公式:
(3)m*t=p-pitch
上述公式中,F(xiàn)為分光單元與顯示單元之間的距離(即上述光柵參數(shù)中的光柵相對(duì)顯示面板的放置距離),L為觀看者與顯示單元的距離,
IPD為匹配瞳距,通常的人雙瞳之間的距離,例如,一般取值為62.5mm,l-pitch為分光單元的節(jié)距(pitch),p-pitch為顯示單元上的像素的排圖節(jié)距,n為立體視圖數(shù)量,m為分光單元所覆蓋的像素?cái)?shù)量,p為顯示單元的點(diǎn)距,這里的點(diǎn)距主要是指一個(gè)像素單元的尺寸(屬于顯示參數(shù)的一種),該像素單元通常包括R、G、B三個(gè)子像素。為了消除摩爾紋,分光單元在貼合的時(shí)候一般會(huì)旋轉(zhuǎn)一定的角度(即分光單元相較于顯示單元有一定的傾斜角度),因此,實(shí)際上的分光單元的節(jié)距由以下公式給出:
(4)Wlens=l-pitch*sinθ
其中,Wlens為分光單元的實(shí)際節(jié)距,θ為分光單元相對(duì)顯示面板的 傾斜角度(即上述光柵參數(shù)之一)。
如上所述,對(duì)于分光單元與顯示單元之間的距離F,當(dāng)顯示單元與分光單元之間的介質(zhì)是空氣時(shí),F(xiàn)就等于分光單元與顯示單元之間的實(shí)際距離;當(dāng)顯示單元與分光單元之間的介質(zhì)是折射率為n(n大于1)的透明介質(zhì)時(shí),F(xiàn)等于分光單元與顯示單元之間的實(shí)際距離除以該折射率n;當(dāng)顯示單元與分光單元之間存在不同的介質(zhì)時(shí),且介質(zhì)的折射率分別為n1、n2、n3···(折射率均大于或等于1),F(xiàn)=s1/n1+s2/n2+s3/n3···,其中s1、s2、s3···為相應(yīng)介質(zhì)的厚度。
通過(guò)上述光學(xué)計(jì)算公式,對(duì)分光單元和顯示單元進(jìn)行設(shè)置,可以減小摩爾紋,提高實(shí)時(shí)觀看的立體顯示效果。
此外,在一個(gè)變形實(shí)施例中,在分光單元與顯示單元之間設(shè)置貼合單元,請(qǐng)參見(jiàn)圖3,圖3是本發(fā)明實(shí)施方式一的立體顯示裝置中分光單元與顯示單元的貼合結(jié)構(gòu)示意圖。如圖3所示,在分光單元50和顯示單元40之間設(shè)有貼合單元,三者類(lèi)似于“三明治結(jié)構(gòu)”,貼合單元包括第一基板42和第二基板43,以及位于第一基板42與第二基板43之間的空氣層41。該空氣層41在第一基板42與第二基板43之間處于密封狀態(tài),防止空氣逸出。第一基板42與顯示面板貼合,可以是透明玻璃材料構(gòu)成,也可以是透明樹(shù)脂材料等構(gòu)成。第二基板43與第一基板42相對(duì)設(shè)置,其背離第一基板42的一側(cè)用于貼合分光單元50。由于在分光單元50和顯示單元40之間設(shè)置貼合單元,且貼合單元采用上述結(jié)構(gòu),對(duì)于大屏幕的立體顯示裝置,既保證了光柵貼合的平整度,又減輕了整個(gè)立體顯示裝置的重量,防止采用純玻璃時(shí)因過(guò)重而導(dǎo)致屏幕墜裂的風(fēng)險(xiǎn)。
實(shí)施例2
請(qǐng)參見(jiàn)圖4,圖4示出了本發(fā)明實(shí)施方式一的立體顯示裝置中跟蹤設(shè)備的較佳實(shí)施例結(jié)構(gòu)示意圖。如圖4所示,本發(fā)明實(shí)施例2還提出另一種跟蹤設(shè)備30,該跟蹤設(shè)備30包括:
標(biāo)記點(diǎn)設(shè)置單元1,用于對(duì)應(yīng)目標(biāo)對(duì)象的空間位置設(shè)置三個(gè)以上的標(biāo)記點(diǎn);這里的標(biāo)記點(diǎn)可以設(shè)置目標(biāo)對(duì)象上,也可以不設(shè)置于目標(biāo)對(duì)象上,而是設(shè)置在與目標(biāo)對(duì)象有相對(duì)位置關(guān)系,與目標(biāo)對(duì)象同步移動(dòng)的物體上也 可。例如,目標(biāo)對(duì)象是人眼,則可以在人眼的眼眶周?chē)O(shè)置標(biāo)記點(diǎn);或者在人眼周?chē)渲醚坨R,將標(biāo)記點(diǎn)設(shè)在眼鏡的鏡框上,又或者將標(biāo)記點(diǎn)設(shè)在與人眼位置關(guān)系相對(duì)固定的人的耳朵上。該標(biāo)記點(diǎn)可以是發(fā)送信號(hào)的紅外發(fā)射傳感器,LED燈,GPS傳感器,激光定位傳感器等各種部件,也可以是其它能夠被攝像機(jī)捕捉的物理標(biāo)識(shí),例如是具有形狀特征和/或顏色特征的物體。較佳地,為避免外界雜光的干擾,提高標(biāo)記點(diǎn)追蹤的魯棒性,優(yōu)選使用頻譜較為狹窄的紅外LED燈作為標(biāo)記點(diǎn),并使用只能通過(guò)紅外LED所使用頻譜的相應(yīng)的紅外攝像機(jī)對(duì)標(biāo)記點(diǎn)進(jìn)行捕捉??紤]到外界雜光多為不規(guī)則的形狀且亮度分布不均勻,可以將標(biāo)記點(diǎn)設(shè)置成可以發(fā)出規(guī)則形狀的光斑,發(fā)光強(qiáng)度較高,亮度均勻。該三個(gè)以上標(biāo)的標(biāo)記點(diǎn),每個(gè)標(biāo)記點(diǎn)對(duì)應(yīng)一個(gè)光斑,各個(gè)標(biāo)記點(diǎn)組成規(guī)則的幾何形狀,如三角形,四邊形等,從而易于被跟蹤到,方便相關(guān)的跟蹤設(shè)備獲得標(biāo)記點(diǎn)的空間位置信息,并提高光斑提取的準(zhǔn)確性。
獲取單元2,用于獲取該標(biāo)記點(diǎn)的位置信息;這可以是通過(guò)接收標(biāo)記點(diǎn)發(fā)出的信號(hào),來(lái)確定標(biāo)記點(diǎn)的位置信息,也可以是采用攝像機(jī)來(lái)拍攝含有標(biāo)記點(diǎn)的圖像,對(duì)圖像中的標(biāo)記點(diǎn)進(jìn)行提取。通過(guò)圖像處理算法來(lái)獲得標(biāo)記點(diǎn)的位置信息。
校正單元3,依據(jù)目標(biāo)對(duì)象相對(duì)水平面的傾斜角度,校正所述標(biāo)記點(diǎn)的位置信息。請(qǐng)參見(jiàn)圖5,圖中E1、E2表示人的左眼和右眼(目標(biāo)對(duì)象,),La、Lb、Lc為對(duì)應(yīng)目標(biāo)對(duì)象設(shè)置的三個(gè)紅外LED燈(標(biāo)記點(diǎn)),Lb位于La與Lc之間的中間位置,由于人的頭部?jī)A斜,圖中E1和E2相較于水平線OB存在一個(gè)傾斜角度,OM表示左眼觀看區(qū)域和右眼觀看區(qū)域的分界線,OM左側(cè)的區(qū)域表示左眼E1觀看的區(qū)域,OM右側(cè)的區(qū)域表示右眼E2觀看的區(qū)域。若人的頭部沒(méi)有傾斜,且以平時(shí)那樣正常觀看時(shí),Lb處于右眼區(qū)域與右眼區(qū)域的分界線處,按照現(xiàn)有技術(shù),則會(huì)以Lb與其對(duì)應(yīng)的人眼瞳距的中點(diǎn)O的連線OA作為左眼觀看區(qū)域和右眼觀看區(qū)域的分界線,但在傾斜時(shí),這一判斷明顯錯(cuò)誤,以致會(huì)使人看到的立體圖像存在著串?dāng)_,嚴(yán)重影響著立體顯示的效果。因此在圖5中,利用幾何關(guān)系,對(duì)目標(biāo)對(duì)象的位置信息進(jìn)行校正,以便得到準(zhǔn)確的目標(biāo)對(duì)象的位置信 息。具體如下:
在沒(méi)有校正的情況下,跟蹤設(shè)備會(huì)將燈Lb的x軸坐標(biāo)(水平方向的坐標(biāo)分量)傳輸給圖像播放處理單元,圖像播放處理單元根據(jù)該參數(shù)來(lái)進(jìn)行排圖,使左右圖分別投影到人的左眼和右眼。由于人的頭部相對(duì)水平面有一定傾斜角度后,燈Lb的x軸坐標(biāo)就不能正確地反映人眼的位置,因此需要進(jìn)行校正。此時(shí),假定以瞳距的中點(diǎn)O作為人眼位置的基準(zhǔn)。假設(shè)在人的頭部在沒(méi)有傾斜的情況下燈Lb的x軸坐標(biāo)跟點(diǎn)O的x軸坐標(biāo)一樣。以圖中燈Lb位置作為基準(zhǔn)建立坐標(biāo)系,燈Lb左側(cè)為x軸的負(fù)方向,右側(cè)為x軸的正方向。則點(diǎn)O的x軸坐標(biāo)能用已下公式表達(dá):
其中,x0是燈Lb的x軸坐標(biāo),y1、y2分別為燈La、燈Lc的y軸坐標(biāo),假定燈La和燈Lc之間的距離為L(zhǎng),燈Lb到O點(diǎn)之間的距離為h。這些參數(shù)都能通過(guò)跟蹤設(shè)備讀出(x0、y1、y2),也可根據(jù)需要設(shè)定(L),還可以給出估算值(h),因此能通過(guò)這些參數(shù)求出x的值,并可以校正得出OM線是頭部?jī)A斜后的分界線,使跟蹤設(shè)備在人的頭部?jī)A斜的情況下作出相應(yīng)校正,從而得到校正后的標(biāo)記點(diǎn)的位置信息,也就能準(zhǔn)確地得出目標(biāo)對(duì)象的位置信息,依據(jù)校正后的標(biāo)記點(diǎn)的位置信息,進(jìn)行排圖處理,降低了串?dāng)_,提升了頭部?jī)A斜時(shí)觀看裸眼3D顯示圖像的顯示效果。
相應(yīng)地,該顯示單元40依據(jù)校正后的所述標(biāo)記點(diǎn)的位置信息,調(diào)節(jié)所述顯示單元的像素排列方式,顯示立體圖像。該顯示單元40進(jìn)一步包括:重新構(gòu)建子單元40a,用于依據(jù)該標(biāo)記點(diǎn)的位置信息,重新構(gòu)建該目標(biāo)對(duì)象的空間位置;顯示子單元40b,依據(jù)所述空間位置,調(diào)節(jié)顯示單元的像素排列方式,顯示立體圖像。當(dāng)獲得到該標(biāo)記點(diǎn)的位置信息后,重新構(gòu)建出標(biāo)記點(diǎn)的空間位置,然后依據(jù)標(biāo)記點(diǎn)與目標(biāo)對(duì)象的相對(duì)位置關(guān)系,將標(biāo)記點(diǎn)的空間位置轉(zhuǎn)換到目標(biāo)對(duì)象的空間位置(例如人的左右兩眼的空間位置)。然后,顯示子單元基于前述空間位置信息,調(diào)整顯示單元的像素排列方式,顯示立體圖像。
進(jìn)一步地,該校正單元3包括:
檢測(cè)子單元,檢測(cè)所述目標(biāo)對(duì)象相對(duì)所述水平面的傾斜角度;例如人的頭部?jī)A斜時(shí),兩眼與水平面之間存在一個(gè)傾斜角度,通過(guò)這個(gè)傾斜角度可以利用簡(jiǎn)單的幾何關(guān)系計(jì)算出人眼的真實(shí)位置信息。
判斷子單元,判斷所述傾斜角度是否在預(yù)先設(shè)定的閾值范圍內(nèi);例如,對(duì)于微小的頭部?jī)A斜,由于其與原來(lái)正常時(shí)的位置變化不大,在這時(shí)不會(huì)影響到觀看效果,因此無(wú)需進(jìn)行調(diào)整,而對(duì)于明顯相對(duì)水平面偏移比較大時(shí),則需要作出校正。因此,可以根據(jù)實(shí)際情況,預(yù)先設(shè)定一個(gè)無(wú)需調(diào)整的閾值范圍,在這個(gè)范圍內(nèi),就不對(duì)標(biāo)記點(diǎn)的位置信息作出調(diào)整。
校正子單元,當(dāng)所述傾斜角度在預(yù)先設(shè)定的閾值范圍外時(shí),校正所述標(biāo)記點(diǎn)的位置信息。在頭部?jī)A斜角度較大時(shí),此時(shí)若判斷出在預(yù)先設(shè)定的閾值范圍之外,則對(duì)標(biāo)記點(diǎn)的位置信息進(jìn)行校正,保證得到準(zhǔn)確的標(biāo)記點(diǎn)位置信息。
通過(guò)判斷是否在閾值范圍內(nèi),對(duì)在閾值范圍外的進(jìn)行校正,而對(duì)閾值范圍內(nèi)的則不進(jìn)行校正,這樣有助于減少頻繁的校正所帶來(lái)的影響顯示設(shè)備的處理速度的問(wèn)題,具有較佳的實(shí)時(shí)立體顯示效果。
本發(fā)明實(shí)施例的跟蹤設(shè)備30通過(guò)獲取對(duì)應(yīng)目標(biāo)對(duì)象的標(biāo)記點(diǎn)的位置信息,并依據(jù)該位置信息,重新構(gòu)建出目標(biāo)對(duì)象的空間位置。與現(xiàn)有技術(shù)中使用攝像機(jī)作為人眼捕捉設(shè)備需要對(duì)二維圖像進(jìn)行特征分析從而獲取人眼位置或者使用其他利用人眼虹膜反射效果的人眼捕捉設(shè)備獲取人眼位置相比較,具有穩(wěn)定性好,準(zhǔn)確度高、成本低廉且對(duì)跟蹤設(shè)備與目標(biāo)對(duì)象之間的距離遠(yuǎn)近沒(méi)有要求的優(yōu)點(diǎn)。
請(qǐng)參見(jiàn)圖6,圖6示出了圖4中的獲取單元的具體結(jié)構(gòu)示意圖。前述獲取單元進(jìn)一步包括:
預(yù)設(shè)模塊21,用于預(yù)設(shè)一標(biāo)準(zhǔn)圖像,所述標(biāo)準(zhǔn)圖像中設(shè)有參考標(biāo)記點(diǎn),并獲取所述參考標(biāo)記點(diǎn)的空間坐標(biāo)和平面坐標(biāo);標(biāo)準(zhǔn)圖像例如可以是通過(guò)圖像采集設(shè)備采集的一個(gè)標(biāo)準(zhǔn)圖像,獲取參考標(biāo)記點(diǎn)的圖像坐標(biāo),并使用其他精確的立體測(cè)量設(shè)備如激光掃描儀,結(jié)構(gòu)光掃描儀(如Kinect等)等設(shè)備獲取標(biāo)準(zhǔn)圖像中參考標(biāo)記點(diǎn)的空間坐標(biāo)及平面坐標(biāo)。
獲取模塊22,用于獲取包含所述目標(biāo)對(duì)象及所述標(biāo)記點(diǎn)的當(dāng)前圖像,及所述標(biāo)記點(diǎn)在所述當(dāng)前圖像的平面坐標(biāo);
匹配模塊23,用于將所述當(dāng)前圖像中的標(biāo)記點(diǎn)與所述標(biāo)準(zhǔn)圖像的所述參考標(biāo)記點(diǎn)進(jìn)行匹配。這里要先將標(biāo)記點(diǎn)在所述當(dāng)前圖像的平面坐標(biāo)與參考標(biāo)記點(diǎn)在標(biāo)準(zhǔn)圖像的平面坐標(biāo)之間建立對(duì)應(yīng)關(guān)系,然后將標(biāo)記點(diǎn)與參考標(biāo)記點(diǎn)進(jìn)行匹配。
通過(guò)設(shè)置標(biāo)準(zhǔn)圖像及參考標(biāo)記點(diǎn)是便于在獲取當(dāng)前圖像的空間位置時(shí)能有一個(gè)參照物,這進(jìn)一步保證了本發(fā)明實(shí)施方式的目標(biāo)跟蹤裝置的穩(wěn)定性和準(zhǔn)確性。
進(jìn)一步地,該跟蹤設(shè)備30還包括:
采集單元,用于采集所述標(biāo)記點(diǎn);
篩選單元,從所述標(biāo)記點(diǎn)中篩選目標(biāo)標(biāo)記點(diǎn)。
具體來(lái)說(shuō),當(dāng)標(biāo)記點(diǎn)的數(shù)量為多個(gè)時(shí),采用攝像機(jī)采集對(duì)應(yīng)目標(biāo)對(duì)象的所有標(biāo)記點(diǎn),從所有標(biāo)記點(diǎn)中選取與目標(biāo)對(duì)象最相關(guān)的標(biāo)記點(diǎn),然后使用相應(yīng)的圖像處理算法對(duì)圖像上的標(biāo)記點(diǎn)進(jìn)行提取,該提取需要根據(jù)標(biāo)記點(diǎn)的特征來(lái)進(jìn)行??偟膩?lái)講,對(duì)該標(biāo)記點(diǎn)的特征進(jìn)行提取的方法是對(duì)圖像I使用特征提取函數(shù)H,獲取圖像中每個(gè)點(diǎn)的特征分?jǐn)?shù),并篩選出特征值足夠高的標(biāo)記點(diǎn)。這里可以用下述公式歸納表示:
S(x,y)=H(I(x,y))
F={arg(x,y)(S(x,y)>s0)}
上述式中,H是特征提取函數(shù),I(x,y)是每一個(gè)像素(x,y)所對(duì)應(yīng)的圖像值,可以是灰度值或三通道的顏色能量值等,S(x,y)是每一個(gè)像素(x,y)經(jīng)過(guò)特征提取后的特征分?jǐn)?shù),s0是一個(gè)特征分?jǐn)?shù)閾值,大于s0的S(x,y)可以被認(rèn)為是標(biāo)記點(diǎn),F(xiàn)是標(biāo)記點(diǎn)集合。較佳地,本發(fā)明實(shí)施例使用紅外標(biāo)記點(diǎn)以及紅外攝像機(jī)所成圖像的能量特征較為明顯。由于使用窄帶LED紅外燈,以及相應(yīng)的紅外攝像機(jī),攝像機(jī)所成圖像的大多數(shù)像素能量很低,僅有標(biāo)記點(diǎn)對(duì)應(yīng)的像素具有高能量。因此相應(yīng)的函數(shù)H(x,y)可以是對(duì)使用閾值分割算子后的圖像B(x,y)進(jìn)行區(qū)域增長(zhǎng)獲取若干子圖像,并對(duì)獲得到的子圖像進(jìn)行重心提取。同時(shí),根據(jù)環(huán)境光中能在紅外攝 像機(jī)中成像的雜光,我們可在紅外標(biāo)記點(diǎn)提取過(guò)程中添加諸如標(biāo)記點(diǎn)所成光斑面積,標(biāo)記點(diǎn)在二維圖像中的位置關(guān)系等約束條件對(duì)提取出的標(biāo)記點(diǎn)進(jìn)行篩選。
當(dāng)攝像機(jī)數(shù)目大于1時(shí),需要對(duì)不同攝像機(jī)在同一時(shí)刻或接近同一時(shí)刻獲取的圖像進(jìn)行標(biāo)記點(diǎn)匹配,從而為后續(xù)的標(biāo)記點(diǎn)三維重建提供條件。標(biāo)記點(diǎn)匹配的方法需要根據(jù)特征提取函數(shù)H而定。我們可以使用一些經(jīng)典的基于圖像灰度梯度圖的特征點(diǎn)提取算子和與之相配的匹配方法如Harris,SIFT,F(xiàn)AST等方法獲取并匹配標(biāo)記點(diǎn)。也可以使用極限約束,標(biāo)記點(diǎn)的先驗(yàn)條件等方式進(jìn)行標(biāo)記點(diǎn)匹配。這里使用極限約束進(jìn)行匹配篩選的方法是:根據(jù)同一個(gè)點(diǎn)在兩個(gè)不同攝像機(jī)圖像上的投影都處于同一平面這個(gè)原理,對(duì)于某一個(gè)攝像機(jī)c0中的某一個(gè)標(biāo)記點(diǎn)p0,我們都可以在其他攝像機(jī)c1中計(jì)算一條極線方程,標(biāo)記點(diǎn)p0對(duì)應(yīng)于該其它攝像機(jī)c1上的標(biāo)記點(diǎn)p1符合下述關(guān)系:
[p1;1]TF[p0;1]=0
上述式中,F(xiàn)是攝像機(jī)c0到攝像機(jī)c1的基礎(chǔ)矩陣。通過(guò)使用上述關(guān)系,我們可以大大縮少標(biāo)記點(diǎn)p1的候選個(gè)數(shù),提高匹配準(zhǔn)確度。
此外,我們可以使用標(biāo)記點(diǎn)的先驗(yàn)條件是標(biāo)記點(diǎn)的空間順序,標(biāo)記點(diǎn)的尺寸等。比如根據(jù)兩個(gè)攝像機(jī)的相互位置關(guān)系使其所拍攝的圖像上的每一對(duì)對(duì)應(yīng)同一空間點(diǎn)的兩個(gè)像素在某一個(gè)維度比如y軸上相等,這個(gè)過(guò)程也被稱(chēng)為圖像校準(zhǔn)(rectification)。則此時(shí)標(biāo)記點(diǎn)的匹配也就可以根據(jù)標(biāo)記點(diǎn)的x軸順序執(zhí)行,即最小x對(duì)應(yīng)最小x,依次類(lèi)推,最大的x對(duì)應(yīng)最大的x。
實(shí)施例3
請(qǐng)參見(jiàn)圖7,圖7示出了圖4的跟蹤裝置中對(duì)應(yīng)目標(biāo)對(duì)象設(shè)置標(biāo)記點(diǎn)的定位支架的結(jié)構(gòu)示意圖。如圖7所示,本發(fā)明提供一種定位支架,該定位支架位于人眼(目標(biāo)對(duì)象)前方,結(jié)構(gòu)與眼鏡相似,其佩戴類(lèi)似于眼鏡,包括:橫梁11、固定部12、支撐部13以及控制部14,橫梁11設(shè)置有標(biāo)記點(diǎn)111;支撐部13設(shè)置于橫梁11上;固定部12與橫梁11的端部樞軸連接。其中標(biāo)記點(diǎn)111設(shè)置的位置與人眼(目標(biāo)對(duì)象)的位置相對(duì)應(yīng), 通過(guò)獲取標(biāo)記點(diǎn)111的空間位置信息,然后據(jù)此計(jì)算人眼的空間位置信息。當(dāng)人的頭部發(fā)生移動(dòng)時(shí),相應(yīng)地,與人眼對(duì)應(yīng)的標(biāo)記點(diǎn)111也發(fā)生移動(dòng),攝像機(jī)跟蹤標(biāo)記點(diǎn)111的移動(dòng),然后采用前述實(shí)施方式一的目標(biāo)對(duì)象跟蹤方法的方案獲取標(biāo)記點(diǎn)111的空間位置信息,利用標(biāo)記點(diǎn)111與人眼的相對(duì)空間位置關(guān)系,重新構(gòu)建出人眼(目標(biāo)對(duì)象)的空間位置(即在空間中的三維坐標(biāo))。
在本實(shí)施例中,橫梁11為一長(zhǎng)條形,且具有一定的弧度,其弧度與人的額頭弧度近似,以方便使用。橫梁11包括上表面112、與其相對(duì)的下表面、設(shè)置在上表面112與下表面之間的第一表面114以及第二表面。
在本實(shí)施例中,標(biāo)記點(diǎn)111為三個(gè)LED燈,其間隔均勻地設(shè)置在橫梁11的第一表面114上。可以理解的是,標(biāo)記點(diǎn)111數(shù)量還可以是四個(gè)、五個(gè)或任意多個(gè),且可以為任意光源,包括LED燈、紅外燈或紫外燈等。并且,所述標(biāo)記點(diǎn)111的排列方式與設(shè)置位置也可以根據(jù)需要進(jìn)行調(diào)整。
可以理解的是,橫梁11也可以根據(jù)需要設(shè)計(jì)成直線形或者其他形狀。
本實(shí)施例中,固定部12有兩個(gè),分別與橫梁11的兩端通過(guò)樞軸連接,且兩個(gè)固定部12可相對(duì)向內(nèi)折疊,同時(shí),兩個(gè)固定部12可分別向外展開(kāi)至與橫梁11呈100°左右的內(nèi)角,具體的,可以根據(jù)實(shí)際操作需求調(diào)整內(nèi)角的大小??梢岳斫獾?,固定部12也可以為一個(gè)。
固定部12遠(yuǎn)離橫梁11的一端沿支撐部13的延伸方向彎折設(shè)置,以用于將固定部12的端部固定于人的耳朵上。
本實(shí)施例中,支撐部13呈條狀,設(shè)置在橫梁11的下表面113的中部且向下延伸。進(jìn)一步,支撐部13遠(yuǎn)離橫梁11的端部設(shè)置有鼻托131,以用于將定位裝置配合鼻梁,并將定位裝置設(shè)置于人眼上方??梢岳斫獾?,在其他實(shí)施例中,若不設(shè)置鼻托131,則支撐部13可設(shè)置成倒“Y”型,并沿橫梁11的中部且向下延伸,用以將定位裝置配合鼻梁,并將定位裝置設(shè)置于人眼上方。
控制部14呈圓角長(zhǎng)方體,設(shè)置在固定部12上??刂撇?4用于給所 述LED燈,紅外燈或紫外燈提供電源、及/或者控制所述LED燈,紅外燈或紫外燈的使用狀態(tài),其包括電源開(kāi)關(guān)141、電源指示燈和充電指示燈。可以理解的是,控制部14不限定形狀,其可以為任意形狀,也可以為一集成芯片。并且,控制部14也可以設(shè)置在其他位置,如橫梁11上。
使用時(shí),打開(kāi)電源開(kāi)關(guān)141,電源指示燈顯示LED處于供電狀態(tài),LED燈被點(diǎn)亮;當(dāng)電量不足時(shí),充電指示燈提示電量不足;關(guān)閉電源開(kāi)關(guān),電源指示燈熄滅,表示LED處于關(guān)閉狀態(tài),LED燈熄滅。
由于人的瞳距范圍為58mm~64mm,可近似認(rèn)為人的瞳距為定值,本發(fā)明提供的定位支架類(lèi)似于眼鏡架,且固定于人眼上方,類(lèi)似于眼鏡架,根據(jù)需要,將標(biāo)記點(diǎn)設(shè)置在定位裝置的預(yù)定位置,從而可以簡(jiǎn)單方便地根據(jù)標(biāo)記點(diǎn)的位置確定人眼的位置。定位裝置結(jié)構(gòu)簡(jiǎn)單,設(shè)計(jì)與使用方便。
實(shí)施方式二
請(qǐng)參見(jiàn)圖8至圖11,圖8是本發(fā)明實(shí)施方式二的立體顯示方法的流程示意圖,圖9是圖8中S1的具體流程示意圖,圖10是圖9中S12的具體流程示意圖,圖11是圖8中的S3的具體流程示意圖。如圖8至圖11所示,本發(fā)明實(shí)施方式二的立體顯示方法,主要包括以下步驟:
S1獲取目標(biāo)對(duì)象的位置信息;利用跟蹤設(shè)備跟蹤目標(biāo)對(duì)象的位置,例如觀看者所在的位置信息。
S2獲取立體顯示裝置的分光單元的光柵參數(shù)及顯示單元的顯示參數(shù);分光單元的光柵參數(shù)主要包括光柵的柵距(pitch)和光柵相對(duì)顯示面板的傾斜角度、光柵相對(duì)顯示面板的放置距離等參數(shù)。
S3依據(jù)該位置信息和該光柵參數(shù)及顯示單元的顯示參數(shù)實(shí)時(shí)處理待播放的圖像。在待播放立體圖像前,需要預(yù)先結(jié)合人眼的位置信息和光柵參數(shù)及顯示單元的顯示參數(shù),對(duì)圖像進(jìn)行處理,以便提供給觀看者最佳的立體顯示效果。
S4顯示該待播放的圖像。
本發(fā)明的立體顯示方法,通過(guò)及時(shí)獲取到目標(biāo)對(duì)象的位置信息及光柵參數(shù),并據(jù)此直接進(jìn)行圖像處理,提高了圖像播放的速度,能滿足實(shí)時(shí)立體顯示的要求。
實(shí)施例4
請(qǐng)參見(jiàn)圖9,本發(fā)明實(shí)施例4主要是對(duì)S1如何獲取目標(biāo)對(duì)象的位置信息作詳細(xì)描述。這些目標(biāo)對(duì)象例如為人眼、人的頭部、人的面部或者人體的上半身等與人觀看相關(guān)的部位。上述“S1獲取目標(biāo)對(duì)象的位置信息”主要包括以下步驟:
S11對(duì)應(yīng)目標(biāo)對(duì)象的空間位置設(shè)置三個(gè)以上的標(biāo)記點(diǎn);這里的標(biāo)記點(diǎn)可以設(shè)置目標(biāo)對(duì)象上,也可以不設(shè)置于目標(biāo)對(duì)象上,而是設(shè)置在與目標(biāo)對(duì)象有相對(duì)位置關(guān)系,并與目標(biāo)對(duì)象同步移動(dòng)的物體上也可。例如,目標(biāo)對(duì)象是人眼,則可以在人眼的眼眶周?chē)O(shè)置標(biāo)記點(diǎn);或者在人眼周?chē)渲枚ㄎ恢Ъ埽瑢?biāo)記點(diǎn)設(shè)在定位支架的框上,又或者將標(biāo)記點(diǎn)設(shè)在與人眼位置關(guān)系相對(duì)固定的人的耳朵上。該標(biāo)記點(diǎn)可以是發(fā)送信號(hào)的紅外發(fā)射傳感器,LED燈,GPS傳感器,激光定位傳感器等各種部件,也可以是其它能夠被攝像機(jī)捕捉的物理標(biāo)識(shí),例如是具有形狀特征和/或顏色特征的物體。較佳地,為避免外界雜光的干擾,提高標(biāo)記點(diǎn)追蹤的魯棒性,優(yōu)選使用頻譜較為狹窄的紅外LED燈作為標(biāo)記點(diǎn),并使用只能通過(guò)紅外LED所使用頻譜的相應(yīng)的紅外攝像機(jī)對(duì)標(biāo)記點(diǎn)進(jìn)行捕捉??紤]到外界雜光多為不規(guī)則的形狀且亮度分布不均勻,可以將標(biāo)記點(diǎn)設(shè)置成可以發(fā)出規(guī)則形狀的光斑,發(fā)光強(qiáng)度較高,亮度均勻。另外設(shè)置的三個(gè)以上的標(biāo)記點(diǎn),每個(gè)標(biāo)記點(diǎn)對(duì)應(yīng)一個(gè)光斑,各個(gè)標(biāo)記點(diǎn)組成規(guī)則的幾何形狀,如三角形,四邊形等,從而易于跟蹤到標(biāo)記點(diǎn),獲得標(biāo)記點(diǎn)的空間位置信息,并提高光斑提取的準(zhǔn)確性。
S12獲取該標(biāo)記點(diǎn)的位置信息;這可以是通過(guò)接收標(biāo)記點(diǎn)發(fā)出的信號(hào),來(lái)確定標(biāo)記點(diǎn)的位置信息,也可以是采用攝像機(jī)來(lái)拍攝含有標(biāo)記點(diǎn)的圖像,對(duì)圖像中的標(biāo)記點(diǎn)進(jìn)行提取。通過(guò)圖像處理算法來(lái)獲得標(biāo)記點(diǎn)的位置信息。
S13依據(jù)目標(biāo)對(duì)象相對(duì)水平面的傾斜角度,校正所述標(biāo)記點(diǎn)的位置信息。
通過(guò)對(duì)標(biāo)記點(diǎn)的位置信息進(jìn)行校正,可以避免目標(biāo)對(duì)象與水平面存在一定的傾斜角度時(shí),標(biāo)記點(diǎn)的位置信息未能準(zhǔn)確地代表目標(biāo)對(duì)象的位置信息,從而導(dǎo)致出現(xiàn)串?dāng)_的問(wèn)題,提升了立體顯示的效果。
相應(yīng)地,所述顯示步驟進(jìn)一步包括:
S14依據(jù)校正后的所述標(biāo)記點(diǎn)的位置信息,調(diào)整顯示單元的像素排列方式,顯示所述立體圖像。
進(jìn)一步地,所述步驟S14進(jìn)一步包括:
S141依據(jù)校正后的所述標(biāo)記點(diǎn)的位置信息,重新構(gòu)建所述目標(biāo)對(duì)象的空間位置;
S142依據(jù)所述空間位置,調(diào)節(jié)顯示單元的像素排列方式,顯示立體圖像。
依據(jù)該校正后的標(biāo)記點(diǎn)的位置信息,重新構(gòu)建該目標(biāo)對(duì)象的空間位置。當(dāng)獲得到該標(biāo)記點(diǎn)的位置信息后,重新構(gòu)建出標(biāo)記點(diǎn)的空間位置,然后依據(jù)標(biāo)記點(diǎn)與目標(biāo)對(duì)象的相對(duì)位置關(guān)系,將標(biāo)記點(diǎn)的空間位置轉(zhuǎn)換到目標(biāo)對(duì)象的空間位置(例如人的左右兩眼的空間位置)。
本發(fā)明實(shí)施方式二的通過(guò)獲取對(duì)應(yīng)目標(biāo)對(duì)象的標(biāo)記點(diǎn)的位置信息,并依據(jù)該位置信息,重新構(gòu)建出目標(biāo)對(duì)象的空間位置。與現(xiàn)有技術(shù)中使用攝像機(jī)作為人眼捕捉設(shè)備需要對(duì)二維圖像進(jìn)行特征分析從而獲取人眼位置或者使用其他利用人眼虹膜反射效果的人眼捕捉設(shè)備獲取人眼位置相比較,具有穩(wěn)定性好,捕捉人眼的位置信息的準(zhǔn)確度高、成本低廉且對(duì)跟蹤設(shè)備與目標(biāo)對(duì)象之間的距離遠(yuǎn)近沒(méi)有要求等優(yōu)點(diǎn)。
進(jìn)一步地,所述步驟S13進(jìn)一步包括:
S131檢測(cè)所述目標(biāo)對(duì)象相對(duì)所述水平面的傾斜角度;
S132判斷所述傾斜角度是否在預(yù)先設(shè)定的閾值范圍內(nèi);
S133若否,則校正所述標(biāo)記點(diǎn)的位置信息。
通過(guò)判斷是否在閾值范圍內(nèi),對(duì)在閾值范圍外的進(jìn)行校正,而對(duì)閾值范圍內(nèi)的則不進(jìn)行校正,這樣有助于減少頻繁的校正所帶來(lái)的影響顯示設(shè) 備的處理速度的問(wèn)題,具有較佳的實(shí)時(shí)立體顯示效果。
請(qǐng)參見(jiàn)圖10,上述步驟S12進(jìn)一步包括:
S121預(yù)設(shè)一標(biāo)準(zhǔn)圖像,所述標(biāo)準(zhǔn)圖像中設(shè)有參考標(biāo)記點(diǎn),并獲取所述參考標(biāo)記點(diǎn)的空間坐標(biāo)和平面坐標(biāo);標(biāo)準(zhǔn)圖像例如可以是通過(guò)圖像采集設(shè)備采集的一個(gè)標(biāo)準(zhǔn)圖像,獲取參考標(biāo)記點(diǎn)的圖像坐標(biāo),并使用其他精確的立體測(cè)量設(shè)備如激光掃描儀,結(jié)構(gòu)光掃描儀(如Kinect等)等設(shè)備獲取標(biāo)準(zhǔn)圖像中參考標(biāo)記點(diǎn)的空間坐標(biāo)及平面坐標(biāo)。
S122獲取包含所述目標(biāo)對(duì)象及所述標(biāo)記點(diǎn)的當(dāng)前圖像,及所述標(biāo)記點(diǎn)在所述當(dāng)前圖像的平面坐標(biāo);
S123將所述當(dāng)前圖像中的標(biāo)記點(diǎn)與所述標(biāo)準(zhǔn)圖像的所述參考標(biāo)記點(diǎn)進(jìn)行匹配。這里要先將標(biāo)記點(diǎn)在所述當(dāng)前圖像的平面坐標(biāo)與參考標(biāo)記點(diǎn)在標(biāo)準(zhǔn)圖像的平面坐標(biāo)之間建立對(duì)應(yīng)關(guān)系,然后將標(biāo)記點(diǎn)與參考標(biāo)記點(diǎn)進(jìn)行匹配。
通過(guò)設(shè)置標(biāo)準(zhǔn)圖像及參考標(biāo)記點(diǎn)是便于在獲取當(dāng)前圖像的空間位置時(shí)能有一個(gè)參照物,這進(jìn)一步保證了本發(fā)明實(shí)施方式的目標(biāo)跟蹤方法的穩(wěn)定性和準(zhǔn)確性。
進(jìn)一步地,在上述S11與S12之間還包括:
S14采集所述標(biāo)記點(diǎn);
S15從所述標(biāo)記點(diǎn)中篩選目標(biāo)標(biāo)記點(diǎn)。
具體來(lái)說(shuō),當(dāng)標(biāo)記點(diǎn)的數(shù)量為多個(gè)時(shí),采用攝像機(jī)采集對(duì)應(yīng)目標(biāo)對(duì)象的所有標(biāo)記點(diǎn),從所有標(biāo)記點(diǎn)中選取與目標(biāo)對(duì)象最相關(guān)的標(biāo)記點(diǎn),然后使用相應(yīng)的圖像處理算法對(duì)圖像上的標(biāo)記點(diǎn)進(jìn)行提取,該提取需要根據(jù)標(biāo)記點(diǎn)的特征來(lái)進(jìn)行??偟膩?lái)講,對(duì)該標(biāo)記點(diǎn)的特征進(jìn)行提取的方法是對(duì)圖像I使用特征提取函數(shù)H,獲取圖像中每個(gè)點(diǎn)的特征分?jǐn)?shù),并篩選出特征值足夠高的標(biāo)記點(diǎn)。這里可以用下述公式歸納表示:
S(x,y)=H(I(x,y))
F={arg(x,y)(S(x,y)>s0)}
上述式中,H是特征提取函數(shù),I(x,y)是每一個(gè)像素(x,y)所對(duì)應(yīng)的圖像值,可以是灰度值或三通道的顏色能量值等,S(x,y)是每一個(gè)像素 (x,y)經(jīng)過(guò)特征提取后的特征分?jǐn)?shù),s0是一個(gè)特征分?jǐn)?shù)閾值,大于s0的S(x,y)可以被認(rèn)為是標(biāo)記點(diǎn),F(xiàn)是標(biāo)記點(diǎn)集合。較佳地,本發(fā)明實(shí)施例使用紅外標(biāo)記點(diǎn)以及紅外攝像機(jī)所成圖像的能量特征較為明顯。由于使用窄帶LED紅外燈,以及相應(yīng)的紅外攝像機(jī),攝像機(jī)所成圖像的大多數(shù)像素能量很低,僅有標(biāo)記點(diǎn)對(duì)應(yīng)的像素具有高能量。因此相應(yīng)的函數(shù)H(x,y)可以是對(duì)使用閾值分割算子后的圖像B(x,y)進(jìn)行區(qū)域增長(zhǎng)獲取若干子圖像,并對(duì)獲得到的子圖像進(jìn)行重心提取。該特征提取函數(shù)H(x,y),可以是Harris,SIFT,F(xiàn)AST等特征點(diǎn)函數(shù),也可以是圓形光斑提取等圖像處理函數(shù)。同時(shí),根據(jù)環(huán)境光中能在紅外攝像機(jī)中成像的雜光,我們可在紅外標(biāo)記點(diǎn)提取過(guò)程中添加諸如標(biāo)記點(diǎn)所成光斑面積,標(biāo)記點(diǎn)在二維圖像中的位置關(guān)系等約束條件對(duì)提取出的標(biāo)記點(diǎn)進(jìn)行篩選。
當(dāng)攝像機(jī)數(shù)目大于1時(shí),需要對(duì)不同攝像機(jī)在同一時(shí)刻或接近同一時(shí)刻獲取的圖像進(jìn)行標(biāo)記點(diǎn)匹配,從而為后續(xù)的標(biāo)記點(diǎn)三維重建提供條件。標(biāo)記點(diǎn)匹配的方法需要根據(jù)特征提取函數(shù)H而定。我們可以使用一些經(jīng)典的基于圖像灰度梯度圖的特征點(diǎn)提取算子和與之相配的匹配方法如Harris,SIFT,F(xiàn)AST等方法獲取并匹配標(biāo)記點(diǎn)。也可以使用極限約束,標(biāo)記點(diǎn)的先驗(yàn)條件等方式進(jìn)行標(biāo)記點(diǎn)匹配。這里使用極限約束進(jìn)行匹配篩選的方法是:根據(jù)同一個(gè)點(diǎn)在兩個(gè)不同攝像機(jī)圖像上的投影都處于同一平面這個(gè)原理,對(duì)于某一個(gè)攝像機(jī)c0中的某一個(gè)標(biāo)記點(diǎn)p0,我們都可以在其他攝像機(jī)c1中計(jì)算一條極線方程,標(biāo)記點(diǎn)p0對(duì)應(yīng)于該其它攝像機(jī)c1上的標(biāo)記點(diǎn)p1符合下述關(guān)系:
[p1;1]TF[p0;1]=0
上述式中,F(xiàn)是攝像機(jī)c0到攝像機(jī)c1的基礎(chǔ)矩陣。通過(guò)使用上述關(guān)系,我們可以大大縮少標(biāo)記點(diǎn)p1的候選個(gè)數(shù),提高匹配準(zhǔn)確度。
此外,我們可以使用標(biāo)記點(diǎn)的先驗(yàn)條件是標(biāo)記點(diǎn)的空間順序,標(biāo)記點(diǎn)的尺寸等。比如根據(jù)兩個(gè)攝像機(jī)的相互位置關(guān)系使其所拍攝的圖像上的每一對(duì)對(duì)應(yīng)同一空間點(diǎn)的兩個(gè)像素在某一個(gè)維度比如y軸上相等,這個(gè)過(guò)程也被稱(chēng)為圖像校準(zhǔn)(rectification)。則此時(shí)標(biāo)記點(diǎn)的匹配也就可以根據(jù)標(biāo)記點(diǎn)的x軸順序執(zhí)行,即最小x對(duì)應(yīng)最小x,依次類(lèi)推,最大的x對(duì) 應(yīng)最大的x。
實(shí)施例5
請(qǐng)參見(jiàn)圖12,圖12是圖8中的S3的具體流程示意圖。如圖12所示,基于前述實(shí)施方式二及前述實(shí)施例,本發(fā)明的立體顯示方法的步驟S3進(jìn)一步包括:
S301排圖參數(shù)確定步驟,依據(jù)獲取到的所述目標(biāo)對(duì)象的位置信息和所述分光單元的光柵參數(shù)及顯示單元的顯示參數(shù)計(jì)算出在顯示單元上的排圖參數(shù);
S302視差圖像排列步驟,依據(jù)所述排圖參數(shù)排列所述顯示單元上的視差圖像;
S303視差圖像播放步驟,播放所述視差圖像。
通過(guò)上述的步驟,對(duì)待播放的立體圖像進(jìn)行重新排列,提高了立體顯示的效果。
進(jìn)一步地,在步驟S301之前還包括:S304立體圖像獲取步驟,獲取實(shí)時(shí)拍攝到的所述立體圖像的信息。在邊播放視差圖像的同時(shí),邊獲取實(shí)時(shí)拍攝到的立體圖像信息,提高了圖像處理的效率,不僅保證了實(shí)時(shí)播放,而且同時(shí)減少了因立體顯示圖像占用的數(shù)據(jù)存儲(chǔ)量非常大而要求大內(nèi)存的要求,降低了成本。
以上所述僅為本發(fā)明的優(yōu)選實(shí)施方式而已,并不用于限制本發(fā)明,對(duì)于本領(lǐng)域的技術(shù)人員來(lái)說(shuō),本發(fā)明可以有各種更改和變化。凡在本發(fā)明的精神和原則之內(nèi),所作的任何修改、等同替換、改進(jìn)等,均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。