顯示系統(tǒng)和方法
【專利摘要】顯示系統(tǒng)包括:用于檢測(cè)駕駛者的眼球的視線跟蹤攝像機(jī)、第一和第二立體攝像機(jī)、控制單元以及存儲(chǔ)單元。第一和第二立體攝像機(jī)根據(jù)基于立體攝像機(jī)的視線信息拍攝與視野相應(yīng)的范圍,并提供拍攝的圖像,其中該基于立體攝像機(jī)的視線信息根據(jù)基于預(yù)存的視線跟蹤攝像機(jī)的視線信息而改變??刂茊卧诟檾z像機(jī)以及第一和第二立體攝像機(jī)的位置和旋轉(zhuǎn)信息將基于視線跟蹤攝像機(jī)的視線信息轉(zhuǎn)換為基于第一和第二立體攝像機(jī)的視線信息,并且將轉(zhuǎn)換后的信息投射到第一和第二立體攝像機(jī)上,從而計(jì)算三維視線坐標(biāo)。存儲(chǔ)單元存儲(chǔ)與系統(tǒng)有關(guān)的信息以及跟蹤攝像機(jī)以及第一和第二立體攝像機(jī)的位置和旋轉(zhuǎn)信息。
【專利說明】顯示系統(tǒng)和方法【技術(shù)領(lǐng)域】
[0001]本發(fā)明概念涉及一種顯示系統(tǒng)和方法。
【背景技術(shù)】
[0002]目前,如專利文件丨中所公開的,已開發(fā)了用于車輛駕駛者的方便和安全的各種
車輛安全裝置。
[0003]更具體地,提供了一種獲得車輛內(nèi)駕駛者的視線并使用獲得的視線來提供車輛所駕駛的道路的實(shí)時(shí)前景、警報(bào)服務(wù)等的視線跟蹤技術(shù)。
[0004]然而,主要在僅檢測(cè)視線方向的二維(2D)環(huán)境例如廣告效率的驗(yàn)證、利用顯示器的界面等中優(yōu)化上述視線跟蹤技術(shù)。
[0005]同時(shí),由于駕駛者在駕駛車輛時(shí)使用肉眼觀看實(shí)際環(huán)境例如3D環(huán)境,僅使用2D環(huán)境中檢測(cè)到的視線矢量來準(zhǔn)確檢測(cè)視線方向存在限制。
[0006][相關(guān)技術(shù)文件]
[0007][專利文件]
[0008](專利文件1) KRlO-2Ol 1_0139474A
【發(fā)明內(nèi)容】
[0009]因此,制作本發(fā)明概念以解決現(xiàn)有技術(shù)中出現(xiàn)的上述問題,同時(shí)完整保持現(xiàn)有技術(shù)所實(shí)現(xiàn)的優(yōu)點(diǎn)。
[0010]本發(fā)明概念的一個(gè)方面涉及一種用于檢測(cè)基于三維的駕駛者視線坐標(biāo)的顯示系統(tǒng)和方法。顯示系統(tǒng)包括配置成檢測(cè)駕駛者眼球的視線跟蹤攝像機(jī)。第一和第二立體攝像機(jī)配置成根據(jù)基于立體攝像機(jī)的駕駛者視線信息拍攝與駕駛者視野相應(yīng)的范圍,并提供所拍攝的圖像,其中該基于立體攝像機(jī)的駕駛者視線信息根據(jù)基于視線跟蹤攝像機(jī)的駕駛者視線信息而改變??刂茊卧渲贸苫陬A(yù)存的視線跟蹤攝像機(jī)以及第一和第二立體攝像機(jī)的位置信息和旋轉(zhuǎn)信息來將基于視線跟蹤攝像機(jī)的駕駛者視線信息轉(zhuǎn)換為基于第一和第二立體攝像機(jī)的駕駛者視線信息,并且將轉(zhuǎn)換后的信息投射到第一和第二立體攝像機(jī)上,從而計(jì)算駕駛者視線的三維坐標(biāo)。存儲(chǔ)單元配置成存儲(chǔ)與顯示系統(tǒng)有關(guān)的信息以及視線跟蹤攝像機(jī)以及第一和第二立體攝像機(jī)的位置信息和旋轉(zhuǎn)信息。
[0011]基于視線跟蹤攝像機(jī)的駕駛者視線信息可包括視線跟蹤矢量單眼點(diǎn)和視線跟蹤矢量??刂茊卧膳渲贸蓪⒒谝暰€跟蹤攝像機(jī)的視線跟蹤矢量單眼點(diǎn)轉(zhuǎn)換為基于立體攝像機(jī)的視線跟蹤矢量單眼點(diǎn)。
[0012]控制單元可配置成通過下式I將基于視線跟蹤攝像機(jī)的視線跟蹤矢量單眼點(diǎn)(位置)
【權(quán)利要求】
1.一種顯不系統(tǒng),包括: 視線跟蹤攝像機(jī),配置成檢測(cè)駕駛者的眼球; 第一和第二立體攝像機(jī),配置成根據(jù)基于立體攝像機(jī)的駕駛者視線信息拍攝與駕駛者視野相應(yīng)的范圍,并提供拍攝的圖像,其中所述基于立體攝像機(jī)的駕駛者視線信息根據(jù)基于視線跟蹤攝像機(jī)的駕駛者視線信息而改變; 控制單元,配置成基于預(yù)存的所述視線跟蹤攝像機(jī)以及所述第一和第二立體攝像機(jī)的位置信息和旋轉(zhuǎn)信息來將所述基于視線跟蹤攝像機(jī)的駕駛者視線信息轉(zhuǎn)換為基于第一和第二立體攝像機(jī)的駕駛者視線信息,并將轉(zhuǎn)換后的信息投射到所述第一和第二立體攝像機(jī)上,從而計(jì)算駕駛者視線的三維坐標(biāo);以及 存儲(chǔ)單元,配置成存儲(chǔ)與所述顯示系統(tǒng)有關(guān)的信息以及所述視線跟蹤攝像機(jī)以及所述第一和第二立體攝像機(jī)的位置信息和旋轉(zhuǎn)信息。
2.根據(jù)權(quán)利要求1所述的顯示系統(tǒng),其中: 所述基于視線跟蹤攝像機(jī)的駕駛者視線信息包括視線跟蹤矢量單眼點(diǎn)和視線跟蹤矢量,并且 所述控制單元配置成將所述基于視線跟蹤攝像機(jī)的視線跟蹤矢量單眼點(diǎn)轉(zhuǎn)換為基于立體攝像機(jī)的視線跟蹤矢量單眼點(diǎn)。
3.根據(jù)權(quán)利要求2所述的顯示系統(tǒng),其中所述控制單元配置成通過下式I將所述基于視線跟蹤攝像機(jī)的視線跟蹤矢量單眼點(diǎn)(位置)
4.根據(jù)權(quán)利要求1所述的顯示系統(tǒng),其中: 所述基于視線跟蹤攝像機(jī)的駕駛者視線信息包括視線跟蹤矢量單眼點(diǎn)和視線跟蹤矢量,并且 所述控制單元配置成將所述基于視線跟蹤攝像機(jī)的視線跟蹤矢量轉(zhuǎn)換為基于立體攝像機(jī)的視線跟蹤矢量。
5.根據(jù)權(quán)利要求4所述的顯示系統(tǒng),其中所述控制單元配置成通過下式2將所述基于視線跟蹤攝像機(jī)的視線跟蹤矢量
6.根據(jù)權(quán)利要求1所述的顯示系統(tǒng),其中所述控制單元配置成根據(jù)投射到所述第一和第二立體攝像機(jī)上的基于立體攝像機(jī)的視線跟蹤矢量計(jì)算駕駛者視線注視點(diǎn),并基于計(jì)算出的駕駛者視線注視點(diǎn)計(jì)算所述駕駛者視線的三維坐標(biāo)。
7.根據(jù)權(quán)利要求6所述的顯示系統(tǒng),其中所述控制單元配置成在投射到所述第一立體攝像機(jī)上的圖像上生成與預(yù)設(shè)的人視線主要注視范圍相應(yīng)的窗口,根據(jù)基于第一立體攝像機(jī)的視線跟蹤矢量移動(dòng)所生成窗口的單眼點(diǎn),執(zhí)行模板匹配使得被移動(dòng)的窗口與所述第二立體攝像機(jī)的視線跟蹤矢量相應(yīng),并且作為執(zhí)行所述模板匹配的結(jié)果將最高位置識(shí)別為駕駛者視線注視點(diǎn)。
8.根據(jù)權(quán)利要求6所述的顯示系統(tǒng),其中所述駕駛者視線的三維坐標(biāo)為Ρ(Χρ,Υρ,Ζρ),
9.一種在包括視線跟蹤攝像機(jī)以及第一和第二立體攝像機(jī)的顯示系統(tǒng)中提供三維駕駛者視線的顯示方法,所述顯示方法包括: 通過所述視線跟蹤攝像機(jī)檢測(cè)駕駛者的眼球,以識(shí)別基于視線跟蹤攝像機(jī)的駕駛者視線信息; 基于預(yù)存的所述視線跟蹤攝像機(jī)以及所述第一和第二立體攝像機(jī)的位置信息和旋轉(zhuǎn)信息,將所述基于視線跟蹤攝像機(jī)的駕駛者視線信息轉(zhuǎn)換為基于第一和第二立體攝像機(jī)的駕駛者視線信息; 根據(jù)所述基于第一和第二立體攝像機(jī)的駕駛者視線信息識(shí)別駕駛者視線注視點(diǎn);以及 將所述駕駛者視線注視點(diǎn)轉(zhuǎn)換為駕駛者視線的三維坐標(biāo)。
10.根據(jù)權(quán)利要求9所述的顯示方法,其中: 所述基于視線跟蹤攝像機(jī)的駕駛者視線信息包括視線跟蹤矢量單眼點(diǎn)和視線跟蹤矢量,并且 將所述基于視線跟蹤攝像機(jī)的駕駛者視線信息轉(zhuǎn)換為所述基于第一和第二立體攝像機(jī)的駕駛者視線信息的步驟包括將所述基于視線跟蹤攝像機(jī)的視線跟蹤矢量單眼點(diǎn)轉(zhuǎn)換為基于立體攝像機(jī)的視線跟蹤矢量單眼點(diǎn)。
11.根據(jù)權(quán)利要求10所述的顯示方法,其中將所述基于視線跟蹤攝像機(jī)的駕駛者視線信息轉(zhuǎn)換為所述基于第一和第二立體攝像機(jī)的駕駛者視線信息的步驟包括通過下式I將所述基于視線跟蹤攝像機(jī)的視線跟蹤矢量單眼點(diǎn)(位置)
12.根據(jù)權(quán)利要求9所述的顯示方法,其中: 所述基于視線跟蹤攝像機(jī)的駕駛者視線信息包括視線跟蹤矢量單眼點(diǎn)和視線跟蹤矢量,并且 將所述基于視線跟蹤攝像機(jī)的駕駛者視線信息轉(zhuǎn)換為所述基于第一和第二立體攝像機(jī)的駕駛者視線信息的步驟包括將所述基于視線跟蹤攝像機(jī)的視線跟蹤矢量轉(zhuǎn)換為基于立體攝像機(jī)的視線跟蹤矢量。
13.根據(jù)權(quán)利要求12所述的顯示方法,其中將所述基于視線跟蹤攝像機(jī)的駕駛者視線信息轉(zhuǎn)換為所述基于第一和第二立體攝像機(jī)的駕駛者視線信息的步驟包括通過下式2將所述基于視線跟蹤攝像機(jī)的視線跟蹤矢量
14.根據(jù)權(quán)利要求9所述的顯示方法,其中識(shí)別所述駕駛者視線注視點(diǎn)的步驟包括:將所述基于第一和第二立體攝像機(jī)的駕駛者視線信息投射到所述第一和第二立體攝像機(jī)上;以及 基于投射到所述第一和第二立體攝像機(jī)上的所述信息識(shí)別所述駕駛者視線注視點(diǎn)。
15.根據(jù)權(quán)利要求14所述的顯示方法,其中基于投射到所述第一和第二立體攝像機(jī)上的所述信息識(shí)別所述駕駛者視線注視點(diǎn)的步驟包括: 在投射到所述第一立體攝像機(jī)上的圖像上生成與預(yù)設(shè)的人視線主要注視范圍相應(yīng)的窗口 ; 根據(jù)基于第一立體攝像機(jī)的視線跟蹤矢量移動(dòng)所生成窗口的單眼點(diǎn); 執(zhí)行模板匹配使得被移動(dòng)的窗口與所述第二立體攝像機(jī)的視線跟蹤矢量相應(yīng);以及 作為所述執(zhí)行步驟的結(jié)果將最高位置識(shí)別為駕駛者視線注視點(diǎn)。
16.根據(jù)權(quán)利要求9所述的顯示方法,其中所述駕駛者視線的三維坐標(biāo)為P (Xp, Yp,
【文檔編號(hào)】G06T7/00GK103871045SQ201310182182
【公開日】2014年6月18日 申請(qǐng)日期:2013年5月16日 優(yōu)先權(quán)日:2012年12月11日
【發(fā)明者】盧熙真, 李?yuàn)]范, 石東熙, 樸晟珉 申請(qǐng)人:現(xiàn)代自動(dòng)車株式會(huì)社