具有直播視頻的虛擬透視儀器群集的制作方法
【技術(shù)領(lǐng)域】
【背景技術(shù)】
[0001] 傳統(tǒng)上，駕駛員在交通工具前方區(qū)域的視線已被交通工具的儀器控制面板、引擎 蓋以及下面的組件阻擋。由此，物體和其它物品可在交通工具前面，但交通工具的駕駛員或 其它乘客不能夠看見它們。

【發(fā)明內(nèi)容】

[0002] 本文所公開的至少一個(gè)實(shí)施方案包括：產(chǎn)生三維圖形輸出，其包含交通工具外部 區(qū)域的視頻的三維表示；以及在安置于交通工具內(nèi)的三維顯示器上顯示三維圖形輸出。
【附圖說明】
[0003] 為了可詳細(xì)理解實(shí)現(xiàn)上述方面的方式，可參考附圖具有上文簡要概述的本公開實(shí) 施方案的更具體描述。
[0004] 然而，將注意，附圖僅說明本公開的典型實(shí)施方案，且因此不被視為限制其方面， 因?yàn)楸竟_可承認(rèn)其它同等有效的實(shí)施方案。
[0005] 圖1A到1E是根據(jù)本發(fā)明各種實(shí)施方案的從交通工具來看的不同視圖的示意性說 明。
[0006] 圖2A到2C是根據(jù)本發(fā)明各種實(shí)施方案的具有帶直播視頻的虛擬且局部透明儀器 群集的系統(tǒng)的示意性說明。
[0007] 圖3A到3B是根據(jù)本發(fā)明各種實(shí)施方案的具有視點(diǎn)相關(guān)相機(jī)的交通工具的示意性 說明。
[0008] 圖4說明根據(jù)本發(fā)明各種實(shí)施方案的經(jīng)配置以產(chǎn)生具有直播視頻的虛擬透視儀 器群集的系統(tǒng)。
[0009] 圖5是根據(jù)本發(fā)明各種實(shí)施方案的用于產(chǎn)生具有直播視頻的虛擬透視儀器群集 的方法步驟的流程圖。
[0010] 圖6是根據(jù)本發(fā)明各種實(shí)施方案的用于修改具有直播視頻的儀器控制面板的3D 渲染的方法步驟的流程圖。
[0011] 圖7是根據(jù)本發(fā)明各種實(shí)施方案的用于計(jì)算交通工具的駕駛員的駕駛環(huán)境的方 法步驟的流程圖。
[0012] 圖8是根據(jù)本發(fā)明各種實(shí)施方案的用于調(diào)整攝像機(jī)以反映駕駛員的凝視的方法 步驟的流程圖。
【具體實(shí)施方式】
[0013] 本文所公開的實(shí)施方案提供在交通工具中的立體、具視差功能的三維顯示器（本 文稱為"3D顯示器"）上對(duì)交通工具外部區(qū)域的直播視頻的三維渲染。在一個(gè)實(shí)施方案中， 在交通工具外部的區(qū)域是被交通工具的引擎蓋阻擋的"盲點(diǎn)"，駕駛員通常是看不到的。然 而，所述視頻可為交通工具外部的任何區(qū)域的視頻。在3D顯示器上渲染的3D視頻可為視 線相關(guān)的，使得3D視頻是基于駕駛員的當(dāng)前凝視（或視角）。舉例來說且無限制，如果駕駛 員正看向前方，那么可在3D顯示器上輸出3D視頻的向前定向的視圖。然而，如果駕駛員將 頭轉(zhuǎn)向左邊并向內(nèi)移動(dòng)，那么相機(jī)可以某一方式捕獲視頻以反映駕駛員凝視的移位。因此， 3D輸出可反映放大且從面向左的角度來看的視圖。
[0014] 另外，所述系統(tǒng)還可輸出三維儀器控制面板，使得其看起來更靠近駕駛員，同時(shí)以 更遠(yuǎn)離駕駛員的深度輸出3D視頻，從而在外面世界的3D視頻之上提供局部透視儀器控制 面板。然而，用戶可控制每一層的深度定位，使得3D視頻以及儀器控制面板中的元素中的 一個(gè)或多個(gè)看起來更靠近或更遠(yuǎn)離駕駛員的面部。用戶可通過任何可行方法來控制深度定 位，所述方法包含3D顯示器（或中心控制臺(tái)顯示器）上的物理控制器、滑動(dòng)條、按鈕或數(shù)字 設(shè)定。另外，每一用戶可界定一組偏好，其指示3D顯示器上所顯示的不同項(xiàng)目的偏好放置、 排序以及外觀。另外，所述系統(tǒng)可在適當(dāng)時(shí)間調(diào)整分層次序，以及修改不同元素。
[0015] 舉例來說，且無限制，在道路中檢測到的外來物體可導(dǎo)致視頻（以及所述物體）被 帶到較靠近駕駛員的面部。在此實(shí)例中，且無限制，可使3D儀器控制面板較透明，或完全消 失。作為另一實(shí)例，如果駕駛員的速度超過當(dāng)前速度限制，那么系統(tǒng)可通過將速度計(jì)移動(dòng)為 較靠近駕駛員的面部并給與速度計(jì)額外強(qiáng)調(diào)（例如，不同色彩或粗體陰影）來修改速度計(jì) 的3D渲染，以表明當(dāng)前駕駛環(huán)境下速度計(jì)的重要性。如本文所使用，"駕駛環(huán)境"指代用于識(shí) 別3D顯示器上所顯示的應(yīng)以任何方式移動(dòng)或更改的一個(gè)或多個(gè)元素或?qū)拥沫h(huán)境。駕駛環(huán) 境可包含但不限于交通工具的速度、交通工具的位置、交通工具的屬性或狀態(tài)（例如油量、 液面或胎壓）、交通工具的位置處的適用法律或法規(guī)、天氣條件、觸發(fā)事件等。在其它實(shí)施方 案中，所述系統(tǒng)可檢測駕駛員的凝視，并將駕駛員正在看的儀器移到較靠近駕駛員的面部。 舉例來說，且無限制，如果系統(tǒng)確定駕駛員正在看轉(zhuǎn)速表，那么系統(tǒng)可將轉(zhuǎn)速表移到較靠近 其面部。
[0016] 用于三維顯示器上的顯示的所有項(xiàng)目輸出包含深度（或z軸）分量。作為3D顯 示器所產(chǎn)生的三維輸出的二維反應(yīng)的圖無法充分地捕獲三維輸出的深度或z軸，且不應(yīng)被 視為限制本公開。
[0017] 圖1A是根據(jù)本發(fā)明各種實(shí)施方案的交通工具中的駕駛員的不同視圖的示意性說 明100。傳統(tǒng)上，交通工具113的駕駛員（未圖示）看到正常視圖111。正常視圖111描繪 駕駛員坐在交通工具111的駕駛座上時(shí)所看到的視野。然而，正常視圖111通常被交通工 具的引擎蓋（以及下面的引擎和其它組件）遮擋。然而，本文所公開的實(shí)施方案使用一個(gè) 或多個(gè)相機(jī)115來捕獲外部世界的三維視頻，其包含增加的視圖112。增加的視圖112可在 交通工具101中的3D顯示器上顯示，從而為駕駛員提供正常視圖111和增加的視圖112。 用于捕獲視頻的相機(jī)115可為二維RGB相機(jī)，其還捕獲每像素的深度信息，所述深度信息由 包含3D模型的系統(tǒng)用來產(chǎn)生所捕獲視頻的3D渲染。在另一實(shí)施方案中，可使用3D相機(jī)來 捕獲接著由系統(tǒng)用作3D模型的3D視頻。在又一實(shí)施方案中，安裝到交通工具113的保險(xiǎn) 杠的固定相機(jī)陣列可捕獲視頻。通過選擇相機(jī)陣列中的兩個(gè)或兩個(gè)以上相機(jī)（其各自具有 廣角透鏡），3D顯示器101可通過選擇來自所選透鏡中的每一者的圖像數(shù)據(jù)的子集來創(chuàng)建 復(fù)合圖像。可基于駕駛員的頭部位置和檢視角度來選擇所述相機(jī)。
[0018] 圖1B是根據(jù)本發(fā)明各種實(shí)施方案的交通工具中的駕駛員的不同視圖的示意性說 明110。如圖所示，駕駛員繼續(xù)經(jīng)歷正常視圖111，同時(shí)相機(jī)115允許駕駛員看到擴(kuò)大的視 圖112。正常視圖111與擴(kuò)大的視圖112結(jié)合起來允許駕駛員看到交通工具前方的動(dòng)物116 的完整持續(xù)視圖。
[0019] 圖1C是根據(jù)本發(fā)明各種實(shí)施方案的交通工具中的駕駛員的不同視圖的示意性說 明120。如圖所示，駕駛員繼續(xù)經(jīng)歷正常視圖111，同時(shí)相機(jī)115允許駕駛員看到擴(kuò)大的視 圖112。因?yàn)閿U(kuò)大的視圖112,駕駛員現(xiàn)在能夠看到在無擴(kuò)大的視圖112的情況下原本被隱 藏于駕駛員的視點(diǎn)之外且可能已被交通工具撞上的貓117。
[0020] 圖1D是根據(jù)本發(fā)明各種實(shí)施方案的交通工具中的增強(qiáng)型用戶界面130的示意性 說明。從擋風(fēng)玻璃111往外看的人接收外部世界的傳統(tǒng)視圖，其包含交通工具正在上面行 駛的道路112。如先前所論述，駕駛員的視點(diǎn)是受限的，因?yàn)轳{駛員無法看到在交通工具前 方但被交通工具本身擋住的道路112的區(qū)域。然而，如圖所示，交通工具儀表盤中的顯示表 面101可顯示外部世界的擴(kuò)展視圖。如圖所示，顯示表面101顯示在交通工具外部捕獲的 視頻的三維視頻105。當(dāng)駕駛員移動(dòng)其頭部或眼睛，從而改變其凝視時(shí)，可更改所顯示的視 頻105,從而移動(dòng)以與駕駛員的新凝視匹配。捕獲視頻105的一個(gè)或多個(gè)相機(jī)115可以留個(gè) 自由度機(jī)械性地移動(dòng)，以便從與駕駛員的凝視匹配的角度捕獲視頻。因此，如圖所示，駕駛 員不可見的道路112的部分現(xiàn)在顯示于顯示表面101上。因?yàn)轱@示表面101是與視點(diǎn)相關(guān) 的，所以3D顯示器的輸出與駕駛員的當(dāng)前凝視（或與當(dāng)前凝視相關(guān)聯(lián)的檢視角度）匹配。 因此，顯示于圖1D中的顯示表面101上的視頻105可反映駕駛員具有近似面向前的凝視時(shí) 的道路112的視圖。然而，如果駕駛員將其頭部顯著轉(zhuǎn)向右邊，那么道路的黃線114無法被 相機(jī)115捕獲，且隨后不會(huì)輸出以作為視頻105的部分在顯示表面101上顯示。
[0021] 在一些實(shí)施方案中，顯示表面101為立體、具有視差功能的視點(diǎn)相關(guān)三維顯示器 (也稱為3D顯示器）。顯示表面101的立體特征通過每幀遞送兩個(gè)不同圖像（一個(gè)圖像 用于右眼，且一個(gè)圖像用于左眼）來允許檢視者看到類似于真實(shí)物體的具有三維深度的圖 像。每一眼睛的圖像可稍稍不同，以便傳達(dá)來自兩個(gè)眼睛的感覺差異。在至少一些實(shí)施方 案中，顯示表面101具有至少120Hz的刷新速率。
[0022] 顯示表面101還提供視點(diǎn)相關(guān)渲染，其通過在產(chǎn)生輸出時(shí)考慮駕駛員的當(dāng)前視 點(diǎn)，來允許所顯示圖像的更現(xiàn)實(shí)的3D感覺。為了實(shí)現(xiàn)視點(diǎn)相關(guān)渲染，面向用戶的傳感器（未 圖示）跟蹤駕駛員的頭部和/或眼睛，以便遞送物體的與駕駛員的當(dāng)前凝視匹配的三維渲 染。因此，當(dāng)駕駛員移動(dòng)其頭部或眼睛時(shí)，基于駕駛員的當(dāng)前凝視（或與駕駛員的凝視相關(guān) 聯(lián)的檢視角度）來更改顯示表面101的輸出。面向用戶的傳感器可連接到計(jì)算機(jī)視覺軟件 (本地或遠(yuǎn)程），以用于場景分析和頭部跟蹤。面向用戶的傳感器可安裝在交通工具內(nèi)部或 外部，只要其面向用戶即可?？墒褂脝蝹€(gè)傳感器、多個(gè)傳感器或安裝在左右轉(zhuǎn)動(dòng)-傾斜組合 件上的傳感器，所述組合件的定向由本文所描述的系統(tǒng)控制。三維顯示器101的視差運(yùn)動(dòng) 效應(yīng)向檢視者傳達(dá)真實(shí)物體深度的感覺，其中在向旁邊移動(dòng)時(shí)，較靠近檢視者的物體看起 來比較遠(yuǎn)離的物體移動(dòng)得快。
[0023] 在一個(gè)實(shí)施方案中，用戶戴著3D眼鏡（未圖示），以便解碼立體圖像（一個(gè)用于左 目艮，且一個(gè)用于右眼），且檢視增強(qiáng)型用戶界面110。所述眼鏡可為任何類型的3D眼鏡，包 含無源或有源，基于快門的或偏光的