信。
[0056] 電源管理電路202包括電壓調(diào)節(jié)器234、眼睛跟蹤照明驅(qū)動(dòng)器236、音頻DAC和放 大器238、話筒前置放大器和音頻ADC240、溫度傳感器接口 242、以及時(shí)鐘發(fā)生器244。電 壓調(diào)節(jié)器234通過(guò)帶接口 232從處理單元4接收電能，并將該電能提供給頭戴式顯示設(shè)備2 的其他組件。每個(gè)眼睛跟蹤照明驅(qū)動(dòng)器236都如上面所述的那樣為眼睛跟蹤照明134A提 供IR光源。音頻DAC和放大器238向耳機(jī)130輸出音頻信息。話筒前置放大器和音頻ADC 240提供用于話筒110的接口。溫度傳感器接口 242是用于溫度傳感器138的接口。電源 管理電路202還向三軸磁力計(jì)132A、三軸陀螺儀132B以及三軸加速度計(jì)132C提供電能并 從其接收回?cái)?shù)據(jù)。
[0057] 圖5是描述處理單元4的各種組件的框圖。圖5示出與電源管理電路306通信的控 制電路304?？刂齐娐?04包括：中央處理單元（CPU) 320、圖形處理單元（GPU) 322、高速緩 存324、RAM326、與存儲(chǔ)器330 (例如D-RAM)進(jìn)行通信的存儲(chǔ)器控制器328、與閃存334 (或 其他類型的非易失性存儲(chǔ)）進(jìn)行通信的閃存控制器332、通過(guò)帶接口 302和帶接口 232與頭 戴式顯示設(shè)備2進(jìn)行通信的顯示輸出緩沖器336、通過(guò)帶接口 302和帶接口 232與頭戴式顯 示設(shè)備2進(jìn)行通信的顯示輸入緩沖器338、與用于連接到話筒的外部話筒連接器342進(jìn)行 通信的話筒接口 340、用于連接到無(wú)線通信設(shè)備346的PCIexpress接口、以及（一個(gè)或多 個(gè)）USB端口 348。在一個(gè)實(shí)施例中，無(wú)線通信設(shè)備346可包括啟用Wi-Fi的通信設(shè)備、藍(lán)牙 通信設(shè)備、紅外通信設(shè)備等。USB端口可被用于將處理單元4對(duì)接到中樞計(jì)算系統(tǒng)12,以便 將數(shù)據(jù)或軟件加載到處理單元4上以及對(duì)處理單元4進(jìn)行充電。在一個(gè)實(shí)施例中，CPU320 和GPU322是用于確定在何處、何時(shí)以及如何向用戶的視野內(nèi)插入虛擬三維物體的主要力 量。以下提供更多細(xì)節(jié)。
[0058] 電源管理電路306包括時(shí)鐘發(fā)生器360、模數(shù)轉(zhuǎn)換器362、電池充電器364、電壓 調(diào)節(jié)器366、頭戴式顯示器電源376、以及與溫度傳感器374進(jìn)行通信的溫度傳感器接口 372 (其可能位于處理單元4的腕帶上）。模數(shù)轉(zhuǎn)換器362被用于監(jiān)視電池電壓、溫度傳感 器，以及控制電池充電功能。電壓調(diào)節(jié)器366與用于向該系統(tǒng)提供電能的電池368進(jìn)行通 信。電池充電器364被用來(lái)在從充電插孔370接收到電能之際（通過(guò)電壓調(diào)節(jié)器366)對(duì) 電池368進(jìn)行充電。HMD電源376向頭戴式顯示設(shè)備2提供電力。
[0059] 圖6例示出具有捕捉設(shè)備20的中樞計(jì)算系統(tǒng)12的示例實(shí)施例。根據(jù)一示例實(shí)施 例，捕捉設(shè)備20可被配置為通過(guò)包括例如飛行時(shí)間、結(jié)構(gòu)化光、立體圖像等在內(nèi)的任何合 適的技術(shù)來(lái)捕捉包括深度圖像的帶有深度信息的視頻，該深度圖像可包括深度值。根據(jù)一 個(gè)實(shí)施例，捕捉設(shè)備20可將深度信息組織為"Z層"，即可與從深度相機(jī)沿其視線延伸的Z 軸垂直的層。
[0060] 如圖6所示，捕捉設(shè)備20可包括相機(jī)組件423。根據(jù)一示例性實(shí)施例，相機(jī)組件 423可以是或者可以包括可捕捉場(chǎng)景的深度圖像的深度相機(jī)。深度圖像可包括所捕捉的場(chǎng) 景的二維（2-D)像素區(qū)域，其中該2-D像素區(qū)域中的每個(gè)像素都可以表示一深度值，比如所 捕捉的場(chǎng)景中的一物體與相機(jī)相距的例如以厘米、毫米等為單位的距離。
[0061] 相機(jī)組件423可包括可被用于捕捉場(chǎng)景的深度圖像的紅外（IR)光組件425、三維 (3D)相機(jī)426、以及RGB(視覺(jué)圖像）相機(jī)428。例如，在飛行時(shí)間分析中，捕捉設(shè)備20的 IR光組件425可將紅外光發(fā)射到場(chǎng)景上，并且然后可使用傳感器（在一些實(shí)施例中包括未 示出的傳感器）、例如使用3-D相機(jī)426和/或RGB相機(jī)428來(lái)檢測(cè)從場(chǎng)景中的一個(gè)或多個(gè) 目標(biāo)和物體的表面后向散射的光。
[0062] 在一示例實(shí)施例中，捕捉設(shè)備20可進(jìn)一步包括可與圖像相機(jī)組件423進(jìn)行通信的 處理器432。處理器432可包括可執(zhí)行指令的標(biāo)準(zhǔn)處理器、專用處理器、微處理器等，這些指 令例如包括用于接收深度圖像、生成合適的數(shù)據(jù)格式（例如，幀）以及將數(shù)據(jù)傳送給中樞計(jì) 算系統(tǒng)12的指令。
[0063] 捕捉設(shè)備20可進(jìn)一步包括存儲(chǔ)器434,存儲(chǔ)器434可存儲(chǔ)由處理器432執(zhí)行的指 令、由3-D相機(jī)和/或RGB相機(jī)所捕捉的圖像或圖像幀、或任何其他合適的信息、圖像等等。 根據(jù)一示例實(shí)施例，存儲(chǔ)器434可包括隨機(jī)存取存儲(chǔ)器（RAM)、只讀存儲(chǔ)器（R0M)、高速緩 存、閃存、硬盤(pán)或任何其他合適的存儲(chǔ)組件。如圖6中所示，在一個(gè)實(shí)施例中，存儲(chǔ)器434可 以是與圖像相機(jī)組件423和處理器432通信的單獨(dú)組件。根據(jù)另一實(shí)施例，存儲(chǔ)器434可 被集成到處理器432和/或圖像捕捉組件423中。
[0064] 捕捉設(shè)備20通過(guò)通信鏈路436與中樞計(jì)算系統(tǒng)12通信。通信鏈路436可以是包 括例如USB連接、火線連接、以太網(wǎng)電纜連接等有線連接和/或諸如無(wú)線802.llb、802.llg、 802. 11a或802.lln連接等的無(wú)線連接。根據(jù)一個(gè)實(shí)施例，中樞計(jì)算系統(tǒng)12可經(jīng)由通信鏈 路436向捕捉設(shè)備20提供可被用于確定何時(shí)捕捉例如場(chǎng)景的時(shí)鐘。附加地，捕捉設(shè)備20經(jīng) 由通信鏈路436將由例如3-D相機(jī)426和/或RGB相機(jī)428捕捉的深度信息和視覺(jué)（例如 RGB)圖像提供給中樞計(jì)算系統(tǒng)12。在一個(gè)實(shí)施例中，深度圖像和視覺(jué)圖像以每秒30幀的 速率被傳送；但是可以使用其他幀速率。中樞計(jì)算系統(tǒng)12然后可以創(chuàng)建模型并使用模型、 深度信息、以及所捕捉的圖像來(lái)例如控制諸如游戲或文字處理程序等的應(yīng)用和/或使化身 或屏上人物動(dòng)畫(huà)化。
[0065] 上述中樞計(jì)算系統(tǒng)12與頭戴式顯示設(shè)備2和處理單元4 一起能夠?qū)⑻摂M三維物 體插入到一個(gè)或多個(gè)用戶的F0V中，使得該虛擬三維物體擴(kuò)充和/或替換現(xiàn)實(shí)世界的視圖。 在一個(gè)實(shí)施例中，頭戴式顯示設(shè)備2、處理單元4以及中樞計(jì)算系統(tǒng)12 -起工作，因?yàn)檫@些 設(shè)備中的每一個(gè)都包括被用來(lái)獲得用以確定何處、何時(shí)以及如何插入虛擬三維物體的數(shù)據(jù) 的傳感器子集。在一個(gè)實(shí)施例中，確定何處、何時(shí)以及如何插入虛擬三維物體的計(jì)算由彼此 合作地工作的中樞計(jì)算系統(tǒng)12和處理單元4執(zhí)行。然而，在又一些實(shí)施例中，所有計(jì)算都 可由單獨(dú)工作的中樞計(jì)算系統(tǒng)12或單獨(dú)工作的（一個(gè)或多個(gè)）處理單元4執(zhí)行。在其他 實(shí)施例中，計(jì)算中的至少一些可由頭戴式顯示設(shè)備2執(zhí)行。
[0066] 在一個(gè)示例實(shí)施例中，中樞計(jì)算設(shè)備12和處理單元4 一起工作以創(chuàng)建所述一個(gè)或 多個(gè)用戶所在的環(huán)境的場(chǎng)景圖或模型，以及跟蹤該環(huán)境中各種移動(dòng)的物體。此外，中樞計(jì)算 系統(tǒng)12和/或處理單元4通過(guò)跟蹤用戶18佩戴的頭戴式顯示設(shè)備2的位置和定向來(lái)跟蹤 頭戴式顯示設(shè)備2的FOV。頭戴式顯示設(shè)備2所獲得的傳感器信息被傳送給處理單元4。在 一個(gè)實(shí)施例中，該信息被傳送給中樞計(jì)算系統(tǒng)12,該中樞計(jì)算系統(tǒng)12更新場(chǎng)景模型并且將 其傳送回處理單元。處理單元4隨后使用它從頭戴式顯示設(shè)備2接收的附加傳感器信息來(lái) 細(xì)化用戶的FOV并且向頭戴式顯示設(shè)備2提供關(guān)于在何處、何時(shí)以及如何插入虛擬三維物 體的指令。基于來(lái)自捕捉設(shè)備20和（一個(gè)或多個(gè)）頭戴式顯示設(shè)備2中的相機(jī)的傳感器 信息，可在一閉環(huán)反饋系統(tǒng)中在中樞計(jì)算系統(tǒng)12和處理單元4之間周期性地更新場(chǎng)景模型 和跟蹤信息，如下面所解釋的那樣。
[0067] 圖7例示出可被用于實(shí)現(xiàn)中樞計(jì)算系統(tǒng)12的計(jì)算系統(tǒng)的示例實(shí)施例。如圖7中 所示，多媒體控制臺(tái)500具有含有一級(jí)高速緩存502、二級(jí)高速緩存504和閃存ROM(只讀 存儲(chǔ)器）506的中央處理單元（CPU) 501。一級(jí)高速緩存502和二級(jí)高速緩存504臨時(shí)存儲(chǔ) 數(shù)據(jù)，并且因此減少存儲(chǔ)器訪問(wèn)周期的數(shù)量，由此改進(jìn)處理速度和吞吐量。CPU501可被配 備為具有一個(gè)以上的內(nèi)核，并且由此具有附加的一級(jí)和二級(jí)高速緩存502和504。閃存ROM 506可存儲(chǔ)在多媒體控制臺(tái)500通電時(shí)在引導(dǎo)過(guò)程的初始化階段加載的可執(zhí)行代碼。
[0068] 圖形處理單元（GPU) 508和視頻編碼器/視頻編解碼器（編碼器/解碼器）514形 成用于高速和高分辨率圖形處理的視頻處理流水線。數(shù)據(jù)經(jīng)由總線從圖形處理單元508輸 送到視頻編碼器/視頻編解碼器514。視頻處理流水線向A/V(音頻/視頻）端口 540輸出 數(shù)據(jù)，以供傳輸?shù)诫娨暀C(jī)或其他顯示器。存儲(chǔ)器控制器510連接到GPU508以方便處理器 訪問(wèn)各種類型的存儲(chǔ)器512,諸如但不局限于RAM(隨機(jī)存取存儲(chǔ)器）。
[0069] 多媒體控制臺(tái)500包括優(yōu)選地在模塊518上實(shí)現(xiàn)的I/O控制器520、系統(tǒng)管理控制 器522、音頻處理單元523、網(wǎng)絡(luò)接口 524、第一USB主控制器526、第二USB控制器528以及 前面板I/O子部件530。USB控制器526和528用作外圍控制器542 (1) -542 (2)、無(wú)線適配 器548、以及外置存儲(chǔ)器設(shè)備546 (例如，閃存、外置⑶/DVDROM驅(qū)動(dòng)器、可移動(dòng)介質(zhì)等）的 主機(jī)。網(wǎng)絡(luò)接口 524和/或無(wú)線適配器548提供對(duì)網(wǎng)絡(luò)（例如，因特網(wǎng)、家庭網(wǎng)絡(luò)等）的訪 問(wèn)，并且可以是包括以太網(wǎng)卡、調(diào)制解調(diào)器、藍(lán)牙模塊、電纜調(diào)制解調(diào)器等的各種不同的有 線或無(wú)線適配器組件中的任何一種。
[0070] 系統(tǒng)存儲(chǔ)器543被提供來(lái)存儲(chǔ)在引導(dǎo)過(guò)程期間加載的應(yīng)用數(shù)據(jù)。介質(zhì)驅(qū)動(dòng)器544 被提供且可包括DVD/⑶驅(qū)動(dòng)器、藍(lán)光驅(qū)動(dòng)器、硬盤(pán)驅(qū)動(dòng)器、或其它可移動(dòng)介質(zhì)驅(qū)動(dòng)器等。介 質(zhì)驅(qū)動(dòng)器544可內(nèi)置或外置于多媒體控制臺(tái)500。應(yīng)用數(shù)據(jù)可經(jīng)由介質(zhì)驅(qū)動(dòng)器544訪問(wèn)，以 供多媒體控制臺(tái)500執(zhí)行、回放等。介質(zhì)驅(qū)動(dòng)器544經(jīng)由諸如串行ΑΤΑ總線或其他高速連 接（例如IEEE1394)等總線連接到I/O控制器520。
[0071] 系統(tǒng)管理控制器522提供與確保多媒體控制臺(tái)500的可用性相關(guān)的各種服務(wù)功 能。音頻處理單元523和音頻編解碼器532形成具有高保真度和立體聲處理的相應(yīng)音頻處 理流水線。音頻數(shù)據(jù)經(jīng)由通信鏈路在音頻處理單元523與音頻編解碼器532之間傳輸。音 頻處理流水線將數(shù)據(jù)輸出到A/V端口 540,以供外置音頻用戶或具有音頻能力的設(shè)備再現(xiàn)。
[0072] 前面板I/O子部件530支持暴露在多媒體控制臺(tái)500的外表面上的電源按鈕550 和彈出按鈕552、以及任何LED(發(fā)光二極管）或其他指示器的功能。系統(tǒng)供電模塊536向 多媒體控制臺(tái)500的組件供電。風(fēng)扇538冷卻多媒體控制臺(tái)500內(nèi)的電路。
[0073] 多媒體控制臺(tái)500內(nèi)的CPU501、GPU508、存儲(chǔ)器控制器510、以及各種其他組件 經(jīng)由一條或多條總線互連，總線包括串行和并行總線、存儲(chǔ)器總線、外圍總線、以及使用各 種總線架構(gòu)中的任一種的處理器或局部總線。作為示例，這些架構(gòu)可以包括外圍部件互連 (PCI)總線、PCI-Express總線等。
[0074] 當(dāng)多媒體控制臺(tái)500通電時(shí)，應(yīng)用數(shù)據(jù)可從系統(tǒng)存儲(chǔ)器543被加載到存儲(chǔ)器512 和/或高速緩存502、504中并在CPU501上執(zhí)行。應(yīng)用可在導(dǎo)航到多媒體控制臺(tái)500上可 用的不同媒體類型時(shí)呈現(xiàn)提供一致用戶體驗(yàn)的圖形用戶界面。在操作中，介質(zhì)驅(qū)動(dòng)器544 中所包含的應(yīng)用