像展示了相對于彼此的橫 向位移，其中圖像特征的位移取決于通過其捕捉圖像的相機的（真實的或仿真的）橫向間 隔、相機的角收斂和每個圖像特征離開相機位置的（真實的或仿真的）距離。
[0059] 注意，在圖5中的橫向位移（以及在下文中將描述的圖15中的橫向位移）可能實 際上是相反的，這就是說所畫出的左眼圖像可能實際上是右眼圖像，并且所畫出的右眼圖 像可能實際上是左眼圖像。這是因為一些立體的顯示傾向于在右眼圖像中將物體移到右邊 并且在左眼圖像中移到左邊，以便于仿真用戶正通過立體的窗口看到其上的場景的想法。 但是，一些HMD使用圖5中所示的布置，因為這給用戶的感覺是用戶通過一對雙筒鏡觀看場 景。這兩種布置之間的選擇在于系統(tǒng)設計者的判斷。
[0060] 在一些情況中，HMD可以僅被用于觀看電影等。在該情況中，當用戶轉(zhuǎn)動用戶的頭 部（例如從一側(cè)到另一側(cè)）時不需要改變顯示的圖像的明顯的視點。但是，在其它使用中， 諸如與虛擬現(xiàn)實（VR)或增強現(xiàn)實（AR)系統(tǒng)相關聯(lián)的情況，用戶的視點需要跟蹤關于用戶 所位于的實際或虛擬空間的移動。
[0061] 該跟蹤通過檢測HMD的運動來進行并且變化顯示的圖像的明顯的視點使得明顯 的視點跟蹤運動。
[0062] 圖6示意性地示出了在VR或AR系統(tǒng)中用戶頭部移動的效果。
[0063] 參考圖6,虛擬環(huán)境由圍繞用戶的（虛擬）球形的外殼250所表示。由于需要在 二維紙畫上表示該布置，外殼以離開用戶等于顯示的虛擬圖像離開用戶的間隔的距離由圓 的一部分表不。用戶初始地處于第一位置260并且被引導向虛擬環(huán)境的部分270。該部分 270正是表示在顯示在用戶的HMD的顯示元件150上的圖像中的部分。
[0064] 考慮用戶然后將他的頭部移動到新的位置和/或定向280的情況。為了保持虛 擬現(xiàn)實或增強現(xiàn)實顯示的正確的感覺，虛擬環(huán)境的顯示的部分也移動，使得在移動結(jié)束時， HMD顯示新的部分290。
[0065] 因此，在該布置中，在虛擬環(huán)境中的明顯的視點與頭部移動一起移動。如果頭部旋 轉(zhuǎn)到右側(cè)，例如，如圖6中所示的，明顯的視點也從用戶的視角移動到右邊。如果是從顯示 的物體的角度考慮的情況，諸如顯示的物體300,該物體將實際上以與頭部移動相反的方向 移動。因此，如果頭部移動是到右邊，則明顯的視點移動到右邊，但是由于虛擬環(huán)境的顯示 的部分已經(jīng)移動到右邊而顯示的物體300沒有在虛擬環(huán)境移動的簡單的原因，諸如在虛擬 環(huán)境中是靜止的顯示的物體300的物體將朝顯示的圖像的左邊移動，并且將最終從顯示的 圖像的左手側(cè)消失。類似的考慮因素適用于任何運動的上下分量。
[0066] 圖7a和7b示意性地示出了具有運動感測的HMD。兩個附圖與圖2中示出的附圖 在形式上類似。這就是說，所述附圖是HMD的示意性平面圖，其中顯示元件150和光學元件 160由簡單的方框形狀表示。為了示意圖的清楚，圖2的許多特征未被示出。兩個附圖示出 了具有用于檢測觀測者的頭部的運動的運動檢測器的HMD的示例。
[0067] 在圖7a中，前向的相機320被提供在HMD的前方。這并不一定向用戶提供用于顯 示的圖像（盡管其在增強現(xiàn)實布置中可以這樣做）。相反，其在本實施例中的主要目的是 允許運動感測。將在下文中結(jié)合圖8描述使用由相機320捕捉的圖像以用于運動感測的技 術。在這些布置中，運動檢測器包括安裝的以便于與框架一起移動的相機；以及可操作為比 較由所述相機捕捉的連續(xù)的圖像以便于檢測圖像間的運動的圖像比較器。
[0068] 圖7b使用硬件運動檢測器330。這可以被安裝在HMD中或者HMD上的任何位置 處。合適的硬件運動檢測器的示例有壓電加速計或光纖陀螺儀。當然應被理解的是，硬件 運動檢測和基于相機的運動檢測兩者可以被用在相同的設備中，在該情況中一個感測布置 可以在另一個不可用時而被用作后備，或者一個感測布置（諸如相機）可以提供用于改變 顯示的圖像的明顯的視點的數(shù)據(jù)，而另一個（諸如加速計）可以提供用于圖像穩(wěn)定的數(shù)據(jù)。
[0069] 圖8示意性地示出了使用圖7a的相機320的運動檢測的一個示例。
[0070] 相機320是視頻相機，以例如每秒25幅圖像的圖像捕捉速率捕捉圖像。當每個圖 像被捕捉時，所述圖像被傳遞到圖像存儲器400以用于存儲并且還由圖像比較器410將其 與從圖像存儲器取回的之前的圖像比較。所述比較使用已知的塊匹配技術（所謂的"光流" 檢測）以建立由相機320捕捉的基本上整個圖像是否在之前的圖像被捕捉的時間處已經(jīng)移 動。局部的運動可以指示在相機320的視場中移動物體，但是基本上整個圖像的全局的運 動傾向于指示相機的運動，而不是在捕捉的場景中的個別特征，并且在本情況中，由于相機 被安裝在HMD上，相機的運動對應于HMD的運動并且進而對應于用戶的頭部的運動。
[0071] -個圖像和下一個圖像之間的位移（如由圖像比較器410檢測的）由運動檢測器 420轉(zhuǎn)換為表示運動的信號。如果需要，運動信號由積分器430轉(zhuǎn)換為位置信號。
[0072] 如上所述，作為對通過檢測由與HMD相關聯(lián)的視頻相機捕捉的圖像的圖像間運動 的運動檢測的替換或者除此之外，HMD可以使用諸如加速計的機械的或者固態(tài)檢測器330 檢測頭部運動。假定基于視頻的系統(tǒng)的響應時間至多是圖像捕捉速率的倒數(shù)，這實際上可 以給出關于對運動的指示的更快的響應。因此，在一些情況中，檢測器330可能更適于與更 高頻率的運動檢測使用。但是，在其它情況中，例如如果使用高圖像速率相機（諸如200Hz 捕捉速率相機），基于相機的系統(tǒng)可能是更合適的。就圖8來說，檢測器330可以取代相機 320、圖像存儲器400和比較器410,以便于直接提供輸入到運動檢測器420?；蛘邫z測器 330也可以取代運動檢測器420,直接提供表示物理運動的輸出信號。
[0073] 其它位置或者運動檢測技術當然是可能的。例如，可以使用通過可移動的縮放儀 臂將HMD鏈接到（例如，在數(shù)據(jù)處理設備上或者在一件家具上）固定的點的機械的布置，其 中位置和定向傳感器檢測縮放儀臂的偏轉(zhuǎn)的改變。在其它實施例中，安裝在HMD上和在固 定的點上的一個或多個發(fā)射器和接收器的系統(tǒng)可以被用于允許通過三角測量技術檢測HMD 的位置和定向。例如，HMD可以攜帶一個或多個方向性的發(fā)射器，并且與已知的或者固定的 點相關聯(lián)的接收器陣列可以檢測來自一個或多個發(fā)射器的相關信號?；蛘甙l(fā)射器可以是固 定的并且接收器可以在HMD上。發(fā)射器和接收器的示例包括紅外線轉(zhuǎn)換器、超聲波轉(zhuǎn)換器 和射頻轉(zhuǎn)換器。射頻轉(zhuǎn)換器可以有雙重用途，在于它們也可以形成去往和/或來自HMD的 射頻數(shù)據(jù)鏈接的部分，所述鏈接諸如藍牙?鏈接。
[0074] 圖9示意性地示出了響應于檢測的位置或者HMD的位置的改變而進行的圖像處 理。
[0075] 如上結(jié)合圖6所述，在諸如虛擬現(xiàn)實和增強現(xiàn)實布置的一些應用中，響應于用戶 的頭部的實際的位置或定向的改變而改變向HMD的用戶顯示的視頻的明顯的視點。
[0076] 參考圖9,這通過運動傳感器450 (諸如圖8的布置和/或圖7b的運動檢測器330) 將表示運動和/或當前位置的數(shù)據(jù)供應到需要的圖像位置檢測器460來實現(xiàn)，所述圖像位 置檢測器460將HMD的實際的位置轉(zhuǎn)化為定義用于顯示的所需要的圖像的數(shù)據(jù)。如果需要， 圖像產(chǎn)生器480訪問存儲在圖像存儲器470中的圖像數(shù)據(jù)，并且從合適的視點產(chǎn)生需要的 圖像以用于由HMD顯示。外部視頻信號源可以提供圖像產(chǎn)生器480的功能并且充當控制器 以通過改變顯示的圖像的視點來補償觀測者的頭部的運動的較低頻率分量，以便于以與檢 測的運動相反的方向移動顯示的圖像，以便于以檢測的運動的方向改變觀測者的明顯的視 點。
[0077] 圖像產(chǎn)生器480可以以將在下文中所述的方式在諸如所謂的視圖矩陣數(shù)據(jù)的元 數(shù)據(jù)的基礎上運作。
[0078] 為了示意性地示出與現(xiàn)有技術相關聯(lián)的一些一般概念，圖10示意性地示出了通 過相機對圖像的捕捉并且圖11示意性地示出了捕捉的圖像的重新投影。
[0079] 參考圖10,相機500捕捉現(xiàn)實世界場景的部分510的圖像。相機500的視場被示 意性地示出為大致的三角形形狀520,使得相機處于大致的三角形形狀的一個尖端，與相機 相鄰的側(cè)邊示意性地指示視場的左邊和右邊的極限，并且與相機相對的側(cè)邊示意性地示出 了場景被捕捉的部分。該示意性的注釋將被用在下面的幾個附圖中。
[0080] 為討論圖像重新投影的一般概念，假設在圖10的布置中，不但捕捉圖像，還捕捉 定義相機的"視圖矩陣"的信息。這里，視圖矩陣可以指在空間中的相機的位置和/或定向， 所述視圖矩陣相對于抽象的固定的點和定向或者被表示為關于可應用在之前的時間（例 如，可以是與之前的捕捉的圖像相關聯(lián)的時間）的位置和/或定向的改變。因此，在一表 達中，視圖矩陣可以被認為是相機的X、y和Z空間位置，以及其旋轉(zhuǎn)性定向被表示為偏航 (yaw)、俯仰（pitch)和滾動（roll)(表示三個正交的旋轉(zhuǎn)性自由度的一般術語）及其視見 平截頭體（viewing frustum)(表示相機的視場、寬角度視場和窄角度或者遠距視場之間的 范圍的一般術語，并且可以被表示為對應于例如圖10中所示的角530的角度范圍）。視圖 矩陣數(shù)據(jù)不需要包括所有這些數(shù)據(jù)貢獻。例如，在一些布置中，可能只有橫向旋轉(zhuǎn)性定向 (偏航）是相關的。在視圖矩陣數(shù)據(jù)中包括哪個數(shù)據(jù)項目的選擇因此是系統(tǒng)設計者的事，將 捕捉的圖像和視圖矩陣數(shù)據(jù)所被期望的用途考慮在內(nèi)。
[0081] 在本公開的實施例中，例如通過諸如參考圖27在下文中描述的相機裝置，視圖矩 陣數(shù)據(jù)例如作為存儲和/或傳送為整體圖像數(shù)據(jù)包的一部分的所謂的元數(shù)據(jù)與捕捉的圖 像相關聯(lián)地存儲，所述相機裝置包括，圖像捕捉設備，用于捕捉圖像；位置和/或定向檢測 器，用于在捕捉所述圖像的時間處檢測所述相機的位置和/或定向裝置；以及元數(shù)據(jù)產(chǎn)生 器，用于將元數(shù)據(jù)與所述圖像相關聯(lián)，所述元數(shù)據(jù)指示在捕捉所述圖像的時間處所述相機 裝置的檢測的位置和/或定向。
[0082] 注意，相機500可以是捕捉由時間間隔分開的一連串的圖像的靜態(tài)相機或視頻相 機。
[0083] 圖11示意性地示出了由圖10的相機根據(jù)觀看者的視點捕捉的圖像的重新投影。 視點540是由眼睛標志示意性地示出的并且是類似于上述三角形形狀520的大致的三角 形形狀550。為了顯示由相機500捕捉的圖像使得其合適于根據(jù)圖11所示的視點觀看，進 行將視點的視圖矩陣（如上所討論的）與相機500的視圖矩陣相關聯(lián)的過程。將參考圖 12和13描述這樣的技術的示例。另外的示例在1997年10月的威斯康辛-麥迪遜大學的 計算機科學學院技術報告1354的博士論文Seitz的："Image Based Transformation of Viewpoint and Scene Appearance"中討論，其內(nèi)容通過引用合并于此。
[0084] 圖12示意性地示出了從第一視圖矩陣560旋轉(zhuǎn)到第二視圖矩陣570的圖像。該 類型的重新投影僅涉及旋轉(zhuǎn)和縮放圖像，以便于校正相機的視圖矩陣和用戶視點的視圖矩 陣之間的視場和定向中的任何差別。該類型的重新投影的示例將在下文中參考圖16和17 討論。
[0085] 圖13示意性地示出了從第一視圖矩陣580到八個第二視圖矩陣590的圖像旋轉(zhuǎn) 和平移。這里，處理稍微涉及得更多，并且還可以使用深度圖，所述深度圖指示在捕捉的圖 像中的不同的圖像特征的圖像深度，以允許用戶視點關于相機的視點平移。使用深度圖的 示例將在下文中參考圖18-20討論。
[0086] 注意，圖像不一定必須是相機捕捉的圖像。所有這些技術同樣可