位置和/或定向；
[0195] 根據(jù)由所述元數(shù)據(jù)指示的位置和/或定向和所述觀看者的頭部的當(dāng)前的位置和/ 或定向之間的任何差別重新投影所述接收的圖像；以及
[0196] 顯示所述重新投影的圖像。
[0197] 11.根據(jù)款項(xiàng)10所述的方法，包括將所述重新投影的圖像與表示從所述相機(jī)的位 置的全景視場(chǎng)的全景圖像組合的步驟。
[0198] 12. -種用于向觀看者顯示圖像的顯示方法，所述方法包括：
[0199] 在捕捉或產(chǎn)生所述圖像的時(shí)間處接收?qǐng)D像和指示相機(jī)的位置和/或定向的相關(guān) 聯(lián)的元數(shù)據(jù)；
[0200] 相對(duì)于表示從該相機(jī)位置的全景視場(chǎng)的全景圖像重新投影所述接收的圖像；以及
[0201] 顯示如重新投影到所述全景圖像的所述圖像。
[0202] 13.根據(jù)款項(xiàng)11或款項(xiàng)12所述的方法，包括根據(jù)所使用的相機(jī)或者所述圖像的相 機(jī)位置選擇全景圖像的步驟。
[0203] 14.根據(jù)款項(xiàng)11到13的任一項(xiàng)所述的方法，包括如下步驟：
[0204] 從所述圖像中移除圖形數(shù)據(jù)。
[0205] 15.根據(jù)款項(xiàng)14所述的方法，包括如下步驟：
[0206] 在所述圖像的重新投影之后插入圖形信息以用于顯示。
[0207] 16.根據(jù)款項(xiàng)10到15的任一項(xiàng)所述的方法，其中所述圖像使用頭戴式顯示器顯示 并且通過檢測(cè)所述頭戴式顯示器的位置和/或定向來檢測(cè)所述觀看者的頭部的位置和/或 定向。
[0208] 17. -種用于執(zhí)行根據(jù)前述款項(xiàng)的任意一項(xiàng)所述的方法的計(jì)算機(jī)軟件。
[0209] 18. -種存儲(chǔ)根據(jù)款項(xiàng)17所述的計(jì)算機(jī)軟件的存儲(chǔ)介質(zhì)。
[0210] 19. 一種顯示系統(tǒng)，包括：
[0211] 顯示元件，可以由觀看者觀看；
[0212] 位置和/或定向檢測(cè)器，用于檢測(cè)所述觀看者的頭部的位置和/或定向；
[0213] 圖像重新投影儀，用于根據(jù)可應(yīng)用到所述圖像的產(chǎn)生或捕捉的所述位置和/或定 向和所述觀看者的頭部的當(dāng)前的位置和/或定向之間的任何差別重新投影接收的圖像以 用于由所述顯示元件顯示。
[0214] 20.根據(jù)款項(xiàng)19所述的系統(tǒng)，包括用于根據(jù)所述觀看者的頭部的初始位置和/或 定向產(chǎn)生用于顯示的圖像的視頻信號(hào)源。
[0215] 21.根據(jù)款項(xiàng)20所述的系統(tǒng)，其中所述視頻信號(hào)源是視頻游戲或者數(shù)據(jù)處理機(jī) 器。
[0216] 22.根據(jù)款項(xiàng)19所述的系統(tǒng)，其中所述圖像重新投影儀響應(yīng)于與從相機(jī)接收的圖 像相關(guān)聯(lián)的元數(shù)據(jù)，所述元數(shù)據(jù)指示在圖像捕捉的時(shí)間處的所述相機(jī)的位置和/或定向。
[0217] 23.根據(jù)款項(xiàng)19到22的任意一項(xiàng)所述的系統(tǒng)，其中所述位置和/或定向檢測(cè)器包 括：
[0218] 安裝的相機(jī)以便于與所述用戶的頭部移動(dòng)；以及
[0219] 可操作為比較由所述相機(jī)捕捉的連續(xù)的圖像以便于檢測(cè)圖像間的運(yùn)動(dòng)的圖像比 較器。
[0220] 24.根據(jù)款項(xiàng)19到22的任意一項(xiàng)所述的系統(tǒng)，其中所述位置和/或定向檢測(cè)器包 括加速計(jì)。
[0221] 25.根據(jù)款項(xiàng)19到22的任意一項(xiàng)所述的系統(tǒng)，其中所述顯示元件形成具有安裝到 觀看者的頭部的框架的頭戴式顯示器的部分，所述框架定義一個(gè)或兩個(gè)眼睛的顯示位置其 中，所述框架在使用中位于所述觀看者的相應(yīng)的眼睛的前方并且相應(yīng)的顯示元件關(guān)于每個(gè) 眼睛的顯示位置安裝，所述顯示元件將來自視頻信號(hào)源的視頻信號(hào)的視頻顯示的虛擬圖像 提供到所述觀看者的該眼睛。
[0222] 26.根據(jù)款項(xiàng)25所述的系統(tǒng)，其中，在使用中，所述虛擬圖像產(chǎn)生在離開所述框架 多于一米的距離處。
[0223] 27. -種相機(jī)裝置，包括：
[0224] 圖像捕捉設(shè)備，用于捕捉圖像；
[0225] 位置和/或定向檢測(cè)器，用于在捕捉所述圖像的時(shí)間處檢測(cè)所述相機(jī)裝置的位置 和/或定向；以及
[0226] 元數(shù)據(jù)產(chǎn)生器，用于將元數(shù)據(jù)與所述圖像相關(guān)聯(lián)，所述元數(shù)據(jù)指示在捕捉所述圖 像的時(shí)間處所述相機(jī)裝置的檢測(cè)的位置和/或定向。
[0227] 28. -種定義圖像的圖像數(shù)據(jù)，所述圖像數(shù)據(jù)具有定義產(chǎn)生圖像的相機(jī)的位置和 /或定向以及定義用于顯示與所述圖像有關(guān)的圖形數(shù)據(jù)的所述圖像的一個(gè)或多個(gè)可替換的 部分的相關(guān)聯(lián)的元數(shù)據(jù)。
[0228] 上述技術(shù)可以實(shí)現(xiàn)在硬件、軟件或兩者的組合中。在采用軟件控制的數(shù)據(jù)處理裝 置以實(shí)現(xiàn)實(shí)施例的一個(gè)或多個(gè)特征的情況中，將理解的是，這樣的軟件、以及通過其提供所 述軟件的諸如非瞬時(shí)性機(jī)器可讀的存儲(chǔ)介質(zhì)的存儲(chǔ)或傳輸介質(zhì)也被認(rèn)為是本公開的實(shí)施 例。
【主權(quán)項(xiàng)】
1. 一種使用可操作為向觀看者顯示圖像的顯示器的顯示方法，所述方法包括： 檢測(cè)所述觀看者的頭部的初始位置和/或定向； 根據(jù)所述檢測(cè)的初始位置和/或定向產(chǎn)生用于顯示的圖像； 取決于所述圖像將被顯示的顯示時(shí)間檢測(cè)所述觀看者的頭部的當(dāng)前的位置和/或定 向； 根據(jù)所述觀看者的頭部的初始位置和/或定向以及當(dāng)前的位置和/或定向之間的任何 差別重新投影所述產(chǎn)生的圖像；以及 使用所述顯示器顯示所述重新投影的圖像。2. 根據(jù)權(quán)利要求1所述的方法，其中重新投影的步驟包括檢測(cè)所述產(chǎn)生的圖像和所述 需要的重新投影的圖像之間的重疊部分，并且再現(xiàn)所述重疊部分作為所述重新投影的圖像 的部分。3. 根據(jù)權(quán)利要求2所述的方法，包括用來自另外的圖像源的圖像材料填充除了所述重 疊部分之外的所述重新投影的圖像的部分。4. 根據(jù)前述權(quán)利要求的任意一項(xiàng)所述的方法，其中所述產(chǎn)生步驟包括將元數(shù)據(jù)與所述 產(chǎn)生的圖像相關(guān)聯(lián)，所述元數(shù)據(jù)指示所述觀看者的頭部的初始位置和/或定向。5. 根據(jù)前述權(quán)利要求的任意一項(xiàng)所述的方法，其中所述產(chǎn)生步驟包括提供指示一個(gè)或 多個(gè)圖像特征的圖像深度的深度數(shù)據(jù)，并且所述重新投影的步驟包括根據(jù)所述深度數(shù)據(jù)在 所述重新投影的圖像中重新定位一個(gè)或多個(gè)圖像特征。6. 根據(jù)前述權(quán)利要求的任意一項(xiàng)所述的方法，其中所述顯示器是頭戴式顯示器并且通 過檢測(cè)所述頭戴式顯示器的位置和/或定向來檢測(cè)所述觀看者的頭部的位置和/或定向。7. 根據(jù)前述權(quán)利要求的任意一項(xiàng)所述的方法，其中所述產(chǎn)生步驟需要等于至少圖像產(chǎn) 生等待時(shí)間的時(shí)間段，并且所述重新投影步驟需要等于至少圖像重新投影等待時(shí)間的時(shí)間 段，所述圖像產(chǎn)生等待時(shí)間比所述圖像重新投影等待時(shí)間更長。8. 根據(jù)權(quán)利要求7所述的方法，其中所述檢測(cè)的初始位置在考慮到所述圖像產(chǎn)生等待 時(shí)間和所述圖像重新投影等待時(shí)間的最新的時(shí)間被檢測(cè)，以允許在所述顯示時(shí)間處顯示所 述重新投影的圖像。9.一種圖像捕捉的方法，包括： 使用相機(jī)捕捉圖像； 檢測(cè)所述相機(jī)的位置和/或定向；以及 將元數(shù)據(jù)與所述捕捉的圖像相關(guān)聯(lián)，所述元數(shù)據(jù)指示在捕捉所述圖像時(shí)的所述相機(jī)的 位置和/或定向。10. -種用于向觀看者顯示圖像的顯示方法，所述方法包括： 接收如由權(quán)利要求9所述的方法捕捉的圖像和相關(guān)聯(lián)的元數(shù)據(jù)； 在將顯示所述圖像的時(shí)間處檢測(cè)所述觀看者的頭部的當(dāng)前的位置和/或定向； 根據(jù)由所述元數(shù)據(jù)指示的位置和/或定向和所述觀看者的頭部的當(dāng)前的位置和/或定 向之間的任何差別重新投影所述接收的圖像；以及 顯示所述重新投影的圖像。11. 根據(jù)權(quán)利要求10所述的方法，包括將所述重新投影的圖像與表示從所述相機(jī)的位 置的全景視場(chǎng)的全景圖像組合的步驟。12. -種用于向觀看者顯示圖像的顯示方法，所述方法包括： 在捕捉或產(chǎn)生所述圖像的時(shí)間處接收?qǐng)D像和指示相機(jī)的位置和/或定向的相關(guān)聯(lián)的 元數(shù)據(jù)； 相對(duì)于表示從該相機(jī)位置的全景視場(chǎng)的全景圖像重新投影所述接收的圖像；以及 顯示如重新投影到所述全景圖像的所述圖像。13. 根據(jù)權(quán)利要求11或權(quán)利要求12所述的方法，包括根據(jù)所使用的相機(jī)或者所述圖像 的相機(jī)位置選擇全景圖像的步驟。14. 根據(jù)權(quán)利要求11到13的任意一項(xiàng)所述的方法，包括如下步驟： 從所述圖像中移除圖形數(shù)據(jù)。15. 根據(jù)權(quán)利要求14所述的方法，包括如下步驟： 在所述圖像的重新投影之后插入圖形信息以用于顯示。16. 根據(jù)權(quán)利要求10到15的任意一項(xiàng)所述的方法，其中所述圖像使用頭戴式顯示器顯 示并且通過檢測(cè)所述頭戴式顯示器的位置和/或定向來檢測(cè)所述觀看者的頭部的位置和/ 或定向。17. -種用于執(zhí)行根據(jù)前述權(quán)利要求的任意一項(xiàng)所述的方法的計(jì)算機(jī)軟件。18. -種存儲(chǔ)根據(jù)權(quán)利要求17所述的計(jì)算機(jī)軟件的存儲(chǔ)介質(zhì)。19. 一種顯不系統(tǒng)，包括： 顯示元件，可以由觀看者觀看； 位置和/或定向檢測(cè)器，用于檢測(cè)所述觀看者的頭部的位置和/或定向； 圖像重新投影儀，用于根據(jù)可應(yīng)用到所述圖像的產(chǎn)生或捕捉的所述位置和/或定向和 所述觀看者的頭部的當(dāng)前的位置和/或定向之間的任何差別重新投影接收的圖像以用于 由所述顯示元件顯示。20. 根據(jù)權(quán)利要求19所述的系統(tǒng)，包括用于根據(jù)所述觀看者的頭部的初始位置和/或 定向產(chǎn)生用于顯示的圖像的視頻信號(hào)源。21. 根據(jù)權(quán)利要求20所述的系統(tǒng)，其中所述視頻信號(hào)源是視頻游戲或者數(shù)據(jù)處理機(jī) 器。22. 根據(jù)權(quán)利要求19所述的系統(tǒng)，其中所述圖像重新投影儀響應(yīng)于與從相機(jī)接收的圖 像相關(guān)聯(lián)的元數(shù)據(jù)，所述元數(shù)據(jù)指示在圖像捕捉的時(shí)間處的所述相機(jī)的位置和/或定向。23. 根據(jù)權(quán)利要求19到22的任意一項(xiàng)所述的系統(tǒng)，其中所述位置和/或定向檢測(cè)器包 括： 安裝的相機(jī)以便于與所述用戶的頭部移動(dòng)；以及 可操作為比較由所述相機(jī)捕捉的連續(xù)的圖像以便于檢測(cè)圖像間的運(yùn)動(dòng)的圖像比較器。24. 根據(jù)權(quán)利要求19到22的任意一項(xiàng)所述的系統(tǒng)，其中所述位置和/或定向檢測(cè)器包 括加速計(jì)。25. 根據(jù)權(quán)利要求19到22的任意一項(xiàng)所述的系統(tǒng)，其中所述顯示元件形成具有安裝到 觀看者的頭部的框架的頭戴式顯示器的部分，所述框架定義一個(gè)或兩個(gè)眼睛的顯示位置， 所述框架在使用中位于所述觀看者的相應(yīng)的眼睛的前方并且相應(yīng)的顯示元件關(guān)于每個(gè)眼 睛的顯示位置安裝，所述顯示元件將來自視頻信號(hào)源的視頻信號(hào)的視頻顯示的虛擬圖像提 供到所述觀看者的該眼睛。26. 根據(jù)權(quán)利要求25所述的系統(tǒng)，其中，在使用中，所述虛擬圖像產(chǎn)生在離開所述框架 多于一米的距離處。27. -種相機(jī)裝置，包括： 圖像捕捉設(shè)備，用于捕捉圖像； 位置和/或定向檢測(cè)器，用于在捕捉所述圖像的時(shí)間處檢測(cè)所述相機(jī)裝置的位置和/ 或定向；以及 元數(shù)據(jù)產(chǎn)生器，用于將元數(shù)據(jù)與所述圖像相關(guān)聯(lián)，所述元數(shù)據(jù)指示在捕捉所述圖像的 時(shí)間處所述相機(jī)裝置的檢測(cè)的位置和/或定向。28. -種定義圖像的圖像數(shù)據(jù)，所述圖像數(shù)據(jù)具有定義產(chǎn)生圖像的相機(jī)的位置和/或 定向以及定義用于顯示與所述圖像有關(guān)的圖形數(shù)據(jù)的所述圖像的一個(gè)或多個(gè)可替換的部 分的相關(guān)聯(lián)的元數(shù)據(jù)。
【專利摘要】一種使用可操作為向觀看者顯示圖像的顯示器的顯示方法包括：檢測(cè)所述觀看者的頭部的初始位置和/或定向；根據(jù)所述檢測(cè)的位置和/或定向產(chǎn)生用于顯示的圖像；在將顯示所述圖像的時(shí)間處檢測(cè)所述觀看者的頭部的當(dāng)前的位置和/或定向；根據(jù)所述觀看者的頭部的初始位置和/或定向以及當(dāng)前的位置和/或定向之間的任何差別重新投影所述產(chǎn)生的圖像；以及使用所述顯示器顯示所述重新投影的圖像。
【IPC分類】H04N5/232, G02B27/01, G06F3/01
【公開號(hào)】CN105103034
【申請(qǐng)?zhí)枴緾N201480016970
【發(fā)明人】I.H.比克斯塔夫, S.M.本森, O.賴特, S.W.拉戈巴達(dá)亞爾
【申請(qǐng)人】索尼電腦娛樂歐洲有限公司
【公開日】2015年11月25日
【申請(qǐng)日】2014年3月24日
【公告號(hào)】WO2014155072A2, WO2014155072A3