專(zhuān)利名稱(chēng)：用于多用戶(hù)擴(kuò)增現(xiàn)實(shí)的在線(xiàn)基準(zhǔn)生成和跟蹤的制作方法
用于多用戶(hù)擴(kuò)增現(xiàn)實(shí)的在線(xiàn)基準(zhǔn)生成和跟蹤對(duì)待審的臨時(shí)申請(qǐng)的交叉引用本申請(qǐng)根據(jù)35USC119要求于2010年9月9日提交且題為“Online ReferenceGeneration And Tracking For Mult1-User Augmented Reality (用于多用戶(hù)擴(kuò)增現(xiàn)實(shí)的在線(xiàn)基準(zhǔn)生成和跟蹤)”的美國(guó)臨時(shí)申請(qǐng)第61/381，344號(hào)的優(yōu)先權(quán)，該臨時(shí)申請(qǐng)已轉(zhuǎn)讓給本申請(qǐng)受讓人并通過(guò)援引納入于此。背景擴(kuò)增現(xiàn)實(shí)系統(tǒng)可將虛擬對(duì)象插入到現(xiàn)實(shí)世界的用戶(hù)視圖中。成功的擴(kuò)增現(xiàn)實(shí)系統(tǒng)的一個(gè)關(guān)鍵要求在于能夠準(zhǔn)確估計(jì)用戶(hù)相對(duì)于基準(zhǔn)的位置和定向(姿勢(shì))的跟蹤系統(tǒng)。否貝U，虛擬對(duì)象將出現(xiàn)在錯(cuò)誤的位置或在環(huán)境四處浮動(dòng)。在多用戶(hù)擴(kuò)增現(xiàn)實(shí)系統(tǒng)中，虛擬對(duì)象需要從每一個(gè)用戶(hù)唯一的角度來(lái)看都出現(xiàn)在環(huán)境中的相同位置處。因此，每一個(gè)用戶(hù)相對(duì)于環(huán)境的唯一姿勢(shì)需要相對(duì)于相同的基準(zhǔn)來(lái)估計(jì)。用于多用戶(hù)擴(kuò)增現(xiàn)實(shí)系統(tǒng)的常規(guī)跟蹤系統(tǒng)需要先前獲取的公共基準(zhǔn)。該基準(zhǔn)可以是環(huán)境的3D模型、置于環(huán)境中的人工標(biāo)記、或環(huán)境中的平面表面的前向視像。因此，這種擴(kuò)增現(xiàn)實(shí)系統(tǒng)只能在已知環(huán)境中操作。然而，預(yù)先獲得基準(zhǔn)并不一定方便或可能。對(duì)于環(huán)境的先驗(yàn)知識(shí)的依賴(lài)性大大地限制了多用戶(hù)擴(kuò)增現(xiàn)實(shí)技術(shù)的用途。存在不需要對(duì)環(huán)境的先驗(yàn)知識(shí)的跟蹤技術(shù)，諸如在2009年第8屆關(guān)于混合和擴(kuò)增現(xiàn)實(shí)的IEEE國(guó)際研討會(huì)(ISMAR)上在2009年10月19-22日第83-86頁(yè)上的Georg Klein和 David Murray 提出的 “Parallel Tracking and Mapping on a Camera Phone (相機(jī)電話(huà)上的并行跟蹤和地圖繪制)”。然而，這些技術(shù)只估計(jì)一用戶(hù)相對(duì)于任意基準(zhǔn)的姿勢(shì)，而無(wú)法用于多用戶(hù)擴(kuò)增現(xiàn)實(shí)應(yīng)用。如在2010年第9屆關(guān)于混合和擴(kuò)增現(xiàn)實(shí)的IEEE國(guó)際研討會(huì)(ISMAR)、2010年10月 13-16 日第 57-64 頁(yè)上 W.Lee、Y.Park、V.Lepetit、W.Woo 提出的“Point-and-Shoot forUbiquitous Tagging on Mobile Phones (用于移動(dòng)電話(huà)上普遍存在的標(biāo)記的對(duì)準(zhǔn)拍攝)”中所描述的對(duì)準(zhǔn)拍攝方法估計(jì)了多個(gè)用戶(hù)的姿勢(shì)。在對(duì)準(zhǔn)拍攝的方法中，相機(jī)的定向由板載加速計(jì)來(lái)估計(jì)。圖像被變形成前向視圖并且生成“平均補(bǔ)片”集合。每一個(gè)平均補(bǔ)片被計(jì)算為在視點(diǎn)的有限范圍上補(bǔ)片的平均，并且生成多個(gè)范圍的平均補(bǔ)片以覆蓋所有可能的視圖。通過(guò)將每一個(gè)傳入圖像與平均補(bǔ)片進(jìn)行比較，可對(duì)姿勢(shì)進(jìn)行估計(jì)。然而，對(duì)準(zhǔn)拍攝方法依賴(lài)于運(yùn)動(dòng)傳感器來(lái)生成前向視像，并且因此要求相機(jī)中的附加組件并且遭受由運(yùn)動(dòng)傳感器所引起的誤差。另外，對(duì)準(zhǔn)拍攝方法依賴(lài)于多個(gè)平均補(bǔ)片。而且，對(duì)準(zhǔn)拍攝方法僅在水平或垂直平面表面上工作，而這是具有限制性的。從而，需要一種能夠在事先未知的場(chǎng)景中估計(jì)多個(gè)用戶(hù)的姿勢(shì)的改進(jìn)的系統(tǒng)。概述多用戶(hù)擴(kuò)增現(xiàn)實(shí)(AR)系統(tǒng)在沒(méi)有先前獲取的公共基準(zhǔn)的情況下通過(guò)在運(yùn)行過(guò)程中生成基準(zhǔn)圖像來(lái)操作。基準(zhǔn)圖像通過(guò)捕捉平面對(duì)象的至少兩個(gè)圖像并且使用該至少兩個(gè)圖像來(lái)確定第一移動(dòng)平臺(tái)相對(duì)于平面對(duì)象的姿勢(shì)(位置和定向)來(lái)產(chǎn)生。平面對(duì)象的圖像(可以是初始圖像或后續(xù)捕捉的圖像之一)通過(guò)使用第一移動(dòng)平臺(tái)的定向來(lái)變形以產(chǎn)生平面對(duì)象的前向視圖的基準(zhǔn)圖像。通過(guò)使用由第二移動(dòng)平臺(tái)捕捉的平面對(duì)象的圖像以及基準(zhǔn)圖像來(lái)確定第二移動(dòng)平臺(tái)相對(duì)于平面圖像的姿勢(shì)。確定第一移動(dòng)平臺(tái)的姿勢(shì)和/或?qū)D像變形以產(chǎn)生基準(zhǔn)可以由第一移動(dòng)平臺(tái)或服務(wù)器來(lái)執(zhí)行。另外，若期望，基準(zhǔn)圖像可被擴(kuò)展為包括新的圖像，該新的圖像包含平面對(duì)象中未被包括在基準(zhǔn)圖像中的部分。例如，第二移動(dòng)平臺(tái)可捕捉新的圖像，該新的圖像包括平面對(duì)象中未被包括在基準(zhǔn)圖像中的不同部分。新的圖像和基準(zhǔn)圖像可被合并以生成平面對(duì)象的前向視圖的新的基準(zhǔn)圖像，并且第二移動(dòng)平臺(tái)相對(duì)于平面對(duì)象的姿勢(shì)可使用由第二移動(dòng)平臺(tái)所捕捉的平面對(duì)象的后續(xù)圖像以及新的基準(zhǔn)圖像來(lái)更新。在另一方面，一種裝置包括用于接收要被處理的至少兩個(gè)圖像的接口，該至少兩個(gè)圖像中的至少一個(gè)由第一相機(jī)捕捉并且包含平面對(duì)象的不同視圖。例如，該接口可以是移動(dòng)平臺(tái)中的第一相機(jī)和處理器之間的接口，或者可以是從移動(dòng)平臺(tái)接收?qǐng)D像的服務(wù)器中的外部接口。該裝置還包括數(shù)據(jù)傳輸接口、連接到用于接收要被處理的至少兩個(gè)圖像的接口以及數(shù)據(jù)傳輸接口的處理器、以及連接到處理器的存儲(chǔ)器。存儲(chǔ)器中保存并且在處理器中運(yùn)行的軟件致使該處理器分析平面對(duì)象的至少兩個(gè)圖像并且使用至少兩個(gè)捕捉到的圖像來(lái)確定第一相機(jī)相對(duì)于平面對(duì)象的姿勢(shì)(位置和定向)。該軟件還致使該處理器使用該定向來(lái)使平面對(duì)象的圖像變形以產(chǎn)生平面對(duì)象的前向視圖的基準(zhǔn)圖像，并且經(jīng)由數(shù)據(jù)傳輸接口將該基準(zhǔn)圖像傳輸?shù)骄哂械诙鄼C(jī)的至少一個(gè)移動(dòng)平臺(tái)以使用該基準(zhǔn)圖像來(lái)執(zhí)行多用戶(hù)擴(kuò)增現(xiàn)實(shí)應(yīng)用。若期望，存儲(chǔ)器中保存且在處理器中運(yùn)行的軟件還可致使該處理器將基準(zhǔn)圖像與新的圖像(該新的圖像包括平面對(duì)象中未被包括在基準(zhǔn)圖像中的部分)合并以生成平面對(duì)象的前向視圖的新的基準(zhǔn)圖像，并且經(jīng)由數(shù)據(jù)傳輸接口將該新的基準(zhǔn)圖像傳輸?shù)街辽僖粋€(gè)其他移動(dòng)平臺(tái)以使用該新的基準(zhǔn)圖像來(lái)執(zhí)行多用戶(hù)擴(kuò)增現(xiàn)實(shí)應(yīng)用。在另一方面，一種移動(dòng)平臺(tái)包括相機(jī)、無(wú)線(xiàn)收發(fā)機(jī)、連接到相機(jī)和無(wú)線(xiàn)收發(fā)機(jī)的處理器、連接到處理器的存儲(chǔ)器、以及連接到存儲(chǔ)器的顯示器。保存在存儲(chǔ)器中且在處理器中運(yùn)行的軟件致使該處理器:分析平面對(duì)象的至少兩個(gè)捕捉到的圖像，并且使用該至少兩個(gè)捕捉到的圖像來(lái)確定移動(dòng)平臺(tái)相對(duì)于平面對(duì)象的姿勢(shì)(位置和定向)，使用該定向來(lái)使平面對(duì)象的圖像變形以產(chǎn)生平面對(duì)象的前向視圖的基準(zhǔn)圖像，將該基準(zhǔn)圖像傳輸?shù)街辽僖粋€(gè)其他移動(dòng)平臺(tái)，并且使用該基準(zhǔn)圖像通過(guò)至少一個(gè)其他移動(dòng)平臺(tái)來(lái)執(zhí)行在顯示器上顯示的多用戶(hù)擴(kuò)增顯示應(yīng)用。在另一方面，一種系統(tǒng)包括用于捕捉平面對(duì)象的至少兩個(gè)圖像的裝置以及用于使用該至少兩個(gè)圖像來(lái)確定第一移動(dòng)平臺(tái)相對(duì)于平面對(duì)象的姿勢(shì)(位置和定向)的裝置。該系統(tǒng)還包括:用于使用第一移動(dòng)平臺(tái)相對(duì)于平面對(duì)象的定向來(lái)使平面對(duì)象的圖像變形以產(chǎn)生平面對(duì)象的前向視圖的基準(zhǔn)圖像的裝置，以及用于使用由第二移動(dòng)平臺(tái)捕捉的平面對(duì)象的圖像以及基準(zhǔn)圖像來(lái)確定第二移動(dòng)平臺(tái)相對(duì)于平面對(duì)象的姿勢(shì)的裝置。若期望，該系統(tǒng)可包括:用于將基準(zhǔn)圖像和新的圖像(該新的圖像包括平面對(duì)象中未被包括在基準(zhǔn)圖像中的部分)合并以生成平面對(duì)象的前向視圖的新的基準(zhǔn)圖像的裝置。在這樣的系統(tǒng)中，用于確定第二移動(dòng)平臺(tái)的姿勢(shì)的裝置通過(guò)使用由第二移動(dòng)平臺(tái)捕捉的平面對(duì)象的不同圖像以及新的基準(zhǔn)圖像來(lái)更新第二移動(dòng)平臺(tái)相對(duì)于平面對(duì)象的姿勢(shì)。在又一方面，一種包括存儲(chǔ)在其上的程序代碼的計(jì)算機(jī)可讀介質(zhì)，包括:用于分析平面對(duì)象的至少兩個(gè)圖像以確定捕捉了該至少兩個(gè)圖像中的至少一個(gè)圖像的相機(jī)相對(duì)于平面對(duì)象的姿勢(shì)(位置和定向)的程序代碼，以及用于使用該定向來(lái)使平面對(duì)象的圖像變形以產(chǎn)生平面對(duì)象的前向視圖的基準(zhǔn)圖像的程序代碼。該計(jì)算機(jī)可讀介質(zhì)還包括:用于傳輸基準(zhǔn)圖像的程序代碼，以及用于使用該基準(zhǔn)圖像來(lái)執(zhí)行多用戶(hù)擴(kuò)增顯示應(yīng)用的程序代碼。若期望，該計(jì)算機(jī)可讀介質(zhì)還可包括用于合并基準(zhǔn)圖像和新的圖像(該新的圖像包括平面對(duì)象中未被包括在基準(zhǔn)圖像中的部分)以生成平面對(duì)象的前向視圖的新的基準(zhǔn)圖像的程序代碼，用于傳輸新的基準(zhǔn)圖像的程序代碼，以及用于使用新的基準(zhǔn)圖像來(lái)執(zhí)行多用戶(hù)擴(kuò)增顯示應(yīng)用的程序代碼。附圖簡(jiǎn)要說(shuō)明

圖1示出在沒(méi)有先前獲取的公共基準(zhǔn)的情況下進(jìn)行操作的多用戶(hù)擴(kuò)增現(xiàn)實(shí)(AR)系統(tǒng)。圖2是描述了在沒(méi)有先前獲取的公共基準(zhǔn)的情況下執(zhí)行具有多用戶(hù)的AR的過(guò)程的流程圖。圖3示出將平面對(duì)象的圖像變形為平面對(duì)象的前向視圖的基準(zhǔn)圖像。圖4示出在沒(méi)有先前獲取的公共基準(zhǔn)的情況下進(jìn)行操作并且使用服務(wù)器來(lái)生成基準(zhǔn)圖像的多用戶(hù)AR系統(tǒng)。圖5示出平面上的3D點(diǎn)以及該3D點(diǎn)在具有不同平面視圖的兩個(gè)圖像上的2D投影。圖6是能夠執(zhí)行多用戶(hù)AR系統(tǒng)的初始化過(guò)程的設(shè)備(諸如移動(dòng)平臺(tái)或服務(wù)器)的框圖。具體描述圖1示出在沒(méi)有先前獲取的公共基準(zhǔn)的情況下進(jìn)行操作的多用戶(hù)擴(kuò)增現(xiàn)實(shí)(AR)系統(tǒng)100。多用戶(hù)AR系統(tǒng)100包括第一移動(dòng)平臺(tái)IlOA (有時(shí)被稱(chēng)為主設(shè)備110A)以及附加移動(dòng)平臺(tái)IlOB和IlOC (有時(shí)被統(tǒng)稱(chēng)為移動(dòng)平臺(tái)110)。每一個(gè)移動(dòng)平臺(tái)110包括用于對(duì)環(huán)境進(jìn)行成像的背向相機(jī)114。主設(shè)備IlOA通過(guò)從不同視點(diǎn)捕捉平面對(duì)象102的多個(gè)圖像(一個(gè)圖像被示為顯示器112中的102A)來(lái)至少部分地執(zhí)行初始化過(guò)程。根據(jù)多個(gè)捕捉到的圖像，可確定主設(shè)備IlOA相對(duì)于對(duì)象102的姿勢(shì)(位置和定向)，從所確定的姿勢(shì)中可生成基準(zhǔn)圖像104，并且將該基準(zhǔn)圖像分發(fā)(如箭頭103所示)給其他移動(dòng)平臺(tái)IlOB和110C，其他移動(dòng)平臺(tái)IlOB和IlOC正查看相同的平面對(duì)象102，如圖像102B和102C所分別示出的。通過(guò)使用基準(zhǔn)圖像104，每一個(gè)移動(dòng)平臺(tái)110AU10B和IlOC可通過(guò)確定該移動(dòng)平臺(tái)相對(duì)于對(duì)象102的唯一姿勢(shì)來(lái)跟蹤對(duì)象102從而執(zhí)行多用戶(hù)AR應(yīng)用。應(yīng)該理解，移動(dòng)平臺(tái)可以是任何便攜式電子設(shè)備，諸如蜂窩或其他無(wú)線(xiàn)通信設(shè)備、個(gè)人通信系統(tǒng)(PCS)設(shè)備、個(gè)人導(dǎo)航設(shè)備(PND)、個(gè)人信息管理器(PM)、個(gè)人數(shù)字助理(PDA)、膝上機(jī)、相機(jī)或能夠進(jìn)行擴(kuò)增現(xiàn)實(shí)(AR)的其他合適的移動(dòng)設(shè)備。圖2是描述了在沒(méi)有先前獲取的公共基準(zhǔn)的情況下執(zhí)行具有多用戶(hù)的AR的過(guò)程的流程圖。主設(shè)備IIOA通過(guò)背向相機(jī)114來(lái)捕捉對(duì)象102的兩個(gè)或更多個(gè)圖像(202)。應(yīng)該理解，如此處所使用的，捕捉到的圖像可以是靜止圖像或視頻幀。對(duì)象102的兩個(gè)或更多個(gè)圖像由主設(shè)備IlOA在不同視點(diǎn)處(即以主設(shè)備IlOA相對(duì)于對(duì)象102的不同姿勢(shì))捕捉，或者由具有不同視點(diǎn)的不同移動(dòng)平臺(tái)IlOA和IlOB來(lái)捕捉。通過(guò)使用多個(gè)捕捉到的圖像，確定主設(shè)備IlOA相對(duì)于對(duì)象102的姿勢(shì)(位置和定向)(204)。對(duì)象102的圖像(可以是由主設(shè)備IlOA捕捉的初始圖像或?qū)ο?02的新的或不同的圖像之一)隨后基于主設(shè)備110的定向被變形以產(chǎn)生作為對(duì)象102的前向視圖的基準(zhǔn)圖像104(206)，如圖3中的箭頭106所示?；鶞?zhǔn)圖像104被用作公共基準(zhǔn)圖像，每一個(gè)移動(dòng)平臺(tái)110可根據(jù)該公共基準(zhǔn)圖像來(lái)確定其相對(duì)于要跟蹤的對(duì)象的唯一姿勢(shì)從而執(zhí)行多用戶(hù)AR (208)。如圖1所示，主設(shè)備IlOA可確定其姿勢(shì)(圖2中的步驟204)，并且將對(duì)象的圖像變形(圖2中的步驟206)，并且將基準(zhǔn)圖像104傳輸給其他移動(dòng)平臺(tái)IlOB和110C，如箭頭103所示。主設(shè)備IlOA以及其他移動(dòng)平臺(tái)IlOB和IlOC隨后可使用所產(chǎn)生的基準(zhǔn)圖像104來(lái)確定它們各自相對(duì)于A(yíng)R應(yīng)用中的對(duì)象的姿勢(shì)。然而，若期望，這些過(guò)程中的一個(gè)或多個(gè)可遠(yuǎn)離主設(shè)備IlOA執(zhí)行。例如，可使用單獨(dú)的服務(wù)器來(lái)執(zhí)行初始化功能中的一個(gè)或多個(gè)。如圖4所示，在多用戶(hù)AR系統(tǒng)100’中，主設(shè)備IlOA可捕捉對(duì)象102的多個(gè)圖像(一個(gè)圖像被視為圖4的顯示器112中的102A)(圖2中的步驟202)并且可將捕捉到的圖像傳輸(如箭頭105所示)到服務(wù)器130。服務(wù)器130隨后可使用捕捉到的圖像來(lái)確定主設(shè)備IlOA的姿勢(shì)(圖2中的步驟204)，并且使對(duì)象102的圖像變形以產(chǎn)生基準(zhǔn)圖像104 (圖2中的步驟206)。服務(wù)器130隨后將基準(zhǔn)圖像104傳輸?shù)街髟O(shè)備IlOA和其他移動(dòng)平臺(tái)(圖4中僅 示出了移動(dòng)平臺(tái)110B)，如箭頭107所示。若期望，主設(shè)備IlOA可確定姿勢(shì)(圖2中的步驟204)，并且將姿勢(shì)連同與該姿勢(shì)相關(guān)聯(lián)的圖像一起傳輸?shù)椒?wù)器130。服務(wù)器130隨后使圖像變形(圖2中的步驟206)，并且將基準(zhǔn)圖像104傳輸?shù)街髟O(shè)備IlOA和移動(dòng)平臺(tái)110B?；蛘?，代替使用服務(wù)器130，這些過(guò)程步驟中的一個(gè)或多個(gè)可改為由一個(gè)或多個(gè)其他移動(dòng)平臺(tái)IlOB和IlOC來(lái)執(zhí)行。例如，主設(shè)備IlOA(或主設(shè)備IlOA和另一移動(dòng)平臺(tái)110B)可捕捉對(duì)象102的多個(gè)圖像(圖2中的步驟202)，并且從主設(shè)備IlOA捕捉到的圖像可被傳輸?shù)搅硪灰苿?dòng)平臺(tái)110B。另一移動(dòng)平臺(tái)IlOB可確定主設(shè)備IlOA的姿勢(shì)(圖2中的步驟204)，并且使對(duì)象102的圖像之一變形為基準(zhǔn)圖像104(圖2中的步驟206)，并且將經(jīng)變形的圖像傳輸?shù)狡渌苿?dòng)平臺(tái)(包括主設(shè)備110A)?；蛘撸瑢?duì)象102的捕捉到的多個(gè)圖像(圖2中的步驟202)可被傳輸?shù)狡渌苿?dòng)平臺(tái)IlOB和IlOC中的每一個(gè)，所述其他移動(dòng)平臺(tái)IlOB和IlOC中的每一個(gè)隨后獨(dú)立地確定主設(shè)備IlOA的姿勢(shì)(圖2中的步驟204)并且使對(duì)象102的圖像之一變形為基準(zhǔn)圖像104 (圖2中的步驟206)。若期望，主設(shè)備IlOA可確定姿勢(shì)(圖2中的步驟204)，并且將姿勢(shì)連同與該姿勢(shì)相關(guān)聯(lián)的圖像一起傳輸?shù)狡渌苿?dòng)平臺(tái)IlOB和110C。其他移動(dòng)平臺(tái)IlOB和IlOC隨后獨(dú)立地將圖像變形(圖2中的步驟206)為前向視圖。圖5示出平面上的3D點(diǎn)Q以及3D點(diǎn)Q在具有對(duì)平面π的不同視圖的兩個(gè)相應(yīng)圖像1、I’上的2D投影q、q’以示出使用以下符號(hào)來(lái)確定主設(shè)備IlOA的姿勢(shì)。3D點(diǎn)Q= (X，Y, Ζ)τ與其2D投影q=(x，y, I)τ在相機(jī)圖像上通過(guò)3X4投影矩陣P相關(guān)為:q = PQ^i I其中Ξ表示在至多一縮放因子內(nèi)的相等，并且P=K [R11]式 2其中R表示旋轉(zhuǎn)，t表示轉(zhuǎn)換，而K表示固有相機(jī)參數(shù)。如圖5所示，如果平面上的3D點(diǎn)Q在兩個(gè)圖像I’和I上查看，則其在圖像I’上的2D投影 ，Yt, I)和在圖像I上的投影q= (x, y, I)通過(guò)2D-2D的單應(yīng)性h來(lái)被相關(guān)為:q' 三 hq 式 3如果圖像I的投影矩陣是Κ[Ι|0]而圖像I’的投影矩陣是K’ [R，t，]，則
權(quán)利要求
1.一種方法，包括: 捕捉平面對(duì)象的至少兩個(gè)圖像； 通過(guò)使用所述至少兩個(gè)圖像來(lái)確定第一移動(dòng)平臺(tái)相對(duì)于所述平面對(duì)象的包括位置和定向的第一姿勢(shì)； 通過(guò)使用所述第一移動(dòng)平臺(tái)相對(duì)于所述平面對(duì)象的定向來(lái)使由所述第一移動(dòng)平臺(tái)捕捉的所述平面對(duì)象的圖像變形以產(chǎn)生所述平面對(duì)象的前向視圖的基準(zhǔn)圖像；以及 通過(guò)使用由第二移動(dòng)平臺(tái)捕捉的平面對(duì)象的第二圖像以及所述基準(zhǔn)圖像來(lái)確定所述第二移動(dòng)平臺(tái)相對(duì)于所述平面圖像的第二姿勢(shì)。
2.如權(quán)利要求1所述的方法，其特征在于，還包括基于所述第二移動(dòng)平臺(tái)相對(duì)于所述平面對(duì)象的所述第二姿勢(shì)來(lái)用所述第二移動(dòng)平臺(tái)來(lái)執(zhí)行擴(kuò)增現(xiàn)實(shí)應(yīng)用。
3.如權(quán)利要求1所述的方法，其特征在于，確定所述第一移動(dòng)平臺(tái)相對(duì)于所述平面對(duì)象的包括位置和定位的第一姿勢(shì)包括: 從所述至少兩個(gè)圖像中提取特征； 通過(guò)使用所述特征來(lái)計(jì)算所述至少兩個(gè)圖像之間的2D-2D單應(yīng)性h ； 計(jì)算所述特征的3D坐標(biāo)以定義與所述平面對(duì)象的平面相對(duì)應(yīng)的3D平面； 通過(guò)使用所述特征和所述3D平面來(lái)計(jì)算所述3D平面和所述至少兩個(gè)圖像之一之間的3D-2D單應(yīng)性H ;以及` 使用所述3D-2D單應(yīng)性H來(lái)確定所述第一姿勢(shì)。
4.如權(quán)利要求1所述的方法，其特征在于，通過(guò)使用由所述第二移動(dòng)平臺(tái)捕捉的平面對(duì)象的圖像和基準(zhǔn)圖像來(lái)確定所述第二移動(dòng)平臺(tái)相對(duì)于所述平面對(duì)象的第二姿勢(shì)包括: 從所述基準(zhǔn)圖像中提取特征； 定義3D平面上與從所述基準(zhǔn)圖像提取出的所述特征相對(duì)應(yīng)的3D點(diǎn)； 在由所述第二移動(dòng)平臺(tái)捕捉的平面對(duì)象的圖像中尋找與所述3D點(diǎn)的2D投影相匹配的點(diǎn)；以及 通過(guò)使用經(jīng)匹配的3D-2D點(diǎn)對(duì)來(lái)估計(jì)所述第二移動(dòng)平臺(tái)的第二姿勢(shì)。
5.如權(quán)利要求4所述的方法，其特征在于，從所述基準(zhǔn)圖像提取出的所述特征包括點(diǎn)特征或線(xiàn)特征。
6.如權(quán)利要求1所述的方法，其特征在于，確定所述第一移動(dòng)平臺(tái)相對(duì)于所述平面對(duì)象的包括位置和定位的第一姿勢(shì)由所述第一移動(dòng)平臺(tái)執(zhí)行。
7.如權(quán)利要求1所述的方法，其特征在于，使所述平面對(duì)象的圖像變形由所述第一移動(dòng)平臺(tái)執(zhí)行。
8.如權(quán)利要求1所述的方法，其特征在于，還包括將所述基準(zhǔn)圖像傳輸?shù)剿龅诙苿?dòng)平臺(tái)。
9.如權(quán)利要求1所述的方法，其特征在于，還包括由所述第一移動(dòng)平臺(tái)傳輸所述平面對(duì)象的所述至少兩個(gè)圖像，其中確定所述第一移動(dòng)平臺(tái)相對(duì)于所述平面對(duì)象的包括位置和定向的第一姿勢(shì)由服務(wù)器執(zhí)行。
10.如權(quán)利要求1所述的方法，其特征在于，使所述平面對(duì)象的圖像變形由服務(wù)器執(zhí)行。
11.如權(quán)利要求1所述的方法，其特征在于，被變形的、由所述第一移動(dòng)平臺(tái)捕捉的所述平面對(duì)象的圖像是所述平面對(duì)象的所述至少兩個(gè)圖像之一。
12.如權(quán)利要求1所述的方法，其特征在于，還包括通過(guò)所述第一移動(dòng)平臺(tái)來(lái)捕捉所述平面對(duì)象的額外的圖像，其中被變形的、由所述第一移動(dòng)平臺(tái)捕捉的所述平面對(duì)象的圖像是所述平面對(duì)象的所述額外的圖像。
13.如權(quán)利要求1所述的方法，其特征在于，還包括: 用所述第一移動(dòng)平臺(tái)來(lái)捕捉所述平面對(duì)象的額外的圖像； 通過(guò)使用所述平面對(duì)象的所述額外的圖像和所述基準(zhǔn)圖像來(lái)生成所述第一移動(dòng)平臺(tái)相對(duì)于所述平面對(duì)象的經(jīng)更新的第一姿勢(shì)；以及 基于所述第一移動(dòng)平臺(tái)相對(duì)于所述平面對(duì)象的經(jīng)更新的第一姿勢(shì)來(lái)用所述第一移動(dòng)平臺(tái)來(lái)執(zhí)行擴(kuò)增現(xiàn)實(shí)應(yīng)用。
14.如權(quán)利要求1所述的方法，其特征在于，還包括: 使用所述第二移動(dòng)平臺(tái)來(lái)捕捉新的圖像，所述新的圖像包括所述平面對(duì)象中未被包括在所述平面對(duì)象的前向視圖的基準(zhǔn)圖像中的部分； 合并所述新的圖像和所述基準(zhǔn)圖像以生成所述平面對(duì)象的前向視圖的新的基準(zhǔn)圖像；以及 通過(guò)使用由所述第二移動(dòng)平臺(tái)捕捉的平面對(duì)象的后續(xù)圖像以及所述新的基準(zhǔn)圖像來(lái)確定所述第二移動(dòng)平臺(tái)相對(duì)于所述平面圖像的經(jīng)更新的第二姿勢(shì)。
15.如權(quán)利要求14所述的方法，其特征在于，合并所述新的圖像和所述基準(zhǔn)圖像以生成所述平面對(duì)象的前向視圖的新的基準(zhǔn)圖像包括:通過(guò)單位變換將所述基準(zhǔn)圖像的像素變換成所述新的基準(zhǔn)圖像，并且將所述新的圖像的像素變換成所述新的基準(zhǔn)圖像。
16.如權(quán)利要求15所述的方法，其特征在于，將所述新的圖像的像素變換成所述新的基準(zhǔn)圖像是使用經(jīng)計(jì)算的單應(yīng)性或仿射變換中的至少一個(gè)來(lái)執(zhí)行的。
17.如權(quán)利要求1所述的方法，其特征在于，所述平面對(duì)象的所述至少兩個(gè)圖像兩者都是由所述第一移動(dòng)平臺(tái)捕捉的。
18.如權(quán)利要求1所述的方法，其特征在于，所述平面對(duì)象的所述至少兩個(gè)圖像之一是由所述第一移動(dòng)平臺(tái)捕捉的，而所述平面對(duì)象的所述至少兩個(gè)圖像中的另一個(gè)圖像是由所述第二移動(dòng)平臺(tái)捕捉的。
19.如權(quán)利要求1所述的方法，其特征在于，通過(guò)使用所述第一移動(dòng)平臺(tái)的定向來(lái)使由所述第一移動(dòng)平臺(tái)捕捉的所述平面對(duì)象的圖像變形包括使用經(jīng)計(jì)算的單應(yīng)性。
20.如權(quán)利要求1所述的方法，其特征在于，使所述平面對(duì)象的圖像變形產(chǎn)生經(jīng)變形的圖像，所述方法還包括轉(zhuǎn)換和縮放所述經(jīng)變形的圖像以產(chǎn)生所述平面對(duì)象的前向視圖的基準(zhǔn)圖像。
21.一種裝置，包括: 用于接收要被處理的至少兩個(gè)圖像的接口，所述至少兩個(gè)圖像包含平面對(duì)象的不同視圖，其中所述至少兩個(gè)圖像中的至少一個(gè)圖像由第一相機(jī)捕捉； 數(shù)據(jù)傳輸接口； 連接到所述用于接收要被處理的至少兩個(gè)圖像的接口以及所述數(shù)據(jù)傳輸接口的處理器； 連接至所述處理器的存儲(chǔ)器；以及保存在所述存儲(chǔ)器中且被配置成致使所述處理器執(zhí)行以下動(dòng)作的軟件:分析所述平面對(duì)象的至少兩個(gè)圖像、通過(guò)使用所述至少兩個(gè)圖像來(lái)確定所述第一相機(jī)相對(duì)于所述平面對(duì)象的包括位置和定向的姿勢(shì)、通過(guò)使用所述定向來(lái)使所述平面對(duì)象的圖像變形以產(chǎn)生所述平面對(duì)象的前向視圖的基準(zhǔn)圖像、經(jīng)由所述數(shù)據(jù)傳輸接口將所述基準(zhǔn)圖像傳輸?shù)骄哂械诙鄼C(jī)的移動(dòng)平臺(tái)以使用所述基準(zhǔn)圖像來(lái)執(zhí)行多用戶(hù)擴(kuò)增現(xiàn)實(shí)應(yīng)用。
22.如權(quán)利要求21所述的裝置，其特征在于，所述裝置是服務(wù)器，其中所述用于接收要被處理的至少兩個(gè)圖像的接口以及所述數(shù)據(jù)傳輸接口是外部接口，且其中所述基準(zhǔn)圖像被傳輸?shù)蕉鄠€(gè)移動(dòng)平臺(tái)。
23.如權(quán)利要求21所述的裝置，其特征在于，所述裝置是還包括所述第一相機(jī)的第一移動(dòng)平臺(tái)，其中所述用于接收要被處理的至少兩個(gè)圖像的接口是所述第一相機(jī)和所述處理器之間的接口，且其中所述數(shù)據(jù)傳輸接口是無(wú)線(xiàn)收發(fā)機(jī)。
24.如權(quán)利要求23所述的裝置，其特征在于，存儲(chǔ)在所述存儲(chǔ)器中被配置成致使所述處理器通過(guò)使用所述基準(zhǔn)圖像來(lái)執(zhí)行多用戶(hù)擴(kuò)增現(xiàn)實(shí)應(yīng)用的軟件包括:致使所述處理通過(guò)使用所述基準(zhǔn)圖像和所述平面對(duì)象的額外的圖像來(lái)更新所述第一相機(jī)相對(duì)于所述平面對(duì)象的姿勢(shì)的軟件。
25.如權(quán)利要求24所述的裝置，其特征在于，致使所述處理器更新所述第一相機(jī)的姿勢(shì)的軟件包括:用于從所述基準(zhǔn)圖像中提取特征、在3D平面上定義與從所述基準(zhǔn)圖像中提取出的所述特征相對(duì)應(yīng)的3D點(diǎn)、在所述平面對(duì)象的所述額外的圖像中尋找與所述3D點(diǎn)的2D投影相匹配的點(diǎn)、以及使用經(jīng)匹配的3D-2D點(diǎn)對(duì)來(lái)更新所述姿勢(shì)的軟件。
26.如權(quán)利要求21所述的裝置，其特征在于，保存在所述存儲(chǔ)器中被配置成致使所述處理器確定所述第一相機(jī)相對(duì)于所述平面對(duì)象的姿勢(shì)的軟件包括保存在所述存儲(chǔ)器中并且在所述處理器中運(yùn)行的用于執(zhí)行以下動(dòng)作的軟件:從所述至少兩個(gè)圖像中提取特征、通過(guò)使用所述特征來(lái)計(jì)算所述至少兩個(gè)圖像之間的2D-2D單應(yīng)性h、計(jì)算所述特征的3D坐標(biāo)以定義與所述平面對(duì)象的平面相對(duì)應(yīng)的3D平面、通過(guò)使用所述特征和所述3D平面來(lái)計(jì)算所述3D平面和所述至少兩 個(gè)圖像之一之間的3D-2D單應(yīng)性H、以及使用所述3D-2D單應(yīng)性H來(lái)確定所述姿勢(shì)。
27.如權(quán)利要求21所述的裝置，其特征在于，被變形以產(chǎn)生所述基準(zhǔn)圖像的所述平面對(duì)象的圖像是所述平面對(duì)象的至少兩個(gè)圖像之一。
28.如權(quán)利要求21所述的裝置，其特征在于，被變形以產(chǎn)生所述基準(zhǔn)圖像的所述平面對(duì)象的圖像是所述平面對(duì)象的額外的圖像。
29.如權(quán)利要求21所述的裝置，其特征在于，保存在所述存儲(chǔ)器中的軟件被配置成致使所述處理器執(zhí)行以下動(dòng)作:將所述基準(zhǔn)圖像與新的圖像合并以生成平面對(duì)象的前向視圖的新的基準(zhǔn)圖像，所述新的圖像包括所述平面對(duì)象中未被包括在所述基準(zhǔn)圖像中的部分，并且經(jīng)由數(shù)據(jù)傳輸接口將該新的基準(zhǔn)圖像傳輸?shù)剿鼍哂械诙鄼C(jī)的移動(dòng)平臺(tái)以使用該新的基準(zhǔn)圖像來(lái)執(zhí)行多用戶(hù)擴(kuò)增現(xiàn)實(shí)應(yīng)用。
30.如權(quán)利要求29所述的裝置，其特征在于，保存在所述存儲(chǔ)器中的軟件被配置成致使所述處理器執(zhí)行以下動(dòng)作:通過(guò)經(jīng)由單元變換將所述基準(zhǔn)圖像的像素變換成新的基準(zhǔn)圖像并且通過(guò)使用經(jīng)計(jì)算的單應(yīng)性或仿射變換中的至少一個(gè)來(lái)將所述新的圖像的像素變換成新的基準(zhǔn)圖像來(lái)合并所述新的圖像和所述基準(zhǔn)圖像以生成所述新的基準(zhǔn)圖像。
31.如權(quán)利要求21所述的裝置，其特征在于，保存在所述存儲(chǔ)器中的軟件被配置成致使所述處理器通過(guò)使用經(jīng)計(jì)算的單應(yīng)性來(lái)使所述平面對(duì)象的圖像變形。
32.如權(quán)利要求21所述的裝置，其特征在于，保存在所述存儲(chǔ)器中的軟件被配置成致使所述處理器使所述平面對(duì)象的圖像變形以產(chǎn)生經(jīng)變形的圖像，其中保存在所述存儲(chǔ)器中且在所述處理器中運(yùn)行的軟件還致使所述處理器變換和縮放所述經(jīng)變形的圖像以產(chǎn)生所述平面對(duì)象的前向視圖的基準(zhǔn)圖像。
33.一種移動(dòng)平臺(tái)，包括: 相機(jī)； 無(wú)線(xiàn)收發(fā)機(jī)； 連接至所述相機(jī)和所述 無(wú)線(xiàn)收發(fā)機(jī)的處理器； 連接至所述處理器的存儲(chǔ)器； 連接至所述存儲(chǔ)器的顯示器；以及 保存在所述存儲(chǔ)器中且被配置成致使所述處理器執(zhí)行以下動(dòng)作的軟件:分析平面對(duì)象的至少兩個(gè)捕捉到的圖像、使用所述至少兩個(gè)捕捉到的圖像來(lái)確定所述移動(dòng)平臺(tái)相對(duì)于所述平面對(duì)象的包括位置和定向的姿勢(shì)、通過(guò)使用所述定向來(lái)使所述平面對(duì)象的圖像變形以產(chǎn)生所述平面對(duì)象的前向視圖的基準(zhǔn)圖像、將所述基準(zhǔn)圖像傳輸?shù)街辽僖粋€(gè)其他移動(dòng)平臺(tái)、以及使用所述基準(zhǔn)圖像通過(guò)所述至少一個(gè)其他移動(dòng)平臺(tái)來(lái)執(zhí)行在顯示器上顯示的多用戶(hù)擴(kuò)增顯示應(yīng)用。
34.—種系統(tǒng),包括: 用于捕捉平面對(duì)象的至少兩個(gè)圖像的裝置； 用于通過(guò)使用所述至少兩個(gè)圖像來(lái)確定第一移動(dòng)平臺(tái)相對(duì)于所述平面對(duì)象的包括位置和定向的第一姿勢(shì)的裝置； 用于通過(guò)使用所述第一移動(dòng)平臺(tái)相對(duì)于所述平面對(duì)象的定向來(lái)使平面對(duì)象的圖像變形以產(chǎn)生所述平面對(duì)象的前向視圖的基準(zhǔn)圖像的裝置；以及 用于通過(guò)使用由第二移動(dòng)平臺(tái)捕捉的平面對(duì)象的第二圖像以及所述基準(zhǔn)圖像來(lái)確定所述第二移動(dòng)平臺(tái)相對(duì)于所述平面圖像的第二姿勢(shì)的裝置。
35.如權(quán)利要求34所述的系統(tǒng)，其特征在于，還包括用于基于所述第二移動(dòng)平臺(tái)相對(duì)于所述平面對(duì)象的所述第二姿勢(shì)來(lái)通過(guò)所述第二移動(dòng)平臺(tái)執(zhí)行擴(kuò)增現(xiàn)實(shí)應(yīng)用的裝置。
36.如權(quán)利要求34所述的系統(tǒng)，其特征在于，所述第一移動(dòng)平臺(tái)包括用于確定相對(duì)于所述平面對(duì)象的包括位置和定向的姿勢(shì)的裝置，以及用于使所述平面對(duì)象的圖像變形的裝置，所述第一移動(dòng)平臺(tái)還包括用于將所述基準(zhǔn)圖像傳輸?shù)剿龅诙苿?dòng)平臺(tái)的裝置。
37.如權(quán)利要求34所述的系統(tǒng)，其特征在于，還包括服務(wù)器，所述服務(wù)器包括用于確定相對(duì)于所述平面對(duì)象的包括位置和定向的姿勢(shì)的裝置，以及用于使所述平面對(duì)象的圖像變形的裝置，所述服務(wù)器還包括用于接收所述平面對(duì)象的至少兩個(gè)圖像的裝置以及用于將所述基準(zhǔn)圖像傳輸?shù)剿龅诙苿?dòng)平臺(tái)的裝置。
38.如權(quán)利要求34所述的系統(tǒng)，其特征在于，被變形的所述平面對(duì)象的圖像包括所述平面對(duì)象的所述至少兩個(gè)圖像或者所述平面對(duì)象的額外的圖像之一。
39.如權(quán)利要求34所述的系統(tǒng)，其特征在于，還包括用于合并所述基準(zhǔn)圖像和新的圖像以生成所述平面對(duì)象的前向視圖的新的基準(zhǔn)圖像的裝置，所述新的圖像包括所述平面對(duì)象中未被包括在所述基準(zhǔn)圖像中的部分，其中用于確定所述第二移動(dòng)平臺(tái)的所述第二姿勢(shì)的裝置通過(guò)使用由所述第二移動(dòng)平臺(tái)捕捉的平面對(duì)象的不同的圖像以及所述新的基準(zhǔn)圖像來(lái)更新所述第二移動(dòng)平臺(tái)相對(duì)于所述平面對(duì)象的第二姿勢(shì)。
40.如權(quán)利要求39所述的系統(tǒng)，其特征在于，用于合并所述新的圖像和所述基準(zhǔn)圖像以生成所述新的基準(zhǔn)圖像的裝置通過(guò)經(jīng)由單元變換將所述基準(zhǔn)圖像的像素變換成所述新的基準(zhǔn)圖像并且通過(guò)使用經(jīng)計(jì)算的單應(yīng)性或仿射變換中的至少一個(gè)來(lái)將所述新的圖像的像素變換成所述新的基準(zhǔn)圖像。
41.如權(quán)利要求34所述的系統(tǒng)，其特征在于，用于通過(guò)使用所述第一移動(dòng)平臺(tái)的定向來(lái)使所述平面對(duì)象的圖像變形的裝置使用包括轉(zhuǎn)換和所述定向的經(jīng)計(jì)算的單應(yīng)性。
42.如權(quán)利要求34所述的系統(tǒng)，其特征在于，用于使所述平面對(duì)象的圖像變形的裝置產(chǎn)生經(jīng)變形的圖像，所述系統(tǒng)還包括用于轉(zhuǎn)換和縮放所述經(jīng)變形的圖像以產(chǎn)生所述平面對(duì)象的前向視圖的基準(zhǔn)圖像的裝置。
43.一種包括存儲(chǔ)于其上的程序代碼的計(jì)算機(jī)可讀介質(zhì)，包括: 用于分析平面對(duì)象的至少兩個(gè)圖像以確定捕捉了所述至少兩個(gè)圖像中的至少一個(gè)圖像的相機(jī)相對(duì)于所述平面對(duì)象的、包括位置和定向的姿勢(shì)的程序代碼； 用于通過(guò)使用所述定向使所述平面對(duì)象的圖像變形以產(chǎn)生所述平面對(duì)象的前向視圖的基準(zhǔn)圖像的程序代碼； 用于傳輸所述基準(zhǔn)圖像的程序代碼；以及 用于通過(guò)使用所述基準(zhǔn)圖像來(lái)執(zhí)行多用戶(hù)擴(kuò)增現(xiàn)實(shí)應(yīng)用的程序代碼。
44.如權(quán)利要求43所述的計(jì)算機(jī)可讀介質(zhì)，其特征在于，還包括: 用于將所述基準(zhǔn)圖像和新的圖像合并以生成所述平面對(duì)象的前向視圖的新的基準(zhǔn)圖像的程序代碼，所述新的圖像包括所述平面對(duì)象中未被包括在所述基準(zhǔn)圖像中的部分； 用于傳輸所述新的基準(zhǔn)圖像的程序代碼；以及 用于通過(guò)使用所述新的基準(zhǔn)圖像來(lái)執(zhí)行所述多用戶(hù)擴(kuò)增現(xiàn)實(shí)應(yīng)用的程序代碼。
45.如權(quán)利要求44所述的計(jì)算機(jī)可讀介質(zhì)，其特征在于，用于合并所述新的圖像和所述基準(zhǔn)圖像以生成所述新的基準(zhǔn)圖像的程序代碼包括: 用于通過(guò)單位變換將所述基準(zhǔn)圖像的像素變換成所述新的基準(zhǔn)圖像的程序代碼； 用于通過(guò)使用經(jīng)計(jì)算的 單應(yīng)性或仿射變換中的至少一個(gè)來(lái)將所述新的圖像的像素變換成所述新的基準(zhǔn)圖像的程序代碼。
全文摘要
多用戶(hù)擴(kuò)增現(xiàn)實(shí)(AR)系統(tǒng)在沒(méi)有先前獲取的公共基準(zhǔn)的情況下通過(guò)在運(yùn)行過(guò)程中生成基準(zhǔn)圖像來(lái)操作。基準(zhǔn)圖像通過(guò)捕捉平面對(duì)象的至少兩個(gè)圖像并且使用該圖像來(lái)確定第一移動(dòng)平臺(tái)相對(duì)于平面對(duì)象的姿勢(shì)(位置和定向)來(lái)產(chǎn)生?；谝苿?dòng)平臺(tái)的定向，平面對(duì)象的圖像(可以是初始圖像或后續(xù)捕捉的圖像之一)被變形以產(chǎn)生平面對(duì)象的前向視圖的基準(zhǔn)圖像?；鶞?zhǔn)圖像可由移動(dòng)平臺(tái)或者由例如服務(wù)器來(lái)產(chǎn)生。其他移動(dòng)平臺(tái)可通過(guò)使用基準(zhǔn)圖像來(lái)確定它們相對(duì)于平面對(duì)象的姿勢(shì)以執(zhí)行多用戶(hù)擴(kuò)增現(xiàn)實(shí)應(yīng)用。
文檔編號(hào)G06T7/00GK103155001SQ201180043651
公開(kāi)日2013年6月12日 申請(qǐng)日期2011年9月9日 優(yōu)先權(quán)日2010年9月9日
發(fā)明者B·江, A·斯瓦彌納杉, S·D·斯賓德拉, D·阿戶(hù)加, C·W·斯維特三世 申請(qǐng)人:高通股份有限公司