專(zhuān)利名稱(chēng)：用于提供3d增強(qiáng)現(xiàn)實(shí)圖像的設(shè)備和方法
技術(shù)領(lǐng)域：
以下描述涉及增強(qiáng)現(xiàn)實(shí)(AR)數(shù)據(jù)和用于提供三維(3D)AR圖像的圖像處理技術(shù)。
背景技術(shù)：
AR是將虛擬對(duì)象或信息疊加到實(shí)際環(huán)境以仿佛在其原始環(huán)境中顯示虛擬對(duì)象等的計(jì)算機(jī)圖形技術(shù)。與僅用于虛擬空間和對(duì)象的常規(guī)虛擬現(xiàn)實(shí)不同，AR將虛擬對(duì)象疊加到真實(shí)世界，由此額外提供從真實(shí)世界難以得到的補(bǔ)充信息。由于這種特點(diǎn)，與僅能應(yīng)用于諸如視頻游戲的有限領(lǐng)域的常規(guī)虛擬現(xiàn)實(shí)不同，AR能夠被應(yīng)用在各種真實(shí)環(huán)境中。特別地，AR已經(jīng)采用聚光燈作為適用于普遍存在的環(huán)境的下一代顯示技術(shù)。常規(guī)地，AR將使用標(biāo)簽或標(biāo)記的虛擬對(duì)象疊加到從一個(gè)攝像機(jī)輸入的圖像，從而提供沒(méi)有圖像立體感或深度的二維OD)圖像。

發(fā)明內(nèi)容
本發(fā)明的示例性實(shí)施方式提供一種3D AR圖像系統(tǒng)以及用于提供3DAR圖像的方法。本發(fā)明的其他特征將在以下描述中提出，且通過(guò)該描述中，部分其他特征將顯而易見(jiàn)，或通過(guò)本發(fā)明的實(shí)踐了解這些特征。本發(fā)明的示例性實(shí)施方式提供了用于提供三維(3D)增強(qiáng)現(xiàn)實(shí)(AR)、圖像的設(shè)備，其包括圖像獲取器，用于獲得包含對(duì)象的圖像；以及圖像處理器，其用于計(jì)算關(guān)于所述對(duì)象的3D位置信息，獲得對(duì)應(yīng)于所述對(duì)象的AR數(shù)據(jù)，根據(jù)所計(jì)算的3D位置信息轉(zhuǎn)換AR數(shù)據(jù)，并使用轉(zhuǎn)換后的AR數(shù)據(jù)和所獲得的圖像來(lái)生成3D AR圖像。本發(fā)明的示例性實(shí)施方式提供了用于提供3D AR圖像的圖像處理器，其包括3D位置信息計(jì)算器，用于計(jì)算關(guān)于包含在圖像中的對(duì)象的3D位置信息AR數(shù)據(jù)轉(zhuǎn)換器，用于獲取對(duì)應(yīng)于對(duì)象的AR數(shù)據(jù)，并根據(jù)所生成的3D位置信息轉(zhuǎn)換AR數(shù)據(jù)；以及AR圖像生成器，用于使用轉(zhuǎn)換后的AR數(shù)據(jù)和所獲得的圖像來(lái)生成3D AR圖像。本發(fā)明的示例性實(shí)施方式提供了用于提供3D AR圖像的方法，該方法包括獲得包含對(duì)象的圖像；計(jì)算所述對(duì)象的3D位置信息；獲得對(duì)應(yīng)于所述對(duì)象的AR數(shù)據(jù)，根據(jù)所述3D位置信息轉(zhuǎn)換AR數(shù)據(jù)，使用轉(zhuǎn)換后的AR數(shù)據(jù)和所獲得的圖像來(lái)生成3D AR圖像；以及顯示所生成的3D AR圖像?？梢岳斫?，以上概述以及以下的詳細(xì)描述是示例性和解釋性的并用于提供對(duì)所要求保護(hù)的發(fā)明的進(jìn)一步解釋。從以下詳細(xì)描述、附圖以及權(quán)利要求中可以明白其他特征和方面。


被包括以提供對(duì)本發(fā)明的進(jìn)一步理解并被結(jié)合并構(gòu)成說(shuō)明書(shū)的一部分的附圖示出了本發(fā)明的實(shí)施方式，且與文字描述一起用于解釋本發(fā)明的原理。圖1是示出根據(jù)本發(fā)明的示例性實(shí)施方式的用于提供3D AR圖像的設(shè)備的框圖；圖2是示出根據(jù)本發(fā)明的示例性實(shí)施方式的圖像處理器的框圖；圖3示出了根據(jù)本發(fā)明的示例性實(shí)施方式的用于計(jì)算3D位置信息的示意圖；圖4示出了根據(jù)本發(fā)明的示例性實(shí)施方式的用于生成3D AR圖像的過(guò)程；圖5是示出根據(jù)本發(fā)明的示例性實(shí)施方式的用于提供3D AR圖像的方法的流程圖；圖6示出了根據(jù)本發(fā)明的示例性實(shí)施方式的用于獲得對(duì)象的距離的原理。
具體實(shí)施例方式下面參照附圖對(duì)本發(fā)明作更全面的描述，其中示出了本發(fā)明的示例性實(shí)施方式。但是本發(fā)明可以以多種不同形式體現(xiàn)并不應(yīng)當(dāng)理解為限于這里提出的實(shí)施方式。而是提供這些示例性實(shí)施方式以使得公開(kāi)充分并向本領(lǐng)域技術(shù)人員充分表達(dá)本發(fā)明的范圍。在整個(gè)附圖和具體描述中，除非另有說(shuō)明，相同的附圖標(biāo)記理解為指示相同的元件、特征和結(jié)構(gòu)。為了清晰、圖示以及方便，這些元件的相對(duì)尺寸和描繪可以被放大。圖1是示出了根據(jù)本發(fā)明的示例性實(shí)施方式的用于提供3D AR圖像的設(shè)備的框圖。如圖1所示，用于提供3D AR圖像的設(shè)備100可以被應(yīng)用于各種類(lèi)型的能夠顯示3D圖像的設(shè)備。作為示例，用于提供3D AR圖像的設(shè)備100可以被應(yīng)用于配備有攝像機(jī)模塊和顯示模塊的智能電話。而且，如果以三維方式顯示圖像，則設(shè)備100可以將圖像中的特定對(duì)象與該對(duì)象的AR數(shù)據(jù)一起顯示。作為示例，當(dāng)設(shè)備100拍攝樹(shù)并顯示該樹(shù)時(shí)，包括該樹(shù)的名稱(chēng)、主要產(chǎn)地、生態(tài)特性等的AR數(shù)據(jù)可以以三維的方式與該樹(shù)的圖像一起被顯示。在3D圖像顯示方法中，可以使用任意的眼鏡方法和非眼鏡方法。在非眼鏡方法中，可以使用視差屏障方法和兩面凸動(dòng)屏幕方法。在一個(gè)示例中，設(shè)備100包括圖像獲取器101、圖像處理器102、圖像顯示器103、傳感器104以及AR數(shù)據(jù)存儲(chǔ)器105。圖像獲取器101獲得包含對(duì)象的圖像。圖像獲取器101可以是攝像機(jī)或圖像傳感器。圖像處理器102處理從圖像獲取器101獲得的圖像并生成3DAR圖像。更具體地，圖像處理器102從該圖像檢測(cè)對(duì)象，計(jì)算該對(duì)象的3D位置信息，獲得對(duì)應(yīng)于該對(duì)象的AR數(shù)據(jù)，并將所獲得的AR數(shù)據(jù)疊加到所獲得的圖像上以生成3D AR圖像。圖像處理器102可以是圖像信號(hào)處理器(ISP)或在ISP中執(zhí)行的軟件模塊。圖像顯示器103顯示所生成的3D AR圖像。傳感器104測(cè)量圖像的方向角、當(dāng)前位置、當(dāng)前時(shí)間等中的一者或多者。傳感器104可以包括全球定位系統(tǒng)(GPQ傳感器、加速度傳感器和地磁傳感器中的至少一者。最后，AR數(shù)據(jù)存儲(chǔ)器105存儲(chǔ)對(duì)應(yīng)于對(duì)象的AR數(shù)據(jù)。該AR數(shù)據(jù)存儲(chǔ)器105可以被包括在設(shè)備100中，或可以在設(shè)備100之外被建立以經(jīng)由通信網(wǎng)絡(luò)與設(shè)備100連接。
作為示例，圖像獲取器101可以包括用于拍攝左圖像的第一攝像機(jī)和用于拍攝右圖像的第二攝像機(jī)，以生成3D圖像。圖像處理器102將由第一攝像機(jī)獲得的左圖像與由第二攝像機(jī)獲得的右圖像進(jìn)行結(jié)合并顯示結(jié)合后的3D圖像。在一個(gè)示例中，圖像處理器102可以從圖像檢測(cè)對(duì)象。該對(duì)象可以是人、物或標(biāo)記。圖像處理器102可以基于對(duì)象檢測(cè)算法來(lái)檢測(cè)對(duì)象。此外，有可能使用傳感器104所測(cè)量的圖像的方向角、當(dāng)前位置、當(dāng)前時(shí)間等中的一者或多者來(lái)選擇性地從圖像檢測(cè)對(duì)象。此外，圖像處理器102可以計(jì)算關(guān)于包含在圖像中的對(duì)象的3D位置信息。該3D位置信息可以包括關(guān)于對(duì)象與設(shè)備100之間的距離的信息。因此，當(dāng)圖像中存在兩個(gè)對(duì)象且這兩個(gè)對(duì)象位于不同的位置時(shí)，每個(gè)對(duì)象可以具有其自身的3D位置信息。諸如對(duì)象的距離的3D位置信息可以用各種方式來(lái)計(jì)算。在一個(gè)示例中，圖像獲取器101可以包括以預(yù)定間隔安裝的第一攝像機(jī)和第二攝像機(jī)，用于獲得3D圖像。圖像處理器102可以獲得第一攝像機(jī)與第二攝像機(jī)之間的間隔以及第一攝像機(jī)和第二攝像機(jī)拍攝對(duì)象的角度?；谒@得的信息，圖像處理器102可以使用基礎(chǔ)三角函數(shù)來(lái)計(jì)算對(duì)象的距離。圖6示出了根據(jù)本發(fā)明的示例性實(shí)施方式的用于獲得對(duì)象的距離的方法。如圖6所示，使用結(jié)合了左攝像機(jī)和右攝像機(jī)(就像人眼)的立體攝像機(jī)來(lái)計(jì)算對(duì)象的距離。作為示例，左攝像機(jī)位于點(diǎn)C，右攝像機(jī)位于點(diǎn)C'?？梢詮淖髷z像機(jī)獲得第一圖像601，可以從右攝像機(jī)獲得第二圖像602。一旦獲得這兩個(gè)圖像，可以根據(jù)以下等式來(lái)計(jì)算第一圖像601或第二圖像602到特定點(diǎn)M的距離。ζ = (B/d) *F作為示例，ζ表示沿與第一軸垂直的第二軸測(cè)量的點(diǎn)M離第一軸(點(diǎn)C和點(diǎn)C'穿過(guò)該第一軸)的距離。B表示點(diǎn)C和點(diǎn)C'之間的距離，d表示在各自圖像中的點(diǎn)M的坐標(biāo)之間的偏差(即，&與)(2之間的偏差)，以及F表示攝像機(jī)鏡頭的焦距。B可以被給定為常數(shù)或可以被測(cè)量，可以使用差值平方和(SSD)方法來(lái)計(jì)算d，可以根據(jù)攝像機(jī)鏡頭來(lái)確定F。因此，可以使用兩個(gè)圖像來(lái)計(jì)算點(diǎn)M的距離ζ。在計(jì)算對(duì)象的距離的另一個(gè)示例中，圖像獲取器101可以包括以預(yù)定間隔安裝的第一攝像機(jī)和第二攝像機(jī)。每個(gè)攝像機(jī)可以裝配有自動(dòng)對(duì)焦功能。圖像處理器102可以使用在第一攝像機(jī)和第二攝像機(jī)自動(dòng)調(diào)節(jié)其焦點(diǎn)時(shí)所獲得的焦距和第一攝像機(jī)和第二攝像機(jī)之間的間隔來(lái)計(jì)算對(duì)象的距離。此外，圖像處理器102可以根據(jù)對(duì)應(yīng)的對(duì)象的3D位置信息來(lái)轉(zhuǎn)換AR數(shù)據(jù)，并將轉(zhuǎn)換后的AR數(shù)據(jù)疊加到所獲得的圖像上，以生成將在圖像顯示器103顯示的3D AR圖像。在一個(gè)示例中，存儲(chǔ)在AR數(shù)據(jù)存儲(chǔ)器105中的第一對(duì)象的AR數(shù)據(jù)和第二對(duì)象的AR數(shù)據(jù)可能沒(méi)有距離或空間信息。因此，當(dāng)圖像處理器102將AR數(shù)據(jù)疊加到圖像上時(shí)，第一對(duì)象和第二對(duì)象可以被顯示，其中第一對(duì)象被顯示得比第二對(duì)象近，但是第一對(duì)象和第二對(duì)象不可以以三維的方式被顯示為具有xyz維度的對(duì)象。出于這個(gè)原因，圖像處理器102可以根據(jù)對(duì)應(yīng)的對(duì)象的3D位置信息來(lái)轉(zhuǎn)換AR數(shù)據(jù)并將轉(zhuǎn)換后的AR數(shù)據(jù)疊加到所獲得的圖像以生成3DAR圖像，使得AR數(shù)據(jù)以三維方式與對(duì)象一起被顯示。因此，設(shè)備100根據(jù)對(duì)應(yīng)的對(duì)象的3D位置信息轉(zhuǎn)換AR數(shù)據(jù)，然后將轉(zhuǎn)換后的AR數(shù)據(jù)疊加到圖像上，能夠以三維方式向用戶提供AR圖像。
圖2是示出了根據(jù)本發(fā)明的示例性實(shí)施方式的圖像處理器的框圖。在一個(gè)示例中，如圖2所示的圖像處理器102包括3D位置信息計(jì)算器201、AR數(shù)據(jù)轉(zhuǎn)換器202、AR圖像生成器203以及對(duì)象檢測(cè)器204。對(duì)象檢測(cè)器204在所獲得的圖像中檢測(cè)感興趣對(duì)象。對(duì)象檢測(cè)器204可以以多種方式中的一種方式從圖像中檢測(cè)對(duì)象。例如，對(duì)象檢測(cè)器204可以在感測(cè)信息(例如，當(dāng)前位置、當(dāng)前時(shí)間、拍攝方向中的一者或多者)的幫助下在圖像中指定特定區(qū)域，并在指定的特定區(qū)域中檢測(cè)對(duì)象。在一個(gè)示例中，存在第一對(duì)象和第二對(duì)象，其中在所獲得的圖像中，第二對(duì)象所處的位置比第一對(duì)象遠(yuǎn)。3D位置信息計(jì)算器201計(jì)算關(guān)于所檢測(cè)的對(duì)象的3D位置信息。作為示例，3D位置信息計(jì)算器201可以使用獲得對(duì)象的左圖像的第一攝像機(jī)與獲得對(duì)象的右圖像的第二攝像機(jī)之間的間隔來(lái)計(jì)算對(duì)象的距離。3D位置信息計(jì)算器201還可以計(jì)算第一攝像機(jī)和第二攝像機(jī)的聚焦方向(focal direction) 0作為示例，3D位置信息計(jì)算器201可以使用所測(cè)量的第一攝像機(jī)和第二攝像機(jī)之間的間隔和攝像機(jī)的自動(dòng)對(duì)焦功能來(lái)計(jì)算對(duì)象的距離。因此，3D位置信息計(jì)算器201可以通過(guò)獲得第一對(duì)象和第二對(duì)象的距離來(lái)識(shí)別出第二對(duì)象比第一對(duì)象遠(yuǎn)。AR數(shù)據(jù)轉(zhuǎn)換器202獲得對(duì)應(yīng)于第一對(duì)象的第一對(duì)象AR數(shù)據(jù)和對(duì)應(yīng)于第二對(duì)象的第二對(duì)象AR數(shù)據(jù)。例如，AR數(shù)據(jù)轉(zhuǎn)換器202可以通過(guò)從AR數(shù)據(jù)存儲(chǔ)器105中提取出相關(guān)信息來(lái)獲得AR數(shù)據(jù)。一旦獲得AR數(shù)據(jù)，AR數(shù)據(jù)轉(zhuǎn)換器202根據(jù)關(guān)于這兩個(gè)對(duì)象的3D位置信息，對(duì)第一對(duì)象AR數(shù)據(jù)和第二對(duì)象AR數(shù)據(jù)進(jìn)行轉(zhuǎn)換。因此，在最終的3D圖像中還可以三維顯示AR數(shù)據(jù)。例如，如果第一對(duì)象比第二對(duì)象近，則AR數(shù)據(jù)轉(zhuǎn)換器202可以轉(zhuǎn)換圖像，使得第一對(duì)象AR數(shù)據(jù)位于第二對(duì)象AR數(shù)據(jù)的前面。單獨(dú)在第一對(duì)象的方面，可以分開(kāi)生成將被疊加在第一攝像機(jī)的左圖像上的第一對(duì)象的第一 AR數(shù)據(jù)和將被疊加在第二攝像機(jī)的右圖像上的第一對(duì)象的第二 AR數(shù)據(jù)。AR圖像生成器203將轉(zhuǎn)換后的AR數(shù)據(jù)疊加在所獲得的圖像上，以生成3D AR圖像。例如，AR圖像生成器203可以將第一對(duì)象的第一 AR數(shù)據(jù)疊加在第一攝像機(jī)的左圖像上并將第一對(duì)象的第二 AR數(shù)據(jù)疊加在第二攝像機(jī)的右圖像上，以分別產(chǎn)生增強(qiáng)的左和右圖像。然后增強(qiáng)的左圖像和右圖像被結(jié)合以生成最終的3D AR圖像。圖3示出了根據(jù)本發(fā)明的示例性實(shí)施方式的用于計(jì)算3D位置信息的示意圖。圖3所示的示意圖描述了由第一攝像機(jī)301和第二攝像機(jī)302拍攝包含第一對(duì)象303和第二對(duì)象304的空間時(shí)獲得關(guān)于第一對(duì)象303和第二對(duì)象304的3D位置信息的方法。參考圖3，在一個(gè)示例中，圖像獲取器101包括第一攝像機(jī)301和第二攝像機(jī)302。第一攝像機(jī)301和第二攝像機(jī)302之間的間隔可以是固定的。為了生成3D圖像，圖像獲取器101使用第一攝像機(jī)301采集第一對(duì)象303和第二對(duì)象304的左眼圖像，使用第二攝像機(jī)302采集第一對(duì)象303和第二對(duì)象304的右眼圖像。作為一個(gè)示例，第一攝像機(jī)301和第二攝像機(jī)302同時(shí)拍攝同一個(gè)對(duì)象(例如，第一對(duì)象30 ，從而第一攝像機(jī)301和第二攝像機(jī)302的拍攝方向可以被調(diào)整。換句話說(shuō)，如果由兩個(gè)攝像機(jī)拍攝第一對(duì)象303，則有可能獲得第一攝像機(jī)301的拍攝方向θ 第二攝像機(jī)302的拍攝方向θ2。由于第一攝像機(jī)301與第二攝像機(jī)302之間的間隔d是固定的，因此可以使用θ ρ θ 2和d來(lái)計(jì)算第一對(duì)象303的距離Lm。
7
作為一個(gè)示例，如果第一攝像機(jī)301和第二攝像機(jī)302配備有自動(dòng)對(duì)焦功能并拍攝同一個(gè)對(duì)象，則可以計(jì)算和f2的拍攝距離。更具體地，通過(guò)使用具有自動(dòng)對(duì)焦功能的兩個(gè)攝像機(jī)來(lái)拍攝同一個(gè)對(duì)象，可以計(jì)算出第一對(duì)象303與第一攝像機(jī)301之間的拍攝距離和第一對(duì)象303與第二攝像機(jī)302之間的拍攝距離f2。如上所述，由于第一攝像機(jī)301 與第二攝像機(jī)302之間的間隔可以是固定的，因此可以使用f\、f2以及d來(lái)計(jì)算第一對(duì)象 303的距離Lm0可以以與上述確定距離Lm的相同的方式來(lái)計(jì)算第二對(duì)象304的距離Ln。此外，第二對(duì)象304相對(duì)于的第一對(duì)象303的相對(duì)距離(即，第二對(duì)象304比第一對(duì)象近還是遠(yuǎn)) 可以在不用計(jì)算絕對(duì)距離Ln的情況下選擇性地被獲得。可通過(guò)將第一對(duì)象303和第二對(duì)象304相對(duì)于第一攝像機(jī)301和第二攝像機(jī)302 的聚焦距離和角度進(jìn)行比較來(lái)確定第二對(duì)象304相對(duì)于第一對(duì)象303的相對(duì)距離。例如， 可通過(guò)將第一對(duì)象303與第一攝像機(jī)301之間的聚焦距離和角度θ工與第二對(duì)象304與第一攝像機(jī)301之間的聚焦距離和角度進(jìn)行比較來(lái)確定第二對(duì)象304相對(duì)于第一對(duì)象303 的相對(duì)距離。在另一示例中，可通過(guò)將第一對(duì)象303與第二攝像機(jī)302之間的聚焦距離f2 和角度θ 2與第二對(duì)象304與第二攝像機(jī)302之間的聚焦距離和角度進(jìn)行比較來(lái)確定第二對(duì)象304相對(duì)于第一對(duì)象303的相對(duì)距離。在圖3中，為了方便，僅參照兩個(gè)對(duì)象303和304進(jìn)行公開(kāi)。但是，本領(lǐng)域技術(shù)人員可以理解，相同的方法可以應(yīng)用于僅一個(gè)對(duì)象，或兩個(gè)以上的對(duì)象。例如，通過(guò)使用傳感器104的感測(cè)信息，可以確定哪個(gè)對(duì)象是從所獲得的圖像提取的感興趣對(duì)象。因此，圖3中公開(kāi)的方法可以應(yīng)用于兩個(gè)以上的多個(gè)對(duì)象。圖4示出了根據(jù)本發(fā)明的示例性實(shí)施方式的用于生成3D AR圖像的過(guò)程。參考圖4，在一個(gè)示例中，左眼圖像401和右眼圖像402可以用于生成3D圖像。可以由圖像獲取器101的第一攝像機(jī)301采集左眼圖像401，由圖像獲取器101的第二攝像機(jī) 302采集右眼圖像402。如圖4所示，左眼圖像401和右眼圖像402都包含第一對(duì)象403和第二對(duì)象404。 在一個(gè)示例中，第一對(duì)象403是比由教堂表示的第二對(duì)象404要近的樹(shù)。一旦獲得左眼圖像401和右眼圖像402，圖像處理器102可以通過(guò)使用如圖3所示的方法來(lái)獲得關(guān)于第一對(duì)象403和第二對(duì)象404的3D位置信息(例如距離或位置坐標(biāo))。使用圖3中規(guī)定的方法， 可以計(jì)算第一對(duì)象403和第二對(duì)象404的絕對(duì)距離?？商鎿Q地，一個(gè)對(duì)象可以被設(shè)置為參考對(duì)象，且可以相對(duì)于該參考對(duì)象來(lái)計(jì)算另一個(gè)對(duì)象的相對(duì)距離。在一個(gè)示例中，如果第一對(duì)象403和第二對(duì)象404的3D位置信息被獲得，則圖像處理器102可以從AR數(shù)據(jù)存儲(chǔ)器105中提取出AR信息。由此，與第一對(duì)象403有關(guān)的AR 數(shù)據(jù)405和與第二對(duì)象404有關(guān)的AR數(shù)據(jù)406可以從AR數(shù)據(jù)存儲(chǔ)器105提取出來(lái)。一旦提取出AR數(shù)據(jù)405和406，圖像處理器102根據(jù)對(duì)應(yīng)的對(duì)象403和404的3D 位置信息，分別對(duì)AR數(shù)據(jù)405和406進(jìn)行轉(zhuǎn)換。由于第一對(duì)象403位于第二對(duì)象404前面， 因此對(duì)AR數(shù)據(jù)405和406轉(zhuǎn)換，以使得第一對(duì)象403的AR數(shù)據(jù)405位于第二對(duì)象404的 AR數(shù)據(jù)406的前面。在一個(gè)示例中，就第一對(duì)象403的AR數(shù)據(jù)405而言，分開(kāi)生成增強(qiáng)的圖像407上的第一 AR數(shù)據(jù)405-1和增強(qiáng)的圖像408上的第二 AR數(shù)據(jù)405-2。一旦轉(zhuǎn)換了 AR數(shù)據(jù)405和406，圖像處理器102將轉(zhuǎn)換后的AR數(shù)據(jù)405-1、405-2、406-1和406-2疊加到各自的圖像401和402上。更具體地，就第一對(duì)象403的AR數(shù)據(jù)405 而言，AR數(shù)據(jù)405-1被疊加到左眼圖像401上，作為增強(qiáng)的圖像407，而第二 AR數(shù)據(jù)405-2 被疊加到右眼圖像402上，作為增強(qiáng)的圖像408。類(lèi)似地，就第二對(duì)象404的AR數(shù)據(jù)406而言，AR數(shù)據(jù)406-1被疊加到左眼圖像401上，作為圖像407，而第二 AR數(shù)據(jù)406-2被疊加到右圖像402上，作為圖像408。進(jìn)一步地，在一個(gè)示例中，就第一對(duì)象403的AR數(shù)據(jù)405而言，第一 AR數(shù)據(jù)405-1和第二 AR數(shù)據(jù)405-2可以被分開(kāi)生成。然后將增強(qiáng)的圖像407和 408結(jié)合，以形成最終的3D圖像409。在所生成的3D圖像409中，第一對(duì)象403被顯示在第二對(duì)象404的前面，且第一對(duì)象403的AR數(shù)據(jù)405被顯示在第二對(duì)象404的AR數(shù)據(jù)406的前面。在3D圖像409中， 均基于左眼圖像401和右眼圖像402來(lái)生成對(duì)象403和404以及AR數(shù)據(jù)405和406，由此這里的“前面”或“后面”不是表示二維遠(yuǎn)景，而是表示3D圖像中的“前面”或“后面”。圖5是示出根據(jù)本發(fā)明的示例性實(shí)施方式的用于提供3D AR圖像的方法的流程圖。該方法可以由如圖1所示的用于提供3D AR的設(shè)備100來(lái)執(zhí)行。將參考圖1和圖5來(lái)描述根據(jù)該示例性實(shí)施方式的方法。首先，獲得包含對(duì)象的圖像(操作501)。例如，圖像獲取器101可以獲取對(duì)象的左圖像和右圖像。在獲得圖像之后，計(jì)算關(guān)于包含在圖像中的對(duì)象的3D位置信息(操作502)。例如，圖像處理器102可以使用圖3所示的方法來(lái)測(cè)量對(duì)象的距離。在計(jì)算3D位置信息之后，對(duì)應(yīng)于對(duì)象的AR數(shù)據(jù)被提取并根據(jù)所計(jì)算的3D位置信息而被轉(zhuǎn)換(操作503)。一旦AR數(shù)據(jù)被轉(zhuǎn)換，使用轉(zhuǎn)換后的AR數(shù)據(jù)和所獲得的圖像來(lái)生成3DAR圖像(操作504)。在一個(gè)示例中，圖像處理器102可以將第一 AR數(shù)據(jù)疊加到左圖像上并將第二 AR 數(shù)據(jù)疊加到右圖像上，以產(chǎn)生增強(qiáng)的左圖像和右圖像。通過(guò)將增強(qiáng)的左圖像和右圖像進(jìn)行結(jié)合，可以生成3D AR圖像。在生成了 3DAR圖像之后，顯示所生成的3DAR圖像(操作505)。在一個(gè)示例中，如果所生成的AR圖像包含第一對(duì)象和第二對(duì)象，其中第二對(duì)象所處的位置比第一對(duì)象遠(yuǎn)，則圖像顯示器103可以顯示3D AR圖像，使得對(duì)應(yīng)于第一對(duì)象的AR數(shù)據(jù)比對(duì)應(yīng)于第二對(duì)象的 AR數(shù)據(jù)近。如上所述，所公開(kāi)的設(shè)備和方法根據(jù)對(duì)象的3D位置信息提供AR數(shù)據(jù)，由此可以實(shí)施真實(shí)3D AR。同時(shí)，本發(fā)明的示例性實(shí)施方式可以被體現(xiàn)為計(jì)算機(jī)可讀記錄介質(zhì)上的計(jì)算機(jī)可讀代碼。計(jì)算機(jī)可讀記錄介質(zhì)包括存儲(chǔ)計(jì)算機(jī)系統(tǒng)可讀的數(shù)據(jù)的各種記錄裝置?？梢杂删哂刑幚砥骱痛鎯?chǔ)器的計(jì)算機(jī)來(lái)執(zhí)行計(jì)算機(jī)可讀代碼。計(jì)算機(jī)可讀記錄介質(zhì)的示例包括只讀存儲(chǔ)器(ROM)、隨機(jī)存取存儲(chǔ)器(RAM)、(光盤(pán))CD-ROM、磁帶、軟盤(pán)、光學(xué)數(shù)據(jù)存儲(chǔ)裝置以及載波(例如，通過(guò)因特網(wǎng)的數(shù)據(jù)傳輸)。計(jì)算機(jī)可讀記錄介質(zhì)可以分布在網(wǎng)絡(luò)連接的計(jì)算機(jī)系統(tǒng)上，由此可以以分布方式存儲(chǔ)并執(zhí)行計(jì)算機(jī)可讀代碼。本領(lǐng)域的計(jì)算機(jī)編程人員可以很容易地導(dǎo)出實(shí)現(xiàn)本發(fā)明所需的功能程序、 代碼和代碼段。本領(lǐng)域技術(shù)人員可以明白，在不偏離本發(fā)明的實(shí)質(zhì)和范圍的情況下，可以對(duì)本發(fā)明進(jìn)行各種修改和變形。因此，本發(fā)明應(yīng)當(dāng)涵蓋在所附權(quán)利要求及其等同的范圍內(nèi)所提供的本發(fā)明的修改和變形。
權(quán)利要求
1.一種用于提供三維(3D)增強(qiáng)現(xiàn)實(shí)(AR)圖像的設(shè)備，該設(shè)備包括圖像獲取器，用于獲得包含對(duì)象的圖像；以及圖像處理器，用于計(jì)算所述對(duì)象的3D位置信息、獲得對(duì)應(yīng)于所述對(duì)象的AR數(shù)據(jù)、根據(jù)所述3D位置信息轉(zhuǎn)換所述AR數(shù)據(jù)、并使用轉(zhuǎn)換后的AR數(shù)據(jù)和所述圖像來(lái)生成3D AR圖像。
2.根據(jù)權(quán)利要求1所述的設(shè)備，其中，所述圖像獲取器包括用于獲得所述對(duì)象的第一圖像的第一攝像機(jī)；以及用于獲得所述對(duì)象的第二圖像的第二攝像機(jī)。
3.根據(jù)權(quán)利要求2所述的設(shè)備，其中，所述圖像處理器使用所述第一圖像和所述第二圖像來(lái)獲得所述對(duì)象與所述第一攝像機(jī)和所述第二攝像機(jī)所通過(guò)的軸之間的距離的距離信息，并使用該距離信息來(lái)計(jì)算所述3D位置信息。
4.根據(jù)權(quán)利要求2所述的設(shè)備，其中，所述圖像處理器使用所述第一攝像機(jī)或所述第二攝像機(jī)的自動(dòng)對(duì)焦功能來(lái)獲得所述對(duì)象與所述第一攝像機(jī)和所述第二攝像機(jī)所通過(guò)的軸之間的距離的距離信息，并使用該距離信息來(lái)計(jì)算所述3D位置信息。
5.根據(jù)權(quán)利要求2所述的設(shè)備，其中，所述圖像處理器基于所述3D位置信息來(lái)生成將被疊加到所述第一圖像上的第一 AR數(shù)據(jù)和將被疊加到所述第二圖像上的第二 AR數(shù)據(jù)、將所生成的第一 AR數(shù)據(jù)疊加到所述第一圖像上以形成增強(qiáng)的第一圖像、并將所生成的第二AR數(shù)據(jù)疊加到所述第二圖像上以形成增強(qiáng)的第二圖像、然后通過(guò)結(jié)合所述增強(qiáng)的第一圖像和所述增強(qiáng)的第二圖像來(lái)生成所述3DAR圖像。
6.根據(jù)權(quán)利要求5所述的設(shè)備，其中，所生成的3DAR圖像包括第一對(duì)象和位于比該第一對(duì)象遠(yuǎn)的位置的第二對(duì)象。
7.根據(jù)權(quán)利要求6所述的設(shè)備，其中，對(duì)應(yīng)于所述第二對(duì)象的AR數(shù)據(jù)位于比對(duì)應(yīng)于所述第一對(duì)象的AR數(shù)據(jù)遠(yuǎn)的位置。
8.根據(jù)權(quán)利要求1所述的設(shè)備，該設(shè)備還包括傳感器，該傳感器包括全球定位系統(tǒng)(GPQ傳感器、加速度傳感器、或地磁傳感器。
9.根據(jù)權(quán)利要求8所述的設(shè)備，其中，所述圖像處理器使用所述傳感器的感測(cè)信息來(lái)在所獲得的圖像中指定一區(qū)域，并在該指定的區(qū)域中檢測(cè)所述對(duì)象。
10.根據(jù)權(quán)利要求1所述的設(shè)備，該設(shè)備還包括用于顯示所述3DAR圖像的圖像顯示ο
11.一種用于提供三維(3D)增強(qiáng)現(xiàn)實(shí)(AR)圖像的圖像處理器，該圖像處理器包括3D位置信息計(jì)算器，用于計(jì)算包含在圖像中的對(duì)象的3D位置信息；AR數(shù)據(jù)轉(zhuǎn)換器，用于獲得對(duì)應(yīng)于所述對(duì)象的AR數(shù)據(jù)，并根據(jù)所述3D位置信息轉(zhuǎn)換所述AR數(shù)據(jù)；以及AR圖像生成器，用于使用轉(zhuǎn)換后的AR數(shù)據(jù)和所獲得的圖像來(lái)生成3DAR圖像。
12.根據(jù)權(quán)利要求11所述的圖像處理器，其中，所述3D位置信息計(jì)算機(jī)使用由第一攝像機(jī)所獲得的所述對(duì)象的第一圖像和由第二攝像機(jī)所獲得的所述對(duì)象的第二圖像來(lái)獲得所述對(duì)象與所述第一攝像機(jī)和所述第二攝像機(jī)所通過(guò)的軸之間的距離的距離信息，并使用所獲得的距離信息來(lái)計(jì)算所述3D位置信息。
13.根據(jù)權(quán)利要求11所述的圖像處理器，其中，所述3D位置信息計(jì)算器使用用于獲得所述對(duì)象的第一圖像和第二圖像的攝像機(jī)的自動(dòng)對(duì)焦功能來(lái)獲得所述對(duì)象與所述攝像機(jī)之間的距離的距離信息，并使用所獲得的距離信息來(lái)計(jì)算所述3D位置信息。
14.根據(jù)權(quán)利要求11所述的圖像處理器，其中，所述AR數(shù)據(jù)轉(zhuǎn)換器基于所述3D位置信息，生成將被疊加到所述對(duì)象的第一圖像上的第一 AR數(shù)據(jù)，并生成將被疊加到所述對(duì)象的第二圖像上的第二 AR數(shù)據(jù)。
15.根據(jù)權(quán)利要求14所述的圖像處理器，其中，所述AR圖像生成器將所述第一AR數(shù)據(jù)疊加到所述第一圖像上、將所述第二 AR數(shù)據(jù)疊加到所述第二圖像上、并使用增強(qiáng)的第一圖像和第二圖像來(lái)生成所述3D AR圖像。
16.一種用于提供三維(3D)增強(qiáng)現(xiàn)實(shí)(AR)圖像的方法，該方法包括獲得包含對(duì)象的圖像；計(jì)算所述對(duì)象的3D位置信息；獲得對(duì)應(yīng)于所述對(duì)象的AR數(shù)據(jù)；根據(jù)所述3D位置信息轉(zhuǎn)換所述AR數(shù)據(jù)；使用轉(zhuǎn)換后的AR數(shù)據(jù)和所獲得的圖像來(lái)生成3DAR圖像；以及顯示所生成的3D AR圖像。
17.根據(jù)權(quán)利要求16所述的方法，其中，所述圖像的獲得包括獲得所述對(duì)象的第一圖像和第二圖像。
18.根據(jù)權(quán)利要求17所述的方法，其中，計(jì)算所述3D位置信息包括使用由第一攝像機(jī)所獲得的所述第一圖像和由第二攝像機(jī)所獲得的所述第二圖像來(lái)獲得關(guān)于所述對(duì)象與所述第一攝像機(jī)和所述第二攝像機(jī)所通過(guò)的軸之間的距離的距離信息，并使用所獲得的距離信息來(lái)計(jì)算所述3D位置信息。
19.根據(jù)權(quán)利要求17所述的方法，其中，計(jì)算所述3D位置信息包括使用用于獲得所述第一圖像和所述第二圖像的攝像機(jī)的自動(dòng)對(duì)焦功能來(lái)獲得關(guān)于所述對(duì)象與所述攝像機(jī)之間的距離的距離信息，并使用所獲得的距離信息來(lái)計(jì)算所述3D位置信息。
20.根據(jù)權(quán)利要求17所述的方法，其中，轉(zhuǎn)換所述AR數(shù)據(jù)包括基于所述3D位置信息，生成將被疊加到所述第一圖像上的第一 AR數(shù)據(jù)，并生成將被疊加到所述第二圖像上的第二 AR數(shù)據(jù)。
21.根據(jù)權(quán)利要求20所述的方法，其中生成所述3DAR圖像包括將所述第一AR數(shù)據(jù)疊加到所述第一圖像上、將所述第二 AR數(shù)據(jù)疊加到所述第二圖像上、并使用增強(qiáng)的第一圖像和第二圖像來(lái)生成所述3D AR圖像。
22.根據(jù)權(quán)利要求16所述的方法，其中顯示所述AR圖像包括顯示所述3DAR圖像，以使得如果所生成的AR圖像包括第一對(duì)象和第二對(duì)象，其中該第二對(duì)象位于比所述第一對(duì)象遠(yuǎn)的位置，則對(duì)應(yīng)于所述第一對(duì)象的AR數(shù)據(jù)被顯示得比對(duì)應(yīng)于所述第二對(duì)象的AR數(shù)據(jù)近。
全文摘要
提供了用于提供三維(3D)增強(qiáng)現(xiàn)實(shí)(AR)圖像的設(shè)備，其包括用于獲得包含對(duì)象的圖像的圖像獲取器；以及圖像處理器，其用于計(jì)算關(guān)于所述對(duì)象的3D位置信息，獲得對(duì)應(yīng)于所述對(duì)象的AR數(shù)據(jù)，根據(jù)所計(jì)算的3D位置信息轉(zhuǎn)換AR數(shù)據(jù)，并使用轉(zhuǎn)換后的AR數(shù)據(jù)和所獲得的圖像來(lái)生成3DAR圖像。另提供了一種用于提供3D AR圖像的方法，該方法包括獲得包含對(duì)象的圖像；計(jì)算所述對(duì)象的3D位置信息；獲得對(duì)應(yīng)于所述對(duì)象的AR數(shù)據(jù)；根據(jù)所述3D位置信息轉(zhuǎn)換所述AR數(shù)據(jù)；使用轉(zhuǎn)換后的AR數(shù)據(jù)和所獲得的圖像來(lái)生成3DAR圖像；以及顯示所生成的3D AR圖像。
文檔編號(hào)H04N13/00GK102395036SQ201110175680
公開(kāi)日2012年3月28日 申請(qǐng)日期2011年6月24日 優(yōu)先權(quán)日2010年6月30日
發(fā)明者樸宣泂 申請(qǐng)人:株式會(huì)社泛泰