專利名稱：實(shí)時(shí)幾何形狀感知投影和快速重校準(zhǔn)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明主要涉及投影機(jī)-攝像機(jī)系統(tǒng)，特別涉及自適應(yīng)投影機(jī)顯示系統(tǒng)。
背景技術(shù)：
多媒體系統(tǒng)，例如計(jì)算機(jī)系統(tǒng)、游戲系統(tǒng)、視頻會(huì)議系統(tǒng)、投影機(jī)系統(tǒng)、以及家庭影 院系統(tǒng)的日益流行，導(dǎo)致了在廣泛情況下工作的投影機(jī)顯示系統(tǒng)。已開發(fā)出自適應(yīng)投影機(jī) 顯示系統(tǒng)以處理多種情況下的投影。例如，對于自適應(yīng)投影機(jī)顯示系統(tǒng)的研究試圖找出對 顏色失真、顯示表面變形、以及其它校準(zhǔn)問題加以校正的辦法。在該領(lǐng)域的研究導(dǎo)致了改進(jìn) 投影機(jī)系統(tǒng)的健壯性的辦法。由于這類系統(tǒng)日漸地被不熟悉投影技術(shù)和校準(zhǔn)技術(shù)的一般消費(fèi)者所使用，開發(fā)需 要很少或不需用戶輸入的校準(zhǔn)和校正方法是有益的。關(guān)于自適應(yīng)投影顯示的文獻(xiàn)有很多。 因此，不可能總結(jié)全部現(xiàn)有的嘗試。不過，此處介紹一些涉及很少或不涉及用戶界面的校準(zhǔn) 方法。Raij和Pollefeys建議了 一種用于在平面上定義顯示區(qū)域的自動(dòng)化方法，免 除了對定義該區(qū)域的物理基準(zhǔn)和測量的需要?？墒褂闷矫孀詣?dòng)校準(zhǔn)來確定在單個(gè)平 面上的投影機(jī)投影陣列的內(nèi)在特性(intrinsics)。然后使用用于平面場景的相對位 姿(pose)估計(jì)技術(shù)來重新構(gòu)建攝像機(jī)、投影機(jī)、以及顯示平面。Raij和Pollefeys在 "Auto-Calibration of Multi-Projector Display Walls，，(發(fā)表于 Proc. Int’ 1 Conf. on Pattern Recognition(ICPR), Volume I,pages 14-17,2004) 一文中描述了他們的技術(shù)，該 文在此整體引入作為參考。Raskar和其他人研究了如何以靈活的方法來使用投影機(jī)。他們的基本顯示單元 是一個(gè)帶有傳感器、計(jì)算能力和網(wǎng)絡(luò)能力的投影機(jī)。其可以創(chuàng)建與投影于其上的表面或物 體相適應(yīng)的無縫顯示?？梢蕴幚韼в袕?fù)雜幾何形狀的顯示表面，例如曲面。該技術(shù)被描述 于 R. Raskar, M. S. Brown, R. Yang, W. C. Chen, G. Welch, H. Towles, B. Seales,以及 H. Fuchs 的“Multi-projector displays using camera-based registration，，(發(fā)表于 VIS' 99 : Proceedings of the conference on Visualization' 99, pagesl61_168, Los Alamitos, CA, USA, 1999 (IEEE Computer Society Press)) 一文中，該文整體并入本文作為參考。Yang和Welch公開了使用被投影的圖像(imagery)中的特征以在預(yù)校準(zhǔn)的投影 機(jī)和攝像機(jī)之間進(jìn)行匹配，從而自動(dòng)確定顯示表面的幾何形狀。然而，該方法的一個(gè)問題 是，估計(jì)算法是以迭代方式工作的，因此不適于實(shí)時(shí)地連續(xù)校正。Yang和Welch在R. Yang 禾口 G. Welch 的“Automatic projector display surface estimation using every-day imagery，，(發(fā)表于 Pro. Ninth International Conference in Central Europe on Computer Graphics，Visualization, and Comput er Vision, 2001) 一文中討論了他們的 技術(shù)，該文整體并入本文作為參考。代替在圖像間匹配特征，還有將校準(zhǔn)輔助嵌入用戶圖像的有效技術(shù)。例如， D. Cotting和其他人討論了將察覺不到的校準(zhǔn)圖案嵌入到所投影的圖像中。該方法利用數(shù)字光處理(DLP)投影機(jī)中的微鏡像翻轉(zhuǎn)序列并輕微修改了每像素亮度(intensity)以使得 被同步的攝像機(jī)捕獲所需要的圖案。該方法可在D. Cotting, M. Naef，M. Gross，和H. Fuchs 的"Embedding Imperceptible Patterns Into Projected Images For Simultaneous Acquisition And Display" (R ^ ψ ISMAR' 04 =Proccedings of the 3rd IEEE/ACM International Symposium on Mixed and Augmented Reality,第100-109頁,Washington, DC, USA,2004(IEEE Computer Society)),以 R D. Cotting, R. Ziegler, M. Gross,和 H. Fuchs 的"Adaptive Instant Displays !Continuously Calibrated Projections Using Per—Pixel Light Control" (Proceedings of Eurographics 2005, Eurographics Association，第 705-714 頁，2005 (Dublin，Ireland, 2005 年 8 月 29 日-9 月 2 日))中找 到，其整體在此引入作為參考。不過，這一方法的主要不足在于它要求把投影機(jī)的動(dòng)態(tài)范圍 的一部分犧牲掉，這會(huì)導(dǎo)致投影的圖像的退化。一種方法演示了在任意顯示表面上不修改被投影圖像而校準(zhǔn)投影機(jī)的方法。該 方法被 T. Johnson 禾口 H. Fuchs 公開于"Real-Time Projector Tracking on Complex Geometry using Ordinary Imagery，，(發(fā)表于Proc. of IEEE International Workshop on Projector-Camera Systems(ProCams) (2007)) 一文中，該文整體在此引入作為參考。該方 法使用一對校準(zhǔn)的立體攝像機(jī)以首先通過觀察投影機(jī)所提供的結(jié)構(gòu)化光線圖案來重構(gòu)建 表面。該方法還假定表面是分段地平面的，并使用RANSAC以適應(yīng)顯示表面的更精確的幾何 描述。通過在存儲(chǔ)在幀緩沖器和固定攝像機(jī)所捕獲的投影圖像之間進(jìn)行匹配，該方法重新 估計(jì)投影機(jī)的位姿。這些技術(shù)中的絕大多數(shù)假定固定的觀察點(diǎn)，并且他們通常使用一個(gè)立體攝像機(jī)對 來重新構(gòu)建和追蹤帶有恒定內(nèi)部投影矩陣的投影機(jī)。盡管這些方法提供了相對于現(xiàn)有顯示 選項(xiàng)的一些優(yōu)勢，但系統(tǒng)校準(zhǔn)經(jīng)常是單調(diào)乏味的工作。此外，對新觀察位置進(jìn)行繪制需要進(jìn) 行重校準(zhǔn)。

發(fā)明內(nèi)容
為了減輕前述的限制，下文將介紹系統(tǒng)和方法，在實(shí)施例中，其使用單個(gè)攝像機(jī)和 具有任意顯示表面的單個(gè)投影機(jī)。在實(shí)施例中，系統(tǒng)和方法可自動(dòng)重校準(zhǔn)具有任意內(nèi)在特 性和位姿的投影機(jī)，并為任意期望的觀察點(diǎn)繪制(render)。相比之前的方法，此處公開的方 法使用觀察攝像機(jī)和投影機(jī)以形成立體對。在實(shí)施例中，結(jié)構(gòu)化的光被用于執(zhí)行像素級(jí)細(xì) 度的顯示表面重構(gòu)建。在實(shí)施例中，幾何扭曲(warping)被實(shí)現(xiàn)為直接紋理映射問題。因此，在實(shí)施例 中，通過計(jì)算新的投影矩陣并將其設(shè)置為開放式圖形庫(OpenGL)攝像機(jī)矩陣來執(zhí)行投影 機(jī)運(yùn)動(dòng)的重校準(zhǔn)。在實(shí)施例中，為了重校準(zhǔn)新的觀察點(diǎn)，根據(jù)新的攝像機(jī)矩陣來修改紋理映 射。在實(shí)施例中，該方法使用OpenGL和OpenGL陰影語言(GLSL)來實(shí)現(xiàn)，OpenGL和GLSL使 所述系統(tǒng)和方法可實(shí)時(shí)繪制視頻。需要注意的是，除了 OpenGL和GLSL，其它不同的應(yīng)用程 序和應(yīng)用程序編程接口也可以使用。此處介紹的方法可包含在包括至少一個(gè)存儲(chǔ)一個(gè)或多個(gè)指令序列的計(jì)算機(jī)可讀 介質(zhì)的計(jì)算機(jī)程序產(chǎn)品中，其中一個(gè)或多個(gè)處理器執(zhí)行所述一個(gè)或多個(gè)指令序列將致使所 述一個(gè)或多個(gè)處理器執(zhí)行用于校準(zhǔn)投影機(jī)系統(tǒng)的計(jì)算機(jī)實(shí)現(xiàn)方法。本發(fā)明的實(shí)施例包括用于校準(zhǔn)包括投影機(jī)和攝像機(jī)的投影機(jī)系統(tǒng)的計(jì)算機(jī)系統(tǒng)或多個(gè)計(jì)算機(jī)系統(tǒng)。本發(fā)明的一些特征和優(yōu)點(diǎn)在此概要部分中被大致描述；然而，其它特征、優(yōu)點(diǎn)、以 及實(shí)施例將在此介紹，或在考慮附圖、說明書以及權(quán)利要求后對于本領(lǐng)域技術(shù)人員而言是 明顯的。因此，應(yīng)理解的是，本發(fā)明的范圍并不局限于本概要部分中公開的特定實(shí)施例。


將參考本發(fā)明的實(shí)施例，這些實(shí)施例的實(shí)例可被示出于附圖中。這些附圖旨在用 于說明而非限制之目的。盡管本發(fā)明主要在這些實(shí)施例的上下文中被描述，應(yīng)該理解的是 并不試圖將本發(fā)明的范圍限制成這些特定實(shí)施例。圖1示出根據(jù)本發(fā)明的各實(shí)施例的投影機(jī)-攝像機(jī)系統(tǒng)的自動(dòng)重校準(zhǔn)方法；圖2示出根據(jù)本發(fā)明的各實(shí)施例的投影機(jī)-攝像機(jī)系統(tǒng)；圖3描述根據(jù)本發(fā)明的各實(shí)施例的用于校準(zhǔn)攝像機(jī)和投影機(jī)的方法；圖4描述根據(jù)本發(fā)明的各實(shí)施例的用于重構(gòu)建顯示表面的方法；圖5示出根據(jù)本發(fā)明的各實(shí)施例的使用投影機(jī)-攝像機(jī)立體對來重構(gòu)建顯示表面 的方面；圖6描述根據(jù)本發(fā)明的各實(shí)施例的改進(jìn)顯示表面的重構(gòu)建的方法；圖7描述根據(jù)本發(fā)明的各實(shí)施例的在重構(gòu)建的顯示表面中填充缺口的方法；圖8示出根據(jù)本發(fā)明的各實(shí)施例的由投影機(jī)移動(dòng)重校準(zhǔn)投影機(jī)-攝像機(jī)系統(tǒng)的方 法；圖9示出根據(jù)本發(fā)明的各實(shí)施例的由攝像機(jī)移動(dòng)重校準(zhǔn)投影機(jī)-攝像機(jī)系統(tǒng)的方 法；圖10描述根據(jù)本發(fā)明的各實(shí)施例改變觀察位置和投影；圖11描述根據(jù)本發(fā)明的各實(shí)施例的校準(zhǔn)/重校準(zhǔn)系統(tǒng)的實(shí)施例；以及圖12描述根據(jù)本發(fā)明的各實(shí)施例的計(jì)算系統(tǒng)。
具體實(shí)施例方式在以下描述中，為了說明的目的，給出了特定的細(xì)節(jié)以提供對本發(fā)明的理解。然 而，對于本領(lǐng)域技術(shù)人員而言，本發(fā)明顯然可在無這些細(xì)節(jié)的情況下實(shí)現(xiàn)。本領(lǐng)域技術(shù)人 員將認(rèn)識(shí)到，本發(fā)明的實(shí)施例，其中部分將在下文中描述，是可以并入多個(gè)不同的系統(tǒng)和設(shè) 備，其示例而非限制地包括多媒體系統(tǒng)、影院系統(tǒng)、視頻會(huì)議系統(tǒng)、投影系統(tǒng)、游戲系統(tǒng)、計(jì) 算機(jī)系統(tǒng)等。本發(fā)明的各方面可以以軟件、硬件、固件、或其組合來實(shí)現(xiàn)。圖表中所示的部件或模塊是對本發(fā)明的示例性實(shí)施例予以說明，并用于使本發(fā)明 更清楚。還應(yīng)理解的是，在此處的討論中，部件可以被描述為分離的功能單元，其可包括子 單元，但本領(lǐng)域技術(shù)人員將認(rèn)識(shí)到，這些各種部件，或其部分，可以被分成分離的部件或可 集成在一起，包括集成在單個(gè)的系統(tǒng)或部件中。另外，附圖中的部件/模塊之間的連接并不意圖被限定為直接連接。相反，這些部 件之間的數(shù)據(jù)可以被中間部件修改、重格式化、或作其它修改。而且，可以使用額外的或更 少的連接。還需要注意的是，術(shù)語“耦合”或者“通信耦合”應(yīng)被理解為包括了直接連接、通 過一個(gè)或多個(gè)中間設(shè)備的間接連接、以及無線連接。
說明書中提到的“實(shí)施例”表示結(jié)合實(shí)施例所描述的特定的特征、結(jié)構(gòu)、特性、功能 被包含在本發(fā)明的至少一個(gè)實(shí)施例中并可在超過一個(gè)實(shí)施例中。短語“在一個(gè)實(shí)施例中”或 “在實(shí)施例中”，在說明書中的多處并不是必然引用相同的實(shí)施例。A.概述此處介紹用于具有用戶友好且健壯的自動(dòng)重校準(zhǔn)，并可為任意規(guī)定的觀察點(diǎn)繪制 透視-校正圖像的自適應(yīng)投影機(jī)顯示系統(tǒng)的系統(tǒng)和方法。很多研究者對該問題有興趣且建 議了不同的方法。以前的嘗試描述了用于校正在非平面表面被用于顯示時(shí)所發(fā)生的幾何形 狀畸變的大致方法。其它方法提出執(zhí)行自動(dòng)校準(zhǔn)，其避免在顯示配置變化時(shí)的顯示中斷。一 些自動(dòng)校準(zhǔn)技術(shù)使用校準(zhǔn)輔助(例如，在被投影圖像中的不可察覺的校準(zhǔn)圖案)。被動(dòng)的方 法則檢測和匹配用戶圖像中的特征以自動(dòng)估計(jì)顯示表面的幾何形狀。這些技術(shù)中的絕大多數(shù)假定固定的觀察點(diǎn)，并且他們通常使用一個(gè)立體攝像機(jī)對 來重新構(gòu)建和追蹤帶有恒定內(nèi)部投影矩陣的投影機(jī)。盡管這些方法提供了相對于其他顯示 選擇的一些優(yōu)勢，但系統(tǒng)校準(zhǔn)經(jīng)常是單調(diào)乏味的工作。此外，對新觀察位置進(jìn)行繪制需要進(jìn) 行重校準(zhǔn)。此處介紹的系統(tǒng)和方法根本上不同于這些現(xiàn)有的方法。首先，在實(shí)施例中，該系統(tǒng) 和方法一起使用一個(gè)攝像機(jī)和一個(gè)投影機(jī)以重構(gòu)建顯示表面的精細(xì)(每像素級(jí)別)細(xì)節(jié)。 和此前的方法相反，使用觀察攝像機(jī)和投影機(jī)來形成立體對。第二，在實(shí)施例中，該系統(tǒng)和 方法允許在顯示期間改變投影機(jī)的內(nèi)部和外部(位姿)投影矩陣。第三，在實(shí)施例中，該系 統(tǒng)和方法還允許任意的用戶期望的觀察位置改變。此處介紹系統(tǒng)和方法減輕了前述的現(xiàn)有方法的限制。在實(shí)施例中，單個(gè)攝像機(jī)和 具有任意顯示表面的單個(gè)投影機(jī)，可以自動(dòng)重校準(zhǔn)投影機(jī)的任意內(nèi)部和外部特性(位姿)， 還可為任意的期望觀察點(diǎn)繪制。B.方法實(shí)施例1.概要方法圖1呈現(xiàn)了根據(jù)本發(fā)明的各實(shí)施例的自動(dòng)校準(zhǔn)投影機(jī)-攝像機(jī)系統(tǒng)的概要方法。 圖2描述了根據(jù)本發(fā)明的實(shí)施例的典型投影機(jī)-攝像機(jī)系統(tǒng)配置。系統(tǒng)200包括投影機(jī) 210和攝像機(jī)220，其分別耦合到計(jì)算系統(tǒng)230。計(jì)算系統(tǒng)230和投影機(jī)210連接以將圖像 提供給投影機(jī)210以供投影，并和攝像機(jī)220連接以接收攝像機(jī)220所捕獲的圖像。還描 述了顯示表面M0，其可為任意的非平面表面。在圖1中所描述的實(shí)施例中，方法100從校準(zhǔn)攝像機(jī)和投影機(jī)的內(nèi)部和外部參數(shù) 開始。給定校準(zhǔn)的投影機(jī)-攝像機(jī)立體對，顯示表面可重構(gòu)建110。重構(gòu)建顯示表面建立了 一對應(yīng)，其將一組投影機(jī)像素經(jīng)由一組顯示表面點(diǎn)映射到一組攝像機(jī)像素。如果投影機(jī)或 攝像機(jī)被移動(dòng)并/或用于投影機(jī)校正，則所述到顯示表面的對應(yīng)可被使用115以幫助重校 準(zhǔn)投影機(jī)-攝像機(jī)系統(tǒng)。以下將描述這些步驟的各種實(shí)施例。2.校準(zhǔn)攝像機(jī)和投影機(jī)的內(nèi)部和外部參數(shù)圖3描述了根據(jù)本發(fā)明的各實(shí)施例的用于校準(zhǔn)攝像機(jī)和投影機(jī)的方法300。圖3 的方法300是可用于校準(zhǔn)105(圖1)攝像機(jī)和投影機(jī)的內(nèi)部和外部參數(shù)的方法實(shí)施例。投影機(jī)(例如，投影機(jī)210)可被視為一對針孔攝像機(jī)，而其內(nèi)部和外部參數(shù)可被 表達(dá)為與攝像機(jī)(例如，攝像機(jī)220)的參數(shù)一樣。在實(shí)施例中，一個(gè)帶有紅-白色(盡管本領(lǐng)域技術(shù)人員應(yīng)認(rèn)識(shí)到其它顏色可被使用)的檢測圖案被放置305到一個(gè)平板上，例如 顯示表面M0。另一個(gè)帶有相同行數(shù)和列數(shù)的綠-白色(盡管本領(lǐng)域技術(shù)人員應(yīng)認(rèn)識(shí)到其 它顏色可被使用)的檢測圖案被投影310到該板上。一組檢測圖案的圖像可由攝像機(jī)所捕 獲315。這些圖案的部分，例如角，可被檢測320、340作為特征化點(diǎn)并用于校準(zhǔn)325、345。由于兩個(gè)檢測圖案在統(tǒng)一平面上，攝像機(jī)圖像和投影機(jī)圖像中的對應(yīng)滿足相同的 單應(yīng)性(homography)約束。讓
權(quán)利要求
1.一種計(jì)算機(jī)程序產(chǎn)品，包括至少一個(gè)存儲(chǔ)一個(gè)或多個(gè)指令序列的計(jì)算機(jī)可讀介質(zhì)， 其中由一個(gè)或多個(gè)處理器執(zhí)行所述一個(gè)或多個(gè)指令序列使得所述一個(gè)或多個(gè)處理器執(zhí)行 用于校準(zhǔn)投影機(jī)系統(tǒng)的計(jì)算機(jī)實(shí)現(xiàn)方法，所述投影機(jī)系統(tǒng)包括攝像機(jī)和投影機(jī)，所述攝像 機(jī)和投影機(jī)的每個(gè)被取向?yàn)槌蝻@示表面，所述計(jì)算機(jī)實(shí)現(xiàn)方法包括獲取經(jīng)由一組顯示表面點(diǎn)將一組投影機(jī)像素映射到一組攝像機(jī)像素的對應(yīng)；以及 響應(yīng)于處于不同位姿的所述投影機(jī)使用所述投影機(jī)將一組特征點(diǎn)投影到所述顯示表面，所述一組特征點(diǎn)具有已知的投影 機(jī)像素位置；使用所述攝像機(jī)捕獲所述一組特征點(diǎn)的至少部分； 檢測來自所述一組特征點(diǎn)的一組被檢測特征點(diǎn)；使用所述一組被檢測特征點(diǎn)的至少部分將投影機(jī)像素關(guān)聯(lián)到所述攝像機(jī)像素； 使用所述對應(yīng)將所述關(guān)聯(lián)的投影機(jī)像素映射到來自所述一組顯示表面點(diǎn)的顯示表面 點(diǎn)；以及使用所述映射的對應(yīng)來獲取用于處在不同位姿的投影機(jī)的新投影矩陣。
2.如權(quán)利要求1所述的計(jì)算機(jī)程序產(chǎn)品，其中所述獲取經(jīng)由一組顯示表面點(diǎn)將一組投 影機(jī)像素映射到一組攝像機(jī)像素的對應(yīng)的步驟包括獲取用于所述投影機(jī)的投影機(jī)投影矩陣和用于所述攝像機(jī)的攝像機(jī)投影機(jī)矩陣； 使用逆光傳輸矩陣的至少一個(gè)近似來獲取在投影機(jī)像素和攝像機(jī)像素之間的關(guān)聯(lián)；以及使用所述在投影機(jī)像素和攝像機(jī)像素之間的關(guān)聯(lián)、所述投影機(jī)投影矩陣、以及所述攝 像機(jī)投影機(jī)矩陣來獲取一組顯示表面點(diǎn)和所述對應(yīng)。
3.如權(quán)利要求2所述的計(jì)算機(jī)程序產(chǎn)品，其中所述使用所述在投影機(jī)像素和攝像機(jī)像 素之間的關(guān)聯(lián)、所述投影機(jī)投影矩陣、以及所述攝像機(jī)投影機(jī)矩陣來獲取一組顯示表面點(diǎn) 和所述對應(yīng)的步驟包括從投影機(jī)圖像平面并從攝像機(jī)圖像平面反投影以為所述一組顯示表面點(diǎn)中的至少部 分顯示表面點(diǎn)三角測量位置。
4.如權(quán)利要求2所述的計(jì)算機(jī)程序產(chǎn)品，還包括 細(xì)化所述一組顯示表面點(diǎn)。
5.如權(quán)利要求4所述的計(jì)算機(jī)程序產(chǎn)品，其中所述細(xì)化所述一組顯示表面點(diǎn)的步驟包括從所述一組顯示表面點(diǎn)中識(shí)別一組異常值點(diǎn)； 將所述一組異常值點(diǎn)從所述一組顯示表面點(diǎn)中排除；以及 生成一組替換點(diǎn)以替換被排除的所述一組異常值點(diǎn)。
6.如權(quán)利要求5所述的計(jì)算機(jī)程序產(chǎn)品，其中所述生成一組替換點(diǎn)以替換被排除的所 述一組異常值點(diǎn)的步驟包括對所述一組異常值點(diǎn)中的每個(gè)被排除的點(diǎn)，使用一組有效顯示表面點(diǎn)以為該被排除的 點(diǎn)內(nèi)插一值。
7.如權(quán)利要求6所述的計(jì)算機(jī)程序產(chǎn)品，其中所述使用一組有效顯示表面點(diǎn)以為該被 排除的點(diǎn)內(nèi)插一值的步驟包括計(jì)算從所述一組異常值點(diǎn)的至少部分到一組未排除的顯示表面點(diǎn)的距離映射；以及對于所述一組異常值點(diǎn)中的被排除的點(diǎn)使用所述距離映射的局部最大值以定義局部窗口；以及使用位于所述局部窗口內(nèi)的所述一組未排除的顯示表面點(diǎn)的至少部分來計(jì)算德勞奈 三角測量，從而為所述被排除的點(diǎn)內(nèi)插一值。
8.如權(quán)利要求1所述的計(jì)算機(jī)程序產(chǎn)品，還包括使用所述新投影矩陣以改變通過所述投影機(jī)投影的圖像。
9.一種計(jì)算機(jī)程序產(chǎn)品，包括至少一個(gè)存儲(chǔ)一個(gè)或多個(gè)指令序列的計(jì)算機(jī)可讀介質(zhì)， 其中由一個(gè)或多個(gè)處理器執(zhí)行所述一個(gè)或多個(gè)指令序列使得所述一個(gè)或多個(gè)處理器執(zhí)行 用于校準(zhǔn)投影機(jī)系統(tǒng)的計(jì)算機(jī)實(shí)現(xiàn)方法，所述投影機(jī)系統(tǒng)包括攝像機(jī)和投影機(jī)，所述攝像 機(jī)和投影機(jī)的每個(gè)被取向?yàn)槌蝻@示表面，所述計(jì)算機(jī)實(shí)現(xiàn)方法包括獲取經(jīng)由一組顯示表面點(diǎn)將一組投影機(jī)像素映射到一組攝像機(jī)像素的對應(yīng)；以及 響應(yīng)于采用不同于所述攝像機(jī)位置的觀看位置 獲得用于所述觀看位置的新攝像機(jī)投影矩陣；以及 使用所述對應(yīng)以計(jì)算新光投影矩陣以改變通過所述投影機(jī)投影的圖像。
10.如權(quán)利要求9所述的計(jì)算機(jī)程序產(chǎn)品，其中所述使用所述對應(yīng)以計(jì)算新光投影矩 陣以改變通過所述投影機(jī)投影的圖像的步驟包括將所述新投影矩陣設(shè)置為紋理映射器的輸入；以及通過使用所述新投影矩陣來將頂點(diǎn)投影到所述新觀看位置的圖像平面，在來自所述一 組顯示表面點(diǎn)的一組顯示點(diǎn)中為每個(gè)頂點(diǎn)計(jì)算紋理坐標(biāo)。
11.如權(quán)利要求9所述的計(jì)算機(jī)程序產(chǎn)品，其中所述使用所述對應(yīng)以計(jì)算新光投影矩 陣以改變通過所述投影機(jī)投影的圖像的步驟包括使用在所述攝像機(jī)和所述顯示表面之間的所述對應(yīng)以為一組顯示點(diǎn)中的每個(gè)點(diǎn)分配 顏色值；使用投影機(jī)投影矩陣以將所述一組顯示點(diǎn)投影到投影機(jī)圖像平面；以及 基于被投影的所述一組顯示點(diǎn)分配像素顏色值。
12.如權(quán)利要求9所述的計(jì)算機(jī)程序產(chǎn)品，其中所述獲得用于所述觀看位置的新攝像 機(jī)投影矩陣的步驟包括獲取所述觀看位置相對于攝像機(jī)位置的平移和轉(zhuǎn)動(dòng)；以及使用所述觀看位置相對于攝像機(jī)的平移和轉(zhuǎn)動(dòng)，并使用所述攝像機(jī)的內(nèi)部參數(shù)以計(jì)算 新投影矩陣。
13.如權(quán)利要求11所述的計(jì)算機(jī)程序產(chǎn)品，還包括 從用戶接收所述觀看位置信息；以及基于所述觀看位置信息計(jì)算所述觀看位置相對于攝像機(jī)位置的平移和轉(zhuǎn)動(dòng)。
14.如權(quán)利要求13所述的計(jì)算機(jī)程序產(chǎn)品，其中所述從用戶接收所述觀看位置信息的 步驟包括顯示顯示環(huán)境，其包括對顯示表面和所述攝像機(jī)的位置的描述；以及從用戶接收所述觀看位置信息，所述用戶表示在所述顯示環(huán)境中的所述觀看位置。
15.如權(quán)利要求9所述的計(jì)算機(jī)程序產(chǎn)品，其中所述獲得用于所述觀看位置的新攝像機(jī)投影矩陣的步驟包括使用所述投影機(jī)將一組特征點(diǎn)投影到所述顯示表面，所述一組特征點(diǎn)具有已知的投影 機(jī)像素位置；使用所述攝像機(jī)捕獲所述一組特征點(diǎn)的至少部分； 檢測來自所述一組特征點(diǎn)的一組被檢測特征點(diǎn)；使用所述一組被檢測特征點(diǎn)的至少部分將投影機(jī)像素關(guān)聯(lián)到攝像機(jī)像素； 使用所述對應(yīng)將所述關(guān)聯(lián)的投影機(jī)像素映射到來自所述一組顯示表面點(diǎn)的顯示表面 點(diǎn)；以及使用所述映射的對應(yīng)來獲取用于不同位姿的新攝像機(jī)投影矩陣。
16.如權(quán)利要求9所述的計(jì)算機(jī)程序產(chǎn)品，其中所述獲取經(jīng)由一組顯示表面點(diǎn)將一組 投影機(jī)像素映射到一組攝像機(jī)像素的對應(yīng)的步驟包括獲取用于所述投影機(jī)的投影機(jī)投影矩陣和用于所述攝像機(jī)的攝像機(jī)投影機(jī)矩陣； 使用逆光傳輸矩陣的至少一個(gè)近似來獲取在投影機(jī)像素和攝像機(jī)像素之間的關(guān)聯(lián)；以及使用所述在投影機(jī)像素和攝像機(jī)像素之間的關(guān)聯(lián)、所述投影機(jī)投影矩陣、所述攝像機(jī) 投影機(jī)矩陣來獲取一組顯示表面點(diǎn)和所述對應(yīng)。
17.如權(quán)利要求13所述的計(jì)算機(jī)程序產(chǎn)品，其中所述使用所述在投影機(jī)像素和攝像機(jī) 像素之間的關(guān)聯(lián)、所述投影機(jī)投影矩陣、所述攝像機(jī)投影機(jī)矩陣來獲取一組顯示表面點(diǎn)和 所述對應(yīng)的步驟包括從投影機(jī)圖像平面并從攝像機(jī)圖像平面反投影以為所述一組顯示表面點(diǎn)中的至少部 分顯示表面點(diǎn)三角測量位置。
18.一種用于重校準(zhǔn)包括投影機(jī)和攝像機(jī)的投影機(jī)系統(tǒng)的計(jì)算機(jī)系統(tǒng)，該系統(tǒng)包括 一個(gè)或多個(gè)處理器；以及與所述一個(gè)或多個(gè)處理器通信的一個(gè)或多個(gè)計(jì)算機(jī)可讀介質(zhì)，所述計(jì)算機(jī)可讀介質(zhì)上 存儲(chǔ)有可被所述一個(gè)或多個(gè)處理器執(zhí)行的一組指令，所述一組指令包括獲取經(jīng)由一組顯示表面點(diǎn)將一組投影機(jī)像素映射到一組攝像機(jī)像素的對應(yīng)；以及 響應(yīng)于所述投影機(jī)或觀看位置的位姿的改變，使用所述對應(yīng)以計(jì)算新投影矩陣，其中 觀看者在所述觀看位置觀看通過所述投影機(jī)投影的圖像。
19.如權(quán)利要求18所述的系統(tǒng)，其中所述位姿的改變針對于所述投影機(jī)，并且其中所 述使用所述對應(yīng)以為所述投影機(jī)計(jì)算新投影矩陣的步驟包括使用所述投影機(jī)將一組特征點(diǎn)投影到所述顯示表面，所述一組特征點(diǎn)具有已知的投影 機(jī)像素位置；使用所述攝像機(jī)捕獲所述一組特征點(diǎn)的至少部分； 檢測來自所述一組特征點(diǎn)的一組被檢測特征點(diǎn)；使用所述一組被檢測特征點(diǎn)的至少部分將投影機(jī)像素關(guān)聯(lián)到攝像機(jī)像素； 使用所述對應(yīng)將所述被關(guān)聯(lián)的投影機(jī)像素映射到來自所述一組顯示表面點(diǎn)的顯示表 面點(diǎn)；以及使用所述映射的對應(yīng)來獲取用于處在不同位姿的投影機(jī)的新投影矩陣。
20.如權(quán)利要求18所述的系統(tǒng)，其中所述位姿的改變針對于觀看者觀看通過所述投影機(jī)投影的圖像的所述觀看位置，并且所述使用所述對應(yīng)以計(jì)算新攝像機(jī)投影矩陣的步驟包 括獲取所述觀看位置相對于攝像機(jī)位置的平移和轉(zhuǎn)動(dòng)；使用所述觀看位置相對于攝像機(jī)的平移和轉(zhuǎn)動(dòng)，并使用所述攝像機(jī)的內(nèi)部參數(shù)以計(jì)算 新投影矩陣；以及使用所述新攝像機(jī)投影矩陣以獲取新光投影矩陣以用于改變通過所述投影機(jī)投影的 圖像。
全文摘要
本發(fā)明的方面包括用于重校準(zhǔn)投影機(jī)-攝像機(jī)系統(tǒng)的系統(tǒng)和方法。在實(shí)施例中，系統(tǒng)和方法可以自動(dòng)重校準(zhǔn)具有任意內(nèi)部特性和位姿的投影機(jī)，并為任意的期望觀看點(diǎn)進(jìn)行繪制。和以前的方法不同，此處公開的方法使用觀察攝像機(jī)和投影機(jī)形成立體對。結(jié)構(gòu)化的光被用于執(zhí)行顯示表面的像素級(jí)的精細(xì)重構(gòu)建。在實(shí)施例中，幾何扭曲被實(shí)現(xiàn)為直接紋理映射問題。結(jié)果，通過簡單計(jì)算新投影矩陣并將其設(shè)為攝像機(jī)矩陣以執(zhí)行投影機(jī)移動(dòng)的重校準(zhǔn)。為了重校準(zhǔn)新的觀看點(diǎn)，根據(jù)新的攝像機(jī)矩陣修改紋理映射。
文檔編號(hào)G06T7/00GK102129680SQ20111000778
公開日2011年7月20日 申請日期2011年1月14日 優(yōu)先權(quán)日2010年1月15日
發(fā)明者丁源源, 肖京 申請人:精工愛普生株式會(huì)社