圖像處理裝置、圖像處理系統(tǒng)、圖像處理方法和計算機(jī)程序的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種圖像處理裝置、圖像處理系統(tǒng)、圖像處理方法和計算機(jī)程序。
【背景技術(shù)】
[0002] 已知使用其上投影了圖像的投影面的檢測結(jié)果校正圖像失真的技術(shù)。作為檢測投 影面的技術(shù)的示例，已經(jīng)公開了一種從投影在投影面上的投影圖像的拍攝圖像檢測指示投 影面的幀的屏幕幀的技術(shù)(參見日本專利申請?zhí)卦S公開No.2010-044255)。
[0003] 日本專利申請?zhí)卦S公開No. 2010-044255公開了 ：測量由投影區(qū)域上的測量圖案形 成的多個測量點的三維坐標(biāo)，使用測量點的三維坐標(biāo)從拍攝圖像檢測投影區(qū)域上的包括階 梯（step)的階梯區(qū)域，并且從階梯區(qū)域檢測屏幕幀。在日本專利申請?zhí)卦S公開No. 2010-044255中，基于屏幕幀的形狀校正用作投影目標(biāo)的圖像數(shù)據(jù)的失真。
[0004]然而，傳統(tǒng)地，難以以高精度校正投影圖像的失真，這是因為，由于在某些情況下 的環(huán)境條件的影響，無法以高精度檢測投影面。

【發(fā)明內(nèi)容】

[0005]鑒于這樣的問題，本發(fā)明的目的是提供一種圖像處理裝置、圖像處理系統(tǒng)、圖像處 理方法和計算機(jī)程序，其可以提供能夠以高精度校正投影圖像的失真的校正信息。
[0006] -種圖像處理裝置包括投影控制單元、獲取單元、提取單元、移位（shift)量計算 單元、第一計算單元。投影控制單元執(zhí)行控制以使得:將布置多個第一特征點的第一圖案圖 像投影到投影面上，并且將包括與第一特征點對應(yīng)的多個第二特征點的第二圖案圖像投影 到平面投影面上。獲取單元從拍攝單元獲取投影在所述投影面上的投影的第一圖案圖像的 第一拍攝圖像、以及投影在所述平面投影面上的第二圖案圖像的第二拍攝圖像。提取單元 提取在預(yù)定方向上將第二拍攝圖像中的第二特征點連接的第二連接分量(component)、以 及將第一拍攝圖像中的在對應(yīng)于第二連接分量中包括的第二特征點的位置處的第一特征 點連接的第一連接分量。移位量計算單元計算第一連接分量相對于第二連接分量的移位 量。第一計算單元基于移位量計算用于校正投影目標(biāo)圖像的第一校正信息。
【附圖說明】
[0007]圖1是圖不根據(jù)實施例的圖像處理系統(tǒng)的不意圖。
[0008]圖2是圖不第一圖案圖像和第二圖案圖像的不例的不意圖。
[0009]圖3是圖示第一圖案圖像和第一拍攝圖像的示例的示意圖。
[0010]圖4是圖示第一校正單元的示意圖。
[0011]圖5是圖示坐標(biāo)變換的示意圖。
[0012] 圖6是圖示提取單元的示意圖。
[0013]圖7是(u，v)坐標(biāo)系統(tǒng)的說明圖。
[0014]圖8是坐標(biāo)變換的說明圖。
[0015] 圖9是圖示第二連接分量的生成結(jié)果的示例的示意圖。
[0016] 圖10是圖示第一連接分量的生成結(jié)果的示例的示意圖。
[0017] 圖11是第一連接分量相對于第二連接分量的移位的說明圖。
[0018] 圖12是由第一校正處理單元執(zhí)行的校正的說明圖。
[0019]圖13是圖示第二校正單元的示意圖。
[0020] 圖14是投影區(qū)域的說明圖。
[0021] 圖15是投影區(qū)域的說明圖。
[0022] 圖16是圖示圖像處理的過程的流程圖。
[0023]圖17是圖示第一校正的過程的流程圖。
[0024]圖18是圖示連接分量提取的過程的流程圖。
[0025]圖19是圖示相鄰特征點識別的過程的流程圖。
[0026] 圖20是圖示相鄰特征點識別的過程的流程圖。
[0027] 圖21是圖示與所識別的相鄰特征點的關(guān)系的示意圖。
[0028] 圖22是圖示不具有相鄰特征點的特征點的示例的示意圖。
[0029]圖23是圖示第二校正的過程的流程圖。
[0030] 圖24是圖示近似平面計算的過程的流程圖。
[0031] 圖25是回歸平面數(shù)據(jù)的計算方法的說明圖。
[0032]圖26是前(front)圖像的生成的說明圖。
[0033]圖27是包含區(qū)域計算的說明圖。
[0034]圖28是前圖像與投影目標(biāo)圖像之間的關(guān)系的說明圖。
[0035]圖29是圖不第一圖案圖像的其它不例的不意圖。
[0036]圖30是圖不第二圖案圖像的不例的不意圖。
[0037]圖31是圖不第二圖案圖像的其它不例的不意圖。
[0038]圖32是圖不第一圖案圖像和第二圖案圖像的不例的不意圖。
[0039]圖33是修改示例的說明圖。
[0040] 圖34是圖不彳目息處理系統(tǒng)的結(jié)構(gòu)的另一不例的不意圖。
[0041] 圖35是圖示配備有云計算系統(tǒng)的圖像處理系統(tǒng)的示例的示意圖。
[0042]圖36是圖示計算機(jī)的結(jié)構(gòu)的硬件結(jié)構(gòu)圖。
【具體實施方式】
[0043]圖1是圖不根據(jù)實施例的圖像處理系統(tǒng)10的不意圖。
[0044]圖像處理系統(tǒng)10包括投影裝置14、拍攝裝置16、以及圖像處理裝置18。通過諸如網(wǎng) 絡(luò)的通信線路將投影裝置14、拍攝裝置16、以及圖像處理裝置18耦接。
[0045]網(wǎng)絡(luò)可以是有線通信網(wǎng)絡(luò)或無線通信網(wǎng)絡(luò)。例如，使用LAN(局域網(wǎng)）作為該網(wǎng)絡(luò)， 并且使用諸如Ethernet(注冊商標(biāo))或TCP/IP的通信協(xié)議。
[0046]投影裝置14是將充當(dāng)投影目標(biāo)的投影目標(biāo)圖像投影到投影面12上的裝置。投影面 12的示例包括屏幕、墻和白板，但是不限于這些。投影裝置14包括投影單元14A。投影單元 14A將投影目標(biāo)圖像投影到投影面12上。在本實施例中，由圖像處理裝置18控制投影單元 14A〇
[0047]拍攝裝置16拍攝投影在投影面12上的投影圖像。拍攝裝置16包括拍攝單元16A。拍 攝裝置16拍攝投影在投影面12上的投影圖像以獲取拍攝圖像。在本實施例中，由圖像處理 裝置18控制拍攝單元16A。
[0048]圖像處理裝置18控制投影裝置14和拍攝裝置16。圖像處理裝置18包括控制器20和 存儲單元22。
[0049]存儲單元22在其中存儲充當(dāng)投影目標(biāo)的投影目標(biāo)圖像、以及諸如用于校正投影目 標(biāo)圖像的第一圖案圖像和第二圖案圖像的各種類型的數(shù)據(jù)。存儲單元22還在其中存儲在控 制器20的控制下產(chǎn)生的各種類型的信息。
[0050] 第一圖案圖像是其中布置多個第一特征點的圖像。在本實施例中，在第一圖案圖 像中，例如，將多個第一特征點布置在網(wǎng)格中。第一特征點的布置不限于網(wǎng)格。第二圖案圖 像是包括與第一特征點對應(yīng)的多個第二特征點的圖像。例如，第二圖案圖像是第一圖案圖 像的一部分。第二圖案圖像不限于為第一圖案圖像的一部分。只需要第二圖案圖像包括所 述多個第二特征點即可。
[0051] 在本實施例中，當(dāng)總體描述第一和第二特征點時，將第一和第二特征點簡單地描 述為"特征點"。特征點是這樣的區(qū)域，其可以由圖像處理裝置18提取并且用于計算充當(dāng)投 影目標(biāo)的投影目標(biāo)圖像的校正信息。
[0052] 圖2是圖示第一圖案圖像62A和第二圖案圖像60A的示例的示意圖。圖2中的部分 (A)是圖不第一圖案圖像62A的不例的不意圖。在本實施例中，第一圖案圖像62A是在網(wǎng)格中 交替地布置白色正方形區(qū)域和黑色正方形區(qū)域的圖像。在本實施例中，第一圖案圖像62A中 的第一特征點100是白色正方形區(qū)域和黑色正方形區(qū)域的頂點相會的點。
[0053]圖2中的部分(B)是圖示第二圖案圖像60A的示例的示意圖。在本實施例中，第二圖 案圖像60A是包括與第一圖案圖像62A的中心對應(yīng)的區(qū)域、以及多個第二特征點200。結(jié)果， 當(dāng)將第二圖案圖像60A和第一圖案圖像62A重疊時，各個第二特征點200在第二圖案圖像60A 中的位置與各個第一特征點100在第一圖案圖像62A中的位置重合。
[0054] 以與第一特征點100相同的方式，第二圖案圖像60A中的第二特征點200是白色正 方形區(qū)域的頂點和黑色正方形區(qū)域的頂點相會的點。在本實施例中，從第一圖案圖像62A的 中心區(qū)域提取第二圖案圖像60A，使得包括多個第一特征點100。
[0055]在本實施例中，第二圖案圖像60A包括九個第二特征點200,它們是:在特定方向上 彼此相鄰的三個第二特征點200;以及，對于所述三個第二特征點200的每個，在與特定方向 垂直的方向上彼此相鄰的三個第二特征點200。
[0056]在本實施例中，第二圖案圖像60A是對應(yīng)于第一圖案圖像62A的中心區(qū)域、并且包 括所述多個第二特征點200的圖像。第二圖案圖像60A不限于對應(yīng)于中心區(qū)域的圖像。只需 要第二圖案圖像60A是第一圖案圖像62A的一部分并且包括所述多個第二特征點200即可。 [0057]從稍后描述的以高精度計算第一校正信息的角度來看，第二圖案圖像60A優(yōu)選地 是對應(yīng)于第一圖案圖像62A的中心區(qū)域的圖像。這是因為，投影圖像(其是已經(jīng)被投影的投 影目標(biāo)圖像的圖像)的中心附近的區(qū)域很有可能位于投影面12上。
[0058]在本實施例中，第二圖案圖像60A包括九個第二特征點200。然而，第二圖案圖像 60A可以是包括至少兩個或更多個第二特征點200(優(yōu)選地，四個或更多個第二特征點200， 以及更優(yōu)選地，八個或更多個第二特征點200)的圖像。第二圖案圖像60A中包括的第二特征 點200的數(shù)目越大，第一校正信息的計算就越精確。
[0059]參考回圖1，控制器20控制圖像處理裝置18?？刂破?0是包括CPU(中央處理單元）、ROM(只讀存儲器）、RAM(隨機(jī)存取存儲器)等的計算機(jī)。
[0060] 控制器20包括投影控制單元24、拍攝控制單元26、獲取單元28、第一校正單元30、 以及第二校正單元32。投影控制單元24、拍攝控制單元26、獲取單元28、第一校正單元30、以 及第二校正單元32例如可以通過由諸如CPU的處理單元執(zhí)行的計算機(jī)程序（S卩，通過軟件） 來實施、或者通過諸如集成電路(1C)的硬件來實施、或者通過使用軟件和硬件來實施。
[0061 ] 投影控制單元24控制投影單元14A。在本實施例中，投影控制單元24控制投影單元 14A，以使得投影單元14A將作為投影目標(biāo)圖像的第一圖案圖像62A和第二圖案圖像60A投影 在投影面12上。投影控制單元24控制投影單元14A，以使得投影單元14A將充當(dāng)投影目標(biāo)的 各種投影目標(biāo)圖像投影在投影面12上。
[0062]在本實施例中，當(dāng)?shù)诙D案圖像60A被投影在投影面12上時，投影面12需要是平面 投影面。當(dāng)?shù)诙D案圖像60A被投影時使用的平面投影面12意味著具有不引起投影圖像中 的失真的平面度。失真意味著投影在投影面12上的投影圖像相對于充當(dāng)投影目標(biāo)的投影目 標(biāo)圖像(在被投影之前的圖像)的失真。在作為投影在投影面12上的第二圖案圖像60A的圖 像的第二投影圖像中不存在失真。換言之，在第二投影圖像中的各個第二特征點200的位 置、與作為在被投影之前的圖像的第二圖案圖像60A中的對應(yīng)的第二特征點200的位置之間 不存在差異。
[0063]相比之下，在本實施例中，當(dāng)將第一圖案圖像62A投影在投影面12上時，投影面12 需要在實際投影條件下，該實際投影條件是投影各種投影目標(biāo)圖像所處的實際投影條件之 一。結(jié)果，在作為投影在投影面12上的第一圖案圖像62A的圖像的第一投影圖像中，可能存 在當(dāng)投影第一圖案圖像62A時使用的投影面12所引起的失真，并且，在第一投影圖像中的各 個第一特征點100的位置、與作為在被投影之前的圖像的第一圖案圖像62A中的對應(yīng)的第一 特征點100的位置之間可能存在任何差異。
[0064]拍攝控制單元26控制拍攝單元16A。在本實施例中，拍攝控制單元26控制拍攝單元 16A，以使得拍攝單元16A拍攝投影在投影面12