專利名稱：校正信息計算裝置、圖像處理裝置、圖像顯示系統及方法
技術領域：
本發(fā)明涉及校正信息計算裝置、圖像處理裝置、圖像顯示系統以及圖像校正方法。
背景技術：
過去，已知有作為一種圖像顯示裝置的投影儀。投影儀具有容易設置、能夠顯示大畫面的圖像等特點。投影儀被用于在平面或者曲面的被投影面上顯示圖像的用途中。并且， 在從多個投影儀分別投影部分圖像，作為多個部分圖像的整體來顯示一個圖像的用途中， 有時也采用投影儀。近年來，提出了對被投影面上的圖像的變形或多個部分圖像的相對位置的偏移進行校正的圖像校正方法。在上述的圖像校正方法中，例如進行以下處理。首先，使投影儀投影包含特征點的測定用圖案，拍攝被投影面上的測定用圖案。并且，根據表示測定用圖案的圖像數據上的特征點的位置、與拍攝測定用圖案而得到的攝影圖像中的特征點的位置的對應關系，求出表示像素位置的校正量的校正信息。在顯示面向視聽者的圖像(以下稱為內容圖像)時，根據上述的校正信息對表示該圖像的圖像數據進行校正，根據校正后的圖像數據來顯示圖像。在進行上述處理后，根據特征點的數量和形狀，有時很難準確地確定被攝入攝影圖像中的特征點與所投影的特征點的對應關系。當對應關系的確定失敗時，需要重新進行處理，在極端的情況下有時不能進行處理。作為解決這些問題的技術，可以列舉專利文獻1 公開的技術。在專利文獻1中，使用戶指定幾個特征點的坐標，根據這幾個坐標，通過插值運算來估算剩余特征點的坐標。專利文獻1國際公開第06/025191號小冊子在專利文獻1中，由用戶指定特征點自身的坐標，由于將搜索指定對象的特征點的作業(yè)委托給用戶，因此有可能產生下述的問題。在使用包括多個特征點的測定用圖案的情況下、和在表示特征點的圖形都相同的情況下等，搜索指定對象的特征點需要許多的功夫和時間，對用戶造成莫大的負擔。并且， 用戶容易認錯指定對象的特征點，有可能導致處理的魯棒性下降。

發(fā)明內容
本發(fā)明正是鑒于上述情況而提出的，其目的之一在于，提供一種校正信息計算裝置、圖像處理裝置、圖像顯示系統以及圖像校正方法，能夠將用戶的負擔抑制在最小限度， 并準確地求出被攝入攝影圖像中的特征點與被投影面上的特征點的對應關系。為了達到上述目的，本發(fā)明采用了以下方案。本發(fā)明的校正信息計算裝置的特征在于，該校正信息計算裝置具有位置信息取得部，其取得用戶輸入的位置信息，作為表示第1攝影圖像中的與第1圖形對應的位置的信息，其中，所述第1攝影圖像是在將包括所述第1圖形的第1測定用圖像從投影儀投影到被投影面上時，拍攝所述被投影面上的所述第1圖形而得到的；第2圖形位置檢測部，其使用在將所述位置信息表示的位置作為基準來檢測所述第1攝影圖像中的所述第1圖形的位置時的檢測結果、以及第2測定用圖像的元數據上的第2圖形的位置相對于所述第1測定用圖像的元數據上的所述第1圖形的位置之間的位置關系，檢測第2攝影圖像中的所述第2 圖形的位置，其中，所述第2攝影圖像是在將包括所述第2圖形的所述第2測定用圖像從所述投影儀投影到所述被投影面上時，拍攝所述被投影面上的所述第2圖形而得到的，所述第2圖形的形狀和尺寸中的至少一方與所述第1圖形不同；以及校正信息運算部，其對由所述第2圖形位置檢測部檢測到的所述第2攝影圖像中的所述第2圖形的位置、與所述第2 測定用圖像的元數據上的所述第2圖形的位置進行比較，計算表示所述被投影面上的像素的位置、與所述投影儀的圖像形成元件上的像素的位置之間的對應關系的校正信息。這樣，由于使用用戶輸入的位置信息來檢測第1圖形，因而第1圖形的檢測成功率提高，能夠準確地求出第2圖形的位置。第2圖形的形狀和尺寸中的至少一方與第1圖形不同，用戶容易將第1圖形與第2圖形進行區(qū)分。因此，能夠減少用戶搜索第1圖形的時間， 能夠減少用戶認錯第1圖形的情況的發(fā)生。因此，能夠將用戶的負擔抑制在最小限度，并準確地求出被攝入攝影圖像中的特征點與被投影面上的特征點的對應關系，能夠以較少的時間取得能夠高精度地校正圖像變形等的校正信息。也可以是所述校正信息計算裝置具有第1圖形位置檢測部，該第1圖形位置檢測部檢測所述第1攝影圖像中的所述第1圖形的位置，在所述第1圖形位置檢測部對所述第 1圖形的檢測成功時，第2圖形位置檢測部使用所述第1圖形位置檢測部的檢測結果，檢測所述第2攝影圖像中的所述第2圖形的位置，在所述第1圖形位置檢測部對所述第1圖形的檢測失敗時，第2圖形位置檢測部使用利用所述位置信息檢測到的所述第1圖形的位置， 檢測所述第2攝影圖像中的所述第2圖形的位置。這樣，在第1圖形位置檢測部對第1圖形的位置檢測成功的情況下，第2圖形位置檢測部使用其檢測結果來檢測第2圖形，因而在第1圖形位置檢測部對第1圖形的檢測成功時，能夠省略用戶對位置信息的輸入。因此，能夠將用戶的負擔抑制在最小限度，并準確地求出被攝入攝影圖像中的特征點與被投影面上的特征點的對應關系。也可以是所述位置信息包括表示所述第1圖形的內側的位置的第1位置信息、和表示特征點的位置的第2位置信息，其中，所述特征點規(guī)定所述第1攝影圖像中的所述第1 圖形的位置， 所述位置信息取得部在使用所述第1位置信息的所述第1圖形的位置檢測失敗時，取得所述第2位置信息，在所述位置信息取得部取得了所述第2位置信息時，所述第2 圖形位置檢測部將所述第2位置信息表示的特征點所規(guī)定的所述第1圖形的位置，用作所述第1攝影圖像中的所述第1圖形的位置，檢測所述第2攝影圖像中的所述第2圖形的位置。這樣，用戶只要輸入表示第1圖形的內側的位置的第1位置信息即可，因此能夠容易地指定成為第1圖形的檢測基準的位置，能夠將用戶的負擔抑制在最小限度。在將第1 位置信息表示的位置作為基準的第1攝影圖像中的第1圖形的位置的檢測失敗時，第2圖形位置檢測部使用第2位置信息表示的特征點所規(guī)定的第1圖形的位置來檢測第2圖形， 因而能夠避免由于第1圖形的位置檢測失敗而造成的處理的發(fā)散。也可以是所述第1測定用圖像包括所述第2圖形，第2圖形位置檢測部將所述第 1攝影圖像用作所述第2攝影圖像，檢測所述第2攝影圖像中的所述第2圖形的位置。這樣，與投影與第1測定用圖像不同的第2測定用圖像并進行攝影的情況相比，能夠減少投影和攝影所需要的功夫和時間。并且，由于在第1測定用圖像的攝影和第2測定用圖像的攝影之間產生攝影裝置等的位置偏移的概率降低，因而能夠減小起因于攝影裝置的位置偏移的誤差。也可以是所述第1圖形的尺寸比所述第2圖形的尺寸大，所述第1測定用圖像中包含的所述第2圖形的數量，比所述第1測定用圖像中包含的所述第1圖形的數量多。這樣，由于第1圖形的尺寸比第2圖形的尺寸大，因此用戶容易將第1圖形與第2 圖形進行區(qū)分，能夠將檢索第1圖形所需要的用戶的負擔抑制在最小限度。由于第1測定用圖像中包含的第2圖形的數量比第1圖形的數量多，因此能夠在多個點進行第2攝影圖像中的第2圖形的位置與由第1測定用圖像的元數據規(guī)定的第2圖形的位置的比較，能夠高精度地求出校正信息。 也可以是在所述第1測定用圖像中，所述第1圖形的色調與所述第2圖形的色調不同，將以所述第ι圖形的色調與所述第2圖形的色調相區(qū)分的方式拍攝所述被投影面上的所述第1測定用圖像而得到的攝像圖像用作所述第1攝影圖像。這樣，被投影面上的第1圖形的色調與第2圖形的色調不同，用戶容易將第1圖形與第2圖形進行區(qū)分，因而能夠將檢索第1圖形所需要的用戶的負擔抑制在最小限度。并且，由于在第1攝影圖像上第1圖形的色調與第2圖形的色調不同，因此在檢測第1圖形時， 能夠以不考慮第2圖形的影響的方式實施利用了顏色差異的濾波處理。因此，能夠提高第 1圖形的檢測成功率。同樣，在檢測第2圖形時，能夠以不考慮第1圖形的影響的方式實施濾波處理，能夠提高第2圖形的檢測成功率。本發(fā)明的圖像處理裝置的特征在于，該圖像處理裝置具有本發(fā)明的校正信息計算裝置；以及圖像校正部，其參照由所述校正信息計算裝置計算出的所述校正信息來校正所述圖像數據，以使由所述投影儀根據校正后的所述圖像數據投影在所述被投影面上的圖像、與校正前的所述圖像數據表示的圖像大致一致。根據本發(fā)明的校正信息計算裝置，能夠以較少的時間取得高精度的校正信息，因而本發(fā)明的圖像處理裝置能夠節(jié)省取得校正信息的時間，并且高精度地校正部分圖像的變形和相對位置的偏移。本發(fā)明的圖像顯示系統的特征在于，該圖像顯示系統具有本發(fā)明的圖像處理裝置；以及多個投影儀，其根據由所述圖像處理裝置進行校正的所述校正后的圖像數據來投影圖像。根據本發(fā)明的圖像處理裝置，能夠節(jié)省取得校正信息的時間，并且高精度地校正部分圖像的變形和相對位置的偏移，因而本發(fā)明的圖像顯示系統的便利性提高，而且能夠顯示高質量的圖像。本發(fā)明的圖像校正方法的特征在于，該圖像校正方法具有以下步驟將包括第1 圖形的第1測定用圖像從投影儀投影到被投影面上；拍攝所述被投影面上的所述第1圖形， 取得第1攝影圖像；取得用戶輸入的位置信息，作為表示所述第1攝影圖像中的與所述第1 圖形對應的位置的信息；將包括第2圖形的第2測定用圖像從所述投影儀投影到所述被投影面上，其中，所述第2圖形的形狀和尺寸中的至少一方與所述第1圖形不同；拍攝所述被投影面上的所述第2圖形，取得第2攝影圖像；將關于所述第2攝影圖像中的所述第2圖形的位置由所述位置信息表示的位置作為基準，檢測所述第1攝影圖像中的所述第1圖形的位置；使用所述第1攝影圖像中的所述第1圖形的位置的檢測結果、 以及所述第2測定用圖像的元數據上的所述第2圖形的位置相對于所述第1測定用圖像的元數據上的所述第1圖形的位置之間的位置關系，檢測所述第2攝影圖像中的所述第2圖形的位置；對所述第2攝影圖像中的所述第2圖形的位置的檢測結果、與所述第2測定用圖像的元數據上的所述第 2圖形的位置進行比較，計算表示所述被投影面上的像素的位置、與所述投影儀的圖像形成元件上的像素的位置之間的對應關系的校正信息；以及參照所述校正信息對所述圖像數據進行校正，以使由所述投影儀根據校正后的所述圖像數據投影在所述被投影面上的圖像、 與校正前的所述圖像數據表示的圖像大致一致。這樣，能夠將用戶的負擔抑制在最小限度，并準確地求出被攝入攝影圖像中的特征點與被投影面上的特征點的對應關系，能夠節(jié)省取得校正信息的時間，高精度地校正圖像變形等。


圖1是表示本發(fā)明的實施方式的圖像顯示系統的簡要圖。圖2是表示被投影面上的投影區(qū)域的位置關系的說明圖。圖3是表示圖像顯示系統的結構的圖。圖4是表示測定用圖案的一例的說明圖。圖5是表示截止到顯示內容圖像為止的處理流程的圖。圖6是表示第1位置信息的輸入方法的一例的說明圖。圖7是表示第2位置信息的輸入方法的一例的說明圖。圖8是表示校正信息的計算方法的一例的說明圖。標號說明1圖像顯示系統；2投影儀；3圖像處理裝置；4攝影裝置；5圖像控制裝置；6校正信息計算裝置；8信號源；9被投影面；21第1投影儀；22第2投影儀；23第3投影儀；24第 4投影儀；51圖像輸入部；52圖像保存部；53圖像校正部；54圖像輸出部；61校正信息運算部；62位置信息取得部；63存儲部；64第1圖形位置檢測部；65第2圖形位置檢測部；A有效投影區(qū)域；AO整體投影區(qū)域；Al第1投影區(qū)域；A2第2投影區(qū)域；A3第3投影區(qū)域；A4第 4投影區(qū)域；D測定用圖案；Dl D4特征點；D5區(qū)域；Dll D14測定用圖案；Dlll D114 第1圖形；D121 D124第2圖形；P內容圖像；Pl第1部分圖像；P2第2部分圖像；P3第3 部分圖像；P4第4部分圖像；P5重疊區(qū)域；Ml M4圖標；Sl S13步驟；T攝影圖案；Tl T4特征點；T5區(qū)域；Tll T14投影測定用圖案；Till T114第1投影圖形；T121 T124 第2投影圖形。
具體實施例方式下面，參照

本發(fā)明的實施方式。在進行說明時使用的附圖中，為了容易理解地示出特征性部分，有時使附圖中的結構的尺寸和比例尺與實際結構不同。并且，在實施方式中對相同的構成要素標注相同的標號進行圖示，有時省略其詳細說明。圖1是表示本發(fā)明的一個實施方式的圖像顯示系統的概念圖，圖2是表示投影在被投影面上的圖像與投影區(qū)域的關系的說明圖。
如圖1所示，圖像顯示系統1具有多個投影儀2、圖像處理裝置3以及攝影裝置4。 圖像顯示系統1使多個投影儀2分擔從例如信號源8輸入的圖像數據表示的內容圖像P，投影在屏幕或墻壁等被投影面9上。在此，作為多個投影儀2，說明了設置有第1投影儀21、 第2投影儀22、第3投影儀23以及第4投影儀24的情況。本發(fā)明的適用范圍對投影儀的數量和配置沒有限定。例如，在利用一臺投影儀向平面狀或者曲面狀的被投影面進行投影時，也能夠適用本發(fā)明。另外，在下面的說明中，有時將從多個投影儀中的各個投影儀投影的圖像稱為“部分圖像”。并且，在下面的說明中，有時將表示部分圖像的圖像數據稱為“部分圖像數據”。投影儀2能夠根據所提供的圖像數據(在此是指部分圖像數據)顯示圖像(在此是指部分圖像)。本發(fā)明的適用范圍對投影儀2的結構沒有限定。例如，投影儀2可以是單板式的投影儀，也可以是三板式的投影儀等包括多個圖像形成元件的投影儀。并且，投影儀2可以是從與視聽者相同的一側向被投影面9進行投影的前投式投影儀，也可以是隔著被投影面9從視聽者的相反側進行投影的背投式投影儀。 本實施方式的多個投影儀2具有光源、圖像形成元件以及投影光學系統。圖像形成元件具有被排列成二維狀的多個像素。關于圖像形成元件，例如可以列舉透射型或者反射型的液晶光閥、數字鏡裝置(DMD)等。在各個投影儀中，從光源射出的光入射到圖像形成元件。圖像形成元件根據輸入到該投影儀的部分圖像數據的每個像素的數據(以下稱為像素數據)，相互獨立地控制多個像素。入射到像素的光被按照每個像素進行調制而成為由像素數據規(guī)定的光量的光。由多個像素調制后的光整體上成為光學像(圖像)，該光學像通過投影光學系統被投影在被投影面9上。在此，在多個投影儀中，圖像形成元件的像素數和像素的排列一致。各個投影儀在被投影面9上能夠進行投影的區(qū)域即投影區(qū)域，根據多個投影儀2 被設定為不同的區(qū)域。如圖2所示，第1 第4投影區(qū)域Al A4被設定成相互的周緣部重合，整體上構成整體投影區(qū)域。即，第1 第4投影區(qū)域Al A4分別包括與鄰接的其它投影區(qū)域重疊的重疊區(qū)域A5。第1投影儀21的投影區(qū)域(第1投影區(qū)域Al)與第2投影儀22的投影區(qū)域(第 2投影區(qū)域A2)沿被投影面9上的水平方向并行排列。在該水平方向上，第1投影區(qū)域Al 的端部與第2投影區(qū)域A2的端部重合。第3投影儀23的投影區(qū)域(第3投影區(qū)域A3)與第4投影儀24的投影區(qū)域(第4投影區(qū)域A4)的水平方向的位置關系，與第1、第2投影區(qū)域A1、A2的水平方向的位置關系相同。第1投影區(qū)域Al沿與被投影面9上的水平方向垂直的垂直方向與第3投影區(qū)域 A3并行排列。在該垂直方向上，第1投影區(qū)域Al的端部(周緣部)與第3投影區(qū)域A3的端部(周緣部)重合。第2投影區(qū)域A2與第4投影區(qū)域A4的垂直方向的位置關系，與第 1、第3投影區(qū)域Al、A3的垂直方向的位置關系相同。可是，通常整體投影區(qū)域AO的外形不會成為矩形。這是因為根據第1 第4投影儀21 24的配置，產生第1 第4投影區(qū)域Al A4的變形或相對位置的偏移。在此，將收納在整體投影區(qū)域AO中的大致矩形的區(qū)域設為在圖像的投影中實際使用的區(qū)域(有效投影區(qū)域A)。第1 第4投影儀21 24向各個投影區(qū)域中被收納在有效投影區(qū)域A中的區(qū)域投影部分圖像。
例如，利用從第1投影儀21投影的光，在第1投影區(qū)域Al中被收納在有效投影區(qū)域A中的區(qū)域顯示第1部分圖像P1。以下相同，利用第2 第4投影儀22 M顯示第 2 第4部分圖像P2 P4。第1 第4部分圖像Pl P4以使端部相互重合的方式被顯示在被投影面9上，整體上構成內容圖像P。返回圖1的說明，圖像處理裝置3從例如信號源8接收表示內容圖像P的圖像數據。圖像處理裝置3對圖像數據實施各種處理(將在后面進行說明)，同時根據圖像數據生成多個部分圖像數據。各個部分圖像數據是表示第1 第4部分圖像Pl P4中的任意一個部分圖像的數據。圖像處理裝置3向第1 第4投影儀21 M分別提供表示由各個投影儀分擔的部分圖像的部分圖像數據。第1 第4投影儀21 M根據從圖像處理裝置3 輸入的部分圖像數據，向被投影面9上投影第1 第4部分圖像Pl P4。圖像處理裝置3進行上述的各種處理中的一種處理(以下稱為位置校正處理)， 即對第1 第4部分圖像Pl P4各自的圖像變形進行校正，同時對第1 第4部分圖像 Pl P4的相對位置的偏移進行校正。圖像處理裝置3在適當選擇的時刻計算在位置校正處理中使用的校正信息，該時刻是指設置圖像顯示系統1時、從設置圖像顯示系統1時起經過了預定期間的維護時等。作為上述的圖像變形的一例，例如可以列舉根據第1 第4投影儀21 M各自向被投影面9的投影方向、即垂直方向的仰角和俯角、水平方向的傾斜角等而產生的圖像變形(例如梯形變形)。作為圖像變形的其它示例，例如可以列舉由于布狀屏幕的撓曲等而產生的圖像變形，由于被投影面9局部變形而產生的圖像變形。上述的第1 第4部分圖像Pl P4的相對位置的偏移起因于第1 第4投影儀21 M的例如投影方向不一致、 相對位置的偏移等。本發(fā)明的圖像處理裝置可以取例如下述第1 第3方式所示的多種方式。作為第1方式的圖像處理裝置，可以列舉基于進行各種處理的ASIC等一個以上的邏輯電路的結構。第1方式的圖像處理裝置的一部分或者全部可以與第1 第4投影儀 21 對、攝影裝置4、信號源8中的任意一方形成為一體。作為第2方式的圖像處理裝置，可以列舉基于安裝有程序的計算機的結構。S卩，通過使計算機按照程序執(zhí)行各種處理，能夠實現圖像處理裝置3的功能。例如，使存儲器和 CPU協作執(zhí)行各個處理中的運算，將運算結果保存在硬盤或存儲器等存儲部中，根據需要讀出運算結果并供給其它處理使用，由此能夠取得與使用邏輯電路等時相同的處理結果。另外，在第2方式的圖像處理裝置3中，也可以使多個計算機分擔各種處理。作為第3方式的圖像處理裝置，可以列舉將進行各種處理中的一部分處理的邏輯電路、和按照程序進行各種處理中的其它處理的計算機組合而成的結構。這樣，本發(fā)明的圖像處理裝置除了作為進行各種處理的獨立的裝置的方式之外， 還能夠取作為進行各種處理的一部分處理的多個功能單元的集合體的方式。即，可以是將多個功能單元分開設置成分體的多個裝置，并使它們相互協作進行處理的方式。攝影裝置4能夠取得對包括整體投影區(qū)域AO的整個區(qū)域的被投影面9上的區(qū)域進行拍攝而得到的攝影圖像。攝影裝置4例如由CCD攝像機等二維成像傳感器構成。二維成像傳感器具有將由光電二極管等構成的多個感光元件排列成二維狀的結構。本實施方式的攝影裝置4由全彩色的二維成像傳感器構成，能夠在攝影圖像中體現攝影對象的色調的差異。在計算上述的校正信息時，攝影裝置4同時或者分別拍攝由第1 第4投影儀 21 24分別投影到被投影面9上的第1測定用圖像和第2測定用圖像，并向圖像處理裝置 3輸出表示攝影結果的攝影圖像數據。其中，“第1測定用圖像”包括第1圖形，“第2測定用圖像”包括第2圖形。在下面的說明中，將第1測定用圖像和第2測定用圖像稱為“測定用圖案”。 并且，將在從投影儀向被投影面9投影第1測定用圖像時，對被投影面9上的第 1圖形進行拍攝而得到的攝影圖像稱為“第1攝影圖像”。另外，將在從投影儀向被投影面 9投影第2測定用圖像時，對被投影面9上的第2圖形進行拍攝而得到的攝影圖像稱為“第 2攝影圖像”。具體情況將在后面進行說明，被用作本實施方式的測定用圖案的第1測定用圖像包括第1圖形和第2圖形。即，本實施方式的第1測定用圖像兼做第2測定用圖像，對投影在被投影面9上的第1測定用圖像進行拍攝而得到的攝影圖像，在第1攝影圖像和第 2攝影圖像中都能夠使用。并且，在不需要區(qū)分第1攝影圖像和第2攝影圖像的情況下，有時將第1攝影圖像和第2攝影圖像都簡稱為攝影圖像。本實施方式的攝影裝置4被配置成能夠通過一次攝影對整體投影區(qū)域AO的整個區(qū)域進行拍攝。與將通過多次攝影而得到的攝影圖像進行組合來拍攝整體投影區(qū)域AO的整個區(qū)域時相比，能夠消除由于攝影和攝影之間的攝影裝置的移動等造成的誤差。根據整體投影區(qū)域AO的尺寸和縱橫尺寸比，也存在整體投影區(qū)域AO的整個區(qū)域沒有收納在攝影裝置的視場角之內的情況。在這種情況下，也可以通過將攝影裝置安裝在三腳架上等，在使攝影裝置相對于被投影面9的相對位置大致固定的狀態(tài)下，按照每個部分對整體投影區(qū)域 AO進行拍攝，將兩次以上的攝影結果進行組合，取得對整體投影區(qū)域AO的整個區(qū)域進行拍攝而得到的攝影圖像。在按照上面所述利用多個投影儀2顯示內容圖像P時，能夠顯示大畫面、高分辨率、高亮度的內容圖像P。例如，與利用一臺投影儀進行顯示時相比，在一臺投影儀的像素數相同的條件下，不需降低分辨率，即可顯示大畫面的內容圖像P。并且，在以相同的畫面尺寸來顯示內容圖像P的條件下進行比較時，能夠按照投影儀的數量來增加像素數，能夠顯示高分辨率的內容圖像。在一臺投影儀的輸出光量相同的條件下進行比較時，能夠按照投影儀的數量來增加有助于顯示的光的光量，能夠顯示高亮度的內容圖像P。在與為了取得這些效果而增加投影儀的像素數和輸出的方法進行比較時，能夠使各個投影儀的成本明顯下降，因而即使考慮到投影儀的數量，也能夠期待降低裝置成本的效果。并且，通常將每個投影儀設置在例如不同的場所(例如小會議室)使用，根據用途，例如也能夠在大會議室中構建圖像顯示系統，顯示大畫面、高分辨率、高亮度的內容圖像。這樣，能夠根據用途選擇是單獨使用投影儀、還是組合使用多個投影儀，因而與利用一臺投影儀來取得上述效果的情況相比，便利性得到提高。并且，由于根據利用圖像處理裝置3實施了位置校正處理后的圖像數據來顯示內容圖像P，因此能夠降低各個部分圖像的圖像變形和多個部分圖像的相對位置的偏移。因此，能夠在圖像變形較小、而且不易觀察到部分圖像的連接處的狀態(tài)下顯示內容圖像P，能夠將內容圖像P顯示為高質量的圖像。在本發(fā)明中，能夠高精度地校正部分圖像的圖像變形和相對位置的偏移，而且能夠高效地計算校正信息。因此，例如能夠減少設置圖像顯示系統所需要的功夫和時間，能夠提高圖像顯示系統的便利性。
下面，參照圖3、圖4詳細說明本發(fā)明的圖像處理裝置3的構成要素。圖3是表示圖像處理裝置3的功能結構的圖，圖4是表示測定用圖案的一例的說明圖。如圖3所示，圖像處理裝置3具有圖像控制裝置5和校正信息計算裝置6。校正信息計算裝置6主要計算校正信息。圖像控制裝置5進行各種處理，同時使用校正信息對圖像數據實施各種處理之一的位置校正處理。在本實施方式中，圖像控制裝置5構成為第1 計算機的一部分，校正信息計算裝置6利用與第1計算機不同的第2計算機的CPU和存儲部等構成。圖像控制裝置5具有圖像輸入部51、圖像保存部52、圖像校正部53以及圖像輸出部M。圖像輸入部51例如由視頻截取板等構成。圖像輸入部51根據需要從圖像控制裝置 5外部的DVD播放器、通信設備等信號源8接收內容圖像。圖像保存部52例如由內置在計算機中或者外置的硬盤等存儲裝置構成，能夠保存表示內容圖像P的圖像數據。輸入到圖像輸入部51的圖像數據和保存在圖像保存部52中的圖像數據，在顯示內容圖像P時被輸出給圖像校正部53。另外，圖像控制裝置5也可以構成為只設置圖像輸入部51和圖像保存部52中的一方。圖像控制裝置5還可以構成為將從圖像輸入部51輸入的圖像數據保存在圖像保存部52中，適當讀出該圖像數據而輸入到圖像校正部53。圖像校正部53包括運算部和存儲部，但沒有示出其具體結構。運算部例如由圖形處理裝置(GPU)等構成。存儲部由視頻存儲器(VRAM)或非易失性存儲器等構成。圖像校正部53參照校正信息對從信號源8輸入的圖像數據進行校正，以使由投影儀21 M根據校正后的圖像數據投影到被投影面9上的圖像與校正前的圖像數據表示的圖像大致一致。運算部將存儲部用作圖像緩存器等，對輸入到運算部的圖像數據進行伽瑪校正和色調校正等各種處理。也可以使用程序使計算機的CPU取代上述GPU來進行運算，由此進行各種處理。另外，存在從圖像輸入部51和圖像保存部52輸入的圖像數據上的像素的排列， 與投影儀2的圖像形成元件的像素的排列不吻合的情況，例如有可能存在圖像數據中包含的像素數與圖像形成元件的像素數不同的情況。在這種情況下，運算部對輸入的圖像數據實施插值處理或尺寸調整處理等，對圖像數據進行校正，使校正后的圖像數據與圖像形成元件的像素的排列吻合。關于這些處理，可以在各個投影儀中設置處理部，在每個投影儀中使該處理部進行處理。運算部參照校正信息對圖像數據實施位置校正處理，同時生成部分圖像數據。校正信息被存儲在上述的存儲部(例如非易失性存儲器)中。校正信息是表示在被投影面9 上的整體投影區(qū)域AO (參照圖2)中的各個像素的位置、與在多個投影儀2各自的圖像形成元件的像素的排列中的各個像素的位置之間的對應關系的信息。校正信息例如以表的形式被存儲為圖像形成元件的每個像素的值。即，參照表 (校正信息)可知，要將預定的像素顯示在整體投影區(qū)域AO的預定位置，則將各個圖像數據輸入到圖像形成元件的哪個像素即可。為了將基于位置校正處理的校正前的圖像數據表示的圖像、即應該顯示的內容圖像顯示在有效投影區(qū)域A中，運算部進行例如以下處理。運算部針對整體投影區(qū)域AO的內側且有效投影區(qū)域A的外側的各個像素(以下稱為不顯示像素)，根據校正信息，將供給與各個不顯示像素對應的圖像形成元件的各個像素的數據，設為不顯示用的掩碼數據(例如
11表示黑色的數據)。并且，針對有效投影區(qū)域A的內側的各個像素(以下稱為顯示像素)， 根據校正信息，將供給與顯示像素對應的圖像形成元件的像素的數據，設為作為該顯示像素用的像素數據而在圖像數據中規(guī)定的數據。在顯示像素的位置偏離網格狀的像素排列中的網格點位置的情況下，根據需要進行插值處理。例如，使用與顯示像素對應的圖像數據上的像素周圍的像素的像素數據，通過插值來求出與顯示像素的位置對應的像素數據。也可以預先求出在進行插值時參照的周圍像素的位置、在進行插值時與周圍像素的像素數據相乘的權重系數(插值系數)等，作為校正信息的一部分。通過對各個投影區(qū)域中包含的顯示像素和不顯示像素進行這種處理，能夠取得分擔各個投影區(qū)域的投影儀用的部分圖像數據。圖像校正部53將由運算部生成的部分圖像數據輸出給圖像輸出部M。圖像輸出部討將由圖像校正部53輸出的部分圖像數據，輸出給分擔各個部分圖像數據的投影儀。例如，圖像輸出部M將圖1所示的表示第1部分圖像Pl的部分圖像數據輸出給第1投影儀 21。以后相同，圖像輸出部M將表示第2 第4部分圖像P2 P4的部分圖像數據輸出給第2 第4投影儀22 對。本實施方式的校正信息計算裝置6使用程序使上述第2計算機進行預定的處理 (將在后面進行說明)，由此實現該功能。第2計算機與安裝有圖像控制裝置5的第1計算機是分體設置的，例如，通過總線線纜等與第1計算機電連接。在由校正信息計算裝置6 計算出校正信息后，通過總線線纜向圖像控制裝置5輸出校正信息，然后在卸下第2計算機 (校正信息計算裝置6)和攝影裝置4的狀態(tài)下，能夠通過多個投影儀2和圖像控制裝置5 顯示內容圖像P。并且，還能夠在投影儀2產生位置偏移時，再次設置第2計算機(校正信息計算裝置6)和攝影裝置4，再次計算校正信息，并更新校正信息。校正信息計算裝置6具有作為功能單元的校正信息運算部61、位置信息取得部 62、存儲部63、第1圖形位置檢測部64以及第2圖形位置檢測部65。存儲部63由第2計算機的硬盤或存儲器構成。在存儲部63中存儲有表示計算校正信息時使用的第1測定用圖像和第2測定用圖像(測定用圖案)的測定用圖像數據(元數據)。各個投影儀用的測定用圖案在多個投影儀2中可以相同，也可以相互不同。在本實施方式中，采用在多個投影儀2中相互不同的測定用圖案。測定用圖像數據也可以存儲在第1計算機的存儲部或其它存儲部中。如圖4所示，各個測定用圖案由沿i方向和j方向排列的像素的排列構成。測定用圖像數據成為在提供給各個投影儀的階段與圖像形成元件的像素的排列吻合的形式。例如，在圖像形成元件的像素的排列是1920X1080個的情況下，將測定用圖像數據作為沿i 方向排列1920個像素、沿j方向排列1080個像素的圖像的圖像數據提供給投影儀。第1投影儀用的第1測定用圖案Dll包括一個第1圖形Dlll和多個第2圖形D121。 該示例的第1圖形Dlll是矩形狀的圖形，被配置在第1測定用圖案Dll的大致中央。第2 圖形D121的形狀和尺寸中的至少一方與第1圖形Dlll不同。第2圖形D121由特征圖形構成。特征圖形是指能夠通過邊緣檢測處理或圖案識別處理等圖像處理技術進行檢測的形狀或亮度分布的圖形，是指在檢測到特征圖形時能夠求出代表特征圖形的點作為特征點的圖形。關于特征圖形，只要是能夠檢測其形狀，并且能夠確定與該形狀相關聯的位置作為特征點的位置的形狀，就沒有特殊限定。作為特征圖形的形狀，例如可以是相互交叉的線段(網狀線)或正方形等。該示例的第2圖形由點形狀(spot形狀)的特征圖形構成。例如，在特征圖形是點形狀的情況下，通過利用上述的圖像處理技術檢測點形狀的輪廓或者亮度分布，能夠求出點形狀的中心點，并將中心點作為特征點。在特征圖形是矩形狀的情況下，除了能夠與點形狀相同地將其中心點用作特征點之外，還能夠將4個頂點分別用作特征點。S卩，能夠通過半(half)轉換等檢測相當于矩形各邊的線段，能夠求出檢測到的線段的交點即4個頂點， 分別作為特征點。即，第1圖形Dlll也能夠用作包括4個特征點的特征圖形。第1圖形Dlll可以設定成與第2圖形D121相比更容易利用上述的圖像處理技術進行檢測的圖形。一般，檢測對象的圖形越大，即，特征圖形相對于測定用圖案的尺寸比率越大，越容易進行檢測。并且，檢測對象的圖形的形狀越簡單(例如矩形或圓形)，而且邊緣的亮度的跨度越明顯，越容易進行檢測。在該示例中，第1圖形Dlll是比第2圖形D121 大、并容易檢測的圖形。在該示例中，在測定用圖像數據中規(guī)定的第1圖形Dlll的色調與第2圖形D121的色調不同。第2圖形D121的色調被設定為可見度(人的錐體細胞的光吸收率)比第1圖形Dlll的色調高的色調，例如設定為綠色。第1圖形Dlll的色調被設定為例如藍色或紅色。

多個第2圖形D121在i方向按照預定的間距進行排列，在j方向也按照預定的間距進行排列。即，以各個特征圖形的特征點位于正交網格的網格點上的方式，有規(guī)律地排列多個第2圖形D121。第2 第4投影儀用的測定用圖案除了第2圖形的配置之外，與第1測定用圖案 Dll相同。即，第2投影儀用的第2測定用圖案D12包括一個第1圖形Dl 12和多個第2圖形 D122。第3投影儀用的第3測定用圖案D13包括一個第1圖形D113和多個第2圖形D123。 第4投影儀用的第4測定用圖案D14包括一個第1圖形D114和多個第2圖形D124。第1 圖形Dlll D114都是相同的形狀和尺寸。第2圖形D121 D124在各個測定用圖案中被有規(guī)律地排列成為二維狀態(tài)。在投影于相互鄰接的一對投影區(qū)域中的一對測定用圖案中，將第2圖形的配置設定成為在使相互的端部沒有位置偏移地重合的狀態(tài)下，配置在端部的第2圖形相互不重合。具體地講，將第1測定用圖案Dll和第2測定用圖案D12設定成為，從將j方向的位置對齊而沿i方向排列的狀態(tài)起相互接近，使相互的端部重合。在這種狀態(tài)下，將第2圖形 D121的配置與第2圖形D122的配置的關系設定成為，配置在第1測定用圖案Dll的端部的第2圖形D121、與配置在第2測定用圖案D12的端部的第2圖形D122沿j方向交替排列。 針對第3、第4測定用圖案D13、D14，也將第2圖形D123的配置與第2圖形D124的配置的關系設定成為滿足相同的條件。并且，將第1測定用圖案Dll和第3測定用圖案D13設定成為，從將i方向的位置對齊而沿j方向排列的狀態(tài)起相互接近，使相互的端部重合。在這種狀態(tài)下，將第2圖形 D121的配置與第2圖形D123的配置的關系設定成為，配置在第1測定用圖案Dll的端部的第2圖形D121、與配置在第3測定用圖案D13的端部的第2圖形D123沿i方向交替排列。 針對第2、第4測定用圖案D12、D14，也將第2圖形D122的配置與第2圖形D124的配置的關系設定成為滿足相同的條件。
第1測定用圖案Dll是由第1投影儀21投影的，在被投影面9的第1投影區(qū)域Al 中顯示第1投影測定用圖案T11。第1投影測定用圖案Tll包括相當于第1圖形Dlll的第 1投影圖形Till以及相當于第2圖形D121的第2投影圖形T121。同樣，第2 第4測定用圖案D12 D14是由第2 第4投影儀22 M投影的，在被投影面9的第2 第4投影區(qū)域A2 A4中顯示第2 第4投影測定用圖案T12 T14。第2 第4投影測定用圖案T12 T14包括相當于第1圖形D112 D114的第1投影圖形T112 T114以及相當于第2圖形D122 DlM的第2投影圖形T121 T124。在本實施方式中，按照上述方式來設定第2圖形的配置的關系，因而在相互的端部重疊的一對投影區(qū)域中，被顯示在端部的第2 投影圖形不會相互重合。返回圖3的說明，校正信息運算部61、位置信息取得部62、第1圖形位置檢測部64 以及第2圖形位置檢測部65，由第2計算機的CPU和存儲器等構成。校正信息運算部61將由第2圖形位置檢測部65檢測到的第2攝影圖像中的第2圖形的位置、與第2測定用圖像的元數據上的第2圖形的位置進行比較，計算表示被投影面9上的像素的位置與投影儀的圖像形成元件上的像素的位置的對應關系的校正信息。校正信息運算部61在計算校正信息時，讀出在存儲部63中存儲的測定用圖像數據，直接或者間接地輸出給各個投影儀。在此，校正信息運算部61將測定用圖像數據輸出給圖像控制裝置5的圖像校正部53。測定用圖像數據通過圖像控制裝置5被間接地輸出給各個投影儀。圖像控制裝置5根據需要將測定用圖像數據校正成為與圖像形成元件的像素的排列吻合的形式。第1 第4投影儀21 24根據所提供的測定用圖像數據，在被投影面9上投影測定用圖案。第1圖形位置檢測部64接收表示對投影在被投影面9上的測定用圖案進行拍攝而得到的攝影圖像的攝影圖像數據。第1圖形位置檢測部64對攝影圖像數據實施例如邊緣處理、圖案識別處理等，檢測被攝入攝影圖像中的測定用圖案(以下稱為攝影圖案)。第 1圖形位置檢測部64將表示檢測到的攝影圖案的圖像數據存儲在存儲部63中。第1圖形位置檢測部64進行用于檢測攝影圖案中包含的各個第1圖形的位置的第一次處理。本實施方式的第1圖形位置檢測部64利用半轉換來檢測矩形的第1圖形的 4個頂點，將表示4個頂點在攝影圖案上的位置的數據的組作為各個第1圖形的信息，輸出給第2圖形位置檢測部65。第1圖形位置檢測部64在第一次處理中第1圖形的位置檢測失敗時，向位置信息取得部62輸出表示檢測失敗的信息。第1圖形位置檢測部64在第1圖形的位置檢測失敗時，從位置信息取得部62接收第1位置信息。第1位置信息是表示用戶選擇的位置的信息， 該位置是在攝影圖案中第1圖形所處的大致位置、例如第1圖形的內側的位置。第1圖形位置檢測部64將第1位置信息表示的位置作為基準，進行用于檢測各個第1圖形的位置的第二次處理。在第二次處理中，將搜索的范圍限定在基準位置的周圍，與第一次處理相比縮小搜索的單位區(qū)域進行精細檢測。由此，不需增加運算的負荷即可提高搜索的精度，與第一次處理相比，第1圖形的位置檢測的成功率提高。第1圖形位置檢測部 64在第二次處理中第1圖形的位置檢測成功時，向第2圖形位置檢測部65輸出上述的各個第1圖形的信息。第1圖形位置檢測部64在第二次處理中第1圖形的位置檢測失敗時，向位置信息取得部62輸出表示檢測失敗的信息，并從位置信息取得部62接收第2位置信息。第2位置信息是表示用戶指定的位置的信息，該位置是在攝影圖案中第1圖形的特征點的位置(在此是指矩形的4個頂點的位置)。第1圖形位置檢測部64將接收到的第2位置信息表示的特征點的位置作為上述的各個第1圖形的信息，輸出給第2圖形位置檢測部65。這樣，第1 位置信息和第2位置信息是指由用戶輸入的、作為表示與第1攝影圖像中的第1圖形對應的位置的信息的位置信息。 在從第1圖形位置檢測部64輸出了表示第一次或者第二次處理的檢測失敗的信息時，位置信息取得部62通過圖形用戶界面(以下稱為⑶I) 66通知用戶檢測失敗，接收第 1位置信息的輸入。⑶166利用例如第2計算機的監(jiān)視器顯示表示各種處理的經過和結果的信息。用戶能夠根據各種處理的經過和結果，利用與第2計算機連接的鍵盤或鼠標等輸入裝置，根據需要進行第1、第2位置信息等的輸入。在此，位置信息取得部62從第1圖形位置檢測部64接收表示第一次或者第二次處理的檢測成功的信息，通過GUI66通知用戶檢測成功。第2圖形位置檢測部65從存儲部63讀出表示攝影圖案的圖像數據，參照從第1 圖形位置檢測部64輸出的上述的各個第1圖形的信息，進行檢測第2圖形的處理。例如， 第2圖形位置檢測部65參照從第1圖形位置檢測部64輸出的各個第1圖形的信息，推算投影有各個第1圖形的投影區(qū)域在攝影圖案中的范圍。第2圖形位置檢測部65搜索推算出的各個投影區(qū)域的范圍的內側而檢測第2圖形，求出在檢測到的各個第2圖形中規(guī)定的特征點在攝影圖案中的位置。第2圖形位置檢測部65將求出的各個特征點的位置作為對象的特征點所屬的每個投影區(qū)域的數據，輸出給校正信息運算部61。另外，也可以使用在測定用圖像數據中規(guī)定的各個第2圖形相對于第1圖形的相對位置，例如使第2圖形位置檢測部65推算攝影圖案中的各個第2圖形的大致位置。如果對推算出的大致位置的周圍進行分析來檢測各個第2圖形，則不需增加運算負荷即可進行精細檢測，能夠高精度地檢測第2圖形。并且，在針對任意一個第2圖形的檢測失敗時，也可以使用被推算為該第2圖形的大致位置的值，例如使第2圖形位置檢測部65計算在該第 2圖形中規(guī)定的特征點的位置。由此，能夠避免因第2圖形的檢測失敗而造成的處理發(fā)散。即，第2圖形位置檢測部65能夠使用第2測定用圖像的元數據上的第2圖形的位置與第1測定用圖像的元數據上的第1圖形的位置之間的位置關系，檢測第2攝影圖像中的第2圖形的位置。并且，在本實施方式中，第1圖形和第2圖形都包含在測定用圖案中， 因而容易掌握元數據中的兩者的位置關系。另外，即使包括第1圖形的第1測定用圖像和包括第2圖形的第2測定用圖像是不同的圖像，只要構成各個圖像的元數據的像素的對應關系是已知的，就能夠掌握第1圖形和第2圖形的位置關系。因此，可以將一個圖像兼做第 1測定用圖像和第2測定用圖像，也可以將不同的兩個圖像分別用作第1測定用圖像和第2 測定用圖像。這樣，第2圖形位置檢測部65能夠使用將第1位置信息或者第2位置信息表示的位置作為基準由第1圖形位置檢測部64檢測第1攝影圖像中的第1圖形的位置時的檢測結果、以及第2測定用圖像的元數據上的第2圖形的位置與第1測定用圖像的元數據上的第1圖形的位置之間的位置關系，檢測第2攝影圖像中的第2圖形的位置。校正信息運算部61將由第2圖形位置檢測部65檢測到的特征點的位置、與特征點在測定用圖像數據上的位置進行比較，計算校正信息。校正信息運算部61將計算出的校正信息輸出給 圖像控制裝置5。圖像控制裝置5將從校正信息運算裝置6輸出的校正信息存儲在圖像校正部53的存儲部中，更新校正信息。圖5是表示截止到顯示內容圖像P為止的處理流程的流程圖，圖6是表示第1位置信息的輸入方法的一例的說明圖，圖7是表示第2位置信息的輸入方法的一例的說明圖。 在圖6、圖7中省略了第2圖形的圖示。在此，說明在設置圖像顯示系統1時計算校正信息的示例。另外，通過進行下述的步驟S4 S12的處理，能夠實現本發(fā)明的圖像處理方法的一個方式。并且，通過使用使計算機進行步驟S6、S7、S10、Sll的處理的程序，能夠實現本發(fā)明的校正信息計算裝置的功能。通過使用使計算機進行步驟S6、S7、S10 S12的處理的程序，能夠實現本發(fā)明的圖像處理裝置的功能。如圖5所示，首先，相對于被投影面9配置多個投影儀2，根據需要對各個投影儀的配置進行粗調整(步驟Si)。在步驟Sl中，例如從第1 第4投影儀21 24分別向被投影面9投影表示各個投影儀的投影區(qū)域(以下稱為部分投影區(qū)域)的輪廓的配置用引導。 并且，使各個投影儀參照配置用引導進行移動，對各個投影區(qū)域在整體投影區(qū)域AO中的位置進行粗調整。在設置圖像顯示系統1之后，例如當在進行圖像顯示系統1的維護時計算校正信息的情況下，也能夠省略上述的步驟Si。然后，校正信息計算裝置6的校正信息運算部61將表示各個投影儀用的測定用圖案的測定用圖像數據提供給作為對象的投影儀。并且，使第1 第4投影儀21 24分別根據所提供的測定用圖像數據，向被投影面9投影測定用圖案(步驟S2)。在此，使第1 第4投影儀21 24并行地投影測定用圖案。然后，攝影裝置4對包括被投影面9上的投影測定用圖案Tll T14的區(qū)域進行拍攝(步驟S3)。然后，校正信息計算裝置6的第1圖形位置檢測部64進行以下處理，S卩，檢測由攝影裝置4拍攝到的攝影圖像中的測定用圖案(攝影圖案)，并檢測攝影圖案中的第1圖形的位置(步驟S4)。然后，第1圖形位置檢測部64判定檢測第1圖形的位置的第一次處理是否成功 (步驟S5)。例如，在檢測到的第1圖形的特征點的數量與在測定用圖像數據中規(guī)定的第1 圖形的形狀的特征點的數量不一致的情況下，或者在第1圖形的數量與投影儀的數量不吻合的情況下，或者在求出將檢測到的第1圖形的特征點連接而得到的圖形與在測定用圖像數據中規(guī)定的第1圖形的形狀的相關性，且相關性小于閾值的情況下，判定為在第一次處理中第1圖形的位置檢測失敗。第1圖形位置檢測部64在判定為在第一次處理中第1圖形的位置檢測成功的情況下(步驟S5 是)，將檢測到的第1圖形的位置輸出給第2圖形位置檢測部65。第1圖形位置檢測部64在判定為在第一次處理中第1圖形的位置檢測失敗的情況下(步驟S5 否)，將表示第一次處理的檢測失敗的信息輸出給位置信息取得部62。位置信息取得部62接收到表示第一次處理的檢測失敗的信息時，通過⑶166通知用戶檢測失敗，接收第1位置信息的輸入(步驟S6)。如圖6所示，例如⑶166使第2計算機的監(jiān)視器顯示相當于攝影圖案的圖像。并且，GUI66將在測定用圖像數據中規(guī)定的各個第1圖形作為圖標Ml M4，與攝影圖案重合顯示。用戶將例如第4投影測定用圖案T14中包含的第1投影圖形T114作為對象，利用鼠標將與第1投影圖形T114對應的圖標M4拖拽到在監(jiān)視器上顯示的第1投影圖形T114的內側。GUI66將表示圖標M4被拖拽到的位置的信息作為第1位置信息輸出給位置信息取得部62。位置信息取得部62通過⑶166取得用戶輸入的第1位置信息，輸出給第1圖形位置檢測部64。第1圖形位置檢測部64使用從位置信息取得部62輸出的第1位置信息，進行檢測第1圖形的位置的第二次處理(步驟S7)。第1圖形位置檢測部64與步驟S5相同地判定檢測第1圖形的位置的第二次處理是否成功(步驟S8)。第1圖形位置檢測部64在判定為在第二次處理中第1圖形的位置檢測成功的情況下(步驟S8 是)，將檢測到的第1圖形的位置輸出給第2圖形位置檢測部65。例如， GUI66接收表示第1圖形的位置檢測成功的信息，使圖6所示的監(jiān)視器上的第1投影圖形 T114的顏色變化，同時使用作為第1圖形的位置檢測到的值，使監(jiān)視器顯示第1圖形，并通知用戶第1圖形的位置檢測成功。用戶能夠根據在監(jiān)視器上與攝影圖案重合顯示的檢測結果的第1圖形，確認檢測成功與否。第1圖形位置檢測部64在判定為在第二次處理中第1圖形的位置檢測失敗的情況下(步驟S8 否)，將表示第二次處理的檢測失敗的信息輸出給位置信息取得部62。位置信息取得部62接收表示第二次處理的檢測失敗的信息，通過⑶166通知用戶檢測失敗，并且接收第2位置信息的輸入(步驟S9)。如圖7所示，用戶利用例如鼠標拖拽在監(jiān)視器上的第1投影圖形T114的內側顯示的圖標M4的各個頂點使其移動，并拖拽到監(jiān)視器上的第1投影圖形T114的各個頂點的位置。⑶166將表示圖標M4的各個頂點被拖拽到的位置的信息作為第2位置信息輸出給位置信息取得部62。位置信息取得部62通過 ⑶166取得用戶輸入的第2位置信息，輸出給第1圖形位置檢測部64。另外，即使在第1圖形位置檢測部64判定為在第一次或者第二次處理中第1圖形的位置檢測成功的情況下，實際上也有可能是檢測失敗。如上所述，用戶能夠在監(jiān)視器上確認檢測成功與否。即使在第 1圖形位置檢測部64判定為第1圖形的位置檢測成功的情況下，用戶也能夠根據自身的判斷，利用上述的方法輸入第2位置信息，將第1圖形位置檢測部64的檢測結果更新為第2 位置信息。位置信息取得部62通過⑶166取得用戶輸入的第2位置信息，輸出給第1圖形位置檢測部64。第1圖形位置檢測部64將從位置信息取得部62輸出的第2位置信息表示的特征點的位置，輸出給第2圖形位置檢測部65。第2圖形位置檢測部65使用從第1圖形位置檢測部64輸出的第1圖形的特征點的位置，檢測第2圖形的位置，并將檢測到的第2圖形的特征點的位置輸出給校正信息運算部61 (步驟S10)。校正信息運算部61將從第2圖形位置檢測部65輸出的第2圖形的各個特征點的位置作為被投影面9上的特征點的位置，并與在測定用圖像數據中規(guī)定的第2圖形的各個特征點的位置進行比較，計算表示被投影面9上的像素的位置與各個投影儀的圖像形成元件上的像素的位置的對應關系的校正信息(步驟Sll)。作為校正信息的計算方法，只要是能夠取得表示各個投影儀的圖像形成元件上的像素的位置、與被投影面9上的像素的位置的對應關系的信息的方法即可，沒有特殊限定。例如，作為校正信息的計算方法可以列舉下述的兩種方法。第一種方法是由校正信息運算部61求出將在測定用圖像數據中規(guī)定的測定用圖案轉換為攝影圖案的投影變換。通過該投影變換，對圖像數據上的各個像素的坐標(i，j) 進行轉換，計算校正信息作為每個像素的數據的表。另外，即使在求出將攝影圖案轉換為在測定用圖像數據中規(guī)定的測定用圖案的投影變換的情況下，也能夠取得表示圖像形成元件上的像素的坐標、與被投影面上的像素的位置的對應關系的校正信息。圖8是表示校正信息的計算方法的一例的說明圖。在圖8中示意地示出了在測定用圖像數據中規(guī)定的測定用圖案D的一部分、和圖像數據上的攝影圖案T。在圖8中，標號 Dl D4表示測定用圖案D中包含的特征點。以使將各個特征點順序連接而得到的線形成區(qū)域D5的輪廓的方式來選擇特征點Dl D4。在圖8中，標號Tl T4表示攝影圖案T中包含的特征點。特征點Tl T4是相當于被投影的測定用圖案D中的特征點Dl D4的特征點。將特征點Tl T4順序連接而得到的線形成區(qū)域T5的輪廓。投影變換的轉換式能夠利用下面的式(1)、式(2)表示。在式(1)、式(2)中，(X， y)表示轉換前的任意點的ij坐標(i，j)，(X，Y)表示該點的轉換目標的ij坐標(i，j)。 a h表示轉換吸收，通過求出a h，求出一個投影變換。X= (ax+by+c)/(gx+hy+l) ......(1)Y= (dx+ey+f)/(gx+hy+l) ......(2)各個特征點Dl D4的坐標是在測定用圖像數據中規(guī)定的，因此是已知的。各個特征點Tl T4的坐標通過從攝影圖案T檢測特征點而變?yōu)橐阎?。將特征點Dl的坐標代入式(1)、式O)的(X，y)，將特征點Tl的坐標代入(X，Y)，得到兩個a h的關系式。同樣，通過代入特征點D2、T2的組、特征點D3、T3的組、特征點D4、T4的組各自的坐標，關于 a h這8個未知數得到8個關系式。通過求解該八元一次方程式，能夠得到將區(qū)域D5轉換為區(qū)域T5的投影變換的a h。針對得到的投影變換，將包含于區(qū)域D5的周緣上以及內側的各個像素的坐標代入(X，y)，由此求出與區(qū)域D5的各個像素一對一對應的區(qū)域T5中的各個像素的坐標。在此，從包含于測定用圖案的特征點中選擇特征點Dl D4，求出針對形成測定用圖案D的一部分圖案的區(qū)域D5的投影變換。并且，通過選擇不同的特征點作為特征點Dl D4，使區(qū)域D5不同而求出投影變換。使用得到的投影變換，按照上面所述求出與區(qū)域D5的各個像素一對一對應的區(qū)域T5中的各個像素的坐標。以下相同地求出測定用圖案的每個部分的投影變換，并求出測定用圖案的各個像素的坐標、和與每個像素對應的攝影圖案的像素的坐標。測定用圖案的各個像素的坐標與投影儀的圖像形成元件中的像素的位置具有對應關系。并且，攝影圖案的像素的坐標與被投影面上的像素的位置具有對應關系。因此， 作為結果能夠取得表示圖像形成元件上的像素的坐標與被投影面上的像素的位置的對應關系的校正信息。例如，通過對圖像形成元件的各個像素的坐標進行上述的投影變換，求出像素 (以下稱為轉換像素)在被投影面9上的坐標。通過參照轉換像素的坐標的最大值和最小值，自動或者手動設定有效投影區(qū)域A的范圍。并且，在有效投影區(qū)域A中，從上述的有效投影區(qū)域A的范圍的設定值求出被投影面9上的各個顯示像素的坐標，作為配置與內容圖像的形式和像素數對應的像素(顯示像素)的排列的坐標。在顯示像素的坐標偏離轉換像素的坐標的情況下，也可以求出表示與周圍的轉換像素和顯示像素的距離對應的插值的權 重的插值系數，以便使用提供給位于顯示像素周圍的轉換像素的像素數據，通過插值來求出顯示像素的像素數據。由于該插值系數成為每個顯示像素的固定值，因此也可以預先作為校正信息的一部分信息保存。第二種方法是求出將攝影圖案轉換為在測定用圖像數據中規(guī)定的測定用圖案的投影變換(第一種方法的投影變換的逆轉換)。并且，例如使用攝影圖案中包含的特征點的位置來推算整體投影區(qū)域AO的范圍，并自動或者手動地設定有效投影區(qū)域A的范圍。并且， 在有效投影區(qū)域A中，從上述的有效投影區(qū)域A的范圍的設定值求出被投影面9上的各個顯示像素的坐標，作為配置與內容圖像的形式和像素數對應的顯示像素的排列的坐標。按照投影變換對得到的各個顯示像素的坐標進行轉換，由此求出與被投影面9上的各個顯示像素對應的圖像形成元件上的像素(以下稱為調制單位)的位置。在得到的調制單位的位置與實際的調制單位的位置不吻合的情況下，即兩個以上的顯示像素對應于調制單位的情況下，也可以求出插值系數，以便根據需要通過插值來求出被輸入到各個調制單位的像素數據。也可以按照上面所述，將求出的插值系數作為校正信息的一部分信息保存。返回圖5的說明，在顯示內容圖像P時，圖像控制裝置5根據表示內容圖像P的圖像數據來生成各個投影儀用的部分圖像數據，同時使用校正信息對圖像數據實施位置校正處理(步驟S12)。然后，圖像處理裝置3將通過位置校正處理被校正后的部分圖像數據提供給作為對象的投影儀。第1 第4投影儀21 24分別根據提供的部分圖像數據來投影部分圖像 (步驟S13)。由此，顯示由第1 第4部分圖像Pl P4構成的內容圖像P。由于由本實施方式的校正信息計算裝置6使用用戶輸入的位置信息來檢測第1圖形，因而第1圖形的檢測成功率提高，能夠準確求出第2圖形的位置。由于第1圖形和第2 圖形的形狀和尺寸不同，因此用戶容易將第1圖形與第2圖形進行區(qū)分。因此，能夠減少用戶搜索第1圖形的功夫，能夠減少用戶認錯第1圖形的情況的發(fā)生。因此，能夠將用戶的負擔抑制在最小限度，并準確求出被攝入攝影圖像的特征點與被投影面上的特征點的對應關系。并且，在第1圖形位置檢測部64對第1圖形的位置檢測成功時，能夠省去用戶輸入位置信息，能夠將用戶的負擔抑制在最小限度。并且，用戶只需輸入表示第1圖形的內側的位置的第1位置信息即可，因而能夠容易地指定成為第1圖形的檢測基準的位置。另外， 在第1圖形位置檢測部64檢測第1圖形的位置的第二次處理中失敗時，使用第2位置信息繼續(xù)進行處理，因而能夠提高處理的魯棒性。由于第1圖形與第2圖形的色調不同，因而用戶容易將第1圖形與第2圖形進行區(qū)分，能夠將檢索第1圖形所需要的用戶的負擔抑制在最小限度。并且，在檢測第1圖形與第2圖形中的一個圖形的位置時，能夠以不考慮另一個圖形的影響的方式實施利用了顏色差異的濾波處理。因此，能夠提高第1圖形的位置和第2圖形的位置的檢測成功率?；谏鲜隼碛桑緦嵤┓绞降膱D像處理裝置3能夠節(jié)省取得校正信息的功夫，能夠校正部分圖像的變形和相對位置的偏移。并且，本實施方式的圖像顯示系統1的便利性良好、且能夠顯示高質量的圖像。并且，本實施方式的圖像處理方法能夠將用戶的負擔抑制在最小限度，并準確求出被攝入攝影圖像的特征點與被投影面上的特征點的對應關系，因而能夠節(jié)省取得校正信息的功夫，能夠高精度地校正圖像變 形等。 另外，本發(fā)明的技術范圍不限于上述的實施方式，能夠在不脫離本發(fā)明宗旨的范圍內進行各種變形。例如，在上述的實施方式中采用了包括第1圖形和第2圖形的測定用圖像，但也可以并行使用只包括第1圖形的第1測定用圖像、和只包括第2圖形的第2測定用圖像。
權利要求
1.一種校正信息計算裝置，其特征在于，該校正信息計算裝置具有位置信息取得部，其取得用戶輸入的位置信息，作為表示第1攝影圖像中的與第1圖形對應的位置的信息，其中，所述第1攝影圖像是在將包括所述第1圖形的第1測定用圖像從投影儀投影到被投影面上時，拍攝所述被投影面上的所述第1圖形而得到的；第2圖形位置檢測部，其使用在將所述位置信息表示的位置作為基準來檢測所述第1 攝影圖像中的所述第1圖形的位置時的檢測結果、以及第2測定用圖像的元數據上的第2 圖形的位置相對于所述第1測定用圖像的元數據上的所述第1圖形的位置之間的位置關系，檢測第2攝影圖像中的所述第2圖形的位置，其中，所述第2攝影圖像是在將包括所述第2圖形的所述第2測定用圖像從所述投影儀投影到所述被投影面上時，拍攝所述被投影面上的所述第2圖形而得到的，所述第2圖形的形狀和尺寸中的至少一方與所述第1圖形不同；以及校正信息運算部，其對由所述第2圖形位置檢測部檢測到的所述第2攝影圖像中的所述第2圖形的位置、與所述第2測定用圖像的元數據上的所述第2圖形的位置進行比較，計算表示所述被投影面上的像素的位置、與所述投影儀的圖像形成元件上的像素的位置之間的對應關系的校正信息。
2.根據權利要求1所述的校正信息計算裝置，其特征在于，所述校正信息計算裝置具有第1圖形位置檢測部，該第1圖形位置檢測部檢測所述第 1攝影圖像中的所述第1圖形的位置，在所述第1圖形位置檢測部對所述第1圖形的檢測成功時，第2圖形位置檢測部使用所述第1圖形位置檢測部的檢測結果，檢測所述第2攝影圖像中的所述第2圖形的位置，在所述第1圖形位置檢測部對所述第1圖形的檢測失敗時，第2圖形位置檢測部使用利用所述位置信息檢測到的所述第1圖形的位置，檢測所述第2攝影圖像中的所述第2圖形的位置。
3.根據權利要求1或2所述的校正信息計算裝置，其特征在于，所述位置信息包括表示所述第1圖形的內側的位置的第1位置信息和表示特征點的位置的第2位置信息，其中，所述特征點規(guī)定所述第1攝影圖像中的所述第1圖形的位置，所述位置信息取得部在使用所述第1位置信息的所述第1圖形的位置檢測失敗時，取得所述第2位置信息，在所述位置信息取得部取得了所述第2位置信息時，所述第2圖形位置檢測部將所述第2位置信息表示的特征點所規(guī)定的所述第1圖形的位置，用作所述第1攝影圖像中的所述第1圖形的位置，檢測所述第2攝影圖像中的所述第2圖形的位置。
4.根據權利要求1 3中的任意一項所述的校正信息計算裝置，其特征在于，所述第1測定用圖像包括所述第2圖形，第2圖形位置檢測部將所述第1攝影圖像用作所述第2攝影圖像，檢測所述第2攝影圖像中的所述第2圖形的位置。
5.根據權利要求4所述的校正信息計算裝置，其特征在于，所述第1圖形的尺寸比所述第2圖形的尺寸大，所述第1測定用圖像中包含的所述第2圖形的數量，比所述第1測定用圖像中包含的所述第1圖形的數量多。
6.根據權利要求4或5所述的校正信息計算裝置，其特征在于，在所述第1測定用圖像中，所述第1圖形的色調與所述第2圖形的色調不同，將以所述第1圖形的色調與所述第 2圖形的色調相區(qū)分的方式拍攝所述被投影面上的所述第1測定用圖像而得到的攝像圖像用作所述第1攝影圖像。
7.一種圖像處理裝置，其特征在于，該圖像處理裝置具有權利要求1 6中的任意一項所述的校正信息計算裝置；以及圖像校正部，其參照由所述校正信息計算裝置計算出的所述校正信息來校正所述圖像數據，以使由所述投影儀根據校正后的所述圖像數據投影在所述被投影面上的圖像與校正前的所述圖像數據表示的圖像大致一致。
8.一種圖像顯示系統，其特征在于，該圖像顯示系統具有 權利要求7所述的圖像處理裝置；以及多個投影儀，其根據由所述圖像處理裝置進行校正的所述校正后的圖像數據來投影圖像。
9.一種圖像校正方法，其特征在于，該圖像校正方法具有以下步驟 將包括第1圖形的第1測定用圖像從投影儀投影到被投影面上； 拍攝所述被投影面上的所述第1圖形，取得第1攝影圖像；取得用戶輸入的位置信息，作為表示所述第1攝影圖像中的與所述第1圖形對應的位置的信息；將包括第2圖形的第2測定用圖像從所述投影儀投影到所述被投影面上，其中，所述第 2圖形的形狀和尺寸中的至少一方與所述第1圖形不同；拍攝所述被投影面上的所述第2圖形，取得第2攝影圖像；將關于所述第2攝影圖像中的所述第2圖形的位置由所述位置信息表示的位置作為基準，檢測所述第1攝影圖像中的所述第1圖形的位置；使用所述第1攝影圖像中的所述第1圖形的位置的檢測結果、以及所述第2測定用圖像的元數據上的所述第2圖形的位置相對于所述第1測定用圖像的元數據上的所述第1圖形的位置之間的位置關系，檢測所述第2攝影圖像中的所述第2圖形的位置；對所述第2攝影圖像中的所述第2圖形的位置的檢測結果、與所述第2測定用圖像的元數據上的所述第2圖形的位置進行比較，計算表示所述被投影面上的像素的位置、與所述投影儀的圖像形成元件上的像素的位置之間的對應關系的校正信息；以及參照所述校正信息對所述圖像數據進行校正，以使由所述投影儀根據校正后的所述圖像數據投影在所述被投影面上的圖像、與校正前的所述圖像數據表示的圖像大致一致。
全文摘要
一種校正信息計算裝置、圖像處理裝置、圖像顯示系統及方法，能夠將用戶負擔抑制在最小限度，準確地求出被攝入攝影圖像的特征點與被投影面上的特征點的對應關系。校正信息計算裝置(6)具有位置信息取得部(62)，取得用戶輸入的位置信息，作為表示在投影包括第1圖形的第1測定用圖像時，與拍攝被投影面上的第1圖形得到的第1攝影圖像中的第1圖形對應的位置的信息；第2圖形位置檢測部(65)，使用在將位置信息表示的位置作為基準檢測第1攝影圖像中的第1圖形的位置時的檢測結果、以及第2測定用圖像的元數據上的第2圖形的位置相對于第1測定用圖像的元數據上的第1圖形的位置之間的位置關系，檢測第2攝影圖像中的第2圖形的位置。
文檔編號H04N9/31GK102170546SQ20111004667
公開日2011年8月31日 申請日期2011年2月25日 優(yōu)先權日2010年2月26日
發(fā)明者古井志紀 申請人:精工愛普生株式會社