圖像處理裝置、投影儀和圖像處理方法
【專利摘要】圖像處理裝置包括：成像單元，配置為對包括圖像被投影在其上的目標(biāo)的區(qū)域成像以獲取成像的數(shù)據(jù)；距離測量單元，配置為基于從成像單元獲取的成像的數(shù)據(jù)計(jì)算與該目標(biāo)和該成像單元之間的距離相關(guān)聯(lián)的距離數(shù)據(jù)；平面估計(jì)單元，配置為基于該距離數(shù)據(jù)估計(jì)與該目標(biāo)對應(yīng)的平面；以及范圍指定單元，配置為基于該成像的數(shù)據(jù)產(chǎn)生與該區(qū)域相關(guān)聯(lián)的圖像數(shù)據(jù)，并且基于該圖像數(shù)據(jù)和與該平面相關(guān)聯(lián)的信息對目標(biāo)指定可投影范圍。
【專利說明】圖像處理裝置、投影儀和圖像處理方法
【技術(shù)領(lǐng)域】
[0001]在此的公開涉及圖像處理裝置、投影儀和圖像處理方法。
【背景技術(shù)】
[0002]投影儀被配置為將圖像投影到諸如屏幕的目標(biāo)上。存在一種測量從投影儀到目標(biāo)的距離并基于測量的距離調(diào)整要投影的圖像對象上的聚焦(focus)的投影儀。此外，存在另一種投影儀，其取得被投影的圖像的畫面并基于成像的畫面調(diào)整被投影的圖像上的聚焦。
[0003]例如日本公開的專利申請公布N0.6-27431號(下文中稱為“專利文獻(xiàn)I ”)公開了調(diào)整目標(biāo)上的聚焦的技術(shù)，包括致使有源傳感器用紅外線照射目標(biāo)并基于接收到的從目標(biāo)反射的光的強(qiáng)度而測量該有源傳感器和目標(biāo)之間的距離。
[0004]例如日本公開的專利申請公布N0.2006-10945號(下文中稱為“專利文獻(xiàn)2”)公開了一種調(diào)整自動聚焦的技術(shù)，包括對被投影的特定聚焦樣式成像，檢測成像的數(shù)據(jù)的所有像素的相鄰像素之間的輝度(brightness)差，計(jì)算與輝度差之和對應(yīng)的絕對值，并將聚焦透鏡移動到所述和與最大絕對值對應(yīng)的位置處。
[0005]例如日本公開的專利申請公布N0.2005-181726號(下文中稱為“專利文獻(xiàn)3”)公開了調(diào)整聚焦的焦點(diǎn)的技術(shù)(即爬坡自動聚焦技術(shù))，包括允許光學(xué)傳感器接收從被投影的圖像反射的光，從自光學(xué)傳感器輸出的電信號獲取高頻分量，計(jì)算通過對獲取的高頻分量積分獲得的圖像信號(圖像數(shù)據(jù))的對比度，并確定計(jì)算的對比度與最大值對應(yīng)的位置，作為聚焦的焦點(diǎn)。
[0006]在通過投影儀投影圖像時，可能需要在諸如屏幕的目標(biāo)的可投影范圍內(nèi)投影圖像。一些種類的投影儀配置為指定目標(biāo)的可投影范圍并對要被投影的圖像進(jìn)行圖像處理(例如放大、縮小和梯形失真校正)，以便將該圖像投影在指定的可投影范圍內(nèi)。
[0007]在專利文獻(xiàn)I中公開的技術(shù)可能能夠通過利用棱鏡移動從有源傳感器發(fā)射的紅外線的光軸并測量從有源傳感器到目標(biāo)的距離以指定目標(biāo)的外部形狀來指定目標(biāo)(例如屏幕)中的可投影范圍。
[0008]在專利文獻(xiàn)2和專利文獻(xiàn)3中公開的技術(shù)可能能夠通過取得包括目標(biāo)(例如屏幕)的圖像并基于所取得的圖像的輝度和對比度指定目標(biāo)的外部形狀而指定目標(biāo)中的可投影范圍。
[0009]但是，當(dāng)諸如演講者(presenter)或桌子的障礙物出現(xiàn)在投影儀和目標(biāo)(例如屏幕)之間時，或者當(dāng)墻壁與目標(biāo)的背面相鄰時，由于在測量的從傳感器到目標(biāo)的距離中的基于光電檢測器元件的信號輸入電平而發(fā)生的錯誤，專利文獻(xiàn)I中公開的技術(shù)可能不能指定目標(biāo)上的可投影范圍。此外，在專利文獻(xiàn)2和專利文獻(xiàn)3中公開的技術(shù)可能不能基于輝度和對比度指定目標(biāo)的外部形狀，這可能導(dǎo)致不能指定目標(biāo)中的可投影范圍。
[0010]相關(guān)技術(shù)文獻(xiàn)
[0011]專利文獻(xiàn)
[0012]專利文獻(xiàn)1:日本公開的專利申請公布N0.6-27431號[0013]專利文獻(xiàn)2:日本公開的專利申請公布N0.2006-10945號
[0014]專利文獻(xiàn)3:日本公開的專利申請公布N0.2005-181726號

【發(fā)明內(nèi)容】

[0015]本發(fā)明的至少一個實(shí)施例的一般目標(biāo)是提供能夠指定目標(biāo)的位置和在與位于目標(biāo)的背面的墻壁相鄰的目標(biāo)上的可投影范圍的信息處理裝置、具有該信息處理裝置的投影儀以及信息處理方法，它們基本上消除了由相關(guān)技術(shù)的限制和缺點(diǎn)引起的一個或多個問題。
[0016]根據(jù)一個實(shí)施例，提供了圖像處理裝置，其包括:成像單元，配置為對包括圖像被投影在其上的目標(biāo)的區(qū)域成像以獲取成像的數(shù)據(jù)；距離測量單元，配置為基于從成像單元獲取的成像的數(shù)據(jù)計(jì)算與該目標(biāo)和該成像單元之間的距離相關(guān)聯(lián)的距離數(shù)據(jù)；平面估計(jì)單元，配置為基于該距離數(shù)據(jù)估計(jì)與該目標(biāo)對應(yīng)的平面；以及范圍指定單元，配置為基于該成像的數(shù)據(jù)產(chǎn)生與該區(qū)域相關(guān)聯(lián)的圖像數(shù)據(jù)，并且基于該圖像數(shù)據(jù)和與該平面相關(guān)聯(lián)的信息指定目標(biāo)上的可投影范圍。
【專利附圖】

【附圖說明】
[0017]圖1是例示根據(jù)一個實(shí)施例的圖像處理裝置的示例的示意性配置圖；
[0018]圖2是例示圖像處理裝置的功能的例子的功能框圖；
[0019]圖3是例示每個像素輸出的像素輸出信號的亮度分量的圖；
[0020]圖4A和4C是例示校正樣式的例子的圖；
[0021]圖5是例示立體相機(jī)的主要部分的例子的放大圖；
[0022]圖6是例示平面估計(jì)單元的操作例子的流程圖；
[0023]圖7是例示圖像產(chǎn)生單元和范圍指定單元的操作的例子的流程圖；
[0024]圖8是例示對投影目標(biāo)成像的操作的例子的圖；
[0025]圖9A到9E是例示二進(jìn)制圖像處理的例子的圖；
[0026]圖10是例示在投影目標(biāo)與位于該投影目標(biāo)的背面處的墻壁相鄰的情況下對投影目標(biāo)成像的操作的例子的圖；
[0027]圖1lA到IlE是例示在投影目標(biāo)與位于該投影目標(biāo)的背面處的墻壁相鄰的情況下的二進(jìn)制圖像處理的例子的圖；
[0028]圖12A到12E是例示在投影目標(biāo)不包括邊框(frame)的情況下的二進(jìn)制圖像處理的例子的圖；
[0029]圖13是例示根據(jù)第一實(shí)施例的投影儀的示意配置圖；
[0030]圖14是例示根據(jù)第一實(shí)施例的用于指定投影目標(biāo)的過程的例子的流程圖；
[0031]圖15是例示根據(jù)第二實(shí)施例的投影儀的示意配置圖；
[0032]圖16是例示根據(jù)第二實(shí)施例的用于指定投影目標(biāo)的過程的例子的流程圖；
[0033]圖17是例示根據(jù)第三實(shí)施例采用的投影儀系統(tǒng)的示意配置圖；以及
[0034]圖18是例示根據(jù)第四實(shí)施例的投影儀系統(tǒng)的示意配置圖。
【具體實(shí)施方式】[0035]以下參考附圖描述優(yōu)選實(shí)施例。
[0036]根據(jù)一個實(shí)施例的圖像處理裝置能夠通過對成像的目標(biāo)實(shí)行圖像處理而指定目標(biāo)上的可投影范圍
[0037]圖像處理裝置的配置
[0038]圖1是例示根據(jù)一個實(shí)施例的圖像處理裝置的例子的示意配置圖。
[0039]在圖1中，圖像處理裝置100包括控制單元110、成像單元120、距離測量單元130、平面估計(jì)單元141、圖像產(chǎn)生單元142和范圍指定單元143。
[0040]圖像處理單元100配置為致使距離測量單元130基于通過對包括在其上投影圖像的目標(biāo)的區(qū)域成像而獲取的成像的圖像計(jì)算距離數(shù)據(jù)(下文中該目標(biāo)被稱為“投影目標(biāo)”)。此外，圖像處理裝置100配置為致使平面估計(jì)單元141基于計(jì)算的距離數(shù)據(jù)估計(jì)與投影目標(biāo)的位置對應(yīng)的平面。此外，圖像處理裝置100配置為致使范圍指定單元143基于估計(jì)的與該平面相關(guān)聯(lián)的信息以及由圖像產(chǎn)生單元142產(chǎn)生的圖像數(shù)據(jù)來指定投影目標(biāo)上的可投影范圍。
[0041]注意，投影目標(biāo)是圖像可投影到其外部表面的任意目標(biāo)。這樣的投影目標(biāo)的例子包括屏幕、墻壁和白板。
[0042]控制單元110配置為對圖像處理裝置100進(jìn)行整體控制。控制單元110配置為控制成像單元120等。此外，控制單元110配置為基于外部提供的信息等控制用于輸出圖像處理裝置100的圖像處理結(jié)果的處理。
[0043]成像單元120配置為在成像元件(即圖像傳感器)上形成包括投影目標(biāo)的區(qū)域的圖像并獲取成像元件的像素輸出信號作為成像數(shù)據(jù)。此實(shí)施例中的成像單元120包括立體相機(jī)和信號處理部分。該立體相機(jī)包括兩個成像透鏡和兩個成像元件。該立體相機(jī)通過兩個成像透鏡同時對投影目標(biāo)成像。
[0044]成像透鏡配置為允許投影目標(biāo)的圖像入射在成像元件上。每個成像元件包括由以柵格布置的多個光電檢測器元件(即像素)形成的光電檢測器表面。因此，經(jīng)由成像透鏡入射的包括投影目標(biāo)的圖像形成在每個成像元件的光電檢測器表面上。成像元件可以由固態(tài)成像元件、有機(jī)成像元件等形成。
[0045]信號處理部分配置為將從每個成像元件輸出的像素輸出信號輸出到距離測量單元130中。
[0046]距離測量單元130配置為測量從圖像處理裝置100到投影目標(biāo)的距離。更具體地，在此實(shí)施例中，距離測量單元130配置為基于三角法原理計(jì)算從圖像處理裝置100到投影目標(biāo)的距離。將在稍后描述的“距離數(shù)據(jù)計(jì)算操作”中描述距離測量單元130的細(xì)節(jié)。
[0047]平面估計(jì)單元141配置為基于距離測量單元130測量的距離遞歸地近似與投影目標(biāo)對應(yīng)的平面。注意，“遞歸地近似平面”表示基于多個位置近似地估計(jì)平面并隨后通過排除位于離估計(jì)的平面預(yù)定距離處的位置重新估計(jì)該平面。注意，此方法稱為回歸分析方法。將在稍后描述的“平面估計(jì)操作”中描述平面估計(jì)單元141的細(xì)節(jié)。
[0048]圖形產(chǎn)生單元142配置為基于由成像單元120取得的成像的數(shù)據(jù)產(chǎn)生包括成像的投影目標(biāo)的區(qū)域的圖像數(shù)據(jù)。將在稍后描述的“可投影范圍指定操作”中描述圖像產(chǎn)生單元142的細(xì)節(jié)。
[0049]此外，范圍指定單元143配置為基于由平面估計(jì)單元141估計(jì)的與平面相關(guān)聯(lián)的信息以及由成像單元120取得的包括包含了投影目標(biāo)的區(qū)域的成像的數(shù)據(jù)指定投影目標(biāo)上的可投影范圍。將在稍后描述的“可投影范圍指定操作”中描述范圍指定單元143的細(xì)節(jié)。
[0050]圖像處理裝置的功能性
[0051]參考圖2描述圖像處理裝置的功能的例子。
[0052]圖2例示根據(jù)該實(shí)施例的成像裝置的功能框圖。
[0053]在圖2中，控制單元110配置為將成像指令信號輸出到成像單元120以便開始圖像處理操作。
[0054]成像單元120配置為致使立體相機(jī)拍攝包括投影目標(biāo)的區(qū)域的圖像以獲取兩個成像的數(shù)據(jù)。成像單元120還配置為致使信號處理部分將獲取的兩個成像的數(shù)據(jù)輸出到距離測量單元130和圖像產(chǎn)生單元142。注意，成像的數(shù)據(jù)表示從由光電檢測器元件接收的光的對比度轉(zhuǎn)換的電信號數(shù)據(jù)(像素輸出信號)。
[0055]距離測量單元130配置為基于這兩個數(shù)據(jù)計(jì)算對應(yīng)于在投影目標(biāo)的外部表面上的多個位置(下文中簡稱為“對應(yīng)點(diǎn)”)的距離數(shù)據(jù)。距離測量單元130還配置為將計(jì)算的距離數(shù)據(jù)輸出到平面估計(jì)單元141和圖像產(chǎn)生單元142。注意，距離數(shù)據(jù)表示與從圖像處理裝置到投影目標(biāo)(即對應(yīng)點(diǎn))的距離相關(guān)聯(lián)的數(shù)據(jù)。
[0056]平面估計(jì)單元141配置為基于距離測量單元130獲取的距離數(shù)據(jù)計(jì)算回歸平面數(shù)據(jù)作為與投影目標(biāo)對應(yīng)的平面。平面估計(jì)單元141還配置為將計(jì)算的回歸平面數(shù)據(jù)輸出到圖像產(chǎn)生單元142和范圍指定單元143。注意，回歸平面數(shù)據(jù)表示與包括在通過回歸分析計(jì)算的三維空間中的多個位置的平面相關(guān)聯(lián)的數(shù)據(jù)。
[0057]圖像產(chǎn)生單元142基于成像單元120拍攝的成像的數(shù)據(jù)產(chǎn)生與包括投影目標(biāo)的區(qū)域相關(guān)聯(lián)的圖像數(shù)據(jù)。圖像產(chǎn)生單元142還配置為基于平面估計(jì)單元141計(jì)算的回歸平面數(shù)據(jù)以及距離測量單元130計(jì)算的距離數(shù)據(jù)計(jì)算凸包數(shù)據(jù)。注意，該圖像數(shù)據(jù)表示與通過對從成像元件輸出的像素輸出信號進(jìn)行數(shù)字處理而獲得的圖像相關(guān)聯(lián)的數(shù)據(jù)。此外，凸包數(shù)據(jù)表示與覆蓋了存在于平面估計(jì)單元141所估計(jì)的平面中并且由距離測量單元130計(jì)算的對應(yīng)點(diǎn)的多邊形相關(guān)聯(lián)的數(shù)據(jù)。
[0058]范圍指定單元143配置為基于平面估計(jì)單元141計(jì)算的回歸平面數(shù)據(jù)、圖像產(chǎn)生單元142產(chǎn)生的圖像數(shù)據(jù)和凸包數(shù)據(jù)指定投影目標(biāo)上的可投影范圍。范圍指定單元143還配置為致使控制單元110將與指定可投影范圍的結(jié)果相關(guān)聯(lián)的信息輸出到未示出的輸出單元。
[0059]對應(yīng)點(diǎn)提取操作
[0060]參考圖3和圖4給出距離測量單元130基于成像單元中的立體相機(jī)獲取的兩個成像的數(shù)據(jù)來提取對應(yīng)點(diǎn)的操作的描述。
[0061]圖3是例示與成像單元的立體相機(jī)拍攝的投影目標(biāo)的成像的數(shù)據(jù)相關(guān)聯(lián)的每個像素輸出的像素輸出信號的亮度分量。在圖3中，X方向表示像素(即光電檢測器元件)以柵格布置的行或列方向。同樣，Z方向表示與X方向垂直的柵格的行或列方向。
[0062]在圖3中，距離測量單元130 (見圖2)最初從立體相機(jī)獲取的兩個成像的數(shù)據(jù)之一(下文中稱為“成像的數(shù)據(jù)A”)選擇任意一個像素(即圖3中的BI)作為選擇點(diǎn)。
[0063]隨后，距離測量單元130將選擇點(diǎn)的亮度分量與在成像的數(shù)據(jù)A的選擇點(diǎn)周圍的八個像素(圖3中的B8)的亮度分量比較。在此情況下，如果這八個像素的亮度分量全部大于或全部小于選擇點(diǎn)的亮度分量，則距離測量單元130提取該選擇點(diǎn)作為特征點(diǎn)(xA, za)o此外，距離測量單元130提取具有特征點(diǎn)在中心并在一側(cè)上具有15個像素的方形范圍作為“模板塊A”。
[0064]注意，在成像單元120 (見圖2)輸出具有RGB信號的像素輸出信號(即具有與三原色對應(yīng)的紅色、綠色和藍(lán)色分量的信號)時，僅具有近似表示亮度的綠色分量的信號可以被用作要被比較的亮度分量。此外，作為選擇，距離測量單元130可以將選擇點(diǎn)的像素的亮度分量與在選擇點(diǎn)周圍的16個像素(圖3中的B16)的亮度分量比較。
[0065]隨后，距離測量單元130 (見圖2)從立體相機(jī)獲取的兩個成像的數(shù)據(jù)的另一個(下文中稱為“成像的數(shù)據(jù)B”)中選擇任意一個像素作為選擇點(diǎn)(xB，zB)。此外，距離測量單元130選擇具有該選擇點(diǎn)在中心并且在一側(cè)上具有15個像素的方形范圍作為“模板塊B”(未示出)。 [0066]隨后，距離測量單元130計(jì)算模板塊A中的亮度(或輝度)之和以及模板塊A中的亮度或輝度之和，并且距離測量單元130將這兩個和相比較。作為比較以上兩個和的方法，可以采用稍后描述的絕對距離之和(SAD)或者稍后描述的平方差之和(SSD)。
[0067]隨后，距離測量單元130選擇模板塊B中的選擇點(diǎn)(xB，zB)，在該選擇點(diǎn)(xB，zB)處這兩個和之間的差是模板塊A和模板塊B之間的比較結(jié)果中的最小值。在此情況下，當(dāng)這兩個和之間的差是預(yù)定值或更小時，成像的數(shù)據(jù)A的特征點(diǎn)(xA，zA)與成像的數(shù)據(jù)B的選擇點(diǎn)(XB，Zb)相關(guān)聯(lián),并且提取與選擇點(diǎn)(XB，Zb)相關(guān)聯(lián)的特征點(diǎn)(Xa, Za)作為對應(yīng)點(diǎn)(Xab, ZabX
[0068]注意，該預(yù)定值可以是投影目標(biāo)和圖像處理裝置之間的距離或者與景深(DOF)對應(yīng)的值?；蛘?，該預(yù)定值可以基于數(shù)值計(jì)算或?qū)嶒?yàn)而確定。
[0069]距離測量單元130將從圖像數(shù)據(jù)A提取的所有特征點(diǎn)與成像的數(shù)據(jù)B的選擇點(diǎn)相比較。在此情況下，距離測量單元130提取多個對應(yīng)點(diǎn)(下文中稱為“三維點(diǎn)組”)。
[0070]注意，采用SAD作為用于計(jì)算在和之間的比較中的絕對值差之和的方法。如果像素由相對坐標(biāo)(x，z)表示，則成像的數(shù)據(jù)A的比較值(例如亮度分量)由Ia (χ，z)表示，并且成像的數(shù)據(jù)B的比較值由Ib (χ，z)表示，并且差之和(AD)可以通過以下公式(I)獲得。
【權(quán)利要求】
1.一種圖像處理裝置，包括: 成像單元，配置為對包括圖像被投影在其上的目標(biāo)的區(qū)域成像，以獲取成像的數(shù)據(jù)；距離測量單元，配置為基于從成像單元獲取的成像的數(shù)據(jù)計(jì)算與該目標(biāo)和該成像單元之間的距離相關(guān)聯(lián)的距離數(shù)據(jù)； 平面估計(jì)單元，配置為基于該距離數(shù)據(jù)估計(jì)與該目標(biāo)對應(yīng)的平面；以及范圍指定單元，配置為基于該成像的數(shù)據(jù)產(chǎn)生與該區(qū)域相關(guān)聯(lián)的圖像數(shù)據(jù)，并且基于該圖像數(shù)據(jù)和與該平面相關(guān)聯(lián)的信息對目標(biāo)指定可投影范圍。
2.如權(quán)利要求1所述的圖像處理裝置，其中 所述范圍指定單元基于與圖像數(shù)據(jù)相關(guān)聯(lián)的包括顏色、輝度和邊緣強(qiáng)度的信息的至少一個指定該可投影范圍。
3.如權(quán)利要求1所述的圖像處理裝置，其中 所述距離測量單元基于成像的數(shù)據(jù)計(jì)算與對應(yīng)于目標(biāo)的多個位置相關(guān)聯(lián)的距離數(shù)據(jù)，以及其中 所述平面估計(jì)單元通過排除與位于和目標(biāo)對應(yīng)的位置處的該平面預(yù)定距離處的位置相關(guān)聯(lián)的距離數(shù)據(jù)，而遞歸地近似該平面。
4.一種投影儀，包括如權(quán)利要求1所述的圖像處理裝置，該投影儀包括: 投影單元，配置為投影預(yù)定樣式。
5.如權(quán)利要求4所述的投影儀，還包括: 自動聚焦單元，配置為基于該距離數(shù)據(jù)和與該平面相關(guān)聯(lián)的信息之一或者兩者來調(diào)整被投影的圖像的聚焦。
6.如權(quán)利要求4所述的記錄裝置，還包括: 投影專用圖像修改單元，配置為基于該可投影范圍校正被投影的圖像。
7.—種信息處理方法,包括: 對包括圖像被投影在其上的目標(biāo)的區(qū)域成像，以獲取成像的數(shù)據(jù)； 基于成像的數(shù)據(jù)，計(jì)算與該目標(biāo)和包括該目標(biāo)的區(qū)域被成像的位置之間的距離相關(guān)聯(lián)的距離數(shù)據(jù)； 基于該距離數(shù)據(jù)估計(jì)與該目標(biāo)對應(yīng)的平面； 基于該成像的數(shù)據(jù)產(chǎn)生與包括該目標(biāo)的區(qū)域相關(guān)聯(lián)的圖像數(shù)據(jù)；以及 基于該圖像數(shù)據(jù)和與該平面相關(guān)聯(lián)的信息對于目標(biāo)指定可投影范圍。
8.如權(quán)利要求7所述的圖像處理方法，其中 基于與圖像數(shù)據(jù)相關(guān)聯(lián)的包括顏色、輝度和邊緣強(qiáng)度的信息的至少一個指定該可投影范圍。
9.如權(quán)利要求7所述的圖像處理方法，其中 基于該成像的數(shù)據(jù)與對應(yīng)于該目標(biāo)的多個位置相關(guān)聯(lián)地計(jì)算距離數(shù)據(jù)，以及其中通過排除與位于和目標(biāo)對應(yīng)的位置處的該平面預(yù)定距離處的位置相關(guān)聯(lián)的距離數(shù)據(jù)，而遞歸地近似該平面。
【文檔編號】H04N5/74GK103733248SQ201280039739
【公開日】2014年4月16日 申請日期:2012年8月3日 優(yōu)先權(quán)日:2011年8月18日
【發(fā)明者】長谷川史裕, 住吉信一 申請人:株式會社理光