專利名稱:圖像顯示裝置、電子裝置、圖像顯示系統(tǒng)、圖像獲取方法和程序的制作方法
技術領域:
本公開涉及圖像顯示裝置、電子裝置、圖像顯示系統(tǒng)、圖像獲取方法和程序。更具體地,本公開涉及用于通過部署在后面?zhèn)鹊膱D像拾取裝置拾取圖像顯示部分的顯示面?zhèn)鹊膱D像拾取對象的圖像的機制。
背景技術:
已經(jīng)并正在積極地進行對于組合圖像顯示裝置和圖像拾取裝置以另外向圖像顯示裝置提供除了圖像顯示功能之外的功能的嘗試。例如日本專利特開No. 2005-176151 (下文稱為專利文獻1)或日本專利特開No. 2005-010407(下文稱為專利文獻幻中公開了所述類型的裝置。根據(jù)專利文獻1中公開的技術,在配置圖像顯示裝置的圖像顯示部分的像素之間提供均處于開孔的形式并且均具有十分小的透鏡的多個光透射部位。然后,通過光透射部位透射的光由多個相機拾取為圖像。在此情況下,從多個不同角度拾取觀看圖像顯示裝置的用戶的臉的圖像,并且處理所得到的多個圖像,以生成從前面捕獲用戶的圖像。根據(jù)專利文獻2中公開的技術,例如如文檔的圖15和16中所示,圖像拾取裝置基于已經(jīng)通過針對多個像素提供的一個光透射部分所透射的光來拾取圖像。
發(fā)明內(nèi)容
然而,已經(jīng)發(fā)現(xiàn),如果通過圖像顯示部分在圖像顯示部分的后面?zhèn)仁叭D像,則在光沒有透射通過圖像顯示部分的情況下拾取圖像時不出現(xiàn)的獨特噪聲出現(xiàn)。此外,在專利文獻1公開的技術中,在光透射部位十分小的情況下,在光透射部位出現(xiàn)衍射現(xiàn)象。衍射現(xiàn)象引起圖像拾取裝置形成的圖像上的模糊的出現(xiàn),并且拾取的圖像有時由于模糊的影響而缺少銳度。此外,在專利文獻1公開的技術中,對于每一開孔提供十分小的透鏡,并且此外使用高度精確的十分小的透鏡,以在圖像拾取裝置上精確地形成圖像。因此,以高生產(chǎn)成本制造圖像顯示裝置。此外,不是來自前方的用戶的臉的圖像被拾取,而是從不同角度拾取的多個圖像產(chǎn)生來自前方的圖像。因此,該圖像拾取不是實際的圖像拾取,而是將CG(計算機圖形)圖像提供給另一端,因此,圖像提供不舒服的感覺。此外,在專利文獻2公開的技術中,在光透射部分十分小的情況下,如專利文獻1 公開的技術中那樣類似地在光透射部分出現(xiàn)衍射現(xiàn)象。因此,在圖像拾取裝置形成的圖像上出現(xiàn)模糊,并且拾取的圖像有時由于模糊的影響而缺少銳度。此外,由于基于通過針對多個像素提供的一個光透射部分透射的光在圖像拾取裝置上拾取圖像,因此難以在圖像拾取裝置上會聚足夠量的光。因此,期望提供圖像顯示裝置、電子裝置、圖像顯示系統(tǒng)、圖像獲取方法和程序,其可以在通過圖像顯示部分的后面?zhèn)鹊膱D像顯示部分拾取圖像的情況下抑制出現(xiàn)在拾取的圖像上的獨特噪聲。此外,期望提供圖像顯示裝置、電子裝置、圖像顯示系統(tǒng)、圖像獲取方法和程序,其在后面部署的圖像拾取裝置通過光透射部位拾取顯示面?zhèn)鹊膱D像拾取對象的圖像時,可以抑制出現(xiàn)在顯示部分的十分小的光透射部位的衍射現(xiàn)象對圖像的影響。此外,期望提供圖像顯示裝置、電子裝置、圖像顯示系統(tǒng)、圖像獲取方法和程序,其可以低成本地生產(chǎn),并且可以容易地捕獲面對圖像顯示部分的前面的用戶的圖像。此外,期望提供圖像顯示裝置、電子裝置、圖像顯示系統(tǒng)、圖像獲取方法和程序,其中,在圖像拾取裝置上可以會聚足夠量的光。根據(jù)本公開的第一實施例,提供一圖像顯示裝置,包括圖像顯示部分,其包括在其之中陣列化并且均包括顯示元件的多個像素,所述圖像顯示部分允許用于圖像拾取的圖像拾取部分或圖像拾取裝置被布置在其后面?zhèn)龋鰣D像顯示部分還包括與圖像拾取部分或圖像拾取裝置對應的其區(qū)域中提供的光透射部分;以及噪聲抑制處理單元,適用于對于圖像拾取部分或圖像拾取裝置通過所述光透射部分獲取的圖像信息執(zhí)行用于抑制所述圖像顯示部分上的顯示圖像對拾取圖像的反射分量的反射噪聲抑制處理。簡而言之,從信號處理的方面抑制與所述顯示圖像對應的并且包括在拾取的圖像中的反射分量。優(yōu)選地,彼此同步顯示和圖像拾取的時序。具體地,所述圖像顯示裝置還包括時序控制部分,適用于在所述圖像顯示部分的顯示時序與圖像拾取部分或圖像拾取裝置的圖像拾取時序之間建立同步。注意,當建立所述同步時,優(yōu)選地,可以從信號處理的方面與對策協(xié)作地抑制與所述顯示圖像對應并且所述拾取的圖像中包括的反射分量。優(yōu)選地,所述噪聲抑制處理單元僅使用將圖像配置為處理目標的信號分量中的一些,以便與所有信號分量用作處理目標的替換情況相比,實現(xiàn)了信號處理的加速。例如,雖然各種方法可應用于這樣的“信號分量中的一些”的確定,但可以推薦的是,采用例如僅將從圖像拾取部分或圖像拾取裝置獲取的圖像信息提取的特定區(qū)域中的圖像信息用作目標的方法。這減少了處理目標面積,并且由此可以實現(xiàn)處理的加速。在此情況下,優(yōu)選地,預先確定的特定對象(例如人、人臉、人臉的特定區(qū)域等)用作特定區(qū)域,從而可以實現(xiàn)處理的加速,而不惡化感覺噪聲抑制效果。具體地,優(yōu)選地,所述噪聲抑制處理單元對于從圖像拾取部分或圖像拾取裝置通過所述光透射部分獲取的圖像信息提取的特定區(qū)域中的圖像信息執(zhí)行反射噪聲抑制處理, 并且合成對于其尚未執(zhí)行除了所述特定區(qū)域之外的背景區(qū)域的反射噪聲抑制處理的圖像信息和對于其針對所述特定區(qū)域已經(jīng)執(zhí)行反射噪聲抑制處理的圖像信息。所述噪聲抑制處理單元可以對于表示圖像拾取部分或圖像拾取裝置獲取的圖像信息的多個信號中的至少一個執(zhí)行反射噪聲抑制處理,并不對于所有的所述多個信號執(zhí)行所述反射噪聲抑制處理。在此情況下,優(yōu)選地,僅處理與亮度信息具有高相關性的信號分量 (典型地,綠色分量)或僅亮度信息,從而在防止噪聲抑制效果的減少的同時實現(xiàn)處理的加速??梢越M合使用其中僅特定區(qū)域中的圖像信息用作所述處理目標的方法和其中表示圖像拾取部分或圖像拾取裝置獲取的圖像信息的多個信號中的至少一個但不是所有用作所述處理目標的方法。根據(jù)本公開的第二實施例,提供了圖像顯示裝置,包括圖像顯示部分,其包括在其之中陣列化并且均包括顯示元件的多個像素,所述圖像顯示部分允許用于圖像拾取的圖像拾取部分或圖像拾取裝置被布置在其后面?zhèn)?,所述圖像顯示部分還包括與圖像拾取部分或圖像拾取裝置對應的其區(qū)域中提供的光透射部分;以及時序控制部分,適用于控制所述圖像顯示部分的顯示時序和圖像拾取部分或圖像拾取裝置的圖像拾取時序,以便可以抑制圖像拾取部分或圖像拾取裝置通過光透射部分獲取的圖像信息中可能包括的圖像顯示部分的顯示圖像對拾取圖像的反射分量。優(yōu)選地,彼此同步顯示和圖像拾取的時序。具體地,所述時序控制部分在所述圖像顯示部分的顯示時序與圖像拾取部分或圖像拾取裝置的圖像拾取時序之間建立同步。注意,當建立所述同步時,優(yōu)選地從信號處理的方面與對策協(xié)作地抑制拾取圖像中包括的顯示圖像所對應的反射分量。優(yōu)選地,所述光透射部分包括與圖像拾取部分或圖像拾取裝置對應的圖像顯示部分的區(qū)域中提供的多個這些光透射部位,所述圖像顯示裝置還包括衍射校正單元,適用于執(zhí)行衍射校正處理,該衍射校正處理用于抑制所述光透射部分的衍射效應要施加于所述圖像拾取部分或圖像拾取裝置通過所述多個光透射部位獲取的圖像信息的干擾。優(yōu)選地,所述圖像顯示裝置還包括波長分布測量部分,適用于測量外部光的波長分布,所述衍射校正單元參照所述波長分布測量部分測量的外部光的波長分布,以執(zhí)行所述衍射校正處理。優(yōu)選地,所述圖像顯示裝置還包括會聚部分,適用于在圖像拾取部分或圖像拾取裝置上會聚通過所述光透射部分透射的光,由此確定地在圖像拾取部分或圖像拾取裝置上會聚通過所述光透射部分透射的光。對于根據(jù)第一和第二實施例的所述圖像顯示裝置,圖像拾取部分或圖像拾取裝置被布置在所述圖像顯示部分的后面?zhèn)?,從而通過所述光透射部分拾取所述顯示面?zhèn)鹊膱D像拾取對象的圖像。因此,可以容易地獲取面對所述圖像顯示裝置的用戶的圖像。因而,通過其中從信號處理的方面抑制反射噪聲的第一方法或其中控制顯示和圖像拾取的時序的第二方法,可以抑制當圖像拾取部分或圖像拾取裝置通過所述光透射部分獲取圖像信息時可能在拾取圖像上出現(xiàn)的反射分量。此外,從信號處理的方面,通過對策可以抑制伴隨著光透射部分出現(xiàn)的衍射現(xiàn)象對圖像的影響。此時,如果將不是在圖像的整個區(qū)域中而是僅在特定區(qū)域中的信息確定為處理目標,則與其中所有信號分量用作所述處理目標的替換情況相比,可以減少所述處理時間。此外,如果配置圖像的多個信號分量中的僅一些用作所述衍射校正處理的目標, 則與其中所有信號分量用作所述處理目標的替換情況相比,可以減少所述處理時間。在此情況下,如果亮度信號分量或僅與亮度具有高相關性的信號分量(例如綠色光分量)用作衍射校正處理的目標,則可以減少處理時間。此外,可以以不劣于而是類似于于其中所有信號分量用作處理目標的情況下的精度執(zhí)行所述校正處理。此外,如果還采取根據(jù)所述光透射區(qū)域中布置光透射部分自身的方面的對策,則可以預先抑制衍射現(xiàn)象在所述光透射部分的出現(xiàn)。結果,可以更高確定度地抑制衍射現(xiàn)象對圖像的影響。此外,如果在所述圖像顯示部分與圖像拾取部分或圖像拾取裝置之間布置所述光會聚部分,則由于在圖像拾取部分或圖像拾取裝置上確定地會聚通過所述光透射部分透射的光,因此在圖像拾取部分或圖像拾取裝置上可以會聚足夠量的光。所述圖像顯示裝置可以低成本地制造,而不需要高精度的十分小的透鏡以在圖像拾取部分或圖像拾取裝置的圖像拾取平面上精確地形成圖像,并且不引起圖像拾取部分或圖像拾取裝置的制造成本的增加。結合附圖,根據(jù)以下描述和所附權利要求書,本公開的以上和其它特征和優(yōu)點將變得清楚,在附圖中,相同的參考符號表示相同的部分或要素。
圖IA至圖ID是分別示出根據(jù)第一實施例的圖像顯示裝置和圖像顯示系統(tǒng)的示意圖;圖2是示出配置圖像顯示部分的多個像素的最典型布置的示意圖;圖3A和圖:3B是示出圖像拾取裝置的布置位置與顯示的圖像之間的關系的示意圖;圖4A和圖4B是示出圖像顯示裝置的圖像拾取的示意圖;圖5A和圖5B是圖示圖像顯示部分的細節(jié)的視圖;圖6是示出反射現(xiàn)象的示意性剖面圖;圖7是根據(jù)第一實施例的圖像顯示裝置的框圖;圖8是根據(jù)第一實施例的圖像顯示系統(tǒng)的框圖;圖9是示出適合于在其中從信號處理的方面應對反射現(xiàn)象的影響的技術的情況下使用的同步控制的圖解視圖;圖10、11、12和13分別是示出反射噪聲抑制處理的第一、第二、第三和第四示例的流程圖;圖14是示出衍射現(xiàn)象對拾取的圖像的影響的示意圖;圖15A和圖15B是示出通過在圖像拾取裝置前面布置的玻璃板拾取的圖像的示例的視圖;圖16是根據(jù)第二實施例的圖像顯示裝置的框圖;圖17是根據(jù)第二實施例的圖像顯示系統(tǒng)的框圖;圖18A、圖18B和圖19是示意性示出光透射部位的不同示例的視圖;圖20A至圖20D是根據(jù)第三實施例的圖像顯示裝置和圖像顯示系統(tǒng)的示意圖;圖21是根據(jù)第三實施例的圖像顯示裝置的框圖;圖22是根據(jù)第三實施例的圖像顯示系統(tǒng)的框圖;圖23A和圖2 是示出第一至第三實施例中任何一個的圖像顯示裝置應用到的電子裝置的示例的示意圖;圖24A至圖24C是示出對圖像顯示裝置的第二修改的視圖;以及圖25A至圖25C是示出對圖像顯示系統(tǒng)的第二修改的視圖。
具體實施例方式以下參照附圖詳細描述本公開的實施例。在本說明書中,為了在不同實施例當中區(qū)分每一功能要素,將諸如A、B.......之類的字母表的大寫字母的參考符號添加給用于
功能要素的附圖標記,并且在對于這種區(qū)分不存在必要性的情況下,參考符號予以省略。這也類似地適用于附圖。實施例中描述的各種數(shù)值和材料僅是說明性的,而不旨在對它們施加限制。按以下順序給出描述1.基本構思(概述、反射噪聲抑制處理、衍射校正處理、波長分布測量、光透射區(qū)域、圖像拾取裝置、圖像顯示部分)2.第一實施例(一般配置、圖像拾取裝置的布置位置、圖像顯示部分的剖面結構、 準備用于反射噪聲抑制的配置、針對反射現(xiàn)象的對策的同步控制)3.反射噪聲抑制處理(第一示例處理面積減少方法)4.反射噪聲抑制處理(第二示例第一示例+所有信號)5.反射噪聲抑制處理(第三示例第一示例+特定信號_>與亮度信息具有相關性的信號)6.反射噪聲抑制處理(第四示例第一示例+亮度信息,第一示例至第四示例的小結)7.第二實施例(第一實施例+準備用于衍射校正的配置,針對衍射現(xiàn)象的對策原理)8.第三實施例(第二實施例+波長分布測量處理)9.電子設備的監(jiān)控裝置的替換方案10.小結(第一修改位置檢測,第二修改三維圖像顯示+位置檢測,第三修改 TV會議系統(tǒng),第四修改數(shù)字鏡)<基本構思>概述在根據(jù)下文描述的任何一個實施例的具有圖像拾取裝置的圖像顯示裝置(下文簡稱為“圖像顯示裝置”)中,在圖像顯示部分的后面部署圖像拾取裝置(或圖像拾取部分 這也類似地適用于以下描述)。此外,在與圖像拾取裝置對應的圖像顯示部分的光透射區(qū)域中提供光透射部分。因此,通過光透射部分(即通過圖像顯示部分)拾取顯示面?zhèn)鹊膱D像拾取對象的圖像。在圖像拾取裝置上會聚通過光透射部分透射的光。由于在圖像顯示部分的后面?zhèn)炔贾脠D像拾取裝置,因此圖像拾取裝置可以精確地拾取面對圖像顯示裝置的用戶的臉、眼睛、運動等的圖像。在圖像顯示部分(即顯示裝置的顯示面板)上提供通過其光到達后面的這種光透射部分,并且在光透射部分的對應位置布置圖像拾取裝置。因此,通過拾取由圖像拾取裝置可以拾取的面對圖像顯示裝置的用戶的臉、眼睛、運動等的圖像,可以精確地捕獲它們。因此,顯示裝置具有以簡單、容易且低成本的方式帶來的增加值。雖然不必要,但如果在圖像顯示部分與圖像拾取裝置之間布置光會聚部分,則確定地在圖像拾取裝置上會聚通過光透射部分透射的光。通過光會聚部分的布置,不需要高精確度的十分小的透鏡以在圖像拾取裝置上精確地形成圖像。因此,不引起圖像顯示裝置的制造成本的增加,并且在圖像拾取裝置上可以會聚足夠量的光。反射噪聲抑制處理
在任何實施例的圖像顯示裝置中,已經(jīng)發(fā)現(xiàn),如果通過圖像顯示部分在圖像顯示部分的后面?zhèn)葓?zhí)行圖像拾取,則當不通過圖像顯示部分執(zhí)行圖像拾取時不出現(xiàn)的獨特噪聲出現(xiàn)在拾取的圖像上。進行對于這種噪聲的出現(xiàn)的原因的調(diào)查,并且發(fā)現(xiàn),生成噪聲而使得來自圖像顯示部分的顯示元件的光(即顯示光)由圖像顯示部分的內(nèi)部的各個位置反射, 并且作為雜散光進入圖像拾取裝置。在以下描述中,當不通過圖像顯示部分執(zhí)行圖像拾取時不能存在而是出現(xiàn)在通過圖像顯示部分在圖像顯示部分的后面?zhèn)仁叭〉膱D像上的獨特噪聲被稱為“反射噪聲 (reflection noise),,。作為針對該反射噪聲的對策,在實施例中,提供被配置為控制圖像顯示部分的顯示時序和圖像拾取裝置的圖像拾取時序的時序控制部分。時序控制部分控制時序,從而可以抑制圖像拾取裝置通過光透射部位獲取的圖像信息中可包括的圖像顯示部分的顯示圖像的反射分量。時序控制部分將顯示時序和圖像拾取時序以很大的量彼此偏離,或者換言之,以彼此相差很大的量的幀速率異步地執(zhí)行圖像拾取和顯示以使得反射噪聲在外觀上更少識別。剛描述的方法在下文中被稱為通過視覺效應的反射噪聲抑制方法。在圖像拾取和顯示異步的情況下,如果幀速率彼此近似,則拾取的圖像的顯示圖像的反射被識別為閃爍現(xiàn)象。 例如,以低于30幀的幀速率差識別這種現(xiàn)象。相比之下,如果設置幀速率之間的差大于30 幀,則即使顯示圖像對于拾取圖像的反射出現(xiàn),這也較不可能被視覺地識別。然而,如果在幀速率的設置中不存在自由度,則不能采用通過視覺效應的反射噪聲抑制方法。因此,在實施例中,作為另一模式,從信號處理的方面校正反射噪聲對拾取圖像的影響,以實現(xiàn)圖像的高質量。該方法下文中被稱為信號處理的反射噪聲減少方法。在信號處理的反射噪聲抑制方法中,反射噪聲抑制處理單元首先參照圖像顯示部分的視頻數(shù)據(jù)以抑制(優(yōu)選地,完全移除)圖像拾取裝置拾取的圖像中的反射噪聲,由此獲取高質量的圖像。換言之,即使在圖像拾取時段期間反射顯示圖像的情況下,作為反射噪聲的這些反射分量也從視頻數(shù)據(jù)被決定,并且從拾取的圖像被抑制或移除。來自顯示元件的作為雜散光的光入射到圖像拾取裝置所引起的反射分量的圖像拾取使得產(chǎn)生反射噪聲。因此,反射噪聲的量具有對于用作反射噪聲或雜散光的源的視頻數(shù)據(jù)的相關性。因此,通過從拾取的圖像數(shù)據(jù)減去基于視頻數(shù)據(jù)計算出的校正量可以移除反射分量。當反射噪聲抑制處理應用于圖像信息時,例如,可以使用處理配置圖像信息(例如R、G和B的色彩圖像信息)的單獨分量的方法?;蛘?,可以使用通過處理這些信號分量中的一些來實現(xiàn)噪聲抑制處理時間的減少以降低噪聲抑制處理時間的方法。在前一方法中,由于噪聲抑制處理應用于配置圖像信息的所有信號分量,因此雖然處理負荷高,但噪聲抑制效果也高于后一方法。另一方面,由于后一方法將噪聲抑制處理應用于配置圖像信息的信號分量中的一些,因此雖然噪聲減少效應低于前一方法,但是減少了處理負荷。在后一方法的情況下,看上去可用的是,作為第一方法,采用不是處理圖像拾取裝置獲取的拾取圖像的整個區(qū)域中的信號分量而是部分區(qū)域中的信號分量的方法(該方法下文中被稱為“處理面積減少方法”),以實現(xiàn)噪聲抑制處理時間的減少。簡而言之,該方法從處理面積的方面將噪聲抑制處理應用于信號分量的一部分。
此外,看上去可用的是,采用并非處理所有信號分量而是表示信號分量的至少一個信號分量的方法(該方法下文中被稱為“面向特定信號的方法”),以實現(xiàn)噪聲抑制處理時間的減少。簡而言之,該方法從處理目標信號的數(shù)量的方面將噪聲減少處理應用于一些信號分量。在處理面積減少方法中,成為噪聲抑制處理的目標的圖像的區(qū)域的部分被稱為 “特定區(qū)域”,在移除“特定區(qū)域”的情況下的其余區(qū)域被稱為“背景區(qū)域”。拾取圖像被分離至“特定區(qū)域”和“背景區(qū)域”,噪聲抑制處理僅應用于“特定區(qū)域”。因此,噪聲抑制后的“特定區(qū)域”中的圖像的信號分量和對于其未應用噪聲抑制處理的“背景區(qū)域”中的圖像的信號分量彼此組合以完成處理。與全部拾取的圖像的面積相比,從拾取的圖像的全部區(qū)域分離或提取的“特定區(qū)域”具有小面積。因此,與在其中對于拾取的圖像的全部區(qū)域執(zhí)行處理的替換情況相比,減少計算量,并且減少噪聲抑制處理時間。因此,可以以增加的速度執(zhí)行處理。通過各種方法或從各種觀點可以設置“特定區(qū)域”。大致地說,兩種方法可用。根據(jù)方法中的一種,從例如拾取的圖像的中心部分或角部分的地方的方面定義特定區(qū)域。該方法下文中被稱為“面向地方的方法”。根據(jù)方法中的另一種,從如用戶預先確定的特定或顯著的目標的方面定義特定區(qū)域。該方法下文中被稱為“面向圖像拾取對象的方法”。對于后一方法,例如,由于僅對于人的圖像執(zhí)行噪聲抑制處理,因此與其中對于全部屏幕圖像執(zhí)行噪聲抑制處理的替換情況相比,可以實現(xiàn)高速處理。在面向地方的方法中,預先確定要從圖像拾取裝置獲取的圖像信息提取的地方。 或者,可以提出若干候選地方,以便用戶可以選擇它們中的一個。當要從拾取的圖像提取 “特定區(qū)域”時,面向地方的方法可以進一步定義例如矩形或圓形的形狀。此外,可以預先確定提取時的形狀,或者可以提出若干候選形狀,以便用戶可以選擇它們中的一個。面向圖像拾取對象的方法可以進一步采用從圖像拾取對象的部分的區(qū)域的方面定義特定區(qū)域的方法。該方法下文中被稱為“面向特定區(qū)域的方法”。當嘗試從包括反射噪聲的圖像移除噪聲分量以使得人的圖像更尖銳時,如果處理圖像而使得即使圖像關于整個人不尖銳,只要整個臉或表示臉的特征(例如眼睛、鼻子或嘴)的特定區(qū)域被表示為不受反射噪聲的尖銳圖像,則圖像不提供不舒服的感覺。通過處理,成為處理目標的圖像的面積比例進一步減少,因此,可以以更高速度執(zhí)行處理。此外,雖然噪聲抑制效果基本上較差,但感官噪聲抑制效果不惡化。在包括面向特定區(qū)域的方法的面向圖像拾取對象的方法中,當要從整個圖像提取指定的圖像拾取對象區(qū)域時,可以采用沿著其輪廓以保真度提取圖像拾取對象區(qū)域的方法。然而,如果考慮保真度,則當要提取圖像拾取對象的區(qū)域或圖像拾取對象的部分時,優(yōu)選的是使用預先確定的形狀(例如,比如矩形)作為區(qū)域的形狀。包括面向特定區(qū)域的方法的面向圖像拾取對象的方法被迫包括從整個圖像提取或指定圖像拾取對象或特定區(qū)域的處理,并且通常處理負荷重。相比之下,由于要從整個圖像提取的“特定區(qū)域”可以設置為預先確定的形狀,因此在提取處理中,面向地方的方法是簡單的。在采用包括面向特定區(qū)域的技術的面向圖像拾取對象的方法中,可以使得“特定區(qū)域”跟隨包括特定區(qū)域的圖像拾取對象的運動。
此外,看上去可以組合面向地方的方法和包括面向特定區(qū)域的方法的面向圖像拾取對象的方法。例如,看上去可以首先采用面向地方的方法以例如確定拾取的圖像的中心部分,但中間地改變使用的方法為面向圖像拾取對象的方法或面向特定區(qū)域的方法,以使得“特定區(qū)域”跟隨包括特定區(qū)域的圖像拾取對象的運動。此外,在圖像拾取對象伸出屏幕的中心部分的情況下,可以確定地執(zhí)行將重要性附加到包括特定區(qū)域的要注意的圖像拾取對象的噪聲抑制處理。在“面向特定信號的方法”中,噪聲抑制后的“信號分量”和對于其尚未執(zhí)行噪聲抑制處理的其余信號分量彼此組合,由此完成處理。由于確定為噪聲抑制處理的目標的信號分量的數(shù)量小于表示圖像的所有信號分量的數(shù)量,因此與其中所有信號分量確定為噪聲抑制處理的目標的替換情況相比,減少計算量。因此,減少噪聲抑制處理時間,相應地,可以以更高速度執(zhí)行處理。在面向特定信號的方法的情況下,看上去可以使用其中例如關注不同色彩(例如 R(紅色)、G(綠色)和B(藍色))的處理。此外,在此情況下,優(yōu)選的是,關注與亮度信號分量具有相對高的相關性的亮度信號分量或色彩圖像信息。在將基本或明顯的噪聲抑制效果保持在與所有信號被確定為目標的級別基本上相等級別的同時,可以期望噪聲抑制處理的加速。例如,通常已知的是,作為人的視覺感官特性,視覺感官尤其對于亮度或對比度具有高靈敏度,亮度分量與圖像的綠色分量具有高的相關性。因此,看上去可以使用利用人對亮度的這種靈敏度的噪聲抑制處理。具體地,僅對于拾取的圖像的亮度分量執(zhí)行噪聲抑制處理。確認的是,根據(jù)如上所述那樣關注人的視覺感官的這種特性的方法,當相比于關于其針對配置圖像信息的所有信號分量執(zhí)行噪聲抑制處理的圖像時,已經(jīng)執(zhí)行了噪聲抑制處理的圖像從反射噪聲的視角展現(xiàn)了并不更差的抑制效果。此外,與其中對于所有信號分量執(zhí)行噪聲抑制處理的替換情況相比,可以減少處理時間。簡而言之,可以實現(xiàn)噪聲抑制處理的加速。在實施例中,從處理速度、噪聲抑制精度等的觀點,使得用戶可以選擇噪聲抑制處理的各種方法中的期望的一種。當通過參照視頻數(shù)據(jù)從拾取的圖像抑制反射噪聲時,從拾取的圖像數(shù)據(jù)減去例如基于視頻數(shù)據(jù)計算出的校正量。然而,在顯示和圖像拾取時序彼此不同步的情況下,雖然這不是不可能,但用于減法的處理或控制是復雜的。例如,考慮強迫使用用于不僅執(zhí)行視頻數(shù)據(jù)或拾取的圖像數(shù)據(jù)的傳遞而且還執(zhí)行用于顯示或圖像拾取的時序信息的傳遞的功能,或使用用于控制這種顯示或圖像拾取的功能。因此,在實施例中,圖像顯示裝置和圖像拾取裝置協(xié)作地處理,從而從信號處理的方面可以校正反射噪聲對拾取的圖像的干擾。“協(xié)作地處理”意味著控制圖像顯示裝置的顯示時序和圖像拾取裝置的圖像拾取時序,從而可以抑制圖像顯示部分的顯示圖像的反射分量(其可包括在圖像拾取裝置通過光透射部分獲取的圖像信息中)。優(yōu)選地,圖像顯示裝置的顯示時序和圖像拾取裝置的圖像拾取時序彼此同步。當要建立同步時,可以任意地確定圖像顯示裝置和圖像拾取裝置中的哪一個用作主件(master)而另一個用作從件(slave)。 基本上,較好的是,與圖像顯示裝置的顯示時序一致地開始圖像拾取裝置的圖像拾取。
通過在時序之間建立同步,可以容易地執(zhí)行拾取的圖像數(shù)據(jù)上顯示圖像分量的移除,并且可以獲取高質量的拾取的圖像。例如,在圖像顯示裝置的顯示時段內(nèi)的特定時刻 (即,對于每幀在相同時刻)正常地(即,對于每幀)開始圖像拾取裝置的圖像拾取。通過以此方式開始圖像拾取裝置的圖像拾取,即使在與顯示圖像或視頻數(shù)據(jù)具有相關性的反射分量存在于圖像拾取裝置獲取的圖像中的情況下,也可以容易地抑制或移除分量。例如,通過在顯示裝置的顯示時段內(nèi)的特定時刻開始圖像拾取,可以有效地移除顯示圖像對拾取的屏幕圖像的反射,并且可以獲取高質量的拾取圖像。在圖像顯示裝置中或在圖像拾取裝置或利用圖像拾取裝置獲取的圖像的后級的裝置中可以提供反射噪聲抑制處理單元。在圖像顯示裝置中提供反射噪聲抑制處理單元的情況下,圖像拾取裝置獲取的拾取的圖像可以傳送到圖像顯示裝置。圖像顯示裝置可以根據(jù)顯示時序估計可能包括在拾取的圖像數(shù)據(jù)中的并且與視頻數(shù)據(jù)具有相關性的反射噪聲的量,并且移除反射分量。在圖像拾取裝置中或在圖像拾取裝置后級的裝置中提供反射噪聲抑制處理單元的情況下,顯示圖像(即視頻數(shù)據(jù))的信息可以傳送到圖像拾取裝置或后級裝置。圖像拾取裝置或后級裝置可以根據(jù)圖像拾取時序估計可能包括在拾取的圖像數(shù)據(jù)中的并且與視頻數(shù)據(jù)具有相關性的反射噪聲的量,并且移除反射分量。例如,反射噪聲抑制處理單元可以作為具有輸入和輸出部分并從CPU(中央處理單元)和存儲器配置的電路而被提供在圖像顯示裝置或并入了圖像顯示裝置的電子裝置中?;蛘?,在圖像顯示裝置和圖像拾取裝置彼此分離地或可移除地配置的情況下,在圖像顯示裝置的后面部署的作為電子裝置的示例的圖像拾取裝置中可以提供反射噪聲抑制處理單元。另一方面,在其中外圍裝置(例如個人計算機或電子計算機)連接到圖像顯示裝置的圖像顯示系統(tǒng)中,在外圍裝置中可以提供反射噪聲抑制處理單元的功能。衍射校正處理在實施例的圖像顯示裝置中,在圖像顯示部分的后面部署圖像拾取裝置,并且通過光透射部分(即圖像顯示部分)拾取顯示面?zhèn)鹊膱D像拾取對象的圖像。在配置光透射區(qū)域的光透射部分的開孔較小的情況下,如果通過開孔拾取圖像,則衍射現(xiàn)象產(chǎn)生。結果,圖像拾取裝置上形成的圖像有時經(jīng)受模糊或缺少銳度。作為針對該情況的對策,在實施例中,圖像顯示裝置和圖像顯示系統(tǒng)可以包括衍射校正單元,以從信號處理的方面消除在光透射部分出現(xiàn)的衍射現(xiàn)象的干擾。優(yōu)選地,光透射部分自身的方面(例如形狀、大小、分布等)可以用于抑制衍射現(xiàn)象的出現(xiàn)。衍射校正單元對于拾取的圖像信息和通過圖像拾取裝置獲取的其它圖像數(shù)據(jù)執(zhí)行針對在配置光透射區(qū)域的光透射部分產(chǎn)生的衍射的校正。順便提及,“其它圖像數(shù)據(jù)”例如是用戶等使用圖像拾取裝置的圖像拾取所獲得的并用于在圖像顯示部分上顯示的圖像數(shù)據(jù)。在以下描述中,拾取的圖像信息和“其它圖像數(shù)據(jù)”可以僅統(tǒng)稱為“圖像數(shù)據(jù)”。例如,沿著圖像顯示部分的第一方向和第二方向循環(huán)地提供光透射部分的一些或所有開孔。此時,在用Ltrt表示沿著第一方向的光透射部分的每一光透射部位的長度并且用Ppjri表示沿著第一方向的各像素的間距的情況下,優(yōu)選地將第一方向上的線路孔徑比例 LtrtAV1設置為滿足LtrtAV1 ^0.5,并且更優(yōu)選地,設置為滿足LtrtAV1彡0.8。線路孔徑比例LteViPpjri不具體受限,只要可以形成光透射部分。在此,當在第一方向上投射光透射部位時,沿著第一方向的光透射部位的長度Ltrt表示與光透射部位的形狀對應的線段的每一周的長度。同時,沿著第一方向的像素的間距Ppjri表示沿著第一方向的像素的每一周的長度。同時,在用Ltrf表示沿著第二方向的光透射部位的長度并且用Ppx_2表示沿著第二方向的像素的間距的情況下,優(yōu)選地將第二方向上的線路孔徑比例Lte_2/Ppx_2設置為滿足 Ltr_2/Ppx_2彡0. 5,并且更優(yōu)選地,設置為滿足Lte_2/Ppx_2彡0. 8。線路孔徑比例Lte_2/Ppx_2不具體受限,只要可以形成光透射部位。在此,當在第二方向上投射光透射部位時,沿著第二方向的光透射部位的長度Ltrf表示與光透射部位的形狀對應的線段的每一周的長度。同時, 沿著第二方向的像素的間距?『2表示沿著第二方向的像素的每一周的長度。第一方向和第二方向可以彼此垂直,或可以根據(jù)場合需要以90度以外的角度彼此相交。在后一情況下,不僅在圖像顯示部分的第一方向和第二方向上而且還在第三方向、
第四方向.......上有時周期性地提供一些或所有的光透射部位。在上述這種情況下,至
少沿著來自各方向當中的兩個方向的光透射部位的長度和沿著至少兩個方向的像素的間距優(yōu)選地滿足上述關系,具體地,比例等于或高于0. 5倍(更優(yōu)選地等于或高于0. 8倍)的關系。衍射校正單元的衍射校正處理可以是使用用于估計圖像拾取裝置拾取的圖像的銳度和分辨率的表示空間頻率特性的響應函數(shù)和使用以響應函數(shù)的絕對值作為指數(shù)值表示幅度的調(diào)制傳遞函數(shù)(MTF)的處理。如公眾所知,通過對點圖像或線圖像強度分布進行傅立葉變換以確定響應函數(shù)。圖像拾取裝置通過光透射部分拾取圖像時伴隨著圖像出現(xiàn)的分辨率下降(即圖像的模糊程度)的影響對應于光透射部位(即,十分小的開孔)的布置圖案(pattern)。例如,從MTF的高頻分量的量級可以估計分辨率下降(即,圖像的模糊程度)的影響。相應地,如果參照光透射部位的布置圖案以將逆傅立葉變換應用于拾取的圖像, 則可以恢復從其消除了由于圖像拾取裝置通過光透射部位的圖像拾取而伴隨著圖像出現(xiàn)的分辨率下降的影響的圖像。換言之,通過使用對應于光透射部位的布置狀態(tài)的響應函數(shù) (在此,MTF)對圖像拾取裝置獲取的圖像信息進行傅立葉變換,然后對傅立葉變換獲得的信息進行逆傅立葉變換,可以執(zhí)行衍射校正處理。優(yōu)選地,例如,基于布置圖案(例如光透射部位的形狀、大小、分布等)計算的MTF 逆變換處理(即圖像恢復處理)被應用于圖像信息。在MTF逆變換處理中,MTF形狀數(shù)據(jù)用于對于拾取的圖像的信號分量執(zhí)行MTF逆變換處理。在此情況下,在衍射校正單元中可以提供存儲部分,從而在存儲部分中預先存儲表示光透射部位的形狀、大小、分布等的MTF形狀數(shù)據(jù)。應用用于傅立葉分析表示圖像的信號的傅立葉變換方法可以指定響應函數(shù)。上述衍射校正處理的方法僅是校正圖像拾取裝置通過光透射部分拾取圖像時伴隨著圖像出現(xiàn)的分辨率下降(即圖像的模糊程度)的影響的方法的示例。因此,可以應用任何其它的已知方法。衍射校正單元可以作為具有輸入和輸出部分并且例如從CPU和存儲器配置的電路而被提供在圖像顯示裝置或并入了圖像顯示裝置的電子裝置中。或者,在圖像顯示裝置和圖像拾取裝置彼此分離地或可移除地配置的情況下,在圖像顯示裝置的后面部署的作為電子裝置的示例的圖像拾取裝置中可以提供衍射校正單元。另一方面,在其中外圍裝置 (例如個人計算機或電子計算機)連接到圖像顯示裝置的圖像顯示系統(tǒng)中,在外圍裝置中可以提供衍射校正單元的功能。當MTF逆變換處理應用于圖像信息時,對于例如比如配置圖像信息的R、G和B的色彩圖像信息的信號分量中的每一個執(zhí)行處理的方法或對于這些信號分量中的一些執(zhí)行處理以實現(xiàn)校正處理時間的減少的另一方法可以是可應用的。這是基于與上述反射噪聲抑制處理中應用的構思相似的構思??梢詼蕚涓鞣N噪聲抑制處理方法,以使得用戶可以從處理速度、噪聲抑制精度等的觀點選擇期望的方法中的一個。注意,可以基本上任意地確定首先要執(zhí)行反射噪聲抑制處理和衍射校正處理中的哪一個。例如,在首先執(zhí)行反射噪聲抑制處理然后執(zhí)行衍射校正處理的情況下,不存在特殊缺點。另一方面,在首先執(zhí)行衍射校正處理然后執(zhí)行反射噪聲抑制處理的情況下,反射圖像不包括衍射分量。因此,如果首先對于經(jīng)受衍射+反射的原始圖像執(zhí)行衍射校正,則由于對于無衍射+反射分量執(zhí)行衍射處理,因此缺陷出現(xiàn)。相應地,根據(jù)綜合判斷,更好的是首先執(zhí)行反射噪聲抑制處理然后執(zhí)行衍射校正處理。波長分布測量實施例的圖像顯示裝置和圖像顯示系統(tǒng)可以被配置為它們還包括被配置為測量外部光的波長分布的波長分布測量部分。通過采用剛描述的這種配置,在衍射校正處理中, 可以不僅考慮光透射部位的形狀、大小和分布而且還可以考慮外部光的波長分布。因此,可以期望MTF逆變換處理的精度的增強,并且無論外部光如何,即無論外部照明環(huán)境如何,都可以獲得最佳圖像。此外,也可以實現(xiàn)通過圖像拾取裝置獲取的圖像信息的精度的增強,例如比如色彩信息的增強??梢詮墓饨邮赵O備(例如比如光電傳感器)配置波長分布測量部分。對于波長分布測量部分的控制,例如,在圖像顯示裝置或合并圖像顯示裝置的電子裝置中可以提供具有輸入和輸出部分并且從CPU和存儲器配置的控制電路。另一方面,在其中外圍裝置(例如個人計算機或電子計算機)連接到圖像顯示裝置的圖像顯示系統(tǒng)中,在外圍裝置中可以提供波長分布測量部分的控制功能。注意,在衍射的模糊很少的情況下,不必執(zhí)行用于校正或補償拾取的圖像的衍射的處理。然而,即使在此情況下,如果進一步提供被配置為測量外部光的波長分布的波長分布測量部分,則,例如,衍射校正單元可以通過拾取的圖像的波長分布加權圖像拾取裝置獲取的圖像。結果,可以期望通過圖像拾取裝置獲取的圖像信息的精度的增強。光透射區(qū)域在實施例的圖像顯示裝置的圖像顯示部分上提供的光透射區(qū)域可以形成在對應于圖像拾取裝置被布置的位置的位置,至少在位于圖像拾取裝置的圖像拾取面前方的位置。然后,光透射區(qū)域包括至少一個在其形成了十分小的開孔(表示顯示面?zhèn)鹊膱D像拾取對象的圖像的光要穿過該開孔)的光透射部位,優(yōu)選地包括多個光透射區(qū)域。在此,在其中在多個像素中提供光透射部位的第一配置示例中可以配置光透射區(qū)域?;蛘?,在其中在至少多于一個像素的周圍,優(yōu)選地在至少兩個或更多個像素的周圍提供光透射部位的第二配置示例中可以配置光透射區(qū)域。在此情況下,光透射部位可以被完全提供在一個像素或多個像素周圍或可以被部分地提供在一個像素或多個像素周圍,尤其是沿著來自對應于像素邊界的各側當中的兩個或更多個鄰近側。在后一種情況下,優(yōu)選地在像素的整個外圍的多于四分之一的長度上提供光透射區(qū)域,即,沿著兩個鄰近側,優(yōu)選地在每一側的多于一半的長度上提供光透射區(qū)域。在剛描述的這種配置中,在圖像拾取裝置上會聚穿過在多個像素中提供的光透射部位的光,或在圖像拾取裝置上會聚穿過在至少多于一個像素的周圍提供的光透射部位的光。相應地,對于在圖像拾取裝置上精確地形成圖像不需要高精度的十分小的透鏡,并且不弓I起具有圖像拾取裝置的圖像顯示裝置的制造成本的增加。此外,在圖像拾取裝置上可以會聚足夠量的光。盡管在第一配置示例的情況下,對于多個像素提供光透射部位,優(yōu)選地,例如對于多于三個的像素提供光透射部位,但不限于此。此外,配置光透射區(qū)域的光透射部位的外部形狀可以基本上任意地確定,并且可以具有例如矩形或正方形的四邊形狀。在第二配置示例的情況下,光透射區(qū)域包括在至少多于一個像素的周圍(優(yōu)選地,例如,在多于三個像素的周圍,但不限于此)提供的光透射部位。此外,可以基本上任意地確定光透射部位的外部形狀。例如,可以以“L”形狀提供光透射部位,以使得沿著來自對應于像素邊界的各側當中的兩個鄰近側提供它。或者,可以以U形狀提供光透射部位,以使得沿著來自對應于像素邊界的各側當中的三個鄰近側提供它。或者,可以以正方形框架形狀提供光透射部位,以使得沿著對應于像素邊界的所有側提供它?;蛘?,可以以曲線狀的形狀提供光透射部位,以使得沿著對應于像素邊界的所有側提供它,并且除此之外在像素中的相鄰像素之間公共地提供它。或者,可以在包括圖像拾取裝置中提供的透鏡的投射圖像的像素組的周圍提供光透射部位。圖像拾取裝置在實施例中的圖像顯示裝置中,雖然在圖像顯示部分的后面?zhèn)瓤梢圆贾脠D像拾取裝置,但優(yōu)選地在圖像顯示部分的中心部分布置圖像拾取裝置。圖像拾取裝置的數(shù)量可以是一個或多個??梢允褂冒ɡ鏑CD (電荷耦合器件)器件或CMOS (互補金屬氧化物半導體)傳感器的已知的投放至市場的固態(tài)圖像拾取裝置配置圖像拾取裝置。實施例中的圖像顯示裝置優(yōu)選地包括在圖像顯示部分與圖像拾取裝置之間提供的、用于在圖像拾取裝置上的光透射區(qū)域中會聚已經(jīng)穿過光透射部位的光的光會聚部分。 可以使用已知透鏡配置光會聚部分。透鏡可以從雙凹透鏡、平凸透鏡和半月凸透鏡中的一個或從反射鏡或菲涅爾透鏡被配置,或可以從凸透鏡的組合被配置,或可以另外從凹透鏡和任何這些凸透鏡的組合被配置。使用例如市場上的攝像機或攝像頭的已知固態(tài)圖像拾取裝置可以配置圖像拾取裝置。在使用這種固態(tài)圖像拾取裝置的情況下,光會聚部分和圖像拾取裝置彼此集成。在實施例中的圖像顯示裝置中,優(yōu)選地,濾色器不布置在進入圖像顯示部分,穿過光透射部位,離開圖像顯示部分并且進入光會聚部分的光的光路上。此外,優(yōu)選的是,在光路上不布置例如微透鏡的圖像形成系統(tǒng)。圖像顯示部分用于實施例的圖像顯示裝置的圖像顯示部分可以是其中在像素之間的帶隙之間 (具體地,在像素的顯示部分之間)可以形成光透射部位的任何圖像顯示部分。更具體地, 圖像顯示部分可以是其中其亮度響應于施加至其的電壓或流過其電流而變化的光電元件用作像素的顯示元件的任何圖像顯示部分。例如,其亮度響應于施加至其的電壓而變化的光電元件的代表性元件是液晶顯示元件。同時,其亮度響應于流過其的電流而變化的光電元件的代表性元件是有機電致發(fā)光 (下文被稱為有機EL)元件,其可以是有機發(fā)光二極管(OLED)。使用后一種有機EL元件的有機EL顯示裝置是其中自發(fā)光光發(fā)射元件用作像素的顯示元件的自發(fā)光顯示裝置。同時, 配置液晶顯示裝置的液晶顯示元件控制光從外部(即從前面或后面)的透射。在前一種情況下,光可以是外部光。在液晶顯示裝置中,每一像素不包括光發(fā)射元件。近年來,例如,對作為平板顯示裝置(FP顯示裝置)的有機EL顯示裝置的興趣已經(jīng)增加。雖然液晶顯示(LCD)裝置作為FP顯示裝置目前占據(jù)主流,但其不是自發(fā)光裝置, 而是使用這些構件作為背燈和極化板。因此,LCD裝置具有的問題在于FD顯示裝置具有增加的厚度以及亮度不足夠。另一方面,有機EL裝置是自發(fā)光裝置,并且原理上不需要這些構件作為背燈。因此,與LCD裝置相比,有機EL裝置具有的大量優(yōu)點在于厚度可以容易地減少并且亮度高。具體地,在其中在每一像素中布置開關元件的有源矩陣型有機EL顯示裝置中,通過使得每一像素保持在光發(fā)射狀態(tài)下可以抑制電流消耗低。此外,通過有源矩陣型有機EL顯示裝置,可以相當容易地執(zhí)行屏幕大小的增加和清晰度的增加。因此,有源矩陣型有機EL顯示裝置的開發(fā)在各個公司進行,并且期望有源矩陣型有機EL顯示裝置成為下一代FP顯示裝置的主流。除了有機EL顯示裝置之外,還有自發(fā)光顯示裝置、等離子體顯示裝置(PDP 等離子體顯示板)、場發(fā)射顯示裝置(FED)、表面導電電子發(fā)射器顯示裝置(SED)等是可用的。此外,提到的顯示裝置可以應用于實施例中的圖像顯示部分。然而,在實施例中的圖像顯示裝置中,圖像顯示部分的光發(fā)射元件優(yōu)選地是自發(fā)光光發(fā)射元件,并且更優(yōu)選地是有機EL元件。在從有機EL元件配置光發(fā)射元件的情況下, 配置有機EL元件的有機層(即光發(fā)射部分)包括以有機光發(fā)射材料制成的光發(fā)射層。具體地,例如,可以從空穴傳送層、光發(fā)射層和電子傳送層的層疊結構或空穴傳送層和還用作電子傳送層的光發(fā)射層的另一層疊結構配置提到的有機層。或者,可以從空穴注入層、空穴傳送層、光發(fā)射層、電子傳送層和電子注入層的另一層疊結構配置有機層。在電子傳送層、光發(fā)射層、空穴傳送層和空穴注入層形成為“前后(tandem)單元” 的情況下,有機層可以具有其中第一前后單元、連接層和第二前后單元層疊的兩級的前后結構?;蛘?,有機層可以其中三個或更多個前后單元層疊的三個或更多個級的另一前后結構。在這些情況下,如果在不同前后單元當中使得待發(fā)射的光的色彩不同,比如紅色、綠色和藍色,則可以獲得通常發(fā)射白光的有機層。在厚度上可以優(yōu)化有機層,從而,例如,從光發(fā)射層發(fā)射的光在第一電極與第二電極之間諧振,并且光的部分通過第二電極提取到外部。在從有機EL元件形成實施例中的圖像顯示裝置的圖像顯示部分的光發(fā)射元件的情況下,圖像顯示裝置可以形成為其包括第一襯底、第一襯底上提供的驅動電路、覆蓋驅動電路的層間絕緣層、層間絕緣層上提供的光發(fā)射部分,光發(fā)射部分上提供的保護層、保護層上提供的光阻擋層、以及覆蓋保護層和光阻擋層的第二襯底。此外,圖像顯示裝置可以形成為每一像素包括驅動電路和光發(fā)射部分;在光阻擋層中提供開孔;從開孔和位于開孔之下的保護層的部分以及層間絕緣層的部分配置光透射部位;并且在與第二襯底不相對的第一襯底的面上布置圖像拾取裝置。在此,作為像素的陣列,例如可以應用長條陣列、對角線陣列、三角形陣列和矩形
17陣列。同時,作為第一襯底或第二襯底,各種襯底是可應用的,包括高張力點玻璃襯底、蘇打玻璃(Na2O · CaO · SiO2)襯底、硼硅酸鹽(Na2O · B2O3 · SiO2)襯底、鎂橄欖石(2Mg0 · SiO2) 襯底、鉛玻璃(Na2O Wb(^SiO2)襯底、具有在其表面上形成的絕緣膜的各種玻璃襯底、石英襯底、具有在其表面上形成的絕緣膜的石英襯底、具有在其表面上形成的絕緣膜的硅襯底、 或有機聚合體襯底可以被應用。有機聚合體襯底可以通過聚甲基丙烯酸甲酯(PMMA)、聚乙烯醇(PVA)、聚乙烯苯酚(PV)、聚醚砜(PES)、聚酰亞胺、聚碳酸酯、或聚對苯二甲酸乙二醇酯(PET)制成。有機聚合體襯底可以具有例如塑料膜、塑料片或以聚合體材料制成并具有柔性的塑料襯底之類的聚合體材料的形式。例如,可以從一個或多個薄膜晶體管(TFT)等配置驅動電路。作為用于層間絕緣膜的材料,絕緣樹脂(例如基于SiA的材料、基于SIN的材料和比如Si02、BPSG、PSG、BSG、 AsSG、PbSG、SiON、SOG(旋轉玻璃)的聚酰亞胺)、低熔化玻璃和玻璃貼膏可以單獨地或以合適的組合被使用。在從有機EL元件配置像素的情況下,光發(fā)射部分如上所述。作為用于配置保護膜的材料,優(yōu)選地對于從光發(fā)射部分發(fā)射的光是透明的并且精細得水不能穿透它的材料。具體地,例如,可以使用無定形硅(α-Si)、無定形金剛砂(a-SiC)、無定形硅氮化物 (α -SihNx)、無定形硅氧化物(α -SipyOy)、無定形碳(α -C)、無定形氧氮化物(α -SiON) 或Α1203??梢詮囊阎牧吓渲霉庾钃跄?黑矩陣)。根據(jù)場合需要,可以提供濾色器。從均包括顯示元件或光發(fā)射元件的多個像素單元形成圖像顯示部分。如果用 (Μ,N)表示這些像素單元的數(shù)量,則可以使用用于圖像顯示的若干分辨率,例如VGA(640, 480),S-VGA (800,600)、XGA (1024,768) ,APRC (1152,900) ,S-XGA (1280,1024) ,U-XGA (1600, 1200)、HD-TV(1920,1080)和 Q-XGA(2048,1536)以及(1920,1035), (720,480),(854,480) 和(1觀0,960)。然而,像素單元的數(shù)量不限于以上給出的任何值。在執(zhí)行色彩顯示的圖像顯示部分中,例如,從包括用于顯示紅色(R)色彩分量的紅色像素、用于顯示綠色(G)色彩分量的綠色像素和用于顯示藍色(B)色彩分量的藍色像素的三個不同像素配置一個像素單元?;蛘?,可以從四個或更多個不同像素(例如除了上述三個不同像素之外,用于顯示白光以增強亮度的像素、用于顯示用于擴展色彩再現(xiàn)范圍的一個或多個互補色彩的一個或多個像素、用于顯示用于擴展色彩再現(xiàn)范圍的黃色的像素和/或用于顯示用于擴展色彩再現(xiàn)范圍的黃色和青色的像素)配置一個像素單元。實施例中的圖像顯示裝置是電子裝置的示例,并且可以被配置為圖像拾取裝置可以被布置在顯示板的后面?zhèn)?。圖像拾取裝置可以可移除地安裝在圖像顯示裝置上,或可以固定地安裝在圖像顯示裝置上。例如,可以使用圖像顯示裝置作為配置個人計算機的監(jiān)視器裝置的替換或作為筆記本類型個人計算機中包括的監(jiān)視器裝置的替換。此外,圖像顯示裝置可以用作便攜式電話機、個人數(shù)字助理(PDA)或游戲機或過去的電視接收機中包括的監(jiān)視器裝置的替換。<第一實施例準備用于反射噪聲抑制處理>一般配置圖IA至圖ID以及圖2示出根據(jù)第一實施例的圖像顯示裝置和圖像顯示系統(tǒng)的構思。更具體地,圖IA是示出從前面觀看的圖像顯示裝置的示意圖,圖IB是示出從側面觀看的圖像顯示裝置的示意圖。此外,圖IC是示出從前面觀看的圖像顯示系統(tǒng)的示意圖,圖ID 是示出從側面觀看的圖像顯示系統(tǒng)的示意圖。圖2是示意性示出配置圖像顯示部分的多個像素的最典型布置的視圖。首先參照圖IA和圖1B,第一實施例的圖像顯示裝置IA包括圖像顯示部分10、圖像顯示部分10的后面?zhèn)炔贾玫膱D像拾取裝置20、圖像顯示部分10中形成的光透射部分
30、以及被配置為在圖像拾取裝置20上會聚通過光透射部分30透射的光的光會聚部分21。 在圖像顯示裝置IA的后面上可以可移除地配置圖像拾取裝置20。與圖像拾取裝置20對應的圖像顯示部分10的部分形成為光透射區(qū)域12。例如,至少與圖像拾取裝置20的有效圖像拾取區(qū)域對應的圖像顯示部分10的部分形成為光透射區(qū)域12。在光透射區(qū)域12小于圖像拾取裝置20的有效圖像拾取區(qū)域的情況下,圖像拾取裝置20的實際圖像拾取區(qū)域縮小。圖像拾取裝置20被布置在圖像顯示部分10的后面?zhèn)?,更具體地,在圖像顯示部分 10的后面?zhèn)鹊闹行牟糠?。實際提供的這種圖像拾取裝置20的數(shù)量是1。從已知的市場的攝像機形成圖像拾取裝置20和光會聚部分21,其中它們彼此集成,并且其包括CXD元件。例如,圖像顯示裝置IA用作配置個人計算機的監(jiān)視器裝置的替換。具體地,參照圖IC和圖1D,第一實施例的圖像顯示系統(tǒng)2A包括圖像顯示裝置1A_2和外圍裝置70A,例如連接到圖像顯示裝置1A_2的個人計算機等的主體。外圍裝置70A是電子裝置的示例。這也類似地適用于下文中描述的其它外圍裝置70。圖像顯示裝置1A_2用作外圍裝置70A的監(jiān)視器裝置。圖像顯示裝置1A_2與從其移除一些功能部分的圖像顯示裝置IA對應。外圍裝置70A中并入移除的功能部分。外圍裝置70A與圖像顯示部分10和圖像拾取裝置20分別通過纜線72和73彼此連接。作為圖像顯示部分10的像素11,使用自發(fā)光型的光發(fā)射元件,具體地,有機EL元件。從用于色彩顯示的XGA型的有機EL顯示裝置形成圖像顯示部分10。具體地,在用(M, N)表示像素單元的數(shù)量的情況下,像素11的數(shù)量是(1024,768)。參照圖2,從包括用于發(fā)射紅色光的紅色光發(fā)射像素11R、用于發(fā)射綠色光的綠色光發(fā)射像素IlG和用于發(fā)射藍色光的藍色光發(fā)射像素IlB配置一個像素單元。注意,虛線表示每一像素的外邊緣。這也類似地適用于下文中描述的其它示例。圖像顯示部分10包括其上布置的并且均包括顯示元件的多個像素11(11R、11G和 11B),在圖像顯示部分10的光透射區(qū)域12中的多個像素11中的每一個中提供光透射部位
31。在圖2的示例中,雖然對于像素11單獨地提供光透射部位31的不同部分,但這不是必要的,而是在多個像素11上可以提供每一光透射部位31。此外,在圖2的布置中,雖然對于每一像素11提供光透射部位31,或者換言之,在光透射區(qū)域12中的所有像素11中提供光透射部位31,但這不是必要的。具體地,在光透射區(qū)域12中的多個像素11中的每一個中可以至少提供光透射部位31,并且光透射區(qū)域12的像素11中的一些(例如每隔三個像素) 可以不包括光透射部位31。例如在6x3 = 18個像素11中提供光透射部位31,但不限于此。對于一個像素提供一個光透射部位31。光會聚部分21在圖像拾取裝置20上會聚通過6x3 = 18個像素11 的光透射部位31透射的光。光透射部位31具有矩形形狀。雖然未示出,但在圖像顯示部分10上布置用于驅動掃描線路的掃描信號提供IC 和用于提供視頻信號的視頻信號提供IC。未示出的掃描線路控制電路連接到掃描信號提供IC,信號線路控制電路連接到視頻信號提供IC。在進入圖像顯示部分10、穿過光透射部分30、出自圖像顯示部分10并且進入光會聚部分21的光的光路上不布置濾色器和圖像形成系統(tǒng)(例如微透鏡)。圖像拾取裝置的布置位置圖3A至圖4B是示出圖像拾取裝置與顯示的圖像的布置位置之間的關系的示意圖。具體地,圖3A示出第一實施例的圖像顯示裝置1的情況下的關系,圖:3B示出作為其中圖像拾取裝置緊固到圖像顯示部分的外側的比較示例的圖像顯示裝置IX的情況下的關系。圖4A和圖4B是示出圖像顯示裝置IA的圖像拾取的示意圖。在圖像拾取裝置20X如圖;3B中看到的那樣緊固到圖像顯示部分IOX的外側的情況下,圖像拾取裝置20X從傾斜方向拾取圖像顯示裝置IX的用戶的圖像。因此,當在圖像顯示部分IOX上顯示圖像時,在圖像顯示部分IOX上顯示從傾斜方向拾取的用戶的圖像。相應地,不能精確地顯示用戶的臉,并且也難以精確地判斷用戶盯住圖像顯示部分IOX的哪個位置。此外,如果用戶接近圖像顯示部分10X,則可能超過圖像拾取范圍的概率高。另一方面,在第一實施例的圖像顯示裝置IA中,由于在圖像顯示部分10的后面?zhèn)鹊闹行牟糠植渴饒D像拾取裝置20,因此圖像拾取裝置20可以如圖3A中看到的那樣從前面拾取圖像顯示裝置IA的用戶的圖像。因此,當在圖像顯示部分10上顯示圖像時,在圖像顯示部分10上顯示從前面拾取的用戶的圖像。相應地,可以精確地顯示用戶的臉,并且可以容易并且精確地判斷用戶盯住圖像顯示部分10的哪個位置。此外,即使在用戶接近圖像顯示部分10的情況下,也可以拾取用戶的圖像。在圖像顯示裝置IA中,在圖像拾取裝置20上會聚通過在光透射區(qū)域12中的像素 11中單獨地提供的光透射部位31所透射的光。相應地,不需要用于在圖像拾取裝置20上精確地形成圖像的高精度的十分小的透鏡。因此,不引起圖像顯示裝置IA的制造成本的增加,并且在圖像拾取裝置20上可以會聚足夠量的光。例如,圖4A示出其中作為圖像拾取裝置20的圖像拾取對象的觀測者在觀測顯示圖像的同時通過筆指向圖像顯示部分10的顯示圖像的狀態(tài)。圖像拾取裝置20被提供在圖像顯示裝置IA(即圖像顯示部分10)的后面,并且可以如圖4B中看到的那樣拾取與顯示面的前面相對的觀測者的臉、眼睛和手以及筆的圖像。因此,例如,從拾取的圖像可以檢測觀測者的視線。此外,由于從手或筆的方向可以指定圖像顯示部分10的對應指向點,因此指示器功能可以容易地添加到圖像顯示裝置1A。此外,除了指示器功能之外,由于從拾取的圖像可以區(qū)分用戶的臉或眼睛、手的運動、用戶周圍的亮度等,因此可以從圖像顯示裝置IA 獲得各種信息并且以信號方式將信息傳輸至各種系統(tǒng)。因此,可以提升圖像顯示裝置IA的添加值。圖像顯示部分的剖面結構圖5A和圖5B示出圖像顯示部分10的細節(jié)。具體地,圖5A是圖像顯示部分10的示意性局部剖面圖。同時,圖5B是示出圖像顯示部分10的光發(fā)射元件的詳細特征的表。圖像顯示部分10包括第一襯底40、從第一襯底40上提供的多個TFT配置的驅動電路、覆蓋驅動電路的層間絕緣層41、以及在層間絕緣層41上提供的并且用作光發(fā)射部分的有機層63。圖像顯示部分10還包括在有機層63上提供的保護層64、在保護層64上提供的光阻擋層65、以及覆蓋保護層64和光阻擋層65的第二襯底67。每個像素11包括驅動電路和光發(fā)射部分,在光阻擋層65中提供開孔65A。從開孔 65A、位于開孔65A之下的保護層64的部分、第二電極62的部分以及層間絕緣層41的部分
20配置光透射部位31。鄰近與第二襯底67不相對的第一襯底40的面部署光會聚部分21和圖像拾取裝置20。更具體地,在以蘇打玻璃制成的第一襯底40上提供驅動電路。由TFT配置驅動電路,所述TFT由第一襯底40上形成的柵極電極51、第一襯底40和柵極電極51上形成的柵極絕緣膜52、柵極絕緣膜52上形成的半導體層中提供的源極/漏極區(qū)域53、以及位于源極 /漏極區(qū)域53之間的柵極電極51之上的半導體層的部分所對應的溝道形成區(qū)域M形成。 雖然描述的示例中的TFT是底柵型,但其可以另外形成為頂柵型的TFT。TFT的柵極電極51連接到未示出的掃描線路。層間絕緣層4K41A和41B)覆蓋第一襯底40和驅動電路。此外,在以SiOx、SiNY、聚酰亞胺樹脂等制成的層間絕緣膜41B上提供配置有機EL元件的第一電極61。TFT和第一電極61通過層間絕緣膜41A上提供的接觸插頭42、引線線路43和另一接觸插頭44彼此電連接。在圖5A中,針對每一個有機EL元件驅動部分示出一個TFT。在層間絕緣層41上形成具有在其底部露出第一電極61的開孔46的絕緣層45。 由絕緣材料(其在平坦性方面較優(yōu),并且此外具有低水吸收性,以用于防止有機層63的水的惡化,以便保持尤其是來自聚酰亞胺樹脂的發(fā)光亮度)形成絕緣層45。沿著從暴露于開孔46的底部的第一電極61之上包圍開孔46并且具有以有機光發(fā)射材料制成的光發(fā)射層的絕緣層45的部分形成有機層63。從例如包括空穴傳送層和還用作電子傳送層的光發(fā)射層的層疊結構配置有機層63。然而,在圖5A中,在一個層中示出有機層63。通過等離子體CVD(等離子體增強型化學氣相淀積)形成以無定形硅氮化物 (Ci-SihNx)制成的絕緣保護層64,以防止水到達有機層63。在保護層64上形成以黑色聚酰亞胺樹脂制成的光阻擋層65,并且在保護層64和光阻擋層65上布置以蘇打玻璃制成的第二襯底67。保護層64與光阻擋層65和第二襯底67通過以基于丙烯酸的粘接劑制成的粘接層66粘合到彼此。第一電極61用作陽極電極,第二電極62用作陰極電極。具體地,第一電極61以通過鋁(Al)或銀(Ag)或金屬的合金制成的光反射材料制成,并且具有0.2μπι至0.5μπι 的厚度。第二電極62以例如ITO或IZO的透明傳導材料制成,并且具有0. 1 μ m的厚度,或者由以某種程度通過其透射光的銀(Ag)或鎂(Mg)制成的厚度近似為5nm的金屬薄膜(即由半透明金屬薄膜)形成。第二電極62不被圖案化,而是形成為一個薄片(sheet)。根據(jù)場合需求,在有機層63與第二電極62之間可以形成以LiF制成的并且具有0. 3nm的厚度的電子注入層(未示出)??傊緦嵤├膱D像顯示裝置IA中的圖像顯示部分10的光發(fā)射元件具有如圖 5B所示的這種特定配置。從第一襯底40到保護層64和光阻擋層65的元件用作顯示元件襯底。第二襯底 67用作密封襯底。在不存在像素電極(第一電極61)、TFT(包括柵極電極51)和引線線路的顯示元件襯底的部分提供第二襯底67中提供的并且用作光透射部分30的開孔65A。此外,用作密封劑的保護層64、用作EL公共電極的第二電極62、用作像素隔離膜的絕緣層45、 用作極化絕緣膜的層間絕緣層41 (41A、41B)、源極/漏極區(qū)域53和柵極絕緣膜52具有光透射特性。相應地,入射到顯示面?zhèn)?即第二襯底67側)的外部光可以通過開孔65A到達后面(即第一襯底40側)。
面板后面上提供的圖像拾取裝置20被部署為其圖像拾取面位于其上提供光透射部分30(即開孔65A)的面板后面的附近。然而,注意,在本示例中,光會聚部分21插入在它們之間。因此,入射到顯示面?zhèn)鹊耐獠抗馔ㄟ^圖像拾取裝置20的未示出的透鏡聚焦,并且進入固態(tài)圖像拾取元件(例如CCD元件或CMOS元件)。因此,可以拾取顯示面?zhèn)却嬖诘膱D像拾取對象的圖像。準備用于反射噪聲抑制的配置圖6至圖8是示出反射現(xiàn)象和針對反射現(xiàn)象的對策的示意圖。更具體地,圖6示出反射現(xiàn)象,即,引起現(xiàn)象的雜散光通過光透射部分30進入圖像拾取裝置20的現(xiàn)象。圖7 是其中從信號處理的方面校正或抑制反射現(xiàn)象的影響的第一實施例的圖像顯示裝置IA的框圖。圖8是其中從信號處理的方面校正或抑制反射現(xiàn)象的影響的第一實施例的圖像顯示系統(tǒng)2A的框圖。在第一實施例的圖像顯示裝置IA中,有機EL元件用作顯示元件。因此,僅在提供光透射部分30的情況下,那么在后面?zhèn)?即第一襯底40側)提供的圖像拾取裝置20可以拾取顯示面?zhèn)?即第二電極62側)上存在的圖像拾取對象的圖像。雖然剛描述的這種簡單和方便的配置對于LCD裝置不會是不可能的,但這是困難的,并且通過其透射包括可見光線的波長的光的結構是更困難的。相比之下,第一實施例的圖像顯示裝置IA僅包括光透射部分30,并且可以通過簡單和方便的配置從后面?zhèn)仁叭★@示面?zhèn)却嬖诘膱D像拾取對象的圖像。在此,在本實施例的圖像顯示裝置中,發(fā)現(xiàn),如果通過圖像顯示部分的后面?zhèn)鹊膱D像顯示部分拾取圖像,則當不通過圖像顯示部分執(zhí)行圖像拾取時不出現(xiàn)的獨特噪聲伴隨著拾取的圖像出現(xiàn)。因此,進行對于這種噪聲的出現(xiàn)的原因的調(diào)查,并且發(fā)現(xiàn),生成噪聲,以使得來自圖像顯示部分的顯示元件的光由圖像顯示部分的內(nèi)部的各個部分反射,并且作為雜散光進入圖像拾取裝置。如圖6看到的那樣,圖像顯示部分10中的光阻擋層65具有開孔46和開孔65A。 圖像顯示部分10具有頂發(fā)射結構,并且在開孔65A中,從有機層63的光發(fā)射層發(fā)射的光穿過第二電極62、保護層64、粘接層66和第二襯底67,并且作為顯露光從顯示面發(fā)射。同時, 從光阻擋層65中提供的開孔65A、位于開孔65A之下的保護層64的部分、第二電極62的部分和層間絕緣層41的部分配置光透射部位31。引線線路43被連線而使得其不干擾光透射部位31。從有機層63的光發(fā)射層發(fā)射的光不作為顯露光從顯示面完全發(fā)射,而是例如部分光通過粘接層66與第二襯底67之間的結合部分或通過第二襯底67與空氣之間的結合部分而被反射,并且返回到內(nèi)部,其成為雜散光。如果該雜散光穿過開孔65A或引線線路43 的帶隙,則其可以來到圖像拾取裝置20,并且由圖像拾取裝置20拾取為圖像。由于雜散光是圖像顯示部分10的顯示所使用的部分光,因此圖像拾取裝置20拾取與顯示的圖像相似的圖像。當不通過圖像顯示部分10拾取圖像時,這種現(xiàn)象不產(chǎn)生。在雜散光引起的反射噪聲很少的情況下,無需對拾取的圖像執(zhí)行移除反射分量的處理。然而,在需要高質量的拾取的圖像的情況下,優(yōu)選的是,校正反射現(xiàn)象的影響。在第一實施例中,作為針對反射噪聲的對策,圖像顯示裝置和圖像拾取裝置彼此協(xié)作,以使得可以從信號處理的方面校正反射噪聲對拾取的圖像的影響,由此實現(xiàn)圖像的質量的增強。順便提及,對于圖像拾取裝置20的哪一個或多個像素并且以何種強度將圖像顯示部分10的像素11中的一個發(fā)射的并形成雜散光的部分光拾取為圖像取決于圖像顯示部分10的結構,尤其是取決于相關聯(lián)構件的形狀、大小和布置以及光透射部位的形狀、大小和分布。相應地,推薦的是,預先測量要作為圖像由圖像拾取裝置20拾取的對于圖像顯示部分10的每一像素11的反射的信息(下文中被稱為反射圖案數(shù)據(jù)),將反射圖案數(shù)據(jù)存儲到預定存儲部分,然后在反射噪聲抑制處理中使用反射圖案數(shù)據(jù)。圖7示出其中從信號處理的方面校正反射現(xiàn)象的影響的第一實施例的圖像顯示裝置IA0參照圖7,第一實施例的圖像顯示裝置IA包括被配置為控制整個裝置的操作的控制部分90、被配置為控制圖像顯示部分10的顯示操作的顯示時序控制器92、以及被配置為控制圖像拾取裝置20或圖像拾取部分20a的圖像拾取操作的圖像拾取時序控制器94??刂撇糠?0將顯示數(shù)據(jù)、時序信號等提供給顯示時序控制器92。此外,控制部分 90將圖像拾取時序信號、快門控制信號、增益控制信號等提供給圖像拾取時序控制器94。顯示時序控制器92包括未示出的信號線路控制電路,其通過未示出的視頻信號提供IC將顯示數(shù)據(jù)和水平時序信號提供給圖像顯示部分10。此外,顯示時序控制器92包括未示出的掃描線路控制電路,其通過未示出的掃描信號提供IC將垂直時序信號提供給圖像顯示部分10。第一實施例的圖像顯示裝置IA包括用于對于通過圖像拾取裝置20獲取的圖像信息執(zhí)行在通過圖像顯示部分10的后面?zhèn)鹊墓馔干洳糠?0執(zhí)行圖像拾取的情況下生成的反射噪聲的校正的反射噪聲抑制處理單元200。在與圖像顯示裝置IA分離地配置作為電子裝置的示例的圖像拾取裝置20的情況下,如圖7中的交替長短虛線指示的那樣,圖像拾取裝置20側也可以布置反射噪聲抑制處理單元200 (根據(jù)場合需求,此外,圖像拾取時序控制器 94)。反射噪聲抑制處理單元200包括反射圖案存儲部分202和算術處理部分208。雖然未示出,但算術處理部分208包括拾取圖像數(shù)據(jù)存儲部分和視頻數(shù)據(jù)存儲部分??刂撇糠?0控制反射噪聲抑制處理單元200的處理操作。預先測量用于圖像拾取裝置20拾取其圖像的圖像顯示部分10的像素11中的每一個的反射的信息,并且所得反射圖案數(shù)據(jù)D202存儲到反射圖案存儲部分202中。拾取圖像數(shù)據(jù)存儲部分存儲從圖像拾取裝置20提供至其的拾取的圖像數(shù)據(jù)D20。 視頻數(shù)據(jù)存儲部分與圖像拾取裝置20的圖像拾取時序同步從顯示時序控制器92取得并且存儲圖像顯示部分10的視頻數(shù)據(jù)D10。算術處理部分208參照反射圖案存儲部分202中存儲的反射圖案數(shù)據(jù)D202,并且將拾取的圖像數(shù)據(jù)D20(用于每一像素)乘以校正系數(shù)η,以確定校正值。然后,算術處理部分208從拾取的圖像數(shù)據(jù)D20 (用于每一像素)減去校正值,以移除拾取圖像數(shù)據(jù)存儲部分中存儲的拾取的圖像數(shù)據(jù)D20中包括的反射噪聲。校正系數(shù)η是與雜散光的強度對應的指數(shù),并且從關于參照或標準設備視頻數(shù)據(jù)預先測量的反射圖案數(shù)據(jù)D202被指定。例如,在與校正系數(shù)η對應的像素11的視頻數(shù)據(jù)DlO對圖像拾取裝置20的像素 11的拾取的圖像數(shù)據(jù)D20做出反射噪聲的情況下,可以通過“D20-D10 · η”校正或消除反射噪聲。校正系數(shù)n是與雜散光的強度對應的指數(shù),并且可推薦為從參照或標準設備視頻數(shù)據(jù)預先估計或測量。注意,在確認拾取的圖像的同時可以調(diào)整校正系數(shù)n,以便可以不識別反射噪聲??刂撇糠?0從用戶接受各種指令,并且控制反射噪聲抑制處理單元200和其它各種功能部分的工作。例如,雖然用于該實施例中的反射噪聲抑制處理的各種過程如下文中詳細描述的那樣可用,但它們就處理速度和噪聲抑制效果而言在其中是更優(yōu)或更劣的。因此,推薦的是,可以允許根據(jù)用戶的指令采用方法中的一種的合適選擇??刂撇糠?0從反射噪聲抑制處理單元200 (具體地,算術處理部分208)獲得的處理的圖像執(zhí)行各種檢測處理,比如例如用戶的視線的檢測或用戶的手的運動的檢測。圖像顯示部分10將這種檢測結果反映在顯示器上??刂撇糠?0具有被配置為控制圖像顯示部分10的顯示時序和圖像拾取裝置20 的圖像拾取時序并且控制圖像顯示部分10的圖像顯示和圖像拾取裝置20的圖像拾取操作的時序控制部分的功能。例如,在顯示數(shù)據(jù)和水平時序信號從顯示時序控制器92發(fā)送到未示出的信號線路控制電路的同時,顯示數(shù)據(jù)、時序信號等從控制部分90發(fā)送到顯示時序控制器92。同時,垂直時序信號發(fā)送到未示出的掃描線路控制電路。然后,圖像顯示部分10 基于已知方法執(zhí)行圖像顯示。另一方面,圖像拾取時序信號、快門控制信號、增益控制信號等從控制部分90發(fā)送到圖像拾取時序控制器94。這些信號從圖像拾取時序控制器94發(fā)送到圖像拾取裝置20, 從而控制圖像拾取裝置20的操作。此時,優(yōu)選地,控制部分90將圖像顯示部分10的顯示時序與圖像拾取裝置20的圖像拾取時序彼此同步。通過圖像拾取裝置20獲取的圖像信息(例如比如用于紅色(R)、綠色(G)和藍色 (B)中的每一個的圖像信息)發(fā)送到配置反射噪聲抑制處理單元200的拾取圖像數(shù)據(jù)存儲部分。此時,視頻數(shù)據(jù)存儲部分根據(jù)圖像拾取裝置20的圖像拾取時序同時取得并存儲圖像顯示部分10的視頻數(shù)據(jù)DlO (例如,用于R、G和B中的每一個的視頻數(shù)據(jù))。算術處理部分208從視頻數(shù)據(jù)存儲部分讀出用于R、G和B中的每一個的視頻數(shù)據(jù),并且參照數(shù)據(jù)以對于用于從拾取圖像數(shù)據(jù)存儲部分讀出的R、G、B中的每一個的拾取的圖像數(shù)據(jù)執(zhí)行“D20-D10 · η”的算術運算,由此抑制反射噪聲。然后,算術處理部分208將其反射噪聲被抑制的拾取的圖像數(shù)據(jù)傳送到控制部分90。因此,可以執(zhí)行并非考慮所有信號分量而是一些信號分量的處理,以簡化計算并且減少處理時間。這在下文中詳細予以描述。圖8示出其中從信號處理的方面校正反射現(xiàn)象的影響的第一實施例的圖像顯示系統(tǒng)2Α。圖像顯示系統(tǒng)2Α與圖7所示的圖像顯示裝置IA不同在于,移除控制部分90和反射噪聲抑制處理單元200以形成圖像顯示裝置1Α_2,并且在作為電子裝置的示例的外圍裝置70Α中并入移除的控制部分90和反射噪聲抑制處理單元200。 具體地,控制部分90可以被提供在圖像顯示裝置IA中,或可以被提供在外圍裝置 70Α(例如連接到圖像顯示裝置1Α_2的個人計算機)中。此外,反射噪聲抑制處理單元200 可以被提供在圖像顯示裝置IA中,或可以被提供在外圍裝置70Α(例如連接到圖像顯示裝置1Α_2的個人計算機)中。 可以實現(xiàn)圖像顯示裝置IA或圖像顯示系統(tǒng)2Α中的反射噪聲抑制處理單元200或控制部分90的控制功能,具體地,通過軟件、其程序或在其中或其上存儲程序的記錄介質控制反射噪聲抑制處理單元200的功能可以被提取為特定特征。這也類似地適用于其中執(zhí)行下文中描述的衍射校正處理的情況和其中通過反映外部光的波長分布的測量的結果實現(xiàn)通過圖像拾取裝置獲取的圖像信息的精度的改進(例如比如色彩信息的精度的改進)以及MTF逆變換處理的精度的改進的另一情況。具體地,在該實施例中,用于執(zhí)行反射噪聲抑制處理、衍射校正處理、波長分布測量處理和與處理有關的控制處理的控制配置的機制不限于硬件處理電路的配置,而是可以基于實現(xiàn)各功能的程序代碼使用計算機的機制通過軟件實現(xiàn)。通過其中通過軟件執(zhí)行處理的機制,可以容易地改變處理過程等,而不涉及硬件的改變。程序可以被存儲在或提供作為計算機可讀存儲介質,或通過有線或無線通信手段的發(fā)布而被提供。雖然提供程序作為描述用于實現(xiàn)用于反射噪聲抑制處理、衍射校正處理、波長分布測量處理和與各處理有關的控制處理的各種功能的程序代碼的文件,但在此情況下,可以提供程序作為塊(lump)程序文件,或可以提供程序作為適合于從計算機配置的系統(tǒng)的硬件配置的單獨程序模塊。此外,作為包括用于實現(xiàn)用于反射噪聲抑制處理、衍射校正處理、波長分布測量處理以及與各處理有關的控制處理的功能的功能塊的單獨部分的特定裝置,可以使用硬件、 軟件、通信部件、它們的組合以及一些其它部件。這自身對于本領域技術人員是明顯的。此外,功能塊可以合并為單個功能塊。此外,響應于組合的模式分離地安裝用于使得計算機執(zhí)行程序的處理的軟件。雖然其中通過軟件執(zhí)行處理的機制可以靈活地對付并行處理或連續(xù)處理,但隨著處理變得復雜,處理速度的下降隨著處理時間變長而成為問題。相比之下,如果使用硬件處理電路配置機制,則即使處理復雜,也防止處理速度的下降。因此,構建實現(xiàn)據(jù)以獲得高吞吐量的高速操作的加速器系統(tǒng)。針對反射現(xiàn)象的對策的同步控制圖9示出適用于其中采用從信號處理的方面應對反射現(xiàn)象的影響的技術的情況的同步控制。更具體地,圖9示出圖像拾取和顯示的時序的示例。根據(jù)第一實施例的機制,通過在顯示裝置的顯示時段內(nèi)的特定時刻開始圖像拾取,在有效地移除拾取的屏幕圖像上顯示圖像的反射的同時,可以獲取高質量的拾取的圖像。雖然圖9示出其中拾取的圖像幀時段比顯示幀時段更長的情況,但這僅是示例, 拾取的圖像幀時段可以比顯示幀時段更短,或顯示幀時段和拾取的圖像幀時段可以彼此相寸。在圖像拾取開始時,視頻顯示和圖像拾取彼此同步,從而在從顯示開始起的時間 ts之后可以開始圖像拾取。例如,根據(jù)視頻信號的垂直同步信號同步用于圖像拾取裝置20 的快門信號。注意,顯示與圖像拾取之間的同步時序可以是顯示時段內(nèi)的特定時間,但不必定被包括在非顯示時段(例如消隱時段)內(nèi)。通過以此方式在顯示時段內(nèi)的特定時間建立圖像拾取開始的同步,即使在圖像拾取時段內(nèi)反射顯示圖像,歸因于同步,從視頻數(shù)據(jù)10也可以容易地判斷在拾取的圖像上反射了什么顯示圖像。因此,從拾取的圖像(即從拾取的圖像數(shù)據(jù)D20)可以容易地移除反射分量。相比之下,如果未建立圖像拾取與顯示之間的同步,則雖然這不是不可能,但實際上難以移除拾取的圖像上的反射。因此,拾取的圖像經(jīng)受閃爍現(xiàn)象,并且這在圖像拾取和顯示的幀速率彼此近似的情況下是尤其顯著的。<反射噪聲抑制處理第一示例(處理面積減少方法)>圖10是示出反射噪聲抑制處理單元200的反射噪聲抑制處理的第一示例的流程圖。第一示例的反射噪聲抑制處理應用處理面積減少的方法。作為示例,在步驟S10,假設作為視頻數(shù)據(jù)DlO的R、G和B的色彩圖像數(shù)據(jù)(即拾取的圖像R數(shù)據(jù)、拾取的圖像G數(shù)據(jù)和拾取的圖像B數(shù)據(jù))作為拾取的圖像數(shù)據(jù)從圖像拾取裝置20提供給反射噪聲抑制處理單元200。反射噪聲抑制處理單元200將從圖像拾取裝置20提供至其的視頻數(shù)據(jù)DlO存儲在拾取圖像數(shù)據(jù)存儲部分中。在步驟S20,反射噪聲抑制處理單元200的算術處理部分208將拾取的圖像分離為 “特定區(qū)域”和“背景區(qū)域”,以提取“特定區(qū)域”。例如,算術處理部分208將“面向圖像拾取對象的方法”應用于確定圖像拾取對象的部分的區(qū)域(例如用戶的臉的區(qū)域)作為“特定區(qū)域”。因此,算術處理部分208將臉和其它區(qū)域彼此分離,并且提取臉區(qū)域。作為用于臉區(qū)域的提取算法,可以使用已知的臉檢測方法,例如比如Haar狀特征分類。順便提及,提取包括指定的臉的矩形區(qū)域。自然地,提取的臉區(qū)域具有比整個拾取的圖像的面積更小的面積。在步驟S30,算術處理部分208僅從提取的特定區(qū)域移除拾取的圖像上存在的顯示圖像的反射的影響。例如,在TV會議中,交談方的面部表情或壓縮(compression)的圖片質量比背景更重要,并且即使對于關于其僅從臉移除反射分量的圖像,TV會議方也可以交談,而沒有不舒服的感覺。在步驟S40,算術處理部分208將作為特定區(qū)域并且對于其已經(jīng)執(zhí)行反射噪聲減少處理的臉區(qū)域的提取圖像的信號分量與對于其尚未執(zhí)行反射噪聲抑制處理的背景區(qū)域的圖像的信號分量彼此合成,由此完成處理。從拾取的圖像的整個區(qū)域分離或提取的提取區(qū)域或特定區(qū)域(其在該示例中為臉區(qū)域)具有比整個拾取的圖像的面積更小的面積。因此,與其中反射噪聲抑制處理應用于拾取的圖像的整個區(qū)域的替換情況相比,減少了計算量,并且減少了處理時間。因此,可以更高速度地執(zhí)行處理。例如,在特定區(qū)域的面積等于整個區(qū)域的1/X倍的情況下,處理速度減少至“α ·Χ”倍。α具有小于1的值,并且是步驟S20的從整個區(qū)域提取特定區(qū)域的處理和步驟S40的將對于其已經(jīng)執(zhí)行反射噪聲抑制處理的特定區(qū)域的圖像與對于其尚未執(zhí)行處理的背景區(qū)域的圖像進行合成的處理的開銷(overhead)量。<反射噪聲抑制處理第二示例(所有信號都作為目標)>圖11是示出反射噪聲抑制處理單元200的反射噪聲抑制處理的第二示例的流程圖。在第二示例的反射噪聲抑制處理中,處理配置圖像拾取裝置20獲取的圖像信息的信號分量。以下,針對連同其中僅確定特定區(qū)域作為處理目標的第一示例一起使用第二示例的示例給出描述。然而,這不是必不可少的。這也類似地適用于下文中描述的第三和第四示例。參照圖11,在步驟S30,算術處理部分208僅從提取的特定區(qū)域移除拾取的圖像上存在的顯示圖像的反射的影響。隨即,算術處理部分208對于R、G和B的色彩圖像數(shù)據(jù)單獨地執(zhí)行反射噪聲抑制處理。例如,在步驟S130,算術處理部分208參照反射圖案存儲部分202中存儲的反射圖案數(shù)據(jù)D202,以針對R、G和B的色彩中的每一個(即,針對每一個像素)確定校正系數(shù)η。然后,在步驟S150,對于R、G和B的色彩中的每一個,算術處理部分208將視頻數(shù)據(jù)DlO乘以在步驟S130確定的對應校正系數(shù)η,以獲得用于拾取的圖像數(shù)據(jù)D20的校正數(shù)
據(jù) Dcomp ο在步驟S160,算術處理部分208對于R、G和B的色彩中的每一個通過在步驟S150 確定的校正數(shù)據(jù)D。。mp校正視頻數(shù)據(jù)D10,即對于拾取的圖像的每一像素,從視頻數(shù)據(jù)DlO減去校正數(shù)據(jù)D。。mp,以獲取其中對于每一色彩抑制了反射噪聲的圖像。在步驟S40,算術處理部分208將對于其已經(jīng)執(zhí)行反射噪聲抑制處理的特定區(qū)域中的提取圖像的信號分量和對于其尚未執(zhí)行反射噪聲抑制處理的背景區(qū)域中的圖像的信號分量相互合成。然后,完成處理,也就是說,在圖像顯示部分10上顯示所得圖像。在第二示例中,對于配置圖像信息的R、G和B的信號分量執(zhí)行反射噪聲抑制處理。因此,雖然處理負荷是高的,但與其中關注一些信號分量的替換處理相比,噪聲抑制是高的,并且可以高精度地抑制由于反射現(xiàn)象在拾取的圖像上出現(xiàn)的噪聲。注意,作為對第二示例的修改,可以采用這樣的方法轉換圖像拾取裝置20獲取的圖像信息的分量的拾取圖像數(shù)據(jù)的色彩空間,并且對于色彩轉換后的圖像數(shù)據(jù)的不同數(shù)據(jù)執(zhí)行處理。在此情況下,色彩轉換處理增加了處理負荷。例如,在用三個色彩分量(例如 R、G和B)表示圖像的情況下,通過在色彩轉換后執(zhí)行反射噪聲抑制處理,處理速度由于色彩轉換處理的0. 2的損失而減少至近似0. 8倍。然而,由于在圖像分解為亮度分量和色彩分量之后執(zhí)行反射噪聲抑制處理,因此存在的優(yōu)點在于,可以使得校正系數(shù)n (或換言之, 噪聲抑制效果)在亮度分量與色彩分量之間不同。此外,由于對于配置圖像信息的不同信號執(zhí)行反射噪聲抑制處理,因此噪聲抑制效果比其中關注一些信號的替換處理更高。因此, 可以高精度地校正由于反射現(xiàn)象而在拾取的圖像上出現(xiàn)的噪聲?!捶瓷湓肼曇种铺幚淼谌纠?面向特定信號的處理與亮度信號分量具有高相關性的綠色)>圖12是示出反射噪聲抑制處理單元200的反射噪聲抑制處理的第三示例的流程圖。在第三示例的反射噪聲抑制處理中,應用如下的面向特定信號的方法其中,處理圖像拾取裝置20獲取的圖像信息的多個信號分量中的至少一個但不是所有。以下,描述其中關注色彩轉換后的圖像信息的多個信號分量(比如例如信號分量 R、G和B,或Χ、Υ和Z或Y、u、v)中的僅一個執(zhí)行處理的示例。主要針對與第二示例的不同之處給出以下描述。注意,300的級別的步驟號表示處理步驟,并且與第二示例中十個相同的級別的號表示與第二示例中相似的處理步驟。算術處理部分208僅對于R、G和B的色彩中的一個執(zhí)行反射噪聲抑制處理。隨即,優(yōu)選地,關注與亮度信號分量具有相對高的相關性的綠色圖像信息以執(zhí)行處理。簡而言之,僅針對與亮度信號分量具有高相關性的綠色執(zhí)行反射噪聲抑制。例如,在步驟S330,算術處理部分208參照反射圖案存儲部分202中存儲的反射圖案數(shù)據(jù)D202,以針對每一個像素確定對于G色彩的校正系數(shù)η。
27
在步驟S350,算術處理部分208針對色彩G將視頻數(shù)據(jù)DlO乘以在步驟S330確定的校正系數(shù)η,以獲得用于拾取的圖像數(shù)據(jù)D20的校正數(shù)據(jù)D。。mp。在步驟S360,算術處理部分208利用在步驟S350針對色彩G確定的校正數(shù)據(jù)Dramp 校正用于色彩G的視頻數(shù)據(jù)D10,例如從對于拾取的圖像的每一像素的視頻數(shù)據(jù)DlO減去校正數(shù)據(jù)D。。mp,以獲取抑制其反射噪聲的綠色圖像。在步驟S380,算術處理部分208基于在步驟S360獲取的并且具有抑制的反射噪聲的綠色圖像、以及尚未處理的色彩R的拾取的圖像R數(shù)據(jù)和色彩B的拾取的圖像B數(shù)據(jù)來獲取色彩圖像。根據(jù)第三示例,針對配置圖像信息的R、G和B的色彩中的至少一個但不是所有執(zhí)行反射噪聲抑制處理。因此,雖然與其中處理所有信號分量的第二示例相比,第三示例在噪聲抑制效果方面較劣,但處理負荷減小,并且可以期望更高的速度處理。例如,在用R、G和 B的三個色彩分量的信號表示圖像的情況下,通過執(zhí)行其中關注一個色彩的處理,處理速度增加至三倍。此外,通過使用“處理面積減少方法,,和“面向特定信號的方法”,添加了僅對于提取的特定區(qū)域的反射噪聲抑制處理的效果(即,α ·Χ倍的處理速度)。因此,可以明顯地減少整個處理時間。在第三示例中,看上去可推薦的是執(zhí)行關注色彩R或色彩b的處理。然而,通過執(zhí)行關注與亮度信號分量具有相當高相關性的綠色圖像信息的處理,實現(xiàn)了與其中對于所有信號分量執(zhí)行處理的第二示例相比不更劣的噪聲抑制效果。實施了從噪聲抑制效果和處理負荷的方面在平衡上良好的噪聲抑制效果。當與下文中描述的第四示例相比時,由于第三示例不包括色彩轉換處理,因此處理負荷比第四示例更低。<反射噪聲抑制處理第四示例(面向特定信號的步驟亮度信號分量)>圖13是示出反射噪聲抑制處理單元200的反射噪聲抑制處理的第四示例的流程圖。第四示例是其中轉換圖像拾取裝置20獲取的圖像信息的不同分量的圖像數(shù)據(jù)的色彩空間并且至少針對色彩轉換后的多個圖像數(shù)據(jù)中的一個但不是所有執(zhí)行處理的方法。以下,描述其中僅關注色彩轉換后的多個圖像數(shù)據(jù)(例如X、Y、Z圖像數(shù)據(jù)或Y、U、ν圖像數(shù)據(jù))中的一個的處理。注意,400的級別的步驟號表示處理步驟,并且與第二示例中十個相同的級別的號表示與第二示例中相似的處理步驟。在步驟S30,算術處理部分208僅對于提取的特定區(qū)域執(zhí)行反射噪聲抑制處理,以移除反射的影響。隨即,在步驟S410,算術處理部分208將關于提取的特定區(qū)域中的圖像的RGB色彩空間的拾取的R數(shù)據(jù)、拾取的G數(shù)據(jù)和拾取的B數(shù)據(jù)轉換為不同色彩空間(例如比如XYZ色彩空間或Yuv色彩空間)中的圖像數(shù)據(jù)。在本示例中,雖然在首先提取特定區(qū)域中的圖像信息之后執(zhí)行色彩空間轉換處理,但相比之下,可以在首先對于圖像顯示部分10獲取的整個圖像區(qū)域執(zhí)行色彩空間轉換處理之后提取特定區(qū)域中的圖像信息。在后一種情況下,與其中僅對于特定區(qū)域中的圖像信息執(zhí)行色彩空間轉換處理的替換情況相比,處理量增加,并且所需的轉換處理時間增加。 考慮該情況,在本示例中采用前一種方法。算術處理部分208僅對于圖像顯示部分10獲取的步驟410中的色彩轉換之后的多個圖像數(shù)據(jù)中的一個執(zhí)行反射噪聲抑制處理。具體地,僅對于一個信號分量執(zhí)行反射噪聲抑制處理。隨即,關注亮度信號分量執(zhí)行處理。具體地,算術處理部分208在步驟S420 從色彩轉換后的多個圖像提取亮度信號分量,并且僅對于亮度信號分量執(zhí)行反射噪聲抑制處理。在圖像數(shù)據(jù)是從RGB色彩空間通過色彩轉換的XYZ色彩空間中的圖像數(shù)據(jù)的假設下給出以下描述。例如,在步驟S430,算術處理部分208參照反射圖案存儲部分202中存儲的反射圖案數(shù)據(jù)D202,以針對每一像素確定對于亮度分量Y的校正系數(shù)η。在步驟S450,,算術處理部分208將關于亮度分量Y的視頻數(shù)據(jù)DlO乘以在步驟 S430確定的校正系數(shù)η,以獲得用于拾取的圖像數(shù)據(jù)D20的校正數(shù)據(jù)Dc。mp。在步驟S460,算術處理部分208通過在步驟S450針對亮度分量Y確定的校正數(shù)據(jù) Dcomp校正亮度分量Y的視頻數(shù)據(jù)D10,具體地從對于拾取的圖像的每一像素的視頻數(shù)據(jù)DlO 減去校正數(shù)據(jù)D。。mp,以獲取抑制其反射噪聲的亮度分量Y的圖像。在步驟S470,算術處理部分208將亮度分量Y (其在步驟S460獲得,并且其反射噪聲得到抑制)和尚未被處理的轉換X數(shù)據(jù)X與轉換ζ數(shù)據(jù)Z的圖像轉換為RGB色彩空間下的原始圖像(即,轉換為RGB色彩空間下的圖像數(shù)據(jù))。因此,獲取了反射噪聲得到抑制的紅色圖像、綠色圖像和藍色圖像。在步驟S480,算術處理部分208基于在步驟S470分別對于R、G和B的不同色彩單獨獲取的色彩圖像R、綠色圖像G和藍色圖像B來獲取色彩圖像。可替換地,可以在步驟 S470直接省略色彩轉換處理獲取色彩圖像。根據(jù)第四示例,雖然處理負荷由于執(zhí)行色彩轉換處理而較高,但由于對于色彩轉換后的信號分量中的至少一個但不是所有執(zhí)行反射噪聲抑制處理,因此與其中對于所有信號分量執(zhí)行處理的替換情況相比,減少處理負荷。相應地,雖然與其中對于所有信號分量執(zhí)行處理的替換情況相比噪聲減少效果較劣,但處理負荷在整體上傾向于減少,并且可以期
望高速處理。在第四示例中,如果僅對于亮度信號分量執(zhí)行反射噪聲抑制處理,則獲得與其中對于所有信號分量執(zhí)行處理的替換情況相比不劣的噪聲抑制效果。從校正效果和處理負荷的方面,反射噪聲抑制處理得到良好地平衡。第一示例至第四示例的小結如根據(jù)前面的描述理解的那樣,在例如比如上述第一示例至第四示例的描述中描述的各種過程中可以執(zhí)行第一實施例中的噪聲抑制處理。然而,關于處理速度和噪聲抑制效果,過程在其之中較優(yōu)或較劣。相應地,推薦的是,使得可以允許用戶采用方法中的一種的合適選擇。<第二實施例準備用于反射噪聲抑制處理的配置+準備用于衍射校正的配置>準備用于衍射校正的配置圖14至圖17是示出衍射現(xiàn)象和針對衍射現(xiàn)象的對策的視圖。具體地,圖14是示出衍射現(xiàn)象對拾取的圖像的影響的示意圖。圖15A和圖15B是示出通過在圖像拾取裝置20 前面布置的玻璃板拾取的圖像的示例的視圖。圖16是其中從信號處理的方面校正或補償衍射現(xiàn)象的影響的第二實施例的圖像顯示裝置IB的框圖。圖17是其中從信號處理的方面校正或補償衍射現(xiàn)象的影響的第二實施例的圖像顯示系統(tǒng)2B的框圖。通常,在通過特定小光透射開孔拾取圖像的情況下,衍射現(xiàn)象出現(xiàn)在光透射開孔。具體地,假設在以預定間距在其上提供多個十分小的光透射部位31的物品(即圖像顯示部分10)的后面上安裝圖像拾取裝置20,然后通過光透射部位31拾取圖像(如圖14中看到的)。在此情況下,光透射部位31用作光學縫隙。因此,作為衍射現(xiàn)象的結果,與圖像“C” 相同的圖像以相等間距顯現(xiàn)為圖像“A”和另一圖像“B”,因此,圖像經(jīng)受模糊。圖15A中示出利用圖像拾取裝置20的前面中布置的不具有光透射部位的透明玻璃板的拾取所獲得的圖像。圖15B中示出利用圖像拾取裝置20的前面布置的其中提供具有特定形狀、大小和分布的光透射部位的透明玻璃板的圖像拾取所獲得的另一圖像。在圖 15B所示的圖像上發(fā)現(xiàn)模糊。另一方面,在圖15A所示的圖像上未發(fā)現(xiàn)模糊。衍射光的強度和分布取決于光透射部位的形狀、大小和分布以及入射光(即外部光)的波長。在衍射的模糊量小的情況下,對于拾取的圖像的衍射無需執(zhí)行校正或補償?shù)奶幚?。然而,在需要高質量的拾取的圖像的情況下,優(yōu)選地,校正或補償衍射現(xiàn)象的影響。圖16示出除了其中從信號處理的方面抑制反射噪聲的影響的第一實施例的配置之外其中從信號處理的方面校正衍射現(xiàn)象的影響的第二實施例的圖像顯示裝置1B。參照圖16,第二實施例的圖像顯示裝置IB包括用于將用于光透射部分30產(chǎn)生的衍射的校正或補償應用于通過圖像拾取裝置20獲取的圖像信息的衍射校正單元100。衍射校正單元100包括MTF形狀存儲部分102和MTF逆變換部分104。MTF逆變換部分104具有未示出的圖像存儲存儲器,并且存儲從圖像拾取裝置20提供至其的拾取的圖像數(shù)據(jù)??刂撇糠?0控制衍射校正單元100的處理操作。注意,在上面結合第一實施例所述那樣首先執(zhí)行反射噪聲抑制處理然后執(zhí)行衍射處理的情況下,已經(jīng)對于其執(zhí)行算術處理部分208的處理的圖像信息提供給MTF逆變換部分104。另一方面,在首先執(zhí)行衍射校正處理然后執(zhí)行反射噪聲抑制處理的情況下,已經(jīng)對于其執(zhí)行MTF逆變換部分104的處理的圖像信息提供給算術處理部分208??刂撇糠?0從用戶接受各種指令,并且控制衍射校正單元100和其它各種功能部分的操作。例如,雖然各種過程對于第二實施例中的衍射校正處理是可能的,由于它們就處理速度和校正精度而言在其之中更優(yōu)或更劣。因此,推薦的是,使得可以允許根據(jù)用戶的指令采用方法中的一種的合適選擇。MTF形狀存儲部分102存儲MTF形狀數(shù)據(jù)(例如光透射部位31的大小、形狀和分布)。例如,在MTF形狀存儲部分102中存儲二維FFT獲得的光透射部分30的MTF形狀數(shù)據(jù)和紅色(R)、綠色(G)和藍色(B)中的每一個的外部光的波長。通過圖像拾取裝置20獲取的圖像信息或反射噪聲抑制處理單元200已經(jīng)抑制其反射噪聲的處理圖像發(fā)送到配置衍射校正單元100的MTF逆變換部分104。MTF逆變換部分104從MTF形狀存儲部分102讀出二維FFT獲得的光透射部分30的MTF形狀數(shù)據(jù)和紅色(R)、綠色(G)和藍色⑶中的每一個的外部光的波長,以執(zhí)行MTF逆變換來恢復原始圖像。隨即,為了簡化計算以縮短處理時間,可以并不對于所有的信號分量而關注一些信號分量執(zhí)行處理。控制部分90從衍射校正單元100 (具體地,MTF逆變換部分104)獲得的恢復圖像執(zhí)行各種類型的檢測(比如例如用戶的視線的檢測或用戶的手的運動的檢測),以便由圖像顯示部分10反映在顯示器上。圖17示出其中從信號處理的方面校正衍射現(xiàn)象的影響的第二實施例的圖像顯示系統(tǒng)2B。參照圖17,圖像顯示系統(tǒng)2B與以上參照圖16描述的圖像顯示裝置IB不同之處在于,從圖像顯示裝置IB移除控制部分90、反射噪聲抑制處理單元200和衍射校正單元100 以成為圖像顯示裝置IB 2,并且在作為電子裝置的示例的外圍裝置70B中并入了移除的控制部分90、反射噪聲抑制處理單元200和衍射校正單元100。具體地,控制部分90可以被提供在圖像顯示裝置1B_2中,或可以被提供在外圍裝置70B(例如連接到圖像顯示裝置1B_2的個人計算機)中。此外,反射噪聲抑制處理單元200和衍射校正單元100可以被提供在圖像顯示裝置1B_2中,或可以被提供在外圍裝置 70B(例如連接到圖像顯示裝置1B_2的計算機)中。針對衍射現(xiàn)象的對策原理圖18A、圖18B和圖19是示出從信號處理的方面應對衍射現(xiàn)象的影響的方法的示意圖,并且示意性地示出與圖2所示的不同的光透射部分30的形狀的示例。在確定光透射部位31的圖案形狀、大小和分布以及入射光(即外部光)的波長的情況下,通過以下給出的表達式(1)計算衍射分布Pdiff。在二重積分中,針對χ和y執(zhí)行-⑴ 與+ C 之間的積分。Pdiff (kx,ky) = / / Pat (x, y) · exp [_j (kx · x+ky · y] dxdykx = 0 3 /λ)5 η(θχ)ky = (2 3i/A)sin(6y)... (1)其中,Pat (x,y)是xy平面上光透射部位31的二維圖案,λ是作為外部光的入射光的波長,θ y分別是Χ方向和y方向上的衍射角。在此,假設入射光或外部光的波長λ的值是固定的525nm,以簡化計算??梢允褂每焖俑盗⑷~變換(FFT)高速計算表達式(1),這是由于其表示Pat (X,y) 的二維傅立葉變換。雖然Pdiff (kx,ky)包括相位信息,但實際上圖像拾取裝置檢測衍射光強度Hdiff (kx,ky)。如根據(jù)表達式(2)看到的,衍射光強度Hdiff (kx,ky)等于Pdiff (kx,ky)的絕對值的平方。Hdiff (kx,ky) = I Pdiff (kx,ky) 12. · · (2)在此,假設調(diào)制通過衍射光應用于圖像拾取裝置20的空間分辨率,則根據(jù)表達式 (3)計算MTF (調(diào)制傳遞函數(shù))?!癋FT □”表示執(zhí)行快速傅立葉變換,“ IFFT □”表示執(zhí)行逆快速傅立葉變換。η (fx, fy) = IFFT[Hdiff (kx,ky) ] I2· .. (3)其中,fx和fy分別表示配置圖像拾取裝置20的圖像拾取元件中的每一個的χ方向和y方向上的空間頻率。然后,通過光透射部分30透射之后的圖像拾取裝置20獲得的圖像I。am(x,y)和未通過光透射部分30透射的原始圖像Iral(x,y)滿足表達式(4)表示的關系。 如果圖像1。 (!^是紅色(R)分量,則其是拾取的圖像R數(shù)據(jù)Rcm0^),如果圖像1。 (!^)是綠色(G)分量,則其是拾取的圖像G數(shù)據(jù)G。am(x,y),如果圖像I。am(x,y)是藍色⑶分量,則其是拾取的圖像B數(shù)據(jù)Β。 (μ)。
FFT[lcatn(^y) J = FFT[lreal(^y)\x η(/χ,人)…⑷ 具體地,在空間頻域中,圖像Icam(x,y)是原始圖像IMal(x,y)與MTF的乘積。因此,為
了從圖像Uh)獲得原始圖像Irealix,y),可以執(zhí)行基于表達式(5)的處理。換言之,對于圖
31像信息可以執(zhí)行基于光透射部位31的形狀、大小和分布以及入射光或外部光的波長(統(tǒng)稱為“MTF形狀數(shù)據(jù)”)所執(zhí)行的MTF逆處理。例如,原始圖像Iral(x,y)是關于紅色(R)分量的紅色原始圖像RMal(x,y)、關于綠色(G)分量的綠色原始圖像G_1(x,y)、以及關于藍色⑶分量的藍色原始圖像B_1(x,y)。
權利要求
1.一種圖像顯示裝置,包括圖像顯示部分,包括在其之中陣列化并且均包括顯示元件的多個像素,所述圖像顯示部分允許用于圖像拾取的圖像拾取部分被布置在其后面?zhèn)?,所述圖像顯示部分還包括與所述圖像拾取部分對應的其區(qū)域中提供的光透射部分;以及噪聲抑制處理單元,適用于對于所述圖像拾取部分通過所述光透射部分獲取的圖像信息執(zhí)行用于抑制所述圖像顯示部分上的顯示圖像對拾取圖像的反射分量的反射噪聲抑制處理。
2.如權利要求1所述的圖像顯示裝置,還包括時序控制部分,適用于在所述圖像顯示部分的顯示時序與所述圖像拾取部分的圖像拾取時序之間建立同步。
3.如權利要求1所述的圖像顯示裝置,其中,所述噪聲抑制處理單元對于從所述圖像拾取部分通過所述光透射部分獲取的圖像信息提取的特定區(qū)域中的圖像信息執(zhí)行反射噪聲抑制處理,并且將尚未執(zhí)行除了所述特定區(qū)域之外的背景區(qū)域的所述反射噪聲抑制處理的圖像信息和針對所述特定區(qū)域已經(jīng)執(zhí)行了所述反射噪聲抑制處理的圖像信息進行合成。
4.如權利要求1所述的圖像顯示裝置,其中,所述噪聲抑制處理單元對于表示所述圖像信息的多個信號中的至少一個執(zhí)行所述反射噪聲抑制處理;并不對于所有的所述多個信號執(zhí)行所述反射噪聲抑制處理。
5.如權利要求4所述的圖像顯示裝置,其中,所述噪聲抑制處理單元對于來自表示所述圖像信息的多個信號當中的與亮度信息具有相關性的一個或數(shù)個信號執(zhí)行所述反射噪聲抑制處理。
6.如權利要求4所述的圖像顯示裝置,其中,所述噪聲抑制處理單元對于表示圖像信息的所述多個信號執(zhí)行色彩空間轉換以使得至少包括表示亮度信息的信號分量,然后在所述色彩空間轉換之后對于來自所述多個信號當中表示所述亮度信息的信號分量執(zhí)行所述反射噪聲抑制處理。
7.一種圖像顯示裝置,包括圖像顯示部分,包括在其之中陣列化并且均包括顯示元件的多個像素,所述圖像顯示部分允許用于圖像拾取的圖像拾取部分被布置在其后面?zhèn)龋鰣D像顯示部分還包括與所述圖像拾取部分對應的其區(qū)域中提供的光透射部分;以及時序控制部分,適用于控制所述圖像顯示部分的顯示時序和所述圖像拾取部分的圖像拾取時序,以便可以抑制所述圖像拾取部分通過所述光透射部分獲取的圖像信息中可能包括的、所述圖像顯示部分的顯示圖像對拾取圖像的反射分量。
8.如權利要求7所述的圖像顯示裝置,其中,所述時序控制部分在所述圖像顯示部分的顯示時序與所述圖像拾取部分的圖像拾取時序之間建立同步。
9.如權利要求1所述的圖像顯示裝置,其中,所述光透射部分包括與所述圖像拾取部分對應的所述圖像顯示部分的區(qū)域中提供的多個這種光透射部位;所述圖像顯示裝置還包括衍射校正單元,適用于執(zhí)行衍射校正處理,該衍射校正處理用于抑制所述光透射部分的衍射效應要施加于所述圖像拾取部分通過所述多個光透射部位獲取的圖像信息的干擾。
10.如權利要求9所述的圖像顯示裝置,還包括波長分布測量部分,適用于測量外部光的波長分布;所述衍射校正單元參照所述波長分布測量部分測量的外部光的波長分布,以執(zhí)行所述衍射校正處理。
11.如權利要求1所述的圖像顯示裝置,還包括會聚部分,適用于在所述圖像拾取部分上會聚通過所述光透射部分透射的光。
12.如權利要求1所述的圖像顯示裝置,其中,所述顯示元件是光發(fā)射元件。
13.一種電子裝置,包括圖像拾取部分,適用于拾取圖像;圖像顯示部分,包括在其之中陣列化并且均包括顯示元件的多個像素,所述圖像顯示部分具有在其后面?zhèn)炔贾玫乃鰣D像拾取部分,所述圖像顯示部分還包括與所述圖像拾取部分對應的其區(qū)域中提供的光透射部分;以及噪聲抑制處理單元,適用于對于所述圖像拾取部分通過所述光透射部分獲取的圖像信息執(zhí)行用于抑制所述圖像顯示部分上的顯示圖像對拾取圖像的反射分量的反射噪聲抑制處理。
14.一種電子裝置,包括噪聲抑制處理單元,適用于對于用于圖像拾取的圖像拾取部分通過圖像顯示部分的光透射部分所獲取的圖像信息執(zhí)行用于抑制所述圖像顯示部分上的顯示圖像對拾取圖像的反射分量的反射噪聲抑制處理,其中所述圖像拾取部分部署在圖像顯示部分的后面?zhèn)?,所述圖像顯示部分包括在其之中陣列化并且均包括顯示元件的多個像素,并且還包括與所述圖像拾取部分對應的其區(qū)域中提供的光透射部分。
15.一種電子裝置,包括圖像拾取部分,適用于拾取圖像;圖像顯示部分,包括在其之中陣列化并且均包括顯示元件的多個像素,所述圖像顯示部分具有在其后面?zhèn)炔贾玫乃鰣D像拾取部分,所述圖像顯示部分還包括與所述圖像拾取部分對應的其區(qū)域中提供的光透射部分;以及時序控制部分,適用于控制所述圖像顯示部分的顯示時序和所述圖像拾取部分的圖像拾取時序,以便可以抑制所述圖像拾取部分通過所述光透射部分獲取的圖像信息中可能包括的、所述圖像顯示部分的顯示圖像對拾取圖像的反射分量。
16.一種圖像顯示系統(tǒng),包括圖像拾取裝置,適用于拾取圖像;圖像顯示裝置,包括圖像顯示部分,該圖像顯示部分包括在其之中陣列化并且均包括顯示元件的多個像素,所述圖像顯示部分允許在其后面?zhèn)炔贾盟鰣D像拾取裝置,所述圖像顯示部分還包括與所述圖像拾取裝置對應的其區(qū)域中提供的光透射部分;以及噪聲抑制處理單元,適用于對于所述圖像拾取裝置通過所述光透射部分獲取的圖像信息執(zhí)行用于抑制所述圖像顯示部分上的顯示圖像對拾取圖像的反射分量的反射噪聲抑制處理。
17.一種圖像顯示系統(tǒng),包括圖像拾取裝置,適用于拾取圖像;圖像顯示裝置,包括圖像顯示部分,該圖像顯示部分包括在其之中陣列化并且均包括顯示元件的多個像素,所述圖像顯示部分允許在其后面?zhèn)炔贾盟鰣D像拾取裝置,所述圖像顯示部分還包括與所述圖像拾取裝置對應的其區(qū)域中提供的光透射部分;以及時序控制部分,適用于控制所述圖像顯示部分的顯示時序和所述圖像拾取裝置的圖像拾取時序,以便可以抑制所述圖像拾取裝置通過所述光透射部分獲取的圖像信息中可能包括的、所述圖像顯示部分的顯示圖像對拾取圖像的反射分量。
18.一種圖像獲取方法,包括在包括在其之中陣列化并且均包括顯示元件的多個像素的圖像顯示部分上顯示圖像, 所述圖像顯示部分允許用于圖像拾取的圖像拾取部分被布置在其后面?zhèn)?,所述圖像顯示部分還包括與所述圖像拾取部分對應的其區(qū)域中提供的光透射部分;借助于所述圖像拾取部分,通過所述光透射部分拾取所述圖像顯示部分的顯示面?zhèn)鹊膱D像拾取對象的圖像,以獲取圖像信息;以及對于獲取的圖像信息執(zhí)行用于抑制所述圖像顯示部分上的顯示圖像對所述圖像拾取部分拾取的圖像信息的反射分量的反射噪聲抑制處理。
19.一種圖像獲取方法,包括在包括在其之中陣列化并且均包括顯示元件的多個像素的圖像顯示部分上顯示圖像, 所述圖像顯示部分允許用于圖像拾取的圖像拾取部分被布置在其后面?zhèn)?,所述圖像顯示部分還包括與所述圖像拾取部分對應的其區(qū)域中提供的光透射部分;借助于所述圖像拾取部分,通過所述光透射部分拾取所述圖像顯示部分的顯示面?zhèn)鹊膱D像拾取對象的圖像,以獲取圖像信息;以及控制所述圖像顯示部分的顯示時序和所述圖像拾取部分的圖像拾取時序,以便可以抑制所述圖像拾取部分通過所述光透射部分獲取的圖像信息中可能包括的、圖像顯示部分的顯示圖像對拾取圖像的反射分量。
20.一種程序,其用于使得計算機執(zhí)行在包括在其之中陣列化的并且均包括顯示元件的多個像素的圖像顯示部分的顯示時序與用于通過所述光透射部分拾取顯示面?zhèn)鹊膱D像拾取對象的圖像的圖像拾取部分的圖像拾取時序之間建立同步,所述圖像顯示部分允許在其后面?zhèn)炔贾糜糜趫D像拾取的圖像拾取部分,所述圖像顯示部分還包括與所述圖像拾取部分對應的其區(qū)域中提供的光透射部分;以及對于所述圖像拾取部分獲取的圖像信息,抑制所述圖像顯示部分上的顯示圖像對所述圖像拾取部分拾取的圖像信息的反射分量。
全文摘要
在此公開圖像顯示裝置、電子裝置、圖像顯示系統(tǒng)、圖像獲取方法和程序,所述圖像顯示裝置包括圖像顯示部分,其包括在其之中陣列化并且均包括顯示元件的多個像素,所述圖像顯示部分允許用于圖像拾取的圖像拾取部分被布置在其后面?zhèn)龋鰣D像顯示部分還包括與所述圖像拾取部分對應的其區(qū)域中提供的光透射部分;以及噪聲抑制處理單元,適用于對于所述圖像拾取部分通過所述光透射部分獲取的圖像信息執(zhí)行用于抑制圖像顯示部分上的顯示圖像對拾取圖像的反射分量的反射噪聲抑制處理。
文檔編號H04N7/14GK102271219SQ201110150709
公開日2011年12月7日 申請日期2011年6月7日 優(yōu)先權日2010年6月7日
發(fā)明者中村和夫 申請人:索尼公司