專利名稱：顯示裝置及其控制方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種適用于例如液晶顯示器、有才幾電致發(fā)光(EL) 顯示等的顯示裝置。更具體地，本發(fā)明涉及一種顯示裝置，該顯示 裝置的顯示區(qū)(面板)具有光接收元件，并且獲取諸如接觸或接近 面板物體的位置的信息，還涉及一種用于控制顯示裝置的方法。
背景技術(shù)：
已知一種用于4企測(cè)接觸或接近顯示器的顯示表面的物體的位 置等的技術(shù)。具體地，具有觸摸面板的顯示裝置是這種技術(shù)的一種 典型并一皮廣泛〗吏用的實(shí)例。當(dāng)存在各種類型的觸摸面板時(shí)，通常廣泛生活用那種4企測(cè)電容 的觸摸面板。這種類型的觸摸面板用于檢測(cè)當(dāng)手指接觸觸摸面板時(shí) 屏幕表面的電荷的改變，從而檢測(cè)物體的位置等。這種觸摸面板的 使用使用戶能夠執(zhí)行直觀的操作。例如，本受讓人已通過(guò)第2004-127272號(hào)日本專利/>開(kāi)(下文 中，稱作專利文獻(xiàn)l)提出了一種具有顯示部(顯示/成像面板)的顯示裝置，該顯示部具有顯示圖^f象的顯示功能和成^f象(或片全觀'J)物 體的成像(或檢測(cè))功能。發(fā)明內(nèi)容根據(jù)專利文獻(xiàn)1所述的顯示裝置，例如，當(dāng)諸如手指的物體接 觸或者接近顯示/成像面板時(shí)，能夠基于通過(guò)〗吏用乂人物體反射的顯示 光(即，待檢測(cè)光)拍攝的圖像來(lái)檢測(cè)物體的位置等。因此，具有 簡(jiǎn)單結(jié)構(gòu)的顯示裝置的使用能夠檢測(cè)物體的位置等，而不需要在顯示面板上纟是供諸如觸摸面板的組件。但是，在這種類型的顯示裝置中，例如，必需光接收(輸入) 功能的操作才能確定手指等是否接近面板的表面。因此，即使當(dāng)指 尖長(zhǎng)時(shí)間沒(méi)有纟丸行操作時(shí)，仍然會(huì)不斷的消耗功率才能進(jìn)行光接 收。這種不必要的功率消耗在通過(guò)電池提供電源的便攜式設(shè)備中尤 為不利。本發(fā)明的優(yōu)勢(shì)在于4是供了 一種具有簡(jiǎn)單結(jié)構(gòu)并且能夠才t測(cè)物 體的位置等以及降低不必要的功率消耗的顯示裝置，以及用于控制 該顯示裝置的方法。根據(jù)本發(fā)明的第一實(shí)施例，提供了一種顯示裝置，包括顯示 面板，具有顯示功能和光接收/成像功能；第一圖像處理部，被配置 為，基于對(duì)通過(guò)光接收/成像功能獲得的圖像執(zhí)行的第 一圖像處理的 結(jié)果生成表示是否已檢測(cè)到待檢測(cè)物體的檢測(cè)信號(hào)；第二圖像處理 部，被配置為對(duì)經(jīng)過(guò)第 一 圖像處理部處理的圖像執(zhí)行第二圖像處 理，第二圖像處理具有比第一圖像處理更大的處理載荷；以及控制 部，被配置為根據(jù)由第 一圖像處理部生成的檢測(cè)信號(hào)控制第二圖像 處理部的才喿作，以及當(dāng)確定不需要由第二圖像處理部進(jìn)4亍的處理 時(shí)，控制第二圖l象處理部進(jìn)入休眠狀態(tài)。根據(jù)本發(fā)明的第二實(shí)施例，提供了 一種用于控制顯示裝置的方 法，其中，顯示裝置包括顯示面板，具有顯示功能和光接收/成像功 能，所述方法包括以下步驟基于對(duì)通過(guò)光接收/成像功能獲得的圖 像執(zhí)行的第一圖像處理的結(jié)果，生成表示是否已檢測(cè)到待檢測(cè)物體的檢測(cè)信號(hào)；對(duì)由第一圖像處理獲得的圖像執(zhí)行第二圖像處理，第 二圖^f象處理具有比第一圖Y象處理更大的處理載荷；以及才艮才居在生成 步驟中生成的檢測(cè)信號(hào)來(lái)控制第二圖像處理的操作，以及當(dāng)確定不 需要第二圖像處理時(shí)，控制第二圖像處理進(jìn)入休眠狀態(tài)。根據(jù)本發(fā)明的第三實(shí)施例，提供了一種顯示裝置，包括顯示 面板，在顯示區(qū)內(nèi)具有多個(gè)顯示元件和多個(gè)光接收傳感器；第一圖 像處理部，被配置為基于多個(gè)光接收傳感器的輸出來(lái)執(zhí)行用于檢測(cè) 接觸或接近顯示面板的物體的第一圖像處理；第二圖像處理部，被 配置為基于第 一 圖 <象處理部的輸出來(lái)^M亍用于至少荻得所沖企測(cè)物 體在顯示區(qū)中的位置的信息的第二圖像處理；以及控制部，被配置 為當(dāng)不需要由第二圖像處理部的處理時(shí)，才艮據(jù)由第一圖像處理部4企 測(cè)物體的結(jié)果來(lái)控制第二圖4象處理部進(jìn)入4木眠狀態(tài)。根據(jù)本發(fā)明的這些實(shí)施例，通過(guò)光4妄收/成像功能獲得的圖像凈皮 提供給第 一圖像處理部。第 一圖像處理部基于對(duì)所獲得圖像執(zhí)行的 第 一 圖像處理的結(jié)果來(lái)確定是否已檢測(cè)到待檢測(cè)物體(是待被檢測(cè) 的物體)，生成表示確定結(jié)果的檢測(cè)信號(hào)，并將檢測(cè)信號(hào)提供給控 制部?？刂撇扛鶕?jù)通過(guò)第一圖像處理部生成的檢測(cè)信號(hào)來(lái)控制第二 圖像處理部的操作。然后，當(dāng)確定不需要第二圖像處理部的處理時(shí)， 控制第二圖像處理部進(jìn)入《木眠狀態(tài)。才艮據(jù)本發(fā)明的這些實(shí)施例，能夠通過(guò)簡(jiǎn)單結(jié)構(gòu)來(lái)4企測(cè)物體的位 置等，并降低了不必要的功率消耗。


圖1是示出了根據(jù)本發(fā)明的第 一實(shí)施例的便攜式顯示裝置的整
體結(jié)構(gòu)的框圖2是示出了通過(guò)根據(jù)本實(shí)施例的第一圖像處理部(即，硬件 圖l象處理部)所才丸行的程序的流程圖3是示出了在圖2中的手指接近檢測(cè)處理的程序的流程圖4是示出了如圖1所示的1/0顯示面板的典型結(jié)構(gòu)的框圖5是示出了像素的典型結(jié)構(gòu)的電路圖6是用于描述像素和傳感器讀耳又用H驅(qū)動(dòng)器的連4妻方式的電 路圖7是用于描述背光的開(kāi)/關(guān)狀態(tài)和顯示狀態(tài)之間的關(guān)系的時(shí) 序圖8是根據(jù)本實(shí)施例的節(jié)電順序的狀態(tài)轉(zhuǎn)換圖9是示出了節(jié)電控制的脈沖順序的示圖10是示出了根據(jù)本發(fā)明的第二實(shí)施例的便攜式顯示裝置的 整體結(jié)構(gòu)的框圖11是示出了根據(jù)第二實(shí)施例的指尖提取處理的流程圖12是用于描述圖11中的提取處理的時(shí)序圖；圖13是示出了如圖12所示的差分圖像(difference-image)指
尖才是耳又處理的細(xì)節(jié)的流禾呈圖14示出了用于描述差分圖像指尖提取處理的圖像；
圖15A和圖15B示出了用于描述當(dāng)環(huán)境光亮?xí)r的差分圖像指 尖4是取處理的示圖16A和圖16B是用于描述當(dāng)環(huán)境光暗時(shí)的差分圖像指尖提 耳又處理的示圖17A和圖17B是用于描述通過(guò)差分圖像指尖提取處理獲得 的光接收信號(hào)的動(dòng)態(tài)范圍的示圖18A~圖18D示出了用于描述當(dāng)同時(shí)存在多個(gè)待檢測(cè)指尖時(shí) 的差分圖像指尖提取處理的圖像；
圖19是示出了如圖12所示的陰影圖像指尖提取處理的細(xì)節(jié)的 流程圖20是用于描述陰影圖像指尖提取處理的概念的透視圖解；
圖21是示出了通過(guò)陰影圖像指尖提取處理獲得的圖像實(shí)例的 示意圖22示出了用于描述陰影圖像指尖提取處理的圖像；
圖23示出了用于描述通過(guò)陰影圖像指尖提取處理獲得的光接 收信號(hào)的示圖24A、圖24B、圖25、和圖26是用于描述生成移動(dòng)平均圖 像的處理過(guò)程的示圖；圖27是用于描述當(dāng)比較差分圖像指尖提取處理和陰影圖像指 尖提取處理時(shí)的兩種處理的表格；
圖28A、圖28B、圖29、圖30、和圖31是用于描述指尖4是耳又 處理的4吏用結(jié)果的應(yīng)用實(shí)例的圖解；
圖32是示出了才艮據(jù)本發(fā)明的第三實(shí)施例的指尖4是取處理的流
程圖33是示出了根據(jù)本發(fā)明的第四實(shí)施例的指尖提取處理的流 程圖34示出了用于描述如圖33所示的圖〗象結(jié)合處理的圖像；
圖35A和圖35B是用于描述根據(jù)本發(fā)明的另一個(gè)實(shí)施例的移 動(dòng)平均圖l象的生成過(guò)程的示圖；以及
圖36A和圖36B是用于描述4艮據(jù)本發(fā)明的又一個(gè)實(shí)施例的移 動(dòng)平均圖像的生成過(guò)程的示圖。
具體實(shí)施例方式
下文中，將參照附圖描述本發(fā)明的實(shí)施例。 [第一實(shí)施例]
圖1是示出了根據(jù)本發(fā)明第一實(shí)施例的便攜式顯示裝置1的整 體結(jié)構(gòu)的框圖。
作為主要組件， <更攜式顯示裝置1包括I/O顯示系統(tǒng)2和設(shè)備 驅(qū)動(dòng)器(應(yīng)用處理部)3。1/0顯示系統(tǒng)2包4舌I/0顯示面^反20、背光21、和I/0顯示系 統(tǒng)集成電3各(下文中，稱作"顯示IC，，)22。
當(dāng)提供顯示器時(shí)，在根據(jù)本實(shí)施例的顯示裝置1中的I/O顯示 系統(tǒng)2能夠通過(guò)顯示器表面4丸行成〗象。I/O顯示系統(tǒng)2具有以下功能。
功能1 )為基于通過(guò)使背光21快速開(kāi)/關(guān)獲得的兩個(gè)光接收?qǐng)D 像來(lái)消除環(huán)境光的影響并通過(guò)圖像處理生成指尖變亮的圖像的功
能。指尖是接觸或接近顯示表面并待被檢測(cè)的物體的實(shí)例。
功能2 )為基于當(dāng)背光21關(guān)時(shí)獲得的光接收?qǐng)D像并有效使用環(huán) 境光來(lái)執(zhí)行陰影才僉測(cè)處理并通過(guò)圖像處理生成4妄觸或接近顯示表 面的手指變亮的圖^象的功能。功能2)與功能l)纟皮并^^丸行。
功能3 )為同時(shí)執(zhí)行功能1 )和2 )以通過(guò)處理獲得指尖變亮的 圖像的功能。
通過(guò)專業(yè)硬件圖像處理部執(zhí)行上面的處理1 ) ~3)。根據(jù)通過(guò) 功能3)獲得的結(jié)果確定指尖是否接觸或4妄近顯示表面。
功能4)為基于通過(guò)硬件圖像處理部執(zhí)行的處理結(jié)果，通過(guò)對(duì) 于當(dāng)前系統(tǒng)專業(yè)的軟件圖像處理部(微處理單元(MPU))所執(zhí)行 的軟件圖像處理來(lái)計(jì)算與待檢測(cè)指尖數(shù)以及指尖的坐標(biāo)、面積、和 區(qū)域相關(guān)的信息。
在顯示裝置1中的I/0顯示系統(tǒng)2具有下面的功能來(lái)實(shí)現(xiàn)節(jié)電。
功能5)為當(dāng)在預(yù)定時(shí)間周期沒(méi)有檢測(cè)到指尖時(shí)使用于處理的 MPU自動(dòng)進(jìn)入^U民狀態(tài)的功能。當(dāng)在預(yù)定時(shí)間周期沒(méi)有4企測(cè)到指 尖時(shí)，確定不需要軟件圖像處理。功能6)為當(dāng)MPU處于〗木眠^(guò)1犬態(tài)時(shí)以比正常時(shí)間更長(zhǎng)的間隔 執(zhí)行光接收和圖像處理以當(dāng)MPU處于休眠狀態(tài)時(shí)降低功率消耗的 功能。功能7)為當(dāng)在MPU已進(jìn)入休眠狀態(tài)后硬件圖像處理部確定 指尖已4妾近顯示表面時(shí)^f吏MPU返回正常狀態(tài)以再次以正常間隔才丸 行光接收和圖像處理的功能。功能8)為當(dāng)實(shí)現(xiàn)本系統(tǒng)的設(shè)備的應(yīng)用暫時(shí)不需要檢測(cè)指尖等 輸入時(shí)，為了降低功率消耗而延遲為在本系統(tǒng)中的MPU和光接收 功能揭j是供電源的功能。在這種情況下，1/0顯示系統(tǒng)2具有適當(dāng) 執(zhí)行用于使MPU進(jìn)入休眠狀態(tài)的程序的功能。通過(guò)液晶面—反(液晶顯示器(LCD))形成I/O顯示面一反20, 例如，在整個(gè)液晶面板上， <象素(顯示元件)以矩陣形式配置。I/O字符等的圖像的功能(即，顯示功能)。另外，如下所述，1/0顯示 面板20具有成像接觸或接近I/O顯示面板20的物體的功能(即， 成像功能)。背光21用作I/O顯示面板20的光源，其中，例如，排 列多個(gè)發(fā)光二才及管。如下所述，通過(guò)與1/0顯示面板20的才喿作定時(shí) 同步的預(yù)定定時(shí)來(lái)控制快速開(kāi)和關(guān)背光21。顯示IC22包括顯示驅(qū)動(dòng)電路23、光接收設(shè)備電路24、硬件圖 像處理部(即，第一圖像處理部)25、軟件圖像處理部(即，第二 圖1象處理部)26、和節(jié)電《^空制部27。當(dāng)執(zhí)行逐行操作時(shí)，顯示驅(qū)動(dòng)電路23驅(qū)動(dòng)I/O顯示面板20， 從而基于顯示凌t據(jù)來(lái)顯示圖Y象(即，以^丸4亍顯示才喿作)。當(dāng)才丸行逐4亍沖乘作時(shí)，光^妄收驅(qū)動(dòng)電^各24驅(qū)動(dòng)I/O顯示面々反20,從而獲得光4妻收數(shù)據(jù)(即，以成〗象物體)。注意到，例如，光4妄收驅(qū)動(dòng)電路24在幀存儲(chǔ)器(未示出)中逐幀累積每個(gè)像素的光接收 數(shù)據(jù)，并將光接收數(shù)據(jù)輸出至第一圖像處理部25,作為所拍攝的圖像。第一圖像處理部(即，硬件圖l象處理部)25才丸4亍反射4全測(cè)處理 (暗/亮差分處理)，作為第一處理。反射檢測(cè)處理為基于通過(guò)快速 開(kāi)和關(guān)背光21所拍^聶的兩個(gè)光接收?qǐng)D像來(lái)消除環(huán)境光的影響并且 通過(guò)圖像處理來(lái)生成圖像(接觸或接近1/0顯示面才反20的表面的指 尖變亮)的處理。第一圖像處理部25也執(zhí)行陰影檢測(cè)處理，作為 第二處理?；诋?dāng)背光21關(guān)時(shí)有效使用環(huán)境光拍攝的光接收?qǐng)D像 來(lái)才丸行陰影;險(xiǎn)測(cè)處理，并且通過(guò)圖^f象處理生成4妾觸或4妄近表面的指 尖變亮的圖像。第一圖像處理部25同時(shí)才丸行反射4企測(cè)處理(即， 第一處理)和陰影#:測(cè)處理(即，第二處理)，/人而通過(guò)處理獲得 指尖變亮的圖像。然后，第一圖l象處理部25才丸行將通過(guò)反射才企測(cè) 處理(即，第一處理)獲得的圖l象和通過(guò)陰影才企測(cè)處理(即，第二 處理)獲得的圖像結(jié)合的處理(即，第三處理)，此后，執(zhí)行手指 4妄近4企測(cè)處理(即，第四處理)，用于4企測(cè)作為祠"險(xiǎn)的物體的手指 已接近I/O顯示面板20的表面。第一圖像處理部25將圖像處理的 結(jié)果輸出至第二圖^象處理部26,并且將作為手指接觸4企測(cè)處理的結(jié) 果的手指4妄觸4企測(cè)信號(hào)S25 (find_obj)輸出至節(jié)電控制部27。手 指接觸檢測(cè)信號(hào)S25可以通過(guò)另一個(gè)處理部提供給節(jié)電控制部27， 并且在待從第一圖像處理部25輸出至節(jié)電控制部27的沖企測(cè)信號(hào)中 還包括手指接近檢測(cè)信號(hào)S25。圖2是示出了通過(guò)根據(jù)本實(shí)施例的第一圖像處理部(即，硬件 圖像處理部)25所執(zhí)行的處理程序的流程圖。圖3是示出了圖2中 的手指4妻近4企測(cè)處理的流程圖。如圖2所示，在步驟ST1和ST2中，第一圖像處理部25同時(shí) 寺丸4亍反射^^測(cè)處理(即，第一處理)和陰影4企測(cè)處理(即，第二處 理)。隨后，在步驟ST3中，第一圖像處理部25執(zhí)行將通過(guò)反射檢 測(cè)處理(即，第一處理)所獲得的圖像和通過(guò)陰影;險(xiǎn)測(cè)處理(即， 第二處理)所獲得的圖像結(jié)合的處理(即，第三處理)。此后，在 步驟ST4中，第一圖像處理部25執(zhí)行手指接近檢測(cè)處理。參照?qǐng)D 3，在步驟ST4中的手指接近檢測(cè)處理中，第一圖像處理部25在步 驟ST41中對(duì)作為兩個(gè)圖像的結(jié)合結(jié)果所獲得的圖像執(zhí)行平滑處理 以進(jìn)行減噪。隨后，在步驟ST42中，第一圖《象處理部25確定是否 存在尺寸大于閾值的NxN區(qū)域。如果在步驟ST42中第一圖像處 理部25確定存在這樣的區(qū)域，則第一圖像處理部25將手指接近沖企 測(cè)信號(hào)S25 (find一obj)以高電平輸出至節(jié)電控制部27，判斷作為 待沖全測(cè)物體的手指已4妄近I/O顯示面板20的表面，并且已一企測(cè)到4妄 近。如果在步驟ST42中第 一 圖像處理部25確定不存在這樣的區(qū)域， 則第一圖像處理部25將手指接近檢測(cè)信號(hào)S25 (find_obj)以低電 平輸出至節(jié)電控制部27，判斷作為待被檢測(cè)的物體的手指沒(méi)有接近 I/O顯示面纟反20的表面。根據(jù)通過(guò)第一圖像處理部(即，硬件圖像處理部)25所執(zhí)行的 處理的結(jié)果，第二圖^f象處理部(即，^L件圖4象處理部(MPU)) 26 通過(guò)軟件圖像處理來(lái)計(jì)算與待被檢測(cè)的指尖的數(shù)目以及指尖的坐 標(biāo)、面積、和區(qū)域相關(guān)的信息，并且4企測(cè)和獲得與作為4妄觸或4妻近 1/0顯示面板20的物體相關(guān)的信息(例如，位置坐標(biāo)數(shù)據(jù)或與物體 的形狀或尺寸相關(guān)的凄t據(jù))。通過(guò)第二圖像處理部26所才丸行的處理 比通過(guò)第一圖l象處理部25所沖丸4亍的處理具有更大的載荷和更多的 功率消耗。因此，在節(jié)電模式時(shí)，節(jié)電控制部27控制第二圖像處 理部26進(jìn)入切斷狀態(tài)。通過(guò)第二圖^f象處理部26所^M于的處理的結(jié) 果被提供給設(shè)備控制器3。稍后將描述第一和第二圖像處理部所執(zhí)行的處理的細(xì)節(jié)。節(jié)電控制部27從第一圖像處理部25接收手指接近檢測(cè)信號(hào) S25 ( fmd_obj )，并且執(zhí)行第二圖像處理部26的開(kāi)/關(guān)控制。當(dāng)節(jié)電 控制部27接收手指接觸檢測(cè)信號(hào)S25 (find—obj )并確定在預(yù)定時(shí) 間周期沒(méi)有檢測(cè)到指尖時(shí)，節(jié)電控制部27判斷不需要軟件圖像處 理，并且使用于處理的第二圖像處理部(MPU)自動(dòng)進(jìn)入休眠狀態(tài)。 當(dāng)MPU處于〗木眠狀態(tài)時(shí)，節(jié)電4空制部27以比正常時(shí)間更長(zhǎng)的間隔 來(lái)^丸行光接收和圖像處理，因此，降低了功率消一毛。當(dāng)MPU進(jìn)入 ^M民狀態(tài)后確定第一圖^f象處理部(即，石更件圖^f象處理部)25已4全測(cè) 到指尖的接近時(shí)，節(jié)電控制部27使MPU復(fù)位，從而再次以正常間 隔才丸4亍光^l妻收和圖^f象處理。另外，節(jié)電控制部27具有當(dāng)實(shí)現(xiàn)本系 統(tǒng)的設(shè)備的應(yīng)用暫時(shí)不需要檢測(cè)指尖等的輸入時(shí)中止為在本系統(tǒng) 中的MPU和光接收功能提提供電源以降低功率消耗的功能。在這 種情況下，節(jié)電控制部27具有適當(dāng)執(zhí)行用于使MPU進(jìn)入休眠模式 的程序的功能。例如，當(dāng)使MPU進(jìn)入休眠狀態(tài)時(shí)，節(jié)電控制部27 控制時(shí)鐘啟動(dòng)信號(hào)MPU—elk—en以使MPU變?yōu)橥Ｖ构ぷ鳡顟B(tài)。稍 后將描述通過(guò)節(jié)電控制部27的節(jié)電控制的細(xì)節(jié)。以下將描述在本實(shí)施例中沖丸行節(jié)電控制的原因。在I/O顯示系 統(tǒng)2中，光接收(輸入)功能的操作需要確定指尖等是否接近I/O 顯示面板20的表面。因此，如果即使很長(zhǎng)時(shí)間沒(méi)有通過(guò)指尖執(zhí)行 操作仍經(jīng)常消耗功率來(lái)進(jìn)行光接收，則I/O顯示系統(tǒng)2的使用就不 適用于便攜式設(shè)備。在實(shí)際使用中，在很多情況下，不是經(jīng)常對(duì)顯 示面板執(zhí)行操作的。例如，假設(shè)I/O顯示系統(tǒng)2被用于數(shù)碼像機(jī)的 顯示面板。在這種情況下，當(dāng)拍照時(shí)，不會(huì)頻繁對(duì)顯示面板執(zhí)行操 作，然而當(dāng)再生圖片或者執(zhí)行相機(jī)設(shè)置等時(shí)，幾乎還要對(duì)顯示面板 執(zhí)行操作。根據(jù)本實(shí)施例的I/O顯示系統(tǒng)2具有用于光接收的信息處理的 三個(gè)主要功能塊邏輯電路，用作光接收和數(shù)字轉(zhuǎn)換部；第一圖像處理部(即，硬件圖像處理部)25;和第二圖l象處理部(即，軟件 圖像處理部(MPU))26。從功率消耗的觀點(diǎn)來(lái)看，這三個(gè)塊的連 續(xù)操作對(duì)于便攜式設(shè)備來(lái)說(shuō)不實(shí)際。特別地，僅當(dāng)需要非常精確的 計(jì)算時(shí)才需要第二圖像處理部26的操作，并且僅通過(guò)用于光接收 的邏輯電路、數(shù)字轉(zhuǎn)換部、和第一圖像處理部(即，硬件圖像處理 部)25就能確定是否正在對(duì)I/O顯示面板20 4丸行操作。因此，在 本實(shí)施例中，為了降低不必要的功率消耗，節(jié)能控制部27控制第 二圖像處理部26的操作。設(shè)備控制器3基于通過(guò)第二圖像處理部26所生成的檢測(cè)結(jié)果 并根據(jù)預(yù)定應(yīng)用軟件來(lái)執(zhí)行處理。例如，設(shè)備控制器3使顯示數(shù)據(jù) 包括所檢測(cè)物體的位置坐標(biāo)，并且在I/O顯示面板20上顯示坐標(biāo)。 應(yīng)注意，通過(guò)設(shè)備控制器3生成的顯示數(shù)據(jù)被提供給顯示設(shè)備電路 23。接下來(lái)將參照?qǐng)D4描述I/O顯示面板20的結(jié)構(gòu)細(xì)節(jié)的實(shí)例。I/O 顯示面板20包括顯示區(qū)(傳感器區(qū))201、顯示用H驅(qū)動(dòng)器202、 顯示用V驅(qū)動(dòng)器203、傳感器用V驅(qū)動(dòng)器204、和傳感器讀耳又用H 驅(qū)動(dòng)器205。顯示區(qū)(傳感器區(qū))201是用于調(diào)節(jié)來(lái)自背光21的光以發(fā)出顯 示光的區(qū)域，并且另外，成像接觸或接近這個(gè)區(qū)的物體的區(qū)域。后 述作為顯示元件(即，發(fā)光元件)的液晶元件和光接收元件(即， 成4象元件)中的每個(gè)均以矩陣形式配置在顯示區(qū)(傳感器區(qū))201 中。此處，注意，光接收元件的數(shù)目可以與顯示元件的數(shù)目不同。 例如，光4妄收元4?？梢员蕊@示元件更少?；谟糜谕ㄟ^(guò)顯示驅(qū)動(dòng)電路23提供的顯示驅(qū)動(dòng)的控制時(shí)鐘和 顯示信號(hào)，顯示用H驅(qū)動(dòng)器202與顯示用V驅(qū)動(dòng)器203結(jié)合以逐 行驅(qū)動(dòng)在顯示區(qū)201內(nèi)的像素中的液晶元件。傳感器讀取用H驅(qū)動(dòng)器205與傳感器用V驅(qū)動(dòng)器204結(jié)合以 逐行驅(qū)動(dòng)在顯示區(qū)(傳感器區(qū))201內(nèi)的像素中的光接收元件，/人 而獲得光接收信號(hào)。接下來(lái)將參考圖5描述在顯示區(qū)201中的每個(gè)像素的結(jié)構(gòu)的細(xì) 節(jié)的實(shí)例。圖5所示的l象素31由作為顯示元^f牛的液晶元件和光4妄 收元件構(gòu)成。特別地，在顯示元件邊，通過(guò)薄膜晶體管(TFT)形成的切換 元件31 a配置在沿水平方向延伸的柵極線31 h與沿垂直方向延伸的 漏極線31i的交點(diǎn)處，并且包括液晶的像素電才及31b配置在在切換 元件31a和相對(duì)電極之間。切換元件31a基于通過(guò)柵極線31h提供 的驅(qū)動(dòng)信號(hào)而開(kāi)和關(guān)，并且當(dāng)切換元件31a處于開(kāi)狀態(tài)時(shí)，基于通 過(guò)漏極線31i提供的顯示信號(hào)將像素電壓施加給像素電極31b,以 設(shè)置顯示狀態(tài)。另一方面，在與顯示元件相鄰的光4妻收元件側(cè)，例如，配置通 過(guò)光電二才及管等所形成的光4妄收傳感器31c，并且電源電壓VDD萍皮 才是供給傳感器31c。另外，復(fù)位開(kāi)關(guān)31d和電容器31e連接至光4妄 收傳感器31c。對(duì)應(yīng)所^接收的光量的電荷^皮累積在電容器31e中， 同時(shí)，復(fù)位開(kāi)關(guān)31d復(fù)位。當(dāng)讀耳又開(kāi)關(guān)31g開(kāi)時(shí)，所累積的電荷通 過(guò)緩沖放大器31f提供給信號(hào)輸出用電極線31j，從而將電荷輸出 至外部。通過(guò)從復(fù)位電極線31k提供的信號(hào)來(lái)控制復(fù)位開(kāi)關(guān)31d的 開(kāi)和關(guān)4喿作，并且通過(guò)^v讀^F又控制電^l線31m 4是供的信號(hào)來(lái)控制讀 耳又開(kāi)關(guān)31g的開(kāi)和關(guān)4喿作。接下來(lái)將參照?qǐng)D6描述在顯示區(qū)201和傳感器讀取用H驅(qū)動(dòng)器 205中的每個(gè)像素之間的連接。在顯示區(qū)201中，平行排列用于紅 色(R)的像素31、用于綠色(G)的像素32、和用于藍(lán)色(B) 的<象素33。通過(guò)緩沖放大器31f、 32f、和33f分別放大在連接至像素中的 光4妄收傳感器31c、 32c、和33c的多個(gè)電容器中所累積的電荷，并 且當(dāng)分別打開(kāi)讀取開(kāi)關(guān)31g、 32g、和33g時(shí)，通過(guò)信號(hào)輸出用電才及 線提供給傳感器讀取用H驅(qū)動(dòng)器205。注意，恒電流源41a、 41b、 和41c連接至信號(hào)輸出用電4及線，乂人而能夠通過(guò)傳感器讀耳又用H驅(qū) 動(dòng)器205來(lái)高靈敏地檢測(cè)與所接收的光量對(duì)應(yīng)的信號(hào)。接下來(lái)將詳細(xì)描述根據(jù)本實(shí)施例的顯示裝置的操作。首先，將描述顯示裝置的基本^t乘作，即，圖像顯示#:作和物體 成像操作。此后，將描述節(jié)電控制部27的節(jié)電控制操作。在這個(gè)顯示/成像裝置中，顯示驅(qū)動(dòng)電路23基于從設(shè)備控制器 3提供的顯示數(shù)據(jù)來(lái)生成顯示用驅(qū)動(dòng)信號(hào)，并且基于這個(gè)驅(qū)動(dòng)信號(hào)， 逐行驅(qū)動(dòng)I/O顯示面板20來(lái)顯示圖像。此時(shí)，通過(guò)顯示驅(qū)動(dòng)電3各 23馬區(qū)動(dòng)背光21,從而與1/0顯示面板20同步#1行光開(kāi)/關(guān)操作。此處，將參照?qǐng)D7在下面立刻描述背光21的開(kāi)/關(guān)狀態(tài)和I/O 顯示面板20的顯示狀態(tài)之間的關(guān)系。例如，假設(shè)通過(guò)1/60秒的幀周期來(lái)執(zhí)行圖像顯示。在這種情況 下，在每個(gè)幀周期的第一個(gè)半周期(長(zhǎng)度為1/120秒)內(nèi)，背光21 不提供亮度(即，處于關(guān)狀態(tài))，從而不提供顯示。同時(shí)，在每個(gè) 幀周期的第二個(gè)半周期期間內(nèi)，背光21提供亮度(即，處于開(kāi)狀 態(tài))，并且顯示信號(hào)被提供給每個(gè)像素，從而顯示關(guān)于該幀周期的 圖像。如上所述，每個(gè)幀周期的第一個(gè)半周期為暗周期，在此期間內(nèi)， 從1/0顯示面板20不發(fā)射顯示光，而每個(gè)幀周期的第二個(gè)半周期為 亮周期，在此期間內(nèi)，從I/O顯示面板20發(fā)射顯示光。此處，當(dāng)存在接觸或接近I/O顯示面板20的物體(例如，指尖) 時(shí)，作為光接收驅(qū)動(dòng)電路24逐行驅(qū)動(dòng)光接收元件的結(jié)果，通過(guò)在 I/O顯示面板20內(nèi)的1象素中的光"i妄收元件成1'象物體，并且/人每個(gè)光 接收元件向光接收驅(qū)動(dòng)電路24提供光接收信號(hào)。從對(duì)應(yīng)于一個(gè)幀 的像素提供的光接收信號(hào)被累積在光接收驅(qū)動(dòng)電路24中，并且作 為所獲得的圖像，光接收信號(hào)被輸出給第一圖像處理部25。隨后，第二圖像處理部26基于所拍攝的圖像來(lái)執(zhí)-f亍稍后詳細(xì) 描述的預(yù)定圖像處理(計(jì)算處理)，從而檢測(cè)與接觸或接近I/O顯示 面板20的物體相關(guān)的信息(例如，位置坐標(biāo)凄t據(jù)或與物體的形狀 或尺寸相關(guān)的數(shù)據(jù))。接下來(lái)將參照?qǐng)D8和圖9A~圖9H描述節(jié)電控制裝置27的節(jié) 電控制操作。圖8是4艮據(jù)本實(shí)施例的節(jié)電順序的狀態(tài)轉(zhuǎn)換圖。圖 9A ~圖9H示出了節(jié)電控制的^K沖順序。圖9A示出了手指4妄近才企 測(cè)信號(hào)find—obj。圖9B示出了手指才企測(cè)信號(hào)finger—det。圖9C示出 了傳感器中止信號(hào)sensor—disable。圖9D示出了一種狀態(tài)。圖9E 示出了休眠轉(zhuǎn)換信號(hào)prepare—sleep。圖9F示出了 MPU時(shí)鐘啟動(dòng)信 號(hào)MPU—elk—en。圖9G示出了傳感器停止周期sensor_5fps。圖9H 示出了傳感器運(yùn)行信號(hào)sensor—active。由于在本實(shí)施例中需要固定的處理程序使MPU進(jìn)入休眠狀態(tài) 或者使MPU復(fù)原，所以實(shí)現(xiàn)了如圖8所示滿足條件的狀態(tài)轉(zhuǎn)換淨(jìng)皮。 同時(shí)，當(dāng)MPU處于^木眠狀態(tài)時(shí)，需要用于才企測(cè)指尖等4妾近的石更件 和算法。由于硬件不適用于諸如加標(biāo)記的高級(jí)處理，所以預(yù)備了通 過(guò)MPU所執(zhí)行的簡(jiǎn)化的專業(yè)算法(參看圖3)。在本實(shí)施例中，預(yù) 備用于節(jié)電和判斷用硬件的狀態(tài)轉(zhuǎn)換控制和操作模式來(lái)作為實(shí)現(xiàn) 所有上述功能的系統(tǒng)，從而防止了功率消耗的增加。如圖8所示，在本實(shí)施例中限定用于實(shí)現(xiàn)節(jié)電功能和兩種轉(zhuǎn)牙奐 狀態(tài)的三種操作模式。在完全操作模式中，允許光接收傳感器經(jīng)常操作。在完全操作模式下，1/O顯示面板20對(duì)其上所執(zhí)行的操作最敏感。通常，每秒 60次處理屏幕上的傳感器信息。注意，由于當(dāng)背光處于接通狀態(tài)和 處于切斷狀態(tài)時(shí)獲得兩個(gè)圖像，所以每秒120次掃描傳感器。同時(shí)，在間歇4喿作才莫式中，傳感器處理每秒僅凈皮處理1 ~幾次， 從而用于傳感器讀取所消耗的功率、用于圖像處理所消耗的功率、 和通過(guò)MPU所消耗的功率都被降低。如果對(duì)于預(yù)定時(shí)間周期在完 全操作模式中不對(duì)I/O顯示系統(tǒng)2執(zhí)行操作，則內(nèi)部MPU自動(dòng)轉(zhuǎn) 換至休眠狀態(tài)，從而導(dǎo)致間歇操作模式。此外，當(dāng)設(shè)備控制器3判斷不需要使用I/O顯示功能時(shí)，I/O 顯示系統(tǒng)2轉(zhuǎn)換至傳感器切斷模式。使用傳感器停止信號(hào) sensor—disable從設(shè)備控制器3明確通知用于轉(zhuǎn)換至傳感器切斷才莫式 的命令。當(dāng)接收到這個(gè)命令時(shí)，I/O顯示系統(tǒng)2運(yùn)行用于使用于圖 <象處理的MPU轉(zhuǎn)換至^^木眠狀態(tài)并且隨后切斷傳感器的處理程序， 從而I/O顯示系統(tǒng)2進(jìn)入功率消耗被降4氐至最小的狀態(tài)。當(dāng) sensor—disable已凈皮耳又消時(shí)，I/O顯示系統(tǒng)2首先專爭(zhēng)^奐至間歇才喿4乍才莫 式。第一圖像處理部(即，硬件圖^f象處理部)25具有4企測(cè)手指的接 近而無(wú)需取決于MPU (即，第二圖像處理部)的判斷能力。以以 下方式實(shí)現(xiàn)手指接近的檢測(cè)。即，如果從硬件圖像處理的結(jié)果中發(fā) 現(xiàn)尺寸大于某個(gè)閾值的亮區(qū)，則第一圖像處理部25判斷這個(gè)區(qū)可 以對(duì)應(yīng)于手指，并JM夸此通知鄉(xiāng)會(huì)節(jié)電控制部27。當(dāng)4妄收到這個(gè)通知 時(shí)，如果MPU處于〗木眠狀態(tài)，則節(jié)電控制部27 4吏MPU轉(zhuǎn)才灸至揭:作狀態(tài)，并且使傳感器驅(qū)動(dòng)電路和圖像處理硬件從間歇操作模式轉(zhuǎn) 換至完全操作模式。上面的排列能夠僅當(dāng)需要時(shí)應(yīng)用完全操作模式。因此，使得設(shè) 備功率消耗的降低。<關(guān)于功率消井C和反應(yīng)速度〉反應(yīng)速度和功率消耗隨著模式是完全操作模式還是間歇操作 才莫式而變化，并且隨著當(dāng)才莫式為間歇#:作才莫式時(shí)的4喿作間隔而變 化。功率消耗在便攜式設(shè)備中很重要，而在功率消耗不會(huì)引起問(wèn)題的系統(tǒng)情況下，應(yīng)優(yōu)先考慮反應(yīng)速度。作為時(shí)限i"更攜式設(shè)備的實(shí)例，假設(shè)將一組傳感器處理定義為一幀(當(dāng)背光開(kāi)和關(guān)時(shí)所執(zhí)行的掃描 的兩個(gè)實(shí)例可以一皮定義為一組)，此處所推薦的標(biāo)準(zhǔn)4非列為"完全操作=60幀/秒，間歇操作=2幀/秒"。在這種情況下，在間歇才喿作 模式中的功率消耗比完全操作模式中的功率消耗更低，大約為其三 十分之一 (因?yàn)槭筂PU進(jìn)入休眠狀態(tài)，所以進(jìn)一步降低了功率消 耗)。在期望在間歇操作模式中實(shí)現(xiàn)更快反應(yīng)的情況下，例如，可 以將間歇才喿作才莫式i殳為10幀/秒。在這種情況下，響應(yīng)在O.l秒之 內(nèi)，因此，實(shí)現(xiàn)了快速轉(zhuǎn)換至完全操作模式，從而幾乎沒(méi)有人能夠 注意到。但是，在這種情況下，間隙操作模式的功率消耗約為標(biāo)準(zhǔn) 配置情況的5倍。上面已經(jīng)描述了根據(jù)本實(shí)施例的基本結(jié)構(gòu)和節(jié)電控制。下文 中，將更詳細(xì)地描述根據(jù)本實(shí)施例的圖像處理。接下來(lái)參照?qǐng)D11 ~ 27描述接觸或接近I/O顯示面板20的諸如 指尖的物體(相鄰物體)的提取處理(即，指尖提取處理)的細(xì)節(jié)。 通過(guò)圖Y象處理實(shí)現(xiàn)這個(gè)處理，并且是本發(fā)明的一個(gè)重要特征。圖11是通過(guò)圖像處理部才丸行的指尖提取處理的流程圖。圖12是示出了 指尖提取處理的 一部分的時(shí)序圖。1/O顯示面纟反20在一個(gè)顯示幀周期的第一個(gè)半周期(即，暗周 期)期間內(nèi)執(zhí)行鄰近物體的成像處理，其中，背光21處于關(guān)狀態(tài)， ^v而獲得圖A (陰影圖)(圖11中的步驟STll、和圖12)。接下來(lái)，I/O顯示面板20在一個(gè)顯示幀周期的第二個(gè)半周期 (即，亮周期)期間內(nèi)執(zhí)行鄰近物體的成像處理，其中，背光21 處于開(kāi)狀態(tài)，從而獲得圖像B (顯示光用圖像)(圖12)。隨后，例 如，根據(jù)作為圖像B和圖像A之間的差值的差分圖像C,通過(guò)第一 圖像處理部25執(zhí)行指尖提取處理(即，差分圖像指尖提取處理)。與差分圖像指尖提取處理并行地，根據(jù)圖像A (即，陰影圖^象) 并通過(guò)第一圖像處理部25執(zhí)行指尖提取處理(即，陰影圖像指尖 才是耳又處理)(圖11中的步艱《ST13)。接下來(lái)，第一圖像處理部25確定是否已通過(guò)在步驟ST12中的 差分圖像指尖提取處理提取指尖(即，與諸如指尖的鄰近物體的位 置、形狀、尺寸等相關(guān)的信息已經(jīng)被獲得)(步驟ST14)。如果確 定指尖已被提取(步驟ST14: Y)，則第二圖像處理部26確定采用 通過(guò)差分圖像指尖提取處理的提取結(jié)果(步驟ST15),并將最終結(jié) 果輸出至設(shè)備控制器3 (步驟ST17)。同時(shí)，如果確定沒(méi)有^是耳又指尖(步驟ST14: N)，則第二圖4象 處理部26確定采用通過(guò)陰影圖〗象指尖提取處理的一是取結(jié)果(步驟 ST16)，并將最終結(jié)果輸出至設(shè)備控制器(步驟ST17)。如上所述，關(guān)于根據(jù)本實(shí)施例的圖像處理(包括硬件和軟件處 理)，作為主要處理執(zhí)行差分圖像指尖提取處理，并且作為次處理執(zhí)行陰影圖像指尖提取處理。隨后，當(dāng)考慮這兩種提取處理時(shí)，最 終選4奪通過(guò)其中的 一種^是耳又處理的^是取結(jié)果。接下來(lái)將描述差分圖像指尖提取處理和陰影圖像指尖提取處 J里的細(xì)節(jié)。首先，將參照?qǐng)D13~圖18描述差分圖像指尖提取處理的細(xì)節(jié)。 圖13是示出了差分圖像指尖提取處理的細(xì)節(jié)的流程圖。如上所述，I/O顯示面一反20在一個(gè)顯示幀周期的第二個(gè)半周期 (即，亮周期)期間內(nèi)才丸^f亍鄰近物體的成^f象處理，其中，背光21 處于開(kāi)狀態(tài)，從而獲得圖像B(即，顯示光用圖像)(圖13中的步 驟ST121及圖12 )。接下來(lái)，第二圖像處理部26生成差分圖〗象C，該差分圖^象為 圖像B和圖像A(即，陰影圖像)之間的差值，在背光21處于關(guān) 狀態(tài)的周期(即，暗周期)期間內(nèi)，通過(guò)成像獲得圖像A (步驟 ST122 )。隨后，第二圖像處理部26執(zhí)行確定所生成的差分圖像的重心 的計(jì)算處理(步驟ST123 ),并識(shí)別4妻觸(接近)的中心(步驟ST124 )。如上所述，在差分圖像指尖提取處理中，根據(jù)差分圖像C執(zhí)行 指尖的提取處理，差分圖像C為圖像B (使用顯示光獲得)和圖像 A (使用環(huán)境光而不使用顯示光獲得)之間的差值。因此，如通過(guò) 如圖14所示的差分圖像C的典型圖像所示，才企測(cè)到鄰近物體，從 而消除了環(huán)境光亮度的影響。特別地，假設(shè)入射的環(huán)境光與如圖15A的截面圖所示的一樣 強(qiáng)。在這種情況下，如圖15B所示，在背光點(diǎn)亮的情況下的光4妾收輸出電壓Vonl具有在手指沒(méi)有與面板的顯示區(qū)201接觸的位置處 的電壓值Va和在手指與面板的顯示區(qū)201接觸的位置處的減小電 壓值Vb。電壓值Va對(duì)應(yīng)于環(huán)境光的亮度，同時(shí)，電壓值Vb對(duì)應(yīng) 于與面板的顯示區(qū)201接觸的物體(手指)的反射系數(shù)，物體反射 來(lái)自背光的光。相反，在背光21沒(méi)有點(diǎn)亮的情況下的光接收輸出 電壓Voffl具有在手指沒(méi)有與面才反的顯示區(qū)201 <接觸的4立置處的電 壓值Va和在手指與面才反的顯示區(qū)201接觸的4立置處的電壓值Vc。 因?yàn)樵谑种概c面板的顯示區(qū)201接觸的位置處的環(huán)境光^皮手指擋 住，所以電壓值Vc非常低?！┲?沒(méi)如圖16A的截面圖所示，輸入的環(huán)境光非常弱(或者幾乎 不存在入射的環(huán)境光)。在這種情況下，如圖16B所示，在背光21 點(diǎn)亮的狀態(tài)下的光"^妾收^T出電壓Von2具有在手指沒(méi)有與面^反的顯 示區(qū)201接觸的位置處的非常低的電壓值Vc (因?yàn)閹缀醪淮嬖诃h(huán) 境光)和在手指與面板的顯示區(qū)201接觸的位置處的被增大的電壓 值Vb。電壓值Vb對(duì)應(yīng)于與面板的顯示區(qū)201接觸的物體(手指) 的反射率，物體反射來(lái)自背光的光線。相反，在背光21沒(méi)有被點(diǎn) 亮的情況下的光接收輸出電壓Voff2整體都具有非常低的電壓Vc。從圖15A和圖15B及圖16A和圖16B可以明顯看出，在手指 沒(méi)有與面板的顯示區(qū)201接觸的位置處，光接收輸出電壓依賴于是 否存在環(huán)境光而顯著不同。另一方面，在手指與面才反的顯示區(qū)201 接觸的位置處，不管是否存在環(huán)境光，光接收輸出電壓都顯著一致。 即，在存在環(huán)境光的情況和不存在環(huán)境光的兩種情況下，在手指與 面板的顯示區(qū)201接觸的位置處，當(dāng)背光點(diǎn)亮?xí)r，光接收輸出電壓 具有電壓〗直Vb,而當(dāng)背光沒(méi)有點(diǎn)亮?xí)r，具有電壓Y直Vc。因此，通過(guò)4全測(cè)當(dāng)背光21點(diǎn)亮?xí)r的電壓和當(dāng)背光21沒(méi)有點(diǎn)亮 時(shí)的電壓之間的差值，能夠檢測(cè)手指接觸或接近面板的顯示區(qū)201 的點(diǎn)。例如，電壓值Vb和電壓值Vc之間的差值非常大。這么大電壓差出現(xiàn)的點(diǎn)能夠被識(shí)別為手指接觸或接近面^^的顯示區(qū)201的 點(diǎn)。因此，不管入射在面板上的環(huán)境光是否^艮強(qiáng)或者是否幾乎不存 在環(huán)境光，也能夠同樣很好地檢測(cè)手指的接觸或接近。如圖17A和圖17B所示，如下確定光4妄收專敘出電壓的4企測(cè)所 需的動(dòng)態(tài)范圍。圖17A示出了面才反的顯示區(qū)201、手指f、和圓形 物體m。手指f與面^反的表面^妾觸，并且反射率幾乎為100%的圓 形物體m置于顯示區(qū)201上。圖17B示出了在如圖17A所示的4犬 態(tài)下手指f和物體m都存在的線上的光接收輸出電壓。在圖17B中， 電壓Von3表示在背光點(diǎn)亮的狀態(tài)下的光接收輸出電壓，并且電壓 VofB表示在背光沒(méi)有點(diǎn)亮的狀態(tài)下的光接收輸出電壓。參照?qǐng)D17B,不需要測(cè)量電壓值(^皮表示為Vy),該電壓大于 當(dāng)背光點(diǎn)亮?xí)r在反射率幾乎為100%的物體m 一皮放置的位置處所枱r 測(cè)的電壓值Vd。在這些電壓值Vy下面的電壓值的范圍Vx為4企測(cè) 所需的動(dòng)態(tài)范圍。因此，可以認(rèn)為不需要被檢測(cè)的電壓值Vy具有 相同值。從如圖18A 18D所示的圖像(分別對(duì)應(yīng)于圖像A C和圖像 C的二值圖像(two-level image ))顯而易見(jiàn)，在差分圖像指尖提取 處理中，也能夠同時(shí)獲得與1/0顯示面板20的顯示區(qū)201接觸或接 近的多個(gè)物體的位置、形狀、尺寸等相關(guān)的信息。接下來(lái)，將參照?qǐng)D19-圖26描述陰影圖像指尖提取處理的細(xì) 節(jié)。圖19是示出了陰影圖像指尖提取處理的細(xì)節(jié)的流程圖。圖20 是當(dāng)陰影圖像指尖提取處理被執(zhí)行時(shí)的狀態(tài)的透視圖解。首先，第一圖像處理部25或第二圖像處理部26生成先前獲得 的圖像A(即，陰影圖像)的逆l象(-A)(步艱《ST131)。另外，第一圖像處理部25或第二圖像處理部26生成原始圖像A的移動(dòng)平均 圖像MA (步驟ST132)。以以下方式生成移動(dòng)平均圖^f象MA。如圖24A所示，例如，對(duì) 在圖像A中由一個(gè)聚焦像素30A及其周?chē)袼貥?gòu)成的像素區(qū)30執(zhí) 行平均化像素?cái)?shù)據(jù)的處理(下文中，適當(dāng)稱作"平均化計(jì)算處理") (在這種情況下，由(2a+l) x (2a+l)個(gè)像素構(gòu)成像素區(qū)30)。如圖 25所示，例如，相對(duì)于所獲得的整個(gè)圖像^M亍平均化計(jì)算處理，同 時(shí)將交點(diǎn)從一個(gè)像素移至另一個(gè)像素。在對(duì)包括下一個(gè)被聚焦像素 的下 一個(gè)像素區(qū)所4丸行的平均化計(jì)算處理中反映了對(duì)一個(gè)〗象素區(qū) 執(zhí)行的平均化計(jì)算處理的結(jié)果。優(yōu)選地，根據(jù)待檢測(cè)物體的期望尺 寸(即，物體尺寸)來(lái)設(shè)置在其上執(zhí)行平均化計(jì)算處理的像素區(qū)30 的尺寸(在這種情況下，(2a+l)個(gè)像素x(2a+l)個(gè)像素)(例如，像 素區(qū)30的尺寸可以近似設(shè)為物體尺寸a)。例如，如對(duì)于如圖21所 示的圖像20A (對(duì)應(yīng)于后述圖像D或圖像E)發(fā)生的一樣，這是因 為以這種方式設(shè)置像素區(qū)的尺寸防止了第 一部分(^皮表示為參考數(shù) 字"60A")被檢測(cè)。稍后將給出詳細(xì)的描述。注意，如圖26所示， 例如，對(duì)于在區(qū)域50之外的區(qū)域51的像素?cái)?shù)據(jù)(需要平均化計(jì)算 處理)，例如，可以應(yīng)用區(qū)域50的外圍像素?cái)?shù)據(jù)的拷貝。接下來(lái)，第一圖像處理部25或第二圖^f象處理部26基于移動(dòng)平 均圖像MA計(jì)算將在后面使用(步驟ST136)的閾值TH (步驟 ST133)。特別地，第一圖像處理部25或第二圖《象處理部26基于在 移動(dòng)平均圖像MA中最亮像素的像素?cái)?shù)據(jù)(即，具有最大尺寸的像 素?cái)?shù)據(jù))和在原始圖像A中最暗像素的像素?cái)?shù)據(jù)(即，具有最小尺 寸的像素?cái)?shù)據(jù))來(lái)計(jì)算閾值TH。例如，第一圖像處理部25或第二 圖像處理部26通過(guò)獲得上面兩^a像素?cái)?shù)據(jù)的平均值來(lái)計(jì)算閾值 TH。注意，由于鄰近物體不可能同時(shí)配置在顯示區(qū)201的四個(gè)角中，所以在顯示區(qū)201的四角中像素的像素?cái)?shù)據(jù)的平均值可以用作最亮像素的像素?cái)?shù)據(jù)(即，具有最大尺寸的像素?cái)?shù)據(jù))。4妾下來(lái)，第二圖^f象處理部26生成所生成的移動(dòng)平均圖〗象MA 的逆像(-MA)(步驟ST134),并生成作為在原始圖4象A的逆像 (-A)和移動(dòng)平均圖像MA的逆像(-MA)之間的差值的差分 圖像D (步驟ST135)。差分圖像D是移動(dòng)平均圖像MA和原始圖 i象A之間的差^直D = (-A)-(-MA) = MA-A。隨后，第二圖傳一 處理部26通過(guò)乂人圖^f象D中的每4殳<象素邀:據(jù)中減去在步駛《ST133中 所計(jì)算的閾值TH來(lái)生成圖像E ( =D-TH)(步驟ST136)。此處，如在圖22中所示的圖像D和E及在如圖23所示的圖像 D和E中的典型的光4妻收輸出電壓波形Gd和Ge —樣，當(dāng)沒(méi)有才企 測(cè)到大于指尖的第一部分時(shí)， 一企測(cè)尺寸與物體尺寸a非常一致的指 尖部分。注意，如圖23所示的典型的光4妾收l(shuí)命出電壓波形Ga、 G (-A)、 Gma、和G ( - MA )分別對(duì)應(yīng)于在原始圖像A、其逆像 (-A)、移動(dòng)平均圖像MA、和其逆像(-MA)中的光接收輸出 電壓波形的實(shí)例。接下來(lái)，以與上述差分圖像指尖提取處理中類似的方式，根據(jù) 圖E,第二圖像處理部26沖丸4亍重心計(jì)算處理(步驟ST137)和識(shí)別 接觸(接近)中心點(diǎn)的處理(步驟ST138)。如上所述，在陰影圖像指尖提取處理中，根據(jù)作為圖像A(使 用環(huán)境光所獲得的)的移動(dòng)平均圖像MA和原始圖像A之間的差值 的差分圖像D執(zhí)行指尖的提取處理。因此，如上所述，檢測(cè)到尺寸 與物體尺寸非常一致的物體，并且即使當(dāng)沒(méi)有發(fā)出顯示光時(shí)(例如， 當(dāng)4象在作為顯示元件的液晶元件為半透明、液晶元件并且在戶外4吏 用1/0顯示面板20的情況下背光21經(jīng)常處于關(guān)狀態(tài)時(shí)，或者當(dāng)I/O 顯示面板20上正在顯示黑色圖像時(shí))也能夠4企測(cè)到鄰近物體。注意，在這種陰影圖像指尖提取處理中以及在差分圖像指尖提取處理中，能夠獲得關(guān)于與1/0顯示面板20的顯示區(qū)201同時(shí)接觸 或接近的多個(gè)物體的位置、形狀、尺寸等的信息。在根據(jù)實(shí)施例的顯示裝置中，當(dāng)同時(shí)考慮上述的差分圖像指尖 提取處理和陰影圖像指尖提取處理時(shí)，通過(guò)兩種處理的其中一個(gè)所 獲得的鄰近物體的檢測(cè)結(jié)果被作為第二圖像處理部26的最終結(jié)果 輸出至設(shè)備控制器3。圖27示出了差分圖像指尖提取處理和陰影圖像指尖提取處理 的特性。在圖27中，"excellent"表示在相應(yīng)條件下，相應(yīng)的指尖 提取處理為極佳的指尖提取，"conditional"表示在相應(yīng)條件下，相 應(yīng)的指尖提取處理取決于環(huán)境，在指尖提取中有時(shí)優(yōu)，有時(shí)差，并 且"poor"表示在相應(yīng)條件下，響應(yīng)的指尖提取處理在指尖提取中 總體很差。從圖27中明顯看出，當(dāng)周?chē)習(xí)r，差分圖像指尖提取 處理在指尖提取中更優(yōu)，因此，估計(jì)可能采用通過(guò)差分圖像指尖提 取處理所獲得的提取結(jié)果。當(dāng)背光21沒(méi)有點(diǎn)亮并且沒(méi)有發(fā)出顯示 光時(shí)，或者當(dāng)顯示面板處于黑色狀態(tài)時(shí)，差分圖像指尖提取處理有 時(shí)不能進(jìn)行指尖提取，在這種情況下，估計(jì)可能采用通過(guò)陰影圖像 指尖提取處理所獲得的提取結(jié)果。接下來(lái)，參照?qǐng)D28A~圖31描述設(shè)備控制器3如4可使用與通 過(guò)如上所述的指尖拔:耳又處理所#r測(cè)的物體的位置等相關(guān)的信息來(lái) #1行應(yīng)用程序的幾個(gè)實(shí)例。在圖28A所示的實(shí)例中，用戶通過(guò)指尖61觸摸I/O顯示面板 20的表面，并且在屏幕上作為所畫(huà)出的線611來(lái)顯示指尖在I/0顯 示面一反20的表面上的4九跡。如圖28B所示的實(shí)例為識(shí)別手的形狀的手勢(shì)的實(shí)例。特別;也， 識(shí)別與I/O顯示面板20接觸(或接近)的手62的形狀，顯示表示 所識(shí)別手的形狀的圖像，并且4艮據(jù)所顯示的那個(gè)物體的移動(dòng)621來(lái) 沖丸4亍某些處理。如圖29所示的實(shí)例為處于合攏狀態(tài)的手63A改變?yōu)樘幱谏扉_(kāi) 狀態(tài)的手63B、通過(guò)圖像識(shí)別I/O顯示面板20來(lái)識(shí)別處于各個(gè)狀態(tài) 的手的接觸或接近、并且根據(jù)圖像識(shí)別的結(jié)果來(lái)執(zhí)行處理的實(shí)例， 例如，通過(guò)根據(jù)這種識(shí)別的處理來(lái)發(fā)布用于進(jìn)行縮放的命令。另夕卜， 因?yàn)槟軌蛞赃@種方式發(fā)布這種命令，所以例如，通過(guò)這種圖^象識(shí)別上用于切換命令的操作。j):匕夕卜，如圖30所示，例如，可以預(yù)備多個(gè)I/O顯示面才反20， 并且通過(guò)彼此連接傳輸介質(zhì)，通過(guò)檢測(cè)物體的接觸或接近而在一個(gè) I/O顯示面板上獲得的圖〗象可以^皮傳輸至其它I/O顯示面板，并且 在其它I/O顯示面一反上一皮顯示，從而使得4喿作各個(gè)顯示面板的用戶 能夠彼此通信。即，如圖30所示，可以預(yù)備兩個(gè)I/0顯示面板，通 過(guò)圖像識(shí)別其中一個(gè)面板所識(shí)別的手的形狀65可以被傳輸至其它 面板，乂人而在其它面板上顯示手的形狀642。而且，例如，在后者 的面板上^皮顯示的手的形狀642可以;故傳l敘并在前者的面一反上一皮顯示。如上所述，表示《會(huì)畫(huà)行為的—見(jiàn)頻可以乂人一個(gè)面才反#:傳輸至另一個(gè)面板，從而手寫(xiě)字符、圖像等能夠被發(fā)送給其它人。這可以導(dǎo)致 新通信工具的實(shí)現(xiàn)。例如，當(dāng)I/O顯示面板20被應(yīng)用到手機(jī)終端中 的顯示面纟反時(shí)，這個(gè)實(shí)例是可以想象到的。此外，如圖31所示，例如，字符可以通過(guò)毛筆66寫(xiě)在I/0顯 示面板20的表面上，并且可以在I/O顯示面板20上作為圖l象661 顯示在I/0顯示面板20的表面上的毛筆66的專九跡。通過(guò)這種方式， 使用毛筆實(shí)現(xiàn)了手寫(xiě)字符的鍵入。在這種情況下，能夠識(shí)別和再生哪怕是毛筆的很微弱的觸碰。在常用的手寫(xiě)識(shí)別中，諸如在某些數(shù) 字轉(zhuǎn)換器中，通過(guò)電場(chǎng)檢測(cè)識(shí)別專用鋼筆的傾斜。但是，在這個(gè)實(shí) 例中，4企測(cè)了真實(shí)毛筆的觸石並，因此，能夠以更真實(shí)的感覺(jué)才丸^M言 息輸入。如上所述，在本實(shí)施例中，作為通過(guò)使用顯示光成4象鄰近物體所獲得的圖像B (即，顯示光用圖像)和通過(guò)成像鄰近物體的陰影 所獲得的圖像A(即，陰影圖像)之間的差值的差分圖像C被生成， 并且當(dāng)考慮圖像A(即，陰影圖像)和差分閨像C時(shí)，4盆測(cè)到與鄰 近物體的位置、形狀、和尺寸中至少一個(gè)相關(guān)的信息。因此，能夠 檢測(cè)物體，而不管此時(shí)的使用環(huán)境(諸如周?chē)沫h(huán)境、顯示光的亮 度等)如何。此外，根據(jù)圖像A生成移動(dòng)平均圖像MA,并且4吏用作為移動(dòng) 平均圖像MA和原始圖像A之間的差值的差分圖像D以及通過(guò)從 在差分圖像D中的每段像素?cái)?shù)據(jù)中減去闊值TH所獲得的圖像E來(lái) 檢測(cè)物體。另外，在平均化計(jì)算處理時(shí)的像素區(qū)30的尺寸近似設(shè) 為待才企測(cè)物體的期望尺寸(即，物體尺寸)。因此，例如，當(dāng)沒(méi)有 檢測(cè)到大于指尖的第一部分時(shí)，能夠檢測(cè)尺寸與物體尺寸非常一致 的指尖部分。因此，提高了檢測(cè)處理的精度。此外，在一個(gè)操作周期(即， 一個(gè)顯示幀周期)內(nèi)，比圖4象B (即，顯示光用圖像)更早地獲得圖像A (即，陰影圖像)。因此， 例如，如圖12所示，在寺丸行差分圖l象指尖揭:耳又處理前，能夠4呆i正 計(jì)算移動(dòng)平均圖^象MA的時(shí)間(計(jì)算花費(fèi)4艮長(zhǎng)時(shí)間)。因此，相比 于比圖像A更早地獲得圖像B的情況，減小了整個(gè)處理所需的時(shí)間。注意，在本實(shí)施例中，差分圖<象指尖拔_耳又處理為主處理，而陰 影圖像指尖提取處理為次處理。但是，在本發(fā)明的另一個(gè)實(shí)施例中，可以分別執(zhí)行差分圖像指尖提取處理和陰影圖像指尖提取處理作 為次處J里和主處理。[第二實(shí)施例;i圖io是示出了根據(jù)本發(fā)明第二實(shí)施例的便攜式顯示裝置的整 體結(jié)構(gòu)的框圖。在如圖i所示的顯示裝置i中的1/0顯示系統(tǒng)2中，用于面才反 的系統(tǒng)包括基于圖像(通過(guò)硬件處理使指尖變亮)計(jì)算坐標(biāo)和面積的MPU浮。壽tl'牛。i史備4空制器3基于坐一示禾口面積、的信息來(lái)#丸4亍#^乍。 在這種情況下，控制器的負(fù)載相對(duì)較輕。另一方面，在如圖IO所示的顯示裝置1A中的1/0顯示系統(tǒng)2A 中，用于面才反的系統(tǒng)不包4舌計(jì)算坐標(biāo)和面積的MPU或^d牛，同時(shí)， 系統(tǒng)還包括判斷電路，其根據(jù)通過(guò)硬件處理使指尖變亮的圖像來(lái)判 斷指尖與面板接近。通過(guò)設(shè)備控制器3執(zhí)行隨后的坐標(biāo)和面積的計(jì) 算。在這種情況下，通過(guò)改變?cè)诿姘逯械膫鞲衅鞯牟僮鏖g隔來(lái)實(shí)現(xiàn) 功率消耗的降低。指尖是否與面板接近的信息和圖像處理的結(jié)果被從面板系統(tǒng)提供給設(shè)備控制器3 。如上所述，能夠根據(jù)應(yīng)用本發(fā)明實(shí)施例的設(shè)備來(lái)稍微改變硬件 結(jié)構(gòu)。此外，能夠選擇是以降低功率消耗為主還是以加快反應(yīng)速度 為主。[第三實(shí)施例]接下來(lái)將描述本發(fā)明的第三實(shí)施例。在4艮據(jù)本實(shí)施例的顯示/ 成像裝置中，根據(jù)預(yù)定標(biāo)準(zhǔn)選擇差分圖像指尖提取處理和陰影圖像 指尖提取處理中之一 ，并且根據(jù)所選擇的圖像來(lái)執(zhí)行指尖提取處理。第三實(shí)施例在其它方面和才喿作上類似于第一實(shí)施例，因此，將 適當(dāng)省略對(duì)其的描述。圖32是示出了根據(jù)本實(shí)施例的指尖提取處理的流程圖。如圖 32所示，在以與上述實(shí)施例相同的方式獲得了圖l象A (即，陰影圖 像)(步驟ST21 )后，第二圖像處理部26根據(jù)環(huán)境選擇性執(zhí)行兩 種處理中之一 (步驟ST22 ST26，見(jiàn)圖27的對(duì)比表)，確保指尖 4是耳又處理的可靠性。特別地，當(dāng)背光經(jīng)常處于關(guān)狀態(tài)時(shí)、當(dāng)黑色圖像正在被顯示時(shí)、 或當(dāng)周?chē)话禃r(shí)，選擇性執(zhí)行陰影圖像指尖提取處理(步驟ST26 )， 并且輸出最終結(jié)果(步驟ST27)?；趫D像A(即，陰影圖像)中 的像素?cái)?shù)據(jù)的尺寸來(lái)確定周?chē)欠癜?。?dāng)^象素?cái)?shù)據(jù)的尺寸小時(shí)，確 定周?chē)?艮暗。同時(shí)，當(dāng)背光沒(méi)有經(jīng)常處于關(guān)狀態(tài)、黑色圖^象沒(méi)有正在被顯示、 和周?chē)馨禃r(shí)，選擇性執(zhí)行差分圖像指尖提取處理(步驟ST25)， 并且輸出最終結(jié)果(步驟ST27 )。如上所述，在本實(shí)施例中，基于預(yù)定標(biāo)準(zhǔn)選擇差分圖像指尖提 取處理和陰影圖像指尖提取處理中之一 ，并且基于所選擇的圖像執(zhí) 行指尖提取處理。因此，在變化很大的使用環(huán)境中，適當(dāng)應(yīng)用兩種 指尖換:耳又處理中之一來(lái)確保提耳又處理的可靠性。[第四實(shí)施例]^妻下來(lái)將描述本發(fā)明的第四實(shí)施例。在4艮據(jù)本實(shí)施例的顯示/ 成^f象裝置中，如圖2和3所示，在任何情況下，第一圖^f象處理部25 執(zhí)行差分圖像指尖提取處理和陰影圖像指尖提取處理，并且使用圖 像A (即，陰影圖像)和差分圖像C的組合圖像來(lái)執(zhí)行指尖提取處理。第四實(shí)施例在其它方面和才喿作上類似于第一實(shí)施例，因此，將 適當(dāng)省略對(duì)其的描述。圖33是示出了根據(jù)本實(shí)施例的指尖提取處理的流程圖。如圖 33所示，在以與第一實(shí)施例相同的方式獲得圖像A (即使，陰影圖 像)(步驟ST31 )后，當(dāng)執(zhí)行重心計(jì)算處理或執(zhí)行識(shí)別接觸(接近) 的中心點(diǎn)的處理時(shí)，運(yùn)行差分圖像指尖提取處理和陰影圖像指尖提 耳又處理這兩個(gè)處理(步驟ST32和ST33 )。接下來(lái)，如圖34所示，例如，生成通過(guò)差分圖像指尖提取處 理生成的差分圖像C和通過(guò)陰影圖像指尖提取處理生成的圖像E的 組合圖像F ( = a x C + E)(步驟ST34)。注意，a為預(yù)定加權(quán)系數(shù)。隨后，與在上述實(shí)施例中一樣，第二圖像處理部26執(zhí)行重心 計(jì)算處理(步驟ST35)、識(shí)別接觸(接近)的中心點(diǎn)的處理(步驟 ST36)、和輸出最終結(jié)果的處理(步驟ST37)。如上所述，在本實(shí)施例中，在任意情況下都執(zhí)行差分圖像指尖 提取處理和陰影圖像指尖提取處理，并且生成通過(guò)差分圖像指尖提 耳又處理所生成的差分圖像C和通過(guò)陰影圖^f象指尖^是取處理所生成 的圖像E的組合圖像F( = axC + E)，并且根據(jù)組合圖像F執(zhí)行指 尖揭_耳又處理。因此，如圖34所示，例如，能夠4企測(cè)指尖等的更清 晰的圖像，并且能夠更可靠地執(zhí)行提取處理。上面已經(jīng)描述了本發(fā)明的第——第四實(shí)施例。但是，注意，本 發(fā)明并不限于這些實(shí)施例，并且能夠進(jìn)4于各種變化。例如，在本發(fā)明的 一 個(gè)實(shí)施例中生成移動(dòng)平均圖 <象的處理中， 當(dāng)選擇性減小物體像素時(shí)，可以執(zhí)行平均化計(jì)算處理，從而降低處 理量。例如，如圖35A和圖35B所示，當(dāng)焦點(diǎn)首先乂人一個(gè)4象素轉(zhuǎn)換:到在像素方向上聚焦像素鄰近的另一個(gè)像素時(shí)，可以對(duì)在這個(gè)方向 上的像素執(zhí)行平均化計(jì)算處理，此后，當(dāng)交點(diǎn)從一個(gè)像素轉(zhuǎn)換到在 其它<象素方向上聚焦像素鄰近的另一個(gè)<象素時(shí)，可以對(duì)在這個(gè)其它方向上的像素執(zhí)行平均化計(jì)算處理。而且，例如，可以使用如圖36A 和圖3 6B所示的操作電路70 ~ 73執(zhí)行在預(yù)定方向上的點(diǎn)加和處理。在上述實(shí)施例中，通過(guò)4艮據(jù)原始圖像A生成移動(dòng)平均圖像MA, 并基于祠"險(xiǎn)測(cè)物體的期望尺寸(即，物體尺寸)i殳置l象素區(qū)30在 這個(gè)移動(dòng)平均計(jì)算處理時(shí)的尺寸，在移動(dòng)平均圖1象MA中消除大于 像素區(qū)30的像素凄t據(jù)(即，具有比^f象素區(qū)30更高的空間頻率的像 素?cái)?shù)據(jù)(在這種情況下為指尖圖像))，并且通過(guò)獲得這個(gè)移動(dòng)平均 圖像MA和原始圖像A之間的差值，最終消除具有比l象素區(qū)30更 低的空間頻率的像素?cái)?shù)據(jù)(在這種情況下，為陰影圖像)，從而提 取具有高空間頻率的像素?cái)?shù)據(jù)(在這種情況下，為指尖圖像)。即， 在上述實(shí)施例中，作為這種高通濾波器的實(shí)例和實(shí)現(xiàn)更簡(jiǎn)單更快速 處理的方法，已經(jīng)描述了獲得移動(dòng)平均圖像MA和原始圖像A之間 的差值的方法。本發(fā)明并不限于4吏用上述方法?？蛇x地，可以4吏用 另一個(gè)高通濾波器來(lái)同時(shí)執(zhí)行低通濾波處理和差分處理。在上述實(shí)施例中，1/0顯示面板20中的顯示元件為液晶元件， 并且單獨(dú)^是供顯示元件的光4妻收元件。4旦是，注意，可以為i/o顯 示面板^是供諸如能夠單獨(dú)^丸行光發(fā)射才喿作和光4妻收操作的有才幾電 致發(fā)光(EL)元件的光發(fā)射/光接收元件(顯示/成〗象元件)。而且， 在這種情況下，同樣能夠?qū)崿F(xiàn)通過(guò)上述實(shí)施例實(shí)現(xiàn)的類似效果。注 意，在這種情況下，不發(fā)出顯示光的周期7十應(yīng)于顯示/成Y象元件并不 正在執(zhí)行光發(fā)射操作的周期。本4頁(yè)i或的才支術(shù)人員應(yīng)理解，才艮才居i殳計(jì)要求和其^也因素，可以有 多種修改、組合、再組合和改進(jìn)，均應(yīng)包含在本發(fā)明的權(quán)利要求或 等同物的范圍之內(nèi)。
權(quán)利要求
1.一種顯示裝置，包括顯示面板，具有顯示功能和光接收/成像功能；第一圖像處理部，被配置為基于對(duì)通過(guò)所述光接收/成像功能獲得的圖像執(zhí)行的第一圖像處理的結(jié)果來(lái)生成表示是否已檢測(cè)到待檢測(cè)物體的檢測(cè)信號(hào)；第二圖像處理部，被配置為對(duì)經(jīng)過(guò)所述第一圖像處理部處理的所述圖像執(zhí)行第二圖像處理，所述第二圖像處理具有比所述第一圖像處理更大的處理載荷；以及控制部，被配置為根據(jù)由所述第一圖像處理部生成的所述檢測(cè)信號(hào)來(lái)控制所述第二圖像處理部的操作，以及當(dāng)確定不需要由所述第二圖像處理部進(jìn)行的處理時(shí)，控制所述第二圖像處理部進(jìn)入休眠狀態(tài)。
2. 根據(jù)權(quán)利要求1所述的顯示裝置，其中，所述顯示面板在所述 顯示面板的顯示區(qū)內(nèi)具有所述顯示功能和所述光接收/成像功
3. 根據(jù)權(quán)利要求1所述的顯示裝置，其中，當(dāng)所述第二圖像處理 部處于所述<木眠狀態(tài)時(shí)，所述控制部控制以比當(dāng)所述第二圖傳_ 處理部不處于所述休眠狀態(tài)時(shí)更長(zhǎng)的間隔來(lái)執(zhí)行所述光接收/ 成像功能以及由所述第 一 圖像處理部進(jìn)行的所述圖〗象處理。
4. 沖艮據(jù)片又利要求1所述的顯示裝置，其中，在1'吏所述第二圖1'象處 理部進(jìn)入所述休眠狀態(tài)后，如果所述控制部基于由所述第一圖 <象處理部生成的所述斥企測(cè)^f言號(hào)確定已#企測(cè)到所述4寺4企測(cè)物體， 則所述控制部使由所述第二圖^f象處理部進(jìn)4亍的所述處理復(fù)位。
5. 根據(jù)權(quán)利要求3所述的顯示裝置，其中，在使所述第二圖像處 理部進(jìn)入所述〗木眠狀態(tài)后，如果所述控制部基于由所述第一圖 像處理部生成的所述檢測(cè)信號(hào)確定已檢測(cè)到所述待檢測(cè)物體， 則所述控制部4吏由所述第二圖像處理部進(jìn)4亍的所述處理復(fù)位， 并且4吏#丸行所述光4妾收/成<象功能和由所述第 一 圖^f象處理部進(jìn) 4亍的所述圖 <象處理的間隔返回到當(dāng)所述第二圖 <象處理部不處 于所述^f木眠狀態(tài)時(shí)的原始間隔。
6. 4艮據(jù)權(quán)利要求1所述的顯示裝置，其中，如果所述控制部確定 在預(yù)定時(shí)期沒(méi)有4企測(cè)到所述待一全測(cè)物體，則所述控制部判斷不 需要由所述第二圖像處理部進(jìn)行的所述圖像處理，并控制所述 第二圖像處理部進(jìn)入所述^f木眠狀態(tài)。
7. 根據(jù)權(quán)利要求1所述的顯示裝置，其中，當(dāng)設(shè)備的應(yīng)用暫時(shí)不 需要檢測(cè)所述待檢測(cè)物體的輸入時(shí)，所述控制部中止為所述第 二圖像處理部和所述光接收/成像功能拔:才是供電源。
8. 根據(jù)權(quán)利要求1所述的顯示裝置，其中，所述第一圖像處理部 具有第一功能，基于通過(guò)使自發(fā)光部開(kāi)和關(guān)獲得的兩個(gè)光接 收?qǐng)D<象來(lái)消除環(huán)境光的影響，并通過(guò)圖^象處理生成所述祠。險(xiǎn)測(cè) 物體比周?chē)恋膱D4象；第二功能，基于當(dāng)所述自發(fā)光部關(guān)時(shí)所獲得的光接收?qǐng)D 像來(lái)執(zhí)行陰影檢測(cè)處理，并通過(guò)圖像處理生成待檢測(cè)物體變亮 的圖<象；以及第三功能，同時(shí)執(zhí)行所述第一和第二功能以通過(guò)處理獲 得所述待沖企測(cè)物體變亮的圖像。
9. 根據(jù)權(quán)利要求7所述的顯示裝置，其中，當(dāng)考慮陰影圖像和差 分圖像時(shí)，所述第二圖像處理部具有獲得與所述待檢測(cè)物體的 位置、形狀、和尺寸中至少之一相關(guān)的信息的功能。
10. —種顯示裝置，包括顯示面板，在顯示區(qū)內(nèi)具有多個(gè)顯示元件和多個(gè)光4妄收 傳感器；第一圖像處理部，被配置為基于所述多個(gè)光接收傳感器 一圖^f象處理；第二圖4象處理部，-陂配置為基于所述第一圖像處理部的的信息的第二圖像處理；以及控制部，被配置為當(dāng)不需要由所述第二圖像處理部進(jìn)行 的所述處理時(shí)，根據(jù)由所述第 一 圖像處理部4企測(cè)所述物體的結(jié) 果，控制所述第二圖1象處理部進(jìn)入^木眠狀態(tài)。
11. 根據(jù)權(quán)利要求10所述的顯示裝置，其中，所述多個(gè)顯示元件 和所述多個(gè)光4妄收傳感器均以矩陣形式配置。
12. 根據(jù)權(quán)利要求10所述的顯示裝置，其中，當(dāng)所述第一圖像處 理部未一企測(cè)到所述物體時(shí)，所述控制部控制所述第二圖<象處理 部進(jìn)入所述4木眠狀態(tài)。
13. 根據(jù)權(quán)利要求IO所述的顯示裝置，還包括設(shè)備控制器， 一皮配置為根據(jù)預(yù)定應(yīng)用軟件來(lái)4丸行處理，其中當(dāng)所述設(shè)備控制器不要求檢測(cè)所述物體時(shí)，所述控制部 控制所述第二圖 <象處理部進(jìn)入所述<木眠狀態(tài)。
14. 根據(jù)權(quán)利要求13所述的顯示裝置，其中，當(dāng)所述設(shè)備控制器 不要求檢測(cè)所述物體時(shí)，在使所述第二圖像處理部進(jìn)入所述休 眠狀態(tài)后，所述控制部中止為所述第二圖 <象處理部揭j是供電源。
15. —種用于控制包4舌顯示面^^的顯示裝置的方法，所述顯示面斗反 具有顯示功能和光接收/成<象功能，所述方法包4舌以下步駛朵基于對(duì)通過(guò)所述光接收/成像功能拍攝的圖像執(zhí)行的第一 圖像處理的結(jié)果，生成表示是否已檢測(cè)到待檢測(cè)物體的檢測(cè)信對(duì)由所述第 一 圖像處理獲得的圖傳_執(zhí)行第二圖 <象處理， 所述第二圖像處理具有比所述第一圖i象處理更大的處理載荷； 以及根據(jù)在所述生成步驟中生成的所述檢測(cè)信號(hào)來(lái)控制所述 第二圖像處理的操作，以及當(dāng)確定不需要所述第二圖 <象處理 時(shí)，控制所述第二圖像處理進(jìn)入4木眠狀態(tài)。
全文摘要
本發(fā)明披露了一種顯示裝置及其控制方法，該顯示裝置包括顯示面板，具有顯示功能和光接收/成像功能；第一圖像處理部，被配置為基于對(duì)經(jīng)過(guò)所述光接收/成像功能獲得的圖像所執(zhí)行的第一圖像處理的結(jié)果，生成表示是否已檢測(cè)到待檢測(cè)物體的檢測(cè)信號(hào)；第二圖像處理部，被配置為對(duì)通過(guò)所述第一圖像處理部處理部進(jìn)行的所述圖像執(zhí)行第二圖像處理，所述第二圖像處理具有比所述第一圖像處理更大的處理載荷；以及控制部，被配置為根據(jù)由所述第一圖像處理部生成的所述檢測(cè)信號(hào)來(lái)控制所述第二圖像處理部的操作，以及當(dāng)確定不需要所述第二圖像處理的所述處理時(shí)，控制所述第二圖像處理部進(jìn)入休眠狀態(tài)。
文檔編號(hào)G06F3/042GK101266743SQ20081008509
公開(kāi)日2008年9月17日 申請(qǐng)日期2008年3月17日 優(yōu)先權(quán)日2007年3月16日
發(fā)明者仲島義晴, 岡田直哉, 前川仁, 原田勉, 山口和范, 建內(nèi)滿, 橋本信也, 津崎亮一, 近千秋 申請(qǐng)人:索尼株式會(huì)社