具有多個(gè)光源的運(yùn)動(dòng)傳感器裝置制造方法
【專利摘要】本公開的一實(shí)施方式的運(yùn)動(dòng)傳感器裝置具備圖像傳感器(101)、LED光源(102)、LED光源(103)、LED光源(104)。使用僅使LED光源(102)發(fā)光時(shí)圖像傳感器(101)取得的圖像、僅使LED光源(103)發(fā)光時(shí)圖像傳感器(101)取得的圖像、僅使LED光源(104)發(fā)光時(shí)圖像傳感器(101)取得的圖像，根據(jù)被攝體的亮度比來推定到被攝體的距離。
【專利說明】具有多個(gè)光源的運(yùn)動(dòng)傳感器裝置

【技術(shù)領(lǐng)域】
[0001] 本申請涉及具備多個(gè)光源的運(yùn)動(dòng)傳感器裝置。

【背景技術(shù)】
[0002] 專利文獻(xiàn)1公開了如下的技術(shù)：從多個(gè)光源對靜止或運(yùn)動(dòng)中的物體（對象物）分 時(shí)地投光，并基于由1個(gè)圖像傳感器取得的多個(gè)圖像來測定到對象物的距離。
[0003] 非專利文獻(xiàn)1公開了使用近紅外線來檢測人手的手勢接口系統(tǒng)。在非專利文獻(xiàn)1 中記載了如下情況：在人類的肌膚處，與970nm的波長的紅外線相比，870nm的波長的紅外 線的反射率高。
[0004] 【在先技術(shù)文獻(xiàn)】
[0005] 【專利文獻(xiàn)】
[0006] 【專利文獻(xiàn)1】日本特開2001-12909號公報(bào) [0007]【非專利文獻(xiàn)】
[0008]【非專利文獻(xiàn)1】竹內(nèi)麻梨子、加藤邦人、山本和彥，"使用了近紅外肌膚檢測的手勢 接口系統(tǒng)的構(gòu)筑"，社團(tuán)法人映像信息媒介學(xué)會(huì)技術(shù)報(bào)告，ITETechnicalReportVol. 34， No. 34ME2010-122(Aug. 2010)


【發(fā)明內(nèi)容】

[0009] 【發(fā)明要解決的課題】
[0010] 在現(xiàn)有技術(shù)中，存在因?qū)ο笪锏奈恢玫牟煌鴾y定的距離的精度或靈敏度下降這 樣的問題。本公開的實(shí)施方式提供一種能解決該問題的新的運(yùn)動(dòng)傳感器裝置。
[0011] 【用于解決課題的方案】
[0012] 本公開的運(yùn)動(dòng)傳感器裝置在一方案中，具備：圖像傳感器；第一、第二及第三光 源；以控制所述圖像傳感器及所述第一至第三光源的方式構(gòu)成的控制部。所述控制部如下 構(gòu)成：在第一時(shí)間，一邊使所述第一光源發(fā)光，一邊利用所述圖像傳感器進(jìn)行第一幀的攝 像，在第二時(shí)間，一邊使所述第二光源發(fā)光，一邊利用所述圖像傳感器進(jìn)行第二幀的攝像， 在第三時(shí)間，一邊使所述第三光源發(fā)光，一邊利用所述圖像傳感器進(jìn)行第三幀的攝像，基于 從通過所述第一幀的攝像而取得的第一圖像所得到的對象物的亮度與從通過所述第二幀 的攝像而取得的第二圖像所得到的所述對象物的亮度之比，來生成第一推定距離信息，基 于從所述第一圖像得到的所述對象物的亮度與從通過所述第三幀的攝像而取得的第三圖 像所得到的所述對象物的亮度之比，來生成第二推定距離信息，通過將所述第一推定距離 信息和所述第二推定距離信息進(jìn)行選擇或合成，來得到至所述對象物的距離信息。
[0013] 本公開的另一方案的運(yùn)動(dòng)傳感器裝置具備：能夠檢測第一波長的光及與所述第一 波長不同的第二波長的光的圖像傳感器；射出所述第一波長的光的第一及第二光源；射出 所述第二波長的光的第三及第四光源；以控制所述圖像傳感器及所述第一至第四光源的方 式構(gòu)成的控制部。所述控制部如下構(gòu)成：在第一時(shí)間，一邊使所述第一及第四光源發(fā)光，一 邊利用所述圖像傳感器進(jìn)行第一幀的攝像，在第二時(shí)間，一邊使所述第二及第三光源發(fā)光， 一邊利用所述圖像傳感器進(jìn)行第二幀的攝像，根據(jù)從通過所述第一幀的攝像而取得的第一 圖像所得到的對象物的所述第一波長的成分的亮度與從通過所述第二幀的攝像而取得的 第二圖像所得到的所述對象物的所述第一波長的成分的亮度之比，來取得第一推定距離信 息，根據(jù)從所述第一圖像得到的所述對象物的所述第二波長的成分的亮度與從所述第二圖 像得到的所述對象物的所述第二波長的成分的亮度之比，來取得第二推定距離信息，通過 將所述第一推定距離信息和所述第二推定距離信息進(jìn)行選擇或合成，來得到至所述對象物 的距離信息。
[0014] 本公開的又一方案的運(yùn)動(dòng)傳感器裝置具備：圖像傳感器；第一、第二及第三光源； 以控制所述圖像傳感器及所述第一至第三光源的方式構(gòu)成的控制部。所述控制部如下構(gòu) 成：在第一時(shí)間，一邊使所述第一光源發(fā)光，一邊利用所述圖像傳感器進(jìn)行第一幀的攝像， 在第二時(shí)間，一邊使所述第二光源發(fā)光，一邊利用所述圖像傳感器進(jìn)行第二幀的攝像，在第 三時(shí)間，一邊使所述第三光源發(fā)光，一邊利用所述圖像傳感器進(jìn)行第三幀的攝像，在從通過 所述第一幀的攝像而取得的第一圖像所得到的對象物的亮度為第一亮度，從通過所述第二 幀的攝像而取得的第二圖像所得到的所述對象物的亮度為第二亮度，從通過所述第三幀的 攝像而取得的第三圖像所得到的對象物的亮度為第三亮度時(shí)，所述控制部基于通過將所述 第一亮度和所述第三亮度進(jìn)行合成或選擇而得到的第四亮度與所述第二亮度之比，來得到 至所述對象物的距離信息。
[0015] 本公開的再一方案的運(yùn)動(dòng)傳感器裝置具備：能夠檢測第一波長的光及與所述第一 波長不同的第二波長的光的圖像傳感器；射出所述第一波長的光的第一及第二光源；射出 所述第二波長的光的第三及第四光源；以控制所述圖像傳感器及所述第一至第四光源的方 式構(gòu)成的控制部。所述控制部如下構(gòu)成：在第一時(shí)間，一邊使所述第一及第四光源發(fā)光，一 邊利用所述圖像傳感器進(jìn)行第一幀的攝像，在第二時(shí)間，一邊使所述第二及第三光源發(fā)光， 一邊利用所述圖像傳感器進(jìn)行第二幀的攝像，在從通過所述第一幀的攝像而取得的第一圖 像所得到的對象物的所述第一波長的成分的亮度為第一亮度，從通過所述第二幀的攝像而 取得的第二圖像所得到的所述對象物的所述第一波長的成分的亮度為第二亮度，從所述第 一圖像得到的所述對象物的所述第二波長的成分的亮度為第三亮度，從所述第二圖像得到 的所述對象物的所述第二波長的成分的亮度為第四亮度時(shí)，所述控制部基于通過對所述第 一亮度和所述第二亮度進(jìn)行選擇或合成而得到的第五亮度與通過對所述第三亮度和所述 第四亮度進(jìn)行選擇或合成而得到的第六亮度之比，來得到至所述對象物的距離信息。
[0016] 本公開的電子裝置具備：上述的運(yùn)動(dòng)傳感器裝置；對通過所述運(yùn)動(dòng)傳感器裝置檢 測到的對象物的運(yùn)動(dòng)進(jìn)行響應(yīng)而使顯示內(nèi)容變化的顯示器。
[0017] 本公開的集成電路使用于上述的運(yùn)動(dòng)傳感器裝置，具備：與所述圖像傳感器及所 述光源連接并控制曝光及發(fā)光的時(shí)機(jī)的時(shí)機(jī)控制部；對攝像數(shù)據(jù)進(jìn)行處理并檢索亮度相對 高的區(qū)域的極值檢索部；存儲(chǔ)由所述極值檢索部檢索到的區(qū)域的坐標(biāo)和亮度的坐標(biāo)存儲(chǔ) 器；從所述坐標(biāo)存儲(chǔ)器的數(shù)據(jù)中選出從同一區(qū)域以不同的條件拍攝的幀，使用亮度比來算 出推定距離信息的距離算出部。
[0018] 本公開的距離推定方法是上述的運(yùn)動(dòng)傳感器裝置進(jìn)行的距離計(jì)算方法，包括：從 攝像幀的數(shù)據(jù)中選擇性地選出光強(qiáng)度相對高的區(qū)域，并算出其坐標(biāo)和光強(qiáng)度的極值檢索步 驟；算出通過所述極值檢索步驟選出的亮度中的、從以不同的條件拍攝到的幀彼此中選出 的亮度之比的亮度比算出步驟；使用通過所述亮度比算出步驟算出的亮度比和通過所述極 值檢索步驟檢索到的坐標(biāo)，換算成距離的距離換算步驟。
[0019] 本公開的計(jì)算機(jī)程序使上述的運(yùn)動(dòng)傳感器裝置動(dòng)作，并使所述運(yùn)動(dòng)傳感器裝置執(zhí) 行：從攝像幀的數(shù)據(jù)中選擇性地選出光強(qiáng)度相對高的區(qū)域，并算出其坐標(biāo)和光強(qiáng)度的極值 檢索步驟；算出通過所述極值檢索步驟選出的亮度中的、從以不同的條件拍攝到的幀彼此 中選出的亮度之比的亮度比算出步驟；使用通過所述亮度比算出步驟算出的亮度比和通過 所述極值檢索步驟檢索到的坐標(biāo)，換算成距離的距離換算步驟。
[0020] 【發(fā)明效果】
[0021] 本公開的運(yùn)動(dòng)傳感器裝置的實(shí)施方式能夠抑制距離測定的錯(cuò)誤的發(fā)生。

【專利附圖】

【附圖說明】
[0022] 圖1A是示意性地表示具備2個(gè)光源的運(yùn)動(dòng)傳感器裝置的截面的圖。
[0023] 圖1B是圖1A的裝置的俯視圖。
[0024] 圖2是表示LED光源的放射角與相對放射強(qiáng)度的關(guān)系的坐標(biāo)圖。
[0025] 圖3是表示LED光源的放射角的圖。
[0026] 圖4A是表示利用從第一LED光源102放射出的光來照射對象物104的情況的圖。
[0027] 圖4B是表示利用從第二LED光源103放射出的光來照射對象物104的情況的圖。
[0028] 圖5是表示攝像數(shù)據(jù)的1行的像素位置與亮度的關(guān)系的坐標(biāo)圖。
[0029] 圖6是表示某放射角下的亮度比與距離的關(guān)系的坐標(biāo)圖。
[0030] 圖7A是表示利用從第一LED光源102放射出的光來照射稍微移動(dòng)的對象物104 的情況的圖。
[0031] 圖7B是表示利用從第二LED光源103放射出的光來照射稍微移動(dòng)的對象物104 的情況的圖。
[0032] 圖8是示意性地表示具備2個(gè)光源的運(yùn)動(dòng)傳感器裝置的靈敏度區(qū)域的圖。
[0033] 圖9A是本公開的實(shí)施方式1中的光源裝置和圖像傳感器的配置圖。
[0034] 圖9B是本公開的實(shí)施方式1中的光源及圖像傳感器的時(shí)間圖。
[0035] 圖10是表示本公開的實(shí)施方式1中的低靈敏度區(qū)域的圖。
[0036] 圖11是本公開的實(shí)施方式1中的運(yùn)動(dòng)傳感器裝置的結(jié)構(gòu)圖。
[0037] 圖12是表示本公開的實(shí)施方式1中的運(yùn)動(dòng)傳感器裝置的結(jié)構(gòu)例的框圖。
[0038] 圖13是本公開的實(shí)施方式1中的距離計(jì)算次序的流程圖。
[0039] 圖14A是表示本公開的實(shí)施方式1的另一配置例的俯視圖。
[0040] 圖14B是表示本公開的實(shí)施方式1的又一配置例的俯視圖。
[0041] 圖15A是本公開的實(shí)施方式2的光源裝置和圖像傳感器的配置圖。
[0042] 圖15B是本公開的實(shí)施方式2的光源及圖像傳感器的時(shí)間圖。
[0043] 圖16是表示本公開的實(shí)施方式2的低靈敏度區(qū)域的圖。
[0044] 圖17是表示本公開的實(shí)施方式2的圖像傳感器的靈敏度特性的圖。
[0045] 圖18是表示將本公開的實(shí)施方式1的運(yùn)動(dòng)傳感器裝置向產(chǎn)品裝入的例子的圖。

【具體實(shí)施方式】
[0046] 說明通過本公開的運(yùn)動(dòng)傳感器裝置能夠測定到對象物（被攝體）為止的距離的基 本原理。
[0047] 首先，參照圖1A及圖1B。圖1A是示意性地表示運(yùn)動(dòng)傳感器裝置的截面的圖，圖 1B是圖1A的俯視圖。
[0048] 圖1A及圖1B所示的裝置具備位于中央的圖像傳感器101和位于圖像傳感器101 的兩側(cè)的2個(gè)LED光源102、103。在圖示的例子中，圖像傳感器101及LED光源102U03搭 載于1個(gè)基板100。圖像傳感器是將多個(gè)微細(xì)的光檢測單元（光電二極管）排列成行及列 狀的固體攝像元件，典型的是CO)(ChargeCoupledDevice)型或CMOS型。
[0049] 圖1A中不意性地不出從第一光源102發(fā)出的光102a和從第二光源103發(fā)出的光 103a。該裝置一邊使LED光源102、103交替地點(diǎn)亮，一邊進(jìn)行攝像，由此能夠測定到計(jì)測對 象物體（對象物）為止的距離。需要說明的是，"距離的測定"包括求出從圖像傳感器到對 象物的距離的推定值、或空間內(nèi)的對象物的位置的推定值的情況。對象物中包含例如人手、 手指、人持有的筆等。對象物可以移動(dòng)。能夠?qū)崟r(shí)地取得到高速移動(dòng)的人的指尖為止的距 離、或指尖的位置的推定值的三維運(yùn)動(dòng)傳感器裝置可被使用作為包含計(jì)算機(jī)、標(biāo)牌終端、智 能手機(jī)、游戲設(shè)備及家電設(shè)備在內(nèi)的多種電子設(shè)備的"輸入器件"。
[0050] 圖2是表示從LED光源102、103分別發(fā)出的光的放射圖案（配光特性）的坐標(biāo) 圖。如圖3所示，坐標(biāo)圖的橫軸是放射的方向相對于基板100的法線方向N而形成的角度 0。坐標(biāo)圖的縱軸是相對放射強(qiáng)度。以下，有時(shí)將放射的角度0稱為"放射角"。需要說明 的是，相對放射強(qiáng)度的值對應(yīng)于在從光源向特定角度的方向分離的位置上放置的對象物的 照度（放射照度）。
[0051] 從圖2可知，從LED光源102U03分別發(fā)出的放射在角度0為0°時(shí)，表示最高的 強(qiáng)度。在圖2的例子中，LED光源102、103表現(xiàn)出其放射強(qiáng)度能夠以IQXc〇S 0來近似的配 光特性。LED光源102U03的配光特性沒有限定為圖2的例子。而且，從LED光源102U03 發(fā)出的放射沒有限定為可見光，也可以是紅外線那樣通過人類的視覺無法感覺到的波長域 的電磁波。在本說明書中，為了簡便起見，有時(shí)將從光源發(fā)出的放射簡稱為"光"。該"光" 的用語沒有限定為可見光，廣泛地包含通過圖像傳感器能夠檢測的電磁波。
[0052] 接著，說明通過上述的裝置測定到對象物為止的距離的方法。
[0053] 首先，參照圖4A及圖4B。圖4A示出利用從第一LED光源102放射的光來照射對 象物104且由對象物104反射的光的一部分向圖像傳感器101入射的情況。另一方面，圖 4B示出利用從第二LED光源103放射的光來照射對象物104且由對象物104反射的光的一 部分向圖像傳感器101入射的情況。對象物104的位置在圖4A及圖4B中實(shí)質(zhì)上相同。
[0054] 根據(jù)該裝置，在第一時(shí)刻，如圖4A所示，在將LED光源102點(diǎn)亮并將LED光源103 熄滅的狀態(tài)下進(jìn)行基于圖像傳感器101的第一攝像。接著，在第二時(shí)刻，如圖4B所示，在將 LED光源103點(diǎn)亮并將LED光源102熄滅的狀態(tài)下進(jìn)行基于圖像傳感器101的第二攝像。第 一及第二攝像的各自的期間（曝光時(shí)間）假定為對象物104實(shí)質(zhì)停止的程度那樣充分短。
[0055] 在進(jìn)行第一攝像時(shí)，從LED光源102發(fā)出的光的一部分由對象物104反射而向圖 像傳感器101入射，因此能得到與向圖像傳感器101入射的光的強(qiáng)度對應(yīng)的亮度圖像。同 樣，在進(jìn)行第二攝像時(shí)，從LED光源103發(fā)出的光的一部分由對象物104反射而向圖像傳感 器101入射，因此能得到與向圖像傳感器101入射的光的強(qiáng)度對應(yīng)的亮度圖像。
[0056] 分別基于通過第一及第二攝像而取得的2幀的圖像，能夠求出對象物104的亮度 (亮度分布或亮度圖像）。需要說明的是，本說明書中的"亮度"不是具有[坎/m2]的單位 的心理物理量，而是按照圖像傳感器的各像素而確定的"相對亮度"，相當(dāng)于光量或放射量。 構(gòu)成各幀的圖像的各像素具有與受光量對應(yīng)的"亮度值"。
[0057] 由于對象物104存在大小，因此各圖像中的對象物104的圖像通常由多個(gè)像素構(gòu) 成。對象物104的"亮度"可以根據(jù)構(gòu)成對象物104的圖像的多個(gè)像素的亮度值通過各種 方法來決定。可以將對象物104的圖像中的最明亮的"像素"或"像素塊"的亮度作為對象 物104的亮度，也可以將構(gòu)成對象物104的圖像的全部的像素的平均亮度作為對象物104 的亮度。
[0058] 圖5是分別關(guān)于通過上述的方法取得的2幀的圖像，表示橫切對象物104的圖像 的一個(gè)水平行的亮度值的坐標(biāo)圖。橫軸是圖像內(nèi)的特定的水平行上的像素位置，縱軸是亮 度。坐標(biāo)圖中的曲線301是LED光源102點(diǎn)亮?xí)r的亮度，曲線302是LED光源103點(diǎn)亮?xí)r 的亮度。
[0059] 在圖5的例子中，曲線301及曲線302分別具有單峰性的峰值。即，曲線301在某 像素位置處表現(xiàn)出極值303,曲線302在其他的像素位置處表現(xiàn)出極值304。曲線301的極 值303與曲線302的極值304之間的水平方向的坐標(biāo)間隔由寬度305表示。
[0060] 如前述那樣，在2幀之間，對象物104實(shí)質(zhì)上靜止。因此，曲線301與曲線302之 間存在的差異以LED光源102作成的放射的圖案與LED光源103作成的放射的圖案的不同 為起因。從LED光源102發(fā)出的光由對象物104反射而向圖像傳感器101入射所取得的圖 像的亮度與從LED光源103發(fā)出的光由對象物104反射而向圖像傳感器101入射所取得的 圖像的亮度的比率依賴于從LED光源102到對象物104的距離與從LED光源103到對象物 104的距離的關(guān)系。
[0061] 根據(jù)攝影圖像的亮度比，能夠計(jì)測物體的距離。圖6是表示從圖像傳感器101起 為45度的角度的方向上的距離與亮度比的關(guān)系的一例的坐標(biāo)圖。圖6的坐標(biāo)圖在將表現(xiàn) 出圖2的特性的LED光源從圖像傳感器101向左右分離了規(guī)定的距離進(jìn)行配置的情況下， 橫軸表示到對象物為止的相對的距離，縱軸表示亮度比。橫軸的"距離"以圖像傳感器101 與LED光源的距離為基準(zhǔn)，"1"的距離是指與圖像傳感器101和LED光源的距離相等的大 小。
[0062] 對象物的亮度（或照度）與從LED光源到對象物的距離的平方成反比例地減衰。 因此，對應(yīng)于距離而亮度之比發(fā)生變化。由于圖2所示的放射特性已知，因此若基于該放射 特性，則能夠進(jìn)行高精度的距離的檢測或推定。
[0063] 圖6是放射角0為45度時(shí)的距離與亮度比的關(guān)系的一例，但是關(guān)于不同的多個(gè) 角度，同樣能夠事先得到距離與亮度比的關(guān)系。對象物的角度可以基于通過圖像傳感器取 得的對象物的攝像位置來求出。
[0064] 從圖6可知，在對象物體與圖像傳感器的距離大致從1分離的情況下，根據(jù)極值 303與極值304之比能夠計(jì)測距離。
[0065] 在上述的例子中，使用對應(yīng)于放射角而相對放射強(qiáng)度發(fā)生變化的光源。然而，該測 定方法也可以使用不具有這樣的特性的光源。若是發(fā)出平行光線的光源以外的光源，則光 強(qiáng)度在三維空間內(nèi)表現(xiàn)出某些配光特性，因此這樣的光源也能夠利用于距離測定。例如，即 使是配光為各向同性的"點(diǎn)光源"，由于對象物上的照度及亮度與距光源的距離的平方成反 比例地減衰，因此也可以稱為在三維空間上具有不同的輻射圖案的光源。
[0066] 接著，參照圖7A及圖7B。這些圖表示對于從圖4A及圖4B所示的位置移動(dòng)的對象 物104進(jìn)行攝像的情況。只要能夠進(jìn)行高速的攝像及距離的推定，則即使對于移動(dòng)的對象 物，也能夠通過前述的方法進(jìn)行距離的測定。通過反復(fù)進(jìn)行基于光源102U03的交替的照 明和基于圖像傳感器101的攝像，能夠檢測移動(dòng)的對象物104的位置。其結(jié)果是，能夠檢測 對象物104的位置的變化或運(yùn)動(dòng)。
[0067] 本
【發(fā)明者】可知，在上述的裝置中，在從2個(gè)LED光源102、103分別到對象物104的 距離相等的區(qū)域中，距離的測定精度下降。在本說明書中，將這樣的區(qū)域稱為"低靈敏度區(qū) 域"。而且，在圖6的坐標(biāo)圖的橫軸所示的距離為1以下時(shí)，距離越短而亮度比越上升，因此 僅是亮度比的話，無法判別到對象物體的距離是否處于1以下的"最近距離區(qū)域"。
[0068] 圖8是示意性地表示上述的裝置的低靈敏度區(qū)域的圖。圖8示出距離過短而產(chǎn)生 的低靈敏度區(qū)域504和與距離無關(guān)而亮度比接近于1所產(chǎn)生的低靈敏度區(qū)域505。
[0069] 根據(jù)以下說明的本公開的各實(shí)施方式，能夠抑制在上述的低靈敏度區(qū)域中計(jì)測結(jié) 果變得不穩(wěn)定的情況。
[0070] (實(shí)施方式1)
[0071] 對本公開的運(yùn)動(dòng)傳感器裝置的第一實(shí)施方式進(jìn)行說明。本實(shí)施方式的運(yùn)動(dòng)傳感器 裝置具備3個(gè)光源。
[0072] 圖9A是不意性地表不具備3個(gè)光源（第一光源102、第二光源103、第三光源104) 的運(yùn)動(dòng)傳感器裝置中的光源的配置結(jié)構(gòu)例的圖。圖9B是表示該運(yùn)動(dòng)傳感器裝置中的光源 和圖像傳感器的控制時(shí)機(jī)的時(shí)間圖。首先，參照圖9A及圖9B，說明根據(jù)本實(shí)施方式的結(jié)構(gòu) 能夠解決在低靈敏度區(qū)域中計(jì)測結(jié)果變得不穩(wěn)定的問題的理由。
[0073] 圖9B所示的期間802、803、804分別相當(dāng)于LED光源102、103、104點(diǎn)亮的期間。第 一曝光期間805、第二曝光期間806、第三曝光期間807分別對應(yīng)于圖像傳感器101的第一 幀、第二幀、第三幀的攝像。在圖9B的時(shí)間圖中，LED光源102、103、104依次點(diǎn)亮，但點(diǎn)亮 的順序可以任意。但是，若將LED光源102的點(diǎn)亮期間設(shè)定在3個(gè)光源的點(diǎn)亮期間的中央， 則具有能夠抑制以對象物的動(dòng)作為起因的測定精度的下降這樣的效果。
[0074] 通常的圖像傳感器通過1次的曝光進(jìn)行1幀的攝像，在將得到的圖像數(shù)據(jù)向外部 讀出之后進(jìn)行下一幀的攝像。即，按照各幀來執(zhí)行圖像數(shù)據(jù)的讀出動(dòng)作。根據(jù)這樣的圖像 傳感器，在第n幀（n為整數(shù)）的曝光結(jié)束之后到第n+1的幀的曝光開始之前期間，需要將 通過第n幀的攝像得到的全部的電荷傳送而向外部輸出的動(dòng)作用的時(shí)間。
[0075] 然而，在本實(shí)施方式中，如圖9B所示，在第一曝光期間805之后，立即開始第二曝 光期間806。在第一曝光期間805中進(jìn)行第一幀的攝像而產(chǎn)生的各像素的電荷在第二曝光 期間806開始之前向存儲(chǔ)部轉(zhuǎn)移并蓄積于該存儲(chǔ)部。而且，在第二曝光期間806之后，立即 開始第三曝光期間807。在第二曝光期間806中進(jìn)行第二幀的攝像而產(chǎn)生的各像素的電荷 在第三曝光期間807開始之前向另一存儲(chǔ)部轉(zhuǎn)移并蓄積于該存儲(chǔ)部。然后，在期間Tt讀出 蓄積于上述的存儲(chǔ)部的電荷及在第三曝光期間807產(chǎn)生的電荷的信號，并向外部輸出。
[0076]在本實(shí)施方式中，在第一?第三曝光期間的各長度為"Te"時(shí)，以通過與 "3XTe+Tt"相等的長度Tf的倒數(shù)（1/Tf)所決定的比率來讀出3張幀圖像的數(shù)據(jù)。
[0077] 時(shí)間Tt也依賴于像素?cái)?shù)，但是考慮數(shù)據(jù)傳送比率而設(shè)定為例如20毫秒左右的大 小。另一方面，時(shí)間Te可設(shè)定為1毫秒以下的短期間、例如25微秒。若在短期間內(nèi)連續(xù)執(zhí) 行3張幀的攝像，則即使在對象物像人的指尖那樣高速移動(dòng)的情況下，也能夠進(jìn)行距離計(jì) 測。例如在3XTe為75微秒的情況下，即使對象物以1米/秒的速度移動(dòng)，在第一?第三 攝像中，對象物也僅移動(dòng)0.075毫米。另一方面，若以通常的幀比率（例如60幀/秒）進(jìn) 行攝像，則對象物也僅移動(dòng)50毫米。即使假設(shè)進(jìn)行1000幀/秒的高速度攝影，對象物也僅 移動(dòng)3毫米。在本實(shí)施方式中，由于能夠?qū)牡谝粠拈_始時(shí)刻到第三幀的結(jié)束時(shí)刻為止 的期間縮短為例如3毫秒以下，因此作為運(yùn)動(dòng)傳感器裝置而在各種用途上比較實(shí)用。
[0078] 在本實(shí)施方式的結(jié)構(gòu)中，可以基于通過第一至第三幀取得的3張圖像中的2張圖 像來算出到對象物的距離。3張圖像中的2張的組合為3種。3種各自的低靈敏度區(qū)域的 位置不同。通過利用2種或3種組合的圖像的成對，能夠除去低靈敏度區(qū)域。在本實(shí)施方 式中，假定主要利用通過第一及第二幀取得的2張圖像、通過第二及第三幀取得的2張圖像 來除去低靈敏度區(qū)域的情況。
[0079] 圖10是示意性地表示根據(jù)通過第一及第二幀取得的2張圖像來求出距離信息時(shí) 的低靈敏度區(qū)域、根據(jù)通過第二及第三幀取得的2張圖像來求出距離信息時(shí)的低靈敏度區(qū) 域的圖。在基于通過第一及第二幀取得的2張圖像來算出對象物的距離的情況下，以距光 源102U03各自的距離相等的區(qū)域?yàn)橹行亩a(chǎn)生低靈敏度區(qū)域605。另一方面，在基于通過 第二及第三幀取得的2張圖像來算出對象物的距離的情況下，以距光源103、104各自的距 離相等的區(qū)域?yàn)橹行亩a(chǎn)生低靈敏度區(qū)域606。在本實(shí)施方式中，由于光源103配置在圖像 傳感器101的附近，因此未產(chǎn)生圖8所示那樣的最近距離的低靈敏度區(qū)域504。
[0080] 在充分短的時(shí)間內(nèi)較強(qiáng)的發(fā)光條件的基礎(chǔ)上拍攝的幀的亮度大致與反射光的強(qiáng) 度成比例。在此，將映現(xiàn)于第一幀的對象物的亮度稱為"第一亮度"，將映現(xiàn)于第二幀的對象 物的亮度稱為"第二亮度"，將映現(xiàn)于第三幀的對象物的亮度稱為"第三亮度"。根據(jù)通過對 象物與各光源的位置關(guān)系而確定的角度及距離來決定各亮度。如前述那樣，根據(jù)上述的亮 度之比能夠推定對象物的距離。
[0081] 在將第一亮度與第二亮度進(jìn)行比較時(shí)，在低靈敏度區(qū)域605,第一亮度與第二亮度 大致相等（亮度比接近于1)，因此距離計(jì)測精度下降。在第二亮度比第一亮度大時(shí)，能夠推 定為對象物存在于與低靈敏度區(qū)域605相比靠右側(cè)（接近于光源103的一側(cè)）的位置。反 之，在第一亮度比第二亮度大時(shí)，可以推定為對象物存在于比低靈敏度區(qū)域605靠左側(cè)（接 近于光源102的一側(cè)）的位置。
[0082] 另一方面，在將第二亮度與第三亮度進(jìn)行比較時(shí)，在低靈敏度區(qū)域606中，第二亮 度與第三亮度大致相等（亮度比接近于1)，因此距離計(jì)測精度下降。在第二亮度比第三亮 度大時(shí)，能夠推定為對象物存在于比低靈敏度區(qū)域606靠左側(cè)（接近于光源103的一側(cè)） 的位置。反之，在第三亮度比第二亮度大時(shí)，能夠推定為對象物存在于比低靈敏度區(qū)域606 靠右側(cè)（接近于光源104的一側(cè)）的位置。
[0083]根據(jù)以上所述，本實(shí)施方式的運(yùn)動(dòng)傳感器裝置根據(jù)第一亮度與第二亮度之比來求 出第一推定距離信息，根據(jù)第二亮度與第三亮度之比來求出第二推定距離信息，通過對第 一推定距離信息和第二推定距離信息進(jìn)行選擇或合成，由此生成對象物的距離信息。例如， 在第一亮度與第二亮度之比處于預(yù)先設(shè)定的范圍內(nèi)時(shí)，僅利用第二推定距離信息來求出到 對象物的距離信息，在第二亮度與第三亮度之比處于預(yù)先設(shè)定的范圍內(nèi)時(shí)，僅利用第一推 定距離信息來求出到對象物的距離信息。在此，"預(yù)先設(shè)定的范圍"是例如接近于1的規(guī)定 的范圍（0.8?1.2等）。2個(gè)亮度的"比處于預(yù)先設(shè)定的范圍內(nèi)時(shí)"也包括不是2個(gè)亮度 的"比"而是"差"處于預(yù)先設(shè)定的范圍內(nèi)的情況。
[0084] 或者，可以限定為第二亮度比第一亮度大的情況而利用第一推定距離信息，并限 定為第二亮度比第三亮度大的情況而利用第二推定距離信息。一方的亮度是否大于另一方 的亮度例如可以通過兩者之差的絕對值是否大于規(guī)定的閾值，或者兩者之比與1的差量是 否大于規(guī)定的閾值來進(jìn)行判斷。通過這樣的控制，即使在對象物位于低靈敏度區(qū)域605或 606的情況下，也能夠基于任一推定距離信息來測定對象物的距離。需要說明的是，雖然在 本實(shí)施方式中未利用，但是也可以基于第一亮度與第三亮度的比較結(jié)果來求出推定距離信 肩、。
[0085] 關(guān)于第一推定距離信息及第二推定距離信息這兩者均為高靈敏度的區(qū)域，可以進(jìn) 行一邊加權(quán)一邊取得兩者的平均等的合成。通過這樣的處理，能夠除去低靈敏度區(qū)域而進(jìn) 行高靈敏度的距離測定。
[0086] 關(guān)于配置在接近于圖像傳感器101的位置上的LED光源103,可以減小光度（放射 強(qiáng)度）或光束（放射束）的值，或?qū)⒎派浣嵌仍O(shè)定得較窄。因此，作為LED光源104,可以 采用價(jià)格低的低輸出的光源。若采用這樣的光源，則能夠抑制部件成本或消耗電力的增加。 即，根據(jù)本實(shí)施方式，僅通過增設(shè)價(jià)格相對低的1個(gè)LED光源，就能夠?qū)崿F(xiàn)低靈敏度區(qū)域少 的運(yùn)動(dòng)傳感器裝置。
[0087] 在本實(shí)施方式中，通過使用能夠連續(xù)地進(jìn)行3幀的攝像的稍高價(jià)的圖像傳感器， 能夠檢測到以高速移動(dòng)的對象物為止的距離、或?qū)ο笪锏娜S的運(yùn)動(dòng)。在假定作為計(jì)測對 象的物體的移動(dòng)速度充分低的情況下，也可以使用通常的1幀曝光的圖像傳感器。
[0088]接著，參照圖11、圖12及圖13,更詳細(xì)地說明本實(shí)施方式的運(yùn)動(dòng)傳感器裝置的結(jié) 構(gòu)及動(dòng)作。
[0089]圖11是示意性地表示本實(shí)施方式的運(yùn)動(dòng)傳感器裝置的結(jié)構(gòu)的圖。該裝置具備圖 像傳感器101、在圖像傳感器101的攝像面上形成被攝體像的透鏡系統(tǒng)11〇、3個(gè)LED光源 102、103、104、對圖像傳感器101及LED光源102、103、104進(jìn)行控制的控制部1000。圖像傳 感器101及LED光源102、103、104搭載在基板100上?？刂撇?000的一部分或全部可以 安裝在基板100上，也可以安裝在其他的基板上。而且，控制部1000的功能的一部分可以 通過放置在分離的位置上的裝置來實(shí)現(xiàn)。
[0090]LED光源103配置在圖像傳感器101的附近。以圖像傳感器101為基準(zhǔn)時(shí)的LED 光源102?104的方向分別設(shè)為第一?第三方向，到LED光源102?104的距離分別設(shè)為 第一?第三距離。第二方向及第三方向是與第一方向相反的方向。而且，第二距離比第一 及第三距離短。在本實(shí)施方式中，第二及第三距離設(shè)定為彼此相等。
[0091]LED光源102、103、104均射出相同波長域的光。圖像傳感器101能夠檢測從LED 光源102、103、104射出的光的至少一部分的波長的光。作為LED光源102、103、104,從實(shí)用 性的觀點(diǎn)出發(fā)，可以優(yōu)選使用發(fā)出近紅外線等不可見光的光源。但是，在工業(yè)用等即使射出 可見光也沒有問題的用途中，也可以進(jìn)行可見光的安裝。作為光源，并不局限于LED光源， 只要是點(diǎn)光源等在三維的強(qiáng)度分布上存在偏斜的光源即可，可以利用任意的結(jié)構(gòu)。在以下 的說明中，LED光源102、103、104射出作為近紅外線的第一波長（例如800nm)的光，圖像 傳感器101能夠檢測該第一波長的光。
[0092] 需要說明的是，在本說明書中，"近紅外區(qū)域"是指大致從700nm到2. 5ym的波長 的范圍。而且，"近紅外線"是指具有近紅外區(qū)域的波長的光（電磁波）。而且，"射出第一 波長的光"的情況中包括射出包含第一波長在內(nèi)的寬波長域的光的情況。在本實(shí)施方式中， 光源102、103、104無需嚴(yán)格地射出相同波長域的光，在能夠進(jìn)行基于亮度比的距離計(jì)測的 范圍內(nèi)，在波長域可以產(chǎn)生錯(cuò)動(dòng)。
[0093] 在本實(shí)施方式中，通過光源102、103,能夠穩(wěn)定地進(jìn)行從圖像傳感器101的跟前左 側(cè)到位于右側(cè)整體的區(qū)域的對象物為止的距離測定。另一方面，通過光源103、104,能夠穩(wěn) 定地進(jìn)行從光源103的跟前右側(cè)到位于左側(cè)整體的區(qū)域的對象物為止的距離測定。這樣， 通過利用基于光源102、103的亮度比和基于光源103、104的亮度比，能夠排除低靈敏度區(qū) 域，提高距離檢測的穩(wěn)定度。
[0094]圖像傳感器101具有以像素單位暫時(shí)蓄積電荷的存儲(chǔ)部。因此，不用等待通過第n幀的攝像得到的圖像數(shù)據(jù)的讀出而能進(jìn)行第n+1幀的攝像。若增大圖像傳感器101內(nèi)的 存儲(chǔ)部，則能夠進(jìn)行3幀以上的連續(xù)的曝光。作為圖像傳感器101，可以是按照偶數(shù)/奇數(shù) 行能夠分別進(jìn)行曝光的特殊傳感器。需要說明的是，本實(shí)施方式的圖像傳感器是CMOS圖像 傳感器或CCD圖像傳感器，但圖像傳感器沒有限定于此。
[0095] 控制部1000在第一時(shí)間使第一光源102發(fā)光并同時(shí)利用圖像傳感器101進(jìn)行第 一幀的攝像，在第二時(shí)間使第二光源103發(fā)光并同時(shí)利用圖像傳感器101進(jìn)行第二幀的攝 像，在第三時(shí)間使第三光源104發(fā)光并同時(shí)利用圖像傳感器101進(jìn)行第三幀的攝像。并且， 控制部1000基于通過第一至第三幀的攝像而取得的多個(gè)圖像，得到至對象物104為止的推 定距離信息。
[0096] 圖12是表示本實(shí)施方式的運(yùn)動(dòng)傳感器裝置的結(jié)構(gòu)例的框圖。
[0097] 攝像裝置1101是單眼透鏡型的攝像裝置，具有圖11的圖像傳感器101及透鏡系 統(tǒng)110。透鏡系統(tǒng)110可以是排列在同一光軸上的多個(gè)透鏡的組。光源裝置1102具有圖 11 的光源 102、103、104。
[0098] 本實(shí)施方式的控制部1000具有CPU1103和半導(dǎo)體集成電路1104。半導(dǎo)體集成電 路1104具有距離計(jì)算塊1105、圖像濾波塊1106。距離計(jì)算塊1105具有極值檢索部1107、 時(shí)機(jī)控制部1108、坐標(biāo)存儲(chǔ)器1109及距離算出部1110。
[0099] 本實(shí)施方式的光源102、103、104均是LED光源，分別具有圖2所示的放射角與相 對放射強(qiáng)度的關(guān)系。需要說明的是，在本公開的實(shí)施中，各光源102、103、104無需具有根據(jù) 放射角而使相對放射強(qiáng)度變化的特性。然而，現(xiàn)實(shí)的情況是，大多數(shù)的光源具有根據(jù)放射角 而變化的相對放射強(qiáng)度，因此在本實(shí)施方式中，對這一點(diǎn)進(jìn)行考慮。
[0100] 在本實(shí)施方式中，圖12的時(shí)機(jī)控制部1108對光源裝置1102輸出LED光源102的 點(diǎn)亮指示信號。而且，時(shí)機(jī)控制部1108對攝像裝置1101輸出圖像傳感器101的曝光指示 信號。由此，以第一幀取得光源102點(diǎn)亮的狀態(tài)下的圖像，向半導(dǎo)體集成電路1104傳送。
[0101] 接著，時(shí)機(jī)控制部1108對光源裝置1102輸出光源103的點(diǎn)亮指示信號，對攝像裝 置1101輸出圖像傳感器101的曝光指示信號。由此，以第二幀取得光源103點(diǎn)亮?xí)r的圖像， 向半導(dǎo)體集成電路1104傳送。
[0102] 接著，時(shí)機(jī)控制部1108對光源裝置1102輸出光源104的點(diǎn)亮指示信號，對攝像裝 置1101輸出圖像傳感器101的曝光指示信號。由此，以第三幀取得光源104點(diǎn)亮?xí)r的圖像， 向半導(dǎo)體集成電路1104傳送。
[0103] 在半導(dǎo)體集成電路1104中，從攝像裝置1101輸出的圖像幀由圖像濾波塊1106處 理。圖像濾波塊1106并非必須，但是在本實(shí)施方式中，在圖像處理中通過圖像濾波塊1106 進(jìn)行噪聲除去濾波等前處理。
[0104] 由圖像濾波塊1106處理后的圖像向距離計(jì)算塊1105傳送。在距離計(jì)算塊1105 內(nèi)，利用極值檢索部1107來處理圖像。由極值檢索部1107處理的數(shù)據(jù)的一例如前述的圖5 所示。在圖5中，示出攝像圖像的規(guī)定行上的亮度。需要說明的是，在圖5中，關(guān)于2個(gè)幀 圖像，示出了同一行上的亮度分布，但是在本實(shí)施方式中，關(guān)于3個(gè)幀圖像，能得到同一行 上的亮度分布。換言之，只要從3個(gè)幀圖像中選擇2對的幀圖像，就能得到分別如圖5所示 那樣的2個(gè)坐標(biāo)圖。例如，可以通過第一幀的圖像及第二幀的圖像來制作圖5所示那樣的 坐標(biāo)圖。同樣，通過第二幀的圖像及第三幀的圖像也能夠制作圖5所示那樣的坐標(biāo)圖。
[0105] 在極值檢索部1107中，首先檢索進(jìn)行檢測的物體所存在的區(qū)域。檢索方法存在多 個(gè)。例如從圖5的亮度301和亮度302中容易檢索出亮度的極值303、304。而且在想要相 對于動(dòng)作而穩(wěn)定的極值的情況下，也存在確定亮度為一定的值以上的區(qū)域并將其中央值作 為極值的方法。
[0106] 接著，將極值303和304作為來自同一物體的極值而將極值彼此進(jìn)行配對。這可以 是僅將坐標(biāo)接近的極值彼此進(jìn)行配對的簡單的方法，也可以預(yù)先根據(jù)亮度301與亮度302 相加的值來求出一定亮度以上的區(qū)域，并在該范圍內(nèi)搜索極值。
[0107] 若著眼于圖5的亮度301與亮度302的差量，則存在有雖然沒有差量但存在亮度 等級的區(qū)域。這考慮是本裝置的外部存在的系統(tǒng)外的光源引起的緣故，因此考慮作為干擾 要素而排除在外。如果成本允許的話，進(jìn)行使本系統(tǒng)的光源全部熄滅的狀態(tài)下的攝像而減 少干擾要素也能得到同樣的效果。
[0108] 極值檢索部1107輸出檢測到的物體的坐標(biāo)和極值。坐標(biāo)可以設(shè)為區(qū)域306的中 心或重心，也可以是極值303與極值304的中央的坐標(biāo)。而且，亮度既有直接使用極值303、 304的方法，也有求出區(qū)域的積分值的方法。
[0109] 在此，為了簡便起見，對于特定行的一維上的數(shù)據(jù)進(jìn)行說明。然而，一維的直線可 以是攝像的水平行以外的軸，也可以二維性地搜索相對亮度等級高的區(qū)域的坐標(biāo)和亮度。
[0110] 由極值檢索部1107輸出的物體的坐標(biāo)和極值在存儲(chǔ)于坐標(biāo)存儲(chǔ)器1109之后，向 距離算出部1110傳送。
[0111] 距離算出部1110基于從第一幀圖像得到的亮度與從第二幀圖像得到的亮度之比 來算出距離。首先，根據(jù)物體的坐標(biāo)，來決定物體從圖像傳感器101觀察時(shí)處于哪個(gè)方位。 該方位可以加入透鏡等光學(xué)系統(tǒng)的特性而唯一決定。
[0112] 接著，如果知道物體處于該方位的何種距離處，則能夠推定物體的三維位置。
[0113] 前述的圖6所示那樣的LED光源的配置和放射特性關(guān)于各方位能得到。圖6的數(shù) 據(jù)基于光強(qiáng)度與LED光源和物體的距離的平方成反比例地變?nèi)醯那闆r。而且，為了提高精 度，根據(jù)圖2的放射特性來修正在各距離處與LED光源之間產(chǎn)生的角度。只要存在圖6所 示的數(shù)據(jù)，就能夠通過亮度比來算出物體的距離。
[0114] 圖6的數(shù)據(jù)可以通過距離算出部1110使用三角函數(shù)計(jì)算來算出。而且，可以將預(yù) 先進(jìn)行了計(jì)算、計(jì)測的坐標(biāo)圖作為表格來具備，并通過根據(jù)需要一邊進(jìn)行增補(bǔ)等一邊進(jìn)行 參照的方法來計(jì)算。
[0115] 距離計(jì)算塊1105的結(jié)果向CPU1103傳送而被利用作為3D運(yùn)動(dòng)信息。
[0116] 在以上的結(jié)構(gòu)中，對于圖像數(shù)據(jù)能夠以行單位來推進(jìn)處理。因此，能夠?qū)崿F(xiàn)以單線 程來完成物體的檢測且等待少的運(yùn)動(dòng)傳感器裝置。
[0117] 極值303與極值304的坐標(biāo)可以不必一致，只要對象物的材質(zhì)在對象區(qū)域內(nèi)大致 均勻，就能夠使用這些極值303、304作為距離計(jì)算的亮度比。著眼于該特性，可以僅以具有 一定程度寬度的計(jì)測單位的物體的單位進(jìn)行。在本實(shí)施方式中，先進(jìn)行極值檢索，對于得到 的極值，進(jìn)行距離計(jì)算。由此，能夠?qū)崿F(xiàn)計(jì)算處理量的削減及高速化。
[0118] 在計(jì)測人的五體的狀況時(shí)，根據(jù)拍攝到的數(shù)據(jù)中的某1行的數(shù)據(jù)，以臂、腿、頭這 樣的單位，求出拍攝到的各區(qū)域的亮度的極值。因此，與以各像素進(jìn)行某些距離運(yùn)算的方式 相比，計(jì)算次數(shù)飛躍性地減少。
[0119] 到此為止的處理全部可以僅通過CPU和軟件程序進(jìn)行處理。這種情況的軟件程序 的處理流程圖如圖13所示。該處理包括極值檢索步驟1201、閾值判定步驟1202、亮度比算 出步驟1203、距離換算步驟1204。
[0120] 在極值檢索步驟1201中，從圖像數(shù)據(jù)之中檢索亮度值相對高的區(qū)域、即包含極值 的區(qū)域。接著，在閾值判定步驟1202中判定極值檢索步驟1201是否存在應(yīng)作為追蹄對象 的物體。若亮度或區(qū)域尺寸為一定值以下，則看作噪聲而判定為"無物體"進(jìn)行廢棄。閾值 判定步驟1202雖然不是必須，但通常為了提高魯棒性而是重要的步驟。接著，在閾值判定 步驟1202中判定為物體存在時(shí)，將對應(yīng)的極值彼此配對而建立對應(yīng)來算出亮度比。接著， 在距離換算步驟1204中使用亮度比和攝像圖像位置來換算成距離。
[0121] 將規(guī)定了以上的次序的程序存儲(chǔ)于磁記錄介質(zhì)或半導(dǎo)體記錄介質(zhì)等，利用CPU來 執(zhí)行程序，由此也能夠?qū)崿F(xiàn)本功能。
[0122] 根據(jù)本實(shí)施方式，在極值檢索步驟1201中僅掃描1次圖像，能夠選出作為計(jì)算對 象的亮度值和坐標(biāo)，因此通過使用該次序能夠高速地完成計(jì)算。
[0123] 本實(shí)施方式的運(yùn)動(dòng)傳感器裝置能夠應(yīng)用于各種用途。通過應(yīng)用于攝像機(jī)，能夠高 速地控制活動(dòng)圖像中的自動(dòng)聚焦。而且，在近距離處分別識別人的手指，在遠(yuǎn)距離處識別身 體或人的五體，從而也可以應(yīng)用作為姿勢識別用的運(yùn)動(dòng)傳感器裝置。
[0124] 需要說明的是，在本實(shí)施方式中，光源102、103、104的高度及大小無需相等，也可 以不同。而且，光源102、103、104無需分別由1個(gè)LED芯片構(gòu)成，可以將排列有多個(gè)LED芯 片的LED陣列利用作為各光源。而且，雖然未圖示,但是在各光源102、103、104也可以配置 透鏡及濾波器等光學(xué)部件。這些事項(xiàng)對于其他的實(shí)施方式的光源也同樣。
[0125] 光源102、103、104及圖像傳感器101無需配置在直線上。圖14A、14B是表示光源 102、103、104及圖像傳感器101的另一配置例的俯視圖。光源102、103、104可以如圖14A 所示那樣將一部分的光源（在該例中為光源103)配置在直線外，也可以如圖14B所示那樣 在通過1個(gè)光源和圖像傳感器101的直線上不配置其他的光源。
[0126] 在圖14A的例子中，相對于圖像傳感器101而2個(gè)光源102、104向彼此相反的方 向分離相同距離地配置，但上述的距離也可以不同。另一方面，在圖14B的例子中，3個(gè)光 源102、103、104從圖像傳感器101觀察下沿相互不同的方向配置。若這樣方向不同，則從 圖像傳感器101到各光源102、103、104的距離無需不同，可以彼此相等。
[0127] 如上所述，本實(shí)施方式的控制部1000基于通過第一圖像得到的對象物的亮度與 通過第二圖像得到的該對象物的亮度之比來生成第一推定距離信息，并基于通過第二圖像 得到的對象物的亮度與通過第三圖像得到的該對象物的亮度之比來生成第二推定距離信 息。并且，通過將第一及第二推定距離信息進(jìn)行選擇或合成，由此得到至該對象物的距離信 息。然而，控制部1000也可以不通過這樣的動(dòng)作而通過其他的動(dòng)作來得到至對象物的距離 信息。例如，可以將換算成距離之前的多個(gè)圖像的亮度信息進(jìn)行選擇或合成，由此來求出對 象物的距離。
[0128] 具體而言，將第一亮度與第三亮度以預(yù)先確定的混合比率混合后的亮度設(shè)為第四 亮度，基于第二亮度與第四亮度之比能夠得到至對象物的距離信息。例如，第一亮度為P1， 第三亮度為P3,混合比率為a(0<a< 1)，第四亮度為PlXa+P3X(1-a)。根據(jù)第四亮度與 第二亮度P2之比（PlXa+P3X(l-a))/P2,使用已知的亮度比與距離的關(guān)系，能夠得到至對 象物的距離信息。在該方法中，可以按照圖像傳感器101的各像素位置來確定亮度的混合 比率a。
[0129] 另外，可以選擇第一亮度及第三亮度中的任一個(gè)，將該選擇的亮度設(shè)為第四亮度， 通過與上述同樣的方法來算出距離。這相當(dāng)于上述的混合比率a為0或1的情況。選擇第 一亮度及第三亮度中的哪一個(gè)例如基于兩者的亮度之比或差是否處于規(guī)定的范圍內(nèi)來判 斷。
[0130](實(shí)施方式2)
[0131] 對本公開的運(yùn)動(dòng)傳感器裝置的第二實(shí)施方式進(jìn)行說明。本實(shí)施方式的運(yùn)動(dòng)傳感器 裝置具備4個(gè)光源（第一光源702、第二光源703、第三光源704、第四光源705)。本實(shí)施方 式的裝置也具備與參照圖11說明的前述的實(shí)施方式中的透鏡系統(tǒng)110及控制部1000同樣 的結(jié)構(gòu)。因此，上述的說明在此不重復(fù)進(jìn)行。
[0132] 圖15A是表示本實(shí)施方式的運(yùn)動(dòng)傳感器裝置的光源的配置結(jié)構(gòu)的圖。圖15B是表 示該運(yùn)動(dòng)傳感器裝置的光源和圖像傳感器的控制時(shí)機(jī)的時(shí)間圖。
[0133] 本實(shí)施方式的運(yùn)動(dòng)傳感器裝置具備搭載在基板700上的圖像傳感器701、4個(gè)LED 光源702、703、704、705。1^0光源702及703以射出第一波長的光的方式構(gòu)成。1^0光源 704及705以射出第二波長的光的方式構(gòu)成。圖像傳感器701以至少能夠檢測第一及第二 波長的光的方式構(gòu)成。
[0134] 第一波長及第二波長可以是任意的波長，但是在以下的說明中，分別設(shè)為780nm 及850nm。它們都是近紅外區(qū)域的波長。第一及第二波長并不局限于近紅外區(qū)域的波長，可 以是例如可見光的波長。從實(shí)用性的觀點(diǎn)出發(fā)，優(yōu)選將第一及第二波長設(shè)定為近紅外區(qū)域 的波長，但是在工業(yè)用等即使射出可見光也沒有問題的用途中，也可以進(jìn)行可見光的安裝。
[0135] 以圖像傳感器701為基準(zhǔn)時(shí)的光源702?705的方向分別為第一?第四方向，到 光源702?705的距離分別為第一?第四距離。第二方向及第四方向是與第一方向相反的 方向，第三方向是與第一方向相同的方向。而且，第二及第三距離都比第一及第四距離短。 在本實(shí)施方式中，第二及第三距離彼此相等，第一及第四距離彼此相等，但也可以不必為這 樣的配置。
[0136] 圖像傳感器701是連續(xù)地進(jìn)行2次的曝光并進(jìn)行2個(gè)幀的攝像的特殊傳感器。在 實(shí)施方式1中需要連續(xù)進(jìn)行3次的曝光的特殊傳感器，雖然在原理上有效，但是實(shí)際的作成 成為高成本。在本實(shí)施方式中，能夠利用更低成本的結(jié)構(gòu)進(jìn)行距離測定。而且，在本實(shí)施方 式中，如后述那樣不僅能夠進(jìn)行距離測定，而且也能夠進(jìn)行對象物的材質(zhì)的判定。
[0137] 圖15B所示的期間812、813、814、815分別相當(dāng)于1^0光源702、703、704、705點(diǎn)亮 的期間。第一曝光期間816及第二曝光期間817分別對應(yīng)于圖像傳感器701進(jìn)行的第一幀 及第二幀的攝像。在圖15B的時(shí)間圖中，首先LED光源702、705同時(shí)發(fā)光，接著LED光源 703、 704同時(shí)發(fā)光。然而，沒有限定為此例，只要以使射出第一波長的光的LED光源702、703 中的一方與射出第二波長的光的LED光源704、705中的一方同時(shí)發(fā)光的方式來控制發(fā)光即 可。
[0138] 在按照圖15B的時(shí)間圖進(jìn)行攝像的情況下，控制部根據(jù)從通過第一幀的攝像而取 得的第一圖像所得到的對象物的第一波長的成分的亮度與從通過第二幀的攝像而取得的 第二圖像所得到的該對象物的第一波長的成分的亮度之比，來取得第一推定距離信息。而 且，根據(jù)從第一圖像所得到的該對象物的第二波長的成分的亮度與從第二圖像所得到的該 對象物的第二波長的成分的亮度之比，來取得第二推定距離信息。并且，將第一推定距離信 息和第二推定距離信息進(jìn)行選擇或合成，由此生成到對象物的距離信息并輸出。
[0139] 圖16是示意性地表示第一推定距離信息及第二推定距離信息的低靈敏度區(qū)域的 圖。在僅使用第一推定距離信息的情況下，以距光源702、703的各自的距離相等的區(qū)域?yàn)?中心而產(chǎn)生低靈敏度區(qū)域711。另一方面，在僅使用第二推定距離信息的情況下，以距光源 704、 705的各自的距離相等的區(qū)域?yàn)橹行亩a(chǎn)生低靈敏度區(qū)域712。在本實(shí)施方式中，光源 703、704配置在圖像傳感器101的附近，因此圖8所示那樣的最近距離的低靈敏度區(qū)域504 未產(chǎn)生。
[0140] 本實(shí)施方式的運(yùn)動(dòng)傳感器裝置由于將第一推定距離信息和第二推定距離信息進(jìn) 行選擇或合成，因此即使對象物存在于低靈敏度區(qū)域711、712的情況下，也能夠計(jì)測到對 象物的距離。具體而言，控制部在從第一圖像所得到的對象物的第一波長的成分的亮度與 從第二圖像所得到的該對象物的第一波長的成分的亮度之比處于預(yù)先設(shè)定的范圍內(nèi)（例 如0. 8?1. 2)時(shí)，僅利用第二推定距離信息來求出到對象物的距離信息。另一方面，在從 第一圖像所得到的對象物的第二波長的成分的亮度與從第二圖像所得到的該對象物的第 二波長的成分的亮度之比處于預(yù)先設(shè)定的范圍內(nèi)時(shí)，僅利用第一推定距離信息來求出到對 象物的所述距離信息?；蛘呖梢允?，只要在從第二圖像所得到的對象物的第一波長的成分 的亮度比從第一圖像所得到的該對象物的第一波長的成分的亮度大的情況下就利用第一 推定距離信息，只要在從第二圖像所得到的對象物的第二波長的成分的亮度比從第一圖像 所得到的該對象物的第二波長的成分的亮度大的情況下就利用第二推定距離信息。通過這 樣的處理，不局限于對象物的位置而能夠準(zhǔn)確地計(jì)測到對象物的距離。
[0141] 圖像傳感器701如公知的彩色圖像傳感器那樣也是具有分光靈敏度特性不同的 多個(gè)種類的像素的傳感器。彩色圖像傳感器存在各個(gè)種類的結(jié)構(gòu)。例如有以R、G、G、B這4 像素為1單位而排列的拜耳陣列的傳感器、利用因波長而透過特性不同的情況以1個(gè)像素 能夠取得多個(gè)顏色成分的信號電荷的傳感器、利用棱鏡將光按色進(jìn)行分離并利用多個(gè)攝像 器件按照顏色成分進(jìn)行受光的傳感器等。即便使用上述的任一個(gè)彩色圖像傳感器，也能夠 根據(jù)顏色成分來形成分光靈敏度特性不同的受光，因此可以利用作為圖像傳感器701。
[0142] 圖17是表示本實(shí)施方式的圖像傳感器701的各顏色成分的分光靈敏度特性的一 例的坐標(biāo)圖。圖17的坐標(biāo)圖中的橫軸表示波長，縱軸表示靈敏度的相對值。該圖像傳感器 701具有主要檢測光的紅顏色成分的R像素、主要檢測綠顏色成分的G像素、主要檢測藍(lán)顏 色成分的B像素。如圖17所示，R像素的分光靈敏度特性901、G像素的分光靈敏度特性902 及B像素的分光靈敏度特性903都是在近紅外區(qū)域的波長也具有靈敏度。在此，說明利用 相對于第一波長的光的R像素的靈敏度911及B像素的靈敏度913、相對于第二波長的光的 R像素的靈敏度912及B像素的靈敏度914來求出第一及第二波長的各成分的亮度值的例 子。
[0143] 相對于第一波長的光的R像素的靈敏度911為a，相對于第二波長的R像素的靈敏 度912為b，相對于第一波長的B像素的靈敏度913為c，相對于第二波長的B像素的靈敏 度914為d。而且，向1個(gè)幀中的某像素入射的第一波長的成分的光的強(qiáng)度所對應(yīng)的亮度為 a，第二波長成分的光的強(qiáng)度所對應(yīng)的亮度為P。于是，1個(gè)幀的某像素的亮度中的紅色成 分r及藍(lán)色成分b由以下的式（1)表示。
[0144]【數(shù)學(xué)式1】

【權(quán)利要求】
1. 一種運(yùn)動(dòng)傳感器裝置，其具備： 圖像傳感器； 第一、第二及第三光源； 以控制所述圖像傳感器及所述第一至第三光源的方式構(gòu)成的控制部， 所述控制部如下構(gòu)成： 在第一時(shí)間，一邊使所述第一光源發(fā)光，一邊利用所述圖像傳感器進(jìn)行第一幀的攝像， 在第二時(shí)間，一邊使所述第二光源發(fā)光，一邊利用所述圖像傳感器進(jìn)行第二幀的攝像， 在第三時(shí)間，一邊使所述第三光源發(fā)光，一邊利用所述圖像傳感器進(jìn)行第三幀的攝像， 基于從通過所述第一幀的攝像而取得的第一圖像所得到的對象物的亮度與從通過所 述第二幀的攝像而取得的第二圖像所得到的所述對象物的亮度之比，來生成第一推定距離 信息， 基于從所述第一圖像得到的所述對象物的亮度與從通過所述第三幀的攝像而取得的 第三圖像所得到的所述對象物的亮度之比，來生成第二推定距離信息， 通過將所述第一推定距離信息和所述第二推定距離信息進(jìn)行選擇或合成，來得到至所 述對象物的距離信息。
2. 根據(jù)權(quán)利要求1所述的運(yùn)動(dòng)傳感器裝置，其中， 所述第一光源配置在從所述圖像傳感器向第一方向分離了第一距離的位置， 所述第二光源配置在從所述圖像傳感器向第二方向分離了第二距離的位置， 所述第三光源配置在從所述圖像傳感器向第三方向分離了第三距離的位置， 所述第二方向及所述第三方向是所述第一方向的相反的方向， 所述第二距離比所述第一距離及所述第三距離短。
3. 根據(jù)權(quán)利要求2所述的運(yùn)動(dòng)傳感器裝置，其中， 所述控制部如下構(gòu)成： 在從所述第一圖像得到的所述對象物的亮度與從所述第二圖像得到的所述對象物的 亮度之比處于預(yù)先設(shè)定的范圍內(nèi)時(shí)，僅利用所述第二推定距離信息來得到至所述對象物的 所述距離信息， 在從所述第二圖像得到的所述對象物的亮度與從所述第三圖像得到的所述對象物的 亮度之比處于預(yù)先設(shè)定的范圍內(nèi)時(shí)，僅利用所述第一推定距離信息來得到至所述對象物的 所述距離信息。
4. 根據(jù)權(quán)利要求3所述的運(yùn)動(dòng)傳感器裝置，其中， 所述控制部如下構(gòu)成： 僅在從所述第二圖像得到的所述對象物的亮度比從所述第一圖像得到的所述對象物 的亮度大的情況下，利用所述第一推定距離信息來得到至所述對象物的所述距離信息， 僅在從所述第二圖像得到的所述對象物的亮度比從所述第三圖像得到的所述對象物 的亮度大的情況下，利用所述第二推定距離信息來得到至所述對象物的所述距離信息。
5. 根據(jù)權(quán)利要求1?4中任一項(xiàng)所述的運(yùn)動(dòng)傳感器裝置，其中， 所述圖像傳感器以能夠檢測作為近紅外線的第一波長的光的方式構(gòu)成， 所述第一至第三光源以射出所述第一波長的光的方式構(gòu)成。
6. -種運(yùn)動(dòng)傳感器裝置，其具備： 能夠檢測第一波長的光及與所述第一波長不同的第二波長的光的圖像傳感器； 射出所述第一波長的光的第一及第二光源； 射出所述第二波長的光的第三及第四光源； 以控制所述圖像傳感器及所述第一至第四光源的方式構(gòu)成的控制部， 所述控制部如下構(gòu)成： 在第一時(shí)間，一邊使所述第一及第四光源發(fā)光，一邊利用所述圖像傳感器進(jìn)行第一幀 的攝像， 在第二時(shí)間，一邊使所述第二及第三光源發(fā)光，一邊利用所述圖像傳感器進(jìn)行第二幀 的攝像， 根據(jù)從通過所述第一幀的攝像而取得的第一圖像所得到的對象物的所述第一波長的 成分的亮度與從通過所述第二幀的攝像而取得的第二圖像所得到的所述對象物的所述第 一波長的成分的亮度之比，來取得第一推定距離信息， 根據(jù)從所述第一圖像得到的所述對象物的所述第二波長的成分的亮度與從所述第二 圖像得到的所述對象物的所述第二波長的成分的亮度之比，來取得第二推定距離信息， 通過將所述第一推定距離信息和所述第二推定距離信息進(jìn)行選擇或合成，來得到至所 述對象物的距離信息。
7. 根據(jù)權(quán)利要求6所述的運(yùn)動(dòng)傳感器裝置，其中， 所述第一光源配置在從所述圖像傳感器向第一方向分離了第一距離的位置， 所述第二光源配置在從所述圖像傳感器向第二方向分離了第二距離的位置， 所述第三光源配置在從所述圖像傳感器向第三方向分離了第三距離的位置， 所述第四光源配置在從所述圖像傳感器向第四方向分離了第四距離的位置， 所述第二方向及所述第四方向是所述第一方向的相反的方向， 所述第三方向是與所述第一方向相同的方向， 所述第二及第三距離分別比所述第一及第四距離短。
8. 根據(jù)權(quán)利要求6或7所述的運(yùn)動(dòng)傳感器裝置，其中， 所述控制部如下構(gòu)成： 在從所述第一圖像得到的所述對象物的所述第一波長的成分的亮度與從所述第二圖 像得到的所述對象物的所述第一波長的成分的亮度之比處于預(yù)先設(shè)定的范圍內(nèi)時(shí)，僅利用 所述第二推定距離信息來得到至所述對象物的所述距離信息， 在從所述第一圖像得到的所述對象物的所述第二波長的成分的亮度與從所述第二圖 像得到的所述對象物的所述第二波長的成分的亮度之比處于預(yù)先設(shè)定的范圍內(nèi)時(shí)，僅利用 所述第一推定距離信息來得到至所述對象物的所述距離信息。
9. 根據(jù)權(quán)利要求6?8中任一項(xiàng)所述的運(yùn)動(dòng)傳感器裝置，其中， 所述第二光源及所述第三光源通過一體化的單一的光源裝置來實(shí)現(xiàn)。
10. 根據(jù)權(quán)利要求6?9中任一項(xiàng)所述的運(yùn)動(dòng)傳感器裝置，其中， 所述第一波長及所述第二波長都是近紅外區(qū)域的波長。
11. 根據(jù)權(quán)利要求6?10中任一項(xiàng)所述的運(yùn)動(dòng)傳感器裝置，其中， 所述控制部基于所述第一及第二圖像中的至少一方的所述對象物的所述第一波長的 成分的亮度與所述第二波長的成分的亮度的差異來判定所述對象物的材質(zhì)。
12. 根據(jù)權(quán)利要求6?11中任一項(xiàng)所述的運(yùn)動(dòng)傳感器裝置，其中， 所述運(yùn)動(dòng)傳感器裝置還具備射出與所述第一及第二波長不同的第三波長的光的第五 光源， 所述圖像傳感器還能夠檢測所述第三波長的光， 所述控制部如下構(gòu)成： 在所述第一及第二時(shí)間中的至少一方，還一邊使所述第五光源發(fā)光，一邊利用所述圖 像傳感器進(jìn)行攝像， 基于從所述第一及第二圖像中的至少一方得到的所述對象物的所述第三波長的成分 的亮度與所述第一及第二波長中的至少一方的成分的亮度之差或比，來判定所述對象物的 材質(zhì)。
13. 根據(jù)權(quán)利要求12所述的運(yùn)動(dòng)傳感器裝置，其中， 所述第五光源與所述第一至第四光源中的一個(gè)進(jìn)行一體化。
14. 一種運(yùn)動(dòng)傳感器裝置，其具備： 圖像傳感器； 第一、第二及第三光源； 以控制所述圖像傳感器及所述第一至第三光源的方式構(gòu)成的控制部， 所述控制部如下構(gòu)成： 在第一時(shí)間，一邊使所述第一光源發(fā)光，一邊利用所述圖像傳感器進(jìn)行第一幀的攝像， 在第二時(shí)間，一邊使所述第二光源發(fā)光，一邊利用所述圖像傳感器進(jìn)行第二幀的攝像， 在第三時(shí)間，一邊使所述第三光源發(fā)光，一邊利用所述圖像傳感器進(jìn)行第三幀的攝像， 在從通過所述第一幀的攝像而取得的第一圖像所得到的對象物的亮度為第一亮度，從 通過所述第二幀的攝像而取得的第二圖像所得到的所述對象物的亮度為第二亮度，從通過 所述第三幀的攝像而取得的第三圖像所得到的對象物的亮度為第三亮度時(shí)， 所述控制部基于通過將所述第一亮度和所述第三亮度進(jìn)行合成或選擇而得到的第四 亮度與所述第二亮度之比，來得到至所述對象物的距離信息。
15. -種運(yùn)動(dòng)傳感器裝置，其具備： 能夠檢測第一波長的光及與所述第一波長不同的第二波長的光的圖像傳感器； 射出所述第一波長的光的第一及第二光源； 射出所述第二波長的光的第三及第四光源； 以控制所述圖像傳感器及所述第一至第四光源的方式構(gòu)成的控制部， 所述控制部如下構(gòu)成： 在第一時(shí)間，一邊使所述第一及第四光源發(fā)光，一邊利用所述圖像傳感器進(jìn)行第一幀 的攝像， 在第二時(shí)間，一邊使所述第二及第三光源發(fā)光，一邊利用所述圖像傳感器進(jìn)行第二幀 的攝像， 在從通過所述第一幀的攝像而取得的第一圖像所得到的對象物的所述第一波長的成 分的亮度為第一亮度，從通過所述第二幀的攝像而取得的第二圖像所得到的所述對象物的 所述第一波長的成分的亮度為第二亮度，從所述第一圖像得到的所述對象物的所述第二波 長的成分的亮度為第三亮度，從所述第二圖像得到的所述對象物的所述第二波長的成分的 亮度為第四亮度時(shí)， 所述控制部基于通過對所述第一亮度和所述第二亮度進(jìn)行選擇或合成而得到的第五 亮度與通過對所述第三亮度和所述第四亮度進(jìn)行選擇或合成而得到的第六亮度之比，來得 到至所述對象物的距離信息。
16. -種電子裝置，其具備： 權(quán)利要求1?15中任一項(xiàng)所述的運(yùn)動(dòng)傳感器裝置； 對通過所述運(yùn)動(dòng)傳感器裝置檢測到的對象物的運(yùn)動(dòng)進(jìn)行響應(yīng)而使顯示內(nèi)容變化的顯 示器。
17. -種集成電路，其使用于權(quán)利要求1?15中任一項(xiàng)所述的運(yùn)動(dòng)傳感器裝置，具備： 與所述圖像傳感器及所述光源連接并控制曝光及發(fā)光的時(shí)機(jī)的時(shí)機(jī)控制部； 對攝像數(shù)據(jù)進(jìn)行處理并檢索亮度相對高的區(qū)域的極值檢索部； 存儲(chǔ)由所述極值檢索部檢索到的區(qū)域的坐標(biāo)和亮度的坐標(biāo)存儲(chǔ)器； 從所述坐標(biāo)存儲(chǔ)器的數(shù)據(jù)中選出從同一區(qū)域以不同的條件拍攝的幀，使用亮度比來算 出推定距離信息的距離算出部。
18. -種距離計(jì)算方法，其是基于權(quán)利要求1?15中任一項(xiàng)所述的運(yùn)動(dòng)傳感器裝置進(jìn) 行的距離計(jì)算方法，包括： 從攝像幀的數(shù)據(jù)中選擇性地選出光強(qiáng)度相對高的區(qū)域，并算出其坐標(biāo)和光強(qiáng)度的極值 檢索步驟； 算出通過所述極值檢索步驟選出的亮度中的、從以不同的條件拍攝到的幀彼此中選出 的亮度之比的亮度比算出步驟； 使用通過所述亮度比算出步驟算出的亮度比和通過所述極值檢索步驟檢索到的坐標(biāo)， 換算成距離的距離換算步驟。
19. 一種計(jì)算機(jī)程序，其使權(quán)利要求1?15中任一項(xiàng)所述的運(yùn)動(dòng)傳感器裝置動(dòng)作，并使 所述運(yùn)動(dòng)傳感器裝置執(zhí)行： 從攝像幀的數(shù)據(jù)中選擇性地選出光強(qiáng)度相對高的區(qū)域，并算出其坐標(biāo)和光強(qiáng)度的極值 檢索步驟； 算出通過所述極值檢索步驟選出的亮度中的、從以不同的條件拍攝到的幀彼此中選出 的亮度之比的亮度比算出步驟； 使用通過所述亮度比算出步驟算出的亮度比和通過所述極值檢索步驟檢索到的坐標(biāo)， 換算成距離的距離換算步驟。
【文檔編號】G01B11/00GK104395694SQ201480001650
【公開日】2015年3月4日 申請日期:2014年4月8日 優(yōu)先權(quán)日:2013年4月26日
【發(fā)明者】渕上龍司, 手塚忠則 申請人:松下電器（美國）知識產(chǎn)權(quán)公司