距離圖像傳感器的參數(shù)調(diào)整方法、參數(shù)調(diào)整裝置及電梯系統(tǒng)與流程
本發(fā)明涉及距離圖像傳感器的參數(shù)調(diào)整方法、參數(shù)調(diào)整裝置及電梯系統(tǒng)。
背景技術(shù)：
在電梯系統(tǒng)中，實施對于乘客超載或重量過載等的對策。例如，為了防止乘客超載的運行，通過載重傳感器檢測轎廂內(nèi)的載重。在轎廂內(nèi)載重超過額定載重量的情況下，使轎廂內(nèi)的警報器持續(xù)鳴響，并且不進(jìn)行關(guān)門動作。
對此，近年來正在探討如下的技術(shù)：在電梯的轎廂內(nèi)具備比以往的載重傳感器更高精度的傳感器，并利用以該傳感器來識別乘客的識別結(jié)果來高精度地控制電梯。例如在專利文獻(xiàn)1中，使用能計算圖像中的各像素的距離值的距離圖像傳感器來測量在電梯內(nèi)乘客所占據(jù)的占用面積。在專利文獻(xiàn)1中，根據(jù)乘客的占用面積測量擁擠度，從而控制電梯的運行。
由此，在專利文獻(xiàn)1中，能適當(dāng)?shù)販y量例如像乘坐輪椅的乘客或推購物車的乘客那樣，與一般乘客的重量差小但占用面積比一般乘客大的乘客乘坐時的擁擠度。而且，在專利文獻(xiàn)1中，能實現(xiàn)如下運行控制：在判斷為轎廂內(nèi)的擁擠度較高、即使開門新的乘客也不能乘坐電梯的情況下，跳過到目的層為止的中間層的開門。
在專利文獻(xiàn)1中，根據(jù)距離圖像傳感器的拍攝系統(tǒng)模型和距離圖像傳感器的設(shè)置角度和設(shè)置位置的信息，將由距離圖像傳感器測量出的距離值的組轉(zhuǎn)換成三維點組。而且，在專利文獻(xiàn)1中，在三維點組中，將比轎廂的地板面高的三維點組的集合作為乘客進(jìn)行識別。
在專利文獻(xiàn)1中，在將距離值的組轉(zhuǎn)換成三維點組時，將距離圖像傳感器的設(shè)置角度或設(shè)置位置這樣的外部參數(shù)作為對象，需要校正計算機內(nèi)的參數(shù)并進(jìn)行優(yōu)化。在該校正(校準(zhǔn))中，對計算機內(nèi)的參數(shù)進(jìn)行優(yōu)化，使得現(xiàn)實空間和計算機內(nèi)偏差變小。
由于電梯系統(tǒng)存在各種尺寸，因此需要根據(jù)每個設(shè)置距離圖像傳感器的現(xiàn)場、轎廂的尺寸對外部參數(shù)進(jìn)行校正。此外，為了更準(zhǔn)確地測量距離值組向三維點組的轉(zhuǎn)換，優(yōu)選為將包含在距離圖像傳感器的拍攝系統(tǒng)模型中的焦點距離等內(nèi)部參數(shù)作為對象進(jìn)行校正，使得現(xiàn)實空間和計算機內(nèi)的偏差變小。
在專利文獻(xiàn)2中，涉及參數(shù)的校準(zhǔn)，公開了一種用操作員所使用的信息終端上的用戶界面對操作員進(jìn)行指導(dǎo)以使得攝像機設(shè)置在適當(dāng)?shù)姆轿唤羌案┙堑募夹g(shù)。在專利文獻(xiàn)2中，若操作員經(jīng)由用戶界面指定轎廂型號，則攝像機的安裝方法顯示在用戶界面上。
在專利文獻(xiàn)2中，進(jìn)行如下指導(dǎo)：將轎廂內(nèi)的地板角落設(shè)為標(biāo)記，使用攝像機圖像中的重疊顯示，使得攝像機的水平及垂直的設(shè)置角度大約適當(dāng)。而且，在專利文獻(xiàn)2中，在指導(dǎo)后對地板的角落進(jìn)行圖像識別，根據(jù)地板角落的指導(dǎo)位置和實際位置在攝像機圖像中的偏差量來進(jìn)行校正，使得現(xiàn)實空間和計算機內(nèi)攝像機的水平及垂直的設(shè)置角度為最小。
此外，作為用于將兩個點組進(jìn)行對齊的算法，已知有ICP(Iterative Closest Point：迭代最近點)算法(非專利文獻(xiàn)1)。
現(xiàn)有技術(shù)文獻(xiàn)
專利文獻(xiàn)
專利文獻(xiàn)1：日本專利特開2014-021816號公報
專利文獻(xiàn)2：日本專利特開2012-205299號公報
非專利文獻(xiàn)
非專利文獻(xiàn)1：Besl,P.and McKay,N.“A Method for Registration of 3-D Shapes(一種3D圖形注冊方法)”,Trans.PAMI,Vol.14,No.2,1992。
技術(shù)實現(xiàn)要素：
發(fā)明所要解決的技術(shù)問題
在專利文獻(xiàn)2中，用于校準(zhǔn)的標(biāo)記僅有1個，根據(jù)標(biāo)記的圖像坐標(biāo)僅能確定兩個約束方程式。因此，在專利文獻(xiàn)2中，能校準(zhǔn)的參數(shù)的數(shù)量限定為2個以下。因而，在專利文獻(xiàn)2中，除了距離圖像傳感器的設(shè)置角度的方位角和俯角以外，缺少將轉(zhuǎn)動角也校準(zhǔn)的約束方程式。在專利文獻(xiàn)2中，不能校正轉(zhuǎn)動角。而且，在專利文獻(xiàn)2中，除了方位角及俯角以外，對于焦點距離等距離圖像傳感器的內(nèi)部參數(shù)進(jìn)行校準(zhǔn)的情況也缺少約束方程式。在專利文獻(xiàn)2中，不能校正距離圖像傳感器的內(nèi)部參數(shù)。
為了增加約束方程式，需要增加校準(zhǔn)的標(biāo)記。但是，根據(jù)轎廂的規(guī)格，存在缺乏校準(zhǔn)的標(biāo)記的情況。特別是，將距離圖像傳感器設(shè)置在轎廂的入口附近，對轎廂里側(cè)進(jìn)行監(jiān)視的情況缺乏標(biāo)記。因為在轎廂的里側(cè)，與轎廂的入口側(cè)不同，不存在表示目標(biāo)樓層的指示器或開關(guān)按鈕、門等標(biāo)記。
雖然考慮有意地在轎廂內(nèi)追加校準(zhǔn)用的標(biāo)記，但是在該情況下，需要準(zhǔn)備這些標(biāo)記在轎廂內(nèi)的三維坐標(biāo)的數(shù)據(jù)庫，從而校正的準(zhǔn)備作業(yè)較花費精力。
本發(fā)明是鑒于上述問題而完成的，其目的在于提供一種距離圖像傳感器的參數(shù)調(diào)整方法、參數(shù)調(diào)整裝置及電梯系統(tǒng)，即使在缺乏用于調(diào)整參數(shù)的標(biāo)記時，也能調(diào)整多個參數(shù)。
解決技術(shù)問題的技術(shù)方案
為了解決上述問題，本發(fā)明所涉及的距離圖像傳感器的參數(shù)調(diào)整方法是用于調(diào)整距離圖像傳感器的多個參數(shù)的方法，該距離圖像傳感器獲取包含對象區(qū)域的圖像和到對象區(qū)域為止的距離的距離圖像，所述距離圖像傳感器的參數(shù)調(diào)整方法包含以下步驟：從距離圖像傳感器獲取與規(guī)定的對象區(qū)域有關(guān)的距離圖像，從預(yù)先登記的三維形狀信息中獲取規(guī)定的對象區(qū)域的三維形狀信息，從預(yù)先登記的規(guī)格信息中獲取與距離圖像傳感器的設(shè)置及拍攝相關(guān)的規(guī)格信息，根據(jù)已獲取的規(guī)定的對象區(qū)域的三維形狀信息，計算在基于規(guī)定的對象區(qū)域來進(jìn)行設(shè)定的規(guī)定的坐標(biāo)系中的、規(guī)定的對象區(qū)域的實際形狀，根據(jù)已獲取的距離圖像傳感器的規(guī)格信息和與規(guī)定的對象區(qū)域有關(guān)的距離圖像，生成將距離圖像的各像素的距離值與規(guī)定的坐標(biāo)系相對應(yīng)的三維點組，計算將三維點組與實際形狀相匹配時的誤差。
發(fā)明效果
根據(jù)本發(fā)明，能計算根據(jù)距離圖像傳感器所檢測出的距離值而獲得的三維點組和規(guī)定的對象區(qū)域的實際形狀相匹配時的誤差，因此若使用該誤差，則能對距離圖像傳感器的多個參數(shù)進(jìn)行調(diào)整。
附圖說明
圖1是表示具備參數(shù)調(diào)整裝置的電梯系統(tǒng)的概要的說明圖。
圖2是表示轎廂內(nèi)的裝置結(jié)構(gòu)的說明圖。
圖3是表示以距離圖像傳感器為基準(zhǔn)的坐標(biāo)系的說明圖。
圖4是表示以轎廂內(nèi)為基準(zhǔn)的坐標(biāo)系的說明圖。
圖5示出了型號選擇部的一個畫面結(jié)構(gòu)示例。
圖6示出了型號選擇部的另一個畫面結(jié)構(gòu)示例。
圖7是示出了將根據(jù)距離圖像而生成的三維點組與轎廂實際形狀相匹配的處理的流程圖。
圖8是表示轎廂實際形狀的一個示例的示意圖。
圖9示出了根據(jù)拍攝轎廂內(nèi)的距離圖像而生成的三維點組的示例。
圖10示出了將轎廂的實際形狀和三維點組進(jìn)行重疊顯示的情況。
圖11是表示對多個參數(shù)進(jìn)行校正的整體處理的流程圖。
圖12是實施例2所涉及的參數(shù)調(diào)整裝置的功能框圖。
圖13是表示將用于輸入實際形狀的對應(yīng)部位的標(biāo)記設(shè)定在距離圖像內(nèi)的情況的畫面示例。
圖14是表示設(shè)定在距離圖像上的標(biāo)記在實際形狀上的對應(yīng)位置的畫面示例。
圖15是表示用線段代替點狀的標(biāo)記并在距離圖像內(nèi)設(shè)定對應(yīng)部位的情況的畫面示例。
圖16是表示設(shè)定在距離圖像上的線段在實際形狀上的對應(yīng)位置的畫面示例。
圖17是表示對多個參數(shù)進(jìn)行校正的整體處理的流程圖。
圖18是實施例3所涉及的參數(shù)調(diào)整裝置的功能框圖。
圖19是表示將根據(jù)距離圖像而生成的三維點組與轎廂實際形狀相匹配的處理的流程圖。
圖20是表示對多個參數(shù)進(jìn)行校正的整體處理的流程圖。
圖21是表示實施例4所涉及的使用立體攝像機獲取距離圖像的處理的流程圖。
具體實施方式
以下，基于附圖，對于本發(fā)明的實施方式進(jìn)行說明。在本實施方式中，如以下詳細(xì)描述那樣，對于用于監(jiān)視作為監(jiān)視對象的規(guī)定的對象區(qū)域的距離圖像傳感器，能自動或手動對其外部參數(shù)和內(nèi)部參數(shù)中的至少任意一個進(jìn)行調(diào)整，或者對兩者都進(jìn)行調(diào)整。在本實施方式中，不限于調(diào)整(校正)距離圖像傳感器的參數(shù)的方法或裝置，還公開了輔助距離圖像傳感器的設(shè)置的方法或裝置。此處，規(guī)定的對象區(qū)域是指例如電梯系統(tǒng)的轎廂內(nèi)部。
電梯系統(tǒng)根據(jù)例如最大乘坐人數(shù)或移動速度等顧客要求而各不相同，因此存在多個轎廂型號。而且，安裝在轎廂內(nèi)的距離圖像傳感器也存在多個型號。此外，電梯系統(tǒng)被用在世界各國，因此當(dāng)?shù)氐淖鳂I(yè)者也會進(jìn)行在轎廂內(nèi)部設(shè)置距離圖像傳感器的作業(yè)、維護檢查作業(yè)。
由此，在電梯系統(tǒng)中，具有如下性質(zhì)：分別使用多個型號的轎廂，并且各個國家的當(dāng)?shù)刈鳂I(yè)者對轎廂內(nèi)的距離圖像傳感器進(jìn)行設(shè)置或維護檢查。在本實施方式中，根據(jù)上述的性質(zhì)，在每個型號的尺寸不同的轎廂內(nèi)部，能對于每個型號適當(dāng)?shù)卦O(shè)置參數(shù)不同的距離圖像傳感器，并能對多個參數(shù)進(jìn)行調(diào)整(或校正)。
在本實施方式中，距離圖像獲取部從距離圖像傳感器獲取距離圖像，作為信息獲取部的型號選擇部讀取轎廂的型號及距離圖像傳感器的型號。匹配部將根據(jù)與轎廂型號相對應(yīng)來確定的尺寸而計算得到的實際形狀與根據(jù)距離圖像而生成的三維點組進(jìn)行匹配。匹配部能根據(jù)由距離圖像傳感器的型號來確定的內(nèi)部參數(shù)及外部參數(shù)的初始值和距離圖像傳感器的距離值，來計算三維點組。而且，匹配部對距離圖像傳感器的外部參數(shù)及內(nèi)部參數(shù)中至少一部分(優(yōu)選為3個以上)參數(shù)進(jìn)行優(yōu)化，使得三維點組與實際形狀進(jìn)行最佳匹配。匹配部能自動地進(jìn)行參數(shù)的優(yōu)化，并能從用戶界面向作業(yè)者提供對參數(shù)優(yōu)化有用的信息(實際形狀和三維點組的重疊顯示、誤差的值)。作業(yè)者能使用從用戶界面提供的信息，對期望的參數(shù)進(jìn)行調(diào)整。
在如上所述構(gòu)成的本實施方式中，在各種尺寸的轎廂中，即使在缺乏用于校準(zhǔn)的標(biāo)記的情況下，也能以距離圖像傳感器的外部參數(shù)和內(nèi)部參數(shù)中的一個或兩個中的規(guī)定參數(shù)為對象，對距離圖像傳感器的參數(shù)進(jìn)行校準(zhǔn)。此外，在本實施方式中，使用校準(zhǔn)后的距離圖像傳感器的參數(shù)，能對由距離圖像傳感器所獲取的轎廂內(nèi)距離圖像進(jìn)行圖像識別。而且，能基于圖像識別的結(jié)果，控制轎廂內(nèi)的裝置，或控制轎廂的運行。
【實施例1】
使用圖1～圖11對實施例1進(jìn)行說明。圖1示出了具備攝像機參數(shù)調(diào)整裝置1的電梯系統(tǒng)的整體概要。電梯系統(tǒng)例如包括：攝像機參數(shù)調(diào)整裝置1、圖像處理部2、電梯控制部3、轎廂4、距離圖像傳感器5、以及驅(qū)動機構(gòu)6。
轎廂4通過驅(qū)動機構(gòu)6在設(shè)置在建筑物內(nèi)的電梯井中(未圖示)進(jìn)行升降。轎廂4的運行等通過電梯控制部3進(jìn)行控制。設(shè)置在轎廂4的內(nèi)部的距離圖像傳感器5與攝像機參數(shù)調(diào)整裝置1相連接，對轎廂4內(nèi)的距離圖像進(jìn)行拍攝并發(fā)送至攝像機參數(shù)調(diào)整裝置1。
此處，距離圖像傳感器5是檢測距離圖像的傳感器。距離圖像不僅是二維平面的圖像，還是具有其深度信息(距離值)的三維圖像。作為距離圖像傳感器5能使用例如根據(jù)向?qū)ο笳丈涞募t外線等的反射光返回的時間來計算距離值的方式的傳感器。而且在后文中闡述的實施例中，作為距離圖像傳感器，對于使用立體攝像機的情況進(jìn)行說明。以下，存在將距離圖像傳感器5稱為攝像機的情況。
攝像機參數(shù)調(diào)整裝置1是“距離圖像傳感器的參數(shù)調(diào)整裝置”的一個示例，例如具備距離圖像獲取部11、型號選擇部12、以及匹配部13。攝像機參數(shù)調(diào)整裝置1的具體的結(jié)構(gòu)例在后文中闡述，例如使用具備微處理器、存儲器、以及通信接口等的計算機來構(gòu)成。
距離圖像獲取部11獲取對距離圖像傳感器5拍攝的圖像中的距離值用像素單位來進(jìn)行測量而得的距離圖像。型號選擇部12是選擇轎廂4的型號的用戶界面(以下，有時會簡寫為UI)。
匹配部13對于轎廂4的實際形狀，將根據(jù)距離圖像而生成的三維點組進(jìn)行匹配。能將匹配部13稱為轎廂實際尺寸匹配部13。匹配部13根據(jù)距離圖像獲取部11的距離值和距離圖像傳感器5的拍攝系統(tǒng)的模型來求出三維點組。轎廂4的實際形狀根據(jù)由型號選擇部12選擇的轎廂形式來確定。匹配部13以在距離圖像傳感器5的外部參數(shù)和內(nèi)部參數(shù)中的任意一個或兩者中所指定的規(guī)定的參數(shù)為對象來進(jìn)行校準(zhǔn)，使得與轎廂4的實際形狀最佳匹配。
圖像處理部2使用校準(zhǔn)結(jié)束后的規(guī)定參數(shù)，對距離圖像獲取部11獲取的距離圖像進(jìn)行圖像處理，對在轎廂中存在的物體(電梯的乘客、貨物等)進(jìn)行識別。圖像處理部2的圖像識別結(jié)果發(fā)送至電梯控制部3。電梯控制部3基于圖像識別的結(jié)果，例如控制轎廂4的運行，或向轎廂4內(nèi)的乘客進(jìn)行指示，或向乘客提供信息。
圖2是著眼于轎廂4的裝置結(jié)構(gòu)示例。距離圖像傳感器5例如位于轎廂4的門41的上方，朝向轎廂4的里面進(jìn)行設(shè)置。距離圖像傳感器5在轎廂4內(nèi)沒有乘客的情況下，拍攝例如與門41相對的一側(cè)的壁部及地板面42。
信號處理裝置43設(shè)置在例如轎廂4的轎頂部。信號處理部43也可以設(shè)置在轎廂4的內(nèi)部等。設(shè)置場所無關(guān)緊要。圖2所示的坐標(biāo)系40是“基于規(guī)定的對象區(qū)域來進(jìn)行設(shè)定的規(guī)定的坐標(biāo)系”的示例。
信號處理裝置43實現(xiàn)攝像機參數(shù)調(diào)整裝置1和圖像處理部2。即，信號處理裝置43實現(xiàn)在圖1中所描述的距離圖像獲取部11、型號選擇部12、匹配部13、以及圖像處理部2的功能。在本實施例中，將信息終端70作為用于在與作業(yè)者之間交換信息的用戶界面來利用。因而，在本實施例中，信號處理部34實現(xiàn)距離圖像獲取部11、型號選擇部12、匹配部13、圖像處理部2，信息終端70負(fù)責(zé)用戶界面功能。
信號處理裝置43能作為具有與距離圖像傳感器5獨立的殼體的計算機來構(gòu)成，也能設(shè)置在距離圖像傳感器5的內(nèi)部。在距離圖像傳感器5和信號處理裝置43分開構(gòu)成的情況下，信號處理裝置43與距離圖像傳感器5通過有線或無線而相連接。將信號處理裝置43設(shè)置在距離圖像傳感器5內(nèi)的情況下，信號處理裝置43使用例如距離圖像傳感器5內(nèi)的微處理器、存儲器、以及存儲器內(nèi)的計算機程序等來實現(xiàn)。以下，如圖2所示那樣對于信號處理裝置43和距離圖像傳感器5分開形成的情況舉例進(jìn)行說明，然而如上所述也可以在距離圖像傳感器5內(nèi)設(shè)置信號處理裝置43。
信號處理裝置43從距離圖像傳感器5獲取距離圖像，并進(jìn)行圖像處理，對圖像進(jìn)行識別。信號處理裝置43與電梯控制部3連接，電梯控制部3根據(jù)圖像識別的結(jié)果，能控制轎廂4內(nèi)的指示器等各裝置，或控制轎廂4的運行。
對于距離圖像傳感器5、信號處理裝置43、及信息終端70，上述的結(jié)構(gòu)為示例，并不局限于上述的示例。若能獲取轎廂4內(nèi)的距離圖像，并能根據(jù)距離圖像生成三維點組，能生成轎廂4的實際形狀，能將三維點組與轎廂4的實際形狀相匹配，則能采用上述的結(jié)構(gòu)例以外的其他結(jié)構(gòu)。
以轎廂4內(nèi)為基準(zhǔn)的坐標(biāo)系40被定義為具有原點O以及三個坐標(biāo)軸(X，Y，Z)。坐標(biāo)系40的原點O設(shè)定為轎廂4內(nèi)的地板面42的四個角的角落中的任意一個。坐標(biāo)系40的Y軸設(shè)定為垂直方向。坐標(biāo)系40的X軸設(shè)定為從門41觀察轎廂4內(nèi)時的左邊方向。坐標(biāo)系40的Z軸設(shè)定為從門41觀察轎廂4內(nèi)時的深度方向。
距離圖像傳感器5具有俯角θ、方位角φ、及轉(zhuǎn)動角ρ的設(shè)置角度，并安裝成在門41的上部朝向轎廂4內(nèi)。在距離圖像傳感器5從Z軸方向觀察時，俯角θ和方位角φ都為0°，此時俯角θ、方位角φ、及轉(zhuǎn)動角ρ的旋轉(zhuǎn)軸分別與X軸、Y軸、Z軸一致。
進(jìn)行電梯系統(tǒng)維護管理的作業(yè)者能使用信息終端70接受距離圖像傳感器5的設(shè)置方法的指導(dǎo)，或確認(rèn)距離圖像傳感器5的設(shè)置角度。
信息終端70能通過例如筆記本型個人計算機、平板型個人計算機、PDA(個人數(shù)字助手)、移動電話等來實現(xiàn)。此外，也可以將例如設(shè)置在電梯系統(tǒng)外部的未圖示的個人計算機和信號處理裝置43經(jīng)由互聯(lián)網(wǎng)、LAN(Local Area Network：局域網(wǎng))等通信網(wǎng)絡(luò)來進(jìn)行連接，以實現(xiàn)信息終端70。信息終端70可以與距離圖像傳感器5直接通信，也可以經(jīng)由信號處理裝置43來進(jìn)行通信。
信息終端70具備用戶界面部71。用戶界面部71具備信息輸入裝置和信息輸出裝置。信息輸入裝置是用于作業(yè)者向距離圖像傳感器5或信號處理裝置43輸入信息的裝置，能用例如鍵盤、鼠標(biāo)、觸摸面板、語音輸入裝置等來構(gòu)成。信息輸出裝置是向作業(yè)者提供信息的裝置，能用例如顯示器、語音合成裝置等來構(gòu)成。
作業(yè)者在設(shè)置距離圖像傳感器5之前，通過觀察顯示在用戶界面部71上的指導(dǎo)，能確認(rèn)正確的設(shè)置方法。而且，作業(yè)者基于顯示在用戶界面部71的轎廂4內(nèi)的圖像，能手動調(diào)整距離圖像傳感器5的設(shè)置角度等，或輸入用于調(diào)整距離圖像傳感器5的內(nèi)部參數(shù)的指示。
距離圖像傳感器5是具有與監(jiān)視攝像機相同的攝像面、在攝像面中的各像素中，對到達(dá)與各像素相對應(yīng)的空間中的物體為止的距離進(jìn)行測量的傳感器。將對圖像中的各像素的距離值進(jìn)行測量的圖像稱為距離圖像。距離圖像傳感器5將獲取的距離圖像發(fā)送至距離圖像獲取部11。
作為距離圖像的測量方式能使用例如Time Of Flight(飛行時間)。根據(jù)該方式的距離圖像傳感器具有向其內(nèi)部照射近紅外光的發(fā)光體，通過測量所照射的近紅外光從視角內(nèi)的物體反射回來為止的時間，來測量到物體的距離。在后文中闡述的實施例中，作為距離圖像的測量方式，對于使用立體攝像機的情況進(jìn)行說明。
用圖3來闡述能以坐標(biāo)系40來計算距離圖像中的各像素的空間中的對應(yīng)點的三維坐標(biāo)的情況。首先，示出了能以距離圖像傳感器5為基準(zhǔn)的坐標(biāo)系50來計算距離圖像中的各像素的空間中的三維坐標(biāo)的情況。
在圖3中，距離圖像500具有多個像素501。像素501與空間中的點401對應(yīng)，在距離圖像500中具有坐標(biāo)i(u，v)。空間中的點401在以距離圖像傳感器5為基準(zhǔn)的坐標(biāo)系50中具有坐標(biāo)IS(XS，YS，ZS)。
坐標(biāo)系50的原點OS為距離圖像傳感器5的投影的中心。從距離圖像傳感器5觀察，坐標(biāo)系50的坐標(biāo)軸XS、YS、ZS分別與左邊方向、上邊方向、及深度方向相對應(yīng)。坐標(biāo)Is的要素Zs與像素501的距離值相等。此處，將距離圖像傳感器5的拍攝系統(tǒng)模型設(shè)為針孔模型，將距離圖像傳感器5的焦點距離設(shè)為f，坐標(biāo)Is的要素Xs能根據(jù)下記數(shù)學(xué)式1求出，要素Ys能根據(jù)下記數(shù)學(xué)式2求出。
【數(shù)學(xué)式1】
XS＝uZS/f
【數(shù)學(xué)式2】
YS＝vZS/f
用圖4闡述由轎廂4內(nèi)的坐標(biāo)系40定義的坐標(biāo)能根據(jù)以距離圖像傳感器5為基準(zhǔn)的坐標(biāo)系50的坐標(biāo)來進(jìn)行計算的情況。在圖4中，I(X,Y,Z)是空間中的點401在坐標(biāo)系50中的三維坐標(biāo)。該I(X,Y,Z)能用下記數(shù)學(xué)式3來計算。
【數(shù)學(xué)式3】
在數(shù)學(xué)式3中，位置(XC,YC,ZC)是坐標(biāo)系40中的距離圖像傳感器5的設(shè)置位置。在數(shù)學(xué)式3中，角度(θ,φ,ρ)如圖2所示是坐標(biāo)系40中的距離圖像傳感器5的設(shè)置角度。
在距離圖像500中，在求出距離值的像素中，以與根據(jù)像素501的對應(yīng)點401求出坐標(biāo)系40中的三維坐標(biāo)I(X,Y,Z)相同的步驟，能求出空間中的對應(yīng)點的坐標(biāo)系40。將用于求出包含在距離圖像500中的各像素的三維坐標(biāo)的點組稱為三維點組。此處，對于距離圖像500具有的所有像素不需要全部求出三維坐標(biāo)，可以在需要的范圍內(nèi)計算三維坐標(biāo)。即，可以根據(jù)距離圖像500局部地計算三維點組。
此處，距離圖像傳感器5的外部參數(shù)是指設(shè)置位置(XC,YC,ZC)及設(shè)置角度(θ,φ,ρ)。距離圖像傳感器5的內(nèi)部參數(shù)是指如數(shù)學(xué)式1及數(shù)學(xué)式2所示與點401的坐標(biāo)XS及YS的值有關(guān)的參數(shù)。作為一個示例，焦點距離f是內(nèi)部參數(shù)。
但是，在數(shù)學(xué)式1及數(shù)學(xué)式2中，除焦點距離f以外，能將像素501的縱橫比等更多的反映距離圖像傳感器5的拍攝系統(tǒng)模型的參數(shù)考慮在內(nèi)來進(jìn)行計算。在該情況下，在距離圖像傳感器的內(nèi)部參數(shù)上追加縱橫比等。而且，根據(jù)距離圖像傳感器5的拍攝系統(tǒng)模型中的參數(shù)，在點401的坐標(biāo)ZS值變化時，距離圖像傳感器5的拍攝系統(tǒng)模型中的參數(shù)相當(dāng)于距離圖像傳感器5的內(nèi)部參數(shù)。
在距離圖像傳感器5中，能設(shè)置用于調(diào)整設(shè)置角度(θ,φ,ρ)中的一個以上的調(diào)整功能。例如對于各個設(shè)置角度(θ,φ,ρ)，可以使用具有可調(diào)整的軸的安裝工具，將距離圖像傳感器5安裝在轎廂4上。而且，可以預(yù)先將設(shè)置角度(θ,φ,ρ)的調(diào)整基準(zhǔn)記載在作業(yè)手冊等中，使得作業(yè)者能邊看調(diào)整基準(zhǔn)邊調(diào)整設(shè)置角度。表示設(shè)置基準(zhǔn)的作業(yè)手冊能作為例如電子指導(dǎo)信息來制成，通過用戶界面部71來提供給作業(yè)者。
作為設(shè)置角度的調(diào)整基準(zhǔn)的示例，列舉將轎廂4的地板面42的過半作為距離圖像500照出的情況。此外，也可以將轎廂4的地板面42作為標(biāo)記，對作業(yè)者事前指導(dǎo)距離圖像傳感器5的設(shè)置角度。
圖5是表示型號選擇部12的畫面示例。型號選擇畫面G10經(jīng)由用戶界面部71而提供給作業(yè)者。在型號選擇畫面G10中，轎廂4的型號和距離圖像傳感器5的型號雙方能分別單獨選擇。
若作業(yè)者操作信息終端70并選擇轎廂型號選擇用的下拉菜單GP11，則下拉菜單GP11輸出轎廂4的型號的一覽顯示GP12。作業(yè)者從一覽顯示GP12中，選擇一個與現(xiàn)場的轎廂4(設(shè)置有調(diào)整對象的傳感器5的轎廂)相對應(yīng)的型號。
在畫面G10中，也設(shè)置有選擇距離圖像傳感器5的型號的傳感器型號選擇用下拉菜單GP13。若作業(yè)者操作信息終端70并選擇下拉菜單GP13，則下拉菜單GP13輸出距離圖像傳感器5的型號的一覽顯示114。作業(yè)者從該一覽顯示114中選擇與現(xiàn)場的距離圖像傳感器5相對應(yīng)的型號。
一覽顯示GP12中的轎廂型號確定轎廂4的形狀。在本實施例中，由于將轎廂4的形狀用長方體近似，因此唯一確定轎廂4的尺寸的高度、正面寬度、和深度。此外，轎廂4的高度是指圖2的Y軸方向的長度。轎廂4的正面寬度是指圖2的X軸方向的長度。轎廂4的深度是指圖2的Z軸方向的長度。
一覽顯示GP14中的距離圖像傳感器型號唯一確定距離圖像傳感器5的裝置的型號。唯一確定的距離圖像傳感器5的型號唯一確定距離圖像傳感器5的內(nèi)部參數(shù)。作為內(nèi)部參數(shù)，如上所述雖然例舉了焦點距離，但是不限于此。
而且，一覽顯示GP14中的距離圖像傳感器5的型號唯一確定轎廂4中的距離圖像傳感器5的設(shè)置位置。一覽顯示GP14中的距離圖像傳感器型號和距離圖像傳感器5的設(shè)置位置的對應(yīng)能通過預(yù)先設(shè)置距離圖像傳感器5的設(shè)置基準(zhǔn)來實現(xiàn)。
圖6表示型號選擇部12的另一個畫面示例GP10A。對于轎廂4，當(dāng)距離圖像傳感器5的設(shè)置位置限定為1處或少數(shù)幾處，并且安裝在轎廂4的距離圖像傳感器5的型號限定為1個或少數(shù)幾個的情況下，可以將轎廂型號和距離圖像傳感器型號進(jìn)行組合。
圖6所示的型號選擇畫面G10A為在將轎廂型號和距離圖像傳感器型號進(jìn)行組合時的、型號選擇部12的畫面示例，具備下拉菜單GP15和一覽顯示GP16。下拉菜單GP15是用于選擇轎廂型號和距離圖像傳感器型號的組合的菜單。一覽顯示GP16在作業(yè)者選擇下拉菜單GP15時輸出。
作業(yè)者從一覽顯示GP16中，選擇一個與現(xiàn)場的轎廂4和距離圖像傳感器5相對應(yīng)的、轎廂型號和距離圖像傳感器型號的組合。此外，在距離圖像傳感器的型號相對于轎廂型號唯一確定的情況下，也可以將轎廂型號和距離圖像傳感器型號的組合用轎廂型號來代表。
對于轎廂4的距離圖像傳感器5的設(shè)置位置限定于1處或少數(shù)幾處，能通過例如在現(xiàn)場的作業(yè)前，預(yù)先對轎廂4實施距離圖像傳感器5的設(shè)置用的事前施工來實現(xiàn)。
作為事前施工，能例舉出例如對于距離圖像傳感器5的設(shè)置位置在轎廂4的殼體上預(yù)先加工用于固定距離圖像傳感器5的夾具的安裝孔的施工。而且，作為事前施工，能例舉出在轎廂4中設(shè)置用于供與距離圖像傳感器5進(jìn)行連接的各布線(電源電纜、視頻信號傳輸電纜)通過的孔的施工。
將距離圖像傳感器5相對于轎廂4的型號限定為1個或少數(shù)幾個，能通過相對于轎廂4的型號的規(guī)定范圍的電纜，預(yù)先對適用的距離圖像傳感器5的型號及設(shè)置位置進(jìn)行共用化來實現(xiàn)。
此外，在圖5所示的畫面G10和圖6所示的畫面G10A中，下拉菜單GP11、GP13、GP15作為UI的一個示例，也能采用其他的顯示方式。例如，可以用文本框、復(fù)選框等圖形用戶界面(以下簡稱為GUI)來代替下拉菜單GP11、GP13、GP15。
用圖7的流程圖對匹配部13進(jìn)行說明。匹配部13通過執(zhí)行圖7所示的處理來進(jìn)行規(guī)定參數(shù)的校準(zhǔn)。規(guī)定參數(shù)是指從距離圖像傳感器5的外部參數(shù)和內(nèi)部參數(shù)中的至少任意一個或兩者的參數(shù)中所指定的參數(shù)。此外，在圖7中，在所述規(guī)定參數(shù)中，在不包含所述外部參數(shù)的情況下排除步驟S4，在不包含所述內(nèi)部參數(shù)的情況下排除步驟S5。
對圖7的概要進(jìn)行闡述。首先，匹配部13根據(jù)型號選擇部12的選擇結(jié)果，求出圖8所示的轎廂4的坐標(biāo)系40中的實際形狀400(S1)。
匹配部13對距離圖像傳感器5的內(nèi)部參數(shù)及外部參數(shù)的初始值進(jìn)行設(shè)定(S2)。匹配部13使用距離圖像傳感器5的內(nèi)部參數(shù)及外部參數(shù)，根據(jù)距離圖像傳感器5的距離值對圖9所示的坐標(biāo)系40中的三維點組502進(jìn)行計算(S3)。
匹配部13對作為校準(zhǔn)對象來指定的外部參數(shù)進(jìn)行更新，使得實際形狀400和三維點組502最佳匹配(S4)。而且，匹配部13對作為校準(zhǔn)對象來指定的內(nèi)部參數(shù)進(jìn)行更新，使得實際形狀400和三維點組502最佳匹配(S5)。
匹配部13進(jìn)行是否滿足規(guī)定的結(jié)束條件的判定(S6)，判定為滿足時(S6：是)，結(jié)束本處理。匹配部13若判定為沒有滿足結(jié)束條件(S6：否)，返回步驟S3。
步驟S3中的距離圖像傳感器5的內(nèi)部參數(shù)及外部參數(shù)在從步驟S3到S6為止的重復(fù)中，在首次中使用在步驟S2中設(shè)定的初始值，在第二次以后使用在步驟S4及S5中更新的值。
在成為校準(zhǔn)對象的內(nèi)部參數(shù)一個也沒有的情況下，省略步驟S5。即使成為校準(zhǔn)對象的外部參數(shù)一個也沒有，但由于在步驟S5中參照步驟S4的處理結(jié)果，因此也不省略步驟S4。
以下，對于圖7的各步驟的詳細(xì)情況進(jìn)行闡述。在步驟S1中求出的實際形狀400是根據(jù)在型號選擇部12中選擇的轎廂型號來確定的、具有寬度、正面深度、高度的長方體。實際形狀400的數(shù)據(jù)的形式例如由將長方體的表面以規(guī)定間隔進(jìn)行網(wǎng)格分割而成的三維點組所構(gòu)成。
在步驟S2中，對于距離圖像傳感器5的內(nèi)部參數(shù)及外部參數(shù)中的設(shè)置位置，將根據(jù)由型號選擇部12選擇的距離圖像傳感器5的型號所預(yù)先設(shè)定的值作為初始值來使用。
此處，作為一個示例，與型號選擇部12的選擇對應(yīng)的距離圖像傳感器5的全部內(nèi)部參數(shù)的初始值和外部參數(shù)中的設(shè)置位置的初始值在未圖示的數(shù)據(jù)庫中預(yù)先登記。匹配部13從該數(shù)據(jù)庫讀取與距離圖像傳感器5的型號對應(yīng)的值并使用。
如果在與現(xiàn)場的距離圖像傳感器5的型號對應(yīng)的參數(shù)的一部分未登記到數(shù)據(jù)庫的情況下，作為未登記參數(shù)的初始值可以使用零或隨機數(shù)等值。
關(guān)于包含在距離圖像傳感器5的外部參數(shù)中的設(shè)置角度，能將例如對于作業(yè)者進(jìn)行指導(dǎo)時的、距離圖像傳感器5的設(shè)置角度的值作為初始值來使用。因為能期望接受指導(dǎo)的作業(yè)者在一般情況下，以如在指導(dǎo)中所指示的角度來安裝距離圖像傳感器5。在進(jìn)行指導(dǎo)的情況下，能使在步驟S2中的距離圖像傳感器5的設(shè)置角度的初始值接近實際空間中的設(shè)置角度。
在步驟S2中，還讀取在步驟S4及S5中參照的、成為校準(zhǔn)對象的距離圖像傳感器5的外部參數(shù)及內(nèi)部參數(shù)的指定。該指定基于匹配部13中預(yù)先設(shè)定的設(shè)定數(shù)據(jù)。設(shè)定數(shù)據(jù)可以根據(jù)在型號選擇部12中所選擇的轎廂型號或距離圖像傳感器型號來確定?；蛘?，如后述那樣，匹配部13可以經(jīng)由UI接受由作業(yè)者將三維點組502與實際形狀400相匹配時所利用的基準(zhǔn)點或基準(zhǔn)線等指示，并利用該指示對校準(zhǔn)對象的參數(shù)(規(guī)定參數(shù))進(jìn)行調(diào)整。
對于在步驟S3中的三維點組502的計算方法進(jìn)行說明。匹配部13使用距離圖像傳感器5的內(nèi)部參數(shù)及外部參數(shù)和數(shù)學(xué)式1、數(shù)學(xué)式2、及數(shù)學(xué)式3，對于距離圖像500中的各像素501，求出與各像素501對應(yīng)的點401在坐標(biāo)系40中的三維坐標(biāo)I(X,Y,Z)。由此，匹配部13能獲取三維點組502。此外，在像素501中，距離值未求出的像素不作為三維點組的計算對象。
以上所述的三維點組502中的各點在坐標(biāo)系40中的三維坐標(biāo)如距離圖像獲取部11的說明中所述的那樣，根據(jù)在步驟S3中使用的距離圖像傳感器5的內(nèi)部參數(shù)及外部參數(shù)而發(fā)生變化。而且，在步驟S3中使用的距離圖像傳感器5的內(nèi)部參數(shù)及外部參數(shù)根據(jù)從步驟S3到步驟S6的重復(fù)進(jìn)行而發(fā)生變化。
在步驟S4中，匹配部13對于三維點組502和實際形狀400最匹配的距離圖像傳感器5的外部參數(shù)使用ICP算法來進(jìn)行計算。
在ICP算法中，對于三維點組中的各點pi的實際形狀的對應(yīng)點yi根據(jù)兩者的距離為最小的下記數(shù)學(xué)式4的條件來進(jìn)行搜索。在此階段求出的對應(yīng)點yi是假定的對應(yīng)點，可以不必是相對于各點pi正確的對應(yīng)點。
在數(shù)學(xué)式4中，x是實際形狀中的點，X是x的集合。在數(shù)學(xué)式4中，根據(jù)轎廂4內(nèi)的坐標(biāo)軸40，定義三維坐標(biāo)。對應(yīng)點yi的坐標(biāo)也用坐標(biāo)系40來定義。
在ICP算法中，如下記數(shù)學(xué)式5所示，對指定作為校準(zhǔn)對象的外部參數(shù)進(jìn)行優(yōu)化，使得根據(jù)三維點組中的各點pi和實際形狀中的對應(yīng)點yi的集合來求出的匹配誤差e變小。
詳細(xì)地說，對于根據(jù)步驟S3的距離圖像傳感器5的內(nèi)部參數(shù)所求出的點pi在坐標(biāo)系50中的坐標(biāo)IS(XS,YS,ZS)和點pi在坐標(biāo)系40中的坐標(biāo)IS(XS,YS,ZS)，使用在這兩個坐標(biāo)間的數(shù)學(xué)式3的關(guān)系，對校準(zhǔn)對象的參數(shù)進(jìn)行優(yōu)化，使得匹配誤差e變小。校準(zhǔn)對象參數(shù)是指在作為距離圖像傳感器5的外部參數(shù)的設(shè)置位置(XC,YC,ZC)和設(shè)置角度(θ,φ,ρ)中，作為校準(zhǔn)對象進(jìn)行指定的參數(shù)。
此外，在數(shù)學(xué)式5中，N是表示三維點組中的點的數(shù)量的自然數(shù)。在ICP算法中，下面重復(fù)進(jìn)行在數(shù)學(xué)式4中所示的對應(yīng)點的搜索、使用數(shù)學(xué)式5的校準(zhǔn)對象的外部參數(shù)的優(yōu)化，直到匹配誤差e為最小?？芍贗CP算法中，若三維點組中的點的數(shù)量N足夠多，則通過進(jìn)行足夠多的次數(shù)的重復(fù)，對于點pi可求出正確的對應(yīng)點yi，以及可高精度地求出距離圖像傳感器5的所有外部參數(shù)。
【數(shù)學(xué)式4】
【數(shù)學(xué)式5】
在步驟S5中，對于步驟S2中作為校準(zhǔn)對象來指定的內(nèi)部參數(shù)進(jìn)行優(yōu)化，使得數(shù)學(xué)式5所示的匹配誤差e為最小。
此處，在距離圖像傳感器5的內(nèi)部參數(shù)中，對于將焦點距離f作為校準(zhǔn)對象的情況舉例進(jìn)行說明。將數(shù)學(xué)式5中的點pi在坐標(biāo)系40中的坐標(biāo)I(X,Y,Z)設(shè)為在坐標(biāo)系50中的坐標(biāo)IS(XS,YS,ZS)。此時，若使焦點距離Z變化，則根據(jù)焦點距離f的變化，數(shù)學(xué)式1及數(shù)學(xué)式2中的坐標(biāo)XS、YS發(fā)生變化。其結(jié)果，在數(shù)學(xué)式3中I(X,Y,Z)也變化。
在步驟S5中，利用上述的性質(zhì)，使焦點距離f發(fā)生變化，以使得匹配誤差e為最小。對焦點距離f以外的內(nèi)部參數(shù)進(jìn)行校準(zhǔn)的情況也相同。若調(diào)整焦點距離f以外的內(nèi)部參數(shù)，則根據(jù)坐標(biāo)系50中的坐標(biāo)IS(XS,YS,ZS)，坐標(biāo)系40的坐標(biāo)I(X,Y,Zx)發(fā)生變化，利用該性質(zhì)，對焦點距離f以外的內(nèi)部參數(shù)進(jìn)行優(yōu)化，以使得匹配誤差e為最小。
將2以上的M個內(nèi)部參數(shù)作為校準(zhǔn)對象的情況下，增加將數(shù)學(xué)式5中的各點pi及其對應(yīng)點yi的歐氏距離設(shè)為0的約束方程式。通過將各點pi的數(shù)量N設(shè)為比M個要多，能獲取為了求出M個內(nèi)部參數(shù)所需要的足夠數(shù)量的約束方程式。
在步驟S6中，當(dāng)匹配誤差e為預(yù)定閾值以下時，則判定為本處理結(jié)束?；蛘咴谄ヅ湔`差e收斂時，或者在從步驟S3到步驟S6的反復(fù)重復(fù)達(dá)到規(guī)定次數(shù)以上時，能判定為本處理結(jié)束。
匹配部13如上所述，對在步驟S2中所指定的校準(zhǔn)對象參數(shù)進(jìn)行優(yōu)化。由此，匹配部13獲取與如圖10所示的實際形狀400進(jìn)行匹配后的三維點組502A。而且，匹配部13能將最優(yōu)化的校準(zhǔn)對象參數(shù)(規(guī)定參數(shù))作為校準(zhǔn)的結(jié)果進(jìn)行輸出。如上所述，校準(zhǔn)對象參數(shù)能從外部參數(shù)和內(nèi)部參數(shù)中的任意一個或兩者中指定多個。
圖像處理部2使用在匹配部13中進(jìn)行校準(zhǔn)后的距離圖像傳感器5的外部參數(shù)及內(nèi)部參數(shù)，能進(jìn)行將距離圖像500作為對象的圖像識別。圖像處理部2向電梯控制部3通知圖像識別的結(jié)果。電梯控制部3根據(jù)圖像識別的結(jié)果，能控制轎廂4內(nèi)的裝置的動作或轎廂4的運行。
作為控制，例如，列舉與擁擠度相對應(yīng)的滿載通過的運行控制。即例如，在雖然轎廂4的總載重未達(dá)到上限值但轎廂4的地板面42中空著的面積變小的情況下，能進(jìn)行如下控制：不向該轎廂4分配電梯廳呼梯，或取消已分配的電梯廳呼梯。除此以外，還能根據(jù)圖像識別掌握轎廂4內(nèi)的情況，根據(jù)該掌握結(jié)果進(jìn)行適當(dāng)?shù)目刂啤?/p>
此外，圖像處理部2中，對于規(guī)定的控制，也能不經(jīng)由電梯控制部3，而由圖像處理部2直接進(jìn)行。例如，在乘客聚集在轎廂4內(nèi)的門41側(cè)、轎廂4的里側(cè)空著的情況下，圖像處理部2能向轎廂4內(nèi)傳遞“請向里側(cè)擠一擠”等信息。
對于本實施例中的校準(zhǔn)方法的整體使用圖11的流程圖進(jìn)行說明。圖11中作業(yè)者進(jìn)行的步驟用虛線表示。圖11所示的流程圖使用11～13來實現(xiàn)圖1所示的攝像機參數(shù)調(diào)整裝置10(也能稱為校準(zhǔn)裝置10)的功能。
首先作業(yè)者通過用戶界面部71操作型號選擇部12，從而分別選擇轎廂4的型號及距離圖像傳感器5的型號(S11)。
匹配部13根據(jù)在步驟S11中選擇的轎廂型號，從未圖示的數(shù)據(jù)庫讀取作為“三維形狀信息”的轎廂4的數(shù)據(jù)(S12)。讀取對象的轎廂4的數(shù)據(jù)是指為了生成實際形狀400所需要的數(shù)據(jù)，具體而言是高度尺寸、寬度尺寸、深度尺寸。假設(shè)在轎廂形狀為圓筒形狀的情況下，半徑和高度為讀取對象的數(shù)據(jù)。
匹配部13根據(jù)在步驟S11中選擇的傳感器型號，從未圖示的數(shù)據(jù)庫讀取距離圖像傳感器5的數(shù)據(jù)(S13)。由此，匹配部13如在圖7的步驟S2中闡述的那樣，對距離圖像傳感器5的內(nèi)部參數(shù)及外部參數(shù)的初始值分別進(jìn)行設(shè)定。
匹配部13基于在步驟S12中讀取的數(shù)據(jù)，生成轎廂4的實際形狀400(S14)。而且，匹配部13從距離圖像獲取部11讀取距離圖像傳感器5所拍攝到的距離圖像500，根據(jù)距離圖像500計算三維點組502的初始值(S15)。匹配部13使用在步驟S2中所設(shè)定的距離圖像傳感器5的外部參數(shù)及內(nèi)部參數(shù)各自的初始值，根據(jù)距離圖像500計算三維點組502的初始值。
匹配部13以三維點組502和實際形狀400的匹配誤差e為最小為條件，對于在步驟S2指定的規(guī)定參數(shù)(包含距離圖像傳感器5的外部參數(shù)和內(nèi)部參數(shù)中的至少任意一個的校準(zhǔn)對象參數(shù))進(jìn)行優(yōu)化(S16)。
根據(jù)如上所述構(gòu)成的本實施例，將根據(jù)距離圖像生成的三維點組和轎廂4的實際形狀進(jìn)行比較，能對于從距離圖像傳感器5具有的外部參數(shù)組及內(nèi)部參數(shù)組中所選擇的規(guī)定參數(shù)進(jìn)行調(diào)整，以使得兩者最匹配。
因而，根據(jù)本實施例，能不用在轎廂4的地板面42上設(shè)置多個標(biāo)記，對距離圖像傳感器5的多個(3以上)規(guī)定參數(shù)進(jìn)行校正，從而能提高距離圖像傳感器5的設(shè)置作業(yè)、調(diào)整作業(yè)的效率。
而且，根據(jù)本實例，能使用適當(dāng)?shù)匦Ｕ鄠€規(guī)定參數(shù)后的距離圖像傳感器5，對轎廂4內(nèi)的狀況進(jìn)行圖像識別，能根據(jù)該圖像識別的結(jié)果，控制轎廂4內(nèi)的裝置，或?qū)I廂4的運行進(jìn)行控制。
【實施例2】
使用圖12～圖17對于實施例2進(jìn)行說明。由于包含本實施例的以下各實施例相當(dāng)于實施例1的變形例，因此以與實施例1的不同處為中心進(jìn)行說明。
圖12是攝像機參數(shù)調(diào)整裝置1A的功能框圖。本實施例的攝像機參數(shù)調(diào)整裝置1A具備距離圖像獲取部11、型號選擇部12、匹配部13A、以及對應(yīng)部位輸入部14。匹配部13A與圖像處理部2連接。本實施例的匹配部13A由于與實施例1的匹配部13處理內(nèi)容不同，因此改變標(biāo)號。
對應(yīng)部位輸入部14是用于作業(yè)者輸入與實際形狀400的規(guī)定部位對應(yīng)的距離圖像500中的對應(yīng)部位的信息的UI。對應(yīng)部位輸入部14利用信息終端70上的用戶界面部71來實現(xiàn)。匹配部13A將來自對應(yīng)部位輸入部14的輸入反映至在圖7的步驟S2中所設(shè)定的初始值。
圖13示出了對應(yīng)部位輸入部14的畫面G20的一個示例。對應(yīng)部位輸入畫面G20是用于將實際形狀400和距離圖像500的對應(yīng)部位以標(biāo)記GP22來進(jìn)行確定的UI畫面。
對應(yīng)部位輸入畫面G20具有用于顯示距離圖像500的距離圖像顯示部GP21。作業(yè)者在距離圖像顯示部GP21中顯示的距離圖像500中，在與實際形狀400對應(yīng)的部位設(shè)定標(biāo)記GP22。在本實施例中，在轎廂4的地板面42所具有的四個角落中，將與距離圖像傳感器5相對的角作為對齊的基準(zhǔn)點來使用。作業(yè)者從距離圖像500中找到在指導(dǎo)等中事前指示的對齊基準(zhǔn)點，并在該基準(zhǔn)點上設(shè)定標(biāo)記GP22。
作業(yè)者通過操作鼠標(biāo)或觸摸屏等，能將標(biāo)記GP22置于期望的位置。標(biāo)記GP22的位置可以變更。
圖14在轎廂4的實際形狀400中示出圖13所示的標(biāo)記GP22的對應(yīng)部位。標(biāo)記GP22在與實際形狀400的地板面42對應(yīng)的四個角落中，設(shè)定作為與距離圖像傳感器5相對的位置402所對應(yīng)的標(biāo)記。因而，若作業(yè)者在距離圖像500上放置標(biāo)記GP22，則匹配部13識別出放置標(biāo)記GP22的位置為與實際形狀400中的位置402對應(yīng)的位置。
匹配部13A與圖7所示的處理相同，對于在距離圖像傳感器5具有的參數(shù)組中步驟S2指定的規(guī)定參數(shù)進(jìn)行調(diào)整。但是，在實施例中，在圖7的步驟S2中，設(shè)定規(guī)定參數(shù)的初始值，使得標(biāo)記GP22和點402在坐標(biāo)系40上重疊。
標(biāo)記GP22的三維坐標(biāo)以下述順序求出。匹配部13根據(jù)與距離圖像的顯示GP21中的標(biāo)記GP22的坐標(biāo)相同坐標(biāo)的距離圖像500中的點150的距離值ZS和數(shù)學(xué)式1及數(shù)學(xué)式2，求出標(biāo)記GP22在坐標(biāo)系50中的坐標(biāo)IS(XS,YS,ZS)。
匹配部13根據(jù)坐標(biāo)IS(XS,YS,ZS)和數(shù)學(xué)式3，求出坐標(biāo)系40中的坐標(biāo)I(X,Y,Z)。匹配部13在由設(shè)置位置(XC,YC,ZC)和設(shè)置角度(θ,φ,ρ)形成的距離圖像傳感器5的外部參數(shù)中，計算在步驟S2中指定的外部參數(shù)值，使得坐標(biāo)I(X,Y,Z)在坐標(biāo)系40中與點402之間的距離接近于零。
此處，在步驟S2中，設(shè)定成校準(zhǔn)對象所指定的外部參數(shù)的數(shù)量較多，在坐標(biāo)系40中，僅以與點402之間的距離接近為零的限制不能唯一確定值，在這種情況下，在滿足該限制的范圍內(nèi)設(shè)為任意。在以上說明中，雖然闡述了根據(jù)限制求出距離圖像傳感器5的外部參數(shù)的值的方法，但也可以取而代之，以滿足限制為條件求出距離圖像傳感器5的內(nèi)部參數(shù)的值。
在本實施例中，在步驟S2中，使用根據(jù)點402和標(biāo)記GP22求出的初始值，因此能提高在步驟S4及步驟S5中的參數(shù)優(yōu)化的精度。在ICP算法中，如上所述那樣，步驟S2的初始值越適當(dāng)，越能高精度地進(jìn)行對應(yīng)點的搜索、參數(shù)的優(yōu)化。
圖15示出了對應(yīng)部位輸入部14的另一個畫面示例G30。對應(yīng)部位輸入畫面G30是用于將實際形狀400和距離圖像500的對應(yīng)部位以線狀標(biāo)記GP32A、GP32B、GP32C來確定的UI畫面。對應(yīng)部位輸入畫面G30具有用于顯示距離圖像500的距離圖像顯示部GP31。
在圖13、圖14中，雖然使用點402作為對齊基準(zhǔn)，但是也可以取而代之，使用線段403A、403B、403C作為對齊基準(zhǔn)(參照圖16)。作業(yè)者在距離圖像顯示部GP31所顯示的距離圖像500中，在與實際形狀400對應(yīng)的線段403A、403B、403C上分別設(shè)定線狀標(biāo)記GP32A、GP32B、GP32C。
線狀標(biāo)記GP32A、GP32B、GP32C依次如圖16所示那樣，與實際形狀400中的邊403A、403B、403C對應(yīng)。此時，匹配部13A求出初始值，以使得線狀標(biāo)記GP32A、GP32B、GP32C與實際形狀400的邊403A、403B、403C盡可能重合。
對于初始值的計算方法進(jìn)行說明。匹配部13A求出分別以規(guī)定間隔對例如線狀標(biāo)記GP32A、GP32B、GP32C以及邊403A、403B、403C進(jìn)行分割而得的分割點。匹配部13A與在標(biāo)記GP22和點402的計算中闡述的相同，計算步驟S2的初始值使得這些分割點彼此接近。匹配部13A以全部分割點計算步驟S2的初始值，通過計算它們的平均值，能求出初始值。在圖15中，對齊基準(zhǔn)用的線狀標(biāo)記GP32A等的數(shù)量不限于圖15所示的3個。線狀標(biāo)記能僅設(shè)為1個以上的任意數(shù)量。
圖17是表示本實施例的校準(zhǔn)方法的整體處理的流程圖。作業(yè)者進(jìn)行的步驟用虛線表示。圖17的處理使用圖12的攝像機參數(shù)調(diào)整裝置1A具有的功能11、12、13A、14來實現(xiàn)。在圖17中，除了步驟S21和步驟S22的其他的各步驟S11～S16與實施例1相同。
最初，在步驟S21中，作業(yè)者通過操作對應(yīng)部位輸入部14，在距離圖像500中輸入與實際形狀400的對應(yīng)部位403A～403C對應(yīng)的線狀標(biāo)記GP32A～GP32C。
在步驟S22中，對步驟S21中的輸入進(jìn)行反映，從而在圖7的步驟S2中設(shè)定校準(zhǔn)對象參數(shù)的初始值。在圖17的處理中，由于使用多個線狀標(biāo)記GP32A～GP32C，能高精度地設(shè)定多個規(guī)定參數(shù)的初始值，因此在步驟S16中能更高精度地優(yōu)化規(guī)定參數(shù)。
由此構(gòu)成的本實施例也能起到與實施例1相同的作用效果。在本實施例中，使用標(biāo)記來局部地進(jìn)行實際形狀400和距離圖像500的對齊，因此能更準(zhǔn)確地求出校準(zhǔn)對象的多個規(guī)定參數(shù)的初始值，并能對各規(guī)定參數(shù)進(jìn)行優(yōu)化。
【實施例3】
使用圖18～圖20對于實施例3進(jìn)行說明。本實施例的攝像機參數(shù)調(diào)整裝置1B具備距離圖像獲取部11、型號選擇部12、匹配部13B、以及對應(yīng)部位輸入部14。匹配部13B與圖像處理部2連接。
匹配部13B是用于作業(yè)者對步驟S2中所指定的規(guī)定參數(shù)進(jìn)行調(diào)整以使得三維點組502與實際形狀400相匹配的UI。匹配部13B利用信息終端70上的用戶界面部71來實現(xiàn)。
用圖19對匹配部13B的處理進(jìn)行說明。步驟S1、S2、S3與實施例1相同。本實施例的匹配部13B輸出三維點組502和實際形狀400的重疊顯示(S7)。在步驟S7中，若距離圖像傳感器5的內(nèi)部參數(shù)及外部參數(shù)分別適當(dāng)，則如圖10中的三維點組502A和實際形狀400那樣，輸出兩者的位置關(guān)系適當(dāng)?shù)闹丿B顯示。與此相反，若內(nèi)部參數(shù)或外部參數(shù)的任意一個不適當(dāng)，則三維點組502A與實際形狀400之間的位置關(guān)系也不適當(dāng)。該結(jié)果，在重疊顯示中，兩者的位置不重疊，或兩者的角度發(fā)生偏差。
匹配部13B等待接受來自作業(yè)者的結(jié)束指示(S8)。即，作業(yè)者在完成規(guī)定參數(shù)的手動調(diào)整的情況下，經(jīng)由信息終端70輸入結(jié)束指示。例如，作業(yè)者通過操作顯示在UI畫面上的結(jié)束按鈕(OK按鈕)，能指示結(jié)束。作為用于發(fā)出結(jié)束指示的判斷基準(zhǔn)，例如，列舉步驟S7的重疊顯示中的三維點組502A與實際形狀400之間的位置關(guān)系變得適當(dāng)?shù)那闆r。該判斷基準(zhǔn)可以通過作業(yè)手冊或指導(dǎo)等，預(yù)先告訴作業(yè)者。
在接受來自作業(yè)者的結(jié)束指示的情況下(S8：是)，匹配部13B結(jié)束本處理。到接受來自作業(yè)者的結(jié)束指示為止的期間(S8：否)，匹配部13B從作業(yè)者接受參數(shù)調(diào)整指示(S9)，根據(jù)該調(diào)整指示修正三維點組502(S3)。
即，若匹配部13B從作業(yè)接受校準(zhǔn)對象參數(shù)的調(diào)整指示，則返回步驟S3，反映步驟S9的調(diào)整指示并重新計算三維點組502的各點的三維坐標(biāo)。此外，作業(yè)者能例如在文本框輸入數(shù)值，或者通過操作滑動條等，向匹配部13B提供用于調(diào)整參數(shù)的指示。
圖20是表示本實施例的校準(zhǔn)方法的整體處理的流程圖。作業(yè)者執(zhí)行的步驟用虛線表示。圖20的處理使用圖18所示的攝像機參數(shù)調(diào)整裝置1B所具有的功能11、12、13B、14來實現(xiàn)。
在圖20中，步驟S11～S15與實施例1相同。在步驟S31中，作業(yè)者通過操作匹配部13B能調(diào)整距離圖像傳感器5的多個規(guī)定參數(shù)，使得如圖10中的三維點組502A和實際形狀400那樣，顯示兩者的位置關(guān)系適當(dāng)?shù)闹丿B顯示。
由此構(gòu)成的本實施例也能起到與實施例1相同的作用效果。而且，在本實施例中，作業(yè)者能一邊通過肉眼觀察三維點組502和實際形狀400的重疊顯示，一邊手動地調(diào)整距離圖像傳感器5的規(guī)定參數(shù)。
此外，通過組合實施例1和本實施例，來將三維點組502與實際形狀400以第1精度進(jìn)行匹配，從而自動地調(diào)整規(guī)定參數(shù)(第1階段的調(diào)整)，這之前，作業(yè)者邊觀察重疊顯示邊手動進(jìn)行調(diào)整(第2階段的調(diào)整)，最終能以比第1精度要高的第2精度來校正規(guī)定參數(shù)。
而且，通過將本實施例和實施例1及實施例2進(jìn)行組合，能將第1階段的調(diào)整的精度進(jìn)一步提高。
而且在本實施例中，由于能輸出三維點組502和實際形狀400的重疊顯示，因此，若預(yù)先將該重疊顯示畫面以電子方式或作為印刷品進(jìn)行記錄，則能作為參數(shù)調(diào)整作業(yè)的履歷來使用。使用該調(diào)整履歷，能確認(rèn)是否適當(dāng)?shù)剡M(jìn)行了維護檢查，能對作業(yè)員的技能進(jìn)行評價。
【實施例4】
使用圖21對于實施例4進(jìn)行說明。能適用可將圖像中的各像素的距離值轉(zhuǎn)換成三維數(shù)據(jù)的任意方式的距離圖像傳感器，以代替Time Of Flight(飛行時間)方式的距離圖像傳感器5。立體攝像機或激光雷達(dá)是其一個示例，但是不限于此。
在距離圖像傳感器5是立體攝像機的情況下，由2臺以上的攝像機構(gòu)成。以下，對于立體攝像機為2臺攝像機構(gòu)成的情況進(jìn)行闡述。此外，立體攝像機包含3臺以上的攝像機來構(gòu)成的情況下，可以認(rèn)為是由2臺攝像機構(gòu)成的立體攝像機的組合的集合。
在由2臺攝像機構(gòu)成的立體攝像機中，根據(jù)圖21所示的處理，根據(jù)設(shè)置在左右的攝像機間的視差，能計算距離圖像500中的像素501的距離值ZS。此外，在上下設(shè)置攝像機的情況下，若將圖像旋轉(zhuǎn)90度，則與在左右設(shè)置攝像機的情況等效。
距離圖像獲取部11首先在最初獲取左右攝像機的圖像(S41)。距離圖像獲取部11分別在左右的攝像機上校正鏡頭失真(S42)。在步驟S42中，將左右攝像機的鏡頭失真系數(shù)kL、kR用在參數(shù)中。鏡頭失真系數(shù)kL、kR是1維以上的實數(shù)矢量。
距離圖像獲取部11通過對左右的攝像機分別進(jìn)行齊次坐標(biāo)轉(zhuǎn)換來進(jìn)行平行化，使得左右攝像機內(nèi)的對應(yīng)點(空間中的同一物體為左右攝像機分別照出的點)出現(xiàn)在相同的v坐標(biāo)(圖像的縱方向的坐標(biāo))(S43)。此處，齊次坐標(biāo)轉(zhuǎn)換的矩陣ML、MR根據(jù)左右攝像機的焦點fL、fR、左右攝像機間的相對角度(θd,φd,ρd)、相對位置(Xd,Yd,Zd)以及距離圖像500的圖像尺寸來唯一確定。
距離圖像獲取部11在附近像素內(nèi)的亮度差為最小的條件下搜索右攝像機內(nèi)的像素iR(uR,vR)在左攝像機上的對應(yīng)點iL(uL,vR)，并對視差Δ＝uR-uL進(jìn)行計算。在右攝像機的圖像的全部的點上進(jìn)行該操作(S44)。
距離圖像獲取部11根據(jù)平行化后的右攝像機的各像素的視差Δ，利用下述數(shù)學(xué)式6來計算距離值ZS(S45)。在數(shù)學(xué)式6中，f是平行化后的右攝像機的焦點距離，根據(jù)S43中的各參數(shù)來唯一確定。
【數(shù)學(xué)式6】
ZS＝f|Xd/Δ|
在距離圖像傳感器5為立體攝像機的情況下，以上所述的S43、S44的左右攝像機的鏡頭失真系數(shù)kL、kR、焦點距離kL、kR、左右攝像機間的相對角度(θd,φd,ρd)、相對位置(Xd,Yd,Zd)成為立體攝像機的內(nèi)部參數(shù)。若使這些內(nèi)部參數(shù)發(fā)生變化，則利用數(shù)學(xué)式6來進(jìn)行計算的距離值ZS發(fā)生變化。
例如，若X軸坐標(biāo)Xd變化，則距離值ZS與坐標(biāo)Xd成反比變化，若齊次坐標(biāo)轉(zhuǎn)換的矩陣ML、MR變化，則視差Δu與之相對應(yīng)地變化。此外，若距離值ZS變化，則用數(shù)學(xué)式1、數(shù)學(xué)式2來進(jìn)行計算的點401的Xs坐標(biāo)及ZS坐標(biāo)也變化。由此，在將立體攝像機設(shè)為距離圖像傳感器5的情況下，多個內(nèi)部參數(shù)對點401的坐標(biāo)IS(XS,YS,ZS)產(chǎn)生影響。在上述的實施例1～實施例3中，在將立體攝像機設(shè)為距離圖像傳感器5的情況下，能將以上所述的立體攝像機的內(nèi)部參數(shù)中的一個以上設(shè)為校準(zhǔn)對象。
以上，對于本發(fā)明的實施方式進(jìn)行了說明，但是本發(fā)明不限于此，在不脫離本發(fā)明的思想的范圍內(nèi)，能進(jìn)行如下述那樣各種變更或功能追加。
匹配部也可以在信息終端上顯示校準(zhǔn)后的三維點組與實際形狀的重疊顯示。由此作業(yè)者能用肉眼觀察確認(rèn)是否適當(dāng)?shù)剡M(jìn)行了校準(zhǔn)。
匹配部也能向信息終端通知匹配誤差。而且，在匹配誤差超過規(guī)定的閾值的情況下，也可以發(fā)出表示校準(zhǔn)失敗的警報。由此，作業(yè)者能知道校準(zhǔn)高精度地進(jìn)行到了怎樣的程度。
規(guī)定參數(shù)的校準(zhǔn)能在規(guī)定的契機進(jìn)行。作為規(guī)定的契機是例如購入電梯系統(tǒng)時、電梯系統(tǒng)的檢查時、向距離圖像傳感器通電時等。通過將距離圖像傳感器的規(guī)定參數(shù)在規(guī)定的契機(例如以規(guī)定的周期)反復(fù)執(zhí)行，能與距離圖像傳感器的老化對應(yīng)。除此以外，若將此時的匹配誤差向信息終端通知，則作業(yè)者能知道老化的程度。此外，作業(yè)者能知道老化導(dǎo)致的校準(zhǔn)精度的降低。此外，若將匹配誤差超過規(guī)定的閾值時的警報向信息終端進(jìn)行通知，則作業(yè)者能知道已過度老化，并能探討更換距離圖像傳感器。
此處，老化不限于長時間使用導(dǎo)致的自然老化，存在例如由于伴隨轎廂的運行的振動導(dǎo)致距離圖像傳感器的設(shè)置角度發(fā)生偏移的情況、和乘客或乘客的行李與距離圖像傳感器接觸導(dǎo)致設(shè)置角度發(fā)生偏移的情況。
匹配部不限于上述各實施例的結(jié)構(gòu)。也可以使用能實現(xiàn)三維點組和實際形狀的匹配誤差的其他方法。例如，也可以同時地進(jìn)行外部參數(shù)的優(yōu)化和內(nèi)部參數(shù)的優(yōu)化。
實際形狀不限于三維的線框模型。能定義三維點組和匹配誤差即可，也可以是網(wǎng)格部等其他的數(shù)據(jù)結(jié)構(gòu)。例如，也可以將實際形狀作為多個面(三個面)來定義。而且，點不需要配置在整個面上，所包含的點的密度達(dá)到能計算匹配誤差的程度即可。
可以從距離圖像，切割出距離值的精度較高、或與實際形狀的匹配容易判斷的那樣一部分區(qū)域來計算匹配誤差。切割對象的區(qū)域的指定可以使用例如對應(yīng)部位輸入部那樣的用戶界面。
轎廂實際形狀不限于長方體。也可以是圓筒狀。而且，例如在轎廂內(nèi)具備椅子的情況下，除長方體形狀以外，實際形狀中能包含椅子的形狀。
在各實施例闡述的流程圖中，能交換步驟的順序，將多個步驟合成一個步驟，將一個步驟的內(nèi)容分割成多個步驟，或?qū)σ徊糠植襟E的內(nèi)容進(jìn)行變更。它們的變形例也包含在本發(fā)明的范圍內(nèi)。
此外，通過將上述實施方式中所公開的多個結(jié)構(gòu)要素進(jìn)行適當(dāng)?shù)慕M合，能形成各種發(fā)明。例如，可以從實施方式所示的全部結(jié)構(gòu)要素中刪除幾個結(jié)構(gòu)要素。而且，對于涉及不同的實施方式的結(jié)構(gòu)要素也可以進(jìn)行適當(dāng)?shù)慕M合。
標(biāo)號說明
1、1A、1B：攝像機參數(shù)調(diào)整裝置
2：圖像處理部
3：電梯控制部
4：轎廂
5：距離圖像傳感器
11：距離圖像獲取部
12：型號選擇部
13、13A、13B：匹配部
14：對應(yīng)部位輸入部
400：實際形狀
502、502A：三維點組
- 還沒有人留言評論。精彩留言會獲得點贊！