專利名稱:成像裝置的制作方法
技術領域:
本發(fā)明涉及一種成像裝置,尤其涉及一種能夠?qū)Υ龣z查的物體進行拍攝的攝像
機所產(chǎn)生的移動畫面圖像顯示在比攝像機實際視場更寬的視場中的鑲嵌圖像上的成像裝置。
背景技術:
在相關領域中,圖像鑲嵌通常指的是這樣的技術通過在改變視場的同時組合多個所拍攝的靜止圖像來產(chǎn)生一張視場比攝像機實際視場更寬的寬視場圖像。在諸如對由物鏡放大的拍攝對象進行拍攝的數(shù)字顯微鏡之類的成像裝置的情況下,可以通過移動其上固定了待檢查物體的可移動載物臺來改變視場。這種寬視場圖像被稱為鑲嵌圖像,其通過在根據(jù)圖像之間的相對位置以這種方式改變視場的同時對多個所拍攝的靜止圖像進行耦合來生成。 例如,在配備了對可移動載物臺的位置進行檢測的傳感器并自動拍攝由用戶指定的拍攝范圍的已知成像裝置的情況下,通過可移動載物臺的控制信息判斷圖像之間的相對位置關系并進行靜止圖像的組合。在這種成像裝置中,當指定了拍攝范圍并一旦開始拍攝時,該流程中間不能改變拍攝范圍。另外,需要高度準確地檢測可移動載物臺的位置,因此存在系統(tǒng)配置變得復雜和成本很高的問題。 另一方面,還有一種通過組合圖像與靜止圖像間的圖案匹配來判斷圖像間相對位置關系的成像裝置。然而,還沒有這樣一種成像裝置,其能夠在使用戶確定在拍攝期間的視場與在顯示單元上圖像生成期間的鑲嵌圖像之間的位置關系的同時獲取靜止圖像并將靜止圖像與鑲嵌圖像耦合。因此,能夠想象一種成像裝置,其中在將拍攝過程中的視場顯示為鑲嵌圖像上的移動圖像的同時,在用戶指定的定時處獲取靜止圖像并將該靜止圖像組合到鑲嵌圖像。然而,在通過這些圖像之間的圖案匹配來判斷在鑲嵌圖像與構成移動畫面圖像的幀圖像之間的相對位置、并且將移動畫面圖像顯示在鑲嵌圖像上的情況下,如果幀圖像的定位失敗,則會存在這樣的問題拍攝期間的視場與圖像生成期間的鑲嵌圖像之間的位置關系變得不清楚。
發(fā)明內(nèi)容
已經(jīng)考慮到上述情況做出了本發(fā)明,本發(fā)明的目的是提供一種能夠容易地識別拍攝期間的視場與圖像生成期間的鑲嵌圖像之間的位置關系而無需使系統(tǒng)構造變得復雜的成像裝置。更具體地,本發(fā)明另一個目的是提供這樣一種成像裝置,其能夠容易地發(fā)現(xiàn)它在將拍攝期間的視場作為移動畫面圖像顯示在鑲嵌圖像上的適當位置處的情況下對幀圖像定位的失敗。另外,本發(fā)明的另一目的是提供一種成像裝置,其能夠容易地將拍攝期間的視場返回到能夠定位的位置。 本發(fā)明第一方面的成像裝置包括可移動載物臺,能夠在固定待檢查物體的同時在兩個不同方向上移動;攝像頭,其與可移動載物臺相對布置,對待檢查物體進行拍攝并產(chǎn)生由多個連續(xù)幀圖像構成的移動畫面圖像;鑲嵌圖像產(chǎn)生單元,其對由攝像頭拍攝的不少于兩個靜止圖像進行組合,并產(chǎn)生視場比攝像頭實際視場寬的鑲嵌圖像;特征量提取單元,其從幀圖像和鑲嵌圖像提取特征量;相對位置確定單元,其通過比較特征量來確定幀圖像與鑲嵌圖像之間的相對位置;和活動圖像顯示單元,其根據(jù)相對位置的確定結果來更新幀圖像相對于鑲嵌圖像的顯示位置,并將移動畫面圖像顯示在鑲嵌圖像上,其中活動圖像顯示單元在由相對位置確定單元確定幀圖像定位成功時響應于相對位置來改變顯示位置,并在確定幀圖像定位失敗時對顯示位置進行固定。 在該成像裝置中,通過比較從幀圖像與從鑲嵌圖像提取的特征量,確定了這些圖像之間的相對位置,并根據(jù)確定結果在鑲嵌圖像上顯示移動畫面圖像;因此,可以將拍攝期間的視場顯示為在圖像生成期間的鑲嵌圖像上的適當位置處的移動畫面圖像。根據(jù)這種配置,將拍攝期間的視場作為移動畫面圖像顯示在圖像生成期間的鑲嵌圖像上的適當位置處;因此,可以獲取靜止圖像并將其耦合到鑲嵌圖像,同時使用戶確定拍攝期間的視場與圖像生成期間的鑲嵌圖像之間的位置關系。更具體地說,當幀圖像定位成功時,響應于幀圖像與鑲嵌圖像之間的相對位置來改變移動畫面圖像的顯示位置;另一方面,當定位失敗時,固定顯示位置;因此,可以通過定位成功的最后幀圖像來固定顯示位置。因此,在將拍攝期間的視場作為移動畫面圖像顯示在鑲嵌圖像上的適當位置處的情況下,即使定位失敗之后移動了視場,也可以在固定時保持移動畫面圖像的顯示位置;因此,可以容易地看出幀圖像定位失敗。此外,通過比較從幀圖像與從鑲嵌圖像提取的特征量來確定這些圖像之間的相對位置;因此,可以防止系統(tǒng)配置變得復雜。 在本發(fā)明的第二方面的成像裝置中,除了上述配置外,活動圖像顯示單元將顯示位置固定在被確定為定位成功的最后幀圖像的顯示位置附近。按照這種配置,在將拍攝期間的視場顯示作為移動畫面圖像在鑲嵌圖像上適當位置處的情況下,移動畫面圖像的顯示位置被固定在最后確定為定位成功的幀圖像的顯示位置附近;因此,可以容易地將拍攝期間的視場返回到能夠定位的位置。 在本發(fā)明的第三方面的成像裝置中,除了上述配置外,在幀圖像定位失敗之后,活動圖像顯示單元將顯示位置固定到最后幀圖像的顯示位置,顯示新獲取的幀圖像,并將顯示位置處顯示的幀圖像更新為新獲取的幀圖像,從而連續(xù)顯示移動畫面圖像。按照這種配置,在幀圖像定位失敗之后,在固定顯示位置的同時連續(xù)顯示移動畫面圖像;因此,可以容易地將拍攝期間的視場返回到能夠定位的位置。 在本發(fā)明的第四方面的成像裝置中,除了上述配置外,在從鑲嵌圖像提取特征量的情況下,特征量提取單元將相對于鑲嵌圖像最后組合的靜止圖像設置為參考圖像,并提取參考圖像中的特征量;其中,對于在幀圖像定位失敗之后要獲取的幀圖像,相對位置確定單元通過比較幀圖像中的特征量與參考圖像中的特征量來確定幀圖像與鑲嵌圖像之間的相對位置,并且,在通過與參考圖像中的特征量比較不能確定相對位置的情況下,通過將幀圖像中的特征量與鑲嵌圖像中除了參考圖像以外的圖像區(qū)域中的特征量進行比較來確定相對位置。 在本發(fā)明的第五方面的成像裝置中,除了上述配置外,在即使通過比較整個幀圖像的特征量與整個參考圖像的特征量仍不能確定相對位置的情況下,相對位置確定單元將與相對于鑲嵌圖像最后組合的靜止圖像相鄰的靜止圖像設置為參考圖像,并通過將整個所述參考圖像的特征量與整個幀圖像的特征量相比較來確定相對位置。按照這種配置,在即 使通過比較整個幀圖像與整個前述參考圖像的特征量也不能確定相對位置的情況下,通過 將與最后組合的靜止圖像相鄰的整個靜止圖像的特征量與整個幀圖像的特征量相比較,來 確定相對位置;因此,可以提高幀圖像與鑲嵌圖像之間的定位準確度而同時防止處理負荷 增加。 在本發(fā)明的第六方面的成像裝置中,除了上述配置外,對于定位失敗之后獲取的 幀圖像,相對位置確定單元通過將鑲嵌圖像的外圍部分中包括的特征量與整個幀圖像的特 征量相比較來確定相對位置。按照這種配置,在定位失敗之后,通過將鑲嵌圖像的外圍部分 中包括的特征量與整個幀圖像的特征量相比較來確定相對位置;因此,可以提高幀圖像與 鑲嵌圖像之間的定位準確度而同時防止處理負荷增加。 在本發(fā)明的第七方面的成像裝置中,除了上述配置外,在從鑲嵌圖像提取特征量 的情況下,特征量提取單元將相對于鑲嵌圖像最后組合的靜止圖像設置為參考圖像并提取 參考圖像中的特征量;其中相對位置確定單元根據(jù)過去的相對位置確定結果來估計幀圖像 與參考圖像之間的重疊區(qū)域,并通過比較重疊區(qū)域中的特征量來確定相對位置,以及在通 過比較重疊區(qū)域中的特征量仍不能確定相對位置的情況下,通過將整個幀圖像的特征量與 整個參考圖像的特征量相比較來確定相對位置。按照這種配置,通過對由過去相對位置的 確定結果所估計的幀圖像與參考圖像之間重疊區(qū)域中的特征量進行比較來確定幀圖像與 鑲嵌圖像之間的相對位置。另一方面,在通過比較重疊區(qū)域中的特征量不能確定相對位置 的情況下,通過比較整個這些圖像的特征量來確定相對位置;因此,可以提高幀圖像與鑲嵌 圖像之間的定位準確度而同時防止處理負荷增加。 在本發(fā)明的第八方面的成像裝置中,除了上述配置外,活動圖像顯示單元以與被 確定為定位成功的幀圖像的情況不同的顯示模式來顯示被確定為失敗的幀圖像。按照這種 配置,以不同于成功的幀圖像的顯示模式來顯示定位失敗的幀圖像;因此,可以容易地看出 幀圖像定位失敗。 在本發(fā)明的第九方面的成像裝置中,除了上述配置外,還包括定位減小部分,其 減小構成移動畫面圖像的幀圖像并產(chǎn)生定位幀圖像,以及減小鑲嵌圖像并產(chǎn)生定位鑲嵌圖 像;和顯示減小單元,其減小構成移動畫面圖像的幀圖像并產(chǎn)生顯示幀圖像,以及減小鑲嵌 圖像并產(chǎn)生顯示鑲嵌圖像,并且其中特征量提取單元從定位幀圖像和定位鑲嵌圖像提取特 征量;相對位置確定單元確定定位幀圖像與定位鑲嵌圖像之間的相對位置;活動圖像顯示 單元將顯示幀圖像所構成的移動畫面圖像顯示在顯示鑲嵌圖像上作為活動圖像;以及鑲嵌 圖像產(chǎn)生單元以高于定位鑲嵌圖像的分辨率來估計幀圖像與鑲嵌圖像之間的相對位置并 將幀圖像組合到鑲嵌圖像,并產(chǎn)生新的鑲嵌圖像。 本發(fā)明的第十方面的成像裝置包括可移動載物臺,能夠在固定待檢查物體的同 時在兩個不同方向上移動;位置傳感器,其檢查可移動載物臺的位置;攝像頭,其與可移動 載物臺相對布置,對待檢查物體進行拍攝并產(chǎn)生由多個連續(xù)幀圖像構成的移動畫面圖像; 鑲嵌圖像產(chǎn)生單元,其對由攝像頭拍攝的不少于兩個靜止圖像進行組合,并產(chǎn)生視場比攝 像頭實際視場寬的鑲嵌圖像;相對位置確定單元,其根據(jù)位置傳感器的輸出來確定幀圖像 與鑲嵌圖像之間的相對位置;和活動圖像顯示單元,其根據(jù)相對位置的確定結果來更新幀 圖像相對于鑲嵌圖像的顯示位置,并將移動畫面圖像顯示在鑲嵌圖像上,其中在對應于幀圖像的靜止圖像不能平滑地耦合到鑲嵌圖像的情況下,活動圖像顯示單元對顯示位置進行 固定。按照這種配置,在對應于幀圖像的靜止圖像不能平滑地耦合到鑲嵌圖像的情況下,對 移動畫面圖像的顯示位置進行固定;因此,可以使用戶看出拍攝期間的視場不能平滑地耦 合到圖像生成期間的鑲嵌圖像。 根據(jù)本發(fā)明的成像裝置,將拍攝期間的視場作為移動畫面圖像顯示在圖像生成期 間的鑲嵌圖像上適當位置處;因此,可以獲取靜止圖像并將其耦合到鑲嵌圖像而同時使得 用戶可以確定拍攝期間的視場與圖像生成期間的鑲嵌圖像之間的位置關系。更具體地說, 當幀圖像定位成功時,響應于幀圖像與鑲嵌圖像之間的相對位置來改變移動畫面圖像的顯 示位置。另一方面,當定位失敗時,固定顯示位置;因此,可以通過定位成功的最后幀圖像固 定顯示位置。因此,在將拍攝期間的視場作為移動畫面圖像顯示在鑲嵌圖像上適當位置處 的情況下,即使定位失敗之后的視場移動了,也可以在固定移動畫面圖像的顯示位置的同 時保持其顯示位置;因此,可以容易地看出幀圖像定位失敗。另外,通過比較從幀圖像與從 鑲嵌圖像提取的特征量來確定這些圖像之間的相對位置;因此,可以防止系統(tǒng)配置變得復 雜。從而,可以容易地看出拍攝期間的視場與圖像生成期間的鑲嵌圖像之間的位置關系而 不增加系統(tǒng)配置的復雜度。 另外,根據(jù)本發(fā)明的成像裝置,在將拍攝期間的視場作為移動畫面圖像顯示在鑲 嵌圖像上適當位置處的情況下,將移動畫面圖像的顯示位置固定在被最后確定為定位成功 的幀圖像的顯示位置附近;因此,可以容易地將拍攝期間的視場返回到能夠定位的位置處。
圖1是示出根據(jù)本發(fā)明一個優(yōu)選實施例的成像裝置的示意配置的示例并示出一 個放大觀察裝置來作為成像裝置的示例的示圖; 圖2是示出圖1所示放大觀察裝置的相關部分的配置示例并示出系統(tǒng)主體中功能 配置的示例的框圖; 圖3是示出在圖2所示系統(tǒng)主體中的活動定位單元的配置示例并示出匹配處理部 分中的功能配置的框圖; 圖4是示例性地示出在圖l所示放大觀察裝置中顯示活動圖像期間的操作示例并 示出了移動畫面圖像Al和顯示鑲嵌圖像A3的說明示圖; 圖5是示例性地示出在圖1所示放大觀察裝置中顯示活動圖像期間的操作示例并 示出了一個活動屏幕的說明示圖; 圖6A和圖6B是每一個示出了圖1所示放大觀察裝置中圖案匹配操作示例并示出 了其中通過比較整體特征點B3來提取特征點之間的正確對應的狀態(tài)的示圖;
圖7A和圖7B是每個示出在圖1所示放大觀察裝置中圖案匹配操作的示例并示出 比較重疊區(qū)域B5和B6中的特征點B3的狀態(tài)的示圖; 圖8A和圖8B是每個示出在圖1所示放大觀察裝置中顯示活動圖像期間的操作的 示例并示出相對于鑲嵌圖像定位的活動圖像的示圖; 圖9A和圖9B是每個示出在圖1所示放大觀察裝置中顯示活動圖像期間的操作的 示例并示出相對于圖8A和圖8B的每一個中示出的鑲嵌圖像定位的活動圖像的示圖;
圖10A和圖10B是每個示出在圖1所示放大觀察裝置中顯示活動圖像期間的操作的示例并示出由于拍攝期間的視場的移動而改變了參考圖像的狀態(tài)的示圖; 圖IIA和圖IIB是每個示出在圖l所示放大觀察裝置中顯示活動圖像期間的操作
的示例并示出由于視場的移動從而幀圖像定位失敗的狀態(tài)的示圖; 圖12是示出在圖1所示放大觀察裝置中顯示活動圖像期間的操作的示例并示出 定位失敗后重新定位的活動圖像的示圖; 圖13是示出在圖l所示放大觀察裝置中顯示活動圖像期間的操作的示例流程 圖; 圖14是示出在圖l所示放大觀察裝置中顯示活動圖像期間的操作的示例流程 圖; 圖15是示出在圖l所示放大觀察裝置中顯示活動圖像期間的操作的示例流程圖。
具體實施例方式
優(yōu)選實施例1〈放大觀察裝置> 圖1是示出根據(jù)本發(fā)明優(yōu)選實施例1的成像裝置的示意配置的示例的系統(tǒng)示圖, 并且示出一個放大觀察裝置1作為成像裝置的示例,其包括系統(tǒng)主體100、攝像機單元200 和控制板300。放大觀察裝置1是一個數(shù)字顯微鏡,其通過對由物鏡放大的拍攝對象進行拍 攝來產(chǎn)生移動畫面圖像,并可以在系統(tǒng)主體100的顯示單元110上顯示移動畫面圖像。
攝像機單元200是用于在改變視場的同時拍攝待檢查物體的拍攝單元,其包括攝 像頭210、可移動支持器220和可移動載物臺230。攝像頭210是讀取裝置,其拍攝作為拍 攝對象的待檢查物體并產(chǎn)生由以恒定幀速持續(xù)的多個幀圖像構成的移動畫面圖像,通過將 物鏡、電荷耦合器件(CCD)圖像傳感器和照明裝置等布置在圓筒形外殼中來構成該攝像頭 210。 可移動支持器220是將攝像頭210可移動地保持在與物鏡中軸平行的方向上的保 持單元。在這種情況下,平行于攝像頭210的物鏡的中軸的方向被稱為z軸方向,可以通過 旋轉(zhuǎn)位置調(diào)節(jié)旋鈕221來調(diào)節(jié)攝像頭210在z軸方向上的位置。 可移動載物臺230是保持待檢查物體的保持單元,并且其在待檢查物體被固定的 狀態(tài)下在與z軸相交的平面內(nèi)是可移動的。在這種情況下,與z軸垂直的平面被稱為xy平 面,可以通過旋轉(zhuǎn)位置調(diào)節(jié)旋鈕231和232來調(diào)節(jié)可移動載物臺230在xy平面內(nèi)的位置。 即,可移動載物臺230是在固定了待檢查物體的同時通過旋轉(zhuǎn)位置調(diào)節(jié)旋鈕231和232可 以在兩個不同方向上移動的載物臺。 更具體地說,通過旋轉(zhuǎn)位置調(diào)節(jié)旋鈕231來調(diào)節(jié)x軸方向上的位置,通過旋轉(zhuǎn)位置 調(diào)節(jié)旋鈕232可以調(diào)節(jié)y軸方向上的位置。將攝像頭210布置成與該可移動載物臺230面 對。 控制板300是用于指示拍攝的開始和結束、將拍攝圖像數(shù)據(jù)等獲取到系統(tǒng)主體 IOO中的輸入裝置。 系統(tǒng)主體100是圖像處理裝置,其將攝像頭210所拍攝的移動畫面圖像顯示在顯 示單元110上,并通過將構成移動畫面圖像的幀圖像進行組合來產(chǎn)生視場比攝像頭210的 實際視場寬的鑲嵌圖像。
〈系統(tǒng)主體> 圖2是示出圖1所示放大觀察裝置1的相關部分的配置示例并示出系統(tǒng)主體100 中功能配置的示例的框圖。通過提供顯示減小單元121和128、顯示鑲嵌圖像存儲單元122、 活動圖像更新單元123、保持鑲嵌圖像存儲單元124、活動定位單元125、靜止圖像獲取單元 126和鑲嵌圖像產(chǎn)生單元127以及顯示單元110來構成系統(tǒng)主體100。
顯示減小單元121操作來處理從攝像頭210獲得的移動圖像數(shù)據(jù),并產(chǎn)生減小了 圖像尺寸的減小移動圖像數(shù)據(jù)。更具體地說,執(zhí)行操作以使顯示減小單元121以預定減小 比率將從攝像頭210連續(xù)獲得的幀圖像減小、產(chǎn)生顯示幀圖像并將該顯示幀圖像輸出到活 動圖像更新單元123。例如,通過像素跳過處理和像素值平均步驟來執(zhí)行幀圖像的減小。在 這種情況下,執(zhí)行減小處理而不改變高寬比,即,幀圖像的高寬比在減小之前和之后不變。
顯示鑲嵌圖像存儲單元122是鑲嵌圖像保持單元,其保持顯示鑲嵌圖像,并例如 由易失性半導體存儲器來構成。活動圖像更新單元123操作以根據(jù)從顯示減小單元121發(fā) 送的減小比率信息來控制顯示單元110,并且更新從顯示減小單元121連續(xù)獲得的顯示幀 圖像相對于顯示鑲嵌圖像的顯示位置,并相應地在顯示鑲嵌圖像上顯示活動圖像?;顒訄D 像是由多個連續(xù)顯示幀圖像構成的移動畫面圖像。 保持鑲嵌圖像存儲單元124是鑲嵌圖像保持單元,其保存保持鑲嵌圖像,并由例 如硬盤驅(qū)動(HDD)之類的非易失性存儲元件來構成。 活動定位單元125包括定位減小部分125a和125b以及匹配處理部分125c?;顒?定位單元125操作來分別減小從攝像頭210連續(xù)獲得的幀圖像以及從保持鑲嵌圖像存儲單 元124讀出的保持鑲嵌圖像,并執(zhí)行匹配處理。 定位減小部分125a操作來以用于定位的恒定減小比率減小從攝像頭210獲得的
幀圖像,以產(chǎn)生定位幀圖像并將該定位幀圖像輸出到匹配處理部分125c。定位減小部分
125b操作來以用于定位的恒定減小比率減小從保持鑲嵌圖像存儲單元124讀出的保持鑲
嵌圖像,以產(chǎn)生定位幀圖像并將該定位幀圖像輸出到匹配處理部分125c。 匹配處理部分125c操作來利用定位幀圖像與定位鑲嵌圖像之間的圖案匹配以確
定它們之間的相對位置,從而產(chǎn)生相對位置信息并輸出到活動圖像更新單元123。 活動圖像更新單元123操作來根據(jù)從活動定位單元125接收的相對位置信息來確
定顯示幀圖像與顯示鑲嵌圖像之間的相對位置,并更新顯示幀圖像相對于用于顯示的幀圖
像的顯示鑲嵌圖像的顯示位置。 靜止圖像獲取單元126操作來根據(jù)來自控制板300的獲取指令獲取由攝像頭210 拍攝的靜止圖像,并將該靜止圖像輸出到鑲嵌圖像產(chǎn)生單元127。從攝像頭210獲取的組合 靜止圖像可以是成像條件(如曝光時間)移動畫面圖像不同的圖像,或是構成移動畫面圖 像的幀圖像中的一個。 鑲嵌圖像產(chǎn)生單元127包括保持定位部分127a和圖像耦合部分127b,并操作來通 過組合多個靜止圖像產(chǎn)生保持鑲嵌圖像。 保持定位部分127a操作來確定由靜止圖像獲取單元126所獲取的靜止圖像與從 保持鑲嵌圖像存儲單元124讀出的保持鑲嵌圖像之間的相對位置。通過靜止圖像與保持鑲 嵌圖像之間的圖案匹配來執(zhí)行相對位置的確定,并且以比定位鑲嵌圖像的分辨率高的分辨 率來估計靜止圖像與保持鑲嵌圖像之間的相對位置。
圖像耦合部分127b操作來根據(jù)保持定位部分127a的確定結果組合靜止圖像和保 持鑲嵌圖像,以產(chǎn)生新的保持鑲嵌圖像,并更新保持鑲嵌圖像存儲單元124中的保持鑲嵌 圖像。更具體地說,根據(jù)保持定位部分127a估計的圖像之間的相對位置來組合由靜止圖像 獲取單元126所獲取的靜止圖像和從保持鑲嵌圖像存儲單元124讀出的保持鑲嵌圖像,從 而產(chǎn)生了新的保持鑲嵌圖像。 通過根據(jù)這些圖像之間的相對位置耦合這兩種圖像來執(zhí)行靜止圖像與保持鑲嵌 圖像的組合。另外,在耦合靜止圖像與保持鑲嵌圖像的情況下,對兩種圖像的重疊區(qū)域執(zhí)行 像素值混合處理以使接合處更不明顯?;旌咸幚硎菆?zhí)行兩個圖像間像素值的加權平均并得 到合成圖像的像素值的圖像處理,在執(zhí)行加權平均的情況下的權重響應于像素位置而適當 地改變,這使得接合處更不明顯。 顯示減小單元128操作來在每次更新保持鑲嵌圖像時從保持鑲嵌圖像存儲單元 124讀出更新的保持鑲嵌圖像,減小所讀出的用于顯示的保持鑲嵌圖像,并產(chǎn)生顯示鑲嵌圖 像。 在這種情況下,活動定位單元125與保持定位部分127a相比執(zhí)行更低準確度的匹 配處理,并成為將低準確坐標數(shù)據(jù)輸出為相對位置信息的處理單元。
〈匹配處理部分> 圖3是示出在圖2所示系統(tǒng)主體100中的活動定位單元125的配置示例并示出在 匹配處理部分125c中的功能配置示例的框圖。匹配處理部分125c包括特征量提取單元 131和相對位置確定單元132。 特征量提取單元131操作來分別從定位幀圖像和定位鑲嵌圖像中提取特征量。作 為特征量,只要特征量成為比較圖像時的標記,就可以使用任何特征量;不過,在這種情況 下,提取多條邊相交的頂點作為特征點。 從縮短在保持鑲嵌圖像的尺寸變大情況下的定位所需的處理時間的觀點來看,特 征量提取單元131設置保持鑲嵌圖像的一部分,例如,最后相對于作為參考圖像的保持鑲 嵌圖像來組合的靜止圖像,并在從定位鑲嵌圖像提取特征點的情況下提取參考圖像中的特 征點。 相對位置確定單元132包括比較部分141、相對位置計算部分142和重疊區(qū)域估計 部分143。相對位置確定單元132操作來通過比較特征點確定定位幀圖像和定位鑲嵌圖像 之間的相對位置。比較部分141操作來將從定位幀圖像提取的特征點與從定位鑲嵌圖像提 取的特征點進行比較,并將其比較結果輸出到相對位置計算部分142。 通過例如從一個像素中提取包括特征點的區(qū)域作為模板并通過從其它圖像搜索 與模板區(qū)域最相似的區(qū)域來執(zhí)行特征點的比較。作為用于測量區(qū)域間相似度的指標,可以 想到從區(qū)域中的像素得到亮度值的誤差平方和的方法以及使用歸一化相關的方法,其中以 平均亮度對區(qū)域中每個像素的亮度值歸一化。 在將從定位幀圖像提取的特征點與從定位鑲嵌圖像提取的特征點相比較的情況
下,比較部分141操作來將定位幀圖像的特征點與參考圖像的特征點比較。 相對位置計算部分142操作來根據(jù)比較部分141的比較結果確定定位幀圖像與定
位鑲嵌圖像之間的相對位置,將其確定結果輸出到重疊區(qū)域估計部分143,并且將相對位置
信息輸出到活動圖像更新單元123。
重疊區(qū)域估計部分143操作來根據(jù)過去相對于定位幀圖像的相對位置的確定結 果來估計當前定位幀圖像和定位鑲嵌圖像的重疊區(qū)域。例如,執(zhí)行操作以使得由之前由一 個幀提供的相對于定位幀圖像的相對位置的確定結果來設置幀圖像與定位鑲嵌圖像之間 的重疊區(qū)域,并將重疊區(qū)域判斷為當前幀圖像與鑲嵌圖像的重疊區(qū)域。 在對當前定位幀圖像和定位鑲嵌圖像的重疊區(qū)域進行估計的情況下,重疊區(qū)域估 計部分143操作來估計定位幀圖像和定位參考圖像的重疊區(qū)域。 比較部分141操作來對由重疊區(qū)域估計部分143所估計的重疊區(qū)域中的特征點進 行比較,并將其比較結果輸出到相對位置計算部分142。隨后,作為對重疊區(qū)域中的特征點 的比較結果,并且在不能確定相對位置的情況下,比較部分141操作以比較整個定位幀圖 像中包括的所有特征點和整個定位參考圖像中包括的所有特征點(這是定位鑲嵌圖像的 匹配處理的目的),并將其比較結果輸出到相對位置計算部分142。 S卩,相對位置計算部分142操作來根據(jù)從過去的相對位置的確定結果所估計的在 幀圖像與參考圖像之間的重疊區(qū)域中的特征點的比較結果,來確定相對位置。另一方面,在 不能通過比較這種重疊區(qū)域中的特征點來確定相對位置的情況下,相對位置計算部分142 操作來根據(jù)整個定位幀圖像的特征點和整個參考圖像的特征點的比較結果來確定相對位置。 此外,對第一定位幀圖像執(zhí)行操作來比較整個定位幀圖像包括的所有特征點與整 個定位參考圖像包括的所有特征點,并將其比較結果輸出到相對位置計算部分142。 S卩,對 于第一定位幀圖像,通過將幀圖像的所有特征點與參考圖像的所有特征點進行比較來確定 相對位置。另一方面,對于第二幀以后的定位幀圖像,首先,對根據(jù)過去的相對于幀圖像的 相對位置的確定結果所估計的重疊區(qū)域中的特征點進行比較并確定相對位置。此時,如果 不能確定相對位置,則對幀圖像的所有特征點和參考圖像的所有特征點進行比較并確定相 對位置。 在這種情況下,第一幀圖像例如是在產(chǎn)生鑲嵌圖像期間一旦停止了拍攝并重新開 始拍攝的情況下在重新拍攝之后首次獲得的幀圖像。 —般而言,在從兩個靜止圖像(其中圖像的每個部分都重疊并且在這些圖像之間 搜索對應的特征點的組)中提取每個特征點的情況下,從兩個圖像的重疊區(qū)域提取特征點 并搜索對應特征點的組的方式在錯誤響應出現(xiàn)概率方面比通過從整個圖像提取特征點來 進行搜索的錯誤響應出現(xiàn)概率更低。即,優(yōu)選地對重疊區(qū)域中的特征點進行比較來確定相 對位置;相應地,可以提高定位幀圖像的定位成功概率。另外,與對屏幕中所有特征點進行 比較的情況相比,提高了定位速度。 在這種情況下,當特征量提取單元131從當前定位幀圖像提取特征點時,從由重 疊區(qū)域估計部分143估計的重疊區(qū)域中提取特征點。隨后,在不能僅通過重疊區(qū)域中的特 征點確定相對位置的情況下,也對除了重疊區(qū)域以外的區(qū)域中的特征點進行提取操作。
在由顯示幀圖像構成的移動畫面圖像顯示在顯示鑲嵌圖像上作為活動圖像的情 況下,活動圖像更新單元123操作來根據(jù)由相對位置計算部分142得到的相對位置確定結 果,來更新顯示定位,并將其顯示數(shù)據(jù)輸出到顯示單元110。 此時,當在通過相對位置確定單元132成功地確定了幀圖像的定位時,執(zhí)行操作 來響應于相對位置的確定結果改變活動圖像的顯示位置。另一方面,當不能確定相對位置并且當確定了幀圖像定位失敗時,不改變活動圖像的顯示位置;然而,例如,當已經(jīng)成功定
位時執(zhí)行操作來將活動圖像的顯示位置固定在最后的幀圖像的顯示位置附近。 S卩,在幀圖像定位失敗之后,將活動圖像的顯示位置固定在已成功定位的最后幀
圖像的顯示位置處以顯示最新得到的幀圖像,并將顯示位置上顯示的幀圖像更新為最新獲
得的幀圖像;因此,連續(xù)顯示了活動圖像。 在這種情況下,必要時改變參考圖像,以使得在與構成鑲嵌圖像的靜止圖像中的 幀圖像重疊的重疊區(qū)域中最大的靜止圖像總是成為參考圖像。隨后,當相對于該參考圖像 不能確定相對位置時,則判定幀圖像的定位失敗。 此外,對于在幀圖像定位失敗之后得到的幀圖像,通過比較幀圖像中的特征量與 參考圖像中的特征量來確定幀圖像與鑲嵌圖像之間的相對位置。隨后,在通過比較參考圖 像中的特征量不能確定相對位置的情況下,執(zhí)行操作來通過比較幀圖像中的特征量與鑲嵌 圖像中除了參考圖像以外的圖像區(qū)域中的特征量來確定相對位置。 S卩,如果在之前定位中幀圖像的定位成功,則根據(jù)成功定位的幀圖像的相對位置 信息來估計當前幀圖像與參考圖像之間的重疊區(qū)域,并通過比較重疊區(qū)域中的特征點來確 定相對位置(稱為高速跟隨模式)。另一方面,如果幀圖像的定位失敗,則操作模式從高速 跟隨模式切換到視場搜索模式。對于定位失敗之后獲得的幀圖像,通過比較幀圖像中的特 征量與參考圖像中的特征量來確定相對位置。如果通過比較參考圖像中的特征量不能確定 相對位置,則通過將幀圖像的特征量與鑲嵌圖像中除了參考圖像以外的圖像區(qū)域的特征量 相比較來確定相對位置。 此外,在活動圖像更新單元123中,以與被確定為定位成功的幀圖像情況不同的
顯示模式顯示確定為已失敗的幀圖像,例如,執(zhí)行操作來插入白色和黑色以通過改變顏色
進行顯示。作為替換,由幀圖像相對于鑲嵌圖像的顯示位置的更新記錄判斷出增加參考圖
像與幀圖像的重疊的方向,并且可以顯示示出該方向的箭頭之類。此外,作為幀圖像定位失
敗情況下的錯誤通知,進行操作以顯示一個表示定位失敗的消息作為定位失敗錯誤消息,
或者輸出一個警告聲音。〈活動屏幕> 圖4和圖5是示例性地示出在圖1所示放大觀察裝置1中顯示活動圖像期間的操 作示例的說明示圖。圖4示出了攝像頭210拍攝的移動畫面圖像A1和顯示鑲嵌圖像A3。 另外,圖5示出了其中移動畫面圖像Al布置為在鑲嵌圖像A3之上的活動圖像的活動屏幕 111。 移動畫面圖像A1由以恒定幀速重復產(chǎn)生的顯示幀圖像A2構成。例如,顯示幀圖 像A2以每秒15幀(fps)來產(chǎn)生。在這種情況下,成像放大率和聚焦位置是固定的。
顯示鑲嵌圖像A3是通過減小用于顯示活動屏幕的保持鑲嵌圖像所產(chǎn)生的鑲嵌圖 像。 活動屏幕111是顯示在顯示單元110上的監(jiān)視器屏幕,并且其上顯示了在圖像生 成期間的顯示鑲嵌圖像A3和移動畫面圖像A1。在活動屏幕lll中,將移動畫面圖像A1布 置到根據(jù)由當前定位幀圖像與定位鑲嵌圖像之間的圖案匹配確定的相對位置所決定的顯 示位置處。 S卩,將拍攝期間的移動畫面圖像Al顯示為在圖像生成期間的顯示鑲嵌圖像A3上的恰當位置處的活動圖像,因此,用戶在對拍攝期間的視場與圖像生成期間的鑲嵌圖像之
間的位置關系進行確認的同時,可以獲取靜止圖像并將其耦合到保持鑲嵌圖像?!磮D案匹配> 圖6A和圖6B是每個示出在圖1所示放大觀察裝置1中的圖案匹配操作的示例的 示意圖,其示出了這種狀態(tài)其中通過對每個從參考圖像B1和定位幀圖像B2提取的所有特 征點B3進行比較來提取這些特征點之間的正確對應。圖6A示出了將從參考圖像Bl提取 的特征點B3與幀圖像B2中的每個特征點B3進行比較的狀態(tài);圖6B示出了根據(jù)特征點B3 的比較所提取的特征點之間的正確對應。 參考圖像B1是圖像生成期間的鑲嵌圖像的一部分,并預先從定位鑲嵌圖像中提 取作為圖案匹配的處理對象。例如,將最后耦合的靜止圖像提取作為參考圖像B1。作為替 換,相對于保持鑲嵌圖像最后耦合的靜止圖像與當前幀圖像的重疊區(qū)域的尺寸小于恒定水 平;如果不能確定這些圖像之間的相對位置,則將與相對于保持鑲嵌圖像最后耦合的靜止 圖像相鄰的其它靜止圖像提取來作為參考圖像B 1。 在參考圖像Bl與幀圖像B2之間的位置關系不清楚的情況下,通過將圖像整體設 置為一個對象來提取特征點B3。隨后,通過比較這些特征點來判斷對于從參考圖像B1提取 的各個特征點B3是否在幀圖像B2中存在類似的特征點。 可以通過包括特征點B3的預定區(qū)域來測量特征點之間的相似度,例如,對5像 素X5像素的矩形區(qū)域計算的亮度值的誤差平方和或歸一化相關。 根據(jù)這樣的比較結果來提取特征點之間的正確對應。例如,將相同方向上平行移 動的特征點之間的對應提取為正確對應。通過根據(jù)所提取特征點之間的正確對應以判斷特 征點在圖像中的移動量并且通過由所述移動量判斷幀圖像B2相對于參考圖像B1的移動 量,來確定參考圖像Bl與幀圖像B2之間的相對位置。 圖7A和圖7B是每個示出在圖1所示放大觀察裝置1中圖案匹配操作的示例的示 圖,并示出其中對從參考圖像與第(n-l)幀圖像之間的相對位置所估計的重疊區(qū)域B5和B6 中的特征點B3進行比較的狀態(tài)。圖7A示出從參考圖像與第(n-l)幀圖像之間的相對位置 所得到的這兩種圖像的重疊區(qū)域B4。圖7B示出從參考圖像與第(n-l)幀圖像之間的相對 位置所估計的參考圖像與第n幀圖像的重疊區(qū)域B5和B6。 在預先知道了參考圖像Bl與幀圖像B2之間的大致位置關系的情況下,從一個圖 像適當?shù)靥崛∧0鍏^(qū)域并搜索其它圖像的對應區(qū)域的相鄰部分;從而可以高準確度地確定 這些圖像之間的相對位置。 S卩,根據(jù)由一個幀預先提供的第(n-l)幀圖像與所述參考圖像之間相對位置的確
定結果,得到這些圖像的重疊區(qū)域B4。重疊區(qū)域B4被判斷為第n幀圖像和參考圖像的重疊
區(qū)域B5和B6。隨后,通過針對參考圖像的重疊區(qū)域B5中的各個特征點B3從第n幀圖像的
重疊區(qū)域B6提取相似的特征點,因此可以確定這些圖像之間的相對位置。 通過針對參考圖像的重疊區(qū)域B5中的各個特征點B3從第n幀圖像的重疊區(qū)域B6
中提取在對應于特征點的位置附近的預定區(qū)域并且通過搜索所述區(qū)域的內(nèi)部來進行相似
特征點的提取。 在本優(yōu)選實施例中,對于跟隨第二幀之后的定位幀圖像以及定位鑲嵌圖像的定 位,采取了如圖7A和圖7B所示的對重疊區(qū)域中的特征點進行比較的方法。另一方面,在通
13過第一定位幀圖像以及定位鑲嵌圖像的定位以及通過重疊區(qū)域中特征點的比較而不能確
定相對位置的情況下,或者在根據(jù)獲取指令所獲取的靜止圖像以及保持鑲嵌圖像的定位的
情況下,采取了如圖6A和圖6B所示的對所有特征點進行比較的方法。 此外,在對從攝像頭210連續(xù)獲得的幀圖像實時執(zhí)行的定位處理中,當如上所述
特征點的正確對應的數(shù)量小于恒定水平時,不能確定相對位置;結果是斷定定位失敗。 作為定位失敗的原因,可以想到由于聚焦不準的模糊的影響導致不能檢測定位所
需的特征點的情況。此外,可以想到由于參考圖像和幀圖像的重疊過小以及幀之間的移動
量過大導致從之前的定位結果估計的重疊區(qū)域大大偏離了實際重疊區(qū)域的情況。 圖8A和圖8B以及圖9A和圖9B是每個示出在圖l所示放大觀察裝置中顯示活動
圖像期間的操作的示例并示出活動圖像顯示在顯示鑲嵌圖像上的活動屏幕111的示圖。圖
8A示出相對于從由兩個靜止圖像構成的鑲嵌圖像中所提取的參考圖像而定位的活動圖像;
圖8B示出通過以與圖8A所示活動圖像相同的視場對靜止圖像進行獲取和組合而更新的鑲
嵌圖像。 在該示例中,從保持鑲嵌圖像提取的定位參考圖像布置在以虛線示出的矩形框 中。這個參考圖像是相對于保持鑲嵌圖像最后組合的靜止圖像。 另一方面,活動圖像布置在以實線示出的矩形框中,并且根據(jù)參考圖像與當前定 位幀圖像之間的相對位置的確定結果來決定矩形框的顯示位置。即,如果幀圖像定位成功, 則響應于幀圖像的相對位置來改變活動圖像的顯示位置。另一方面,如果定位失敗,則將活 動圖像的顯示位置固定在最后定位成功的幀圖像的位置處。 如果在圖8A所示狀態(tài)下指示對組合靜止圖像進行獲取,則獲取到與拍攝期間的 活動圖像具有相同視場的靜止圖像,并將該靜止圖像耦合到保持鑲嵌圖像以產(chǎn)生新的保持 鑲嵌圖像。通過減小新的保持鑲嵌圖像來更新拍攝期間的顯示鑲嵌圖像。此時,還將參考 圖像改變?yōu)閷谒@取的靜止圖像。 圖9A示出相對于從如圖8B所示鑲嵌圖像提取的參考圖像而定位的活動圖像;圖 9B示出通過獲取并組合與圖9A所示活動圖像具有相同視場的靜止圖像而更新的鑲嵌圖 像。 圖9A所示參考圖像是相對于圖像生成期間的保持鑲嵌圖像最后組合的靜止圖 像。如果從如圖8B所示狀態(tài)向上移動可移動載物臺230,則相對于工件(待檢查物體)向 下移動了拍攝期間的視場,并可以獲得圖9A所示的活動圖像。 如果在圖9A所示的狀態(tài)下指示獲取,則獲取到與顯示期間的活動圖像具有相同 視場的靜止圖像,并將該靜止圖像耦合到保持鑲嵌圖像以產(chǎn)生新的保持鑲嵌圖像。通過減 小新的保持鑲嵌圖像來更新顯示期間的顯示鑲嵌圖像,同時將參考圖像改變?yōu)閷谒@ 取的靜止圖像。 圖IOA和圖IOB是每個示出在圖1所示放大觀察裝置1中顯示活動圖像期間的操 作的示例并示出由于拍攝期間視場的移動而改變了參考圖像的狀態(tài)的示圖。圖IOA示出了 其中將相對于圖9B所示鑲嵌圖像最后組合的靜止圖像定位為參考圖像的活動圖像。另外, 圖10B示出了相對于隨著拍攝期間的視場移動發(fā)生改變的參考圖像而定位的活動圖像。
如果從圖IOA所示狀態(tài)下向左移動了可移動載物臺230,則拍攝期間的視場相對 于工件向右移動。如果通過視場的移動使得相對于鑲嵌圖像最后組合的幀圖像和靜止圖像的重疊變小了 ,則改變參考圖像。 更具體地說,將參考圖像從相對于鑲嵌圖像最后組合的靜止圖像改變?yōu)樵谂c幀圖 像重疊的重疊區(qū)域中最大的靜止圖像,并執(zhí)行幀圖像的定位。在該新參考圖像中,根據(jù)幀圖 像相對于鑲嵌圖像的顯示位置的更新記錄和過去的定位結果,來選擇在與幀圖像重疊的重 疊區(qū)域中最大的圖像拼片。在該示例中,在構成鑲嵌圖像的靜止圖像之中,將與最后組合的 靜止圖像右側相鄰的靜止圖像選擇作為新的參考圖像。 圖IIA和圖IIB是每個示出在圖1所示放大觀察裝置1中顯示活動圖像期間的操
作的示例并示出由于拍攝期間的視場的移動從而幀圖像定位失敗的狀態(tài)的示圖。圖IIA示
出恰在定位失敗之前的活動圖像;圖IIB示出恰在定位失敗后的活動圖像。 圖IIA所示活動圖像包括相對于圖IOB所示參考圖像定位的幀圖像。如果在圖
IIA所示狀態(tài)下移動載物臺230,則幀圖像和參考圖像的重疊變小從而定位失敗。 定位失敗之后的幀圖像的顯示位置被固定在定位成功的最后幀圖像的顯示位置
的附近,并以與定位成功的情況下不同的顯示模式來進行顯示。 定位失敗之后的幀圖像相對于鑲嵌圖像的顯示位置可以相對定位成功的最后幀 圖像的顯示位置偏離大約幾個像素。 如果幀圖像定位失敗,則將操作模式從高速跟隨模式切換到視場搜索模式。隨后, 對于定位失敗之后獲得的幀圖像,將定位成功的整個最后參考圖像的特征量與整個幀圖像 的特征量進行比較;從而確定了相對位置。 圖12是示出在圖1所示放大觀察裝置1中顯示活動圖像期間的操作的示例并示 出定位失敗后重新定位的活動圖像的示圖。如果圖11中所示的幀圖像相對于參考圖像定 位失敗,則通過將定位成功的整個最后參考圖像的特征量與整個幀圖像的特征量進行比較 來將操作模式切換到視場搜索模式,以從參考圖像的任意部分返回。 圖13至圖15中所示的步驟SIOI到S126是每個示出在圖1所示放大觀察裝置1 中顯示活動圖像期間的操作的示例流程圖。首先,特征量提取單元131獲取定位幀圖像;如 果定位幀圖像是第一幀圖像,則從整個圖像中提取特征點(步驟S101到S103)。
接下來,相對位置確定單元132對整個幀圖像中包括的所有特征點和整個參考圖 像中包括的所有特征點進行比較;并且確定當前定位幀圖像與定位鑲嵌圖像之間的相對位 置(步驟S104)。此時,當能夠確定相對位置并且當定位幀圖像成功時,根據(jù)相對位置的 確定結果來改變幀圖像相對于鑲嵌圖像的顯示位置,并更新活動圖像(步驟S105、 S110和 Slll)。 另一方面,如果獲取的定位幀圖像不是第一幀圖像,則相對位置確定單元132引 用之前定位的結果,即,由一個幀之前提供的定位幀圖像與定位鑲嵌圖像之間的相對位置 的確定結果,并且估計當前定位幀圖像與參考圖像之間的重疊區(qū)域(步驟S102、 S106和 S107)。特征量提取單元131從所提取的重疊區(qū)域中提取特征點。 接下來,相對位置確定單元132對當前定位幀圖像與參考圖像之間的重疊區(qū)域中 的特征點進行比較,并確定這些圖像之間的相對位置(步驟S108)。此時,如果不能確定相 對位置,則執(zhí)行步驟S103之后的處理程序(步驟S109)。當在步驟S109能夠確定相對位置 并定位成功時,根據(jù)相對位置的確定結果來改變幀圖像相對于鑲嵌圖像的顯示位置,并更 新活動圖像(步驟SllO和Slll)。
在更新活動圖像之后,如果給出了組合靜止圖像的獲取指令,則根據(jù)獲取指令來 獲取靜止圖像,并通過與保持鑲嵌圖像的圖案匹配來執(zhí)行定位(步驟S112和S114)。根據(jù) 定位結果在靜止圖像與保持鑲嵌圖像之間執(zhí)行耦合處理,并且顯示和保持鑲嵌圖像被更新 (步驟SI 15和SI 16)。重復步驟S101到步驟SI 16的處理程序直到指示拍攝完成;當指示 拍攝完成時,結束程序(步驟S113)。 當在步驟S105不能確定相對位置并且定位失敗時,告知匹配錯誤并將幀圖像相 對于鑲嵌圖像的顯示位置固定以更新活動圖像(步驟S117到S119)。更新活動圖像之后, 當給出了靜止圖像的獲取指令時,對不可能耦合的錯誤進行告知(步驟S120和S122)。
接著,當指示拍攝完成時,該處理結束(步驟S121)。另一方面,如果沒有指示拍 攝完成,則特征量提取單元131獲取新的定位幀圖像,并從整個圖像中提取特征點(步驟 S121、S123和S124)。 隨后,相對位置確定單元132對整個幀圖像中包括的所有特征點與整個參考圖像 中包括的所有特征點進行比較,并確定當前定位幀圖像與定位鑲嵌圖像之間的相對位置 (步驟S125)。此時,如果不能確定相對位置并且定位失敗,則重復步驟S119以后的處理程 序。另一方面,當能夠確定相對位置并定位成功時,重復步驟S110之后的處理程序。
根據(jù)本優(yōu)選實施例,將拍攝期間的視場作為活動圖像顯示在圖像生成期間的鑲嵌 圖像上的適當位置處;因此,可以獲取靜止圖像來耦合到鑲嵌圖像,同時使用戶確認拍攝期 間的視場與圖像生成期間的鑲嵌圖像之間的位置關系。更具體地說,當幀圖像定位成功時, 響應于幀圖像與鑲嵌圖像之間的相對位置來改變活動圖像的顯示位置。另一方面,當定位 失敗時不改變活動圖像的顯示位置;因此,通過定位成功的最后幀圖像,可以固定顯示位 置。 相應地,在定位失敗之后將拍攝期間的視場作為活動圖像顯示在鑲嵌圖像上的適 當位置處的情況下,即使移動了視場,也保持并同時固定活動圖像的顯示位置;因此,可以 看出幀圖像定位失敗。此外,通過比較從幀圖像和從鑲嵌圖像提取的特征點來確定這些圖 像之間的相對位置;因此,可以防止系統(tǒng)構造變得復雜。 另外,在將拍攝期間的視場顯示在鑲嵌圖像上適當位置處作為活動圖像的情況 下,移動畫面圖像的顯示位置被固定在最終確定為定位成功的幀圖像的顯示位置附近;因 此,拍攝期間的視場可以容易地返回到能夠定位的位置。 順便地說,在本優(yōu)選實施例中,描述了這樣的示例,其中對于定位失敗之后的幀圖 像,通過將在幀圖像定位中成功的整個最后參考圖像的特征量與整個幀圖像的特征量比較 來確定相對位置;然而,本發(fā)明不局限于此。例如,本發(fā)明包括這種情況對于定位失敗之 后得到的幀圖像,通過將鑲嵌圖像的外圍部分中包括的特征量與整個幀圖像的特征量比較 來確定幀圖像與鑲嵌圖像之間的相對位置。 此外,在本優(yōu)選實施例中,描述了必要時改變參考圖像以使之成為與幀圖像重疊 的重疊區(qū)域中最大的圖像的示例;然而,本發(fā)明不局限于此。例如,在即使通過將整個定位 幀圖像的特征點與整個參考圖像的特征點進行比較都不能確定相對位置的情況下,可以通 過改變參考圖像并通過將整個改變的參考圖像的特征點與整個定位幀圖像的特征點進行 比較來確定相對位置。在這種情況下,如果即使改變了參考圖像也不能確定相對位置,則判 定幀圖像定位失敗。另外,對于幀圖像定位失敗之后獲得的幀圖像,通過將定位成功的整個最后參考圖像的特征量與整個定位幀圖像的特征量比較來確定相對位置。 此外,在本優(yōu)選實施例中,描述了在將定位幀圖像與定位鑲嵌圖像比較的情況中
將多條邊相交的頂點提取作為特征量的示例;然而,本發(fā)明不局限于此。例如,對于圖像
上的預定區(qū)域,可以分別從定位幀圖像和定位鑲嵌圖像提取該區(qū)域中的對比度值作為特征
量,并且可以在這些圖像之間比較。此外,可以不提取邊和對比度而根據(jù)重疊區(qū)域中預定區(qū)
域的區(qū)域中特征量來執(zhí)行模板匹配。 除此之外,在本優(yōu)選實施例中,描述了通過定位鑲嵌圖像和幀圖像之間的圖案匹
配來判斷這些圖像之間的相對位置關系的示例;然而,本發(fā)明不局限于此。例如,在本發(fā)明
中,還包括配備一個對可移動載物臺230的x軸方向和y軸方向的位置進行檢測的位置傳
感器,并根據(jù)位置傳感器的輸出來確定幀圖像與鑲嵌圖像之間的相對位置。 通常,在將靜止圖像耦合到保持鑲嵌圖像時通過混合處理進行難以察覺的接合的
情況下,為了以不小于恒定水平的平滑度來平滑地接合,靜止圖像和保持鑲嵌圖像之間需
要存在不小于恒定量的重疊區(qū)域。因此,在根據(jù)位置傳感器的輸出來確定幀圖像與鑲嵌圖
像之間的相對位置的成像裝置中,在對應于當前幀圖像的靜止圖像不能平滑地耦合到鑲嵌
圖像的情況下,可以想到將活動圖像的顯示位置固定。 如果在這種配置中當與活動圖像具有相同視場的靜止圖像不能平滑地耦合到鑲 嵌圖像的情況下,則對活動圖像的顯示位置進行固定;因此,用戶可以看出拍攝期間的視場 不能平滑地耦合到圖像生成期間的鑲嵌圖像。
1權利要求
一種成像裝置,包括可移動載物臺,能夠在固定待檢查物體的同時在兩個不同方向上移動;攝像頭,其與可移動載物臺相對布置,對待檢查物體進行拍攝并產(chǎn)生由多個連續(xù)幀圖像構成的移動畫面圖像;鑲嵌圖像產(chǎn)生單元,其對由攝像頭拍攝的不少于兩個靜止圖像進行組合,并產(chǎn)生視場比攝像頭實際視場寬的鑲嵌圖像;特征量提取單元,其從幀圖像和鑲嵌圖像提取特征量;相對位置確定單元,其通過比較特征量來確定幀圖像與鑲嵌圖像之間的相對位置;和活動圖像顯示單元,其根據(jù)相對位置的確定結果來更新幀圖像相對于鑲嵌圖像的顯示位置,并將移動畫面圖像顯示在鑲嵌圖像上,其中活動圖像顯示單元在由相對位置確定單元確定幀圖像定位成功時響應于相對位置來改變顯示位置,并在確定幀圖像定位失敗時對顯示位置進行固定。
2 如權利要求l所述的成像裝置,其中活動圖像顯示單元將顯示位置固定在被確定為定位成功的最后幀圖像的顯示位置附近。
3. 如權利要求2所述的成像裝置,其中在幀圖像定位失敗之后,活動圖像顯示單元將新獲取的幀圖像的顯示位置固定到最后幀圖像的顯示位置,并將顯示位置處顯示的幀圖像更新成新獲取的幀圖像,從而連續(xù)顯示移動畫面圖像。
4. 如權利要求1到3中任一個所述的成像裝置,其中在從鑲嵌圖像提取特征量的情況下,特征量提取單元將相對于鑲嵌圖像最后組合的靜止圖像設置為參考圖像,并提取參考圖像中的特征量;并且其中對于在幀圖像定位失敗之后要獲取的幀圖像,相對位置確定單元通過將幀圖像中的特征量與參考圖像中的特征量相比較來確定幀圖像與鑲嵌圖像之間的相對位置,以及在通過與參考圖像中的特征量相比較不能確定相對位置的情況下,通過將幀圖像中的特征量與鑲嵌圖像中除了參考圖像以外的圖像區(qū)域中的特征量進行比較來確定相對位置。
5. 如權利要求4所述的成像裝置,其中在即使通過將整個幀圖像的特征量與整個參考圖像的特征量相比較也不能確定相對位置的情況下,相對位置確定單元將與相對于鑲嵌圖像最后組合的靜止圖像相鄰的靜止圖像設置為參考圖像,并通過將整個該參考圖像的特征量與整個幀圖像的特征量相比較來確定相對位置。
6. 如權利要求4所述的成像裝置,其中對于在定位失敗之后獲取的幀圖像,相對位置確定單元通過將鑲嵌圖像外圍部分中包括的特征量與整個幀圖像的特征量相比較來確定相對位置。
7. 如權利要求1到3中任一個所述的成像裝置,其中在從鑲嵌圖像提取特征量的情況下,特征量提取單元將相對于鑲嵌圖像最后組合的靜止圖像設置為參考圖像,并提取參考圖像中的特征量;并且其中相對位置確定單元根據(jù)過去的相對位置確定結果來估計幀圖像與參考圖像之間的重疊區(qū)域,并通過比較重疊區(qū)域中的特征量來確定相對位置,以及在通過比較重疊區(qū)域中的特征量不能確定相對位置的情況下,通過將整個幀圖像的特征量與整個參考圖像的特征量相比較來確定相對位置。
8. 如權利要求1到3中任一個所述的成像裝置,其中活動圖像顯示單元以與被確定為定位成功的幀圖像的情況不同的顯示模式來顯示被確定為失敗的幀圖像。
9. 如權利要求1到3中任一個所述的成像裝置,還包括定位減小部分,其減小構成移動畫面圖像的幀圖像并產(chǎn)生定位幀圖像,以及減小鑲嵌圖像并產(chǎn)生定位鑲嵌圖像;禾口顯示減小單元,其減小構成移動畫面圖像的幀圖像并產(chǎn)生顯示幀圖像,以及減小鑲嵌圖像并產(chǎn)生顯示鑲嵌圖像,并且其中特征量提取單元從定位幀圖像和定位鑲嵌圖像提取特征量;相對位置確定單元確定定位幀圖像與定位鑲嵌圖像之間的相對位置;活動圖像顯示單元將顯示幀圖像所構成的移動畫面圖像顯示在顯示鑲嵌圖像上作為活動圖像;以及鑲嵌圖像產(chǎn)生單元以高于定位鑲嵌圖像的分辨率來估計幀圖像與鑲嵌圖像之間的相對位置并將幀圖像組合到鑲嵌圖像,并產(chǎn)生新的鑲嵌圖像。
10. —種成像裝置,包括可移動載物臺,能夠在固定待檢查物體的同時在兩個不同方向上移動;位置傳感器,其檢查可移動載物臺的位置;攝像頭,其與可移動載物臺相對布置,對待檢查物體進行拍攝并產(chǎn)生由多個連續(xù)幀圖像構成的移動畫面圖像;鑲嵌圖像產(chǎn)生單元,其對由攝像頭拍攝的不少于兩個靜止圖像進行組合,并產(chǎn)生視場比攝像頭實際視場寬的鑲嵌圖像;相對位置確定單元,其根據(jù)位置傳感器的輸出來確定幀圖像與鑲嵌圖像之間的相對位置;和活動圖像顯示單元,其根據(jù)相對位置的確定結果來更新幀圖像相對于鑲嵌圖像的顯示位置,并將移動畫面圖像顯示在鑲嵌圖像上,其中在對應于幀圖像的靜止圖像不能平滑地耦合到鑲嵌圖像的情況下,活動圖像顯示單元對顯示位置進行固定。
全文摘要
本發(fā)明提供了一種成像裝置,該成像裝置包括組合多個靜止圖像并產(chǎn)生鑲嵌圖像的鑲嵌圖像產(chǎn)生單元;從幀圖像和鑲嵌圖像提取特征量的特征量提取單元;確定幀圖像與鑲嵌圖像之間的相對位置的相對位置確定單元;和活動圖像顯示單元,其更新幀圖像相對于鑲嵌圖像的顯示位置,并將移動畫面圖像顯示在鑲嵌圖像上?;顒訄D像顯示單元在幀圖像定位成功時響應于相對位置來改變顯示位置;并且當定位失敗時,活動圖像顯示單元不改變顯示位置,并將顯示位置固定在定位成功的最后幀圖像的位置附近。
文檔編號G02B21/00GK101750726SQ20091024695
公開日2010年6月23日 申請日期2009年12月11日 優(yōu)先權日2008年12月12日
發(fā)明者康宇范 申請人:株式會社其恩斯