專利名稱：成像裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種成像裝置，尤其涉及一種能夠?qū)Υ龣z查的物體進行拍攝的攝像
機所產(chǎn)生的移動畫面圖像顯示在比攝像機實際視場更寬的視場中的鑲嵌圖像上的成像裝置。
背景技術(shù)：
在相關(guān)領(lǐng)域中，圖像鑲嵌通常指的是這樣的技術(shù)通過在改變視場的同時組合多 個所拍攝的靜止圖像來產(chǎn)生一張視場比攝像機實際視場更寬的寬視場圖像。在諸如對由物 鏡放大的拍攝對象進行拍攝的數(shù)字顯微鏡之類的成像裝置的情況下，可以通過移動其上固 定了待檢查物體的可移動載物臺來改變視場。這種寬視場圖像被稱為鑲嵌圖像，其通過在 根據(jù)圖像之間的相對位置以這種方式改變視場的同時對多個所拍攝的靜止圖像進行耦合 來生成。 例如，在配備了對可移動載物臺的位置進行檢測的傳感器并自動拍攝由用戶指定 的拍攝范圍的已知成像裝置的情況下，通過可移動載物臺的控制信息判斷圖像之間的相對 位置關(guān)系并進行靜止圖像的組合。在這種成像裝置中，當指定了拍攝范圍并一旦開始拍攝 時，該流程中間不能改變拍攝范圍。另外，需要高度準確地檢測可移動載物臺的位置，因此 存在系統(tǒng)配置變得復(fù)雜和成本很高的問題。 另一方面，還有一種通過圖像間的圖案匹配來判斷圖像間相對位置關(guān)系并進行靜 止圖像的組合的成像裝置。然而，還沒有這樣一種成像裝置，其能夠在使用戶確定在拍攝期 間的視場與在顯示單元上圖像生成期間的鑲嵌圖像之間的位置關(guān)系的同時獲取靜止圖像 并將其與鑲嵌圖像耦合。因此，能夠想象一種成像裝置，其中在將拍攝過程中的視場顯示 為鑲嵌圖像上的移動圖像的同時，在用戶指定的定時處獲取靜止圖像并將其組合成鑲嵌圖 像。在這種成像裝置中，鑲嵌圖像的圖像尺寸被組合改變，因此存在這樣的問題鑲嵌圖像 的一部分沒有顯示在屏幕上，并且拍攝期間的視場與圖像生成期間的鑲嵌圖像之間的位置 關(guān)系變得不清楚。

發(fā)明內(nèi)容
已經(jīng)考慮到上述情況做出了本發(fā)明，本發(fā)明的目的是提供一種能夠容易地識別拍 攝期間的視場與圖像生成期間的鑲嵌圖像之間的位置關(guān)系的成像裝置。更具體地，本發(fā)明 另一個目的是提供這樣一種成像裝置，其中，在將拍攝期間的視場顯示為在鑲嵌圖像上的 恰當位置處的移動畫面圖像的同時獲取靜止圖像并將其組合到鑲嵌圖像中的情況下，即使 當鑲嵌圖像的圖像尺寸在組合前后發(fā)生了極大變化時也能將整個顯示鑲嵌圖像顯示在屏 幕上。 本發(fā)明第一方面的成像裝置包括可移動載物臺，能夠在固定待檢查物體的同時 在兩個不同方向上移動；攝像頭，其與可移動載物臺相對布置，對待檢查物體進行拍攝并產(chǎn) 生由多個連續(xù)幀圖像構(gòu)成的移動畫面圖像；鑲嵌圖像產(chǎn)生單元，其對由攝像頭拍攝的不少于兩個靜止圖像進行組合，并產(chǎn)生視場比攝像頭實際視場寬的鑲嵌圖像；相對位置確定單 元，其確定幀圖像與鑲嵌圖像之間的相對位置；顯示減小單元，其根據(jù)鑲嵌圖像的圖像尺寸 分別減小幀圖像和鑲嵌圖像，并產(chǎn)生顯示幀圖像和顯示鑲嵌圖像；和活動圖像顯示單元，其 根據(jù)相對位置的確定結(jié)果來更新顯示幀圖像相對于顯示鑲嵌圖像的顯示位置，并將由顯示 幀圖像構(gòu)成的移動畫面圖像顯示在顯示鑲嵌圖像上。 在該成像裝置中，拍攝期間的視場被顯示為在顯示鑲嵌圖像上的恰當位置處的由 顯示幀圖像構(gòu)成的移動畫面圖像，并且在鑲嵌圖像上獲取和組合由攝像頭拍攝的靜止圖 像；因此，產(chǎn)生了新鑲嵌圖像。隨后，當分別減小幀圖像和鑲嵌圖像來產(chǎn)生顯示幀圖像和顯 示鑲嵌圖像時，根據(jù)鑲嵌圖像的圖像尺寸執(zhí)行圖像減小。按照這種配置，根據(jù)鑲嵌圖像的圖 像尺寸執(zhí)行圖像減??；因此，即使當鑲嵌圖像的圖像尺寸在組合前后大大改變，也能在屏幕 上顯示整個顯示鑲嵌圖像。因此，可以容易地看出拍攝期間的視場與圖像生成期間的鑲嵌 圖像之間的位置關(guān)系。 在本發(fā)明的第二方面的成像裝置中，除了上述配置外，顯示減小單元減小幀圖像 和鑲嵌圖像以使整個顯示鑲嵌圖像顯示在屏幕上。按照這種配置，在將顯示幀圖像構(gòu)成的 移動畫面圖像顯示在顯示鑲嵌圖像上作為活動圖像的情況下，總是在屏幕中顯示整個鑲嵌 圖像，因此，用戶可以容易地看出拍攝期間的視場與圖像生成期間的鑲嵌圖像之間的位置 關(guān)系。 根據(jù)這種配置，在將顯示幀圖像構(gòu)成的移動畫面圖像作為活動圖像顯示在顯示鑲 嵌圖像上的情況下，總是同時顯示整個鑲嵌圖像和整個幀圖像；因此，用戶可以容易地看出 拍攝期間的視場與圖像生成期間的鑲嵌圖像之間的位置關(guān)系。 在本發(fā)明的第四方面的成像裝置中，除了上述配置外，顯示減小單元減小幀圖像 和鑲嵌圖像而同時保持圖像寬高比恒定。 在本發(fā)明的第五方面的成像裝置中，除了上述配置外，在每次更新顯示幀圖像相 對于顯示鑲嵌圖像的顯示位置時，顯示減小單元更新在減小幀圖像和鑲嵌圖像情況下的減 小比率。按照這種配置，在每次更新顯示幀圖像的顯示位置時就更新在減小幀圖像和鑲嵌 圖像情況下的減小比率；因此，在更新顯示位置之后可以恰當?shù)卦谄聊簧巷@示整個顯示鑲 嵌圖像和顯示幀圖像。 本發(fā)明的第六方面的成像裝置除了上述配置外還包括推薦區(qū)域顯示單元，包括 鑲嵌圖像和重疊區(qū)域，并顯示幀圖像的移動推薦區(qū)域，所述移動推薦區(qū)域能夠確定幀圖像 與鑲嵌圖像之間的相對位置，其中顯示減小單元減小幀圖像和鑲嵌圖像以使同時顯示移動 推薦區(qū)域中的幀圖像和鑲嵌圖像。 本發(fā)明的第八方面的成像裝置除了上述配置外還包括定位減小部分，其以恒定 減小比率分別減小幀圖像和鑲嵌圖像，并產(chǎn)生定位幀圖像和定位鑲嵌圖像；和特征量提取 單元，其從定位幀圖像和定位鑲嵌圖像提取特征量，其中相對位置確定單元通過比較特征 量來確定定位幀圖像與定位鑲嵌圖像之間的相對位置；并且其中顯示減小單元減小幀圖像 和鑲嵌圖像以使在屏幕上顯示出整個顯示鑲嵌圖像和整個顯示幀圖像、與定位鑲嵌圖像重 疊并與在具有用于確定相對位置所需的重疊區(qū)域的任何位置處的定位幀圖像相對應(yīng)的顯 示幀圖像的一部分。按照這種配置，通過比較從定位幀圖像和定位鑲嵌圖像提取的特征量， 來確定這些圖像之間的相對位置；因此，可以防止系統(tǒng)構(gòu)造太復(fù)雜。
4
按照這種配置，當鑲嵌圖像的圖像尺寸超出一個恒定尺寸時，對減小幀圖像和鑲嵌圖像情況下的減小比率進行固定，因此，可以防止由于圖像尺寸過小而不能看出拍攝期間的視場與圖像生成期間的鑲嵌圖像之間的位置關(guān)系。 根據(jù)本發(fā)明的成像裝置，根據(jù)鑲嵌圖像的圖像尺寸來執(zhí)行圖像減?。灰虼?，即使當鑲嵌圖像的圖像尺寸在組合前后大大改變時，也可以在屏幕上顯示整個顯示鑲嵌圖像。因此，在將拍攝期間的視場作為移動畫面圖像顯示在鑲嵌圖像上的恰當位置處的同時，在獲取靜止圖像并將其組合成鑲嵌圖像的情況下，在屏幕上顯示整個顯示鑲嵌圖像；因此，可以容易地看出拍攝期間的視場與圖像生成期間的鑲嵌圖像之間的位置關(guān)系。


圖1是示出根據(jù)本發(fā)明一個優(yōu)選實施例的成像裝置的示意配置的示例并示出一個放大觀察裝置來作為成像裝置的示例的示圖； 圖2是示出圖1所示放大觀察裝置的相關(guān)部分的配置示例并示出系統(tǒng)主體中功能配置的示例的框圖； 圖3是示出在圖2所示系統(tǒng)主體中的匹配處理部分的配置示例的框圖； 圖4是示例性地示出在圖l所示放大觀察裝置中顯示活動圖像期間的操作示例并
示出了移動畫面圖像Al和顯示鑲嵌圖像A3的說明示圖； 圖5是示例性地示出在圖1所示放大觀察裝置中顯示活動圖像期間的操作示例并示出了一個活動屏幕的說明示圖； 圖6A和圖6B是每一個示出了圖1所示放大觀察裝置中圖案匹配操作示例并示出了其中通過比較整體特征點B3來提取特征點之間的正確對應(yīng)的狀態(tài)的示 圖7是示出在圖l所示放大觀察裝置中顯示活動圖像期間的操作的示例并示出其上顯示了鑲嵌圖像和活動圖像的活動屏幕的示圖； 圖8是示出在圖1所示放大觀察裝置中顯示活動圖像期間的操作的示例并示出通過組合靜止圖像而更新的顯示鑲嵌圖像的示圖； 圖9是示出在圖1所示放大觀察裝置中獲取組合圖像期間的操作的示例的流程圖； 圖10是示出在根據(jù)本發(fā)明優(yōu)選實施例2的放大觀察裝置中顯示活動圖像期間的操作的示例并示出其上顯示了活動圖像的活動屏幕111的示圖； 圖11是示出在根據(jù)本發(fā)明優(yōu)選實施例4的放大觀察裝置的相關(guān)部分中的配置示例并示出在系統(tǒng)主體中的功能配置的示例的框圖；禾口 圖12是示出在圖ll所示放大觀察裝置中顯示活動屏幕的操作的示例并示出在鑲嵌圖像上顯示的移動推薦區(qū)域的示圖。
具體實施例方式
優(yōu)選實施例1〈放大觀察裝置> 圖1是示出根據(jù)本發(fā)明優(yōu)選實施例1的成像裝置的示意配置的示例的系統(tǒng)示圖，并且示出一個放大觀察裝置1作為成像裝置的示例，其包括系統(tǒng)主體100、攝像機單元200
5和控制板300。放大觀察裝置1是一個數(shù)字顯微鏡，其通過對由物鏡放大的拍攝對象進行拍攝來產(chǎn)生移動畫面圖像，并可以在系統(tǒng)主體100的顯示單元110上顯示移動畫面圖像。
攝像機單元200是用于在改變視場的同時拍攝待檢查物體的拍攝單元，其包括攝像頭210、可移動支持器220和可移動載物臺230。攝像頭210是讀取裝置，其拍攝作為拍攝對象的待檢查物體并產(chǎn)生由以恒定幀速持續(xù)的多個幀圖像構(gòu)成的移動畫面圖像，通過將物鏡、電荷耦合器件(CCD)圖像傳感器和照明裝置等布置在圓筒形外殼中來構(gòu)成該攝像頭210。 可移動支持器220是將攝像頭210可移動地保持在與物鏡中軸平行的方向上的保持單元。在這種情況下，平行于攝像頭210的物鏡的中軸的方向被稱為z軸方向，可以通過旋轉(zhuǎn)位置調(diào)節(jié)旋鈕221來調(diào)節(jié)攝像頭210在z軸方向上的位置。 可移動載物臺230是保持待檢查物體的保持單元，并且其在待檢查物體被固定的狀態(tài)下在與z軸相交的平面內(nèi)是可移動的。在這種情況下，與z軸垂直的平面被稱為xy平面，可以通過旋轉(zhuǎn)位置調(diào)節(jié)旋鈕231和232來調(diào)節(jié)可移動載物臺230在xy平面內(nèi)的位置。即，可移動載物臺230是在固定了待檢查物體的同時通過旋轉(zhuǎn)位置調(diào)節(jié)旋鈕231和232可以在兩個不同方向上移動的載物臺。 更具體地說，通過旋轉(zhuǎn)位置調(diào)節(jié)旋鈕231來調(diào)節(jié)x軸方向上的位置，通過旋轉(zhuǎn)位置調(diào)節(jié)旋鈕232可以調(diào)節(jié)y軸方向上的位置。將攝像頭210布置成與該可移動載物臺230面對。 控制板300是用于指示拍攝的開始和結(jié)束、將拍攝圖像數(shù)據(jù)等獲取到系統(tǒng)主體IOO中的輸入裝置。 系統(tǒng)主體100是圖像處理裝置，其將攝像頭210所拍攝的移動畫面圖像顯示在顯示單元110上，并通過將構(gòu)成移動畫面圖像的幀圖像進行組合來產(chǎn)生視場比攝像頭210的
實際視場寬的鑲嵌圖像。
〈系統(tǒng)主體> 圖2是示出圖1所示放大觀察裝置1的相關(guān)部分的配置示例并示出系統(tǒng)主體100中功能配置的示例的框圖。通過提供顯示減小單元121和128、顯示鑲嵌圖像存儲單元122、活動圖像更新單元123、保持鑲嵌圖像存儲單元124、活動定位單元125、靜止圖像獲取單元126和鑲嵌圖像產(chǎn)生單元127以及顯示單元110來構(gòu)成系統(tǒng)主體100。
顯示減小單元121操作來處理從攝像頭210獲得的移動圖像數(shù)據(jù)，并產(chǎn)生減小了圖像尺寸的減小移動圖像數(shù)據(jù)。更具體地說，執(zhí)行操作以使顯示減小單元121以預(yù)定減小比率將從攝像頭210連續(xù)獲得的幀圖像減小、產(chǎn)生顯示幀圖像并將該顯示幀圖像輸出到活動圖像更新單元123。例如，通過像素跳過處理和像素值平均步驟來執(zhí)行幀圖像的減小。在這種情況下，執(zhí)行減小處理而不改變高寬比，即，幀圖像的高寬比在減小之前和之后不變。
顯示鑲嵌圖像存儲單元122是鑲嵌圖像保持單元，其保持顯示鑲嵌圖像，并例如由易失性半導(dǎo)體存儲器來構(gòu)成?；顒訄D像更新單元123操作以根據(jù)從顯示減小單元121發(fā)送的減小比率信息來控制顯示單元IIO，并且更新從顯示減小單元121連續(xù)獲得的顯示幀圖像相對于顯示鑲嵌圖像的顯示位置，并相應(yīng)地在顯示鑲嵌圖像上顯示活動圖像?；顒訄D像是由多個連續(xù)顯示幀圖像構(gòu)成的移動畫面圖像。 保持鑲嵌圖像存儲單元124是鑲嵌圖像保持單元，其保存保持鑲嵌圖像，并由例如硬盤驅(qū)動(HDD)之類的非易失性存儲元件來構(gòu)成。 活動定位單元125包括定位減小部分125a和125b以及匹配處理部分125c?；顒佣ㄎ粏卧?25操作來分別減小從攝像頭210連續(xù)獲得的幀圖像以及從保持鑲嵌圖像存儲單元124讀出的保持鑲嵌圖像，并執(zhí)行匹配處理。 定位減小部分125a操作來以用于定位的恒定減小比率減小從攝像頭210獲得的
幀圖像，以產(chǎn)生定位幀圖像并將該定位幀圖像輸出到匹配處理部分125c。定位減小部分
125b操作來以用于定位的恒定減小比率減小從保持鑲嵌圖像存儲單元124讀出的保持鑲
嵌圖像，以產(chǎn)生定位幀圖像并將該定位幀圖像輸出到匹配處理部分125c。 匹配處理部分125c操作來利用定位幀圖像與定位鑲嵌圖像之間的圖案匹配以確
定它們之間的相對位置，從而產(chǎn)生相對位置信息并輸出到活動圖像更新單元123。 活動圖像更新單元123操作來根據(jù)從活動定位單元125接收的相對位置信息來確
定顯示幀圖像與顯示鑲嵌圖像之間的相對位置，并更新顯示幀圖像相對于用于顯示的幀圖
像的顯示鑲嵌圖像的顯示位置。 在這種情況下，活動定位單元125是一種以比保持定位部分127a更低的準確度執(zhí)
行匹配處理并將低準確度的坐標數(shù)據(jù)輸出作為相對位置信息的處理單元。 靜止圖像獲取單元126操作來根據(jù)來自控制板300的獲取指令獲取由攝像頭210
拍攝的靜止圖像，并將該靜止圖像輸出到鑲嵌圖像產(chǎn)生單元127。從攝像頭210獲取的組合
靜止圖像可以是成像條件(如曝光時間)與移動畫面圖像不同的圖像，或是構(gòu)成移動畫面
圖像的幀圖像中的一個。 鑲嵌圖像產(chǎn)生單元127包括保持定位部分127a和圖像耦合部分127b，并操作來通過組合多個靜止圖像產(chǎn)生保持鑲嵌圖像。 保持定位部分127a操作來確定由靜止圖像獲取單元126所獲取的靜止圖像與從保持鑲嵌圖像存儲單元124讀出的保持鑲嵌圖像之間的相對位置。通過靜止圖像與保持鑲嵌圖像之間的圖案匹配來執(zhí)行相對位置的確定，并且以比定位鑲嵌圖像的分辨率高的分辨率來估計靜止圖像與保持鑲嵌圖像之間的相對位置。 圖像耦合部分127b操作來根據(jù)保持定位部分127a的確定結(jié)果組合靜止圖像和保持鑲嵌圖像，以產(chǎn)生新的保持鑲嵌圖像，并更新保持鑲嵌圖像存儲單元124中的保持鑲嵌圖像。更具體地說，根據(jù)保持定位部分127a估計的圖像之間的相對位置來組合由靜止圖像獲取單元126所獲取的靜止圖像和從保持鑲嵌圖像存儲單元124讀出的保持鑲嵌圖像，從而產(chǎn)生了新的保持鑲嵌圖像。 通過根據(jù)這些圖像之間的相對位置耦合這兩種圖像來執(zhí)行靜止圖像與保持鑲嵌圖像的組合。另外，在耦合靜止圖像與保持鑲嵌圖像的情況下，對兩種圖像的重疊區(qū)域執(zhí)行像素值混合處理以使接合處更不明顯?；旌咸幚硎菆?zhí)行兩個圖像間像素值的加權(quán)平均并得到合成圖像的像素值的圖像處理，在執(zhí)行加權(quán)平均的情況下的權(quán)重響應(yīng)于像素位置而適當?shù)馗淖?，這使得接合處更不明顯。 在這種情況下，通過將保持鑲嵌圖像劃分成恒定大小(例如多個512X512像素的圖像拼片)來保存保持鑲嵌圖像，并且在更新保持鑲嵌圖像的情況下，從存儲器僅僅讀出必要的部分并執(zhí)行更新處理。 顯示減小單元128操作來在每次更新保持鑲嵌圖像時從保持鑲嵌圖像存儲單元124讀出更新的保持鑲嵌圖像，減小所讀出的用于顯示的保持鑲嵌圖像，并產(chǎn)生顯示鑲嵌圖像。 顯示減小單元121和128操作來根據(jù)保持鑲嵌圖像的圖像尺寸分別減小幀圖像和保持鑲嵌圖像，并產(chǎn)生顯示幀圖像和顯示鑲嵌圖像。更具體地說，在減小幀圖像和保持鑲嵌圖像的情況下每次更新保持鑲嵌圖像時就確定減小比率，并執(zhí)行減小這些圖像的處理。
根據(jù)顯示單元110的分辨率和活動圖像的監(jiān)視器屏幕的尺寸來確定減小比率，從而例如同時在屏幕上顯示整個顯示鑲嵌圖像和整個顯示幀圖像。每次更新保持鑲嵌圖像時就由鑲嵌圖像的圖像尺寸確定減小比率并執(zhí)行顯示圖像的減小處理，因此可以響應(yīng)于鑲嵌圖像的尺寸自動調(diào)節(jié)顯示放大率并顯示活動圖像。 在這種情況下，設(shè)置減小比率使得在屏幕上顯示整個顯示鑲嵌圖像和整個顯示幀圖像，顯示幀圖像的一部分與定位鑲嵌圖像重疊并在具有確定相對位置所必需的重疊區(qū)域的任何位置處對應(yīng)于定位幀圖像。 —般而言，在通過靜止圖像和保持鑲嵌圖像之間的圖案匹配來判斷這些圖像之間的相對位置關(guān)系的情況下，在靜止圖像與保持鑲嵌圖像之間需要存在不小于恒定尺寸的重疊區(qū)域以確保定位準確度不小于恒定水平。另外，在當耦合靜止圖像和保持鑲嵌圖像時通過混合處理使接合處不明顯的情況下，在靜止圖像與保持鑲嵌圖像之間需要存在不小于恒定量的重疊區(qū)域以便以不小于恒定水平的平滑度來平滑地耦合。 在顯示減小單元121和128中，設(shè)置減小比率以使得在屏幕上總是顯示與在具有上述重疊區(qū)域作為重疊區(qū)域的任何位置處的定位幀圖像相對應(yīng)的整個顯示幀圖像以及整個顯示鑲嵌圖像。 另外，首先，對于保持鑲嵌圖像的每個圖像拼片，將全尺寸的圖像保存為鑲嵌圖像的顯示存儲圖像(display on-memory image)，如果顯示鑲嵌圖像不能適應(yīng)活動圖像的監(jiān)視器屏幕，則減小每個圖像拼片，例如產(chǎn)生1/2圖像用作顯示存儲圖像。此時，從存儲器中刪除全尺寸圖像。另外，在顯示鑲嵌圖像不適應(yīng)監(jiān)視器屏幕的情況下，例如對各個圖像拼片由1/2圖像產(chǎn)生1/4圖像，并更新顯示存儲圖像。 如上所述，每次通過組合新的靜止圖像使得顯示鑲嵌圖像不適應(yīng)監(jiān)視器屏幕時就減小每個圖像拼片。從通過組合靜止圖像或新增加圖像拼片而改變的圖像拼片讀出全尺寸圖像，并按照當前顯示存儲圖像的尺寸來減小圖像拼片。
〈匹配處理部分〉 圖3是示出在圖2所示系統(tǒng)主體100中的匹配處理部分125c的配置示例的框圖。
匹配處理部分125c包括特征量提取單元131和相對位置確定單元132。 特征量提取單元131操作來分別從定位幀圖像和定位鑲嵌圖像中提取特征量。作
為特征量，只要特征量成為比較圖像時的標記，就可以使用任何特征量；不過，在這種情況
下，提取多條邊相交的頂點作為特征點。 相對位置確定單元132包括比較部分141、相對位置計算部分142和重疊區(qū)域估計部分143。相對位置確定單元132操作來通過比較特征點確定定位幀圖像和定位鑲嵌圖像之間的相對位置。比較部分141操作來將從定位幀圖像提取的特征點與從定位鑲嵌圖像提取的特征點進行比較，并將其比較結(jié)果輸出到相對位置計算部分142。 通過例如從一個像素中提取包括特征點的區(qū)域作為模板并通過從其它圖像搜索與模板區(qū)域最相似的區(qū)域來執(zhí)行特征點的比較。作為用于測量區(qū)域間相似度的指標，可以 想到從區(qū)域中的像素得到亮度值的誤差平方和的方法以及使用歸一化相關(guān)的方法，其中以 平均亮度對區(qū)域中每個像素的亮度值歸 一化。 相對位置計算部分142操作來根據(jù)比較部分141的比較結(jié)果確定定位幀圖像與定 位鑲嵌圖像之間的相對位置，將其確定結(jié)果輸出到重疊區(qū)域估計部分143，并且將相對位置 信息輸出到活動圖像更新單元123。 重疊區(qū)域估計部分143操作來根據(jù)過去相對于定位幀圖像的相對位置的確定結(jié)
果來估計當前定位幀圖像和定位鑲嵌圖像的重疊區(qū)域。例如，執(zhí)行操作以使得由之前由一
個幀提供的相對于定位幀圖像的相對位置的確定結(jié)果來設(shè)置幀圖像與定位鑲嵌圖像之間
的重疊區(qū)域，并將重疊區(qū)域判斷為當前幀圖像與鑲嵌圖像的重疊區(qū)域。 比較部分141操作來對由重疊區(qū)域估計部分143所估計的重疊區(qū)域中的特征點進
行比較，并將其比較結(jié)果輸出到相對位置計算部分142。隨后，在不能確定相對位置的情況
下，執(zhí)行操作以比較定位幀圖像的所有特征點和定位鑲嵌圖像的所有特征點，并將其比較
結(jié)果輸出到相對位置計算部分142作為對重疊區(qū)域中的特征點的比較結(jié)果。 此外，對第一定位幀圖像執(zhí)行定位幀圖像的所有特征點與定位鑲嵌圖像的所有特
征點之間的比較，并將其比較結(jié)果輸出到相對位置計算部分142。 S卩，對于第一幀定位幀圖
像，對每個圖像的所有特征點進行比較來確定相對位置。另一方面，對于第二幀以后的定位
幀圖像，則首先對根據(jù)過去的相對于幀圖像的相對位置的確定結(jié)果所估計的重疊區(qū)域中的
特征點進行比較來確定相對位置。此時，如果不能確定相對位置，則對每個圖像的所有特征
點進行比較來確定相對位置。 在這種情況下，第一幀圖像例如是在產(chǎn)生鑲嵌圖像期間一旦停止了拍攝并隨后重 新開始拍攝的情況下在重新拍攝之后首次獲得的幀圖像。 —般而言，在從兩個靜止圖像(其中圖像的每個部分都重疊并且在這些圖像之間 搜索對應(yīng)的特征點的組)中提取每個特征點的情況下，從兩個圖像的重疊區(qū)域提取特征點 并搜索對應(yīng)特征點的組的方式在錯誤響應(yīng)出現(xiàn)概率方面比通過從整個圖像提取特征點來 進行搜索的錯誤響應(yīng)出現(xiàn)概率更低。即，優(yōu)選地對重疊區(qū)域中的特征點進行比較來確定相 對位置；相應(yīng)地，可以提高定位幀圖像的定位成功概率。另外，與對屏幕中所有特征點進行 比較的情況相比，提高了定位速度。 在這種情況下，當特征量提取單元131從當前定位幀圖像提取特征點時，從由重 疊區(qū)域估計部分143估計的重疊區(qū)域中提取特征點。隨后，在不能僅通過重疊區(qū)域中的特 征點確定相對位置的情況下，也對除了重疊區(qū)域以外的區(qū)域中的特征點進行提取操作。
在由顯示幀圖像構(gòu)成的移動畫面圖像顯示在顯示鑲嵌圖像上作為活動圖像的情 況下，活動圖像更新單元123操作來根據(jù)由相對位置計算部分142得到的相對位置確定結(jié) 果，來更新顯示定位，并將其顯示數(shù)據(jù)輸出到顯示單元110。
〈活動屏幕> 圖4和圖5是示例性地示出在圖1所示放大觀察裝置1中顯示活動圖像期間的操 作示例的說明示圖。圖4示出了攝像頭210拍攝的移動畫面圖像A1和顯示鑲嵌圖像A3。 另外，圖5示出了其中移動畫面圖像Al布置為在鑲嵌圖像A3之上的活動圖像的活動屏幕 111。
9動畫面圖像A1由以恒定幀速重復(fù)產(chǎn)生的顯示幀圖像A2構(gòu)成。例如，顯示幀圖 像A2以每秒15幀(fps)來產(chǎn)生。在這種情況下，成像放大率和聚焦位置是固定的。
顯示鑲嵌圖像A3是通過減小用于顯示活動屏幕的保持鑲嵌圖像所產(chǎn)生的鑲嵌圖 像。 活動屏幕111是顯示在顯示單元110上的監(jiān)視器屏幕，并且其上顯示了在圖像生 成期間的顯示鑲嵌圖像A3和移動畫面圖像A1。在活動屏幕lll中，將移動畫面圖像A1布 置到根據(jù)由當前定位幀圖像與定位鑲嵌圖像之間的圖案匹配確定的相對位置所決定的顯 示位置處。 S卩，將拍攝期間的移動畫面圖像Al顯示為在圖像生成期間的顯示鑲嵌圖像A3上 的恰當位置處的活動圖像，因此，用戶在對拍攝期間的視場與圖像生成期間的鑲嵌圖像之 間的位置關(guān)系進行確認的同時，可以獲取靜止圖像并將其耦合到保持鑲嵌圖像。
〈圖案匹配> 圖6A和圖6B是每個示出在圖1所示放大觀察裝置1中的圖案匹配操作的示例的 示意圖，其示出了這種狀態(tài)其中通過對每個從參考圖像B1和定位幀圖像B2提取的所有特 征點B3進行比較來提取這些特征點之間的正確對應(yīng)。圖6A示出了將從參考圖像Bl提取 的特征點B3與幀圖像B2中的每個特征點B3進行比較的狀態(tài)；圖6B示出了根據(jù)特征點B3 的比較所提取的特征點之間的正確對應(yīng)。 參考圖像B 1是圖像生成期間的鑲嵌圖像的一部分，并預(yù)先從定位鑲嵌圖像中提 取作為圖案匹配的處理對象。例如，將最后耦合的靜止圖像提取作為參考圖像B1。
在參考圖像Bl與幀圖像B2之間的位置關(guān)系不清楚的情況下，通過將圖像整體設(shè) 置為一個對象來提取特征點B3。隨后，通過比較這些特征點來判斷對于從參考圖像B1提取 的各個特征點B3是否在幀圖像B2中存在類似的特征點。 可以通過包括特征點B3的預(yù)定區(qū)域來測量特征點之間的相似度，例如，對5像 素X5像素的矩形區(qū)域計算的亮度值的誤差平方和或歸一化相關(guān)。 根據(jù)這樣的比較結(jié)果來提取特征點之間的正確對應(yīng)。例如，將相同方向上平行移 動的特征點之間的對應(yīng)提取為正確對應(yīng)。通過根據(jù)所提取特征點之間的正確對應(yīng)以判斷特 征點在圖像中的移動量并且通過由所述移動量判斷幀圖像B2相對于參考圖像B1的移動 量，來確定參考圖像Bl與幀圖像B2之間的相對位置。 另一方面，在預(yù)先知道了參考圖像B1與幀圖像B2之間的大致位置關(guān)系的情況下， 從一個圖像適當?shù)靥崛∧０鍏^(qū)域并搜索其它圖像的對應(yīng)區(qū)域的相鄰部分；從而可以高準確 度地確定這些圖像之間的相對位置。 S卩，根據(jù)由一個幀預(yù)先提供的第(n-l)幀圖像與所述參考圖像之間相對位置的確
定結(jié)果，得到這些圖像的重疊區(qū)域B4。重疊區(qū)域B4被判斷為當前第n幀圖像和參考圖像的
重疊區(qū)域B5和B6。隨后，通過針對參考圖像的重疊區(qū)域B5中的各個特征點B3從第n幀圖
像的重疊區(qū)域B6提取相似的特征點，可以確定這些圖像之間的相對位置。 通過針對參考圖像的重疊區(qū)域B5中的各個特征點B3從第n幀圖像的重疊區(qū)域B6
中提取在對應(yīng)于特征點的位置附近的預(yù)定區(qū)域并且通過搜索所述區(qū)域的內(nèi)部來進行相似
特征點的提取。 在本優(yōu)選實施例中，對于跟隨第二幀之后的定位幀圖像以及定位鑲嵌圖像的定
10位，采取了對重疊區(qū)域中的特征點進行比較的方法。另一方面，在通過第一幀的定位幀圖像
以及定位鑲嵌圖像的定位以及通過重疊區(qū)域中特征點的比較而不能確定相對位置的情況
下，或者在根據(jù)獲取指令所獲取的靜止圖像以及保持鑲嵌圖像的定位的情況下，采取了對
所有特征點進行比較的方法。〈顯示范圍> 圖7和圖8是每個示出在圖1所示放大觀察裝置1中顯示活動圖像期間的操作示 例并示出其中同時顯示了整個顯示鑲嵌圖像和幀圖像的活動屏幕lll的示圖。圖7示出了 包括整個顯示鑲嵌圖像和整個活動圖像并且其中鑲嵌圖像一部分重疊的顯示范圍112。
在這個示例中，在實線示出的矩形框中顯示了由連續(xù)的顯示幀圖像構(gòu)成的活動圖 像。根據(jù)定位鑲嵌圖像與當前定位幀圖像之間的相對位置的確定結(jié)果來決定示出了活動圖 像的矩形框的顯示位置。 在通過分別減小幀圖像和保持鑲嵌圖像來產(chǎn)生顯示幀圖像和鑲嵌圖像的情況下 的減小比率被設(shè)置來使得同時在活動屏幕111上顯示整個顯示鑲嵌圖像和整個顯示幀圖 像，顯示幀圖像的一部分與定位鑲嵌圖像重疊并且在具有用于確定相對位置所需的重疊區(qū) 域的任何位置處與定位幀圖像對應(yīng)。 在這種情況下，將顯示范圍112設(shè)置來包括顯示鑲嵌圖像和顯示幀圖像，顯示幀 圖像在具有確定相對位置所需的最小重疊區(qū)域的任何位置處與定位幀圖像對應(yīng)；并且將顯 示范圍112中的圖像顯示在活動屏幕111上。S卩，以向外放大顯示鑲嵌圖像的形狀來構(gòu)造 顯示范圍112。 如果在圖7所示狀態(tài)下給出用于組合靜止圖像的獲取指令，則在顯示期間與活動 圖像具有相同視場的靜止圖像被獲取并被耦合到保持鑲嵌圖像以產(chǎn)生新的保持鑲嵌圖像。 減小了新的保持鑲嵌圖像，并相應(yīng)地更新了顯示期間的顯示鑲嵌圖像。 圖8示出通過將對應(yīng)于圖7所示活動圖像的靜止圖像與響應(yīng)于更新顯示鑲嵌圖像 而改變的顯示范圍112進行組合所更新的顯示鑲嵌圖像。在每次更新保持鑲嵌圖像時，更 新在減小幀圖像和保持鑲嵌圖像情況下的減小比率，并且調(diào)節(jié)顯示范圍112以使其包括整 個顯示鑲嵌圖像和整個顯示幀圖像。 圖9所示步驟S101到S110是示出在圖1所示放大觀察裝置1中獲取組合圖像期 間的操作示例的流程圖。首先，靜止圖像獲取單元126根據(jù)來自控制板300的獲取指令從 攝像頭210獲取組合靜止圖像(步驟S101)。 通過所獲取的靜止圖像與從保持鑲嵌圖像存儲單元124讀出的保持鑲嵌圖像之 間的圖案匹配，鑲嵌圖像產(chǎn)生單元127確定這些圖像之間的相對位置并通過將這些圖像進 行組合來產(chǎn)生新的保持鑲嵌圖像(步驟S102到S104)。 當通過新的保持鑲嵌圖像更新保持鑲嵌圖像存儲單元124中的保持鑲嵌圖像時 (步驟S105)，顯示減小單元121和128根據(jù)更新的保持鑲嵌圖像的圖像尺寸來確定顯示范 圍112并確定減小比率(步驟S106)。 此時，如果顯示范圍112不能包括在活動屏幕111中，則通過改變減小比率進行減 小處理從而顯示整個顯示范圍112(步驟S107到S109)。另一方面，如果顯示范圍112能包 括在活動屏幕111中，則通過不改變減小比率來進行減小處理(步驟S107和S109)。
當更新了顯示鑲嵌圖像存儲單元中的顯示鑲嵌圖像時，活動圖像更新單元123讀出所更新的鑲嵌圖像并更新活動屏幕111上的顯示鑲嵌圖像(步驟S110)。 根據(jù)本優(yōu)選實施例，根據(jù)保持鑲嵌圖像的圖像尺寸來進行顯示圖像的減??；因此，
即使當鑲嵌圖像的圖像尺寸在組合前后大大改變時，也可以在屏幕上顯示整個顯示鑲嵌圖
像。因此，可以容易地看出拍攝期間的視場與圖像生成期間的鑲嵌圖像之間的位置關(guān)系。更
具體地，在將活動圖像顯示在顯示鑲嵌圖像上的情況下，可以總是同時顯示整個顯示鑲嵌
圖像和整個幀圖像；因此，可以使用戶更容易地看出拍攝期間的視場與圖像生成期間的鑲
嵌圖像之間的位置關(guān)系。 優(yōu)選實施例2 在優(yōu)選實施例1中，描述了對在減小幀圖像和保持鑲嵌圖像的情況下的減小比率 進行確定以便同時顯示整個顯示鑲嵌圖像和整個顯示幀圖像的示例。另一方面，在本優(yōu)選 實施例中，將描述當鑲嵌圖像的圖像尺寸超過一個恒定尺寸時對減小比率進行固定的情 況。 顯示減小單元121和128操作來在當保持鑲嵌圖像的圖像尺寸超過一個恒定尺寸 時減小了幀圖像和保持鑲嵌圖像的情況下固定減小比率。即，確定減小比率以使得將整個 顯示鑲嵌圖像和整個顯示幀圖像同時顯示在活動屏幕111中，并執(zhí)行減小處理直到保持鑲 嵌圖像的圖像尺寸超過該恒定尺寸。 另一方面，在保持鑲嵌圖像的圖像尺寸超出恒定尺寸的情況下，以之前的減小比 率來執(zhí)行減小處理。在這種情況下，在活動屏幕111中顯示了顯示鑲嵌圖像的一部分和整 個活動圖像。 圖10是示出在根據(jù)本發(fā)明優(yōu)選實施例2的放大觀察設(shè)備中在顯示活動圖像期間
的操作示例的示意圖，并且示出了其中將活動圖像顯示在顯示鑲嵌圖像上的活動屏幕lll。
在該示例中顯示了整個活動圖像，其中部分顯示鑲嵌圖像和部分鑲嵌圖像重疊。 在本優(yōu)選實施例中，響應(yīng)于如優(yōu)選實施例1中的鑲嵌圖像的尺寸來改變減小比
率，直到預(yù)定的減小比率為止。另一方面，如果減小比率過度地減小，則拍攝期間的視場與
圖像生成期間的鑲嵌圖像之間的位置關(guān)系變得無法把握。因此，當減小比率達到預(yù)定減小
比率時，減小比率不改變，但以拍攝期間的視場變得恒定的顯示放大率來顯示活動圖像和
相鄰的鑲嵌圖像。 采用這樣的配置，當保持鑲嵌圖像的圖像尺寸超出恒定尺寸時，在減小幀圖像和 保持鑲嵌圖像的情況下的減小比率被固定；因此，可以使拍攝期間的視場與圖像生成期間 的鑲嵌圖像之間的位置關(guān)系不會看不出。
優(yōu)選實施例3 在優(yōu)選實施例1中，描述了整個顯示鑲嵌圖像和整個顯示幀圖像被顯示的示例， 顯示幀圖像與在具有用于確定相對位置所需的重疊區(qū)域的任何位置處的定位幀圖像相對 應(yīng)。另一方面，在本優(yōu)選實施例中，將描述這種情況每次顯示幀圖像相對于顯示鑲嵌圖像 的顯示位置被更新，就更新在減小幀圖像和保持鑲嵌圖像情況下的減小比率，并且顯示整 個顯示鑲嵌圖像和整個更新的顯示幀圖像。 顯示減小單元121和128操作來在每次顯示幀圖像相對于顯示鑲嵌圖像的顯示位
置被更新時對在幀圖像和保持鑲嵌圖像被減小的情況下的減小比率進行更新。 采用這樣的配置，在每次更新顯示幀圖像的顯示位置時都更新了在減小所述幀圖像和所述保持鑲嵌圖像的情況下的減小比率；因此，可以在更新顯示位置之后在活動屏幕 111中適當?shù)仫@示整個顯示鑲嵌圖像和幀圖像。
優(yōu)選實施例4 在優(yōu)選實施例1中，描述了這種情況對在減小了幀圖像和保持鑲嵌圖像以顯示 活動屏幕的情況下的減小比率進行確定以使得同時顯示整個顯示鑲嵌圖像和整個顯示幀 圖像。另一方面，在本優(yōu)選實施例中，將描述這樣的情況在鑲嵌圖像上顯示能夠確定相對 位置的幀圖像的移動推薦區(qū)域，并且確定減小比率，以使得同時顯示移動推薦區(qū)域中的幀 圖像和鑲嵌圖像。 圖11是示出在根據(jù)本發(fā)明優(yōu)選實施例4的放大觀察裝置的相關(guān)部分中的配置示 例并示出在系統(tǒng)主體100a中的功能配置的示例的框圖。系統(tǒng)主體100a與圖2所示系統(tǒng)主 體100相比的不同之處在于提供了推薦區(qū)域顯示單元151。 推薦區(qū)域顯示單元151操作來在鑲嵌圖像上顯示幀圖像的移動推薦區(qū)域。移動推 薦區(qū)域是與鑲嵌圖像有重疊區(qū)域的恒定形狀和大小的區(qū)域，并且根據(jù)保持鑲嵌圖像的圖像 尺寸來決定相對于鑲嵌圖像的顯示位置。更具體地說，在能夠確定幀圖像和鑲嵌圖像之間 的相對位置的區(qū)域之中，將其中與鑲嵌圖像的重疊區(qū)域最小的區(qū)域顯示來作為移動推薦區(qū) 域。 顯示減小單元121和128操作來減小幀圖像和保持鑲嵌圖像從而同時顯示移動推 薦區(qū)域中的幀圖像和鑲嵌圖像。更具體地，操作來決定在減小幀圖像和保持鑲嵌圖像以顯 示活動屏幕的情況下的減小比率，以使得顯示出移動推薦區(qū)域中至少整個幀圖像和整個鑲 嵌圖像。 每次更新保持鑲嵌圖像時就更新移動推薦區(qū)域的顯示位置，并且響應(yīng)于鑲嵌圖像
和移動推薦區(qū)域的更新來改變減小比率。〈移動推薦區(qū)域〉 圖12是示出在圖ll所示放大觀察裝置中顯示活動屏幕期間的操作示例并示出在
鑲嵌圖像上顯示的移動推薦區(qū)域的示圖。在活動屏幕111中顯示了與圖像生成期間的保持
鑲嵌圖像對應(yīng)的顯示鑲嵌圖像、示出拍攝期間的視場的活動圖像、和移動推薦區(qū)域。 在該示例中，由顯示幀圖像構(gòu)成的活動圖像布置在由實線示出的矩形框中。根據(jù)
參考圖像(鑲嵌圖像的一部分)與當前定位幀圖像之間的相對位置的確定結(jié)果來改變矩形
框的顯示位置。 另一方面，移動推薦區(qū)域代表相對于鑲嵌圖像用于組合靜止圖像的最佳位置，并 由虛線所示矩形框示出。在這個示例中，將移動推薦區(qū)域構(gòu)成來使得移動推薦區(qū)域略大于 顯示幀圖像，以不小于恒定水平的定位準確度來組合靜止圖像，并得到用于使得產(chǎn)生具有 期望尺寸的鑲嵌圖像所需的靜止圖像的數(shù)量最小化的最佳重疊區(qū)域。 順便地說，在優(yōu)選實施例1到4中，描述了其中在比較定位幀圖像與定位鑲嵌圖像 的情況中將多個邊相交的頂點提取為特征量的示例；然而，本發(fā)明并不局限于此。例如，對 于圖像上的預(yù)定區(qū)域，可以分別從定位幀圖像和定位鑲嵌圖像提取該區(qū)域中的對比度值作 為特征量，來將這些圖像的所提取的對比度值進行比較。 另外，在優(yōu)選實施例1到4中，描述了其中通過相互之間的圖案匹配來確定定位鑲 嵌圖像與幀圖像之間的相對位置關(guān)系的示例；然而，本發(fā)明并不局限于此。例如，可以包括一個對可移動載物臺230的x軸方向和y軸方向上的位置進行檢測的位置傳感器，以根據(jù) 位置傳感器的輸出來確定幀圖像與鑲嵌圖像之間的相對位置。
權(quán)利要求
一種成像裝置，包括可移動載物臺，能夠在固定待檢查物體的同時在兩個不同方向上移動；攝像頭，其與可移動載物臺相對布置，對待檢查物體進行拍攝并產(chǎn)生由多個連續(xù)幀圖像構(gòu)成的移動畫面圖像；鑲嵌圖像產(chǎn)生單元，其對由攝像頭拍攝的不少于兩個靜止圖像進行組合，并產(chǎn)生視場比攝像頭實際視場寬的鑲嵌圖像；相對位置確定單元，其確定幀圖像與鑲嵌圖像之間的相對位置；顯示減小單元，其根據(jù)鑲嵌圖像的圖像尺寸分別減小幀圖像和鑲嵌圖像，并產(chǎn)生顯示幀圖像和顯示鑲嵌圖像；和活動圖像顯示單元，其根據(jù)相對位置的確定結(jié)果來更新顯示幀圖像相對于顯示鑲嵌圖像的顯示位置，并將由顯示幀圖像構(gòu)成的移動畫面圖像顯示在顯示鑲嵌圖像上。
2. 如權(quán)利要求l所述的成像裝置，其中顯示減小單元減小幀圖像和鑲嵌圖像以使整個顯示鑲嵌圖像顯示在屏幕上。
3. 如權(quán)利要求l所述的成像裝置，其中顯示減小單元減小幀圖像和鑲嵌圖像以使得同時顯示整個顯示鑲嵌圖像和整個顯示 幀圖像。
4. 如權(quán)利要求1到3中任一個所述的成像裝置，其中 顯示減小單元減小幀圖像和鑲嵌圖像而同時保持圖像寬高比恒定。
5. 如權(quán)利要求3所述的成像裝置，其中在顯示幀圖像相對于顯示鑲嵌圖像的顯示位置每次被更新時，顯示減小單元更新在減 小幀圖像和鑲嵌圖像情況下的減小比率。
6. 如權(quán)利要求3所述的成像裝置，還包括推薦區(qū)域顯示單元，其顯示幀圖像的移動推薦區(qū)域，所述移動推薦區(qū)域包括具有鑲嵌 圖像的重疊區(qū)域，所述移動推薦區(qū)域能夠確定幀圖像與鑲嵌圖像之間的相對位置，其中顯示減小單元減小幀圖像和鑲嵌圖像以使得同時顯示移動推薦區(qū)域中的幀圖像和鑲 嵌圖像。
7. 如權(quán)利要求1所述的成像裝置，還包括定位減小部分，其以恒定減小比率分別減小幀圖像和鑲嵌圖像，并產(chǎn)生定位幀圖像和定位鑲嵌圖像，禾口特征量提取單元，其從定位幀圖像和定位鑲嵌圖像提取特征量，其中 相對位置確定單元通過比較特征量來確定定位幀圖像與定位鑲嵌圖像之間的相對位置；并且其中顯示減小單元減小幀圖像和鑲嵌圖像以使得在屏幕上顯示出與在具有用于確定相對 位置所需的重疊區(qū)域的任何位置處的定位幀圖像相對應(yīng)的整個顯示鑲嵌圖像和整個顯示 幀圖像。
8. 如權(quán)利要求l所述的成像裝置，其中顯示減小單元在鑲嵌圖像的圖像尺寸超出一個恒定尺寸時對減小幀圖像和鑲嵌圖像 情況下的減小比率進行固定。
全文摘要
本發(fā)明提供了一種成像裝置，即使在大大改變鑲嵌圖像的圖像尺寸時也能將整個顯示鑲嵌圖像顯示在屏幕上，該成像裝置包括組合多個靜止圖像并產(chǎn)生鑲嵌圖像的鑲嵌圖像產(chǎn)生單元；確定幀圖像與鑲嵌圖像之間的相對位置的相對位置確定單元；顯示減小單元，其根據(jù)鑲嵌圖像的圖像尺寸分別減小幀圖像和鑲嵌圖像，并產(chǎn)生顯示幀圖像和顯示鑲嵌圖像；和活動圖像顯示單元，其根據(jù)相對位置的確定結(jié)果來更新幀圖像相對于鑲嵌圖像的顯示位置。
文檔編號G02B21/36GK101750728SQ200910246959
公開日2010年6月23日 申請日期2009年12月11日 優(yōu)先權(quán)日2008年12月12日
發(fā)明者康宇范 申請人:株式會社其恩斯