專利名稱：圖像處理裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于處理對被測物進行拍攝而得到的圖像數(shù)據(jù)的圖像 處理裝置，特別是涉及一種在不同曝光條件下對被測物多次拍攝，從而使動 態(tài)范圍得到擴大的技術(shù)。
背景技術(shù)：
在FA (Factory Automation:工廠自動化)領(lǐng)域等之中，作為以光學(xué)方 式檢査工件等被測物中產(chǎn)生的缺陷、或者以光學(xué)方式計測其大小等的裝置， 所謂的視覺傳感器已經(jīng)得到了實際應(yīng)用。
在使用這種視覺傳感器進行檢査或計測時，必須適當(dāng)?shù)嘏臄z被測物。一 般來說，由CCD (Coupled Charged Device:電荷耦合器件)或CMOS (Complementary Metal Oxide Semiconductor:互補金屬氧化物半導(dǎo)體)傳感 器等構(gòu)成的攝像裝置的動態(tài)范圍(可顯示亮度的灰度范圍)是有限的。因此， 如果拍攝時的曝光時間延長，整體或局部上會產(chǎn)生泛白現(xiàn)象(光暈)，無法 正確地取得被測物的亮度信息和色彩信息。反之，如果拍攝時的曝光時間縮 短，整體或局部上會產(chǎn)生泛黑現(xiàn)象，無法取得有效的亮度信息。進而，具有 局部反射率不同的部分的被測物或具有大曲率部分的被測物受到照明等的 影響，可能會產(chǎn)生局部泛白或泛黑。
這樣，當(dāng)同一被測物產(chǎn)生的光能(明亮度)的變動幅度超過了攝像裝置 的動態(tài)范圍時，就會出現(xiàn)無法適當(dāng)?shù)嘏臄z被測物整體的問題。
因此，已知有在不同拍攝條件(特別是曝光條件)下對同一被測物多次 拍攝，然后將各次拍攝所得到的圖像數(shù)據(jù)加以合成，由此使動態(tài)范圍得到擴 大的技術(shù)。這種處理也稱為高動態(tài)(high dynamic)合成處理或超范圍處理 (Super Latitude process, SL處理)。例如，特開2002-334326號公報(引 用文獻1)中公開了一種利用少量計算處理負載實現(xiàn)動態(tài)范圍擴大的視覺傳 感器。
專利文獻1: JP特開2002-334326號公報。
5一般來說，拍攝次數(shù)越多，動態(tài)范圍的擴大和合成圖像的精度提高就越 值得期待，但隨著拍攝次數(shù)的增加，處理時間變長。即，動態(tài)范圍的擴大和
處理時間處于顧此失彼(trade off)的關(guān)系。然而，在實際生產(chǎn)現(xiàn)場，必須 以在傳送帶等傳送裝置上依次傳送的被測物為對象進行檢査和計測，因此， 可以分配給各被測物的處理時間是有限的。為此，必須兼顧所要求的合成圖 像的精度和處理時間，來適當(dāng)?shù)卦O(shè)定拍攝條件(曝光條件、抬攝次數(shù)、照明 條件等)。
另外，在品種多、生產(chǎn)量小等的生產(chǎn)線中，作為被測物的工件的種類頻 繁變更。在這種工件發(fā)生變更的情況下，也需要對拍攝條件進行微調(diào)。
進而，必須使不熟悉視覺傳感器的生產(chǎn)線操作員也能夠適當(dāng)?shù)卦O(shè)定拍攝 條件，而且必須能夠判斷是否適當(dāng)?shù)貓?zhí)行了圖像合成處理。

發(fā)明內(nèi)容
本發(fā)明是為了解決這些問題而提出的，其第一 目的是提供一種能夠考慮 到各處理所容許的時間而適當(dāng)?shù)卦O(shè)定拍攝條件的圖像處理裝置。另外，第二 目的是提供一種能夠參照著實際生成的合成圖像來適當(dāng)?shù)卦O(shè)定拍攝條件的 圖像處理裝置。另外，第三目的是提供一種即使是不具備預(yù)備知識的用戶也 能夠適當(dāng)?shù)卦O(shè)定拍攝條件的圖像處理裝置。另夕卜，第四目的是提供一種即使 是不具備預(yù)備知識的用戶也能夠判斷是否適當(dāng)?shù)貓?zhí)行了圖像合成處理的圖 像處理裝置。
根據(jù)本發(fā)明的一個方面，提供一種與可以改變用于拍攝被測物的曝光條 件的攝像部和顯示部相連接的圖像處理裝置。攝像部包含具有多個攝像用像 素的集合的圖像攝像單元。圖像處理裝置包含使攝像部在不同曝光條件下 對被測物進行多次拍攝、從而生成多個圖像數(shù)據(jù)的拍攝控制單元；基于多個 圖像數(shù)據(jù)的亮度信息生成合成圖像數(shù)據(jù)的合成單元。合成單元包含合成亮度 計算單元，用于基于各圖像數(shù)據(jù)的亮度信息和相對應(yīng)的所述曝光條件，計算
出與入射到圖像攝像單元的攝像元件上的光強度的分布相應(yīng)的亮度分布，作 為合成圖像數(shù)據(jù)的合成亮度分布。圖像處理裝置包含用于計算出從執(zhí)行多 次拍攝直到生成合成圖像數(shù)據(jù)為止所需的預(yù)計處理時間的處理時間計算單 元和用于使顯示部顯示出處理時間的顯示單元。利用本發(fā)明，能夠顯示出以檢查或計測為目的的圖像處理中所使用的合 成圖像數(shù)據(jù)的生成所需的時間，因而能夠考慮其實際應(yīng)用的生產(chǎn)現(xiàn)場等的性 能來調(diào)整合成圖像數(shù)據(jù)的生成處理。因此，能夠考慮所容許的時間，適當(dāng)?shù)?設(shè)定拍攝條件。
優(yōu)選是，圖像處理裝置進一步與顯示部相連接，合成單元具備用于使顯 示部顯示處理時間的顯示單元。
優(yōu)選是，圖像處理裝置進一步與顯示部相連接，基于合成圖像數(shù)據(jù)執(zhí)行 圖像處理，合成單元具備用于使顯示部顯示出包含處理時間在內(nèi)的1次計測 周期的時間的顯示單元。
優(yōu)選是，拍攝控制單元控制攝像部，以便以可針對攝像部進行設(shè)定的多 個曝光條件之中與外部設(shè)定相對應(yīng)的預(yù)定數(shù)值的曝光條件進行拍攝。處理時 間計算單元基于由曝光條件所規(guī)定的攝像部的拍攝次數(shù)、各次的曝光時間、
及合成單元所需的處理時間，計算出處理時間。
優(yōu)選是，拍攝控制單元控制攝像部，使攝像部所執(zhí)行的多次拍攝依次重 復(fù)。合成單元相應(yīng)于攝像部所執(zhí)行的多次拍攝的重復(fù)，依次生成合成圖像數(shù) 據(jù)。顯示單元顯示處理時間和基于合成圖像數(shù)據(jù)的合成圖像，并伴隨著合成 單元中的生成處理的執(zhí)行，對合成圖像的顯示進行更新。
優(yōu)選是，合成單元進一步包含用于生成合成亮度的直方圖的直方圖生成 單元。顯示單元使顯示部顯示出合成圖像和直方圖。直方圖生成單元按照與 合成單元生成合成圖像數(shù)據(jù)時的生成周期相比更長的周期生成直方圖。
根據(jù)本發(fā)明的另一個方面，提供一種與可以改變用于拍攝被測物的曝光 條件的攝像部和顯示部相連接的圖像處理裝置。攝像部包含具有多個攝像用 像素的集合構(gòu)成的圖像攝像單元。圖像處理裝置包含使攝像部在不同曝光 條件下對被測物進行多次拍攝、從而生成多個圖像數(shù)據(jù)的拍攝控制單元；基 于多個圖像數(shù)據(jù)的色彩信息和亮度信息生成合成圖像數(shù)據(jù)的合成單元；和使 顯示部顯示出基于合成圖像數(shù)據(jù)的合成圖像的顯示單元。合成單元包含合 成亮度計算單元，其用于基于各圖像數(shù)據(jù)的亮度信息和相對應(yīng)的曝光條件， 計算出入射到圖像攝像單元的攝像元件上的光強度的分布，作為合成圖像數(shù) 據(jù)的合成亮度分布；精度判斷單元，用于基于與特定點相對應(yīng)的多個圖像數(shù) 據(jù)中的亮度分布計算出與入射到圖像攝像單元的攝像元件上的光強度的分布相對應(yīng)的數(shù)值，基于各圖像數(shù)據(jù)的該數(shù)值的吻合度，判斷合成圖像數(shù)據(jù)的 可信度。
根據(jù)本發(fā)明，在針對實際生產(chǎn)線上流動的被測物進行計測或檢査的過程 中，即使因某種原因?qū)е潞铣蓤D像處理中發(fā)生了故障，用戶也能夠適時地獲 悉該故障的發(fā)生。因此，即使用戶不具備預(yù)備知識，也能夠判斷是否適當(dāng)?shù)?執(zhí)行了圖像合成處理。
優(yōu)選是，精度判斷單元以相對應(yīng)的曝光量對多個圖像數(shù)據(jù)中的各個像素 進行校正，由此計算出換算值，基于該換算值的偏差判斷可信度。
優(yōu)選是，圖像處理裝置進一步包含受理單元，用于接受對攝像部中的拍 攝范圍內(nèi)的應(yīng)成為對象的區(qū)域的設(shè)定。精度判斷單元基于應(yīng)成為對象的區(qū)域 中的各特定點的偏差判斷可信度。
根據(jù)本發(fā)明，能夠考慮各處理所容許的時間，適當(dāng)?shù)卦O(shè)定拍攝條件。另 外，根據(jù)本發(fā)明，能夠參照著實際生成的合成圖像，適當(dāng)?shù)卦O(shè)定拍攝條件。 進而，根據(jù)本發(fā)明，即使用戶不具備預(yù)備知識，也能夠適當(dāng)?shù)卦O(shè)定拍攝條件。 進而，根據(jù)本發(fā)明，即使用戶不具備預(yù)備知識，也能夠判斷是否適當(dāng)?shù)貓?zhí)行 了圖像合成處理。


圖1是表示包含本發(fā)明第一實施方式的圖像處理裝置的視覺傳感器系統(tǒng) 的整體結(jié)構(gòu)的概略圖。
圖2是表示計算機的硬件構(gòu)成的概略結(jié)構(gòu)圖。
圖3A 圖3C是表示在拍攝作為工件的手表的背面時的圖像數(shù)據(jù)的圖。 圖4是表示本發(fā)明第一實施方式的圖像處理裝置的控制結(jié)構(gòu)的功能框圖。
圖5是表示攝像裝置中設(shè)定的曝光時間與適于拍攝的"明亮度"范圍的 關(guān)系的一個實例的圖。
圖6A、圖6B是表示權(quán)重函數(shù)和響應(yīng)函數(shù)的特性的一個實例的圖。
圖7是用于說明調(diào)和映射部所執(zhí)行的分配處理的圖。
圖8是表示本發(fā)明第一實施方式的圖像處理裝置的監(jiān)視器上顯示的"設(shè) 定模式"下的畫面顯示實例的圖。圖9是表示本發(fā)明第一實施方式的圖像處理裝置的監(jiān)視器上顯示的"設(shè) 定模式"下的畫面顯示實例的圖。
圖10是用于說明在選擇了不顯示直方圖的情況下圖像處理裝置的控制 結(jié)構(gòu)的動作的圖。
圖11A 圖11D是表示本發(fā)明第一實施方式的圖像處理裝置中的"明亮
度"上下限值與合成圖像的關(guān)系的一個實例的圖。
圖12A、圖12B是用于說明本發(fā)明第一實施方式的圖像處理裝置中處理
時間的計算方法的一個實例的圖。
圖13A、圖13B是表示本發(fā)明第一實施方式的圖像處理裝置中的合成圖
像的顯示實例的圖。
圖14是表示工作模式的一個實例、即檢索處理的顯示實例的圖。
圖15是表示工作模式的一個實例、即邊緣掃描處理的顯示實例的圖。
圖16是表示本發(fā)明第一實施方式的圖像處理裝置中的整體處理的流程圖。
圖17是表示本發(fā)明第一實施方式的圖像處理裝置中的"設(shè)定模式"下 的處理的流程圖。
圖18是表示圖16和圖17所示的圖像合成處理子例程中的處理的流程圖。
圖19是表示本發(fā)明第一實施方式的變形例1的圖像處理裝置的監(jiān)視器 上顯示的"設(shè)定模式"下的畫面顯示實例的圖。
圖20是表示本發(fā)明第二實施方式的圖像處理裝置的監(jiān)視器上顯示的"設(shè) 定模式"下的畫面顯示實例的圖。
圖21是表示本發(fā)明第二實施方式的圖像處理裝置的控制結(jié)構(gòu)的功能框圖。
具體實施例方式
參照附圖詳細說明本發(fā)明的實施方式。對于圖中相同或相當(dāng)?shù)牟糠謽俗?相同的附圖標記，對其說明不做重復(fù)。 [第一實施方式] <裝置的整體結(jié)構(gòu)>圖1是表示包含著本發(fā)明第一實施方式的圖像處理裝置的視覺傳感器系 統(tǒng)l的整體結(jié)構(gòu)的概略圖。
參照圖1，視覺傳感器系統(tǒng)1通常被組裝在生產(chǎn)線等之中，以光學(xué)方式 檢査被測物(以下也稱為"工件")中的缺陷等，或者以光學(xué)方式計測被測 物的大小等。
作為一個實例，在本發(fā)明的第一實施方式中，利用傳送帶等傳送機構(gòu)6 對工件2進行傳送，利用攝像裝置8對所傳送的工件2依次進行拍攝。
由攝像裝置8拍攝得到的圖像數(shù)據(jù)(以下也稱為"輸入圖像數(shù)據(jù)")被 傳輸?shù)接嬎銠C100，計算機100是實現(xiàn)本實施方式的圖像處理裝置的代表實
此外，也可以進一步設(shè)置用于以光照射攝像裝置8所拍攝的工件2的照 明設(shè)備。
另外，當(dāng)工件2到達攝像裝置8的拍攝范圍時，被配置在傳送機構(gòu)6兩 端的光電傳感器檢測到。
具體而言，光電傳感器包含有配置在同一光軸上的受光部4a和投光部 4b，通過由受光部4a檢測出投光部4b發(fā)出的光被工件2遮蔽的情況，從而 檢測出工件2已經(jīng)到達。
此外，傳送機構(gòu)6的控制本身通過未圖示的PLC (Programmable Logic Controller:可編程序邏輯控制器)等加以控制。
作為一個實例，攝像裝置8包含透鏡和CCD (Coupled Charged Device: 電荷耦合器件)或CMOS (Complementary Metal Oxide Semiconductor:互補 金屬氧化物半導(dǎo)體)傳感器這樣的多個攝像用像素的集合——即攝像元件而 構(gòu)成，對工件2進行拍攝。
該攝像裝置8所拍攝的圖像包括有分別具有色彩信息的多個像素。該色 彩信息通常包括有基于光的三原色的"紅色"、"綠色"、"藍色"的濃淡 值(R成分值、G成分值、B成分值)。另一種可選方式是，采用包括有光 的三原色的補色、即"青色"、"絳紅"、"黃色"的濃淡值(C成分值、 M成分值、Y成分值)或"色調(diào)(Hue)"、"明度(Value)"、"色彩飽 和度(Chroma)"這些參數(shù)的色彩屬性作為色彩信息。
此外，攝像裝置8相應(yīng)于上述光電傳感器檢測出工件2的到達而進行拍攝。
特別地，本實施方式的攝像裝置8以可改變用于執(zhí)行拍攝的曝光條件的 方式而構(gòu)成。該曝光條件指的是入射到攝像元件的光的能量(明亮度)的設(shè) 定值，代表性的做法是，通過光學(xué)系統(tǒng)的光圈大小或電子或機械式快門速度 的調(diào)整加以調(diào)整。在本實施方式中，作為曝光條件的代表實例，采用調(diào)整"曝 光時間"的結(jié)構(gòu)進行示例，但并不限于曝光時間，也可以采用調(diào)整光圈大小 等方式。
另一方面，計算機100包含裝配著FD (Flexible Disk:軟盤)驅(qū)動裝 置111和CD-ROM(Compact Disk-Read Only Memory:致密光盤只讀存儲器) 驅(qū)動裝置113的計算機主體101、監(jiān)視器102、鍵盤103和鼠標104。此外， 計算機主體101通過執(zhí)行預(yù)先存儲的程序，來實現(xiàn)本實施方式的圖像處理裝 置。
<硬件構(gòu)成>
圖2是表示計算機100的硬件構(gòu)成的概略結(jié)構(gòu)圖。
參照圖2，計算機主體101除了圖1所示的FD驅(qū)動裝置111和CD-ROM 驅(qū)動裝置113之外，還包含相互之間通過總線連接起來的CPU (Central Processing Unit:中央處理器)105、存儲器106、固定盤107、攝像頭接口 部109、 PLC接口部115和傳感器接口部117。
FD驅(qū)動裝置111中可以安裝FD112， CD-ROM驅(qū)動裝置113中可以安 裝CD-ROM114。如上所述，本實施方式的圖像處理裝置是通過CPU105使 用存儲器106等計算機硬件執(zhí)行程序而實現(xiàn)的。 一般來說，這種程序保存在 FD112或CD-ROM114等記錄介質(zhì)中進行流通，或者經(jīng)由網(wǎng)絡(luò)流通。此外， 這種程序由FD驅(qū)動裝置111或CD-ROM驅(qū)動裝置113等從記錄介質(zhì)中讀取 出來，臨時保存到存儲裝置、即固定盤107中。進而，從固定盤107中讀取 到存儲器106中，由CPU105加以執(zhí)行。
CPU105是運算處理部，其依次執(zhí)行被編入程序的命令，從而實施各種 運算。存儲器106相應(yīng)于在CPU105執(zhí)行程序而臨時保存各種信息。
攝像頭接口部109是用于實現(xiàn)計算機主體101與攝像裝置8之間的數(shù)據(jù) 通信的裝置，其接收到表示攝像裝置8所拍攝的輸入圖像數(shù)據(jù)的電信號后， 將其變換為CPU105可以處理的數(shù)據(jù)格式，并將CPU105輸出的指令等變換
ii為電信號，輸出到攝像裝置8。特別地，攝像裝置8拍攝得到的輸入圖像數(shù)
據(jù)經(jīng)由攝像頭接口部109保存到存儲器106或固定盤107中。
PLC接口部115是用于實現(xiàn)計算機主體101與未圖示的PLC之間的數(shù)據(jù)
通信的裝置。另外，傳感器接口部117接收來自上述光電傳感器等的檢測信
號，并傳輸?shù)紺PU105。
固定盤107是用于存儲CPU105所執(zhí)行的程序或輸入圖像數(shù)據(jù)等的非易
失性存儲裝置。
連接到計算機主體101上的監(jiān)視器102是用于顯示CPU105輸出的信息 的顯示裝置，作為一個實例，其包括有LCD (Liquid Crystal Display:液晶 顯示器)或CRT (Cathode Ray Tube:陰極射線管)等。如后文所述，本實 施方式的監(jiān)視器102用于顯示拍攝工件2所生成的合成圖像、每次處理所需 的預(yù)計處理時間、關(guān)于構(gòu)成合成圖像的像素的亮度的直方圖等。
鼠標104用于接收與點擊或滾動等動作相對應(yīng)的來自用戶的指令。鍵盤 103用于接收與輸入鍵相對應(yīng)的來自用戶的指令。
另外，必要時也可以在計算機IOO上連接打印機等其他輸出裝置。
<運行模式>
本實施方式的視覺傳感器系統(tǒng)1可以選擇兩種模式利用根據(jù)工件2生 成的輸出圖像數(shù)據(jù)實際執(zhí)行檢查或計測的"工作模式"；相應(yīng)于工件2進行
有關(guān)適當(dāng)?shù)妮敵鰣D像數(shù)據(jù)的設(shè)定的"設(shè)定模式"。
在"設(shè)定模式"下，用戶一邊參照監(jiān)視器102所顯示的基于輸出圖像數(shù) 據(jù)的輸出圖像(合成圖像)， 一邊設(shè)定適當(dāng)?shù)呐臄z條件。另外，在"工作模 式"下，對實際在生產(chǎn)線上流動的工件2進行拍攝，生成輸出圖像數(shù)據(jù)，針 對該輸出圖像數(shù)據(jù)進行檢査或計測。
<圖像合成處理>
接著說明用于生成輸出圖像數(shù)據(jù)的圖像合成處理。本實施方式的圖像合 成處理主要用于擴大攝像裝置8的動態(tài)范圍。
圖3A 圖3C是表示在拍攝作為工件的手表的背面時的圖像數(shù)據(jù)的圖。 圖3A表示在曝光時間相對較長的條件下通過1次拍攝所得到的拍攝圖 像，圖3B表示在曝光時間相對較短的條件下通過1次拍攝所得到的拍攝圖 像。另外，圖3A和圖3B中入射光的強度相同。圖3A 圖3C所示的工件包含金屬制的表本體部和皮革制的表帶部。兩者的反射率大不相同，因此，從 各部分放射的光能的量差別很大。
因此，曝光時間延長后，反射率相對較高的表本體部就會產(chǎn)生泛白現(xiàn)象， 無法取得亮度信息。即，如圖3A所示可知，刻在表本體部上的文字變得無 法識別。反之，如果曝光時間縮短，則不能從反射率相對較低的表帶部接收
足夠的光能，無法取得有效的亮度信息。亦即，如圖3B所示，表帶部會產(chǎn)
生泛黑，無法識別出針腳等缺陷。
因此，本實施方式的圖像合成處理在圖3A和圖3B所示的不同曝光條件 下對工件進行多次拍攝，針對拍攝得到的多個圖像數(shù)據(jù)，基于與某一坐標位 置相對應(yīng)的各個像素的亮度，計算出該坐標位置的像素的合成亮度。該合成 亮度的每一個都是與入射到攝像裝置8的攝像元件的各攝像用像素上的光的 強度相對應(yīng)的數(shù)值。繼而，根據(jù)該計算得到的合成亮度生成合成圖像數(shù)據(jù)。 簡單說來，在該合成亮度的計算處理中，優(yōu)先采用各圖像數(shù)據(jù)中包含的對應(yīng) 的一系列像素之中適合于該曝光條件的像素。換言之，表現(xiàn)工件的合成圖像 數(shù)據(jù)的各像素的亮度主要是使用在與工件上對應(yīng)于該像素的部位所放射出 來的光能相適應(yīng)的曝光條件下拍攝的像素的信息計算出來的。通過這種處 理，就能夠生成具有在適當(dāng)?shù)钠毓鈼l件下拍攝得到的亮度的像素的集合，作 為合成圖像數(shù)據(jù)。圖3C是表示由本實施方式的圖像合成處理生成的合成圖 像數(shù)據(jù)的一個實例的圖。如圖3C所示，通過執(zhí)行上述的圖像合成處理，能 夠生成不含如圖3A所示的泛白現(xiàn)象或如圖3B所示的泛黑現(xiàn)象的圖像數(shù)據(jù)。本實施方式的圖像合成處理主要通過以下的4個處理來實現(xiàn)。
(1) 在不同曝光條件下對工件進行多次拍攝的處理(拍攝處理)；
(2) 根據(jù)拍攝得到的圖像數(shù)據(jù)的亮度信息計算出合成亮度的處理(亮 度合成處理)；
(3) 根據(jù)拍攝得到的圖像數(shù)據(jù)的色彩信息計算出合成色彩的處理(色 彩合成處理)；
(4) 根據(jù)合成色彩信息和合成亮度生成輸出圖像數(shù)據(jù)的處理(生成處
理)
<控制結(jié)構(gòu)>
圖4是表示本發(fā)明第一實施方式的圖像處理裝置的控制結(jié)構(gòu)的功能框圖。
參照圖4，作為用于實現(xiàn)上述(1)拍攝處理的控制結(jié)構(gòu)，本實施方式的
圖像處理裝置包含拍攝控制部200、選擇部202、圖像緩沖器204a 204h、 圖像信息提取部206a 206h。另外，作為用于實現(xiàn)上述(2)亮度合成處理 的控制結(jié)構(gòu)，本實施方式的圖像處理裝置包含亮度合成部210、調(diào)和映射(tone mapping)部214、"明亮度"上下限設(shè)定部216、直方圖生成部218和合成 準確度推定部220，作為用于實現(xiàn)上述(3)色彩合成處理的控制結(jié)構(gòu)，本實 施方式的圖像處理裝置包含色彩合成部208。進而，作為用于實現(xiàn)上述(4) 生成處理的控制結(jié)構(gòu)，本實施方式的圖像處理裝置包含圖像生成部212。進 而，本實施方式的圖像處理裝置包含處理時間計算部222。
下面說明上述圖像合成處理中各處理的內(nèi)容和各功能塊的動作。
< (1)拍攝處理>
參照圖4，拍攝控制部200利用攝像裝置8在不同曝光條件下對工件進 行多次拍攝，由此生成多個圖像數(shù)據(jù)。拍攝控制部200根據(jù)用戶設(shè)定來決定 如何改變曝光條件。更具體地，本實施方式的攝像裝置8以可設(shè)定多個曝光 時間(快門速度)的方式構(gòu)成，作為一個實例，其可設(shè)定的曝光時間為"1/10 秒"、"1/20秒"、"1/40秒"、"1/80秒"、"1/160秒"、"1/320秒"、 "1/640秒"、"1/1280秒"這8種。該可設(shè)定的曝光時間組以"1/10秒" 為基準(最慢時的數(shù)值)，按照以2的階乘方式依次加快的方式設(shè)定。拍攝 控制部200在這種可設(shè)定的曝光時間組的全部或一部分的條件下利用攝像裝 置8依次拍攝工件，按順序生成圖像數(shù)據(jù)。拍攝控制部200與該曝光時間的 變更同步地向選擇部202發(fā)出選擇指令。
選擇部202配置在攝像裝置8和多個圖像緩沖器204a 204h之間，相 應(yīng)于拍攝控制部200發(fā)出的選擇指令，將圖像緩沖器204a 204h的某一個 與攝像裝置8電氣式連接起來。以下將圖像緩沖器204a 204h統(tǒng)稱為"圖 像緩沖器204"。由此，由攝像裝置8拍攝得到的輸入圖像數(shù)據(jù)就被傳輸?shù)?與來自拍攝控制部200的選擇指令相對應(yīng)的1個圖像緩沖器204中。
圖像緩沖器204a 204h是臨時存儲來自攝像裝置8的輸入圖像數(shù)據(jù)的 存儲部，其與攝像裝置8的曝光時間相對應(yīng)而構(gòu)成。亦即，各圖像緩沖器204 按照僅選擇性地保存在其對應(yīng)的特定曝光時間內(nèi)拍攝的輸入圖像數(shù)據(jù)的方
14式構(gòu)成。例如，如果圖像緩沖器204a分配到曝光時間"1/10秒"，則圖像 緩沖器204a僅保存在曝光時間為"1/10秒"的曝光條件下拍攝得到的輸入 圖像數(shù)據(jù)。這種功能是通過由拍攝控制部200在向攝像裝置8輸出拍攝條件 時同步地向選擇部202輸出與該拍攝條件相對應(yīng)的選擇指令而實現(xiàn)的。
另外，拍攝控制部200依次重復(fù)攝像裝置8所作的一系列拍攝(例如曝 光時間從"1/10秒"到"1/1280秒"的8次拍攝)。因此，保存到各圖像緩 沖器204中的輸入圖像數(shù)據(jù)就以這一系列拍攝所需的時間為周期被更新。此 外，如后文所述，并不總是針對攝像裝置8中可設(shè)定的所有曝光時間進行拍 攝，有時候僅在一部分必要的曝光時間組中進行拍攝。
圖像信息提取部206a 206h分別與圖像緩沖器204a 204h關(guān)聯(lián)對應(yīng)， 從相對應(yīng)的圖像緩沖器204中保存的輸入圖像數(shù)據(jù)中分別提取色彩信息和亮
度信息。代表性的做法是，輸入圖像數(shù)據(jù)包含有行列狀配置的多個像素，各 像素具有"紅色"、"綠色"、"藍色"的濃淡值(R成分值、G成分值、
B成分值)。此外，色彩信息是與各像素相關(guān)的"紅色"、"綠色"、"藍 色"的濃淡值的相對值(相互之間的比率)，亮度信息是與各像素相關(guān)的亮 度("紅色"、"綠色"、"藍色"的平均濃淡值)。此外，在本實施方式 中，假定R成分值、G成分值、B成分值的都被規(guī)定為在8比特(0 255 灰度值)的范圍內(nèi)。因此，亮度也被規(guī)定在8比特(0 255灰度值)的范圍 內(nèi)。
此外，圖像信息提取部206a 206h將所提取的色彩信息輸出到色彩合 成部208，并將所提取的亮度信息輸出到色彩合成部208和亮度合成部210。 < (2)亮度合成處理>
參照圖4，亮度合成部210基于由攝像裝置8拍攝得到的各輸入圖像數(shù) 據(jù)的亮度信息和其對應(yīng)的曝光條件，計算出各像素的合成亮度。如上所述， 通過改變曝光時間，使適于拍攝的光能(明亮度)范圍發(fā)生變化。亦即，如 果曝光時間相對短，則適合于更大光能范圍的拍攝，而如果曝光時間相對長， 則適合于更小光能范圍的拍攝。
一般來說，攝像裝置8接收到的光能與曝光時間成正比。另一方面，可 以將"明亮度"表示為對數(shù)。因此，能夠相應(yīng)于攝像裝置8中可設(shè)定的各曝 光時間，預(yù)先規(guī)定適合于攝像裝置8進行拍攝的"明亮度"范圍。更具體地，本實施方式的攝像裝置8中可設(shè)定的8個曝光時間以2的階 乘方式依次縮短，因此，能夠按照圖5的方式確定各曝光時間與"明亮度" 范圍的關(guān)系。
圖5是表示攝像裝置8中設(shè)定的曝光時間與適宜于拍攝的"明亮度"范
圍的關(guān)系的一個實例的圖。
參照圖5，當(dāng)曝光時間為"1/10秒"時，如果將適宜于拍攝的"明亮度" 范圍設(shè)定為"10 30"，則在將曝光時間減半為"1/20秒"時，就可以將適 宜于拍攝的"明亮度"范圍加上"10"，設(shè)定為"20 40"。按照這種方式 依次設(shè)定，就能夠與"1/10秒" "1/1280秒"的曝光時間范圍相對應(yīng)著以 覆蓋方式設(shè)定"10 100"的"明亮度"范圍。其中，該"明亮度"范圍是 依賴于攝像裝置8的性能的相對值，即便是相同的"明亮度"，如果攝像元 件的靈敏度或光學(xué)系統(tǒng)的開口值等不同，實際的亮度也會變得不同。
另夕卜，優(yōu)選設(shè)定成在有效的"明亮度"范圍內(nèi)利用多個曝光時間加以覆 蓋。在圖5所示的實例中，在"明亮度"為范圍為"10 90"的范圍內(nèi)，以 至少2個曝光時間進行覆蓋的方式設(shè)定。亦即，例如與"明亮度"為"50" 相對應(yīng)的曝光時間是"1/40秒"、"1/80秒"、"1/160秒"這3個。按照 這種方式進行設(shè)定，即使用戶輸入的"明亮度"上下限值的范圍狹窄，也可 以選擇使用不同曝光時間進行多次拍攝。
如后文所述，該圖5所示的曝光時間與"明亮度"范圍的關(guān)系是，在攝 像裝置8可拍攝的"明亮度"范圍內(nèi)，如果用戶設(shè)定了必要的"明亮度"范 圍，就在與該設(shè)定相對應(yīng)的多個曝光時間內(nèi)進行拍攝。亦即，并不是在攝像 裝置8中可設(shè)定的全部曝光時間內(nèi)進行拍攝，而是僅執(zhí)行特定曝光時間的拍 攝，因此，能夠縮短圖像合成處理的處理時間。
更具體地說，當(dāng)用戶設(shè)定了 "明亮度"范圍為"30 60"時，執(zhí)行該范 圍內(nèi)包含的"l/20秒"、"l/40秒"、"1/80秒"這3個曝光時間的拍攝。
再次參照圖4，亮度合成部210使用對工件進行多次拍攝得到的多個輸 入圖像數(shù)據(jù)，計算出輸出圖像數(shù)據(jù)的各像素的亮度。更具體地說，亮度合成 部210以曝光時間(光能或光量)將與輸出圖像數(shù)據(jù)的各像素(坐標位置i) 相對應(yīng)的p個輸入圖像數(shù)據(jù)中各個像素的亮度進行標準化，計算出各像素的 合成亮度。利用亮度合成部210計算合成亮度Ei的算式如下所示。[算式1]
<formula>formula see original document page 17</formula>
其中，
w (Z):權(quán)重函數(shù)
g (Z):攝影裝置的響應(yīng)函數(shù)
Zi.j:第j個輸入圖像數(shù)據(jù)的坐標位置i的亮度 Tj:第j個輸入圖像數(shù)據(jù)的曝光時間
在上述算式中，"l0g2(g (Zi.,) /Tj)"項相當(dāng)于以曝光時間將 各輸入圖像數(shù)據(jù)中的亮度進行標準化之后作為""明亮度"評估得到的值。 這基于以下的技術(shù)思想，即即使是相同亮度例如"128"，如果曝光時間 相對較短，其實際的"明亮度"就應(yīng)評估為較大值，而如果曝光時間相對較 長，其實際的"明亮度"就應(yīng)評估為較小值。
代表性的做法是，按照圖5所示的各曝光時間與"明亮度"范圍的關(guān)系， 計算出0 100的范圍內(nèi)的值作為合成亮度Ei。此外，為易于理解，以0 100 的范圍表達，但合成得到的圖像的"明亮度"層次變得比在1個曝光條件下 得到的圖像所具備的層次(例如8比特)更大，因此，數(shù)據(jù)中的數(shù)值帶有小 數(shù)點以下的位(例如16比特)。
在上述算式中，進一步導(dǎo)入了權(quán)重函數(shù)w (Z)和攝像裝置8的響應(yīng)函 數(shù)g (Z)。參照圖6A、圖6B說明這些函數(shù)。 ，
圖6A、圖6B是表示權(quán)重函數(shù)和響應(yīng)函數(shù)的特性的一個實例的圖。圖6A 表示權(quán)重函數(shù)w (Z)的特性，圖6B表示響應(yīng)函數(shù)g (Z)的特性。 : 參照圖6A,權(quán)重函數(shù)w (Z)是用于根據(jù)攝像裝置8輸出的亮度值反映其可信度的函數(shù)。亦即，在某一曝光條件下從攝像裝置8輸出的亮度之中，
接近其下限值(0)或上限值(255)的數(shù)值比接近中間值(128)的數(shù)值的 可信度低。換句話說，假設(shè)攝像裝置8在某一曝光條件下對"明亮度"最適 合的工件進行拍攝，其亮度應(yīng)該是大致位于中間的數(shù)值。
因此，考慮到這種特性，權(quán)重函數(shù)w (Z)優(yōu)選是使用與灰度值的中間 值附近相比下限值或上限值附近的值較少的函數(shù)。作為一個實例，本實施方 式中采用三角形狀的權(quán)重函數(shù)，其灰度值的中間值為最大值(128)，下限 值和上限值分別為0。
另夕卜，采用圖6B，響應(yīng)函數(shù)g (Z)是用于對攝像裝置8輸出的亮度與 實際輸入到攝像裝置8的光能之間的非線性進行補償?shù)暮瘮?shù)。例如，在CCD 等攝像元件中，輸入的光能或光量與輸出的電壓信號的關(guān)系是非線性的。這 種非線性特性也稱作伽馬特性等。響應(yīng)函數(shù)g (Z )對這樣伽馬特性進行補 償，按照實際輸入到攝像裝置8中的光能比例，對攝像裝置8輸出的亮度進 行校正。此外，為了簡化，在圖6B中表示的是攝像裝置8輸出的亮度與輸 入的光能處于比例關(guān)系的情況下的響應(yīng)函數(shù)g (Z)。
其中，上述算式中的常數(shù)項"-8"是用于對按照圖5所示方式確定各曝 光時間與"明亮度"范圍的關(guān)系時所產(chǎn)生的偏移進行補償?shù)捻棧梢愿鶕?jù)各 曝光時間與"明亮度"范圍的關(guān)系適當(dāng)?shù)剡M行設(shè)定。
另外，上述算式中使用了以"2"為底數(shù)的對數(shù)，但并不限于"2"，也 可以使用"e"為底的常用對數(shù)或以"10"為底數(shù)自然對數(shù)等。 (調(diào)和映射)
再次參照圖4，亮度合成部210將計算出來的合成亮度Ei輸出到調(diào)和映 射部214。調(diào)和映射部214基于合成亮度Ei生成用于生成輸出圖像數(shù)據(jù)的亮 度信息。具體而言，調(diào)和映射部214將各合成亮度Ei (亮度范圍0 100， 但具有比256灰度更大的層次)分配給輸出圖像數(shù)據(jù)的亮度范圍(例如0 255灰度值)，由此生成輸出圖像數(shù)據(jù)的亮度信息。此外，各合成亮度Ei的 分辨率(動態(tài)范圍)變得比輸入圖像數(shù)據(jù)高，因此，使輸出圖像數(shù)據(jù)的亮度 范圍多層次化，就能夠生成精度更高的輸出圖像數(shù)據(jù)。
特別地，如后文所述，調(diào)和映射部214根據(jù)用戶設(shè)定的"明亮度"上下 限，將合成亮度Ei之中的規(guī)定范圍分配給輸出圖像數(shù)據(jù)的亮度范圍。圖7是用于說明調(diào)和映射部214所作的分配處理的圖。
為了簡化說明，參照圖7，以調(diào)和映射部214執(zhí)行線形分配處理時的情 形為例進行說明。最簡單的實例是，保持亮度范圍為0 100的合成亮度Ei 的比例關(guān)系，分配到0 255的范圍內(nèi)的灰度值。由此，就能夠?qū)⒒叶葘哟?比監(jiān)視器所具備的顯示能力更大的數(shù)據(jù)按照與監(jiān)視器所具備的顯示能力相 適應(yīng)的灰度層次(例如8比特顯示)進行顯示。
如上所述，當(dāng)用戶設(shè)定了 "明亮度"上限值E,和"明亮度"下限值 Emin的情況下，調(diào)和映射部214根據(jù)下述算式進行亮度Yi的分配。
Yi — 255 X ( EiEmin )/( EmaxEmin )
(計算實例)
如上所述，當(dāng)以3個曝光時間"l/20秒"、"1/40秒"、"1/80秒"拍 攝的3個輸入圖像數(shù)據(jù)的坐標位置i上的亮度分別是"190" 、 "100" 、 "50" 時，與該坐標位置i相對應(yīng)的像素的合成亮度Ei按照以下方式計算出來。其 中，W (190) =65， W (100) =100， W (50) =50。
Ei=10X {65X (1ogl90 + log20 — 8) +100X GoglOO + log40 —8) + 50X (1og50+log80—8) } / (65 + 100+50) =40
此外，當(dāng)用戶設(shè)定了 "明亮度"上限值E,為"60 "、"明亮度"下限
值Emin為"30"的情況下，輸出圖像數(shù)據(jù)的亮度Yi按照以下方式計算出來。
H55X (40_30) / (60_30) =85
(直方圖的生成)
再次參照圖4，亮度合成部210也將計算出來的合成亮度Ei輸出到直方 圖生成部218。直方圖生成部218生成合成亮度Ei的直方圖。亦即，直方圖 生成部218基于各像素的合成亮度Ei，劃分規(guī)定幅度的層級，累計像素數(shù)。 這有助于用戶一邊參照由亮度合成部210計算出來的合成亮度Ei之中比例相 對較高的范圍， 一邊設(shè)定上述"明亮度"上限值和"明亮度"下限值。
另外，直方圖生成部218構(gòu)成為，其可以根據(jù)在后文敘述的用戶設(shè)定， 中斷或重新開始直方圖的生成處理。
< (3)色彩合成處理>
19參照圖4，色彩合成部208根據(jù)多個輸入圖像數(shù)據(jù)的色彩信息計算出合 成色彩信息。如后文所述，輸出圖像數(shù)據(jù)的各像素是將由色彩合成部208計 算出來的合成色彩信息乘以由亮度合成部210和調(diào)和映射部214計算出來的 亮度而得到的，因此，色彩合成部208輸出的合成色彩信息就成為表示"紅 色"、"綠色"、"藍色"的相對比例的值。
另外，色彩合成部208按照與上述亮度合成部210相同的方式，基于與
各坐標位置相對應(yīng)的多個輸入圖像數(shù)據(jù)中各個像素的色彩信息，計算出輸出 圖像數(shù)據(jù)的各像素的合成色彩信息。更具體地說，色彩合成部208將各輸入 圖像數(shù)據(jù)的色彩信息與對應(yīng)于其可信度的權(quán)重相乘后的值累計相加，生成合 成色彩信息。
這里，將第j個輸入圖像數(shù)據(jù)的坐標位置i上的色彩信息表示為",，， gi, j， & j)。其中，色彩合成部208將圖像信息提取部206a 206h輸出的 色彩信息標準化，使& j +gl, j +bi, , 二l成立。另夕卜，將第j個輸入圖像數(shù) 據(jù)的坐標位置i上的亮度表示為Z ,, j。使用該標準化后的色彩信息和亮度， 合成色彩信息(r,， gi， b》的計算公式表示如下。
<formula>formula see original document page 20</formula>其中，
W(Z):權(quán)重函數(shù)
p:輸入圖像數(shù)據(jù)數(shù)
這里，權(quán)重函數(shù)W (Z)具有與圖6A相同的特性。亦即，權(quán)重函數(shù)W
(Z)是用于根據(jù)攝像裝置8輸出的亮度值反映其可信度的函數(shù)。該權(quán)重函 數(shù)w (Z)在技術(shù)上的意義與上述相同，因此不重復(fù)其詳細說明。
之后，色彩合成部208將計算出來的合成色彩信息輸出到圖像生成部
212。
< (4)生成處理>
圖像生成部212將由亮度合成部210和調(diào)和映射部214生成的亮度Yi 依次乘以相對應(yīng)的合成色彩信息(ri， &， b》，從而依次計算出坐標位置i 的像素的圖像信息，由此生成輸出圖像數(shù)據(jù)。
亦即，輸出圖像數(shù)據(jù)的坐標位置i的坐標上的絕對色彩信息(Ri， Gi， B》可以表示為以下方式。
(Ri， Gi， Bi) =YiX (ri， gi， b。
按照如上所述的(1) (4)的次序，生成輸出圖像數(shù)據(jù)。其中，(1) 的拍攝處理中一系列的拍攝動作重復(fù)執(zhí)行，與該拍攝處理的重復(fù)執(zhí)行同步地 也執(zhí)行(2) (4)的處理。
<處理時間的計算>
再次參照圖4，處理時間計算部222計算出生成1個輸出圖像數(shù)據(jù)所需 的預(yù)計處理時間。更具體地說，處理時間計算部222基于來自拍攝控制部200 的信息，并考慮攝像裝置8的拍攝次數(shù)、各次拍攝的曝光時間、圖像合成處 理的處理量等，推定處理時間。該處理時間相當(dāng)于在工作模式下生成l個輸 出圖像數(shù)據(jù)所需的時間，用戶參照該處理時間來決定可以應(yīng)用于實際生產(chǎn)線 中的設(shè)定。
<合成準確度的推定>
合成準確度推定部220基于與各坐標位置相對應(yīng)的各個輸入圖像數(shù)據(jù)中 像素的亮度，判斷所生成的輸出圖像數(shù)據(jù)的可信度(以下也稱為"合成準確 度")。在本實施方式的圖像合成處理中，針對同一工件，變更曝光條件進行多次拍攝，由此取得輸入圖像數(shù)據(jù)，使用所取得的多個輸入圖像數(shù)據(jù)生成 輸出圖像數(shù)據(jù)。為此，要求在拍攝過程中工件不能移動，而且照明條件不能 發(fā)生變化。但是，在實際的生產(chǎn)線中，預(yù)計會出現(xiàn)工件移動或照明條件發(fā)生 變化的情形。在這種不滿足本來的拍攝條件的情況下，無法合成正確的輸出 :圖像數(shù)據(jù)，因此，必須通報給用戶等。
具體而言，合成準確度推定部220針對其合成對象、即以不同曝光時間 拍攝的多個圖像，判斷相同位置上的像素是否接收到相同強度的光，由此判
斷合成準確度。更詳細地說，合成準確度推定部220對以曝光時間將與各坐
標位置相對應(yīng)的多個輸入圖像數(shù)據(jù)中各個像素的亮度進行標準化后的數(shù)值
'加以比較，推算合成準確度。亦即，合成準確度推定部220監(jiān)視亮度合成部 210中的處理，基于各像素的合成亮度的計算過程中運算出來的標準化后數(shù) 值的偏差，判斷合成準確度。
例如，當(dāng)以上述3個曝光時間"1/20秒"、"1/40秒"、"1/80秒"拍 攝的3個輸入圖像數(shù)據(jù)的坐標位置i上的亮度分別是"190"、 "100"、 "50" 時，該坐標位置i上標準化后的亮度分別按照以下方式計算出來。 (1ogl90+log20 —8) =39 (1og畫+log40 — 8) =40 (Iog50+log80_8) =40 繼而，合成準確度推定部220針對各坐標位置計算出標準化后的亮度集 '合(39， 40， 40)的標準偏差，判斷該標準偏差是否超出了規(guī)定的閾值。繼 而，當(dāng)標準偏差小于等于規(guī)定閾值時，就判定為該坐標位置上具有充分的可 信度，反之，當(dāng)標準偏差超出了規(guī)定閾值時，就判定為該坐標位置上的合成 亮度的可信度不充分。繼而，如果判定為具有充分可信度的坐標位置的總數(shù) 相對于構(gòu)成輸出圖像數(shù)據(jù)的像素數(shù)量為規(guī)定比例以上，合成準確度推定部 ;220就判定為該輸出圖像數(shù)據(jù)的可信度高。否則，合成準確度推定部220就 判定為該輸出圖像數(shù)據(jù)的可信度低。
進而，合成準確度推定部220以可接受用戶對對象區(qū)域進行設(shè)定的方式 構(gòu)成，也可以針對輸入圖像數(shù)據(jù)之中被包含在該所輸入的對象區(qū)域設(shè)定范圍 內(nèi)的像素，推算合成準確度。在很多生產(chǎn)線中，并不是針對攝像裝置可拍攝 >的整個區(qū)域進行檢査或計測，只要針對與對象工件相對應(yīng)的一部分區(qū)域進行
22檢査或計測即可。因此，為了更高效地進行處理，僅針對對象區(qū)域執(zhí)行合成 準確度的推定處理就足夠了。
此外，合成準確度推定部220中的合成準確度的推定處理只要在工作模 式下執(zhí)行即可，在設(shè)定模式下該處理休止。
<畫面顯示實例>
圖8和圖9是表示本發(fā)明的第一實施方式的圖像處理裝置的監(jiān)視器上顯 示的"設(shè)定模式"下的畫面顯示實例的圖。
參照圖8和圖9，如果選擇了 "設(shè)定模式"，監(jiān)視器102上就顯示出設(shè) 定模式畫面300。其中，通過CPU105和未圖示的顯卡等的協(xié)同動作，在監(jiān) 視器102上顯示出設(shè)定模式畫面300。這種畫面顯示是利用作為OS(Operating System:操作系統(tǒng))的一部分而嵌入其中的GUI (Graphical User Interface: 圖形用戶界面)程序?qū)崿F(xiàn)的，另外，GUI也提供了供用戶使用通過鍵盤103 或鼠標104進行操作的畫面上的光標進行各種用戶設(shè)定的環(huán)境。
設(shè)定模式畫面300中包含"明亮度"上下限輸入?yún)^(qū)310、直方圖顯示區(qū) 320、合成圖像顯示區(qū)330、拍攝信息顯示區(qū)340和顯示模式選擇區(qū)350。
"明亮度"上下限輸入?yún)^(qū)310中配置有用于設(shè)定"明亮度"上限值的滑 塊312和用于設(shè)定"明亮度"下限值的滑塊314。通過該滑塊312和314的 操作而設(shè)定的"明亮度"上下限值被輸入到"明亮度"上下限設(shè)定部216 (圖 4)。繼而，相應(yīng)于該"明亮度"上下限值，基于圖5所示的關(guān)系選擇出必 要的曝光時間，并改變攝像裝置8的拍攝次數(shù)和曝光時間。
直方圖顯示區(qū)320中以可視方式顯示出由直方圖生成部218 (圖4)生 成的直方圖。進而，在該直方圖上與通過上述滑塊312、 314的操作所設(shè)定 的"明亮度"上下限值相對應(yīng)的位置上進行顯示，分別指示出上述滑塊312、 314的位置。
合成圖像顯示區(qū)330中顯示出基于相應(yīng)于所設(shè)定的"明亮度"上下限值 生成的輸出圖像數(shù)據(jù)的合成圖像。該合成圖像顯示區(qū)330中顯示出來的合成 圖像表示的是工作模式下用于檢查或計測的圖像數(shù)據(jù)，用戶參照該合成圖像 顯示區(qū)330的顯示，調(diào)整針對工件的照明條件或"明亮度"上下限值等的設(shè) 定。
另外，每當(dāng)圖像生成部212生成了輸出圖像數(shù)據(jù)時，合成圖像顯示區(qū)330的顯示就被更新。因此，對于用戶來說，能夠顯示出實質(zhì)性的類似于動態(tài)畫 面的合成圖像。此外，該合成圖像顯示的更新周期依賴于攝像裝置8的拍攝 時間和圖像合成處理所需的時間，因此，如后文所述，本實施方式的圖像處 理裝置可縮短更新周期。
拍攝信息顯示區(qū)340中顯示出"拍攝時間"、"拍攝次數(shù)"、"快門速
度"。"拍攝時間"是由處理時間計算部222 (圖4)計算出來的、生成1 個輸出圖像數(shù)據(jù)所需要的預(yù)計處理時間。另外，"拍攝次數(shù)"表示生成輸出 圖像數(shù)據(jù)所需的必要的拍攝次數(shù)(即輸入圖像數(shù)據(jù)的個數(shù))，"快門速度" 表示攝像裝置8中設(shè)定的(或可設(shè)定的)快門速度的范圍。
顯示模式選擇區(qū)350中顯示出用于選擇合成圖像顯示區(qū)330中所顯示的 合成圖像的顯示精度的單選鈕(radio button) 352、用于選擇直方圖顯示區(qū) 320中的直方圖的顯示/不顯示的單選鈕354。其中，圖8的設(shè)定模式畫面300 表示選擇了顯示直方圖的情形，圖9的設(shè)定模式畫面300表示選擇了不顯示 直方圖的情形。
進而，設(shè)定模式畫面300中配置有"OK"按鈕362、"取消"按鈕364， 如果用戶選擇了 "OK"按鈕，就將各項目中所設(shè)定的值保存到固定盤107 等之后，轉(zhuǎn)移到"工作模式"。另一方面，如果用戶選擇了"取消"按鈕364， 則不在固定盤107等之中保存各項目中所設(shè)定的值，直接轉(zhuǎn)移到"工作模式"。
<直方圖的顯示/不顯示>
如圖8所示，為了顯示直方圖，即使在使用在特定曝光條件下拍攝的輸 入圖像數(shù)據(jù)就能夠生成輸出圖像數(shù)據(jù)的情況下，基本上也必須在攝像裝置8 中可設(shè)定的全部曝光條件下進行拍攝。這是因為，為了使用戶能夠改變"明 亮度"上下限值，需要顯示出考慮了全部曝光條件的直方圖。
與此不同的是，當(dāng)用戶設(shè)定為不顯示直方圖時，無需作上述考慮，因此 只要拍攝輸出圖像數(shù)據(jù)的生成處理所需的輸入圖像數(shù)據(jù)即可。亦即，只要以 必要的曝光條件以及必要的拍攝次數(shù)對工件進行拍攝即可。按照這種方式提 高處理效率，就能夠縮短圖像合成處理所需的時間，更高速地進行合成圖像 顯示區(qū)330的合成圖像的更新。
圖10是用于說明在選擇了不顯示直方圖的情況下圖像處理裝置的控制 結(jié)構(gòu)的動作的圖。參照圖10，作為一個實例，如果輸出圖像數(shù)據(jù)是由3個輸入圖像數(shù)據(jù)合
成的，則攝像裝置8被依次設(shè)定相對應(yīng)的3個曝光條件而進行拍攝。此外， 在圖9所示的情形中，直方圖生成部218暫時中斷直方圖的生成處理。
與此同時，輸入圖像數(shù)據(jù)僅從8個圖像緩沖器204之中的3個圖像緩沖 器204輸出出去。這樣，如果選擇了不顯示直方圖，就能夠使攝像裝置8的 拍攝時間和圖像合成處理時間效率更高，縮短整體的處理時間。
< "明亮度"上下限值的設(shè)定>
拍攝控制部200 (圖4)根據(jù)用戶設(shè)定的"明亮度"上下限值，參照圖5 所示的關(guān)系，決定與工件的測定相關(guān)的曝光時間和拍攝次數(shù)。這時，調(diào)和映 射部214將合成亮度所對應(yīng)的范圍分配給輸出圖像數(shù)據(jù)的亮度范圍，因此， 能夠顯示出著眼于工件上具有任意"明亮度"的區(qū)域的合成圖像。
例如，假定所指定的"明亮度"的下限值為"0"，為上限值分配"255"， 就能夠顯示為0 255灰度的圖像。
圖11A 圖IID是表示本發(fā)明的第一實施方式的圖像處理裝置中的"明 亮度"上下限值與合成圖像的關(guān)系的一個實例的圖。此外，工件是與圖3A 圖3C相同的手表的背面。
如圖IIA所示，通過將直方圖上顯現(xiàn)出有效像素的范圍設(shè)定為"明亮度" 上下限值，就能夠清楚地拍攝反射率大不相同的金屬制表本體部和皮革制表 帶部。
另一方面，如圖11B所示，如果將主要相當(dāng)于皮革制表帶部的像素范圍 設(shè)定為"明亮度"上下限值，則雖然能夠更清楚地拍攝出皮革制的表帶部， 但拍攝金屬制的表本體部時會產(chǎn)生泛白現(xiàn)象。反之，如圖11C所示，如果將 主要相當(dāng)于金屬制表本體部的像素范圍設(shè)定為"明亮度"上下限值，則雖然 能夠更清楚地拍攝出金屬制的表本體部，但拍攝皮革制的表帶部時會產(chǎn)生泛 黑現(xiàn)象。
另外，如圖IID所示，如果將直方圖的整個范圍設(shè)定為"明亮度"上下 限值，雖然能夠清楚地拍攝圖像整體，但與圖11A相比，其對比度下降。
按照這種方式，用戶根據(jù)作為對象的工件適當(dāng)?shù)卣{(diào)整"明亮度"上下限 值，就能夠生成適合于檢查或計測的輸出圖像數(shù)據(jù)。
<處理時間的計算>
25如上所述，處理時間計算部222 (圖4)計算出生成1 4^輸出圖像數(shù)據(jù)
所需的預(yù)計處理時間，所計算出來的處理時間在拍攝信息顯示區(qū)340中顯示 為"拍攝時間"。下面使用圖12A、圖12B說明該處理時間計算部222計算 處理時間的方法的一個實例。
圖12A、圖12B是用于說明本發(fā)明的第一實施方式的圖像處理裝置中處
理時間的計算方法的一個實例的圖。
參照圖12A，在例如將曝光時間變更為"l/40秒"、"1/80秒"、"1/160 秒"進行3次拍攝的情況下，可以根據(jù)其拍攝所需的時間(曝光時間)、由 攝像裝置8拍攝的輸入圖像數(shù)據(jù)的讀出所需的時間、和圖像合成處理所需的 時間的合計計算出來。
另夕卜，參照圖12B，在例如將曝光時間變更為"1/160秒"、"1/320秒"、 "1/640秒"、"1/1280秒"進行4次拍攝的情況下，雖然縮短了曝光時間 的總和，但作為圖像合成處理的對象的輸入圖像數(shù)據(jù)量增大，因此整體上的 處理時間增加。
這里，可以根據(jù)所設(shè)定的曝光時間推算出拍攝所需的時間。另外，輸入 圖像數(shù)據(jù)的讀出所需的時間是依賴于硬件配置的大致固定的值，可以預(yù)先取 得。另外，作為對象的輸入圖像的個數(shù)決定了處理量，因此也可以推算出圖 像合成處理所需的時間。
因此，處理時間計算部222基于曝光條件和拍攝次數(shù)等，能夠計算出輸 出圖像數(shù)據(jù)的生成所需的預(yù)計處理時間。另外，可以在每次變更"明亮度" 上下限值時計算出處理時間，更新顯示。
<合成圖像的顯示精度>
如上所述，顯示模式選擇區(qū)350 (圖8、圖9)中配置有用于選擇合成圖 像顯示區(qū)330中所顯示的合成圖像的顯示精度的單選鈕352。如果用戶在該 單選鈕352中選擇了 "高精度"，色彩合成部208、亮度合成部210、調(diào)和 映射部214、圖像生成部212等就針對輸入圖像中包含的全部像素執(zhí)行處理。
與此不同的是，如果用戶在該單選鈕352中選擇了 "簡易"，色彩合成 部208、亮度合成部210、調(diào)和映射部214、圖像生成部212等就將輸入圖像 分割為包含多個像素的多個區(qū)域，在各區(qū)域內(nèi)僅針對代表該區(qū)域的1個像素 執(zhí)行處理。亦即，例如考慮將4X4像素作為1個區(qū)域(塊)，基于根據(jù)代表各塊的1個像素(例如各塊的左上位置的像素)所得到的合成亮度和合成 色彩信息，生成該塊的合成圖像。通過這種處理，能夠降低圖像合成處理的 處理量。
圖13A、圖13B是表示本發(fā)明的第一實施方式的圖像處理裝置中的合成 圖像的顯示實例的圖。圖13A表示設(shè)定為"高精度"時的情形，圖13B表示 設(shè)定為"簡易"時的情形。
如圖13A所示，當(dāng)設(shè)定為"高精度"時，以與輸入圖像同樣的精度顯示 出合成圖像。與此不同的是，如圖13B所示，當(dāng)設(shè)定為"簡易"時，會顯示 出區(qū)塊化的合成圖像，與圖13A的情形相比，更新周期加快，但精細度下降。
<工作模式>
下面說明工作模式下的處理的一個實例。使用所生成的輸出圖像數(shù)據(jù)執(zhí) 行工件檢査或計測的方法以往已經(jīng)有各種各樣的提案，在本實施方式中，作 為代表，針對搜尋與預(yù)先登錄的圖像圖案吻合的部分的檢索處理和檢測工件 的邊緣并計測邊緣之間的距離的邊緣掃描處理進行示例。另外，工作模式下 的處理并不限于這些處理。
圖14是表示工作模式的一個實例、即檢索處理的顯示實例的圖。 圖15是表示工作模式的一個實例、即邊緣掃描處理的顯示實例的圖。 參照圖14，如果在"工作模式"下選擇了檢索處理，監(jiān)視器102上就會 顯示出工作模式畫面400A。在該工作模式畫面400A中，用戶預(yù)先設(shè)定對象 區(qū)域402，并登錄要檢測的圖像圖案。然后，CPU105針對上述圖像合成處 理產(chǎn)生的輸出圖像數(shù)據(jù)之中的對象區(qū)域402依次計算出與登錄圖案的相關(guān) 值，確定與登錄圖案吻合的區(qū)域404。進而，CPU105將確定出來的區(qū)域404 的位置信息等顯示到監(jiān)視器102上。
此外，用戶設(shè)定的對象區(qū)域402的信息被輸入到圖4所示的合成準確度 推定部220，合成準確度推定部220針對該對象區(qū)域402判斷合成準確度(可 信度)。
利用這種檢索處理，在特定種類的工件被連續(xù)生產(chǎn)出來的情況下，能夠 檢測出不同種類的混入工件等。
參照圖15，如果在"工作模式"下選擇了邊緣掃描處理，監(jiān)視器102上 就會顯示出工作模式畫面400B。在該工作模式畫面400B中，用戶預(yù)先設(shè)定對象區(qū)域412。然后，CPU105針對上述圖像合成處理產(chǎn)生的輸出圖像數(shù)據(jù) 之中的對象區(qū)域412，確定出色差大于等于規(guī)定閾值的2個部位(邊緣位置)。 繼而，CPU105規(guī)定連結(jié)所確定的2點之間的直線414，計算出這2點之間 在圖面上的距離(例如像素值)。
此外，用戶設(shè)定的對象區(qū)域412的信息被輸入到圖4所示的合成準確度 推定部220，合成準確度推定部220針對該對象區(qū)域412判斷合成準確度(可 信度)。
利用這種邊緣掃描處理，將邊緣間距離與規(guī)定值進行比較，就能夠檢測 出工件的制造不良等。
除了上述處理之外，也可以執(zhí)行色彩面積計算處理等，計數(shù)具有特定色 彩范圍的像素數(shù)量。
<處理次序>
圖16是表示本發(fā)明的第一實施方式的圖像處理裝置中的整體處理的流 程圖。圖16所示的流程圖是由CPU105將固定盤107等之中預(yù)先存儲的程 序讀取到存儲器106中并加以執(zhí)行而實現(xiàn)的。其中，假定初始模式為"工作 模式"。
參照圖16， CPU105判斷是否接收到模式切換指令(步驟SIOO)。如果 未接收到模式切換指令(在步驟S100中是"否")，CPU105就執(zhí)行從步驟 S102到步驟S116為止的檢查計測處理。
亦即，CPU105判斷光電傳感器是否檢測到了工件2的到達(步驟S102)。 如果工件2尚未到達(在步驟S102中是"否")，就重復(fù)步驟S102的處理。
如果工件2已經(jīng)到達(在步驟S102中是"是")，CPU105就根據(jù)預(yù)先 存儲在固定盤107中的設(shè)定，以所設(shè)定的曝光時間拍攝工件2 (步驟S104)。 繼而，CPU105判斷是否完成了設(shè)定次數(shù)的拍攝(步驟S106)。如果設(shè)定次 數(shù)的拍攝尚未完成(在步驟S106中是"否")，CPU105就重復(fù)步驟S104 的處理。
如果己經(jīng)完成了設(shè)定次數(shù)的拍攝(在步驟S106中是"是")，CPU105 就執(zhí)行圖像合成處理子例程，根據(jù)拍攝得到的輸入圖像數(shù)據(jù)生成輸出圖像數(shù) 據(jù)(步驟S108)。進而，CPU105計算出該輸出圖像數(shù)據(jù)的合成準確度，判 斷輸出圖像數(shù)據(jù)是否具有充分的可信度(步驟SllO)。如果輸出圖像數(shù)據(jù)的可信度不充分(在步驟S110中是"否")，就在監(jiān)視器102等上面顯示出
可信度不充分這一狀況，而且不執(zhí)行以后的處理。
如果輸出圖像數(shù)據(jù)具有充分的可信度(在步驟S110中是"是")，CPU105 就基于所生成的輸出圖像數(shù)據(jù)執(zhí)行檢查計測處理(步驟S112)。繼而，CPU105 在監(jiān)視器102等上面顯示出其檢查計測處理的結(jié)果(步驟S114)，并輸出到 PLC等外部裝置(步驟S116)。之后，返回最初的處理。
與此不同的是，如果接收到了模式切換指令(在步驟S100中是"是")， CPU105就遷移到"設(shè)定模式"(步驟S118)。
圖17是表示本發(fā)明的第一實施方式的圖像處理裝置中的"設(shè)定模式" 下的處理的流程圖。圖17所示的流程圖是由CPU105將固定盤107等之中 預(yù)先存儲的程序讀取到存儲器106中并加以執(zhí)行而實現(xiàn)的。
參照圖17, CPU105判斷在設(shè)定模式畫面300中是否選擇了直方圖的顯 示(步驟S200)。
如果選擇了直方圖的顯示(在步驟S200中是"是")，CPU105就在攝 像裝置8可設(shè)定的曝光時間內(nèi)依次進行拍攝(步驟S202)。繼而，CPU105 執(zhí)行圖像合成處理子例程，根據(jù)拍攝得到的輸入圖像數(shù)據(jù)生成輸出圖像數(shù)據(jù) (步驟S204)。這時，CPU105根據(jù)用戶輸入的"明亮度"上下限值，生成 輸出圖像數(shù)據(jù)。同時，CPU105生成合成亮度的直方圖(步驟S206)，并計 算出生成1個輸出圖像數(shù)據(jù)所需的預(yù)計處理時間(步驟S208)。繼而，CPU105 在監(jiān)視器102等上顯示出基于輸出圖像數(shù)據(jù)的合成圖像、合成亮度的直方圖、 處理時間或拍攝次數(shù)等拍攝條件(步驟S210)。
另一方面，如果未選擇直方圖的顯示(在步驟S200中是"否")，CPU105 就根據(jù)用戶輸入的"明亮度"上下限值，決定必要的曝光時間和拍攝個數(shù)(步 驟S212)。繼而，CPU105按照所決定的曝光時間依次進行拍攝(步驟S214)。 進而，CPU105執(zhí)行圖像合成處理子例程，根據(jù)拍攝得到的輸入圖像數(shù)據(jù)生 成輸出圖像數(shù)據(jù)(步驟S216)。另外，CPU105計算出生成1個輸出圖像數(shù) 據(jù)所需的預(yù)計處理時間(步驟S218)。繼而，CPU105在監(jiān)視器102等上顯 示出基于輸出圖像數(shù)據(jù)的合成圖像、處理時間或拍攝次數(shù)等拍攝條件(步驟 S220)。
進而，CPU105判斷設(shè)定模式畫面300中的"OK"按鈕362或"取消"
29按鈕364是否被選中(步驟S222)。如果"OK"按鈕362被選中(在步驟 S222值是"OK") ， CPU105就將當(dāng)前設(shè)定保存到固定盤107中(步驟S224)。 繼而，CPU105遷移到"工作模式"(步驟S226)。另外，如果"取消"按 鈕364被選中(在步驟S212中是"取消")，CPU105就廢棄當(dāng)前設(shè)定，遷 移到"工作模式"(步驟S226)。
另一方面，如果設(shè)定模式畫面300中的"OK"按鈕362和"取消"按 鈕364都未被選中(在步驟S222中是"否")，CPU105就返回最初的處理。
圖18是表示圖16和圖17中所示的圖像合成處理子例程中的處理的流 程圖。圖18所示的流程圖是由CPU105將固定盤107等之中預(yù)先存儲的程 序讀取到存儲器106中并加以執(zhí)行而實現(xiàn)的。
參照圖18， CPU105將坐標位置i設(shè)定為初始值(i =1)(步驟S300)，
從多個輸入圖像數(shù)據(jù)中提取與坐標位置i相對應(yīng)的像素的亮度信息和色彩信 息(步驟S302)。
CPU105基于與坐標位置i相對應(yīng)的像素的亮度，計算出坐標位置i的合 成亮度(步驟S304)。繼而，CPU105按照所設(shè)定的"明亮度"上下限值進 行調(diào)和映射，計算出與輸出圖像數(shù)據(jù)的坐標位置i相對應(yīng)的像素的亮度(步 驟S306)。
另外，CPU105基于與坐標位置i相對應(yīng)的像素的色彩信息，計算出與 坐標位置i相對應(yīng)的像素的合成色彩信息(步驟S308)。
進而，CPU105基于在步驟S306中計算出來的亮度和在步驟S308中計 算出來的合成色彩信息，計算出與輸出圖像數(shù)據(jù)的坐標位置i相對應(yīng)的像素 的色彩信息(步驟S310)。
繼而，CPU105判斷坐標位置i是否是輸入圖像數(shù)據(jù)中包含的最后的坐 標(步驟S312)。如果坐標位置i不是輸入圖像數(shù)據(jù)中包含的最后的坐標(在 步驟S312中是"否")，CPU105就將當(dāng)前坐標位置i加"l"(步驟S314)， 重復(fù)步驟S302以下的處理。
如果坐標位置i是輸入圖像數(shù)據(jù)中包含的最后的坐標(在步驟S312中是 "是")，CPU105就基于與在步驟S310中計算出來的各坐標位置相對應(yīng)的 色彩信息，生成輸出圖像數(shù)據(jù)(步驟S316)。之后返回主例程。
此外，也可以不顯示"拍攝時間"、即從多次拍攝直到所述合成圖像數(shù)據(jù)的生成為止所需的預(yù)計處理時間，而是代之以顯示包含從多次拍攝直到合 成圖像數(shù)據(jù)的生成為止所需的預(yù)計處理時間以及針對所生成的合成圖像在 工作模式下執(zhí)行檢查、計測等圖像處理所需的時間在內(nèi)的1次計測周期的時 間。
<變形例1〉
在上述第一實施方式中展示的是曝光時間組以"1/10秒"為基準(最慢 的值)、以2的階乘依次變快的方式設(shè)定的結(jié)構(gòu)，但該曝光時間組的變化幅 度(在這種情況下是2的階乘)會影響所生成的輸出圖像數(shù)據(jù)的精度，同時 也會影響處理時間的長短。因工件的不同，有時候優(yōu)選將該曝光時間組的變 化幅度設(shè)定得更大或者更小。因此，可以使用戶能夠改變該曝光時間組的變 化幅度。
圖19是表示本發(fā)明的第一實施方式的變形例1的圖像處理裝置的監(jiān)視
器上顯示的"設(shè)定模式"下的畫面顯示實例的圖。
參照圖19，設(shè)定模式畫面300A在圖8所示的設(shè)定模式畫面300中取消 了"明亮度"上下限輸入?yún)^(qū)310，而代之以配置"明亮度"上下限輸入?yún)^(qū)310A， 其他部分則與圖8所示的設(shè)定模式畫面300相同。
"明亮度"上下限輸入?yún)^(qū)310A中配置有用于設(shè)定輸出圖像數(shù)據(jù)的精度 的滑塊316。通過操作該滑塊316而設(shè)定的精度被輸入到拍攝控制部200 (圖 4)。拍攝控制部200根據(jù)該精度的設(shè)定值，改變針對攝像裝置8設(shè)定的曝 光時間的組合。例如，拍攝控制部200將針對攝像裝置8設(shè)定的曝光時間減 少為"1/10秒"、"1/40秒"、"1/160秒"、"1/640秒"這4種。由此， 雖然輸出圖像數(shù)據(jù)的精度有所降低，但整體處理速度提高大約2倍。
<變形例2>
在上述第一實施方式中示例的是能夠選擇在直方圖顯示區(qū)320中顯示或 不顯示直方圖的結(jié)構(gòu)；用于縮短處理時間、加快合成圖像的更新周期的方法 也可以是，將處理對象的信息量大的直方圖的生成處理的執(zhí)行周期設(shè)定為大 于圖像合成處理的執(zhí)行周期。亦即，用戶一邊參照顯示出來的直方圖一邊變 更"明亮度"上下限設(shè)定的操作相對較慢，因此，沒有必要按照與合成圖像 的生成周期相同的周期執(zhí)行直方圖的生成處理。
因此，使圖像處理裝置固定地執(zhí)行圖10所示的控制結(jié)構(gòu)的動作，并在更新直方圖的定時使其執(zhí)行圖4所示的控制結(jié)構(gòu)的動作，就能夠縮短合成圖 像的更新周期，以動態(tài)圖像式的實質(zhì)效果顯示出合成圖像，并能夠同時顯示 出合成亮度的直方圖。
<本實施方式的使用效果>
根據(jù)本發(fā)明的第一實施方式，當(dāng)選擇了 "設(shè)定模式"時，在設(shè)定模式畫 面300上并列地顯示出"基于所生成的輸出圖像數(shù)據(jù)的合成圖像"和"生成 輸出圖像數(shù)據(jù)所需的預(yù)計處理時間"。因此，用戶就能夠考慮實際生成的合 成圖像的品質(zhì)和實際的生產(chǎn)現(xiàn)場所容許的處理時間的均衡(此消彼長的關(guān)系
(tradeoff))，很容易地設(shè)定適當(dāng)?shù)呐臄z條件。因此，在所生產(chǎn)的工件的種類 發(fā)生了變化等情況下，即使需要重新設(shè)定照明條件或拍攝條件，也能夠迅速 地應(yīng)對。另外，關(guān)于該拍攝條件的設(shè)定，即使用戶不具備專門知識，也能夠 容易地進行設(shè)定。
另外，根據(jù)本發(fā)明的第一實施方式，用戶通過選擇設(shè)定模式畫面300上 所顯示的直方圖的顯示/不顯示，就能夠中斷或重新開始處理量較多的直方圖 的生成處理。由此，能夠加快設(shè)定模式畫面300上所顯示的合成圖像的更新 周期，能夠?qū)崿F(xiàn)動態(tài)圖像式的實質(zhì)顯示效果。其結(jié)果是，用戶在決定設(shè)置場 所或照明條件等時，能夠近似實時地掌握其調(diào)整結(jié)果，因而能夠輕松而迅速 地進行設(shè)置安裝。
進而，根據(jù)本發(fā)明的第一實施方式，在工作模式下，隨時判斷所生成的 輸出圖像數(shù)據(jù)的合成準確度(可信度)。因此，當(dāng)拍攝過程中工件移動或照 明條件發(fā)生變化而導(dǎo)致所生成的輸出圖像數(shù)據(jù)的可信度下降時，該輸出圖像 數(shù)據(jù)不被用于檢査或計測。其結(jié)果是，能夠避免檢査或計測結(jié)果變得不準確。
上述實施方式示例的是按照用戶任意設(shè)定的"明亮度"范圍執(zhí)行圖像合 成處理的方式。根據(jù)該方式，其優(yōu)點是能夠生成著眼于必要的"明亮度"范 圍的輸出圖像數(shù)據(jù)，但從不具備預(yù)備知識的用戶的角度來看，優(yōu)選是能夠以 更簡單的操作生成適當(dāng)?shù)妮敵鰣D像數(shù)據(jù)。因此，在本實施方式中，示例說明 即使是不具備預(yù)備知識的用戶也能夠適當(dāng)?shù)剡M行設(shè)定的圖像處理裝置。
<畫面顯示實例>
32圖20是表示本發(fā)明的第二實施方式的圖像處理裝置的監(jiān)視器上顯示的 設(shè)定模式摂下的畫面顯示實例的圖。
設(shè)定模式畫面300B中包含縮小圖像顯示區(qū)370、合成圖像顯示區(qū)330、 拍攝信息顯示區(qū)340A和顯示模式選擇區(qū)350A。
如后文所述，縮小圖像顯示區(qū)370中顯示出基于按照不同設(shè)定生成的至 少1個縮小合成圖像數(shù)據(jù)的至少1個縮小合成圖像(縮略圖像)。亦即，該 縮小合成圖像是通過將"明亮度"上下限值分別設(shè)定在不同范圍后進行圖像 合成處理而生成的，用戶使用可通過鍵盤103或鼠標104加以操作的畫面上 的光標372，選擇能夠判斷為最適合的圖像。這樣一來，與被選中的縮小合 成圖像相對應(yīng)的合成圖像就被顯示到合成圖像顯示區(qū)330。其中，合成圖像 數(shù)據(jù)是以比縮小合成圖像數(shù)據(jù)更高的分辨率生成的。亦即，縮小合成圖像數(shù) 據(jù)是為了縮短處理時間而使用攝像裝置8拍攝得到的輸入圖像數(shù)據(jù)的一部分 像素生成的。
這樣，通過在同一個設(shè)定模式畫面300B上顯示出根據(jù)在至少1個不同 曝光條件下拍攝的多個圖像分別得到的多個縮小合成圖像和與被選中的縮 小合成圖像相對應(yīng)的合成圖像(非縮小合成圖像)，即使是不具備預(yù)備知識 的用戶也能夠進行適當(dāng)?shù)脑O(shè)定。
拍攝信息顯示區(qū)340A中顯示出"拍攝時間"、"拍攝次數(shù)"、"快門 速度"、"明亮度上限值"、"明亮度下限值"。在本實施方式的圖像處理 裝置中，為了使用戶在未意識到具體的"明亮度"上下限值范圍的情況下完 成設(shè)定，顯示出"明亮度上限值"和"明亮度下限值"作為拍攝信息。
此外，在本實施方式的圖像處理裝置中，用戶不設(shè)定"明亮度"上下限 值，因此也可以不顯示遲滯(hysteresis)。因此，在標準化的設(shè)定模式畫面 300B中不顯示遲滯，與此同時，顯示模式選擇區(qū)350A中省略了用于選擇直 方圖的顯示/不顯示的單選鈕354的顯示。
<控制結(jié)構(gòu)>
圖21是表示本發(fā)明的第二實施方式的圖像處理裝置的控制結(jié)構(gòu)的功能 框圖。
參照圖21，本實施方式的圖像處理裝置相當(dāng)于在圖4所示的控制結(jié)構(gòu)中 將圖像生成部212取而代之以圖像生成部228和縮小圖像生成部230之后形成的裝置。此外，其他部分與圖4相同，因此不重復(fù)其詳細說明。
縮小圖像生成部230基于多個輸入圖像數(shù)據(jù)之中由規(guī)定數(shù)量的圖像數(shù)據(jù) 構(gòu)成的至少1組色彩信息和亮度信息，生成至少l個縮小合成圖像數(shù)據(jù)。更
具體地說，縮小圖像生成部230按照預(yù)先設(shè)定的"明亮度"范圍("明亮度"
上限值和"明亮度"下限值)的設(shè)定值，決定必要的輸入圖像數(shù)據(jù)，基于由 此決定的輸入圖像數(shù)據(jù)的色彩信息和亮度信息生成縮小合成圖像。其中，必
要的輸入圖像數(shù)據(jù)的決定是通過參照"明亮度"范圍的設(shè)定值和圖5所示的 關(guān)系而決定的。例如，縮小圖像生成部230分別生成與"30 60" 、 "30 80" 、 "50 80"……等"明亮度"范圍相對應(yīng)的縮小合成圖像數(shù)據(jù)。繼而， 基于該縮小合成圖像數(shù)據(jù)的縮小圖像被顯示到設(shè)定模式畫面300B的縮小圖 像顯示區(qū)370。此外，可以利用間隔取樣處理等公知的方法生成縮小合成圖
此外，輸出圖像數(shù)據(jù)的亮度相應(yīng)于"明亮度"上下限值從調(diào)和映射部214 輸出，因此，縮小圖像生成部230將與生成過程中的縮小合成圖像數(shù)據(jù)相對 應(yīng)的"明亮度"范圍適當(dāng)?shù)剌敵龅?明亮度"上下限設(shè)定部216。另外，縮 小圖像生成部230使用輸入圖像數(shù)據(jù)的一部分像素生成縮小合成圖像數(shù)據(jù)。
進而，拍攝控制部200 (圖21)使攝像裝置8按照其可設(shè)定的全部曝光 時間重復(fù)拍攝。因此，保存在圖像緩沖器204中的輸入圖像數(shù)據(jù)被周期性地 更新。
圖像生成部228生成與用戶在設(shè)定模式畫面300B上從縮小圖像生成部 230所生成的縮小合成圖像數(shù)據(jù)之中選擇出來的縮小合成圖像數(shù)據(jù)相對應(yīng)的 合成圖像。圖像生成部228使用輸入圖像數(shù)據(jù)的全部像素生成合成圖像數(shù)據(jù)， 因此，合成圖像數(shù)據(jù)的分辨率比縮小合成圖像數(shù)據(jù)的分辨率高。
此外，圖像生成部228和縮小圖像生成部230中的處理與上述圖像生成 部212 (圖4)中的處理相同，因此不重復(fù)其詳細說明。
<本實施方式的使用效果>
根據(jù)本發(fā)明的第二實施方式，能夠獲得與上述本發(fā)明的第一實施方式相 同的使用效果。除此之外，也有以下所述的使用效果。
根據(jù)本發(fā)明的第二實施方式，如果選擇了 "設(shè)定模式"，就在設(shè)定模式 畫面300B上顯示出將"明亮度"上下限值設(shè)定為不同數(shù)值時的多個縮小合成圖像，并顯示出與用戶選擇的1個縮小合成圖像相對應(yīng)的合成圖像。因此， 用戶無需理解"明亮度"上下限值在技術(shù)上的含義等，只要選擇所生成的最 合適的合成圖像，就能夠完成拍攝條件的設(shè)定。
這樣，關(guān)于拍攝條件的設(shè)定，即使用戶不具備專門知識，也能夠容易地 設(shè)定拍攝條件。
另外，如果試圖顯示多個合成圖像，處理時間就會延長，圖像顯示的實 時性會顯著下降；但通過使用縮小合成圖像，就能夠減少其影響。
以上實施方式中是以彩色圖像為對象描述的，但并不限于彩色圖像，也 可以應(yīng)用于現(xiàn)有技術(shù)的只有濃淡層次的圖像，這對于本專業(yè)技術(shù)人員來說應(yīng) 該是容易理解的。亦即，利用本申請書記載的實施方式，僅使用亮度合成部
210生成圖像即可，可以省略掉色彩合成部208。
本發(fā)明的程序也可以是將被作為計算機的操作系統(tǒng)(OS)的一部分而提 供的程序模塊之中必要的模塊按照規(guī)定排列以規(guī)定時序加以調(diào)用執(zhí)行處理 的程序。在此情況下，程序本身并不包含上述模塊，而是與OS協(xié)同動作， 執(zhí)行處理。這種不包含模塊的程序也可以包含在本發(fā)明的程序中。
另外，本發(fā)明的程序也可以是嵌入在其他程序的一部分之中提供的程 序。在此情況下，程序本身也不包含上述其他程序中包含的模塊，而是與其 他程序協(xié)同動作執(zhí)行處理。這種嵌入在其他程序中的程序也可以包含在本發(fā) 明的程序中。
所提供的程序產(chǎn)品安裝到硬盤等計算機程序保存部中加以執(zhí)行。此外， 程序產(chǎn)品包含程序本身和存儲程序的記錄介質(zhì)。
進而，也可以利用專用的硬件來構(gòu)成本發(fā)明的程序所實現(xiàn)的一部分或全 部功能。
這里公開的實施方式在所有方面都是示例，并不構(gòu)成限定。本發(fā)明的范 圍不是由上述說明限定，而是由權(quán)利要求書限定，并包含與權(quán)利要求書的范 圍均等的意義與范圍內(nèi)的全部變更。
3權(quán)利要求
1. 一種圖像處理裝置，其是與可以改變用于拍攝被測物的曝光條件的攝像部相連接的圖像處理裝置，其中，所述攝像部包含有圖像攝像單元，所述圖像攝像單元包括有多個攝像用像素的集合，所述圖像處理裝置具有拍攝控制單元，其使所述攝像部在不同曝光條件下對所述被測物進行多次拍攝，從而生成多個圖像數(shù)據(jù)；合成單元，其基于所述多個圖像數(shù)據(jù)的亮度信息生成合成圖像數(shù)據(jù)；所述合成單元包含合成亮度計算單元，所述合成亮度計算單元用于基于各圖像數(shù)據(jù)的所述亮度信息和相對應(yīng)的所述曝光條件，計算出與入射到所述圖像攝像單元的攝像元件上的光的強度分布相對應(yīng)的分布值，作為所述合成圖像數(shù)據(jù)的合成亮度分布；所述圖像處理裝置還包含處理時間計算單元，所述處理時間計算單元用于計算出從執(zhí)行所述多次拍攝直到生成所述合成圖像數(shù)據(jù)為止所需的預(yù)計處理時間。
2. 如權(quán)利要求l所述的圖像處理裝置，其中，所述圖像處理裝置進一步與顯示部連接， 所述合成單元具有用于使所述顯示部顯示所述處理時間的顯示單元。
3. 如權(quán)利要求l所述的圖像處理裝置，其中，所述圖像處理裝置進一步與顯示部連接，基于所述合成圖像數(shù)據(jù)執(zhí)行圖 像處理，所述合成單元具有用于使所述顯示部顯示包含所述處理時間在內(nèi)的1次 計測周期的時間的顯示單元。
4. 如權(quán)利要求l所述的圖像處理裝置，其中，所述拍攝控制單元控制所述攝像部，以便以可針對所述攝像部進行設(shè)定 的多個曝光條件之中與外部設(shè)定相對應(yīng)的預(yù)定數(shù)值的曝光條件進行拍攝；所述處理時間計算單元基于由所述曝光條件所規(guī)定的所述攝像部的拍 攝次數(shù)、各次的曝光時間、及所述合成單元的處理時間，計算出所述處理時 間。
5. 如權(quán)利要求l所述的圖像處理裝置，其中，所述拍攝控制單元控制所述攝像部，使所述攝像部所執(zhí)行的多次拍攝依次重復(fù)；所述合成單元相應(yīng)于所述攝像部所執(zhí)行的多次拍攝的重復(fù)，依次生成所 述合成圖像數(shù)據(jù)；所述顯示單元顯示所述處理時間和基于所述合成圖像數(shù)據(jù)的合成圖像， 并伴隨著所述合成單元中的生成處理的執(zhí)行，對所述合成圖像的顯示進行更 新。
6. 如權(quán)利要求5所述的圖像處理裝置，其中，所述合成單元進一步包含用于生成所述合成亮度的直方圖的直方圖生 成單元；所述顯示單元使所述顯示部顯示所述合成圖像和所述直方圖； 所述直方圖生成單元按照與所述合成單元生成所述合成圖像數(shù)據(jù)的生 成周期相比更長的周期生成所述直方圖。
7. —種圖像處理裝置，其是與可以改變用于拍攝被測物的曝光條件的 攝像部和顯示部相連接的圖像處理裝置，其中，所述攝像部包含有圖像攝像單元，所述圖像攝像單元包括有多個攝像用 像素的集合，所述圖像處理裝置具有拍攝控制單元，其使所述攝像部在不同曝光條件下對所述被測物進行多 次拍攝，從而生成多個圖像數(shù)據(jù)；合成單元，其基于所述多個圖像數(shù)據(jù)的色彩信息和亮度信息生成合成圖 像數(shù)據(jù)；以及，顯示單元，其使所述顯示部顯示基于所述合成圖像數(shù)據(jù)的合成圖像； 所述合成單元包含合成亮度計算單元，其用于基于各圖像數(shù)據(jù)的所述亮度信息和相對應(yīng) 的所述曝光條件，計算出入射到所述圖像攝像單元的攝像元件上的光強度的 分布，作為所述合成圖像數(shù)據(jù)的合成亮度分布；精度判斷單元，其用于基于與特定點相對應(yīng)的所述多個圖像數(shù)據(jù)中的 亮度分布計算出與入射到所述圖像攝像單元的攝像元件上的光強度的分布相對應(yīng)的數(shù)值，并基于各圖像數(shù)據(jù)的該數(shù)值的吻合度，判斷所述合成圖像數(shù) 據(jù)的可信度。
8. 如權(quán)利要求7所述的圖像處理裝置，其中，所述精度判斷單元以相對應(yīng)的曝光量對所述多個圖像數(shù)據(jù)中的各個像 素進行校正，由此計算出換算值，基于該換算值的偏差判斷所述可信度。
9. 如權(quán)利要求7所述的圖像處理裝置，其中，進一步具有受理單元，所述受理單元用于接受對所述攝像部中的拍攝范圍內(nèi)的應(yīng)成為對象的區(qū)域的設(shè)定；所述精度判斷單元基于所述應(yīng)成為對象的區(qū)域中的各特定點的偏差判 斷所述可信度。
全文摘要
本發(fā)明提供能夠考慮各處理所容許的時間而適當(dāng)?shù)卦O(shè)定拍攝條件的圖像處理裝置、能夠參照著實際生成的合成圖像來適當(dāng)?shù)卦O(shè)定拍攝條件的圖像處理裝置、即使是不具備預(yù)備知識的用戶也能夠適當(dāng)?shù)卦O(shè)定拍攝條件的圖像處理裝置、即使是不具備預(yù)備知識的用戶也能夠判斷是否適當(dāng)?shù)貓?zhí)行了圖像合成處理的圖像處理裝置。在設(shè)定模式畫面(300)上顯示出生成1個輸出圖像數(shù)據(jù)所需的預(yù)計時間——即“處理時間”，并顯示出基于所生成的輸出圖像數(shù)據(jù)的合成圖像。每當(dāng)生成了輸出圖像數(shù)據(jù)時，合成圖像即被更新。
文檔編號H04N5/235GK101426090SQ20081017396
公開日2009年5月6日 申請日期2008年10月31日 優(yōu)先權(quán)日2007年10月31日
發(fā)明者加藤豊, 木內(nèi)豊 申請人:歐姆龍株式會社