技術(shù)領(lǐng)域

本發(fā)明大體上涉及使用介導(dǎo)現(xiàn)實在焊接操作期間改進操作員視覺。介導(dǎo)現(xiàn)實是指借助于用于擴增、故意削弱且更一般來說以其它方式改變感官輸入的裝置來人工修改人類感知的通用框架。可穿戴計算是發(fā)明、設(shè)計、構(gòu)建或使用身體負(fù)擔(dān)計算及感測裝置的研究或?qū)嵺`?？纱┐饔嬎銠C可穿戴于衣服下、衣服上、或衣服中，或其本身可為衣服。介導(dǎo)現(xiàn)實技術(shù)可用于創(chuàng)建可穿戴計算應(yīng)用?？纱┐饔嬎愕那熬熬哂袕母旧细倪M我們的生活質(zhì)量的能力。

背景技術(shù)：

根據(jù)來自自由共同安全研究所(Liberty Mutual Research Institute for Safety)的研究，眼外傷占全部焊接損傷的四分之一，從而使其成為對焊工來說目前最常見的損傷。所有最常見類型的焊接(屏蔽金屬弧焊接、焊條焊接或氣焊)都潛在地產(chǎn)生有害的紫外、紅外及可見光譜輻射。來自紫外光的損傷可非常快速地發(fā)生。紫外輻射(UVR)通常在眼睛的角膜及晶狀體中被吸收，其通常會導(dǎo)致電弧眼或電弧閃光，這是十分痛苦但在很少情況下是永久性的損傷，其特征為眼脹、眼睛流淚及眼睛疼痛。控制眼睛損傷的最佳方式也是最簡單的：適當(dāng)?shù)剡x擇焊接面罩及使用由焊接面罩提供的眼睛保護。

焊接面罩可具有固定的暗度或可變的暗度。通常，固定暗度的面罩最佳用于在相同電流電平下需要相同類型的焊接的日常工作，且可變面罩最佳用于具有可變焊接任務(wù)的工人。面罩暗度在某一暗度級范圍內(nèi)，其從9變化到14，其中14最暗，所述暗度級取決于面罩手動或自動進行調(diào)整。為確定用于工作的最佳面罩，應(yīng)選擇提供對“熔池”的舒適且準(zhǔn)確的觀察以保證優(yōu)質(zhì)焊接的透鏡罩。與焊接面罩成一體的是自動變光匣，其通過使用暗度控制提供眼睛保護。

現(xiàn)今使用的現(xiàn)代焊接面罩在1937年由使用固定暗度的威爾遜(Wilson)產(chǎn)品首次引入。馬克·戈登(Mark Gordon)在1973年12月26日向美國專利局提交當(dāng)前自動變光面罩技術(shù)。標(biāo)題為“具有目鏡控制的焊接面罩(Welding Helmet with Eye Piece Control)”的第3,873,804號美國專利在1975年3月25日頒予戈登，且其揭示一種當(dāng)傳感器檢測到明亮的焊接弧時自動變暗的LCD電子快門。

隨著電子自動變光面罩的引入，焊工不再必須準(zhǔn)備好焊接且接著點動其頭部以使面罩戴在其臉上。然而，與傳統(tǒng)固定暗度的“玻璃”相比，這些電子自動變光面罩在實際焊接期間不能幫助穿戴者更好地進行觀察。當(dāng)焊接弧發(fā)生時，“玻璃”就像其具有固定暗度那樣變暗，所以主要優(yōu)點是在電弧發(fā)生之前或之后的瞬間能夠更好地進行觀察。在1981年，名叫霍內(nèi)爾(Hornell)的瑞典制造商引入了Speedglas，其為戈登(Gordon)的專利的首個真正的商業(yè)實施方案。自1981年以來，用于改進操作員在焊接期間的視線的技術(shù)進展有限。如今，自動變光面罩仍舊是用于眼睛保護的最受歡迎的選擇。

技術(shù)實現(xiàn)要素：

本發(fā)明在優(yōu)選實施例中預(yù)期一種通過在焊接操作期間改變視覺感知的用于介導(dǎo)現(xiàn)實焊接的方法及系統(tǒng)，其包含：獲得當(dāng)前圖像；確定背景參考圖像；確定前景參考圖像；通過以下操作處理所述當(dāng)前圖像：(i)組合所述當(dāng)前圖像與所述背景參考圖像及(ii)將所述前景參考圖像代入到所述組合圖像上；及顯示經(jīng)處理的當(dāng)前圖像。

應(yīng)理解，前述一般描述及以下詳細(xì)描述兩者都是示范性且僅是示范性的，且不限制如所主張的本發(fā)明。

附圖說明

并入說明書中且構(gòu)成說明書的一部分的附圖說明本發(fā)明的優(yōu)選實施例。附圖與描述一起用于解釋本發(fā)明的目的、優(yōu)點及原理。在圖式中：

圖1A是現(xiàn)有技術(shù)自動變光焊接面罩的前透視圖；

圖1B是圖1A的現(xiàn)有技術(shù)自動變光焊接面罩的后透視圖，其展示所述面罩的內(nèi)部；

圖2A是現(xiàn)有技術(shù)自動變光焊接面罩匣的前立視圖；

圖2B是圖2A的現(xiàn)有技術(shù)自動變光焊接面罩匣的后立視圖；

圖3A是根據(jù)本發(fā)明的介導(dǎo)現(xiàn)實焊接面罩的前透視圖；

圖3B是圖3A的介導(dǎo)現(xiàn)實焊接面罩的后透視圖，其展示所述面罩的內(nèi)部；

圖4A是根據(jù)本發(fā)明的介導(dǎo)現(xiàn)實焊接面罩匣的前立視圖；

圖4B是圖4A的介導(dǎo)現(xiàn)實焊接面罩匣的后立視圖；

圖5是根據(jù)本發(fā)明的用于介導(dǎo)現(xiàn)實焊接中的示范性焊縫的圖；

圖6是根據(jù)本發(fā)明的用于介導(dǎo)現(xiàn)實焊接面罩匣中的計算機硬件的框圖；

圖7A是在本發(fā)明的優(yōu)選實施例中的發(fā)生以捕獲、處理及顯示介導(dǎo)現(xiàn)實焊接流式視頻的動作的流程圖；

圖7B是從圖7A的流程圖繼續(xù)并完成圖7A的流程圖的流程圖；

圖8是在本發(fā)明的優(yōu)選實施例中在介導(dǎo)現(xiàn)實焊接流式視頻的并行處理中發(fā)生的動作的流程圖；

圖9是在本發(fā)明的優(yōu)選實施例中的發(fā)生以合成介導(dǎo)現(xiàn)實焊接流式視頻的動作的流程圖；

圖10A是在本發(fā)明的優(yōu)選實施例中用于合成介導(dǎo)現(xiàn)實焊接流式視頻中的背景參考圖像的圖片；

圖10B是在本發(fā)明的優(yōu)選實施例中用于合成介導(dǎo)現(xiàn)實焊接流式視頻中的第一暗圖像的圖片；

圖10C是在本發(fā)明的優(yōu)選實施例中與背景參考圖像合成于介導(dǎo)現(xiàn)實焊接流式視頻中的第一暗圖像的圖片；

圖10D是在本發(fā)明的優(yōu)選實施例中的經(jīng)捕獲以在隨后用于處理介導(dǎo)現(xiàn)實焊接流式視頻中的手套前景參考圖像中的最后亮焊槍及操作員的手的圖片；

圖11A是在本發(fā)明的優(yōu)選實施例中的發(fā)生以產(chǎn)生焊接熔池向量以用于由介導(dǎo)現(xiàn)實焊接流式視頻進行進一步處理的動作的流程圖；

圖11B是從圖11A的流程圖繼續(xù)并完成圖11A的流程圖的流程圖；

圖12A是在本發(fā)明的優(yōu)選實施例中的應(yīng)用于用于計算焊接熔池向量以用于由介導(dǎo)現(xiàn)實焊接流式視頻進行進一步處理的焊接熔池的二元閾值的圖片；

圖12B是在本發(fā)明的優(yōu)選實施例中的用于計算焊接熔池向量以用于由介導(dǎo)現(xiàn)實焊接流式視頻進行進一步處理的焊接熔池邊界及質(zhì)心的圖片；

圖12C是在本發(fā)明的優(yōu)選實施例中的用于由介導(dǎo)現(xiàn)實焊接流式視頻進行進一步處理的示范性焊接熔池向量的圖片；

圖13A是在本發(fā)明的優(yōu)選實施例中發(fā)生以提取焊槍及手套中的操作員的手以用于由介導(dǎo)現(xiàn)實焊接流式視頻進行進一步處理的動作的流程圖；

圖13B是從圖13A的流程圖繼續(xù)并完成圖13A的流程圖的流程圖；

圖13C是在本發(fā)明的優(yōu)選實施例中發(fā)生以確定焊槍及手套中的操作員的手的初始向量以用于由介導(dǎo)現(xiàn)實焊接流式視頻進行進一步處理的動作的流程圖；

圖14A是在本發(fā)明的優(yōu)選實施例中的用于由介導(dǎo)現(xiàn)實焊接流式視頻進行進一步處理的焊槍及手套中的操作員的手的參考圖像的圖片；

圖14B是在本發(fā)明的優(yōu)選實施例中的應(yīng)用于用于由介導(dǎo)現(xiàn)實焊接流式視頻進行進一步處理的焊槍及手套中的操作員的手的參考圖像的二元閾值的圖片；

圖14C是在本發(fā)明的優(yōu)選實施例中的用于由介導(dǎo)現(xiàn)實焊接流式視頻進行進一步處理的所提取的焊槍及手套中的操作員的手的圖片；

圖15A是在本發(fā)明的優(yōu)選實施例中發(fā)生以構(gòu)造介導(dǎo)現(xiàn)實焊接流式視頻的動作的流程圖；

圖15B是從圖15A的流程圖繼續(xù)并完成圖15A的流程圖的流程圖；及

圖16是在本發(fā)明的優(yōu)選實施例中所產(chǎn)生的介導(dǎo)現(xiàn)實焊接流式視頻的圖片。

具體實施方式

本發(fā)明涉及一種用于介導(dǎo)現(xiàn)實焊接的方法及系統(tǒng)。如下文所論述，本發(fā)明的方法及系統(tǒng)使用介導(dǎo)現(xiàn)實在焊接操作期間改進操作員或機器視覺。

圖1A描繪現(xiàn)有技術(shù)自動變光焊接面罩H，其包含前面具1及在焊接期間保護操作員的面部及眼睛的現(xiàn)有技術(shù)電池供電的自動變光匣CTG的前部2。

圖1B進一步描繪現(xiàn)有技術(shù)焊接面罩H，其包含焊接面罩H的內(nèi)部3、現(xiàn)有技術(shù)自動變光匣CTG的背部4及可調(diào)整操作員頭帶5，所述頭帶5允許控制操作員的面部與透鏡之間的距離的頭部大小、傾斜及向前/向后調(diào)整。

圖2A描繪現(xiàn)有技術(shù)自動變光匣CTG的前部2。保護透明透鏡L覆蓋自動變光濾光鏡6以保護濾光鏡6免受焊接飛濺及刮劃傷害?，F(xiàn)有技術(shù)焊接面罩H在焊接開始時將自動從亮態(tài)(暗度3.5)改變到暗態(tài)(暗度6到13)?，F(xiàn)有技術(shù)自動變光匣CTG含有傳感器以檢測來自焊接弧的光，從而導(dǎo)致透鏡變光到所選擇的焊接暗度?，F(xiàn)有技術(shù)自動變光匣CTG由可更換電池(未展示)及太陽能電池7供電。電池通常位于匣的底角處。

圖2B進一步描繪現(xiàn)有技術(shù)自動變光匣CTG的背部4?，F(xiàn)有技術(shù)自動變光匣CTG的控制件包含：暗度范圍開關(guān)8；延遲旋鈕控制件9，其經(jīng)設(shè)計以保護操作員的眼睛免受焊接之后的強烈的剩余射線的傷害；靈敏度旋鈕10，其在面罩在存在過多環(huán)境光的情況下使用時調(diào)整光敏度；暗度刻度盤11，其用于設(shè)置所期望的暗度；及測試按鈕12，其在焊接之前預(yù)覽暗度選擇。工業(yè)標(biāo)準(zhǔn)自動變光匣大小是4.5英寸寬乘5.25英寸高。

圖3A展示經(jīng)修改的焊接面罩H′。經(jīng)修改的焊接面罩H′包含現(xiàn)有焊接面罩H的許多特征，但焊接面罩H′已經(jīng)修改以適應(yīng)介導(dǎo)現(xiàn)實焊接匣MCTG的使用。

經(jīng)修改的面罩H′包含前面具1，其已經(jīng)修改以接受介導(dǎo)現(xiàn)實焊接匣MCTG。在圖3A及4A中，展示在透明的保護蓋后具有攝像機(或圖像傳感器)14及在焊接期間保護操作員的面部及眼睛的自動變光濾光鏡F的介導(dǎo)現(xiàn)實焊接匣MCTG的前部13。介導(dǎo)現(xiàn)實焊接匣MCTG匣由可更換電池(未展示)及太陽能電池7供電。電池通常位于匣的底角處。

圖3B進一步展示經(jīng)修改的焊接面罩H′的內(nèi)部3，其已經(jīng)修改以接受介導(dǎo)現(xiàn)實焊接匣MCTG。如圖3B及4B中所展示，介導(dǎo)現(xiàn)實焊接匣MCTG的背部15包含顯示器屏幕19及操作員聚焦控制件16以使攝像機(或圖像傳感器)14聚焦以供操作員使用放大按鈕17或縮小按鈕18觀察在顯示器屏幕19上顯示的被焊接的工件。介導(dǎo)現(xiàn)實焊接匣MCTG的背部15還包含：操作員控制件20，其用于存取包含暗度調(diào)整、延遲、靈敏度、及測試的匣設(shè)置。使用介導(dǎo)現(xiàn)實焊接應(yīng)用軟件對介導(dǎo)現(xiàn)實焊接匣MCTG進行編程，且操作員控制件20還用于存取介導(dǎo)現(xiàn)實焊接應(yīng)用軟件。操作員控制件20具有觸覺反饋按鈕，其包含：“返回”按鈕21；“菜單”按鈕22；鼠標(biāo)23，其含有“上”按鈕26、“下”按鈕24、“右”按鈕25、“左”按鈕27及“選擇”28按鈕；及“主頁”29按鈕。

圖5展示在本發(fā)明的優(yōu)選實施例中的具有焊縫31的示范性鋼件30，其將用于說明介導(dǎo)現(xiàn)實焊接。

圖6是用于介導(dǎo)現(xiàn)實焊接匣MCTG中的計算機硬件的框圖。匣的硬件及軟件捕獲、處理并顯示實時流式視頻，且提供操作員設(shè)置及介導(dǎo)現(xiàn)實焊接應(yīng)用軟件。來自德州儀器AM335x西塔拉微處理器系列(Texas Instruments AM335x Sitara microprocessor family)的微處理器32可用于優(yōu)選實施例中。AM335x是基于ARM(高級精簡指令集機器)Cortex-A8處理器且以圖像、圖形處理及外圍裝置增強。用于優(yōu)選實施例的計算機硬件中的操作系統(tǒng)是嵌入式Linux變體。

AM335x具有必要的內(nèi)建功能性以介接到兼容的TFT(薄膜晶體管)LCD(液晶顯示器)控制器或顯示器。顯示器屏幕19可為能夠以WQVGA(四分之一寬視頻圖形陣列)分辨率顯示480乘272RGB(紅、綠、藍)像素的夏普(Sharp)LQ043T3DX02LCD模塊。顯示器屏幕19連接到AM335x，且從支持驅(qū)動LCD顯示器的AM335x接收信號33。舉例來說，AM335x輸出包含原始RGB數(shù)據(jù)(紅/5、綠/6、藍/5)及控制信號垂直同步(VSYNC)、水平同步(HSYNC)、像素時鐘(PCLK)及啟用(EN)的信號33。

此外，AM335x還具有必要的內(nèi)建功能性以與攝像機(或圖像傳感器)14介接，且攝像機(或圖像傳感器)14可為CMOS數(shù)字圖像傳感器。用于優(yōu)選實施例中的Aptina成像MT9T001P12STC CMOS數(shù)字圖像傳感器14是具有HD(高清晰度)視頻捕獲能力的3百萬像素傳感器?？舍槍笮　⑵毓?、增益設(shè)置、電子平移(放大、縮小)及其它參數(shù)對攝像機(或圖像傳感器14)進行編程。攝像機(或圖像傳感器)14使用AM335x(微處理器32)的通用存儲器控制器(GPMC)特征34執(zhí)行所捕獲的視頻到呈512MB DDR3L(DDR3低電壓)DRAM(動態(tài)隨機存取存儲器)36的示范性形式的存儲器36的DMA(直接存儲器存取)轉(zhuǎn)移。DDR3或雙倍數(shù)據(jù)速率類型的三同步動態(tài)隨機存取存儲器是具有高帶寬接口的現(xiàn)代類型的DRAM。AM335x提供16位多路復(fù)用雙向地址及數(shù)據(jù)總線(GPMC/16)，所述數(shù)據(jù)總線用于將流式攝像機視頻數(shù)據(jù)轉(zhuǎn)移到512MB的DDR3L DRAM且用于轉(zhuǎn)移GPMC控制信號，其包含時鐘(GPMC_CLK)、地址有效/地址鎖存啟用(GPMC_ADV)、輸出啟用/讀取啟用(GPMC_OE)、寫入啟用(GPMC_WE)、芯片選擇(GPMC_CS1)及DMA請求(GPMC_DMAR)。

針對按鈕按下，由十二條通用輸入/輸出線、GPIO/10及GPIO/2掃描操作員控制件20及操作員焦點控制件16的觸覺反饋按鈕。如果按鈕被按下，那么中斷信號(INTR0)35發(fā)信號到微處理器32以確定哪個按鈕被按下。

嵌入式Linux操作系統(tǒng)、啟動加載器及文件系統(tǒng)以及介導(dǎo)現(xiàn)實應(yīng)用軟件被存儲于呈2千兆字節(jié)eMMC(嵌入式多媒體卡)存儲器的示范性形式的存儲器37中。存儲器37是促進介導(dǎo)現(xiàn)實應(yīng)用軟件的存儲及執(zhí)行的非暫時性計算機可讀媒體。提供通用串行總線(USB)主機控制器38以與主機系統(tǒng)(例如，膝上型個人計算機)進行通信以用于診斷、維護、特征增強及固件升級。此外，微型安全數(shù)字(uSD)卡接口39集成到匣中，且提供用于記錄介導(dǎo)現(xiàn)實焊接視頻、特征及固件升級的可裝卸非易失性存儲裝置。

實時流式視頻應(yīng)用在計算上要求較高。如上文所論述，本發(fā)明的優(yōu)選實施例依賴于將ARM處理器用于微處理器32。然而，替代優(yōu)選實施例可結(jié)合ARM處理器使用單核或多核數(shù)字信號處理器(DSP)以卸載計算密集型圖像處理操作。數(shù)字信號處理器是專用微處理器，其架構(gòu)針對信號處理應(yīng)用的操作需要進行優(yōu)化。數(shù)字信號處理算法通常需要對一系列數(shù)據(jù)樣本快速且重復(fù)地執(zhí)行大量數(shù)學(xué)運算。信號(可能來自音頻或視頻傳感器)被不斷地從模擬形式轉(zhuǎn)換成數(shù)字形式，以數(shù)字方式操縱，且接著從數(shù)字形式轉(zhuǎn)換回到模擬形式。許多DSP應(yīng)用對延時具有約束；即，為使系統(tǒng)運轉(zhuǎn)，DSP操作必須在某一固定時間內(nèi)完成，且延期(或分批)處理是不可行的。德州儀器C667x DSP系列是可用于替代優(yōu)選實施例中的DSP的類型及種類的實例。

除ARM處理器及DSP外，加速器芯片上系統(tǒng)(SoC)可用于優(yōu)選實施例的框架內(nèi)以提供替代優(yōu)選實施例。專用加速器芯片上系統(tǒng)模塊的實例包含特定編碼解碼器的編碼譯碼器。編碼解碼器是能夠?qū)?shù)字?jǐn)?shù)據(jù)流或信號編碼或解碼的裝置或軟件。編碼解碼器對數(shù)據(jù)流或信號編碼以用于發(fā)射、存儲或加密或?qū)ζ浣獯a以用于回放或編輯。編碼解碼器用于視頻會議、流式媒體及視頻編輯應(yīng)用。用于介導(dǎo)現(xiàn)實匣的計算機硬件可取決于性能及特征而要求包含ARM、DSP及SoC硬件組件的任何組合。此外，包含但不限于平視顯示器等等的不同類型的攝像機及顯示器可由于優(yōu)選實施例中。

圖7A及7B涉及在優(yōu)選實施例中的發(fā)生以捕獲、處理及顯示介導(dǎo)現(xiàn)實焊接流式視頻的動作的流程圖。所述處理在框40處在系統(tǒng)初始化、嵌入式Linux操作系統(tǒng)啟動及介導(dǎo)現(xiàn)實焊接應(yīng)用軟件加載之后開始。在框41處，由攝像機(或圖像傳感器)14捕獲一或多個視頻幀并將其存儲于存儲器36中。在框42處，為針對操作員頭部移動進行調(diào)整，使用視頻穩(wěn)定化算法。視頻穩(wěn)定算法使用塊匹配或光學(xué)流處理存儲器36中的幀并將結(jié)果存儲于其中。

在框43處，使用簡單的運動檢測算法確定操作員的焊槍及手套是否出現(xiàn)于幀中(圖10D)。如果在框44處確定焊槍及手套出現(xiàn)于幀中，那么過程從框44繼續(xù)到框45，在框45處，執(zhí)行用于從被焊接的材料的背景圖像提取RGB焊槍及手套前景圖像的算法。在框47處，將所提取的RGB焊槍及手套參考圖像(圖14C)存儲于緩沖器中以用于進一步處理。如果在框44處確定未檢測到焊槍及手套圖像(即，焊槍及手套不出現(xiàn)于幀中)，那么過程從框44繼續(xù)到框46，在框46處，將當(dāng)前圖像存儲于緩沖器中作為RGB參考圖像(圖10A)以在框54處用于合成算法中。

在框48處計算亮度。亮度計算用于確定焊接弧何時致使面罩暗度從亮轉(zhuǎn)變到暗(圖10A及10B)。如果在框50處確定亮度小于閾值，那么重復(fù)框41到50。否則，如果在框50處確定亮度大于閾值，那么視頻幀捕獲在框51處繼續(xù)。

取代在框48處以軟件使用亮度計算執(zhí)行框51到57，可在焊接面罩暗度從亮轉(zhuǎn)變到暗時使用硬件中斷。焊接面罩自動變光濾光鏡具有現(xiàn)有光學(xué)感測電路，其檢測從亮到暗的轉(zhuǎn)變且可提供運行執(zhí)行框51到57的中斷例程的中斷。

如所論述，如果在框50處確定亮度大于閾值，那么視頻幀捕獲在框51處繼續(xù)。在框51處，由攝像機(或圖像傳感器)14捕獲一或多個視頻幀并將其存儲于存儲器36中。在框53處，為針對操作員頭部移動進行調(diào)整，使用視頻穩(wěn)定化算法(例如，塊匹配或光學(xué)流)以處理存儲器36中的幀并將結(jié)果存儲于其中。

在框54處，將當(dāng)前捕獲的RGB幀(圖10B)與RGB合成參考圖像(圖10A)進行合成。合成過程允許兩個圖像混合在一起。在介導(dǎo)現(xiàn)實焊接的情況中，將RGB參考圖像用于合成。此參考圖像是在焊接弧使暗度變暗之前已知的不具有由攝像機(或圖像傳感器)14所捕獲的焊槍及手套的最后亮圖像(圖10A)。一旦暗度變暗，那么攝像機(或圖像傳感器)14逐幀捕獲暗圖像(圖10B)且將暗圖像與亮參考圖像進行合成。結(jié)果是，暗圖像現(xiàn)在作為在焊接操作期間極大地改進操作員可視性的焊接弧之前的亮圖像在顯示器屏幕19上顯示給操作員。此時，亮圖像(圖10C)缺乏焊槍及手套(圖10D)。在框55處，通過在當(dāng)前暗圖像(圖10B)的焊接熔池上使用二元掩模(圖12A)，焊接熔池(圖12B)的質(zhì)心可用于計算將提供某一位置的向量(wx,wy)，在框56處，可在所述位置處將來自所提取的焊槍及手套參考圖像(圖14B、14C)的焊槍尖端的中心添加回到當(dāng)前合成圖像(圖10C)中。在框57處，在顯示器屏幕19上將所得圖像(圖16)顯示給操作員，且在框50處，開始重復(fù)過程。

實時流式視頻應(yīng)用是計算密集型的。圖8說明通過并行執(zhí)行焊接向量計算55、圖像合成54及焊槍及手套插入56的動作以促進在框57處顯示所得圖像的圖7A及7B的替代優(yōu)選實施例。這可使用由操作系統(tǒng)搶先調(diào)度的多個獨立過程以軟件實現(xiàn)，或可使用單核或多核ARM處理器或?qū)D像處理操作卸載到專用單核或多核DSP上以硬件實施。也可使用軟件與專用硬件的組合。當(dāng)可能時，實時視頻流的并行處理將增加系統(tǒng)性能并減少在焊接操作期間由操作員潛在經(jīng)歷的在顯示器屏幕19上的延時。此外，還期望用于減少顯示器屏幕19上的延時的涉及參考圖像的任何預(yù)處理操作。

在圖9中展示將當(dāng)前暗圖像(圖10B)與在引入焊槍及手套(圖10D)之前的最后亮參考圖像(圖10A)合成于視頻幀中的詳細(xì)動作。合成是將來自單獨源的視覺元素組合到單個圖像中，通常用于產(chǎn)生全部那些元素是相同場景的部分的錯覺。由攝像機(或圖像傳感器)14捕獲的視頻幀可被分類為“亮”幀及“暗”幀?！傲痢睅侨缬珊附用嬲肿詣幼児鉃V光鏡在由操作員觸發(fā)焊槍以開始焊接操作之前所見的圖像。“暗”幀是如由自動變光濾光鏡在由操作員觸發(fā)焊槍以開始焊接操作之后所見的圖像。選擇參考背景圖像(圖10A)來合成“暗”幀(圖10B)以使其在焊接操作期間呈現(xiàn)為“亮”幀以極大改進操作員的視覺環(huán)境。每一“暗”幀與參考圖像(圖10C)合成且被保存以用于進一步處理。

所選擇的特定參考圖像是在焊槍及操作員的手套開始在下一幀中顯露之前可用的最后亮幀(圖10A)。檢查在框46及47處所存儲的幀的緩沖器以檢測焊槍及手套的存在，使得可實現(xiàn)參考圖像的實時選擇。一旦焊槍被觸發(fā)，就在實時流式視頻處理中使用所保存的合成參考圖像(圖10A)及焊槍及手套參考圖像(圖10D)。中斷驅(qū)動方法(其中由自動變光傳感器在從“亮”到“暗”的轉(zhuǎn)變時產(chǎn)生中斷)可調(diào)用中斷處置器，其可保存含有焊槍及手套的最后“亮”圖像。

在圖9中，合成過程在框58處開始，且在框59處獲得當(dāng)前暗圖像B(圖10B)?？?0通過讀取當(dāng)前圖像B(圖10B)及來自框61的參考圖像F(圖10A)兩者中的每一RGB像素開始?？?2在逐像素基礎(chǔ)上使用(在框63處被存儲于存儲器中的)合成阿爾法值α及方程式C＝(1-α)B+αF執(zhí)行合成。在框64處，將合成像素C存儲于存儲器中。如果在框65處確定需要處理當(dāng)前RGB圖像中的更多像素，那么過程在框60處繼續(xù)；否則，在框66處將合成圖像(圖10C)保存到存儲器中以用于進一步處理。圖9的合成過程在67處結(jié)束直到需要合成下一幀。

圖11A、11B及11C揭示在優(yōu)選實施例中的發(fā)生以產(chǎn)生焊接熔池向量用于由介導(dǎo)現(xiàn)實焊接流式視頻進一步處理的動作的流程圖。雖然合成視頻極大增強操作員的視覺焊接體驗的發(fā)光度，但主要缺乏例如焊槍及手套的細(xì)節(jié)。此外，焊接熔池本身是圖像的最亮部分，正如以前一樣。因為最后“亮”焊槍及手套圖像(圖10D)是剩余的可用于添加回到合成視頻中的唯一“亮”圖像，所以需要從此圖像提取焊槍及手套且使其與焊接熔池一起移動。可通過對每一幀使用二元閾值以隔離焊接熔池，接著測量所得圖像區(qū)域的數(shù)學(xué)性質(zhì)，且接著計算質(zhì)心以確定焊接熔池中心的x及y坐標(biāo)而有利地使用明亮的焊接熔池。

質(zhì)心是指定區(qū)域質(zhì)量的幾何中心的向量。應(yīng)注意，質(zhì)心的第一元素是質(zhì)量中心的水平坐標(biāo)(或x坐標(biāo))，且第二元素是質(zhì)量中心的垂直坐標(biāo)(或y坐標(biāo))。質(zhì)心的全部其它元素是按尺寸順序。針對每一幀計算質(zhì)心，且其用于構(gòu)造焊接熔池移動的x-y向量。此向量將隨后用于添加回移動中的圖像上的焊槍及手套圖像，以允許焊槍及手套與焊接熔池一起移動。在圖12A、12B及12C中展示此操作的結(jié)果。

此外，通過測量焊接熔池面積，有可能改進對操作員的關(guān)于焊接質(zhì)量的反饋。顯示給操作員的有用信息還可包含：1)焊接速度、2)焊接深度、3)焊接溫度及4)從焊槍尖端到材料的距離。全部這些前述因素對焊接質(zhì)量有極大影響。

在圖11中，焊接熔池向量的計算在框68處開始。在框69處，從存儲器36讀取當(dāng)前RGB暗圖像(圖10B)，且在框70處，將RGB暗圖像(圖10B)轉(zhuǎn)換成灰度圖像。將圖像轉(zhuǎn)換成灰度以便允許通過算法進行更快的處理。當(dāng)將RGB圖像轉(zhuǎn)換成灰度時，獲得每一像素的RGB值，且產(chǎn)生反映那個像素的亮度的單個值。一種此方法是從每一通道獲得貢獻平均值：(R+G+B)/3。然而，因為所感知的亮度通常是由綠色分量主導(dǎo)，所以一種不同的更“人性化”的方法是獲得加權(quán)平均值：0.3R+0.59G+0.11B。因為圖像將被轉(zhuǎn)換成二元(即，每一像素將會是黑色或白色)，所以可使用公式(R+G+B)/3。隨著每一RGB像素在框70處被轉(zhuǎn)換成灰度像素，在框71中，將灰度圖像存儲到存儲器36中。如果在框72處確定在RGB圖像中存在更多像素待被轉(zhuǎn)換72，那么處理在框70處繼續(xù)；否則，已經(jīng)完成RGB到灰度轉(zhuǎn)換。

在轉(zhuǎn)換到灰度之后，接著需要在框74處開始將圖像從灰度轉(zhuǎn)換成二元。將圖像轉(zhuǎn)換成二元通常用于找出ROI(所關(guān)注區(qū)域)，其是為進一步處理而關(guān)注的圖像的部分。意向是二元的，“是的，此像素是所關(guān)注像素”或“不是，此像素不是所關(guān)注像素”。在檢測斑點(blob)時此變換是有用的，且其減少計算復(fù)雜性。在框74處，比較每一灰度像素值(0到255)與來自框73的存儲器中所含的閾值。如果在框74處確定灰度像素值大于閾值，那么在框76處將當(dāng)前像素設(shè)置為0(黑色)；否則，在框75處將當(dāng)前像素設(shè)置為255(白色)。在框77處，逐像素地存儲轉(zhuǎn)換的結(jié)果直到在框78處已將全部灰度像素轉(zhuǎn)換成二元像素。

在框80處，對所得二元圖像執(zhí)行接下來的數(shù)學(xué)運算。一旦已通過將圖像轉(zhuǎn)換成二元檢測到區(qū)域邊界，測量未由邊界分隔的區(qū)域就是有用的。未由邊界分隔的任何像素集合被稱為連接的。所連接的像素的每一最大區(qū)域被稱為經(jīng)連接的分量，其中經(jīng)連接的分量的集合將圖像劃分成片段。在框81處確定所得二元圖像中的經(jīng)連接的分量的情況可為直截了當(dāng)?shù)?，這是因為焊接熔池通常產(chǎn)生最大的經(jīng)連接的分量。在框82處，可通過測量每一經(jīng)連接的分量的面積來實現(xiàn)檢測。然而，為使處理加速，算法使用閾值以進一步測量或忽略其中具有某一數(shù)目個像素的分量。接著，在框83處，操作通過從二元圖像移除較小對象來快速識別二元圖像中的焊接熔池。在框84處，過程繼續(xù)直到二元圖像中的全部像素都被檢驗。此時，在框85處，計算焊接熔池的質(zhì)心。質(zhì)心是通過計算形狀中的全部點的算術(shù)平均位置的二維區(qū)域的幾何中心。圖12A展示檢測到的焊接熔池及處于所述焊接熔池的中間中的質(zhì)心的二元圖像、所得區(qū)域。圖12B說明疊加于被處理的圖像上的焊接熔池的面積及對應(yīng)質(zhì)心。在框86處，將當(dāng)前焊接熔池質(zhì)心(wx,wy)存儲到存儲器36中以用于進一步處理，且在框87處，已完成計算算法直到下一圖像被處理。出于說明目的，圖12C標(biāo)繪在圖5中所展示的簡單的焊接操作的焊接向量。在優(yōu)選實施例的實時流式視頻應(yīng)用中，每一向量計算在其隨后出現(xiàn)于處理動作中時被單獨使用。

圖13A、13B及13C從最后“亮”焊槍及手套圖像提取焊槍及手套。圖10D是剩余的可用于添加回到合成視頻中的唯一“亮”圖像。使用以下過程提取焊槍及手套：1)使用i)將焊槍及手套(圖10D)引入到下一幀中之前的最后背景參考圖像(圖10A)，且接著ii)減去最后“亮”焊槍及手套圖像(圖14A)，來使前景圖像減去背景圖像；2)二元閾值化所減去的圖像以針對焊槍及手套(圖14B)的提取產(chǎn)生掩模；及3)提取RGB焊槍及手套圖像。在圖14C中展示結(jié)果。計算所得圖像的質(zhì)心。此初始質(zhì)心(ix,iy)將用于獲得焊槍及手套且使其沿著焊接熔池向量(wx,wy)移動以產(chǎn)生介導(dǎo)現(xiàn)實焊接流式視頻(圖16)所需的計算中。

在圖13A中，在框88處開始，在框91處從存儲器36讀取RGB焊槍及手套參考圖像(圖10D)，且將所述RGB焊槍及手套參考圖像(圖10D)轉(zhuǎn)換成如先前在框90處所論述的灰度圖像。在框89處，將結(jié)果作為前景(fg)圖像存儲回到存儲器36中。在框95處，從存儲器36讀取合成的RGB參考圖像(圖10A)，在框94處將所述合成的RGB參考圖像轉(zhuǎn)換成灰度圖像，且在框93處將灰度圖像存儲回到存儲器36中。在框92處，計算前景(fg)圖像減去背景(bg)圖像的絕對值(圖14A)，從而提取焊槍及手套用于在框97處進一步處理。在框98處，通過從存儲器36讀取閾值將所提取的圖像轉(zhuǎn)換成二元圖像(圖14B)，且在框97處，比較灰度圖像中的像素。如果灰度像素大于閾值，那么在框99處將像素設(shè)置為白色，否則在框96處將像素設(shè)置為黑色。在框100處，逐像素地存儲結(jié)果作為二元掩模直到在框101處將全部灰度像素被轉(zhuǎn)換成二元像素。如果轉(zhuǎn)換完成，那么處理繼續(xù)到圖13B；否則，處理在框97處繼續(xù)。

接著，在圖13B中，從存儲器36讀取且通過框103獲得來自框104的焊槍及手套RGB參考圖像(圖10D)，且從存儲器36讀取且通過框105獲得來自框106的焊槍及手套二元掩模(圖14B)。為提取RGB焊槍及手套，從存儲器36讀取且通過框109獲得二元掩模。接著，在框108處開始將所提取的RGB焊槍及手套放置于白色背景上，其中按行及列(r，c)處理每一RGB及掩模像素。如果在框108處確定二元掩模中的當(dāng)前像素是白色，那么在框107處將來自RGB圖像的對應(yīng)像素放置于所提取的圖像中；否則，在框110處將RGB圖像中的像素設(shè)置為白色。接著，在框111處，存儲經(jīng)處理的每一像素，且如果在框112處確定在RGB圖像中存在更多像素，那么處理在框108處繼續(xù)；否則，無需處理更多像素且算法在框113處結(jié)束。圖13A及13B的算法的結(jié)果產(chǎn)生所提取的焊槍及手套RGB圖像圖14C。

在準(zhǔn)備所提取的圖像供隨后使用時的最后動作是使用質(zhì)心計算焊槍的尖端的位置。執(zhí)行一次圖13C的算法以確定所述質(zhì)心。在圖13C中，動作114到121類似于先前已論述的圖11B的動作80到85。在框122處，存儲所提取的焊槍及手套圖像的初始質(zhì)心(ix,iy)，且處理在框123處結(jié)束。出于說明目的，質(zhì)心被疊加于圖14A到14C上。所屬領(lǐng)域的一般技術(shù)人員應(yīng)了解，例如視頻修復(fù)、紋理合成或摳圖等等的技術(shù)可用于前述算法(圖13A、13B)中以實現(xiàn)相同結(jié)果。

在圖15A及15B中描繪用于產(chǎn)生實時介導(dǎo)現(xiàn)實焊接流式視頻的動作。在圖15A中，在框124處開始，從存儲器36讀取且通過框126獲得來自框127的所提取的RGB焊槍及手套圖像(x)及來自125的初始質(zhì)心(ix,iy)。從存儲器36讀取且通過框128獲得來自框129的當(dāng)前焊接熔池向量(wx,wy)。從存儲器36讀取且通過框128獲得來自框137的當(dāng)前圖像(CI)。在框130處，計算確定應(yīng)將焊槍及手套放置于當(dāng)前合成幀(CI)上的何處的x-y坐標(biāo)(bx、by)值?？?30處的計算從初始x-y焊槍及手套向量減去當(dāng)前合成幀的x-y焊接熔池向量：bx＝wx–ix及by＝wy–iy。需要這些向量來調(diào)整焊槍及手套圖像，使得可將其插入到當(dāng)前合成幀(CI)中。所提取的焊槍及手套圖像的列調(diào)整在框131處開始。如果在框131處確定bx等于零，那么在131處無需對列進行處理，且焊槍及手套圖像的列調(diào)整完成，且處理繼續(xù)到圖15B。如果在框131處確定bx不等于零，那么需對列進行調(diào)整。在框132處確定調(diào)整的類型。如果在框132處確定bx小于零，那么在框133處，從左前部的焊槍及手套參考圖像x減去像素列bx，且在框134處將白色像素列bx添加到右前部的圖像x，從而保證經(jīng)調(diào)整的焊槍及手套圖像大小與原始圖像大小相同。否則，在框135處，將白色像素列bx添加到左前部的圖像x，且在框136處，從右前部的焊槍及手套參考圖像x減去像素列bx。接著，焊槍及手套圖像的列調(diào)整完成，且處理繼續(xù)到圖15B。

在圖15B中，所提取的焊槍及手套圖像的行調(diào)整在框138處開始。如果在框138處確定by等于零，那么無需對行進行處理，且焊槍及手套圖像的行調(diào)整完成且處理繼續(xù)到框144。如果在框138處確定by不等于零，那么需要對行進行調(diào)整。在框139處確定調(diào)整的類型。如果在框139處確定by小于零，那么在框140處將白色像素行by添加到圖像x的底部，且在框141處從焊槍及手套參考圖像x的頂部減去像素行by。否則，在框142處，將白色像素行by添加到圖像x的頂部，且在框143處，從焊槍及手套參考圖像x的底部減去像素行by。接著，焊槍及手套圖像的行調(diào)整完成且處理繼續(xù)到框144。

在框144處開始將經(jīng)調(diào)整的焊槍及手套RGB圖像放置回到當(dāng)前合成圖像(ci)上。按行(r)及列(c)讀取兩個圖像(x、ci)的像素。如果在框144處確定經(jīng)調(diào)整的焊槍及手套圖像x的當(dāng)前像素并非是白色像素，那么在框145處使用公式ci(r,c)＝x(r,c)用來自焊槍手套圖像的像素代替當(dāng)前合成圖像(ci)上的像素，且在框146處將所得像素r存儲于存儲器36中。否則，如果在框144處確定經(jīng)調(diào)整的焊槍及手套圖像x的當(dāng)前像素是白色像素，那么像素代替是不必要的，且在框146處，將當(dāng)前合成像素ci存儲于存儲器36中。如果在框147處確定存在更多待處理的像素，那么算法在框144處繼續(xù)；否則，在框148處，在顯示器屏幕19上將介導(dǎo)現(xiàn)實視頻幀顯示給操作員，且過程在框149處結(jié)束，且等待下一合成圖像幀(CI)。所屬領(lǐng)域的一般技術(shù)人員應(yīng)了解，例如視頻修復(fù)、紋理合成、摳圖等等的技術(shù)可用于前述算法(圖15A及15B)中以實現(xiàn)相同結(jié)果。

針對每一攝像機(或圖像傳感器)幀實時執(zhí)行圖7A、7B、8、9、11A、11B、13A、13B、13C、15A及15B以便在逐幀基礎(chǔ)上顯示流式視頻。

可在不偏離本發(fā)明的情況下，互換使用不同實施例的各種元件。此外，所屬領(lǐng)域的技術(shù)人員從對說明書的考慮及本文中所揭示的本發(fā)明的實踐將明白本發(fā)明的其它實施例。希望將說明書及實例認(rèn)為僅是示范性的，其中由所附權(quán)利要求書指示本發(fā)明的真正范圍及精神。