本發(fā)明涉及復雜機電產(chǎn)品的虛擬裝配設計領域，尤其涉及一種剛柔混合系統(tǒng)虛擬裝配系統(tǒng)及其虛擬裝配方法。
背景技術：
：復雜的精密機電產(chǎn)品中零部件的設計制造裝配難度很高，尤其是內(nèi)部剛性機械結構件與諸如電纜之類的柔性結構件之間的接口匹配要求非常嚴格，設計過程中的毫厘之差便可導致整個產(chǎn)品返工。目前復雜機電產(chǎn)品設計過程中，暴露出的諸如電纜之類的柔性零部件由于設計時未考慮最終的裝配，造成設計長度不足等問題，以致返工導致產(chǎn)品研發(fā)周期和成本大幅增加。大部分企業(yè)解決剛柔混合系統(tǒng)的設計制造裝配問題，仍然通過在制造環(huán)節(jié)進行反復的樣件試制和試安裝來保證工藝指標達到設計要求，這一過程存在成本高、周期長、易反復等缺陷。因此，有必要將剛柔混合系統(tǒng)的設計試錯過程從制造環(huán)節(jié)前移至設計階段，急需提供一種虛擬裝配系統(tǒng)來滿足設計階段的虛擬裝配要求。技術實現(xiàn)要素：本發(fā)明提供一種剛柔混合系統(tǒng)虛擬裝配系統(tǒng)及其虛擬裝配方法，在設計端建立虛擬裝配環(huán)境，利用計算機視覺技術實現(xiàn)自然方式下的人機交互，在構建的虛擬裝配仿真環(huán)境中，逼真地再現(xiàn)復雜機電產(chǎn)品的實際裝配過程，為操作員提供了設計方案預先驗證的條件，對于設計方案中可能存在影響產(chǎn)品最終裝配的缺陷做到及早發(fā)現(xiàn)并更改，從而提高工藝及制造環(huán)節(jié)的效率。為了達到上述目的，本發(fā)明提供一種剛柔混合系統(tǒng)虛擬裝配系統(tǒng)，包含：支架，以及設置在支架上的動作跟蹤系統(tǒng)和裝配環(huán)境虛擬系統(tǒng)；所述的支架用于固定虛擬裝配系統(tǒng)中的其他器件，該支架具有操作面；所述的動作跟蹤系統(tǒng)包含可見光視覺交互子系統(tǒng)、紅外光視覺交互子系統(tǒng)和視覺處理器；所述的可見光視覺交互子系統(tǒng)包含可見光攝像機組和多個可見光標記；所述的可見光標記設置在操作員的各個手指處；所述的可見光攝像機組用于捕獲可見光標記進行視覺定位，可見光攝像機組的安裝位置需要保證可見光攝像機的可視范圍覆蓋整個支架操作面；所述的紅外光視覺交互子系統(tǒng)包含紅外攝像機組和多個紅外標記；所述的紅外標記設置在操作員的各個手指處；所述的紅外攝像機組用于捕獲紅外標記進行視覺定位，紅外攝像機組的安裝位置需要保證紅外攝像機的可視范圍覆蓋整個支架操作面；所述的視覺處理器設置在支架上，電性連接光攝像機組和紅外攝像機組，該視覺處理器中裝載定位信息融合子系統(tǒng)，用于處理可見光定位信息和紅外光定位信息，并將兩種定位信息進行融合；所述的裝配環(huán)境虛擬系統(tǒng)包含裝配環(huán)境顯示處理器和沉浸式虛擬現(xiàn)實頭盔；所述的裝配環(huán)境顯示處理器設置在支架上，電性連接視覺處理器，用于根據(jù)融合的定位信息生成剛柔混合系統(tǒng)的虛擬裝配環(huán)境；所述的沉浸式虛擬現(xiàn)實頭盔電性連接裝配環(huán)境顯示處理器，用于為操作員三維立體顯示剛柔混合系統(tǒng)的虛擬裝配環(huán)境。所述的可見光攝像機組包含三個可見光攝像機，該三個可見光攝像機按照三軸兩兩垂直的方式固定設置在支架上。所述的紅外攝像機組包含兩個紅外攝像機，兩個紅外攝像機對稱固定設置在支架上。所述的裝配環(huán)境虛擬系統(tǒng)還包含顯示裝置，其電性連接裝配環(huán)境顯示處理器，用于為其他未佩戴沉浸式虛擬現(xiàn)實頭盔的人員顯示虛擬裝配過程。本發(fā)明還提供一種剛柔混合系統(tǒng)虛擬裝配方法，包含以下步驟：步驟S1、紅外光視覺交互子系統(tǒng)采集紅外標記的空間位置，獲得紅外定位信息；采用兩個對稱設置的紅外攝像機作為圖像捕獲設備，對紅外標記進行檢測，利用雙目定位算法計算紅外標記的空間位置；步驟S2、可見光視覺交互子系統(tǒng)采集可見光標記的空間位置，獲得可見光定位信息；采用三個三軸兩兩垂直設置的可見光攝像機作為圖像捕獲設備，對可見光標記進行檢測，利用三軸定位算法計算可見光標記的空間位置；步驟S3、視覺處理器中的定位信息融合子系統(tǒng)對紅外定位信息和可見光定位信息進行融合，生成操作員各個手指的空間位置，獲得手部定位信息；步驟S4、裝配環(huán)境顯示處理器根據(jù)融合的手部定位信息生成剛柔混合系統(tǒng)的虛擬裝配環(huán)境，以人機交互的形式在剛柔混合系統(tǒng)的虛擬裝配環(huán)境中完成對剛性零部件以及柔性電纜的安裝。所述的步驟S2中，可見光視覺交互子系統(tǒng)采集可見光標記的空間位置的方法包含以下步驟：步驟S2.1、選擇可見光標記的顏色；選定亮度色度空間YCrCb作為標記檢測的顏色空間，在此顏色空間中在膚色范圍之外選取顏色作為可見光標記；步驟S2.2、利用三軸位置循環(huán)迭代定位算法計算可見光標記的空間位置。所述的步驟S2.2中，利用三軸位置循環(huán)迭代定位算法計算可見光標記的空間位置的方法具體包含以下步驟：分別將三個可見光攝像機記為C1、C2、C3，分別沿X、Y、Z軸以兩兩垂直的方式進行布置，且三臺攝像機至原點的距離分別為S1、S2、S3，可見光目標在C1、C2、C3的成像平面中的坐標分別為目標在三臺攝像機中進行第t次迭代計算所得到的空間位置值分別為t次迭代后輸出的目標坐標值為(xt,yt,zt)；步驟S2.2.1、給定迭代初值，可見光攝像機準備捕獲可見光標記；給定循環(huán)迭代算法的迭代初值(x0,y0,z0)；令步驟S2.2.2、判斷是否有可見光攝像機捕獲到可見光標記的圖像，若至少一臺可見光攝像機捕獲到可見光標記，則記錄可見光標記的圖像坐標，然后進行步驟S2.2.3，沒有捕獲到可見光標記的可見光攝像機則繼續(xù)等待捕獲下一幀圖像以判斷是否捕獲到可見光標記的圖像；步驟S2.2.3、根據(jù)可見光攝像機捕獲的可見光標記的圖像坐標，進行坐標循環(huán)迭代，逼近可見光標記在三維空間中的真實位置值；假設第t-1次迭代得到目標坐標值為(xt-1,yt-1,zt-1)，則對第t次跌代，有：①C1攝像機中，由沿X軸的坐標值xt-1以及目標的圖像坐標根據(jù)攝像機成像原理得到：ytC1=(S1-xt-1)·yimgC1/fyC1ztC1=(S1-xt-1)·zimgC1/fzC1---(1)]]>其中，和是攝像機C1的焦距；若C1未檢測到目標，則保持和的值不變，有：ytC1=yt-1C1ztC1=zt-1C1---(2)]]>②C2攝像機中，應用以及目標的圖像坐標得到：ztC2=(S2-ytC1)·zimgC2/fzC2xtC2=(S2-ytC1)·ximgC2/fxC2---(3)]]>其中，和是攝像機C2的焦距；若C2未檢測到目標，則保持和的值不變，有：ztC2=zt-1C2xtC2=xt-1C2---(4)]]>③C3攝像機中，應用以及目標的圖像坐標得到：xtC3=(P3-ztC2)·ximgC3/fxC3ytC3=(P3-ztC2)·yimgC3/fyC3---(5)]]>其中，和是攝像機C3的焦距；若C3未檢測到目標，保持和的值不變，xtC3=xt-1C3ytC3=yt-1C3---(6)]]>④將由C1攝像機、C2攝像機、C3攝像機所得到的三維位置值取平均，有：xt=(xtC2+xtC3)/2yt=(ytC1+ytC3)/2zt=(ztC1+ztC2)/2---(7)]]>持續(xù)迭代，直至(xt,yt,zt)滿足：則將(xt,yt,zt)作為位置循環(huán)迭代的輸出值，并結束迭代，進行下一幀圖像中可見光標記的定位。所述的步驟S3中，視覺處理器中的定位信息融合子系統(tǒng)對紅外定位信息和可見光定位信息進行融合的方法包含：當僅有紅外攝像機檢測到紅外標記時，以紅外定位信息作為定位信息融合子系統(tǒng)的輸出；當僅有可見光攝像機檢測到可見光標記時，以可見光定位信息作為定位信息融合子系統(tǒng)的輸出；當紅外攝像機與可見光攝像機均檢測到標記時，以紅外定位信息和可見光定位信息的均值作為定位信息融合子系統(tǒng)的輸出。本發(fā)明建立剛柔混合系統(tǒng)的虛擬裝配環(huán)境，搭建基于計算機視覺技術的動作跟蹤系統(tǒng)，在操作員的手部佩戴相應的標記，通過捕獲標記獲取操作員的手部動作，實現(xiàn)基于手勢的柔性電纜拖動以及剛性結構件移動等操作。本發(fā)明在設計端建立虛擬裝配環(huán)境，利用計算機視覺技術實現(xiàn)自然方式下的人機交互，在構建的虛擬裝配仿真環(huán)境中，逼真地再現(xiàn)復雜機電產(chǎn)品的實際裝配過程，為操作員提供了設計方案預先驗證的條件，對于設計方案中可能存在影響產(chǎn)品最終裝配的缺陷做到及早發(fā)現(xiàn)并更改，從而提高工藝及制造環(huán)節(jié)的效率。附圖說明圖1是本發(fā)明提供的剛柔混合系統(tǒng)虛擬裝配系統(tǒng)的結構示意圖。圖2是本發(fā)明提供的一種剛柔混合系統(tǒng)虛擬裝配方法的流程圖。圖3是基于紅外標記的視覺交互子系統(tǒng)工作原理圖。圖4是可見光標記顏色圖。圖5是可見光攝像機組布置方式圖。圖6是三軸位置循環(huán)迭代定位算法的坐標系示意圖。具體實施方式以下根據(jù)圖1～圖6，具體說明本發(fā)明的較佳實施例。如圖1所示，本發(fā)明提供一種剛柔混合系統(tǒng)虛擬裝配系統(tǒng)，包含：支架1，以及設置在支架1上的動作跟蹤系統(tǒng)和裝配環(huán)境虛擬系統(tǒng)。所述的支架1用于固定虛擬裝配系統(tǒng)中的其他器件，該支架1具有操作面101；該支架1上可以設置滾輪等移動組件，便于支架1的整體移動。所述的動作跟蹤系統(tǒng)包含可見光視覺交互子系統(tǒng)、紅外光視覺交互子系統(tǒng)和視覺處理器4。所述的可見光視覺交互子系統(tǒng)包含多個可見光標記和可見光攝像機組2。所述的可見光標記(圖中未顯示)設置在操作員的各個手指處。所述的可見光攝像機組2用于捕獲可見光標記進行視覺定位，該可見光攝像機組2包含三個可見光攝像機，該三個可見光攝像機按照三軸兩兩垂直的方式固定設置在支架1上，可見光攝像機組的安裝位置需要保證可見光攝像機的可視范圍覆蓋整個支架操作面。所述的紅外光視覺交互子系統(tǒng)包含多個紅外標記和紅外攝像機組3。所述的紅外標記(圖中未顯示)設置在操作員的各個手指處。所述的紅外攝像機組3用于捕獲紅外標記進行視覺定位，該紅外攝像機組3包含兩個紅外攝像機，兩個紅外攝像機對稱固定設置在支架1上，紅外攝像機組3的安裝位置需要保證紅外攝像機的可視范圍覆蓋整個支架操作面。所述的視覺處理器4設置在支架1上，電性連接光攝像機組2和紅外攝像機組3，該視覺處理器4中裝載定位信息融合子系統(tǒng)，用于處理可見光定位信息和紅外光定位信息，并將兩種定位信息進行融合。所述的裝配環(huán)境虛擬系統(tǒng)包含裝配環(huán)境顯示處理器5、沉浸式虛擬現(xiàn)實頭盔6和顯示裝置7。所述的裝配環(huán)境顯示處理器5設置在支架1上，電性連接視覺處理器4，用于根據(jù)融合的定位信息生成剛柔混合系統(tǒng)的虛擬裝配環(huán)境。所述的沉浸式虛擬現(xiàn)實頭盔6電性連接裝配環(huán)境顯示處理器5，用于為操作員三維立體顯示剛柔混合系統(tǒng)的虛擬裝配環(huán)境。所述的顯示裝置7電性連接裝配環(huán)境顯示處理器5，用于為其他未佩戴沉浸式虛擬現(xiàn)實頭盔6的人員顯示虛擬裝配過程。如圖2所示，本發(fā)明提供一種剛柔混合系統(tǒng)虛擬裝配方法，包含以下步驟：步驟S1、紅外光視覺交互子系統(tǒng)采集紅外標記的空間位置，獲得紅外定位信息；采用兩個對稱設置的紅外攝像機作為圖像捕獲設備，對紅外標記進行檢測，利用雙目定位算法計算紅外標記的空間位置；步驟S2、可見光視覺交互子系統(tǒng)采集可見光標記的空間位置，獲得可見光定位信息；采用三個三軸兩兩垂直設置的可見光攝像機作為圖像捕獲設備，對可見光標記進行檢測，利用三軸定位算法計算可見光標記的空間位置；步驟S3、視覺處理器中的定位信息融合子系統(tǒng)對紅外定位信息和可見光定位信息進行融合，生成操作員各個手指的空間位置，獲得手部定位信息；步驟S4、裝配環(huán)境顯示處理器根據(jù)融合的手部定位信息生成剛柔混合系統(tǒng)的虛擬裝配環(huán)境，以人機交互的形式在剛柔混合系統(tǒng)的虛擬裝配環(huán)境中完成對剛性零部件以及柔性電纜的安裝。如圖3所示，所述的步驟S1中，紅外攝像機發(fā)出880納米波長的紅外光，涂有特殊涂層的紅外標記反射紅外光，在紅外攝像機成像平面上呈現(xiàn)成一系列小點，根據(jù)雙目視覺成像原理，可以分別計算出每個小點在三維空間中的位置。所述的步驟S2中，由于可見光攝像機無法直接從背景環(huán)境中提取可見光標記，因此需要選擇合適的顏色空間，設計可區(qū)分的可見光標記，并使用顏色特征對可見光標記進行檢測，最后利用三軸位置循環(huán)迭代定位算法計算可見光標記的空間位置。所述的可見光視覺交互子系統(tǒng)采集可見光標記的空間位置的方法包含以下步驟：步驟S2.1、選擇可見光標記的顏色；可見光標記粘貼于操作員的五個手指處，為了區(qū)分可見光標記與人手膚色，選定亮度色度空間YCrCb作為標記檢測的顏色空間，在此顏色空間中，膚色分布在相對集中的范圍內(nèi)，可在膚色范圍之外選取合適的顏色作為可見光標記，同時，為避免檢測過程中相互干擾，要求所選顏色標記的色度分量(Cr或Cb)相互之間且色度分量與膚色之間的差別盡量大；如圖4所述，經(jīng)檢測，得到1號標記對應的品紅(Cr＝241，Cb＝131)、2號標記對應的深綠(Cr＝59，Cb＝106)和3號標記對應的藏青(Cr＝98，Cb＝167)三種顏色在存在膚色的情況下具有較好的區(qū)分度，而若再加入其余顏色，容易導致顏色之間的相互干擾，因此再引入4號(2、3號標記以四分之一圓交替形成)和5號標記(1、3號標記以四分之一圓交替形成)；步驟S2.2、利用三軸位置循環(huán)迭代定位算法計算可見光標記的空間位置；如圖5所示，分別將三個可見光攝像機記為C1、C2、C3，分別沿X、Y、Z軸以兩兩垂直的方式進行布置，且三臺攝像機至原點的距離分別為S1、S2、S3；如圖6所示，可見光目標在C1、C2、C3的成像平面中的坐標分別為目標在三臺攝像機中進行第t次迭代計算所得到的空間位置值分別為t次迭代后輸出的目標坐標值為(xt,yt,zt)。所述的利用三軸位置循環(huán)迭代定位算法計算可見光標記的空間位置的方法具體包含以下步驟：步驟S2.2.1、給定迭代初值，可見光攝像機準備捕獲可見光標記；給定循環(huán)迭代算法的迭代初值(x0,y0,z0)，迭代初值可以設置為x0＝y(tǒng)0＝z0＝0，也可以根據(jù)三個可見光攝像機的可視空間范圍確定，從而減少迭代次數(shù)；令步驟S2.2.2、判斷是否有可見光攝像機捕獲到可見光標記的圖像，若至少一臺可見光攝像機捕獲到可見光標記，則記錄可見光標記的圖像坐標，然后進行步驟S2.2.3，沒有捕獲到可見光標記的可見光攝像機則繼續(xù)等待捕獲下一幀圖像以判斷是否捕獲到可見光標記的圖像；例如：C1攝像機捕獲目標，則確定目標的圖像坐標為C2攝像機捕獲目標，則確定目標的圖像坐標為C3攝像機捕獲目標，則確定目標的圖像坐標為步驟S2.2.3、根據(jù)可見光攝像機捕獲的可見光標記的圖像坐標，進行坐標循環(huán)迭代，逼近可見光標記在三維空間中的真實位置值；假設第t-1次迭代得到目標坐標值為(xt-1,yt-1,zt-1)，則對第t次跌代，有：①C1攝像機中，由沿X軸的坐標值xt-1以及目標的圖像坐標根據(jù)攝像機成像原理得到：ytC1=(S1-xt-1)·yimgC1/fyC1ztC1=(S1-xt-1)·zimgC1/fzC1---(1)]]>其中，和是攝像機C1的焦距；若C1未檢測到目標，則保持和的值不變，有：ytC1=yt-1C1ztC1=zt-1C1---(2)]]>②C2攝像機中，應用以及目標的圖像坐標得到：ztC2=(S2-ytC1)·zimgC2/fzC2xtC2=(S2-ytC1)·ximgC2/fxC2---(3)]]>其中，和是攝像機C2的焦距；若C2未檢測到目標，則保持和的值不變，有：ztC2=zt-1C2xtC2=xt-1C2---(4)]]>③C3攝像機中，應用以及目標的圖像坐標得到：xtC3=(P3-ztC2)·ximgC3/fxC3ytC3=(P3-ztC2)·yimgC3/fyC3---(5)]]>其中，和是攝像機C3的焦距；若C3未檢測到目標，保持和的值不變，xtC3=xt-1C3ytC3=yt-1C3---(6)]]>④將由C1攝像機、C2攝像機、C3攝像機所得到的三維位置值取平均，有：xt=(xtC2+xtC3)/2yt=(ytC1+ytC3)/2zt=(ztC1+ztC2)/2---(7)]]>持續(xù)迭代，直至(xt,yt,zt)滿足：則將(xt,yt,zt)作為位置循環(huán)迭代的輸出值，并結束迭代，進行下一幀圖像中可見光標記的定位；由此，得到的(xt,yt,zt)即為基于可見光標記的視覺交互子系統(tǒng)對目標的空間定位輸出。所述的步驟S3中，視覺處理器中的定位信息融合子系統(tǒng)對紅外定位信息和可見光定位信息進行融合的方法包含：由于標記未必在攝像機的視場范圍內(nèi)，當僅有紅外攝像機檢測到紅外標記時，以紅外定位信息作為定位信息融合子系統(tǒng)的輸出；當僅有可見光攝像機檢測到可見光標記時，以可見光定位信息作為定位信息融合子系統(tǒng)的輸出；當紅外攝像機與可見光攝像機均檢測到標記時，以紅外定位信息和可見光定位信息的均值作為定位信息融合子系統(tǒng)的輸出。所述的步驟S4中，在進行虛擬裝配時，操作員可以通過手指抓取沉浸式虛擬現(xiàn)實頭盔中顯示的虛擬電纜的電連接器進行安裝，當抓取電連接器到安裝位置附近時，會自動吸附，也同樣可以用相同方法對剛性結構件進行安裝，通過虛擬試安裝可以反饋得到設計的不足之處。本發(fā)明建立剛柔混合系統(tǒng)的虛擬裝配環(huán)境，搭建基于計算機視覺技術的動作跟蹤系統(tǒng)，在操作員的手部佩戴相應的標記，通過捕獲標記獲取操作員的手部動作，實現(xiàn)基于手勢的柔性電纜拖動以及剛性結構件移動等操作。本發(fā)明在設計端建立虛擬裝配環(huán)境，利用計算機視覺技術實現(xiàn)自然方式下的人機交互，在構建的虛擬裝配仿真環(huán)境中，逼真地再現(xiàn)復雜機電產(chǎn)品的實際裝配過程，為操作員提供了設計方案預先驗證的條件，對于設計方案中可能存在影響產(chǎn)品最終裝配的缺陷做到及早發(fā)現(xiàn)并更改，從而提高工藝及制造環(huán)節(jié)的效率。盡管本發(fā)明的內(nèi)容已經(jīng)通過上述優(yōu)選實施例作了詳細介紹，但應當認識到上述的描述不應被認為是對本發(fā)明的限制。在本領域技術人員閱讀了上述內(nèi)容后，對于本發(fā)明的多種修改和替代都將是顯而易見的。因此，本發(fā)明的保護范圍應由所附的權利要求來限定。當前第1頁1 2 3