專利名稱：基于微視覺反饋的微構件聲操縱二維平移方法
技術領域：
本發(fā)明屬于微機電系統(tǒng)領域與計算機微視覺領域的有機結合，即利用計算機微視覺反饋系統(tǒng)控制超聲操縱微構件，實現(xiàn)微構件的二維平移運動。
背景技術：
隨著微納技術的迅速發(fā)展，微機電系統(tǒng)(MEMS)作為其中的一個高科技領域，一直以來都受到各國政府和廣大學者的普遍重視。經(jīng)過近三十年的發(fā)展歷程，特別是隨著微機電系統(tǒng)從原先注重單元零部件的生產(chǎn)向混合復雜系統(tǒng)的集成方向高速發(fā)展，微操縱和微裝配技術作為微機電系統(tǒng)領域基礎研究、技術實施、系統(tǒng)設計開發(fā)以及產(chǎn)品集成裝配的一種關鍵和共性技術手段，已日益體現(xiàn)出其重要性和急迫性。目前，針對人工或半自動的微操縱方式，國內外學者已經(jīng)研究出許多基于不同機理的操縱方法，并朝著實時化方向發(fā)展。但是，面對操縱對象尺寸的微型化、操縱精度的超高精密要求、力學特性的遠未明確表征以及僅憑肉眼難以對操縱過程有效監(jiān)控等方面所帶來的諸多挑戰(zhàn)，人工或半自動的微操縱方法已經(jīng)表現(xiàn)出明顯的局限性，成為制約微機電系統(tǒng)進一步發(fā)展的瓶頸。因此，探索基于新理論、新機理的自動化微操縱技術，已成為目前微機電系統(tǒng)這個新興技術領域內一個最基礎的、關鍵的熱點研究課題。超聲波能夠以聲輻射力(acoustic radiation force)的形式表現(xiàn)出較好的力學特性，在生物領域(生物細胞的俘獲、分揀以及聲懸浮)已經(jīng)證實具有較好的非接觸操縱潛力，并且超聲波具有穿透能力強等優(yōu)點，作為產(chǎn)生超聲波的壓電陶瓷還易于微型化。因此， 發(fā)展一種基于超聲輻射力的自動化聲操縱技術，應用于微機電系統(tǒng)的自動化裝配中，必將有其自身的技術優(yōu)勢以及發(fā)展前景。

發(fā)明內容
本發(fā)明的目的在于克服人眼或接觸式測量技術以及開環(huán)控制技術的局限，通過非接觸式的測量反饋技術控制微構件的聲操縱二維平移，實現(xiàn)自動化的聲操縱技術并同時提高聲操縱的穩(wěn)定性以及平移精度。為了實現(xiàn)這一目的，本發(fā)明提出一種基于微視覺反饋的微構件聲操縱二維平移方法，它是在超聲微操縱的基礎上，結合計算機微視覺反饋系統(tǒng)的優(yōu)勢，以微視覺系統(tǒng)作為測量和監(jiān)控的手段，實現(xiàn)微視覺伺服控制。具體方法如下
步驟1，由于采用的是配有物方遠心顯微鏡頭的高速采集相機，需要對其進行標定，求取標定參數(shù)，從而根據(jù)標定參數(shù)獲得微構件圖像像素位移尺寸(以像素PizW為單位)與實際位移尺寸(以微米" 為單位)之間的對應比例關系。步驟2，利用微視覺圖像采集子系統(tǒng)抓取微構件的運動圖像。步驟3，采用圖像處理算法提取圖像特征，獲得微構件在圖像中的像素位置信息。步驟4，根據(jù)步驟1得到的標定參數(shù)，將微構件在圖像中的像素位置信息轉換為實際的位置信息。步驟5，將當前的微構件坐標點與指定的目標坐標點進行比較，判斷是否到達指定目標點位置，若到達指定目標點位置，則退出伺服控制。若未到達指定目標點位置，則進入步驟6。步驟6，根據(jù)微構件當前坐標點相對于目標坐標點的位移偏差和方向角度通過離散PID算法及時調整聲操縱參數(shù)，控制超聲輻射力，使微構件向指定目標點的位置運動。步驟7，重復步驟2，3，4，5，6，直到微構件到達指定目標點位置。本發(fā)明具有的有益效果是
現(xiàn)有技術都是開環(huán)控制聲操縱參數(shù)，即通過人眼對操縱過程進行監(jiān)控的半自動操縱方式。本發(fā)明提出的方法能夠有效的克服這一技術局限，實現(xiàn)閉環(huán)伺服控制的自動化聲操縱， 并同時能夠提高聲操縱的穩(wěn)定性以及平移精度。經(jīng)過實驗，在操縱范圍大于2000um的情況下，操縱精度能夠達到士2um，并且具有較好的穩(wěn)定性。


圖1是整個基于微視覺反饋的微構件聲操縱二維平移系統(tǒng)結構示意圖。圖2是基于微視覺反饋的伺服控制流程圖。圖3是基于微視覺反饋的伺服控制方塊圖。圖4是運用圖像處理算法提取微構件在圖像中二維位置信息的流程圖。圖5是運用離散PID算法調整聲操縱參數(shù)的流程圖。
具體實施例方式如圖1所示，整個基于微視覺反饋的微構件聲操縱二維平移系統(tǒng)由微視覺圖像采集子系統(tǒng)和超聲微操縱子系統(tǒng)兩大部分組成，并通過計算機系統(tǒng)將其整合在一起。微視覺圖像采集子系統(tǒng)主要包括物方遠心顯微鏡頭，高速采集相機以及基于PXI 總線的高速圖像采集卡。其中物方遠心顯微鏡頭的實際放大倍率為2，物方焦距為86. 5mm。 高速采集相機為面陣CCD黑白相機，最大分辨率為1380*1040，最大幀率為60幀/s。微視覺圖像采集子系統(tǒng)主要用于實時測量和監(jiān)控被操縱微構件的二維位置信息。超聲微操縱子系統(tǒng)主要包括基于CAN總線的多通道信號發(fā)生器以及3個超聲換能器?；贑AN總線的多通道超聲信號發(fā)生器用于產(chǎn)生3個超聲換能器的驅動信號，并能夠根據(jù)上位機伺服反饋聲控制參數(shù)的變化而產(chǎn)生不同的驅動信號，以滿足相應的控制需求。3 個超聲換能器用于超聲波的產(chǎn)生，并且在同一圓周上呈120°等角度分布。根據(jù)超聲輻射力相應理論，這樣的換能器分布，其輻射的連續(xù)正弦波形超聲波束在相交區(qū)域干涉形成二維駐波聲場。通過改變各超聲波信號的相位，可以改變超聲波聲場的分布。這實際上提供了一種可控的聲勢阱，并且聲勢阱的空間分布動態(tài)可調。在聲勢阱內，微構件所承受的各種力學作用同可控的超聲輻射力之間達到平衡。這樣微構件就能夠被俘獲并固定在聲勢阱內， 通過調整聲勢阱的分布就能夠帶動俘獲在聲勢阱內的微構件運動，從而達到操縱微構件完成指定位移路徑的目的。計算機系統(tǒng)將上述兩個子系統(tǒng)整合在一起，從而實現(xiàn)閉環(huán)伺服控制(伺服控制見圖2，方框圖見圖3)。配有物方遠心顯微鏡頭的高速采集相機實時抓取微構件的運動圖像， 并通過CameraLink線將圖像數(shù)據(jù)傳送給高速圖像采集卡，高速圖像采集卡將圖像數(shù)據(jù)通過PXI總線以DMA的方式傳送給計算機系統(tǒng)。計算機系統(tǒng)采用圖像處理算法對微構件運動圖像進行處理，提取微構件在圖像中的二維位置信息。具體處理流程如下(流程圖見圖4)。步驟1，對微構件運動的原始圖像進行預處理，即先對原始圖像進行中值濾波，降低原始圖像中的噪聲，再對濾波后的圖像進行圖像形態(tài)學閉運算處理，去除微構件邊緣的毛刺。步驟2，對步驟1處理后的圖像進行取反操縱，將圖像背景轉為暗背景，便于后續(xù)圖像增強處理。因為整個系統(tǒng)中，采用的是背光源，所以圖像的背景為亮背景，即背景的像素灰度值大于微構件的像素灰度值。步驟3，根據(jù)微構件在圖像中的位置，初始選定包含微構件的ROI (Region of Interest，圖像感興趣區(qū)域)，后續(xù)可以根據(jù)微構件的二維位置信息自動預測下一次微構件運動圖像中包含微構件的R0I，而不需要人為選定。選定ROI可以避免在后續(xù)圖像處理中， ROI以外圖像區(qū)域對ROI圖像區(qū)域的處理產(chǎn)生影響，從而提高提取微構件二維位置信息的精度。步驟4，對ROI (Region of Interest，圖像感興趣區(qū)域)區(qū)域的圖像進行拉普拉斯圖像增強處理，銳化微構件圖像的邊緣，有助于后續(xù)的圖像閾值分割。步驟5，對增強后的圖像進行自動閾值分割，獲取二值圖像。采用自動閾值分割的方法，能夠適應在不同的光照條件下，微構件圖像的自動分割。步驟6，根據(jù)自動閾值分割后的微構件二值圖像提取微構件的二維位置信息。本發(fā)明采取的方法是通過提取微構件的形心，標志其當前的位置。步驟7，根據(jù)微構件的二維位置信息預測下一次微構件運動圖像中包含微構件的 ROI (Region of Interest，圖像感興趣區(qū)域)。本發(fā)明采取的預測方法是，根據(jù)前幾次微構件形心位置的變化判斷微構件的運動趨勢，繼而預測下一次微構件運動圖像中包含微構件的ROI位置，然后求取微構件的最小外接矩形，根據(jù)微構件最小外接矩形的大小確定ROI的大小，本發(fā)明實驗中ROI的大小大致選定為微構件最小外接矩形面積的3倍。然而在圖像處理算法中，獲取的是微構件在圖像中的像素位置信息，即相關位置信息都是以像素(pixel)為單位。而實際位移路徑的指定以及聲操縱反饋參數(shù)的指定都需要以微米(um)為單位。因此，需要將像素位置信息轉換為實際位置信息。這就要對配有物方遠心顯微鏡頭的相機進行標定，獲取微構件圖像像素位移尺寸與實際位移尺寸之間的對應比例關系。本發(fā)明實驗中，標定采用的是棋格間距為200. Oum的平面靶標，其精度為1. Oum。 根據(jù)相應的標定算法，獲得相機的內、外參以及鏡頭的畸變系數(shù)，即標定參數(shù)。利用此標定參數(shù)就可以將微構件在圖像中的像素位置信息轉換為實際位置信息。在此系統(tǒng)中，計算機系統(tǒng)能夠自行設置超聲信號發(fā)生器各通道所產(chǎn)生的波形類型、頻率、幅值以及相位等參數(shù)。計算機系統(tǒng)根據(jù)從當前微構件運動圖像中獲得的微構件二維位置信息，與微構件的目標位置點進行比較，獲得相對于目標位置點的位移偏差和方向角度，并通過離散PID算法及時調整聲操縱參數(shù)，然后利用超聲輻射力的理論公式換算出超聲信號發(fā)生器各通道所需要的控制參數(shù)，使得超聲信號發(fā)生器產(chǎn)生相應通道的控制信號，經(jīng)過功率放大器放大后驅動相應超聲換能器產(chǎn)生超聲輻射力信號，并合成超聲輻射力場，操縱微構件向目標位置點運動，這樣就實現(xiàn)了一次基于微視覺反饋的閉環(huán)控制。重復多次上述過程，就能夠操縱微構件自動完成指定位移路徑的二維平移運動。本發(fā)明中，操縱微構件向指定目標位置點運動采用的是“步步逼近”的方法。即根4/4頁
據(jù)當前微構件運動位置相對于目標位置的位移偏差計算微構件下一步需要運動的步長(其值小于當前位移偏差)。這樣，當位移偏差較大時，采用較大的運動步長，使得微構件能夠較快的逼近目標位置；當位移偏差較小時，采用相對較小的運動步長，使得微構件最終能夠較平穩(wěn)的到達目標位置。利用離散PID算法調整聲操縱參數(shù)以控制超聲輻射力的具體流程如下(流程圖見圖5)。步驟1，計算微構件第η次運動步長所引用的離散PID公式如下
其中Ifp為比例常數(shù)，JCi為積分常數(shù)， 為微分常數(shù),p(w〕為需要計算的微構件第η次
運動的步長，Ρ(η — 1)為微構件第η-1次運動的步長，e(n) , e(、n — 1)和- 2)分別為微構件第η-1次，η-2次以及η-3次運動后相對目標位置的位移偏差。依據(jù)上述公式，需要對比例常數(shù)&、積分常數(shù)&以及微分常數(shù)Jflj進行初始化設置。步驟2，指定微構件運動的目標點位置。步驟3，輸入利用圖像處理算法提取的微構件當前運動位置點坐標。步驟4，計算當前微構件位置點相對于目標位置點的位移偏差以及方向角度
θ O步驟5，判斷當前的位移偏差是否小于指定的位移誤差，若小于則退出伺服控制，若大于則進入步驟6。步驟6，利用上述離散PID公式計算出微構件下一步需要運動的步長PCfl)。步驟7，根據(jù)計算出的運動步長P(W)以及方向角度θ，利用超聲輻射力的理論公
式換算出超聲信號發(fā)生器各通道所需要的控制參數(shù)，并使得相應超聲換能器產(chǎn)生超聲輻射力信號，操縱微構件向指定目標位置點運動。重復步驟4，5，6，7，直至微構件相對于目標位置點的位移偏差小于指定的位移誤差。按照本發(fā)明的方法，微構件能夠自動完成任意指定位移路徑的二維平移，在操縱范圍大于2000um的情況下，操縱精度能夠達到士2um，并且具有較好的穩(wěn)定性。
權利要求
1.基于微視覺反饋的微構件聲操縱二維平移方法，其特征在該方法包括以下步驟 步驟1、對配有物方遠心顯微鏡頭的高速采集相機進行標定，求取標定參數(shù)，根據(jù)標定參數(shù)獲得微構件圖像像素位移尺寸與實際位移尺寸之間的對應比例關系； 步驟2、利用微視覺圖像采集子系統(tǒng)抓取微構件的運動圖像； 步驟3、采用圖像處理算法提取圖像特征，獲得微構件在圖像中的像素位置信息； 步驟4、根據(jù)步驟1得到的標定參數(shù)，將微構件在圖像中的像素位置信息轉換為實際的位置信息；步驟5、將當前的微構件坐標點與指定的目標坐標點進行比較，判斷是否到達指定目標點位置，若到達指定目標點位置，則退出伺服控制；若未到達指定目標點位置，則進入步驟 6 ；步驟6、根據(jù)微構件當前坐標點相對于目標坐標點的位移偏差和方向角度通過離散 PID算法及時調整聲操縱參數(shù)，控制超聲輻射力，使微構件向指定目標點的位置運動； 步驟7、重復步驟2至步驟6，直到微構件到達指定目標點位置。
全文摘要
本發(fā)明提出了一種基于微視覺反饋的微構件聲操縱二維平移方法，克服了現(xiàn)有開環(huán)控制技術的局限，通過非接觸式的測量反饋技術控制微構件的聲操縱二維平移，實現(xiàn)了閉環(huán)控制的自動化聲操縱技術并同時提高了聲操縱的穩(wěn)定性以及平移精度。本發(fā)明方法是在超聲微操縱的基礎上，結合了計算機微視覺反饋系統(tǒng)的優(yōu)勢，以微視覺系統(tǒng)作為測量和監(jiān)控的手段，實現(xiàn)微視覺伺服控制。即利用微視覺系統(tǒng)實時測量和監(jiān)控被操縱微構件的二維位置信息，并在此基礎上，通過離散PID算法及時調整相關聲參數(shù)控制超聲輻射驅動力，實現(xiàn)閉環(huán)伺服控制。經(jīng)過實驗，在操縱范圍大于2000um的情況下，操縱精度能夠達到±2um，并且具有較好的穩(wěn)定性。
文檔編號G05D3/12GK102566594SQ20121001475
公開日2012年7月11日 申請日期2012年1月18日 優(yōu)先權日2012年1月18日
發(fā)明者于剛, 夏軍建, 楊克己, 賈坤, 錢飛立, 聞明 申請人:浙江大學