本發(fā)明涉及海底植物的檢測與識別領域，尤其是涉及了一種基于3d重建自動化分析海底植物生長狀況的方法。

背景技術：

海底植物的檢測與識別常用于海底植物種類的識別、植物生態(tài)系統(tǒng)監(jiān)控、赤潮預測和防治等領域，自動和準確的實時海底植物表型分析是現(xiàn)代作物監(jiān)測和農(nóng)業(yè)技術的典型部分。具體地，自動檢測和識別海底植物，對浮游植物進行顯微圖像分析，有利于海洋生態(tài)系統(tǒng)的建立。在生態(tài)系統(tǒng)監(jiān)控方面，通過監(jiān)測海底植物的生長狀態(tài)，采集海底植物生長的信息，有助于海底植物生理方面的研究。除此之外，通過識別和檢測赤潮生物的數(shù)目，分析其增值率，可預報赤潮的發(fā)生以通過一定措施進行防治。對海底植物進行非侵入性分析在海底植物科學研究中是非常需要的，因為傳統(tǒng)技術通常需要對海底植物進行破壞，因此禁止在其生命周期內(nèi)分析海底植物生長。機器視覺系統(tǒng)可以實現(xiàn)自動監(jiān)測，分析和產(chǎn)生高生產(chǎn)量，無需任何手動干預。

本發(fā)明提出了一種基于3d重建自動化分析海底植物生長狀況的方法，監(jiān)控和分析海底植物的整個生命周期的生長。首先，龍門機器人系統(tǒng)用于數(shù)據(jù)采集過程的自動化，機器人按照特定的軌跡在海底植物周圍移動，3d激光掃描儀放置于機械臂，可從關于海底植物的多個視角記錄3d點云數(shù)據(jù)，機器人從一個視角移動到另一個視角，并與掃描儀通信，對被觀察的海底植物進行掃描。每天6次按30°掃描12個視角約360°，最后將所有視圖合并為單個3d三角形網(wǎng)格表示整個海底植物。本發(fā)明突破了傳統(tǒng)監(jiān)測會對海底植物造成破壞的局限性，開發(fā)了一種3d海底植物表型視覺系統(tǒng)，能夠自動監(jiān)控和分析海底植物整個生命周期的生長，而不對海底植物造成破壞，有利于對海底植物生長狀態(tài)進行自動而準確的監(jiān)測和分析，從而提高作物的產(chǎn)量和進一步推動海底植物科學的研究。

技術實現(xiàn)要素：

針對傳統(tǒng)方法會對海底植物造成破壞的問題，開發(fā)了一種3d海底植物表型視覺系統(tǒng)，能夠自動監(jiān)控和分析海底植物的整個生命周期的生長，而不對海底植物造成破壞，有利于對海底植物生長狀態(tài)進行自動而準確的監(jiān)測和分析，從而提高作物的產(chǎn)量和進一步推動海底植物科學的研究。

為解決上述問題，本發(fā)明提供一種基于3d重建自動化分析海底植物生長狀況的方法，其主要內(nèi)容包括：

(一)機器人；

(二)掃描儀；

(三)生長室；

(四)多視圖對齊；

(五)系統(tǒng)集成。

其中，所述的機器人，包括可調底座和攜帶7自由度機械臂的2軸高架龍門架，植物放置在可以上下移動的基座上，以適應不同的應用和植物大小，7自由度機械臂為控制3d掃描的位置和方向提供了高度的靈活性，而2軸龍門架提供了一個擴展的工作空間，機器人的精度和重復性均為0.1μm，通過編程，令機器人圍繞植物按圓形軌跡移動進行掃描，最初機器人停留在原位，機械臂垂直向下放置，在初始化命令后，它通過交替的宏觀和微觀的關節(jié)運動從原始位置移動到所需位置，將基座中心相對于機械臂垂直軸的水平距離保持在0.56米，從基座平面到掃描儀的距離保持在0.26米，這些距離均根據(jù)經(jīng)驗設定，可獲得最佳的掃描數(shù)據(jù)。

其中，所述的掃描儀，掃描儀是機械臂的有效載荷，以點云格式測量物體可見表面的密集深度圖，掃描儀使用825nm的近紅外光，降低對植物生長的影響，掃描儀的不同參數(shù)(例如視場，激光功率等)均根據(jù)經(jīng)驗設定，用激光功率1.0mw執(zhí)行整個實驗，單次掃描需要大約1分鐘的時間才能產(chǎn)生兩點間分辨率為0.25mm的點云數(shù)據(jù)，掃描儀軟件通過用戶數(shù)據(jù)報協(xié)議(udp)與機器人控制軟件進行通信，每次機器人在掃描位置停止時，即與掃描儀通訊，進行一次掃描，然后移動到下一個位置。

其中，所述的生長室，自主設計了一個生長室內(nèi)的整個機器人裝置，該生長室完全可編程，可控制溫度，濕度，風扇轉速和光強度，使用相機進行遠程監(jiān)控，整個生長室是專門的嵌入式系統(tǒng)，可由機器人控制軟件進行控制。

其中，所述的多視圖對齊，多視圖對齊是構建對象的3d模型的主要任務，使用高斯混合模型(gmm)登記兩個非剛性點的集合，通過連續(xù)概率密度函數(shù)來表示離散點，高斯混合模型可以表示為m高斯密度的加權和：

其中x是d維向量，ωi(i＝1，...，m)是平均值為μi和協(xié)方差為σi的每個混合g的權重，并且參數(shù)λ＝{ωi，μi，∑i}，通過最小化以下代價函數(shù)來最小化兩個高斯混合物之間的差異：

其中是模型點集，是場景(數(shù)據(jù))點集，函數(shù)表示由構成的高斯混合密度，目的是找到能最小化上述代價函數(shù)的參數(shù)θ，通過使用l2范數(shù)作為距離測量，最后通過擴展相干點漂移(cpd)算法來對齊多數(shù)據(jù)集。

進一步地，所述的代價函數(shù)，給定兩個點云，x＝(x1，x2，...，xm)^t和y＝(y1，y2，...，yn)^t，一般來說對于點x，gmm概率密度函數(shù)將是：

其中，

不用最大化gmm后驗概率，通過最小化負對數(shù)似然函數(shù)以獲得最佳對齊：

其中，

然后迭代地使用期望最大化算法來優(yōu)化代價函數(shù)。

進一步地，所述的相干點漂移，該方法是包含兩個步驟，從大致對齊掃描開始，然后將單次掃描登記到由所有其他掃描構造的“平均”形狀中，并將集合更新以包括新登記的結果，對所有其他掃描集合執(zhí)行相同的過程，避免合并錯誤的累積，具體通過構建“平均”掃描，登記所有其他掃描，對于掃描x，找到與掃描中的一個點相互最近鄰(mnn)的點集，然后計算由每個點計算所得質心組成的掃描，一旦初始登記完成，就聯(lián)合使用cpd與mnn，以恢復植物在每次掃描捕獲之間受到的非剛性形變場，在這一點上，掃描應該大致對準，然后構造質心/平均掃描，繼續(xù)進行登記。

其中，所述的系統(tǒng)集成，整合了生長室，機器人和掃描儀，其中機器人和掃描儀由不同的計算機操作，通過專用udp鏈接進行通信，生長室通過互聯(lián)網(wǎng)遠程進行訪問，通過一個gui即可操作整個系統(tǒng)，一旦系統(tǒng)啟動，理論上，它可以一直掃描和處理，直到實驗終止，其中在每個掃描位置，系統(tǒng)等待10秒以允許設備和掃描儀在啟動掃描之前被設置好，一旦完成一個掃描，即分析所得的掃描數(shù)據(jù)，以確保植物已被完全捕獲(即通過邊界框計算沒有被剪切)。

進一步地，所述的通信，生長室與機器人操作之間的通信需要時常進行，在掃描植物時，需要關閉或大幅度降低室內(nèi)的風扇轉速，否則掃描數(shù)據(jù)將錯誤，另外，在不同的照明條件的實驗中，需要生長室與機器人的掃描時間表之間的通信，在實驗開始之前，根據(jù)應用需要設置生長室參數(shù)，在一組掃描之前的實驗期間，機器人與生長室之間通信，關閉風扇(如有需要則打開照明)，并在掃描完成時恢復生長室的默認設置，在每次掃描時重復該過程。

進一步地，所述的掃描設置，在每次掃描期間先動態(tài)地確定包圍整個植物的掃描邊界，此外，隨著植物生長，它可以朝向特定方向傾斜，要求相應地調整掃描儀的位置，在每次掃描之前，執(zhí)行一個簡單的邊界框計算，在進行實際掃描之前，從2個方向(正面和側面)執(zhí)行預掃描程序，從這些掃描中，植物的邊界框中心被近似并用于更新圓形掃描軌跡的旋轉中心，一旦確定了植物中心，系統(tǒng)就會使龍門架和機械臂平移并將掃描頭旋轉到植物周圍的指定離散位置。

附圖說明

圖1是本發(fā)明一種基于3d重建自動化分析海底植物生長狀況的方法的系統(tǒng)流程圖。

圖2是本發(fā)明一種基于3d重建自動化分析海底植物生長狀況的方法的機器人系統(tǒng)示意圖。

圖3是本發(fā)明一種基于3d重建自動化分析海底植物生長狀況的方法的機器人實驗室。

圖4是本發(fā)明一種基于3d重建自動化分析海底植物生長狀況的方法的系統(tǒng)示意圖。

圖5是本發(fā)明一種基于3d重建自動化分析海底植物生長狀況的方法的邊界框計算示意圖。

圖6是本發(fā)明一種基于3d重建自動化分析海底植物生長狀況的方法的包圍示意圖。

具體實施方式

需要說明的是，在不沖突的情況下，本申請中的實施例及實施例中的特征可以相互結合，下面結合附圖和具體實施例對本發(fā)明作進一步詳細說明。

圖1是本發(fā)明一種基于3d重建自動化分析海底植物生長狀況的方法的系統(tǒng)流程圖。主要包括機器人、掃描儀、生長室、多視圖對齊、系統(tǒng)集成。

其中，所述的機器人，包括可調底座和攜帶7自由度機械臂的2軸高架龍門架，植物放置在可以上下移動的基座上，以適應不同的應用和植物大小，7自由度機械臂為控制3d掃描的位置和方向提供了高度的靈活性，而2軸龍門架提供了一個擴展的工作空間，機器人的精度和重復性均為0.1μm，通過編程，令機器人圍繞植物按圓形軌跡移動進行掃描，最初機器人停留在原位，機械臂垂直向下放置，在初始化命令后，它通過交替的宏觀和微觀的關節(jié)運動從原始位置移動到所需位置，將基座中心相對于機械臂垂直軸的水平距離保持在0.56米，從基座平面到掃描儀的距離保持在0.26米，這些距離均根據(jù)經(jīng)驗設定，可獲得最佳的掃描數(shù)據(jù)。

其中，所述的掃描儀，掃描儀是機械臂的有效載荷，以點云格式測量物體可見表面的密集深度圖，掃描儀使用825nm的近紅外光，降低對植物生長的影響，掃描儀的不同參數(shù)(例如視場，激光功率等)均根據(jù)經(jīng)驗設定，用激光功率1.0mw執(zhí)行整個實驗，單次掃描需要大約1分鐘的時間才能產(chǎn)生兩點間分辨率為0.25mm的點云數(shù)據(jù)，掃描儀軟件通過用戶數(shù)據(jù)報協(xié)議(udp)與機器人控制軟件進行通信，每次機器人在掃描位置停止時，即與掃描儀通訊，進行一次掃描，然后移動到下一個位置。

其中，所述的生長室，自主設計了一個生長室內(nèi)的整個機器人裝置，該生長室完全可編程，可控制溫度，濕度，風扇轉速和光強度，使用相機進行遠程監(jiān)控，整個生長室是專門的嵌入式系統(tǒng)，可由機器人控制軟件進行控制。

其中，所述的多視圖對齊，多視圖對齊是構建對象的3d模型的主要任務，使用高斯混合模型(gmm)登記兩個非剛性點的集合，通過連續(xù)概率密度函數(shù)來表示離散點，高斯混合模型可以表示為m高斯密度的加權和：

其中x是d維向量，ωi(i＝1，...，m)是平均值為μi和協(xié)方差為∑i的每個混合g的權重，并且參數(shù)λ＝{ωi，μi，∑i}，通過最小化以下代價函數(shù)來最小化兩個高斯混合物之間的差異：

其中是模型點集，是場景(數(shù)據(jù))點集，函數(shù)表示由構成的高斯混合密度，目的是找到能最小化上述代價函數(shù)的參數(shù)θ，通過使用l2范數(shù)作為距離測量，最后通過擴展相干點漂移(cpd)算法來對齊多數(shù)據(jù)集。

進一步地，所述的代價函數(shù)，給定兩個點云，x＝(x1，x2，...，xm)^t和y＝(y1，y2，...，yn)^t，一般來說對于點x，gmm概率密度函數(shù)將是：

其中，

不用最大化gmm后驗概率，通過最小化負對數(shù)似然函數(shù)以獲得最佳對齊：

其中，

然后迭代地使用期望最大化算法來優(yōu)化代價函數(shù)。

進一步地，所述的相干點漂移，該方法是包含兩個步驟，從大致對齊掃描開始，然后將單次掃描登記到由所有其他掃描構造的“平均”形狀中，并將集合更新以包括新登記的結果，對所有其他掃描集合執(zhí)行相同的過程，避免合并錯誤的累積，具體通過構建“平均”掃描，登記所有其他掃描，對于掃描x，找到與掃描中的一個點相互最近鄰(mnn)的點集，然后計算由每個點計算所得質心組成的掃描，一旦初始登記完成，就聯(lián)合使用cpd與mnn，以恢復植物在每次掃描捕獲之間受到的非剛性形變場，在這一點上，掃描應該大致對準，然后構造質心/平均掃描，繼續(xù)進行登記。

其中，所述的系統(tǒng)集成，整合了生長室，機器人和掃描儀，其中機器人和掃描儀由不同的計算機操作，通過專用udp鏈接進行通信，生長室通過互聯(lián)網(wǎng)遠程進行訪問，通過一個gui即可操作整個系統(tǒng)，一旦系統(tǒng)啟動，理論上，它可以一直掃描和處理，直到實驗終止，其中在每個掃描位置，系統(tǒng)等待10秒以允許設備和掃描儀在啟動掃描之前被設置好，一旦完成一個掃描，即分析所得的掃描數(shù)據(jù)，以確保植物已被完全捕獲(即通過邊界框計算沒有被剪切)。

進一步地，所述的通信，生長室與機器人操作之間的通信需要時常進行，在掃描植物時，需要關閉或大幅度降低室內(nèi)的風扇轉速，否則掃描數(shù)據(jù)將錯誤，另外，在不同的照明條件的實驗中，需要生長室與機器人的掃描時間表之間的通信，在實驗開始之前，根據(jù)應用需要設置生長室參數(shù)，在一組掃描之前的實驗期間，機器人與生長室之間通信，關閉風扇(如有需要則打開照明)，并在掃描完成時恢復生長室的默認設置，在每次掃描時重復該過程。

進一步地，所述的掃描設置，在每次掃描期間先動態(tài)地確定包圍整個植物的掃描邊界，此外，隨著植物生長，它可以朝向特定方向傾斜，要求相應地調整掃描儀的位置，在每次掃描之前，執(zhí)行一個簡單的邊界框計算，在進行實際掃描之前，從2個方向(正面和側面)執(zhí)行預掃描程序，從這些掃描中，植物的邊界框中心被近似并用于更新圓形掃描軌跡的旋轉中心，一旦確定了植物中心，系統(tǒng)就會使龍門架和機械臂平移并將掃描頭旋轉到植物周圍的指定離散位置。

圖2是本發(fā)明一種基于3d重建自動化分析海底植物生長狀況的方法的龍門機器人系統(tǒng)示意圖。包括可調底座和攜帶7自由度機械臂的2軸架空龍門架，海底植物放置在可以上下移動的基座上，以適應不同的應用和海底植物大小。其中7自由度機械臂為控制3d掃描的位置和方向提供了高度的靈活性，而2軸龍門架提供了一個擴展的工作空間。

圖3是本發(fā)明一種基于3d重建自動化分析海底植物生長狀況的方法的機器人實驗室。通過編程，令機器人圍繞海底植物按圓形軌跡移動以進行掃描，最初，機器人停留在原位，機械臂垂直向下放置，如圖所示。在命令初始化后，它通過交替的宏觀和微觀的關節(jié)運動從原始位置移動到所需位置。將基座中心相對于機械臂垂直軸的水平距離保持在0.56米，從基座平面到掃描儀的距離保持在0.26米。

圖4是本發(fā)明一種基于3d重建自動化分析海底植物生長狀況的方法的系統(tǒng)示意圖。系統(tǒng)整合了生長室，機器人和掃描儀，其連接如圖所示。機器人和掃描儀由不同的計算機操作，通過專用udp鏈接進行通信。該生長室通過互聯(lián)網(wǎng)遠程訪問。整個系統(tǒng)通過一個gui進行操作，一旦系統(tǒng)啟動，理論上，它可以繼續(xù)掃描和處理，直到實驗終止。

圖5是本發(fā)明一種基于3d重建自動化分析海底植物生長狀況的方法的邊界框計算示意圖。由于海底植物的尺寸或維度不是預先知道的，所以需要在每次掃描期間先動態(tài)地確定包圍整個海底植物的掃描邊界。此外，隨著海底植物生長，它可以朝向特定方向傾斜，這要求相應地調整掃描儀的位置。在每次掃描之前，執(zhí)行一個簡單的邊界框計算。在進行實際掃描之前，從2個方向(如圖所示的正面和側面)執(zhí)行預掃描程序。從這些掃描中，海底植物的邊界框中心被近似并用于更新圓形掃描軌跡的旋轉中心。一旦確定了海底植物中心，系統(tǒng)就會使龍門架和機械臂平移并將掃描頭旋轉到海底植物周圍的指定離散位置。

圖6是本發(fā)明一種基于3d重建自動化分析海底植物生長狀況的方法的包圍示意圖。在每個掃描位置，系統(tǒng)等待10秒以允許設備和掃描儀在啟動掃描之前已被設置好。一旦一個掃描完成，分析所得到的掃描數(shù)據(jù)，以確保海底植物已被完全捕獲(即通過邊界框計算沒有被剪切)。有時，由于掃描儀線性平臺的行程(0.2m)有限，掃描儀fov不夠寬，無法捕獲海底植物的全部寬度。在這種情況下，將會通過移動掃描儀自動對該視圖進行再次掃描。根據(jù)經(jīng)驗觀察，對于海底植物擬南芥，不超過3次掃描就可以包圍單個視圖，如圖所示。通常，如果海底植物不太寬，則p的單一視圖就足夠了。否則，在位置p1，p2和p3執(zhí)行側掃。所有掃描，包括側面掃描均是完全自動化。

對于本領域技術人員，本發(fā)明不限制于上述實施例的細節(jié)，在不背離本發(fā)明的精神和范圍的情況下，能夠以其他具體形式實現(xiàn)本發(fā)明。此外，本領域的技術人員可以對本發(fā)明進行各種改動和變型而不脫離本發(fā)明的精神和范圍，這些改進和變型也應視為本發(fā)明的保護范圍。因此，所附權利要求意欲解釋為包括優(yōu)選實施例以及落入本發(fā)明范圍的所有變更和修改。