本發(fā)明涉及用于物體的自動計算參數(shù)的方法和裝置,例如大小、尺寸、身體部分尺寸、身體特征、體積、重量和其他允許定義物體的關(guān)聯(lián)參數(shù),前述物體優(yōu)選是動物,例如牲畜。
本發(fā)明可以用于快速、準確和個性化地動物稱重,由于利潤與之息息相關(guān),農(nóng)業(yè)食品產(chǎn)業(yè)對此尤其關(guān)注。
背景技術(shù):
快速、準確和個性化地計算或估算動物的體重在多個商業(yè)領(lǐng)域非常重要。在農(nóng)業(yè)領(lǐng)域,例如,在例如成長控制和定價等高效畜牧加工工作中,估算畜體的重量非常重要。準確地估算牲畜的重量和/或最終畜體的重量可以促成為畜牧生產(chǎn)商大幅節(jié)省成本,因為當提供的任何動物超出了由屠宰決定的重量或體積的范圍時,畜牧生產(chǎn)商經(jīng)常受到處罰。另外,成長監(jiān)控、優(yōu)化進料和批次管理,以不加控制的方式準確地執(zhí)行,而方法的精度依賴于生產(chǎn)者的標準。
有多種給動物精確稱重的方法;但是,這些都是基于使用磅秤(scales),不僅不切合實際還給動物帶來很大壓力,這將導(dǎo)致總體產(chǎn)量的降低。例如,最普遍的估算豬的體重的方法是在生產(chǎn)者視覺鑒定后,基于經(jīng)驗得出。
在一個樣本為45頭豬的實驗性評估中,發(fā)現(xiàn)基于觀察的總體豬稱重確實是相關(guān)的。對于這個特定的試驗,本發(fā)明的發(fā)明人發(fā)現(xiàn)對于70到140公斤范圍內(nèi)的豬,均方根誤差為6.4kg。這導(dǎo)致皮爾森相關(guān)系數(shù)為0.9,R2系數(shù)為0.80。很顯然,這個結(jié)果是一個參考,誤差的可變形依賴于可提高或降低總體精度的多種因素。這導(dǎo)致一個結(jié)論:觀察法具有嚴重的不確定性,這對商業(yè)來說很不利。
目前Ro-main(在公開號為US-20100222684的美國專利申請中公開)商業(yè)化的共聚焦成像系統(tǒng)是基于豬的三維(3D)成像和隨后的數(shù)據(jù)處理來估算整個豬的重量。
其他估算動物的身體狀況的已知技術(shù)在WO-A1-2010/063527中被公開,這提供了一種配置,包括三維相機系統(tǒng)和圖像處理設(shè)備,其中前述相機系統(tǒng)指向動物,并且被提供用于記錄動物的至少一個三維圖像,前述圖像處理設(shè)備連接到三維相機系統(tǒng),并且被設(shè)置用于根據(jù)由三位相機系統(tǒng)記錄的三維圖像,產(chǎn)生動物的一部分的三維表面表示;用于統(tǒng)計分析所述三維表面表示的表面;以及用于根據(jù)三維表面表示的經(jīng)統(tǒng)計分析的表面,測定所述動物的身體狀況得分。
另外WO-A2-2010/098954公開了利用三維表示估算物理參數(shù)的方法、系統(tǒng)和設(shè)備。在本例中,在物體和光圖案上投影預(yù)定的光圖像,并檢測到了物體的部分。其中光圖案來源于被投影的光圖案的相互作用。測定被檢測的光圖案處的多個光元素的三維位置,基于該位置估算物體的物理參數(shù),例如體重。
同樣地,WO-A1-2004/012146公開了用于自動監(jiān)控動物的身體條件的成像方法和系統(tǒng)。對動物身體的關(guān)注的預(yù)定區(qū)域成像,并且處理表示獲得的一個或多個圖像的數(shù)據(jù),已獲得關(guān)注區(qū)域的三維表征。分析該三維表征以測定表示關(guān)注區(qū)域的表面起伏的預(yù)定可測量參數(shù),該表面起伏表示被成像動物的身體條件。
US-A1-2005257748公開了用于檢測牛豬等牲畜的物理特性的方法和設(shè)備。本專利申請的設(shè)備包括多個戰(zhàn)略定位相機,該相機用于獲得涉及牲畜和其完整尸體的體積、曲線(表面)和現(xiàn)行測量的數(shù)據(jù)。接來下分析數(shù)據(jù)來提供信息,該信息實質(zhì)上協(xié)助牲畜的商業(yè)化生產(chǎn)者,在增加企業(yè)的盈利能力的同時,幫助為消費者生產(chǎn)高質(zhì)量的最終產(chǎn)品。
最后,US-A1-2008/0140234公開了參與者利用數(shù)據(jù)網(wǎng)絡(luò)傳輸提交捕獲魚的尺寸的方式,遠程指揮釣魚比賽的方法。在這例中,本專利申請允許通過包含了魚的數(shù)字影像來執(zhí)行提交。而且,可以利用描繪在圖像上的參照物而確立的標尺,來測量魚的尺寸。
除此之外,圖像視覺分析(VIA)使用動物的鳥瞰圖以測定身體表面尺寸,并且可以用于實時監(jiān)控豬的成長[1]。圖2表示用于計算豬的體重的身體部分的例子。一英國公司目前正在商業(yè)化該工作的實施,以監(jiān)控豬的成長。目前,一博士論文[2]評價了快速掃描(Qscan)的準確估算能力。(1)豬個體的活體的體重(BW)和(2)群豬的平均體重。這項工作的結(jié)論是不建議通過快速掃描(Qscan)來預(yù)測豬的個體的體重。
本發(fā)明提供在該領(lǐng)域上的進一步改進。
參考文獻:
[1]Doeschl et.al.‘The relationship between the body shape of living pigs and their carcass morphology and composition’.Animal Science 2004,73-83.
[2]Jaclyn Elyse Love.‘Video Imaging for Real-Time PerformanceMonitoring of Growing-Finishing Pigs’.Thesis.University of Guelph,2012.
技術(shù)實現(xiàn)要素:
本發(fā)明的目的在于使用設(shè)備,其可以包括嵌入式處理手段(也可以位于遠距離)以計算或估算物體或者物體的一部分的參數(shù),例如尺寸、體積、重量、粗糙度、體積效率(volume efficiency)、表面、成熟度、容量、質(zhì)量、色純度、狀態(tài)、健康、熟成、表面粗糙度、相似度、情緒、視覺注意力、兩個或多個物體之間的碰撞或者沖突的概率,以及所述一個物體或多個物體的其他相關(guān)參數(shù),該物體可以是動物,例如牲畜、人類、作物、草皮、堆肥、人臉或儲藏室內(nèi)的產(chǎn)品。
為此,本發(fā)明在第一方面,提供物體或物體的部分的自動參數(shù)計算方法。該方法包括通過二維相機在場景中獲取至少一個物體的二維圖像,以及通過分割算法分割該二維圖像的方式,利用獲得的二維圖像識別所述物體。另外,該方法還包括通過第一裝置,根據(jù)所述物體和所述二維相機之間的距離,計算在所獲取和分割的二維圖像中的物體的像素大小;通過第一裝置,根據(jù)所述物體和所述二維相機之間的距離,計算在所獲取和分割的二維圖像中的物體的像素大??;以及通過第二裝置,通過使用所述計算的像素大小物體的先驗?zāi)P?priori model),計算所述物體的若干參數(shù),所述參數(shù)至少包括大小、尺寸、身體部位尺寸、身體特征(包括體脂肪指數(shù)),體重和/或體積。
根據(jù)實施例,先驗?zāi)P痛鎯υ谟嬎銠C系統(tǒng)的存儲器或數(shù)據(jù)庫內(nèi),并且包括鏈接(linking)不同部分、輪廓或者形狀的表示多個物體的信息,該信息由二維相機預(yù)先獲取,具有包括所述若干物體的大小、尺寸、身體部位尺寸、身體特征,體重和/或體積的若干參數(shù)。例如,已知可以由其身體形狀計算豬的重量,尤其是通過測量豬的不同身體部分,如[1]中報道的那些。可替換地,對于先驗?zāi)P?,可以通過使用計算得到像素的大小和啟發(fā)模型來計算所述若干參數(shù)。
根據(jù)一實施例,該方法還獲得二維圖像和/或視頻影像的序列。
根據(jù)一實施例,包含在場景內(nèi)的已知大小的參照物體或特征被用于計算物體的像素的大小。
根據(jù)又一實施例,通過遠程服務(wù)器執(zhí)行在獲得和分割的二維圖像中的物體的像素大小的計算和若干參數(shù)的計算,該遠程服務(wù)器包括至少一個處理單元。這是由遠程服務(wù)器通過例如互聯(lián)網(wǎng)等通信網(wǎng)絡(luò),經(jīng)由局域網(wǎng)(LAN)、一般的廣域網(wǎng)(WAN)或者任何其他的通訊裝置,預(yù)先至少接收獲取的二維圖像來實現(xiàn)的。
另外,遠程服務(wù)器可以建立映射來表示計算的參數(shù)的空間分布,從而監(jiān)控計算得到的參數(shù)隨時間的變化或者執(zhí)行表示的空間分布和監(jiān)控的時間分布的結(jié)合。建立的映射隨后可以用來至少優(yōu)化豬的生長、農(nóng)作物管理、草皮管理、堆肥管理、庫存管理、視覺注意、產(chǎn)品銷售、養(yǎng)豬的映射或產(chǎn)品的可靠性、一年的整體效益和/或下一季度或者下一年的預(yù)計收益。
此外,本發(fā)明在第二方面,提供對一個或多個物體、亦或者物體的部分的自動參數(shù)計算設(shè)備。根據(jù)本發(fā)明,所述設(shè)備至少包括:
-二維相機,被提供用于指向所述一個或多個物體,并用于獲取所述一個或多個物體的二維圖像(或者還包括二維圖像和/或視頻影像的序列);
-分割裝置,包括在處理器內(nèi),所述分割裝置布置和配置為分割獲取的二維圖像,以便識別位于獲取的二維圖像中的物體;
-第一計算裝置,包括距離傳感器,所述距離傳感器配置為測量該設(shè)備和一個或多個目標之間的距離;所述第一計算裝置布置和配置為計算位于獲取和分割的二維圖像上的所述一個或多個物體的像素大小(例如,確定大小,并且如果需要一個或多個物體附近的至少一個像素的方向)。
-第二計算裝置,通過使用所述計算得到的一個或多個物體的像素大小或者先驗?zāi)P?,布置和配置為計算一個或多個物體的若干參數(shù),優(yōu)選地包括大小、尺寸、身體部分尺寸、身體特征(包括體質(zhì)指數(shù))、重量和/或3D體積。
根據(jù)一實施例,第一裝置包括具有立體視覺的第二相機,該立體視覺允許估算到關(guān)注的一個或多個目標的距離。
關(guān)于距離傳感器,可以是在任意時間并可以基于不同的技術(shù),例如超聲波、射頻、微波、LED或激光遙測等。
值得注意的是,應(yīng)當明白數(shù)字圖像通過分割的方式被劃分成多個區(qū)段。通常情況下,分割為數(shù)字圖像內(nèi)每個像素分配標簽,所有具有相同標簽的像素具有共同的特征。分割通常用于定位圖像內(nèi)的多個目標和邊界(線、曲線等)。有很多能夠分割數(shù)字圖像的多種不同的方法,此處列出了可用于分割二維圖像(或甚至二維圖像和/或視頻影像的序列)的多個方法:
閾值分割,這可能是分割圖片的最簡單的方法。此閾值分割可以直接應(yīng)用在圖像亮度上,以灰度、RGB或通過結(jié)合空間信息而獲得的其他圖像特征,該空間信息包括來自其他圖像(存儲在數(shù)據(jù)庫,臨時任意的圖案)的圖像或信息。
聚類方法基于例如高斯混合模型和K均值等已知的算法,根據(jù)一個或多個圖像特征和/或變量的其公共屬性來分組區(qū)段。
基于數(shù)據(jù)壓縮的分割最小化圖像的代碼長度。
基于直方圖的方法使用分布形式的一組像素的信息來對片段進行分組。
邊緣檢測法,利用邊界和形狀的急劇變化來識別區(qū)段的范圍。
區(qū)域成長法,將具有相似屬性的那些相鄰像素組合在一起。如果滿足了相似的標準,該像素可以被設(shè)置為屬于其相鄰的一個或多個區(qū)段。
基于偏微分方程的方法,通過利用數(shù)值方法解偏微分方程,可以分割圖像。
網(wǎng)絡(luò)分割方法,假設(shè)圖像具有均勻性,對在給定的像素組或單一像素處的像素鄰域建立模型。
分水嶺方法(watershed methods),將圖像的梯度幅值作為地形圖。具有最高梯度幅值強度(GMIs)的像素對應(yīng)分水線,該線表示區(qū)域邊界。
基于模型的方法,假設(shè)關(guān)注的結(jié)構(gòu)具有重復(fù)的幾何形式。由此,可以尋找用于解釋機構(gòu)的形狀變化的概率模型,然后當分割圖像時,使用該模型作為先驗?zāi)P蛠硎┘蛹s束。這樣的任務(wù)包括(i)將訓(xùn)練樣本登記為公共結(jié)構(gòu),(ii)該被登記樣本的變化的概率表示,以及(iii)模型和圖像之間的統(tǒng)計推斷。文獻中用于基于知識的分割的現(xiàn)有技術(shù)方法涉及主動形狀和外觀模型,主動輪廓和可變形模板以及基于水平集的方法。
多尺度分割,用來以多個尺度計算一系列的圖像分割。層次分割是這種方法的一個例子。
基于機器學(xué)習的分割,用于例如神經(jīng)網(wǎng)絡(luò)或支持向量機等技術(shù)用來發(fā)展分割模型,在具有正確分割的已知數(shù)據(jù)庫上訓(xùn)練計算機來開發(fā)分割模型。例如脈沖耦合神經(jīng)網(wǎng)絡(luò)(PCNNs)是對貓的視覺皮層建模并開發(fā)用于高性能仿生圖像處理而提出的神經(jīng)模型。
基于融合模型的分割,最后組合包含多個上述方法的方法來優(yōu)化最終分割的性能。
根據(jù)第一和/或第二裝置計算的模型復(fù)雜度,物體或者物體參數(shù)的全部或者部分,可能包括在所述設(shè)備或在位于云計算環(huán)境的遠程服務(wù)器。
所述設(shè)備也可以包括附加裝置,從而提升其可用性或“用戶體驗”。例如,一種標記被評估的一個或多個物體的方法。這可以通過包括顯示和利用任意手段標記物體的方式完成,例如高亮物體、為被評估的一個或多個物體著色??商鎿Q地,例如激光指示器或者一些照明控制等識別裝置,可以用來向用戶指示被評估的一個或多個物體。
另外,當該特性還未內(nèi)建時,在所述設(shè)備的一些配置中,可能需要包含額外的同步/關(guān)聯(lián)信號。例如,電子控制可能使設(shè)備同步,用于獲取二維圖像、圖像和/或視頻影像的順序以及外部傳感器,如果有必要的話。此信號可以是異步,基于格林威治標準時間(GMT)的某些時間信息或者由任何其他時間參考建立。
該設(shè)備也可以內(nèi)嵌在無人載具上。無人載具可以是如無人飛機的航空載具,陸地載具或者水上載具,也可以是特別適用于為莊稼或草皮建立映射。
本發(fā)明的第二方面的設(shè)備適用于執(zhí)行本發(fā)明第一方面的方法。
附圖說明
從以下參考所附的實施例的詳細描述中,將更充分地理解前述和其它優(yōu)點和特征,這些描述必須以說明性和非限制性方式考慮,其中:
圖1表示稱得的豬的實際重量(x軸)和基于專家的估計重量(y軸)的散布圖;
圖2表示提取自[1]的,解釋為估算豬的重量需要檢測身體部分;
圖3表示根據(jù)本發(fā)明的部分實施例,所述設(shè)備的示范性實施例的主視圖,所述設(shè)備用于物體的自動參數(shù)計算;
圖4是圖3的所述設(shè)備的后視圖;
圖5表示根據(jù)本發(fā)明的部分實施例,所述設(shè)備的又一示范性實施例,所述設(shè)備用于物體的自動參數(shù)計算;圖5a表示正視圖;圖5b表示后視圖,以及圖5c表示側(cè)視圖;
圖6a和6b表示本發(fā)明的一實施例,其中所提到的設(shè)備用在已知的距離;
圖7表示本發(fā)明的又一實施例,其中通過使用場景的先驗知識或者包含場景內(nèi)的參照物來執(zhí)行圖像處理;
圖8a和圖8b表示本發(fā)明的又一實施例,與圖6a和6b的實施例相似,但是還包括了距離傳感器;
圖9表示通過用于豬稱重的云服務(wù),使用所提到的設(shè)備的實施例;
圖10表示不同兩天的豬稱重的一些實驗結(jié)果:(A)特別喂食的10頭豬,以及(B)評估正常生長的25頭豬。
具體實施方式
圖3和4表示本發(fā)明的第二方面的設(shè)備100的示范性實施例。根據(jù)此特定實施例,所述設(shè)備100包括可由設(shè)備100的操作者操縱的兩個手柄H。圖3是設(shè)備100的主視圖,根據(jù)本特定實施例,優(yōu)選包括位于設(shè)備100的殼體3正面的:觸摸板顯示屏1、控制按鈕2、電池壽命指示器4、通/斷開關(guān)5和若干調(diào)節(jié)按鈕13。圖4是設(shè)備100的后視圖,包括位于殼體10后面的:二維相機7、識別裝置或激光指示器8,以及距離傳感器9。另外,本實施例的設(shè)備100包括(為了簡便起見,在本例中未在圖中示出)USB端口和用于為設(shè)備100提供電源的充電器。
在本發(fā)明第二方面的設(shè)備100的示范性實施例(參照圖5)中,僅包括例如槍狀的一個手柄H,使操作者能夠用單手使用該設(shè)備100。圖5a是設(shè)備100的主視圖,優(yōu)選包括觸摸板顯示屏1、通/斷開關(guān)5和若干調(diào)節(jié)按鈕6,以便設(shè)置設(shè)備100的不同的操作命令和/或使二維相機7對焦和散焦。圖5b是根據(jù)本實施例的后視圖,包括二維相機7、距離傳感器9、激光指示器8、用于為設(shè)備100提供電源的充電器11,以及位于設(shè)備100的手柄H的控制按鈕2,用于當按下控制按鈕2,獲取(當按下時)二維圖像、二維圖像和/或視頻影像的序列。
可替換地,在本例中沒有示出,所提出的設(shè)備100能夠形成盒子,該盒子可以被固定,以便從靜態(tài)的角度獲取數(shù)據(jù)。
圖6a和6b表示了本發(fā)明的一實施例,該實施例用于執(zhí)行至少一個物體200,特別是例如豬等牲畜的自動稱重和參數(shù)計算(在本例中為物理參數(shù)),并且不限于此,因為在本發(fā)明中至少一個物體200可以是動物、人,作物、草皮、堆肥、人臉、車輛等。在該特定情況下,所提出的設(shè)備100需要二維相機7,優(yōu)選地,二維相機7將連接到互聯(lián)網(wǎng)、WiFi或者某種機制,將數(shù)據(jù)傳輸?shù)教幚韱卧?。該處理單元包括可以完整地或者部分地包括在同一設(shè)備100上或者遠程服務(wù)器S內(nèi)。根據(jù)本實施例,設(shè)備100設(shè)置在在已知距離d處(即,在場景內(nèi)的已知地點),并且物體200的像素的大小是已知的(根據(jù)本發(fā)明的啟示,先前計算的步驟20),這使得能夠根據(jù)以下執(zhí)行步驟精確地計算豬200的重量(也可以是其他所需的物理參數(shù)):優(yōu)選基于顏色外觀分割算法,分割豬30;基于例如在[1]中公開的先驗?zāi)P停嬎阖i200的身體部位的大小,并存儲在計算系統(tǒng)的存儲器或數(shù)據(jù)庫中;以及,基于啟發(fā)式模型40,計算豬的重量,其中啟發(fā)式模型40由實驗數(shù)據(jù)校準。
根據(jù)一百頭范圍在70至140公斤的豬的訓(xùn)練集生成所述啟發(fā)模型40。接著,利用另一樣本集(測試樣本)核實該啟發(fā)式模型,該樣本集包括百頭范圍在70到140公斤的被獨立稱重過的豬。最后,在其任何示范性實施例中,經(jīng)驗證后的模型應(yīng)用在所提出的設(shè)備100中,用于隨后的使用。
參照圖7,表示本發(fā)明的又一實施例。在本例中,緊鄰著豬200設(shè)置已知大小的校正物體OB,例如30×30cm的綠色面板。另外,豬200可以定位在已知的位置(場景的先驗知識),例如通過知道批次SB的大小,或者通過知道地板SG的格子或瓷磚的大小。這使得能夠準確地計算豬200的參數(shù),通過:基于顏色外觀分割法,分割豬200和校準物體OB;仿射校準物體OB的登記文檔來計算空間信息和設(shè)備100與豬200之間的距離;以及,基于受試驗數(shù)據(jù)校準后的啟發(fā)式模型,計算豬的體重。
圖8a和8b表示本發(fā)明的又一實施例。在本例中,所提到的設(shè)備100需要二維相機7、距離傳感器9和激光指示器8,其中二維相機7用來獲得豬200的圖像的視頻序列,距離傳感器9用來測量設(shè)備100和豬200之間的距離,激光指示器8用來為用戶/操作者提供指導(dǎo),以準確標記待稱重的豬200。能夠通過不同的手段實現(xiàn)距離傳感器9或者測距信號,例如,通過可以包含遙測儀、LED、超聲波、RF、微波、磁體、電容量和/或電導(dǎo)率的激光器。有利地,圖像序列的取得對于分割和體重計算具有許多優(yōu)點,即拒絕不適當?shù)目蚣堋⒃黾悠骄?、背景去除、傳感器和視頻同步等。
根據(jù)又一實施例,在本例中未示出,設(shè)備100包括二維相機7;由此,利用包括一個或多個物體200的兩個以上的不同視圖完成計算,改善一個或多個物體200的參數(shù)計算。
根據(jù)再一實施例,如圖9所示,一旦二維圖像(或者甚至是圖像和/或視頻的序列)被用戶通過安裝在所提到設(shè)備100(步驟91)上的計算軟件應(yīng)用程序而獲得,獲得的圖像傳輸至位于云計算環(huán)境的遠程服務(wù)器S的處理單元,以便在遠程服務(wù)器S(步驟92)上運行計算方法,該遠程服務(wù)器S(在數(shù)秒內(nèi))驗證和處理接收的圖像,使得能夠以這種方式附加網(wǎng)絡(luò)服務(wù),例如用普遍的方法監(jiān)控豬的生長或者建立映射。一旦數(shù)據(jù)經(jīng)過處理后(步驟93),該數(shù)據(jù)傳輸至所提及的設(shè)備100,設(shè)備100允許所述計算軟件應(yīng)用程序顯示(步驟94)計算的參數(shù)值。
獲得的數(shù)據(jù)在遠程服務(wù)器S內(nèi)集中導(dǎo)致附加的特征、應(yīng)用程序的數(shù)量更加龐大:動物或豬的生長、庫存管理、庫存價格、對產(chǎn)品銷售的視覺注意、豬制品或生產(chǎn)者的可靠性的映射、一年的整體收益以及下季度或數(shù)年的預(yù)測產(chǎn)量。
最終,在又一實施例中,所提到的設(shè)備100需要二維相機7、距離傳感器9和同步信號,其中二維相機7用來獲得豬200的圖像的視頻序列,距離傳感器9用來測量設(shè)備100和豬200之間的距離,同步信號利用基于GMT參考的時間標記,同步距離測量和視頻序列。
圖10表示與兩個不同測試的比例結(jié)果相比較的實際數(shù)據(jù)中所提出的實施例之一的結(jié)果。圖10A表示由特別食物飼養(yǎng)且超重的10頭豬的數(shù)據(jù),均方根誤差=1.47公斤,皮爾森(Pearson)rho=0.99。圖10B表示寬范圍的25頭豬的數(shù)據(jù),均方根誤差=1.72公斤,皮爾森rho=0.99。
盡管本描述涵蓋許多具體實施細節(jié),但這些不應(yīng)被解釋為對本發(fā)明或所要求保護的范圍的限制,而是被解釋為對本發(fā)明的特定實施例特定特征的描述。
本發(fā)明的范圍在下列所附權(quán)利要求中限定。