本發(fā)明涉及系統(tǒng),機械,控制方法和程序。
背景技術:
已知存在一種用于通過使用一機械自動地運動并執(zhí)行任務的技術。例如,在專利文獻1中,包括光源和檢測器的反射基部/傳感器的農(nóng)作物傳感頭被耦連到車輛,該車輛用來通過使農(nóng)作物傳感頭靠近農(nóng)作物經(jīng)過來收集農(nóng)作物的農(nóng)作物數(shù)據(jù)?;谠撧r(nóng)作物數(shù)據(jù),農(nóng)作物所需要的材料量(例如,肥料,種子,營養(yǎng)物,水,化學藥品等)被獲得,要從連接到車輛的分配器噴灑的材料量被調(diào)節(jié)。材料噴灑量通過改變車輛的速度被調(diào)節(jié)。當噴灑量要增加時,車輛速度減小,以及當噴灑量要減小時,車輛速度增加。該速度被自動調(diào)節(jié)。
然而,該技術需要首先通過其上耦連農(nóng)作物傳感頭的車輛掃描田野中的所有標圖然后在當自動地控制其上耦連分配器的車輛的運動時噴灑所述材料到農(nóng)作物的任務。因此,為了噴灑所述材料的任務,車輛需要在農(nóng)場土地中行進(travel)兩次。此外,材料的噴灑量通過改變車輛是速度被調(diào)節(jié),因此難以根據(jù)單個農(nóng)作物的狀態(tài)精確地噴灑材料。如上所述的,考慮到,尚有余地進一步增加效率,例如減少總任務時間,以及基于用于每個單獨目標的準確信息來精確地供給所述材料。此外,甚至更多的原創(chuàng)性和創(chuàng)造性需要通過增加如上所述的運動和任務的效率來進一步增加整個系統(tǒng)的效率。
[現(xiàn)有技術]
[專利文獻1]
PCT國際申請公布號JP-T-2010-517567的日文譯文。
技術實現(xiàn)要素:
[本發(fā)明要解決的問題]
鑒于以上所述的,本發(fā)明的目的是要提供一種能夠增加整個系統(tǒng)的效率的裝置。
[解決該問題采用的技術手段]
根據(jù)本發(fā)明的系統(tǒng)包括第一操作裝置,該第一操作裝置被構造為執(zhí)行與第一目標有關的操作;至少一個傳感器,該至少一個傳感器被構造為從第一目標獲取模擬信息;以及控制裝置,該控制裝置被構造為基于從由至少一個傳感器獲取的模擬信息獲取的與第一目標有關的多個類型的數(shù)字信息之中的至少一個類型的第一數(shù)字信息來識別第一目標,以及基于多個類型的數(shù)字信息之中的不同于第一數(shù)字信息的至少一個類型的第二數(shù)字信息來控制與識別的第一目標有關的通過第一操作裝置的操作。
[本發(fā)明的效果]
根據(jù)本發(fā)明,整個系統(tǒng)的效率可增加。
附圖說明
圖1是示意性地示出根據(jù)本發(fā)明的實施例的在農(nóng)場土地(農(nóng)業(yè)土地)中的系統(tǒng)的構造的示意圖;
圖2是示意性地示出根據(jù)本發(fā)明的實施例的包括實施整個控制的服務器裝置的信息通信系統(tǒng)構造的示意圖;
圖3是示出根據(jù)本發(fā)明的實施例的為機械的示例的農(nóng)業(yè)機械的示意圖;
圖4是示出根據(jù)本發(fā)明的實施例的為機械的示例的農(nóng)業(yè)機械的另一個示例的示意圖;
圖5是示出根據(jù)本發(fā)明的實施例的用于使所述機械運動的傳動裝置的示例的示意圖;
圖6是示出根據(jù)本發(fā)明的實施例的用于使所述機械運動的傳動裝置的另一個示例的示意圖;
圖7是示出根據(jù)本發(fā)明的實施例的為一個類型的傳感器裝置的立體照相機裝置的外部視圖的示意圖;
圖8是示出根據(jù)本發(fā)明的實施例的立體照相機的的構造的示意圖;
圖9示出根據(jù)本發(fā)明的實施例的安裝在立體照相機裝置中的FPGA的功能的功能方框圖;
圖10是根據(jù)本發(fā)明的實施例的作為用于描述用于通過所述立體照相機裝置執(zhí)行測距的原理的示意圖;
圖11A示出根據(jù)本發(fā)明的實施例的參考圖像;
圖11B示出根據(jù)本發(fā)明的實施例的與作為比較目標的圖11A的參考圖像有關的通過邊緣檢測方法獲得的視差圖像;
圖11C是示出根據(jù)本發(fā)明的實施例的與圖11A的參考圖像有關的通過SGM方法獲得的視差圖像的概念圖;
圖12A是示出根據(jù)本發(fā)明的實施例的由立體照相機裝置捕捉的參考圖像中的參考像素的概念圖;
圖12B是根據(jù)本發(fā)明的實施例的用于描述通過立體照相機裝置檢測與包括在參考圖像中的區(qū)域(預定的參考像素)有關的比較圖像中的指定范圍中的成本(一致度或不相似度,相似度)的過程的示意圖;
圖13是示出根據(jù)本發(fā)明的實施例的由立體照相機裝置獲取到的成本值和偏移量之間的關系的示意圖;
圖14是示意性地表示根據(jù)本發(fā)明的實施例的通過立體照相機裝置組合成本的過程的示意圖;
圖15是示出根據(jù)本發(fā)明的實施例的由立體照相機裝置獲取的組合成本值和偏移量之間的關系的示意圖;
圖16是示出根據(jù)本發(fā)明的實施例的激光雷達裝置的構造的示意圖;
圖17是示出根據(jù)本發(fā)明的實施例的多光譜照相機裝置(比色照相機裝置)的外部視圖的示意圖;
圖18是示出根據(jù)本發(fā)明的實施例的多光譜照相機裝置(比色照相機裝置)的構造的示意圖;
圖19是示出根據(jù)本發(fā)明的實施例的可安裝在多光譜照相機裝置中的光圈和過濾器的示意圖;
圖20是示出根據(jù)本發(fā)明的實施例的由多光譜照相機裝置捕捉的捕捉圖像的示意圖;
圖21是根據(jù)本發(fā)明的實施例的由多光譜照相機裝置捕捉的捕捉圖像中的宏像素的放大視圖;
圖22是示出根據(jù)本發(fā)明的實施例的可由多光譜照相機裝置測量的光譜反射率和波長之間的關系的示意圖;
圖23A示出根據(jù)本發(fā)明的實施例的可安裝在多光譜照相機裝置中的光圈和過濾器的另一個示例;
圖23B示出根據(jù)本發(fā)明的實施例的可安裝在多光譜照相機裝置中的光圈和過濾器的另一個示例;
圖24是示出與植物的葉子有關的典型光譜反射光譜的示意圖;
圖25是示出根據(jù)本發(fā)明的實施例的使用多光譜照相機裝置的監(jiān)視裝置的示例的示意圖;
圖26是示出根據(jù)本發(fā)明的實施例的使用天球照相機裝置的監(jiān)視裝置的示意圖;
圖27是示出根據(jù)本發(fā)明的實施例的天球照相機裝置的外部視圖的示意圖;
圖28是示出根據(jù)本發(fā)明的實施例的天球照相機裝置的光學系統(tǒng)的示意圖;
圖29是示出根據(jù)本發(fā)明的實施例的天球照相機裝置的構造的示意圖;
圖30A是用于描述根據(jù)本發(fā)明的實施例的由天球照相機裝置捕捉的半球圖像(后側)的示意圖;
圖30B是用于描述根據(jù)本發(fā)明的實施例的由天球照相機裝置捕捉的半球圖像(后側)的示意圖;
圖30C是用于描述根據(jù)本發(fā)明的實施例的其中由天球照相機裝置捕捉的圖像由等距的柱面投影表示的等距柱面圖像的示意圖;
圖31是示出根據(jù)本發(fā)明的實施例的使用天球照相機裝置的監(jiān)視裝置的另一個示例的示意圖;
圖32是用于描述在根據(jù)本發(fā)明的實施例的系統(tǒng)中的執(zhí)行自動控制的初始設定形式的處理的流程圖;
圖33是用于描述在根據(jù)本發(fā)明的實施例的系統(tǒng)中的用于執(zhí)行自動控制的初始設定的隨后處理的流程圖;
圖34是用于描述在根據(jù)本發(fā)明的實施例的系統(tǒng)中的通過自動控制的農(nóng)業(yè)機械的運動和任務的整個處理的流程圖;
圖35A是用于描述在根據(jù)本發(fā)明的實施例的系統(tǒng)中的在圖34中示出的流程圖中的步驟S162,S170和S180的過程的細節(jié)的流程圖;
圖35B示出在圖35A中的步驟S202的過程中由立體照相機裝置捕捉的圖像之中的參考圖像;
圖36是用于描述在圖35中示出的流程圖的隨后處理的流程圖;
圖37A是根據(jù)本發(fā)明的實施例的用于描述在其中圖35中示出的流程圖的步驟S224的過程僅是在所述系統(tǒng)中的運動的情況下的處理的細節(jié)的流程圖;
圖37B是根據(jù)本發(fā)明的實施例的用于描述在其中圖35中示出的流程圖的步驟S224的過程包括在所述系統(tǒng)中的連續(xù)任務的情況下的處理的細節(jié)的流程圖;
圖38示出根據(jù)本發(fā)明的實施例的作為用于執(zhí)行連續(xù)任務的機械的示例的為平整農(nóng)場土地提供的農(nóng)業(yè)機械;
圖39是示出根據(jù)本發(fā)明的實施例的通過農(nóng)業(yè)機械的平整任務的示意圖;
圖40是根據(jù)本發(fā)明的實施例的用于描述由執(zhí)行平整任務的農(nóng)業(yè)機械執(zhí)行的圖37B中示出的流程圖中的步驟S262的過程的細節(jié)的流程圖;
圖41A是根據(jù)本發(fā)明的實施例的與執(zhí)行平整任務的農(nóng)業(yè)機械有關的用于發(fā)射激光的激光雷達裝置的旋轉和激光接收裝置的位置之間的關系的鳥瞰視圖的示意圖;
圖41B是根據(jù)本發(fā)明的實施例的與執(zhí)行平整任務的農(nóng)業(yè)機械有關的用于發(fā)射激光的激光雷達裝置的旋轉和激光接收裝置的位置之間的關系的鳥瞰視圖的示意圖;
圖41C是根據(jù)本發(fā)明的實施例的與執(zhí)行平整任務的農(nóng)業(yè)機械有關的用于發(fā)射激光的激光雷達裝置的旋轉和激光接收裝置的位置之間的關系的鳥瞰視圖的示意圖;
圖42是示出根據(jù)本發(fā)明的實施例的由農(nóng)業(yè)機械執(zhí)行平整任務的另一個示例的示意圖;
圖43是示出根據(jù)本發(fā)明的實施例的用于識別其中需要任務的位置并使用農(nóng)業(yè)機械執(zhí)行在該位置的任務的系統(tǒng)構造的一部分的示意圖;
圖44是示出根據(jù)本發(fā)明的實施例的如何使用農(nóng)業(yè)機械執(zhí)行所述任務(施肥)的示意圖;
圖45A是示出根據(jù)本發(fā)明的實施例的作為由農(nóng)業(yè)機械使用的任務裝置的施肥裝置的示意圖;
圖45B是根據(jù)本發(fā)明的實施例的施肥裝置的截面視圖;
圖46是根據(jù)本發(fā)明的實施例的通過用于識別所述位置的服務裝置以基于來自于監(jiān)視裝置的信息執(zhí)行任務的處理的流程圖;
圖47是一示意圖,其示出根據(jù)本發(fā)明的實施例的用于描述當在確定是否每個目標需要任務時通過農(nóng)業(yè)機械執(zhí)行任務時的圖35的流程圖中的步驟S224的過程的細節(jié)的流程圖;
圖48是示出根據(jù)本發(fā)明的實施例的當電驅動的農(nóng)業(yè)機械中斷任務并給電池充電時的操作的示意圖;
圖49是示出根據(jù)本發(fā)明的實施例的與當農(nóng)業(yè)機械因為燃料的剩余量或任務源變?yōu)榈偷亩荒軋?zhí)行最初已經(jīng)被安排的操作時執(zhí)行的操作有關的流程圖的示意圖;
圖50A是示意性地示出根據(jù)本發(fā)明的實施例的用于匹配位置的到目標的距離的測量以便精確地定位在任務中斷位置處的農(nóng)業(yè)機械的示意圖;
圖50B是示意性地示出根據(jù)本發(fā)明的實施例的用于匹配位置的到目標的距離的測量以便精確地定位在任務中斷位置處的農(nóng)業(yè)機械的示意圖;
圖51是示出根據(jù)本發(fā)明的實施例的通過電驅動農(nóng)業(yè)機械的緊接著在使用非接觸充電裝置給電池充電之后的狀態(tài)的示意圖;
圖52是示出根據(jù)本發(fā)明的實施例的檢測在所述系統(tǒng)中的異常例如害獸并且將害獸追出來的示意圖;
圖53是示意性地示出根據(jù)本發(fā)明的實施例的在所述系統(tǒng)中的圖52中示出的狀態(tài)的鳥瞰視圖的示意圖;
圖54是示出根據(jù)本發(fā)明的實施例的當在所述系統(tǒng)中發(fā)生異常時執(zhí)行的處理的流程圖;
圖55是示出根據(jù)本發(fā)明的實施例的在圖54中示出的流程圖的隨后的處理的流程圖;
圖56是示出根據(jù)本發(fā)明的實施例的由農(nóng)業(yè)機械檢測的異常(害獸)的圖像和由疊加在所述圖像上顯示的距離和尺寸的信息的示意圖;
圖57是示出根據(jù)本發(fā)明的實施例的作為農(nóng)業(yè)機械的另一個示例的運動并執(zhí)行任務(噴灑水)的可動噴灑器的示意圖;
圖58是示出根據(jù)本發(fā)明的實施例的作為農(nóng)業(yè)機械的另一個示例的運動(飛行)并執(zhí)行任務(散播)的四軸飛行器的示意圖;
圖59是示出根據(jù)本發(fā)明的實施例的信息通信系統(tǒng)的另一個示例的示意圖;
圖60是示出根據(jù)本發(fā)明的另一個實施例的作為可動機械(任務機械)而不是農(nóng)業(yè)機械的另一個示例的建筑任務機械的示例可動示意圖。
附圖標記列表
100 農(nóng)業(yè)機械
100A,100C 拖拉機
110 立體照相機裝置
112 112-2激光雷達裝置
113 多光譜照相機裝置
310 成本計算單元
320 成本組合單元
330 視差值導出單元
350,360 農(nóng)作物
500,555 農(nóng)場土地監(jiān)視裝置
501 天球照相機裝置
550 狀態(tài)監(jiān)視裝置
704 服務器
705 視頻服務器
706,708 數(shù)據(jù)庫
707 操作管理服務器
710,712 用戶終端
850 噴灑器
1100 直升飛機
1500 整個系統(tǒng)
1501 系統(tǒng)
1502 信息通信系統(tǒng)
具體實施方式
在下文中,通過使用圖1到60給出了本發(fā)明的實施例的描述。本實施例示出了可動主體它自己的示例,包括行進機械例如農(nóng)業(yè)機械和建筑機械,飛行機械,船,水下機械以及機器人等,其在運動時執(zhí)行任務以及在運動之后執(zhí)行任務,以及用于直接地或間接地控制這些可動主體以執(zhí)行希望的任務的系統(tǒng)。在本實施例中,各種可動主體可被如上所述地應用;然而,在此,給出了與農(nóng)業(yè)機械有關的基本構造和操作的描述,通過該農(nóng)業(yè)機械,所述運動和任務的內(nèi)容直觀上是可容易理解的。
[整個系統(tǒng)的概述]
<農(nóng)場土地中的系統(tǒng)構造>
在農(nóng)場土地中的農(nóng)業(yè)工作中要考慮的問題是要增加農(nóng)業(yè)機械例如拖拉機的運動效率和使用農(nóng)業(yè)機械的任務。這些運動和任務優(yōu)選地被自動地控制,而盡可能多得不使用人力。圖1示出本實施例要應用到的農(nóng)場土地中的系統(tǒng)1501的構造。根據(jù)本實施例的整個系統(tǒng)1500包括圖1的整個系統(tǒng)1501以及圖2的信息通信系統(tǒng)1502。在下文中,與整個系統(tǒng)1500有關的描述可以是與系統(tǒng)1501或信息通信系統(tǒng)1502有關的描述,以及與系統(tǒng)1501或信息通信系統(tǒng)1502有關的描述可以是與整個系統(tǒng)1500有關的描述。
圖1的農(nóng)場土地包括作為農(nóng)業(yè)機械100的拖拉機,農(nóng)作物350,使用天球照相機的農(nóng)場土地監(jiān)視裝置500,使用多光譜照相機(或比色照相機)的狀態(tài)監(jiān)視裝置550,以及用于在農(nóng)場土地中執(zhí)行整地(平整土地)任務的激光接收位置反饋裝置(激光接收裝置)610。相應機械和裝置的構造和操作在下面被詳細地描述。
該圖中的虛線表示通過無線通信的信息的傳送和接收,以及農(nóng)業(yè)機械100,農(nóng)場土地監(jiān)視裝置500和狀態(tài)監(jiān)視裝置550等構成無線通信網(wǎng)絡。該無線通信被連接到圖2中示出的信息通信系統(tǒng)1502的無線訪問點700。如上所述的,信息通信系統(tǒng)1502與農(nóng)業(yè)機械100,農(nóng)場土地監(jiān)視裝置500和狀態(tài)監(jiān)視裝置550等協(xié)作操作,因此手動操作被最小化到初始設定等,隨后,通過農(nóng)業(yè)機械100的運動和任務可根據(jù)自動控制執(zhí)行。因此,任務的效率可增加。使用這些無線通訊的信息通信系統(tǒng)1502的操作在下面被詳細地描述。
注意到,圖1的農(nóng)場土地是戶外的農(nóng)場土地;然而,農(nóng)場土地不如此限制。使用聚乙烯溫室的溫室耕作或者其中農(nóng)作物是在戶內(nèi)生產(chǎn)的其他情況也包括在本實施例中。
根據(jù)本實施例的整個系統(tǒng)1500是通過農(nóng)場土地中的系統(tǒng)1501和接下來描述的信息通信系統(tǒng)1502構成的。整個系統(tǒng)1500通過在盡可能多得省去手動操作時使用這些機械和裝置來執(zhí)行有效率的農(nóng)業(yè)工作。
注意到,字母例如A,B和C被附在這些圖中的附圖標記(這些圖中的數(shù)字)之后,為了區(qū)分與由所述附圖標記表示的裝置、機械或元件等有關的基本相同但部分不同的功能的目的。在實施例的描述中,當不需要區(qū)分這些功能時字母被省略。在該情況下,由所述字母表示的所有的機械和裝置是描述的目標。
此外,具有示出在附圖標記之后的連字符和數(shù)字的元件具有與僅由附圖標記表示的元件不同的構造,雖然所述功能是相同的或相似的。在下面的描述中,當所述元件不是用來區(qū)分時,在附圖標記之后的連字符和數(shù)字被省略。在該情況下,僅由附圖標記表示和由附圖標記、連字符和數(shù)字表示的所有機械和裝置是描述的目標。
此外,在下面的描述中,當附圖標記通過這些附圖標記之間的逗號被連續(xù)地表示時,如在“用戶終端710,712”中,這基本上意味著“某一附圖標記和/或另一個附圖標記”或者“所有附圖標記中的至少一個”。以上示例意味著“用戶終端710和/或712”或“用戶終端710和712中的至少一個”。
<信息通信系統(tǒng)構造>
圖2示出本實施例應用到的信息通信系統(tǒng)的構造。本信息通信系統(tǒng)1502包括無線訪問點700,因特網(wǎng)702,服務器704,數(shù)據(jù)庫706,數(shù)據(jù)庫708,用戶終端710以及用戶終端712。
所述無線訪問點700,服務器704和數(shù)據(jù)庫706,708以有線方式被連接到因特網(wǎng)702;然而,連接不受此限制,可以無線方式進行連接。此外,用戶終端710,712可以有線或無線方式直接地連接到因特網(wǎng)702,或者可經(jīng)由無線訪問點700或其它中繼裝置連接到因特網(wǎng)702。
無線訪問點700是與農(nóng)場土地中的機械和裝置執(zhí)行信息通信的戶外的長距離的無線局域網(wǎng)訪問點,并且包括定向天線701。當信息沒有從特定方向上傳送時,非定向天線可用作定向天線701。此外,無線訪問點700是路由器類別的,并包括路由選擇功能和網(wǎng)絡地址轉換(NAT)功能。通過路由選擇功能,無線訪問點700能夠選擇最佳路徑并發(fā)送包(packet),當發(fā)送包到TCP/IP網(wǎng)絡中的目的主機時。此外,通過NAT功能,路由器和在兩個TCP/IP網(wǎng)絡之間的邊界處的網(wǎng)關可自動地變換兩個IP地址并傳送數(shù)據(jù)。通過這些功能,信息可與服務器704等有效地通信。
作為無線標準,使用符合作為參考標準的IEEE 802.11系列的標準;然而,標準不限于此。例如,可以使用在移動通信系統(tǒng)中使用的W-CDMA(UMTS)方法,CDMA2000 1X方法和長期演進(LTE)方法等。
服務器704包括CPU 7041,ROM 7042,RAM 7043,固態(tài)驅動器(SSD)7044和接口(I/F)7045。注意到,除了SSD 7044之外或替代SSD 7044,可以提供硬盤。CPU 7041是執(zhí)行服務器704中的程序的主體。在ROM 7042中,記錄要在電源接通之后立即由CPU 7041處理的內(nèi)容和作為最低要求的一組指令。RAM 7043是用于臨時存儲要由CPU 7041處理的數(shù)據(jù)的存儲器。服務器704起到用于控制農(nóng)業(yè)機械100和包括農(nóng)場土地監(jiān)視裝置500,555和狀態(tài)監(jiān)視裝置550的各種裝置的控制裝置的作用。
服務器704經(jīng)由無線訪問點700與圖1所示的農(nóng)業(yè)機械100、農(nóng)場土地監(jiān)視裝置500和狀態(tài)監(jiān)視裝置550進行信息通信。此外,服務器704還執(zhí)行與數(shù)據(jù)庫706,708和用戶終端710,712的信息通信。下面描述由服務器704執(zhí)行的操作。當CPU 7041將存儲在SSD 7044中的程序加載到RAM中時,執(zhí)行由服務器704執(zhí)行的操作,并且CPU 7041基于加載在RAM中的數(shù)據(jù)來執(zhí)行程序。注意到,可以更新存儲在SSD 7044中的程序。此外,程序可以存儲在諸如CD-ROM,DVD-ROM,SD卡和USB存儲器的便攜式記錄介質中;在這種情況下,服務器704從這些介質讀取程序,并且執(zhí)行程序。此外,服務器704經(jīng)由接口連接到因特網(wǎng)702。
在此,整個系統(tǒng)1500通過無線通信交換信息,因此要解決的問題是準確地發(fā)送和接收信息,并確保關于發(fā)送和接收的信息的安全性。因此,服務器704基于從農(nóng)業(yè)機械100和用戶終端710,712等獲取的位置信息,確定農(nóng)業(yè)機械100和用戶終端710,712等是否位于諸如農(nóng)場土地的特定區(qū)域或信息通信相關設施中。當這些裝置位于特定區(qū)域中時,服務器704執(zhí)行與農(nóng)業(yè)機械100和用戶終端710,712等的驗證處理,并且僅當驗證成功時,服務器704應用根據(jù)本實施例的整體系統(tǒng)1500。也就是說,在整個系統(tǒng)1500中傳送的信息被加密,并且僅當驗證成功時,給出用于解密的密鑰,并且有意義的信息通信成為可能。另一方面,當驗證不成功時,信息不能被解密,因此不能進行有意義的信息通信,并且不能使用整個系統(tǒng)1500。如上所述的,增加了整個系統(tǒng)1500的安全性。此外,假設農(nóng)業(yè)機械100被盜,如果當驗證不成功時農(nóng)業(yè)機械100不能被使用,則可以有效地防止盜竊。注意到,可以執(zhí)行驗證處理,而不管用于使用信息通信系統(tǒng)1502的裝置是否位于特定區(qū)域內(nèi)。也可以像本實施例中輸入用戶ID和用戶的密碼那樣來進行驗證,或者在農(nóng)業(yè)機械100、農(nóng)場土地監(jiān)視裝置500和狀態(tài)監(jiān)視裝置500的情況下使用機械或裝置的唯一的ID。此外,當不考慮安全性時,不需要驗證、加密或解密的處理。
此外,當整個系統(tǒng)1500或部分的整個系統(tǒng)1500被提供給用戶時,優(yōu)選地精確地和容易地感知到整個系統(tǒng)1500的使用以及向用戶收取整個系統(tǒng)1500的使用費等。為此,服務器704還執(zhí)行下面描述的收費處理(開出開帳單)。如上所述的,服務器704執(zhí)行許多處理,因此高性能的、耐用的計算機被使用。然而,如上所述或如下所述的由服務器704執(zhí)行的處理可在多個服務器(計算機)之間分配。例如,這些可在整個系統(tǒng)1500的用于管理的服務器、用于驗證/分析的服務器和用于管理所述收費的服務器之間分配。
此外,所述系統(tǒng)如在整個系統(tǒng)1500的情況下那樣被建立為彼此協(xié)作地操作的多個元件,因此要解決的問題是要快速地注意到所述系統(tǒng)中的元件的故障。為了解決該問題,服務器704監(jiān)視是否諸如損壞的故障例如發(fā)生在農(nóng)業(yè)機械100、農(nóng)場土地監(jiān)視裝置500,555和狀態(tài)監(jiān)視裝置550中。當檢測到故障時,服務器704自動地報告所述故障給包括信息通信系統(tǒng)1502的整個系統(tǒng)1500的提供者或給根據(jù)整個系統(tǒng)1500和用戶終端710,712的服務提供者。注意到,當農(nóng)業(yè)機械100等檢測到諸如損壞的故障時,農(nóng)業(yè)機械100會將該故障報告給服務器704,不用等待來自于服務器704的查詢。如上所述的,整個系統(tǒng)1500能夠注意到故障,因此當缺陷發(fā)生在所述系統(tǒng)中時,服務提供者等能夠快速地感知到所述情況,并且這處理該缺陷。
在整個系統(tǒng)1500中要解決的一個問題是要準確地辨認行進方向上的障礙物和為該任務的目標的農(nóng)作物,用于自動行進。由此,為了準確地且快速地執(zhí)行該辨認處理,數(shù)據(jù)庫706存儲各種數(shù)據(jù)。服務器704使用存儲在數(shù)據(jù)庫706中的數(shù)據(jù)以執(zhí)行在下面描述的所述辨認處理。存儲在數(shù)據(jù)庫706中的數(shù)據(jù)主要是圖像數(shù)據(jù)(用于辨認處理的標準圖案等)以及指示圖像數(shù)據(jù)的屬性和類型的信息以及對應于該類型的農(nóng)業(yè)機械100的動作。所述圖像數(shù)據(jù)和指示所述屬性和類型等的數(shù)據(jù)以彼此有關的狀態(tài)被存儲。注意到,數(shù)據(jù)庫706可存儲內(nèi)容數(shù)據(jù),用于經(jīng)由因特網(wǎng)702提供信息。還在該情況下,圖像數(shù)據(jù)和指示圖像數(shù)據(jù)的類型和屬性的數(shù)據(jù)等彼此相關。隨著這種存儲數(shù)據(jù)增加時,辨認處理的精度將增加。
除了上述辨認處理之外,重要的是存儲任務信息和在農(nóng)場土地中的作為任務目標的農(nóng)作物的狀態(tài),并且有效地執(zhí)行上述收費任務和未來任務。因此,數(shù)據(jù)庫708是用于存儲從農(nóng)場土地、主要從農(nóng)業(yè)機械100、農(nóng)場土地監(jiān)視裝置500和狀態(tài)監(jiān)視裝置550等發(fā)送的信息的存儲位置。例如,信息包括任務的開始時間、中斷時間和結束時間、其中需要任務的位置的信息,諸如其中已經(jīng)施加肥料的位置的任務位置和任務的年/月/日/時間,在下面描述的正?;町愔脖恢笖?shù)NDVI以及害蟲信息。通過將這些類型的信息存儲為數(shù)據(jù)庫,分析存儲的數(shù)據(jù)并利用該數(shù)據(jù),可以提高未來農(nóng)業(yè)管理的效率。也就是說,可以分析由服務器704等存儲的信息,得出農(nóng)作物的生長狀態(tài)和裝運中的特定趨勢,并且基于所述趨勢例如識別要施加多少肥料以便獲得目標質量的農(nóng)作物并在期望的時間段內(nèi)獲得該農(nóng)作物。特別地,通過正?;町愔脖恢笖?shù)NDVI的值,可以預期收獲期,因此優(yōu)選地基于在農(nóng)場土地中生長的農(nóng)作物存儲許多信息項。
此外,農(nóng)作物的銷售價格由需求與供給之間的關系決定,因此農(nóng)作物優(yōu)選地在當需求高峰時的時間裝運。由此,數(shù)據(jù)庫708還存儲裝運信息和來自于市場的庫存信息。例如,可識別的信息例如無線標簽和條型碼被施加到要被裝運的農(nóng)作物(的包裹)。在從當農(nóng)作物被裝運時到當農(nóng)作物上市時的被運輸和存儲的時間,農(nóng)作物的類型從所述識別信息獲取,以及包括被識別的該信息的信息、識別位置以及識別時間,被順序地存儲在數(shù)據(jù)庫708中。注意到,所述被識別的信息是通過包括無線標簽讀取裝置或條型碼讀取器的系統(tǒng)獲取的,所述信息經(jīng)由因特網(wǎng)702,與用于追蹤所述農(nóng)作物所需要的信息例如識別的時間信息和識別的位置信息等一起,被存儲在數(shù)據(jù)庫708中。因此,根據(jù)本實施例用戶(使用用戶終端710,712)和服務器704能夠追蹤農(nóng)作物的運動并且確定農(nóng)作物需要的狀態(tài)。也就是說,消費者喜歡的農(nóng)作物具有低的庫存或脫售快,因此,服務器704(或用戶經(jīng)由用戶終端710,712)能夠分析存儲在數(shù)據(jù)庫708中的信息并識別這樣的農(nóng)作物。然后,為了快速地裝運消費者喜歡的農(nóng)作物,服務器704控制農(nóng)業(yè)機械100等以給農(nóng)作物施加肥料,給水,以及供給二氧化碳等,以使得植物的生長被促進并且農(nóng)作物能夠提早收貨。
此外,如果為任務目標的農(nóng)作物的收獲期和收獲量能夠被預測,更高的值可由系統(tǒng)用戶提供。為了實現(xiàn)該值,服務器704能夠通過利用農(nóng)作物實際上在其之下已經(jīng)生長的條件(生長條件)根據(jù)來自于用戶終端710,712的指令執(zhí)行多變量分析和分析,所述條件為例如正?;町愔脖恢笖?shù)NDVI,水分虧缺度,噴灑水和施肥的量,日照持續(xù)時間,溫度和濕度等,植物在這樣的條件之下的生長程度,收獲期以及收獲量。隨著這種存儲數(shù)據(jù)增加,輸出(收獲期和收獲量)預測的精度將增加。注意到,以上的生長條件可由服務器704從農(nóng)場土地中的農(nóng)業(yè)機械100、農(nóng)場土地監(jiān)視裝置500,555和狀態(tài)監(jiān)視裝置550的組合或其之一獲取,與環(huán)境有關的內(nèi)容信息(氣象信息等)經(jīng)由因特網(wǎng)提供,以及從用戶輸入。注意到,預測的輸出結果被發(fā)送到并顯示在用戶終端710,712。此外,該輸出量的預測信息還可以被用作財富數(shù)據(jù),其能夠通過電信線路諸如因特網(wǎng)或通過提供在記錄所述預測信息的記錄介質中而獨立地賣給另一個用戶或顧客。
注意到,數(shù)據(jù)庫706,708被描述為與服務器704分開的構造;然而,至少一個數(shù)據(jù)庫706,708可提供在服務器704中。在該情況下,SSD的區(qū)域可分開以構成相應的數(shù)據(jù)庫。替代地,數(shù)據(jù)庫706和數(shù)據(jù)庫708中的至少一個可以有線或無線方式被連接到服務器704而不涉及因特網(wǎng)702。通過該連接,不需要經(jīng)由因特網(wǎng)通信,因此可以增加需要訪問該數(shù)據(jù)庫的處理的速度。
用戶終端710是平板類型的計算機。此外,用戶終端712是不受使用位置限制的移動類型計算機,像智能手機等。這些終端具有從四個衛(wèi)星接收全球定位系統(tǒng)(GPS)信號并識別當前位置的功能。注意到,當已知農(nóng)場土地監(jiān)視裝置500,555和狀態(tài)監(jiān)視裝置550等的絕對位置時,這些終端可從這些裝置中的三個或更多個接收信號并根據(jù)這些信號的衰減和接收中的延遲識別當前位置。
注意到,用戶終端710和712不限于平板類型計算機或移動類型計算機;用戶終端710和712可以是臺式計算機或內(nèi)裝某物的內(nèi)裝式計算機等,或者可佩戴類別的計算機例如手表或眼鏡等。這些用戶終端710,712能夠經(jīng)由服務器704發(fā)送指令到農(nóng)場土地中的農(nóng)業(yè)機械100,農(nóng)場土地監(jiān)視裝置500,555和狀態(tài)監(jiān)視裝置550。例如,開始任務的指令可發(fā)送到農(nóng)業(yè)機械100。此外,用戶終端710和712能夠經(jīng)由服務器704從農(nóng)場土地中的農(nóng)業(yè)機械100、農(nóng)場土地監(jiān)視裝置500和狀態(tài)監(jiān)視裝置550獲取報告和信息。例如,用戶終端710,712能夠顯示由農(nóng)業(yè)機械100、農(nóng)場土地監(jiān)視裝置500和狀態(tài)監(jiān)視裝置550獲取的圖像。服務器704監(jiān)視在這些用戶終端710,712和農(nóng)業(yè)機械100、農(nóng)場土地監(jiān)視裝置500和狀態(tài)監(jiān)視裝置550之間的信息的交換,并且將信息的交換記錄在數(shù)據(jù)庫706和數(shù)據(jù)庫708中。注意到,當服務器704沒有執(zhí)行監(jiān)視時,用戶終端710,712能夠直接地執(zhí)行與農(nóng)業(yè)機械100、農(nóng)場土地監(jiān)視裝置500,555和狀態(tài)監(jiān)視裝置550的信息通信,而沒有涉及服務器704。
注意到,根據(jù)本實施例的信息通信系統(tǒng)1502是所謂的經(jīng)由因特網(wǎng)702交換信息的云類型的系統(tǒng);然而,信息通信系統(tǒng)1502不限于此。例如,專用的通信網(wǎng)絡可構造在用戶的設施中,信息可僅通過專用通信網(wǎng)絡或通過專用通信網(wǎng)絡和因特網(wǎng)的組合被交換。因此,高速的信息傳輸是可能的。此外,服務器704的功能和由服務器704執(zhí)行的處理可包括在農(nóng)業(yè)機械100中。因此,通過農(nóng)業(yè)機械100的任務的處理速度等可進一步增加。
注意到,根據(jù)本實施例的整個系統(tǒng)1500包括在圖1中示出的農(nóng)場土地中的系統(tǒng)1501和在圖2中示出的信息通信系統(tǒng)1502;然而,如上所述的信息通信系統(tǒng)1502的服務器704和數(shù)據(jù)庫706,708可結合到所述系統(tǒng)1501中的農(nóng)業(yè)機械100和農(nóng)場土地監(jiān)視裝置500中。
[農(nóng)業(yè)機械、裝置的描述]
接下來,通過利用圖3到31,給出了根據(jù)本實施例的農(nóng)業(yè)機械、設置在農(nóng)業(yè)機械中的各種傳感器裝置等以及安裝在農(nóng)場土地中的裝置的描述。
<農(nóng)業(yè)機械>
農(nóng)業(yè)機械,其是整個系統(tǒng)1500的構成元件之一,基于來自于服務器704的指令自動地行進,并且自動地執(zhí)行與為任務目標的農(nóng)作物(第一目標的示例)和土地(第二目標的示例)有關的任務,以便實現(xiàn)有效的任務。圖3是示出農(nóng)業(yè)機械100A的外部視圖的示意圖。注意到,在這些附圖中,元件,其由相同的附圖標記表示,具有相同的功能,因此這樣的元件的描述可被省略。
農(nóng)業(yè)機械100A示出一拖拉機;然而,根據(jù)本實施例的農(nóng)業(yè)機械可以是其它的農(nóng)業(yè)機械,例如在運動時執(zhí)行任務的機械,包括插秧機械,聯(lián)合機械,裝訂機(binder),飼料作物機械,機器人農(nóng)藥散播機械,可動噴灑器產(chǎn)物收獲機器人以及農(nóng)業(yè)工作飛行物體等。
農(nóng)業(yè)機械100A設置有馬達102A,傳動裝置104,任務裝置106A,支撐裝置108,立體照相機裝置110,激光雷達裝置112,多光譜照相機裝置113,無線通信天線114,手動操作單元116,控制裝置118A,GPS天線120,操控裝置122,一對燈124,一組超聲波聲納裝置126,一組前輪和一組后輪130。
馬達102A在農(nóng)業(yè)機械100A內(nèi),并表示一馬達,例如發(fā)動機(內(nèi)燃機)或接收能量的部件。在本實施例中,內(nèi)燃機是將柴油作為燃料的柴油機;然而發(fā)動機不限于此。發(fā)動機可以是將汽油作為燃料的汽油發(fā)動機或將原油用作燃料的柴油機。根據(jù)在手動操作單元116中的風門踏板的操作和來自于控制裝置118A的控制信號,在氣缸中的活塞的往復運動的速度改變。還提供了用于給以下描述的電池224充電的發(fā)電機。注意到,在僅通過電運動的農(nóng)業(yè)機械的情況下,馬達102A被用作電機。農(nóng)業(yè)機械的行進速度是通過改變所述馬達的旋轉速度變化。此外,馬達102A可以是混合型馬達,其中電機和內(nèi)燃機被結合。此外,馬達102A可以是通過將氫用作燃料的發(fā)動機或燃料電池生成動能的發(fā)動機。
傳動裝置104是傳遞和變換接收能量的部件,例如帶,鏈和齒輪等(傳動裝置104是操作裝置的示例)。也就是說,傳動裝置104是用于傳遞動能到農(nóng)業(yè)機械100的相應單元的裝置,該能量由馬達102A的動能生成源(內(nèi)燃機和馬達等)生成的。傳動裝置104的細節(jié)被描述如下。
任務裝置106是為了執(zhí)行希望的任務或工作操作的部件(例如,動作裝置),例如,犁,播種機械,種植裝置,施肥裝置以及二氧化碳生成裝置。任務裝置106A表示設置有多個耕種爪的耕種裝置。任務裝置106A,其被農(nóng)業(yè)機械100A拉動,對于每種類型的任務是不同的。任務裝置106A是操作裝置的示例。
支撐裝置108是用于保持馬達102A、傳動裝置104和任務裝置106A分別地在適當位置的部件。
立體照相機裝置110是用于獲取主要用于測距的立體圖像的成像傳感器裝置,并包括兩個光學系統(tǒng)和成像元件。該立體照相機裝置110是一種裝置,其用于檢測在農(nóng)業(yè)機械100的行進方向上的障礙物和任務目標,以及檢測到測量目標到距離和目標的尺寸,以及實現(xiàn)在農(nóng)業(yè)機械100A(距離(包括視差)和尺寸是第二數(shù)字信息或第四數(shù)字信息的示例)的自動行進中的大的角色。立體照相機裝置110被設定為靠近農(nóng)業(yè)機械100A的前端部關于豎直軸是可旋轉的。立體照相機裝置110被手動地旋轉或可根據(jù)通過控制裝置118A的控制而旋轉。通過設定立體照相機裝置110靠近農(nóng)業(yè)機械100A的前端部,在農(nóng)業(yè)機械100A的圖像可被容易地獲取,測距精度增加。注意到,設定位置不限于靠近前端部d位置;例如,立體照相機裝置110可被設定在其中農(nóng)業(yè)機械100A的周圍區(qū)域可容易看到的位置處,例如在其中設定無線通信天線114和GPS天線120的頂壁上。此外,為了準確地感知到農(nóng)業(yè)機械100A周圍的狀態(tài),多個立體照相機裝置110可設定在例如農(nóng)業(yè)機械100A的前面和后面和/或側表面處。此外,旋轉不限于如在本實施例中的僅一個軸;立體照相機裝置110可關于多個軸是可旋轉的以使得希望的位置和角度的圖像可被獲得。還在該情況下,立體照相機裝置110可手動地旋轉或可根據(jù)通過控制裝置118A的控制旋轉。該立體照相機裝置110的構造等在下面被詳細描述。注意到,為了獲得具有比通常捕捉的圖像更高的對比度的捕捉圖像,偏振濾光器可設置在立體照相機裝置的成像元件(圖像傳感器13a,13b)的光接收側上,以獲取S偏振和P偏振的偏振圖像。通過將這樣的偏振立體照相機裝置用作立體照相機裝置110,可以容易地區(qū)分物體例如田壟和農(nóng)場土地中的霜,其難以通過正常照相機區(qū)分,因為這些物體可通過偏振立體照相機裝置以高對比度檢測。注意到,當不需要測量距離時,具有單個成像元件的偏振照相機裝置可設定在農(nóng)業(yè)機械100中,而不是立體照相機裝置110。
根據(jù)本實施例的激光雷達裝置112是輸出預定波長的激光同時在二維上掃描所述激光并基于從物體反射的光辨認到物體的距離的傳感器裝置。激光雷達裝置112還稱為LIDAR(光檢測和測距裝置和激光測距儀裝置。注意到,可在一維上掃描激光。該激光雷達裝置112設定為以便在多光譜照相機裝置113上方的位置處關于豎直軸是可旋轉的。設定位置不限于多光譜照相機裝置113的上方。例如,在如下所述的農(nóng)業(yè)機械100C中,激光雷達裝置112被可旋轉地設定在頂壁上。此外,旋轉不限于如在本實施例中的僅一個軸;激光雷達裝置112可關于多個軸為可旋轉的以使得激光可以以希望的位置和角度發(fā)射和進入。這些旋轉運動被手動地控制或由控制裝置118A控制。激光雷達裝置112的構造和操作在下面被詳細地描述。多光譜照相機裝置113是用于從物體獲取光譜信息的成像傳感器裝置,并且可獲取農(nóng)作物生長狀態(tài)等。該多光譜照相機裝置113被設定為以便關于豎直軸是可旋轉的,并且在附近設置有激光雷達裝置112。附近的激光雷達裝置112發(fā)射預定波長的激光束,該激光束的反射率可由是捕捉的圖像的表面感知到,因此,農(nóng)作物的精確的生長狀態(tài)可被觀察到。此外,旋轉不限于如在本實施例中的僅一個軸;多光譜照相機裝置113可關于多個軸是可旋轉的以使得希望的位置和角度的圖像可被獲得。這些旋轉運動被手動地控制或由控制裝置118A控制。注意到,當多光譜照相機裝置113沒有通過使用激光雷達裝置112的激光束的反射獲得光譜信息時,多光譜照相機裝置113不必設置成靠近激光雷達裝置112。
無線通信天線114是用于通過與另一個農(nóng)業(yè)機械100、農(nóng)場土地監(jiān)視裝置500、狀態(tài)監(jiān)視裝置550和無線訪問點700等無線通信發(fā)送和接收信息的天線。無線通信天線114被附連到農(nóng)業(yè)機械100A的頂壁,以使得可容易接收到無線信號。該無線通信天線114還能夠執(zhí)行無線中繼。
手動操作單元116是用于手動地操作農(nóng)業(yè)機械100A的部件。手動操作單元116包括操控輪,風門踏板,制動踏板和駕駛者的座位等,其是如下所述的部分的操控裝置122。
控制裝置118A與馬達102A、傳動裝置104、任務裝置106A、立體照相機裝置110、激光雷達裝置112、無線通信天線114、手動操作單元116和操控裝置122等交換信息,并且控制所述農(nóng)業(yè)機械100A。控制裝置118A能夠通過與任務裝置106交換信息來識別任務裝置106A。該控制裝置118A被設定在農(nóng)業(yè)機械100A內(nèi)??刂蒲b置118A也電連接到燈124,可檢測農(nóng)業(yè)機械100的行進方向的取向的地磁傳感器,以及用于通過聲音等嚇唬目標的喇叭等,以及控制裝置118A還控制這些元件。此外,控制裝置118A還能夠經(jīng)由無線通信天線114與服務器704和用戶終端710,712通信。注意到,控制裝置118A包括CPU,RAM,ROM和存儲器等,以及CPU基于存儲在存儲器中的程序執(zhí)行控制處理。
GPS天線120是用于從四個衛(wèi)星接收GPS信號用來辨認農(nóng)業(yè)機械100的絕對位置的天線。GPS天線120被設定在農(nóng)業(yè)機械100A的頂壁上以使得可容易接收GPS信號。如上所述的,農(nóng)業(yè)機械100A能夠通過利用GPS衛(wèi)星識別位置,因此,例如即使當農(nóng)業(yè)機械100A被偷竊時,如果網(wǎng)絡環(huán)境建立,那么農(nóng)業(yè)機械100A的位置可被識別并且農(nóng)業(yè)機械100A可被容易地找到。注意到,該GPS天線120可從已知絕對位置的三個或更多個裝置例如農(nóng)場土地監(jiān)視裝置500和狀態(tài)監(jiān)視裝置550等接收無線信號,而不是GPS信號或以及GPS信號。在該情況下,目前的絕對位置可根據(jù)接收信號的衰減,或從當信號被發(fā)送時到當信號被接收時花費的時間,或延遲時間,被識別。當難以在其中農(nóng)場土地在室內(nèi)的情況下獲取GPS信號時這是特別有效的。
操控裝置122包括操控手柄,操控齒輪箱,連接前輪的拉緊桿,以及臂,并且是用于轉動農(nóng)業(yè)機械的裝置。前輪的取向是通過操作操控手柄或根據(jù)來自于控制裝置118的控制信號變化的。
燈124是用于照亮農(nóng)業(yè)機械100A前面的區(qū)域的用于在夜晚時間期間照明并用光嚇唬目標的燈。
超聲波聲納裝置126是用于施加彈性波(聲波)到物體并測量直到反射波被檢測到的時間以辨認到物體的距離的傳感器裝置。超聲波聲納裝置126主要用于測量在不能夠由立體照相機裝置110捕捉的盲拐角處與障礙物等的距離。由超聲波聲納裝置126測量的超聲波信息是第二數(shù)字信息和第四數(shù)字信息的示例。
前輪128是用于通過使農(nóng)業(yè)機械100A運動并操作所述操控裝置122來轉動農(nóng)業(yè)機械100A的。
后輪130是其中在馬達102A的動能生成源處生成在傳動裝置104中的動能被最后傳遞到的輪,以及隨著后輪130旋轉,農(nóng)業(yè)機械100A來回運動。
注意到,根據(jù)本實施例的農(nóng)業(yè)機械(拖拉機)100A包括立體照相機裝置110,激光雷達裝置112,多光譜照相機裝置113,以及作為用于從農(nóng)業(yè)機械100A外部獲取信息的傳感器裝置的超聲波聲納裝置126;然而,農(nóng)業(yè)機械100A不必包括所有的這些裝置,并且僅根據(jù)要被執(zhí)行的任務使用的傳感器裝置可被設定。此外,不同于這些傳感器裝置的傳感器,例如,可包括紅外光傳感器,溫度傳感器以及濕度傳感器。由這些傳感器獲取到的信息被發(fā)送到服務器704。服務器704將該信息存儲在數(shù)據(jù)庫708中,并使用該信息用于預測收獲期等。
圖4示出另一個農(nóng)業(yè)機械100B。農(nóng)業(yè)機械100B也是拖拉機。不同于農(nóng)業(yè)機械100A之處是農(nóng)業(yè)機械100B并不包括手動操作單元116。也就是說,農(nóng)業(yè)機械100B是通過遠距離操作或自動控制執(zhí)行任務的農(nóng)業(yè)機械。此外,在農(nóng)業(yè)機械100B中,立體照相機裝置110被設定在前、后、左和右,并且農(nóng)業(yè)機械100B可基于由這些立體照相機裝置110捕捉的圖像行進并執(zhí)行任務。因此,與農(nóng)業(yè)機械100A相比,自動操作和遠距離操作在農(nóng)業(yè)機械100B變得更為方便。注意到,遮篷被提供在設定于農(nóng)業(yè)機械100B的前部和后部處的立體照相機裝置110上方,以及遮篷減輕了由雨和雪引起的立體照相機裝置110的污染。
內(nèi)裝在農(nóng)業(yè)機械100B中的控制裝置118B不需被連接到農(nóng)業(yè)機械100A中的手動操作單元116。另一方面,多個立體圖像必需被處理,因此大量的信息必需由控制裝置118B處理,因此安裝了具有比控制裝置118A更高的性能的CPU或多個CPU。
此外,在農(nóng)業(yè)機械100B中,手動操作例如操控手柄和操控齒輪箱所需要的元件在農(nóng)業(yè)機械100A的操控裝置122中的元件之中被省略。
圖4中的任務裝置106是播種機械;然而,任務裝置106不限于此。類似于農(nóng)業(yè)機械100A,農(nóng)業(yè)機械100B能夠連接到大范圍的任務裝置并執(zhí)行任務。
注意到,在圖4中,由附圖標記表示的另一些元件具有與農(nóng)業(yè)機械100A的元件相同的作用,因此描述被省略。
注意到,無線通信天線114(和控制裝置118B)起到無線訪問點的作用。因此,農(nóng)業(yè)機械100可用作無線通信的中繼點,以及其中無線通信是可能的區(qū)域能夠被放大。
此外,如在圖3和4中示出的,主體部件和任務裝置106被描述為是農(nóng)業(yè)機械100中的單獨的主體;然而,這些元件可被集成。此外,農(nóng)業(yè)機械100可連接到多個任務裝置106以執(zhí)行多個類型的任務。
<傳動裝置>
圖5是用于詳細描述圖3或4中的傳動裝置104的示意圖。該傳動裝置104變?yōu)橛糜谑罐r(nóng)業(yè)機械100和任務裝置106運動的設備。該圖中的實線示出動能的傳遞,虛線示出電子信號的傳送,以及點劃線示出供電線路。圖5示出其中馬達102的動能生成源是內(nèi)燃機(發(fā)動機)的示例,以及驅動方法是后輪兩輪驅動。其中馬達102的動能生成源是電機的示例被示出在圖6中。注意到,所述驅動方法不限于兩輪驅動,而是所述驅動方法可以是四輪驅動的。
傳動裝置104包括后輪130,主離合器202,變速齒輪204,差動齒輪206,制動裝置208,214,末級減速齒輪210,216,PTO(Power Take Off(動力輸出))變速齒輪220,PTO軸222以及電池224。
主離合器202是用于中斷在發(fā)動機處生成的動能的傳遞的裝置。主離合器202被操作以當起動發(fā)動機時或在其中發(fā)動機開著的狀態(tài)下停止行進或改變速度。主離合器202能夠同時地中斷行進裝置和PTO的動能;然而,行程離合器和PTO離合器可通過單獨的踏板和桿中斷。
變速齒輪204是用于根據(jù)行進狀態(tài)和任務狀態(tài)將發(fā)動機的動能變換為旋轉速度和扭矩的裝置。變速齒輪204是用于拖拉機倒進或用于當發(fā)動機在旋轉狀態(tài)時停止農(nóng)業(yè)機械100的必需裝置。
差動齒輪206是用于以不同速度旋轉左右輪以促進農(nóng)業(yè)機械100的轉彎以及消除輪的打滑的裝置。
制動裝置208,214被用在當制動踏板被按下時,以及當動能根據(jù)來自于控制裝置118的控制信號被吸收以及行進速度減小或行進停止時。
末級減速齒輪210,216是用于進一步減小已經(jīng)通過變速齒輪204和差動齒輪206的傘形齒輪減小的旋轉速度以及進一步增加軸的驅動力的裝置。
PTO變速齒輪220是用于改變提取發(fā)動機的部分的動能的動能提取裝置的齒輪。
PTO軸222是提取發(fā)動機的部分的動能的驅動軸,并且被用作任務裝置106的動能源。
電池224將電存儲為化學能。通過將所述能量再次提取為電能,電池224充當用于點燃發(fā)動機和啟動發(fā)動機以及用于燈124和控制裝置118的電源。
對于由控制裝置118控制的裝置,從電池224供給電。然后,電能轉換為動能等以控制所述裝置。馬達102基于來自于控制裝置的控制信號來控制供給燃料的量和時間,以及活塞的往復運動變化以調(diào)節(jié)行進速度。在變速齒輪204和220中,電能驅動致動器以改變所述齒輪,以及農(nóng)業(yè)機械100被控制以基于控制信號改變速度或倒進。在制動裝置208,214中,致動器基于控制信號被驅動以制動并減小速度或停止行進。
接下來,通過利用圖6,給出了用于通過電驅動所述農(nóng)業(yè)機械100的傳動裝置104(104-2)的描述。圖6示出了用于將馬達102-2用作動力使農(nóng)業(yè)機械100運動的傳動裝置104-2的細節(jié)。類似于圖5,在該圖中的實線示出了動能的傳遞,虛線示出了電子信號的傳送,以及點劃線示出了供給電的線路。該示例也是后輪兩輪驅動的示例;然而,四輪驅動可被采用。在電驅動的情況下,如下所述的,通過使用非接觸充電方法,自動充電是可能的,而沒有使用人力,因此非接觸充電方法是促進整個系統(tǒng)1500的自動化的有效方法。
圖6基本上與圖5是相同的;不同點主要被描述。馬達102-2是包括電機控制器和電機的電力單元。傳動裝置104-2通過電機控制旋轉頻率和旋轉方向,因此參照圖5描述的變速齒輪204基本上是不必要;然而,變速齒輪204可被包括以更平滑地行進。
電池224-2包括變頻器和電池。變頻器將交流電壓變換成直流電壓。電池224-2具有比圖5中的電池224的容量更大的容量。該電池224可通過結合多個緊湊電池被構造。該電池224-2從外部電源226充電。注意到,外部電源226沒有被明確地包括在傳動裝置104的構造中;然而,外部電源226是用于由電機驅動的農(nóng)業(yè)機械100的基本元件。該外部電源226使用非接觸電力傳輸技術,因此電池224-2可被充電而沒有使電線接觸的任務。注意到,電池224-2可通過使用插頭插座等的接觸方法進行充電。
圖6的任務裝置106通過電能從電源228供給到任務裝置等,而不是通過如圖5中的PTO軸222,操作。然而,類似于圖5,可通過使用PTO變速齒輪220和PTO軸222操作任務裝置106。在該情況下,用于圖5的傳動裝置104中的傳統(tǒng)的任務裝置106可被直接使用。
在由電機驅動的情況下,根據(jù)電機的特征,即使當電機的旋轉頻率是低的時候(也就是說,當在低速下運動時)也能夠增加扭矩,因此與車輛等相比,電機適合于以低速執(zhí)行任務的農(nóng)業(yè)機械。此外,如下所述的,電池224-2可自動地充電,因此一系列的農(nóng)業(yè)工作可有效地進行而沒有占用多的人力。注意到,傳動裝置104-2可通過輪內(nèi)電機方法執(zhí)行驅動,通過此,電機被放置在輪內(nèi)。
<立體照相機裝置>
A.立體照相機裝置的構造
圖7示出立體照相機裝置110的外部視圖。立體照相機裝置110捕捉某一區(qū)域的圖像并生成可傳送到農(nóng)業(yè)機械100的控制裝置118、服務器704和用戶終端710,712的圖像數(shù)據(jù),并且另外在捕捉的圖像中的每個點處獲取距離立體照相機裝置110的距離信息(或視差值信息)。當然,距離信息(或視差值信息)還可以傳送到控制裝置118等。該立體照相機裝置110能夠通過應用半全球匹配方法執(zhí)行測距。
立體照相機裝置110包括主體部件2和設置在主體部件2中的一對柱面成像裝置10a和柱面成像裝置10b。注意到,該立體照相機裝置110通過包括旋轉軸的柱被可旋轉地附連到農(nóng)業(yè)機械100。旋轉運動被手動地或通過控制裝置118控制。
圖8示出立體照相機裝置110的總硬件構造。如在圖8中示出的,立體照相機裝置110包括成像裝置10a,成像裝置10b,信號轉換裝置20a,信號轉換裝置20b以及圖像處理裝置30。
在這些裝置中,成像裝置10a用于捕捉在農(nóng)業(yè)機械100前面的圖景的圖像,并且生成表示所述圖像的模擬信號(模擬信息的示例)。成像裝置10a包括成像透鏡11a,光圈12a和圖像傳感器13a。成像透鏡11a是用于通過折射光穿過成像透鏡11a而形成物體的圖像的光學元件。光圈12a通過阻擋已經(jīng)穿過成像透鏡11a的光的一部分來調(diào)節(jié)要輸入到如下所述的圖像傳感器13a的光的量。圖像傳感器13a是將來自于成像透鏡11a和光圈12a的光輸入轉換成電模擬圖像信號的半導體的元件,并且通過電荷耦合裝置(CCD)和互補金屬氧化物半導體(CMOS)實現(xiàn)。注意到,成像裝置10b具有與成像裝置10a相同的構造,因此成像裝置10b的描述被省略。此外,成像透鏡11a和成像透鏡11b被設定為以使得透鏡的光軸彼此平行。
此外,信號轉換裝置20a用于將捕捉的圖像的模擬信號轉換成數(shù)字格式的圖像數(shù)據(jù)(第一數(shù)字信息和第三數(shù)字信息的數(shù)字成像示例)。信號轉換裝置20a包括相關雙采樣(CDS)21a,自動增益控制(AGC)22a,模擬-數(shù)字轉換器(ADC)23a,和幀存儲器24a。CDS 21a通過相關雙采樣從由圖像傳感器13a轉換的模擬圖像信號移除噪聲。AGC 22a執(zhí)行增益控制用于控制噪聲已經(jīng)通過CDS 21a從其被移除的模擬圖像信號的強度。ADC 23a將已經(jīng)由AGC 22a增益控制的模擬圖像信號轉換為數(shù)字格式的圖像數(shù)據(jù)。幀存儲器24a存儲由ADC 23a轉換的圖像數(shù)據(jù)(參考圖像)
相似地,信號轉換裝置20b用于從已經(jīng)由包括成像透鏡11b、光圈12b和圖像傳感器13b的成像裝置10b轉換的模擬圖像信號獲取圖像數(shù)據(jù)。信號轉換裝置20b包括CDS 21b,AGC 22b,ADC 23b和幀存儲器24b。注意到,CDS 21b,AGC 22b,ADC 23b和幀存儲器24b分別具有與CDS 21a,AGC 22a,ADC 23a和幀存儲器24a相同的構造,因此其描述被省略。然而,幀存儲器24b存儲比較圖像。
此外,圖像處理裝置30是用于處理已經(jīng)由信號轉換裝置20a和信號轉換裝置20b轉換的圖像數(shù)據(jù)的裝置。圖像處理裝置30包括FPGA(現(xiàn)場可編程門陣列)31,CPU(中央處理單元)32,ROM(只讀存儲器)33,RAM(隨機存取存儲器)34,I/F(接口)35,和總線39例如地址總線和和數(shù)據(jù)總線等,用于電連接由如圖8中示出的附圖標記31到35表示的構成元件。
在以上的構成元件中,F(xiàn)PGA 31是在制造之后可由購買者或設計者為其設定構造的集成電路;在此,F(xiàn)PGA 31執(zhí)行計算由圖像數(shù)據(jù)表示的圖像中的視差d的處理。CPU 32控制立體照相機裝置110的功能。ROM 33存儲用于由CPU 32執(zhí)行的圖像處理的程序,用于控制視差值導出裝置的功能。RAM 34被用作CPU 32的工作區(qū)域。I/F 35是用于與農(nóng)業(yè)機械100的控制裝置118連接的接口。注意到,以上用于圖像處理的程序可通過記錄在計算機可讀的記錄介質中以具有可安裝格式或可執(zhí)行格式的文件分銷(distributed)。記錄介質是CD-ROM和SD卡等。
接下來,圖9示出立體照相機裝置110的主要部分的硬件構造。如在圖9中示出的,F(xiàn)PGA 31包括成本(一致度或不相似度,相似度)計算單元310,成本組合單元320以及視差值導出單元330。這些單元是FPGA的電路的一部分;然而,通過執(zhí)行存儲在ROM 33中的用于圖像處理的程序,相同的處理可被執(zhí)行。
在這些單元之中,成本計算單元310基于參考圖像Ia中的參考像素的亮度值以及在與該參考像素有關的比較圖像Ib中的沿著表極線的多個候選對應像素的亮度值,來計算對應于參考像素的候選對應像素的成本值C。
成本組合單元320將由成本計算單元310獲得的與一個參考像素有關的候選對應像素的成本值與由成本計算單元310獲得的與另一個參考像素有關的候選對應像素的成本值組合,并且輸出該合成成本值Ls。注意到,組合處理是基于如下所述的(公式3)從成本值C計算路線成本值Lr以及隨后基于如下所述的(公式4)增加相應徑向射線的路線成本值Lr,來計算最后的合成成本值Ls。
視差值導出單元330基于一個參考像素在參考圖像中的位置和在通過成本組合單元320組合之后的合成成本值Ls對其是最小的對應像素在比較圖像中的位置,導出視差值Δ 320,并且輸出指示在每個像素中的視差值的視差圖像Ic??梢酝ㄟ^下面描述的(公式2),通過使用以上獲得的視差值Δ,成像透鏡11a和成像透鏡11b的焦距f以及為成像透鏡11a和成像透鏡11b之間的長度的基部長度B,計算距離Z。獲得距離Z的處理可以在視差值導出單元330處或在CPU 32或服務器704處執(zhí)行。如上所述的,立體照相機裝置110能夠通過使用與捕獲的圖像有關的視差來獲得到捕捉的圖像中的相應點的距離信息(或視差值信息)。注意到,在為不是獲得視差值的操作的圖像處理或圖像辨認中,參考圖像或比較圖像中的任一個可被使用(也就是說,從圖像傳感器13a或圖像傳感器13b獲得的圖像,類似于由通常的單眼照相機捕捉的圖像。那是兩個圖像之間的一個類型的圖像)。
此外,不僅對于通過使用圖像信息測距的情況,而且在獲得具有更高對比度的圖像的方法中,成像裝置10可包括設定在圖像傳感器13a和13b的接受表面上的偏振濾光器40。偏振濾光器40是亞波長結構(SWS)偏振濾光器。偏振濾光器40具有其中僅透射S個偏振分量的光的偏振器區(qū)域和僅透射P個偏振分量的光的偏振器區(qū)域被交替布置的結構。一個偏振器區(qū)域的尺寸與圖像傳感器13a和13b的光接收元件的一個像素的尺寸相同,以及偏振濾光器40被設定成以使得相應的偏振器區(qū)域位于所述像素上方。通過構造如上所述的立體照相機裝置110,并生成用于已經(jīng)透射過相應偏振器區(qū)域的光的光接收信號中的每個的分離圖像,S個偏振分量和P個偏振分量分離,以及僅S個偏振分量的圖像和僅P個偏振分量的圖像得以獲得。相應的圖像是第二數(shù)字信息和第四數(shù)字信息的示例。在立體照相機中,兩個成像元件被使用,因此僅S個偏振分量的圖像和僅P個偏振分量的圖像中的每個中的兩個被獲得,以及通過比較相同的偏振分量的圖像,可以獲得相應的視差值(距離)。
通過獲得偏振圖像,例如,變得容易檢測在黑色對象的平面方面上的差異。這是因為來自于所述對象的光的偏振狀態(tài)根據(jù)對象的平面方向不同。此外,根據(jù)偏振圖像,變得容易檢測是否存在透明對象。這是因為當光穿過透明對象時,透射率根據(jù)光的偏振狀態(tài)改變。也就是說,通過使用偏振照相機,高對比度圖像可獲得,并且可以獲得不能夠從亮度圖像獲得的信息。如上所述的,通過偏振照相機,可以檢測地上的霜,具有葉子相同的顏色(保護色)的附著到植物葉子的害蟲,以及植物的結構主體(分枝之間的長度等),其難以通過通常的照相機捕捉。此外,通過將偏振立體照相機用作立體照相機裝置110,除了諸如霜和害蟲的信息之外,可以檢測和測距凍結的道路,以及精確地檢測農(nóng)場土地的田壟并執(zhí)行進一步的測距。此外,通過獲得具有偏振濾光器的偏振圖像,可以容易地檢測植物的結構主體。此外,關于偏振圖像的圖像辨認率增加,以及例如,關于植物的外形的特征,例如分枝之間的莖的長度和厚度以及葉子的尺寸,可被更精確捕捉。因此,通過利用以上信息,整個系統(tǒng)1500能夠感知到植物的生長狀態(tài)并區(qū)分植物的類型(例如,是否植物是農(nóng)作物或野草)。注意到,當距離信息是不必要的時候,類似于單目照相機的情況,僅從圖像傳感器13a和13b的任一個獲得的偏振圖像信息要被利用。當然,當距離信息還用來檢查準確尺寸等,從兩個成像元件獲得的信息項要被利用。
B.使用SGM方法的測距方法的描述
接下來,給出了通過立體照相機裝置110的測距方法的描述,特別通過使用SGM方法獲得視差值的方法。首先,通過利用圖10至圖15,給出了利用SGM方法的測距方法的概要的描述。
通過利用圖10,給出了從立體相機導出關于對象的視差并通過立體成像方法通過指示視差的視差值測量從立體相機到對象的距離的原理的描述。此外,在下文中,為了簡化該描述,以一個像素為單位而不是預定區(qū)域(匹配塊)給出描述。
此外,由圖1中所示的成像裝置10a和成像裝置10b捕捉的圖像10分別稱為參考圖像Ia和比較圖像Ib。注意到,在圖10中,假設成像裝置10a和成像裝置10b水平地平行布置并且處于相同的高度。在圖10中,三維空間中的物體E上的點S被映射到沿著成像裝置10a和成像裝置10b的相同水平線的位置。也就是說,在參考圖像Ia中的點Sa(x,y)和比較圖像Ib中的點Sb(x',y')處捕捉每個圖像中的點S。此時,使用成像裝置10a的坐標中的點Sa(x,y)和成像裝置10b的坐標中的點Sb(x',y'),通過(公式1)表示視差值Δ。
Δ=x’-x (公式1)
在此,在圖10的情況下,基于參考圖像Ia中的點Sa(x,y)和從成像透鏡11a下降的垂直線到圖像表面的交叉點之間的距離Δa以及在比較圖像Ib中的點Sb(x’,y’)和從成像透鏡11b下降的垂直線到圖像表面的交叉點之間的距離Δb,獲得視差值Δ=Δa+Δb。
此外,通過使用視差值Δ,可以導出成像裝置10a,10b與物體E之間的距離Z。具體地,距離Z是從包括成像透鏡11a的焦點位置和成像透鏡11b的焦點位置的平面到物體E上的特定點S的距離。如圖10所示的,通過使用成像透鏡11a和成像透鏡11b的焦距f,作為成像透鏡11a和成像透鏡11b之間的長度的基部(base)長度B以及視差值Δ,可以通過(公式2)計算距離Z。
Z=(B×f)/Δ (公式2)
通過該(公式2),隨著視差值Δ增加,距離Z減小,以及隨著視差值Δ減小,距離Z增加。
接下來,通過利用圖11到15,給出了使用SGM方法的測距方法的描述。注意到,圖11A示出參考圖像,圖11B示出通過關于圖11A的邊緣檢測方法獲得的視差圖像作為比較目標,以及圖11C是示出通過關于圖11A的SGM方法獲得的視差圖像的概念圖;在此,參考圖像是其中物體由亮度示出的圖像。根據(jù)邊緣檢測方法的視差圖像是通過邊緣檢測方法導出的圖像并且是示出參考圖像的邊緣部分的視差值的圖像。根據(jù)SGM方法的應用的視差圖像是通過SGM方法的應用技術從參考圖像導出的圖像,并且是示出在參考圖像中的相應坐標的視差值的圖像。在圖11C中,視差值的差由顏色的陰影示出。本實施例示出了隨著顏色變得越暗,視差值減小。也就是說,隨著顏色變得越暗,距離變得越長。
SGM方法是一種即使對于具有較弱紋理的物體也適當?shù)貙С錾鲜鲆暡钪档姆椒?。圖11C中示出的視差圖像是根據(jù)SGM方法基于圖11A中示出的參考圖像導出的。注意到,當使用邊緣檢測方法時,基于圖11A中示出的參考圖像導出圖11B中示出的邊緣視差圖像。如通過比較由圖1B和圖11B中的虛線圍繞的圓圈801的內(nèi)部可以看出的,與根據(jù)邊緣檢測方法的視差圖像相比,根據(jù)SGM方法的視差圖像可以表達諸如具有較弱紋理的區(qū)域的詳細信息,因此可以執(zhí)行更詳細的測距。
在該SGM方法中,在計算為非相似性的成本值之后不立即導出視差值;替代地,在計算成本值之后,還計算為合成不相似性的合成成本值以導出視差值,最后,指示所有像素中的視差值的視差圖像(在此,根據(jù)SGM方法的視差圖像)被導出。注意到,在邊緣檢測方法的情況下,計算所述成本值的處理與SGM方法相同;然而,不像在SGM方法中那樣計算合成成本值,并且僅計算邊緣部分的視差值。
接下來,通過利用圖12和圖13,給出了計算成本值C(p,d)的方法的描述。圖12A是示出參考圖像中的參考像素的概念圖,以及圖12B是示出當候選對應像素相對于圖12A的參考像素順序偏移時的偏移量的計算的概念圖像。圖13是示出各偏移量的成本值的曲線圖。
如在圖12A中示出的,基于在參考圖像中的預定參考像素p(x,y)的亮度值和沿著關于該參考像素p(x,y)的比較圖像中的表極線的多個候選對應像素q(x+d,y)的亮度值,計算相對于參考像素p(x,y)的每個候選對應像素q(x+d,y)的成本值C(p,d)。d是參考像素p和候選相應像素q的偏移量,以及在本實施例中,以像素為單元的偏移量被表示。也就是說,在圖12中,當以預先指定的范圍(例如,0<d<25)一次一個像素地順序地偏移所述候選對應像素q(x+d,y)時,計算為候選對應像素q(x+d,y)和參考像素p(x,y)的亮度值的相似度的成本值C(p,d)。如上計算的成本值C(p,d)可由為每個偏移量d示出的曲線圖表示,如圖13中示出的。在圖13中,當偏移量d=5,12,19時所述成本值C為零,因此不能夠獲得最小值。如上所述的,在物體具有較弱紋理的情況下,難以獲得所述最小值。也就是說,在邊緣檢測方法中,當紋理弱時,存在測距不能被精確地執(zhí)行的情況。
接下來,通過利用圖14和15,給出了合成成本值Ls(p,d)的計算方法的描述。圖14是導出合成成本值的處理的概念圖。圖15是示出每個視差值的合成成本值的曲線圖。根據(jù)本實施例的合成成本值的計算是只有SGM方法才有的方法;不僅是計算的成本值C(p,d),而且所述成本值,其對應于其中預定參考像素p(x,y)周圍的像素是參考像素的情況,與參考像素p(x,y)處的成本值C(p,d)積分,以計算合成成本值Ls(p,d)。
在此,給出了合成成本值的計算方法的更詳細的描述。為了計算所述合成成本值Ls(p,d),首先,路線成本值Lr(p,d)需要被計算。(公式3)是用于計算路線成本值Lr(p,d)的公式,以及(公式4)是用于計算合成成本值Ls(p,d)的公式。
Lr(p,d)=C(p,d)+min{(Lr(p-r,d),Lr(p-r,d-1)+P1,Lr(p-r,d+1)+P1,Lrmin(p-r)+p2}
(公式3)
在此,r示出積分方法。min{}是用于獲得所述最小值的函數(shù)。Lr被遞歸地應用,如在公式3中示出的。此外,P1和P2是通過實驗預先限定的固定參數(shù),以及這些參數(shù)被設定成以使得像素距離參考像素p(x,y)越遠,對路線成本值Lr的影響就越小。例如,P1=48,P2=96。
此外,如在(公式3)中示出的,通過將在圖14中示出的r方向上的相應像素中的相應像素的路線成本值Lr的最小值增加到參考像素p(x,y)處的成本值C,獲得Lr(p,d)。如上所述的,為了獲得在r方向上在每個像素處的Lr,首先,Lr是從相對于參考像素p(x,y)在r方向上的遠端處的像素獲得的,然后獲得用于沿著r方向的像素的Lr。然后,如在圖14中示出的,八個方向的Lr0,Lr45,Lr90,Lr135,Lr180,Lr225,Lr270,Lr315被獲得,以及最后,基于(公式4),獲得合成成本值Ls。
Ls(p,d)=ΣLr (公式4)
如上所述計算的合成成本值Ls(p,d)可以由為每個偏移量d示出的曲線圖表示,如圖15中示出的。在圖15中,當偏移量d=3時的合成成本值Ls最小,因此視差值Δ=3被計算。
注意到,SGM方法比邊緣檢測方法占用更多的時間進行處理,因此當該處理需要快速進行地超過獲得測距精度時,測距可通過邊緣檢測方法執(zhí)行。在該情況下,通過圖9中示出的成本組合單元320的處理沒有被執(zhí)行,并且視差值導出單元330從最小成本值僅導出邊緣部分的視差值。
注意到,根據(jù)本實施例的可由立體照相機裝置110測量的距離是105米,誤差時幾厘米。
注意到,當要由立體照相機裝置110捕捉的物體被辨認時,距離是已知的,物體的尺寸和長度可以是已知的。也就是說,立體照相機裝置110的ROM 33存儲示出所述距離和尺寸和每個像素的長度之間的關系的表,因此CPU 32能夠識別所述物體的尺寸和長度。注意到,ROM 33不會存儲所述表,但是可存儲所述距離和尺寸與每個像素的長度之間的關系表達式。此外,所述處理不會在立體照相機裝置110中執(zhí)行,而是計算物體的尺寸和長度的處理可通過農(nóng)業(yè)機械100的服務器704或控制裝置118執(zhí)行,其包括用于計算所述尺寸和長度所需要的數(shù)據(jù),例如如上所述的表。
<激光雷達裝置>
圖16示出激光雷達裝置112的構造。根據(jù)激光雷達裝置112的形狀信息是第一數(shù)字信息和第三數(shù)字信息的示例。此外,根據(jù)激光雷達裝置112的距離信息是第二數(shù)字信息和第四數(shù)字信息的示例。激光雷達裝置112用脈沖激光束照射目標,測量反射的脈沖激光束的回程時間t,并由(公式5)計算到所述照射點的距離L。
L=c×t/2 (公式5)在此,c是光速。
此外,激光雷達裝置112能夠在二維方向上掃描激光束,由此能夠獲得到目標的這些點的取向并測量該目標的形狀。
激光雷達裝置112包括,在主體部件50中的,激光二極管驅動電路51,激光二極管52,光投影透鏡53,兩個反光鏡68,70,擺動電機54,多角鏡55,光接收透鏡56,光敏二極管58,放大電路60,時間間隔計數(shù)器61,電機控制電路62,控制器64和激光束發(fā)射進入窗口66。
激光二極管驅動電路51生成要輸入到激光二極管52的脈沖信號。激光二極管52發(fā)射脈沖激光束。光投影透鏡53使從激光二極管52發(fā)射的脈沖激光束變?yōu)槠叫泄?。在脈沖激光束的行進方向被反光鏡68,70改變之后,由控制器64控制的電機控制電路62使得該平行光入射在以固定速度在θ軸55a上旋轉的多角鏡55上。通過使用根據(jù)由控制器64控制的電機控制電路62以預定速度擺動的擺動電機54,多角鏡55在θ軸54a上擺動。因此,入射在多角鏡55上的激光束在二維方向上掃描以通過激光束發(fā)射進入窗口66照射到目標。此外,控制器64能夠從未示出的水平(level)獲取信號,輸出指令到電機控制電路62以使得激光束在水平方向上恒定地發(fā)射,以及操作所述擺動電機54以控制θ軸的旋轉。從目標反射的脈沖激光束經(jīng)由多角鏡55在光接收透鏡56處聚光,在光敏二極管58處接收以及轉換為電子信號。由轉換獲得的電子信號在放大電路60處被放大,然后時間間隔計數(shù)器61測量與激光二極管52的脈沖振蕩時間同步的起動脈沖和從放大電路60輸出的停止脈沖之間的時間間隔??刂破?4設定測量的回程時間t、以及多角鏡55的旋轉角θ和擺動角作為極坐標系數(shù)據(jù)(t,θ,),此外,控制器64將極坐標數(shù)據(jù)轉換為三維空間數(shù)據(jù)(X,Y,Z),其將激光雷達裝置112的設定位置用作原點,以獲得目標的形狀。
在控制器64處獲得的信息可被傳送到農(nóng)業(yè)機械100的控制裝置118,服務器704和用戶終端710,712。
當該激光雷達裝置112被設定在水平平面上時,可以進行測量大約60度作為水平視角,大約30度作為豎直視角,以及沿著水平平面在大約60米的測量范圍內(nèi)。注意到,測量范圍根據(jù)激光二極管52的類型和激光二極管驅動電路51等的輸出電壓變化。
此外,當僅到目標的距離要被獲得時,或者當在二維方向上掃描的激光束是不必要的時候,多角鏡55沒有被擺動電機54擺動。在該情況下,激光束根據(jù)多角鏡55在θ軸上的旋轉在一維方向上掃描。
此外,要被使用的激光二極管52根據(jù)任務的目的進行選擇。例如,當植物的活性度是要通過與多光譜照相機裝置113結合的主動方法從植物的葉子的狀態(tài)測量時,激光二極管52,其能夠發(fā)射具有接近660納米的波長的可見紅色區(qū)域的激光束被使用(通過使用多光譜照相機裝置113檢查植物的活性度的方法被描述如下)。在其中激光雷達裝置112和多光譜照相機裝置113如上所述的被結合使用的情況下,從激光雷達裝置112發(fā)射的激光要被使用,因此,激光雷達裝置112和多光譜照相機裝置113是要布置成彼此靠近。另一方面,當激光雷達裝置112獨立地執(zhí)行任務時,不需要將激光雷達裝置112和多光譜照相機裝置113布置成彼此靠近。注意到,替代使用擺動電機54和多角鏡55,激光束可通過使用可執(zhí)行二維掃描的微機電系統(tǒng)(MEMS)鏡裝置被掃描。
此外,激光雷達裝置112可由用固定光學元件例如格柵使激光束偏斜的非掃描類型的激光雷達裝置形成,而沒有使鏡運動來掃描所述激光。通過使用這樣的非掃描類型的激光雷達裝置,驅動位置可減少,因此故障可減少,即使當運動時存在快速的豎直運動。
注意到,在根據(jù)本實施例的農(nóng)業(yè)機械100中,激光雷達裝置112可旋轉地設定在靠近多光譜照相機裝置113的位置處。旋轉運動被手動地控制或者由控制裝置118控制。
<多光譜照相機裝置>
圖17示出多光譜照相機裝置113的外部視圖。根據(jù)多光譜照相機裝置113的光譜信息是第二數(shù)字信息和第四數(shù)字信息的示例。多光譜照相機裝置113是可捕捉圖像并獲得在捕捉的圖像中的光譜反射率的照相機裝置。多光譜照相機裝置113適于以非接觸/非破壞方式立刻地檢測在某一范圍(區(qū)域,平面)中而不是在一個點處的植物的狀態(tài)。多光譜照相機裝置113包括主體部分400和透鏡筒部分402。多光譜照相機裝置113被可旋轉地設定在農(nóng)業(yè)機械100中。旋轉運動被手動地控制或由控制裝置118控制。因此,多光譜照相機裝置113能夠捕捉從圍繞農(nóng)業(yè)機械100的各個方向上的目標反射的光的圖像,并且感知生長狀態(tài)例如植物活性度,分枝之間的長度以及葉子的尺寸。
圖18示出多光譜照相機裝置113的構造。左側是前視圖,右側是從側表面看到的截面視圖。主體部分400包括微透鏡陣列414,光接收元件陣列416,F(xiàn)PGA 418和光譜反射率計算單元420。透鏡筒部分402包括發(fā)光二極管(LED)404,主透鏡408,光圈409,濾光器410,和聚光透鏡412。
微透鏡陣列414是其中多個小透鏡被布置在二維方向上的光學元件。光接收元件陣列416包括多個光接收元件,光接收元件陣列416是單色傳感器,其中用于每個光接收元件(在下文中,還稱為"像素")的濾色器沒有被安裝。光接收元件陣列416是用于將光學信息轉換為電子信息的傳感器。
FPGA 418是光譜圖像生成單元,其基于從光接收元件陣列416輸出的光譜信息的電子信息生成多個類型的光譜圖像。
光譜反射率計算單元420由諸如CPU,ROM和RAM的半導體元件形成,并且從生成在FPGA 418處的光譜圖像計算對于每個像素的光譜反射率。
從多光譜照相機裝置113的輸出是在FPGA 418處生成的多個類型的光譜圖像以及該光譜圖像的每個像素的光譜反射率。這些信息項被傳送到農(nóng)業(yè)機械100的控制裝置118,服務器704,用戶終端710,712和狀態(tài)監(jiān)視裝置550的控制單元等。
LED 404包括多個光源,其在嵌入狀態(tài)下以等距的間隔布置在透鏡筒部分402的前端前端部部分。通過將LED用作光源,多光譜照相機裝置113受到成像環(huán)境的影響較小,以及可獲得穩(wěn)定的光譜信息。主透鏡408是引導從物體406反射的光穿過光圈409到濾光器410的透鏡。光圈409是用于調(diào)節(jié)穿過的光的量的掩模。濾光器410的光譜透射率在空間上連續(xù)地變化。也就是說,濾光器410具有多個光譜特性。注意到,濾光器410的光譜透射率的連續(xù)性的方向性不受限制,如果該連續(xù)性在一個平面上。例如,在正交于主透鏡408的光軸的平面上,連續(xù)性可在圖18右側的豎直方向上,或在相對于該豎直方向的正交方向上,或在與該方向傾斜地相交的方向上。聚光透鏡412是用于導引已經(jīng)穿過濾光器410到微透鏡陣列414的光的透鏡。
來自于物體406的反射光進入到主透鏡408中,所述物體已經(jīng)從LED 404等接收光。已經(jīng)進入到主透鏡408的光通量變?yōu)楣庾V反射率測量的目標。已經(jīng)進入主透鏡408的光通量是許多光束的組合,每個光束穿過光圈409的不同位置。反射光被在主透鏡408處被聚光,要穿過的聚光的光量在光圈409處被調(diào)節(jié),調(diào)節(jié)的光進入濾光器410。注意到,在本實施例中,光圈409位于濾光器410上;然而,光圈409的位置不限于此。已經(jīng)進入濾光器410的光束穿過具有不同光譜反射率的濾光器。光束,其已經(jīng)穿過濾光器410,在聚光透鏡412處被聚光,并且暫時地形成靠近微透鏡陣列414附近的圖像。注意到,微透鏡陣列414被設定成以使得多個微透鏡(小型的透鏡)被布置在正交于主透鏡408的光軸的方向上。光束,其已經(jīng)暫時地形成一圖像,通過微透鏡陣列414被分別引起抵達光接收單元陣列416中的不同位置。也就是說,光接收元件陣列的光接收表面的位置對應于光束已經(jīng)穿過的濾光器410的位置,因此可以同時地測量物體406的某一點的光譜反射率。
圖19是用于本實施例中的濾光器410和光圈409的前視圖。濾光器410的底部部分具有短的波長的光譜透射率峰值以及濾光器410的頂部部分具有長的波長的光譜透射率峰值。在該情況下,捕捉的圖像將具有布置成如在圖20中示出的小圓圈。這些形狀是圓圈,因為主透鏡408的光圈409的形狀具有圓形的形狀。小圓圈中的每個在此被稱為“宏像素”。通過收集所有的宏像素,形成一個圖像。每個宏像素緊挨著形成在形成微透鏡陣列414的每個小透鏡(微透鏡)之下。宏像素的直徑和微透鏡的直徑基本上是相同的。
如在圖18中示出的,光束,其已經(jīng)穿過濾光器410的底部部分,抵達宏像素的頂部部分,以及光束,其已經(jīng)穿過濾光器410的頂部部分,抵達宏像素的底部部分。假定濾光器410被布置成以使得所述底部部分具有短的波長的光譜透射率峰值以及頂部部分具有長的波長的光譜透射率峰值,具有短的波長的光束抵達宏像素的頂部部分以及具有長的波長的光束抵達宏像素的底部部分,以便對應于以上的布置。FPGA 418從由相應波長的光束抵達的像素獲得的光譜信息生成光譜圖像。因此,對應于希望的波長的多個光譜圖像可被獲得。光譜反射率計算單元420計算每排宏像素的平均值,并可通過考慮照明例如LED 404的光譜強度、主透鏡408和聚光透鏡412的光譜透射率、濾光器410的光譜透射率以及光接收元件陣列416的光譜靈敏度執(zhí)行計算來獲得光譜反射率。
宏像素的放大視圖示出在圖21中。在此,考慮其中一個宏像素具有19×19像素的情況。從該一個宏像素,物體406的某一點的光譜反射率被獲得。首先,用于獲得最短波長(λs)側上的反射系數(shù)的處理被描述。可從多光譜照相機裝置113獲得的數(shù)據(jù)是從光接收元件的輸出值,以及該輸出值對應于進入所述光接收元件的光束的量。光束的量是在照明例如LED 404的光譜強度、物體406的光譜反射率、光學系統(tǒng)(主透鏡408,聚光透鏡412等)的光譜透射率、濾光器410的光譜透射率和光接收元件陣列416的光譜靈敏度的這五個特性的波長λs處的值的乘積。由此,為了獲得在物體406的λs處的反射率,輸出值要除以不同于光譜反射率的四個值。
在此,用作輸出值的值是通過圖21中的最下段一排中的19個像素的輸出值的總和除以其中形成宏像素的面積而獲得的值。其中形成宏像素的面積是光束抵達的面積,不同于圖21中填充黑色的區(qū)域。這是要標準化每排的輸出值。通過以上處理,可以獲得在λs處的反射率的相對值。所述絕對值要求附加的校準。照明例如LED 404的光譜強度,主透鏡408和聚光透鏡412的光譜透射率,濾光器410的光譜透射率,光接收元件陣列416的光譜靈敏度以及每排宏像素的面積早已在設計時就知道了。通過施加以上的處理到每排宏像素,可以獲得在19個波長處的反射率。
測量結果的示例示出在圖22中。水平軸示出波長,豎直軸示出光譜透射率的相對值。以上是關于一個宏像素的處理,以及通過施加相同的處理到所有的宏像素,濾光器410可測量二維的光譜反射率。可通過將薄膜蒸汽沉積在由光學玻璃等制成的透明基板上以使得該薄膜厚度以楔子的形式變化來制作該濾光器410。根據(jù)本實施例的薄膜的材料是五氧化二鈮,并且在短的波長側上的材料是五氧化二鉭。所述薄膜的膜厚度是幾十到幾百納米。具有較薄的膜厚度的部分對應于短的波長,以及具有較厚的膜厚度的部分對應于長的波長。薄膜的厚度以楔子的形式變化(沒有臺階),因此,光譜透射率也連續(xù)地變化。
光譜透射率由光的干涉控制,因此透射光束彼此增強的條件對應于光譜透射率的峰值波長。透明基板的厚度要設定為以使得能夠保持濾光器。存在被設計為靠近光圈位置附近的部分的透鏡,并且在這些透鏡的情況下,基板優(yōu)選為薄的。例如,基板為約0.5mm。如上所述的,通過使用具有連續(xù)光譜透射特性的濾光器410,可以在捕捉圖像的同時直接獲得連續(xù)光譜反射率。因此,不需要估計處理,并且可以測量具有關于噪聲的高魯棒性的二維光譜反射率。
接下來,通過利用圖23,給出了根據(jù)本實施例的能夠用于多光譜照相機裝置113中的濾光器的另一示例的描述。圖23A中示出的濾光器430具有針對每個傳輸頻帶分割的構造。也就是說,濾光器430由對應于400nm至500nm的波長區(qū)域的濾光器430a、對應于500nm至600nm的波長區(qū)域的濾光器430b和對應于600nm至700nm的波長區(qū)域的濾光器430c形成。因此,濾光器430是其中光譜透射率在紫外區(qū)域和紅外區(qū)域中連續(xù)改變的濾光器。濾光器430a,430b和430c中的每個是其中光譜透射率在空間上連續(xù)變化的濾光器。在此,如該圖中看到的,相應波長從頂部朝向底部增加。在濾波器430a,430b和430c中的每個的縱向方向上的方向不必一致。實質上,只要存在其中光譜透射率連續(xù)變化的區(qū)域,則方向性無關緊要。此外,濾光器430a,430b和430c不限于上述構造,只要濾光器具有至少部分不同的波長區(qū)域即可。上述傳輸頻帶是示例;但是傳輸頻帶不限于上述值。通過分割如上所述的濾光器,可以減小對應于一個像素的波長寬度。也就是說,可以相對于波長以高分辨率測量光譜反射率。此外,通過分割和布置濾光器,與長且薄的濾光器相比,可以在窄光圈直徑內(nèi)確保光譜透射率的連續(xù)性。
注意到,為了有效地使用光,光圈409的形狀可以是正方形,多邊形或另一希望的形狀。
圖24示出了關于植物的葉子的典型光譜反射光譜。實線2401示出正常葉子的光譜(高植物活性度),虛線2402示出枯萎葉子的光譜(低植物活性度)。如該圖中的實線2401示出的,具有高植物活性度的正常葉子通過吸收為一個類型的葉綠體的葉綠素在其中波長是大約660nm的可見紅色區(qū)域(或較短波長區(qū)域)2404中具有低的反射率。另一方面,具有高植物活性度的正常葉子在其中波長為700nm至1100nm的近紅外區(qū)域2405中具有高的反射率。另一方面,在具有低的植物活性度的枯萎葉子中,葉綠素分解,因此葉綠素在可見紅色區(qū)域2404中沒有被吸收太多,并且該反射率高于正常葉子的反射率。注意到,這種趨勢在植物中是相似的,不管植物的類型如何。因此,可以基于可見紅色區(qū)域2404中的光譜反射率R和近紅外區(qū)域IR中的光譜反射率通過使用(公式6)來獲得正?;町愔脖恢笖?shù)(NDVI)。
NDVI=(IR-R)/(IR+R) (公式6)
典型地,正?;町愔脖恢笖?shù)(NDVI)是從-1到+1的值,NDVI的值越高,植物活性度越高。通過使用多光譜照相機裝置113,在邏輯上,可以在所有成像區(qū)域中獲得該正?;町愔脖恢笖?shù)NDVI。也就是說,如在圖23B的濾光器440中的,對應于是可見紅色區(qū)域2404的660納米的波長范圍的濾光器440a,以及對應于是近紅外區(qū)域2405的770納米的波長范圍的濾光器440b,被用作根據(jù)本實施例的多光譜照相機裝置113的濾光器。注意到,對應于作為近紅外區(qū)域2405的785納米或900納米的波長范圍的濾光器可被用作濾光器440b。在該情況下,785納米是可容易由激光二極管(LD)獲得的波長。設定的LED 404具有這樣的特征:LED 404的一半在當波長接近660納米時發(fā)射具有高強度的光,以及當波長接近770納米時另一半發(fā)射具有高強度的光。通過以上構造,多光譜照相機裝置113發(fā)射LED光到目標植物并捕捉反射光的圖像。然后,F(xiàn)PGA 418獲得660納米的波長的光譜圖像和770納米的波長的光譜圖像。光譜反射率計算單元420獲得在這些光譜圖像中的希望的位置或區(qū)域處的光譜反射率。此外,在光譜反射率計算單元420中的CPU通過應用(公式6)獲得正?;町愔脖恢笖?shù)NDVI。注意到,替代多光譜照相機裝置113中的CPU,已經(jīng)獲取所述光譜圖像和光譜反射率信息的農(nóng)業(yè)機械100的控制裝置118或服務器704可應用(公式6)并獲得正?;町愔脖恢笖?shù)NDVI。注意到,對于每個農(nóng)作物的正?;町愔脖恢笖?shù)NDVI被發(fā)送到并存儲在數(shù)據(jù)庫708中。注意到,替代使用正?;町愔脖恢笖?shù)NDVI,僅可見紅色區(qū)域(例如,660納米)2404的波長的光譜反射率可用來感知植物的生長狀態(tài)。這是因為在該可見紅色區(qū)域2404中,光譜反射率的變化根據(jù)植物活性度的差異是大的。因此,可以感知生長狀態(tài)并省略在近紅外區(qū)域2405中的光譜反射率的測量和正?;町愔脖恢笖?shù)NDVI的計算,以及該處理和確定可快速地進行。另一方面,通過獲得正常化差異植被指數(shù)NDVI,可以獲得生長狀態(tài)(植物活性度)的正?;透_的信息。
此外,通過每天觀察正?;町愔脖恢笖?shù)NDVI,可以精確地預料收獲期。例如,葉子蔬菜優(yōu)選地在當正?;町愔脖恢笖?shù)NDVI最大(當植物活性度最大時)時收獲。正常化差異植被指數(shù)NDVI的最大值和當?shù)诌_正?;町愔脖恢笖?shù)NDVI的最大值時的日子對不同農(nóng)作物是不同的,因此其中希望收獲的正?;町愔脖恢笖?shù)NDVI的范圍被確定用于每個植物。這可通過使用存儲在數(shù)據(jù)庫708中的正?;町愔脖恢笖?shù)NDVI的數(shù)據(jù)由服務器704或用戶終端710,712進行。例如,作為實驗,觀察結果由正常化差異植被指數(shù)NDVI對其超過局部最大值的相同種類的多個農(nóng)作物組成,以及根據(jù)變化程度等,其中要收獲的農(nóng)作物的正?;町愔脖恢笖?shù)NDVI的范圍被確定(例如,關于萵苣,在正?;町愔脖恢笖?shù)NDVI的范圍中的是0.5到0.55)。那么,當由多光譜照相機裝置113等獲得的農(nóng)作物的正常化差異植被指數(shù)NDVI在確定的范圍內(nèi)時,相應農(nóng)作物要被收獲。此外,收獲期可通過從存儲的數(shù)據(jù)中獲得對于每種農(nóng)作物的正?;町愔脖恢笖?shù)NDVI的每日變化的統(tǒng)計趨勢被預測。
此外,根據(jù)多光譜照相機裝置113,可以基于顏色確定產(chǎn)物(果實)的質量(糖含量)。在該情況下,使用濾光器430,其被分割用于圖23A的每個傳輸頻帶(400納米到500納米(430a),500納米到600納米(430b),600納米到700納米(430c)),此外,使用彩色傳感器,其中RGB的濾色器對于光接收元件陣列416的每個光接收元件(像素)以拜耳(Bayer)布置進行布置。該RGB濾色器包括在B(藍色)中接近470納米、在G(綠色)中接近540納米以及在R(紅色)中接近620納米的光譜峰值(最大值)。形成濾光器430的濾光器(430a和430b和430c),以及彩色傳感器中形成濾光器440的RGB的濾光器具有不同的光譜特性。當光束穿過形成濾光器430的濾光器和形成彩色傳感器中的濾光器440的濾光器時,可以同時地獲取光譜信息,類似于其中光束已經(jīng)穿過3×3=9類型的帶通路濾光器的情況。然而,從狹義來說,光僅可穿過每個濾光器中的部分的光譜透射區(qū)域透射,因此在本實施例中,基本上六個類型的光譜信息被獲取。如果六個類型的光譜信息可被如上所述地獲取,在自然界中的光譜可以高精度測量,以及捕捉的顏色可被準確地辨認。該多光譜照相機裝置形成可精確地測量可見光的比色照相機裝置。例如,在果實的情況下,例如一種草莓,其中糖含量隨著草莓變熟和變紅增加,多光譜照相機裝置(比色照相機裝置)113可獲得在整個果實的光譜圖像中的可見紅色區(qū)域中的光譜反射率,因此糖含量可被估計。
此外,關于具有薄果皮的果實例如桃,多光譜照相機裝置113可測量近紅外區(qū)域的光譜反射率以及糖含量可基于光譜分布進行估計。
此外,多光譜照相機裝置113可以以非接觸/非破壞方式測量包括在植物的綠葉中的水分含量。當植物中存在水分不足時,水分虧缺施加在植物上,在綠葉的表面上的光譜特性變化,因此通過捕捉該變化,含水量被測量。如在圖24中示出的,存在其中反射率從可見紅色區(qū)域到近紅外區(qū)域快速地增加的區(qū)域(紅色邊緣)。已知的是,當水分虧缺被施加到植物,其中反射率增加的區(qū)域朝向其中波長是短的藍色側(左側)偏移(藍色偏移)。圖24的虛線2403示出在其中水分虧缺被施加的情況下的藍色偏移。如果該偏移量可被檢測,納米可以識別植物的葉子中的含水量(水分虧缺的施加度)。由此,為了檢測該水分虧缺度的目的,為了測量在其中反射率從可見紅色區(qū)域到近紅外區(qū)域快速地增加的區(qū)域中的多個波長的反射率,多光譜照相機裝置113設置有光譜過濾器,用于處理多個波長區(qū)域。例如,光譜過濾器像濾光器410可從可見紅色區(qū)域到近紅外區(qū)域連續(xù)地變化,或者光譜過濾器可以是用于選擇性地透射希望的波長(例如,715納米,740納米)的濾光器。
通過測量關于在其中反射率從可見紅色區(qū)域到近紅外區(qū)域快速地增加的區(qū)域中的希望的波長的反射率,以及比較測量的反射率與作為參考的反射率(例如,關于在其中水分虧缺沒有被施加的狀態(tài)下每個波長的光譜反射率),可以檢測所述偏移量。在該情況下,LED,其可輸出在其中反射率從可見紅色區(qū)域到近紅外區(qū)域快速地增加的區(qū)域中的希望的波長的光,可被設定為LED 404,以及這些LED可被使用,或者日光可用來測量所述反射率而沒有從LED 404發(fā)射光。當使用日光時,從由植物反射的日光獲取的多個波長的光譜反射率除以從由設定在農(nóng)場土地或農(nóng)業(yè)機械100中的標準白板反射的日光獲得的反射率,以及正常化的水平彼此比較,以減少由日光的光量的變化引起的測量值的誤差的影響。注意到,測量的光譜反射率不限于關于兩個波長的光譜反射率;為了增加精度,關于三個或更多個波長的光譜反射率可被測量。如上所述的,通過用多光譜照相機裝置113測量包括在植物中的含水量,為測量目標的植物的含水量可以以非破壞性的、非接觸方式被快速地測量。
注意到,替代LED 404,或與LED 404一起,預定波長的激光束可從激光雷達裝置112發(fā)射到植物,以及多光譜照相機裝置113可捕捉反射光的圖像。激光雷達裝置112可測量到測量位置的距離。因此,從由多光譜照相機裝置113捕捉的光譜圖像和由激光雷達裝置112檢測的距離信息,例如,分枝之間的莖的長度和葉子的尺寸可被識別或估計。在本實施例中,該識別(估計)處理由服務器704執(zhí)行。服務器704執(zhí)行如下所述的在光譜圖像中的辨認處理,以及辨認葉子、分枝和莖。那么,當分枝之間的長度是,例如,當?shù)椒种Φ骄嚯x是50厘米且該長度對應于1000個像素時,服務器704識別(估計)該長度是大約5.3厘米。替代地,當葉子相隔50厘米且占據(jù)230,000個像素時,服務器704識別(估計)葉子的面積是100平方厘米。這些值與相應農(nóng)作物的莖之間的參考長度和葉子的參考尺寸進行比較,以感知生長狀態(tài)。注意到,以上識別處理(或估計處理)可通過農(nóng)業(yè)機械100的控制裝置118執(zhí)行。
此外,兩個多光譜照相機裝置(比色照相機裝置)113可結合以通過與以上所述的立體照相機裝置110相同的原理測量距離。因此,目標的圖像,光譜信息以及距離信息(視差值信息)可通過一個成像操作獲取.
此外,多光譜照相機裝置113可測量來自于土壤的近紅外光的光譜反射率,并使用作物生長所需要的吸收營養(yǎng)物(氮氣,磷酸,鉀)的光譜中的差異,感知土壤的狀態(tài)。根據(jù)感知的土壤狀態(tài),整個系統(tǒng)1500調(diào)節(jié)肥料等的平衡,并且可以以詳細的方式有效地管理土壤。
<狀態(tài)監(jiān)視裝置>
當管理粗放農(nóng)場土地時,優(yōu)選的是快速地辨認所述狀態(tài)例如橫穿大范圍的農(nóng)場土地的農(nóng)作物的生長狀態(tài)。圖25示出使用多光譜照相機裝置113的狀態(tài)監(jiān)視裝置550。狀態(tài)監(jiān)視裝置550是用于快速地測量在橫穿大范圍的農(nóng)場土地中的農(nóng)作物和土壤等的活性度的裝置。狀態(tài)監(jiān)視裝置550包括多光譜照相機裝置113,用于關于水平軸可旋轉地保持多光譜照相機裝置113的保持單元450,用于關于豎直軸可旋轉地保持保持單元450的旋轉平臺452,其中用于將太陽能轉換為電能的多個太陽電池被布置和連接到彼此的太陽能電池板456,存儲控制單元的存儲單元454A,所述控制單元用于執(zhí)行發(fā)送指令到存儲在太陽電池板456處生成的電能的蓄電池和多光譜照相機裝置113并從多光譜照相機裝置113接收信息的輸入輸出控制和通信控制以及用于執(zhí)行保持單元450和旋轉平臺452的旋轉控制,連接到存儲單元454A中的控制單元并用于執(zhí)行與農(nóng)業(yè)機械100、服務器704和用戶終端710,712的無線通信的無線天線458,由透明玻璃制成的用于保護多光譜照相機裝置113等防止其受到周圍環(huán)境影響的蓋462,以及用于在高位置處支撐狀態(tài)監(jiān)視裝置550的柱460。通過狀態(tài)監(jiān)視裝置550的通信、各種控制和成像是通過使用存儲在蓄電池中的電能執(zhí)行的。注意到,當蓄電池中的電能不足時或者當沒有使用蓄電池時,外部電源可被使用。此外,蓋462可不由玻璃制成,只要材料是透明的即可;例如,蓋462可由樹脂例如丙烯酸樹脂制成。在蓋462上方,設置了太陽電池板456,以及在蓋462下方,設置了存儲單元454A。此外,多光譜照相機裝置113,保持單元450和保持單元450被設置在蓋462內(nèi)?;趶挠脩艚K端710,712、服務器704和農(nóng)業(yè)機械100發(fā)送的信息,該狀態(tài)監(jiān)視裝置550捕捉在周圍區(qū)域中的農(nóng)作物的圖像并檢查農(nóng)作物的植物活性度。注意到,這些圖像可通過使用反射的陽光被捕捉而沒有使用LED 404。此外,控制單元和無線天線458還起到無線訪問點的作用,并且可以無線方式中繼信息。因此,其中可執(zhí)行無線通信的區(qū)域可擴大。此外,控制單元發(fā)送信號,用于經(jīng)由無線天線458根據(jù)來自于農(nóng)業(yè)機械100、服務器704和用戶終端710,712中的任一個的指令來識別農(nóng)業(yè)機械100的位置。農(nóng)業(yè)機械100能夠基于從總共三個或更多個狀態(tài)監(jiān)視裝置550或農(nóng)場土地監(jiān)視裝置500發(fā)送的接收信號的強度(或衰減)或者基于這些信號的接收時間差來識別當前位置。
注意到,為了使從其中設置狀態(tài)監(jiān)視裝置550的位置周圍的地面反射的光進入到多光譜照相機裝置113的主透鏡408,反光鏡可以一定角度設置在狀態(tài)監(jiān)視裝置550的上部部分處的蓋462的內(nèi)部或外部。因此,可以監(jiān)視由于旋轉平臺452和存儲單元454A變得處于盲拐角處的底部處的位置。
此外,狀態(tài)監(jiān)視裝置550還可被使用用于不同于監(jiān)視農(nóng)場土地中的農(nóng)作物的狀態(tài)的目的;狀態(tài)監(jiān)視裝置550可用作一監(jiān)視裝置,用于根據(jù)波長監(jiān)視光譜反射率對其具有不同的特性的目標(例如,土壤)。此外,存在其中葉子它自己和葉子的表面等由于害蟲、霜或其他種類的影響而顏色變化的情況,以及狀態(tài)監(jiān)視裝置550能夠檢測其中顏色正在變化的植物和面積。
<農(nóng)場土地監(jiān)視裝置>
一般的照相機裝置僅能夠一次捕捉一個方向上的圖像。因此,當整個周圍區(qū)域要通過使用這樣的照相機裝置監(jiān)視時,諸如旋轉照相機裝置的操作必需被執(zhí)行,對于增加監(jiān)視裝置的尺寸和對于提供旋轉機構需要成本。此外,起動單元被包括,因此通??赡馨l(fā)生故障。為此,當監(jiān)視巨大的農(nóng)場土地時,優(yōu)選的是,通過單個圖像操作來捕捉盡可能寬的范圍。圖26示出使用天球照相機裝置501的農(nóng)場土地監(jiān)視裝置500。天球照相機裝置501是傳感器的示例。天球照相機裝置501能夠通過單個成像操作捕捉照相機周圍360度的區(qū)域,以及通過設置天球照相機裝置501在農(nóng)場土地中,農(nóng)場土地可想當然被監(jiān)視,例如,天氣可從天空的圖像被監(jiān)視。此外,根據(jù)狀態(tài)監(jiān)視裝置550,橫穿寬的區(qū)域的日照量可被估計。在圖26中,由與圖25的那些相同的附圖標記表示的元件具有通過利用圖25描述的那些相同的功能,因此描述被省略。附圖標記454B表示用于存儲蓄電池和像狀態(tài)監(jiān)視裝置550的控制單元的存儲單元;然而,該控制單元不同于狀態(tài)監(jiān)視裝置550的控制單元之處在于指令給予天球照相機裝置501而不是多光譜照相機裝置113,對來自于天球照相機裝置501的信息執(zhí)行輸入輸出控制,以及旋轉控制沒有被執(zhí)行。
注意到,為了使從農(nóng)場土地監(jiān)視裝置500的設定位置周圍的區(qū)域中的地面反射的光進入天球照相機裝置501的光學系統(tǒng)A,B,反光鏡可以一定角度設定在農(nóng)場土地監(jiān)視裝置500上方的部分處的蓋462的內(nèi)部或外部。因此,可以監(jiān)視在由于存儲單元454B等變得處于盲拐角處的底部處的位置。
注意到,使用該天球照相機裝置501的農(nóng)場土地監(jiān)視裝置500還可被用作,例如,監(jiān)視照相機裝置,用于不是監(jiān)視農(nóng)場土地的目的。
<天球照相機>
通過利用圖27到30,給出了根據(jù)本實施例的天球照相機裝置501的描述。圖27是天球照相機裝置501的前外部視圖。該照相機包括兩個光學系統(tǒng)A,B,包括魚眼(寬角)透鏡和主體部分502。
A.天球照相機的光學系統(tǒng)
圖28是示出天球照相機裝置501的光學系統(tǒng)的示意圖。在圖28中,由附圖標記A,B表示的部分示出成像光學系統(tǒng)。該兩個成像光學系統(tǒng)A,B分別由具有比180度寬的視角的寬角透鏡以及用于通過寬角透鏡捕捉圖像的成像元件IA,IB形成。也就是說,成像光學系統(tǒng)A由包括透鏡LA1到LA3的前組、形成反射表面的垂直棱鏡PA和包括透鏡LA4到LA7的后組形成。此外,光圈擋SA被布置在透鏡LA4的物體側上。成像光學系統(tǒng)B由包括透鏡LB1到LB3的前組、形成反射表面的垂直棱鏡PB和包括透鏡LB4到LB7的后組形成。此外,光圈擋SB被布置在透鏡LB4的物體側上。
形成成像光學系統(tǒng)A的前組的透鏡LA1到LA3包括從物體側的順序陳述的由玻璃材料制成的負彎月透鏡(LA1),由塑料材料制成的負透鏡(LA2)以及由玻璃材料制成的負彎月透鏡(LA3)。形成成像光學系統(tǒng)A的后組的透鏡LA4到LA7包括從物體側順序陳述的由玻璃材料制成的雙凸透鏡(LA4),由玻璃材料制成的雙凸透鏡(LA5)和雙凹透鏡(LA6)形成的粘合透鏡,以及由塑料材料制成的雙凸透鏡(LA7)。形成成像光學系統(tǒng)B的前組的透鏡LB1到LB3包括從物體側順序陳述的由玻璃材料制成的負彎月透鏡(LB1),由塑料材料制成的負透鏡(LB2),以及由玻璃材料制成的負彎月透鏡(LB3)。形成成像光學系統(tǒng)B的后組的透鏡LB4到LB7包括從物體側順序陳述的由玻璃材料制成的雙凸透鏡(LB4),由玻璃材料制成的雙凸透鏡(LB5)和雙凹透鏡(LB6)形成的粘合透鏡,以及由塑料材料制成的雙凸透鏡(LB7)。
在這些成像光學系統(tǒng)A,B中,關于在前組中由塑料材料制成的負透鏡LA2,LB2和后組中由塑料材料制成的雙凸透鏡LA7,LB7,這些透鏡的兩側是非球表面;而由玻璃材料制成的其他透鏡是球表面透鏡。寬角透鏡的前側主點的位置被設定在第二透鏡LA2,LB2和第三透鏡LA3,LB3之間。在成像光學系統(tǒng)A中的寬角透鏡中,光軸和前組的反射表面的交點與前側主點之間的長度在圖28中是d1。在成像光學系統(tǒng)B中的寬角透鏡中,光軸和前組的反射表面的交點與前側主點之間的長度是d2。假定這些長度d1,d2是寬角透鏡中的長度d,以下被滿足。
條件(1) 7.0<d/f<9.0
條件(1)的意思被描述如下。條件(1)的參數(shù)d/f的減小意味著整個系統(tǒng)的焦距:f的增加,或者光軸和前組的反射表面的交點與前側主點之間的長度:d減小。隨著焦距:f增加,沿著寬角透鏡的光軸的透鏡的整個長度變長,因此如果從使尺寸緊湊的視角設定適當值,這意味著長度:d在此條件下減小。當d增加時,透鏡LA3(LB3)和棱鏡PA(PB)之間的間隔變窄,并且限制用于確保透鏡LA3(LB3)所需的折射力的透鏡厚度的限制變得嚴格。當該值變得低于條件(1)的下限時,變得不可能處理或難以處理透鏡LA3(LB3)的希望的厚度和形狀。在圖28中,成像光學系統(tǒng)A,B要布置為盡可能在如在該圖中看到的水平方向上彼此靠近,用于實現(xiàn)減小天球照相機裝置501的尺寸的目的。所述反射表面是垂直棱鏡PA,PB的傾斜表面,因此將這些傾斜表面布置為盡可能地彼此靠近就減小天球照相機裝置501的尺寸而言是有效的。在條件(1)中,參數(shù):d/f的增加意味著光軸和前組的反射表面的交點與前側主點之間的長度:d的增加,以及這意味著前組的尺寸的增加。如上所述的前組的增加使得難以減小天球照相機裝置501的尺寸。在該情況下,作為通過使前組的尺寸增加來補償天球照相機裝置501的尺寸的增加的方法,可以考慮將成像光學系統(tǒng)A,B布置成在圖1中的豎直方向上彼此偏移,在其中棱鏡PA,PB的傾斜表面彼此靠近的狀態(tài)下。然而,通過這樣的布置,成像光學系統(tǒng)的前組的寬角透鏡的軸在圖28中的豎直方向上彼此偏移,因此如果該偏移量變得過大,視差的影響增加。前組的尺寸的增加可被允許,當有效地抑制視差的影響時,在其中參數(shù):d/f低于條件(1)的上限的情況下。關于以上長度:d和焦距:f的比值:d/f的條件就天球照相機裝置501而言由以下條件(4)限制。
條件(4) 16≤(d1+d2)/f<21
如果該比值在當抑制視差的影響時降低到低于條件(4)的下限,那么棱鏡PA和PB的反射表面將彼此干涉,以及如果該比值超過條件(4)的上限,那么視差的影響不能忽略。
條件(3) nd≥1.8
條件(3)限定了以一種材料,其具有比關于d線的1.8高的折射系數(shù):nd,要被用作棱鏡PA,PB的材料。棱鏡PA,PB使得來自于前組的光從內(nèi)部朝向后組反射,因此成像光通量的光程在棱鏡內(nèi)部穿過。當棱鏡的材料具有滿足條件(3)的高折射系數(shù)時,棱鏡內(nèi)的光學光程長變得長于實際的光程長,以及彎曲所述光束的長度可增加。在前組/棱鏡/后組的結構中,在前組和后組之間的光程長被弄成長于機械光程長,因此寬角透鏡的構造被弄成具有緊湊的尺寸。此外,通過布置棱鏡PA,PB靠近光圈擋SA,SB,可以使用小棱鏡,并且寬角透鏡之間的間隔可減小。棱鏡PA,PB被布置在前組和后組之間。前組的寬角透鏡具有吸收高于或等于180度的寬視角的光束的功能,后組具有有效地修正成像中的像差的功能。通過布置如上所述的棱鏡,可以減小棱鏡的布置偏移和制造公差的影響。
B.不同于光學系統(tǒng)的天球照相機的構造
下來,通過利用圖29,根據(jù)本實施例的天球照相機裝置501的構造被示出。如在圖29中示出的,天球照相機裝置501包括成像光學系統(tǒng)A,B,成像元件IA,IB,圖像處理單元504,成像控制單元506,CPU 510,ROM 512,靜態(tài)隨機存取存儲器(SRAM)514,動態(tài)隨機存取存儲器(DRAM)516,操作單元518,網(wǎng)絡I/F 520和通信單元522。成像元件IA,IB包括圖像傳感器例如COMS傳感器和將根據(jù)寬角透鏡的光學圖像轉換為電子信號的圖像數(shù)據(jù)并輸出該電子信號的CCD傳感器,生成圖像傳感器的水平或豎直同步信號和像素時鐘等的定時生成電路,以及一組寄存器,其中設定成像元件的操作所需要的各種指令和參數(shù)等。成像元件IA,IB分別通過并行I/F總線被連接到圖像處理單元504。此外,成像元件IA,IB通過串行I/F總線(I2C總線等)被連接到成像控制單元506。圖像處理單元504和成像控制單元506經(jīng)由總線508被連接到CPU 510。ROM 512,SRAM 514,DRAM 516,操作單元518,網(wǎng)絡I/F 520和通信單元522也被連接到總線508。圖像處理單元504通過并行I/F總線接收從成像元件IA,IB輸出的圖像數(shù)據(jù)項,對相應圖像數(shù)據(jù)項執(zhí)行預定處理,執(zhí)行結合這些圖像數(shù)據(jù)項的處理,以及創(chuàng)建如在圖30C中示出的等距柱面圖像的數(shù)據(jù)。成像控制單元506通常地通過將成像控制單元506設定為主裝置及設定成像元件IA,IB為從屬裝置以及通過使用串行I/F總線例如I2C總線等來設定指令等在所述成像元件IA,IB的一組寄存器中。需要的指令等從CPU 510接收。此外,成像控制單元506使用相同的串行I/F總線以接收成像元件IA,IB中的該組寄存器的狀態(tài)數(shù)據(jù)等,并且發(fā)送數(shù)據(jù)到CPU 510。此外,成像控制單元506指令成像元件IA,IB在當操作單元518的快門按鈕被按下時的時刻輸出圖像數(shù)據(jù)。注意到,在農(nóng)場土地監(jiān)視裝置500中,該操作單元518被省略,并且圖像基于來自于存儲在存儲單元454的控制單元的指令被捕捉,所述存儲單元454被連接到網(wǎng)絡I/F 520。
此外,成像控制單元506與如下所述的CPU 510協(xié)作以起到使來自于成像元件IA,IB的圖像數(shù)據(jù)的輸出時間同步的同步控制單元的作用。CPU 510控制天球照相機裝置501的整個操作并且執(zhí)行必需的處理。ROM 512存儲用于CPU 510的各種程序。SRAM 514和DRAM 516是工作存儲器,并且存儲由CPU 510執(zhí)行的程序和目前正在被處理的數(shù)據(jù)等。特別地,DRAM 516通過圖像處理單元504存儲目前正在被處理的圖像數(shù)據(jù)以及已經(jīng)被處理的等距柱面圖像的數(shù)據(jù)。操作單元115是各種操作按鈕、電力開關、快門按鈕及具有顯示功能和操作功能二者的觸板的一般名稱。用戶能夠通過操作所述任務按鈕輸入各種拍照模式和拍照條件。網(wǎng)絡I/F 520是關于外部媒體例如SD卡和USB存儲器等以及個人計算機等的接口電路(USB I/F等)的通用術語。此外,網(wǎng)絡I/F 520可以是無線或有線網(wǎng)絡接口。存儲在DRAM 516中的等距柱面圖像的數(shù)據(jù)經(jīng)由網(wǎng)絡I/F 520與存儲單元454的控制單元通信。此外,數(shù)據(jù)經(jīng)由無線天線458被發(fā)送到農(nóng)業(yè)機械100、服務器704和用戶終端710,712。通信單元522使用短距離無線技術。在存儲單元454中的控制單元可提供有與通信單元522通信的通信功能;然而,當天球照相機裝置501被用于農(nóng)場土地監(jiān)視裝置500中時可省略所述通信單元522。
接下來,通過利用圖30,給出了由天球照相機裝置501捕捉的圖像和結合圖像的描述。注意到,圖30A是由天球照相機裝置501捕捉的半球圖像(前側),圖30B是由天球照相機裝置501捕捉的半球圖像(后側),以及圖30C是通過等距柱面投影表示的圖像(稱為“等距柱面圖像”)。注意到,為了容易理解,圖30示出由捕捉建筑物獲得的圖像的示例。如在圖30A中示出的,由成像元件IA獲得的圖像變?yōu)橛沙上窆鈱W系統(tǒng)A彎曲的半球圖像(前側)。此外,如在圖30B中示出的,由成像元件IB獲得的圖像變?yōu)橥ㄟ^成像光學系統(tǒng)B彎曲的半球圖像(后側)。此外,半球圖像(前側)和半球圖像(后側),其顛倒180度,通過天球照相機裝置501的圖像處理單元504結合,以及等距柱面圖像被創(chuàng)建,如圖30C中示出的。首先,圖像處理單元504檢測連接位置。也就是說,通過圖案匹配處理,圖像處理單元504計算對于每個區(qū)域的參考圖像和比較圖像之間的偏移量。接下來,圖像處理單元504通過幾何變換執(zhí)行失真修正。也就是說,透鏡特性是相對于連接位置檢測結果進行考慮的,以及圖像被轉換為天球圖像格式。最后,兩個圖像混合,生成單個天球圖像。
注意到,設置在農(nóng)場土地中的農(nóng)場土地監(jiān)視裝置500,555的天球照相機裝置501的一部分可以是用于在夜間監(jiān)視的夜視照相機。在這種情況下,高靈敏度的光接收元件被用作成像元件1A,1B,發(fā)射近紅外光以照亮農(nóng)場土地,并且反射光被捕捉以在單色模式下獲取圖像。
此外,在天球照相機裝置501中,偏振濾光器(SWS偏振濾光器等)可布置在類似于立體照相機裝置110的成像元件IA,IB的光接收側上,以通過S偏振和P偏振的圖像。在該情況下,天球照相機裝置501還能夠獲取高對比度圖像。為此,可以增加在檢測其中光的偏振狀態(tài)根據(jù)平面方向不同的對象(黑色對象等)或其中透射率根據(jù)光的偏振狀態(tài)變化難以由不是偏振照相機裝置的照相機裝置檢測的對象(透明對象等)時的精度。
<農(nóng)場土地監(jiān)視裝置的另一示例>
圖31示出農(nóng)場土地監(jiān)視裝置的另一個示例。該農(nóng)場土地監(jiān)視裝置555不同于如上所述的農(nóng)場土地監(jiān)視裝置500之處在于太陽電池板456和無線天線458沒有接觸透明蓋462,而是經(jīng)由柱470設定在上部位置處。另一些構造與農(nóng)場土地監(jiān)視裝置500的構造相同。通過以上構造,當要獲取稍微在上部位置處時的圖像時,太陽電池板沒有變?yōu)檎系K。此外,替代天球照相機裝置501,在圖31的農(nóng)場土地監(jiān)視裝置555中,圖25中示出的多光譜照相機裝置113、保持單元450及旋轉平臺452可被設置,包括用于控制這些元件的控制器的狀態(tài)監(jiān)視裝置550可被構造。
注意到,為了使從其中設定農(nóng)場土地監(jiān)視裝置555的位置周圍的地面反射的光進入所述天球照相機裝置501的光學系統(tǒng)A,B,反光鏡可以一定角度設定在蓋462的上部部分處的蓋的內(nèi)側或外側上。因此,可以監(jiān)視由于存儲單元454B等變?yōu)槊す盏牡撞刻幍奈恢谩?/p>
多個農(nóng)場土地監(jiān)視裝置500,550和狀態(tài)監(jiān)視裝置555被設定在農(nóng)場土地中;然而,當農(nóng)場土地的尺寸是小的且農(nóng)場土地可由單個裝置監(jiān)視時,可僅設定單個裝置。農(nóng)場土地監(jiān)視裝置500,555和狀態(tài)監(jiān)視裝置550是傳感器的示例。
[系統(tǒng)的操作]
通過利用圖32到56,給出了根據(jù)本實施例的整個系統(tǒng)1500的操作的描述。注意到,隨著農(nóng)業(yè)機械100,服務器704,用戶終端710,712,和包括農(nóng)場土地監(jiān)視裝置500,555、狀態(tài)監(jiān)視裝置550的其他裝置以及數(shù)據(jù)庫706,708等彼此操作才執(zhí)行整個系統(tǒng)1500的操作,以及農(nóng)業(yè)機械100沒有根據(jù)手動控制行進或執(zhí)行。也就是說,這些操作用于使農(nóng)業(yè)機械100自動地行進并執(zhí)行任務。由這些附圖和流程圖示出的操作是整個系統(tǒng)1500的代表操作。其他操作和詳細的操作已經(jīng)通過書寫在上面被描述或將在下面被描述。此外,在農(nóng)業(yè)機械100、服務器704、用戶終端710,712以及其他裝置(由附圖標記110,112,113,500,550,555等表示的裝置)之間的信息的交換通過早已在如上所述的有線或無線通信以直接方式或者通過中繼經(jīng)由無線訪問點等被執(zhí)行。當通過無線電波的無線通信不是有效的時候,無線信息通信可通過利用可見光或不可見光執(zhí)行。
注意到,由是如上面和下面描述的對象的服務器704執(zhí)行的操作具體地是根據(jù)存儲在SSD中的程序由服務器中的CPU執(zhí)行的操作;然而,為了簡化描述,這些操作被描述為由服務器704執(zhí)行。此外,由是如在上面和下面描述的對象的農(nóng)業(yè)機械100執(zhí)行的操作具體地是根據(jù)存儲在農(nóng)業(yè)機械100中的程序由內(nèi)裝在農(nóng)業(yè)機械100中的控制裝置118執(zhí)行的操作;然而,為了簡化描述,這些操作被描述為由農(nóng)業(yè)機械100執(zhí)行。此外,由是如在上面和下面描述的對象的用戶終端710,712執(zhí)行的操作具體地是根據(jù)存儲在記錄介質中的程序和/或根據(jù)用戶終端的用戶的指令由內(nèi)裝在用戶終端710和/或用戶終端712中的CPU執(zhí)行的操作;然而,為了簡化描述,這些操作被描述為由用戶終端710,712共同地執(zhí)行。此外,在上面和下面描述的由其它裝置(由附圖標記110,112,113,500,550,555等表示的裝置)和數(shù)據(jù)庫706,708執(zhí)行的操作具體地是根據(jù)存儲在相應裝置和數(shù)據(jù)庫中的程序由內(nèi)裝在相應裝置中的控制處理器和CPU執(zhí)行的操作;然而,為了簡化描述,這些操作被描述為由其他裝置(由附圖標記110,112,113,500,550,555等表示的裝置)和數(shù)據(jù)庫706,708等執(zhí)行。
<初始設定>
為了使農(nóng)業(yè)機械100在沒有手動控制的情況下運動和執(zhí)行任務,任務地點和任務內(nèi)容等要在執(zhí)行這些操作之前被設定。圖32和33是用于描述在服務器704、用戶終端710,712和農(nóng)業(yè)機械100中進行的用于使農(nóng)業(yè)機械100在農(nóng)場土地中運動并執(zhí)行任務的初始設定的流程圖。該描述是根據(jù)這些附圖給出的。注意到,基本上,由農(nóng)業(yè)機械100執(zhí)行的操作示出在左側,由服務器704執(zhí)行的操作示出在中間,以及由用戶終端710,712執(zhí)行的操作示出在右側;然而,在一些附圖中,這些操作被描述為由這些元件中的一個或兩個執(zhí)行。
在根據(jù)本實施例的整個系統(tǒng)1500中,當初始設定操作開始(步驟S100)時,服務器704發(fā)送查詢到用戶終端以發(fā)送用于識別農(nóng)場土地的數(shù)據(jù),也就是說,農(nóng)場土地的拐角部分和邊緣部分的位置信息(經(jīng)度和緯度,以及高度,如果可能的話)和/或農(nóng)場土地的形狀的數(shù)據(jù)等(步驟S102)。注意到,通過步驟S100的處理的初始設定操作的開始是通過來自于用戶終端的指令執(zhí)行的。
用戶終端710或712給服務器704發(fā)送用于識別農(nóng)場土地所需要的數(shù)據(jù)(農(nóng)場土地的拐角部分和邊緣部分的位置信息(經(jīng)度和緯度,以及高度,如果可能的話)和/或農(nóng)場土地的形狀等),其是為符合所述查詢的形式的輸入量(步驟S104)。當輸入該數(shù)據(jù)時,包括在服務器704、數(shù)據(jù)庫706等或另一外部系統(tǒng)例如因特網(wǎng)的地圖信息可被獲取,以及獲取的地圖信息可用來輸入該數(shù)據(jù)。例如,其中位置信息例如維度/經(jīng)度(和高度)與地圖中的每個點有關的該地圖被顯示在用戶終端710或712的屏幕上,用戶通過圈起或描記(tracing)該地圖上的區(qū)域來指定該農(nóng)場土地。從指定的區(qū)域等獲得的位置信息可被發(fā)送到服務器704。注意到,用于識別農(nóng)場土地的數(shù)據(jù)可由整個系統(tǒng)1500的提供者預先設定。服務器704接收用于識別農(nóng)場土地的從用戶終端710或712發(fā)送的信息,識別其中可執(zhí)行任務的農(nóng)場土地,附上識別信息例如名字到所述信息,以及將該信息存儲在服務器704中的SSD中(步驟S106)。此外,識別農(nóng)場土地的信息也存儲在數(shù)據(jù)庫708中,附上識別信息。如果該信息被存儲,可以在未來執(zhí)行在相同的農(nóng)場土地中的任務,而不用該信息從用戶輸入。
隨后,服務器704發(fā)送查詢到用戶終端710,712以發(fā)送用于識別執(zhí)行在農(nóng)場土地中的任務的地點的信息(步驟S108)。
用戶終端710或712給服務器704發(fā)送用于識別任務地點(農(nóng)場土地的拐角部分和邊緣部分的位置信息(經(jīng)度和緯度,以及高度,如果可能的話)和/或任務區(qū)域的形狀信息,任務開始位置,任務結束位置,以及畦頭的未耕地)的為符合查詢的形式的數(shù)據(jù)(步驟S110)。當輸入該數(shù)據(jù)時,類似于識別農(nóng)場土地的情況,包括在服務器704、數(shù)據(jù)庫706等或另一外部系統(tǒng)例如因特網(wǎng)中的地圖信息可被獲取,以及獲取的地圖信息可用來輸入所述數(shù)據(jù)。例如,至少示出農(nóng)場土地的其中位置信息例如維度/經(jīng)度(和高度)與地圖中的每個點有關的該地圖被顯示在用戶終端710或712的屏幕上,以及用戶通過從任務開始位置到任務結束位置描記該地圖或通過圈起識別該任務開始/結束位置的任務地點來指定該任務地點。從如以上指定的區(qū)域獲得的位置信息等可被發(fā)送到服務器704。
服務器704接收從用戶終端710或712發(fā)送的用于識別任務地點的信息,識別用于執(zhí)行該任務的地點,附上識別信息例如名字到該信息并存儲該信息在服務器704中的SSD中(步驟S112)。此外,用于識別該任務地點的信息也存儲在數(shù)據(jù)庫708中,識別信息被附上。如果用于識別任務地點的該信息被存儲,可以在未來在相同的任務地點執(zhí)行相同或不同的任務,而不用使該信息從用戶再次輸入。注意到,服務器704可基于來自于農(nóng)場土地監(jiān)視裝置500,555和狀態(tài)監(jiān)視裝置550的信息識別任務地點。
隨后,服務器704給用戶終端710或712發(fā)送有關以下內(nèi)容的查詢:任務類型(耕地,碎土,整地,插秧,施肥,播種,移栽,收獲,除草,農(nóng)藥播散/霧化,噴灑水和收割等),執(zhí)行任務的農(nóng)業(yè)機械,以及行進方法(內(nèi)翻犁地,外翻犁地,外旋轉(外繞)犁地,內(nèi)旋轉(內(nèi)繞)犁地,單向犁地,順序犁地,豎直和水平行進以及對角線行進等)或行進路線(步驟S114)。
用戶終端710或712給服務器704發(fā)送由用戶輸入的任務類型、執(zhí)行該任務的農(nóng)業(yè)機械以及所述行進方法或行進路線(步驟S116)。此時,可進行指定以改變針對行進路線的每個部分的任務類型,或者在行進路線的特定部分處不執(zhí)行任務。此外,當輸入行進路線的數(shù)據(jù)時,可獲取包括在服務器704、數(shù)據(jù)庫706等或另一外部系統(tǒng)例如因特網(wǎng)中的地圖信息,以及獲取的地圖信息可用來輸入所述數(shù)據(jù)。例如,至少示出任務地點的、其中位置信息例如維度/經(jīng)度(和高度)與地圖中的每個點有關的地圖被顯示在用戶終端710或712的屏幕上,以及用戶通過沿著從任務開始位置到任務結束位置的路徑描記所述地圖以及順序地設定該路徑來指定所述行進路線。此外,可進行指定以改變針對所述路徑的一部分的任務類型,或者在所述路徑的特定部分處不執(zhí)行任務。
服務器704接收從用戶終端710或712發(fā)送的、用于識別任務類型、執(zhí)行任務的農(nóng)業(yè)機械和行進方法或行進路線的信息,識別這些項,附上識別信息例如名字到所述信息,以及存儲該信息在服務器704中的SSD(步驟S118)。此外,識別這些項的信息也存儲在數(shù)據(jù)庫708中,附上識別信息。
服務器704將在步驟S106,S112和S118中識別的信息項集成為任務數(shù)據(jù),并將該任務數(shù)據(jù)發(fā)送到用戶終端710,712以確定是否該數(shù)據(jù)是正確的(步驟S120)。此時,當識別的數(shù)據(jù)已經(jīng)從過去的數(shù)據(jù)進行了改變,存儲在SSD和數(shù)據(jù)庫708中的數(shù)據(jù)被覆蓋。
用戶終端710或712向服務器704發(fā)送關于接收的任務數(shù)據(jù)是否要被改變或不被改變的確認(步驟S122)。
服務器704基于從用戶終端710或712發(fā)送的確認信息來確定任務數(shù)據(jù)是否要被改變(步驟S124)。
在此,當服務器704確定要進行改變時,服務器704提示用戶終端710或712輸入要改變的數(shù)據(jù)(步驟S126)。
用戶終端710或712從用于識別農(nóng)場土地的數(shù)據(jù)、用于識別任務地點的數(shù)據(jù)和用于識別任務類型的數(shù)據(jù)、農(nóng)業(yè)機械和行進方法或行進路線選擇至少一個要改變的項,并將改變發(fā)送到服務器704(步驟S128)。因此,服務器704返回到步驟S120的處理,并且繼續(xù)后續(xù)處理。
另一方面,當服務器704在步驟S124的處理中確定任務數(shù)據(jù)不要被改變時,服務器704將任務數(shù)據(jù)發(fā)送到農(nóng)業(yè)機械100(步驟S130)。
農(nóng)業(yè)機械100確定所辨認的任務裝置106是否能夠執(zhí)行從服務器704發(fā)送的任務類型(步驟S132)。
例如,當連接到農(nóng)業(yè)機械100的任務裝置106是施肥裝置,但是從服務器發(fā)送的任務類型是播種,以及任務裝置106不能執(zhí)行該任務類型或沒有任何裝置被連接到農(nóng)業(yè)機械100時,在步驟S132中作出否定判斷,并且向服務器704發(fā)送錯誤信息,用于提示改變?nèi)蝿疹愋秃鸵B接的任務裝置中的至少一個,或者用于提示連接任務裝置(步驟S134)。
當從農(nóng)業(yè)機械100接收到錯誤信息時,服務器704向用戶終端710,712發(fā)送報告用于提示改變?nèi)蝿疹愋秃鸵B接的任務裝置中的至少一個,或者用于提示連接任務裝置(步驟S136)。
用戶終端710,712接收該報告,并改變?nèi)蝿疹愋突蚋淖円B接的任務裝置或連接任務裝置(步驟S138)。
當用戶通過用戶終端710或712給出改變?nèi)蝿疹愋偷闹噶顣r,被改變的任務類型被發(fā)送到服務器704,流程返回到步驟S130的處理,改變的任務類型的信息被包括在任務數(shù)據(jù)中,并且任務數(shù)據(jù)被再次發(fā)送到農(nóng)業(yè)機械100。
另一方面,在步驟S138的處理中,當用戶經(jīng)由用戶終端710或712選擇改變或連接任務裝置時,農(nóng)業(yè)機械100確定是否已經(jīng)進行改變或連接(步驟S140)。
在此,當沒有進行連接或改變時,流程在步驟S140的處理處停止。在此,當經(jīng)過預定時間時,農(nóng)業(yè)機械100可以經(jīng)由服務器704發(fā)送要求注意用戶裝置的報告。
另一方面,在步驟S140的處理中,當農(nóng)業(yè)機械100確定任務裝置已經(jīng)改變或連接時,流程返回到步驟S132的處理。通過上述的處理,農(nóng)業(yè)機械100可以執(zhí)行更適當?shù)娜蝿?,并且可以防止?zhí)行錯誤的任務類型的問題,例如在應該執(zhí)行噴水任務時執(zhí)行播種任務,這會根據(jù)任務的自動化而出現(xiàn)。
在步驟S132的處理中,當農(nóng)業(yè)機械100確定連接的任務裝置可以執(zhí)行接收到的任務類型時,農(nóng)業(yè)機械100向服務器704發(fā)送初始設定完成的報告(步驟S142)。
當服務器704接收到初始設定完成報告時,服務器704將初始設定的內(nèi)容(已經(jīng)最終設定的任務數(shù)據(jù))和初始設定完成年/月/日和時間寄存在SSD或數(shù)據(jù)庫708中。此外,服務器704向用戶終端710,712發(fā)送初始設定完成報告(步驟S144)。
用戶終端710,712接收初始設定完成報告(步驟S146),并且結束初始設定任務(步驟S148)。
注意到,當用戶使用包括設置有向服務器704輸入信息的功能的手動操作單元116的農(nóng)業(yè)機械100時,步驟S102,S110,S116,S122,S128和S130的處理可以從農(nóng)業(yè)機械100的手動操作單元116執(zhí)行。在這種情況下,服務器704還向農(nóng)業(yè)機械100發(fā)送查詢。
注意到,服務器704可以改變在步驟S104,S110和S116中發(fā)送查詢的順序,或者可以結合這些步驟中的任何步驟或者對所有這些步驟進行集體查詢。
此外,在步驟S122的處理中,當要進行改變時,可以將如在步驟S128中描述的要改變的項和相應項的改變的數(shù)據(jù)發(fā)送到服務器704。
此外,在步驟S142的處理中,農(nóng)業(yè)機械100可以向服務器704和用戶終端710,712發(fā)送初始設定完成報告。
<基本任務>
接下來,通過利用圖34至圖56,給出了從任務開始到任務結束的典型動作的描述。不僅在農(nóng)業(yè)中,而且在自動控制機械用于運動和執(zhí)行任務的任何情況下,需要將機器運動到任務開始位置,使機器執(zhí)行該任務,并且將機器運動到其中機械在完成任務之后被存儲的位置。圖34示出從任務開始到任務完成(運動到存儲位置)的操作的概要。在該圖中,步驟S162,S170和S180的處理是通過使用圖35A的描述分別限定的處理等。
任務開始(步驟S150)得以開始,隨著任務開始指令被用戶終端710,712發(fā)送到服務器704(步驟S152)。注意到,如在下面所述的,會存在這樣的情況,其中當指令從農(nóng)場土地中的農(nóng)場土地監(jiān)視裝置500,555和狀態(tài)監(jiān)視裝置550被接收時,農(nóng)業(yè)機械100開始任務。
當服務器704接收到任務開始指令時,服務器704將信息和接收時間(年/月/日/時間)存儲在數(shù)據(jù)庫708中,并且指令其中已經(jīng)進行了初始設定的農(nóng)業(yè)機械100開始所述任務(步驟S154)。
已經(jīng)接收所述任務開始指令的農(nóng)業(yè)機械100首先確認當前位置(緯度,經(jīng)度)步驟S156)??赏ㄟ^獲取記錄在數(shù)據(jù)庫708中的存儲位置信息,示出當農(nóng)業(yè)機械100已經(jīng)執(zhí)行整個系統(tǒng)1500中的過去的任務但是從那以后還沒有運動時的存儲位置,來進行所述確認。當數(shù)據(jù)庫708中不存在與過去的存儲位置有關的數(shù)據(jù)時,該位置通過為相對定位方法的差分GPS(DGPS)定位被確認。該方法使用由其位置是已知的參考站傳送的調(diào)頻廣播的無線電波,以通過GPS修正測量結果的誤差并增加精度。參考站通過GPS執(zhí)行測量,并且在實際位置和由GPS計算的位置之間的偏移通過地面電波被發(fā)送,以修正通過來自于衛(wèi)星的信號測量的結果。通過從四個衛(wèi)星接收GPS信號、通過無線電波傳播時間測量距離這些衛(wèi)星的距離(假定衛(wèi)星位置早已是已知的)以及獲得在距離這些衛(wèi)星的相等距離處的弧的交點的經(jīng)度和緯度,來執(zhí)行典型的GPS測量。也就是說,從衛(wèi)星發(fā)送的編碼被分析,以及衛(wèi)星和農(nóng)業(yè)機械100之間的距離是從當無線電波被傳送時到當GPS天線120接收無線電波的時間獲得的,以及農(nóng)業(yè)機械100的位置從與衛(wèi)星的位置關系被識別。通過以上方法,精度低且包括大約20米的誤差,因此以上的FM地面電波用來修正所述測量結果以使得該誤差減小到大約5米。注意到,使用GPS的定位不限于DGPS方法;利用因特網(wǎng)用于分配修正信息的實時動態(tài)GPS(RTKGPS)方法或因特網(wǎng)GPS方法可被采用,其中從參考站到衛(wèi)星的距離是通過利用載波的數(shù)目和相位進行測量的,并且該誤差減小為幾厘米的量級。此外,位置可通過使用其位置在農(nóng)場土地中早已是已知的多個農(nóng)場土地監(jiān)視裝置500,555和狀態(tài)監(jiān)視裝置550被識別的。該方法包括從農(nóng)場土地監(jiān)視裝置500,555和狀態(tài)監(jiān)視裝置550中的任一個傳送特定位置識別信號,以及通過農(nóng)業(yè)機械100的無線通信天線114接收該信號。相應的監(jiān)視裝置和農(nóng)業(yè)機械100之間的距離是從所述接收信號的強度(振幅)或衰減比獲得的。替代地,該距離可通過測量該信號的到達時間得以獲得。通過測量距離農(nóng)場土地監(jiān)視裝置500,555和狀態(tài)監(jiān)視裝置550中的三個或更多個的距離,裝置的弧的交點被獲得,所述位置被識別。
此外,農(nóng)業(yè)機械100的位置可從農(nóng)業(yè)機械100和多個標記等之間的位置關系被識別,該多個標記在由農(nóng)場土地監(jiān)視裝置500,555和狀態(tài)監(jiān)視裝置550捕捉的圖像中的位置是早已已知的。此外,到其位置是早已已知的三個或更多個目標的距離可通過立體照相機裝置110被測量,以及目標的相應弧的交點可被獲得,以及所述位置可被識別。該方法限于其中三個或更多個目標的位置在單個捕捉的圖像中是已知的情況。
此外,當前位置可通過結合由如上所述的以上GPS技術測量的距離、通過使用在農(nóng)場土地中的農(nóng)場土地監(jiān)視裝置500,555和狀態(tài)監(jiān)視裝置550等獲得的距離以及由立體照相機裝置110測量的距離,被識別。也就是說,如果距離其位置是已知的三個點的距離可被獲得,那么農(nóng)業(yè)機械100或服務器704可計算該當前位置。注意到,當不能夠獲取GPS信號時,例如在使用聚乙烯溫室的溫室耕作的情況下,當前位置是通過不同于使用GPS信號的方法被識別的。
注意到,要被確認的當前位置可通過不同于使用經(jīng)度和緯度的方法示出;當前位置可由在某一坐標系中的位置(X,Y)或由距離某一已知點的取向和距離被示出。此外,通過使用GPS信號或高度指示器測量的高度的信息還可被用作示出當前位置的信息。
接下來,農(nóng)業(yè)機械100確認前進或倒進的方向(步驟S158)。該取向通過設定在農(nóng)業(yè)機械100中的地磁傳感器被確認。當?shù)卮艂鞲衅鳑]有被使用時,農(nóng)業(yè)機械100稍微前進或倒進以通過與步驟S156的處理相同的方法獲取農(nóng)業(yè)機械100的位置信息,以及前進或倒進的取向可從與通過步驟S156的處理識別的位置的關系被識別。然而,在通過GPS等的測量中存在誤差,因此需要前進或倒進以使得所述誤差可被忽略。因此,當前進時,農(nóng)業(yè)機械100使用立體照相機裝置110確認在直到農(nóng)業(yè)機械100要前進到的位置的行進路徑上不存在障礙物,然后農(nóng)業(yè)機械100前進。當執(zhí)行前進和倒進的該運動任務時,當農(nóng)業(yè)機械100包括內(nèi)燃機時,控制裝置118點燃馬達102中的發(fā)動機,使活塞運動,使變速齒輪204換到第一檔,連接主離合器202,傳遞在發(fā)動機處生成的動能到后輪130,以及使農(nóng)業(yè)機械100前進。當活塞動作加速時,行進速度增加,以及發(fā)動機的旋轉頻率超過預定值,控制裝置118轉動主離合器202并且將變速齒輪204增加到第二檔和第三檔。當農(nóng)業(yè)機械100被電驅動時,控制裝置118在前進方向上旋轉在電機102-2內(nèi)的電機,以將動能傳遞到后輪130并使農(nóng)業(yè)機械100前進。注意到,當農(nóng)業(yè)機械100倒進時,當農(nóng)業(yè)機械100具有內(nèi)燃機時,在其中主離合器202斷開的狀態(tài)下,控制裝置118將變速齒輪204換到后面然后連接主離合器202。另一方面,在農(nóng)業(yè)機械100由電驅動的情況下,電機的旋轉方向被反轉,以使農(nóng)業(yè)機械100倒進。如上所述的,整個系統(tǒng)1500在運動之前測量所述取向并感知行進方向,因此農(nóng)業(yè)機械100被防止在錯誤的方向上運動。
當行進方向(取向)被確認時,農(nóng)業(yè)機械100計算從當前位置到開始所述任務的位置的路線(步驟S160)。此時,農(nóng)業(yè)機械100根據(jù)任務的類型計算所述路線。例如,當任務類型是收獲時,農(nóng)業(yè)機械100識別沒有進入任務地點的最短路線。當在當前位置和任務開始位置之間存在任務地點時,農(nóng)業(yè)機械100計算并識別圍繞任務地點走的路線。這是因為如果農(nóng)業(yè)機械100在收獲之前進入任務區(qū)域并且向前行進,那么要收獲的農(nóng)作物會被損壞。特別地,這是有效的處理,當耕作的農(nóng)作物是小的且不能從由立體照相機裝置110捕捉的圖像被辨認為農(nóng)作物時。另一方面,當任務類型是整地例如平整時,在計算與任務區(qū)域交叉的路線時沒有問題。這是因為所述任務區(qū)域將在稍后經(jīng)歷整地。如上所述的,根據(jù)任務類型的路線被計算,因此農(nóng)業(yè)機械100可有效地運動到任務開始位置。注意到,該最短路線的計算可通過服務器704而不是通過農(nóng)業(yè)機械100執(zhí)行。在該情況下,服務器704核查存儲在數(shù)據(jù)庫708中的農(nóng)場土地的其它任務數(shù)據(jù),確認其它區(qū)域的狀態(tài),并計算所述路線。例如,當農(nóng)作物正在另一區(qū)域中被耕作時,服務器704導出并識別農(nóng)業(yè)機械100通過其沒有進入該區(qū)域的最短路線,或者農(nóng)業(yè)機械100通過其進入該區(qū)域一最小量的最短路線。通過這樣做,可以防止正在另一區(qū)域中被耕作的農(nóng)作物受到影響,或者該影響可最小化。隨后,服務器704將導出的該路線傳送到農(nóng)業(yè)機械100。
當所述路線被計算時,農(nóng)業(yè)機械100沿著識別的路線運動到任務開始位置(步驟S162)。該運動處理通過利用圖35A到37的描述被詳細地限定。
當農(nóng)業(yè)機械100抵達所述任務開始位置時,農(nóng)業(yè)機械100發(fā)送抵達任務開始位置的報告到服務器704(步驟S164)。
當服務器704接收到該信號時,服務器704記錄任務開始年/月/日/時間在數(shù)據(jù)庫708中(步驟S166)。因此,服務器704能夠自動地記錄任務日志,并且該任務日志能夠被用于收費處理。此外,服務器704報告任務開始給用戶終端710,712。
注意到,農(nóng)業(yè)機械100不僅可發(fā)送抵達任務開始位置的報告到服務器704,而且到用戶終端710,712。
當用戶終端710,712接收到任務開始和開始時間的報告,用戶能夠辨認何時所述任務已經(jīng)開始(步驟S168)。
然后,農(nóng)業(yè)機械100在發(fā)送該信號之后緊接著開始所述任務(步驟S170)。任務的操作通過利用圖35A,36等被詳細地限定。
當任務結束時,農(nóng)業(yè)機械100發(fā)送指示任務已經(jīng)結束的報告到服務器704(步驟S172)。
當服務器704接收到該信號時,服務器704記錄任務結束的年/月/日/時間在數(shù)據(jù)庫708中(步驟S174)。因此,任務日志可被自動地存儲,該日志能夠被用于收費處理。此外,服務器704發(fā)送任務結束的報告到用戶終端710,712。
注意到,農(nóng)業(yè)機械100可不僅發(fā)送任務結束的報告到服務器704,而且到用戶終端710,712。
當用戶終端710,712接收到任務結束和結束時間的報告時,用戶能夠辨認何時任務已經(jīng)結束(步驟S176)。
當任務結束時,農(nóng)業(yè)機械100計算到農(nóng)業(yè)機械100它自己的存儲位置的路線(步驟S178)。農(nóng)業(yè)機械100導出一路線,該路線沒有橫穿其中任務已經(jīng)被盡可能多得執(zhí)行的區(qū)域并且對存儲位置是最短的。該路線計算可在服務器704中進行。該路線計算的細節(jié)基本上與為步驟S160的處理所描述的路線計算相同;然而,在該情況下,計算被執(zhí)行以獲得一路線,該路線沒有進入其中任務例如整地已經(jīng)完成的區(qū)域。
當路線計算結束時,農(nóng)業(yè)機械100沿著到存儲位置的該路線運動(步驟S180)。該運動處理通過利用圖35A到37的描述被詳細地限定。
當?shù)酱鎯ξ恢玫倪\動結束時,任務完成(步驟S182)。注意到,結束到所述存儲位置的時間和該存儲位置通過下面描述的步驟S228,229的處理被存儲在數(shù)據(jù)庫708中。因此,當任務是在未來通過使用該農(nóng)業(yè)機械100執(zhí)行時,在任務開始時間的位置可被快速地辨認。
當在沒有手動操作的情況下通過自動控制使農(nóng)業(yè)機械100運動時,農(nóng)業(yè)機械100可容易地運動,如果運動路線不是在妨礙運動的狀態(tài)下;然而,在實際的農(nóng)場土地中,存在妨礙運動的各種因素。因此,要考慮的問題是要提供當通過自動控制運動時對這樣的妨礙因素做出反應的功能。通過利用圖35和36,給出了步驟S162,S170和S180的運動處理的詳細操作和處理的描述。
當步驟S162,S170和S180的運動處理開始時(步驟S200),首先,立體照相機裝置110用來捕捉在行進方向上的區(qū)域的圖像,并且確認該行進方向(步驟S202)。在本實施例中,該確認是在農(nóng)業(yè)機械100中執(zhí)行的。該處理是通過利用圖35B被描述的。圖35B示出在步驟S202的處理中由立體照相機裝置110捕捉的圖像之中的參考圖像。測距是在由立體照相機裝置110捕捉的范圍內(nèi)被執(zhí)行的。然后,確定是否農(nóng)業(yè)機械100的路線(由該圖中的灰色示出的部分)至少一直到其中農(nóng)業(yè)機械100要轉彎的點或可測量的點(這些由該圖中的J示出),包括以下部分。也就是說,通過掃描(確認)像素的視差值信息或從底部到頂部的距離信息,確定是否存在其中所述距離(或視差值;同樣的應用在下文中)并沒有連續(xù)地變化超過一定范圍的部分(其中所述距離沒有變化超過相鄰像素之間的一定距離的部分,該部分示出在地面和物體之間的邊界,例如,在該圖中的h1),和/或通過隨后朝向所述頂部掃描這些像素,確定是否存在其中所述距離在路線內(nèi)側和外側突然大大地變化和所述距離隨后連續(xù)地在一定范圍內(nèi)變化的部分(其中所述距離變化超過相鄰像素之間的一定距離的部分,該部分示出物體和背景之間的邊界,例如在該圖中的h2)。在此,確定是否所述距離連續(xù)在一定范圍內(nèi)變化,例如,以防止農(nóng)場土地中的不規(guī)則部例如田壟被感知為障礙物。因此,該一定范圍被設定為高于或等于與典型的田壟的高度對應的值。注意到,還確定當不可能感知其中所述距離突然大大地變化且所述距離隨后在一定測距內(nèi)連續(xù)地變化的部分(h2)時存在一障礙物(例如,其中障礙物的高度是高的且障礙物沒有位于捕捉在圖像中的情況下,其中障礙物的頂端超過可由立體照相機裝置110測距的區(qū)域的情況,或者其中示出物體的頂端的在像素h2上方的像素不是示出在地面上的位置的像素的情況等)??紤]到其中在農(nóng)場土地中在農(nóng)業(yè)機械100的路線上什么都不存在的土地,在該土地中由立體照相機裝置110測量的距離連續(xù)地變?yōu)殚L的,隨著所述位置變得進一步遠離農(nóng)業(yè)機械100(更靠近如在該圖中看到的頂部位置)(即使該土地稍微傾斜,該距離也連續(xù)地增加)。另一方面,當存在一物體(在該圖中的O)大于或等于可由該土地上的立體照相機裝置110測量的尺寸時,即使當測距位置變化到其中物體被捕捉在所捕捉的圖像中的區(qū)域中的上側(例如,從該圖中的h1的位置到h2的位置)時,與連續(xù)變化直到所述物體相比,該距離的變化可變得較小或可不會變化很多,或者該距離可變得較短(第一物體是包括當至少在農(nóng)業(yè)機械100的行進方向上傾斜時變?yōu)楦叩膮^(qū)域的物體,第二物體是包括基本上垂直于農(nóng)業(yè)機械100的行進方向的區(qū)域的物體,以及最后的物體是包括朝向農(nóng)業(yè)機械100傾斜的區(qū)域的物體)。這些變化連續(xù)到其中所述距離突然變化并且隨后所述距離連續(xù)變化的點(h2)。此外,例如,還在水平方向上,相鄰像素之間的測量距離在左側的邊界位置w1和在右側的邊界位置w2處變化很大。注意到,當物體O太大無法位于捕捉的圖像中時,存在其中h2,w1和w2不會被獲得的情況,還在這些情況下,確定存在一障礙物。如上所述的,在農(nóng)業(yè)機械100的路線上直到該路線中的轉彎位置或直到可被測量的距離,當至少測量的距離不連續(xù)地變化超過一定范圍(當存在h1時),確定存在障礙物,以及當所述距離僅在一定范圍內(nèi)連續(xù)地變化,確定沒有障礙物。注意到,在此,障礙物被當作妨礙所述運動的因素的示例;然而,該因素不限于此,以及其中在行進方向上的傾斜太陡的情況或者其中所述路線凹進去和在所述路線中存在孔的情況也是妨礙因素。這些情況也根據(jù)測量的距離的變化率進行確定,類似于障礙物的情況。
注意到,參考圖像和視差值信息或距離信息可發(fā)送給服務器704,服務器704會確認該行進方向。此外,服務器704或農(nóng)業(yè)機械100可通過執(zhí)行下面的辨認處理確定是否存在障礙物(步驟S208);然而,將要求用于辨認任務的處理時間。此外,對于不能由立體照相機裝置110捕捉的盲拐角,超聲波聲納裝置126可用來確認是否存在障礙物。當超聲波聲納裝置126確認存在障礙物時,農(nóng)業(yè)機械100暫時地倒進并且轉彎到其中沒有檢測到障礙物的方向,操作繼續(xù)。
作為步驟S202的確認處理的結果,確定在路線中是否存在大到足以被感知的障礙物(步驟S204)。在此,感知意味著可以在后續(xù)階段的處理(步驟S208)中執(zhí)行辨認處理。將參照圖35B描述該處理。如上所述的,在捕捉圖像中的垂直方向上,高度方向在障礙物O處的h1和h2之間最大。此外,寬度方向在物體O處的w1和w2之間最大。獲得上述點,獲得在這些像素之間存在的像素數(shù)量(在h1和h2之間以及在w1和w2之間),并且當該像素數(shù)量高于或等于預定值或超過預定值時,確定障礙物足夠大以執(zhí)行辨認處理,并且流程進行到步驟S206的處理。此時,可以僅通過高度方向或水平方向進行確定。也就是說,當在h1和h2(或w1和w2)之間存在高于或等于預定數(shù)量或超過預定數(shù)量的像素數(shù)量時,確定障礙物足夠大以執(zhí)行圖像辨認處理,并且流程進行到步驟S206的處理。此外,當還不能獲得h2,w1和w2中的至少一個時(也就是說,當估計障礙物O對于測量h2,w1和w2而言太大時),確定圖像辨認處理是可能的,并且流程進行到步驟S206的處理。另一方面,當h1和h2之間以及w1和w2之間的至少一個的像素數(shù)量高于或等于預定值或者超過預定值時,確定障礙物沒有大到足以執(zhí)行辨識處理,并且流程進行到步驟S224的處理。還在不是障礙物的運動妨礙因素的情況下,例如陡峭的傾斜或在路線中部分地凹陷,以與障礙物的情況相同的方式確定尺寸。隨后,使農(nóng)業(yè)機械100前進,在經(jīng)過預定時間之后,也就是說農(nóng)業(yè)機械100接近障礙物的情況下(S224,S226,S228,S230,S232,S202的處理之后)再次進行確定。此外,在步驟S202的處理中,還當確定在行進方向上沒有障礙物時,步驟S204的確定為否,并且流程進行到步驟S224的處理。注意到,參考圖像和視差值信息或距離信息可以被發(fā)送到服務器704,并且服務器704可以進行步驟S204的確定。在這種情況下,省略步驟S206,并且要執(zhí)行步驟S208的處理。此外,農(nóng)業(yè)機械100可以執(zhí)行下述的辨認處理(步驟S208)來辨認障礙物。
當在步驟S202的處理中確定存在大到足以要辨認的障礙物時,當農(nóng)業(yè)機械100前進時,控制裝置118操作制動裝置208,214以暫時停止農(nóng)業(yè)機械。然后,農(nóng)機100將由立體照相機裝置110捕捉的圖像(參考圖像)發(fā)送到服務器704(步驟S206)。注意到,當農(nóng)業(yè)機械100處于停止狀態(tài)時,控制裝置118不執(zhí)行制動操作。
當服務器704接收到圖像時,服務器704執(zhí)行圖像識別處理(步驟S208)。服務器704通過以下過程執(zhí)行辨認處理。首先,服務器704對接收到的圖像執(zhí)行修正處理,接下來,服務器704執(zhí)行特征量提取處理,然后,服務器704通過將圖像與標準圖案進行比較來執(zhí)行識別處理,以執(zhí)行圖像辨認。修正處理是減少包括在接收到的圖像中的失真和噪聲的處理。修正包括去除噪聲,平滑,銳化,二維濾波處理,用于促進特征量提取的二值化,此外,用于提取要作為辨識目標的圖的輪廓線的稀疏處理。此外,服務器704執(zhí)行用于在隨后的處理中精確地執(zhí)行圖案匹配的正?;幚?放大,縮小,旋轉和移動圖像,以及轉換圖像的密度)。特征量提取處理是獲得為真實指示圖像的特征的參數(shù)的特征參數(shù)并獲得為形狀的特征圖案的處理。服務器704執(zhí)行提取圖像的不連續(xù)部分作為邊緣的邊緣提取。也就是說,服務器704提取密度的改變點,并將圖像劃分為幾個連續(xù)區(qū)域。該邊緣提取通過連接由提取跟蹤方法斷開的點序列并執(zhí)行二次差分處理來完成。注意到,服務器704可以通過區(qū)域劃分和紋理提取來執(zhí)行區(qū)域提取,而不是邊緣提取或者與邊緣提取一起。接下來,服務器704通過將標準圖案與特征圖案進行比較來執(zhí)行識別處理,并且當特征圖案與某一標準圖案類似時,將相應的圖像確定為與標準圖案的類別相同的類別。在本實施例中,服務器704通過使用存儲在數(shù)據(jù)庫706中的標準圖案來執(zhí)行圖案匹配,并且檢測是否存在相同或相似的圖案。注意到,當通過使用特征參數(shù)而不是特征圖案來執(zhí)行識別處理時,可以通過使用統(tǒng)計識別方法來執(zhí)行識別。此外,當通過提取邊緣和特征點對圖像進行結構分析時,可以使用結構識別方法來執(zhí)行識別。當可以如上所述地執(zhí)行識別時,確定辨認的圖像,并且當不能執(zhí)行識別時,確定圖像不能被辨認(步驟S210)。
當圖像不能被辨認時,圖像被發(fā)送到用戶終端710,712,并且用戶終端710,712提示用戶(系統(tǒng)用戶)輸入障礙物的類型和動作(步驟S212)。
用戶使用用戶終端710,712向服務器704發(fā)送障礙物的類型(例如,自然物體(巖石,樹木,動物如袋鼠或牛),人造物體(柵欄,門))和動作(避免,忽略)(步驟S214)。
服務器704將這些信息項與圖像和特征圖案相關聯(lián),并將這些信息項作為新的標準圖案寄存在數(shù)據(jù)庫706中(步驟S216)。因此,將來,當辨認與當前障礙物類似的圖像時,可以執(zhí)行辨認。此外,服務器704將從用戶獲取的信息記錄在數(shù)據(jù)庫708中。因此,費用可以在計費時自動折扣。
注意到,當在一定時間內(nèi)不能從用戶終端710,712獲得步驟S214的信息時,服務器704向用戶終端710,712發(fā)送提醒,并提示用戶輸入信息。此外,當經(jīng)過在一定時間沒有接收到響應時,服務器704將障礙物的類型設定為“未知障礙物”,并且在考慮安全性時將“避免”寄存為動作,并將該信息寄存在數(shù)據(jù)庫706中。當稍后從用戶終端710,712發(fā)送障礙物和動作的類型時,服務器704用來自用戶終端的信息覆蓋數(shù)據(jù)庫706中的寄存信息。
當在步驟S210中辨認出圖像時,農(nóng)業(yè)機械100能夠執(zhí)行與辨認結果一致的動作。此外,農(nóng)業(yè)機械100還能夠基于來自用戶的信息執(zhí)行動作。然后,服務器704確定動作是否被避免(步驟S218),并且當確定動作要被避免時,服務器704識別轉彎的位置,方向和轉彎角度(取向)(步驟S220)。第一轉彎位置在障礙物之前,但是能夠轉彎的距離根據(jù)連接到農(nóng)業(yè)機械100的操作裝置106的類型是不同的。當難以以小半徑轉彎的操作裝置106被連接時,則轉彎要在障礙物之前相當大的位置處開始。另一方面,當能夠容易地以小半徑轉彎或能夠以小半徑轉彎的操作裝置106被連接時,農(nóng)業(yè)機械100可前進到靠近障礙物的位置。此外,轉彎方向基本上是農(nóng)業(yè)機械100可以通過最短路線抵達目標位置的方向;然而,當在步驟S206的處理中發(fā)送的圖像中通過辨認處理可以感知到障礙物的邊緣時,農(nóng)業(yè)機械100在到障礙物的邊緣的距離較短的方向上轉彎,以使得迂回路徑可以是短的。當不能從在步驟S206的處理中發(fā)送的圖像中確定障礙物的邊緣時,農(nóng)業(yè)機械100的立體照相機裝置110在行進方向上以預定角度左右旋轉以捕捉圖像,并且捕獲的圖像可以被發(fā)送到服務器704以辨認到邊緣部分的距離。轉彎角度或轉彎后的取向被設定為以使得路線的距離最小。根據(jù)障礙物(會移動的動物等)的類型,轉彎位置、方向和角度被設定為以大半徑轉彎。
此外,對于第二轉彎時間和之后,通過估計(能夠識別尺寸的障礙物的)類型或辨認的障礙物的尺寸來識別轉彎位置,方向和角度。
將所有臨時識別的轉彎位置,到目的地的方向和角度從服務器704發(fā)送到農(nóng)業(yè)機械100,并且已經(jīng)接收到該信息的農(nóng)業(yè)機械100使用該信息將路線信息更新為新的路線信息(步驟S222)。
另一方面,當服務器704確定農(nóng)業(yè)機械100的動作為不是“避免”的動作即忽略障礙物的動作時,流程轉到步驟S223的處理。例如,當障礙物是不妨礙農(nóng)業(yè)機械100的行進的野草并且在障礙物上行駛沒有問題時,障礙物被忽略,農(nóng)業(yè)機械100向前行駛。
注意到,上面示出由服務器704執(zhí)行步驟S208至S220的處理的示例;然而,這些處理可以由農(nóng)業(yè)機械100執(zhí)行。在這種情況下,被描述為由服務器704執(zhí)行的部分要被讀取為由農(nóng)業(yè)機械100執(zhí)行。
在步驟S223中,農(nóng)業(yè)機械100確認剩余燃料。當農(nóng)業(yè)機械100由電動機驅動時,確認剩余的電池電量。在此,下面通過使用圖49來描述當燃料或電池剩余電量低時由整個系統(tǒng)1500的處理。此外,在該處理中,計時通過控制裝置118內(nèi)的計時鐘開始。
在該確認結束之后,農(nóng)業(yè)機械100沿著所述路線行進(步驟S162,S180的情況)或行進并執(zhí)行任務(步驟S170的情況)(步驟S224)。注意到,該行進包括前進和倒進。此外,利用圖37,40,47和49描述步驟S224的處理。
當步驟S224的處理結束時,農(nóng)業(yè)機械100確定從步驟S223的處理起是否已經(jīng)經(jīng)過了預定期間(例如3秒)(步驟S226)。這通過使用控制裝置118內(nèi)的計時鐘來完成。
然后,當還沒有經(jīng)過預定時間時,流程返回到步驟S223。另一方面,當經(jīng)過預定時間時,確認當前位置,并且將當前位置信息發(fā)送到服務器704(步驟S228)。當前位置的確認如關于步驟S156的處理所描述的。注意到,在步驟S226中,確定是否經(jīng)過了預定時間;然而,代替地,可以確定農(nóng)業(yè)機械100是否已經(jīng)運動了預定距離。
服務器704將當前位置信息與當前年/月/日/時間一起存儲在數(shù)據(jù)庫708中(步驟S229)。因此,可以以預定的時間間隔以基本上實時的方式感知農(nóng)業(yè)機械100的位置。
接下來,農(nóng)業(yè)機械100確定是否農(nóng)業(yè)機械100已經(jīng)到達目標位置(步驟S162:任務開始位置,步驟S170:任務結束位置,步驟S180:存儲位置)(步驟S230)。根據(jù)在步驟S228中獲得的當前位置是否與目標位置匹配來進行該確定。關于這些位置是否匹配的確定,可以根據(jù)識別所述位置的精度來提供范圍。也就是說,只要當前位置的經(jīng)度和緯度在一定范圍內(nèi),農(nóng)業(yè)機械100就可以確定這些位置匹配。
在此,當目標位置和當前位置匹配時,農(nóng)業(yè)機械100結束該運動處理(步驟S236)。
另一方面,當這些位置不匹配時,農(nóng)業(yè)機械100確定當前位置是否是轉彎位置(步驟S232)。還在該步驟中,這些位置可以不必精確匹配,但是在確定中可以提供一定量的范圍。當農(nóng)業(yè)機械100確定為當前位置不是轉彎位置時,流程返回到步驟S202的處理。另一方面,當農(nóng)業(yè)機械100確定當前位置是轉彎位置時,農(nóng)業(yè)機械100基于路線信息而轉彎(步驟S234)。當農(nóng)業(yè)機械100的控制裝置118操作主離合器202和變速齒輪204以使齒輪換到一檔時,以及當控制裝置118操作制動裝置208,214施加制動以使農(nóng)業(yè)機械100暫時停止和減速時,執(zhí)行轉彎運動。隨后,控制裝置118操作操控裝置122,以使農(nóng)業(yè)機械100在操控該農(nóng)業(yè)機械100的同時通過前進或倒進轉彎。注意到,當農(nóng)業(yè)機械100正以低速行進或農(nóng)業(yè)機械100可以以當前速度轉彎時,則農(nóng)業(yè)機械100可以在不減速或停止的情況下執(zhí)行轉彎運動。隨后,流程返回到步驟S202的處理。
圖37A示出步驟S162和S180的情況,也就是說,在農(nóng)業(yè)機械100到達預定位置而不執(zhí)行任務的情況下的步驟S224的操作。當農(nóng)業(yè)機械100移動到任務開始位置或存儲位置時,也就是說,在不執(zhí)行任務而僅進行簡單的移動的情況下,農(nóng)業(yè)機械100行進(步驟S252)。在這種情況下,當在前一階段的處理中識別的農(nóng)業(yè)機械100的位置從路線偏移時,農(nóng)業(yè)機械100在操作操控裝置122以返回到原始路線的同時行進。此外,農(nóng)業(yè)機械100能夠沿著準確的路線行進,同時調(diào)節(jié)不能由諸如GPS或位置確認系統(tǒng)的位置感知系統(tǒng)能確認的微小誤差,例如通過使用由立體照相機裝置110捕捉的圖像來修正當農(nóng)業(yè)機械100正沿著從田壟偏移的路線行進時的軌跡。此外,還在已經(jīng)在上面描述的或者要在下面描述的“行進”操作中,類似地,要使農(nóng)業(yè)機械100的軌跡返回到所述路線或者調(diào)節(jié)微小位置偏移的處理被執(zhí)行。注意到,行進不僅可以是前進,而且可以是倒進。此外,農(nóng)業(yè)機械100可以在接近任務開始位置、存儲位置或轉彎位置時減速。在這種情況下,控制裝置118操作主離合器202,變速齒輪204和制動裝置208,214,并且農(nóng)業(yè)機械100執(zhí)行減速操作。
圖37B是示出在農(nóng)業(yè)機械100在步驟S170中行進而不是執(zhí)行用于單獨的農(nóng)作物的任務時連續(xù)地(或間歇地)執(zhí)行任務的情況下的通過農(nóng)業(yè)機械100的步驟S224的處理操作的流程圖。這些任務包括播種,整地,耕種,通常的水噴灑和施肥。在這種情況下,當任務流程開始時(步驟S260),農(nóng)業(yè)機械100在行進中執(zhí)行預定任務(步驟S262)。該任務是圖32或圖33中設定的任務。該任務是在設定的任務地點(區(qū)域)中連續(xù)或均勻地執(zhí)行的任務,而不管農(nóng)作物的個體的狀態(tài),土壤,任務位置等。任務可間歇地執(zhí)行。任務通常由農(nóng)業(yè)機械100的任務裝置106執(zhí)行。接下來,農(nóng)業(yè)機械100確認任務源(步驟S264)。任務源例如是當任務的類型是施肥時的剩余肥料量,在噴灑水的情況下的水的剩余量,以及在播種的情況下的種子的剩余量。當該資源的量變得小于或等于預定量或小于預定量時,操作轉到下面所述的圖49中示出的操作。然后,行進和任務的第一循環(huán)結束(步驟S266),并且流程進行到下一時間和之后的行進和任務的處理。
<平整任務>
作為圖37中示出的處理的示例。通過利用圖38到42,給出了使用激光雷達裝置112的農(nóng)場土地中的平整任務的描述(注意到,在該示例中,確認步驟S264的任務源的處理是不必要的因此被省略)。除了以上所述的包括參照圖1描述的農(nóng)場土地中的系統(tǒng)1501和參照圖2所述的信息通信系統(tǒng)1502的整個系統(tǒng)1500之外,平整任務還需要農(nóng)場土地中的諸如激光接收裝置(在圖39的示例中為610)或激光發(fā)射裝置(在圖42的示例中為618)的特定裝置;然而,自動驅動和自動任務的基本操作與上述操作相同。該激光雷達裝置112能夠在水平視角60°的范圍內(nèi)發(fā)射激光束,因此與通過使用常規(guī)激光器(使用激光水平儀(leveler)的情況)執(zhí)行整地的情況相比,平整任務可以有效地執(zhí)行而不需要耗費時間努力。此外,通過旋轉激光雷達裝置112,可以進一步減少改變激光接收裝置的設定位置的次數(shù)。
圖38示出設置有用于執(zhí)行整地(平整)的任務裝置106C的農(nóng)業(yè)機械100C。農(nóng)業(yè)機械100C的構造基本上與農(nóng)業(yè)機械100A相同,然而,與農(nóng)業(yè)機械100A的不同點在于,激光雷達裝置112(和多光譜照相機裝置113)設置在農(nóng)業(yè)機械100C的頂壁部分上。在平整任務中,激光雷達裝置112的擺動電機54控制軸的旋轉,使得基于來自控制器64的基于水平信號的指令水平地發(fā)射激光束。
任務裝置106C包括用于執(zhí)行裝載和放置土壤的任務的平整板600,用于防止放置在平整板600頂部的土壤向側面溢出的側板602,用于在表面層上執(zhí)行土壤壓碎和土壤松動并防止土壤變得過硬的彈簧齒604,用于執(zhí)行土壤破碎和土壤壓實的螺旋輥606,以及根據(jù)來自于農(nóng)業(yè)機械100C的控制裝置118的指令使平整板600等上下運動的電動缸。注意到,任務裝置106C也可以包括控制處理器,該控制處理器與農(nóng)機100的控制裝置118交換信號并通過操作電動缸來控制平整板600等的上下運動。此外,用于使平整板600等上下運動的氣缸可以是水壓缸,氣壓缸和壓油缸中的任一個。
圖39示出如何通過使用農(nóng)業(yè)機械100C執(zhí)行平整任務的示例。除了農(nóng)業(yè)機械100C之外,通過使用包括激光接收器612、無線通信天線614和控制處理器的激光接收裝置610來執(zhí)行平整。該激光接收裝置610被設定在田壟中。此時,激光接收裝置610被設定為以使得激光接收器612的光接收表面平行于豎直方向。在該狀態(tài)下,激光接收器612具有其中多個光接收元件被設定在豎直方向和水平方向上的構造,以及包括接收所述激光束的高度的位置可根據(jù)哪個光接收元件已經(jīng)接收所述激光束進行確定。在該圖中,附圖標記620表示已經(jīng)平整的區(qū)域,以及附圖標記630表示在平整之前的區(qū)域。此外,附圖標記640示出由激光雷達裝置112發(fā)射的激光束。該激光束進入激光接收器612的光接收元件之一中。此外,該圖中的虛線示出無線通信如何通過激光接收裝置610的無線通信天線614與農(nóng)業(yè)機械100C的無線通信天線114正在被執(zhí)行。農(nóng)業(yè)機械100C通過接收到的光的高度的信息確定是否農(nóng)業(yè)機械100C處于高于參考位置的位置或者低于參考位置的位置或者處于該參考位置處。
如上所述的系統(tǒng)1501的操作的概述被給出如下。也就是說,農(nóng)業(yè)機械100C使用激光雷達裝置112朝向激光接收裝置610發(fā)射激光束同時一維地掃描所述激光束。在激光接收裝置610處接收到的光的位置(高度)的信息是通過激光接收裝置610的控制處理器獲取的,以及所述位置信息通過使用無線通信天線614以無線方式被發(fā)給農(nóng)業(yè)機械100C?;诮邮盏降男畔ⅲr(nóng)業(yè)機械100C在當使任務裝置106C的平整板600等上下地運動的同時行進并平整所述農(nóng)場土地。
注意到,在本實施例中,激光雷達裝置112被設定在農(nóng)業(yè)機械100C的頂壁上;然而,激光雷達裝置112可設定在任務裝置106C上。通過將激光雷達裝置112設定在任務裝置106C上,使平整板600等上下地運動的用于執(zhí)行平整任務的操作通過使用在激光接收器612處接收激光束的位置的信息可被弄成具有較小的時滯,因此可更精確地進行平整。在該情況下,激光雷達裝置112需要被設定在高位置以使得來自于激光雷達裝置112沒有被農(nóng)業(yè)機械100C的柱或頂壁阻擋,激光束被控制以在任務期間保持水平。
圖40示出當執(zhí)行平整任務時步驟S262的處理的細節(jié)。在該任務之前,作為初始設定,激光接收裝置610被設定在田壟中以使得激光接收器612的標準水平的高度在平整板600的參考位置的高度處(在平整之后農(nóng)場土地的平均高度)。
當所述任務開始時(步驟S300),農(nóng)業(yè)機械100C設定平整板600等在參考位置的高度處,并且從平整板600發(fā)射激光束(步驟S302)。該激光束進入激光接收裝置610的激光接收器612的光接收元件的任一個中。光接收信號被輸入到激光接收裝置610的控制處理器,并且控制處理器確認其中已經(jīng)接收激光束的光接收元件所設定在的位置,并且使用無線通信天線614發(fā)送光接收位置信息到農(nóng)業(yè)機械100C。
農(nóng)業(yè)機械100C從接收到的信息確定是否在比激光接收器612的標準位置高的位置處接收(步驟S304)激光束。在比標準位置高的位置處接收激光束意味著土地在其中出現(xiàn)農(nóng)業(yè)機械100C的地點處被升高。在該情況下,任務裝置106C的平整板600等必需降低以平整所述升高的土地。因此當農(nóng)業(yè)機械100C在步驟S304的處理中確定在比標準位置高的位置處接收所述激光束時,在平整板600等來到其中已經(jīng)發(fā)射激光束的位置之前,農(nóng)業(yè)機械100C根據(jù)接收到的信息發(fā)送指令到任務裝置106C,并且降低平整板600等(步驟S308)。注意到,根據(jù)要求的平整精度,步驟S304的前進可被省略。當激光接收器612的光接收位置顯著高于所述標準位置時,農(nóng)業(yè)機械100C顯著地降低平整板600等,并且當激光接收器612的光接收位置稍微高于所述標準位置時,農(nóng)業(yè)機械100C稍微地降低所述平整板600等。這些操作基于由農(nóng)業(yè)機械100C從激光接收裝置610接收到的信息。也就是說,農(nóng)業(yè)機械100C能夠根據(jù)激光束的光接收位置調(diào)節(jié)升高的量或降低平整板600等。隨后,通過使農(nóng)業(yè)機械100C前進(步驟S316),任務區(qū)域被平整。
另一方面,當農(nóng)業(yè)機械100C在步驟S304的處理中確定沒有在比激光接收器612的標準位置高的位置處接收激光束時,此時,農(nóng)業(yè)機械100C基于接收到的信息(步驟S310)確定是否在比激光接收器612的標準位置低的位置處接收激光束。在比所述標準位置低的位置處接收激光束意味著農(nóng)業(yè)機械100C在發(fā)射激光時處于比要平整的土地所在的位置低的位置處。在該情況下,農(nóng)業(yè)機械100C使得任務裝置106C執(zhí)行升高平整板600等的操作以調(diào)節(jié)要由平整板600等平整的量。因此,當農(nóng)業(yè)機械100C在步驟S310的處理中確定在比標準位置低的位置處接收所述激光束時,農(nóng)業(yè)機械100C稍微前進(步驟S312),并且在平整板600等來到其中已經(jīng)發(fā)射激光束的位置之前,農(nóng)業(yè)機械100C根據(jù)接收到的信息發(fā)送指令到任務裝置106C,并且升高平整板600等(步驟S314)。注意到,取決于要求的平整精度,步驟S312的前進可被省略。當激光接收器612的光接收位置顯著顯著低于標準位置時,農(nóng)業(yè)機械100C顯著地升高平整板600等,并且當激光接收器612的光接收位置稍微高于標準位置時,農(nóng)業(yè)機械100C稍微升高所述平整板600等。這些操作基于由農(nóng)業(yè)機械100C從激光接收裝置610接收到的信息。也就是說,農(nóng)業(yè)機械100C能夠根據(jù)激光束的光接收位置來調(diào)節(jié)升高的量或降低所述平整板600等。隨后,通過使農(nóng)業(yè)機械100C前進(步驟S316),任務區(qū)域被平整。
另一方面,當農(nóng)業(yè)機械100C在步驟S310的確定中沒有確定在比標準位置低的位置處接收所述激光束時,農(nóng)業(yè)機械100C在發(fā)射激光束的時間點處于標準位置的高度,因此農(nóng)業(yè)機械100C行進而沒有變化平整板600等的高度(步驟S316)。
接下來,農(nóng)業(yè)機械100C確定是否激光雷達裝置112需要旋轉(步驟S318)。該過程被描述在圖41中。
圖41是農(nóng)業(yè)機械100C和激光接收裝置610的鳥瞰視圖的示意圖。在該圖中的箭頭示出了農(nóng)業(yè)機械100C的行進方向。注意到,為了簡化描述,連接到農(nóng)業(yè)機械100C的任務裝置106C被省略。圖41A示出其中激光接收裝置610沿著農(nóng)業(yè)機械100C的行進方向定位的情況。在該情況下,激光束在行進方向上要由激光雷達裝置112發(fā)射,因此,激光接收器612接收在其中所述任務正在被執(zhí)行的農(nóng)場土地中的激光束。另一方面,如在圖41B中示出的,當從農(nóng)業(yè)機械100C的行進方向沿著行進方向發(fā)射激光束時,但是激光接收裝置610處于激光束不能被接收的偏移位置,農(nóng)業(yè)機械100C旋轉激光雷達裝置112以使得在激光接收器612處可接收激光束。此外,如在圖41C中示出的,當農(nóng)業(yè)機械100C的行進方向變?yōu)榕c激光接收裝置610相反的方向時,農(nóng)業(yè)機械100C進一步旋轉激光雷達裝置112(例如,相對于圖41A中的位置旋轉180度),并發(fā)射激光束。農(nóng)業(yè)機械100C確定是否激光雷達裝置112需要根據(jù)激光接收器612的激光束接收位置旋轉。例如,當該光束不能在面向其中任務正在執(zhí)行的農(nóng)場土地的表面上被接收時,但是該光束僅能夠在側表面上被接收時,激光接收器612旋轉等。替代地,當該光束在特定位置被接收時,該信息可被獲得并且激光雷達裝置112可旋轉。注意到,激光雷達裝置112的水平位置或激光束相對于水平平面的發(fā)射角沒有通過旋轉激光雷達裝置112改變。
然后,在步驟S318的處理中,當農(nóng)業(yè)機械100C確定激光雷達裝置112需要旋轉時,農(nóng)業(yè)機械100C旋轉所述激光雷達裝置112(步驟S320)。激光雷達裝置112此時旋轉預先設定的旋轉角;然而,該旋轉角不限于此,并且旋轉角可根據(jù)光接收位置改變。注意到,甚至當農(nóng)業(yè)機械100C轉彎時,激光束被恒定地或周期性地發(fā)射到激光接收器612,農(nóng)業(yè)機械100C接收光接收位置的反饋,并且旋轉所述激光雷達裝置112以使得所述激光束抵達激光接收器612。
在步驟S318的處理中,當農(nóng)業(yè)機械100C確定激光雷達裝置112不需要旋轉時,或者當激光雷達裝置112在步驟S318的處理中旋轉時,(第一循環(huán)的)任務結束(步驟S322)。注意到,如在圖34,35A,36和37B中示出的,圖40的任務在當農(nóng)業(yè)機械100C從任務開始位置運動到任務結束位置時重復若干次。因此,整個的任務地點可被有效地平整。注意到,步驟S318和S320的處理可在步驟S316之前執(zhí)行,以及在步驟S308和S314之后的處理和在步驟S310中進行否定的確定之后執(zhí)行的處理可在步驟S318處執(zhí)行。
圖42示出通過使用農(nóng)業(yè)機械100執(zhí)行平整任務的另一示例。用于平整任務的激光束是從包括激光雷達裝置112-2的激光發(fā)射裝置618發(fā)射的。激光發(fā)射裝置618包括用于通過電力使激光雷達裝置112-2沿著水平方向旋轉的平臺622,用于支撐該平臺622的其長度和角度是可調(diào)的三腳架,執(zhí)行與農(nóng)業(yè)機械100的無線通信的天線624,控制處理器。激光發(fā)射裝置618的激光雷達裝置112不需要圍繞軸旋轉,因此用于該目的的機構(擺動電機54)可被省略。替代地,激光雷達裝置112可被固定以便不圍繞軸旋轉。激光發(fā)射裝置618由三腳架設定以使得激光束被水平地發(fā)射到田壟。包括激光接收儀器616的任務裝置106C-2被連接到農(nóng)業(yè)機械100,并且執(zhí)行平整任務。在激光接收儀器616上,激光接收器612-2被設定在在豎直方向上延伸的柱的頂部部分處。激光接收器612-2包括在豎直方向上和在水平方向上的多個光接收元件。在水平方向上的多個光接收元件沿著激光接收器612-2的圓周布置。由激光接收儀器616檢測的激光束的高度的信息被輸入到農(nóng)業(yè)機械100的控制裝置118中。任務裝置106C-2包括電動缸,其根據(jù)由激光接收器612-2接收到的激光束的位置基于來自于農(nóng)業(yè)機械100的控制裝置118的指令使平整板等上下地運動。注意到,激光接收儀器616可包括控制處理器,該控制處理器根據(jù)檢測所述激光束的光接收元件的位置操作所述電動缸,以使平整板等上下地運動。注意到,在該圖中的虛線示出了激光發(fā)射裝置618和農(nóng)業(yè)機械100之間的無線通信。
在如上所述的系統(tǒng)1501中,平整任務被如下地執(zhí)行。首先,作為初始設定,要設定在田壟中的激光發(fā)射裝置618的三腳架被調(diào)節(jié)以使得激光束在其中從激光雷達裝置112-2發(fā)射的激光束變?yōu)樗降那胰蝿昭b置106C-2的平整板被設定在要作為參考高度的土地的高度處的狀態(tài)下被發(fā)射到激光接收器612-2的標準位置。接下來,激光束朝向激光接收器612-2發(fā)射。農(nóng)業(yè)機械100基于已經(jīng)接收所述光束的光接收元件的位置確定是否在相對于所述標準位置的更高位置處或在更低位置處接收所述光束,以及當農(nóng)業(yè)機械100確定在相對于所述標準位置的更高位置處接收所述光束時,這意味著土地被升高,因此農(nóng)業(yè)機械100降低所述平整板并行進,以及平整所述土地。另一方面,當農(nóng)業(yè)機械100確定在相對于標準位置的更低位置處接收所述光束時,這意味著所述土地低于所述參考,因此農(nóng)業(yè)機械100升高平整板并行進,以及平整所述土地。注意到,根據(jù)光接收位置距離所述標準位置的近似距離升高和降低所述平整板。也就是說,隨著所述光接收位置距離所述標準位置的距離變得越長,平整板升高或降低更大的量。此外,當在標準位置處接收所述光束時,平整板在參考高度處,因此農(nóng)業(yè)機械100行進而沒有改變平整板的高度。接下來,農(nóng)業(yè)機械100感知哪個光接收元件已經(jīng)接收到在激光接收器612-2中的水平方向上的光束。根據(jù)所述光接收位置,農(nóng)業(yè)機械100確定是否激光雷達裝置112-2的激光發(fā)射角度需要改變。當不需要改變激光發(fā)射角度時,農(nóng)業(yè)機械100沒有執(zhí)行任何通信。另一方面,當農(nóng)業(yè)機械100確定所述需要改變用于在下次任務和之后接收激光束,農(nóng)業(yè)機械100給激光發(fā)射裝置618發(fā)送用于根據(jù)光接收位置使激光發(fā)射裝置618的平臺622旋轉的信息。激光發(fā)射裝置618的控制處理器基于接收到的信息使平臺622旋轉預定角度。因此,不管其中農(nóng)業(yè)機械100正在執(zhí)行任務的任務區(qū)域的位置,農(nóng)業(yè)機械100能夠全天候地接收激光束。
通過重復如上所述的任務,系統(tǒng)1501能夠有效地平整所述任務區(qū)域。為了描述圖40的該示例的操作,步驟S302是由激光發(fā)射裝置618而不是由農(nóng)業(yè)機械100執(zhí)行的操作。此外,步驟S320的激光雷達裝置的旋轉是由激光發(fā)射裝置618而不是由農(nóng)業(yè)機械100執(zhí)行的操作。
注意到,當整地要被執(zhí)行以在農(nóng)場土地中建立預定傾斜時,激光雷達裝置112或112-2中的軸要從水平地發(fā)射激光束的角度旋轉預定角度。
<單獨的任務>
通過確定對用于諸如農(nóng)作物的每個任務目標的任務的需要并且僅當需要時執(zhí)行關于所述任務目標的任務,可以增加整個任務的效率。通過利用圖43到47,這時,給出了根據(jù)農(nóng)作物等的狀態(tài)單獨執(zhí)行的任務的操作的描述,所述任務可根據(jù)自動控制由包括在農(nóng)場土地中的系統(tǒng)1501和由圖2描述的信息通信系統(tǒng)1502的整個系統(tǒng)1500執(zhí)行。注意到,單獨地執(zhí)行的任務包括施肥,播種,移栽,收獲,除草,農(nóng)藥播散/霧化,噴灑水和收割等;然而,施肥主要作為示例給出以描述如何執(zhí)行任務。注意到,系統(tǒng)1501的操作還可被應用到針對每種農(nóng)作物等單獨執(zhí)行的任務,而不是施肥。
圖43示出施肥任務如何正通過使用根據(jù)本實施例的整個系統(tǒng)1500被執(zhí)行的示意圖。農(nóng)業(yè)機械100自動地行進同時自動地執(zhí)行僅針對農(nóng)場土地中的具有生長不足(低活性度)的農(nóng)作物360的任務(施肥),在所述農(nóng)場土地中,正常生長的由實線示出的農(nóng)作物350(高活性度)以及生長不足(低活性度)的由虛線示出的農(nóng)作物360被耕作。此外,在所述農(nóng)場土地中,用于從高的位置監(jiān)視植物的生長狀態(tài)的設置有多光譜照相機(或比色照相機)的狀態(tài)監(jiān)視裝置550被設定,以及所述狀態(tài)監(jiān)視裝置550正在執(zhí)行與農(nóng)業(yè)機械100的無線通信。此外,在整個系統(tǒng)1500中,多個標記370被提供用于識別在由農(nóng)場土地監(jiān)視裝置500,555和狀態(tài)監(jiān)視裝置550等捕捉的圖像中的預定位置。這些標記370具有施加的不同的數(shù)字,特征,顏色,圖案,圖和形狀(或這些項的不同的組合),以及其中提供這些標記370的位置早已通過系統(tǒng)1501是已知的。在圖32的描述中,其中要執(zhí)行的任務的任務地點是基于來自于用戶終端710,712的數(shù)據(jù)進行識別的;然而,服務器704還能夠基于來自于狀態(tài)監(jiān)視裝置550的信息識別所述任務地點。該操作是通過利用圖46在下面被描述的。注意到,圖43示出具有生長不足的農(nóng)作物360被集中在由圓圈圈住的地點中。
圖44是示出在系統(tǒng)1501中的農(nóng)業(yè)機械100的任務狀態(tài)的示意圖。該農(nóng)業(yè)機械100具有用于施肥的、附連到農(nóng)業(yè)機械100的主體的任務裝置(施肥機械)106D。農(nóng)業(yè)機械100用多光譜照相機裝置113確認農(nóng)作物350,360的生長狀態(tài),并且根據(jù)所述確認結果將肥料802散播在確定為具有生長不足的農(nóng)作物360附近。農(nóng)業(yè)機械100使用無線通信天線114發(fā)送施肥的信息或植物狀態(tài)的信息,以及該信息通過農(nóng)場土地監(jiān)視裝置555中繼被發(fā)給服務器704(在該圖中由虛線示出)。注意到,當在其中無線通信可抵達的范圍內(nèi)存在無線訪問點700時,農(nóng)業(yè)機械100可在沒有通過農(nóng)場土地監(jiān)視裝置555等中繼的情況下發(fā)送所述信息到服務器704。此外,該信息可通過另一無線訪問點等通過中繼被傳送。
圖45示出用于供給肥料到植物的任務裝置(施肥機械)106D的主要部分的部分。圖45A示出施肥機械的外部視圖,農(nóng)業(yè)機械100的主體和連接部件等被省略。圖45B是沿著由圖45A中的虛線4501示出的平面截得的截面視圖。該施肥機械106D包括由金屬制成的殼體罩800,肥料發(fā)送裝置810,松動主體812,散播單元804,紅外線傳感器806,肥料輸入開口808以及在主體中的肥料802。肥料802從肥料輸入開口被輸入到殼體罩800內(nèi)。農(nóng)業(yè)機械100通過由來自于農(nóng)業(yè)機械100的控制裝置118的指令或由來自于電源228的電流控制的PTO軸222的驅動力來驅動所述肥料發(fā)送裝置810和松開主體,以將肥料802發(fā)送到散播單元804同時松動所述肥料802,并從散播開口散播所述肥料802。此外,紅外線傳感器806檢測肥料的剩余量。檢測到的肥料的剩余量的信息被傳送到控制裝置118。注意到,散播單元804可靈活地彎曲,并且散播開口可設置在關于農(nóng)業(yè)機械100的行進方向的右側,左側或后側上。
圖46是示出基于來自于狀態(tài)監(jiān)視裝置550等的信息由服務器704執(zhí)行的用于識別任務地點的操作的流程圖?;谠撌疽鈭D,給出了基于來自于狀態(tài)監(jiān)視裝置550等的信息由服務器704執(zhí)行的用于識別任務地點的操作的描述。通過執(zhí)行該處理,可以在廣闊區(qū)域預先識別所述任務地點,因此,可增加任務的效率和速度。
當該處理開始時(步驟S330),首先,服務器704獲取通過捕捉包括具有狀態(tài)監(jiān)視裝置550的農(nóng)場土地的區(qū)域的圖像獲得的圖像信息以及不同于該圖像信息的附加信息(示出植物(NDVI等)的生長狀態(tài)的信息,疾病和害蟲的信息,霜凍的信息,由害蟲等引起的變色信息,土壤信息以及糖含量信息等)(步驟S332)。注意到,服務器704例如可在信息處理之前從狀態(tài)監(jiān)視裝置550獲取光譜反射率的信息,并且處理該獲取的信息以獲得指示植物的生長狀態(tài)的信息(NDVI等)。
服務器704從所述圖像和附加信息檢測其中存在需要諸如噴灑水、肥料散播和除草的植物的地點(步驟S334)。例如,這可通過識別光譜圖像中其中NDVI小于或等于預定值或低于預定值的地點得以執(zhí)行。不同于NDVI,服務器704可關于可見紅色區(qū)域的波長(例如,660納米)識別光譜圖像中其中光譜反射率小于或等于預定值或低于預定值的地點。注意到,服務器704可通過獲取由農(nóng)場土地監(jiān)視裝置500,555等而不是狀態(tài)監(jiān)視裝置550或與該狀態(tài)監(jiān)視裝置550一起檢測到的信息來檢測其中需要任務的地點。
接下來,服務器704識別檢測到的地點的位置(步驟S336)。為了該識別,首先,服務器704執(zhí)行類似于步驟S208的處理的圖像辨認處理,并辨認出現(xiàn)于捕捉的圖像中的多個標記370。服務器704獲得已經(jīng)被辨認的多個標記370的位置。然后,服務器704從已經(jīng)被辨認的多個標記標記370和需要任務的地點之間的位置關系識別需要任務的地點的位置。
然后,服務器704將識別的位置作為任務地點發(fā)送到農(nóng)業(yè)機械100和用戶終端710,712(步驟S338),并結束該處理(S340)。因此,農(nóng)業(yè)機械100不必測量橫穿其中任務是可能的整個區(qū)域的每個農(nóng)作物350,360的生長狀態(tài)及其他狀態(tài),因此可有效地執(zhí)行所述任務。因此,可減少任務時間。用戶還能夠感知其中需要任務的地點。
接下來,通過使用圖47,給出了其中當確認為如上所述的任務目標的每個農(nóng)作物的狀態(tài)時任務被單獨地執(zhí)行的情況的操作的描述。圖47用于詳細地描述當針對每個目標單獨地執(zhí)行時的圖35A中的步驟S224的處理。
當所述處理開始時(步驟S350),農(nóng)業(yè)機械100獲取所述圖像信息和附加信息,并發(fā)送該獲取的信息到服務器704(步驟S352)。此時,農(nóng)業(yè)機械100的行進可被暫時地停止。該處理可用于獲取捕捉到的由立體照相機裝置110和/或為包括在農(nóng)業(yè)機械100中的圖像傳感裝置的多光譜照相機裝置113獲得的圖像信息以及不同于從這些裝置獲得的圖像信息的附加信息(在立體照相機裝置110的情況下的視差值或距離信息,以及在多光譜照相機裝置113的情況下通過利用光譜反射率計算的信息或每個波長的光譜反射率信息),或者用于獲取不同于圖像信息的附加信息,例如除了如上所述的捕捉到的圖像信息和不同于該圖像信息的附加信息之外的由激光雷達裝置112獲得的距離信息和形狀信息。此外,農(nóng)業(yè)機械100可獲取響應于農(nóng)業(yè)機械100、服務器704和用戶終端710,712中的任一個的請求由狀態(tài)監(jiān)視裝置550或農(nóng)場土地監(jiān)視裝置500,555捕捉的圖像,或者由狀態(tài)監(jiān)視裝置550或農(nóng)場土地監(jiān)視裝置500,555自動捕捉到的圖像以及每個波長的光譜反射率信息,或通過利用光譜反射率(狀態(tài)監(jiān)視裝置550)計算的信息或例如偏振信息的信息以及(農(nóng)場土地監(jiān)視裝置500,555)日照區(qū)域的信息,并發(fā)送獲取到的信息到服務器704。此外,不同于從不同于圖像傳感裝置(立體照相機裝置110,多光譜照相機裝置113和天球照相機裝置501)的裝置獲取的圖像信息的信息(例如,從環(huán)境監(jiān)視裝置獲取的溫度和濕度,以及經(jīng)由因特網(wǎng)702獲取的天氣預測和日照時間)可被發(fā)送到服務器704。在該情況下,步驟S352的處理可通過農(nóng)場土地監(jiān)視裝置500,555、狀態(tài)監(jiān)視裝置550和/或服務器704而不是農(nóng)業(yè)機械100,被執(zhí)行。在該處理中獲取和發(fā)送的信息根據(jù)農(nóng)業(yè)機械100將執(zhí)行的任務而不同。例如,在散播肥料的任務的情況下,為了檢查要為目標的植物的生長狀態(tài)和/或土壤狀態(tài),由多光譜照相機裝置113捕捉到的光譜圖像和光譜反射率信息(由農(nóng)業(yè)機械100的多光譜照相機裝置113獲取的信息或由狀態(tài)監(jiān)視裝置550的多光譜照相機裝置113獲取的信息)是適當?shù)?。在除草的任務的情況下,為了精確地區(qū)分植物的類型,由偏振立體照相機裝置捕捉的偏振圖像以及到物體的距離的距離信息是適當?shù)?。此外,在收獲果實的任務的情況下,為了感知果實的尺寸、顏色和糖含量,除了由多光譜照相機裝置113捕捉的光譜圖像和光譜反射率信息之外,作為用于使為任務裝置106的收獲機器人的果實切割保持臂運動以便可靠地運動到果實周圍的預定位置的信息,由立體照相機裝置110捕捉的圖像信息以及到果實的距離信息是需要的(替代地,由激光雷達裝置112而不是由立體照相機裝置110測量的距離信息可被利用。激光雷達裝置112靠近多光譜照相機裝置113,因此相對于目標果實的位置可被精確地檢測)。此外,在澆水任務的情況下,例如,為了檢查植物活性度,除了諸如由多光譜照相機裝置113獲取的圖像的信息以及光譜反射率信息之外,為了確定噴灑水的必要性,天氣預測(降水預測)也是經(jīng)由因特網(wǎng)702獲取的。注意到,所述任務不限于以上所述的,施肥,播種,移栽,收獲,除草,農(nóng)藥播散/霧化,噴灑水,和收割等,其是在某些單元中執(zhí)行的例如農(nóng)作物的任務,都是可應用的。在該情況下,圖像信息和不同于該圖像信息的附加信息要被獲取。
已經(jīng)接收所述信息的服務器704分析所述信息,生成所述任務所需要的信息,以及發(fā)送該生成的信息到農(nóng)業(yè)機械100(步驟S353)。該分析分析也根據(jù)要執(zhí)行的任務不同。例如,在肥料散播的任務的情況下,服務器704執(zhí)行類似于圖35A的步驟S208的處理所描述的情況的圖像辨認,并且檢查針對每個辨認的葉子的NDVI(植物活性度)以及檢查所述土壤的光譜分布。結果,服務器704確定是否肥料需要被播散。在除草的任務的情況下,服務器執(zhí)行圖像辨認(與步驟S208的處理一樣),確定是否所述目標是野草,以及當服務器704確定目標是野草時,服務器704獲得到該野草的距離以便將用于散播除草劑或拾取野草的臂帶到野草的位置。在收獲果實的任務的情況下,服務器704分析所述果實的尺寸、顏色和糖含量,并且確定是否收獲所述果實。當服務器704確定收獲所述果實,以便能使果實切割保持機器人臂抵達果實周圍的預定位置,服務器704計算到所述預定位置的距離。此外,服務器704可從植物活性度和降水預測確定是否噴灑水任務是需要的。注意到,步驟S353的處理可通過農(nóng)業(yè)機械100執(zhí)行。
基于所述信息,通過該信息,所述確定結果通過服務器704獲得,農(nóng)業(yè)機械100確定是否執(zhí)行所述任務(步驟S354)。
在步驟S354的處理中,當農(nóng)業(yè)機械100確定要執(zhí)行所述任務時,農(nóng)業(yè)機械100行進直到所述任務目標在所述任務裝置106的任務區(qū)域內(nèi)(步驟S356)。
農(nóng)業(yè)機械100確定是否任務裝置106的任務可能區(qū)域已經(jīng)抵達靠近諸如為確定需要任務的農(nóng)作物的任務目標的區(qū)域(步驟S358)。在此,該確定是這樣進行的:通過確定是否農(nóng)業(yè)機械100從其中已經(jīng)執(zhí)行成像等的點已經(jīng)運動了一已知的距離到任務區(qū)域和已經(jīng)執(zhí)行所述成像的裝置。農(nóng)業(yè)機械100在當立體照相機裝置110正在測量所述距離時前進,或者所述距離是從輪的旋轉頻率精確測量的。進行這些測量是因為存在其中由于甚至微小的位置偏移引起任務被妨礙或者任務是不成功的情況,取決于任務的內(nèi)容。此外,當步驟S352的信息獲取是通過狀態(tài)監(jiān)視裝置550進行的時候,服務器704從多個標記370識別農(nóng)業(yè)機械100的位置并計算要行進的距離。該距離信息被發(fā)送到農(nóng)業(yè)機械100,農(nóng)業(yè)機械100運動相應的距離。
注意到,當在步驟S156中描述的位置的識別可被精確地執(zhí)行以使得任務沒有被妨礙時,通過比較在行進前后識別的位置來進行所述確定。
注意到,當存在圖像傳感裝置(立體照相機裝置110,多光譜照相機裝置113和天球照相機裝置501)和靠近任務裝置106的激光雷達裝置112時,以及可在其中獲取圖像信息等的點處執(zhí)行所述任務。
步驟S358的確定和步驟S356的行進被重復直到任務目標在任務裝置106的任務可能區(qū)域中。當農(nóng)業(yè)機械100行進穿過任務目標太多時,農(nóng)業(yè)機械100可在步驟S356的處理中倒進。
當農(nóng)業(yè)機械100確定任務裝置106的任務可能區(qū)域已經(jīng)抵達靠近諸如為確定需要任務的農(nóng)作物的任務目標的區(qū)域時,農(nóng)業(yè)機械100執(zhí)行所述任務(步驟S359)。
當任務結束時,農(nóng)業(yè)機械100給服務器704發(fā)送包括任務位置(任務目標)、任務內(nèi)容、是否任務是成功的/不成功的以及任務時間的任務信息(步驟S360)。要發(fā)送的任務信息根據(jù)任務類型不同。例如,當任務是收獲時,任務位置、任務內(nèi)容、是否任務是成功的/不成功的以及任務時間被發(fā)送。當任務是噴灑水時,任務位置、任務內(nèi)容、噴灑水量和任務時間被發(fā)送。當服務器704接收這些信息項時,服務器704存儲這些信息項在數(shù)據(jù)庫708中(步驟S361)。如上所述的,整個系統(tǒng)1500存儲針對每個任務位置和任務目標的任務信息,因此整個系統(tǒng)1500能夠將該信息用于收費處理,比較任務條件與生長條件并且識別適合于該任務目標的任務條件,并存儲用于預測未來收獲的數(shù)據(jù)。服務器704可在一定周期內(nèi)(例如,月,年,或從耕作開始經(jīng)過的日子)編譯針對每個任務目標的任務信息,并且可以將編譯的任務信息(任務內(nèi)容)以一定格式提供給用戶終端710,712以使得該信息可顯示在這些終端處。此外,任務信息能夠被用作財富數(shù)據(jù),因此任務信息可獨立地用作商業(yè)交易的目標,例如,任務信息可賣給系統(tǒng)用戶。
另一方面,當農(nóng)業(yè)機械100確定所述任務在步驟S354的處理中是不需要的時候,流程前進到步驟S362。
在步驟S362中,農(nóng)業(yè)機械100確定是否在該區(qū)域中的任務,其通過用戶終端710,712(圖32的示例)或狀態(tài)監(jiān)視裝置550(圖46的示例)被指定為任務地點,已經(jīng)完成。該確定是通過比較任務地點的最終位置與當前位置進行的。識別所述位置的方法與在圖34的步驟S156的處理中描述的方法相同以及所述比較與在圖36的步驟S230的處理中描述的比較相同。
當農(nóng)業(yè)機械100確定當前位置處于任務完成位置處時,農(nóng)業(yè)機械100確定是否存在下一個任務地點(步驟S364)。該確定是由從服務器704(圖33的步驟S130和圖46的步驟S338)發(fā)送的信息進行的。
結果,當農(nóng)業(yè)機械100確定存在下一個任務地點時,農(nóng)業(yè)機械100計算到該任務地點的路線(步驟S366)。最短路線是通過圖34中的步驟S160和S178的處理的相同方法計算的。
接下來,農(nóng)業(yè)機械100確認所述任務源(步驟S368)。該任務源是執(zhí)行所述任務所需要的源;例如,當任務是施肥和澆水時的肥料和水,當任務是收獲時的用于儲存所述收獲的空間,以及當任務是播種時的種子。步驟S370還被作為隨后的處理執(zhí)行,當在步驟S362和S364進行了否定的確定時。在其中農(nóng)業(yè)機械100確定任務源不夠的情況下的系統(tǒng)1501的操作通過利用圖49被詳細地描述。
在確認任務源之后,農(nóng)業(yè)機械100朝向相同任務區(qū)域中的下一個任務位置行進或行進到該下一個任務區(qū)域(任務地點)(步驟S370),并且結束該任務的第一循環(huán)(步驟S372)。注意到,步驟S370中的行進可不僅是前進,而且可以是倒進。在在步驟S370中,農(nóng)業(yè)機械100行進直到其中農(nóng)業(yè)機械100可獲取單獨的確定的下一個目標的圖像等的位置。該位置可通過農(nóng)業(yè)機械100和服務器704預先感知,或可基于由農(nóng)業(yè)機械100的立體照相機裝置110或多光譜照相機裝置113獲取的圖像被識別。
此外,執(zhí)行步驟S368和S370的處理的順序可互換。在該情況下,在步驟S362和S364的處理中進行否定的確定之后,隨后的處理是步驟S370。
通過執(zhí)行以上操作,所述運動、基于目標的狀態(tài)的單獨任務以及在路線中的運動需要僅執(zhí)行一次,因此任務可有效地完成。
注意到,在該示例中,給出了其中諸如施肥的任務在當測量單獨任務目標的狀態(tài)(植物活性度)時被單獨地執(zhí)行的示例的描述;然而,所述任務不限于此,并且可以在可以為諸如農(nóng)作物350和360等的任務目標的所有任務地點中的區(qū)域中單獨地執(zhí)行諸如施肥的任務,而沒有測量單獨的狀態(tài)。此外,可以根據(jù)諸如測量的生長狀態(tài)的單獨任務目標的狀態(tài)執(zhí)行控制所述任務源(例如,肥料)的量的詳細的任務。
<任務中斷處理>
當通過自動控制運動和執(zhí)行任務時,優(yōu)選的是,自動地響應當運動和任務中斷時的情況。特別地,優(yōu)選的是,通過在中斷的因素例如由于燃料不足而不能夠運動的因素發(fā)生之前預測中斷,在農(nóng)業(yè)機械100陷于其中農(nóng)業(yè)機械100僅能夠手動地恢復的狀態(tài)之前采取措施。通過利用圖48到51,給出了中斷任務的處理的描述,當農(nóng)業(yè)機械100的燃料(電池)剩余量變得較低時或者當任務源例如肥料的量變得較少時。注意到,通過利用圖52到56,給出了特殊情況的詳細描述,在該特殊情況中,任務中斷是由于不是燃料、電池或任務源的理由,例如通過農(nóng)場土地監(jiān)視裝置500,555檢測到某種異常。
圖48是示出當電驅動的農(nóng)業(yè)機械100B中斷任務時以及當電池電源的剩余量較低時給電池充電的程序的示意圖。農(nóng)業(yè)機械100B是電驅動類型的農(nóng)業(yè)機械,并且包括在圖6中示出的傳動裝置104-2。農(nóng)業(yè)機械100B設置有作為任務裝置106B的播種裝置,以及農(nóng)業(yè)機械100B沿著任務地點和植物種子的預定路線行進。該圖中的虛線示出農(nóng)業(yè)機械100B沿著其已經(jīng)執(zhí)行任務的路徑,以及農(nóng)業(yè)機械100B已經(jīng)種植種子在由虛線示出的區(qū)域中。在該農(nóng)場土地周圍,存在多個標記370。目前,農(nóng)業(yè)機械100B的電池電源的剩余量在該圖中的該位置處是較低的,以及農(nóng)業(yè)機械100B確定不可能完成所述任務。在該情況下,中斷位置被存儲,此外,立體照相機裝置110測量并存儲立體照相機裝置110和最靠近的標記370之間的距離D。該距離D是要用于精確地識別其中所述任務要在給電池充電之后繼續(xù)的位置。隨后,農(nóng)業(yè)機械100B沿著由實線示出的路線行進并且送到外部電源226(非接觸電力傳輸裝置)以給電池充電。然后,在充電完成之后,農(nóng)業(yè)機械100B運動到任務中斷位置,并且從準確的中斷位置繼續(xù)所述任務。如上所述的,根據(jù)整個系統(tǒng)1500,燃料、電池和任務源可盡可能多得通過自動控制補充,以及任務的效率可增加。
以上操作的詳細描述示出在圖49中。圖49是當中斷任務(或運動)時操作的操作流程圖。圖49還被描述為是圖35A中的步驟S224的處理的任務(當中斷任務時的另一任務)。
假定該操作流程是當農(nóng)業(yè)機械100辨認到燃料(內(nèi)燃機類型的農(nóng)業(yè)機械)的剩余量或電池電力(電驅動類型的農(nóng)業(yè)機械)已經(jīng)變得小于預定量或小于或等于圖35A中的步驟S223的處理中的預定量時或者農(nóng)業(yè)機械100辨認到諸如肥料和種子的任務源的量已經(jīng)變得小于預定量或小于或等于圖47中的步驟S368的處理中的預定量時才開始的(步驟S400)。
首先,農(nóng)業(yè)機械100確定是否目標操作(充電或填充和固定任務源)已經(jīng)完成(步驟S402)。緊接著在該處理開始之后,進行所述目標操作沒有完成的確定,因此隨后,農(nóng)業(yè)機械100確定是否任務中斷信息(步驟S416的信息)例如任務中斷年/月/日/時間、中斷位置和到識別目標等的距離或步驟S418的行進中斷信息早已經(jīng)被發(fā)送到服務器704(步驟S405)。緊接著在該處理開始之后,還在該步驟中,進行所述信息還沒有被發(fā)送的確定,因此隨后,農(nóng)業(yè)機械100確定是否農(nóng)業(yè)機械100正在執(zhí)行某種任務(例如,施肥,整地和收獲等)(步驟S408)。在此,當農(nóng)業(yè)機械100確定農(nóng)業(yè)機械100正在執(zhí)行某種任務時,農(nóng)業(yè)機械100中斷所述任務(步驟S410)。也就是說,根據(jù)控制裝置118,農(nóng)業(yè)機械100停止行進并且還停止由任務裝置106執(zhí)行的任務。隨后,農(nóng)業(yè)機械100通過采用與在圖34的步驟S156的處理中描述的方法相同的方法來確認當前位置,并將當前位置存儲在控制裝置118中(步驟S412)。
然后,立體照相機裝置110用來測量距離特定目標例如標記370等的距離,并存儲該距離在所述控制裝置中(步驟S414)。為了執(zhí)行該處理,首先,目標需要被辨認。作為該辨認,存在通過與識別如在圖35A的步驟S202和S204的處理中描述的障礙物相同的方法來識別位于前方的某種物體的方法,或者通過執(zhí)行在圖35A的步驟S208的處理中描述的圖像辨認處理來檢測特定目標的方法。前者的方法可比后者的方法更快地被執(zhí)行;然而,前者的方法的精度低于后者的方法的精度。接下來,農(nóng)業(yè)機械100測量到識別的目標的位置的距離。該位置被假定位于目標的中心;然而,該位置不限于此,例如,該位置可以是邊緣的地點。
圖50示出包括目標和測量的距離的被捕捉的圖像的示例。所述目標可以是如在圖50A中示出的人造物體例如標記370(該標記示出數(shù)字“12”),或者在圖50B中的自然物體例如樹372。圖50A示出從農(nóng)業(yè)機械100(立體照相機裝置110)到標記370(由黑色圓圈示出的中心部分)的距離是17.2米。圖50B示出從農(nóng)業(yè)機械100(立體照相機裝置110)到樹372(的分枝的末端)的距離是19.0米。注意到,到包括在捕捉的圖像中的多個點的距離可被測量。此外,當農(nóng)業(yè)機械100包括多個立體照相機裝置110時,到一個或更多個點的距離可在由兩個或更多個立體照相機裝置110捕捉的圖像中被測量。因此,農(nóng)業(yè)機械100可在當繼續(xù)所述任務時被更精確地定位在開始位置處。隨后,農(nóng)業(yè)機械100給服務器704發(fā)送包括任務中斷年/月/日/時間、中斷位置和到識別目標的距離的任務中斷信息(步驟S416)。
當服務器704接收該信息時,服務器704發(fā)送所述任務中斷信息到用戶終端710,712。因此,用戶能夠感知到任務已經(jīng)被中斷。此外,服務器704存儲該任務中斷信息在數(shù)據(jù)庫708中。該存儲被進行以記錄任務日志并精確地執(zhí)行如下所述的收費處理。
接下來,農(nóng)業(yè)機械100計算到其中要執(zhí)行所述目標操作(充電或填充和確保任務源)的位置的路線(步驟S419)。該路線計算可通過服務器704進行。注意到,用于執(zhí)行所述目標操作的位置是由其中預先存儲所述位置的服務器704給出的;然而,該位置不限于此,并且農(nóng)業(yè)機械100可存儲該位置。此外,該位置可經(jīng)由用戶終端710,712由用戶指定。在該計算中,最短路線基本上被計算,類似于在圖34的步驟S160和S178的處理中描述的計算。此外,當農(nóng)業(yè)機械100確定農(nóng)業(yè)機械100沒有正在執(zhí)行步驟S408中的任務(例如,當農(nóng)業(yè)機械100正在朝向任務位置行進時)時,農(nóng)業(yè)機械100通過與在步驟S412的處理中的方法相同的方法來確認當前位置,發(fā)送該當前位置信息和行進中斷信息到服務器(步驟S418),并計算從當前位置到其中所述目標操作要由與以上相同的方法執(zhí)行的位置的路線(步驟S419)。注意到,還在該情況下,服務器704可計算該路線。
然后,農(nóng)業(yè)機械100沿著所述路線行進(步驟S420)。注意到,該行進包括前進和倒進二者。注意到,當農(nóng)業(yè)機械100確定農(nóng)業(yè)機械100早已經(jīng)在步驟S405的處理中發(fā)送任務中斷信息時,流程前進到步驟S420的處理,以及農(nóng)業(yè)機械100行進。
接下來,在經(jīng)過預定時間之后(例如,一秒),農(nóng)業(yè)機械100確定是否農(nóng)業(yè)機械100已經(jīng)到達用于執(zhí)行所述目標操作的位置(步驟S422)。該確定是通過如在圖36的步驟S230和S232的處理中描述的方法進行的。注意到,步驟S422的確定可在每當農(nóng)業(yè)機械100已經(jīng)行進預定距離(例如,50厘米)時而不是當經(jīng)過預定時間時進行的。當農(nóng)業(yè)機械100確定農(nóng)業(yè)機械100還沒有達到所述位置時,農(nóng)業(yè)機械100暫時地結束所述任務中斷處理,執(zhí)行圖35A和圖36的一系列操作,并再次繼續(xù)步驟S400的處理。另一方面,當農(nóng)業(yè)機械100確定農(nóng)業(yè)機械100在步驟S422的處理中已經(jīng)到達用于執(zhí)行目標操作的位置時,農(nóng)業(yè)機械100執(zhí)行目標操作(步驟S424)。該操作可以無人方式自動地執(zhí)行,如在圖48中示出的系統(tǒng)1501中,或可手動地操作。例如,柴油或汽油可手動地供給在農(nóng)業(yè)機械100的燃料箱中或肥料可手動地補充在任務裝置中。該操作是在在步驟S426中被監(jiān)視的,并且被執(zhí)行直到所述目標操作完成。例如,當農(nóng)業(yè)機械100的傳感器檢測到已經(jīng)充了預定量的電池電力、大于或等于預定量的肥料已經(jīng)被供給或者或收獲物已經(jīng)從收獲存儲空間移除時,農(nóng)業(yè)機械100檢測到目標操作已經(jīng)完成,以及確定為操作完成。圖51示出緊接著在農(nóng)業(yè)機械100B的電池224-2已經(jīng)通過外部電源(非接觸電力傳輸裝置)226被充電之后的狀態(tài)。
隨后,農(nóng)業(yè)機械100給服務器704發(fā)送包括目標操作結束年/月/日/時間和目標操作內(nèi)容(已經(jīng)供給多少電池電力、燃料、肥料等)的操作結束信息等,此外,農(nóng)業(yè)機械100計算到任務中斷位置的路線或到任務開始位置或存儲位置的路線(步驟S427)。服務器704發(fā)送操作結束信息到用戶終端710,712,并存儲該信息在數(shù)據(jù)庫708中。計算所述路線的方法與如上所述的方法(步驟S419等)相同,并且該計算可由服務器704執(zhí)行。
然后,農(nóng)業(yè)機械100行進(前進或倒進)(步驟S430)。例如,如在圖52中示出的,當電力被充分地充入到電池224-2中時,為了繼續(xù)所述任務,農(nóng)業(yè)機械100開始行進到所述任務中斷位置。注意到,在完成目標操作之后,在圖49中在第二操作循環(huán)中的步驟S402的處理中及之后,當農(nóng)業(yè)機械100確定目標操作已經(jīng)完成時,接著是步驟S430的處理。
然后,在經(jīng)過預定周期之后,農(nóng)業(yè)機械100確定是否是否任務已經(jīng)中斷(步驟S431)。當農(nóng)業(yè)機械100沒有確定任務已經(jīng)中斷時,流程前進到步驟S444,并且該處理被暫時地結束。
另一方面,當農(nóng)業(yè)機械100確定任務已經(jīng)中斷時,農(nóng)業(yè)機械100確定是否農(nóng)業(yè)機械100已經(jīng)到達靠近任務中斷位置(步驟S432)。該確定基本上是通過與步驟S422的方法相同的方法進行的;然而,可通過在確定是否這些位置匹配時增加范圍來確定是否農(nóng)業(yè)機械100靠近任務中斷位置。
接下來,農(nóng)業(yè)機械100使用立體照相機裝置110,通過與步驟S414的方法相同的方法,識別與在步驟S414中已經(jīng)為其測量了距離的目標對應的目標,并且測量到該識別的目標的距離(步驟S434)。
農(nóng)業(yè)機械100確定在步驟S434中測量的到目標的距離與在步驟S414中測量并存儲的距離是否是相等的(步驟S436)。注意到,在步驟S414中,當單個立體照相機裝置110已經(jīng)測量到多個點的距離或多個立體照相機裝置110已經(jīng)測量到多個點的距離時,到所有相應位置的距離也在步驟S434中被測量,以及農(nóng)業(yè)機械100確定所有的距離是否匹配。注意到,匹配的精度可以根據(jù)通過立體照相機裝置110的測距的精度進行確定。
然后,當農(nóng)業(yè)機械100確定所述距離在步驟S436中不匹配時,農(nóng)業(yè)機械100的控制裝置118操作所述操控裝置122和傳動裝置104以使農(nóng)業(yè)機械100來回地和左右地運動,以使得所述距離匹配(步驟S438)。當這些距離在再次測量所述距離一次或更多次之后仍匹配時,農(nóng)業(yè)機械100確定所述任務中斷位置和所述任務繼續(xù)位置匹配,并發(fā)送所述任務繼續(xù)信息與任務繼續(xù)年/月/日/時間到服務器704(步驟S440),并且開始所述行進任務(步驟S442)。服務器704發(fā)送所述任務繼續(xù)信息和開始時間到用戶終端710,712,以及此外,存儲該信息在數(shù)據(jù)庫708中。另一方面,當農(nóng)業(yè)機械100確定所述距離在步驟S436的處理中匹配時,流程前進到步驟S440。如上所述的,通過使所述距離與目標匹配,甚至當在位置信息中存在微小的偏差時,可以精確地匹配所述任務中斷位置和所述繼續(xù)位置。因此,例如,可以執(zhí)行所述任務,而沒有重復或沒有任務不被執(zhí)行的空隙。
當所述任務繼續(xù)時,如上所述的,在圖49中示出的操作流程結束,并且在圖40和圖47的任務的循環(huán)中執(zhí)行這些處理。
<當檢測到異常時的操作>
隨著農(nóng)場土地變得日益大面積的,解決已經(jīng)發(fā)生的異常變得更麻煩,例如,所述異常例如為人工地驅趕已經(jīng)進入該農(nóng)場土地中的害獸。因此,優(yōu)選的是,自動地響應在這樣的情況下的異常。通過利用圖52到56,給出了在其中農(nóng)場土地中檢測到異常發(fā)生的情況下的操作的描述。圖52示出了如何自動地控制的農(nóng)業(yè)機械100用來觀察異常源1000以及根據(jù)異常源1000采取行動,當異常事件通過農(nóng)場土地監(jiān)視裝置500被檢測到時(在該示例中,當檢測到會損害農(nóng)作物的異常源1000(主要為所謂的害獸)時)。該圖中的虛線示出了通過無線通信的信息的傳送和接收。在該示例中,信息在農(nóng)場土地監(jiān)視裝置500和農(nóng)業(yè)機械100之間交換;然而,信息的交換不限于此,以及該信息可經(jīng)由服務器704交換。此外,異常的內(nèi)容不限于害獸進入中農(nóng)場土地中,而是異??砂捎扇嘶蜃詿崃σ鸬乃挟惓栴}。例如,火或未知人的非法進入可以是一異常。
圖53是用于更詳細地描述通過圖52的農(nóng)業(yè)機械100的操作的示意圖,以及圖53是從上方看到的圖52的農(nóng)場土地的視圖。如在該圖中示出的,農(nóng)業(yè)機械100通過最短路線執(zhí)行接近所述異常源1000的操作,同時避開其中耕作農(nóng)作物910的區(qū)域。
圖54和55示出當該異常事件已經(jīng)發(fā)生時根據(jù)本實施例的整個系統(tǒng)1500的操作,以及主要地描述了服務器704和農(nóng)業(yè)機械100的操作。圖54用于描述從異常事件發(fā)生時到響應該異常的行動完成時的操作。另一方面,圖55用于描述在圖54的步驟S502的處理中步驟S422的操作的細節(jié)(與圖49中的步驟S400到S444的操作相同)。
當發(fā)生異常事件時的流程開始于當在由農(nóng)場土地監(jiān)視裝置500捕捉的圖像中檢測到異常時(步驟S450,S452)。這是當農(nóng)場土地監(jiān)視裝置500發(fā)送捕捉的圖像到服務器704并且服務器704分析該圖像時執(zhí)行的操作。服務器704通過與圖35A的步驟S208的處理的方法相同的方法執(zhí)行圖像辨認,以及例如,服務器704檢測:當不同于農(nóng)業(yè)機械100、農(nóng)作物910和系統(tǒng)用戶的某物被包括在由農(nóng)場土地監(jiān)視裝置500捕捉的圖像中時已經(jīng)發(fā)生異常。注意到,可從另一裝置例如狀態(tài)監(jiān)視裝置550和農(nóng)場土地監(jiān)視裝置555捕捉的圖像檢測所述異常。
當服務器704檢測到該異常時,服務器704發(fā)送指示已經(jīng)檢測到異常的報告、捕捉該異常狀態(tài)的圖像和年/月/日/時間等到用戶終端710,712(步驟S454)。然后,服務器704將與發(fā)送給用戶終端710,712的信息相同的信息存儲在數(shù)據(jù)庫708中。
接下來,服務器704確定用于響應已經(jīng)發(fā)生的異常的處理是否完成(步驟S456)。緊接著在異常事件發(fā)生之后,通常,該處理還沒有完成,因此流程前進到下一步驟S458的辨認處理。在該辨認處理中,通過類似于圖35A的步驟S208的處理的方法,執(zhí)行關于其中檢測到異常的地點的圖像辨認(步驟S458)。該辨認處理是通過獲得異常的地點的特征量以及比較該特征量與存儲在數(shù)據(jù)庫706等中的標準圖案,得以執(zhí)行的。該處理是包括其中服務器704它自己完成所述處理的情況和其中農(nóng)業(yè)機械100完成所述處理的情況二者(在步驟S502的處理中執(zhí)行的步驟S428的操作結束報告)的操作以及服務器704接收該信息并且服務器704確定該處理已經(jīng)完成。
作為步驟S458的辨認處理的結果,服務器704確定異常內(nèi)容是否已經(jīng)被辨認(步驟S460)。然后,當異常內(nèi)容已經(jīng)被辨認時,服務器704根據(jù)異常內(nèi)容執(zhí)行操作(步驟S462)。該操作針對每個異常內(nèi)容進行限定;例如,該操作被忽略,使得最接近該異常的農(nóng)業(yè)機械100靠近該異常并通過利用警笛和在異常處噴水等恐嚇該異常。那么,隨后,流程回到步驟S456的處理,以及當服務器704確定響應所述異常的處理已經(jīng)完成時,當異常事件發(fā)生時的處理結束(步驟S474)。
另一方面,在步驟S460的處理中,當服務器704不能確認異常的內(nèi)容時,服務器704從多個標記370等識別異常區(qū)域的位置,所述多個標記的位置是已知的且其被包括在由農(nóng)場土地監(jiān)視裝置500等捕捉確認圖像中(步驟S464)。
然后,服務器704確定確認異常內(nèi)容的指令是否早已經(jīng)給出到農(nóng)業(yè)機械100(步驟S468)。當服務器704確定指令還沒有給出時,服務器704通過利用存儲在數(shù)據(jù)庫708中的信息識別最靠近異常地點(異常區(qū)域)的農(nóng)業(yè)機械100,并且給出確認異常內(nèi)容的指令(步驟S470)。注意到,農(nóng)業(yè)機械100可能不是直線距離最靠近異常地點的農(nóng)業(yè)機械;通過一路線最靠近異常地點的農(nóng)業(yè)機械100可被識別。
服務器704發(fā)送異常地點的位置信息到確認異常內(nèi)容的指令已經(jīng)給予其的識別的農(nóng)業(yè)機械100(步驟S472)。
另一方面,在步驟S468的處理中,當服務器704確定確認異常內(nèi)容的指令早已給予農(nóng)業(yè)機械100時,服務器704前進到步驟S472的處理,并發(fā)送在步驟S464中識別的異常地點的位置信息。然后,服務器704回到步驟S456的處理。
另一方面,農(nóng)業(yè)機械100操作如下。在此描述的步驟S500,S501和S502示出當發(fā)生異常事件時圖35A中的步驟S224的處理。當流程從步驟S204或步驟S223的處理前進到步驟S224的處理時,農(nóng)業(yè)機械100接收步驟S470的處理的指令(用于僅在開始時中斷所述任務以及確認異常內(nèi)容)以及步驟S472的異常地點的位置信息(步驟S500)。然后,農(nóng)業(yè)機械100根據(jù)異常地點的位置信息重新計算行進路線(步驟S501)。異常地點不會總是被固定在預定地點,例如當害獸進入時,因此農(nóng)業(yè)機械100每當在步驟S500的處理處時接收異常地點的位置信息。然后,當位置變化時,在步驟S501的處理中,農(nóng)業(yè)機械100更新所述行進路線。農(nóng)業(yè)機械100中斷主任務,并執(zhí)行該處理,其是在當任務中斷時執(zhí)行的,限定在步驟S400到S444中(步驟S502)。然后,當步驟S502的處理結束時,流程前進到步驟S226的處理。
注意到,以上的操作被描述為基于由農(nóng)場土地監(jiān)視裝置500等捕捉的圖像通過服務器704執(zhí)行的處理;然而,關于步驟S450到S472描述的處理可在農(nóng)場土地監(jiān)視裝置500,555和狀態(tài)監(jiān)視裝置550處執(zhí)行。
此外,當發(fā)生異常時執(zhí)行的處理是基于由農(nóng)場土地監(jiān)視裝置500捕捉的圖像開始的;然而,當發(fā)生異常時執(zhí)行的處理可以開始在設定于農(nóng)業(yè)機械100中的立體照相機裝置110和多光譜照相機裝置113等檢測到異常時。在該情況下,已經(jīng)捕捉異常內(nèi)容的圖像的農(nóng)業(yè)機械100執(zhí)行所述處理。
圖55用于描述當在步驟S502的處理中發(fā)生異常事件時步驟S422的處理的操作的細節(jié)(確定農(nóng)業(yè)機械100是否已經(jīng)到達目標位置)。該處理通過農(nóng)業(yè)機械100和服務器704之間的協(xié)作被執(zhí)行。
當步驟S402的處理結束時,安裝在農(nóng)業(yè)機械100中的立體照相機裝置110(或多光譜照相機裝置113)確定異常內(nèi)容是否被檢測到(步驟S550)。具體地,農(nóng)業(yè)機械100確定某種物體是否被檢測到靠近從服務器704等發(fā)送的異常地點的位置。作為該確定方法,關于圖35A的步驟S202和S203描述的方法被采用。
然后,當異常內(nèi)容沒有被檢測到時,流程前進到步驟S444的處理。另一方面,當異常內(nèi)容被檢測到時,農(nóng)業(yè)機械100停止行進(步驟S552)。然后,農(nóng)業(yè)機械100給服務器704發(fā)送包括由立體照相機裝置110等捕捉的異常內(nèi)容的圖像、距離信息和當前位置(步驟S554)。
服務器704執(zhí)行關于異常內(nèi)容的圖像辨認處理(步驟S558)。作為圖像辨認處理,采用了與用于圖35A的步驟S208的處理中的方法相同的方法。然后,服務器704確定該圖像是否被辨認(步驟S560)。
當服務器704確定圖像不能被辨認時,基于從農(nóng)業(yè)機械100發(fā)送的距離信息,服務器704確定農(nóng)業(yè)機械100是否在預定距離內(nèi)(例如,3.5米)或在比到異常內(nèi)容的預定距離短的距離處(步驟S562)。也就是說,服務器704確定農(nóng)業(yè)機械100是否充分地靠近所述異常內(nèi)容以使得農(nóng)業(yè)機械100能夠辨認該異常內(nèi)容。注意到,該操作可通過確定由圖像辨認處理識別的邊緣之間的長度(也就是說,物體的尺寸)是否大于或等于預定長度或比預定距離長。
然后,當服務器704在步驟S562的處理中確定農(nóng)業(yè)機械100在預定距離內(nèi)(在比預定距離短的距離處),服務器704給用戶終端710,712發(fā)送示出已經(jīng)發(fā)生不能辨認的異常的報告以及示出異常內(nèi)容的圖像(步驟S566)。在用戶終端710,712處顯示的圖像的示例此時被示出在圖56中。
圖56示出從圖53的底部右側位置通過使用立體照相機裝置110由農(nóng)業(yè)機械100捕捉到的圖像。如在圖56中示出的,在用戶終端710,712處,顯示了由立體照相機裝置110捕捉的圖像中的異常內(nèi)容(異常源)1000,以及顯示了諸如到異常源1000的距離1103和異常內(nèi)容的尺寸1101的附加信息。用戶從用戶終端710,712檢查所述圖像和顯示的附加信息并且辨認異常內(nèi)容,確認異常內(nèi)容并選擇響應方法(目標操作)。然后,當用戶通過使用用戶終端710或712發(fā)送該信息到服務器704時,服務器704確定農(nóng)業(yè)機械100已經(jīng)到達目標操作位置,并指定所述目標操作(步驟S568)。此外,服務器704寄存所述異常內(nèi)容、相關圖像、特征圖案以及響應方法在數(shù)據(jù)庫706中。因此,當在未來發(fā)生相同的或類似的異常內(nèi)容時,農(nóng)業(yè)機械100能夠響應該異常內(nèi)容。注意到,還當服務器704確定所述圖像在步驟S560的處理中被辨認時,服務器704確定農(nóng)業(yè)機械100已經(jīng)到達目標操作的位置,并根據(jù)辨認的異常內(nèi)容指定目標操作(進一步接近異常內(nèi)容并通過警笛或通過點著燈124恐嚇該異常內(nèi)容,忽略該異常內(nèi)容,行進到該異常內(nèi)容,以及在異常內(nèi)容處排水等)(步驟S568)。服務器704發(fā)送示出到達和目標操作的確定的報告到農(nóng)業(yè)機械100。
在步驟S562的處理中,當服務器704沒有確定農(nóng)業(yè)機械100在預定距離內(nèi)(或在比預定距離短的距離處)時,服務器704沒有確定農(nóng)業(yè)機械100已經(jīng)到達(步驟S564)。服務器704發(fā)送沒有到達的該確定的報告到農(nóng)業(yè)機械100。因此,農(nóng)業(yè)機械100進一步接近異常內(nèi)容。
然后,農(nóng)業(yè)機械100,其已經(jīng)在步驟S568或S564的處理中通過服務器704接收所述確定結果,確定服務器704是否已經(jīng)確定農(nóng)業(yè)機械100已經(jīng)到達用于執(zhí)行目標操作的位置(步驟S570)。然后,當農(nóng)業(yè)機械100確定服務器704已經(jīng)確定農(nóng)業(yè)機械100已經(jīng)到達所述位置時,流程前進到步驟S424的處理,以及當農(nóng)業(yè)機械100確定服務器704還沒有確定農(nóng)業(yè)機械100已經(jīng)到達所述位置時,流程前進到步驟S444的處理。
注意到,由服務器704執(zhí)行的操作(步驟S556到S568)可由農(nóng)業(yè)機械100執(zhí)行。
如上所述的,當檢測到發(fā)生異常時,整個系統(tǒng)1500能夠有效地執(zhí)行適當?shù)奶幚?,用于響應該異常?/p>
注意到,在本實施例中,給出了一示例的描述,在該示例中,服務器704對由設定在農(nóng)業(yè)機械100、農(nóng)場土地監(jiān)視裝置500,555和狀態(tài)監(jiān)視裝置550等中的立體照相機裝置110和多光譜照相機裝置113獲取的圖像主要執(zhí)行辨認處理及其他圖像處理;然而,所述處理不限于此,農(nóng)業(yè)機械100、照相機裝置和農(nóng)場土地監(jiān)視裝置500等可執(zhí)行所述圖像處理。因此,可以減少由無線通信傳送的數(shù)據(jù)量,抑制整個系統(tǒng)的通信數(shù)據(jù)量,以及增加整個系統(tǒng)1500的特性(促進所述處理時間)。另一方面,如在以上示例中描述的,通過在服務器704處執(zhí)行圖像處理,在農(nóng)業(yè)機械100等處使用的電量可通常被抑制,特別地在使用電驅動的農(nóng)業(yè)機械的情況下,花費長時間的任務可通過給電池充電一次得以執(zhí)行。
以上的描述是關于通過使用農(nóng)業(yè)機械100執(zhí)行的任務;然而,多個農(nóng)業(yè)機械100可通過無線通信或有線通信彼此協(xié)作以及相應的農(nóng)業(yè)機械可執(zhí)行所述任務。例如,在前的農(nóng)業(yè)機械可耕作農(nóng)場土地,下一個農(nóng)業(yè)機械可執(zhí)行施肥和播種。還在該情況下,基本上,在前的農(nóng)業(yè)機械執(zhí)行如上所述的操作,以及后面的農(nóng)業(yè)機械根據(jù)來自于在前的農(nóng)業(yè)機械執(zhí)行任務。
此外,如上所述的操作可通過多個農(nóng)業(yè)機械分開執(zhí)行以使得相應的農(nóng)業(yè)機械執(zhí)行彼此協(xié)作的操作。
[農(nóng)業(yè)機械的另一示例]
如上所述的農(nóng)業(yè)機械100主要是拖拉機的示例;然而,圖57和58示出根據(jù)本實施例的農(nóng)業(yè)機械100的其它示例。圖57示出執(zhí)行噴灑水任務的可動噴灑器,以及圖58示出執(zhí)行肥料散播任務的直升飛機(四軸飛行器)。
<噴灑器>
圖57中示出的技術是將噴灑器850用作農(nóng)業(yè)機械100的中心樞軸灌溉。噴灑器850包括由互連的鋁制成的多個噴水桿856,該噴水桿856被安裝在具有三角形結構(桁架結構)的塔架854上,水在當使這些塔架854與輪852運動時被噴灑。在每個噴水桿856處,提供了用于控制到每個開口858的水的供給的噴水開口858和電子閥860。給農(nóng)作物350和360附近的農(nóng)作物供水更有效同時防止了由于蒸發(fā)引起的漏水。由此,使用了滴灌類型的噴水開口858,其從噴水桿856向下分支;然而,噴水開口858不限于此。該噴灑器850運動以便繪出中心圍繞一端的圓圈。此外,噴灑器850供應從中心一側的地下抽取的地下水。
該噴灑器850還包括GPS接收器,無線通信天線以及控制裝置,類似于農(nóng)業(yè)機械100。該控制裝置還控制每個電子閥860的打開和關閉。此外,噴灑器850被連接到圖2中示出的信息通信系統(tǒng)1502,并形成整個系統(tǒng)1500。噴灑器850基于來自于設定在農(nóng)場土地中的農(nóng)場土地監(jiān)視裝置555的圖像信息和附加信息從服務器704接收指令,并且僅從靠近農(nóng)作物360上方的區(qū)域穿過的噴水開口858噴水,該區(qū)域的植物活性度較低。注意到,多光譜照相機裝置113等可設定在噴灑器850自己上,服務器或噴灑器850可基于從多光譜照相機裝置113獲得的光譜圖像和光譜信息確定植物活性度,以及噴灑水可基于該確定進行控制。因此,與噴水到整個農(nóng)場土地的情況相比,水可被有效地利用。注意到,液體肥料可被添加到要被噴灑的地下水中。此外,不是噴灑地下水,噴灑器850可執(zhí)行散播液體農(nóng)藥的任務。在該情況下,例如,噴灑器850可從設置有偏振濾光器的農(nóng)場土地監(jiān)視裝置555獲取害蟲的信息,并且可將農(nóng)藥僅散播在其中存在害蟲的農(nóng)作物。注意到,偏振照相機裝置可設定在噴灑器850上,并且基于從偏振照相機裝置獲得的偏振圖像,服務器704或噴灑器850可檢測害蟲。
該噴灑器850根據(jù)通過利用圖32,33,34,35A,36,37,46和47描述的操作執(zhí)行任務。然而,噴灑器850的運動路線被確定,因此不需要用于確定所述路線的復雜計算。此外,不需要確認圖35A中的行進方向(步驟S202),或根據(jù)該確定改變所述路線(步驟S208到S222)等,或執(zhí)行轉彎操作(步驟S232,S234),因此這些處理可被省略。此外,當任務中斷時,不需要從準確的任務中斷位置繼續(xù)所述任務,因此用于匹配農(nóng)業(yè)機械的位置的操作,例如圖49的步驟S414,S434和S438可被省略。
注意到,農(nóng)業(yè)機械不限于中心樞軸方法;例如,灌溉可通過平行運動方法執(zhí)行。
如上所述的,整個系統(tǒng)1500可僅針對需要所述任務的目標執(zhí)行諸如噴灑水的任務,因此資源可被有效利用。
<直升飛機>
圖58示出通過將直升飛機(四軸飛行器)1100用作農(nóng)業(yè)機械100來散播液體肥料802B的任務。直升飛機1100包括設置在從直升飛機1100的主體延伸的臂的前端附近的四個轉子頭1102,以及可旋轉地連接到轉子頭1102的四個轉子1104,直升飛機1100通過旋轉轉子1104飛行。該直升飛機1100還至少包括GPS天線120,無線通信天線114,用于控制直升飛機1100的包括轉子1104的旋轉的控制裝置118C,立體照相機裝置110,多光譜照相機裝置113,根據(jù)控制裝置118C的控制散播農(nóng)藥的任務裝置106E,以及當著陸時接觸諸如為著陸點的表面的地面的著陸裝置1106。立體照相機裝置110被設定在直升飛機1100上以便當直升飛機1100在一水平飛行模式時通過控制裝置118C在正交于豎直方向的方向上旋轉。此外,直升飛機1100能夠確認農(nóng)作物等的狀態(tài)并通過將立體照相機裝置110朝向地面定向來測量地面和立體照相機裝置110之間的距離以識別所述高度。該高度是第二數(shù)字信息或第四數(shù)字信息的示例。
此外,直升飛機1100能夠通過將立體照相機裝置110定向在行進方向上來確認在行進方向上是否存在障礙物(例如,人造物體,諸如農(nóng)場土地監(jiān)視裝置500,555和狀態(tài)監(jiān)視裝置550,或自然物體例如不同于農(nóng)作物的高樹木)。注意到,可通過基于壓力改變識別直升飛機1100正在飛行的高度的高度計來測量所述高度。該直升飛機1100通過如上所述的方法通過GPS信號檢測當前位置,并執(zhí)行與圖2的信息通信系統(tǒng)1502的無線通信。
直升飛機1100或服務器704基于由多光譜照相機裝置113獲得的光譜圖像和光譜反射率來感知種植的狀態(tài)例如植物活性度,以及僅當植物的狀態(tài)小于或等于預定值時,直升飛機1100使任務裝置106E操作并散播肥料802B到農(nóng)作物360。當然,直升飛機1100可基于以上的信息或不同于以上信息的信息,通過使用相同的或不同的任務裝置106,執(zhí)行不同的任務(例如,噴灑水任務和農(nóng)藥散播任務)。此外,通過使用偏振照相機,其可觀察物體的表面而基本上不受顏色或陰影的影響,直升飛機1100能夠發(fā)現(xiàn)具有保護色的附著到植物的表面例如葉子的害蟲等,并且以極精確的方式將農(nóng)藥僅散播到其中存在害蟲(或該害蟲)的植物。
該直升飛機1100基本上根據(jù)與通過利用圖32,33,34,35A,36,37,46,47,54和55描述的操作的流程相同的流程來執(zhí)行任務。然而,在圖32等的步驟S114到S116中,直升飛機1100飛行的高度也被設定。此外,直升飛機1100能夠在農(nóng)作物等上方飛行,因此行進路線可更容易地計算,與計算農(nóng)業(yè)機械100的行進路線相比。
此外,在這些操作中的行進通過飛行進行。
注意到,要使用的農(nóng)業(yè)機械不限于直升飛機(四軸飛行器)。其它類型的飛機可被使用,例如多旋翼飛行器,例如,具有八個轉子等的八旋翼飛行器,氣球類型的,飛機類型的和滑翔機類型的等。
如上所述的,根據(jù)整個系統(tǒng)1500,任務可被有效地執(zhí)行。
[遠程操作]
在以上的示例中,通過農(nóng)業(yè)機械100、噴灑器850和直升飛機1100等的行進和任務根據(jù)本實施例由整個系統(tǒng)1500自動地控制,而沒有手動操作。另一方面,存在系統(tǒng)用戶想要使農(nóng)業(yè)機械100運動并通過用他自己的眼睛觀察操作來通過農(nóng)業(yè)機械100執(zhí)行任務的需求。特別地,存在其中系統(tǒng)用戶想要控制難以自動控制的精細任務和詳細運動的情況。通過應用所述整個系統(tǒng)1500,系統(tǒng)用戶可通過遠程操作來操作農(nóng)業(yè)機械100等。圖59示出用于執(zhí)行該遠程操作的信息通信系統(tǒng)1502的示例。遠程操作意味著用戶通過使用用戶終端710,712操作農(nóng)業(yè)機械100。其中用戶在乘坐農(nóng)業(yè)機械100時操作用戶終端710,712的情況或其中用戶操作靠近農(nóng)業(yè)機械100的農(nóng)業(yè)機械100的情況也被包括在遠程操作中。
當執(zhí)行遠程操作時,由農(nóng)業(yè)機械100等捕捉的圖像,以及附加信息要經(jīng)由服務器704發(fā)送以顯示在用戶終端710,712的屏幕上。在該情況下,附加信息(距離信息等)通過疊加在所述圖像上被顯示。然而,在整個系統(tǒng)1500中,該圖像被作為視頻(電影)信息被發(fā)送。因此,服務器704上的任務負載變高,實際上,在圖2中示出的信息通信系統(tǒng)1502中,視頻服務器705,其專門用于處理視頻信息,通過被連接到因特網(wǎng)702被分開提供(參見圖59)。該視頻被作為符合H.264SVC的視頻數(shù)據(jù),其可調(diào)節(jié)根據(jù)通信線路的狀態(tài)等傳送的視頻信息的壓縮比。因此,視頻很少暫停。注意到,農(nóng)業(yè)機械100等可發(fā)送為不同于H.264SVC的格式的例如為符合H.265的格式的數(shù)據(jù)。此外,農(nóng)業(yè)機械100等可不發(fā)送視頻信息,而是可連續(xù)地或間歇地發(fā)送為JPEG格式和PING格式的靜止圖像信息。
顯示在用戶終端710,712上的屏幕圖像的示例是由立體照相機裝置110捕捉的圖像,如在圖50和56中示出的。此外,由多光譜照相機裝置113捕捉的光譜圖像(例如,通過亮度和顏色的黑暗表示光譜反射率的圖像)可被顯示。此外,用戶在當觀察屏幕圖像時指示行進方向,轉彎操作以及操作農(nóng)業(yè)機械100的速度,并且還可以通過任務裝置106E執(zhí)行任務。當然,操作所述農(nóng)業(yè)機械100等和通過任務裝置106E執(zhí)行所述任務之一可自動地進行,以及用戶僅可操作另一個。此外,由農(nóng)場土地監(jiān)視裝置500,555和狀態(tài)監(jiān)視裝置550捕捉的圖像也可被顯示,例如可以顯示被遠程操作的農(nóng)業(yè)機械100等位于農(nóng)場土地中的位置。此外,農(nóng)場土地的地圖和其中農(nóng)業(yè)機械100位于該地圖中的位置可被顯示。在該遠程操作中,來自于用戶的指令需要被快速地施加到農(nóng)業(yè)機械100等,因此,實際上,用于操作管理的操作管理服務器707被設置在圖2中示出的信息通信系統(tǒng)1502中(參見圖59)。
操作管理服務器707基于輸入到用戶終端710,712的信息給出操作指令到農(nóng)業(yè)機械100等,并遠程控制農(nóng)業(yè)機械100等。輸入到用戶終端710,712的信息可通過操作觸板、鍵盤和鼠標被手動地輸入,或者可通過語音和手勢輸入。操作管理服務器707通過使用用于辨認該信息的程序來辨認該信息,并根據(jù)辨認結果發(fā)送操作指令到農(nóng)業(yè)機械100等。
此外,在整個系統(tǒng)1500中,從多個農(nóng)業(yè)機械100等發(fā)送的圖像以及由多個成像元件捕捉的圖像可立刻顯示或可通過切換被顯示在用戶終端710,712的屏幕上。
如上所述的,系統(tǒng)用戶能夠使農(nóng)業(yè)機械100運動并執(zhí)行任務同時顯示不同于由農(nóng)業(yè)機械100捕捉的圖像的信息在用戶終端710,712上,因此甚至通過遠程操作,用戶能夠使農(nóng)業(yè)機械100執(zhí)行精細任務并進行詳細的運動。
遠程操作被作為與圖32到56描述的自動控制模式不同的模式執(zhí)行;然而,遠程操作還可在自動控制期間執(zhí)行。為了這樣做,在由圖32到56描述的操作中,由農(nóng)業(yè)機械100捕捉的圖像經(jīng)由視頻服務器705被恒定地發(fā)送到用戶終端710,712。此外,來自于用戶終端710或712的遠程操作被實現(xiàn)為來自于用戶的插入到圖32到56描述的操作中的指令以通過遠程控制執(zhí)行這些操作。在該情況下,當不存在來自于用戶的指令時,整個系統(tǒng)1500可回到如由圖32到56描述的自動控制并執(zhí)行處理操作。
注意到,在其中遠程操作被執(zhí)行或農(nóng)業(yè)機械100被直接手動操作的情況下,任務開始/結束/中斷/繼續(xù)的信息和農(nóng)業(yè)機械100的位置和任務位置的信息被從農(nóng)業(yè)機械100發(fā)送到服務器704,服務器704存儲接收到的信息在數(shù)據(jù)庫708中。因此,如下所述的未來任務和收費處理可被順利地執(zhí)行。
[收費處理]
如上所述的,服務器704(或收費管理服務器;同樣應用在下文中)還執(zhí)行收費處理(開帳單處理)。通過適當?shù)厥杖∵m當?shù)南到y(tǒng)使用費,系統(tǒng)提供者能夠繼續(xù)該生意,發(fā)展新業(yè)務,并改進現(xiàn)有服務,因此要解決的問題是要通過技術自動地、精確地和有效地執(zhí)行收費處理。收費方法具有各種模式,根據(jù)本實施例的整個系統(tǒng)1500的用戶能夠挑選該模式。固定收費的收費模式的示例如下。
I.圖2或圖59中示出的信息通信系統(tǒng)1502的使用費。
II.在圖1中示出的農(nóng)場土地中的系統(tǒng)(農(nóng)場土地監(jiān)視裝置500,555,狀態(tài)監(jiān)視裝置550,和農(nóng)業(yè)機械100等)1501的租金(每個裝置100美元/月,每個農(nóng)業(yè)機械等200美元/月)。
III.土地(農(nóng)場土地)的租金(每平方米15美元等)。
收費的模式,由系統(tǒng)提供者和用戶在開始使用該系統(tǒng)的時候為其已經(jīng)訂立的協(xié)議,被寄存在數(shù)據(jù)庫708中。服務器704周期性地(例如每月)給用戶終端710,712發(fā)送對應于寄存在數(shù)據(jù)庫708中的多個收費模式I到III中的每個或其組合的費用的賬單。
按量計費的收費模式包括以下多個中的每個或其組合:i.任務類型,ii.任務時間,iii.任務地點的尺寸,iv.執(zhí)行任務的農(nóng)業(yè)機械,v.由服務器704實施的分析,vi.收獲日期預測實施方式,vii.獲取市場需求,以及viii.在系統(tǒng)中的信息通信量。以上i.到viii.的信息(或用于生成i.到viii.的信息)被記錄在如上所述的服務器704中的數(shù)據(jù)庫708中。例如,服務器704生成針對關于i.和ii.的組合的任務類型(收獲:5美元/小時)和任務時間(20小時)的總共100美元的費用,或生成針對關于i.和iii.的組合的任務類型(整地:0.2美元/平方米)和任務地點的尺寸(1000平方米)的總共200美元的費用。如上所述的,根據(jù)整個系統(tǒng)1500,可以容易地識別在預定周期(例如,一個月)的任務內(nèi)容(任務類型,任務時間,任務地點的尺寸和用于執(zhí)行所述任務等的農(nóng)業(yè)機械),以及可根據(jù)所述任務內(nèi)容收費。此外,除了i.和ii.等的組合之外,服務器704能夠生成例如針對實施vi.收獲日期預測(每次預測10美元)的次數(shù)(5次)的總共50美元的費用。關于i.到viii.的這些模式,服務器704基于寄存在數(shù)據(jù)庫708中的針對每次任務的信息計算費用,并在每個固定周期(例如,6個月)發(fā)送賬單到用戶終端710,712。注意到,當任務時間被使用時,任務在其期間被中斷的時間被扣除,并且費用基于實際的任務時間計算。
此外,整個系統(tǒng)1500還提供或有費用類型的收費模式。示例是:i.關于通過使用整個系統(tǒng)1500收獲的農(nóng)作物的銷售額的一定比例(例如,20%)收費,ii.關于與當整個系統(tǒng)1500已經(jīng)被用來耕作所述農(nóng)作物時已經(jīng)增加的收獲量對應的銷售額的一定比例(例如,50%)收費,以及iii.通過增加收獲的農(nóng)作物的市場價格與收費的比例來設定費用(例如,當市場價格相對于參考價格突然上升高于或等于一定價格,i.和ii.的比值增加;而當市場價格急劇減少時i.和ii.的比值減小)。用于計算i.到iii.的信息被記錄在數(shù)據(jù)庫708中。服務器704基于存儲在數(shù)據(jù)庫708中的數(shù)據(jù)計算這些費用,并在每個固定周期(例如,6個月)發(fā)送賬單到用戶終端710,712。
另一方面,費用可在當用戶滿足一定條件時打折扣。例如,當用戶給出有益的信息到整個系統(tǒng)1500(例如,在圖35A的步驟S214的處理中描述的信息),每次可折扣三美元,同時設定預定次數(shù)(10次/月)作為上限。預定量可以是上限。還在該情況下,信息被記錄在數(shù)據(jù)庫708中,因此服務器704參照存儲的信息并進行打折扣。因此,整個系統(tǒng)1500的提供者可獲取未來有效地操作整個系統(tǒng)1500所需要的數(shù)據(jù),以及用戶可接收系統(tǒng)使用費的折扣,因此對雙方都具有好處。
此外,當用戶在農(nóng)業(yè)機械處手動地操作農(nóng)業(yè)機械100或遠程地操作農(nóng)業(yè)機械100以執(zhí)行任務時,系統(tǒng)使用費可減少,與自動控制(自動操作)的情況相比。在該情況下,作為費用設定,所述費用被設定為更高,隨著由整個系統(tǒng)1500提供的質量增加(自動控制,遠程操作和手工操作成下降的質量順序)。此外,通過使用手工操作單元116的農(nóng)業(yè)機械100的手工操作可不收費。服務器704從存儲在數(shù)據(jù)庫706,708和服務器704的SSD中的數(shù)據(jù)獲取用于打折扣的信息,計算折扣費用,扣除計算的費用,并發(fā)送帳單到用戶終端710,712。服務器704能夠獨立地或組合地收取固定收費的費用,按量計費的費用以及或有費用。此時,也適用以上的折扣。如上所述的,整個系統(tǒng)1500能夠自動地獲取和自動地編譯從任務開始時到任務完成時的信息,此外,為了在收獲之后零售,因此整個系統(tǒng)1500能夠執(zhí)行精確和有效的收費處理。
注意到,整個系統(tǒng)1500的用戶能夠使用用戶終端710,712等,以使用信用卡,借記卡以及其他類型的電子貨幣并通過電子支付來支付所述費用。替代地,用戶可通過銀行轉賬支付所述費用。當服務器704不能在從賬單發(fā)送到用戶終端710,712時起的預定周期內(nèi)確認所述費用的支付,服務器704可發(fā)送提示給用戶終端710,712或通過其他方式例如通過郵寄。當服務器704不能在從提示發(fā)送起的預定周期內(nèi)確認所述費用的支付,服務器704可防止用戶使用部分的整個整個系統(tǒng)1500。因此,可以限制其不支付費用的用戶使用整個系統(tǒng)1500。
[整個系統(tǒng)的應用示例]
圖60示出作為根據(jù)本實施例的實施例的應用的可動主體(任務主體)的示例的建筑任務機械(壓路機)1200。建筑任務機械1200具有重的重量,并包括具有大的地面接觸面積的輪(輥)2000,建筑任務機械1200行進同時通過輪的重量執(zhí)行施加壓力在路上的任務,以固化軟的地面。建筑任務機械1200進一步包括為內(nèi)燃機的馬達102D,傳動裝置104D,支撐裝置108D,立體照相機裝置110,無線通信天線114,手動操作單元116,控制裝置118D,GPS天線120,操控裝置116,成對的燈124D,成組的超聲波聲納裝置126D和成組的后輪130B。該建筑任務機械1200通過無線通信被連接到如圖2或圖59中示出的相同的信息通信系統(tǒng)1502。
建筑任務機械1200基于由農(nóng)業(yè)機械100獲取的信息通過檢測前方的障礙物并通過測距來檢測地面上的不規(guī)則部,以及建筑任務機械1200可僅在作為還沒有固化的區(qū)域的具有超過或等于一定量的不規(guī)則部的區(qū)域中執(zhí)行所述任務。
雖然任務類型和任務裝置不同于通過農(nóng)業(yè)機械100等的農(nóng)場土地中的任務的那些,但是建筑任務機械1200基本上執(zhí)行與以上實施例中描述的操作相同的操作。
注意到,其中建筑任務機械執(zhí)行任務的區(qū)域通常不是農(nóng)場土地,而是建筑工地,因此這些操作在不是農(nóng)場土地的建筑工地上執(zhí)行。
注意到,自動地控制在本實施例中描述的可動主體的整個系統(tǒng)1500的應用不限于建筑任務機械;該應用可關于運動和執(zhí)行任務的裝置和機械進行。也就是說,根據(jù)本實施例的整個系統(tǒng)1500適合于可基于多個種類的信息運動且可基于多個種類的信息(例如,已經(jīng)不同頻率的電磁波)執(zhí)行任務的系統(tǒng)。該運動基本上被控制成以使得機械沿著預先設定的路線或在正確的路線上前進,同時觀察位置信息。當運動時路線的確定和軌跡的修正是通過使用為無線電信號的GPS信號和來自于已知點的無線電信號被執(zhí)行,另外,位置偏移的修正等被執(zhí)行并且通過使用由立體照相機裝置110獲取的圖像信息和距離信息(或視差值)進行運動。此外,當機械運動時,激光雷達裝置112可被使用而不是立體照相機裝置110或者與立體照相機裝置110一起來確認在行進方向上的路線的形狀和距離。所述任務是基于由主要包括透鏡和成像元件的照相機裝置獲取的表面的信息以及與該表面的信息有關的信息得以執(zhí)行的。例如,在立體照相機裝置的情況下,獲取的信息是捕捉的圖像(表面的信息)和在該捕捉的圖像中的距離信息(有關信息)。在多光譜照相機裝置的情況下,獲取的信息是捕捉的圖像(表面的信息)和在該捕捉的圖像中的光譜反射率信息(有關信息)。在多光譜照相機裝置和激光雷達裝置的組合的情況下,獲取的信息是捕捉的光譜圖像(表面的信息)和在該捕捉的圖像中的光譜反射率信息和該圖像中的距離(有關信息)。在偏振照相機和激光雷達裝置的組合的情況下,或在偏振立體照相機裝置的情況下,獲取的信息是捕捉的高對比度偏振圖像(表面的信息)和在該捕捉的圖像中的距離(有關信息)。在可二維地發(fā)射激光束的激光雷達裝置的情況下,獲取的信息是目標的形狀信息(表面的信息)和在該形狀中的距離信息(有關信息)。此外,通過組合這些照相機裝置,例如,所述運動和任務可根據(jù)捕捉的圖像、距離信息和光譜反射率信息(立體照相機裝置和多光譜照相機裝置的組合)被控制,以及所述運動和任務可根據(jù)捕捉的圖像、距離信息和偏振圖像信息(偏振立體照相機)被控制。此外,整個系統(tǒng)1500可通過使用這些圖像的合成執(zhí)行任務。
注意到,在本實施例中,通過所述機械的運動和任務是通過使用電磁波的無線電波、光(圖像)以及與這些圖像有關的信息被控制的;然而,信息不限于此,所述系統(tǒng)可接收其它電磁波(兆兆赫波),彈性波(聲波),疊加在這些波上的信息,及其他環(huán)境信息,并且使用接收到的信息來控制所述運動和任務。
此外,在將照相機裝置設置在可動主體例如農(nóng)業(yè)機械和建筑任務機械上并且用照相機裝置捕捉圖像的情況下,特別地當圖像在運動時被捕捉的時候,該捕捉的圖像非??赡苣:?。模糊圖像可通過在捕捉圖像時減小運動速度(行進速度,飛行速度和潛航速度等)、增加快門速度以及在透鏡和成像傳感器中設定模糊修正機構,得以防止。此外,多個捕捉的圖像可用來修正所述圖像。
此外,在本實施例中,給出了使可動主體和任務主體基本上沿著一路線運動的方法的描述;然而,所述方法不限于此。也就是說,當用戶通過用戶終端710,712識別一定任務區(qū)域或任務地點時,可動主體或任務主體在該區(qū)域或地點自主地運動并且在運動時執(zhí)行任務,同時通過各種圖像傳感器(照相機裝置)、激光裝置(激光雷達裝置)、超聲波聲納裝置和無線通信來感知可動主體或任務主體周圍的環(huán)境。在該情況下,可動主體和任務主體包括用于自主控制的復雜算法,該控制裝置基于所述算法控制諸如可動主體和任務主體的機械。在該情況下,控制裝置可設置在機械內(nèi)部,或可設置在該機械外部并且通過無線通信控制所述機械。該算法用于當機械運動時執(zhí)行關于所述運動的自主控制,以及該算法用于當執(zhí)行所述任務時執(zhí)行關于對象的操作的自主控制。
此外,在整個系統(tǒng)1500中傳送的信息還可以被用作單獨具有質量的財富數(shù)據(jù),因此信息基本上被可靠管理,如上所述的。
[基于本實施例的發(fā)明]
如上所述的本實施例和應用示例至少包括以下發(fā)明。
(1)一種機械,其在沒有手動操作的情況下運動并執(zhí)行與目標有關的任務。該機械基于多種信息運動并且基于多種信息執(zhí)行所述任務。該機械包括各種機械,包括農(nóng)業(yè)機械,建筑機械和飛機(同樣應用在下文中)。用于在沒有手動操作的情況下(基于自動控制)控制所述運動的多種信息是用于通過無線通信識別位置的信息,由立體照相機裝置及其他測距裝置獲取的圖像信息和距離信息,或由諸如設定在某一位置的監(jiān)視照相機的照相機裝置獲取的圖像信息以及基于該圖像信息的距離信息。用于在沒有手動操作的情況下(基于自動控制)控制所述任務的多種信息是由成像元件獲取的圖像信息和光譜圖像信息,距離信息,反射率信息(光譜反射率信息),偏振圖像信息以及由激光裝置獲取的形狀信息和距離信息。如上所述的,用于在沒有手動操作的情況下控制所述運動的多種信息和用于在沒有手動操作的情況下控制所述任務的多種信息二者都至少包括二維地表示的(表面的)信息。在(1)的機械中,用于運動的信息項之一可以是圖像信息,或與形狀有關的信息。此外,在(1)的機械中,用于執(zhí)行所述任務的信息項之一可以是圖像信息,或與所述形狀有關的信息。注意到,當這些機械具有立體照相機裝置時,運動和任務二者都可以通過利用由立體照相機裝置獲取的距離信息被控制。在沒有手動操作的情況下通過該機械的與目標有關的運動和任務通常被交替地執(zhí)行或同時執(zhí)行(同樣應用在下文中)。
(2)一種在沒有手動操作的情況下運動的機械。該機械根據(jù)由多種信息識別的路線控制所述運動。用于在沒有手動操作的情況下控制所述運動的路線是,通過用于用無線通信識別位置的信息、由立體照相機裝置及其他測距裝置獲取的距離信息、或者基于由諸如可設定在某一位置處的監(jiān)視照相機的照相機裝置獲取的圖像信息的距離信息,被識別的。在(2)中描述的該機械可基于多種信息執(zhí)行所述任務。在(2)的機械中,用于運動的信息項之一可以是圖像信息。
(3)一種在沒有手動操作的情況下執(zhí)行關于多個目標的任務的機械。該機械確定是否根據(jù)由所述機械獲取的每個目標的狀態(tài)執(zhí)行針對每個目標的任務。在此,執(zhí)行任務不僅意味著執(zhí)行所述任務與否,而且包括任務的程度(噴灑水量和肥料量)。例如,基于包括植物活性度、關于特定波長的光譜反射率以及是否包括害蟲的每個農(nóng)作物的信息,所述機械通過自動控制對每個農(nóng)作物執(zhí)行任務(噴灑水,施肥和農(nóng)藥散播等)。此外,根據(jù)在每個區(qū)域中的道路的狀態(tài),所述機械通過自動控制執(zhí)行使地面固化的任務。
(4)一種用于在沒有手動操作的情況下控制機械的運動和由該機械執(zhí)行的任務的控制裝置。該控制裝置基于由所述機械獲取的圖像信息和與該圖像信息有關的信息來控制所述機械的運動和所述任務。在該情況下,控制裝置可以是所述機械的一部分或者可以與所述機械(例如,服務器)分開提供。
(5)一種用于在沒有手動操作的情況下控制機械的運動的控制裝置。該控制裝置基于由不同于所述機械的裝置獲取的圖像信息和與該圖像信息有關的信息來控制所述機械的運動。在該情況下,控制裝置可以是所述機械的一部分或者可以與所述機械(例如,服務器)分開提供。
(6)一種用于在沒有手動操作的情況下控制由所述機械執(zhí)行的任務的控制裝置。該控制裝置確定是否根據(jù)由所述機械獲取的每個目標的狀態(tài)執(zhí)行所述任務。在此,執(zhí)行任務不僅意味著執(zhí)行所述任務與否,而且包括任務的程度(噴灑水量和肥料量)。
(7)一種機械,包括用于執(zhí)行平整所述表面的任務的裝置和用于發(fā)射以與寬度成預定角度發(fā)射的光的裝置。所述機械根據(jù)其中光由與所述機械分開提供的另一光接收器接收的位置來控制用于平整所述表面的裝置。
(8)一種包括任務機械的系統(tǒng),所述任務機械包括用于執(zhí)行平整所述表面的任務的裝置,用于接收光的光接收裝置以及用于發(fā)射以與寬度成預定角度發(fā)射的光的光發(fā)射裝置。所述任務機械根據(jù)接收由所述光發(fā)射裝置發(fā)射的光的位置來控制用于平整所述表面的裝置。
(9)一種在沒有手動操作的情況下運動并執(zhí)行與目標有關的任務的機械。當該機械中斷所述任務時,該機械運動到另一位置,并且當繼續(xù)該中斷的任務時,該機械回到其中任務已經(jīng)中斷的位置,并繼續(xù)所述任務。所述機械通過利用多種信息確定所述機械是否已經(jīng)回到其中任務已經(jīng)中斷的位置。
(10)一種在沒有手動操作的情況下運動并執(zhí)行與目標有關的任務的機械。當任務由于需要運動到另一位置的任務中斷原因而中斷時,以及當任務中斷原因被解決時,所述機械回到任務已經(jīng)中斷所在的位置,并且繼續(xù)所述任務。
(11)一種系統(tǒng),包括執(zhí)行運動并執(zhí)行與目標有關的任務中的至少一個的機械,以及通過無線通信從該機械獲取信息并在沒有手動操作的情況下控制所述機械的控制裝置。從所述機械獲得的信息經(jīng)由多個無線中繼裝置被輸入到控制裝置,從控制裝置輸出的信息經(jīng)由多個無線中繼裝置被輸入到所述機械。
(12)一種在沒有手動操作的情況下運動并執(zhí)行與目標有關的任務的機械。當該機械檢測到異常時,該機械中斷任務并根據(jù)異常內(nèi)容執(zhí)行關于異常的操作。
(13)一種系統(tǒng),包括能夠運動的機械和可顯示由所述機械捕捉的圖像并使用戶操作所述機械的終端。該系統(tǒng)還使所述終端顯示與圖像有關的信息。
(14)一種系統(tǒng),包括執(zhí)行任務的機械和通過利用由所述機械獲取的信息來指示該機械執(zhí)行所述任務的控制裝置。所述系統(tǒng)存在已經(jīng)對其執(zhí)行任務的目標和該任務的內(nèi)容??刂蒲b置能夠將所存儲的信息設定為用于確定未來任務的內(nèi)容的信息。
(15)一種在沒有手動操作的情況下執(zhí)行與目標有關的任務的機械。該機械根據(jù)任務類型獲取每個目標的信息,并且基于獲取的信息確定是否執(zhí)行該任務。例如,當任務類型是噴灑水時,所述機械通過使用多光譜照相機獲取為所述目標的農(nóng)作物的狀態(tài)(植物活性度等),以及基于該獲取的狀態(tài)確定是否噴灑水到為所述目標的農(nóng)作物,以及當任務類型是要移除害蟲時,所述機械基于由偏振照相機捕捉的圖像確定是否害蟲正附著到為所述目標的農(nóng)作物的表面,以及只有當害蟲正附著到農(nóng)作物時才散播農(nóng)藥。
(16)一種用于指示機械執(zhí)行任務的控制裝置,所述機械在沒有手動操作的情況下執(zhí)行與目標有關的任務。當任務已經(jīng)執(zhí)行時,控制裝置根據(jù)該任務計算使用費。
(17)一種在沒有手動操作的情況下能夠運動的機械。當在機械的行進方向上存在不能由機械辨認的障礙物時,該機械進一步接近障礙物并執(zhí)行辨認處理。
(18)一種控制裝置,其控制在沒有手動操作的情況下能夠運動的機械的運動。當在機械的行進方向上存在不能被辨認的障礙物時,控制裝置使該機械進一步接近所述障礙物,并執(zhí)行辨認處理。
(19)一種機械,其獲取可見和不可見的電磁波,辨認包括在電磁波中的信息,以及基于該辨認的信息在沒有手動操作的情況下重復地運動并執(zhí)行任務。作為可見的電磁波,存在可見光,所述機械從可見光獲取圖像。不可見的電磁波是無線電波或不可見光。
(20)一種在沒有手動操作的情況下執(zhí)行運動和執(zhí)行任務中的至少一個的方法。該方法包括獲取具有不同頻率的多個電磁波,辨認包括在獲取的多個電磁波的信息以及基于該辨認的信息執(zhí)行運動和執(zhí)行任務中的至少一個。所述電磁波包括光(可見光和不可見光)和無線電波。
(21)一種機械,其包括成像裝置,并且基于不同于包括在捕捉的圖像中的每個小區(qū)域中的圖像的信息在沒有手動操作的情況下執(zhí)行運動和執(zhí)行任務中的至少一個。
(22)一種根據(jù)接收到的信號識別位置并且在沒有手動操作的情況下運動的機械。該機械包括獲取與到某一點的距離有關的信息的距離信息獲取單元,以及該機械基于由所述距離信息獲取單元獲取的距離有關的信息修正所述運動。
(23)一種沿著預先確定的路線運動的機械。當用于改變所述路線的原因在所述路線中被檢測到時,所述機械改變所述路線,并且沿著改變的路線運動。
(24)一種機械,包括用于檢測在行進方向上的障礙物的障礙物檢測設備,用于當障礙物檢測設備檢測到障礙物時辨認所述障礙物的辨認設備,以及用于當所述辨認設備辨認所述障礙物時根據(jù)辨認的結果采取行動的控制設備。所述控制設備控制所述機械以當所述辨認設備不能辨認障礙物時通過避開所述障礙物運動。
(25)一種系統(tǒng),包括用于識別其中要執(zhí)行任務的區(qū)域的裝置,以及在沒有手動操作的情況下執(zhí)行所述任務的機械。該機械運動到由所述裝置識別的區(qū)域,確定所述任務對在該區(qū)域中的每個目標是否是所需要的,以及僅對根據(jù)需要確定所述任務所針對的目標才執(zhí)行所述任務。
(26)一種包括用于獲取圖像的多個傳感器裝置的機械。第一傳感器裝置獲取一圖像和在該獲取的圖像中的距離信息。第二傳感器裝置獲取一圖像和在該獲取的圖像中的顏色信息。機械的運動可基于所述距離信息被控制。與目標有關的任務是基于所述顏色信息由所述機械執(zhí)行的。替代地,所述機械可基于所述距離和所述顏色信息來執(zhí)行與目標有關的任務。
(27)一種在沒有手動操作的情況下執(zhí)行與目標有關的任務的機械。該機械基于從該目標獲得的信息和從英特網(wǎng)的內(nèi)容信息獲得的信息執(zhí)行與目標有關的任務。
(28)一種包括機械和控制裝置的系統(tǒng),所述機械包括用于對目標執(zhí)行任務的任務裝置以及用于將目標的現(xiàn)象計算機化的計算機化裝置,所述控制裝置包括用于辨認由計算機化裝置計算機化的現(xiàn)象的辨認設備以及用于根據(jù)由所述辨認設備辨認的現(xiàn)象進行確定的確定設備。所述機械的任務裝置根據(jù)通過控制裝置的確定結果在沒有手動操作的情況下執(zhí)行與目標有關的任務。在此,計算機化裝置的示例是傳感器裝置例如在本實施例中描述的各種照相機裝置和雷達激光裝置等。特別地,通過使用可獲取二維或更多維的信息的傳感器裝置,可以增加可感知的現(xiàn)象的范圍。
(29)一種系統(tǒng),包括在沒有手動操作的情況下執(zhí)行與目標有關的任務的機械以及控制所述機械的任務的控制裝置。所述機械可包括獲取至少部分的目標的獲取裝置,以及所述控制裝置獲得由獲取裝置獲取的目標的跟蹤信息,并基于該跟蹤信息通過所述機械控制與目標有關的任務。在此,獲取裝置的示例是在本實施例中描述的任務裝置106的收獲裝置。在該情況下,為農(nóng)作物的一部分和農(nóng)作物自己的某一果實被收獲。甚至在該果實和農(nóng)作物被裝運之后,可以通過使用條型碼信息等跟蹤該果實和農(nóng)作物,以及分析該裝運狀態(tài)和需求和供給的狀態(tài)。因此,可以為耕作相同的農(nóng)作物的任務提供反饋。
(30)一種基于非接觸傳感器裝置獲取的信息運動在沒有手動操作的情況下運動和執(zhí)行任務的機械。該非接觸傳感器裝置是可獲取圖像信息和與該圖像信息有關的信息的照相機裝置。
(31)一種機械,包括在運動時執(zhí)行任務或重復所述運動和任務的運動任務裝置,生成與所述任務有關的信息的任務信息生成裝置,以及傳送裝置,該傳送裝置將在任務信息生成裝置處生成的信息發(fā)送到控制裝置,該控制裝置存儲接收到的信息并且基于該存儲的信息在預定周期內(nèi)識別所述任務內(nèi)容。在該情況下,與任務有關的信息可包括與任務的開始和結束有關的信息。此外,與所述任務有關的信息可包括與任務的中斷和繼續(xù)有關的信息。
(32)(31)的機械進一步包括識別任務目標的狀態(tài)的狀態(tài)識別單元,以及根據(jù)由狀態(tài)識別單元識別的狀態(tài)確定是否執(zhí)行與任務目標有關的任務的確定單元。與該任務有關的信息包括通過所述確定單元的確定結果。
(33)在(31)或(32)的機械中,通過所述運動任務裝置的任務是在沒有手動操作的情況下執(zhí)行的。
(34)一種系統(tǒng),包括在沒有手動操作的情況下執(zhí)行與任務目標有關的任務的機械以及基于從該機械獲取的信息識別所述任務內(nèi)容的控制裝置。所述機械運動并執(zhí)行所述任務,并發(fā)送與該任務有關的信息到所述控制裝置。所述控制裝置存儲接收到的與該任務有關的信息,并基于存儲的信息在預定周期內(nèi)識別和提供該任務內(nèi)容。
在該情況下,與該任務有關的信息可包括與任務的開始和結束有關的信息。此外,與該任務有關的信息可包括與任務的中斷和繼續(xù)有關的信息。
此外,控制裝置可在任務中斷時而沒有識別所述任務內(nèi)容的情況下提供該任務內(nèi)容。
在這些情況下,任務目標是農(nóng)作物,以及在該系統(tǒng)中,所述控制裝置基于存儲的信息進行與農(nóng)作物的收獲有關的分析,并提供分析結果。此外,通過控制裝置的分析還可通過使用從所述系統(tǒng)外部獲取的環(huán)境信息得以執(zhí)行,除了與任務有關的信息之外。
(35)一種執(zhí)行與任務目標有關的任務并產(chǎn)生用于識別任務內(nèi)容的任務信息的方法。產(chǎn)生任務信息的方法包括在運動時執(zhí)行所述任務或重復該運動和該任務的執(zhí)行的過程,生成與所述任務有關的信息的過程,存儲在所述生成過程中生成的信息的過程,基于存儲的信息在預定周期內(nèi)識別所述任務內(nèi)容的過程,以及輸出識別的任務內(nèi)容的過程。
(36)一種用于使計算機執(zhí)行一些過程的程序,或記錄該程序的計算機可讀的記錄介質,所述過程包括當運動時執(zhí)行所述任務或重復所述運動和該任務的執(zhí)行的過程,生成與所述任務有關的信息的過程,存儲在所述生成過程中生成的信息的過程,以及基于存儲的信息在預定周期內(nèi)識別所述任務內(nèi)容的過程。
(37)一種系統(tǒng),包括可檢測用于識別農(nóng)作物的狀態(tài)的信息的檢測裝置,以及用于獲取由所述檢測裝置檢測到的信息的管理裝置。所述檢測裝置包括用于以非接觸方式檢測用于識別農(nóng)作物的狀態(tài)的信息的傳感器以及用于發(fā)送由傳感器檢測到的信息到所述管理裝置的發(fā)送設備。所述管理裝置包括用于從發(fā)自狀態(tài)檢測裝置的信息識別農(nóng)作物的狀態(tài)的識別設備以及基于通過識別設備的識別結果進行與農(nóng)作物的收獲有關的預測的預測設備。
在該情況下,檢測裝置包括用于運動的運動設備,并且可在其中耕作農(nóng)作物的區(qū)域中運動時檢測用于確定農(nóng)作物的狀態(tài)的信息。此外,檢測裝置包括用于在沒有手動操作的情況下操作所述運動設備的控制設備。
在以上的系統(tǒng)中,所述識別設備包括用于記錄識別的結果的記錄裝置,以及所述預測設備可基于要記錄在記錄裝置中的識別結果和在過去記錄在記錄裝置中的識別結果來預測農(nóng)作物的收獲。替代地,在檢測裝置中的發(fā)送設備還可給所述管理裝置發(fā)送與關于識別其狀態(tài)的農(nóng)作物執(zhí)行的任務有關的信息,以及所述預測設備可也通過使用與所述任務有關的信息來預測農(nóng)作物的收獲。
(38)一種產(chǎn)生預測數(shù)據(jù)方法,包括通過傳感器以非接觸方式檢測用于識別農(nóng)作物的狀態(tài)的信息的檢測過程,從在檢測過程中檢測到的信息識別農(nóng)作物的狀態(tài)的識別過程,用于基于在所述識別過程中識別的農(nóng)作物的狀態(tài)進行與農(nóng)作物的收獲有關的預測的預測過程,以及輸出在所述預測過程中的預測結果的過程。在該情況下,所述方法包括記錄在所述識別過程中識別的農(nóng)作物的狀態(tài)的記錄過程,以及所述預測過程可包括基于在識別過程中識別的農(nóng)作物的狀態(tài)和過去記錄的農(nóng)作物的狀態(tài)來預測農(nóng)作物的收獲。
(39)一種用于使計算機執(zhí)行一些過程的程序,或者記錄該程序的計算機可讀的記錄介質,該過程包括通過使用與農(nóng)作物有關的傳感器從以非接觸方式檢測的信息識別農(nóng)作物的狀態(tài)的識別過程,用于基于在所述識別過程中識別的農(nóng)作物的狀態(tài)進行與收獲農(nóng)作物有關的預測的預測過程,以及顯示在預測過程中的預測結果的過程。
(40)一種在沒有手動操作的情況下運動并執(zhí)行與目標有關的任務的機械。該機械包括用于沿著預定路徑運動的運動設備,用于通過運動設備通過運動辨認任務目標的辨認設備,用于檢測由辨認設備辨認的任務目標的狀態(tài)的檢測設備,以及用于基于通過所述檢測設備的檢測結果來確定是否執(zhí)行與任務目標有關的任務的確定設備。當所述確定設備確定要執(zhí)行所述任務時,與任務目標有關的任務被執(zhí)行,以及當確定設備確定不執(zhí)行所述任務時,所述機械通過運動設備運動并且通過辨認設備辨認下一個任務目標,而沒有通過任務設備執(zhí)行所述任務。
在該情況下,當所述確定設備確定執(zhí)行所述任務時,所述機械可通過運動設備運動到靠近任務目標的位置并且執(zhí)行與任務目標有關的任務。
此外,所述機械可進一步包括用于測量用來運動的燃料或電力的剩余量的測量設備。當剩余量變得小于預定值或變得小于或等于預定值時,所述機械可中斷所述任務,運動到用于供給燃料或電力的位置,并在供給完成之后回到任務已經(jīng)中斷的位置,并繼續(xù)所述任務。此外,所述機械可進一步包括用于確認用來執(zhí)行任務的任務源的剩余量的確認設備。當該剩余量變得小于預定值或變得小于或等于預定值時,所述機械可中斷任務,運動到用于供給任務源的位置,并且在供給完成之后回到任務已經(jīng)中斷的位置,并繼續(xù)所述任務。
(41)一種系統(tǒng),包括上述(40)的機械和用于識別存在需要任務的任務目標的區(qū)域的識別裝置。該識別裝置包括用于辨認在比可由所述機械辨認的區(qū)域寬的區(qū)域中的多個任務目標的寬區(qū)域辨認設備,以及用于確定需要任務的任務目標是否包括在由所述寬區(qū)域辨認設備辨認的多個任務目標之中的寬區(qū)域確定設備。當寬區(qū)域確定設備確定存在需要任務的任務目標時,所述機械通過運動設備運動到需要任務的任務目標所在區(qū)域,以及所述辨認設備開始所述辨認。
(42)一種系統(tǒng),包括在沒有手動操作的情況下運動并執(zhí)行任務的機械以及用于控制所述任務的控制裝置。所述機械包括用于沿著預定路徑運動的運動設備,用于通過運動設備通過運動檢測任務目標的檢測設備,用于將與由所述檢測設備檢測到的任務目標有關的信息發(fā)送到控制裝置的發(fā)送設備,以及用于根據(jù)來自于控制裝置的指令執(zhí)行與任務目標有關的任務的任務設備。控制裝置包括用于接收從所述機械發(fā)送的信息的接收設備,用于通過利用與任務目標有關的由接收設備接收到的信息來辨認所述任務目標的辨認設備,用于檢測由所述辨認設備辨認的任務目標的狀態(tài)的檢測設備,用于基于通過所述檢測設備的檢測結果確定是否執(zhí)行與所述任務目標有關的任務的確定設備,以及控制設備,該控制設備用于當所述確定設備確定執(zhí)行任務時指示所述機械執(zhí)行與任務目標有關的任務以及用于當所述確定設備確定不執(zhí)行所述任務時指示所述機械通過所述運動設備運動并且在沒有通過所述任務設備執(zhí)行所述任務的情況下通過所述檢測設備檢測下一個任務目標。
在該情況下,所述系統(tǒng)進一步包括識別裝置,用于識別其中存在需要任務的任務目標的區(qū)域。所述識別裝置包括用于檢測在比可由所述機械檢測的區(qū)域寬的區(qū)域中的多個任務目標的寬區(qū)域檢測設備,以及用于將檢測到的多個任務目標的信息發(fā)送到所述控制裝置的發(fā)送設備??刂蒲b置包括用于接收從所述識別裝置發(fā)送的信息的接收設備,以及用于基于由所述接收設備接收到的多個任務目標的信息確定需要任務的任務目標是否包括在多個任務目標之中。當所述寬區(qū)域確定設備確定包括需要任務的任務目標時,所述機械通過所述運動設備運動到其中需要任務的任務目標所在的區(qū)域,以及所述檢測設備開始所述檢測。
(43)一種任務方法,包括使任務裝置沿著預定路線運動的運動過程,通過所述運動過程通過運動通過所述任務裝置辨認任務目標的辨認過程,檢測被辨認的任務目標的狀態(tài)的檢測過程,以及基于檢測結果確定是否執(zhí)行與任務目標有關的任務的確定過程。當在所述確定過程中確定要執(zhí)行任務時,通過所述任務裝置執(zhí)行與所述任務目標有關的任務的任務過程被執(zhí)行,以及當在所述確定過程中確定不執(zhí)行所述任務時,在通過所述運動過程在運動時辨認下一個任務目標的過程被執(zhí)行,而沒有通過所述任務過程執(zhí)行所述任務。
(44)一種用于使計算機執(zhí)行這些過程的程序,或記錄該程序的計算機可讀的記錄介質,所述過程包括使任務裝置沿著預定路線運動的運動過程,通過所述運動過程通過運動通過所述任務裝置辨認任務目標的辨認過程,檢測被辨認的任務目標的狀態(tài)的檢測過程,以及基于檢測結果確定是否執(zhí)行與任務目標有關的任務的確定過程。當在所述確定過程中確定要執(zhí)行所述任務時,通過所述任務裝置執(zhí)行與任務目標有關的任務的任務過程被執(zhí)行,以及當在所述確定過程中確定不執(zhí)行所述任務時,通過所述運動過程在運動時辨認下一個任務目標的過程被執(zhí)行,而沒有通過所述任務過程執(zhí)行所述任務。
(45)一種機械,包括用于獲取當前位置的當前位置獲取裝置,用于獲取圖像信息的傳感器裝置,用于傳遞由動能源生成的動能并運動的傳動裝置,以及用于通過所述傳動裝置控制所述運動的控制裝置。所述控制裝置基于由當前位置獲取設備獲取的當前位置通過所述傳動裝置來控制所述運動,并且基于由傳感器裝置獲取的圖像信息修正所述運動。在該情況下,運動的修正可基于與從圖像信息獲得的距離有關的信息進行。此外,與所述距離有關的信息可以是與到地表面的距離有關的信息。此外,所述控制裝置可基于圖像信息辨認出現(xiàn)在機械的行進方向上的物體并根據(jù)辨認的結果修正該運動。此外,當物體不能被辨認時,所述控制裝置可提示用戶識別物體的類型,或修正所述運動以便避開該物體。
(46)一種包括機械和用于通過該機械控制運動的控制裝置的系統(tǒng),所述機械包括用于獲取當前位置的當前位置獲取裝置,用于獲取圖像信息的傳感器裝置,以及傳遞由動能源生成的動能并運動的傳動裝置。所述機械將由當前位置獲取裝置獲取的當前位置和由傳感器裝置獲取的圖像信息發(fā)送到所述控制裝置。所述控制裝置基于獲取的當前位置通過所述機械控制所述運動,并基于獲取的圖像信息修正所述機械的運動。
(47)一種用于在沒有手動操作的情況下使機械運動的方法,包括獲取當前位置的當前位置獲取過程,獲取圖像信息的圖像信息獲取過程,傳遞由動能源生成的動能并且運動的運動過程,基于在當前位置獲取過程中獲取的當前位置運動的過程,以及基于在圖像信息獲取過程中獲取的圖像信息修正所述運動的過程。
(48)一種用于使計算機執(zhí)行一些過程的程序,或記錄該程序的計算機可讀的記錄介質,該過程包括獲取當前位置的當前位置獲取過程,獲取圖像信息的圖像信息獲取過程,傳遞由動能源生成的動能并運動的運動過程,基于在當前位置獲取過程中獲取的當前位置而運動的過程,以及基于在圖像信息獲取過程中獲取的圖像信息修正所述運動的過程。
注意到,本申請要求2014年7月16日提交的日本專利申請?zhí)?014-146163的優(yōu)先權的權益,其內(nèi)容整個被并入于此。
農(nóng)業(yè)機械和農(nóng)場土地中的系統(tǒng)被描述在以上實施例中;然而,本發(fā)明不限于如上所述的具體實施例,在沒有背離本發(fā)明的范圍的情況下可進行變型和修改。