本發(fā)明涉及一種基于鼠腦海馬認知機理和情景認知記憶的機器人認知地圖構建及導航方法。依據(jù)哺乳動物的海馬認知機理，外界環(huán)境信息通過海馬體的空間細胞進行表達，該方法用于自主移動機器人在非結構化和多尺度環(huán)境下的導航。

背景技術：

智能移動機器人是能夠通過自身攜帶的傳感器感知外界未知環(huán)境和自身狀態(tài)，實現(xiàn)在有障礙物的環(huán)境中進行面向目標的自主壁障，從而完成一定作用功能的機器人系統(tǒng)。通常來說，移動機器人依靠傳感器在環(huán)境中按照既定的任務，完成從起點到目標點的移動，即解決“我在哪里？要到哪去？怎么去”三個基本問題。當機器人進入一個新的環(huán)境中時，機器人智能通過會對環(huán)境進行進一步的認知和學習，其方式是與環(huán)境進行交互、探索。當前移動機器人系統(tǒng)在基于貝葉斯概率算法的環(huán)境建圖及導航已有豐富的成果，如卡爾曼濾波、擴展卡爾曼濾波、粒子濾波、圖優(yōu)化等算法。但是受生物啟發(fā)的地圖構建方法和導航研究仍舊沒有掀起研究的熱潮。

人類以及哺乳動物擁有豐富的視覺、聽覺、味覺、嗅覺、觸覺等外界刺激，每時每刻都在接收者大量的感知數(shù)據(jù)。但是，他們卻總能用一種靈巧的方式對這些數(shù)據(jù)進行獲取和處理。尤其是人類大腦能從感知信息抽象出對環(huán)境整體的認知，形成一種理解和記憶，并根據(jù)這種記憶做出更復雜的活動。模仿大腦進行高效準確的對環(huán)境進行認知是人工智能領域的核心挑戰(zhàn)，研究生物大腦內部結構和信息處理回路也成為了人工智能領域的熱門方向。

根據(jù)生物認知環(huán)境的研究發(fā)現(xiàn)，哺乳動物(老鼠、人等)對外部世界的感知很大一部分是通過視覺信息從眼球傳入大腦。在大腦皮層中有一部分專門的區(qū)域(圖1大腦視覺區(qū)域)用來處理這些信息。這些信息被編碼之后會傳遞到大腦內的兩處腦區(qū)：一條通路通向腹側，被稱為腹側通路(ventralstream)，它沿著大腦皮層的枕顳葉分布，包括下顳葉、紋狀體皮層和前紋狀體皮層，主要功能是物體的識別，被稱為“what回路”；另一條通向背部，被稱為背側通路(dorsalstream)，沿著枕頂葉分布，包括紋狀體皮層、前紋狀體皮層、下頂葉。主要功能是對空間位置和運動信息的編碼，被稱為“where回路”。最終，兩條視覺通路在內嗅皮層和海馬體處進行了回合，將兩者的信息進行融合。

信息傳入之后哺乳動物(老鼠、人等)就可以對空間環(huán)境進行特定編碼，形成內在的神經表達，這種內在表達是一種認知地圖的體現(xiàn)。它解釋了生物是如何了解環(huán)境的，是一種外部環(huán)境的內部抽象描述。也就是說，外部環(huán)境在哺乳動物大腦皮層中的神經重現(xiàn)即是對外部環(huán)境的記憶。從1971年o’keefe和dostrovsky在海馬結構中發(fā)現(xiàn)了位置細胞(placecell)開始，科學家們又相繼發(fā)現(xiàn)了四種與導航相關的細胞。分別是：taube于1990年在后下托(postsubiculum)中發(fā)現(xiàn)的頭朝向細胞(headdirectioncell)；2005年，hafting和moser夫婦在內嗅皮層(entorhinalcortex)中發(fā)現(xiàn)的網格細胞(gridcell)；2009年，trygve等在海馬體中發(fā)現(xiàn)的邊界細胞(boundaryvectorcell)；2012年，o’keefe等人在旁下托和內嗅皮層中發(fā)現(xiàn)了有空間周期性條紋狀的放電野存在的條紋細胞(stripecells)。

頭朝向細胞(headdirectioncell)是一種頭朝向依賴性的神經元，它的放電只與頭在水平面的朝向有關。其在一個最佳朝向下的放電率為最大。可以表示為一個高斯模型。

條紋細胞(stripecells)是覆蓋在整個空間環(huán)境中的具有類似平行條紋狀放電野的細胞。它被譽為是完成路徑積分的基礎機制，其條紋間距、條紋野寬度、條紋相位、與其放電的頻率有密切的關系。

網格細胞(gridcell)是老鼠在二維空間中發(fā)生規(guī)律性發(fā)電的細胞。其放電野代表了對某一位置一小部分的環(huán)境表達，相當于空間環(huán)境中的一個網格節(jié)點處。在老鼠運動過程中，它的放電區(qū)域能遍布整個空間環(huán)境。每個網格細胞的基本空間參數(shù)為：間距、定向、位相、放電野大小。

位置細胞(placecell)是在海馬體ca1和ca3中在空間特定位置放電的細胞，其具有空間特異性。位置細胞的選擇性放電決定了它可以將大腦海馬體中的位置野與外界的特定空間位置映射起來。它是哺乳動物進行定位、環(huán)境認知、情景記憶、再現(xiàn)的重要元素。注意位置細胞可以對應多個位置野，當達到空間中特定的位置時，位置細胞會達到最大化的放電。

外部環(huán)境在哺乳動物大腦內是以前面提到的認知地圖的形式存在的。其表示方式是對外部環(huán)境的內部神經重現(xiàn)。鼠腦中的內嗅皮層和海馬體等結構是存儲這些外部環(huán)境內部重現(xiàn)的重要部分。海馬體會記錄下當前的位置信息以及基于視覺通路識別出來的物體信息，其具體存在形式是由網格細胞、位置細胞、邊界細胞共同形成的對環(huán)境外部的表達，自身位置的認知，以及物體存在識別的感知。這些會形成記憶，存儲在鼠腦的大腦皮層中形成永久性記憶。當老鼠進入陌生環(huán)境的時候，它會與環(huán)境進行自主交互、探索，完成對環(huán)境的認知和學習，從而使網格細胞、位置細胞、邊界細胞形成穩(wěn)定的響應區(qū)域。其功能通過視覺通路、內嗅皮層和海馬體之間的信息傳遞得以實現(xiàn)。來自視覺通路“where回路”的對外界感知的速度和方向信息與生物體內部頭朝向細胞和條紋細胞進行信息整合，獲取老鼠在當前環(huán)境中的相對位置。來自位置細胞的對當前環(huán)境的表達與來自視覺通路“what回路”的對外界環(huán)境物體的識別進行信息整合，完成老鼠對當前環(huán)境的情景認知，并形成相關記憶，與當前位置信息進行整合，整個視回路-內嗅皮層-海馬回路為空間記憶的動態(tài)表達提供了基礎。

本方法依據(jù)鼠腦海馬結構整個對外界環(huán)境的表達機制，結合深度相機采集的rgb-d圖進行機器人的認知地圖構建。其相比于傳統(tǒng)同時定位與地圖構建方法以及早期認知地圖構建方法，具有更精確的位置認知效果，更加完整的表達整個環(huán)境的信息，對硬件和傳感器的要求降低，具有豐富的擴展性以及定制性，準確高效的完成導航認知地圖構建任務。

技術實現(xiàn)要素：

本發(fā)明的目的是將基于鼠腦海馬的情景認知機理應用在移動機器人上，依靠較簡單的硬件平臺系統(tǒng)，在工廠、家庭、實驗室等室內環(huán)境和街道等室外環(huán)境，完成移動機器人對環(huán)境探索、空間認知定位、情景記憶的任務。

為實現(xiàn)上述目的，本發(fā)明采用的技術方案為一種基于鼠腦海馬的情景認知地圖構建及導航方法，更加具體地，該方法是一種基于鼠腦海馬認知機理的機器人室內空間情景認知地圖構建及導航方法，該方法依次按以下步驟實現(xiàn)：

步驟(1)構建基于鼠腦海馬認知機理的機器人室內情景認知地圖的前端信息輸入系統(tǒng)，該系統(tǒng)包括運動采集部件、運動部件、深度相機和中央處理系統(tǒng)；

運動采集部件包含：編碼器和電子羅盤；

編碼器用以采集機器人運動的速度信息；

電子羅盤用以采集機器人的運動方向角信息；

運動部件由控制機器人運動的電機驅動電路組成；

深度相機用以采集機器人運動的rgb圖像和深度圖像，以此來估算機器人基于視覺的運動速度和方向角信息。

中央處理系統(tǒng)即cpu設置在機器人內部。cpu設有機器人方向角信息輸入端、機器人速度信息輸入端、視頻流輸入端和電機運動控制信號輸入端，機器人方向角信息輸入端與電子羅盤輸出端相連，機器人速度信息輸入端與測速裝置輸出端相連，視頻流輸入端與機器人運動的rgb圖像和深度圖像相連，電機運動控制信號輸入端與電機驅動電路輸入端相連。

初始化系統(tǒng)之后，所述cpu中：

網格細胞層，對應于設在室內地面上的二維笛卡爾坐標上所有mg個坐標點組成的一個以矩陣形式表述的二維坐標點組成的矩陣，此時(x,y)坐標點對應的笛卡爾坐標系中的坐標。同時將網格細胞對應到二維坐標空間的網格點上，即一個網格細胞即對應著一個坐標點，坐標的原點對應于機器人運動時的初始點，設在網格角部，多個網格細胞放電域在一個坐標點上發(fā)生相互交疊時構成一個網格節(jié)點，x軸或y軸上的坐標點視為網格細胞在坐標點上的覆蓋，頭朝向細胞有其偏好位置放電率為最大。放電率為最大的位置為頭朝向的最大偏好位置。在這每個節(jié)點上會有若干個頭朝向細胞為其確定方向，確定方向的取值為0～360度。每個網格細胞節(jié)點綜合作用下的偏好方向就是機器人實際的運動方向。表現(xiàn)為通過放電率判斷網格細胞放電的方向，即相對于笛卡爾坐標系中的傾斜度。此時這個傾斜度即為機器人運動時的運動方向角。

條紋細胞在2012年被發(fā)現(xiàn)之后，科學家在內嗅皮層和傍下托皮層的放電采樣顯示，存在周期性的放電野細胞，其形狀猶如條紋一樣。條紋細胞已被證實是網格細胞之前的前一級皮層細胞，是網格細胞的基礎神經元。條紋細胞在動物特定方向上對位移的表征，即：間距、條紋寬度、條紋相位以及朝向；功能為：周期性編碼的放電細胞，負責對線速度進行路徑積分。系統(tǒng)將兩種細胞模型通過一維環(huán)狀吸引子模型進行建模。

與此同時，機器人會通過視覺信息跟蹤環(huán)境中的信息，以此來校正自己的自運動信息。通過對深度相機傳來的視頻流進行rgb圖和深度圖的特征提取之后，對特征進行跟蹤，通過計算視頻流中的每一幀之間的變換關系即得到位置與位置之間的變換矩陣t經過計算之后會得到機器人在環(huán)境基于視覺的運動方位角和運動速度。此時與自運動信息進行權值加權之后獲得校正之后的運動方位角和運動速度。

機器人在探索環(huán)境過程中，在時刻t，頭朝向細胞產生一個角度調節(jié)信號，其放電率是與運動方位角相關。條紋細胞產生一個速度調節(jié)信號，其放電率與頭朝向細胞的角度、相位、在頭朝向方向移動的速度相關。

步驟(2)系統(tǒng)依次按如下步驟處理機器人自運動信息和外界異構信息，即描述機器人的位置：

步驟(2.1)網格細胞吸引子由其遞歸的連接權值決定。網格細胞遞歸的連接權值又與條紋細胞的連接權值一起作用于整個網格細胞吸引子網絡。整個細胞建立模型使用二維連續(xù)吸引子模型。

步驟(2.2)位置細胞與位于內嗅皮質的網格細胞不同，位置細胞能夠對空間位置進行特征性的編碼，特征性的編碼是認知地圖的重要組成部分。位置細胞聯(lián)合響應產生了對一個環(huán)境空間的離散表達。當位置細胞在此處被激發(fā)的時候，將會在以異我為參考系下的當前位置，建立大腦中位置野與外界環(huán)境特定位置之間的映射關系。由于位置細胞的輸入即是網格細胞的輸出且網格細胞表征了哺乳動物的運動信息，所以位置細胞的放電活動即表征了哺乳動物的運動信息，表現(xiàn)為路徑積分系統(tǒng)的輸出。又位置細胞具有單峰型放電且網格細胞在同一位置細胞下有多個存在，所以網格細胞到位置細胞之間是存在一種網絡進行映射的。根據(jù)研究表明是一種競爭性的神經網絡，本質是基于heb學習的線性疊加方式。

步驟(2.3)位置細胞通過二維連續(xù)吸引子建模，構建對實際外界環(huán)境的度量模型，其作用是對外界環(huán)境相對位置進行度量。連續(xù)吸引子實際上是由神經板上的神經元通過局部興奮、抑制連接、全局抑制三種方式共同表達形成一個活動包?；顒影ㄟ^之前的頭朝向細胞、條紋細胞、網格細胞通過路徑積分來驅動。同時活動包也是構成之后認知地圖上的經驗激活點重要的組成部分?；顒影木唧w表示形式是一個二維高斯分布的放電模型，那么興奮性連接變化量具體表示形式是在空間中的位置細胞二維矩陣。大小代表著位置細胞神經板的邊界。由于步驟(1)中提到網格細胞與二維笛卡爾坐標系存在著對應關系，而且網格細胞作為位置細胞的輸入，通過路徑積分的形式來驅動，位置細胞的表現(xiàn)形式是放電，所以位置細胞的放電率以及放電野位置與實際環(huán)境的二維笛卡爾坐標也存在著對應關系。這種對應關系對下面的機器人處理外界環(huán)境信息和構建情景記憶地圖有重要作用。

步驟(2.4)基于位置細胞放電率的峰值設定一個探測閾值，其作用是當機器人到達該閾值之后，需要對環(huán)境進行異我信息的構建。此時將記錄由深度相機傳來的rgb圖和深度圖，對環(huán)境進行情景認知與記憶。

步驟(3)系統(tǒng)依次按如下步驟處理機器人情景記憶與外接異構信息，即描述機器人該位置的情景認知信息：

步驟(3.1)由步驟(2.4)確定位置細胞探測閾值，當超過探測閾值時，系統(tǒng)將此時的視覺模板即包含外界視覺圖像信息傳入至情景認知系統(tǒng)。情景認知系統(tǒng)是基于一個深度輕量級神經網絡的系統(tǒng)。此時，會根據(jù)之前訓練的樣本對環(huán)境中出現(xiàn)的信息進行搜索與識別，并通過一個矩形的方框將該物體框取出來。即確定相關物體在圖片中的方位。在閾值范圍內的若干個視覺模板中通過算法取合適的兩張rgb圖與深度圖，對矩形方框區(qū)域內的物體其進行特征提取，并通過深度相機計算該物體相對此刻機器人位置細胞放電野中心最大放電率的位置即角度和距離。并通過步驟(2.3)得到的位置細胞與二維笛卡爾坐標系的對應關系得出該物體在位置細胞野上的預估位置，這樣就將環(huán)境中的實際信息對應到情景認知地圖中。當給機器人發(fā)出指令尋找該物體時，機器人就通過情景認知地圖上的位置野找到其位置，并驅動機器人完成導航任務。

步驟(3.2)構建情景認知地圖。綜合步驟(2.3)、步驟(3.1)的機器人自運動信息和情景認知信息，構建情景認知地圖，構建情景認知地圖是一個個位置細胞位置野填滿認知區(qū)域、自運動信息、情景認知信息組成的綜合情景認知地圖。使機器人的導航具有智能性，完成更加高級的任務。

步驟(4)系統(tǒng)按照步驟(3)、步驟(4)識別到的位置和情景認知信息融合得到的情景認知地圖來進行具有智能性和高級性的導航任務：

步驟(4.1)機器人初始化，在認知地圖中重定位。

步驟(4.2)用戶給予機器人任務，任務為“我想要喝一杯水”。機器人將確定認知地圖中含有水杯信息的位置細胞位置野，并將其進行篩選，得到與當前機器人所在的位置細胞位置野最近的位置野。

步驟(4.3)設定行走路徑，途徑若干個位置細胞位置野。由于誤差的存在，需要對機器人位置進行校正，設定導航位置野放電閾值。當超過導航位置野放電閾值，即通過視覺信息對當前機器人位置進行校正。判斷是否偏離位置細胞放電野。若偏離，則進入重定位環(huán)節(jié)，并設定定位后的位置為起點，目標信息物體位置細胞位置野為終點進行導航；若沒有偏離，則按原路徑繼續(xù)行駛。

與現(xiàn)有技術相比較，本發(fā)明具有如下有益效果。

本發(fā)明公開了一種基于鼠腦海馬認知機理，應用在移動機器人室內工廠、家庭、實驗室；室外街道的情景認知地圖構建及導航方法。機器人可以自主的探索陌生環(huán)境，將環(huán)境信息變成機器人的情景認知地圖，根據(jù)認知地圖進而制定相應導航策略。對系統(tǒng)的硬件要求低，具有主動性和自適應性。

附圖說明

圖1是本發(fā)明的算法示意圖；

圖2是本發(fā)明的整個流程網絡及生成的導航認知地圖示意圖。圖3是本發(fā)明的硬件結構圖；

圖4是本發(fā)明的頭向細胞響應圖。圖4.1表示在二維笛卡爾坐標系內，頭向細胞對(0°～360°)方向上呈高斯放電。圖4.2表示當前老鼠朝向；

圖5是本發(fā)明的條紋細胞一維環(huán)狀吸引子模型。圖5.1為條紋細胞環(huán)狀吸引子模型的建模方式，圖5.2為條紋細胞的相位分布。

圖6本發(fā)明的網格細胞激活區(qū)域和位置細胞激活區(qū)域示意圖。圖6.1表示網格細胞在空間中的放電激活響應，圖6.2代表著一個位置細胞的在空間中的放電激活響應，可以看到網格細胞是呈正六邊形放電的形狀，將整個空間形成一個網格結構。當網格細胞放電固定下來之后位置細胞會在固定下的空間中進行競爭性激活，此時位置細胞對應空間中的一個特定位置區(qū)域。

圖7是本發(fā)明的網格細胞與位置細胞神經連接的示意圖；

圖8是本發(fā)明網格細胞神經元放電響應圖。

圖9是本發(fā)明的網格細胞在不同條紋細胞間距、定向、放電域下的響應。

圖10是本發(fā)明最終構建的情景認知地圖位置細胞放電率地圖。圖11是本發(fā)明模型的軌跡圖地圖；

圖12是本發(fā)明的實驗誤差曲線。

具體實施方式

下面結合附圖和實施例對本發(fā)明作進一步地說明：

本發(fā)明的實現(xiàn)方案是：

s1根據(jù)鼠腦海馬結構的認知模型，機器人cpu會初始化頭朝向細胞層h、條紋細胞層s、網格細胞層g和位置細胞層p，每個網格細胞單元具有不同的屬性，即間距、定向、相位，每一個位置細胞都是經過網格細胞競爭之后形成的，其代表不同的位置信息。不同的位置細胞對應不同的空間位置。同時，機器人會初始化外界異構信息的輸入源深度相機的rgb圖輸入和深度圖輸入，分別是image流和depth流；

s2機器人探索環(huán)境，機器人利用運動采集裝置分別采集運動方向φ”、速度v”作為輸入信息，輸入cpu；與此同時，cpu將處理image流和depth流，將兩者經過特征提取之后，計算幀與幀之間的位置關系，并使用t矩陣來表示。在通過換旋轉角旋轉向量與t矩陣的關系換算出運動方向φ'和速度v'。兩者進行加權之后獲得校正運動方位角φ和運動速度v。

s3網格細胞響應模型采用條紋細胞和頭朝向細胞聯(lián)合作用的連續(xù)吸引子模型，運動速度v決定了一維環(huán)狀吸引子模型有著周期性的放電采樣，而其條紋細胞放電的優(yōu)先朝向是由頭朝向細胞校正過后的φ決定。放電采樣沿著優(yōu)先朝向的投影來驅動一維連續(xù)吸引子運動。那么通過一維連續(xù)吸引子的積分確定了放電距離，其放電率由高斯模型表示。網格細胞接受一維環(huán)狀吸引子的前向投射，并確定了網格細胞層g的響應以及連接權值，作為位置細胞層p的輸入。位置細胞對空間進行特異性編碼，由網格細胞層g的遞歸連接權值決定。從網格細胞到位置細胞是一種網絡映射，是競爭性的神經網絡模型，其本質是heb學習的線性疊加方式隨著機器人探索進行，位置細胞層p依次激活，每個位置細胞對應空間特異性位置，并與網格細胞層g相連接，儲存相應的自運動信息和異構環(huán)境信息。

s4當位置細胞放電超過設定閾值時，需要進行異構環(huán)境信息的輸入存儲，形成該位置特異性情景記憶存儲。此時將視覺模板傳入基于深度輕量級神經網絡的系統(tǒng)，此時會根據(jù)訓練的樣本對環(huán)境中出現(xiàn)的信息進行搜索和識別，并用矩形方框將物體框取出來，即確定物體的方位。在閾值范圍內選取兩組對應的rgb圖和深度圖，對矩形方框區(qū)域進行特征提取，通過深度相機計算該物體相對機器人位置細胞放電野中心最大放電率的位置，并對應到認知地圖上的位置細胞位置野預估的位置。這樣就將環(huán)境中的實際信息對應到情景認知地圖中。

s5經過一段時間t探索，機器人將目標環(huán)境空間的所有路徑信息和情景認知信息遍歷之后，形成覆蓋整個環(huán)境的穩(wěn)定的位置細胞神經網絡系統(tǒng)，完成對環(huán)境的表達，同時對環(huán)境中特定位置存在的情景記憶記錄在其位置細胞放電野上，存儲在cpu中。機器人在導航中通過初始化位置，確定初始化位置細胞位置野pstart，并將終點確定為想要尋找的物體的位置細胞位置野pend，機器人自主的、智能的運動到目標位置。機器人通過讀取當前時間位置細胞響應pt，實現(xiàn)空間定位，進行運動決策，進而對電機輸出控制信號，使機器人完成相應動作。

具體實施方案如下：

基于鼠腦海馬認知機理的機器人室內情景認知地圖的前端信息輸入系統(tǒng)包括運動采集模塊、處理器、運動模塊和深度相機。運動采集模塊為電子羅盤，測速裝置。深度相機用于采集機器人運動的rgb圖像和深度圖像，以此來估算機器人基于視覺的運動速度和方向角信息。電子羅盤用于采集機器人方向信息，編碼器用于采集機器人的速度信息。探索過程中cpu設有與所述電子羅盤輸出端相連的機器人方向角信息輸入端，與所述的測速裝置輸出端相連的機器人速度信息輸入端，與機器人運動的rgb圖像和深度圖像的視頻流輸入端，以及與所述電機驅動電路輸入端相連電機運動控制信號輸入端。產生網格細胞、位置細胞響應，從而產生機器人空間認知地圖，并根據(jù)空間信息進行運動決策，cpu輸出電機驅動信號，驅動電機附帶的輪子運動，從而控制機器人的運動。

s1仿照鼠腦海馬認知機理，機器人cpu初始化為包含ag個網格細胞的網格細胞層g和包含bp個地點細胞的地點細胞層p，定義包含chd個頭向細胞層h，每個頭朝向細胞i有唯一基準偏好方向θb，ag個網格細胞響應具有不同的間距、定向、相位，每一個地點細胞都將單獨對應一個空間平面內一個位置，bp個位置細胞對應的地點各不相同。

初始化機器人平臺上的深度相機，將其傳輸?shù)膱D片流分為image流和depth流，對image流做灰度處理，并將圖片數(shù)值化做預處理。depth流做相應歸一化及數(shù)值化處理，確保深度圖與rgb圖一樣數(shù)值范圍為0-255。

s2機器人探索環(huán)境，電子羅盤模塊負責測出角度信息，編碼器負責測出速度信息，經過模數(shù)轉化，傳入cpu，即讀取到的運動方向θ″和速度v″。

在相同時間頻率內，通過image流和depth流預處理之后得到數(shù)值化矩陣，對其進行fast特征提取。當候選點周圍有足夠多的像素點與該候選點灰度值差別足夠大時，確定該特征點：

i(x)為圓周上任意一點灰度，i(p)為圓心灰度，εd為灰度值差的閾值。設定灰度值差的閾值為周圍圓圈點的四分之三，當n大于灰度值差的閾值時，則認為p是一個特征點。

同時，特征點提取完畢之后需要對特征點的位置、尺度、方位等信息進行編碼，形成特征描述算子，在這里使用brief特征算法：

在特征點周圍n×n大小范圍內的圖像區(qū)域p上定義τ操作：

其中，p(x)是像素點x的灰度值，對圖像灰度值進行高斯平滑處理。

然后在當前特征點上選取s個點對，(這里取得128)分別標記為：

p1(a,b)、p2(a,b)、p3(a,b)、p4(a,b)…p128(a,b)

分別對這些點對進行τ操作，這樣就得到了一串二進制字符串。

基于fast特征提取算法及brief描述算子的分析之后，在灰度質心法中加入了方向性，即在特征提取中確定閾值為εd＝9，同時采用harris角點檢測，定義一個圖像區(qū)域的矩：

此時，可得到該區(qū)域的質心：

其中fast角點的坐標為(x,y),圓形鄰域半徑為r，(x,y)的取值范圍為[-r,r],c即是圖像區(qū)域的質心，那么向量的方向θ即為fast特征點的方向：

θ＝arctan(m01,m10)∈[-π,π]

測試集中選取一塊32×32像素區(qū)域，每個測試點的子窗口為5×5。每個測試點都由該式表示：

然后，通過對圖像中的測試點特征進行hamming距離匹配，使用hamming距離判斷特征點的相似性。但直接使用會產生誤匹配，所以為了消除誤匹配，采用ransac去除誤匹配算法。具體流程是：

(1)對于測試點集p，設至少需要m個樣本估算，且size(p)＞m,則隨機生成p的一個子集d，為初始化步驟。

(2)將剩下的集合中元素值與上次迭代求得的模型t進行比較，若差值比預設的閾值t小，則將元素加入集合d中，形成內點集d′。

(3)如果size(d′)≥t_best，則認為模型是正確的，此時利用d重新計算t，并通過(2)(3)迭代。

(4)當采樣次數(shù)達到k時，算法停止，給出估算模型。

通過上述算法將image流和depth流中的點成功配對之后，就根據(jù)幀與幀之間的運動關系來確定運動角度和運動速度。在這里需要從剛才提取出的特征集中選取至少6對點集進行pnp算法位姿求解?？紤]空間點p＝(x,y,z,1)^t。圖像i1中投影到特征點x1＝(u1,v1,1)^t。相機位姿r,t是未知的。由相機模型可得：

又另：

t1＝(t1,t2,t3,t4)^t,t2＝(t5,t6,t7,t8)^t,t3＝(t9,t10,t11,t12)^t

所以有以下兩個約束：

因為選取的是6對點集，故得到：

通過這6組匹配的點集即可就得r^3×3,t^3×1矩陣，即相機位姿的旋轉平移矩陣，然后代入羅德里格斯公式得運動角度為：

又有機器人是勻速運動狀態(tài)，所以運動速度為：

所以，以此綜合自運動信息θ″,v″,和通過視覺信息處理得到的v′，θ′進行加權之后，得到校正過后的θ，v。加權公式為：

θ＝θ″+αθ′,v＝v″+αv′(α∈(0,1))

s3頭朝向細胞對于動物的運動有重要的意義，頭朝向細胞當且僅當面向其偏好角度時有最大的放電率。初始時，設定偏好角度為0°，那么頭朝向細胞在水平角為0°時具有max放電率。所有頭朝向細胞聯(lián)合響應，決定了機器人水平方向的表達。

基于生理學研究事實，得到頭朝向細胞對于速度信號的調節(jié)方程為：

其中，第i個頭朝向細胞在t時刻產生的信號由主要朝向θb和角偏移量θi產生響應。是頭朝向傳遞矩陣，θb是頭朝向細胞的主要朝向，通常設定為θb＝0°，θi是第i個頭向細胞的偏移量，取值范圍0°<θi<360°。

在形成網格細胞層之前，條紋細胞被編碼為特定方向上的位移，其放電活動是一個周期性重置編碼的過程，并負責對線速度進行路徑積分。首先定義偏好方向δ，放電相位β，放電周期為f，那么在t時刻機器人沿θ(t)方向上的移動速度為v(t),那么沿著δ方向的速度為：

vθ(t)＝cos(δ-θ(t))v(t)

此時，對其路徑積分可得沿δ上的位移：

條紋細胞放電率表示為：

其中條紋細胞重置距離為：sθ(t)＝(rθ(t)-β)modf

經過初步整合之后，網格細胞將受網格細胞之間遞歸權值以及來自條紋細胞的前向投射的影響。首先，網格細胞之間的遞歸權值為：

網格細胞連接權值表現(xiàn)為一個墨西哥帽狀的分布，然后將經過初步整合的運動信息代入網格細胞響應方程，進行進一步整合，生成網格細胞響應。其中，γ＝1.05β，λnet為神經片上網格的生成周期。權值a決定是否是網格細胞抑制性響應。

網格細胞響應的動力學公式為：

當前神經元i狀態(tài)為si，是從j到i的抑制性輸入，fθ(t)即是來自條紋細胞的前向性輸入。

位置細胞的放電是由網格細胞的輸出，即路徑積分系統(tǒng)的輸出所決定的。這里利用heb學習規(guī)則構建了競爭性神經網絡模型，尋找網格細胞活動的集合，從而獲得位置細胞的活動：

式中，α表示學習率，pi表示位置細胞放電率，sj表示網格細胞放電率，cgrid表示網格細胞抑制水平，網格細胞抑制水平由網格細胞平均放電率確定。位置細胞的活動式表示網格細胞激活率、網格細胞抑制率兩者和突觸連接強度之間的關系。如果激活大于抑制，則突觸連接變強，否則變弱。

多個位置細胞集群活動為：

a是位置細胞的增益，cplace是位置細胞抑制常量。通過上述競爭性算法，確保將少部分網格細胞集群形成位置細胞。

為了實現(xiàn)位置細胞放電率的具體表現(xiàn)，在這里對位置細胞進行二維連續(xù)吸引子建模，假設位置細胞二維矩陣大小為在(x,y)上的nx，ny，相對位置坐標由下式決定：

m＝(x-i)(modnx)

n＝(y-j)(modny)

在機器人路徑積分之后位置細胞的放電率為：

其中由下面的公式表達：

其中αmn由以下公式表達：

αmn＝h(δxf,m-δx0)h(δyf,n-δy0)

網格細胞到位置細胞模型中，其移動來自于路徑積分，可以看到δx0，δy0是坐標系下向下取整的偏轉量，由v和θ共同作用得到。km，kn是積分常量，是θi的單位向量。該式表達了路徑積分下位置細胞的移動。其具體是一個二維高斯函數(shù)分布。

s4由位置細胞活動pi放電率公式得，位置細胞高斯分布是一個二維高斯函數(shù)，根據(jù)經驗，設定放電閾值r＝0.8。當pi＞0.8時，將記錄下image流和depth流中的rgb圖和深度圖，首先對當前朝向的rgb圖進行預處理和步驟s2中的特征提取，將在閾值內連續(xù)記錄10個穩(wěn)定的特征點的(x,y,z)3d點的信息，形成mappointpij，其中i為第i個位置細胞，j為第i個位置細胞中的第j個特征點。然后使用一種改進的fast-rcnn輕量級深度卷積神經網絡(已訓練好的)對圖片中的場景進行分類識別，在cpuintele5-2683gpunvidiatitanxubuntu14.04環(huán)境下以fps30幀實時識別，準確率和實時性都非常高。首先將整張圖片輸入進cnn網絡，進行特征提取，然后生成建議窗口，每張圖片有300個建議窗口，同時把建議窗口映射到cnn最后一層featuremap上，并通過roipooling層使每個roi生成固定尺寸的featuremap，最后利用softmaxloss和smoothl1loss函數(shù)對分類概率和邊框回歸進行聯(lián)合訓練，并用邊框回歸值校正候選窗口生成預測窗口坐標。該網絡能成功分割出物體oi所在圖像位置的矩形區(qū)域。令相鄰兩幀中的相同區(qū)域為r1，r2，對其中r1，r2區(qū)域進行步驟s2中的特征提取。另使用深度相機對r1區(qū)域進行坐標變化，得到此時機器人與識別物體oi的距離：

看到，zc為相機坐標下物體的深度，左側zc是由于在測距時相機坐標系和世界坐標系是重合的，所以zc＝zw，又fc/dx，fc/dy是相機內參，所以得圖像二維點到三維點變換為：

所以物體距離相機的距離d：

其中fc是相機的焦距。

通過頭朝向細胞到條紋細胞層到網格細胞層并競爭出位置細胞層看出，網格細胞呈正六邊形分布，是一個高斯激活放電狀態(tài)，前面條紋細胞重置距離為sθ(t)，所以令：

d＝γsθ(t)

此時，γ代表著物體與相機位置之間在認知地圖上的放電距離，其單位是網格細胞間的間距。當機器人達到設定放電閾值的時候，機器人會進入記錄循環(huán)，將自動將識別物體r1的區(qū)域對準到攝像機鏡頭中央，記錄下此時的角度θ，距離d，這樣就完成從實際位置距離到情景認知地圖上位置的轉換。如果當前觀測物體物體在循環(huán)內通過2次最大放電率，則跳出對該物體記錄的循環(huán)，并比較兩次測量位置的距離與角度，若通過構建三角形相交之后的點誤差e＞0.1sθ(t)，則使用一個直徑為誤差的圓來代替目標位置，并在地圖上標出該物體位置；若誤差e＜0.1sθ(t)，則無需構建誤差圓。

機器人在當前位置，計算p(t)判斷此位置是否已儲存，若p(t)＞0，則當前位置已儲存，此時位置細胞已經存儲進該位置的情景記憶信息，機器人可以定位當前位置。若p(t)≤0，則沒有位置細胞與該位置進行匹配，需激活一個位置細胞，此時該位置細胞響應為p(t)＝1，并將該處位置細胞與網格細胞通過s3中的競爭性神經網絡連接起來，令位置細胞的期望響應為pe(t)＝1，e(t)代表地點細胞期望響應pe(t)與實際響應p(t)之間的誤差，公式為：

e(t)＝pe(t)-p(t)

設定最小誤差e∈(0,0.02)，若誤差e(t)＜e，則說明誤差在允許范圍內，機器人繼續(xù)沿著設定路線運動；若e(t)＞e，則依下式修正權值ω：

δω＝αe(t)g(k)

ωnew＝ωold+δω

其中，δω代表權值的改變量，初始值為單位矩陣，ωold和ωnew表示改變前和改變后的權值。α∈(0,1)。繼續(xù)權值直到誤差在允許范圍內之后，機器人繼續(xù)沿著設定路線運動。

s5隨著機器人探索進行，位置細胞層的位置細胞依次被激活，每個位置細胞對應空間特定位置，并與網格細胞層對應一個競爭性神經網絡，儲存環(huán)境信息，同時在該位置細胞放電閾值處會對環(huán)境進行情景記憶，記錄下識別物體的位置信息，完成對環(huán)境的認知。經過一段時間t探索，機器人基本走完空間內通過的路徑，形成覆蓋環(huán)境的位置細胞-網格細胞響應的情景認知地圖。地圖以細胞響應和情景記憶為表達，機器人完成空間認知。

s5.1機器人初始化并開始導航任務

s5.2情景認知地圖中重定位，首先機器人進入地圖中最近的一個位置細胞野中，通過特征提取找到mappointpij，并通過sim3算法計算出相應的r旋轉矩陣和t平移向量，這樣就能準確的重定位到距離最近的位置細胞放電野中心位置。

其中sim3算法即為找到空間中n對匹配點，并對看到這n對匹配點的兩個位姿相機建立坐標系：

然后將矩陣n進行特征值分解，n的最小特征值對應特征向量就是帶求的四元數(shù)。在通過：

q＝cos(θ/2)+nsin(θ/2)

四元數(shù)轉到歐拉角就可以求得旋轉角度θ。這樣就可以將機器人此時的位置與距離最近的位置細胞放電野中心位置的相對位置關系對應起來，即得到機器人重定位在認知地圖上的位置。

s5.3用戶給予機器人任務，如“我想要喝一杯水”。機器人將確定認知地圖中含有水杯信息的位置細胞位置野，并將其進行篩選，得到與當前機器人所在的位置細胞位置野最近的位置野.

s5.4設定行走路徑，途徑若干個位置細胞位置野。由于誤差的存在，需要對機器人位置進行校正，設定導航位置野放電閾值enav。當超過閾值enav，即通過視覺信息對當前機器人位置進行校正。判斷是否偏離位置細胞放電野。若偏離，則進入重定位環(huán)節(jié)，并設定定位后的位置為起點，目標信息物體位置細胞位置野為終點進行導航；若沒有偏離，則按原路徑繼續(xù)行駛。

圖1是本發(fā)明的算法示意圖；

圖2是本發(fā)明的整個流程網絡及生成的導航認知地圖示意圖。分別對應了頭朝向細胞，條紋細胞，網格細胞，位置細胞再到生成認知地圖整個流程，其中通過一維吸引子建模、二維吸引子建模、競爭性神經網絡等。地圖中粗圓圈代表位置細胞放電響應位置，幾個多邊形表示在位置細胞上通過視覺信息生成的場景認知信息的表達；

圖3是本發(fā)明的硬件結構圖；

圖4是本發(fā)明的頭向細胞響應圖，其中圖4.1可見在二維笛卡爾坐標系內，頭向細胞對(0°～360°)方向上呈高斯放電，并對應圖4.2中老鼠移動方向。圖4.2表示當前老鼠朝向；

圖5是本發(fā)明的條紋細胞一維環(huán)狀吸引子模型。可以看到圖5.1為條紋細胞環(huán)狀吸引子模型的建模方式，圖5.2為條紋細胞的相位分布。

圖6本發(fā)明的網格細胞激活區(qū)域和位置細胞激活區(qū)域示意圖，圖上的運動軌跡代表著實際老鼠運動軌跡，實點是代表著細胞在該位置的響應。圖6.1表示網格細胞在空間中的放電激活響應，圖6.2代表著一個位置細胞的在空間中的放電激活響應，可以看到網格細胞是呈正六邊形放電的形狀，將整個空間形成一個網格結構。當網格細胞放電固定下來之后位置細胞會在固定下的空間中進行競爭性激活，此時位置細胞對應空間中的一個特定位置區(qū)域。

圖7是本發(fā)明的網格細胞與位置細胞神經連接的示意圖，網格細胞與位置細胞同屬于神經細胞，由細胞體和突起構成，突起是由細胞體延伸出來的細長部分，分為樹突和軸突。較長的突起稱為軸突，每個神經細胞只有一個軸突，可以把信號從胞體傳送到另一個神經元或其他組織，較短的突起每個神經細胞可以有一或多個樹突，可以接受刺激并將興奮傳入細胞體；

圖8是本發(fā)明網格細胞神經元放電響應圖，該圖是在條紋間距為13的情況下得到的神經元放電響應?？梢钥吹骄W格細胞活動的放電響應圖可以完整覆蓋整個空間，同時能夠形成對環(huán)境的六邊形放電野，說明了網格細胞模型具有準確的路徑積分功能。

圖9是本發(fā)明的網格細胞在不同條紋細胞間距、定向、放電域下的響應。實驗設定8組不同的參數(shù)，由具有差異的條紋細胞間距前向輸入產生的網格細胞放電響應圖；

圖10是本發(fā)明最終構建的情景認知地圖位置細胞放電率地圖。圖中圓圈代表該點的放電率，可以看到實驗室圍繞著兩塊區(qū)域做8字型運動，圓圈密度越高，其放電率越高。在軌跡左上角和中間有兩個獨立的圓圈，這代表通過輕量級深度卷積神經網絡識別出了物體，并計算出該物體的位置；

圖11是本發(fā)明模型的軌跡圖地圖；

圖12是本發(fā)明的實驗誤差曲線，可以看到隨著實驗進行誤差逐漸下降，達到設計要求。