本公開內(nèi)容涉及注視估計(jì)。更具體地，本公開內(nèi)容總體上涉及一種用于至少部分地基于注視估計(jì)來監(jiān)測(cè)車輛的駕駛員的系統(tǒng)和方法。

背景技術(shù)：

1、注視估計(jì)是通過分析人的眼睛的位置和運(yùn)動(dòng)來預(yù)測(cè)人的注視方向的過程。它涉及使用計(jì)算機(jī)視覺技術(shù)來檢測(cè)和跟蹤眼睛，并且然后通常使用機(jī)器學(xué)習(xí)算法來分析眼睛運(yùn)動(dòng)以確定和/或預(yù)測(cè)人正在看何處。注視估計(jì)在各種領(lǐng)域具有應(yīng)用，包括人機(jī)交互或注意力計(jì)算、虛擬/增強(qiáng)現(xiàn)實(shí)、以及健康或廣告研究。

2、注視估計(jì)的一個(gè)應(yīng)用是在駕駛員監(jiān)測(cè)系統(tǒng)(dms)的背景下，這些駕駛員監(jiān)測(cè)系統(tǒng)允許監(jiān)測(cè)車輛的駕駛員，例如，如果駕駛員沒有看著道路，則提醒駕駛員，由此提高駕駛員和車輛周圍人員的安全性。這種監(jiān)測(cè)通常是如此完成的：使用駕駛員的注視估計(jì)結(jié)合關(guān)于汽車幾何結(jié)構(gòu)的信息(比如汽車中擋風(fēng)玻璃、儀表盤、屏幕、后視鏡等的位置)以確定駕駛員正在看何處。這通常作為相對(duì)簡單的注視-對(duì)象映射來完成，這可以由本領(lǐng)域普通技術(shù)人員并且使用已知技術(shù)來實(shí)現(xiàn)。

3、然而，在車輛中經(jīng)常存在注視確定降級(jí)的情況。注視確定降級(jí)的一些示例包括當(dāng)眼睛上方存在強(qiáng)烈的陽光時(shí)，當(dāng)駕駛員戴著深色太陽鏡時(shí)，當(dāng)存在高頭部角度時(shí)(即，在用于注視跟蹤的相機(jī)中僅看到的一只眼睛的一部分)。通常，通過對(duì)駕駛員的眼睛是否“足夠”可見進(jìn)行分類來管理這些情況，也就是說，獲得注視的二元質(zhì)量信號(hào)，該信號(hào)指示注視確定是否可用。

技術(shù)實(shí)現(xiàn)思路

1、在一些方面，本文描述的技術(shù)涉及一種系統(tǒng)，該系統(tǒng)被配置為基于車輛的駕駛員的注視來提供駕駛員分心信號(hào)和/或提供指示駕駛員分心信號(hào)的可靠性的系統(tǒng)降級(jí)信號(hào)。該系統(tǒng)包括處理器和存儲(chǔ)器，該存儲(chǔ)器包括可由該處理器執(zhí)行的指令。該系統(tǒng)被配置為：接收車輛的駕駛員的多個(gè)圖像，其中，這些圖像包含指示駕駛員的注視的信息；針對(duì)每個(gè)圖像確定駕駛員的注視區(qū)域，其中，該注視區(qū)域包括注視點(diǎn)和注視不確定性值；針對(duì)每個(gè)圖像，將注視區(qū)域與車輛周圍的多個(gè)區(qū)域中的區(qū)域相關(guān)聯(lián)，其中，該多個(gè)區(qū)域包括至少一個(gè)預(yù)定義注意力集中區(qū)域和至少一個(gè)預(yù)定義注意力不集中區(qū)域；基于針對(duì)多個(gè)圖像所確定的注視區(qū)域、所確定的注視不確定性值、以及車輛的相關(guān)聯(lián)區(qū)域來確定駕駛員分心級(jí)別和/或指示駕駛員分心級(jí)別的可靠性的系統(tǒng)降級(jí)級(jí)別；并且輸出駕駛員分心信號(hào)和/或系統(tǒng)降級(jí)信號(hào)，其中，該駕駛員分心信號(hào)指示所確定的駕駛員分心級(jí)別，并且該系統(tǒng)降級(jí)信號(hào)指示所確定的系統(tǒng)降級(jí)級(jí)別。

2、在一個(gè)實(shí)施例中，注視區(qū)域是概率分布，其中，注視點(diǎn)是概率分布的平均值，并且注視不確定性值是概率分布的標(biāo)準(zhǔn)偏差。

3、在一個(gè)實(shí)施例中，駕駛員分心級(jí)別基于注視區(qū)域的哪些部分分別落入注意力集中區(qū)域和注意力不集中區(qū)域內(nèi)。

4、在一個(gè)實(shí)施例中，當(dāng)注視區(qū)域的很大一部分落入注意力不集中區(qū)域內(nèi)時(shí)獲得高駕駛員分心級(jí)別，并且當(dāng)注視區(qū)域的很大一部分落入注意力集中區(qū)域內(nèi)時(shí)獲得低駕駛員分心級(jí)別。

5、在一個(gè)實(shí)施例中，該系統(tǒng)進(jìn)一步被配置為：為分心信號(hào)和系統(tǒng)降級(jí)信號(hào)設(shè)置一個(gè)或多個(gè)閾值信號(hào)值，以分別指示駕駛員分心的一個(gè)或多個(gè)級(jí)別和系統(tǒng)降級(jí)的一個(gè)或多個(gè)級(jí)別。

6、在一個(gè)實(shí)施例中，該系統(tǒng)進(jìn)一步被配置為：將駕駛員分心信號(hào)分類為以下類別之一：注意力集中、分心、降級(jí)和不確定；并且將所確定的可靠性與所確定的類別相關(guān)聯(lián)。

7、在一個(gè)實(shí)施例中，使用基于機(jī)器學(xué)習(xí)的注視估計(jì)算法來確定注視區(qū)域。

8、在一個(gè)實(shí)施例中，該系統(tǒng)進(jìn)一步被配置為基于所輸出駕駛員分心信號(hào)和/或系統(tǒng)降級(jí)信號(hào)來控制車輛的裝置。

9、在一些方面，本文描述的技術(shù)涉及一種方法，該方法用于基于車輛的駕駛員的注視來提供駕駛員分心信號(hào)和/或提供指示駕駛員分心信號(hào)的可靠性的系統(tǒng)降級(jí)信號(hào)，該方法包括：接收車輛的駕駛員的多個(gè)圖像，其中，這些圖像包含指示駕駛員的注視的信息；針對(duì)每個(gè)圖像確定駕駛員的注視區(qū)域，其中，該注視區(qū)域包括注視點(diǎn)和注視不確定性值；針對(duì)每個(gè)圖像，將注視區(qū)域與車輛周圍的多個(gè)區(qū)域中的區(qū)域相關(guān)聯(lián)，其中，該多個(gè)區(qū)域包括至少一個(gè)預(yù)定義注意力集中區(qū)域和至少一個(gè)預(yù)定義注意力不集中區(qū)域；基于針對(duì)多個(gè)圖像所確定的注視區(qū)域、所確定的注視不確定性值、以及車輛的相關(guān)聯(lián)區(qū)域來確定駕駛員分心級(jí)別和/或指示駕駛員分心級(jí)別的可靠性的系統(tǒng)降級(jí)級(jí)別；以及輸出駕駛員分心信號(hào)和/或系統(tǒng)降級(jí)信號(hào)，其中，該駕駛員分心信號(hào)指示所確定的駕駛員分心級(jí)別，并且該系統(tǒng)降級(jí)信號(hào)指示所確定的系統(tǒng)降級(jí)級(jí)別。

10、在一些方面，本文描述的技術(shù)涉及一種計(jì)算機(jī)程序，包括指令，這些指令當(dāng)在至少一個(gè)處理器上執(zhí)行時(shí)使該至少一個(gè)處理器執(zhí)行該方法。計(jì)算機(jī)程序產(chǎn)品可以由編碼有指令的非暫態(tài)計(jì)算機(jī)可讀介質(zhì)來實(shí)施，這些指令使位于所述類型的系統(tǒng)中的至少一個(gè)計(jì)算機(jī)硬件設(shè)備中的一個(gè)或多個(gè)硬件處理器執(zhí)行所討論的方法步驟。

11、在一些方面，本文描述的技術(shù)涉及一種眼動(dòng)跟蹤系統(tǒng)，該眼動(dòng)跟蹤系統(tǒng)被配置為基于注視來提供駕駛員分心信號(hào)。

12、在一些方面，本文描述的技術(shù)涉及一種包括該系統(tǒng)的車輛。

技術(shù)特征：

1.一種系統(tǒng)，所述系統(tǒng)被配置為基于車輛的駕駛員的注視來提供駕駛員分心信號(hào)和/或指示所述駕駛員分心信號(hào)的可靠性的系統(tǒng)降級(jí)信號(hào)，所述系統(tǒng)包括：

2.如權(quán)利要求1所述的系統(tǒng)，其中，所述注視區(qū)域是概率分布，其中，所述注視點(diǎn)是所述概率分布的平均值，并且所述注視不確定性值是所述概率分布的標(biāo)準(zhǔn)偏差。

3.如權(quán)利要求2所述的系統(tǒng)，其中，所述駕駛員分心級(jí)別基于所述注視區(qū)域的哪些部分分別落入注意力集中區(qū)域和注意力不集中區(qū)域內(nèi)。

4.如權(quán)利要求3所述的系統(tǒng)，其中，當(dāng)所述注視區(qū)域的很大一部分落入注意力不集中區(qū)域內(nèi)時(shí)獲得高駕駛員分心級(jí)別，并且當(dāng)所述注視區(qū)域的很大一部分落入注意力集中區(qū)域內(nèi)時(shí)獲得低駕駛員分心級(jí)別。

5.如權(quán)利要求1所述的系統(tǒng)，其中，所述系統(tǒng)進(jìn)一步被配置為：

6.如權(quán)利要求1所述的系統(tǒng)，其中，所述系統(tǒng)進(jìn)一步被配置為：

7.如權(quán)利要求1所述的系統(tǒng)，其中，使用基于機(jī)器學(xué)習(xí)的注視估計(jì)算法來確定所述注視區(qū)域。

8.如權(quán)利要求1所述的系統(tǒng)，其中，所述系統(tǒng)進(jìn)一步被配置為基于所輸出的所述駕駛員分心信號(hào)和/或所述系統(tǒng)降級(jí)信號(hào)來控制所述車輛的裝置。

9.一種用于基于車輛的駕駛員的注視來提供駕駛員分心信號(hào)和/或指示所述駕駛員分心信號(hào)的可靠性的系統(tǒng)降級(jí)信號(hào)的方法，所述方法包括：

10.一種計(jì)算機(jī)程序，所述計(jì)算機(jī)程序包括指令，所述指令當(dāng)在至少一個(gè)處理器上執(zhí)行時(shí)使所述至少一個(gè)處理器執(zhí)行如權(quán)利要求9所述的方法。

11.一種眼動(dòng)跟蹤系統(tǒng)，所述眼動(dòng)跟蹤系統(tǒng)被配置為根據(jù)如權(quán)利要求9所述的方法基于車輛的駕駛員的注視來提供駕駛員分心信號(hào)。

12.一種車輛，所述車輛包括如權(quán)利要求1至8中任一項(xiàng)所述的系統(tǒng)。

技術(shù)總結(jié)
一種方法和裝置，包括計(jì)算機(jī)程序，用于基于車輛的駕駛員的注視來提供駕駛員分心信號(hào)和/或提供指示駕駛員分心信號(hào)的可靠性的系統(tǒng)降級(jí)信號(hào)。接收車輛的駕駛員的圖像，這些圖像包含指示駕駛員的注視的信息。針對(duì)每個(gè)圖像，確定駕駛員的注視區(qū)域，該注視區(qū)域包括注視點(diǎn)和注視不確定性值。針對(duì)每個(gè)圖像，將注視區(qū)域與車輛周圍的若干區(qū)域中的區(qū)域相關(guān)聯(lián)，其中，這些區(qū)域包括至少一個(gè)預(yù)定義注意力集中區(qū)域和至少一個(gè)預(yù)定義注意力不集中區(qū)域。基于針對(duì)多個(gè)圖像所確定的注視區(qū)域、注視不確定性值、以及前述區(qū)域，確定駕駛員分心級(jí)別和/或指示駕駛員分心級(jí)別的可靠性的系統(tǒng)降級(jí)級(jí)別。輸出指示所確定的駕駛員分心級(jí)別和/或系統(tǒng)降級(jí)級(jí)別的駕駛員分心信號(hào)和/或系統(tǒng)降級(jí)信號(hào)。

技術(shù)研發(fā)人員：彼得·阿爾馬西,尼克拉斯·奧爾森,安金·加布里埃爾·亞歷山大·圣地亞哥,奧斯卡·諾德馬克
受保護(hù)的技術(shù)使用者：托比股份公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19