本發(fā)明涉及遠程控制技術領域，具體涉及一種主從遙視系統(tǒng)。

背景技術：

隨著計算機網(wǎng)絡、遠程控制，以及攝像頭硬件等技術的不斷發(fā)展及應用，遠程控制系統(tǒng)已經(jīng)逐漸成為人類社會經(jīng)濟生活中不可缺少的一部分，例如遠程視頻會議、虛擬旅游、虛擬課堂、遠程醫(yī)療等。上述遠程控制系統(tǒng)具有良好的即時性，極大地降低了地理距離對人類生產(chǎn)生活的限制，但就目前而言，這些系統(tǒng)大都功能比較單一，各自存在弊端，比如，有些系統(tǒng)是基于二維平面的，不具有臨場感，有些系統(tǒng)中攝像頭的焦距只能通過人為手動或通過控制按鈕進行調(diào)整，由于人為因素，使得調(diào)整過程存在“理想”與“現(xiàn)實”的偏差，導致交互過程中用戶的滿意度下降，又有些系統(tǒng)攝像頭之間的距離是固定的，這樣形成的三維畫面縱深度不可調(diào)，導致拍攝的遠處視頻畫面立體感差。

技術實現(xiàn)要素：

有鑒于此，為解決上述問題，本發(fā)明實施例提供了一種主從遙視系統(tǒng)，同時實現(xiàn)了攝像頭模組的運動與使用者的頭部自然運動同步和三維沉浸式遠程遙視，以及用眼動控制雙攝像頭焦距和間距。

本發(fā)明提供了一種主從遙視系統(tǒng)，包括網(wǎng)絡連接的虛擬現(xiàn)實頭盔和視頻采集終端，視頻采集終端，用于利用雙攝像頭模組采集兩路視頻信息，并發(fā)送給虛擬現(xiàn)實頭盔，同時接收來自虛擬現(xiàn)實頭盔的控制指令，完成相應動作；虛擬現(xiàn)實頭盔，用于接收兩路視頻信息，并通過顯示器進行三維視頻顯示，同時利用眼動儀采集眼部運動信息，生成相應的控制指令，發(fā)送給視頻采集終端；所述控制指令包括針對調(diào)焦電機的調(diào)焦指令，以及針對間距調(diào)整機構的間距調(diào)整指令，所述控制指令包括針對調(diào)焦電機的調(diào)焦指令，以及針對間距調(diào)整機構的間距調(diào)整指令。

根據(jù)本發(fā)明提供的主從遙視系統(tǒng)，視頻采集終端的雙攝像頭模組對應人的雙眼，一方面雙攝像頭模組的左、右攝像頭分別采集具有視差的視頻信息，該具有視差的視頻信息通過遠程虛擬現(xiàn)實頭盔的顯示器進行顯示，最終在人腦中呈現(xiàn)三維立體畫面，實現(xiàn)了三維沉浸式遠程觀測，增強臨場感；另一方面，視頻采集終端的雙攝像頭的焦距調(diào)整和間距調(diào)整均與使用者的眼部運動信息同步，避免了手動調(diào)整帶來的誤差，極大地滿足了用戶的體驗需求，同時通過對焦距和間距的調(diào)整，實現(xiàn)了可調(diào)的觀測范圍，以及固定觀測范圍中可調(diào)的畫面縱深度，提高了用戶體驗滿意度。

附圖說明

圖1所示為本發(fā)明一實施例提供的主從遙視系統(tǒng)的結構框圖。

圖2所示為本發(fā)明一實施例提供的間距調(diào)整機構的結構示意圖。

圖3所示為本發(fā)明另一實施例提供的主從遙視系統(tǒng)的結構框圖。

具體實施方式

下面將結合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領域普通技術人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。

本發(fā)明提供了一種主從遙視系統(tǒng)，包括網(wǎng)絡連接的作為主部的虛擬現(xiàn)實頭盔和作為從部的視頻采集終端，其中，視頻采集終端，用于利用雙攝像頭模組采集兩路視頻信息，并發(fā)送給虛擬現(xiàn)實頭盔，同時根據(jù)接收到的來自虛擬現(xiàn)實頭盔的調(diào)焦指令控制雙攝像頭的調(diào)焦電機動作，以及根據(jù)間距調(diào)整指令控制間距調(diào)整機構動作；虛擬現(xiàn)實頭盔，用于接收兩路視頻信息，并進行三維視頻顯示，同時采集眼部運動信息，生成相應的調(diào)焦指令和間距調(diào)整指令，發(fā)送給視頻采集終端。

根據(jù)本發(fā)明提供的主從遙視系統(tǒng)，可以呈現(xiàn)三維遙視視頻畫面，實現(xiàn)了三維沉浸式視覺體驗。與此同時，視頻采集終端的雙攝像頭的焦距調(diào)整和間距調(diào)整均與使用者的眼部運動信息同步，避免了手動調(diào)整帶來的誤差，極大地滿足了用戶的體驗需求，同時通過對焦距和間距的調(diào)整，實現(xiàn)了可調(diào)的觀測范圍，以及固定觀測范圍中可調(diào)的畫面縱深度，提高了用戶體驗滿意度。

在一個實施例中，虛擬現(xiàn)實頭盔，進一步用于利用頭部動作跟蹤器采集頭部動作信息，生成動作變化調(diào)整指令；視頻采集終端，進一步用于接收所述動作變化調(diào)整指令，并根據(jù)所述動作變化調(diào)整指令控制云臺完成相應動作。進一步提高主從遙視系統(tǒng)的自動化程度。

下面通過具體實例詳細描述本發(fā)明的主從遙視系統(tǒng)。

圖1所示為本發(fā)明一實施例提供的主從遙視系統(tǒng)的結構框圖。從圖中可以看出，該主從遙視系統(tǒng)包括網(wǎng)絡連接的虛擬現(xiàn)實頭盔10和視頻采集終端20，其中，虛擬現(xiàn)實頭盔10包括處理器11，以及分別與處理器11數(shù)據(jù)連接的顯示器12、第一網(wǎng)絡傳輸單元13、眼動儀14；視頻采集終端20包括依次數(shù)據(jù)連接的雙攝像頭模組22、第二網(wǎng)絡傳輸單元23、控制器21，以及分別與控制器21數(shù)據(jù)連接的調(diào)焦電機24和間距調(diào)整機構25。具體地，視頻采集終端20，用于利用雙攝像頭模組22采集兩路視頻信息，并發(fā)送給虛擬現(xiàn)實頭盔10，同時根據(jù)接收到的來自虛擬現(xiàn)實頭盔10的調(diào)焦指令控制雙攝像頭的調(diào)焦電機24動作，以及根據(jù)間距調(diào)整指令控制間距調(diào)整機構25動作；虛擬現(xiàn)實頭盔10，用于接收兩路視頻信息，并進行三維視頻顯示，同時采集眼部運動信息，生成相應的調(diào)焦指令和間距調(diào)整指令，發(fā)送給視頻采集終端20。

在一個實施例中，顯示器12包括對應人雙眼的雙顯示屏，雙顯示屏與雙攝像頭模組22中的兩個攝像頭一一對應組成兩個彼此獨立的數(shù)據(jù)傳輸鏈路。

這種情況下，根據(jù)本發(fā)明實施方式的主從遙視系統(tǒng)實現(xiàn)三維畫面遠程遙視的過程具體為：雙攝像頭模組22的左、右攝像頭分別采集具有視差的兩路外界視頻信息，并分別通過各自的傳輸鏈路，即分別經(jīng)過第二網(wǎng)絡傳輸單元23發(fā)送給遠端的虛擬現(xiàn)實頭盔10，虛擬現(xiàn)實頭盔10通過第一網(wǎng)絡傳輸單元13分別接收該具有視差的兩路外界視頻信息，并行送入處理器11進行處理，處理之后的兩路外界視頻信息分別通過左、右顯示屏顯示，這樣，人的左、右眼分別接收左、右顯示屏的具有視差的外界視頻畫面，通過大腦的作用，實現(xiàn)三維立體顯示。

在一個實施例中，顯示器12包括一塊三維顯示屏，雙攝像頭模組22作為一個整體與該三維顯示屏組成一條數(shù)據(jù)傳輸鏈路。

這種情況下，根據(jù)本發(fā)明實時方式的主從遙視系統(tǒng)實現(xiàn)三維畫面遠程遙視的過程具體為：雙攝像頭模組22的左、右攝像頭分別采集具有視差的兩路外界視頻信息，并依次經(jīng)過第二網(wǎng)絡傳輸單元23發(fā)送給遠端的虛擬現(xiàn)實頭盔10，虛擬現(xiàn)實頭盔10通過第一網(wǎng)絡傳輸單元13依次接收該具有視差的兩路外界視頻信息，傳輸?shù)教摂M現(xiàn)實頭盔10的處理器11后，經(jīng)過三維圖像運算處理過程生成對應三維顯示器類型的三維視頻數(shù)據(jù)，最后通過三維顯示器顯示。本發(fā)明對三維顯示器的類型不作限定，只要保證經(jīng)過三維圖像運算處理過程生成的三維視頻數(shù)據(jù)文件能夠在三維顯示器中正常顯示即可，例如可以是視察擋板法顯示器、透鏡陣列顯示器、指向光源顯示器中的任一種。

眼動儀是一種在醫(yī)療領域使用頻率極高的設備，可以對眼動軌跡進行記錄，并從眼動軌跡中提取諸如視點、注視時間和次數(shù)、眼跳距離、瞳孔大小等數(shù)據(jù)。本發(fā)明利用眼動儀14采集到的信息生成相應的調(diào)焦指令和間距調(diào)整指令，分別用于控制雙攝像頭模組22的調(diào)焦電機和間距調(diào)整機構動作，從而實現(xiàn)對雙攝像頭的調(diào)焦操作和調(diào)間距操作。

具體的，眼動儀14可以實施為一個內(nèi)置攝像頭和一個眼動數(shù)據(jù)處理單元的組合。為了確保檢測數(shù)據(jù)的準確性，可以進一步包括一個與處理器通信連接的紅外線攝像頭，用于輔助捕捉眼動信息。

在一個實施例中，眼動儀14用于分別采集左、右眼的瞳孔大小變化信息。該左、右眼的瞳孔大小變化信息分別用于生成對應雙攝像頭模組22中的左、右攝像頭的調(diào)焦指令。其控制原理可以是，瞳孔大小與攝像頭焦距正相關。在另一個實施例中，眼動儀14用于分別采集左、右眼的眨眼次數(shù)信息。這種情況下，可以設置與眨眼次數(shù)相匹配的檔位，根據(jù)眨眼次數(shù)來控制攝像頭焦距的調(diào)整幅度。通過對雙攝像頭焦距的調(diào)節(jié)過程，可以根據(jù)人的主觀意愿選擇觀看視野范圍內(nèi)的近處畫面或者遠處畫面。

考慮到，雙攝像頭間距一定的情況下，拍攝畫面的縱深度不可調(diào)。這種情況下，當物體距離攝像頭越遠時，雙攝像頭拍攝畫面的視差會越小，使得物體呈現(xiàn)的三維效果越差。為了使距離攝像頭較遠的物體也能夠?qū)崿F(xiàn)較好的三維顯示效果，需要使得雙攝像頭間距可調(diào)。

在一個實施例中，眼動儀14進一步用于分別采集左、右眼眼球的運動軌跡信息。該左、右眼眼球的運動軌跡信息用于生成雙攝像頭模組的間距調(diào)整信息，其控制過程，例如可以是，左、右眼球同步左移，增大雙攝像頭模組的間距；左、右眼球同步右移，縮小雙攝像頭模組的間距。

本領域技術人員可以理解，由于眼動儀14可輸出如上所述的多種眼動數(shù)據(jù)，因此在實際應用過程中到底采用哪種眼動數(shù)據(jù)作為生成調(diào)焦指令和調(diào)間距指令的基礎，可以根據(jù)實際情況人為選擇，上述給出的眼動儀具體采集的眼動信息，以及給出的相應的控制策略都是示例性的，對此不予限定。

間距調(diào)整機構25，可以是電致伸縮結構、壓力伸縮結構、液力伸縮結構等，雙攝像頭模組22的兩個攝像頭分別固定在間距調(diào)整機構25的兩端，在間距調(diào)整命令的控制下通過伸縮實現(xiàn)間距調(diào)整。下面通過一個具體的間距調(diào)整機構25來說明本發(fā)明主從遙視系統(tǒng)對雙攝像頭間距的調(diào)整過程。

圖2所示為本發(fā)明一實施例提供的間距調(diào)整機構的結構示意圖。如圖2所示，該間距調(diào)整機構包括殼體01、固定凸臺03和調(diào)節(jié)器04。其中，控制器21和第二網(wǎng)絡傳輸單元23設置在殼體內(nèi)，調(diào)節(jié)器04為伸縮管結構，在中部的固定管兩端，沿固定管延伸方向各設置一組依次套接的中空連桿，固定管的中心固定在固定凸臺03上。在調(diào)節(jié)器04的兩端分別固定一個攝像頭06。

其實現(xiàn)雙攝像頭模組間距調(diào)整的過程為：當?shù)诙W(wǎng)絡傳輸單元接收到來自虛擬現(xiàn)實頭盔10的間距調(diào)整指令后，將該指令上傳給控制器21，控制器21控制調(diào)節(jié)器04兩端的中空連桿縮短或伸長，從而帶動固定于兩端的攝像頭靠近或遠離，來實現(xiàn)雙攝像頭間距的調(diào)整。

通過對雙攝像頭間距的調(diào)節(jié)過程，即便是拍攝遠處畫面，也可以實現(xiàn)良好的三維顯示效果。

在一個實施例中，雙攝像頭模組22采用3D雙目攝像頭。優(yōu)選地，3D雙目攝像頭中的每一個采用廣角攝像頭，來擴大視域。

連接虛擬現(xiàn)實頭盔10和視頻采集終端20的網(wǎng)絡，可以是有線類型，也可以是無線類型。在一個實施例中，連接虛擬現(xiàn)實頭盔10和視頻采集終端20的無線網(wǎng)絡為藍牙、wifi、Zigbee、GPRS中的任一種。

根據(jù)本實施方式的主從遙視系統(tǒng)，視頻采集終端20的雙攝像頭模組22對應人的雙眼，一方面雙攝像頭模組22的左、右攝像頭分別采集具有視差的視頻信息，該具有視差的視頻信息通過遠程虛擬現(xiàn)實頭盔的顯示器進行顯示，最終在人腦中呈現(xiàn)三維立體畫面，實現(xiàn)了三維沉浸式遠程觀測，增強臨場感；另一方面，根據(jù)使用者的眼動信息同步調(diào)整雙攝像頭模組22中攝像頭的焦距以及雙攝像頭之間的間距，提高控制準確度。

圖3所示為本發(fā)明另一實施例提供的主從遙視系統(tǒng)的結構框圖。從圖中可以看出，根據(jù)本實施例的主從遙視系統(tǒng)相比于圖1所示的主從遙視系統(tǒng)而言，虛擬現(xiàn)實頭盔10進一步包括與處理器11數(shù)據(jù)連接的頭部動作跟蹤器15；相應地，視頻采集終端20進一步包括與控制器21數(shù)據(jù)連接的云臺26。

頭部動作跟蹤器15，用于采集頭部動作信息，生成動作變化調(diào)整指令。該頭部動作信息包括頭部運動軌跡和/或頭部姿態(tài)角信息。根據(jù)本發(fā)明的頭部動作跟蹤器15可以是光學式、機械式、電磁式、聲學式、視頻式、慣性式中的任一種。

在一個實施例中，采用慣性式頭部動作跟蹤器，該慣性式頭部動作跟蹤器包括加速度計、陀螺儀、磁場計傳感器中的一種或多種。

云臺26，是指光學設備底部和固定支架連接的轉(zhuǎn)向軸，用于根據(jù)頭部動作跟蹤器15生成的動作變化調(diào)整指令完成相應動作。在本發(fā)明的一個實施例中，采用三軸自穩(wěn)云臺。該三軸自穩(wěn)云臺包括六個自由度，具體為前后、上下及左右三個移動和前后、上下級左右三面旋轉(zhuǎn)。與此同時，還可以對拍攝畫面進行補償，避免因使用環(huán)境的晃動造成畫面不穩(wěn)定。

根據(jù)本實施例的主從遙視系統(tǒng)的工作過程，與圖1所示的主從遙視系統(tǒng)比較而言，進一步包括雙目攝像頭模組22動作變化調(diào)整過程，這一過程是通過云臺實現(xiàn)的，其具體為：虛擬現(xiàn)實頭盔10的頭部動作跟蹤器15捕捉頭部運動軌跡和/或頭部姿態(tài)角信息，并上傳給處理器11，該頭部運動軌跡和/或頭部姿態(tài)角信息經(jīng)過處理器11的處理，轉(zhuǎn)換成相應的動作變化調(diào)整指令，該動作變化調(diào)整指令通過第一網(wǎng)絡傳輸單元13以最小的時延發(fā)送給視頻采集終端20；視頻采集終端20通過第二網(wǎng)絡傳輸單元23接收該動作變化調(diào)整指令，并發(fā)送給控制器21，控制器21根據(jù)該動作變化調(diào)整指令控制云臺26動作，間接實現(xiàn)對雙攝像頭模組22的動作調(diào)整。

根據(jù)本實施例的主從遙視系統(tǒng)在使用時，頭部動作跟蹤器可以追蹤使用者頭部的運動(包括頭部運動軌跡和/或頭部姿態(tài)角信息)，并根據(jù)頭部的運動信息生成相應的動作變化信息來控制云臺運動，使得云臺26的動作與使用者頭部自然動作保持一致，控制靈敏度高。由于雙攝像頭模組22是固定在云臺26上的，這樣，就間接實現(xiàn)了對雙攝像頭模組22的動作調(diào)整。

以上所述僅為本發(fā)明的較佳實施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換等，均應包含在本發(fā)明的保護范圍之內(nèi)。