專利名稱：信息處理系統(tǒng)、會議管理裝置、信息處理方法、會議管理裝置的控制方法以及程序的制作方法
技術領域：
本發(fā)明涉及能夠合成現(xiàn)實空間的影像和計算機圖形(graphics)圖像數(shù)據(jù)來重疊顯示的增強現(xiàn)實(Augmented Reality、以下稱為AR)。另外，所謂AR，是將文字、圖形、靜止畫面、動畫等通過計算機管理的數(shù)據(jù)(以下稱為計算機圖形圖像數(shù)據(jù))與現(xiàn)實的環(huán)境重疊顯示，提供補充信息的技術。
背景技術：
已知與TV會議系統(tǒng)或Web會議系統(tǒng)等遠距離地點間的成員之間共享信息的會議支持軟件相關的技術(例如參照非專利文獻1)。當利用TV會議系統(tǒng)時，遠距離地點間的會議參加者彼此面對面地進行會議，能夠與在一個房間(會議室)內進行會議相同地面對面進行會議。而且，在Web會議系統(tǒng)中，共享資料等遠距離地點之間的意思溝通的幅度變寬， 在遠距離地點之間的會議更順利。此外，已知有使用白板的Web會議系統(tǒng)(例如參照非專利文獻幻。這是將使用電子筆寫在白板上的信息顯示在遠距離地點的白板上的會議支持系統(tǒng)?，F(xiàn)有技術文獻非專利文獻非專利文獻1 V-cube 公司“Nice to meet you，，、因特網(wǎng) <http//nice2meet. us>非專利文獻2 日立軟件 “StarBoard”、因特網(wǎng) <http //www. hitachi joho. com/ solution/network/jp-tv/starboard. html>

發(fā)明內容
發(fā)明要解決的課題但是，這些現(xiàn)有技術能夠在遠距離地點間的成員之間共享信息，但為此的環(huán)境被固定。例如發(fā)生如下的因環(huán)境而引起的制約a在被設置在A地點的TV會議系統(tǒng)(χ)下，b 在被設置在B地點的TV會議系統(tǒng)(y)下。從而，無法實現(xiàn)無論成員在什么地方都如在相同空間內進行會議那樣的狀況。因此，本發(fā)明的目的在于，即使參加會議的成員位于物理上不同的場所，也不受各場所的環(huán)境的制約地支持會議的順利化。用于解決課題的手段本發(fā)明的信息處理系統(tǒng)，具備多個增強現(xiàn)實感提示裝置，其能夠合成顯示現(xiàn)實空間的影像和計算機圖形圖像數(shù)據(jù)；會議管理裝置，其管理成為合成顯示計算機圖形圖像數(shù)據(jù)的對象的各用戶的顯示介質，該信息處理系統(tǒng)的特征在于，所述多個增強現(xiàn)實感提示裝置具備第一生成單元，其生成用戶的顯示介質的圖像數(shù)據(jù)，并發(fā)送給所述會議管理裝置； 以及第二生成單元，其生成所述用戶的針對會議的提示信息，并發(fā)送給所述會議管理裝置， 所述會議管理裝置具備第一管理單元，其管理各用戶和該各用戶使用的顯示介質的圖像數(shù)據(jù)的對應關系；第二管理單元，其管理從所述多個增強現(xiàn)實感提示裝置接收的、針對會議的提示信息；核對單元，其通過比較在所述第一管理單元中管理的數(shù)據(jù)、和從所述增強現(xiàn)實感提示裝置接收的所述顯示介質的圖像數(shù)據(jù)以及所述用戶的對應關系，進行所述顯示介質的核對；以及發(fā)送單元，其在所述顯示介質的核對成功的情況下，將在所述第二管理單元中管理的針對會議的提示信息發(fā)送給所述增強現(xiàn)實感提示裝置，所述增強現(xiàn)實感提示裝置還具備提示單元，該提示單元將表示針對會議的提示信息的計算機圖形圖像數(shù)據(jù)與現(xiàn)實空間中的所述顯示介質的影像合成之后進行提示。本發(fā)明的會議管理裝置，與多個增強現(xiàn)實感提示裝置能夠通信地連接，管理成為合成顯示計算機圖形圖像數(shù)據(jù)的對象的各用戶的顯示介質，所述多個增強現(xiàn)實感提示裝置能夠合成顯示現(xiàn)實空間的影像和表示各用戶的針對會議的提示信息的計算機圖形圖像數(shù)據(jù)，該會議管理裝置的特征在于，具備第一管理單元，其管理所述各用戶和所述各用戶使用的顯示介質的圖像數(shù)據(jù)的對應關系；第二管理單元，其管理從所述多個增強現(xiàn)實感提示裝置接收的、用戶的針對會議的提示信息；核對單元，其通過比較在所述第一管理單元中管理的數(shù)據(jù)、和從所述增強現(xiàn)實感提示裝置接收的所述用戶的顯示介質的圖像數(shù)據(jù)以及所述用戶的對應關系，進行所述顯示介質的核對；以及發(fā)送單元，其在所述顯示介質的核對成功的情況下，將在所述第二管理單元中管理的、針對會議的提示信息發(fā)送給所述增強現(xiàn)實感提示裝置。本發(fā)明的信息處理方法，是通過信息處理系統(tǒng)執(zhí)行的信息處理方法，所述信息處理系統(tǒng)具備能夠合成顯示現(xiàn)實空間的影像和計算機圖形圖像數(shù)據(jù)的多個增強現(xiàn)實感提示裝置、以及管理成為合成顯示計算機圖形圖像數(shù)據(jù)的對象的各用戶的顯示介質的會議管理裝置，該信息處理方法的特征在于，包含以下步驟所述多個增強現(xiàn)實感提示裝置，生成用戶的顯示介質的圖像數(shù)據(jù)，并發(fā)送給所述會議管理裝置的第一生成步驟；以及所述多個增強現(xiàn)實感提示裝置，生成所述用戶的針對會議的提示信息，并發(fā)送給所述會議管理裝置的第二生成步驟，所述會議管理裝置，通過比較在第一管理單元中管理的數(shù)據(jù)、和從所述增強現(xiàn)實感提示裝置接收的所述顯示介質的圖像數(shù)據(jù)以及所述用戶的對應關系，進行所述顯示介質的核對的核對步驟，其中，所述第一管理單元管理各用戶和該各用戶使用的顯示介質的圖像數(shù)據(jù)的對應關系；以及所述會議管理裝置，在所述顯示介質的核對成功的情況下，將在所述第二管理單元中管理的針對會議的提示信息發(fā)送給所述增強現(xiàn)實感提示裝置的發(fā)送步驟，其中，所述第二管理單元管理從所述多個增強現(xiàn)實感提示裝置接收的針對會議的提示信息，還包含所述增強現(xiàn)實感提示裝置將表示針對會議的提示信息的計算機圖形圖像數(shù)據(jù)與現(xiàn)實空間中的所述顯示介質的影像合成之后進行提示的提示步驟。本發(fā)明的會議管理裝置的控制方法，是與多個增強現(xiàn)實感提示裝置能夠通信地連接，管理成為合成顯示計算機圖形圖像數(shù)據(jù)的對象的各用戶的顯示介質的會議管理裝置的控制方法，所述多個增強現(xiàn)實感提示裝置能夠合成顯示現(xiàn)實空間的影像和表示各用戶的針對會議的提示信息的計算機圖形圖像數(shù)據(jù)，所述會議管理裝置的控制方法的特征在于，包含以下步驟核對步驟，其通過比較在第一管理單元中管理的、所述各用戶和所述各用戶使用的顯示介質的圖像數(shù)據(jù)的對應關系、和從所述增強現(xiàn)實感提示裝置接收的、所述用戶的顯示介質的圖像數(shù)據(jù)以及所述用戶的對應關系，進行所述顯示介質的核對；以及發(fā)送步驟， 其在所述顯示介質的核對成功的情況下，將在第二管理單元中管理的、從所述多個增強現(xiàn)實感提示裝置接收的用戶的針對會議的提示信息發(fā)送給所述增強現(xiàn)實感提示裝置。本發(fā)明的程序，是用于使計算機執(zhí)行會議管理裝置的控制方法的程序，所述會議管理裝置與多個增強現(xiàn)實感提示裝置能夠通信地連接，管理成為合成顯示計算機圖形圖像數(shù)據(jù)的對象的各用戶的顯示介質，所述多個增強現(xiàn)實感提示裝置能夠合成顯示現(xiàn)實空間的影像和表示各用戶的針對會議的提示信息的計算機圖形圖像數(shù)據(jù)，所述程序的特征在于， 使計算機執(zhí)行如下的步驟核對步驟，其通過比較在第一管理單元中管理的、所述各用戶和所述各用戶使用的顯示介質的圖像數(shù)據(jù)的對應關系、和從所述增強現(xiàn)實感提示裝置接收的、所述用戶的顯示介質的圖像數(shù)據(jù)以及所述用戶的對應關系，進行所述顯示介質的核對； 以及發(fā)送步驟，其在所述顯示介質的核對成功的情況下，將在第二管理單元中管理的、從所述多個增強現(xiàn)實感提示裝置接收的用戶的針對會議的提示信息發(fā)送給所述增強現(xiàn)實感提示裝置。發(fā)明效果根據(jù)本發(fā)明，即使參加會議的成員位于物理上不同的場所，也能夠不受各場所的環(huán)境的制約地支持會議的順利化。


圖1是概略地表示本發(fā)明的實施方式的會議管理系統(tǒng)的結構的圖。圖2是表示會議管理服務器的功能性的結構的圖。圖3是表示HMD以及小型攝像機的功能性的結構的圖。圖4是表示會議管理服務器的硬件結構的圖。圖5是表示HMD以及小型攝像機的硬件結構的圖。圖6是表示本發(fā)明的實施方式的會議管理系統(tǒng)中的顯示介質的登錄處理的流程圖。圖7A是表示本發(fā)明的實施方式的會議管理系統(tǒng)中的邏輯對象登錄處理的流程圖。圖7B是表示本發(fā)明的實施方式的會議管理系統(tǒng)中的邏輯對象的發(fā)送處理以及AR 顯示處理的流程圖。圖8A是表示顯示介質上的邏輯對象的AR顯示例的圖。圖8B是表示顯示介質上的邏輯對象的AR顯示例的圖。圖8C是表示顯示介質上的邏輯對象的AR顯示例的圖。圖9是表示顯示介質上的邏輯對象的AR顯示例的圖。圖10是表示顯示介質上的邏輯對象的AR顯示例的圖。
具體實施例方式以下，參照附圖詳細說明應用了本發(fā)明的優(yōu)選實施方式。圖1是概略地表示本發(fā)明的實施方式的會議管理系統(tǒng)的結構的圖。如圖1所示， 本實施方式的會議管理系統(tǒng)經(jīng)由無線通信線路連接了會議管理服務器100、小型攝像機 202a c以及HMD (Head Mounted Display) 201a C。會議管理服務器100具備管理各用戶的顯示介質的顯示介質管理數(shù)據(jù)庫101、對與現(xiàn)實空間中的各顯示介質的影像合成顯示的邏輯對象進行管理的邏輯對象管理數(shù)據(jù)庫102。另外，所謂邏輯對象，是寫入了在各用戶間共享的信息的計算機圖形圖像數(shù)據(jù)，有包含通過被檢測出的用戶的寫入動作的軌跡而表示的圖形、記號、文字等的對象、或包含通過小型攝像機20 c的攝像而得到的圖像的計算機圖形圖像數(shù)據(jù)等。HMD201a c是眼鏡型的物體，被佩戴在用戶A C的頭部。 HMD201a c在與光學地透射之后在HMD201a c的鏡片部分呈現(xiàn)的現(xiàn)實空間的影像匹配的位置上顯示邏輯對象，由此演出被增強的現(xiàn)實感。在以下的說明中，有時將賦予這樣被增強的現(xiàn)實感的邏輯對象的合成顯示稱為AR(增強現(xiàn)實Augmented Reality)顯示。此外，小型攝像機20 c以能夠以接近用戶A C的視野的視角對圖像數(shù)據(jù)進行攝像的方式被安裝在HMD201a c上。被攝像的圖像數(shù)據(jù)經(jīng)由無線通信線路發(fā)送到會議管理服務器100。 另外，HMD中有非透射型、視頻透射型、光學透射型等各種方式。合成顯示(AR顯示)是指通過任意一種方式對于在HMD的鏡片部分呈現(xiàn)的現(xiàn)實空間的影像，在匹配的位置重疊顯示計算機圖形圖像數(shù)據(jù)，例如，如果是光學透射型方式，則與透視看到的現(xiàn)實空間的影像重疊顯示，如果是視頻透射型，則與通過視頻攝像機拍攝的現(xiàn)實空間的影像重疊顯示。用戶A C在參加會議之前選擇要在會議中使用的顯示介質。所謂顯示介質，是成為對邏輯對象進行AR顯示的對象的、存在于現(xiàn)實空間中的物體。在此，假定用戶A將大學筆記本302的封面選擇為顯示介質，用戶B將筆記本PC303的蓋子選擇為顯示介質，用戶 C將手冊304的雙聯(lián)頁選擇為顯示介質。作為顯示介質，理想的是盡量有平面形狀，但可以并不是特別限定的形狀，而能夠選擇任意形狀的物體。當用戶A C選擇顯示介質時，通過小型攝像機20 c對顯示介質302 304進行攝像，進行用于將顯示介質302 304的圖像數(shù)據(jù)登錄在會議管理服務器100中的操作。由此，顯示介質302 304的圖像數(shù)據(jù)被發(fā)送給會議管理服務器100。會議管理服務器100將接收到的顯示介質302 304的圖像數(shù)據(jù)與用戶名A C對應起來，在顯示介質管理數(shù)據(jù)庫101中進行管理。另外，從顯示介質 302 304的圖像數(shù)據(jù)的標題信息取得用戶名A C。以后在用戶A C參加會議時，將自己所選擇的顯示介質302 304收納在小型攝像機20 c的視角內。由此，顯示介質302 304的圖像數(shù)據(jù)被發(fā)送給會議管理服務器100。會議管理服務器100從接收到的圖像數(shù)據(jù)的標題信息取得用戶名，判定在顯示介質管理數(shù)據(jù)庫101中是否管理接收到的圖像數(shù)據(jù)和從該圖像數(shù)據(jù)的標題信息取得的用戶名的對應關系。在管理接收到的圖像數(shù)據(jù)和從該圖像數(shù)據(jù)的標題信息取得的用戶名的對應關系的情況下，用戶的顯示介質的核對成功。當用戶的顯示介質的核對成功時，會議管理服務器100將在邏輯對象管理數(shù)據(jù)庫102中管理的邏輯對象發(fā)送給該用戶的HMD。HMD從會議管理服務器100接收邏輯對象，并將接收到的邏輯對象的計算機圖形圖像數(shù)據(jù)與現(xiàn)實空間中的顯示介質的影像合成來進行AR顯示。另外，在本實施方式中，作為進行AR顯示的設備的AR顯示設備的例子，列舉了眼鏡型的HMD201a c，但是并不限于此。例如可以是在液晶顯示器等中顯示通過攝像機拍攝的現(xiàn)實空間的影像，在所顯示的現(xiàn)實空間的影像上合成顯示計算機圖形圖像數(shù)據(jù)的便攜終端型的AR顯示設備，也可以是被設置在移動車輛的駕駛席的視線方向上，對于光學地透射而呈現(xiàn)出的現(xiàn)實空間的影像合成顯示計算機圖形圖像數(shù)據(jù)的平視顯示器型的AR顯示設備。此外，在與現(xiàn)實空間的影像匹配地顯示計算機圖形圖像數(shù)據(jù)時，進行現(xiàn)實空間的影像中的對象和計算機圖形圖像數(shù)據(jù)的坐標匹配。對通過攝像機拍攝的現(xiàn)實空間的圖像數(shù)據(jù)進行解析，由此檢測出現(xiàn)實空間的對象的位置，以與所檢測出的位置匹配的方式合成計算機圖形圖像數(shù)據(jù)。尤其在本實施方式中，進行在現(xiàn)實空間中的顯示介質的影像上重疊顯示邏輯對象的坐標匹配。作為其他坐標匹配的方法，可以在現(xiàn)實空間的物體上附加標識，通過攝像機來拍攝該標識，根據(jù)拍攝到的圖像數(shù)據(jù)檢測該標識的位置，以與檢測出的位置匹配的方式合成計算機圖形圖像數(shù)據(jù)。而且，還可以根據(jù)HMD的位置(緯度、經(jīng)度)和姿勢(方向、 仰角)，推定佩戴了 HMD的用戶正在看現(xiàn)實空間的哪里，以與推定出的位置匹配的方式合成計算機圖形圖像數(shù)據(jù)。伴隨著會議的進行，通過用戶A C的HMD201a c以及小型攝像機20 c生成表示議論的內容的邏輯對象。當生成邏輯對象時，邏輯對象每次被發(fā)送到會議管理服務器100。當接收了邏輯對象時，會議管理服務器100將作為邏輯對象的發(fā)信者的名稱的用戶名、以及表示生成邏輯對象的日期時間的時間戳和邏輯對象對應起來，在邏輯對象數(shù)據(jù)庫 102中進行管理。另外，能夠從發(fā)送邏輯對象時的發(fā)送數(shù)據(jù)的標題信息中取得用戶名?？梢酝瑯拥貜陌l(fā)送數(shù)據(jù)的標題信息中取得該發(fā)送數(shù)據(jù)的生成日期時間并將其作為時間戳，也可以將該發(fā)送數(shù)據(jù)的接收日期時間作為時間戳。如上所述，在用戶的顯示介質的核對成功時，會議管理服務器100將在邏輯對象管理數(shù)據(jù)庫102中管理的邏輯對象發(fā)送給該用戶的HMD201a C。邏輯對象的發(fā)送，在該邏輯對象被登錄在邏輯對象管理數(shù)據(jù)庫102中的時刻進行。由此保證會議的實時性。圖2是表示會議管理服務器100的功能性的結構的圖。在圖2中，顯示介質圖像數(shù)據(jù)登錄/核對部103，在參加會議前登錄顯示介質時，接收通過小型攝像機20 c拍攝的顯示介質的圖像數(shù)據(jù)，與用戶名對應起來登錄在顯示介質管理數(shù)據(jù)庫101中。此外，在參加會議時核對顯示介質時，顯示介質圖像數(shù)據(jù)登錄/核對部103接收同樣通過小型攝像機 20 c拍攝的顯示介質的圖像數(shù)據(jù)，并判定在顯示介質管理數(shù)據(jù)庫101中是否管理該圖像數(shù)據(jù)和被記錄在該圖像數(shù)據(jù)的標題信息中的用戶名的對應關系，由此進行顯示介質的核對。邏輯對象登錄/讀出部104，當從各用戶的HMD201a c接收邏輯對象時，將接收到的邏輯對象登錄在邏輯對象管理數(shù)據(jù)庫102中。此外，通過顯示介質圖像數(shù)據(jù)登錄/核對部103核對顯示介質302 304時，邏輯對象登錄/讀出部104從邏輯對象管理數(shù)據(jù)庫 102讀出邏輯對象并發(fā)送給顯示介質的核對已成功的用戶的HMD201a C。當從未圖示的 PC或便攜終端接收了檢索條件時，邏輯對象檢索部105從邏輯對象管理數(shù)據(jù)庫102中檢索符合檢索條件的邏輯對象。例如，在檢索條件中指定了日期時間的情況下，檢索與所指定的日期時間相應的時間戳的邏輯對象，在檢索條件中指定了發(fā)信者的情況下，檢索所指定的發(fā)信者的邏輯對象。之后，邏輯對象檢索部105向發(fā)行了檢索條件的PC或便攜終端發(fā)送檢索出的邏輯對象。通過本功能，能夠用作用于事后檢索需要的邏輯對象來回顧會議內容的會議記錄。圖3是表示HMD201a c以及小型攝像機20 c的功能性的結構的圖。在圖3中，顯示介質圖像數(shù)據(jù)生成部203是相當于小型攝像機20 c的結構，通過攝像來生成顯示介質的圖像數(shù)據(jù)并發(fā)送給會議管理服務器100。邏輯對象生成部204是相當于 HMD201a c以及小型攝像機20 c的結構，通過小型攝像機20 c來對用戶的寫入動作進行拍攝，根據(jù)拍攝的圖像數(shù)據(jù)檢測出寫入動作的軌跡，生成包含與檢測出的軌跡對應的圖形、記號、文字等的邏輯對象，或者生成包含通過小型攝像機20 c的攝像處理而得到的靜止畫面數(shù)據(jù)或運動圖像數(shù)據(jù)的邏輯對象，或者通過對用戶的發(fā)言進行語音分析來把發(fā)言內容變換成文字數(shù)據(jù)，生成包含變換后的文字數(shù)據(jù)的邏輯對象。之后，邏輯對象生成部204將生成的邏輯對象發(fā)送給會議管理服務器100。增強現(xiàn)實感提示部205從會議管理服務器100接收邏輯對象，將接收到的邏輯對象的計算機圖形圖像數(shù)據(jù)與現(xiàn)實空間中的顯示介質的影像合成來進行AR顯示。圖4是表示會議管理服務器100的硬件結構的圖。CPU1001集中管理與系統(tǒng)總線連接的各設備或控制器。在R0M1003或HD (硬盤)1009中存儲有作為CPU1001的控制程序的BIOS (Basic Input/Output System)或操作系統(tǒng)程序、會議管理服務器100執(zhí)行的例如圖6、圖7A以及圖7B中所示的處理的程序等。另外，在圖4的例中，HD1009是被配置在會議管理服務器100的內部的結構，但作為其他實施方式，可以是相當于HD1009的結構被配置在會議管理服務器100的外部的結構。此外，本實施方式中的例如用于進行圖6、圖7A以及圖7B中所示的處理的程序可以被存儲在軟盤(FD)或CD-ROM等計算機可讀取的記錄介質中，并由這些記錄介質提供的結構， 也可以是經(jīng)由因特網(wǎng)等通信介質提供的結構。RAM1002作為CPU1001的主存儲器、工作區(qū)域等而工作。CPU1001在執(zhí)行處理時將必要的程序等載入RAM1002來執(zhí)行程序，由此實現(xiàn)各種動作。HD1009或FD1008作為外部存儲器而工作。CPU1001在執(zhí)行處理時將必要的程序等載入RAM1002來執(zhí)行程序，由此實現(xiàn)各種動作。磁盤控制器1010控制針對HD1009或FD1008等外部存儲器的訪問。通信I/F控制器1006與因特網(wǎng)或LAN連接，例如通過TCP/IP來控制與外部的通信。顯示器控制器1010控制顯示器1011中的圖像顯示。KB控制器1004接受來自KB(鍵盤)1005的操作輸入并發(fā)送給CPU1001。另外，雖然未圖示，但是除了 KB1005之外還能夠把鼠標等指點設備作為用戶的操作單元而應用到本實施方式的會議管理服務器100中。圖2中表示的顯示介質圖像數(shù)據(jù)登錄/核對部103、邏輯對象登錄/讀出部104、 邏輯對象檢索部105，例如是通過被存儲在HD1009內，根據(jù)需要被載入RAM1002的程序以及執(zhí)行該程序的CPU1001來實現(xiàn)的結構。此外，顯示介質管理數(shù)據(jù)庫101、邏輯對象管理數(shù)據(jù)庫102是相當于HD1009或RAM1002的一部分存儲區(qū)域的結構。圖5是表示HMD201a c以及小型攝像機20 c的硬件結構的圖。CPU2001集中控制與系統(tǒng)總線連接的各設備或控制器。在R0M2002中存儲有HMD201a c以及小型攝像機20 c執(zhí)行的例如圖6、圖7A以及圖7B中所示的處理的程序等。另外，可以經(jīng)由因特網(wǎng)等通信介質來提供用于進行圖6、圖7A以及圖7B中所示的處理的程序。RAM2004作為CPU2001的主存儲器、工作存儲器等而工作。CPU2001在執(zhí)行處理時把必要的程序等載入RAM2004并執(zhí)行程序，由此實現(xiàn)各種動作。通信I/F控制器2003與因特網(wǎng)或LAN連接，例如通過TCP/IP控制與外部的通信。攝像部2005將經(jīng)由光學鏡片入射并在攝像元件上成像的被拍攝物圖像變換為電信號，輸出運動圖像數(shù)據(jù)或靜止圖像數(shù)據(jù)。顯示器控制器2006控制顯示器2007中的圖像顯示。在本實施方式中，采用了光學透射型的頭戴式顯示器，顯示器2007由半透鏡構成，佩戴了顯示器2007的用戶能夠經(jīng)由顯示器2007看外部的情況。另外，例如通過載入到R0M2002 的程序以及執(zhí)行該程序的CPU2001來實現(xiàn)圖3中所示的增強現(xiàn)實感提示部205。另外，通過圖1的小型攝像機20 C、未圖示的麥克風、以及例如載入到R0M2002的程序以及執(zhí)行該程序的CPU2001來實現(xiàn)邏輯對象生成部204。攝像部2005是相當于圖1的小型攝像機 202a c或圖2的顯示介質圖像數(shù)據(jù)生成部203的結構。圖6是表示本實施方式的會議管理系統(tǒng)中的顯示介質的登錄處理的流程圖。以下，參照圖6說明本實施方式的會議管理系統(tǒng)中的顯示介質的登錄處理。首先，說明HMD201a c以及小型攝像機20 c側的處理。在步驟SlOl中，顯示介質圖像數(shù)據(jù)生成部203通過攝像來生成由用戶選擇的顯示介質的圖像數(shù)據(jù)。在步驟 S102中，顯示介質圖像數(shù)據(jù)生成部203將生成的顯示介質的圖像數(shù)據(jù)發(fā)送給會議管理服務器 100。接著，說明會議管理服務器100側的處理。在步驟S201中，顯示介質圖像數(shù)據(jù)登錄/核對部103判定是否接收了顯示介質的圖像數(shù)據(jù)。在接收了顯示介質的圖像數(shù)據(jù)時， 處理轉移到步驟S202。另一方面，在未接收顯示介質的圖像數(shù)據(jù)的情況下，顯示介質圖像數(shù)據(jù)登錄/核對部103待機，直到接收到顯示介質的圖像數(shù)據(jù)為止。在步驟S202中，顯示介質圖像數(shù)據(jù)登錄/核對部103將該顯示介質的圖像數(shù)據(jù)和用戶名對應起來登錄在顯示介質管理數(shù)據(jù)庫101中。圖7A是表示本實施方式的會議管理系統(tǒng)中的邏輯對象登錄處理的流程圖。以下， 參照圖7A說明本實施方式的會議管理系統(tǒng)中的邏輯對象登錄處理。在此說明按照用戶的寫入動作的軌跡生成的邏輯對象的登錄處理。首先，說明HMD201a c以及小型攝像機20 c側的處理。在步驟S103中，邏輯對象生成部204對用戶的寫入動作進行拍攝。在步驟S104中，邏輯對象生成部204從所拍攝的圖像數(shù)據(jù)中檢測出寫入動作的軌跡。在步驟S105中，邏輯對象生成部204生成包含與檢測出的寫入動作的軌跡相對應的圖形、記號、文字等的邏輯對象，并發(fā)送給會議管理服務器100。另外，用戶的寫入動作可以不需要實際寫入圖形、記號、文字等，也可以是虛擬的寫入動作。即使是虛擬地進行的寫入動作，也能通過解析圖像數(shù)據(jù)來檢測出寫入動作的軌跡，并生成包含與軌跡相對應的圖形等的邏輯對象。接著，說明會議管理服務器100側的處理。在步驟S203中，邏輯對象登錄/讀出部104判定是否接收了邏輯對象。在接收了邏輯對象時，處理轉移到步驟S204。另一方面， 在沒有接收到邏輯對象時，邏輯對象登錄/讀出部104待機，直到接收到邏輯對象為止。在步驟S204中，邏輯對象登錄/讀出部104將邏輯對象與該邏輯對象的發(fā)信者信息以及時間戳對應起來登錄在邏輯對象管理數(shù)據(jù)庫102中。圖7B是表示本實施方式中的會議管理系統(tǒng)中的邏輯對象的發(fā)送處理以及AR顯示處理的流程圖。以下，參照圖7B說明本實施方式的會議管理系統(tǒng)中的AR顯示處理。首先，說明HMD201a c以及小型攝像機20 c側的處理。在步驟S106中，顯示介質圖像數(shù)據(jù)生成部203通過攝像來生成顯示介質的圖像數(shù)據(jù)。在步驟S107中，顯示介質圖像數(shù)據(jù)生成部203向會議管理服務器100發(fā)送所生成的顯示介質的圖像數(shù)據(jù)。接著，說明會議管理服務器100側的處理。在步驟S205中，顯示介質圖像數(shù)據(jù)登錄/核對部103判定是否接收了顯示介質的圖像數(shù)據(jù)。在接收了顯示介質的圖像數(shù)據(jù)的情況下，處理轉移到步驟S206。另一方面，在沒有接收到顯示介質的圖像數(shù)據(jù)的情況下，待機到接收到圖像數(shù)據(jù)為止。在步驟S206中，顯示介質圖像數(shù)據(jù)登錄/核對部103判定在顯示介質管理數(shù)據(jù)庫101中是否對接收到的顯示介質的圖像數(shù)據(jù)、和記錄在該圖像數(shù)據(jù)的標題信息中的用戶名的對應關系進行管理，由此進行顯示介質的核對。在該核對處理中判定了接收到的顯示介質的圖像數(shù)據(jù)和在顯示介質管理數(shù)據(jù)庫101中登錄的顯示介質的圖像數(shù)據(jù)的一致性，但通過圖像數(shù)據(jù)的模式匹配等來進行該核對。在核對成功的情況下，處理轉移到步驟S208。另一方面，在核對失敗的情況下，處理回到步驟S205。在步驟S208中，顯示介質圖像數(shù)據(jù)登錄/核對部103將邏輯對象發(fā)送給在顯示介質管理數(shù)據(jù)庫101中與該顯示介質的圖像數(shù)據(jù)相對應的用戶名的用戶的HMD。再次說明HMD201a c以及小型攝像機20 c側的處理。在步驟S108中，增強現(xiàn)實感提示部205判定是否接收到了邏輯對象。在接收到了邏輯對象的情況下，處理轉移到步驟S109。另一方面，在沒有接收到邏輯對象的情況下，待機到接收到邏輯對象為止。 在步驟S109中，增強現(xiàn)實感提示部205將接收到的邏輯對象的計算機圖形圖像數(shù)據(jù)與現(xiàn)實空間中的顯示介質的影像合成來進行AR顯示。接著，參照圖1說明使用本實施方式的會議管理系統(tǒng)進行的會議的具體例。在參加會議之前，用戶A將大學筆記本302的封面選擇為顯示介質，用戶B將筆記本PC303的蓋子選擇為顯示介質，用戶C將手冊304的雙聯(lián)頁選擇為顯示介質。然后，用戶 A C通過小型攝像機20 c對大學筆記本302的封面、筆記本PC303的蓋子、手冊304 的雙聯(lián)頁進行攝像，并進行用于將各自登錄為顯示介質的操作。由此，大學筆記本302的封面的圖像數(shù)據(jù)從用戶A的小型攝像機20 被發(fā)送到會議管理服務器100。此外，筆記本 PC303的蓋子的圖像數(shù)據(jù)從用戶B的小型攝像機202b被發(fā)送到會議管理服務器100。此外， 手冊304的雙聯(lián)頁的圖像數(shù)據(jù)從用戶C的小型攝像機202c被發(fā)送到會議管理服務器100。 會議管理服務器100在顯示介質管理數(shù)據(jù)庫101中將用戶A與大學筆記本302的封面的圖像數(shù)據(jù)對應起來管理，將用戶B與筆記本PC303的蓋子的圖像數(shù)據(jù)對應起來管理，將用戶C 與手冊304的雙聯(lián)頁的圖像數(shù)據(jù)對應起來管理。當參加會議時，用戶A C通過各小型攝像機20 c再次對事先登錄的顯示介質進行攝像。被拍攝到的圖像數(shù)據(jù)被發(fā)送到會議管理服務器100，進行各用戶A C的顯示介質的核對。當該核對成功時，成為用戶A C能夠參加會議的狀態(tài)。首先，用戶A在自己所在的會議室的白板301上寫入上午訪問的客戶的反映，通過小型攝像機20 來對該寫入的內容進行攝像。HMD201a以及小型攝像機20 生成包含寫入的圖像數(shù)據(jù)的邏輯對象，并發(fā)送給會議管理服務器100。會議管理服務器100接收邏輯對象，將該邏輯對象與發(fā)信者(在此為用戶A)以及時間戳對應起來登錄在邏輯對象管理數(shù)據(jù)庫102中，并且將該邏輯對象發(fā)送給用戶A C 的HMD201a C。由此，HMD201a c對于顯示介質302 304的影像合成包含用戶A的寫入的圖像數(shù)據(jù)的邏輯對象來進行AR顯示。由此，用戶A C能夠在顯示介質302 304上確認用戶A的寫入。圖8A是表示在顯示介質302上AR顯示了包含用戶A的寫入的圖像的邏輯對象801的狀態(tài)的圖。如此在顯示介質302上AR顯示邏輯對象801，用戶A能夠在作為顯示介質302的大學筆記本的封面上參照自己寫在白板301上的內容。接著，用戶B考慮到如果提示自己所寫的研究報告書，則客戶會更加關心，在研究所通過小型攝像機202b對研究報告書中的相應頁進行攝像。由此，HMD201b以及小型攝像機202b生成包含相應頁的圖像數(shù)據(jù)的邏輯對象，并發(fā)送給會議管理服務器100。會議管理服務器100接收邏輯對象，將該邏輯對象與發(fā)信者(在此為用戶B)以及時間戳對應起來登錄在邏輯對象管理數(shù)據(jù)庫102中。會議管理服務器100將邏輯對象登錄在邏輯對象管理數(shù)據(jù)庫102中，并且將該邏輯對象發(fā)送給HMD201a C。由此，HMD201a c對于顯示介質 302 304的影像，AR顯示包含研究報告中的相應頁的圖像數(shù)據(jù)的邏輯對象。由此，用戶 A C能夠在顯示介質302 304上確認研究報告書中的相應頁。圖8B是表示在顯示介質 302的影像上AR顯示了包含研究報告中的相應頁的圖像數(shù)據(jù)的邏輯對象802的狀態(tài)的圖。 如此在顯示介質302上還AR顯示邏輯對象802，用戶A能夠在大學筆記本的封面上參照用戶B提示的研究報告書的相應頁。接著，用戶C將依據(jù)上述相應頁的內容的客戶的若干對策寫入手冊的雙聯(lián)頁。通過小型攝像機202c來拍攝該寫入動作，通過檢測寫入動作的軌道，生成包含與寫入動作的軌道對應的圖形、記號、文字等的邏輯對象。生成的邏輯對象被發(fā)送到會議管理服務器100。 會議管理服務器100接收邏輯對象，并將該邏輯對象與發(fā)信者(在此為用戶C)以及時間戳對應起來登錄在邏輯對象管理數(shù)據(jù)庫102中，并且將該邏輯對象發(fā)送給HMD201a c。由此，HMD201a c對于顯示介質302 304的影像AR顯示包含通過用戶C寫入的客戶的對策的邏輯對象。由此，用戶A C能夠在顯示介質302 304上確認由用戶C寫入的客戶的對策。圖8C是表示在顯示介質302的影像上AR顯示了包含客戶的對策的邏輯對象803 的狀態(tài)的圖。如此在顯示介質302上還AR顯示邏輯對象803，用戶A能夠在大學筆記本的封面上參照由用戶C寫入的客戶的對策。在圖8A 圖8C中例示了作為用戶A的顯示介質302的大學筆記本的封面上的AR 顯示，在用戶B、用戶C的顯示介質303、304即筆記本PC的蓋子、手冊的雙聯(lián)頁中也AR顯示同樣的邏輯對象。這樣，在本實施方式中，即使參加會議的成員位于在物理上不同的場所， 也能夠不受各場所的環(huán)境的制約地支持會議的順利化。另外，上述“物理上不同的場所”，作為概念包含如東京、美國那樣距離遠的情況、或大廈的3層和4層那樣平面上的位置(X坐標、Y坐標)相同但在高度方向上位置(Z坐標)不同的情況、或如面對面的座位那樣距離近的情況等成員存在于不同空間的所有情況。圖9表示用戶B的顯示介質303上的AR顯示的例子。在圖9中，901是包含用戶 B的寫入內容的邏輯對象。該邏輯對象與其他的邏輯對象不同，雖然在用戶B的顯示介質 303上AR顯示該邏輯對象，但在其他的顯示介質302、304上不進行AR顯示。S卩，寫入邏輯對象901的內容是作為用戶B的備注來寫入的，在不希望被其他用戶A、C看到的情況下，用戶設定了秘密模式之后生成邏輯對象901。由此，邏輯對象901被發(fā)送到會議管理服務器 100，在邏輯對象管理數(shù)據(jù)庫102中被管理之前相同，但僅對用戶B的HMD201b發(fā)送邏輯對象901，并不對其他用戶A、C的HMD201a、c發(fā)送邏輯對象901。從而，用戶A、C的HMD201a、 c進行不包含邏輯對象901的AR顯示，另一方面，用戶B的HMD201b進行包含邏輯對象901 的AR顯示。圖10是表示用戶A的顯示介質302中的AR顯示例的圖。圖10中表示的AR顯示例是對于一個顯示介質AR顯示了多個邏輯對象時采用的顯示方式的例子，將各用戶生成的邏輯對象針對每個用戶區(qū)分地進行AR顯示。在該AR顯示例中，以記錄了用戶名的選項卡(tab)方式被AR顯示，當通過筆等指示所期望的用戶名的選項卡時，在最前面顯示由該用戶生成的邏輯對象的一覽，以便能夠閱覽。在圖10的例中，由用戶A生成的邏輯對象801 以及1100被AR顯示在最前面。通過采用這樣的顯示方式，即使在會議中邏輯對象增加，也能夠整理各用戶的邏輯對象來閱覽。另外，進行AR顯示時的對象的整理方法，當然可以是針對每個邏輯對象以選項卡方式進行AR顯示等、針對每個用戶以選項卡方式進行AR顯示的方式以外的方式。此外，可以將講話的用戶在發(fā)言中正在參照的邏輯對象，在會議參加者各人的顯示介質上強制性地AR顯示在最前面。會議管理服務器100通過監(jiān)視從各用戶的麥克風得到的語音信號，能夠確定哪個用戶是講話者。并且，會議管理服務器100能夠通過向各用戶的HMD201a c進行指示來實現(xiàn)在最前面AR顯示確定為講話者的用戶的邏輯對象。由此支持會議參加者的意思溝通，能夠順利地進行會議。此外，可以與顯示介質的尺寸相應地放大或縮小邏輯對象，或者以滾動方式AR顯示邏輯對象。由此，即使在會議途中作業(yè)環(huán)境變化或者姿勢改變，與之相伴需要變更顯示介質的情況下，也能夠應對。此外，在顯示介質上AR顯示包含多頁的資料的邏輯對象來進行會議的情況下，在會議管理服務器100中管理講話者正在參照的部位，會議管理服務器100可以指示各用戶的HMD201a c強調性地AR顯示該部位。例如假定在用戶A —邊指示共20頁的資料中的第10頁第5行一邊發(fā)言時，用戶B翻開被AR顯示的資料的第15頁來閱覽。在這樣的情況下，在用戶B的顯示介質上，在資料中的第10頁第5行的部位例如能夠顯示書簽型的標簽 (tag)。由此，盡管在物理上遠離的場所進行會議，也能夠在視覺上得到與參照部位相關的信息，容易遵循資料，能夠順利地進行會議。此外，在本實施方式中，在對邏輯對象進行AR顯示時還能夠進行邏輯對象之間的對位。其求出將最初被AR顯示的邏輯對象的位置作為基準位置來進行寫入的位置坐標，以在各顯示介質上的坐標系中成為相同位置坐標的方式配置包含上述寫入內容的邏輯對象。 由此，在各顯示介質上能夠進行取得了邏輯對象間的位置關系的一致性的AR顯示。例如， 對于在用戶B的顯示介質303上AR顯示的、由用戶A寫入的圖形a，用戶B進行了追加某個圖形b的寫入的情況下，如果在各顯示介質之間未恰當?shù)剡M行邏輯對象之間的對位，則在用戶B的顯示介質303上AR顯示的圖形a和圖形b的位置關系、與其他的用戶A、C的顯示介質302、304上AR顯示的圖形a和圖形b的位置關系不同。在本實施方式中，通過由各 HMD201a c執(zhí)行上述的邏輯對象間的對位，能夠防止發(fā)生這樣的不恰當?shù)那樾?。另外，在上面說明了在一個會議中應用本實施方式的會議管理系統(tǒng)的情況，但本實施方式的會議管理系統(tǒng)也能夠應用到多個會議。即，在應用到多個會議的情況下，將用戶名和顯示介質的圖像數(shù)據(jù)的對應關系、或邏輯對象等與各會議的識別信息關聯(lián)起來進行管理。因此，在某個用戶對于多個會議登錄了同一顯示介質的情況下(例如，在顯示介質管理數(shù)據(jù)庫101中與會議A、B兩個會議相關聯(lián)地管理用戶1和顯示介質1的圖像數(shù)據(jù)的對應關系的情況下)，當核對該顯示介質(例如顯示介質1)時，多個會議的邏輯對象(例如會議 A的邏輯對象、會議B的邏輯對象)以附加了各會議的識別信息的形態(tài)被發(fā)送到該用戶，可以在同一顯示介質(例如顯示介質1)上AR顯示多個會議的邏輯對象。此時，例如還能夠更醒目地顯示被附加在各邏輯對象上的會議的識別信息，能夠更容易分辨地顯示是哪個會議的邏輯對象?；蛘?，也可以不是在同一顯示介質上混合多個會議的邏輯對象來進行AR顯示，而是該用戶在核對顯示介質之前指定參加哪個會議，并對會議管理服務器100進行通知。由此，即使在核對了針對多個會議登錄的顯示介質的情況下，也能夠只把與上述通知符合的會議的邏輯對象發(fā)送給相應的用戶。或者，可以根據(jù)與邏輯對象相對應地管理的時間戳或發(fā)信者信息或它們的組合，推定是哪個會議的邏輯對象并管理。本發(fā)明的實施方式能夠通過由計算機執(zhí)行程序來實現(xiàn)。此外，本發(fā)明的實施方式， 能夠應用用于把程序提供給計算機的單元、例如存儲了所涉及的程序的CD-ROM等計算機可讀取的記錄介質、或傳輸所涉及的程序的傳輸介質。此外，記錄了所述程序的計算機可讀取的記錄介質等程序產(chǎn)品，也能夠作為本發(fā)明的實施方式來應用。所述程序、計算機可讀取的記錄介質、傳輸介質以及程序產(chǎn)品被包含在本發(fā)明的范疇內。產(chǎn)業(yè)上的利用可能性本發(fā)明，在能夠對現(xiàn)實空間的影像和計算機圖形圖像數(shù)據(jù)進行合成之后重疊顯示的增強現(xiàn)實中有用。
權利要求
1.一種信息處理系統(tǒng)，其具備多個增強現(xiàn)實感提示裝置，其能夠合成顯示現(xiàn)實空間的影像和計算機圖形圖像數(shù)據(jù)；會議管理裝置，其管理成為合成顯示計算機圖形圖像數(shù)據(jù)的對象的各用戶的顯示介質，該信息處理系統(tǒng)的特征在于，所述多個增強現(xiàn)實感提示裝置具備第一生成單元，其生成用戶的顯示介質的圖像數(shù)據(jù)，并發(fā)送給所述會議管理裝置；以及第二生成單元，其生成所述用戶的針對會議的提示信息，并發(fā)送給所述會議管理裝置，所述會議管理裝置具備第一管理單元，其管理各用戶和該各用戶使用的顯示介質的圖像數(shù)據(jù)的對應關系；第二管理單元，其管理從所述多個增強現(xiàn)實感提示裝置接收的、針對會議的提示信息；核對單元，其通過比較在所述第一管理單元中管理的數(shù)據(jù)、和從所述增強現(xiàn)實感提示裝置接收的所述顯示介質的圖像數(shù)據(jù)以及所述用戶的對應關系，進行所述顯示介質的核對；以及發(fā)送單元，其在所述顯示介質的核對成功的情況下，將在所述第二管理單元中管理的針對會議的提示信息發(fā)送給所述增強現(xiàn)實感提示裝置，所述增強現(xiàn)實感提示裝置還具備提示單元，該提示單元將表示針對會議的提示信息的計算機圖形圖像數(shù)據(jù)與現(xiàn)實空間中的所述顯示介質的影像合成之后進行提示。
2.根據(jù)權利要求1所述的信息處理系統(tǒng)，其特征在于，所述第一生成單元通過對所述顯示介質進行攝像來生成所述顯示介質的圖像數(shù)據(jù)。
3.根據(jù)權利要求1所述的信息處理系統(tǒng)，其特征在于，所述第二生成單元檢測出用戶進行的寫入動作的軌跡，將由該軌跡表示的信息生成為針對會議的提示信息。
4.根據(jù)權利要求1所述的信息處理系統(tǒng)，其特征在于，所述第二生成單元將通過攝像處理而得到的圖像數(shù)據(jù)生成為針對會議的提示信息。
5.根據(jù)權利要求1所述的信息處理系統(tǒng)，其特征在于，所述第二生成單元對發(fā)言內容進行解析來變換為文字數(shù)據(jù)，將該文字數(shù)據(jù)生成為針對會議的提示信息。
6.根據(jù)權利要求1所述的信息處理系統(tǒng)，其特征在于，所述會議管理裝置還具備檢索單元，該檢索單元根據(jù)在所述第二管理單元中與針對會議的提示信息相對應地管理的、表示所述用戶以及生成該針對會議的提示信息的時刻的信息中的至少某一個信息，檢索該針對會議的提示信息。
7.根據(jù)權利要求1所述的信息處理系統(tǒng)，其特征在于，所述提示單元，根據(jù)要提示的計算機圖形圖像數(shù)據(jù)的數(shù)量或顯示介質的變更，切換計算機圖形圖像數(shù)據(jù)的提示方式。
8.—種會議管理裝置，其與多個增強現(xiàn)實感提示裝置能夠通信地連接，管理成為合成顯示計算機圖形圖像數(shù)據(jù)的對象的各用戶的顯示介質，所述多個增強現(xiàn)實感提示裝置能夠合成顯示現(xiàn)實空間的影像和表示各用戶的針對會議的提示信息的計算機圖形圖像數(shù)據(jù)，該會議管理裝置的特征在于，具備第一管理單元，其管理所述各用戶和所述各用戶使用的顯示介質的圖像數(shù)據(jù)的對應關系；第二管理單元，其管理從所述多個增強現(xiàn)實感提示裝置接收的、用戶的針對會議的提不信息；核對單元，其通過比較在所述第一管理單元中管理的數(shù)據(jù)、和從所述增強現(xiàn)實感提示裝置接收的所述用戶的顯示介質的圖像數(shù)據(jù)以及所述用戶的對應關系，進行所述顯示介質的核對；以及發(fā)送單元，其在所述顯示介質的核對成功的情況下，將在所述第二管理單元中管理的、 針對會議的提示信息發(fā)送給所述增強現(xiàn)實感提示裝置。
9.一種通過信息處理系統(tǒng)執(zhí)行的信息處理方法，所述信息處理系統(tǒng)具備能夠合成顯示現(xiàn)實空間的影像和計算機圖形圖像數(shù)據(jù)的多個增強現(xiàn)實感提示裝置、以及管理成為合成顯示計算機圖形圖像數(shù)據(jù)的對象的各用戶的顯示介質的會議管理裝置，該信息處理方法的特征在于，包含以下步驟所述多個增強現(xiàn)實感提示裝置，生成用戶的顯示介質的圖像數(shù)據(jù)，并發(fā)送給所述會議管理裝置的第一生成步驟；以及所述多個增強現(xiàn)實感提示裝置，生成所述用戶的針對會議的提示信息，并發(fā)送給所述會議管理裝置的第二生成步驟，所述會議管理裝置，通過比較在第一管理單元中管理的數(shù)據(jù)、和從所述增強現(xiàn)實感提示裝置接收的所述顯示介質的圖像數(shù)據(jù)以及所述用戶的對應關系，進行所述顯示介質的核對的核對步驟，其中，所述第一管理單元管理各用戶和該各用戶使用的顯示介質的圖像數(shù)據(jù)的對應關系；以及所述會議管理裝置，在所述顯示介質的核對成功的情況下，將在所述第二管理單元中管理的針對會議的提示信息發(fā)送給所述增強現(xiàn)實感提示裝置的發(fā)送步驟，其中，所述第二管理單元管理從所述多個增強現(xiàn)實感提示裝置接收的針對會議的提示信息，還包含所述增強現(xiàn)實感提示裝置將表示針對會議的提示信息的計算機圖形圖像數(shù)據(jù)與現(xiàn)實空間中的所述顯示介質的影像合成之后進行提示的提示步驟。
10.一種會議管理裝置的控制方法，是與多個增強現(xiàn)實感提示裝置能夠通信地連接，管理成為合成顯示計算機圖形圖像數(shù)據(jù)的對象的各用戶的顯示介質的會議管理裝置的控制方法，所述多個增強現(xiàn)實感提示裝置能夠合成顯示現(xiàn)實空間的影像和表示各用戶的針對會議的提示信息的計算機圖形圖像數(shù)據(jù)，所述會議管理裝置的控制方法的特征在于，包含以下步驟核對步驟，其通過比較在第一管理單元中管理的、所述各用戶和所述各用戶使用的顯示介質的圖像數(shù)據(jù)的對應關系、和從所述增強現(xiàn)實感提示裝置接收的、所述用戶的顯示介質的圖像數(shù)據(jù)以及所述用戶的對應關系，進行所述顯示介質的核對；以及發(fā)送步驟，其在所述顯示介質的核對成功的情況下，將在第二管理單元中管理的、從所述多個增強現(xiàn)實感提示裝置接收的用戶的針對會議的提示信息發(fā)送給所述增強現(xiàn)實感提示裝置。
11. 一種程序，是用于使計算機執(zhí)行會議管理裝置的控制方法的程序，所述會議管理裝置與多個增強現(xiàn)實感提示裝置能夠通信地連接，管理成為合成顯示計算機圖形圖像數(shù)據(jù)的對象的各用戶的顯示介質，所述多個增強現(xiàn)實感提示裝置能夠合成顯示現(xiàn)實空間的影像和表示各用戶的針對會議的提示信息的計算機圖形圖像數(shù)據(jù)，所述程序的特征在于， 使計算機執(zhí)行如下的步驟核對步驟，其通過比較在第一管理單元中管理的、所述各用戶和所述各用戶使用的顯示介質的圖像數(shù)據(jù)的對應關系、和從所述增強現(xiàn)實感提示裝置接收的、所述用戶的顯示介質的圖像數(shù)據(jù)以及所述用戶的對應關系，進行所述顯示介質的核對；以及發(fā)送步驟，其在所述顯示介質的核對成功的情況下，將在第二管理單元中管理的、從所述多個增強現(xiàn)實感提示裝置接收的用戶的針對會議的提示信息發(fā)送給所述增強現(xiàn)實感提示裝置。
全文摘要
HMD(201a～c)以及小型攝像機(202a～c)生成用戶的顯示介質的圖像數(shù)據(jù)并發(fā)送給會議管理服務器(100)。此外，HMD(201a～c)以及小型攝像機(202a～c)生成用戶的針對會議的提示信息并發(fā)送給會議管理服務器(100)。會議管理服務器(100)比較各用戶和各用戶使用的顯示介質的圖像數(shù)據(jù)的對應關系、和接收到的用戶的顯示介質的圖像數(shù)據(jù)以及用戶的對應關系，由此進行顯示介質的核對，在顯示介質的核對成功的情況下，將從HMD(201a～c)以及小型攝像機(202a～c)接收的、用戶的針對會議的提示信息發(fā)送給HMD(201a～c)。
文檔編號H04N7/15GK102577370SQ201180004044
公開日2012年7月11日 申請日期2011年3月25日 優(yōu)先權日2010年3月31日
發(fā)明者庵原升, 橫山甲, 櫻井新, 笹尾和宏 申請人:新日鐵系統(tǒng)集成株式會社