擴展現(xiàn)實顯示系統(tǒng)、裝置及方法、擴展現(xiàn)實信息生成裝置及方法、服務(wù)器的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及擴展現(xiàn)實顯示系統(tǒng)、擴展現(xiàn)實顯示系統(tǒng)中包含的擴展現(xiàn)實信息生成裝置、服務(wù)器、在該擴展現(xiàn)實信息生成裝置中執(zhí)行的擴展現(xiàn)實信息生成方法、擴展現(xiàn)實顯示系統(tǒng)中包含的擴展現(xiàn)實顯示裝置、以及在該擴展現(xiàn)實顯示裝置執(zhí)行的擴展現(xiàn)實顯示方法。
【背景技術(shù)】
[0002]近年來，開發(fā)了擴展現(xiàn)實的技術(shù)。例如，日本特開平9-33271號公報中記載有攝影裝置，其特征在于具備:攝像機或者攝像機一體型VTR裝置等攝影單元；顯示由該攝影單元拍攝到的影像、數(shù)據(jù)的顯示單元；通過衛(wèi)星定位檢測各時刻的地球上的上述攝影單元的位置和方向的檢測單元；存儲地圖數(shù)據(jù)的存儲單元；從上述存儲單元讀出上述顯示單元所顯示的物體中的規(guī)定的物體在地球上的三維位置坐標(biāo)以及該物體的名稱等屬性數(shù)據(jù)，將該三維位置坐標(biāo)變換為上述顯示單元中的二維位置坐標(biāo)，在上述顯示單元中的上述二維位置坐標(biāo)處顯示上述屬性數(shù)據(jù)的控制單元。
[0003]但是，在以往的攝影裝置中，必須將規(guī)定的物體在地球上的三維位置坐標(biāo)與該物體關(guān)聯(lián)起來存儲。另外，在所拍攝到的影像中，在與物體相同的位置顯示屬性數(shù)據(jù)，所以存在物體被屬性數(shù)據(jù)隱藏等而變得難以看見的問題。

【發(fā)明內(nèi)容】

[0004]根據(jù)本發(fā)明的一個方案，擴展現(xiàn)實顯示系統(tǒng)包括擴展現(xiàn)實信息生成裝置和擴展現(xiàn)實顯示裝置，其中，擴展現(xiàn)實信息生成裝置具備:生成側(cè)內(nèi)容取得單元，從外部的裝置取得該裝置中存儲的內(nèi)容；區(qū)域決定單元，決定內(nèi)容中的用相對于對象的相對位置確定的顯示區(qū)域；關(guān)聯(lián)信息取得單元，取得與對象關(guān)聯(lián)的關(guān)聯(lián)信息；以及擴展現(xiàn)實信息生成單元，生成將內(nèi)容、表示顯示區(qū)域的區(qū)域信息以及關(guān)聯(lián)信息關(guān)聯(lián)起來的擴展現(xiàn)實信息，擴展現(xiàn)實顯示裝置具備:顯示側(cè)內(nèi)容取得單元，取得第I內(nèi)容；擴展現(xiàn)實信息取得單元，取得擴展現(xiàn)實信息，該擴展現(xiàn)實信息包含具有與所取得的第I內(nèi)容中的對象相同的對象的第2內(nèi)容；現(xiàn)實顯示區(qū)域決定單元，決定第I內(nèi)容中的相對于對象的相對位置成為與第2內(nèi)容中的對象和顯示區(qū)域的相對位置相同的關(guān)系的現(xiàn)實顯示區(qū)域；以及顯示控制單元，在所決定的現(xiàn)實顯示區(qū)域顯示所取得的擴展現(xiàn)實信息中包含的關(guān)聯(lián)信息。
[0005]根據(jù)本發(fā)明的另一個方案，擴展現(xiàn)實信息生成裝置具備:生成側(cè)內(nèi)容取得單元，從外部的裝置取得該裝置中存儲的內(nèi)容；區(qū)域決定單元，決定所取得的內(nèi)容中的用相對于對象的相對位置確定的顯示區(qū)域；關(guān)聯(lián)信息取得單元，取得與對象關(guān)聯(lián)的關(guān)聯(lián)信息；以及擴展現(xiàn)實信息生成單元，生成將內(nèi)容、表示顯示區(qū)域的區(qū)域信息以及關(guān)聯(lián)信息關(guān)聯(lián)起來的擴展現(xiàn)實信息。
[0006]根據(jù)本發(fā)明的又一個方案，擴展現(xiàn)實顯示裝置具備:顯示側(cè)內(nèi)容取得單元，取得第I內(nèi)容；擴展現(xiàn)實信息取得單元，取得擴展現(xiàn)實信息，該擴展現(xiàn)實信息包含具有與所取得的第I內(nèi)容中的對象相同的對象的第2內(nèi)容，擴展現(xiàn)實信息除了第2內(nèi)容以外，還包括表示第2內(nèi)容中的用相對于對象的相對的位置確定的顯示區(qū)域的區(qū)域信息、以及與對象關(guān)聯(lián)的關(guān)聯(lián)信息；現(xiàn)實顯示區(qū)域決定單元，決定第I內(nèi)容中的相對于對象的相對位置為與第2內(nèi)容中的對象和顯示區(qū)域的相對位置相同的關(guān)系的現(xiàn)實顯示區(qū)域；以及顯示控制單元，在所決定的現(xiàn)實顯示區(qū)域中顯示所取得的擴展現(xiàn)實信息中包含的關(guān)聯(lián)信息。
[0007]根據(jù)本發(fā)明的又一其它方案，服務(wù)器具備:擴展現(xiàn)實信息存儲單元，存儲包括第I內(nèi)容、表示第I內(nèi)容中的用相對于對象的相對的位置確定的顯示區(qū)域的區(qū)域信息、以及與對象關(guān)聯(lián)的關(guān)聯(lián)信息的擴展現(xiàn)實信息；發(fā)送請求接收單元，從擴展現(xiàn)實顯示裝置接收第2內(nèi)容；擴展現(xiàn)實信息提取單元，從所存儲的擴展現(xiàn)實信息中提取包含具有與所接收的第2內(nèi)容中的對象相同的對象的第I內(nèi)容的擴展現(xiàn)實信息；以及擴展現(xiàn)實信息發(fā)送單元，將所提取的擴展現(xiàn)實信息發(fā)送到擴展現(xiàn)實顯示裝置。
[0008]根據(jù)本發(fā)明的又一其它方案，擴展現(xiàn)實顯示方法使擴展現(xiàn)實生成裝置執(zhí)行如下步驟:生成側(cè)內(nèi)容取得步驟，從外部的裝置取得該裝置中存儲的內(nèi)容；區(qū)域決定步驟，決定所取得的內(nèi)容中的用相對于對象的相對位置確定的顯示區(qū)域；關(guān)聯(lián)信息取得步驟，取得與對象關(guān)聯(lián)的關(guān)聯(lián)信息；以及擴展現(xiàn)實信息生成步驟，生成將內(nèi)容、表示顯示區(qū)域的區(qū)域信息、以及關(guān)聯(lián)信息關(guān)聯(lián)起來的擴展現(xiàn)實信息。
[0009]根據(jù)本發(fā)明的又一其它方案，擴展現(xiàn)實顯示方法使擴展現(xiàn)實顯示裝置執(zhí)行如下步驟:顯示側(cè)內(nèi)容取得步驟，取得第I內(nèi)容；擴展現(xiàn)實信息取得步驟，取得擴展現(xiàn)實信息，該擴展現(xiàn)實信息包含具有與所取得的第I內(nèi)容中的對象相同的對象的第2內(nèi)容，擴展現(xiàn)實信息除了第2內(nèi)容以外，還包括表示第2內(nèi)容中的用相對于對象的相對的位置確定的顯示區(qū)域的區(qū)域信息、以及與對象關(guān)聯(lián)的關(guān)聯(lián)信息；現(xiàn)實顯示區(qū)域決定步驟，決定第I內(nèi)容中的相對于對象的相對位置成為與第2內(nèi)容中的對象和顯示區(qū)域的相對位置相同的關(guān)系的現(xiàn)實顯示區(qū)域；以及顯示控制步驟，在所決定的現(xiàn)實顯示區(qū)域中顯示擴展現(xiàn)實信息中包含的關(guān)聯(lián)信息。
【附圖說明】
[0010]圖1是表示本發(fā)明的實施方式的擴展現(xiàn)實顯示系統(tǒng)的整體概要的一個例子的圖。
[0011]圖2是表示本實施方式的MFP的外觀的立體圖。
[0012]圖3是表示本實施方式的MFP的硬件結(jié)構(gòu)的一個例子的框圖。
[0013]圖4是表示本實施方式的便攜信息裝置的硬件結(jié)構(gòu)的概要的一個例子的框圖。
[0014]圖5是表示本實施方式的HMD的硬件結(jié)構(gòu)的一個例子的框圖。
[0015]圖6是表示本實施方式的服務(wù)器的硬件結(jié)構(gòu)的一個例子的框圖。
[0016]圖7是表示第I實施方式的擴展現(xiàn)實信息的格式的一個例子的圖。
[0017]圖8是表示第I實施方式的作為擴展現(xiàn)實顯示裝置發(fā)揮功能的便攜信息裝置所具備的CPU的功能的概要的一個例子的框圖。
[0018]圖9是表示背景圖像的一個例子的圖。
[0019]圖10是表示攝影圖像的一個例子的圖。
[0020]圖11是表不合成圖像的一個例子的圖。
[0021]圖12是表示基本信息的格式的一個例子的圖。
[0022]圖13是表示第I實施方式的作為基本信息注冊裝置發(fā)揮功能的便攜信息裝置所具備的CPU的功能的一個例子的框圖。
[0023]圖14是表示第I實施方式的作為擴展現(xiàn)實信息注冊裝置發(fā)揮功能的MFP所具備的CPU的功能的一個例子的框圖。
[0024]圖15是表示第I實施方式的服務(wù)器所具備的CPU具有的功能的一個例子的框圖。
[0025]圖16是表示第I實施方式的擴展現(xiàn)實信息提取部的詳細功能的一個例子的框圖。
[0026]圖17是表示第I實施方式的基本信息注冊處理的流程的一個例子的流程圖。
[0027]圖18是表示第I實施方式的擴展現(xiàn)實信息注冊處理的流程的一個例子的流程圖。
[0028]圖19是表示第I實施方式的擴展現(xiàn)實信息管理處理的流程的一個例子的流程圖。
[0029]圖20是表示第I實施方式的擴展現(xiàn)實顯示處理的流程的一個例子的流程圖。
[0030]圖21是表示第2實施方式的作為擴展現(xiàn)實顯示裝置發(fā)揮功能的便攜信息裝置所具備的CPU的功能概要的一個例子的框圖。
[0031]圖22是表示第2實施方式的服務(wù)器所具備的CPU具有的功能的一個例子的框圖。
[0032]圖23是表示第2實施方式的擴展現(xiàn)實信息管理處理的流程的一個例子的流程圖。
[0033]圖24是表示第2實施方式的擴展現(xiàn)實顯示處理的流程的一個例子的流程圖。
[0034]圖25是表示第3實施方式的擴展現(xiàn)實信息的格式的一個例子的圖。
[0035]圖26是表示第3實施方式的作為擴展現(xiàn)實顯示裝置發(fā)揮功能的便攜信息裝置所具備的CPU的功能的概要的一個例子的框圖。
[0036]圖27是表示第3實施方式的作為擴展現(xiàn)實信息注冊裝置發(fā)揮功能的MFP所具備的CPU的功能的一個例子的框圖。
[0037]圖28是表示第3實施方式的服務(wù)器所具備的CPU具有的功能的一個例子的框圖。
[0038]圖29是表示第3實施方式的擴展現(xiàn)實信息注冊處理的流程的一個例子的流程圖。
[0039]圖30是表示第3實施方式的擴展現(xiàn)實信息管理處理的流程的一個例子的流程圖。
[0040]圖31是表示第3實施方式的擴展現(xiàn)實信息顯示處理的流程的一個例子的流程圖。
【具體實施方式】
[0041]以下，參照【附圖說明】本發(fā)明的實施方式。在以下的說明中，對相同部件賦予相同符號。它們的名稱以及功能也相同。因此，不重復(fù)關(guān)于它們的詳細說明。
[0042]<第I實施方式>
[0043]圖1是表示本發(fā)明的實施方式的擴展現(xiàn)實顯示系統(tǒng)的整體概要的一個例子的圖。參照圖1，擴展現(xiàn)實顯示系統(tǒng)I包括分別連接到網(wǎng)絡(luò)2的無線站3、MFP(Multi Funct1nPeripheral:多功能外圍設(shè)備)100、便攜信息裝置200、200A、200B、個人電腦(以下稱作“PC”)300、頭戴式顯示器(以下稱作“HMD”)400以及服務(wù)器500。
[0044]MFP100作為圖像處理裝置發(fā)揮功能，具備用于讀取原稿的原稿讀取功能、用于根據(jù)圖像數(shù)據(jù)在紙等記錄介質(zhì)上形成圖像的圖像形成功能以及發(fā)送接收傳真數(shù)據(jù)的傳真發(fā)送接收功能。另外，在第I實施方式中作為圖像處理裝置的一個例子，以MFP100為例進行說明，但如果是具備處理圖像的功能的裝置，則例如也可以替代MFP100而使用PC300、服務(wù)器500等。
[0045]PC300是一般的計算機。PC300安裝有用于控制MFP100的打印驅(qū)動程序。
[0046]便攜信息裝置200、200A、200B是信息處理裝置的一個例子。便攜信息裝置200、200A、200B為PDA (Personal Digital Assistants:個人數(shù)字助理)、智能電話等，由用戶攜帶而使用，具備存儲數(shù)據(jù)的功能、無線LAN功能。另外，便攜信息裝置200、200A、200B與PC300同樣地也能夠安裝應(yīng)用程序。便攜信息裝置200、200A、200B的硬件結(jié)構(gòu)以及功能相同，所以，在此除非特別說明，以便攜信息裝置200為例進行說明。
[0047]HMD400呈眼鏡的形狀，由用戶佩戴而使用。HMD400具備拍攝被拍攝體的攝影功能、在眼鏡的鏡片部分顯示圖像的顯示功能、無線LAN功能。佩戴HMD400的用戶在通過鏡片來視覺辨認被拍攝體的同時，能夠視覺辨認顯示于鏡片的圖像。
[0048]網(wǎng)絡(luò)2是局域網(wǎng)絡(luò)(LAN)，連接方式既可以是有線也可以是無線。另外，網(wǎng)絡(luò)2不限于LAN，也可以是使用了公共電話交換網(wǎng)(Public Switched Telephone Networks)的網(wǎng)絡(luò)等。進而，網(wǎng)絡(luò)2連接到因特網(wǎng)等廣域網(wǎng)絡(luò)(WAN)。
[0049]MFP100能夠經(jīng)由網(wǎng)絡(luò)2而與無線站3、PC300以及服務(wù)器500之間進行數(shù)據(jù)的發(fā)送接收。無線站3是網(wǎng)絡(luò)2的中繼裝置，與具備無線LAN通信功能的便攜信息裝置200、200A、200B以及HMD400通信，將便攜信息裝置200、200A、200B以及HMD400連接到網(wǎng)絡(luò)2。因此，便攜信息裝置200、200A、200B以及HMD400各自能夠經(jīng)由無線站3以及網(wǎng)絡(luò)2而與MFP100、PC300、服務(wù)器500進行數(shù)據(jù)的發(fā)送接收。
[0050]圖2是表示本實施方式的MFP的外觀的立體圖。圖3是表示本實施方式的MFP的硬件結(jié)構(gòu)的一個例子的框圖。參照圖2以及圖3，MFP100包括主電路110、用于讀取原稿的原稿讀取部130、用于將原稿搬送到原稿讀取部130的自動原稿搬送裝置120、用于根據(jù)原稿讀取部130讀取原稿而輸出的圖像數(shù)據(jù)在紙張等上形成圖像的圖像形成部140、用于對圖像形成部140供給紙張的供紙部150、對形成有圖像的紙張進行處理的后處理部155、作為用戶接口的操作面板160。
[0051]后處理部155執(zhí)行重新排出由圖像形成部140形成了圖像的I張以上的紙張的分類(Sort)處理、進行打孔加工的打孔處理、打入裝訂針的裝訂處理。
[0052]主電路110包括CPUl 11、通信接口(I/F)部112、R0M113、RAM114、作為大容量存儲裝置的硬盤驅(qū)動器(HDD) 115、傳真部116、安裝⑶-R0M118的外部存儲裝置117。CPUlll與自動原稿搬送裝置120、原稿讀取部130、圖像形成部140、供紙部150以及操作面板160連接，控制MFP100的整體。
[0053]R0M113存儲CPUlll所執(zhí)行的程序、或者為了執(zhí)行該程序而所需的數(shù)據(jù)。RAM114被用作CPUlll執(zhí)行程序時的工作區(qū)域。另外，RAMl 14還臨時地存儲從原稿讀取部130連續(xù)送來的讀取數(shù)據(jù)(圖像數(shù)據(jù))。
[0054]操作面板160設(shè)置于MFP100的上表面，包括顯示部161和操作部163。顯示部161是液晶顯示裝置(IXD)、有機ELD (Electro-Luminescence Display:電致發(fā)光顯示器)等顯示裝置，顯示針對用戶的指示菜單、與所取得的圖像數(shù)據(jù)有關(guān)的信息等。操作部163具備由多個鍵構(gòu)成的硬鍵部167，受理與鍵對應(yīng)的基于用戶的操作的各種指示、文字、數(shù)字等數(shù)據(jù)的輸入。操作部163還包括設(shè)置于顯示部161上的觸摸屏165。
[0055]通信I/F部112是用于將MFP100連接到網(wǎng)絡(luò)2的接口。CPUlll經(jīng)由通信I/F部112在與便攜信息裝置200、200A、200B、PC300、HMD400以及服務(wù)器500之間通信，發(fā)送接收數(shù)據(jù)。另外，通信I/F部112還能夠經(jīng)由網(wǎng)絡(luò)2與連接到因特網(wǎng)的計算機通信。
[0056]傳真部116連接到公共交換電話網(wǎng)(PSTN)，對PSTN發(fā)送傳真數(shù)據(jù)、或者從PSTN接收傳真數(shù)據(jù)。傳真部116將所接收的傳真數(shù)據(jù)存儲到HDD115、或者輸出到圖像形成部140。圖像形成部140將通過傳真部116接收到的傳真數(shù)據(jù)打印到紙張上。另外，傳真部116將HDDl 15中存儲的數(shù)據(jù)變換為傳真數(shù)據(jù)，發(fā)送到連接于PSTN的傳真裝置。
[0057]外部存儲裝置117安裝⑶-ROM(Compact Disk ROM:壓縮光盤只讀存儲器)118。CPUlll能夠經(jīng)由外部存儲裝置117而訪問⑶-R0M118。CPUlll將安裝于外部存儲裝置117的⑶-R0M118所記錄的程序加載到RAM114而執(zhí)行。另外，作為存儲CPUlll所執(zhí)行的程序的介質(zhì)，不限于⑶-R0M118，也可以是光盤(M0(Magnetic Optical Disc:磁光盤)/MD (Mini Disc)/DVD (Digital Versatile Disc:數(shù)字多功能光盤))、IC 卡、光卡、掩模 ROM、EPROM(ErasabIe Programmable ROM:可擦除可編程只讀存儲器)、EEPROM(ElectricalIyEPR0M:電可擦可編程只讀存儲器)等半導(dǎo)體存儲器。
[0058]另外，CPUlll所執(zhí)行的程序不限于記錄在⑶-R0M118中的程序，也可以將存儲在HDDl 15中的程序加載到RAM114中而執(zhí)行。在這種情況下，連接到網(wǎng)絡(luò)2的其它計算機也可以對MFP100的HDD115中存儲的程序進行改寫、或者追加寫入新的程序。進而，MFP100也可以從連接到網(wǎng)絡(luò)2的其它的計算機下載程序，并將該程序存儲到HDD115中。這里所說的程序不僅包括CPUlll能夠直接執(zhí)行的程序，還包括源程序、被壓縮處理了的程序、被加密了的程序等。
[0059]在擴展現(xiàn)實顯示系統(tǒng)I中，在MFP100、便攜信息裝置200、200A、200B、PC300、HDM400、服務(wù)器500之間發(fā)送接收數(shù)據(jù)。關(guān)于發(fā)送接收數(shù)據(jù)的協(xié)議，只要在接收側(cè)的裝置中能夠確定發(fā)送源，則能夠使用任意的協(xié)議。發(fā)送接收數(shù)據(jù)的協(xié)議，例如使用HTTP (HyperTextTransfer Protocol:超文本傳輸協(xié)議)、FTP (File Transfer Protocol:超文本傳輸協(xié)議)以及 SMPT (Simple Mail Transfer Protocol:簡單郵件傳輸協(xié)議)、POP (Post OfficeProtocol:郵局協(xié)議)等。
[0060]圖4是表示本實施方式的便攜信息裝置的