本發(fā)明涉及在攝影圖像中重疊顯示信息的技術(shù)。

背景技術(shù)：

在現(xiàn)實(shí)世界或映出現(xiàn)實(shí)世界的影像中重疊顯示由計(jì)算機(jī)生成的CG的AR技術(shù)已經(jīng)普及。CG是計(jì)算機(jī)圖形的簡(jiǎn)稱，AR是增強(qiáng)現(xiàn)實(shí)的簡(jiǎn)稱。

例如，存在從投影儀向用戶面向的方向存在的建造物投射CG的方法。并且，存在在將由智能手機(jī)、平板終端或可穿戴終端等信息終端具有的攝像機(jī)拍攝到的影像顯示在該信息終端的畫(huà)面中時(shí)重疊顯示CG的方法。

這些技術(shù)能夠用于面向觀光客顯示說(shuō)明周邊建筑物的信息的觀光輔助系統(tǒng)或利用CG顯示到達(dá)目的地的路線的導(dǎo)航系統(tǒng)等用途。

但是，在現(xiàn)實(shí)世界中重疊顯示CG的情況下，成為無(wú)法看到重疊顯示的部分存在的現(xiàn)實(shí)世界的狀況或很難看到重疊顯示的部分存在的現(xiàn)實(shí)世界的狀況。該狀況下，在可以不看到重疊了CG的部分的現(xiàn)實(shí)世界的情況下不會(huì)成為問(wèn)題，但是，在希望看到現(xiàn)實(shí)世界的情況下，在用戶角度的觀點(diǎn)下成為課題。

并且，在現(xiàn)實(shí)世界中，除了通過(guò)AR技術(shù)重疊顯示CG的信息處理終端以外，還存在向用戶發(fā)布有益信息的顯示設(shè)備。因此，在顯示了顯示設(shè)備的部分重疊顯示CG的情況下，從顯示設(shè)備發(fā)布的信息被遮斷，損害了用戶的利益。

專利文獻(xiàn)1公開(kāi)了如下技術(shù)：通過(guò)指定未重疊顯示CG的CG去除區(qū)域，防止在CG去除區(qū)域重疊顯示CG。

但是，用戶需要使用CG去除框、電子筆或自己的手明確地指定CG去除區(qū)域。

因此，產(chǎn)生對(duì)CG去除區(qū)域的位置和尺寸進(jìn)行調(diào)整的勞力。并且，由于CG去除區(qū)域中未重疊顯示CG，因此，應(yīng)該重疊顯示的CG的一部分可能缺失。并且，在CG去除區(qū)域大到必要以上的程度的情況下，可能完全不顯示CG。因此，預(yù)計(jì)無(wú)法進(jìn)行有效的信息發(fā)布。

另一方面，在CG重疊顯示在顯示設(shè)備中的情況下，用戶很難認(rèn)知顯示設(shè)備中顯示的信息。

現(xiàn)有技術(shù)文獻(xiàn)

專利文獻(xiàn)

專利文獻(xiàn)1：日本特開(kāi)2004-178554號(hào)公報(bào)

非專利文獻(xiàn)

非專利文獻(xiàn)1：金澤靖、“基于移動(dòng)單眼攝像機(jī)的道路上的障礙物的計(jì)測(cè)”、[online]、2012年7月10日、[2014年4月7日檢索]、因特網(wǎng)(URL：http：//jstshingi.jp/abst/p/12/1216/toyohashi04.pdf)

技術(shù)實(shí)現(xiàn)要素：

發(fā)明要解決的課題

本發(fā)明的目的在于，能夠在攝影圖像中重疊顯示信息而不遮擋攝影圖像中映出的顯示設(shè)備的顯示區(qū)域。

用于解決課題的手段

本發(fā)明的信息重疊圖像顯示裝置具有信息重疊圖像顯示部，該信息重疊圖像顯示部在作為顯示區(qū)域具有主體顯示區(qū)域的主體顯示設(shè)備的所述主體顯示區(qū)域中，顯示在映出了作為顯示區(qū)域具有信息處理顯示區(qū)域的信息處理顯示設(shè)備的攝影圖像中重疊了重疊信息的信息重疊圖像。

所述信息重疊圖像是在避開(kāi)映出了所述信息處理顯示設(shè)備的所述信息處理顯示區(qū)域的部分而從所述攝影圖像中選擇出的圖像區(qū)域中重疊了所述信息的圖像。

發(fā)明效果

根據(jù)本發(fā)明，能夠在攝影圖像中重疊顯示信息而不遮擋攝影圖像中映出的顯示設(shè)備的顯示區(qū)域。

附圖說(shuō)明

圖1是實(shí)施方式1中的AR裝置100的功能結(jié)構(gòu)圖。

圖2是示出實(shí)施方式1中的AR裝置100的AR處理的流程圖。

圖3是示出實(shí)施方式1中的攝影圖像191的一例的圖。

圖4是示出實(shí)施方式1中的攝影圖像191中包含的不可區(qū)域390的一例的圖。

圖5是示出實(shí)施方式1中的AR圖像194的一例的圖。

圖6是示出實(shí)施方式1中的AR圖像194的顯示形式的一例的圖。

圖7是實(shí)施方式1中的AR裝置100的硬件結(jié)構(gòu)圖。

圖8是示出現(xiàn)有技術(shù)中的AR圖像194的一例的圖。

圖9是實(shí)施方式2中的重疊信息取得部120的功能結(jié)構(gòu)圖。

圖10是實(shí)施方式3中的重疊信息取得部120的功能結(jié)構(gòu)圖。

圖11是示出實(shí)施方式3中的AR圖像194的一例的圖。

圖12是實(shí)施方式4中的不可區(qū)域選擇部130的功能結(jié)構(gòu)圖。

圖13是實(shí)施方式5中的不可區(qū)域選擇部130的功能結(jié)構(gòu)圖。

圖14是示出實(shí)施方式5中的顯示區(qū)域201中顯示的多個(gè)圖標(biāo)330的一例的圖。

圖15是示出實(shí)施方式5中的窗口340的一例的圖。

圖16是示出實(shí)施方式5中的攝影圖像191的一例的一部分的圖。

圖17是示出實(shí)施方式5中的攝影圖像191的一例的一部分的圖。

圖18是示出實(shí)施方式5中的不可區(qū)域390的一例的圖。

圖19是示出實(shí)施方式5中的不可區(qū)域390的一例的圖。

圖20是示出實(shí)施方式5中的不可區(qū)域決定部133的不可區(qū)域決定處理的流程圖。

圖21是實(shí)施方式6中的不可區(qū)域選擇部130的功能結(jié)構(gòu)圖。

圖22是示出實(shí)施方式6中的邊框部393的一例的圖。

圖23是示出實(shí)施方式6中的不可區(qū)域390的一例的圖。

圖24是示出實(shí)施方式6中的邊框部393的一例的圖。

圖25是示出實(shí)施方式6中的不可區(qū)域390的一例的圖。

圖26是示出實(shí)施方式6中的邊框部393的一例的圖。

圖27是示出實(shí)施方式6中的不可區(qū)域390的一例的圖。

圖28是實(shí)施方式7中的AR圖像生成部140的功能結(jié)構(gòu)圖。

圖29是示出實(shí)施方式7中的AR圖像生成部140的AR圖像生成處理的流程圖。

圖30是示出實(shí)施方式7中的信息部分圖322的一例的圖。

圖31是示出實(shí)施方式7中的信息部分圖322的變更例的圖。

圖32是示出實(shí)施方式7中的信息圖320的一例的圖。

圖33是示出實(shí)施方式7中的信息圖像329的一例的圖。

圖34是實(shí)施方式8中的AR裝置100的功能結(jié)構(gòu)圖。

圖35是示出實(shí)施方式8中的AR裝置100的AR處理的流程圖。

圖36是示出實(shí)施方式8中的除外區(qū)域398的位置關(guān)系的圖。

具體實(shí)施方式

實(shí)施方式1

對(duì)在攝影圖像中重疊顯示信息而不遮擋攝影圖像中映出的顯示設(shè)備的顯示區(qū)域的方式進(jìn)行說(shuō)明。

圖1是實(shí)施方式1中的AR裝置100的功能結(jié)構(gòu)圖。AR是增強(qiáng)現(xiàn)實(shí)的簡(jiǎn)稱。

根據(jù)圖1對(duì)實(shí)施方式1中的AR裝置100的功能結(jié)構(gòu)進(jìn)行說(shuō)明。但是，AR裝置100的功能結(jié)構(gòu)也可以是與圖1不同的功能結(jié)構(gòu)。

AR裝置100(信息重疊圖像顯示裝置的一例)是在AR裝置100具有的顯示設(shè)備的顯示區(qū)域(主體顯示區(qū)域的一例)中顯示AR圖像194的裝置。AR圖像194是重疊了信息的信息重疊圖像。

AR裝置100具有攝像機(jī)和顯示設(shè)備(主體顯示設(shè)備的一例)(圖示省略)。攝像機(jī)和顯示設(shè)備也可以經(jīng)由纜線等而與AR裝置100連接。下面，將AR裝置100具有的顯示設(shè)備稱作顯示設(shè)備或AR顯示設(shè)備。

平板型計(jì)算機(jī)、智能手機(jī)和桌上型計(jì)算機(jī)是AR裝置100的一例。

AR裝置100具有攝影圖像取得部110、重疊信息取得部120、不可區(qū)域選擇部130、AR圖像生成部140(信息重疊圖像生成部的一例)、AR圖像顯示部150(信息重疊圖像顯示部的一例)、裝置存儲(chǔ)部190。

攝影圖像取得部110取得由攝像機(jī)生成的攝影圖像191。

攝影圖像191映出存在由信息處理裝置使用的顯示設(shè)備的攝影范圍。下面，將由信息處理裝置使用的顯示設(shè)備稱作顯示設(shè)備或信息處理顯示設(shè)備。并且，將信息處理顯示設(shè)備具有的顯示區(qū)域中顯示的圖像稱作信息處理圖像。

重疊信息取得部120取得攝影圖像191中重疊的重疊信息192。

不可區(qū)域選擇部130從攝影圖像191中選擇映出了信息處理顯示設(shè)備的顯示區(qū)域的圖像區(qū)域，生成將選擇出的圖像區(qū)域表示為不可區(qū)域的不可區(qū)域信息193。

AR圖像生成部140根據(jù)重疊信息192和不可區(qū)域信息193生成AR圖像194。

AR圖像194是在不可區(qū)域以外的圖像區(qū)域中重疊了重疊信息192的攝影圖像191。

AR圖像顯示部150在AR顯示設(shè)備中顯示AR圖像194。

裝置存儲(chǔ)部190存儲(chǔ)由AR裝置100使用、生成或輸入輸出的數(shù)據(jù)。

例如，裝置存儲(chǔ)部190存儲(chǔ)攝影圖像191、重疊信息192、不可區(qū)域信息193和AR圖像194等。

圖2是示出實(shí)施方式1中的AR裝置100的AR處理的流程圖。

根據(jù)圖2對(duì)實(shí)施方式1中的AR裝置100的AR處理進(jìn)行說(shuō)明。但是，AR處理也可以是與圖2不同的處理。

每當(dāng)由AR裝置100的攝像機(jī)生成攝影圖像191時(shí)，執(zhí)行圖2所示的AR處理。

在S110中，攝影圖像取得部110取得由AR裝置100的攝像機(jī)生成的攝影圖像191。

在S110之后，處理進(jìn)入S120。

圖3是示出實(shí)施方式1中的攝影圖像191的一例的圖。

例如，攝影圖像取得部110取得圖3所示的攝影圖像191。

攝影圖像191映出包含平板型的信息處理裝置200和鐘表310的攝影范圍。

平板型的信息處理裝置200具有顯示設(shè)備。信息處理裝置200的顯示設(shè)備具有顯示信息處理圖像300的顯示區(qū)域201。

返回圖2，從S120起繼續(xù)進(jìn)行說(shuō)明。

在S120中，重疊信息取得部120取得攝影圖像191中重疊的重疊信息192。

例如，重疊信息取得部120從攝影圖像191(參照?qǐng)D3)中檢測(cè)鐘表310，取得與鐘表310相關(guān)的重疊信息192。

重疊信息取得處理(S120)的詳細(xì)情況將在其它實(shí)施方式中進(jìn)行說(shuō)明。

在S120之后，處理進(jìn)入S130。但是，也可以在S130之后執(zhí)行S120。并且，也可以與S130并列地執(zhí)行S120。

在S130中，不可區(qū)域選擇部130從攝影圖像191中選擇映出了信息處理裝置200的顯示區(qū)域201的圖像區(qū)域作為不可區(qū)域390。不可區(qū)域390是不可重疊重疊信息192的四邊形的圖像區(qū)域。但是，不可區(qū)域390的形狀也可以不是四邊形。

然后，不可區(qū)域選擇部130生成表示不可區(qū)域的不可區(qū)域信息193。

不可區(qū)域選擇處理(S130)的詳細(xì)情況將在其它實(shí)施方式中進(jìn)行說(shuō)明。

在S130之后，處理進(jìn)入S140。

圖4是示出實(shí)施方式1中的攝影圖像191中包含的不可區(qū)域390的一例的圖。在圖4中，斜線的網(wǎng)格部分表示不可區(qū)域390。

不可區(qū)域選擇部130選擇信息處理裝置200的顯示區(qū)域的整體或一部分作為不可區(qū)域390，生成表示選擇出的不可區(qū)域390的不可區(qū)域信息193。

返回圖2，從S140起繼續(xù)進(jìn)行說(shuō)明。

在S140中，AR圖像生成部140根據(jù)重疊信息192和不可區(qū)域信息193生成AR圖像194。

AR圖像194是避開(kāi)不可區(qū)域重疊了重疊信息192的攝影圖像191。

AR圖像生成處理(S140)的詳細(xì)情況將在其它實(shí)施方式中進(jìn)行說(shuō)明。

在S140之后，處理進(jìn)入S150。

圖5是示出實(shí)施方式1中的AR圖像194的一例的圖。

例如，AR圖像生成部140生成圖5所示的AR圖像194。

AR圖像194包含氣泡形狀的信息圖320。信息圖320將接近鐘表310所示的當(dāng)前時(shí)刻的時(shí)刻的日程表信息表示為重疊信息192。信息圖320是CG(計(jì)算機(jī)圖形)。

返回圖2，從S150起繼續(xù)進(jìn)行說(shuō)明。

在S150中，AR圖像顯示部150在AR裝置100的顯示設(shè)備中顯示AR圖像194。

在S150之后，針對(duì)一個(gè)攝影圖像191的AR處理結(jié)束。

圖6是示出實(shí)施方式1中的AR圖像194的顯示形式的一例的圖。

例如，AR圖像顯示部150在平板型的AR裝置100(參照?qǐng)D6)具有的顯示設(shè)備的顯示區(qū)域101中顯示AR圖像194。

圖7是實(shí)施方式1中的AR裝置100的硬件結(jié)構(gòu)圖。

根據(jù)圖7對(duì)實(shí)施方式1中的AR裝置100的硬件結(jié)構(gòu)進(jìn)行說(shuō)明。但是，AR裝置100的硬件結(jié)構(gòu)也可以是與圖7所示的結(jié)構(gòu)不同的結(jié)構(gòu)。

AR裝置100是計(jì)算機(jī)。

AR裝置100具有總線801、存儲(chǔ)器802、貯存器803、通信接口804、CPU805、GPU806。

進(jìn)而，AR裝置100具有顯示設(shè)備807、攝像機(jī)808、用戶接口設(shè)備809、傳感器810。

總線801是用于供AR裝置100的硬件交換數(shù)據(jù)的數(shù)據(jù)傳輸路徑。

存儲(chǔ)器802是通過(guò)AR裝置100的硬件寫(xiě)入數(shù)據(jù)或讀出數(shù)據(jù)的易失性存儲(chǔ)裝置。但是，存儲(chǔ)器802也可以是非易失性存儲(chǔ)裝置。存儲(chǔ)器802也稱作主存儲(chǔ)裝置。

貯存器803是通過(guò)AR裝置100的硬件寫(xiě)入數(shù)據(jù)或讀出數(shù)據(jù)的非易失性存儲(chǔ)裝置。貯存器803也稱作輔助存儲(chǔ)裝置。

通信接口804是用于供AR裝置100與外部的計(jì)算機(jī)交換數(shù)據(jù)的通信裝置。

CPU805是執(zhí)行AR裝置100進(jìn)行的處理(例如AR處理)的運(yùn)算裝置。CPU是Central Processing Unit的簡(jiǎn)稱。

GPU806是執(zhí)行與計(jì)算機(jī)圖形(CG)有關(guān)的處理的運(yùn)算裝置。但是，與CG有關(guān)的處理也可以由CPU805執(zhí)行。AR圖像194是通過(guò)CG的技術(shù)生成的數(shù)據(jù)的一例。GPU是Graphics Processing Unit的簡(jiǎn)稱。

顯示設(shè)備807是將CG的數(shù)據(jù)轉(zhuǎn)換成光學(xué)輸出的裝置。即，顯示設(shè)備807是顯示CG的顯示裝置。

攝像機(jī)808是將光學(xué)輸入轉(zhuǎn)換成數(shù)據(jù)的裝置。即，攝像機(jī)808是通過(guò)攝影來(lái)生成圖像的攝影裝置。一個(gè)圖像稱作靜態(tài)圖像。并且，將以時(shí)間序列連續(xù)的多個(gè)靜態(tài)圖像稱作動(dòng)態(tài)圖像或影像。

用戶接口設(shè)備809是用于供利用AR裝置100的用戶操作AR裝置100的輸入裝置。桌上型計(jì)算機(jī)具有的鍵盤(pán)和指示設(shè)備是用戶接口設(shè)備809的一例。鼠標(biāo)和跟蹤球是指示設(shè)備的一例。并且，智能手機(jī)或平板型計(jì)算機(jī)具有的觸摸面板和麥克風(fēng)是用戶接口設(shè)備809的一例。

傳感器810是用于檢測(cè)AR裝置100或周邊狀況的計(jì)測(cè)裝置。計(jì)測(cè)位置的GPS、計(jì)測(cè)加速度的加速度傳感器、計(jì)測(cè)角速度的陀螺儀傳感器、計(jì)測(cè)方位的磁傳感器、檢測(cè)有無(wú)接近的物體的接近傳感器和計(jì)測(cè)照度的照度傳感器是傳感器810的一例。

用于實(shí)現(xiàn)作為“～部”說(shuō)明的功能的程序存儲(chǔ)在貯存器803中，從貯存器803下載到存儲(chǔ)器802中，由CPU805執(zhí)行。

表示“～的判斷”、“～的判定”、“～的提取”、“～的檢測(cè)”、“～的設(shè)定”、“～的登記”、“～的選擇”、“～的生成”、“～的輸入”、“～的輸出”等處理的結(jié)果的信息、數(shù)據(jù)、文件、信號(hào)值或變量值存儲(chǔ)在存儲(chǔ)器802或貯存器803中。

圖8是示出現(xiàn)有技術(shù)中的AR圖像194的一例的圖。

在現(xiàn)有技術(shù)的情況下，信息圖320可能重疊在信息處理裝置200的顯示區(qū)域201中(參照?qǐng)D8)。

該情況下，信息處理裝置200的顯示區(qū)域201中顯示的信息處理圖像300被信息圖320遮擋而無(wú)法看到。

因此，在信息處理圖像300包含有益信息的情況下，用戶無(wú)法從AR圖像194得到該有益信息。在希望看到信息處理圖像300的情況下，用戶必須使視線從AR圖像194的顯示設(shè)備移動(dòng)到信息處理裝置200的顯示設(shè)備。

另一方面，實(shí)施方式1中的AR裝置100避開(kāi)信息處理裝置200的顯示區(qū)域201來(lái)重疊顯示信息圖320(參照?qǐng)D6)。

在圖6中，信息圖320與信息處理裝置200的邊框重合，但是，不與顯示區(qū)域201重合。并且，即使信息圖320有時(shí)與信息處理裝置200的周邊設(shè)備重合，也不會(huì)與顯示區(qū)域201重合。

因此，用戶能夠從AR圖像194得到信息圖320中記載的信息和信息處理圖像300中記載的信息雙方。

根據(jù)實(shí)施方式1，能夠在攝影圖像中重疊顯示信息而不遮擋攝影圖像中映出的顯示設(shè)備的顯示區(qū)域。

實(shí)施方式2

對(duì)AR裝置100的重疊信息取得部120進(jìn)行說(shuō)明。

下面，主要對(duì)實(shí)施方式1中未說(shuō)明的事項(xiàng)進(jìn)行說(shuō)明。省略說(shuō)明的事項(xiàng)與實(shí)施方式1相同。

圖9是實(shí)施方式2中的重疊信息取得部120的功能結(jié)構(gòu)圖。

根據(jù)圖9對(duì)實(shí)施方式2中的重疊信息取得部120的功能結(jié)構(gòu)進(jìn)行說(shuō)明。但是，重疊信息取得部120的功能結(jié)構(gòu)也可以是與圖9不同的功能結(jié)構(gòu)。

重疊信息取得部120具有物體檢測(cè)部121、物體確定部122、重疊信息收集部123。

物體檢測(cè)部121從攝影圖像191中檢測(cè)攝影圖像191中映出的物體。換言之，物體檢測(cè)部121從攝影圖像191中檢測(cè)映出了物體的物體區(qū)域。

例如，物體檢測(cè)部121從攝影圖像191中檢測(cè)攝影圖像191(參照?qǐng)D3)中映出的鐘表310。

例如，物體檢測(cè)部121通過(guò)標(biāo)記方式或無(wú)標(biāo)記方式從攝影圖像191中檢測(cè)物體。

標(biāo)記方式是通過(guò)從攝影圖像191中檢測(cè)對(duì)物體(包含物體的圖像)附加的標(biāo)記來(lái)檢測(cè)附加了標(biāo)記的物體的方式。標(biāo)記是條形碼這樣的特殊圖形。根據(jù)與物體有關(guān)的物體信息生成標(biāo)記。物體信息包含表示物體類別的類別信息、表示物體位置的坐標(biāo)值和表示物體大小的尺寸信息等。

無(wú)標(biāo)記方式是從攝影圖像191中提取幾何學(xué)或光學(xué)特征量并根據(jù)提取出的特征量來(lái)檢測(cè)物體的方式。表示物體的形狀、色彩和亮度的量是表示物體特征的特征量的一例。并且，物體上標(biāo)記的文字和記號(hào)是表示物體特征的特征量的一例。

例如，物體檢測(cè)部121提取表示攝影圖像191中映出的物體形狀的邊緣，檢測(cè)由提取出的邊緣包圍的物體區(qū)域。即，物體檢測(cè)部121檢測(cè)以提取出的邊緣為邊界線的物體區(qū)域。

物體確定部122確定由物體檢測(cè)部121檢測(cè)到的物體類別。并且，物體確定部122取得表示由物體檢測(cè)部121檢測(cè)到的物體類別的類別信息。

例如，類別信息用JSON形式記述。JSON是JavaScript Object Notation的簡(jiǎn)稱。Java和JavaScript是注冊(cè)商標(biāo)。

例如，物體確定部122根據(jù)從攝影圖像191(參照?qǐng)D3)中檢測(cè)到的物體的形狀、表盤(pán)、時(shí)針、分針和秒針等，確定檢測(cè)到的物體是鐘表310。

例如，在通過(guò)標(biāo)記方式檢測(cè)到物體的情況下，物體確定部122從標(biāo)記中讀取物體的類別信息。

例如，在通過(guò)無(wú)標(biāo)記方式檢測(cè)到物體的情況下，物體確定部122使用檢測(cè)到的物體的特征量，從類別信息數(shù)據(jù)庫(kù)中取得物體的類別信息。類別信息數(shù)據(jù)庫(kù)是將物體的類別信息與物體的特征量關(guān)聯(lián)起來(lái)的數(shù)據(jù)庫(kù)。類別信息數(shù)據(jù)庫(kù)是通過(guò)對(duì)物體的特征量進(jìn)行機(jī)械學(xué)習(xí)而生成的。類別信息數(shù)據(jù)庫(kù)可以是其它計(jì)算機(jī)具有的外部數(shù)據(jù)庫(kù)，也可以是AR裝置100具有的內(nèi)部數(shù)據(jù)庫(kù)。

重疊信息收集部123根據(jù)由物體確定部122確定的物體類別，取得與物體有關(guān)的物體信息作為重疊信息192。例如，物體信息用JSON形式記述。

但是，重疊信息收集部123也可以取得物體信息以外的信息作為重疊信息192。例如，重疊信息收集部123也可以取得與當(dāng)前的日期時(shí)間、位置、氣候等有關(guān)的信息作為重疊信息192。

例如，在通過(guò)標(biāo)記方式檢測(cè)到物體的情況下，重疊信息收集部123從標(biāo)記中讀取物體信息。

例如，在通過(guò)無(wú)標(biāo)記方式檢測(cè)到物體的情況下，重疊信息收集部123使用物體的類別信息，從物體信息數(shù)據(jù)庫(kù)取得物體信息或URI。物體信息數(shù)據(jù)庫(kù)是將物體信息或URI與類別信息關(guān)聯(lián)起來(lái)的數(shù)據(jù)庫(kù)。物體信息數(shù)據(jù)庫(kù)可以是外部數(shù)據(jù)庫(kù)，也可以是內(nèi)部數(shù)據(jù)庫(kù)。URI是Uniform Resource Identifier的簡(jiǎn)稱。URI也可以改寫(xiě)成URL(Uniform Resource Locator)。

在從物體信息數(shù)據(jù)庫(kù)取得了URI的情況下，重疊信息收集部123從URI所示的存儲(chǔ)區(qū)域中取得物體信息。URI所示的存儲(chǔ)區(qū)域可以是其它計(jì)算機(jī)具有的存儲(chǔ)裝置中設(shè)置的存儲(chǔ)區(qū)域，也可以是AR裝置100具有的存儲(chǔ)裝置中設(shè)置的存儲(chǔ)區(qū)域。

根據(jù)實(shí)施方式2，能夠取得與攝影圖像191中映出的物體有關(guān)的重疊信息。

實(shí)施方式3

對(duì)重疊信息取得部120取得與顯示區(qū)域中顯示的信息處理圖像有關(guān)的信息作為重疊信息192的方式進(jìn)行說(shuō)明。

下面，主要對(duì)實(shí)施方式1和實(shí)施方式2中未說(shuō)明的事項(xiàng)進(jìn)行說(shuō)明。省略說(shuō)明的事項(xiàng)與實(shí)施方式1或?qū)嵤┓绞?相同。

圖10是實(shí)施方式3中的重疊信息取得部120的功能結(jié)構(gòu)圖。

根據(jù)圖10對(duì)實(shí)施方式3中的重疊信息取得部120的功能結(jié)構(gòu)進(jìn)行說(shuō)明。但是，重疊信息取得部120的功能結(jié)構(gòu)也可以是與圖10不同的功能結(jié)構(gòu)。

重疊信息取得部120在實(shí)施方式2(參照?qǐng)D9)中說(shuō)明的功能的基礎(chǔ)上，具有不可區(qū)域解析部124。

不可區(qū)域解析部124根據(jù)不可區(qū)域信息193對(duì)不可區(qū)域390中映出的信息處理圖像300進(jìn)行解析。

例如，不可區(qū)域解析部124通過(guò)對(duì)信息處理圖像300進(jìn)行解析，從信息處理圖像300中檢測(cè)圖標(biāo)。

圖標(biāo)被鏈接到電子文件(包含應(yīng)用程序)。圖標(biāo)是表示被鏈接的電子文件的內(nèi)容的圖形，有時(shí)在該圖形中附加字符串。

重疊信息收集部123根據(jù)信息處理圖像300的解析結(jié)果，收集與信息處理圖像300有關(guān)的信息作為重疊信息192。

例如，重疊信息收集部123收集與由從信息處理圖像300中檢測(cè)到的圖標(biāo)識(shí)別的電子文件有關(guān)的信息作為重疊信息192。應(yīng)用程序是電子文件的一例。

例如，重疊信息收集部123從將應(yīng)用信息與圖標(biāo)關(guān)聯(lián)起來(lái)的應(yīng)用信息數(shù)據(jù)庫(kù)中收集應(yīng)用信息。應(yīng)用名和版本編號(hào)是應(yīng)用信息中包含的信息的一例。應(yīng)用信息數(shù)據(jù)庫(kù)可以是信息處理裝置200具有的數(shù)據(jù)庫(kù)、AR裝置100具有的數(shù)據(jù)庫(kù)、其它計(jì)算機(jī)具有的數(shù)據(jù)庫(kù)中的任意一方。

圖11是示出實(shí)施方式3中的AR圖像194的一例的圖。

在圖11中，AR圖像194包含將應(yīng)用信息和更新信息表示為重疊信息192的信息圖321。更新信息是表示應(yīng)用程序有無(wú)更新的信息。

例如，不可區(qū)域解析部124從信息處理圖像300中檢測(cè)四邊形的圖標(biāo)。

然后，重疊信息收集部123從應(yīng)用信息數(shù)據(jù)庫(kù)取得與由檢測(cè)到的圖標(biāo)識(shí)別的應(yīng)用程序有關(guān)的應(yīng)用信息。進(jìn)而，重疊信息收集部123使用取得的應(yīng)用信息中包含的應(yīng)用名和版本編號(hào)，從應(yīng)用管理服務(wù)器取得更新信息。應(yīng)用管理服務(wù)器是用于管理應(yīng)用程序的服務(wù)器。

根據(jù)實(shí)施方式3，能夠取得與被攝體的顯示設(shè)備的顯示區(qū)域中顯示的圖像有關(guān)的重疊信息192。

實(shí)施方式4

對(duì)AR裝置100的不可區(qū)域選擇部130進(jìn)行說(shuō)明。

下面，主要對(duì)實(shí)施方式1～實(shí)施方式3中未說(shuō)明的事項(xiàng)進(jìn)行說(shuō)明。省略說(shuō)明的事項(xiàng)與實(shí)施方式1～實(shí)施方式3相同。

圖12是實(shí)施方式4中的不可區(qū)域選擇部130的功能結(jié)構(gòu)圖。

根據(jù)圖12對(duì)實(shí)施方式4中的不可區(qū)域選擇部130的功能結(jié)構(gòu)進(jìn)行說(shuō)明。但是，不可區(qū)域選擇部130的功能結(jié)構(gòu)也可以是與圖12不同的功能結(jié)構(gòu)。

不可區(qū)域選擇部130具有顯示區(qū)域選擇部131和不可區(qū)域信息生成部138。

顯示區(qū)域選擇部131從攝影圖像191中選擇顯示區(qū)域201。

不可區(qū)域信息生成部138生成將顯示區(qū)域201表示為不可區(qū)域390的不可區(qū)域信息193。在存在多個(gè)顯示區(qū)域201的情況下，不可區(qū)域信息生成部138按照每個(gè)顯示區(qū)域201生成不可區(qū)域信息193。

例如，顯示區(qū)域選擇部131如下所述選擇顯示區(qū)域201。

在利用數(shù)字?jǐn)z像機(jī)拍攝到液晶顯示器的情況下，在映出液晶顯示器的顯示區(qū)域201的部分產(chǎn)生干涉條紋。干涉條紋是由周期性明暗構(gòu)成的條紋圖案。干涉條紋也稱作波紋。

產(chǎn)生干涉條紋的原因是，在液晶顯示器的分辨率與數(shù)字?jǐn)z像機(jī)的分辨率之間產(chǎn)生偏差。

因此，顯示區(qū)域選擇部131選擇映出干涉條紋的區(qū)域作為顯示區(qū)域201。例如，顯示區(qū)域選擇部131使用表示干涉條紋的明暗的傅里葉變換式來(lái)選擇顯示區(qū)域201。

例如，顯示區(qū)域選擇部131如下所述選擇顯示區(qū)域201。

多數(shù)的顯示設(shè)備具有被稱作背光的發(fā)光功能，以提高顯示區(qū)域201的視覺(jué)辨認(rèn)性。因此，在顯示區(qū)域201中顯示著什么時(shí)，顯示區(qū)域201的亮度較高。

因此，顯示區(qū)域選擇部131選擇亮度比亮度閾值高的區(qū)域作為顯示區(qū)域201。

例如，顯示區(qū)域選擇部131如下所述選擇顯示區(qū)域201。

使用布勞恩管的顯示設(shè)備按照每個(gè)掃描線進(jìn)行顯示處理。而且，攝像機(jī)的快門(mén)打開(kāi)的時(shí)間內(nèi)顯示的掃描線較亮地映出在攝影圖像191中，其余的掃描線較暗地映出在攝影圖像191中。因此，由較亮的掃描線和較暗的掃描線構(gòu)成的條紋圖案出現(xiàn)在攝影圖像191中。

并且，攝像機(jī)的快門(mén)打開(kāi)的時(shí)間不與掃描線的顯示周期同步，因此，較亮的掃描線和較暗的掃描線各自的位置在每次拍攝時(shí)變化。即，攝影圖像191中出現(xiàn)的條紋圖案的位置在每次拍攝時(shí)變化。因此，在連續(xù)拍攝到的多個(gè)攝影圖像191中出現(xiàn)在顯示設(shè)備的顯示區(qū)域201內(nèi)移動(dòng)的條紋圖案。

因此，顯示區(qū)域選擇部131使用連續(xù)拍攝到的多個(gè)攝影圖像191，從各個(gè)攝影圖像191中選擇條紋圖案移動(dòng)的區(qū)域。選擇出的區(qū)域是顯示區(qū)域201。

例如，顯示區(qū)域選擇部131如下所述選擇顯示區(qū)域201。

在顯示設(shè)備顯示著內(nèi)容變化的動(dòng)態(tài)圖像的情況下，顯示設(shè)備的顯示區(qū)域201中顯示的圖像在每次拍攝攝影圖像191時(shí)變化。

因此，顯示區(qū)域選擇部131使用連續(xù)拍攝到的多個(gè)攝影圖像191，從各個(gè)攝影圖像191中選擇變化的區(qū)域。選擇出的區(qū)域是顯示區(qū)域201。另外，顯示區(qū)域選擇部131通過(guò)陀螺儀傳感器來(lái)檢測(cè)AR裝置100的運(yùn)動(dòng)，以區(qū)分顯示區(qū)域201中顯示的圖像的變化和由AR裝置100的運(yùn)動(dòng)引起的攝影圖像191的變化。

根據(jù)實(shí)施方式4，能夠選擇被攝體的顯示設(shè)備的顯示區(qū)域作為不可區(qū)域。

實(shí)施方式5

對(duì)AR裝置100的不可區(qū)域選擇部130進(jìn)行說(shuō)明。

下面，主要對(duì)實(shí)施方式1～實(shí)施方式4中未說(shuō)明的事項(xiàng)進(jìn)行說(shuō)明。省略說(shuō)明的事項(xiàng)與實(shí)施方式1～實(shí)施方式4相同。

圖13是實(shí)施方式5中的不可區(qū)域選擇部130的功能結(jié)構(gòu)圖。

根據(jù)圖13對(duì)實(shí)施方式5中的不可區(qū)域選擇部130的功能結(jié)構(gòu)進(jìn)行說(shuō)明。但是，不可區(qū)域選擇部130的功能結(jié)構(gòu)也可以是與圖13不同的功能結(jié)構(gòu)。

不可區(qū)域選擇部130根據(jù)區(qū)域條件信息139生成不可區(qū)域信息193。

不可區(qū)域選擇部130具有目標(biāo)區(qū)域選擇部132、不可區(qū)域決定部133、不可區(qū)域信息生成部138。

不可區(qū)域信息生成部138生成表示不可區(qū)域390的不可區(qū)域信息193。在存在多個(gè)不可區(qū)域390的情況下，不可區(qū)域信息生成部138生成多個(gè)不可區(qū)域信息193。

區(qū)域條件信息139是表示顯示了目標(biāo)的目標(biāo)區(qū)域391的條件的信息。這里，目標(biāo)顯示在信息處理裝置200的顯示區(qū)域201中。例如，圖標(biāo)330和窗口340是目標(biāo)的一例。區(qū)域條件信息139是裝置存儲(chǔ)部190中存儲(chǔ)的數(shù)據(jù)的一例。

例如，作為目標(biāo)區(qū)域391的條件，區(qū)域條件信息139表示以下的內(nèi)容。

一般的信息處理裝置200在顯示區(qū)域201中顯示鏈接到電子文件(包含應(yīng)用程序)的多個(gè)圖標(biāo)330作為GUI。GUI是圖形用戶界面的簡(jiǎn)稱。圖標(biāo)330是表示被鏈接的電子文件的內(nèi)容的圖形。有時(shí)在圖標(biāo)330的圖形中附加字符串。

圖14是示出實(shí)施方式5中的顯示區(qū)域201中顯示的多個(gè)圖標(biāo)330的一例的圖。在圖14中，虛線包圍的6個(gè)目標(biāo)是圖標(biāo)330。

如圖14所示，通常，多個(gè)圖標(biāo)330具有規(guī)則性地整齊排列。例如，多個(gè)圖標(biāo)330以一定間隔整齊排列，使得相互不會(huì)重合。

因此，作為目標(biāo)區(qū)域391的條件，區(qū)域條件信息139表示與圖標(biāo)330有關(guān)的信息。例如，區(qū)域條件信息139是用作圖標(biāo)330的多個(gè)圖像。并且，例如，區(qū)域條件信息139是表示圖標(biāo)330的尺寸的閾值、圖標(biāo)330間的距離的閾值以及圖形的尺寸與字符串的尺寸的比率的閾值等的信息。

例如，作為目標(biāo)區(qū)域391的條件，區(qū)域條件信息139表示以下的內(nèi)容。

一般的信息處理裝置200在起動(dòng)特定的應(yīng)用程序時(shí)，在顯示區(qū)域201中顯示被稱作窗口340的畫(huà)面。文章生成軟件和文件夾閱覽軟件是顯示窗口340的應(yīng)用程序的一例。窗口340是GUI的一例。

圖15是示出實(shí)施方式5中的窗口340的一例的圖。

如圖15所示，通常，窗口340的形狀為四邊形。窗口340具有顯示某些信息的顯示部342和包圍顯示部342的窗口框341。顯示部342在上部具有菜單條343。

這里，將窗口框341的上部、下部、左側(cè)部和右側(cè)部稱作框上部341U、框下部341D、框左部341L和框右部341R。

框上部341U的厚度比窗口框341的其它部分厚，附加有標(biāo)題344和按鈕目標(biāo)345等。最小化按鈕、最大化按鈕和結(jié)束按鈕等是按鈕目標(biāo)345的一例。

因此，作為目標(biāo)區(qū)域391的條件，區(qū)域條件信息139表示窗口框341的特征。例如，窗口框341的特征是指形狀為四邊形、框上部341U比其它部分厚、其它部分的厚度相同、框上部341U中具有字符串、框上部311中具有按鈕目標(biāo)345等。但是，框上部341U也可以置換成框下部341D、框左部341L或框右部341R。

目標(biāo)區(qū)域選擇部132根據(jù)區(qū)域條件信息139從攝影圖像191中選擇目標(biāo)區(qū)域391。

在區(qū)域條件信息139表示與圖標(biāo)330有關(guān)的信息的情況下，目標(biāo)區(qū)域選擇部132按照攝影圖像191中映出的每個(gè)圖標(biāo)330，選擇映出了圖標(biāo)330的區(qū)域作為目標(biāo)區(qū)域391。

圖16是示出實(shí)施方式5中的攝影圖像191的一例的一部分的圖。

在圖16中，在攝影圖像191中映出7個(gè)圖標(biāo)330。該情況下，目標(biāo)區(qū)域選擇部132選擇7個(gè)目標(biāo)區(qū)域391。

在區(qū)域條件信息139表示窗口框341的特征的情況下，目標(biāo)區(qū)域選擇部132按照攝影圖像191中映出的每個(gè)窗口340，選擇映出了窗口340的區(qū)域作為目標(biāo)區(qū)域391。

例如，目標(biāo)區(qū)域選擇部132檢測(cè)攝影圖像191中包含的四邊形的邊緣作為窗口框341。

例如，目標(biāo)區(qū)域選擇部132根據(jù)窗口框341的顏色檢測(cè)窗口框341和按鈕目標(biāo)345。

圖17是示出實(shí)施方式5中的攝影圖像191的一例的一部分的圖。

在圖17中，在攝影圖像191中映出3個(gè)窗口340。該情況下，目標(biāo)區(qū)域選擇部132選擇3個(gè)目標(biāo)區(qū)域391。

不可區(qū)域決定部133根據(jù)目標(biāo)區(qū)域391決定不可區(qū)域390。

此時(shí)，不可區(qū)域決定部133根據(jù)目標(biāo)區(qū)域391間的距離對(duì)目標(biāo)區(qū)域391進(jìn)行分組，按照目標(biāo)區(qū)域391的每個(gè)組決定不可區(qū)域390。

圖18是示出實(shí)施方式5中的不可區(qū)域390的一例的圖。

例如，攝影圖像191(參照?qǐng)D16)包含7個(gè)目標(biāo)區(qū)域391。左側(cè)的6個(gè)目標(biāo)區(qū)域彼此的距離比距離閾值短。另一方面，右側(cè)的一個(gè)目標(biāo)區(qū)域與左側(cè)的6個(gè)目標(biāo)區(qū)域之間的距離比距離閾值長(zhǎng)。

該情況下，不可區(qū)域決定部133將包圍左側(cè)的6個(gè)目標(biāo)區(qū)域391的四邊形的框包圍的區(qū)域決定為不可區(qū)域390(參照?qǐng)D18)。并且，不可區(qū)域決定部133將右側(cè)的一個(gè)目標(biāo)區(qū)域391決定為不可區(qū)域390。

可認(rèn)為右側(cè)的不可區(qū)域390和左側(cè)的不可區(qū)域390表示不同的顯示設(shè)備的顯示區(qū)域201。

圖19是示出實(shí)施方式5中的不可區(qū)域390的一例的圖。

例如，圖17的攝影圖像191包含3個(gè)目標(biāo)區(qū)域391。3個(gè)目標(biāo)區(qū)域391彼此的距離比距離閾值短。

該情況下，如圖19所示，不可區(qū)域決定部133將包圍3個(gè)目標(biāo)區(qū)域391的四邊形的框內(nèi)的區(qū)域決定為不可區(qū)域390。

可認(rèn)為3個(gè)目標(biāo)區(qū)域391包含在一個(gè)顯示設(shè)備的顯示區(qū)域201中。

圖20是示出實(shí)施方式5中的不可區(qū)域決定部133的不可區(qū)域決定處理的流程圖。

根據(jù)圖20對(duì)實(shí)施方式5中的不可區(qū)域決定部133的不可區(qū)域決定處理進(jìn)行說(shuō)明。但是，不可區(qū)域決定處理也可以是與圖20不同的處理。

在S1321中，不可區(qū)域決定部133計(jì)算多個(gè)目標(biāo)區(qū)域391各自的尺寸，根據(jù)各個(gè)尺寸計(jì)算目標(biāo)區(qū)域391的尺寸閾值。

例如，不可區(qū)域決定部133計(jì)算多個(gè)目標(biāo)區(qū)域391的尺寸的平均值或?qū)υ撈骄党艘猿叽缦禂?shù)而得到的值作為尺寸閾值。在目標(biāo)區(qū)域391是圖標(biāo)330的區(qū)域的情況下，圖標(biāo)330的縱向、橫向或斜向的長(zhǎng)度是目標(biāo)區(qū)域391的尺寸的一例。在目標(biāo)區(qū)域391是窗口340的區(qū)域的情況下，窗口框341的框上部341U的厚度是目標(biāo)區(qū)域391的尺寸的一例。

在S1321之后，處理進(jìn)入S1322。

在S1322中，不可區(qū)域決定部133從多個(gè)目標(biāo)區(qū)域391中刪除比尺寸閾值小的目標(biāo)區(qū)域391?？烧J(rèn)為被刪除的目標(biāo)區(qū)域391為不是目標(biāo)區(qū)域391但是誤選擇出的噪聲的區(qū)域。

例如，在圖標(biāo)330的尺寸閾值為0.5cm(厘米)的情況下，可認(rèn)為縱向長(zhǎng)度為1cm的目標(biāo)區(qū)域391中映出的是圖標(biāo)330。另一方面，可認(rèn)為縱向長(zhǎng)度為0.1cm的目標(biāo)區(qū)域391中映出的不是圖標(biāo)330。因此，不可區(qū)域決定部133刪除縱向長(zhǎng)度為0.1cm的目標(biāo)區(qū)域391。

在S1322之后，處理進(jìn)入S1323。

在S1323以后的處理中，多個(gè)目標(biāo)區(qū)域391不包含在S1322中刪除的目標(biāo)區(qū)域391。

在S1323中，不可區(qū)域決定部133計(jì)算多個(gè)目標(biāo)區(qū)域391彼此的距離，根據(jù)彼此的距離計(jì)算距離閾值。

例如，不可區(qū)域決定部133按照每個(gè)目標(biāo)區(qū)域391選擇位于目標(biāo)區(qū)域391旁邊的目標(biāo)區(qū)域391，計(jì)算選擇出的目標(biāo)區(qū)域391間的距離。然后，不可區(qū)域決定部133計(jì)算目標(biāo)區(qū)域391間的距離的平均值或?qū)υ撈骄党艘跃嚯x系數(shù)而得到的值作為距離閾值。

在S1323之后，處理進(jìn)入S1324。

在S1324中，不可區(qū)域決定部133從多個(gè)目標(biāo)區(qū)域391中選擇未選擇為第一目標(biāo)區(qū)域391的一個(gè)目標(biāo)區(qū)域391。

下面，將在S1324中選擇出的目標(biāo)區(qū)域391稱作第一目標(biāo)區(qū)域391。

在S1324之后，處理進(jìn)入S1325。

在S1325中，不可區(qū)域決定部133從多個(gè)目標(biāo)區(qū)域391中選擇位于第一目標(biāo)區(qū)域391旁邊的目標(biāo)區(qū)域391。例如，不可區(qū)域決定部133選擇最接近第一目標(biāo)區(qū)域391的目標(biāo)區(qū)域391。

下面，將在S1325中選擇出的目標(biāo)區(qū)域391稱作第二目標(biāo)區(qū)域391。

在S1325之后，處理進(jìn)入S1326。但是，在不存在第二目標(biāo)區(qū)域391的情況下，即除了第一目標(biāo)區(qū)域391以外未殘留目標(biāo)區(qū)域391的情況下，不可區(qū)域決定處理結(jié)束(圖示省略)。

在S1326中，不可區(qū)域決定部133計(jì)算第一目標(biāo)區(qū)域391與第二目標(biāo)區(qū)域391的區(qū)域間距離，對(duì)計(jì)算出的區(qū)域間距離和距離閾值進(jìn)行比較。

在區(qū)域間距離小于距離閾值的情況下(是)，處理進(jìn)入S1327。

在區(qū)域間距離為距離閾值以上的情況下(否)，處理進(jìn)入S1328。

在S1327中，不可區(qū)域決定部133通過(guò)對(duì)第一目標(biāo)區(qū)域391和第二目標(biāo)區(qū)域391進(jìn)行合成，生成新的目標(biāo)區(qū)域391。即，代替刪除第一目標(biāo)區(qū)域391和第二目標(biāo)區(qū)域391而生成新的目標(biāo)區(qū)域391。新的目標(biāo)區(qū)域391是包圍第一目標(biāo)區(qū)域391和第二目標(biāo)區(qū)域391的四邊形的框內(nèi)的區(qū)域。例如，新的目標(biāo)區(qū)域391是包含第一目標(biāo)區(qū)域391和第二目標(biāo)區(qū)域391的最小的矩形區(qū)域。

在S1327之后，處理進(jìn)入S1328。

在S1328中，不可區(qū)域決定部133判定是否存在未選擇為第一目標(biāo)區(qū)域391的未選擇的目標(biāo)區(qū)域391。在S1327中生成的新的目標(biāo)區(qū)域391是未選擇的目標(biāo)區(qū)域391。

在存在未選擇的目標(biāo)區(qū)域391的情況下(是)，處理返回S1324。

在不存在未選擇的目標(biāo)區(qū)域391的情況下(否)，不可區(qū)域決定處理結(jié)束。

不可區(qū)域決定處理后殘留的目標(biāo)區(qū)域391是不可區(qū)域390。

不可區(qū)域決定部133也可以將在S1322中刪除的目標(biāo)區(qū)域391作為對(duì)象，新執(zhí)行不可區(qū)域決定處理。這是因?yàn)椋谶h(yuǎn)離AR裝置100的位置存在顯示設(shè)備的情況下，該顯示設(shè)備的顯示區(qū)域201中顯示的圖標(biāo)330等區(qū)域可能被判斷為噪聲區(qū)域而被刪除。

由此，位于AR裝置100附近的顯示設(shè)備的顯示區(qū)域201在第一次的不可區(qū)域決定處理中決定為不可區(qū)域390，遠(yuǎn)離AR裝置100的顯示設(shè)備的顯示區(qū)域201在第二次以后的不可區(qū)域決定處理中決定為不可區(qū)域390。

根據(jù)實(shí)施方式5，能夠選擇被攝體的顯示設(shè)備的顯示區(qū)域中的顯示著目標(biāo)的目標(biāo)區(qū)域作為不可區(qū)域。而且，能夠在目標(biāo)區(qū)域以外的顯示區(qū)域中重疊重疊信息。即，能夠擴(kuò)大能夠重疊重疊信息的圖像區(qū)域。

實(shí)施方式6

對(duì)根據(jù)顯示設(shè)備的邊框決定顯示區(qū)域201的方式進(jìn)行說(shuō)明。

下面，主要對(duì)實(shí)施方式1～實(shí)施方式5中未說(shuō)明的事項(xiàng)進(jìn)行說(shuō)明。省略說(shuō)明的事項(xiàng)與實(shí)施方式1～實(shí)施方式5相同。

圖21是實(shí)施方式6中的不可區(qū)域選擇部130的功能結(jié)構(gòu)圖。

根據(jù)圖21對(duì)實(shí)施方式6中的不可區(qū)域選擇部130的功能結(jié)構(gòu)進(jìn)行說(shuō)明。但是，不可區(qū)域選擇部130的功能結(jié)構(gòu)也可以是與圖21不同的功能結(jié)構(gòu)。

不可區(qū)域選擇部130具有目標(biāo)區(qū)域選擇部132、不可區(qū)域決定部133、不可區(qū)域信息生成部138。

目標(biāo)區(qū)域選擇部132和不可區(qū)域信息生成部138與實(shí)施方式5(參照?qǐng)D13)相同。

不可區(qū)域決定部133具有候選區(qū)域決定部134、邊框部檢測(cè)部135、候選區(qū)域編輯部136。

候選區(qū)域決定部134通過(guò)實(shí)施方式5中說(shuō)明的不可區(qū)域決定處理(參照?qǐng)D20)決定不可區(qū)域390的候選。下面，將不可區(qū)域390的候選稱作候選區(qū)域392。

邊框部檢測(cè)部135從攝影圖像191中檢測(cè)與顯示設(shè)備的邊框相當(dāng)?shù)倪吙虿?93。邊框是包圍顯示區(qū)域201的框。

例如，邊框部檢測(cè)部135檢測(cè)四邊形的邊緣作為邊框部393。邊框部檢測(cè)部135也可以通過(guò)邊緣檢測(cè)來(lái)檢測(cè)支承桌子上設(shè)置的顯示設(shè)備的頭部分，檢測(cè)位于檢測(cè)到的頭部分上的四邊形的邊緣作為邊框部393。

例如，邊框部檢測(cè)部135檢測(cè)與表示邊框的三維形狀的三維模型一致的部分作為邊框部393。三維模型是裝置存儲(chǔ)部190中存儲(chǔ)的數(shù)據(jù)的一例。

候選區(qū)域編輯部136根據(jù)邊框部393編輯候選區(qū)域392，由此決定不可區(qū)域390。

此時(shí)，候選區(qū)域編輯部136按照每個(gè)邊框部393選擇由邊框部393包圍的候選區(qū)域392，通過(guò)對(duì)由邊框部393包圍的候選區(qū)域392進(jìn)行合成，決定不可區(qū)域390。

圖22是示出實(shí)施方式6中的邊框部393的一例的圖。

圖23是示出實(shí)施方式6中的不可區(qū)域390的一例的圖。

在圖22中，從攝影圖像191中檢測(cè)一個(gè)邊框部393，該邊框部393包圍2個(gè)候選區(qū)域392。

該情況下，候選區(qū)域編輯部136在邊框部393中生成包含2個(gè)候選區(qū)域392的四邊形的不可區(qū)域390(參照?qǐng)D23)。

圖24是示出實(shí)施方式6中的邊框部393的一例的圖。

圖25是示出實(shí)施方式6中的不可區(qū)域390的一例的圖。

在圖24中，從攝影圖像191中檢測(cè)2個(gè)邊框部393，各個(gè)邊框部393各包圍一個(gè)候選區(qū)域392。

該情況下，候選區(qū)域編輯部136將各個(gè)候選區(qū)域392決定為不可區(qū)域390(參照?qǐng)D25)。

圖26是示出實(shí)施方式6中的邊框部393的一例的圖。

圖27是示出實(shí)施方式6中的不可區(qū)域390的一例的圖。

在圖26中，從攝影圖像191中檢測(cè)一部分重合的2個(gè)邊框部393，一個(gè)邊框部393包圍候選區(qū)域392的一部分，另一個(gè)邊框部393包圍候選區(qū)域392的其余部分。

該情況下，候選區(qū)域編輯部136將由2個(gè)邊框部393包圍的候選區(qū)域392決定為不可區(qū)域390(參照?qǐng)D27)。

并且，候選區(qū)域編輯部136不將任何邊框部393均不包圍的候選區(qū)域392決定為不可區(qū)域390。但是，候選區(qū)域編輯部136也可以將該候選區(qū)域392決定為不可區(qū)域390。

候選區(qū)域編輯部136也可以將由包圍候選區(qū)域392的全部或一部分的邊框部393包圍的圖像區(qū)域的整體決定為不可區(qū)域390。

根據(jù)實(shí)施方式6，能夠根據(jù)顯示設(shè)備的邊框決定顯示區(qū)域201。由此，能夠選擇更加適當(dāng)?shù)牟豢蓞^(qū)域。

實(shí)施方式7

對(duì)AR裝置100的AR圖像生成部140進(jìn)行說(shuō)明。

下面，主要對(duì)實(shí)施方式1～實(shí)施方式6中未說(shuō)明的事項(xiàng)進(jìn)行說(shuō)明。省略說(shuō)明的事項(xiàng)與實(shí)施方式1～實(shí)施方式6相同。

圖28是實(shí)施方式7中的AR圖像生成部140的功能結(jié)構(gòu)圖。

根據(jù)圖28對(duì)實(shí)施方式7中的AR圖像生成部140的功能結(jié)構(gòu)進(jìn)行說(shuō)明。但是，AR圖像生成部140的功能結(jié)構(gòu)也可以是與圖28不同的功能結(jié)構(gòu)。

AR圖像生成部140具有信息圖像生成部141和信息圖像重疊部146。

信息圖像生成部141生成包含記載有重疊信息192的信息圖320的信息圖像329。

信息圖像重疊部146通過(guò)在攝影圖像191中重疊信息圖像329，生成AR圖像194。

信息圖像生成部141具有信息部分生成部142、信息部分配置判定部143、引出部分生成部144、信息圖配置部145。

信息部分生成部142生成信息圖320中的表示重疊信息192的信息部分圖322。

信息部分配置判定部143根據(jù)不可區(qū)域信息193，判定是否能夠避開(kāi)不可區(qū)域390而將信息部分圖322配置在攝影圖像191中。在無(wú)法避開(kāi)不可區(qū)域390而將信息部分圖322配置在攝影圖像191中的情況下，信息部分生成部142重新生成信息部分圖322。

引出部分生成部144生成將信息部分圖322與映出與重疊信息192相關(guān)的物體的物體區(qū)域關(guān)聯(lián)起來(lái)的圖即引出圖323。

信息圖配置部145生成信息圖像329，該信息圖像329避開(kāi)不可區(qū)域390來(lái)配置包含信息部分圖322和引出圖323的信息圖320。

圖29是示出實(shí)施方式7中的AR圖像生成部140的AR圖像生成處理的流程圖。

根據(jù)圖29對(duì)實(shí)施方式7中的AR圖像生成部140的AR圖像生成處理進(jìn)行說(shuō)明。但是，AR圖像生成處理也可以是與圖29不同的處理。

在S141中，信息部分生成部142生成表示重疊信息192的內(nèi)容的圖即信息部分圖322。在存在多個(gè)重疊信息192的情況下，信息部分生成部142按照每個(gè)重疊信息192生成信息部分圖322。

在S141之后，處理進(jìn)入S142。

圖30是示出實(shí)施方式7中的信息部分圖322的一例的圖。

例如，信息部分生成部142生成圖30所示的信息部分圖322。信息部分圖322是用框包圍表示重疊信息192的內(nèi)容的字符串而成的。

返回圖29，從S142起繼續(xù)進(jìn)行說(shuō)明。

在S142中，信息部分配置判定部143根據(jù)不可區(qū)域信息193，判定是否能夠避開(kāi)不可區(qū)域390而將信息部分圖322配置在攝影圖像191中。在存在多個(gè)信息部分圖322的情況下，信息部分配置判定部143按照每個(gè)信息部分圖322進(jìn)行判定。

在將信息部分圖322配置在攝影圖像191的任何位置，信息部分圖322都與不可區(qū)域390重合的情況下，無(wú)法避開(kāi)不可區(qū)域390而將信息部分圖322配置在攝影圖像191中。

在能夠避開(kāi)不可區(qū)域390而將信息部分圖322配置在攝影圖像191中的情況下(是)，處理進(jìn)入S143。

在無(wú)法避開(kāi)不可區(qū)域390而將信息部分圖322配置在攝影圖像191中的情況下(否)，處理返回S141。

在處理返回S141的情況下，信息部分生成部142重新生成信息部分圖322。

例如，信息部分生成部142對(duì)信息部分圖322進(jìn)行變形，或者縮小信息部分圖322。

圖31是示出實(shí)施方式7中的信息部分圖322的變更例的圖。

例如，如圖31的(1)～(4)所示，信息部分生成部142重新生成信息部分圖322(參照?qǐng)D30)。

在圖31的(1)中，信息部分生成部142通過(guò)對(duì)信息部分圖322的縱橫的比率進(jìn)行變更，對(duì)信息部分圖322進(jìn)行變形。

在圖31的(2)中，信息部分生成部142通過(guò)刪除字符串周圍的空白(信息部分圖322中包含的空白)，縮小信息部分圖322。

在圖31的(3)中，信息部分生成部142通過(guò)對(duì)字符串的一部分進(jìn)行變更或刪除，縮小信息部分圖322。

在圖31的(4)中，信息部分生成部142通過(guò)減小字符串的字符的尺寸，縮小信息部分圖322。

在信息部分圖322是三維表現(xiàn)的圖的情況下，信息部分生成部142也可以通過(guò)將信息部分圖322變更成二維的圖來(lái)縮小信息部分圖322。例如，在信息部分圖322是帶陰影的圖的情況下，信息部分生成部142從信息部分圖322中刪除陰影的部分。

返回圖29，從S143起繼續(xù)進(jìn)行說(shuō)明。

在S143中，信息部分配置判定部143生成表示能夠配置信息部分圖322的配置區(qū)域的配置區(qū)域信息。在存在多個(gè)信息部分圖322的情況下，信息部分配置判定部143按照每個(gè)信息部分圖322生成配置區(qū)域信息。

在存在多個(gè)能夠配置信息部分圖322的配置區(qū)域的候選的情況下，信息部分配置判定部143根據(jù)物體區(qū)域信息選擇配置區(qū)域。

物體區(qū)域信息是表示映出與信息部分圖322相關(guān)的物體的物體區(qū)域的信息。能夠由重疊信息取得部120的物體檢測(cè)部121生成物體區(qū)域信息。

例如，信息部分配置判定部143選擇最接近物體區(qū)域信息所示的物體區(qū)域的配置區(qū)域的候選作為配置區(qū)域。

例如，在存在多個(gè)信息部分圖322的情況下，信息部分配置判定部143按照每個(gè)信息部分圖322，選擇不與其它信息部分圖322重合的配置區(qū)域的候選作為配置區(qū)域。

在S143之后，處理進(jìn)入S144。

在S144中，引出部分生成部144根據(jù)配置區(qū)域信息和物體區(qū)域信息，生成將信息部分圖322與物體區(qū)域關(guān)聯(lián)起來(lái)的圖即引出圖323。

由此，生成包含信息部分圖322和引出圖323的信息圖320。

在S144之后，處理進(jìn)入S145。

圖32是示出實(shí)施方式7中的信息圖320的一例的圖。

例如，引出部分生成部144通過(guò)生成引出圖323，生成圖32所示的信息圖320。

引出部分生成部144也可以與信息部分圖322一體地生成引出圖323，使得不區(qū)分信息部分圖322與引出圖323的邊界。

引出圖323的形狀不限于三角形，也可以是箭頭或簡(jiǎn)單的線(直線、曲線)等。

引出部分生成部144在物體區(qū)域與配置區(qū)域的距離小于引出閾值的情況下，也可以不生成引出圖323。即，在配置區(qū)域接近物體區(qū)域的情況下，引出部分生成部144也可以不生成引出圖323。該情況下，信息圖320不包含引出圖323。

返回圖29，從S145起繼續(xù)進(jìn)行說(shuō)明。

在S145中，信息圖配置部145生成將信息圖320配置在配置區(qū)域中的信息圖像329。

在S145之后，處理進(jìn)入S146。

圖33是示出實(shí)施方式7中的信息圖像329的一例的圖。

例如，如圖33所示，信息圖配置部145生成配置有信息圖320的信息圖像329。

返回圖29，從S146起繼續(xù)進(jìn)行說(shuō)明。

在S146中，信息圖像重疊部146通過(guò)在攝影圖像191中重疊信息圖像329，生成AR圖像194。

例如，信息圖像重疊部146通過(guò)在攝影圖像191(參照?qǐng)D3)中重疊信息圖像329(參照?qǐng)D33)，生成AR圖像194(參照?qǐng)D5)。

在S146之后，AR圖像生成處理結(jié)束。

根據(jù)實(shí)施方式7，能夠避開(kāi)不可區(qū)域而在攝影圖像中重疊顯示重疊信息。

實(shí)施方式8

對(duì)將已檢測(cè)的顯示區(qū)域201除外而從攝影圖像191中選擇新的顯示區(qū)域201的方式進(jìn)行說(shuō)明。

下面，主要對(duì)實(shí)施方式1～實(shí)施方式7中未說(shuō)明的事項(xiàng)進(jìn)行說(shuō)明。省略說(shuō)明的事項(xiàng)與實(shí)施方式1～實(shí)施方式7相同。

圖34是實(shí)施方式8中的AR裝置100的功能結(jié)構(gòu)圖。

根據(jù)圖34對(duì)實(shí)施方式8中的AR裝置100的功能結(jié)構(gòu)進(jìn)行說(shuō)明。但是，AR裝置100的功能結(jié)構(gòu)也可以是與圖34不同的結(jié)構(gòu)。

AR裝置100在實(shí)施方式1(參照?qǐng)D1)中說(shuō)明的功能的基礎(chǔ)上，具有除外區(qū)域選擇部160和顯示區(qū)域模型生成部170。

顯示區(qū)域模型生成部170根據(jù)攝影信息195和不可區(qū)域信息193，生成三維地表示顯示區(qū)域201的顯示區(qū)域模型197。顯示區(qū)域模型197也稱作三維模型或三維平面模型。

攝影信息195是包含拍攝攝影圖像191時(shí)攝像機(jī)的位置信息、方位信息和攝影范圍信息等的信息。位置信息是表示攝像機(jī)的位置的信息。方位信息是表示攝像機(jī)的朝向的信息。攝影范圍信息是視場(chǎng)角或焦距等表示攝像范圍的信息。由攝影圖像取得部110與攝影圖像191一起取得攝影信息195。

除外區(qū)域選擇部160根據(jù)攝影信息195，從新的攝影圖像191中選擇顯示區(qū)域模型197所示的顯示區(qū)域201。選擇出的顯示區(qū)域201是從不可區(qū)域選擇部130的處理中除外的除外區(qū)域398。

除外區(qū)域選擇部160生成表示除外區(qū)域398的除外區(qū)域信息196。

不可區(qū)域選擇部130根據(jù)除外區(qū)域信息196，將除外區(qū)域398從新的攝影圖像191中除外，從其余的圖像部分中選擇新的不可區(qū)域390，生成新的不可區(qū)域信息193。

AR圖像生成部140根據(jù)除外區(qū)域信息196和新的不可區(qū)域信息193生成AR圖像194。

圖35是示出實(shí)施方式8中的AR裝置100的AR處理的流程圖。

根據(jù)圖35對(duì)實(shí)施方式8中的AR裝置100的AR處理進(jìn)行說(shuō)明。但是，AR處理也可以是與圖35不同的處理。

在S110中，與其它實(shí)施方式同樣，攝影圖像取得部110取得攝影圖像191。

但是，攝影圖像取得部110與攝影圖像191一起取得攝影信息195。

例如，攝影圖像取得部110從GPS、磁傳感器和攝像機(jī)808取得拍攝攝影圖像191時(shí)攝像機(jī)808的位置信息、方位信息和攝影范圍信息。GPS和磁傳感器是AR裝置100具有的傳感器810的一例。

在S110之后，處理進(jìn)入S120。

在S120中，與其它實(shí)施方式同樣，重疊信息取得部120取得重疊信息192。

在S120之后，處理進(jìn)入S191。但是，也可以在從執(zhí)行S191時(shí)到執(zhí)行S140時(shí)之間執(zhí)行S190。

在S190中，除外區(qū)域選擇部160根據(jù)攝影信息195和顯示區(qū)域模型197生成除外區(qū)域信息196。

在S190之后，處理進(jìn)入S130。

圖36是示出實(shí)施方式8中的除外區(qū)域398的位置關(guān)系的圖。

在圖36中，除外區(qū)域選擇部160根據(jù)攝影信息195所示的攝像機(jī)808的位置、朝向和視場(chǎng)角，生成圖像平面399。圖像平面399是攝像機(jī)808的攝影范圍中包含的平面。攝影圖像191相當(dāng)于投射物體的圖像平面399。

除外區(qū)域選擇部160根據(jù)顯示區(qū)域模型197，將顯示區(qū)域201投射到圖像平面399。

然后，除外區(qū)域選擇部160生成將投射到圖像平面399的顯示區(qū)域201表示為除外區(qū)域398的除外區(qū)域信息196。

返回圖35，從S130起繼續(xù)進(jìn)行說(shuō)明。

在S130中，與其它實(shí)施方式同樣，不可區(qū)域選擇部130生成不可區(qū)域信息193。

但是，不可區(qū)域選擇部130根據(jù)除外區(qū)域信息196，將除外區(qū)域398從攝影圖像191中除外，從其余的圖像部分中選擇不可區(qū)域390，生成表示選擇出的不可區(qū)域390的不可區(qū)域信息193。

在S130之后，處理進(jìn)入S191。

在S191中，顯示區(qū)域模型生成部170根據(jù)攝影信息195和不可區(qū)域信息193，生成三維地表示攝影范圍內(nèi)存在的顯示區(qū)域201的顯示區(qū)域模型197。

例如，顯示區(qū)域模型生成部170使用本次的攝影信息195和上次以前的攝影信息195，通過(guò)SFM這樣的技術(shù)生成顯示區(qū)域模型197。SFM是使用多個(gè)圖像同時(shí)復(fù)原圖像中映出的物體的三維形狀和與攝像機(jī)之間的位置關(guān)系的技術(shù)。SFM是Structure from Motion的簡(jiǎn)稱。

例如，顯示區(qū)域模型生成部170使用非專利文獻(xiàn)1公開(kāi)的技術(shù)生成顯示區(qū)域模型197。

在S191之后，處理進(jìn)入S140。

在S140中，與其它實(shí)施方式同樣，AR圖像生成部140根據(jù)重疊信息192和不可區(qū)域信息193生成AR圖像194。

在S140之后，處理進(jìn)入S150。

在S150中，與其它實(shí)施方式同樣，AR圖像顯示部150顯示AR圖像194。

在S150之后，針對(duì)一個(gè)攝影圖像191的AR處理結(jié)束。

根據(jù)實(shí)施方式8，能夠?qū)⒁褭z測(cè)的顯示區(qū)域201除外而從攝影圖像191中選擇新的顯示區(qū)域201。即，不將已檢測(cè)的顯示區(qū)域201作為處理對(duì)象，從而能夠減輕處理負(fù)荷。

各實(shí)施方式是AR裝置100的方式的一例。

即，AR裝置100也可以不具有各實(shí)施方式中說(shuō)明的結(jié)構(gòu)要素的一部分。并且，AR裝置100也可以具有各實(shí)施方式中未說(shuō)明的結(jié)構(gòu)要素。進(jìn)而，AR裝置100還可以組合各實(shí)施方式的結(jié)構(gòu)要素的一部分或全部。

各實(shí)施方式中使用流程圖等說(shuō)明的處理順序是各實(shí)施方式的方法和程序的處理順序的一例。各實(shí)施方式的方法和程序也可以通過(guò)與各實(shí)施方式中說(shuō)明的處理順序的一部分不同的處理順序來(lái)實(shí)現(xiàn)。

在各實(shí)施方式中，“～部”能夠改寫(xiě)為“～處理”、“～步驟”、“～程序”、“～裝置”。在各實(shí)施方式中，圖中的箭頭主要表示數(shù)據(jù)或處理的流程。

標(biāo)號(hào)說(shuō)明

100：AR裝置；110：攝影圖像取得部；120：重疊信息取得部；121：物體檢測(cè)部；122：物體確定部；123：重疊信息收集部；124：不可區(qū)域解析部；130：不可區(qū)域選擇部；131：顯示區(qū)域選擇部；132：目標(biāo)區(qū)域選擇部；133：不可區(qū)域決定部；134：候選區(qū)域決定部；135：邊框部檢測(cè)部；136：候選區(qū)域編輯部；138：不可區(qū)域信息生成部；139：區(qū)域條件信息；140：AR圖像生成部；141：信息圖像生成部；142：信息部分生成部；143：信息部分配置判定部；144：引出部分生成部；145：信息圖配置部；146：信息圖像重疊部；150：AR圖像顯示部；160：除外區(qū)域選擇部；170：顯示區(qū)域模型生成部；190：裝置存儲(chǔ)部；191：攝影圖像；192：重疊信息；193：不可區(qū)域信息；194：AR圖像；195：攝影信息；196：除外區(qū)域信息；197：顯示區(qū)域模型；200：信息處理裝置；201：顯示區(qū)域；300：信息處理圖像；310：鐘表；320：信息圖；321：信息圖；322：信息部分圖；323：引出圖；329：信息圖像；330：圖標(biāo)；340：窗口；341：窗口框；341U：框上部；341D：框下部；341L：框左部；341R：框右部；342：顯示部；343：菜單條；344：標(biāo)題；345：按鈕目標(biāo)；390：不可區(qū)域；391：目標(biāo)區(qū)域；392：候選區(qū)域；393：邊框部；398：除外區(qū)域；399：圖像平面；801：總線；802：存儲(chǔ)器；803：貯存器；804：通信接口；805：CPU；806：GPU；807：顯示設(shè)備；808：攝像機(jī)；809：用戶接口設(shè)備；810：傳感器。