專利名稱：信息處理終端、信息處理方法和程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種信息處理終端、信息處理方法和程序，尤其涉及一種即使在不再能夠識(shí)別標(biāo)識(shí)符的情況下也能夠連續(xù)顯示與該標(biāo)識(shí)符相對(duì)應(yīng)的信息的信息處理終端、信息處理方法和程序。
背景技術(shù)：
近年來，與擴(kuò)展現(xiàn)實(shí)感(或AR(增強(qiáng)現(xiàn)實(shí)))有關(guān)的技術(shù)已受到關(guān)注。在AR應(yīng)用中存在如下應(yīng)用，其中該應(yīng)用對(duì)用戶使用所謂的智能手機(jī)等拍攝的圖像中的對(duì)象進(jìn)行識(shí)別，并且以疊加方式在所拍攝圖像中顯示與識(shí)別出的對(duì)象有關(guān)的信息。例如，通過拍攝打印在產(chǎn)品的廣告海報(bào)上的二維標(biāo)記，用戶可以從疊加顯示在顯示器上的海報(bào)圖像上的信息中找到產(chǎn)品的詳細(xì)內(nèi)容。這種二維標(biāo)記利用具有白色區(qū)域和黑色區(qū)域的圖案來表示預(yù)定信息。通過對(duì)期望表現(xiàn)的信息進(jìn)行編碼，確定了具有白色區(qū)域和黑色區(qū)域的圖案。日本未審查專利申請(qǐng)公開2011-204047為上述現(xiàn)有技術(shù)的示例。

發(fā)明內(nèi)容
在通過識(shí)別二維標(biāo)記來顯示信息的標(biāo)記型AR應(yīng)用中，當(dāng)然需要將二維標(biāo)記投射在所拍攝圖像上。因而，例如，在識(shí)別出二維標(biāo)記時(shí)連續(xù)顯示與該二維標(biāo)記相對(duì)應(yīng)的信息的情況下，如果此時(shí)已投射的二維標(biāo)記偏離圖像，則停止該二維標(biāo)記的識(shí)別，并且結(jié)束信息的顯示。期望即使在不再能夠識(shí)別標(biāo)識(shí)符的情況下也能夠連續(xù)顯示與該標(biāo)識(shí)符相對(duì)應(yīng)的信息。根據(jù)本發(fā)明的實(shí)施例，提供一種信息處理終端，包括:識(shí)別單元，其識(shí)別投射在圖像上的標(biāo)識(shí)符；獲取單元，其獲取與所述標(biāo)識(shí)符相對(duì)應(yīng)的對(duì)象的數(shù)據(jù)；處理單元，其根據(jù)基于所述圖像所指定的所述信息處理終端自身與所述標(biāo)識(shí)符之間的位置關(guān)系來改變所述對(duì)象的方位，并且在不再能夠識(shí)別所述標(biāo)識(shí)符的情況下，根據(jù)基于傳感器數(shù)據(jù)所指定的所述信息處理終端自身與所述標(biāo)識(shí)符之間的位置關(guān)系來改變所述對(duì)象的方位；以及顯示控制單元，其使得以疊加方式在所述圖像上顯示根據(jù)所述信息處理終端自身與所述標(biāo)識(shí)符之間的位置關(guān)系而改變方位的所述對(duì)象。不僅可以改變對(duì)象的方位，而且可以改變對(duì)象的顯示大小。還可以設(shè)置拍攝單元。在這種情況下，識(shí)別單元可以對(duì)投射在由拍攝單元所拍攝的圖像上的標(biāo)識(shí)符進(jìn)行識(shí)別。在不再能夠識(shí)別標(biāo)識(shí)符的情況下，處理單元可以根據(jù)基于最后能夠識(shí)別出標(biāo)識(shí)符時(shí)和之后檢測(cè)到的傳感器數(shù)據(jù)所指定的信息處理終端自身與標(biāo)識(shí)符之間的位置關(guān)系來改變對(duì)象的方位。還可以設(shè)置有用于檢測(cè)傳感器數(shù)據(jù)的傳感器單元。傳感器單元可以包括陀螺儀傳感器。
標(biāo)識(shí)符可以是包括具有不同顏色的區(qū)域的二維碼。根據(jù)本發(fā)明的另一實(shí)施例，提供一種信息處理方法，包括:識(shí)別投射在圖像上的標(biāo)識(shí)符以及獲取與該標(biāo)識(shí)符相對(duì)應(yīng)的對(duì)象的數(shù)據(jù)。另外，進(jìn)行如下處理:根據(jù)基于所述圖像所指定的信息處理終端自身與標(biāo)識(shí)符之間的位置關(guān)系來改變所述對(duì)象的方位，并且在不再能夠識(shí)別所述標(biāo)識(shí)符的情況下，根據(jù)基于傳感器數(shù)據(jù)所指定的所述信息處理終端自身與所述標(biāo)識(shí)符之間的位置關(guān)系來改變所述對(duì)象的方向；以及使得以疊加方式在所述圖像上顯示根據(jù)所述信息處理終端自身與所述標(biāo)識(shí)符之間的位置關(guān)系而改變方位的對(duì)象。根據(jù)本發(fā)明，即使在不再能夠識(shí)別標(biāo)識(shí)符的情況下，也能夠連續(xù)顯示與該標(biāo)識(shí)符相對(duì)應(yīng)的信息。


圖1是示出根據(jù)本發(fā)明實(shí)施例的信息處理終端的正面的配置示例的圖；圖2是示出根據(jù)本發(fā)明實(shí)施例的信息處理終端的背面的配置示例的圖；圖3是示出根據(jù)本發(fā)明實(shí)施例的二維標(biāo)記的示例的圖；圖4是示出根據(jù)本發(fā)明實(shí)施例的3維(3D)對(duì)象的示例的圖；圖5是示出根據(jù)本發(fā)明實(shí)施例的打印有二維標(biāo)記的紙張所放置的實(shí)空間的立體圖；圖6是示出根據(jù)本發(fā)明實(shí)施例的顯示單元的顯示示例的圖；圖7是示出根據(jù)本發(fā)明實(shí)施例的顯示單元的另一顯示示例的圖；圖8是示出根據(jù)本發(fā)明實(shí)施例的顯示單元的又一顯示示例的圖；圖9是示出根據(jù)本發(fā)明實(shí)施例的信息處理終端與二維標(biāo)記之間的位置關(guān)系的圖；圖10是示出根據(jù)本發(fā)明實(shí)施例的顯示單元的顯示示例的圖；圖11是示出根據(jù)本發(fā)明實(shí)施例的信息處理終端的硬件配置示例的圖；圖12是示出根據(jù)本發(fā)明實(shí)施例的由陀螺儀傳感器所測(cè)量到的角速度的圖；圖13是示出根據(jù)本發(fā)明實(shí)施例的控制單元的功能配置示例的框圖；圖14是用于說明根據(jù)本發(fā)明實(shí)施例的由信息處理終端所進(jìn)行的3D對(duì)象顯示處理的流程圖；圖15是用于說明根據(jù)本發(fā)明實(shí)施例的圖14的步驟S6中進(jìn)行的旋轉(zhuǎn)矩陣計(jì)算處理的流程圖；圖16是示出根據(jù)本發(fā)明實(shí)施例的坐標(biāo)系的示例的圖；圖17是示出根據(jù)本發(fā)明實(shí)施例的基于傳感器數(shù)據(jù)的旋轉(zhuǎn)矩陣的計(jì)算的圖；以及圖18是示出根據(jù)本發(fā)明實(shí)施例的計(jì)算機(jī)的配置示例的框圖。
具體實(shí)施例方式信息處理終端的外觀構(gòu)造圖1是示出根據(jù)本發(fā)明實(shí)施例的信息處理終端的外觀的示例的圖。信息處理終端I是諸如所謂的智能手機(jī)的移動(dòng)終端，該移動(dòng)終端的殼體的大小足夠大以由用戶單手把持。在信息處理終端I的殼體的正面IA上，設(shè)置有包括LCD(液晶顯示器)等的顯示單元11。在顯示單元11上，層壓有觸摸面板，并且用戶可以通過利用手指直接觸摸顯示單元11上所顯示的按鈕等來進(jìn)行各種操作。如圖2所示，在信息處理終端I的殼體的背面IB上設(shè)置有攝像頭12。通過攝像頭12拍攝的圖像(所拍攝圖像)被實(shí)時(shí)地顯示在顯示單元11上。用戶觀看顯示單元11上的顯示，然后可以識(shí)別所拍攝圖像中的對(duì)象。具有上述外觀構(gòu)造的信息處理終端I配備有識(shí)別二維標(biāo)記的功能。當(dāng)識(shí)別出所拍攝圖像中的二維標(biāo)記時(shí)，信息處理終端I獲取與所識(shí)別出的二維標(biāo)記相對(duì)應(yīng)的信息，并且以疊加方式在所拍攝圖像上顯示所獲取的圖像。如后面所述，經(jīng)由因特網(wǎng)等獲取3D對(duì)象的數(shù)據(jù)作為與該二維標(biāo)記相對(duì)應(yīng)的信息，然后以疊加方式在所拍攝圖像上顯示該數(shù)據(jù)。3D對(duì)象的方位和位置基于二維標(biāo)記和信息處理終端I之間的位置關(guān)系而改變。二維標(biāo)記的示例圖3是示出二維標(biāo)記的示例的圖。以如下方式配置二維標(biāo)記21:白色區(qū)域和黑色區(qū)域被布置在由虛線表示的范圍內(nèi)。作為具有大致正方形形狀的黑色區(qū)域的標(biāo)記Ml表示二維標(biāo)記21的左上角并且標(biāo)記M2表示二維標(biāo)記21的左下角。標(biāo)記M3表示二維標(biāo)記21的右下角，并且標(biāo)記M4表示二維標(biāo)記21的右上角。被布置在標(biāo)記M2和標(biāo)記M3的下方并且具有矩形形狀的標(biāo)記M5表示二維標(biāo)記21的方位的基準(zhǔn)，其中該矩形在長(zhǎng)邊方向上的長(zhǎng)度與二維標(biāo)記21在左右方向上的長(zhǎng)度基本相同。在將二維標(biāo)記21投射至所拍攝圖像上時(shí)，信息處理終端I可以根據(jù)標(biāo)記MfM4的位置指定二維標(biāo)記21在實(shí)空間內(nèi)的范圍。另外，信息處理終端I可以根據(jù)標(biāo)記M5的位置指定二維標(biāo)記21在實(shí)空間內(nèi)的方位。布置在標(biāo)記Ml與標(biāo)記M2之間的標(biāo)記Ml I的形狀和布置在標(biāo)記M2與標(biāo)記M3之間的標(biāo)記M12的形狀表示識(shí)別信息。信息處理終端I識(shí)別標(biāo)記MlI的形狀和標(biāo)記M12的形狀，并且獲取與由所識(shí)別出的形狀所表示的識(shí)別信息相對(duì)應(yīng)的3D對(duì)象的數(shù)據(jù)作為對(duì)應(yīng)于二維標(biāo)記21的信息。使用二維標(biāo)記21的識(shí)別信息的表現(xiàn)方法不限于使用標(biāo)記M12的形狀的方法，可以使用其它方法。另外，在僅要顯示特定3D對(duì)象的情況下，不需要識(shí)別信息。3D對(duì)象的晶示示例圖4是示出3D對(duì)象的示例的圖。圖4所示的對(duì)象31是具有數(shù)字靜態(tài)照相機(jī)外觀的3D對(duì)象。在信息處理終端I中，經(jīng)由因特網(wǎng)等獲取從不同角度觀看的圖4的數(shù)字靜態(tài)照相機(jī)的外觀的數(shù)據(jù)，并且準(zhǔn)備該數(shù)據(jù)作為對(duì)象31的數(shù)據(jù)。在對(duì)象31的正面上設(shè)置有鏡頭等，并且在頂面上設(shè)置有快門按鈕。當(dāng)用戶將信息處理終端I的攝像頭12指向圖3的二維標(biāo)記21時(shí)，信息處理終端I識(shí)別出投射在所拍攝圖像上的二維標(biāo)記21。在信息處理終端I的顯示單元11上，以疊加方式在所拍攝圖像上顯示圖4的對(duì)象31。圖5是示出打印有二維標(biāo)記21的紙張所放置的實(shí)空間的立體圖。將二維標(biāo)記21打印在放置在桌子等的水平面上的紙張P上，使得標(biāo)記M5在長(zhǎng)邊方向上的邊與紙張P的下邊大致平行。用戶將攝像頭12指向以這種狀態(tài)準(zhǔn)備的二維標(biāo)記21，以使得信息處理終端I識(shí)別二維標(biāo)記21。在下文中，將通過以下設(shè)置提供說明:將圖5的左右方向適當(dāng)設(shè)置為X軸方向(右方向?yàn)?并且左方向?yàn)?);將從左下方到右上方的方向適當(dāng)設(shè)置為Y軸方向(右上方向?yàn)?并且左下方向?yàn)?);并且將上下方向適當(dāng)設(shè)置為Z軸方向(上方向?yàn)?并且下方向?yàn)?)。以攝像頭12的位置作為基準(zhǔn)，白色箭頭#1的方向是從上側(cè)向+Y方向傾斜地觀看二維標(biāo)記21的方向，并且白色箭頭#2時(shí)從上側(cè)向-X軸方向傾斜地觀看二維標(biāo)記21的方向。圖6是示出在識(shí)別出圖5的二維標(biāo)記21的情況下顯示單元11的顯示示例的圖。圖6示出如下情況下的顯示示例:在攝像頭12面向圖5的白色箭頭#3的方向的狀態(tài)下進(jìn)行拍攝，使得二維標(biāo)記21大致被布置在顯示單元11的中心處。在識(shí)別出二維標(biāo)記21時(shí)，將對(duì)象31顯示在與二維標(biāo)記21被投影在所拍攝圖像上的位置接近的位置處，仿佛在實(shí)空間內(nèi)該對(duì)象略微浮在二維標(biāo)記21上方。關(guān)于對(duì)象31的方位，將設(shè)置有鏡頭等的正面設(shè)置成面向標(biāo)記M5。在正面總是面向標(biāo)記M5的狀態(tài)下顯示對(duì)象31。因此，通過拍攝圖5所示的狀態(tài)的二維標(biāo)記21，用戶可以從相對(duì)于右側(cè)略微傾斜的上方位置處觀看表示為對(duì)象31的數(shù)字靜態(tài)照相機(jī)的正面。圖7示出如下情況下的另一顯示示例:在攝像頭12面向圖5的白色箭頭#1的方向的狀態(tài)下進(jìn)行拍攝，使得二維標(biāo)記21大致被布置在顯示單元11的中心處。在該示例中，從斜上位置看到以疊加方式顯示在所拍攝圖像上的作為對(duì)象31的數(shù)字靜態(tài)照相機(jī)的大致正面。圖8示出如下情況下的另一顯示示例:在攝像頭12面向圖5的白色箭頭#2的方向的狀態(tài)下進(jìn)行拍攝，使得二維標(biāo)記21大致被布置在顯示單元11的中心處。在該示例中，從斜上位置觀看到以疊加方式顯示在所拍攝圖像上的作為對(duì)象31的數(shù)字靜態(tài)照相機(jī)的右側(cè)面。如上所述，在信息處理終端I中準(zhǔn)備從各種位置觀看數(shù)字靜態(tài)照相機(jī)時(shí)的數(shù)據(jù)，并且以疊加方式顯示在所拍攝圖像上的對(duì)象31的方位和位置根據(jù)信息處理終端I與二維標(biāo)記21之間的位置關(guān)系而改變。通過改變拍攝位置、然后從各種位置拍攝打印在紙張P上的二維標(biāo)記21，用戶可以根據(jù)各位置來觀看數(shù)字靜態(tài)照相機(jī)的外觀。盡管圖中沒有示出，例如，通過以標(biāo)記M5被置于后側(cè)且標(biāo)記Ml和標(biāo)記M4被置于前側(cè)的方式拍攝二維標(biāo)記21，用戶可以觀看數(shù)字靜態(tài)照相機(jī)的背面。在識(shí)別出二維標(biāo)記21的情況下，圖6 8所示的對(duì)象31的顯示實(shí)時(shí)地繼續(xù)。在通過改變位置來進(jìn)行所拍攝圖像的拍攝、以使得二維標(biāo)記21相對(duì)于所拍攝范圍沒有偏離的情況下，根據(jù)投射在所拍攝圖像上的二維標(biāo)記21的方向來順次顯示從不同方向觀看到的對(duì)象31。另外，即使在不再能夠識(shí)別二維標(biāo)記21之后，對(duì)象31的顯示也基于使用陀螺儀傳感器的傳感器數(shù)據(jù)所估計(jì)的信息處理終端I與二維標(biāo)記21之間的位置關(guān)系而繼續(xù)。信息處理終端I設(shè)置有諸如陀螺儀傳感器的傳感器。圖9是示出信息處理終端I與二維標(biāo)記21之間的位置關(guān)系的圖。圖9是通過從與桌子的頂面的高度相同的高度在-X方向上觀看圖5的環(huán)境所獲得的截面圖。例如，在信息處理終端I位于位置pi時(shí)，在顯示單元11上，以疊加方式將處于正被從右前側(cè)觀看的狀態(tài)的對(duì)象31顯示在所拍攝圖像上，其中，位置pi為可以從二維標(biāo)記21的右前側(cè)拍攝二維標(biāo)記21的位置。位置pi是攝像頭12的光軸L與二維標(biāo)記21的平面(打印有二維標(biāo)記21的紙張P所放置的水平面)的垂線平行的位置。圖9所示的對(duì)象31不位于實(shí)空間內(nèi)，而是為了描述從信息處理終端I觀看對(duì)象的方式而示出的。將說明如下情況:在攝像頭12固定面向二維標(biāo)記21并且攝像頭12與二維標(biāo)記21之間的距離固定的狀態(tài)下，使信息處理終端I如箭頭Al所示地從位置pi接近水平面。在這種情況下，對(duì)象31的可視性改變，由此根據(jù)從所拍攝圖像指定的二維標(biāo)記21與信息處理終端I之間的位置關(guān)系來逐漸顯示對(duì)象31的正面。在攝像頭12位于位置p2處的情況下，對(duì)象31如圖7所示顯示在顯示單元11上。在使信息處理終端I接近水平面且其位置超過位置p3的情況下，信息處理終端I不能識(shí)別投射在所拍攝圖像上的二維標(biāo)記21。位置p3是由攝像頭12的光軸L與水平面所形成的角是角a的位置。由于投射在所拍攝圖像上的二維標(biāo)記21的傾斜度增大，位置p3是可以在其處識(shí)別出二維標(biāo)記21的極限位置。在該終端超過位置p3的情況下，信息處理終端I在基于傳感器數(shù)據(jù)最后可以識(shí)別出二維標(biāo)記21的時(shí)間之后指定其自身位置的改變，并且根據(jù)當(dāng)前位置處的信息處理終端I與二維標(biāo)記21之間的位置關(guān)系來繼續(xù)對(duì)象31的顯示。圖10是示出在信息處理終端I的位置位于比位置p3低的位置處的情況下顯示單元11的顯示示例的圖。在這種情況下，從比圖7的位置低的位置觀看以疊加方式顯示在所拍攝圖像上的作為對(duì)象31的數(shù)字靜態(tài)照相機(jī)的大致右前側(cè)。這樣，信息處理終端I可以在從比作為二維標(biāo)記21的識(shí)別極限位置的位置p3低的位置觀看的狀態(tài)下顯示對(duì)象31。換句話說，在對(duì)基于所拍攝圖像所指定的信息處理終端I與二維標(biāo)記21之間的位置關(guān)系進(jìn)行校正時(shí)使用諸如陀螺儀傳感器的傳感器的測(cè)量值等，由此繼續(xù)對(duì)象31的顯示。后面將參考流程圖來說明信息處理終端I的用于以上述方式顯示對(duì)象31的一系列處理。信息處理終端I的配置示例圖11是示出信息處理終端I的硬件配置示例的圖。除了上述的顯示單元11和攝像頭12以外，信息處理終端I還設(shè)置有控制單元51、陀螺儀傳感器52、存儲(chǔ)器53和通信單元54?？刂茊卧?1使得執(zhí)行存儲(chǔ)在存儲(chǔ)器53中的程序等，并且控制信息處理終端I的整體操作。例如，在可以識(shí)別出投射在從攝像頭12供給的所拍攝圖像上的二維標(biāo)記21的情況下，控制單元51獲取與由二維標(biāo)記21所表示的識(shí)別信息相對(duì)應(yīng)的3D對(duì)象的數(shù)據(jù)。控制單元51基于所拍攝圖像來指定信息處理終端I與二維標(biāo)記21之間的位置關(guān)系，并且使顯示單元11以疊加方式在所拍攝圖像上顯示方位和位置根據(jù)所指定的關(guān)系而改變的3D對(duì)象。另外，在不再能夠識(shí)別二維標(biāo)記21的情況下，控制單元51參考最后能夠識(shí)別出二維標(biāo)記21的狀態(tài)，基于陀螺儀傳感器52的輸出來指定二維標(biāo)記21與當(dāng)前位置處的信息處理終端I之間的位置關(guān)系?？刂茊卧?1根據(jù)信息處理終端I與二維標(biāo)記21之間的位置關(guān)系來改變3D對(duì)象的方位和位置，并且即使在不再能夠識(shí)別二維標(biāo)記21之后也繼續(xù)使顯示單元11以疊加方式在所拍攝圖像上顯示3D對(duì)象。如圖12所示，陀螺儀傳感器52測(cè)量繞X軸、Y軸和Z軸中每個(gè)軸發(fā)生的角速度，并將測(cè)量值作為傳感器數(shù)據(jù)輸出至控制單元51。存儲(chǔ)器53包括閃速存儲(chǔ)器等，并且存儲(chǔ)由控制單元51執(zhí)行的程序以及從因特網(wǎng)上的服務(wù)器發(fā)送來的3D對(duì)象的數(shù)據(jù)。利用控制單元51適當(dāng)讀取存儲(chǔ)在存儲(chǔ)器53中的數(shù)據(jù)。通信單元54根據(jù)控制單元51所進(jìn)行的控制來與外部裝置進(jìn)行通信。例如，通信單元54經(jīng)由因特網(wǎng)與服務(wù)器進(jìn)行通信，并且請(qǐng)求發(fā)送與由二維標(biāo)記21所表示的識(shí)別信息相對(duì)應(yīng)的3D對(duì)象的數(shù)據(jù)。通信單元54接收根據(jù)該請(qǐng)求從服務(wù)器發(fā)送來的數(shù)據(jù)，并將該數(shù)據(jù)輸出至控制單元51。輸出至控制單元51的數(shù)據(jù)用在顯示單元11的顯示中并且被供給至存儲(chǔ)器53來保持。圖13是示出控制單元51的功能配置示例的框圖。通過由圖11的控制單元51執(zhí)行預(yù)定程序來實(shí)現(xiàn)圖13所示的功能部的至少一部分。在控制單元51中，實(shí)現(xiàn)圖像分析部61、標(biāo)記識(shí)別部62、對(duì)象數(shù)據(jù)獲取部63、旋轉(zhuǎn)矩陣計(jì)算部64、旋轉(zhuǎn)處理部65和顯示控制部66。將攝像頭12拍攝的所拍攝圖像輸入至圖像分析部61和顯示控制部66。圖像分析部61對(duì)所拍攝圖像進(jìn)行分析并且獲取二維標(biāo)記21的位置。在圖像分析部61所獲取的二維標(biāo)記21的位置信息中，包括與構(gòu)成二維標(biāo)記21的各黑色區(qū)域的位置有關(guān)的信息。將由圖像分析部61獲取的二維標(biāo)記21的位置信息作為所拍攝圖像的分析結(jié)果供給至標(biāo)記識(shí)別部62和旋轉(zhuǎn)矩陣計(jì)算部64。標(biāo)記識(shí)別部62基于圖像分析部61的分析結(jié)果來識(shí)別二維標(biāo)記21。在能夠識(shí)別出二維標(biāo)記21的情況下，標(biāo)記識(shí)別部62將表示該識(shí)別的信息輸出至旋轉(zhuǎn)矩陣計(jì)算部64，并且將由二維標(biāo)記21所表示的識(shí)別信息輸出至對(duì)象數(shù)據(jù)獲取部63。另外，在不再能夠識(shí)別二維標(biāo)記21的情況下，標(biāo)記識(shí)別部62將表示未識(shí)別的信息輸出至旋轉(zhuǎn)矩陣計(jì)算部64。對(duì)象數(shù)據(jù)獲取部63通過從存儲(chǔ)器53讀取數(shù)據(jù)或者通過控制通信單元54與服務(wù)器進(jìn)行通信，來獲取與從標(biāo)記識(shí)別部62供給的識(shí)別信息相對(duì)應(yīng)的3D對(duì)象的數(shù)據(jù)。對(duì)象數(shù)據(jù)獲取部31將所獲取的3D對(duì)象的數(shù)據(jù)輸出至旋轉(zhuǎn)處理部65。在標(biāo)記識(shí)別部62識(shí)別出二維標(biāo)記21的情況下，旋轉(zhuǎn)矩陣計(jì)算部64基于圖像分析部61的分析結(jié)果來計(jì)算旋轉(zhuǎn)矩陣，該旋轉(zhuǎn)矩陣表示以疊加方式顯示在所拍攝圖像上的3D對(duì)象的方位的旋轉(zhuǎn)量和位置的變換量。在標(biāo)記識(shí)別部62識(shí)別出二維標(biāo)記21的情況下所獲得的旋轉(zhuǎn)矩陣基于根據(jù)所拍攝圖像所指定的信息處理終端I與二維標(biāo)記21之間的位置關(guān)系。后面將說明旋轉(zhuǎn)矩陣的計(jì)算。另外，在不再能夠識(shí)別二維標(biāo)記21的情況下，旋轉(zhuǎn)矩陣計(jì)算部64基于從陀螺儀傳感器52供給的傳感器數(shù)據(jù)來計(jì)算旋轉(zhuǎn)矩陣。在不再能夠識(shí)別二維標(biāo)記21的情況下所獲得的旋轉(zhuǎn)矩陣基于根據(jù)該傳感器數(shù)據(jù)所指定的當(dāng)前位置處的信息處理終端I與二維標(biāo)記21之間的位置關(guān)系。旋轉(zhuǎn)矩陣計(jì)算部64將通過該計(jì)算所獲得的旋轉(zhuǎn)矩陣輸出至旋轉(zhuǎn)處理部65。旋轉(zhuǎn)處理部65將從旋轉(zhuǎn)矩陣計(jì)算部64獲得的旋轉(zhuǎn)矩陣應(yīng)用于由從對(duì)象數(shù)據(jù)獲取部63供給的數(shù)據(jù)所表示的3D對(duì)象，并將應(yīng)用旋轉(zhuǎn)矩陣之后的3D對(duì)象的數(shù)據(jù)輸出至顯示控制部66。通過應(yīng)用旋轉(zhuǎn)矩陣，3D對(duì)象的方位和位置根據(jù)信息處理終端I與二維標(biāo)記21之間的位置關(guān)系而改變。
顯示控制部66使顯示單元11以疊加方式在所拍攝圖像上顯示從旋轉(zhuǎn)處理部65供給的已經(jīng)歷旋轉(zhuǎn)矩陣的應(yīng)用的3D對(duì)象。信息處理終端I的操作這里，將參考圖14的流程圖來說明由信息處理終端I進(jìn)行的3D對(duì)象的顯示處理。圖14的處理例如在從顯示單元11上所顯示的菜單畫面指示了啟動(dòng)具有二維標(biāo)記21的識(shí)別功能的應(yīng)用之后開始。在啟動(dòng)了該應(yīng)用時(shí)，開始獲取利用攝像頭12所拍攝的圖像。在陀螺儀傳感器52中按預(yù)定間隔重復(fù)測(cè)量角速度。在步驟SI中，攝像頭12獲取所拍攝圖像。在步驟S2中，圖像分析部61對(duì)攝像頭12所獲取的所拍攝圖像進(jìn)行分析，并且獲取二維標(biāo)記21的位置。在步驟S3中，標(biāo)記識(shí)別部62基于圖像分析部61的分析結(jié)果來識(shí)別二維標(biāo)記21。在步驟S4中，標(biāo)記識(shí)別部62確定是否能夠識(shí)別出二維標(biāo)記21。在步驟S4中確定能夠識(shí)別出二維標(biāo)記21的情況下，在步驟S5中，對(duì)象數(shù)據(jù)獲取部63獲取與由二維標(biāo)記21所表示的識(shí)別信息相對(duì)應(yīng)的3D對(duì)象的數(shù)據(jù)。在能夠識(shí)別出二維標(biāo)記21的情況下，標(biāo)記識(shí)別部62將作為二維標(biāo)記21的識(shí)別結(jié)果的識(shí)別信息供給至對(duì)象數(shù)據(jù)獲取部63。在步驟S6中，旋轉(zhuǎn)矩陣計(jì)算部64進(jìn)行旋轉(zhuǎn)矩陣計(jì)算處理。后面將參考圖15的流程圖來說明該旋轉(zhuǎn)矩陣計(jì)算處理。根據(jù)該旋轉(zhuǎn)矩陣計(jì)算處理，從旋轉(zhuǎn)矩陣計(jì)算部64獲得3D對(duì)象的方位旋轉(zhuǎn)和位置變換時(shí)所使用的矩陣。在步驟S7中，旋轉(zhuǎn)處理部65將從旋轉(zhuǎn)矩陣計(jì)算處理所獲得的旋轉(zhuǎn)矩陣應(yīng)用于由從對(duì)象數(shù)據(jù)獲取部63供給的數(shù)據(jù)所表示的3D對(duì)象。在步驟S8中，顯示控制部66使顯示單元11以疊加方式在所拍攝圖像上顯示已經(jīng)歷旋轉(zhuǎn)矩陣應(yīng)用的3D對(duì)象。另一方面，在步驟S4中確定不能識(shí)別出二維標(biāo)記21的情況下，在步驟S9中，旋轉(zhuǎn)矩陣計(jì)算部64確定是否是要進(jìn)行陀螺儀校正的時(shí)間段(換句話說，是否是要基于陀螺儀傳感器52的輸出來校正信息處理終端I與二維標(biāo)記21之間的位置關(guān)系的時(shí)間段)。例如，將從最后能夠識(shí)別出二維標(biāo)記21的時(shí)間點(diǎn)起的預(yù)定時(shí)間內(nèi)的時(shí)間段或者直到測(cè)量出等于或高于預(yù)定值的角速度的時(shí)間為止的時(shí)間段設(shè)置為用于進(jìn)行陀螺儀校正的時(shí)間段。在步驟S9中確定該時(shí)間段在用于進(jìn)行陀螺儀校正的時(shí)間段內(nèi)的情況下，在步驟SlO中，旋轉(zhuǎn)矩陣計(jì)算部64計(jì)算陀螺儀傳感器52的當(dāng)前測(cè)量值與先前測(cè)量值之間的差。在步驟Sll中，旋轉(zhuǎn)矩陣計(jì)算部64基于通過計(jì)算所獲得的差來計(jì)算旋轉(zhuǎn)矩陣。這里所獲得的旋轉(zhuǎn)矩陣被設(shè)置為表示根據(jù)由陀螺儀傳感器52的測(cè)量值的差所表示的信息處理終端I的位置的變化估計(jì)出的、與當(dāng)前位置處的信息處理終端I與二維標(biāo)記21之間的位置關(guān)系相對(duì)應(yīng)的3D對(duì)象的方位的旋轉(zhuǎn)量和位置的變換量?？梢允?D對(duì)象的旋轉(zhuǎn)軸固定至能夠最后識(shí)別出二維標(biāo)記21的軸。在基于陀螺儀傳感器52的當(dāng)前測(cè)量值與先前測(cè)量值之間的差獲得旋轉(zhuǎn)矩陣之后，進(jìn)行步驟S7及其之后的處理。換句話說，將基于當(dāng)前測(cè)量值與先前測(cè)量值之間的差所獲得的旋轉(zhuǎn)矩陣應(yīng)用于3D對(duì)象，并且以疊加方式在所拍攝圖像上顯示已經(jīng)歷旋轉(zhuǎn)矩陣應(yīng)用的3D對(duì)象。
在步驟S8中以疊加方式在所拍攝圖像上顯示已經(jīng)歷旋轉(zhuǎn)矩陣應(yīng)用的3D對(duì)象之后、或者在步驟S9中確定該時(shí)間段不再用于進(jìn)行陀螺儀校正的時(shí)間段內(nèi)的情況下，該處理結(jié)束。在每次獲取到所拍攝圖像時(shí)重復(fù)上述處理，并且實(shí)現(xiàn)了如參考圖6 8和圖9所述的對(duì)象31的顯示。即使在用戶將攝像頭12的位置移動(dòng)至低于作為所拍攝圖像上的二維標(biāo)記21的識(shí)別極限位置的位置p3的情況下，也可以顯示和識(shí)別處于從該位置觀看的狀態(tài)下的對(duì)象31。接著，將參考圖15的流程圖來說明圖14的步驟S6中所進(jìn)行的旋轉(zhuǎn)矩陣計(jì)算處理。旋轉(zhuǎn)矩陣計(jì)算處理是用于計(jì)算4X4矩陣的處理，該4X4矩陣用于將三維空間(實(shí)空間)內(nèi)的作為二維標(biāo)記21的坐標(biāo)系的標(biāo)記坐標(biāo)系變換成同一三維空間內(nèi)的作為信息處理終端I的坐標(biāo)系的照相機(jī)坐標(biāo)系。這里，假定基于來自圖像分析部61的分析結(jié)果來指定具有表示二維標(biāo)記21的四個(gè)角的標(biāo)記μι μ的所拍攝圖像中的中心位置的坐標(biāo)。另外，將 作為變換目標(biāo)的照相機(jī)坐標(biāo)系設(shè)置為如下表示的坐標(biāo)系:將所拍攝圖像的右方向設(shè)置為+X方向、將其下方向設(shè)置為+Y方向并且將其深度方向設(shè)置為+Z方向。原點(diǎn)為攝像頭12的位置。此外，將作為變換源的標(biāo)記坐標(biāo)系設(shè)置為以圖3的方位作為基準(zhǔn)的、如下表述的坐標(biāo)系:將二維標(biāo)記21的右方向設(shè)置為+X方向、將其下方向設(shè)置為+Y方向并且將從其表面到背面的方向設(shè)置為+Z方向。原點(diǎn)為二維標(biāo)記21的中心。由1X1的長(zhǎng)度表示二維標(biāo)記21的大小。將所拍攝圖像的二維坐標(biāo)設(shè)置為由被設(shè)置為+X方向的右方向和被設(shè)置為+Y方向的下方向所表示的坐標(biāo)。將所拍攝圖像的中心位置設(shè)置為原點(diǎn)。將三維空間內(nèi)的照相機(jī)的位置設(shè)置為O。另外，將二維標(biāo)記21的左上角的標(biāo)記Ml、左下角的標(biāo)記M2、右下角的標(biāo)記M3和右上角的標(biāo)記M4分別設(shè)置為點(diǎn)A、B、C和D。在標(biāo)記坐標(biāo)系中，分別由 A= (-0.5，-0.5)、B= (-0.5，0.5)、C= (0.5，0.5)和 D= (0.5，-0.5)來表示點(diǎn)A、B、C和D。將點(diǎn)A、B、C和D設(shè)置為所拍攝圖像中的點(diǎn)A2、B2、C2和D2。在步驟S21中，如圖16所示，旋轉(zhuǎn)矩陣計(jì)算部64在照相機(jī)坐標(biāo)系中定義Z=Zl (Zl是正常數(shù))的平面，并且將點(diǎn)A2、B2、C2和D2投射到該平面上。該平面上的投射點(diǎn)分別被設(shè)置為點(diǎn)A3、B3、C3和D3。利用照相機(jī)位置O以及點(diǎn)A3、B3、C3和D3定義Λ 0A3B3、Λ 0B3C3、A0C3D3和A0D3A3這四個(gè)三角形。在步驟S22中，旋轉(zhuǎn)矩陣計(jì)算部64通過外積計(jì)算來獲得所定義的四個(gè)三角形的法線矢量。Λ 0Α3Β3、Δ 0B3C3、Δ 0C3D3和Λ 0D3A3的法線矢量分別被設(shè)置為Vab、Vbc、Vcd和Vda0在步驟S23中，旋轉(zhuǎn)矩陣計(jì)算部64計(jì)算外積VabXVcd和VbcXVda，并且將各計(jì)算結(jié)果設(shè)置為Vl和V2。另外，旋轉(zhuǎn)矩陣計(jì)算部64執(zhí)行Vl X V2，并且將該計(jì)算結(jié)果設(shè)置為V3。矢量V3是平面AB⑶的法線矢量、即標(biāo)記坐標(biāo)系的Z軸。在步驟S24中，旋轉(zhuǎn)矩陣計(jì)算部64利用連接照相機(jī)位置O與點(diǎn)A3和C3的對(duì)角線的兩端來定義Λ 0A3C3,并且利用連接照相機(jī)位置O與點(diǎn)Β3和D3的對(duì)角線的兩端來定義A0B3D3。另外，旋轉(zhuǎn)矩陣計(jì)算部64使用外積計(jì)算來獲得所定義的這兩個(gè)三角形的法線矢量，并且將所獲得的法線矢量分別設(shè)置為Vac和Vbd。在步驟S25中，旋轉(zhuǎn)矩陣計(jì)算部64計(jì)算外積Vac X V3和Vbd X V3，并且將這些計(jì)算結(jié)果分別設(shè)置為對(duì)角線矢量V4和V5。在步驟S26中，旋轉(zhuǎn)矩陣計(jì)算部64獲得對(duì)角線矢量V4與V5的和V4+V5，并將該和設(shè)置為矢量AB。矢量AB用作標(biāo)記坐標(biāo)系的Y軸。在步驟S27中，旋轉(zhuǎn)矩陣計(jì)算部64獲得對(duì)角線矢量V4與V5的差V4-V5，并將該差設(shè)置為矢量AD。矢量AD用作標(biāo)記坐標(biāo)系的X軸。因此，獲得了二維標(biāo)記21的X、Y和Z軸每個(gè)方向的單位矢量。在步驟S28中，旋轉(zhuǎn)矩陣計(jì)算部64使用三個(gè)方向的元素將這些單位矢量設(shè)置為(Xl，X2，X3)、(yl，y2，y3)和(zl，z2，z3)，并且獲得作為以下的表達(dá)式(I)的4X4矩陣的旋轉(zhuǎn)矩陣。之后，處理返回至圖14的 步驟S6，并且執(zhí)行之后的處理。
權(quán)利要求
1.一種信息處理終端,包括: 識(shí)別單元，其識(shí)別投射在圖像上的標(biāo)識(shí)符； 獲取單元，其獲取與所述標(biāo)識(shí)符相對(duì)應(yīng)的對(duì)象的數(shù)據(jù)； 處理單元，其根據(jù)基于所述圖像所指定的所述信息處理終端自身與所述標(biāo)識(shí)符之間的位置關(guān)系來改變所述對(duì)象的方位，并且在不再能夠識(shí)別所述標(biāo)識(shí)符的情況下，根據(jù)基于傳感器數(shù)據(jù)所指定的所述信息處理終端自身與所述標(biāo)識(shí)符之間的位置關(guān)系來改變所述對(duì)象的方位；以及 顯示控制單元，其使得以疊加方式在所述圖像上顯示根據(jù)所述信息處理終端自身與所述標(biāo)識(shí)符之間的位置關(guān)系而改變方位的所述對(duì)象。
2.根據(jù)權(quán)利要求1所述的信息處理終端，還包括: 拍攝單兀， 其中，所述識(shí)別單元對(duì)投射在由所述拍攝單元拍攝的所述圖像上的所述標(biāo)識(shí)符進(jìn)行識(shí)別。
3.根據(jù)權(quán)利要求1所述的信息處理終端，其中，在不再能夠識(shí)別所述標(biāo)識(shí)符的情況下，所述處理單元根據(jù)基于在最后能夠識(shí)別出所述標(biāo)識(shí)符時(shí)和之后檢測(cè)到的傳感器數(shù)據(jù)所指定的所述信息處理終端自身與所述標(biāo)識(shí)符之間的位置關(guān)系來改變所述對(duì)象的方位。
4.根據(jù)權(quán)利要求1所述的信息處理終端，還包括: 傳感器單元，其檢測(cè)所述傳感器數(shù)據(jù)。
5.根據(jù)權(quán)利要求4所述的信息處理終端，其中，所述傳感器單元包括陀螺儀傳感器。
6.根據(jù)權(quán)利要求1所述的信息處理終端，其中，所述標(biāo)識(shí)符是包括具有不同顏色的區(qū)域的二維碼。
7.—種信息處理方法,包括: 識(shí)別投射在圖像上的標(biāo)識(shí)符； 獲取與所述標(biāo)識(shí)符相對(duì)應(yīng)的對(duì)象的數(shù)據(jù)； 根據(jù)基于所述圖像所指定的信息處理終端自身與所述標(biāo)識(shí)符之間的位置關(guān)系來改變所述對(duì)象的方位，并且在不再能夠識(shí)別所述標(biāo)識(shí)符的情況下，根據(jù)基于傳感器數(shù)據(jù)所指定的所述信息處理終端自身與所述標(biāo)識(shí)符之間的位置關(guān)系來改變所述對(duì)象的方位；以及使得以疊加方式在所述圖像上顯示根據(jù)所述信息處理終端自身與所述標(biāo)識(shí)符之間的位置關(guān)系而改變方位的所述對(duì)象。
8.一種程序，用于使計(jì)算機(jī)執(zhí)行如下處理，所述處理包括: 識(shí)別投射在圖像上的標(biāo)識(shí)符； 獲取與所述標(biāo)識(shí)符相對(duì)應(yīng)的對(duì)象的數(shù)據(jù)； 根據(jù)基于所述圖像所指定的信息處理終端自身與所述標(biāo)識(shí)符之間的位置關(guān)系來改變所述對(duì)象的方位，并且在不再能夠識(shí)別所述標(biāo)識(shí)符的情況下，根據(jù)基于傳感器數(shù)據(jù)所指定的所述信息處理終端自身與所述標(biāo)識(shí)符之間的位置關(guān)系來改變所述對(duì)象的方位；以及使得以疊加方式在所述圖像上顯示根據(jù)所述信息處理終端自身與所述標(biāo)識(shí)符之間的位置關(guān)系而改變方位的所述對(duì)象。
全文摘要
本發(fā)明提供了一種信息處理終端、信息處理方法和程序。所述信息處理終端包括識(shí)別單元，其識(shí)別投射在圖像上的標(biāo)識(shí)符；獲取單元，其獲取與所述標(biāo)識(shí)符相對(duì)應(yīng)的對(duì)象的數(shù)據(jù)；處理單元，其根據(jù)所述信息處理終端自身與基于所述圖像所指定的所述標(biāo)識(shí)符之間的位置關(guān)系來改變所述對(duì)象的方位，并且在不再能夠識(shí)別所述標(biāo)識(shí)符的情況下，根據(jù)所述信息處理終端自身與基于傳感器數(shù)據(jù)所指定的所述標(biāo)識(shí)符之間的位置關(guān)系來改變所述對(duì)象的方位；以及顯示控制單元，其使得以疊加方式顯示在所述圖像上根據(jù)所述信息處理終端自身與所述標(biāo)識(shí)符之間的位置關(guān)系而改變方位的所述對(duì)象。
文檔編號(hào)G06K7/10GK103198286SQ20121055490
公開日2013年7月10日 申請(qǐng)日期2012年12月19日 優(yōu)先權(quán)日2011年12月26日
發(fā)明者中村隆俊, 鹽野崎敦, 三屋光史朗 申請(qǐng)人:索尼公司