專利名稱：信息處理器、信息處理方法和程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及信息處理器、信息處理方法和程序，以及更具體而言，涉及允許只有看某個對象的人才能聽到與該對象相關(guān)的可用音頻數(shù)據(jù)的經(jīng)再現(xiàn)的聲音的信息處理器、信息處理方法和程序。
背景技術(shù)：
為了使看廣告的人聽到與該廣告有關(guān)的聲音，可用的技術(shù)是從設(shè)置于廣告的側(cè)面或背面的揚聲器輸出聲音(參見日本專利特開No. 2004-77654)。可用的另一種技術(shù)是利用傳感器(比如安裝在張貼廣告的墻上的攝像裝置)檢測在廣告前面的人，以便輸出與該廣告有關(guān)的聲音(參見日本專利特開No. 2001-142420)。

發(fā)明內(nèi)容
上述技術(shù)的問題在于，在看廣告的人附近存在不看印制在例如海報上的廣告的人的情況下，不看廣告的人以及看廣告的人都聽到聲音。上述技術(shù)的問題還在于，如果張貼了多個不同的海報，則來自這些海報的聲音混在一起，使得難以聽到關(guān)注的聲音。通常期望通過僅使特定人聽到聲音而實現(xiàn)更好的廣告效果才采用上述技術(shù)。然而，這些問題甚至可導(dǎo)致廣告效果降低。針對前述問題做出了本發(fā)明，本發(fā)明的目的是僅使看某個對象的人聽到與該對象有關(guān)的可用音頻數(shù)據(jù)的經(jīng)再現(xiàn)的聲音。根據(jù)本發(fā)明的一個實施例，提供一種信息處理器，包括存儲裝置，用于存儲目標(biāo)對象的特征量數(shù)據(jù)和與該目標(biāo)對象相關(guān)聯(lián)的音頻數(shù)據(jù)；獲取裝置，用于獲取目標(biāo)對象的圖像；識別裝置，用于基于存儲在存儲裝置中的特征量數(shù)據(jù)來識別包括在圖像中的對象；以及再現(xiàn)裝置，用于再現(xiàn)與識別出的對象相關(guān)聯(lián)的音頻數(shù)據(jù)，并從用戶佩戴的輸出設(shè)備輸出經(jīng)再現(xiàn)的聲音。識別裝置能夠識別包括在圖像中的對象與用戶之間的位置關(guān)系。再現(xiàn)裝置能夠輸出經(jīng)再現(xiàn)的聲音使得經(jīng)再現(xiàn)的聲音位于用戶位置處，其中包括在圖像中的對象的安置位置被設(shè)置為聲源的位置。存儲裝置能夠存儲目標(biāo)對象的部分的特征量數(shù)據(jù)和與目標(biāo)對象的該部分相關(guān)聯(lián)的音頻數(shù)據(jù)。基于存儲在存儲裝置中的目標(biāo)對象的部分的特征量數(shù)據(jù)，識別裝置能夠識別包括在圖像中的目標(biāo)對象的部分。再現(xiàn)裝置能夠再現(xiàn)與由識別裝置識別出的目標(biāo)對象的部分相關(guān)聯(lián)的音頻數(shù)據(jù)。該信息處理器還包括定位裝置，用于檢測位置；以及
通信裝置，用于與服務(wù)器通信，服務(wù)器具有用于特征量數(shù)據(jù)和音頻數(shù)據(jù)的數(shù)據(jù)庫， 通信裝置還能夠下載安置在包括由定位裝置檢測到的位置的區(qū)域中的對象的特征量數(shù)據(jù)以及與所述對象相關(guān)聯(lián)的音頻數(shù)據(jù)，其中存儲裝置存儲由通信裝置下載的特征量數(shù)據(jù)和音頻數(shù)據(jù)。根據(jù)本發(fā)明的另一實施例，提供一種信息處理方法，包括下列步驟存儲目標(biāo)對象的特征量數(shù)據(jù)和與目標(biāo)對象相關(guān)聯(lián)的音頻數(shù)據(jù)；獲取目標(biāo)對象的圖像；基于所存儲的特征量數(shù)據(jù)來識別包括在圖像中的對象；以及再現(xiàn)與識別出的對象相關(guān)聯(lián)的音頻數(shù)據(jù)，并從用戶佩戴的輸出設(shè)備輸出經(jīng)再現(xiàn)的聲音。根據(jù)本發(fā)明的又一實施例，提供一種使計算機執(zhí)行處理的程序，所述處理包括下列步驟存儲目標(biāo)對象的特征量數(shù)據(jù)和與目標(biāo)對象相關(guān)聯(lián)的音頻數(shù)據(jù)；獲取目標(biāo)對象的圖像；基于存儲的特征量數(shù)據(jù)來識別包括在圖像中的對象；以及再現(xiàn)與識別出的對象相關(guān)聯(lián)的音頻數(shù)據(jù)，并從用戶佩戴的輸出設(shè)備輸出經(jīng)再現(xiàn)的聲音。根據(jù)本發(fā)明的一個實施例，存儲表示目標(biāo)對象的特征量數(shù)據(jù)和與所述目標(biāo)對象相關(guān)聯(lián)的音頻數(shù)據(jù)的數(shù)據(jù)。獲取目標(biāo)對象的圖像?；诖鎯Φ奶卣髁繑?shù)據(jù)來識別包括在圖像中的對象。另外，再現(xiàn)與識別出的對象相關(guān)聯(lián)的音頻數(shù)據(jù)，并從用戶佩戴的輸出設(shè)備輸出經(jīng)再現(xiàn)的聲音。本發(fā)明允許只有看某個對象的人才能聽到與該對象有關(guān)的可用音頻數(shù)據(jù)的經(jīng)再
現(xiàn)的聲音。


圖1是示出使用根據(jù)本發(fā)明一個實施例的信息處理器的AR(增強現(xiàn)實)系統(tǒng)的外觀示例的圖；圖2是示出佩戴HMD(頭戴式顯示設(shè)備)的用戶的外觀示例的圖；圖3是示出AR系統(tǒng)的另一外觀示例的圖；圖4是示出信息處理器的硬件配置示例的框圖；圖5是示出信息處理器的功能配置示例的框圖；圖6是描繪對象識別的圖；圖7是描繪由信息處理器執(zhí)行的音頻再現(xiàn)處理的流程圖；圖8是示出信息處理器的功能配置的另一示例的框圖；圖9是示出由如圖8中所示配置的信息處理器執(zhí)行的下載處理的流程圖；圖10是示出海報中指定的片段的圖。圖11是示出與海報片段有關(guān)的音頻數(shù)據(jù)和模型數(shù)據(jù)的示例的圖；以及圖12是示出信息處理器的安裝示例的圖。
具體實施例方式<第一實施例>[AR (增強現(xiàn)實)系統(tǒng)]圖1是示出使用根據(jù)本發(fā)明一種實施例的信息處理器的AR系統(tǒng)的外觀示例的圖。在圖1中示出的示例中，在墻面W上既水平又垂直地并排張貼海報Pl至P4。在海報Pl至P4上例如印制有產(chǎn)品或服務(wù)的廣告。另外，用戶Ul至U3站在墻面W前面。用戶Ul正在看海報Pl，而用戶U3正在看海報P4。另一方面，用戶U2并未在看墻面W上張貼的海報Pl至P4中的任何一個海報。圖1 中的虛線箭頭#1至#3分別表示用戶Ul至U3的視線。在這種情況下，與海報Pl有關(guān)的聲音被以如下方式輸出只有看海報Pl的用戶 Ul能夠聽到該聲音，如每個用戶附近的氣球所示。類似地，與海報P4有關(guān)的聲音被以如下方式輸出只有看海報P4的用戶U3能夠聽到該聲音。與海報Pl和P4有關(guān)的聲音不能夠被不看海報Pl和P4的用戶U2聽到。當(dāng)檢測到攜帶信息處理器的用戶正在看海報時，用戶所攜帶的信息處理器再現(xiàn)與該海報有關(guān)的音頻數(shù)據(jù)并輸出經(jīng)再現(xiàn)的聲音，使得只有該用戶能聽到該聲音。與該海報有關(guān)的音頻數(shù)據(jù)例如是介紹在海報上印制的產(chǎn)品或服務(wù)的音頻或音樂數(shù)據(jù)。圖2是示出圖1中示出的用戶Ul的外觀示例的圖。如圖2中所示，用戶Ul攜帶信息處理器1，信息處理器1是便攜式計算機。用戶 Ul還佩戴頭戴式顯示設(shè)備(HMD)2。信息處理器1和HMD 2能夠以有線或無線方式彼此進行通信。HMD 2具有攝像裝置11、耳機12以及顯示器13。攝像裝置11被附接在能夠拍攝到佩戴HMD 2的用戶Ul前面的景物的地方。攝像裝置11的拍攝范圍包括用戶的視線。攝像裝置11拍攝的圖像被傳送給信息處理器1。攝像裝置11持續(xù)以預(yù)定的幀速率拍攝圖像(動態(tài)圖像)。這允許將用戶看到的景物的圖像提供給信息處理器1。耳機12被附接為放置在佩戴HMD 2的用戶Ul的耳朵上。耳機12輸出從信息處理器1傳送的經(jīng)再現(xiàn)的聲音。顯示器13被附接為使得該顯示器位于佩戴HMD 2的用戶Ul的眼前。顯示器13 包括透明的組件，并顯示例如信息，如基于從信息處理器1傳送的數(shù)據(jù)的圖像或文本。用戶能夠看到顯示器13以外的景物。用戶還能夠看到顯示器13上顯示的圖像。用戶U2和U3每個都像用戶Ul那樣攜帶信息處理器1并佩戴HMD2。例如，用戶Ul攜帶的信息處理器1識別對象，以基于由攝像裝置11拍攝的圖像來判斷用戶Ul正在看哪個海報。信息處理器1存儲適用于對用戶正在看哪個海報進行識別的對象識別數(shù)據(jù)。對象識別數(shù)據(jù)包括海報Pl至P4。這允許正在看該海報的特定用戶能聽到與該海報相關(guān)的聲音。也就是說，因為經(jīng)再現(xiàn)的聲音是從耳機12輸出的，所以看海報的人和不看海報的人都聽到聲音的問題不再存在。另外，因為再現(xiàn)與海報Pl至P4中的一個海報有關(guān)的聲音數(shù)據(jù)，所以由來自不同廣告的聲音混合在一起導(dǎo)致難以聽到聲音的問題也不再存在。在用戶正看著海報的同時再現(xiàn)與該海報有關(guān)的音頻數(shù)據(jù)。
如圖3中所示，例如，當(dāng)用戶Ul正在由虛線箭頭#11所示的位置Pl看海報P3時， 再現(xiàn)與海報P3有關(guān)的音頻數(shù)據(jù)。用戶Ul能夠聽到與海報P3有關(guān)的音頻數(shù)據(jù)的經(jīng)再現(xiàn)的聲音。另一方面，如果因為用戶Ul如實線箭頭#12所示移動到了位置p2因此如虛線箭頭#13所示不再看著海報P3，那么停止對與海報P3有關(guān)的音頻數(shù)據(jù)的再現(xiàn)。用戶Ul不能聽到與海報P3有關(guān)的音頻數(shù)據(jù)的經(jīng)再現(xiàn)的聲音。隨后將描述由信息處理器1執(zhí)行來如上所述地控制音頻數(shù)據(jù)的再現(xiàn)的處理序列。[信息處理器的配置]圖4是示出信息處理器1的硬件配置的示例的框圖。CPU(中央處理單元)31、R0M(只讀存儲器)和RAM(隨機存取存儲器)33通過總線34彼此連接。1/0(輸入/輸出)接口 35也連接到總線34。輸入部36、輸出部37、存儲部38、通信部39和驅(qū)動器40連接到I/O接口 35。輸入部36與HMD 2進行通信，并接收由HMD 2的攝像裝置11拍攝的圖像。輸出部37與HMD 2進行通信，并從耳機12輸出音頻數(shù)據(jù)的經(jīng)再現(xiàn)的聲音。另外， 輸出部37傳送顯示數(shù)據(jù)給HMD 2，以便在顯示器13上顯示信息，諸如圖像和文本等。存儲部38包括例如硬盤或非易失性存儲器，并存儲用于海報的識別數(shù)據(jù)和與每個海報有關(guān)的音頻數(shù)據(jù)。通信部39包括例如網(wǎng)絡(luò)接口，比如無線LAN(局域網(wǎng))模塊，并與通過網(wǎng)絡(luò)連接的服務(wù)器進行通信。在存儲部38中存儲的用于海報的識別數(shù)據(jù)和音頻數(shù)據(jù)例如是從服務(wù)器下載的并被提供給信息處理器1。驅(qū)動器40從加載在驅(qū)動器40中的可移除介質(zhì)41中讀取數(shù)據(jù)以及向可移除介質(zhì) 40寫入數(shù)據(jù)。圖5是示出信息處理器1的功能配置的示例的框圖。在信息處理器1中實現(xiàn)圖像獲取部51、識別部52、音頻再現(xiàn)控制部53、模型數(shù)據(jù)存儲部M、音頻數(shù)據(jù)存儲部55和通信控制部56。上述部件中的至少一些部件是作為由圖 4中示出的CPU 31執(zhí)行的預(yù)定程序的結(jié)果而實現(xiàn)的。模型數(shù)據(jù)存儲部M和音頻數(shù)據(jù)存儲部55被例如形成為存儲部38。圖像獲取部51獲取由攝像裝置11拍攝的由輸入部36接收到的圖像。圖像獲取部51將所獲得的圖像輸出給識別部52。識別部52從圖像獲取部51接收圖像作為查詢圖像，并基于模型數(shù)據(jù)存儲部M中存儲的模型數(shù)據(jù)來識別包括在圖像中的對象。模型數(shù)據(jù)存儲部M存儲表示從包含海報的圖像中提取的海報特征的數(shù)據(jù)。隨后將描述由識別部52執(zhí)行的對象識別。識別部52例如把識別出的對象(海報)的ID以及表示識別出的海報與攝像裝置 11 (用戶)之間的相對位置關(guān)系的相對位置信息輸出給音頻再現(xiàn)控制部53作為識別結(jié)果。 例如，基于該相對位置信息識別出用戶相對于識別出的海報的距離和方向。音頻再現(xiàn)控制部53從音頻數(shù)據(jù)存儲部55中讀取與從識別部52提供的ID有關(guān)的音頻數(shù)據(jù)，從而再現(xiàn)音頻數(shù)據(jù)。音頻再現(xiàn)控制部53控制圖4中示出的輸出部37把通過再現(xiàn)獲得的經(jīng)再現(xiàn)的音頻數(shù)據(jù)傳送給HMD 2。經(jīng)再現(xiàn)的音頻數(shù)據(jù)從耳機12輸出。音頻數(shù)據(jù)存儲部陽存儲與音頻數(shù)據(jù)有關(guān)的海報ID。通信控制部56控制通信部39與服務(wù)器61進行通信，并下載用于識別海報特征的模型數(shù)據(jù)和與海報有關(guān)的音頻數(shù)據(jù)。服務(wù)器61具有用于模型數(shù)據(jù)和音頻數(shù)據(jù)的數(shù)據(jù)庫。通信控制部56把下載到的模型數(shù)據(jù)存儲在模型數(shù)據(jù)存儲部M中并把下載到的音頻數(shù)據(jù)存儲在音頻數(shù)據(jù)存儲部55中。圖6是描繪對象(海報)識別的圖。識別部52使用的算法中包括RandomizedFern和SIFT(尺度不變特征轉(zhuǎn)換)。 RandomizedFern 被公開在文獻"Fast Keypoint Recognition using Random Ferns, Mustafa Ozuysal, Michael Calonder, Vincent Le Petite 禾口 Pascal Fua, Ecole Polytechnique Federale de Lausanne (EPEL) Computer Vision Laboratory, &C Faculty CH-1015 Lausanne，Switzerland. ” 中。另一方面，SIFT 被公開在"Distinctive Image Features from Scale-Invariant Keypoints, David G. Lowe, January 5,2004·，，中。如圖6中所示，在作為學(xué)習(xí)設(shè)備的服務(wù)器61中實現(xiàn)圖像處理部71、特征點檢測部 72、特征量提取部73和組合部74。圖6中示出的所有部件均作為由服務(wù)器61的CPU執(zhí)行的預(yù)定程序的結(jié)果而實施。服務(wù)器61還包括如圖4中所示的電腦。圖像處理部71對模型圖像施加仿射變換或其它處理，并將所得到的模型圖像輸出給特征點檢測部72。海報Pl至P4的每個圖像被依次饋送給圖像處理部71作為模型圖像。模型圖像還被饋送給特征量提取部73。特征點檢測部72把從圖像處理部71提供的模型圖像中的點確定為模型特征點， 并把表示模型特征點的位置的信息輸出給特征量提取部73。特征量提取部73從組成模型圖像的像素中提取位置對應(yīng)于模型特征點的位置的像素的信息作為模型特征量。由特征量提取部73提取的模型特征量數(shù)據(jù)被與海報(所述海報是包含在從中提取出特征量的模型圖像中的海報)的ID相關(guān)聯(lián)地記錄在模型字典Dl 中。模型字典Dl包括如下數(shù)據(jù)該數(shù)據(jù)將海報的ID與針對從包含海報的圖像中提取出的每個模型特征點的模型特征量數(shù)據(jù)關(guān)聯(lián)起來。另外，特征量提取部73把提取出的模型特征量數(shù)據(jù)輸出給組合部74。組合部74將輸入的三維模型數(shù)據(jù)與從特征量提取部73提供的模型特征量數(shù)據(jù)組合起來。表示與每個海報Pl至P4相對應(yīng)的三維形式的數(shù)據(jù)被作為三維模型數(shù)據(jù)輸入組合部74。例如，組合部74基于三維模型數(shù)據(jù)來計算從各種角度觀看海報時每個模型特征點在三維模型上的位置。組合部74將模型特征量數(shù)據(jù)分配給模型特征點的計算出的位置中的每個，從而組合三維模型數(shù)據(jù)與模型特征量數(shù)據(jù)并生成三維模型數(shù)據(jù)D2。模型字典Dl和由組合部74生成的三維模型數(shù)據(jù)D2被提供給信息處理器1，并被存儲在模型數(shù)據(jù)存儲部M當(dāng)中。如圖6中所示，識別部52包括圖像處理單元81、特征點檢測單元82、特征量提取單元83、匹配單元84和相對位置估計單元85。由攝像裝置11拍攝并由圖像獲取部51獲取的圖像被饋送給圖像處理單元81作為查詢圖像。該查詢圖像還被提供給特征量提取單元83。與圖像處理部71所做的一樣，圖像處理單元81對該查詢圖像施加仿射變換或其它處理，并將所得到的查詢圖像輸出給特征點檢測單元82。特征點檢測單元82把從圖像處理單元81提供的查詢圖像中的點確定為查詢特征點，并將表示查詢特征點的位置的信息輸出給特征量提取單元83。特征量提取單元83從組成查詢圖像的像素中提取位置與查對特征點的位置相對應(yīng)的像素的信息，作為查對特征量。特征量提取單元83把提取出的查對特征量數(shù)據(jù)輸出給匹配單元84。匹配單元84基于在模型字典Dl中包括的特征量數(shù)據(jù)來執(zhí)行K-NN (K-最近鄰)搜索或其它最近鄰搜索(nearest neighbor search)，從而確定最接近每個查對特征點的模型特征點?；谧罱咏閷μ卣鼽c的模型特征點的數(shù)量，匹配單元84例如選擇出具有最大數(shù)量的最接近的模型特征點的海報。匹配單元84把選定的海報的ID輸出作為識別結(jié)果。從匹配單元84輸出的海報ID不僅被提供給圖5中示出的音頻再現(xiàn)控制部53，還被提供給相對位置估計單元85。還向相對位置估計單元85提供表示每個查對特征點的位置的信息。相對位置估計單元85從模型數(shù)據(jù)存儲部M中讀取由匹配單元84識別出的海報的三維模型數(shù)據(jù)D2。相對位置估計單元85基于三維模型數(shù)據(jù)D2來識別最接近每個查對特征點的模型特征點在三維模型上的位置。相對位置估計單元85輸出表示海報與用戶之間的位置關(guān)系的相對位置信息。如果能夠識別最接近從由攝像裝置11拍攝的查詢圖像中檢測到的每個查對特征點的模型特征點在三維模型上的位置，則可以確定查詢圖像是從海報的哪個位置拍攝的， 也就是說，可以確定用戶的位置。此外，如果預(yù)先使包含在圖像中的海報的尺寸和到該海報的距離彼此相關(guān)聯(lián)，則可以基于包含在由攝像裝置11拍攝的查詢圖像中的海報的尺寸來確定海報到用戶的距離。攝像裝置11的鏡頭例如是不能變焦的單聚焦鏡頭。如上所述地識別用戶所看的海報與用戶之間的相關(guān)位置關(guān)系。[信息處理器的操作]下面將參照圖7中示出的流程圖來描述由信息處理器1執(zhí)行的音頻再現(xiàn)處理。例如，在攝像裝置11拍攝圖像期間，重復(fù)圖7中示出的處理。在步驟Si，圖像獲取部51獲取由攝像裝置11拍攝的圖像。在步驟S2，識別部52在由圖像獲取部51獲取的圖像中執(zhí)行對象識別。在步驟S3，識別部52判斷與識別出的對象的ID相匹配的ID是否被作為海報ID 而存儲在模型數(shù)據(jù)存儲部M中，即判斷用戶是否正在看海報。如果在步驟S3中判斷出用戶不正在看海報，則音頻再現(xiàn)控制部53在步驟S4中判斷是否正在再現(xiàn)音頻數(shù)據(jù)。當(dāng)在步驟S4中判斷出正在再現(xiàn)音頻數(shù)據(jù)時，音頻再現(xiàn)控制部53在步驟S5停止音頻數(shù)據(jù)的再現(xiàn)。當(dāng)在步驟S5中停止音頻數(shù)據(jù)的再現(xiàn)時，或者如果在步驟S4中判斷出不正在再現(xiàn)音頻數(shù)據(jù)，處理返回步驟Sl以重復(fù)后續(xù)處理步驟。另一方面，當(dāng)在步驟S3判斷出用戶正在看海報時，音頻再現(xiàn)控制部53在步驟S6 中判斷與用戶正在看的海報相關(guān)的音頻數(shù)據(jù)是否被存儲在音頻數(shù)據(jù)存儲部陽中。如果在步驟S6中判斷出與用戶正在看的海報相關(guān)的音頻數(shù)據(jù)未被存儲在音頻數(shù)據(jù)存儲部陽中，則處理返回步驟Sl以重復(fù)后續(xù)處理步驟。當(dāng)在步驟S6中判斷出與用戶正在看的海報相關(guān)的音頻數(shù)據(jù)是被存儲在音頻數(shù)據(jù)存儲部55中時，音頻再現(xiàn)控制部53在步驟S7中判斷是否正在再現(xiàn)不同于與用戶正在看的海報相關(guān)的音頻數(shù)據(jù)的音頻數(shù)據(jù)。當(dāng)在步驟S7中判斷出正在再現(xiàn)不同于與用戶正在看的海報相關(guān)的音頻數(shù)據(jù)的音頻數(shù)據(jù)時，音頻再現(xiàn)控制部53停止音頻數(shù)據(jù)的再現(xiàn)。當(dāng)在步驟S8中停止音頻數(shù)據(jù)的再現(xiàn)時，處理返回步驟Sl以重復(fù)后續(xù)處理步驟。另一方面，如果在步驟S7中判斷出并非正在再現(xiàn)不同于與用戶正在看的海報相關(guān)的音頻數(shù)據(jù)的音頻數(shù)據(jù)，則音頻再現(xiàn)控制部53在步驟S9中判斷是否正在再現(xiàn)與用戶正在看的海報相關(guān)的音頻數(shù)據(jù)。當(dāng)在步驟S9中判斷出正在再現(xiàn)與用戶正在看的海報相關(guān)的音頻數(shù)據(jù)時，處理返回步驟Sl以重復(fù)后續(xù)處理步驟。在這種情況下，繼續(xù)再現(xiàn)與用戶正在看的海報相關(guān)的音頻數(shù)據(jù)。如果在步驟S9中判斷出并非正在再現(xiàn)與用戶正在看的海報相關(guān)的音頻數(shù)據(jù)，則音頻再現(xiàn)控制部53從音頻數(shù)據(jù)存儲部55讀取與用戶正在看的海報相關(guān)的音頻數(shù)據(jù)，從而使再現(xiàn)初始化。然后，重復(fù)從步驟Sl起的處理步驟。上述處理步驟允許只有在看海報的人才能聽到與該海報相關(guān)的音頻數(shù)據(jù)的經(jīng)再
現(xiàn)的聲音。當(dāng)識別出由攝像裝置11拍攝的圖像中包括多個海報時，可將最接近圖像中心的海報識別為用戶正在看的海報?？蓪亩鷻C12的左揚聲器和右揚聲器輸出的聲音音量和輸出時序進行調(diào)節(jié)，使得經(jīng)再現(xiàn)的聲音位于由相對位置信息表示的用戶位置處，將被識別為用戶觀看的海報的位置設(shè)置為聲源位置。這使得能夠給予用戶聲音是從海報發(fā)出的印象。[修改示例]可根據(jù)用戶位置來更新存儲在模型數(shù)據(jù)存儲部M中的模型數(shù)據(jù)和存儲在音頻數(shù)據(jù)存儲部陽中的音頻數(shù)據(jù)。圖8是示出信息處理器1的功能配置的另一示例的框圖。除了增加了定位部57以外，圖8中示出的配置與圖5中示出的相同。因此不再贅述。定位部57基于設(shè)置在信息處理器1中的GPS(全球定位系統(tǒng))傳感器(未示出) 的輸出來檢測信息處理器1的位置，即，攜帶信息處理器1的用戶的位置。定位部57將表示當(dāng)前位置的位置信息輸出給通信控制部56。通信控制部56將位置信息傳送給服務(wù)器61，并下載在包括當(dāng)前位置的區(qū)域中張貼的海報的模型數(shù)據(jù)和下載與海報相關(guān)的音頻數(shù)據(jù)。在服務(wù)器61中，為了管理，按區(qū)域?qū)竽Ｐ蛿?shù)據(jù)和音頻數(shù)據(jù)進行分類。例如，以與一個區(qū)域中張貼的海報有關(guān)的一組模型數(shù)據(jù)和音頻數(shù)據(jù)為單位來下載模型數(shù)據(jù)和音頻數(shù)據(jù)。通信控制部56把下載到的模型數(shù)據(jù)存儲在模型數(shù)據(jù)存儲部M中，并把下載到的音頻數(shù)據(jù)存儲在音頻數(shù)據(jù)存儲部55中。
下面將參照圖9中的流程圖來描述由如圖8中所示配置的信息處理器1執(zhí)行的下載處理。在步驟S21中，定位部57檢測當(dāng)前位置，并把位置信息輸出給通信控制部56。在步驟S22中，通信控制部56把位置信息傳送給服務(wù)器61。在步驟S23中，通信控制部56下載在包括該當(dāng)前位置的區(qū)域中張貼的海報的模型數(shù)據(jù)以及與這些海報相關(guān)的音頻數(shù)據(jù)。在步驟SM中，通信控制部56把下載到的模型數(shù)據(jù)存儲在模型數(shù)據(jù)存儲部M中， 并把下載到的音頻數(shù)據(jù)存儲在音頻數(shù)據(jù)存儲部陽中，之后處理終止。在存儲了新下載到的模型數(shù)據(jù)和音頻數(shù)據(jù)之后，可分別從模型數(shù)據(jù)存儲部M和音頻數(shù)據(jù)存儲部55中刪除在包括用戶的前一個當(dāng)前位置的區(qū)域中張貼的海報的模型數(shù)據(jù)和音頻數(shù)據(jù)。這有助于減少模型數(shù)據(jù)和音頻數(shù)據(jù)的量。盡管以上描述了在逐個海報的基礎(chǔ)上識別用戶所看的海報，并據(jù)此再現(xiàn)與該海報相關(guān)的音頻數(shù)據(jù)；但也可以在單個海報的逐個片段的基礎(chǔ)上執(zhí)行上述處理。在這種情況下， 對用戶在看海報的哪個片段進行識別，并再現(xiàn)與識別出的海報片段相關(guān)的音頻數(shù)據(jù)。圖10是示出海報Pl中指定的片段(區(qū)域)的圖。在圖10中示出的示例中，在海報Pl中指定片段1-1、1_2和1-3。在片段1_1、1_2 和1-3中分別印制了不同的信息內(nèi)容，比如不同的產(chǎn)品照片。如圖11中所示，在信息處理器1中與海報片段相關(guān)地存儲模型數(shù)據(jù)和音頻數(shù)據(jù)。在圖11中示出的示例中，與海報Pl的片段1-1相關(guān)地存儲模型數(shù)據(jù)1-1和音頻數(shù)據(jù)1-1。與海報Pl的片段1-2相關(guān)地存儲模型數(shù)據(jù)1-2和音頻數(shù)據(jù)1-2。與海報Pl的片段1-3相關(guān)地存儲模型數(shù)據(jù)1-3和音頻數(shù)據(jù)1-3。類似地，與海報P2至P4的每個海報片段相關(guān)地在信息處理器1中存儲模型數(shù)據(jù)和音頻數(shù)據(jù)。當(dāng)信息處理器1基于由攝像裝置11拍攝的圖像和逐個片段的模型數(shù)據(jù)判斷出用戶正在看海報Pl的片段1-1時，開始音頻數(shù)據(jù)1-1的再現(xiàn)。這使得能夠根據(jù)用戶正在看的海報片段來改變用戶將要聽到的音頻數(shù)據(jù)。盡管以上描述了信息處理器1是由用戶攜帶著的，但信息處理器1也可被安裝在其它位置。圖12是示出信息處理器1的安裝示例的圖。在圖12中示出的示例中，信息處理器1被安裝在張貼有海報Pl至P4的墻面W上。 信息處理器1與用戶佩戴的HMD 2進行通信，使得在這兩個設(shè)備之間交換由攝像裝置11拍攝的圖像和由信息處理器1再現(xiàn)的音頻數(shù)據(jù)。盡管以上描述了目標(biāo)對象是海報的情況，但也可以對顯示器上顯示的一個或更多圖像進行識別，從而再現(xiàn)與識別出的一個或更多圖像相關(guān)的音頻數(shù)據(jù)。盡管以上描述了信息處理器1與HMD 2進行通信的情況，但信息處理器1可替代地與用戶攜帶的其它類型的設(shè)備(諸如具有拍攝功能的移動音樂播放器等)進行通信。通過用移動音樂播放器拍攝海報，用戶能夠通過移動音樂播放器的耳機聽到與海報相關(guān)的聲
曰°要再現(xiàn)的音頻數(shù)據(jù)的類型可以是可選擇的。例如，如果與同一海報相關(guān)地可獲得每個都針對不同年齡組的多個聲音，比如針對成年人一個聲音以及針對兒童一個聲音，那么再現(xiàn)由用戶選擇的聲音。在這種情況下，用戶預(yù)先選擇是再現(xiàn)針對成年人的聲音還是針對兒童的聲音，并在信息處理器1中存儲表示其選擇的信息。如果檢測到用戶正在看海報，則信息處理器1 開始再現(xiàn)與該海報相關(guān)的所有音頻數(shù)據(jù)中的由存儲的信息表示的那種類型的音頻數(shù)據(jù)。這允許用戶聽取他偏好的聲音。另外，用戶可能夠從各種語言中選擇再現(xiàn)聲音時使用的語言，比如一種聲音用日語以及另一聲音用其它語言。應(yīng)注意，上述處理序列可通過硬件或軟件來執(zhí)行。如果處理序列是通過軟件執(zhí)行的話，那么將組成該軟件的程序從程序記錄介質(zhì)安裝到結(jié)合在專用硬件中的計算機、通用個人計算機或其它計算機。要安裝的程序被提供為記錄在圖4中示出的可移除介質(zhì)41上，可移除介質(zhì)41是諸如光盤(例如⑶-ROM(只讀光盤存儲器))、DVD(數(shù)字多功能光盤)或半導(dǎo)體存儲器?；蛘?，可通過有線或無線傳輸介質(zhì)(諸如局域網(wǎng)、因特網(wǎng)或數(shù)字廣播等)來提供程序?？蓪⒊绦蝾A(yù)先安裝在R0M32或存儲部38中。電腦執(zhí)行的程序不但可包括根據(jù)所描述的序列的時間先后順序執(zhí)行的處理，而且還可包括并行執(zhí)行或按需調(diào)用的處理。本發(fā)明的實施例并不限于以上描述的實施例，而是可以在不偏離本發(fā)明的精神和范圍的情況下以多種方式進行修改。本發(fā)明包含的主題涉及在2010年3月19號提交日本專利局的日本優(yōu)先權(quán)專利申請JP 2010-065115中公開的主題，因此其全部內(nèi)容通過引用而合并于此。本領(lǐng)域技術(shù)人員應(yīng)該理解，根據(jù)設(shè)計需要和其它因素，可以在所附權(quán)利要求或其等同方案的范圍內(nèi)進行各種修改、組合、子組合和替換。
權(quán)利要求
1.一種信息處理器，包括存儲裝置，用于存儲目標(biāo)對象的特征量數(shù)據(jù)和與該目標(biāo)對象相關(guān)聯(lián)的音頻數(shù)據(jù)； 獲取裝置，用于獲取所述目標(biāo)對象的圖像；識別裝置，用于基于存儲在所述存儲裝置中的所述特征量數(shù)據(jù)來識別包括在所述圖像中的對象；以及再現(xiàn)裝置，用于再現(xiàn)與由所述識別裝置識別出的對象相關(guān)聯(lián)的所述音頻數(shù)據(jù)，并從用戶佩戴的輸出設(shè)備輸出經(jīng)再現(xiàn)的聲音。
2.根據(jù)權(quán)利要求1所述的信息處理器，其中所述識別裝置識別包括在所述圖像中的所述對象與所述用戶之間的位置關(guān)系，以及所述再現(xiàn)裝置輸出所述經(jīng)再現(xiàn)的聲音使得所述經(jīng)再現(xiàn)的聲音位于所述用戶位置處，其中所述包括在所述圖像中的所述對象的安置位置被設(shè)置為聲源的位置。
3.根據(jù)權(quán)利要求1所述的信息處理器，其中所述存儲裝置存儲所述目標(biāo)對象的部分的特征量數(shù)據(jù)和與所述目標(biāo)對象的該部分相關(guān)聯(lián)的音頻數(shù)據(jù)，所述識別裝置基于存儲在所述存儲裝置中的所述目標(biāo)對象的所述部分的所述特征量數(shù)據(jù)，來識別包括在所述圖像中的所述目標(biāo)對象的部分，以及所述再現(xiàn)裝置再現(xiàn)與由所述識別裝置識別出的所述目標(biāo)對象的所述部分相關(guān)聯(lián)的音頻數(shù)據(jù)。
4.根據(jù)權(quán)利要求1所述的信息處理器，還包括 定位裝置，用于檢測位置；以及通信裝置，用于與服務(wù)器通信，所述服務(wù)器具有用于所述特征量數(shù)據(jù)和音頻數(shù)據(jù)的數(shù)據(jù)庫，所述通信裝置還能夠下載安置在包括由所述定位裝置檢測到的所述位置的區(qū)域中的對象的所述特征量數(shù)據(jù)以及與所述對象相關(guān)聯(lián)的所述音頻數(shù)據(jù)，其中所述存儲裝置存儲由所述通信裝置下載的所述特征量數(shù)據(jù)和所述音頻數(shù)據(jù)。
5.一種信息處理方法，包括以下步驟存儲目標(biāo)對象的特征量數(shù)據(jù)和與所述目標(biāo)對象相關(guān)聯(lián)的音頻數(shù)據(jù)； 獲取所述目標(biāo)對象的圖像；基于所存儲的特征量數(shù)據(jù)來識別包括在所述圖像中的對象；以及再現(xiàn)與識別出的對象相關(guān)聯(lián)的所述音頻數(shù)據(jù)，并從用戶佩戴的輸出設(shè)備輸出經(jīng)再現(xiàn)的聲音。
6.一種使計算機執(zhí)行處理的程序，所述處理包括以下步驟存儲目標(biāo)對象的特征量數(shù)據(jù)和與所述目標(biāo)對象相關(guān)聯(lián)的音頻數(shù)據(jù)； 獲取所述目標(biāo)對象的圖像；基于所存儲的特征量數(shù)據(jù)來識別包括在所述圖像中的對象；以及再現(xiàn)與識別出的對象相關(guān)聯(lián)的所述音頻數(shù)據(jù)，并從用戶佩戴的輸出設(shè)備輸出經(jīng)再現(xiàn)的聲音。
7.一種信息處理器，包括存儲部，被配置為存儲目標(biāo)對象的特征量數(shù)據(jù)和與所述目標(biāo)對象相關(guān)聯(lián)的音頻數(shù)據(jù)； 獲取部，被配置為獲取所述目標(biāo)對象的圖像；識別部，被配置為基于存儲在所述存儲部中的所述特征量數(shù)據(jù)來識別包括在所述圖像中的對象；以及再現(xiàn)部，被配置為再現(xiàn)與識別出的對象相關(guān)聯(lián)的音頻數(shù)據(jù)，并從用戶佩戴的輸出設(shè)備輸出經(jīng)再現(xiàn)的聲音。
全文摘要
公開了信息處理器、信息處理方法和程序。該信息處理器包括存儲部，被配置為存儲目標(biāo)對象的特征量數(shù)據(jù)和與該目標(biāo)對象相關(guān)的音頻數(shù)據(jù)；獲取部，被配置為獲取目標(biāo)對象的圖像；識別部，被配置為基于存儲在存儲部中的特征量數(shù)據(jù)來識別包括在圖像中的對象；以及再現(xiàn)部，被配置為再現(xiàn)與所識別出的對象相關(guān)的音頻數(shù)據(jù)，并從用戶佩帶的輸出設(shè)備輸出經(jīng)再現(xiàn)的聲音。
文檔編號G06K9/00GK102193772SQ20111006173
公開日2011年9月21日 申請日期2011年3月11日 優(yōu)先權(quán)日2010年3月19日
發(fā)明者松田晃一 申請人:索尼公司