專利名稱：圖像處理系統(tǒng)、圖像處理裝置、圖像處理方法及程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像處理系統(tǒng)、圖像處理裝置、圖像處理方法及程序。
背景技術(shù)：
當(dāng)人們之間進(jìn)行通信時，非常普遍的是，人們通過用他/她的手指指出出現(xiàn)在他/ 她的視場中的地點(例如，當(dāng)前正談?wù)摰娜嘶蛭锼诘牡攸c)而與其他人共享該地點的識別。然而，除了此人能夠用他/她的手指直接觸摸所提及的地點的情況之外，在許多情況下，聽者不能正確地識別出指示者(即，做出指示的人)指向的地點。在這種情形下，如果指示者能夠口頭描述地點，則根據(jù)指向和口頭描述的組合，聽者更容易識別指示者預(yù)期的地點。然而，當(dāng)難以口頭描述地點時，無法使用這種方法組合。作為另一示例，在會議期間， 對于發(fā)言者而言，通過使用激光指示器進(jìn)行指向來向其他出席者指示地點是常見的。然而， 在真實世界中的典型情形下，用戶不總是隨身攜帶激光指示器，即使他們攜帶了，激光指示器若錯誤使用的話也會是危險的。然而，存在如下技術(shù)其檢測出現(xiàn)在拾取圖像中的用戶的手指，并且基于檢測到的用戶的手指的形狀、位置或手勢來操作電子設(shè)備。例如，日本公開專利公布第2005-63091 號公開了一種技術(shù)，該技術(shù)能夠通過沿著基于出現(xiàn)在拾取圖像中的用戶的臂部的中心軸設(shè)置的掃描線掃描用戶的臂部寬度而以高精度檢測用戶的手指形狀等。

發(fā)明內(nèi)容
然而，不可將檢測出現(xiàn)在拾取圖像中的用戶的手指的傳統(tǒng)方法直接應(yīng)用于人們之間的通信。其主要原因是，用戶之間視線方向不同。即使指示者用他/她的手指指向特定位置，指示者的視線和正看該手指時的聽者的視線可能會是在單個點交叉的兩條直線，因此是不同方向。這意味著，例如，即使在由朝向聽者的視線方向的圖像拾取裝置獲取的圖像中以高精度檢測到指示者的手指，與手指一致的地點也將不是指示者試圖指向的地點。由于此原因，本發(fā)明的目的是提供一種新的且改進(jìn)的圖像處理系統(tǒng)、圖像處理裝置、圖像處理方法及程序，它們使得視線方向不同的用戶在多人之間的通信期間能夠正確和容易地識別指向的地點。根據(jù)本發(fā)明的實施例，提供了一種圖像處理系統(tǒng)，其包括各自包括輸入圖像獲取單元的第一和第二圖像處理裝置，輸入圖像獲取單元獲取通過真實空間的圖像拾取產(chǎn)生的輸入圖像。第一圖像處理裝置還包括圖像識別單元，其識別在第一圖像處理裝置中獲取的第一輸入圖像中出現(xiàn)的指示物，該指示物被用于指向真實空間中的地點；第一特征量生成單元，其生成包括設(shè)置在第一輸入圖像中的多個特征點的坐標(biāo)的第一特征量；以及第一通信單元，其傳輸針對第一輸入圖像生成的第一特征量、以及表明由圖像識別單元識別出的指示物的位置的位置數(shù)據(jù)，以及第二圖像處理裝置還包括第二征量生成單元，其生成包括設(shè)置在第二圖像處理裝置中獲取的第二輸入圖像中的多個特征點的坐標(biāo)的第二特征量；第二通信單元，其接收第一特征量和位置數(shù)據(jù)；指定單元，其將第一特征量和第二特征量進(jìn)行比較，并且基于比較的結(jié)果和位置數(shù)據(jù)來指定由指示物指向的真實空間中的地點在第二輸入圖像中的位置；以及輸出圖像生成單元，其生成顯示指示符的輸出圖像，指示符指示由指定單元指定的位置。第一圖像處理裝置還可以包括存儲單元，其存儲用于識別用戶的手指作為指示物的手指圖像，并且圖像識別單元通過檢測出現(xiàn)在第一輸入圖像中的手指圖像來識別指示物。第一特征量可以包括當(dāng)在多個視線方向的每個上旋轉(zhuǎn)第一輸入圖像時在第一輸入圖像中分別設(shè)置的多個集合的特征點坐標(biāo)，并且指定單元可以通過將第二特征量與包括在第一特征量中的各特征點坐標(biāo)集合中的每個集合進(jìn)行比較來選擇多個視線方向中的一個。指定單元可以針對在多個視線方向的每個上旋轉(zhuǎn)第一輸入圖像的情況，根據(jù)第一特征量來生成在第一輸入圖像中分別設(shè)置的多個集合的特征點坐標(biāo)，并且通過將第二特征量與生成的多個特征點坐標(biāo)集合中的每個集合進(jìn)行比較來選擇多個視線方向中的一個。指定單元可以基于所選擇的視線方向和位置數(shù)據(jù)來指定由指示物指向的真實空間中的地點在第二輸入圖像中的位置。輸出圖像生成單元可以生成輸出圖像，該輸出圖像顯示由指定單元指定的位置周圍的圖形作為指示符。根據(jù)本發(fā)明的另一實施例，提供了一種圖像處理裝置，其包括通信單元，其接收包括設(shè)置在由另一個圖像處理裝置獲取的圖像中的多個特征點的坐標(biāo)的第一特征量、以及表明用于指向真實空間中的地點的指示物在圖像中的位置的位置數(shù)據(jù)；輸入圖像獲取單元，其獲取通過真實空間的圖像拾取產(chǎn)生的輸入圖像；特征量生成單元，其生成包括設(shè)置在由輸入圖像獲取單元獲取的輸入圖像中的多個特征點的坐標(biāo)的第二特征量；指定單元，其將第一特征量與第二特征量進(jìn)行比較，并且基于比較的結(jié)果和位置數(shù)據(jù)來指定由所述指示物指向的真實空間中的地點在輸入圖像中的位置；以及輸出圖像生成單元，其生成顯示指示符的輸出圖像，指示符指示由指定單元指定的位置。第一特征量可以包括當(dāng)在多個視線方向的每個上旋轉(zhuǎn)圖像時在圖像中分別設(shè)置的多個集合的特征點坐標(biāo)，并且指定單元可以通過將第二特征量與包括在第一特征量中的各特征點坐標(biāo)集合中的每個集合進(jìn)行比較來選擇多個視線方向中的一個。指定單元可以針對在多個視線方向的每個上旋轉(zhuǎn)圖像的情況，根據(jù)第一特征量生成在圖像中分別設(shè)置的多個集合的特征點坐標(biāo)，并且通過將第二特征量與生成的多個特征點坐標(biāo)集合中的每個集合進(jìn)行比較來選擇多個視線方向中的一個。指定單元可以基于選擇的視線方向和位置數(shù)據(jù)來指定由指示物指向的真實空間中的地點在輸入圖像中的位置。輸出圖像生成單元可以生成輸出圖像，該輸出圖像顯示由指定單元指定的位置周圍的圖形作為指示符。根據(jù)本發(fā)明的另一實施例，提供了一種圖像處理方法，該方法由各自獲取通過真實空間的圖像獲取而產(chǎn)生的輸入圖像的第一和第二圖像處理裝置來執(zhí)行，該圖像處理方法包括第一圖像處理裝置的步驟獲取第一輸入圖像；識別出現(xiàn)在獲取的第一輸入圖像中的指示物，該指示物用于指向真實空間中的地點；生成包括設(shè)置在第一輸入圖像中的多個特征點的坐標(biāo)的第一特征量；以及傳輸針對第一輸入圖像生成的第一特征量和表明所識別的指示物的位置的位置數(shù)據(jù)，并且該圖像處理方法還包括第二圖像處理裝置的步驟接收第一特征量和位置數(shù)據(jù)；獲取第二輸入圖像；生成包括設(shè)置在獲取的第二輸入圖像中的多個特征點的坐標(biāo)的第二特征量；將第一特征量與第二特征量進(jìn)行比較；基于比較的結(jié)果和位置數(shù)據(jù)來指定由指示物指向的真實空間中的地點在第二輸入圖像中的位置；以及生成顯示指示符的輸出圖像，該指示符指示該指定的位置。根據(jù)本發(fā)明的另一實施例，提供了一種由圖像處理裝置進(jìn)行的圖像處理方法，其包括步驟接收第一特征量，該第一特征量包括設(shè)置在由另一個圖像處理裝置獲取的圖像中的多個特征點的坐標(biāo)、以及表明用于指向真實空間中的地點的指示物在圖像中的位置的位置數(shù)據(jù)；獲取通過真實空間的圖像拾取產(chǎn)生的輸入圖像；生成包括設(shè)置在獲取的輸入圖像中的多個特征點的坐標(biāo)的第二特征量；將第一特征量與第二特征量進(jìn)行比較；基于比較的結(jié)果和位置數(shù)據(jù)來指定由指示物指向的真實空間中的地點在輸入圖像中的位置；以及生成顯示指示符的輸出圖像，該指示符指示該指定的位置。根據(jù)本發(fā)明的另一實施例，提供了一種使控制圖像處理裝置的計算機具有以下功能的程序通信單元，其接收包括設(shè)置在由另一個圖像處理裝置獲取的圖像中的多個特征點的坐標(biāo)的第一特征量、以及表明用于指向真實空間中的地點的指示物在圖像中的位置的位置數(shù)據(jù)；輸入圖像獲取單元，其獲取通過真實空間的圖像拾取產(chǎn)生的輸入圖像；特征量生成單元，其生成包括設(shè)置在由輸入圖像獲取單元獲取的輸入圖像中的多個特征點的坐標(biāo)的第二特征量；指定單元，其將第一特征量與第二特征量進(jìn)行比較，并且基于比較的結(jié)果和位置數(shù)據(jù)來指定由指示物指向的真實空間中的地點在輸入圖像中的位置；以及輸出圖像生成單元，其生成顯示指示符的輸出圖像，該指示符指示由指定單元指定的位置?；谝陨厦枋龅母鶕?jù)本發(fā)明的實施例的圖像處理系統(tǒng)、圖像處理裝置、圖像處理方法及程序，可使得視線方向不同的用戶能夠在多人之間的通信期間正確和容易地識別出所指向的地點。


圖1是示出了根據(jù)本發(fā)明的實施例的圖像處理系統(tǒng)的概況的示意圖；圖2是示出了根據(jù)本發(fā)明的實施例的圖像處理裝置的配置的一個示例的框圖；圖3是用于說明根據(jù)本發(fā)明的實施例的輸入圖像的一個示例的圖；圖4A是示出了根據(jù)本發(fā)明的實施例的指示物的一個示例的示意圖；圖4B是示出了根據(jù)本發(fā)明的實施例的指示物的另一示例的示意圖；圖5是用于說明根據(jù)本發(fā)明的實施例的第一輸入圖像中設(shè)置的特征點的圖；圖6是用于說明根據(jù)本發(fā)明的實施例的輸入圖像的第二示例的圖；圖7是用于說明根據(jù)本發(fā)明的實施例的第二輸入圖像中設(shè)置的特征點的圖；圖8是用于說明根據(jù)本發(fā)明的實施例的特征量的比較處理的圖；圖9是用于通過本發(fā)明的實施例生成的輸出圖像的一個示例的圖；圖10是示出了根據(jù)本發(fā)明的實施例在指示者一側(cè)的圖像處理流程的一個示例的流程圖；以及圖11是示出了根據(jù)本發(fā)明的實施例在接收者一側(cè)的圖像處理流程的一個示例的流程圖。
具體實施例方式下文中，將參照附圖來詳細(xì)描述本發(fā)明的優(yōu)選實施例。注意，在本說明書和附圖中，用相同的附圖標(biāo)記表示具有基本相同的功能和結(jié)構(gòu)的結(jié)構(gòu)元件，并且省略對這些結(jié)構(gòu)元件的重復(fù)說明。按照下面指出的順序給出以下描述。1.根據(jù)本發(fā)明的實施例的圖像處理系統(tǒng)的概況2.根據(jù)本發(fā)明的實施例的圖像處理裝置的示例配置2-1.整體配置2-2.指示者一側(cè)2-3.接收者一側(cè)3.根據(jù)本發(fā)明的實施例的圖像處理的流程3-1.指示者一側(cè)3-2.接收者一側(cè)4.結(jié)論1.根據(jù)本發(fā)明的實施例的圖像處理系統(tǒng)的概況首先，將參照圖1描述根據(jù)本發(fā)明的實施例的圖像處理系統(tǒng)的概況。圖1是示出根據(jù)本發(fā)明的實施例的圖像處理系統(tǒng)1的概況的示意圖。如圖1所示，圖像處理系統(tǒng)1包括用戶Ua使用的圖像處理裝置IOOa和用戶Ub使用的圖像處理裝置100b。作為一個示例，圖像處理裝置IOOa連接到安裝在用戶Ua的頭部上的圖像拾取裝置102a和頭戴式顯示器(HMD) 104a。圖像拾取裝置102a朝向用戶Ua的視線方向，拾取真實空間3的圖像，并將系列輸入圖像輸出到圖像處理裝置100a。HMD 104a向用戶Ua顯示從圖像處理裝置IOOa輸入的圖像。HMD 104a所顯示的圖像是由圖像處理裝置IOOa生成的輸出圖像。HMD 104a可以是透視顯示器，或者可以是非透視顯示器。作為一個示例，圖像處理裝置IOOb連接到安裝在用戶Ub的頭部上的圖像拾取裝置102b和HMD 104b。圖像拾取裝置102b朝向用戶Ub的視線方向，拾取真實空間3的圖像，并將系列輸入圖像輸出到圖像處理裝置100b。HMD 104b向用戶Ub顯示從圖像處理裝置IOOb輸入的圖像。HMD 104b所顯示的圖像是由圖像處理裝置IOOb生成的輸出圖像。 HMD104b可以是透視顯示器，或者可以是非透視顯示器。圖像處理裝置IOOa和IOOb能夠經(jīng)由可以是有線的或無線的通信連接而彼此通信。作為示例，圖像處理裝置IOOa與圖像處理裝置IOOb之間的通信可以通過P2P(對等， Peer to Peer)方法而直接進(jìn)行，或者可以經(jīng)由諸如路由器或服務(wù)器(未示出)的其它裝置而間接進(jìn)行。在圖1的示例中，用戶Ua和用戶Ub都面向真實空間3的方向。用戶Ua還將他/ 她的手指指向例如存在作為交談主題的人、物體等的地點。此時，在從圖像拾取裝置102a 輸入到圖像處理裝置IOOa的輸入圖像中，用戶Ua的手指可能會恰好指向該地點。然而，在從圖像拾取裝置102b輸入到圖像處理裝置IOOb的輸入圖像中，可能用戶Ua的手指會相對該地點移位。由于此原因，在根據(jù)本實施例的圖像處理系統(tǒng)1中，通過使用稍后將詳細(xì)描述的布置，用戶Ub可正確和容易地識別用戶Ua正指向的地點。注意，圖像處理裝置IOOa和IOOb不限于圖1中示出的示例。作為一個示例，可以使用配備有攝像機的移動終端來實現(xiàn)圖像處理裝置IOOa或100b。在這種情況下，在配備有攝像機的移動終端的攝像機拾取真實空間的圖像并且該終端進(jìn)行了圖像處理之后，在終端的屏幕上顯示輸出圖像。圖像處理裝置IOOa或IOOb可以是諸如PC(個人計算機)或游戲控制板的其它類型的裝置。下文中，在本說明書中，除了當(dāng)需要在圖像處理裝置IOOa與IOOb之間進(jìn)行區(qū)別時之外，省略附于附圖標(biāo)記的字母，并且這種圖像處理裝置IOOa和IOOb被統(tǒng)稱為“信息處理裝置100”。以相同的方式處理其它部件元件，其中圖像拾取裝置102a和102b被稱作“圖像拾取裝置102”，并且HMD 104a和104b被稱作“HMD 104”。能夠參與圖像處理系統(tǒng)1的圖像處理裝置100的數(shù)目也不限于圖1中示出的示例，并且可以是三個或更多個。也就是， 作為一個示例，在圖像處理系統(tǒng)1中還可以包括由第三用戶使用的第三圖像處理裝置100。2.根據(jù)本發(fā)明的實施例的圖像處理裝置的示例配置2-1.整體配置接下來，將參照圖2至圖9描述根據(jù)本實施例的圖像處理裝置100的配置。圖2 是示出根據(jù)本實施例的圖像處理裝置100的配置的一個示例的框圖。如圖2所示，每個圖像處理裝置100包括輸入圖像獲取單元110、存儲單元120、圖像識別單元130、特征量生成單元140、通信單元150、指定單元160、輸出圖像生成單元170、以及顯示單元180。注意，當(dāng)圖像處理裝置100在指向地點的指示用戶一側(cè)(例如，圖1中的用戶Ua， 下文中稱作“指示者一側(cè)”)操作時，在圖2中示出的圖像處理裝置100的部件元件之中， 主要是輸入圖像獲取單元110、存儲單元120、圖像識別單元130、特征量生成單元140、以及通信單元150參與圖像處理。同時，在正被指出地點的收聽用戶一側(cè)(例如，圖1中的用戶 Ub，下文中的“接收者一側(cè)”)，在圖2中示出的圖像處理裝置100的部件元件之中，主要是輸入圖像獲取單元110、特征量生成單元140、通信單元150、指定單元160、輸出圖像生成單元170、以及顯示單元180參與圖像處理。這里描述了每個圖像處理裝置100配備有針對指示者一側(cè)的配置和針對接收者一側(cè)的配置兩者的示例。然而，本發(fā)明并不局限于該示例并且可以提供僅配備有針對指示者一側(cè)的配置和針對接收者一側(cè)的配置之一的圖像處理裝置。2-2.指示者一側(cè)輸入圖像獲取單元輸入圖像獲取單元110獲取使用圖像拾取裝置102拾取的系列輸入圖像。圖3示出了輸入圖像IM01，以作為由輸入圖像獲取單元110獲取的圖像的一個示例。真實空間3中存在的各個對象出現(xiàn)在輸入圖像IMOl中。在圖3的示例中，真實空間3是車站建筑物內(nèi)的空間，使得諸如售貨亭(kiosk)Tl、離站公告板T2、標(biāo)牌T3、以及人T4出現(xiàn)在輸入圖像IMOl 中。指示物Ma也出現(xiàn)在輸入圖像IMOl中。這里，指示物Ma是用戶Ua的手指。輸入圖像獲取單元110相繼地將獲取的輸入圖像輸出到圖像識別單元130和特征量生成單元140。存儲單元存儲單元120使用諸如硬盤驅(qū)動器、半導(dǎo)體存儲器等的存儲介質(zhì)，并且預(yù)先存儲在識別出現(xiàn)在輸入圖像中的指示物的圖像識別中使用的一個或更多個指示物圖像。在本說明書中，表述“指示物”是指用戶使用的、用于在真實空間中指向任意地點的物體或人體的部分。圖4A和圖4B是示出根據(jù)本實施例的指示物的示例的示意圖。在圖4A的示例中， 指示物Ml是用戶(手上)的指部。作為一個示例，存儲單元120預(yù)先存儲出現(xiàn)用戶的手指的圖像作為指示物圖像。存儲單元120還可以存儲從多個不同方向示出用戶的手指的一組圖像作為指示物圖像。在圖4B的示例中，指示物M2是安裝在用戶的手指上的立方標(biāo)記。在標(biāo)記的每個表面的中心處設(shè)置有空腔，使得用戶能夠?qū)⑺?她的手指插入空腔中并移動標(biāo)記。在這種情況下，存儲單元120預(yù)先存儲出現(xiàn)標(biāo)記的圖像作為指示物圖像。作為替選，標(biāo)記和插入該標(biāo)記的手指的組合可以被看作指示物，并且可以存儲出現(xiàn)標(biāo)記和手指的圖像作為指示物圖像。注意，指示物并不限于圖4A和圖4B中示出的示例，并且作為示例，可以是存在于真實世界中的人體的部分或任意物體，諸如用戶的腳或用戶握持的棒狀物體。存儲單元120 根據(jù)來自圖像識別單元130的請求將指示物圖像輸出到圖像識別單元130。圖像識別單元圖像識別單元130識別由輸入圖像獲取單元110獲取的輸入圖像中出現(xiàn)的指示物。作為一個示例，可以通過利用已知的模式匹配方法將輸入圖像與存儲在存儲單元120 中的一個或更多個指示物圖像進(jìn)行比較，來識別出現(xiàn)在輸入圖像中的指示物。作為替選，使用例如日本公開專利公布第2005-63091號中公開的方法來替代使用指示物圖像的方法， 圖像識別單元130可以識別用戶的手指作為出現(xiàn)在輸入圖像中的指示物。在識別指示物出現(xiàn)在輸入圖像中時，圖像識別單元130還確定指示物正指向的地點在輸入圖像中的位置。作為一個示例，圖像識別單元130可以確定圖4A所示的指示物Ml 的食指的尖部處的位置是由指示物Ml正指向的地點在輸入圖像中的位置。作為另一示例， 圖像識別單元130可以確定圖4B所示的指示物M2的標(biāo)記的空腔的中心的位置是由指示物 M2正指向的地點在輸入圖像中的位置。根據(jù)來自用戶的請求，圖像識別單元130將表明通過上述方法識別出的指示物的位置(即，由指示物正指示的位置的輸入圖像中的坐標(biāo))的位置數(shù)據(jù)輸出到通信單元150。 作為一個示例，可以通過使用指示物做出的手勢將來自用戶的請求輸入圖像處理裝置100。 例如，圖像識別單元130可以監(jiān)視輸入圖像中的指示物的尺寸的改變。如果當(dāng)連續(xù)檢測到尺寸等于或大于特定閾值的指示物時，例如該指示物的尺寸暫時變小，則圖像識別單元130 可以識別出用戶會輕擊某一地點。這樣的輕擊手勢是表示傳送關(guān)于用戶正指向的地點的信息的請求的用戶輸入的一個示例。作為其它示例，圖像識別單元130可以將指示物的前端追蹤圓形路徑的手勢、用用戶的手指做出的指定形狀等認(rèn)為是表示傳送信息的請求的用戶輸入。替換圖像識別單元130進(jìn)行的圖像識別，可以經(jīng)由諸如設(shè)置在圖像處理裝置100上的按鈕或開關(guān)的用戶界面來輸入信息傳送的請求。當(dāng)檢測到來自用戶的請求時，圖像識別單元130將表明指示物位置的位置數(shù)據(jù)輸出到通信單元150，并且還請求特征量生成單元140生成輸入圖像的特征量。特征量生成單元根據(jù)來自圖像識別單元130的請求，特征量生成單元140在由輸入圖像獲取單元110獲取的輸入圖像中設(shè)置多個特征點，并且生成包括設(shè)置的特征點的坐標(biāo)的特征量。 作為示例，特征量生成單元140可以根據(jù)使用已知的哈里斯(Harris)算子或莫拉韋克 (Moravec)算子的方法、或諸如FAST特征檢測的任意方法，在輸入圖像中設(shè)置特征點。除了各特征點的坐標(biāo)之外，由特征量生成單元140生成的特征量可以包括諸如每個特征點的亮度、對比度和方向的補充參數(shù)。作為一個示例，通過使用David G.Lowe的“Distinctive Image Features from Scale-Invariant Keypoints，，(the International Journal of Computer Vision, 2004)中描述的特有的不變特征作為特征量，實現(xiàn)對圖像中的噪聲、尺寸的改變、旋轉(zhuǎn)、亮度的改變等具有高魯棒性的圖像處理。圖5是用于說明由根據(jù)本實施例的特征量生成單元140在輸入圖像中設(shè)置的特征點的圖。如圖5所示，在圖3所示的輸入圖像IMOl中設(shè)置使用“X”標(biāo)記示出的大量特征點。 作為一個示例，特征點可以設(shè)置在真實空間3中的各個物體的邊緣和角部。特征量生成單元140將存儲上述的這樣的特征點的輸入圖像中的坐標(biāo)和補充參數(shù)作為一個數(shù)據(jù)集的特征量輸出到通信單元150。通信單元通信單元150作為用于使得圖像處理裝置100能夠與其它裝置通信的通信接口而操作。作為一個示例，當(dāng)由圖像識別單元130檢測到表示信息傳送的請求的用戶輸入時，通信單元150將從圖像識別單元130輸入的指示物的位置數(shù)據(jù)和從特征量生成單元140輸入的輸入圖像的特征量傳輸?shù)搅硪粓D像處理裝置100。2-3.接收者一側(cè)輸入圖像獲取單元當(dāng)圖像處理裝置100作為接收者一側(cè)操作時，以與指示者一側(cè)相同的方式，輸入圖像獲取單元110獲取使用圖像拾取裝置102拾取的系列輸入圖像。輸入圖像獲取單元 110然后相繼地將獲取的輸入圖像輸出到特征量生成單元140。圖6示出了輸入圖像IM02作為由輸入圖像獲取單元110獲取的輸入圖像的另一示例。以與圖3所示的輸入圖像IMOl相同的方式，諸如存在于真實空間3中的售貨亭Tl、 離站公告板T2、標(biāo)牌T3、以及人T4的多個對象出現(xiàn)在輸入圖像IM02中。作為用戶Ua的手指的指示物Ma也出現(xiàn)在輸入圖像IM02中。然而，由于視線方向不同，在輸入圖像IM02中， 指示物Ma沒有如輸入圖像IMOl中那樣存在于標(biāo)牌T3上，反而是位于人T4上。因此，僅看輸入圖像IM02的用戶將不能正確地識別指示物Ma實際上正指向的地點。通信單元接收者一側(cè)的通信單元150接收從指示者一側(cè)的裝置傳輸?shù)纳鲜鎏卣髁亢臀恢脭?shù)據(jù)。在本說明書的以下描述中，由指示者一側(cè)的通信單元150傳輸?shù)牟⒂山邮照咭粋?cè)的通信單元150接收的特征量被稱作“第一特征量”。當(dāng)接收到第一特征量和位置數(shù)據(jù)時，通信單元150將第一特征量和位置數(shù)據(jù)輸出到指定單元160，并請求特征量生成單元140生成要與第一特征量比較的輸入圖像的第二特征量。特征量生成單元響應(yīng)于來自通信單元150的請求，接收者一側(cè)的特征量生成單元140將針對由輸入圖像獲取單元110獲取的輸入圖像生成的特征量輸出到指定單元160，以作為要與第一特征量比較的第二特征量。以與第一特征量相同的方式，第二特征量包括設(shè)置在輸入圖像中的多個特征點的坐標(biāo)。另外，第二特征量可以包括諸如每個特征點的亮度、對比度和方向的補充參數(shù)。指定單元指定單元160將從通信單元150輸入的第一特征量和從特征量生成單元140輸入的第二特征量進(jìn)行比較。指定單元160然后基于比較結(jié)果和從通信單元150輸入的位置數(shù)據(jù)來指定作為由指示物指向的真實空間中的地點在輸入圖像中的位置。圖7是用于說明設(shè)置在圖6所示的輸入圖像IM02中的特征點的圖。如圖7所示， 在輸入圖像IM02中設(shè)置使用“X”標(biāo)記示出的大量特征點。輸入圖像IM02中的各個特征點的坐標(biāo)與輸入圖像IMOl中的相應(yīng)特征點的坐標(biāo)不同。這樣的坐標(biāo)不同是由于視線方向不同。由于此原因，出于比較的目的，指定單元160使用各集合的特征點坐標(biāo)，其中針對多個視線方向的每個方向旋轉(zhuǎn)了第一特征量中包括的坐標(biāo)。指定單元160將各個特征點坐標(biāo)集合與第二特征量進(jìn)行比較，并且選擇對應(yīng)于與特征量最佳匹配的特征點坐標(biāo)集合的視線方向。指定單元160然后基于選擇的視線方向和與該視線方向?qū)?yīng)的指示物的位置來指定由指示物指向的真實空間中的地點在接收者一側(cè)的輸入圖像中的位置。圖8是用于說明由根據(jù)本實施例的指定單元160進(jìn)行的特征量的比較處理的圖。 在圖8的中心處，示出了包括在第一特征量中的特征點坐標(biāo)集合FSO和指示物的位置P0。通過對特征點坐標(biāo)集合FSO的各坐標(biāo)和指示物的位置PO進(jìn)行仿射變換或三維旋轉(zhuǎn)，指定單元 160生成分別與多個視線方向?qū)?yīng)的多個特征點坐標(biāo)集合和多個位置數(shù)據(jù)。在圖8的示例中，示出了分別與視線方向α 1至α8對應(yīng)的八個特征點坐標(biāo)集合FSl至FS8和指示物的位置Pl至Ρ8。作為一個示例，指定單元160然后將第二特征量與基本特征點坐標(biāo)集合FSO和特征點坐標(biāo)集合FSl至FS8之中的各個集合進(jìn)行比較。如果作為一個示例，特征點坐標(biāo)集合 FS4以最小誤差與第二特征量匹配，則指定單元160指定指示物正指向與接收者一側(cè)的輸入圖像中的位置Ρ4對應(yīng)的地點。這里，作為一個示例，由指定單元160進(jìn)行的特征點的比較可以根據(jù)先前提到的 “Distinctive Image Features from Scale-Invariant Keypoints，， 中描述的SIFT (尺度不變特征變換)方法來進(jìn)行。作為一個示例，由指定單元160進(jìn)行的特征點的比較還可以牛艮據(jù)由Mustafa Oezuysal等人在“Fast Keypoint Recognition using Random Ferns，， (IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 32，Nr. 3，pp. 448-461，March 2010)中描述的隨機蕨(Random Fern)方法來進(jìn)行。注意，可以由指示者一側(cè)的圖像處理裝置100的特征量生成單元140進(jìn)行如下處理根據(jù)指示者一側(cè)的輸入圖像的特征量，生成每個視線方向的特征點坐標(biāo)集合。在這種情況下，在接收者一側(cè)的通信單元150接收到的第一特征量包括各個視線方向的多個特征點坐標(biāo)集合和對應(yīng)的指示物的位置數(shù)據(jù)。指定單元160以這種方式指定指示物正指向的地點在接收者一側(cè)的輸入圖像中的位置，并且將指定位置的坐標(biāo)輸出到輸出圖像生成單元170。輸出圖像生成單元輸出圖像生成單元170生成顯示指示符(indicator)的輸出圖像，指示符指示由指定單元160指定的位置。例如，在本實施例中，輸出圖像生成單元170生成輸出圖像，該輸出圖像顯示由指定單元160指定的位置周圍的圖形作為上面提到的指示符，并且將生成的輸出圖像輸出到顯示單元180。替選地，上述指示符可以是表示由指定單元160指定的位置的箭頭等。在由指定單元160指定的位置周圍的特定尺寸的區(qū)域與其它區(qū)域之間還可產(chǎn)生顏色或亮度的差，并且使用這樣的差作為上述指示符。顯示單元顯示單元180使用HMD 104向用戶顯示由輸出圖像生成單元170生成的輸出圖像。輸出圖像的示例圖9是用于說明由輸出圖像生成單元170生成的輸出圖像的一個示例的圖。圖9 示出了輸出圖像IMl 1作為一個示例。在輸出圖像IMl 1中，雖然指示物Ma位于人T4上，但是在標(biāo)牌T3上顯示了指示符IND。顯示指示符IND的位置是由指定單元160通過進(jìn)行參照圖8描述的處理而指定的位置。通過以這種方式參照該輸出圖像IM11，接收者一側(cè)的用戶 (例如，圖1中的用戶Ub)能夠容易地識別指示者一側(cè)的用戶(例如，圖1中的用戶Ua)使用指示物Ma正指示標(biāo)牌T3。注意，當(dāng)HMD 104是透視顯示器時，例如，輸出圖像生成單元170生成僅有指示符 IND的圖像作為輸出圖像。同時，當(dāng)HMD 104是非透視顯示器時，輸出圖像生成單元170生成指示符IND疊加在輸入圖像上的輸出圖像。3.根據(jù)本發(fā)明的實施例的圖像處理的流程接下來，將參照圖10和圖11描述由根據(jù)本實施例的圖像處理裝置100進(jìn)行的圖像處理的流程。圖10是示出由圖像處理裝置100進(jìn)行的指示者一側(cè)的圖像處理的流程的一個示例的流程圖。圖11是示出由圖像處理裝置100進(jìn)行的接收者一側(cè)的圖像處理的流程的一個示例的流程圖。3-1.指示者一側(cè)圖10示出了由指示者一側(cè)的圖像處理裝置100針對系列輸入圖像中的每個幀進(jìn)行的圖像處理的流程的一個示例。首先，輸入圖像獲取單元110從圖像獲取裝置102獲取輸入圖像(步驟S102)。接下來，例如，通過將輸入圖像與存儲在存儲單元120中的指示物圖像進(jìn)行比較，圖像識別單元130識別出輸入圖像中的指示物(步驟S104)。接下來，例如，圖像識別單元130使用指示物通過手勢表示的用戶輸入。這里，如果檢測到請求信息傳送的用戶輸入，則處理進(jìn)行到步驟S108。同時，如果未檢測到用戶輸入，則跳過隨后的處理(步驟 S106)。當(dāng)在步驟S106中圖像識別單元130檢測到請求信息傳送的用戶輸入時，特征量生成單元140在輸入圖像中設(shè)置多個特征點并生成第一特征量(步驟S108)。通信單元150 然后傳輸表示由圖像識別單元130識別出的指示物的位置的位置數(shù)據(jù)、以及由特征量生成單元140生成的第一特征量(步驟S110)。3-2.接收者一側(cè)響應(yīng)于先前描述的來自指示者一側(cè)的圖像處理裝置100的第一特征量和位置數(shù)據(jù)的接收，典型地由接收者一側(cè)的圖像處理裝置進(jìn)行圖11所示的圖像處理。首先，通信單元150接收從指示者一側(cè)的圖像處理裝置100傳輸?shù)牡谝惶卣髁亢臀恢脭?shù)據(jù)(步驟S202)。接下來，特征量生成單元140在由輸入圖像獲取單元110獲取的輸入圖像中設(shè)置多個特征點，并且生成第二特征量(步驟S204)。此后，指定單元160根據(jù)第一特征量生成通過針對多個視線方向的每個分別轉(zhuǎn)換特征點坐標(biāo)而產(chǎn)生的多個特征點坐標(biāo)集合(步驟S206)。接下來，指定單元160將在根據(jù)第一特征量生成的多個特征點坐標(biāo)集合中的每個集合與第二特征量進(jìn)行比較(步驟S208)。這里，由于當(dāng)沒有特征點坐標(biāo)集合與第二特征量明顯匹配時(例如，當(dāng)誤差的總和在指定閾值以下時)不可以指定指示物正指示的地點，所以跳過隨后的處理。同時，當(dāng)特征點坐標(biāo)集合之一與第二特征量匹配時，處理進(jìn)行到步驟S212 (步驟S210)。接下來，根據(jù)對應(yīng)于與第二特征量最佳匹配的特征點坐標(biāo)集合的視線方向，指定單元160指定指示物正指向的地點在接收者一側(cè)的輸入圖像中的位置(步驟S212)。此后， 輸出圖像生成單元170生成顯示指示符的輸出圖像，該指示符指示由指定單元160指定的位置(步驟S214)。接下來，顯示單元180在HMD 104上顯示由輸出圖像生成單元170生成的輸出圖像(步驟S216)。注意，作為一個示例，在圖11示出的圖像處理之中，在接收到第一特征量和位置數(shù)據(jù)之后，在指定期間內(nèi)可以針對每個輸入圖像重復(fù)執(zhí)行步驟S204至S216。當(dāng)這樣做時， 對于輸入圖像的內(nèi)容沒有相對于先前幀發(fā)生改變的幀(也就是，當(dāng)在接收者一側(cè)的用戶的視線方向沒有改變時)，可以省略特征量的比較處理。在這種情況下，在輸出圖像上顯示表示對先前幀指定的位置的指示符。4.結(jié)論到現(xiàn)在，參照圖1至圖11描述了根據(jù)本發(fā)明的實施例的圖像處理系統(tǒng)1和圖像處理裝置100。根據(jù)本實施例，指示者一側(cè)的第一圖像處理裝置100識別出現(xiàn)在輸入圖像中的指示物，并且還生成包括第一輸入圖像的特征點坐標(biāo)的第一特征量并傳輸生成的第一特征量和表明指示物位置的位置數(shù)據(jù)。接下來，收聽者一側(cè)的第二圖像處理裝置100生成包括第二輸入圖像的特征點坐標(biāo)的第二特征量，并且將從第一圖像處理裝置100接收到的第一特征量與第二特征量進(jìn)行比較。根據(jù)比較結(jié)果，第二圖像處理裝置100在第二輸入圖像中指定指示物正指向的真實空間中的地點，并且在輸出圖像中顯示表示該地點的指示符。通過這樣做，第二圖像處理裝置100的用戶可正確和容易地識別第一圖像處理裝置100的用戶正指向的地點。在本實施例中，使通過針對多個視線方向的每個旋轉(zhuǎn)包括在這樣的特征量之一中的特征點坐標(biāo)集合而生成的多個特征點坐標(biāo)集合中的每個集合與這樣的特征量的另一個匹配，來進(jìn)行第一特征量和第二特征量的比較。于是根據(jù)特征點坐標(biāo)的最佳匹配集合來選擇多個視線方向中的一個。這里選擇的視線方向?qū)?yīng)于用戶的視線方向之間的相對移位。 這意味著，通過根據(jù)選擇的視線方向來指定指示物正指向的地點，可正確地識別具有不同視線方向的用戶正指向的地點。注意，本說明書描述了顯示指示物正指向的地點周圍的圖形作為指示符的示例。 然而，作為另一示例，還可以應(yīng)用基于模式匹配的對象識別技術(shù)以識別指示物正指向的對象的形狀，并且然后在輸出圖像中顯示符合對象的形狀的框等。此外，在輸出圖像中可以顯示諸如識別對象的名稱和屬性的補充信息。典型地使用軟件來實現(xiàn)本說明書中描述的由圖像處理裝置100進(jìn)行的系列處理。 作為示例，構(gòu)建實現(xiàn)系列處理的軟件的程序可以預(yù)先存儲在圖像處理裝置100內(nèi)或外部設(shè)置的存儲介質(zhì)中。該程序例如可以在執(zhí)行期間寫入圖像處理裝置100的RAM(隨機存取存儲器)中，并且由諸如CPU(中央處理單元)的處理器來執(zhí)行。
雖然參照附圖詳細(xì)描述了本發(fā)明的優(yōu)選實施例，但是本發(fā)明并不限于以上示例。 本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)理解，可以在所附權(quán)利要求或其等同物的范圍內(nèi)，根據(jù)設(shè)計要求和其它因素進(jìn)行各種修改、組合、子組合和變更。本發(fā)明包含與在2010年4月19日向日本專利局提交的日本優(yōu)先權(quán)專利申請JP 2010-095877中公開的主題內(nèi)容相關(guān)的主題內(nèi)容，在此通過引用將其全文合并于此。
權(quán)利要求
1.一種圖像處理系統(tǒng)，包括各自包括輸入圖像獲取單元的第一和第二圖像處理裝置，所述輸入圖像獲取單元獲取通過真實空間的圖像拾取產(chǎn)生的輸入圖像，其中，所述第一圖像處理裝置還包括圖像識別單元，其識別在所述第一圖像處理裝置中獲取的第一輸入圖像中出現(xiàn)的指示物，所述指示物被用于指向所述真實空間中的地點；第一特征量生成單元，其生成包括設(shè)置在所述第一輸入圖像中的多個特征點的坐標(biāo)的第一特征量；以及第一通信單元，其傳輸針對所述第一輸入圖像生成的第一特征量、以及表明由所述圖像識別單元識別出的所述指示物的位置的位置數(shù)據(jù)，以及所述第二圖像處理裝置還包括第二特征量生成單元，其生成包括設(shè)置在所述第二圖像處理裝置中獲取的第二輸入圖像中的多個特征點的坐標(biāo)的第二特征量；第二通信單元，其接收所述第一特征量和所述位置數(shù)據(jù)；指定單元，其將所述第一特征量和所述第二特征量進(jìn)行比較，并且基于所述比較的結(jié)果和所述位置數(shù)據(jù)來指定由所述指示物指向的所述真實空間中的所述地點在第二輸入圖像中的位置；以及輸出圖像生成單元，其生成顯示指示符的輸出圖像，所述指示符指示由所述指定單元指定的所述位置。
2.根據(jù)權(quán)利要求1所述的圖像處理系統(tǒng)，其中，所述第一圖像處理裝置還包括存儲單元，其存儲用于識別用戶的手指以作為所述指示物的手指圖像，并且所述圖像識別單元通過檢測出現(xiàn)在所述第一輸入圖像中的所述手指圖像來識別所述指示物。
3.根據(jù)權(quán)利要求2所述的圖像處理系統(tǒng)，其中，所述第一特征量包括當(dāng)在多個視線方向的每個上旋轉(zhuǎn)所述第一輸入圖像時在所述第一輸入圖像中分別設(shè)置的多個集合的特征點坐標(biāo)，并且所述指定單元通過將所述第二特征量與包括在所述第一特征量中的各特征點坐標(biāo)集合的每個集合進(jìn)行比較來選擇所述多個視線方向中的一個。
4.根據(jù)權(quán)利要求2所述的圖像處理系統(tǒng)，其中，所述指定單元針對在多個視線方向的每個上旋轉(zhuǎn)所述第一輸入圖像的情況，根據(jù)所述第一特征量生成在所述第一輸入圖像中分別設(shè)置的多個集合的特征點坐標(biāo)，并且通過將所述第二特征量與所述生成的多個特征點坐標(biāo)集合中的每個集合進(jìn)行比較來選擇所述多個視線方向中的一個。
5.根據(jù)權(quán)利要求3所述的圖像處理系統(tǒng)，其中，所述指定單元基于所述選擇的視線方向和所述位置數(shù)據(jù)來指定由所述指示物指向的所述真實空間中的所述地點在第二輸入圖像中的位置。
6.根據(jù)權(quán)利要求1所述的圖像處理系統(tǒng)，其中，所述輸出圖像生成單元生成所述輸出圖像，所述輸出圖像顯示由所述指定單元指定的位置周圍的圖形作為所述指示符。
7.一種圖像處理裝置，包括通信單元，其接收包括設(shè)置在由另一個圖像處理裝置獲取的圖像中的多個特征點的坐標(biāo)的第一特征量、以及表明用于指向真實空間中的地點的指示物在圖像中的位置的位置數(shù)據(jù)；輸入圖像獲取單元，其獲取通過所述真實空間的圖像拾取產(chǎn)生的輸入圖像；特征量生成單元，其生成包括設(shè)置在由所述輸入圖像獲取單元獲取的所述輸入圖像中的多個特征點的坐標(biāo)的第二特征量；指定單元，其將所述第一特征量與所述第二特征量進(jìn)行比較，并且基于所述比較的結(jié)果和所述位置數(shù)據(jù)來指定由所述指示物指向的所述真實空間中的所述地點在所述輸入圖像中的位置；以及輸出圖像生成單元，其生成顯示指示符的輸出圖像，所述指示符指示由所述指定單元指定的所述位置。
8.根據(jù)權(quán)利要求7所述的圖像處理裝置，其中，所述第一特征量包括當(dāng)在多個視線方向的每個上旋轉(zhuǎn)所述圖像時在所述圖像中分別設(shè)置的多個集合的特征點坐標(biāo)，并且所述指定單元通過將所述第二特征量與包括在所述第一特征量中的各特征點坐標(biāo)集合中的每個集合進(jìn)行比較來選擇所述多個視線方向中的一個。
9.根據(jù)權(quán)利要求7所述的圖像處理裝置，其中，所述指定單元針對在多個視線方向的每個上旋轉(zhuǎn)所述圖像的情況，根據(jù)所述第一特征量生成在所述圖像中分別設(shè)置的多個集合的特征點坐標(biāo)，并且通過將所述第二特征量與所述生成的多個特征點坐標(biāo)集合中的每個集進(jìn)行比較來選擇所述多個視線方向中的一個。
10.根據(jù)權(quán)利要求8所述的圖像處理裝置，其中，所述指定單元基于所述選擇的視線方向和所述位置數(shù)據(jù)來指定由所述指示物指向的所述真實空間中的所述地點在所述輸入圖像中的位置。
11.根據(jù)權(quán)利要求7所述的圖像處理裝置，其中，所述輸出圖像生成單元生成所述輸出圖像，所述輸出圖像顯示由所述指定單元指定的位置周圍的圖形作為所述指示符。
12.—種圖像處理方法，該方法由各自獲取通過真實空間的圖像拾取產(chǎn)生的輸入圖像的第一和第二圖像處理裝置來執(zhí)行，所述圖像處理方法包括步驟由所述第一圖像處理裝置獲取第一輸入圖像；由所述第一圖像處理裝置識別出現(xiàn)在所述獲取的第一輸入圖像中的指示物，所述指示物用于指向所述真實空間中的地點；由所述第一圖像處理裝置生成包括設(shè)置在所述第一輸入圖像中的多個特征點的坐標(biāo)的第一特征量；以及由所述第一圖像處理裝置傳輸針對所述第一輸入圖像生成的第一特征量、以及表明所述識別的指示物的位置的位置數(shù)據(jù)，以及由所述第二圖像處理裝置接收所述第一特征量和所述位置數(shù)據(jù)；由所述第二圖像處理裝置獲取第二輸入圖像；由所述第二圖像處理裝置生成包括設(shè)置在所述獲取的第二輸入圖像中的多個特征點的坐標(biāo)的第二特征量；由所述第二圖像處理裝置將所述第一特征量與所述第二特征量進(jìn)行比較； 由所述第二圖像處理裝置基于所述比較的結(jié)果和所述位置數(shù)據(jù)來指定由所述指示物指向的所述真實空間中的所述地點在所述第二輸入圖像中的位置；以及 由所述第二圖像處理裝置生成顯示指示符的輸出圖像，所述指示符指示所述指定位置。
13.一種由圖像處理裝置進(jìn)行的圖像處理方法，包括步驟接收第一特征量，所述第一特征量包括設(shè)置在由另一個圖像處理裝置獲取的圖像中的多個特征點的坐標(biāo)、以及表明用于指向真實空間中的地點的指示物在圖像中的位置的位置數(shù)據(jù)；獲取通過所述真實空間的圖像拾取產(chǎn)生的輸入圖像；生成包括設(shè)置在所述獲取的輸入圖像中的多個特征點的坐標(biāo)的第二特征量；將所述第一特征量與所述第二特征量進(jìn)行比較；基于所述比較的結(jié)果和所述位置數(shù)據(jù)，來指定由所述指示物指向的所述真實空間中的所述地點在輸入圖像中的位置；以及生成顯示指示符的輸出圖像，所述指示符指示所述指定位置。
14.一種使控制圖像處理裝置的計算機具有以下功能的程序通信單元，其接收包括設(shè)置在由另一個圖像處理裝置獲取的圖像中的多個特征點的坐標(biāo)的第一特征量、以及表明用于指向真實空間中的地點的指示物在圖像中的位置的位置數(shù)據(jù)；輸入圖像獲取單元，其獲取通過所述真實空間的圖像拾取產(chǎn)生的輸入圖像； 特征量生成單元，其生成包括設(shè)置在由所述輸入圖像獲取單元獲取的所述輸入圖像中的多個特征點的坐標(biāo)的第二特征量；指定單元，其將所述第一特征量與所述第二特征量進(jìn)行比較，并且基于所述比較的結(jié)果和所述位置數(shù)據(jù)來指定由所述指示物指向的所述真實空間中的所述地點在輸入圖像中的位置；以及輸出圖像生成單元，其生成顯示指示符的輸出圖像，所述指示符指示由所述指定單元指定的所述位置。
全文摘要
公開了一種圖像處理系統(tǒng)、圖像處理裝置、圖像處理方法及程序。圖像處理裝置包括通信單元，其接收包括由其它圖像處理裝置獲取的圖像中的特征點的坐標(biāo)的第一特征量、以及表明指向真實空間中的地點的指示物在圖像中的位置的位置數(shù)據(jù)；輸入圖像獲取單元，其獲取通過真實空間的圖像拾取產(chǎn)生的輸入圖像；特征量生成單元，其生成包括設(shè)置在獲取的輸入圖像中的特征點坐標(biāo)的第二特征量；指定單元，其將第一特征量與第二特征量進(jìn)行比較，并且基于比較的結(jié)果和位置數(shù)據(jù)來指定由指示物指向的真實空間中的地點在輸入圖像中的位置；以及輸出圖像生成單元，其生成顯示指示符的輸出圖像，該指示符指示該指定的位置。
文檔編號G06K9/00GK102221878SQ20111009315
公開日2011年10月19日 申請日期2011年4月12日 優(yōu)先權(quán)日2010年4月19日
發(fā)明者松田晃一 申請人:索尼公司