專利名稱：圖像處理裝置的制作方法
技術(shù)領(lǐng)域：
本公開涉及圖像處理設(shè)備、程序以及方法。
背景技術(shù)：
相關(guān)技術(shù)的描述在過(guò)去，在計(jì)算機(jī)屏幕上向用戶呈現(xiàn)現(xiàn)實(shí)世界中的地理信息的各種地理信息服務(wù) 已經(jīng)投入實(shí)際使用。例如，通過(guò)使用網(wǎng)絡(luò)上向公眾開放的公共地圖檢索服務(wù)，用戶可以容易地獲得包含與所需的地名對(duì)應(yīng)的位置、地址或陸標(biāo)名稱等的地區(qū)的地圖。在地圖檢索服務(wù)中顯示的任何地圖上，還可以將標(biāo)志設(shè)置在符合用戶指定的關(guān)鍵字的每個(gè)設(shè)施上。此外，近年來(lái)，引人注目地改善的計(jì)算機(jī)性能不僅允許用戶終端處理二維平面地圖，也允許處理三維空間上的信息。例如，公開號(hào)為2005-227590的日本專利申請(qǐng)?zhí)岢隽嗽趤?lái)自地圖指引設(shè)備的輸出圖像中并行地顯示當(dāng)前位置周圍的二維地圖和三維圖像。
發(fā)明內(nèi)容然而，在僅顯示指定位置的特定視點(diǎn)的俯視圖的三維圖像的方法中，所顯示的三維圖像的視點(diǎn)不同于現(xiàn)實(shí)空間中用戶的視點(diǎn)。因此，當(dāng)用戶試著在現(xiàn)實(shí)空間中尋找他或她想要去的期望的建筑物或設(shè)施等時(shí)，用戶在現(xiàn)實(shí)世界中在他或她周圍所看到的場(chǎng)景與三維圖像相比不匹配，因而用戶可能難于容易地定位期望的建筑物或設(shè)施等。因此，期望提供便于尋找現(xiàn)實(shí)空間中諸如期望的建筑物或設(shè)施等目標(biāo)的、新穎改善的圖像信息處理裝置、圖像處理方法以及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。因此，提供了用于顯示物理目標(biāo)的裝置。該裝置包括捕獲單元，用于捕獲物理目標(biāo)的輸入圖像。該裝置還包括匹配單元，用于將三維模型與物理目標(biāo)匹配。該裝置還包括處理單元，用于通過(guò)以下中的至少一個(gè)來(lái)產(chǎn)生修改的部分圖像修改匹配的三維模型的一部分，或使用匹配的三維模型修改從輸入圖像中提取的部分圖像。該裝置還包括顯示生成器，用于生成表示輸出圖像的信號(hào)，該輸出圖像包含疊加在輸入圖像之上的修改的部分圖像。在另一方面，提供了用于顯示物理目標(biāo)的方法。該方法包括捕獲物理目標(biāo)的輸入圖像，以及將三維模型與物理目標(biāo)匹配。該方法還包括通過(guò)以下中的至少一個(gè)來(lái)產(chǎn)生修改的部分圖像修改匹配的三維模型的一部分，或使用匹配的三維模型修改從輸入圖像中提取的部分圖像。該方法還包括顯示包含疊加在輸入圖像之上的修改的部分圖像的輸出圖像。在另一方面，提供了一種存儲(chǔ)當(dāng)其通過(guò)處理器執(zhí)行時(shí)導(dǎo)致計(jì)算機(jī)執(zhí)行用于顯示物理目標(biāo)的方法的指令的、以有形的方式實(shí)施的非易失性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。該方法包括捕獲物理目標(biāo)的輸入圖像，以及將三維模型與物理目標(biāo)匹配。該方法還包括通過(guò)以下中的至少一個(gè)來(lái)產(chǎn)生修改的部分圖像修改匹配的三維模型的一部分，或使用匹配的三維模型修改從輸入圖像中提取的部分圖像。該方法還包括顯示包含疊加在輸入圖像之上的修改的部分圖像的輸出圖像。根據(jù)上述實(shí)施例，提供了信息處理裝置、信息處理方法以及計(jì)算機(jī)存儲(chǔ)介質(zhì)，可便于尋找現(xiàn)實(shí)空間中諸如期望的建筑物或設(shè)施等目標(biāo)。

圖I是示出根據(jù)一實(shí)施例的圖像處理設(shè)備的硬件配置的一個(gè)示例的框圖；圖2是示出根據(jù)一實(shí)施例的圖像處理設(shè)備的邏輯配置的一個(gè)示例的框圖；圖3是示出輸入圖像的一個(gè)示例的示意圖； 圖4是用于說(shuō)明三維模型的一個(gè)示例的示意圖；圖5是示出根據(jù)一實(shí)施例的通過(guò)匹配單元進(jìn)行匹配處理的結(jié)果的示例的示意圖；圖6是用于說(shuō)明根據(jù)一實(shí)施例的通過(guò)加強(qiáng)處理單元進(jìn)行的提取部分圖像的處理的不意圖；圖7是用于說(shuō)明根據(jù)一實(shí)施例的通過(guò)加強(qiáng)處理單元進(jìn)行的加強(qiáng)處理的第一示例的不意圖；圖8是用于說(shuō)明根據(jù)一實(shí)施例的通過(guò)加強(qiáng)處理單元進(jìn)行的加強(qiáng)處理的第二示例的不意圖；圖9是用于說(shuō)明根據(jù)一實(shí)施例的通過(guò)加強(qiáng)處理單元進(jìn)行的加強(qiáng)處理的第三示例的不意圖；以及圖10是示出根據(jù)一實(shí)施例的圖像處理流程的一個(gè)示例的流程圖。
具體實(shí)施方式
下面將參考附圖來(lái)詳細(xì)描述本公開的實(shí)施例。注意，在說(shuō)明書和附圖中，用相同附圖標(biāo)記來(lái)表示具有基本上相同的功能和結(jié)構(gòu)的結(jié)構(gòu)元件，并且省略了對(duì)這些結(jié)構(gòu)元件的重復(fù)說(shuō)明。注意，下面根據(jù)如下順序進(jìn)行說(shuō)明I.圖像處理設(shè)備的配置示例1-1.硬件配置1-2.邏輯配置2.加強(qiáng)處理的示例2-1.第一示例2-2.第二示例2-3.第二不例3.圖像處理流程的示例4.結(jié)論〈I.圖像處理設(shè)備的配置示例>首先，將參照?qǐng)DI至圖6來(lái)描述根據(jù)一實(shí)施例的圖像處理設(shè)備的配置的一個(gè)示例。這里描述的圖像處理設(shè)備的示例包括個(gè)人計(jì)算機(jī)(PC)、智能手機(jī)、個(gè)人數(shù)字助理、數(shù)碼相機(jī)、車載或手持導(dǎo)航設(shè)備或手持式視頻游戲機(jī)。1-1.硬件配置圖I是示出根據(jù)本實(shí)施例的圖像處理設(shè)備100的硬件配置的示例的框圖。參照?qǐng)D1，圖像處理設(shè)備100包含中央處理單元(CPU) 10、隨機(jī)存取存儲(chǔ)器(RAM) 12、只讀存儲(chǔ)器(ROM) 14、總線16、存儲(chǔ)設(shè)備20、成像裝置22、顯示設(shè)備24、輸入設(shè)備26、全球定位系統(tǒng)(GPS)模塊30、電子指南針32以及加速度傳感器34。CPU 10通常根據(jù)ROM 14、存儲(chǔ)設(shè)備20和/或RAM 12中存儲(chǔ)的程序來(lái)控 制圖像處理設(shè)備100的操作。RAM 12臨時(shí)存儲(chǔ)CPU 10執(zhí)行的程序和數(shù)據(jù)。ROM 14可以是用于存儲(chǔ)操作圖像處理設(shè)備100的程序的非易失性存儲(chǔ)器?？偩€16與CPU 10、RAM 12、ROM 14、存儲(chǔ)設(shè)備20、成像裝置22、顯示設(shè)備24、輸入設(shè)備26、GPS模塊30、電子指南針32以及加速度傳感器34互連。存儲(chǔ)設(shè)備20包含可以存儲(chǔ)CPU 10將要執(zhí)行的程序或指令的、以有形的方式實(shí)施的非易失性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，諸如硬盤或半導(dǎo)體存儲(chǔ)器等。存儲(chǔ)設(shè)備20可以是不可拆卸的，或可以是可拆卸的。當(dāng)圖像處理設(shè)備100執(zhí)行圖像處理時(shí)，可以從外部數(shù)據(jù)庫(kù)中動(dòng)態(tài)地獲取存儲(chǔ)設(shè)備20中存儲(chǔ)的數(shù)據(jù)。此外，存儲(chǔ)設(shè)備20可用云計(jì)算配置的方式實(shí)施于不同的遠(yuǎn)程設(shè)備或服務(wù)器中。成像裝置22被配置為帶有圖像拾取設(shè)備的相機(jī)模塊，所述圖像拾取設(shè)備為諸如電荷耦合器件(CCD)或互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)等。顯示設(shè)備24在諸如液晶顯示器(IXD)、有機(jī)發(fā)光二極管(OLED)、或等離子顯示器(TOP)的屏幕上顯示圖像。輸入設(shè)備26包含按鈕、鍵盤、觸摸板、或指示設(shè)備等用于圖像處理設(shè)備100的用戶將信息輸入至圖像處理設(shè)備100。GPS模塊30接收從GPS衛(wèi)星發(fā)送的GPS信號(hào)，以計(jì)算圖像處理設(shè)備100所在的實(shí)際緯度、經(jīng)度以及海拔高度等。電子指南針32檢測(cè)圖像處理設(shè)備100的實(shí)際取向。加速度傳感器34檢測(cè)作用于圖像處理設(shè)備100上的力所導(dǎo)致的加速度。1-2.邏輯配置圖2是示出根據(jù)本實(shí)施例的圖像處理設(shè)備100的邏輯配置的一個(gè)示例的框圖。參照?qǐng)D12，圖像處理設(shè)備100包含輸入圖像獲取單元110、定位單元120、存儲(chǔ)單元130、匹配單元140、振蕩移動(dòng)感測(cè)單元150、應(yīng)用單元160、用戶界面單元170以及加強(qiáng)處理單元180。這里使用的術(shù)語(yǔ)“單元”可以是軟件模塊、硬件模塊或軟件模塊和硬件模塊的組合。這樣的硬件和軟件模塊可以實(shí)施為分離電路、集成電路，或?qū)嵤樘幚砥鲌?zhí)行的指令。(I)輸入圖像獲取單元輸入圖像獲取單元110 (即捕獲單元)利用成像裝置22獲取一系列輸入圖像，在該一系列輸入圖像中捕獲了用戶周圍的現(xiàn)實(shí)世界中的場(chǎng)景。即，捕獲了現(xiàn)實(shí)世界中的物理目標(biāo)或多個(gè)物理目標(biāo)的輸入圖像。然后，輸入圖像獲取單元110順序輸出所獲取的輸入圖像至匹配單元140和加強(qiáng)處理單元180。圖3是示出通過(guò)輸入圖像獲取單元110獲取的輸入圖像的一個(gè)示例的示意圖。參照?qǐng)D3，在輸入圖像中示出了一個(gè)城市，作為攜帶圖像處理設(shè)備100的用戶(或安裝有圖像處理設(shè)備100的車輛等)所存在的現(xiàn)實(shí)空間。在該城市中有多個(gè)建筑物或設(shè)施。出現(xiàn)在輸入圖像中的這些目標(biāo)中的每個(gè)可以是如下描述的應(yīng)用單元160中的地理信息搜索的目標(biāo)，或用戶在導(dǎo)航過(guò)程中使用導(dǎo)航設(shè)備所導(dǎo)向的目標(biāo)。(2)定位單元定位單元120用GPS模塊30來(lái)確定圖像處理設(shè)備100的當(dāng)前位置。定位單元120還用電子指南針32來(lái)確定圖像處理設(shè)備100的實(shí)際取向。然后，定位單元120將所得到的作為上述測(cè)量的結(jié)果的圖像處理設(shè)備100的位置信息(如經(jīng)度、緯度以及海拔高度等)和方位信息輸出至匹配單元140。(3)存儲(chǔ)單元存儲(chǔ)單元130存儲(chǔ)用于描述出現(xiàn)在現(xiàn)實(shí)世界中的目標(biāo)的位置和三維形狀的三維模型。通過(guò)三維模型描述的目標(biāo)的示例包括與上述應(yīng)用功能相關(guān)的目標(biāo)，如與應(yīng)用單元160 所提供的地理信息搜索或?qū)Ш较嚓P(guān)的目標(biāo)。通過(guò)三維模型來(lái)描述出現(xiàn)在城市中的諸如飯店、辦公室、學(xué)校、車站、公用設(shè)施及陸標(biāo)等目標(biāo)的位置和三維形狀。可以使用諸如地理標(biāo)記語(yǔ)言(Geography Markup Language, GML)或基于 GML 的 KML (Keyhole Markup Language,鎖孔標(biāo)記語(yǔ)言)等語(yǔ)言來(lái)描述三維模型。圖4是用于說(shuō)明三維模型的一個(gè)示例的示意圖。參照?qǐng)D4，通過(guò)示例部分地描述了三維模型132。在圖4示出的示例中，三維模型132包含關(guān)于9個(gè)目標(biāo)BI至B9(分別為建筑物)的數(shù)據(jù)。針對(duì)這些目標(biāo)中的每一個(gè)，三維模型132限定例如目標(biāo)的標(biāo)識(shí)(下文中稱為“目標(biāo)ID”)、建筑物的名稱和形成建筑物的形狀的頂點(diǎn)的三維位置以及預(yù)定的紋理。實(shí)際上，存儲(chǔ)單元130存儲(chǔ)的三維模型可以包含與數(shù)量多于圖4中所示出的一組目標(biāo)的(分布更為廣泛的區(qū)域中的)的目標(biāo)有關(guān)的數(shù)據(jù)。存儲(chǔ)單元130還可以存儲(chǔ)與這些目標(biāo)關(guān)聯(lián)的額外信息，如用戶對(duì)該用戶所使用的諸如飯店或旅館等設(shè)施的評(píng)級(jí)等。應(yīng)當(dāng)理解，存儲(chǔ)單元130可以用云計(jì)算配置的方式實(shí)施于不同的遠(yuǎn)程設(shè)備或服務(wù)器中，且因此，可以響應(yīng)于來(lái)自圖像處理設(shè)備100的對(duì)三維模型的遠(yuǎn)程請(qǐng)求，通過(guò)網(wǎng)絡(luò)從存儲(chǔ)單元130中檢索三維模型(替代訪問(wèn)圖像處理設(shè)備100的本地存儲(chǔ)器)。⑷匹配單元通過(guò)將定位單元120所確定的當(dāng)前位置周圍的三維模型中所包含的目標(biāo)的特征點(diǎn)與輸入圖像的特征點(diǎn)匹配，匹配單元140將三維模型中所包括的目標(biāo)與輸入圖像中出現(xiàn)的目標(biāo)關(guān)聯(lián)。更具體地，在本實(shí)施例中，匹配單元140首先基于從定位單元120輸入的位置和方位信息，從存儲(chǔ)單元130中存儲(chǔ)的三維模型中提取關(guān)于圖像處理設(shè)備100的當(dāng)前位置周圍的目標(biāo)的數(shù)據(jù)。匹配單元140還根據(jù)諸如哈里斯法(Harris method)或莫拉維克法(Moravec method)等已知的拐角檢測(cè)法來(lái)設(shè)置輸入圖像中的特征點(diǎn)。匹配單元140將從三維模型提取的目標(biāo)組的特征點(diǎn)與輸入圖像中設(shè)置的特征點(diǎn)匹配。因此，匹配單元140可以識(shí)別三維模型中所包括的目標(biāo)與輸入圖像中出現(xiàn)的目標(biāo)的對(duì)應(yīng)關(guān)系。作為匹配的結(jié)果，匹配單元140還可以確定圖像處理設(shè)備100的具體位置和姿態(tài)(posture)。與通過(guò)定位單元120利用GPS模塊30能夠?qū)崿F(xiàn)的位置精確度相比，通過(guò)這里所描述的匹配處理而確定的圖像處理設(shè)備100的位置的精確度可以更高。圖5是示出通過(guò)匹配單元140的匹配處理結(jié)果的示例的示意圖。參照?qǐng)D5，在輸入圖像ImOl中出現(xiàn)的目標(biāo)的每一個(gè)拐角處設(shè)置多個(gè)三角形特征點(diǎn)。輸入圖像ImOl中的這些特征點(diǎn)中的每一個(gè)與圖像處理設(shè)備100的具體位置和姿態(tài)中的三維模型132中所包括的目標(biāo)的每個(gè)對(duì)應(yīng)頂點(diǎn)匹配。例如，特征點(diǎn)FPl與三維模型132的目標(biāo)B2的各頂點(diǎn)中的一個(gè)頂點(diǎn)匹配。這樣，匹配單元140可以識(shí)別三維模型中所包括的每個(gè)目標(biāo)出現(xiàn)在輸入圖像中的什么位置。(5)振蕩移動(dòng)感測(cè)單元振蕩移動(dòng)感測(cè)單元150 (即傳感器單元)利用加速度傳感器34檢測(cè)圖像處理設(shè)備100抖動(dòng)。一旦檢測(cè)到圖像處理設(shè)備100抖動(dòng)，振蕩移動(dòng)感測(cè)單元150即將振蕩移動(dòng)感測(cè)信號(hào)輸出至加強(qiáng)處理單元180。例如當(dāng)作用于圖像處理設(shè)備100上的加速度超過(guò)預(yù)定閾值時(shí)，振蕩移動(dòng)感測(cè)單元150可以確定圖像處理設(shè)備100抖動(dòng)。(6)應(yīng)用單元應(yīng)用單元160 (即處理單元)是實(shí)現(xiàn)上述與地理信息服務(wù)關(guān)聯(lián)的應(yīng)用功能的處理 模塊。應(yīng)用單元160所提供的應(yīng)用功能包含例如地理信息搜索功能或?qū)Ш焦δ?。?yīng)用單元160使得例如用戶界面單元170顯示應(yīng)用屏幕。當(dāng)用戶通過(guò)應(yīng)用屏幕來(lái)輸入搜索關(guān)鍵字時(shí)，應(yīng)用單元160在存儲(chǔ)單元130中搜索與輸入的搜索關(guān)鍵字相符的目標(biāo)。應(yīng)用單元160輸出用于指定被指定為搜索結(jié)果的一個(gè)或更多個(gè)目標(biāo)的目標(biāo)指定信息至加強(qiáng)處理單元180。目標(biāo)指定信息可以是例如用于將用戶選擇的目標(biāo)指定為導(dǎo)航目的地的信息。(7)用戶界面單元用戶界面單元170為用戶提供用戶界面，以使用上述的應(yīng)用功能。用戶界面單元170通過(guò)例如輸入設(shè)備26來(lái)接收諸如用于地理信息搜索功能或?qū)Ш侥康牡氐乃阉麝P(guān)鍵字等用戶輸入信息。用戶界面單元170還通過(guò)顯示設(shè)備24來(lái)顯示由應(yīng)用單元160生成的應(yīng)用屏幕。此外，用戶界面單元170在應(yīng)用屏幕中顯示例如通過(guò)稍后將要提到的加強(qiáng)處理單元180來(lái)生成的加強(qiáng)圖像。(8)加強(qiáng)處理單元加強(qiáng)處理單元180通過(guò)對(duì)輸入圖像中與加強(qiáng)顯示三維模型中包含的目標(biāo)中的一個(gè)或多個(gè)指定目標(biāo)(下文中稱為“指定目標(biāo)”)中的每一個(gè)對(duì)應(yīng)的部分圖像進(jìn)行處理，來(lái)生成加強(qiáng)顯示每一個(gè)指定目標(biāo)的加強(qiáng)圖像。在本實(shí)施例中，例如，當(dāng)從應(yīng)用單元160輸入目標(biāo)指定信息時(shí)(例如接收到物理目標(biāo)的標(biāo)識(shí)時(shí))，加強(qiáng)處理單元180基于該目標(biāo)指定信息來(lái)確定指定目標(biāo)是否出現(xiàn)在輸入圖像中。接下來(lái)，當(dāng)指定目標(biāo)出現(xiàn)在輸入圖像中時(shí)，加強(qiáng)處理單元180基于通過(guò)上述匹配單元140進(jìn)行的匹配的結(jié)果，來(lái)識(shí)別輸入圖像中對(duì)應(yīng)于指定目標(biāo)的區(qū)域。加強(qiáng)處理單元180然后處理所識(shí)別區(qū)域中的部分圖像，使得與所接收的標(biāo)識(shí)對(duì)應(yīng)的指定目標(biāo)被加強(qiáng)。在本說(shuō)明書中，加強(qiáng)處理單元180所處理和生成的部分圖像被稱為加強(qiáng)圖像或加強(qiáng)的部分圖像。加強(qiáng)處理單元180通過(guò)將加強(qiáng)圖像疊加在輸入圖像之上，來(lái)生成輸出圖像，并利用用于生成表示輸出圖像的信號(hào)的顯示生成器來(lái)使得用戶界面單元170顯示所生成的輸出圖像。圖6是用于說(shuō)明根據(jù)本實(shí)施例的通過(guò)加強(qiáng)處理單元180提取的部分圖像的處理的示意圖。圖6的左上角示出了輸入圖像ImOl。以示例的方式假定從應(yīng)用單元160輸入的目標(biāo)指定信息指定了出現(xiàn)在輸入圖像ImOl中的目標(biāo)B7。圖6右上角示出了作為匹配單元140的匹配結(jié)果而被識(shí)別且與指定目標(biāo)B7對(duì)應(yīng)的區(qū)域R1。加強(qiáng)處理單元180從輸入圖像ImOl中提取該區(qū)域Rl的部分圖像Imll (參見圖6的左下角)。在一些情況中，出現(xiàn)在輸入圖像ImOl中的移動(dòng)目標(biāo)可以覆蓋于部分圖像Imll上。在圖6示出的示例中，一個(gè)人覆蓋于指定目標(biāo)B7的前方。在這種情況下，加強(qiáng)處理單元180例如通過(guò)對(duì)多個(gè)幀上的多個(gè)部分圖像進(jìn)行平均來(lái)生成其中降低了移動(dòng)目標(biāo)的影響的部分圖像Iml2。在接下來(lái)的部分中，將詳細(xì)描述通過(guò)加強(qiáng)處理單元180進(jìn)行的加強(qiáng)處理的三個(gè)示例，以便根據(jù)通過(guò)這樣的方式提取的部分圖像來(lái)生成上述的加強(qiáng)圖像。<2.加強(qiáng)處理的示例>圖7至圖9分別是用于說(shuō)明根據(jù)本實(shí)施例的通過(guò)加強(qiáng)處理單元180進(jìn)行的加強(qiáng)處理的示例的示意圖。2-1.第一示例在加強(qiáng)處理的第一示例中，假定通過(guò)目標(biāo)指定信息指定了圖4示出的三維模型132中所包含的目標(biāo)B4和B7。參照?qǐng)D7，其中示出了第一示例中的加強(qiáng)處理單元180生成的輸出圖像Im21。通過(guò)比較輸出圖像Im21與圖3中的輸入圖像ImOl，即可看出在該圖像Im21中指定目標(biāo)B4和B7的尺寸(尤其是高度)被擴(kuò)展了。這樣，加強(qiáng)處理單元180可以通過(guò)修改與指定目標(biāo)對(duì)應(yīng)的部分圖像的尺寸來(lái)加強(qiáng)指定目標(biāo)。作為替代(或另外地)，加強(qiáng)處理單元180可以通過(guò)修改對(duì)應(yīng)于指定目標(biāo)的部分圖像的形狀、顏色或亮度或通過(guò)修改三維模型的對(duì)應(yīng)于指定目標(biāo)的部分來(lái)加強(qiáng)指定目標(biāo)。加強(qiáng)處理單元180可以通過(guò)改變部分圖像的尺寸、形狀、顏色或亮度來(lái)直接生成其中加強(qiáng)了每個(gè)指定目標(biāo)的加強(qiáng)圖像(圖7中的輸出圖像Im21中的陰影部分)。作為替代，例如，加強(qiáng)處理單元180可以去除部分圖像在透視上的變形、獲取每個(gè)指定目標(biāo)的紋理，并將獲取的紋理粘貼在每個(gè)指定目標(biāo)的多邊形的表面上?？梢酝ㄟ^(guò)基于匹配單元140確定的圖像處理設(shè)備100(成像裝置22)的位置和姿態(tài)來(lái)執(zhí)行對(duì)部分圖像的仿射變換(affinetransformation),來(lái)去除部分圖像在透視上的變形。使用以該方法獲取的紋理還使得例如輸入圖像中指定目標(biāo)的被其它目標(biāo)遮住的部分外觀能夠在輸出圖像中可見(例如，在下面描述的圖9示出的示例中被其它目標(biāo)遮住的一些部分是可見的)。2-2.第二示例同樣，在加強(qiáng)處理的第二示例中，假定通過(guò)目標(biāo)指定信息來(lái)指定圖4示出的三維模型132中的目標(biāo)B4和B7。以示例的方式，同樣假定目標(biāo)B4和B7被指定為飯店搜索的結(jié)果，且“商店名稱”和“評(píng)級(jí)”這兩條額外信息與每個(gè)目標(biāo)關(guān)聯(lián)。例如，參照?qǐng)D8，指定目標(biāo)B4的商店名稱為“ABC咖啡”，且評(píng)級(jí)是二星。另一方面，指定目標(biāo)B7的商店名稱是“XYZ吧”而評(píng)級(jí)是三星。額外信息不限于此示例，可以是諸如采取的預(yù)算和烹調(diào)風(fēng)格等任何信息。與第一示例相似，在第二示例中，加強(qiáng)處理單元180首先通過(guò)修改與這些指定目標(biāo)B4和B7對(duì)應(yīng)的部分圖像的尺寸(或形狀、顏色或亮度)來(lái)加強(qiáng)指定目標(biāo)B4和B7。此夕卜，加強(qiáng)處理單元180生成代表其中指定目標(biāo)移動(dòng)的動(dòng)畫的一系列加強(qiáng)圖像。該動(dòng)畫例如是其中指定目標(biāo)抖動(dòng)的動(dòng)畫。例如，當(dāng)從振蕩移動(dòng)感測(cè)單元150輸入用于指示圖像處理設(shè)備100抖動(dòng)的振蕩移動(dòng)感測(cè)信號(hào)時(shí)，加強(qiáng)處理單元180可以生成其中指定目標(biāo)移動(dòng)的動(dòng)畫。參照?qǐng)D8，其中示出了第二示例中通過(guò)加強(qiáng)處理單元180生成的輸出圖像Im22、Im23以及Im24。在輸出圖像Im22中，上述指定目標(biāo)B4和B7 二者通過(guò)利用擴(kuò)展尺寸的方法而被加強(qiáng)，而不管振蕩移動(dòng)感測(cè)單元150的振蕩移動(dòng)的檢測(cè)結(jié)果。另一方面，當(dāng)檢測(cè)到圖像處理設(shè)備100的振蕩移動(dòng)時(shí)，顯示輸出圖像Im23和Im24。在輸出圖像Im23和Im24中，通過(guò)利用使用指定目標(biāo)抖動(dòng)的動(dòng)畫的方法，僅作為高評(píng)級(jí)飯店(三星)的目標(biāo)B7被加強(qiáng)。[0075]因此，使用指定目標(biāo)移動(dòng)的動(dòng)畫可保證輸入圖像中的期望的指定目標(biāo)能區(qū)別于其它目標(biāo)。因此，用戶通過(guò)參照輸出圖像，可以非常容易地找到期望的目標(biāo)。目標(biāo)移動(dòng)的動(dòng)畫不限于上述的示例，可以是例如目標(biāo)被拉長(zhǎng)和縮短或目標(biāo)跳動(dòng)的動(dòng)畫。同樣，如前所述，可以用這樣的方式來(lái)顯示將要呈現(xiàn)給用戶的多個(gè)指定目標(biāo)以及其中特別值得推薦的指定目標(biāo)(例如具有多顆星的高評(píng)級(jí)飯店或適合用戶預(yù)算的飯店)來(lái)使得用戶能夠容易地區(qū)分它們通過(guò)根據(jù)額外信息(例如星的個(gè)數(shù)或用戶的預(yù)算)將指定目標(biāo)分為兩組或多組，并根據(jù)上述分類以定相的方式使用不同的方法來(lái)加強(qiáng)這些指定目標(biāo)。用戶抖動(dòng)處理設(shè)備100觸發(fā)指定目標(biāo)抖動(dòng)的方法還可實(shí)現(xiàn)更加直觀且易于用戶記憶的用于呈現(xiàn)地理信息的有效用戶界面。2-3.第三示例在加強(qiáng)處理的第三示例中，假定通過(guò)目標(biāo)指定信息指定目標(biāo)B4、B7以及目標(biāo)BlO。 與第二示例相似，也假定“商店名稱”和“評(píng)級(jí)”這兩條額外信息與每個(gè)目標(biāo)關(guān)聯(lián)。然而，在第三示例中，假定“評(píng)級(jí)”被指定為數(shù)值，且給出了根據(jù)數(shù)值大小的排序。例如，指定目標(biāo)B4的評(píng)級(jí)為2. 9，而排序?yàn)榈谌恢?。指定目?biāo)B7的評(píng)級(jí)為3. 8，而排序在第二位置。指定目標(biāo)BlO的評(píng)級(jí)為4. 2，而排序?yàn)榈谝晃恢?。在第三示例中，?dāng)以該方式指定多個(gè)排序目標(biāo)時(shí)，加強(qiáng)處理單元180根據(jù)每個(gè)指定目標(biāo)的排序來(lái)修改與多個(gè)指定目標(biāo)中的每一個(gè)指定目標(biāo)對(duì)應(yīng)的部分圖像的尺寸。在圖9示出的示例中，在輸出圖像Im25中，指定目標(biāo)BlO被顯示為最高,指定目標(biāo)B7被顯示為次高，而指定目標(biāo)B4被縮小為所有指定目標(biāo)中的最小的一個(gè)。因此，根據(jù)賦予指定目標(biāo)的諸如排序等額外信息來(lái)修改指定目標(biāo)的尺寸使得用戶不但能夠直觀且容易地了解關(guān)于指定目標(biāo)的位置信息，還能夠了解其額外信息。<3.圖像處理流程的示例〉圖10是示出根據(jù)本實(shí)施例的圖像處理設(shè)備100的圖像處理流程的示例的流程圖。參照?qǐng)D10，首先，輸入圖像獲取單元110獲取其中捕獲了用戶周圍現(xiàn)實(shí)世界中的場(chǎng)景的輸入圖像(步驟S102)。定位單元120還確定圖像處理設(shè)備100的當(dāng)前位置和取向(步驟S104)。接下來(lái)，匹配單元140可以檢索對(duì)應(yīng)于當(dāng)前位置的三維模型，并從存儲(chǔ)單元130中存儲(chǔ)的相應(yīng)的三維模型中獲取關(guān)于圖像處理設(shè)備100的當(dāng)前位置周圍的目標(biāo)的數(shù)據(jù)(步驟S106)。接下來(lái)，匹配單元140將輸入圖像中設(shè)置的特征點(diǎn)與所獲取的三維模型中包含的目標(biāo)組的特征點(diǎn)匹配(步驟S108)。接下來(lái)，當(dāng)從應(yīng)用單元160輸入目標(biāo)指定信息時(shí)，加強(qiáng)處理單元180區(qū)分由目標(biāo)指定信息指定的一個(gè)或多個(gè)指定目標(biāo)(步驟S110)。接下來(lái)，加強(qiáng)處理單元180使用三維模型來(lái)提取輸入圖像中的對(duì)應(yīng)于指定目標(biāo)的區(qū)域的部分圖像(步驟S112)。接下來(lái)，加強(qiáng)處理單元180通過(guò)處理和修改所提取的部分圖像，來(lái)生成加強(qiáng)指定目標(biāo)的加強(qiáng)圖像(步驟S114)?；蛘?，可以修改三維模型的一部分來(lái)生成加強(qiáng)圖像。加強(qiáng)處理單元180通過(guò)將生成的加強(qiáng)圖像疊加在輸入圖像之上來(lái)生成輸出圖像(步驟S116)。通過(guò)用戶界面單元170在顯示設(shè)備24的屏幕上顯示以該方式生成的輸出圖像。<4.結(jié)論〉已經(jīng)參照?qǐng)DI至10描述了本公開的一個(gè)實(shí)施例。根據(jù)本實(shí)施例，通過(guò)對(duì)輸入圖像中的與通過(guò)應(yīng)用功能指定的三維模型中的指定目標(biāo)相對(duì)應(yīng)的部分圖像進(jìn)行處理，生成和顯示了加強(qiáng)指定目標(biāo)的加強(qiáng)圖像。因此，在保持從用戶使用的圖像處理設(shè)備100上安裝的成像裝置22的視點(diǎn)而出現(xiàn)在輸入圖像中的自然外觀的同時(shí)，還加強(qiáng)顯示了指定目標(biāo)。因此，用戶容易在現(xiàn)實(shí)空間中找到諸如期望的建筑物或設(shè)施等的指定目標(biāo)。例如，使用表示指定目標(biāo)移動(dòng)的動(dòng)畫的一系列加強(qiáng)圖像還使得用戶能夠非常容易地識(shí)別期望的目標(biāo)。輸出圖像中對(duì)指定目標(biāo)的修改還使得用戶能夠直觀容易地了解諸如排序等額外信息。用戶抖動(dòng)圖像處理設(shè)備100在將要顯示的輸出圖像中觸發(fā)指定目標(biāo)抖動(dòng)的動(dòng)畫的方法還使得用戶的運(yùn)動(dòng)與加強(qiáng)圖像相關(guān)聯(lián)，且該方法能夠?qū)崿F(xiàn)呈現(xiàn)地理信息的直觀且容易理解的用戶界面。本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)理解， 根據(jù)設(shè)計(jì)要求和其它因素可以出現(xiàn)各種修改、組合、子組合以及改變，只要它們落入所附權(quán)利要求或其同等的范圍內(nèi)即可。
權(quán)利要求1.一種裝置，包括 捕獲單元，用于捕獲物理目標(biāo)的輸入圖像； 匹配單元，用于將三維模型與所述物理目標(biāo)匹配； 處理單元，用于通過(guò)以下中的至少一個(gè)來(lái)產(chǎn)生與所述物理目標(biāo)中的指定物理目標(biāo)對(duì)應(yīng)的修改的部分圖像 修改匹配的三維模型的與所述指定物理目標(biāo)對(duì)應(yīng)的部分，或 使用匹配的三維模型來(lái)修改從所述輸入圖像中提取的與所述指 定物理目標(biāo)對(duì)應(yīng)的部分圖像；及 顯示生成器，用于生成表示輸出圖像的信號(hào)，所述輸出圖像包含疊加在所述輸入圖像 之上的修改的部分圖像。
2.根據(jù)權(quán)利要求I所述的裝置，其中所述處理單元通過(guò)改變所述部分圖像的尺寸、形狀、顏色或亮度中的至少一個(gè)來(lái)加強(qiáng)所述部分圖像。
3.根據(jù)權(quán)利要求I所述的裝置，其中所述裝置包括用于存儲(chǔ)所述三維模型的存儲(chǔ)單元。
4.根據(jù)權(quán)利要求I所述的裝置，其中所述處理單元生成所述物理目標(biāo)中的指定物理目標(biāo)的修改的部分圖像，所述修改的部分圖像對(duì)應(yīng)于所接收的所述物理目標(biāo)中的指定物理目標(biāo)的標(biāo)識(shí)。
5.根據(jù)權(quán)利要求I所述的裝置，其中所述匹配單元利用形成所述物理目標(biāo)之一的形狀的頂點(diǎn)的三維位置將所述輸入圖像中的所述物理目標(biāo)的特征點(diǎn)與三維模型匹配。
6.根據(jù)權(quán)利要求I所述的裝置，包括用于確定所述裝置的當(dāng)前位置的定位單元。
7.根據(jù)權(quán)利要求6所述的裝置，其中所述匹配單元基于所確定的當(dāng)前位置來(lái)檢索對(duì)應(yīng)于所述輸入圖像中的所述物理目標(biāo)的三維模型。
8.根據(jù)權(quán)利要求6所述的裝置，其中所述定位單元確定所述裝置的當(dāng)前取向。
9.根據(jù)權(quán)利要求I所述的裝置，包括用于檢測(cè)所述裝置的移動(dòng)的傳感器單元。
10.根據(jù)權(quán)利要求9所述的裝置，其中所述處理單元基于所述傳感器單元檢測(cè)到的移動(dòng)來(lái)生成修改的部分圖像。
專利摘要提供了圖像處理裝置。該裝置包括捕獲單元，用于捕獲物理目標(biāo)的輸入圖像；匹配單元，用于將三維模型與所述物理目標(biāo)匹配；處理單元，用于通過(guò)以下中的至少一個(gè)來(lái)產(chǎn)生與所述物理目標(biāo)中的指定物理目標(biāo)對(duì)應(yīng)的修改的部分圖像修改匹配的三維模型的與所述指定物理目標(biāo)對(duì)應(yīng)的部分，或使用匹配的三維模型來(lái)修改從所述輸入圖像中提取的與所述指定物理目標(biāo)對(duì)應(yīng)的部分圖像；及顯示生成器，用于生成表示輸出圖像的信號(hào)，所述輸出圖像包含疊加在所述輸入圖像之上的修改的部分圖像。
文檔編號(hào)G09B29/10GK202502670SQ20112036582
公開日2012年10月24日 申請(qǐng)日期2011年9月23日 優(yōu)先權(quán)日2010年10月1日
發(fā)明者竹內(nèi)雄一郎 申請(qǐng)人:索尼公司