專利名稱：顯示控制方法及裝置、程序以及便攜設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種使用圖像計測和圖像識別的顯示控制方法，特別是，涉及一種使用攝像機的攝影圖像檢測安裝有攝像機的設(shè)備的位置或朝向，并根據(jù)檢測出的設(shè)備的位置或朝向?qū)︼@示進行控制的技術(shù)。
背景技術(shù)：
近年來，由于互聯(lián)網(wǎng)的普及形成了計算機和家電設(shè)備相互連接，遠程操作或媒體融合等，即無處不在的網(wǎng)絡(luò)(ubiquitous network)社會。其特征是無論什么時候無論在哪里實現(xiàn)通信的自由度提高，用戶可以不用理會設(shè)備的差別和設(shè)備的物理距離等而進行行動。無處不在的網(wǎng)絡(luò)社會的實現(xiàn)，首先作為系統(tǒng)側(cè)網(wǎng)絡(luò)連接是必要條件，用戶和設(shè)備之間的所謂用戶接口的高自由度是前提條件。即使連接了作為硬件、軟件的設(shè)備，如果使用這些設(shè)備的用戶不能與系統(tǒng)自由地通信，也不能實現(xiàn)無處不在。即，需要系統(tǒng)使用方便，即提高可用性(usability)的技術(shù)。
實現(xiàn)提高系統(tǒng)可用性的直接感覺方式的操作方法，需要系統(tǒng)自動地理解用戶的意圖，其實現(xiàn)，例如需要有效的檢測接口裝置的位置或朝向的技術(shù)。
作為這種接口裝置的一個例子，有指示標記(pointing marker)。例如，在專利文獻1中，用戶手里拿著與本身亮度或顏色不同的物體(藍色LED等)作為指示標記。系統(tǒng)通過攝像傳感器檢測指示標記的位置，并對應(yīng)于檢測出的位置操作顯示影像。由此，用戶不需要理解系統(tǒng)的操作方法，就可以以直接感覺的方式、以身體感覺的方式與系統(tǒng)通信。
此外，還有利用與被攝體的亮度或顏色的不同，從攝像圖像中提取標記的方法(例如，參見專利文獻2)。比較預(yù)先攝像的基準標記的位置與當前標記的位置，檢測被攝體與攝像傳感器的距離。用戶在系統(tǒng)起動時執(zhí)行規(guī)定的初始化處理并登錄基準標記即可，此后，系統(tǒng)逐個地檢測攝像的標記的位置變化，自動地獲取被攝體與攝像傳感器的距離。
此外，在利用計算機圖形學(xué)構(gòu)造的虛擬空間內(nèi)，提供用戶就像在直接操作實物那樣的感覺，即所謂的虛擬現(xiàn)實系統(tǒng)中，用戶可以不考慮設(shè)備，直接控制虛擬空間。例如，如果用戶三維地移動手持的便攜型顯示器，則系統(tǒng)側(cè)通過加速度傳感器等檢測其移動，并配合動作切換顯示圖像(例如，參見專利文獻3)。通過手持的顯示器位置或朝向的變化可以以直接感覺的方式將虛擬現(xiàn)實空間內(nèi)的視點變化提供給系統(tǒng)。
專利文獻1日本專利特開2001-356875號公報(圖1)專利文獻2日本專利特開2000-230806號公報(圖1)專利文獻3日本專利特開平11-18025號公報(圖11)然而，首先在專利文獻1的技術(shù)中，必須準備特別的標記，通用性差，具有使用情景受限制的問題。即，由于為了檢測標記要利用與被攝體的亮度或顏色的差異，所以作為標記，例如需要提供比任何一種被攝體都要明亮的或任何一種被攝體中都不含有的顏色。
此外，在專利文獻2的技術(shù)中，通過一個攝像傳感器捕捉多個標記，并檢測被攝體與攝像傳感器的距離。然而，不能檢測攝像傳感器的三維位置。即，由于在同樣距離的球面上作為全部的位置信息被相同地處理，所以在可用性方面具有問題。
另一方面，在專利文獻3的技術(shù)中，利用加速度傳感器等，不需要對標記進行攝像，在系統(tǒng)構(gòu)成的通用性方面良好。然而，例如加速度傳感器不能應(yīng)對等速運動，所以在傳感器靈敏度方面有問題。在這一點上，雖然通過磁傳感器或超聲波傳感器等多角度地檢測補充位置、朝向信息的所謂傳感器使用(センサ一ユ一ジヨン)是有效的，但是追加傳感器，在使系統(tǒng)的成本提高的同時，也使設(shè)備的體積和重量增加。此外，由于傳感器常時動作的情況很多，所以傳感器數(shù)量的增加，引起設(shè)備消耗的電力上升，特別對于便攜型設(shè)備尤其成為問題。

發(fā)明內(nèi)容
因此，本發(fā)明是鑒于上述問題提出的，其目的在于提供一種顯示控制方法以及顯示控制裝置，通過簡單的結(jié)構(gòu)就可以檢測設(shè)備的位置或朝向，并根據(jù)檢測出的設(shè)備的位置或朝向簡單地控制顯示圖像的顯示。
為了實現(xiàn)上述目的，根據(jù)本發(fā)明的顯示控制方法，其根據(jù)安裝有幾何關(guān)系已知的第一和第二攝像機的設(shè)備的位置，控制顯示圖像的顯示，其特征在于上述第一攝像機對含有圖像特征已知的對象物的第一圖像進行攝像；上述第二攝像機對含有上述對象物周圍的情景的第二圖像進行攝像；從上述第一圖像提取上述對象物的圖像特征；將提取出的上述對象物的圖像特征與已知的上述對象物的圖像特征進行比較，以計算從上述對象物到上述設(shè)備的距離；從上述第二圖像提取上述第二圖像的圖像特征；使用從上述第一圖像提取出的上述對象物的圖像特征和從上述第二圖像提取出的上述第二圖像的圖像特征中的至少任意一個，計算從上述對象物看到的上述設(shè)備的方向；根據(jù)計算出的從上述對象物到上述設(shè)備的距離、以及上述設(shè)備的方向，控制上述顯示圖像的顯示。
發(fā)明的效果根據(jù)本發(fā)明，由于可以通過兩個攝像機檢測設(shè)備的位置或朝向，所以可以抑制用于檢測所需的設(shè)備的體積和重量的增加，可簡單地控制顯示圖像的顯示。此外，可以將消耗的電力抑制得很低。


圖1是表示根據(jù)本發(fā)明的一個實施方式的顯示控制方法的執(zhí)行狀態(tài)的圖。
圖2是用于表示基于圖1狀態(tài)的相對座標的表現(xiàn)的概念圖。
圖3是用于表示設(shè)備的朝向的表現(xiàn)的概念圖。
圖4是表示本發(fā)明一個實施方式的顯示控制裝置的結(jié)構(gòu)的方框圖。
圖5是用于說明到設(shè)備的距離的檢測方法的一個例子的圖。
圖6是用于說明設(shè)備的方向的檢測方法的一個例子的圖。
圖7是用于說明設(shè)備的朝向的檢測方法的一個例子的圖。
圖8是用于說明放大或縮小顯示的控制的圖。
圖9是用于說明顯示方向的變化顯示的控制的圖。
圖10是圖4結(jié)構(gòu)的變形例子的圖。
圖11是圖4結(jié)構(gòu)的變形例子的圖。
符號說明10用戶20便攜電話(設(shè)備)21自身側(cè)攝像機(第一攝像機)22他人側(cè)攝像機(第二攝像機)30，30A，30B顯示控制裝置31臉部特征提取部(第一特征提取部)32a，37a大小比較部32b，37b位置比較部32c，37c形狀比較部33，38，42存儲器34，34A距離計算部35，35A方向計算部36情景特征提取部(第二特征提取部)39，39A，39B朝向計算部41顯示控制部43圖像存儲部44顯示部IM1第一圖像IM2第二圖像具體實施方式
本發(fā)明實施方式的顯示控制方法，根據(jù)安裝有幾何關(guān)系已知的第一和第二攝像機的設(shè)備的位置，控制顯示圖像的顯示，其特征在于上述第一攝像機對含有圖像特征已知的對象物的第一圖像進行攝像；上述第二攝像機對含有上述對象物周圍的情景的第二圖像進行攝像；從上述第一圖像提取上述對象物的圖像特征；將提取出的上述對象物的圖像特征與已知的上述對象物的圖像特征進行比較，以計算從上述對象物到上述設(shè)備的距離；從上述第二圖像提取上述第二圖像的圖像特征；使用從上述第一圖像提取出的上述對象物的圖像特征和從上述第二圖像提取出的上述第二圖像的圖像特征中的至少任意一個，計算從上述對象看到的上述設(shè)備的方向；根據(jù)計算出的從上述對象物到上述設(shè)備的距離、以及上述設(shè)備的方向，控制上述顯示圖像的顯示。
由此，根據(jù)由第一攝像機攝像的、含有圖像特征已知的對象物的第一圖像，計算出從對象物到設(shè)備的距離，并且根據(jù)由第二攝像機攝像的第二圖像，計算出從對象物到看到的設(shè)備的方向。即，通過兩個攝像機，可以檢測出以對象物為基準的該設(shè)備的距離和方向、即三維位置。并且，可以通過該設(shè)備的三維位置簡單地控制顯示圖像的顯示。
這里，上述對象優(yōu)選是使用上述設(shè)備的用戶的臉。由此，用戶手持設(shè)備，僅通過由第一攝像機對自己的臉進行攝像、并且由第二攝像機對周圍的風景進行攝像，就可以計算出以自身臉部為基準的設(shè)備的三維位置。
此外，在計算上述設(shè)備的方向時，也可以將從上述第二圖像提取出的上述第二圖像的圖像特征與從由上述第二攝像機拍攝的過去的圖像中提取出的圖像特征進行比較，以計算上述設(shè)備的方向。此外，在計算上述設(shè)備的方向時，也可以將從上述第一圖像提取出的上述對象物的圖像特征與已知的上述對象物的圖像特征進行比較，以計算上述設(shè)備的方向。
此外，上述顯示控制方法還可以使用從上述第一圖像提取出的上述對象物的圖像特征和從上述第二圖像提取出的上述第二圖像的圖像特征中的至少任意一個，計算上述設(shè)備相對于上述對象物的朝向；在控制上述顯示圖像的顯示時，根據(jù)計算出的從上述對象物到上述設(shè)備的距離、上述設(shè)備的方向以及上述設(shè)備的朝向，控制上述顯示圖像的顯示。由此，不僅可以根據(jù)設(shè)備的三維位置、還可以根據(jù)設(shè)備的朝向簡單地控制顯示圖像的顯示。
此外，本發(fā)明不僅可以實現(xiàn)為這種顯示控制方法，而且可以實現(xiàn)為以這種顯示控制方法含有的特征化步驟為手段的顯示控制裝置，還可以實現(xiàn)為使計算機執(zhí)行這些步驟的程序。而且，這種程序當然也可以通過CD-ROM等的存儲媒體或互聯(lián)網(wǎng)等的傳輸媒體進行發(fā)送。
下面，參照

本發(fā)明的實施方式。
圖1是表示執(zhí)行本發(fā)明一個實施方式的顯示控制方法的情況的圖。在圖1中，作為根據(jù)本發(fā)明的設(shè)備的便攜電話20，安裝有作為幾何關(guān)系已知的第一和第二攝像機的自身側(cè)攝像機21和他人側(cè)攝像機22，而且實現(xiàn)了根據(jù)便攜電話20的位置和朝向切換顯示影像的交互式顯示系統(tǒng)。
用戶10手持便攜電話20看著畫面(圖示中省略)的影像。在安裝在便攜電話20的兩個攝像機21，22中，自身側(cè)攝像機21作為圖像特征已知的對象對用戶10的臉部進行攝像。另一方面，對方側(cè)攝像機22與自身側(cè)攝像機共用光軸，攝像方向向著相反側(cè)。因此，用戶10不會進入對方側(cè)攝像機22的攝像視場角，對方側(cè)攝像機22對用戶10對面?zhèn)鹊那榫斑M行攝像。在便攜電話20的內(nèi)部，安裝有作為后述的位置檢測裝置的位置朝向檢測電路30，該位置朝向檢測電路30檢測由用戶10的手的動作決定的便攜電話20的位置和朝向。在畫面中顯示與便攜電話20的位置和朝向?qū)?yīng)的影像，用戶10通過移動便攜電話20可以自由地選擇想看到的影像。
便攜電話由于其便攜性，在顯示部(顯示器)的大小方面具有自身局限，在可顯示的圖像尺寸方面具有上限。因此，在便攜電話的顯示器中顯示面向電視或計算機的廣泛流通的圖像、影像的情況下，產(chǎn)生不容易讀取細節(jié)的視覺識別性的問題。為了提高視覺識別性，以關(guān)注點為中心放大圖像即可，但是此時，如果通過代替按鈕和撥號盤改變便攜電話的位置和朝向，可以以直接感覺的方式實現(xiàn)圖像放大，則提高了便利性。此外，在確認了細節(jié)之后，在想要再一次看到整個圖像的情況下，若通過改變便攜電話的位置或朝向可以直接地改變顯示影像的大小或截出范圍，則在操作性方面非常有效。交互式顯示系統(tǒng)中的影像切換功能并不局限于圖像的放大、縮小，還可以適用于映出的被攝體的朝向或照亮被攝體的照明的陰影變化等各種功能，可以大大地實現(xiàn)影像的表現(xiàn)力、真實性、視覺識別性等。
如圖1所示，便攜電話20的位置通過以用戶10的兩個眼睛的中心為旋轉(zhuǎn)中心的旋轉(zhuǎn)坐標系來表示。從旋轉(zhuǎn)中心到便攜電話20的距離為ro，相對于位置座標法線NL的水平方向的旋轉(zhuǎn)角度為θo，相對于位置座標法線NL的垂直方向的旋轉(zhuǎn)角度為Фo。
圖2是用于表示基于相對座標的表現(xiàn)的示意圖。如圖2所示，使便攜電話20畫面的可讀距離的最短位置為距離ro＝0.0，用戶10的手臂延伸的最遠位置為距離ro＝1.0。此外，在用戶10手持便攜電話20的手臂左右擺動的范圍內(nèi)，右端為θo＝1.0，左端為θo＝-1.0，位置座標法線NL的方向為θo＝0.0。同樣地，在用戶10手持便攜電話20的手臂上下擺動的范圍內(nèi)，上端為Фo＝1.0，下端為Фo＝-1.0，位置座標法線NL的方向為Фo＝0.0。
此外，上述位置座標定義是一個例子，本發(fā)明并不限制位置座標的定義方法。
圖3是用于表示便攜電話20的朝向的表現(xiàn)的概念圖。如圖3所示，便攜電話20(圖3中是示意性的表示)的朝向，用與基準面的水平方向的角度和垂直方向的角度來表示。基準面可以任意設(shè)定，在圖3中，初始狀態(tài)下是由攝像的用戶10的兩眼和鼻子的位置決定的面RS。圖3的便攜電話20的朝向由與基準面RS的水平方向的角度θc和垂直方向的角度Фc來表示。此外，旋轉(zhuǎn)中心不局限于兩個眼睛的中央，也可以設(shè)定為用戶10的旋轉(zhuǎn)中心附近。
圖4是表示本發(fā)明一個實施方式的顯示控制裝置的結(jié)構(gòu)的方框圖。圖4的顯示控制裝置30根據(jù)作為自身側(cè)攝像機21的攝像圖像的第一圖像IM1、和作為對方側(cè)攝像機22的攝像圖像的第二圖像IM2，計算便攜電話20的位置(ro，θo，Фo)和朝向(θc，Фc)，并對顯示圖像的顯示進行控制。顯示控制裝置30包括如圖4所示的臉部特征提取部31、大小比較部32a、位置比較部32b、形狀比較部32c、存儲器33、距離計算部34、方向計算部35、情景特征提取部36、大小比較部37a、位置比較部37b、形狀比較部37c、存儲器38、朝向計算部39、以及顯示控制部41。此外，由大小比較部32a、存儲器33以及距離計算部34構(gòu)成第一計算單元，由位置比較部37b、形狀比較部37c、存儲器38和方向計算部35構(gòu)成第二計算單元。
作為第一特征提取單元的臉部特征提取部31從第一圖像IM1中，以眼睛、鼻子、嘴等的臉的部位為中心提取臉部特征點，輸出臉部特征信號S1。臉部特征信號S1分別被提供給大小比較器32a、位置比較部32b以及形狀比較部32c。在存儲器33中存儲有預(yù)先提取的臉部特征點作為基準圖形。作為第二特征提取單元的情景特征提取部36從第二圖像IM2提取情景特征點，并輸出情景特征信號S2。情景特征信號S2被分別被提供給大小比較部37a、位置提取部37b以及形狀提取部37c。在存儲器38中存儲有從過去的圖像提取出的特征點、或標記圖形的信息。
大小比較部32a比較從臉部特征信號S1得到的圖像特征(標記圖形)與存儲在存儲器33中的基準圖形的大小。距離計算部34根據(jù)大小比較部32a的比較結(jié)果計算距離ro。
圖5是用于說明求距離ro的方法的一個例子的圖。在圖5的例子中，在瞳孔的中心設(shè)臉部特征點，將連接瞳孔中心之間的線段設(shè)定為標記圖形。在存儲器33中預(yù)先存儲有連接從在距離ro＝0.0的位置拍攝的圖像A1得到的瞳孔中心之間的線段L1、和連接從在ro＝1.0的位置拍攝的圖像A2得到的瞳孔中心之間的線段L2，作為基準標記圖形。線段L1的長度為(de，near，base)，線段L2的長度為(de，far，base)。此時，如果從臉部特征點信號S1所得到的連接瞳孔中心之間的線段的長度(瞳孔間距離)為de，則距離ro由下式表示。
Ro＝(de，near，base-de)/(de，near，base-de，far，base)由于在自身側(cè)攝像機21拍攝的攝像圖像IM1中總是出現(xiàn)用戶10的臉，所以如果是這種設(shè)定連接瞳孔中心之間的線段為標記圖形的方法，則與從任意的攝像情景提取標記的情況相比，可以實現(xiàn)穩(wěn)定的檢測。
此外，這里，雖然使用距離ro＝0.0，1.0兩個位置的標記圖形作為初始數(shù)據(jù)，但是初始數(shù)據(jù)的提供和距離ro的計算并不局限于上述方法。例如，也可以在便攜電話接通電源后的系統(tǒng)初始化時進行瞳孔檢測，以該瞳孔間距離作為基準，計算瞳孔間距離的變化倍率，利用距離ro的變化倍率也可以。
此外，這里，雖然利用連接瞳孔中心的線段作為標記圖形，作為其大小使用線段的長度，但是對于標記圖形的種類、尺寸、個數(shù)以及其大小的定義，也可以考慮各種情況。
另一方面，便攜電話20的方向、即角度θo、Фo，由自身側(cè)攝像機21和對方側(cè)攝像機22協(xié)同檢測是有效的。圖6表示在水平方向移動了便攜電話20的情況下(角度θo)，由自身側(cè)攝像機21和對方側(cè)攝像機22攝像的圖像的圖形。在圖6中，在用戶10的眼睛前面的桌子上放置有鉛筆、筆記本和馬克杯。
即，由于自身側(cè)攝像機21常時反映出作為旋轉(zhuǎn)中心的用戶10，所以即使在便攜電話20在水平方向移動了的情況下，由自身側(cè)攝像機21也可得到大致相同的影像(圖像C1，C2，C3)。當然，由于是手的移動，所以與機器手臂的機械旋轉(zhuǎn)不同，圖像C1～C3不會是完全相同的影像，為此，標記圖形的位置大體互不相同。但是，由于這種差別并不是那么大，所以在從圖像C1～C3檢測角度θo的情況下，其分辨率降低。
另一方面，由于對方側(cè)攝像機22捕獲用戶10所面對側(cè)的情景，因此如圖像B1，B2，B3所示，得到的影像對應(yīng)于便攜電話20的移動大幅度變化。這里，從圖像B2，使用筆記本或鉛筆的邊緣的亮度差等提取特征點，開始角度θo檢測。此后，如果用戶10使便攜電話20向左手側(cè)移動，則如圖像B1所示，筆記本的一部分從圖像中消失，整個鉛筆反映出來。相反地，如果使便攜電話20向右手側(cè)移動，則如圖像B3所示，馬克杯在圖像中出現(xiàn)。于是，多點地、并行地執(zhí)行伴隨著對方側(cè)攝像機22的移動的特征點追蹤。由此，即使一部分特征點從圖像中消失，也可以從其他的特征點檢測角度θo。此外，當從圖像中出現(xiàn)的物體檢測出新的特征點時，將其追加至特征點追蹤的對象。這樣，通過追蹤由對方側(cè)攝像機22攝像的圖像中的特征點，即，通過將從第二圖像IM2中提取的圖像特征與從過去的圖像中提取的圖像特征進行比較，可以高分辨率地檢測出角度θo。但是，由于對方側(cè)攝像機22中所攝像的物體是任意的，因此比起通常對臉部圖像進行攝像的自身側(cè)攝像機21，缺少特征檢測的穩(wěn)定性。
即，由于自身側(cè)攝像機21常對用戶10的臉部進行攝像，因此雖然標記的檢測穩(wěn)定，但是由于移動量小，不容易精細地檢測角度θo。另一方面，由于對方側(cè)攝像機22的攝像圖像大幅度變化，所以特征點的移動量大，可以精細地計算出角度θo，但是由于攝像的情景是任意的，所以標記檢測的精度可能不穩(wěn)定。
由此，由于自身側(cè)攝像機21和對方側(cè)攝像機22一同在角度θo的檢測中具有優(yōu)點和缺點，所以通過相互補充動作，可以使檢測精度提高。例如，當在對方側(cè)攝像機22的圖像中的特征點的檢測失敗時，可以利用自身側(cè)攝像機21，通過從自身側(cè)攝像機21的圖像檢測角度θo，直到恢復(fù)對方側(cè)攝像機22的圖像中的特征點的檢測即可。
此外，例如也可以使用分別由自身側(cè)攝像機21的圖像和對方側(cè)攝像機22的圖像計算出的角度θo的平均值。此外，例如也可以在分別由自身側(cè)攝像機21的圖像和對方側(cè)攝像機22的圖像計算出的角度θo中，不使用與過去的歷史或規(guī)定的閾值相比為特異值的值。
垂直方向的旋轉(zhuǎn)角度Фo也可以與水平方向的旋轉(zhuǎn)角度θo同樣檢測。此外，由于自身側(cè)攝像機21的影像與水平方向的移動相比變化大，因此認為多少提高了檢測精度。但是，自身側(cè)攝像機21和對方側(cè)攝像機22的優(yōu)缺點的關(guān)系與水平方向相同，因此，為了提高位置檢測精度，通過補充動作的協(xié)同處理是有效的。
即，方向計算部35使用由位置比較部32b得到的比較結(jié)果、和由位置比較部37b得到的比較結(jié)果，計算出角度θo，Фo，即便攜電話20的方向。
兩臺攝像機的攝像影像的協(xié)同處理在距離ro的檢測中也是有效的。即，可以由第二圖像IM2使用標記圖形的大小變化計算距離ro。此外，雖然從任意的情景提取標記圖形，因此具有檢測不穩(wěn)定的可能性，但是由于具有從第一圖像IM1提取標記因某種原因而失敗的可能性，所以從第二圖像IM2檢測距離作為后備是有效的。
此外，便攜電話20的朝向可以通過標記圖形的位置比較或形狀比較來檢測。圖7表示在便攜電話20的朝向變化后由自身側(cè)攝像機21攝像的影像的圖像。在圖7中，圖像D1是便攜電話20在水平方向旋轉(zhuǎn)角度θc時的影像。在圖像D1中，用戶10在圖像的橫向(在該例子中是右側(cè))移動。圖像D2是便攜電話20在垂直方向移動Фc時的影像。在圖像D2中，用戶10在圖像的縱向(在該例子中是上)移動。
由此，如果求出標記圖形(例如肩的邊緣)的位置的移動量，則可以檢測便攜電話20的朝向。此外，如果觀注標記圖形的形狀，則由于朝向的變化，圖形變?yōu)楸馄降?，例如圓形變?yōu)闄E圓形。于是，根據(jù)標記圖形的變化檢測便攜電話20的朝向是可能的。同樣，根據(jù)對方側(cè)攝像機22的攝像圖像也可以檢測便攜電話20的朝向。
即，朝向計算部39使用位置比較部32b和形狀比較部32c的比較結(jié)果、以及位置比較部37b和形狀比較部37c的比較結(jié)果，計算角度θc，Фc，即便攜電話20的朝向。
此外，也有在由自身側(cè)攝像機21攝像的第一圖像IM1中，用戶10的臉部的背景中的照明作為標記有效的情況。這種情況也可以將第一圖像IM1提供給情景特征點提取部36，來提取標記圖形。
顯示控制部41將存儲在由用戶10選擇的圖像存儲部43中存儲的圖像顯示在顯示部44中。此外，顯示控制部41根據(jù)由距離計算部34計算的距離ro、由方向計算部35計算的角度θo、Фo、以及由朝向計算部39計算的角度θc、Фc，控制在顯示部44中顯示的圖像(顯示圖像)的顯示。此外，也可以在圖像存儲部43中預(yù)先存儲攝像的朝向或大小不同的多個圖像。
圖8是用于說明放大或縮小顯示的控制的圖。這里，假設(shè)在顯示部44中首先顯示的是顯示圖像E。顯示控制部41根據(jù)由距離計算部34計算的距離ro，進行將在圖8中示出的顯示圖像E放大或縮小后進行顯示的控制。即，如果由用戶10移動便攜電話20，例如縮短距離ro，則顯示控制部41進行控制使得如圖8示出的顯示圖像E1所示放大圖像來進行顯示。另一方面，例如，如果距離ro變長，則顯示控制部41進行控制使得如圖8示出的顯示圖像E2所示縮小圖像來進行顯示。此外，顯示控制部41通過由朝向計算部39計算的角度θc，Фc，控制放大或縮小顯示圖像E時的中心位置。
圖9是用于說明顯示方向的變化顯示的控制的圖。這里，假設(shè)在顯示部44上首先顯示顯示圖像E。顯示控制部41根據(jù)由方向計算部35計算的角度θo，Фo，進行改變圖9中所示的顯示圖像E的顯示方向來顯示的控制。即，如果由用戶10移動便攜電話20，例如向右移動(角度θo為正方向)，則顯示控制部41進行控制使得如圖9中示出的顯示圖像E3那樣顯示從右方看見的圖像。另一方面，例如當向左(角度θo為負方向)，則顯示控制部41進行控制使得如顯示圖像E4那樣顯示從左方看見的圖像。此外，例如如果向上方移動(角度Фo為正方向)，則顯示控制部41進行控制使得如顯示圖像E5那樣顯示從下看見的圖像。另一方面，例如如果向下(角度Фo為負方向)移動，則顯示控制部41進行控制使得如顯示圖像E6那樣顯示從上看見的圖像。
此外，如上所述由用戶10從初始位置移動便攜電話20，顯示控制部41根據(jù)從該初始位置起的移動量(相對值)控制著顯示圖像的顯示，但是并不局限于此。例如，顯示控制部41也可以根據(jù)由距離計算部34計算出的距離ro、由方向計算部35計算出的角度θo、Фo、以及由朝向計算部39計算出的角度θc、Фc的原樣的值(絕對值)，控制顯示圖像的顯示。
此外，雖然顯示控制部41將存儲在圖像存儲部43的圖像顯示到顯示部44，但是也可以不只是便攜電話20所具備的圖像存儲部43中存儲的圖像，而是對如在線購物的圖像等通過互聯(lián)網(wǎng)等網(wǎng)絡(luò)取得的圖像的顯示進行控制。
此外，顯示控制部41在控制顯示圖像的顯示時，也可以不使用攝影的方向或大小不同的多個圖像，而是通過將一個圖像存儲在存儲器42中，并對該圖像進行圖像處理來對顯示圖像的顯示進行控制。
圖10是表示位置朝向檢測電路的其它結(jié)構(gòu)的方框圖。在本實施方式中，為了在以用戶10為旋轉(zhuǎn)中心的旋轉(zhuǎn)座標系中記述便攜電話20的位置，如圖6中說明的，便攜電話20的方向的檢測優(yōu)選使用由對方側(cè)攝像機22拍攝的第二圖像IM2。從這個觀點來看，與圖4的結(jié)構(gòu)相比，圖10的結(jié)構(gòu)大幅度削減電路規(guī)模。
即，在圖10的位置朝向檢測電路30A中，根據(jù)對方側(cè)攝像機22攝像的第二圖像IM2，利用位置比較部37b和方向計算部35A檢測角度θo，Фo。由于對于朝向θc，Фc，標記圖形的位置不同通過位置比較部37b計算，所以利用此方法，通過朝向計算部39A檢測。另一方面，由于從臉部圖像提取標記是穩(wěn)定的，所以利用自身側(cè)攝像機21攝像的第一圖像IM1檢測距離ro。
圖11是表示位置朝向檢測電路的其它結(jié)構(gòu)的方框圖。作為檢測的關(guān)鍵的標記，與任意的被攝體相比，可以更高精度地檢測特定的對象物。因此，在圖11的結(jié)構(gòu)中，通過使從臉部圖像提取標記的處理優(yōu)先，與圖4的結(jié)構(gòu)相比，大幅度削減電路規(guī)模。
即，在圖11的位置檢測電路30B中，根據(jù)由對方側(cè)攝像機22攝像的第二圖像IM2，利用位置比較部37b和方向計算部35執(zhí)行角度θo，Фo的檢測。另一方面，距離ro和朝向θc、Фc，是根據(jù)自身側(cè)攝像機21攝像的第一圖像IM1，利用大小比較部32a、距離計算部34A以及朝向計算部39B檢測臉部圖像作為標記圖形。
還有，在本實施方式中，雖然針對用戶10用手移動便攜電話20的情況為例進行的說明，但是設(shè)備的移動方法是任意的，本發(fā)明對此沒有限制。
此外，雖然兩個攝像機的位置嚴格來講是不同的，但是通常由于攝像機是小型的，所以可以忽視該不同。假設(shè)即使在不能忽視的情況下，也可以通過兩個攝像機的幾何位置換算來修正即可，也可以有采用兩個攝像機位置的平均值的情況。
還有，在本實施方式中，自身側(cè)攝像機21和對方側(cè)攝像機22的光軸是一致的。當光軸一致時，兩個攝像機21，22是幾何學(xué)上最簡單的位置關(guān)系。即，這是使兩個攝像機21，22間的幾何變換簡單化的構(gòu)想。但是，在本發(fā)明中，兩個攝像機的光軸不必是一致的，只要幾何關(guān)系是已知的，兩個攝像機可以是任意的位置關(guān)系。
此外，在本實施方式中，雖然使用的是兩個攝像機，但是例如也可以通過一臺廣角攝像機，覆蓋大視野地攝像。即，兩個攝像的圖像中，其中一個含有圖像特征已知的對象物即可。
產(chǎn)業(yè)上的可利用性本發(fā)明由于可通過兩個攝像機這樣的簡單結(jié)構(gòu)實現(xiàn)，所以可以容易地導(dǎo)入便攜型設(shè)備中。通過逐個將對應(yīng)檢測出的設(shè)備位置或朝向的影像顯示在顯示器中，即使在顯示器的顯示面積小的情況下，由于用戶以顯示器為窗口，看見被攝體的全部，或者通過基于手的感覺可真實地觀察被攝體，所以例如可以大幅度提高在線購物的實用性。此外，本發(fā)明也可以用于實際拍攝和計算機圖形并用時有效的醫(yī)療用途或數(shù)字檔案等的博物館用途。
權(quán)利要求
1.一種顯示控制方法，根據(jù)安裝有幾何關(guān)系已知的第一和第二攝像機的設(shè)備的位置，控制顯示圖像的顯示，其特征在于上述第一攝像機對含有圖像特征已知的對象物的第一圖像進行攝像；上述第二攝像機對含有上述對象物周圍的情景的第二圖像進行攝像；從上述第一圖像提取上述對象物的圖像特征；將提取出的上述對象物的圖像特征與已知的上述對象物的圖像特征進行比較，以計算從上述對象物到上述設(shè)備的距離；從上述第二圖像提取上述第二圖像的圖像特征；使用從上述第一圖像提取出的上述對象物的圖像特征和從上述第二圖像提取出的上述第二圖像的圖像特征中的至少任意一個，計算從上述對象物看到的上述設(shè)備的方向；根據(jù)計算出的從上述對象物到上述設(shè)備的距離、以及上述設(shè)備的方向，控制上述顯示圖像的顯示。
2.根據(jù)權(quán)利要求1所述的顯示控制方法，其特征在于上述對象物是利用上述設(shè)備的用戶的臉。
3.根據(jù)權(quán)利要求1所述的顯示控制方法，其特征在于在計算上述設(shè)備的方向時，將從上述第二圖像提取出的上述第二圖像的圖像特征與從由上述第二攝像機拍攝的過去的圖像中提取出的圖像特征進行比較，以計算上述設(shè)備的方向。
4.根據(jù)權(quán)利要求1所述的顯示控制方法，其特征在于在計算上述設(shè)備的方向時，將從上述第一圖像提取出的上述對象物的圖像特征與已知的上述對象物的圖像特征進行比較，以計算上述設(shè)備的方向。
5.根據(jù)權(quán)利要求1所述的顯示控制方法，其特征在于上述顯示控制方法還使用從上述第一圖像提取出的上述對象物的圖像特征和從上述第二圖像提取出的上述第二圖像的圖像特征中的至少任意一個，計算上述設(shè)備相對于上述對象物的朝向；在控制上述顯示圖像的顯示時，根據(jù)計算出的從上述對象物到上述設(shè)備的距離、上述設(shè)備的方向以及上述設(shè)備的朝向，控制上述顯示圖像的顯示。
6.一種顯示控制裝置，根據(jù)安裝有幾何關(guān)系已知的第一和第二攝像機的設(shè)備的位置，控制顯示圖像的顯示，其特征在于，包括第一特征提取單元，從由上述第一攝像機攝像的、含有圖像特征已知的對象物的第一圖像，提取上述對象物的圖像特征；第一計算單元，將由上述第一特征提取單元提取的上述對象物的圖像特征與已知的上述對象物的圖像特征進行比較，以計算從上述對象物到上述設(shè)備的距離；第二特征提取單元，從由上述第二攝像機攝像的、含有上述對象物周圍情景的第二圖像，提取上述第二圖像的圖像特征；以及第二計算單元，使用由上述第一特征提取單元提取的上述對象物的圖像特征和由上述第二特征提取單元提取的上述第二圖像的圖像特征中的至少任意一個，計算從上述對象物看到的上述設(shè)備的方向。
7.一種便攜設(shè)備，安裝有幾何關(guān)系已知的第一和第二攝像機，其特征在于，包括根據(jù)該便攜設(shè)備的位置控制顯示圖像的顯示的權(quán)利要求6記載的顯示控制裝置。
8.一種程序，用于根據(jù)安裝有幾何關(guān)系已知的第一和第二攝像機的設(shè)備的位置控制顯示圖像的顯示，其特征在于，使計算機執(zhí)行下列步驟從由上述第一攝像機攝像的、含有圖像特征已知的對象物的第一圖像提取上述對象物的圖像特征的步驟；將提取出的上述對象物的圖像特征與已知的上述對象物的圖像特征進行比較，以計算從上述對象物到上述上述設(shè)備的距離的步驟；從由上述第二攝像機攝像的、含有上述對象物的周圍情景的第二圖像提取上述第二圖像的圖像特征的步驟；以及使用提取出的上述對象物的圖像特征和上述第二圖像的圖像特征中的至少任意一個，計算從上述對象物看見的上述設(shè)備的方向的步驟。
全文摘要
提供一種顯示控制方法和顯示控制裝置，可以通過簡單的結(jié)構(gòu)檢測設(shè)備的位置或朝向，并根據(jù)檢測出的設(shè)備的位置或朝向簡單地控制顯示圖像的顯示。在設(shè)備(20)中安裝有兩個攝像機(21，22)。用戶(10)手持設(shè)備(20)，由第一攝像機(21)對含有自己的臉的第一圖像進行攝像，并且由第二攝像機(22)對含有對面?zhèn)惹榫暗牡诙D像進行攝像。顯示控制部(30)從第一圖像提取臉部特征，并且從第二圖像提取情景特征點，將它們與基準圖形等進行比較，以計算到設(shè)備(20)的距離ro以及設(shè)備(20)的方向θo，Φo，并根據(jù)計算出的距離ro和方向θo，Φo控制顯示圖像的顯示。
文檔編號G06T7/00GK1934584SQ20058000886
公開日2007年3月21日 申請日期2005年5月19日 優(yōu)先權(quán)日2004年6月4日
發(fā)明者本村秀人, 菰淵寬仁, 金森克洋 申請人:松下電器產(chǎn)業(yè)株式會社