專(zhuān)利名稱(chēng)：顯示控制裝置和顯示圖像形成方法
技術(shù)領(lǐng)域：
本發(fā)明涉及顯示控制裝置和顯示圖像形成方法，特別涉及顯示通過(guò)廣角相機(jī)拍攝的拍攝圖像的技術(shù)。
背景技術(shù)：
全方位相機(jī)等廣角相機(jī)能夠以一臺(tái)照相機(jī)得到大的視野范圍的圖像，因此在各種領(lǐng)域被廣泛使用。廣角相機(jī)例如用于監(jiān)視系統(tǒng)等。特別是，通過(guò)采用全方位透鏡光學(xué)系統(tǒng)或全方位反光鏡光學(xué)系統(tǒng)，全方位相機(jī)能夠獲得全方位圖像。另外，通過(guò)全方位相機(jī)獲得的全方位圖像一般是同心圓狀的圖像(圓環(huán)形圖像)。另一方面，作為顯示通過(guò)廣角相機(jī)獲得的拍攝圖像的方式，例如有從拍攝圖像中截取并顯示包含注目物體(即，目標(biāo)(target))的區(qū)域的方式(參照專(zhuān)利文獻(xiàn)I)。 現(xiàn)有技術(shù)文獻(xiàn)專(zhuān)利文獻(xiàn)[專(zhuān)利文獻(xiàn)I]日本特開(kāi)2007-311860號(hào)公報(bào)

發(fā)明內(nèi)容
發(fā)明要解決的問(wèn)題然而，截取并顯示包含注目物體的區(qū)域時(shí)，當(dāng)然難以把握截取圖像的位置。也就是說(shuō)，難以一眼就識(shí)別整個(gè)拍攝圖像中的截取圖像的位置。本發(fā)明的目的在于提供顯示控制裝置和顯示圖像形成方法，其顯示特別容易識(shí)別出目標(biāo)的位置的圖像。解決問(wèn)題的方案本發(fā)明的顯示控制裝置的一個(gè)方式為，從拍攝圖像中截取出截取區(qū)域的圖像并輸出的顯示控制裝置，該裝置包括檢測(cè)單元，從所述拍攝圖像中檢測(cè)目標(biāo)；特征部分檢測(cè)單元，檢測(cè)特征部分，該特征部分位于表示所述目標(biāo)的圖像區(qū)域即目標(biāo)圖像之外，并且特征性地表示在所述拍攝圖像中的位置或在所述拍攝圖像的拍攝對(duì)象的空間中的位置；以及設(shè)定單元，設(shè)定所述截取區(qū)域以使其包含所述目標(biāo)圖像和所述特征部分。本發(fā)明的顯示圖像形成方法的一個(gè)方式為，從拍攝圖像中截取出截取區(qū)域的圖像而形成顯示圖像的顯示圖像形成方法，該方法包括從所述拍攝圖像中檢測(cè)目標(biāo)的步驟；檢測(cè)特征部分的步驟，該特征部分位于表示所述目標(biāo)的圖像區(qū)域即目標(biāo)圖像之外，并且特征性地表示在所述拍攝圖像中的位置或在所述拍攝圖像的拍攝對(duì)象的空間中的位置；以及設(shè)定所述截取區(qū)域以使其包含所述目標(biāo)圖像和所述特征部分的步驟。發(fā)明的效果根據(jù)本發(fā)明，能夠提供顯示控制裝置和顯示圖像形成方法，其顯示特別容易識(shí)別出目標(biāo)的位置的圖像。


圖I是表示本發(fā)明的一實(shí)施方式的顯示控制裝置的結(jié)構(gòu)的方框圖。圖2是用于說(shuō)明本發(fā)明的一實(shí)施方式的顯示控制裝置的動(dòng)作的流程圖。圖3是用于說(shuō)明特征部分的檢測(cè)方法的圖(通過(guò)顏色信息的檢測(cè))。圖4是用于說(shuō)明特征部分的檢測(cè)方法的圖(通過(guò)顏色信息的檢測(cè))。圖5是用于說(shuō)明特征部分的檢測(cè)方法的圖(通過(guò)顏色信息的檢測(cè))。圖6是用于說(shuō)明特征部分的檢測(cè)方法的圖(通過(guò)形狀信息的檢測(cè))。圖7是用于說(shuō)明特征部分的檢測(cè)方法的圖(通過(guò)形狀信息的檢測(cè))。
圖8A是用于說(shuō)明以往的圖像截取方法以及本發(fā)明的一實(shí)施方式的圖像截取方法的圖。圖SB是用于說(shuō)明以往的圖像截取方法以及本發(fā)明的一實(shí)施方式的圖像截取方法的圖。圖SC是用于說(shuō)明以往的圖像截取方法以及本發(fā)明的一實(shí)施方式的圖像截取方法的圖。圖8D是用于說(shuō)明以往的圖像截取方法以及本發(fā)明的一實(shí)施方式的圖像截取方法的圖。標(biāo)號(hào)說(shuō)明100顯示控制裝置110目標(biāo)檢測(cè)單元120特征部分檢測(cè)單元130截取區(qū)域候選變更單元140截取區(qū)域設(shè)定單元150截取單元
具體實(shí)施例方式下面，參照附圖詳細(xì)地說(shuō)明本發(fā)明的一實(shí)施方式。[I]結(jié)構(gòu)圖I是表示本發(fā)明的一實(shí)施方式的顯示控制裝置100的結(jié)構(gòu)的方框圖。在圖I中，顯示控制裝置100包括目標(biāo)檢測(cè)單元110、特征部分檢測(cè)單元120、截取區(qū)域候選變更單元130、截取區(qū)域設(shè)定單元140以及截取單元150。顯示控制裝置100與廣角相機(jī)連接，輸入通過(guò)廣角相機(jī)拍攝的拍攝圖像。廣角相機(jī)例如為全方位相機(jī)。另外，顯示控制裝置100與顯示裝置連接，使顯示裝置顯示從拍攝圖像中截取的截取圖像。目標(biāo)檢測(cè)單元110檢測(cè)在拍攝圖像SlO中包含的目標(biāo)。目標(biāo)例如是人。另外，目標(biāo)也可以是車(chē)輛等物體。目標(biāo)檢測(cè)單元110通過(guò)進(jìn)行例如圖案匹配等圖像處理，從拍攝圖像SlO中檢測(cè)出目標(biāo)。目標(biāo)檢測(cè)單元110輸出目標(biāo)信息SII，該目標(biāo)信息Sll表示檢測(cè)出的目標(biāo)的位置和大小。目標(biāo)的位置信息例如為目標(biāo)圖像的中心坐標(biāo)或重心坐標(biāo)。該目標(biāo)圖像是指表示檢測(cè)出的目標(biāo)的圖像區(qū)域，例如為以目標(biāo)的輪廓線(xiàn)包圍的區(qū)域或圍繞目標(biāo)的矩形等閉區(qū)域。另夕卜，目標(biāo)的大小信息是表示目標(biāo)圖像的范圍的信息，例如，通過(guò)對(duì)象的輪廓線(xiàn)上的點(diǎn)的坐標(biāo)群或目標(biāo)圖像的像素大小(寬度、高度)等來(lái)表示。特征部分檢測(cè)單元120檢測(cè)在拍攝圖像SlO中包含的“特征部分”。特征部分是指，對(duì)在拍攝圖像SlO中的位置或者拍攝對(duì)象的空間中的位置賦予特征的、拍攝圖像SlO內(nèi)的部分。在后文中詳細(xì)說(shuō)明該特征部分的檢測(cè)方法。特征部分檢測(cè)單元120輸出表示各特征部分的位置的特征部分信息S12。與目標(biāo)信息同樣，特征部分信息也可以是攝像坐標(biāo)系中的特征部分的坐標(biāo)。另外，特征部分信息也可以是通過(guò)對(duì)構(gòu)成拍攝圖像的像素群中的位于特征部分的像素附加標(biāo)記而獲得的每個(gè)像素的標(biāo)記信息。截取區(qū)域候選變更單元130基于“變更規(guī)則”，依次變更截取區(qū)域候選。截取區(qū)域候選變更單元130根據(jù)變更規(guī)則，變更截取區(qū)域候選的位置和大小的其中至少一方。在后文中詳細(xì)說(shuō)明該變更規(guī)則。截取區(qū)域設(shè)定單元140從通過(guò)截取區(qū)域候選變更單元130獲得的截取區(qū)域候選群 中，選擇截取區(qū)域。具體而言，截取區(qū)域設(shè)定單元140對(duì)通過(guò)截取區(qū)域候選變更單元130獲得的截取區(qū)域候選群的各候選，計(jì)算”判斷基準(zhǔn)參數(shù)”。截取區(qū)域設(shè)定單元140基于判斷基準(zhǔn)參數(shù)，從截取區(qū)域候選群中決定截取區(qū)域。在后文中詳細(xì)說(shuō)明該判斷基準(zhǔn)參數(shù)。截取單元150從拍攝圖像中截取由截取區(qū)域設(shè)定單元140設(shè)定的截取區(qū)域內(nèi)的圖像，并將截取圖像輸出到顯示裝置。[2]動(dòng)作下面說(shuō)明具有上述結(jié)構(gòu)的顯示控制裝置100的動(dòng)作。[2 - I]處理流程的概要圖2是用于說(shuō)明本發(fā)明的一實(shí)施方式的顯示控制裝置100的動(dòng)作的流程圖。在步驟ST201中，目標(biāo)檢測(cè)單元110檢測(cè)在拍攝圖像SlO中包含的目標(biāo)。在步驟ST202中，特征部分檢測(cè)單元120檢測(cè)在拍攝圖像SlO中包含的特征部分。在步驟ST203中，截取區(qū)域候選變更單元130設(shè)定截取區(qū)域候選以使其包含通過(guò)目標(biāo)檢測(cè)單元110檢測(cè)出的目標(biāo)。此時(shí)，截取區(qū)域候選變更單元130僅在首次設(shè)定時(shí)，以使截取區(qū)域候選的區(qū)域中心與目標(biāo)重疊的方式，設(shè)定預(yù)先規(guī)定的大小的截取區(qū)域候選。也就是說(shuō)，以將目標(biāo)圖像配置在截取區(qū)域候選的中央的方式，設(shè)定截取區(qū)域候選。在步驟ST204中，截取區(qū)域候選變更單元130判定在步驟ST203中設(shè)定的第一截取區(qū)域候選內(nèi)是否包含在步驟ST202中檢測(cè)出的特征部分。在第一截取區(qū)域候選內(nèi)未包含特征部分時(shí)(步驟ST204 否”)，在步驟ST205中，截取區(qū)域候選變更單元130判定是否滿(mǎn)足了第一結(jié)束條件。具體而言，以下的情況為第一結(jié)束條件截取區(qū)域候選的變更次數(shù)達(dá)到上限值的情況，或者如后述的環(huán)繞了截取區(qū)域候選的移動(dòng)路徑一周的情況等。在未滿(mǎn)足第一結(jié)束條件時(shí)(步驟ST205 :“否”)，在步驟ST203中，截取區(qū)域候選變更單元130根據(jù)變更規(guī)則，對(duì)截取區(qū)域候選的位置和大小的其中至少一方進(jìn)行變更。如上所述，基本上重復(fù)進(jìn)行該變更，直到截取區(qū)域候選內(nèi)至少包含一個(gè)特征部分為止。在滿(mǎn)足了第一結(jié)束條件時(shí)(步驟ST205 是”)，在步驟ST206中，截取區(qū)域設(shè)定單元140將暫時(shí)存儲(chǔ)的截取區(qū)域候選設(shè)定為截取區(qū)域。另外，在未進(jìn)至步驟ST207 步驟ST210的流程而滿(mǎn)足第一結(jié)束條件時(shí)，截取區(qū)域設(shè)定單元140也可以將由截取區(qū)域候選變更單元130最初設(shè)定的截取區(qū)域候選設(shè)定為截取區(qū)域。在第一截取區(qū)域候選內(nèi)包含特征部分時(shí)(步驟ST204 是”)，在步驟ST207中，截取區(qū)域設(shè)定單元140計(jì)算判定基準(zhǔn)參數(shù)。在步驟ST208中，截取區(qū)域設(shè)定單元140判定第一截取區(qū)域候選是否滿(mǎn)足了“存儲(chǔ)條件”。該存儲(chǔ)條件與上述的判斷基準(zhǔn)參數(shù)有關(guān)。在第一截取區(qū)域候選滿(mǎn)足了存儲(chǔ)條件時(shí)(步驟ST208 是”)，在步驟ST209中，截取區(qū)域設(shè)定單元140暫時(shí)存儲(chǔ)第一截取區(qū)域候選。在步驟ST210中，截取區(qū)域設(shè)定單元140判定是否滿(mǎn)足了 “截取區(qū)域搜索處理的結(jié)束條件(第二結(jié)束條件)”。另外，在第一截取區(qū)域候選未滿(mǎn)足存儲(chǔ)條件時(shí)(步驟ST208 “否”)，不經(jīng)由步驟ST209而進(jìn)行步驟ST210的處理。在未滿(mǎn)足截取區(qū)域搜索處理的結(jié)束條件(第二結(jié)束條件)時(shí)(步驟ST210 否”)， 截取區(qū)域設(shè)定單元140將變更截取區(qū)域候選的指示輸出到截取區(qū)域候選變更單元130。由此，截取區(qū)域候選變更單元130根據(jù)變更規(guī)則對(duì)截取區(qū)域候選的位置和大小的其中至少一方進(jìn)行變更，從而設(shè)定與第一截取區(qū)域候選不同的第二截取區(qū)域候選。在滿(mǎn)足了截取區(qū)域搜索處理的結(jié)束條件(第二結(jié)束條件)時(shí)(步驟ST210 是”)，在步驟ST211中，截取區(qū)域設(shè)定單元140將暫時(shí)存儲(chǔ)的截取區(qū)域候選設(shè)定為截取區(qū)域。[2 - 2]特征部分的檢測(cè)方法<1>通過(guò)顏色信息進(jìn)行特征部分的檢測(cè)的情況特征部分檢測(cè)單元120在拍攝圖像SlO中檢測(cè)色度高的區(qū)域或占有率少的顏色的區(qū)域(即，在柱狀圖中的高度低的顏色的區(qū)域)作為特征部分。例如，招牌通常使用色度高的顏色，因此容易被檢測(cè)為特征部分。例如，如圖3所示，在拍攝對(duì)象區(qū)域?yàn)榉比A街的情況下，通過(guò)觀(guān)察招牌的圖像，能夠容易識(shí)別與該圖像對(duì)應(yīng)的拍攝對(duì)象區(qū)域內(nèi)的位置。因此，通過(guò)使色度高的顏色的區(qū)域包含在截取區(qū)域內(nèi)，用戶(hù)只要觀(guān)察截取圖像就能夠容易識(shí)別與該截取圖像對(duì)應(yīng)的位置。另外，具有特征性顏色的物體容易被檢測(cè)為特征部分。例如，如圖4所示，在拍攝對(duì)象區(qū)域?yàn)榘峦＼?chē)場(chǎng)的情況下，通過(guò)觀(guān)察平時(shí)停放的特征性顏色的汽車(chē)的圖像，能夠容易識(shí)別與該圖像對(duì)應(yīng)的拍攝對(duì)象區(qū)域內(nèi)的位置。因此，通過(guò)使占有率少的顏色的區(qū)域包含在截取區(qū)域內(nèi)，用戶(hù)只要觀(guān)察截取圖像就能夠容易識(shí)別與該截取圖像對(duì)應(yīng)的位置。另外，也可以從顯眼的顏色(例如柱狀圖中的出現(xiàn)頻率低的顏色)等開(kāi)始，對(duì)顏色設(shè)定優(yōu)先級(jí)，從而對(duì)特征部分進(jìn)行加權(quán)。另外，在使特征性顏色的汽車(chē)包含在畫(huà)面內(nèi)的情況下，若是僅在截取圖像內(nèi)的端部存在相當(dāng)于數(shù)個(gè)像素的、表示特征性顏色的汽車(chē)的區(qū)域的截取圖像，則觀(guān)察該圖像的用戶(hù)難以識(shí)別特征性顏色的汽車(chē)的存在。因此，也可以在一定面積以上的顏色區(qū)域包含于截取區(qū)域候選中時(shí)，將該顏色區(qū)域判斷為特征區(qū)域。由此可以避免用戶(hù)在圖像中難以識(shí)別特征性顏色的汽車(chē)的存在的情況。例如，如圖5所示，截取區(qū)域候選I所包含的特征性顏色的區(qū)域由于其面積不超過(guò)基準(zhǔn)值(例如，截取區(qū)域候選的面積的5%)，所以不將其作為特征部分處理。另一方面，截取區(qū)域候選2所包含的特征性顏色的區(qū)域超過(guò)基準(zhǔn)值，因此將其作為特征部分處理?！?>通過(guò)形狀信息進(jìn)行特征部分的檢測(cè)的情況
特征部分檢測(cè)單元120在拍攝圖像SlO中，檢測(cè)邊緣部分、含有高頻分量的部分、或者含有很多棱角的部分(即，通過(guò)Harris算子檢測(cè)出的部分)作為特征部分。例如，如圖6所示，在拍攝對(duì)象區(qū)域內(nèi)包含建筑物時(shí)，柱子、屋頂?shù)冉ㄖ锏妮喞糠秩菀妆粰z測(cè)為特征部分。因?yàn)橹雍臀蓓數(shù)鹊奈恢藐P(guān)系可以預(yù)先把握，所以通過(guò)觀(guān)察柱子、屋頂?shù)冉ㄖ锏妮喞糠值膱D像，能夠容易識(shí)別與該圖像對(duì)應(yīng)的拍攝對(duì)象區(qū)域內(nèi)的位置。因此，通過(guò)使邊緣部分、含有高頻分量的部分或含有很多棱角的部分包含在截取區(qū)域內(nèi)，用戶(hù)只要觀(guān)察截取圖像就能夠容易識(shí)別與該截 取圖像對(duì)應(yīng)的位置。另外，若是僅在截取區(qū)域候選的端部包含一個(gè)棱角的截取圖像，則觀(guān)察該圖像的用戶(hù)不注意到該棱角的存在，或者難以識(shí)別是棱角的哪一部分。因此，也可以在該棱角位于距截取區(qū)域候選的端部規(guī)定像素的內(nèi)側(cè)時(shí)，才采用該棱角作為特征部分。由此，能夠避免用戶(hù)在圖像中難以識(shí)別是否為棱角的情況。例如，將截取區(qū)域候選中的去除了周?chē)康膬?nèi)部區(qū)域(例如，距輪廓線(xiàn)相當(dāng)于截取區(qū)域候選的高度(寬度)的5%的高度(寬度)的內(nèi)側(cè)的區(qū)域)定義為“可識(shí)別區(qū)域”。并且，即使棱角包含于截取區(qū)域候選中，但不包含于可識(shí)別區(qū)域時(shí)，不將該棱角作為特征信息處理。例如，圖7中的棱角I雖然包含于截取區(qū)域候選3，但位于可識(shí)別區(qū)域之外，因此不將其作為截取區(qū)域候選3的特征部分處理。另一方面，棱角2包含于截取區(qū)域候選4的可識(shí)別區(qū)域，因此將其作為截取區(qū)域候選4的特征部分處理?！?>通過(guò)文字信息進(jìn)行特征部分的檢測(cè)的情況特征部分檢測(cè)單元120在拍攝圖像SlO中檢測(cè)文字部分作為特征部分。如上所述，招牌中通常包含文字信息。因此，通過(guò)使文字部分作為特征部分包含在截取區(qū)域中，用戶(hù)只要觀(guān)察截取圖像就能夠容易地識(shí)別與該截取圖像對(duì)應(yīng)的位置。<4>由用戶(hù)輸入的情況將廣角相機(jī)用作監(jiān)視相機(jī)時(shí)，廣角相機(jī)被固定在規(guī)定的位置。也就是說(shuō)，拍攝對(duì)象區(qū)域?yàn)楣潭ǖ?。因此，也可以預(yù)先將拍攝對(duì)象區(qū)域內(nèi)的特征部分和其位置存儲(chǔ)到特征部分檢測(cè)單元120中，并使其包含在截取圖像中。<5>通過(guò)上述檢測(cè)方法〈1>至〈4>的任意的組合進(jìn)行檢測(cè)的情況上述檢測(cè)方法〈1>至〈4>除分別單獨(dú)使用以外，也可以進(jìn)行組合。由此能夠檢測(cè)對(duì)觀(guān)察截取圖像的用戶(hù)更容易識(shí)別的特征部分。例如，在圖4的例子的情況下，在穿著與平時(shí)停放的特征性顏色的汽車(chē)相同的顏色的衣服的人進(jìn)入拍攝對(duì)象區(qū)域內(nèi)時(shí)，通過(guò)將顏色信息作為檢測(cè)基準(zhǔn)以外，還將形狀信息作為檢測(cè)基準(zhǔn)(即，組合檢測(cè)方法〈1>和〈2>)，從而能夠僅將平時(shí)停放的特征性顏色的汽車(chē)準(zhǔn)確地檢測(cè)為特征部分。[2-3]變更規(guī)則〈1>固定截取區(qū)域候選的大小且在包含目標(biāo)圖像的范圍內(nèi)移動(dòng)截取區(qū)域候選的情況在步驟ST203中設(shè)定、變更截取區(qū)域候選時(shí)，截取區(qū)域候選變更單元130將截取區(qū)域候選的大小保持為固定，并在包含目標(biāo)圖像的范圍內(nèi)，變更截取區(qū)域候選的位置。例如，截取區(qū)域候選變更單元130也可以以如下的方式依次變更截取區(qū)域候選的位置使截取區(qū)域候選的區(qū)域中心通過(guò)目標(biāo)圖像的輪廓上或輪廓附近而環(huán)繞目標(biāo)圖像。由此，在將目標(biāo)圖像配置在截取區(qū)域候選的中央附近的同時(shí)，能夠搜索特征部分。<2>將截取區(qū)域候選的基準(zhǔn)位置固定在目標(biāo)圖像的基準(zhǔn)位置且變更截取區(qū)域候選的大小的情況在步驟ST203中設(shè)定、變更截取區(qū)域候選時(shí)，截取區(qū)域候選變更單元130將截取區(qū)域候選的基準(zhǔn)位置(例如區(qū)域中心)固定在目標(biāo)圖像的基準(zhǔn)位置(例如中心)，并且在使截取區(qū)域候選中的目標(biāo)圖像的占有率為規(guī)定值以上的范圍內(nèi)，變更截取區(qū)域候選的大小。這里提出的截取區(qū)域候選的大小的變更包括不改變圖像的縱橫比而進(jìn)行拉近放大(zoom in)和推遠(yuǎn)縮小(zoom out)的情況、改變圖像的縱橫比的情況、或者改變圖像的縱橫比而進(jìn)行拉近放大或推遠(yuǎn)縮小的情況等?！?>在包含目標(biāo)圖像的范圍內(nèi)，移動(dòng)截取區(qū)域候選且變更截取區(qū)域候選的大小的情況在步驟ST203中設(shè)定、變更截取區(qū)域候選時(shí)，截取區(qū)域候選變更單元130在包含目標(biāo)圖像且使截取區(qū)域候選中的目標(biāo)圖像的占有率為規(guī)定值以上的范圍內(nèi)，變更截取區(qū)域候選的位置和大小。例如，截取區(qū)域候選變更單元130在截取區(qū)域候選的區(qū)域中心與目標(biāo)圖像重疊且使截取區(qū)域候選中的目標(biāo)圖像的占有率為規(guī)定值以上的范圍內(nèi)，變更截取區(qū)域候選的位置和大小。由此，在將目標(biāo)圖像配置在截取區(qū)域候選的中央附近且將目標(biāo)圖像的大小保持為規(guī)定等級(jí)以上的同時(shí)，能夠搜索特征部分。例如，截取區(qū)域候選變更單元130將截取區(qū)域候選固定為第一的大小且沿如下的路徑變更截取區(qū)域候選的位置截取區(qū)域候選的區(qū)域中心通過(guò)目標(biāo)圖像的輪廓上或輪廓附近而環(huán)繞目標(biāo)圖像。接著，截取區(qū)域候選變更單元130放大截取區(qū)域候選而固定為第二的大小，并且在相同的路徑上變更截取區(qū)域候選的位置。重復(fù)進(jìn)行上述變更直到截取區(qū)域候選中的目標(biāo)圖像的占有率低于規(guī)定值為止。圖8A 8D是用于說(shuō)明以往的圖像截取方法、以及基于上述的變更規(guī)則〈1>和〈2>的圖像截取方法的圖。圖8A1D表示拍攝對(duì)象區(qū)域?yàn)槭覂?nèi)的情況下的拍攝圖像。在圖8A1D中，分別表示作為拍攝圖像的全方位圖像(圖8A)、以往的截取圖像(圖8B)、根據(jù)變更規(guī)則〈1>的截取圖像(圖SC)、以及根據(jù)變更規(guī)則〈2>的截取圖像(圖8D)。另外，在全方位圖像中，表示與各截取圖像對(duì)應(yīng)的規(guī)定了截取區(qū)域候選的框。并且，以相同的表現(xiàn)形式表示規(guī)定了截取區(qū)域候選的框和對(duì)應(yīng)于截取區(qū)域候選的截取圖像的框。也就是說(shuō)，以實(shí)線(xiàn)表示以往的截取圖像以及規(guī)定了與其對(duì)應(yīng)的截取區(qū)域候選的框，以虛線(xiàn)表示根據(jù)變更規(guī)則〈1>的截取圖像以及規(guī)定了與其對(duì)應(yīng)的截取區(qū)域候選的框，以點(diǎn)劃線(xiàn)表示根據(jù)變更規(guī)則〈2>的截取圖像以及規(guī)定了與其對(duì)應(yīng)的截取區(qū)域候選的框。在圖SB所示的以往的截取圖像中，包含目標(biāo)圖像，未包含特征性圖像。因此，用戶(hù)即使觀(guān)察該截取圖像也不能容易識(shí)別是哪個(gè)位置的截取圖像。另一方面，本實(shí)施方式的顯示控制裝置100首先變更截取區(qū)域候選的位置和大小的其中至少一方，直到在截取區(qū)域候選中包含特征部分為止。在圖8C和圖8D所示的根據(jù)變更規(guī)則〈1>的截取圖像和根據(jù)變更規(guī)則〈2>的截取圖像中，會(huì)議室門(mén)牌為特征部分。若截取圖像中包含室內(nèi)門(mén)口附近的會(huì)議室門(mén)牌，則用戶(hù)能夠容易識(shí)別截取圖像中拍攝到的室內(nèi)的地點(diǎn)(即，拍攝圖像的拍攝對(duì)象的空間中的位置)為門(mén)口附近。[2-4]判斷基準(zhǔn)參數(shù)的計(jì)算
作為判斷基準(zhǔn)參數(shù)，截取區(qū)域設(shè)定單元140計(jì)算以分?jǐn)?shù)評(píng)價(jià)截取區(qū)域候選內(nèi)包含的特征部分的特征分?jǐn)?shù)(score)、截取區(qū)域候選的區(qū)域中心與目標(biāo)圖像的中心的距離、以及截取區(qū)域候選中的目標(biāo)圖像的占有率。這里，特征分?jǐn)?shù)的求法根據(jù)上述的特征部分的檢測(cè)方法而不同。具體而言，在檢測(cè)方法〈1>的情況下，認(rèn)定為特征部分的像素的數(shù)成為特征部分的數(shù)。另外，在檢測(cè)方法〈2>中，對(duì)于包含很多棱角的部分的情況也是，認(rèn)定為特征部分的像素為計(jì)數(shù)單位?？梢允褂迷撎卣鞑糠值臄?shù)目作為特征分?jǐn)?shù)，也可以使用對(duì)特征部分進(jìn)行加權(quán)后相加所得的數(shù)作為特征分?jǐn)?shù)。作為加權(quán)的例子，可以在檢測(cè)方法〈1>中對(duì)顯眼的顏色設(shè)定優(yōu)先級(jí)而對(duì)特征區(qū)域進(jìn)行加權(quán)。在以出現(xiàn)頻率低的順序采用三個(gè)顏色作為特征部分時(shí)，通過(guò)以出現(xiàn)頻率低的順序設(shè)定3、2、1的權(quán)重，從而在同樣的特征部分中，出現(xiàn)頻率越低的顏色的特征部分的特征分?jǐn)?shù)變高。另外，在檢測(cè)方法〈2>中，在檢測(cè)邊緣部分或包含高頻分量的部分的情況下，認(rèn)定為特征部分的塊的數(shù)成為特征部分的數(shù)。在認(rèn)定為特征部分的多個(gè)像素連續(xù)時(shí)，該連續(xù)的整個(gè)像素群為一個(gè)塊。另外，在檢測(cè)方法〈3>的情況下，一個(gè)文字或一個(gè)單詞(即，含有意思的單位)為計(jì)數(shù)單位。也就是說(shuō)，使文字?jǐn)?shù)或單詞數(shù)為特征分?jǐn)?shù)。另外，在檢測(cè)方法〈4>的由用戶(hù)輸入的情況下，根據(jù)以上述的形態(tài)中的哪一形態(tài)指定特征部分，計(jì)數(shù)單位不同。另外，在檢測(cè)方法〈5>的情況下，也可以通過(guò)將對(duì)任意組合的多個(gè)檢測(cè)方法分別計(jì)算出的特征部分的數(shù)進(jìn)行加權(quán)相加，從而計(jì)算復(fù)合參數(shù)。作為加權(quán)的方法，有一種使需要重視的檢測(cè)方法的權(quán)重高的方法。例如，在認(rèn)為基于顏色的特征部分為有效時(shí)，對(duì)于通過(guò)檢測(cè)方法〈1>檢測(cè)出的特征部分，設(shè)權(quán)重為2，而在由于是黑白圖像無(wú)法使用基于顏色的特征部分時(shí)，設(shè)檢測(cè)方法〈1>的權(quán)重為0即可。[2 - 5]存儲(chǔ)條件
在滿(mǎn)足存儲(chǔ)條件時(shí)，截取區(qū)域設(shè)定單元140存儲(chǔ)當(dāng)前作為處理對(duì)象的截取區(qū)域候選。存儲(chǔ)條件為基于存儲(chǔ)基準(zhǔn)，當(dāng)前作為處理對(duì)象的截取區(qū)域候選在當(dāng)前所存儲(chǔ)的截取區(qū)域候選之上。<1>將“特征分?jǐn)?shù)大”設(shè)為存儲(chǔ)基準(zhǔn)的情況截取區(qū)域設(shè)定單元140在當(dāng)前作為處理對(duì)象的截取區(qū)域候選的特征分?jǐn)?shù)的值比當(dāng)前所存儲(chǔ)的截取區(qū)域候選的特征分?jǐn)?shù)的值大的情況下，作為替代存儲(chǔ)該作為處理對(duì)象的截取區(qū)域候選。該存儲(chǔ)基準(zhǔn)可以適用于上述的變更規(guī)則〈1>至〈3>中的任一變更規(guī)則。<2>將“特征分?jǐn)?shù)的值為規(guī)定值以上且將目標(biāo)拍攝在中央部分”設(shè)為存儲(chǔ)基準(zhǔn)的情況
0107]截取區(qū)域設(shè)定單元140在當(dāng)前作為處理對(duì)象的截取區(qū)域候選的特征分?jǐn)?shù)的值為規(guī)定值以上、而且相比于當(dāng)前所存儲(chǔ)的截取區(qū)域候選，當(dāng)前作為處理對(duì)象的截取區(qū)域候選的區(qū)域中心與目標(biāo)圖像的中心的距離更短時(shí)，作為替代存儲(chǔ)該處理對(duì)象的截取區(qū)域候選。該存儲(chǔ)基準(zhǔn)可以適用于上述的變更規(guī)則〈1>和變更規(guī)則〈3>?！?>將“特征分?jǐn)?shù)的值為規(guī)定值以上且拍攝出的目標(biāo)大”設(shè)為存儲(chǔ)基準(zhǔn)的情況截取區(qū)域設(shè)定單元140在當(dāng)前作為處理對(duì)象的截取區(qū)域候選的特征分?jǐn)?shù)的值為規(guī)定值以上、而且當(dāng)前作為處理對(duì)象的截取區(qū)域候選中的目標(biāo)圖像的占有率比在當(dāng)前所存儲(chǔ)的截取區(qū)域候選中的占有率大時(shí)，作為替代存儲(chǔ)該處理對(duì)象的截取區(qū)域候選。該存儲(chǔ)基準(zhǔn)可以適用于上述的變更規(guī)則〈2>和變更規(guī)則〈3>。[2 - 6]截取區(qū)域搜索處理的結(jié)束條件截取區(qū)域設(shè)定單元140在滿(mǎn)足了截取區(qū)域搜索處理的結(jié)束條件(第二結(jié)束條件)時(shí)，將暫時(shí)存儲(chǔ)的截取區(qū)域候選設(shè)定為截取區(qū)域。該結(jié)束條件根據(jù)變更規(guī)則而不同。也就是說(shuō)，在變更規(guī)則〈1>的情況下，結(jié)束條件為截取區(qū)域候選的區(qū)域中心通過(guò)目標(biāo)圖像的輪廓上或輪廓附近而環(huán)繞目標(biāo)圖像一周。另外，在變更規(guī)則〈2>和變更規(guī)則〈3>的情況下，結(jié)束條件為截取區(qū)域候選中的目標(biāo)圖像的占有率變得低于規(guī)定值。如上所述，根據(jù)本實(shí)施方式，在顯示控制裝置100中，截取區(qū)域候選變更單元130 在截取區(qū)域候選未包含特征部分時(shí)，變更截取區(qū)域候選的位置和大小的其中至少一方?；旧?，重復(fù)進(jìn)行該變更直到截取區(qū)域候選中同時(shí)包含目標(biāo)和特征部分為止。由此，對(duì)拍攝對(duì)象區(qū)域內(nèi)的位置賦予特征的特征部分與目標(biāo)一起包含在截取圖像內(nèi)，所以用戶(hù)通過(guò)觀(guān)察該截取圖像，能夠容易識(shí)別目標(biāo)的位置。另外，截取區(qū)域候選變更單元130固定截取區(qū)域候選的大小，并且在截取區(qū)域候選包含目標(biāo)圖像的范圍內(nèi)，變更截取區(qū)域候選的位置。由此，能夠在使目標(biāo)圖像可靠地包含在截取區(qū)域候選內(nèi)之后，搜索包含特征部分的截取區(qū)域候選?；蛘?，截取區(qū)域候選變更單元130將截取區(qū)域候選的基準(zhǔn)位置固定在目標(biāo)圖像的基準(zhǔn)位置，并在截取區(qū)域候選中的目標(biāo)圖像的占有率為規(guī)定值以上的范圍內(nèi)，變更截取區(qū)域候選的大小。由此，能夠在使目標(biāo)圖像可靠地包含在截取區(qū)域候選內(nèi)之后，搜索包含特征部分的截取區(qū)域候選。另外，通過(guò)將上述基準(zhǔn)位置設(shè)為中心，能夠在將目標(biāo)圖像配置在截取區(qū)域候選內(nèi)的中央的同時(shí)，搜索包含特征部分的截取區(qū)域候選?；蛘?，截取區(qū)域候選變更單元130在包含目標(biāo)圖像且使截取區(qū)域候選中的目標(biāo)圖像的占有率為規(guī)定值以上的范圍內(nèi)，變更截取區(qū)域候選的位置和大小。由此，能夠在使目標(biāo)圖像可靠地包含在截取區(qū)域候選內(nèi)之后，搜索包含特征部分的截取區(qū)域候選。還有，即使在目標(biāo)和特征部分之間的距離較大時(shí)，也能夠搜索包含特征部分的截取區(qū)域候選。另外，截取區(qū)域設(shè)定單元140將截取區(qū)域候選群中的包含特征部分最多的截取區(qū)域候選設(shè)定為截取區(qū)域。由此，能夠形成目標(biāo)位置的估計(jì)材料最多的截取圖像?；蛘?，截取區(qū)域設(shè)定單元140在包含規(guī)定數(shù)以上的特征部分的截取區(qū)域候選群中，將其區(qū)域中心與目標(biāo)圖像的中心最近的截取區(qū)域候選設(shè)定為截取區(qū)域。由此，能夠形成包含較多的目標(biāo)位置估計(jì)材料且將目標(biāo)清晰地拍攝在中央附近的截取圖像?；蛘?，截取區(qū)域設(shè)定單元140將包含規(guī)定數(shù)以上的特征部分的截取區(qū)域候選群中的、截取區(qū)域候選中的目標(biāo)圖像的占有率最大的截取區(qū)域候選設(shè)定為截取區(qū)域。
由此，能夠形成包含較多的目標(biāo)位置估計(jì)材料而且清晰地拍攝出目標(biāo)并將目標(biāo)拍攝得較大的截取圖像。另外，截取區(qū)域設(shè)定單元140也可以計(jì)算有關(guān)截取區(qū)域候選群的各候選中的、目標(biāo)圖像的位置、目標(biāo)圖像的大小和所包含的特征部分的個(gè)數(shù)的分?jǐn)?shù)(評(píng)價(jià)分?jǐn)?shù))，并基于該分?jǐn)?shù)從截取區(qū)域候選群中選擇截取區(qū)域。截取區(qū)域設(shè)定單元140存儲(chǔ)有使目標(biāo)圖像的位置、目標(biāo)圖像的大小和所包含的特征部分的個(gè)數(shù)的各個(gè)值與分?jǐn)?shù)關(guān)聯(lián)對(duì)應(yīng)的表。截取區(qū)域設(shè)定單元140使用該表來(lái)計(jì)算分?jǐn)?shù)。另外，在上述說(shuō)明中，截取區(qū)域候選變更單元130進(jìn)行步驟ST204和步驟ST205的處理，但也可以省去這些處理。也就是說(shuō)，可以對(duì)于截取區(qū)域候選變更單元130所設(shè)定的所有截取區(qū)域候選，由截取區(qū)域設(shè)定單元140計(jì)算判斷基準(zhǔn)參數(shù)。但是，通過(guò)采用上述說(shuō)明的處理流程，截取區(qū)域設(shè)定單元140僅對(duì)包含特征部分的截取區(qū)域候選進(jìn)行步驟ST207 ST210的處理即可。而且，截取區(qū)域候選變更單元130執(zhí)行的步驟ST204和步驟 ST205的處理因?yàn)橹灰袛嘤袩o(wú)特征部分即可，所以處理負(fù)荷小。因此，通過(guò)采用上述說(shuō)明的處理流程，可以使整體上的處理負(fù)荷變小，能夠縮短處理時(shí)間。另外，上述的顯示控制裝置100可以由包含存儲(chǔ)器、CPU的個(gè)人計(jì)算機(jī)等計(jì)算機(jī)構(gòu)成。并且，通過(guò)CPU讀出存儲(chǔ)于存儲(chǔ)器的計(jì)算機(jī)程序并執(zhí)行處理，能夠?qū)崿F(xiàn)構(gòu)成顯示控制裝置100的各個(gè)結(jié)構(gòu)元素的功能。另外，在上述說(shuō)明中，在檢測(cè)目標(biāo)并設(shè)定以該目標(biāo)為中心的規(guī)定的大小的截取區(qū)域候選后，變更截取區(qū)域候選的大小或位置以使其包含特征部分，但也可以預(yù)先檢測(cè)拍攝圖像SlO所包含的目標(biāo)和特征部分，并設(shè)定截取區(qū)域以使其基于規(guī)定的條件包含與目標(biāo)靠近的特征部分。2009年12月4日提交的日本專(zhuān)利申請(qǐng)?zhí)卦?009-276621號(hào)所包含的說(shuō)明書(shū)、說(shuō)明書(shū)附圖和說(shuō)明書(shū)摘要的公開(kāi)內(nèi)容全都引用于本申請(qǐng)。工業(yè)實(shí)用性本發(fā)明的顯示控制裝置和顯示圖像形成方法作為顯示特別容易識(shí)別出目標(biāo)的位置的圖像的裝置和方法很有用。
權(quán)利要求
1.顯示控制裝置，從拍攝圖像中截取出截取區(qū)域的圖像并輸出，該裝置包括 檢測(cè)單元，從所述拍攝圖像中檢測(cè)目標(biāo)； 特征部分檢測(cè)單元，檢測(cè)特征部分，該特征部分位于表示所述目標(biāo)的圖像區(qū)域即目標(biāo)圖像之外，并且特征性地表示在所述拍攝圖像中的位置或在所述拍攝圖像的拍攝對(duì)象的空間中的位置；以及 設(shè)定單元，設(shè)定所述截取區(qū)域以使其包含所述目標(biāo)圖像和所述特征部分。
2.如權(quán)利要求I所述的顯示控制裝置， 所述設(shè)定單元包括變更單元，設(shè)定包含了所述目標(biāo)圖像的截取區(qū)域候選，并在所述截取區(qū)域候選未包含所述特征部分時(shí)，變更所述截取區(qū)域候選的位置和大小的其中至少一方， 所述設(shè)定單元將由所述變更單元變更為包含所述目標(biāo)圖像和所述特征部分雙方的截取區(qū)域候選，設(shè)定為所述截取區(qū)域。
3.如權(quán)利要求2所述的顯示控制裝置， 所述變更單元在所述截取區(qū)域候選包含所述目標(biāo)圖像的范圍內(nèi)，變更所述截取區(qū)域候選的位置。
4.如權(quán)利要求2所述的顯示控制裝置， 所述變更單元將所述截取區(qū)域候選的基準(zhǔn)位置固定在所述目標(biāo)圖像的基準(zhǔn)位置，并在使所述截取區(qū)域候選中的所述目標(biāo)圖像的占有率為規(guī)定值以上的范圍內(nèi)，變更所述截取區(qū)域候選的大小。
5.如權(quán)利要求2所述的顯示控制裝置， 所述變更單元在包含所述目標(biāo)圖像且所述截取區(qū)域候選中的所述目標(biāo)圖像的占有率為規(guī)定值以上的范圍內(nèi)，變更所述截取區(qū)域候選的位置和大小。
6.如權(quán)利要求I所述的顯示控制裝置， 所述設(shè)定單元設(shè)定包含所述目標(biāo)圖像和所述特征部分的多個(gè)截取區(qū)域候選，在設(shè)定的所述多個(gè)截取區(qū)域候選即截取區(qū)域候選群中，將滿(mǎn)足規(guī)定的條件的一個(gè)截取區(qū)域候選設(shè)定為所述截取區(qū)域。
7.如權(quán)利要求6所述的顯示控制裝置， 所述設(shè)定單元在所述截取區(qū)域候選群中，將包含所述特征部分最多的截取區(qū)域候選設(shè)定為所述截取區(qū)域。
8.如權(quán)利要求6所述的顯示控制裝置， 所述設(shè)定單元在包含規(guī)定數(shù)以上的所述特征部分的所述截取區(qū)域候選群中，將所述截取區(qū)域候選的區(qū)域中心與所述目標(biāo)圖像的中心最近的截取區(qū)域候選設(shè)定為所述截取區(qū)域。
9.如權(quán)利要求6所述的顯示控制裝置， 所述設(shè)定單元在包含規(guī)定數(shù)以上的所述特征部分的所述截取區(qū)域候選群中，將所述截取區(qū)域候選中的所述目標(biāo)圖像的占有率最大的截取區(qū)域候選設(shè)定為所述截取區(qū)域。
10.如權(quán)利要求6所述的顯示控制裝置， 所述設(shè)定單元計(jì)算有關(guān)在所述截取區(qū)域候選群的各候選中的、所述目標(biāo)圖像的位置、所述目標(biāo)圖像的大小和所包含的所述特征部分的個(gè)數(shù)的評(píng)價(jià)分?jǐn)?shù)，并基于該評(píng)價(jià)分?jǐn)?shù)，從所述截取區(qū)域候選群中選擇所述截取區(qū)域。
11.顯示圖像形成方法，從拍攝圖像中截取出截取區(qū)域內(nèi)的圖像而形成顯示圖像，該方法包括 從所述拍攝圖像中檢測(cè)目標(biāo)的步驟； 檢測(cè)特征部分的步驟，該特征部分位于表示所述目標(biāo)的圖像區(qū)域即目標(biāo)圖像之外，并且特征性地表示在所述拍攝圖像中的位置或在所述拍攝圖像的拍攝對(duì)象的空間中的位置；以及 設(shè)定所述截取區(qū)域以使其包含所述目標(biāo)圖像和所述特征部分的步驟。
全文摘要
公開(kāi)了顯示控制裝置和顯示圖像形成方法，顯示特別容易識(shí)別出目標(biāo)的位置的圖像。在顯示控制裝置(100)中，截取區(qū)域設(shè)定單元(140)將包含目標(biāo)以及對(duì)拍攝對(duì)象區(qū)域內(nèi)的位置賦予特征的特征部分雙方的截取區(qū)域候選設(shè)定為截取區(qū)域，在截取區(qū)域候選中未包含特征部分時(shí)，截取區(qū)域候選變更單元(130)變更截取區(qū)域候選的位置和大小的其中至少一方直到同時(shí)包含目標(biāo)和特征部分為止。由此，對(duì)拍攝對(duì)象區(qū)域內(nèi)的位置賦予特征的特征部分與目標(biāo)一起包含在截取圖像內(nèi)，所以用戶(hù)通過(guò)觀(guān)察該截取圖像，能夠容易識(shí)別目標(biāo)的位置。
文檔編號(hào)G06T1/00GK102771120SQ201080054890
公開(kāi)日2012年11月7日 申請(qǐng)日期2010年10月19日 優(yōu)先權(quán)日2009年12月4日
發(fā)明者三輪道雄, 杉浦雅貴, 松本裕一, 森岡干夫, 橫光澄男, 渡邊偉志, 藤井博文, 藤松健 申請(qǐng)人:松下電器產(chǎn)業(yè)株式會(huì)社