形表示其周邊。在該情況下，UI控制部153例如對(duì)于涂黑的矩形的位置設(shè)定+3，對(duì)于交叉陰影線的矩形的位置設(shè)定+2，對(duì)于陰影線的矩形的位置設(shè)定+1的副圖像區(qū)域獎(jiǎng)勵(lì)。此處，例如如果檢測(cè)部110檢測(cè)注目區(qū)域時(shí)使用的滑動(dòng)窗的尺寸為圖17的矩形四份的尺寸，則當(dāng)滑動(dòng)窗位于圖17的用虛線表示的位置時(shí)，對(duì)由滑動(dòng)窗包圍的區(qū)域的局部得分相加合計(jì)4點(diǎn)的獎(jiǎng)勵(lì)值。并且，此處用整數(shù)表示獎(jiǎng)勵(lì)值，但在用I以下的值表示局部得分的情況下，獎(jiǎng)勵(lì)值也成為小數(shù)的值。
[0164]步驟S803:UI控制部153使處理返回到檢測(cè)部110，以從由檢測(cè)部110進(jìn)行的注目區(qū)域的檢測(cè)重做的方式更新以后的處理。通過該處理的返回而被呼叫的檢測(cè)部110需要進(jìn)行與副圖像區(qū)域獎(jiǎng)勵(lì)D1對(duì)應(yīng)的處理。具體而言，對(duì)二進(jìn)制分類器所算出的局部得分進(jìn)行圖17所示那樣的加上獎(jiǎng)勵(lì)值的處理。結(jié)果，在輸入圖像Dl上用戶指定的位置的周邊區(qū)域被作為注目區(qū)域重新檢測(cè)，對(duì)顯示器160所顯示的輸入圖像Dl上的副圖像、識(shí)別結(jié)果D5的顯示進(jìn)行更新。
[0165]如以上舉出具體例詳細(xì)說明的那樣，在本實(shí)施方式的圖像顯示裝置中，檢測(cè)部110從輸入圖像Dl檢測(cè)注目區(qū)域，生成部120對(duì)檢測(cè)到的注目區(qū)域的圖像(區(qū)域圖像)進(jìn)行提高目視確認(rèn)性的修正而生成副圖像。然后，副圖像接近配置計(jì)劃器130決定所生成的副圖像的配置計(jì)劃，顯示控制部150根據(jù)所決定的配置計(jì)劃將副圖像以知道與輸入圖像Dl內(nèi)的注目區(qū)域(區(qū)域圖像)的對(duì)應(yīng)關(guān)系的方式重疊于輸入圖像Dl并顯示于顯示器160。另外，識(shí)別部140對(duì)合并得分在第二閾值以上的副圖像進(jìn)行識(shí)別處理，當(dāng)識(shí)別處理結(jié)束時(shí)，顯示控制部150將識(shí)別結(jié)果D5以知道與副圖像的對(duì)應(yīng)關(guān)系的方式進(jìn)一步重疊于輸入圖像Dl并顯不于顯不器160。
[0166]進(jìn)而，在本實(shí)施方式的圖像顯示裝置中，將通過識(shí)別部140進(jìn)行了識(shí)別處理的副圖像與未通過識(shí)別部140進(jìn)行識(shí)別處理的副圖像以不同的顯示方式顯示于顯示器160，接受用戶對(duì)于所顯示的副圖像的操作，由此對(duì)由檢測(cè)部110進(jìn)行的注目區(qū)域的檢測(cè)進(jìn)行反映用戶的意圖的反饋。
[0167]因而，根據(jù)本實(shí)施方式的圖像顯示裝置，能夠提供實(shí)現(xiàn)了針對(duì)上述的識(shí)別錯(cuò)誤的復(fù)原功能[Al]、針對(duì)注目區(qū)域的檢測(cè)錯(cuò)誤的復(fù)原功能[A2]、彌補(bǔ)因識(shí)別處理而引起的響應(yīng)性的降低的功能[B]、進(jìn)行適當(dāng)?shù)淖⒁曇龑?dǎo)的功能[C]、以及對(duì)注目區(qū)域的閱覽性進(jìn)行輔助的功能[D]的全部的、基于便利性高的情景圖像識(shí)別的圖像顯示。
[0168](第二實(shí)施方式)
[0169]其次，對(duì)第二實(shí)施方式的圖像顯示裝置進(jìn)行說明。第二實(shí)施方式的圖像顯示裝置具有與上述的第一實(shí)施方式的圖像顯示裝置大致相同的功能，但副圖像、識(shí)別結(jié)果的顯示的方法不同。以下，對(duì)與第一實(shí)施方式的圖像顯示裝置相同的構(gòu)成要素標(biāo)注相同的標(biāo)記并省略重復(fù)的說明，僅對(duì)本實(shí)施方式的特征部分進(jìn)行說明。
[0170]圖18是示出第二實(shí)施方式的圖像顯示裝置的構(gòu)成例的框圖。在第二實(shí)施方式的圖像顯示裝置中，如圖18所示，代替設(shè)置于第一實(shí)施方式的圖像顯示裝置的主系統(tǒng)100的副圖像接近配置計(jì)劃器130，而在主系統(tǒng)100’上設(shè)置副圖像重疊配置計(jì)劃器170。第二實(shí)施方式的圖像顯示裝置的其他結(jié)構(gòu)與第一實(shí)施方式的圖像顯示裝置相同。
[0171]副圖像重疊配置計(jì)劃器170是通過對(duì)用于將副圖像重疊配置于作為其基礎(chǔ)的注目區(qū)域的配置計(jì)劃最佳化的數(shù)學(xué)模型求解、來決定將副圖像重疊在輸入圖像Dl上時(shí)的位置的模塊。副圖像重疊配置計(jì)劃器170作為輸入而接受帶得分的區(qū)域圖像組D2以及帶得分的副圖像組D3，決定帶得分的副圖像組D3所包含的各副圖像的最佳的配置，并輸出包含該配置計(jì)劃信息在內(nèi)的帶配置計(jì)劃的副圖像組D4。
[0172]圖19是示出副圖像重疊配置計(jì)劃器170的處理順序的一例的流程圖。副圖像重疊配置計(jì)劃器170使用帶得分的區(qū)域圖像組D2以及帶得分的副圖像組D3，進(jìn)行以下的步驟S901?步驟S908的處理，求出副圖像的配置計(jì)劃信息，輸出帶配置計(jì)劃的副圖像組D4。
[0173]步驟S901:副圖像重疊配置計(jì)劃器170例如對(duì)圖20所示的重疊配置計(jì)劃最佳化模型M2求解。并且，后面將對(duì)圖20所示的重疊配置計(jì)劃最佳化模型M2進(jìn)行詳細(xì)敘述。
[0174]步驟S902:副圖像重疊配置計(jì)劃器170判定通過步驟S901的處理是否求得解。然后，如果判定的結(jié)果為“是”則朝步驟S904前進(jìn)，如果為“否”則朝步驟S903前進(jìn)。未求得解意味著在帶得分的副圖像組D3所包含的各副圖像不與其他的副圖像以及與其他的副圖像對(duì)應(yīng)的區(qū)域圖像重合的限制下，無法將副圖像重疊配置于作為其基礎(chǔ)的注目區(qū)域。因此，在未求得解的情況下，采取對(duì)作為配置對(duì)象的副圖像進(jìn)行間拔的策略。
[0175]步驟S903:副圖像重疊配置計(jì)劃器170從配置的對(duì)象除去帶得分的副圖像組D3所包含的副圖像中的合并得分最低的副圖像并登記于除去清單緩沖器B3，返回到步驟S901。
[0176]副圖像重疊配置計(jì)劃器170通過反復(fù)進(jìn)行以上的步驟S901?步驟S903的處理，求出將帶得分的副圖像組D3所包含的副圖像的一部分間拔的狀態(tài)下的最佳的配置。但是，此處求出的配置并不限定于成為最佳的配置，也存在過多對(duì)副圖像進(jìn)行間拔的可能性。這是因?yàn)樵诓襟ES903中不基于配置限制而基于合并得分選擇從配置的對(duì)象除去的副圖像的緣故。
[0177]因此，在步驟S904以后的處理中，對(duì)于暫時(shí)成為間拔對(duì)象的副圖像，在保持到此為止獲得的配置的狀態(tài)下嘗試是否能夠進(jìn)行配置。如果判斷為能夠配置，則直接進(jìn)行配置。由此，成為不需要的間拔的對(duì)象的副圖像在這些處理中配置恢復(fù)。
[0178]步驟S904:副圖像重疊配置計(jì)劃器170從除去清單緩沖器B3按照合并得分從高到低的順序一個(gè)一個(gè)地取出副圖像。
[0179]步驟S905:副圖像重疊配置計(jì)劃器170判定在不與其他的副圖像、作為其他的副圖像的基礎(chǔ)的區(qū)域圖像重疊的限制下，是否能夠?qū)⑺〕龅母眻D像重疊配置于作為該副圖像的基礎(chǔ)的注目區(qū)域。然后，如果判定的結(jié)果為“是”則朝步驟S906前進(jìn)，如果為“否”則朝步驟S907前進(jìn)。
[0180]步驟S906:副圖像重疊配置計(jì)劃器170將在步驟S905中判定為能夠配置的副圖像重疊配置于作為該副圖像的基礎(chǔ)的注目區(qū)域。并且，實(shí)際上也通過步驟S905以及步驟S906的處理解決最佳化問題，但此處省略詳細(xì)的說明。
[0181]步驟S907:副圖像重疊配置計(jì)劃器170判定是否從除去清單緩沖器B3取出全部的副圖像。然后，如果判定的結(jié)果為“是”則朝步驟S908前進(jìn)，如果為“否”則返回到步驟S904。
[0182]步驟S908:副圖像重疊配置計(jì)劃器170將作為解而得到的R’ “i = 1，…，N)設(shè)定為副圖像的配置計(jì)劃信息，輸出帶配置計(jì)劃的副圖像組D4。
[0183]此處，參照?qǐng)D20對(duì)在上述步驟S901中使用的重疊配置計(jì)劃最佳化模型M2的算式進(jìn)行說明。圖20是示出重疊配置計(jì)劃最佳化模型M2的一例的圖。
[0184]圖20所示的重疊配置計(jì)劃最佳化模型M2的第一行示出將對(duì)于全部的副圖像將注目區(qū)域(區(qū)域圖像)與對(duì)應(yīng)的副圖像之間的距離、同區(qū)域圖像中的未被對(duì)應(yīng)的副圖像遮蓋而能夠觀察到的面積的線性和進(jìn)行合計(jì)而得的值進(jìn)行最小化的情況。在后面使用圖22對(duì)距離的定義和算出方法進(jìn)行敘述。
[0185]圖20所示的重疊配置計(jì)劃最佳化模型M2的第二行以后示出限制條件。在第三行中，設(shè)置在所有的注目區(qū)域中最接近各副圖像的配置預(yù)定區(qū)域的注目區(qū)域是與該副圖像對(duì)應(yīng)的注目區(qū)域的限制。換言之，要求副圖像以最接近與作為該副圖像的基礎(chǔ)的注目區(qū)域?qū)?yīng)的區(qū)域圖像的方式配置。
[0186]在第四行中，設(shè)置全部的副圖像不相互重合的限制。
[0187]圖21是示出在圖5所示的檢測(cè)結(jié)果例中，根據(jù)作為重疊配置計(jì)劃最佳化模型M2的解而得到的配置計(jì)劃信息配置副圖像的例子的圖。副圖像重疊配置于作為該副圖像的基礎(chǔ)的注目區(qū)域(區(qū)域圖像)，進(jìn)而，所有的副圖像以不與其他的副圖像重合的方式配置。但是，由于在一部分的區(qū)域中不滿足該條件，所以進(jìn)行副圖像的間拔。例如，在圖的右上側(cè)的包含U — 在內(nèi)的注目區(qū)域等中，對(duì)副圖像進(jìn)行間拔。
[0188]并且，圖20所示的重疊配置計(jì)劃最佳化模型M2是在副圖像重疊配置計(jì)劃器170中使用的最佳化模型的一例，但并不限定于此。例如，也可以對(duì)于圖20所示的重疊配置計(jì)劃最佳化模型M2編入要配置的副圖像數(shù)的上限。由此，能夠消除因副圖像的顯示數(shù)多而導(dǎo)致圖像變得難以觀察的不良情況。
[0189]圖22是對(duì)注目區(qū)域(區(qū)域圖像)與對(duì)應(yīng)的副圖像之間的距離的算出方法進(jìn)行說明的圖。注目區(qū)域(區(qū)域圖像)與副圖像之間的距離作為矩形間的距離而被求出。認(rèn)為矩形間的距離為各種各樣，但在本實(shí)施方式中，如圖22所示，將各矩形的重心間的距離d設(shè)定為矩形間的距離。另外，圖22的帶陰影線的部分的面積為圖20所示的重疊配置計(jì)劃最佳化模型M2中的函數(shù)S的值。
[0190]按照以上方式制作的帶配置計(jì)劃的副圖像組D4與第一實(shí)施方式相同，朝顯示控制部150的副圖像顯示控制部151以及識(shí)別部140這雙方輸出。然后，并行地進(jìn)行副圖像顯示控制部151基于配置計(jì)劃信息將副圖像直接顯示于顯示器160的處理、以及識(shí)別部140對(duì)副圖像所包含的文字、字體標(biāo)志等的對(duì)象(注目區(qū)域所包含的對(duì)象)進(jìn)行識(shí)別的處理。另夕卜，當(dāng)識(shí)別部140對(duì)副圖像的識(shí)別處理結(jié)束時(shí)，與第一實(shí)施方式相同，利用顯示控制部150的識(shí)別結(jié)果顯示控制部152將該識(shí)別結(jié)果D5相比副圖像的顯示延遲一拍地顯示于顯示器160。
[0191]圖23是示出作為由識(shí)別結(jié)果顯示控制部152進(jìn)行的處理結(jié)果顯示于顯示器160的圖像的一例的圖。圖23的圖像例表示對(duì)圖21所示的圖像進(jìn)一步追加顯示識(shí)別結(jié)果D5的例子。在顯示器160中，在顯示圖21所示的圖像之后、由識(shí)別部140進(jìn)行的識(shí)別處理結(jié)束的階段，顯示圖23所示的圖像。
[0192]對(duì)于由顯示器160進(jìn)行的圖像的顯示，如上所述，通過副圖像重疊配置計(jì)劃器170的算法在滿足限制中進(jìn)行最佳的配置。具體而言，以滿足副圖像彼此不相互重疊、各副圖像配置于對(duì)應(yīng)的區(qū)域圖像(注目區(qū)域)的附近這兩個(gè)條件，并且使對(duì)于全部的副圖像將副圖像與對(duì)應(yīng)的區(qū)域圖像(注目區(qū)域)的重心間距離以及被副圖像遮蓋的區(qū)域圖像的面積的線性和進(jìn)行合計(jì)而得的值最小的方式配置。但是，在這樣仍舊不滿足限制的情況下，放棄合并得分低的副圖像的顯示，由此來滿足限制。因而，存在因副圖像密集而無法配置全部的副圖像、產(chǎn)生副圖像被間拔的局部的區(qū)域的情況。例如，在圖21、圖23所示的圖像例中，圖像的右上的區(qū)域與此相符，包含U — X”在內(nèi)的注目區(qū)域的副圖像不通過間拔而顯示。
[0193]另一方面，因?yàn)楦眻D像稀疏而在空間上具有富余，也有可能產(chǎn)生顯示至合并得分為低于第二閾值的程度的低的副圖像的局部的區(qū)域。例如，在圖21、圖23所示的圖像例中，圖像的左上的區(qū)域與此相符，由于在空間上具有富余，所以也顯示合并得分低于第二閾值的包含“小巖力J 9”在內(nèi)的注目區(qū)域的副圖像。
[0194]并且，在本實(shí)施方式中，作為表示副圖像與輸入圖像Dl內(nèi)的注目區(qū)域(區(qū)域圖像)的對(duì)應(yīng)關(guān)系的畫面表現(xiàn)，使用將副圖像重疊配置于注目區(qū)域(區(qū)域圖像)的畫面表現(xiàn)，但并不限定于此。例如，為了明確指出副圖像與輸入圖像Dl內(nèi)的注目區(qū)域(區(qū)域圖像)的對(duì)應(yīng)關(guān)系，也可以將引出線等的畫面表現(xiàn)追加到重疊配置而加以利用，或者單獨(dú)地加以利用。
[0195]另外，在本實(shí)施方式中，作為表示識(shí)別結(jié)果D5與副圖像的對(duì)應(yīng)關(guān)系的畫面表現(xiàn)，與第一實(shí)施方式相同，使用將識(shí)別