圖像顯示裝置以及圖像顯示方法
【專利說(shuō)明】圖像顯示裝置以及圖像顯示方法
[0001]本申請(qǐng)享受于2013年10月31日在先提出的日本國(guó)專利申請(qǐng)?zhí)?013 — 227350的優(yōu)先權(quán)，并編入其全部?jī)?nèi)容。
技術(shù)領(lǐng)域
[0002]實(shí)施方式涉及圖像顯示裝置以及圖像顯示方法。
【背景技術(shù)】
[0003]以往，已知有對(duì)輸入圖像進(jìn)行文字識(shí)別、目標(biāo)識(shí)別等的識(shí)別處理，并將識(shí)別處理的結(jié)果與輸入圖像重疊并加以顯示的技術(shù)。應(yīng)用了該技術(shù)的圖像顯示裝置，能夠?qū)⒃谳斎雸D像中被推測(cè)為用戶關(guān)心的對(duì)象以容易理解的形式提示給用戶。但是，到對(duì)于圖像的識(shí)別處理獲得結(jié)果為止需要時(shí)間，因此，例如在將通過(guò)便攜式終端的照相機(jī)拍攝的情景圖像作為輸入圖像的應(yīng)用等中，從響應(yīng)性的觀點(diǎn)出發(fā)謀求改善。

【發(fā)明內(nèi)容】

[0004]實(shí)施方式的圖像顯示裝置具備檢測(cè)部、生成部以及顯示控制部。檢測(cè)部從輸入圖像檢測(cè)注目區(qū)域。生成部對(duì)檢測(cè)到的上述注目區(qū)域的圖像實(shí)施提高目視確認(rèn)性的修正且是包含尺寸修正、顏色修正以及正對(duì)修正中的至少某一個(gè)的上述修正而生成副圖像，其中，上述尺寸修正對(duì)上述注目區(qū)域的圖像的尺寸進(jìn)行調(diào)整，上述顏色修正對(duì)上述注目區(qū)域的圖像的顏色進(jìn)行調(diào)整，上述正對(duì)修正以使得上述注目區(qū)域所包含的對(duì)象成為從正面觀察的圖像的方式對(duì)上述注目區(qū)域的圖像進(jìn)行轉(zhuǎn)換。顯示控制部使所生成的上述副圖像以伴隨著表示與上述注目區(qū)域的對(duì)應(yīng)關(guān)系的畫(huà)面表現(xiàn)的形式與上述輸入圖像一起顯示于顯示器。
【附圖說(shuō)明】
[0005]圖1是示出第一實(shí)施方式的圖像顯示裝置的構(gòu)成例的框圖。
[0006]圖2是示出輸入圖像的具體例的圖。
[0007]圖3是示出目標(biāo)檢測(cè)器的處理順序的一例的流程圖。
[0008]圖4是對(duì)圖3的步驟S108以及步驟S109的處理進(jìn)行說(shuō)明的圖。
[0009]圖5是示出檢測(cè)部對(duì)圖2的輸入圖像進(jìn)行了處理的情況下的檢測(cè)結(jié)果例的圖。
[0010]圖6是示出正對(duì)修正器的處理順序的一例的流程圖。
[0011]圖7是示出顏色修正器的處理順序的一例的流程圖。
[0012]圖8是示出副圖像接近配置計(jì)劃器的處理順序的一例的流程圖。
[0013]圖9是示出接近配置計(jì)劃最佳化模型的一例的圖。
[0014]圖10是示出在圖5的檢測(cè)結(jié)果例中、根據(jù)作為接近配置計(jì)劃最佳化模型的解而得至IJ的配置計(jì)劃信息配置副圖像的例子的圖。
[0015]圖11是對(duì)注目區(qū)域(區(qū)域圖像)與對(duì)應(yīng)的副圖像的距離的算出方法進(jìn)行說(shuō)明的圖。
[0016]圖12是示出副圖像顯示控制部的處理順序的一例的流程圖。
[0017]圖13是示出作為由識(shí)別結(jié)果顯示控制部進(jìn)行處理的結(jié)果顯示于顯示器的圖像的一例的圖。
[0018]圖14是示出正誤識(shí)(false-positive)的檢測(cè)錯(cuò)誤的訂正的處理順序的一例的流程圖。
[0019]圖15是示出負(fù)誤識(shí)的(false-negative)檢測(cè)錯(cuò)誤的訂正的處理順序的一例的流程圖。
[0020]圖16是示出未檢測(cè)的訂正的處理順序的一例的流程圖。
[0021]圖17是對(duì)副圖像區(qū)域獎(jiǎng)勵(lì)進(jìn)行說(shuō)明的圖。
[0022]圖18是示出第二實(shí)施方式的圖像顯示裝置的構(gòu)成例的框圖。
[0023]圖19是示出副圖像重疊配置計(jì)劃器的處理順序的一例的流程圖。
[0024]圖20是示出重疊配置計(jì)劃最佳化模型的一例的圖。
[0025]圖21是示出根據(jù)作為重疊配置計(jì)劃最佳化模型的解而得到的配置計(jì)劃信息配置副圖像的例子的圖。
[0026]圖22是對(duì)注目區(qū)域(區(qū)域圖像)與對(duì)應(yīng)的副圖像的距離的算出方法進(jìn)行說(shuō)明的圖。
[0027]圖23是示出作為由識(shí)別結(jié)果顯示控制部進(jìn)行處理的結(jié)果顯示于顯示器的圖像的一例的圖。
[0028]圖24是示出第三實(shí)施方式的圖像顯示裝置的構(gòu)成例的框圖。
[0029]圖25是示出作為副圖像顯示控制部的處理的結(jié)果顯示于顯示器的圖像的一例的圖。
[0030]圖26是示出作為識(shí)別結(jié)果顯示控制部的處理的結(jié)果顯示于顯示器的圖像的一例的圖。
[0031]圖27是對(duì)圖像顯示裝置的硬件結(jié)構(gòu)進(jìn)行說(shuō)明的圖。
【具體實(shí)施方式】
[0032]以下，對(duì)實(shí)施方式的圖像顯示裝置、圖像顯示方法以及程序進(jìn)行詳細(xì)說(shuō)明。以下所示出的實(shí)施方式是應(yīng)用到圖像顯示裝置的應(yīng)用例，該圖像顯示裝置具有輸入通過(guò)例如照相機(jī)拍攝的情景圖像，對(duì)該情景圖像進(jìn)行文字識(shí)別、目標(biāo)識(shí)別等的識(shí)別處理，將該識(shí)別結(jié)果與情景圖像一起進(jìn)行顯示的功能。以下，將這樣的功能稱作情景圖像識(shí)別。并且，可作為實(shí)施方式加以應(yīng)用的圖像顯示裝置并不限定于具有情景圖像識(shí)別的功能，能夠應(yīng)用于顯示輸入圖像的所有的圖像顯示裝置。
[0033]情景圖像識(shí)別的一個(gè)典型應(yīng)用是向智能手機(jī)等的帶照相機(jī)的便攜式終端的應(yīng)用。當(dāng)用戶對(duì)著情景舉起照相機(jī)時(shí)，該終端對(duì)照相機(jī)捕捉到的情景圖像進(jìn)行文字、目標(biāo)的識(shí)別，在顯示器上顯示在情景圖像上重疊了文字列等的識(shí)別結(jié)果的圖像。向車(chē)載裝置的應(yīng)用也是一個(gè)典型應(yīng)用。對(duì)安裝于車(chē)前方的照相機(jī)捕捉到的情景圖像進(jìn)行文字、目標(biāo)的識(shí)別，在前窗的情景中重疊顯示識(shí)別結(jié)果。
[0034]在情景圖像識(shí)別中，可能會(huì)產(chǎn)生文字識(shí)別、目標(biāo)識(shí)別等的識(shí)別處理的識(shí)別錯(cuò)誤的失誤、從情景圖像檢測(cè)包含成為識(shí)別處理的對(duì)象的文字、目標(biāo)的區(qū)域(以下，稱作注目區(qū)域。)時(shí)的檢測(cè)錯(cuò)誤的失誤。因此，為了實(shí)現(xiàn)實(shí)用的應(yīng)用，要求準(zhǔn)備針對(duì)識(shí)別錯(cuò)誤的復(fù)原功能[Al]、針對(duì)注目區(qū)域的檢測(cè)錯(cuò)誤的復(fù)原功能[A2]。
[0035]另外，通過(guò)情景圖像識(shí)別處理的情景圖像存在被大范圍圖像化、高析像度化的傾向。因此，在今后的情景圖像識(shí)別中，還要求針對(duì)以下所示的問(wèn)題點(diǎn)的對(duì)策。
[0036]伴隨著情景圖像的高析像度化，文字識(shí)別、目標(biāo)識(shí)別等的識(shí)別處理所需要的時(shí)間增加，響應(yīng)性的降低成為問(wèn)題。由于響應(yīng)性對(duì)情景圖像識(shí)別的便利性造成大的影響，因此期望實(shí)現(xiàn)彌補(bǔ)因識(shí)別處理而引起的響應(yīng)性的降低的功能[B]。
[0037]伴隨著情景圖像的大范圍圖像化，在情景圖像整體中注目區(qū)域所占的比例變小。另外，從一個(gè)情景圖像檢測(cè)多個(gè)注目區(qū)域的情形也變多。在這樣的狀況下，僅將識(shí)別結(jié)果簡(jiǎn)單地重疊顯示于情景圖像，容易產(chǎn)生識(shí)別結(jié)果的漏看。因此，期望實(shí)現(xiàn)進(jìn)行適當(dāng)?shù)淖⒁曇龑?dǎo)的功能[C]。
[0038]情景圖像被高析像度化，與此相對(duì)，顯示器(尤其是便攜式終端的顯示器)的大小受到限制，所以注目區(qū)域的圖像變得致密，尤其是對(duì)于老人、眼睛不好使的人而言，難以確認(rèn)處于注目區(qū)域的對(duì)象。因此，期望實(shí)現(xiàn)對(duì)注目區(qū)域的閱覽性進(jìn)行輔助的功能[D]。
[0039]在本實(shí)施方式中，提出實(shí)現(xiàn)了上述的[Al]、[A2]、[B]、[C]、[D]的全部功能的基于情景圖像識(shí)別的圖像顯示。
[0040]實(shí)施方式的圖像顯示裝置，首先，從輸入圖像(本實(shí)施方式中為情景圖像)對(duì)包含作為文字識(shí)別的對(duì)象的文字、作為目標(biāo)識(shí)別的對(duì)象的目標(biāo)的注目區(qū)域的全部進(jìn)行檢測(cè)。其次，圖像顯示裝置對(duì)所檢測(cè)到的各注目區(qū)域的圖像實(shí)施尺寸修正、正對(duì)修正、顏色修正等的提高目視確認(rèn)性的修正，分別生成與各注目區(qū)域?qū)?yīng)的副圖像。其次，圖像顯示裝置使用知道與原來(lái)的注目區(qū)域的對(duì)應(yīng)關(guān)系的畫(huà)面表現(xiàn)將所生成的各副圖像與輸入圖像一起顯示于顯示器。另外，圖像顯示裝置對(duì)所生成的各副圖像所包含的文字、目標(biāo)進(jìn)行識(shí)別處理，在結(jié)束識(shí)別處理的時(shí)刻，使用知道與副圖像的對(duì)應(yīng)關(guān)系的畫(huà)面表現(xiàn)將該識(shí)別結(jié)果進(jìn)一步顯示于顯示器。
[0041]這樣，實(shí)施方式的圖像顯示裝置在對(duì)注目區(qū)域所包含的文字、目標(biāo)進(jìn)行識(shí)別處理之前，生成使注目區(qū)域的圖像的目視確認(rèn)性提高的副圖像，以知道與注目區(qū)域的對(duì)應(yīng)關(guān)系的方式顯示于顯示器。由此，副圖像起到識(shí)別結(jié)果的預(yù)覽的作用，從而實(shí)現(xiàn)彌補(bǔ)因識(shí)別處理而引起的響應(yīng)性的降低的功能[B]。另外，由于以知道與注目區(qū)域的對(duì)應(yīng)關(guān)系的方式顯示副圖像，所以實(shí)現(xiàn)進(jìn)行適當(dāng)?shù)淖⒁曇龑?dǎo)的功能[C]。進(jìn)而，由于副圖像是使注目區(qū)域的圖像的目視確認(rèn)性提高的圖像，所以也實(shí)現(xiàn)對(duì)注目區(qū)域的閱覽性進(jìn)行輔助的功能[D]。
[0042]另外，假設(shè)當(dāng)在文字、目標(biāo)的識(shí)別處理中產(chǎn)生錯(cuò)誤的情況下，通過(guò)參照副圖像能夠確認(rèn)正解，因此實(shí)現(xiàn)針對(duì)識(shí)別錯(cuò)誤的復(fù)原功能[Al]。
[0043]實(shí)施方式的圖像顯示裝置也可以在從輸入圖像檢測(cè)到的注目區(qū)域中按照預(yù)先確定的規(guī)則選擇要進(jìn)行識(shí)別處理的注目區(qū)域。在該情況下，優(yōu)選將從選擇為要進(jìn)行識(shí)別處理的注目區(qū)域生成的副圖像(第一副圖像)與從不進(jìn)行識(shí)別處理的注目區(qū)域生成的副圖像(第二副圖像)以不同的顯示方式顯示于顯示器。例如，第一副圖像顯示為在右上附加“X”按鈕的透明度低的圖像，第二副圖像顯示為透明度比第一副圖像的透明度高的(能夠透過(guò)而看到下面的輸入圖像)圖像。
[0044]在該情況下，用戶如果判斷為與第一副圖像對(duì)應(yīng)的注目區(qū)域不是應(yīng)當(dāng)作為識(shí)別處理的對(duì)象，則例如通過(guò)操作「X」按鈕，能夠變更為將該注目區(qū)域不作為識(shí)別處理的對(duì)象的處理。另外，用戶如果判斷為與第二副圖像對(duì)應(yīng)的注目區(qū)域應(yīng)當(dāng)作為識(shí)別處理的對(duì)象，則例如通過(guò)點(diǎn)擊配置第二副圖像的區(qū)域，能夠變更為將該注目區(qū)域作為識(shí)別處理的對(duì)象的處理。這些用戶的操作除了反映到該時(shí)刻的畫(huà)面顯示之外，還作為用于對(duì)檢測(cè)注目區(qū)域的檢測(cè)部進(jìn)行再訓(xùn)練的事例加以使用，由此起到下次以后的利用的檢測(cè)制度的改善效果。由此，實(shí)現(xiàn)針對(duì)注目區(qū)域的檢測(cè)錯(cuò)誤的復(fù)原功能[A2]。
[0045]如以上那樣，實(shí)施方式的圖像顯示裝置能夠全部實(shí)現(xiàn)針對(duì)識(shí)別錯(cuò)誤的復(fù)原功能[Al]、針對(duì)注目區(qū)域的檢測(cè)錯(cuò)誤的復(fù)原功能[A2]、彌補(bǔ)因識(shí)別處理而引起的響應(yīng)性的降低的功能[B]、進(jìn)行適當(dāng)?shù)淖⒁曇龑?dǎo)的功能[C]、以及對(duì)注目區(qū)域的閱覽性進(jìn)行輔助的功能[D]，將在輸入圖像中被推測(cè)為用戶關(guān)心的對(duì)象以容易理解的形式提示給用戶。以下，參照附圖對(duì)實(shí)施方式的圖像顯示裝置的具體例進(jìn)行更詳細(xì)的說(shuō)明。
[0046](第一實(shí)施方式)
[0047]圖1是示出第一實(shí)施方式的圖像顯示裝置的構(gòu)成例的框圖。如圖1所示，第一實(shí)施方式的圖像顯示裝置具備主系統(tǒng)100、檢測(cè)部教練機(jī)200以及識(shí)別部教練機(jī)300。
[0048]主系統(tǒng)100是作為本實(shí)施方式的圖像顯示裝置的核心的系統(tǒng)。主系統(tǒng)100從輸入圖像檢測(cè)注目區(qū)域，對(duì)所檢測(cè)到的注目區(qū)域的圖像進(jìn)行提高目視確認(rèn)性的修正而生成副圖像。然后，主系統(tǒng)100將所生成的副圖像與輸入圖像一起進(jìn)行顯示。進(jìn)而，主系統(tǒng)100對(duì)所檢測(cè)到的注目區(qū)域進(jìn)行識(shí)別處理，并顯示該識(shí)別結(jié)果。
[0049]檢測(cè)部教練機(jī)200以及識(shí)別部教練機(jī)300是對(duì)在主系統(tǒng)100的檢測(cè)功能以及識(shí)別功能中使用的識(shí)別模型組進(jìn)行訓(xùn)練的副系統(tǒng)。這些檢測(cè)部教練機(jī)200以及識(shí)別部教練機(jī)300只要在利用主系統(tǒng)100之前預(yù)先執(zhí)行一次對(duì)識(shí)別模型組進(jìn)行訓(xùn)練的處理即可。但是，有時(shí)根據(jù)來(lái)自主系統(tǒng)100的呼叫，在利用主系統(tǒng)100的期間執(zhí)行。
[0050]以下，對(duì)主系統(tǒng)100的詳細(xì)情況進(jìn)行說(shuō)明，在該說(shuō)明中，也提及到檢測(cè)部教練機(jī)200以及識(shí)別部教練機(jī)300。
[0051]如圖1所示，主系統(tǒng)100具備檢測(cè)部110、生成部120、副圖像接近配置計(jì)劃器130、識(shí)別部140、顯示控制部150以及顯示器160。并且，圖1中的圓角四邊形表示構(gòu)成主系統(tǒng)100的上述各模塊110?150的輸入輸出數(shù)據(jù)。
[0052]檢測(cè)部110接受輸入圖像D1，從該輸入圖像Dl對(duì)存在應(yīng)當(dāng)注目的對(duì)象的區(qū)域亦即注目區(qū)域的全部進(jìn)行檢測(cè)。然后，檢測(cè)部I1將從輸入圖像Dl檢測(cè)到的注目區(qū)域的圖像與檢測(cè)時(shí)的