本發(fā)明涉及用于根據(jù)第1特征矢量來(lái)預(yù)測(cè)第2特征矢量的系統(tǒng)、方法以及程序。

背景技術(shù)：

可能有如下情況：學(xué)習(xí)2個(gè)信息之間的關(guān)系，利用該學(xué)習(xí)結(jié)果而針對(duì)處理對(duì)象信息預(yù)測(cè)新的信息。例如在超分辨技術(shù)中，由低分辨率的原圖像生成高分辨率的圖像。這種超分辨技術(shù)隨著顯示器裝置的高分辨率化而受到注目，逐漸被各種設(shè)備等采用。在這種超分辨技術(shù)中，類(lèi)推失去的高頻成分。例如在將某個(gè)圖像數(shù)據(jù)的像素尺寸沿橫向和縱向放大的情況下，計(jì)算相鄰的2個(gè)像素的中間值，用該中間值的像素來(lái)填補(bǔ)這些像素之間。在該計(jì)算方法中，失去的高頻成分不再現(xiàn)，放大圖像的邊界線變得模糊。另一方面，在超分辨技術(shù)中，分析像素的圖案，計(jì)算認(rèn)為適當(dāng)?shù)南袼兀糜?jì)算出的像素填補(bǔ)原圖像的相鄰的像素彼此之間，從而類(lèi)推高頻成分。

在超分辨技術(shù)中，將補(bǔ)片超分辨率和高頻成分預(yù)測(cè)結(jié)合(例如參照非專(zhuān)利文獻(xiàn)1)。在該文獻(xiàn)中記載的技術(shù)中，作為從低頻成分預(yù)測(cè)高頻成分的方法，將低頻和高頻使用pca降低維度，使用回歸分析來(lái)預(yù)測(cè)高分辨圖像。在這種情況下，作為后處理而采用雙向過(guò)濾器。

另外，使用較少的硬件資源來(lái)高速地進(jìn)行處理的技術(shù)也正在研究(例如，參照專(zhuān)利文獻(xiàn)1)。在該文獻(xiàn)中記載的技術(shù)中，首先將作為處理對(duì)象的圖像分為場(chǎng)面。使用適合場(chǎng)面的字典表，對(duì)字典進(jìn)行樹(shù)檢索，從而類(lèi)推失去的高頻成分。為了使字典表的檢索高速化，使用主成分分析，將作為檢索關(guān)鍵而使用的序號(hào)位表(indexbitmap)變換成作為標(biāo)量值的第一主成分以及第二主成分，并且由第一主成分和第二主成分進(jìn)行分組，計(jì)算其平均值。

現(xiàn)有技術(shù)文獻(xiàn)

專(zhuān)利文獻(xiàn)

專(zhuān)利文獻(xiàn)1：日本特開(kāi)2013-26659號(hào)公報(bào)

非專(zhuān)利文獻(xiàn)

非專(zhuān)利文獻(xiàn)1：columbiauniversity，weiliu1，其他，「hallucinatingfaces：tensorpatchsuper-resolutionandcoupledresiduecompensation」、[online]、columbiauniversity、2014年9月23日検索、互聯(lián)網(wǎng)<http://www.ee.columbia.edu/-wliu/cvpr05_liuwei1.pdf>

技術(shù)實(shí)現(xiàn)要素：

發(fā)明所要解決的課題

如上所述，在超分辨技術(shù)中，進(jìn)行了用于高速化、高畫(huà)質(zhì)化的各種嘗試。但是，在非專(zhuān)利文獻(xiàn)1所述的技術(shù)中，雖然進(jìn)行主成分分析，但是高分辨率圖像是通過(guò)回歸分析進(jìn)行預(yù)測(cè)。在這種情況下，當(dāng)針對(duì)每個(gè)主成分系數(shù)獨(dú)立地回歸學(xué)習(xí)低分辨率和高分辨率之間的關(guān)系時(shí)，良好精度的主成分系數(shù)和較差的精度的主成分系數(shù)混在一起，所以有時(shí)整體精度出現(xiàn)問(wèn)題。

另外，在專(zhuān)利文獻(xiàn)1所述的技術(shù)中，為了削減字典數(shù)據(jù)的數(shù)據(jù)量和檢索高速化而進(jìn)行主成分分析，但是沒(méi)有考慮主成分系數(shù)的方差。

本發(fā)明的目的在于提供一種用于根據(jù)第1信息、即特征矢量來(lái)有效地預(yù)測(cè)第2信息、即特征矢量的系統(tǒng)、方法以及程序。

用于解決課題的手段

在本發(fā)明的一個(gè)方式中，提供用于預(yù)測(cè)信息的系統(tǒng)。該系統(tǒng)具備：存儲(chǔ)學(xué)習(xí)對(duì)象的學(xué)習(xí)對(duì)象存儲(chǔ)部；存儲(chǔ)學(xué)習(xí)結(jié)果的學(xué)習(xí)結(jié)果存儲(chǔ)部；以及與輸入部連接的控制部。所述控制部執(zhí)行學(xué)習(xí)處理，在該學(xué)習(xí)處理中，針對(duì)被存儲(chǔ)于所述學(xué)習(xí)對(duì)象存儲(chǔ)部的每個(gè)學(xué)習(xí)對(duì)象計(jì)算第1特征矢量以及第2特征矢量，將所述第1特征矢量的主成分系數(shù)矢量和第2特征矢量的主成分系數(shù)矢量除以表示所述主成分系數(shù)矢量的偏差的指標(biāo)，從而生成行矢量，使用所有的學(xué)習(xí)對(duì)象的所述行矢量進(jìn)行主成分分析，從而由第1特征矢量的主成分系數(shù)矢量和第2特征矢量的主成分系數(shù)矢量生成主成分基礎(chǔ)矢量，將所述主成分基礎(chǔ)矢量與所述第1特征矢量的平均矢量以及第2特征矢量的平均矢量一起存儲(chǔ)于所述學(xué)習(xí)結(jié)果存儲(chǔ)部。另外，所述控制部執(zhí)行預(yù)測(cè)處理，在該預(yù)測(cè)處理中，計(jì)算被所述輸入部指定的處理對(duì)象的第1特征矢量的主成分系數(shù)矢量，使用被存儲(chǔ)于所述學(xué)習(xí)結(jié)果存儲(chǔ)部的所述主成分基礎(chǔ)矢量，計(jì)算第2特征矢量的主成分系數(shù)矢量，使用所述第2特征矢量的主成分系數(shù)矢量，計(jì)算所述處理對(duì)象的第2特征矢量。由此，能有效地且準(zhǔn)確地預(yù)測(cè)第2特征矢量。

在一個(gè)實(shí)施方式中，所述控制部能將所述主成分基礎(chǔ)矢量和所述第1特征矢量的成分正交化，并存儲(chǔ)于所述學(xué)習(xí)結(jié)果存儲(chǔ)部。由此，利用正交化，能使計(jì)算高速化。

在一個(gè)實(shí)施方式中，所述控制部執(zhí)行后處理，在所述后處理中，將計(jì)算出的高分辨率信息(第2特征矢量)壓縮，計(jì)算已壓縮的高分辨率信息和所述處理對(duì)象的低分辨率信息(第1特征矢量)的差分，將所述差分與基準(zhǔn)值進(jìn)行比較，在所述差分大于所述基準(zhǔn)值的情況下，將所述差分放大，從所述高分辨率信息減去放大的差分。由此，能糾正預(yù)測(cè)時(shí)產(chǎn)生的誤差。

在一個(gè)實(shí)施方式中，表示所述偏差的指標(biāo)能設(shè)定成所述主成分系數(shù)矢量的標(biāo)準(zhǔn)偏差。由此，各系數(shù)的尺度變得相等，能有效地利用主成分分析的優(yōu)點(diǎn)。

在其他方式中，提供用于使用所述系統(tǒng)預(yù)測(cè)信息的方法。

此外，在其他方式中，提供存儲(chǔ)有用于使用所述系統(tǒng)來(lái)預(yù)測(cè)信息的程序的非臨時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

發(fā)明效果

根據(jù)本發(fā)明，能根據(jù)第1特征矢量來(lái)有效地預(yù)測(cè)第2特征矢量。

附圖說(shuō)明

圖1是本實(shí)施方式的圖像處理系統(tǒng)的說(shuō)明圖。

圖2是圖1的系統(tǒng)的處理步驟的說(shuō)明圖，圖2(a)是第1學(xué)習(xí)處理的說(shuō)明圖，圖2(b)是第2學(xué)習(xí)處理的說(shuō)明圖。

圖3是圖1的系統(tǒng)的處理步驟的說(shuō)明圖。

圖4是圖1的系統(tǒng)的處理步驟的說(shuō)明圖。

圖5是圖1的系統(tǒng)的超分辨率處理的處理步驟的概要說(shuō)明圖。

圖6是圖1的系統(tǒng)的處理步驟的說(shuō)明圖。

圖7是圖1的系統(tǒng)的處理步驟的說(shuō)明圖。

圖8是圖1的系統(tǒng)的處理步驟的說(shuō)明圖。

圖9是圖1的系統(tǒng)的處理步驟的說(shuō)明圖。

圖10是圖1的系統(tǒng)的優(yōu)點(diǎn)的說(shuō)明圖。

圖11是圖1的系統(tǒng)的優(yōu)點(diǎn)的說(shuō)明圖。

圖12是圖1的系統(tǒng)的優(yōu)點(diǎn)的說(shuō)明圖。

圖13是圖1的系統(tǒng)的優(yōu)點(diǎn)的說(shuō)明圖。

圖14是圖1的系統(tǒng)的優(yōu)點(diǎn)的說(shuō)明圖。

具體實(shí)施方式

以下，參照?qǐng)D1-圖14說(shuō)明將本發(fā)明具體化的系統(tǒng)的一個(gè)實(shí)施方式。在本實(shí)施方式中，對(duì)適用到提高面部圖像的分辨率的超分辨技術(shù)的情況進(jìn)行說(shuō)明。

如圖1所示，在本實(shí)施方式中，采用圖像處理系統(tǒng)20。在該圖像處理系統(tǒng)20連接有輸入部10和輸出部15。輸入部10由鍵盤(pán)、指示器構(gòu)成，取得由負(fù)責(zé)人輸入的信息。輸出部15由顯示器構(gòu)成，輸出各種信息。

圖像處理系統(tǒng)20是用于進(jìn)行超分辨率處理的計(jì)算機(jī)系統(tǒng)。該圖像處理系統(tǒng)20具備：控制部21；作為學(xué)習(xí)對(duì)象存儲(chǔ)部的面部圖像存儲(chǔ)部22；以及學(xué)習(xí)結(jié)果存儲(chǔ)部23。

控制部21具備控制單元(cpu、ram、rom等)，進(jìn)行后述的處理(學(xué)習(xí)階段、超分辨率階段、第1預(yù)測(cè)階段、第2預(yù)測(cè)階段、后處理階段、特征點(diǎn)抽出階段、網(wǎng)格劃分階段、正規(guī)化階段、特征圖像抽出階段、主成分分析階段等的各種處理等)。通過(guò)執(zhí)行上述程序，如圖1所示，控制部21作為學(xué)習(xí)部210、超分辨率部215、第1預(yù)測(cè)部216、第2預(yù)測(cè)部217、后處理部218、特征點(diǎn)抽出部21a、網(wǎng)格劃分部21b、正規(guī)化部21c、特征圖像抽出部21d、主成分分析部21e而發(fā)揮作用。

學(xué)習(xí)部210執(zhí)行使用高分辨率圖像和與該高分辨率圖像對(duì)應(yīng)的低分辨率圖像，來(lái)生成超分辨率處理所需要的信息的處理。

超分辨率部215執(zhí)行提高處理對(duì)象圖像(輸入圖像)的分辨率的超分辨率處理。超分辨率部215具備存儲(chǔ)器，在存儲(chǔ)器中存儲(chǔ)有處理對(duì)象圖像以及計(jì)算中的圖像。

第1預(yù)測(cè)部216在主成分矢量正交化的情況下，執(zhí)行計(jì)算高分辨率補(bǔ)片的最優(yōu)解的處理。

第2預(yù)測(cè)部217在主成分矢量沒(méi)有正交化的情況下，進(jìn)行檢索高分辨率補(bǔ)片的最優(yōu)解的處理。第2預(yù)測(cè)部217保持有與檢索主成分系數(shù)的最優(yōu)解時(shí)輕微移動(dòng)的擺動(dòng)寬度相關(guān)的數(shù)據(jù)。

后處理部218執(zhí)行使用生成的超分辨率圖像來(lái)調(diào)整誤差的處理。在本實(shí)施方式中，采用ibp(iterativebackprojection：迭代反投影)法。該后處理部218保持有與用于判斷超分辨率結(jié)果的妥當(dāng)性的閾值相關(guān)的數(shù)據(jù)。

特征點(diǎn)抽出部21a執(zhí)行在處理對(duì)象圖像中抽出特征點(diǎn)的處理。在本實(shí)施方式中，通過(guò)圖案識(shí)別來(lái)抽出代表面部圖像的特征點(diǎn)(例如，面部的輪廓、面部的要素位置)。

網(wǎng)格劃分部21b執(zhí)行基于抽出的特征點(diǎn)，將處理對(duì)象圖像劃分為規(guī)定形狀的網(wǎng)格的處理。在本實(shí)施方式中，采用三角剖分(delaunay)法，生成三角形狀的網(wǎng)格。該三角剖分法是將空間內(nèi)的點(diǎn)連結(jié)而生成三角形的組，使相對(duì)于該三角形的所有的角度的最小角度變得最大的方法。

正規(guī)化部21c執(zhí)行以處理對(duì)象圖像中的特征點(diǎn)配置在預(yù)先規(guī)定的位置的方式使網(wǎng)格變形的處理。在本實(shí)施方式中，作為預(yù)先規(guī)定的位置，采用平均面部的配置。因此，正規(guī)化部21c預(yù)先保持有與平均面部的配置圖案相關(guān)的數(shù)據(jù)。此外，正規(guī)化部21c執(zhí)行使變形的網(wǎng)格復(fù)原的復(fù)原處理。因此，正規(guī)化部21c存儲(chǔ)有為了正規(guī)化而變形時(shí)的變換信息。

特征圖像抽出部21d執(zhí)行抽出為了從正規(guī)化的處理對(duì)象圖像生成超分辨率圖像所需要的特征量的處理。在本實(shí)施方式中，作為特征量，采用圖像的高頻成分。另外，如后述的那樣，也可以采用處理對(duì)象圖像本身(原圖像)，作為特征量。

主成分分析部21e執(zhí)行主成分分析處理，在主成分分析處理中，在多個(gè)數(shù)據(jù)中以具有大方差的方向的順序計(jì)算正交矢量。主成分分析部21e通過(guò)進(jìn)行主成分分析處理，從而計(jì)算固有值和固有矢量(基礎(chǔ)矢量)。在此，固有值表示方差。另外，基礎(chǔ)矢量以具有大方差的方向的順序排列。由于越是下級(jí)的主成分信息就越少，所以在達(dá)到規(guī)定的累計(jì)貢獻(xiàn)率(正規(guī)化固有值的累計(jì))的時(shí)刻舍去之后的矢量，也就是說(shuō)從考慮中排除，從而對(duì)維度進(jìn)行限定以減輕計(jì)算負(fù)荷。

接著，說(shuō)明各存儲(chǔ)部所存儲(chǔ)的信息。

面部圖像存儲(chǔ)部22存儲(chǔ)與用于學(xué)習(xí)的面部圖像(學(xué)習(xí)對(duì)象)相關(guān)的學(xué)習(xí)用圖像數(shù)據(jù)。該學(xué)習(xí)圖像數(shù)據(jù)在登記為了超分辨率處理而進(jìn)行的學(xué)習(xí)中使用的數(shù)據(jù)的情況下被存儲(chǔ)。在該面部圖像數(shù)據(jù)中，與數(shù)據(jù)號(hào)碼進(jìn)行關(guān)聯(lián)地存儲(chǔ)有多個(gè)面部圖像。

學(xué)習(xí)結(jié)果存儲(chǔ)部23存儲(chǔ)有通過(guò)耦合學(xué)習(xí)而生成的主成分基礎(chǔ)矢量和平均矢量。在此，第i個(gè)的耦合補(bǔ)片矢量的平均矢量可以表示為如下。

(式1)

第i個(gè)耦合補(bǔ)片矢量的平均矢量

另外，第i個(gè)的耦合補(bǔ)片矢量(patchvector)的、第n個(gè)的主成分的主成分基礎(chǔ)矢量可以表示為如下。

(式2)

第i個(gè)耦合補(bǔ)片矢量的第n個(gè)主成分基礎(chǔ)矢量

以下，說(shuō)明在上述圖像處理系統(tǒng)20中生成超分辨率圖像的處理。該處理由學(xué)習(xí)處理和超分辨率處理構(gòu)成。

(學(xué)習(xí)處理)

首先，使用圖2說(shuō)明學(xué)習(xí)處理。該學(xué)習(xí)處理包括第1學(xué)習(xí)處理和第2學(xué)習(xí)處理。在第1學(xué)習(xí)處理中，生成以調(diào)整尺寸、面部要素(parth)的位置的方式正規(guī)化的高分辨率和低分辨率的一對(duì)面部圖像。在第2學(xué)習(xí)處理中，將高分辨率和低分辨率的一對(duì)面部圖像分別劃分成規(guī)定形狀(例如，四角形)的要素(補(bǔ)片)。以補(bǔ)片單位通過(guò)主成分分析來(lái)耦合學(xué)習(xí)“低分辨率、高分辨率”的關(guān)系。

(第1學(xué)習(xí)處理)

首先，使用圖2(a)說(shuō)明第1學(xué)習(xí)處理。

在此，圖像處理系統(tǒng)20的控制部21在被存儲(chǔ)于面部圖像存儲(chǔ)部22的面部圖像數(shù)據(jù)中，依次確定處理對(duì)象的數(shù)據(jù)，反復(fù)進(jìn)行以下處理。

首先，控制部21執(zhí)行特征點(diǎn)抽出處理(步驟s1-1)。具體地講，控制部21的學(xué)習(xí)部210利用特征點(diǎn)抽出部21a，來(lái)確定面部的輪廓、面部要素的特征點(diǎn)。在本實(shí)施方式中，采用主要用于面部表情的跟蹤、面部的識(shí)別等的aam(activeappearancemodels：主動(dòng)外觀模型)法的自動(dòng)抽出。在該aam法中，將對(duì)象物體(人的面部)以有限個(gè)頂點(diǎn)模型化，將該模型擬合到輸入圖像，從而抽出對(duì)象物體的特征點(diǎn)。

接著，控制部21執(zhí)行網(wǎng)格劃分處理(步驟s1-2)。具體地講，學(xué)習(xí)部210利用網(wǎng)格劃分部21b將配置了已抽出的特征點(diǎn)的面部圖像進(jìn)行網(wǎng)格劃分。

接著，控制部21執(zhí)行正規(guī)化處理(步驟s1-3)。具體地講，學(xué)習(xí)部210利用正規(guī)化部21c使各網(wǎng)格的方格移動(dòng)到預(yù)先規(guī)定的網(wǎng)格位置(例如、平均面部)，使由網(wǎng)格構(gòu)成的三角形變形。由此，能生成所有的面部圖像的特征點(diǎn)的位置一致的面部圖像數(shù)據(jù)。

如上，針對(duì)被存儲(chǔ)于面部圖像存儲(chǔ)部22的所有的面部圖像數(shù)據(jù)反復(fù)進(jìn)行第1學(xué)習(xí)處理，直到結(jié)束為止。

(第2學(xué)習(xí)處理)

接著，使用圖2(b)說(shuō)明第2學(xué)習(xí)處理。

在此，首先，控制部21確定處理對(duì)象的分辨率(低分辨率、高分辨率)，并針對(duì)每個(gè)分辨率反復(fù)進(jìn)行以下處理。

在此，在被存儲(chǔ)于面部圖像存儲(chǔ)部22的面部圖像數(shù)據(jù)中依次確定處理對(duì)象的數(shù)據(jù)，反復(fù)進(jìn)行以下處理。

首先，控制部21對(duì)目標(biāo)圖像執(zhí)行調(diào)整大小處理(步驟s2-1)。具體地講，控制部21將目標(biāo)圖像變換為用于后述的耦合學(xué)習(xí)的圖像尺寸(低分辨率圖像、高分辨率圖像)。

接著，控制部21執(zhí)行特征量抽出處理(步驟s2-2)。具體地講，學(xué)習(xí)部210利用特征圖像抽出部21d從正規(guī)化的目標(biāo)圖像抽出超分辨率所需要的特征量。后面詳細(xì)敘述該處理。

接著，控制部21執(zhí)行補(bǔ)片分割處理(步驟s2-3)。具體地講，學(xué)習(xí)部210將目標(biāo)圖像劃分為預(yù)先規(guī)定的個(gè)數(shù)(規(guī)定個(gè)數(shù))的補(bǔ)片。在本實(shí)施方式中，例如生成(25*25)像素的補(bǔ)片。

接著，控制部21確定處理對(duì)象的補(bǔ)片，針對(duì)每個(gè)補(bǔ)片反復(fù)進(jìn)行以下處理。

在此，控制部21執(zhí)行矩陣的生成處理(步驟s2-4)。具體地講，學(xué)習(xí)部210針對(duì)處理對(duì)象的補(bǔ)片，生成2維補(bǔ)片數(shù)據(jù)。在此，生成將處理對(duì)象補(bǔ)片中的rgb值按每個(gè)像素排列的2維補(bǔ)片數(shù)據(jù)。學(xué)習(xí)部210將生成的2維補(bǔ)片數(shù)據(jù)變換為一維行補(bǔ)片矢量(pij)。在此，“i”是補(bǔ)片位置，“j”是確定面部圖像數(shù)據(jù)的變量。學(xué)習(xí)部210將一維行補(bǔ)片矢量(pij)儲(chǔ)存于矩陣di。

在此，與低分辨率補(bǔ)片相關(guān)的數(shù)據(jù)矩陣dli可以表現(xiàn)為如下。

(式3)

另外，與高分辨率補(bǔ)片相關(guān)的數(shù)據(jù)矩陣dhi可以表現(xiàn)為如下。

(式4)

直到針對(duì)處理對(duì)象的面部圖像數(shù)據(jù)中的所有的補(bǔ)片的處理結(jié)束為止反復(fù)執(zhí)行。

將以上的處理反復(fù)執(zhí)行，直到針對(duì)所有的面部圖像數(shù)據(jù)的處理結(jié)束為止。

接著，控制部21執(zhí)行主成分分析處理(步驟s2-5)。具體地講，學(xué)習(xí)部210利用主成分分析部21e針對(duì)每個(gè)補(bǔ)片，使用數(shù)據(jù)矩陣(dli、數(shù)據(jù)矩陣dhi)進(jìn)行主成分分析。

在這種情況下，針對(duì)低分辨率，計(jì)算出以下的主成分系數(shù)、主成分基礎(chǔ)矢量。

(式5)

數(shù)據(jù)號(hào)碼j的第i個(gè)低分辨率補(bǔ)片矢量的第n個(gè)主成分系數(shù)

(式6)

第i個(gè)低分辨率補(bǔ)片矢量的第n個(gè)主成分基礎(chǔ)矢量

另外，針對(duì)每個(gè)高分辨率，計(jì)算出以下的主成分系數(shù)、主成分基礎(chǔ)矢量。

(式7)

數(shù)據(jù)號(hào)碼j的第i個(gè)高分辨率補(bǔ)片矢量的主成分系數(shù)

(式8)

第i個(gè)高分辨率補(bǔ)片矢量的第n個(gè)主成分基礎(chǔ)矢量

在此，將補(bǔ)片矢量的平均矢量可以表現(xiàn)為如下。

(式9)

第i個(gè)低分辨率補(bǔ)片矢量的平均矢量

(式10)

第i個(gè)高分辨率補(bǔ)片矢量的平均矢量

在這種情況下，低分辨率的面部圖像數(shù)據(jù)“j”的第“i”個(gè)補(bǔ)片矢量可以表現(xiàn)為如下。

(式11)

另外，高分辨率的面部圖像數(shù)據(jù)“j”的第“i”個(gè)補(bǔ)片矢量可以表示為如下。

(式12)

另外，nmax(i)通過(guò)限制為累計(jì)貢獻(xiàn)率98％程度的主成分，從而能將維數(shù)減少到100左右。

直到針對(duì)所有的分辨率(低分辨率圖像、高分辨率圖像)的處理結(jié)束為止反復(fù)執(zhí)行。

接著，控制部21執(zhí)行耦合學(xué)習(xí)處理(步驟s2-6)。具體地講，學(xué)習(xí)部210針對(duì)將低分辨率補(bǔ)片和高分辨率補(bǔ)片的主成分系數(shù)合并的矢量，再次針對(duì)每個(gè)補(bǔ)片進(jìn)行主成分分析，從而學(xué)習(xí)相關(guān)關(guān)系。后面詳細(xì)敘述該處理。

(特征量抽出處理)

接著，使用圖3說(shuō)明特征量抽出處理(步驟s2-2)。

首先，控制部21執(zhí)行原圖像的縮小處理(步驟s3-1)。具體地講，控制部21的特征圖像抽出部21d將處理對(duì)象的面部圖像壓縮而將尺寸縮小化。由此，面部圖像的高頻成分被除去。

接著，控制部21執(zhí)行低頻成分的計(jì)算處理(步驟s3-2)。具體地講，特征圖像抽出部21d將縮小化的面部圖像數(shù)據(jù)放大成原來(lái)的尺寸。在這種情況下，以原來(lái)的尺寸生成由低頻成分構(gòu)成的圖像數(shù)據(jù)(低頻成分圖像)。

接著，控制部21執(zhí)行高頻成分的計(jì)算處理(步驟s3-3)。具體地講，特征圖像抽出部21d從原來(lái)的面部圖像刪除低頻成分圖像，從而抽出高頻成分。

(耦合學(xué)習(xí)處理)

接著，使用圖4說(shuō)明耦合學(xué)習(xí)處理。在此，將低分辨率補(bǔ)片的主成分系數(shù)和高分辨率補(bǔ)片的主成分系數(shù)耦合而生成一個(gè)行矢量(一維矢量)。將生成的行矢量存儲(chǔ)于矩陣，再次進(jìn)行主成分分析。通過(guò)將低分辨率補(bǔ)片的信息和高分辨率補(bǔ)片的信息耦合而進(jìn)行主成分分析，從而學(xué)習(xí)低分辨率補(bǔ)片和高分辨率補(bǔ)片之間的關(guān)系。

首先，控制部21執(zhí)行行矢量的生成處理(步驟s4-1)。具體地講，學(xué)習(xí)部210生成將低分辨率補(bǔ)片的主成分系數(shù)和高分辨率補(bǔ)片的主成分系數(shù)耦合的矢量p(m)ij。

(式13)

在此，“sin”是以下的比例因數(shù)。

(式14)

第i個(gè)低分辨率補(bǔ)片矢量的第n個(gè)主成分系數(shù)的比例因數(shù)

(式15)

第i個(gè)高分辨補(bǔ)片矢量的第n個(gè)主成分系數(shù)的比例因數(shù)

該比例因數(shù)sin使用第i個(gè)的低分辨率補(bǔ)片矢量的第n個(gè)主成分系數(shù)cijn的標(biāo)準(zhǔn)偏差。

接著，控制部21執(zhí)行矩陣的生成處理(步驟s4-2)。具體地講，學(xué)習(xí)部210使用一維行補(bǔ)片矢量pij，生成耦合補(bǔ)片矢量的數(shù)據(jù)矩陣dmi。該數(shù)據(jù)矩陣dmi可以表示為如下。

(式16)

接著，控制部21執(zhí)行對(duì)每個(gè)補(bǔ)片的主成分分析處理(步驟s4-3)。具體地講，控制部21的主成分分析部21e使用數(shù)據(jù)矩陣dmi，進(jìn)行主成分分析。

在這種情況下，計(jì)算以下的主成分系數(shù)、主成分基礎(chǔ)矢量。

(式17)

數(shù)據(jù)號(hào)碼j的第i個(gè)耦合補(bǔ)片矢量的第n個(gè)主成分系數(shù)

(式18)

第i個(gè)耦合補(bǔ)片矢量的第n個(gè)主成分基礎(chǔ)矢量

在此，主成分基礎(chǔ)矢量uin可以表示為如下。

(式19)

(式20)

中的前半部分的低分辨率部分

(式21)

中的后半部分的高分辨率部分

接著，控制部21執(zhí)行正交化處理(步驟s4-4)。具體地講，學(xué)習(xí)部210通過(guò)革欄-施密特法將低分辨率成分(〔式20〕)正交化。在這種情況下，高分辨率成分(〔式21〕)也使用低分辨率成分中的正交化系數(shù)進(jìn)行變換。

接著，控制部21執(zhí)行是否能利用正交化矢量的判斷處理(步驟s4-5)。具體地講，學(xué)習(xí)部210確認(rèn)即使進(jìn)行正交化而將主成分矢量的個(gè)數(shù)限定為「nmax(l，i)」個(gè)，在精度上是否有問(wèn)題。具體地講，計(jì)算在將主成分矢量的個(gè)數(shù)限定為「nmax(l，i)」個(gè)的情況下的高分辨率主成分矢量的累計(jì)貢獻(xiàn)率。在該累計(jì)貢獻(xiàn)率到達(dá)規(guī)定值(例如，98％)時(shí)，判斷為能利用正交化矢量。

在判斷為精度上沒(méi)有問(wèn)題且能利用正交化矢量的情況下(在步驟s4-5為“是”的情況下)，控制部21執(zhí)行正交化的耦合矢量、平均矢量的存儲(chǔ)處理(步驟s4-6)。具體地講，學(xué)習(xí)部210將正交化的耦合矢量、平均矢量存儲(chǔ)到學(xué)習(xí)結(jié)果存儲(chǔ)部23。

另一方面，在判斷為精度上有問(wèn)題且不能利用正交化矢量的情況下(在步驟s4-5中為“否”的情況下)，控制部21執(zhí)行原來(lái)的耦合矢量、平均矢量的存儲(chǔ)處理(步驟s4-7)。具體地講，學(xué)習(xí)部210將原來(lái)的耦合矢量、平均矢量存儲(chǔ)到學(xué)習(xí)結(jié)果存儲(chǔ)部23。

在此，耦合補(bǔ)片矢量的平均矢量可以表示為以下式。

(式22)

第i個(gè)耦合補(bǔ)片矢量的平均矢量

在這種情況下，數(shù)據(jù)“j”的第“i”個(gè)一維行補(bǔ)片矢量pij可以表示為如下。

(式23)

(式24)

(超分辨率處理)

接著，使用圖5-圖9說(shuō)明超分辨率處理。

首先，使用圖5說(shuō)明超分辨率處理的概要。

從輸入圖像取得由低分辨率補(bǔ)片的主成分系數(shù)構(gòu)成的補(bǔ)片矢量v10。從學(xué)習(xí)結(jié)果存儲(chǔ)部23取得耦合補(bǔ)片矢量的主成分基礎(chǔ)矢量的低分辨率部分v21和耦合補(bǔ)片矢量的平均矢量的低分辨率部分v22。計(jì)算主成分系數(shù)cij，主成分系數(shù)cij用于用平均矢量的低分辨率部分v22、主成分基礎(chǔ)矢量的低分辨率部分v21來(lái)表示補(bǔ)片矢量v10。

從學(xué)習(xí)結(jié)果存儲(chǔ)部23取得耦合補(bǔ)片矢量的主成分基礎(chǔ)矢量的高分辨率部分v31和耦合補(bǔ)片矢量的平均矢量的高分辨率部分v32。使用計(jì)算出的主成分系數(shù)cij、主成分基礎(chǔ)矢量的高分辨率部分v31以及平均矢量的高分辨率部分v32，來(lái)生成輸入圖像的超分辨率。

接著，使用圖6具體地說(shuō)明超分辨率處理。

首先，控制部21執(zhí)行面部圖像輸入處理(步驟s5-1)。具體地講，控制部21的超分辨率部215取得由輸入部10指定的輸入圖像。

接著，控制部21執(zhí)行面部特征點(diǎn)抽出處理(步驟s5-2)。具體地講，超分辨率部215利用特征圖像抽出部21d與步驟s1-1同樣地抽出特征點(diǎn)。

接著，控制部21執(zhí)行網(wǎng)格劃分處理(步驟s5-3)。具體地講，超分辨率部215利用網(wǎng)格劃分部21b與步驟s1-2同樣地網(wǎng)格劃分面部圖像。

接著，控制部21執(zhí)行正規(guī)化處理(步驟s5-4)。具體地講，與步驟s1-3同樣地，超分辨率部215使各網(wǎng)格的格子移動(dòng)到預(yù)先規(guī)定的網(wǎng)格位置(例如，平均面部)，變形由網(wǎng)格構(gòu)成的三角形。

接著，控制部21執(zhí)行特征量抽出處理(步驟s5-5)。具體地講，超分辨率部215通過(guò)特征圖像抽出部21d，與步驟s2-2同樣地，從正規(guī)化的輸入圖像抽出超分辨率所需的特征量。

接著，控制部21執(zhí)行補(bǔ)片分割處理(步驟s5-6)。具體地講，超分辨率部215與步驟s2-3同樣地，分割為預(yù)先規(guī)定的個(gè)數(shù)。

接著，控制部21確定處理對(duì)象的補(bǔ)片，針對(duì)每個(gè)補(bǔ)片反復(fù)進(jìn)行以下處理。

在此，控制部21執(zhí)行超分辨率補(bǔ)片的預(yù)測(cè)處理(步驟s5-7)。具體地講，超分辨率部215針對(duì)超分辨率補(bǔ)片進(jìn)行第1預(yù)測(cè)處理或者第2預(yù)測(cè)處理。在此，在主成分矢量被正交化的情況下進(jìn)行第1預(yù)測(cè)處理，在主成分矢量沒(méi)有被正交化的情況下進(jìn)行第2預(yù)測(cè)處理。后面詳細(xì)敘述該處理。

反復(fù)地執(zhí)行上述處理，直到針對(duì)處理對(duì)象圖像的所有的補(bǔ)片的處理結(jié)束為止。

接著，控制部21執(zhí)行后處理(步驟s5-8)。后面詳細(xì)敘述該處理。

接著，控制部21執(zhí)行將正規(guī)化圖像恢復(fù)到原圖像形狀的處理(步驟s5-9)。具體地講，超分辨率部215是通過(guò)使各網(wǎng)格的格子向與步驟s5-4的移動(dòng)方向相反的方向移動(dòng)，從而復(fù)原各網(wǎng)格格子的配置。

(第1預(yù)測(cè)處理)

使用圖7，說(shuō)明針對(duì)超分辨率補(bǔ)片的第1預(yù)測(cè)處理。該處理在主成分矢量被正交化且想要更高速地進(jìn)行處理的情況下進(jìn)行。

首先，控制部21執(zhí)行內(nèi)積處理(步驟s6-1)。具體地講，控制部21的第1預(yù)測(cè)部216使用以下式計(jì)算內(nèi)積。

(式25)

在此，uin、pit為如下。

(式26)

正交的耦合主成分矢量的低分辨率部分

(式27)

從輸入算出的低分辨率補(bǔ)片系數(shù)矢量

接著，控制部21執(zhí)行高分辨率補(bǔ)片的計(jì)算處理(步驟s6-2)。具體地講，第1預(yù)測(cè)部216使用以下式在各補(bǔ)片中生成高分辨率補(bǔ)片系數(shù)矢量，將其存儲(chǔ)于超分辨率部215的存儲(chǔ)器。

(式28)

(第2預(yù)測(cè)處理)

使用圖8說(shuō)明針對(duì)超分辨率補(bǔ)片的第2預(yù)測(cè)處理。該處理在主成分矢量沒(méi)有被正交化的情況或者在需要考慮nmax(l，i)以上的主成分矢量的情況下進(jìn)行。

首先，執(zhí)行基于主成分分析的低分辨率補(bǔ)片系數(shù)矢量的計(jì)算處理(步驟s7-1)。具體地講，超分辨率部215使用主成分分析部21e計(jì)算低分辨率補(bǔ)片系數(shù)矢量。

(式29)

從輸入算出的低分辨率補(bǔ)片系數(shù)矢量

接著，控制部21執(zhí)行主成分系數(shù)的臨時(shí)設(shè)定處理(步驟s7-2)。具體地講，控制部21的第2預(yù)測(cè)部217與步驟s6-1同樣地計(jì)算出內(nèi)積，從而計(jì)算輸入圖像(數(shù)據(jù)號(hào)碼：t)的主成分系數(shù)ci、t、n。另外，由于主成分矢量沒(méi)有被正交化，所以將計(jì)算出的主成分系數(shù)ci、t、n設(shè)定為初始值，進(jìn)行后述的最優(yōu)解檢索。

接著，控制部21執(zhí)行基于臨時(shí)設(shè)定的主成分系數(shù)的低分辨率補(bǔ)片系數(shù)矢量的計(jì)算處理(步驟s7-3)。具體地講，第2預(yù)測(cè)部217從學(xué)習(xí)結(jié)果存儲(chǔ)部23取得以下的平均矢量、主成分基礎(chǔ)矢量。

(式30)

中的前半部分的低分辨率部分

(式31)

中的前半部分的低分辨率部分

在這種情況下，輸入圖像(數(shù)據(jù)號(hào)碼：t)的低分辨率圖像的各補(bǔ)片中的耦合矢量的低分辨率成分(低分辨率補(bǔ)片系數(shù)矢量)使用臨時(shí)設(shè)定的主成分系數(shù)ci、t、n，表示為如下。

(式32)

(式33)

將低分辨率補(bǔ)片的主成分系數(shù)和高分辨率補(bǔ)片的主成分系數(shù)

耦合的矢量中的前半部分的低分辨率部分

接著，控制部21執(zhí)行差分的計(jì)算處理(步驟s7-4)。具體地講，第2預(yù)測(cè)部217使用以下式計(jì)算在步驟s7-1中計(jì)算的低分辨率補(bǔ)片系數(shù)矢量和在步驟s7-3中計(jì)算的低分辨率補(bǔ)片系數(shù)矢量的差分。

(式34)

第2預(yù)測(cè)部217將計(jì)算出的差分與臨時(shí)設(shè)定的低分辨率補(bǔ)片系數(shù)矢量進(jìn)行關(guān)聯(lián)，并存儲(chǔ)于存儲(chǔ)器。

接著，控制部21執(zhí)行對(duì)反復(fù)是否結(jié)束進(jìn)行判斷的判斷處理(步驟s7-5)。具體地講，第2預(yù)測(cè)部217在差分成為最小值的情況下，判定為反復(fù)結(jié)束。

在判斷為差分具有減少傾向且反復(fù)還未結(jié)束的情況下(在步驟s7-5中為“否”的情況下)，控制部21使臨時(shí)設(shè)定的主成分系數(shù)在斜度低的方向上以微小的擺動(dòng)寬度移動(dòng)位置，反復(fù)進(jìn)行步驟s7-3之后的處理。

另一方面，在判斷為差分反轉(zhuǎn)為增加傾向且反復(fù)結(jié)束的情況下(在步驟s7-5中為“是”的情況下)，控制部21執(zhí)行確定差分的最小值的主成分系數(shù)的確定處理(步驟s7-6)。具體地講，第2預(yù)測(cè)部217確定差分成為最小值的主成分系數(shù)。

接著，控制部21執(zhí)行高分辨率補(bǔ)片的計(jì)算處理(步驟s7-7)。具體地講，第2預(yù)測(cè)部217從學(xué)習(xí)結(jié)果存儲(chǔ)部23取得以下的平均矢量、主成分基礎(chǔ)矢量。

(式35)

中的后半部分的高分辨率部分

(式36)

中的后半部分的高分辨率部分

第2預(yù)測(cè)部217將差分成為最小值的主成分系數(shù)適用到以下式，計(jì)算出高分辨率補(bǔ)片系數(shù)矢量，并存儲(chǔ)于超分辨率部215的存儲(chǔ)器。

(式37)

(后處理)

使用圖9說(shuō)明后處理。在此，使用ibp(iterativebackprojection：迭代反投影)法，減小將計(jì)算出的超分辨率縮小為輸入圖像的尺寸時(shí)的圖像和輸入圖像的誤差。

首先，控制部21執(zhí)行取得超分辨率結(jié)果的取得處理(步驟s8-1)。具體地講，超分辨率部215通過(guò)后處理部218調(diào)出由被存儲(chǔ)于超分辨率部215的存儲(chǔ)器的高分辨率補(bǔ)片系數(shù)矢量構(gòu)成的圖像。

接著，控制部21執(zhí)行超分辨率結(jié)果的縮小處理(步驟s8-2)。具體地講，控制部21的后處理部218生成將調(diào)出的超分辨率圖像縮小為輸入圖像的尺寸的壓縮圖像。

接著，控制部21執(zhí)行計(jì)算壓縮圖像和原圖像的差分的計(jì)算處理(步驟s8-3)。具體地講，后處理部218將壓縮圖像和輸入圖像進(jìn)行比較，計(jì)算出差分。

接著，控制部21執(zhí)行判斷差分是否為閾值以下的判斷處理(步驟s8-4)。具體地講，后處理部218將計(jì)算出的差分與能容許的閾值進(jìn)行比較。

在判定出差分為閾值以下的情況下(在步驟s8-4中“是”的情況下)，控制部21執(zhí)行超分辨率結(jié)果的輸出處理(步驟s8-5)。具體地講，后處理部218將被存儲(chǔ)于存儲(chǔ)器的超分辨率圖像作為超分辨率處理結(jié)果而輸出。

另一方面，在判定為差分不是閾值以下的情況下(在步驟s8-4中“否”的情況下)，控制部21執(zhí)行差分的放大處理(步驟s8-6)。具體地講，后處理部218生成將計(jì)算出的差分放大為超分辨率圖像的分辨率的差分圖像。

接著，控制部21執(zhí)行超分辨率結(jié)果的補(bǔ)正處理(步驟s8-7)。具體地講，后處理部218生成從被存儲(chǔ)于存儲(chǔ)器的圖像刪除差分圖像后的圖像，存儲(chǔ)于存儲(chǔ)器并進(jìn)行更新。

控制部21反復(fù)進(jìn)行超分辨率結(jié)果的縮小處理(步驟s8-2)之后的處理。

以上，根據(jù)本實(shí)施方式，能得到以下所示的效果。

(1)在本實(shí)施方式中，使用低分辨率圖像和高分辨率圖像，進(jìn)行基于主成分分析的耦合學(xué)習(xí)。在通過(guò)針對(duì)每個(gè)主成分系數(shù)獨(dú)立地進(jìn)行回歸分析而學(xué)習(xí)了低分辨率和高分辨率之間的關(guān)系的情況下，由于高精度的主成分系數(shù)和低精度的主成分系數(shù)混在一起，所以有時(shí)整體的精度產(chǎn)生問(wèn)題。另一方面，在本實(shí)施方式中，由于以系數(shù)矢量單位進(jìn)行學(xué)習(xí)，所以主成分系數(shù)整體的精度一致，能實(shí)現(xiàn)整體精度的提高。

與進(jìn)行圖像數(shù)據(jù)基礎(chǔ)檢索的手法相比，排除累計(jì)貢獻(xiàn)率低的主成分矢量，將維度設(shè)定得小，從而能高速地生成高分辨率圖像。此外，與進(jìn)行圖像數(shù)據(jù)基礎(chǔ)檢索的方法相比，能特別減少數(shù)據(jù)容量。另外，由于采用多個(gè)圖像進(jìn)行學(xué)習(xí)處理，所以能生成高畫(huà)質(zhì)的高分辨率圖像。

如圖10所示，在放大輸入圖像的情況下，產(chǎn)生鋸齒現(xiàn)象，但是在進(jìn)行了本實(shí)施方式的超分辨率處理的超分辨率結(jié)果中能再現(xiàn)高分辨率。能實(shí)現(xiàn)接近于低分辨率的輸入圖像的原圖像(高分辨率)、即“正解”的分辨率。

(2)在本實(shí)施方式中，控制部21執(zhí)行特征量抽出處理(步驟s2-2)。在此，使用高頻成分來(lái)計(jì)算出特征量，從而能實(shí)現(xiàn)比較良好的超分辨率。

如圖11所示，對(duì)在抽出特征量時(shí)采用“原圖像”的情況和采用“高頻成分”的情況進(jìn)行比較。在低分辨率特征量、高分辨率特征量的計(jì)算中，在均采用“原圖像”的情況下，在輪廓部分產(chǎn)生塊噪聲。另一方面，在低分辨率特征量、高分辨率特征量的計(jì)算中，在某一個(gè)采用“高頻成分”的情況下，能實(shí)現(xiàn)良好的超分辨率。(3)在本實(shí)施方式中，比例因數(shù)sin采用第i個(gè)低分辨率補(bǔ)片矢量的第n個(gè)主成分系數(shù)cijn的標(biāo)準(zhǔn)偏差。通常，在將不同的2個(gè)信息(特征矢量)耦合而進(jìn)行主成分分析的情況下，較多地吸收耦合前的2個(gè)特征矢量的維度的不同(尺度不同)，所以在一個(gè)特征矢量乘以比例因數(shù)。在此，當(dāng)使用固定值的比例因數(shù)進(jìn)行主成分分析時(shí)，號(hào)碼大的高頻成分的主成分系數(shù)cijn被號(hào)碼小的低頻成分的主成分系數(shù)cijn的方差掩蓋。另一方面，通過(guò)除以標(biāo)準(zhǔn)偏差后進(jìn)行主成分分析，從而各主成分系數(shù)的尺度相等，能有效地利用主成分分析的優(yōu)點(diǎn)。

如圖12所示，在沒(méi)有采用比例因數(shù)的以前的方法中，產(chǎn)生超分辨率圖像的劣化，但是在本實(shí)施方式中，能實(shí)現(xiàn)良好的超分辨率。

(4)在本實(shí)施方式中，控制部21針對(duì)超分辨率補(bǔ)片執(zhí)行第1預(yù)測(cè)處理或者第2預(yù)測(cè)處理。由此，能夠根據(jù)正交化的情況，分開(kāi)使用2個(gè)預(yù)測(cè)處理。

在圖13中示出采用第1預(yù)測(cè)處理(最優(yōu)解檢索)的情況和采用第2預(yù)測(cè)處理(正交化)的情況的比較例。在兩者中，正解圖像和超分辨率圖像的區(qū)別幾乎不產(chǎn)生。另一方面，計(jì)算時(shí)間通過(guò)正交化而被短縮，能實(shí)現(xiàn)與回歸分析相等的高速處理。

(5)在本實(shí)施方式中，控制部21執(zhí)行后處理。由此，能抑制誤差。

如圖14所示，即使在產(chǎn)生塊噪聲的情況下，通過(guò)后處理也能降低影響。

另外，上述實(shí)施方式也可以變更為以下方式。

·在上述實(shí)施方式中，作為第1特征矢量采用低分辨率矢量，作為第2特征矢量采用高分辨率矢量，從而進(jìn)行面部圖像的超分辨率處理。超分辨率處理的對(duì)象并不限定為面部圖像，能適用到將具有形狀圖案的對(duì)象物變換為高畫(huà)質(zhì)的超分辨率。在該情況下，采用具有特定圖案的低分辨率圖像和高分辨率圖像來(lái)進(jìn)行學(xué)習(xí)處理。

并且，本發(fā)明的方法不僅是超分辨率，還能適用于從第1矢量數(shù)據(jù)推定第2矢量數(shù)據(jù)的各種用途。例如，在細(xì)分過(guò)程中，從表面化的信息抽出潛在化的信息。

在二維圖像特征點(diǎn)識(shí)別中，作為第1特征矢量采用對(duì)象二維圖像，作為第2特征矢量采用對(duì)象圖像的特征點(diǎn)。

在二維圖像的細(xì)分過(guò)程中，作為第1特征矢量采用對(duì)象二維圖像，作為第2特征矢量采用對(duì)象圖像的細(xì)分。

在三維圖像特征點(diǎn)識(shí)別中，作為第1特征矢量采用對(duì)象三維圖像，作為第2特征矢量采用對(duì)象圖像的特征點(diǎn)。

在三維圖像的細(xì)分過(guò)程中，作為第1特征矢量采用對(duì)象三維圖像，作為第2特征矢量采用對(duì)象圖像的細(xì)分。

以下，列舉信息預(yù)測(cè)的具體例。

例如在去除圖像的殘影·模糊過(guò)程中，作為第1特征矢量采用“包括殘影·模糊的圖像矢量”，作為第2特征矢量采用“去除了殘影·模糊的圖像矢量”。

另外，在安全攝像機(jī)動(dòng)畫(huà)分析(動(dòng)作預(yù)測(cè))中，作為第1特征矢量采用“預(yù)測(cè)開(kāi)始時(shí)為止的時(shí)間序列的人物動(dòng)作數(shù)據(jù)”，作為第2特征矢量采用“預(yù)測(cè)開(kāi)始后的人物的時(shí)間序列的人物動(dòng)作數(shù)據(jù)”。

另外，能應(yīng)用到除圖像以外的信息預(yù)測(cè)。

例如，在語(yǔ)音的高音質(zhì)化中，作為第1特征矢量采用“低音質(zhì)的聲音信號(hào)”，作為第2特征矢量采用“高音質(zhì)的聲音信號(hào)”。在此，采用聲音信號(hào)的信號(hào)本身、或者將高頻成分為要素的矢量。

另外，在氣象預(yù)測(cè)中，作為第1特征矢量采用“預(yù)測(cè)開(kāi)始時(shí)為止的時(shí)間序列的氣象數(shù)據(jù)”，作為第2特征矢量采用“預(yù)測(cè)開(kāi)始后的時(shí)間序列的氣象數(shù)據(jù)”。在此，采用將各種氣象數(shù)據(jù)(天氣、氣壓、氣溫、濕度、風(fēng)向、風(fēng)速等)設(shè)為要素的矢量。

另外，在經(jīng)濟(jì)預(yù)測(cè)中，作為第1特征矢量采用“預(yù)測(cè)開(kāi)始時(shí)為止的時(shí)間序列的股價(jià)·經(jīng)濟(jì)指標(biāo)數(shù)據(jù)”，作為第2特征矢量采用“預(yù)測(cè)開(kāi)始后的時(shí)間序列的股價(jià)·經(jīng)濟(jì)指標(biāo)數(shù)據(jù)”。在此，采用將股價(jià)·經(jīng)濟(jì)指標(biāo)數(shù)據(jù)(各種品種的股價(jià)、利息、景氣、雇傭統(tǒng)計(jì)、物價(jià)上升率、貿(mào)易等)設(shè)為要素的矢量。

另外，在健康預(yù)測(cè)中，作為第1特征矢量采用“預(yù)測(cè)開(kāi)始時(shí)為止的時(shí)間序列的生物體指標(biāo)數(shù)據(jù)”，作為第2特征矢量采用“預(yù)測(cè)開(kāi)始后的時(shí)間序列的生物體指標(biāo)數(shù)據(jù)”。在此，采用將各種生物體指標(biāo)(體重、身高、各健康診斷值速等)為要素的矢量。

另外，在交通量預(yù)測(cè)中，作為第1特征矢量采用“關(guān)于預(yù)測(cè)開(kāi)始時(shí)為止的時(shí)間序列的交通量的指標(biāo)數(shù)據(jù)”，作為第2特征矢量采用“預(yù)測(cè)開(kāi)始后的時(shí)間序列的交通量數(shù)據(jù)”。在此，采用將各交通量數(shù)據(jù)(計(jì)測(cè)點(diǎn)、車(chē)輛數(shù)量、車(chē)型、車(chē)速、目的地等)為要素的矢量。

另外，在消費(fèi)行為預(yù)測(cè)中，作為第1特征矢量采用“預(yù)測(cè)開(kāi)始時(shí)為止的時(shí)間序列的消費(fèi)行為數(shù)據(jù)”，作為第2特征矢量采用“預(yù)測(cè)開(kāi)始后的人物的時(shí)間序列的消費(fèi)行為數(shù)據(jù)”。在此，采用人物行為數(shù)據(jù)(品名、消耗量、各種經(jīng)濟(jì)指標(biāo)等)為要素的矢量。

·在上述實(shí)施方式中，進(jìn)行線形的主成分分析，但是也可以進(jìn)行非線形的核心主成分分析。

·上述實(shí)施方式中，比例因數(shù)sin采用了第i個(gè)低分辨率補(bǔ)片矢量的第n個(gè)主成分系數(shù)cijn的標(biāo)準(zhǔn)偏差。比例因數(shù)sin不限定為標(biāo)準(zhǔn)偏差，可以采用表示主成分系數(shù)cijn的偏差的指標(biāo)。

·在上述實(shí)施方式中，比例因數(shù)sin采用了第i個(gè)低分辨率補(bǔ)片矢量的第n個(gè)主成分系數(shù)cijn的標(biāo)準(zhǔn)偏差。在此，比例因數(shù)sin不限定為標(biāo)準(zhǔn)偏差，也可以采用表示主成分系數(shù)cijn的方差的統(tǒng)計(jì)變量。