專利名稱：高品質(zhì)內(nèi)容生成系統(tǒng)及其方法和程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及高品質(zhì)內(nèi)容生成系統(tǒng)及其方法和程序。
背景技術(shù)：
近幾年，多個(gè)動(dòng)畫投稿網(wǎng)站正在上升，通過因特網(wǎng)可視聽各種動(dòng)態(tài)圖像的環(huán)境正 在規(guī)范化。此時(shí)，對(duì)于想要積極使宣傳用動(dòng)態(tài)圖像等流通的內(nèi)容和新聞性的內(nèi)容而言，有時(shí) 雖然它們是相同的內(nèi)容，但是會(huì)在各種動(dòng)畫投稿網(wǎng)站上反復(fù)被投稿。通常，無論是哪一個(gè)動(dòng) 畫網(wǎng)站，都會(huì)提供自身網(wǎng)站內(nèi)的內(nèi)容的檢索功能，但是近幾年，還出現(xiàn)了可橫跨多個(gè)網(wǎng)站之 間來進(jìn)行檢索的檢索引擎。在使用該檢索引擎來跨越式地檢索出多個(gè)動(dòng)態(tài)圖像投稿網(wǎng)站的 情況下，有時(shí)會(huì)看到多個(gè)相同的內(nèi)容。此時(shí)，只要能夠看到所見到的內(nèi)容中的任一個(gè)即可，對(duì)于想要以高畫質(zhì)視聽內(nèi)容 的用戶而言，存在如下的問題。第一個(gè)問題是很難看到高畫質(zhì)的內(nèi)容。其理由是因?yàn)檫m當(dāng)選擇檢索發(fā)現(xiàn)的多個(gè)內(nèi)容中的一個(gè)來視聽時(shí)，碰上低畫質(zhì)的內(nèi) 容的可能性很高。對(duì)于動(dòng)畫投稿網(wǎng)站而言，為了吸收大量的內(nèi)容，大多以高壓縮率對(duì)各個(gè)內(nèi) 容進(jìn)行編碼。因此，原始畫質(zhì)低的內(nèi)容較多，碰上畫質(zhì)低的內(nèi)容的可能性很高。其結(jié)果，對(duì) 于想要以高畫質(zhì)觀看內(nèi)容的用戶而言，需要逐一視聽多個(gè)所發(fā)現(xiàn)的相同的內(nèi)容來搜索高畫 質(zhì)的內(nèi)容，或者在偶然看到的內(nèi)容的畫質(zhì)不好的情況下，與想要觀看高畫質(zhì)的內(nèi)容無關(guān)地， 由于受到時(shí)間的限制等，只能滿足于低畫質(zhì)的內(nèi)容的視聽。第二個(gè)問題是用戶在所有的區(qū)間內(nèi)很難視聽高畫質(zhì)的內(nèi)容。其理由是因?yàn)榧词雇ㄟ^檢索發(fā)現(xiàn)了多個(gè)同一內(nèi)容，但用戶視聽的內(nèi)容是其中的一 個(gè)。在某一個(gè)內(nèi)容中，畫質(zhì)不一定是從開始到結(jié)束始終很好。例如，在以低比率進(jìn)行VBR編 碼的情況下，緩沖量較多，且很難進(jìn)行控制。因此，并不一定能夠在所有區(qū)間保證高畫質(zhì)。在 這種情況下，即使存在中途品質(zhì)劣化的部分，由于比較麻煩且視聽會(huì)被中斷的，通常不會(huì)將 用戶視聽的內(nèi)容切換為其他統(tǒng)一內(nèi)容。因此，即使中途品質(zhì)劣化，用戶除了忍受該品質(zhì)劣化 外別無選擇。

發(fā)明內(nèi)容
因此，本發(fā)明是鑒于上述課題而完成的發(fā)明，其目的在于提供一種存在多個(gè)相同 的內(nèi)容或者由此派生而來的內(nèi)容的情況下，能夠利用它們生成更高畫質(zhì)的內(nèi)容的高品質(zhì)內(nèi) 容生成系統(tǒng)及其方法和程序。解決上述課題的本發(fā)明是一種高品質(zhì)內(nèi)容生成系統(tǒng)，具有特征量提取單元，其從 多個(gè)內(nèi)容中提取內(nèi)容的特征量；內(nèi)容群組化單元，其在由所述特征量提取單元提取出的多 個(gè)內(nèi)容的特征量之間進(jìn)行對(duì)照，并對(duì)所述多個(gè)內(nèi)容中所包含的同一內(nèi)容和使用該內(nèi)容制作 出的派生內(nèi)容進(jìn)行群組化，計(jì)算出同一 /派生內(nèi)容群組化信息；和高品質(zhì)內(nèi)容生成單元，其 從所述多個(gè)內(nèi)容之中選擇以所述同一/派生內(nèi)容群組化信息被群組化的內(nèi)容，并使用選擇出的內(nèi)容，生成品質(zhì)更好的內(nèi)容。解決上述課題的本發(fā)明是一種高品質(zhì)內(nèi)容生成方法，其具有如下步驟特征量提 取步驟，從多個(gè)內(nèi)容中提取內(nèi)容的特征量；內(nèi)容群組化步驟，在所述提取出的多個(gè)內(nèi)容的特 征量之間進(jìn)行對(duì)照，并對(duì)所述多個(gè)內(nèi)容中所包含的同一內(nèi)容和使用該內(nèi)容制作出的派生內(nèi) 容進(jìn)行群組化，計(jì)算出同一 /派生內(nèi)容群組化信息；和高品質(zhì)內(nèi)容生成步驟，從所述多個(gè)內(nèi) 容之中選擇以所述同一 /派生內(nèi)容群組化信息被群組化的內(nèi)容，并使用選擇出的內(nèi)容，生 成品質(zhì)更好的內(nèi)容。解決上述課題的本發(fā)明是一種使信息處理裝置執(zhí)行如下處理的高品質(zhì)內(nèi)容生成 程序，即從多個(gè)內(nèi)容中提取內(nèi)容的特征量的特征量提取處理；在所述提取出的多個(gè)內(nèi)容 的特征量之間進(jìn)行對(duì)照，并求出所述多個(gè)內(nèi)容中所包含的同一內(nèi)容和使用該內(nèi)容制作出的 派生內(nèi)容后加以群組化，計(jì)算出同一 /派生內(nèi)容群組化信息的內(nèi)容群組化處理；和從所述 多個(gè)內(nèi)容之中選擇以所述同一 /派生內(nèi)容群組化信息被群組化的內(nèi)容，并使用選擇出的內(nèi) 容，生成品質(zhì)更好的內(nèi)容的高品質(zhì)內(nèi)容生成處理。(發(fā)明效果)根據(jù)本發(fā)明，在存在多個(gè)同一內(nèi)容或從中派生而來的內(nèi)容的情況下，能夠使用這 些內(nèi)容生成高品質(zhì)的內(nèi)容。


圖1是第1實(shí)施方式的高品質(zhì)內(nèi)容生成系統(tǒng)的框圖。圖2是表示具有時(shí)間軸的內(nèi)容之間的群組化的一例的圖。圖3是表示第1實(shí)施方式的高品質(zhì)內(nèi)容生成系統(tǒng)的處理整體流程的流程圖。圖4是表示高品質(zhì)內(nèi)容生成單元102的第一方式的處理流程的流程圖。圖5是表示高品質(zhì)內(nèi)容生成單元102的第二方式的處理流程的流程圖。圖6是表示高品質(zhì)內(nèi)容生成單元102的第三方式的處理流程的流程圖。圖7是表示高品質(zhì)內(nèi)容生成單元102的第四方式的動(dòng)作的處理流程的流程圖。圖8是表示幀速率在內(nèi)容之間不同時(shí)的高品質(zhì)內(nèi)容生成的方法的圖。圖9是表示幀速率在內(nèi)容之間不同時(shí)的高品質(zhì)內(nèi)容生成的方法的圖。圖10是表示圖7的內(nèi)容間幀/場(chǎng)對(duì)應(yīng)步驟S463的一實(shí)施方式的動(dòng)作的流程圖。圖11是表示圖7的內(nèi)容間幀/場(chǎng)對(duì)應(yīng)步驟S463的一實(shí)施方式的動(dòng)作的流程圖。圖12是說明時(shí)空間片段圖像的圖。圖13是表示高品質(zhì)內(nèi)容生成單元102的第五方式的處理流程的流程圖。圖14是第2實(shí)施方式的高品質(zhì)內(nèi)容生成系統(tǒng)的框圖。圖中100-特征量提取單元；101-同一 /派生內(nèi)容群組化單元；102-高品質(zhì)內(nèi)容 生成單元；105-內(nèi)容蓄積單元；150-對(duì)應(yīng)關(guān)系修正單元。
具體實(shí)施例方式本發(fā)明的實(shí)施方式的高品質(zhì)內(nèi)容生成系統(tǒng)的特征在于，具備特征量提取單元 (圖1的100)，其從多個(gè)內(nèi)容中提取內(nèi)容的特征量；內(nèi)容群組化單元(圖1的101)，其根據(jù) 由特征量提取單元提取出的多個(gè)內(nèi)容的特征量進(jìn)行對(duì)照，求出包含在多個(gè)內(nèi)容中的同一內(nèi)容和使用該內(nèi)容制作出的派生內(nèi)容后進(jìn)行群組化(圖1的102)，并計(jì)算同一 /派生內(nèi)容群 組化信息；高品質(zhì)內(nèi)容生成單元，其從所述多個(gè)內(nèi)容中選擇根據(jù)同一 /派生內(nèi)容群組化信 息被群組化的內(nèi)容，并使用選擇出的內(nèi)容，生成品質(zhì)更好的內(nèi)容。采用這樣的結(jié)構(gòu)在多個(gè)內(nèi) 容間對(duì)同一 /派生內(nèi)容進(jìn)行組合并加以利用，從而生成高品質(zhì)內(nèi)容，并將其提供給用戶，由 此能夠達(dá)到本發(fā)明的目的。下面，參照附圖，詳細(xì)說明本發(fā)明的實(shí)施方式。圖1是第1實(shí)施方式的高品質(zhì)內(nèi)容生成系統(tǒng)的框圖。參照?qǐng)D1可知，第1實(shí)施方式的高品質(zhì)內(nèi)容生成系統(tǒng)由特征量提取單元100、同一 /派生內(nèi)容群組化單元101、高品質(zhì)內(nèi)容生成單元102、內(nèi)容蓄積單元105構(gòu)成。內(nèi)容蓄積單元105預(yù)先蓄積多個(gè)內(nèi)容，并與特征量提取單元100和高品質(zhì)內(nèi)容生 成單元102相連。特征量提取單元100從內(nèi)容蓄積單元105輸入內(nèi)容，求出相對(duì)于內(nèi)容的 特征量之后，將特征量輸出給同一 /派生內(nèi)容群組化單元101。同一 /派生內(nèi)容群組化單 元101輸入從特征量提取單元100輸出的內(nèi)容的特征量，求出表示特征量間的鏈接關(guān)系的 內(nèi)容鏈接信息，并作為群組化信息而輸出給高品質(zhì)內(nèi)容生成單元102。高品質(zhì)內(nèi)容生成單元 102從同一 /派生內(nèi)容群組化單元101輸入群組化信息，且從內(nèi)容蓄積單元105輸入內(nèi)容， 生成高品質(zhì)內(nèi)容來加以輸出。接著，說明本實(shí)施方式的高品質(zhì)內(nèi)容生成系統(tǒng)的動(dòng)作。內(nèi)容蓄積在內(nèi)容蓄積單元105中。這里，內(nèi)容是指被數(shù)字化的多媒體內(nèi)容，例如相 當(dāng)于被數(shù)字化的照片、影像、音樂或者可組合這些的內(nèi)容等。另外，內(nèi)容不僅是廣播節(jié)目那 樣專業(yè)人員制作的內(nèi)容，也可以是消費(fèi)者制作的內(nèi)容，即所謂的CGM(C0nsumer Generated Media)。以下，基本上將專門說明動(dòng)態(tài)圖像內(nèi)容，但是音樂或照片等也是同樣的。此外，為了便于說明，畫出了在內(nèi)容蓄積單元105的一個(gè)部位蓄積有內(nèi)容的情況， 但是也可以分散成多個(gè)存儲(chǔ)器來蓄積內(nèi)容。例如，在因特網(wǎng)上的多個(gè)動(dòng)態(tài)圖像投稿網(wǎng)站中， 可以在每個(gè)網(wǎng)站上蓄積動(dòng)態(tài)圖像內(nèi)容。此外，在各網(wǎng)站中，也可以分成多個(gè)存儲(chǔ)器來蓄積內(nèi) 容。向特征量提取單元100輸入蓄積在內(nèi)容蓄積單元105中的內(nèi)容。在向特征量提取單元100中，對(duì)所輸入的各內(nèi)容進(jìn)行特征量提取。照片的情況 下，特征量是顏色和模樣、形態(tài)等視覺特征量，例如能夠使用以IS0/IEC15938-3歸一化的 特征量。音樂的情況下，是音樂的功率和頻率分量等音響特征量，例如能夠使用以ISO/ IEC15938-4歸一化的特征量。影像的情況下，除了上述的視覺特征量之外，還可以使用表示 動(dòng)作的視覺特征量，例如能夠使用以IS0/IEC15938-3歸一化的特征量。此外，可以使用上 述的音響特征量，也可以使用音響特征量和視覺特征量這兩者。向同一 /派生內(nèi)容群組化 單元101輸出提取出的各內(nèi)容的特征量。在同一 /派生內(nèi)容群組化單元101中，在所輸入的各內(nèi)容的特征量之間進(jìn)行對(duì)照， 在特征量間的相似度足夠大的情況下，認(rèn)為內(nèi)容是相同的內(nèi)容，進(jìn)行群組化。具體而言，在 某兩個(gè)內(nèi)容的特征量之間計(jì)算相似度(或者距離)，在相似度為閾值以上(距離的情況下是 閾值以下)的情況下，對(duì)其兩個(gè)內(nèi)容進(jìn)行群組化。在相似度的計(jì)算中，在照片內(nèi)容的情況下，在照片整體中進(jìn)行特征量彼此的比較， 通過進(jìn)行相似度計(jì)算，能夠?qū)ν徽掌M(jìn)行群組化。此外，也可以在照片一部分區(qū)域彼此間 進(jìn)行對(duì)照來計(jì)算相似度。此時(shí)，可以對(duì)能夠使用某一照片的其他圖像(例如，在照片上添加相框或者可粘貼到其他照片上的圖象)即派生內(nèi)容進(jìn)行群組化。另一方面，在如影像或音 樂那樣具有時(shí)間軸的內(nèi)容的情況下，對(duì)各時(shí)間區(qū)間(區(qū)間長(zhǎng)度是任意的)進(jìn)行內(nèi)容的群組 化。例如，若在內(nèi)容A、B、C、D之間進(jìn)行了如圖2所示的對(duì)照，則對(duì)斜線所示的時(shí)間區(qū)間彼 此、縱線所示的時(shí)間區(qū)間彼此進(jìn)行群組化。向高品質(zhì)內(nèi)容生成單元102輸出這樣求出的群
組化信息。在高品質(zhì)內(nèi)容生成單元102中，根據(jù)所輸入的群組化信息和對(duì)應(yīng)的內(nèi)容，生成高 品質(zhì)的內(nèi)容。例如，在圖2的例的情況下，使用內(nèi)容A、B、C、D生成高品質(zhì)的內(nèi)容。將再后 面對(duì)該生成進(jìn)行詳細(xì)說明。接著，使用流程圖說明本發(fā)明的實(shí)施方式的高品質(zhì)內(nèi)容生成系統(tǒng)的動(dòng)作。圖3是表示第1實(shí)施方式的高品質(zhì)內(nèi)容生成系統(tǒng)的處理整體流程的流程圖。首先，在步驟S300中，進(jìn)行每一個(gè)內(nèi)容的特征量提取。詳細(xì)提取如在特征量提取 單元100中所說明的。接著，在步驟S301中，在內(nèi)容之間進(jìn)行提取出的特征量的對(duì)照，并進(jìn) 行內(nèi)容的群組化來求出群組化信息。詳細(xì)的群組化的信息如在同一/派生內(nèi)容群組化單元 101所說明的。之后，在步驟S302中根據(jù)群組化信息和內(nèi)容生成高品質(zhì)內(nèi)容。接著，參照附圖，詳細(xì)說明高品質(zhì)內(nèi)容生成單元102的第一方式的動(dòng)作。圖4是表示高品質(zhì)內(nèi)容生成單元102的第一方式的處理流程的流程圖。首先，用i = 0、1、…、N-I表示成為高品質(zhì)內(nèi)容的生成對(duì)象的內(nèi)容的時(shí)間區(qū)間的 索引。即，將作為生成對(duì)象的內(nèi)容分割為N個(gè)(N是任意的自然數(shù))時(shí)間區(qū)間，并在每個(gè)區(qū) 間內(nèi)生成高品質(zhì)內(nèi)容。在流程圖中，首先，在步驟S400中，將區(qū)間的索引i設(shè)定為0。接著，在步驟S401中，讀入關(guān)于區(qū)間i的群組化信息。例如，在圖2的例中，在區(qū) 間i屬于用斜線表示的部分的情況下，與內(nèi)容A、B、C對(duì)應(yīng)地進(jìn)行群組化，在內(nèi)容A和B中不 存在時(shí)間方向的偏移，但是在內(nèi)容C中，根據(jù)群組化信息，獲得在時(shí)間方向上具有、的偏移 這樣的對(duì)應(yīng)關(guān)系的信息。接著，在步驟S402中，調(diào)查是否存在對(duì)應(yīng)的內(nèi)容。若是對(duì)應(yīng)的內(nèi)容并不存在的區(qū) 間，則需要僅根據(jù)該內(nèi)容生成作為輸出的高品質(zhì)內(nèi)容，因此轉(zhuǎn)移到步驟S405。另一方面，如 圖2的例那樣存在對(duì)應(yīng)的內(nèi)容的情況下，進(jìn)入下一個(gè)步驟S403。在步驟S403中，按每個(gè)對(duì)應(yīng)后的內(nèi)容，計(jì)算與區(qū)間i相對(duì)應(yīng)的時(shí)間區(qū)間下的品質(zhì) 評(píng)價(jià)值。這里，品質(zhì)評(píng)價(jià)值的計(jì)算方法有多個(gè)，其詳細(xì)內(nèi)容將在后面敘述。在之后的步驟S404中，在內(nèi)容之間比較由步驟S403求出的品質(zhì)評(píng)價(jià)值，并選擇品 質(zhì)最大的內(nèi)容。在步驟S405中，作為輸出用，選擇出的內(nèi)容的與區(qū)間i對(duì)應(yīng)的部分復(fù)制到緩沖器。 之后，以適當(dāng)?shù)妮敵龈袷竭M(jìn)行編碼。另外，對(duì)于輸出格式的編碼也可以按多個(gè)區(qū)間生成高品 質(zhì)內(nèi)容之后整體向輸出格式進(jìn)行編碼。接著，在步驟S406中，調(diào)查區(qū)間i是否為最后的區(qū)間，在不是最后的區(qū)間的情況 下，使區(qū)間的索引i加1之后回到步驟S401。若是最后的區(qū)間，則結(jié)束處理。這樣，能夠生成高品質(zhì)的內(nèi)容。另外，到目前為止敘述了在每個(gè)內(nèi)容的時(shí)間區(qū)間中 選擇品質(zhì)最大的內(nèi)容來生成高品質(zhì)內(nèi)容的情況。該區(qū)間也可以是包括1幀的情況。即，也 可以按每一幀評(píng)價(jià)品質(zhì)來生成高品質(zhì)?；蛘撸部梢詫⒏鲙指顬槎鄠€(gè)區(qū)域，在每個(gè)區(qū)域中判定品質(zhì)后，按每個(gè)區(qū)域改變品質(zhì)最大的內(nèi)容。例如，可以將幀分割為多個(gè)塊，根據(jù)塊單位 評(píng)價(jià)品質(zhì)。由此，能夠生成更細(xì)致的高品質(zhì)內(nèi)容。但是，由于在所選擇的內(nèi)容轉(zhuǎn)變的時(shí)空間 的邊界上，有時(shí)會(huì)產(chǎn)生不自然的內(nèi)容品質(zhì)的瑕疵，因此可以在邊界附近按照兩者圓滑地變 化的方式進(jìn)行過度處理。接著，詳細(xì)說明步驟S403中的品質(zhì)評(píng)價(jià)值的計(jì)算方法。首先，說明根據(jù)分配給區(qū)間i的比特量和編碼方式計(jì)算品質(zhì)評(píng)價(jià)值的情況。此時(shí)， 調(diào)查與最初所對(duì)應(yīng)的各內(nèi)容的區(qū)間i相對(duì)應(yīng)后的時(shí)間區(qū)間內(nèi)的產(chǎn)生編碼量。一般，可以說 產(chǎn)生編碼量越多越是高品質(zhì)，因此將產(chǎn)生編碼量越大就變得越大的值作為品質(zhì)評(píng)價(jià)值來定 義。但是，在與區(qū)間i相對(duì)應(yīng)后的各內(nèi)容的編碼結(jié)構(gòu)不同的情況下(例如，I照片、P照片的 數(shù)量等不同的情況)，將該量作為品質(zhì)評(píng)價(jià)值來考慮。此外，在編碼方式不同的情況下，即使 是相同的品質(zhì)，產(chǎn)生編碼量也會(huì)不同。例如，以H. 264進(jìn)行編碼的情況下，與以MPEG-I進(jìn)行 編碼時(shí)相比，即使是相同的產(chǎn)生編碼量，一般H. 264方式更好。品質(zhì)評(píng)價(jià)值也可以反映因這 樣的編碼方式的不同而產(chǎn)生的特性。此外，對(duì)于根據(jù)編碼的不同或編碼結(jié)構(gòu)的不同應(yīng)如何 控制品質(zhì)評(píng)價(jià)值而言，例如以多個(gè)各種方式對(duì)相同的內(nèi)容進(jìn)行編碼，并可以通過調(diào)查與畫 質(zhì)之間的關(guān)系來決定。當(dāng)然，也可以在該過程中使用機(jī)械學(xué)習(xí)的結(jié)構(gòu)。接著，說明評(píng)價(jià)編碼失真的大小來計(jì)算品質(zhì)評(píng)價(jià)值的情況。此時(shí)，檢查能夠解碼與 對(duì)應(yīng)的各內(nèi)容的區(qū)間i相對(duì)應(yīng)后的時(shí)間區(qū)間的圖像的畫質(zhì)。例如，通過使用文獻(xiàn)1 (JP特開 2005-159419號(hào)公報(bào)，“圖像處理裝置及其方法以及計(jì)算機(jī)程序和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)”)的 方法，能夠?qū)幋a失真進(jìn)行定量。當(dāng)然，測(cè)量編碼失真的方法并非限于此，即使不使用原圖像，只要是僅使用編碼圖 像即可判定畫質(zhì)的方法，任何方法都可以。此時(shí)，定義編碼失真越大就變得越小的品質(zhì)評(píng)價(jià) 值，并加以利用即可?；蛘?，也可以使用量化參數(shù)來評(píng)價(jià)圖像。若進(jìn)行粗糙的量化，則一般畫質(zhì)會(huì)降低， 因此可以根據(jù)內(nèi)容提取與量化相關(guān)的編碼參數(shù)，從而評(píng)價(jià)品質(zhì)。此時(shí)，定義量化參數(shù)越大就 變得越小的品質(zhì)評(píng)價(jià)值，并加以使用即可。若分辨率在對(duì)應(yīng)后的內(nèi)容之間不同，則也可以使用分辨率來評(píng)價(jià)品質(zhì)。一般，可以 說分辨率越高，越是高畫質(zhì)，因此也可以定義分辨率越大就變得越大的品質(zhì)評(píng)價(jià)值，并加以 使用。此外，幀速率在對(duì)應(yīng)后的內(nèi)容之間不同的情況下，也可以使用幀速率來評(píng)價(jià)品質(zhì)。 幀速率越高，移動(dòng)越圓滑，可提高影像的品質(zhì)，因此也可以定義幀速率越高就變得越大的品 質(zhì)評(píng)價(jià)值，并加以使用。說明了基于以上各個(gè)因素求出品質(zhì)評(píng)價(jià)值的方法，但是也可以定義選取多個(gè)這些 因素的品質(zhì)評(píng)價(jià)值來加以使用。以上是基于圖4所示的流程圖的高品質(zhì)內(nèi)容生成單元102的動(dòng)作。接著，參照附圖，詳細(xì)說明高品質(zhì)內(nèi)容生成單元102的第二方式的動(dòng)作。圖5是表示高品質(zhì)內(nèi)容生成單元102的第二方式的處理流程的流程圖。基本上， 代替圖4的步驟S403、步驟S404而包括步驟S423。除此之外與圖4的流程圖相同，因此， 以下，將說明步驟S423。在步驟S423中，在對(duì)應(yīng)后的內(nèi)容的對(duì)應(yīng)的幀之間進(jìn)行像素值的統(tǒng)計(jì)處理之后，生成要輸出的幀。例如，在對(duì)應(yīng)后的多個(gè)內(nèi)容的幀之間，對(duì)位于同一像素位置上的像素的值進(jìn) 行平均，從而計(jì)算輸出幀的該像素位置處的像素值。通過這樣進(jìn)行平均，能夠抵銷包含在各 個(gè)內(nèi)容中的噪聲成分，并且能夠提高輸出幀的品質(zhì)?；蛘?，除了簡(jiǎn)單的平均外，也可以如M推測(cè)那樣排除outlier來求出像素值。例如， 在大量存在像素值不同的內(nèi)容的情況下，也可以消除該內(nèi)容的像素值，取平均來求出輸出 幀的像素值。此時(shí)，例如，即使在重疊有反射式字幕(telop)的派生內(nèi)容被對(duì)應(yīng)的情況下， 也能夠在不受該反射式字幕的影響的情況下計(jì)算輸出幀?；蛘?，也可以按每個(gè)內(nèi)容計(jì)算在圖3的流程圖的步驟S403中說明的品質(zhì)評(píng)價(jià)值， 并僅使用滿足某種固定基準(zhǔn)的品質(zhì)評(píng)價(jià)值來進(jìn)行統(tǒng)計(jì)處理。由此，能夠排除品質(zhì)極端低的 內(nèi)容的影響。若包括分辨率不同的內(nèi)容，則按照與輸出幀的分辨率一致的方式進(jìn)行內(nèi)插補(bǔ)償之 后進(jìn)行統(tǒng)計(jì)處理即可。以上是基于圖5所示的流程圖的高品質(zhì)內(nèi)容生成單元102的動(dòng)作。下面，參照附圖，詳細(xì)說明高品質(zhì)內(nèi)容生成單元102的第三方式的動(dòng)作。圖6是表示高品質(zhì)內(nèi)容生成單元102的第三方式的處理流程的流程圖?；旧希?代替圖4的步驟S403、步驟S404而包括步驟S443。除此之外與圖4的流程圖相同，因此， 以下，將說明步驟S443。在步驟S443中，在對(duì)應(yīng)后的內(nèi)容的對(duì)應(yīng)的幀之間進(jìn)行超分辨處理之后，生成要輸 出的幀。具體而言，在幀之間進(jìn)行像素的位置校正之后，進(jìn)行Blind deconvolution等處理， 并使幀清晰化，生成輸出幀。以上是基于圖6所示的流程圖的高品質(zhì)內(nèi)容生成單元102的動(dòng)作。下面，參照附圖，詳細(xì)說明高品質(zhì)內(nèi)容生成單元102的第四方式的動(dòng)作。圖7是表示高品質(zhì)內(nèi)容生成單元102的第四方式的處理流程的流程圖?；旧?， 代替圖4的步驟S403、步驟S404而包括步驟S463、步驟S464。除此之外與圖4的流程圖相 同，因此，以下，將說明步驟S463、步驟S464。在步驟S463中，進(jìn)行內(nèi)容之間的幀/場(chǎng)的對(duì)應(yīng)。在存在幀速率不同的內(nèi)容的情況 下，由于完全不一致，因此同一 /派生內(nèi)容群組化單元101中的對(duì)照所求出的幀之間的對(duì)應(yīng) 關(guān)系有可能存在若干偏差。因此，進(jìn)行對(duì)應(yīng)關(guān)系的微調(diào)整，提高對(duì)照的精度。其詳細(xì)內(nèi)容將 在后面敘述。接著，在步驟S464中，在區(qū)間i中生成輸出幀。圖8圖示了對(duì)內(nèi)容E和內(nèi)容F進(jìn) 行群組化并從中生成輸出內(nèi)容的情況。在存在幀速率不同的內(nèi)容的情況下，從該圖也可以 看出，對(duì)應(yīng)的內(nèi)容的數(shù)量隨著幀的時(shí)間位置變化。由此，對(duì)于多個(gè)內(nèi)容的幀對(duì)應(yīng)的時(shí)刻下的 輸出幀而言，使用這些多個(gè)幀來生成輸出幀。作為該生成方法，能夠使用上述的各種方法。 另一方面，在只有一個(gè)幀對(duì)應(yīng)的時(shí)刻位置處，將該幀作為輸出幀。另一方面，如圖9所示，有 時(shí)幀/場(chǎng)在內(nèi)容之間會(huì)完全不重疊。此時(shí)，如圖9所示，直接使用其各自時(shí)刻位置處的幀/ 場(chǎng)來作為輸出幀。由此，生成高品質(zhì)內(nèi)容的幀。接著，使用流程圖詳細(xì)說明步驟S463中的幀/場(chǎng)對(duì)應(yīng)的處理。圖10是表示步驟S463的處理流程的流程圖。首先，在步驟S600中，通過幀內(nèi)插處理，使內(nèi)容之間的幀速率一致。具體而言，將幀提高至內(nèi)容之間的幀速率的最小公倍數(shù)(例如，若是IOfps和15fps，則是30fps)。作為 此時(shí)的幀內(nèi)插方法，基于前后的幀，并根據(jù)時(shí)間距離進(jìn)行線性內(nèi)插，或者補(bǔ)償物體的移動(dòng)來 從前后的幀中生成內(nèi)插幀。此時(shí)，存在被運(yùn)動(dòng)體覆蓋的背景部分和新表示的背景部分。被 覆蓋的區(qū)域時(shí)間上只能與前面的幀對(duì)應(yīng)，相反，新出現(xiàn)的區(qū)域時(shí)間上只能與后面的幀對(duì)應(yīng)。 此時(shí)，直接使用對(duì)應(yīng)后的區(qū)域的像素值。另外，在原本就是交錯(cuò)結(jié)構(gòu)的內(nèi)容的情況下，以場(chǎng) 結(jié)構(gòu)進(jìn)行上述內(nèi)插處理。接著，在步驟S601中，提取各幀/場(chǎng)的特征量。作為此時(shí)提取的特征量，可以使用 與在特征量提取單元100中使用的特征量相同的特征量，也可以使用不同的特征量。由于 需要進(jìn)行時(shí)間軸方向的細(xì)致的位置較準(zhǔn)，因此優(yōu)選對(duì)時(shí)間軸方向的偏移敏感的特征量。接著，在步驟S602中，在內(nèi)容之間進(jìn)行特征兩的對(duì)照，并確定幀/場(chǎng)的對(duì)應(yīng)。由于 原本在沒有該處理時(shí)也大致在內(nèi)容之間對(duì)應(yīng)了時(shí)間方向的位置，因此只要將該位置稍微向 前后移動(dòng)來選擇對(duì)照性最好的即可。由此，即使在幀速率不同的幀之間，也能夠使幀/場(chǎng)對(duì) 應(yīng)。下面，使用流程圖說明步驟S463中的幀/場(chǎng)對(duì)應(yīng)處理的另一方法。圖11是表示步驟S463的處理流程的流程圖。首先，在步驟S620中，生成各內(nèi)容的時(shí)空間片段圖像。如圖12所示，時(shí)空間片段 圖像是指將影像內(nèi)容看作水平、垂直、時(shí)間這三維數(shù)據(jù)時(shí)，在水平方向的坐標(biāo)值一定的平面 或垂直方向的坐標(biāo)值一定的平面上進(jìn)行切割時(shí)所生成的平面。為了便于說明，考慮在水平 方向的坐標(biāo)值一定的平面或垂直方向的坐標(biāo)值一定的平面上進(jìn)行切割的情況，理論上，只 要是平行于時(shí)間軸的面，可以使用在任何面上進(jìn)行切割的圖像。圖12表示在水平方向的坐 標(biāo)值一定的面上切割了平面。接著，在步驟S621中，進(jìn)行時(shí)空間片段圖像的內(nèi)插處理。與 步驟S600時(shí)相同，根據(jù)內(nèi)容之間的幀速率的最小公倍數(shù)(例如，若是IOfps和15fps，則是 30fps)，進(jìn)行時(shí)間方向的內(nèi)插。接著，在步驟S622中，對(duì)內(nèi)插處理后的時(shí)空間片段圖像，在內(nèi)容之間進(jìn)行僅基于 時(shí)間方向的水平移動(dòng)的整體移動(dòng)推測(cè)。此時(shí)，可以使用通常的基于塊匹配的方法，也可以使 用Hough轉(zhuǎn)換方法。由此，求出時(shí)空間圖像的時(shí)間方向的位移量。根據(jù)該值，進(jìn)行內(nèi)容之間 的幀/場(chǎng)對(duì)應(yīng)即可。以上是基于圖7所示的流程圖的高品質(zhì)內(nèi)容生成單元102的動(dòng)作。下面，參照附圖，詳細(xì)說明高品質(zhì)內(nèi)容生成單元102的第五方式的動(dòng)作。圖13是表示高品質(zhì)內(nèi)容生成單元102的第五方式的處理流程的流程圖?；旧?， 代替圖4的步驟S403、步驟S404而包括步驟S483、步驟S484。除此之外與圖4的流程圖相 同，因此，以下，將說明步驟S483、步驟S484。在步驟S483中，與步驟S620同樣地生成各內(nèi)容的時(shí)空間片段圖像。之后，對(duì)該時(shí) 空間圖像進(jìn)行超分辨處理，生成高品質(zhì)時(shí)空間片段圖像。接著，在步驟S484中，通過在輸出幀的時(shí)刻位置對(duì)高品質(zhì)時(shí)空間片段圖像進(jìn)行采 樣，生成輸出幀。根據(jù)一個(gè)高品質(zhì)時(shí)空間片段圖像，僅在相當(dāng)于切口的某一直線上求出輸出 幀的像素值。因此，生成與平行于該直線的任意直線對(duì)應(yīng)的高品質(zhì)時(shí)空間片段圖像，并計(jì)算 輸出幀的像素值。由此，生成高品質(zhì)圖像的輸出幀。以上是基于圖13所示的流程圖的高品質(zhì)內(nèi)容生成單元102的動(dòng)作。
以上，說明了高品質(zhì)內(nèi)容生成單元102的動(dòng)作，但是，顯然也可以將上述的方法組 合起來使用。例如，也可以比較通過上述的多個(gè)方法生成的高品質(zhì)內(nèi)容的畫質(zhì)，選擇最優(yōu) 的?；蛘撸部梢园磪^(qū)間、區(qū)域改變所使用的方式。下面，說明本實(shí)施方式的效果。在本實(shí)施方式中，自動(dòng)對(duì)多個(gè)同一內(nèi)容進(jìn)行群組化，并生成高品質(zhì)的內(nèi)容，因此即 使用戶不親自去搜索高品質(zhì)內(nèi)容也能夠視聽高品質(zhì)的內(nèi)容。此外，在具有時(shí)間軸的內(nèi)容的 情況下，按區(qū)間判定被判定為相同的內(nèi)容的品質(zhì)，并選擇品質(zhì)最優(yōu)的或者生成高品質(zhì)的內(nèi) 容，因此用戶無需逐一切換為高品質(zhì)的內(nèi)容來觀看，也能夠針對(duì)內(nèi)容整體視聽高品質(zhì)的內(nèi)容。下面，參照附圖，說明第2實(shí)施方式。參照?qǐng)D14，第2實(shí)施方式的高品質(zhì)內(nèi)容生成系統(tǒng)由特征量提取單元100、同一 /派 生內(nèi)容群組化單元101、高品質(zhì)內(nèi)容生成單元102、對(duì)應(yīng)關(guān)系修正單元、內(nèi)容蓄積單元105構(gòu) 成。內(nèi)容蓄積單元105蓄積多個(gè)內(nèi)容，并與特征量提取單元100和高品質(zhì)內(nèi)容生成單元102 連接。特征量提取單元100從內(nèi)容蓄積單元105輸入內(nèi)容，并求出相對(duì)于內(nèi)容的特征量， 從而將特征量輸出給同一 /派生內(nèi)容群組化單元101。向同一 /派生內(nèi)容群組化單元101輸入從特征量提取單元100輸出的內(nèi)容的特征 量，并求出表示特征量間的鏈接關(guān)系的內(nèi)容鏈接信息，且作為群組化信息輸出給對(duì)應(yīng)關(guān)系 調(diào)整單元150。對(duì)應(yīng)關(guān)系調(diào)整單元150從內(nèi)容蓄積單元105輸入內(nèi)容，并從同一 /派生內(nèi)容群組 化單元101輸入群組化信息，修正包含在群組化信息中的內(nèi)容鏈接信息后，將修正后的群 組化信息輸出給高品質(zhì)內(nèi)容生成單元102。高品質(zhì)內(nèi)容生成單元102從同一 /派生內(nèi)容群組化單元101輸入群組化信息，并 從內(nèi)容蓄積單元105輸入內(nèi)容，生成高品質(zhì)內(nèi)容之后進(jìn)行輸出。下面，說明第2實(shí)施方式的高品質(zhì)內(nèi)容生成系統(tǒng)的動(dòng)作。對(duì)應(yīng)關(guān)系調(diào)整單元150以外的動(dòng)作與圖1所示的第1實(shí)施方式相同。其中，只有 以下方面的不同點(diǎn)高品質(zhì)內(nèi)容生成單元102不使用從同一 /派生內(nèi)容群組化單元101輸 出的群組化信息，而是使用從對(duì)應(yīng)關(guān)系調(diào)整單元150輸出的群組化信息。在對(duì)應(yīng)關(guān)系調(diào)整單元150中，修正從同一 /派生內(nèi)容群組化單元101輸出的內(nèi)容 之間的對(duì)應(yīng)關(guān)系。這是因?yàn)?，在特征量之間的對(duì)照中求出的鏈接關(guān)系有時(shí)會(huì)從正確的對(duì)應(yīng) 關(guān)系中偏移一些(數(shù)幀左右)。具體而言，以從同一 /派生內(nèi)容群組化單元101輸出的內(nèi) 容之間的對(duì)應(yīng)關(guān)系為基礎(chǔ)，在內(nèi)容之間進(jìn)行再次對(duì)照來修正該偏移。作為該方法，能夠使用 圖7的流程圖的步驟S463的說明中所述的方法。向?qū)?yīng)關(guān)系修正單元150輸出包括被修 正的對(duì)應(yīng)關(guān)系的群組化信息。在第2實(shí)施方式中，即使在特征量的對(duì)照中產(chǎn)生了若干誤差的情況下，也能夠通 過修正對(duì)應(yīng)關(guān)系來準(zhǔn)確地生成高品質(zhì)內(nèi)容。另外，在上述的實(shí)施方式中，用硬件構(gòu)成了高品質(zhì)內(nèi)容生成系統(tǒng)的各部位，但是也 可以利用通過程序進(jìn)行動(dòng)作的信息處理裝置。此時(shí)，程序使信息處理裝置執(zhí)行上述各部位 的動(dòng)作。
根據(jù)本實(shí)施方式，在多個(gè)內(nèi)容被投稿的情況下，用戶即使不親自去搜索也能夠視 聽高品質(zhì)的內(nèi)容。其理由是因?yàn)槭褂帽煌陡宓亩鄠€(gè)同一內(nèi)容來生成并提供高品質(zhì)的內(nèi)容。 因此，用戶無需費(fèi)功夫就能夠看到高畫質(zhì)的內(nèi)容。此外，根據(jù)本實(shí)施方式，用戶能夠從內(nèi)容的開始到結(jié)束視聽高品質(zhì)的內(nèi)容。其理由 是因?yàn)榘磪^(qū)域判定內(nèi)容的品質(zhì)來選擇最高品質(zhì)的內(nèi)容，或者從多個(gè)同一內(nèi)容中生成高品質(zhì) 的內(nèi)容，從而以內(nèi)容整體進(jìn)行高品質(zhì)化來提供給用戶。因此，用戶無需逐一切換為高品質(zhì)的 內(nèi)容來觀看，就能夠針對(duì)內(nèi)容整體視聽高品質(zhì)的內(nèi)容。說明了本發(fā)明的實(shí)施方式，在本發(fā)明的第1方式的高品質(zhì)內(nèi)容生成系統(tǒng)中，具有 特征量提取單元，其從多個(gè)內(nèi)容中提取內(nèi)容的特征量；內(nèi)容群組化單元，其在由所述特征量 提取單元提取出的多個(gè)內(nèi)容的特征量之間進(jìn)行對(duì)照，并對(duì)所述多個(gè)內(nèi)容中所包含的同一內(nèi) 容和使用該內(nèi)容制作出的派生內(nèi)容進(jìn)行群組化，計(jì)算出同一 /派生內(nèi)容群組化信息；和高 品質(zhì)內(nèi)容生成單元，其從所述多個(gè)內(nèi)容之中選擇以所述同一 /派生內(nèi)容群組化信息被群組 化的內(nèi)容，并使用選擇出的內(nèi)容，生成品質(zhì)更好的內(nèi)容。本發(fā)明的第2方式在上述方式中，所述內(nèi)容是具有時(shí)間軸的內(nèi)容，所述內(nèi)容群組 化單元根據(jù)所述對(duì)照，按時(shí)間區(qū)間進(jìn)行同一 /派生內(nèi)容的群組化來計(jì)算出所述同一 /派生 內(nèi)容群組化信息，所述高品質(zhì)內(nèi)容生成單元使用所述選擇出的內(nèi)容，按時(shí)間區(qū)間生成品質(zhì) 更好的內(nèi)容。本發(fā)明的第3方式在上述方式中，所述內(nèi)容是音樂或者影像。本發(fā)明的第4方式在上述方式中，所述內(nèi)容的特征量包括視覺特征量或音響特征 量的至少一個(gè)。本發(fā)明的第5方式在上述方式中，所述高品質(zhì)內(nèi)容生成單元按每個(gè)時(shí)間區(qū)間評(píng)價(jià) 所述選擇出的內(nèi)容的品質(zhì)，并在與所述選擇出的內(nèi)容彼此的同一區(qū)間對(duì)應(yīng)的時(shí)間區(qū)間之間 比較品質(zhì)，選擇高品質(zhì)的內(nèi)容的時(shí)間區(qū)間并結(jié)合在一起，從而生成品質(zhì)更好的內(nèi)容。本發(fā)明的第6方式在上述方式中，所述高品質(zhì)內(nèi)容生成單元根據(jù)分配給時(shí)間區(qū)間 的編碼比特量和編碼方式，判定每一個(gè)該時(shí)間區(qū)間的品質(zhì)的評(píng)價(jià)。本發(fā)明的第7方式在上述方式中，所述高品質(zhì)內(nèi)容生成單元根據(jù)評(píng)價(jià)編碼失真的 大小的評(píng)價(jià)指標(biāo)，判定每一個(gè)時(shí)間區(qū)間的品質(zhì)的評(píng)價(jià)。本發(fā)明的第8方式在上述方式中，所述高品質(zhì)內(nèi)容生成單元按時(shí)間區(qū)間和幀內(nèi)區(qū) 域評(píng)價(jià)所述選擇出的內(nèi)容的品質(zhì)，并在與所述選擇出的內(nèi)容彼此的同一區(qū)間對(duì)應(yīng)的時(shí)間區(qū) 間之間比較品質(zhì)，選擇高品質(zhì)的內(nèi)容的時(shí)間區(qū)間和幀內(nèi)區(qū)域并結(jié)合在一起，從而生成品質(zhì) 更好的內(nèi)容。本發(fā)明的第9方式在上述方式中，所述高品質(zhì)內(nèi)容生成單元根據(jù)分配給幀內(nèi)區(qū)域 的編碼比特量和編碼方式，判定每一個(gè)該幀內(nèi)區(qū)域的品質(zhì)的評(píng)價(jià)。本發(fā)明的第10方式在上述方式中，所述高品質(zhì)內(nèi)容生成單元根據(jù)評(píng)價(jià)編碼失真 的大小的評(píng)價(jià)指標(biāo)，判定每一個(gè)幀內(nèi)區(qū)域的品質(zhì)的評(píng)價(jià)。本發(fā)明的第11方式在上述方式中，所述評(píng)價(jià)編碼失真的大小的評(píng)價(jià)指標(biāo)是規(guī)定 量化的粗糙度的編碼參數(shù)。本發(fā)明的第12方式在上述方式中，所述高品質(zhì)內(nèi)容生成單元在所述選擇出的內(nèi) 容的分辨率不同的情況下，通過使用最高分辨率的內(nèi)容來生成品質(zhì)更好的內(nèi)容。
本發(fā)明的第13方式在上述方式中，所述高品質(zhì)內(nèi)容生成單元通過在對(duì)應(yīng)的幀之 間進(jìn)行像素值的統(tǒng)計(jì)處理來生成高品質(zhì)的幀，從而生成品質(zhì)更好的內(nèi)容。本發(fā)明的第14方式在上述方式中，所述高品質(zhì)內(nèi)容生成單元在所述選擇出的內(nèi) 容的分辨率不同的情況下，通過在對(duì)應(yīng)的幀之間使用超分辨技術(shù)來生成高品質(zhì)的幀，從而 生成品質(zhì)更好的內(nèi)容。本發(fā)明的第15方式在上述方式中，所述高品質(zhì)內(nèi)容生成單元在所述選擇出的內(nèi) 容的幀速率不同的情況下，通過使用幀速率最高的內(nèi)容，生成品質(zhì)更好的內(nèi)容。本發(fā)明的第16方式在上述方式中，所述高品質(zhì)內(nèi)容生成單元在所述選擇出的內(nèi) 容的幀速率不同的情況下，當(dāng)在所述選擇出的內(nèi)容之間存在多個(gè)對(duì)應(yīng)的幀或場(chǎng)時(shí)，從中選 擇品質(zhì)最好的幀或場(chǎng)，或者通過對(duì)所述對(duì)應(yīng)的幀或場(chǎng)進(jìn)行統(tǒng)計(jì)處理來生成幀或場(chǎng)，當(dāng)對(duì)應(yīng) 的幀或場(chǎng)并不存在多個(gè)時(shí)，通過選擇該幀或場(chǎng)來生成品質(zhì)更好的內(nèi)容。本發(fā)明的第17方式在上述方式中，所述高品質(zhì)內(nèi)容生成單元根據(jù)評(píng)價(jià)編碼失真 的大小的評(píng)價(jià)指標(biāo)，判定每一個(gè)幀或場(chǎng)的品質(zhì)的評(píng)價(jià)。本發(fā)明的第18方式在上述方式中，所述高品質(zhì)內(nèi)容生成單元在所述選擇出的內(nèi) 容的幀速率不同的情況下，按所述選擇出的內(nèi)容生成時(shí)空間片段圖像，并在所述選擇出的 內(nèi)容之間對(duì)應(yīng)的時(shí)空間片段圖像之間，推測(cè)平行于時(shí)間軸方向的移動(dòng)分量，從而調(diào)整所述 內(nèi)容之間的幀或場(chǎng)之間的對(duì)應(yīng)之后，生成所述品質(zhì)更好的內(nèi)容。本發(fā)明的第19方式在上述方式中，所述高品質(zhì)內(nèi)容生成單元在所述選擇出的內(nèi) 容的幀速率不同的情況下，按所述選擇出的內(nèi)容生成時(shí)空間片段圖像，并在所述選擇出的 內(nèi)容之間對(duì)應(yīng)的時(shí)空間片段圖像之間，使用超分辨技術(shù)，從而生成高品質(zhì)的時(shí)空間片段圖 像，且通過對(duì)所述高品質(zhì)的時(shí)空間片段圖像重新進(jìn)行采樣，生成幀速率高的內(nèi)容。本發(fā)明的第20方式在上述方式中，具有對(duì)應(yīng)關(guān)系修正單元，其從所述多個(gè)內(nèi)容 之中選擇根據(jù)由所述內(nèi)容群組化單元輸出的同一/派生內(nèi)容群組化信息被群組化的內(nèi)容， 并基于所述同一/派生內(nèi)容群組化信息在所述選擇出的內(nèi)容之間進(jìn)行區(qū)間的對(duì)應(yīng)關(guān)系的 修正之后，輸出被修正的同一 /派生內(nèi)容群組化信息，所述高品質(zhì)內(nèi)容生成單元代替所述 同一 /派生內(nèi)容群組化信息，將所述被修正的同一 /派生內(nèi)容群組化信息作為輸入。本發(fā)明的第21方式是具有如下步驟的高品質(zhì)內(nèi)容生成方法從多個(gè)內(nèi)容中提取 內(nèi)容的特征量的特征量提取步驟；在所述提取出的多個(gè)內(nèi)容的特征量之間進(jìn)行對(duì)照，并對(duì) 所述多個(gè)內(nèi)容中所包含的同一內(nèi)容和使用該內(nèi)容制作出的派生內(nèi)容進(jìn)行群組化，計(jì)算出同 一 /派生內(nèi)容群組化信息的內(nèi)容群組化步驟；和從所述多個(gè)內(nèi)容之中選擇以所述同一 /派 生內(nèi)容群組化信息被群組化的內(nèi)容，并使用選擇出的內(nèi)容，生成品質(zhì)更好的內(nèi)容的高品質(zhì) 內(nèi)容生成步驟。本發(fā)明的第22方式在上述方式中，所述內(nèi)容是具有時(shí)間軸的內(nèi)容，所述內(nèi)容群組 化步驟根據(jù)所述對(duì)照，按時(shí)間區(qū)間進(jìn)行同一 /派生內(nèi)容的群組化來計(jì)算出所述同一 /派生 內(nèi)容群組化信息，所述高品質(zhì)內(nèi)容生成步驟使用所述選擇出的內(nèi)容，按時(shí)間區(qū)間生成品質(zhì) 更好的內(nèi)容。本發(fā)明的第23方式在上述方式中，具有從所述多個(gè)內(nèi)容之中選擇根據(jù)由所述內(nèi) 容群組化步驟計(jì)算出的同一 /派生內(nèi)容群組化信息被群組化的內(nèi)容，并基于所述同一 /派 生內(nèi)容群組化信息在所述選擇出的內(nèi)容之間進(jìn)行區(qū)間的對(duì)應(yīng)關(guān)系的修正之后，計(jì)算被修正的同一 /派生內(nèi)容群組化信息的對(duì)應(yīng)關(guān)系修正步驟，所述高品質(zhì)內(nèi)容生成步驟代替所述同 一/派生內(nèi)容群組化信息而使用所述被修正的同一/派生內(nèi)容群組化信息。本發(fā)明的第M方式是使信息處理裝置執(zhí)行如下處理的高品質(zhì)內(nèi)容生成程序，即 從多個(gè)內(nèi)容中提取內(nèi)容的特征量的特征量提取處理；在所述提取出的多個(gè)內(nèi)容的特征量之 間進(jìn)行對(duì)照，并求出所述多個(gè)內(nèi)容中所包含的同一內(nèi)容和使用該內(nèi)容制作出的派生內(nèi)容后 加以群組化，計(jì)算出同一 /派生內(nèi)容群組化信息的內(nèi)容群組化處理；和從所述多個(gè)內(nèi)容之 中選擇以所述同一 /派生內(nèi)容群組化信息被群組化的內(nèi)容，并使用選擇出的內(nèi)容，生成品 質(zhì)更好的內(nèi)容的高品質(zhì)內(nèi)容生成處理。本發(fā)明的第25方式在上述方式中，所述內(nèi)容是具有時(shí)間軸的內(nèi)容，所述內(nèi)容群組 化處理根據(jù)所述對(duì)照，按時(shí)間區(qū)間進(jìn)行同一 /派生內(nèi)容的群組化來計(jì)算出所述同一 /派生 內(nèi)容群組化信息，所述高品質(zhì)內(nèi)容生成處理使用所述選擇出的內(nèi)容，按時(shí)間區(qū)間生成品質(zhì) 更好的內(nèi)容。本發(fā)明的第沈方式在上述方式中，使信息處理裝置執(zhí)行如下的處理從所述多個(gè) 內(nèi)容之中選擇根據(jù)由所述內(nèi)容群組化處理計(jì)算出的同一/派生內(nèi)容群組化信息被群組化 的內(nèi)容，并基于所述同一/派生內(nèi)容群組化信息在所述選擇出的內(nèi)容之間進(jìn)行區(qū)間的對(duì)應(yīng) 關(guān)系的修正之后，計(jì)算被修正的同一 /派生內(nèi)容群組化信息的對(duì)應(yīng)關(guān)系修正處理，所述高 品質(zhì)內(nèi)容生成處理代替所述同一/派生內(nèi)容群組化信息而使用所述被修正的同一/派生內(nèi) 容群組化信息。以上，列舉優(yōu)選實(shí)施方式以及形式說明了本發(fā)明，本發(fā)明并定僅限于上述實(shí)施方 式和實(shí)施例，在其技術(shù)思想范圍內(nèi)，能夠進(jìn)行各種變形來實(shí)施。本發(fā)明主張以2008年6月沈日申請(qǐng)的日本申請(qǐng)?zhí)卦?008-167345號(hào)為基礎(chǔ)的優(yōu) 先權(quán)，并在此援引其公開的所有內(nèi)容。(產(chǎn)業(yè)上的可利用性)根據(jù)本發(fā)明，可適用于使用能夠從因特網(wǎng)訪問的內(nèi)容來生成高品質(zhì)的內(nèi)容之后提 供給用戶的系統(tǒng)或程序中。此外，上述用途不僅限于因特網(wǎng)，即使是蓄積在相同的硬件記錄 器內(nèi)的內(nèi)容，在存在相同或派生內(nèi)容的情況下，同樣能夠應(yīng)用。
權(quán)利要求
1.一種高品質(zhì)內(nèi)容生成系統(tǒng)，具有特征量提取單元，其從多個(gè)內(nèi)容中提取內(nèi)容的特征量；內(nèi)容群組化單元，其在由所述特征量提取單元提取出的多個(gè)內(nèi)容的特征量之間進(jìn)行對(duì) 照，并對(duì)所述多個(gè)內(nèi)容中所包含的同一內(nèi)容和使用該內(nèi)容制作出的派生內(nèi)容進(jìn)行群組化， 計(jì)算出同一 /派生內(nèi)容群組化信息；和高品質(zhì)內(nèi)容生成單元，其從所述多個(gè)內(nèi)容之中選擇以所述同一 /派生內(nèi)容群組化信息 被群組化的內(nèi)容，并使用選擇出的內(nèi)容，生成品質(zhì)更好的內(nèi)容。
2.根據(jù)權(quán)利要求1所述的高品質(zhì)內(nèi)容生成系統(tǒng)，其中，所述內(nèi)容是具有時(shí)間軸的內(nèi)容，所述內(nèi)容群組化單元根據(jù)所述對(duì)照，按每個(gè)時(shí)間區(qū)間進(jìn)行同一 /派生內(nèi)容的群組化， 并且計(jì)算出所述同一/派生內(nèi)容群組化信息，所述高品質(zhì)內(nèi)容生成單元使用所述選擇出的內(nèi)容，按每個(gè)時(shí)間區(qū)間生成品質(zhì)更好的內(nèi)容。
3.根據(jù)權(quán)利要求2所述的高品質(zhì)內(nèi)容生成系統(tǒng)，其中，所述內(nèi)容是音樂或者影像。
4.根據(jù)權(quán)利要求3所述的高品質(zhì)內(nèi)容生成系統(tǒng)，其中，所述內(nèi)容的特征量包括視覺特征量或音響特征量的至少一個(gè)。
5.根據(jù)權(quán)利要求2至4的任一項(xiàng)所述的高品質(zhì)內(nèi)容生成系統(tǒng)，其中，所述高品質(zhì)內(nèi)容生成單元按每個(gè)時(shí)間區(qū)間評(píng)價(jià)所述選擇出的內(nèi)容的品質(zhì)，并在與所述 選擇出的內(nèi)容彼此的同一區(qū)間對(duì)應(yīng)的時(shí)間區(qū)間之間比較品質(zhì)，選擇高品質(zhì)的內(nèi)容的時(shí)間區(qū) 間并結(jié)合在一起，從而生成品質(zhì)更好的內(nèi)容。
6.根據(jù)權(quán)利要求5所述的高品質(zhì)內(nèi)容生成系統(tǒng)，其中，所述高品質(zhì)內(nèi)容生成單元根據(jù)分配給時(shí)間區(qū)間的編碼比特量和編碼方式，判定每一個(gè) 該時(shí)間區(qū)間的品質(zhì)的評(píng)價(jià)。
7.根據(jù)權(quán)利要求5所述的高品質(zhì)內(nèi)容生成系統(tǒng)，其中，所述高品質(zhì)內(nèi)容生成單元根據(jù)評(píng)價(jià)編碼失真的大小的評(píng)價(jià)指標(biāo)，判定每一個(gè)時(shí)間區(qū)間 的品質(zhì)的評(píng)價(jià)。
8.根據(jù)權(quán)利要求2至4的任一項(xiàng)所述的高品質(zhì)內(nèi)容生成系統(tǒng)，其中，所述高品質(zhì)內(nèi)容生成單元按每個(gè)時(shí)間區(qū)間和幀內(nèi)區(qū)域評(píng)價(jià)所述選擇出的內(nèi)容的品質(zhì)， 并在與所述選擇出的內(nèi)容彼此的同一區(qū)間對(duì)應(yīng)的時(shí)間區(qū)間之間比較品質(zhì)，選擇高品質(zhì)的內(nèi) 容的時(shí)間區(qū)間和幀內(nèi)區(qū)域并結(jié)合在一起，從而生成品質(zhì)更好的內(nèi)容。
9.根據(jù)權(quán)利要求8所述的高品質(zhì)內(nèi)容生成系統(tǒng)，其中，所述高品質(zhì)內(nèi)容生成單元根據(jù)分配給幀內(nèi)區(qū)域的編碼比特量和編碼方式，判定每一個(gè) 該幀內(nèi)區(qū)域的品質(zhì)的評(píng)價(jià)。
10.根據(jù)權(quán)利要求8所述的高品質(zhì)內(nèi)容生成系統(tǒng)，其中，所述高品質(zhì)內(nèi)容生成單元根據(jù)評(píng)價(jià)編碼失真的大小的評(píng)價(jià)指標(biāo)，判定每一個(gè)幀內(nèi)區(qū)域 的品質(zhì)的評(píng)價(jià)。
11.根據(jù)權(quán)利要求7或10所述的高品質(zhì)內(nèi)容生成系統(tǒng)，其中，所述評(píng)價(jià)編碼失真的大小的評(píng)價(jià)指標(biāo)是規(guī)定量化的粗糙度的編碼參數(shù)。
12.根據(jù)權(quán)利要求2至4的任一項(xiàng)所述的高品質(zhì)內(nèi)容生成系統(tǒng)，其中，所述高品質(zhì)內(nèi)容生成單元在所述選擇出的內(nèi)容的分辨率不同的情況下，通過使用最高 分辨率的內(nèi)容來生成品質(zhì)更好的內(nèi)容。
13.根據(jù)權(quán)利要求2至4的任一項(xiàng)所述的高品質(zhì)內(nèi)容生成系統(tǒng)，其中，所述高品質(zhì)內(nèi)容生成單元通過在對(duì)應(yīng)的幀之間進(jìn)行像素值的統(tǒng)計(jì)處理來生成高品質(zhì) 的幀，從而生成品質(zhì)更好的內(nèi)容。
14.根據(jù)權(quán)利要求2至4的任一項(xiàng)所述的高品質(zhì)內(nèi)容生成系統(tǒng)，其中，所述高品質(zhì)內(nèi)容生成單元在所述選擇出的內(nèi)容的分辨率不同的情況下，通過在對(duì)應(yīng)的 幀之間使用超分辨技術(shù)來生成高品質(zhì)的幀，從而生成品質(zhì)更好的內(nèi)容。
15.根據(jù)權(quán)利要求2至4的任一項(xiàng)所述的高品質(zhì)內(nèi)容生成系統(tǒng)，其中，所述高品質(zhì)內(nèi)容生成單元在所述選擇出的內(nèi)容的幀速率不同的情況下，通過使用幀速 率最高的內(nèi)容，生成品質(zhì)更好的內(nèi)容。
16.根據(jù)權(quán)利要求2至4的任一項(xiàng)所述的高品質(zhì)內(nèi)容生成系統(tǒng)，其中，所述高品質(zhì)內(nèi)容生成單元在所述選擇出的內(nèi)容的幀速率不同的情況下，當(dāng)在所述選擇 出的內(nèi)容之間存在多個(gè)對(duì)應(yīng)的幀或場(chǎng)時(shí)，從中選擇品質(zhì)最好的幀或場(chǎng)，或者通過對(duì)所述對(duì) 應(yīng)的幀或場(chǎng)進(jìn)行統(tǒng)計(jì)處理來生成幀或場(chǎng)，當(dāng)對(duì)應(yīng)的幀或場(chǎng)并不存在多個(gè)時(shí)，通過選擇該幀 或場(chǎng)來生成品質(zhì)更好的內(nèi)容。
17.根據(jù)權(quán)利要求16所述的高品質(zhì)內(nèi)容生成系統(tǒng)，其中，所述高品質(zhì)內(nèi)容生成單元根據(jù)評(píng)價(jià)編碼失真的大小的評(píng)價(jià)指標(biāo)，判定每一個(gè)幀或場(chǎng)的 品質(zhì)的評(píng)價(jià)。
18.根據(jù)權(quán)利要求16所述的高品質(zhì)內(nèi)容生成系統(tǒng)，其中，所述高品質(zhì)內(nèi)容生成單元在所述選擇出的內(nèi)容的幀速率不同的情況下，按所述選擇 出的每個(gè)內(nèi)容生成時(shí)空間片段圖像，并在所述選擇出的內(nèi)容之間對(duì)應(yīng)的時(shí)空間片段圖像之 間，推測(cè)平行于時(shí)間軸方向的移動(dòng)分量，從而調(diào)整所述內(nèi)容之間的幀或場(chǎng)之間的對(duì)應(yīng)之后， 生成所述品質(zhì)更好的內(nèi)容。
19.根據(jù)權(quán)利要求2至4的任一項(xiàng)所述的高品質(zhì)內(nèi)容生成系統(tǒng)，其中，所述高品質(zhì)內(nèi)容生成單元在所述選擇出的內(nèi)容的幀速率不同的情況下，按所述選擇出 的內(nèi)容生成時(shí)空間片段圖像，并在所述選擇出的內(nèi)容之間對(duì)應(yīng)的時(shí)空間片段圖像之間，使 用超分辨技術(shù)，從而生成高品質(zhì)的時(shí)空間片段圖像，且通過對(duì)所述高品質(zhì)的時(shí)空間片段圖 像重新進(jìn)行采樣，生成幀速率高的內(nèi)容。
20.根據(jù)權(quán)利要求2至19的任一項(xiàng)所述的高品質(zhì)內(nèi)容生成系統(tǒng)，其中，該高品質(zhì)內(nèi)容生成系統(tǒng)具有對(duì)應(yīng)關(guān)系修正單元，其從所述多個(gè)內(nèi)容之中選擇以由所述 內(nèi)容群組化單元輸出的同一 /派生內(nèi)容群組化信息被群組化的內(nèi)容，并基于所述同一 /派 生內(nèi)容群組化信息在所述選擇出的內(nèi)容之間進(jìn)行區(qū)間的對(duì)應(yīng)關(guān)系的修正之后，輸出被修正 的同一 /派生內(nèi)容群組化信息，所述高品質(zhì)內(nèi)容生成單元代替所述同一 /派生內(nèi)容群組化信息，將所述被修正的同一 /派生內(nèi)容群組化信息作為輸入。
21.—種高品質(zhì)內(nèi)容生成方法，其具有如下步驟特征量提取步驟，從多個(gè)內(nèi)容中提取內(nèi)容的特征量；內(nèi)容群組化步驟，在所述提取出的多個(gè)內(nèi)容的特征量之間進(jìn)行對(duì)照，并對(duì)所述多個(gè)內(nèi) 容中所包含的同一內(nèi)容和使用該內(nèi)容制作出的派生內(nèi)容進(jìn)行群組化，計(jì)算出同一 /派生內(nèi) 容群組化信息；和高品質(zhì)內(nèi)容生成步驟，從所述多個(gè)內(nèi)容之中選擇以所述同一 /派生內(nèi)容群組化信息被 群組化的內(nèi)容，并使用選擇出的內(nèi)容，生成品質(zhì)更好的內(nèi)容。
22.根據(jù)權(quán)利要求21所述的高品質(zhì)內(nèi)容生成方法，其中， 所述內(nèi)容是具有時(shí)間軸的內(nèi)容，所述內(nèi)容群組化步驟根據(jù)所述對(duì)照，按每個(gè)時(shí)間區(qū)間進(jìn)行同一 /派生內(nèi)容的群組化來 計(jì)算出所述同一 /派生內(nèi)容群組化信息，所述高品質(zhì)內(nèi)容生成步驟使用所述選擇出的內(nèi)容，按每個(gè)時(shí)間區(qū)間生成品質(zhì)更好的內(nèi)容。
23.根據(jù)權(quán)利要求21或22所述的高品質(zhì)內(nèi)容生成方法，其中，該高品質(zhì)內(nèi)容生成方法具有對(duì)應(yīng)關(guān)系修正步驟，從所述多個(gè)內(nèi)容之中選擇以由所述內(nèi) 容群組化步驟計(jì)算出的同一 /派生內(nèi)容群組化信息被群組化的內(nèi)容，并基于所述同一 /派 生內(nèi)容群組化信息在所述選擇出的內(nèi)容之間進(jìn)行區(qū)間的對(duì)應(yīng)關(guān)系的修正之后，計(jì)算被修正 的同一 /派生內(nèi)容群組化信息，所述高品質(zhì)內(nèi)容生成步驟使用所述被修正的同一/派生內(nèi)容群組化信息來代替所述 同一/派生內(nèi)容群組化信息。
24.一種使信息處理裝置執(zhí)行如下處理的高品質(zhì)內(nèi)容生成程序，即 從多個(gè)內(nèi)容中提取內(nèi)容的特征量的特征量提取處理；在所述提取出的多個(gè)內(nèi)容的特征量之間進(jìn)行對(duì)照，并求出所述多個(gè)內(nèi)容中所包含的同 一內(nèi)容和使用該內(nèi)容制作出的派生內(nèi)容后加以群組化，計(jì)算出同一 /派生內(nèi)容群組化信息 的內(nèi)容群組化處理；和從所述多個(gè)內(nèi)容之中選擇以所述同一/派生內(nèi)容群組化信息被群組化的內(nèi)容，并使用 選擇出的內(nèi)容，生成品質(zhì)更好的內(nèi)容的高品質(zhì)內(nèi)容生成處理。
25.根據(jù)權(quán)利要求M所述的高品質(zhì)內(nèi)容生成程序，其中， 所述內(nèi)容是具有時(shí)間軸的內(nèi)容，所述內(nèi)容群組化處理根據(jù)所述對(duì)照，按每個(gè)時(shí)間區(qū)間進(jìn)行同一 /派生內(nèi)容的群組化來 計(jì)算出所述同一 /派生內(nèi)容群組化信息，所述高品質(zhì)內(nèi)容生成處理使用所述選擇出的內(nèi)容，按每個(gè)時(shí)間區(qū)間生成品質(zhì)更好的內(nèi)容。
26.根據(jù)權(quán)利要求M或25所述的高品質(zhì)內(nèi)容生成程序，其中，該高品質(zhì)內(nèi)容生成程序使信息處理裝置執(zhí)行如下的處理從所述多個(gè)內(nèi)容之中選擇根 據(jù)由所述內(nèi)容群組化處理計(jì)算出的同一/派生內(nèi)容群組化信息被群組化的內(nèi)容，并基于所 述同一/派生內(nèi)容群組化信息在所述選擇出的內(nèi)容之間進(jìn)行區(qū)間的對(duì)應(yīng)關(guān)系的修正之后， 計(jì)算被修正的同一/派生內(nèi)容群組化信息的對(duì)應(yīng)關(guān)系修正處理，所述高品質(zhì)內(nèi)容生成處理代替所述同一/派生內(nèi)容群組化信息而使用所述被修正的 同一/派生內(nèi)容群組化信息。
全文摘要
高品質(zhì)內(nèi)容生成系統(tǒng)具有特征量提取單元，其從多個(gè)內(nèi)容中提取內(nèi)容的特征量；內(nèi)容群組化單元，其在由特征量提取單元提取出的多個(gè)內(nèi)容的特征量之間進(jìn)行對(duì)照，并對(duì)多個(gè)內(nèi)容中所包含的同一內(nèi)容和使用該內(nèi)容制作出的派生內(nèi)容進(jìn)行群組化，計(jì)算出同一/派生內(nèi)容群組化信息；和高品質(zhì)內(nèi)容生成單元，其從所述多個(gè)內(nèi)容之中選擇根據(jù)同一/派生內(nèi)容群組化信息被群組化的內(nèi)容，并使用選擇出的內(nèi)容，生成品質(zhì)更好的內(nèi)容。
文檔編號(hào)H04N7/173GK102077582SQ20098012421
公開日2011年5月25日 申請(qǐng)日期2009年6月16日 優(yōu)先權(quán)日2008年6月26日
發(fā)明者仙田裕三, 佐藤貴美, 大網(wǎng)亮磨, 巖元浩太, 平川康史, 木本崇博 申請(qǐng)人:日本電氣株式會(huì)社