專利名稱：運(yùn)動圖片處理裝置、運(yùn)動圖片處理方法和程序的制作方法
技術(shù)領(lǐng)域：
本公開涉及運(yùn)動圖片處理裝置、運(yùn)動圖片處理方法和程序。
背景技術(shù)：
視頻(或運(yùn)動圖片)包括許多圖片。如現(xiàn)有技術(shù)中已知的，運(yùn)動圖片的圖片的縮略圖被按時(shí)間順序排列并且顯示為表示運(yùn)動圖片的構(gòu)造的構(gòu)造圖像(configuration image)以便掌握運(yùn)動圖片的構(gòu)造。

發(fā)明內(nèi)容
然而，如果縮略圖的顯示數(shù)目增加，則存在這樣的情況，S卩，相對于顯示構(gòu)造圖像的顯示區(qū)域，構(gòu)造圖像的大小增大。如果構(gòu)造圖像被同時(shí)顯示以確保運(yùn)動圖片的構(gòu)造的可瀏覽性，則縮略圖被以高比率縮小并顯示，從而代表性圖片的易辨認(rèn)性可降低。如果顯示構(gòu)造圖像的一部分以確保構(gòu)造圖像的易辨認(rèn)性，則構(gòu)造圖像被分割顯示，從而運(yùn)動圖片的構(gòu)造的可瀏覽性可降低。因此，在任一情況下都不可能容易地通過構(gòu)造圖像掌握運(yùn)動圖片的構(gòu)造。希望提供一種能夠生成可用來容易地掌握運(yùn)動圖片的構(gòu)造的構(gòu)造圖像的運(yùn)動圖片處理裝置、運(yùn)動圖片處理方法和程序。根據(jù)本發(fā)明的實(shí)施例，提供了一種運(yùn)動圖片處理裝置，包括代表性圖片選擇單元，用于從運(yùn)動圖片的多個(gè)圖片中選擇代表多個(gè)圖片的預(yù)定數(shù)目的代表性圖片；以及構(gòu)造圖像生成單元，用于生成構(gòu)造圖像，在該構(gòu)造圖像中，預(yù)定數(shù)目的代表性圖片被按固定比率縮小并按運(yùn)動圖片中的代表性圖片的出現(xiàn)順序排列。代表性圖片被選擇為經(jīng)調(diào)整以使預(yù)定范圍的顯示區(qū)域中構(gòu)造圖像的顯示占有率最大化的預(yù)定數(shù)目的圖片。在此構(gòu)造中，運(yùn)動圖片處理裝置還包括圖片分類單元，用于將多個(gè)圖片分類成包括各自連續(xù)的圖片的預(yù)定數(shù)目的圖片群組。代表性圖片選擇單元選擇代表圖片群組的圖片的代表性圖片。構(gòu)造圖像生成單元生成其中預(yù)定數(shù)目的圖片群組的代表性圖片被按固定比率縮小并按運(yùn)動圖片中的圖片群組的出現(xiàn)順序排列的構(gòu)造圖像。多個(gè)圖片被分類成經(jīng)調(diào)整以使預(yù)定范圍的顯示區(qū)域中構(gòu)造圖像的顯示占有率最大化的預(yù)定數(shù)目的圖片群組。在此構(gòu)造中，運(yùn)動圖片處理裝置還包括片斷轉(zhuǎn)變檢測單元，用于從包括多個(gè)片斷的運(yùn)動圖片中檢測片斷之間的轉(zhuǎn)變；以及代表性片斷選擇單元，用于從多個(gè)片斷中選擇預(yù)定數(shù)目的代表性片斷。代表性圖片選擇單元選擇代表代表性片斷的圖片的代表性圖片。構(gòu)造圖像生成單元生成其中預(yù)定數(shù)目的代表性片斷的代表性圖片被按固定比率縮小并按運(yùn)動圖片中的代表性片斷的出現(xiàn)順序排列的構(gòu)造圖像。代表性片斷被選擇為經(jīng)調(diào)整以使預(yù)定范圍的顯示區(qū)域中構(gòu)造圖像的顯示占有率最大化的預(yù)定數(shù)目的片斷。在此構(gòu)造中，構(gòu)造圖像生成單元生成其中預(yù)定數(shù)目的代表性圖片被按運(yùn)動圖片中的代表性圖片的出現(xiàn)順序排列成矩陣的構(gòu)造圖像。在此構(gòu)造中，構(gòu)造圖像生成單元生成其中預(yù)定數(shù)目的圖片群組的代表性圖片被按運(yùn)動圖片中的圖片群組的出現(xiàn)順序排列成矩陣的構(gòu)造圖像。在此構(gòu)造中，構(gòu)造圖像生成單元生成其中預(yù)定數(shù)目的代表性片斷的代表性圖片被按運(yùn)動圖片中的代表性片斷的出現(xiàn)順序排列成矩陣的構(gòu)造圖像。在此構(gòu)造中，代表性圖片選擇單元基于多個(gè)圖片的特征量的代表性值和每個(gè)圖片的特征量的變化值來選擇代表性圖片。在此構(gòu)造中，代表性片斷選擇單元基于多個(gè)片斷的特征量的代表性值和每個(gè)片斷的特征量的變化值來選擇代表性片斷。根據(jù)本發(fā)明的另一實(shí)施例，提供了一種運(yùn)動圖片處理方法，其包括從運(yùn)動圖片的多個(gè)圖片中選擇代表多個(gè)圖片的預(yù)定數(shù)目的代表性圖片；以及生成構(gòu)造圖像，在該構(gòu)造圖像中，預(yù)定數(shù)目的代表性圖片被按固定比率縮小并按運(yùn)動圖片中的代表性圖片的出現(xiàn)順序排列。代表性圖片被選擇為經(jīng)調(diào)整以使預(yù)定范圍的顯示區(qū)域中構(gòu)造圖像的顯示占有率最大化的預(yù)定數(shù)目的圖片。根據(jù)本發(fā)明的另一實(shí)施例，提供了一種程序，用于使計(jì)算機(jī)執(zhí)行運(yùn)動圖片處理方法，該方法包括從運(yùn)動圖片的多個(gè)圖片中選擇代表多個(gè)圖片的預(yù)定數(shù)目的代表性圖片；以及生成構(gòu)造圖像，在該構(gòu)造圖像中，預(yù)定數(shù)目的代表性圖片被按固定比率縮小并按運(yùn)動圖片中的代表性圖片的出現(xiàn)順序排列。代表性圖片被選擇為經(jīng)調(diào)整以使預(yù)定范圍的顯示區(qū)域中構(gòu)造圖像的顯示占有率最大化的預(yù)定數(shù)目的圖片。根據(jù)如上所述的本公開的實(shí)施例，可以提供一種能夠生成可用來容易地掌握運(yùn)動圖片的構(gòu)造的構(gòu)造圖像的運(yùn)動圖片處理裝置、運(yùn)動圖片處理方法和程序。


圖1是示出根據(jù)本公開的實(shí)施例的運(yùn)動圖片處理方法的過程的流程圖
圖2是示出根據(jù)第一實(shí)施例的運(yùn)動圖片處理裝置的構(gòu)造的框圖3是示出運(yùn)動圖片處理裝置的整體操作過程的框圖4是示出顯示構(gòu)造圖像的優(yōu)化過程的流程圖5是示出顯示構(gòu)造圖像的優(yōu)化過程的示例的示圖6是示出運(yùn)動圖片的構(gòu)造示例的示圖7是示出構(gòu)造圖像的第一生成示例的示圖8是示出構(gòu)造圖像的第二生成示例的示圖9是示出構(gòu)造圖像的第三生成示例的示圖10是示出根據(jù)第二實(shí)施例的運(yùn)動圖片處理裝置的構(gòu)造的框圖11是示出運(yùn)動圖片處理裝置的整體操作過程的流程圖12是示出運(yùn)動圖片的構(gòu)造示例的示圖；并且
圖13是示出構(gòu)造圖像的生成示例的示圖。
具體實(shí)施例方式
下面，將參考附圖詳細(xì)描述本公開的優(yōu)選實(shí)施例。注意，在本說明書和附圖中，用相同的標(biāo)號來表示具有基本相同的功能和結(jié)構(gòu)的結(jié)構(gòu)元件，并且省略對這些結(jié)構(gòu)元件的重復(fù)說明。
[1.運(yùn)動圖片處理方法的概要]首先，將參考圖1來描述根據(jù)本公開的實(shí)施例的運(yùn)動圖片處理方法的概要。圖1 示出了根據(jù)本公開的實(shí)施例的運(yùn)動圖片處理方法的過程。在如圖1所示的根據(jù)本公開的實(shí)施例的運(yùn)動圖片處理方法中，首先，從運(yùn)動圖片 MP的多個(gè)圖片中選擇代表多個(gè)圖片的預(yù)定數(shù)目Nopt的代表性圖片I (步驟S 1)。接下來， 生成構(gòu)造圖像Cl，其中預(yù)定數(shù)目Nopt的代表性圖片I被按固定比率縮小并且按運(yùn)動圖片 MP的代表性圖片I的出現(xiàn)順序排列(步驟S3)。這里，在步驟Sl的處理中，代表性圖片I 被選擇為經(jīng)調(diào)整以使得在預(yù)定范圍的顯示區(qū)域Ad中構(gòu)造圖像CI的顯示占有率(occupancy rate) Ro最大化的預(yù)定數(shù)目Nopt的圖片。從而，利用被選擇為使構(gòu)造圖像CI的顯示占有率Ro最大化的預(yù)定數(shù)目Nopt的代表性圖片I，可以生成確保了運(yùn)動圖片MP的構(gòu)造的可瀏覽性和構(gòu)造圖像CI的易辨認(rèn)性的構(gòu)造圖像Cl。因此，用戶可以通過如上所述生成的構(gòu)造圖像CI來容易地掌握運(yùn)動圖片MP的構(gòu)造。<第一實(shí)施例>接下來，將參考圖2至圖9來描述本公開的第一實(shí)施例。[2-1.運(yùn)動圖片處理裝置1的構(gòu)造]首先，將參考圖2來描述根據(jù)第一實(shí)施例的運(yùn)動圖片處理裝置1的構(gòu)造。如圖2 中所示，根據(jù)第一實(shí)施例的運(yùn)動圖片處理裝置1包括數(shù)據(jù)獲取單元11、顯示優(yōu)化單元13、圖片分類單元15、代表性圖片選擇單元17、構(gòu)造圖像生成單元19、構(gòu)造圖像輸出單元21以及數(shù)據(jù)存儲單元23。數(shù)據(jù)獲取單元11獲取運(yùn)動圖片數(shù)據(jù)MP等等，并將運(yùn)動圖片數(shù)據(jù)MP提供給顯示優(yōu)化單元13和代表性圖片選擇單元17。運(yùn)動圖片數(shù)據(jù)MP —般是幀格式的圖片數(shù)據(jù)，并且可以只是圖片數(shù)據(jù)或者是與音頻數(shù)據(jù)的組合?？梢詮臄?shù)據(jù)存儲單元23或外部裝置(未示出) 獲取運(yùn)動圖片數(shù)據(jù)MP。顯示優(yōu)化單元13將在下文中詳細(xì)描述，但其根據(jù)構(gòu)造圖像CI的顯示條件(顯示范圍、顯示大小等等)來優(yōu)化要作為構(gòu)造圖像CI顯示的代表性圖片I的顯示并將優(yōu)化結(jié)果提供給圖片分類單元15。具體而言，構(gòu)造圖像CI中包括的代表性圖片I的顯示數(shù)目被優(yōu)化為最優(yōu)顯示數(shù)目Nopt，以確保運(yùn)動圖片MP的構(gòu)造的可瀏覽性和構(gòu)造圖像CI的易辨認(rèn)性。圖片分類單元15將在下文中詳細(xì)描述，但其基于顯示優(yōu)化結(jié)果將多個(gè)圖片分類成包括各自連續(xù)圖片的最優(yōu)顯示數(shù)目Nopt的圖片群組Gp，并將分類結(jié)果提供給代表性圖片選擇單元17?；谥T如幀數(shù)目之類的適用于分組的指標(biāo)來將圖片分類成最優(yōu)顯示數(shù)目 Nopt的圖片群組Gp。如果必要，可以基于運(yùn)動圖片數(shù)據(jù)MP將圖片分類成最優(yōu)顯示數(shù)目Nopt 的圖片群組Gp。在此情況下，運(yùn)動圖片數(shù)據(jù)MP被從數(shù)據(jù)獲取單元11提供到圖片分類單元 15，雖然這在圖2中沒有示出。代表性圖片選擇單元17基于運(yùn)動圖片數(shù)據(jù)MP和圖片分類結(jié)果來選擇代表圖片群組Gp的圖片的代表性圖片I，并將選擇結(jié)果提供給構(gòu)造圖像生成單元19?；谥T如圖片幀號碼、與圖片相關(guān)聯(lián)的音頻音量、圖片亮度/顏色、圖片之間的相關(guān)性、圖片的對象的運(yùn)動、 圖片處理/檢測結(jié)果或其組合之類的適用于選擇代表性圖片I的指標(biāo)來選擇代表性圖片I。構(gòu)造圖像生成單元19基于運(yùn)動圖片數(shù)據(jù)和代表性圖片I的選擇結(jié)果來生成表示運(yùn)動圖片MP的構(gòu)造的構(gòu)造圖像Cl，并將構(gòu)造圖像CI提供給構(gòu)造圖像輸出單元21。構(gòu)造圖像CI被生成為這樣一個(gè)圖片其中，最優(yōu)顯示數(shù)目Nopt的代表性圖片I被按固定比率縮小并且按運(yùn)動圖片MP的代表性圖片I的出現(xiàn)順序(時(shí)間碼的順序或幀號碼的順序)排列。構(gòu)造圖像輸出單元21輸出構(gòu)造圖像CI的生成結(jié)果。構(gòu)造圖像CI可被輸出到與運(yùn)動圖片處理裝置相連接的顯示器、打印機(jī)、存儲裝置或外部裝置(均未示出)。數(shù)據(jù)存儲單元23存儲運(yùn)動圖片數(shù)據(jù)MP、附加到運(yùn)動圖片數(shù)據(jù)MP的數(shù)據(jù)、在運(yùn)動圖片處理中將使用的數(shù)據(jù)，等等。由構(gòu)造圖像生成單元19生成的構(gòu)造圖像CI可被存儲在數(shù)據(jù)存儲單元23中。在圖2中，部分省略了對數(shù)據(jù)存儲單元23與其他組件之間的連接關(guān)系的顯示。以下，將主要描述從最優(yōu)顯示數(shù)目Nopt的圖片群組Gp中選擇代表性圖片I的情況。然而，可以直接從多個(gè)圖片中選擇最優(yōu)顯示數(shù)目Nopt的代表性圖片I。在此情況下，可以省略圖片分類單元15。在此情況下代表性圖片選擇單元17基于運(yùn)動圖片數(shù)據(jù)MP和顯示優(yōu)化結(jié)果來選擇最優(yōu)顯示數(shù)目Nopt的代表性圖片I作為多個(gè)圖片的代表，并將代表性圖片 I提供給構(gòu)造圖像輸出單元21。構(gòu)造圖像CI被生成為這樣一個(gè)圖片其中，最優(yōu)顯示數(shù)目 Nopt的圖片群組Gp的代表性圖片I被按下文中描述的最優(yōu)縮小率Rropt縮小并且按運(yùn)動圖片MP的代表性圖片I的出現(xiàn)順序排列。這里，在上述功能構(gòu)造中，數(shù)據(jù)獲取單元11、顯示優(yōu)化單元13、圖片分類單元15、 代表性圖片選擇單元17、構(gòu)造圖像生成單元19和構(gòu)造圖像輸出單元21是由諸如CPU或數(shù)字信號處理器(DSP)之類的運(yùn)算處理器構(gòu)成的。數(shù)據(jù)存儲單元23是由諸如閃存之類的內(nèi)部存儲裝置或者諸如硬盤驅(qū)動器或柔性盤驅(qū)動器之類的外部存儲裝置構(gòu)成的。CPU通過在 RAM上展開和執(zhí)行從ROM等等讀取的程序來實(shí)現(xiàn)運(yùn)動圖片處理方法。上述功能構(gòu)造的至少一部分可構(gòu)成為諸如專用邏輯之類的硬件。[2-2.運(yùn)動圖片處理裝置1的操作]接下來，將參考圖3至圖9來描述根據(jù)第一實(shí)施例的運(yùn)動圖片處理裝置1的操作。圖3示出了運(yùn)動圖片處理裝置1的整體操作過程。如圖3中所示，數(shù)據(jù)獲取單元 11獲取諸如顯示區(qū)域Ad的大小和運(yùn)動圖片MP的圖片的大小之類的設(shè)定信息(步驟Sll)， 并將設(shè)定信息提供給顯示優(yōu)化單元13。顯示區(qū)域Ad的大小是根據(jù)構(gòu)造圖像CI的輸出目的地來設(shè)定的(并且當(dāng)然可以是打印大小)。圖片大小等等是作為運(yùn)動圖片數(shù)據(jù)MP等等的一部分來設(shè)定的。在顯示優(yōu)化單元13中，基于設(shè)定信息來優(yōu)化構(gòu)造圖像CI的顯示(步驟 S13)。在顯示優(yōu)化中，確定代表性圖片I的最優(yōu)顯示數(shù)目Nopt以使顯示區(qū)域Ad中構(gòu)造圖像CI的顯示占有率Ro最大化。圖4示出了顯示構(gòu)造圖像CI的優(yōu)化過程。這里，顯示區(qū)域Ad具有第一方向的顯示寬度(像素?cái)?shù)目)X、第二方向的顯示高度(像素?cái)?shù)目)Y、顯示區(qū)域Ad的大小A ( = XX Y) 以及寬高比RA( = Χ/Υ)。代表性圖片I具有第一方向的原始大小寬度(像素?cái)?shù)目)χ、第二方向的原始大小高度(像素?cái)?shù)目)y、原始大小a( = xXy)以及寬高比ra( = x/y)。如圖4中所示，首先，初始化處理計(jì)數(shù)器(i = 1)，初始化代表性圖片I的顯示數(shù)目 Ni (N1 = 1)，并且初始化代表性圖片I的縮小率Rri (Rr1 = 1.0)(步驟S31)。計(jì)算在以縮小率Rr1顯示代表性圖片I時(shí)的顯示占有率R0l( = EiXRr1XN1A)(步驟S33)。顯示占有率 Ro1被臨時(shí)存儲以用于隨后的處理。
接下來，將處理計(jì)數(shù)器i遞增1 (i = i+1)，并且將顯示數(shù)目Ni遞增1 (Ni = Nh+1) (步驟S35)。接下來，判定在以顯示數(shù)目Ni顯示代表性圖片I時(shí)代表性圖片I的縮小率Rri是否等于或大于最大縮小率Rrmax (步驟S37)。代表性圖片I的縮小率Rri被計(jì)算為在顯示區(qū)域Ad中可以無重疊地排列并顯示顯示數(shù)目Ni的代表性圖片I的最大值。最大縮小率Rrmax 被預(yù)設(shè)為能夠確?？s小后代表性圖片I的易辨認(rèn)性的縮小率(Rrmax = 0. 5等等)。如果步驟S37的判定結(jié)果是肯定的，則計(jì)算按顯示數(shù)目Ni顯示代表性圖片I時(shí)的顯示占有率Roi (步驟S39)。顯示占有率Roi是通過如下方式來計(jì)算的把通過將代表性圖片I的原始大小a乘以縮小率Rri和顯示數(shù)目Ni而獲得的值除以顯示區(qū)域Ad的大小A(R0i =BXRriXNiA)。顯示占有率Roi被臨時(shí)存儲以用于隨后的處理。接下來，判定顯示占有率Roi是否小于顯示數(shù)目N"的顯示占有率Rcv1 (步驟 S41)。如果判定結(jié)果是肯定的，則將顯示數(shù)目Np1代入最優(yōu)顯示數(shù)目Nopt并將縮小率Riv1 代入最優(yōu)縮小率Rropt (步驟S4!3)，并且顯示優(yōu)化完成。S卩，如果按顯示數(shù)目N^1顯示代表性圖片I，則構(gòu)造圖像CI的顯示得以優(yōu)化。另一方面，如果判定結(jié)果是否定的，則處理返回到步驟S35。另一方面，如果步驟S37的判定結(jié)果是否定的，則將顯示數(shù)目N1代入最優(yōu)顯示數(shù)目Nopt并將縮小率Rr1R入最優(yōu)縮小率Rropt (步驟S^)，并且顯示優(yōu)化完成。S卩，如果按顯示數(shù)目N1 = 1顯示代表性圖片I，則構(gòu)造圖像CI的顯示得以優(yōu)化。圖5示出了顯示構(gòu)造圖像CI的優(yōu)化過程的示例。在圖5中，假定顯示區(qū)域Ad相對于代表性圖片I是縱長型的(顯示區(qū)域Ad的寬高比RA <代表性圖片I的寬高比Ra)。在狀態(tài)1中，顯示區(qū)域Ad與代表性圖片I之間的關(guān)系是x<X<xX2并且y<y < yX2，并且不能以原始大小a顯示兩個(gè)或更多個(gè)代表性圖片I。在狀態(tài)1中，計(jì)算顯示數(shù)目N1 = 1的代表性圖片I被顯示時(shí)的顯示占有率Rcv在狀態(tài)2中，以在整個(gè)顯示高度Y中排列兩個(gè)代表性圖片I時(shí)的縮小率Rr2( = (Y/ y/2)/y,Rr2 < Rr1)最大顯示隊(duì)(=2)個(gè)代表性圖片I。在狀態(tài)2中，計(jì)算顯示數(shù)目隊(duì)=2 的代表性圖片I被顯示時(shí)的顯示占有率Ro2。這里，通過設(shè)定顯示占有率Ro1 <顯示占有率 Ro2,繼續(xù)優(yōu)化。在狀態(tài)3中，以在整個(gè)顯示寬度X中排列兩個(gè)代表性圖片I時(shí)的縮小率Rr3( = (X/ x/2)/x, Rr3 < Rr2)最大顯示N3 ( = 個(gè)代表性圖片I。在狀態(tài)3中，計(jì)算顯示數(shù)目N3 = 3 的代表性圖片I被顯示時(shí)的顯示占有率Ro3。這里，通過設(shè)定顯示占有率Ro2 <顯示占有率 Ro3，繼續(xù)優(yōu)化。在狀態(tài)4中，與狀態(tài)3 —樣，以縮小率Rr4( = Rr3)最大顯示N4( = 4)個(gè)代表性圖片I。在狀態(tài)4中，計(jì)算顯示數(shù)目N4 = 4的代表性圖片I被顯示時(shí)的顯示占有率Ro4。這里，通過設(shè)定顯示占有率Ro3 <顯示占有率Ro4，繼續(xù)優(yōu)化。在狀態(tài)5中，以在整個(gè)顯示高度Y中排列三個(gè)代表性圖片I時(shí)的縮小率Rr5( = (Y/ y/3)/y,Rr5<Rr4)最大顯示^(=幻個(gè)代表性圖片I。在狀態(tài)5中，計(jì)算顯示數(shù)目N5 = 5 的代表性圖片I被顯示時(shí)的顯示占有率Ro5。這里，通過設(shè)定顯示占有率Ro5 <顯示占有率 Ro4,繼續(xù)優(yōu)化。最優(yōu)顯示數(shù)目Nopt = N4 = 4并且最優(yōu)縮小率Rropt = Rr40如果顯示優(yōu)化完成，則如圖3所示，數(shù)據(jù)獲取單元11獲取運(yùn)動圖片數(shù)據(jù)MP (步驟S15)，并將運(yùn)動圖片數(shù)據(jù)MP提供給圖片分類單元15。圖片分類單元15基于顯示優(yōu)化結(jié)果把運(yùn)動圖片MP的圖片分類成最優(yōu)顯示數(shù)目Nopt的圖片群組Gp (步驟S17)，并將分類結(jié)果提供給代表性圖片選擇單元17。代表性圖片選擇單元17基于運(yùn)動圖片數(shù)據(jù)MP和圖片分類結(jié)果來選擇圖片群組Gp 的代表性圖片I (步驟S19)，并將選擇結(jié)果提供給構(gòu)造圖像生成單元19。構(gòu)造圖像生成單元19基于運(yùn)動圖片數(shù)據(jù)MP和代表性圖片I的選擇結(jié)果來生成構(gòu)造圖像CI (步驟S21)。構(gòu)造圖像CI被生成為這樣一個(gè)圖片其中，最優(yōu)顯示數(shù)目Nopt的圖片群組Gp的代表性圖片 I被按最優(yōu)縮小率Rropt縮小并按圖片群組Gp的出現(xiàn)順序排列。可以省略圖像分類處理。在此情況下，在代表性圖片選擇單元17中，運(yùn)動圖片數(shù)據(jù)MP是從數(shù)據(jù)獲取單元11提供來的，并且從運(yùn)動圖片MP的圖片中選擇最優(yōu)顯示數(shù)目Nopt 的代表性圖片I。圖6示出了運(yùn)動圖片MP的構(gòu)造示例。在圖6所示的示例中，運(yùn)動圖片MP包括12 個(gè)幀圖片Pl至P12。例如，圖片Pl至P12可以是從多個(gè)幀中提取的圖片，例如從1200個(gè)幀圖片中以100幀的間隔疏化出的圖片。圖7示出了構(gòu)造圖像CI的第一生成示例。在圖7所示的示例中，首先，圖片Pl至 P12被分類成最優(yōu)顯示數(shù)目Nopt = 4的圖片群組Gpl至Gp4。這里，圖片Pl至P12被分類成圖片群組Gpl (圖片Pl至P3)、圖片群組Gp2 (圖片P4至P6)、圖片群組Gp3 (圖片P7至 P9)和圖片群組Gp4(圖片PlO至P12)。即，基于運(yùn)動圖片MP的圖片的數(shù)目和最優(yōu)顯示數(shù)目Nopt對運(yùn)動圖片MP分類以使得圖片群組Gpl至Gp4的圖片數(shù)目是均等的。接下來，選擇圖片群組Gpl至Gp4的代表性圖片I。這里，圖片群組Gpl至Gp4的代表性圖片Il至14被選擇為圖片P2、P5、P8和P11，即與圖片群組Gp的中央幀相對應(yīng)的圖片。在此情況下，代表性圖片Il至14基于運(yùn)動圖片MP的每個(gè)圖片幀號碼和最優(yōu)顯示數(shù)目Nopt被選擇為圖片群組Gpl至Gp4的中央幀。代表性圖片I可以不是選擇為與中央幀相對應(yīng)的圖片，而是選擇為第一幀、最后幀等等。生成包括所選擇的代表性圖片Il至14的構(gòu)造圖像Cl。這里，構(gòu)造圖像CI被生成為這樣一個(gè)圖片其中，代表性圖片Il至14被按最優(yōu)縮小率Rropt縮小并按圖片群組Gpl 至Gp4的出現(xiàn)順序排列成2X2矩陣。根據(jù)顯示區(qū)域Ad的大小，構(gòu)造圖像CI的排列可以改成1X4矩陣、4X 1矩陣等等，而不是2X2矩陣。圖8示出了構(gòu)造圖像CI的第二生成示例。在圖8所示的示例中，與圖7中所示的一樣，12個(gè)幀圖片Pl至P12被分類成圖片群組Gpl (圖片Pl至P3)、圖片群組Gp2 (圖片P4 至P6)、圖片群組Gp3(圖片P7至P9)和圖片群組Gp4(圖片PlO至P12)。對于圖片Pl至P12，基于對運(yùn)動圖片數(shù)據(jù)MP的音頻處理計(jì)算與每個(gè)幀相關(guān)聯(lián)的音頻的音量，并且進(jìn)一步計(jì)算12個(gè)幀的平均音量。圖8連同圖片Pl至P12示出了與每個(gè)幀相關(guān)聯(lián)的音頻的音量和平均音量。接下來，選擇圖片群組Gpl至Gp4的代表性圖片Il至14。這里，圖片群組Gpl至 Gp4的代表性圖片Il至14被選擇為與圖片群組Gpl至Gp4的幀之中相對于平均音量的差異(絕對值)最大的幀相對應(yīng)的圖片。取代相對于平均音量的差異(絕對值)最大的圖片， 代表性圖片Il至14也可被選擇為具有最小值的圖片、平均圖片、平均圖片和具有最大值或最小值的圖片的組合，等等。
例如，在圖8所示的示例中，在圖片群組Gpl中選擇音量0的圖片P1，在圖片群組 Gp2中選擇音量小于平均音量的圖片P4，在圖片群組Gp3中選擇音量大于平均音量的圖片 P8，并且在圖片群組Gp4中選擇音量遠(yuǎn)大于平均音量的圖片P12。生成包括所選擇的代表性圖片Il至14的構(gòu)造圖像Cl。這里，構(gòu)造圖像CI被生成為這樣一個(gè)圖片其中，代表性圖片Il至14被按最優(yōu)縮小率Rropt縮小并按圖片群組Gpl 至Gp4的出現(xiàn)順序排列成2X2矩陣。圖9示出了構(gòu)造圖像CI的第三生成示例。在圖9所示的示例中，與圖7和圖8中所示的不同，省略了圖片分類處理。對于圖9所示的示例中的12個(gè)幀圖片Pl至P12，基于對運(yùn)動圖片數(shù)據(jù)MP的圖片處理來計(jì)算通過正規(guī)化指示圖片的畫面亮度的直方圖，并且進(jìn)一步計(jì)算12個(gè)幀的平均直方圖。在直方圖中，指示了在按預(yù)定的亮度間隔對圖片中包括的像素的亮度分類的情況下的每個(gè)分類的頻率。在圖9中，連同圖片Pl至P12，示出了正規(guī)化直方圖和平均直方圖。接下來，從運(yùn)動圖片數(shù)據(jù)MP的圖片之中選擇最優(yōu)顯示數(shù)目Nopt = 4的代表性圖片Il至14。這里，代表性圖片Il至14被選擇為在相對于平均直方圖的差異(絕對值) 上排前4位的圖片。取代在相對于平均直方圖的差異上排前4位的圖片，代表性圖片Il至 14也可被選擇為排后4位的圖片、有平均圖片的圖片、平均圖片與排前面和排后面的圖片的組合，等等。例如，在圖9所示的示例中，選擇在相對于平均直方圖的差異上排前4位的圖片 P1、P4、P8 和 P12。生成包括所選擇的代表性圖片Il至14的構(gòu)造圖像Cl。這里，構(gòu)造圖像CI被生成為這樣一個(gè)圖片其中，代表性圖片Il至14被按最優(yōu)縮小率Rropt縮小并按圖片群組Gpl 至Gp4的出現(xiàn)順序排列成2X2矩陣。[2-3.總結(jié)]根據(jù)第一實(shí)施例，可以生成構(gòu)造圖像Cl，其中利用被選擇為使構(gòu)造圖像CI的顯示占有率Ro最大化的最優(yōu)顯示數(shù)目Nopt的代表性圖片I確保了運(yùn)動圖片MP的構(gòu)造的可瀏覽性和構(gòu)造圖像CI的易辨認(rèn)性。具體地，可以通過將運(yùn)動圖片MP的多個(gè)圖片分類成最優(yōu)顯示數(shù)目Nopt的圖片群組Gp并從這些圖片群組Gp中選擇代表性圖片I，來利用在運(yùn)動圖片MP的時(shí)間情境上沒有偏向的代表性圖片I生成構(gòu)造圖像Cl。<第二實(shí)施例〉接下來，將參考圖10至圖13來描述本公開的第二實(shí)施例。下面，省略與第一實(shí)施例重復(fù)的描述。[3-1.運(yùn)動圖片處理裝置2的構(gòu)造]首先，將參考圖10描述根據(jù)第二實(shí)施例的運(yùn)動圖片處理裝置2的構(gòu)造。如圖10 中所示，根據(jù)第二實(shí)施例的運(yùn)動圖片處理裝置2除了數(shù)據(jù)獲取單元11、顯示優(yōu)化單元13、圖片分類單元15、代表性圖片選擇單元17、構(gòu)造圖像生成單元19、構(gòu)造圖像輸出單元21和數(shù)據(jù)存儲單元23以外，還包括片斷轉(zhuǎn)變(cut transition)檢測單元25和代表性片斷選擇單元27。片斷轉(zhuǎn)變檢測單元25基于從數(shù)據(jù)獲取單元11提供來的運(yùn)動圖片數(shù)據(jù)MP檢測包括多個(gè)片斷的運(yùn)動圖片MP的片斷轉(zhuǎn)變，并將檢測結(jié)果提供給代表性片斷選擇單元27。片斷轉(zhuǎn)變是運(yùn)動圖片MP中的片斷變化。通過獲得接連發(fā)生的幀中的圖片和/或音頻的特征量，基于特征量的相似度來檢測片斷轉(zhuǎn)變。作為圖片和/或音頻的特征量，可以使用與圖片相關(guān)聯(lián)的音頻的音量/音調(diào)/旋律、圖片的亮度/顏色、圖片之間的相關(guān)性、圖片中的對象的運(yùn)動、圖片處理/圖片檢測結(jié)果、其組合等等。在檢測片斷轉(zhuǎn)變時(shí)獲得的特征量被存儲在數(shù)據(jù)存儲單元23等等中，并且可用于其他處理。代表性片斷選擇單元27基于片斷轉(zhuǎn)變檢測結(jié)果和運(yùn)動圖片數(shù)據(jù)MP從多個(gè)片斷中選擇最優(yōu)顯示數(shù)目Nopt的代表性片斷，并將選擇結(jié)果提供給代表性圖片選擇單元17。代表性片斷是代表運(yùn)動圖片MP的多個(gè)片斷的片斷。通過獲得片斷的圖片和/或音頻的特征量， 基于特征量的相似度來選擇代表性片斷?？梢垣@得片斷的特定位置的圖片的特征量作為特征量，并且可以獲得片斷的多個(gè)圖片的特征量之間的平均值作為特征量。在選擇代表性片斷時(shí)獲得的特征量被存儲在數(shù)據(jù)存儲單元23等等中，并且可用于其他處理。這里，在上述功能構(gòu)造中，片斷轉(zhuǎn)變檢測單元25和代表性片斷選擇單元27是由諸如CPU或DSP之類的運(yùn)算處理器構(gòu)成的。[3-2.運(yùn)動圖片處理裝置2的操作]接下來，將參考圖11至圖13來描述根據(jù)第二實(shí)施例的運(yùn)動圖片處理裝置2的操作。圖11示出了運(yùn)動圖片處理裝置2的整體操作過程。首先，與第一實(shí)施例中一樣， 數(shù)據(jù)獲取單元11獲取設(shè)定信息(步驟Sll)，并且顯示優(yōu)化單元13優(yōu)化構(gòu)造圖像CI的顯示 (步驟S13)并將優(yōu)化結(jié)果提供給片斷轉(zhuǎn)變檢測單元25。 如果顯示優(yōu)化完成，則如圖11所示，數(shù)據(jù)獲取單元11獲取包括多個(gè)片斷的運(yùn)動圖片數(shù)據(jù)MP (步驟S51)，并將運(yùn)動圖片數(shù)據(jù)MP提供給片斷轉(zhuǎn)變檢測單元25。片斷轉(zhuǎn)變檢測單元25從運(yùn)動圖片數(shù)據(jù)MP中檢測片斷之間的轉(zhuǎn)變(步驟S53)，并將檢測結(jié)果提供給代表性片斷選擇單元27。步驟S51和S53的處理可在步驟Sll和S13的處理之前執(zhí)行。代表性片斷選擇單元27從多個(gè)片斷中選擇最優(yōu)顯示數(shù)目Nopt的代表性片斷(步驟S55)，并將選擇結(jié)果提供給代表性圖片選擇單元17。代表性圖片選擇單元17基于運(yùn)動圖片數(shù)據(jù)MP和代表性片斷選擇結(jié)果來選擇代表性片斷的代表性圖片I (步驟S57)，并將選擇結(jié)果提供給構(gòu)造圖像生成單元19。代表性圖片I的選擇與第一實(shí)施例中一樣。構(gòu)造圖像生成單元19基于運(yùn)動圖片數(shù)據(jù)MP和代表性圖片I的選擇結(jié)果來生成構(gòu)造圖像CI (步驟S59)。構(gòu)造圖像CI被生成為這樣的圖片其中， 最優(yōu)顯示數(shù)目Nopt的代表性片斷的代表性圖片I被按最優(yōu)縮小率Rropt縮小并按代表性片斷的出現(xiàn)順序排列。圖12示出了運(yùn)動圖片MP的構(gòu)造示例。在圖12所示的示例中，運(yùn)動圖片MP包括 6個(gè)片斷圖片Cl至C6。片斷Cl至C6包括任意幀數(shù)目的圖片。圖13示出了構(gòu)造圖像CI的生成示例。對于圖13所示的示例中的片斷Cl至C6， 基于對運(yùn)動圖片數(shù)據(jù)MP的圖片處理來計(jì)算通過正規(guī)化指示片斷Cl至C6的第一幀圖片(第一圖片)P1至P6的畫面亮度的直方圖，并且進(jìn)一步計(jì)算6個(gè)片斷的平均直方圖。在直方圖中，指示了在按預(yù)定的亮度間隔對第一圖片Pl至P6中包括的像素的亮度分類時(shí)的每個(gè)分類的頻率。在圖13中，連同第一圖片Pl至P6，示出了第一圖片Pl至P6的正規(guī)化直方圖和平均直方圖。接下來，從片斷Cl至C6中選擇最優(yōu)顯示數(shù)目Nopt = 4的代表性片斷Cl、C3、C5和C6。這里，代表性片斷被選擇為在相對于第一圖片Pl至P6的平均直方圖的差異上排前 4位的片斷。取代在相對于平均直方圖的差異上排前4位的片斷，代表性片斷也可被選擇為排后4位的片斷、平均片斷、平均片斷與排前面和排后面的片斷的組合，等等。例如，在圖 13所示的示例中，選擇在相對于平均直方圖的差異上排前4位的片斷Cl、C3、C5和C6。從所選擇的代表性片斷Cl、C3、C5和C6中分別選擇代表性圖片II、12、13和14， 并且生成包括代表性圖片Il至14的構(gòu)造圖像Cl。代表性片斷的代表性圖片I可以與代表性片斷的第一圖片P相同或不同。這里，構(gòu)造圖像CI被生成為這樣一個(gè)圖片其中，代表性片斷Cl、C3、C5和C6的代表性圖片Il至14被按最優(yōu)縮小率Rropt縮小并按代表性片斷 Cl、C3、C5和C6的出現(xiàn)順序排列成2X2矩陣。[3-3.總結(jié)]根據(jù)第二實(shí)施例，可以生成構(gòu)造圖像Cl，其中利用被選擇為使構(gòu)造圖像CI的顯示占有率R0最大化的最優(yōu)顯示數(shù)目Nopt的代表性片斷的代表性圖片I，確保了包括多個(gè)片斷的運(yùn)動圖片MP的構(gòu)造的可瀏覽性和構(gòu)造圖像CI的易辨認(rèn)性。具體地，可以通過從運(yùn)動圖片MP的多個(gè)片斷中選擇最優(yōu)顯示數(shù)目Nopt的代表性片斷，來利用在運(yùn)動圖片MP的片斷構(gòu)造上沒有偏向的代表性圖片I生成構(gòu)造圖像Cl。本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)理解，取決于設(shè)計(jì)要求和其他因素，可以進(jìn)行各種修改、組合、子組合和變更，只要它們處于權(quán)利要求或其等同物的范圍之內(nèi)即可。例如，在上述實(shí)施例中，構(gòu)造圖像CI被描述為其中最優(yōu)顯示數(shù)目Nopt = 4的代表性圖片I被排列成2X2矩陣的圖片。然而，構(gòu)造圖像CI可根據(jù)其顯示條件利用不同的最優(yōu)顯示數(shù)目Nopt來生成，并且即使在最優(yōu)顯示數(shù)目Nopt相同時(shí)也可被生成為其中代表性圖片I被排列成不同矩陣的圖片。本公開包含與2010年9月6日向日本專利局提交的日本優(yōu)先權(quán)專利申請JP 2010-198985中公開的主題相關(guān)的主題，特此通過引用將該申請的全部內(nèi)容并入。
權(quán)利要求
1.一種運(yùn)動圖片處理裝置，包括代表性圖片選擇單元，用于從運(yùn)動圖片的多個(gè)圖片中選擇代表所述多個(gè)圖片的預(yù)定數(shù)目的代表性圖片；以及構(gòu)造圖像生成單元，用于生成構(gòu)造圖像，在該構(gòu)造圖像中，所述預(yù)定數(shù)目的代表性圖片被按固定比率縮小并按所述運(yùn)動圖片中的所述代表性圖片的出現(xiàn)順序排列，其中，所述代表性圖片被選擇為經(jīng)調(diào)整以使預(yù)定范圍的顯示區(qū)域中所述構(gòu)造圖像的顯示占有率最大化的所述預(yù)定數(shù)目的圖片。
2.根據(jù)權(quán)利要求1所述的運(yùn)動圖片處理裝置，還包括圖片分類單元，用于將所述多個(gè)圖片分類成包括各自連續(xù)的圖片的預(yù)定數(shù)目的圖片群組，其中，所述代表性圖片選擇單元選擇代表所述圖片群組的圖片的代表性圖片，所述構(gòu)造圖像生成單元生成其中所述預(yù)定數(shù)目的圖片群組的所述代表性圖片被按固定比率縮小并按所述運(yùn)動圖片中的所述圖片群組的出現(xiàn)順序排列的所述構(gòu)造圖像，并且所述多個(gè)圖片被分類成經(jīng)調(diào)整以使所述預(yù)定范圍的顯示區(qū)域中所述構(gòu)造圖像的顯示占有率最大化的所述預(yù)定數(shù)目的圖片群組。
3.根據(jù)權(quán)利要求1所述的運(yùn)動圖片處理裝置，還包括片斷轉(zhuǎn)變檢測單元，用于從包括多個(gè)片斷的所述運(yùn)動圖片中檢測片斷之間的轉(zhuǎn)變；以及代表性片斷選擇單元，用于從所述多個(gè)片斷中選擇預(yù)定數(shù)目的代表性片斷，其中，所述代表性圖片選擇單元選擇代表所述代表性片斷的圖片的代表性圖片，所述構(gòu)造圖像生成單元生成其中所述預(yù)定數(shù)目的代表性片斷的所述代表性圖片被按固定比率縮小并按所述運(yùn)動圖片中的所述代表性片斷的出現(xiàn)順序排列的所述構(gòu)造圖像，并且所述代表性片斷被選擇為經(jīng)調(diào)整以使所述預(yù)定范圍的顯示區(qū)域中所述構(gòu)造圖像的顯示占有率最大化的預(yù)定數(shù)目的片斷。
4.根據(jù)權(quán)利要求1所述的運(yùn)動圖片處理裝置，其中，所述構(gòu)造圖像生成單元生成其中所述預(yù)定數(shù)目的代表性圖片被按所述運(yùn)動圖片中的所述代表性圖片的出現(xiàn)順序排列成矩陣的所述構(gòu)造圖像。
5.根據(jù)權(quán)利要求2所述的運(yùn)動圖片處理裝置，其中，所述構(gòu)造圖像生成單元生成其中所述預(yù)定數(shù)目的圖片群組的所述代表性圖片被按所述運(yùn)動圖片的所述圖片群組的出現(xiàn)順序排列成矩陣的所述構(gòu)造圖像。
6.根據(jù)權(quán)利要求3所述的運(yùn)動圖片處理裝置，其中，所述構(gòu)造圖像生成單元生成其中所述預(yù)定數(shù)目的代表性片斷的所述代表性圖片被按所述運(yùn)動圖片中的所述代表性片斷的出現(xiàn)順序排列成矩陣的所述構(gòu)造圖像。
7.根據(jù)權(quán)利要求1所述的運(yùn)動圖片處理裝置，其中，所述代表性圖片選擇單元基于所述多個(gè)圖片的特征量的代表性值和每個(gè)圖片的特征量的變化值來選擇所述代表性圖片。
8.根據(jù)權(quán)利要求3所述的運(yùn)動圖片處理裝置，其中，所述代表性片斷選擇單元基于所述多個(gè)片斷的特征量的代表性值和每個(gè)片斷的特征量的變化值來選擇所述代表性片斷。
9.一種運(yùn)動圖片處理方法，包括從運(yùn)動圖片的多個(gè)圖片中選擇代表所述多個(gè)圖片的預(yù)定數(shù)目的代表性圖片；以及生成構(gòu)造圖像，在該構(gòu)造圖像中，所述預(yù)定數(shù)目的代表性圖片被按固定比率縮小并按所述運(yùn)動圖片中的所述代表性圖片的出現(xiàn)順序排列，其中，所述代表性圖片被選擇為經(jīng)調(diào)整以使預(yù)定范圍的顯示區(qū)域中所述構(gòu)造圖像的顯示占有率最大化的所述預(yù)定數(shù)目的圖片。
10. 一種程序，用于使計(jì)算機(jī)執(zhí)行運(yùn)動圖片處理方法，包括從運(yùn)動圖片的多個(gè)圖片中選擇代表所述多個(gè)圖片的預(yù)定數(shù)目的代表性圖片；以及生成構(gòu)造圖像，在該構(gòu)造圖像中，所述預(yù)定數(shù)目的代表性圖片被按固定比率縮小并按所述運(yùn)動圖片中的所述代表性圖片的出現(xiàn)順序排列，其中，所述代表性圖片被選擇為經(jīng)調(diào)整以使預(yù)定范圍的顯示區(qū)域中所述構(gòu)造圖像的顯示占有率最大化的所述預(yù)定數(shù)目的圖片。
全文摘要
本發(fā)明公開了運(yùn)動圖片處理裝置、運(yùn)動圖片處理方法和程序。該運(yùn)動圖片處理裝置包括代表性圖片選擇單元，用于從運(yùn)動圖片的多個(gè)圖片中選擇代表多個(gè)圖片的預(yù)定數(shù)目的代表性圖片；以及構(gòu)造圖像生成單元，用于生成構(gòu)造圖像，在該構(gòu)造圖像中，預(yù)定數(shù)目的代表性圖片被按固定比率縮小并按運(yùn)動圖片中的代表性圖片的出現(xiàn)順序排列。代表性圖片被選擇為經(jīng)調(diào)整以使預(yù)定范圍的顯示區(qū)域中構(gòu)造圖像的顯示占有率最大化的預(yù)定數(shù)目的圖片。
文檔編號G06F17/30GK102387293SQ20111026014
公開日2012年3月21日 申請日期2011年8月30日 優(yōu)先權(quán)日2010年9月6日
發(fā)明者高木芳德 申請人:索尼公司