9]相同人物決定單元150是確定包含在圖像幀中的人物的同一性或相似度的部件。在表現(xiàn)包含在圖像幀中人物的面部的圖像包括背景圖像的情況下，相同人物決定單元150使用表現(xiàn)人物身體的圖像中的、與背景圖像對應的區(qū)域已移除的圖像數(shù)據(jù)來識別人物，并將識別信息傳送至分類單元120。分類單元120基于該識別信息將圖像幀分類。
[0110]例如，在表現(xiàn)包含在圖像幀中人物的面部的圖像包括背景圖像的情況下，相同人物決定單元150生成這樣的圖像，在該圖像中，表現(xiàn)人物身體的圖像中的與背景圖像對應的區(qū)域被移除。另外，相同人物決定單元150對包含在生成的圖像中的人物與已分類的組中的人物之間的相似度進行比較。相同人物決定單元150在檢測到人物后，根據(jù)檢測到人物的位置和面部大小來估計人物信息的范圍，并使用例如相應范圍中的顏色信息的分布將該人物與已分類的組中的人物進行比較，從而確定這些人物是否彼此相同。在比較結果為相似度大于或等于預設值的情況下，相同人物決定單元150將識別信息傳送至分類單元120，并允許生成的圖像包含在已分類的組中。
[0111]圖18是示出人物位置估計范圍隨人物姿勢變化的視圖。
[0112]剪裁單元151基于面部識別器檢測到的位置和面部大小來估計人物的身體位置。另外，剪裁單元151根據(jù)面部范圍中的膚色分布來估計與面部旋轉有關的信息，從而校正人物的身體位置。
[0113]在通過面部識別器獲得人物的面部位置和大小的情況下，當人物觀看前方時，不會產生問題(圖18中的(a))。但是，當人物姿勢轉動時，如圖18中的(b)所示，人物的范圍中可能包括背景。當人物的范圍中包括背景時，在相同人物出現(xiàn)在不同背景中的情況下，人物信息中可能會產生差異。因此，估計并校正內容中人物的姿勢轉動了多少是有利的。
[0114]但是，由于計算人物的肌理(諸如眼、鼻、嘴等)的相關位置等以估計姿勢的方法是一種計算量極大、占用大量資源和/或處理器的識別方法，尤其在提供圖像內容的設備中執(zhí)行時，所以這是不合適的。因此，通過使用膚色占面部范圍的比率來估計人物的轉動程度是一種計算相對簡單的方法，并且人物的轉動程度也可反映在用戶的范圍中。
[0115]如圖18中的(b)所示，在人物姿勢轉到左側的情況下，面部的位置估計例如由于目艮、鼻以及嘴的位置而移動到對于人物而言的左側(對于觀察者而言的右側)。在此情況下，例如基于膚色來確定背景而非面部是否出現(xiàn)在對于觀察者而言的右側位置，并且可大致地估計人物的姿勢。如圖18中的(c)所示，人物的身體位置范圍185可以以與面部的位置范圍184相同的比率來估計。換言之，可獲得這樣的圖像，在該圖像中，從基于原始面部位置以與面部的相同比率所估計的身體范圍中移除了身體范圍的一部分。
[0116]顏色分布提取單元153提取從面部圖像中排除背景的圖像區(qū)域的顏色分布，以及從身體圖像中移除背景的圖像區(qū)域的顏色分布。
[0117]相似度決定單元155基于例如所提取的顏色信息分布，來比較人物與已分類的組中的人物之間的相似度。在相似度大于或等于預設值(或多于預設值)的情況下，確定出人物與現(xiàn)有分類組中的人物相同。
[0118]為了通過例如相對簡單的計算處理確定相同人物，可以使用顏色的直方圖分布(顏色信息分布)來確定相似度。為此，可將顏色值標準化以降低照明變化對確定為人物范圍的圖像區(qū)域的影響、生成直方圖、并且可使用濾波器進行平滑處理以降低具體值的有限變化的影響。
[0119]可將確定為相似的組中人物的識別信息傳送至特征值更新單元157。另外，相似度決定單元155更新被確定為相似的組中人物的顏色分布信息。
[0120]輸出單元159將根據(jù)比較結果的識別信息傳送至分類單元120。
[0121]如上所述，與相關技術不同，示例性實施方式的優(yōu)點在于，通過例如簡單算法確定人物的相似度，將處于各種角度的大量圖像作為學習數(shù)據(jù)進行管理。
[0122]圖19是示出根據(jù)又一示例性實施方式的提供圖像內容的設備100-5的配置的框圖。
[0123]參照圖19，根據(jù)又一示例性實施方式的提供圖像內容的設備100-5包括場景配置單元110、分類單元120、輸入單元130、顯示單元140，而且還包括檢驗單元160。將省略對場景配置單元110、分類單元120、輸入單元130以及顯示單元140的重復描述。
[0124]檢驗單元160是可檢驗由分類單元120分類的圖像幀的部件。例如，檢驗單元160檢驗上述包含在人物節(jié)點510中的場景節(jié)點520是否與人物節(jié)點510的特征匹配。為此，檢驗單元160逐一讀取包含在人物節(jié)點510中的場景節(jié)點520，以對人物節(jié)點510的人物的特征值與場景節(jié)點520的人物的特征值彼此進行比較。在場景節(jié)點520的人物的特征值與人物節(jié)點510的人物的特征值相似的情況下，處理前進至下一場景節(jié)點520，或檢驗結束。在場景節(jié)點520的人物的特征值與人物節(jié)點510的人物的特征值不相似的情況下，從人物節(jié)點510中刪除場景節(jié)點520，并搜索與場景節(jié)點520的人物的特征相匹配的人物節(jié)點510。當找到具有與場景節(jié)點520的人物的特征相似的人物特征的人物節(jié)點510時，場景節(jié)點520插入到相應的人物節(jié)點510中。
[0125]在人物節(jié)點510和場景節(jié)點520具有多個特征值的情況下，例如可通過具有相同值的大量特征值來確定相似度。例如，在特征值數(shù)量為5的情況下，當三個或三個以上特征值相同時，可以確定出人物相同?？梢詾槊總€特征值設定預定范圍內的相似度。例如，在特征值為年齡的情況下，人物節(jié)點510可以具有31至35歲的范圍，而在場景節(jié)點520的年齡屬于上述范圍的情況下，可以確定出人物相同。
[0126]圖20和圖21是示出根據(jù)多個示例性實施方式的檢驗方法的視圖。
[0127]在圖20的示例性實施方式中，可領會的是人物#1包括6個場景節(jié)點，人物#2包括4個場景節(jié)點，人物#3包括3個場景節(jié)點。檢驗單元160將相應場景節(jié)點的特征值與來自人物#1的人物節(jié)點的特征值進行比較。由于人物節(jié)點#1的場景節(jié)點#3中識別出的面部特征值出現(xiàn)為B，所以人物節(jié)點#1的面部特征值A與場景節(jié)點#3的面部特征值之間存在差異。但是，由于為其它特征的年齡和性別處于與人物節(jié)點#1的年齡和性別相似的范圍內，所以可確定出場景節(jié)點#3為與人物節(jié)點#1大致相似的場景節(jié)點。另一方面，在場景節(jié)點Μ的情況下，由于場景節(jié)點#4中的性別和面部均與人物節(jié)點#1中性別和面部不同，所以從人物節(jié)點#1中刪除場景節(jié)點#4。另外，確定場景節(jié)點#4的特征值是否與其它人物節(jié)點#2和/或人物節(jié)點#3的特征值相似。如圖21所示，由于人物節(jié)點#1的場景節(jié)點#4在此不具有相似的人物節(jié)點，所以最終被刪除。然而，由于人物節(jié)點#1的場景節(jié)點#5的特征值與人物節(jié)點#1的場景節(jié)點的特征值不相似，但與人物節(jié)點#3的場景節(jié)點的特征相似，所以包含在人物節(jié)點#3中。
[0128]如上所述，檢驗方法可應用于通過人物匯總完成分類的場景列表，以對中間列表或最終列表再分類，由此能夠減少錯誤識別。
[0129]下面，將描述根據(jù)多個示例性實施方式的提供圖像內容的方法。
[0130]圖22至圖26是根據(jù)多個示例性實施方式的提供圖像內容的方法的流程圖。
[0131]參照圖22，根據(jù)示例性實施方式的提供圖像內容的方法可以包括:將圖像內容劃分為多個場景，每個場景包括多個鏡頭(S2210);根據(jù)出現(xiàn)在圖像內容中的多個人物中的每一個將每個場景的圖像幀分類(S2220);接收用于選擇多個人物中的任一個的用戶輸入(S2230);以及顯示與基于用戶輸入所選擇的人物相對應的場景(S2240)。
[0132]參照圖23，根據(jù)另一示例性實施方式中的提供圖像內容的方法可以包括:確定(例如計算)指示相鄰幀之間的圖像差異的圖像差異特征向量(S2310);基于例如計算出的圖像差異特征向量檢測鏡頭邊界(S2320);基于檢測到的鏡頭邊界將圖像內容劃分為多個鏡頭(S2330);根據(jù)圖像內容中出現(xiàn)的多個人物中的每一個將每個場景的圖像幀分類(S2340);接收用于選擇多個人物中的任一個的用戶輸入(S2350);以及顯示與基于用戶輸入所選擇的人物相對應的場景(S2360).
[0133]這里，可使用機器學習算法來檢測鏡頭邊界。
[0134]另外，將圖像內容劃分成多個鏡頭可以包括:關于多個鏡頭中的每一個生成鏡頭特征向量，以及基于生成的鏡頭特征向量之間的相似度將多個鏡頭分組到一個場景中，其中該鏡頭特征向量包括例如指示多個鏡頭中的每一個的開始時間信息的鏡頭開始時間信息、包含在一個鏡頭中的多個圖像幀的圖像特征值以及包含在一個鏡頭中的多個圖像幀的音頻特征值中的至少一個。
[0135]這里，在分組的過程中，在第一鏡頭特征向量與第η鏡頭特征向量之間的相似度大于或等于預設值的情況下，從第一鏡頭到第η鏡頭之間的所有鏡頭可分組到相同場景中。
[0136]參照圖24，根據(jù)又一示例性實施方式的提供圖像內容的方法包括:將圖像內容劃分成多個場景，每個場景包括多個鏡頭(S2410);當從第一場景到第二場景產生場景變化時(S2420-Y)，根據(jù)包含在第一場景中的圖像幀的身體信息將該圖像幀分類(S2430);對分類后的圖像幀的面部信息進行分析以提取面部特征信息(S2440);基于所提取的面部特征信息為分類后的圖像幀分配ID(S2450);以及生成分配有用于第一場景的ID的圖像段信息(S2460)。另外，根據(jù)又一示例性實施方式的提供圖像內容的方法還包括:接收用于選擇多個人物中的任一個的用戶輸入(S2470)，以及顯示與基于用戶輸入所選擇的人物相對應的場景(S2480)。
[0137]這里，面部特征信息可以包括至少一個面部特征向量。
[0138]另外，在分配ID的過程中，可為分類后的圖像幀分配具有與提取的面部特征信息相匹配的面部特征信息的ID。
[0139]而且，在將圖像幀分類的過程中，還可使用音頻信息將圖像幀分類。
[0140]參照圖25，根據(jù)又一示例性實施方式的提供圖像內容的方法包括:將圖像內容劃分成多個場景，每個場景包括多個鏡頭(S2510);以及在表現(xiàn)包含在圖像幀中人物的面部的圖像包括背景圖像的情況下(S2520-Y)，使用已移除表現(xiàn)人物的身體的圖像中的、與背景圖像相對應的區(qū)域的圖像數(shù)據(jù)將圖像幀分類(S2530)。
[0141]另外，根據(jù)又一示例性實施方式的提供圖像內容的方法還包括:接收用于選擇多個人物中的任一個的用戶輸入(S2540)，以及顯示與基于用戶輸入所選擇的人物相對應的場景(S2550)。
[0142]另外，根據(jù)又一示例性實施方式的提供圖像內容的方法還包括:在表現(xiàn)包含在圖像幀中人物的面部圖像不包括背景圖像的情況下(S2520-N)，根據(jù)出現(xiàn)在圖像內容中的多個人物中的每一個將每個場景的圖像幀分類(S2560)。
[0143]例如，提供圖像內容的方法還可以包括:在表現(xiàn)包含在圖像幀中人物的