專利名稱：廣播節(jié)目內容菜單建立裝置和方法
技術領域：
本發(fā)明涉及一種廣播節(jié)目內容菜單建立裝置，它建立菜單，用于指示諸如新聞節(jié)目之類的廣播節(jié)目的內容。
背景技術：
在諸如硬盤記錄器之類的視頻記錄裝置中，記錄了例如24小時的廣播節(jié)目。以后，用戶可以從所記錄的節(jié)目中選擇任意的節(jié)目，并且觀看它。
如果這樣的視頻記錄裝置具有顯示指示關于諸如新聞節(jié)目之類的節(jié)目——它在每天的廣播內容上改變并且包括多個項目——的廣播內容的菜單的功能，則變得用戶有可能僅僅選擇和觀看在所述節(jié)目中的感興趣項目。因此可以大幅度地改善在使用視頻記錄裝置中的便利性。
但是，迄今為止認為不可避免地需要人的行為來建立和顯示關于諸如新聞節(jié)目的廣播節(jié)目的內容的菜單，并且自動菜單建立是不可能的。

發(fā)明內容
關于本發(fā)明要解決的問題，可以將上述問題作為一個示例。
本發(fā)明的目的是提供一種廣播節(jié)目內容菜單建立裝置和方法，用于自動建立表示廣播節(jié)目的內容的菜單。
本發(fā)明的上述目的可以通過一種廣播節(jié)目內容菜單建立裝置實現，它建立關于廣播節(jié)目的內容的菜單，所述裝置包括存儲器件，用于存儲廣播節(jié)目的視頻信號；類別判定器件，它確定具有在存儲器件中存儲的視頻信號的廣播節(jié)目是否為預定類別的廣播節(jié)目；特征圖像檢測器件，它從存儲在存儲器件中的視頻信號檢測在所述預定類別的廣播節(jié)目的視頻信號中的每個幀的預定特征圖像部分；視頻提取器件，它從由特征圖像檢測器件檢測的預定特征圖像部分提取僅僅滿足預定顯現條件的幀的特征圖像部分的視頻數據；菜單建立器件，每次由視頻提取器件提取視頻數據時，它建立和輸出視頻信號，用于將包括由視頻數據表示的特征圖像部分的圖像表示為菜單。
本發(fā)明的上述目的可以通過一種廣播節(jié)目內容菜單建立方法實現，它用于建立關于廣播節(jié)目的內容的菜單，包括下述處理存儲廣播節(jié)目的視頻信號；確定所存儲的視頻信號的廣播節(jié)目是否為預定類別的廣播節(jié)目；從所存儲的視頻信號檢測在所述預定類別的廣播節(jié)目的視頻信號中的每個幀的預定特征圖像部分；從所檢測的預定特征圖像部分中提取滿足預定顯現條件的幀的特征圖像部分的視頻數據；每次提取視頻數據時，建立和輸出視頻信號，用于將包括由視頻數據表示的特征圖像部分的圖像表示為菜單。


圖1是示出按照本發(fā)明的新聞節(jié)目內容菜單建立裝置的方框圖；圖2是示出邊緣檢測操作的流程圖；圖3是示出字幕(telop)檢測操作的流程圖；圖4是示出字幕信息的數據表格的圖；圖5是示出場景廣播檢測操作的流程圖；圖6是示出一個開始字幕(beginning teop)確定操作的流程圖；圖7是示出包括章節(jié)菜單的監(jiān)控器視圖的圖；圖8是示出作為本發(fā)明的另一個實施例的邊緣檢測操作的流程圖；圖9是示出一種用于設置將亮度直方圖劃分為亮度區(qū)域的門限的方法的圖圖9A是示出通過平分整個亮度直方圖而獲得門限M的圖，圖9B是示出獲得門限L和H的圖，圖9C是示出將亮度直方圖劃分為三個亮度區(qū)域的圖；圖10是示出作為本發(fā)明的另一個實施例的開始字幕確定操作的流程圖；圖11是示出作為本發(fā)明的另一個實施例的開始字幕確定操作的流程圖；圖12是示出作為本發(fā)明的另一個實施例的開始字幕確定操作的流程圖。
具體實施例方式
以下，參照附圖來詳細說明本發(fā)明的實施例。
圖1示出了按照本發(fā)明的新聞節(jié)目內容菜單建立裝置。這個新聞節(jié)目內容菜單建立裝置包括視頻存儲部分1、類別判定部分2、字幕檢測部分3、場景改變檢測部分4、開始字幕判定部分5、章節(jié)菜單建立部分6、用戶接口部分7和顯示部分8。
視頻存儲部分1經由天線10來接收任意的電視廣播電波，解調所接收的信號，獲得至少一個視頻信號(在一些情況下是音頻信號)，并且內部地存儲視頻信號。而且，視頻存儲部分1提取在電視廣播電波或不同的廣播電波中包括的諸如EPG(電子節(jié)目指南)之類的節(jié)目信息，并且將所提取的節(jié)目信息存儲為數據。視頻存儲部分1包括例如硬盤驅動器。通過使用上述的節(jié)目信息，類別判定部分2判斷由存儲在視頻存儲部分1中的視頻信號表示的節(jié)目的類別。
通過使用存儲在視頻存儲部分1中的視頻信號的亮度信號，字幕(telop)檢測部分3檢測字幕信息，諸如由視頻信號表示的節(jié)目中出現的字幕的位置、其字符大小和包括字幕的幀。可以從類別判定部分2向字幕檢測部分3提供被類別判定部分2判斷為新聞節(jié)目的視頻信號?；蛘撸帜粰z測部分3可以從視頻存儲部分1接收被類別判定部分2判斷為新聞節(jié)目的視頻信號。
通過使用在視頻存儲部分1中存儲的視頻信號的亮度信號，場景改變檢測部分4檢測一個時間點(在場景之間的間隙)來作為場景改變信息，在此時間點，由視頻信號表示的節(jié)目中的場景改變。
開始字幕判定部分5按照由字幕檢測部分3檢測的字幕信息和由場景改變檢測部分4檢測的場景改變信息來判斷新聞節(jié)目的開始字幕。“開始字幕”表示一個字幕，它指示在新聞節(jié)目中的每個新聞項目的第一場景中出現的新聞標題開始字幕判定部分5也從包括在字幕信息中的字幕的幀提取由開始字幕判定部分5判斷的開始字幕來作為圖像數據。
通過使用由開始字幕判定部分5提取的開始字幕的圖像數據，章節(jié)菜單建立部分6建立新聞節(jié)目的章節(jié)菜單。章節(jié)菜單建立部分6將包括章節(jié)菜單的視頻信號與對應于在視頻存儲部分1中存儲的字幕的視頻信號相混合，并且向顯示部分8輸出產生的視頻信號。
用戶接口部分7是這樣的操作部分用于選擇在顯示部分8上顯示的章節(jié)菜單中的項目(縮小的字幕)。用戶接口部分7可以被用戶操作。
如果由具有這樣的配置的新聞節(jié)目內容菜單建立裝置中的類別判定部分2檢測到在視頻存儲部分1中存儲的視頻信號中的節(jié)目類別是新聞，則向字幕檢測部分3提供檢測信號。
響應于所述檢測信號，字幕檢測部分3檢測在視頻存儲部分1中存儲的視頻信號中(即在新聞節(jié)目的視頻信號中)字幕信息。例如，通過檢測在視頻信號中的幀內邊緣或幀間邊緣，字幕檢測部分檢測字幕。幀內邊緣是在幀中的相鄰像素之間的亮度差高的部分。幀間邊緣是當在相鄰幀之間比較內邊時、在同一像素部分中存在的邊的部分。在此，邊是形成在屏幕上的視頻片斷的邊緣的部分。
在邊緣檢測中，字幕檢測部分3首先從存儲在視頻存儲部分1中的視頻信號提取一個新聞節(jié)目的開始幀，如圖2所示(步驟S1)。在所提取的最新幀中檢測幀內邊(步驟S2)。所述最新幀和緊前面的幀的幀間邊緣被檢測(步驟S3)。如果所述最新幀是開始幀，則省略步驟S3。在執(zhí)行步驟S3之后，確定是否已經從視頻存儲部分1提取了新聞節(jié)目的所有幀(步驟S4)。如果還沒有提取所有幀，則從視頻存儲部分1提取下一個幀(步驟S5)，并且字幕檢測部分3返回步驟S2。因此，進行了幀內邊和幀間邊的檢測。
如果已經提取了所有的幀，則進行字幕檢測操作以從所有邊檢測內容獲得字幕信息。如圖3所示，從存儲在視頻存儲部分1中的視頻信號提取新聞節(jié)目的開始幀(步驟S11)。在步驟S的開始幀是在具有被檢測的邊的幀中的時間上最舊的幀。開始幀的幀編號被保存(步驟S12)。確定從當前幀是否檢測到由邊圍繞的區(qū)域(步驟S13)。如果檢測到由邊圍繞的區(qū)域(即邊圍繞區(qū)域)，則檢測這樣一個幀它在當前幀后面，并且與在當前幀中的邊圍繞區(qū)域相同的區(qū)域中的邊消失(步驟S14)。確定范圍從邊圍繞區(qū)域出現幀到邊圍繞區(qū)域消失幀的顯示時間是否長于預定的時間，然后將所述邊圍繞區(qū)域作為字幕區(qū)域，并且保存其ID(號)、其出現幀、其消失幀、字幕位置和在其幀中的其字符尺寸(步驟S16)。在步驟S16，掃描字幕區(qū)域內部以檢測字符大小。對于字符大小的檢測，可以使用公知的字符串信息提取方法。例如參見日本專利申請公布的出版物第2001-76094號。
如圖4所示，在步驟S16保存的、每個字幕的字幕信息被寫入內部存儲器(未示出)中來作為包括ID、出現幀、消失幀、字幕位置和字幕的字符大小的數據表。在此，每個字幕采取矩形的形狀，這是通常的形狀。在字幕位置中的X1和Y1表示字幕的左上角的坐標，X2和Y2表示字幕的右下角的坐標。順便提及，因為在一些情況下字幕不是矩形的，因此字幕信息在那種情況下需要包括其形狀。
在執(zhí)行步驟S16后，確定是否已經從視頻存儲部分1取出了已經檢測了邊的所有幀(步驟S17)。如果還沒有取出所有的幀，則取出下一個已經檢測了邊的幀(步驟S18)，并且處理返回步驟S12以重復上述的字幕區(qū)域確定。
為了響應于上述的檢測信號而檢測由視頻信號表示的新聞節(jié)目的場景改變的時間點，場景改變檢測部分4進行圖5所示的操作。首先，場景改變檢測部分4從存儲在視頻存儲部分1中的視頻信號取出新聞節(jié)目的開始幀(步驟S21)。取出在被取出的當前幀的下一個幀(步驟S22)。計算在當前幀的所有像素的亮度值的總和值和在下一個幀中的所有像素的亮度值的總和之間的差、即亮度差(步驟S23)。確定是否所述亮度差大于預定值(步驟S24)。如果所述亮度差大于預定值，則當前幀被保存為在其中場景改變的場景改變幀(步驟S25)。
在執(zhí)行步驟S25后，確定是否從視頻存儲部分1中取出了所有幀(步驟S26)。如果還沒有取出所有幀，則將下一個幀設置為當前幀(步驟S27)。其后，處理返回步驟S22，在其中從視頻存儲部分1取出下一個幀，并且重復上述的場景改變檢測操作。
如果由此檢測到字幕信息和場景改變信息，則開始字幕判定部分5根據所述信息來確定下一個節(jié)目的開始字幕。對于對開始字幕的確定，確定下面四個條件。
(a)字符大小較大，并且對于各個新聞項目幾乎不變。
(b)在一個新聞節(jié)目中多次出現開始字幕。
(c)每次幾乎在同一位置布置開始字幕。
(d)在開始字幕的出現和消失之間，沒有場景改變。
開始字幕判定部分5進行下列字幕確定操作，以便提取滿足所有條件(a)-(d)的字幕。
在所述開始字幕的確定操作中，首先，將字符大小X設置為等于最大值MAX(步驟S31)，如圖6所示，并且從由字幕檢測部分3檢測的字幕信息提取具有字符大小X的所有字幕(步驟S32)。確定具有字符大小X的字幕的數量是否大于第一預定數量TH1(步驟S33)。如果具有字符大小X的字幕的數量大于第一預定數量TH1，則滿足上述的條件(a)和(b)。在這種情況下，從具有字符大小X的字幕中提取具有相同字幕位置和位于字幕的數量最大的位置的所有字幕(步驟S34)。確定被提取的字幕的數量是否大于第二預定數量TH2(步驟S35)。
如果被提取的字幕的數量大于第二預定數量TH2，則意味著滿足條件(c)，并且獲取在那些字幕中包括的字幕的出現幀和消失幀。可以從數據表讀出并且可以由此獲得字幕的出現幀和消失幀。在執(zhí)行步驟S36后，確定是否在字幕的出現幀和消失幀之間存在場景改變(步驟S37)。如果在字幕的出現幀和消失幀之間出現場景改變，則確定對于在步驟S34提取的所有字幕已經結束了關于場景改變的存在的確定(步驟S38)。當未完成確定時，處理返回步驟S36，其中獲取剩余的字幕之一的出現幀和消失幀。
如果在字幕的出現幀和消失幀之間不存在場景改變，則意味著滿足條件(d)，并且將開始字幕設置為所述那個字幕(步驟S39)。其后，執(zhí)行步驟S38。
如果在步驟S38判斷對于所有的字幕已經完成了關于場景改變存在的確定，則確定是否已經檢測了開始字幕(步驟S40)。換句話說，確定是否已經執(zhí)行了步驟S39。如果在步驟S33判斷具有字符大小的字幕的數量等于或小于第一預定數量TH1，或如果在步驟S35判斷字幕的數量等于或小于第二預定數量TH2，則立即執(zhí)行在步驟S40的處理。
如果還沒有檢測到開始字幕，則字符大小X降低1，并且處理返回步驟S32，重復上述操作。換句話說，字符大小降低一個單位，并且以同樣的方式下進行開始字幕的確定。另一方面，如果已經檢測到開始字幕，則向章節(jié)菜單建立部分6輸出在步驟S39確定的開始字幕的圖像部分(圖像數據)和指示幀編號的開始字幕信息(步驟S41)，并且結束開始字幕的確定操作。開始字幕信息的幀編號是包括所述開始字幕的出現幀的編號。
關于開始字幕的字符大小和位置，有可能按照字符的特許和接收情況而出現一定程度的誤差。因此，可以放送字符大小和位置的重合條件。
章節(jié)菜單建立部分6按照從開始字幕判定部分5通過的開始字幕信息來建立新聞節(jié)目的章節(jié)菜單。每次提供一段開始字幕信息時，在開始字幕圖像中增加和形成章節(jié)菜單的一個項目。所述章節(jié)菜單的這個項目表示關于一個新聞項目的概述或題目。以開始字幕的視頻圖像的縮小圖像形式來在顯示部分8的監(jiān)控器上顯示各個項目。所述章節(jié)菜單被顯示在監(jiān)控器上，由圖7中的符號A表示。
用戶經由用戶接口部分7從在監(jiān)控器上顯示的章節(jié)菜單中的多個項目中選擇期望的項目(在圖7中的符號B表示)。通過使用與所選擇的項目對應的開始字幕信息的幀編號，章節(jié)菜單建立部分6從視頻存儲部分1讀出在預定的間隔上以所述幀編號開始的視頻信號，將所述視頻信號與章節(jié)菜單的視頻信號混合，并且向顯示部分8提供產生的信號。在圖7所示的顯示示例中，在顯示部分8的監(jiān)控器屏幕上顯示關于所選擇的項目“火箭發(fā)射成功”的圖像。所選擇的項目的內容在監(jiān)控器上被顯示為視頻圖像的預定間隔可以是這樣的間隔，在其上，顯示開始字幕(范圍從出現幀到消失幀的間隔)；或者所選擇的項目的內容在監(jiān)控器上被顯示為視頻圖像的預定間隔可以是與其無關的不變間隔。
(實施例)為了改善由開始字幕判定部分5進行的對開始字幕的確定的精度，可以在由字幕檢測部分3進行邊緣檢測時省略具有中間亮度的像素。換句話說，在邊緣檢測中，字幕檢測部分3檢測在步驟S2中取得的當前幀中的邊，如圖8所示，其后確定邊像素是否包括具有中間亮度的像素(步驟S6)。在具有中間亮度邊的情況下，取出所述邊，并且留下具有除了中間亮度之外的亮度的邊、即具有高亮度和低亮度的邊(步驟S7)。其后，處理進行到步驟S3。在邊操作中的其他步驟與圖2所示的相同。
為什么在邊檢測時排除具有中間亮度的像素的原因是形成字幕的像素包括許多高亮度或低亮度的像素和很少的具有中間亮度的像素。在步驟S6，建立邊像素的亮度直方圖，并且設置兩個門限，以便按照直方圖將邊像素劃分為三個亮度區(qū)域，即高亮度區(qū)域、低亮度區(qū)域和中間亮度區(qū)域。通過使用所述門限，確定邊像素是否具有中間亮度。
作為用于設置門限以便將亮度直方圖劃分為多個亮度區(qū)域的方法，公知的是Otsu的方法。參見例如“圖像分析手冊(image analysis handbook)”，東京大學出版社，第502-504頁。
通過使用Otsu的方法，首先，如圖9A所示，通過將整個亮度直方圖平分而獲得門限M。隨后，如圖9B所示，通過平分具有比門限M低的低亮度的低亮度區(qū)域和平分具有比門限M高的高亮度的高亮度區(qū)域，獲得門限L和H。如圖9C所示，通過門限L和H，亮度直方圖被劃分為三個亮度區(qū)域，即高亮度區(qū)域、低亮度區(qū)域和中間亮度區(qū)域。
在設置用于平分的門限中，首先，將M設置為在亮度中的某個值，并且當對于M的亮度直方圖的“分散度”變?yōu)樽钚≈禃r，將M定義為門限。具體地說，假定亮度直方圖由N個像素形成，并且每個像素具有LUMi的亮度(1≤i≤N)，計算
Σi=1N(M-LUMi)2.]]>將最小化這個計算值的M定義為門限。
在步驟S7排除屬于中間亮度區(qū)域的邊，并且僅僅屬于高亮度區(qū)域或低亮度區(qū)域的邊用于開始字幕的確定。結果，可以改善開始字幕確定的精度。
關于由開始字幕判定部分5進行的開始字幕確定，條件(e)，即開始字幕出現在屏幕的下部，可以被進一步加到四個條件(a)-(d)。圖10示出了當增加條件(e)時由開始字幕判定部分5進行的開始字幕判定操作。在步驟S32，從由字幕檢測部分3檢測的字幕信息提取具有字符大小X的所有字幕。隨后，從所述字幕中選擇字幕(步驟S51)。確定是否所選擇的那個字幕位于平面的下半范圍中(步驟S52)。在步驟S52，通過從設計所述那個字幕的字幕信息獲得字幕位置來確定。如果所述那個字幕不位于屏幕的下半范圍中，則從在步驟S32中提取的字幕中去除那個字幕(步驟S53)，隨后處理進行到步驟S54。如果所述那個字幕位于屏幕的下半范圍內，則處理連接進行到步驟S54。在步驟S54，確定是否已經對在步驟S32中提取的所有字幕進行了處理。換句話說，確定是否已經對所有被提取的字幕執(zhí)行了在步驟S52中的確定。如果還沒有結束對于所有被提取的字幕的處理，則處理返回步驟S51并且從剩余的字幕選擇一個新的字幕。如果已經結束了對于所有被提取的字幕的處理，則對于在步驟S32提取的和在步驟S53中保留而未被去除的字幕進行步驟33的操作和隨后的步驟。
通過由此向開始字幕確定增加在屏幕的下部出現開始字幕的條件，可以進一步改善開始字幕確定的準確性。
在步驟S52，屏幕的下部被定義為屏幕的下半范圍?；蛘撸聊坏南虏恳部梢岳缡瞧聊坏南?/3的范圍。
關于由開始字幕判定部分5進行的開始字幕確定，可以向四個條件(a)-(d)進一步增加條件(f)，即短時間間隔出現的字幕不是開始字幕。即，條件(f)是開始字幕在長時間間隔中出現。圖11示出了當增加條件(f)時由開始字幕判定部分5進行的開始字幕操作。在步驟S34，從具有字符大小X的字幕中，提取具有相同字幕位置并且在字幕數量最大的位置的所有字幕。隨后，對于被提取的字幕設置幀門限Fr(步驟S61)。根據通常的開始字幕的出現間隔來設置幀門限Fr，并且它是例如一分鐘。關于幀門限Fr，在步驟S61，可以像它未被設置那樣來使用其初始值。在執(zhí)行步驟S61后，以字幕出現的順序來從所提取的字幕檢測比幀門限Fr在出現間隔上短的字幕組，并且找到字幕組的數量“對”(步驟S62)。例如，如果在第一字幕出現后出現第二字幕，則根據在第一字幕的消失幀和第二字幕的出現幀之間的相差幀的數量來檢測出現間隔。在出現間隔上比幀門限Fr短的所有的字幕組被檢測，并且所有被檢測的字幕組的數量是所述“對”。在執(zhí)行步驟S62后，從被提取的字幕的數量減去字幕組“對”的數量，并且將計算結果定義為字幕的數量(步驟S63)。而且，從在步驟34提取的字幕中，取出比下述字幕組在時間上晚的字幕在出現間隔上比幀門限Fr短的字幕組。對于在取出后獲得的字幕執(zhí)行步驟S35的操作和隨后的步驟。
在新聞節(jié)目的情況下，通常在開始字幕已經消失后顯示關于開始字幕的詳細場景。因此，開始字幕出現在一定程度的時間間隔上。通過向開始字幕確定增加條件短時間間隔出現的字幕不是開始字幕，可以進一步改善開始字幕確定的準確度。
關于由開始字幕判定部分5進行的開始字幕確定，可以還向四個條件(a)-(d)增加條件(g)在新聞節(jié)目中的前半部分中出現的字幕被定義為開始字幕。圖12示出了當增加條件(d)時由開始字幕判定部分5進行的開始字幕確定操作。首先，其中要判斷開始字幕的主題新聞節(jié)目的廣播時間被獲取為“TOTAL”(步驟S71)。這可以從上述節(jié)目信息獲得。在執(zhí)行步驟S71后，以與圖6所示的開始字幕操作相同的方式來將字符大小X設置為最大值MAX(步驟S31)。另外，提取字幕位置相同并且在最大字幕數量的位置的所有字幕。隨后，獲取在廣播時間“TOTAL”的后半部分(在開始廣播后的“TOTAL”/2開始)中出現的字幕的所有數量“Later”(步驟S72)。在執(zhí)行步驟S72后，從所提取的字幕的數量減去字幕的數量“Later”，并且將計算結果定義為字幕的數量(步驟S73)。而且，從在步驟S34提取的字幕，去除在廣播時間“TOTAL”的后半部分中出現的字幕，并且對于在去除后剩余的字幕進行步驟S35和后續(xù)步驟的操作。
關于新聞節(jié)目的配置，通常前半部分包括一般的新聞，后半部分包括其他項目(諸如專版、體育和天氣預報)。因此，開始字幕在新聞節(jié)目的前半部分中出現的可能不可避免的變高。通過向開始字幕確定增加條件在新聞節(jié)目的前半部分中出現的字幕被定義為開始字幕，可以進一步改善開始字幕的確定的準確度。
在步驟S72，為了找到在新聞節(jié)目的后半部分中出現的字幕的數量“Later”，所述后半部分被限定為當從新聞節(jié)目的開始后過去時間“TOTAL”/2時開始。但是，這不是限定性的。也可以找到在所述后半部分中出現的字幕的數量“Later”，它限定后半部分當從新聞節(jié)目的廣播開始后過去30分鐘時開始。
而且，對于早晨的長時間新聞節(jié)目，可以通過將時間劃分為多個部分來進行開始字幕檢測。例如。在諸如早5點和早8點之間的早晨廣播的新聞節(jié)目具有諸如2-3小時的長廣播時間。在那個節(jié)目中，每幾十分鐘略為改變字幕配置(諸如播音室的背景和環(huán)繞字幕的模式)，并且重復廣播類似的新聞項目。對于具有這樣長時間的新聞節(jié)目，可以通過將廣播時間按照每個不變的時間(例如一小時)劃分并且在每個結果產生的時域中進行開始字幕檢測來進一步改善開始字幕確定。
像在上述實施例中，從包括開始字幕的幀提取開始字幕，并且將其用作章節(jié)菜單的項目。因此，不需要諸如字符識別、圖像識別和語音識別的重負荷處理。因此，在實現章節(jié)菜單顯示中，可以節(jié)約資源。而且，即使新聞節(jié)目的配置不同，也可以處理它。
而且，對于在章節(jié)菜單中的項目，由僅僅開始字幕部分的圖像數據指示的圖像被縮小和使用。因此，多個項目可以被顯示在圖7所示的菜單中。而且，即使圖像被縮小為較小的尺寸，也有可能便于識別各個項目。
在上述的實施例中，已經說明了其中廣播節(jié)目的類別是新聞的情況。但是，這不是限定性的。本發(fā)明可以被應用到其他類別的廣播節(jié)目，諸如體育節(jié)目和歌曲節(jié)目。例如，在相撲摔跤的電視廣播中，交戰(zhàn)的相撲摔跤員的環(huán)形姓名(ring name)被顯示為字幕。因此，通過使用與上述實施例中相同的方式來檢測字幕，每次交戰(zhàn)可以被顯示為菜單。
而且，已經在假定在新聞節(jié)目的視頻信號中每個幀的預定特征圖像部分是字幕的情況下說明了實施例。這也不是限定性的。所述預定特征圖像部分可以是靜止圖像。所述預定特征圖像部分可以是特定人的臉的圖像。通過使用臉識別裝置——它根據臉的輪廓和眼睛和鼻子和嘴的位置關系來識別一個人，可以提取特定人的臉圖像。
如上所述，按照本發(fā)明的裝置包括類別確定器件，它確定具有在存儲器件中的視頻信號的廣播節(jié)目是否是預定類別的廣播節(jié)目；特征圖像檢測器件，它從在存儲器件中存儲的視頻信號中檢測在預定類別的廣播節(jié)目的視頻信號中的每個幀的預定特征圖像部分；視頻提取器件，它從由特征圖像檢測器件檢測的預定特征圖像部分中提取僅僅滿足預定出現條件的幀的特征圖像部分的視頻數據；菜單建立器件，每次由視頻提取器件提取視頻數據時，它建立和輸出視頻信號，用于將包括由視頻數據表示的特征圖像部分的圖像表示為菜單。因此，可以自動建立表示廣播節(jié)目的內容的菜單。而且，本發(fā)明可以被應用到諸如硬盤記錄器之類的視頻記錄裝置。
順便提及，例如，按照這個實施例的視頻存儲部分1作為按照本發(fā)明的存儲器件，按照這個實施例的類別判定部分2作為按照本發(fā)明的類別判定器件。按照這個實施例的字幕檢測部分3作為按照本發(fā)明的字幕檢測器件，并且所述字幕檢測器件包括按照本發(fā)明的特征圖像檢測器件、邊區(qū)域檢測器件、邊檢測器件和字幕確定器件。按照這個實施例的場景改變檢測部分4和開始字幕判定部分5作為按照本發(fā)明的視頻提取器件。按照這個實施例的場景改變檢測部分4作為按照本發(fā)明的場景檢測器件、亮度平均計算器件和判定器件，按照這個實施例的開始字幕判定部分5作為按照本發(fā)明的特征大小設置器件、第一確定器件、第二確定器件、第三確定器件、第四確定器件、第五確定器件和第六確定器件。按照這個實施例的章節(jié)菜單建立部分6作為按照本發(fā)明的菜單建立器件，并且按照這個實施例的用戶接口部分7作為按照本發(fā)明的操作器件。
在不脫離本發(fā)明的精神或必要特征的情況下，可以以其他特定形式來實現本發(fā)明。因此現有的實施例在所有方面中被考慮為說明性的和非限定性的，本發(fā)明的范圍被所附的權利要求指示，而不是被上述的說明指示，在權利要求的等同內容的含義和范圍內的所有改變因此意欲被包括在此。
權利要求
1.一種廣播節(jié)目內容菜單建立裝置，它建立關于廣播節(jié)目的內容的菜單，其特征在于所述廣播節(jié)目內容菜單建立裝置包括存儲器件(1)，用于存儲廣播節(jié)目的視頻信號；類別判定器件(2)，它確定具有在存儲器件(1)中存儲的視頻信號的廣播節(jié)目是否為預定類別的廣播節(jié)目；特征圖像檢測器件(3)，它從存儲在存儲器件(1)中的視頻信號檢測在所述預定類別的廣播節(jié)目的視頻信號中的每個幀的預定特征圖像部分；視頻提取器件(4，5)，它從由特征圖像檢測器件(3)檢測的預定特征圖像部分提取僅僅滿足預定顯現條件的幀的特征圖像部分的視頻數據；以及菜單建立器件(6)，每次由視頻提取器件(4，5)提取視頻數據時，它建立和輸出視頻信號，用于將包括由視頻數據表示的特征圖像部分的圖像表示為菜單。
2.按照權利要求1的廣播節(jié)目內容菜單建立裝置，其中預定類別的廣播節(jié)目是新聞節(jié)目，特征圖像檢測器件(3)包括字幕檢測器件(3)，它檢測在每個組中的字幕來作為預定的特征圖像部分，視頻提取器件(4，5)包括類別檢測器件(4)，它檢測在這樣一個時間點的幀，在所述時間點，在存儲器件(1)中存儲的視頻信號的一系列幀中的場景改變，并且預定的出現條件將滿足下面所有條件條件(a)字符大小大于預定大小，并且對于各個新聞項目是不變的；條件(b)在一個新聞節(jié)目中多次出現一個字幕；條件(c)每次在同一位置布置每個新聞項目的第一場景中出現的開始字幕；和條件(d)在開始字幕的出現和消失之間，沒有場景改變。
3.按照權利要求2的廣播節(jié)目內容菜單建立裝置，其中字幕檢測器件(3)包括邊區(qū)域檢測器件(3)，它從存儲在存儲器件(1)中的視頻信號中檢測由具有在新聞節(jié)目的視頻信號中的每個幀中的相鄰像素之間的高亮度差的部分圍繞的邊圍繞區(qū)域；和字幕檢測器件(3)，它當邊圍繞區(qū)域是多于預定數量的幀的連續(xù)幀上的相同區(qū)域時、將由邊區(qū)域檢測器件(3)檢測的邊圍繞區(qū)域判定為字幕，并且向視頻提取器件(4，5)提供字幕信息，其中包括出現幀、消失幀、字幕位置和字幕的字符大小。
4.按照權利要求2或3的廣播節(jié)目內容菜單建立裝置，其中所述視頻提取器件(4，5)包括字符大小設置器件(5)，它設置字幕的字符大??；第一確定器件(5)，當在由字幕檢測器件(3)檢測的字幕中包含的和包括具有由字符大小設置器件(5)設置的字符大小的字符的字幕的數量大于定義預定數量時，所述第一確定器件(5)判定滿足條件(a)和條件(b)；第二確定器件(5)，當從滿足條件(a)和條件(b)的字幕檢測到字幕位置相同并且位于字幕的數量最大的位置的所有字幕，并且當所檢測的字幕的數量大于第二預定數量時，第二確定器件(5)判定滿足條件(c)；以及第三確定器件(5)，當在范圍從滿足條件(c)的字幕中包括的同一字幕的出現幀到消失幀的間隔中由場景檢測器件(4)未檢測到場景改變時，第三確定器件(5)判定滿足條件(d)。
5.按照權利要求4的廣播節(jié)目內容菜單建立裝置，其中，當第一確定器件(5)已經判定在由字幕檢測器件(3)檢測的字幕中包含的并且具有所設置的字符大小的字符的字幕的數量等于或小于第一預定數量時，當第二確定器件(5)已經判定在字幕的數量最大的位置中的字幕的數量等于或小于第二預定數量時，或者當第三確定器件(5)已經判定在范圍從出現幀到消失幀的間隔中由場景檢測器件(4)已經檢測到場景改變時，字符大小設置器件(5)將字幕的字符大小降低一個單位，并且使得第一確定器件(5)再次執(zhí)行確定操作。
6.按照權利要求1的廣播節(jié)目內容菜單建立裝置，其中邊區(qū)域檢測器件(3)包括邊檢測器件(3)，它檢測在具有高亮度差和具有除了中間亮度之外的亮度的邊像素中包括的像素形成的邊，并且邊區(qū)域檢測器件(3)根據由邊檢測器件(3)檢測的邊來檢測邊圍繞區(qū)域。
7.按照權利要求6的廣播節(jié)目內容菜單建立裝置，其中邊檢測器件(3)對于在視頻信號中的每個幀中建立邊像素的亮度直方圖，按照亮度直方圖將邊像素劃分為低亮度組、中間亮度組和高亮度組這三個亮度組，根據分類的結果來檢測由具有低亮度或高亮度的像素形成的邊。
8.按照權利要求2的廣播節(jié)目內容菜單建立裝置，其中，除了條件(a)(d)之外，預定的出現條件還包括條件(e)開始字幕位于對應于一個幀的屏幕的下部。
9.按照權利要求8的廣播節(jié)目內容菜單建立裝置，其中視頻提取器件(4，5)包括第四確定器件(5)，當由字幕檢測器件(3)檢測的字幕位于對應于一個幀的屏幕的下部時，第四確定器件(5)判定滿足條件(e)，并且第一確定器件(5)確定由第四確定器件(5)判定的字幕是否滿足條件(a)和條件(b)。
10.按照權利要求2的廣播節(jié)目內容菜單建立裝置，其中，除了條件(a)-(d)之外，預定的出現條件還包括條件(f)以長時間間隔出現開始字幕。
11.按照權利要求9的廣播節(jié)目內容菜單建立裝置，其中視頻提取器件(4，5)包括第五確定器件(5)，當滿足條件(a)和條件(b)的字幕在長時間間隔中出現時，第五確定器件(5)判定一個字幕滿足條件(f)；以及第二判定器件(5)確定由第五確定器件(5)判斷的字幕是否滿足條件(c)。
12.按照權利要求2的廣播節(jié)目內容菜單建立裝置，其中，除了條件(a)-(d)之外，預定的出現條件還包括條件(g)開始字幕出現在新聞節(jié)目的前半部分中。
13.按照權利要求9的廣播節(jié)目內容菜單建立裝置，其中視頻提取器件(4，5)包括第六確定器件(5)，當滿足條件(a)和條件(b)出現在新聞節(jié)目的前半部分中時，第六確定器件(5)判斷字幕滿足條件(g)，并且第二確定器件(5)確定由第六確定器件(5)判定的字幕是否滿足條件(c)。
14.按照權利要求2的廣播節(jié)目內容菜單建立裝置，其中，通過將長時間新聞節(jié)目按照每個固定時間來劃分，視頻提取器件(4，5)檢測包括滿足預定出現條件的字幕的幀。
15.按照權利要求4的廣播節(jié)目內容菜單建立裝置，其中，字符大小設置器件(5)將字符大小的初始值設置為其最大值。
16.按照權利要求5的廣播節(jié)目內容菜單建立裝置，其中字符大小設置器件(5)將字符大小的初始值設置為其最大值。
17.按照權利要求2的廣播節(jié)目內容菜單建立裝置，其中場景檢測器件(4)包括亮度平均計算器件(4)，它計算在存儲器件(1)中存儲的視頻信號中包括的新聞節(jié)目的視頻信號中的每個幀的亮度平均值；以及判定器件(4)，當在新聞節(jié)目的視頻信號中的連續(xù)中之間的亮度平均值中的差別大于預定值時，判定器件(4)判斷所述視頻信號位于在場景改變的時間點的幀之間。
18.按照權利要求1的廣播節(jié)目內容菜單建立裝置，還包括一個操作器件(7)，它從在菜單中的顯示項目中檢測任何一個項目，其中菜單建立器件(6)從存儲器件(1)取出范圍從由操作器件(7)選擇的一個項目對應的預定特征圖像部分的出現幀到至少一個消失幀的視頻信號，并且將視頻信號與表示所述菜單的視頻信號混合。
19.按照權利要求1的廣播節(jié)目內容菜單建立裝置，其中菜單建立器件(6)使用通過收縮由視頻數據表示的特征圖像部分而獲得的數據來作為表示菜單的視頻信號。
20.一種廣播節(jié)目內容菜單建立方法，它用于建立關于廣播節(jié)目的內容的菜單，其特征在于所述廣播節(jié)目內容菜單建立方法包括下述處理存儲廣播節(jié)目的視頻信號；確定所存儲的視頻信號的廣播節(jié)目是否為預定類別的廣播節(jié)目；從所存儲的視頻信號中檢測在所述預定類別的廣播節(jié)目的視頻信號中的每個幀的預定特征圖像部分；從所檢測的預定特征圖像部分中提取滿足預定顯現條件的幀的特征圖像部分的視頻數據；以及每次提取視頻數據時，建立和輸出視頻信號，用于將包括由視頻數據表示的特征圖像部分的圖像表示為菜單。
全文摘要
確定所存儲的視頻信號的廣播節(jié)目是否為預定類別的廣播節(jié)目。從所存儲的視頻信號檢測在所述預定類別的廣播節(jié)目的視頻信號中的每個幀的預定特征圖像部分。從所檢測的預定特征圖像部分中提取滿足預定顯現條件的幀的特征圖像部分的視頻數據。每次提取視頻數據時，建立和輸出視頻信號，用于將包括由視頻數據表示的特征圖像部分的圖像表示為菜單。
文檔編號H04N5/445GK1551624SQ20041004455
公開日2004年12月1日 申請日期2004年5月13日 優(yōu)先權日2003年5月15日
發(fā)明者宮里肇, 三, 中村毅, 一, 森田耕三, 莪山真一 申請人:日本先鋒公司