專利名稱：廣播通信協(xié)作系統(tǒng)、數(shù)據(jù)生成裝置及接收裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及對(duì)廣播與通信進(jìn)行協(xié)作的技術(shù)。
背景技術(shù)：
近年來，隨著廣播的數(shù)字化，在一般家庭的電視機(jī)中能夠欣賞高畫質(zhì)的高分辨率的影像。另一方面，通過寬帶環(huán)境普及，許多用戶能夠欣賞聲音一動(dòng)態(tài)圖像流媒體(streaming)服務(wù)及SNS (Social Networking Service:社交網(wǎng)絡(luò)服務(wù))等各種各樣的因特網(wǎng)的服務(wù)。在這樣的環(huán)境中，進(jìn)行了將廣播波內(nèi)容與通信內(nèi)容融合的新的服務(wù)的研究，用來實(shí)現(xiàn)該服務(wù)的技術(shù)開發(fā)正在推進(jìn)。在非專利文獻(xiàn)I中，記載有節(jié)目定制服務(wù)、社交電視服務(wù)、節(jié)目推薦服務(wù)等的例子。這里，節(jié)目定制服務(wù)是通過因特網(wǎng)等的通信網(wǎng)絡(luò)提供與正在進(jìn)行廣播的節(jié)目相關(guān)聯(lián)的附加信息、與廣播同時(shí)地進(jìn)行顯示的服務(wù)。由此，能夠進(jìn)行符合視聽者個(gè)人的需求的視聽。此外，社交電視服務(wù)是使在因特網(wǎng)上普及的SNS與廣播的視聽融合的服務(wù)。在社交電視服務(wù)中，將對(duì)SNS輸入的來自視聽者的意見及感想與節(jié)目同時(shí)顯示在電視機(jī)畫面上。由此，不積極地參加到SNS中的視聽者也能夠共享意見及感想。進(jìn)而，節(jié)目推薦服務(wù)是從由因特網(wǎng)提供的數(shù)量眾多的VOD (Video On Demand:視頻點(diǎn)播)節(jié)目庫中向視聽者提示推薦的VOD節(jié)目的服務(wù)。非專利文獻(xiàn)非專利文獻(xiàn)1:松村欣司及另外I人，“Hybridcast TM O概要i技術(shù)”，NHK技研R&D，NHK 放送技術(shù)研究所，2010 年，N0.124，p.10-17
發(fā)明概要發(fā)明要解決的課題如上述那樣，在實(shí)現(xiàn)將廣播與通信協(xié)作的服務(wù)的情況下，作為課題可以舉出違背廣播站的意圖而進(jìn)行通信內(nèi)容的疊加。例如，如果在“緊急通知”等廣播站想要對(duì)用戶傳達(dá)的重要的消息上疊加通信內(nèi)容，則廣播站不能將想要對(duì)用戶傳達(dá)的重要的消息正確地向用戶傳達(dá)。另外，如“緊急通知”那樣，作為廣播站想要對(duì)用戶傳達(dá)的重要的消息的例子，有“緊急地震速報(bào)”、“新聞速報(bào)”等。此外，作為在廣播站的商業(yè)的方面需要的消息，有“廣告”等，在不能將這些消息正確地向用戶傳達(dá)的情況下，廣播站的商業(yè)利益被損害。

發(fā)明內(nèi)容
本發(fā)明的一技術(shù)方案是解決上述課題的。用于解決課題的手段為了達(dá)到上述目的，本發(fā)明的一技術(shù)方案是生成數(shù)據(jù)的數(shù)據(jù)生成裝置，其特征在于，具備:取得機(jī)構(gòu)，取得幀圖像；設(shè)定機(jī)構(gòu)，設(shè)定禁止信息，該禁止信息表示當(dāng)由再現(xiàn)裝置對(duì)疊加了附加圖像的上述幀圖像進(jìn)行再現(xiàn)時(shí)禁止附加圖像的疊加的幀圖像上的區(qū)域；復(fù)用機(jī)構(gòu)，將上述幀圖像與上述禁止信息復(fù)用而生成數(shù)據(jù)。此外，本發(fā)明的一技術(shù)方案是一種接收數(shù)據(jù)的接收裝置，其特征在于，具備:接收機(jī)構(gòu)，接收將禁止信息和幀圖像復(fù)用而得到的數(shù)據(jù)，該禁止信息表示當(dāng)由再現(xiàn)裝置對(duì)疊加了附加圖像的上述幀圖像進(jìn)行再現(xiàn)時(shí)禁止附加圖像的疊加的幀圖像的區(qū)域；分離機(jī)構(gòu)，從上述數(shù)據(jù)中分離上述幀圖像和上述禁止信息；取得機(jī)構(gòu)，取得上述附加圖像；疊加機(jī)構(gòu)，基于上述禁止信息對(duì)上述幀圖像疊加上述附加圖像。
發(fā)明效果
根據(jù)該形態(tài)，能夠防止違背廣播站的意圖進(jìn)行通信內(nèi)容的疊加，能夠順暢地提供將廣播和通信協(xié)作的服務(wù)。


圖1是表示作為實(shí)施方式I的廣播通信協(xié)作系統(tǒng)10的整體結(jié)構(gòu)的框圖。
圖2表示作為實(shí)施方式2的廣播通信協(xié)作系統(tǒng)IOa的整體結(jié)構(gòu)的框圖。
圖3表示傳輸流形式的數(shù)字流的數(shù)據(jù)結(jié)構(gòu)。
圖4表示視頻流的數(shù)據(jù)結(jié)構(gòu)。
圖5表示視頻流的訪問單元的數(shù)據(jù)結(jié)構(gòu)。
圖6表示裁剪區(qū)域信息及縮放信息。
圖7表示裁剪區(qū)域信息及縮放信息的具體的指定方法。
圖8 (a)表示視頻幀序列570的數(shù)據(jù)結(jié)構(gòu)。圖8 (b)表示PES包序列580的數(shù)據(jù)結(jié)構(gòu)。
圖9表示構(gòu)成傳輸流的TS包的數(shù)據(jù)結(jié)構(gòu)。
圖10表示PMT的數(shù)據(jù)結(jié)構(gòu)。
圖11表示視頻流的參照關(guān)系。
圖12表示對(duì)影像平面641和影像平面641疊加消息圖像643或得分圖像644得到的影像平面642。
圖13表示將表示用戶的評(píng)論的評(píng)論圖像655疊加而得到的疊加平面654。
圖14表示生成合成平面665的處理。使用疊加區(qū)域設(shè)定位圖661對(duì)疊加平面654實(shí)施遮蔽處理，生成遮蔽疊加平面663。接著，將影像平面642與遮蔽疊加平面663合成，生成合成平面665。
圖15表示影像的場景671，673，676與疊加區(qū)域設(shè)定位圖684，685，687的對(duì)應(yīng)關(guān)系O
圖16表示作為變形的疊加區(qū)域設(shè)定位圖721。
圖17表示作為變形的疊加區(qū)域設(shè)定位圖731。
圖18表示影像的場景671，673，676與疊加區(qū)域設(shè)定數(shù)據(jù)684a，685a，687a的對(duì)應(yīng)關(guān)系。
圖19表示疊加區(qū)域設(shè)定數(shù)據(jù)的保存目的地的一例。
圖20是表示廣播系統(tǒng)IOOa的動(dòng)作的流程圖。
圖21是表示疊加區(qū)域設(shè)定數(shù)據(jù)的生成的動(dòng)作的流程圖。
圖22是表示再現(xiàn)裝置400a的動(dòng)作的流程圖。圖23是表示按照每個(gè)平面的遮蔽處理的動(dòng)作的流程圖。圖24表示不存在疊加區(qū)域設(shè)定數(shù)據(jù)的情況下的影像平面701與疊加平面702的合成的處理。圖25表示影像的場景671，673，676與疊加區(qū)域設(shè)定數(shù)據(jù)684b，685b，687b的對(duì)應(yīng)關(guān)系。圖26表示作為變形的疊加區(qū)域設(shè)定位圖684c的一例。圖27表示作為另一變形的疊加區(qū)域設(shè)定位圖684d的一例。圖28是表示作為變形例的廣播通信協(xié)作系統(tǒng)IOal的整體結(jié)構(gòu)的框圖。圖29表示在廣播通信協(xié)作系統(tǒng)IOal中生成合成平面665a的處理。使用疊加區(qū)域設(shè)定位圖661對(duì)疊加平面654a實(shí)施遮蔽處理,生成遮蔽疊加平面663a。接著，將影像平面642與遮蔽疊加平面663a合成,生成合成平面665a。圖30表示影像的場景671，673，676與疊加區(qū)域設(shè)定位圖684e，685e，687e的對(duì)應(yīng)關(guān)系。圖31表示生成合成平面665e的處理。使用疊加區(qū)域設(shè)定位圖685e對(duì)疊加平面654e實(shí)施遮蔽處理，生成遮蔽疊加平面663e。接著，將影像平面642與遮蔽疊加平面663e合成，生成合成平面665e。圖32表示影像的場景671，673，676與疊加區(qū)域設(shè)定位圖684f，685f，687f的對(duì)應(yīng)關(guān)系。圖33是表示作為變形例的廣播通信協(xié)作系統(tǒng)10a2的整體結(jié)構(gòu)的框圖。圖34是表示作為變形例的廣播通信協(xié)作系統(tǒng)10a3的整體結(jié)構(gòu)的框圖。圖35是表示作為實(shí)施方式3的廣播通信協(xié)作系統(tǒng)IOb的整體結(jié)構(gòu)的框圖。圖36表示影像的場景671，673，676與聲音合成設(shè)定數(shù)據(jù)6841，6851，6871的對(duì)應(yīng)關(guān)系。圖37是表示聲音合成設(shè)定數(shù)據(jù)的生成的動(dòng)作的流程圖。圖38是表示再現(xiàn)裝置400b的動(dòng)作的流程圖。圖39是表不聲音的合成處理的動(dòng)作的流程圖。圖40是表示作為實(shí)施方式4的廣播通信協(xié)作系統(tǒng)IOc的整體結(jié)構(gòu)的框圖。圖41是表示作為實(shí)施方式5的廣播通信協(xié)作系統(tǒng)IOd的整體結(jié)構(gòu)的框圖。圖42表示在廣播通信協(xié)作系統(tǒng)IOd中提供的服務(wù)。在影像平面901及911中，在各選手圖像的附近疊加顯示標(biāo)簽圖像。圖43表示俯瞰攝像機(jī)921與3維實(shí)空間的位置關(guān)系。圖44表示選手位置表941的數(shù)據(jù)結(jié)構(gòu)的一例。圖45表示疊加數(shù)據(jù)961的數(shù)據(jù)結(jié)構(gòu)的一例。圖46表示將影像平面981與疊加平面985合成而生成合成平面988的處理。圖47是表示疊加數(shù)據(jù)的生成的動(dòng)作的流程圖。圖48是表示再現(xiàn)的動(dòng)作的流程圖。圖49表示標(biāo)簽圖像的配置的一例。圖50表示疊加數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)的一例。各標(biāo)簽位置信息包括圖像ID。
圖51表示疊加平面801的一例。
圖52表示配置標(biāo)簽圖像后的合成平面801a。
圖53表示配置標(biāo)簽圖像后的另一合成平面801b。
圖54表示基本視視頻流及擴(kuò)展視視頻流中的參照關(guān)系。
具體實(shí)施方式
1.實(shí)施方式I
參照附圖對(duì)作為本發(fā)明實(shí)施方式I的廣播通信協(xié)作系統(tǒng)10進(jìn)行說明。
( I)廣播通信協(xié)作系統(tǒng)10
廣播通信協(xié)作系統(tǒng)10如圖1所示，由數(shù)據(jù)生成裝置100、廣播裝置200、服務(wù)提供裝置300和接收裝置400構(gòu)成。
數(shù)據(jù)生成裝置100具備:取得部101，取得幀圖像；設(shè)定部109，設(shè)定禁止信息，該禁止信息表示當(dāng)由再現(xiàn)裝置對(duì)疊加了附加圖像的上述幀圖像進(jìn)行再現(xiàn)時(shí)禁止附加圖像的疊加的幀圖像上的區(qū)域；復(fù)用部104，將上述幀圖像與上述禁止信息復(fù)用而生成數(shù)據(jù)。
廣播裝置200通過廣播路徑傳送上述數(shù)據(jù)。
服務(wù)提供裝置300通過通信路徑傳送上述附加圖像。
接收裝置400具備:接收部401，接收將禁止信息和上述幀圖像復(fù)用而得到的數(shù)據(jù)，該禁止信息表示當(dāng)由再現(xiàn)裝置對(duì)疊加了附加圖像的上述幀圖像進(jìn)行再現(xiàn)時(shí)禁止附加圖像的疊加的幀圖像的區(qū)域；分離部402，從上述數(shù)據(jù)中分離上述幀圖像和上述禁止信息；取得部409，取得上述附加圖像；疊加部407，基于上述禁止信息對(duì)上述幀圖像疊加上述附加圖像。
(2)這里，也可以是，數(shù)據(jù)生成裝置100通過一個(gè)傳送路徑傳送上述幀圖像，通過與上述傳送路徑不同的傳送路徑傳送上述附加圖像。
根據(jù)該形態(tài)，由于使用不同的傳送路徑，所以能夠有效地利用各個(gè)傳送路徑的特性。
(3)這里，也可以是，通過廣播路徑傳送上述幀圖像，通過通信路徑傳送上述附加圖像。
根據(jù)該形態(tài)，由于使用不同的傳送路徑，所以能夠有效地利用各個(gè)傳送路徑的特性。
(4)這里，也可以是，設(shè)定部109還設(shè)定許可信息，該許可信息表示當(dāng)由再現(xiàn)裝置對(duì)疊加了附加圖像的上述幀圖像進(jìn)行再現(xiàn)時(shí)許可附加圖像的疊加的幀圖像上的區(qū)域；復(fù)用部104還將上述許可信息復(fù)用。
根據(jù)該形態(tài)，通過表示當(dāng)將幀圖像再現(xiàn)時(shí)許可疊加的區(qū)域，能夠生成上述數(shù)據(jù)以使得不會(huì)在其他區(qū)域中疊加附加圖像而妨礙幀圖像。
(5)這里，也可以是，設(shè)定部109還設(shè)定推薦信息，該推薦信息表示當(dāng)由再現(xiàn)裝置對(duì)疊加了附加圖像的上述幀圖像進(jìn)行再現(xiàn)時(shí)推薦附加圖像的疊加的幀圖像上的區(qū)域；復(fù)用部104還將上述推薦信息復(fù)用。
根據(jù)該形態(tài)，通過表示當(dāng)將幀圖像再現(xiàn)時(shí)推薦疊加的區(qū)域，能夠生成上述數(shù)據(jù)以使得不會(huì)在其他區(qū)域中疊加附加圖像而妨礙幀圖像。
(6)這里，也可以是，設(shè)定部109還設(shè)定注意信息，該注意信息表示當(dāng)由再現(xiàn)裝置對(duì)疊加了附加圖像的上述幀圖像進(jìn)行再現(xiàn)時(shí)對(duì)附加圖像的疊加提起注意的幀圖像上的區(qū)域；復(fù)用部104還將上述注意信息復(fù)用。根據(jù)該形態(tài)，通過表示當(dāng)將幀圖像再現(xiàn)時(shí)提起注意的區(qū)域，避免在提起注意的區(qū)域中疊加附加圖像，能夠生成上述數(shù)據(jù)以使得不會(huì)在其他區(qū)域中疊加附加圖像而妨礙幀圖像。(7)這里，也可以是，上述禁止信息及上述許可信息對(duì)應(yīng)于上述幀圖像內(nèi)的各像素而設(shè)定。根據(jù)該形態(tài)，能夠生成上述數(shù)據(jù)，以使得在將幀圖像再現(xiàn)時(shí)按照每個(gè)像素而不對(duì)幀圖像構(gòu)成妨礙。(8)這里，也可以是，上述禁止信息及上述許可信息對(duì)應(yīng)于將上述幀圖像分割為多個(gè)而得到的區(qū)域來設(shè)定。根據(jù)該形態(tài)，能夠生成上述數(shù)據(jù)，以使得在將幀圖像再現(xiàn)時(shí)按照每個(gè)區(qū)域不對(duì)幀圖像構(gòu)成妨礙。(9)這里，也可以是，接收裝置400通過不同的傳送路徑接收上述幀圖像和上述附加圖像。根據(jù)該形態(tài)，由于使用不同的傳送路徑，所以能夠有效地利用各個(gè)傳送路徑的特性。(10)這里，也可以是，通過廣播路徑接收上述幀圖像，通過通信路徑接收上述附加圖像。根據(jù)該形態(tài)，由于使用不同的傳送路徑，所以能夠有效地利用各個(gè)傳送路徑的特性。(11)也可以是，接收部401還接收復(fù)用了許可信息的上述數(shù)據(jù)，該許可信息表示當(dāng)由再現(xiàn)裝置對(duì)疊加了附加圖像的幀圖像進(jìn)行再現(xiàn)時(shí)許可附加圖像的疊加的幀圖像的區(qū)域；分離部402還從上述數(shù)據(jù)中分離上述許可信息；疊加部407還基于上述許可信息對(duì)上述幀圖像疊加上述附加圖像。根據(jù)該形態(tài)，基于上述許可信息疊加附加圖像，能夠使得不會(huì)在由上述許可信息表示的區(qū)域以外的區(qū)域中疊加附加圖像而妨礙幀圖像。(12)這里，也可以是，接收部401還接收復(fù)用了推薦信息的上述數(shù)據(jù)，該推薦信息表示當(dāng)由再現(xiàn)裝置對(duì)疊加了附加圖像的幀圖像進(jìn)行再現(xiàn)時(shí)推薦附加圖像的疊加的幀圖像的區(qū)域；分離部402還從上述數(shù)據(jù)中分離上述推薦信息；疊加部407還基于上述推薦信息對(duì)上述幀圖像疊加上述附加圖像。根據(jù)該形態(tài)，基于上述推薦信息疊加附加圖像，能夠使得不會(huì)在由上述推薦信息表示的區(qū)域以外的區(qū)域中疊加附加圖像而妨礙幀圖像。(13)這里，也可以是，接收部401還接收復(fù)用了注意信息的上述數(shù)據(jù)，該注意信息表示當(dāng)由再現(xiàn)裝置對(duì)疊加了附加圖像的幀圖像進(jìn)行再現(xiàn)時(shí)對(duì)附加圖像的疊加提起注意的幀圖像的區(qū)域；分離部402還從上述數(shù)據(jù)中分離上述注意信息；疊加部407還基于上述注意信息對(duì)上述幀圖像疊加上述附加圖像。根據(jù)該形態(tài)，基于上述注意信息疊加附加圖像，能夠使得不會(huì)在由上述注意信息表示的區(qū)域以外的區(qū)域中疊加附加圖像而妨礙幀圖像。
(14)這里，也可以是，上述禁止信息及上述許可信息對(duì)應(yīng)于上述幀圖像內(nèi)的各像素而設(shè)定；上述疊加部407按照上述幀圖像內(nèi)的每個(gè)像素疊加上述附加信息。
根據(jù)該形態(tài)，能夠按照每個(gè)像素不對(duì)幀圖像構(gòu)成妨礙。
(15)這里，也可以是，上述禁止信息及上述許可信息對(duì)應(yīng)于將上述幀圖像分割為多個(gè)而得到的區(qū)域而設(shè)定；疊加部407按照上述幀圖像內(nèi)的每個(gè)上述區(qū)域疊加上述附加信肩、O
根據(jù)該形態(tài)，能夠按照每個(gè)區(qū)域不對(duì)幀圖像構(gòu)成妨礙。
(16)此外，本發(fā)明的一形態(tài)，是由數(shù)據(jù)生成裝置、廣播裝置、服務(wù)提供裝置和接收裝置構(gòu)成的廣播通信協(xié)作系統(tǒng)。
上述數(shù)據(jù)生成裝置具備:取得機(jī)構(gòu)，取得主聲音；設(shè)定機(jī)構(gòu)，設(shè)定禁止信息，該禁止信息表示當(dāng)由再現(xiàn)裝置對(duì)合成了附加聲音的上述主聲音進(jìn)行再現(xiàn)時(shí)禁止附加聲音的合成的主聲音的區(qū)間；復(fù)用機(jī)構(gòu)，將上述主聲音與上述禁止信息復(fù)用而生成數(shù)據(jù)。
上述廣播裝置通過廣播路徑傳送上述數(shù)據(jù)。
上述服務(wù)提供裝置通過通信路徑傳送上述附加聲音。
上述接收裝置具備:接收機(jī)構(gòu)，接收將禁止信息和上述主聲音復(fù)用而得到的數(shù)據(jù)，該禁止信息表示當(dāng)由再現(xiàn)裝置對(duì)合成了附加聲音的主聲音進(jìn)行再現(xiàn)時(shí)禁止附加聲音的合成的主聲音的區(qū)間；分離機(jī)構(gòu)，從上述數(shù)據(jù)中分離上述主聲音和上述禁止信息；取得機(jī)構(gòu)，取得上述附加聲音；合成機(jī)構(gòu)，基于上述禁止信息對(duì)上述主聲音合成上述附加聲音。
根據(jù)該形態(tài)，通過表示在將主聲音再現(xiàn)時(shí)禁止合成的區(qū)域，能夠生成上述數(shù)據(jù)，以使得不會(huì)將附加聲音合成而妨礙主聲音。此外，通過表示在將主聲音再現(xiàn)時(shí)禁止合成的區(qū)間，能夠生成上述數(shù)據(jù)，以使得不會(huì)將附加聲音合成而妨礙主聲音。
(17)這里，也可以是，上述數(shù)據(jù)生成裝置通過一個(gè)傳送路徑傳送上述主聲音；通過與上述傳送路徑不同的傳送路徑傳送上述附加聲音。
根據(jù)該形態(tài)，由于使用不同的傳送路徑，所以能夠有效地利用各個(gè)傳送路徑的特性。
(18)這里，也可以是，通過廣播路徑傳送上述主聲音；通過通信路徑傳送上述附加聲音。
根據(jù)該形態(tài)，由于使用不同的傳送路徑，所以能夠有效地利用各個(gè)傳送路徑的特性。
(19)這里，也可以是，上述設(shè)定機(jī)構(gòu)還設(shè)定許可信息，該許可信息表示當(dāng)由再現(xiàn)裝置對(duì)合成了附加聲音的上述主聲音進(jìn)行再現(xiàn)時(shí)許可附加聲音的合成的主聲音的區(qū)間；上述復(fù)用機(jī)構(gòu)還將上述許可信息復(fù)用。
根據(jù)該形態(tài)，通過表示在將主聲音再現(xiàn)時(shí)許可合成的區(qū)間，能夠生成上述數(shù)據(jù)，以使得不會(huì)在其他區(qū)間中合成附加聲音而妨礙主聲音。
( 20 )這里，也可以是，上述設(shè)定機(jī)構(gòu)還設(shè)定推薦信息，該推薦信息表示當(dāng)由再現(xiàn)裝置對(duì)合成了附加聲音的上述主聲音進(jìn)行再現(xiàn)時(shí)推薦附加聲音的合成的主聲音的區(qū)間；上述復(fù)用機(jī)構(gòu)還將上述推薦信息復(fù)用。
根據(jù)該形態(tài)，通過表示在將主聲音再現(xiàn)時(shí)推薦合成的區(qū)間，能夠生成上述數(shù)據(jù)，以使得不會(huì)在其他區(qū)間中合成附加聲音而妨礙主聲音。 (21)這里，也可以是，上述設(shè)定機(jī)構(gòu)還設(shè)定注意信息，該注意信息表示當(dāng)由再現(xiàn)裝置對(duì)合成了附加聲音的上述主聲音進(jìn)行再現(xiàn)時(shí)對(duì)附加聲音的合成提起注意的主聲音的區(qū)間；上述復(fù)用機(jī)構(gòu)還將上述注意信息復(fù)用。 根據(jù)該形態(tài)，通過表示在將主聲音再現(xiàn)時(shí)提起注意的區(qū)間，能夠生成上述數(shù)據(jù)，以使得不會(huì)在其他區(qū)間中合成附加聲音而妨礙主聲音。(22)這里，也可以是，上述接收裝置通過不同的傳送路徑接收上述主聲音和上述
附加聲音。根據(jù)該形態(tài)，由于使用不同的傳送路徑，所以能夠有效地利用各個(gè)傳送路徑的特性。(23)這里，也可以是，通過廣播路徑接收上述主聲音；通過通信路徑接收上述附加聲音。根據(jù)該形態(tài)，由于使用不同的傳送路徑，所以能夠有效地利用各個(gè)傳送路徑的特性。(24)這里，也可以是，上述接收機(jī)構(gòu)還接收復(fù)用了許可信息的上述數(shù)據(jù)，該許可信息表示當(dāng)由再現(xiàn)裝置對(duì)合成了附加聲音的主聲音進(jìn)行再現(xiàn)時(shí)許可附加聲音的疊加的主聲音的區(qū)間；上述分離機(jī)構(gòu)還從上述數(shù)據(jù)中分離上述許可信息；上述疊加機(jī)構(gòu)還基于上述許可信息對(duì)上述主聲音合成上述附加聲音。根據(jù)該形態(tài)，通過表示在將主聲音再現(xiàn)時(shí)許可合成的區(qū)間，能夠使得不會(huì)在其他區(qū)間中合成附加聲音而妨礙主聲音。(25)這里，也可以是，上述接收機(jī)構(gòu)還接收復(fù)用了推薦信息的上述數(shù)據(jù)，該推薦信息表示當(dāng)由再現(xiàn)裝置對(duì)合成了附加聲音的主聲音進(jìn)行再現(xiàn)時(shí)推薦附加聲音的疊加的主聲音的區(qū)間；上述分離機(jī)構(gòu)還從上述數(shù)據(jù)中分離上述推薦信息；上述疊加機(jī)構(gòu)還基于上述推薦信息對(duì)上述主聲音合成上述附加聲音。根據(jù)該形態(tài)，通過表示在將主聲音再現(xiàn)時(shí)推薦合成的區(qū)間，能夠使得不會(huì)在其他區(qū)間中合成附加聲音而妨礙主聲音。(26)這里，也可以是，上述接收機(jī)構(gòu)還接收復(fù)用了注意信息的上述數(shù)據(jù)，該注意信息表示當(dāng)由再現(xiàn)裝置對(duì)合成了附加聲音的主聲音進(jìn)行再現(xiàn)時(shí)對(duì)附加聲音的疊加提起注意的主聲音的區(qū)間；上述分離機(jī)構(gòu)還從上述數(shù)據(jù)中分離上述注意信息；上述疊加機(jī)構(gòu)還基于上述注意信息對(duì)上述主聲音合成上述附加聲音。根據(jù)該形態(tài)，通過表示在將主聲音再現(xiàn)時(shí)提起注意的區(qū)間，能夠使得不會(huì)在其他區(qū)間中合成附加聲音而妨礙主聲音。2.實(shí)施方式2參照附圖對(duì)作為本發(fā)明的實(shí)施方式2的廣播通信協(xié)作系統(tǒng)IOa進(jìn)行說明。2.1廣播通信協(xié)作系統(tǒng)IOa廣播通信協(xié)作系統(tǒng)IOa提供對(duì)于通過廣播波而廣播的影像疊加用戶的評(píng)論(comment)等的附加信息的服務(wù)。廣播通信協(xié)作系統(tǒng)IOa如圖2所示，由廣播系統(tǒng)100a、通信服務(wù)提供系統(tǒng)300a及再現(xiàn)裝置400a構(gòu)成。通信服務(wù)提供系統(tǒng)300a及再現(xiàn)裝置400a經(jīng)由網(wǎng)絡(luò)20a連接。網(wǎng)絡(luò)20a例如是因特網(wǎng)。
廣播系統(tǒng)IOOa是廣播站中的系統(tǒng)，將由攝錄機(jī)拍攝的影像及聲音加載于廣播波中而進(jìn)行廣播。
通信服務(wù)提供系統(tǒng)300a是通信服務(wù)業(yè)者的系統(tǒng)，經(jīng)由網(wǎng)絡(luò)20a提供從SNS等取得的用戶的評(píng)論等的附加信息。
再現(xiàn)裝置400a接收廣播波，將流解碼而將廣播影像再現(xiàn)，將廣播影像顯示。此外，將從通信服務(wù)提供系統(tǒng)300a經(jīng)由網(wǎng)絡(luò)20a發(fā)送的附加信息疊加在廣播影像中而顯示。再現(xiàn)裝置400a作為一例是數(shù)字廣播接收裝置。在再現(xiàn)裝置400a中，作為用戶接口而附帶有遙控器。再現(xiàn)裝置400a的用戶通過遙控器選擇廣播波的頻道，作為一例而如圖12所示，顯示并欣賞影像平面641。此外，用戶如圖14所示，在廣播影像中疊加附加信息而欣賞。在合成平面665中，在足球賽的廣播影像中，作為附加信息而疊加有表示從通信服務(wù)提供系統(tǒng)300a取得的評(píng)論的評(píng)論圖像667。
2.2流的數(shù)據(jù)結(jié)構(gòu)
這里，對(duì)用數(shù)字電視機(jī)的廣播波等傳送的一般的流的數(shù)據(jù)結(jié)構(gòu)進(jìn)行說明。
在通過數(shù)字電視的廣播波等的傳送中，使用MPEG-2傳輸流形式的數(shù)字流。所謂MPEG-2傳輸流，是用來將視頻或音頻等的各種各樣的流復(fù)用而傳送的規(guī)格。該規(guī)格在ISO/IEC13818-1及ITU-T推薦H222.0中被標(biāo)準(zhǔn)化。
(MPEG-2傳輸流形式的數(shù)字流的結(jié)構(gòu))
在圖3中表示MPEG-2傳輸流形式的數(shù)字流的結(jié)構(gòu)。如該圖所示，傳輸流513可以通過將視頻流501、音頻流504、字幕流507等復(fù)用而得到。
視頻流501保存有節(jié)目的主影像。此外，音頻流504保存有節(jié)目的主聲音部分及副聲音。進(jìn)而，字幕流507保存有節(jié)目的字幕信息。
視頻流501使用MPEG-2、MPEG-4 AVC等的方式編碼并記錄。音頻流504使用杜比AC-3、MPEG-2 AAC、MPEG_4 AAC、HE-AAC等的方式壓縮編碼并記錄。
(動(dòng)態(tài)圖像壓縮編碼)
對(duì)視頻流的結(jié)構(gòu)進(jìn)行說明。在MPEG-2、MPEG-4 AVC、SMPTEVC_1等的動(dòng)態(tài)圖像壓縮編碼中，利用動(dòng)態(tài)圖像的空間方向及時(shí)間方向的冗余性進(jìn)行數(shù)據(jù)量的壓縮。作為利用時(shí)間方向的冗余性的方法，可以使用圖片(picture)間預(yù)測編碼。在圖片間預(yù)測編碼中，在將某個(gè)圖片編碼時(shí)，將在顯示時(shí)間順序上處于前方或后方的圖片作為參照?qǐng)D片。接著，檢測與該參照?qǐng)D片相比的運(yùn)動(dòng)量。通過對(duì)進(jìn)行了運(yùn)動(dòng)補(bǔ)償?shù)膱D片與編碼對(duì)照的圖片的差值除去空間方向的冗余度來進(jìn)行數(shù)據(jù)量的壓縮。在圖11中表示視頻流的圖片的一般的參照結(jié)構(gòu)。箭頭表示進(jìn)行了參照而被壓縮。如該圖所示，視頻流包括圖片631，632，…，637。這里，所謂圖片，是包含幀及場的兩者的I個(gè)編碼的單位。
將不具有參照?qǐng)D片而僅使用編碼對(duì)象圖片進(jìn)行圖片內(nèi)預(yù)測編碼的圖片稱作I圖片。此外，將參照已經(jīng)處理的I張圖片進(jìn)行圖片間預(yù)測編碼的圖片稱作P圖片。將同時(shí)參照已經(jīng)處理的2張圖片進(jìn)行圖片間預(yù)測編碼的圖片稱作B圖片。在B圖片中將被其他圖片參照的圖片稱作Br圖片。此 外，將幀結(jié)構(gòu)的情況下的幀、場結(jié)構(gòu)的場在這里稱作視頻訪問單元。
(視頻流的結(jié)構(gòu))
視頻流具有圖4所示那樣的層級(jí)結(jié)構(gòu)。視頻流521由多個(gè)GOP (Group ofPictures:圖片組)522，523，…構(gòu)成。通過將GOP作為編碼處理的基本單位，能夠進(jìn)行動(dòng)態(tài)圖像的編輯及隨機(jī)訪問。
此外，G0P522由I個(gè)以上的視頻訪問單元524，525，526，…構(gòu)成。關(guān)于其他GOP也同樣。視頻訪問單元是保存圖片的編碼數(shù)據(jù)的單位。在幀結(jié)構(gòu)的情況下，在視頻訪問單元中保存I幀的數(shù)據(jù)。此外，在場結(jié)構(gòu)的情況下，在視頻訪問單元中保存I個(gè)場的數(shù)據(jù)。
視頻訪問單元524由AU識(shí)別碼531、序列頭532、圖片頭533、補(bǔ)充數(shù)據(jù)534、壓縮圖片數(shù)據(jù)535、填充數(shù)據(jù)(padding data) 536、序列末端碼537、流末端碼538等構(gòu)成。關(guān)于其他視頻訪問單元是同樣的。各數(shù)據(jù)在MPEG-4AVC的情況下以稱作NAL單元的單位保存。
AU識(shí)別碼531是表示訪問單元的開頭的開始符號(hào)。序列頭532是保存有由多個(gè)視頻訪問單元構(gòu)成的再現(xiàn)序列中的共用的信息的頭。在序列頭532中，保存分辨率、幀速率、寬高比、比特率等的信息。圖片頭533是保存有關(guān)于圖片整體的編碼的方式等的信息的頭。補(bǔ)充數(shù)據(jù)534是在壓縮數(shù)據(jù)的解碼中不是必須的附加信息。例如，在補(bǔ)充數(shù)據(jù)534中，保存與影像同步顯示在TV上的隱藏式字幕(closed caption)的字符信息及GOP結(jié)構(gòu)信息等。在壓縮圖片數(shù)據(jù)535中，保存壓縮編碼的圖片的數(shù)據(jù)。填充數(shù)據(jù)536保存用于修整形式的沒有意義的數(shù)據(jù)。例如，作為用來保持所決定的比特率的填入數(shù)據(jù)(stuffing data)使用。序列末端碼537是表示再現(xiàn)序列的末端的數(shù)據(jù)。流末端碼538是表示比特流的末端的數(shù)據(jù)。
AU識(shí)別碼531、序列頭532、圖片頭533、補(bǔ)充數(shù)據(jù)534、壓縮圖片數(shù)據(jù)535、填充數(shù)據(jù)536、序列末端碼537、流末端碼538的各自的內(nèi)部的結(jié)構(gòu)根據(jù)視頻的編碼方式而不同。
例如，如果是MPEG-4 AVC的情況，則AU識(shí)別碼531對(duì)應(yīng)于AU定界符(Access UnitDelimiter)。序列頭532對(duì)應(yīng)于SPS (Sequence Parameter Set:序列參數(shù)集)。圖片頭533對(duì)應(yīng)于PPS (Picture Parameter Set:圖片參數(shù)集)。壓縮圖片數(shù)據(jù)535對(duì)應(yīng)于多個(gè)片(slice)。補(bǔ)充數(shù)據(jù) 534 對(duì)應(yīng)于 SEI (Supplemental Enhancement Information:補(bǔ)充增強(qiáng)信息)。填充數(shù)據(jù)536對(duì)應(yīng)于Filler Data。序列末端碼537對(duì)應(yīng)于End of Sequence。流末端碼538對(duì)應(yīng)于End of Stream。
此外，例如如果是MPEG-2的情況，則序列頭532對(duì)應(yīng)于sequence_Header>sequence_extension、group_of_picture_header。圖片頭 533 對(duì)應(yīng)于 picture_header、picture_codi ng_extension。壓縮圖片數(shù)據(jù)535對(duì)應(yīng)于多個(gè)片。補(bǔ)充數(shù)據(jù)534對(duì)應(yīng)于user_data ο序列末端碼537對(duì)應(yīng)于sequence_end_code。雖然不存在AU識(shí)別碼531,但只要使用各自的頭的開始碼，就能夠判斷訪問單元的劃分處。
各數(shù)據(jù)不總是需要。例如，序列頭532僅在GOP開頭的視頻訪問單元中需要，在其以外的視頻訪問單元中也可以沒有。此外，根據(jù)編碼方式，關(guān)于圖片頭533也可以參照符號(hào)順序靠前的視頻訪問單元的頭。在此情況下，也可以在自身的視頻訪問單元內(nèi)沒有圖片頭533。
此外，如圖5所示，在GOP開頭的視頻訪問單元524a中，作為壓縮圖片數(shù)據(jù)535a而保存I圖片的數(shù)據(jù)。此外，AU識(shí)別碼531a、序列頭532a、圖片頭533a、壓縮圖片數(shù)據(jù)535a必定保存。此外，也可以保存補(bǔ)充數(shù)據(jù)534a、填充數(shù)據(jù)536a、序列末端碼537a、流末端碼538a。
GOP開頭以外的視頻訪問單元524b必定保存AU識(shí)別碼531b、壓縮圖片數(shù)據(jù)535b。此外，也可以保存補(bǔ)充數(shù)據(jù)534b、填充數(shù)據(jù)530b、序列末端碼537b、流末端碼538b。
(裁剪區(qū)域信息及縮放信息)接著，參照?qǐng)D6對(duì)裁剪區(qū)域信息及縮放信息進(jìn)行說明。根據(jù)視頻編碼方式，可以變更所編碼的幀的區(qū)域、和實(shí)際在顯示中使用的區(qū)域。如圖6那樣，可以從編碼的幀區(qū)域541中指定實(shí)際顯示的區(qū)域作為“裁剪(cropping)區(qū)域”(542)。例如，在MPEG-4 AVC的情況下,可以使用保存在SPS中的frame_cropping信息。frame_cropping信息包括圖7 Ca)所示的上裁剪量555、下裁剪量556、左裁剪量553及右裁剪量554。這里，上裁剪量555是裁剪區(qū)域552的上邊與幀區(qū)域551的上邊的距離。此夕卜，下裁剪量556是裁剪區(qū)域552的下邊與幀區(qū)域551的下邊的距離。此外，左裁剪量553是裁剪區(qū)域552的左邊與幀區(qū)域551的左邊的距離。此外，右裁剪量554是裁剪區(qū)域552的右邊與幀區(qū)域551的右邊的距離。更具體地講,在指定裁剪區(qū)域的情況下,將frame_cropping_flag設(shè)定為“I”,將上 / 下 / 左 / 右的裁剪量指定為 frame_crop_top_offset/frame_crop_b°ttom_offset/frame_crop_left_offset/frame_crop_right_ofTset0在MPEG-2的情況下，如圖7 (b)所示，使用裁剪區(qū)域的縱及橫的尺寸(sequence—display_extension 的 display_horizontal_size, display_vertical_size) 565、566、和編碼的巾貞區(qū)域561的中心點(diǎn)564與裁剪區(qū)域562的中心點(diǎn)563的差信息(picture_display_extension 的 frame_centre_horizontal_offset, frame_centre_vertical_offset)指定裁剪區(qū)域。此外，根據(jù)視頻編碼方式，存在表示將裁剪區(qū)域?qū)嶋H顯示到電視機(jī)等上時(shí)的縮放方法的縮放信息。這例如設(shè)定為寬高比。再現(xiàn)裝置400a使用該寬高比的信息，將裁剪區(qū)域向上變換而進(jìn)行顯示。例如，在MPEG-4 AVC的情況下，作為縮放信息，在SPS中保存寬高比的信息(aspect_ratio_idc)。在MPEG-4 AVC的情況下，為了將1440X 1080的裁剪區(qū)域放大為1920X1080顯示，寬高比指定4:3。在此情況下，在水平方向上向上變換為4/3倍(1440X4/3=1920)，擴(kuò)大到1920X 1080而顯示。在MPEG-2的情況下也同樣，在sequence—header 中保存有寬高比的信息(aspect_ratio_information)。(PID)包含在傳輸流中的各流由稱作PID的流識(shí)別ID來識(shí)別。通過提取該P(yáng)ID的包，再現(xiàn)裝置400a能夠?qū)?duì)象的流提取出。PID與流的對(duì)應(yīng)關(guān)系保存在以后說明的PMT包的描述符中。(傳輸流中的復(fù)用)在圖3中，示意地表示在傳輸流513中多個(gè)流怎樣被復(fù)用。首先，將由多個(gè)視頻幀構(gòu)成的視頻流501及由多個(gè)音頻幀構(gòu)成的音頻流504分別變換為PES包序列502及505。再將PES包序列502及505分別變換為TS包序列503及506。同樣，將字幕流507的數(shù)據(jù)分別變換為PES包序列508。再將PES包序列508變換為TS包序列509。MPEG-2傳輸流513通過將這些TS包序列503、506及509復(fù)用為I條流而構(gòu)成。圖8更詳細(xì)地表示在PES包序列中怎樣保存視頻流。圖8 (a)表示視頻流的視頻幀序列570，圖8 (b)表示PES包序列580。此外，圖8表示視頻幀序列570的各圖片與PES包序列580的各圖片的對(duì)應(yīng)關(guān)系。
視頻巾貞序列570包括多個(gè)Video Presentation Unit (視頻演不單兀)。VideoPresentation Unit是I圖片、B圖片或P圖片。將視頻流的視頻巾貞序列570按照每個(gè)圖片進(jìn)行分割，將各圖片保存到PES包的有效載荷中。具體而目，如圖8所7]^，將視頻巾貞序列570的圖片571、572、573及574分別保存到PES包591、592、593及594的有效載荷中。
各PES包具有PES頭。在PES頭中，保存作為圖片的顯示時(shí)刻的PTS(PresentationTime-Stamp:演示時(shí)間戳)及作為圖片的解碼時(shí)刻的DTS (Decoding Time-Stamp:解碼時(shí)間戳)。
(TS 包)
圖9表示構(gòu)成傳輸流的TS包的數(shù)據(jù)結(jié)構(gòu)。
TS包601是188字節(jié)的固定長的包。TS包601由4字節(jié)的TS頭602、自適應(yīng)字段604及TS有效載荷605構(gòu)成。
TS 頭 602 由 transport_prio;rity (606)、PID (607)、adaptaion_field_control(608)等構(gòu)成。
PID (607 )如上述那樣，是用來識(shí)別復(fù)用在傳輸流中的流的ID。transport_priority (606)是用來在同一 PID的TS包中識(shí)別包的種類的信息。adaptation_field_control (608)是用來控制自適應(yīng)字段604和TS有效載荷605的結(jié)構(gòu)的信息。關(guān)于自適應(yīng)字段604及TS有效載荷605，有僅存在某一方的情況。此外，有存在自適應(yīng)字段604及TS有效載荷605的兩者的情況。adaptation_field_control(608)表示其有無。在adaptation_field_control (608)是“I” 的情況下，僅存在 TS 有效載荷 605。在 adaptation_field_control (608)是“2”的情況下，僅存在自適應(yīng)字段604。此外，在adaptation_field_control (608)是“3”的情況下，表示存在TS有效載荷605和自適應(yīng)字段604的兩者。
自適應(yīng)字段604是進(jìn)行PCR等的信息的保存、及用于使TS包成為188字節(jié)固定長的填充的數(shù)據(jù)的保存區(qū)域。在TS有效載荷605中PES包被分割保存。
(PAT、PMT、PCR 等)
在包含在傳輸流中的TS包中，在影像、聲音、字幕等的各流以外，還有PAT(Program Association Table:節(jié)目關(guān)聯(lián)表)、PMT (Program Map Table:節(jié)目映射表)、PCR(Program Clock Reference:節(jié)目時(shí)鐘參考)等。將這些包稱作 PSI (Program SpecificInformation:節(jié)目特定信息)。
PAT表示在傳輸流中利用的PMT的PID是什么，將PAT自身的PID用“O”登記。
PMT具有包含在傳輸流中的影像、聲音、字幕等的各流的PID和對(duì)應(yīng)于各PID的流的屬性信息，還具有關(guān)于傳輸流的各種描述符。在描述符中，有指示許可/不許可AV流的拷貝的拷貝控制信息等。
PCR為了取TS包的向解碼器的到達(dá)時(shí)刻與作為PTS、DTS的時(shí)間軸的STC (SystemTime Clock:系統(tǒng)時(shí)間時(shí)鐘)的同步，具有與將該P(yáng)CR向解碼器轉(zhuǎn)送的定時(shí)對(duì)應(yīng)的STC時(shí)間的信息。
(PMT)
圖10是詳細(xì)地說明PMT (611)的數(shù)據(jù)結(jié)構(gòu)的圖。在PMT (611)的開頭，配置記述有包含在該P(yáng)MT中的數(shù)據(jù)的長度等的PMT頭612。在其后面，配置多個(gè)關(guān)于傳輸流的描述符613,…,614。將上述拷貝控制信息等作為描述符記載。在描述符之后，配置多個(gè)關(guān)于包含在傳輸流中的各流的流信息615，…，616。流信息615由記載有用來識(shí)別流的壓縮編解碼器等的流類型617、流的PID (618)、流的屬性信息(幀速率、寬高比等)的流描述符619，…，620構(gòu)成。2.3 廣播系統(tǒng) IOOa廣播系統(tǒng)IOOa如圖2所示，由廣播影像攝影機(jī)構(gòu)101a、編輯機(jī)構(gòu)103a、廣播流生成機(jī)構(gòu)104a、廣播流緩沖器105a、發(fā)送機(jī)構(gòu)106a、天線107a、設(shè)定信息緩沖器108a、疊加區(qū)域設(shè)定機(jī)構(gòu)109a及疊加區(qū)域設(shè)定數(shù)據(jù)緩沖器IlOa構(gòu)成。(I)廣播影像攝影機(jī)構(gòu)IOla及編輯機(jī)構(gòu)103a廣播影像攝影機(jī)構(gòu)IOla作為一例是視頻攝錄機(jī)。廣播影像攝影機(jī)構(gòu)IOla拍攝被攝體并將影像記錄，將聲音記錄。編輯機(jī)構(gòu)103a是對(duì)由廣播影像攝影機(jī)構(gòu)IOla記錄的影像及聲音進(jìn)行編輯的機(jī)構(gòu)。例如，在由多臺(tái)視頻攝錄機(jī)拍攝的影像中選擇要廣播的場景，或在拍攝的影像上疊加得分(score)信息或字幕信息等的圖形。在圖12中表示編輯的狀況。如該圖所示，對(duì)于由廣播影像攝影機(jī)構(gòu)IOla拍攝并記錄的足球賽的影像平面641，作為通常信息而疊加得分圖像644。此外，疊加表示重要信息的消息圖像643 “緊急通知”。(2)廣播流生成機(jī)構(gòu)104a廣播流生成機(jī)構(gòu)104a將由編輯機(jī)構(gòu)103a編輯后的影像及聲音的內(nèi)容變換為作為用來以廣播波播放的格式的廣播流。接著，將廣播流向廣播流緩沖器105a寫入。例如，廣播流生成機(jī)構(gòu)104a如果是影像，則用MPEG-2或MPEG-4 AVC等的視頻編解碼器編碼而生成視頻流。如果是聲音，則用AC3或AAC等的音頻編解碼器編碼而生成音頻流。接著，將視頻流及音頻流復(fù)用，生成I條MPEG-2TS等的系統(tǒng)流。這樣，將通過復(fù)用生成的用廣播波來發(fā)布的格式的流在以后稱作廣播流。廣播流生成機(jī)構(gòu)104a基于由編輯機(jī)構(gòu)103a生成的影像及聲音數(shù)據(jù)生成廣播流。此外，如圖19所示，將疊加區(qū)域設(shè)定數(shù)據(jù)嵌入到廣播流中。疊加區(qū)域設(shè)定數(shù)據(jù)如上述那樣，包括疊加區(qū)域設(shè)定位圖、及該位圖的分辨率等的補(bǔ)充信息。廣播流生成機(jī)構(gòu)104a將疊加區(qū)域設(shè)定數(shù)據(jù)保存在復(fù)用到廣播流中的視頻流、或PMT、SIT等的描述符中。在將疊加區(qū)域設(shè)定數(shù)據(jù)保存在視頻流中的情況下，也可以向各幀的補(bǔ)充數(shù)據(jù)等中保存。此外，也可以僅將疊加區(qū)域設(shè)定數(shù)據(jù)向GOP開頭的訪問單元保存，使該疊加區(qū)域設(shè)定數(shù)據(jù)到下個(gè)GOP開頭為止是有效的。補(bǔ)充信息也可以是表示疊加區(qū)域設(shè)定數(shù)據(jù)為有效的區(qū)間的開始時(shí)刻的PTS或結(jié)束時(shí)刻PTS等的時(shí)刻信息。另外，也可以構(gòu)成為，將疊加區(qū)域設(shè)定數(shù)據(jù)作為另外的流分配PID來復(fù)用。(3)發(fā)送機(jī)構(gòu) 106a發(fā)送機(jī)構(gòu)106a從廣播流緩沖器105a將廣播流讀出，將所讀出的廣播流通過天線107a作為廣播波送出。這樣，將廣播流通過廣播波向各家庭分發(fā)。(4)設(shè)定信息緩沖器108a
設(shè)定信息緩沖器108a作為一例由半導(dǎo)體存儲(chǔ)器構(gòu)成。設(shè)定信息緩沖器108a存儲(chǔ)有設(shè)定信息。
設(shè)定信息表示在加載于廣播波中廣播的影像及聲音中、按照構(gòu)成影像及聲音的各場景的每個(gè)種類、在影像中應(yīng)該怎樣疊加附加信息。具體而言，設(shè)定信息與場景的種類建立對(duì)應(yīng)而包括疊加標(biāo)志(flag)。
構(gòu)成通過廣播波分發(fā)的影像及聲音的各場景作為一例，分類為以下表示的第I種類、第2種類及第3種類。
第I種類是僅包括由廣播影像攝影機(jī)構(gòu)IOla取得的影像及聲音的場景。作為一例，是包括通常的足球賽轉(zhuǎn)播的影像及聲音的場景。
第2種類是除了由廣播影像攝影機(jī)構(gòu)IOla取得的影像及聲音以外、還在影像中疊加了表示重要信息的消息圖像的種類。作為一例，是在通常的足球賽轉(zhuǎn)播的場景中疊加了表示作為重要信息的緊急通知的消息圖像的場景。
第3種類是僅由廣告的影像及聲音構(gòu)成的場景。
設(shè)定信息對(duì)應(yīng)于第I種類而包括疊加標(biāo)志“O”。此外，對(duì)應(yīng)于第2種類而包括疊加標(biāo)志“I”。進(jìn)而，對(duì)應(yīng)于第3種類而包括疊加標(biāo)志“2”。
疊加標(biāo)志“O”表示許可對(duì)包含在對(duì)應(yīng)的第I種類的場景中的影像疊加附加信息。
疊加標(biāo)志“I”禁止在包含在對(duì)應(yīng)的第2種類的場景中的影像中的、顯示表示重要信息的消息圖像的部分中疊加附加信息。
疊加標(biāo)志“2”表示禁止對(duì)包含在對(duì)應(yīng)的第2種類的場景中的影像疊加附加信息。
(5)疊加區(qū)域設(shè)定數(shù)據(jù)緩沖器IlOa
疊加區(qū)域設(shè)定數(shù)據(jù)緩沖器IlOa作為一例由硬盤單元構(gòu)成。疊加區(qū)域設(shè)定數(shù)據(jù)緩沖器IlOa具備用來存儲(chǔ)疊加區(qū)域設(shè)定數(shù)據(jù)的區(qū)域。
疊加區(qū)域設(shè)定數(shù)據(jù)如后述那樣，由對(duì)于各廣播影像的幀表示許可區(qū)域及禁止區(qū)域的位圖信息構(gòu)成。
(6)疊加區(qū)域設(shè)定機(jī)構(gòu)109a
疊加區(qū)域設(shè)定機(jī)構(gòu)109a從編輯機(jī)構(gòu)103a接受編輯后的影像及聲音。將接受到的影像及聲音向廣播流生成機(jī)構(gòu)104a輸出。
此外，疊加區(qū)域設(shè)定機(jī)構(gòu)109a從設(shè)定信息緩沖器108a將設(shè)定信息讀出。接著，使用所讀出的設(shè)定信息，設(shè)定在通過廣播波分發(fā)的影像中，也可以通過再現(xiàn)裝置400a疊加的空間性的區(qū)域或時(shí)間性的區(qū)間。此外，設(shè)定被禁止疊加的空間性的區(qū)域或時(shí)間性的區(qū)間。這樣，生成疊加區(qū)域設(shè)定數(shù)據(jù)。
具體而言，判斷構(gòu)成接受到的影像及聲音的各場景是第I種類、第2種類及第3種類的哪種。接著，從設(shè)定信息中提取與該場景的種類對(duì)應(yīng)的疊加標(biāo)志。接著，按照提取出的疊加標(biāo)志，對(duì)該場景生成疊加區(qū)域設(shè)定數(shù)據(jù)。
接著，將所生成的疊加區(qū)域設(shè)定數(shù)據(jù)向疊加區(qū)域設(shè)定數(shù)據(jù)緩沖器IlOa寫入。
在圖15中表示疊加區(qū)域設(shè)定數(shù)據(jù)的一例。如該圖所示，疊加區(qū)域設(shè)定數(shù)據(jù)由對(duì)各廣播影像的幀表示許可區(qū)域及禁止區(qū)域的位圖信息構(gòu)成。例如，在1920X1080分辨率的全HD(全高清)的影像的情況下，準(zhǔn)備按照1920X1080的每個(gè)像素分配I比特的比特序列。在被許可的像素位置上為“I”、在被禁止的像素位置上為“O”而構(gòu)成。將該位圖稱作“疊加區(qū)域設(shè)定位圖”。
圖15 (a)表示再現(xiàn)時(shí)間軸上的畫面形象的轉(zhuǎn)變。說明各場景結(jié)構(gòu)中的疊加區(qū)域設(shè)定位圖的例子。區(qū)間681是通常的足球賽轉(zhuǎn)播的場景。此外，區(qū)間682是在足球賽轉(zhuǎn)播中放入了表示緊急通知的消息圖像的場景。進(jìn)而，區(qū)間683表示CM(廣告)的場景。在這樣的場景結(jié)構(gòu)的例的情況下，在區(qū)間681中，將疊加區(qū)域設(shè)定位圖(684)#1內(nèi)的全部的比特設(shè)定為許可區(qū)域“=1”。此外，在區(qū)間682中，在疊加區(qū)域設(shè)定位圖(685) #2中，將與由廣播站顯示消息圖像675 “緊急通知”的像素對(duì)應(yīng)的比特區(qū)域686設(shè)定為禁止區(qū)域“=0”。此外，將消息圖像675以外的比特區(qū)域設(shè)定為許可區(qū)域“=1”。進(jìn)而，在區(qū)間683中，將疊加區(qū)域設(shè)定位圖(687)#3內(nèi)的全部的比特設(shè)定為禁止區(qū)域 “=0，，。另外，疊加區(qū)域設(shè)定位圖的分辨率也可以比廣播波的幀分辨率小。例如，在廣播波是全HD (1920X1080)的情況下，也可以為半HD、四分之一 HD、其再一半。此外，如圖16及圖17所示，疊加區(qū)域設(shè)定位圖的分辨率也可以是IOX 10或2X2那樣的、非常小的分辨率。在圖16所示的情況下，疊加區(qū)域設(shè)定位圖由10行、10列合計(jì)100個(gè)區(qū)域722，723，…構(gòu)成。這里，區(qū)域724，725，…是禁止區(qū)域，其他區(qū)域是許可區(qū)域。此夕卜，在圖17所示的情況下，疊加區(qū)域設(shè)定位圖由2行、2列合計(jì)4個(gè)區(qū)域732、733、734、735構(gòu)成。這里，區(qū)域734、735是 禁止區(qū)域，區(qū)域732、733是許可區(qū)域。在這樣的情況下，在再現(xiàn)裝置400a進(jìn)行遮蔽(mask)處理的情況下，只要將疊加區(qū)域設(shè)定位圖放大到廣播波的分辨率后進(jìn)行處理就可以。考慮這樣的情形，作為疊加區(qū)域設(shè)定位圖的補(bǔ)充信息而將疊加區(qū)域設(shè)定位圖的分辨率一起記錄。另外，疊加區(qū)域設(shè)定位圖既可以作為非壓縮的比特序列保存，也可以編碼為游程(run length)等的可逆壓縮、或JPG等的圖像、視頻流。另外，疊加區(qū)域設(shè)定數(shù)據(jù)也可以用I比特表示幀整體。在I比特的情況下，為標(biāo)志的意思，所以為圖18所示的結(jié)構(gòu)。如圖18所示，在區(qū)間681中，疊加區(qū)域設(shè)定數(shù)據(jù)684a是“I”(許可)。此外，在區(qū)間682中，疊加區(qū)域設(shè)定數(shù)據(jù)685a是“0”(禁止)。進(jìn)而，在區(qū)間683中，疊加區(qū)域設(shè)定數(shù)據(jù)685a是“0”(禁止)。另外，作為疊加區(qū)域設(shè)定數(shù)據(jù)，也可以設(shè)置表示在幀整體中是禁止還是不禁止的標(biāo)志。進(jìn)而，也可以在該標(biāo)志之外另外地準(zhǔn)備詳細(xì)地表示許可區(qū)域的疊加區(qū)域設(shè)定位圖。通過這樣構(gòu)成，再現(xiàn)裝置只要最先看到標(biāo)志就可以。在標(biāo)志表示禁止的情況下，再現(xiàn)裝置在這以后不再需要將位圖展開。結(jié)果，處理變得簡單。2.4通信服務(wù)提供系統(tǒng)300a通信服務(wù)提供系統(tǒng)300a如圖2所示，由疊加數(shù)據(jù)生成機(jī)構(gòu)301a、疊加數(shù)據(jù)緩沖器302a及發(fā)送機(jī)構(gòu)303a構(gòu)成。疊加數(shù)據(jù)生成機(jī)構(gòu)301a是生成用來向廣播站的影像疊加的疊加數(shù)據(jù)的機(jī)構(gòu)。例如，在通過通信服務(wù)提供系統(tǒng)300a提供疊加用戶對(duì)廣播影像的評(píng)論的服務(wù)的情況下，疊加數(shù)據(jù)生成機(jī)構(gòu)301a為以下這樣。疊加數(shù)據(jù)生成機(jī)構(gòu)301a從Twitter (推特,或微博)等的共享用戶的發(fā)言的SNS上的評(píng)論中，利用語言解析及標(biāo)簽信息等，收集與對(duì)應(yīng)的廣播節(jié)目關(guān)聯(lián)的評(píng)論及適合于廣播影像的評(píng)論。接著，變換為由該評(píng)論集及設(shè)計(jì)信息構(gòu)成的疊加數(shù)據(jù)。這里，設(shè)計(jì)信息是表示在廣播影像的何處怎樣顯示評(píng)論、將評(píng)論用什么顏色顯示等的信息。設(shè)計(jì)信息例如如圖13所示，是將評(píng)論集包圍的矩形的信息(矩形的寬度、高度、配設(shè)矩形的坐標(biāo)位置、矩形的顏色及透明度)、字符的信息(字體、粗細(xì)、顏色)等的信息。
接著，疊加數(shù)據(jù)生成機(jī)構(gòu)301a將所生成的疊加數(shù)據(jù)向疊加數(shù)據(jù)緩沖器302a寫入。
發(fā)送機(jī)構(gòu)303a從疊加數(shù)據(jù)緩沖器302a將疊加數(shù)據(jù)讀出。接著，將所讀出的疊加數(shù)據(jù)經(jīng)由網(wǎng)絡(luò)20a對(duì)設(shè)置在各家庭中的再現(xiàn)裝置400a發(fā)送。
2.5 再現(xiàn)裝置 400a
再現(xiàn)裝置400a如圖2所示，由調(diào)諧器401a、廣播流解碼機(jī)構(gòu)402a、廣播數(shù)據(jù)緩沖器403a、疊加區(qū)域設(shè)定數(shù)據(jù)緩沖器404a、疊加區(qū)域遮蔽機(jī)構(gòu)405a、遮蔽疊加平面緩沖器406a、合成機(jī)構(gòu) 407a、顯不機(jī)構(gòu) 408a、NIC (Network Interface Card:網(wǎng)絡(luò)接口卡)409a、疊加機(jī)構(gòu)410a及疊加平面緩沖器411a構(gòu)成。在調(diào)諧器401a上連接著天線420a。
(I)緩沖器
廣播數(shù)據(jù)緩沖器403a作為一例由半導(dǎo)體存儲(chǔ)器構(gòu)成。廣播數(shù)據(jù)緩沖器403a具備用來保存由廣播流解碼機(jī)構(gòu)402a解碼后的影像平面的區(qū)域。
疊加平面緩沖器411a作為一例由半導(dǎo)體存儲(chǔ)器構(gòu)成。疊加平面緩沖器411a具備用來保存由疊加機(jī)構(gòu)410a生成的疊加圖像的區(qū)域。疊加平面除了 RGB或YUV等的顏色信息以外還具有α值，能夠設(shè)定透明度。
疊加區(qū)域設(shè)定數(shù)據(jù)緩沖器404a作為一例由半導(dǎo)體存儲(chǔ)器構(gòu)成。疊加區(qū)域設(shè)定數(shù)據(jù)緩沖器404a具備用來存儲(chǔ)疊加區(qū)域設(shè)定數(shù)據(jù)的區(qū)域。
(2)調(diào)諧器401a及廣播流解碼機(jī)構(gòu)402a
調(diào)諧器401a具有經(jīng)由天線420a從廣播波中選擇廣播流并解調(diào)的功能。
廣播流解碼機(jī)構(gòu)402a從調(diào)諧器401a接受廣播流。接著，將廣播流解碼，在PTS的定時(shí)對(duì)影像平面進(jìn)行分離，將影像平面向廣播數(shù)據(jù)緩沖器403a寫入。此外，對(duì)疊加區(qū)域設(shè)定數(shù)據(jù)進(jìn)行分離，將疊加區(qū)域設(shè)定數(shù)據(jù)向疊加區(qū)域設(shè)定數(shù)據(jù)緩沖器404a寫入。
作為影像平面的一例，在圖12中表示影像平面642。影像平面642對(duì)于廣播影像平面疊加了表示得分信息的得分圖像644及表示重要信息的消息圖像643 “緊急通知”。
(3)NIC409a
NIC409a與網(wǎng)絡(luò)20a連接，具有從通信服務(wù)提供系統(tǒng)300a經(jīng)由網(wǎng)絡(luò)20a接收疊加數(shù)據(jù)的功能。將接收到的疊加數(shù)據(jù)對(duì)疊加機(jī)構(gòu)410a輸出。
作為疊加數(shù)據(jù)的一例，在圖12中表示疊加數(shù)據(jù)652。在疊加數(shù)據(jù)652中包含有評(píng)論集及設(shè)計(jì)信息。
(4)疊加機(jī)構(gòu) 410a
疊加機(jī)構(gòu)410a從通信服務(wù)提供系統(tǒng)300a經(jīng)由網(wǎng)絡(luò)20a及NIC409a取得疊加數(shù)據(jù)。接著，疊加機(jī)構(gòu)410a基于所取得的疊加數(shù)據(jù)，生成作為用來向廣播影像疊加的圖像的疊加平面。接著，將所生成的疊加平面向疊加平面緩沖器411a寫入。如果在疊加數(shù)據(jù)中包含有PTS的定時(shí)信息，則只要以PTS的定時(shí)寫入，就能夠與廣播影像取得同步而疊加。由于在疊加平面中能夠設(shè)定透明度，所以在想要使其透過的情況下，對(duì)疊加平面的各色設(shè)定為透明。
作為疊加平面的一例，在圖13中表示疊加平面654。在疊加平面654中疊加有評(píng)論圖像655。
(5)疊加區(qū)域遮蔽機(jī)構(gòu)405a
疊加區(qū)域遮蔽機(jī)構(gòu)405a從存儲(chǔ)在疊加區(qū)域設(shè)定數(shù)據(jù)緩沖器404a中的疊加區(qū)域設(shè)定數(shù)據(jù)之中，取得與向影像平面輸出的視頻的PTS對(duì)應(yīng)的疊加區(qū)域設(shè)定位圖。作為疊加區(qū)域設(shè)定位圖的一例，在圖14中表示疊加區(qū)域設(shè)定位圖661。疊加區(qū)域設(shè)定位圖661包括禁止區(qū)域662。禁止區(qū)域662以外是許可區(qū)域。接著，疊加區(qū)域遮蔽機(jī)構(gòu)405a將存儲(chǔ)在疊加平面緩沖器411a中的疊加平面讀出。接著，使用所取得的疊加區(qū)域設(shè)定位圖，對(duì)所讀出的疊加平面進(jìn)行遮蔽處理。在該遮蔽處理中，將疊加區(qū)域設(shè)定位圖的與禁止區(qū)域?qū)?yīng)的疊加平面像素的a值設(shè)定為完全透明色。具體而言，將與禁止區(qū)域?qū)?yīng)的疊加平面的像素的a值變更為意味著透明的值。由此，生成遮蔽疊加平面。接著，將遮蔽疊加平面向遮蔽疊加平面緩沖器406a寫入。作為遮蔽疊加平面的一例，在圖14中表示遮蔽疊加平面663。在圖14所示的遮蔽疊加平面663中，在疊加平面的評(píng)論圖像655與疊加區(qū)域設(shè)定位圖661的禁止區(qū)域662之間，對(duì)重復(fù)的部分設(shè)定了透明色。由此，將缺少了評(píng)論圖像655的一部分的評(píng)論圖像664顯示在遮蔽疊加平面663上。(6 )合成機(jī)構(gòu)407a及顯示機(jī)構(gòu)408a合成機(jī)構(gòu)407a從廣播數(shù)據(jù)緩沖器403a將影像平面讀出。接著，將與所讀出的影像平面的幀的PTS對(duì)應(yīng)的遮蔽疊加平面從遮蔽疊加平面緩沖器406a讀出。接著，將所讀出的影像平面與遮蔽疊加平面合成而生成合成平面。在圖14所示的例子中，將影像平面642與遮蔽疊加平面663合成，生成合成平面665。在合成平面665中，在通過拍攝得到的影像平面中，疊加有表示得分信息的得分圖像666、表示評(píng)論的評(píng)論圖像667及表示重要信息的消息圖像668。在得分圖像666、評(píng)論圖像667及消息圖像668中，沒有重復(fù)的部分。因此，消息圖像668被沒有欠缺地加以顯示。接著，合成機(jī)構(gòu)407a將合成平面向顯示機(jī)構(gòu)408a輸出。顯示機(jī)構(gòu)408a顯示合成平面。2.6廣播通信協(xié)作系統(tǒng)IOa的動(dòng)作對(duì)構(gòu)成廣播通信協(xié)作系統(tǒng)IOa的廣播系統(tǒng)IOOa及再現(xiàn)裝置400a的動(dòng)作進(jìn)行說明。( I)廣播系統(tǒng)IOOa的動(dòng)作對(duì)于廣播系統(tǒng)IOOa的動(dòng)作，使用圖20所示的流程圖進(jìn)行說明。廣播影像攝影機(jī)構(gòu)IOla拍攝被攝體,并將影像記錄,將聲音記錄(步驟S110)。編輯機(jī)構(gòu)103a對(duì)由廣播影像攝影機(jī)構(gòu)IOla記錄的影像及聲音進(jìn)行編輯(步驟S111)。疊加區(qū)域設(shè)定機(jī)構(gòu)109a生成疊加區(qū)域設(shè)定數(shù)據(jù)(步驟S112)。廣播流生成機(jī)構(gòu)104a生成廣播流(步驟S113)。發(fā)送機(jī)構(gòu)106a發(fā)送廣播流(步驟S114)。接著，對(duì)于疊加區(qū)域設(shè)定數(shù)據(jù)的生成的步驟，使用圖21所示的流程圖進(jìn)行說明。另外，該步驟是圖20所示的步驟S112的詳細(xì)情況。疊加區(qū)域設(shè)定機(jī)構(gòu)109a從設(shè)定信息緩沖器108a中將設(shè)定信息讀出(步驟S121)。接著，按照廣播影像數(shù)據(jù)的每個(gè)場景，重復(fù)以下的步驟S123 S128 (步驟S122 S129)。疊加區(qū)域設(shè)定機(jī)構(gòu)109a提取廣播影像數(shù)據(jù)的場景的種類(步驟S123)。接著，判斷所提取的場景的種類(步驟S124)。在是第I種類的情況下(步驟S124中“第1”)，生成由許可構(gòu)成的疊加區(qū)域設(shè)定數(shù)據(jù)(步驟S125)。在是第2種類的情況下(步驟S124中“第2”)，生成包括表示禁止的區(qū)域的疊加區(qū)域設(shè)定數(shù)據(jù)(步驟S126)。在是第3種類的情況下(步驟S124中“第3”)，生成由禁止構(gòu)成的疊加區(qū)域設(shè)定數(shù)據(jù)(步驟S127)。接著，將所生成的疊加區(qū)域設(shè)定數(shù)據(jù)向疊加區(qū)域設(shè)定數(shù)據(jù)緩沖器IlOa寫入(步驟S128)。
(2)再現(xiàn)裝置400a的動(dòng)作
對(duì)于再現(xiàn)裝置400a的動(dòng)作，使用圖22所示的序列圖進(jìn)行說明。
天線420a反復(fù)接收廣播波，調(diào)諧器401a從廣播波中選擇廣播流，反復(fù)解調(diào)(步驟S131)。
廣播流解碼機(jī)構(gòu)402a從廣播流中將對(duì)應(yīng)的流分離，反復(fù)將影像平面及疊加區(qū)域設(shè)定數(shù)據(jù)分離(步驟S132)。
廣播流解碼機(jī)構(gòu)402a反復(fù)將影像平面向廣播數(shù)據(jù)緩沖器403a寫入(步驟S133)。
廣播流解碼機(jī)構(gòu)402a反復(fù)將疊加區(qū)域設(shè)定數(shù)據(jù)向疊加區(qū)域設(shè)定數(shù)據(jù)緩沖器404a寫入(步驟S135)。
NIC409a從通信服務(wù)提供系統(tǒng)300a經(jīng)由網(wǎng)絡(luò)20a接收疊加數(shù)據(jù)(步驟S137)。
疊加機(jī)構(gòu)410a基于所取得的疊加數(shù)據(jù)，生成作為用來向廣播影像疊加的圖像的疊加平面(步驟S138)。
疊加區(qū)域遮蔽機(jī)構(gòu)405a從存儲(chǔ)在疊加區(qū)域設(shè)定數(shù)據(jù)緩沖器404a中的疊加區(qū)域設(shè)定數(shù)據(jù)中，取得與向影像平面輸出的視頻的PTS對(duì)應(yīng)的疊加區(qū)域設(shè)定位圖(步驟S136)。
接著，疊加區(qū)域遮蔽機(jī)構(gòu)405a將存儲(chǔ)在疊加平面緩沖器41 Ia中的疊加平面讀出。接著，使用所取得的疊加區(qū)域設(shè)定位圖，對(duì)所讀出的疊加平面進(jìn)行遮蔽處理(步驟S139)。
接著，合成機(jī)構(gòu)407a從廣播數(shù)據(jù)緩沖器403a反復(fù)將影像平面讀出(步驟S134)。接著，反復(fù)將影像平面與遮蔽疊加平面合成而生成合成平面(步驟S140)。
顯示機(jī)構(gòu)408a反復(fù)將合成平面顯示(步驟S141)。
接著，對(duì)疊加區(qū)域遮蔽機(jī)構(gòu)405a的遮蔽疊加平面的生成的步驟使用圖23所示的流程圖進(jìn)行說明。另外，該步驟是圖22所示的步驟S139的詳細(xì)情況。
疊加區(qū)域遮蔽機(jī)構(gòu)405a按照影像平面內(nèi)的每個(gè)像素，反復(fù)進(jìn)行以下的步驟S152 S154 (步驟 S151 S155)。
對(duì)于影像平面內(nèi)的像素，提取疊加區(qū)域設(shè)定數(shù)據(jù)內(nèi)的對(duì)應(yīng)的比特(步驟S152)。
判斷提取出的比特表示許可還是表示禁止(步驟S153)。
在提取出的比特表示許可的情況下(步驟S153中“許可”)，什么都不做。
在提取出的比特表示禁止的情況下(步驟S153中“禁止”)，對(duì)遮蔽疊加平面的對(duì)應(yīng)的像素設(shè)定完全透明(步驟S154)。
2.7 總結(jié)
在實(shí)現(xiàn)對(duì)廣播波的影像疊加附加信息的服務(wù)的情況下，作為問題可以列舉出不能反映廣播站的意圖。參照?qǐng)D24具體地進(jìn)行說明。
如圖24所示，在影像平面701中，以足球賽的影像為背景，與得分圖像704 —起插入了消息圖像705“緊急通知”。該消息圖像705是表示作為廣播站需要向用戶緊急傳達(dá)的消息的，嵌入在廣播影像中。另一方面，在疊加平面702中包含有表示用戶的評(píng)論的評(píng)論圖像706。在此情況下，在將影像平面701與疊加平面702合成的情況下，如圖24所示，為合成平面703那樣。
在合成平面703中，在消息圖像709 “緊急通知”之上覆蓋評(píng)論圖像708，消息圖像709的一部分消失。在此情況下，不能將作為廣播站側(cè)想要向用戶傳達(dá)的重要信息的消息正確地向用戶傳達(dá)。作為如這樣的“緊急通知”那樣、作為廣播站側(cè)想要向用戶傳達(dá)的消息的例子，有“緊急地震速報(bào)”、“新聞速報(bào)”。它們是重要信息。此外，不僅是“緊急通知”，作為廣播站側(cè)的商業(yè)利益而需要的消息，有“廣告”、“來自廣播站的通知(節(jié)目的CM、問卷調(diào)查、轉(zhuǎn)播延長)”，在不能將這些消息正確地傳達(dá)的情況下，廣播站的商業(yè)利益被損害。相對(duì)于此，根據(jù)廣播通信協(xié)作系統(tǒng)10a，如圖14所示，消息圖像668不會(huì)被評(píng)論圖像667覆蓋。因此，能夠?qū)⒂蓮V播站側(cè)想要通知的嵌入在影像中的緊急廣播或CM等的消息按照廣播站的意圖正確地向用戶傳達(dá)。通過這樣構(gòu)成，能夠?qū)V播站想要向用戶傳達(dá)的緊急通知等的消息不被其他圖像疊加妨礙地正確地向用戶傳達(dá)。2.8變形例(I)在上述中，說明了作為表示疊加許可/禁止的區(qū)域的方法而使用位圖的結(jié)構(gòu)，但并不限定于此。如圖25所示，也可以將禁止區(qū)域的矩形信息作為矢量圖記載。例如，也可以將禁止區(qū)域的矩形區(qū)域用禁止區(qū)域的坐標(biāo)位置和禁止區(qū)域的尺寸來表現(xiàn)。坐標(biāo)位置表示疊加區(qū)域設(shè)定位圖內(nèi)的禁止區(qū)域的左上點(diǎn)的位置(x，y)。禁止區(qū)域的尺寸包括橫寬及高度。橫寬表示禁止區(qū)域的橫寬。高度表示禁止區(qū)域的高度。在此情況下，例如在圖25所示的區(qū)間681中，由于不存在禁止區(qū)域，所以沒有條目。在區(qū)間682中，禁止區(qū)域通過疊加區(qū)域設(shè)定位圖685b內(nèi)的坐標(biāo)位置(x, y)、橫寬(wl)、高度(yl)表示。在區(qū)間683中，禁止區(qū)域通過疊加區(qū)域設(shè)定位圖687b內(nèi)的坐標(biāo)位置(0，O)、橫寬(w2)、高度(y2)表示。 通過這樣，與使用位圖的結(jié)構(gòu)相比，能夠使信息量變少。(2)在疊加區(qū)域設(shè)定位圖內(nèi)，禁止區(qū)域也可以如圖26所示那樣存在多個(gè)。在該圖中，在疊加區(qū)域設(shè)定位圖684c內(nèi)，存在禁止區(qū)域684cl及684c2。(3)禁止區(qū)域如圖27所示，也可以具有多邊形(平面多邊形)的形狀。在該圖中，在疊加區(qū)域設(shè)定位圖684d內(nèi)存在禁止區(qū)域684dl。在此情況下，以繞左或繞右的順序登記多邊形的各頂點(diǎn)的位置坐標(biāo)。登記該圖的多邊形的頂點(diǎn)A、B、C、D、E的點(diǎn)的位置坐標(biāo)。在這樣通過矢量圖構(gòu)成疊加區(qū)域設(shè)定數(shù)據(jù)的情況下，疊加區(qū)域遮蔽機(jī)構(gòu)405a只要使用矢量圖確定禁止區(qū)域、執(zhí)行對(duì)于疊加平面的遮蔽處理就可以。(4)在圖28中表示作為再現(xiàn)裝置400a的變形例的再現(xiàn)裝置400a。在再現(xiàn)裝置400al中，疊加機(jī)構(gòu)410a參照疊加區(qū)域設(shè)定數(shù)據(jù)緩沖器404a。疊加機(jī)構(gòu)410a例如在由應(yīng)用程序及處理器構(gòu)成的情況下，也可以能夠經(jīng)由應(yīng)用程序的API參照疊加區(qū)域設(shè)定數(shù)據(jù)。此外，也可以能夠按照每幀、按照每G0P、按照每N秒、按照每個(gè)變化等，通過回調(diào)(callback)事件接受信息。通過這樣，疊加機(jī)構(gòu)410a能夠使用疊加區(qū)域設(shè)定數(shù)據(jù)將疊加的區(qū)域每次變更。
例如，如圖29那樣，疊加機(jī)構(gòu)410a通過參照疊加區(qū)域設(shè)定位圖661來確定禁止區(qū)域662的位置。接著，在疊加平面654a中進(jìn)行將要疊加的評(píng)論圖像的位置錯(cuò)開以便不重疊在該禁止區(qū)域662上的處理。在該圖中表示錯(cuò)開后的評(píng)論圖像655a。通過這樣構(gòu)成，用戶能夠?qū)V播站的表示重要信息的消息圖像和評(píng)論圖像兩者都同時(shí)地不重疊地進(jìn)行觀看。
(5)如圖30所示，作為疊加區(qū)域設(shè)定位圖的結(jié)構(gòu)，不僅是許可、禁止的2個(gè)屬性，也可以能夠設(shè)定具有“注意”、“推薦”等的其他屬性的區(qū)域。
例如，“注意”表示存在超大字符等的消息圖像(比賽的得分等)，意味著提起注意以便盡量不疊加。此外，“推薦”表示在廣播站側(cè)盡量不會(huì)給出超大字符的區(qū)域，意味著推薦向該區(qū)域疊加。
例如，在將禁止區(qū)域的比特的值設(shè)為“O”、將許可區(qū)域的比特的值設(shè)為“ I ”的情況下，將注意區(qū)域的比特值設(shè)為“2”，將推薦區(qū)域的比特值設(shè)為“3”。
在圖30所示的例子中，在疊加區(qū)域設(shè)定位圖(684e)#l中，對(duì)于與足球賽的得分圖像672對(duì)應(yīng)的區(qū)域684el設(shè)定為“注意=2”。此外，對(duì)于其他區(qū)域684e2設(shè)定為“推薦=3”。
此外，在疊加區(qū)域設(shè)定位圖(685e) #2中，對(duì)于與足球賽的得分圖像674對(duì)應(yīng)的區(qū)域685el設(shè)定為“注意=2”。此外，對(duì)于其他區(qū)域685e2設(shè)定為“推薦=3”。
進(jìn)而，在疊加區(qū)域設(shè)定位圖(687e) #3中，對(duì)整個(gè)面設(shè)定了禁止。
疊加機(jī)構(gòu)410a如圖31所示，能夠避開禁止及注意的區(qū)域而對(duì)推薦的區(qū)域疊加評(píng)論等附加信息。
通過這樣的結(jié)構(gòu)，疊加機(jī)構(gòu)410a能夠參照疊加區(qū)域設(shè)定位圖的注意、推薦、禁止、許可的區(qū)域，更細(xì)致地控制應(yīng)將評(píng)論等的附加信息疊加到哪里。
另外，這樣的注意、推薦、禁止、許可等多個(gè)類型的區(qū)域?qū)傩缘脑O(shè)定當(dāng)然在圖25所示的矢量圖及圖18所示的對(duì)于幀的標(biāo)志或類型那樣的信息中也能夠設(shè)定。
(6)如圖32所示，作為疊加區(qū)域設(shè)定位圖的結(jié)構(gòu)，也可以不是按照許可、禁止的屬性信息，而是按照疊加區(qū)域設(shè)定位圖的每個(gè)像素設(shè)定疊加平面的透明度。
例如，在圖32的例子中，在疊加區(qū)域設(shè)定位圖(685f) #2中，在與表示得分的得分圖像674對(duì)應(yīng)的區(qū)域685fl中，設(shè)定了透明度“90%”。此外，在推薦疊加的區(qū)域685f2中設(shè)定了透明度“0%”。在緊急通知的區(qū)域685f3中設(shè)定了透明度“100%”。此外，除此以外在推薦疊加的區(qū)域中設(shè)定了透明度“50%”。這里，設(shè)透明度100%是完全透明，透明度0%是完全不透明。
疊加區(qū)域遮蔽機(jī)構(gòu)405a使用設(shè)定在疊加區(qū)域設(shè)定位圖上的透明度，對(duì)疊加平面進(jìn)行遮蔽處理。
例如，對(duì)在疊加區(qū)域設(shè)定位圖中設(shè)定為90%的區(qū)域，將疊加平面上的原來的透明度的值設(shè)定為0%。即，在完全不透明的情況下，將透明度變更為90%的透明度。通過做成這樣的結(jié)構(gòu)，能夠更細(xì)致地反映廣播站的意圖。
(7)在疊加區(qū)域設(shè)定數(shù)據(jù)中，也可以用百分比指定合成到畫面的百分之幾那樣的畫面上的合成區(qū)域的最大尺寸。例如，在疊加區(qū)域設(shè)定數(shù)據(jù)中規(guī)定為50%以內(nèi)的情況下，如果疊加的區(qū)域是畫面整體的60%，則將區(qū)域削減到50%而進(jìn)行顯示。通過這樣，能夠更細(xì)致地反映廣播站的意圖。
(8)在疊加區(qū)域設(shè)定位圖中，也可以不僅是禁止及許可的屬性信息、還保存有該區(qū)域的代表色的信息。如果有這樣的信息，則疊加機(jī)構(gòu)410a通過參照疊加區(qū)域設(shè)定位圖，能夠?qū)B加的字符顏色的設(shè)定等設(shè)定為適當(dāng)?shù)闹怠４送?，疊加機(jī)構(gòu)410a在顯示字符的情況下，如果是由兩色的字符構(gòu)成，則在怎樣的背景中都能夠向用戶容易理解地進(jìn)行顯示。(9)疊加機(jī)構(gòu)410a如圖33所示，也可以構(gòu)成為除了疊加區(qū)域設(shè)定位圖以外還能夠參照影像平面的信息。通過這樣構(gòu)成，疊加機(jī)構(gòu)410a能夠知道背景色由什么顏色構(gòu)成，所以能夠用適當(dāng)?shù)念伾珮?gòu)成疊加數(shù)據(jù)。此外，疊加機(jī)構(gòu)410a也可以在影像平面中通過識(shí)別人物來確定背景，在背景上描繪疊加數(shù)據(jù)以便不疊加到人的臉上。(10)也可以在廣播流的系統(tǒng)包(SIT或EIT等)中編碼并配置通知緊急廣播的區(qū)間的標(biāo)志信息。在此情況下，疊加區(qū)域遮蔽機(jī)構(gòu)405a也可以當(dāng)被從廣播流解碼機(jī)構(gòu)402a通知了該標(biāo)志信息時(shí)，將幀的全部區(qū)域設(shè)定為禁止區(qū)域，進(jìn)行遮蔽處理而向疊加平面輸出。(11)如圖34所示，作為變形例的再現(xiàn)裝置400a3也可以還包括安全設(shè)定機(jī)構(gòu)412a。也可以將疊加區(qū)域設(shè)定數(shù)據(jù)使用密鑰加密。此外，安全設(shè)定機(jī)構(gòu)412a也可以通過設(shè)定疊加機(jī)構(gòu)410a的密鑰而能夠?qū)⒓用艿寞B加區(qū)域設(shè)定數(shù)據(jù)解密。通過這樣，疊加區(qū)域設(shè)定數(shù)據(jù)僅在進(jìn)行疊加時(shí)成為有效，能夠禁止在其以外的用途中利用。另外，也可以是，在疊加區(qū)域設(shè)定數(shù)據(jù)中準(zhǔn)備多個(gè)種類，安全設(shè)定機(jī)構(gòu)412a根據(jù)疊加機(jī)構(gòu)410a的密鑰或ID來變更要采用的疊加區(qū)域設(shè)定數(shù)據(jù)。另外，也可以構(gòu)成為，在再現(xiàn)裝置中準(zhǔn)備密鑰，使得僅能夠由被認(rèn)證的再現(xiàn)裝置將疊加區(qū)域設(shè)定數(shù)據(jù)解密。(12)在廣播通信協(xié)作系統(tǒng)IOa中，對(duì)疊加圖形的例子進(jìn)行了說明。但是，并不限定于此。在對(duì)于廣播波影像將追加影像作為Picture-1n-Picture (畫中畫)顯示那樣的結(jié)構(gòu)中也能夠采用。如果將疊加機(jī)構(gòu)410a做成在通信中提供的追加流的解碼機(jī)構(gòu)，則同樣能夠應(yīng)對(duì)。疊加機(jī)構(gòu)410a從通信服務(wù)提供系統(tǒng)300a經(jīng)由網(wǎng)絡(luò)20a取得追加影像。3.實(shí)施方式3參照附圖對(duì)作為本發(fā)明的實(shí)施方式3的廣播通信協(xié)作系統(tǒng)IOb進(jìn)行說明。在上述實(shí)施方式2的廣播通信協(xié)作系統(tǒng)IOa中，提供對(duì)加載于廣播波上廣播的影像疊加附加信息的服務(wù)。相對(duì)于此，在廣播通信協(xié)作系統(tǒng)IOb中，提供將加載于廣播波上廣播的聲音置換為附加聲音的服務(wù)、或者在加載于廣播波上廣播的聲音中合成附加聲音的服務(wù)。另外,有時(shí)也將加載于廣播波上廣播的聲音稱作主聲音。廣播通信協(xié)作系統(tǒng)IOb如圖35所示，由廣播系統(tǒng)100b、通信服務(wù)提供系統(tǒng)300b及再現(xiàn)裝置400b構(gòu)成。3.1 廣播系統(tǒng) IOOb廣播系統(tǒng)IOOb如圖35所示，由廣播影像攝影機(jī)構(gòu)101b、編輯機(jī)構(gòu)103b、廣播流生成機(jī)構(gòu)104b、廣播流緩沖器105b、發(fā)送機(jī)構(gòu)106b、天線107b、設(shè)定信息緩沖器108b、聲音合成設(shè)定數(shù)據(jù)生成機(jī)構(gòu)10%及聲音合成設(shè)定數(shù)據(jù)緩沖器IlOb構(gòu)成。
廣播系統(tǒng)IOOb具有與廣播通信協(xié)作系統(tǒng)IOa的廣播系統(tǒng)IOOb類似的結(jié)構(gòu)。廣播影像攝影機(jī)構(gòu)101b、編輯機(jī)構(gòu)103b、廣播流緩沖器105b、發(fā)送機(jī)構(gòu)106b及天線107b分別具有與廣播系統(tǒng)IOOa的廣播影像攝影機(jī)構(gòu)10la、編輯機(jī)構(gòu)103a、廣播流緩沖器105a、發(fā)送機(jī)構(gòu)106a及天線107a同樣的結(jié)構(gòu)，所以省略說明。
這里，以與廣播系統(tǒng)IOOa的不同點(diǎn)為中心進(jìn)行說明。
( I)設(shè)定信息緩沖器108b
設(shè)定信息緩沖器108b作為一例由硬盤單元構(gòu)成。設(shè)定信息緩沖器108b存儲(chǔ)有設(shè)定信息。
設(shè)定信息表示在加載于廣播波上廣播的影像及聲音中、按照構(gòu)成影像及聲音的各場景的每個(gè)種類應(yīng)將附加聲音怎樣疊加。具體而言，設(shè)定信息與場景的種類建立對(duì)應(yīng)而包括疊加標(biāo)志。
構(gòu)成通過廣播波分發(fā)的影像及聲音的各場景作為一例可以分類為以下表示的第I種類、第2種類及第3種類。
第I種類是僅包括由廣播影像攝影機(jī)構(gòu)IOlb取得的影像及聲音的場景。作為一例，是僅包括通常的足球賽轉(zhuǎn)播的影像及聲音的場景。
第2種類是除了由廣播影像攝影機(jī)構(gòu)IOlb取得的影像及聲音以外還在影像中疊加了表示重要信息的消息圖像的種類。作為一例，是在通常的足球賽轉(zhuǎn)播的場景中疊加了表示緊急通知的消息圖像的場景。
第3種類是僅由廣告的影像及聲音構(gòu)成的場景。
設(shè)定信息對(duì)應(yīng)于第I種類而包括疊加標(biāo)志“O”。此外，對(duì)應(yīng)于第2種類而包括疊加標(biāo)志“I”。進(jìn)而，對(duì)應(yīng)于第3種類而包括疊加標(biāo)志“2”。
疊加標(biāo)志“O”表不許可包含在對(duì)應(yīng)的第I種類的場景中的聲音的向附加聲音的置換、或者包含在該場景中的聲音及附加聲音的合成。這里，在將包含在該場景中的聲音及附加聲音合成的情況下,將附加聲音的混合系數(shù)許可為100%以內(nèi)。換言之，將附加聲音的比例許可為100%以內(nèi)。
疊加標(biāo)志“I”對(duì)于對(duì)應(yīng)的第2種類的場景禁止向附加聲音的置換?；蛘?，在將包含在該場景中的聲音及附加聲音合成的情況下，將附加聲音的合成的混合系數(shù)許可為50%以內(nèi)。換言之，將附加聲音的比例許可為50%以內(nèi)。
疊加標(biāo)志“2”表示對(duì)于對(duì)應(yīng)的第3種類的場景禁止向附加聲音的置換或附加聲音的合成。
(2)聲音合成設(shè)定數(shù)據(jù)緩沖器IlOb
聲音合成設(shè)定數(shù)據(jù)緩沖器IlOb作為一例由硬盤單元構(gòu)成。聲音合成設(shè)定數(shù)據(jù)緩沖器IlOb具備用來存儲(chǔ)聲音合成設(shè)定數(shù)據(jù)的區(qū)域。
聲音合成設(shè)定數(shù)據(jù)如后述那樣，對(duì)于構(gòu)成影像及聲音的各場景包括置換標(biāo)志及合成設(shè)定信息。
置換標(biāo)志表不對(duì)于包含在各場景中的聲音，禁止向附加聲音的置換的或許可向附加聲音的置換。
合成設(shè)定信息在將包含在各場景中的聲音及附加聲音合成的情況下，表不附加聲音的合成的混合系數(shù)。換言之，表示附加聲音的比例。例如，在混合系數(shù)是到100%以內(nèi)的情況下，在將包含在該場景中的聲音及附加聲音合成的情況下，將附加聲音的混合系數(shù)許可為100%以內(nèi)。此外，在混合系數(shù)是50%以內(nèi)的情況下，在將包含在該場景中的聲音及附加聲音合成的情況下，將附加聲音的混合系數(shù)許可為50%以內(nèi)。進(jìn)而，在混合系數(shù)是0%的情況下，禁止將包含在該場景中的聲音及附加聲音合成。(3)聲音合成設(shè)定數(shù)據(jù)生成機(jī)構(gòu)10%聲音合成設(shè)定數(shù)據(jù)生成機(jī)構(gòu)109b如以下所示這樣，對(duì)由編輯機(jī)構(gòu)103b生成的聲音數(shù)據(jù)生成聲音合成設(shè)定數(shù)據(jù)。聲音合成設(shè)定數(shù)據(jù)生成機(jī)構(gòu)109b從設(shè)定信息緩沖器108b讀出設(shè)定信息。接著，判斷構(gòu)成接受到的影像及聲音的各場景是第I種類、第2種類及第3種類的哪種。接著，從設(shè)定信息中提取與該場景的種類對(duì)應(yīng)的疊加標(biāo)志。接著，按照所提取的疊加標(biāo)志，對(duì)該場景生成聲音合成設(shè)定數(shù)據(jù)。具體而言，在疊加標(biāo)志是“0”的情況下，聲音合成設(shè)定數(shù)據(jù)生成機(jī)構(gòu)109b對(duì)于該場景生成由置換標(biāo)志及合成設(shè)定信息構(gòu)成的聲音合成設(shè)定數(shù)據(jù)。這里，置換標(biāo)志表示許可基于附加聲音的置換。此外，合成設(shè)定信息表示將混合系數(shù)許可為100%以內(nèi)。在疊加標(biāo)志是“I”的情況下，聲音合成設(shè)定數(shù)據(jù)生成機(jī)構(gòu)10%對(duì)于該場景生成由置換標(biāo)志及合成設(shè)定信息構(gòu)成的聲音合成設(shè)定數(shù)據(jù)。這里，置換標(biāo)志表示禁止基于附加聲音的置換。此外，合成設(shè)定信息表示將混合系數(shù)許可為50%以內(nèi)。在疊加標(biāo)志是“2”的情況下，聲音合成設(shè)定數(shù)據(jù)生成機(jī)構(gòu)10%對(duì)于該場景生成由置換標(biāo)志及合成設(shè)定信息構(gòu)成的聲音合成設(shè)定數(shù)據(jù)。這里，置換標(biāo)志表示禁止基于附加聲音的置換。此外，合成設(shè)定信息表示合成的禁止。接著，將所生成的疊加區(qū)域設(shè)定數(shù)據(jù)向疊加區(qū)域設(shè)定數(shù)據(jù)緩沖器IlOa寫入。在圖36中表不聲音合成方法的設(shè)定內(nèi)容的一例。圖36 (a)表不再現(xiàn)時(shí)間軸上的場景的轉(zhuǎn)變。對(duì)圖36 (a)所示的各場景中的聲音合成設(shè)定數(shù)據(jù)的例子進(jìn)行說明。區(qū)間681的場景671是通常的足球賽轉(zhuǎn)播的場景。此外，區(qū)間682的場景673是在足球賽轉(zhuǎn)播中放入了表示緊急通知的消息圖像的場景。進(jìn)而，區(qū)間683的場景676是CM的場景。聲音合成設(shè)定數(shù)據(jù)如上述那樣，包括表示許可還是禁止聲音的置換的置換標(biāo)志。例如，關(guān)于區(qū)間681,置換標(biāo)志被設(shè)定為許可684g。另一方面,在區(qū)間682及683中，置換標(biāo)志分別被設(shè)定為禁止685g、687g。此外，在聲音合成設(shè)定數(shù)據(jù)中，如上述那樣，包含有表示許可還是禁止聲音的合成、許可的情況下的混合系數(shù)的上限的“合成設(shè)定信息”。在圖36所示的情況下，在區(qū)間681的場景671中，表示許可聲音合成，能夠?qū)⒏郊勇曇舻谋壤岣叩?00%。此外，在區(qū)間682的場景673中，表示雖然許可聲音合成，但限制為能夠?qū)⒏郊勇曇舻谋壤岣叩?0%以內(nèi)。進(jìn)而，在區(qū)間683的場景676中，表示禁止聲音合成。(4)廣播流生成機(jī)構(gòu)104b廣播流生成機(jī)構(gòu)104b將由編輯機(jī)構(gòu)103b編輯后的影像及聲音的內(nèi)容變換為作為用來在廣播波中播放的格式的廣播流。接著，將廣播流向廣播流緩沖器105b寫入。
此時(shí)，廣播流生成機(jī)構(gòu)104b基于由編輯機(jī)構(gòu)103b生成的影像及聲音的內(nèi)容生成廣播流。此外，從聲音合成設(shè)定數(shù)據(jù)緩沖器IlOb將聲音合成設(shè)定數(shù)據(jù)讀出，將所讀出的聲音合成設(shè)定數(shù)據(jù)嵌入到廣播流中。將聲音合成設(shè)定數(shù)據(jù)保存到廣播流中復(fù)用的視頻流、音頻流、PMT或SIT等的描述符中。在保存在視頻流中的情況下，也可以保存在各幀的補(bǔ)充數(shù)據(jù)等中。此外，也可以是，將聲音合成設(shè)定數(shù)據(jù)僅保存到GOP的開頭的訪問單元中，使該聲音合成設(shè)定數(shù)據(jù)在下個(gè)GOP的開頭以內(nèi)為有效。在將聲音合成設(shè)定數(shù)據(jù)保存在音頻流中的情況下，將聲音合成設(shè)定數(shù)據(jù)保存在用戶數(shù)據(jù)區(qū)域中。在將聲音合成設(shè)定數(shù)據(jù)保存在描述符中的情況下，也可以將對(duì)應(yīng)的聲音合成設(shè)定數(shù)據(jù)與有效的區(qū)間的開始時(shí)刻的PTS及結(jié)束時(shí)刻的PTS等的時(shí)刻信息一起記錄。另外，也可以構(gòu)成為，將聲音合成設(shè)定數(shù)據(jù)作為另外的流，分配PID并復(fù)用。3.2通信服務(wù)提供系統(tǒng)300b通信服務(wù)提供系統(tǒng)300b如圖35所示，由聲音數(shù)據(jù)生成機(jī)構(gòu)301b、聲音數(shù)據(jù)緩沖器302b及發(fā)送機(jī)構(gòu)303b構(gòu)成。聲音數(shù)據(jù)生成機(jī)構(gòu)301b將聲音數(shù)據(jù)變換為例如AC3、AAC或MP3等的聲音格式，生成聲音數(shù)據(jù)。接著，將所生成的聲音數(shù)據(jù)向聲音數(shù)據(jù)緩沖器302b寫入。發(fā)送機(jī)構(gòu)303b從聲音數(shù)據(jù)緩沖器302b將聲音數(shù)據(jù)讀出。接著，將所讀出的聲音數(shù)據(jù)經(jīng)由網(wǎng)絡(luò)20b對(duì)設(shè)置在各家庭中的再現(xiàn)裝置400b發(fā)送。3.3 再現(xiàn)裝置 400b再現(xiàn)裝置400b如圖35所示，由調(diào)諧器401b、廣播流解碼機(jī)構(gòu)402b、廣播數(shù)據(jù)緩沖器403b、聲音合成設(shè)定數(shù)據(jù)緩沖器404b、第一設(shè)定機(jī)構(gòu)405b、第二設(shè)定機(jī)構(gòu)406b、合成機(jī)構(gòu)407b、顯示機(jī)構(gòu)408b、NIC409b、IP聲音解碼機(jī)構(gòu)410b、IP非壓縮聲音緩沖器411b及揚(yáng)聲器412b構(gòu)成。在調(diào)諧器401b上連接著天線420b。再現(xiàn)裝置400b具有與再現(xiàn)裝置400a類似的結(jié)構(gòu)。天線420b、調(diào)諧器401b、廣播流解碼機(jī)構(gòu)402b、廣播數(shù)據(jù)緩沖器403b、顯示機(jī)構(gòu)408b、NIC409b分別具有與再現(xiàn)裝置400a的天線420a、調(diào)諧器401a、廣播流解碼機(jī)構(gòu)402a、廣播數(shù)據(jù)緩沖器403a、顯示機(jī)構(gòu)408a及NIC409a同樣的結(jié)構(gòu)，所以將關(guān)于它們的說明省略。這里，以與再現(xiàn)裝置400a的不同點(diǎn)為中心進(jìn)行說明。( I)緩沖器廣播數(shù)據(jù)緩沖器403b作為一例由半導(dǎo)體存儲(chǔ)器構(gòu)成。廣播數(shù)據(jù)緩沖器403b具備用來存儲(chǔ)由廣播流解碼機(jī)構(gòu)402b解碼后的影像平面的區(qū)域。此外，具備用來存儲(chǔ)由廣播流解碼機(jī)構(gòu)402b解碼后的廣播非壓縮聲音的區(qū)域。聲音合成設(shè)定數(shù)據(jù)緩沖器404b作為一例由半導(dǎo)體存儲(chǔ)器構(gòu)成。聲音合成設(shè)定數(shù)據(jù)緩沖器404b具備用來存儲(chǔ)聲音合成設(shè)定數(shù)據(jù)的區(qū)域。IP非壓縮聲音緩沖器411b作為一例由半導(dǎo)體存儲(chǔ)器構(gòu)成。IP非壓縮聲音緩沖器411b具備用來存儲(chǔ)IP非壓縮聲音的區(qū)域。(2 )廣播流解碼機(jī)構(gòu)402b廣播流解碼機(jī)構(gòu)402b從調(diào)諧器401b接受廣播流。接著，將廣播流解碼，在PTS的定時(shí)對(duì)影像平面進(jìn)行分離，將影像平面向廣播數(shù)據(jù)緩沖器403b寫入。此外，對(duì)廣播非壓縮聲音進(jìn)行分離，將廣播非壓縮聲音向廣播數(shù)據(jù)緩沖器403b寫入。進(jìn)而，對(duì)聲音合成設(shè)定數(shù)據(jù)進(jìn)行分離，將聲音合成設(shè)定數(shù)據(jù)向聲音合成設(shè)定數(shù)據(jù)緩沖器404b寫入。
(3) IP聲音解碼機(jī)構(gòu)410b
IP聲音解碼機(jī)構(gòu)410b從通信服務(wù)提供系統(tǒng)300b經(jīng)由網(wǎng)絡(luò)20b及NIC409b接收聲音數(shù)據(jù)及IP合成指示信息。接著，將接收到的聲音數(shù)據(jù)解碼，生成IP非壓縮聲音，將所生成的IP非壓縮聲音向IP非壓縮聲音緩沖器411b寫入。
這里，IP合成指不信息表不IP非壓縮聲音與廣播非壓縮聲音的合成方法。換言之，表示將IP非壓縮聲音與廣播非壓縮聲音怎樣合成。合成方法例如是原樣使用從廣播波接收到的廣播非壓縮聲音、原樣使用經(jīng)由網(wǎng)絡(luò)接收到的IP非壓縮聲音、將廣播非壓縮聲音和IP非壓縮聲音各50%混合而再現(xiàn)等。
IP合成指示信息包括置換標(biāo)志及合成設(shè)定信息。置換標(biāo)志及合成設(shè)定信息分別與包含在聲音合成設(shè)定數(shù)據(jù)中的置換標(biāo)志及合成設(shè)定信息相同。
此外，IP聲音解碼機(jī)構(gòu)410b將聲音的IP合成指不信息對(duì)第一設(shè)定機(jī)構(gòu)405b輸出。例如，使用應(yīng)用的API等將IP合成指示信息輸出。
另外，IP合成指示信息也可以嵌入到從通信服務(wù)提供系統(tǒng)300b接收的聲音數(shù)據(jù)中。在此情況下，IP聲音解碼機(jī)構(gòu)410b從聲音數(shù)據(jù)提取IP合成指示信息。
(5)第一設(shè)定機(jī)構(gòu)405b
第一設(shè)定機(jī)構(gòu)405b從IP聲音解碼機(jī)構(gòu)410b接受IP合成指示信息。如果接受到IP合成指示信息，則將接受到的IP合成指示信息向第二設(shè)定機(jī)構(gòu)406b輸出。
(6)第二設(shè)定機(jī)構(gòu)406b
第二設(shè)定機(jī)構(gòu)406b從第一設(shè)定機(jī)構(gòu)405b接受IP合成指示信息。
此外，第二設(shè)定機(jī)構(gòu)406b從聲音合成設(shè)定數(shù)據(jù)緩沖器404b將聲音合成設(shè)定數(shù)據(jù)讀出。接著，從所讀出的聲音合成設(shè)定數(shù)據(jù)中提取與廣播非壓縮聲音的PTS對(duì)應(yīng)的聲音合成的指示。
接著，第二設(shè)定機(jī)構(gòu)406b使從聲音合成設(shè)定數(shù)據(jù)提取出的聲音合成的指示比從第一設(shè)定機(jī)構(gòu)405b接受到的IP合成指示信息優(yōu)先地決定聲音合成的指示。
接著,第二設(shè)定機(jī)構(gòu)406b將聲音合成設(shè)定數(shù)據(jù)或IP合成指示信息對(duì)合成機(jī)構(gòu)407b輸出。
具體而言,如圖36所不，由于關(guān)于區(qū)間681的場景671許可聲音合成或聲音置換，所以第二設(shè)定機(jī)構(gòu)406b將從第一設(shè)定機(jī)構(gòu)405b接受到的IP合成指不信息原樣向合成機(jī)構(gòu)407b輸出。
此外，關(guān)于區(qū)間682的場景673禁止聲音置換，將聲音合成許可為50%以內(nèi)。因此，在由從第一設(shè)定機(jī)構(gòu)405b接受到的IP合成指示信息所表示的合成方法是“置換”的情況下，對(duì)合成機(jī)構(gòu)407b輸出聲音合成設(shè)定數(shù)據(jù)，以禁止置換而原樣使用廣播非壓縮聲音?；蛘?，對(duì)合成機(jī)構(gòu)407b輸出聲音合成設(shè)定數(shù)據(jù)，以將廣播非壓縮聲音與IP非壓縮聲音合成，使IP非壓縮聲音的比例為50%以下。
進(jìn)而，關(guān)于區(qū)間683的場景676，聲音置換及聲音合成的兩者都為禁止。因此，在由從第一設(shè)定機(jī)構(gòu)405b接受到的IP合成指示信息表示的合成方法是“置換”的情況下，對(duì)合成機(jī)構(gòu)407b輸出聲音合成設(shè)定數(shù)據(jù)，以禁止置換而原樣使用廣播非壓縮聲音。
(7)合成機(jī)構(gòu) 407b
合成機(jī)構(gòu)407b從第二設(shè)定機(jī)構(gòu)406b接受聲音合成設(shè)定數(shù)據(jù)或IP合成指示信息。接著，按照接受到的聲音合成設(shè)定數(shù)據(jù)或IP合成指示信息的指示，將聲音的合成方法設(shè)定到內(nèi)部中。
此外，合成機(jī)構(gòu)407b從廣播數(shù)據(jù)緩沖器403b讀出廣播非壓縮聲音。此外，從IP非壓縮聲音緩沖器411b讀出IP非壓縮聲音。
接著，按照設(shè)定的聲音的合成方法，將廣播非壓縮聲音與IP非壓縮聲音混合，生成合成聲音,將所生成的合成聲音對(duì)揚(yáng)聲器412b輸出。
(8)揚(yáng)聲器 412b
揚(yáng)聲器412b從合成機(jī)構(gòu)407b接受合成聲音。將接受到的合成聲音作為聲響輸出。
3.4廣播通信協(xié)作系統(tǒng)IOb的動(dòng)作
對(duì)構(gòu)成廣播通信協(xié)作系統(tǒng)IOb的廣播系統(tǒng)IOOb及再現(xiàn)裝置400b的動(dòng)作進(jìn)行說明。
(I)廣播系統(tǒng)IOOb的動(dòng)作
廣播系統(tǒng)IOOb的動(dòng)作與圖20所示的廣播系統(tǒng)IOOa的動(dòng)作類似。不同點(diǎn)如以下這樣。
在廣播系統(tǒng)IOOa中，在圖20所示的流程圖的步驟S112中，疊加區(qū)域設(shè)定機(jī)構(gòu)109a生成疊加區(qū)域設(shè)定數(shù)據(jù)。
相對(duì)于此，在廣播系統(tǒng)IOOb中，在圖20所示的流程圖的步驟SI 12中，聲音合成設(shè)定數(shù)據(jù)生成機(jī)構(gòu)10%生成聲音合成設(shè)定數(shù)據(jù)。
接著，使用圖37所示的流程圖對(duì)聲音合成設(shè)定數(shù)據(jù)的生成的步驟進(jìn)行說明。
聲音合成設(shè)定數(shù)據(jù)生成機(jī)構(gòu)10%從設(shè)定信息緩沖器108b將設(shè)定信息讀出(步驟S121a)。接著，按照廣播影像數(shù)據(jù)的每個(gè)場景重復(fù)以下的步驟S123a S128a(步驟S122a S129a)。
聲音合成設(shè)定數(shù)據(jù)生成機(jī)構(gòu)10%提取廣播影像數(shù)據(jù)的場景的種類(步驟S123a)。接著，判斷所提取的場景的種類(步驟S124a)。
在是第I種類的情況下(步驟S124a中“第1”)，生成由表示許可的置換標(biāo)志和表示許可的合成設(shè)定信息構(gòu)成的聲音合成設(shè)定數(shù)據(jù)(步驟S125a)。在是第2種類的情況下(步驟S124a中“第2”)，生成由表示禁止的置換標(biāo)志和表示許可的合成設(shè)定信息構(gòu)成的聲音合成設(shè)定數(shù)據(jù)。此時(shí)，合成設(shè)定信息包括表示合成的比例是50%以下的信息(步驟S126a)。在是第3種類的情況下(步驟S124a中“第3”)，生成由表示禁止的置換標(biāo)志和表示禁止的合成設(shè)定信息構(gòu)成的聲音合成設(shè)定數(shù)據(jù)(步驟S127a)。接著，將所生成的聲音合成設(shè)定數(shù)據(jù)向聲音合成設(shè)定數(shù)據(jù)緩沖器IlOb寫入(步驟S124a)。
(2)再現(xiàn)裝置400b的動(dòng)作
使用圖38所示的序列圖對(duì)再現(xiàn)裝置400b的動(dòng)作進(jìn)行說明。
天線420b反復(fù)接收廣播波，調(diào)諧器401b從廣播波中選擇廣播流，反復(fù)解調(diào)(步驟S131a)。
廣播流解碼機(jī)構(gòu)402b從廣播流中分離對(duì)應(yīng)的流，反復(fù)分離影像平面、廣播非壓縮聲音及聲音合成設(shè)定數(shù)據(jù)(步驟S132a)。廣播流解碼機(jī)構(gòu)402a反復(fù)將影像平面及廣播非壓縮聲音向廣播數(shù)據(jù)緩沖器403b寫入(步驟S133a)。廣播流解碼機(jī)構(gòu)402a反復(fù)將聲音合成設(shè)定數(shù)據(jù)向聲音合成設(shè)定數(shù)據(jù)緩沖器404b寫入(步驟S135a)。NIC409a從通信服務(wù)提供系統(tǒng)300a經(jīng)由網(wǎng)絡(luò)20a接收聲音數(shù)據(jù)及IP合成指示信息(步驟S137a)。IP聲音解碼機(jī)構(gòu)410b根據(jù)聲音數(shù)據(jù)生成IP非壓縮聲音(步驟S138a)。第二設(shè)定機(jī)構(gòu)406b將存儲(chǔ)在聲音合成設(shè)定數(shù)據(jù)緩沖器404b中的聲音合成設(shè)定數(shù)據(jù)讀出(步驟S136a)。接著，第一設(shè)定機(jī)構(gòu)405b將IP合成指示信息向第二設(shè)定機(jī)構(gòu)406b輸出，第二設(shè)定機(jī)構(gòu)406b在合成機(jī)構(gòu)407b中設(shè)定聲音的合成方法(步驟S139a)。接著，合成機(jī)構(gòu)407a從廣播數(shù)據(jù)緩沖器403a反復(fù)讀出影像平面及廣播非壓縮聲音(步驟S134a)。接著，反復(fù)將廣播非壓縮聲音與IP非壓縮聲音合成而生成合成聲音(步驟S140a)。顯示機(jī)構(gòu)408a反復(fù)顯示影像平面，揚(yáng)聲器412b反復(fù)將合成聲音輸出(步驟S141a)。(3)由再現(xiàn)裝置400b進(jìn)行的聲音的合成的動(dòng)作使用圖39所示的流程圖說明由再現(xiàn)裝置400b進(jìn)行的聲音的合成的動(dòng)作。另外，該步驟是圖38所示的步驟S140a的詳細(xì)情況。合成機(jī)構(gòu)407b按照區(qū)間的每個(gè)場景反復(fù)進(jìn)行以下的步驟S201 S206 (步驟S200 S207)。合成機(jī)構(gòu)407b將包含在聲音合成設(shè)定數(shù)據(jù)中的置換標(biāo)志讀出(步驟S201)。判斷所讀出的置換標(biāo)志表示許可還是表示禁止(步驟S202)。在所讀出的置換標(biāo)志表示許可的情況下(步驟S202中“許可”)，合成機(jī)構(gòu)407b將IP非壓縮聲音輸出(步驟S203)。在所讀出的置換標(biāo)志表示禁止的情況下(步驟S202中“禁止”)，合成機(jī)構(gòu)407b判斷合成設(shè)定信息表示許可還是表示禁止(步驟S204)。在合成設(shè)定信息表示許可的情況下(步驟S204中“許可”)，按照包含在合成設(shè)定信息中的比例，將IP非壓縮聲音與廣播非壓縮聲音合成并輸出(步驟S205)。在合成設(shè)定信息表示禁止的情況下(步驟S204中“禁止”)，將廣播非壓縮聲音輸出(步驟S206)。3.5 總結(jié)如上述那樣，從通信服務(wù)業(yè)者經(jīng)由網(wǎng)絡(luò)提供IP聲音。在此情況下，再現(xiàn)裝置能夠?qū)⒂蓮V播接收到的廣播聲音和經(jīng)由網(wǎng)絡(luò)接收到的IP聲音切換而輸出。此外，能夠?qū)V播聲音與IP聲音合成而輸出。例如，通信服務(wù)業(yè)者對(duì)于廣播的足球賽轉(zhuǎn)播將獨(dú)自的解說聲音經(jīng)由網(wǎng)絡(luò)作為IP聲音分發(fā)。在此情況下，再現(xiàn)裝置能夠在通常的足球賽轉(zhuǎn)播時(shí)輸出解說聲音，在球員米訪時(shí)輸出廣播聲音。但是，作為廣播站，有對(duì)于緊急廣播的聲音或CM聲音合成IP聲音的問題。
廣播通信協(xié)作系統(tǒng)IOb解決了這樣的問題。在廣播通信協(xié)作系統(tǒng)IOb中，作為廣播站，能夠?qū)Σ幌牒铣苫蛑脫Q的緊急廣播的聲音或CM聲音控制IP聲音的合成處理。4.實(shí)施方式4參照附圖，對(duì)作為本發(fā)明的實(shí)施方式4的廣播通信協(xié)作系統(tǒng)IOc進(jìn)行說明。如在背景技術(shù)中說明那樣，在提出了各種服務(wù)的狀況下，還希望提供將廣播與通信協(xié)作的新的服務(wù)。廣播通信協(xié)作系統(tǒng)IOc為了應(yīng)對(duì)上述希望，目的是提供一種將廣播與通信協(xié)作的新的服務(wù)。根據(jù)廣播通信協(xié)作系統(tǒng)10c，如以下說明那樣，能夠提供將廣播與通信協(xié)作的新的服務(wù)。( I)廣播通信協(xié)作系統(tǒng)IOc廣播通信協(xié)作系統(tǒng)IOc如圖40所示，由廣播裝置100c、疊加數(shù)據(jù)生成裝置300c、疊加數(shù)據(jù)提供裝置500c及接收裝置400c構(gòu)成。廣播裝置IOOc具備將包括通過使用攝像機(jī)的攝像得到的影像幀圖像的廣播數(shù)據(jù)作為廣播波發(fā)送的發(fā)送機(jī)構(gòu)。疊加數(shù)據(jù)生成裝置300c生成作為向影像幀圖像疊加的疊加幀圖像的基礎(chǔ)的疊加數(shù)據(jù)。疊加數(shù)據(jù)生成裝置300c具備:圖像取得部301c，取得影像幀圖像；確定部302c，確定包含在上述影像幀圖像中的主對(duì)象；計(jì)算部303c，計(jì)算上述主對(duì)象在上述影像幀圖像內(nèi)的位置；信息取得部304c，取得有關(guān)所確定的上述主對(duì)象的對(duì)象信息；生成部306c，基于計(jì)算出的上述位置，決定應(yīng)配置表示上述對(duì)象信息的輔助圖像的配置位置，生成由上述對(duì)象信息和表示上述配置位置的配置位置信息構(gòu)成的疊加數(shù)據(jù)。疊加數(shù)據(jù)提供裝置500c具備從疊加數(shù)據(jù)生成裝置300c取得上述疊加數(shù)據(jù)、將所取得的上述疊加數(shù)據(jù)經(jīng)由網(wǎng)絡(luò)發(fā)送的發(fā)送機(jī)構(gòu)。接收裝置400c將影像幀圖像與疊加幀圖像合成。接收裝置400c具備:接收部401c，接收包括上述影像幀圖像的上述廣播數(shù)據(jù)；分離部402c，從上述廣播數(shù)據(jù)中分離上述影像幀圖像；取得部403c，取得由有關(guān)包含在上述影像幀圖像中的對(duì)象的對(duì)象信息和表示上述對(duì)象在上述幀圖像內(nèi)的位置的附近的位置的位置信息構(gòu)成的疊加數(shù)據(jù)；生成部404c，生成表示上述對(duì)象信息的輔助圖像，在與上述影像幀圖像對(duì)應(yīng)的幀圖像中，在由上述位置信息表示的位置上配置上述輔助圖像，生成上述疊加幀圖像；合成部405c，將上述影像幀圖像與上述疊加幀圖像合成，生成合成幀圖像。根據(jù)該形態(tài)，在將影像幀圖像再現(xiàn)時(shí)，能夠生成包括應(yīng)配置上述輔助圖像的配置位置的疊加數(shù)據(jù)，以便能夠與主對(duì)象一起將表示有關(guān)主對(duì)象的對(duì)象信息的輔助圖像再現(xiàn)。此外，通過與主對(duì)象一起合成表示有關(guān)主對(duì)象的對(duì)象信息的輔助圖像，當(dāng)將影像幀圖像再現(xiàn)時(shí)，能夠向視聽者提供有關(guān)主對(duì)象的對(duì)象信息。(2)這里，生成部306c也可以決定上述配置位置，以使上述輔助圖像不與上述影像幀圖像內(nèi)的上述主對(duì)象重疊。根據(jù)該形態(tài)，當(dāng)將影像幀圖像再現(xiàn)時(shí)，決定配置位置以使上述輔助圖像不與主對(duì)象重疊，所以能夠生成疊加數(shù)據(jù)以防止不能視覺辨識(shí)主對(duì)象那樣的狀況。
(3)這里，也可以是，生成部306c還將根據(jù)上述影像幀圖像確定的多個(gè)主對(duì)象分類為多個(gè)組，生成部306c按照每個(gè)組切換上述配置位置的決定方法。
根據(jù)該形態(tài)，通過按照每個(gè)組切換配置位置的決定方法，能夠生成疊加數(shù)據(jù)，以使得當(dāng)將影像幀圖像再現(xiàn)時(shí)能夠?qū)⒔M區(qū)別開來。
(4)這里，也可以是，在根據(jù)上述影像幀圖像確定的多個(gè)主對(duì)象被分類為兩個(gè)組的情況下，生成部306c對(duì)屬于第I組的主對(duì)象，從各主對(duì)象觀察時(shí)，將上述配置位置決定為第I方向，對(duì)屬于第2組的主對(duì)象，從各主對(duì)象觀察時(shí)，將上述配置位置決定為與上述第I方向相反的第2方向。
根據(jù)該形態(tài)，能夠?qū)蓚€(gè)組生成疊加數(shù)據(jù)，以使得在將影像幀圖像再現(xiàn)時(shí)能夠?qū)⒔M區(qū)別開來。
(5)這里，也可以是，信息取得部304c從所取得的對(duì)象信息中提取有關(guān)被攝體的屬性信息，生成部306c根據(jù)提取出的屬性信息決定應(yīng)對(duì)上述輔助圖像添加的背景色，將所決定的背景色包含到上述疊加數(shù)據(jù)中。
根據(jù)該形態(tài)，能夠生成包含上述背景色的疊加數(shù)據(jù)，以使得在將影像幀圖像再現(xiàn)時(shí)能夠通過所決定的背景色來區(qū)別輔助圖像。
(6)這里，也可以是，確定部302c還從上述影像幀圖像中提取表示I個(gè)核心被攝體的核心對(duì)象，計(jì)算部303c還計(jì)算上述核心對(duì)象在上述影像巾貞圖像內(nèi)的位置,生成部306c決定上述輔助圖像的上述配置位置，以使其不與計(jì)算出的核心對(duì)象的位置重疊。
根據(jù)該形態(tài)，能夠生成疊加數(shù)據(jù)，以使得在將影像幀圖像再現(xiàn)時(shí)核心對(duì)象與輔助圖像不重疊。
(7)這里，也可以是，生成部306c決定上述配置位置，以將上述輔助圖像配置為與從主對(duì)象向核心對(duì)象的方向相反的方向。
根據(jù)該形態(tài)，能夠生成疊加數(shù)據(jù)，以使得在將影像幀圖像再現(xiàn)時(shí)核心對(duì)象與輔助圖像不重疊。
(8)這里，也可以是，生成部306c還從多個(gè)主對(duì)象中提取關(guān)注對(duì)象，生成部306c對(duì)上述關(guān)注對(duì)象生成表示上述輔助圖像的強(qiáng)調(diào)的強(qiáng)調(diào)信息，將所生成的強(qiáng)調(diào)信息包含在上述疊加數(shù)據(jù)中。
根據(jù)該形態(tài)，能夠生成疊加數(shù)據(jù)，以使得在將影像幀圖像再現(xiàn)時(shí)能夠?qū)㈥P(guān)注對(duì)象加以強(qiáng)調(diào)。
(9)這里，也可以是，生成部306c對(duì)于上述關(guān)注對(duì)象，生成指示將上述輔助圖像描繪得比其他輔助圖像大或明亮的指示信息，將所生成的指示信息包含在上述疊加數(shù)據(jù)中。
根據(jù)該形態(tài)，能夠生成疊加數(shù)據(jù)，以使得在將影像幀圖像再現(xiàn)時(shí)能夠?qū)㈥P(guān)注對(duì)象加以強(qiáng)調(diào)。
(10)這里，也可以是，確定部302c還根據(jù)上述影像幀圖像確定表示I個(gè)核心被攝體的核心對(duì)象，將存在于與提取出的核心對(duì)象最接近的位置的主對(duì)象作為上述關(guān)注對(duì)象。
根據(jù)該形態(tài)，能夠生成疊加數(shù)據(jù)，以使得在將影像幀圖像再現(xiàn)時(shí)能夠?qū)⒋嬖谟谂c核心對(duì)象最接近的位置的關(guān)注對(duì)象加以強(qiáng)調(diào)。
( 11)這里，也可以是，上述疊加數(shù)據(jù)生成裝置還包括:數(shù)據(jù)取得部，取得表示關(guān)于上述影像幀圖像運(yùn)動(dòng)的解說的解說數(shù)據(jù)或字幕的字幕數(shù)據(jù)；識(shí)別信息提取部，從上述解說數(shù)據(jù)或上述字幕數(shù)據(jù)中提取表示主被攝體的識(shí)別信息；確定部302c確定有關(guān)提取出的識(shí)別信息的主被攝體的主對(duì)象作為上述關(guān)注對(duì)象。根據(jù)該形態(tài)，能夠生成疊加數(shù)據(jù)，以使得在將影像幀圖像再現(xiàn)時(shí)能夠?qū)⒃诮庹f數(shù)據(jù)或字幕數(shù)據(jù)中表示的關(guān)注對(duì)象加以強(qiáng)調(diào)。5.實(shí)施方式5參照附圖對(duì)作為本發(fā)明的實(shí)施方式5的廣播通信協(xié)作系統(tǒng)IOd進(jìn)行說明。如在背景技術(shù)中說明那樣，在提出了各種服務(wù)的狀況下，還希望提供將廣播與通信協(xié)作的新的服務(wù)。廣播通信協(xié)作系統(tǒng)IOd為了應(yīng)對(duì)上述希望，目的是提供將廣播與通信協(xié)作的新的服務(wù)。根據(jù)廣播通信協(xié)作系統(tǒng)10d，如以下說明那樣，能夠提供將廣播與通信協(xié)作的新的服務(wù)。廣播通信協(xié)作系統(tǒng)IOd提供對(duì)于廣播波的影像的附加信息的疊加服務(wù)。例如，在足球賽等的體育轉(zhuǎn)播中，一邊追隨于在影像中運(yùn)動(dòng)的選手的圖像，一邊對(duì)選手的圖像疊加附加信息。另外，有時(shí)也將選手的圖像稱作選手圖像。此外，有時(shí)也將選手的圖像稱作主對(duì)象。廣播通信協(xié)作系統(tǒng)IOd如圖41所示，由廣播系統(tǒng)IOOd及再現(xiàn)裝置400d構(gòu)成。使用圖42對(duì)在廣播通信協(xié)作系統(tǒng)IOd中提供的服務(wù)進(jìn)行說明。在該圖中，表示足球賽轉(zhuǎn)播的廣播影像中的影像 平面901及911。影像平面911是從影像平面901起I秒左右之后的影像平面。在影像平面901中，包含有表示球的球圖像905及表示選手的選手圖像902，903，904，…。在選手圖像902的附近，配置有標(biāo)簽圖像902a。在標(biāo)簽圖像902a中，顯示有由選手圖像902表示的選手的姓名。關(guān)于選手圖像903，904，…，也與選手圖像902同樣，在其附近配置有標(biāo)簽圖像903a，904a，…。在標(biāo)簽圖像903a，904a，…中，顯示有各個(gè)選手的姓名。這里，有時(shí)將標(biāo)簽圖像稱作輔助圖像。此外，有時(shí)也將球圖像稱作核心對(duì)象。在影像平面911中，與影像平面901同樣，包含有表示球的球圖像915及表示選手的選手圖像912，913，914，…。此外，在選手圖像912，913，914，…的附近，分別配置有標(biāo)簽圖像 912a，913a，914a，…。這樣，在廣播通信協(xié)作系統(tǒng)IOd中提供的服務(wù)中，使各標(biāo)簽圖像追隨于廣播影像中的選手圖像的運(yùn)動(dòng)而移動(dòng)，在各個(gè)影像平面中，在選手圖像的附近配置有標(biāo)簽圖像。通過這樣追隨于選手的圖像而配置表示姓名等的標(biāo)簽信息的標(biāo)簽圖像，體育轉(zhuǎn)播變得容易理解。5.1 廣播系統(tǒng) IOOd廣播系統(tǒng)IOOd如圖41所示，由廣播影像攝影機(jī)構(gòu)101d、廣播原畫影像緩沖器102d、攝像機(jī)信息緩沖器103d、廣播流生成機(jī)構(gòu)104d、廣播流緩沖器105d、發(fā)送機(jī)構(gòu)106d、天線107d、信息取得機(jī)構(gòu)108d、比賽信息緩沖器109d、關(guān)聯(lián)信息緩沖器110d、疊加數(shù)據(jù)生成機(jī)構(gòu)11 IcU疊加數(shù)據(jù)緩沖器112d及發(fā)送機(jī)構(gòu)113d構(gòu)成。( I)廣播影像攝影機(jī)構(gòu)IOld
廣播影像攝影機(jī)構(gòu)IOld作為一例是視頻攝錄機(jī)。廣播影像攝影機(jī)構(gòu)IOld拍攝被攝體而記錄影像、記錄聲音。此外，具備GPS及陀螺儀傳感器，檢測攝像機(jī)的位置、視場角、朝向、變焦量等的攝像機(jī)信息，將檢測到的攝像機(jī)信息輸出。進(jìn)而，將影像及聲音向廣播原畫影像緩沖器102d寫入，將攝像機(jī)信息向攝像機(jī)信息緩沖器103d寫入。此外，將影像、聲音及攝像機(jī)信息對(duì)信息取得機(jī)構(gòu)108d輸出。
這里，廣播系統(tǒng)IOOd也可以作為廣播影像攝影機(jī)構(gòu)IOld而包括2臺(tái)以上的視頻攝錄機(jī)。其中I臺(tái)視頻攝錄機(jī)是設(shè)置在俯瞰球場整體的位置的俯瞰攝像機(jī)。俯瞰攝像機(jī)對(duì)球場整體進(jìn)行拍攝。另I臺(tái)攝像機(jī)是用來對(duì)在球場上運(yùn)動(dòng)的選手進(jìn)行拍攝的廣播用攝像機(jī)。廣播系統(tǒng)IOOd也可以還包括許多俯瞰攝像機(jī)及廣播用攝像機(jī)。
(2)廣播流生成機(jī)構(gòu)104d
廣播流生成機(jī)構(gòu)104d與廣播流生成機(jī)構(gòu)104a同樣，將存儲(chǔ)在廣播原畫影像緩沖器102d中的影像及聲音變換為作為用來在廣播波中播放的格式的廣播流。接著，將廣播流向廣播流緩沖器105d寫入。
(3)發(fā)送機(jī)構(gòu) 106d
發(fā)送機(jī)構(gòu)106d與發(fā)送機(jī)構(gòu)106a同樣，從廣播流緩沖器105d將廣播流讀出，將所讀出的廣播流通過天線107d作為廣播波送出。
(4)信息取得機(jī)構(gòu)108d
信息取得機(jī)構(gòu)108d如以下所示這樣，實(shí)時(shí)地取得體育轉(zhuǎn)播上的對(duì)象信息，將所取得的對(duì)象信息輸出。
例如，信息取得機(jī)構(gòu)108d取得球場上的選手及球的位置，將所取得的選手及球的位置輸出。此外，將關(guān)于比賽的選手信息(跑動(dòng)距離、軌跡、比賽時(shí)間、速度、有無被出示黃牌)輸出。
信息取得機(jī)構(gòu)108d保持有數(shù)據(jù)庫。該數(shù)據(jù)庫包括選手信息表、選手圖像表、比賽信息表及球隊(duì)信息表。
選手信息表包含多個(gè)選手信息。多個(gè)選手信息分別與在作為廣播對(duì)象的該比賽中出場的多個(gè)選手對(duì)應(yīng)。各選手信息包括識(shí)別選手的選手ID、選手的姓名、識(shí)別選手所屬的球隊(duì)的球隊(duì)ID、選手的位置、選手的球衣號(hào)碼、選手的興趣、選手的比賽經(jīng)歷、選手的評(píng)論等。
選手圖像表包括多個(gè)選手圖像信息。多個(gè)選手圖像信息與在該比賽中出場的多個(gè)選手對(duì)應(yīng)。各選手圖像信息包括識(shí)別選手的選手ID、選手的臉部照片、選手身穿的隊(duì)服的圖像、選手的球衣號(hào)碼的圖像、選手的體型的圖像等。
比賽信息表包括關(guān)于作為廣播對(duì)象的該比賽的比賽信息。比賽信息包括比賽的開始時(shí)刻、識(shí)別交鋒的兩個(gè)球隊(duì)的球隊(duì)ID、各球隊(duì)的進(jìn)球方向等。
球隊(duì)信息表關(guān)于在作為廣播對(duì)象的該比賽中出場的兩球隊(duì)分別包括球隊(duì)信息。各球隊(duì)信息包括識(shí)別該球隊(duì)的球隊(duì)ID、該球隊(duì)的名稱、識(shí)別屬于該球隊(duì)的選手的選手ID。
信息取得機(jī)構(gòu)108d從數(shù)據(jù)庫中取得選手信息表、比賽信息表及球隊(duì)信息表。接著，將所取得的選手信息表、比賽信息表及球隊(duì)信息表向關(guān)聯(lián)信息緩沖器IlOd寫入。
信息取得機(jī)構(gòu)108d使用通過對(duì)球場整體進(jìn)行拍攝的俯瞰攝像機(jī)所拍攝的2維俯瞰圖像確定球場上的球的位置。接著，將所確定的球的位置作為比賽信息向比賽信息緩沖器109d寫入。
此外，信息取得機(jī)構(gòu)108d進(jìn)行存儲(chǔ)在數(shù)據(jù)庫的選手圖像表中的選手的臉部照片、隊(duì)服、球衣號(hào)碼、體型等的圖像與包含在俯瞰圖像中的部分圖像之間的圖案匹配。接著，在選手圖像表內(nèi)的圖像與俯瞰圖像內(nèi)的部分圖像一致的情況下，取得包含一致的圖像的選手圖像信息內(nèi)的選手ID。這樣，從包含在俯瞰圖像中的選手的圖像中確定選手，取得所確定的選手ID。
接著，信息取得機(jī)構(gòu)108d從選手信息表中取得包含所取得的選手ID的選手信息，將所取得的選手信息向關(guān)聯(lián)信息緩沖器IlOd寫入。
此外，信息取得機(jī)構(gòu)108d如圖43所示，使用由俯瞰攝像機(jī)921生成的2維的俯瞰影像、和俯瞰攝像機(jī)的位置、視場角、朝向、變焦量的攝像機(jī)信息，進(jìn)行透視投影變換的逆處理，確定表示3維實(shí)空間上的各選手的位置的3維位置坐標(biāo)。另外，如果使用多個(gè)俯瞰攝像機(jī)，以4方向等各種各樣的角度進(jìn)行拍攝，用平均值或多數(shù)表決等確定位置，則位置的確定精度變高。
接著，信息取得機(jī)構(gòu)108d取得廣播用攝像機(jī)的位置、視場角、朝向、變焦量的攝像機(jī)信息。接著，對(duì)于表示該選手的位置的3維位置坐標(biāo)進(jìn)行透視投影變換，如圖44所示，確定由廣播攝像機(jī)拍攝的影像平面931中的選手圖像的位置。在影像平面931中顯示有選手圖像932及其他選手圖像。在影像平面931中，選手圖像932的位置作為一例是(1000，200)。這里，(x，y)表示影像平面中的X坐標(biāo)值及y坐標(biāo)值。信息取得機(jī)構(gòu)108d對(duì)于包含在影像平面內(nèi)的全部的選手圖像，確定其位置。
這樣,信息取得機(jī)構(gòu)108d作為一例而生成圖44所示的選手位置表941。選手位置表941包括多個(gè)選手位置信息。多個(gè)選手位置信息分別對(duì)應(yīng)于包含在影像平面931中的多個(gè)選手圖像。各選手位置信息包括選手ID及位置信息。選手ID是識(shí)別由對(duì)應(yīng)的選手圖像所表示的選手的識(shí)別號(hào)碼。位置信息表示影像平面931中的選手圖像的位置。位置信息包括X坐標(biāo)值及I坐標(biāo)值。信息取得機(jī)構(gòu)108d將選手位置表941向比賽信息緩沖器109d寫入。
另外，為了取得表示選手的位置的位置信息，也可以使選手附帶帶有GPS的無線發(fā)送器，根據(jù)GPS信息確定位置信息。無線發(fā)送器也可以嵌入到隊(duì)服或球鞋中。
此外，也可以是如下這樣的結(jié)構(gòu):在裁判員或球上附帶廣域無線發(fā)送器，在選手上附帶較窄的區(qū)域的無線發(fā)送器。裁判員或球上帶著的廣域無線發(fā)送器收集選手的信息，向廣域發(fā)送。
此外，在難以以幀單位計(jì)測選手的位置的情況下，也可以根據(jù)以幾秒單位取得的選手的位置，通過線性插補(bǔ)等的插補(bǔ)方法，計(jì)算幀單位的選手的位置。
(5)疊加數(shù)據(jù)生成機(jī)構(gòu)Illd
疊加數(shù)據(jù)生成機(jī)構(gòu)Illd從比賽信息緩沖器109d讀出選手位置表941。此外，從關(guān)聯(lián)信息緩沖器IlOd讀出選手信息表。
接著，疊加數(shù)據(jù)生成機(jī)構(gòu)Illd從選手位置表941讀出選手ID及位置信息，從選手信息表將與所讀出的選手ID對(duì)應(yīng)的姓名讀出。接著，將所讀出的選手ID、讀出的姓名及讀出的位置信息建立對(duì)應(yīng)，作為標(biāo)簽位置信息向疊加數(shù)據(jù)961寫入。關(guān)于選手位置表941內(nèi)的全部的選手位置信息，反復(fù)進(jìn)行姓名的讀出、和選手ID、姓名及位置信息的寫入。
接著，疊加數(shù)據(jù)生成機(jī)構(gòu)Illd將由包含在疊加數(shù)據(jù)961中的位置信息所表示的選手圖像的位置向左、右、下、上等移動(dòng)，變換為表示標(biāo)簽圖像的位置的位置信息。此時(shí)，滿足以下的條件(a)、(b)及(C)。(a)決定配置標(biāo)簽圖像的位置，以使標(biāo)簽圖像與哪個(gè)選手圖像都不重疊。(b)決定配置標(biāo)簽圖像的位置，以使標(biāo)簽圖像與球圖像不重疊。(c)決定配置標(biāo)簽圖像的位置，以使標(biāo)簽圖像位于由該標(biāo)簽圖像代表的姓名所表示的選手的選手圖像的附近。在圖45中表示這樣生成的疊加數(shù)據(jù)961的一例。疊加數(shù)據(jù)961如圖45所示，包括多個(gè)標(biāo)簽位置信息。多個(gè)標(biāo)簽位置信息分別與在影像平面951中顯示的多個(gè)標(biāo)簽圖像對(duì)應(yīng)。各標(biāo)簽位置信息包括選手ID、姓名及位置信息。選手ID是識(shí)別由對(duì)應(yīng)的選手圖像表示的選手的識(shí)別號(hào)碼。姓名是該選手的姓名。位置信息表示影像平面951上的標(biāo)簽圖像的左上點(diǎn)的位置。位置信息包括X坐標(biāo)值及y坐標(biāo)值。疊加數(shù)據(jù)生成機(jī)構(gòu)Illd對(duì)疊加數(shù)據(jù)961分配PTS，以取得疊加數(shù)據(jù)961與廣播的影像平面的同步。疊加數(shù)據(jù)生成機(jī)構(gòu)Illd將疊加數(shù)據(jù)961向疊加數(shù)據(jù)緩沖器112d寫入。5.2 再現(xiàn)裝置 400d再現(xiàn)裝置400d如圖41所示，由調(diào)諧器401d、廣播流解碼機(jī)構(gòu)402d、廣播數(shù)據(jù)緩沖器403d、合成機(jī)構(gòu)407d、顯示機(jī)構(gòu)408d、NIC409d、疊加機(jī)構(gòu)410d及疊加平面緩沖器411d構(gòu)成。在調(diào)諧器401d上連接著天線420d。再現(xiàn)裝置400d具有與再現(xiàn)裝置400a類似的結(jié)構(gòu)。天線420d、調(diào)諧器401d、廣播數(shù)據(jù)緩沖器403d、顯示機(jī)構(gòu)408d、NIC409d分別具有與再現(xiàn)裝置400a的天線420a、調(diào)諧器401a、廣播數(shù)據(jù)緩沖器403a、顯示機(jī)構(gòu)408a及NIC409a同樣的結(jié)構(gòu)，所以將關(guān)于它們的說明省略。這里，以與再現(xiàn)裝置400a的不同點(diǎn)為中心進(jìn)行說明。( I)廣播流解碼機(jī)構(gòu)402d廣播流解碼機(jī)構(gòu)402d從調(diào)諧器40 Id接受廣播流。接著，將廣播流解碼，在PTS的定時(shí)對(duì)影像平面進(jìn)行分離，將影像平面向廣播數(shù)據(jù)緩沖器403d寫入。(2)疊加機(jī)構(gòu) 410d疊加機(jī)構(gòu)410d從廣播系統(tǒng)IOOd經(jīng)由因特網(wǎng)20d及NIC409d接受疊加數(shù)據(jù)表。接著，使用接受的疊加數(shù)據(jù)表，如以下所示這樣生成疊加平面，在PTS的定時(shí)向疊加平面緩沖器411d與入。在圖45所示的疊加數(shù)據(jù)961的情況下，將包含在疊加數(shù)據(jù)961的各標(biāo)簽位置信息中的姓名使用字體文件等變換為光柵圖像(raster image)(位圖)。這樣，生成標(biāo)簽圖像。接著，在疊加平面中，在由包含在各疊加數(shù)據(jù)中的位置信息表示的位置上描繪該標(biāo)簽圖像。(3)合成機(jī)構(gòu) 407d合成機(jī)構(gòu)407d從廣播數(shù)據(jù)緩沖器403d讀出影像平面，從疊加平面緩沖器411d讀出疊加平面。接著，按PTS取同步，將影像平面與疊加平面合成而生成合成平面，將合成平面對(duì)顯示機(jī)構(gòu)408d輸出。在圖46中表示影像平面與疊加平面的合成處理的一例。在該圖中，表示PTS=100000的幀的影像平面981及PTS=100000的疊加平面785。在影像平面981中包含球圖像984、選手圖像952，983，…。此外，在疊加平面985中包含標(biāo)簽圖像982a，983a，…。
合成機(jī)構(gòu)407d將影像平面981與疊加平面985合成，生成合成平面988。在合成平面988中，顯示有球圖像984、選手圖像982及標(biāo)簽圖像982a，選手圖像983及標(biāo)簽圖像983a，…。這里，標(biāo)簽圖像982a顯示在選手圖像982的附近，標(biāo)簽圖像983a顯示在選手圖像983的附近。
5.3廣播通信協(xié)作系統(tǒng)IOd的動(dòng)作
對(duì)構(gòu)成廣播通信協(xié)作系統(tǒng)IOd的廣播系統(tǒng)IOOd及再現(xiàn)裝置400d的動(dòng)作進(jìn)行說明。
(1)廣播系統(tǒng)IOOd的動(dòng)作
廣播系統(tǒng)IOOd的動(dòng)作與圖20所 示的廣播系統(tǒng)IOOa的動(dòng)作類似。
在廣播系統(tǒng)IOOd的動(dòng)作中，不存在圖20的步驟Slll所示的廣播影像數(shù)據(jù)的編輯。此外，代替在圖20的步驟S112中生成疊加區(qū)域設(shè)定數(shù)據(jù)，在廣播系統(tǒng)IOOd的動(dòng)作中生成疊加數(shù)據(jù)。
接著，使用圖47所示的流程圖，對(duì)疊加數(shù)據(jù)的生成的動(dòng)作的詳細(xì)情況進(jìn)行說明。
廣播影像攝影機(jī)構(gòu)IOld通過視頻攝錄機(jī)記錄影像及聲音(步驟S301)。
接著，信息取得機(jī)構(gòu)108d取得視頻攝錄機(jī)的位置、視場角、朝向、變焦量等的攝像機(jī)信息(步驟S302)。接著，取得球在球場上的位置(步驟S303)。接著，使用由俯瞰攝像機(jī)得到的影像數(shù)據(jù)，進(jìn)行選手的臉等的圖案匹配，確定選手。取得對(duì)應(yīng)的選手ID，取得選手信息，將選手信息寫入(步驟S304)。接著，使用由俯瞰攝像機(jī)得到的影像數(shù)據(jù)及攝像機(jī)信息來確定各選手在3維實(shí)空間上的3維位置坐標(biāo)。確定影像平面上的選手的位置，將選手位置信息寫入(步驟S305)。
接著，疊加數(shù)據(jù)生成機(jī)構(gòu)Illd基于廣播影像、攝像機(jī)信息、選手一球的比賽信息、關(guān)聯(lián)信息，生成標(biāo)簽圖像(步驟S306)。接著，在疊加平面上，決定配置標(biāo)簽圖像的位置(步驟S307)。接著，在疊加平面上，在決定的位置上描繪標(biāo)簽圖像(步驟S308)。
發(fā)送機(jī)構(gòu)113d將疊加數(shù)據(jù)發(fā)送(步驟S309)。
發(fā)送機(jī)構(gòu)106d將廣播數(shù)據(jù)發(fā)送(步驟S310)。
(2)再現(xiàn)裝置400d的動(dòng)作
使用圖48所示的流程圖，對(duì)再現(xiàn)裝置400d的動(dòng)作進(jìn)行說明。
廣播流解碼機(jī)構(gòu)402d從廣播流中分離影像平面(步驟S321)。
疊加機(jī)構(gòu)410d接收疊加數(shù)據(jù)，取得疊加平面(步驟S322)。
合成機(jī)構(gòu)407d將影像平面與疊加平面合成，生成合成平面(步驟S323)。
顯示機(jī)構(gòu)408d顯示合成平面(步驟S324)。
5.4 總結(jié)
如以上說明，當(dāng)提供對(duì)廣播波的影像疊加附加信息的服務(wù)時(shí)，例如可以在足球賽等的體育轉(zhuǎn)播中配置附加信息，以使其追隨于在影像中運(yùn)動(dòng)的選手圖像。
5.5變形例
(I)在將標(biāo)簽圖像配置到影像平面上的情況下，如圖49所示，按照每個(gè)球隊(duì)統(tǒng)一配置到與球隊(duì)進(jìn)攻的方向相反側(cè)能夠使標(biāo)簽的重疊程度變少。
在此情況下，疊加數(shù)據(jù)生成機(jī)構(gòu)11 Id將由包含在疊加數(shù)據(jù)961中的位置信息表示的選手圖像的位置向左、右、下、上等移動(dòng)，變換為表示標(biāo)簽圖像的位置的位置信息。此時(shí)，除了上述條件(a)、(b)及(C)以外，還滿足以下的條件(d)及(e)。(d)關(guān)于屬于相同的球隊(duì)的選手的選手圖像，決定標(biāo)簽圖像的位置，以使對(duì)選手圖像配置標(biāo)簽圖像的位置為相同的方向。(e)決定標(biāo)簽圖像的位置，以使對(duì)選手圖像配置標(biāo)簽圖像的位置為與球隊(duì)進(jìn)攻的方向相反側(cè)。如圖49所不，由選手圖像971,972,973表不的選手屬于第I球隊(duì)。另一方面，由選手圖像974,975,976表不的選手屬于第2球隊(duì)。此外,第I球隊(duì)進(jìn)攻的方向是如方向977所表示的。第2球隊(duì)進(jìn)攻的方向是如方向978所表示的。疊加數(shù)據(jù)生成機(jī)構(gòu)11 Id從存儲(chǔ)在關(guān)聯(lián)信息緩沖器IlOd中的選手信息表中取得各選手所屬的球隊(duì)ID。此外，從存儲(chǔ)在關(guān)聯(lián)信息緩沖器IlOd中的比賽信息表取得各球隊(duì)的進(jìn)球方向。疊加數(shù)據(jù)生成機(jī)構(gòu)Illd使用從選手信息表取得的各選手所屬的球隊(duì)ID，決定選手屬于哪個(gè)球隊(duì)。此外，使用所取得的進(jìn)球方向決定各球隊(duì)的進(jìn)攻的方向。因而，疊加數(shù)據(jù)生成機(jī)構(gòu)Illd對(duì)于選手圖像971，972，973，將標(biāo)簽圖像971a，972a，973a相對(duì)于各個(gè)選手圖像配置在相同的方向。在圖49所示的情況下，標(biāo)簽圖像971a，972a，973a分別配置在選手圖像971，972，973的左側(cè)。這里，疊加數(shù)據(jù)生成機(jī)構(gòu)11 Id由于第I球隊(duì)進(jìn)攻的方向是方向977，所以將標(biāo)簽圖像相對(duì)于選手的位置配置在作為與方向977相反的方向的左側(cè)。此外，疊加數(shù)據(jù)生成機(jī)構(gòu)Illd對(duì)于選手圖像974，975，976，將標(biāo)簽圖像974a，975a，976a相對(duì)于各個(gè)選手圖像配置在相同的方向。在圖49所示的情況下，標(biāo)簽圖像974a，975a，976a分別配置在選手圖像974，975，976的右側(cè)。這里，疊加數(shù)據(jù)生成機(jī)構(gòu)11 Id由于第2球隊(duì)進(jìn)攻的方向是方向978，所以將標(biāo)簽圖像相對(duì)于選手的位置配置在作為與方向978相反的方向的右側(cè)。(2)疊加數(shù)據(jù)生成機(jī)構(gòu)Illd在將標(biāo)簽圖像配置在影像平面上的情況下，也可以將標(biāo)簽圖像配置在與從選手圖像的位置朝向球圖像的位置的矢量相反的方向。通過這樣，標(biāo)簽圖像與球圖像不重疊就足夠。作為一例，如圖42所示，在影像平面901中，標(biāo)簽圖像902a配置在與從選手圖像902的位置朝向球圖像905的位置的矢量的相反方向上。關(guān)于標(biāo)簽圖像903a也同樣。但是，關(guān)于標(biāo)簽圖像906a不遵循該方法。如果將標(biāo)簽圖像配置在與從選手圖像906的位置朝向球圖像905的位置的矢量的相反方向上，則標(biāo)簽圖像伸出到影像平面701之夕卜。因而，在此情況下，不遵循該方法，疊加數(shù)據(jù)生成機(jī)構(gòu)Illd將標(biāo)簽圖像配置在與從選手圖像906的位置朝向球圖像905的位置的矢量的相同的方向上。(3)在廣播通信協(xié)作系統(tǒng)IOd中，再現(xiàn)裝置400d的疊加機(jī)構(gòu)410d經(jīng)由網(wǎng)絡(luò)接收疊加數(shù)據(jù)，基于疊加數(shù)據(jù)向疊加平面緩沖器411d輸出疊加平面。但是，并不限定于此。也可以如以下這樣。在因網(wǎng)絡(luò)的通信故障等疊加數(shù)據(jù)的傳送延遲的情況下，發(fā)生以下這樣的現(xiàn)象。如果將通過廣播接收到的影像平面與根據(jù)經(jīng)由網(wǎng)絡(luò)延遲而接收到的疊加數(shù)據(jù)生成的疊加平面合成，則標(biāo)簽圖像不是在該選手圖像的附近，而被顯示在別的選手圖像的附近的位置、或不存在選手圖像的位置上。所以，也可以是，在因網(wǎng)絡(luò)的通信故障疊加數(shù)據(jù)的傳送延遲的情況下，當(dāng)將廣播波的影像解碼時(shí)，預(yù)先記住運(yùn)動(dòng)矢量。接著，基于該運(yùn)動(dòng)矢量推測攝像機(jī)的搖攝的運(yùn)動(dòng)，按照推測出的運(yùn)動(dòng)使標(biāo)簽圖像移動(dòng)來生成疊加平面。結(jié)果，能夠使顯示的畫面中的不協(xié)調(diào)感變少。(4)在因網(wǎng)絡(luò)的通信故障等不能取得疊加數(shù)據(jù)的情況下，如果使標(biāo)簽圖像不顯示，則在因網(wǎng)絡(luò)的通信故障等時(shí)而能夠取得時(shí)而不能取得疊加數(shù)據(jù)時(shí)，標(biāo)簽圖像時(shí)而被顯示時(shí)而不被顯示。因此，標(biāo)簽圖像看起來像是在閃爍。在這樣的情況下，僅在不能取得疊加數(shù)據(jù)的期間比某一定期間更長地發(fā)生的情況下，也可以通過淡入或淡出來控制標(biāo)簽圖像的顯示。換言之，也可以使標(biāo)簽圖像逐漸看不到或逐漸能看到。結(jié)果，成為對(duì)于用戶而言容易觀看的影像。(5)在廣播通信協(xié)作系統(tǒng)IOd中，將疊加數(shù)據(jù)作為文本信息，疊加機(jī)構(gòu)410d基于該信息生成圖像。但是，并不限定于此。作為疊加數(shù)據(jù)，也可以不設(shè)定文本數(shù)據(jù)，作為疊加數(shù)據(jù)也可以設(shè)定JPG、PNG等的圖像文件。作為一例，如圖50所示，疊加數(shù)據(jù)991包括多個(gè)標(biāo)簽位置信息。各標(biāo)簽位置信息包括選手ID、姓名、位置信息及圖像ID。這里，圖像ID是識(shí)別JPG、PNG等的圖像文件的識(shí)別碼。圖像文件由表示各選手的姓名的圖像構(gòu)成。此外，圖像文件也可以代替各選手的姓名而由各選手的臉部照片構(gòu)成。在此情 況下，也可以是，廣播系統(tǒng)IOOd預(yù)先將圖像文件對(duì)再現(xiàn)裝置400d發(fā)送，再現(xiàn)裝置400d保持圖像文件。通過這樣，能夠抑制網(wǎng)絡(luò)的負(fù)荷。(6)在廣播通信協(xié)作系統(tǒng)IOd中，再現(xiàn)裝置400d的疊加機(jī)構(gòu)410d經(jīng)由網(wǎng)絡(luò)接收疊加數(shù)據(jù)，基于疊加數(shù)據(jù)將影像向疊加平面輸出。但是，并不限定于此。也可以為以下所示那樣。也可以將疊加數(shù)據(jù)加載于廣播波中廣播。例如，也可以用視頻流的補(bǔ)充數(shù)據(jù)、另外的PID的流、系統(tǒng)包的描述符等來傳送疊加數(shù)據(jù)。在此情況下，將標(biāo)簽圖像的位置信息以各視頻幀單位發(fā)送。此外，也可以將JPG、PNG等的圖像文件如數(shù)據(jù)廣播那樣進(jìn)行以一定周期將相同的內(nèi)容反復(fù)持續(xù)發(fā)送的輪播(carousel)傳送。(7)在影像平面中，也可以對(duì)存在于距球圖像最近的位置的選手圖像配置比其他標(biāo)簽圖像大的標(biāo)簽圖像。作為一例，如圖52所示，在合成平面801a中，選手圖像802與其他選手圖像803，804，…相比，存在于距球圖像805最近的位置。也可以對(duì)存在于距球圖像805最近的位置處的選手圖像802配置比其他標(biāo)簽圖像大的標(biāo)簽圖像802a。此外，作為另一例，如圖53所示，在合成平面801b中，選手圖像804與其他選手圖像802，804，…相比，存在于距球圖像805最近的位置處。也可以對(duì)存在于距球圖像805最近的位置處的選手圖像804配置比其他標(biāo)簽圖像大的標(biāo)簽圖像804a。有時(shí)也將這樣顯示在距球圖像(核心對(duì)象)最近的位置處的選手圖像(主對(duì)象)稱作關(guān)注對(duì)象。
在此情況下，廣播系統(tǒng)IOOd還將表示影像平面內(nèi)的球圖像的位置的位置信息、以及表示影像平面內(nèi)的選手圖像的位置的位置信息包含在疊加數(shù)據(jù)中。接著，將包含表示球圖像的位置的位置信息及表示選手圖像的位置的位置信息的疊加數(shù)據(jù)傳送。即，與標(biāo)簽圖像的位置信息同樣，將選手圖像的位置信息及球圖像的位置信息作為廣播波的影像中的位置信息包含在疊加數(shù)據(jù)中傳送。
信息取得機(jī)構(gòu)108d與選手圖像的位置的取得同樣，從俯瞰影像中，根據(jù)球的形狀及顏色等，通過圖案匹配，取得表示球圖像的位置的位置信息。此外，也可以在球的內(nèi)部中嵌入帶有GPS功能的無線發(fā)送器，無線發(fā)送器通過GPS取得球的位置信息，將所取得的位置信息通過電波發(fā)送。
疊加機(jī)構(gòu)410d使用包含在疊加數(shù)據(jù)中的表示選手圖像的位置的位置信息及表示球圖像的位置的位置信息，計(jì)算影像平面內(nèi)的全部的選手圖像的位置與球畫面的位置之間的距離。接著，對(duì)于與計(jì)算為最小的距離對(duì)應(yīng)的選手圖像，疊加比其他標(biāo)簽圖像大的標(biāo)簽圖像。
通過這樣，由于關(guān)注選手(關(guān)注對(duì)象)被強(qiáng)調(diào)，所以成為對(duì)于視聽者容易理解的顯示。另外，選手圖像的位置信息和球圖像的位置信息不是使用對(duì)于廣播波的影像的2維坐標(biāo)而是使用實(shí)際的3維坐標(biāo)能夠更正確地計(jì)測選手與球的距離。
(8)廣播系統(tǒng)IOOd也可以不僅是選手的代表位置信息，還傳送用來表現(xiàn)選手的骨骼的各節(jié)點(diǎn)(頭、頸、腰、左肩、左手、左膝、左腳踝、右肩、右手、右膝、右腳踝等)的位置信息。再現(xiàn)裝置400d也可以基于用來表現(xiàn)選手的骨骼的各節(jié)點(diǎn)的位置信息來決定標(biāo)簽圖像的位置，以使選手圖像與標(biāo)簽圖像不重疊。
此外，如果這樣知道選手的骨骼的位置信息，則能夠?qū)崿F(xiàn)使抬起手的選手發(fā)亮等的效果、或使踢出的腳發(fā)亮等的帶有效果的呈現(xiàn)。
(9)也可以是，將解說聲音進(jìn)行語言解析，或利用隱藏式字幕(closedcaptioning)等的字幕信息，確定在解說者的講話中出現(xiàn)的選手名。接著，使表示所確定的該選手的標(biāo)簽圖像變大或發(fā)亮。由此，容易使視聽者知道關(guān)注選手(關(guān)注對(duì)象)。
(10)作為疊加數(shù)據(jù)，也可以是，作為各選手的信息而保存表示選手的配置的場上位置的信息，按照每個(gè)場上位置將標(biāo)簽區(qū)分顏色。通過這樣，容易知道比賽的戰(zhàn)術(shù)。
(11)也可以是，在選手存在的3維實(shí)空間上的3維坐標(biāo)位置上配置3維模型的標(biāo)簽后，使用廣播用攝像機(jī)的位置、朝向、變焦等的攝像機(jī)信息，對(duì)3維模型的標(biāo)簽進(jìn)行透視投影變換，執(zhí)行繪制，將所生成的圖像作為標(biāo)簽圖像疊加。通過這樣，能夠制作宛如在球場上有3維的標(biāo)簽?zāi)菢拥挠跋瘛?br> (12)在廣播通信協(xié)作系統(tǒng)IOd中，在追隨于在影像內(nèi)運(yùn)動(dòng)的選手圖像的位置而疊加標(biāo)簽圖像的情況下，作為更有效地反映用戶的意圖的方法，有以下這樣的方法。
(a)如果將疊加數(shù)據(jù)相應(yīng)于多個(gè)語言準(zhǔn)備，則能夠根據(jù)視聽者的喜好而進(jìn)行語言的選擇。
例如，廣播系統(tǒng)IOOd使疊加數(shù)據(jù)包含用日語、英語、德語、西班牙語及葡萄牙語表述的選手的姓名。廣播系統(tǒng)IOOd將該疊加數(shù)據(jù)發(fā)送。再現(xiàn)裝置400d接收包含由這些語言表述的選手的姓名的疊加數(shù)據(jù)。再現(xiàn)裝置400d受理視聽者的喜好的語言的輸入。再現(xiàn)裝置400d生成僅包含基于所受理的語言的選手的姓名的疊加平面，將影像平面與疊加平面合成并輸出。(b)廣播系統(tǒng)IOOd使疊加數(shù)據(jù)中包含選手的名字、姓、昵稱、球隊(duì)ID、球衣號(hào)碼等。廣播系統(tǒng)IOOd將該疊加數(shù)據(jù)發(fā)送。再現(xiàn)裝置400d從視聽者受理顯示在標(biāo)簽圖像中的數(shù)據(jù)的種類。數(shù)據(jù)的種類的例子是選手的名字、姓、昵稱、球衣號(hào)碼。再現(xiàn)裝置400d根據(jù)受理的數(shù)據(jù)的種類而生成標(biāo)簽圖像，生成包含所生成的標(biāo)簽圖像的疊加平面，將影像平面與疊加平面合成并輸出。例如，在從視聽者作為數(shù)據(jù)的種類而受理了選手的名字的情況下，在標(biāo)簽圖像中顯示選手的名字。同樣，在受理了姓、昵稱、球衣號(hào)碼的情況下，分別在標(biāo)簽圖像中顯示姓、昵稱、球衣號(hào)碼。這樣，視聽者能夠指定應(yīng)顯不在標(biāo)簽圖像中的內(nèi)各。(C)廣播系統(tǒng)IOOd使疊加數(shù)據(jù)包含選手的名字、姓、昵稱、球隊(duì)ID、球衣號(hào)碼等。廣播系統(tǒng)IOOd將該疊加數(shù)據(jù)發(fā)送。此外，再現(xiàn)裝置400d從視聽者受理應(yīng)顯示標(biāo)簽圖像的類別和其識(shí)別信息的輸入。例如，再現(xiàn)裝置400d作為類別而受理“球隊(duì)ID”，作為球隊(duì)ID而受理“0105”。再現(xiàn)裝置400d僅對(duì)疊加數(shù)據(jù)中的包含球隊(duì)ID “0105”的標(biāo)簽位置信息生成包含姓名的標(biāo)簽圖像，將所生成的標(biāo)簽圖像顯示。例如，再現(xiàn)裝置400d作為類別而受理“球衣號(hào)碼”，作為球衣號(hào)碼而受理“51”。再現(xiàn)裝置400d僅對(duì)疊加數(shù)據(jù)中的包含球衣號(hào)碼“51”的標(biāo)簽位置信息生成包含姓名的標(biāo)簽圖像，將所生成的標(biāo)簽圖像顯示。這樣，視聽者能夠僅對(duì)特定的球隊(duì)的選手或特定的球衣號(hào)碼的選手疊加標(biāo)簽圖像。(13)在用具備觸摸面板的終端裝置視聽影像的情況下，也可以通過觸摸面板確定觸摸位置，當(dāng)包含在疊加數(shù)據(jù)中的選手圖像的位置與觸摸位置重疊時(shí)，僅對(duì)該選手顯示標(biāo)簽圖像。此外，也可以僅對(duì)該選手使標(biāo)簽圖像變大或高亮度來進(jìn)行強(qiáng)調(diào)。此外，也可以僅對(duì)該選手生成包含選手的姓名、球衣號(hào)碼、球隊(duì)名、過去的成績等的標(biāo)簽圖像，詳細(xì)地顯示。(14)也可以根據(jù)電視機(jī)的顯示畫面的尺寸(英寸數(shù))來變更向選手圖像疊加的標(biāo)簽圖像的尺寸。如果英寸數(shù)變大，則使標(biāo)簽圖像的尺寸變大。此外，也可以根據(jù)顯示畫面的寬高比來決定標(biāo)簽圖像的尺寸的寬高比。此外，也可以使標(biāo)簽圖像的垂直方向的尺寸為一定，根據(jù)顯示畫面的水平方向的像素?cái)?shù)來變更標(biāo)簽圖像的水平方向的尺寸。相反，也可以使標(biāo)簽圖像的水平方向的尺寸為一定，根據(jù)顯示畫面的垂直方向的像素?cái)?shù)來變更標(biāo)簽圖像的垂直方向的尺寸。(15)在廣播通信協(xié)作系統(tǒng)IOd中，將疊加數(shù)據(jù)用網(wǎng)絡(luò)傳送，再現(xiàn)裝置400d的疊加機(jī)構(gòu)410d基于疊加數(shù)據(jù)生成疊加平面，將疊加平面與影像平面合成。但是，并不限定于此。也可以如以下表示那樣。(a)廣播系統(tǒng)IOOd也可以根據(jù)疊加數(shù)據(jù)生成疊加用的視頻流,將疊加用的視頻流與廣播用的影像流復(fù)用，生成廣播流并進(jìn)行廣播。例如，如圖51所示，廣播系統(tǒng)IOOd將合成平面801a用MPEG-2或MPEG-4 AVC等的視頻編解碼器壓縮編碼而制作視頻流。這里，在合成平面801a中，與選手圖像802，803，
804，----起， 追隨于這些圖像的位置而配置有標(biāo)簽圖像802a，803a，804a，…。此外，合成
平面801a的背景由黑色等的淡色影像構(gòu)成。
再現(xiàn)裝置400d的疊加機(jī)構(gòu)410d在將視頻流解碼后，將背景色作為透明像素，向疊加平面寫入。
如果這樣，則在再現(xiàn)裝置400d中，不再需要圖形的生成，再現(xiàn)裝置400d的處理變得容易。
(b)也可以做成作為疊加用的視頻流而準(zhǔn)備疊加用視頻流和設(shè)定了透明度的視頻流的兩者的結(jié)構(gòu)。
關(guān)于背景，將用黑色等的淡色影像構(gòu)成、配置追隨于選手圖像的位置的標(biāo)簽圖像而設(shè)計(jì)的幀用MPEG-2或MPEG-4 AVC等的視頻編解碼器壓縮編碼，進(jìn)行壓縮編碼而制作顏色息視頻流。
另一方面，準(zhǔn)備僅將透明度編碼的透明度視頻流。
再現(xiàn)裝置400d的疊加機(jī)構(gòu)410d在將顏色信息視頻流解碼后，將透明度視頻流解碼，對(duì)于顏色信息視頻流的解碼結(jié)果，設(shè)定透明度視頻流的解碼結(jié)果的透明度，向疊加平面寫入。如果這樣，則在再現(xiàn)裝置400d中不再需要圖形的生成，處理變?nèi)菀?。另外，也可以將顏色信息視頻流和透明度視頻流以Side-by-Side (并列)的方式設(shè)為一半的分辨率而構(gòu)成。
(C)作為疊加用的視頻流，也可以做成利用視點(diǎn)間參照的壓縮編碼的視頻流的結(jié)構(gòu)。
作為使用視點(diǎn)間參照壓縮的編碼方式，有稱作MPEG-4 MVC (Multiview VideoCoding:多視點(diǎn)視頻編碼)的MPEG-4 AVC/H.264的修訂標(biāo)準(zhǔn)。圖54是說明通過MPEG-4MVC的編碼方式的圖。在MPEG-4 MVC中，由具有與以往的設(shè)備的再現(xiàn)兼容性的基本視(view) 1021、和通過與基本視1021同時(shí)處理來實(shí)現(xiàn)不同視點(diǎn)的影像的再現(xiàn)的擴(kuò)展視1022構(gòu)成。將基本視1021如圖54所示，僅利用時(shí)間方向的冗余性，使用圖片間預(yù)測編碼進(jìn)行壓縮?；疽?021包括圖片1001,1002，-,1007,…。另一方面，將擴(kuò)展視1022除了利用該時(shí)間方向的冗余性的圖片間預(yù)測編碼以外，還通過利用視點(diǎn)間的冗余性的圖片間預(yù)測編碼進(jìn)行壓縮。擴(kuò)展視1022包括圖片1011,1012，…，1017，…。將基本視視頻流的圖片參照擴(kuò)展視視頻流的相同的顯示時(shí)刻的圖片進(jìn)行壓縮。圖54所示的箭頭表示參照關(guān)系。擴(kuò)展視視頻流的開頭P圖片1011參照基本視視頻流的I圖片1001。擴(kuò)展視視頻流的B圖片1012參照基本視視頻流的Br圖片1002。此外，擴(kuò)展視視頻流的第二個(gè)P圖片1014參照基本視視頻流的P圖片1004。此外，基本視視頻流由于不參照擴(kuò)展視視頻流，所以該流單體能夠以I條進(jìn)行再現(xiàn)。相反，擴(kuò)展視視頻流由于參照基本視視頻流，所以該流單體不能以I條進(jìn)行再現(xiàn)。但是，由于從左右的視點(diǎn)觀察相同的被攝體，所以影像的相關(guān)性較大。因此，通過進(jìn)行視點(diǎn)間的圖片間預(yù)測編碼，關(guān)于擴(kuò)展視視頻流，與基本視視頻流相比能夠大幅削減數(shù)據(jù)量。這樣，MVC是將多個(gè)視點(diǎn)的影像匯總編碼的標(biāo)準(zhǔn)。通過不僅是利用影像的時(shí)間方向的相似性、而且將視點(diǎn)間的相似性也用在預(yù)測編碼中，與多個(gè)視點(diǎn)的獨(dú)立的壓縮相比提高了壓縮效率。將利用該視點(diǎn)間的相關(guān)性來參照不同的視的圖片的處理稱作“視間參照”。
這里，將廣播波影像 作為基本視，將已疊加影像作為擴(kuò)展視而編碼。通過這樣，將擴(kuò)展視的已疊加影像編碼后的視頻流除了標(biāo)簽圖像以外與基本視一致，所以視間參照的效果較大。因此，能夠使將擴(kuò)展視的已疊加影像編碼后的視頻流的比特率變小。再現(xiàn)裝置400d通過將該擴(kuò)展視的已疊加視頻流與基礎(chǔ)視一起解碼、僅顯示擴(kuò)展視，能夠?qū)崿F(xiàn)影像疊加。
6.其他變形例
另外，將本發(fā)明基于上述實(shí)施方式進(jìn)行了說明，但本發(fā)明當(dāng)然并不限定于上述實(shí)施方式。以下這樣的情況也包含在本發(fā)明中。
(I)本發(fā)明的一形態(tài)，是將復(fù)用在AV流中的視頻流解碼、并疊加附加數(shù)據(jù)的再現(xiàn)裝置。在上述AV流中，包含有對(duì)應(yīng)于上述視頻流的疊加禁止區(qū)域信息。上述疊加禁止區(qū)域在上述視頻流的幀中定義了禁止附加數(shù)據(jù)的疊加的區(qū)域。上述再現(xiàn)裝置將解碼了上述視頻流的結(jié)果向平面緩沖器I寫入，將上述附加數(shù)據(jù)向平面緩沖器2寫入。此外，基于上述疊加禁止區(qū)域信息將上述平面緩沖器2的禁止區(qū)域變更為透明色，對(duì)上述平面緩沖器I疊加上述平面緩沖器2。
(2)作為本發(fā)明的一形態(tài)的通過廣播波及通信提供的影像內(nèi)容的再現(xiàn)裝置，不僅是對(duì)電視廣播影像內(nèi)容疊加附加信息而向用戶提供新的娛樂。能夠?qū)⒕o急廣播或CM等電視廣播的重要的消息不損害信息地向用戶正確地傳達(dá)。因此，作為本發(fā)明的一形態(tài)的影像流、其編碼方法、編碼裝置、再現(xiàn)方法及再現(xiàn)裝置在電視廣播等的影像分發(fā)產(chǎn)業(yè)、民生設(shè)備產(chǎn)業(yè)中具有較高的可利用性。
(3)上述的各裝置具體而言是由微處理器、ROM、RAM、硬盤單元等構(gòu)成的計(jì)算機(jī)系統(tǒng)。在上述RAM或上述硬盤單元中存儲(chǔ)有計(jì)算機(jī)程序。這里，計(jì)算機(jī)程序是為了達(dá)到規(guī)定的功能而將表示對(duì)計(jì)算機(jī)的指令的命令代碼組合多個(gè)構(gòu)成的。通過上述微處理器按照上述計(jì)算機(jī)程序動(dòng)作，各裝置實(shí)現(xiàn)其功能。即，上述微處理器將包含在上述計(jì)算機(jī)程序中的各命令I(lǐng)個(gè)個(gè)讀出，將所讀出的命令解讀，按照解讀結(jié)果動(dòng)作。
此外，通過微處理器按照包含在存儲(chǔ)于RAM或硬盤單元中的計(jì)算機(jī)程序中的命令動(dòng)作，該計(jì)算機(jī)程序和微處理器宛如構(gòu)成一個(gè)硬件電路，可以看作該硬件電路動(dòng)作。
(4)構(gòu)成上述各裝置的構(gòu)成要素的一部分或全部也可以由I個(gè)系統(tǒng)LSI (LargeScale Integration:大規(guī)模集成電路)構(gòu)成。系統(tǒng)LSI是將多個(gè)構(gòu)成部分集成到I個(gè)芯片上而制造的超多功能LSI，具體而言是包括微處理器、ROM、RAM等而構(gòu)成的計(jì)算機(jī)系統(tǒng)。在上述RAM中存儲(chǔ)有計(jì)算機(jī)程序。通過上述微處理器按照上述計(jì)算機(jī)程序動(dòng)作，系統(tǒng)LSI實(shí)現(xiàn)其功能。
此外，既可以將構(gòu)成上述各裝置的構(gòu)成要素的各部單獨(dú)地單片化，也可以包括一部分或全部而單片化。
LSI由多個(gè)電路塊構(gòu)成。
此外，集成電路化的方法并不限于LSI，也可以由專用電路或通用處理器實(shí)現(xiàn)。也可以利用在LSI制造后能夠編程的FPGA (Field Programmable Gate Array:現(xiàn)場可編程門陣列)或能夠再構(gòu)成LSI內(nèi)部的電路單元的連接及設(shè)定的可重構(gòu)處理器。
進(jìn)而，如果因半導(dǎo)體技術(shù)的進(jìn)步或派生的其他技術(shù)出現(xiàn)替代LSI的集成電路化的技術(shù)，則當(dāng)然也可以使用該技術(shù)進(jìn)行功能塊的集成化。
(5)構(gòu)成上述各裝置的構(gòu)成要素的一部分或全部也可以由相對(duì)于各裝置能夠拆裝的IC卡或單體的模組構(gòu)成。上述IC卡或上述模組是由微處理器、ROM、RAM等構(gòu)成的計(jì)算機(jī)系統(tǒng)。上述IC卡或上述模組也可以包括上述超多功能LSI。通過微處理器按照計(jì)算機(jī)程序動(dòng)作，上述IC卡或上述模組實(shí)現(xiàn)其功能。該IC卡或該模組也可以具有耐篡改性。
(6)本發(fā)明也可以是用來控制上述所示的裝置的控制方法。此外，也可以是通過計(jì)算機(jī)實(shí)現(xiàn)這些控制方法的計(jì)算機(jī)程序，也可以是由上述計(jì)算機(jī)程序構(gòu)成的數(shù)字信號(hào)。此外，本發(fā)明也可以是將上述計(jì)算機(jī)程序或上述數(shù)字信號(hào)記錄到計(jì)算機(jī)可讀取的非臨時(shí)性的記錄介質(zhì)、例如軟盤、硬盤、CD-ROM、MO、DVD、DVD-ROM、DVD-RAM、BD (Blu-rayDisc:藍(lán)光光盤)、半導(dǎo)體存儲(chǔ)器等中的產(chǎn)品。此外，也可以是記錄在這些記錄介質(zhì)中的上述計(jì)算機(jī)程序或上述數(shù)字信號(hào)。此外，本發(fā)明也可以是將上述計(jì)算機(jī)程序或上述數(shù)字信號(hào)經(jīng)由電通信線路、無線或有線通信線路、以因特網(wǎng)為代表的網(wǎng)絡(luò)、數(shù)據(jù)廣播等傳送的系統(tǒng)。此外，本發(fā)明也可以是具備微處理器和存儲(chǔ)器的計(jì)算機(jī)系統(tǒng)，上述存儲(chǔ)器存儲(chǔ)有上述計(jì)算機(jī)程序。上述微處理器按照上述計(jì)算機(jī)程序動(dòng)作。此外，也可以通過將上述程序或上述數(shù)字信號(hào)記錄到上述記錄介質(zhì)中并移送、或者通過將上述程序或上述數(shù)字信號(hào)經(jīng)由上述網(wǎng)絡(luò)等移送，由獨(dú)立的其他計(jì)算機(jī)系統(tǒng)實(shí)施。(7)也可以將上述實(shí)施方式及上述變形例分別組合。產(chǎn)業(yè)上的可利用性有關(guān)本發(fā)明的廣播通信協(xié)作系統(tǒng)能夠提供新的服務(wù)，作為將廣播與通信協(xié)作的技術(shù)具有實(shí)用性。附圖標(biāo)記說明10廣播通信協(xié)作系統(tǒng)IOa廣播通信協(xié)作系統(tǒng)IOb廣播通信協(xié)作系統(tǒng)IOc廣播通信協(xié)作系統(tǒng)IOd廣播通信協(xié)作系統(tǒng)100數(shù)據(jù)生成裝置IOOa廣播系統(tǒng)IOOb廣播系統(tǒng)IOOd廣播系統(tǒng)300a通信服務(wù)提供系統(tǒng)300b通信服務(wù)提供系統(tǒng)300c數(shù)據(jù)生成裝置400接收裝置400a再現(xiàn)裝置400b再現(xiàn)裝置400c接收裝置400d再現(xiàn)裝置
權(quán)利要求
1.一種數(shù)據(jù)生成裝置，生成數(shù)據(jù)，其特征在于，具備: 取得機(jī)構(gòu)，取得幀圖像； 設(shè)定機(jī)構(gòu)，設(shè)定禁止信息，該禁止信息表示當(dāng)由再現(xiàn)裝置對(duì)疊加了附加圖像的上述幀圖像進(jìn)行再現(xiàn)時(shí)禁止附加圖像的疊加的幀圖像上的區(qū)域；以及復(fù)用機(jī)構(gòu)，將上述幀圖像與上述禁止信息復(fù)用而生成數(shù)據(jù)。
2.如權(quán)利要求1所述的數(shù)據(jù)生成裝置，其特征在于， 上述數(shù)據(jù)生成裝置通過一個(gè)傳送路徑傳送上述幀圖像； 上述附加圖像通過與上述傳送路徑不同的傳送路徑被傳送。
3.如權(quán)利要求2所述的數(shù)據(jù)生成裝置，其特征在于， 上述幀圖像通過 廣播路徑傳送，上述附加圖像通過通信路徑傳送。
4.如權(quán)利要求1所述的數(shù)據(jù)生成裝置，其特征在于， 上述設(shè)定機(jī)構(gòu)還設(shè)定許可信息，該許可信息表示當(dāng)由再現(xiàn)裝置對(duì)疊加了附加圖像的上述幀圖像進(jìn)行再現(xiàn)時(shí)許可附加圖像的疊加的幀圖像上的區(qū)域； 上述復(fù)用機(jī)構(gòu)還將上述許可信息復(fù)用。
5.如權(quán)利要求4所述的數(shù)據(jù)生成裝置，其特征在于， 上述設(shè)定機(jī)構(gòu)還設(shè)定推薦信息，該推薦信息表示當(dāng)由再現(xiàn)裝置對(duì)疊加了附加圖像的上述幀圖像進(jìn)行再現(xiàn)時(shí)推薦附加圖像的疊加的幀圖像上的區(qū)域； 上述復(fù)用機(jī)構(gòu)還將上述推薦信息復(fù)用。
6.如權(quán)利要求4所述的數(shù)據(jù)生成裝置，其特征在于， 上述設(shè)定機(jī)構(gòu)還設(shè)定注意信息，該注意信息表示當(dāng)由再現(xiàn)裝置對(duì)疊加了附加圖像的上述幀圖像進(jìn)行再現(xiàn)時(shí)對(duì)附加圖像的疊加提起注意的幀圖像上的區(qū)域； 上述復(fù)用機(jī)構(gòu)還將上述注意信息復(fù)用。
7.如權(quán)利要求4所述的數(shù)據(jù)生成裝置，其特征在于， 上述禁止信息及上述許可信息對(duì)應(yīng)于上述幀圖像內(nèi)的各像素而設(shè)定。
8.如權(quán)利要求4所述的數(shù)據(jù)生成裝置，其特征在于， 上述禁止信息及上述許可信息對(duì)應(yīng)于將上述幀圖像分割為多個(gè)而得到的區(qū)域來設(shè)定。
9.一種數(shù)據(jù)生成裝置，生成數(shù)據(jù)，其特征在于，具備: 取得機(jī)構(gòu)，取得主聲音； 設(shè)定機(jī)構(gòu)，設(shè)定禁止信息，該禁止信息表示當(dāng)由再現(xiàn)裝置對(duì)合成了附加聲音的上述主聲音進(jìn)行再現(xiàn)時(shí)禁止附加聲音的合成的主聲音的區(qū)間；以及復(fù)用機(jī)構(gòu)，將上述主聲音與上述禁止信息復(fù)用而生成數(shù)據(jù)。
10.如權(quán)利要求9所述的數(shù)據(jù)生成裝置，其特征在于， 上述數(shù)據(jù)生成裝置通過一個(gè)傳送路徑傳送上述主聲音； 上述附加聲音通過與上述傳送路徑不同的傳送路徑被傳送。
11.如權(quán)利要求10所述的數(shù)據(jù)生成裝置，其特征在于， 上述主聲音通過廣播路徑傳送，上述附加聲音通過通信路徑傳送。
12.如權(quán)利要求9所述的數(shù)據(jù)生成裝置，其特征在于， 上述設(shè)定機(jī)構(gòu)還設(shè)定許可信息，該許可信息表示當(dāng)由再現(xiàn)裝置對(duì)合成了附加聲音的上述主聲音進(jìn)行再現(xiàn)時(shí)許可附加聲音的合成的主聲音的區(qū)間；上述復(fù)用機(jī)構(gòu)還將上述許可信息復(fù)用。
13.如權(quán)利要求12所述的數(shù)據(jù)生成裝置，其特征在于， 上述設(shè)定機(jī)構(gòu)還設(shè)定推薦信息，該推薦信息表示當(dāng)由再現(xiàn)裝置對(duì)合成了附加聲音的上述主聲音進(jìn)行再現(xiàn)時(shí)推薦附加聲音的合成的主聲音的區(qū)間； 上述復(fù)用機(jī)構(gòu)還將上述推薦信息復(fù)用。
14.如權(quán)利要求12所述的數(shù)據(jù)生成裝置，其特征在于， 上述設(shè)定機(jī)構(gòu)還設(shè)定注意信息，該注意信息表示當(dāng)由再現(xiàn)裝置對(duì)合成了附加聲音的上述主聲音進(jìn)行再現(xiàn)時(shí)對(duì)附加聲音的合成提起注意的主聲音的區(qū)間； 上述復(fù)用機(jī)構(gòu)還將上述注意信息復(fù)用。
15.一種接收裝置，接收數(shù)據(jù)，其特征在于，具備: 接收機(jī)構(gòu)，接收將禁止信息和幀圖像復(fù)用而得到的數(shù)據(jù)，該禁止信息表示當(dāng)由再現(xiàn)裝置對(duì)疊加了附加圖像的上述幀圖像進(jìn)行再現(xiàn)時(shí)禁止附加圖像的疊加的幀圖像的區(qū)域； 分離機(jī)構(gòu)，從上述數(shù)據(jù)中分離上述幀圖像和上述禁止信息； 取得機(jī)構(gòu)，取得上述附加圖像；以及 疊加機(jī)構(gòu)，基于上述禁止信息對(duì)上述幀圖像疊加上述附加圖像。
16.如權(quán) 利要求15所述的接收裝置，其特征在于， 上述接收裝置通過不同的傳送路徑接收上述幀圖像和上述附加圖像。
17.如權(quán)利要求16所述的接收裝置，其特征在于， 上述幀圖像通過廣播路徑接收，上述附加圖像通過通信路徑接收。
18.如權(quán)利要求15所述的接收裝置，其特征在于， 上述接收機(jī)構(gòu)還接收復(fù)用了許可信息的上述數(shù)據(jù)，該許可信息表示當(dāng)由再現(xiàn)裝置對(duì)疊加了附加圖像的幀圖像進(jìn)行再現(xiàn)時(shí)許可附加圖像的疊加的幀圖像的區(qū)域； 上述分離機(jī)構(gòu)還從上述數(shù)據(jù)中分離上述許可信息； 上述疊加機(jī)構(gòu)還基于上述許可信息對(duì)上述幀圖像疊加上述附加圖像。
19.如權(quán)利要求18所述的接收裝置，其特征在于， 上述接收機(jī)構(gòu)還接收復(fù)用了推薦信息的上述數(shù)據(jù)，該推薦信息表示當(dāng)由再現(xiàn)裝置對(duì)疊加了附加圖像的幀圖像進(jìn)行再現(xiàn)時(shí)推薦附加圖像的疊加的幀圖像的區(qū)域； 上述分離機(jī)構(gòu)還從上述數(shù)據(jù)中分離上述推薦信息； 上述疊加機(jī)構(gòu)還基于上述推薦信息對(duì)上述幀圖像疊加上述附加圖像。
20.如權(quán)利要求18所述的接收裝置，其特征在于， 上述接收機(jī)構(gòu)還接收復(fù)用了注意信息的上述數(shù)據(jù)，該注意信息表示當(dāng)由再現(xiàn)裝置對(duì)疊加了附加圖像的幀圖像進(jìn)行再現(xiàn)時(shí)對(duì)附加圖像的疊加提起注意的幀圖像的區(qū)域； 上述分離機(jī)構(gòu)還從上述數(shù)據(jù)中分離上述注意信息； 上述疊加機(jī)構(gòu)還基于上述注意信息對(duì)上述幀圖像疊加上述附加圖像。
21.如權(quán)利要求18所述的接收裝置，其特征在于， 上述禁止信息及上述許可信息對(duì)應(yīng)于上述幀圖像內(nèi)的各像素而設(shè)定； 上述疊加機(jī)構(gòu)按照上述幀圖像內(nèi)的每個(gè)像素疊加上述附加信息。
22.如權(quán)利要求18所述的接收裝置，其特征在于， 上述禁止信息及上述許可信息對(duì)應(yīng)于將上述幀圖像分割為多個(gè)而得到的區(qū)域來設(shè)定; 上述疊加機(jī)構(gòu)按照上述幀圖像內(nèi)的每個(gè)上述區(qū)域像素疊加上述附加信息。
23.一種接收裝置，接收數(shù)據(jù)，其特征在于，具備: 接收機(jī)構(gòu)，接收將禁止信息和主聲音復(fù)用而得到的數(shù)據(jù)，該禁止信息表示當(dāng)由再現(xiàn)裝置對(duì)合成了附加聲音的上述主聲音進(jìn)行再現(xiàn)時(shí)禁止附加聲音的合成的主聲音的區(qū)間； 分離機(jī)構(gòu)，從上述數(shù)據(jù)中分離上述主聲音和上述禁止信息； 取得機(jī)構(gòu)，取得上述附加聲音；以及 合成機(jī)構(gòu)，基于上述禁止信息對(duì)上述主聲音合成上述附加聲音。
24.如權(quán)利要求23所述的接收裝置，其特征在于， 上述接收裝置通過不同的傳送路徑接收上述主聲音和上述附加聲音。
25.如權(quán)利要求24所述的接收裝置，其特征在于， 上述主聲音通過廣播路徑接收，上述附加聲音通過通信路徑接收。
26.如權(quán)利要求23所述的接收裝置，其特征在于， 上述接收機(jī)構(gòu)還接收復(fù)用了許可信息的上述數(shù)據(jù)，該許可信息表示當(dāng)由再現(xiàn)裝置對(duì)合成了附加聲音的主聲音進(jìn)行再現(xiàn)時(shí)許可附加聲音的疊加的主聲音的區(qū)間； 上述分離機(jī)構(gòu)還從上述數(shù)據(jù)中分離上述許可信息； 上述疊加機(jī)構(gòu)還基于上述許可信息對(duì)上述主聲音合成上述附加聲音。
27.如權(quán)利要求26所述的接收裝置，其特征在于， 上述接收機(jī)構(gòu)還接收復(fù)用了推薦信息的上述數(shù)據(jù)，該推薦信息表示當(dāng)由再現(xiàn)裝置對(duì)合成了附加聲音的主聲音進(jìn)行再現(xiàn)時(shí)推薦附加聲音的疊加的主聲音的區(qū)間； 上述分離機(jī)構(gòu)還從上述數(shù)據(jù)中分離上述推薦信息； 上述疊加機(jī)構(gòu)還基于上述推薦信息對(duì)上述主聲音合成上述附加聲音。
28.如權(quán)利要求26所述的接收裝置，其特征在于， 上述接收機(jī)構(gòu)還接收復(fù)用了注意信息的上述數(shù)據(jù)，該注意信息表示當(dāng)由再現(xiàn)裝置對(duì)合成了附加聲音的主聲音進(jìn)行再現(xiàn)時(shí)對(duì)附加聲音的疊加提起注意的主聲音的區(qū)間； 上述分離機(jī)構(gòu)還從上述數(shù)據(jù)中分離上述注意信息； 上述疊加機(jī)構(gòu)還基于上述注意信息對(duì)上述主聲音合成上述附加聲音。
29.—種廣播通信協(xié)作系統(tǒng)，由數(shù)據(jù)生成裝置、廣播裝置、服務(wù)提供裝置和接收裝置構(gòu)成，其特征在于， 上述數(shù)據(jù)生成裝置具備: 取得機(jī)構(gòu)，取得幀圖像； 設(shè)定機(jī)構(gòu)，設(shè)定禁止信息，該禁止信息表示當(dāng)由再現(xiàn)裝置對(duì)疊加了附加圖像的上述幀圖像進(jìn)行再現(xiàn)時(shí)禁止附加圖像的疊加的幀圖像上的區(qū)域；以及復(fù)用機(jī)構(gòu)，將上述幀圖像與上述禁止信息復(fù)用而生成數(shù)據(jù)； 上述廣播裝置通過廣播路徑傳送上述數(shù)據(jù)； 上述服務(wù)提供裝置通過通信路徑傳送上述附加圖像； 上述接收裝置具備: 接收機(jī)構(gòu)，接收將禁止信息和上述幀圖像復(fù)用而得到的數(shù)據(jù)，該禁止信息表示當(dāng)由再現(xiàn)裝置對(duì)疊加了附加圖像的上述幀圖像進(jìn)行再現(xiàn)時(shí)禁止附加圖像的疊加的幀圖像的區(qū)域； 分離機(jī)構(gòu)，從上述數(shù)據(jù)中分離上述幀圖像和上述禁止信息； 取得機(jī)構(gòu)，取得上述附加圖像；以及 疊加機(jī)構(gòu)，基于上述禁止信息對(duì)上述幀圖像疊加上述附加圖像。
30.一種廣播通信協(xié)作系統(tǒng)，由數(shù)據(jù)生成裝置、廣播裝置、服務(wù)提供裝置和接收裝置構(gòu)成，其特征在于， 上述數(shù)據(jù)生成裝置具備: 取得機(jī)構(gòu)，取得主聲音； 設(shè)定機(jī)構(gòu)，設(shè)定禁止信息，該禁止信息表示當(dāng)由再現(xiàn)裝置對(duì)合成了附加聲音的上述主聲音進(jìn)行再現(xiàn)時(shí)禁止附加聲音的合成的主聲音的區(qū)間；以及復(fù)用機(jī)構(gòu)，將上述主聲音與上述禁止信息復(fù)用而生成數(shù)據(jù)； 上述廣播裝置通過廣播路徑傳送上述數(shù)據(jù)； 上述服務(wù)提供裝置通過通信路徑傳送上述附加聲音； 上述接收裝置具備: 接收機(jī)構(gòu)，接收將禁止信息和上述主聲音復(fù)用而得到的數(shù)據(jù)，該禁止信息表示當(dāng)由再現(xiàn)裝置對(duì)合成了附加聲音的主聲音進(jìn)行再現(xiàn)時(shí)禁止附加聲音的合成的主聲音的區(qū)間； 分離機(jī)構(gòu)，從上述數(shù)據(jù)中分離上述主聲音和上述禁止信息； 取得機(jī)構(gòu)，取得上述附加聲音；以及 合成機(jī)構(gòu)，基于上述禁止信息對(duì)上述主聲音合成上述附加聲音。
全文摘要
數(shù)據(jù)生成裝置(100)具備取得部(101)，取得幀圖像；設(shè)定部(109)，設(shè)定禁止信息，該禁止信息表示當(dāng)由再現(xiàn)裝置對(duì)疊加了附加圖像的上述幀圖像進(jìn)行再現(xiàn)時(shí)禁止附加圖像的疊加的幀圖像上的區(qū)域；復(fù)用部(104)，將上述幀圖像與上述禁止信息復(fù)用而生成數(shù)據(jù)。接收裝置(400)具備接收部(401)，接收將禁止信息和上述幀圖像復(fù)用而得到的數(shù)據(jù)；分離部(402)，從上述數(shù)據(jù)中分離上述幀圖像和上述禁止信息；取得部(409)，取得上述附加圖像；疊加部(407)，基于上述禁止信息對(duì)上述幀圖像疊加上述附加圖像。
文檔編號(hào)H04N21/435GK103155582SQ201280003309
公開日2013年6月12日 申請(qǐng)日期2012年8月8日 優(yōu)先權(quán)日2011年8月11日
發(fā)明者佐佐木泰治, 矢羽田洋, 小川智輝, 上坂靖, 持永和寬 申請(qǐng)人:松下電器產(chǎn)業(yè)株式會(huì)社