專利名稱：廣播系統(tǒng)、發(fā)送設(shè)備和發(fā)送方法、接收設(shè)備和接收方法以及程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及廣播系統(tǒng)、發(fā)送設(shè)備和發(fā)送方法、接收設(shè)備和接收方法以及程序，并且 更具體地，例如涉及使得可能在廣播系統(tǒng)的接收側(cè)執(zhí)行適當(dāng)?shù)奶幚淼膹V播系統(tǒng)、發(fā)送設(shè)備 和發(fā)送方法、接收設(shè)備和接收方法以及程序。
背景技術(shù)：
例如，在用于模擬廣播或數(shù)字廣播的當(dāng)前的廣播系統(tǒng)中，在發(fā)送側(cè)上的廣播站中 將圖像和聲音編輯為素材數(shù)據(jù)(material data)。所編輯的圖像和聲音被作為節(jié)目廣播。另一方面，例如，在接收側(cè)上的每個(gè)家庭中，通過TV(電視機(jī))等執(zhí)行從廣播站廣 播的節(jié)目的輸出(即，作為節(jié)目的圖像的顯示和聲音的輸出)。注意到，當(dāng)關(guān)注一個(gè)節(jié)目時(shí)，作為廣播站中執(zhí)行的編輯的結(jié)果獲得的一個(gè)類型的 圖像和聲音在當(dāng)前廣播系統(tǒng)中被作為一個(gè)節(jié)目廣播。因此，在接收側(cè)上的用戶只能欣賞一 個(gè)類型的圖像和聲音。然而，對于用戶參與的要求潛在地存在，例如，關(guān)于如戲劇節(jié)目之類的一個(gè)節(jié)目， 用戶希望從用戶的喜愛人物的角度觀看戲劇節(jié)目的發(fā)展的要求，以及用戶希望故事發(fā)展取 決于角度而不同的要求。因此，本申請人之前已經(jīng)提出了一種數(shù)字廣播接收設(shè)備，其允許用戶從不同角度 任意選擇和監(jiān)視預(yù)先準(zhǔn)備的多個(gè)素材(例如，見專利文獻(xiàn)1)。[專利文獻(xiàn)1]日本未審查專利申請公開No.2006-21766
發(fā)明內(nèi)容
技術(shù)問題同時(shí)，例如如上所述在廣播站中編輯圖像和聲音。然而，沒有考慮接收側(cè)上提供的 TV的顯示屏幕執(zhí)行編輯，圖像要顯示在所述顯示屏幕中。因此，當(dāng)在接收側(cè)上提供的TV的顯示屏幕大時(shí)，以比在實(shí)際觀看臉的情況下臉的 尺寸更大的尺寸在TV上顯示人的臉，使得可能降低真實(shí)感。此外，例如，如上所述，在接收側(cè)上提供的TV上顯示在廣播站中編輯的所編輯的 圖像和聲音。此外，例如，當(dāng)在廣播站中執(zhí)行其中將大量插播(telop)與圖像組合的編輯時(shí)，即 使感覺使用插播的強(qiáng)調(diào)效果不必要的用戶(觀眾)也必須觀看與大量插播組合的圖像。已經(jīng)鑒于這樣的情況做出本發(fā)明，并且使得可能在廣播系統(tǒng)的接收側(cè)上執(zhí)行適當(dāng) 的處理，從而例如使得可能使用戶感覺到真實(shí)感，或者顯示適于用戶的偏好的圖像。技術(shù)方案根據(jù)本發(fā)明的第一方面的廣播系統(tǒng)是包括發(fā)送數(shù)據(jù)的發(fā)送設(shè)備和接收數(shù)據(jù)的接 收設(shè)備的廣播系統(tǒng)。所述發(fā)送設(shè)備包括發(fā)送裝置，用于發(fā)送由傳感器獲取的素材數(shù)據(jù)，以及
6用于以所述接收設(shè)備處理素材數(shù)據(jù)的附加信息。所述接收設(shè)備包括接收裝置，用于接收所 述素材數(shù)據(jù)和所述附加信息；生成裝置，用于基于所述素材數(shù)據(jù)和所述附加信息生成輸出 數(shù)據(jù)；以及輸出裝置，用于基于所述輸出數(shù)據(jù)產(chǎn)生輸出。在如上所述的第一方面中，所述發(fā)送設(shè)備發(fā)送由傳感器獲取的素材數(shù)據(jù)，以及用 于以所述接收設(shè)備處理所述素材數(shù)據(jù)的附加信息。所述接收設(shè)備接收所述素材數(shù)據(jù)和所述 附加信息，并且基于所述素材數(shù)據(jù)和所述附加信息生成輸出數(shù)據(jù)。然后，基于所述輸出數(shù)據(jù) 產(chǎn)生輸出。根據(jù)本發(fā)明的第二方面的發(fā)送設(shè)備或程序是這樣的發(fā)送設(shè)備或程序，所述發(fā)送設(shè) 備與接收數(shù)據(jù)的接收設(shè)備一起配置廣播系統(tǒng)，并且所述發(fā)送設(shè)備發(fā)送數(shù)據(jù)，所述程序用于 使得計(jì)算機(jī)用作發(fā)送設(shè)備。所述發(fā)送設(shè)備包括發(fā)送裝置，用于發(fā)送由傳感器獲取的素材數(shù) 據(jù)，以及用于以所述接收設(shè)備處理所述素材數(shù)據(jù)的附加信息。根據(jù)本發(fā)明的第二方面的發(fā)送方法是用于發(fā)送設(shè)備的發(fā)送方法，所述發(fā)送設(shè)備與 接收數(shù)據(jù)的接收設(shè)備一起配置廣播系統(tǒng)，并且所述發(fā)送設(shè)備發(fā)送數(shù)據(jù)。所述發(fā)送方法包括 步驟以所述發(fā)送設(shè)備發(fā)送由傳感器獲取的素材數(shù)據(jù)，以及用于以所述接收設(shè)備處理所述 素材數(shù)據(jù)的附加信息。在如上所述的第二方面中，發(fā)送由傳感器獲取的素材數(shù)據(jù)，以及用于以所述接收 設(shè)備處理所述素材數(shù)據(jù)的附加信息。根據(jù)本發(fā)明的第三方面的接收設(shè)備或程序是這樣的接收設(shè)備或程序，所述接收設(shè) 備與發(fā)送數(shù)據(jù)的發(fā)送設(shè)備一起配置廣播系統(tǒng)，并且接收數(shù)據(jù)，所述程序用于使得計(jì)算機(jī)用 作接收設(shè)備。在所述發(fā)送設(shè)備發(fā)送由傳感器獲取的素材數(shù)據(jù)，以及用于以所述接收設(shè)備處 理所述素材數(shù)據(jù)的附加信息的情況下，所述接收設(shè)備包括接收裝置，用于接收所述素材數(shù) 據(jù)和所述附加信息；生成裝置，用于基于所述素材數(shù)據(jù)和所述附加信息生成輸出數(shù)據(jù)；以 及輸出裝置，用于基于所述輸出數(shù)據(jù)產(chǎn)生輸出。根據(jù)本發(fā)明的第三方面的接收方法是用于接收設(shè)備的接收方法，所述接收設(shè)備與 發(fā)送數(shù)據(jù)的發(fā)送設(shè)備一起配置廣播系統(tǒng)，并接收數(shù)據(jù)。所述接收方法包括以下步驟在所述 發(fā)送設(shè)備發(fā)送由傳感器獲取的素材數(shù)據(jù)，以及用于以所述接收設(shè)備處理所述素材數(shù)據(jù)的附 加信息的情況下，以所述接收設(shè)備，接收所述素材數(shù)據(jù)和所述附加信息；基于所述素材數(shù)據(jù) 和所述附加信息生成輸出數(shù)據(jù)；以及以用于產(chǎn)生輸出的輸出部件，基于所述輸出數(shù)據(jù)產(chǎn)生 輸出。在如上所述的第三方面中，接收素材數(shù)據(jù)和附加信息，并且基于素材數(shù)據(jù)和附加 信息生成輸出數(shù)據(jù)。然后通過用于產(chǎn)生輸出的輸出裝置，基于所述輸出數(shù)據(jù)產(chǎn)生輸出。注意到，可以通過經(jīng)由傳輸介質(zhì)傳輸或通過記錄在記錄介質(zhì)上來提供程序。此外，發(fā)送設(shè)備和接收設(shè)備可以是獨(dú)立的設(shè)備，或者可以是配置一個(gè)設(shè)備的內(nèi)部 塊。此外，數(shù)據(jù)的發(fā)送(廣播)(傳輸)還可以經(jīng)由有線或無線傳輸介質(zhì)執(zhí)行，或者還 可以經(jīng)由混合的有線和無線傳輸介質(zhì)執(zhí)行。有益效果根據(jù)本發(fā)明的第一到第三方面，可以在廣播系統(tǒng)的接收側(cè)上執(zhí)行適當(dāng)?shù)奶幚怼?br>

圖1是圖示應(yīng)用本發(fā)明的廣播系統(tǒng)的實(shí)施例的配置示例的框圖。圖2是圖示發(fā)送設(shè)備11的配置示例的框圖。圖3包括用于說明各條素材數(shù)據(jù)和效果信息的圖。圖4是用于說明切換信息的圖。圖5是用于說明顯示視角信息的圖。圖6是用于說明用于組合的數(shù)據(jù)的圖。圖7是用于說明真實(shí)世界信息的圖。圖8是用于說明發(fā)送處理的流程圖。圖9是圖示接收設(shè)備12的配置示例的框圖。圖10是用于說明接收處理的流程圖。圖11是用于說明真實(shí)模式處理中提供到生成部件54的數(shù)據(jù)的圖。圖12是圖示執(zhí)行真實(shí)模式處理的生成部件54的配置示例的框圖。圖13包括示意性地圖示其中圖像捕獲對象的圖像由相機(jī)捕獲的狀態(tài)，以及在作 為顯示裝置的輸出部件55上的顯示狀態(tài)的圖。圖14包括示意性地圖示其中圖像捕獲對象的圖像由使用光學(xué)變焦的相機(jī)捕獲的 狀態(tài)，以及在作為顯示裝置的輸出部件55上的顯示狀態(tài)的圖。圖15包括示意性地圖示其中圖像捕獲對象的圖像由使用數(shù)字變焦的相機(jī)捕獲的 狀態(tài)，以及在作為顯示裝置的輸出部件55上的顯示狀態(tài)的圖。圖16包括圖示在作為顯示裝置的輸出部件55上顯示的圖像的圖。圖17是用于說明真實(shí)模式處理的流程圖。圖18是用于說明在娛樂模式處理中提供到生成部件54的數(shù)據(jù)的圖。圖19是圖示執(zhí)行娛樂模式處理的生成部件54的配置示例的框圖。圖20是圖示圖像處理單元84的配置示例的框圖。圖21是圖示接收設(shè)備12的另一配置示例的框圖。圖22是圖示應(yīng)用本發(fā)明的計(jì)算機(jī)系統(tǒng)的實(shí)施例的配置示例的框圖。附圖標(biāo)記的說明11發(fā)送設(shè)備，12接收設(shè)備，13傳輸介質(zhì)，31傳感器部件，32編輯裝置，33編碼部 件，34發(fā)送部件，51接收部件，52解碼部件，53分離部件，54生成部件，55輸出部件，56輸 入部件，71BF，72附加信息分析單元，73圖像處理單元，81圖像數(shù)據(jù)BF，82附加信息分析單 元，83要組合的數(shù)據(jù)BF，84圖像處理單元，91圖像選擇部分，92指令選擇部分，93顯示區(qū)域 設(shè)置部分，94門部分，95疊加處理部分，101生成部件，102輸出部件，103輸入部件，111生 成部件，112輸出部件，113輸入部件，201總線，202CPU，203R0M, 204RAM, 205硬盤，206輸出 單元，207輸入單元，208通信單元，209驅(qū)動(dòng)器，210輸入/輸出接口，211可移除記錄介質(zhì)。
具體實(shí)施例方式圖1圖示應(yīng)用本發(fā)明的廣播系統(tǒng)(術(shù)語“系統(tǒng)”指多個(gè)設(shè)備的邏輯集合，而無論具 有單獨(dú)配置的設(shè)備是否駐留在相同外殼中)的實(shí)施例的配置示例。在圖1中，廣播系統(tǒng)包括發(fā)送設(shè)備11和接收設(shè)備12。
發(fā)送設(shè)備11例如被放置在廣播站中，并且經(jīng)由如地面波、衛(wèi)星電路、因特網(wǎng)或 CATV(有線電視)之類的傳輸介質(zhì)13發(fā)送作為節(jié)目的各種類型的數(shù)據(jù)。接收設(shè)備12例如被放置在家中，并且接收經(jīng)由傳輸介質(zhì)13從發(fā)送設(shè)備11發(fā)送的 數(shù)據(jù)。注意到，接收設(shè)備12能夠用作例如TV。此外，在廣播系統(tǒng)中，發(fā)送設(shè)備11的數(shù)目不限于一個(gè)，并且可以提供多個(gè)發(fā)送設(shè) 備11。類似的配置也應(yīng)用于接收設(shè)備12。圖2圖示圖1中圖示的發(fā)送設(shè)備11的配置示例。在圖2中，發(fā)送設(shè)備11包括傳感器部件31、編輯裝置32、編碼部件33和發(fā)送部件 34。注意到，傳感器部件31和編輯裝置32可以被作為不同于發(fā)送設(shè)備11的設(shè)備而提{共。傳感器部件31獲得用作以編輯裝置32編輯時(shí)的素材的素材數(shù)據(jù)，并且將素材數(shù) 據(jù)提供到編輯裝置32和編碼部件33。這里，一種類型的傳感器、一種類型的多個(gè)傳感器或多個(gè)類型的多個(gè)傳感器可以 用作傳感器部件31。此外，傳感器的示例類型包括感測光并且輸出圖像(捕獲圖像)的相機(jī)、感測音頻 并且輸出聲音(收集音頻)的麥克風(fēng)、以及獨(dú)立地感測溫度、濕度、氣流方向、氣流速度、振 動(dòng)、亮度等的傳感器。在相機(jī)的情況下，捕獲圖像，并且將圖像(數(shù)據(jù))輸出為素材數(shù)據(jù)。此外，在麥克 風(fēng)的情況下，收集音頻，并且將聲音(數(shù)據(jù))輸出為素材數(shù)據(jù)。此外，在感測溫度、濕度、氣 流方向、氣流速度、振動(dòng)和亮度的相應(yīng)的一個(gè)的每個(gè)傳感器的情況下，輸出指示溫度、濕度、 氣流方向、氣流速度、振動(dòng)和亮度的相應(yīng)的一個(gè)的數(shù)據(jù)作為素材數(shù)據(jù)。編輯裝置32基于從傳感器部件31提供的素材數(shù)據(jù)，生成要用于以接收設(shè)備12處 理素材數(shù)據(jù)的附加信息，并且將附加信息提供到編碼部件33。這里，附加信息包括指示真實(shí)世界中已經(jīng)由傳感器部件31感測的目標(biāo)的物理量 的真實(shí)世界信息，以及作為要用于處理素材數(shù)據(jù)的信息的效果信息。例如，根據(jù)由在廣播站中制作節(jié)目的節(jié)目制作者操作編輯裝置32執(zhí)行的操作，生 成效果信息。生成真實(shí)世界信息而無論由節(jié)目制作者執(zhí)行的操作如何。注意到，在編輯裝置32中，為每個(gè)類型的素材數(shù)據(jù)生成附加信息。因此，當(dāng)在傳感 器部件31中采用多個(gè)類型的傳感器，并且從傳感器部件31提供多個(gè)類型的素材數(shù)據(jù)到編 碼部件33時(shí)，從編輯裝置32提供對應(yīng)于多個(gè)類型的素材數(shù)據(jù)中的每一個(gè)的附加信息到編 碼部件33。編碼部件33編碼從傳感器部件31提供的素材數(shù)據(jù)和從編輯裝置32提供的附加 信息。注意到，編碼部件33根據(jù)需要對素材數(shù)據(jù)和已編碼數(shù)據(jù)執(zhí)行多路復(fù)用。然后，編碼 部件33將作為編碼的結(jié)果獲得的已編碼數(shù)據(jù)提供到發(fā)送部件34。發(fā)送部件34經(jīng)由傳輸介質(zhì)13(圖1)發(fā)送從編碼部件33提供的已編碼數(shù)據(jù)，即， 通過傳感器部件31獲取的素材數(shù)據(jù)和通過編輯裝置32生成的附加信息。
接下來，將描述通過編輯裝置32生成的附加信息中包括的效果信息。圖3圖示各條素材數(shù)據(jù)和對應(yīng)于各條素材數(shù)據(jù)的效果信息。換句話說，圖3的部分A圖示提供為各條素材數(shù)據(jù)的多個(gè)圖像流(運(yùn)動(dòng)圖像)。例如，當(dāng)通過編輯作為復(fù)數(shù)的N個(gè)圖像流S#1、S#2、...和S#N配置某一節(jié)目的圖 像時(shí)，N個(gè)圖像流S#1到S#N用作用于節(jié)目的圖像的多條素材數(shù)據(jù)。這里，N個(gè)圖像流S#1到S#N可以是由作為N個(gè)傳感器提供的N個(gè)相機(jī)單獨(dú)獲取 的圖像，或者可以是由作為M個(gè)傳感器(M小于N(并且等于或大于一))提供的M(<N)個(gè) 相機(jī)獲取的圖像。換句話說，例如，可以采用通過在不同時(shí)間以一個(gè)相機(jī)捕獲不同位置的風(fēng)景的圖 像獲得的N個(gè)圖像流作為N個(gè)圖像流S#1到S#N。此外，可以采用為N個(gè)圖像流S#1到S#N的N個(gè)圖像流如下例如通過以N個(gè)相機(jī) 單獨(dú)捕獲整個(gè)管弦樂隊(duì)、指揮、演奏具體樂器的演奏者、觀眾等的圖像獲得的N個(gè)圖像流； 在如足球報(bào)道之類的體育報(bào)道中通過單獨(dú)捕獲整個(gè)體育場、計(jì)分牌、具體球員、觀眾等的圖 像獲得的N個(gè)圖像流；以及在音樂節(jié)目等中通過單獨(dú)捕獲整個(gè)演播室、每個(gè)演員等的圖像 獲得的N個(gè)圖像流。圖3的部分B圖示與作為圖3的部分A中圖示的各條素材數(shù)據(jù)的N個(gè)圖像流S#1 到S#N對應(yīng)的效果信息。該效果信息例如包括切換信息、顯示圖像幀信息、用于組合的數(shù)據(jù)等。切換信息例如是用于通過從作為各條素材數(shù)據(jù)的N個(gè)圖像流S#1到S#N當(dāng)中選擇 一個(gè)圖像流，而在接收設(shè)備12的下述顯示裝置上顯示的圖像當(dāng)中進(jìn)行切換的信息。顯示圖像幀信息例如指示與作為素材數(shù)據(jù)的圖像(在圖3中，圖像S#1到S#N當(dāng) 中的一個(gè)圖像流)的要在接收設(shè)備12的顯示裝置上顯示的部分對應(yīng)的區(qū)域。用于組合的數(shù)據(jù)例如是要用于與作為素材數(shù)據(jù)的圖像(在圖3中，圖像S#1到S#N 當(dāng)中的一個(gè)圖像流)組合的數(shù)據(jù)，并且包括要與圖像進(jìn)行組合的要組合的數(shù)據(jù)。這里，要組合的數(shù)據(jù)的示例包括關(guān)于要使用畫中畫在小屏幕中顯示的圖像(下文 中，稱為PinP圖像)的數(shù)據(jù)(用于畫中畫的數(shù)據(jù))、關(guān)于插播的數(shù)據(jù)(關(guān)于字幕的數(shù)據(jù))寸。接下來，將參照圖4描述包括在圖3中圖示的效果信息中的切換信息。例如，如上所述，當(dāng)通過編輯N個(gè)圖像流S#1到S#N配置某一節(jié)目A的圖像時(shí)，切 換信息是用于通過從N個(gè)圖像流S#1到S#N當(dāng)中選擇一個(gè)圖像流，而在接收設(shè)備12的顯示 裝置上顯示的圖像當(dāng)中進(jìn)行切換的信息。例如，在圖2中圖示的編輯裝置32中，如圖4所示，根據(jù)節(jié)目制作者執(zhí)行的操作， 通過將在從時(shí)間碼tsl到時(shí)間碼的范圍中作為一條素材數(shù)據(jù)的圖像S#l、在從時(shí)間碼ts2 到時(shí)間碼te2的范圍中作為一條素材數(shù)據(jù)的圖像S#2、在從時(shí)間碼ts3到時(shí)間碼te3的范圍中 作為一條素材數(shù)據(jù)的圖像S#3、在從時(shí)間碼ts4到時(shí)間碼te4的范圍中作為一條素材數(shù)據(jù)的
圖像S#1......相互順序連接，來執(zhí)行剪切和編輯，從而制作某一節(jié)目A(的圖像)。在此情
況下，例如，通過其將配置節(jié)目A的圖像的各條素材數(shù)據(jù)和各條素材數(shù)據(jù)的時(shí)間碼指定在 節(jié)目A中的各個(gè)時(shí)間的信息用作切換信息。注意到，在編輯裝置32中，當(dāng)如換景(wipe)的特定效果被提供到某一圖像流S#i
10和另一圖像流#i’之間的連接(所謂的編輯點(diǎn))時(shí)，切換信息包括關(guān)于特定效果的信息。接下來，將參照圖5描述包括在圖3中圖示的效果信息中的顯示圖像幀信息。如上所述，顯示圖像幀信息例如指示與作為素材數(shù)據(jù)的圖像的要在接收設(shè)備12 的顯示裝置上顯示的部分對應(yīng)的區(qū)域。換句話說，例如，當(dāng)素材數(shù)據(jù)是圖像時(shí)，可以在編輯裝置32中執(zhí)行編輯，其中考慮 與作為素材數(shù)據(jù)的圖像的一部分對應(yīng)的矩形區(qū)域作為與圖像的要在接收設(shè)備12的顯示裝 置上顯示的部分對應(yīng)的區(qū)域(下文中，稱為顯示區(qū)域)，如圖5所示，根據(jù)節(jié)目制作者執(zhí)行的 操作確定圖像的該部分為用于節(jié)目的圖像。在此情況下，在編輯裝置32中，節(jié)目制作者可以使用作為素材數(shù)據(jù)的圖像的區(qū)域 作為最大區(qū)域，并且可以制作節(jié)目，就像節(jié)目制作者已經(jīng)通過在該區(qū)域中使用搖攝(pan) 操作、傾斜操作或變焦操作來操作相機(jī)而捕獲了圖像一樣。這里，最大顯示區(qū)域是作為素材數(shù)據(jù)的圖像的區(qū)域。因此，作為傳感器部件31 (圖 2)提供的相機(jī)的視角被設(shè)為最大視角(在最寬的角度側(cè))，并且捕獲圖像，從而可以最大化 顯示區(qū)域的尺寸。注意到，可以用其指定顯示區(qū)域的任何信息可以用作顯示視角信息。換句話說，例如，關(guān)于作為素材數(shù)據(jù)的圖像的區(qū)域定義坐標(biāo)系統(tǒng)，并且在該坐標(biāo)系 統(tǒng)中，顯示區(qū)域的一個(gè)頂點(diǎn)和與該頂點(diǎn)對角地相對的頂點(diǎn)之間的坐標(biāo)、顯示區(qū)域的一個(gè)頂 點(diǎn)和顯示區(qū)域的水平和垂直長度的坐標(biāo)等可以用作顯示視角信息。此外，例如，位于預(yù)定位置并且具有預(yù)定尺寸的顯示區(qū)域可以被確定為默認(rèn)顯示 區(qū)域，并且由節(jié)目制作者在編輯時(shí)對默認(rèn)顯示區(qū)域執(zhí)行的搖攝操作、傾斜操作和變焦操作 的歷史可以用作顯示視角信息。接下來，將參照圖6描述包括在圖3中圖示的效果信息中的用于組合的數(shù)據(jù)。如上所述，用于組合的數(shù)據(jù)是要用于與素材數(shù)據(jù)組合的數(shù)據(jù)。用于組合的數(shù)據(jù)包 括要與素材數(shù)據(jù)進(jìn)行組合的要組合的數(shù)據(jù)，以及指示執(zhí)行使用要組合的數(shù)據(jù)的組合的定時(shí) 的定時(shí)信息。換句話說，例如，素材數(shù)據(jù)是圖像，并且在圖2圖示的編輯裝置32中，根據(jù)由節(jié)目 制作者執(zhí)行的操作，執(zhí)行其中PinP圖像或插播重疊在作為素材數(shù)據(jù)的圖像上(與圖像組 合)的編輯，從而制作節(jié)目。在此情況下，PinP圖像或插播用作要組合的數(shù)據(jù)。此外，指示用作要組合的數(shù)據(jù)的PinP圖像或插播在其上重疊的時(shí)間(例如，重疊 開始的時(shí)間和重疊結(jié)束的時(shí)間)的信息(例如，用于節(jié)目的時(shí)間碼)用作定時(shí)信息。注意到，用于組合的數(shù)據(jù)另外包括例如關(guān)于用作要組合的數(shù)據(jù)的PinP圖像或插 播在圖像上重疊的位置的信息。此外，例如，當(dāng)素材數(shù)據(jù)是聲音時(shí)，BGM(背景音樂)等用作用于組合的數(shù)據(jù)。當(dāng)某一類型的素材數(shù)據(jù)是聲音并且該聲音是伴隨作為另一類型的素材數(shù)據(jù)的圖 像(運(yùn)動(dòng)圖像)的聲音時(shí)，指示關(guān)于聲音的時(shí)間的信息也可以用作用于作為要與聲音組合 的BGM的定時(shí)信息，并且還可以采用伴隨聲音的圖像的時(shí)間碼。接下來，將描述包括在通過編輯裝置32(圖2)生成的附加信息中的真實(shí)世界信 息。如上所述，真實(shí)世界信息是指示真實(shí)世界中已經(jīng)由傳感器部件31 (圖2)感測的目標(biāo)的物理量的信息。例如，當(dāng)傳感器部件31是相機(jī)時(shí)，指示通過相機(jī)捕獲其圖像的圖像捕 獲目標(biāo)(下文中，也稱為圖像捕獲對象)的位置的圖像捕獲范圍的圖像捕獲范圍信息等被 包括在真實(shí)世界信息中。這里，將參照圖7描述相機(jī)的圖像捕獲范圍。圖7是示意性圖示通過相機(jī)捕獲圖像的狀態(tài)的頂視圖?，F(xiàn)在，為了描述的簡化，假設(shè)相機(jī)的光學(xué)系統(tǒng)(一組鏡頭)沒有失真 (distortion) 0假設(shè)相機(jī)的視角(下文中，也稱為“相機(jī)視角”)在水平方向是Θ。此外， 假設(shè)從相機(jī)到圖像捕獲對象的距離(下文中，也稱為“對象距離”)是X。注意到，假設(shè)相機(jī)視角θ是已知的。此外，可以利用例如所謂的自動(dòng)對焦技術(shù)測量對象距離X。換句話說，可以使用例如紅外線傳感器或聲納測量對象距離X。此外，可以利用對 比度檢測方案、相差檢測方案等測量對象距離X，在對比度檢測方案中，調(diào)整焦點(diǎn)使得要通 過相機(jī)捕獲的圖像的對比度最大化，在相差檢測方案中，調(diào)整焦點(diǎn)使得除去要通過相機(jī)捕 獲的圖像的相位之間的差。注意到，在當(dāng)執(zhí)行使用相機(jī)的圖像捕獲時(shí)預(yù)先已知對象距離X的情況下，對象距 離X的測量不必要?，F(xiàn)在，為了描述的簡化，在圖像捕獲對象的位置捕獲其圖像的真實(shí)世界的水平和 垂直長度之間，例如，僅關(guān)注于水平長度。假設(shè)水平長度是在圖像捕獲對象的位置的圖像捕 獲范圍D?？梢允褂孟鄼C(jī)視角θ和對象距離X根據(jù)等式D = 2XXXtan(e/2)確定圖像捕 獲范圍D。因此，除了作為素材數(shù)據(jù)的圖像，圖2中圖示的編輯裝置32還從作為傳感器部件 31提供的相機(jī)獲取相機(jī)視角θ和對象距離X。編輯裝置32根據(jù)相機(jī)視角θ和對象距離 X確定圖像捕獲范圍D。然后，編輯裝置32使得圖像捕獲范圍D作為圖像捕獲范圍信息被 包括在真實(shí)世界信息中，并且提供真實(shí)世界信息到編碼部件33。接下來，將參照圖8描述由圖2中圖示的發(fā)送設(shè)備11執(zhí)行的處理(發(fā)送處理)。在發(fā)送設(shè)備11中，由傳感器部件31獲取的素材數(shù)據(jù)被提供到編輯裝置32和編碼 部件33。在編輯裝置32中，基于從傳感器部件31提供的素材數(shù)據(jù)等生成包括效果信息和 真實(shí)世界信息之一或效果信息和真實(shí)世界信息兩者的附加信息，并且將附加信息提供到編 碼部件33。當(dāng)如上所述將素材數(shù)據(jù)從傳感器部件31提供到編碼部件33，并且將附加信息從 編輯裝置32提供到編碼部件33時(shí)，在步驟S11，編碼部件33編碼從傳感器部件31提供的 素材數(shù)據(jù)和從編輯裝置32提供的附加信息。編碼部件33將作為編碼的結(jié)果獲得的已編碼 數(shù)據(jù)提供到發(fā)送部件34，并且處理進(jìn)到步驟S12。在步驟S12，發(fā)送部件34經(jīng)由傳輸介質(zhì)13(圖1)發(fā)送已經(jīng)從編碼部件33提供的 已編碼數(shù)據(jù)。接下來，圖9圖示圖1中圖示的接收設(shè)備12的配置示例。在圖9中，接收設(shè)備12包括接收部件51、解碼部件52、分離部件53、生成部件54、輸出部件55和輸入部件56。注意到，可以作為不同于接收設(shè)備12的設(shè)備提供輸出部件55和輸入部件56。接收部件51接收經(jīng)由傳輸介質(zhì)13從發(fā)送設(shè)備11發(fā)送的已編碼數(shù)據(jù)(即，素材數(shù) 據(jù)和附加信息)，并且將已編碼數(shù)據(jù)提供到解碼部件52。解碼部件52解碼從接收部件51提供的已編碼數(shù)據(jù)以獲得數(shù)據(jù)，并且將數(shù)據(jù)提供 到分離部件53。分離部件53將從解碼部件52提供的數(shù)據(jù)分離為素材數(shù)據(jù)和附加信息，并且將素 材數(shù)據(jù)和附加信息提供到生成部件54。生成部件54基于從分離部件53提供的素材數(shù)據(jù)和附加信息生成輸出數(shù)據(jù)，并且 將輸出數(shù)據(jù)提供到輸出部件55。輸出部件55基于從生成部件54提供的輸出數(shù)據(jù)產(chǎn)生預(yù)定輸出。這里，可以采用刺激人的五感的裝置作為輸出部件55。換句話說，刺激視覺感的裝置(如顯示圖像的顯示裝置或發(fā)光的照明裝置)可以 用作輸出部件55。此外，刺激聽覺感的裝置(如發(fā)出聲音的揚(yáng)聲器)可以用作輸出部件55。此外，刺激觸覺感的裝置(如可以對于溫度、濕度和氣流執(zhí)行所謂的空氣調(diào)節(jié)(空 氣調(diào)整)(空氣平衡)的空調(diào)器或提供振動(dòng)的搖動(dòng)裝置)可以用作輸出部件55。輸入部件56由使用接收設(shè)備12的用戶操作。當(dāng)用戶操作輸入部件56以提供指令 時(shí)，輸入部件56接收由用戶提供的指令，并且將指示指令的指令信息提供到生成部件54。這里，當(dāng)將指令信息從輸入部件56提供到生成部件54時(shí)，生成部件54基于該指 令信息生成輸出數(shù)據(jù)。接下來，將參照圖10描述由圖9中圖示的接收設(shè)備12執(zhí)行的處理(接收處理)。接收部件51等待經(jīng)由傳輸介質(zhì)13從發(fā)送設(shè)備11發(fā)送的已編碼數(shù)據(jù)。在步驟S31， 接收部件51接收已編碼數(shù)據(jù)，并且將已編碼數(shù)據(jù)提供到解碼部件52。處理進(jìn)到步驟S32。在步驟S32，解碼部件52解碼從接收部件51提供的已編碼數(shù)據(jù)以獲得數(shù)據(jù)，并且 將數(shù)據(jù)提供到分離部件53。處理進(jìn)到步驟S33。在步驟S33，分離部件53將已經(jīng)從解碼部件52提供的數(shù)據(jù)(已解碼數(shù)據(jù))分離為 素材數(shù)據(jù)和附加信息，并且將素材數(shù)據(jù)和附加信息提供到生成部件54。處理進(jìn)到步驟S34。在步驟S34，生成部件54基于從分離部件53提供的素材數(shù)據(jù)和附加信息生成輸出 數(shù)據(jù)，并且將輸出數(shù)據(jù)提供到輸出部件55。處理進(jìn)到步驟S35。在步驟S35，輸出部件55基于從生成部件54提供的輸出數(shù)據(jù)產(chǎn)生預(yù)定輸出。如上所述，在圖9圖示的接收設(shè)備12中，通過生成部件54基于素材數(shù)據(jù)和附加信 息執(zhí)行生成輸出數(shù)據(jù)的處理。該處理包括多個(gè)處理，并且多個(gè)處理被分類為真實(shí)模式處理 和娛樂模式處理。換句話說，真實(shí)世界信息和效果信息被包括在附加信息中。在生成輸出數(shù)據(jù)的多 個(gè)處理當(dāng)中，使用真實(shí)世界信息執(zhí)行的處理是真實(shí)模式處理，并且使用效果信息執(zhí)行的處 理是娛樂模式處理。在下文中，將描述真實(shí)模式處理和娛樂模式處理。圖11圖示當(dāng)接收設(shè)備12執(zhí)行真實(shí)模式處理時(shí)提供到生成部件54的數(shù)據(jù)(信息)。在真實(shí)模式處理中，將素材數(shù)據(jù)和包括在附加信息中的真實(shí)世界信息從分離部件
1353提供到生成部件54。此外，在真實(shí)模式處理中，當(dāng)用戶操作輸入部件56以便提供變焦指令時(shí)，將與該 操作對應(yīng)的指令信息從輸入部件56提供到生成部件54。此外，在真實(shí)模式處理中，將指示輸出部件55的特性的特性信息例如從輸出部件 55提供到生成部件54。然后，在真實(shí)模式處理中，生成部件54基于素材數(shù)據(jù)、真實(shí)世界信息和關(guān)于輸出 部件55的特性信息生成輸出數(shù)據(jù)，使得從輸出部件55的輸出識別的物理量將被標(biāo)識為由 真實(shí)世界信息指示的物理量。這里，當(dāng)從輸入部件56提供指令信息到生成部件54時(shí)，生成部件54還基于指令 信息生成輸出數(shù)據(jù)。注意到，對于真實(shí)模式處理，可以配置接收設(shè)備12而不提供輸入部件56。當(dāng)配置 接收設(shè)備12而不提供輸入部件56時(shí)，沒有指令信息被提供到生成部件54。接下來，例如，假設(shè)輸出部件55是顯示裝置，并且輸出數(shù)據(jù)是要在作為顯示裝置 的輸出部件55上顯示的圖像，將描述真實(shí)模式處理。這里，假設(shè)參照圖7描述的圖像捕獲范圍信息D被包括在真實(shí)世界信息中。此外， 假設(shè)指示顯示屏幕的尺寸的尺寸信息F被包括在特性信息中，作為顯示裝置的輸出部件55 在所述顯示屏幕中顯示圖像。注意到，這里，為了描述的簡化，例如，假設(shè)尺寸信息F在作為顯示裝置的輸出部 件55的顯示屏幕的水平和垂直長度之間指示水平長度，如在圖像捕獲范圍信息D (圖像捕 獲范圍D)的情況下。圖12圖示在接收設(shè)備12執(zhí)行真實(shí)模式處理的情況下的生成部件54的配置示例。在圖12中，生成部件54包括BF (緩沖器)71、附加信息分析單元72和圖像處理單 元73。將作為素材數(shù)據(jù)的圖像從分離部件53(圖11)提供到BF 71。BF 71存儲作為從 分離部件53提供的素材數(shù)據(jù)的圖像。將包括在附加信息中的真實(shí)世界信息從分離部件53提供到附加信息分析單元
72。附加信息分析單元72分析從分離部件53提供的真實(shí)世界信息。附加信息分析單元72 例如提取被包括在真實(shí)世界信息中的圖像捕獲范圍信息D(圖7)，并且將圖像捕獲范圍信 息D提供到圖像處理單元73。如上所述，將圖像捕獲范圍信息D從附加信息分析單元72提供到圖像處理單元
73。此外，將在BF71中存儲的作為素材數(shù)據(jù)的圖像提供到圖像處理單元73。此外，將作為 關(guān)于顯示設(shè)備的特性信息的尺寸信息F從作為顯示裝置的輸出部件55 (圖11)提供到圖像 處理單元73。此外，當(dāng)用戶操作輸入部件56(圖11)以便提供變焦指令時(shí)，將與該操作對應(yīng)的指 令信息從輸入部件56提供到圖像處理單元73。圖像處理單元73基于從BF 71提供的作為素材數(shù)據(jù)的圖像、已經(jīng)從附加信息分析 單元72提供的圖像捕獲范圍信息D、以及從輸出部件55提供的作為特性信息的尺寸信息 F，來處理作為素材數(shù)據(jù)的圖像，從而生成作為輸出數(shù)據(jù)的圖像，使得從作為顯示裝置的輸 出部件55上顯示的圖像識別的對象(圖像捕獲對象)的尺寸將被標(biāo)識為真實(shí)世界中的圖像捕獲對象的尺寸。圖像處理單元73將輸出數(shù)據(jù)提供到作為顯示裝置的輸出部件55 (圖 11)。 此外，圖像處理單元73基于從BF 71提供的作為素材數(shù)據(jù)的圖像、已經(jīng)從附加信 息分析單元72提供的圖像捕獲范圍信息D、以及從輸出部件55提供的作為特性信息的尺寸 信息F，來處理作為素材數(shù)據(jù)的圖像，從而生成作為輸出數(shù)據(jù)的圖像，使得從作為顯示裝置 的輸出部件55上顯示的圖像識別的圖像捕獲對象的尺寸將不超過真實(shí)世界中的圖像捕獲 對象的尺寸。圖像處理單元73將輸出數(shù)據(jù)提供到作為顯示裝置的輸出部件55 (圖11)。
換句話說，當(dāng)從輸入部件56提供指令信息到圖像處理單元73時(shí)，圖像處理單元73 僅通過在從輸入部件56提供的指令信息中指定的變焦放大率執(zhí)行放大從BF 71提供的作 為素材數(shù)據(jù)的圖像的處理，從而生成輸出數(shù)據(jù)。然而，在此情況下，圖像處理單元73限制作為素材數(shù)據(jù)的圖像的放大率，使得從 作為顯示裝置的輸出部件55上顯示的圖像識別的圖像捕獲對象的尺寸將不超過真實(shí)世界 中的圖像捕獲對象的尺寸。注意到，假設(shè)在放大作為素材數(shù)據(jù)的圖像的情況下的放大率是顯示變焦放大率z， 在顯示變焦放大率ζ小于一(并且大于零)的情況下的放大意味著縮小。此外，在圖12中，假設(shè)將尺寸信息F從作為顯示裝置的輸出部件55提供到生成部 件54的圖像處理單元73。然而，另外地，尺寸信息F可以被例如預(yù)先存儲在生成部件54 中。接下來，將進(jìn)一步描述由圖像處理單元73執(zhí)行的處理。注意到，這里，為了描述的簡化，假設(shè)由顯示視角信息指示的顯示區(qū)域(圖5)等于 作為素材數(shù)據(jù)的圖像的整個(gè)區(qū)域。圖13示意性地圖示圖像捕獲對象的圖像由相機(jī)捕獲的狀態(tài)和在作為顯示裝置的 輸出部件55上顯示通過圖像捕獲獲得的作為素材數(shù)據(jù)的圖像的狀態(tài)。換句話說，圖13的部分A是示意性地圖示其中圖像由相機(jī)捕獲的狀態(tài)的頂視圖， 并且是與圖7相同的圖。如上所述，可以使用相機(jī)視角θ和對象距離X根據(jù)等式D = 2XXXtane/2確定 圖像捕獲范圍信息D。圖13的部分B圖示在作為顯示裝置的輸出部件55上顯示通過用如圖13的部分 A圖示的相機(jī)執(zhí)行圖像捕獲所獲得的作為素材數(shù)據(jù)的圖像而沒有放大的顯示狀態(tài)。 在作為顯示裝置的輸出部件55上，其尺寸由圖像捕獲范圍信息D指示的真實(shí)世界 被顯示在其尺寸由尺寸信息F指示的顯示屏幕中。因此，以作為真實(shí)世界中的圖像捕獲對象的尺寸的F/D倍的尺寸顯示圖像捕獲對象?，F(xiàn)在，假設(shè)圖像捕獲范圍信息D等于或大于尺寸信息F (F < D)，如果顯示變焦放大 率ζ等于或低于D/F，則在作為顯示裝置的輸出部件55上顯示的圖像捕獲對象的尺寸等于 或小于真實(shí)世界中的圖像捕獲對象的尺寸。因此，在圖像捕獲范圍信息D等于或大于尺寸信息F的情況下，如果顯示變焦放大 率ζ等于或小于D/F，則沒有出現(xiàn)因?yàn)樵谧鳛轱@示裝置的輸出部件55的圖像捕獲對象的顯 示在尺寸上比真實(shí)世界中圖像捕獲對象的尺寸更大，而造成的在作為顯示裝置的輸出部件55上顯示的圖像捕獲對象的真實(shí)性的不精確。因此，在圖像處理單元73 (圖12)中，在圖像捕獲范圍信息D等于或大于尺寸信息 F的情況下，當(dāng)執(zhí)行作為素材數(shù)據(jù)的圖像的放大時(shí)使用的顯示變焦放大率ζ限于等于或低 于 D/F。相反，在圖像捕獲范圍信息D小于尺寸信息F的情況下(F > D)，當(dāng)在作為顯示裝 置的輸出部件55上顯示作為素材數(shù)據(jù)的圖像，而不對圖像執(zhí)行任何處理時(shí)，在輸出部件55 上顯示的圖像捕獲對象的尺寸超過真實(shí)世界中圖像捕獲對象的尺寸。因此，當(dāng)以比真實(shí)世界中圖像捕獲對象的尺寸更大的尺寸在作為顯示裝置的輸出 部件55上顯示圖像捕獲對象時(shí)，失去在作為顯示裝置的輸出部件55上顯示圖像捕獲對象 的真實(shí)性，使得失去真實(shí)感。如上所述，例如，輸出部件55是具有大屏幕的顯示裝置的情況被視為圖像捕獲范 圍信息D小于尺寸信息F的情況。此外，例如，同樣在使用光學(xué)變焦或數(shù)字變焦捕獲作為素材數(shù)據(jù)的圖像的情況下， 圖像捕獲范圍信息D可能小于尺寸信息F。圖14示意性地圖示圖像捕獲對象的圖像由使用光學(xué)變焦的相機(jī)捕獲的狀態(tài)和在 作為顯示裝置的輸出部件55上顯示通過圖像捕獲獲得的作為素材數(shù)據(jù)的圖像的狀態(tài)。換句話說，圖14的部分A是示意性地圖示圖像由使用光學(xué)變焦的相機(jī)捕獲的狀態(tài) 的頂視圖。使用光學(xué)變焦減小(使得為更小)相機(jī)視角θ。結(jié)果，例如使得圖像捕獲范圍信 息D小于圖13的部分A中圖示的情況中的圖像捕獲范圍信息D。圖14的部分B圖示在作為顯示裝置的輸出部件55上顯示通過如圖14的部分A 圖示的圖像捕獲所獲得的作為素材數(shù)據(jù)的圖像的顯示狀態(tài)。在作為顯示裝置的輸出部件55上，在其尺寸由尺寸信息F指示的顯示屏幕中顯示 其尺寸由圖像捕獲范圍信息D指示的真實(shí)世界。在圖14中，圖像捕獲范圍信息D小于尺寸信息F。為此，以大于真實(shí)世界中的圖像 捕獲對象的尺寸的尺寸(以F/D倍的尺寸)在作為顯示裝置的輸出部件55上顯示圖像捕 獲對象。圖15示意性地圖示圖像捕獲對象的圖像由使用數(shù)字變焦的相機(jī)捕獲的狀態(tài)和在 作為顯示裝置的輸出部件55上顯示通過圖像捕獲獲得的作為素材數(shù)據(jù)的圖像的狀態(tài)。換句話說，圖15的部分A是示意性地圖示圖像由使用數(shù)字變焦的相機(jī)捕獲的狀態(tài) 的頂視圖。在數(shù)字變焦的情況下，通過修剪獲得的圖像被輸出為作為素材數(shù)據(jù)的圖像，其中 例如剪切通過相機(jī)捕獲的圖像的中心部分，并且通過信號處理進(jìn)行放大。關(guān)于使用數(shù)字變焦獲得的作為素材數(shù)據(jù)的圖像，減小相機(jī)視角θ，如在光學(xué)變焦 的情況下(圖14)。結(jié)果，例如使得圖像捕獲范圍信息D小于圖13的部分A中圖示的情況 中的圖像捕獲范圍信息D。圖15的部分B圖示在作為顯示裝置的輸出部件55上顯示如圖15的部分A圖示 的通過圖像捕獲所獲得的作為素材數(shù)據(jù)的圖像的顯示狀態(tài)。在作為顯示裝置的輸出部件55上，在其尺寸由尺寸信息F指示的顯示屏幕中顯示
16其尺寸由圖像捕獲范圍信息D指示的真實(shí)世界。在圖15中，圖像捕獲范圍信息D小于尺寸信息F。為此，以大于真實(shí)世界中的圖像 捕獲對象的尺寸的尺寸(以F/D倍的尺寸)在作為顯示裝置的輸出部件55上顯示圖像捕 獲對象。如上所述，當(dāng)使用光學(xué)變焦或數(shù)字變焦捕獲作為素材數(shù)據(jù)的圖像時(shí)，圖像捕獲范 圍信息D可能小于尺寸信息F。在此情況下，以大于真實(shí)世界中的圖像捕獲對象的尺寸的尺 寸顯示圖像捕獲對象，使得損失真實(shí)性。因此，在圖像處理單元73(圖12)中，在圖像捕獲范圍信息D小于尺寸信息F的情 況下，顯示變焦放大率ζ被設(shè)為D/F，并且作為素材數(shù)據(jù)的圖像放大D/F(這里，縮小圖像，因 為D/F小于一)。在此情況下，如果在圖像處理單元73中不執(zhí)行放大(縮小)則以真實(shí)世界中的圖 像捕獲對象的尺寸的F/D倍的尺寸顯示的圖像捕獲對象被以等于真實(shí)世界中的圖像捕獲 對象的尺寸的尺寸顯示。圖16圖示在圖像捕獲范圍信息D小于尺寸信息F的情況下，在作為顯示裝置的輸 出部件55上顯示的圖像。換句話說，圖16的部分A圖示在作為顯示裝置的輸出部件55上顯示使用光學(xué)變 焦捕獲的作為素材數(shù)據(jù)的圖像的顯示狀態(tài)。圖16的部分B圖示在作為顯示裝置的輸出部 件55上顯示使用數(shù)字變焦捕獲的作為素材數(shù)據(jù)的圖像的顯示狀態(tài)。在圖像捕獲范圍信息D小于尺寸信息F的情況下，圖像處理單元73設(shè)置顯示變焦 放大率ζ為D/F( < 1)，將作為素材數(shù)據(jù)的圖像放大D/F，并且將放大的圖像作為輸出數(shù)據(jù) 提供到輸出部件55。結(jié)果，在作為顯示裝置的輸出部件55上，以等于真實(shí)世界中的圖像捕獲對象的尺 寸的尺寸顯示圖像捕獲對象。這里，在圖像處理單元73中，作為素材數(shù)據(jù)的圖像被放大(縮小)D/F(< 1)，并 且，結(jié)果，通過放大所獲得的圖像(輸出數(shù)據(jù))是其水平長度等于圖像捕獲范圍信息D的圖像。并且，在此情況下，因?yàn)閳D像捕獲范圍信息D小于尺寸信息F，所以作為輸出數(shù)據(jù) 的圖像的水平長度F’( = D)小于尺寸信息F，即，作為顯示裝置的輸出部件55的顯示屏幕 的水平長度。為此，在作為顯示裝置的輸出部件55上，在顯示屏幕的除了其中顯示作為輸出數(shù) 據(jù)的圖像的部分外的顯示屏幕的部分中顯示黑色(所謂的黑色框)等，例如，如圖16的部 分A所圖示的。注意到，當(dāng)使用數(shù)字變焦捕獲作為素材數(shù)據(jù)的圖像時(shí)，除了由相機(jī)捕獲的圖像的 使用數(shù)字變焦放大的中心部分外的圖像的部分(圖15的部分A中用斜線遮蔽的部分)(下 文中，也稱為“修剪的部分”)可以被保留。在此情況下，在作為顯示裝置的輸出部件55上，在顯示屏幕的除了顯示作為輸出 數(shù)據(jù)的圖像的部分外的顯示屏幕的部分中顯示修剪的部分，例如，如圖16的部分B所圖示 的。接下來，將參照圖17描述在圖12中圖示的圖像處理單元73中執(zhí)行的真實(shí)模式處理。在步驟S51，圖像處理單元73基于包括在從附加信息分析單元72提供的真實(shí)世界 信息中的圖像捕獲范圍信息D和作為關(guān)于作為顯示裝置的輸出部件55的特性信息的尺寸 信息F，來確定D/F的最大變焦放大率，其是用來最大化作為素材數(shù)據(jù)的圖像的顯示變焦放 大率ζ的最大值。此外，圖像處理單元73在沒有從輸入部件56 (圖11)提供指令信息的情 況下設(shè)置作為顯示變焦放大率ζ的標(biāo)準(zhǔn)變焦放大率Zl。處理進(jìn)到步驟S52。這里，在圖像捕獲范圍信息D等于或大于尺寸信息F的情況下，標(biāo)準(zhǔn)變焦放大率Z1 被設(shè)為1。在圖像捕獲范圍信息D小于尺寸信息F的情況下，標(biāo)準(zhǔn)變焦放大率Z1被設(shè)為D/ F的最大變焦放大率。在步驟S52，圖像處理單元73確定是否已經(jīng)從輸入部件56提供了用于變焦指令的 指令信息。在步驟S52，當(dāng)確定還沒有從輸入部件56提供指令信息到圖像處理單元73時(shí)，處 理進(jìn)到步驟S53。圖像處理單元73設(shè)置顯示變焦放大率ζ為標(biāo)準(zhǔn)變焦放大率Zl。處理進(jìn) 到步驟S57。此外，在步驟S52，當(dāng)確定已經(jīng)從輸入部件56提供指令信息到圖像處理單元73時(shí)， 處理進(jìn)到步驟S54。圖像處理單元73確定在從輸入部件56提供的指令信息中指定的變焦 放大率(下文中，也稱為指令變焦放大率A)等于或低于最大變焦放大率D/F。 在步驟S54，當(dāng)確定指令變焦放大率A等于或低于最大變焦放大率D/F時(shí)，處理進(jìn) 到步驟S55。圖像處理單元73設(shè)置顯示變焦放大率ζ為指令變焦放大率A。處理進(jìn)到步驟 S57。此外，在步驟S54，當(dāng)確定指令變焦放大率A不等于或低于的最大變焦放大率D/ F時(shí)，S卩，當(dāng)在指令中指定用其以比真實(shí)世界中的圖像捕獲對象的尺寸更大的尺寸顯示圖像 捕獲對象并且超過最大變焦放大率D/F的變焦放大率時(shí)，處理進(jìn)到步驟S56。圖像處理單元 73設(shè)置顯示變焦放大率ζ為最大變焦放大率D/F。處理進(jìn)到步驟S57。在步驟S57，圖像處理單元73僅通過顯示變焦放大率ζ放大在BF 71中作為素材 數(shù)據(jù)存儲的圖像，從而生成作為輸出數(shù)據(jù)的已放大圖像。圖像處理單元73將已放大圖像提 供到作為顯示裝置的輸出部件55 (圖11)。然后，在作為顯示裝置的輸出部件55上，顯示從圖像處理單元73提供的作為輸出 數(shù)據(jù)的已放大圖像。以此方式，如參照圖13所述，以真實(shí)世界中圖像捕獲對象的尺寸F/D 倍的尺寸顯示圖像捕獲對象。因此，當(dāng)沒有從輸入部件56提供指令信息到圖像處理單元73時(shí)，S卩，當(dāng)用戶沒 有執(zhí)行提供變焦指令的操作時(shí)，以等于真實(shí)世界中圖像捕獲對象的尺寸的尺寸(z( = D/ F) X F/D)或以作為真實(shí)世界中圖像捕獲對象的尺寸F/D倍的尺寸(z(= 1)X F/D)在作為 顯示裝置的輸出部件55上顯示圖像捕獲對象。換句話說，在圖像捕獲范圍信息D小于尺寸信息F的情況下，如上所述，標(biāo)準(zhǔn)變焦 放大率Z1，并且因此顯示變焦放大率ζ被設(shè)為的最大變焦放大率D/F。因此，以真實(shí)世界中 圖像捕獲對象的尺寸的D/FXF/D倍的尺寸(S卩，以等于真實(shí)世界中圖像捕獲對象的尺寸的 尺寸)來顯示圖像捕獲對象。此外，在圖像捕獲范圍信息D等于或大于尺寸信息F的情況下，如上所述，標(biāo)準(zhǔn)變焦放大率Z1，并且因此顯示變焦放大率ζ被設(shè)為1。因此，以真實(shí)世界中圖像捕獲對象的尺 寸的F/D( ^ 1)倍的尺寸顯示圖像捕獲對象。相反，當(dāng)已經(jīng)從輸入部件56提供指令信息到圖像處理單元73時(shí)，S卩，當(dāng)用戶已經(jīng) 執(zhí)行提供用于使用指令變焦放大率A的變焦的變焦指令的操作時(shí)，在指令變焦放大率A等 于或低于最大變焦放大率D/F的情況下，以真實(shí)世界中圖像捕獲對象的尺寸的F/DXA倍的 尺寸(z( = A) XF/D)顯示圖像捕獲對象。在指令變焦放大率A沒有等于或低于最大變焦 放大率D/F的情況下，以等于真實(shí)世界中圖像捕獲對象的尺寸的尺寸(z( = D/F)XF/D)顯 示圖像捕獲對象。換句話說，在指令變焦放大率A等于或低于最大變焦放大率D/F的情況下，如上所 述，顯示變焦放大率ζ被設(shè)為指令變焦放大率A。因此，以真實(shí)世界中圖像捕獲對象的尺寸 的A (彡D/F) XF/D倍的尺寸顯示圖像捕獲對象。此外，在指令變焦放大率A沒有等于或低于最大變焦放大率D/F的情況下，如上所 述，顯示變焦放大率ζ被設(shè)為最大變焦放大率D/F。因此，以真實(shí)世界中圖像捕獲對象的尺 寸的D/FXF/D倍的尺寸(S卩，以等于真實(shí)世界中圖像捕獲對象的尺寸的尺寸)顯示圖像捕 獲對象。在任一情況下，以等于或小于真實(shí)世界中圖像捕獲對象的尺寸的尺寸顯示圖像捕 獲對象。注意到，例如對每幀(或場)執(zhí)行圖17中圖示的真實(shí)模式處理。此外，可以僅對以超過真實(shí)世界中的圖像捕獲對象的尺寸的尺寸顯示圖像捕獲對 象的情況執(zhí)行圖17中圖示的真實(shí)模式處理。換句話說，可以對例如觀看以超過真實(shí)世界中圖像捕獲對象的尺寸的尺寸顯示的 圖像捕獲對象的用戶操作輸入部件56以便提供用于顯示的改進(jìn)的指令的情況執(zhí)行真實(shí)模 式處理。圖18圖示當(dāng)接收設(shè)備12執(zhí)行娛樂模式處理時(shí)提供到生成部件54的數(shù)據(jù)(信息)。在娛樂模式處理中，將包括在附加信息中的素材數(shù)據(jù)和效果信息從分離部件53 提供到生成部件54。此外，在娛樂模式處理中，當(dāng)用戶操作輸入部件56以便提供用于處理素材數(shù)據(jù)的 指令時(shí)，將與操作對應(yīng)的指令信息從輸入部件56提供到生成部件54。然后，在娛樂模式處理中，生成部件54使已經(jīng)從分離部件53提供的素材數(shù)據(jù)經(jīng)歷 基于從分離部件53提供的效果信息或從輸入部件56提供的指令信息的處理，從而生成輸 出數(shù)據(jù)。換句話說，當(dāng)沒有將指令信息從輸入部件56提供到生成部件54時(shí)，生成部件54 使已經(jīng)從分離部件53提供的素材數(shù)據(jù)經(jīng)歷基于從分離部件53提供的效果信息的處理，從 而生成輸出數(shù)據(jù)。此外，當(dāng)將指令信息從輸入部件56提供到生成部件54時(shí)，生成部件54使已經(jīng)從 分離部件53提供的素材數(shù)據(jù)經(jīng)歷基于指令信息的處理，從而生成輸出數(shù)據(jù)。接下來，例如，假設(shè)輸出部件55是顯示裝置，并且輸出數(shù)據(jù)是要在作為顯示裝置 的輸出部件55上顯示的圖像，將描述娛樂模式處理。圖19圖示其中接收設(shè)備12執(zhí)行娛樂模式處理的情況下的生成部件54的配置示
19例。這里，假設(shè)參照圖3到圖6描述的切換信息、顯示圖像幀信息和用于組合的數(shù)據(jù)被 包括在效果信息中。假設(shè)存在N個(gè)圖像流S#1到S#N作為各條素材數(shù)據(jù)。在圖20中，生成部件54包括圖像數(shù)據(jù)BF(緩沖器)81、附加信息分析單元82、要 組合的數(shù)據(jù)BF 83和圖像處理單元84。將作為各條素材數(shù)據(jù)的N個(gè)圖像流S#1到S#N從分離部件53 (圖18)提供到圖像 數(shù)據(jù)BF 81。圖像數(shù)據(jù)BF 81存儲作為從分離部件53提供的各條素材數(shù)據(jù)的N個(gè)圖像流 S#1 到 S#N。將被包括在附加信息中的效果信息從分離部件53提供到附加信息分析單元82。附加信息分析單元82分析已經(jīng)從分離部件53提供的效果信息，以便提取例如包 括在效果信息中的切換信息、顯示圖像幀信息和用于組合的數(shù)據(jù)。此外，附加信息分析單元82從用于組合的數(shù)據(jù)提取要與各條素材數(shù)據(jù)組合的要 組合的數(shù)據(jù)，以及指示執(zhí)行組合的定時(shí)的定時(shí)信息。然后，附加信息分析單元82將要組合的數(shù)據(jù)提供到要組合的數(shù)據(jù)BF 83。此外，附 加信息分析單元82將切換信息、顯示圖像幀信息和定時(shí)信息提供到圖像處理單元84。這里，附加信息分析單元82提供到圖像處理單元84的切換信息、顯示圖像幀信息 和定時(shí)信息，即，包括在效果信息中的切換信息、顯示圖像幀信息和定時(shí)信息被統(tǒng)稱為默認(rèn) in息ο要組合的數(shù)據(jù)BF 83存儲從附加信息分析單元82提供的要組合的數(shù)據(jù)。如上所述，將默認(rèn)信息從附加信息分析單元82提供到圖像處理單元84。此外，作 為存儲在圖像數(shù)據(jù)BF 81中的各條素材數(shù)據(jù)的N個(gè)圖像流S#1到S#N被提供到圖像處理單 元84。此外，要組合的數(shù)據(jù)BF 83中存儲的要組合的數(shù)據(jù)被提供到圖像處理單元84。此外，當(dāng)用戶操作輸入部件56 (圖18)以便提供用于處理各條素材數(shù)據(jù)的指令等 時(shí)，將與操作對應(yīng)的指令信息從輸入部件56提供到圖像處理單元84。這里，用戶操作輸入部件56，從而用戶可以提供用其使得捕獲在作為顯示裝置的 輸出部件55(圖18)上顯示的圖像的相機(jī)看起來好像相機(jī)經(jīng)歷搖攝操作、傾斜操作或變焦 操作的指令(下文中，也稱為PTZ (搖攝、傾斜和變焦)指令)。此外，用戶操作輸入部件56，從而用戶可以提供用于將在作為顯示裝置的輸出部 件55上顯示的圖像從作為各條素材數(shù)據(jù)的N個(gè)圖像流S#1到S#N當(dāng)中的一個(gè)圖像流S#i 切換到另一圖像流S#i’的指令(下文中，也稱為切換指令)。此外，用戶操作輸入部件56，從而用戶可以提供用于將要組合的數(shù)據(jù)與作為顯示 裝置的輸出部件55上顯示的圖像組合(將要組合的數(shù)據(jù)重疊在作為顯示裝置的輸出部件 55上顯示的圖像上)的指令(下文中，也稱為組合指令)。當(dāng)用戶通過操作輸入部件56提供PTZ指令時(shí)，根據(jù)PTZ指令移動(dòng)顯示區(qū)域(圖5) 或改變顯示區(qū)域的尺寸。輸入部件56生成用其指定顯示區(qū)域的顯示圖像幀信息，并且將包 括顯示圖像幀信息的指令信息提供到圖像處理單元84。此外，當(dāng)用戶通過操作輸入部件56提供切換指令時(shí)，輸入部件56根據(jù)切換指令生 成切換信息(圖4)，并且將包括切換信息的指令信息提供到圖像處理單元84。此外，當(dāng)用戶通過操作輸入部件56提供組合指令時(shí)，輸入部件56根據(jù)組合指令生成用于選擇要與各條素材數(shù)據(jù)組合的要組合的數(shù)據(jù)的選擇信息，并且將包括選擇信息的指 令信息提供到圖像處理單元84。圖像處理單元84基于從附加信息分析單元82提供的默認(rèn)信息或根據(jù)需要從輸入 部件56提供的指令信息，使圖像數(shù)據(jù)BF 81中存儲的各條素材數(shù)據(jù)經(jīng)歷使用要組合的數(shù)據(jù) BF 83中存儲的要組合的數(shù)據(jù)的處理，從而生成作為輸出數(shù)據(jù)的圖像。圖像處理單元84將 圖像提供到作為顯示裝置的輸出部件55 (圖18)。換句話說，當(dāng)沒有將指令信息從輸入部件56提供到圖像處理單元84時(shí)，圖像處理 單元84使圖像數(shù)據(jù)BF 81中存儲的各條素材數(shù)據(jù)經(jīng)歷基于從附加信息分析單元82提供的 默認(rèn)信息的處理，從而生成作為輸出數(shù)據(jù)的圖像。具體地，例如，圖像處理單元84基于默認(rèn)信息中包括的切換信息，從作為圖像數(shù) 據(jù)BF 81中存儲的各條素材數(shù)據(jù)的N個(gè)圖像流S#1到S#N當(dāng)中選擇一個(gè)圖像流作為用作輸 出數(shù)據(jù)的圖像(下文中，也稱為用于輸出的圖像)。此外，例如，圖像處理單元84基于默認(rèn)信息中包括的顯示圖像幀信息，從用于輸 出的圖像提取與由顯示圖像幀信息指示的顯示區(qū)域?qū)?yīng)的圖像。此外，例如，圖像處理單元84基于默認(rèn)信息中包括的定時(shí)信息，組合在要組合的 數(shù)據(jù)BF 83中存儲的要組合的數(shù)據(jù)與對應(yīng)于顯示區(qū)域的圖像。注意到，這里，當(dāng)多條要組合 的數(shù)據(jù)被存儲在要組合的數(shù)據(jù)BF 83中時(shí)，假設(shè)關(guān)于多條要組合的數(shù)據(jù)中的哪條要組合的 數(shù)據(jù)將與對應(yīng)于顯示區(qū)域的圖像組合的信息被包括在默認(rèn)信息中包括的定時(shí)信息中。如上所述，當(dāng)沒有將指令信息從輸入部件56提供到圖像處理單元84時(shí)，基于從附 加信息分析單元82提供的默認(rèn)信息，即，由發(fā)送設(shè)備11的編輯裝置32 (圖2)生成的效果 信息(其中包括的切換信息、顯示圖像幀信息和定時(shí)信息)，在圖像處理單元84中處理素材 數(shù)據(jù)。因此，通過由節(jié)目制作者操作編輯裝置32執(zhí)行的編輯所獲得的圖像被顯示在作為顯 示裝置的輸出部件55上。相反，當(dāng)將指令信息從輸入部件56提供到圖像處理單元84時(shí)，圖像處理單元84 使圖像數(shù)據(jù)BF 81中存儲的各條素材數(shù)據(jù)經(jīng)歷基于指令信息的處理，從而生成作為輸出數(shù) 據(jù)的圖像。具體地，例如，當(dāng)切換信息被包括在指令信息中時(shí)，基于指令信息中包括的切換信 息而不是默認(rèn)信息中包括的切換信息，圖像處理單元84從作為圖像數(shù)據(jù)BF 81中存儲的各 條素材數(shù)據(jù)的N個(gè)圖像流S#1到S#N當(dāng)中選擇一個(gè)圖像流作為用于輸出的圖像。此外，例如，當(dāng)顯示圖像幀信息被包括在指令信息中時(shí)，基于指令信息中包括的顯 示圖像幀信息而不是默認(rèn)信息中包括的顯示圖像幀信息，圖像處理單元84從用于輸出的 圖像提取與由顯示圖像幀信息指示的顯示區(qū)域?qū)?yīng)的圖像。此外，例如，當(dāng)選擇信息被包括在指令信息中時(shí)，根據(jù)指令信息中包括的選擇信息 而不是默認(rèn)信息中包括的定時(shí)信息，圖像處理單元84從要組合的數(shù)據(jù)BF 83中存儲的各條 要組合的數(shù)據(jù)當(dāng)中選擇要與對應(yīng)于顯示區(qū)域的圖像組合的一條要組合的數(shù)據(jù)。圖像處理單 元84將該條要組合的數(shù)據(jù)與對應(yīng)于顯示區(qū)域的圖像進(jìn)行組合。注意到，在使用定時(shí)信息或選擇信息選擇要組合的數(shù)據(jù)的情況下，可以選擇多條 要組合的數(shù)據(jù)(如多個(gè)字幕、或一個(gè)字幕和一個(gè)PinP圖像)。此外，選擇信息可以指示不選擇要組合的數(shù)據(jù)。在選擇信息指示不選擇要組合的數(shù)據(jù)的情況下，即使當(dāng)默認(rèn)信息中包括的定時(shí)信息指示某一要組合的數(shù)據(jù)要與對應(yīng)于顯示 區(qū)域的圖像組合時(shí)，在圖像處理單元84中也不執(zhí)行要組合的數(shù)據(jù)的組合。如上所述，當(dāng)將指令信息從輸入部件56提供到圖像處理單元84時(shí)，圖像處理單元 84使圖像數(shù)據(jù)BF 81中存儲的各條素材數(shù)據(jù)經(jīng)歷基于指令信息而不是默認(rèn)信息的處理，從 而生成作為輸出數(shù)據(jù)的圖像。注意到，當(dāng)在執(zhí)行從輸入部件56提供指令信息到圖像處理單元84之后停止指令 信息的提供時(shí)，圖像處理單元84使圖像數(shù)據(jù)BF 81中存儲的各條素材數(shù)據(jù)經(jīng)歷基于默認(rèn)信 息的處理，從而生成作為輸出數(shù)據(jù)的圖像。因此，例如，在定時(shí)信息指示用作某一要組合的數(shù)據(jù)的字幕要與對應(yīng)于顯示區(qū)域 的圖像組合的情況下，當(dāng)用戶操作輸入部件56以便禁用(以便不執(zhí)行)要組合數(shù)據(jù)的組合 時(shí)，根據(jù)在輸入部件56上執(zhí)行的操作不顯示字幕。然后，此后當(dāng)用戶操作輸入部件56以便取消要組合的數(shù)據(jù)的組合的禁用時(shí)，根據(jù) 默認(rèn)信息中包括的定時(shí)信息將字幕與對應(yīng)于顯示區(qū)域的圖像組合，并且進(jìn)行顯示。注意到，在圖19圖示的生成部件54中，可以將真實(shí)世界信息從分離部件53提供 到圖像處理單元84。此外，可以將特性信息從輸出部件55提供到圖像處理單元84。在圖 像處理單元84中，可以進(jìn)一步執(zhí)行真實(shí)模式處理，如在圖12圖示的圖像處理單元73中那 樣。換句話說，當(dāng)沒有將指令信息從輸入部件56提供到圖像處理單元84時(shí)，可以在圖 像處理單元84中執(zhí)行包括在圖17圖示的真實(shí)模式處理中的步驟S51、S53和S57中的處 理。在此情況下，在圖像處理單元84中，生成作為輸出數(shù)據(jù)的圖像，使得從在作為顯示裝置 的輸出部件55上的顯示(從在作為顯示裝置的輸出部件55的輸出)識別的圖像捕獲對象 的尺寸(物理量)將被標(biāo)識為由真實(shí)世界信息中包括的圖像捕獲范圍信息D指示的尺寸 (真實(shí)世界中圖像捕獲對象的尺寸)。接下來，圖20圖示圖19圖示的圖像處理單元84的配置示例。在圖20中，圖像處理單元84包括圖像選擇部分91、指令選擇部分92、顯示區(qū)域設(shè) 置部分93、門部分94、以及疊加處理部分95。將作為圖像數(shù)據(jù)BF 81中存儲的多條素材數(shù)據(jù)的N個(gè)圖像流S#1到S#N提供到圖 像選擇部分91。此外，將默認(rèn)信息從附加信息分析單元82 (圖19)提供到指令選擇部分92。此外， 將指令信息從輸入部件56 (圖18)提供到指令選擇部分92。指令選擇部分92提供已經(jīng)從附加信息分析單元82提供的默認(rèn)信息中包括的切換 信息到圖像選擇部分91。此外，指令選擇部分92將默認(rèn)信息中包括的顯示圖像幀信息提供 到顯示區(qū)域設(shè)置部分93。此外，指令選擇部分92基于默認(rèn)信息中包括的定時(shí)信息生成選擇信息，該選擇信 息用于在應(yīng)該組合要組合的數(shù)據(jù)的定時(shí)選擇用于組合的要組合的數(shù)據(jù)。指令選擇部分92 提供選擇信息到門部分94。然而，當(dāng)將指令信息從輸入部件56 (圖18)提供到指令選擇部分92時(shí)，指令選擇 部分92優(yōu)先選擇指令信息。換句話說，當(dāng)將指令信息從輸入部件56提供到指令選擇部分92并且切換信息被包括在指令信息中時(shí)，指令選擇部分92將指令信息中包括的切換信息而不是默認(rèn)信息中 包括的切換信息提供到圖像選擇部分91。此外，當(dāng)將指令信息從輸入部分56提供到指令選擇部分92并且顯示圖像幀信息 被包括在指令信息中時(shí)，指令選擇部分92將指令信息中包括的顯示圖像幀信息而不是默 認(rèn)信息中包括的顯示圖像幀信息提供到顯示區(qū)域設(shè)置部分93。此外，當(dāng)將指令信息從輸入部件56提供到指令選擇部分92并且選擇信息被包括 在指令信息中時(shí)，指令選擇部分92將指令信息中包括的選擇信息而不是從默認(rèn)信息中包 括的定時(shí)信息生成的選擇信息提供到門部分94。圖像選擇部分91基于從指令選擇部分92提供的切換信息，從作為自圖像數(shù)據(jù)BF 81提供的各條素材數(shù)據(jù)的N個(gè)圖像流S#1到S#N當(dāng)中選擇一個(gè)圖像流作為用于輸出的圖 像。圖像選擇部分91輸出用于輸出的圖像到顯示區(qū)域設(shè)置部分93。顯示區(qū)域設(shè)置部分93從已經(jīng)從圖像選擇部分91提供的用于輸出的圖像中提取與 由已經(jīng)從指令選擇部分92提供的顯示圖像幀信息指示的顯示區(qū)域?qū)?yīng)的圖像。顯示區(qū)域 設(shè)置部分93將與顯示區(qū)域?qū)?yīng)的圖像提供到疊加處理部分95。同時(shí)，如上所述，將選擇信息從指令選擇部分92提供到門部分94。此外，要組合的 數(shù)據(jù)BF 83中存儲的各條要組合的數(shù)據(jù)被提供到門部分94。門部分94根據(jù)從指令選擇部分92提供的選擇信息，從要組合的數(shù)據(jù)BF83中存儲 的各條要組合的數(shù)據(jù)當(dāng)中選擇零或更多條要組合的數(shù)據(jù)。門部分94將所選的各條要組合 的數(shù)據(jù)提供到疊加處理部分95。疊加處理部分95組合已經(jīng)從門部分94提供的零或更多條要組合的數(shù)據(jù)與對應(yīng)于 已經(jīng)從顯示區(qū)域設(shè)置部分93提供的顯示區(qū)域的圖像(將已經(jīng)從門部分94提供的零或更多 條要組合的數(shù)據(jù)疊加在對應(yīng)于已經(jīng)從顯示區(qū)域設(shè)置部分93提供的顯示區(qū)域的圖像上)。疊 加處理部分95將組合的圖像作為輸出數(shù)據(jù)提供到輸出部件55 (圖18)。注意到，當(dāng)從門部分94到疊加處理部分95提供零條要組合的數(shù)據(jù)時(shí)，即，沒有提 供要組合的數(shù)據(jù)時(shí)，疊加處理部分95將與已經(jīng)從顯示區(qū)域設(shè)置部分93提供的顯示區(qū)域?qū)?應(yīng)的圖像作為輸出數(shù)據(jù)提供到輸出部件55，而不關(guān)于與顯示區(qū)域?qū)?yīng)的圖像執(zhí)行任何處 理。接下來，圖21圖示圖1圖示的接收設(shè)備12的另一配置示例。注意到，在該圖中，與圖9中圖示的那些元件對應(yīng)的元件由相同的附圖標(biāo)記表示， 并且下文中將適當(dāng)?shù)厥÷云涿枋觥Ｈ鐖D2所示，在發(fā)送設(shè)備11中，可以采用各種類型的傳感器作為傳感器部件31，如 感測光并且輸出圖像的相機(jī)、感測溫度的溫度傳感器、感測濕度的濕度傳感器、感測氣流速 度的氣流速度傳感器、感測振動(dòng)的振動(dòng)傳感器、以及感測亮度的亮度傳感器。例如，當(dāng)相機(jī)、溫度傳感器、濕度傳感器和振動(dòng)傳感器用作發(fā)送設(shè)備11中的傳感 器部件31時(shí)，將一條關(guān)于由相機(jī)獲取的圖像的數(shù)據(jù)、一條關(guān)于由溫度傳感器獲取的溫度的 數(shù)據(jù)、一條關(guān)于由濕度傳感器獲取的濕度的數(shù)據(jù)、以及一條關(guān)于由振動(dòng)傳感器獲取的振動(dòng) 的數(shù)據(jù)中的每一個(gè)與各條附加信息中的相應(yīng)的一個(gè)一起發(fā)送。在此情況下，接收設(shè)備12的分離部件53將從解碼部件52提供的數(shù)據(jù)個(gè)別地分 離為作為各條素材數(shù)據(jù)的該條關(guān)于圖像的數(shù)據(jù)、該條關(guān)于溫度的數(shù)據(jù)、該條關(guān)于濕度的數(shù)據(jù)以及該條關(guān)于振動(dòng)的數(shù)據(jù)，以及對應(yīng)于單獨(dú)的各條素材數(shù)據(jù)的各條附加信息，如圖21所示。然后，分離部件53將作為一條素材數(shù)據(jù)的該條關(guān)于圖像的數(shù)據(jù)和相應(yīng)的一條附 加信息提供到生成部件54。此外，分離部件53將作為各條素材數(shù)據(jù)的該條關(guān)于溫度的數(shù)據(jù)和該條關(guān)于濕度 的數(shù)據(jù)和相應(yīng)的各條附加信息提供到生成部件101。此外，分離部件53將作為一條素材數(shù) 據(jù)的該條關(guān)于振動(dòng)的數(shù)據(jù)和相應(yīng)的一條附加信息提供到生成部件111。如上所述，生成部件54基于作為從分離部件53提供的一條素材數(shù)據(jù)的該條關(guān)于 圖像的數(shù)據(jù)和該條附加信息或已經(jīng)從輸入部件56提供的一條指令信息，處理該條素材數(shù) 據(jù)，從而生成作為一條輸出數(shù)據(jù)的圖像。生成部件54將該條輸出數(shù)據(jù)提供到輸出部件55。輸出部件55例如是如上所述的顯示裝置，并且基于從生成部件54提供的該條輸 出數(shù)據(jù)執(zhí)行圖像的顯示(產(chǎn)生圖像的輸出)。同時(shí)，將作為各條素材數(shù)據(jù)的該條關(guān)于溫度的數(shù)據(jù)和該條關(guān)于濕度的數(shù)據(jù)和相應(yīng) 的各條附加信息從分離部件53提供到生成部件101。此外，將一條指令信息從由如在輸入 部件56的情況下由用戶操作的輸入部件103提供到生成部件101。生成部件101基于作為從分離部件53提供的各條素材數(shù)據(jù)的該條關(guān)于溫度的數(shù) 據(jù)和該條關(guān)于濕度的數(shù)據(jù)和各條附加信息或已經(jīng)從輸入部件103提供該條指令信息，來處 理各條素材數(shù)據(jù)，從而生成一條輸出數(shù)據(jù)。生成部件101將該條輸出數(shù)據(jù)提供到輸出部件 102。換句話說，輸出部件102例如是如空調(diào)器的空調(diào)裝置。生成部件101處理該條關(guān) 于溫度的數(shù)據(jù)和該條關(guān)于濕度的數(shù)據(jù)，從而生成用于控制作為空調(diào)裝置的輸出部件102的 一條空調(diào)控制信息。生成部件101將該條空調(diào)控制信息作為一條輸出數(shù)據(jù)輸出到輸出部件 102。輸出部件102輸出具有基于作為從生成部件101提供的一條輸出數(shù)據(jù)的該條空調(diào) 控制信息調(diào)整的氣流方向、溫度、氣流速度、濕度等的氣流(空氣)。此外，將作為一條素材數(shù)據(jù)的該條關(guān)于振動(dòng)的數(shù)據(jù)和相應(yīng)的該條附加信息從分離 部件53提供到生成部件111。此外，將一條指令信息從由如在輸入部件56的情況下由用戶 操作的輸入部件113提供到生成部件111。生成部件111基于作為從分離部件53提供的一條素材數(shù)據(jù)的該條關(guān)于振動(dòng)的數(shù) 據(jù)和該條附加信息或已經(jīng)從輸入部件113提供的該條指令信息，來處理該條素材數(shù)據(jù)，從 而生成一條輸出數(shù)據(jù)。生成部件111將該條輸出數(shù)據(jù)提供到輸出部件112。換句話說，輸出部件112例如是搖動(dòng)(振動(dòng))作為顯示裝置的輸出部件55的椅子 或搖動(dòng)裝置。生成部件111處理該條關(guān)于振動(dòng)的數(shù)據(jù)，從而生成用于控制作為搖動(dòng)裝置的 輸出部件112的一條振動(dòng)信息。生成部件111將該條振動(dòng)信息作為一條輸出數(shù)據(jù)輸出到輸 出部件112。輸出部件112基于作為從生成部件111提供的一條輸出數(shù)據(jù)的該條振動(dòng)信息搖動(dòng) 椅子等。此外，例如，發(fā)送設(shè)備11可以一起發(fā)送作為一條素材數(shù)據(jù)的一條關(guān)于由感測亮度 的亮度傳感器獲取的亮度的數(shù)據(jù)以及相應(yīng)的一條附加信息。在此情況下，接收設(shè)備12可以基于從該條素材數(shù)據(jù)和該條附加信息生成的一條輸出數(shù)據(jù)，調(diào)整例如由放置接收設(shè)備12 的房間中提供的照明裝置所提供的照明。此外，例如，發(fā)送設(shè)備11可以一起發(fā)送作為一條素材數(shù)據(jù)的一條關(guān)于由感測氣流 速度的氣流速度傳感器獲取的氣流速度的數(shù)據(jù)以及相應(yīng)的一條附加信息。在此情況下，接 收設(shè)備12可以基于從該條素材數(shù)據(jù)和該條附加信息生成的一條輸出數(shù)據(jù)，調(diào)整由作為空 調(diào)裝置的輸出部件102輸出的氣流的氣流速度。如上所述，發(fā)送設(shè)備11 一起發(fā)送由傳感器部件31獲取的關(guān)于圖像、溫度、濕度、氣 流速度、振動(dòng)、亮度等的各條素材數(shù)據(jù)以及相應(yīng)的各條附加信息。接收設(shè)備12基于各條素 材數(shù)據(jù)和各條附加信息生成各條輸出數(shù)據(jù)。產(chǎn)生輸出的顯示裝置、空調(diào)裝置、搖動(dòng)裝置、照 明裝置等基于各條輸出數(shù)據(jù)產(chǎn)生輸出，從而在其中由傳感器部件31獲取各條素材數(shù)據(jù)(溫 度、氣流速度、濕度、振動(dòng)、亮度等)的環(huán)境中真實(shí)地再現(xiàn)風(fēng)景，使得用戶可以體驗(yàn)真實(shí)感。接下來，還可以通過硬件執(zhí)行上述一系列處理，并且還可以通過軟件執(zhí)行。在通過 軟件執(zhí)行該一系列處理的情況下，配置軟件的程序被安裝到通用計(jì)算機(jī)等中。因此，圖22圖示其中安裝執(zhí)行上述該一系列處理的程序的計(jì)算機(jī)的實(shí)施例的配 置示例。程序可以被預(yù)先記錄在用作并入計(jì)算機(jī)的記錄介質(zhì)的硬盤205或R0M203上?？商娲?，程序可以被臨時(shí)或永久存儲(記錄)在如軟盤、⑶-ROM(致密盤只讀存 儲器)、MO(磁光)盤、DVD (數(shù)字多功能盤)、磁盤或半導(dǎo)體存儲器之類的可移除記錄介質(zhì) 211上?？梢蕴峁┻@種類型的可移除記錄介質(zhì)211作為所謂的封裝軟件。注意到，將程序從如上所述的可移除記錄介質(zhì)211安裝到計(jì)算機(jī)中。另外，可以將 程序以無線方式經(jīng)由用于數(shù)字衛(wèi)星廣播的人造衛(wèi)星從下載站點(diǎn)傳送到計(jì)算機(jī)，或者可以以 有線方式經(jīng)由如LAN(局域網(wǎng))或因特網(wǎng)之類的網(wǎng)絡(luò)傳送到計(jì)算機(jī)。在計(jì)算機(jī)中，以這樣方 式傳送的程序可以由通信單元208接收并且被安裝到并入其中的硬盤205中。計(jì)算機(jī)在其中并入了 CPU (中央處理單元)202。CPU 202經(jīng)由總線201連接到輸入 /輸出接口 210。當(dāng)由用戶通過操作使用鍵盤、鼠標(biāo)、麥克風(fēng)等配置的輸入單元207而經(jīng)由 輸入/輸出接口 210輸入指令到CPU 202時(shí)，CPU 202根據(jù)指令執(zhí)行ROM(只讀存儲器)203 中存儲的程序。替代地，CPU 202將在硬盤205上存儲的程序、從衛(wèi)星或網(wǎng)絡(luò)傳送傳送的由 通信單元208接收并被安裝到硬盤205上的程序、或者從安裝在驅(qū)動(dòng)器209中的可移除記 錄介質(zhì)211讀取并且被安裝到硬盤205上的程序載入RAM(隨機(jī)存取存儲器)204中。以此 方式，CPU 202執(zhí)行根據(jù)上述流程圖的處理或者以上述框圖中圖示的配置執(zhí)行的處理。然 后，根據(jù)需要，例如，CPU 202經(jīng)由輸入/輸出接口 210從使用LCD (液晶顯示器)、揚(yáng)聲器等 配置的輸出單元206輸出處理的結(jié)果，或者從通信單元208發(fā)送結(jié)果，并且進(jìn)一步使得硬盤 205記錄結(jié)果。這里，在本說明書中，描述用于使得計(jì)算機(jī)執(zhí)行各種處理的處理步驟可能不必以 如流程圖描述的時(shí)間順序進(jìn)行處理，并且包括并行或單獨(dú)執(zhí)行的處理(例如，并行處理或 基于對象的處理)。此外，程序可以由一個(gè)計(jì)算機(jī)處理或者經(jīng)歷通過多個(gè)計(jì)算機(jī)的分布式處理。此外， 程序可以被傳送到遠(yuǎn)程計(jì)算機(jī)并且從而被執(zhí)行。如上所述，在圖1圖示的廣播系統(tǒng)中，發(fā)送設(shè)備11發(fā)送由傳感器部件31獲取的素材數(shù)據(jù)和相應(yīng)的附加信息。因?yàn)榻邮赵O(shè)備12基于素材數(shù)據(jù)和附加信息生成輸出數(shù)據(jù)，并且 基于輸出數(shù)據(jù)產(chǎn)生輸出，所以可以在接收設(shè)備12側(cè)上執(zhí)行合適的處理，從而使得可能例如 使得用戶感覺到真實(shí)感或顯示適于用戶的偏好的圖像。換句話說，在接收設(shè)備12中，可以執(zhí)行真實(shí)模式處理作為適當(dāng)?shù)奶幚?。通過真實(shí) 模式處理，例如，以大于真實(shí)世界中的圖像捕獲對象的尺寸的尺寸顯示圖像捕獲對象，從而 可以防止失去真實(shí)性。具體地，例如，可以說消除失配，如以大于臉的實(shí)際尺寸的尺寸的人臉的顯示，使 得可以使得用戶感覺到真實(shí)感。注意到，當(dāng)采用具有大顯示屏幕(例如，100英寸或更大)的顯示裝置作為真實(shí)模 式處理中的輸出部件55時(shí)，可以顯示圖像使得圖像看起來可以說是虛構(gòu)的場景(borrowed scenery)。此外，真實(shí)模式處理對于例如其中提供風(fēng)景(landscape)的圖像或由管弦樂隊(duì)演 奏的一段音樂作為素材數(shù)據(jù)的情況特別有用。換句話說，例如，通過用作傳感器的相機(jī)獲取關(guān)于實(shí)際風(fēng)景的圖像的數(shù)據(jù)，并且使 用關(guān)于圖像的數(shù)據(jù)作為素材數(shù)據(jù)對關(guān)于圖像的數(shù)據(jù)執(zhí)行真實(shí)模式處理，從而可以將構(gòu)成風(fēng) 景的樹、山等的圖像以使得用戶感覺好像用戶正在用戶可以看見實(shí)際風(fēng)景的位置觀看風(fēng)景 的尺寸顯示。此外，例如，通過用作傳感器的麥克風(fēng)獲取關(guān)于由管弦樂隊(duì)實(shí)際演奏的一段音樂 的數(shù)據(jù)，并且使用關(guān)于該段音樂的數(shù)據(jù)作為素材數(shù)據(jù)對關(guān)于該段音樂的數(shù)據(jù)執(zhí)行真實(shí)模式 處理，從而可以將一段音樂(音頻)以使得用戶感覺好像在實(shí)際演奏該段音樂的地點(diǎn)收聽 由管弦樂隊(duì)演奏的該段音樂的音量輸出。此外，在接收設(shè)備12中，可以執(zhí)行娛樂模式處理作為適當(dāng)?shù)奶幚?。通過娛樂模式 處理，例如，可以顯示適于用戶的偏好的圖像。換句話說，通過娛樂模式處理，可以實(shí)現(xiàn)由節(jié)目制作者在編輯中應(yīng)用并且對于用 戶不必要的強(qiáng)調(diào)效果的移除、適于用戶偏好的強(qiáng)調(diào)效果的添加、信息的選擇、變形(deform) 的顯示等。具體地，例如，在娛樂模式處理中，當(dāng)用戶操作輸入部件56，從而提供組合指令時(shí)， 根據(jù)組合指令在輸入部件56中生成用于選擇要與素材數(shù)據(jù)組合的要組合的數(shù)據(jù)的選擇信 息。在圖像處理單元84(圖19)中，根據(jù)選擇信息執(zhí)行要與圖像組合的要組合的數(shù)據(jù)(如 字幕(插播)或PinP圖像)的選擇(或不選擇)。因此，感覺插播或PinP圖像的數(shù)目大(例如，使用插播或PinP圖像的強(qiáng)調(diào)效果在 新聞節(jié)目中不必要)的用戶操作輸入部件56，從而用戶可以以沒有插播或PinP圖像存在的 狀態(tài)下觀看新聞節(jié)目。此外，例如，在娛樂模式處理中，當(dāng)用戶操作輸入部件56，從而提供PTZ指令時(shí)，根 據(jù)PTZ指令在輸入部件56中生成用于指定顯示區(qū)域(圖5)的顯示圖像幀信息。在圖像處 理單元84(圖19)中，從素材數(shù)據(jù)提取與由顯示圖像幀信息指示的顯示區(qū)域?qū)?yīng)的圖像。因此，在體育節(jié)目或音樂節(jié)目中，作為特定球員或名人的愛好者的用戶操作輸入 部件56，從而用戶可以觀看通過跟蹤特定球員或名人所獲得的圖像。注意到，如上所述，當(dāng)將指令信息從輸入部件56提供到圖像處理單元84(圖19)
26時(shí)，圖像處理單元84優(yōu)先選擇指令信息。圖像處理單元84基于指令信息處理素材數(shù)據(jù)，從 而顯示適于用戶的偏好的圖像。然而，當(dāng)沒有將指令信息從輸入部件56提供到圖像處理單 元84時(shí)，基于默認(rèn)信息，S卩，由發(fā)送設(shè)備11的編輯裝置32生成的效果信息(其中包括的切 換信息、顯示圖像幀信息和定時(shí)信息)處理素材數(shù)據(jù)。因此，用戶操作輸入部件56，從而用戶可以使得作為顯示裝置的輸出部件55顯示 適于用戶的偏好的圖像。用戶不操作輸入部件56 (用戶操作輸入部件56使得取消通過操 作輸入部件56提供的PTZ指令、切換指令或組合指令)，從而用戶可以使得作為顯示裝置的 輸出部件55顯示通過由節(jié)目制作者操作編輯裝置32執(zhí)行的編輯所獲得的圖像。注意到，本發(fā)明的實(shí)施例不限于上述實(shí)施例。可以進(jìn)行各種修改而不背離本發(fā)明 的精神。
權(quán)利要求
一種廣播系統(tǒng)，包括發(fā)送數(shù)據(jù)的發(fā)送設(shè)備和接收數(shù)據(jù)的接收設(shè)備，所述發(fā)送設(shè)備包括發(fā)送裝置，用于發(fā)送由傳感器獲取的素材數(shù)據(jù)以及用于以所述接收設(shè)備處理所述素材數(shù)據(jù)的附加信息，所述接收設(shè)備包括接收裝置，用于接收所述素材數(shù)據(jù)和所述附加信息，生成裝置，用于基于所述素材數(shù)據(jù)和所述附加信息生成輸出數(shù)據(jù)，以及輸出裝置，用于基于所述輸出數(shù)據(jù)產(chǎn)生輸出。
2.如權(quán)利要求1所述的廣播系統(tǒng)，其中，所述附加信息包括指示真實(shí)世界中的物理量的真實(shí)世界信息，并且 其中，所述生成裝置基于所述素材數(shù)據(jù)、所述真實(shí)世界信息、以及指示所述輸出裝置的 特性的特性信息來生成輸出，使得從由所述輸出裝置產(chǎn)生的輸出識別的物理量被標(biāo)識為由 所述真實(shí)世界信息指示的物理量。
3.如權(quán)利要求2所述的廣播系統(tǒng)，其中，所述傳感器是用于捕獲圖像的圖像捕獲裝置， 其中，所述素材數(shù)據(jù)是由所述圖像捕獲裝置捕獲的圖像， 其中，所述輸出裝置是顯示圖像的顯示裝置， 其中，所述輸出數(shù)據(jù)是由所述顯示裝置顯示的圖像，其中，所述真實(shí)世界信息包括指示所述圖像捕獲裝置的圖像捕獲范圍的圖像捕獲范圍 信息，并且其中，所述特性信息包括指示其中所述顯示裝置顯示圖像的顯示屏幕的尺寸的尺寸信息。
4.如權(quán)利要求3所述的廣播系統(tǒng)，其中，所述生成裝置基于作為所述素材數(shù)據(jù)的圖像、作為所述真實(shí)世界信息的圖像捕 獲范圍信息、以及作為所述特性信息的尺寸信息，來生成作為所述輸出數(shù)據(jù)的圖像，使得從 由所述顯示裝置顯示的圖像識別的對象的尺寸不超過真實(shí)世界中對象的尺寸。
5.如權(quán)利要求3所述的廣播系統(tǒng)，其中，所述生成裝置基于作為所述素材數(shù)據(jù)的圖像、作為所述真實(shí)世界信息的圖像捕 獲范圍信息、以及作為所述特性信息的尺寸信息，來生成作為所述輸出數(shù)據(jù)的圖像，使得從 由所述顯示裝置顯示的圖像識別的對象的尺寸被標(biāo)識為真實(shí)世界中對象的尺寸。
6.如權(quán)利要求2所述的廣播系統(tǒng)，其中，所述發(fā)送裝置發(fā)送由多個(gè)類型的傳感器獲取的多個(gè)類型的素材數(shù)據(jù)以及與多個(gè) 單獨(dú)類型的素材數(shù)據(jù)對應(yīng)的各條附加信息，并且 其中，所述接收設(shè)備包括 接收裝置，多個(gè)類型的生成裝置，用于基于多個(gè)類型的素材數(shù)據(jù)以及與多個(gè)類型的素材數(shù)據(jù)對應(yīng) 的各條附加信息，來單獨(dú)地生成多個(gè)類型的輸出數(shù)據(jù)，以及多個(gè)類型的輸出裝置，用于基于所述多個(gè)類型的輸出數(shù)據(jù)產(chǎn)生輸出。
7.如權(quán)利要求6所述的廣播系統(tǒng)，其中，所述多個(gè)類型的輸出裝置中一個(gè)預(yù)定類型的輸出裝置是空調(diào)裝置，其中，所述多個(gè)類型的輸出數(shù)據(jù)中的一個(gè)預(yù)定類型的輸出數(shù)據(jù)是關(guān)于溫度或氣流速度 的數(shù)據(jù)，并且其中，所述空調(diào)裝置基于關(guān)于溫度或氣流速度的數(shù)據(jù)產(chǎn)生輸出，用于再現(xiàn)其中由所述 多個(gè)類型的傳感器獲取多個(gè)類型的素材數(shù)據(jù)的環(huán)境中的溫度或氣流速度。
8.如權(quán)利要求1所述的廣播系統(tǒng)，其中，所述附加信息包括作為用于處理所述素材數(shù)據(jù)的信息的效果信息，并且 其中，所述生成裝置通過使所述素材數(shù)據(jù)經(jīng)歷基于所述效果信息的處理，來生成所述 輸出數(shù)據(jù)。
9.如權(quán)利要求8所述的廣播系統(tǒng)，其中，所述接收設(shè)備還包括指令輸入裝置，用于接受由用戶提供的處理指令，并且 其中，所述生成裝置基于所述效果信息或關(guān)于由用戶提供的處理指令的指令信息，使 所述素材數(shù)據(jù)經(jīng)歷用戶希望的處理。
10.如權(quán)利要求9所述的廣播系統(tǒng)，其中，所述傳感器是用于捕獲圖像的圖像捕獲裝置， 其中，所述素材數(shù)據(jù)是由所述圖像捕獲裝置捕獲的圖像， 其中，所述輸出裝置是顯示圖像的顯示裝置， 其中，所述輸出數(shù)據(jù)是由所述顯示裝置顯示的圖像，其中，所述指令信息包括指示與作為所述素材數(shù)據(jù)的圖像的要在所述顯示裝置上顯示 的部分對應(yīng)的區(qū)域的顯示圖像幀信息，并且其中，所述生成裝置通過從作為所述素材數(shù)據(jù)的圖像提取與由所述顯示圖像幀信息指 示的區(qū)域?qū)?yīng)的圖像，來生成所述輸出數(shù)據(jù)。
11.如權(quán)利要求8所述的廣播系統(tǒng)，其中，所述傳感器是用于捕獲圖像的圖像捕獲裝置， 其中，所述素材數(shù)據(jù)是由所述圖像捕獲裝置捕獲的圖像， 其中，所述輸出裝置是顯示圖像的顯示裝置， 其中，所述輸出數(shù)據(jù)是由所述顯示裝置顯示的圖像，并且其中，所述效果信息包括要與作為所述素材數(shù)據(jù)的圖像組合的要組合的數(shù)據(jù)，并且所 述生成部件通過基于所述效果信息來組合所述要組合的數(shù)據(jù)和作為所述素材數(shù)據(jù)的圖像， 來生成所述輸出數(shù)據(jù)。
12.如權(quán)利要求11所述的廣播系統(tǒng)，其中，所述要組合的數(shù)據(jù)是關(guān)于字幕的數(shù)據(jù)或畫中畫的數(shù)據(jù)。
13.如權(quán)利要求8所述的廣播系統(tǒng)，其中，所述傳感器是用于捕獲圖像的圖像捕獲裝置， 其中，所述素材數(shù)據(jù)是由所述圖像捕獲裝置捕獲的圖像， 其中，所述輸出裝置是顯示圖像的顯示裝置， 其中，所述輸出數(shù)據(jù)是由所述顯示裝置顯示的圖像，其中，所述效果信息包括指示與作為所述素材數(shù)據(jù)的圖像的要在所述顯示裝置上顯示 的部分對應(yīng)的區(qū)域的顯示圖像幀信息，并且其中，所述生成裝置通過從作為所述素材數(shù)據(jù)的圖像提取與由所述顯示圖像幀信息指示的區(qū)域?qū)?yīng)的圖像，來生成所述輸出數(shù)據(jù)。
14.如權(quán)利要求8所述的廣播系統(tǒng)，其中，所述傳感器是用于捕獲圖像的圖像捕獲裝置，其中，所述素材數(shù)據(jù)包括各條素材數(shù)據(jù)，并且各條素材數(shù)據(jù)是由所述圖像捕獲裝置捕 獲的多個(gè)運(yùn)動(dòng)圖像，其中，所述輸出裝置是顯示圖像的顯示裝置，其中，所述輸出數(shù)據(jù)是由所述顯示裝置顯示的圖像，其中，所述效果信息包括切換信息，用于通過從作為各條素材數(shù)據(jù)的多個(gè)運(yùn)動(dòng)圖像中 選擇一個(gè)圖像流，來在所述顯示裝置上顯示的圖像中進(jìn)行切換，并且其中，所述生成裝置通過基于所述切換信息來從作為各條素材數(shù)據(jù)的多個(gè)運(yùn)動(dòng)圖像中 選擇一個(gè)運(yùn)動(dòng)圖像，而生成所述輸出數(shù)據(jù)。
15.如權(quán)利要求9所述的廣播系統(tǒng)，其中，所述附加信息還包括指示真實(shí)世界中的物理量的真實(shí)世界信息，并且其中，當(dāng)用戶沒有提供處理指令時(shí)，所述生成裝置基于所述素材數(shù)據(jù)、所述真實(shí)世界信 息、以及指示所述輸出裝置的特性的特性信息來生成輸出，使得從由所述輸出裝置產(chǎn)生的 輸出識別的物理量被標(biāo)識為由所述真實(shí)世界信息指示的物理量。
16.如權(quán)利要求11所述的廣播系統(tǒng)，其中，所述接收設(shè)備還包括指令輸入裝置，用于接受由用戶提供的處理指令，并且其中，所述生成裝置基于所述效果信息或關(guān)于由用戶提供的處理指令的指令信息，使 所述素材數(shù)據(jù)經(jīng)歷用戶希望的處理。
17.如權(quán)利要求16所述的廣播系統(tǒng)，其中，所述效果信息包括指示執(zhí)行要組合的數(shù)據(jù)的組合的定時(shí)的定時(shí)信息，并且其中，當(dāng)用戶沒有提供處理指令時(shí)，所述生成裝置通過基于所述定時(shí)信息來組合所述 要組合的數(shù)據(jù)和作為所述素材數(shù)據(jù)的圖像，而生成所述輸出數(shù)據(jù)。
18.—種發(fā)送設(shè)備，其與接收數(shù)據(jù)的接收設(shè)備一起配置一種廣播系統(tǒng)，并且發(fā)送數(shù)據(jù)， 所述發(fā)送設(shè)備包括發(fā)送裝置，用于發(fā)送由傳感器獲取的素材數(shù)據(jù)，以及用于以所述接收設(shè)備處理所述素 材數(shù)據(jù)的附加信息。
19.一種用于發(fā)送設(shè)備的發(fā)送方法，所述發(fā)送設(shè)備與接收數(shù)據(jù)的接收設(shè)備一起配置一 種廣播系統(tǒng)，并且所述發(fā)送設(shè)備發(fā)送數(shù)據(jù)，所述發(fā)送方法包括以所述發(fā)送設(shè)備發(fā)送由傳感器獲取的素材數(shù)據(jù)以及用于以所述接收設(shè)備處理所述素 材數(shù)據(jù)的附加信息的步驟。
20.一種用于使得計(jì)算機(jī)用作發(fā)送設(shè)備的程序，所述發(fā)送設(shè)備與接收數(shù)據(jù)的接收設(shè)備 一起配置一種廣播系統(tǒng)，并且所述發(fā)送設(shè)備發(fā)送數(shù)據(jù)，所述程序使得計(jì)算機(jī)用作發(fā)送裝置，用于發(fā)送由傳感器獲取的素材數(shù)據(jù)以及用于以所述接收設(shè)備處理所述素材 數(shù)據(jù)的附加信息。
21.一種接收設(shè)備，其與發(fā)送數(shù)據(jù)的發(fā)送設(shè)備一起配置一種廣播系統(tǒng)，并且接收數(shù)據(jù)， 所述接收設(shè)備包括在所述發(fā)送設(shè)備發(fā)送由傳感器獲取的素材數(shù)據(jù)以及用于以所述接收設(shè)備處理所述素材數(shù)據(jù)的附加信息的情況下，接收裝置，用于接收所述素材數(shù)據(jù)和所述附加信息， 生成裝置，用于基于所述素材數(shù)據(jù)和所述附加信息生成輸出數(shù)據(jù)，以及 輸出裝置，用于基于所述輸出數(shù)據(jù)產(chǎn)生輸出。
22.一種用于接收設(shè)備的接收方法，所述接收設(shè)備與發(fā)送數(shù)據(jù)的發(fā)送設(shè)備一起配置一 種廣播系統(tǒng)，并且所述接收設(shè)備接收數(shù)據(jù)，所述接收方法包括步驟在所述發(fā)送設(shè)備發(fā)送由傳感器獲取的素材數(shù)據(jù)以及用于以所述接收設(shè)備處理所述素 材數(shù)據(jù)的附加信息的情況下， 以所述接收設(shè)備，接收所述素材數(shù)據(jù)和所述附加信息， 基于所述素材數(shù)據(jù)和所述附加信息生成輸出數(shù)據(jù)，以及 以用于產(chǎn)生輸出的輸出裝置來基于所述輸出數(shù)據(jù)產(chǎn)生輸出。
23.一種用于使得計(jì)算機(jī)用作接收設(shè)備的程序，所述接收設(shè)備與發(fā)送數(shù)據(jù)的發(fā)送設(shè)備 一起配置一種廣播系統(tǒng)，并且所述接收設(shè)備接收數(shù)據(jù)，所述程序使得計(jì)算機(jī)用作在所述發(fā)送設(shè)備發(fā)送由傳感器獲取的素材數(shù)據(jù)以及用于以所述接收設(shè)備處理所述素 材數(shù)據(jù)的附加信息的情況下，接收裝置，用于接收所述素材數(shù)據(jù)和所述附加信息，生成裝置，用于基于所述素材數(shù)據(jù)和所述附加信息生成輸出數(shù)據(jù)，以及輸出裝置，用于 基于所述輸出數(shù)據(jù)產(chǎn)生輸出。
全文摘要
本發(fā)明涉及廣播系統(tǒng)、傳輸設(shè)備和傳輸方法、接收設(shè)備和接收方法、以及程序，從而在廣播系統(tǒng)的接收側(cè)執(zhí)行適當(dāng)?shù)奶幚?，使得可能為用戶提供存在感、顯示匹配用戶的愛好的圖像等。傳輸設(shè)備(11)傳輸由傳感器獲得的原始數(shù)據(jù)，以及用于使用接收設(shè)備(12)處理原始數(shù)據(jù)的附加信息。接收設(shè)備(12)接收原始數(shù)據(jù)和附加信息，并且基于原始數(shù)據(jù)和附加信息生成輸出數(shù)據(jù)。此外，接收設(shè)備(12)基于輸出數(shù)據(jù)執(zhí)行輸出，例如在如顯示設(shè)備或空調(diào)器的輸出裝置中執(zhí)行輸出。本發(fā)明可以應(yīng)用于例如執(zhí)行廣播的廣播系統(tǒng)。
文檔編號H04H60/13GK101939988SQ200980104689
公開日2011年1月5日 申請日期2009年2月13日 優(yōu)先權(quán)日2008年2月14日
發(fā)明者近藤哲二郎 申請人:索尼公司