專(zhuān)利名稱(chēng)：影像聲音處理用集成電路的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及影像聲音處理用集成電路，特別涉及作為在各種應(yīng)用中使用的系統(tǒng)LSI實(shí)現(xiàn)的影像聲音處理用集成電路。
背景技術(shù)：
隨著近年來(lái)的數(shù)字技術(shù)、動(dòng)態(tài)圖像及聲音的壓縮解壓縮技術(shù)的迅速發(fā)展，數(shù)字電視機(jī)(DTV)、DVD錄制機(jī)等數(shù)字視頻記錄機(jī)(DVR)、便攜電話、數(shù)字照相機(jī)等影像聲音設(shè)備越來(lái)越尋求高功能化、小型化。為此，在這樣的影像聲音設(shè)備的開(kāi)發(fā)現(xiàn)場(chǎng)，開(kāi)發(fā)期間的縮短化成為較大的課題。
以往，為了支持影像聲音設(shè)備的開(kāi)發(fā)，有將有關(guān)影像聲音功能的處理所需的多個(gè)功能塊作為1個(gè)LSI實(shí)現(xiàn)的技術(shù)(例如參照非專(zhuān)利文獻(xiàn)1)。
該以往的LSI具備媒體處理所需的DSP(Digital Signal Processor，數(shù)字信號(hào)處理器)核心、各種視頻I/O、RGB、I/O、MPEG-2傳輸流I/F、LAN I/F等。設(shè)備的開(kāi)發(fā)者通過(guò)使用這樣的LSI，不需要分別開(kāi)發(fā)影像聲音處理所需的各功能塊中的硬件電路。
非專(zhuān)利文獻(xiàn)1“TMS320DM642 Technical Overview”，テキサル亻ンツルメンツ社，p.4等但是，上述以往的LSI由于不具備與利用聲音等的電話的I/F、及電力控制等用來(lái)實(shí)現(xiàn)低功耗的功能等，所以有不適合便攜電話及數(shù)字照相機(jī)等移動(dòng)類(lèi)用途的問(wèn)題。因此，即使利用上述以往的LSI實(shí)現(xiàn)例如DTV等服務(wù)器類(lèi)設(shè)備，也不能將因此得到的軟件等設(shè)計(jì)資源轉(zhuǎn)用到便攜電話等移動(dòng)類(lèi)設(shè)備中。
進(jìn)而，在利用上述以往的LSI開(kāi)發(fā)影像聲音設(shè)備的情況下，對(duì)于用來(lái)暫時(shí)保存影像及聲音數(shù)據(jù)的存儲(chǔ)器和各處理塊之間的接口，開(kāi)發(fā)者必須獨(dú)立地設(shè)計(jì)。例如，在設(shè)計(jì)能夠由多個(gè)處理塊共用的共用存儲(chǔ)器的情況下，必須確保各處理塊與存儲(chǔ)器之間的傳送頻帶，并且考慮等待時(shí)間(latency)的保證。為此，實(shí)際情況是不能削減高功能的影像聲音設(shè)備的開(kāi)發(fā)工作量。

發(fā)明內(nèi)容
所以，本發(fā)明是鑒于這樣的以往的問(wèn)題而做出的，目的是提供一種影像聲音處理用集成電路，該影像聲音處理用集成電路不僅能夠用于DTV及DVR等服務(wù)器類(lèi)影像聲音設(shè)備，還能夠作為便攜電話及數(shù)字照相機(jī)等移動(dòng)類(lèi)影像聲音設(shè)備的系統(tǒng)LSI使用，并且在這些影像聲音設(shè)備的開(kāi)發(fā)中得到的設(shè)計(jì)資源也能夠轉(zhuǎn)用到其他種類(lèi)的影像聲音設(shè)備中。
進(jìn)而，本發(fā)明的目的是提供一種能夠容易地確保保存影像及聲音數(shù)據(jù)的存儲(chǔ)器與各處理塊之間的接口的傳送頻帶及等待時(shí)間保證的影像聲音處理用集成電路。
為了達(dá)到上述目的，有關(guān)本發(fā)明的影像聲音處理用集成電路是處理影像及聲音信號(hào)的影像聲音處理用集成電路，其特征在于，具備微型計(jì)算機(jī)塊，具有CPU；流輸入輸出塊，在上述微型計(jì)算機(jī)塊的控制下，與外部裝置進(jìn)行影像及聲音流的輸入輸出；媒體處理塊，在上述微型計(jì)算機(jī)塊的控制下，執(zhí)行媒體處理，該媒體處理包括輸入到上述流輸入輸出塊中的、或者從上述流輸入輸出塊輸出的影像及聲音流的壓縮及解壓縮中的至少1個(gè)；AV輸入輸出塊，在上述微型計(jì)算機(jī)塊的控制下，將由上述媒體處理塊進(jìn)行媒體處理后的影像及聲音流變換為影像及聲音信號(hào)，并輸出給外部設(shè)備，或者從外部設(shè)備取得影像及聲音信號(hào)，并變換為由上述媒體處理塊進(jìn)行媒體處理的影像及聲音流；存儲(chǔ)器接口塊，在上述微型計(jì)算機(jī)塊的控制下，控制上述微型計(jì)算機(jī)塊、上述流輸入輸出塊、上述媒體處理塊及上述AV輸入輸出塊與存儲(chǔ)器之間的數(shù)據(jù)傳送。
由此，例如通過(guò)使上述微型計(jì)算機(jī)塊、上述流輸入輸出塊、上述媒體處理塊、以及上述AV輸入輸出塊利用專(zhuān)用的數(shù)據(jù)總線與上述存儲(chǔ)器接口塊連接，在上述微型計(jì)算機(jī)塊、上述流輸入輸出塊、上述媒體處理塊、以及上述AV輸入輸出塊之間，經(jīng)由上述存儲(chǔ)器進(jìn)行上述影像及聲音流的收發(fā)，由此，4種處理塊不是分別相互地連接，而是經(jīng)由共用的存儲(chǔ)器連接。因而，對(duì)各處理塊的控制編程都只要設(shè)計(jì)為與存儲(chǔ)器之間輸入輸出數(shù)據(jù)就可以，與其他處理塊中的處理分離。由此，提高了應(yīng)用程序相對(duì)于各處理塊的獨(dú)立性，能夠?qū)崿F(xiàn)設(shè)計(jì)資源的轉(zhuǎn)用。
這里，上述存儲(chǔ)器接口塊也可以中繼數(shù)據(jù)傳送，以便并行地進(jìn)行上述微型計(jì)算機(jī)塊、上述流輸入輸出塊、上述媒體處理塊、以及上述AV輸入輸出塊與上述存儲(chǔ)器之間的數(shù)據(jù)傳送；上述微型計(jì)算機(jī)塊、上述流輸入輸出塊、上述媒體處理塊、以及上述AV輸入輸出塊也可以在將上述影像及聲音流保存到上述存儲(chǔ)器中之后，將已保存的消息通知給其他塊。由此，存儲(chǔ)器成為經(jīng)由存儲(chǔ)器接口塊被各處理塊共有，通過(guò)使數(shù)據(jù)傳送、協(xié)調(diào)的控制及管理處理集中于存儲(chǔ)器接口塊，存儲(chǔ)器與各處理塊的接口的傳送頻帶的確保及等待事件保證變得容易。
此外，也可以是，上述流輸入輸出塊例如具有與上述外部裝置進(jìn)行影像及聲音流的收發(fā)的接口部、進(jìn)行所收發(fā)的影像及聲音流的加密或解密的加密處理部、以及控制上述外部裝置與上述存儲(chǔ)器的數(shù)據(jù)傳送的直接內(nèi)存存取控制部；上述媒體處理塊例如具有并行地執(zhí)行多個(gè)信號(hào)處理指令的指令并行處理器、執(zhí)行運(yùn)算處理的加速器、以及控制與上述存儲(chǔ)器的數(shù)據(jù)傳送的直接內(nèi)存存取控制部；上述AV輸入輸出塊例如具有進(jìn)行圖像數(shù)據(jù)的圖形處理的圖形引擎、以及變換影像信號(hào)的格式的格式變換部；上述存儲(chǔ)器接口塊例如具有與上述微型計(jì)算機(jī)塊、上述流輸入輸出塊、上述媒體處理塊、以及上述AV輸入輸出塊連接的多個(gè)端口、以及調(diào)整上述多個(gè)端口各自的數(shù)據(jù)傳送定時(shí)的存儲(chǔ)器調(diào)度器。
進(jìn)而，作為移動(dòng)用的應(yīng)用，上述微型計(jì)算機(jī)塊優(yōu)選地還具有接通/斷開(kāi)向上述CPU時(shí)鐘的供給的時(shí)鐘控制部以及接通/斷開(kāi)電源的供給的電源控制部中的至少1個(gè)。
此外，作為服務(wù)器用的應(yīng)用，上述媒體處理塊優(yōu)選地還具備并行地執(zhí)行對(duì)多個(gè)數(shù)據(jù)的運(yùn)算的數(shù)據(jù)并行處理器。
此外，也可以是，上述影像聲音處理用集成電路還具備將上述流輸入輸出塊和上述媒體處理塊連接的信號(hào)線；上述媒體處理塊執(zhí)行影像及聲音流的媒體處理，該影像及聲音流經(jīng)由上述信號(hào)線從上述流輸入輸出塊輸入，或者經(jīng)由上述信號(hào)線輸出給上述流輸入輸出塊。這是因?yàn)?，在從流輸入輸出塊發(fā)送來(lái)的流數(shù)據(jù)是低位速率的情況下，高速動(dòng)作的媒體處理塊直接接收流數(shù)據(jù)并執(zhí)行媒體處理，這樣，由于不經(jīng)由存儲(chǔ)器的那部分，而安全性提高，配合功耗的削減，可以提高處理效率。
此外，作為具體的應(yīng)用，上述影像聲音處理用集成電路被用作不同的多個(gè)設(shè)備用的系統(tǒng)LSI；在上述設(shè)備中包括數(shù)字電視機(jī)、數(shù)字視頻錄制機(jī)、攝像機(jī)及便攜電話。
并且，在設(shè)上述設(shè)備中的1個(gè)為第1設(shè)備、設(shè)另1個(gè)為第2設(shè)備的情況下，也可以使CPU的指令組具有互換性、或使媒體處理器的指令組具有互換性、或使CPU或媒體處理器的核心具有軟宏的共用性、或具有硬宏的公用性、或具有存儲(chǔ)器映象的共用性。
此外，也可以是，上述AV輸入輸出塊還通過(guò)對(duì)從由上述媒體處理塊進(jìn)行媒體處理后的影像流變換來(lái)的、或從外部設(shè)備取得的影像信號(hào)進(jìn)行析像度變換處理，生成記錄用影像信號(hào)，并且生成區(qū)域(field)特征信息，該區(qū)域特征信息表示由上述記錄用影像信號(hào)表示的影像區(qū)域的區(qū)域內(nèi)總和以及區(qū)域間差分的至少一個(gè)；上述媒體處理塊還參照上述區(qū)域特征信息，將上述記錄用影像信號(hào)變換為記錄用影像流。
此外，優(yōu)選為，上述影像聲音處理用集成電路還具備連接上述媒體處理塊和上述AV輸入輸出塊的信號(hào)線；在上述媒體處理塊及上述AV輸入輸出塊之間經(jīng)由上述信號(hào)線進(jìn)行上述區(qū)域特征信息的收發(fā)。
根據(jù)該結(jié)構(gòu)，上述媒體處理塊能夠參照在上述AV輸入輸出塊中獲知的區(qū)域特征信息，決定記錄圖像的壓縮中的I圖片、或動(dòng)態(tài)地調(diào)整壓縮率。由此，上述影像聲音處理用集成電路不會(huì)花費(fèi)用來(lái)得到區(qū)域特征信息的重復(fù)成本，能夠在維持高速度性能的同時(shí)實(shí)現(xiàn)畫(huà)質(zhì)與數(shù)據(jù)量的良好協(xié)調(diào)。
此外，也可以是，上述媒體處理塊與一個(gè)影像聲音多路復(fù)用流相關(guān)聯(lián)，一邊時(shí)分割地執(zhí)行流的多路復(fù)用或多路分離處理、圖像數(shù)據(jù)的壓縮或解壓縮處理、聲音數(shù)據(jù)的壓縮或解壓縮處理，一邊禁止上述流的多路復(fù)用或多路分離處理在規(guī)定的時(shí)間內(nèi)多次啟動(dòng)。
此外，優(yōu)選為，上述媒體處理塊具有時(shí)分割地演繹多個(gè)邏輯處理器的虛擬多處理器；上述流的多路復(fù)用或多路分離處理、上述圖像數(shù)據(jù)的壓縮或解壓縮處理、上述聲音數(shù)據(jù)的壓縮或解壓縮處理分別由上述虛擬多處理器所演繹的不同的邏輯處理器執(zhí)行；執(zhí)行上述流的多路復(fù)用或多路分離處理的邏輯處理器在處理完上述流的規(guī)定單位后，進(jìn)行休眠直到規(guī)定的定時(shí)器(Timer)終止。
根據(jù)該結(jié)構(gòu)，由于沒(méi)有廣播類(lèi)、以及可過(guò)剩地輸入流的存儲(chǔ)類(lèi)的區(qū)別，自律地抑制了流處理的過(guò)剩執(zhí)行，所以不僅將圖像、聲音處理的破綻防止于未然，而且在流輸入輸出塊中也不需要對(duì)向媒體處理塊發(fā)送的流量進(jìn)行上限管理。作為它們的總體，應(yīng)用程序相對(duì)于各處理塊的獨(dú)立性、簡(jiǎn)明性提高，進(jìn)而對(duì)設(shè)計(jì)資源的轉(zhuǎn)用促進(jìn)做出貢獻(xiàn)。
另外，本發(fā)明不僅可以作為這樣的系統(tǒng)LSI實(shí)現(xiàn)，而且可以作為使用了這樣的系統(tǒng)LSI的設(shè)備的設(shè)計(jì)開(kāi)發(fā)方法來(lái)實(shí)現(xiàn)。即，也可以作為如下的設(shè)計(jì)開(kāi)發(fā)方法來(lái)實(shí)現(xiàn)在設(shè)數(shù)字電視機(jī)、數(shù)字視頻錄制機(jī)、攝像機(jī)及便攜電話等設(shè)備中的1個(gè)為第1設(shè)備、設(shè)另1個(gè)為第2設(shè)備的情況下，由上述第1設(shè)備用的影像聲音處理用集成電路和上述第2設(shè)備用的影像聲音處理用集成電路共通地進(jìn)行的處理在由上述第1設(shè)備用的影像聲音處理用集成電路的微型計(jì)算機(jī)塊進(jìn)行的情況下，由上述第2設(shè)備用的影像聲音處理用集成電路的微型計(jì)算機(jī)塊進(jìn)行上述處理；在由上述第1設(shè)備用的影像聲音處理用集成電路的流輸入輸出塊進(jìn)行的情況下，由上述第2設(shè)備用的影像聲音處理用集成電路的流輸入輸出塊進(jìn)行上述處理；在由上述第1設(shè)備用的影像聲音處理用集成電路的媒體處理塊進(jìn)行的情況下，由上述第2設(shè)備用的影像聲音處理用集成電路的媒體處理塊進(jìn)行上述處理；在由上述第1設(shè)備用的影像聲音處理用集成電路的AV輸入輸出塊進(jìn)行的情況下，由上述第2設(shè)備用的影像聲音處理用集成電路的AV輸入輸出塊進(jìn)行上述處理。
發(fā)明效果根據(jù)本發(fā)明，不僅對(duì)DTV及DVR等服務(wù)器類(lèi)影像聲音設(shè)備、對(duì)于便攜電話及攝像機(jī)等移動(dòng)類(lèi)影像聲音設(shè)備也能夠使用共用的系統(tǒng)LSI實(shí)現(xiàn)。并且，在這些影像聲音設(shè)備間能夠?qū)崿F(xiàn)設(shè)計(jì)資源的轉(zhuǎn)用。
此外，保存影像及聲音數(shù)據(jù)的存儲(chǔ)器與各處理塊之間的接口的傳送頻帶的確保及等待時(shí)間保證變得容易，能夠在較短的期間內(nèi)開(kāi)發(fā)高功能的影像聲音設(shè)備。
這樣，根據(jù)本發(fā)明，縮短了影像聲音設(shè)備的開(kāi)發(fā)期間，在對(duì)于影像聲音設(shè)備越來(lái)越要求高功能的影像聲音處理的當(dāng)今，實(shí)用價(jià)值很高。


圖1是表示有關(guān)本發(fā)明的影像聲音處理用集成電路的基本結(jié)構(gòu)的功能框圖。
圖2是影像聲音處理用集成電路的構(gòu)造圖。
圖3是表示適合于移動(dòng)類(lèi)應(yīng)用的影像聲音處理用集成電路的詳細(xì)結(jié)構(gòu)的功能框圖。
圖4是表示影像聲音處理用集成電路的動(dòng)作步驟的流程圖。
圖5是表示圖4所示的動(dòng)作的數(shù)據(jù)流的圖。
圖6(a)～圖6(d)是表示圖4所示的動(dòng)作中的各處理塊中的處理狀況的圖。
圖7是表示適合于服務(wù)器類(lèi)應(yīng)用的影像聲音處理用集成電路的詳細(xì)結(jié)構(gòu)的功能框圖。
圖8是表示影像聲音處理用集成電路的特征的說(shuō)明圖。
圖9是表示提高了影像處理的性能的影像聲音處理用集成電路的詳細(xì)結(jié)構(gòu)的功能框圖。
圖10是表示影像聲音處理用集成電路的動(dòng)作步驟的流程圖。
圖11是表示圖10所示的動(dòng)作的數(shù)據(jù)流的圖。
圖12(a)、圖12(b)是表示圖10所示的動(dòng)作的各處理塊中的處理內(nèi)容的圖。
圖13是表示適合于流處理的影像聲音處理用集成電路的詳細(xì)結(jié)構(gòu)的功能框圖。
圖14是表示有關(guān)流處理的虛擬多路處理器的動(dòng)作步驟的流程圖。
圖15(a)、圖15(b)是表示圖14所示的動(dòng)作中的虛擬處理器的分配定時(shí)的圖。
圖16(a)～圖16(c)是表示處理2個(gè)流時(shí)的虛擬處理器的分配定時(shí)的圖。
符號(hào)說(shuō)明1、100、100a、200、200a 影像聲音處理用集成電路1a 半導(dǎo)體基板1b 電路層1c 下位布線層1d 上位布線層2、10、210 微型計(jì)算機(jī)塊3、20、220 媒體處理塊4、30、230 AVIO塊5、40、240 存儲(chǔ)器IF塊6、50、250 存儲(chǔ)器IF塊7、60控制總線8a～8d、71～75 數(shù)據(jù)總線9外部存儲(chǔ)器11 DMA部12 CPU部13 微型計(jì)算機(jī)周邊部14 時(shí)鐘控制部15 電源控制部21 指令并行處理器21a 虛擬多處理器22 定序器部23～26 加速器27 DMAC部28 流處理抑制定時(shí)器32 加密引擎部33 安全管理部
34 DMAC部35 流處理部36 設(shè)備IF部41 圖形引擎部42 視頻輸入格式變換部43 攝像處理引擎部44 音頻IF部45 視頻輸出格式變換部51 存儲(chǔ)器調(diào)度器51a～51c子系統(tǒng)IF52 緩存部53 內(nèi)置RAM101 快閃存儲(chǔ)器102 其他CPU102～104外部設(shè)備103 存儲(chǔ)卡104 PDA105 高速I(mǎi)F106 SDRAM107 LCD108 數(shù)字照相機(jī)201 外部總處理器202 TV調(diào)諧器203 以太網(wǎng)控制器205 USB206 硬盤(pán)207 光盤(pán)
208 差動(dòng)IF210、211外部存儲(chǔ)器212 大型LCD221 數(shù)據(jù)并行處理器231 流處理部232 設(shè)備IF部具體實(shí)施方式
下面利用附圖對(duì)本發(fā)明的實(shí)施方式詳細(xì)地說(shuō)明。
圖1是表示有關(guān)本發(fā)明的影像聲音處理用集成電路1的基本結(jié)構(gòu)的功能框圖。有關(guān)本發(fā)明的影像聲音處理用集成電路1如后述那樣，能夠通過(guò)改變?nèi)舾傻碾娐方Y(jié)構(gòu)而實(shí)現(xiàn)適合于便攜電話及數(shù)字照相機(jī)等移動(dòng)類(lèi)影像聲音設(shè)備的電路結(jié)構(gòu)，或者適合于DTV及DVR等服務(wù)器類(lèi)影像聲音設(shè)備，但在哪個(gè)應(yīng)用中都具有通用的架構(gòu)，在本圖中表示其通用的架構(gòu)。
該影像聲音處理用集成電路1是進(jìn)行有關(guān)影像聲音流的各種信號(hào)處理的系統(tǒng)LSI，具有微型計(jì)算機(jī)塊2、媒體處理塊3、流I/O塊4、AVIO(Audio Visual Input Output，音頻視頻輸入輸出)塊5及存儲(chǔ)器IF塊6。
微型計(jì)算機(jī)塊2是控制影像聲音處理用集成電路1整體的處理器，是經(jīng)由控制總線7控制各處理塊3～6、或經(jīng)由數(shù)據(jù)總線8b及存儲(chǔ)器IF塊6訪問(wèn)外部存儲(chǔ)器9的電路塊。這里的處理是不依賴(lài)于影像聲音的輸出循環(huán)(幀速率等)的非實(shí)時(shí)的通用(控制關(guān)聯(lián)的)處理。
流I/O塊4是在微型計(jì)算機(jī)塊2的控制下從存儲(chǔ)媒體及網(wǎng)絡(luò)等周邊設(shè)備讀入壓縮圖像聲音流等流數(shù)據(jù)、并經(jīng)由數(shù)據(jù)總線8a及存儲(chǔ)器IF塊6保存在外部存儲(chǔ)器9中、或進(jìn)行其反方向的流傳送的電路塊。這里的處理是不依賴(lài)于影像聲音的輸出循環(huán)(幀速率等)的非實(shí)時(shí)的IO處理。
媒體處理塊3是在微型計(jì)算機(jī)塊2的控制下經(jīng)由數(shù)據(jù)總線8c及存儲(chǔ)器IF塊6從外部存儲(chǔ)器9讀出壓縮圖像聲音流等圖像聲音數(shù)據(jù)、進(jìn)行壓縮或解壓縮等媒體處理后、再次經(jīng)由數(shù)據(jù)總線8c及存儲(chǔ)器IF塊6將處理后的圖像數(shù)據(jù)及聲音數(shù)據(jù)保存到外部存儲(chǔ)器9中的電路塊。這里的處理是依賴(lài)于影像聲音的輸出循環(huán)(幀速率等)的實(shí)時(shí)的通用(媒體相關(guān)的)處理。
AVIO塊5是在微型計(jì)算機(jī)塊2的控制下經(jīng)由數(shù)據(jù)總線8d及存儲(chǔ)器IF塊6從外部存儲(chǔ)器9讀出圖像數(shù)據(jù)及聲音數(shù)據(jù)等、實(shí)施各種圖形處理后、作為圖像信號(hào)及聲音信號(hào)輸出給外部的顯示裝置及揚(yáng)聲器等、或進(jìn)行其反方向的數(shù)據(jù)傳送的電路塊。這里的處理是依賴(lài)于影像聲音的輸出循環(huán)(幀速率等)的實(shí)時(shí)的IO處理。
存儲(chǔ)器IF塊6是在微型計(jì)算機(jī)塊2的控制下進(jìn)行控制以便在各處理塊2～5與外部存儲(chǔ)器9之間并行地進(jìn)行數(shù)據(jù)請(qǐng)求的電路塊。此時(shí)，根據(jù)來(lái)自微型計(jì)算機(jī)塊2的請(qǐng)求確保各處理塊2～5與外部存儲(chǔ)器9之間的傳送頻帶，并且進(jìn)行等待時(shí)間保證。
由此，以媒體處理塊3為代表的各塊通過(guò)確保所提供的功能所需的帶寬，并且保證所要求的訪問(wèn)等待時(shí)間，能夠?qū)崿F(xiàn)在塊單獨(dú)或多個(gè)塊的協(xié)同動(dòng)作下所提供的應(yīng)用的性能保證及實(shí)時(shí)性的保證。
另外，用來(lái)確保帶寬并保證等待時(shí)間的技術(shù)由于已在日本特開(kāi)2004-246862號(hào)公報(bào)中詳細(xì)公開(kāi)了其代表性的一例，所以這里省略詳細(xì)的說(shuō)明。
這樣，有關(guān)本發(fā)明的影像聲音處理用集成電路1除了具有由實(shí)時(shí)性和處理的種類(lèi)(IO處理/非IO(通用的)處理)的組合而設(shè)定的4個(gè)特征處理塊2～5、即執(zhí)行非實(shí)時(shí)的通用的處理的微型計(jì)算機(jī)塊2、執(zhí)行實(shí)施的通用的處理的媒體處理塊3、執(zhí)行非實(shí)時(shí)的I/O處理的流I/O塊4、以及執(zhí)行實(shí)時(shí)的I/O處理的AVIO塊5以外，還具有將這4個(gè)處理塊2～5和專(zhuān)用的數(shù)據(jù)總線8a～8d連接的存儲(chǔ)器IF塊6，具備移動(dòng)類(lèi)的應(yīng)用和服務(wù)器類(lèi)的應(yīng)用兩者共用的架構(gòu)。
即，4種處理塊不是分別相互連接，而是經(jīng)由共用的外部存儲(chǔ)器9連接。因而，對(duì)各處理塊的控制編程都只要設(shè)計(jì)為與外部存儲(chǔ)器9之間輸入輸出數(shù)據(jù)就可以，與其他處理塊中的處理分離。由此，應(yīng)用程序相對(duì)于各處理塊的獨(dú)立性變高，各處理塊不會(huì)受到來(lái)自其他處理塊的影響，只要僅考慮各處理塊與存儲(chǔ)器IF之間的規(guī)格就可以，所以能夠提高設(shè)計(jì)效率，并且即使在向其他應(yīng)用解壓縮的情況下，也能夠通過(guò)只變更所需的塊的結(jié)構(gòu)來(lái)進(jìn)行該其他應(yīng)用的處理，所以能夠?qū)崿F(xiàn)設(shè)計(jì)資源的轉(zhuǎn)用。
例如，能夠?qū)榱私M裝到便攜電話等移動(dòng)類(lèi)的影像聲音設(shè)備中而開(kāi)發(fā)出的影像聲音處理用集成電路的應(yīng)用程序(例如將便攜電話接收到的壓縮聲音流用媒體處理塊解壓縮的應(yīng)用程序)轉(zhuǎn)用作組裝到DTV等服務(wù)器類(lèi)影像聲音設(shè)備中的影像聲音處理用集成電路的應(yīng)用程序(例如將包含在DTV接收到的傳送流中的聲音流用媒體處理塊解壓縮的應(yīng)用程序)。
即，在將DTV、DVR、攝像機(jī)、便攜電話等設(shè)備中的1個(gè)作為第1設(shè)備、將另1個(gè)作為第2設(shè)備的情況下，由第1設(shè)備用的影像聲音處理用集成電路和第2設(shè)備用的影像聲音處理用集成電路共用地進(jìn)行的處理可以設(shè)計(jì)開(kāi)發(fā)為，在由第1設(shè)備用的影像聲音處理用集成電路的微型計(jì)算機(jī)塊進(jìn)行的情況下，由第2設(shè)備用的影像聲音處理用集成電路的微型計(jì)算機(jī)塊進(jìn)行該處理，在由第1設(shè)備用的影像聲音處理用集成電路的流I/O塊進(jìn)行的情況下，由第2設(shè)備用的影像聲音處理用集成電路的流I/O塊進(jìn)行該處理，在由第1設(shè)備用的影像聲音處理用集成電路的媒體處理塊進(jìn)行的情況下，由第2設(shè)備用的影像聲音處理用集成電路的媒體處理塊進(jìn)行該處理，在由第1設(shè)備用的影像聲音處理用集成電路的AVIO塊進(jìn)行的情況下，由第2設(shè)備用的影像聲音處理用集成電路的AVIO塊進(jìn)行該處理。這樣，通過(guò)使第1設(shè)備用的影像聲音處理用集成電路的各塊的處理的分擔(dān)與第2設(shè)備用的影像聲音處理用集成電路的各塊的處理的分擔(dān)共用化，能夠轉(zhuǎn)用各塊的硬件與軟件的設(shè)計(jì)資源。
另外，該影像聲音處理用集成電路1是形成在1個(gè)半導(dǎo)體基板上的1芯片LSI，但作為制造工序上的結(jié)構(gòu)，如圖2所示，具有半導(dǎo)體基板1a、電路層1b、下位布線層1c及上位布線層1d。電路層1b相當(dāng)于各處理塊2～5的電路要素，下位布線層1c相當(dāng)于與各處理塊2～5的電路要素連接的各處理塊2～5內(nèi)的布線，上位布線層1d相當(dāng)于將各處理塊2～5之間連接的總線(控制總線7及數(shù)據(jù)總線8a～8d)。這樣，將布線層分離為各處理塊內(nèi)的布線和將各處理塊間連接的布線，通過(guò)進(jìn)行不同的掩模設(shè)計(jì)，分離為各處理塊的內(nèi)部與外部的布線設(shè)計(jì)，設(shè)計(jì)變得容易。
接著，更詳細(xì)地說(shuō)明有關(guān)本發(fā)明的影像聲音處理用集成電路中的、適合于便攜電話及攝像機(jī)等移動(dòng)類(lèi)應(yīng)用的類(lèi)型的影像聲音處理用集成電路。
圖3是表示適合于移動(dòng)類(lèi)應(yīng)用的影像聲音處理用集成電路100的詳細(xì)結(jié)構(gòu)的功能框圖。
影像聲音處理用集成電路100是適合于需要無(wú)線通信及低功耗化的功能的移動(dòng)類(lèi)影像聲音設(shè)備的系統(tǒng)LSI，具有微型計(jì)算機(jī)塊10、媒體處理塊20、流I/O塊30、AVIO塊40及存儲(chǔ)器IF塊50。
微型計(jì)算機(jī)塊10是經(jīng)由控制總線60控制各處理塊20～40、或經(jīng)由數(shù)據(jù)總線71訪問(wèn)SDRAM(Synchronous DRAM同步DRAM)106的電路塊，具備DMA(Direct Memory Access直接內(nèi)存存取)部11、CPU部12、微型計(jì)算機(jī)周邊部13、時(shí)鐘控制部14及電源控制部15等。
DMA部11是直接內(nèi)存存取用的控制器，例如通過(guò)將保存在經(jīng)由外部總線連接的快閃存儲(chǔ)器101中的用戶(hù)程序等直接傳送給CPU部12內(nèi)的程序存儲(chǔ)器等來(lái)下載。
CPU部12是具有定時(shí)功能及中斷功能的處理器核心，按照保存在內(nèi)部的程序存儲(chǔ)器等中的程序，進(jìn)行該影像聲音處理用集成電路100整體的控制。另外，在內(nèi)部的程序存儲(chǔ)器等中，預(yù)先保存有OS等基本軟件。
微型計(jì)算機(jī)周邊部13是中斷控制電路及周邊I/O端口等。
時(shí)鐘控制部14是對(duì)各電路供給時(shí)鐘、并且通過(guò)在CPU部12等處于空閑狀態(tài)時(shí)停止向CPU部12等的時(shí)鐘供給等來(lái)實(shí)現(xiàn)低功耗化的電路。
電源控制部15是對(duì)各電路供給電源、并且通過(guò)在各處理塊處于空閑狀態(tài)等時(shí)停止向各處理塊的電源供給等來(lái)實(shí)現(xiàn)低功耗化的電路。
媒體處理塊20是在微型計(jì)算機(jī)塊10的控制下、將從SDRAM106經(jīng)由數(shù)據(jù)總線72a及72b讀出的圖像、音頻、聲音數(shù)據(jù)按照MPEG規(guī)格等壓縮、解壓縮的高速的DSP等，具備指令并行處理器21、定序器部22、第1～第4加速器(ACC；accelerator)部23～26及DMAC部27等。另外，該媒體處理塊20也可以不經(jīng)由SDRAM106，而是從流I/O塊30經(jīng)由數(shù)據(jù)總線74直接獲取流數(shù)據(jù)。這是因?yàn)?，在從流I/O塊30發(fā)送來(lái)的流數(shù)據(jù)是低位速率的情況下，高速動(dòng)作的媒體處理塊20直接接收流數(shù)據(jù)并執(zhí)行媒體處理，從而因不經(jīng)由SDRAM106那部分，而能夠?qū)崿F(xiàn)安全性提高、功耗削減、以及處理效率提高。
指令并行處理器21是并行地執(zhí)行多個(gè)指令(信號(hào)處理指令)的處理器，進(jìn)行各結(jié)構(gòu)要素22～27的整體控制。
定序器部22在指令并行處理器21的控制下，控制第1～第4加速器部23～26的處理次序。
第1～第4加速器部23～26分別并行地動(dòng)作，是對(duì)圖像、視頻、聲音數(shù)據(jù)進(jìn)行DCT(Discrete Cosine Transform離散余弦變換)、反DCT、量化、反量化、運(yùn)動(dòng)檢測(cè)、運(yùn)動(dòng)補(bǔ)償?shù)葔嚎s、解壓縮等的媒體處理的運(yùn)算處理引擎。
DMAC部27是直接內(nèi)存存取用的控制器，例如經(jīng)由數(shù)據(jù)總線72a及72b等控制與SDRAM106之間的數(shù)據(jù)的直接傳送。
另外，該媒體處理塊20是用于移動(dòng)類(lèi)應(yīng)用的低電力化對(duì)應(yīng)電路。具體而言，不是功耗較高的通用的數(shù)據(jù)處理處理器，而是通過(guò)第1～第4加速器部23～26那樣的低功耗的專(zhuān)用硬件引擎實(shí)現(xiàn)的，具備自動(dòng)檢測(cè)不存在處理數(shù)據(jù)等的空閑狀態(tài)而停止(自動(dòng)停止控制)、或切斷時(shí)鐘供給(選通時(shí)鐘)功能。
流I/O塊30是從外部設(shè)備102～104接收流數(shù)據(jù)、經(jīng)由數(shù)據(jù)總線70保存到SDRAM106中、或進(jìn)行相反的數(shù)據(jù)傳送的電路塊，具備加密引擎部32、安全管理部33、DMAC部34、流處理部35及設(shè)備IF部36等。
加密引擎部32是將所輸入的加密流數(shù)據(jù)及密鑰數(shù)據(jù)等解密、或?qū)鬟f給外部設(shè)備102～104的密鑰數(shù)據(jù)加密的加密器及解密器。
安全管理部33是與外部設(shè)備102～104之間進(jìn)行所需的設(shè)備認(rèn)證協(xié)議等的執(zhí)行控制、或保持私鑰的耐篡改的電路。
DMAC部34是直接內(nèi)存存取用的控制器，例如將經(jīng)由設(shè)備IF部36輸入的流數(shù)據(jù)經(jīng)由數(shù)據(jù)總線70直接傳送給SDRAM106。
流處理部35將經(jīng)由設(shè)備IF部36從外部設(shè)備102～104輸入的流數(shù)據(jù)多路分離。
設(shè)備IF部36是在便攜電話等中使用的通信處理器等的用來(lái)與其他CPU102之間進(jìn)行收發(fā)的IO端口、用來(lái)與SD(商標(biāo))卡等存儲(chǔ)卡103之間讀寫(xiě)的IO端口、用來(lái)與PDA104等之間進(jìn)行紅外線通信等的IO端口等的集合。
AVIO塊40是將保存在SDRAM106中的影像及聲音流經(jīng)由數(shù)據(jù)總線73a及73b讀出、輸出給LCD107等、或?qū)臄?shù)字照相機(jī)108發(fā)送來(lái)的影像數(shù)據(jù)經(jīng)由數(shù)據(jù)總線73a及73b保存到SDRAM106中的電路塊，具備圖形引擎部41、視頻輸入格式變換部42、攝像處理引擎部43、音頻IF部44以及視頻輸出格式變換部45等。
圖形引擎部41是進(jìn)行過(guò)濾處理、畫(huà)面合成、曲線描繪、3D顯示等圖形處理的高性能圖形引擎。
視頻輸入格式變換部42將輸入到該影像聲音處理用集成電路100中的影像數(shù)據(jù)的因色彩空間等所引起的信號(hào)格式變換為適合于內(nèi)部處理的格式。
攝像處理引擎部43進(jìn)行對(duì)從數(shù)字照相機(jī)108等輸入的靜止圖像及動(dòng)態(tài)圖像的高畫(huà)質(zhì)攝像處理。
音頻IF部44是與麥克風(fēng)、揚(yáng)聲器等之間輸入輸出聲音信號(hào)的A/D變換器、D/A變換器等。
視頻輸出格式變換部45將所輸出的影像信號(hào)的因色彩空間等所引起的信號(hào)格式變換為適合LCD107等的格式。
存儲(chǔ)器IF塊50是控制在該影像聲音處理用集成電路100和SDRAM106等外部存儲(chǔ)器及高速I(mǎi)F105之間的數(shù)據(jù)傳送的接口電路，具備存儲(chǔ)器調(diào)度器51、緩存部52及內(nèi)置RAM53等。
存儲(chǔ)器調(diào)度器51是具有與各處理塊10～40及高速I(mǎi)F105之間并行地輸入輸出數(shù)據(jù)的端口(子系統(tǒng)IF51a～51c)的定序器，按照來(lái)自微型計(jì)算機(jī)塊10的指示，對(duì)各子系統(tǒng)IF51a～51a的每一個(gè)確保一定的傳送頻帶，并且保證等待時(shí)間。
緩存部52是對(duì)SDRAM106和存儲(chǔ)器調(diào)度器51之間的數(shù)據(jù)傳送進(jìn)行中繼的高速的緩沖存儲(chǔ)器。
內(nèi)置RAM53是存儲(chǔ)器調(diào)度器51用來(lái)對(duì)各子系統(tǒng)IF51a～51a的每一個(gè)保證一定頻帶的數(shù)據(jù)傳送的數(shù)據(jù)保存用緩沖存儲(chǔ)器。
接著，利用圖4～圖6對(duì)以上那樣構(gòu)成的影像聲音處理用集成電路100的動(dòng)作進(jìn)行說(shuō)明。
圖4是表示將壓縮圖像聲音流從存儲(chǔ)卡103讀出并解壓縮后、作為圖像信號(hào)及聲音信號(hào)輸出時(shí)的影像聲音處理用集成電路100的動(dòng)作步驟的流程圖。圖5是表示此時(shí)的數(shù)據(jù)流的圖。圖6是表示各處理塊20～40中的處理狀況的圖。
首先微型計(jì)算機(jī)塊10按照內(nèi)裝的程序，進(jìn)行各處理塊20～40的初始設(shè)定等(圖4的S10)。例如，對(duì)媒體處理塊20指示基于MPEG4的解壓縮處理，對(duì)流I/O塊30指示讀出保存在存儲(chǔ)卡103中的壓縮圖像聲音流，對(duì)AVIO塊40指示聲音輸出和向LCD107的影像輸出。
接著，流I/O塊30讀出保存在存儲(chǔ)卡103中的壓縮圖像聲音流，經(jīng)由存儲(chǔ)器IF塊50保存在SDRAM106中(圖4的S11、圖5的S20)。該壓縮圖像聲音流例如如圖6(a)所示，是將圖像與聲音的位串多路復(fù)用后的構(gòu)造。
接著，媒體處理塊20讀出保存在SDRAM106中的壓縮圖像聲音流，根據(jù)其頭信息等進(jìn)行分析處理，來(lái)多路分離成圖6(b)所示那樣的圖像流和聲音流，將分離后的各流數(shù)據(jù)經(jīng)由存儲(chǔ)器IF塊50寫(xiě)回到SDRAM106中(圖4的S12、圖5的S21)。
接著，媒體處理塊20再次將圖像流和聲音流從SDRAM106讀出，實(shí)施了解壓縮處理后，作為圖6(c)所示的圖像數(shù)據(jù)(例如對(duì)每個(gè)像素以8位表現(xiàn)的圖像數(shù)據(jù))及聲音數(shù)據(jù)(以16位/樣本表現(xiàn)的聲音數(shù)據(jù))寫(xiě)回到SDRAM106中(圖4的S13、圖5的S22)。
最后，AVIO塊40從SDRAM106讀出圖像流和聲音流，對(duì)于圖像流實(shí)施向REC656格式等的格式變換，對(duì)于聲音數(shù)據(jù)實(shí)施D/A變換等后，分別作為圖像信號(hào)及聲音信號(hào)，如圖6(d)所示，輸出給LCD107及揚(yáng)聲器等(圖4的S14、圖5的S23、S24)。
另外，上述各處理塊的處理(圖4的S11～S14)對(duì)于圖像流以數(shù)據(jù)包、微塊、切片(slice)、圖片等單位進(jìn)行流水線處理，對(duì)于聲音流以數(shù)據(jù)包、幀等單位進(jìn)行流水線處理。此時(shí)，微型計(jì)算機(jī)塊10、媒體處理塊20、流I/O塊30及AVIO塊40在已將圖像及聲音流的數(shù)據(jù)包等保存到SDRAM106中的情況下，將已保存的消息通知給其他塊。由此使各流水線工序流動(dòng)。
這樣，根據(jù)有關(guān)本發(fā)明的影像聲音處理用集成電路100，從存儲(chǔ)卡103等外部設(shè)備得到的壓縮圖像聲音流被多路分離為圖像流和聲音流并解壓縮后，進(jìn)行格式變換，作為圖像信號(hào)及聲音信號(hào)輸出。即，能夠僅通過(guò)1個(gè)LSI和外部存儲(chǔ)器(SDRAM106)進(jìn)行保存在外部設(shè)備中的壓縮圖像聲音流的再現(xiàn)。
并且，根據(jù)該影像聲音處理用集成電路100，并不具備對(duì)各處理塊的每個(gè)暫時(shí)保存圖像數(shù)據(jù)及聲音數(shù)據(jù)的緩沖存儲(chǔ)器，而是具備所有的處理塊共用的共用存儲(chǔ)器(SDRAM106)。因而，能夠自由地決定分配給各處理塊的存儲(chǔ)器容量，能夠?qū)⒃撚跋衤曇籼幚碛眉呻娐?00應(yīng)用于各處理塊中的數(shù)據(jù)產(chǎn)生量及處理負(fù)荷不同的各種應(yīng)用。此外，由于各塊不需要獨(dú)立具備緩沖存儲(chǔ)器，所以該影像聲音處理用集成電路100整體能夠縮小芯片尺寸。
接著，更詳細(xì)地說(shuō)明有關(guān)本發(fā)明的影像聲音處理用集成電路中的、適合于DTV及DVR等服務(wù)器類(lèi)應(yīng)用的類(lèi)型的影像聲音處理用集成電路。
圖7是表示適合于服務(wù)器類(lèi)應(yīng)用的影像聲音處理用集成電路200的詳細(xì)結(jié)構(gòu)的功能框圖。
該影像聲音處理用集成電路200是適合于需要與各種周邊設(shè)備連接及各種各樣的媒體處理的服務(wù)器類(lèi)影像聲音設(shè)備的系統(tǒng)LSI，具有微型計(jì)算機(jī)塊210、媒體處理塊220、流I/O塊230、AVIO塊240及存儲(chǔ)器IF塊250。各處理塊210～250基本上具備與上述影像聲音處理用集成電路100的各處理塊10～50同樣的結(jié)構(gòu)。以下，對(duì)于與上述影像聲音處理用集成電路100同樣的結(jié)構(gòu)要素賦予相同的標(biāo)號(hào)并省略說(shuō)明。
微型計(jì)算機(jī)塊210具備從上述影像聲音處理用集成電路100的微型計(jì)算機(jī)塊10中除去了時(shí)鐘控制部14與電源控制部15之后的結(jié)構(gòu)。因?yàn)樵诜?wù)器類(lèi)的應(yīng)用中不需要這些低功耗用電路。另外，該微型計(jì)算機(jī)塊210也可以經(jīng)由外部總線與作為影像聲音設(shè)備的主處理器的外部總處理器201連接，在外部總處理器201的控制下動(dòng)作。
媒體處理塊220具備將上述影像聲音處理用集成電路100的媒體處理塊20中的1個(gè)加速器代替為數(shù)據(jù)并行處理器221的結(jié)構(gòu)。數(shù)據(jù)并行處理器221是通過(guò)1個(gè)指令執(zhí)行對(duì)多個(gè)數(shù)據(jù)的運(yùn)算的SIMD(Single Instruction Multiple Data單指令多數(shù)據(jù))型的處理器，具備可并行執(zhí)行的8個(gè)或16個(gè)(低并行度或高并行度)的PE(處理器元素)，與加速器相比功耗較大，但數(shù)據(jù)處理量較大，能夠處理的運(yùn)算的種類(lèi)豐富，能夠進(jìn)行各種各樣的媒體處理。具體而言，能夠進(jìn)行對(duì)應(yīng)于MPEG2&4的同時(shí)編碼、解碼、HDTV的2頻道的影像信號(hào)的解碼、PS(Program Stream，程序流)和TS(Transport Stream，傳送流)的綜合處理、MPEG4-AVC的編碼、解碼等對(duì)應(yīng)于多格式的編碼、解碼處理。此外，還能夠進(jìn)行從MPEG2向MPEG4的變換、從HD(高析像度視頻信號(hào))向SD(標(biāo)準(zhǔn)畫(huà)質(zhì)視頻信號(hào))的變換、低位速率化等各種變換。進(jìn)而，還能夠進(jìn)行對(duì)應(yīng)于顯示圖像的顯示器設(shè)備的高畫(huà)質(zhì)化控制等，能夠與服務(wù)器類(lèi)應(yīng)用所需的各種媒體處理相對(duì)應(yīng)。
流I/O塊230具備將上述影像聲音處理用集成電路100的流I/O塊30中的流處理部35及設(shè)備IF部36代替為可與更豐富的周邊設(shè)備連接的流處理部231及設(shè)備IF部232的結(jié)構(gòu)。流處理部231除了影像聲音處理用集成電路100的流處理部35的功能以外，為了與廣播及網(wǎng)絡(luò)等對(duì)應(yīng)還具備處理來(lái)自連接到外部的TV調(diào)諧器202及以太網(wǎng)控制器203的流的功能。設(shè)備IF部232是USB205、存儲(chǔ)卡103用的接口、硬盤(pán)206及光盤(pán)207用的盤(pán)驅(qū)動(dòng)器用接口、差動(dòng)IF208等的集合。
AVIO塊240具備從上述影像聲音處理用集成電路100的AVIO塊40除去了攝像處理引擎部43之后的結(jié)構(gòu)，具有代替小型的LCD107而向與SD/HD對(duì)應(yīng)的大型LCD212輸出圖像的功能。
存儲(chǔ)器IF塊250具有與上述影像聲音處理用集成電路100的存儲(chǔ)器IF塊50同樣的功能，但作為外部存儲(chǔ)器210及211，還具備不僅與通常的SDRAM、還與DDR(Double Data Rate雙數(shù)據(jù)率)型的SDRAM連接的高速總線。
這樣，有關(guān)本發(fā)明的影像聲音處理用集成電路200具備許多種類(lèi)的周邊設(shè)備用的接口電路，并且具備大容量且能夠?qū)?yīng)于各種各樣的數(shù)據(jù)處理的媒體處理用處理器，所以是適合于服務(wù)器類(lèi)影像聲音設(shè)備的系統(tǒng)LSI。通過(guò)使用這樣的影像聲音處理用集成電路200，能夠在較短的期間內(nèi)開(kāi)發(fā)高功能的DTV及DVR等服務(wù)器類(lèi)影像聲音設(shè)備。
如上所述，有關(guān)本發(fā)明的影像聲音處理用集成電路具備特征性的5個(gè)處理塊、即所有的影像聲音設(shè)備共用的基本架構(gòu)，并且具有通過(guò)變更各處理塊中的結(jié)構(gòu)而能夠定制為適合于移動(dòng)類(lèi)應(yīng)用或服務(wù)器類(lèi)應(yīng)用的類(lèi)型的設(shè)計(jì)自由度。由此，能夠?qū)⑻囟ǖ脑O(shè)備的開(kāi)發(fā)中的設(shè)計(jì)資源轉(zhuǎn)用到其他設(shè)備中。
進(jìn)而，通過(guò)多個(gè)塊協(xié)同動(dòng)作，提供了下述功能，即，在處理了從TV調(diào)諧器等輸入的流后、以指定的編碼譯碼方式，生成視頻信號(hào)及音頻信號(hào)，圖像輸出給外部LCD等，或?qū)⒙曇糨敵鼋o外部揚(yáng)聲器，但存儲(chǔ)器IF塊250與各塊之間分別確保所提供的功能所需的帶寬，并且保證所要求的訪問(wèn)等待時(shí)間。由此，上述的流處理、信號(hào)生成處理、輸出處理等不會(huì)不滿(mǎn)足所需的性能，即、在TV功能的實(shí)現(xiàn)中，也不會(huì)發(fā)生影像失真、或聲音斷續(xù)，而能夠容易地實(shí)現(xiàn)。
圖8是表示有關(guān)本發(fā)明的影像聲音處理用集成電路的特征的說(shuō)明圖。
這里，有關(guān)本發(fā)明的影像聲音處理用集成電路可以作為具有2種架構(gòu)(移動(dòng)用及服務(wù)器用)的系統(tǒng)LSI實(shí)現(xiàn)，這2種影像聲音處理用集成電路具有共通設(shè)計(jì)思想，并且顯示出能夠進(jìn)行API(應(yīng)用程序接口)的整合。進(jìn)而，表示了能夠?qū)⒁苿?dòng)用的影像聲音處理用集成電路作為便攜電話等移動(dòng)通信設(shè)備及攝像機(jī)等AVC移動(dòng)設(shè)備的系統(tǒng)LSI，而將服務(wù)器用的影像聲音處理用集成電路作為BD錄制器等AVC服務(wù)器及HDTV等DTV的系統(tǒng)LSI使用。
以上，有關(guān)本發(fā)明的影像聲音處理用集成電路大體地劃分為2個(gè)用途(移動(dòng)類(lèi)及服務(wù)器類(lèi))，若更詳細(xì)地劃分，可以作為4個(gè)用途(DTV、AVC服務(wù)器、AVC移動(dòng)設(shè)備、移動(dòng)通信設(shè)備)的影像聲音設(shè)備的系統(tǒng)LSI使用，并且能夠進(jìn)行這些設(shè)備中的設(shè)計(jì)資源的轉(zhuǎn)用。
接著，更詳細(xì)地說(shuō)明有關(guān)本發(fā)明的影像聲音處理用集成電路中的、提高了影像處理(特別是與再現(xiàn)并行地進(jìn)行的錄像處理)的性能后的影像聲音處理用集成電路。
圖9是表示提高了影像處理性能的影像聲音處理用集成電路200a的詳細(xì)結(jié)構(gòu)的功能框圖。
該影像聲音處理用集成電路200a是在例如一邊視聽(tīng)高清晰度廣播節(jié)目(HD)一邊用SD錄像、或進(jìn)而跟蹤播放該SD影像的應(yīng)用中實(shí)現(xiàn)影像處理性能的提高的結(jié)構(gòu)的系統(tǒng)LSI，具有微型計(jì)算機(jī)塊210、媒體處理塊220a、流I/O塊230、AVIO塊240a及存儲(chǔ)器IF塊250。
各處理塊210、220a、230、240a、250基本上具備與上述影像聲音處理用集成電路200的處理塊210～250同樣的結(jié)構(gòu)。該影像聲音處理用集成電路200a的特征點(diǎn)是對(duì)其后所提取的與圖像流不同的較少量的區(qū)域特征信息進(jìn)行傳送的數(shù)據(jù)總線75將媒體處理塊220a與AVIO塊240a連接而設(shè)置。以下，對(duì)于與上述影像聲音處理用集成電路200同樣的結(jié)構(gòu)要素賦予相同的標(biāo)號(hào)并省略說(shuō)明。
媒體處理塊220a是繼承了上述的媒體處理塊20及220的特征的高速DSP等，將從SDRAM210及211經(jīng)由數(shù)據(jù)總線72a及72b讀出的圖像、音頻、聲音數(shù)據(jù)按照MPEG規(guī)格等壓縮、解壓縮。例如，在一邊視聽(tīng)高清晰度廣播節(jié)目(HD)一邊變換析像度錄像到SD中的應(yīng)用中，指令并行處理器21或數(shù)據(jù)并行處理器221、或者兩者同時(shí)執(zhí)行所視聽(tīng)的壓縮HD圖像聲音多路復(fù)用流的多路分離及解壓縮處理、和用來(lái)得到所記錄的壓縮SD圖像聲音多路復(fù)用流的壓縮及多路復(fù)用處理，將各自的處理結(jié)果向SDRAM210及211寫(xiě)回。
AVIO塊240a將媒體處理塊220a的多路分離及解壓縮處理的結(jié)果寫(xiě)回到SDRAM210、211中的HD圖像數(shù)據(jù)經(jīng)由總線73a、73b取得并輸出給大型LCD212，并且將對(duì)該HD圖像數(shù)據(jù)進(jìn)行析像度變換處理而得到的SD圖像數(shù)據(jù)寫(xiě)回到SDRAM210、211中。并且，將在該處理時(shí)獲知的區(qū)域特征信息(例如區(qū)域內(nèi)綜合信息、區(qū)域間差分信息)經(jīng)由數(shù)據(jù)總線75反饋給媒體處理塊220a。
該析像度變換處理例如由AVIO塊240a的視頻輸出格式變換部45進(jìn)行。視頻輸出格式變換部45如上所述，具有將輸出的影像信號(hào)的因色彩空間等所引起的信號(hào)格式變換為適合于影像輸出設(shè)備的格式的功能，可以將作為其具體功能的縮減取樣及抽取濾波器功能用于該析像度變換處理。
媒體處理塊220a再次參照該區(qū)域特征信息，判斷發(fā)生場(chǎng)景變化的區(qū)域及場(chǎng)景變化的頻率。接著，根據(jù)該判斷，將例如場(chǎng)景變化后的幀決定為I圖片，并且在較多地發(fā)生場(chǎng)景變化的期間與不是這樣的期間相比提高壓縮率，實(shí)現(xiàn)壓縮后的數(shù)據(jù)量的均勻化，同時(shí)將SD圖像數(shù)據(jù)壓縮為SD圖像流，再通過(guò)多路復(fù)用處理生成壓縮SD圖像聲音多路復(fù)用流，將所生成的壓縮SD圖像聲音多路復(fù)用流寫(xiě)回到SDRAM210及211中。
接著，利用圖10～圖12對(duì)以上那樣構(gòu)成的影像聲音處理用集成電路200a的動(dòng)作進(jìn)行說(shuō)明。
圖10是表示一邊從TV調(diào)諧器202讀出作為高清晰度廣播信號(hào)的壓縮HD圖像聲音多路復(fù)用流、并作為圖像信號(hào)及聲音信號(hào)輸出、一邊向SD圖像進(jìn)行析像度變換并記錄時(shí)的影像聲音處理用集成電路200a的動(dòng)作步驟的流程圖。
圖11是表示此時(shí)的主要的數(shù)據(jù)流的圖。
圖12是表示處理塊220a、240a中的處理內(nèi)容的圖。
首先，微型計(jì)算機(jī)塊10按照內(nèi)裝的程序，進(jìn)行各處理塊220a、230、240a的初始設(shè)定等(圖10的S30)。例如，對(duì)媒體處理塊220a指示基于MPEG4的解壓縮處理(HD)及基于MPEG2的壓縮處理(SD)，對(duì)流I/O塊230指示從TV調(diào)諧器202取得壓縮HD圖像聲音多路復(fù)用流并且將壓縮SD圖像聲音多路復(fù)用流記錄到HDD206中，對(duì)AVIO塊240a指示聲音輸出和向大型LCD212的影像輸出，并且指示從HD圖像向SD圖像的析像度變換。
接著，流I/O塊230從TV調(diào)諧器202讀出壓縮HD圖像聲音多路復(fù)用流，媒體處理塊220a通過(guò)根據(jù)頭信息等進(jìn)行分析處理等，來(lái)從該壓縮HD圖像聲音多路復(fù)用流多路分離為圖像流和聲音流，再對(duì)該圖像流和聲音流實(shí)施解壓縮處理后，作為圖像數(shù)據(jù)及聲音數(shù)據(jù)寫(xiě)回到SDRAM210、211中。
到此為止的動(dòng)作基本上與上述影像聲音處理用集成電路100的動(dòng)作(參照?qǐng)D4及圖5)相同，不同的為，圖像的析像度以及壓縮圖像聲音多路復(fù)用流是從存儲(chǔ)卡得到還是從TV調(diào)諧器得到。圖11中的有關(guān)到此為止的動(dòng)作的數(shù)據(jù)流的圖示省略。
接著，AVIO塊240從SDRAM210、211讀出HD圖像數(shù)據(jù)和聲音數(shù)據(jù)，如圖12(b)所示，輸出給大型LCD212及揚(yáng)聲器等(圖10的S31、圖11的S40a、S40b)。
與該HD圖像的輸出并行，AVIO塊240將對(duì)該HD圖像實(shí)施了圖12(a)所示那樣的析像度變換處理而得到的SD圖像數(shù)據(jù)寫(xiě)回到SDRAM210、211中，并且生成在該處理時(shí)獲知的區(qū)域內(nèi)綜合信息(表示區(qū)域的整體的亮度)、區(qū)域間差分信息(表示與此前的區(qū)域的亮度的差)等區(qū)域特征信息。該區(qū)域特征信息例如與SD圖像數(shù)據(jù)的區(qū)域建立對(duì)應(yīng)地存儲(chǔ)在AVIO塊240a內(nèi)的未圖示的小規(guī)模的緩沖存儲(chǔ)器中，經(jīng)由數(shù)據(jù)總線75被供給作從媒體處理塊220a的參照(圖10的S32、圖11的S41a、S41b)。
然后，媒體處理塊220a從SDRAM210、211讀出SD圖像數(shù)據(jù)和聲音數(shù)據(jù)，并且經(jīng)由數(shù)據(jù)總線75參照區(qū)域特征信息，決定I圖片，并且通過(guò)一邊動(dòng)態(tài)地變更壓縮率一邊將該SD圖像數(shù)據(jù)和聲音數(shù)據(jù)壓縮處理，來(lái)生成SD圖像流及聲音流，寫(xiě)回到SDRAM210、211中(圖10的S33、圖11的S42)。
接著，媒體處理塊220a再次從SDRAM210、211讀出SD圖像流和聲音流，將通過(guò)將它們多路復(fù)用而生成的壓縮SD圖像聲音多路復(fù)用流寫(xiě)回到SDRAM210、211中(圖10的S34、圖11的S43)。
最后，流I/O塊230從SDRAM210、211讀出壓縮SD圖像聲音多路復(fù)用流，將其記錄到HDD206中(圖10的S35、圖11的S44)。
該壓縮SD圖像聲音多路復(fù)用流既可以作為高清晰度廣播的錄像記錄到HDD206中，也可以接著經(jīng)過(guò)規(guī)定的時(shí)間后被讀出，如圖12(b)所示那樣與高清晰度廣播一起在場(chǎng)景顯示中被跟蹤播放。在后者的情況下，在圖10所示的動(dòng)作中還追加將記錄在HDD206中的壓縮SD圖像聲音多路復(fù)用流再現(xiàn)的步驟。
在上述各處理塊中的一系列的處理(圖10的S31～S35)中，所視聽(tīng)的廣播節(jié)目的流、所記錄的流、還有在進(jìn)行跟蹤播放時(shí)跟蹤播放用的流的、2個(gè)到3個(gè)流，通過(guò)以數(shù)據(jù)包、微塊、切片、圖片、幀這樣的公知的處理單位進(jìn)行流水線處理，來(lái)同時(shí)地被處理。
這樣，根據(jù)有關(guān)本發(fā)明的影像聲音處理用集成電路200a，媒體處理塊220a經(jīng)由數(shù)據(jù)總線75參照在AVIO塊240a中獲知的區(qū)域特征信息，決定記錄圖像的壓縮中的I圖片，并且動(dòng)態(tài)地調(diào)節(jié)壓縮率。由此，影像聲音處理用集成電路200a能夠避免用來(lái)得到區(qū)域特征信息的重復(fù)成本而得到較高的速度性能，并且能夠?qū)崿F(xiàn)畫(huà)質(zhì)與數(shù)據(jù)量的良好協(xié)調(diào)。
另外，數(shù)據(jù)總線75如上所述，將較少量的區(qū)域特征信息限定在媒體處理塊220a與AVIO塊240a之間傳送，所以對(duì)應(yīng)用程序相對(duì)于各處理塊的獨(dú)立性的影響很小，并且在影像聲音處理用集成電路上占用的安裝面積也較小。
到此為止，以高清晰度廣播的錄像這樣顯著的例子說(shuō)明了通過(guò)從AVIO塊240a向媒體處理塊220a供給區(qū)域特征信息而得到的良好的效果。除了該例以外，在例如上述影像聲音處理用集成電路100(參照?qǐng)D3)中，如果從AVIO塊40向媒體處理塊20供給同樣的區(qū)域特征信息，則不僅在廣播的錄像中、在從數(shù)字照相機(jī)等外部設(shè)備取得的影像的錄像中也能夠得到同樣的效果。
接著，更詳細(xì)地說(shuō)明有關(guān)本發(fā)明的影像聲音處理用集成電路中的、適合于廣播類(lèi)及存儲(chǔ)類(lèi)各自的影像處理的共用化的影像聲音處理用集成電路。這里，所謂的廣播類(lèi)是指有關(guān)從TV調(diào)諧器、以及因特網(wǎng)等得到的廣播節(jié)目的處理，所謂的存儲(chǔ)類(lèi)是指有關(guān)存儲(chǔ)在HDD、DVD、以及存儲(chǔ)卡等記錄介質(zhì)中的節(jié)目的處理。
圖13是表示適合于廣播類(lèi)及存儲(chǔ)類(lèi)各自的影像處理的共用化的影像聲音處理用集成電路100a的詳細(xì)結(jié)構(gòu)的功能框圖。
該影像聲音處理用集成電路100a是具有廣播類(lèi)處理(例如從TV調(diào)諧器得到的廣播節(jié)目的再現(xiàn))功能、以及存儲(chǔ)類(lèi)的處理(例如存儲(chǔ)在HDD中的節(jié)目的再現(xiàn))功能的系統(tǒng)LSI，具有微型計(jì)算機(jī)塊10、媒體處理塊20a、流I/O塊30、AVIO塊40、以及存儲(chǔ)器IF塊50。
該影像聲音處理用集成電路100a的特征點(diǎn)是在媒體處理塊20a中具備具有流處理抑制定時(shí)器28的虛擬多處理器21a。其他結(jié)構(gòu)基本上與上述影像聲音處理用集成電路100同樣。
所謂的虛擬多處理器(VMPVirtual Multi Processor)一般是指將多個(gè)邏輯處理器(LPLogical Processor)的功能時(shí)分割地演繹的指令并行處理器的一種(一個(gè)LP在實(shí)體上講是設(shè)定在物理處理器(PPPhysical Processor)的寄存器組中的一個(gè)上下關(guān)系)。通過(guò)管理分配給各LP的時(shí)間單位(TSTime Slot)的頻率，能夠保持由各LP執(zhí)行的應(yīng)用間的負(fù)荷平衡。對(duì)于VMP的結(jié)構(gòu)及動(dòng)作，由于其代表性的一例已在日本特開(kāi)2003-271399號(hào)公報(bào)中詳細(xì)地公開(kāi)，所以這里省略詳細(xì)的說(shuō)明。
以下，對(duì)于與上述影像聲音處理用集成電路100同樣的結(jié)構(gòu)要素賦予相同的標(biāo)號(hào)并省略說(shuō)明。
媒體處理塊20a與上述影像聲音處理用集成電路100的媒體處理塊20同樣，是進(jìn)行有關(guān)壓縮圖像聲音多路復(fù)用流的多路復(fù)用、多路分離處理、以及圖像聲音數(shù)據(jù)的壓縮、解壓縮處理的電路塊，但具備在指令并行處理器21上實(shí)現(xiàn)的虛擬多處理器21a。
虛擬多處理器21a對(duì)每個(gè)錄像或再現(xiàn)的壓縮圖像聲音多路復(fù)用流，使用例如3個(gè)LP(流LP、圖像LP、以及聲音LP)，分別進(jìn)行流的多路復(fù)用或多路分離、圖像的壓縮或解壓縮、以及聲音的壓縮或解壓縮。
對(duì)于這些各LP，對(duì)應(yīng)于流、圖像及聲音各自的特性來(lái)分配TS。例如，考慮運(yùn)算量而對(duì)圖像LP分配比聲音LP多的TS，或者為了防止廣播信號(hào)的丟失(所謂的丟失流)而將流LP設(shè)為每接收到1個(gè)數(shù)據(jù)包就分配TS的事件驅(qū)動(dòng)LP、或者在流處理抑制定時(shí)器28的控制下禁止規(guī)定時(shí)間內(nèi)的TS分配的帶定時(shí)器抑制的事件驅(qū)動(dòng)LP。
可知對(duì)各LP的這樣的TS的分配良好地保持了各處理間的負(fù)荷平衡并且起到防止丟失流的作用。以下，利用圖14及圖15說(shuō)明使流LP作為帶定時(shí)器抑制的事件驅(qū)動(dòng)LP對(duì)于廣播類(lèi)及存儲(chǔ)類(lèi)各自的影像處理(特別是再現(xiàn)處理)的通用化起作用的情況。
圖14是共通地執(zhí)行廣播類(lèi)及存儲(chǔ)類(lèi)兩者的流處理的帶定時(shí)器抑制的事件驅(qū)動(dòng)LP的動(dòng)作步驟的流程圖。
圖15是分別在處理廣播類(lèi)的流的情況及處理存儲(chǔ)類(lèi)流的情況下表示此時(shí)的各事件的發(fā)生定時(shí)、以及流、圖像、聲音的各LP動(dòng)作的TS的圖。附圖的右方向?qū)?yīng)于時(shí)間的經(jīng)過(guò)，帶表示TS的排列，其中的文字表示在TS動(dòng)作的LP(Stream、Video及Audio分別表示流LP、圖像LP、以及聲音LP，空白表示沒(méi)有動(dòng)作的LP)。
首先，對(duì)于廣播類(lèi)的情況，假設(shè)在每個(gè)時(shí)間InFreq發(fā)生從TV調(diào)諧器取得數(shù)據(jù)包的輸入事件，利用圖14及圖15(a)進(jìn)行說(shuō)明。
最初，在輸入事件等待中休眠的流LP(S50)被第N數(shù)據(jù)包的輸入事件喚醒，在第1TS開(kāi)始動(dòng)作。接著，如果在時(shí)間StTime(N)將該數(shù)據(jù)包處理并結(jié)束(S51)，則啟動(dòng)比時(shí)間(Infreq-StTime(N))短的時(shí)間的定時(shí)器(S52)，進(jìn)入定時(shí)器事件等待的休眠(S53)。第2及第3TS分別被分配給圖像及聲音LP。
流LP在第4TS中發(fā)生的定時(shí)器事件下被喚醒。并且，如果在第5TS開(kāi)始動(dòng)作，則確認(rèn)輸入事件(S54)，得知有第N+1個(gè)數(shù)據(jù)包的輸入事件(S55是)，處理該數(shù)據(jù)包(S51)。以后，重復(fù)同樣的動(dòng)作。
這里，作為一個(gè)具體例，如果考慮虛擬多處理器的動(dòng)作時(shí)鐘頻率是243(MHz)、流以70(MHz)輸入的情況，則每1秒的數(shù)據(jù)包數(shù)是70(Mbps)/(8(bit)×188(byte/Packet))≈46543(Packet/sec)，數(shù)據(jù)包的處理周期InFreq為243(Mclock/sec)/46543(Packet/sec)≈5221(clock/packet)。
這樣，在廣播類(lèi)的情況下，通過(guò)輸入事件本身以較長(zhǎng)的間隔發(fā)生來(lái)限制流LP的處理，結(jié)果，良好地保持了流、影像、聲音的各LP的負(fù)荷平衡。
接著，對(duì)于儲(chǔ)存類(lèi)的情況，假設(shè)在1數(shù)據(jù)包的處理中從HDD取得后續(xù)數(shù)據(jù)包而發(fā)生接下來(lái)的輸入事件，并且存在該后續(xù)數(shù)據(jù)包的處理想要在與廣播類(lèi)相同的時(shí)間InFreq之后進(jìn)行的請(qǐng)求，利用圖14及圖15(b)進(jìn)行說(shuō)明。
最初，在輸入事件等待中休眠的流LP(S50)被第N數(shù)據(jù)包的輸入事件喚醒，在第1TS開(kāi)始動(dòng)作。接著，如果在時(shí)間StTime(N)將該數(shù)據(jù)包處理并結(jié)束(S51)，則啟動(dòng)時(shí)間(Infreq-StTime(N))的定時(shí)器(S52)，進(jìn)入定時(shí)器事件等待的休眠(S53)。流LP在第1TS中發(fā)生的第N+1數(shù)據(jù)包的輸入事件下并不被喚醒而繼續(xù)休眠(圖15(b)的從第N+1輸入事件開(kāi)始的粗虛線)。
只要流LP不處理第N+1數(shù)據(jù)包，不具有流用緩存器的流I/O塊30就不能讀入后續(xù)數(shù)據(jù)包，第N+2數(shù)據(jù)包的讀出處理被延期。第2及第3TS分別被分配給圖像及聲音LP。
流LP在第4TS中發(fā)生的定時(shí)器事件下被喚醒。接著，如果在第5TS開(kāi)始動(dòng)作，則確認(rèn)輸入事件(S54)，得知有第N+1個(gè)數(shù)據(jù)包的輸入事件(S55是)，處理該數(shù)據(jù)包(S5 1)，然后進(jìn)入到定時(shí)器事件等待的休眠(S52、S53)。流LP在第5TS中發(fā)生的第N+2數(shù)據(jù)包的輸入事件下并不被喚醒而繼續(xù)休眠(圖15(b)的從第N+2輸入事件開(kāi)始的粗虛線)。以后，重復(fù)同樣的動(dòng)作。
這樣，在存儲(chǔ)類(lèi)的情況下，輸入事件本身能夠以較短的間隔發(fā)生，但即使在這樣的情況下，通過(guò)定時(shí)器事件等待的休眠，流LP的處理也被限制，結(jié)果，良好地保持了流、影像、聲音的各LP的負(fù)荷平衡。
如果在存儲(chǔ)類(lèi)中流LP在定時(shí)器事件等待中沒(méi)有休眠，則只要處理了流就產(chǎn)生輸入事件，結(jié)果分配給流LP過(guò)剩的TS，對(duì)圖像LP及聲音LP沒(méi)有分配必要量的TS，圖像、聲音處理出現(xiàn)破綻。
以上，有關(guān)本發(fā)明的影像聲音處理用集成電路100a通過(guò)媒體處理塊20a的虛擬多處理器21a的帶定時(shí)器抑制的事件驅(qū)動(dòng)LP來(lái)執(zhí)行流處理。該處理在廣播類(lèi)中、或者可過(guò)剩地輸入流的存儲(chǔ)類(lèi)中也共通地使用，不僅自律地抑制流處理的過(guò)剩執(zhí)行來(lái)將圖像、聲音處理的破綻防止于未然，而且在流I/O塊30中也不需要對(duì)向媒體處理塊20a發(fā)送的流量進(jìn)行上限管理。作為它們的總體，應(yīng)用程序相對(duì)于各處理塊的獨(dú)立性、簡(jiǎn)明性提高，進(jìn)而對(duì)設(shè)計(jì)資源的轉(zhuǎn)用促進(jìn)做出貢獻(xiàn)。
另外，帶定時(shí)器抑制的事件驅(qū)動(dòng)LP的流處理也能夠適用于同時(shí)處理2個(gè)頻道的情況。
圖16是分別針對(duì)(a)處理2個(gè)廣播類(lèi)的流的情況、(b)處理廣播類(lèi)和存儲(chǔ)類(lèi)各自的流的情況、(c)處理2個(gè)存儲(chǔ)類(lèi)的流的情況、表示此時(shí)的各事件的發(fā)生定時(shí)、以及流、圖像、聲音的各LP動(dòng)作的TS的圖。附圖的右方向?qū)?yīng)于時(shí)間的經(jīng)過(guò)，帶表示TS的排列，其中的文字表示在TS動(dòng)作的LP(文字S、V及A分別表示流LP、圖像LP、以及聲音LP，空白表示沒(méi)有動(dòng)作的LP。此外，數(shù)字0、1區(qū)別頻道)。
如圖示那樣，根據(jù)各個(gè)流的廣播類(lèi)、存儲(chǔ)類(lèi)的區(qū)別，發(fā)生在上述說(shuō)明的定時(shí)(參照?qǐng)D15(a)及圖15(b))的事件。在存儲(chǔ)類(lèi)中，輸入事件的喚醒被定時(shí)器事件等待的休眠延期，結(jié)果，防止流處理的過(guò)剩執(zhí)行，這是與上述相同的。這樣，帶定時(shí)器抑制的事件驅(qū)動(dòng)LP的流處理在同時(shí)處理2個(gè)頻道的情況下，也發(fā)揮良好地保持流、圖像、及聲音處理的負(fù)荷平衡的效果。
以上，根據(jù)實(shí)施方式對(duì)有關(guān)本發(fā)明的影像聲音處理用集成電路進(jìn)行了說(shuō)明，但本發(fā)明并不限于該實(shí)施方式。
例如，有關(guān)本發(fā)明的影像聲音處理用集成電路被分類(lèi)為移動(dòng)類(lèi)和服務(wù)器類(lèi)的2類(lèi)，但并不僅限于這些分類(lèi)。例如，在如帶AV功能的筆記本電腦等那樣應(yīng)用到要求低功耗和高析像度顯示的影像聲音設(shè)備中的情況下，只要采用同時(shí)具有時(shí)鐘控制部14、電源控制部15及數(shù)據(jù)并行處理器221的影像聲音處理用集成電路就可以。
此外，適合于上述4個(gè)用途的影像聲音處理用集成電路基本上只要具備圖1所示的共通架構(gòu)就可以，各塊不需要由完全相同的電路構(gòu)成。例如，在將屬于上述4個(gè)用途的設(shè)備中的1個(gè)作為第1設(shè)備、將另1個(gè)作為第2設(shè)備的情況下，在第1設(shè)備用的影像聲音處理用集成電路和第2設(shè)備用的影像聲音處理用集成電路之間，只要有以下中的任一種的共通性就可以(1)CPU的指令組的至少一部分具有互換性，(2)指令并行處理器的指令組的至少一部分具有互換性，(3)CPU的核心具有相同的邏輯連接(軟宏)，(4)指令并行處理器的核心具有相同的邏輯連接，(5)CPU的核心具有相同的掩模設(shè)計(jì)(硬宏)，(6)CPU的存儲(chǔ)器映象上的各塊的控制寄存器(用來(lái)控制各塊的寄存器)的地址相同、或者在各處理中使用的外部存儲(chǔ)器9的區(qū)域相同等。根據(jù)這樣的共通性，能夠以處理塊的單位實(shí)現(xiàn)應(yīng)用程序的轉(zhuǎn)用，或者能夠?qū)崿F(xiàn)作為系統(tǒng)LSI的制造工序上的轉(zhuǎn)用等，作為整體的開(kāi)發(fā)效率提高。
此外，在本實(shí)施方式中，在各處理塊中共有的存儲(chǔ)器外裝在系統(tǒng)LSI上，但也可以?xún)?nèi)置于系統(tǒng)LSI中。
工業(yè)實(shí)用性本發(fā)明能夠作為處理影像聲音的設(shè)備用的系統(tǒng)LSI、特別是作為DTV、DVD錄制機(jī)等AVC服務(wù)器、數(shù)字照相機(jī)等AVC移動(dòng)設(shè)備、便攜電話等移動(dòng)通信設(shè)備等影像聲音設(shè)備的系統(tǒng)LSI使用。
權(quán)利要求
1.一種影像聲音處理用集成電路，處理影像及聲音信號(hào)，其特征在于，具備微型計(jì)算機(jī)塊，具有CPU；流輸入輸出塊，在上述微型計(jì)算機(jī)塊的控制下，與外部裝置進(jìn)行影像及聲音流的輸入輸出；媒體處理塊，在上述微型計(jì)算機(jī)塊的控制下，執(zhí)行媒體處理，該媒體處理包括輸入到上述流輸入輸出塊中的、或者從上述流輸入輸出塊輸出的影像及聲音流的壓縮及解壓縮中的至少1個(gè)；AV輸入輸出塊，在上述微型計(jì)算機(jī)塊的控制下，將由上述媒體處理塊進(jìn)行媒體處理后的影像及聲音流變換為影像及聲音信號(hào)，并輸出給外部設(shè)備，或者從外部設(shè)備取得影像及聲音信號(hào)，并變換為由上述媒體處理塊進(jìn)行媒體處理的影像及聲音流；存儲(chǔ)器接口塊，在上述微型計(jì)算機(jī)塊的控制下，控制上述微型計(jì)算機(jī)塊、上述流輸入輸出塊、上述媒體處理塊及上述AV輸入輸出塊與存儲(chǔ)器之間的數(shù)據(jù)傳送。
2.如權(quán)利要求1所述的影像聲音處理用集成電路，其特征在于，上述微型計(jì)算機(jī)塊、上述流輸入輸出塊、上述媒體處理塊、以及上述AV輸入輸出塊利用專(zhuān)用的數(shù)據(jù)總線與上述存儲(chǔ)器接口塊連接；在上述微型計(jì)算機(jī)塊、上述流輸入輸出塊、上述媒體處理塊、以及上述AV輸入輸出塊之間，經(jīng)由上述存儲(chǔ)器進(jìn)行上述影像及聲音流的收發(fā)。
3.如權(quán)利要求2所述的影像聲音處理用集成電路，其特征在于，上述存儲(chǔ)器接口塊并行地進(jìn)行上述微型計(jì)算機(jī)塊、上述流輸入輸出塊、上述媒體處理塊、以及上述AV輸入輸出塊與上述存儲(chǔ)器之間的數(shù)據(jù)傳送。
4.如權(quán)利要求2所述的影像聲音處理用集成電路，其特征在于，上述微型計(jì)算機(jī)塊、上述流輸入輸出塊、上述媒體處理塊、以及上述AV輸入輸出塊不具有用來(lái)將上述影像及聲音流緩存的緩沖存儲(chǔ)器。
5.如權(quán)利要求2所述的影像聲音處理用集成電路，其特征在于，上述微型計(jì)算機(jī)塊、上述流輸入輸出塊、上述媒體處理塊、以及上述AV輸入輸出塊在將上述影像及聲音流保存到上述存儲(chǔ)器中之后，將已保存的消息通知給其他塊。
6.如權(quán)利要求2所述的影像聲音處理用集成電路，其特征在于，上述流輸入輸出塊具有與上述外部裝置進(jìn)行影像及聲音流的收發(fā)的接口部、進(jìn)行所收發(fā)的影像及聲音流的加密或解密的加密處理部、以及控制上述外部裝置與上述存儲(chǔ)器之間的數(shù)據(jù)傳送的直接內(nèi)存存取控制部；上述媒體處理塊具有并行地執(zhí)行多個(gè)信號(hào)處理指令的指令并行處理器、執(zhí)行運(yùn)算處理的加速器、以及控制與上述存儲(chǔ)器的數(shù)據(jù)傳送的直接內(nèi)存存取控制部；上述AV輸入輸出塊具有進(jìn)行圖像數(shù)據(jù)的圖形處理的圖形引擎、以及變換影像信號(hào)的格式的格式變換部；上述存儲(chǔ)器接口塊具有與上述微型計(jì)算機(jī)塊、上述流輸入輸出塊、上述媒體處理塊、以及上述AV輸入輸出塊連接的多個(gè)端口、以及調(diào)整上述多個(gè)端口各自的數(shù)據(jù)傳送定時(shí)的存儲(chǔ)器調(diào)度器。
7.如權(quán)利要求6所述的影像聲音處理用集成電路，其特征在于，上述微型計(jì)算機(jī)塊還具有接通/斷開(kāi)向上述CPU的時(shí)鐘供給的時(shí)鐘控制部以及接通/斷開(kāi)電源的供給的電源控制部中的至少1個(gè)。
8.如權(quán)利要求6所述的影像聲音處理用集成電路，其特征在于，上述媒體處理塊還具備并行地進(jìn)行對(duì)多個(gè)數(shù)據(jù)的運(yùn)算的數(shù)據(jù)并行處理器。
9.如權(quán)利要求2所述的影像聲音處理用集成電路，其特征在于，上述影像聲音處理用集成電路還具備將上述流輸入輸出塊和上述媒體處理塊連接的信號(hào)線；上述媒體處理塊執(zhí)行影像及聲音流的媒體處理，該影像及聲音流經(jīng)由上述信號(hào)線從上述流輸入輸出塊輸入，或者經(jīng)由上述信號(hào)線輸出給上述流輸入輸出塊。
10.如權(quán)利要求2所述的影像聲音處理用集成電路，其特征在于，上述微型計(jì)算機(jī)塊、上述流輸入輸出塊、上述媒體處理塊、上述AV輸入輸出塊以及上述存儲(chǔ)器接口塊的電路元件與電路元件間的布線分別形成在半導(dǎo)體基板上的電路層及第1布線層上；上述數(shù)據(jù)總線形成在位于上述第1布線層上的第2布線層上。
11.如權(quán)利要求2所述的影像聲音處理用集成電路，其特征在于，上述影像聲音處理用集成電路作為不同的多個(gè)設(shè)備用的系統(tǒng)LSI使用；在上述設(shè)備中包括數(shù)字電視機(jī)、數(shù)字視頻錄制機(jī)、攝像機(jī)及便攜電話。
12.如權(quán)利要求11所述的影像聲音處理用集成電路，其特征在于，在設(shè)上述設(shè)備中的1個(gè)為第1設(shè)備、設(shè)另1個(gè)為第2設(shè)備的情況下，由上述第1設(shè)備用的影像聲音處理用集成電路和上述第2設(shè)備用的影像聲音處理用集成電路共通地進(jìn)行的處理在由上述第1設(shè)備用的影像聲音處理用集成電路的微型計(jì)算機(jī)塊進(jìn)行的情況下，由上述第2設(shè)備用的影像聲音處理用集成電路的微型計(jì)算機(jī)塊進(jìn)行上述處理；在由上述第1設(shè)備用的影像聲音處理用集成電路的流輸入輸出塊進(jìn)行的情況下，由上述第2設(shè)備用的影像聲音處理用集成電路的流輸入輸出塊進(jìn)行上述處理；在由上述第1設(shè)備用的影像聲音處理用集成電路的媒體處理塊進(jìn)行的情況下，由上述第2設(shè)備用的影像聲音處理用集成電路的媒體處理塊進(jìn)行上述處理；在由上述第1設(shè)備用的影像聲音處理用集成電路的AV輸入輸出塊進(jìn)行的情況下，由上述第2設(shè)備用的影像聲音處理用集成電路的AV輸入輸出塊進(jìn)行上述處理。
13.如權(quán)利要求11所述的影像聲音處理用集成電路，其特征在于，在設(shè)上述設(shè)備中的1個(gè)為第1設(shè)備、設(shè)另1個(gè)為第2設(shè)備的情況下，上述第1設(shè)備用的影像聲音處理用集成電路的CPU與上述第2設(shè)備用的影像聲音處理用集成電路的CPU的指令組的一部分具有互換性。
14.如權(quán)利要求11所述的影像聲音處理用集成電路，其特征在于，上述媒體處理塊具有并行地執(zhí)行多個(gè)信號(hào)處理指令的指令并行處理器；在設(shè)上述設(shè)備中的1個(gè)為第1設(shè)備、設(shè)另1個(gè)為第2設(shè)備的情況下，上述第1設(shè)備用的影像聲音處理用集成電路的指令并行處理器與上述第2設(shè)備用的影像聲音處理用集成電路的指令并行處理器的指令組的一部分具有互換性。
15.如權(quán)利要求11所述的影像聲音處理用集成電路，其特征在于，上述媒體處理塊具有并行地執(zhí)行多個(gè)信號(hào)處理指令的指令并行處理器；在設(shè)上述設(shè)備中的1個(gè)為第1設(shè)備、設(shè)另1個(gè)為第2設(shè)備的情況下，上述第1設(shè)備用的影像聲音處理用集成電路的CPU的核心與上述第2設(shè)備用的影像聲音處理用集成電路的CPU的核心具有相同的邏輯連接；上述第1設(shè)備用的影像聲音處理用集成電路的指令并行處理器的核心與上述第2設(shè)備用的影像聲音處理用集成電路的指令并行處理器的核心具有相同的邏輯連接。
16.如權(quán)利要求11所述的影像聲音處理用集成電路，其特征在于，上述媒體處理塊具有并行地執(zhí)行多個(gè)信號(hào)處理指令的指令并行處理器；在設(shè)上述設(shè)備中的1個(gè)為第1設(shè)備、設(shè)另1個(gè)為第2設(shè)備的情況下，上述第1設(shè)備用的影像聲音處理用集成電路的CPU的核心與上述第2設(shè)備用的影像聲音處理用集成電路的CPU的核心具有相同的掩模設(shè)計(jì)；上述第1設(shè)備用的影像聲音處理用集成電路的指令并行處理器的核心與上述第2設(shè)備用的影像聲音處理用集成電路的指令并行處理器的核心具有相同的掩模設(shè)計(jì)。
17.如權(quán)利要求11所述的影像聲音處理用集成電路，其特征在于，在設(shè)上述設(shè)備中的1個(gè)為第1設(shè)備、設(shè)另1個(gè)為第2設(shè)備的情況下，上述第1設(shè)備用的影像聲音處理用集成電路中的上述CPU的存儲(chǔ)器映象上的上述流輸入輸出塊、上述媒體處理塊、上述AV輸入輸出塊以及上述存儲(chǔ)器接口塊的控制寄存器的地址與上述第2設(shè)備用的影像聲音處理用集成電路中的上述CPU的存儲(chǔ)器映象上的上述流輸入輸出塊、上述媒體處理塊、上述AV輸入輸出塊以及上述存儲(chǔ)器接口塊的控制寄存器的地址共用。
18.一種設(shè)備的設(shè)計(jì)開(kāi)發(fā)方法，利用權(quán)利要求1所述的影像聲音處理用集成電路設(shè)計(jì)開(kāi)發(fā)設(shè)備，其特征在于，在上述設(shè)備中包括數(shù)字電視機(jī)、數(shù)字視頻錄制機(jī)、攝像機(jī)以及便攜電話。
19.如權(quán)利要求18所述的設(shè)備的設(shè)計(jì)開(kāi)發(fā)方法，其特征在于，在設(shè)上述設(shè)備中的1個(gè)為第1設(shè)備、設(shè)另1個(gè)為第2設(shè)備的情況下，由上述第1設(shè)備用的影像聲音處理用集成電路和上述第2設(shè)備用的影像聲音處理用集成電路共通地進(jìn)行的處理在由上述第1設(shè)備用的影像聲音處理用集成電路的微型計(jì)算機(jī)塊進(jìn)行的情況下，由上述第2設(shè)備用的影像聲音處理用集成電路的微型計(jì)算機(jī)塊進(jìn)行上述處理；在由上述第1設(shè)備用的影像聲音處理用集成電路的流輸入輸出塊進(jìn)行的情況下，由上述第2設(shè)備用的影像聲音處理用集成電路的流輸入輸出塊進(jìn)行上述處理；在由上述第1設(shè)備用的影像聲音處理用集成電路的媒體處理塊進(jìn)行的情況下，由上述第2設(shè)備用的影像聲音處理用集成電路的媒體處理塊進(jìn)行上述處理；在由上述第1設(shè)備用的影像聲音處理用集成電路的AV輸入輸出塊進(jìn)行的情況下，由上述第2設(shè)備用的影像聲音處理用集成電路的AV輸入輸出塊進(jìn)行上述處理。
20.如權(quán)利要求2所述的影像聲音處理用集成電路，其特征在于，上述AV輸入輸出塊還通過(guò)對(duì)從由上述媒體處理塊進(jìn)行媒體處理后的影像流變換來(lái)的、或從外部設(shè)備取得的影像信號(hào)進(jìn)行析像度變換處理，生成記錄用影像信號(hào)，并且生成區(qū)域特征信息，該區(qū)域特征信息表示由上述記錄用影像信號(hào)表示的影像區(qū)域的區(qū)域內(nèi)總和以及區(qū)域間差分中的至少一個(gè)；上述媒體處理塊還參照上述區(qū)域特征信息，將上述記錄用影像信號(hào)變換為記錄用影像流。
21.如權(quán)利要求20所述的影像聲音處理用集成電路，其特征在于，上述影像聲音處理用集成電路還具備將上述媒體處理塊和上述AV輸入輸出塊連接的信號(hào)線；在上述媒體處理塊及上述AV輸入輸出塊之間經(jīng)由上述信號(hào)線進(jìn)行上述區(qū)域特征信息的收發(fā)。
22.如權(quán)利要求2所述的影像聲音處理用集成電路，其特征在于，上述媒體處理塊與一個(gè)影像聲音多路復(fù)用流相關(guān)聯(lián)，一邊時(shí)分割地執(zhí)行流的多路復(fù)用或多路分離處理、圖像數(shù)據(jù)的壓縮或解壓縮處理、聲音數(shù)據(jù)的壓縮或解壓縮處理，一邊禁止上述流的多路復(fù)用或多路分離處理在規(guī)定的時(shí)間內(nèi)多次啟動(dòng)。
23.如權(quán)利要求22所述的影像聲音處理用集成電路，其特征在于，上述媒體處理塊具有時(shí)分割地演繹多個(gè)邏輯處理器的虛擬多處理器；上述流的多路復(fù)用或多路分離處理、上述圖像數(shù)據(jù)的壓縮或解壓縮處理、上述聲音數(shù)據(jù)的壓縮或解壓縮處理分別由上述虛擬多處理器所演繹的不同的邏輯處理器執(zhí)行；執(zhí)行上述流的多路復(fù)用或多路分離處理的邏輯處理器在處理完上述流的規(guī)定單位后，進(jìn)行休眠直到規(guī)定的定時(shí)器終止。
全文摘要
提供能夠?qū)⒃谟跋衤曇粼O(shè)備的開(kāi)發(fā)中得到的設(shè)計(jì)資源也轉(zhuǎn)用到其他種類(lèi)的影像聲音設(shè)備中的影像聲音處理用集成電路。具備微型計(jì)算機(jī)塊(2)，具有CPU；流I/O塊(4)，與外部裝置進(jìn)行影像及聲音流的輸入輸出；媒體處理塊(3)，執(zhí)行媒體處理，該媒體處理包括輸入到流I/O塊(4)中的影像及聲音流等的壓縮及解壓縮中的至少1個(gè)；AVIO塊(5)，將由媒體處理塊(3)進(jìn)行媒體處理后的影像及聲音流變換為影像及聲音信號(hào)，并輸出給外部設(shè)備等；存儲(chǔ)器IF塊(6)，控制微型計(jì)算機(jī)塊(2)、流I/O塊(4)、媒體處理塊(3)及AVIO塊(5)與外部存儲(chǔ)器(9)之間的數(shù)據(jù)傳送。
文檔編號(hào)H04N5/91GK1938697SQ20058001041
公開(kāi)日2007年3月28日 申請(qǐng)日期2005年4月1日 優(yōu)先權(quán)日2004年4月1日
發(fā)明者木村浩三, 清原督三, 水野洋, 道山淳兒, 北村朋彥, 山口良二, 黑田學(xué), 山田信彥, 大古瀨秀之, 山名章文 申請(qǐng)人:松下電器產(chǎn)業(yè)株式會(huì)社