專利名稱：使用多個(gè)處理器的并行圖像處理的制作方法
技術(shù)領(lǐng)域：
本發(fā)明大體涉及電子裝置。更特定來(lái)說(shuō)，本發(fā)明涉及使用多個(gè)處理器的并行圖像處理。
背景技術(shù)：
在最近幾十年，電子裝置的使用已變得普遍。特定來(lái)說(shuō)，電子技術(shù)的進(jìn)步已減少日益復(fù)雜且有用的電子裝置的成本。成本減少和消費(fèi)者需求已使電子裝置的使用激增而使得其在現(xiàn)代社會(huì)幾乎無(wú)處不在。隨著電子裝置的使用擴(kuò)展，對(duì)于電子裝置的新的且改進(jìn)的特征的需求也增長(zhǎng)。更特定來(lái)說(shuō)，通常尋求更快、更有效且以更高質(zhì)量執(zhí)行功能的電子裝置。一些功能可為數(shù)據(jù)密集型的(例如，圖像處理)，從而需要大量處理資源來(lái)在所要時(shí)間量?jī)?nèi)完成。然而，例如電視、智能電話、計(jì)算機(jī)、相機(jī)和音樂(lè)播放器等電子裝置具有決定其可多快地執(zhí)行某些功能的處理約束。此外，例如移動(dòng)電話或數(shù)碼相機(jī)等這些電子裝置中的一些受其已存儲(chǔ)在電池中的功率量限制?？赡茈y以經(jīng)濟(jì)地設(shè)計(jì)和制造改進(jìn)處理效率且減少功率消耗同時(shí)提供較高質(zhì)量數(shù)據(jù)密集型功能的電子裝置。如可從以上論述觀察到，改進(jìn)電子裝置的處理能力和/或效率可能是有益的。本文揭示改進(jìn)電子裝置的能力和/或效率的系統(tǒng)和方法。

發(fā)明內(nèi)容
本文揭示一種用于使用多個(gè)處理器進(jìn)行并行圖像處理的電子裝置。所述電子裝置包含用于提供圖像數(shù)據(jù)的多個(gè)圖像傳感器，以及用于處理經(jīng)分段圖像數(shù)據(jù)以產(chǎn)生經(jīng)處理的分段圖像數(shù)據(jù)的多個(gè)處理器。所述多個(gè)處理器中的每一處理器專用于所述多個(gè)圖像傳感器中的一者。所述電子裝置還包含多處理器接口。所述多處理器接口將圖像數(shù)據(jù)映射到所述多個(gè)處理器，將圖像數(shù)據(jù)分段以產(chǎn)生經(jīng)分段圖像數(shù)據(jù)，且使經(jīng)分段圖像數(shù)據(jù)與所述多個(gè)處理器的時(shí)鐘速率同步。所述電子裝置還可包含用于將經(jīng)處理的分段圖像數(shù)據(jù)組合以產(chǎn)生經(jīng)處理圖像的組合模塊。所述多個(gè)處理器中的至少一個(gè)處理器可處理來(lái)自所述至少一個(gè)處理器不專用于的至少一個(gè)圖像傳感器的經(jīng)分段圖像數(shù)據(jù)。所述多處理器接口可從所述多個(gè)處理器動(dòng)態(tài)添加處理器用于圖像數(shù)據(jù)處理。動(dòng)態(tài)添加處理器用于圖像數(shù)據(jù)處理可基于工作負(fù)載。所述多處理器接口可確定將圖像數(shù)據(jù)分段是否有益。如果多處理器接口確定將圖像數(shù)據(jù)分段并非有益的，那么每一處理器可處理僅來(lái)自每一處理器專用于的圖像傳感器的圖像數(shù)據(jù)。如果圖像數(shù)據(jù)在其被分段的情況下可較快地處理，那么多處理器接口可確定將圖像數(shù)據(jù)分段是有益的。如果所述多個(gè)處理器中的至少一者不能個(gè)別地處理圖像數(shù)據(jù)，那么多處理器接口可確定將圖像數(shù)據(jù)分段是有益的。如果圖像數(shù)據(jù)在其被分段的情況下可使用較少功率來(lái)處理，那么多處理器接口可確定將圖像數(shù)據(jù)分段是有益的。多處理器接口可確定將圖像數(shù)據(jù)映射到所述多個(gè)處理器的映射。多處理器接口可確定圖像數(shù)據(jù)的分段。所述多個(gè)處理器中的至少一者可具有與所述多個(gè)處理器中的另一者不同的能力。所述多個(gè)圖像傳感器中的至少一者可具有與所述多個(gè)圖像傳感器中的另一者不同的能力。所述多個(gè)處理器可能不能個(gè)別地處理圖像數(shù)據(jù)。經(jīng)分段圖像數(shù)據(jù)的片段可重疊。所述多個(gè)處理器可實(shí)時(shí)且并行處理經(jīng)分段圖像數(shù)據(jù)。電子裝置可為無(wú)線通信裝置。所述多個(gè)處理器可為圖像信號(hào)處理器(ISP)。電子裝置可串流圖像數(shù)據(jù)使得圖像數(shù)據(jù)在處理之前不存儲(chǔ)。組合模塊可包含輸出緩沖器。組合模塊可包含輸出接口和輸出緩沖器。本文還揭示一種用于使用多個(gè)處理器進(jìn)行并行圖像處理的方法。所述方法包含使用多個(gè)圖像傳感器將圖像數(shù)據(jù)提供到電子裝置，以及將圖像數(shù)據(jù)映射到多個(gè)處理器。每一處理器專用于所述多個(gè)圖像傳感器中的一者。所述方法還包含將圖像數(shù)據(jù)分段以產(chǎn)生經(jīng)分段圖像數(shù)據(jù)；使經(jīng)分段圖像數(shù)據(jù)與所述多個(gè)處理器的時(shí)鐘速率同步；以及處理經(jīng)分段圖像數(shù)據(jù)以產(chǎn)生經(jīng)處理的分段圖像數(shù)據(jù)。本文還揭示一種用于使用多個(gè)處理器進(jìn)行并行圖像處理的計(jì)算機(jī)程序產(chǎn)品。所述計(jì)算機(jī)程序產(chǎn)品包含非暫時(shí)計(jì)算機(jī)可讀媒體上的指令。所述指令包含用于使用多個(gè)圖像傳感器提供圖像數(shù)據(jù)的代碼，以及用于將圖像數(shù)據(jù)映射到所述多個(gè)處理器的代碼。每一處理器專用于所述多個(gè)圖像傳感器中的一者。所述指令進(jìn)一步包含用于將圖像數(shù)據(jù)分段以產(chǎn)生經(jīng)分段圖像數(shù)據(jù)的代碼；用于使經(jīng)分段圖像數(shù)據(jù)與所述多個(gè)處理器的時(shí)鐘速率同步的代碼；以及用于處理經(jīng)分段圖像數(shù)據(jù)以產(chǎn)生經(jīng)處理的分段圖像數(shù)據(jù)的代碼。本文還揭示一種用于使用多個(gè)處理器進(jìn)行并行圖像處理的設(shè)備。所述設(shè)備包含用于使用多個(gè)圖像傳感器提供圖像數(shù)據(jù)的裝置，以及用于將圖像數(shù)據(jù)映射到所述多個(gè)處理器的裝置。每一處理器專用于所述多個(gè)圖像傳感器中的一者。所述設(shè)備進(jìn)一步包含用于將圖像數(shù)據(jù)分段以產(chǎn)生經(jīng)分段圖像數(shù)據(jù)的裝置；用于使經(jīng)分段圖像數(shù)據(jù)與所述多個(gè)處理器的時(shí)鐘速率同步的裝置；以及用于處理經(jīng)分段圖像數(shù)據(jù)以產(chǎn)生經(jīng)處理的分段圖像數(shù)據(jù)的裝置。


圖1是說(shuō)明其中可實(shí)施用于使用多個(gè)處理器進(jìn)行并行圖像處理的系統(tǒng)和方法的電子裝置的一個(gè)配置的框圖；圖2是說(shuō)明用于使用多個(gè)處理器并行處理圖像的方法的一個(gè)配置的流程圖；圖3是說(shuō)明用于使用多個(gè)處理器進(jìn)行并行圖像處理的方法的更具體配置的流程圖；圖4是說(shuō)明使用多個(gè)處理器進(jìn)行并行圖像處理的一個(gè)實(shí)例的框圖；圖5是說(shuō)明使用多個(gè)處理器進(jìn)行并行圖像處理的另一實(shí)例的框圖；圖6是更詳細(xì)說(shuō)明多處理器接口的一個(gè)配置的框圖；圖7是說(shuō)明圖像數(shù)據(jù)分段的一個(gè)實(shí)例的圖；圖8說(shuō)明可在電子裝置中利用的各個(gè)組件；以及圖9說(shuō)明可用于無(wú)線通信裝置中的各種組件。
具體實(shí)施例方式如上文論述，電子裝置的改進(jìn)的能力是有益且合乎需要的。特定來(lái)說(shuō)，支持較高幀/秒(FPS)處理和/或較大兆像素(MP)傳感器的圖像傳感器模塊是有益的。舉例來(lái)說(shuō)，較大MP傳感器能夠以較高分辨率或較精細(xì)細(xì)節(jié)俘獲圖像。此外，電子裝置中的較高FPS支持實(shí)現(xiàn)較流暢視頻的俘獲。然而，較大MP傳感器和/或較高FPS支持可能需要較高處理量。舉例來(lái)說(shuō)，圖像信號(hào)處理器(ISP)的處理量可需要實(shí)質(zhì)上增加來(lái)支持12MP傳感器的30FPS輸出速率。設(shè)計(jì)具有處理量的實(shí)質(zhì)增加的圖像信號(hào)處理器(ISP)可能是耗時(shí)且非常昂貴的。然而，本文揭示的系統(tǒng)和方法允許兩個(gè)或兩個(gè)以上“現(xiàn)成”圖像信號(hào)處理器(ISP)模塊的組合進(jìn)行并行處理以便實(shí)現(xiàn)所要處理量。本文揭示的系統(tǒng)和方法可尤其有益，因?yàn)閮蓚€(gè)或兩個(gè)以上圖像信號(hào)處理器(ISP)模塊可能已在一些電子裝置中使用。這些電子裝置中的一些可包含兩個(gè)相機(jī)，針對(duì)每一相機(jī)具有一圖像信號(hào)處理器(ISP),用于立體聲(例如,三維(3D))視頻或用于視頻電話應(yīng)用(其中包含主相機(jī)和次相機(jī))。本文揭示的系統(tǒng)和方法可用于組合這些不同相機(jī)模塊以實(shí)現(xiàn)高處理量。即，實(shí)施本文揭示的系統(tǒng)和方法的電子裝置可動(dòng)態(tài)且任意分割圖像數(shù)據(jù)以供并行處理。此方法的一個(gè)益處是，現(xiàn)有圖像信號(hào)處理器(ISP)核心可用于實(shí)現(xiàn)所要性能，而不必重新設(shè)計(jì)較高處理量管線。在一個(gè)配置中，舉例來(lái)說(shuō)，可應(yīng)用本文揭示的系統(tǒng)和方法使得N個(gè)處理器可用于處理M個(gè)傳感器的輸出，其中M < N。應(yīng)注意，如本文使用的詞語(yǔ)耦合的術(shù)語(yǔ)“耦合”或其它變型可指示間接連接或直接連接。舉例來(lái)說(shuō)，如果第一組件“耦合”到第二組件，那么第一組件可間接連接到第二組件或直接連接到第二組件。如本文所使用，術(shù)語(yǔ)“多個(gè)”表示兩個(gè)或兩個(gè)以上。舉例來(lái)說(shuō)，多個(gè)組件指示兩個(gè)或兩個(gè)以上組件?，F(xiàn)參看各圖描述各個(gè)配置，圖中相同參考數(shù)字可指示功能上類似的元件。如本文各圖中大體描述和說(shuō)明的系統(tǒng)和方法可以多種不同配置布置和設(shè)計(jì)。因此，如圖中表示的若干配置的以下更詳細(xì)描述不希望限制所主張的范圍，而是僅代表所述系統(tǒng)和方法。圖1是說(shuō)明其中可實(shí)施用于使用多個(gè)處理器進(jìn)行并行圖像處理的系統(tǒng)和方法的電子裝置102的一個(gè)配置的框圖。電子裝置102包含一個(gè)或一個(gè)以上圖像傳感器104a-n以及兩個(gè)或兩個(gè)以上處理器120a-n。電子裝置102可包含相同或不同數(shù)目的圖像傳感器104a-n和處理器120a_n。圖像傳感器104a_n的實(shí)例包含電荷耦合裝置(CCD)傳感器和互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)傳感器。處理器120a-n的實(shí)例包含專用圖像信號(hào)處理器(ISP)和處理器的軟件實(shí)施方案。舉例來(lái)說(shuō)，處理器A120a專用于圖像傳感器A104a，處理器B120b專用于圖像傳感器B104b，等等。即，圖像傳感器A104a和處理器A120a共享傳感器-處理器專用A106a，圖像傳感器B104b和處理器B120b共享傳感器-處理器專用B106b，等等，直到由圖像傳感器N104n和處理器N120n共享的傳感器-處理器專用N106n為止。傳感器-處理器專用106a-n指示當(dāng)不在使用當(dāng)前系統(tǒng)和方法時(shí)，每一處理器120a_n僅處理來(lái)自特定圖像傳感器104a-n的圖像數(shù)據(jù)，或每一處理器120a_n經(jīng)設(shè)計(jì)以處理來(lái)自特定圖像傳感器104a-n的圖像數(shù)據(jù)。舉例來(lái)說(shuō)，圖像傳感器A104a和處理器A120a可制造和/或封裝為單一模塊以供在電子裝置102中使用。此組合的圖像傳感器104/處理器120模塊可為“現(xiàn)成”封裝，其中一個(gè)或一個(gè)以上處理器120a-n專用于106 —個(gè)或一個(gè)以上圖像傳感器 104a_n。如本文所使用，“專用處理器”或具有“傳感器-處理器專用”的處理器可指示當(dāng)不在使用所述系統(tǒng)和方法時(shí)，處理器僅處理來(lái)自特定圖像傳感器的圖像數(shù)據(jù)。此處理器專用可包含不同類型的專用。包含性專用意味著特定處理器處理僅來(lái)自一個(gè)圖像傳感器的數(shù)據(jù)，但一個(gè)或一個(gè)以上額外處理器可專用于所述圖像傳感器且處理來(lái)自所述圖像傳感器的圖像數(shù)據(jù)。當(dāng)不在使用本文所揭示的系統(tǒng)和方法時(shí)，這些包含性專用處理器將僅處理來(lái)自所述圖像傳感器的數(shù)據(jù)。舉例來(lái)說(shuō)，兩個(gè)處理器可各自專用于單一圖像傳感器，每一者在不使用本文的系統(tǒng)和方法時(shí)處理來(lái)自所述單一圖像傳感器的數(shù)據(jù)。舉例來(lái)說(shuō)，雙處理器可經(jīng)特別設(shè)計(jì)以處理僅來(lái)自一個(gè)特定圖像傳感器的數(shù)據(jù)。排斥性專用意味著處理器僅處理來(lái)自特定圖像傳感器的圖像數(shù)據(jù)，且是當(dāng)不使用本文的系統(tǒng)和方法時(shí)處理來(lái)自所述特定圖像傳感器的數(shù)據(jù)的唯一處理器。如本文所使用，術(shù)語(yǔ)“專用處理器”、“傳感器-處理器專用”和其它變型揭示包含性專用和排斥性專用兩者。在一個(gè)配置中，所述一個(gè)或一個(gè)以上處理器120各自包含性專用于圖像傳感器104。在另一配置中，所述一個(gè)或一個(gè)以上處理器120各自排斥性專用于圖像傳感器104。本文揭示的系統(tǒng)和方法可應(yīng)用于包含性專用處理器、排斥性專用處理器和/或兩者。處理器120a_n執(zhí)行圖像處理操作。圖像處理操作的實(shí)例包含修剪、縮放(例如，到不同分辨率)、圖像格式轉(zhuǎn)換、顏色內(nèi)插、顏色處理、圖像過(guò)濾(例如，空間圖像過(guò)濾)、透鏡假影或缺陷校正等。處理器120a-n中的每一者可具有不同處理能力。舉例來(lái)說(shuō)，處理器A120a可以比處理器B120b高的時(shí)鐘速率處理圖像數(shù)據(jù)。類似地，圖像傳感器104a_n中的每一者可具有不同能力。舉例來(lái)說(shuō)，圖像傳感器A104a可以比圖像傳感器B104b高的幀速率和/或分辨率提供圖像數(shù)據(jù)。根據(jù)本文揭示的系統(tǒng)和方法，多處理器接口 108可組合兩個(gè)或兩個(gè)以上處理器120a-n的能力，盡管所述兩個(gè)或兩個(gè)以上處理器120a_n專用于106a_n特定圖像傳感器104a-n。舉例來(lái)說(shuō)，多處理器接口 108可使用介接118將來(lái)自一個(gè)或一個(gè)以上圖像傳感器104a-n的圖像數(shù)據(jù)映射到一個(gè)或一個(gè)以上處理器120a_n。在一些配置中，多處理器接口108和介接118是單一模塊。在其它配置中，多處理器接口 108和介接118是分離的。在一個(gè)配置中，多處理器接口 108和/或介接118實(shí)施為硬件組件(例如，將來(lái)自一個(gè)或一個(gè)以上圖像傳感器104a-n的圖像數(shù)據(jù)映射到一個(gè)或一個(gè)以上處理器120a_n的開關(guān)和/或多路復(fù)用器)。在另一配置中，多處理器接口 108和/或介接118實(shí)施為軟件(例如，用于將來(lái)自一個(gè)或一個(gè)以上圖像傳感器104a-n的圖像數(shù)據(jù)尋址或映射到一個(gè)或一個(gè)以上處理器120a-n)。在又一配置中，多處理器接口 108和/或介接118實(shí)施為硬件與軟件的組合(例如，用于將來(lái)自一個(gè)或一個(gè)以上圖像傳感器104a-n的圖像數(shù)據(jù)映射到一個(gè)或一個(gè)以上處理器120a-n)。因此，多處理器接口 108和/或介接118可提供映射112功能。多處理器接口 108和/或介接118提供例如分段114和同步116等其它功能性。分段模塊114將來(lái)自一個(gè)或一個(gè)以上圖像傳感器104a-n的圖像數(shù)據(jù)分段。每一圖像數(shù)據(jù)片段發(fā)送到處理器120a-n以供處理。同步模塊116使圖像數(shù)據(jù)速率與處理器120a_n時(shí)鐘速率同步以使處理器120a-n能夠處理經(jīng)分段圖像。這使得能夠并行和/或?qū)崟r(shí)發(fā)生圖像處理。當(dāng)實(shí)時(shí)發(fā)生處理時(shí)，圖像數(shù)據(jù)或片段可直到處理之后才存儲(chǔ)在緩沖器或存儲(chǔ)器中。即，圖像數(shù)據(jù)和/或圖像數(shù)據(jù)片段可實(shí)時(shí)持續(xù)串流直到處理之后為止。圖像數(shù)據(jù)速率可為相同或不同的(例如，針對(duì)每一圖像傳感器104a-n)。類似地，處理器120a-n時(shí)鐘速率可為相同或不同的。多處理器接口 108中包含的控制器110可為用于控制多處理器接口 108和/或介接118的操作的硬件和/或軟件模塊。在一個(gè)配置中，控制器110實(shí)施為用于控制映射112、分段114和/或同步116功能性的硬件模塊。在另一配置中，控制器110實(shí)施為軟件模塊，包含用于控制映射112、分段114和/或同步116的指令。在又一配置中，控制器110模塊實(shí)施為硬件與軟件的組合?？刂破?10控制映射112、分段114和/或同步116功能。舉例來(lái)說(shuō)，控制器110可確定來(lái)自一個(gè)或一個(gè)以上圖像傳感器104a-n的圖像數(shù)據(jù)如何映射112到一個(gè)或一個(gè)以上處理器120a-n、圖像數(shù)據(jù)如何分段114和/或圖像數(shù)據(jù)速率與處理器120a_n時(shí)鐘速率如何同步116?？刂破?10還可確定在特定情況下分段114(例如，并行處理)是否將是有益的。此確定可基于例如當(dāng)前圖像傳感器104a-n和處理器120a_n使用、所需要的圖像俘獲的分辨率和/或幀速率、在利用/不利用并行處理的情況下處理圖像數(shù)據(jù)所需的時(shí)間量、圖像傳感器104a-n和/或處理器120a_n能力和/或功率消耗等考慮因素。組合模塊122組合經(jīng)處理的圖像數(shù)據(jù)片段(也稱為“經(jīng)處理圖像片段”或“經(jīng)處理片段”)。組合模塊122可包含輸出接口和/或輸出緩沖器。在一個(gè)配置中，組合模塊122包含在將經(jīng)處理圖像片段發(fā)送到輸出緩沖器之前組合所述經(jīng)處理圖像片段的輸出接口。在另一配置中，組合模塊122包含將經(jīng)處理圖像片段直接發(fā)送到輸出緩沖器的輸出接口。在又一配置中，組合模塊122不包含輸出接口，而是包含輸出緩沖器，其中經(jīng)處理圖像片段從處理器120a_n中的每一者發(fā)送。舉例來(lái)說(shuō)，假定圖像傳感器A104a俘獲高分辨率圖像。還假定控制器110確定圖像數(shù)據(jù)分段114將是有益的。映射模塊112將圖像數(shù)據(jù)映射到多個(gè)處理器120a-n，所述圖像數(shù)據(jù)經(jīng)分段114或劃分為多個(gè)片段或切片且與每一處理器120a-n的時(shí)鐘速率同步116。每一處理器120a-n處理其相應(yīng)的圖像數(shù)據(jù)片段且將經(jīng)處理圖像片段輸出到組合模塊122。組合模塊122組合經(jīng)處理圖像片段以產(chǎn)生經(jīng)處理圖像124?？勺裱顺绦蛞援a(chǎn)生多個(gè)經(jīng)處理圖像124。如果電子裝置102(例如，控制器110)確定將圖像數(shù)據(jù)分段以供并行處理將不是有益的，那么電子裝置102可不將圖像數(shù)據(jù)映射到非專用處理器120。在所述情況下，電子裝置102可將來(lái)自圖像 傳感器104a-n的圖像數(shù)據(jù)僅映射到專用處理器120 (例如，執(zhí)行典型操作)。概括地說(shuō)，處理器120a-n可個(gè)別地使用(例如，每一處理器120a_n專用于特定圖像傳感器104a-n)或可并行使用以處理圖像且實(shí)現(xiàn)較高處理量。一般來(lái)說(shuō)，可使用N個(gè)處理器120a-n，其中N彡2。因此，圖像數(shù)據(jù)可分割為N個(gè)條(例如，垂直或水平)或區(qū)以供由處理器120a-n進(jìn)行并行實(shí)時(shí)處理。在一個(gè)配置中，圖像傳感器104以光柵掃描次序發(fā)出圖像數(shù)據(jù)。因此，圖像數(shù)據(jù)可垂直分段。舉例來(lái)說(shuō)，當(dāng)在一條線上接收到圖像數(shù)據(jù)時(shí)，可將第一組像素發(fā)送到一個(gè)處理器且可將第二組像素發(fā)送到第二處理器，等等。以下是使用多個(gè)處理器120進(jìn)行并行圖像處理的更具體實(shí)例。在此實(shí)例中，假定電子裝置102具有兩個(gè)處理器:處理器A120a和處理器B120b。還假定處理器B120b不專用于圖像傳感器A104a。圖像傳感器A104a將實(shí)時(shí)圖像數(shù)據(jù)串流到電子裝置102中(例如，串流到多處理器接口 108和/或介接118中)。多處理器接口 108和/或介接118將圖像數(shù)據(jù)的左部分(例如，垂直條)串流到處理器A120a，同時(shí)將圖像數(shù)據(jù)的右部分串流到處理器B120b。在此實(shí)例中，多處理器接口 108和/或介接118可實(shí)施為兩個(gè)修剪模塊，其中第一修剪模塊選擇針對(duì)處理器A120a的像素(例如，第一片段)，而第二修剪模塊選擇針對(duì)處理器B120b的像素(例如，第二片段)。處理器A120a和處理器B120b實(shí)時(shí)且并行處理圖像數(shù)據(jù)片段。組合模塊122可將經(jīng)處理圖像片段直接發(fā)送到輸出緩沖器或在將經(jīng)處理圖像片段發(fā)送到輸出緩沖器之前將其組合?；蛘?，組合模塊122可不包含輸出接口，在此情況下處理器120將經(jīng)處理圖像片段直接寫入到輸出緩沖器。圖2是說(shuō)明用于使用多個(gè)處理器120并行處理圖像的方法200的一個(gè)配置的流程圖。電子裝置102獲得202來(lái)自一個(gè)或一個(gè)以上圖像傳感器104的圖像數(shù)據(jù)。舉例來(lái)說(shuō)，一個(gè)或一個(gè)以上圖像傳感器104俘獲且提供圖像數(shù)據(jù)。電子裝置102將圖像數(shù)據(jù)映射204到兩個(gè)或兩個(gè)以上處理器120。在一個(gè)配置中，多處理器接口 108和/或介接118包含可經(jīng)控制以將圖像數(shù)據(jù)映射204到兩個(gè)或兩個(gè)以上處理器120的若干多路復(fù)用器。電子裝置102將圖像數(shù)據(jù)分段206以產(chǎn)生經(jīng)分段圖像數(shù)據(jù)或片段。舉例來(lái)說(shuō)，控制器Iio可控制將圖像數(shù)據(jù)分割或分段206的分段114模塊或功能。圖像數(shù)據(jù)可分段206為兩個(gè)或兩個(gè)以上片段。每一圖像數(shù)據(jù)片段可包括例如若干像素。圖像數(shù)據(jù)片段可為相同大小或不同大小。在一個(gè)配置中，圖像數(shù)據(jù)片段包含重疊數(shù)據(jù)(例如，“補(bǔ)丁”)以便避免片段的“接縫”處的不想要的假影。電子裝置102使圖像數(shù)據(jù)與兩個(gè)或兩個(gè)以上處理器120的時(shí)鐘速率同步208。當(dāng)圖像數(shù)據(jù)被分段206時(shí)，其可分割為兩個(gè)或兩個(gè)以上圖像數(shù)據(jù)流。為使處理實(shí)時(shí)發(fā)生，電子裝置102可使圖像數(shù)據(jù)流與兩個(gè)或兩個(gè)以上處理器120的時(shí)鐘速率同步208。這允許處理實(shí)時(shí)進(jìn)行。換句話說(shuō)，圖像數(shù)據(jù)流速率可經(jīng)調(diào)整以與每一處理器120的速率匹配。在一個(gè)配置中，可使用先入先出(FIFO)緩沖器實(shí)現(xiàn)同步。這可允許由源(例如，圖像傳感器104數(shù)據(jù))以一個(gè)速率寫入圖像數(shù)據(jù)且由信宿(例如，處理器120)以不同速率讀出。FIFO緩沖器可經(jīng)大小設(shè)定為足夠大以使得數(shù)據(jù)速率不會(huì)引起緩沖器中的溢出。電子裝置102處理210經(jīng)分段圖像數(shù)據(jù)(也稱為“圖像數(shù)據(jù)片段”或“片段”)以產(chǎn)生經(jīng)處理圖像片段(也稱為“經(jīng)處理片段”)。舉例來(lái)說(shuō)，每一處理器120可處理210圖像數(shù)據(jù)片段。如上文提及，處理210的一些實(shí)例包含修剪、縮放、轉(zhuǎn)換圖像格式、顏色內(nèi)插、顏色處理、過(guò)濾圖像(例如，空間過(guò)濾圖像)、對(duì)于透鏡假影或缺陷的校正等。處理210可并行和/或?qū)崟r(shí)發(fā)生。圖像數(shù)據(jù)片段可從(俘獲圖像數(shù)據(jù)的)一個(gè)或一個(gè)以上圖像傳感器104發(fā)送到不專用于所述一個(gè)或一個(gè)以上圖像傳感器104的一個(gè)或一個(gè)以上處理器120。換句話說(shuō)，可除一個(gè)或一個(gè)以上專用處理器120外或代替于一個(gè)或一個(gè)以上專用處理器120使用一個(gè)或一個(gè)以上非專用處理器120來(lái)處理圖像數(shù)據(jù)片段。處理210經(jīng)分段圖像數(shù)據(jù)產(chǎn)生經(jīng)處理圖像片段。電子裝置102將經(jīng)處理圖像片段組合212以便產(chǎn)生經(jīng)處理圖像124。經(jīng)處理圖像124可例如顯示、存儲(chǔ)和/或發(fā)射。圖3是說(shuō)明用于使用多個(gè)處理器120進(jìn)行并行圖像處理的方法300的更具體配置的流程圖。電子裝置102獲得302來(lái)自一個(gè)或一個(gè)以上圖像傳感器104的圖像數(shù)據(jù)。舉例來(lái)說(shuō)，一個(gè)或一個(gè)以上圖像傳感器104俘獲圖像數(shù)據(jù)且將圖像數(shù)據(jù)提供到電子裝置102。電子裝置102可確定304將圖像數(shù)據(jù)分段以供并行處理是否將是有益的。如上文論述，此確定304可基于例如當(dāng)前圖像傳感器104和處理器120使用、所需要的圖像俘獲的分辨率和/或幀速率、在利用/不利用并行處理的情況下處理圖像數(shù)據(jù)所需的時(shí)間量、圖像傳感器104和/或處理器120能力和/或功率消耗等考慮因素。在一個(gè)實(shí)例中，控制器110確定專門處理器120是否將單獨(dú)能夠在給定時(shí)間量?jī)?nèi)(例如，以給定分辨率和/或幀速率)處理圖像數(shù)據(jù)。如果專用處理器120不能在給定時(shí)間量?jī)?nèi)或以所要幀速率處理(或不能處理)圖像數(shù)據(jù)，那么控制器110確定304將數(shù)據(jù)分段以供并行處理將是有益的。換句話說(shuō)，用于處理圖像數(shù)據(jù)的處理器120的數(shù)目可基于傳入或當(dāng)前工作負(fù)載(例如，圖像數(shù)據(jù)的量、分辨率和/或幀速率)動(dòng)態(tài)調(diào)整(例如，添加或移除)。在另一實(shí)例中，控制器110將其確定304基于當(dāng)前處理器120使用。假定一個(gè)處理器120正忙于以特定幀速率處理視頻圖像且不具有額外能力來(lái)處理靜態(tài)圖像。在此情況下，控制器110可確定304將圖像數(shù)據(jù)分段以供并行處理將不是有益的?；蛘?，控制器110可確定304在此情況下將圖像數(shù)據(jù)分段將是有益的。舉例來(lái)說(shuō)，控制器110可確定將視頻處理中的一些映射到另一處理器120以及將靜態(tài)圖像處理映射到兩個(gè)處理器120將維持視頻流且比使用專用處理器120更快地處理靜態(tài)圖像。因此，電子裝置102可動(dòng)態(tài)添加或分組處理器120以供進(jìn)行視頻或圖像處理(當(dāng)其將為有益時(shí))。在又一實(shí)例中，控制器110通過(guò)觀察功率資源(例如，電池)確定304將圖像數(shù)據(jù)分段以供進(jìn)行圖像的并行處理將是有益的。在此實(shí)例中，假定專用處理器120能夠在可接受的時(shí)間量?jī)?nèi)處理圖像，但這樣做將需要專用處理器120以高時(shí)鐘速率運(yùn)行，因此耗散相對(duì)大量功率。控制器110可通過(guò)在使用比在高時(shí)鐘速率下運(yùn)行專用處理器少的功率總量的較低時(shí)鐘速率下運(yùn)行兩個(gè)處理器120來(lái)確定304在此情況下將圖像數(shù)據(jù)分段以供并行處理將是有益的。如果電子裝置102確定304將圖像數(shù)據(jù)分段以供并行處理將不是有益的，那么電子裝置102可使用其專用處理器120處理306來(lái)自每一圖像傳感器104的圖像數(shù)據(jù)。舉例來(lái)說(shuō)，控制器110可將來(lái)自每一圖像傳感器104的圖像數(shù)據(jù)映射到其專用處理器120且相應(yīng)地處理306圖像數(shù)據(jù)。如果電子裝置102確定304將圖像數(shù)據(jù)分段以供并行處理將是有益的，那么電子裝置102可確定308映射。即，控制器110可確定308將圖像數(shù)據(jù)映射到哪個(gè)(些)處理器120。在一個(gè)配置中，控制器110確定需要哪些(以及多少)處理器120來(lái)以當(dāng)前分辨率和/或幀速率處理圖像數(shù)據(jù)。映射確定308可基于例如當(dāng)前圖像傳感器104和處理器120使用、所需要的圖像俘獲的分辨率和/或幀速率、在利用/不利用并行處理的情況下處理圖像數(shù)據(jù)所需的時(shí)間量、圖像傳感器104和/或處理器120能力和/或功率消耗等考慮因素。舉例來(lái)說(shuō)，如果第一處理器120單獨(dú)或個(gè)別地當(dāng)前不能以所要分辨率和/或幀速率處理圖像數(shù)據(jù)，那么控制器Iio可將圖像數(shù)據(jù)添加或映射到額外處理器120直到足夠處理功率可用于處理圖像數(shù)據(jù)為止。舉例來(lái)說(shuō)，用于處理圖像數(shù)據(jù)的處理器120的數(shù)目可基于傳入或當(dāng)前工作負(fù)載(例如，圖像數(shù)據(jù)的量、分辨率和/或幀速率)動(dòng)態(tài)調(diào)整(例如，添加或移除)?？墒褂闷渌_定映射308的方法。舉例來(lái)說(shuō)，控制器110可將圖像數(shù)據(jù)映射到盡可能多的處理器120或映射到使功率消耗或平均處理速率最小化的處理器120的組合。在另一配置中，映射確定308可基于當(dāng)前處理器120使用或工作負(fù)載。假定一個(gè)處理器120正忙于以特定幀速率處理視頻圖像且不具有額外能力來(lái)處理靜態(tài)圖像。在此情況下，可確定308將靜態(tài)圖像處理映射到一個(gè)或一個(gè)以上其它處理器120的映射?；蛘?，可確定308所述映射使得將視頻處理中的一些映射到另一處理器120且將靜態(tài)圖像處理映射到兩個(gè)處理器120以便維持視頻流且處理靜態(tài)圖像。因此，電子裝置102可映射308處理器120以供視頻或圖像處理。在又一實(shí)例中，基于節(jié)省功率資源(例如，電池)確定308映射。在此實(shí)例中，假定專用處理器120能夠在可接受時(shí)間量?jī)?nèi)處理圖像，但這樣做將需要專用處理器120以高時(shí)鐘速率運(yùn)行，因此耗散相對(duì)大量功率?？纱_定308映射以使得將圖像數(shù)據(jù)映射到在使用比在高時(shí)鐘速率下運(yùn)行專用處理器少的功率總量的較低時(shí)鐘速率下運(yùn)行的多個(gè)處理器120。電子裝置102將圖像數(shù)據(jù)映射310到兩個(gè)或兩個(gè)以上處理器120。舉例來(lái)說(shuō)，電子裝置102或控制器110使用多路復(fù)用器、開關(guān)和/或其它尋址方案的陣列來(lái)將圖像數(shù)據(jù)映射或路由到兩個(gè)或兩個(gè)以上處理器120。電子裝置102可確定312分段。舉例來(lái)說(shuō)，電子裝置102或控制器110可將分段基于處理器120容量、速度(或處理速率)、當(dāng)前使用等。在一個(gè)簡(jiǎn)單實(shí)例中，控制器110基于處理器120容量或能力來(lái)確定312成比例的分段。舉例來(lái)說(shuō)，假定一個(gè)處理器120具有另一處理器120的容量或能力的兩倍的容量或能力?？刂破?10可以2: I比率將圖像數(shù)據(jù)分段，從而將與一個(gè)處理器120相比兩倍數(shù)目的像素提供到另一處理器120。在另一實(shí)例中，控制器110將圖像數(shù)據(jù)分段以使得使用每一連續(xù)處理器120的最大處理容量或能力直到分配充足的處理容量或能力來(lái)處理圖像數(shù)據(jù)為止。應(yīng)注意，圖像數(shù)據(jù)可分段為垂直條、水平條和/或作為圖像數(shù)據(jù)的子集的其它區(qū)。在一個(gè)配置中，圖像傳感器104以光柵掃描次序發(fā)出圖像數(shù)據(jù)。因此，圖像數(shù)據(jù)可垂直分段。舉例來(lái)說(shuō)，當(dāng)在一條線上接收到圖像數(shù)據(jù)時(shí)，可將第一組像素發(fā)送到一個(gè)處理器且可將第二組像素發(fā)送到第二處理器，等等。分段確定312可包含重疊圖像數(shù)據(jù)或“補(bǔ)丁”。更特定來(lái)說(shuō)，如果電子裝置102 (例如，處理器120)使用過(guò)濾(例如，空間過(guò)濾)，那么發(fā)送到并行處理器120的圖像數(shù)據(jù)片段將需要應(yīng)對(duì)接縫或邊緣條件。這意味著重疊的圖像數(shù)據(jù)片段(例如，具有“補(bǔ)丁”)可發(fā)送到并行處理器120?？捎芍С痔幚砉芫€中的空間或過(guò)濾結(jié)構(gòu)所需的量確定重疊的量。舉例來(lái)說(shuō)，假定處理器120在水平方向上在垂直分段的情況下使用過(guò)濾(例如，空間過(guò)濾)。如果電子裝置102使用3x3過(guò)濾核，那么沿著每一分段接縫，左和右片段每一者需要一個(gè)像素的重疊。然而，如果處理器120中的每一者以逐像素為基礎(chǔ)處理圖像數(shù)據(jù)，那么可不需要重疊。電子裝置102將圖像數(shù)據(jù)分段314以產(chǎn)生經(jīng)分段圖像數(shù)據(jù)(例如，兩個(gè)或兩個(gè)以上圖像數(shù)據(jù)片段)。舉例來(lái)說(shuō)，電子裝置102或分段模塊114根據(jù)控制器110確定312的分段將圖像數(shù)據(jù)分段314。電子裝置102還可利用重疊片段或補(bǔ)丁將圖像數(shù)據(jù)分段314以避免片段接縫處的邊緣假影。電子裝置102或分段模塊114可通過(guò)丟棄或修剪不對(duì)應(yīng)于特定片段的圖像數(shù)據(jù)或通過(guò)接受或接收僅對(duì)應(yīng)于特定片段的圖像數(shù)據(jù)(在具有適用的補(bǔ)丁或重疊的情況下)將圖像數(shù)據(jù)分段。電子裝置102或分段模塊114可將圖像數(shù)據(jù)分段為例如垂直條、水平條或其它區(qū)。如果處理器120利用每像素處理或以每像素為基礎(chǔ)完成所有處理，那么發(fā)送到并行處理器120的圖像片段可無(wú)重疊。在此情況下，可能不需要重疊，因?yàn)椴粫?huì)從處理產(chǎn)生接縫或邊緣假影。然而，如果處理器120在水平方向(例如，利用垂直片段)或垂直方向(例如，利用水平片段)上利用過(guò)濾(例如，空間過(guò)濾)，那么發(fā)送到并行處理器120的圖像片段可需要圖像數(shù)據(jù)中的重疊來(lái)適當(dāng)處置接縫或邊緣條件(例如，以避免假影)。電子裝置102使圖像數(shù)據(jù)與兩個(gè)或兩個(gè)以上處理器120的時(shí)鐘速率同步316。舉例來(lái)說(shuō)，電子裝置102或同步模塊116調(diào)整圖像數(shù)據(jù)片段的圖像數(shù)據(jù)流的速率以與圖像數(shù)據(jù)片段已映射310到的處理器120的時(shí)鐘速率匹配。在一個(gè)配置中，這可使用如上文描述的FIFO緩沖器實(shí)現(xiàn)。電子裝置102使用兩個(gè)或兩個(gè)以上處理器120處理318經(jīng)分段圖像數(shù)據(jù)以產(chǎn)生經(jīng)處理的圖像片段(例如，“經(jīng)處理片段”)。如上文論述，處理318分段圖像數(shù)據(jù)可包含修剪、縮放、轉(zhuǎn)換圖像格式、顏色內(nèi)插、顏色處理、過(guò)濾圖像(例如，空間過(guò)濾圖像)、透鏡假影或缺陷的校正等。處理318分段圖像數(shù)據(jù)產(chǎn)生經(jīng)處理的圖像片段。電子裝置102或組合模塊122使用輸出接口和/或緩沖器來(lái)組合320經(jīng)處理圖像片段。組合320經(jīng)處理圖像片段產(chǎn)生了經(jīng)處理圖像124。舉例來(lái)說(shuō)，電子裝置102可包含輸出接口，其將經(jīng)處理圖像片段組合320，隨后將經(jīng)處理圖像124發(fā)送到輸出緩沖器。在另一配置中，可不使用或不需要輸出接口。在此情況下，處理器120可直接將經(jīng)處理圖像片段寫入到輸出緩沖器。每一管線(例如，處理器120)可通過(guò)具有重疊部分或“補(bǔ)丁”(如果存在的話)修剪出額外像素?；蛘?，組合模塊122 (例如，輸出接口)可在其組合320經(jīng)處理圖像片段時(shí)移除額外像素。在另一配置中，組合模塊122將重疊像素與鄰近經(jīng)處理片段中的像素進(jìn)行組合320。電子裝置102可輸出322經(jīng)處理圖像124以供顯示、存儲(chǔ)和/或發(fā)射。舉例來(lái)說(shuō)，電子裝置102可將經(jīng)處理圖像124存儲(chǔ)在存儲(chǔ)器中。作為替代或另外，電子裝置102可顯示經(jīng)處理圖像124和/或?qū)⒔?jīng)處理圖像124發(fā)射到另一裝置(例如，另一電子裝置、無(wú)線通信裝置、計(jì)算機(jī)等)。圖4是說(shuō)明使用多個(gè)處理器進(jìn)行并行圖像處理的一個(gè)實(shí)例的框圖。在此實(shí)例中，圖像傳感器A404a獲得或俘獲圖像426。圖像傳感器A404a接著將圖像數(shù)據(jù)428提供到多處理器接口 408。多處理器接口 408將圖像數(shù)據(jù)428映射到處理器A420a和處理器B420b且將圖像數(shù)據(jù)428分段為片段A430a和片段B430b。多處理器接口 408還使片段A430a和片段B430b與相應(yīng)處理器A420a和B420b時(shí)鐘速率同步。多處理器接口 408將片段A430a提供到處理器A420a且將片段B430b提供到處理器B420b。處理器A420a處理片段A430a以產(chǎn)生經(jīng)處理片段A432a，且處理器B420b處理片段B430b以產(chǎn)生經(jīng)處理片段B432b。經(jīng)處理片段A432a和經(jīng)處理片段B432b提供到輸出接口 422。輸出接口 422組合經(jīng)處理片段A432a和B432b以產(chǎn)生經(jīng)處理圖像424。以下是更具體實(shí)例。假定需要360兆像素/秒(MP/秒)處理量來(lái)在30FPS下處理4000x3000分辨率圖像傳感器輸入。假定管線中的唯一過(guò)濾操作為3x3有限脈沖響應(yīng)(FIR)空間過(guò)濾。在此實(shí)例中假定無(wú)傳感器消隱。進(jìn)一步假定處理器A420a是具有達(dá)3504像素線寬的260MP/秒的性能的圖像信號(hào)處理器(ISP)。此類型的圖像信號(hào)處理器(ISP)可通常用于8MP相機(jī)。可確定處理器B420b將需要提供以便在當(dāng)前分辨率和幀速率下處理圖像數(shù)據(jù)428的性能。雖然處理器A420a可在一條線上處理達(dá)3504個(gè)像素，但其受其處理量限制，因?yàn)?504*3000*30FPS 大于 260MP/ 秒。處理器 A420a 僅可處理 4000 像素 * (260MP/ 秒)/ (360MP/秒) 2888像素寬度。由于還存在3x3空間過(guò)濾，所以還需要一列額外補(bǔ)丁。因此，片段A430a (到處理器A420a的輸入)可為2888像素寬乘3000像素高，而經(jīng)處理片段A432a (來(lái)自處理器A420a的輸出)為2887乘3000像素。因此，處理器B420b必須能夠處理1114像素/線=4000-2887+1補(bǔ)丁列。因此，處理器B420b處理量必須至少為1114像素*3000像素*30FPS ^ 10IMP/秒。 如果處理器B420b不具有此性能，那么可添加一個(gè)或一個(gè)以上處理器420。通過(guò)組合兩個(gè)或兩個(gè)以上處理器，可處理來(lái)自比可由個(gè)別處理器處理的大的分辨率傳感器的圖像數(shù)據(jù)。本文揭示的系統(tǒng)和方法的此益處在下表(I)中說(shuō)明。舉例來(lái)說(shuō)，假定處理器A420a能夠處理5.04MP圖像且處理器B420b能夠處理3.15MP圖像。根據(jù)表(I)，處理器A420a和處理器B420b —起可處理來(lái)自15.27MP分辨率傳感器的圖像數(shù)據(jù)。這是因?yàn)樘幚砥鰽420a處理圖像數(shù)據(jù)的一個(gè)部分(例如，左片段)，且處理器B420b處理圖像數(shù)據(jù)的另一部分(例如，右片段)。因此，多個(gè)處理器可處理來(lái)自高分辨率圖像傳感器的圖像數(shù)據(jù)。在表(I)中，為方便起見，“寬度”(以像素計(jì))縮寫為“W”，且“高度”(以像素計(jì))縮寫為“H”。
權(quán)利要求
1.一種用于使用多個(gè)處理器進(jìn)行并行圖像處理的電子裝置，其包括: 用于提供圖像數(shù)據(jù)的多個(gè)圖像傳感器； 用于處理經(jīng)分段圖像數(shù)據(jù)以產(chǎn)生經(jīng)處理的分段圖像數(shù)據(jù)的多個(gè)處理器，其中所述多個(gè)處理器中的每一處理器專用于所述多個(gè)圖像傳感器中的一者；以及 多處理器接口，其中所述多處理器接口將所述圖像數(shù)據(jù)映射到所述多個(gè)處理器，將所述圖像數(shù)據(jù)分段以產(chǎn)生所述經(jīng)分段圖像數(shù)據(jù)，且使所述經(jīng)分段圖像數(shù)據(jù)與所述多個(gè)處理器的時(shí)鐘速率同步。
2.根據(jù)權(quán)利要求1所述的電子裝置，其進(jìn)一步包括用于將所述經(jīng)處理的分段圖像數(shù)據(jù)組合以產(chǎn)生經(jīng)處理圖像的組合模塊。
3.根據(jù)權(quán)利要求1所述的電子裝置，其中所述多個(gè)處理器中的至少一個(gè)處理器處理來(lái)自所述至少一個(gè)處理器 不專用于的至少一個(gè)圖像傳感器的經(jīng)分段圖像數(shù)據(jù)。
4.根據(jù)權(quán)利要求1所述的電子裝置，其中所述多處理器接口從所述多個(gè)處理器動(dòng)態(tài)添加處理器用于圖像數(shù)據(jù)處理。
5.根據(jù)權(quán)利要求4所述的電子裝置，其中動(dòng)態(tài)添加處理器用于圖像數(shù)據(jù)處理是基于工作負(fù)載。
6.根據(jù)權(quán)利要求1所述的電子裝置，其中所述多處理器接口確定將所述圖像數(shù)據(jù)分段是否有益，且其中如果所述多處理器接口確定將所述圖像數(shù)據(jù)分段并非有益的，那么每一處理器處理僅來(lái)自每一處理器專用于的圖像傳感器的圖像數(shù)據(jù)。
7.根據(jù)權(quán)利要求6所述的電子裝置，其中如果所述圖像數(shù)據(jù)在其被分段的情況下可較快地處理，那么所述多處理器接口確定將所述圖像數(shù)據(jù)分段是有益的。
8.根據(jù)權(quán)利要求6所述的電子裝置，其中如果所述多個(gè)處理器中的至少一者不能個(gè)別地處理所述圖像數(shù)據(jù)，那么所述多處理器接口確定將所述圖像數(shù)據(jù)分段是有益的。
9.根據(jù)權(quán)利要求6所述的電子裝置，其中如果所述圖像數(shù)據(jù)在其被分段的情況下可使用較少功率來(lái)處理，那么所述多處理器接口確定將所述圖像數(shù)據(jù)分段是有益的。
10.根據(jù)權(quán)利要求1所述的電子裝置，其中所述多處理器接口確定將所述圖像數(shù)據(jù)映射到所述多個(gè)處理器的映射。
11.根據(jù)權(quán)利要求1所述的電子裝置，其中所述多處理器接口確定所述圖像數(shù)據(jù)的分段。
12.根據(jù)權(quán)利要求1所述的電子裝置，其中所述多個(gè)處理器中的至少一者具有與所述多個(gè)處理器中的另一者不同的能力。
13.根據(jù)權(quán)利要求1所述的電子裝置，其中所述多個(gè)圖像傳感器中的至少一者具有與所述多個(gè)圖像傳感器中的另一者不同的能力。
14.根據(jù)權(quán)利要求1所述的電子裝置，其中所述多個(gè)處理器不能個(gè)別地處理所述圖像數(shù)據(jù)。
15.根據(jù)權(quán)利要求1所述的電子裝置，其中所述經(jīng)分段圖像數(shù)據(jù)的片段重疊。
16.根據(jù)權(quán)利要求1所述的電子裝置，其中所述多個(gè)處理器實(shí)時(shí)且并行處理所述經(jīng)分段圖像數(shù)據(jù)。
17.根據(jù)權(quán)利要求1所述的電子裝置，其中所述電子裝置為無(wú)線通信裝置。
18.根據(jù)權(quán)利要求1所述的電子裝置，其中所述多個(gè)處理器為圖像信號(hào)處理器ISP。
19.根據(jù)權(quán)利要求1所述的電子裝置，其中所述電子裝置串流所述圖像數(shù)據(jù)以使得所述圖像數(shù)據(jù)在處理之前不存儲(chǔ)。
20.根據(jù)權(quán)利要求2所述的電子裝置，其中所述組合模塊包括輸出緩沖器。
21.根據(jù)權(quán)利要求2所述的電子裝置，其中所述組合模塊包括輸出接口和輸出緩沖器。
22.一種用于使用多個(gè)處理器進(jìn)行并行圖像處理的方法，其包括: 使用多個(gè)圖像傳感器將圖像數(shù)據(jù)提供到電子裝置； 將所述圖像數(shù)據(jù)映射到多個(gè)處理器，其中每一處理器專用于所述多個(gè)圖像傳感器中的一者; 將所述圖像數(shù)據(jù)分段以產(chǎn)生經(jīng)分段圖像數(shù)據(jù)； 使所述經(jīng)分段圖像數(shù)據(jù)與所述多個(gè)處理器的時(shí)鐘速率同步；以及 處理所述經(jīng)分段圖像數(shù)據(jù)以產(chǎn)生經(jīng)處理的分段圖像數(shù)據(jù)。
23.根據(jù)權(quán)利要求22所述的方法，其進(jìn)一步包括將所述經(jīng)處理的分段圖像數(shù)據(jù)組合以產(chǎn)生經(jīng)處理圖像。
24.根據(jù)權(quán)利要求22所述的方法，其中所述多個(gè)處理器中的至少一個(gè)處理器處理來(lái)自所述至少一個(gè)處理器不專用于的至少一個(gè)圖像傳感器的經(jīng)分段圖像數(shù)據(jù)。
25.根據(jù)權(quán)利要求22所述的方法，其中所述電子裝置從所述多個(gè)處理器動(dòng)態(tài)添加處理器用于圖像數(shù)據(jù)處理。
26.根據(jù)權(quán)利要求25所述的方法，其中動(dòng)態(tài)添加處理器用于圖像數(shù)據(jù)處理是基于工作負(fù)載。
27.根據(jù)權(quán)利要求22所述的方法，其進(jìn)一步包括確定將所述圖像數(shù)據(jù)分段是否有益，其中如果所述多處理器接口確定將所述圖像數(shù)據(jù)分段并非有益的，那么每一處理器處理僅來(lái)自每一處理器專用于的圖像傳感器的圖像數(shù)據(jù)。
28.根據(jù)權(quán)利要求27所述的方法，其中基于所述圖像數(shù)據(jù)是否在其被分段的情況下可較快地處理來(lái)確定將所述圖像數(shù)據(jù)分段是否是有益的。
29.根據(jù)權(quán)利要求27所述的方法，其中基于所述多個(gè)處理器中的至少一者是否不能個(gè)別地處理所述圖像數(shù)據(jù)來(lái)確定將所述圖像數(shù)據(jù)分段是否是有益的。
30.根據(jù)權(quán)利要求27所述的方法，其中基于所述圖像數(shù)據(jù)是否在其被分段的情況下可使用較少功率來(lái)處理來(lái)確定將所述圖像數(shù)據(jù)分段是否是有益的。
31.根據(jù)權(quán)利要求22所述的方法，其進(jìn)一步包括確定用于將所述圖像數(shù)據(jù)映射到所述多個(gè)處理器的映射。
32.根據(jù)權(quán)利要求22所述的方法，其進(jìn)一步包括確定所述圖像數(shù)據(jù)的分段。
33.根據(jù)權(quán)利要求22所述的方法，其中所述多個(gè)處理器中的至少一者具有與所述多個(gè)處理器中的另一者不同的能力。
34.根據(jù)權(quán)利要求22所述的方法，其中所述多個(gè)圖像傳感器中的至少一者具有與所述圖像傳感器中的另一者不同的能力。
35.根據(jù)權(quán)利要求22所述的方法，其中所述多個(gè)處理器不能個(gè)別地處理所述圖像數(shù)據(jù)。
36.根據(jù)權(quán)利要求22所述的方法，其中所述經(jīng)分段圖像數(shù)據(jù)重疊。
37.根據(jù)權(quán)利要求22所述的方法，其中實(shí)時(shí)且并行完成處理所述經(jīng)分段圖像數(shù)據(jù)。
38.根據(jù)權(quán)利要求22所述的方法，其中所述電子裝置為無(wú)線通信裝置。
39.根據(jù)權(quán)利要求22所述的方法，其中所述多個(gè)處理器為圖像信號(hào)處理器ISP。
40.根據(jù)權(quán)利要求22所述的方法，其進(jìn)一步包括串流所述圖像數(shù)據(jù)以使得所述圖像數(shù)據(jù)在處理之前不存儲(chǔ)。
41.根據(jù)權(quán)利要求23所述的方法，其中使用輸出緩沖器組合所述經(jīng)處理的分段圖像數(shù)據(jù)。
42.根據(jù)權(quán)利要求23所述的方法，其中使用輸出接口和輸出緩沖器組合所述經(jīng)處理的分段圖像數(shù)據(jù)。
43.一種用于使用多個(gè) 處理器進(jìn)行并行圖像處理的計(jì)算機(jī)程序產(chǎn)品，所述計(jì)算機(jī)程序產(chǎn)品包括上面具有指令的非暫時(shí)計(jì)算機(jī)可讀媒體，所述指令包括: 用于使用多個(gè)圖像傳感器提供圖像數(shù)據(jù)的代碼； 用于將所述圖像數(shù)據(jù)映射到所述多個(gè)處理器的代碼，其中每一處理器專用于所述多個(gè)圖像傳感器中的一者； 用于將所述圖像數(shù)據(jù)分段以產(chǎn)生經(jīng)分段圖像數(shù)據(jù)的代碼； 用于使所述經(jīng)分段圖像數(shù)據(jù)與所述多個(gè)處理器的時(shí)鐘速率同步的代碼；以及 用于處理所述經(jīng)分段圖像數(shù)據(jù)以產(chǎn)生經(jīng)處理的分段圖像數(shù)據(jù)的代碼。
44.根據(jù)權(quán)利要求43所述的計(jì)算機(jī)程序產(chǎn)品，其中所述多個(gè)處理器中的至少一個(gè)處理器處理來(lái)自所述至少一個(gè)處理器不專用于的至少一個(gè)圖像傳感器的經(jīng)分段圖像數(shù)據(jù)。
45.根據(jù)權(quán)利要求43所述的計(jì)算機(jī)程序產(chǎn)品，其進(jìn)一步包括用于從所述多個(gè)處理器動(dòng)態(tài)添加處理器用于圖像數(shù)據(jù)處理的代碼。
46.根據(jù)權(quán)利要求45所述的計(jì)算機(jī)程序產(chǎn)品，其中動(dòng)態(tài)添加處理器用于圖像數(shù)據(jù)處理是基于工作負(fù)載。
47.一種用于使用多個(gè)處理器進(jìn)行并行圖像處理的設(shè)備，其包括: 用于使用多個(gè)圖像傳感器提供圖像數(shù)據(jù)的裝置； 用于將所述圖像數(shù)據(jù)映射到所述多個(gè)處理器的裝置，其中每一處理器專用于所述多個(gè)圖像傳感器中的一者； 用于將所述圖像數(shù)據(jù)分段以產(chǎn)生經(jīng)分段圖像數(shù)據(jù)的裝置； 用于使所述經(jīng)分段圖像數(shù)據(jù)與所述多個(gè)處理器的時(shí)鐘速率同步的裝置；以及 用于處理所述經(jīng)分段圖像數(shù)據(jù)以產(chǎn)生經(jīng)處理的分段圖像數(shù)據(jù)的裝置。
48.根據(jù)權(quán)利要求47所述的設(shè)備，其中所述多個(gè)處理器中的至少一個(gè)處理器處理來(lái)自所述至少一個(gè)處理器不專用于的至少一個(gè)圖像傳感器的經(jīng)分段圖像數(shù)據(jù)。
49.根據(jù)權(quán)利要求47所述的設(shè)備，其進(jìn)一步包括用于從所述多個(gè)處理器動(dòng)態(tài)添加處理器用于圖像數(shù)據(jù)處理的裝置。
50.根據(jù)權(quán)利要求49所述的設(shè)備，其中所述用于動(dòng)態(tài)添加處理器用于圖像數(shù)據(jù)處理的裝置是基于工作負(fù)載。
全文摘要
本文揭示一種用于使用多個(gè)處理器進(jìn)行并行圖像處理的電子裝置。所述電子裝置包含用于提供圖像數(shù)據(jù)的多個(gè)圖像傳感器。所述電子裝置還包含用于處理經(jīng)分段圖像數(shù)據(jù)以產(chǎn)生經(jīng)處理的分段圖像數(shù)據(jù)的多個(gè)處理器。每一處理器專用于所述圖像傳感器中的一者。還包含多處理器接口。所述多處理器接口將所述圖像數(shù)據(jù)映射到所述處理器，將所述圖像數(shù)據(jù)分段以產(chǎn)生所述經(jīng)分段圖像數(shù)據(jù)，且使所述經(jīng)分段圖像數(shù)據(jù)與處理器時(shí)鐘速率同步。
文檔編號(hào)G06T1/20GK103201764SQ201180054450
公開日2013年7月10日 申請(qǐng)日期2011年11月7日 優(yōu)先權(quán)日2010年11月12日
發(fā)明者黃豪, 約瑟夫·張, 塞爾久·R·戈馬 申請(qǐng)人:高通股份有限公司