相關申請案的交叉參考

本申請案要求2015年11月11日提交的第62/254,053號美國臨時專利申請案的權益，所述申請案以全文引用的方式并入本文中。

本發(fā)明的實施例大體上涉及計算機視覺系統(tǒng)，且更確切地說涉及在計算機視覺系統(tǒng)中按比例縮小圖像

背景技術：

稱作高級輔助駕駛系統(tǒng)(adas)的新等級的嵌式安全系統(tǒng)已引入到汽車中以減小人類操作失誤。此等系統(tǒng)可提供功能性，例如后視照相機、電子穩(wěn)定性控制和基于視覺式行人檢測系統(tǒng)。這些系統(tǒng)中的許多依賴于計算機視覺處理以檢測一或多個照相機的視野中的物體。圖像的多分辨率分解，即，以不同分辨率按比例縮小圖像以產(chǎn)生具有不同分辨率的圖像金字塔為計算機視覺應用中的基本操作。圖像金字塔使得能夠分析在原始圖像中在不同「大小」下，例如，在不同距離上方所俘獲的場景。由于對于軟件方法的大存儲器要求和對于硬件方法的大硅區(qū)域要求，用以縮放圖像的當前方法對于嵌式adas應用可能非所需的。

技術實現(xiàn)要素：

本發(fā)明的實施例涉及用于按比例縮小計算機視覺系統(tǒng)中的圖像的方法和設備。在一個方面中，提供一種用于縮放圖像的設備，所述設備包含：至少兩個輸入端口；耦合到所述至少兩個輸入端口的縮放組件，所述縮放組件包含多個縮放器，所述縮放組件可配置以將任何縮放器映射到所述至少兩個輸入端口中的任何輸入端口，且可配置以將多個縮放器映射到任何輸入端口；以及耦合到所述至少兩個輸入端口和所述多個縮放器的輸出的存儲器，所述存儲器經(jīng)配置以存儲每一輸入端口的圖像數(shù)據(jù)和由所述多個縮放器輸出的經(jīng)縮放圖像數(shù)據(jù)。

在一個方面中，提供一種用于縮放圖像的設備，所述設備包含：至少一個輸入端口；耦合到所述至少一個輸入端口的縮放組件，所述縮放組件包含多個縮放器，其中所述多個縮放器中的每一縮放器包含垂直縮放濾波器和水平縮放濾波器，每一縮放器經(jīng)配置使得所述垂直縮放濾波器應用于輸入圖像數(shù)據(jù)，且所述水平縮放濾波器應用于所述垂直縮放濾波器的輸出圖像數(shù)據(jù)；以及耦合到所述至少一個輸入端口和所述多個縮放器的輸出的存儲器，所述存儲器經(jīng)配置以存儲所述至少一個輸入端口的圖像數(shù)據(jù)和由所述多個縮放器輸出的經(jīng)縮放圖像數(shù)據(jù)。

在一個方面中，提供一種用于在圖像縮放器中縮放圖像的方法，所述方法包含：配置所述圖像縮放器中的第一多個縮放器，使得所述第一多個縮放器中的一縮放器基于輸入基礎圖像而產(chǎn)生圖像金字塔的初始倍頻程，且所述第一多個縮放器中的其余縮放器基于所述輸入基礎圖像而在所述初始倍頻程與所述基礎圖像之間各自產(chǎn)生相應內倍頻程經(jīng)縮放圖像；在所述第一多個縮放器中的每一縮放器中縮放所述輸入基礎圖像以產(chǎn)生所述初始倍頻程和所述相應內倍頻程經(jīng)縮放圖像；以及存儲下一倍頻程和所述相應內倍頻程經(jīng)縮放圖像。

附圖說明

現(xiàn)將僅借助于實例且參考附圖來描述具體實施例：

圖1為圖像金字塔的實例；

圖2為說明用以產(chǎn)生圖像金字塔的方法的實例；

圖3為具有單個輸入線程的多個獨立縮放器的現(xiàn)有技術實例；

圖4為說明用以產(chǎn)生圖像金字塔的方法的實例；

圖5為具有多個縮放器的實例多線程圖像縮放器的框圖；

圖6和7為具有多個縮放器的多線程圖像縮放器的實例架構的框圖；

圖8a和8b為用于產(chǎn)生圖像金字塔的圖6和7的架構的實例配置；

圖9為說明用以產(chǎn)生圖像金字塔的方法的實例；

圖10為用于在具有多個縮放器的多線程圖像縮放器中縮放輸入圖像的方法的流程圖；

圖11為用于使用來自先前倍頻程的縮放產(chǎn)生圖像金字塔的方法的流程圖；

圖12為包含具有多個縮放器的多線程圖像縮放器的實例多處理器芯片上系統(tǒng)(soc)的高水平框圖；且

圖13為說明縮放濾波器之間的系數(shù)組的共享的實例。

具體實施方式

現(xiàn)在將參考附圖詳細描述本發(fā)明的特定實施例。出于一致性，在各個圖中的類似元件由類似的參考數(shù)字表示。

如先前所提及，在基于照相機的嵌式安全系統(tǒng)中所執(zhí)行的計算機視覺處理需要圖像金字塔的產(chǎn)生，即，從高分辨率輸入所產(chǎn)生的減小分辨率下采樣圖像的層級。可基于所使用特定視覺算法而為圖像產(chǎn)生一或多個圖像金字塔。舉例來說，圖像金字塔可為一組圖像，其中相對于金字塔中的具有下一較高分辨率的圖像而通過二的因數(shù)水平地和垂直地兩者對每一圖像進行下采樣。在此金字塔中，每一圖像稱作倍頻程。圖1為此金字塔的實例。

對于一些算法，經(jīng)下采樣圖像也產(chǎn)生于金字塔的每一倍頻程之間。用以在倍頻程(即，內倍頻程經(jīng)縮放圖像)之間產(chǎn)生經(jīng)下采樣圖像的縮放比率可為任意的。舉例來說，對于汽車安全系統(tǒng)中的行人檢測和物體檢測，用于倍頻程縮放之間的比率可為1與2之間，例如，1.1、1.1²、等，且每一倍頻程之間的經(jīng)縮放圖像的數(shù)目可為八個。假定具有六個倍頻程的圖像金字塔，對于單個輸入圖像產(chǎn)生5×8＝40個經(jīng)縮放輸出。

通用的圖像縮放軟件方法包含于opencv(開源計算機視覺庫)中。opencv為廣泛使用的包含對實時計算機視覺處理的支持的開源計算機視覺和機器學習軟件庫。在opencv中，例如圖1的金字塔的金字塔的產(chǎn)生針對每一圖像層包含以高斯內核卷積前一層和從結果去除每一偶數(shù)行和列。通過調用具有輸入的先前較高分辨路層的單個下采樣函數(shù)來依序地產(chǎn)生每一圖像層(倍頻程)。此外，在opencv中，通過依序地調用單個調整大小函數(shù)來執(zhí)行對圖像的一般縮放(例如需要產(chǎn)生內倍頻程經(jīng)縮放圖像的一般縮放)。對于一般縮放的下采樣可使用雙線性、雙三次、樣條或lancoz濾波。圖2為說明使用opencv的典型金字塔產(chǎn)生的實例。如本實例展示，所有倍頻程(例如金字塔的倍頻程202、204)和所有內倍頻程經(jīng)縮放圖像(例如，經(jīng)縮放圖像206、208)依序地從基礎圖像200產(chǎn)生。

用以支持所需圖像縮放的通用硬件方法為通過單個輸入線程實施數(shù)個獨立圖像調整大小器或縮放器。包含于系統(tǒng)中的硬件的數(shù)目可變化，且可基于例如吞吐量要求和成本的因素而加以選擇。圖3為說明此現(xiàn)有技術方法的實例?？s放器中的每一者可具有相同輸入，且可獨立地經(jīng)編程以產(chǎn)生處在不同分辨率的經(jīng)按比例縮小輸出。替代地，可依序地(即，以級聯(lián)方式)操作縮放器，使得縮放器的經(jīng)按比例縮小輸出為序列中的下一縮放器的輸入。在任一情況下，若縮放器的數(shù)目小于所要經(jīng)縮放圖像的數(shù)目，則可使用穿過縮放器的多個遍次。圖4為說明將多個縮放器用作級聯(lián)的典型金字塔產(chǎn)生的實例。如本實例展示，具有最高分辨率的內倍頻程經(jīng)縮放圖像從基礎圖像400產(chǎn)生，且每一倍頻程(例如倍頻程402、404)和每一內倍頻程經(jīng)縮放圖像(例如，經(jīng)縮放圖像406、408)從下一較高分辨率經(jīng)縮放圖像產(chǎn)生。

如圖3的實例中所說明，每一縮放器對某一數(shù)目個連續(xù)圖像行執(zhí)行水平縮放，且將結果存儲于線緩沖器中。經(jīng)處理連續(xù)行的數(shù)目和線緩沖器的數(shù)目取決于用于垂直縮放的濾波器的抽頭的數(shù)目。接著對線緩沖器的內容執(zhí)行垂直縮放。重復水平縮放和垂直縮放，直到已處理輸入圖像的所有行。

本發(fā)明的實施例提供使用可在多個線程之間共享的多個縮放器的多線程圖像縮放。更確切地說，所有縮放器可逐線程使用，或縮放器可分割于輸入線程中的兩者或更多者之間。此外，在一些實施例中，每一縮放器在水平縮放之前執(zhí)行垂直縮放，從而消除對于每一縮放器中的線緩沖器的需要。此外，在一些實施例中，提供統(tǒng)一多相濾波，其中可調諧相位的濾波器抽頭，以實現(xiàn)按整數(shù)比率的倍頻程縮放以及按任意分數(shù)的一般縮放。也就是說，可模擬任何種類的內插，例如，高斯、雙線性、雙三次、lancoz等。而且，在一些實施例中，針對按比例縮小比率而提供雙精確度模式(例如，1/64和1/32)，以處理等同水平和垂直比率的典型情況，而不改變高寬比且不隨高寬比的改變而改變縮放。

圖5為說明具有多個縮放器的多線程圖像縮放器的一實施例的實例。在此實例中，假定輸入線程的數(shù)目為兩個。所屬領域的技術人員將理解存在更多輸入線程的實施例。n個縮放器的組共享于兩個輸入線程之間。對于任何給定處理周期，可將所有n個縮放器指派到輸入線程中的一者，或可將縮放器的子集指派到每一輸入線程。舉例來說，可在縮放器1到5中處理輸入1線程，且可在縮放器n中處理輸入2線程。此外，n個縮放器中的每一者在水平縮放之前執(zhí)行垂直縮放。應注意，在垂直縮放組件與水平組件之間不存在線緩沖器。

圖6和7為具有多個縮放器的多線程圖像縮放器的實例架構的框圖。所描繪特定架構為可包含于來自德州儀器公司(texasinstruments,inc.)的adas集成電路(ic)中的視覺預處理加速器(vpac)的多縮放器(msc)硬件加速器600的一實施例。本文中提供vpac_msc600的方面的高水平描述。vpac_msc600在m.mody和b.chae于2015年7月13日在德州儀器「vpacmulti-scaler(msc)hwamodulespecification」v0.8.0中更詳細地加以描述，其以引用的方式并入本文中。

在此實例架構中，輸入線程的數(shù)目為兩個，且縮放器的數(shù)目為十個。所屬領域的普通技術人員將理解存在更多輸入線程和/或更多或更少縮放器的實施例。所述組十個縮放器共享于兩個輸入線程之間，例如，一個輸入線程可映射n個縮放器，且另一輸入線程可映射到m個縮放器，其中n+m≤10。也就是說，可同時處理兩個輸入線程，其中每一線程使用十個縮放器的子集或一個輸入線程可使用一些或所有十個縮放器。此外，可異步地處理輸入線程。從存儲于msc600外部的存儲器中的共享圓形線緩沖器讀取每一處理線程的輸入平面數(shù)據(jù)?？s放操作的結果存儲于外部存儲器中的共享圓形線緩沖器中。到和從存儲器的數(shù)據(jù)傳送由vpac中的dma控制器處理，其中傳送請求事件來自vpac中的硬件線程調度程序。

如圖6中所展示，msc600包含負載存儲引擎(msc_lse)602、配置管理組件(msc_cfg)606和縮放組件(msc_core)604。配置管理組件606提供用于編程負載存儲引擎602和縮放組件604兩者的配置寄存器的接口。負載存儲引擎602的配置寄存器(msc_lse_cfg)為負載存儲引擎的部分，且縮放組件604的配置寄存器為配置管理組件606的部分。

縮放組件604的配置寄存器存儲十個縮放器中的每一者的一組配置參數(shù)。每一縮放器的配置參數(shù)包含：指示應使用單相還是多相濾波的濾波模式標志、指示指示應使用32相位還是64相位的相模標志、用于選擇多相垂直和水平濾波器系數(shù)的標志、用于選擇單相垂直和水平濾波器系數(shù)的標志、縮放因數(shù)、和垂直和水平濾波器的初始相位偏移值。負載存儲引擎602的配置寄存器存儲兩個輸入信道中的每一者和十個輸出信道中的每一者的參數(shù)。每一輸入信道的參數(shù)包含輸入信道的圓形輸入緩沖器的大小、緩沖器的基礎基礎地址、緩沖器中的線的數(shù)目、和線中的像素的數(shù)目。每一輸出信道的參數(shù)包含指示信道到兩個輸入線程中的一者的映射的標志、輸出循環(huán)緩沖器的大小、和輸出循環(huán)緩沖器的基礎地址。

負載存儲引擎602管理輸入數(shù)據(jù)從兩個處理線程的輸入圓形線緩沖器到縮放組件604的負荷、和輸出數(shù)據(jù)從縮放組件604到存儲器中的輸出圓形線緩沖器中的存儲。更確切地說，負載存儲引擎602包含用以管理縮放組件604的兩個輸入信道的功能性，針對兩個輸入線程中的每一者管理一個輸入信道。輸入信道可多達一幀五個線，取決于用于縮放的濾波器核。負載存儲引擎602還包含用以管理十個輸出信道的功能性，針對縮放組件604中的十個縮放器中的每一者管理一個輸入信道。此外，負載存儲引擎602包含輸出信道中的每一者的可編程線程映射，即，每一輸出信道可經(jīng)編程以映射到處理線程中的一者。負載存儲引擎602還包含用以與硬件線程調度程序同步的功能性。

縮放組件604可配置以執(zhí)行來自兩個獨立輸入源的兩組異步一對多縮放操作。圖7為縮放組件604的框圖?？s放組件604可經(jīng)由輸入端口vp_in_0和vp_in_1從負載存儲引擎602接收一個或兩個獨立輸入。負載存儲引擎602的每一輸出信道的輸出線程映射參數(shù)通過控制耦合到縮放器的數(shù)據(jù)選擇多路復用器712、714、716、718來將縮放器702、704、706、708中的每一者映射到輸入端口中的一者。

縮放器702、704、706、708中的每一者包含相應垂直縮放濾波器720、722、724、726和水平縮放濾波器728、730、732、734?？s放濾波器中的每一者為支持具有64個或32個相位的最大5抽頭內核的可編程多相濾波器。每一5抽頭濾波器可經(jīng)編程以執(zhí)行5抽頭、4抽頭或3抽頭濾波。舉例來說，5抽頭濾波器可經(jīng)編程為用于倍頻程產(chǎn)生的5抽頭高斯濾波器或用于內倍頻程經(jīng)縮放圖像產(chǎn)生的4抽頭雙三次按比例縮小濾波器。垂直輸入邊填充由負載存儲引擎602執(zhí)行，且水平輸入邊填充在水平縮放濾波器中的每一者中予以執(zhí)行。

縮放濾波器的共享系數(shù)組存儲于由縮放濾波器共享的系數(shù)緩沖器710中。任何系數(shù)組可由任何縮放濾波器使用。為了使得能夠有效率地共享系數(shù)組，將緩沖器710實施為msc_core604中的寄存器。在本文中參考圖13更詳細地論述系數(shù)組的共享。每一系數(shù)組由存儲于兩個寄存器中的五個系數(shù)值構成。存在兩個專用組5抽頭單相濾波器系數(shù)用于倍頻程產(chǎn)生和整數(shù)調整大小應用——金字塔coefcfg0和金字塔coefcfg1。此外，存在四個組多相系數(shù)用于一般非整數(shù)調整大小、g縮放器coef0、1和g縮放器coef2、3。多相系數(shù)可經(jīng)配置成四組5抽頭×32相位系數(shù)、1組5抽頭×64相位系數(shù)和兩組5抽頭×32相位系數(shù)、或2組5抽頭×64相位系數(shù)32相位配置選項允許使用垂直和水平縮放的單獨系數(shù)組，以在縮放期間達成高寬比改變。用于縮放濾波器的系數(shù)組的選擇由縮放濾波器的系數(shù)選擇參數(shù)控制。

縮放器702、704、706、708中的每一者還包含耦合到由負載存儲引擎602管理的相應輸出信道的相應輸出端口vp_out_0…vp_out_9。在縮放器702、704、706、708中的每一者中，將來自經(jīng)映射輸入端口的輸入提供到垂直縮放濾波器，且將垂直縮放濾波器的輸出提供到水平縮放濾波器。將水平縮放濾波器的輸出提供到輸出端口。

圖8a和8b展示用于產(chǎn)生圖像金字塔的msc600的實例配置。在這些實例中，幀緩沖器800存儲輸入圖像，即，待經(jīng)縮放的圖像和由msc600輸出的經(jīng)縮放圖像。內部隨機存取存儲器802存儲每一處理線程(即，thread_0和thread_1)的輸入和輸出循環(huán)緩沖器。在這兩個實例中，將五個縮放器指派到每一輸入線程。因此，將五個輸出緩沖器output_cbuf_x指派到每一輸入線程。

首先參考圖8a，每一輸入線程具有相應輸入循環(huán)緩沖器，耦合到幀緩沖器800以接收圖像數(shù)據(jù)的input_cbuf_0和input_cbuf_1?？墒褂么伺渲靡?例如)按倍頻程與輸入圖像之間的分辨率產(chǎn)生一倍頻程和四個內倍頻程經(jīng)縮放圖像。輸入圖像數(shù)據(jù)可來自相同圖像或來自不同圖像。若輸入圖像數(shù)據(jù)來自不同圖像，則多個縮放遍次可用以產(chǎn)生連續(xù)倍頻程和對應內倍頻程經(jīng)縮放圖像。在每一縮放遍次中，可視需要改變縮放器的參數(shù)。

可使用此配置以(例如)產(chǎn)生圖像金字塔，其中金字塔的所有倍頻程和對應內倍頻程經(jīng)縮放圖像是從基礎圖像產(chǎn)生，如圖2的實例中所說明。對于每一縮放遍次，幀緩沖器800中的基礎圖像將為輸入圖像。

還可使用此配置以(例如)執(zhí)行用于產(chǎn)生具有內倍頻程經(jīng)縮放圖像的圖像金字塔的新穎過程。在此過程中，使用倍頻程圖像以在兩個倍頻程之間產(chǎn)生下一較低分辨率倍頻程圖像和內倍頻程經(jīng)縮放圖像。圖9為說明此過程的實例?；A圖像900用以產(chǎn)生下一較小倍頻程902和內倍頻程經(jīng)縮放圖像906。倍頻程902接著用以產(chǎn)生下一較小倍頻程904和內倍頻程經(jīng)縮放圖像908。對于此過程，每一縮放遍次的除了初始圖像之外的輸入圖像將為由先前縮放遍次產(chǎn)生的倍頻程。

現(xiàn)參考圖8b，說明輸入線程的級聯(lián)配置，其中一個輸入線程的輸出緩沖器中的一者還充當另一輸入線程的輸入緩沖器。在此實例配置中，輸入線程thread_0具有耦合到幀緩沖器800以接收圖像數(shù)據(jù)的輸入循環(huán)緩沖器input_cbuf_0，和耦合到thread_0的輸出循環(huán)緩沖器output_cbuf_4以從thread_1接收經(jīng)縮放圖像數(shù)據(jù)作為輸入的輸入線程thread_1。在此配置中，輸出緩沖器還充當可經(jīng)配置以保持由指派到thread_1的縮放器需要的輸入線的數(shù)目的輸入緩沖器，例如，在指派到thread_1的縮放器經(jīng)配置以使用5抽頭濾波器時可經(jīng)配置以保持五個線的緩沖器。

此配置可用以(例如)執(zhí)行來自在圖9中所說明的先前倍頻程過程的縮放。舉例來說，output_cbuf_4中的經(jīng)縮放數(shù)據(jù)可為從input_cbuf_0中的圖像數(shù)據(jù)產(chǎn)生的倍頻程數(shù)據(jù)，且thread_1的縮放器可經(jīng)配置以產(chǎn)生金字塔中的下一倍頻程和對應內倍頻程經(jīng)縮放圖像。若需要兩個以上倍頻程，則可使用多個縮放遍次，其中由thread_2的處理輸出的倍頻程用作到thread_0的輸入。

圖10為用于在具有多個縮放器的多線程圖像縮放器(例如，圖6和7的多線程圖像縮放器)中縮放輸入圖像的方法的流程圖。流程圖闡述使用單個線程的縮放。所屬領域的普通技術人員將理解，可異步地處理到多線程圖像縮放器的輸入線程，且可基于縮放器的可用性而針對額外輸入線程重復所述方法。

最初，執(zhí)行配置以供線程處理(1000)。此配置可視需要包含編程系數(shù)寄存器、將n個縮放器指派到線程，其中n為用于處理輸入圖像的縮放器的所要數(shù)目、對n個所指派縮放器中的每一者中的濾波器的參數(shù)進行配置、和對輸入和輸出循環(huán)緩沖器的參數(shù)進行配置。一旦完成配置1000，則經(jīng)配置縮放器根據(jù)經(jīng)配置過濾器參數(shù)和系數(shù)而縮放輸入圖像的每一輸入線(1002)，直到輸入圖像的縮放完成(1006)。當所有n個縮放器完成對輸入圖像的線的處理時，對輸入圖像的縮放完成。

采用了圖6和7的多線程圖像縮放器，在每一經(jīng)配置縮放器中，每一輸入線由垂直縮放濾波器垂直地縮放。若經(jīng)垂直地縮放輸出線有效，則垂直地經(jīng)縮放輸出線接著在水平縮放濾波器中經(jīng)水平地縮放。若所得經(jīng)縮放線有效，則將水平縮放濾波器的輸出像素存儲于對應輸出緩沖器中(1004)。所屬領域的普通技術人員將理解，圖像中的某些像素可能作為按比例縮小的部分而下降，從而導致無效輸出線。當所有n個縮放器完成對輸入線的處理且縮放的任何有效輸出寫入到相應縮放器輸出緩沖器時，對輸入線的縮放完成。

圖11為用于使用來自如圖9的實例中所說明的先前倍頻程的縮放的產(chǎn)生圖像金字塔的方法的流程圖。方法假定使用具有多個縮放器的多線程圖像縮放器(例如，圖6和7的多線程圖像縮放器)。所屬領域的普通技術人員將理解具有多個縮放器的單個線程圖像縮放器的實施例。所述方法假定具有含有7個內倍頻程經(jīng)縮放圖像的六個或七個倍頻程的典型圖像金字塔。所屬領域的普通技術人員將理解具有更多或極少倍頻程和/或內倍頻程經(jīng)縮放圖像的實施例。方法還假定存在至少八個縮放器。

最初，執(zhí)行配置以供線程處理(1100)，使得縮放的所得輸出為圖像金字塔的倍頻程和對應內倍頻程經(jīng)縮放圖像。此配置可視需要包含編程系數(shù)寄存器、將八個縮放器指派到線程、對八個所指派縮放器中的每一者中的濾波器的參數(shù)進行配置、和對輸入循環(huán)緩沖器和八個輸出循環(huán)緩沖器的參數(shù)進行配置。對于初始縮放遍次，輸入圖像為基礎圖像且輸出倍頻程為圖像金字塔中的下一倍頻程。

一旦完成配置1100，則八個經(jīng)配置縮放器根據(jù)經(jīng)配置過濾器參數(shù)和系數(shù)而縮放輸入圖像的每一輸入線(1102)，直到輸入圖像的縮放完成(1106)。當所有八個縮放器完成對輸入圖像的線的處理時，對輸入圖像的縮放完成。當所有八個縮放器完成對輸入線的處理且縮放的任何有效輸出寫入到相應縮放器輸出緩沖器時，對輸入線的縮放完成。

如果所有所要倍頻程已產(chǎn)生(1108)，那么處理終止。否則，下一倍頻程連同對應內倍頻程經(jīng)縮放圖像1100到1106產(chǎn)生。用于產(chǎn)生每一連續(xù)倍頻程和對應內倍頻程經(jīng)縮放圖像的輸入圖像為先前倍頻程。

應注意，如果上述方法用于圖6和7的多線程圖像縮放器中，那么第二輸入線程和兩個縮放器保持可供用于其它圖像處理。舉例來說，第二輸入線程和其余縮放器可用以針對其它輸入數(shù)據(jù)實現(xiàn)金字塔產(chǎn)生，或針對彩度數(shù)據(jù)實現(xiàn)金字塔產(chǎn)生，只要由兩個線程需要的縮放的總數(shù)目為十個或更小。

圖12為包含經(jīng)配置供用于基于照相機的adas中的具有多個縮放器的多線程圖像縮放器(msc)1212的實例多處理器芯片上系統(tǒng)(soc)1200的高水平框圖。本文中提供對soc1200的組件的高級描述。可在m.mody等人于2015年12月16日到19日在印度·班加羅爾的proceedingsof2015ieee22^ndinternationalconferenceonhighperformancecomputing的「highperformancefrontcameraadasapplicationsonti'stda3xplatform」中發(fā)現(xiàn)對實例組件(除了msc1212之外)的更詳細描述，其以引用的方式并入本文中。

soc1200包含經(jīng)由高速互連件1222耦合的雙通用處理器(gpp)1202、雙數(shù)字信號處理器(dsp)1204和視覺處理器1206。soc1200進一步包含直接存儲器存取(dma)組件1208、照相機俘獲組件1210、顯示管理組件1214、芯片上隨機存取(ram)存儲器1216、和經(jīng)由互連件1222全部耦合到處理器的每一種輸入/輸出(i/o)周邊裝置1220。此外，soc1200包含包括安全相關功能性以實現(xiàn)遵從汽車安全要求的安全組件1218。此等功能性可包含對于數(shù)據(jù)的crc(循環(huán)冗余檢查)的支持、漂移檢測的時鐘比較器、錯誤傳信、加窗看門狗定時器和soc對于損壞和故障的自測試。

msc1212具有多個線程輸入和可分割于輸入線程之間的多個縮放器。本文中已在前文描述此msc的硬件架構的實例。在一些實施例中，msc1212可為獨立硬件加速器。在一些實施例中，msc1212可為視覺預處理硬件加速器(例如圖6和7的msc600)的部分。在一些實施例中，msc1212可為在gpp1202、dsp1204和視覺處理器1206中的一或多者上執(zhí)行的軟件?？稍趕oc1200的任何可編程處理器上執(zhí)行控制msc1212的操作的軟件。

如先前所提及，兩個單相系數(shù)組和四個多相系數(shù)組由圖7中所說明的縮放組件604的十個縮放器共享?？s放組件的典型用途為產(chǎn)生具有多達八個層級的圖像金字塔，其中用以產(chǎn)生內倍頻程經(jīng)縮放圖像的按比例縮小比率在1×與0.5×之間。因為按比例縮小比率或多或少地彼此不同，即，為大約1.09x的倍數(shù)，所以各自支持這些比率內的子范圍的通用系數(shù)值的共享組對于計算機視覺應用足以產(chǎn)生圖像金字塔。當處理單個輸入線程時或當處理兩個輸入線程時，系數(shù)組可由縮放器共享。

圖13為說明縮放組件604中的兩個輸入線程之間的系數(shù)組的共享的實例。在此實例中，coef_0、coef_1、coef_2和coef_3為多相系數(shù)的四個共享組，且sp_coef_0和sp_coef_1為單相系數(shù)的兩個共享組。每一多相系數(shù)組經(jīng)編程以支持不同縮放比。舉例來說，coef_0可支援1×到0.75×的縮放比，coef_1可支援0.75×到0.5×的縮放比，coef_2可支援0.5×到0.35×的縮放比，且coef_3可支援0.35×到0.25×的縮放比。

scaler_0、scaler_1、scaler_2、scaler_3和scaler_4指派到一個輸入線程且其余縮放器指派到另一輸入線程。如表中所說明，scaler_0、scaler_1、scaler_2和scaler_3各自經(jīng)配置以使用多相系數(shù)組中的一者產(chǎn)生內倍頻程經(jīng)縮放圖像，且scaler_4經(jīng)配置以使用單相系數(shù)組中的一者產(chǎn)生倍頻程。類似地，scaler_5、scaler_6、scaler_7和scaler_8各自經(jīng)配置以使用多相系數(shù)組中的一者產(chǎn)生內倍頻程經(jīng)縮放圖像，且scaler_9經(jīng)配置以使用單相系數(shù)組中的一者產(chǎn)生倍頻程。應注意，scaler_0、scaler_1和scaler_5經(jīng)配置以使用相同多相系數(shù)組coef_0，且scaler_2、scaler_3和scaler_6經(jīng)配置以使用相同多相系數(shù)組coef_1。

其它實施例

雖然已關于有限數(shù)目的實施例描述本發(fā)明，但具有本發(fā)明權益的所屬領域的普通技術人員應理解，可設計不脫離如本文所揭示的本發(fā)明范圍的其它實施例。

舉例來說，已在本文中描述使用多相濾波器執(zhí)行垂直和水平縮放的實施例。所屬領域的普通技術人員將理解使用其它適合的濾波的實施例，例如(例如)雙線性濾波、雙三次濾波、lancoz濾波、高斯濾波等。此外，所屬領域的普通技術人員將理解使用多個濾波技術的實施例。

在另一個實例中，已在本文中描述在縮放器之間共享系數(shù)組的實施例。所屬領域的普通技術人員將理解每一縮放器具有單獨專用系數(shù)存儲的實施例。此外，所屬領域的普通技術人員將理解具有更多或更少共享系數(shù)組的實施例。

在另一個實例中，已在本文中描述每一縮放器在水平濾波之前執(zhí)行垂直濾波的實施例。所屬領域的普通技術人員將理解濾波次序逆轉的實施例。

在另一個實例中，已在本文中描述聚焦于圖像的按比例縮小的實施例。所屬領域的普通技術人員將理解縮放器也可用于圖像的按比例放大、透視變換、噪聲過濾等的實施例。

在另一個實例中，已在本文中參考adas描述實施例。所屬領域的普通技術人員將理解除adas以外的計算機視覺應用的實施例，例如(例如)工業(yè)應用、機器人技術和無人機。

盡管可在本文中以依序方式呈現(xiàn)且描述方法步驟，但是在圖中所展示且在本文中所描述的步驟中的一或多者可并行地予以執(zhí)行、可組合、和/或可按不同于在圖中所展示且在本文中所描述的次序的次序予以執(zhí)行。因此，實施例應被視為限于在圖中所展示且在本文中所描述的步驟的特定次序。

某些術語在整個描述和權利要求書中被用來指代特定系統(tǒng)組件。如所屬領域的普通技術人員應理解，系統(tǒng)中的組件可以在不脫離所描述的功能的情況下通過不同名稱來提及和/或可以按本文中未展示的方式組合。此文檔并不既定區(qū)分開在名稱而非功能上不同的組件。在描述中和在權利要求中，術語“包含”和“包括”是以開放式方式使用，并且因此應該解釋為意指“包含(但不限于)……”。而且，術語“耦合”和其派生詞既定意味著間接、直接、光學和/或無線電連接。因此，如果第一個裝置耦合到第二個裝置，那么舉例來說，那個連接可通過直接電連接、通過其它裝置和連接的間接電連接、通過光學電連接和/或通過無線電連接。

因此，預期所附權利要求書將覆蓋屬于本發(fā)明的真正范圍的實施例的任何此類修改。