本發(fā)明涉及通信技術(shù)領(lǐng)域,特別涉及一種視頻信號處理方法,同時(shí)本申請還涉及一種雙目相機(jī)。
背景技術(shù):
隨著人們對視頻監(jiān)控要求的增高,監(jiān)控相機(jī)的應(yīng)用場景變得越來越復(fù)雜。對于復(fù)雜的監(jiān)控方式,雙目相機(jī)較之于目前主流的單目相機(jī)有著眾多的優(yōu)勢。例如,在監(jiān)控復(fù)雜場景時(shí),一臺相機(jī)可以監(jiān)視不同角度,可大大增加監(jiān)控的覆蓋范圍;或者利用雙目相機(jī)兩個(gè)相同的sensor(圖像傳感器)可以獲得雙倍的進(jìn)光量,進(jìn)而可達(dá)到大幅提升畫質(zhì)的效果。
現(xiàn)有的雙目相機(jī)實(shí)現(xiàn)方案,對相機(jī)的主芯片有著較高的性能要求。主芯片需要有兩個(gè)視頻輸入接口,兩個(gè)ISP(圖像信號處理)模塊,而且對與之匹配的圖像傳感器的視頻接口也有特定要求。具體的,現(xiàn)有技術(shù)的實(shí)現(xiàn)方式如下:首先兩路視頻信號通過主芯片的兩個(gè)VI接口(視頻輸入接口)分別輸入主芯片,其次,視頻信號各自經(jīng)過自身的ISP模塊、視頻處理模塊,分別經(jīng)過主芯片的處理后,輸出兩路視頻圖像。可見,在現(xiàn)有技術(shù)的實(shí)現(xiàn)方案中,雙目相機(jī)的主芯片需要分別為兩路視頻信號配置獨(dú)立的一整套信號處理模塊(ISP模塊、視頻處理模塊等)。
發(fā)明人在實(shí)現(xiàn)本申請的過程中,發(fā)現(xiàn)現(xiàn)有技術(shù)中雙目相機(jī)的實(shí)現(xiàn)方案至少存在以下問題:
1、為了能夠同時(shí)處理兩路視頻信號,現(xiàn)有雙目相機(jī)的主芯片,需要配置兩套完整的信號處理模塊(ISP模塊、視頻處理模塊等),因此在現(xiàn)有技術(shù)中需要給雙目相機(jī)配置性能較高的主芯片。一方面,現(xiàn)在市場上滿足雙目相機(jī)需要同時(shí)處理兩路視頻信號的處理需求的處理需求的主芯片較少,限制了雙目相機(jī)的推廣;另一方面,高性能的主芯片價(jià)格高昂,無疑增加了雙目相機(jī)的制造成本。
2、目前的雙目相機(jī)限于其主芯片視頻接口的局限性,一般只能接受單一類型的視頻信號。例如:大多數(shù)雙目相機(jī)的主芯片只能接入并行數(shù)據(jù),因此往往無法對接差分輸出的sensor。
因此,如何降低雙目相機(jī)對主芯片性能的需求,成為本領(lǐng)域技術(shù)人員亟待解決的技術(shù)問題。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明提供了一種視頻信號處理方法,用以解決現(xiàn)有技術(shù)中,雙目相機(jī)對主芯片的性能需求較高,以及雙目相機(jī)的適配范圍較小的問題,該方法應(yīng)用于包含邏輯芯片以及主芯片的雙目相機(jī)中,具體的該方法至少包括以下步驟:
所述邏輯芯片將轉(zhuǎn)換格式為并行數(shù)據(jù)格式的第一輸入視頻信號和第二輸入視頻信號合并為混合視頻信號,所述混合視頻信號的奇數(shù)幀由所述第一輸入視頻信號組成,所述混合視頻信號的偶數(shù)幀由所述第二輸入視頻信號組成;
所述邏輯芯片將所述混合視頻信號發(fā)送給所述主芯片,所述混合視頻信號在被所述主芯片處理后生成第一輸出視頻信號和第二輸出視頻信號。
優(yōu)選的,所述邏輯芯片將所述第一輸入視頻信號和所述第二輸入視頻信號合并為混合視頻信號,具體為:
判斷所述第一輸入視頻信號和/或所述第二輸入視頻信號的場同步信號當(dāng)前的信號周期是否為奇數(shù)周期;
若判斷結(jié)果為是,則在所述信號周期內(nèi)向所述主芯片發(fā)送所述第一輸入視頻信號;
若判斷結(jié)果為否,則在所述信號周期內(nèi)向所述主芯片發(fā)送所述第二輸入視頻信號。
優(yōu)選的,所述判斷第一輸入視頻信號和/或所述第二輸入視頻信號的場同步信號當(dāng)前的信號周期是否為奇數(shù)周期,具體為:
判斷所述場同步信號的上升沿是否到來;
若判斷結(jié)果為否,則保持當(dāng)前周期的奇偶性不變;
若判斷結(jié)果為是,則改變當(dāng)前周期的奇偶性。
優(yōu)選的,所述邏輯芯片將所述第一輸入視頻信號和所述第二輸入視頻信號合并為混合視頻信號,具體為:
在所述第一輸入視頻信號和所述第二輸入視頻信號的同一信號周期內(nèi),向所述主芯片發(fā)送所述第一輸入視頻信號,并同時(shí)緩存所述信號周期對應(yīng)的所述第二輸入視頻信號;
在將所述信號周期內(nèi)的所述第一輸入視頻信號發(fā)送完畢后,提取所述信號周期對應(yīng)的第二輸入視頻信號,并發(fā)送給所述主芯片。
優(yōu)選的,在所述邏輯芯片將第一輸入視頻信號和第二輸入視頻信號合并為混合視頻信號之前,所述方法還包括:
將所述第一輸入視頻信號和所述第二輸入視頻信號的格式轉(zhuǎn)換為并行數(shù)據(jù)格式。
相應(yīng)的本申請?zhí)岢鲆环N雙目相機(jī),包含有邏輯芯片以及主芯片,所述邏輯芯片包括,
數(shù)據(jù)拼接模塊,將轉(zhuǎn)換格式為并行數(shù)據(jù)格式的第一輸入視頻信號和第二輸入視頻信號合并為混合視頻信號,所述混合視頻信號的奇數(shù)幀由所述第一輸入視頻信號組成,所述混合視頻信號的偶數(shù)幀由所述第二輸入視頻信號組成;
數(shù)據(jù)輸出模塊,將所述混合視頻信號發(fā)送給所述主芯片,所述混合視頻信號在被所述主芯片處理后生成第一輸出視頻信號和第二輸出視頻信號。
優(yōu)選的,所述數(shù)據(jù)拼接模塊具體用于:
判斷所述第一輸入視頻信號和/或所述第二輸入視頻信號的場同步信號當(dāng)前的信號周期是否為奇數(shù)周期;
在判斷結(jié)果為是時(shí),在所述信號周期內(nèi)向所述主芯片發(fā)送所述第一輸入視頻信號;
在判斷結(jié)果為否時(shí),在所述信號周期內(nèi)向所述主芯片發(fā)送所述第二輸入視頻信號。
優(yōu)選的,所述數(shù)據(jù)拼接模塊進(jìn)一步用于:
判斷所述場同步信號的上升沿是否到來;
在判斷結(jié)果為否時(shí),保持當(dāng)前周期的奇偶性不變;
在判斷結(jié)果為是時(shí),改變當(dāng)前周期的奇偶性。
優(yōu)選的,所述數(shù)據(jù)拼接模塊具體用于:
在所述第一輸入視頻信號和所述第二輸入視頻信號的同一信號周期內(nèi),向所述主芯片發(fā)送所述第一輸入視頻信號,并同時(shí)緩存所述信號周期對應(yīng)的所述第二輸入視頻信號;
在將所述信號周期內(nèi)的所述第一輸入視頻信號發(fā)送完畢后,提取所述信號周期對應(yīng)的第二輸入視頻信號,并發(fā)送給所述主芯片;
優(yōu)選的,還包括:
接口轉(zhuǎn)換模塊,將所述第一輸入視頻信號和所述第二輸入視頻信號的格式轉(zhuǎn)換為并行數(shù)據(jù)格式。
通過應(yīng)用本申請的技術(shù)方案,在接收到第一輸入視頻信號和第二輸入視頻信號時(shí),邏輯芯片將第一輸入視頻信號和第二輸入視頻信號合并為混合視頻信號,并且混合視頻信號的奇數(shù)幀由第一輸入視頻信號組成,混合視頻信號的偶數(shù)幀由第二輸入視頻信號組成;進(jìn)一步地,主芯片對混合視頻信號進(jìn)行信號處理,輸出第一輸出視頻信號以及第二輸出視頻信號。由于在對第一輸入視頻信號和第二輸入視頻信號進(jìn)行合并之后,主芯片只需要處理合并后得到的混合視頻信號,從而只需要在主芯片內(nèi)配置一套完整的信號處理模塊(ISP模塊、視頻處理模塊等)就能滿足上述處理需求。因此,降低了雙目相機(jī)對主芯片的性能需求。
附圖說明
圖1為本申請?zhí)岢龅囊环N視頻信號處理方法的流程示意圖;
圖2為本申請具體實(shí)施例提出的一種雙目相機(jī)的模塊示意圖;
圖3為本申請具體實(shí)施例提出的第一種數(shù)據(jù)拼接方法的示意圖;
圖4為本申請具體實(shí)施例提出的第一種數(shù)據(jù)拼接方法的流程示意圖;
圖5為本申請具體實(shí)施例提出的第二種數(shù)據(jù)拼接方法的示意圖;
圖6為本申請?zhí)岢龅囊环N雙目相機(jī)的結(jié)構(gòu)示意圖。
具體實(shí)施方式
如背景技術(shù)所述,現(xiàn)有的雙目相機(jī),其主芯片需要同時(shí)處理兩路視頻信號,在現(xiàn)有技術(shù)中往往需要在主芯片上同時(shí)設(shè)置兩套完整的信號處理模塊(ISP模塊、視頻處理模塊等)才能滿足上述處理需求。因此,在現(xiàn)有技術(shù)中通常需要給雙目相機(jī)配備一張高性能的主芯片。一方面,現(xiàn)在市場上滿足雙目相機(jī)需要同時(shí)處理兩路視頻信號的處理需求的主芯片較少,限制了雙目相機(jī)的推廣;另一方面,高性能的主芯片價(jià)格高昂,無疑增加了雙目相機(jī)的制造成本。
此外,現(xiàn)有雙目相機(jī)的主芯片,限于其視頻接口的局限性,往往只能接入并行數(shù)據(jù),而現(xiàn)在大多數(shù)的圖像傳感器輸出的信號為差分?jǐn)?shù)據(jù),例如MIPI信號等,這使得現(xiàn)有的雙目相機(jī)與大多數(shù)的圖像傳感器不適配,這嚴(yán)重制約了雙目相機(jī)的推廣。
因此,為了降低雙目相機(jī)對主芯片性能的需求,以及增大雙目相機(jī)的適配范圍,本申請?zhí)岢鲆环N視頻信號處理方法。在雙目相機(jī)中配置邏輯芯片,首先,邏輯芯片將接收到的第一輸入視頻信號和第二輸入視頻信號的格式轉(zhuǎn)換為并行數(shù)據(jù)格式,以滿足主芯片的格式需求;其次邏輯芯片在將第一輸入視頻信號和第二輸入視頻信號和并為混合視頻信號后,發(fā)送給主芯片;最后主芯片在對混合視頻信號進(jìn)行處理后,生成第一輸出視頻信號和第二輸出視頻信號。由于具體轉(zhuǎn)換數(shù)據(jù)格式的功能,因此能夠適用于大多數(shù)的圖像傳感器。并且通過本申請的方法,主芯片只需處理合并后的混合視頻信號,此時(shí)只需要在主芯片內(nèi)配置一套完整的信號處理模塊(ISP模塊、視頻處理模塊等)就能完成上述處理需求。因此,降低了雙目相機(jī)對主芯片的性能需求。
如圖1所示為本申請?zhí)岢龅囊环N視頻信號處理方法的流程示意圖,需要說明的是,本申請應(yīng)用于包含有邏輯芯片和主芯片的雙目相機(jī)中,具體的該方法至少包括以下步驟:
S101,邏輯芯片將轉(zhuǎn)換格式為并行數(shù)據(jù)格式的第一輸入視頻信號和第二輸入視頻信號合并為混合視頻信號。
現(xiàn)有雙目相機(jī)的主芯片,限于其視頻接口的局限性,往往只能接入并行數(shù)據(jù)。然而對于圖像傳感器而言,其輸出的數(shù)據(jù)類型則不限于是并行數(shù)據(jù)。目前有相當(dāng)一部分的圖像傳感器輸出的視頻信號為MIPI信號,屬于差分?jǐn)?shù)據(jù)。此類差分?jǐn)?shù)據(jù)信號并不適配于雙目相機(jī)的主芯片。因此上述主芯片的局限性極大地降低了雙目相機(jī)的適配范圍,不利于雙目相機(jī)在市場上的推廣。
因此,在本申請的優(yōu)選實(shí)施例中,為了克服上述雙目相機(jī)在使用過程中的局限性,在本申請的實(shí)施例中,邏輯芯片在接收到第一視頻信號和第二視頻信號時(shí),首先將第一視頻信號和第二視頻信號的數(shù)據(jù)格式轉(zhuǎn)換為并行數(shù)據(jù)格式。此后在將轉(zhuǎn)換格式后的視頻信號發(fā)送給主芯片。因此通過本申請的方法,可以將原本不適配于主芯片的視頻信號轉(zhuǎn)換為與主芯片適配的視頻信號。
通過上述對視頻信號的格式進(jìn)行轉(zhuǎn)換的方法,邏輯芯片在接收到第一輸入視頻信號和第二輸入視頻信號時(shí),分別將上述兩種視頻信號的格式轉(zhuǎn)換為并行數(shù)據(jù)格式,這保證了輸入主芯片的接收到的視頻信號能夠與自身適配。由于具備信號格式轉(zhuǎn)換功能,可以將原本與主芯片不適配的視頻信號轉(zhuǎn)換成為與主芯片適配的視頻信號。因此,通過本申請的方法,增大了雙目相機(jī)的適配范圍,便于雙目相機(jī)在市場上推廣。
在本申請的實(shí)施例中,邏輯芯片接收到的第一輸入視頻信號與第二輸入視頻信號的幀頻相同。
對雙目相機(jī)而言,其兩個(gè)圖像傳感器往往是相同的。因此分別由兩個(gè)圖像傳感器輸出的第一輸入視頻信號與第二輸入視頻信號的幀頻相同。
在本申請的實(shí)施例中,為了減少主芯片所需的信號處理量,在接收到第一輸入視頻信號和第二輸入視頻信號時(shí),邏輯芯片并不是直接將兩路視頻信號發(fā)送給主芯片,而是在對第一輸入視頻信號和第二輸入視頻信號進(jìn)行處理,將其合并為混合視頻信號后,再將合并后得到的混合視頻信號發(fā)送給主芯片。
同時(shí)為了能夠使兩路視頻信號能夠均勻的發(fā)送出去,在混合視頻信號中,第一輸入視頻信號與第二輸入視頻信號交替出現(xiàn)。具體的,混合視頻信號的奇數(shù)幀由第一輸入視頻信號組成,混合視頻信號的偶數(shù)幀由第二輸入視頻信號組成。通過上述混合視頻信號的構(gòu)造方法,可以使得第一輸入視頻信號與第二輸入視頻信號均勻的發(fā)送給主芯片,保證了兩路視頻信號運(yùn)輸?shù)姆€(wěn)定性。
通過上述將第一輸入視頻信號和第二輸入視頻信號合并為混合視頻信號的方法,主芯片只需對單一的混合視頻信號進(jìn)行處理,因此只需在主芯片內(nèi)設(shè)置一套完整的信號處理模塊即可完成上述的處理需求??梢姡捎谛盘柼幚砹康慕档?,雙目相機(jī)對主芯片的性能需求也降低了?,F(xiàn)有的主芯片,一般都能夠滿足對單一信號處理的需求。因此,通過本申請的方法,可以將大多數(shù)的主芯片應(yīng)用到雙目相機(jī)當(dāng)中,降低了雙目相機(jī)的制造門檻。同時(shí),還能降低雙目相機(jī)的制造成本。
在本申請的優(yōu)選實(shí)施例中,上述步驟S102可以具體通過以下步驟來實(shí)現(xiàn):
(1)判斷第一輸入視頻信號和/或所述第二輸入視頻信號的場同步信號當(dāng)前的信號周期是否為奇數(shù)周期。
需要說明的是,在本申請中,雙目相機(jī)的兩個(gè)圖像傳感器發(fā)送的第一輸入視頻信號與第二輸入視頻信號是同時(shí)到達(dá)邏輯芯片的。并且第一輸入視頻信號與第二輸入視頻信號的幀頻相同。因此,在本申請中,第一輸入視頻信號與第二輸入視頻信號的各幀圖像在時(shí)間上是一一對應(yīng)的。
在輸入視頻信號中,一般會(huì)包含有,視頻數(shù)據(jù)信號(data)、像素參考時(shí)鐘(pix_clk)、行同步信號(HS)、場同步信號(VS)等信號。在上述信號中,場同步信號的變化規(guī)律最為明顯,因此在本申請的優(yōu)選實(shí)施例中,挑選場同步信號做為時(shí)間上的參考基準(zhǔn)。
并且,通過判斷第一輸入視頻信號和/或所述第二輸入視頻信號的場同步信號當(dāng)前的信號周期是否為奇數(shù)周期,來判斷當(dāng)前接收的第一輸入視頻信號與第二輸入視頻信號是奇數(shù)幀還是偶數(shù)幀。
(2)若判斷結(jié)果為是,則在所述信號周期內(nèi)向所述主芯片發(fā)送所述第一輸入視頻信號。
如果判斷得到當(dāng)前第一輸入視頻信號和/或所述第二輸入視頻信號的場同步信號的周期為奇數(shù)周期,則說明當(dāng)前接收的第一輸入視頻信號與第二輸入視頻信號是奇數(shù)幀。因此,邏輯芯片在該信號周期的時(shí)間內(nèi)向主芯片發(fā)送第一輸入視頻信號。
(3)若判斷結(jié)果為否,則在所述信號周期內(nèi)向所述主芯片發(fā)送所述第二輸入視頻信號。
如果判斷得到當(dāng)前第一輸入視頻信號和/或第二輸入視頻信號的場同步信號的周期為偶數(shù)周期,則說明當(dāng)前接收的第一輸入視頻信號與第二輸入視頻信號是偶數(shù)幀。因此,邏輯芯片在該信號周期的時(shí)間內(nèi)向主芯片發(fā)送第二輸入視頻信號。
通過上述優(yōu)選的方法,可以將第一視頻信號的奇數(shù)幀與第二視頻信號的偶數(shù)幀交替的發(fā)送給主芯片??梢?,主芯片接收到的混合視頻信號的奇數(shù)幀由第一輸入視頻信號組成,偶數(shù)幀由第二輸入視頻信號組成。并且混合視頻信號的幀頻與第一輸入視頻信號以及第二輸入視頻信號的幀頻相同。之后,主芯片在對混合視頻信號進(jìn)行處理,生成的第一輸出視頻信號與第二輸出視頻信號的幀頻剛好為原先第一輸入視頻信號以及第二輸入視頻信號幀頻的一半。
在本申請的優(yōu)選實(shí)施例中,如何判斷第一輸入視頻信號和/或所述第二輸入視頻信號的場同步信號當(dāng)前的信號周期是否為奇數(shù)周期,可以具體通過以下方法來判斷:
(1)判斷場同步信號的上升沿是否到來。
對于場同步信號,其信號的上升沿代表其周期的開始,因此可以通過查看場同步信號上升沿是否到來,來判斷新的周期是否開始。
(2)若判斷結(jié)果為否,則保持當(dāng)前周期的奇偶性不變。
若判斷結(jié)果為新的上升沿還未到來,則說明新的周期還未開始,此時(shí)不需要改變當(dāng)前周期的奇偶性。
(3)若判斷結(jié)果為是,則改變當(dāng)前周期的奇偶性。
若判斷結(jié)果為新的上升沿已經(jīng)到來,則說明新的周期已經(jīng)開始,此時(shí)則需要改變當(dāng)前周期的奇偶性。
通過上述方法,由場同步信號的上升沿作為周期開始的依據(jù),因此可以準(zhǔn)確地判斷新的周期是否到來,進(jìn)而判斷是否需要更改當(dāng)前周期的奇偶性。若奇偶性改變,則說明需要在新的周期內(nèi)向主芯片發(fā)送另一個(gè)視頻信號。
由上所述可知,通過上述的方法,生成的混合視頻信號的幀頻與第一輸入視頻信號以及第二輸入視頻信號的幀頻相同,進(jìn)而主芯片在對混合視頻信號進(jìn)行處理,生成的第一輸出視頻信號與第二輸出視頻信號的幀頻剛好為原先第一輸入視頻信號以及第二輸入視頻信號幀頻的一半。由于幀頻的降低,將會(huì)使得輸出視頻信號質(zhì)量的下降。
因此,在本申請的優(yōu)選實(shí)施例中,為了保證輸出視頻信號的信號質(zhì)量,在雙目相機(jī)中配置內(nèi)存芯片。內(nèi)存芯片用于儲(chǔ)存視頻信號。此時(shí),上述步驟S101可以具體通過以下步驟來實(shí)現(xiàn):
(1)在第一輸入視頻信號和第二輸入視頻信號的同一信號周期內(nèi),向主芯片發(fā)送第一輸入視頻信號,并同時(shí)緩存該信號周期對應(yīng)的第二輸入視頻信號。
為了保證輸出視頻信號的信號質(zhì)量,需要將完整的第一輸入視頻信號和第二輸入視頻信號發(fā)送給主芯片,因此本申請的優(yōu)選實(shí)施例中,在第一輸入視頻信號和第二輸入視頻信號的同一信號周期內(nèi),先向主芯片發(fā)送第一輸入視頻信號,并且將第二輸入視頻信號儲(chǔ)存在內(nèi)存芯片上。
(2)在將上述信號周期內(nèi)的第一輸入視頻信號發(fā)送完畢后,提取上述信號周期對應(yīng)的第二輸入視頻信號,并發(fā)送給主芯片。
在發(fā)送完畢第一輸入視頻信號后,從內(nèi)存芯片中將該信號周期的第二輸入視頻信號提取出來,發(fā)送給主芯片。
可見,通過上述方法獲得的混合視頻信號,其奇數(shù)幀同樣是由第一輸入視頻信號組成,偶數(shù)幀同樣是由第二輸入視頻信號組成。但是,其幀頻卻是第一輸入視頻信號和第二輸入視頻信號的幀頻之和??梢姡ㄟ^上述的合并方法,第一輸入視頻信號和第二輸入視頻信號并未有損失。因此,在主芯片在對混合視頻信號進(jìn)行處理,生成的第一輸出視頻信號與第二輸出視頻信號的幀頻剛好與原先的第一輸入視頻信號以及第二輸入視頻信號的幀頻相同。由于前后的幀頻沒有改變,因此輸出視頻信號的質(zhì)量不會(huì)下降。
由上所述可知,通過將第一輸入視頻信號和第二輸入視頻信號合并為混合視頻信號的方法,主芯片只需對單一的混合視頻信號進(jìn)行處理,因此只需在主芯片內(nèi)設(shè)置一套完整的信號處理模塊即可完成上述的處理需求??梢?,由于信號處理量的降低,雙目相機(jī)對主芯片的性能需求也降低了?,F(xiàn)有的主芯片,一般都能夠滿足對單一信號處理的需求。因此,通過本申請的方法,可以將大多數(shù)的主芯片應(yīng)用到雙目相機(jī)當(dāng)中,降低了雙目相機(jī)的制造門檻。同時(shí),還能降低雙目相機(jī)的制造成本。
此外,需要說明的是,上述提到的兩種將第一輸入視頻信號和第二視頻輸入信號合并為混合視頻信號的方法,只是本申請?zhí)岢龅膬?yōu)選方案,基于本申請的思想,本領(lǐng)域技術(shù)人員可以采用其他合并的方法,這并不會(huì)影響本申請的保護(hù)范圍。
S102,邏輯芯片將混合視頻信號發(fā)送給主芯片。
在本申請的實(shí)施例中,邏輯芯片在將第一輸入視頻信號和第二視頻輸入信號合并為混合視頻信號之后,再將合并得到的混合視頻信號發(fā)送給主芯片。混合視頻信號在被主芯片處理后,將生成第一輸出視頻信號和第二輸出視頻信號,供用戶使用。
可見,通過本申請的方法,主芯片只需對單一的混合視頻信號進(jìn)行處理,因此只需在主芯片內(nèi)設(shè)置一套完整的信號處理模塊即可完成上述的處理需求。由于信號處理量的降低,雙目相機(jī)對主芯片的性能需求也降低了。現(xiàn)有的主芯片,一般都能夠滿足對單一信號處理的需求。因此,通過本申請的方法,可以將大多數(shù)的主芯片應(yīng)用到雙目相機(jī)當(dāng)中,降低了雙目相機(jī)的制造門檻。同時(shí),還能降低雙目相機(jī)的制造成本。
需要說明的是,主芯片在接收到混合視頻信號之后,提取混合視頻信號的奇數(shù)幀作為第一輸出視頻信號,提取混合視頻信號的偶數(shù)幀作為第二輸出視頻信號。因此在本申請的實(shí)施例中,第一輸出視頻信號與原先的第一輸入視頻信號相對應(yīng),第二輸出視頻信號與原先的第二輸入視頻信號相對應(yīng)。主芯片在對混合視頻信號處理完成后,將得到的第一輸出視頻信號與第二輸出視頻信號輸出,以備用戶使用。
由以上流程的描述可知,通過本申請的技術(shù)方案,在接收到第一輸入視頻信號和第二輸入視頻信號時(shí),邏輯芯片將第一輸入視頻信號和第二輸入視頻信號合并為混合視頻信號,并且混合視頻信號的奇數(shù)幀由第一輸入視頻信號組成,混合視頻信號的偶數(shù)幀由第二輸入視頻信號組成;進(jìn)一步地,主芯片對混合視頻信號進(jìn)行信號處理,輸出第一輸出視頻信號以及第二輸出視頻信號。由于在對第一輸入視頻信號和第二輸入視頻信號進(jìn)行合并之后,主芯片只需要處理合并后得到的混合視頻信號,從而只需要在主芯片內(nèi)配置一套完整的信號處理模塊(ISP模塊、視頻處理模塊等)就能滿足上述處理需求。因此,降低了雙目相機(jī)對主芯片的性能需求。
為了進(jìn)一步闡述本發(fā)明的技術(shù)思想,現(xiàn)結(jié)合具體的應(yīng)用場景,對本發(fā)明的技術(shù)方案進(jìn)行說明。
如圖2所示為本申請?zhí)岢龅囊环N雙目相機(jī)的結(jié)構(gòu)示意圖,由圖可知,本申請?zhí)岢龅碾p目相機(jī)主要包括:sensor(圖像傳感器)、CPLD(邏輯芯片)、主芯片。并且各部件的主要功能具體如下:
Sensor:負(fù)責(zé)采集圖像信號,并通過視頻輸出接口發(fā)送出去。在本申請中對sensor的輸出數(shù)據(jù)接口類型和電氣特性沒有特殊要求,可以適配任意視頻輸出口。
CPLD:主要由接口轉(zhuǎn)換模塊、數(shù)據(jù)拼接模塊和數(shù)據(jù)輸出模塊組成,主要負(fù)責(zé)視頻信號的接口轉(zhuǎn)換和兩路視頻流的數(shù)據(jù)拼接,最終輸出一路混合視頻流,這一路混合視頻流中包含了兩路視頻信號。
主芯片:主要通過視頻輸入接口收到混合視頻信號,經(jīng)過一系列的圖像、視頻處理和編解碼過程之后,根據(jù)奇偶幀再區(qū)分出兩路視頻流,發(fā)送出去供客戶使用。
基于上述對雙目相機(jī)主要部件的介紹,如圖3所示為本申請?zhí)岢龅囊环N將第一輸入視頻信號和第二輸入視頻信號合并為混合視頻信號的示意圖。該實(shí)現(xiàn)方法具體如下:
CPLD的數(shù)據(jù)拼接模塊可以把兩路視頻流拼接為一路。CPLD同時(shí)接收到sensor1和sensor2兩路視頻流,各自經(jīng)過接口轉(zhuǎn)換模塊后輸入到拼接模塊。如圖3所示可知,根據(jù)兩路視頻的場信號上升沿變化,混合視頻信號的第一幀采集sensor1的第一幀圖像:S1_V1,同時(shí)丟掉sensor2的第一幀圖像S2_V1;混合視頻信號第二幀采集sensor2圖像S2_V2,同時(shí)丟掉的sensor1圖像S1_V2……以此類推,最終的混合視頻信號一半為sensor1的圖像,一半為sensor2的圖像,幀率與sensor1和sensor2幀率相同。該方案的優(yōu)點(diǎn)為實(shí)現(xiàn)簡單,但是最終發(fā)送給主芯片的視頻信號幀率會(huì)降低一半。
基于以上描述,上述方案的具體的流程圖如下圖4所示,該方案包括以下步驟:
S401,接收sensor1和sensor2輸出的兩路視頻信號;
S402,經(jīng)過接口轉(zhuǎn)換模塊將視頻信號轉(zhuǎn)換為并行數(shù)據(jù);
S403,判斷場同步信號的上升沿是否到來;
S404,若是,奇偶標(biāo)志位加1;
S405,若否,保持奇偶標(biāo)志位不變;
S406,判斷是否為奇數(shù)幀;
S407,若是,向主芯片輸出sensor1的圖像;
S408,若否,向主芯片輸出sensor2的圖像。
此外,如圖5所示為本申請?zhí)岢龅膶⒌谝惠斎胍曨l信號和第二輸入視頻信號合并為混合視頻信號的另一種方案的示意圖。該實(shí)現(xiàn)方法具體如下:
混合視頻信號的第一幀采集sensor1的第一幀S1_V1,同時(shí)將sensor2的第一幀S2_V1存儲(chǔ)到內(nèi)存中;S1_V1發(fā)送完成后,從內(nèi)存中取出S2_V1作為混合視頻信號的第二幀發(fā)送出去,以此類推。可見,最終的混合視頻信號一半為sensor1的圖像,一半為sensor2的圖像,幀率為兩者幀率之和。該方案可以把接收到的視頻信號全部輸出,但是通常CPLD自身的內(nèi)存不足以存放一幀圖片,需要外接一片內(nèi)存芯片。
由以上具體實(shí)施方式的描述可知,通過本申請的技術(shù)方案,在將第一輸入視頻信號和第二輸入視頻信號的格式轉(zhuǎn)換為并行數(shù)據(jù)格式之后,邏輯芯片將第一輸入視頻信號和第二輸入視頻信號合并為混合視頻信號,并且混合視頻信號的奇數(shù)幀由第一輸入視頻信號組成,混合視頻信號的偶數(shù)幀由第二輸入視頻信號組成;進(jìn)一步地,主芯片對混合視頻信號進(jìn)行處理,輸出第一輸出視頻信號以及第二輸出視頻信號。由于能夠?qū)⒉煌男盘柛袷睫D(zhuǎn)換為主芯片適配的并行數(shù)據(jù)格式,因此拓寬了雙目相機(jī)的適配范圍,其次,在對第一輸入視頻信號和第二輸入視頻信號進(jìn)行合并之后,主芯片只需要處理合并后得到的混合視頻信號,從而降低了雙目相機(jī)對主芯片的性能需求。
為了達(dá)到以上技術(shù)目的,本申請?zhí)岢鲆环N雙目相機(jī),包含有主芯片610以及邏輯芯片620,所述邏輯芯片包括,
數(shù)據(jù)拼接模塊621,將轉(zhuǎn)換格式為并行數(shù)據(jù)格式的第一輸入視頻信號和第二輸入視頻信號合并為混合視頻信號,所述混合視頻信號的奇數(shù)幀由所述第一輸入視頻信號組成,所述混合視頻信號的偶數(shù)幀由所述第二輸入視頻信號組成;
數(shù)據(jù)輸出模塊622,將所述混合視頻信號發(fā)送給所述主芯片,所述混合視頻信號在被所述主芯片處理后生成第一輸出視頻信號和第二輸出視頻信號。
在具體的應(yīng)用場景中,所述數(shù)據(jù)拼接模塊具體用于:
判斷所述第一輸入視頻信號和/或所述第二輸入視頻信號的場同步信號當(dāng)前的信號周期是否為奇數(shù)周期;
在判斷結(jié)果為是時(shí),在所述信號周期內(nèi)向所述主芯片發(fā)送所述第一輸入視頻信號;
在判斷結(jié)果為否時(shí),在所述信號周期內(nèi)向所述主芯片發(fā)送所述第二輸入視頻信號。
在具體的應(yīng)用場景中,所述數(shù)據(jù)拼接模塊進(jìn)一步用于:
判斷所述場同步信號的上升沿是否到來;
在判斷結(jié)果為否時(shí),保持當(dāng)前周期的奇偶性不變;
在判斷結(jié)果為是時(shí),改變當(dāng)前周期的奇偶性。
在具體的應(yīng)用場景中,所述數(shù)據(jù)拼接模塊具體用于:
在所述第一輸入視頻信號和所述第二輸入視頻信號的同一信號周期內(nèi),向所述主芯片發(fā)送所述第一輸入視頻信號,并同時(shí)緩存所述信號周期對應(yīng)的所述第二輸入視頻信號;
在將所述信號周期內(nèi)的所述第一輸入視頻信號發(fā)送完畢后,提取所述信號周期對應(yīng)的第二輸入視頻信號,并發(fā)送給所述主芯片;
在具體的應(yīng)用場景中,還包括:
接口轉(zhuǎn)換模塊,將所述第一輸入視頻信號和所述第二輸入視頻信號的格式轉(zhuǎn)換為并行數(shù)據(jù)格式。
由以上對具體設(shè)備的描述可知,通過本申請的技術(shù)方案,在接收到第一輸入視頻信號和第二輸入視頻信號時(shí),邏輯芯片將第一輸入視頻信號和第二輸入視頻信號合并為混合視頻信號,并且混合視頻信號的奇數(shù)幀由第一輸入視頻信號組成,混合視頻信號的偶數(shù)幀由第二輸入視頻信號組成;進(jìn)一步地,主芯片對混合視頻信號進(jìn)行信號處理,輸出第一輸出視頻信號以及第二輸出視頻信號。由于在對第一輸入視頻信號和第二輸入視頻信號進(jìn)行合并之后,主芯片只需要處理合并后得到的混合視頻信號,從而只需要在主芯片內(nèi)配置一套完整的信號處理模塊(ISP模塊、視頻處理模塊等)就能滿足上述處理需求。因此,降低了雙目相機(jī)對主芯片的性能需求。
通過以上的實(shí)施方式的描述,本領(lǐng)域的技術(shù)人員可以清楚地了解到本發(fā)明可以通過硬件實(shí)現(xiàn),也可以借助軟件加必要的通用硬件平臺的方式來實(shí)現(xiàn)?;谶@樣的理解,本發(fā)明的技術(shù)方案可以以軟件產(chǎn)品的形式體現(xiàn)出來,該軟件產(chǎn)品可以存儲(chǔ)在一個(gè)非易失性存儲(chǔ)介質(zhì)(可以是CD-ROM,U盤,移動(dòng)硬盤等)中,包括若干指令用以使得一臺計(jì)算機(jī)設(shè)備(可以是個(gè)人計(jì)算機(jī),服務(wù)器,或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個(gè)實(shí)施場景所述的方法。
本領(lǐng)域技術(shù)人員可以理解附圖只是一個(gè)優(yōu)選實(shí)施場景的示意圖,附圖中的模塊或流程并不一定是實(shí)施本發(fā)明所必須的。
本領(lǐng)域技術(shù)人員可以理解實(shí)施場景中的裝置中的模塊可以按照實(shí)施場景描述進(jìn)行分布于實(shí)施場景的裝置中,也可以進(jìn)行相應(yīng)變化位于不同于本實(shí)施場景的一個(gè)或多個(gè)裝置中。上述實(shí)施場景的模塊可以合并為一個(gè)模塊,也可以進(jìn)一步拆分成多個(gè)子模塊。
上述本發(fā)明序號僅僅為了描述,不代表實(shí)施場景的優(yōu)劣。
以上公開的僅為本發(fā)明的幾個(gè)具體實(shí)施場景,但是,本發(fā)明并非局限于此,任何本領(lǐng)域的技術(shù)人員能思之的變化都應(yīng)落入本發(fā)明的保護(hù)范圍。