本發(fā)明涉及攝像頭控制，具體涉及一種基于模糊控制和動態(tài)同步的多目攝像頭運(yùn)動捕捉方法；該方法基于模糊控制技術(shù)和動態(tài)同步算法，主要應(yīng)用于視頻監(jiān)控、運(yùn)動分析、虛擬現(xiàn)實以及增強(qiáng)現(xiàn)實等需要高精度、多視角捕捉運(yùn)動物體的領(lǐng)域。

背景技術(shù)：

1、由于在多攝像頭環(huán)境下攝像頭存在對焦的問題，采用傳統(tǒng)的對焦方式存在反應(yīng)速度慢，對移動物體的對焦不準(zhǔn)，不能及時有效的捕捉有效的運(yùn)動圖像；另外在多攝像頭的時間對齊方面存在時鐘誤差，不能達(dá)到對多攝像頭的精度、穩(wěn)度的控制；急需一種能夠使用多目攝像頭對運(yùn)動物體的有效捕捉和提高控制精度和穩(wěn)度的方法。

2、例如一中國專利，申請?zhí)枮?02020835422.1，申請日為2020.05.18，專利名稱為《一種目標(biāo)跟蹤控制攝像系統(tǒng)》的實用新型專利，其技術(shù)方案為：一種目標(biāo)跟蹤控制攝像系統(tǒng)，其特征在于：包括用于攝像的攝像模組，以及用于調(diào)整所述攝像模組角度的伺服云臺；所述攝像模組設(shè)于所述伺服云臺上；所述攝像模組包括攝像鏡頭、用于識別處理圖像的圖像處理模塊和用于控制；所述攝像鏡頭跟蹤目標(biāo)的模糊控制器；所述攝像鏡頭、所述圖像處理模塊、所述模糊控制器和所述伺服云臺依次通訊連接；上述專利雖然能實現(xiàn)跟蹤攝像的功能。

3、但上述專利不能實現(xiàn)多個多目攝像頭實時同步，以及通過實時的信號質(zhì)量評估，提供穩(wěn)定脈沖信號，保證時間上同步的可靠性。

技術(shù)實現(xiàn)思路

1、為了解決現(xiàn)有技術(shù)中存在的問題，本發(fā)明的目的在于提供多個多目攝像頭高精度同步捕捉運(yùn)動的人或物體的一種基于模糊控制和動態(tài)同步的多目攝像頭運(yùn)動捕捉方法。

2、為實現(xiàn)上述技術(shù)效果，本技術(shù)的技術(shù)方案如下：

3、一種基于模糊控制和動態(tài)同步的多目攝像頭運(yùn)動捕捉方法，包括如下步驟：

4、步驟一：計算出多個多目攝像頭的最遠(yuǎn)識別距離，將多個多目攝像頭放置在需要捕捉的運(yùn)動物體或人的最遠(yuǎn)識別距離之內(nèi)；

5、步驟二：當(dāng)物體或人開始運(yùn)動，多目攝像頭捕捉到運(yùn)動物體或人的運(yùn)動圖像，將圖像上傳給模糊控制系統(tǒng)，由模糊控制系統(tǒng)根據(jù)對目標(biāo)物體跟蹤的位置偏差e和跟蹤目標(biāo)物體的速度偏差δe，計算得到俯仰角調(diào)整值δθ、水平轉(zhuǎn)動角度調(diào)整值δφ和上下移動距離調(diào)整值δd，多目攝像頭內(nèi)安裝的控制器根據(jù)模糊控制系統(tǒng)的所計算出的俯仰角調(diào)整值δθ、水平轉(zhuǎn)動角度調(diào)整值δφ和上下移動距離調(diào)整值δd，調(diào)整跟蹤移動目標(biāo)的位置和速度，使其跟蹤目標(biāo)物體；

6、步驟三：根據(jù)移動目標(biāo)的位置和速度，計算出跟蹤移動目標(biāo)的跟蹤誤差，再將誤差傳輸?shù)侥：刂葡到y(tǒng)，由模糊控制系統(tǒng)根據(jù)移動目標(biāo)的跟蹤誤差et和誤差變化率ec，調(diào)整攝像頭的俯仰角調(diào)整值δθ、水平轉(zhuǎn)動角度調(diào)整值δφ和上下移動距離調(diào)整值δd，從而再次調(diào)整跟蹤移動目標(biāo)的位置和速度，使其跟蹤目標(biāo)物體。

7、進(jìn)一步的，計算捕捉運(yùn)動物體或人的最遠(yuǎn)識別距離d，具體公式如下：

8、

9、式中，dmax是最大識別距離，f是鏡頭焦距，h是物體高度，p是像素大小。

10、進(jìn)一步的，計算捕捉運(yùn)動的人或物體的最遠(yuǎn)識別距離d，包括以下步驟：

11、步驟a：獲取最小識別距離d1；

12、步驟b：獲取最大靶面寬度l2；

13、步驟c：獲取單像素分辨率δ；

14、步驟d：根據(jù)求得的最小識別距離d1、最大靶面寬度l2和單像素分辨率δ，得到最遠(yuǎn)識別距離d；

15、所述步驟a中，獲取最小識別距離d1的具體公式為：

16、

17、式中，l1為相機(jī)靶面寬度，θ為鏡頭發(fā)散角度；

18、所述步驟b中，獲取最大靶面寬度l2的具體公式為：

19、

20、式中，l1為相機(jī)靶面寬度，d1為最小識別距離，l2為最大靶面寬度，d2為增量距離；

21、所述步驟c中，計算求得單像素分辨率δ的具體公式為：

22、

23、式中，r為攝像頭水平分辨率，l2為最大靶面寬度；

24、所述步驟d中計算求得最遠(yuǎn)識別距離d的具體公式為：

25、

26、式中，l1為攝像頭靶面寬度，θ為鏡頭發(fā)散角度，p為最小識別像素，l人為人臉橫向尺寸，r為攝像頭水平分辨率。

27、進(jìn)一步的，計算出步驟二中的俯仰角調(diào)整值δθ、水平轉(zhuǎn)動角度調(diào)整值δφ和上下移動距離調(diào)整值δd的具體步驟如下：

28、步驟a：將目標(biāo)物體的位置偏差e和目標(biāo)物體的速度偏差δe進(jìn)行模糊化處理，將精確的輸入值轉(zhuǎn)換為模糊值，基于模糊規(guī)則進(jìn)行模糊推理，計算模糊輸出值；

29、步驟b：將計算出的模糊輸出值解模糊化轉(zhuǎn)換為精確的俯仰角調(diào)整值δθ、水平轉(zhuǎn)動角度調(diào)整值δφ和上下移動距離調(diào)整值δd；

30、所述步驟a中，模糊化處理的過程為將目標(biāo)物體的位置偏差e和目標(biāo)物體的速度偏差δe，根據(jù)隸屬度函數(shù)得到不同模糊集合的隸屬度值，其中模糊集合包括：負(fù)大(nb)、負(fù)中(nm)、負(fù)小(ns)、零(ze)、正小(ps)、正中(pm)、正大(pb)；

31、步驟二中模糊控制系統(tǒng)將計算出的俯仰角調(diào)整值δθ、水平轉(zhuǎn)動角度調(diào)整值δφ和上下移動距離調(diào)整值δd轉(zhuǎn)換為脈沖信號，脈沖信號用于向攝像頭傳遞信號，調(diào)整攝像頭的方向和焦距；攝像頭內(nèi)的控制器接收脈沖信號后，將攝像頭執(zhí)行相應(yīng)的調(diào)整，每個脈沖信號對應(yīng)一個步進(jìn)，累積這些步進(jìn)角度調(diào)整攝像頭的視角和焦距；所述控制器為步進(jìn)電機(jī)，攝像頭接收到脈沖信號后，步進(jìn)電機(jī)會根據(jù)信號頻率、信號數(shù)量和信號強(qiáng)度控制攝像頭旋轉(zhuǎn)相應(yīng)的角度，以及改變攝像頭的朝向或焦距；信號強(qiáng)度，用于控制步進(jìn)電機(jī)的轉(zhuǎn)動力度，防止過轉(zhuǎn)或轉(zhuǎn)動不足；脈沖信號包含控制信息和同步標(biāo)識，控制信息內(nèi)容包括時間戳信息，用于記錄脈沖信號的生成時間，確保多攝像頭之間的同步性；同步標(biāo)識用于確保各攝像頭在相同時間點(diǎn)進(jìn)行調(diào)整，保證捕捉動作的一致性；脈沖信號采用安裝在每個攝像頭內(nèi)的北斗芯片或gps芯片上的脈沖高穩(wěn)同步時鐘源發(fā)送，為多個多目攝像頭提供統(tǒng)一的同步時鐘信號。

32、進(jìn)一步的，將得到俯仰角調(diào)整值δθ、水平轉(zhuǎn)動角度調(diào)整值δφ和上下移動距離調(diào)整值δd用于調(diào)整優(yōu)化攝像頭的跟蹤，再將通過優(yōu)化的攝像頭需要移動的位置與實際位置進(jìn)行比較，得到模糊控制系統(tǒng)的跟蹤誤差et和誤差變化率ec，通過模糊控制系統(tǒng)調(diào)節(jié)俯仰角調(diào)整值δθ、水平轉(zhuǎn)動角度調(diào)整值δφ和上下移動距離調(diào)整值δd，在移動過程中對根據(jù)得到的實際要移動的位置，再次調(diào)整攝像頭跟蹤；

33、跟蹤誤差et采用移動目標(biāo)跟蹤算法計算，設(shè)目標(biāo)在時刻t的實際位置為pt，目標(biāo)在時刻t的預(yù)測位置為則跟蹤誤差et的具體公式如下：

34、

35、式中，pt為目標(biāo)在時刻t的實際位置向量，通常表示為三維坐標(biāo)(xt，yt，zt)；為目標(biāo)在時刻t的預(yù)測位置向量，通常表示為三維坐標(biāo)et為在時刻t的跟蹤誤差向量，表示為(ex，ey，ez)，其中：式中ex為目標(biāo)在x軸的跟蹤誤差，ey為目標(biāo)在y軸的跟蹤誤差，ez為目標(biāo)在z軸的跟蹤誤差，xt為目標(biāo)在t時刻x軸上的實際位置，yt為目標(biāo)在t時刻y軸上的實際位置，zt為目標(biāo)在t時刻z軸上的實際位置，為目標(biāo)在t時刻x軸上的預(yù)測位置，為目標(biāo)在t時刻y軸上的預(yù)測位置，為目標(biāo)在t時刻z軸上的預(yù)測位置；

36、從多個多目攝像頭的捕捉圖像中，通過圖像處理算法獲取目標(biāo)的實際位置pt＝(xt，yt，zt)，基于目標(biāo)的前期運(yùn)動軌跡及速度信息，使用動態(tài)模型預(yù)測目標(biāo)在時刻t的位置預(yù)測實現(xiàn)的具體公式如下：

37、

38、式中，pt-1為目標(biāo)在時刻t-1的實際位置，vt-1為目標(biāo)在時刻t-1的速度向量，表示為(vx，vy，vz)，δt為時間間隔t-(t-1)；

39、誤差變化率ec是跟蹤誤差et隨時間的變化率，具體公式如下：

40、

41、式中，ec表示誤差變化的快慢，根據(jù)跟蹤誤差et的大小和誤差變化率ec的變化方向來調(diào)整俯仰角調(diào)整值δθ、水平轉(zhuǎn)動角度調(diào)整值δφ和上下移動距離調(diào)整值δd的大小。

42、更進(jìn)一步的，脈沖高穩(wěn)同步時鐘源分別接收北斗和gps發(fā)送的脈沖源，計算接收北斗和gps發(fā)送的脈沖源在同樣時間內(nèi)計數(shù)值的均值和方差，比較北斗和gps發(fā)送的脈沖源的方差，通過信號質(zhì)量評估算法評估北斗和gps信號的質(zhì)量，調(diào)整芯片的輸出時間信息，找出最優(yōu)的脈沖源輔助進(jìn)行信號源的切換，輸出脈沖信號；脈沖高穩(wěn)同步時鐘源通過無線方式將脈沖信號發(fā)送至多個多目攝像頭，多個多目攝像頭內(nèi)部設(shè)有信號轉(zhuǎn)換模塊，將脈沖信號轉(zhuǎn)換為步進(jìn)電機(jī)的控制指令，控制指令控制步進(jìn)電機(jī)的轉(zhuǎn)動方向、速度以及轉(zhuǎn)動角度；脈沖信號通過信號質(zhì)量評估算法確定生成脈沖信號的時間，當(dāng)信號質(zhì)量q超過設(shè)定的閾值，則生成脈沖信號。

43、更進(jìn)一步的，脈沖信號生成后，首先收集同步周期內(nèi)收到的本地時間戳和遠(yuǎn)程時間戳，通過時間戳同步算法，計算時間偏移量δt，最后調(diào)整每幀接收到的原始時間戳treceived，為每幀調(diào)整后的時間戳tadjusted，確保時間對齊使攝像頭捕獲的幀在時間上對齊，完成多個多目攝像頭同步實時跟蹤捕捉運(yùn)動物體；

44、收集同步周期內(nèi)收到的本地時間戳和遠(yuǎn)程時間戳，通過時間戳同步算法計算時間偏移量δt，使各攝像頭捕獲的幀在時間上對齊的具體公式如下：

45、tadjusted＝treceived+δt

46、式中，tadjusted為調(diào)整后的時間戳，確保時間對齊；treceived為接收到的原始時間戳；δt為時間偏移量；

47、時間偏移量的具體求解公式如下：

48、

49、式中，tlocal，i為第i次接收到的本地時間戳；treceived，i為第i次接收到的遠(yuǎn)程時間戳，n為噪聲強(qiáng)度。

50、更進(jìn)一步的，所述信號質(zhì)量評估算法為評估北斗及gps信號的質(zhì)量，根據(jù)信號質(zhì)量q提供脈沖信號，信號質(zhì)量評估算法的具體公式如下：

51、q＝α×snr+β×ss-γ×mp

52、式中，q為信號質(zhì)量評價值，用于判斷信號的好壞，值越大表示信號質(zhì)量越好；α為信噪比的權(quán)重系數(shù)，取值范圍通常在0到1之間，用來調(diào)整信噪比對整體信號質(zhì)量的影響程度；β為信號強(qiáng)度的權(quán)重系數(shù)，取值范圍通常在0到1之間，用來調(diào)整信號強(qiáng)度對整體信號質(zhì)量的影響程度；γ為多路徑干擾的權(quán)重系數(shù)，取值范圍通常在0到1之間，用來調(diào)整多路徑干擾對整體信號質(zhì)量的負(fù)面影響程度；ss為信號強(qiáng)度，表示接收信號的功率強(qiáng)度；mp為多路徑干擾系數(shù)，用于量化因多路徑效應(yīng)造成的信號干擾程度；snr為信噪比，表示信號的強(qiáng)度與噪聲的比值，通常使用分貝來表示，信噪比越高，信號質(zhì)量越好。

53、更進(jìn)一步的，求得信噪比snr的具體公式為：

54、

55、式中，psignal為信號功率，pnoise為噪聲功率；

56、測量信號從衛(wèi)星到達(dá)接收器的時間，用于確定信號傳輸路徑的長度，信號到達(dá)時間的具體公式為：

57、toa＝treceived-ttransmitted

58、式中，toa為信號到達(dá)時間，treceived為接收信號的時間，ttransmitted為發(fā)送信號的時間；

59、求得時鐘偏差，用于判斷接收器內(nèi)部時鐘與衛(wèi)星時鐘之間的差異，其具體公式為：

60、b＝treceiver-tsatellite

61、式中，b為時鐘偏差，treceiver為接收器時間，tsatellite為衛(wèi)星時間；

62、求出多路徑效應(yīng)度量，用于判斷經(jīng)過多條路徑到達(dá)接收器，導(dǎo)致信號的失真或延遲，其具體公式如下：

63、

64、式中，m為多路徑效應(yīng)度量，ai為第i條路徑的振幅，φi為第i條路徑的振幅，n為路徑數(shù)量；

65、求出信號延遲，用于判斷從衛(wèi)星發(fā)送到接收器接收到的時間延遲，其具體公式為：

66、

67、式中，l為信號延遲，d為信號傳輸距離，c為光速，δt為其他延遲因素；

68、根據(jù)上述求得的信噪比、信號到達(dá)時間、信號延遲、時鐘偏差和多路徑效應(yīng)度量的結(jié)果，判斷選擇北斗還是gps的信號源，從而輸出最優(yōu)的脈沖源。

69、更進(jìn)一步的，所述信號質(zhì)量評估算法為評估北斗及gps信號的質(zhì)量，根據(jù)信號質(zhì)量q提供脈沖信號，信號質(zhì)量評估算法的具體公式如下：

70、

71、式中，q為信號質(zhì)量，表示反映信號的可靠性；ss為信號強(qiáng)度，表示接收到的信號功率強(qiáng)度；n為噪聲強(qiáng)度，表示接收到的背景噪聲功率。

72、根據(jù)上述技術(shù)方案，本發(fā)明具有的有益效果為：

73、1.本發(fā)明通過信號質(zhì)量評估算法采用高質(zhì)量的時間信號源，提供了穩(wěn)定的脈沖信號，保證了時間同步的可靠性，并且采用時間戳的動態(tài)同步算法，通過計算時間偏移量對時間戳進(jìn)行動態(tài)調(diào)整，確保各攝像頭的時間對齊，提高捕捉精度。

74、2.本發(fā)明在多目攝像頭中同時部署北斗和gps芯片，增強(qiáng)系統(tǒng)的信號接收能力和抗干擾能力，提高時間同步的可靠性和準(zhǔn)確性，能夠有效解決多攝像頭系統(tǒng)中的時間同步問題，確保多攝像頭捕獲幀的時間對齊。