本申請(qǐng)屬于通信,具體涉及一種拍攝方法、裝置、電子設(shè)備及介質(zhì)。
背景技術(shù):
1、隨著手機(jī)等電子設(shè)備的普及和電子設(shè)備在拍攝上的便捷性,用戶越來越依賴使用電子設(shè)備進(jìn)行日常拍攝,隨之對(duì)拍攝功能的需求也在不斷增加。電子設(shè)備的拍攝效果和拍攝體驗(yàn),則是與其圖像系統(tǒng)的處理能力密切相關(guān)的,因此,如何提升圖像系統(tǒng)的處理能力變得尤為重要。
2、目前,電子設(shè)備主要基于應(yīng)用處理器(application?processor,ap)進(jìn)行開發(fā),圖像系統(tǒng)則需要依靠人工智能(artificial?intelligence,ai)圖像處理算法來提升拍攝后的圖像處理效果。而目前受限于ap平臺(tái)本身算力和系統(tǒng)功耗的限制,使得部分算力要求較高的ai圖像處理算法無法部署,最終影響圖像的整體處理效果。
技術(shù)實(shí)現(xiàn)思路
1、本申請(qǐng)實(shí)施例的目的是提供一種拍攝方法、裝置、電子設(shè)備及介質(zhì),能夠解決現(xiàn)有基于應(yīng)用處理器ap的拍攝處理方案的整體處理效果較差的問題。
2、第一方面,本申請(qǐng)實(shí)施例提供了一種拍攝方法,由電子設(shè)備執(zhí)行,所述電子設(shè)備包括圖像傳感器、前置圖像信號(hào)處理器isp和應(yīng)用處理器,所述圖像傳感器與所述前置isp連接,所述前置isp與所述應(yīng)用處理器連接;該方法包括:
3、在接收到拍攝指令的情況下,通過所述圖像傳感器采集原始圖像數(shù)據(jù);
4、通過所述前置isp采用人工智能ai圖像處理算法對(duì)所述原始圖像數(shù)據(jù)進(jìn)行第一圖像處理,得到第一圖像數(shù)據(jù);
5、通過所述應(yīng)用處理器對(duì)所述第一圖像數(shù)據(jù)進(jìn)行第二圖像處理,輸出目標(biāo)圖像數(shù)據(jù)。
6、第二方面,本申請(qǐng)實(shí)施例提供了一種電子設(shè)備,包括:n個(gè)圖像傳感器、選擇模塊、前置圖像信號(hào)處理器isp和應(yīng)用處理器,所述圖像傳感器與所述前置isp連接,所述前置isp與所述應(yīng)用處理器連接;
7、所述前置isp上設(shè)置有asic芯片和mipi交換總線網(wǎng)絡(luò);所述選擇模塊的n個(gè)第一輸入端與所述n個(gè)圖像傳感器一一對(duì)應(yīng)連接,所述選擇模塊的第二端與所述mipi交換總線網(wǎng)絡(luò)連接,所述mipi交換總線網(wǎng)絡(luò)與所述應(yīng)用處理器連接;所述mipi交換總線網(wǎng)絡(luò)還與所述asic芯片通信連接;
8、所述mipi交換總線網(wǎng)絡(luò)用于根據(jù)拍攝場(chǎng)景和拍攝參數(shù)確定是否將所述原始圖像數(shù)據(jù)傳輸至所述asic芯片進(jìn)行處理。
9、第三方面,本申請(qǐng)實(shí)施例提供了一種拍攝裝置,設(shè)置在電子設(shè)備,包括圖像傳感器、前置圖像信號(hào)處理器isp和應(yīng)用處理器,所述圖像傳感器與所述前置isp連接,所述前置isp還與所述應(yīng)用處理器連接;其中,
10、所述圖像傳感器,用于在接收到拍攝指令的情況下,采集原始圖像數(shù)據(jù);
11、所述前置isp,用于采用ai圖像處理算法對(duì)所述原始圖像數(shù)據(jù)進(jìn)行第一圖像處理,得到第一圖像數(shù)據(jù);
12、所述應(yīng)用處理器,用于對(duì)所述第一圖像數(shù)據(jù)進(jìn)行第二圖像處理,輸出目標(biāo)圖像數(shù)據(jù)。
13、第四方面,本申請(qǐng)實(shí)施例提供了一種電子設(shè)備,該電子設(shè)備包括處理器和存儲(chǔ)器,所述存儲(chǔ)器存儲(chǔ)可在所述處理器上運(yùn)行的程序或指令,所述程序或指令被所述處理器執(zhí)行時(shí)實(shí)現(xiàn)如第一方面所述的拍攝方法的步驟。
14、第五方面,本申請(qǐng)實(shí)施例提供了一種可讀存儲(chǔ)介質(zhì),所述可讀存儲(chǔ)介質(zhì)上存儲(chǔ)程序或指令,所述程序或指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)如第一方面所述的拍攝方法的步驟。
15、第六方面,本申請(qǐng)實(shí)施例提供了一種芯片,所述芯片包括處理器和通信接口,所述通信接口和所述處理器耦合,所述處理器用于運(yùn)行程序或指令,實(shí)現(xiàn)如第一方面所述的拍攝方法。
16、第七方面,本申請(qǐng)實(shí)施例提供一種計(jì)算機(jī)程序產(chǎn)品,該程序產(chǎn)品被存儲(chǔ)在存儲(chǔ)介質(zhì)中,該程序產(chǎn)品被至少一個(gè)處理器執(zhí)行以實(shí)現(xiàn)如第一方面所述的拍攝方法。
17、在本申請(qǐng)實(shí)施例中,電子設(shè)備包括圖像傳感器、前置圖像信號(hào)處理器isp和應(yīng)用處理器,所述圖像傳感器與所述前置isp連接,所述前置isp還與所述應(yīng)用處理器連接;在接收到拍攝指令的情況下,通過所述圖像傳感器采集原始圖像數(shù)據(jù);通過所述前置isp采用ai圖像處理算法對(duì)所述原始圖像數(shù)據(jù)進(jìn)行第一圖像處理,得到第一圖像數(shù)據(jù);通過所述應(yīng)用處理器對(duì)所述第一圖像數(shù)據(jù)進(jìn)行第二圖像處理,輸出目標(biāo)圖像數(shù)據(jù)。這樣,通過采用外掛的前置isp來部署一些ai圖像處理算法,從而可通過前置isp來加速對(duì)拍攝圖像數(shù)據(jù)進(jìn)行的初步處理,再通過應(yīng)用處理器對(duì)經(jīng)isp初步處理后的圖像數(shù)據(jù)作進(jìn)一步圖像處理,能夠有效提升圖像拍攝效果和圖像處理性能。
1.一種拍攝方法,其特征在于,由電子設(shè)備執(zhí)行,所述電子設(shè)備包括圖像傳感器、前置圖像信號(hào)處理器isp和應(yīng)用處理器,所述圖像傳感器與所述前置isp連接,所述前置isp還與所述應(yīng)用處理器連接;所述方法包括:
2.根據(jù)權(quán)利要求1所述的方法,其特征在于,所述前置isp包括專用集成電路asic芯片;所述asic芯片包括拍攝預(yù)處理單元和拍攝加速處理單元,所述圖像傳感器與所述拍攝預(yù)處理單元連接,所述拍攝預(yù)處理單元與所述拍攝加速處理單元連接,所述拍攝加速處理單元與所述應(yīng)用處理器連接;
3.根據(jù)權(quán)利要求2所述的方法,其特征在于,所述通過所述拍攝預(yù)處理單元采用預(yù)設(shè)選幀策略對(duì)所述原始圖像數(shù)據(jù)進(jìn)行選幀處理之前,所述方法還包括:
4.根據(jù)權(quán)利要求2所述的方法,其特征在于,所述采用預(yù)設(shè)選幀策略對(duì)所述原始圖像數(shù)據(jù)進(jìn)行選幀處理,包括:
5.根據(jù)權(quán)利要求1所述的方法,其特征在于,所述前置isp上設(shè)置有asic芯片和mipi交換總線網(wǎng)絡(luò);所述圖像傳感器的數(shù)量為n個(gè),所述電子設(shè)備還包括選擇模塊,所述選擇模塊的n個(gè)第一端與n個(gè)所述圖像傳感器一一對(duì)應(yīng)連接,所述選擇模塊的第二端與所述mipi交換總線網(wǎng)絡(luò)連接,所述mipi交換總線網(wǎng)絡(luò)與所述應(yīng)用處理器連接;所述mipi交換總線網(wǎng)絡(luò)還與所述asic芯片通信連接;
6.根據(jù)權(quán)利要求5所述的方法,其特征在于,所述方法還包括:
7.根據(jù)權(quán)利要求5所述的方法,其特征在于,所述在根據(jù)所述拍攝場(chǎng)景和拍攝參數(shù)確定開啟所述asic芯片的情況下,通過所述mipi交換總線網(wǎng)絡(luò)將所述原始圖像數(shù)據(jù)傳輸至所述asic芯片,包括:
8.一種電子設(shè)備,其特征在于,包括:n個(gè)圖像傳感器、選擇模塊、前置圖像信號(hào)處理器isp和應(yīng)用處理器,所述圖像傳感器與所述前置isp連接,所述前置isp還與所述應(yīng)用處理器連接;
9.一種拍攝裝置,其特征在于,設(shè)置在電子設(shè)備,包括圖像傳感器、前置圖像信號(hào)處理器isp和應(yīng)用處理器,所述圖像傳感器與所述前置isp連接,所述前置isp還與所述應(yīng)用處理器連接;其中,
10.根據(jù)權(quán)利要求9所述的拍攝裝置,其特征在于,所述前置isp上設(shè)置有asic芯片和mipi交換總線網(wǎng)絡(luò);所述圖像傳感器的數(shù)量為n個(gè),所述電子設(shè)備還包括選擇模塊,所述選擇模塊的n個(gè)第一端與n個(gè)所述圖像傳感器一一對(duì)應(yīng)連接,所述選擇模塊的第二端與所述mipi交換總線網(wǎng)絡(luò)連接,所述mipi交換總線網(wǎng)絡(luò)與所述應(yīng)用處理器連接;所述mipi交換總線網(wǎng)絡(luò)還與所述asic芯片通信連接;
11.一種電子設(shè)備,其特征在于,包括處理器和存儲(chǔ)器,所述存儲(chǔ)器存儲(chǔ)可在所述處理器上運(yùn)行的程序或指令,所述程序或指令被所述處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至7中任一項(xiàng)所述的拍攝方法的步驟。
12.一種可讀存儲(chǔ)介質(zhì),其特征在于,所述可讀存儲(chǔ)介質(zhì)上存儲(chǔ)程序或指令,所述程序或指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至7中任一項(xiàng)所述的拍攝方法的步驟。