本申請涉及信息處理技術(shù),尤其涉及一種拍攝控制方法、拍攝控制裝置及用戶設(shè)備。
背景技術(shù):
在用戶設(shè)備,特別是手機等便攜式手持設(shè)備的使用過程中,當用戶處于行走、乘坐交通工具等運動的狀態(tài)時,往往會因為顛簸而使得用戶設(shè)備相對于用戶的頭部運動,進而對注視所述用戶設(shè)備的用戶帶來一些不好的體驗。例如:用戶通過所述用戶設(shè)備上的自拍攝像頭進行自拍時,所述用戶設(shè)備相對于所述用戶頭部的運動會使得拍攝效果不佳,例如影像模糊等。
技術(shù)實現(xiàn)要素:
本申請實施例可能的目的是:提供一種拍攝控制方案。
第一方面,本申請的一可能的實施方案提供了一種拍攝控制方法,包括:
獲取與一用戶的至少一眼睛注視一圖像采集設(shè)備相關(guān)的眼動信息;
至少根據(jù)所述眼動信息中的非掃視眼動部分調(diào)節(jié)所述圖像采集設(shè)備與拍攝所述用戶對應的拍攝參數(shù)。
結(jié)合第一方面,在第二種可能的實施方式中,所述方法還包括:
對所述眼動信息進行處理得到所述非掃視眼動部分。
結(jié)合第一方面的上述任一種可能的實施方式,在第三種可能的實施方式中,所述非掃視眼動部分包括:
平滑追蹤眼動部分。
結(jié)合第一方面的上述任一種可能的實施方式,在第四種可能的實 施方式中,所述非掃視眼動部分還包括:
凝視眼動部分。
結(jié)合第一方面的上述任一種可能的實施方式,在第五種可能的實施方式中,所述拍攝參數(shù)包括以下的至少一種:
補償鏡頭位移參數(shù)、成像傳感器位移參數(shù)、快門速度、感光度。
結(jié)合第一方面的上述任一種可能的實施方式,在第六種可能的實施方式中,所述至少根據(jù)所述非掃視眼動部分調(diào)節(jié)所述拍攝參數(shù)包括:
至少根據(jù)所述非掃視眼動部分確定所述圖像采集設(shè)備與所述用戶頭部之間的相對運動信息;
根據(jù)所述相對運動信息調(diào)節(jié)所述拍攝參數(shù)。
結(jié)合第一方面的上述任一種可能的實施方式,在第七種可能的實施方式中,所述至少根據(jù)所述非掃視眼動部分確定所述相對運動信息包括:
至少根據(jù)所述非掃視眼動部分和至少一參考非掃視眼動信息確定所述相對運動信息。
結(jié)合第一方面的上述任一種可能的實施方式,在第八種可能的實施方式中,所述至少根據(jù)所述非掃視眼動部分確定所述相對運動信息包括:
至少根據(jù)所述非掃視眼動部分和所述圖像采集設(shè)備與所述非掃視眼動部分時間對應的運動信息確定所述相對運動信息。
結(jié)合第一方面的上述任一種可能的實施方式,在第九種可能的實施方式中,在所述至少根據(jù)所述非掃視眼動部分確定所述相對運動信息之前,所述方法還包括:獲取所述運動信息。
結(jié)合第一方面的上述任一種可能的實施方式,在第十種可能的實施方式中,所述至少根據(jù)所述非掃視眼動部分和所述運動信息確定所述相對運動信息包括:
確定所述非掃視眼動部分與所述運動信息的運動特征對應的眼動分量;
至少根據(jù)所述眼動分量確定所述相對運動信息。
結(jié)合第一方面的上述任一種可能的實施方式,在第十一種可能的實施方式中,所述運動特征包括以下的至少一種:
運動變化頻率特征、運動變化幅度特征、運動變化相位特征。
第二方面,本申請的一可能的實施方案提供了一種拍攝控制裝置,包括:
眼動信息獲取模塊,用于獲取與一用戶的至少一眼睛注視一圖像采集設(shè)備相關(guān)的眼動信息;
拍攝參數(shù)調(diào)節(jié)模塊,用于至少根據(jù)所述眼動信息中的非掃視眼動部分調(diào)節(jié)所述圖像采集設(shè)備與拍攝所述用戶對應的拍攝參數(shù)。
結(jié)合第二方面,在第二種可能的實施方式中,所述裝置還包括:
眼動信息處理模塊,用于對所述眼動信息進行處理得到所述非掃視眼動部分。
結(jié)合第二方面的上述任一種可能的實施方式,在第三種可能的實施方式中,所述非掃視眼動部分包括:
平滑追蹤眼動部分。
結(jié)合第二方面的上述任一種可能的實施方式,在第四種可能的實施方式中,所述非掃視眼動部分還包括:
凝視眼動部分。
結(jié)合第二方面的上述任一種可能的實施方式,在第五種可能的實施方式中,所述拍攝參數(shù)包括以下的至少一種:
補償鏡頭位移參數(shù)、成像傳感器位移參數(shù)、快門速度、感光度。
結(jié)合第二方面的上述任一種可能的實施方式,在第六種可能的實施方式中,所述拍攝參數(shù)調(diào)節(jié)模塊包括:
相對運動確定子模塊,用于至少根據(jù)所述非掃視眼動部分確定所 述圖像采集設(shè)備與所述用戶頭部之間的相對運動信息;
拍攝參數(shù)調(diào)節(jié)子模塊,用于根據(jù)所述相對運動信息調(diào)節(jié)所述拍攝參數(shù)。
結(jié)合第二方面的上述任一種可能的實施方式,在第七種可能的實施方式中,所述相對運動確定子模塊包括:
第一確定單元,用于至少根據(jù)所述非掃視眼動部分和至少一參考非掃視眼動信息確定所述相對運動信息。
結(jié)合第二方面的上述任一種可能的實施方式,在第八種可能的實施方式中,所述相對運動確定子模塊包括:
第二確定單元,用于至少根據(jù)所述非掃視眼動部分和所述圖像采集設(shè)備與所述非掃視眼動部分時間對應的運動信息確定所述相對運動信息。
結(jié)合第二方面的上述任一種可能的實施方式,在第九種可能的實施方式中,所述裝置還包括:運動信息獲取模塊,用于獲取所述運動信息。
結(jié)合第二方面的上述任一種可能的實施方式,在第十種可能的實施方式中,所述第二確定單元包括:
第一確定子單元,用于確定所述非掃視眼動部分與所述運動信息的運動特征對應的眼動分量;
第二確定子單元,用于至少根據(jù)所述眼動分量確定所述相對運動信息。
結(jié)合第二方面的上述任一種可能的實施方式,在第十一種可能的實施方式中,所述運動特征包括以下的至少一種:
運動變化頻率特征、運動變化幅度特征、運動變化相位特征。
第三方面,本申請的一可能的實施方案提供了一種用戶設(shè)備,所述用戶設(shè)備包括:
圖像傳感器,用于采集圖像;
存儲器,用于存放程序;
處理器,用于執(zhí)行所述存儲器存儲的程序,所述程序使得所述處理器執(zhí)行以下操作:
獲取與一用戶的至少一眼睛注視所述用戶設(shè)備相關(guān)的眼動信息;
至少根據(jù)所述眼動信息中的非掃視眼動部分調(diào)節(jié)所述圖像傳感器與拍攝所述用戶對應的拍攝參數(shù)。
第四方面,本申請的一可能的實施方案提供了一種用戶設(shè)備,所述用戶設(shè)備包括:
存儲器,用于存放程序;
處理器,用于執(zhí)行所述存儲器存儲的程序,所述程序使得所述處理器執(zhí)行以下操作:
獲取與一用戶的至少一眼睛注視一圖像采集設(shè)備相關(guān)的眼動信息;
至少根據(jù)所述眼動信息中的非掃視眼動部分調(diào)節(jié)所述圖像采集設(shè)備與拍攝所述用戶對應的拍攝參數(shù)。
本申請實施例的至少一個實施方案根據(jù)用戶注視一圖像采集設(shè)備的非掃視眼動部分來對所述圖像采集設(shè)備的拍攝參數(shù)進行調(diào)節(jié),進而可以對所述非掃視眼動部分所對應的所述圖像采集設(shè)備與所述用戶頭部之間的相對運動進行拍攝抖動補償,改善用戶在與圖像采集設(shè)備具有相對運動的場景中的拍攝體驗。
附圖說明
圖1為本申請實施例的一種拍攝控制方法的流程圖;
圖2為本申請實施例的一種拍攝控制方法的應用示意圖;
圖3為本申請實施例的一種拍攝控制裝置的結(jié)構(gòu)示意框圖;
圖4a~4e為本申請實施例的五種拍攝控制裝置的結(jié)構(gòu)示意框圖;
圖5為本申請實施例的一種用戶設(shè)備的結(jié)構(gòu)示意框圖。
具體實施方式
下面結(jié)合附圖(若干附圖中相同的標號表示相同的元素)和實施例,對本申請的具體實施方式作進一步詳細說明。以下實施例用于說明本申請,但不用來限制本申請的范圍。
本領(lǐng)域技術(shù)人員可以理解,本申請中的“第一”、“第二”等術(shù)語僅用于區(qū)別不同步驟、設(shè)備或模塊等,既不代表任何特定技術(shù)含義,也不表示它們之間的必然邏輯順序。
本申請的發(fā)明人發(fā)現(xiàn),在一用戶處于運動狀態(tài)、或者位于處于運動狀態(tài)的物體(例如交通工具)上的過程中,所述用戶使用手機、智能手表等具有自拍功能的圖像采集設(shè)備進行自拍時,往往會因為運動的顛簸使得圖像采集設(shè)備相對于用戶的頭部運動,進而為所述自拍帶來不良影響,例如,拍攝的影像模糊或者構(gòu)圖的偏差等。
如圖1所示,本申請實施例一種可能的實施方式提供了一種拍攝控制方法,包括:
S110獲取與一用戶的至少一眼睛注視一圖像采集設(shè)備相關(guān)的眼動信息;
S120至少根據(jù)所述眼動信息中的非掃視眼動部分調(diào)節(jié)所述圖像采集設(shè)備與拍攝所述用戶對應的拍攝參數(shù)。
舉例來說,本申請?zhí)峁┑呐臄z控制裝置作為本實施例的執(zhí)行主體,執(zhí)行S110~S120。具體地,所述拍攝控制裝置可以以軟件、硬件或軟硬件結(jié)合的方式設(shè)置在一用戶設(shè)備中,或者,所述拍攝控制裝置本身就是所述用戶設(shè)備,在一種可能的實施方式中,所述用戶設(shè)備為所述圖像采集設(shè)備以外的設(shè)備,在另一種可能的實施方式中,所述用戶設(shè)備就是所述圖像采集設(shè)備。所述用戶設(shè)備包括但不限于:智能手機、平板電腦、智能手表、智能框架眼鏡、智能頭盔等。
本申請實施例的實施方案根據(jù)用戶注視一圖像采集設(shè)備的非掃視眼動部分來對所述圖像采集設(shè)備的拍攝參數(shù)進行調(diào)節(jié),進而可以對所述非掃視眼動部分所對應的所述圖像采集設(shè)備與所述用戶頭部之 間的相對運動進行拍攝抖動補償,改善用戶在與圖像采集設(shè)備具有相對運動的場景中的拍攝體驗。
通過下面的實施方式進一步說明本申請實施例的各步驟:
S110獲取與一用戶的至少一眼睛注視一圖像采集設(shè)備相關(guān)的眼動信息。
這里,所述的至少一眼睛可以為所述用戶的一眼睛;或者,也可以為所述用戶的兩眼。
在一種可能的實施方式中,所述注視所述圖像采集設(shè)備例如可以為:注視所述圖像采集設(shè)備上的顯示模塊所顯示的內(nèi)容,例如,所述顯示模塊顯示的自拍預覽圖像等。
在另一種可能的實施方式中,所述注視所述圖像采集設(shè)備例如可以為:注視所述圖像采集設(shè)備上物理部件,例如注視所述圖像采集設(shè)備上的自拍攝像頭的鏡頭。
在一種可能的實施方式中,除了所述上述的顛簸等引起的抖動外,所述用戶的頭部基本沒有其它主動的動作(例如轉(zhuǎn)動),此時,所述眼動信息包括與所述至少一眼睛在對應眼眶中運動相關(guān)的第一運動信息。
在另一種可能的實施方式中,用戶的頭部還有可能主動進行其它動作,此時,除了所述第一運動信息外,所述眼動信息還可以包括與所述用戶的頭部的運動相關(guān)的第二運動信息。
在一種可能的實施方式中,可選地,所述S110可以包括:通過眼動信息采集模塊來采集所述眼動信息。
在一種可能的實施方式中,所述眼動信息采集模塊例如可以為朝向用戶眼睛的圖像采集模塊,用于采集用戶的所述至少一眼睛的圖像,并通過圖像分析(例如眼睛瞳孔在眼眶中位置)來得到所述眼動信息。
在另一種可能的實施方式中,所述眼動信息采集模塊例如可以包 括設(shè)置在所述用戶的至少一眼睛上的眼電信號采集模塊。此時,所述眼動信息例如可以為眼電信息;或者,可以為根據(jù)所述眼電信息得到的所述至少一眼睛的運動信息。
在一種可能的實施方式中,可選地,可以在所述圖像采集設(shè)備側(cè)采集所述眼動信息。例如,可以通過所述圖像采集設(shè)備上朝向所述用戶的攝像頭采集所述至少一眼睛的圖像。
在另一種可能的實施方式中,可選地,可以在所述用戶眼睛所在一側(cè)采集所述眼動信息。例如,可以通過所述用戶的頭戴設(shè)備上的對眼攝像頭或者眼電檢測模塊來采集所述眼動信息。
在一種可能的實施方式中,可選地,所述S110還可以包括:通過通信模塊從至少一外部設(shè)備獲取所述眼動信息。例如,從上面所述的圖像采集設(shè)備或者頭戴設(shè)備獲取所述眼動信息。
S120至少根據(jù)所述眼動信息中的非掃視眼動部分調(diào)節(jié)所述圖像采集設(shè)備與拍攝所述用戶對應的拍攝參數(shù)。
一用戶在日常的觀察物體的過程中,眼動通常包含三種類型:
掃視(saccade)眼動,用戶的眼睛從一個觀察對象轉(zhuǎn)換到另一觀察對象的過程中眼睛的運動,特點是角速度和角加速度都很大,而且過程中視覺處理暫停;
凝視(fixation)眼動,用戶的眼睛觀察相對于用戶靜止的對象時所對應的眼睛的動作(在此過程中,用戶的眼睛是不運動的,本實施方式中,將所述不運動作為運動的一種特例);
平滑追蹤(smooth pursuit)眼動,用戶的眼睛追蹤觀察相對于用戶運動的一對象的過程中眼睛的運動,與掃視眼動相比,平滑追蹤眼動對應的眼睛的運動更加平緩。
其中,凝視眼動和平滑追蹤眼動都是用戶有意的去注視一對象所對應的眼動。
本申請的發(fā)明人經(jīng)過研究發(fā)現(xiàn),在一用戶注視一用戶設(shè)備時,如 果其眼動信息包含上面所述的凝視眼動和平滑追蹤眼動部分,則說明用戶正在有意的去注視所述用戶設(shè)備上的一對象。在此過程中,如果所述用戶設(shè)備相對于所述用戶的頭部發(fā)生了相對運動,則會在用戶的眼動信息中有所體現(xiàn)。因此,本申請實施例中,采用所述眼動信息中的非掃視眼動部分來確定所述相對運動所對應的拍攝參數(shù)的調(diào)節(jié)。
在一種可能的實施方式中,可選地,所述非掃視眼動部分包括:所述眼動信息中與所述平滑追蹤眼動對應的平滑追蹤眼動部分。
例如,在一種可能的應用場景中,一用戶注視所述圖像采集設(shè)備上的靜止對象,例如攝像頭的鏡頭,在所述用戶相對于所述圖像采集設(shè)備靜止的時,所述用戶的眼動信息中應該只包括凝視眼動部分和掃視眼動部分。而一旦所述用戶的頭部相對于所述圖像采集設(shè)備運動時,所述靜止對象就相對于所述用戶的頭部發(fā)生了運動,原本的凝視眼動部分變成了平滑追蹤眼動部分。因此,在一種可能的實施方式中,所述S120可以僅根據(jù)所述平滑追蹤眼動部分得到所述用戶的頭部相對于所述圖像采集設(shè)備的相對運動,并進行對應的拍攝參數(shù)的調(diào)節(jié)。
在另一種可能的實施方式中,可選地,所述非掃視眼動部分包括:所述眼動信息中與所述平滑追蹤眼動對應的平滑追蹤眼動部分、以及所述眼動信息中與所述凝視眼動對應的凝視眼動部分。
例如,在一種可能的應用場景中,例如,用戶注視所述圖像采集設(shè)備顯示的自拍預覽圖像時,自拍預覽圖像中有可能有運動的對象。因此在一用戶的頭部相對于所述圖像采集設(shè)備靜止的情況下,所述用戶的眼動信息中也可能包括平滑追蹤眼動部分,此時不能僅僅依靠所述平滑追蹤眼動部分來確定所述相對運動,而是需要同時采用所述平滑追蹤眼動部分和所述凝視眼動部分來確定所述相對運動。
在一種可能的實施方式中,可選地,所述方法還可以包括:
對所述眼動信息進行處理得到所述非掃視眼動部分。
例如,在一種可能的實施方式中,所述眼動信息包括眼睛轉(zhuǎn)動的 角速度信息、和/或轉(zhuǎn)動幅度信息等,根據(jù)上面所述的各種眼動對應的運動特征對所述眼動信息進行處理,可以確定所述眼動信息中與所述各種眼動對應的部分。
在其它可能的實施方式中,例如,所述眼動信息包括眼電信息時,也可以根據(jù)預先的學習得到所述各種眼動分別對應的眼電特征信息,進而在獲得所述眼電信息后,根據(jù)所述眼電特征信息對所述眼電信息進行處理,得到所述眼動信息中的非掃視眼動部分。
在一種可能的實施方式中,可選地,可以直接根據(jù)所述眼動信息中的所述非掃視眼動部分來調(diào)節(jié)所述拍攝參數(shù)。
在另一種可能的實施方式中,可以先至少根據(jù)所述非掃視眼動部分來確定所述用戶的頭部相對于所述圖像采集設(shè)備之間的相對運動信息;再根據(jù)所述相對運動信息來調(diào)節(jié)所述拍攝參數(shù)。
在一種可能的實施方式中,可選地,所述至少根據(jù)所述非掃視眼動部分確定所述相對運動信息可以包括:
至少根據(jù)所述非掃視眼動部分和至少一參考非掃視眼動信息確定所述相對運動信息。
其中,所述至少一參考非掃視眼動信息例如可以為:所述用戶在相對于所述圖像采集設(shè)備靜止的條件下進行當前進行的注視動作所獲取的眼動信息中的非掃視眼動部分。
在一種可能的實施方式中,所述至少根據(jù)所述非掃視眼動部分和所述至少一參考非掃視眼動信息確定所述相對運動信息例如可以包括:
對比所述非掃視眼動部分和所述至少一參考非掃視眼動信息中與所述眼動信息對應的一參考非掃視眼動信息,根據(jù)二者的差異來確定所述相對運動信息。
在一種可能的實施方式中,可選地,所述至少根據(jù)所述非掃視眼動部分確定所述相對運動信息可以包括:
至少根據(jù)所述非掃視眼動部分和所述圖像采集設(shè)備與所述非掃視眼動部分時間對應的運動信息確定所述相對運動信息。
在本實施方式中,在所述至少根據(jù)所述非掃視眼動部分確定所述相對運動信息之前,所述方法還可以包括:獲取所述運動信息。
這里,所述運動信息例如可以為所述圖像采集設(shè)備的至少一慣性傳感信息,可以通過所述圖像采集設(shè)備的至少一慣性傳感器獲取。所述至少一慣性傳感器例如可以包括下述的至少一個:
加速度傳感器、陀螺儀、磁傳感器、重力傳感器等。
所述運動信息例如可以包括所述至少一慣性傳感器所采集的所述至少一慣性傳感信息。
在一種可能的實施方式中,在所述拍攝控制方法的執(zhí)行主體位于所述圖像采集設(shè)備側(cè)時,所述獲取所述運動信息例如可以包括:
通過所述圖像采集設(shè)備的所述至少一慣性傳感器獲取所述運動信息。
在另一種可能的實施方式中,例如,所述執(zhí)行主體不在所述圖像采集設(shè)備側(cè)時,所述獲取所述運動信息還可以包括:
通過通信的方式從至少一外部設(shè)備獲取所述運動信息。
所述至少一外部設(shè)備例如可以包括所述圖像采集設(shè)備。
在一種可能的實施方式中,可選地,所述至少根據(jù)所述非掃視眼動部分和所述運動信息確定所述相對運動信息可以包括:
確定所述非掃視眼動部分與所述運動信息的運動特征對應的眼動分量;
至少根據(jù)所述眼動分量確定所述相對運動信息。
在一種可能的實施方式中,所述運動特征可以包括以下的至少一種:
運動變化頻率特征、運動變化幅度特征、運動變化相位特征。
例如,在一種可能的實施方式中,可選地,所述至少根據(jù)所述非 掃視眼動部分確定所述相對運動信息可以包括:
確定所述非掃視眼動部分中的眼動信息變化頻率與所述運動信息的運動變化頻率特征相匹配的部分,該相匹配的部分與所述運動信息的對應部分應該對應的眼動信息之間的差異就是所述相對運動信息對應的部分。
本申請實施例通過上面所述的各實施方式可以更為準確的確定所述用戶與所述圖像采集設(shè)備之間的相對運動信息,該相對運動信息可以被應用在多個方面,來給用戶帶來更好的用戶體驗。例如,可以根據(jù)所述用戶與所述圖像采集設(shè)備之間的相對運動信息來預測在之后一段時間內(nèi)所述用戶與所述圖像采集設(shè)備之間的相對運動規(guī)律,進而進行相應的操作。
在一種可能的實施方式中,所述與拍攝所述用戶對應的拍攝參數(shù)例如可以為:用戶通過所述圖像采集設(shè)備進行自拍的拍攝參數(shù)。
例如用戶通過手持或者自拍桿等工具控制智能手機等圖像采集設(shè)備進行自拍。
在另一種可能的實施方式中,所述與拍攝所述用戶對應的拍攝參數(shù)例如可以為:
其它用戶使用所述圖像采集設(shè)備對所述用戶進行拍攝所對應的拍攝參數(shù)。
在一種可能的實施方式中,所述拍攝參數(shù)為所述圖像采集設(shè)備的拍攝防抖參數(shù)。
例如,在一種可能的實施方式中,所述圖像采集設(shè)備通過補償鏡頭進行防抖。在本實施方式中,所述拍攝參數(shù)例如可以為補償鏡頭位移參數(shù),通過所述補償鏡頭的位移來補償所述相對運動造成的影響。這里所述的補償鏡頭位移參數(shù)可以包括所述補償鏡頭的補償速度、補償時間、位移距離、補償加速度等中的至少一個。
在一種可能的實施方式中,所述圖像采集設(shè)備通過成像傳感器進 行防抖。在本實施方式中,所述拍攝參數(shù)例如可以為成像傳感器——例如電荷耦合元件(Charge-coupled Device,CCD)——的位移參數(shù),通過所述成像傳感器的位移來補償所述相對運動造成的影響。這里所述的成像傳感器位移參數(shù)可以包括所述成像傳感器的補償速度、補償時間、位移距離、補償加速度等中的至少一個。
在其它可能的實施方式中,所述圖像采集設(shè)備的其它可以用于消除或減輕所述相對運動帶來的影響的參數(shù)也可以應用在本申請實施方式中。例如,在一種可能的實施方式中,所述拍攝參數(shù)可以包括:快門速度、感光度(ISO值)、對焦模式。例如,可以根據(jù)所述相對運動對應的調(diào)節(jié)所述快門速度。例如,在一種可能的實施方式中,所述相對運動越明顯,所述感光度越高,快門速度越快。
當然,在一些可能的實施方式中,一圖像采集設(shè)備可能具有多種防抖手段,因此,所述拍攝參數(shù)可以包括上面所述幾種中的多種。
通過下面的應用場景進一步說明本實施方式:
在一種可能的應用場景中,一用戶在一運動的交通工具上使用一圖像采集設(shè)備進行自拍,其中:所述交通工具的顛簸運動x(t)通過不同的環(huán)節(jié)分別傳遞到所述圖像采集設(shè)備和用戶的頭部,使得二者的運動不同,顯示模塊運動規(guī)律為yD(t),而用戶頭部運動規(guī)律為yH(t)。
在注視所述圖像采集設(shè)備的鏡頭、或注視所述圖像采集設(shè)備的顯示模塊顯示的自拍預覽圖像時,因為存在圖像采集設(shè)備與用戶頭部的相對運動,使得用戶的眼睛在注視所述圖像采集設(shè)備時不得不補償二者的運動差異yD(t)-yH(t),從而使得用戶原來注視所述鏡頭或自拍預覽圖像等的凝視眼動變成了頻繁的、一定幅度的平滑追蹤眼動w(t)。
為了減輕所述相對運動對拍攝的影響,需要通過拍攝防抖技術(shù)去消除或減少運動差異yD(t)-yH(t),以消除或減少上述的平滑追蹤眼動w(t),例如盡可能達到w(t)=0的效果。
在一種可能的實施方式中,消除或減少所述運動差異yD(t)-yH(t) 的方法包括:
對成像傳感器附加上與所述運動差異yD(t)-yH(t)對應的補償運動,使得所述用戶頭部相對于所述圖像采集設(shè)備的運動在成像面上的影響被所述成像傳感器的補償運動消除或減輕。例如:所述用戶頭部相對于所述圖像采集設(shè)備具有一相對運動時,所述用戶頭部的圖像在所述圖像采集設(shè)備的成像面也會發(fā)生與所述相對運動對應的一圖像運動,此時,在本實施方式中,可以通過將所述成像傳感器的所述補償運動設(shè)置為與所述圖像運動一致來消除或減輕所述相對運動的對成像的影響。
例如,一般用戶在自拍過程中注視手機上的攝像頭鏡頭或自拍預覽圖像,如圖2所示,當注視過程中發(fā)生顛簸時,如果注視點相對人眼移動了Δy距離,則人眼追蹤晃動的注視點引起的視角變化為:
其中,D為眼睛到注視點的距離。
將拍攝時眼睛離屏幕的距離D看成常數(shù),并對(1)式兩邊求時間的導數(shù)可得:
ω=Dv (2)
其中,ω為眼球平滑追蹤眼動時的角速度,而v為所述眼睛對應的注視點的線速度。其中,如果所述注視點為相對于所述手機靜止的物體,當檢測到眼球在某個方向上具有與平滑追蹤眼動對應的角速度時,可以直接得到所述手機相對于所述用戶的線速度。
根據(jù)所述線速度、所述拍攝距離以及所述攝像頭的成像參數(shù),就可以得到所述成像傳感器的補償速度等拍攝參數(shù)。
在一種可能的實施方式中,可以通過k時刻獲取的用戶的平滑追蹤眼動信息來確定k+1時刻成像傳感器移動速度的補償。
1)開始:設(shè)置成像傳感器的水平和豎直方向的補償速度均為0,即:
vDH(t|0)=0;vDV(t|0)=0
2)如果k時刻檢測到所述用戶眼睛的平滑追蹤眼動的水平和豎直分量分別為ωH(t|k),ωV(t|k);
則更新k+1時刻的水平方向和豎直方向上的補償速度分別為:
vDH(t|k+1)=vDH(t|k)-ωH(t|k)/D;
vDV(t|k+1)=vDV(t|k)-ωV(t|k)/D;
3)如果k時刻沒有檢測到平滑追蹤,則
vDH(t|k+1)=vDH(t|k);
vDV(t|k+1)=vDV(t|k)。
其中,由于只有快門打開的期間所述攝像頭才進行成像記錄,因此,在得到所述成像傳感器的所述補償速度后,可以只在所述快門打開的期間對所述成像傳感器施加所述補償速度進行拍攝補償。
本領(lǐng)域的技術(shù)人員可以看出,本申請對所述相對運動進行拍攝抖動補償,進而使得用戶相對于所述圖像采集設(shè)備運動時,也可以得到較好的自拍圖像效果,改善用戶體驗。
本領(lǐng)域技術(shù)人員可以理解,在本申請具體實施方式的上述方法中,各步驟的序號大小并不意味著執(zhí)行順序的先后,各步驟的執(zhí)行順序應以其功能和內(nèi)在邏輯確定,而不應對本申請具體實施方式的實施過程構(gòu)成任何限定。
如圖3所示,本申請實施例一種可能的實施方式提供了一種拍攝控制裝置300,包括:
眼動信息獲取模塊310,用于獲取與一用戶的至少一眼睛注視一圖像采集設(shè)備相關(guān)的眼動信息;
拍攝參數(shù)調(diào)節(jié)模塊320,用于至少根據(jù)所述眼動信息中的非掃視眼動部分調(diào)節(jié)所述圖像采集設(shè)備與拍攝所述用戶對應的拍攝參數(shù)。
本申請實施例的實施方案根據(jù)用戶注視一圖像采集設(shè)備的非掃 視眼動部分來對所述圖像采集設(shè)備的拍攝參數(shù)進行調(diào)節(jié),進而可以對所述非掃視眼動部分所對應的所述圖像采集設(shè)備與所述用戶頭部之間的相對運動進行拍攝抖動補償,改善用戶在與圖像采集設(shè)備具有相對運動的場景中的拍攝體驗。
通過下面的實施方式進一步說明本申請實施例的各模塊、單元。
在本申請實施例中,所述的至少一眼睛可以為所述用戶的一眼睛;或者,也可以為所述用戶的兩眼。
在一種可能的實施方式中,所述眼動信息包括與所述至少一眼睛在對應眼眶中運動相關(guān)的第一運動信息。
在另一種可能的實施方式中,除了所述第一運動信息外,所述眼動信息還可以包括與所述用戶的頭部的運動相關(guān)的第二運動信息。
如圖4a所示,在一種可能的實施方式中,可選地,所述眼動信息獲取模塊310包括:眼動信息采集單元311,用于采集所述眼動信息。
在另一種可能的實施方式中,可選地,所述眼動信息獲取模塊310包括:通信單元,用于從至少一外部設(shè)備獲取所述眼動信息。
如圖4a所示,在一種可能的實施方式中,可選地,所述裝置300還可以包括:
眼動信息處理模塊330,用于對所述眼動信息進行處理得到所述非掃視眼動部分。
如圖1所示實施例中所述的,在一種可能的實施方式中,所述非掃視眼動部分可以包括:平滑追蹤眼動部分。在另一種可能的實施方式中,所述非掃視眼動部分可以還包括:凝視眼動部分。
在一種可能的實施方式中,可選地,所述拍攝參數(shù)調(diào)節(jié)模塊320直接根據(jù)所述眼動信息中的所述非掃視眼動部分來調(diào)節(jié)所述拍攝參數(shù)。
在另一種可能的實施方式中,如圖4b所示,可選地,所述拍攝 參數(shù)調(diào)節(jié)模塊320可以包括:
相對運動確定子模塊321,用于至少根據(jù)所述非掃視眼動部分確定所述圖像采集設(shè)備與所述用戶頭部之間的相對運動信息;
拍攝參數(shù)調(diào)節(jié)子模塊322,用于根據(jù)所述相對運動信息調(diào)節(jié)所述拍攝參數(shù)。
如圖4c所示,在一種可能的實施方式中,所述相對運動確定子模塊321包括:
第一確定單元3211,用于至少根據(jù)所述非掃視眼動部分和至少一參考非掃視眼動信息確定所述相對運動信息。
其中,所述至少一參考非掃視眼動信息例如可以為:所述用戶在相對于所述圖像采集設(shè)備靜止的條件下進行當前進行的注視動作所獲取的眼動信息中的非掃視眼動部分。
在一種可能的實施方式中,所述第一確定單元3211可以進一步用于:
對比所述非掃視眼動部分和所述至少一參考非掃視眼動信息中與所述眼動信息對應的一參考非掃視眼動信息,根據(jù)二者的差異來確定所述相對運動信息。
如圖4d所示,在一種可能的實施方式中,所述相對運動確定子模塊321可以包括:
第二確定單元3212,用于至少根據(jù)所述非掃視眼動部分和所述圖像采集設(shè)備與所述非掃視眼動部分時間對應的運動信息確定所述相對運動信息。
在本實施方式中,可選地,所述裝置300還包括:運動信息獲取模塊340,用于獲取所述運動信息。
這里,所述運動信息例如可以為所述圖像采集設(shè)備的至少一慣性傳感信息,可以通過所述圖像采集設(shè)備的至少一慣性傳感器獲取。所述至少一慣性傳感器例如可以包括下述的至少一個:
加速度傳感器、陀螺儀、磁傳感器、重力傳感器等。
所述運動信息例如可以包括所述至少一慣性傳感器所采集的所述至少一慣性傳感信息。
在一種可能的實施方式中,在所述運動信息獲取模塊340位于所述圖像采集設(shè)備側(cè)時,所述運動信息獲取模塊340例如可以包括:
所述至少一慣性傳感,用于獲取所述運動信息。
在另一種可能的實施方式中,例如,所述運動信息獲取模塊340不在所述圖像采集設(shè)備側(cè)時,所述運動信息獲取模塊340還可以包括:
通信單元,用于通過通信的方式從至少一外部設(shè)備獲取所述運動信息。
這里,所述至少一外部設(shè)備例如可以包括所述圖像采集設(shè)備。
如圖4e所示,在一種可能的實施方式中,可選地,所述第二確定單元3212可以包括:
第一確定子單元3212a,用于確定所述非掃視眼動部分與所述運動信息的運動特征對應的眼動分量;
第二確定子單元3212b,用于至少根據(jù)所述眼動分量確定所述相對運動信息。
在一種可能的實施方式中,所述運動特征可以包括以下的至少一種:
運動變化頻率特征、運動變化幅度特征、運動變化相位特征。
本申請實施例通過上面所述的各實施方式可以更為準確的確定所述用戶與所述圖像采集設(shè)備之間的相對運動信息,該相對運動信息可以被應用在多個方面,來給用戶帶來更好的用戶體驗。例如,可以根據(jù)所述用戶與所述圖像采集設(shè)備之間的相對運動信息來預測在之后一段時間內(nèi)所述用戶與所述圖像采集設(shè)備之間的相對運動規(guī)律,進而進行相應的操作。
在一種可能的實施方式中,所述與拍攝所述用戶對應的拍攝參數(shù)例如可以為:所述用戶通過所述圖像采集設(shè)備進行自拍的拍攝參數(shù)。
在另一種可能的實施方式中,所述與拍攝所述用戶對應的拍攝參數(shù)例如可以為:
其它用戶使用所述圖像采集設(shè)備對所述用戶進行拍攝所對應的拍攝參數(shù)。
在一種可能的實施方式中,所述拍攝參數(shù)為所述圖像采集設(shè)備的拍攝防抖參數(shù)。
例如,在一種可能的實施方式中,所述圖像采集設(shè)備通過補償鏡頭進行防抖。在本實施方式中,所述拍攝參數(shù)例如可以為補償鏡頭位移參數(shù),通過所述補償鏡頭的位移來補償所述相對運動造成的影響。
在一種可能的實施方式中,所述圖像采集設(shè)備通過成像傳感器進行防抖。在本實施方式中,所述拍攝參數(shù)例如可以為成像傳感器——例如電荷耦合元件(Charge-coupled Device,CCD)——的位移參數(shù),通過所述成像傳感器的位移來補償所述相對運動造成的影響。
在其它可能的實施方式中,所述圖像采集設(shè)備的其它可以用于消除或減輕所述相對運動帶來的影響的參數(shù)也可以應用在本申請實施方式中。例如,在一種可能的實施方式中,所述拍攝參數(shù)可以包括:快門速度、感光度、對焦模式。例如,可以根據(jù)所述相對運動對應的調(diào)節(jié)所述快門速度。例如,在一種可能的實施方式中,所述相對運動越明顯,所述感光度越高,快門速度越快。
當然,在一些可能的實施方式中,一圖像采集設(shè)備可能具有多種防抖手段,因此,所述拍攝參數(shù)可以包括上面所述幾種中的多種。
本領(lǐng)域的技術(shù)人員可以看出,本申請對所述相對運動進行拍攝抖動補償,進而使得用戶相對于所述圖像采集設(shè)備運動時,也可以得到較好的自拍圖像效果,改善用戶體驗。
本申請實施例中各模塊、單元的功能的進一步描述參見圖1所示 實施例中對應的描述。
圖5為本申請實施例提供的一種用戶設(shè)備500的結(jié)構(gòu)示意圖,本申請具體實施例并不對用戶設(shè)備500的具體實現(xiàn)做限定。如圖5所示,該用戶設(shè)備500可以包括:
處理器(processor)510、通信接口(Communications Interface)520、存儲器(memory)530、以及通信總線540。其中:
處理器510、通信接口520、以及存儲器530通過通信總線540完成相互間的通信。
通信接口520,用于與比如客戶端等的網(wǎng)元通信。
處理器510,用于執(zhí)行程序532,具體可以執(zhí)行上述方法實施例中的相關(guān)步驟。
具體地,程序532可以包括程序代碼,所述程序代碼包括計算機操作指令。
處理器510可能是一個中央處理器CPU,或者是特定集成電路ASIC(Application Specific Integrated Circuit),或者是被配置成實施本申請實施例的一個或多個集成電路。
存儲器530,用于存放程序532。存儲器530可能包含高速RAM存儲器,也可能還包括非易失性存儲器(non-volatile memory),例如至少一個磁盤存儲器。程序532具體可以用于使得所述用戶設(shè)備500執(zhí)行以下操作:
獲取與一用戶的至少一眼睛注視所述用戶設(shè)備相關(guān)的眼動信息;
至少根據(jù)所述眼動信息中的非掃視眼動部分調(diào)節(jié)所述用戶設(shè)備與拍攝所述用戶對應的拍攝參數(shù)。
或者,在另一種可能的實施方式中,所述程序532具體可以用于使得所述用戶設(shè)備500執(zhí)行以下操作:
獲取與一用戶的至少一眼睛注視一圖像采集設(shè)備相關(guān)的眼動信 息;
至少根據(jù)所述眼動信息中的非掃視眼動部分調(diào)節(jié)所述圖像采集設(shè)備與拍攝所述用戶對應的拍攝參數(shù)。
程序532中各步驟的具體實現(xiàn)可以參見上述實施例中的相應步驟和單元中對應的描述,在此不贅述。所屬領(lǐng)域的技術(shù)人員可以清楚地了解到,為描述的方便和簡潔,上述描述的設(shè)備和模塊的具體工作過程,可以參考前述方法實施例中的對應過程描述,在此不再贅述。
本領(lǐng)域普通技術(shù)人員可以意識到,結(jié)合本文中所公開的實施例描述的各示例的單元及方法步驟,能夠以電子硬件、或者計算機軟件和電子硬件的結(jié)合來實現(xiàn)。這些功能究竟以硬件還是軟件方式來執(zhí)行,取決于技術(shù)方案的特定應用和設(shè)計約束條件。專業(yè)技術(shù)人員可以對每個特定的應用來使用不同方法來實現(xiàn)所描述的功能,但是這種實現(xiàn)不應認為超出本申請的范圍。
所述功能如果以軟件功能單元的形式實現(xiàn)并作為獨立的產(chǎn)品銷售或使用時,可以存儲在一個計算機可讀取存儲介質(zhì)中?;谶@樣的理解,本申請的技術(shù)方案本質(zhì)上或者說對現(xiàn)有技術(shù)做出貢獻的部分或者該技術(shù)方案的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來,該計算機軟件產(chǎn)品存儲在一個存儲介質(zhì)中,包括若干指令用以使得一臺計算機設(shè)備(可以是個人計算機,服務器,或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本申請各個實施例所述方法的全部或部分步驟。而前述的存儲介質(zhì)包括:U盤、移動硬盤、只讀存儲器(ROM,Read-Only Memory)、隨機存取存儲器(RAM,Random Access Memory)、磁碟或者光盤等各種可以存儲程序代碼的介質(zhì)。
以上實施方式僅用于說明本申請,而并非對本申請的限制,有關(guān)技術(shù)領(lǐng)域的普通技術(shù)人員,在不脫離本申請的精神和范圍的情況下,還可以做出各種變化和變型,因此所有等同的技術(shù)方案也屬于本申請的范疇,本申請的專利保護范圍應由權(quán)利要求限定。