本發(fā)明涉及圖像處理領(lǐng)域,尤其涉及一種智能電視機的顯存圖像識別方法及裝置。
背景技術(shù):
智能電視,是具有全開放式平臺,搭載了操作系統(tǒng),用戶在欣賞普通電視內(nèi)容的同時,可自行安裝和卸載各類應用軟件,持續(xù)對功能進行擴充和升級的新電視產(chǎn)品。智能電視能夠不斷給用戶帶來有別于使用有線數(shù)字電視接收機(機頂盒)的、豐富的個性化體驗。其中,通過智能電視機玩游戲,就是其中最受歡迎的體驗;現(xiàn)有的通過智能電視機玩游戲,需要游戲玩家時刻緊盯游戲,以便在需要操作時及時進行指令下發(fā),以進行游戲或者繼續(xù)流程;這往往使得游戲玩家為了不錯過重要場景,以放棄自身生理需求為代價,或者長時間精神高度集中,威脅游戲玩家的身體健康。有沒有一種方法,可以在重要場景來臨時,讓玩家感知到?,F(xiàn)有的智能電視還不能夠感知電視內(nèi)容。
技術(shù)實現(xiàn)要素:
本發(fā)明的目的是,提供一種智能電視機的顯存圖像識別方法及裝置,以使得在用戶想要知道的幀到來時,及時感知。
本發(fā)明公開了一種智能電視機的顯存圖像識別方法,上述方法在智能電視機上有游戲類應用啟動時,執(zhí)行以下步驟:
步驟一:獲取上述應用的包名及智能電視機的分辨率;
步驟二:根據(jù)上述包名及分辨率,從云端獲取預存的待識別圖片及其屬性;
步驟三:從顯存中逐幀讀取圖片;
步驟四:從上述讀取的圖片中截取與當前待識別圖片的起始位置及尺寸相同的子圖片;
步驟五:根據(jù)上述子圖片與當前待識別圖片的圖像相似度是否大于等于 預設(shè)值,和/或上述子圖片的文字色彩占比是否與待識別圖片的文字色彩占比相同,對當前待識別圖片進行識別。
上述方法中,上述待識別圖片包括圖像圖片和/或文字圖片,上述圖像圖片屬性包括圖片起始位置及尺寸;上述文字圖片屬性包括圖片起始位置、尺寸及文字色彩占比。
上述方法中,上述方法通過如下步驟計算子圖片與當前待識別圖片的圖像相似度:
計算上述子圖片及當前待識別圖片的灰色直方圖;
計算上述灰色直方圖的巴氏系數(shù),得到上述子圖片與當前待識別圖片的圖像相似度。
上述方法中,上述步驟五具體包括以下步驟:
步驟a:判斷當前待識別圖片的類型;若當前待識別圖片為圖像圖片,則執(zhí)行步驟b;若當前待識別圖片為文字圖片,則執(zhí)行步驟c;若當前待識別圖片包括圖像圖片和文字圖片,則執(zhí)行步驟d;
步驟b:計算子圖片與當前待識別圖片的圖像相似度,并判斷上述相似度是否大于等于預設(shè)值,若是,則當前待識別圖片識別成功,轉(zhuǎn)入步驟l;否則,執(zhí)行步驟k;
步驟c:計算子圖片的文字色彩占比,并判斷是否與當前待識別圖片的文字色彩占比相同,若是,則當前待識別圖片識別成功,轉(zhuǎn)入步驟l;否則,執(zhí)行步驟k;
步驟d:讀取預設(shè)的識別方式,若為圖像優(yōu)先,則執(zhí)行步驟e;若為文字優(yōu)先,則執(zhí)行步驟g;若為圖像和文字同優(yōu)先級,則執(zhí)行步驟i;
步驟e:計算子圖片與當前待識別圖片的圖像相似度,并判斷上述相似度是否大于等于預設(shè)值,若是,則當前待識別圖片識別成功,轉(zhuǎn)入步驟l;否則,執(zhí)行步驟f;
步驟f:計算子圖片的文字色彩占比,并判斷是否與當前待識別圖片的文字色彩占比相同,若是,則當前待識別圖片識別成功,轉(zhuǎn)入步驟l;否則,執(zhí)行步驟k;
步驟g:計算子圖片的文字色彩占比,并判斷是否與當前待識別圖片的文字色彩占比相同,若是,則當前待識別圖片識別成功,轉(zhuǎn)入步驟l;否則, 執(zhí)行步驟h;
步驟h:計算子圖片與當前待識別圖片的圖像相似度,并判斷上述相似度是否大于等于預設(shè)值,若是,則當前待識別圖片識別成功,轉(zhuǎn)入步驟l;否則,執(zhí)行步驟k;
步驟i:計算子圖片與當前待識別圖片的圖像相似度,并判斷上述相似度是否大于等于預設(shè)值,若是,則執(zhí)行步驟j;否則,執(zhí)行步驟k;
步驟j:計算子圖片的文字色彩占比,并判斷是否與當前待識別圖片的文字色彩占比相同,若是,則當前待識別圖片識別成功,轉(zhuǎn)入步驟l;否則,執(zhí)行步驟k;
步驟k:判斷當前識別的圖片是否是待識別圖片中的最后一個,若是,則執(zhí)行步驟l;否則,對下一個待識別圖片轉(zhuǎn)入步驟四執(zhí)行;
步驟l:讀取顯存中的下一幀圖片,對剩余待識別圖片轉(zhuǎn)入步驟四執(zhí)行。
上述方法中,上述圖片的灰色直方圖通過如下步驟計算:
根據(jù)圖片的長和寬,計算圖片的像素點總數(shù)及每個像素點的pixel值,再根據(jù)每個像素點的pixel值,計算紅(r=(pixel>>16)&0xFF)、綠(g=(pixel>>8)&0xFF)、藍(b=(pixel>>0)&0xFF)在pixel值中的比例值,然后根據(jù)公式:
color=0.299*r+0.587*g+0.114*b
計算當前像素的灰化色彩值color;
其中,r為紅在當前像素點的pixel值中的比例值;g為綠在當前像素點的pixel值中的占比值;b為綠在當前像素點的pixel值中的比例值;
計算當前像素的灰化色彩值color在像素點總數(shù)中的比例值;
圖片的所有像素的灰化色彩值color在像素點總數(shù)中的比例值組成該圖片的灰色直方圖。
上述方法中,上述巴氏系數(shù)通過如下公式計算:
其中,i為灰色直方圖中元素的序號,其初始值為0;n為灰色直方圖的長度;ai表示子圖片灰色直方圖中的第i個元素;bi表示待識別圖片的灰色直方圖中的第i個元素。
本發(fā)明進一步公開了一種智能電視機的顯存圖像識別裝置,上述裝置包 括監(jiān)測模塊、數(shù)據(jù)處理模塊及圖片識別模塊,其中,上述
檢測模塊,用于監(jiān)測智能電視是否有游戲類應用啟動,并在有游戲類應用啟動時,通知上述數(shù)據(jù)處理模塊;
數(shù)據(jù)處理模塊:用于獲取應用的包名及智能電視機的分辨率;并根據(jù)上述包名及分辨率,從云端獲取預存的待識別圖片及其屬性;
圖片識別模塊,用于從顯存中逐幀讀取圖片;并從上述讀取的圖片中截取與當前待識別圖片的起始位置及尺寸相同的子圖片;以及根據(jù)上述子圖片與當前待識別圖片的圖像相似度是否大于等于預設(shè)值,和/或上述子圖片的文字色彩占比是否與待識別圖片的文字色彩占比相同,對當前待識別圖片進行識別。
上述方法中,上述圖片識別模塊還用于計算子圖片及當前待識別圖片的灰色直方圖及灰色直方圖的巴氏系數(shù);以及用于判斷當前待識別圖片的類型及預設(shè)的識別方式。
本發(fā)明在無需修改應用的情況下,即可感知電視內(nèi)容,進而為未來發(fā)生動作的處理提供預備;使得智能電視更加智能。
附圖說明
此處所說明的附圖用來提供對本發(fā)明的進一步理解,構(gòu)成本發(fā)明的一部分,本發(fā)明的示意性實施例及其說明用于解釋本發(fā)明,并不構(gòu)成對本發(fā)明的不當限定。在附圖中:
圖1是本發(fā)明所述智能電視機的顯存圖像識別方法優(yōu)選實施例的流程圖;
圖2是本發(fā)明所述智能電視機顯存圖像識別裝置的優(yōu)選實施例的原理框圖。
具體實施方式
為了使本發(fā)明所要解決的技術(shù)問題、技術(shù)方案及有益效果更加清楚、明白,以下結(jié)合附圖和實施例,對本發(fā)明進行進一步詳細說明。應當理解,此處所描述的具體實施例僅用以解釋本發(fā)明,并不用于限定本發(fā)明。
如圖1所示,是本發(fā)明所述智能電視機的顯存圖像識別方法優(yōu)選實施例 的流程圖;本實施例中,智能電視采用android系統(tǒng);具體包括以下步驟:
步驟S001:監(jiān)測智能電視機上是否有游戲類應用啟動,若是,則執(zhí)行步驟S002;否則,繼續(xù)執(zhí)行本步驟;
步驟S002:獲取上述應用的包名及電視機分辨率;
步驟S003:根據(jù)上述包名及分辨率,從云端獲取預存的待識別圖片及其屬性;
待識別圖片包括圖像圖片和/或文字圖片,上述圖像圖片屬性包括圖片起始位置及尺寸;上述文字圖片屬性包括圖片起始位置、尺寸及文字色彩占比。
本步驟可將從云端獲取的待識別圖片及其屬性保存到本地;
步驟S004:從顯存中逐幀讀取圖片;
步驟S005:從當前讀取的圖片中截取與當前待識別圖片的起始位置及尺寸相同的子圖片;
步驟S006:根據(jù)子圖片與當前待識別圖片的圖像相似度是否大于等于預設(shè)值,和/或上述子圖片的文字色彩占比是否與待識別圖片的文字色彩占比相同,識別當前待識別圖片;本步驟具體包括以下步驟:
步驟S0061:判斷當前待識別圖片的類型;若當前待識別圖片為圖像圖片,則執(zhí)行步驟S0062;若當前待識別圖片為文字圖片,則執(zhí)行步驟S0063;若當前待識別圖片包括圖像圖片和文字圖片,則執(zhí)行步驟S0064;
步驟S0062:計算子圖片與當前待識別圖片的圖像相似度,并判斷上述相似度是否大于等于預設(shè)值S,若是,則當前待識別圖片識別成功,當前待識別圖片處理結(jié)束;否則,當前待識別圖片識別失敗,當前待識別圖片處理結(jié)束;
本發(fā)明通過如下步驟計算子圖片與當前待識別圖片的圖像相似度p:
計算上述子圖片及當前待識別圖片的灰色直方圖;灰色直方圖的具體計算過程如下:
根據(jù)圖片的長和寬,計算圖片的像素點總數(shù)及每個像素點的pixel值,再根據(jù)每個像素點的pixel值,計算紅(r=(pixel>>16)&0xFF)、綠(g=(pixel>>8)&0xFF)、藍(b=(pixel>>0)&0xFF)在pixel值中的比例值,然后根據(jù)公式
color=0.299*r+0.587*g+0.114*b
計算當前像素的灰化色彩值color,其中,r為紅在當前像素點的pixel值 中的比例值;g為綠在當前像素點的pixel值中的占比值;b為綠在當前像素點的pixel值中的比例值;
最后計算當前像素的灰化色彩值color在像素點總數(shù)中的比例值;
所有像素的灰化色彩值color在像素點總數(shù)中的比例值組成數(shù)組L,L即為圖片的灰色直方圖。
根據(jù)子圖片及當前待識別圖片的灰色直方圖及如下公式:
計算上述子圖片與當前待識別圖片的巴氏系數(shù)P,P值即為上述子圖片與當前待識別圖片的圖像相似度;
其中,i為灰色直方圖中元素的序號,其初始值為0;n為灰色直方圖的長度;ai表示子圖片灰色直方圖中的第i個元素;bi表示待識別圖片的灰色直方圖中的第i個元素;由于子圖片和當前待識別圖片的大小相同,故他們的灰色直方圖的長度n相同;
步驟S0063:計算子圖片的文字色彩占比,并判斷是否與當前待識別圖片的文字色彩占比相同,若是,則當前待識別圖片識別成功,當前待識別圖片處理結(jié)束;否則,當前待識別圖片識別失敗,當前待識別圖片處理結(jié)束;
子圖片的文字色彩占比即為子圖片中與當前待識別圖片中的文字色彩相同的色彩占上述子圖片的百分比;
步驟S0064:查看預設(shè)的識別方式,若為圖像優(yōu)先,則執(zhí)行步驟S0065;若為文字優(yōu)先,則執(zhí)行步驟S0067;若為圖像和文字同優(yōu)先級,則執(zhí)行步驟S0069;
步驟S0065:計算子圖片與當前待識別圖片的圖像相似度,并判斷上述相似度是否大于等于預設(shè)值S,若是,則當前待識別圖片識別成功,當前待識別圖片處理結(jié)束;否則,執(zhí)行步驟S0066;
步驟S0066:計算子圖片的文字色彩占比,并判斷是否與當前待識別圖片的文字色彩占比相同,若是,則當前待識別圖片識別成功,當前待識別圖片處理結(jié)束;否則,當前待識別圖片識別失敗,當前待識別圖片處理結(jié)束;
步驟S0067:計算子圖片的文字色彩占比,并判斷是否與當前待識別圖片的文字色彩占比相同,若是,則當前待識別圖片識別成功,當前待識別圖 片處理結(jié)束;否則,執(zhí)行步驟S0068;
步驟S0068:計算子圖片與當前待識別圖片的圖像相似度,并判斷上述相似度是否大于等于預設(shè)值S,若是,則當前待識別圖片識別成功,當前待識別圖片處理結(jié)束;否則,當前待識別圖片識別失敗,當前待識別圖片處理結(jié)束;
步驟S0069:計算子圖片與當前待識別圖片的圖像相似度,并判斷上述相似度是否大于等于預設(shè)值S,若是,則執(zhí)行步驟S0070;否則,當前待識別圖片識別失敗,當前待識別圖片處理結(jié)束;
步驟S0070:計算子圖片的文字色彩占比,并判斷是否與當前待識別圖片的文字色彩占比相同,若是,則當前待識別圖片識別成功,當前待識別圖片處理結(jié)束;否則,當前待識別圖片識別失敗,當前待識別圖片處理結(jié)束;
步驟S007:判讀是否識別成功,若是,則執(zhí)行步驟S008;否則,執(zhí)行步驟S009;
步驟S008:讀取顯存中的下一幀圖片,并對剩余的待識別圖片轉(zhuǎn)入步驟S005執(zhí)行;
步驟S009:判斷當前識別的圖片是否是待識別圖片中的最后一個,若是,則執(zhí)行步驟S008;否則,執(zhí)行步驟S010;
步驟S010:對下一個待識別圖片轉(zhuǎn)入步驟S005執(zhí)行。
如圖2所示,是本發(fā)明上述智能電視機顯存圖像識別裝置的優(yōu)選實施例的原理框圖;本實施例包括監(jiān)測模塊10、數(shù)據(jù)處理模塊20及圖片識別模塊30,其中,上述
檢測模塊10,用于監(jiān)測智能電視是否有游戲類應用啟動,并在有游戲類應用啟動時,通知數(shù)據(jù)處理模塊20;
數(shù)據(jù)處理模塊20:用于獲取應用的包名及智能電視機的分辨率;并根據(jù)上述包名及分辨率,從云端獲取預存的待識別圖片及其屬性;
圖片識別模塊30,用于從顯存中逐幀讀取圖片;并從上述讀取的圖片中截取與當前待識別圖片的起始位置及尺寸相同的子圖片;計算子圖片及當前待識別圖片的灰色直方圖及灰色直方圖的巴氏系數(shù);判斷當前待識別圖片的類型及預設(shè)的識別方式;以及根據(jù)當前待識別圖片的類型、預設(shè)的識別方式及子圖片與當前待識別圖片的圖像相似度是否大于等于預設(shè)值和/或上述子 圖片的文字色彩占比是否與待識別圖片的文字色彩占比相同,對當前待識別圖片進行識別。
上述說明示出并描述了本發(fā)明的優(yōu)選實施例,但如前所述,應當理解本發(fā)明并非局限于本文所披露的形式,不應看作是對其他實施例的排除,而可用于各種其他組合、修改和環(huán)境,并能夠在本文所述發(fā)明構(gòu)想范圍內(nèi),通過上述教導或相關(guān)領(lǐng)域的技術(shù)或知識進行改動。而本領(lǐng)域人員所進行的改動和變化不脫離本發(fā)明的精神和范圍,則都應在本發(fā)明所附權(quán)利要求的保護范圍內(nèi)。