本發(fā)明涉及果蔬儲藏技術領域，特別是涉及一種果蔬新鮮度的識別方法及裝置。

背景技術：

將果蔬保存在冰箱中可以有效提高果蔬的保質(zhì)時間?，F(xiàn)有技術中可以記錄果蔬在冰箱中的存放時長，但是現(xiàn)有技術不能獲取自采摘到放入冰箱期間的時間和周圍環(huán)境因素，單純通過在冰箱中的存放時長推斷果蔬的新鮮度；因此現(xiàn)有技術通過記錄食物在冰箱中存放時長來判定食物是否過期，未考慮自食物產(chǎn)生到放入冰箱期間的時間，這樣單純通過在冰箱中的存放時長推斷果蔬的新鮮度不夠客觀，條件不充分，導致判斷食物是否過期的結論不準確。

技術實現(xiàn)要素：

為了克服上述現(xiàn)有技術的缺陷，本發(fā)明要解決的技術問題是提供一種果蔬新鮮度的識別方法及裝置，用以解決現(xiàn)有技術中對保鮮設備內(nèi)果蔬新鮮度判斷不準確的問題。

為解決上述技術問題，本發(fā)明中的一種果蔬新鮮度的識別方法，包括：

采集待識別果蔬的果蔬圖像；

從所述果蔬圖像中提取顏色直方圖和邊緣梯度直方圖；

將所述顏色直方圖和所述邊緣梯度直方圖組合為特征向量；

將所述特征向量輸入預設的分類器中，并使所述分類器根據(jù)所述待識別果蔬的果蔬類別選擇對應的新鮮度識別模型，以使所述新鮮度識別模型識別所述待識別果蔬的新鮮度。

為解決上述技術問題，本發(fā)明中的一種果蔬新鮮度的識別裝置，包括：

采集模塊，用于采集待識別果蔬的果蔬圖像；

提取模塊，用于從所述果蔬圖像中提取顏色直方圖和邊緣梯度直方圖；將所述顏色直方圖和所述邊緣梯度直方圖組合為特征向量；

識別模塊，用于將所述特征向量輸入預設的分類器中，并使所述分類器根據(jù)所述待識別果蔬的果蔬類別選擇對應的新鮮度識別模型，以使所述新鮮度識別模型識別所述待識別果蔬的新鮮度。

本發(fā)明有益效果如下：

本發(fā)明中方法及裝置，通過采集待識別果蔬的果蔬圖像，從所述果蔬圖像中提取特定的特征向量，將所述特征向量輸入預設的分類器中，并使所述分類器根據(jù)所述待識別果蔬的果蔬類別選擇對應的新鮮度識別模型，以使所述新鮮度識別模型識別所述待識別果蔬的新鮮度，從而有效解決現(xiàn)有技術中對保鮮設備內(nèi)果蔬新鮮度判斷不準確的問題。

附圖說明

圖1是本發(fā)明實施例中一種果蔬新鮮度的識別方法流程圖；

圖2是本發(fā)明實施例中果蔬新鮮度模型訓練流程圖；

圖3是本發(fā)明實施例中一種具體的果蔬新鮮度的識別方法流程圖；

圖4是本發(fā)明實施例中一種果蔬新鮮度的識別裝置的結構示意圖。

具體實施方式

為了解決現(xiàn)有技術中對保鮮設備內(nèi)果蔬新鮮度判斷不準確的問題，本發(fā)明提供了一種果蔬新鮮度的識別方法及裝置，以下結合附圖以及實施例，對本發(fā)明進行進一步詳細說明。應當理解，此處所描述的具體實施例僅用以解釋本發(fā)明，并不限定本發(fā)明。

如圖1所示，本發(fā)明實施例中一種果蔬新鮮度的識別方法，包括：

s101，采集待識別果蔬的果蔬圖像；

s102，從所述果蔬圖像中提取特征向量；具體說，從所述果蔬圖像中提取顏色直方圖和邊緣梯度直方圖；將所述顏色直方圖和所述邊緣梯度直方圖組合為特征向量；

s103，將所述特征向量輸入預設的分類器中，并使所述分類器根據(jù)所述待識別果蔬的果蔬類別選擇對應的新鮮度識別模型，以使所述新鮮度識別模型識別所述待識別果蔬的新鮮度。

本發(fā)明實施例通過采集待識別果蔬的果蔬圖像，從所述果蔬圖像中提取特定的特征向量，將所述特征向量輸入預設的分類器中，并使所述分類器根據(jù)所述待識別果蔬的果蔬類別選擇對應的新鮮度識別模型，以使所述新鮮度識別模型識別所述待識別果蔬的新鮮度，從而有效解決現(xiàn)有技術中對保鮮設備內(nèi)果蔬新鮮度判斷不準確的問題。

也就是說，本發(fā)明實施例考慮到果蔬在成熟和變腐過程中均會伴隨著顏色、形狀、輪廓和紋理等外觀變化，因此從根本出發(fā)，直接獲取果蔬的外觀特征，通過統(tǒng)計分析的方法對外觀特征進行分類識別，直接得到果蔬的新鮮度，不受采摘時間、放入保鮮設備(例如冰箱)時間等條件的約束，進而有效提高了對果蔬新鮮度判斷的準確性。本發(fā)明實施例較其他現(xiàn)有技術更為直接、有效，并且不受其他條件的限制，能夠從根本上直接得到最終結果。

在上述實施例的基礎上，進一步提出上述實施例的變型實施例，在此需要說明的是，為了使描述簡要，在各變型實施例中僅描述與上述實施例的不同之處。

在本發(fā)明的一個實施例中，所述將所述特征向量輸入預設的分類器中，并使所述分類器根據(jù)所述待識別果蔬的果蔬類別選擇對應的新鮮度識別模型，以使所述新鮮度識別模型識別所述待識別果蔬的新鮮度之前，還包括：

采集至少一種果蔬的至少一個圖片樣本；

針對每種果蔬：對該種果蔬的每個圖片樣本標注對應的新鮮度標簽；

從每個圖片樣本的果蔬圖像提取特征向量；

將提取的特征向量和對應的新鮮度標簽送入所述分類器中進行訓練，以使所述分類器輸出該種果蔬對應的新鮮度識別模型。其中，基于識別效果的考慮，選用svm(supportvectormachine)分類器。

在本發(fā)明實施例的一個具體實施方式中，所述從每個圖片樣本的果蔬圖像提取特征向量，包括：

對每個圖片樣本進行分割和尺寸歸一化預處理，得到該圖片樣本的果蔬圖像；從得到的果蔬圖像中提取特征向量。

在本發(fā)明實施例的另一個具體實施方式中，所述提取特征向量包括：

提取顏色直方圖和邊緣梯度直方圖；

將所述顏色直方圖和邊緣梯度直方圖組合為特征向量。

簡述本發(fā)明實施例中的顏色直方圖、邊緣梯度直方圖和svm分類器。

顏色直方圖：

顏色直方圖中的數(shù)值都是統(tǒng)計而來，描述了該圖像中關于顏色的數(shù)量特征，可以反映圖像顏色的統(tǒng)計分布和基本色調(diào)；顏色直方圖只包含了該圖像中某一顏色值出現(xiàn)的頻數(shù)，而不關心某象素所在的空間位置信息；任一幅圖像都能唯一的給出一幅與它對應的顏色直方圖，但不同的圖像可能有相同的顏色分布，從而就具有相同的顏色直方圖，因此顏色直方圖與圖像是一對多的關系；如將圖像劃分為若干個子區(qū)域，所有子區(qū)域的顏色直方圖之和等于全圖直方圖；一般情況下，由于圖像上的背景和前景物體顏色分布明顯不同，從而在顏色直方圖上會出現(xiàn)雙峰特性，但背景和前景顏色較為接近的圖像不具有這個特性。

梯度方向直方圖：

梯度方向直方圖重在提取圖像的邊緣信息，通過邊緣算子得到每個像素的邊緣梯度和邊緣方向，并根據(jù)方向?qū)⒅狈綀D劃分為若干個bin，將每個像素的邊緣梯度根據(jù)邊緣方向投影到對應的bin中，最終得到梯度方向直方圖。主要反映圖像的紋理、輪廓和形狀等特征。

svm分類器：

在機器學習領域，支持向量機svm分類器是一個有監(jiān)督的學習模型，通常用來進行模式識別、分類、以及回歸分析。主要思想可以概括為：它是針對線性可分情況進行分析，對于線性不可分的情況，通過使用非線性映射算法將低維輸入空間線性不可分的樣本轉化為高維特征空間使其線性可分，從而使得高維特征空間采用線性算法對樣本的非線性特征進行線性分析成為可能。

本發(fā)明實施例采用分類器，通過通過訓練的方式得到新鮮度識別模型，并將新鮮度識別模型應用到果蔬的新鮮度檢測，從而進一步提高了對果蔬新鮮度判斷的準確性。

本發(fā)明實施例中果蔬新鮮度識別模型的具體流程如圖2所示，包括：

步驟1，采集一種果蔬的圖片樣本；

步驟2，對果蔬樣本進行新鮮度標注，每個圖片樣本的新鮮度標簽即為其最多可再存放多少天；

步驟3，圖片樣本預處理，將采集的圖片樣本進行分割、尺寸歸一化等預處理；

步驟4，提取預處理圖片(即該圖片樣本的果蔬圖像)的顏色直方圖和梯度方向直方圖，并將二者合并為同一個特征向量；

步驟5，將特征向量和對應的類別標簽送入svm分類器，訓練分類器；

步驟6，分類器訓練完成，輸出訓練結果，即果蔬新鮮度識別模型，該模型可以直接得到果蔬對應的新鮮度。

在本發(fā)明的另一個實施例中，所述待識別果蔬存儲在保鮮設備的儲物空間；所述采集待識別果蔬的果蔬圖像，包括：

對所述儲物空間進行圖像采集，得到原始圖像；

對所述原始圖像進行圖像分割，得到1個或多個果蔬圖像；

將各果蔬圖像分別作為一個待識別果蔬的果蔬圖像。

本發(fā)明實施例利用圖像分割技術對儲物空間(例如冷藏室)的照片進行圖像分割，將不同果蔬的所在區(qū)域分隔開，每種果蔬對應一個區(qū)域，得到若干子圖像(subimg0,subimg1,……,subimgn)，每副子圖像包含一種果蔬；也就是說本發(fā)明實施例通過圖像分割，可以有效的識別出儲物空間中的果蔬，為實現(xiàn)對儲物空間的存儲的多個果蔬進行新鮮度識別提供了必要前提。

在本發(fā)明實施例的一個具體實施方式中，所述對所述原始圖像進行圖像分割，得到1個或多個果蔬圖像，包括：

提取所述原始圖像中邊緣信息，得到1個或多個包含邊緣的二值圖；

提取每個所述二值圖的輪廓，根據(jù)每個輪廓從所述原始圖像中提取一個對應的果蔬圖像。

進一步說，所述提取每個所述二值圖的輪廓，根據(jù)每個輪廓從所述原始圖像中提取一個對應的果蔬圖像，包括：

通過輪廓面積和先驗知識刪除不符合預設要求的輪廓；

根據(jù)剩余的每個輪廓從所述原始圖像中提取一個對應的果蔬圖像。

具體說，本發(fā)明實施例包括：

步驟1，獲取原始果蔬圖像(即原始圖像)；

步驟2，利用canny算子提取圖像的邊緣信息，得到只包含邊緣的二值圖；

步驟3，提取二值圖的輪廓；

步驟4，通過輪廓面積和先驗知識刪除面積過小、過大及特殊形狀的輪廓；即刪除不符合預設要求的輪廓；

步驟5，剩下的每個輪廓對應一個果蔬的區(qū)域；

步驟6，在原始圖像中截取每個區(qū)域的圖像，得到各個果蔬的子圖像。

在本發(fā)明實施例的另一個具體實施方式中，所述將所述特征向量輸入預設的分類器中，并使所述分類器根據(jù)所述待識別果蔬的果蔬類別選擇對應的新鮮度識別模型，以使所述新鮮度識別模型識別所述待識別果蔬的新鮮度之前，還包括：

采集至少一種果蔬的至少一個果蔬圖像(也可稱之為圖片樣本)；

針對每種果蔬：對該種果蔬的每個果蔬圖像標注果蔬類別標簽，形成訓練樣本；

通過所述訓練樣本對預先搭建的果蔬類別識別深度學習模型進行監(jiān)督訓練，得到所述果蔬類別識別模型；

通過所述果蔬類別識別模型，識別出所述待識別果蔬的果蔬類別。

進一步說，所述識別出所述待識別果蔬的果蔬類別，還包括：

得到與所述果蔬類別對應的類別索引；

所述根據(jù)所述待識別果蔬的果蔬類別選擇對應的新鮮度識別模型，包括：

根據(jù)所述待識別果蔬的類別索引選擇對應的新鮮度識別模型。

本具體實施方式，可以有效的識別出每個果蔬圖像對應的果蔬類別。也就是說本具體實施方式實現(xiàn)了通過深度學習技術識別每種果蔬對應的子圖像，得到每一種果蔬的所屬類別索引(categoryindex)，包括：

步驟1，搭建果蔬種類識別深度學習網(wǎng)絡模型；

步驟2，采集果蔬圖片并標注，形成訓練樣本；

步驟3，通過訓練樣本對網(wǎng)絡模型進行有監(jiān)督訓練，得到果蔬種類識別模型；

步驟4，將子圖像作為果蔬種類識別模型，識別模型輸出果蔬的種類，得到果蔬所屬類別索引categoryindex；

在本發(fā)明實施例的又一個具體實施方式中，所述對所述儲物空間進行圖像采集，得到原始圖像，包括：

在所述保鮮設備的設定檢測范圍內(nèi)進行預設目標檢測；

在檢測到目標的情況下，對所述目標進行面部識別；

當識別出所述目標的面部朝向所述保鮮設備時，對所述儲物空間進行圖像采集，得到原始圖像。

本具體實施方式基于檢測結果，判斷是否啟動果蔬的新鮮度識別的任務。具體說，包括：

步驟1，通過預置的一個紅外探測功能，實時檢測冰箱一定范圍內(nèi)是否有目標(例如人)出現(xiàn)；

步驟2，若有人出現(xiàn)，則進行人臉(即面部)識別，檢測是否有人臉出現(xiàn)；

步驟3，若檢測到人臉，則啟動預置的姿態(tài)判斷模塊，判斷人臉是否面朝冰箱；

步驟4，若人臉面朝冰箱則表示用戶正在關注冰箱，此時啟動后續(xù)模塊執(zhí)行步驟5，否則不啟動；

步驟5，打開保鮮設備(例如冰箱)的儲物空間(例如冷藏室)內(nèi)的燈光，通過攝像頭對冷藏室進行拍照，得到冷藏室的照片(img_all，即原始圖像)。

以冰箱為例，舉一具體實施方式描述本發(fā)明中果蔬新鮮度的識別方法。

如圖3所示，本具體實施方式包括：

1、訓練果蔬新鮮度識別模型(recmodel)；

2、通過喚醒模塊判斷是否喚醒冰箱，啟動果蔬新鮮度識別任務；

3、打開冰箱冷藏室內(nèi)的燈光，通過攝像頭對冷藏室進行拍照，得到冷藏室的照片(img_all)；

4、利用圖像分割技術對冷藏室的照片進行圖像分割，將不同果蔬的所在區(qū)域分隔開，每種果蔬對應一個區(qū)域，得到若干子圖像(subimg0,subimg1……subimgn)，每副子圖像包含一種果蔬；

5、通過深度學習技術識別每種果蔬對應的子圖像，得到每一種果蔬的所屬類別索引(categoryindex)；

6、識別子圖像對應的果蔬新鮮度：

1)提取子圖像的顏色直方圖和邊緣梯度直方圖；

2)將二者組合為特征向量featurevec；

3)將featurevec輸入svm分類器，svm分類器通過categoryindex選擇對應的新鮮度識別模型recmodeli，并利用recmodeli對featurevec進行新鮮度識別，得到每種果蔬可繼續(xù)存放的時長(remaintime)；

7、對remaintime按照升序排列，并將排序結果輸出。

本具體實施方式在策略上通過拍攝冰箱內(nèi)果蔬的圖像來識別果蔬的新鮮度，可以通過果蔬的外觀特征直接識別出新鮮程度，較其他方式，諸如記錄果蔬在冰箱中存放時長的方法、通過往冰箱中存放食物時手工設定計時器等方法，更直接有效。

本發(fā)明進一步提出一種果蔬新鮮度的識別裝置，包括：

采集模塊310，用于采集待識別果蔬的果蔬圖像；

提取模塊320，用于從所述果蔬圖像中提取顏色直方圖和邊緣梯度直方圖；將所述顏色直方圖和所述邊緣梯度直方圖組合為特征向量；

識別模塊330，用于將所述特征向量輸入預設的分類器中，并使所述分類器根據(jù)所述待識別果蔬的果蔬類別選擇對應的新鮮度識別模型，以使所述新鮮度識別模型識別所述待識別果蔬的新鮮度。

本發(fā)明實施例通過采集待識別果蔬的果蔬圖像，從所述果蔬圖像中提取特定的特征向量，將所述特征向量輸入預設的分類器中，并使所述分類器根據(jù)所述待識別果蔬的果蔬類別選擇對應的新鮮度識別模型，以使所述新鮮度識別模型識別所述待識別果蔬的新鮮度，從而有效解決現(xiàn)有技術中對保鮮設備內(nèi)果蔬新鮮度判斷不準確的問題。

在本發(fā)明的一個實施例中，所述裝置還包括訓練模塊，所述訓練模塊包括新鮮度訓練模塊和類別訓練模塊：

新鮮度訓練模塊，用于采集至少一種果蔬的至少一個圖片樣本；

針對每種果蔬：對該種果蔬的每個圖片樣本標注對應的新鮮度標簽；

從每個圖片樣本的果蔬圖像提取特征向量；

將提取的特征向量和對應的新鮮度標簽送入所述分類器中進行訓練，以使所述分類器輸出該種果蔬對應的新鮮度識別模型。

進一步說，所述從每個圖片樣本的果蔬圖像提取特征向量，包括：

對每個圖片樣本進行分割和尺寸歸一化預處理，得到該圖片樣本的果蔬圖像；

從得到的果蔬圖像中提取特征向量。

在本發(fā)明的另一個實施例中，所述提取特征向量包括：

提取顏色直方圖和邊緣梯度直方圖；

將所述顏色直方圖和邊緣梯度直方圖組合為特征向量。

在本發(fā)明的又一個實施例中，所述待識別果蔬存儲在保鮮設備的儲物空間；

所述采集模塊，具體用于對所述儲物空間進行圖像采集，得到原始圖像；

對所述原始圖像進行圖像分割，得到1個或多個果蔬圖像；

將各果蔬圖像分別作為一個待識別果蔬的果蔬圖像。

進一步說，所述對所述原始圖像進行圖像分割，得到1個或多個果蔬圖像，包括：

提取所述原始圖像中邊緣信息，得到1個或多個包含邊緣的二值圖；

提取每個所述二值圖的輪廓，根據(jù)每個輪廓從所述原始圖像中提取一個對應的果蔬圖像。

其中，所述提取每個所述二值圖的輪廓，根據(jù)每個輪廓從所述原始圖像中提取一個對應的果蔬圖像，包括：

通過輪廓面積和先驗知識刪除不符合預設要求的輪廓；

根據(jù)剩余的每個輪廓從所述原始圖像中提取一個對應的果蔬圖像。

進一步說，所述類別訓練模塊，用于采集至少一種果蔬的至少一個果蔬圖像；

針對每種果蔬：對該種果蔬的每個果蔬圖像標注果蔬類別標簽，形成訓練樣本；

通過所述訓練樣本對預先搭建的果蔬類別識別深度學習模型進行監(jiān)督訓練，得到所述果蔬類別識別模型；

通過所述果蔬類別識別模型，識別出所述待識別果蔬的果蔬類別。

其中，所述識別出所述待識別果蔬的果蔬類別，還包括：

得到果蔬類別對應的類別索引；

所述根據(jù)所述待識別果蔬的果蔬類別選擇對應的新鮮度識別模型，包括：

根據(jù)所述待識別果蔬的類別索引選擇對應的新鮮度識別模型。

在本發(fā)明實施例的一個具體實施方式中，所述裝置還包括：

探測模塊，用于在所述保鮮設備的設定檢測范圍內(nèi)進行預設目標檢測；

姿態(tài)判斷模塊，用于在檢測到目標的情況下，對所述目標進行面部識別；當識別出所述目標的面部朝向所述保鮮設備時，對所述儲物空間進行圖像采集，得到原始圖像。

本發(fā)明通過訓練果蔬新鮮度識別模型，通過每種果蔬對應一個識別模型，該模型可以直接得到果蔬的新鮮度；通過圖像分割模塊(即分割模塊)有效識別冗余信息和有效信息，從而保證了分割效果，進一步保證了果蔬圖片的質(zhì)量，進一步提高了果蔬新鮮度識別準確性；通過果蔬種類識別模塊的識別結果直接決定了使用哪個果蔬新鮮度識別模型，進一步提高了果蔬新鮮度識別錯誤。從而實現(xiàn)了通過果蔬的顏色、紋理和輪廓等外觀特征識別果蔬的新鮮度，采用本發(fā)明中裝置識別果蔬新鮮度較其他技術更為直接、有效，不受其他條件的限制，能夠從根本上直接得到最終結果

需要說明的是，本發(fā)明中裝置可以是單獨存在的一種識別裝置，也可以是保鮮設備，還可以是設置在保鮮設備(例如冰箱)的一個功能模塊。

也就是說，本發(fā)明還提供一種保鮮設備，所述保鮮設備包括上述任意一種果蔬新鮮度的識別裝置。所述保鮮設備可以是冰箱、保鮮柜等等。

雖然本申請描述了本發(fā)明的特定示例，但本領域技術人員可以在不脫離本發(fā)明概念的基礎上設計出來本發(fā)明的變型。

本領域技術人員在本發(fā)明技術構思的啟發(fā)下，在不脫離本發(fā)明內(nèi)容的基礎上，還可以對本發(fā)明做出各種改進，這仍落在本發(fā)明的保護范圍之內(nèi)。