本發(fā)明公開(kāi)了一種基于圖像采集裝置的在線非煙葉物質(zhì)以及煙葉正反面的識(shí)別方法及其應(yīng)用，屬于煙葉視覺(jué)分析技術(shù)。
背景技術(shù)：
：煙葉的離線圖像分析研究一直是國(guó)內(nèi)研究的課題，主要包括從煙葉的圖像中分析出煙葉的重量，主脈的面積，梗的面積，從梗的圖像中獲取梗的長(zhǎng)度，以及梗的面積，和梗的重量，就其本質(zhì)是因?yàn)樵陔x線分析的過(guò)程中，煙葉的基本色與背景色相差很大，各個(gè)煙葉之間沒(méi)有產(chǎn)生交叉與重疊，很容易把煙葉的特征信息給提取出來(lái)；而對(duì)于在線煙葉的顏色分析而言，煙葉的基本色受外界的影響較大，各個(gè)煙葉的信息重疊，不同煙葉的色度，對(duì)方位置交錯(cuò)，對(duì)于不同的煙葉色度也有區(qū)別，對(duì)于同一片煙葉的特征也不一定全部一樣，相同點(diǎn)隱隱約約之中，差異點(diǎn)時(shí)時(shí)處處存在；如何找到?jīng)Q定煙葉正反面以及梗的核心特征，便關(guān)系著煙葉特征信息的提取的成功與否。近年來(lái)隨著打葉復(fù)烤的持續(xù)發(fā)展，復(fù)烤廠作為卷煙工藝配方的前移站發(fā)揮著越來(lái)越重要的作用，復(fù)烤廠對(duì)原料內(nèi)在化學(xué)成分的質(zhì)量控制，穩(wěn)定葉組配方，使得卷煙原料的外觀指標(biāo)與內(nèi)在化學(xué)成分的協(xié)調(diào)性，為卷煙配方的穩(wěn)定性與卷煙原料的可用性起到了一個(gè)重要中轉(zhuǎn)站的作用；煙葉的內(nèi)在質(zhì)量是卷煙內(nèi)在質(zhì)量的基礎(chǔ)，提高煙葉內(nèi)在質(zhì)量是煙葉各個(gè)工作環(huán)節(jié)的核心目標(biāo)，通過(guò)復(fù)烤工藝與復(fù)烤管理從煙葉原料的外觀指標(biāo)和內(nèi)在化學(xué)成分的角度控制煙葉的內(nèi)在質(zhì)量的穩(wěn)定性意義突出，隨著近 紅外快速分析體系的建立，對(duì)煙葉化學(xué)成分的在線控制已經(jīng)基本能夠?qū)崿F(xiàn)；對(duì)于煙葉的外觀復(fù)烤的工藝調(diào)控由于受制于在線煙葉外觀的檢測(cè)少有報(bào)道；對(duì)原料的外觀的離線分析，上海煙草集團(tuán)”基于智能圖像處理和模型估計(jì)的煙葉葉面積質(zhì)量測(cè)定方法”專利的圖像處理方法是目前為止對(duì)煙葉離線分析處理的一般經(jīng)典方法；但是由于其背景簡(jiǎn)單使得應(yīng)用于在線復(fù)雜背景以及復(fù)雜色差體系下的在線分析識(shí)別能力不強(qiáng)的缺點(diǎn)；主要原因是在線分析的煙葉正反面以及煙葉背景，梗對(duì)煙葉的特征信息的影響造成的。技術(shù)實(shí)現(xiàn)要素：本發(fā)明的提供的一種基于相機(jī)的在線煙葉的正反面的識(shí)別方法，該方法依次包括圖像的獲取，圖像的預(yù)處理，圖像的特征提取，圖像的邊緣提取，圖像的特征聚類(lèi)，該方法具有操作簡(jiǎn)單，識(shí)別準(zhǔn)確的特點(diǎn)，克服上述現(xiàn)有技術(shù)的缺陷。本發(fā)明提供一種基于相機(jī)的在線煙葉的正反面的識(shí)別方法，包括以下步驟：步驟A、在原煙挑選線獲取原煙煙葉的掃描圖像，對(duì)掃描圖像進(jìn)行濾波處理；然后對(duì)圖像進(jìn)行灰度處理得到灰度矩陣G；人工測(cè)量煙梗在實(shí)際煙葉的面積占比；該面積比為記為PG；并統(tǒng)計(jì)獲得原料樣本的煙葉正反面比例；步驟B、對(duì)灰度矩陣G選取一定的閾值；對(duì)閾值的分別進(jìn)行二值化矩陣，矩陣的像素為m×n；分別計(jì)算在上述閾值下的二值化矩陣p(s)=Area(G(i,j)==0)m×n]]>其中Area(G(i，j)＝＝0)表征的是灰度矩陣在s閾值上，G(i，j)＝0的圖像像素點(diǎn)數(shù)，根據(jù)人工測(cè)量的煙梗在實(shí)際煙葉的面積占比PG，選取p(s)＝PG的閾值s作為圖像的二值化閾值；步驟C、根據(jù)原料樣本的原料樣本煙梗的面積比例確定煙梗二值化閾值，計(jì)算煙梗的面積比例p(b)；在生產(chǎn)線上取待測(cè)量的煙葉樣本圖像，待測(cè)圖片進(jìn)行中值濾波，根據(jù)閾值s來(lái)對(duì)濾波后的圖像進(jìn)行二值化操作，得到二值化矩陣Im；計(jì)算煙梗的面積占比為；Im中為0的元素個(gè)數(shù)除以(m*n)；定義待測(cè)煙葉樣本中煙梗的比例為p(b)，則p(b)=count(Im==0)m×n]]>步驟D、將煙葉樣本圖像，分別提取圖像的RGB的顏色空間，把煙葉顏色空間轉(zhuǎn)化為HSV孟塞爾空間，其中rgb轉(zhuǎn)換成hsv采用rgb2hsv函數(shù)，根據(jù)HSV的顏色均值空間分布；建立煙葉HSV顏色異常分析模型，保留正常樣本圖像；步驟E、將正常樣本圖像進(jìn)行濾波；步驟F、根據(jù)原料樣本的煙葉正反面比例確定煙葉正反二值化閾值，根據(jù)煙葉正反二值化閾值，根據(jù)二值化矩陣得到每個(gè)格子區(qū)域圖像的連通關(guān)系；并計(jì)算每個(gè)格子的圖像中煙葉連通區(qū)域的面積。計(jì)算煙葉正面的面積比例p1(a)；步驟G、計(jì)算煙葉反面所占的比例pp＝p1(a)/(1-p(b))。進(jìn)一步，本發(fā)明提供一種基于相機(jī)的在線煙葉的正反面的識(shí)別方法，還可以具有這樣的特征：步驟D中，HSV顏色異常模型的識(shí)別方法為最 小行列式判別法(MCD)、半重?cái)?shù)采樣法(RHM)、馬氏距離判別法(MD)、蒙特卡洛偏最小二乘二維殘差分析法(PLSMCCV)中的任意一種。進(jìn)一步，本發(fā)明提供一種基于相機(jī)的在線煙葉的正反面的識(shí)別方法，還可以具有這樣的特征：步驟D中，HSV顏色異常模型的識(shí)別方法具有以下步驟：定義校正模型中第i個(gè)樣本點(diǎn)對(duì)第h個(gè)成分th的貢獻(xiàn)率為m為提取的PCA(PLS)成分?jǐn)?shù)；n為分析樣本的個(gè)數(shù)；Thi2=thi2(n-1)sh2]]>∴Ti2=1n-1Σh=1mthi2sh2,]]>n2(n-m)m(n2-1)Ti2~F(m,n-m)]]>當(dāng)在校正模型里面光譜的主成分貢獻(xiàn)率滿足：Ti2≥m(n2-1)n2(n-m)F0.05(m,n-m)]]>則認(rèn)為樣本點(diǎn)異常。進(jìn)一步，本發(fā)明提供一種基于相機(jī)的在線煙葉的正反面的識(shí)別方法，還可以具有這樣的特征：當(dāng)m＝2時(shí)，在二維平面上就形成了一個(gè)橢圓；置信橢圓內(nèi)的樣本為正常樣本；置信橢圓外的樣本為異常樣本。進(jìn)一步，本發(fā)明提供一種基于相機(jī)的在線煙葉的正反面的識(shí)別方法，還可以具有這樣的特征：濾波為中值濾波或者標(biāo)準(zhǔn)偏差濾波。進(jìn)一步，本發(fā)明提供一種基于相機(jī)的在線煙葉的正反面的識(shí)別方法，還可以具有這樣的特征：對(duì)獲取的圖像數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)差濾波，在計(jì)算圖 像的局部顏色標(biāo)準(zhǔn)差時(shí)，在對(duì)輸入圖像I執(zhí)行標(biāo)準(zhǔn)差濾波時(shí)，設(shè)置參數(shù)為指定鄰域的s維單位矩陣，s為奇數(shù)的自然數(shù)。進(jìn)一步，本發(fā)明提供一種基于相機(jī)的在線煙葉的正反面的識(shí)別方法，還可以具有這樣的特征：二值化閾值的方法：從0至255，每隔a進(jìn)行一個(gè)間隔，1≥a＞0，建立一個(gè)煙葉二值化集合；從中選取與顏料樣本煙梗的面積差異最小的所對(duì)應(yīng)的閾值為圖像分析樣本的二值化閾值；將進(jìn)行初步鎖定的煙梗區(qū)域分別進(jìn)行原始圖像的色度連通聚類(lèi)；計(jì)算每塊聯(lián)通區(qū)域的面積與曲率。進(jìn)一步，本發(fā)明提供一種基于相機(jī)的在線煙葉的正反面的識(shí)別方法，還可以具有這樣的特征：所述曲率的計(jì)算方法為橢圓曲率的計(jì)算方法，可以用長(zhǎng)度/寬度來(lái)近似逼近。進(jìn)一步，本發(fā)明提供一種基于相機(jī)的在線煙葉的正反面的識(shí)別方法，還可以具有這樣的特征：所述差異的表征方法為絕對(duì)誤差或者相對(duì)誤差。發(fā)明的有益效果本發(fā)明的一種基于圖像采集裝置的在線煙葉的正反面的識(shí)別方法，由于是根據(jù)雙閾值確定的方法結(jié)合統(tǒng)計(jì)，建立了一個(gè)半監(jiān)督的煙葉梗和煙葉反面比例的識(shí)別方法，并進(jìn)行了交叉檢驗(yàn)，較以往的方法的閾值確定的隨意性進(jìn)行了誤差的把控。本發(fā)明的一種基于圖像采集裝置的在線煙葉的正反面的識(shí)別方法，充分發(fā)揮了在線煙梗顏色比較深，并且其所在的區(qū)域具有曲率比較大的特征，為梗的精確發(fā)掘了核心的梗的信息；顏色比較深，曲率比較大； 為圖像的精確解析，很大程度上排除了線煙葉復(fù)雜背景的干擾；為在線煙葉的穩(wěn)外觀的穩(wěn)定識(shí)別打下了基礎(chǔ)；穩(wěn)定了煙葉外觀的識(shí)別模型。附圖說(shuō)明圖1是基于圖像采集裝置的在線煙葉的正反面的識(shí)別方法流程圖。圖2是煙葉的原始圖像。圖3是顏色空間異常判別模型圖。圖4是圖像樣色信號(hào)判別圖。圖5是圖像增強(qiáng)之后的效果圖。圖6是煙梗的二值化閾值的選擇圖。圖7是圖像煙梗的二值化后圖。圖8是圖像連通區(qū)域聚類(lèi)以及曲率的計(jì)算圖。圖9是福建某等級(jí)的煙葉識(shí)別的圖像的原始圖。圖10是福建某等級(jí)的煙葉識(shí)別圖像二值化分下煙梗的比例分布圖。圖11是福建某等級(jí)的煙葉待測(cè)樣本二值化分下的圖像。具體實(shí)施方式下面以福建某等級(jí)的煙葉為例對(duì)本發(fā)明做進(jìn)一步的描述。步驟A、獲取煙葉原料樣本，統(tǒng)計(jì)原料樣本煙梗的面積比例和原料樣本煙葉正反面比例；同時(shí)，如圖2所示，相機(jī)在線獲取煙葉圖像。在煙葉原料挑選皮帶處在線隨機(jī)獲取煙葉原料樣本10把，即10個(gè)樣本，保持煙葉的原始狀態(tài)，分別用網(wǎng)格或人工統(tǒng)計(jì)煙葉的顏色深淺，煙梗的面積，以及煙葉正反面比例等相關(guān)參數(shù)。本發(fā)明中的把煙原料可以為不同產(chǎn)地不同等級(jí)的把煙原料。同時(shí)，工業(yè)相機(jī)在現(xiàn)場(chǎng)的采樣過(guò)程中，1分鐘(1個(gè)樣本)會(huì)產(chǎn)生60個(gè)煙葉圖像。對(duì)掃描圖像進(jìn)行濾波處理；然后對(duì)圖像進(jìn)行灰度處理得到灰度矩陣G；人工測(cè)量煙梗在實(shí)際煙葉的面積占比；該面積比為記為PG。步驟B、對(duì)灰度矩陣G選取一定的閾值；對(duì)閾值的分別進(jìn)行二值化矩陣，矩陣的像素為m×n；分別計(jì)算在上述閾值下的二值化矩陣p(s)=Area(G(i,j)==0)m×n]]>其中Area(G(i，j)＝＝0)表征的是灰度矩陣在s閾值上，G(i，j)＝0的圖像像素點(diǎn)數(shù)，根據(jù)人工測(cè)量的煙梗在實(shí)際煙葉的面積占比PG，選取p(s)＝PG的閾值s作為圖像的二值化閾值。其中，二值化閾值的選擇從0至255(具體最大值可以根據(jù)具體的分析對(duì)象而定)；每隔1進(jìn)行一個(gè)間隔，建立一個(gè)煙葉二值化集合。步驟C、根據(jù)原料樣本的原料樣本煙梗的面積比例確定煙梗二值化閾值，計(jì)算煙梗的面積比例p(b)。在生產(chǎn)線上取待測(cè)量的煙葉樣本圖像，待測(cè)圖片進(jìn)行中值濾波，根據(jù)閾值s來(lái)對(duì)濾波后的圖像進(jìn)行二值化操作，得到二值化矩陣Im；計(jì)算煙梗的面積占比為；Im中為0的元素個(gè)數(shù)除以(m*n)；定義待測(cè)煙葉樣本中煙梗的比例為p(b)，則p(b)=count(Im==0)m×n]]>在二值化進(jìn)行處理的過(guò)程中，閾值的選擇非常重要，它關(guān)系到顏色比較深的煙葉正面與顏色與梗顏色相交叉的地方，因此與要進(jìn)行大量的 計(jì)算：因?yàn)橐话銇?lái)說(shuō)(刪除一般來(lái)說(shuō))煙梗的顏色是比較深的，這個(gè)時(shí)候以最深的顏色區(qū)域?yàn)榛鶞?zhǔn)，來(lái)不斷的調(diào)整閾值觀察最深顏色區(qū)域所代表的煙梗面積的變化范圍，來(lái)初步定好閾值。根據(jù)事先標(biāo)定好的原始煙葉圖，經(jīng)測(cè)算煙梗的面積比例為4％；不同煙梗閾值下的圖像最深色區(qū)域的面積如圖6所示：因此，確定煙梗所對(duì)應(yīng)的閾值為25。步驟D、將煙葉圖像，分別提取圖像的RGB的顏色空間，把煙葉顏色空間轉(zhuǎn)化為HSV孟塞爾空間，建立煙葉HSV顏色異常分析模型，保留正常樣本圖像。HSV顏色模型主要是指，是根據(jù)顏色的直觀特性由A.R.Smith在1978年創(chuàng)建的一種顏色空間，也稱六角錐體模型(HexconeModel)。也可使用HIB，CMYK，Lab，灰度顏色模型等模型。HSV顏色模型的參數(shù)分別是：色調(diào)(H)，飽和度(S)，亮度(V)。煙葉HSV顏色空間的異常分析模型，主要是指由于在線的工藝設(shè)備造成的流量不穩(wěn)產(chǎn)生的非煙葉物質(zhì)信號(hào)，比如空白皮帶等。HSV異常模型的分析方法為由如下公式獲得：根據(jù)步驟A所取樣本的煙葉圖像，由RGB顏色空間轉(zhuǎn)化為HSV模型后，求出主成分的之(進(jìn)行偏最小二乘的成分提取也可以)，也可以利用主成分樣本點(diǎn)的貢獻(xiàn)率，具體的算法為：(1)定義校正模型中第i個(gè)樣本點(diǎn)對(duì)第h個(gè)成分th的貢獻(xiàn)率為m為提取的PCA(PLS)成分?jǐn)?shù)；n為分析樣本的個(gè)數(shù)；Thi2=thi2(n-1)sh2]]>公式(1)∴Ti2=1n-1Σh=1mthi2sh2,]]>公式(2)可以證明，n2(n-m)m(n2-1)Ti2~F(m,n-m)]]>公式(3)所以當(dāng)在校正模型里面光譜的主成分貢獻(xiàn)率滿足：Ti2≥m(n2-1)n2(n-m)F0.05(m,n-m)]]>公式(4)則認(rèn)為樣本點(diǎn)異常，如圖3所示，當(dāng)m＝2時(shí)，在二維平面上就形成了一個(gè)橢圓；置信橢圓內(nèi)的樣本為正常樣本；置信橢圓外的樣本為異常樣本。剔除置信橢圓外的樣本即異常樣本(空白皮帶引起的)，保留置信橢圓內(nèi)的樣本，即保留正常樣本。如圖4所示，超過(guò)正常煙葉色域0.2的基本上是屬于皮帶色。皮帶的HSV的信號(hào)不是煙葉的基本色，在色度上，其與正常的煙葉會(huì)有很大的區(qū)別，具體表征HSV上其與煙葉的HSV有很大的區(qū)別，此時(shí)如果單個(gè)樣本中的某個(gè)HSV包含空白皮帶的信息，此時(shí)的空白皮帶的HSV會(huì)給樣本的某個(gè)HSV帶來(lái)很大的偏離，屬于典型的離群值，這個(gè)時(shí)候運(yùn)用光譜學(xué)的異常點(diǎn)剔除基本上就可以把空白皮帶的HSV信號(hào)給過(guò)濾掉。HSV顏色異常模型的的識(shí)別方法也可使用，MCD(最小行列式判別法)，RHM(半重?cái)?shù)采樣法)，MD(馬氏距離判別法)，PLSMCCV(蒙特卡洛偏最小二乘二維殘差分析法)等。步驟E、將所述正常樣本圖像進(jìn)行中值濾波，濾波后還可以對(duì)進(jìn)行增強(qiáng)處理。濾波可以才用中值濾波的方法或標(biāo)準(zhǔn)偏差濾波。中值濾波的方法為一種非線性平滑技術(shù)，它將每一像素點(diǎn)的灰度設(shè)置為該點(diǎn)某鄰域窗口內(nèi)的所有像素點(diǎn)灰度值的中值。對(duì)獲取的圖像數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)差濾波，在計(jì)算圖像的局部顏色標(biāo)準(zhǔn)差時(shí)，在對(duì)輸入圖像I執(zhí)行標(biāo)準(zhǔn)差濾波時(shí)，設(shè)置參數(shù)為指定鄰域的s維單位矩陣，s為奇數(shù)的自然數(shù)。如圖5所示，根據(jù)需要對(duì)圖像進(jìn)行增強(qiáng)處理。步驟F、根據(jù)原料樣本的煙葉正反面比例確定煙葉正反二值化閾值，根據(jù)煙葉正反二值化閾值，根據(jù)二值化矩陣得到每個(gè)格子區(qū)域圖像的連通關(guān)系；并計(jì)算每個(gè)格子的圖像中煙葉連通區(qū)域的面積。計(jì)算煙葉正面的面積比例p1(a)；對(duì)中值濾波的圖像進(jìn)行二值化閾值的確定。如圖6所示，二值化閾值確定的方法根據(jù)煙梗的面積比例，二值化閾值的選擇從0至255(具體最大值可以根據(jù)具體的分析對(duì)象而定)；每隔0.05進(jìn)行一個(gè)間隔，建立一個(gè)煙葉二值化集合；從中選取與顏料樣本煙梗的占面積差異最小的所對(duì)應(yīng)的閾值為圖像分析樣本的二值化閾值；將進(jìn)行初步鎖定的煙梗區(qū)域分別進(jìn)行原始圖像的色度連通聚類(lèi)；計(jì)算每塊聯(lián)通區(qū)域的面積與曲率。曲率的計(jì)算方法為橢圓曲率的計(jì)算方法，可以用長(zhǎng)度/寬度來(lái)近似逼近。差異的表征方法為絕對(duì)誤差或者相對(duì)誤差。根據(jù)之前確定煙梗所對(duì)應(yīng)的閾值為25，從煙葉的原始圖像中對(duì)原始煙葉圖像進(jìn)行預(yù)處理，從而獲得煙梗的面積比例p(b)＝10％。對(duì)原始煙葉的圖像進(jìn)行二值化處理，就是將圖像上的像素點(diǎn)的灰度 值設(shè)置為0或255，也就是將整個(gè)圖像呈現(xiàn)出明顯的只有黑和白的視覺(jué)效果。將對(duì)梗進(jìn)行計(jì)算處理之后的顏色；分別重新選取新的閾值來(lái)確定煙葉的正反面的閾值；閾值的確定方法與步驟D相同，不在重復(fù)敘述。正面煙葉所占的比例不足15％，因此閾值可以確定在30-40之間的數(shù)據(jù)；本文選取的閾值為35；進(jìn)行35閾值的二值化后的二值化圖像選取與步驟A原料煙葉統(tǒng)計(jì)的正反面的比例誤差最小的閾值為煙葉正反面二值化的閾值。二值化后，不同色度提取邊緣，連通區(qū)域進(jìn)行聚集，求取連通區(qū)域的面積，從而獲得煙葉正面的面積比例p1(a)。步驟F、計(jì)算煙葉反面所占的比例。煙葉反面所占的比例的計(jì)算公式為：pp＝p1(a)/(1-p(b))其中p1(a)是由于煙葉正面閾值的計(jì)算出來(lái)的面積比例；p(b)是根據(jù)煙葉梗的識(shí)別方法計(jì)算出梗的面積比例。下表為福建某等級(jí)的煙葉反面的識(shí)別比列對(duì)比表如圖9所示，識(shí)別煙葉的圖像的原始圖：如圖10所示，識(shí)別煙葉的圖像在上述梗的閾值(25)下的二值化分下，梗的比例分布圖。如圖11所示，對(duì)上述待測(cè)樣本進(jìn)行中值濾波后，按照識(shí)別煙葉的圖像在上述正面煙葉的閾值(35)下的二值化分下的圖像。上述正面煙葉的比例從圖像計(jì)算如下：序號(hào)圖像識(shí)別(正面比例)人工測(cè)算絕對(duì)誤差147.5％35％12.5％217％12％5％338.50％30％9％433％25％8％525％15％10％626％15％11％740％35％5％830％28％2％986％90％4％1035％25％10％統(tǒng)計(jì)39％31％7.11％當(dāng)前第1頁(yè)1 2 3