專利名稱：一種基于機器視覺的液晶顯示器斑痕缺陷檢測方法與系統的制作方法
技術領域：
本發(fā)明涉及一種液晶顯示器的斑痕缺陷檢測系統，具體的講，涉及一種基于機器視覺的斑痕缺陷檢測系統。
背景技術：
液晶顯示器的生產工藝非常復雜，盡管大部分工序都是在無塵室里完成的，還是不可避免地會出現一些視覺缺陷。液晶顯示器的視覺缺陷的種類繁多，一般可以根據缺陷的面積和形狀分為三類點缺陷，線缺陷和面缺陷。其中面缺陷又可分為區(qū)塊缺陷和斑痕(英語中稱為mura，該詞來源于日語，表示臟污、斑痕的意思，是最常見的一種面缺陷)缺陷兩種。點缺陷、線缺陷和區(qū)塊缺陷主要是由液晶顯示器中薄膜晶體管(TFT)陣列短路、斷路和壞的晶體管等電氣原因引起的。而斑痕缺陷一般是由于液晶材料分布不均勻和背光板扭曲等非電氣原因造成的。
在液晶顯示器的所有視覺缺陷中，點缺陷、線缺陷和區(qū)塊缺陷具有較高的對比度高和規(guī)則的幾何形狀，因此相對比較容易檢測。而斑痕缺陷一般對比度很低，面積大小不定，形狀不規(guī)則，邊緣模糊，位置也不固定，因此是所有視覺缺陷中最難檢測的一種。另外，整個液晶顯示器行業(yè)對于斑痕缺陷尚無統一的定義和檢測標準，這些都為實現斑痕缺陷的自動化檢測帶來了困難。因此，到目前為止，在所有的液晶顯示器生產廠家中，斑痕缺陷的檢測任務仍舊是由熟練的技術工人用肉眼來完成的。

發(fā)明內容
本發(fā)明的目的是提出一種基于機器視覺的液晶顯示器斑痕缺陷檢測方法，通過先進的圖像處理和模式識別技術，實現液晶顯示器斑痕缺陷的快速檢測。
在本發(fā)明提供了一種基于機器視覺的液晶顯示器的斑痕缺陷(mura)的檢測方法，該方法包括以下步驟a)獲取多幅待測液晶顯示器的圖像，所述圖像包括多個像素；b)濾除圖像的隨機噪聲；c)獲得一個近似通過給定數據點、能反映數據點的基本趨勢的多項式曲面；d)將經濾波去除隨機噪聲的圖像減去多項式曲面，將擬合精度超過一定閾值的像素作為斑痕缺陷的疑似目標分離出來；e)將疑似目標區(qū)域的對比度、面積、邊緣參數、位置參數、灰度均勻性和形狀參數六個特征量作為系統的輸入變量；斑痕缺陷的等級作為系統的輸出變量將輸入、輸出變量劃分成一定數目的模糊子集并為每個模糊子集建立相應的隸屬函數。
本發(fā)明的另一個目的在于提供一種基于機器視覺的液晶顯示器斑痕缺陷(mura)檢測系統。
本發(fā)明提供的基于機器視覺的液晶顯示器的斑痕缺陷(mura)的檢測系統包括一個圖像獲取裝置，用于獲取多幅待測基板的圖像，所述圖像包括多個像素；一個濾波裝置，用于濾除圖像的隨機噪聲；一個曲面擬合裝置，用以獲得一個近似通過給定數據點、能反映數據點的基本趨勢的多項式曲面；一個分離裝置，用以將經濾波去除隨機噪聲的圖像減去多項式曲面，并將擬合精度超過一定閾值的像素作為斑痕缺陷的疑似目標分離出來；一個判斷裝置，用以將疑似目標區(qū)域的對比度、面積、邊緣參數、位置參數、灰度均勻性和形狀參數六個特征量作為系統的輸入變量；斑痕缺陷的等級作為系統的輸出變量將輸入、輸出變量劃分成一定數目的模糊子集并為每個模糊子集建立相應的隸屬函數。


圖1為本發(fā)明一種基于機器視覺的液晶顯示器斑痕缺陷檢測系統的整體結構示意圖。
圖2為本發(fā)明所述的基于機器視覺的液晶顯示器斑痕缺陷檢測方法的流程圖。
圖3A為CCD采集的原始圖像經過多圖像平均法和圖像校正處理后的結果。
圖3B是對圖2A進行多項式曲面擬合法所獲得的不含斑痕缺陷的背景模型。
圖3C為利用圖2B所示的背景模型對圖2A進行背景對消所獲得的處理結果。
圖3D是對圖2C進行形態(tài)學處理的結果。
圖4為本發(fā)明提出的模糊識別系統輸入、輸出變量所對應的隸屬度函數實例。
具體實施例方式
以下結合附圖對本發(fā)明的技術方案作進一步描述。
參照圖1，本具體實施方式
中液晶顯示器缺陷檢測系統由CCD攝像機2、圖像采集卡5、計算機6、三軸精密定位平臺1、液晶顯示器驅動模塊3和載物臺4組成。載物臺4固連于三軸精密定位平臺1上，并通過電纜線連接到專用的顯示器驅動模塊3的接口上，被測液晶顯示器7放在可以在豎直方向上180度旋轉的載物臺4上，CCD攝像機2作為圖像采集設備固定在三軸精密定位平臺1上，使其可以根據被測液晶顯示器7的型號在計算機6的控制下移動到相應的位置進行圖像采集。
圖像采集卡5是標準模擬或數字圖像采集卡，也可以是USB接口的數字攝像機或者是視頻編輯卡。計算機6是具有標準計算機功能的主控設備，含機箱、CPU及其主板、內存、硬盤和標準計算機兼容的顯示器。CCD攝像機2連接到圖像采集卡5的輸入端；系統軟件安裝于執(zhí)行自動檢測任務的計算機6的程序存儲器，如硬盤中；計算機6控制顯示器驅動模塊3點亮被測液晶顯示器7，并令其顯示初始畫面；檢測斑痕缺陷時，被測液晶顯示器7的載物臺4在計算機6的控制下旋轉一定的角度，令CCD攝像機2的光軸與被測液晶顯示器7平面成30～60度的夾角，使得CCD攝像機2可以從被測液晶顯示器7的側面利用重復采樣的方式采集被測液晶顯示器的整體圖像信息。
由于被測液晶顯示器由液晶顯示器驅動模塊3驅動，因此自身可以發(fā)光，無需照明器件。為防止外界光線的干擾，優(yōu)選的，被測液晶顯示器7、載物臺4、CCD攝像機2、三軸精密定位平臺1都放在一個遮光罩中。計算機6控制液晶顯示器驅動模塊3令被測液晶顯示器7顯示為灰度畫面。
參照圖2，通過此系統可以獲得反映液晶顯示器基板上像素點的待測液晶顯示屏基板的電壓信號；而后，經歷圖像采集步驟801，在此步驟中，由于斑痕缺陷的對比度很低，為減小圖像噪聲的影響、提高圖像質量，在圖像采集步驟中采用了對一幅被測畫面重復采樣的方法。為實現實時檢測，采樣頻率一般應大于10幀/秒，重復采樣的次數一般取50～70次。
經采集的圖像繼而經歷圖像濾波步驟802。如果疊加于圖像上的噪聲n(x，y)是非相關的、具有零均值的隨機噪聲，則可以用幾張在相同條件下獲得的這種隨機圖像的平均值表示原圖像。假設原圖像為f(x，y)，加噪聲為n(x，y)，則有噪聲圖像為g(x，y)＝f(x，y)+n(x，y)此時，可以用g(x,y)=1MΣi=1M[fi(x,y)+ni(x,y)]=f(x,y)+1MΣi=1Mni(x,y)]]>來估計原圖像f(x，y)，其中M為圖像數量。
顯然這種估計是無偏的，因為
E{g^(x,y)}=1MΣE{gi(x,y)}=1MΣi=1Mfi(x,y)=f(x,y)]]>完成圖像濾波后，還要將被測液晶屏部分從圖像中提取出來，并且采用雙線性插值法對圖像進行幾何校正，從而將圖像中由于CCD視角的原因而變?yōu)樘菪蔚谋粶y液晶屏恢復為標準的矩形。
根據雙線性插值法，校正圖像中像素點(i′j′)處得灰度值f(i′，j′)可以由其周圍四個像素的灰度值計算出來。
f(i′，j′)＝[f(i+1，j)-f(i，j)]*(i′-i)+[f(i，j+1)-f(i，j)]*(j′-j)+f(i，j)+[f(i+1，j+1)+f(i，j)-f(i+1，j)-f(i，j+1)]*(i′-i)(j′-j)經濾波的圖像，進行斑痕缺陷檢測時，由于液晶顯示器本身的特點和CCD視角的關系，被測液晶屏的灰度在整個屏幕范圍內變化非常大，遠遠超過了斑痕缺陷本身的灰度變化。因此，對于斑痕缺陷的檢測來說，圖像分割是最為重要同時也是最為困難的一個環(huán)節(jié)。運用傳統的圖像分割方法，例如自適應閾值分割，邊緣檢測等等，根本無法完成分割任務。為此，提出了一種基于多項式曲面擬合技術的斑痕圖像分割方法。
在這種方法中，首先假設圖像中每個像素的灰度值f(x，y)都是該像素二維坐標(x，y)的函數，而所有像素的灰度值及其二維坐標構成了分布在矩形格點上的空間數據點的集合。接下來采用二元多項式對這些空間數據點進行曲面擬合803，即求一個近似通過給定數據點、能反映數據點的基本趨勢的多項式曲面設已知矩形區(qū)域內n×m個網點(xk，yl)(k＝0，1，...，n-1；l＝0，1，...，m-1)上的函數值zkl，設待求的擬合多項式為
f(x,y)=Σi=0p-1Σj=0q-1aijxiyj]]>其中aij(i＝0，1，..，p-1)(j＝0，1，...，q-1)是待定參數，它使zkl，f(x，y)在網格點上的值的差的平方和在最小二乘意義下達到最小，即I(a00,...,a0q-1,...;ap-11,...,ap-1q-1)=Σk=1nΣl=1m(zkl-Σi=0p-1Σj=0q-1aijxiyj)2=min]]>由上式所決定的參數aij，其對應的曲面稱為最小二乘多項式曲面。
利用多元函數的極值理論，在上式中令∂I∂aij=0(i=0,1,...,p-1;j=0,1,...,q-1)]]>便得到關于{aij}的p×q階代數方程組Σk=1nΣl=1m[zkl-Σi=0p-1Σj=0q-1aijxiyj]·xiyi=0(i=0,1,...,p-1;j=0,1...,q-1)]]>解這個p×q階的代數方程組，就可以得到aij。
由于斑痕缺陷的面積很小，不會改變圖像的基本變化趨勢，因此可以將擬合曲面看成是不含斑痕缺陷的背景模型。相對于該背景模型，被測液晶屏圖像中沒有缺陷的區(qū)域擬合誤差|zkl-Σi=0p-1Σj=0q-1aijxiyj|]]>很小，而斑痕缺陷所在的區(qū)域與背景模型的擬合誤差|zkl-Σi=0p-1Σj=0q-1aijxiyj|]]>則很大。所以，利用該背景模型，采用背景減除的方法就可以將那些擬合誤差超過人工設定的閾值(例如2)的像素作為斑痕缺陷的疑似目標與背景分割開來804。
圖3A為CCD采集的原始圖像經過多圖像平均法和圖像校正處理后的結果。圖中有五處斑痕缺陷。圖3B是對圖3A進行多項式曲面擬合法所獲得的不含斑痕缺陷的背景模型。圖3C為利用圖3B所示的背景模型對圖3A進行背景對消所獲得的處理結果。
圖像后處理步驟。本發(fā)明在圖像后處理模塊中采用了數學形態(tài)學的處理方法。膨脹、腐蝕是數學形態(tài)學的兩個基本運算。采用這些基本運算及其組合可以進行圖像形狀和結構的分析及處理。
設集合A為輸入圖像，集合B為結構元素，那么集合A被集合B腐蝕，就表示為AΘB＝{x:B+xA}腐蝕的作用是濾除圖像中的一些孤立的噪聲點和毛刺。膨脹是腐蝕運算的對偶運算(逆運算)，可以通過對補集的腐蝕來定義。A被集合B膨脹表示為AB(yǎng)，其定義為AB(yǎng)＝[AcΘ(-B)]c其中，Ac表示A的補集。
膨脹的作用是可以填充圖像中比結構元素小的孔洞和圖像邊緣處的小凹陷部分。
圖3D是對圖3C進行形態(tài)學處理的結果。
特征提取步驟805在特征提取中，本發(fā)明從人類的視覺心理學出發(fā)，提出將目標區(qū)域的對比度、面積、邊緣參數、位置參數、灰度均勻性和形狀參數等六個特征量作為斑痕缺陷等級評價的依據。
其中，對比度參數定義為
式中f(i，j)和B(i，j)分別為疑似目標區(qū)域及背景模型在像素點(i，j)處的灰度值；U為目標區(qū)域內所有像素點的集合；N為目標區(qū)域內像素點的個數。
面積參數定義為Area=Σ(i,j)∈U1]]>其中，U為目標區(qū)域內所有像素點的集合。
位置參數定義為目標中心與被測TFT-LCD屏幕中心的距離，即Location=(x‾-x0)2+(y‾-y0)2]]>其中x0和y0分別為被測TFT-LCD屏幾何中心的橫、縱坐標；x和y分別為疑似目標區(qū)域幾何中心的橫、縱坐標，且有x‾=1NΣ(i,j)∈Uxijy‾=1NΣ(i,j)∈Uyij]]>式中xij和yij分別為疑似目標中(i，j)像素點的橫坐標、縱坐標。
邊緣參數是用拉普拉斯算定義的edge=1NΣ(i,j)∈U·|8f(i,j)-f(i,j-1)-f(i-1,j)-f(i,j+1)]]>-f(i+1,j)-f(i-1,j-1)-f(i-1,j+1)-f(i+1,j-1)|]]>式中 為目標區(qū)域的所有邊界點的集合。
形狀參數定義為shape＝max{R，C}式中，R為目標區(qū)域的圓形度，描述了物體邊界的復雜程度，可以用目標的面積與周長的關系來表示。圓形度的數學表達式為
R=4π×Sp2]]>式中S為目標區(qū)域的面積，P為目標區(qū)域的周長。
C為目標區(qū)域的矩形度，反映物體對其外接矩形的充滿程度，用目標區(qū)域的面積與其最小的外接矩形面積之比來描述，即C=SSMER]]>其中，S為目標區(qū)域的面積，SMER為目標區(qū)域最小外接矩形的面積。
灰度均勻性用目標區(qū)域的灰度標準差來加以描述uniformity=σ=[1NΣ(i,j)∈U(f(i,j)-μ)2]12]]>式中，μ=1NΣ(i,j)∈Uf(i,j),]]>為目標區(qū)域內所有像素點的灰度均值。
模式識別步驟在模式識別中，本發(fā)明提出了基于模糊集合理論和模糊邏輯的斑痕缺陷模糊識別方法。
在設計模糊模式識別模塊時，首先要定義系統的輸入、輸出變量。本發(fā)明將疑似目標區(qū)域的對比度、面積、邊緣參數、位置參數、灰度均勻性和形狀參數等6個特征量作為系統的輸入變量；斑痕缺陷的等級作為系統的輸出變量。其中斑痕缺陷的等級一般劃分為不合格(N級)、合格(P級)、良(V級)，實際應用也可以根據工廠的實際情況適當的加以調整。
接下來，根據專業(yè)技術人員的經驗將系統的輸入、輸出變量劃分成一定數目的模糊子集并為每個模糊子集建立相應的隸屬函數。為了簡化運算、提高系統的運行速度，一般應選取形狀相對簡單的三角形和梯形的隸屬度函數。
例如，對于系統的6個輸入變量，將其作了如下的劃分將比度分成五級，即極低(VL)、低(L)、中等(M)、高(H)和極高(VH)；面積分成小(S)、中(M)和大(B)三級；邊緣參數分成低(L)、中(M)、高(H)；位置參數分成靠邊(A)、一般(N)和居中(C)三級；灰度均勻性分成低(L)、中等(M)和高(H)三級；形狀參數分成不規(guī)則(NR)和規(guī)則(R)兩級。系統的輸出變量即mura缺陷等級劃分為輕微mura缺陷(P)、一般mura缺陷(N)和嚴重mura缺陷(V)三級。輸入、輸出變量所對應的隸屬度函數都選用三角函數和梯形函數來表示，如圖3所示。
模糊if-then規(guī)則的制訂是模糊模式識別的核心問題，本發(fā)明中模糊if-then規(guī)則同樣也是根據專家經驗制定的。
例如，一條if-then規(guī)則如下If(Const is H)and(Area is M)and(Edge is H)then(mura_level is V)采用模糊識別方法，系統可以模仿人的辯識方式并充分利用專家的經驗和知識，完成對液晶屏斑痕缺陷的自動識別。
權利要求
1.一種基于機器視覺的液晶顯示器的斑痕缺陷檢測方法，該方法包括以下步驟a)獲取多幅待測基板的圖像，所述圖像包括多個像素；b)濾除圖像的隨機噪聲；c)獲得一個近似通過給定數據點、能反映數據點的基本趨勢的多項式曲面；d)將經濾波去除隨機噪聲的圖像減去多項式曲面，將擬合精度超過一定閾值的像素作為斑痕缺陷的疑似目標分離出來；e)將疑似目標區(qū)域的對比度、面積、邊緣參數、位置參數、灰度均勻性和形狀參數六個特征量作為系統的輸入變量；斑痕缺陷的等級作為系統的輸出變量將輸入、輸出變量劃分成一定數目的模糊子集并為每個模糊子集建立相應的隸屬函數。
2.根據權利要求1所述的基于機器視覺的液晶顯示器的斑痕缺陷檢測方法，其特征在于在步驟(d)和步驟(e)之間還包括數學形態(tài)學的處理步驟。
3.一種基于機器視覺的液晶顯示器斑痕缺陷檢測系統，包括一個圖像獲取裝置，用于獲取多幅待測基板的圖像，所述圖像包括多個像素；一個濾波裝置，用于濾除圖像的隨機噪聲；一個曲面擬合裝置，用以獲得一個近似通過給定數據點、能反映數據點的基本趨勢的多項式曲面；一個分離裝置，用以將經濾波去除隨機噪聲的圖像減去多項式曲面，并將擬合精度超過一定閾值的像素作為斑痕缺陷的疑似目標分離出來；一個判斷裝置，用以將疑似目標區(qū)域的對比度、面積、邊緣參數、位置參數、灰度均勻性和形狀參數六個特征量作為系統的輸入變量；斑痕缺陷的等級作為系統的輸出變量將輸入、輸出變量劃分成一定數目的模糊子集并為每個模糊子集建立相應的隸屬函數。
4.根據權利要求3所述的基于機器視覺的液晶顯示器斑痕缺陷檢測系統，其特征在于在分離裝置和判斷裝置之間還包括數學形態(tài)學的處理裝置。
5.一種基于多項式曲面擬合技術的斑痕圖像分割方法，其特征在于包括以下步驟a)首先假設圖像中每個像素的灰度值都是該像素二維坐標的函數，而所有像素的灰度值及其二維坐標構成了分布在矩形格點上的空間數據點的集合；b)采用二元多項式對這些空間數據點進行曲面擬合，求一個近似通過給定數據點、能反映數據點的基本趨勢的多項式曲面。
全文摘要
本發(fā)明公開了一種基于機器視覺的液晶顯示器的斑痕缺陷的檢測方法，包括以下步驟獲取多幅待測液晶顯示器的圖像；濾除圖像的隨機噪聲；獲得一個近似通過給定數據點、能反映數據點的基本趨勢的多項式曲面；將經濾波去除隨機噪聲的圖像減去多項式曲面，將擬合精度超過一定閾值的像素作為斑痕缺陷的疑似目標分離出來；將疑似目標區(qū)域的對比度、面積、邊緣參數、位置參數、灰度均勻性和形狀參數六個特征量作為系統的輸入變量；斑痕缺陷的等級作為系統的輸出變量將輸入、輸出變量劃分成一定數目的模糊子集并為每個模糊子集建立相應的隸屬函數。本發(fā)明的還公開了一種基于機器視覺的液晶顯示器斑痕缺陷檢測系統。
文檔編號G06T1/00GK1928535SQ20061012769
公開日2007年3月14日 申請日期2006年9月7日 優(yōu)先權日2006年9月7日
發(fā)明者張健, 張昱, 吳麗瑩, 劉泊晗 申請人:哈爾濱工業(yè)大學