【案例分享】凱基特鋼板表面缺陷在線視覺檢測(cè)系統(tǒng)

一、項(xiàng)目概述

凱基特根據(jù)客戶需求，經(jīng)過現(xiàn)場(chǎng)技術(shù)評(píng)估，為客戶提供材料發(fā)光論證的鋼卷檢測(cè)及相關(guān)技術(shù)服務(wù)。本項(xiàng)目軟件系統(tǒng)采用公司自主研發(fā)的帶鋼表面檢測(cè)技術(shù)，孔洞，邊裂打光技術(shù)和在線測(cè)量檢測(cè)技術(shù)。

二、技術(shù)規(guī)格

1.系統(tǒng)特色

1. 本系統(tǒng)基于機(jī)器視覺技術(shù)，具有高速，高精度的新型感光技術(shù)。
2. 采用高速定制LED平行光光源，配合獨(dú)有的散熱技術(shù)，保證高亮度、高穩(wěn)定性、使用壽命長(zhǎng)，保養(yǎng)簡(jiǎn)單。
3. 采用高性能COMS數(shù)字?jǐn)z像機(jī)及光學(xué)技術(shù)，保證高分辨率、高清晰圖像存儲(chǔ)和信息傳輸可靠性。
4. 采用特別設(shè)計(jì)的GPU模塊保證高質(zhì)量檢測(cè)的同時(shí)系統(tǒng)穩(wěn)定運(yùn)行。
5. 選配的多功能檢測(cè),全長(zhǎng)、全寬范圍檢測(cè)。--》全長(zhǎng)、全寬的多功能檢測(cè)范圍
6. 本視覺模塊采用人工智能方向（深度學(xué)習(xí)CV）的自學(xué)習(xí)技術(shù)，樣本不斷對(duì)新出來的工藝要求快速自學(xué)，配合現(xiàn)有的圖像庫(kù)快速方便的添加需要追溯的問題。
7. 本系統(tǒng)的采用自學(xué)習(xí)系統(tǒng)不斷疊代可以持續(xù)學(xué)習(xí)達(dá)到越用越精準(zhǔn)、越用越智能的效果。樣本庫(kù)可以達(dá)到千萬(wàn)級(jí)，有無(wú)上限的拓展性。
8. 追溯可視化；方便客戶快捷、便利查詢歷史紀(jì)錄；可根據(jù)規(guī)則搜索；支持離線客戶端導(dǎo)出數(shù)據(jù)多端同時(shí)查詢等功能。
9. 實(shí)時(shí)多端在線察看預(yù)警模塊，方便甲方第一時(shí)間把控現(xiàn)場(chǎng)情況，及時(shí)處理。
10. 通過本系統(tǒng)的軟硬件高度配合，從而滿足金屬工業(yè)嚴(yán)格檢測(cè)要求，提高成材率，避免缺陷造成的不合格的產(chǎn)品出廠所遭遇的退貨和投訴損失。

2.技術(shù)概要

所采用深度學(xué)習(xí)，打光平行光，高速GIGE，CAMELINK，高速同步裝置，分布式系統(tǒng)可拓展，光學(xué)技術(shù)組合的一個(gè)視覺方案。

3.設(shè)計(jì)生產(chǎn)主要技術(shù)

帶鋼檢測(cè)范圍： 900mm-2000mm
最高檢測(cè)速度：600m/min
厚度：2.0mm-12.0mm
鋼卷抖動(dòng)：小于±10mm

4.技術(shù)指標(biāo)

檢測(cè)、分類缺陷類別：翹皮、夾雜、劃傷、壓痕、斑跡、氧斑、山峰狀氧化鐵皮、邊損、孔洞、邊裂、腰折、欠酸洗、停車斑、水印、嚴(yán)重色差等；
系統(tǒng)運(yùn)行率：≥99.8%；
缺陷檢出率：≥95%；
缺陷分類準(zhǔn)確率：≥85%

5.設(shè)備布置

檢測(cè)平臺(tái)前大輥輪處。
 

6.冷軋表面缺陷檢測(cè)儀和高精度多功能檢測(cè)儀安裝位置

三、系統(tǒng)設(shè)計(jì)

1.系統(tǒng)構(gòu)架以及原理圖

 (1) 表檢明場(chǎng)采用平行白光反射機(jī)制，配合選配彩色CCD線掃相機(jī)（彩鋼），可以拍出各個(gè)帶有顏色的缺陷特征及色斑。普通帶蓋可以配合高敏感度CCD黑白線掃，更多敏感度。
 (2) 選配孔洞邊裂模塊系統(tǒng)利用邊裂，孔洞的透光性從物理層面檢測(cè)實(shí)際缺陷。
 (3) 整個(gè)系統(tǒng)采用分布式構(gòu)架，異步硬件構(gòu)架實(shí)現(xiàn)機(jī)器視覺方面的大量計(jì)算工作，采用自學(xué)習(xí)方式提取缺陷。
 (4) 整套系統(tǒng)通訊采用低延遲、有校驗(yàn)、有自主設(shè)計(jì)的UDP通訊機(jī)制，保證快速同步數(shù)據(jù)的同時(shí)帶來高吞吐量。
 (5) 分布式的系統(tǒng)構(gòu)架可以水平拓展更多存儲(chǔ)空間；更多算力并行；提高相機(jī)精度等。方便企業(yè)后續(xù)升級(jí)。

2.影像系統(tǒng)

(1) 光路設(shè)計(jì)表檢缺陷檢測(cè)系統(tǒng)
光源的入射角度與攝像機(jī)的拍攝角度稱之為光路，不同缺陷在不同光路下的信號(hào)強(qiáng)度是不同的，由于設(shè)備一旦安裝就位就無(wú)法改變光路設(shè)計(jì)，應(yīng)此光路設(shè)計(jì)的精確度決定了缺陷檢出的程度，不同缺陷在不同光路下的信號(hào)強(qiáng)度是不同的，因此必須針對(duì)不同的應(yīng)用場(chǎng)合和缺陷形貌來設(shè)計(jì)相適應(yīng)的光路。

2. 光路設(shè)計(jì)多功能檢測(cè)儀系統(tǒng)

對(duì)于穿透性的缺陷來說，透射光路是最佳的成像方案，由于無(wú)害部分不透光，呈黑色，缺陷部分透光，灰度較高,從而在圖像上形成目標(biāo)與背景的最大差異，易于進(jìn)行后續(xù)的圖像處理與識(shí)別。
攝像機(jī)與光源呈180度對(duì)射，光源采用散射方式，能夠保證光線能夠最大程度的穿過孔洞缺陷抵達(dá)感光元件。
同時(shí)，由于光的衍射效應(yīng)，透射光路也能夠適量放大光斑，起到提高檢測(cè)精度的作用.

(3)分辨率設(shè)計(jì)
高速工業(yè)攝像機(jī)是通過像元整列來成像的，假設(shè)一臺(tái)攝像機(jī)的CMOS由橫向30個(gè)像元*縱向30個(gè)像元組成，那么該攝像機(jī)的物理分辨率為900個(gè)像素，即其所成的圖像最大為30*30像素。若此圖像所覆蓋的實(shí)際空間為橫向3mm、縱向3mm，則定義檢測(cè)系統(tǒng)：系統(tǒng)橫向分辨率=3mm/30pixel=0.1mm/pixel，系統(tǒng)縱向分辨率=3mm/30pixel=0.1mm/pixel。缺陷或目標(biāo)的影像也是由像素組成的，如果缺陷所占用的像素過少，軟件算法就無(wú)法檢出，然而，如果系統(tǒng)分辨率過小相當(dāng)于放大了背景的紋理，可能使系統(tǒng)檢出大量的無(wú)害偽缺陷，造成缺陷溢出。因此，目標(biāo)機(jī)組所需檢出的最小缺陷大小決定了系統(tǒng)分辨率的設(shè)計(jì)也隨之決定了攝像機(jī)的數(shù)量和系統(tǒng)規(guī)模。
 

3.算力系統(tǒng)

(1)算力存儲(chǔ)系統(tǒng)EMC
首先EMC已經(jīng)對(duì)VNX系列管理界面進(jìn)行了很多調(diào)整，使之更交互、更一目了然、更加簡(jiǎn)便、容易操作。和主流存儲(chǔ)廠商一樣，界面都是采用基于Java模式的Web UI (user interface)，EMC稱之為USM (Unisphere Service Manager)對(duì)陣列進(jìn)行管理。

(2)算力系統(tǒng)
高吞吐率、低響應(yīng)時(shí)間、低資源消耗以及簡(jiǎn)便的部署流程要求，因此TensorRT就是用來解決推理所帶來的挑戰(zhàn)以及影響的部署級(jí)的解決方案。TensorRT 是nvidia 自己開發(fā)的，主要作用就是對(duì)算法進(jìn)行優(yōu)化，然后進(jìn)行了部署如下圖。

英偉達(dá)專用推理芯片：

4.電氣系統(tǒng)

本系統(tǒng)將集成機(jī)械模塊、光源、成像設(shè)備、檢測(cè)組件，電腦模塊三電設(shè)備。為保證各類設(shè)備無(wú)縫連接并完成設(shè)定功能，電氣集成將選用專用接口設(shè)備保證遠(yuǎn)距離、高速、海量圖像數(shù)據(jù)傳輸?shù)姆€(wěn)定性和可靠性；選用專用光纖，高速萬(wàn)兆網(wǎng)口、光纜及連接設(shè)備保證相機(jī)等圖像采集設(shè)備與表面檢測(cè)組件間的數(shù)據(jù)連接；光源專用電源電纜設(shè)計(jì)，保證現(xiàn)場(chǎng)安裝位置至配電控制柜內(nèi)的恒流器件間長(zhǎng)距離電源傳輸?shù)挠行?；保證檢測(cè)組件與通用服務(wù)器數(shù)據(jù)通訊連接。

5.機(jī)構(gòu)設(shè)計(jì)

 
在檢測(cè)系統(tǒng)中機(jī)械機(jī)構(gòu)主要是起到保護(hù)支持，防護(hù)，精密調(diào)整的作用。機(jī)械機(jī)構(gòu)必須具備足夠的剛度、強(qiáng)度、抗震性，必須具備溫度調(diào)控功能。此外，為了滿足成像光路要求，以便得到最佳的成像效果，攝像機(jī)和光源必須精確可調(diào)，關(guān)鍵硬件包括CMOS圖像傳感器及鏡頭、光電轉(zhuǎn)換器以及照明光源，為了保證這些器件的安全與正常工作，需要機(jī)械機(jī)構(gòu)具備防護(hù)功能，防止油、汽污染。為滿足上述要求。
 

1. 影像微調(diào)模塊
2. 

1. 機(jī)構(gòu)布局圖

 

6.軟件組成構(gòu)架

(1) 總組織構(gòu)架

(2) 簡(jiǎn)單功能介紹構(gòu)成
(2).1實(shí)時(shí)畫面
顯示鋼卷實(shí)時(shí)運(yùn)行畫面，并展示識(shí)別出來的缺陷。


(2).2鋼卷回看

(2).3在線、離線模式
在線模式：顯示實(shí)時(shí)畫面和鋼卷列表。
離線模式：不顯示實(shí)時(shí)畫面，顯示鋼卷列表。
操作技巧：實(shí)時(shí)畫面顯示時(shí)，如果最近一段鋼卷需要回看，可以點(diǎn)擊進(jìn)入離線模式不再接收實(shí)時(shí)畫面，方便查看最近一段鋼卷。
(2).4鋼卷下載
右鍵點(diǎn)擊下載即可下載鋼卷的所有圖像。下載路徑在客戶端執(zhí)行目錄，Steels子目錄下。
下載過程中會(huì)有進(jìn)度條顯示下載進(jìn)度
 
(2).5板報(bào)表
統(tǒng)計(jì)一個(gè)時(shí)間段的鋼卷數(shù)、缺陷數(shù)等信息。

(2).6缺陷過濾、報(bào)警
過濾不符合條件的缺陷并對(duì)指定的缺陷進(jìn)行報(bào)警等。
多個(gè)配置相互獨(dú)立，只要滿足一個(gè)配置條件即可。

】

7.圖像處理

傅里葉變化處理圖片

8.自學(xué)習(xí)系統(tǒng)介紹

 
人類的視覺原理如下：從原始信號(hào)攝入開始（瞳孔攝入像素 Pixels），接著做初步處理（大腦皮層某些細(xì)胞發(fā)現(xiàn)邊緣和方向），然后抽象（大腦判定，眼前的物體的形狀，是圓形的），然后進(jìn)一步抽象（大腦進(jìn)一步判定該物體是只氣球）。下面是人腦進(jìn)行人臉識(shí)別的一個(gè)示例：



我們可以看到，在最底層特征基本上是類似的，就是各種邊緣，越往上，越能提取出此類物體的一些特征（輪子、眼睛、軀干等），到最上層，不同的高級(jí)特征最終組合成相應(yīng)的圖像，從而能夠讓人類準(zhǔn)確的區(qū)分不同的物體。
那么我們可以很自然的想到：可以不可以模仿人類大腦的這個(gè)特點(diǎn)，構(gòu)造多層的神經(jīng)網(wǎng)絡(luò)，較低層的識(shí)別初級(jí)的圖像特征，若干底層特征組成更上一層特征，最終通過多個(gè)層級(jí)的組合，最終在頂層做出分類呢？答案是肯定的，這也是許多深度學(xué)習(xí)算法（包括CNN）的靈感來源。
卷積網(wǎng)絡(luò)介紹
卷積神經(jīng)網(wǎng)絡(luò)是一種多層神經(jīng)網(wǎng)絡(luò)，擅長(zhǎng)處理圖像特別是大圖像的相關(guān)機(jī)器學(xué)習(xí)問題。
卷積網(wǎng)絡(luò)通過一系列方法，成功將數(shù)據(jù)量龐大的圖像識(shí)別問題不斷降維，最終使其能夠被訓(xùn)練。CNN最早由Yann LeCun提出并應(yīng)用在手寫字體識(shí)別上（MINST）。LeCun提出的網(wǎng)絡(luò)稱為L(zhǎng)eNet，其網(wǎng)絡(luò)結(jié)構(gòu)如下：

這是一個(gè)最典型的卷積網(wǎng)絡(luò)，由卷積層、池化層、全連接層組成。其中卷積層與池化層配合，組成多個(gè)卷積組，逐層提取特征，最終通過若干個(gè)全連接層完成分類。
卷積層完成的操作，可以認(rèn)為是受局部感受野概念的啟發(fā)，而池化層，主要是為了降低數(shù)據(jù)維度。
綜合起來說，CNN通過卷積來模擬特征區(qū)分，并且通過卷積的權(quán)值共享及池化，來降低網(wǎng)絡(luò)參數(shù)的數(shù)量級(jí)，最后通過傳統(tǒng)神經(jīng)網(wǎng)絡(luò)完成分類等任務(wù)。
訓(xùn)練過程
卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)類似，也是參照了反向傳播算法。
 
第一階段，向前傳播階段：
a）從樣本集中取一個(gè)樣本(X,Yp)，將X輸入網(wǎng)絡(luò)；
b）計(jì)算相應(yīng)的實(shí)際輸出Op。
在此階段，信息從輸入層經(jīng)過逐級(jí)的變換，傳送到輸出層。這個(gè)過程也是網(wǎng)絡(luò)在完成訓(xùn)練后正常運(yùn)行時(shí)執(zhí)行的過程。在此過程中，網(wǎng)絡(luò)執(zhí)行的是計(jì)算（實(shí)際上就是輸入與每層的權(quán)值矩陣相點(diǎn)乘，得到最后的輸出結(jié)果）：
Op=Fn（…（F2（F1（XpW（1））W（2））…）W（n））
 
第二階段，向后傳播階段
a）算實(shí)際輸出Op與相應(yīng)的理想輸出Yp的差；
b）按極小化誤差的方法反向傳播調(diào)整權(quán)矩陣。
 
 
 

四、檢測(cè)系統(tǒng)與系統(tǒng)對(duì)接

1.供電需求

帶鋼表面質(zhì)量在線檢測(cè)系統(tǒng)與生產(chǎn)線基礎(chǔ)接口有著密切相關(guān)的聯(lián)系。檢測(cè)系統(tǒng)的供配電，保護(hù)箱體的冷卻以及檢測(cè)軟件的啟動(dòng)、停止、區(qū)分子卷、缺陷的定位等與此都密切相關(guān)。

序號(hào)	項(xiàng)目	具體要求	備注
1	系統(tǒng)供配電（表檢）	220V 32A
	多功能檢測(cè)儀（如需）	220V 32A
2	換卷信號(hào)	焊縫信號(hào)（開關(guān)量）	IO接口
3	速度信號(hào)	HTL/TTL	轉(zhuǎn)向輥馬達(dá)編碼器信號(hào)

2.帶鋼速度跟蹤信號(hào)

由于生產(chǎn)線軋制速度的變化，需要接入帶鋼速度信號(hào)作為攝像機(jī)外部觸發(fā)信號(hào)，保證攝像機(jī)采集速度與帶鋼運(yùn)動(dòng)速度同步，不受帶鋼速度變化的影響，所采的圖像能夠保持一個(gè)恒定的分辨率，也能夠保證帶鋼的計(jì)長(zhǎng)及缺陷定位的準(zhǔn)確。

3.啟動(dòng)檢測(cè)信號(hào)

對(duì)于一套帶鋼表面質(zhì)量在線檢測(cè)系統(tǒng)，需要一個(gè)信號(hào)來告知系統(tǒng)新卷的到來，以此作為新卷的計(jì)長(zhǎng)開始，以及缺陷距離頭部位置的定位依據(jù)。
一般來說，啟動(dòng)檢測(cè)信號(hào)需要早于帶鋼頭部到達(dá)檢測(cè)位置發(fā)送給檢測(cè)系統(tǒng)。往往選取檢測(cè)位置前焊縫檢測(cè)儀或者熱金屬檢測(cè)儀的信號(hào)。
為了確保帶鋼頭部能夠被準(zhǔn)確定位，在獲知啟動(dòng)信號(hào)與檢測(cè)點(diǎn)的實(shí)際距離后，能夠通過恰當(dāng)?shù)南到y(tǒng)設(shè)置來對(duì)帶鋼上下表面的頭部位置進(jìn)行糾正。

4.剪切信號(hào)

對(duì)于布置在出口位置的檢測(cè)系統(tǒng)，通過接入剪切信號(hào)（final cut/ first cut + final cut），能夠?qū)z測(cè)數(shù)據(jù)以出口分卷號(hào)存儲(chǔ)，配合恰當(dāng)?shù)南到y(tǒng)配置及處理邏輯，可以將現(xiàn)場(chǎng)多種工藝變化，如取樣、切廢、上/下卷取等，在存儲(chǔ)過程中進(jìn)行個(gè)性化定義。
準(zhǔn)確的出口分卷檢測(cè)數(shù)據(jù)，便于本機(jī)組及下工序的用戶查詢?nèi)毕菪畔?，滿足檢測(cè)數(shù)據(jù)的長(zhǎng)期準(zhǔn)確追溯的要求。