生產品管系統使用來自多種感測器的多感測器數據融合技術，在零組件經過生產線時識別結構和表面缺陷。系統的核心在於軟體架構及工業相機的模組 。

視覺檢測是大多數品管工作流程的基石。由人工執行時，過程昂貴，容易出錯且效率低落：一成至兩成的誤判過篩/偏移率及生產瓶頸很常見。以零檢出產線生產品管產品（Inline Quality control for Zero-error Products；IQZeProd）為名，Fraunhofer IWU的研究人員開發新的產線監控解決方案，以求在生產過程中儘早辨識各種材料（例如木材，塑料，金屬，和塗漆的表面）的瑕疵。

系統使用來自多種感測器的多感測器數據融合技術，在零組件經過生產線時識別結構和表面缺陷。目標是透過提高檢測過程可靠性及改進檢測缺陷，創造強大且持續性高的工業生產過程。系統的核心是研究人員自行開發的XeidanaR軟體架構及20台工業相機的模組。研究人員對相機特定的要求標準：全局快門黑白感測器；低震動實時觸發；超高數據速率進行可靠數據傳輸，而且能直接內建到軟體架構中。他們選擇了The Imaging Source 兆鎂新GigE Vision標準工業相機。

圖1 : IQXeProd中20台TIS GigE工業相機的圖像數據，以及高光譜和非光學感測器呈現的數據。使用Xeidana軟體架構進行融合，以實現零誤差的產線QC系統。(source：Fraunhofer IWU)

Xeidana提供處理光學，熱感應，多光譜，偏振或非光學感測器（例如渦電流）的數據所需的靈活性，而許多檢測任務則需透過標準光學感測器提供的數據而完成。項目經理亞歷山大·皮耶爾（Alexander Pierer）表示 :「我們經常使用數據融合來多重掃描關鍵零組件區域。多重包含從不同角度掃描同一區域，來模擬手動檢測過程中使用的『鏡像』。」為了獲取完成這些任務所需的視覺數據，研究人員創建了一個由20台TIS相機組成的模組：19台黑白相機（DMK 33G445）及1台彩色相機（DFK 33GX273）。

圖2 : 19台黑白工業相機從關鍵零組件區域收集數據。 Xeidana處理多重數據以模擬「鏡像 」的過程 ─ 一種在手動檢測過程中很常見的技術。(source：Fraunhofer IWU)

黑白感測器：最適瑕疵檢測

由於其固有的物理特性，黑白感測器能呈現比彩色感測器更高的細節，更高的靈敏度及更低的噪點。 皮耶爾指出：「黑白感測器足以檢測因表面亮度差異所引起的缺陷。雖然顏色數據對我們人類非常重要，但在技術應用中，顏色數據通常無法提供其他資料。我們使用彩色相機，透過HIS變換進行色調分析，以檢測可能顯示塗料厚度有問題的顏色偏差。」

任務需求和短曝光時間意味著工程師對於相機選擇有非常精確的標準設定，皮耶爾繼續說明：「主要選擇標準是全局快門和實時觸發，震動極低，因為我們必須在很短的曝光時間內(10μs的範圍內)拍攝移動中的零件。相機和Lumimax照明（iiM AG）之間的曝光（通過硬體輸入觸發）必須絕對同步。對於我們來說，很重要的一點是，感興趣區域 (ROI) 已限制在相機韌體內相關區域，來優化圖像傳輸的網絡負載。此外，我們仰賴在極高速率時還能進行可靠的數據傳輸。由於零組件已在過程中被檢測過了，因此不會出現圖像錯誤或碎片化的圖像傳輸。」

電動變焦相機可快速調整觀測範圍(FOV)

在項目過程中，團隊構建了多個系統：用於工業設置以及示範和測試目的。典型工業環境中受檢測的零組件持續不停移動，DMK 33G445和DFK 33GX273相機提供的定焦成像滿足了團隊的要求。

然而，針對示範/測試系統，研究人員使用許多不同零組件進行測試，包括金屬零件，木製毛坯和3D印刷塑料，就需要具有可調節觀測範圍（FOV）的相機。The Imaging Source 兆鎂新 DMK Z12G445黑白變焦相機具有內建電動變焦功能，符合任務要求。

圖3 : 變焦相機可提供快速可調的觀測範圍（FOV），使示範系統能夠掃描各種尺寸和形狀的零組件。(source：Fraunhofer IWU)

大規模並行處理技術可與數據傳輸保持同步並實現深度學習

通過20多種不同類型的感測器向系統傳送數據，可以應對400 MB / s量級的數據流。皮耶爾解釋：「該系統的設計吞吐速度高達1 m / s，…，每三到四秒，二十個相機模組就可以創建400張圖像。此外，來自高光譜的線陣相機和粗糙度測量系統，都必須在10秒週期內處理和評估完成。為了滿足這一要求，必須要有大規模並行數據處理的能力，包含28核心（CPU）和顯卡（GPU）。這種並行化使檢測系統能夠與生產週期保持同步，提供具有100％控制能力的產線系統。」

Xeidana的模組化架構特別針對現代多核系統能夠進行大規模並行處理的能力進行優化，使應用工程師能夠使用這個插件系統（可透過多種不同圖像數據庫來延展新功能）快速實現大規模並行、特殊應用的品管項目。

此系統的數據融合功能可以通過多種方式使用，取決於需要什麼樣的資料來提供最可靠的結果。除了標準的機器視覺檢測任務外，研究人員團隊目前正努力整合其他非破壞性評測技術，例如3D視覺以及不可見光的其他種類感測器（例如X射線、雷達、紫外線、太赫茲）來檢測其他類型的表面和內部缺陷。

圖4 : 處理流程網絡。綠色和黃色模組並行執行單獨的圖像處理任務。(source：Fraunhofer IWU)

由於Xeidana支援大規模並行處理，深度學習技術也可用於檢測標準不容易量化或定義的零組件的瑕疵檢測。皮耶爾澄清：「這些技術對於具有不規則質地的有機成分（例如木材和皮革）以及紡織品尤其重要。」

由於機器學習技術有時難以在某些情況下應用（例如，分類決策的可追溯性有限，以及在調試過程中無法手動調整演算法），皮耶爾補充：「我們主要依靠經典的圖像處理演算法和資訊處理的統計方法來執行我們的項目。只有達到極限時，我們才轉向機器學習。」