使用訓練有素的計算機視覺算法在激光粉末床增材制造過程中進行異常檢測和分類
時間：2022-12-28 11:02 來源：長三角G60激光聯盟 作者：admin 閱讀：次
導讀：據悉，本文對最終算法的性能進行了評估，并通過幾個案例研究證明了其作為獨立軟件包的有用性。
盡管工業界迅速采用了激光粉末床熔接（LPBF）增材制造，但目前的工藝在很大程度上仍然是開環的，實時監控能力有限。雖然一些機器在構建期間提供粉末床可視化，但它們缺乏自動分析能力。這項工作提出了一種現場監測和分析粉末床圖像的方法，有可能成為LPBF機器實時控制系統的一個組成部分。具體而言，計算機視覺算法用于自動檢測和分類在粉末撒布過程中發生的異常。異常檢測和分類是使用無監督機器學習算法實現的，該算法運行在一個中等大小的圖像補丁訓練數據庫上。對最終算法的性能進行了評估，并通過幾個案例研究證明了其作為獨立軟件包的有用性。
1.介紹
近年來，增材制造業（俗稱3D打印）作為一個行業經歷了巨大的增長；這對于生產網狀金屬零件的機器和工藝來說尤其如此。增材制造承諾非常適合航空航天和醫療應用，以及在現場和偏遠地區生產任務關鍵部件。然而，這些應用需要一定程度的零件質量保證和工藝可靠性，這是目前市場上的系統難以實現的。
Rodriguez等人將紅外熱像儀集成到Arcam A2電子束-PBF機器中，如上圖（a）所示，以便分析每個構建層的表面溫度曲線。此外，此信息隨后用于修改下一層的生成設置。FLIR系統SC645紅外熱像儀因其高分辨率（640×480像素）和2000°C的測量溫度范圍而被選中集成到Arcam A2中。安裝紅外攝像機需要大量的機器修改，其中包括用ZnSe玻璃替換系統以前的攝像機，安裝一個保護瓣，充當快門，保護ZnSe窗口，以及安裝氣動執行器來激活快門襟翼。控制系統還與Arcam合作進行了修改，以觸發快門和圖像捕獲。ThermaCAM研究員用于手動分析圖像，測量來自表面的發射輻射（來自物體的發射，來自環境源的反射發射和來自大氣的發射），并將其轉換為相對溫度讀數。加工過程中由“過度熔化”引起的材料不連續性可以從生成的紅外圖像中識別出來，如圖（b）所示。
激光粉末床熔合（LPBF）機器通過使用重涂器刀片將一層薄薄的金屬粉末涂敷在構建板上進行操作。粉末鋪展后，使用激光束在與3D零件的2D切片相對應的位置選擇性地熔化粉末。激光完成后，降低構建板，再鋪上一層粉末（在現有粉末床上，圖1），重復該過程，直到零件完成。在現場監測構建方面開展了大量工作，特別關注跟蹤激光束產生的熔池大小]以及粉末床溫度。最終零件中的許多缺陷，以及構建過程的整體可靠性，都與重涂器葉片和粉末床之間的相互作用直接相關。工作重點是監控粉末床的最終零件中的缺陷指示，以及可能影響整個過程穩定性的異常。
為了實現全面粉末床監測的目標，本工作提出了一種算法，該算法實現了現代機器學習和計算機視覺技術，僅使用LPBF機器制造商提供的硬件來檢測和分類列舉的異常。這是一個挑戰，因為每個粉末層圖像可能包含數百個唯一可識別的異常；為了彌補這一不足，本文修改了標準方法，以允許對單個圖像中的多個對象進行分類。即使作為獨立軟件（例如，未與LPBF機器控制系統集成），該算法在分析構建故障和分析最終零件質量方面也證明是有價值的。
2.實驗程序和方法
本文所述的所有工作均在EOS M290 LPBF機器上進行（EOS GmbH，德國）。未對EOS硬件進行任何修改，例如，僅使用庫存攝像機和照明配置。
2.1.圖像預處理
EOS M290拍攝的原始圖像（圖1）存在一些困難，妨礙了它們在基于機器學習的算法中的直接使用。幸運的是，相機的安裝和照明條件在整個構建過程中以及不同構建之間保持一致，因此許多所需的圖像增強可以大大簡化。
圖2顯示了一個完全預處理的圖像。初步結果表明，該算法完全能夠操作其他（即非CMU）EOS M290s生成的數據集，前提是遵循上述預處理步驟。此外，該算法已成功用于分析從安裝在SLM 280機器（SLM Solutions GmbH）上的相機拍攝的幾個粉末床圖像。請注意，在本文檔中顯示的所有粉末床圖像中，重涂器刀片從右向左移動（如圖1所示）。
2.2.粉末擴散異常等級的選擇
復涂器跳躍通常發生在復涂器刀片（相對）輕輕撞擊粉末層正下方的零件時。這種撞擊會導致復涂器葉片周期性“顫動”，如圖3a所示，在粉末層中可以看到重復的垂直線。當復水器葉片損壞（即“刻痕”）或復水器刀片拖拽一塊碎屑或一團粉末穿過粉末床時，會出現復水器條紋。粉末層中的單個水平線可見復涂條紋（圖3b）；由于其尺寸相對較小，因此使用本方法檢測異常是最具挑戰性的異常之一。碎屑分類包括對粉末層的大多數干擾，這些干擾并非直接位于零件上方。圖3c顯示了幾個碎屑示例。
Griffiths等人是最早研究使用紅外成像進行粉末DED原位測量的人之一。紅外熱像儀用于評估使用LENS™工藝加工不銹鋼316時看到的相對溫度。使用光譜范圍為3.6 mm至5 mm的320×244像素CCD陣列記錄元件拍攝熔池圖像，并將其與使用高速相機拍攝的圖像進行比較，并使用標準熱圖技術獲得溫度。由于粉末DED制造部件的發射率數據未知，因此計算的所有溫度都是相對的。輸出圖像顯示熔池和通過傳導加熱的周圍區域。相對于熔池的最高溫度繪制了熱剖面圖。相反，胡和科瓦切維奇將近紅外（NIR）相機與粉末輸送速率傳感器結合使用，用于在粉末DED加工過程中監控熔池。使用幀速率為800幀/秒的同軸紅外成像相機以128×128像素的分辨率拍攝熔池區域的灰度圖像。使用適當的濾光片來保護相機免受加工激光的損壞。還采用了大于700 nm的紅外濾光片來提高圖像質量。連接的PC執行上圖（a）中概述的圖像處理和控制步驟。使用灰度等溫線（圖（c））從紅外圖像（圖（b））評估熔池中的溫度分布。開發了用于熱輸入控制的閉環控制系統，使用實時控制（專門針對功能分級組件）提高了幾何零件精度。
3.理論
這項工作是一種廣泛使用的機器學習技術的應用，稱為關鍵點，通常用于計算機視覺問題。與手動創建異常檢測器相反，作者采用了機器學習方法，因為它具有內在的靈活性，并且有可能成為檢測和分類多種異常類型的“一刀切”方法。本節旨在概述該技術，并描述其在增材制造中的應用。圖4是粉末床監測算法這一部分的流程圖，廣泛引用。
4.結果和討論
由于這項工作沒有得到外部資助，因此沒有專門為這項研究創建測試工件。因此，通過審查三個案例研究的分析，利用CMU的EOS M290上執行的構建數據，得出結果。
4.1.算法性能
計算機視覺系統的目標是產生一個數字表示，其中包含表征視覺圖像所需的相關信息。換句話說，要把一個圖像變成一個向量，總結它的視覺信息內容。這個過程有三個步驟：首先，系統在圖像中找到興趣點或視覺特征;也就是說，它決定了要查看的內容。接下來，系統將每個特征編碼為向量描述符;也就是說，它以數字方式表征了特征。最后，系統將特征描述符組合在一起，以創建整個圖像的表示形式;也就是說，它決定了圖像的微觀結構指紋。該過程在下圖中示意性地說明。
通常使用一種稱為混淆矩陣的度量來評估機器學習算法。通過在20張具有代表性的粉末床圖像上手動標記數十萬像素（帶有異常分類）來確定基本事實。培訓過程中沒有包括任何具有代表性的粉末床圖像；這種單獨的數據集可以被視為類似于驗證數據集。然后將每個像素處的這些地面真值標簽與粉末床監測算法提供的標簽進行比較。結果如圖5和圖6所示。隨著分析了更多具有獨特和異常豐富層的構建，可以更新混淆矩陣。
4.2.Hamerschlag-Hall模型-分層和懸垂
在分析了每一層之后，每一層中每一異常分類的百分比可以顯示為構建報告中構建高度的函數。圖8顯示了兩個模型Hamerschlag Halls建筑的簡化全球建造報告（圖7）。異常檢測峰值在多個層面可見；其中760層和1960層分別如圖9和圖10所示。
零件故障主要是在正確的Hamerschlag模型上檢測到的，這與最終零件的后分析一致。這種差異在圖11中特別明顯；請注意，右側型號的圓形大廳檢測到的部件故障百分比很高。檢測到大量零件故障的其他區域對應于這兩種車型的開放式門道，這些門道代表了明顯的突出部分，這些位置的最終零件質量明顯較差。在圖12中，觀察到該構造存在大量不完全擴展異常。這是一個準確的觀察結果，由于可用粉末不足，粉末劑量系數（從分配器（圖1）每層中取出的粉末量）在此構建期間設置得很低。沒有任何不完整的擴展異常延伸到包含Hamerschlag-Hall模型的構造板塊區域。假設有足夠的粉末供應，這種問題可以通過反饋控制系統進行糾正，該系統將增加粉末劑量系數，理想情況下，在任何部件受到負面影響之前。
4.3.受拉鋼筋− 建造高縱橫比結構
Bettis海軍核實驗室用316L不銹鋼制成多個拉伸桿，具有不同的方向和不同的支撐方案。圖8顯示了一份全球構建報告，其中包含關于整個粉末床的信息。在包含許多不同部分的構建中，這變得很難解釋。圖13、圖16顯示了僅包括與特定抗拉鋼筋相關的異常檢測的本地構建報告− 一個標本水平建造，另一個標本垂直建造。雖然圖14和圖17中的所有抗拉鋼筋（23）和圓柱形見證試件（2）均為綠色輪廓，但所討論的特定抗拉鋼筋以紅色框為界。
水平定向拉伸桿在量規截面下方使用最小支撐結構，以減少其對最終試樣性能的影響。從圖13可以明顯看出，一旦零件從支撐材料過渡到拉伸桿本身，就會檢測到重大零件故障（洋紅色，圖14）。這發生在構建高度的5 mm處，即層250。圖13的下部子圖（綠色）顯示了位于拉伸桿本身頂部的紅色邊界框（圖14）內的像素百分比，作為構建高度的函數。換句話說，較低的子圖顯示了在該層融合的有界區域的百分比。認識到這一百分比的增加代表懸挑區域，急劇增加意味著懸挑基本上沒有支撐。據推斷，支撐結構不足以承受水平定向抗拉鋼筋所呈現的大量懸垂。因此，一旦重涂器葉片經過粉末床的該區域，撞擊第一層拉伸桿（支架上方），就會發生零件故障。圖15顯示了竣工水平定向拉伸鋼筋。
盡管工業界迅速采用了激光粉末床熔接（LPBF）增材制造，但目前的工藝在很大程度上仍然是開環的，實時監控能力有限。雖然一些機器在構建期間提供粉末床可視化，但它們缺乏自動分析能力。這項工作提出了一種現場監測和分析粉末床圖像的方法，有可能成為LPBF機器實時控制系統的一個組成部分。具體而言，計算機視覺算法用于自動檢測和分類在粉末撒布過程中發生的異常。異常檢測和分類是使用無監督機器學習算法實現的，該算法運行在一個中等大小的圖像補丁訓練數據庫上。對最終算法的性能進行了評估，并通過幾個案例研究證明了其作為獨立軟件包的有用性。
1.介紹
近年來，增材制造業（俗稱3D打印）作為一個行業經歷了巨大的增長；這對于生產網狀金屬零件的機器和工藝來說尤其如此。增材制造承諾非常適合航空航天和醫療應用，以及在現場和偏遠地區生產任務關鍵部件。然而，這些應用需要一定程度的零件質量保證和工藝可靠性，這是目前市場上的系統難以實現的。
圖片（a）顯示Arcam A2建造室的新組件位置和紅外攝像頭，以及（b）使用紅外攝像頭拍攝的圖像。
Rodriguez等人將紅外熱像儀集成到Arcam A2電子束-PBF機器中，如上圖（a）所示，以便分析每個構建層的表面溫度曲線。此外，此信息隨后用于修改下一層的生成設置。FLIR系統SC645紅外熱像儀因其高分辨率（640×480像素）和2000°C的測量溫度范圍而被選中集成到Arcam A2中。安裝紅外攝像機需要大量的機器修改，其中包括用ZnSe玻璃替換系統以前的攝像機，安裝一個保護瓣，充當快門，保護ZnSe窗口，以及安裝氣動執行器來激活快門襟翼。控制系統還與Arcam合作進行了修改，以觸發快門和圖像捕獲。ThermaCAM研究員用于手動分析圖像，測量來自表面的發射輻射（來自物體的發射，來自環境源的反射發射和來自大氣的發射），并將其轉換為相對溫度讀數。加工過程中由“過度熔化”引起的材料不連續性可以從生成的紅外圖像中識別出來，如圖（b）所示。
激光粉末床熔合（LPBF）機器通過使用重涂器刀片將一層薄薄的金屬粉末涂敷在構建板上進行操作。粉末鋪展后，使用激光束在與3D零件的2D切片相對應的位置選擇性地熔化粉末。激光完成后，降低構建板，再鋪上一層粉末（在現有粉末床上，圖1），重復該過程，直到零件完成。在現場監測構建方面開展了大量工作，特別關注跟蹤激光束產生的熔池大小]以及粉末床溫度。最終零件中的許多缺陷，以及構建過程的整體可靠性，都與重涂器葉片和粉末床之間的相互作用直接相關。工作重點是監控粉末床的最終零件中的缺陷指示，以及可能影響整個過程穩定性的異常。
圖1 EOS M290采集的原始粉末床圖像。
為了實現全面粉末床監測的目標，本工作提出了一種算法，該算法實現了現代機器學習和計算機視覺技術，僅使用LPBF機器制造商提供的硬件來檢測和分類列舉的異常。這是一個挑戰，因為每個粉末層圖像可能包含數百個唯一可識別的異常；為了彌補這一不足，本文修改了標準方法，以允許對單個圖像中的多個對象進行分類。即使作為獨立軟件（例如，未與LPBF機器控制系統集成），該算法在分析構建故障和分析最終零件質量方面也證明是有價值的。
2.實驗程序和方法
本文所述的所有工作均在EOS M290 LPBF機器上進行（EOS GmbH，德國）。未對EOS硬件進行任何修改，例如，僅使用庫存攝像機和照明配置。
2.1.圖像預處理
EOS M290拍攝的原始圖像（圖1）存在一些困難，妨礙了它們在基于機器學習的算法中的直接使用。幸運的是，相機的安裝和照明條件在整個構建過程中以及不同構建之間保持一致，因此許多所需的圖像增強可以大大簡化。
圖2顯示了一個完全預處理的圖像。初步結果表明，該算法完全能夠操作其他（即非CMU）EOS M290s生成的數據集，前提是遵循上述預處理步驟。此外，該算法已成功用于分析從安裝在SLM 280機器（SLM Solutions GmbH）上的相機拍攝的幾個粉末床圖像。請注意，在本文檔中顯示的所有粉末床圖像中，重涂器刀片從右向左移動（如圖1所示）。
圖2 圖1預處理后。
2.2.粉末擴散異常等級的選擇
復涂器跳躍通常發生在復涂器刀片（相對）輕輕撞擊粉末層正下方的零件時。這種撞擊會導致復涂器葉片周期性“顫動”，如圖3a所示，在粉末層中可以看到重復的垂直線。當復水器葉片損壞（即“刻痕”）或復水器刀片拖拽一塊碎屑或一團粉末穿過粉末床時，會出現復水器條紋。粉末層中的單個水平線可見復涂條紋（圖3b）；由于其尺寸相對較小，因此使用本方法檢測異常是最具挑戰性的異常之一。碎屑分類包括對粉末層的大多數干擾，這些干擾并非直接位于零件上方。圖3c顯示了幾個碎屑示例。
圖3 作者選擇的六種不同粉層異常類型的代表性示例。注意，異常之間的相對大小已被保留。具體而言，異常情況包括：（a）復水跳躍，（b）復水條紋，（c）碎屑，（d）超高，（e）零件故障，以及（f）未完全鋪展。
（a）設備設置示意圖，（b）熔池紅外圖像和（c）Hu和Kovacevic進行的灰度分析。
Griffiths等人是最早研究使用紅外成像進行粉末DED原位測量的人之一。紅外熱像儀用于評估使用LENS™工藝加工不銹鋼316時看到的相對溫度。使用光譜范圍為3.6 mm至5 mm的320×244像素CCD陣列記錄元件拍攝熔池圖像，并將其與使用高速相機拍攝的圖像進行比較，并使用標準熱圖技術獲得溫度。由于粉末DED制造部件的發射率數據未知，因此計算的所有溫度都是相對的。輸出圖像顯示熔池和通過傳導加熱的周圍區域。相對于熔池的最高溫度繪制了熱剖面圖。相反，胡和科瓦切維奇將近紅外（NIR）相機與粉末輸送速率傳感器結合使用，用于在粉末DED加工過程中監控熔池。使用幀速率為800幀/秒的同軸紅外成像相機以128×128像素的分辨率拍攝熔池區域的灰度圖像。使用適當的濾光片來保護相機免受加工激光的損壞。還采用了大于700 nm的紅外濾光片來提高圖像質量。連接的PC執行上圖（a）中概述的圖像處理和控制步驟。使用灰度等溫線（圖（c））從紅外圖像（圖（b））評估熔池中的溫度分布。開發了用于熱輸入控制的閉環控制系統，使用實時控制（專門針對功能分級組件）提高了幾何零件精度。
3.理論
這項工作是一種廣泛使用的機器學習技術的應用，稱為關鍵點，通常用于計算機視覺問題。與手動創建異常檢測器相反，作者采用了機器學習方法，因為它具有內在的靈活性，并且有可能成為檢測和分類多種異常類型的“一刀切”方法。本節旨在概述該技術，并描述其在增材制造中的應用。圖4是粉末床監測算法這一部分的流程圖，廣泛引用。
圖4 本工作中實現的機器學習過程流程圖。
4.結果和討論
由于這項工作沒有得到外部資助，因此沒有專門為這項研究創建測試工件。因此，通過審查三個案例研究的分析，利用CMU的EOS M290上執行的構建數據，得出結果。
4.1.算法性能
計算機視覺系統的目標是產生一個數字表示，其中包含表征視覺圖像所需的相關信息。換句話說，要把一個圖像變成一個向量，總結它的視覺信息內容。這個過程有三個步驟：首先，系統在圖像中找到興趣點或視覺特征;也就是說，它決定了要查看的內容。接下來，系統將每個特征編碼為向量描述符;也就是說，它以數字方式表征了特征。最后，系統將特征描述符組合在一起，以創建整個圖像的表示形式;也就是說，它決定了圖像的微觀結構指紋。該過程在下圖中示意性地說明。
示意性結構示意圖的 SIFT-VLAD 微觀結構表示的構造。
通常使用一種稱為混淆矩陣的度量來評估機器學習算法。通過在20張具有代表性的粉末床圖像上手動標記數十萬像素（帶有異常分類）來確定基本事實。培訓過程中沒有包括任何具有代表性的粉末床圖像；這種單獨的數據集可以被視為類似于驗證數據集。然后將每個像素處的這些地面真值標簽與粉末床監測算法提供的標簽進行比較。結果如圖5和圖6所示。隨著分析了更多具有獨特和異常豐富層的構建，可以更新混淆矩陣。
圖5（左）：混淆矩陣，顯示正確猜測的每個地面真相異常的百分比；標記為每種異常類型的像素的絕對數量顯示在縱軸上的括號中。
圖6（右）：一個混淆矩陣，顯示了算法做出的正確異常猜測的百分比。這可以被視為衡量算法避免誤報的程度。
4.2.Hamerschlag-Hall模型-分層和懸垂
在分析了每一層之后，每一層中每一異常分類的百分比可以顯示為構建報告中構建高度的函數。圖8顯示了兩個模型Hamerschlag Halls建筑的簡化全球建造報告（圖7）。異常檢測峰值在多個層面可見；其中760層和1960層分別如圖9和圖10所示。
圖7 CMU增材制造實驗室所在地Hamerschlag Hall的CAD模型。其中的兩個小比例尺模型是用Ti-6Al–4V制成的，放在一塊模板上。
圖8 一份全局構建報告，顯示了在構建的每一層劃分為超高和零件故障異常的像素數（基于CAD模型，以零件面積的百分比表示）。
圖9 760層（建造板上方22.80 mm）。綠色像素顯示該層零件的CAD輪廓。
圖10 1960層（建造板上方58.80 mm）。綠色像素顯示該層零件的CAD輪廓。
零件故障主要是在正確的Hamerschlag模型上檢測到的，這與最終零件的后分析一致。這種差異在圖11中特別明顯；請注意，右側型號的圓形大廳檢測到的部件故障百分比很高。檢測到大量零件故障的其他區域對應于這兩種車型的開放式門道，這些門道代表了明顯的突出部分，這些位置的最終零件質量明顯較差。在圖12中，觀察到該構造存在大量不完全擴展異常。這是一個準確的觀察結果，由于可用粉末不足，粉末劑量系數（從分配器（圖1）每層中取出的粉末量）在此構建期間設置得很低。沒有任何不完整的擴展異常延伸到包含Hamerschlag-Hall模型的構造板塊區域。假設有足夠的粉末供應，這種問題可以通過反饋控制系統進行糾正，該系統將增加粉末劑量系數，理想情況下，在任何部件受到負面影響之前。
圖11熱圖顯示了在每個像素處檢測到部件故障的層（整個構建高度）的百分比。構建板上零件的位置顯示為白色輪廓。
圖12 熱圖顯示了在每個像素處檢測到不完全擴散異常的層的百分比（整個構建高度）。構建板上零件的位置顯示為白色輪廓。
4.3.受拉鋼筋− 建造高縱橫比結構
Bettis海軍核實驗室用316L不銹鋼制成多個拉伸桿，具有不同的方向和不同的支撐方案。圖8顯示了一份全球構建報告，其中包含關于整個粉末床的信息。在包含許多不同部分的構建中，這變得很難解釋。圖13、圖16顯示了僅包括與特定抗拉鋼筋相關的異常檢測的本地構建報告− 一個標本水平建造，另一個標本垂直建造。雖然圖14和圖17中的所有抗拉鋼筋（23）和圓柱形見證試件（2）均為綠色輪廓，但所討論的特定抗拉鋼筋以紅色框為界。
圖13 水平定向拉伸鋼筋的局部構建報告和垂直零件輪廓。
圖14 （左）：注意在紅色邊界框內的第250層檢測到的部件故障（洋紅色）。綠色像素顯示該層零件的CAD輪廓。
水平定向拉伸桿在量規截面下方使用最小支撐結構，以減少其對最終試樣性能的影響。從圖13可以明顯看出，一旦零件從支撐材料過渡到拉伸桿本身，就會檢測到重大零件故障（洋紅色，圖14）。這發生在構建高度的5 mm處，即層250。圖13的下部子圖（綠色）顯示了位于拉伸桿本身頂部的紅色邊界框（圖14）內的像素百分比，作為構建高度的函數。換句話說，較低的子圖顯示了在該層融合的有界區域的百分比。認識到這一百分比的增加代表懸挑區域，急劇增加意味著懸挑基本上沒有支撐。據推斷，支撐結構不足以承受水平定向抗拉鋼筋所呈現的大量懸垂。因此，一旦重涂器葉片經過粉末床的該區域，撞擊第一層拉伸桿（支架上方），就會發生零件故障。圖15顯示了竣工水平定向拉伸鋼筋。
圖15（右）竣工水平受拉鋼筋。
(責任編輯：admin)
Fabric8Labs推出AI芯片定
Titomic又一合作，將與nuF
荷蘭公司將開設3D打印船舶
Chicago Additive推出AMOS
590MHz帶寬+超90%輻射效率
威斯康星大學麥迪遜分校工最新內容
突破性生物3D打印
迪拜LEAP 71公司
3D生物打印構建內
《Small Science
南洋理工-劍橋大
清華大學：抗拉強熱點內容
