Detección y corrección de errores de impresión 3D generalizables a través de múltiples

Nature Communications volumen 13, Número de artículo: 4654 (2022) Citar este artículo

11k Accesos

3 citas

188 Altmetric

Detalles de métricas

La extrusión de materiales es el método de fabricación aditiva más extendido, pero su aplicación en productos de uso final está limitada por la vulnerabilidad a los errores. Los humanos pueden detectar errores, pero no pueden proporcionar monitoreo continuo o corrección en tiempo real. Los enfoques automatizados existentes no son generalizables a diferentes partes, materiales y sistemas de impresión. Entrenamos una red neuronal multicabezal utilizando imágenes etiquetadas automáticamente por desviación de los parámetros de impresión óptimos. La automatización de la adquisición y el etiquetado de datos permite la generación de un conjunto de datos de impresión 3D de extrusión grande y variado, que contiene 1,2 millones de imágenes de 192 piezas diferentes etiquetadas con parámetros de impresión. La red neuronal así entrenada, junto con un lazo de control, permite la detección en tiempo real y la corrección rápida de diversos errores que son efectivos en muchas geometrías 2D y 3D, materiales, impresoras, trayectorias e incluso métodos de extrusión. Además, creamos visualizaciones de las predicciones de la red para arrojar luz sobre cómo toma decisiones.

La extrusión de materiales es el método de fabricación aditiva (AM) más común por razones que incluyen su costo relativamente bajo, poco posprocesamiento, compatibilidad con muchos materiales y capacidad multimaterial1. Esto ha hecho que la extrusión AM sea prometedora en numerosas áreas2, incluida la atención médica3, los dispositivos médicos4, la industria aeroespacial5 y la robótica6. Sin embargo, una razón clave por la que muchas de estas aplicaciones permanecen en la etapa de investigación es que la extrusión AM es vulnerable a diversos errores de producción. Estos van desde imprecisiones dimensionales a pequeña escala y debilidades mecánicas hasta fallas totales de construcción1,7,8,9,10. Para contrarrestar los errores, un trabajador calificado normalmente debe observar el proceso AM, reconocer un error, detener la impresión, retirar la pieza y luego ajustar adecuadamente los parámetros para una nueva pieza. Si se utiliza un nuevo material o impresora, este proceso lleva más tiempo a medida que el trabajador adquiere experiencia con la nueva configuración11,12. Incluso entonces, los errores pueden pasarse por alto, especialmente si el trabajador no está observando continuamente cada proceso. Esto puede ser difícil si varias impresoras están en funcionamiento simultáneamente o, como lo destaca la pandemia de COVID-19, el personal está limitado debido al distanciamiento social o a una enfermedad. Esto no solo cuesta material, energía y tiempo, sino que también limita el uso de piezas de AM en productos de uso final, en particular los críticos para la seguridad, como los dispositivos médicos, y la resiliencia de las cadenas de suministro basadas en AM. Estos desafíos serán cada vez más apremiantes a medida que la fabricación aditiva se expanda a materiales vivos y funcionales, estructuras reticulares complejas de múltiples materiales y entornos desafiantes, como sitios de construcción remotos al aire libre o en el cuerpo humano.

Esto ha motivado diversas e interesantes investigaciones sobre el seguimiento de la extrusión AM13. Los sensores de corriente14,15, inercial16,17 y acústicos18,19,20,21,22 se han utilizado a menudo para monitorear la AM de extrusión. Aunque estos enfoques conducen a la detección fiable de ciertas modalidades de error, normalmente a gran escala, durante la impresión, muchos errores siguen siendo indetectables. Estas metodologías aún no se han utilizado en la mayoría de las impresoras 3D, ya que el costo de los sensores y amplificadores para tales enfoques suele ser alto. Además, no son lo suficientemente ricos en datos para permitir comentarios y correcciones en línea.

Los enfoques basados ​​en cámaras son potencialmente versátiles y ricos en datos. Se han utilizado cámaras individuales montadas en el marco de la impresora con una vista de arriba hacia abajo o lateral, junto con técnicas tradicionales de procesamiento de imágenes y visión por computadora, para detectar diversos errores AM de extrusión23,24,25,26,27,28,29, 30,31,32. Este enfoque tiene las ventajas de ser relativamente económico, más fácil de configurar y que la cámara a menudo puede ver gran parte de la pieza fabricada en cualquier momento. Esto permite detectar muchos errores, como la deformación del relleno o la presencia de "manchas" de material. Sin embargo, el uso de una sola cámara puede limitar la cantidad de información obtenida sobre el proceso de fabricación y, por lo tanto, la variedad de errores y tipos de errores identificados. Los enfoques multicámara son más costosos y complejos de implementar, pero potencialmente más capaces. Múltiples vistas de la pieza, o la adición de cámaras infrarrojas, pueden permitir que se vean defectos, como impresiones incompletas, que pueden no ser evidentes desde un solo punto de vista33,34,35. Las reconstrucciones 3D de piezas impresas, por ejemplo, generadas por escaneo de luz estructurada 3D multicámara y correlación de imágenes digitales, se pueden comparar con el modelo de pieza digital 3D para detectar imprecisiones dimensionales35,36,37,38,39,40,41,42 ,43. Sin embargo, estos sistemas más sofisticados suelen ser costosos, sensibles a las condiciones de iluminación y a las propiedades de la superficie de la pieza, más lentos debido al tiempo de escaneo y al cálculo, requieren posicionamiento y calibración precisos y se limitan a detectar errores lo suficientemente grandes como para ver los límites de resolución del escáner.

Los enfoques de cámara única y multicámara montados en marco, como el anterior, también suelen tener dificultades para ver el material a medida que se deposita desde la boquilla porque el cabezal de impresión puede oscurecer la vista. Por lo general, las impresiones deben pausarse para permitir la creación de imágenes de una capa, lo que impide la corrección en tiempo real, ralentiza las tasas de producción y puede causar errores debido a una extrusión inconsistente. Esto ha motivado el trabajo de montaje de una o varias cámaras en la boquilla o la extrusora, que pueden ver el proceso de impresión en curso y ha permitido la retroalimentación en tiempo real para corregir la extrusión excesiva o insuficiente durante la impresión44,45, así como la estimación de la forma del material extruido. de la boquilla46. Los enfoques tradicionales de visión por computadora son muy prometedores para identificar explícitamente errores específicos en partes específicas de los sistemas de impresión 3D para los que han sido calibrados. Sin embargo, es muy desafiante crear algoritmos de extracción de características que puedan generalizarse a diferentes partes, impresoras, materiales y configuraciones. Por lo tanto, la mayoría de los ejemplos solo muestran una única combinación de impresora, geometría de la pieza, material y condición de impresión, y ninguno demuestra la corrección de errores en varias piezas o configuraciones.

El aprendizaje automático y, en particular, las técnicas de aprendizaje profundo han logrado un rendimiento de vanguardia en muchas aplicaciones, incluida la visión47, al expresar representaciones complejas en términos de otras representaciones más simples48. Esto ha llevado a varias demostraciones recientes emocionantes de aprendizaje automático en la detección de errores de extrusión AM49,50,51,52,53,54,55,56. Sin embargo, el trabajo existente solo ha demostrado la detección de errores en una sola parte y, por lo tanto, se desconoce la efectividad de las técnicas existentes para otras partes, particularmente las partes que no se ven en los datos de entrenamiento. Además, la mayoría de los enfoques existentes solo pueden detectar una sola modalidad de error: velocidad de flujo deficiente49, defectos entre capas50, deformación por alabeo53 y grandes defectos en la superficie superior52,54. A menudo, los métodos existentes también requieren que un objeto ya se haya impreso con éxito para proporcionar comparaciones para la detección de errores51,54,55. Esto puede ser especialmente limitante para piezas personalizadas. El aprendizaje automático es más emocionante en la detección de errores porque podría ser potencialmente más sólido y generalizable a nuevos materiales, geometrías e impresoras que las funciones hechas a mano. Sin embargo, el potencial de los algoritmos de aprendizaje automático para descubrir características de error generalizables sigue sin explorarse en gran medida.

Para que la detección de errores alcance todo su potencial en la reducción de los desechos de impresión 3D y la mejora de la sostenibilidad, el costo y la confiabilidad, debe combinarse con la corrección de errores. Se ha trabajado en la detección y corrección de algunos tipos de errores entre impresiones posteriores del mismo objeto51,55. Sin embargo, se requieren muchas impresiones de ese objeto para construir el conjunto de datos, lo que permite la corrección de errores en ese objeto. Además, estos métodos no son capaces de corregir en tiempo real, lo que significa que si se detecta un error, esa parte no se puede recuperar. Un estudio anterior examinó la corrección y el control en tiempo real para la extrusión AM49. Sin embargo, la implementación solo demuestra la corrección del parámetro de impresión de caudal y solo en una geometría que se usa tanto para entrenar como para probar el sistema. También hay un retraso significativo entre la detección y corrección de errores. Como ocurre con la detección de errores, el rendimiento de los métodos de corrección de errores existentes en objetos invisibles no está claro, lo que limita su aplicabilidad industrial.

Aquí informamos un método fácilmente implementable que utiliza cámaras web económicas y una única red neuronal convolucional profunda de varios cabezales para mejorar cualquier impresora 3D basada en extrusión con detección de errores, corrección y descubrimiento de parámetros para nuevos materiales (Fig. 1). Esto se ha realizado en este trabajo a través del desarrollo de CAXTON: la red de extrusión autónoma colaborativa, que conecta y controla las impresoras 3D de aprendizaje, lo que permite la recopilación de datos de la flota y el aprendizaje colaborativo de extremo a extremo. Cada impresora de la red puede imprimir y recopilar datos continuamente, con la ayuda de un sistema de extracción de piezas. A diferencia del trabajo de monitoreo AM de aprendizaje profundo existente, que a menudo utiliza el etiquetado humano de errores para entrenar algoritmos, CAXTON etiqueta automáticamente los errores en términos de desviación de los parámetros de impresión óptimos. Excepcionalmente, CAXTON sabe no solo cómo identificar sino también cómo corregir diversos errores porque, para cada imagen, sabe qué tan lejos están los parámetros de impresión de sus valores óptimos. Esta generación autónoma de datos de entrenamiento permite la creación de conjuntos de datos más grandes y diversos, lo que resulta en mejores precisiones y generalizabilidad. El sistema final es capaz de detectar y corregir múltiples parámetros simultáneamente y en tiempo real. La red neuronal multicabezal puede autoaprender la interacción entre los parámetros de fabricación debido a la única columna vertebral de extracción de características compartidas, incluso haciendo que el sistema sea capaz de reconocer múltiples soluciones para resolver el mismo error. Como parte de este trabajo, se ha seleccionado y se lanzará un conjunto de datos de monitoreo de procesos in situ, ópticos y a gran escala para extrusión AM. Contiene más de 1 millón de imágenes de muestra de deposición de material de la boquilla de la impresora etiquetadas con sus respectivos parámetros de impresión de 192 impresiones de diferentes geometrías 2D y 3D. El sistema es altamente escalable, utiliza firmware de uso común y puede crecer mediante la adición remota de más impresoras para conjuntos de datos futuros más grandes y diversos. A pesar de haber sido capacitado solo en piezas de ácido poliláctico termoplástico extruido, estas capacidades se generalizan a impresoras, posiciones de cámara, materiales y extrusión de escritura directa de tinta nunca antes vistos. También describimos varias innovaciones, como la división de trayectorias de herramientas y las actualizaciones de parámetros proporcionales que permiten mejorar las velocidades de corrección en un orden de magnitud en comparación con el trabajo de corrección de errores de impresión 3D en tiempo real publicado actualmente. Esto se habilita con equipos de bajo costo que solo requieren una conexión de red, una cámara web de consumo estándar y una computadora de placa única de bajo costo (por ejemplo, Raspberry Pi). Finalmente, el uso de capas de atención dentro de la red permite a los operadores humanos interpretar en qué características se enfoca la red. Luego se emplean métodos de visualización para obtener información sobre cómo la red neuronal entrenada hace predicciones tanto para ayudar a la comprensión fundamental como para ayudar a generar confianza o permitir la trazabilidad.

un flujo de trabajo para recopilar conjuntos de datos variados de impresoras 3D de extrusión con el etiquetado automático de imágenes con parámetros de impresión. b Flota de ocho impresoras 3D de extrusión de termoplásticos (Creality CR-20 Pro) equipadas con cámaras enfocadas en la punta de la boquilla para monitorear la deposición de material. c Representaciones de trayectorias generadas para una única geometría de entrada, con parámetros de corte seleccionados aleatoriamente. d Instantánea de los datos recopilados durante una impresión de ejemplo que muestra imágenes con distintas combinaciones de parámetros. e Diseño del removedor de cama y el muelle utilizando el sistema de movimiento existente junto con fotografías tomadas durante la operación. f Distribuciones de parámetros normalizados en el conjunto de datos completo recopilado por CAXTON que contiene más de 1,2 millones de muestras.

Generamos un nuevo conjunto de datos de impresión 3D que contiene piezas impresas con ácido poliláctico (PLA), etiquetadas con sus parámetros de impresión asociados, para una amplia gama de geometrías y colores utilizando impresoras 3D de modelado por deposición fundida. Nuestra canalización de generación de datos CAXTON automatiza todo el proceso, desde la selección de archivos STL hasta la planificación de trayectorias, la recopilación y el almacenamiento de datos (Fig. 1a). Las geometrías del modelo se descargan automáticamente del repositorio en línea, Thingiverse. Las geometrías se cortan posteriormente con configuraciones muestreadas aleatoriamente (por ejemplo, escala, rotación, densidad de relleno, patrón de relleno y espesor de pared). Las trayectorias de herramientas generadas luego se convierten para tener movimientos máximos de 2,5 mm mediante un script de Python personalizado, para evitar movimientos excesivamente largos que ejecutan un solo conjunto de parámetros y para reducir el tiempo de respuesta del firmware. Durante la impresión, las imágenes se capturan cada 0,4 segundos. Cada imagen capturada tiene una marca de tiempo y está etiquetada con los parámetros de impresión actuales: temperaturas reales y objetivo para el hotend y la cama, caudal, velocidad lateral y compensación Z. Estos parámetros se conocen con precisión recuperando valores del firmware en tiempo real o configurando el valor con un comando de código G. Además, para cada imagen, las coordenadas de la punta de la boquilla en cada impresora se guardan para permitir el recorte automático alrededor de la región de interés durante el entrenamiento. Después de recopilar 150 imágenes, se genera una nueva combinación de parámetros de impresión para cada impresora mediante el muestreo de distribuciones uniformes de cada parámetro. Las nuevas combinaciones de parámetros se envían a cada impresora a través de la red como comandos de código G que posteriormente se ejecutan con un retraso mínimo debido a la conversión de la trayectoria. Tras la ejecución, se recopilan otras 150 imágenes etiquetadas antes de que se repita el proceso de actualización de parámetros. Esto continúa hasta el final de la impresión y da como resultado conjuntos de imágenes, cada una con parámetros de impresión muy diferentes (Fig. 1d). Este procedimiento de etiquetado automatizado para cada imagen proporciona una mayor resolución que el etiquetado basado en humanos porque ningún operador humano podría etiquetar parámetros con el mismo nivel de precisión (por ejemplo, que el índice de flujo actual es del 56 %) y ningún ser humano podría etiquetar una imagen con una combinación exacta de múltiples parámetros de impresión, ya que interactúan fuertemente entre sí (por ejemplo, la boquilla es demasiado alta, el caudal es demasiado bajo y la temperatura es demasiado baja o una combinación ponderada de estos).

Debido al muestreo de combinaciones de parámetros subóptimos, algunas impresiones se convierten en fallas completas, que después de cierto punto brindan poca información sobre los parámetros asociados. Dichas imágenes se eliminan manualmente, dejando 1.166.552 imágenes etiquetadas (91,7% de las 1.272.273 originales). El conjunto de datos restante contiene algunas etiquetas ruidosas debido a los tiempos de respuesta más largos que se encuentran al actualizar los parámetros de impresión, como el caudal antes de que se presente un cambio notable en la imagen. El tiempo de respuesta consta de un retardo de ejecución del comando y un retardo mecánico. El primer retraso se maneja principalmente capturando imágenes solo después de que se haya recibido un reconocimiento del comando de actualización de parámetros de la impresora. Para el retraso mecánico, se realizaron experimentos en el peor de los casos para determinar el tiempo de respuesta para cambiar cada parámetro del valor mínimo al valor máximo en el conjunto de datos. Se encontró que los cambios son predominantemente visibles dentro de los 6 segundos posteriores a la aplicación de una actualización y, como tal, se eliminan 15 imágenes después de las actualizaciones de parámetros. Esto deja 1.072.500 muestras en las que el sistema ha alcanzado el estado deseado. Los valores atípicos de parámetros poco realistas causados ​​por impresoras que no ejecutan correctamente los comandos de código G o fallas en sensores como termistores se filtran, dejando 991,103 muestras. Por último, se eliminan las imágenes muy oscuras con un valor de píxel medio en los canales RGB de menos de 10. Esto da como resultado un conjunto de datos limpio de 946.283 imágenes etiquetadas (74,4 % del original). Los valores de parámetros continuos actualmente se agrupan en tres categorías para cada parámetro: bajo, bueno y alto. Los límites superior e inferior para estos contenedores se seleccionan en función de nuestra experiencia de AM con PLA. Esto crea 81 combinaciones de clases diferentes posibles para que la red neuronal las prediga (tres categorías para cuatro parámetros).

Utilizamos el aumento de datos para aumentar el tamaño y la calidad de nuestro conjunto de datos filtrados y, por lo tanto, evitar el sobreajuste y mejorar la generalización en nuestro modelo57. La ubicación y la forma del material depositado en las imágenes capturadas varían mucho según la geometría de la pieza que se está imprimiendo. Además, se descubrió que el color, la reflectancia y las sombras diferían según la posición de la cámara, la elección del material y el diseño de la impresora. Para simular una variedad más amplia de geometrías, ubicaciones de cámaras y materiales, cada imagen del conjunto de datos se somete a una amplia gama de técnicas de aumento de datos (Fig. 2e). Primero, la imagen de tamaño completo capturada por la cámara se gira aleatoriamente hasta 10 grados en cualquier dirección. Luego se aplica una transformada de perspectiva menor con una probabilidad de 0.1. Luego, la imagen se recorta automáticamente a una región cuadrada de 320 × 320 píxeles enfocada en la punta de la boquilla utilizando las coordenadas de la punta de la boquilla guardadas durante la recopilación de datos. Las transformaciones de rotación y perspectiva se aplican antes del recorte para eliminar prácticamente la necesidad de relleno en la región recortada. Luego, se recorta una porción cuadrada aleatoria con un área entre 0,9 y 1,0 de la imagen de 320 × 320 y se redimensiona a 224 × 224 píxeles, el tamaño de entrada para la red neuronal profunda. Posteriormente, se puede aplicar un giro horizontal a la imagen con una probabilidad de 0,5, seguido de la aplicación de una fluctuación de color de ±10 % al brillo, el contraste, el matiz y la saturación de la imagen. Este uso de aumento de datos sintéticos es más eficiente en términos de tiempo y recursos que cambiar la posición de las cámaras en las impresoras y cambiar las condiciones de iluminación ambiental durante la recopilación de conjuntos de datos. También permite un conjunto de datos sin procesar más pequeño con aumentos aplicados funcionalmente en tiempo de ejecución durante el entrenamiento en lugar de aumentar el tamaño del conjunto de datos con más muestras. Finalmente, los canales en la imagen transformada se normalizan utilizando la desviación estándar y la media de píxeles de cada canal para todas las imágenes en el conjunto de datos filtrado.

a La arquitectura de red de múltiples cabezales consta de una única red troncal Attention-56 compartida58, que contiene módulos de atención apilados y bloques residuales, seguida de cuatro cabezales de salida completamente conectados después de la capa de aplanamiento, uno para cada parámetro. Cada uno de estos encabezados clasifica su parámetro asociado como bajo, bueno o alto. Los módulos de atención constan de una rama troncal que contiene bloques residuales y una rama de máscara que realiza un muestreo descendente y ascendente. b Máscaras de atención de ejemplo en cada módulo para las imágenes de entrada dadas. Cada salida del módulo consta de muchos canales de máscaras, aquí solo se muestra una muestra. Las máscaras muestran las regiones en las que se enfoca la red, como la extrusión más reciente, como se muestra en el resultado del módulo 2. c Matrices de confusión de la red final después de las tres etapas de entrenamiento en nuestro conjunto de datos de prueba para cada parámetro. d Gráficos de precisión de capacitación y validación a partir de la capacitación de la red en tres semillas, suavizadas con un promedio móvil exponencial, en tres conjuntos de datos: una sola capa, completa y balanceada. e Ejemplos de aumentos de datos utilizados durante el entrenamiento para hacer que el modelo sea más generalizable.

La predicción precisa de los parámetros de impresión actuales en el proceso de extrusión a partir de una imagen de entrada se logra utilizando una red de atención residual profunda de múltiples cabezales58 con una sola columna vertebral y cuatro cabezales de salida, uno para cada parámetro. En el aprendizaje profundo, la clasificación de una sola etiqueta es muy común y requiere solo un cabezal de salida para clasificar la entrada como una de N clases posibles. Sin embargo, este trabajo requiere una clasificación de etiquetas múltiples para clasificar la entrada como una de las tres clases posibles (baja, buena y alta) para cada una de las cuatro etiquetas (tasa de flujo, velocidad lateral, compensación Z y temperatura del hotend). Para lograr esto, se utilizan múltiples cabezales de salida con una red troncal compartida para la extracción de características. Los pesos de la red troncal compartida se actualizan durante el paso hacia atrás en el entrenamiento mediante la suma de las pérdidas de cada uno de los cabezales de salida separados. Esto permite que la red troncal aprenda su propia interpretación de las relaciones entre cada uno de los parámetros y la importancia de ciertas características compartidas entre los parámetros. El enfoque alternativo es usar múltiples redes separadas, cada una con un solo cabezal de salida y tratar el problema como cuatro problemas de clasificación de etiqueta única separados. Esto, sin embargo, analiza cada parámetro de forma aislada y, como tal, no aprende la interacción y las relaciones. Además, requiere mucho más cómputo durante el entrenamiento y en la implementación en el mundo real, ya que se deben entrenar cuatro redes separadas de forma independiente (en lugar de una), y luego estas redes deben ejecutarse en paralelo durante la operación.

El uso de la atención en la red puede reducir la cantidad de parámetros de red necesarios para lograr el mismo rendimiento para nuestra aplicación, al tiempo que hace que la red sea más robusta para las etiquetas ruidosas. Los mapas de atención también pueden ayudar a inspeccionar errores y explicar predicciones. La red troncal única permite compartir la extracción de características para cada parámetro y, como tal, reduce el tiempo de inferencia en comparación con tener redes separadas. Además, permite que la red única modele la interacción entre diferentes parámetros. Cada cabeza tiene tres neuronas de salida para clasificar un parámetro como bajo, bueno o alto. Con esta estructura, la red predice el estado del caudal, la velocidad lateral, el desplazamiento Z y la temperatura del hotend simultáneamente en un solo paso hacia adelante a partir de una sola imagen de entrada RGB (Fig. 2a). Esta estructura de múltiples cabezales y el conocimiento de múltiples parámetros pueden conducir a una mejora en la predicción de parámetros individuales. Curiosamente, se encontró que una red entrenada únicamente para predecir la clase de caudal logró una menor precisión en la clasificación del caudal que una red entrenada con conocimiento de los cuatro parámetros. Sin embargo, se requieren más experimentos para examinar este resultado y si se puede usar un contexto adicional para aumentar el rendimiento de la red.

La red troncal compartida consta de tres módulos de atención y seis bloques residuales y se basa en el modelo Atención-5658. Los módulos de atención están compuestos por dos ramas: la máscara y el baúl. La rama troncal realiza el procesamiento de características de una red tradicional y se construye a partir de bloques residuales. La rama de máscara realiza un muestreo descendente seguido de un muestreo ascendente para aprender una máscara de atención con la que ponderar las características de salida del módulo. Esta máscara no solo se puede usar durante el pase hacia adelante para la inferencia, sino también como una máscara en el pase hacia atrás durante la propagación hacia atrás. Esta fue una de las razones para elegir esta arquitectura de red, ya que se cree que estas ramas de máscara pueden hacer que la red sea más resistente a las etiquetas ruidosas, que contiene nuestro conjunto de datos debido a cambios de parámetros y sutiles inconsistencias durante la impresión. Después de estos bloques, la columna vertebral de la red se aplana en una capa completamente conectada que se vincula a cada uno de los cuatro cabezales separados. Las cabezas deben ser salidas separadas de la red. Este trabajo requiere una clasificación de etiquetas múltiples, ya que cada predicción completa requiere que cada cabeza tenga siempre una predicción única separada. Un enfoque alternativo sería utilizar cuatro redes neuronales completas separadas; sin embargo, esto sería significativamente más intensivo en computación y memoria, además de no poder modelar las relaciones entre los parámetros de fabricación. El enfoque de red troncal compartida de cabezales múltiples utilizado en este trabajo da como resultado que la red troncal se utilice como un extractor de características para comprimir la dimensionalidad de la imagen de entrada en una representación de espacio latente aprendida de la suma de pérdidas para cada parámetro de fabricación. Entonces se puede pensar que cada cabeza actúa como un mapeo de este espacio latente a la clasificación del nivel de parámetros.

Para visualizar en qué características se está enfocando la red en cada etapa, se crearon imágenes de los mapas de atención después de cada módulo (Fig. 2b). Aquí, la misma máscara de atención de cada módulo se aplica a cada una de las 3 imágenes de entrada con las áreas que no son de interés oscurecidas (nota: estas máscaras son ejemplos ilustrativos ya que cada módulo contiene muchos mapas de atención diferentes). La red parece enfocarse en las regiones impresas en la salida de máscara de ejemplo para el módulo de atención 1, y luego solo en la extrusión más reciente para el módulo 2. El módulo 3 aplica lo contrario al anterior, enfocándose en todo menos en la punta de la boquilla.

Se encontró que dividir el proceso de capacitación en tres etapas separadas y usar el aprendizaje por transferencia fue la más sólida. Para cada etapa se entrenaron tres redes con semillas diferentes. En la primera etapa, la red se entrena en un subconjunto de datos que contiene solo imágenes de las primeras capas con un 100 % de relleno. Las características son más visibles para cada parámetro en estas impresiones y, con un primer entrenamiento, con este subconjunto, la red puede aprender más rápidamente a detectar características importantes. Se descubrió que esta separación aceleró el proceso de aprendizaje, ya que las características eran más fáciles de aprender para la capa única y, posteriormente, podían ajustarse en el conjunto de datos completo, lo que hacía que la red fuera generalizable a geometrías 3D complejas. La mejor semilla logró una precisión de entrenamiento del 98,1 % y una precisión de validación del 96,6 %. Luego se utilizó un enfoque de aprendizaje por transferencia para volver a entrenar el modelo de la mejor semilla en el conjunto de datos completo que contenía imágenes para todas las geometrías 3D. Esto se hizo tres veces, y la mejor semilla logró una precisión de entrenamiento y validación de 91,1 y 85,4%, respectivamente. Las redes neuronales pueden aprender sesgos inherentes en los datos que se les proporcionan; por lo tanto, debido a los desequilibrios en nuestro conjunto de datos completo (por ejemplo, el desplazamiento Z puede tener muchos más valores que son demasiado altos que demasiado bajos porque la boquilla chocaría contra la cama de impresión), se utilizó el aprendizaje de transferencia por última vez. Esta vez, sin embargo, solo la capa final completamente conectada a cada uno de los cuatro cabezales se entrenó en un subconjunto de datos balanceado que contenía un número igual de muestras para cada una de las 81 combinaciones posibles (cuatro parámetros, cada uno de los cuales puede ser bajo, bueno). o alta). Se congelaron los pesos en la columna vertebral de la red para la extracción de características. Esto logró una precisión de entrenamiento del 89,2 % y una validación del 90,2 %. Luego, la red entrenada final se probó en nuestro equipo de prueba, donde logró una precisión general del 84,3 %. Para cada parámetro, las precisiones de clasificación en nuestro equipo de prueba fueron: caudal 87,1 %, velocidad lateral 86,4 %, desplazamiento Z 85,5 % y temperatura hotend 78,3 %. Se puede encontrar más información sobre el proceso de entrenamiento en la figura complementaria S1. Esta tarea no solo sería muy desafiante para un operador humano experto, dado el diverso conjunto de pruebas de múltiples capas, sino que esta precisión también subestima la eficacia de la red para la corrección de errores. Los parámetros son interdependientes y, por lo tanto, para muchos tipos de errores, habrá múltiples combinaciones de cambios de parámetros que podrían corregirlos. Por ejemplo, un desplazamiento Z más alto con la boquilla lejos de la cama de impresión puede confundirse fácilmente con un caudal bajo (ambos aparecen como bajo extrusión) y podría corregirse cambiando cualquiera de los parámetros. Sin embargo, solo una de estas combinaciones de parámetros se contará como "correcta" en el cálculo de precisión dadas las etiquetas en los datos de entrenamiento.

Para probar la capacidad de la red para corregir errores de impresión y descubrir parámetros óptimos para nuevos materiales, se descargaron nuevamente modelos 3D aleatorios, pero esta vez para probar la corrección. Cada modelo 3D se cortó con diferentes configuraciones de escala, rotación, densidad de relleno, número de perímetros y número de capas sólidas mediante muestreo aleatorio de distribuciones uniformes. El patrón de relleno se eligió al azar de una lista dada de patrones comunes. El conjunto de trayectorias generadas se convirtió posteriormente para tener movimientos máximos de 1 mm usando un script personalizado para permitir tiempos de respuesta de firmware significativamente más rápidos para los cambios de parámetros durante la impresión mientras se mantiene manejable el tamaño de los archivos de impresión y se evitan las fluctuaciones debido a que la impresora no puede leer y procesar las líneas de código G lo suficientemente rápido.

Durante el proceso de impresión, las imágenes de la punta de la boquilla y la deposición del material se toman a 2,5 Hz y se envían a un servidor local para su inferencia (Fig. 3a). Cada imagen recibida se recorta automáticamente a una región de 320 × 320 píxeles enfocada en la punta de la boquilla. El usuario debe especificar las coordenadas de píxeles de la boquilla una vez al montar la cámara en la configuración. Además, es posible que los usuarios deseen modificar el tamaño de la región recortada según la posición de la cámara, la distancia focal y el tamaño de la boquilla de la impresora. La elección de una región adecuada alrededor de la boquilla afecta el rendimiento de la red y el mejor equilibrio entre la precisión y el tiempo de respuesta se observa cuando se ven ~5 anchos de extrusión a ambos lados de la punta de la boquilla.

a Los seis pasos principales en el proceso de retroalimentación permiten actualizaciones de parámetros en línea a partir de imágenes del proceso de extrusión. b Tabla que contiene θmode (umbral de modo), L (longitud de secuencia), Imin (mínimo de interpolación), A+ (el aumento más grande), A− (disminución más grande) para cada parámetro de impresión junto con los niveles posibles de cantidades de actualización. c Ejemplo simple de geometría de una sola capa que ilustra la división de la trayectoria en segmentos iguales más pequeños. Se utilizan longitudes de 1 mm en el proceso de retroalimentación para permitir una corrección rápida y reducir el tiempo de respuesta.

A continuación, la imagen recortada se redimensiona a 224 × 224 píxeles y se normaliza en los canales RGB. A continuación, la red de clasificación produce una predicción (demasiado alta, demasiado baja, buena) para cada parámetro dado a esta imagen como entrada. Estos parámetros predichos se almacenan en listas separadas de diferentes longitudes establecidas, L, para cada parámetro. Si una predicción particular se realiza con la suficiente frecuencia como para formar una proporción de una lista completa mayor o igual que el umbral de modo (θmode), entonces se encuentra un modo y se acepta esa predicción. Si no se encuentra ningún modo, no se realizan actualizaciones y el parámetro de impresión se considera aceptable, como en el caso en que la predicción del modo es 'buena'. Si se encuentra que un modo es 'demasiado alto' o 'demasiado bajo', la proporción de la longitud de la lista constituida por el valor del modo se usa para escalar el ajuste al parámetro que facilita la corrección proporcional. Específicamente, la interpolación lineal unidimensional se aplica para mapear el rango entre el umbral de un parámetro (θmode) y 1 a un nuevo mínimo (Imin) y 1. El valor interpolado luego se usa para escalar linealmente la cantidad máxima de actualización (A+ para aumentos de parámetros y A− para disminuciones). Los valores específicos de θmode, L, Imin, A+ y A- se obtuvieron de forma iterativa a través de la experimentación para cada parámetro individualmente (Fig. 3b) para equilibrar el tiempo de respuesta con precisión y evitar el exceso. La longitud de la lista de hotends y el umbral de modo son particularmente conservadores debido al largo tiempo de respuesta de este parámetro y también al riesgo de seguridad en el exceso.

Una vez que se han calculado las cantidades de actualización finales para los parámetros de impresión, se envían a una Raspberry Pi conectada a cada impresora. Pi recupera el valor actual de cada parámetro y crea un comando de código G para actualizar el parámetro. Luego, Pi busca el reconocimiento de la ejecución del comando por parte del firmware a través de la serie. Una vez que el firmware ha ejecutado todos los comandos, Pi envía un reconocimiento al servidor. Cuando el servidor recibe un reconocimiento de que se han ejecutado todas las actualizaciones, comienza a hacer predicciones nuevamente. Esperar este reconocimiento de todas las actualizaciones de parámetros es crucial para detener las oscilaciones causadas por el exceso y el defecto del objetivo.

Para demostrar la capacidad de corrección del sistema, se construyó una tubería de experimentación para tomar un archivo STL de entrada, cortarlo con una buena configuración de impresión, insertar un comando de código G para alterar un parámetro a un valor bajo y luego analizar el código G generado y dividirlo. el modelo en secciones de 1 mm (Fig. 4). Se usó el mismo modelo de impresora que en el entrenamiento pero con una posición de cámara alterada (ligeramente girada y trasladada con respecto a la boquilla), una nueva boquilla de 0,4 mm con geometría externa diferente y una muestra de impresión de una sola capa invisible. Para comparar las respuestas entre los parámetros, cada uno se imprimió usando el mismo carrete de filamento PLA (Fig. 4a). Estas impresiones de una sola capa se utilizan como punto de referencia claramente interpretable para probar cada uno de los parámetros individuales y combinaciones de parámetros en diferentes impresoras, configuraciones y materiales. Los defectos de los parámetros de velocidad de flujo, desplazamiento Z y temperatura del hotend son claramente visibles, mientras que el defecto de la velocidad lateral se puede observar como una línea más oscura donde se redujo la velocidad de impresión. La demora entre el envío del comando (flechas negras en la Fig. 4a) y la actualización de los parámetros es observable, lo que demuestra la importancia de esperar los reconocimientos de la impresora. En cada caso, la red, en combinación con el umbral de modo, puede recuperar rápidamente buenos parámetros de impresión (consulte la película complementaria S1).

a Corrección rápida de un único parámetro erróneo inducido manualmente utilizando la red neuronal multicabezal entrenada. Impreso con materia prima PLA en una impresora conocida con una boquilla invisible de 0,4 mm que no se usa en los datos de entrenamiento. b Optimización simultánea en línea de múltiples parámetros incorrectos en polímeros termoplásticos no vistos. Demuestra que la tubería de control es resistente a una amplia gama de materias primas con diferentes propiedades de material, color y condiciones iniciales. c Al igual que un operador humano, el sistema utiliza relaciones de parámetros autoaprendidas para predicciones correctivas. Una desviación Z alta puede corregirse reduciendo la desviación Z y/o aumentando el caudal de material. d Corrección de múltiples parámetros de impresión incorrectos introducidos a mitad de la impresión. Ambas torres se imprimieron en las mismas condiciones, siendo la única diferencia la corrección. e Corrección de impresiones iniciadas con combinaciones de parámetros incorrectas. Las seis llaves fueron impresas con las mismas condiciones.

A pesar de haber sido entrenado solo con PLA termoplástico extruido, la canalización de control se generaliza a diversos materiales, colores y configuraciones. La figura 4b muestra la corrección en línea para cuatro termoplásticos diferentes impresos con diferentes combinaciones de parámetros de impresión aleatorios múltiples incorrectos en puntos de referencia interpretables de una sola capa similares a los de la figura 4a. En cada caso, la red actualiza con éxito varios parámetros, lo que da como resultado una buena extrusión (consulte la película complementaria S2). Las muestras rellenas de TPU y fibra de carbono no tienen un perímetro impreso debido a las malas condiciones iniciales. Esto no solo es útil para el descubrimiento automatizado de parámetros, lo que ayuda a los usuarios a ajustar sus impresoras para nuevos materiales al obtener rápidamente las mejores combinaciones de parámetros, sino que también muestra que los sistemas de control pueden mejorar la productividad al evitar impresiones fallidas donde las trayectorias iniciales no se adhieren a las cama.

Gracias a tener todas las predicciones de parámetros en una estructura de red, el modelo entrenado aprende las interacciones entre múltiples parámetros y puede ofrecer soluciones creativas a parámetros incorrectos como un operador humano. Imprimimos una muestra usando la configuración del lazo de control pero sin hacer correcciones en línea. Esta muestra contenía una región con un alto desplazamiento Z. Un desplazamiento Z alto da como resultado caminos separados de material extruido; el mismo resultado puede ocurrir con una velocidad de flujo baja. La Figura 4c muestra que la red determina que aumentar la tasa de flujo junto con reducir Z dará como resultado una buena extrusión. Como el modelo entrenado puede encontrar varias formas de resolver el mismo problema, puede ser más resistente a las predicciones incorrectas para un solo parámetro y permitir una retroalimentación más rápida al combinar actualizaciones en múltiples parámetros. Los gráficos de predicción también demuestran la velocidad a la que la red detecta que los parámetros ahora son buenos, lo cual es vital para garantizar que el sistema de control no se exceda al realizar correcciones en línea.

La Figura 4d aplica la canalización de control usando el mismo modelo de impresora que se usó en el entrenamiento (Creality CR-20 Pro) en una geometría de torre invisible para demostrar que nuestra metodología podría usarse en un entorno de producción para geometrías 3D completas. Se introdujeron múltiples parámetros aleatorios de impresión incorrectos a la mitad de la impresión, específicamente una tasa de flujo muy alta, velocidad lateral y temperatura del hotend y un desplazamiento Z bajo. La torre impresa sin corrección falló dramáticamente, mientras que la torre impresa con las mismas condiciones con la corrección habilitada se completó con éxito. La Figura 4e muestra seis copias de la misma geometría de llave inglesa 3D, cada una de las cuales comenzó con la misma combinación de parámetros de impresión incorrectos: bajo caudal y velocidad lateral, alto desplazamiento Z y buena temperatura del hotend. De las seis llaves, tres se imprimieron sin corrección, lo que resultó en una falla total debido al desprendimiento de la plataforma de impresión y un acabado superficial muy deficiente en las dos restantes. Estos errores se deben a la mala capa inicial provocada por los parámetros de impresión subóptimos. Los tres impresos con corrección se completaron con éxito y exhiben el mismo acabado superficial mejorado, particularmente en la capa inicial. Cabe señalar que estas impresiones corregidas no coinciden con una pieza perfectamente impresa. Las imperfecciones están presentes hasta que se han aplicado todas las correcciones necesarias y, como tal, parte de la capa inicial se imprime con parámetros de inicio deficientes. Aunque es raro, también se puede aplicar una corrección cuando no se necesita, lo que genera una imperfección.

Para demostrar la generalidad del sistema, se conectaron una cámara y una lente diferentes a una nueva ubicación en una impresora invisible (Lulzbot Taz 6) con una boquilla de forma y ancho de boquilla diferentes: 0,6 mm en lugar de 0,4 mm como se usa en el entrenamiento (Fig. 5a) . Esta impresora utiliza un sistema de extrusión que toma un filamento de 2,85 mm de diámetro como entrada sobre 1,75 mm como se usa en las impresoras de entrenamiento. La figura 5b muestra el mismo sistema de control aplicado a una geometría de alfil invisible. Los parámetros de impresión aleatorios incorrectos se introdujeron al principio de la impresión, específicamente durante la capa 7. Estos parámetros incorrectos fueron una velocidad lateral baja y un caudal alto, el desplazamiento Z y la temperatura del hotend. El obispo erróneo impreso sin corrección falló, mientras que el obispo impreso con exactamente las mismas condiciones con la canalización de control habilitada se completó correctamente con mayor detalle. Las impresiones de referencia de una sola capa se completaron con cada parámetro erróneo individual introducido utilizando PLA blanco (Fig. 5c). Estos demuestran que la red neuronal multicabezal y la canalización de control se generalizan para corregir los parámetros en las impresoras de modelado de deposición fundida. El tamaño de la región mal impresa en estas muestras parece mayor que en las impresas para la Fig. 4a, ya que la boquilla más grande en el Lulzbot Taz seis da como resultado un ancho de extrusión mucho mayor para cada línea. El número de líneas es aproximadamente el mismo entre las impresoras.

a Fotos de una impresora 3D invisible probada con una boquilla de 0,6 mm de diámetro interior (Lulzbot Taz 6). Se utilizó un modelo de cámara diferente (Raspberry Pi Camera v1) y una lente en comparación con la recopilación de datos de entrenamiento junto con una nueva posición de la cámara con respecto a la deposición de material. b Una pieza de ajedrez de alfil con parámetros erróneos introducidos y la misma impresión errónea con corrección habilitada. Ambos se imprimieron con PLA de 2,85 mm en la configuración invisible de Lulzbot Taz 6. c Corrección rápida de un único parámetro erróneo inducido manualmente utilizando la red neuronal multicabezal entrenada. Impreso con materia prima PLA blanca en una impresora invisible con una boquilla invisible de 0,6 mm que no se usa en los datos de entrenamiento. d Impresora basada en jeringa para escritura directa con tinta (DIW) modificada de una Creality Ender 3 Pro. Se utilizó un modelo de cámara invisible (Raspberry Pi Camera v1) y una lente junto con una posición de cámara diferente. e Corrección automatizada y descubrimiento de parámetros mostrados para PDMS con boquilla de 0,21 mm (calibre 27), junto con mayonesa y ketchup con boquilla de 0,84 mm (calibre 18).

La tubería de control se probó más en una configuración de escritura de tinta directa utilizando un motor paso a paso con una varilla roscada para mover un émbolo en una jeringa (Fig. 5d). Este utilizó un modelo de cámara diferente y una lente montada en un ángulo y una distancia diferente de la boquilla con una cama de impresión de vidrio transparente y reflectante en lugar de la cama negra utilizada durante las pruebas termoplásticas. Con esta configuración, se imprimieron PDMS, mayonesa y ketchup utilizando una variedad de boquillas: 0,21 mm para el PDMS y 0,84 mm para los condimentos (Fig. 5e). Todas las muestras se imprimieron a temperatura ambiente sin corrección hotend. Para la impresión de PDMS, la red solo corrigió el caudal. La figura 5e muestra que para PDMS, la red aprende a aumentar el caudal al aumentar la presión aplicada a la jeringa. Una vez que se alcanza la presión requerida, la red reduce el caudal para detener la extrusión. Sin embargo, durante las impresiones largas, la tasa de flujo a veces se excede debido a una gran acumulación de presión en la jeringa, especialmente cuando la red no reduce la tasa de flujo lo suficientemente rápido. Equilibrar esta presión es especialmente difícil en esta configuración específica debido al material viscoso y al pequeño diámetro de la boquilla que requiere altas presiones para la impresión, lo que crea un intervalo de tiempo entre el movimiento del émbolo y la extrusión. Cuando se imprimen materiales menos viscosos, este exceso y el retraso de la presión son un problema menor, especialmente con diámetros de boquilla más grandes. Para los ejemplos de mayonesa y ketchup, la red ajustó principalmente la tasa de flujo y la compensación Z. Encontramos que ambos condimentos tendían a extruirse en exceso y la red a menudo reducía el caudal y, para la primera capa, disminuía el desplazamiento Z. Cuando se imprimían estructuras de varias capas, la red tendía a aumentar el desplazamiento Z en cada capa y reducir el caudal para evitar que la punta de la boquilla se sumergiera en la capa anterior.

Es útil buscar posibles explicaciones de por qué los modelos toman ciertas decisiones, particularmente cuando se implementan redes neuronales profundas en producción para aplicaciones críticas para la seguridad. Dos métodos de visualización populares que pueden ayudar a los usuarios a comprender por qué las redes neuronales hacen sus predicciones son la retropropagación guiada59 y el mapeo de activación de clase ponderado por gradiente (GradCAM)60. El primero ayuda a mostrar características de resolución más finas aprendidas por la red al hacer predicciones y el segundo proporciona una localización más gruesa que muestra regiones importantes en la imagen (esto puede considerarse como atención post hoc). Para ambos enfoques, se proporciona la categoría objetivo (bajo, bueno y alto) para cada uno de los cuatro parámetros para determinar qué características o regiones son específicamente importantes para esa categoría. Además de esto, se desarrolló un método para aplicar las técnicas para cada parámetro por separado dentro de toda la red, lo que nos permite producir hasta 12 visualizaciones personalizadas para una imagen de entrada (las tres clases para cada uno de los cuatro parámetros, por ejemplo, caudal bajo, alta velocidad lateral, buen desplazamiento Z).

Múltiples combinaciones de parámetros erróneos pueden resultar en rutas separadas de material extruido (bajo extrusión) o rutas superpuestas de material (sobre extrusión). Se usó retropropagación guiada para tratar de determinar si la red usa características similares en todos los parámetros para detectar estas propiedades físicas de extrusión. En la Fig. 6a se muestran imágenes de ejemplo representativas de extrusión por debajo, buena y por encima causadas por diferentes parámetros. Parece que se comparten características similares entre los parámetros para la misma clasificación de extrusión: rutas separadas para la subextrusión, un contorno de la ruta actual para una buena extrusión y alrededor de la boquilla para la sobreextrusión.

Se puede lograr una subextrusión, una buena o una sobreextrusión mediante múltiples parámetros incorrectos. Se aplica retropropagación59 guiada para resaltar características importantes en la imagen utilizada para la clasificación. Las imágenes no vistas de ejemplos representativos sugieren que la red utiliza características similares en todos los parámetros para identificar la misma propiedad física. b El mapeo de activación de clase ponderado por gradiente (GradCAM)60 muestra que a través de parámetros y entradas no vistas, las primeras etapas de la red diferencian entre el material depositado y la plataforma de impresión. c GradCAM aplicado a las etapas finales muestra que la red como un todo se enfoca en la punta de la boquilla a través de parámetros y entradas no vistas. d Las tendencias que se muestran en la retropropagación guiada y GradCAM en diferentes etapas también se aplican a diferentes metodologías de extrusión invisibles, como la escritura con tinta directa.

GradCAM se aplicó a cada capa de la red troncal compartida para cada uno de los parámetros por separado. Mostramos en la Fig. 6b, c las visualizaciones de la primera y la última capa (bloques residuales 1 y 6, respectivamente). Las etapas anteriores de la red parecen detectar grandes características estructurales en la imagen, como diferenciar entre el material depositado y la cama de impresión. En la última capa, la red se enfoca predominantemente en la extrusión más reciente de la boquilla, independientemente del parámetro o la clase objetivo. Esto se desea en cuanto a tiempos de respuesta rápidos y correcciones, queremos que la red use información del material depositado más recientemente para su predicción. En la Fig. 6d, se muestran visualizaciones de ejemplo de imágenes de pruebas de escritura con tinta directa. Estas imágenes demuestran que la red entrenada puede usar características similares en cada etapa durante la predicción a las que usa para las predicciones termoplásticas. Se pueden encontrar más visualizaciones en la figura complementaria S2 y la película complementaria S3.

Demostramos que entrenar una red neuronal de cabezales múltiples usando imágenes etiquetadas en términos de desviación de los parámetros de impresión óptimos permite una detección de errores AM de extrusión en tiempo real robusta y generalizable y una corrección rápida. La automatización tanto de la adquisición de datos como del etiquetado permite la generación de un conjunto de datos basado en imágenes de entrenamiento lo suficientemente grande y diverso para permitir la detección y corrección de errores que se generaliza a través de geometrías, materiales, impresoras, trayectorias e incluso métodos de extrusión 2D y 3D realistas. La profunda red neuronal multicabezal pudo predecir simultáneamente con alta precisión los cuatro parámetros clave de impresión: caudal, velocidad lateral, desplazamiento Z y temperatura del hotend a partir de imágenes de la boquilla durante la impresión. Se descubrió que este contexto adicional y el conocimiento de múltiples parámetros incluso pueden conducir a una mejora en la predicción de parámetros individuales, aunque se necesita más investigación para respaldar este hallazgo. Como un ser humano, el sistema fue capaz de proponer creativamente múltiples soluciones a un error e incluso pudo descubrir nuevas combinaciones de parámetros y aprender a imprimir nuevos materiales. Sin embargo, a diferencia de los humanos, el sistema operaba continuamente y hacía correcciones instantáneamente. Junto con esta red, presentamos numerosos avances en el ciclo de control de retroalimentación con nuevas incorporaciones, como actualizaciones de parámetros proporcionales, división de trayectorias y umbrales de predicción optimizados, que combinados brindan una mejora de orden de magnitud en la velocidad de corrección y el tiempo de respuesta en comparación con el trabajo anterior.

Si bien mejora significativamente las capacidades de retroalimentación de AM a través del control generalizado de más parámetros con tiempos de respuesta más rápidos, este trabajo también reduce el costo y la complejidad de los enfoques existentes. El uso de cámaras disponibles en el mercado, pequeñas computadoras de placa única (p. ej., Raspberry Pi) y redes permiten agregar el sistema a impresoras nuevas y existentes con facilidad. El sistema se amplía y se conecta a paquetes de software y firmware populares, lo que significa que los flujos de trabajo de los usuarios existentes se ven mínimamente afectados. Además, la red totalmente integrada permite que cada impresora agregada aumente los datos de capacitación disponibles y también permite que el sistema se implemente en entornos más remotos donde solo se requiere una conexión a Internet.

Hay margen de mejora en la metodología. Por ejemplo, probar la red en una gama más amplia de impresoras y materiales y agregar datos recopilados al conjunto de datos de capacitación podría hacer que el sistema sea más generalizable y sólido. Más datos para valores de desplazamiento Z bajos también pueden ser beneficiosos, ya que las pequeñas diferencias en el valor pueden tener un gran impacto en la calidad de impresión. Además, hay un rango más pequeño de valores que las compensaciones Z bajas pueden tomar sobre las altas antes de llegar a la cama, lo que provoca un sesgo en el conjunto de datos ya que hay más valores presentes en la clasificación alta. Además, creemos que los pequeños movimientos en el desplazamiento Z pueden ser la principal debilidad del conjunto de datos actual y el enfoque mejorado de la cámara, la resolución y la atención al posicionamiento mejorarían en gran medida la próxima iteración de grandes conjuntos de datos AM. También es importante plantear el papel que puede desempeñar el sesgo en el rendimiento del modelo entrenado dado el conjunto de datos proporcionado. El trabajo futuro se mejoraría mediante el uso de un conjunto de datos aún más grande y más equilibrado con un número igual de muestras en niveles de clasificación más granulares. Por ejemplo, en la actualidad, en el conjunto de datos, puede haber ciertas combinaciones de parámetros que solo aparecen durante una impresión específica o con un solo color de filamento y, por lo tanto, la red ha aprendido estas características incorrectas como mapeos. Además, si bien los modelos 3D, la configuración de corte y los valores de los parámetros se han muestreado aleatoriamente, todavía hay cierto sesgo, incluso en los rangos dados, la configuración de corte adicional y la elección de la materia prima.

La eficacia de nuestra metodología se puede mejorar aún más mediante el ajuste de las muchas variables utilizadas durante la canalización de retroalimentación de corrección en línea, junto con la frecuencia de muestreo y la longitud de división de la trayectoria. Las pruebas más exhaustivas con una búsqueda de valores más amplia y profunda pueden generar un rendimiento mejorado. Mejores valores para estas variables de corrección ayudarían a reducir la posibilidad de oscilaciones de corrección durante la retroalimentación que hemos experimentado en las pruebas al mejorar las predicciones sobre las listas o reducir el tiempo de respuesta. Las oscilaciones de parámetros pueden ocurrir si la red aún puede ver una región previamente mala y sobrepasa su corrección o ante una serie de predicciones incorrectas de la red neuronal.

Además, nos damos cuenta de que, si bien este enfoque ayuda a resolver muchos errores comunes de impresión basados ​​en la extrusión, todavía quedan muchos. Las fallas mecánicas en la impresora causadas por la omisión de pasos, el deslizamiento de la correa o la interferencia externa siguen sin resolverse y la adición de un control de circuito cerrado para errores de posicionamiento aumentaría la cantidad de modalidades de error cubiertas. Los problemas eléctricos causados ​​por sensores defectuosos o fuentes de alimentación de bajo rendimiento pueden detectarse en algunos casos, pero no pueden corregirse de forma autónoma. Además, los errores grandes, como el agrietamiento, la deformación por alabeo y los problemas de adhesión del lecho que provocan el desprendimiento de piezas, no se resuelven por completo. Si bien el control preciso en tiempo real de los parámetros de impresión puede ayudar a reducir la probabilidad de que ocurran estos errores, no puede detectar ni resolver muchos de ellos una vez que se han formado debido a su enfoque localizado de monitoreo. La combinación de esta imagen local con un sistema de cámara global puede generar mejoras significativas en la detección de más errores y podría proporcionar un vínculo entre los problemas de extrusión locales y las fallas a escala global.

Los mapas de prominencia basados ​​en gradientes que usamos para examinar cómo la red toma sus decisiones sugieren que la red aprende a enfocarse en la extrusión más reciente al hacer predicciones, lo que ayuda a responder rápidamente a los errores. Esto, junto con la capacidad de la red para predecir con precisión diferentes parámetros a través de diferentes geometrías, materiales y configuraciones, sugiere que la red identifica características visuales que son universales para los procesos de extrusión, como la forma del extruido. La metodología desarrollada en este artículo es, en gran medida, independiente de los sensores y del proceso de fabricación al que se aplica. Esto apunta a una serie de áreas para futuras investigaciones. Por ejemplo, al integrar nuevos sensores infrarrojos u otros sensores en el sistema o aplicarlos a procesos de fabricación más desafiantes61,62. Aplicarlo a los métodos de fabricación aditiva de metales es particularmente emocionante dada la complejidad de estos procesos y la necesidad de garantía de calidad63. Las técnicas ópticas son los métodos más comunes utilizados hasta ahora en la fabricación aditiva de metales para monitorear características tales como la superficie del lecho de polvo y el baño de fusión64,65. Estos serían apropiados para usar con nuestra metodología y pueden ser especialmente beneficiosos para AM de metales con los que puede ser difícil trabajar66. Esto podría verse favorecido por el ajuste fino del modelo en configuraciones específicas con transferencia de aprendizaje en conjuntos de datos pequeños y especializados (con una buena iluminación uniforme), para aumentar el rendimiento en entornos conocidos.

Se utilizó una red de ocho impresoras 3D FDM para la recopilación de datos. Se eligieron las impresoras Creality CR-20 Pro debido a su cargador de arranque preinstalado de bajo costo y la sonda Z incluida. El firmware de cada impresora se actualizó a Marlin 1.1.9 para garantizar que la protección contra fugas térmicas estuviera habilitada. Cada impresora estaba equipada entonces con una Raspberry Pi 4 Modelo B que actuaba como puerta de enlace en red para enviar/recibir datos hacia/desde la impresora a través de la serie. El Pi ejecuta una distribución de Linux basada en Raspbian y un servidor OctoPrint con un complemento desarrollado a medida. Se conectó una cámara web USB de consumo de bajo costo (Logitech C270) a la RasPi para tomar instantáneas. La cámara se montó frente a la punta de la boquilla usando una sola pieza impresa en 3D. Estos componentes se pueden instalar fácilmente en impresoras nuevas y existentes a bajo costo; ayudando a la calabilidad y despliegue.

La impresora utilizada para escribir con tinta directa fue una Creality Ender 3 Pro modificada. La configuración de la extrusora fue diseñada y construida internamente y utilizó una jeringa impulsada por un motor paso a paso con una boquilla Luer lock. La impresora está equipada con un modelo Raspberry Pi 4, una sonda Z y una cámara Raspberry Pi v1 con lente de zoom. El firmware es una versión configurada de Marlin 2.0. Para otros experimentos, se utilizó un Lulzbot Taz 6 con su firmware actualizado a Marlin 1.1.9. La boquilla predeterminada se cambió por una boquilla E3D de 0,6 mm de diámetro interior.

Los archivos STL se descargaron del repositorio de modelos 3D de Thingiverse mediante un script de Python. Esta herramienta permitió buscar fácilmente modelos en el repositorio por múltiples vías, como palabra clave, popularidad, tiempo, creador y licencia. Con esta herramienta, los archivos populares (para aumentar la probabilidad de que fueran imprimibles) con las licencias adecuadas se seleccionaron y descargaron de forma pseudoaleatoria. Además, algunos de los archivos de referencia de impresión 3D estándar se agregaron manualmente a este conjunto de STL.

Para cortar partes para crear trayectorias variadas, los STL se rotaron aleatoriamente (ángulo muestreado de una distribución uniforme que va de 0° a 360°) y se escalaron antes de centrarlos en la placa de construcción (factor de escala muestreado de una distribución uniforme que va de 0,8 a 2— para algunos modelos que ya eran grandes, se recortó el factor de escala para reducir el tiempo de impresión). Luego, se tomaron muestras aleatorias del número de capas superiores e inferiores sólidas de una distribución uniforme que va de 2 a 4 junto con el patrón de relleno, la densidad de relleno (0% a 40%) y el número de muros perimetrales externos (2 a 4). Se utilizó la siguiente gama de patrones de relleno: rectilíneo, cuadrícula, triángulos, estrellas, cúbico, línea, concéntrico, panal, panal 3D, giroide, curva de Hilbert, cuerdas de Arquímedes y espiral octagram. Las líneas en la salida del código G de la cortadora se cortaron posteriormente en segmentos más pequeños con una longitud de movimiento máxima de 2,5 mm para reducir los tiempos de respuesta del firmware Para las demostraciones de corrección en línea, se usó una longitud de movimiento máxima de 1 mm para reducir aún más el firmware tiempo de respuesta.

Durante la impresión, las imágenes se capturan con una resolución de 1280 × 720 píxeles desde la cámara orientada hacia la boquilla con una frecuencia de muestreo de 2,5 Hz. Cada imagen está etiquetada con las temperaturas real y objetivo del hotend y la cama en ese momento y el caudal relativo actual de la impresora y la velocidad lateral (ambos porcentajes) junto con el desplazamiento Z (en mm). Después de recopilar y almacenar 150 de estas imágenes etiquetadas (~1 min de impresión), se muestrean aleatoriamente nuevos valores de caudal, velocidad lateral, desplazamiento Z y temperatura objetivo del hotend a partir de distribuciones uniformes de los siguientes rangos respectivos de caudal: 20 a 200%, velocidad lateral: 20 a 200%, desplazamiento Z: −0,08 a 0,32 mm y hotend: 180 a 230 °C. Se encontró que algunas tasas de flujo adicionales en niveles más altos debían agregarse al conjunto de entrenamiento, ya que estaban lo suficientemente fuera de distribución como para que los modelos entrenados predijeran incorrectamente la clasificación. Esto no fue necesario para los otros parámetros. Después del muestreo, los nuevos valores se envían a la impresora. La impresora comienza a capturar otras 150 imágenes para esta nueva combinación de parámetros. Este proceso puede ocurrir en paralelo en las ocho impresoras que usamos, cada una de las cuales usa un color diferente de materia prima, lo que ayuda a cubrir el gran espacio de parámetros.

Se eligió la selección aleatoria de valores de parámetros sobre la selección sistemática de parámetros para proporcionar diferentes contextos circundantes en las imágenes capturadas. Específicamente, al elegir un enfoque aleatorio, la región exterior de la imagen puede contener extrusión para una combinación de parámetros anterior significativamente diferente, y esto puede ayudar a entrenar la red para usar características locales alrededor de la punta de la boquilla. En cambio, un enfoque sistemático puede introducir patrones en los niveles de parámetros para el material depositado previamente que la red puede aprender, reduciendo la localidad de los datos utilizados para las predicciones e introduciendo una debilidad durante la impresión en línea en condiciones invisibles donde el contexto circundante no será sistemático. y puede estar fuera de distribución.

Para reducir la necesidad de intervención humana en el proceso de impresión y ayudar a la impresión continua, se ha desarrollado un método nuevo y simple para eliminar impresiones completas. Anteriormente se han implementado numerosos métodos para eliminar piezas automáticamente al finalizar67,68; sin embargo, las implementaciones anteriores requieren una amplia modificación del hardware, son costosas o solo pueden eliminar una gama relativamente limitada de piezas. Nuestro sistema de extracción de lechos no requiere componentes electrónicos, motores ni piezas mecánicas complejas adicionales. La solución propuesta se puede adaptar a cualquier impresora de extrusión y se compone principalmente de piezas impresas que pueden ser producidas por la impresora en cuestión. El cabezal de impresión ya móvil se mueve y se acopla con un raspador ubicado en la parte trasera de la plataforma de construcción. Posteriormente, los motores integrados de la impresora se utilizan para mover el cabezal de impresión y el raspador a través de la superficie de construcción, eliminando el objeto impreso. Después de retirarlo, el cabezal de impresión devuelve el raspador a su ubicación inicial y se desacopla (consulte la película complementaria S4). Para garantizar que el raspador permanezca siempre en la misma posición, se adjunta una base para raspador con imanes a la cama de impresión para mantener el raspador en su lugar hasta que sea necesario retirar el siguiente objeto. Se pueden encontrar más detalles sobre este sistema en la Figura complementaria S3 y la Nota complementaria 1 en la Información complementaria, y también en un repositorio de GitHub que contiene los archivos CAD STEP modificables, archivos STL para imprimir y scripts de código G de ejemplo para la eliminación de piezas ( https://github.com/cam-cambridge/creality-part-remover).

Para entrenar la red, determinamos la pérdida de entropía cruzada en cada uno de los cabezales y luego sumamos estas pérdidas antes de la retropropagación. Esto da como resultado que la red troncal compartida de la red se actualice para adaptarse a la pérdida de cada cabezal, con las capas completamente conectadas a cada cabezal solo actualizándose por la pérdida de ese cabezal. La tasa de aprendizaje inicial se seleccionó en cada una de las 3 etapas de entrenamiento barriendo un rango de valores y seleccionando una tasa de aprendizaje con una gran caída en la pérdida69. Las tasas de aprendizaje de cada una de las etapas se pueden ver en la información complementaria. La selección de la tasa de aprendizaje correcta fue de importancia clave: una tasa de aprendizaje alta condujo a mapas de atención deficientes, mientras que las tasas de aprendizaje demasiado bajas tardaron más en entrenarse o se estancaron en los mínimos locales tempranos. Se usó un optimizador AdamW70,71 durante el entrenamiento con un programador de tasa de aprendizaje reducido en meseta para disminuir la tasa de aprendizaje en un factor de 10 cuando 3 épocas seguidas no mejoraron la pérdida en más del 1%. Los gráficos de la tasa de aprendizaje durante el entrenamiento se pueden encontrar en la información complementaria. Se utilizó una división de entrenamiento, validación y prueba de 0,7, 0,2 y 0,1, respectivamente, con un tamaño de lote de 32. Las tres etapas de entrenamiento se entrenaron para 50, 65 y 10 épocas, respectivamente. Cada etapa fue entrenada tres veces con tres semillas diferentes. Durante el aprendizaje de transferencia se eligió la mejor semilla de la etapa anterior como base para seguir entrenando.

Para determinar la importancia de este entrenamiento en varias etapas y el uso de la atención, se entrenaron cuatro ResNets47 diferentes con la misma configuración, excepto que solo tenían una semilla y una etapa en el conjunto de datos completo. Las precisiones de la prueba se pueden ver en la Tabla 1 junto con la precisión de nuestra red de atención elegida entrenada usando las tres etapas. Se encontró que los modelos más grandes con estas adiciones en realidad disminuyen la precisión de la prueba. La aplicación de más entrenamiento previo en cada modelo en otros conjuntos de datos probablemente mejoraría la precisión en todos los ámbitos.

El uso de múltiples parámetros en una sola red de múltiples cabezales para proporcionar un contexto adicional puede conducir a un rendimiento mejorado en comparación con el entrenamiento de parámetros únicos en redes separadas. Después de 50 épocas de entrenamiento, un modelo ResNet18 con una sola salida de cabezal para predecir el caudal logró una precisión del 77,5 %. El mismo modelo con varios cabezales (uno para cada uno de los cuatro parámetros) después de 50 épocas de entrenamiento logró una precisión final del 82,1 % en la predicción del caudal.

Los modelos finales se entrenaron utilizando el formato de punto flotante de precisión media (FP16) en dos GPU Nvidia Quadro RTX 5000 con una CPU i9-9900K (ocho núcleos y 16 subprocesos) y 64 GB de RAM. Esta configuración también se utilizó para la corrección en línea. Algunos trabajos de creación de prototipos se realizaron en un clúster de GPU HPC equipado con GPU Nvidia Tesla P100. Las redes neuronales se desarrollaron con PyTorch v1.7.1 (https://github.com/pytorch/pytorch), Torchvision v0.8.2 (https://github.com/pytorch/vision), Tensorboard v2.4.1 (https:// github.com/tensorflow/tensorboard). El análisis de datos utilizó Python v3.6.9 (https://www.python.org/), NumPy v1.19.5 (https://github.com/numpy/numpy), Pandas v1.1.5 (https://github.com /pandas-dev/pandas), SciPy v1.5.4 (https://www.scipy.org/), Seaborn v0.11.1 (https://github.com/mwaskom/seaborn), Matplotlib v3.3.3 (https: //github.com/matplotlib/matplotlib), Jupyter v1.0.0 (https://jupyter.org/), JupyterLab v.2.2.9 (https://github.com/jupyterlab/jupyterlab) y Pillow v8.1.0 (https://github.com/python-pillow/Pillow). Los servidores de recopilación de datos y corrección de parámetros se desarrollaron con Flask v1.1.1 (https://github.com/pallets/flask), Flask–SocketIO v5.1.0 (https://github.com/miguelgrinberg/Flask–SocketIO), OctoPrint v1.6.1 (https://octoprint.org/), Marlin 1.1.9 (https://marlinfw.org/). La preparación de corte e impresión utilizó PrusaSlicer v2.3.3 (https://github.com/prusa3d/PrusaSlicer) y Simplify3D v4.1.2 (https://www.simplify3d.com/).

Los datos de imagen etiquetados generados en este estudio y utilizados para entrenar el modelo se han depositado en el repositorio de datos de la Universidad de Cambridge (https://doi.org/10.17863/CAM.84082). Los datos de origen para las gráficas en figuras se proporcionan con este documento. Los datos de origen se proporcionan con este documento.

El código utilizado para generar los resultados en el documento está disponible en un repositorio de GitHub (https://github.com/cam-cambridge/caxton). También se pueden encontrar más detalles sobre el removedor de cama en un repositorio de GitHub (https://github.com/cam-cambridge/creality-part-remover).

Ngo, TD, Kashani, A., Imbalzano, G., Nguyen, KTQ & Hui, D. Fabricación aditiva (impresión 3D): una revisión de materiales, métodos, aplicaciones y desafíos. compos. Parte B Ing. 143, 172–196 (2018).

Artículo CAS Google Académico

MacDonald, E. & Wicker, R. Impresión 3D multiproceso para aumentar la funcionalidad de los componentes. Ciencia 353, aaf2093 (2016).

Placone, JK & Engler, AJ Avances recientes en impresión 3D basada en extrusión para aplicaciones biomédicas. Adv. Saludc. Mate. 7, 1701161 (2018).

Artículo CAS Google Académico

Haghiashtiani, G. et al. Modelos de raíz aórtica específicos del paciente impresos en 3D con sensores internos para aplicaciones mínimamente invasivas. ciencia Adv. 6, 4641–4669 (2020).

Artículo ADS CAS Google Académico

Najmon, JC, Raeisi, S. & Tovar, A. en Fabricación Aditiva para la Industria Aeroespacial (eds Froes, F. & Boyer, R.) Cap. 2 (Elsevier, 2019).

Lopez-Valdeolivas, M., Liu, D., Broer, DJ & Sanchez-Somolinos, C. Actuadores impresos en 4D con funciones robóticas blandas. macromol. Comun rápido. 39, 3–9 (2018).

Artículo CAS Google Académico

Searle, B. y Starkey, D. Una investigación sobre el efecto de cambiar el intervalo de reconstrucción de cortes de tomografía computarizada en la precisión de replicación espacial de modelos anatómicos impresos tridimensionales construidos mediante modelado de deposición fusionada. J.Med. radiar ciencia 67, 43–53 (2020).

Artículo PubMed PubMed Central Google Académico

Song, R. & Telenko, C. Material de desecho de impresoras FDM comerciales en condiciones reales. En Proc 27th Annual International Solid Freeform Fabrication Symposium 1217–1229 (Universidad de Texas en Austin, Austin, Texas, 2016).

Colosimo, BM, Huang, Q., Dasgupta, T. & Tsung, F. Oportunidades y desafíos de la ingeniería de calidad para la fabricación aditiva. J. Cal. Tecnología 50, 233–252 (2018).

Artículo Google Académico

Baş, H., Elevli, S. & Yapıcı, F. Análisis de árbol de fallas para impresoras tridimensionales del tipo de fabricación de filamento fundido. J. Reprobado. Anal. Anterior 19, 1389–1400 (2019).

Artículo Google Académico

Medellin-Castillo, HI & Zaragoza-Siqueiros, J. Diseño y estrategias de fabricación para el modelado por deposición fundida en fabricación aditiva: una revisión. Mentón. J. Mec. Ing. 32, 53 (2019).

Artículo CAS Google Académico

Mohamed, OA, Masood, SH & Bhowmik, JL Optimización de los parámetros del proceso de modelado de deposición fundida: una revisión de la investigación actual y las perspectivas futuras. Adv. Fabricación 3, 42–53 (2015).

Artículo CAS Google Académico

Fu, Y., Downey, A., Yuan, L., Pratt, A. y Balogun, Y. Monitoreo in situ para el proceso de fabricación de filamentos fusionados: una revisión. Agregar Fabricación 38, 101749 (2021).

Google Académico

Tlegenov, Y., Lu, WF y Hong, GS Un modelo dinámico para el monitoreo del estado de las boquillas basado en la corriente en el modelado de deposición fundida. prog. Agregar Fabricación 4, 211–223 (2019).

Artículo Google Académico

Kim, C. et al. Un estudio para detectar un estado de deposición material en la tecnología de modelado de deposición fundida. En 2015 Conferencia internacional IEEE sobre mecatrónica inteligente avanzada (AIM) 779–783 (IEEE, 2015).

Guo, J., Wu, J., Sun, Z., Long, J. y Zhang, S. Diagnóstico de fallas de impresoras 3D delta que utilizan una máquina de vector de soporte de transferencia con señales de actitud. Acceso IEEE 7, 40359–40368 (2019).

Artículo Google Académico

Zhang, S. et al. Red de estado híbrida profunda con refuerzo de características para el diagnóstico inteligente de fallas de impresoras 3D delta. Trans. IEEE. Ind. Informar. 16, 779–789 (2020).

Artículo Google Académico

Rao, PK, Roberson, D., Liu, JP y Kong, ZJ Detección de fallas de procesos en línea basada en sensores en la fabricación aditiva. ASME 2015 Int. Fabricación ciencia Ing. Conf. 2, 1–13 (2015).

Google Académico

Tlegenov, Y., Hong, GS & Lu, WF Supervisión del estado de las boquillas en la impresión 3D. Robot. computar Integrar Fabricación 54, 45–55 (2018).

Artículo Google Académico

Wu, H., Wang, Y. y Yu, Z. Supervisión in situ del estado de la máquina FDM mediante emisión acústica. En t. j adv. Fabricación Tecnología 84, 1483–1495 (2015).

Google Académico

Wu, H., Yu, Z. & Wang, Y. Diagnóstico y monitoreo de condición de máquina FDM en tiempo real basado en emisión acústica y modelo semi-Markov oculto. En t. j adv. Fabricación Tecnología 90, 2027–2036 (2017).

Artículo Google Académico

Liao, J. et al. Estudio preliminar sobre diagnóstico de fallos y aprendizaje inteligente de impresora 3D de modelado por deposición fundida (FDM). En 2019 14th IEEE Conference on Industrial Electronics and Applications (ICIEA) 2098–2102 (IEEE, 2019).

Baumann, F. & Roller, D. Detección de errores basada en visión para procesos de impresión 3D. Conferencia Web MATEC. 59, 3–9 (2016).

Artículo Google Académico

He, K., Zhang, Q. & Hong, Y. Método de control de calidad basado en el monitoreo de perfiles para el proceso de modelado de deposición fundida. J. Intel. Fabricación 30, 947–958 (2019).

Artículo Google Académico

Huang, T., Wang, S., Yang, S. y Dai, W. Monitoreo estadístico de procesos en un período específico para los datos de imagen de piezas de modelado de deposición fundida con capas consistentes. J. Intel. Fabricación 32, 2181–2196 (2021).

Artículo Google Académico

Petsiuk, AL & Pearce, JM Análisis de impresión 3D por capas basado en visión artificial de código abierto. Agregar Fabricación 36, 101473 (2020).

Google Académico

Tian, ​​X., Li, Y., Ma, D., Han, J. y Xia, L. Control uniforme del ancho de la hebra para la fabricación aditiva de extrusión de silicona basada en el procesamiento de imágenes. En t. j adv. Fabricación Tecnología 119, 3077–3090 (2022).

Artículo Google Académico

Friedrich, L. & Begley, M. Caracterización in situ de la escritura con tinta directa de baja viscosidad: Estabilidad, humectación y flujos rotacionales. J. Interfaz coloidal Sci. 529, 599–609 (2018).

Artículo ADS CAS PubMed Google Scholar

Wasserfall, F., Ahlers, D. y Hendrich, N. Verificación óptica in situ de circuitos electrónicos impresos en 3D. En 2019 IEEE 15th International Conference on Automation Science and Engineering (CASE) 1302–1307 (IEEE, 2019).

Zhao, X., Lian, Q., He, Z. y Zhang, S. Detección de fallas en línea basada en la región de la impresión 3D a través de la proyección marginal. medida ciencia Tecnología 31, 035011 (2020).

Artículo ADS CAS Google Académico

Fastowicz, J. & Okarma, K. Evaluación rápida de la calidad de las superficies impresas en 3D basada en la similitud estructural de las regiones de la imagen. En 2018 Taller Internacional de Doctorado Interdisciplinario (IIPhDW) 401–406 (IEEE, 2018).

Okarma, K. & Fastowicz, J. Evaluación de calidad sin referencia de impresiones 3D basada en el análisis GLCM. En 2016 21st International Conference on Methods and Models in Automation and Robotics (MMAR) 788–793 (IEEE, 2016).

Straub, J. Trabajo inicial sobre la caracterización de la fabricación aditiva (impresión 3D) utilizando software de análisis de imágenes. Máquinas 3, 55–71 (2015).

Artículo Google Académico

Straub, J. Un sistema combinado para la ciberseguridad de impresión 3D. en Metrología Óptica Dimensional e Inspección para Aplicaciones Prácticas VI (eds. Harding, KG & Zhang, S.) (SPIE, 2017).

Cunha, FG, Santos, TG & Xavier, J. Monitorización in situ de la fabricación aditiva mediante correlación de imágenes digitales: una revisión. Materiales 14, 1511 (2021).

Artículo ADS CAS PubMed PubMed Central Google Scholar

Charalampous, P., Kostavelis, I., Kopsacheilis, C. y Tzovaras, D. Supervisión en tiempo real basada en visión de los procesos de fabricación aditiva por extrusión para la detección automática de errores de fabricación. En t. j adv. Fabricación Tecnología 115, 3859–3872 (2021).

Artículo Google Académico

Holzmond, O. & Li, X. Detección de defectos en tiempo real in situ de piezas impresas en 3D. Agregar Fabricación 17, 135–142 (2017).

Google Académico

Fastowicz, J., Grudziński, M., Tecław, M. & Okarma, K. Evaluación objetiva de la calidad de la superficie impresa en 3D basada en mapas de entropía de profundidad. Entropía 21, 97 (2019).

Artículo ADS CAS PubMed Central Google Scholar

Preissler, M., Zhang, C., Rosenberger, M. y Notni, G. Enfoque para el control de procesos en la fabricación aditiva a través del análisis por capas con información de nube de puntos tridimensional. En 2018 Computación de imágenes digitales: técnicas y aplicaciones (DICTA) 1–6 (IEEE, 2018).

Preissler, M., Zhang, C., Rosenberger, M. y Notni, G. Plataforma para el control de procesos en línea 3D en la fabricación aditiva. En Sistemas de Medición Óptica para Inspección Industrial X (eds. Lehmann, P., Osten, W. & Albertazzi Gonçalves, A.) (SPIE, 2017).

Nuchitprasitchai, S., Roggemann, M. y Pearce, J. Monitoreo en tiempo real de trescientos sesenta grados de la impresión 3D mediante el análisis por computadora de dos vistas de cámara. J. Manuf. Mate. Proceso. 1, 2 (2017).

Google Académico

Nuchitprasitchai, S., Roggemann, M. & Pearce, JM Factores que afectan el monitoreo óptico en tiempo real de la impresión 3D de filamento fundido. prog. Agregar Fabricación 2, 133–149 (2017).

Artículo Google Académico

Preissler, M., Zhang, C. y Notni, G. Enfoque para la adquisición de datos tridimensionales volumétricos internos ópticos. J. física. Conf. Ser. 1065, 032005 (2018).

Artículo Google Académico

Liu, C., Law, ACC, Roberson, D. y Kong, Z. (James) Control de calidad de circuito cerrado basado en análisis de imágenes para la fabricación aditiva con fabricación de filamentos fusionados. J. Manuf. sist. 51, 75–86 (2019).

Artículo Google Académico

Greeff, GP y Schilling, M. Control de bucle cerrado del deslizamiento durante el transporte de filamentos en la extrusión de material fundido. Agregar Fabricación 14, 31–38 (2017).

Google Académico

Kutzer, MD, DeVries, LD & Blas, CD Supervisión de piezas y evaluación de la calidad de la fabricación aditiva conforme mediante la reconstrucción de imágenes. En el Volumen 5B: 42.ª Conferencia de Mecanismos y Robótica (Sociedad Estadounidense de Ingenieros Mecánicos, 2018).

He, K., Zhang, X., Ren, S. y Sun, J. Aprendizaje residual profundo para el reconocimiento de imágenes. En 2016 Conferencia IEEE sobre visión por computadora y reconocimiento de patrones (CVPR) 770–778 (IEEE, 2016).

Goodfellow, I., Bengio, Y. y Courville, A. Aprendizaje profundo (MIT Press, 2016).

Jin, Z., Zhang, Z. & Gu, GX Corrección autónoma in situ de impresoras de modelado por deposición fundida utilizando visión artificial y aprendizaje profundo. Fabricación Letón. 22, 11–15 (2019).

Artículo Google Académico

Jin, Z., Zhang, Z. & Gu, GX Detección y predicción automatizadas en tiempo real de imperfecciones entre capas en procesos de fabricación aditiva utilizando inteligencia artificial. Adv. Intel. sist. 2, 1900130 (2020).

Artículo Google Académico

Johnson, MV et al. Una herramienta de inteligencia artificial generalizable para la identificación y corrección de estructuras autoportantes en procesos de fabricación aditiva. Agregar Fabricación 46, 102191 (2021).

Google Académico

Zhang, Z., Fidan, I. y Allen, M. Detección de fallas en el proceso de extrusión de materiales a través del aprendizaje profundo. Invenciones 5, 25 (2020).

Artículo CAS Google Académico

Saluja, A., Xie, J. y Fayazbakhsh, K. Un sistema de detección de deformación en proceso de circuito cerrado para la fabricación de filamentos fusionados utilizando redes neuronales convolucionales. J. Manuf. Proceso. 58, 407–415 (2020).

Artículo Google Académico

Delli, U. & Chang, S. Supervisión de procesos automatizados en impresión 3D mediante aprendizaje automático supervisado. Procedia Manuf. 26, 865–870 (2018).

Artículo Google Académico

Gardner, JM y col. Máquinas como artesanos: optimización de la configuración de parámetros localizados para la impresión 3D de fabricación de filamentos fundidos. Adv. Mate. Tecnología 4, 1800653 (2019).

Artículo Google Académico

Wang, Y. et al. Un sistema de monitoreo de superficie adaptativo basado en CNN para el modelado de deposición fundida. Trans. IEEE/ASME. Mecatrón. 25, 2287–2296 (2020).

Artículo Google Académico

Shorten, C. & Khoshgoftaar, TM Una encuesta sobre el aumento de datos de imágenes para el aprendizaje profundo. J. Big Data 6, 60 (2019).

Artículo Google Académico

Wang, F. et al. Red de atención residual para clasificación de imágenes. En 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (IEEE, 2017).

Springenberg, JT, Dosovitskiy, A., Brox, T. & Riedmiller, M. Luchando por la simplicidad: la red totalmente convolucional. En International Conference on Learning Representations (workshop track) (2015).

Selvaraju, RR et al. Grad-CAM: explicaciones visuales de redes profundas mediante localización basada en gradientes. En 2017 IEEE International Conference on Computer Vision (ICCV) (IEEE, 2017).

Tales, M., Ward, C., Hutabarat, W. & Tiwari, A. Colocación inteligente de compuestos mediante la aplicación de tecnologías de seguimiento y proyección de bajo costo. Procedimiento CIRP 25, 122–131 (2014).

Artículo Google Académico

Ryu, H. et al. Mesoestructuras 3D transparentes y compatibles para una evaluación precisa de las características mecánicas de los organoides. Adv. Mate. 33, 2100026 (2021).

Artículo CAS Google Académico

Grasso, M. & Colosimo, BM Defectos de proceso y métodos de monitoreo in situ en la fusión de lecho de polvo metálico: una revisión. medida ciencia Tecnología 28, 044005 (2017).

Artículo ADS CAS Google Académico

Chen, Y. et al. Cuantificación de rayos X in situ del comportamiento del baño de fusión durante la fabricación aditiva de acero inoxidable por deposición de energía dirigida. Mate. Letón. 286, 129205 (2021).

Artículo CAS Google Académico

Scime, L. & Beuth, J. Detección y clasificación de anomalías en un proceso de fabricación aditiva de lecho de polvo láser mediante un algoritmo de visión artificial entrenado. Agregar Fabricación 19, 114–126 (2018).

Google Académico

Silbernagel, C. et al. Resistividad eléctrica de cobre puro procesado mediante fabricación aditiva de fusión de lecho de polvo láser de potencia media para su uso en aplicaciones electromagnéticas. Agregar Fabricación 29, 100831 (2019).

CAS Google Académico

Aroca, RV, Ventura, CEH, de Mello, I. & Pazelli, TFPAT Fabricación aditiva secuencial: manipulación automática de piezas impresas en 3D. Prototipo Rápido. J. 23, 653–659 (2017).

Artículo Google Académico

Brockmeier, Ø., Westcott, C. & Bøhn, JH Carga y descarga automatizada de sistemas FDM. En Simposio de fabricación de forma libre sólida 679–686 (Universidad de Texas en Austin, Austin, Texas, 1999).

Smith, LN Tasas de aprendizaje cíclico para entrenar redes neuronales. En 2017 IEEE Winter Conference on Applications of Computer Vision (WACV) 464–472 (IEEE, 2017).

Kingma, DP & Ba, J. Adam: Un método para la optimización estocástica. En la 3ra Conferencia Internacional sobre Representaciones de Aprendizaje (ICLR) (Actas de la Conferencia) (2015).

Loshchilov, I. y Hutter, F. Regularización de la disminución del peso desacoplada. En 7th International Conference on Learning Representations (ICLR) (2019).

Descargar referencias

Este trabajo ha sido financiado por el Engineering and Physical Sciences Research Council, UK PhD. Beca EP/N509620/1 para DAJB, premio de la Royal Society RGS/R2/192433 para SWP, premio de la Academia de Ciencias Médicas SBF005/1014 para SWP, premio del Consejo de Investigación de Ingeniería y Ciencias Físicas EP/V062123/1 para SWP y un Isaac Newton Trust premio a SWP

Departamento de Ingeniería, Universidad de Cambridge, Trumpington Street, Cambridge, CB2 1PZ, Reino Unido

Douglas AJ Brion y Sebastián W. Pattinson

También puede buscar este autor en PubMed Google Scholar

También puede buscar este autor en PubMed Google Scholar

DAJB y SWP concibieron la idea y diseñaron los experimentos. DAJB desarrolló la canalización de recopilación de datos y generó el conjunto de datos. DAJB construyó, entrenó y probó el modelo de aprendizaje profundo. DAJB diseñó el circuito de control y realizó experimentos. DAJB generó las visualizaciones de predicción del modelo. SWP proporcionó supervisión y orientación durante el proyecto. DAJB escribió el borrador original y preparó las cifras. DAJB y SWP contribuyeron a las discusiones sobre el experimento y editaron y revisaron el manuscrito.

Correspondencia a Douglas AJ Brion o Sebastian W. Pattinson.

DAJB es el fundador de Matta Labs Ltd., una empresa en el área de detección de errores de AM. DAJB y SWP son inventores de una patente presentada por Cambridge Enterprise a la Oficina de Propiedad Intelectual del Reino Unido (número de solicitud: 2204072.9) que cubre el contenido de este informe.

Nature Communications agradece a Mohammad Farhan Khan y a los otros revisores anónimos por su contribución a la revisión por pares de este trabajo. Los informes de los revisores están disponibles.

Nota del editor Springer Nature se mantiene neutral con respecto a los reclamos jurisdiccionales en mapas publicados y afiliaciones institucionales.

Acceso abierto Este artículo tiene una licencia internacional Creative Commons Attribution 4.0, que permite el uso, el intercambio, la adaptación, la distribución y la reproducción en cualquier medio o formato, siempre que se otorgue el crédito correspondiente al autor o autores originales y a la fuente. proporcionar un enlace a la licencia Creative Commons e indicar si se realizaron cambios. Las imágenes u otro material de terceros en este artículo están incluidos en la licencia Creative Commons del artículo, a menos que se indique lo contrario en una línea de crédito al material. Si el material no está incluido en la licencia Creative Commons del artículo y su uso previsto no está permitido por la regulación legal o excede el uso permitido, deberá obtener el permiso directamente del titular de los derechos de autor. Para ver una copia de esta licencia, visite http://creativecommons.org/licenses/by/4.0/.

Reimpresiones y permisos

Brion, DAJ, Pattinson, SW Detección y corrección de errores de impresión 3D generalizables a través de redes neuronales multicabezales. Nat Comun 13, 4654 (2022). https://doi.org/10.1038/s41467-022-31985-y

Descargar cita

Recibido: 20 de diciembre de 2021

Aceptado: 08 julio 2022

Publicado: 15 agosto 2022

DOI: https://doi.org/10.1038/s41467-022-31985-y

Cualquier persona con la que compartas el siguiente enlace podrá leer este contenido:

Lo sentimos, un enlace para compartir no está disponible actualmente para este artículo.

Proporcionado por la iniciativa de intercambio de contenido Springer Nature SharedIt

Al enviar un comentario, acepta cumplir con nuestros Términos y Pautas de la comunidad. Si encuentra algo abusivo o que no cumple con nuestros términos o pautas, márquelo como inapropiado.