Enseñanza interactiva sin contacto de robots blandos a través de interfaces sensoriales bimodales flexibles

Nature Communications volumen 13, Número de artículo: 5030 (2022) Citar este artículo

9527 Accesos

15 citas

15 Altmetric

Detalles de métricas

En este artículo, proponemos una interfaz sensorial flexible multimodal para enseñar de forma interactiva a los robots blandos a realizar una locomoción hábil utilizando las manos humanas desnudas. Primero, desarrollamos una piel inteligente bimodal flexible (FBSS) basada en un nanogenerador triboeléctrico y detección de metal líquido que puede realizar una detección táctil y sin contacto simultánea y distinguir estos dos modos en tiempo real. Con el FBSS, los robots blandos pueden reaccionar por sí mismos a los estímulos táctiles y sin contacto. Luego, proponemos un método de control a distancia que permitió a los humanos enseñar movimientos de robots blandos a través de la coordinación ojo-mano. Los resultados mostraron que los participantes pueden enseñar efectivamente a un manipulador continuo suave que reacciona automáticamente movimientos complejos en un espacio tridimensional a través de un método de "cambio de sensores y enseñanza" en tan solo unos minutos. El manipulador suave puede repetir los movimientos enseñados por humanos y reproducirlos a diferentes velocidades. Finalmente, demostramos que los humanos pueden enseñar fácilmente al manipulador suave a completar tareas específicas, como completar un laberinto de lápiz y papel, tomar una muestra de la garganta y cruzar una barrera para agarrar un objeto. Prevemos que este método de enseñanza no programable y fácil de usar basado en interfaces sensoriales multimodales flexibles podría expandir ampliamente los dominios en los que los humanos interactúan y utilizan robots blandos.

Los robots blandos han atraído una atención creciente por su enorme potencial en aplicaciones del mundo real1,2,3,4,5,6,7,8. Debido a que son altamente adaptables, los robots blandos tienen ventajas extraordinarias sobre los robots rígidos para interactuar de forma segura con humanos en una amplia gama de entornos9,10,11,12,13. Sin embargo, debido a que los robots blandos son difíciles de modelar y programar, los no especialistas a menudo enfrentan obstáculos no despreciables cuando trabajan con robots blandos para lograr movimientos específicos y realizar ciertas tareas14,15,16,17,18. Un método de enseñanza interactivo, que podría "enseñar" de manera eficiente y flexible los patrones de movimiento de los robots blandos, beneficiaría enormemente a los usuarios humanos en el hogar, en las líneas de producción y en otros entornos no estructurados (Fig. 1). A diferencia de los robots rígidos19,20,21, existen muy pocos estudios que demuestren la enseñanza de robots blandos a través de la interacción humana. Esto se debe a que existen dos desafíos principales para lograr la enseñanza robótica suave a través de la interacción humana: el proceso requiere (1) un dispositivo de detección flexible multimodal, versátil y robusto para las interacciones entre un robot suave y un demostrador humano; y (2) un método de enseñanza no programable y fácil de usar para transferir las instrucciones de un demostrador humano a los robots blandos.

Los humanos pueden "enseñar" al robot a realizar varias tareas manipulándolo sin tocarlo.

Con respecto al primer desafío, la mayoría de los estudios anteriores se han centrado en la detección táctil para robots blandos que solo pueden responder al contacto físico y no responder a estímulos sin contacto. El nanogenerador triboeléctrico (TENG), que aprovecha el efecto acoplado de la electrificación por contacto y la inducción electrostática, puede convertir estímulos táctiles y sin contacto en señales eléctricas22,23,24,25,26. Los sensores triboeléctricos basados en TENG tienen ventajas únicas para los robots blandos debido a su amplia variedad de materiales (p. ej., de módulo de Young bajo a alto), estructura simple de fácil fabricación, alta sensibilidad y tiempos de respuesta rápidos27,28,29,30,31 ,32. Estudios previos que utilizaron estructuras y materiales triboeléctricos flexibles han hecho un progreso notable en la detección de presión y tensión33,34,35,36,37,38. También han surgido trabajos preliminares que exploran la detección sin contacto39,40,41,42. Sin embargo, debido a que las estimulaciones táctiles y sin contacto dan como resultado tendencias idénticas en la variación eléctrica, es un desafío para los sensores triboeléctricos distinguir entre señales táctiles y sin contacto con precisión en tiempo real43,44 (Figura complementaria 1A, B y Película complementaria 1). Por lo tanto, quedan por investigar sensores triboeléctricos flexibles capaces de detección táctil y sin contacto en tiempo real, lo que puede sentar las bases de investigación para un nuevo paradigma de enseñanza interactiva robótica blanda.

Con respecto al segundo desafío, la enseñanza interactiva de los robots suaves (por ejemplo, el manipulador continuo suave) es poco conocida. Tradicionalmente, el principio primario se ha basado en la enseñanza por contacto para manipuladores robóticos rígidos con pocos grados de libertad45,46. Este principio se logró comúnmente moviendo manualmente los manipuladores en modos controlados de baja impedancia mientras los codificadores de los manipuladores registraban la cinemática del proceso de enseñanza para reproducir el movimiento. Sin embargo, este tipo de enseñanza por contacto no se puede aplicar a los robots blandos por dos razones. En primer lugar, los infinitos grados de libertad y la naturaleza dócil de un manipulador continuo suave hacen que sea un desafío para un usuario controlarlo explícitamente, a diferencia de las configuraciones discretas de un manipulador rígido47. En segundo lugar, el método de enseñanza basado en el contacto para robots continuos blandos produce deformación pasiva, y la medición de estas configuraciones deformadas requiere una gran cantidad de sensores blandos (ya sea incrustados en la superficie del robot o sobre ella) para reconstruir la cinemática tridimensional del robot48,49. . Dados estos desafíos, ¿es posible enseñar de forma interactiva a robots blandos a través de una interfaz sensorial flexible? ¿Pueden los usuarios no especialistas instruir a los robots blandos para que realicen tareas operativas en entornos no estructurados sin programación?

Aquí, desarrollamos una piel inteligente bimodal flexible (FBSS) con detección táctil y sin contacto mediante la integración de un sensor triboeléctrico con un sensor de metal líquido. El sensor triboeléctrico puede responder a la estimulación sin contacto y el sensor de metal líquido puede responder a la estimulación táctil. Sobre esta base, el FBSS implementado puede distinguir sin ambigüedades entre los modos táctil y sin contacto en tiempo real. A continuación, caracterizamos el rendimiento de detección del FBSS para la detección táctil y sin contacto. Finalmente, construimos un marco de control para la enseñanza interactiva con el FBSS. También proponemos un método de "cambio de sensores y enseñanza" para enseñar locomoción compleja, que implica mover FBSS a diferentes ubicaciones en un manipulador durante una sesión de enseñanza. Mostramos que un no especialista puede enseñar de manera eficiente e interactiva a un manipulador suave continuo a recoger y colocar, pintar, frotar la garganta y cruzar una barrera para agarrar un objeto. Además, también probamos el rendimiento interactivo del FBSS en otros robots blandos, incluido un robot de origami blando y una pinza robótica.

La estructura de piel inteligente bimodal flexible (FBSS) contiene cinco capas flexibles (Fig. 2a y sección "Métodos"). La capa dieléctrica flexible se fabricó colando caucho de silicona (Smooth-on, Dragon skin 00-20) en el molde con microestructuras en forma de pirámide. La capa de electrodo flexible se fabricó con redes de nanocables de Ag (NW) modeladas y se transfirió mezclando la base de polidimetilsiloxano (PDMS) con un agente de curado (Dow Corning, Sylgard184) en una relación de peso típica de 10:1. La capa de estimulación, debajo de la capa de electrodos, se fabricó utilizando un método similar al de la capa dieléctrica flexible. Las superficies de la capa dieléctrica flexible, la capa de electrodo flexible y la capa de estimulación formaron enlaces químicos después de ser tratadas con plasma (plasma OPS, CY-DT01). La capa de metal líquido se imprimió primero con una impresora de metal líquido (DREAM Ink, DP-1) y luego se usó la capa del paquete (Smooth-on, Dragon skin 00-20) para transferir y contener el metal líquido. La capa de estimulación se unió a la capa del paquete mediante un adhesivo de caucho de silicona (Smooth-on, Sil-Poxy). La imagen del microscopio electrónico se tomó para las microestructuras en forma de pirámide fabricadas, la altura y el ancho de las microestructuras en forma de pirámide son 320 μm y 500 μm, respectivamente (Fig. 2b). La foto óptica se tomó para el patrón de metal líquido impreso y el ancho de la línea de metal líquido es de aproximadamente 300 μm (Fig. 2c). El FBSS se puede plegar y estirar (la tasa máxima de estiramiento es del 58,4 %), lo que demuestra su excelente flexibilidad y capacidad de estiramiento (Fig. 2d, e).

un diseño de sensor suave con diferentes capas funcionales apiladas juntas. Estas capas incluyen una capa dieléctrica flexible (cian), una capa de electrodo flexible (gris), una capa de estimulación (amarillo pálido), el material de metal líquido (negro) y una capa de paquete (naranja). b Imagen de microscopio electrónico de las estructuras de micropirámides en el lado superior de la capa dieléctrica flexible. c Una imagen de microscopio óptico del material de metal líquido impreso en la capa de material de silicona. d Una fotografía doblada del prototipo FBSS demuestra su flexibilidad. e Una fotografía de estiramiento (la tasa máxima de estiramiento es del 58,4 %) del prototipo demuestra su capacidad de estiramiento. f El mecanismo de detección táctil/sin contacto del prototipo: (i) Se generó la misma densidad de cargas negativas y positivas en la capa dieléctrica flexible (gris) y el objeto externo (rojo) debido a las diferentes afinidades electrónicas después de algunos contactos. (ii) Los electrones libres fueron impulsados a fluir desde el suelo hasta el electrodo flexible cuando el objeto externo se acercó a la capa dieléctrica flexible. (iii) El objeto externo (rojo) comienza a hacer contacto con el FBSS, lo que aumenta la transferencia de electrones y aumenta la resistencia del metal líquido. (iv) El objeto externo (rojo) está completamente en contacto con el FBSS; se produce la neutralización de la carga y los electrones libres dejan de moverse y la resistencia del metal líquido alcanza el máximo. (v) A medida que se liberaba la presión externa, los electrones regresaban del electrodo flexible (gris) al suelo y la resistencia del metal líquido disminuía a medida que el canal recuperaba su estado inicial. (vi) A medida que el objeto externo (rojo) se separó del FBSS, los electrones de reflujo aumentaron y la resistencia del metal líquido se mantuvo estable.

El principio completo de percepción táctil y sin contacto del FBSS se divide en múltiples etapas (Fig. 2f). Durante la etapa inicial (i), se generan cargas negativas y positivas iguales en la capa dieléctrica flexible y el objeto externo a partir de diferentes afinidades electrónicas después de algunos contactos repetidos. Estas cargas superficiales pueden permanecer durante un tiempo suficiente (más de 1 h) para el proceso de enseñanza interactivo (Fig. 2 complementaria). En la etapa (ii), a medida que el objeto externo se acerca a la capa dieléctrica flexible, el potencial eléctrico entre los electrodos y tierra cambiará, lo que hará que los electrones libres fluyan desde la tierra hasta el electrodo flexible, generando así una corriente en el circuito. Tenga en cuenta que la resistencia del sensor de metal líquido permanece estable ya que ninguna fuerza de presión de contacto actúa sobre el FBSS durante esta etapa. En la etapa (iii), el FBSS comienza a deformarse con la presión de contacto de la fuerza externa que actúa sobre el caucho de silicona. El objeto externo está más cerca del electrodo flexible durante esta etapa, por lo que los electrones libres fluyen más lejos del suelo hacia el electrodo flexible y generan una corriente en la misma dirección. La capa de metal líquido se comprime y el área de la sección transversal del canal de metal líquido disminuye, provocando que su resistencia comience a aumentar. Durante la etapa (iv), cuando el objeto externo está completamente en contacto con el FBSS, la distancia entre el objeto y la capa dieléctrica flexible se comprime al mínimo. Se produce la neutralización de carga y los electrones libres dejan de moverse y la resistencia del metal líquido alcanza el máximo. En la etapa (v), cuando se libera la presión externa, los electrones libres regresan del electrodo flexible a tierra y generan una corriente en la dirección opuesta. La resistencia del metal líquido disminuye con la recuperación de la forma del canal. En la etapa (vi), cuando el objeto externo se separa de la capa dieléctrica flexible, aumenta el número de electrones que fluyen de regreso a tierra y generan una corriente en la misma dirección que el estado anterior. La resistencia del metal líquido permanece estable a medida que desaparece el contacto físico entre el objeto externo y el FBSS. Finalmente, cuando el objeto externo está lejos del FBSS, se establece un nuevo equilibrio eléctrico.

Implementamos un sistema de medición para investigar el rendimiento del FBSS (Fig. 3 complementaria). El FBSS se fijó en una placa plana montada encima de un dinamómetro (ATI Industrial Automation, mini40). El objeto externo se adjuntó al extremo del actuador de motor lineal (LinMot, E1100), que puede acercarse y presionar cíclicamente el FBSS. Se utilizó una pieza de vidrio, colocada a 20 mm del FBSS, como objeto externo para las pruebas de detección táctil y sin contacto. Primero se probó el efecto de la distancia de aproximación en las señales de salida del FBSS (Fig. 3a). La señal de salida sin contacto ΔU disminuyó exponencialmente de 11,35 a 0 V a medida que la distancia aumentaba de 0 a 20 mm. La señal de salida táctil ΔR del FBSS se mantuvo estable sin variación. La inducción electrostática se debilitó constantemente a medida que aumentaba la distancia entre el objeto externo y el FBSS, y el voltaje de salida disminuía en el paso. También estudiamos la relación entre las señales de salida y la presión vertical que actúa sobre el FBSS (Fig. 3b). A medida que la presión aumentó de 0 a 30 kPa, la señal de salida táctil ΔR del FBSS aumentó de 0 a 17,24 Ω y la señal sin contacto ΔU aumentó de 0 a 3,2 V. El área de la sección transversal del canal de metal líquido disminuyó con el aumento de la presión externa , lo que resultó en un aumento de su resistencia. Con el aumento de presión, el objeto externo está más cerca del FBSS. Esto también mejora la inducción electrostática entre el objeto externo y el FBSS. Debido a que diferentes materiales tienen diferentes afinidades electrónicas, los tipos de materiales pueden afectar la densidad de carga superficial de la capa dieléctrica flexible. Por lo tanto, el FBSS se puede utilizar para la identificación de materiales (Fig. 3c). La señal táctil ΔR siempre se mantuvo en 0 kPa, mientras que la señal sin contacto varió según el material con una distancia de prueba de 20 mm. Esto permite que el FBSS distinga entre materiales en tiempo real. La respuesta dinámica de la detección táctil del FBSS es de aproximadamente 120 ms, que es similar a la de la piel humana (Figuras complementarias 4A, B). Los ruidos de la señal táctil y sin contacto son 0,04 Ω y 0,12 V, respectivamente (Fig. 5A, B complementarias). La relación máxima de señal a ruido (SNR) de la señal sin contacto y la señal táctil son 94.58 y 431.03, respectivamente (Figura complementaria 5C, D). Las resoluciones máximas medidas en los experimentos sin contacto y táctiles son 0,05 mm y 0,35 kPa, respectivamente (Fig. 6A, B complementaria).

Se probaron señales de salida táctiles (cian) y sin contacto (naranja) a diferentes distancias entre una superficie (vidrio) y el FBSS. b Señales de salida táctiles y sin contacto bajo diferentes presiones de carga. Los materiales y métodos complementarios proporcionaron más detalles sobre los experimentos de carga. Señales de salida de c FBSS en superficies con diferentes materiales (con una distancia superior de 20 mm). Las reacciones del FBSS al cambio ambiental, incluyendo d la temperatura, e la humedad y f la interferencia electromagnética. g Las pruebas de estabilidad y durabilidad del prototipo muestran que el FBSS puede soportar más de 1200 ciclos de carga-descarga de pruebas de compresión con una distancia de 20 mm y una presión de 10 kPa. h, i Imágenes de alta velocidad y señales de salida del FBSS cuando una pelota de tenis cae sobre él (distancia de caída: 200 mm). j, k Imagen y señales de salida del FBSS cuando un dedo humano lo presiona. Se programó un diodo emisor de luz (LED) rojo para encenderse cuando la señal sin contacto inducida excedía un valor de umbral; el LED azul se encendió cuando el dedo tocó el FBSS. Las barras de error representan la desviación estándar, n = 5 réplicas independientes.

Para evaluar cómo los factores ambientales afectan el rendimiento de detección del FBSS, probamos experimentalmente los efectos de la temperatura, la humedad y la interferencia electromagnética en el FBSS. La señal sin contacto de salida aumenta a medida que la temperatura aumenta de 15 a 30 °C y luego permanece estable con más aumentos de temperatura (Fig. 3d). La señal táctil de salida permanece casi invariable con un aumento de temperatura. Investigamos el efecto de la humedad en las señales de salida del FBSS (Fig. 3e). La señal sin contacto disminuye gradualmente a medida que aumenta la humedad del 31,4 al 71,4 %. La señal táctil de salida permanece casi invariable con un aumento de la humedad. Las señales táctiles y sin contacto permanecen sin cambios con un aumento en la interferencia electromagnética (Fig. 3f). La estabilidad a largo plazo del FBSS también se valida bajo una presión externa de 10 kPa y una distancia de 20 mm. Medimos las salidas del FBSS durante 1200 ciclos en la misma condición (Fig. 3g). Los resultados no muestran cambios obvios en la forma de onda, lo que apunta al uso a largo plazo del FBSS.

Realizamos una serie de pruebas para verificar la capacidad de detección del FBSS cuando interactúa con humanos y el entorno externo. En primer lugar, se utilizó el FBSS para detectar el proceso de caída de una pelota de tenis, que se colocó por encima del FBSS a una altura inicial de 200 mm (Fig. 3h). Una cámara de alta velocidad (Photron Ltd, FASTCAM Mini UX100) registró todo el proceso a una frecuencia de muestreo de 250 fps, mientras que el FBSS registró señales táctiles y sin contacto. El proceso de caída se dividió en tres etapas (Fig. 3i y Película complementaria 2). En la etapa (i), la pelota de tenis comienza a caer desde la altura inicial y se acerca al FBSS. Sin embargo, la pelota de tenis aún no ha entrado en el rango de detección del FBSS, por lo que sus señales de salida permanecen estables. En la etapa (ii), la pelota de tenis sigue cayendo y entra en el rango de detección del FBSS. La señal sin contacto ΔU disminuye de 0 a −4,56 V y la señal táctil ΔR permanece en 0 Ω porque la pelota de tenis aún no ha entrado en contacto con el FBSS. En la etapa (iii), la pelota de tenis entra en contacto con el FBSS. La señal sin contacto ΔU disminuye aún más de −4,56 a −5,81 V y la señal táctil ΔR aumenta drásticamente de 0 a 0,83 Ω. Además, también mostramos que el FBSS puede percibir y distinguir la distancia sin contacto de una pluma que cae por el aire (Película complementaria 3).

Probamos la capacidad de detección táctil y sin contacto del FBSS en un dedo humano. El FBSS se conectó a un circuito de muestra que controla dos LED basados en retroalimentación sensorial táctil (LED azul) y sin contacto (LED rojo) (Fig. 3j). Registramos todo el proceso de un dedo que se acerca y presiona el FBSS (Fig. 3k y Película complementaria 4). Durante la etapa (i), el dedo estaba a 50 mm de la superficie del FBSS, ambos LED estaban apagados. Durante la etapa (ii), cuando el dedo se acercaba al FBSS, el LED rojo se encendía mientras que el LED azul permanecía apagado. Los datos sensoriales registrados mostraron que la señal sin contacto de salida ΔU aumentó de 0 a 0,56 V, mientras que la señal táctil de salida ΔR permaneció sin cambios. Durante la etapa (iii), el dedo presionaba el FBSS, el LED azul se encendía y el brillo del LED rojo aumentaba. Este resultado demuestra intuitivamente que el FBSS puede percibir información táctil y sin contacto de un dedo humano.

Para equipar un robot blando con el FBSS, integramos el FBSS con un segmento de manipulador blando que se podía doblar y acortar. Una mano humana podría controlar sin contacto los movimientos de flexión y acortamiento del segmento del manipulador suave (Fig. 4a, by Película complementaria 5). El segmento del manipulador suave se programó para deformarse cuando la señal de salida sin contacto del FBSS alcanzó un valor de umbral predeterminado (el diagrama de flujo de control se proporciona en la Tabla complementaria 1). Un robot de origami suave equipado con un FBSS enterrado en la arena podría percibir el acercamiento de un insecto robótico y agarrar el insecto inflando su actuador (Fig. 4c y Película complementaria 6).

Control sin contacto de un manipulador suave de 3 DoFs accionado neumáticamente para doblar y acortar en respuesta a una mano humana que se aproxima. c Un robot de origami suave accionado neumáticamente con el FBSS detecta y agarra con éxito un insecto de juguete. d Demostración de una pinza robótica blanda equipada con el FBSS que busca, detecta y sujeta de forma autónoma un objeto cilíndrico de plástico. e Las salidas sensoriales táctiles y sin contacto durante este proceso se grafican contra el tiempo. Los procesos de búsqueda (sombreado cian), detección (sombreado verde) y agarre (sombreado naranja) se pueden distinguir en tiempo real.

Al integrar el FBSS con la punta de una pinza robótica suave, lo dotamos de la capacidad de "buscar y agarrar" objetos a través de la detección táctil y sin contacto (Figuras complementarias 7A, B y Película complementaria 7). Todo el proceso se puede dividir en diferentes etapas (Fig. 4d, e). Inicialmente, tanto la señal táctil ΔR como la señal sin contacto ΔU eran insignificantes. A medida que el brazo robótico rígido se mueve horizontalmente y la pinza se acerca al cilindro de plástico, la señal sin contacto ΔU comienza a subir y la señal táctil ΔR permanece baja. El umbral para que la señal sin contacto "identifique" un objeto objetivo se estableció en 0,1 V. Una vez que la señal superó este nivel, el robot suave comenzó a agarrar el objetivo. La señal táctil ΔR aumentó y la señal sin contacto ΔU aumentó aún más hasta que se logró un agarre estable. Estos escenarios experimentales ilustran que el FBSS puede permitir efectivamente interacciones robóticas suaves a través de la percepción táctil y sin contacto.

Para explorar más a fondo la interacción más inteligente entre el robot blando y los humanos, presentamos una interfaz flexible y un método interactivo con el FBSS (Fig. 5 y sección "Métodos"). A través de la interfaz flexible y el método interactivo, demostramos que los humanos pueden enseñar de forma interactiva a un manipulador suave a moverse en un espacio bidimensional (2D) y tridimensional (3D).

a Una vista esquemática del manipulador suave, que consta de tres segmentos, cada uno de los cuales contiene tres cámaras que actúan neumáticamente. El FBSS se coloca en un parche flexible en forma de arco con tres imanes en la parte posterior. También se colocaron pequeños imanes alrededor de la parte inferior de cada segmento del manipulador suave, para que la posición del FBSS se pueda cambiar rápidamente. b Funciones geométricas en el segmento de flexión, donde φi es el ángulo de deflexión del segmento alrededor del eje z; θi es el ángulo de curvatura del segmento alrededor del eje y; ri es el radio de curvatura del segmento; li es la longitud de arco del segmento; rij es el radio de curvatura de cada actuador; lij es la longitud de arco de cada actuador. c Los espacios de actuación, unión y configuración y el mapeo entre ellos, definen la cinemática inversa (finv). d El marco de control de circuito cerrado para la enseñanza interactiva, donde V representa el voltaje medido del FBSS, Sout es la señal de voltaje normalizado, θh es la longitud de paso calculada y pij representa la presión neumática de cada actuador suave. e El mapeo de la longitud del paso θh y la señal de tensión normalizada Sout. f Resultados experimentales de enseñanza interactiva: tiempo de ejecución y el error de posición del manipulador suave en función de la longitud del paso. Los diagramas de caja indican la mediana (línea media), los percentiles 25 y 75 (caja) y los valores máximo y mínimo (bigotes), así como los valores promedio (puntos individuales). g El espacio de trabajo simulado del manipulador suave con enseñanza interactiva. Las barras de error representan la desviación estándar, n = 5 réplicas independientes.

Basado en el método de enseñanza interactivo, un usuario le enseñó al manipulador suave a agarrar un objeto en el espacio 2D (Fig. 6a y Película complementaria 8). Para una explicación más sencilla, dividimos el proceso de enseñanza en cuatro pasos. En el paso (i), mostramos la capacidad del usuario para controlar la longitud inicial del manipulador suave alterando la distancia entre la mano del usuario y el FBSS. Este paso permitió al usuario seleccionar una longitud efectiva del manipulador suave en los primeros 5 s. En el paso (ii), el usuario "dobló" sin tocar el manipulador suave acercándose al sensor FBSS con una mano. Más específicamente, el usuario optó por aplicar una estrategia de múltiples acciones de aproximación y salida para "doblar" el manipulador suave en varios pasos grandes y discretos para moverlo hacia el objeto de destino. Durante este proceso, el rango de fluctuación de la señal sin contacto normalizada ΔU varió de 0 a casi 1. Por el contrario, la señal táctil de salida ΔR permaneció sin cambios en casi 0. En el paso (iii), cuando el manipulador suave se acercó a la posición objetivo, el el usuario cambió de pasos grandes a pasos pequeños para mover el manipulador suave hasta los últimos centímetros. Aquí, la salida sensorial normalizada sin contacto fluctuó entre 0,2 y 0,5. En el paso (iv), cuando la pinza suave alcanzó el objeto de destino, el usuario presionó el FBSS para activar el movimiento de agarre. Se pueden observar los aumentos drásticos en las señales táctiles y sin contacto normalizadas. A través de nuestro algoritmo lógico, el manipulador suave finaliza la tarea de enseñanza y cierra la pinza cuando la salida de la señal táctil supera un valor de umbral (Tabla complementaria 2). Finalmente, el manipulador suave agarró con éxito el objeto de destino y volvió automáticamente a su posición inicial.

a Señales táctiles y sin contacto del FBSS durante el proceso de enseñanza bidimensional, y los instantes de tiempo de un usuario que enseña al manipulador suave a agarrar un objeto sin contacto. i Antes de doblar y agarrar el manipulador blando, el usuario eligió una longitud adecuada del manipulador blando controlando la distancia entre la mano y el FBSS (sombreado naranja). ii El usuario aplicó inicialmente un tamaño de paso grande colocando una mano muy cerca del FBSS (sombreado azul), luego, en el paso iii, aplicó un control de paso pequeño manteniendo una distancia corta del FBSS (sombreado verde). iv Cuando la pinza suave alcanza el objeto, el usuario presiona el "botón" FBSS para agarrar el objeto (sombreado púrpura). b–d Comparación de enseñar y repetir trayectorias mientras se agarran objetos en tres posiciones diferentes. e Señales táctiles y sin contacto de FBSS I y II durante la enseñanza tridimensional, e instantes de tiempo de un usuario que enseña sin contacto al manipulador suave a agarrar un objeto en un espacio tridimensional. i El usuario que controla la flexión plana en grandes pasos con la mano izquierda se acerca al FBSS I (sombreado azul). ii El usuario que controla la flexión plana en pequeños pasos (también con enfoques de mano izquierda hacia FBSS I) (sombreado púrpura). iii El usuario que controla la flexión fuera del plano con aproximaciones a la derecha hacia FBSS II (sombreado verde). iv Cuando la pinza suave alcanza el objeto, el usuario presiona el "botón" FBSS para agarrar el objeto (sombreado naranja). f–h Comparación de enseñar y repetir trayectorias mientras se agarran objetos en tres posiciones diferentes. Las trayectorias se ilustran en un espacio tridimensional (planos x–y, y–z y x–z).

Como el sistema registra simultáneamente la secuencia de tamaño de paso de accionamiento del manipulador suave en el proceso de enseñanza, uno puede accionar el manipulador suave para repetir los movimientos y "reproducir" todos los movimientos enseñados. Comparamos la presión de aire impulsada en tiempo real durante los procesos de enseñanza y repetición (Fig. 8A, B complementaria). Las dos curvas de presión de aire muestran cambios casi idénticos durante ambos procesos. Demostramos los resultados de la enseñanza interactiva mostrando el manipulador suave agarrando objetos en posiciones bajas, medias y altas (Película complementaria 9). El proceso de enseñanza tomó 53, 53 y 59 s, respectivamente. Las trayectorias del manipulador suave durante las fases de enseñanza y reproducción coincidieron bien entre sí (Fig. 6b-d). También se pueden reproducir las trayectorias de enseñanza de manera acelerada y lenta (Película complementaria 10), lo que aumenta la flexibilidad de la ejecución de tareas del manipulador.

También realizamos una enseñanza interactiva de agarre de objetos en un entorno restringido, donde se colocó un obstáculo en el camino del manipulador suave (Figura complementaria 9A-E). Los resultados muestran que el manipulador suave puede agarrar con éxito un objeto dentro de los 40 s mientras encuentra un obstáculo que causa la deformación del contacto (Película complementaria 11). En situaciones típicas, permitir que los manipuladores suaves funcionen en un entorno restringido requiere una gran cantidad de trabajo de modelado y programación. Por el contrario, no se requirió programación adicional con el método interactivo actual.

Realizamos la enseñanza interactiva en el espacio 3D mediante la integración de dos FBSS en el manipulador suave (el algoritmo lógico se muestra en la Tabla complementaria 3). El usuario le enseñó de forma interactiva al manipulador suave a agarrar un objeto fuera del plano de flexión con ambas manos (Fig. 6e y Películas complementarias 12, 13). Todo el proceso de enseñanza se puede dividir en cuatro pasos. En el paso (i), al igual que con la enseñanza interactiva en el espacio plano, el usuario aplicó una mano izquierda para "doblar" el manipulador suave en varios pasos grandes y discretos a través de múltiples acciones de acercamiento y salida (aplicado a FBSS I). La señal sin contacto normalizada ΔU de FBSS I varió de 0 a aproximadamente 1. En el paso (ii), el usuario cambió de un tamaño de paso grande a uno pequeño para mover el manipulador blando más lentamente y colocar la pinza blanda en el mismo nivel horizontal que el objeto objetivo. La señal sin contacto normalizada ΔU de FBSS I se mantuvo alrededor de 0,5 durante esta etapa. En el paso (iii), el usuario aplicó una mano derecha a FBSS II, moviendo el manipulador suave fuera del plano original. El efector final alcanzó el objeto de destino después de algunas de estas acciones repetidas de acercamiento y alejamiento con la mano derecha. La señal sin contacto normalizada ΔU de FBSS II también osciló entre 0 y aproximadamente 1. Finalmente, en el paso (iv), una vez que la pinza suave alcanzó el objeto objetivo, el usuario presionó el FBSS I para activar el agarre. Comparamos la presión de aire impulsada en tiempo real durante los procesos de enseñanza y repetición (Fig. 10A, B complementaria). Las dos curvas de presión de aire muestran cambios casi idénticos durante ambos procesos. También demostramos que la enseñanza interactiva permite que el manipulador suave agarre objetos en posiciones bajas, medias y altas, respectivamente (Película complementaria 14). Estos procesos de enseñanza tomaron 51, 56 y 61 s, respectivamente. Las tres trayectorias del manipulador durante la enseñanza y la repetición muestran una excelente concordancia (Fig. 6f-h). Este resultado indica que los usuarios pueden enseñar efectivamente al manipulador a moverse y realizar acciones en el espacio 3D. Desde el experimento, más de diez novatos han logrado enseñar de forma interactiva al manipulador suave a agarrar un objeto objetivo en el espacio 3D.

Para demostrar una estrategia de colocación de FBSS inteligente, usamos un FBSS para controlar múltiples modos de movimiento para el manipulador suave. Al cambiar la posición de montaje del FBSS en el manipulador suave, se le puede enseñar a moverse hacia la izquierda, hacia la derecha y hacia atrás (Figura complementaria 11 y Película complementaria 15). Las trayectorias del manipulador suave durante las fases de enseñanza y reproducción, como en el procedimiento experimental anterior, coincidieron bien entre sí. Para evaluar la usabilidad del método de enseñanza interactivo, realizamos un experimento de enseñanza con múltiples participantes, incluidos dos expertos sofisticados (investigadores de este proyecto) y tres novatos sin experiencia con un sistema robótico interactivo. Adjuntamos un puntero láser al extremo del manipulador suave para evaluar la precisión del posicionamiento (Fig. 12A complementaria). Los participantes podían controlar la posición del puntero láser en un objetivo enseñando sin contacto al manipulador suave. Medimos diez veces el error de posicionamiento después de las sesiones de enseñanza de cada participante. Los resultados mostraron que el error de posicionamiento para los expertos fue <10 mm para las diez pruebas, mientras que el error de posicionamiento para los novatos fue relativamente grande en las primeras pruebas (Fig. 12B complementaria). En particular, después de un máximo de 8 intentos, todos los errores de posicionamiento de los participantes fueron inferiores a 10 mm. Este resultado sugiere que los no especialistas pueden aprender rápidamente cómo colocar el manipulador suave con precisión a través de la enseñanza interactiva.

Para permitir la enseñanza interactiva del manipulador suave con una locomoción aún más compleja, propusimos el método de "cambio de sensores y enseñanza" (Fig. 5a y Fig. 13 complementaria). Específicamente, el FBSS se colocó en un parche flexible en forma de arco con tres imanes detrás. Se colocaron varios cilindros magnéticos pequeños alrededor de la parte inferior de cada segmento del manipulador suave. Con el accesorio magnético, el FBSS se puede cambiar a diferentes posiciones en el manipulador suave de manera rápida y precisa. Por lo tanto, el demostrador humano puede seleccionar un segmento para la interacción, cambiar fácilmente el parche FBSS al segmento correspondiente y luego enseñar al manipulador suave sin contacto. Por lo tanto, llamamos a este método "cambio de sensores y enseñanza".

Con el método propuesto de "sensores de desplazamiento y enseñanza", mostramos la enseñanza interactiva del manipulador suave con locomoción compleja en espacios 2D y 3D. Las señales táctiles y sin contacto normalizadas de FBSS I y FBSS II también se representan frente al tiempo (Fig. 7).

Las señales táctiles y sin contacto normalizadas de FBSS I y FBSS II en función del tiempo. Las flechas rojas y azules en cada panel indican que el usuario estaba moviendo el FBSS de una posición a otra para interactuar de manera diferente con el manipulador suave. a El demostrador enseña movimientos bidimensionales utilizando el método de "cambio de sensores y enseñanza". b Enseñanza interactiva de locomoción tridimensional compleja aplicando el método de "sensores de desplazamiento y enseñanza".

Con el método de "cambio de sensores y enseñanza", un usuario le enseñó de forma interactiva al manipulador suave a lograr una forma de "S" 2D (Fig. 7a y Película complementaria 16). En el paso (i), se colocaron dos FBSS en la parte inferior del tercer segmento del manipulador suave. Cuando las dos manos del demostrador se acercaron a los dos FBSS simultáneamente, los tres segmentos del manipulador suave se acortaron y entraron en el modo de enseñanza. En el paso (ii), el demostrador movió el FBSS I hacia el lado derecho del primer segmento y luego usó su mano derecha para doblar el primer segmento hacia la izquierda. Luego, el demostrador presionó el FBSS I para bloquear el primer segmento (iii). En el paso (iv), el demostrador movió el FBSS II hacia el lado izquierdo del segundo segmento, utilizó la mano izquierda para doblar el segundo segmento hacia la derecha y luego presionó el FBSS II para bloquear el segundo segmento. En el paso (v), el FBSS I se desplazó al lado derecho del tercer segmento. El demostrador usó la mano derecha para doblar el tercer segmento hacia la izquierda, luego presionó FBSS I para bloquear el tercer segmento y terminó la sesión de enseñanza sin contacto. De acuerdo con este método, realizamos una configuración plana en forma de "S" del manipulador suave utilizando el método de "cambio de sensores y enseñanza" al cambiar los sensores FBSS tres veces.

Mostramos una sesión de enseñanza interactiva que involucra una locomoción compleja en el espacio 3D mediante la aplicación del método de "cambio de sensores y enseñanza" (Fig. 7b y Películas complementarias 17, 18). En el paso (i), se activó el manipulador suave para entrar en el modo de enseñanza. En el paso (ii), el demostrador movió el FBSS II hacia el lado derecho del primer segmento y luego usó la mano derecha para doblar el primer segmento hacia la izquierda. Luego, el demostrador presionó el sensor FBSS II para "bloquear" el primer segmento en la dirección actual (iii). En el paso (iv), FBSS I se desplazó a la parte posterior del primer segmento, y la mano derecha "dobló" el manipulador suave para moverlo hacia afuera. Luego, el primer segmento se "bloqueó" presionando el FBSS I. En el paso (v), el FBSS II se desplazó al lado izquierdo del segundo segmento. El demostrador usó la mano izquierda para doblar el segundo segmento hacia la derecha y "bloqueó" el segundo segmento en la dirección actual presionando el FBSS II. En el paso (vi), el FBSS I se desplazó al frente del segundo segmento. Luego, el demostrador usó la mano derecha para doblar el segundo segmento hacia adentro y "bloqueó" el segundo segmento presionando el FBSS I. En el paso final (vii), el FBSS II se desplazó hacia el lado izquierdo del tercer segmento. El demostrador usó la mano izquierda para doblar el tercer segmento hacia la derecha, luego presionó FBSS II para bloquear el tercer segmento y terminó la sesión de enseñanza sin contacto. Por lo tanto, realizamos una configuración 3D compleja (tenga en cuenta que las nueve cámaras del manipulador suave estaban involucradas) del manipulador suave usando el método de "cambio de sensores y enseñanza" al cambiar los sensores FBSS cinco veces. Estos procesos de enseñanza tomaron 197 y 350 s, respectivamente. Los resultados experimentales muestran que el método de "cambio de sensores y enseñanza" es simple y efectivo para permitir configuraciones 3D complejas de robots continuos suaves.

Mostramos que un humano puede interactuar de cerca con el manipulador suave para completar otra tarea desafiante. La pluma de acuarela se instaló al final del manipulador (Fig. 8a). Con esta configuración, le enseñamos al manipulador a ejecutar movimientos para "navegar" por un laberinto en papel (Fig. 8b y Película complementaria 19). El manipulador suave repitió el trazo después de la enseñanza (Fig. 8c). Las señales de salida de FBSS I y II se registraron durante el período de enseñanza de ∼ 240 s (Fig. 8d).

una fotografía de la configuración experimental para enseñar a un manipulador suave a completar un laberinto. b, c El laberinto del manipulador traza durante los procesos de enseñanza y repetición. d Curvas de señal durante el proceso de enseñanza de finalización del laberinto. e Fotografía y curvas de señal f de enseñanza interactiva al manipulador suave para tomar muestras de garganta. g Enseñar interactivamente al manipulador suave a cruzar una barrera y agarrar con éxito una flor artificial.

También mostramos la capacidad del manipulador para realizar una tarea crítica en el contexto de la salud pública. A medida que la pandemia de coronavirus continúa extendiéndose por todo el mundo, los frotis de garganta se han convertido en una práctica común para las pruebas médicas. Sin embargo, esto sin duda ha supuesto una carga para los trabajadores médicos que corren el riesgo de infección durante el proceso de recolección. Para abordar este problema, utilizamos el sistema interactivo para enseñarle al manipulador suave a tomar un hisopo de garganta (Fig. 8e, f y Película complementaria 20). Primero, se instaló un hisopo de algodón al final del manipulador suave. Luego, el usuario podría doblar sin contacto los dos primeros segmentos del manipulador suave con la mano para controlar la posición del hisopo. Una vez que el hisopo alcanzó la posición objetivo, el usuario alarga el tercer segmento del manipulador suave presionando el FBSS y recolecta la muestra del hisopo faríngeo. El sistema interactivo inteligente es lo suficientemente simple para que lo usen los trabajadores médicos sin una capacitación extensa, y el manipulador suave puede repetir la acción de forma autónoma después de un solo proceso de enseñanza. En comparación con los robots rígidos tradicionales, los manipuladores blandos son intrínsecamente más seguros para la interacción humana, debido a sus materiales blandos y estructuras adaptables. La presión del aire impulsado en tiempo real se comparó durante los procesos de enseñanza y repetición (Fig. 14 complementaria). Las dos curvas de presión de aire muestran cambios casi idénticos durante ambos procesos.

Finalmente, mostramos que se puede "enseñar" al manipulador suave a cruzar una barrera y agarrar con éxito una flor artificial cambiando los FBSS cinco veces (Fig. 8g y Películas complementarias 21, 22). Para cruzar la barrera, controlamos sin contacto el tercer segmento para que se doble hacia afuera (i) y el primer segmento para que se acorte. Luego, el segundo segmento se dobló hacia la derecha (ii), y el tercer segmento se dobló hacia arriba (iii) y hacia adentro. Para agarrar la flor, el tercer segmento se dobló hacia abajo (iv) y la pinza agarró la flor presionando el FBSS II (v), y todo el proceso duró aproximadamente 318 s. El resultado experimental muestra las ventajas del método de "cambio de sensores y enseñanza" en la aplicación práctica del control de libertad de varios grados de robot blando, y proporciona un nuevo esquema para el control de libertad de varios grados del robot blando.

En este documento, desarrollamos un prototipo de piel inteligente bimodal flexible (FBSS) que responde a estímulos táctiles y sin contacto y distingue entre los dos modos en tiempo real. Con el FBSS como interfaz, propusimos un método de enseñanza interactivo sin contacto de robot suave humano y probamos sistemáticamente este método en un manipulador suave continuo. Este método de enseñanza interactivo para ejecutar movimientos complejos se realizó de manera intuitiva a través de enfoques sin contacto con las manos desnudas para el FBSS. Usando este método, enseñamos con éxito a un manipulador suave "ingenuo" a moverse en el espacio 3D y realizar tareas simples como pintar, tomar un hisopo de garganta y cruzar una barrera para agarrar un objeto. Prevemos que este método de enseñanza interactivo puede expandir los usos prácticos de los robots blandos, ya que permite a los no especialistas operar el robot blando para diversas tareas sin la familiaridad de un experto.

En términos de otros métodos de detección relevantes, hay algunos otros sensores que pueden detectar estímulos táctiles y sin contacto. Por ejemplo, la piel bimodal magnética se basa en el efecto de magnetorresistencia gigante (GMR) a través de una película magnética con una extrusión en forma de pirámide en su superficie superior50. Cuando el sensor de magnetorresistencia gigante detecta un campo magnético alrededor de la película, su resistencia cambia. Sin embargo, este sensor requiere que los objetos en contacto con la película sean magnéticos, por lo que las propiedades materiales de los objetos detectados son bastante limitadas. Por el contrario, un sensor triboeléctrico puede detectar una amplia gama de materiales.

La alta flexibilidad y sensibilidad de la piel electrónica triboeléctrica permitió que el robot suave tuviera capacidades tanto de detección como de interacción. La piel triboeléctrica flexible, que incluye principalmente películas eléctricas y dieléctricas flexibles51,52, puede convertir estímulos táctiles y sin contacto en señales de voltaje a través de la electrificación por contacto y la inducción electrostática, respectivamente. Cabe señalar que las estimulaciones táctiles y sin contacto dan como resultado la misma tendencia de variación eléctrica, es difícil para las pieles triboeléctricas distinguir esos dos modos en tiempo real43,44. Al combinar mecanismos sensoriales triboeléctricos y de metal líquido, nuestro FBSS puede detectar simultáneamente información táctil y sin contacto y puede distinguir los dos modos en tiempo real. Dado que el FBSS es flexible y estirable, es adecuado para grandes deformaciones y puede usarse para detección robótica suave. Además, el FBSS puede detectar una amplia gama de materiales durante la interacción (Fig. 3c). Comparamos el FBSS con otros sensores táctiles/sin contacto (Tabla complementaria 4). En el futuro, la precisión de detección de FBSS se puede mejorar aún más mediante la optimización de la estructura piramidal microscópica y los canales de metal líquido.

Hay pocos informes previos sobre la enseñanza interactiva humana de robots blandos. Nuestra metodología propuesta tiene las siguientes características únicas para la enseñanza del movimiento: (1) el método se basa en un control cercano a la distancia sin contacto a través de la coordinación natural mano-ojo de los participantes humanos, lo que lo hace intuitivo y directo; y (2) el resultado de la enseñanza es bastante efectivo en términos de tiempo y precisión. Con el método de enseñanza interactivo sin contacto, la mayoría de los movimientos 3D del manipulador suave se completaron en unos pocos minutos.

El enfoque de enseñanza de "contacto" para manipuladores robóticos rígidos tradicionales (es decir, lograr un comportamiento compatible con el efector final de un robot en respuesta a las fuerzas ejercidas por un operador humano) es problemático para enseñar robots blandos46. La captura de la deformación pasiva de los manipuladores continuos blandos, por ejemplo, cuando son manipulados por una mano humana requiere muchos sensores blandos, lo que complica la reconstrucción posterior de la forma y la configuración. Por el contrario, los sujetos humanos sin ninguna habilidad o experiencia de enseñanza robótica han validado la practicidad y la eficacia de este método de enseñanza. Además, registrar y analizar la información táctil/sin contacto durante el proceso de enseñanza y reproducir los movimientos del robot suave puede ayudar a ilustrar cómo los humanos prefieren interactuar sin contacto con los robots. Un registro de los movimientos de la mano, particularmente al acercarse al robot, de diferentes personas ayudaría aún más a refinar el sistema interactivo.

En cuanto a las limitaciones de esta investigación, utilizamos dos sensores blandos para crear una interfaz interactiva en el presente estudio. En trabajos futuros, incorporaremos más sensores suaves interactivos en el manipulador suave para permitir controles más complejos de la forma del robot y capturar más retroalimentación. Además, el desarrollo de conjuntos de sensores múltiples con FBSS y la incorporación de herramientas de aprendizaje automático emergentes permitirían movimientos robóticos más complejos con diferentes morfologías establecidas a través de la interacción sin contacto. Por ejemplo, recopile datos sensoriales masivos para el entrenamiento de ML para reconocer gestos humanos y objetos ambientales para robots blandos. Además, la capacidad de distinguir entre una mano humana y un objeto u obstáculo con FBSS en un entorno complejo complementaría aún más el método de enseñanza actual.

En este estudio, utilizamos un robot suave accionado neumáticamente, que es simple, repetible y robusto. Los materiales receptivos pueden permitir que los robots blandos actúen a través de una variedad de estímulos, como la luz, los campos magnéticos, la electricidad y los productos químicos53, y las estructuras de materiales blandos como el origami y los metamateriales pueden permitir movimientos complejos a través de un método de enseñanza interactivo sin contacto54. Prevemos que los robots blandos interactivos pueden trabajar en colaboración con un número cada vez mayor de participantes humanos en una amplia variedad de disciplinas.

Primero se fijó una película de Kapton estampada a una oblea de silicio limpia como una máscara de sombra (Fig. 15A complementaria). Luego, la solución de la red Ag NW se roció sobre la oblea y el solvente se evaporó a 60 ° C durante 15 min. Se moldeó por rotación una fina capa de caucho de silicona sobre la oblea y se curó a 60 °C durante 4 h. A continuación, el caucho de silicona curado se despegó cuidadosamente de la oblea y la red Ag NW se transfirió al caucho de silicona.

El molde SLA con cuevas de micropirámide (profundidad = 320 μm; ancho = 500 μm) se imprimió por primera vez con una impresora 3D de microprecisión (Fig. 15B complementaria). El caucho de silicona (Smooth-on, Dragon skin 00–20) se dejó caer sobre el molde y se curó a temperatura ambiente durante 4 h. El caucho de silicona curado se despegó cuidadosamente del molde y las estructuras de micropirámide se transfirieron a él.

Usando una impresora de metal líquido (DREAM Ink, DP-1), el metal líquido estampado se imprimió en el sustrato de plástico (Fig. 16 complementaria). El caucho de silicona (Smooth-on, Dragon skin 00-20) se dejó caer sobre el metal líquido estampado y luego se curó a temperatura ambiente durante 4 h. Para transferir el metal líquido estampado del sustrato al caucho de silicona, se colocaron en un refrigerador a -140 °C durante 40 min. La silicona curada se despegó cuidadosamente del sustrato y el metal líquido modelado se incrustó en la silicona. Goma de silicona adicional (Smooth-on, Dragon skin 00-20) fue colada sobre otro lado del metal líquido estampado y curado a temperatura ambiente durante 4 h.

El manipulador suave está diseñado y fabricado para agarrar objetos (Figura complementaria 17). El manipulador blando consta principalmente de tres módulos actuadores blandos y una pinza blanda como efector final (Fig. 5a). El manipulador suave tiene 10 cámaras neumáticas y cada segmento de flexión tiene 3 cámaras (con 3 segmentos de flexión en total). El efector final, una pinza suave de cuatro dedos, es accionado por una sola entrada de aire.

Durante el proceso de enseñanza, el movimiento del manipulador suave sigue un modelo cinemático bajo la hipótesis de curvatura constante por partes (PCC). Consideramos que la forma del manipulador blando está compuesta por un número fijo de segmentos con curvatura constante. El modelo cinemático se transforma del espacio de configuración (parámetros del arco κi, θi, φi) al espacio de actuación (presión de la cámara pij) Más específicamente, los índices i = 1, 2, 3 y j = 1, 2, 3 se refieren al segmento i-ésimo y la cámara j, respectivamente. Definimos el parámetro de arco κi como el radio de curvatura del i-ésimo segmento, θi como el ángulo de curvatura alrededor del eje y, y φi como el ángulo de desviación alrededor del eje z (Fig. 5b, c). El parámetro constante d podría medirse antes de iniciar la actuación. Primero, resolvemos la longitud de la cámara lij a partir de los parámetros de arco dados κi, θi, φi (ri = κi−1), que se muestran en la ecuación. (1)

Luego, agregando las relaciones presión-longitud calibradas (Fig. 18 complementaria), podemos calcular la presión de actuación pij a partir de la longitud de la cámara lij para completar el control basado en el modelo.

El proceso de enseñanza comienza con una mano humana que se acerca al FBSS, y el FBSS transforma la información de distancia en una señal de voltaje (Fig. 5d y Tabla complementaria 2). Primero, normalizamos la señal de voltaje a través de la ecuación. (2), con una frecuencia de muestreo de 100 Hz:

donde Sout es la señal de voltaje normalizada, V es el voltaje medido del FBSS, Vmax es la salida de voltaje máxima del FBSS y Vinit es la salida de voltaje inicial del FBSS. Luego, usamos un filtro medio de frecuencia de muestreo de 10 veces para eliminar el ruido de la señal. Para obtener una longitud de paso variable a partir de la señal de retroalimentación FBSS, implementamos la función tangente hiperbólica como el mapeo de la longitud del paso (Fig. 5e), que se muestra en la ecuación. (3):

donde θh es la longitud del paso calculado, hinit es la longitud del paso inicial y k1, k2 son los parámetros de la función tangente hiperbólica. Luego, la longitud del paso se agrega al ángulo de flexión actual θ0 en la ecuación. (4):

El ángulo de flexión θ se sustituye en el modelo cinemático para resolver las presiones de la cámara pij del manipulador suave, y el sistema neumático multicanal ejecuta la actuación con presiones pij. Finalmente, cuando el FBSS registra contacto físico, el manipulador suave activa la pinza para completar el movimiento de agarre.

Durante el proceso de interacción sin contacto, el efector final del manipulador suave puede ser guiado por el movimiento de la mano humana en el espacio 3D. La posición del efector final puede ser determinada por la visión del operador.

Evaluamos el error de enseñanza bajo diferentes estrategias de control de longitud de paso. Montamos un transmisor láser en el efector final del manipulador suave para rastrear la posición del efector final. Durante todo el proceso de interacción, se registra el costo del tiempo y el error de posición, y cada prueba se repite 5 veces. El tiempo de ejecución promedio y el error de posición de la estrategia de longitud de paso variable son 24,3 s y 4,6 mm, respectivamente (Fig. 5f). Por lo tanto, adoptamos la estrategia de longitud de paso variable para la enseñanza interactiva. El espacio de trabajo del manipulador blando tiene 568 mm de largo, 591 mm de ancho y 334 mm de alto (Fig. 5g). Esto garantiza una amplia gama de locomoción interactiva para un usuario humano.

La resistencia del FBSS se midió con una tarjeta de adquisición de datos sincrónicos (National Instruments, USB-6356). Las cargas de voltaje, corriente y transferencia se midieron usando un electrómetro (Tektronix Inc., Keithley 6514).

Los datos generados en este estudio se proporcionan en el archivo de datos de origen. Los datos de origen se proporcionan con este documento.

Hsiao, J.-H., Chang, JY & Cheng, CM Robótica médica blanda: aplicaciones clínicas y biomédicas, desafíos y direcciones futuras. Adv. Robot. 33, 1099–1111 (2019).

Artículo Google Académico

Hu, W., Lum, GZ, Mastrangeli, M. & Sitti, M. Robot de cuerpo blando a pequeña escala con locomoción multimodal. Naturaleza 554, 81–85 (2018).

Artículo ADS CAS PubMed Google Scholar

Walsh, C. Human-in-the-loop desarrollo de robots portátiles blandos. Nat. Rev.Mater. 3, 78–80 (2018).

Artículo ANUNCIOS Google Académico

Kim, Y., Parada, GA, Liu, S. & Zhao, X. Robots continuos blandos ferromagnéticos. ciencia Robot. 4, 1–16 (2019).

Artículo CAS Google Académico

Li, G. et al. Robot blando autopropulsado en la Fosa de las Marianas. Naturaleza 591, 66–71 (2021).

Artículo ADS CAS PubMed Google Scholar

Thandiackal, R. et al. Aparición de natación ondulatoria autoorganizada robusta basada en la detección de fuerza hidrodinámica local. ciencia Robot. 6, eabf6354 (2021).

Naclerio, ND et al. El control de las fuerzas subterráneas permite un robot blando excavador, rápido y dirigible. ciencia Robot. 6, eabe2922 (2021).

Li, L. et al. Robots aéreo-acuáticos capaces de cruzar la frontera aire-agua y hacer autostop en superficies. ciencia Robot. 7, eabm6695 (2022).

Artículo PubMed Google Académico

Xie, Z. et al. Actuadores suaves cónicos inspirados en el brazo del pulpo con ventosas para un mejor agarre. Robot blando. 7, 639–648 (2020).

Artículo PubMed Google Académico

Gu, G. et al. Una mano neuroprotésica suave que proporciona control mioeléctrico y retroalimentación táctil simultáneos. Nat. biomedicina Ing. https://doi.org/10.1038/s41551-021-00767-0 (2021).

Wehner, M. et al. Una estrategia integrada de diseño y fabricación para robots autónomos completamente blandos. Naturaleza 536, 451–455 (2016).

Artículo ADS CAS PubMed Google Scholar

Gong, Z. et al. Un manipulador suave para un agarre delicado y eficiente en aguas poco profundas: modelado, control y experimentos del mundo real. En t. J.Rob. Res. 40, 449–469 (2021).

Artículo Google Académico

Kim, W. et al. Origami estirable de doble transformación bioinspirado. ciencia Robot. 4, eaay3493 (2019).

Coevoet, E. et al. Juego de herramientas de software para modelado, simulación y control de robots blandos. Adv. Robot. 31, 1208–1224 (2017).

Artículo Google Académico

Rucker, DC y Webster, RJ en Springer Tracts en Advanced Robotics vol. 79, 645–654 (IEEE, 2014).

Rucker, DC, Jones, BA & Webster, RJ III Un modelo geométricamente exacto para robots continuos de tubos concéntricos cargados externamente. Trans. IEEE. Robot. 26, 769–780 (2010).

Artículo PubMed PubMed Central Google Académico

Trivedi, D., Lotfi, A. & Rahn, CD Modelos geométricamente exactos para manipuladores robóticos blandos. Trans. IEEE. Robot. 24, 773–780 (2008).

Artículo Google Académico

Hannan, MW & Walker, ID Kinematics y la implementación de un manipulador de trompa de elefante y otros robots de estilo continuo. J.Robot. sist. 20, 45–63 (2003).

Artículo PubMed MATEMÁTICAS Google Académico

Pan, Y., Chen, C., Li, D., Zhao, Z. y Hong, J. Sistema de teleoperación de robot basado en realidad aumentada que utiliza un dispositivo de enseñanza de actitud y de imágenes RGB-D. Robot. computar Integrar Fabricación 71, 102167 (2021).

Artículo Google Académico

Weng, C., Yuan, Q., Suarez-Ruiz, F. & Chen, I. Un método de colaboración humano-robot basado en la telemanipulación para enseñar habilidades de enmascaramiento aeroespacial. Trans. IEEE. Ind. Informar. 16, 3076–3084 (2020).

Artículo Google Académico

Du, G., Yao, G., Li, C. y Liu, P. Un método de enseñanza de robots fuera de línea, fusionado y en línea basado en la interacción natural humano-robot y el algoritmo de ayuda visual. Trans. IEEE/ASME. Mecatrónica 1–12, https://doi.org/10.1109/TMECH.2021.3112722 (2021).

Ventilador, FR et al. Nanogeneradores triboeléctricos transparentes y sensores de presión autoalimentados basados en películas plásticas micropatronadas. Nano Lett. 12, 3109–3114 (2012).

Artículo ADS CAS PubMed Google Scholar

Yang, Y. et al. Nanogeneradores triboeléctricos basados en piel humana para recolectar energía biomecánica y como sistema de sensor táctil activo autoalimentado. ACS Nano 7, 9213–9222 (2013).

Artículo CAS PubMed Google Académico

Wang, ZL Nanogeneradores triboeléctricos como nueva tecnología energética para sistemas autoalimentados y como sensores mecánicos y químicos activos. ACS Nano 7, 9533–9557 (2013).

Artículo CAS PubMed Google Académico

Ren, Z. et al. Sensores táctiles totalmente elásticos y libres de metales para la detección de fuerzas normales y tangenciales basados en nanogeneradores triboeléctricos. Adv. Función Mate. 28, 1802989 (2018).

Artículo CAS Google Académico

Zhao, G. et al. Nanogenerador triboeléctrico transparente y estirable para detección táctil autoalimentada. Nanoenergía 59, 302–310 (2019).

Artículo CAS Google Académico

Wang, ZL Nanogeneradores triboeléctricos como nueva tecnología energética y sensores autoalimentados: principios, problemas y perspectivas. Discusión de Faraday. 176, 447–458 (2014).

Artículo ADS CAS PubMed Google Scholar

Wang, Z., Chen, J. & Lin, L. Avances en nanogeneradores triboeléctricos como nueva tecnología energética y sensores autoalimentados. Entorno Energético. ciencia 8, 2250–2282 (2015).

Artículo CAS Google Académico

Yao, G. et al. Nanogeneradores triboeléctricos bioinspirados como piel electrónica autoalimentada para sensores táctiles robóticos. Adv. Función Mate. 30, 1907312 (2020).

Artículo CAS Google Académico

Jin, T. et al. Sensores triboeléctricos nanogeneradores para robótica blanda con el objetivo de aplicaciones de gemelos digitales. Nat. común 11, 1–12 (2020).

Artículo ADS CAS Google Académico

Zhang, S. et al. Clasificación de dimensión no destructiva mediante pinzas robóticas blandas integradas con sensor triboeléctrico. ACS Nano 16, 3008–3016 (2022).

Chen, J. et al. Robots blandos con detección configuracional autoalimentada. Nano Energía 77, 105171 (2020).

Artículo CAS Google Académico

Luo, J. et al. Nanogeneradores triboeléctricos a base de madera flexibles y duraderos para la detección autoalimentada en el análisis de big data atlético. Nat. común 10, 5147 (2019).

Artículo ADS PubMed PubMed Central CAS Google Scholar

Liu, Z. et al. Sensor de presión endocárdica ultrasensible autoalimentado transcatéter. Adv. Función Mate. 29, 1–10 (2019).

ANUNCIOS Google Académico

Zou, Y. et al. Un nanogenerador biónico estirable para detección submarina y recolección de energía. Nat. común 10, 1–10 (2019).

Artículo ADS CAS Google Académico

Liu, Y. et al. Nanogeneradores triboeléctricos estirables, delgados e integrados en la piel para detección táctil. Adv. Electrón. Mate. 6, 1901174 (2020).

Artículo CAS Google Académico

Él, J. et al. Nanogeneradores triboeléctricos estirables inspirados en el trampolín como sensores táctiles para la electrónica epidérmica. NanoEnergía 81, 105590 (2021).

Artículo CAS Google Académico

Wu, M. et al. Nanogeneradores triboeléctricos a base de espuma delgados, suaves e integrados en la piel para la detección táctil y la recolección de energía. Mate. Hoy Energía 20, 100657 (2021).

Artículo CAS Google Académico

Zhao, J. et al. Transistor tribotrónico orgánico flexible para detección magnética y de presión. ACS Nano 11, 11566–11573 (2017).

Artículo CAS PubMed Google Académico

Bu, T. et al. Piel inteligente triboeléctrica-fotónica estirable para detección táctil y de gestos. Adv. Mate. 30, 1800066 (2018).

Artículo CAS Google Académico

Wu, H. et al. Piel electrónica sin contacto autoalimentada para detección de movimiento. Adv. Función Mate. 28, 1–10 (2018).

ADS CAS Google Académico

Shi, M. et al. Piel inteligente analógica autoalimentada. ACS Nano 10, 4083–4091 (2016).

Artículo CAS PubMed Google Académico

Lai, Y.-C. et al. Robots blandos con percepción activa y capacidad de respuesta habilitados por pieles triboeléctricas de proximidad y presión autoalimentadas, altamente extensibles y altamente sensibles. Adv. Mate. 30, 1801114 (2018).

Artículo CAS Google Académico

Chen, S., Pang, Y., Yuan, H., Tan, X. y Cao, C. Actuadores suaves inteligentes y pinzas habilitadas por tribo‐skins autoalimentados. Adv. Mate. Tecnología 5, 1901075 (2020).

Artículo Google Académico

Du, G., Chen, M., Liu, C., Zhang, B. y Zhang, P. Enseñanza de robots en línea con interacción natural entre humanos y robots. Trans. IEEE. Ind. Electrón. 65, 9571–9581 (2018).

Artículo Google Académico

Facuciello, F., Villani, L. & Siciliano, B. Control de impedancia variable de manipuladores redundantes para la interacción física intuitiva entre humanos y robots. Trans. IEEE. Robot. 31, 850–863 (2015).

Artículo Google Académico

Rus, D. & Tolley, MT Diseño, fabricación y control de robots blandos. Naturaleza 521, 467–475 (2015).

Artículo ADS CAS PubMed Google Scholar

Shah, D. et al. Robots que cambian de forma: bioinspiración, simulación y realización física. Adv. Mate. 33, 2002882 (2021).

Artículo CAS Google Académico

Shih, B. et al. Máscaras electrónicas y aprendizaje automático para robots blandos inteligentes. ciencia Robot. 5, eaaz9239 (2020).

Artículo PubMed Google Académico

Ge, J. et al. Una piel electrónica bimodal suave para interacción táctil y sin contacto en tiempo real. Nat. común 10, 4405 (2019).

Artículo ADS PubMed PubMed Central CAS Google Scholar

Guo, H. et al. Nanogenerador triboeléctrico flexible autoesterilizado de un solo electrodo para recolección de energía y detección de fuerza dinámica. ACS Nano 11, 856–864 (2017).

Artículo CAS PubMed Google Académico

Lu, X. et al. Nanogenerador triboeléctrico transparente y estirable como un sensor autoalimentado altamente sensible para el monitoreo de la fatiga y la distracción del conductor. Nanoenergía https://doi.org/10.1016/j.nanoen.2020.105359 (2020).

Rich, SI, Wood, RJ & Majidi, C. Robótica blanda sin ataduras. Nat. Electrón. 1, 102–112 (2018).

Artículo Google Académico

Laschi, C., Mazzolai, B. & Cianchetti, M. Robótica blanda: tecnologías y sistemas que amplían los límites de las capacidades de los robots. ciencia Robot. 1, 1–12 (2016).

Artículo Google Académico

Descargar referencias

Este trabajo fue apoyado por los proyectos de apoyo de la Fundación Nacional de Ciencias, China (Grants Nos. 91848206, 92048302, T2121003 recibidos por LW) y el Programa Nacional de Investigación y Desarrollo Clave de China (Grants Nos. 2018YFB1304600, 2019YFB1309600, 2020YFB1313003 recibidos por LW). Queremos agradecer a Zhexin Xie, Shiqiang Wang, Shanshan Du y Chuqian Wang por su ayuda en este trabajo.

Estos autores contribuyeron por igual: Wenbo Liu, Youning Duo, Jiaqi Liu, Feiyang Yuan.

Escuela de Ingeniería Mecánica y Automatización, Universidad de Beihang, Beijing, 100191, China

Wenbo Liu, Dúo Youning, Jiaqi Liu, Feiyang Yuan, Lei Li, Luchen Li, Gang Wang, Bohan Chen, Siqi Wang, Yun Wang, Xilun Ding y Li Wen

Instituto de Semiconductores, Academia de Ciencias de Guangdong, Guangdong, 510075, China

hui yang

Escuela de Ingeniería General, Universidad de Beihang, Beijing, 100191, China

yuchen liu & yanru mo

Laboratorio Nacional de Ciencias y Tecnologías de la Información de Tsinghua, Departamento de Ciencias y Tecnologías de la Computación, Universidad de Tsinghua, Beijing, 100084, China

Bin Fang y el sol de Fuchun

Centro CAS para la Excelencia en Nanociencia, Laboratorio Clave de Micro-Nano Energía y Sensores de Beijing, Instituto de Nanoenergía y Nanosistemas de Beijing, Academia de Ciencias de China, Beijing, 101400, China

chi zhang

Escuela de Nanociencia y Tecnología, Universidad de la Academia China de Ciencias, Beijing, 100049, China

chi zhang

También puede buscar este autor en PubMed Google Scholar

WL y LW concibieron la idea, WL, YD, JL, FY, CZ, YW, BF, FS, XD y LW analizaron los datos y escribieron el artículo. WL diseñó y fabricó el FBSS. YD y JL diseñaron y fabricaron el manipulador suave. WL, YD, JL y HY implementaron el sistema de enseñanza interactivo. Lei L., GW, BC, SW, Luchen L., HY e YL realizaron los experimentos. Lei L., YM y WL dibujaron y optimizaron las figuras, tablas y videos.

Correspondencia a Li Wen.

Los autores declaran no tener conflictos de intereses.

Nature Communications agradece a Huichan Zhao y a los otros revisores anónimos por su contribución a la revisión por pares de este trabajo. Los informes de los revisores están disponibles.

Nota del editor Springer Nature se mantiene neutral con respecto a los reclamos jurisdiccionales en mapas publicados y afiliaciones institucionales.

Acceso abierto Este artículo tiene una licencia internacional Creative Commons Attribution 4.0, que permite el uso, el intercambio, la adaptación, la distribución y la reproducción en cualquier medio o formato, siempre que se otorgue el crédito correspondiente al autor o autores originales y a la fuente. proporcionar un enlace a la licencia Creative Commons e indicar si se realizaron cambios. Las imágenes u otro material de terceros en este artículo están incluidos en la licencia Creative Commons del artículo, a menos que se indique lo contrario en una línea de crédito al material. Si el material no está incluido en la licencia Creative Commons del artículo y su uso previsto no está permitido por la regulación legal o excede el uso permitido, deberá obtener el permiso directamente del titular de los derechos de autor. Para ver una copia de esta licencia, visite http://creativecommons.org/licenses/by/4.0/.

Reimpresiones y permisos

Liu, W., Duo, Y., Liu, J. et al. Enseñanza interactiva sin contacto de robots blandos a través de interfaces sensoriales bimodales flexibles. Nat Comun 13, 5030 (2022). https://doi.org/10.1038/s41467-022-32702-5

Descargar cita

Recibido: 20 de marzo de 2022

Aceptado: 12 de agosto de 2022

Publicado: 26 agosto 2022

DOI: https://doi.org/10.1038/s41467-022-32702-5

Cualquier persona con la que compartas el siguiente enlace podrá leer este contenido:

Lo sentimos, un enlace para compartir no está disponible actualmente para este artículo.

Proporcionado por la iniciativa de intercambio de contenido Springer Nature SharedIt

Comunicaciones de la naturaleza (2023)

Nano investigación (2023)

Ciencia China Ciencias Tecnológicas (2023)

Al enviar un comentario, acepta cumplir con nuestros Términos y Pautas de la comunidad. Si encuentra algo abusivo o que no cumple con nuestros términos o pautas, márquelo como inapropiado.