La emulación de los procesos del sueño para una robótica más centrada en el ser humano
Desarrollar un programa de IA que sea aplicable a cualquier situación es muy difícil; antes de poder hacerlo es imprescindible identificar todas esas situaciones y las conductas adaptadas correspondientes. El proyecto DREAM (Deferred Restructuring of Experience in Autonomous Machines), financiado con fondos europeos, se ha inspirado en la idea de que procesos parecidos a los que se han identificado durante el sueño podrían ayudar a que los robots adquirieran, organicen y usen conocimientos e información con mayor facilidad. La exposición de los robots a escenarios más abiertos en el espacio y el tiempo llevó al equipo a generar propuestas para una nueva generación de robots.
Algoritmos adaptables
Dentro del campo del aprendizaje automático una de las sugerencias ha sido utilizar el «aprendizaje reforzado», que conecta los comportamientos deseados con la retroalimentación positiva, para enseñar a los robots cómo completar tareas. Sin embargo, este enfoque no se ha aplicado todavía a causa de algunas limitaciones. La mayor de estas limitaciones es que los algoritmos subyacentes no pueden asignar causa y efecto. El profesor Stéphane Doncieux, coordinador del proyecto, explica: «Supongamos que el robot recibe una señal de valor numérico como retroalimentación positiva. Para poder aprender de verdad, el algoritmo tendría que poder asociar este valor con la situación correspondiente: ¿ha ocurrido por el movimiento del brazo, por la pulsación de un botón o por otro motivo?». El proyecto DREAM redujo la cantidad de información específica necesaria para que un robot pueda desempeñar una tarea gracias al desarrollo de algoritmos adaptables que se pueden aplicar a diferentes situaciones, pero con capacidad para encontrar soluciones adecuadas sin necesidad de modificaciones continuas. «Con frecuencia, los algoritmos de aprendizaje actuales asumen conocimientos especializados. De hecho, el aprendizaje “naive” o simple ofrece oportunidades si se emplea correctamente. Esto nos recuerda a lo que sucede cuando los humanos y los animales dormimos», comenta el profesor Doncieux. En términos prácticos, el aprendizaje de los robots se convierte en una secuencia de procesos, en vez de un proceso aislado, que alterna las interacciones en el mundo real con la explotación de los datos generados. Durante las sesiones en las que estaba «despierto», a fin de entender cómo se estructura el entorno, el robot observó las consecuencias de sus acciones. Durante el «sueño», el robot exploró, mediante simulaciones, muchas interacciones posibles y registró las que generaron efectos identificables en un objeto escogido (por ejemplo, el movimiento de dicho objeto). A continuación, podía realizar tareas sencillas pero solo dentro de parámetros estrictos, lo que genera una especie de biblioteca de acciones con la que entrenar algoritmos de aprendizaje profundo. Para generalizarlos a otras situaciones, el robot contaba con la ayuda de otro proceso de «sueño» basado en dichos algoritmos. Otras fases del «sueño» se centraron en el aprendizaje por transferencia, a fin de seguir desarrollando los conocimientos adquiridos. Se exploraron diferentes enfoques, tales como la transferencia entre la memoria a largo y corto plazo y las transferencias entre diferentes individuos, o aprendizaje social, ya que se ha demostrado que los conocimientos adquiridos en grupo aceleran y afianzan el aprendizaje.
Un nuevo paradigma al alcance de la mano
DREAM se centró en la interacción con objetos mediante el uso de los brazos y experimentó con diferentes robots humanoides como PR2 y Baxter. «Los robots distinguían las partes del entorno sobre las que podían actuar para generar un determinado efecto (como por ejemplo mover o coger algo). Y, lo que es más importante, los métodos de adaptación propuestos podían desempeñar las diferentes tareas sin modificaciones. Por ejemplo, dependiendo del efecto que les pedimos que exploraran, podían generar la manipulación de una pelota o de una palanca de mando», explica el profesor Doncieux. El equipo, motivado por el resultado de estos experimentos, está trabajando actualmente a nivel teórico para comprender mejor algunos de los pilares básicos de su planteamiento; por ejemplo, cómo pueden los robots descubrir las conductas pertinentes en situaciones en las que se tiene poca información sobre las acciones o situaciones deseadas.
Palabras clave
DREAM, robot, IA, aprendizaje automático, dormir, sueño, algoritmo, aprendizaje reforzado
