Alibaba ha presentado Qwen-Robot Suite: un conjunto de modelos de IA para robots y tareas en el entorno físico: Qwen-RobotNav para navegación, Qwen-RobotManip para acciones con objetos y Qwen-RobotWorld para predecir cómo se desarrollará una escena. El equipo describió el proyecto como un «stack completo para inteligencia artificial incorporada».
Estos son modelos de software destinados a ayudar a los agentes físicos a percibir su entorno, planificar acciones y llevar a cabo comandos en lenguaje natural. Qwen-Robot Suite ya está en pruebas piloto con selectos clientes empresariales de Alibaba Cloud en el campo de la robótica.
Por qué Alibaba está llevando a Qwen al mundo físico
Los modelos de lenguaje grande y multimodal ya pueden trabajar con texto, imágenes, video y voz, pero eso no es suficiente para los robots. Los agentes físicos no solo necesitan entender un comando, sino también traducirlo en movimiento, tener en cuenta el espacio, las propiedades de los objetos, las limitaciones de los sensores y las consecuencias de las acciones.
Alibaba llama a esto el campo de la IA física, o «IA incorporada». En este enfoque, un modelo debe trabajar no solo con datos digitales, sino también con el entorno físico: moverse, encontrar objetos, controlar manipuladores y predecir qué sucederá después de una acción.
Qwen-RobotNav: cinco tareas de navegación en un modelo
Qwen-RobotNav es responsable de la navegación. El modelo combina cinco grupos de tareas:
- seguir instrucciones;
- moverse a un punto especificado;
- buscar objetos;
- seguimiento de un objetivo;
- conducción autónoma.
Según Alibaba, Qwen-RobotNav está construido sobre Qwen3-VL y entrenado con 15.6 millones de muestras relacionadas con la planificación de rutas y el razonamiento visual-lingüístico.
La empresa afirmó un 76.5% de éxito en VLN-CE RxR y un 90% en EVT-Bench. Alibaba también especificó que el modelo puede operar como una herramienta para sistemas agentivos más grandes: un modelo de nivel superior planifica la tarea, mientras que Qwen-RobotNav maneja el movimiento.
En sus demostraciones, Alibaba describe escenarios como buscar un objeto perdido en una habitación o verificar si un objeto específico en un edificio está abierto. En tales tareas, un robot no debe simplemente moverse, sino recopilar evidencia visual y devolver una respuesta al usuario.
Qwen-RobotManip: acciones con objetos
Qwen-RobotManip está diseñado para acciones físicas con objetos. El modelo está destinado a ayudar a los robots a recoger, mover y colocar artículos, así como transferir habilidades entre diferentes tipos de dispositivos.
Uno de los principales desafíos de la robótica es que los robots describen las acciones de manera diferente. Un manipulador, una plataforma de dos brazos, un robot con una mano o un sistema móvil utilizan diferentes coordenadas, articulaciones y formatos de comando. Qwen-RobotManip intenta llevar estos datos a una representación común para que el entrenamiento en un tipo de robot ayude a otro.
Para el entrenamiento, Alibaba utilizó más de 38,100 horas de datos. Este volumen incluyó 11,320 horas de datos de robótica abierta, 1,933 horas de video de acción humana en primera persona y 24,808 horas de demostraciones robóticas sintéticas creadas sobre la base de dichos videos.
La empresa declaró que el modelo ocupó el primer lugar en RoboChallenge Table30 v1 en la categoría de modelos de propósito general. Según Alibaba, Qwen-RobotManip también mostró robustez ante nuevas instrucciones, objetos desconocidos y la transferencia de habilidades entre diferentes robots.
Qwen-RobotWorld: un modelo de mundo para robots
Qwen-RobotWorld es un modelo de mundo en video controlado por lenguaje natural. Está destinado a predecir cómo se desarrollará una escena después de una acción dada.
Por ejemplo, el modelo recibe una observación actual y un comando de texto, y luego genera un estado futuro probable del entorno. Este enfoque se puede utilizar para manipulación, conducción autónoma, navegación, planificación y la creación de datos de entrenamiento sintéticos para robots.
Para entrenar Qwen-RobotWorld, el equipo reunió el corpus de Conocimiento del Mundo Incorporado. Incluye 8.6 millones de pares de «video-texto» y más de 200 millones de fotogramas, cubre más de 20 tipos de plataformas robóticas y más de 500 categorías de acciones.
Alibaba declaró que Qwen-RobotWorld ocupó el primer lugar en EWMBench y DreamGen Bench, y también superó a todos los modelos abiertos en WorldModelBench y PBench. La descripción técnica también afirma que el modelo muestra alta consistencia con las regularidades físicas básicas: movimiento, conservación de la masa, fluidos y gravedad.
Los robots de consumo masivo aún están lejos de ser una realidad.
A pesar de los resultados afirmados, Qwen-Robot Suite por ahora sigue siendo un conjunto de modelos en lugar de una plataforma de robótica de consumo terminada. La implementación en el mundo real se enfrenta a ruido de sensores, desgaste de actuadores, situaciones no estándar, errores de percepción y un enorme número de escenarios raros. Muchos de los benchmarks en los que se comparan tales sistemas se ejecutan en simulación o bajo condiciones experimentales limitadas.
Alibaba tampoco divulgó el costo de acceso, el cronograma para un lanzamiento público o la lista de clientes que ya están probando Qwen-Robot Suite.
Como recordatorio, en abril Alibaba Cloud presentó el modelo agente Qwen3.6-Plus con una ventana de contexto de 1 millón de tokens y soporte para herramientas externas.
Fuente: ForkLog
