Google presentó AgentHands, un prototipo para realidad extendida que permite a un agente de inteligencia artificial utilizar manos virtuales para señalar objetos, representar movimientos, hacer advertencias y acompañar sus respuestas habladas con gestos dentro del espacio físico del usuario. El experimento apunta a una nueva etapa de las interfaces con IA: agentes que ya no sólo conversan, ven o escuchan, sino que adquieren una forma de lenguaje corporal generado por software.
AgentHands fue presentado en CHI 2026 por investigadores de Google XR. El proyecto parte de un problema relativamente cotidiano. Cuando una persona utiliza unas gafas de realidad extendida y pregunta, por ejemplo, qué raíz de una planta debe revisar o qué control de una impresora 3D tiene que girar, una respuesta exclusivamente verbal obliga al usuario a traducir expresiones como “esa pieza” o “la de la izquierda” a la disposición de los objetos que tiene enfrente.
Los investigadores llaman a este problema una “brecha de mapeo mental”. AgentHands intenta reducirla haciendo que el agente coloque manos virtuales directamente dentro de la escena: puede apuntar hacia una parte de un objeto, rodearla con las manos, representar su tamaño, simular el giro de una perilla o acompañar una advertencia con una palma levantada y efectos visuales.
Learn about AgentHands, an LLM-powered XR prototype that augments conversational agents with synchronized, expressive hand gestures to provide spatially grounded guidance, bridging the mental mapping gap and enhancing user engagement in physical tasks: https://t.co/QQA6dzui4e pic.twitter.com/kLjnMDFXad
— Google Research (@GoogleResearch) August 25, 2026
El agente sabe dónde poner las manos
Para funcionar, el sistema necesita primero construir una representación básica del entorno. AgentHands combina reconstrucción de la escena con la dirección de la mirada del usuario para registrar objetos físicos y ubicarlos dentro de coordenadas tridimensionales. Una orquídea, una computadora o una impresora pueden quedar asociadas a cajas delimitadoras 3D que después el agente utiliza como referencias espaciales.
Cuando la persona hace una pregunta, el modelo de lenguaje no genera únicamente una respuesta hablada. Inserta también instrucciones llamadas GestureEvents asociadas a palabras determinadas. Cada evento especifica qué clase de gesto debe realizarse y algunos de sus parámetros espaciales.
Un procesador local sincroniza después esas órdenes con la voz. De esa manera, cuando el agente pronuncia una palabra como “aquí”, la mano puede señalar al mismo tiempo la pieza correspondiente en el mundo físico. El modelo tampoco inventa libremente todos los movimientos de los dedos. Google diseñó una biblioteca de comportamientos organizada en tres categorías principales: gestos deícticos, utilizados para señalar; icónicos, que representan formas o acciones; y expresivos, destinados a comunicar emociones o señales sociales. El modelo selecciona y combina esos recursos mientras un sistema de animación ejecuta el movimiento.
Las manos pueden aparecer flotando en el espacio, quedar ancladas a un objeto o colocarse en relación con el propio cuerpo del usuario. También pueden incorporar movimientos como verter, trazar o sujetar, y efectos visuales adicionales; Google muestra, por ejemplo, un resplandor rojo utilizado para advertir sobre una superficie caliente.
De señalar una planta a sujetar la mano del usuario
Google probó AgentHands en tareas relativamente prácticas. En un escenario de cuidado de orquídeas, las manos virtuales pueden señalar las raíces aéreas y mostrar dónde aplicar agua o fertilizante. En otro, relacionado con una impresora 3D, el agente demuestra movimientos necesarios para operar controles físicos.
Pero uno de los ejemplos propuestos por los investigadores lleva la interacción hacia un terreno diferente. Google plantea también aplicaciones de acompañamiento cotidiano, en las que un agente intenta orientar decisiones relacionadas con los hábitos de una persona. En la demostración, una mano virtual puede interactuar con la mano del usuario y acompañar una advertencia visual para desalentar determinada conducta.
La diferencia puede parecer pequeña, pero amplía considerablemente las herramientas comunicativas de un agente. Hasta ahora, buena parte de la discusión sobre persuasión mediante IA se ha concentrado en el lenguaje: qué dice un modelo, cómo formula una recomendación o hasta qué punto adapta sus argumentos a una persona.
En realidad extendida, esa persuasión podría adquirir también una dimensión espacial y corporal. Una mano puede acercarse, señalar, detener, acompañar, indicar distancia o ocupar una zona del campo visual. Son señales que los humanos interpretan constantemente durante la comunicación interpersonal y que un agente podría empezar a producir de manera programática.
Una prueba todavía pequeña
Los resultados publicados por Google son preliminares. Los investigadores realizaron primero un estudio formativo con 10 especialistas para diseñar la taxonomía de gestos y posteriormente una prueba con 12 participantes que comparó AgentHands con instrucciones exclusivamente habladas.
Los participantes realizaron tareas de cuidado de una orquídea y operación de una impresora 3D. Google reportó mejoras estadísticamente significativas para localizar objetos, comprender determinadas acciones y detectar advertencias, además de una menor carga cognitiva percibida frente a la condición basada únicamente en voz. Debido al reducido número de participantes y al carácter experimental del proyecto, los resultados no permiten todavía concluir que las manos virtuales mejoren de forma general las interfaces de IA.
AgentHands tampoco es actualmente una función comercial de Gemini o de Android XR, sino un prototipo de investigación. Google señala, sin embargo, que seguirá explorando su desarrollo dentro del ecosistema Android XR y contempla personalizar los gestos según características como la mano dominante del usuario o sus rutinas espaciales.
La investigación muestra así un cambio menos evidente que la incorporación de otra modalidad de entrada o salida. Después de aprender a conversar mediante texto, interpretar imágenes y observar el entorno mediante cámaras, los agentes empiezan a adquirir también una forma de presencia dentro del espacio perceptual de las personas.
No se trata todavía de darles un cuerpo físico. La realidad extendida puede proporcionarles uno virtual. Y con él aparecen no sólo nuevas maneras de explicar cómo regar una planta o utilizar una máquina, sino una cuestión más amplia: qué ocurre cuando los agentes de IA empiezan a utilizar las mismas señales no verbales con las que las personas enseñan, advierten, persuaden y se relacionan entre sí.
