El nuevo benchmark evalúa si los agentes de IA pueden analizar datos biológicos complejos, detectar ruido, corregir supuestos y llegar a conclusiones útiles para investigación biomédica.
OpenAI presentó GeneBench-Pro, un nuevo benchmark de investigación diseñado para medir una de las capacidades más difíciles de evaluar en los modelos de inteligencia artificial: si pueden tomar buenas decisiones analíticas frente a datos científicos incompletos, ambiguos o con errores.
La prueba está enfocada en biología computacional, un campo donde los datos rara vez llegan limpios o acompañados de instrucciones claras. En la práctica, los investigadores deben decidir si una señal refleja un fenómeno biológico real o solo ruido, si los datos disponibles sostienen la pregunta planteada y cuándo un resultado puede considerarse suficientemente sólido para orientar una decisión posterior.
De acuerdo con OpenAI, GeneBench-Pro busca medir precisamente ese tipo de juicio. La empresa lo describe como una evaluación de nivel investigación para probar si los agentes de IA pueden navegar la ambigüedad y hacer análisis con consecuencias en áreas como genómica, biología cuantitativa y medicina traslacional.
A diferencia de otros benchmarks que evalúan si un modelo recuerda información o ejecuta una tarea predefinida, GeneBench-Pro intenta medir lo que OpenAI llama “research taste”, es decir, la cadena de decisiones que permite a una persona experta definir qué preguntas pueden responder los datos, qué métodos conviene usar, cuándo cambiar de estrategia y cuándo una conclusión está lista para ser utilizada.
El benchmark incluye 129 preguntas distribuidas en 10 dominios y 21 subdominios de biología computacional. Entre ellos se encuentran genética estadística, genética poblacional, genética cuantitativa, ómica regulatoria, genómica funcional, proteómica, farmacogenómica, diagnóstico clínico, genómica del cáncer, genómica microbiana y genética forense.
Cada problema funciona como un pequeño caso de investigación. El agente recibe un contexto experimental breve, archivos de datos y acceso a un entorno aislado con herramientas de análisis, bibliotecas científicas de Python y paquetes básicos de genómica como PLINK 2.0. Para responder correctamente, no basta con aplicar una receta: el modelo debe explorar los datos, elegir el método adecuado, revisar supuestos, hacer control de calidad y entregar una respuesta final.
OpenAI señala que los problemas fueron construidos de forma sintética para evitar algunas fallas comunes de los benchmarks científicos. Al controlar el proceso completo de generación de datos, la empresa puede conocer la estructura causal detrás de cada caso, ajustar la dificultad y verificar que una respuesta correcta dependa de elegir una ruta analítica adecuada, no de explotar atajos o preferencias arbitrarias del autor.
Además, 82 de las 129 preguntas fueron enviadas a expertos externos, incluidos estudiantes de posgrado, investigadores posdoctorales, científicos de la industria y profesores, para revisar si los problemas eran realistas, si las respuestas objetivo eran identificables y si los métodos esperados eran apropiados.
Los resultados muestran avances, pero también límites importantes. Según OpenAI, GPT-5.6 Sol alcanzó una tasa de aprobación de 28.7% en el nivel más alto de razonamiento, y de 31.5% con el modo Pro activado. La compañía compara ese resultado con el desempeño de GPT-5 al inicio del desarrollo de GeneBench, cuando su mejor modelo de frontera obtenía menos de 5%.
Sin embargo, OpenAI reconoce que los agentes actuales todavía son demasiado poco confiables para reemplazar a expertos humanos. El dato más importante quizá no es que los modelos ya resuelvan una parte de estos casos, sino que incluso los mejores sistemas todavía fallan en más de dos tercios de los problemas.
Para la empresa, el valor potencial está en la asistencia parcial. Los revisores estimaron que un problema típico de GeneBench-Pro podría tomar entre 20 y 40 horas de trabajo a una persona experta. En contraste, OpenAI afirma que el costo de inferencia por problema puede ubicarse en apenas algunos dólares, lo que abre la puerta a usar estos sistemas como apoyo para acelerar análisis, priorizar hipótesis o revisar rutas de investigación.
El anuncio también forma parte de una estrategia más amplia de OpenAI para entrar en investigación biomédica y ciencias de la vida. A principios de junio, la empresa presentó nuevas capacidades para GPT-Rosalind, su modelo especializado en ciencias de la vida, y señaló que esa línea combina razonamiento científico, análisis de datos, uso de herramientas y flujos de trabajo aplicados a descubrimiento de fármacos, genómica y biología cuantitativa.
OpenAI abrirá 10 preguntas representativas de GeneBench-Pro en Hugging Face y anunció que entregará un subconjunto de 50 preguntas a Artificial Analysis para una evaluación independiente en el futuro cercano.
Más que medir si una IA “sabe biología”, GeneBench-Pro intenta responder una pregunta más complicada: si un agente puede comportarse como un colaborador científico prudente, capaz de detectar problemas en los datos, corregir el rumbo y entender cuándo una conclusión todavía no es suficientemente confiable. En ese punto, el propio benchmark deja ver tanto el avance como la advertencia: la IA empieza a acercarse al trabajo científico real, pero todavía no domina la parte más humana del laboratorio, que es saber dudar a tiempo.
