NucleicBERT fue entrenado con 30 millones de secuencias de RNA y aprendió relaciones estructurales y biológicas sin recibir estructuras tridimensionales ni alineamientos evolutivos. El resultado ofrece una pista sobre cómo utilizar aprendizaje autosupervisado para encontrar regularidades científicas ocultas en grandes conjuntos de datos.
Un modelo de inteligencia artificial puede aprender algo más que a predecir correctamente una respuesta. Si se le proporciona suficiente información sin explicarle previamente las reglas que la organizan, sus representaciones internas pueden comenzar a reproducir parte de esas reglas.
Un equipo de investigadores del Forschungszentrum Jülich, Helmholtz AI y el Instituto de Tecnología de Karlsruhe desarrolló NucleicBERT, un modelo basado en transformers que fue entrenado con aproximadamente 30 millones de secuencias de RNA no codificante. Su objetivo inicial parece sencillo: ocultar algunos nucleótidos dentro de una secuencia y pedir al sistema que determine cuáles faltan.
Es una versión del mismo procedimiento con el que se entrenaron modelos de lenguaje como BERT. Una frase puede aparecer como “el gato está sobre la [MASK]” y el sistema debe utilizar el resto del contexto para inferir la palabra ausente. NucleicBERT hace algo semejante, pero las palabras son nucleótidos y las frases son secuencias de RNA.
Lo interesante aparece después. Cuando los investigadores analizaron las representaciones internas producidas por el modelo encontraron que NucleicBERT había aprendido información relacionada con la estructura y función del RNA, aunque durante su preentrenamiento sólo había observado secuencias individuales y no había recibido explícitamente estructuras tridimensionales ni información evolutiva proveniente de alineamientos de múltiples secuencias.
Los investigadores también publicaron el código de NucleicBERT en GitHub bajo licencia Apache 2.0. El repositorio incluye la implementación del modelo y configuraciones para reproducir el preentrenamiento y varias de las evaluaciones utilizadas en el trabajo, lo que permite examinar no sólo los resultados publicados sino también la metodología empleada para obtenerlos.
Aprender reconstruyendo lo que falta
Durante el entrenamiento, 15% de los elementos de cada secuencia fueron seleccionados para ser modificados. La mayor parte fue sustituida por una marca que indicaba que faltaba un nucleótido, mientras que otra fracción fue reemplazada aleatoriamente o permaneció sin cambios.
La tarea del modelo consistía en reconstruir la identidad del nucleótido original utilizando la información disponible alrededor de él. Al terminar el preentrenamiento, NucleicBERT alcanzó una precisión media de 83.1% en la reconstrucción de los elementos ocultos, muy por encima de un modelo equivalente sin entrenamiento previo. Para conseguirlo, el sistema necesitó aprender dependencias estadísticas entre distintas partes de las secuencias.
Pero predecir correctamente nucleótidos no era la pregunta científica más interesante. Los investigadores querían averiguar qué había tenido que aprender el modelo para poder hacerlo. Para ello analizaron sus espacios latentes, sus mecanismos de atención, la importancia asignada a diferentes posiciones de las secuencias y la forma en que sus predicciones cambiaban cuando determinadas partes del RNA eran alteradas. Las secuencias comenzaron a organizarse dentro de las representaciones del modelo de acuerdo con características biológicamente significativas. El sistema también mostró información relacionada con estructura secundaria, contactos entre diferentes partes de las moléculas y otras propiedades necesarias para distintas tareas posteriores.
El modelo ya sabía algo antes de recibir la pregunta
Una de las pruebas más interesantes consistió en congelar el modelo después del preentrenamiento. En lugar de permitirle continuar modificando millones de parámetros para aprender una nueva tarea, los investigadores dejaron intacta su representación interna y añadieron únicamente una pequeña capa encargada de realizar una predicción específica.
La técnica se conoce como linear probing y permite preguntar cuánto conocimiento ya existe dentro de una representación antes de entrenarla específicamente para resolver un problema. La diferencia fue considerable.
En una prueba de predicción de estructura secundaria, el modelo preentrenado y congelado consiguió una puntuación F1 de 0.581, mientras que una arquitectura equivalente inicializada aleatoriamente obtuvo apenas 0.005 bajo las mismas condiciones.
En otra prueba destinada a identificar contactos entre nucleótidos alejados dentro de una secuencia, las representaciones preentrenadas también superaron ampliamente a las generadas por el modelo sin entrenamiento previo. Esto significa que parte de la información necesaria para resolver esas tareas ya estaba contenida en la representación producida durante el aprendizaje autosupervisado, antes de que el modelo recibiera instrucciones explícitas sobre estructura de RNA.
Encontrar relaciones sin comparar millones de antepasados
Tradicionalmente, una manera importante de encontrar relaciones estructurales dentro de proteínas y RNA consiste en comparar grandes familias de secuencias relacionadas evolutivamente. Si dos posiciones tienden a cambiar juntas a lo largo de millones de años de evolución, esa correlación puede indicar que existe una relación estructural o funcional entre ellas. Este procedimiento suele requerir alineamientos de múltiples secuencias.
NucleicBERT utiliza otra estrategia. Los investigadores ocultaron una posición de una secuencia y midieron cómo afectaba esa modificación a la confianza del modelo al predecir otras posiciones. Repitiendo el procedimiento es posible estimar qué partes de la secuencia considera mutuamente dependientes.
El método consiguió recuperar una fracción de las señales que normalmente aparecen mediante análisis clásicos de coevolución, pese a que el modelo había sido entrenado únicamente con secuencias individuales y nunca recibió los alineamientos evolutivos utilizados por esas técnicas.
Los autores no sostienen que el sistema sustituya estos métodos. Las señales obtenidas permanecen por debajo de las referencias construidas explícitamente con información evolutiva. El resultado muestra algo diferente: algunas restricciones biológicas pueden quedar codificadas en las correlaciones presentes en enormes cantidades de datos sin etiquetar y pueden ser recuperadas mediante aprendizaje autosupervisado.
De predecir a preguntar qué aprendió la IA
Una parte importante del desarrollo contemporáneo de inteligencia artificial científica se ha concentrado en aumentar la precisión de las predicciones. Pero un modelo capaz de acertar no necesariamente ha descubierto una explicación científica. Puede haber aprendido correlaciones, sesgos presentes en los datos o atajos estadísticos que permiten obtener la respuesta correcta sin comprender la estructura que genera el fenómeno.
NucleicBERT apunta hacia otro tipo de pregunta. En lugar de observar únicamente si el sistema puede predecir correctamente una estructura o una función, los investigadores intentan determinar qué propiedades aparecen dentro del modelo antes de enseñarle explícitamente esas tareas.
Esta diferencia puede ser importante para el uso de IA en descubrimiento científico. En física, química o ciencia de materiales podría aplicarse una lógica semejante: ocultar variables dentro de grandes conjuntos de observaciones, entrenar un sistema para reconstruirlas y después analizar qué relaciones necesitó aprender para conseguirlo.
Si un modelo entrenado sin ecuaciones explícitas termina organizando su espacio interno de acuerdo con regímenes físicos conocidos o contiene representaciones desde las que es posible recuperar variables científicamente relevantes, esas regularidades podrían convertirse en candidatas para nuevas hipótesis.
Eso todavía no equivale a descubrir una ley. Una correlación aprendida por una red neuronal no demuestra causalidad, y las relaciones encontradas dentro de un espacio latente necesitan ser sometidas posteriormente a simulaciones, intervenciones o experimentos independientes.
Pero cambia el papel que puede desempeñar el aprendizaje automático. La pregunta deja de ser solamente “¿puede la IA predecir este fenómeno?” y se convierte en otra potencialmente más interesante: “¿Qué tuvo que aprender sobre el sistema para poder predecirlo?” NucleicBERT muestra que, al menos en el RNA, parte de la respuesta puede aparecer sin que los investigadores le entreguen previamente todas las reglas.
