Thinking Machines Lab presentó este jueves Inkling-Small, un modelo de pesos abiertos que alcanza un rendimiento comparable al de Inkling con una cuarta parte de su tamaño. El lanzamiento se suma a la familia de modelos de la compañía fundada por Mira Murati.
Según la ficha técnica publicada por la empresa, Inkling-Small es un transformer de Mixture-of-Experts con 276 mil millones de parámetros totales y 12 mil millones activos, entrenado en sistemas NVIDIA GB300 NVL72. El modelo mantiene razonamiento nativo sobre audio e imágenes, esfuerzo de pensamiento variable y una ventana de contexto de hasta un millón de tokens, características que replican el diseño de Inkling, el modelo insignia de la firma.
La compañía explicó que Inkling-Small comenzó su entrenamiento después de su contraparte mayor, lo que permitió ajustes en la mezcla de datos de preentrenamiento y en la receta de aprendizaje automático. Parte del proceso incluyó posentrenar un punto de control anterior, Inkling-Small (preview), mediante destilación «on-policy» usando a Inkling como modelo maestro, seguido de dos semanas adicionales de aprendizaje por refuerzo enfocado en codificación agéntica.
Como resultado, Inkling-Small superó a Inkling en pruebas de razonamiento y codificación agéntica, aunque Inkling conserva ventaja en cobertura de conocimiento y factualidad. En Humanity’s Last Exam (solo texto), Inkling-Small obtuvo 31.6%, por encima del 29.7% de Inkling, y superó el 80% en SWEBench Verified.
En el terreno multimodal, la empresa indicó que mejoró la capacidad del modelo para usar Python en tareas visuales, combinando razonamiento visual con operaciones de recorte y acercamiento de imagen para mejorar la lectura de documentos y gráficas con información pequeña o difícil de distinguir.
En materia de seguridad, Thinking Machines señaló que Inkling-Small heredó la misma receta de posentrenamiento de seguridad que Inkling, con salvaguardas frente a solicitudes dañinas y capacidades de doble uso, además de haber pasado por el mismo proceso de pruebas previas al despliegue, que incluye evaluaciones internas y red-teaming de socios externos.
La empresa liberó los pesos completos del modelo en Hugging Face y lo puso disponible para fine-tuning en Tinker, su plataforma de entrenamiento, así como para chat de texto, imagen y audio en Tinker Playground con un descuento por tiempo limitado.
