Si sigues de cerca la evolución de los grandes modelos de lenguaje, recordarás la revolución que supuso en su momento pasar de unos modestos 8k tokens a ventanas de 128k y 200k en GPT-4o y Claude 3.5 Sonnet. Parecía que se había tocado el techo de aplicabilidad práctica: Google Gemini 1.5 Pro subió el listón hasta 2 millones de tokens, pero tras esa marca la industria se tomó una larga pausa. La razón es trivial: el crecimiento cuadrático de la complejidad computacional de la atención y la degradación catastrófica de la memoria al escalar los transformers clásicos.
Pero el silencio duró poco. La startup de investigación Mirendil, fundada por exintegrantes de los principales laboratorios mundiales —Anthropic, Google DeepMind, OpenAI y xAI—, lanzó de golpe su primer modelo insignia Fern 0.1. Su rasgo diferencial suena casi a ciencia ficción: una ventana de contexto de 10 millones de tokens.
Para dimensionar esta escala a nivel físico: 10 millones de tokens equivalen aproximadamente a 23 megabytes de archivo de texto sin comprimir. En ese volumen caben enteros 500,000 líneas de código fuente (un monorrepositorio corporativo completo con todos sus microservicios) o el registro continuo de trabajo de agentes autónomos durante varios meses. Veamos cómo lograron los ingenieros romper esa barrera, qué muestran los benchmarks rigurosos y por qué un contexto gigantesco no deroga las leyes de las matemáticas.
Arquitectura Mirendil-Base: 10 millones de tokens sin parches RoPE
En la industria, el truco estándar para estirar el contexto ha sido desde hace tiempo la interpolación de embeddings posicionales: métodos como RoPE scaling (YaRN, LongRoPE). Se entrena el modelo con secuencias cortas (por ejemplo, 8k o 32k) y luego se «estiran» artificialmente los ángulos de rotación de los vectores de posición. Pero nadie da duros a cuatro pesetas: al multiplicar muchas veces la longitud base, la atención se diluye, la precisión al extraer detalles cae y el modelo empieza a confundir el orden cronológico de los hechos.
El equipo de Mirendil tomó un camino radicalmente distinto. El modelo Fern 0.1 es un checkpoint de postentrenamiento de la arquitectura base Mirendil-Base (escala de entre 100 y 500 mil millones de parámetros). La decisión clave de ingeniería fue prescindir de muletas secundarias: la arquitectura se diseñó y entrenó desde el primer día sobre secuencias ultralargas. La atención se calibró para no perder la varianza de los estados ocultos al recorrer millones de posiciones.
No menos llamativo es el propio proceso de preparación del modelo. Los portavoces de Mirendil declararon que el preentrenamiento duró apenas 3.5 meses y que el presupuesto total de cómputo se mantuvo dentro de los $10 millones. Al frente del proyecto estuvo un único investigador principal, que coordinó una red de agentes de IA especializados: más del 99% del código de entrenamiento y de los pipelines de filtrado de datos sintéticos fue escrito por sistemas autónomos.
Benchmark RULER: búsqueda perfecta de hechos y tropiezo en razonamientos complejos
Anunciar 10 millones de tokens es fácil; mucho más difícil es demostrar que el modelo recuerda de verdad el contenido de la mitad del texto y no sufre el clásico mal de «perderse en el medio» (Lost in the Middle). Para validar la arquitectura, Fern 0.1 pasó por el conjunto estandarizado de pruebas RULER (un benchmark sintético de evaluación de contexto ultralargo creado por investigadores de NVIDIA).
Los resultados se dividieron en dos extremos opuestos:
- Búsqueda de «una aguja en un pajar» (Needle In A Haystack): En las pruebas de localización de un hecho aislado (Single-Needle) y de etiquetas distribuidas (All-Needles Retrieval), Fern 0.1 logró un 100% de precisión en toda la profundidad hasta los 10 millones de tokens. El modelo se comporta como un buscador semántico perfecto: una variable de configuración o un número de pasaporte escondidos entre millones de líneas se extraen sin un solo fallo con independencia de su posición en el texto.
- Razonamiento lógico multipaso (Multi-Hop Question Answering): Pero en cuanto la tarea se complicó, la ilusión de omnipotencia absoluta se disipó. Si para responder a una pregunta el modelo necesita no solo copiar un dato, sino localizar tres evidencias indirectas en distintas partes de un documento de 20 megabytes, cruzarlas y extraer una conclusión lógica, la precisión de Fern 0.1 cae al 45–51%. El modelo «ve» con nitidez cada árbol por separado, pero pierde las interconexiones del bosque entero.
En pruebas de escritura y corrección de código, el modelo también obtuvo resultados sólidos: en el benchmark estandarizado SWE-Bench Verified alcanzó un 73.4%, y en la exigente prueba DeepSWE un 44.2%. Es nivel de frontera sólida, aunque en piruetas arquitectónicas atípicas sigue por detrás de redes especializadas en razonamiento. Sobre cómo el panorama de los modelos abiertos se transforma bajo la presión de volúmenes gigantescos de cómputo hablamos en detalle en el estudio sobre 100 billones de tokens de inferencia.
Paradigma RAG-less: dónde cambian las reglas del juego los 10 millones de tokens
Poder cargar 10 millones de tokens en una sola petición pone en entredicho el stack habitual de sistemas corporativos RAG (Retrieval-Augmented Generation). El pipeline tradicional de RAG siempre fue una construcción frágil:
- Hay que trocear los documentos en chunks de tamaño fijo;
- Los fragmentos de texto se pasan por un modelo de embeddings;
- Los vectores se guardan en una base de datos (Pinecone, Qdrant, Milvus);
- Al buscar, el algoritmo de los k vecinos más cercanos selecciona los 5 mejores fragmentos, perdiendo a menudo contexto valioso de la página contigua.
Con una ventana de 10M tokens, la necesidad de troceado vectorial desaparece para la mayoría de tareas locales. Llega la era RAG-less:
- Auditoría integral de un monorrepositorio. Le pasas al modelo todo el archivo de código del proyecto de golpe. El agente es capaz de analizar cómo afectará el cambio de firma de una función base del núcleo al comportamiento de tres decenas de microservicios. Una capacidad similar para sesiones autónomas largas ya la observamos al analizar el supermodelo Qwen 3.8 Max.
- Análisis de cientos de informes financieros. Los analistas bancarios pueden cargar informes trimestrales, transcripciones de llamadas con inversores y auditorías de los últimos 10 años, solicitando la evolución transversal del endeudamiento sin riesgo de perder notas al pie.
- Contexto continuo de sesiones agénticas. Los agentes de IA pueden conservar en memoria de trabajo todo el historial de ejecuciones, volcados de terminal y tests de semanas enteras sin recurrir a compresión ni olvido de pasos intermedios.
Realidad del hardware y economía de la inferencia
Pero el triunfo ingenieril se paga con recursos de hardware. El contexto ultralargo deja al desnudo una economía implacable:
- Latencia hasta el primer token (Time To First Token, TTFT). La fase de llenado previo de caché (prefill) para 10 millones de tokens exige multiplicar matrices colosales. Incluso en un clúster de aceleradores modernos, procesar un prompt así antes de generar la primera palabra puede tardar desde decenas de segundos hasta minuto y medio. Aquí no cabe hablar de conversación interactiva en tiempo real.
- Coste de una sola petición. Pasar 10 millones de tokens por un modelo de cientos de miles de millones de parámetros en una nube comercial puede costar decenas de dólares por una única llamada. Esto descarta escenarios de chatbots domésticos y restringe su uso al sector corporativo de alto margen.
- Estado de acceso anticipado. En el momento del lanzamiento, los pesos del modelo no se han publicado en abierto. Mirendil ofrece acceso a la API mediante un formulario de acceso anticipado (Early Access) en
mirendil.com, principalmente para institutos de investigación y socios corporativos.
Fern 0.1 demuestra con claridad que los 10 millones de tokens ya no son un concepto teórico, sino una realidad operativa. Pero los desarrolladores tendrán que aprender lo esencial: distinguir entre la extracción ciega de datos de un contexto gigantesco y la capacidad de comprender de verdad lo leído.

