Если ты внимательно следишь за эволюцией больших языковых моделей, то помнишь, какой революцией когда-то казался переход от скромных 8k токенов к окнам в 128k и 200k у GPT-4o и Claude 3.5 Sonnet. Казалось, что потолок практической применимости нащупан: Google Gemini 1.5 Pro поднял планку до 2 миллионов токенов, но за этим рубежом индустрия надолго взяла паузу. Причина банальна — квадратичный рост вычислительной сложности внимания и катастрофическая деградация памяти при масштабировании классических трансформеров.
Но тишина длилась недолго. Исследовательский стартап Mirendil, основанный выходцами из ведущих мировых лабораторий — Anthropic, Google DeepMind, OpenAI и xAI, — с ходу выкатил свою первую флагманскую модель Fern 0.1. Ее главное отличие звучит почти фантастически: контекстное окно размером в 10 миллионов токенов.
Чтобы осознать этот масштаб на физическом уровне: 10 миллионов токенов — это примерно 23 мегабайта нежатого текстового файла. В такой объем целиком помещается 500 000 строк исходного кода (полноценный корпоративный монорепозиторий со всеми микросервисами) или непрерывный лог работы автономных агентов за несколько месяцев. Давай разберем, как инженерам удалось пробить этот барьер, что показывают строгие бенчмарки и почему гигантский контекст вовсе не отменяет законов математики.
Архитектура Mirendil-Base: 10 миллионов токенов без RoPE-костылей
В индустрии стандартным трюком для растягивания контекста давно стала интерполяция позиционных эмбеддингов — методы вроде RoPE scaling (YaRN, LongRoPE). Модель обучают на коротких последовательностях (например, 8k или 32k), а затем искусственно «растягивают» углы вращения векторов позиций. Но бесплатный сыр бывает только в мышеловке: при многократном превышении базовой длины внимание размывается, точность извлечения деталей падает, а модель начинает путать порядок хронологических событий.
Команда Mirendil пошла по принципиально иному пути. Модель Fern 0.1 представляет собой чекпоинт пост-тренировки базовой архитектуры Mirendil-Base (масштаб от 100 до 500 миллиардов параметров). Главное инженерное решение заключалось в отказе от вторичных костылей: архитектура с первого дня проектировалась и обучалась на сверхдлинных последовательностях. Внимание калибровалось так, чтобы не терять дисперсию скрытых состояний при прохождении миллионов позиций.
Не менее примечателен и сам процесс подготовки модели. Представители Mirendil заявили, что предварительное обучение заняло всего 3.5 месяца, а суммарный бюджет на вычисления уложился в $10 миллионов. При этом проектом руководил всего один ведущий исследователь, который координировал сеть специализированных ИИ-агентов: более 99% тренировочного кода и конвейеров фильтрации синтетических данных были написаны автономными системами.
Бенчмарк RULER: идеальный поиск фактов и провал сложных рассуждений
Заявить о 10 миллионах токенов легко — гораздо сложнее доказать, что модель действительно помнит содержимое середины текста, а не страдает классической болезнью «потери в середине» (Lost in the Middle). Для валидации архитектуры Fern 0.1 прогнали через стандартизированный тестовый набор RULER (синтетический бенчмарк оценки сверхдлинного контекста от исследователей NVIDIA).
Результаты разделились на две полярные картины:
- Поиск «иглы в стоге сена» (Needle In A Haystack): В тестах на нахождение одиночного факта (Single-Needle) и распределенных меток (All-Needles Retrieval) Fern 0.1 показала 100% точность на всей глубине вплоть до 10 миллионов токенов. Модель ведет себя как идеальный семантический поисковик: спрятанная среди миллионов строк конфигурационная переменная или номер паспорта извлекаются без единого сбоя независимо от положения в тексте.
- Многошаговое логическое рассуждение (Multi-Hop Question Answering): Но как только задачу усложнили, иллюзия абсолютного всемогущества рассеялась. Если для ответа на вопрос модели требуется не просто скопировать факт, а найти три косвенных свидетельства в разных частях 20-мегабайтного документа, сопоставить их и сделать логический вывод, точность Fern 0.1 падает до 45–51%. Модель безупречно «видит» отдельные деревья, но теряет взаимосвязи огромного леса.
В тестах на написание и исправление программного кода модель также показала достойные результаты: на стандартизированном бенчмарке SWE-Bench Verified показатель составил 73.4%, а на сложном испытании DeepSWE — 44.2%. Это уровень крепкого фронтира, хотя в нестандартных архитектурных кульбитах модель пока уступает специализированным рассуждающим сетям. О том, как ландшафт открытых моделей трансформируется под давлением гигантских объемов вычислений, мы подробно говорили в исследовании 100 триллионов токенов инференса.
Парадигма RAG-less: где 10 миллионов токенов меняют правила игры
Возможность загрузить 10 миллионов токенов за один запрос ставит под сомнение привычный стек корпоративных RAG-систем (Retrieval-Augmented Generation). Традиционный конвейер RAG всегда был хрупкой конструкцией:
- Документы нужно нарезать на чанки фиксированного размера;
- Текстовые куски прогоняются через модель эмбеддингов;
- Векторы сохраняются в базу данных (Pinecone, Qdrant, Milvus);
- При поиске алгоритм k-ближайших соседей отбирает топ-5 фрагментов, часто упуская важный контекст соседней страницы.
С окном в 10M токенов необходимость в векторной нарезке для большинства локальных задач просто отпадает. Наступает эра RAG-less:
- Сквозной аудит монорепозитория. Ты скармливаешь модели весь кодовый архив проекта целиком. Агент способен проанализировать, как изменение сигнатуры одной базовой функции в ядре отразится на поведении трех десятков микросервисов. Подобную способность к длинным автономным сессиям мы уже наблюдали при анализе возможностей супермодели Qwen 3.8 Max.
- Анализ сотен финансовых отчетов. Банковские аналитики могут загрузить квартальную отчетность, стенограммы созвонов с инвесторами и аудит за последние 10 лет, запросив сквозную динамику долговой нагрузки без риска потери сносок.
- Непрерывный контекст агентных сессий. ИИ-агенты могут хранить в рабочей памяти всю историю запусков, дампы терминалов и тестов за недели работы, не прибегая к сжатию и забыванию промежуточных шагов.
Аппаратная реальность и экономика инференса
Но за инженерный триумф приходится платить аппаратными ресурсами. Сверхдлинный контекст обнажает суровую экономику:
- Задержка до первого токена (Time To First Token, TTFT). Фаза предварительного заполнения кэша (prefill) для 10 миллионов токенов требует перемножения колоссальных матриц. Даже на кластере современных ускорителей обработка такого промпта до генерации первого слова может занимать от десятков секунд до полутора минут. Ни о каком интерактивном общении в реальном времени здесь речи не идет.
- Стоимость единичного запроса. Прогон 10 миллионов токенов через модель класса сотен миллиардов параметров в коммерческом облаке может стоить десятки долларов за один вызов. Это исключает сценарии бытовых чат-ботов и ограничивает применение высокомаржинальным корпоративным сектором.
- Статус раннего доступа. На момент релиза веса модели не опубликованы в открытом доступе. Mirendil предоставляет подключение к API через форму раннего доступа (Early Access) на сайте mirendil.com преимущественно для исследовательских институтов и корпоративных партнеров.
Fern 0.1 наглядно демонстрирует, что 10 миллионов токенов — это уже не теоретический концепт, а работающая реальность. Но разработчикам предстоит научиться главному: отличать слепое извлечение фактов из гигантского контекста от способности по-настоящему понимать прочитанное.