Если ты следишь за архитектурой больших языковых моделей, то знаешь главную ахиллесову пяту современных нейросетей. Все наши любимые гиганты — GPT, Claude, Llama, Gemini — построены на одной и той же архитектуре Transformer, придуманной в Google еще в 2017 году. И у этой архитектуры есть врожденное родовое проклятие: механизм самовнимания (Self-Attention) обладает квадратичной вычислительной сложностью, а объем памяти под так называемый KV-кэш растет линейно с каждым новым токеном.
Попробуй скормить трансформеру книгу на двести страниц или длинный аудиофайл. Даже компактная 8-миллиардная модель на таком контексте моментально сожрет всю видеопамять серверной карты, не говоря уже о смартфонах или ноутбуках.
Стартап Liquid AI, созданный исследователями из легендарной лаборатории MIT CSAIL, решил пойти наперекор мейнстриму. Они много лет развивали концепцию жидких нейросетей (Liquid Neural Networks, LNN), основанных на дифференциальных уравнениях и динамических адаптивных системах. И вот команда представила семейство моделей третьего поколения — Liquid Foundation Models 3 (LFM 3). Это полноценная мультимодальная линейка, которая доказывает: в 2026 году жизнь без трансформеров не просто возможна, она гораздо экономнее.
Три-гибридная архитектура: почему KV-кэш похудел на 73%
Главное инженерное чудо LFM 3 кроется в отказе от однородных слоев внимания. В стандартном трансформере все слои одинаковы: каждый токен внимательно смотрит на все предыдущие токены. Это красиво в теории, но катастрофически расточительно на практике.
Базовая модель LFM3-1.7B-Base (обученная на массиве в 22 триллиона токенов) насчитывает 24 слоя, которые разбиты на три принципиально разных функциональных типа:
- 13 коротких сверточных слоев с гейтами (Gated Short Convolution). Размер ядра свертки равен 7. Эти слои отвечают за локальную агрегацию текста и обладают фундаментальным преимуществом: их объем памяти строго фиксирован и абсолютно не зависит от длины входного документа!
- 5 слоев скользящего окна внимания (Sliding-Window Attention, SWA). Они удерживают узкое окно внимания ровно в 256 токенов, отвечая за связность соседних фраз.
- 6 слоев глобального внимания (Global Attention). Только четверть слоев модели задействует полноценное дальнее внимание с частичным кодированием RoPE и сэндвич-нормализацией.
Результат этого гибридного компромисса потрясает: объем памяти под KV-кэш сократился до 27% от показателей классического трансформера! Модель свободно держит гигантский контекст в 256 000 токенов, требуя в четыре раза меньше драгоценной памяти.
Семейство LFM 3: от текста и зрения до сквозного звука
Разработчики не стали ограничиваться одной моделью, а сразу представили законченную экосистему компактных решений класса 2B параметров:
LFM3-1.7B(Text). Текстовый агент, специально натренированный на вызовы функций (function calling) и генерацию валидного JSON. В 4-битном квантовании эта модель требует всего около 1 ГБ оперативной памяти. Ее можно запустить на умных часах, дешевом одноплатнике Raspberry Pi или бортовом компьютере дрона.LFM3-VL-2B(Vision-Language). Мультимодальная модель с весом 1.92B параметров. Умеет читать текст, анализировать изображения и обрабатывать видеопоток с частотой 2 кадра в секунду при контексте в 128K токенов.LFM3-Audio-2B. Сквозная звуковая модель с поддержкой 18 языков, распознающая речь и вызывающая инструменты без промежуточного преобразования в текст.LFM3-Omni-2B. Флагман линейки, напрямую связывающий видео и звук в речь без задержек, свойственных традиционным каскадам ASR-LLM-TTS.d1-2Bиd1-Omni-2B. Ультрабыстрые классификаторы и роутеры, способные принимать решение о маршрутизации запроса за один-единственный прямой проход (single forward pass).
Веса моделей выложены на Hugging Face под либеральной лицензией LFM Open License v1.0, разрешающей бесплатное коммерческое использование компаниям с выручкой до $10 млн в год.
Революция Edge AI: почему это важно для каждого разработчика
Мы привыкли, что любая умная функция в приложении требует постоянного обращения к облачным серверам OpenAI или Google. Но передача данных в облако — это задержки сети, риск перехвата трафика и постоянные ежемесячные счета за API.
Компактные модели класса LFM 3 открывают дорогу настоящему периферийному ИИ (Edge AI). Представь носимую камеру для слабовидящих или голосового ассистента в автомобиле, который мгновенно понимает команды без интернета в глухом лесу. За счет 256K токенов контекста модель может держать в памяти историю поездок за неделю или инструкцию по эксплуатации сложного станка, не вылетая за пределы скромного чипа.
А для серверных инфраструктур переход на три-гибридную архитектуру позволяет в 3–4 раза увеличить плотность обслуживаемых запросов (concurrency) на тех же серверах с видеокартами.
Границы применимости: в чем подвох компактных весов
Конечно, законы сохранения информации никто не отменял. Вес в 1.7 миллиарда параметров физически не может вместить в себя всю «Википедию» и подробности квантовой физики. Если ты попросишь LFM3 написать подробное эссе по истории средневековой философии, модель неизбежно начнет путать факты.
Сила LFM 3 — не в энциклопедических знаниях, а в безупречной логике исполнения команд над предоставленным контекстом. Это идеальный движок для локального RAG, классификации данных, фильтрации системных логов и управления устройствами умного дома.
Кроме того, кастомные ядра свертки требуют использования свежих версий библиотек инференса или передачи параметра trust_remote_code=True. Но это скромная плата за возможность упаковать мощный мультимодальный интеллект в микросхему размером с почтовую марку.