Яндекс выложил в открытый доступ модель Alice AI 80B с архитектурой MoEКратко · дайджест за 30 сентября
Кратко≈ 3 мин

Яндекс выложил в открытый доступ модель Alice AI 80B с архитектурой MoE

Обучить огромную нейросеть — половина дела; главная проблема начинается, когда ее нужно запустить на реальных серверах. Плотные модели на десятки миллиардов параметров требуют колоссальных вычислительных мощностей и гигабайт видеопамяти на каждое сгенерированное слово. Это похоже на то, как если бы для решения простой арифметической задачи вам пришлось созывать совет директоров крупного банка в полном составе.

Яндекс опубликовал в открытом доступе на Hugging Face фундаментальную модель yandex/AliceAI-Foundation-80B-A3B-Base под свободной коммерческой лицензией Apache 2.0. Модель обучена с нуля и использует разреженную архитектуру смеси экспертов (Sparse Mixture-of-Experts, MoE). При общем впечатляющем объеме в 80 миллиардов параметров для генерации каждого конкретного токена активируется лишь специализированная подсеть объемом 3 миллиарда параметров (A3B). Это дает эрудицию тяжелой системы при скорости и стоимости инференса компактной нейросети.

Модель поддерживает гигантское контекстное окно в 262 144 токена (~200 000 слов), позволяя загружать в память целые кодовые базы и архивы документов. Для оценки фактологической точности Яндекс представил два открытых бенчмарка: WikiWebFacts и HardMultiQA.

Ниже показан пример конфигурации 4-битного квантования и инициализации модели в библиотеке Hugging Face Transformers с поддержкой длинного контекста:

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig

model_id = "yandex/AliceAI-Foundation-80B-A3B-Base"

# Этап 1: Настройка 4-битного квантования NF4 для экономии видеопамяти
quant_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_compute_dtype=torch.bfloat16,
    bnb_4bit_use_double_quant=True
)

tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    quantization_config=quant_config,
    device_map="auto",
    torch_dtype=torch.bfloat16,
    trust_remote_code=True,
    attn_implementation="flash_attention_2"
)

Второй этап демонстрирует запуск инференса на длинном контекстном окне для анализа технической документации:

# Этап 2: Генерация аналитического ответа на длинном контексте
prompt = "Проанализируйте архитектурный лог микросервисов и укажите уязвимые узлы:\n" + ("Транзакция 200 OK\n" * 400)
inputs = tokenizer(prompt, return_tensors="pt", truncation=True, max_length=262144).to("cuda")

with torch.no_grad():
    output_tokens = model.generate(
        **inputs,
        max_new_tokens=512,
        temperature=0.2,
        pad_token_id=tokenizer.eos_token_id
    )

print(tokenizer.decode(output_tokens[0][inputs.input_ids.shape[1]:], skip_special_tokens=True))

Открытые веса базовой модели дают российским разработчикам независимую основу для корпоративного дообучения (SFT/LoRA) в закрытых контурах без риска передачи конфиденциальных данных во внешние облака.

Хочу подробный разборГолоса помогают выбрать, что разобрать подробно. За этот материал 0 голосов.
Источники · 2