Кризис безопасности frontier-моделей: отставка Джейкоба Коксона, оценка риска в 10% и трехэтапный план Дарио АмодеиКратко · дайджест за 15 сентября
Кратко≈ 1 мин

Кризис безопасности frontier-моделей: отставка Джейкоба Коксона, оценка риска в 10% и трехэтапный план Дарио Амодеи

Публичная отставка исследователя претрейна Джейкоба Коксона, три года проработавшего в OpenAI и Anthropic, обострила спор о неконтролируемой гонке лабораторий. Коксон заявил, что ведущие компании действуют безответственно и рискуют безопасностью человечества в спешке к созданию самообучающегося сверхразума.

Тревогу усилил глава направления Alignment Science в Anthropic Эван Хьюбингер, оценивший вероятность гибели цивилизации из-за бесконтрольного ИИ в более чем 10% в ближайшие десять лет, подкрепив оценку отчетом о рисках автономного саботажа.

В ответ CEO Anthropic Дарио Амодеи опубликовал эссе «We Must Pace the Frontier», предложив план из трех шагов:

  1. Синхронное замедление темпов обучения frontier-моделей между ведущими лабораториями;
  2. Обязательный внешний аудит безопасности до запуска масштабных обучающих прогонов;
  3. Публичные юридически обязывающие протоколы аварийного отключения систем при выявлении признаков саботажа.

Дебаты об экзистенциальных угрозах перешли из теоретических споров в плоскость кадровых решений ключевых исследователей отрасли.

Хочу подробный разборГолоса помогают выбрать, что разобрать подробно. За этот материал 0 голосов.
Источники · 2