Публичная отставка исследователя претрейна Джейкоба Коксона, три года проработавшего в OpenAI и Anthropic, обострила спор о неконтролируемой гонке лабораторий. Коксон заявил, что ведущие компании действуют безответственно и рискуют безопасностью человечества в спешке к созданию самообучающегося сверхразума.
Тревогу усилил глава направления Alignment Science в Anthropic Эван Хьюбингер, оценивший вероятность гибели цивилизации из-за бесконтрольного ИИ в более чем 10% в ближайшие десять лет, подкрепив оценку отчетом о рисках автономного саботажа.
В ответ CEO Anthropic Дарио Амодеи опубликовал эссе «We Must Pace the Frontier», предложив план из трех шагов:
- Синхронное замедление темпов обучения frontier-моделей между ведущими лабораториями;
- Обязательный внешний аудит безопасности до запуска масштабных обучающих прогонов;
- Публичные юридически обязывающие протоколы аварийного отключения систем при выявлении признаков саботажа.
Дебаты об экзистенциальных угрозах перешли из теоретических споров в плоскость кадровых решений ключевых исследователей отрасли.
