Бенчмаркинг LLM на Polymarket: сравнение прогнозов GPT-5.6 и Claude Opus 5Кратко · дайджест за 6 августа
Кратко≈ 1 мин

Бенчмаркинг LLM на Polymarket: сравнение прогнозов GPT-5.6 и Claude Opus 5

Оценка реального уровня аналитических способностей нейросетей часто упирается в несовершенство стандартных тестов. Проведение эксперимента по прогнозированию исходов реальных событий платформы Polymarket с помощью моделей GPT-5.6 и Claude Opus 5 предложило новый способ тестирования логики ИИ.

Методология и особенности эксперимента:

  • Изоляция от котировок. Модели получали только формулировки вопросов (погода, макроэкономика, даты релизов) без доступа к текущим коэффициентам и ставкам участников рынка.
  • Оценка вероятностей. Нейросети должны были выдать точечную числовую вероятность события и привести аргументированное обоснование своей позиции.
  • Сравнение результатов. Модель Claude Opus 5 показала более точную корреляцию с реальными исходами благодаря глубокому анализу контекста, тогда как GPT-5.6 опиралась на базовые статистические распределения.

Ограничение эксперимента заключается в небольшой выборке событий, что не позволяет делать однозначные выводы о превосходстве одной модели во всех аналитических задачах.

Тестирование на предиктивных рынках демонстрирует потенциал применения LLM в качестве вспомогательных аналитических инструментов для оценки рисков и сценариев.

Хочу подробный разборГолоса помогают выбрать, что разобрать подробно. За этот материал 0 голосов.
Источники · 1