Оценка реального уровня аналитических способностей нейросетей часто упирается в несовершенство стандартных тестов. Проведение эксперимента по прогнозированию исходов реальных событий платформы Polymarket с помощью моделей GPT-5.6 и Claude Opus 5 предложило новый способ тестирования логики ИИ.
Методология и особенности эксперимента:
- Изоляция от котировок. Модели получали только формулировки вопросов (погода, макроэкономика, даты релизов) без доступа к текущим коэффициентам и ставкам участников рынка.
- Оценка вероятностей. Нейросети должны были выдать точечную числовую вероятность события и привести аргументированное обоснование своей позиции.
- Сравнение результатов. Модель Claude Opus 5 показала более точную корреляцию с реальными исходами благодаря глубокому анализу контекста, тогда как GPT-5.6 опиралась на базовые статистические распределения.
Ограничение эксперимента заключается в небольшой выборке событий, что не позволяет делать однозначные выводы о превосходстве одной модели во всех аналитических задачах.
Тестирование на предиктивных рынках демонстрирует потенциал применения LLM в качестве вспомогательных аналитических инструментов для оценки рисков и сценариев.
