Агенты путают проблему с решением

XYEval проверил, как AI-агенты ведут себя при XY-проблеме, и в тестах просели до 46,7%. Фреймворк можно наложить на существующий бенчмарк, а запускать оценку на пяти моделях и шести наборах задач.

Одна системная инструкция помогает лишь частично, поэтому агентам всё ещё нужно уметь распознавать сбивающий совет и объяснять, почему нужен другой путь.

https://arxiv.org/abs/2609.23939