Учёные из Калифорнийского университета в Сан-Диего начали применять Super Mario Bros. как новый способ оценки ИИ-моделей. Однако результаты оказались неожиданными: традиционные модели, такие как GPT-4, не справились с динамическими игровыми задачами, тогда как некоторые другие алгоритмы продемонстрировали более успешные результаты.

 Источник изображения: winfuture

Почему выбран Super Mario Bros.?

Игровая индустрия уже давно используется для испытаний искусственного интеллекта: ИИ освоил шахматы, Go, StarCraft и Pokémon. Теперь же Super Mario Bros., выпущенный Nintendo в 1985 году, выбран как тест для анализа гибкости и скорости адаптации нейросетей.

Как сообщает TechCrunch, лаборатория Hao AI Lab разработала специальную платформу GamingAgent, которая даёт ИИ возможность управлять персонажем Марио в эмулированной версии игры. Искусственные модели получали:

• изображения игрового процесса,
• базовые инструкции, например: «Если впереди преграда или враг, прыгни влево для уклонения»,
• необходимость писать код на Python, чтобы эффективно управлять персонажем.

Фактически, ИИ учился играть в платформер, принимая решения в режиме реального времени.

Какие ИИ-модели показали лучшие результаты?

Испытания выявили неожиданные закономерности:

• Claude 3.7 и Claude 3.5 от Anthropic продемонстрировали наилучший уровень адаптации.
• Google Gemini 1.5 Pro и OpenAI GPT-4 испытывали сложности с управлением и прогнозированием движений.
• Алгоритмы, основанные на логическом мышлении (reasoning models), показали худшие результаты, чем модели, работающие без пошагового анализа.

Почему ИИ испытывает сложности с платформером?

Главная проблема в том, что Super Mario Bros. требует быстрого реагирования, чего некоторые ИИ не могут обеспечить.

• Высота и дальность прыжка определяются временем нажатия кнопки, а не фиксированными алгоритмами.
• Минимальные задержки критически важны: мгновение промедления — и персонаж проигрывает уровень.
• Модели, опирающиеся на сложный анализ, тратят слишком много времени на расчёты, не успевая принимать решения вовремя.

Именно по этой причине традиционные мощные ИИ-системы, демонстрирующие выдающиеся результаты в текстовой обработке и стратегических задачах, оказались неэффективными в динамичной среде игры.

Действительно ли видеоигры подходят для тестирования ИИ?

Применение игровых тестов для проверки искусственного интеллекта остаётся дискуссионным вопросом среди специалистов. Например, Андрей Карпати, один из сооснователей OpenAI, назвал происходящее «кризисом оценки».

«Честно говоря, я не уверен, какие критерии вообще стоит учитывать. Пока что у нас нет реальных данных о том, насколько эти модели действительно хороши», — отметил он.

Таким образом, Super Mario Bros. помогает проверить ИИ на скорость реакции, адаптацию и стратегическое мышление, однако этот тест остаётся спорным и не является универсальным показателем прогресса в области искусственного интеллекта.