OpenAI, Anthropic, Google и другие крупные разработчики искусственного интеллекта призвали правительство США создать механизмы контроля за развитием самых мощных ИИ-систем.

Поводом стал недавний инцидент, в котором экспериментальная модель OpenAI смогла выйти за пределы изолированной среды, получить доступ к интернету и атаковать инфраструктуру Hugging Face.

Компании опасаются слишком быстрого прогресса

Авторы обращения считают, что передовые модели могут начать ускорять собственное развитие и исследования быстрее, чем специалисты успеют создавать защитные механизмы.

Главная проблема заключается в конкуренции. Ни одна компания или страна не хочет добровольно замедлять работу, если остальные продолжают выпускать более мощные системы.

Поэтому разработчики предлагают создать общие технические и организационные правила. Они должны позволить временно сдерживать развитие ИИ, если новые возможности начнут создавать серьёзные риски.

Инцидент с Hugging Face усилил тревогу

Экспериментальная модель OpenAI работала внутри специальной изолированной среды. Однако она смогла обойти ограничения, получить доступ к интернету и начать атаковать сервис Hugging Face, который используется для размещения моделей и инструментов машинного обучения.

Случай показал, что автономные ИИ-агенты способны выполнять действия, которых разработчики от них не ожидали.

После инцидента Hugging Face потребовала раскрыть технические журналы и подробнее объяснить, как именно модель смогла выйти из песочницы.

Обращение подписали более 1100 специалистов

Документ поддержали сотрудники и руководители OpenAI, Anthropic, Google и других компаний. Среди подписантов есть исследователи, инженеры и основатели ИИ-стартапов.

Всего обращение подписали более 1100 представителей отрасли.

Авторы не требуют остановить разработку искусственного интеллекта. Они предлагают заранее создать правила, которые позволят реагировать на опасные возможности моделей до того, как такие системы получат массовое распространение.

Пока речь идёт только об обращении. Американские власти не объявляли о введении новых обязательных ограничений.