Новая переводческая оболочка ChatGPT, которую OpenAI позиционирует как удобную альтернативу классическим сервисам перевода, столкнулась с неприятной проверкой реальностью. Исследователи по безопасности показали: если в исходный текст аккуратно встроить скрытую инструкцию, инструмент может «забыть», что он вообще-то должен переводить, и начать выполнять посторонние команды.

Механика атаки здесь не про сложные эксплойты и не про взлом серверов. Речь о типичном для ИИ-систем приёме: модель видит входной текст, воспринимает его как набор указаний и иногда отдаёт приоритет тем фразам, которые выглядят как «правила поведения». В итоге вместо перевода получается выполнение запроса, причём в том числе такого, который в обычном режиме должен быть заблокирован фильтрами безопасности.

Особенно неприятно, что демонстрация сработала быстро и без «магии». Исследователи не подбирали десятки вариантов и не строили многоступенчатые цепочки — им хватило простой формулировки с требованием игнорировать роль переводчика. В результате инструмент выдавал нежелательный контент, который типичная версия ChatGPT в более строгом режиме, по наблюдениям специалистов, чаще отказывает показывать.

С практической точки зрения это не просто курьёз. Переводчик часто используют как промежуточный слой: через него гонят письма, документы, переписки, корпоративные тексты. Если такой слой можно заставить исполнять чужие инструкции, появляется риск утечек, неправильных действий и выдачи того, что пользователь вообще не запрашивал. Причём опасность возникает не только у «любителей экспериментов»: достаточно получить текст с «вшитой» командой и отправить его на перевод, не подозревая, что внутри спрятан триггер.

Эта история снова подчёркивает: когда ИИ-модель «специализируют» под отдельную задачу и упрощают интерфейс, безопасность нельзя воспринимать как галочку в чек-листе. Наоборот, узкие режимы должны быть ещё жёстче, потому что их будут использовать массово и автоматически. Теперь интрига в том, насколько быстро OpenAI подправит поведение переводческого режима и научит его надёжно игнорировать подобные попытки подмены задач.